From T3_KR_KNU
Rucio 사용법
PhEDEx를 대체하는 CMS Data 전송 시스템인 Rucio의 간단한 사용법을 소개합니다.
사전 준비
$ source /cvmfs/cms.cern.ch/cmsset_default.sh $ source /cvmfs/cms.cern.ch/rucio/setup-py3.sh $ export RUCIO_ACCOUNT=my_cern_id $ voms-proxy-init -voms cms -rfc -valid 192:00
데이터 전송 신청
rucio에서는 rule을 추가하고 삭제하는 것으로 데이터를 전송하고 삭제할 수 있습니다. 또한 rule에 유효기간을 둠으로써 사용하지 않는 데이터가 방치되는 것을 막을 수 있습니다.
lifetime 옵션은 반드시 추가하시기 바랍니다.
$ rucio add-rule \ --ask-approval cms:/Cosmics/PARun2016A-PromptReco-v1/RECO#0087623c-ab5a-11e6-a427-001e67abf228 1 T3_KR_KNU \ --lifetime 2592000 # -- 30 days in seconds
데이터 전송 상태 확인
$ rucio rule-info [RULE_HASH]
자신의 rule 확인
$ rucio list-rules --account $RUCIO_ACCOUNT ID ACCOUNT SCOPE:NAME STATE[OK/REPL/STUCK] RSE_EXPRESSION COPIES EXPIRES (UTC) CREATED (UTC) ---- --------- ------------ ---------------------- ---------------- -------- --------------- --------------- ...
rule 삭제
수동으로 rule을 삭제하고자 한다면 다음 명령을 실행하세요.
$ rucio delete-rule [RULE_HASH]
rucio 데이터 전송 요청 시 유의사항
1) 연구자께서 필요한 데이터셋을 정리하여 대량의 데이터셋 전송 요청을 하는 경우가 있습니다. 이런 경우, 메일 서버가 스팸으로 인식하여 메일을 차단하는 경우가 발생하고 있습니다. 대량의 데이터셋 전송 요청 시, 아래와 같이 컨테이너를 이용해주시면 감사하겠습니다.
2) 데이터셋 활용 기간 (lifetime) 을 명시하지 않는 경우, 자동으로 90일의 기간으로 적용되어 승인이 됩니다.
3) 아울러 데이터 전송의 개인별 최대 용량은 누적 10TB 이내로 (건당 5TB 이내), 이를 초과할 경우 데이터셋 전송에 대한 별도의 협의가 필요합니다.
사용자 정의 DataSet Container을 이용한 데이터셋 대량 전송 신청
1) 사용자 정의 컨테이너 생성 $ rucio did add --type container user.YOUR_ACCOUNT:/Analysis/ContainerName/USER // Ex) rucio did add --type container user.gildong:/Analysis/TestData2026/USER
2) 데이터셋 추가 $ rucio did content add --to-did user.YOUR_ACCOUNT:/Analysis/ContainerName/USER \ cms:/WplustoTauNu_T.../Run3Summer.../MINIAODSIM#...6ad \ cms:/Wto2Q-2Jets_.../Run3Summer.../AODSIM#...4ec \ cms:/TTto4Q_Par.../NANOAODSIM#...bf8
3) rucio 데이터 전송 요청 $ rucio rule add user.YOUR_ACCOUNT:/Analysis/ContainerName/USER \ --copies 1 \ --rses T3_KR_KNU \ --ask-approval \ --lifetime 2592000
특정사이트가 보유하고 있는 모든 데이터셋 확인
$ rucio list-datasets-rse T3_KR_KNU SCOPE:NAME ---------- cms:/Cosmics/PARun2016A-PromptReco-v1/RECO#0087623c-ab5a-11e6-a427-001e67abf228 cms:/Cosmics/PARun2016A-PromptReco-v1/RECO#6412389c-a1d0-11e6-958f-001e67abf228 cms:/Cosmics/PARun2016A-PromptReco-v1/RECO#8f9be106-ab45-11e6-a427-001e67abf228 cms:/Cosmics/PARun2016A-PromptReco-v1/RECO#9da26742-a1c8-11e6-958f-001e67abf228 cms:/Cosmics/PARun2016A-PromptReco-v1/RECO#a27c9c3e-ab4a-11e6-a427-001e67abf228 cms:/Cosmics/PARun2016A-PromptReco-v1/RECO#a2cfc95a-ab53-11e6-a427-001e67abf228 cms:/Cosmics/PARun2016A-PromptReco-v1/RECO#a31bd3ba-ab42-11e6-a427-001e67abf228 cms:/Cosmics/PARun2016A-PromptReco-v1/RECO#abd90bfe-a1cd-11e6-958f-001e67abf228 ...
Rucio 웹 UI
- 웹UI 홈페이지: https://cms-rucio-webui.cern.ch
- request new rule: https://cms-rucio-webui.cern.ch/r2d2/request
