Rucio

Rucio 사용법

PhEDEx를 대체하는 CMS Data 전송 시스템인 Rucio의 간단한 사용법을 소개합니다.

사전 준비

$ source /cvmfs/cms.cern.ch/cmsset_default.sh
$ source /cvmfs/cms.cern.ch/rucio/setup-py3.sh
$ export RUCIO_ACCOUNT=my_cern_id
$ voms-proxy-init -voms cms -rfc -valid 192:00

데이터 전송 신청

rucio에서는 rule을 추가하고 삭제하는 것으로 데이터를 전송하고 삭제할 수 있습니다. 또한 rule에 유효기간을 둠으로써 사용하지 않는 데이터가 방치되는 것을 막을 수 있습니다.
lifetime 옵션은 반드시 추가하시기 바랍니다.

$ rucio add-rule \
--ask-approval cms:/Cosmics/PARun2016A-PromptReco-v1/RECO#0087623c-ab5a-11e6-a427-001e67abf228 1 T3_KR_KNU \
--lifetime 2592000 # -- 30 days in seconds

데이터 전송 상태 확인

$ rucio rule-info [RULE_HASH]

자신의 rule 확인

$ rucio list-rules --account $RUCIO_ACCOUNT
ID    ACCOUNT    SCOPE:NAME    STATE[OK/REPL/STUCK]    RSE_EXPRESSION    COPIES    EXPIRES (UTC)    CREATED (UTC)
----  ---------  ------------  ----------------------  ----------------  --------  ---------------  ---------------
...

rule 삭제

수동으로 rule을 삭제하고자 한다면 다음 명령을 실행하세요.

rucio 데이터 전송 요청 시 유의사항

1) 연구자께서 필요한 데이터셋을 정리하여 대량의 데이터셋 전송 요청을 하는 경우가 있습니다. 이런 경우, 메일 서버가 스팸으로 인식하여 메일을 차단하는 경우가 발생하고 있습니다. RUCIO 전송 요청 시, 한번에 최대50건 이내로 신청을 해주시면 감사하겠습니다.

2) 데이터셋 활용 기간 (lifetime) 을 명시하지 않는 경우, 자동으로 90일의 기간으로 적용되어 승인이 됩니다.

3) 아울러 데이터 전송의 개인별 최대 용량은 누적 10TB 이내로 (건당 5TB 이내), 이를 초과할 경우 데이터셋 전송에 대한 별도의 협의가 필요합니다.

특정사이트가 보유하고 있는 모든 데이터셋 확인

$ rucio list-datasets-rse T3_KR_KNU
SCOPE:NAME
----------
cms:/Cosmics/PARun2016A-PromptReco-v1/RECO#0087623c-ab5a-11e6-a427-001e67abf228
cms:/Cosmics/PARun2016A-PromptReco-v1/RECO#6412389c-a1d0-11e6-958f-001e67abf228
cms:/Cosmics/PARun2016A-PromptReco-v1/RECO#8f9be106-ab45-11e6-a427-001e67abf228
cms:/Cosmics/PARun2016A-PromptReco-v1/RECO#9da26742-a1c8-11e6-958f-001e67abf228
cms:/Cosmics/PARun2016A-PromptReco-v1/RECO#a27c9c3e-ab4a-11e6-a427-001e67abf228
cms:/Cosmics/PARun2016A-PromptReco-v1/RECO#a2cfc95a-ab53-11e6-a427-001e67abf228
cms:/Cosmics/PARun2016A-PromptReco-v1/RECO#a31bd3ba-ab42-11e6-a427-001e67abf228
cms:/Cosmics/PARun2016A-PromptReco-v1/RECO#abd90bfe-a1cd-11e6-958f-001e67abf228
...

Rucio 웹 UI

• 웹UI 홈페이지: https://cms-rucio-webui.cern.ch
• request new rule: https://cms-rucio-webui.cern.ch/r2d2/request

참고 문서

• CMS Rucio : https://twiki.cern.ch/twiki/bin/viewauth/CMS/Rucio