Rucio

Rucio 사용법

PhEDEx를 대체하는 CMS Data 전송 시스템인 Rucio의 간단한 사용법을 소개합니다.

사전 준비

$ source /cvmfs/cms.cern.ch/cmsset_default.sh
$ source /cvmfs/cms.cern.ch/rucio/setup-py3.sh
$ export RUCIO_ACCOUNT=my_cern_id
$ voms-proxy-init -voms cms -rfc -valid 192:00

데이터 전송 신청

rucio에서는 rule을 추가하고 삭제하는 것으로 데이터를 전송하고 삭제할 수 있습니다. 또한 rule에 유효기간을 둠으로써 사용하지 않는 데이터가 방치되는 것을 막을 수 있습니다.
lifetime 옵션은 반드시 추가하시기 바랍니다.

$ rucio add-rule \
--ask-approval cms:/Cosmics/PARun2016A-PromptReco-v1/RECO#0087623c-ab5a-11e6-a427-001e67abf228 1 T3_KR_KNU \
--lifetime 2592000 # -- 30 days in seconds

데이터 전송 상태 확인

$ rucio rule-info [RULE_HASH]

자신의 rule 확인

$ rucio list-rules --account $RUCIO_ACCOUNT
ID    ACCOUNT    SCOPE:NAME    STATE[OK/REPL/STUCK]    RSE_EXPRESSION    COPIES    EXPIRES (UTC)    CREATED (UTC)
----  ---------  ------------  ----------------------  ----------------  --------  ---------------  ---------------
...

rule 삭제

수동으로 rule을 삭제하고자 한다면 다음 명령을 실행하세요.

$ rucio delete-rule [RULE_HASH]

rucio 데이터 전송 요청 시 유의사항

1) 연구자께서 필요한 데이터셋을 정리하여 대량의 데이터셋 전송 요청을 하는 경우가 있습니다. 이런 경우, 메일 서버가 스팸으로 인식하여 메일을 차단하는 경우가 발생하고 있습니다. 대량의 데이터셋 전송 요청 시, 아래와 같이 컨테이너를 이용해주시면 감사하겠습니다.

2) 데이터셋 활용 기간 (lifetime) 을 명시하지 않는 경우, 자동으로 90일의 기간으로 적용되어 승인이 됩니다.

3) 아울러 데이터 전송의 개인별 최대 용량은 누적 10TB 이내로 (건당 5TB 이내), 이를 초과할 경우 데이터셋 전송에 대한 별도의 협의가 필요합니다.

사용자 정의 DataSet Container을 이용한 대량 전송 신청

1) 사용자 정의 컨테이너 생성
$ rucio did add --type container user.YOUR_ACCOUNT:/Analysis/ContainerName/USER
// Ex) rucio did add --type container user.gildong:/Analysis/TestData2026/USER

2) 데이터셋 추가
$ rucio did content add --to-did user.YOUR_ACCOUNT:/Analysis/ContainerName/USER \
 cms:/WplustoTauNu_T.../Run3Summer.../MINIAODSIM#...6ad \
 cms:/Wto2Q-2Jets_.../Run3Summer.../AODSIM#...4ec \
 cms:/TTto4Q_Par.../NANOAODSIM#...bf8

3) rucio 데이터 전송 요청
$ rucio rule add user.YOUR_ACCOUNT:/Analysis/ContainerName/USER \
 --copies 1 \
 --rses T3_KR_KNU \
 --ask-approval \
 --lifetime 2592000

rucio_bulk_rule.sh

사용자 정의 DataSet Container을 쉽게 만들수 있는 스트립트입니다.

$ rucio_bulk_rule.sh -h
USAGE
  rucio_bulk_rule.sh -c <name> -f <file> [OPTIONS] [--dry-run]

DESCRIPTION
  Creates a user container, attaches multiple CMS DIDs to it, then submits one
  replication rule with mandatory approval request and lifetime. 

  The container DID is constructed automatically as:

    user.<RUCIO_ACCOUNT>:/Analyses/<name>/USER

REQUIRED
  -c, --container-name NAME
      Analysis name used to build the container DID.
      Allowed characters:
        letters, numbers, dot, underscore, hyphen

  -f, --file FILE
      Path to a file listing DIDs to transfer.
      One "scope:name" per line.
      Blank lines and lines starting with # are ignored.

OPTIONS
  -r, --rse RSE
      Target RSE.
      Must be a single RSE name, not an RSE expression.
      Examples allowed:
        T3_KR_KNU
        T1_US_FNAL_Disk
        T1_US_FNAL_Tape
      Examples not allowed:
        T2_* | T3_*
        tier=2&disk=1

      Default:
        T3_KR_KNU

  -l, --lifetime SECONDS

특정사이트가 보유하고 있는 모든 데이터셋 확인

$ rucio list-datasets-rse T3_KR_KNU
SCOPE:NAME
----------
cms:/Cosmics/PARun2016A-PromptReco-v1/RECO#0087623c-ab5a-11e6-a427-001e67abf228
cms:/Cosmics/PARun2016A-PromptReco-v1/RECO#6412389c-a1d0-11e6-958f-001e67abf228
cms:/Cosmics/PARun2016A-PromptReco-v1/RECO#8f9be106-ab45-11e6-a427-001e67abf228
cms:/Cosmics/PARun2016A-PromptReco-v1/RECO#9da26742-a1c8-11e6-958f-001e67abf228
cms:/Cosmics/PARun2016A-PromptReco-v1/RECO#a27c9c3e-ab4a-11e6-a427-001e67abf228
cms:/Cosmics/PARun2016A-PromptReco-v1/RECO#a2cfc95a-ab53-11e6-a427-001e67abf228
cms:/Cosmics/PARun2016A-PromptReco-v1/RECO#a31bd3ba-ab42-11e6-a427-001e67abf228
cms:/Cosmics/PARun2016A-PromptReco-v1/RECO#abd90bfe-a1cd-11e6-958f-001e67abf228
...

Rucio 웹 UI

• 웹UI 홈페이지: https://cms-rucio-webui.cern.ch
• request new rule: https://cms-rucio-webui.cern.ch/r2d2/request

참고 문서

• CMS Rucio : https://twiki.cern.ch/twiki/bin/viewauth/CMS/Rucio