Dcap

1 dcap을 이용하여 SE 사용하기

• dcap(dCache Access Protocol)은 스토리지 엘리먼트(SE)인 dCache에서 사용하는 파일전송 프로토콜입니다.
• dcap은 다른 프로토콜에 비해 상대적으로 빠르고 간편합니다.
• dcap은 읽기 전용이나 인증없이 사용할 수 있고 쓰기를 위해서는 그리드인증이 추가된 gsidcap 프로토콜을 사용할 수 있습니다.
• dcap을 이용하면 일반 프로그램 및 root 프로그램에서 SE의 데이터를 바로 읽거나 쓸수 있습니다.
• SE의 사용자 홈디렉토리의 dcap 경로는 다음과 같습니다.
• 아래 예제들에서 (userid)는 본인의 id로 대체하세요.

dcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/(userid)
gsidcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/(userid)

1.1 dccp

• dcap 을 이용한 파일 복사 툴입니다. 자세한 옵션의 사용법은 다음과 같습니다.

$ dccp -h
DiskCache Copy Program. LibDCAP version: 2.47.10-1
Usage:  dccp [-H] [-d <debugLevel>]  [-h <replyhostname>] [-i]
   [-P [-t ] [-l <stage location>] ]
   [-a] [-b <read_ahead bufferSize>] [-B <bufferSize>]
   [-X <extraOption>] [-u] [-p <first port>[:last port]]
   [-r <buffers size>] [-s <buffer size>] [-c] [-C <seconds>] <src> <dest>

       -A                            : active client mode ( client connects to the pool).
       -d <debugLevel>               : set debug level.
       -h <replyhostname>            : specify hostname for data connection.
       -i                            : do not overwrite existing files.
       -P                            : pre-stage request.
       -t <seconds>                  : specify time offset for pre-stage.
       -o <seconds>                  : specify timeout for the 'open' operation
       -l <stage location>           : specify host or network,
                                       where from staged file will be accessed.
       -a                            : enable read-ahead.
       -b                            : specify read-ahead buffer size.
       -B                            : specify transfer buffer size (default=1048570).
       -X <extraOption>              : add extra wishes into "open" request.
       -u                            : enable unsafe write operations.
       -p <first port>[:<last port>] : specify port range number for data connection.
       -T <plugin name>              : specify control line IO tunneling plugin.
       -w <tunnel type>              : specify tunnel type.
       -r <buffer size>              : specify TCP receive buffer size.
       -s <buffer size>              : specify TCP send buffer size.
       -c                            : disable checksum calculation.
       -C <seconds>                  : specify timeout for the 'close' operation.
       -H                            : show progress during file transfer.

• SE의 파일을 현재 디렉토리에 복사하는 예제 입니다. -H 옵션은 진행바를 나타냅니다.

$ dccp -H dcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/tmp/test.transfer .

1.2 일반 프로그램에서 dcap을 이용하여 SE의 데이터를 읽기

• 다음과 같이 LD_PRELOAD 설정을 사전에 하면 ls와 cp 같은 일반 프로그램에서 SE의 데이터를 읽을 수 있습니다.
• bash 환경

$ export LD_PRELOAD=/usr/lib64/libpdcap.so
$ ls dcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/test/
test.transfer  test.transfer.20161005112625
$ cp -v dcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/test/test.transfer .
`dcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/test/test.transfer' -> `./test.transfer'

• tcsh 환경

$ setenv LD_PRELOAD "/usr/lib64/libpdcap.so"
$ ls "dcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/test/"
test.transfer  test.transfer.20161005112625
$ cp -v "dcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/test/test.transfer" .
`dcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/test/test.transfer' -> `./test.transfer'

1.3 일반 프로그램에서 gsidcap을 이용하여 SE에 데이터를 쓰기

• SE에 파일을 쓰려면 그리드 인증이 필요한 gsidcap 프토로콜을 사용해야합니다.
• bash 환경

$ export LD_PRELOAD=/usr/lib64/libpdcap.so
$ voms-proxy-init --voms cms
$ cp test.transfer gsidcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/(userid)/test.transfer.201610051632

• tcsh 환경

$ setenv LD_PRELOAD "/usr/lib64/libpdcap.so"
$ voms-proxy-init --voms cms
$ cp test.transfer "gsidcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/(userid)/test.transfer.201610051632"

1.4 dcap을 이용하여 root에서 SE의 Data 읽고 쓰기

• dcap은 읽기 전용의 프로토콜이며 그리드 인증이 필요한 gsidcap은 읽기 뿐만 아니라 쓰기도 가능합니다.
• 읽기

$ root -l
root [0] TFile *f = TFile::Open("dcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/test/CE4D66EB-5AAE-E111-96D6-003048D37524.root");
root [1] f->Close();
root [2] .q

• 쓰기, bash 환경

$ export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/lib64/dcap
$ voms-proxy-init --voms cms
$ root -l
root [0] TFile *f = TFile::Open("gsidcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/(username)/test.root", "CREATE");
root [1] f->Close();
root [2] TFile *f2 = TFile::Open("gsidcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/(username)/test.root", "RECREATE");
root [3] f2->Close();
root [4] .q
$

• 쓰기, tcsh 환경

$ setenv LD_LIBRARY_PATH "$LD_LIBRARY_PATH:/usr/lib64/dcap"
$ voms-proxy-init --voms cms
$ root -l
root [0] TFile *f = TFile::Open("gsidcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/(username)/test.root", "CREATE");
root [1] f->Close();
root [2] TFile *f2 = TFile::Open("gsidcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/(username)/test.root", "RECREATE");
root [3] f2->Close();
root [4] .q
$

1.5 KNU Tier3에서 Batch job을 돌릴때 SE의 데이터를 읽기

• 아래 명령어를 batch script에 추가하면 일반 프로그램에서 dcap 프로토콜로 SE의 데이터를 읽을수 있습니다.

bash)
export LD_LIBRARY_PATH="$LD_LIBRARY_PATH:/usr/lib64/dcap"

tcsh)
setenv LD_LIBRARY_PATH "${LD_LIBRARY_PATH}:/usr/lib64/dcap"

• 읽을 파일의 경로는 다음과 같이 지정할수 있습니다.

dcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/...

1.6 KNU Tier3에서 Batch job을 돌릴때 gsidcap을 이용하여 SE에 데이터 쓰기

dcap프로토콜로 SE에 데이터를 쓰려면 인증이 필요한 gsidcap프로토콜을 사용해야 합니다.

• 따라서 Job submit 전에 프록시를 다음과 같이 생성합니다.

bash)
$ export X509_USER_PROXY=/u/user/(userid)/proxy.cert
$ voms-proxy-init --voms cms

tcsh)
$ setenv X509_USER_PROXY "/u/user/(userid)/proxy.cert"
$ voms-proxy-init --voms cms

• batch job 스크립트에 환경변수 추가

바뀐 프록시파일의 위치를 알려주는 설정과, gsidcap을 사용하기위한 설정을 작업 실행 스크립트에 추가합니다.

bash)
export X509_USER_PROXY=/u/user/(userid)/proxy.cert
export LD_LIBRARY_PATH="$LD_LIBRARY_PATH:/usr/lib64/dcap"

tcsh)
setenv X509_USER_PROXY "/u/user/(userid)/proxy.cert"
setenv LD_LIBRARY_PATH "${LD_LIBRARY_PATH}:/usr/lib64/dcap"

• 참고용 예제 코드

 #!/bin/bash
 export X509_USER_PROXY="/u/user/(userid)/proxy.cert" 
 export SCRAM_ARCH="slc5_amd64_gcc530" 
 export LD_LIBRARY_PATH="$LD_LIBRARY_PATH:/usr/lib64/dcap" 
 source /cvmfs/cms.cern.ch/cmsset_default.sh
 cd <working-directory>
 eval `scramv1 runtime -csh`
 cmsRun parser_test.py inputFiles_load=FileTestMC.txt outputFile=gsidcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/(userid)/test/test.root

 #!/bin/tcsh
 setenv X509_USER_PROXY "/u/user/(userid)/proxy.cert" 
 setenv SCRAM_ARCH "slc5_amd64_gcc530" 
 setenv LD_LIBRARY_PATH "${LD_LIBRARY_PATH}:/usr/lib64/dcap" 
 source /cvmfs/cms.cern.ch/cmsset_default.csh
 cd <working-directory>
 eval `scramv1 runtime -csh`
 cmsRun parser_test.py inputFiles_load=FileTestMC.txt outputFile="gsidcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/(userid)/test/test.root"