View source for Storage Element Tutorial

== Storage Element Tutorial ==
CRAB 등을 사용하여 얻은 데이터를 보관할 수 있는 저장 공간을 Storage Element (SE)라 합니다.
이곳에 데이터를 저장하기 위해서는 몇가지 특수한 명령어를 사용해야 합니다.

<span style="color:#FF0000">[주의 : tcsh, csh 등 에서 관련 명령어를 사용할 때, 경로 인자에 반드시 " " 를 사용해주시기 바랍니다.]</span>

=== overview ===

UI에 로그인 했을 때 일반 사용자가 읽고 쓸수 있는 저장공간은 다음과 같이 3가지 종류가 있습니다.

{| style="background:#f0f0f0;color:#black;white:80%;" border="1" cellpadding="5" cellspacing="0"
!  종류  !! 경로 !! 지원 프로토콜 !! 총용량 !! 사용자당 제공 !! 용도 !! 비고
|- style="background:white; color:black"
| UI 홈
| /u/user/{userid}
| nfs
| 20 TB
| 200 GB
| 프로그램 설치<br>사용자 기본 작업공간
| RAID6
|- style="background:white; color:black"
| SE 홈
| srm: srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/{userid}<br>dcap: dcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/{userid}<br>xrootd: root://cluster142.knu.ac.kr//store/user{userid}/<br>nfs: /pnfs/knu.ac.kr/data/cms/store/user/{userid}<br>nfs: /u/user/{userid}/SE_UserHome   심볼릭링크
| srm, grdiftp, <br>dcap, gsidcap,<br> xrootd, nfs 
| 1.29 PB
| 4 TB
| 데이터 보관<br>대용량데이터처리<br>프로그램설치X
| dCache, RAID6
|- style="background:white; color:black"
| 스크레치
| /d/scratch<br>/d1/scratch<br>/d2/scratch<br>/d3/scratch<br>/u/user/{userid}/scratch 심볼릭링크
| nfs
| 16 TB
| - 
| 임시 작업용<BR>데이터 보관용X 
| Single Disk<BR>Software RAID
|}

* dcap(dCache access protocol): 인증이 필요없는 읽기 전용의 프로토콜입니다. 속도가 빠릅니다. 경북대 내부에서만 사용할수 있습니다.
* gsidcap: 그리드 인증이 필요한 프로토콜입니다. 읽기 쓰기가 모두 가능하며 경북대 내외부에서 모두 사용할 수 있습니다.
* <span style="color:#FF0000">스크레치 디스크는 임시작업용 저장공간입니다. 데이터 손실에 대한 안전장치가 전혀 없으므로 절대 데이터 보관용으로 사용해서는 안됩니다.</span>

=== voms 인증  ===
* voms 인증 후 사용할수 있습니다. 
 $ voms-proxy-init --voms cms

=== voms 인증 정보 확인  ===
* voms 인증 정보는 다음 명령어로 확인할 수 있습니다. 
 $ voms-proxy-info --all
 voms-proxy-info --all
 subject   : /DC=ch/DC=cern/OU=Organic Units/OU=Users/CN=gdhong/CN=000000/CN=Gildong Hong/CN=00000000
 issuer    : /DC=ch/DC=cern/OU=Organic Units/OU=Users/CN=gdhong/CN=000000/CN=Gildong Hong
 identity  : /DC=ch/DC=cern/OU=Organic Units/OU=Users/CN=gdhong/CN=000000/CN=Gildong Hong
 type      : RFC3820 compliant impersonation proxy
 strength  : 1024
 path      : /tmp/x509up_u77420
 timeleft  : 11:59:52
 key usage : Digital Signature, Key Encipherment
 === VO cms extension information ===
 VO        : cms
 subject   : /DC=ch/DC=cern/OU=Organic Units/OU=Users/CN=gdhong/CN=000000/CN=Gildong Hong
 issuer    : /DC=ch/DC=cern/OU=computers/CN=voms2.cern.ch
 attribute : /cms/Role=NULL/Capability=NULL
 timeleft  : 11:59:54
 uri       : voms2.cern.ch:15002

<span style="color:#FF0000">주의해야할 부분은 VO cms extension information 부분입니다. 만약 VO cms extension information 부분이 출력되지 않는다면 --voms cms 옵션을 정확하게 입력하였는지 자신의 cms vo가 만료된건 아닌지 확인 해야합니다.</span>

=== T3_KR_KNU의 Computing Resource 실시간 조회하기 (CPU, Disk 자원 조회) ===

* UI 에서 "knuinfo" 명령어를 실행합니다.
 $ knuinfo
 $
 -----------------------------------------------------------------------------------------
    CPU    Free Total Jobs      Running Waiting ComputingElement
    161      99         62           62       0 cluster118.knu.ac.kr:8443/cream-pbs-cms
 -----------------------------------------------------------------------------------------
  Avail Space(kB)  Used Space(kB)  Type  SE
     125508644406    644170969874  SRM   cluster142.knu.ac.kr
 -----------------------------------------------------------------------------------------

=== SE(Storage Element)의 사용자 디렉토리 경로 ===
 $ srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/(username)/.../SrcFile
 $ dcap://cluster142.knu.ac.kr/pnfs/knu.ac.kr/data/cms/store/user/(username)/.../SrcFile
 $ gsidcap://cluster142.knu.ac.kr:22128/pnfs/knu.ac.kr/data/cms/store/user/(username)/.../SrcFile

<span style="color:#FF0000">참고사항: </span><br>
<span style="color:#FF0000">- 위의 예시에서 username은 향후  publish 할 경우를 대비하서 경북대 ID가 아니라 CERNID를 사용해야 합니다. </span><br>
<span style="color:#FF0000">- 만약에 본인의 디렉토리가 만들어져 있지 않는 경우에는 관리자에게 연락바랍니다.</span>


=== test.file 파일의 SE 및 local 디렉토리로 복사하기 ===

 $ gfal-copy srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/(username)/.../SrcFile     srm://cluster142/.../DestFile
 $ gfal-copy srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/(username)/.../SrcFile     file:////u/user/(username)/.../DestFile
 $ gfal-copy gsidcap://cluster142.knu.ac.kr:22128/pnfs/knu.ac.kr/data/cms/store/user/(username)/.../SrcFile     file:////u/user/(username)/.../DestFile


=== xrootd 를 활용한 SE Data 접근 방법 ===

*  [[Xrootd|xrootd 을 이용하여 SE 사용하기]]

=== dcap을 이용한 SE Data 접근 방법 ===
*  [[Dcap|dcap 을 이용하여 SE 사용하기]]

=== UI에서 NFS로 마운트된 스토리지 엘리먼트 사용하기 ===
* [[DCacheNFS|스토리지 엘리먼트의 NFS 사용 가이드]]

=== root에서 SE Data 접근 방법 ===

* dcap 프로토콜을 이용
 # 읽기
 $ TFile *f = TFile::Open("dcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/(username)/test.root");
 $
 # 쓰기
 $ export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/lib64/dcap
 $ root -l
 root [0] TFile *f = TFile::Open("gsidcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/(username)/test.root", "CREATE");
 root [1] f->Close();
 root [2] TFile *f2 = TFile::Open("gsidcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/(username)/test.root", "RECREATE");
 root [3] f2->Close();
 root [4] .q
 $

* xrootd 프로토콜을 이용 
 # 읽기
 $ voms-proxy-init --voms cms
 $ TFile *f = TFile::Open("root://cluster142.knu.ac.kr//store/user/(username)/test.root");
 $
 # 쓰기
 $ voms-proxy-init --voms cms
 $ root -l
 root [0] TFile *f = TFile::Open("root://cluster142.knu.ac.kr//store/user/(username)/test.root", "CREATE");
 root [1] f->Close();
 root [2] TFile *f2 = TFile::Open("root://cluster142.knu.ac.kr//store/user/(username)/test.root", "RECREATE");
 root [3] f2->Close();
 root [4] .q
 $

=== 복수의 파일을 동시에 전송하기 ===
 $ /usr/local/bin/lcgcp_copyfiles list.txt

 $ cat  list.txt 
 srm://myhost.mydomain.edu:8443//dir1/dir2/sh-copy1 file:///localdir/sh1
 srm://myhost.mydomain.edu:8443//dir1/dir2/sh-copy2 file:///localdir/sh2
 srm://myhost.mydomain.edu:8443//dir1/dir2/sh-copy3 file:///localdir/sh3
* lcg_cp는 기본적으로 복수파일 전송을 지원하지 않으나 원본경로 대상경로를 포함하는 목록 파일을 생성한뒤, 위의 스크립트를 사용하면 복수의 파일을 전송할수 있다.


=== 복사가 정상적으로 이루어졌는지 확인 또는 디렉토리의 목록 확인 ===

 $ gfal-ls -Hl srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/(username)


=== 파일 또는 디렉토리 삭제 ===

 $ gfal-rm srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/(username)/test/test.file
 $ <strike>gfal-rm srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/(username)/test</strike>
 $ lcg-del -d srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/(username)/test


=== gfal 명령어 사용 요약 ===
  $ voms-proxy-init --voms cms 로 proxy 생성후 아래 명령어를 수행하시면 됩니다.
  $ 조회 : gfal-ls -Hl srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/MyAccount/FolderName
  $ 복사 : gfal-copy srm://cluster142.knu.ac.kr:8443/.../FileNameSrc    srm://cluster142.knu.ac.kr:8443/.../FileNameDest
  $ 삭제 : gfal-rm srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/MyAccount/FolderName/FileName
  $ 디렉토리 삭제 : <strike>gfal-rm -R srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/MyAccount/FolderName</strike>
* 명령어 뒤의 Option은 매뉴얼 페이지를 참고 바랍니다. (ex. man gfal-ls)
* 1000개 이상의 파일 포함한 폴더 내용 보기 : (ex. 500번째 파일부터 700개의 파일을 보고 싶을 경우) lcg-ls --offset 500 --count 700 srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/(DestFoler)


===crab3를 사용한 후  gfal-* 명령어들이 오류가 발생합니다 ===

source /cvmfs/cms.cern.ch/crab3/crab.sh 실행후에 gfal-* 명령어들이 오류가 발생합니다.

 $ gfal-ls -Hl srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/test/test.transfer
 -rw-r--r-- 1   2    2    Oct 12 02:17 4.8M srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/test/test.transfer

 $ source /cvmfs/cms.cern.ch/crab3/crab.sh

 $ gfal-ls -Hl srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/test/test.transfer
 Could not find platform independent libraries <prefix>
 Could not find platform dependent libraries <exec_prefix>
 Consider setting $PYTHONHOME to <prefix>[:<exec_prefix>]
 'import site' failed; use -v for traceback
 Traceback (most recent call last):
   File "/usr/bin/gfal-ls", line 8, in <module>
     from gfal2_util.shell import Gfal2Shell
 ImportError: No module named gfal2_util.shell

crab3 에서 사용하는 python 환경변수와 gfal-* 명령어들에 문제를 일으키기 때문입니다. gfal-* 명령어 앞에 " env --unset=LD_LIBRARY_PATH "을 넣어줌으로써 문제를 해결할 수 있습니다.

 $ env --unset=LD_LIBRARY_PATH gfal-ls -Hl srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/test/test.transfer
 -rw-r--r-- 1   2    2    Oct 12 02:17 4.8M srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/test/test.transfer


=== cmsenv 실행후  gfal 명령어들이 정상 동작 하지 않을때 === 

cmsenv 실행후에 다음과 같은 오류가 발생한다면

 Failed to add IO tunnel (libgsiTunnel.so: cannot open shared object file: No such file or directory). Provider: [libgsiTunnel.so].
 Error ( POLLIN) (with data) on control line [12]
 Failed to create a control line
 Failed open file in the dCache.
 gfal-copy: error: Input/output error 

아래 명령을 먼저 실행해줌으로써 문제를 해결할 수 있습니다.

 export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/lib64/dcap 


=== no match 오류가 발생할때 ===

* tcsh에서 ?는 wild card로 인식이 됩니다. 따라서 tcsh을 사용하고 있다면 srm 경로에 반드시 ""를 사용해야 합니다.


===  srm*, lcg*, gfal* 주요 명령어 비교표 ===

{| style="background:#cccc99;color:#black;white:80%;" border="1" cellpadding="5" cellspacing="0"
!   srm*  !! lcg* !! gfal* !! 비고
|- style="background:white; color:black"
| srmls
| lcg-ls
| gfal-ls 
| ls
|- style="background:#f0f0f0; color:black"
| srmcp
| lcg-cp
| gfal-copy
| cp
|- style="background:white; color:black"
| srmrm
| lcg-del
| gfal-rm 
| rm 
|- style="background:#f0f0f0; color:black"
| srmmkdir
| 
| gfal-mkdir 
| mkdir 
|- style="background:white; color:black"
| srmrmdir
| lcg-del -d
| gfal-rm -R 
| rmdir
|- style="background:#f0f0f0; color:black"
| 
| 
| gfal-cat 
| cat

|}


=== uberftp를 이용한 Storage Element 사용 ===

* [[ uberftp | uberftp 사용법으로 가기 ]]

=== WebFTS를 이용한 Storage Element 로의 Data 전송 ===
* [[ Webfts | WebFTS 사용법으로 가기 ]]

===  GNU Parallel & gfap-copy 를 이용한 SE → SE Data 전송 ===

 [source]
 srm://dcache-se-cms.desy.de:8443//pnfs/desy.de/cms/tier2/store/user/beinsam/test
 
 [target]
 srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/hanbi/test

1) uberftp를 이용하여 gfal-copy 실행 파일 리스트 생성

 $ uberftp -ls -r gsiftp://dcache-door-cms15.desy.de/pnfs/desy.de/cms/tier2/store/user/beinsam/test | grep .root$ | awk {' print "gfal-copy srm://dcache-se-cms.desy.de:8443/"$8"  srm://cluster142.knu.ac.kr:8443/"$8}' | sed 's/desy.de\/cms\/tier2\/store\/user\/beinsam/knu.ac.kr\/data\/cms\/store\/user\/hanbi/2' > gfal-copy.txt


2) parallel를 이용하여 10개씩  gfal-copy 실행
 $ cat gfal-copy.txt | parallel -j 10

===  fts-transfer-submit 를 이용한 SE → SE Data 전송 ===

 [source]
 srm://dcache-se-cms.desy.de:8443//pnfs/desy.de/cms/tier2/store/user/beinsam/test
 
 [target]
 srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/hanbi/test


1) uberftp를 이용하여 파일 리스트 파일 생성.

 $ uberftp -ls -r gsiftp://dcache-door-cms15.desy.de/pnfs/desy.de/cms/tier2/store/user/beinsam/test | grep .root$ | awk {' print "srm://dcache-se-cms.desy.de:8443/"$8"  srm://cluster142.knu.ac.kr:8443/"$8}' | sed 's/desy.de\/cms\/tier2\/store\/user\/beinsam/knu.ac.kr\/data\/cms\/store\/user\/hanbi/2' > copylist.txt

2) fts-transfer-submit

 $ export PATH=/cvmfs/grid.cern.ch/Grid/FTS3/3.7.8/x86_64-slc6-gcc44-opt/bin:$PATH
 $ export LD_LIBRARY_PATH=/cvmfs/grid.cern.ch/Grid/FTS3/3.7.8/x86_64-slc6-gcc44-opt/lib64:$LD_LIBRARY_PATH
 
 $ fts-transfer-submit -s https://fts3-pilot.cern.ch:8446 -f copylist.txt
 165b3e94-ac07-11e8-8460-02163e01841b

3) transfer status monitoring

 fts-transfer-status -s https://fts3-pilot.cern.ch:8446 165b3e94-ac07-11e8-8460-02163e01841b

or 

 https://fts3-pilot.cern.ch:8449/fts3/ftsmon/
 https://fts3-pilot.cern.ch:8449/fts3/ftsmon/#/job/165b3e94-ac07-11e8-8460-02163e01841b

=== T3_KR_KNU 저장공간(Disk) 활용 분류 ===

 * Storage Element (srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/...)
  : 대용량 저장 공간으로 장기간 보관이 가능합니다.
   - PhEDEx를 통해 전송된 DataSet 저장
   - Crab Analysis 이후의 결과파일 저장
     srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/
  : 현재 약 1.29 PB의 공간을 마련하여 운영하고 있습니다.
  : 사용자의 데이터 저장으로 공간이 부족할 경우, 사전 설문을 통해 더 이상 사용하지 않는 과거 데이터의 삭제 요청을 드릴 수 있습니다. 

 * User Home Directory (/u/user/...)
  : 기본적인 설정 사항, 사용자가 필요한 소프트웨어 등을 설치 및 보관하는 장소입니다.
  : 약 20 TB 규모의 공간입니다.
  : 모든 사용자가 20 TB를 나누어 사용하므로 용량이 큰 데이터의 보관은 가급적 삼가해 주시기 바랍니다.

 * Scratch Disk
  : UI에 총 4개의 임시 저장공간이 있습니다.
   - /d  : 4 TB single Disk
   - /d1 : 2 TB single Disk
   - /d2 : 4 TB single Disk
   - /d3 : Logical Volume ( 2 TB single Disk * 3)
  : scratch disk는 Storage Element와 User Home Directory 영역과 달리 Single Disk로 구성이 되어 있습니다.
  : 개별 Disk의 물리적 장애 발생 시, 데이터의 유실이 발생하므로 중요한 데이터 및 장기 보관 데이터는 반드시 Storage Element로 이동하여 주시기 바랍니다.