(→test.file 파일의 SE 및 local 디렉토리로 복사하기) |
(→Overview) |
||
Line 31: | Line 31: | ||
* nfs: /pnfs/knu.ac.kr/data/cms/store/user/{cern_id}<br> | * nfs: /pnfs/knu.ac.kr/data/cms/store/user/{cern_id}<br> | ||
* nfs: /u/user/{knu_id}/SE_UserHome -----> /pnfs/knu.ac.kr/data/cms/store/user/{cern_id} | * nfs: /u/user/{knu_id}/SE_UserHome -----> /pnfs/knu.ac.kr/data/cms/store/user/{cern_id} | ||
− | | xrootd,<u> webdav</u>,<br>srm, <u>gsiftp</u>, <br>dcap, gsidcap,<br> nfs ( | + | | xrootd,<u> webdav</u>,<br>srm, <u>gsiftp</u>, <br>dcap, gsidcap,<br> nfs (연산노드에서는 읽기만 가능) |
| 1.45 PB | | 1.45 PB | ||
| 10 TB | | 10 TB | ||
Line 62: | Line 62: | ||
* 스크레치 저장공간은 불필요한 데이터를 수시로 정리해주시고 장기 보관이 필요한 데이터는 SE로 이동 부탁드립니다. | * 스크레치 저장공간은 불필요한 데이터를 수시로 정리해주시고 장기 보관이 필요한 데이터는 SE로 이동 부탁드립니다. | ||
* <span style="color:#FF0000">스크레치 디스크는 임시작업용 저장공간입니다. 데이터 손실에 대한 안전장치가 전혀 없으므로 절대 데이터 보관용으로 사용해서는 안됩니다.</span> | * <span style="color:#FF0000">스크레치 디스크는 임시작업용 저장공간입니다. 데이터 손실에 대한 안전장치가 전혀 없으므로 절대 데이터 보관용으로 사용해서는 안됩니다.</span> | ||
+ | |||
+ | <br> | ||
+ | 서비스별 스토리지 접근 방법은 다음과 같습니다. | ||
+ | |||
+ | {| style="background:#f0f0f0;color:#black;white:80%;" border="1" cellpadding="5" cellspacing="0" | ||
+ | ! 서비스 !! 스토리지 !! 지원 프로토콜 !! 경로 !! Grid인증 !! 비고 | ||
+ | |- style="background:white; color:black" | ||
+ | | rowspan=11 | UI | ||
+ | | UI User Home | ||
+ | | nfs | ||
+ | | /u/user/{knu_id} | ||
+ | | X | ||
+ | | | ||
+ | |- style="background:white; color:black" | ||
+ | | UI Scratch | ||
+ | | nfs | ||
+ | | | ||
+ | | X | ||
+ | | | ||
+ | |- style="background:white; color:black" | ||
+ | | rowspan=7 | SE | ||
+ | | xrootd | ||
+ | | xrootd: root://cluster142.knu.ac.kr//store/user/{cern_id} | ||
+ | | O | ||
+ | | | ||
+ | |- style="background:white; color:black" | ||
+ | | webdav | ||
+ | | webdav: davs://cluster142.knu.ac.kr:2880/cms/store/user/{cern_id} | ||
+ | | O | ||
+ | | | ||
+ | |- style="background:white; color:black" | ||
+ | | srm | ||
+ | | srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/{cern_id} | ||
+ | | O | ||
+ | | | ||
+ | |- style="background:white; color:black" | ||
+ | | gsiftp | ||
+ | | gsiftp://cluster142.knu.ac.kr:2811/pnfs/knu.ac.kr/data/cms/store/user/{cern_id} | ||
+ | | O | ||
+ | | | ||
+ | |- style="background:white; color:black" | ||
+ | | dcap | ||
+ | | dcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/{cern_id} | ||
+ | | X | ||
+ | | 읽기전용 | ||
+ | |- style="background:white; color:black" | ||
+ | | gsidcap | ||
+ | | xrootd: root://cluster142.knu.ac.kr//store/user/{cern_id} | ||
+ | | O | ||
+ | | | ||
+ | |- style="background:white; color:black" | ||
+ | | nfs | ||
+ | | /pnfs/knu.ac.kr/data/cms/store/user/{cern_id} <br> /u/user/{knu_id}/SE_UserHome -----> /pnfs/knu.ac.kr/data/cms/store/user/{cern_id} | ||
+ | | X | ||
+ | | | ||
+ | |- style="background:white; color:black" | ||
=== voms 인증 === | === voms 인증 === |
Revision as of 05:17, 23 June 2023
Contents
- 1 Storage Element Tutorial
- 1.1 Overview
- 1.2 voms 인증
- 1.3 voms 인증 정보 확인
- 1.4 T3_KR_KNU의 Computing Resource 실시간 조회하기 (CPU, Disk 자원 조회)
- 1.5 SE(Storage Element)의 사용자 디렉토리 경로
- 1.6 SE에서 SE로 파일 복사하기
- 1.7 SE에 있는 파일을 및 local 디렉토리로 복사하기
- 1.8 xrootd 를 활용한 SE Data 접근 방법
- 1.9 WebDav 프로토콜을 활용한 SE Data 접근 방법
- 1.10 dcap을 이용한 SE Data 접근 방법
- 1.11 UI에서 NFS로 마운트된 스토리지 엘리먼트 사용하기
- 1.12 root에서 SE Data 접근 방법
- 1.13 복수의 파일을 동시에 전송하기
- 1.14 복사가 정상적으로 이루어졌는지 확인 또는 디렉토리의 목록 확인
- 1.15 파일 또는 디렉토리 삭제
- 1.16 gfal 명령어 사용 요약
- 1.17 gfal-copy를 이용한 디렉토리 복사
- 1.18 crab3를 사용한 후 gfal-* 명령어들이 오류가 발생합니다
- 1.19 cmsenv 실행후 gfal 명령어들이 정상 동작 하지 않을때
- 1.20 no match 오류가 발생할때
- 1.21 srm*, lcg*, gfal* 주요 명령어 비교표
- 1.22 uberftp를 이용한 Storage Element 사용
- 1.23 WebFTS를 이용한 Storage Element 로의 Data 전송
- 1.24 GNU Parallel & gfap-copy 를 이용한 SE → SE Data 전송
- 1.25 fts-transfer-submit 를 이용한 SE → SE Data 전송
- 1.26 T3_KR_KNU 저장공간(Disk) 활용 분류
Storage Element Tutorial
CRAB 등을 사용하여 얻은 데이터를 보관할 수 있는 저장 공간을 Storage Element (SE)라 합니다. 이곳에 데이터를 저장하기 위해서는 몇가지 특수한 명령어를 사용해야 합니다.
[주의 : tcsh, csh 등 에서 관련 명령어를 사용할 때, 경로 인자에 반드시 " " 를 사용해주시기 바랍니다.]
Overview
UI에 로그인 했을 때 일반 사용자가 읽고 쓸수 있는 저장공간은 다음과 같이 3가지 종류가 있습니다.
종류 | 경로 | 지원 프로토콜 | 총용량 | 사용자당 | 용도 | 비고 |
---|---|---|---|---|---|---|
UI 사용자 홈 |
|
nfs | 20 TB | 200 GB | 프로그램 설치 사용자 기본 작업공간 |
RAID6 |
SE 사용자홈 |
|
xrootd, webdav, srm, gsiftp, dcap, gsidcap, nfs (연산노드에서는 읽기만 가능) |
1.45 PB | 10 TB | 데이터 보관 대용량데이터처리 프로그램설치X |
dCache, RAID6 |
스크레치 |
|
nfs | 40 TB | 임시 작업용 중요데이터 보관X |
RAID6 |
- x509인증이 토큰 인증으로 전환되고 있는 상황이라 srm 프로토콜은 gsiftp, xrootd, webdav 프로토콜로 대체되고 있습니다.
- dcap(dCache access protocol): 인증이 필요없는 읽기 전용의 프로토콜입니다. 인증이 필요없기에 간편하게 사용할수 있지만 경북대 내부에서만 사용할수 있습니다.
- gsidcap: 그리드 인증이 필요한 dcap 프로토콜입니다. 읽기 쓰기가 모두 가능하며 경북대 내외부에서 모두 사용할 수 있습니다.
- SE에 저장되어 있는 데이터셋은 연산노드에서 dcap, xrootd, gsiftp, srm 프로토콜을 이용하여 읽을 수 있습니다. NFS는 UI에서만 사용가능합니다. 연산노드에서는 사용할 수 없습니다.
- CERN ID와 KNU ID가 다른 사용자는 SE 사용자 홈디렉토리에 CERN ID를 기준으로 디렉토리가 생성됩니다.
- {knu_id}는 경북대에서 발급받은 ID, {cern_id}는 CERN에서 발급 받은 ID를 의미합니다. 일부 사용자들은 두 ID가 일치 하지 않습니다.
- 경북대 계정 신청시 CERN ID가 없는 사용자는 계정발급 직후 SE 사용자 홈디렉토리가 생성되지 않습니다. CERN ID를 발급 받은 후에 별도로 연락주세요.
- 현재는 저장공간의 사용자당 최대 사용량이 시스템적으로 설정되어 있지는 않습니다. 그러나 원활한 이용을 위하여 초과해서 사용이 필요한 경우에는 사전에 관리자와 협의를 부탁드립니다.
- 저장공간이 부족해질 경우 개인 사용량을 초과하는 사용자를 대상으로 사용햐지 않는 데이터의 정리를 요청하고 있습니다. 삭제요청과 함께 혹시라도 데이터가 방치되고 있지는 않은지 확인하는 작업입니다. 파일의 삭제 가능 여부와 상관없이 반드시 답장을 해주시기 바랍니다.
- 스크레치 저장공간은 불필요한 데이터를 수시로 정리해주시고 장기 보관이 필요한 데이터는 SE로 이동 부탁드립니다.
- 스크레치 디스크는 임시작업용 저장공간입니다. 데이터 손실에 대한 안전장치가 전혀 없으므로 절대 데이터 보관용으로 사용해서는 안됩니다.
서비스별 스토리지 접근 방법은 다음과 같습니다.
서비스 | 스토리지 | 지원 프로토콜 | 경로 | Grid인증 | 비고 |
---|---|---|---|---|---|
UI | UI User Home | nfs | /u/user/{knu_id} | X | |
UI Scratch | nfs | X | |||
SE | xrootd | xrootd: root://cluster142.knu.ac.kr//store/user/{cern_id} | O | ||
webdav | webdav: davs://cluster142.knu.ac.kr:2880/cms/store/user/{cern_id} | O | |||
srm | srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/{cern_id} | O | |||
gsiftp | gsiftp://cluster142.knu.ac.kr:2811/pnfs/knu.ac.kr/data/cms/store/user/{cern_id} | O | |||
dcap | dcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/{cern_id} | X | 읽기전용 | ||
gsidcap | xrootd: root://cluster142.knu.ac.kr//store/user/{cern_id} | O | |||
nfs | /pnfs/knu.ac.kr/data/cms/store/user/{cern_id} /u/user/{knu_id}/SE_UserHome -----> /pnfs/knu.ac.kr/data/cms/store/user/{cern_id} |
X |
srm* | lcg* | gfal* | 비고 |
---|---|---|---|
srmls | lcg-ls | gfal-ls | ls |
srmcp | lcg-cp | gfal-copy | cp |
srmrm | lcg-del | gfal-rm | rm |
srmmkdir | gfal-mkdir | mkdir | |
srmrmdir | lcg-del -d | gfal-rm -R | rmdir |
gfal-cat | cat |
uberftp를 이용한 Storage Element 사용
WebFTS를 이용한 Storage Element 로의 Data 전송
GNU Parallel & gfap-copy 를 이용한 SE → SE Data 전송
[source] srm://dcache-se-cms.desy.de:8443//pnfs/desy.de/cms/tier2/store/user/beinsam/test [target] srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/hanbi/test
1) uberftp를 이용하여 gfal-copy 실행 파일 리스트 생성
$ uberftp -ls -r gsiftp://dcache-door-cms15.desy.de/pnfs/desy.de/cms/tier2/store/user/beinsam/test | grep .root$ | awk {' print "gfal-copy srm://dcache-se-cms.desy.de:8443/"$8" srm://cluster142.knu.ac.kr:8443/"$8}' | sed 's/desy.de\/cms\/tier2\/store\/user\/beinsam/knu.ac.kr\/data\/cms\/store\/user\/hanbi/2' > gfal-copy.txt
2) parallel를 이용하여 10개씩 gfal-copy 실행
$ cat gfal-copy.txt | parallel -j 10
fts-transfer-submit 를 이용한 SE → SE Data 전송
[source] srm://dcache-se-cms.desy.de:8443//pnfs/desy.de/cms/tier2/store/user/beinsam/test [target] srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/hanbi/test
1) uberftp를 이용하여 파일 리스트 파일 생성.
$ uberftp -ls -r gsiftp://dcache-door-cms15.desy.de/pnfs/desy.de/cms/tier2/store/user/beinsam/test | grep .root$ | awk {' print "srm://dcache-se-cms.desy.de:8443/"$8" srm://cluster142.knu.ac.kr:8443/"$8}' | sed 's/desy.de\/cms\/tier2\/store\/user\/beinsam/knu.ac.kr\/data\/cms\/store\/user\/hanbi/2' > copylist.txt
2) fts-transfer-submit
$ export PATH=/cvmfs/grid.cern.ch/Grid/FTS3/3.7.8/x86_64-slc6-gcc44-opt/bin:$PATH $ export LD_LIBRARY_PATH=/cvmfs/grid.cern.ch/Grid/FTS3/3.7.8/x86_64-slc6-gcc44-opt/lib64:$LD_LIBRARY_PATH $ fts-transfer-submit -s https://fts3-pilot.cern.ch:8446 -f copylist.txt 165b3e94-ac07-11e8-8460-02163e01841b
3) transfer status monitoring
fts-transfer-status -s https://fts3-pilot.cern.ch:8446 165b3e94-ac07-11e8-8460-02163e01841b
or
https://fts3-pilot.cern.ch:8449/fts3/ftsmon/ https://fts3-pilot.cern.ch:8449/fts3/ftsmon/#/job/165b3e94-ac07-11e8-8460-02163e01841b
T3_KR_KNU 저장공간(Disk) 활용 분류
* Storage Element (srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/...) : 대용량 저장 공간으로 장기간 보관이 가능합니다. - rucio를 통해 전송된 DataSet 저장 - Crab Analysis 이후의 결과파일 저장 srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/ UI에서는 ~/SE_UserHome/ 에서 확인할 수 있습니다. : 현재 약 1.45 PB의 공간을 마련하여 운영하고 있습니다. : 사용자의 데이터 저장으로 공간이 부족할 경우, 사전 설문을 통해 더 이상 사용하지 않는 과거 데이터의 삭제 요청을 드릴 수 있습니다.
* User Home Directory (/u/user/...) : 기본적인 설정 사항, 사용자가 필요한 소프트웨어 등을 설치 및 보관하는 장소입니다. : 약 20 TB 규모의 공간입니다. : 모든 사용자가 20 TB를 나누어 사용하므로 용량이 큰 데이터의 보관은 가급적 삼가해 주시기 바랍니다.
* Scratch Disk : UI에 총 1개의 임시 저장공간이 있습니다. - /d0 : 약 40 TB RAID6 Disk : Sratch 디스크는 임시 저장공간으로 중요한 데이터 및 장기 보관 데이터는 반드시 Storage Element로 이동하여 주시기 바랍니다.