T3_KR_KNU - User contributions [en]

Storage Element Tutorial

2026-07-30T07:41:43Z

Hanbi: /* Overview */

== Storage Element Tutorial ==
CRAB 등을 사용하여 얻은 데이터를 보관할 수 있는 저장 공간을 Storage Element (SE)라 합니다.
이곳에 데이터를 저장하기 위해서는 몇가지 특수한 명령어를 사용해야 합니다.

[주의 : tcsh, csh 등 에서 관련 명령어를 사용할 때, 경로 인자에 반드시 " " 를 사용해주시기 바랍니다.]

=== Overview ===

UI에 로그인 했을 때 일반 사용자가 읽고 쓸수 있는 저장공간은 다음과 같이 3가지 종류가 있습니다.

{| style="background:#f0f0f0;color:#black;white:80%;" border="1" cellpadding="5" cellspacing="0"
! 종류 !! 경로 !! 지원 프로토콜 !! 총용량 !! 사용자당 !! 용도 !! 비고
|- style="background:white; color:black"
| UI 사용자 홈
|
* /u/user/{knu_id}
| nfs
| 20 TB
| 200 GB
| 프로그램 설치 사용자 기본 작업공간
| RAID6
|- style="background:white; color:black"
| SE 사용자홈
|
* xrootd: root://cluster142.knu.ac.kr//store/user/{cern_id}/ 
* webdav: davs://cluster142.knu.ac.kr:2880/cms/store/user/{cern_id} 
* <del>srm: srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/{cern_id}</del> 
* <del>gsiftp://cluster142.knu.ac.kr:2811/pnfs/knu.ac.kr/data/cms/store/user/{cern_id}</del> 
* dcap: dcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/{cern_id} 
* gsidcap: gsidcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/{cern_id} 
* nfs: /pnfs/knu.ac.kr/data/cms/store/user/{cern_id} 
* nfs: /u/user/{knu_id}/SE_UserHome -----> /pnfs/knu.ac.kr/data/cms/store/user/{cern_id}
| xrootd, webdav, <del>srm, gsiftp,</del> dcap, gsidcap, nfs
| 1.85 PB
| 10 TB
| 데이터 보관 대용량데이터처리 프로그램설치X
| dCache, RAID6
|- style="background:white; color:black"
| 스크레치
|
* /d0/scratch 
* /u/user/{knu_id}/scratch -----> /d0/scratch/{knu_id}
| nfs
| 40 TB
|
| 임시 작업용 중요데이터 보관X
| RAID6
|}

* x509인증이 토큰 인증으로 전환되고 있는 상황이며 srm,gsiftp 프로토콜은 xrootd, webdav 프로토콜로 대체되고 있습니다.
* dcap(dCache access protocol): 인증이 필요없는 읽기 전용의 프로토콜입니다. 인증이 필요없기에 간편하게 사용할수 있지만 경북대 내부에서만 사용할수 있습니다.
* gsidcap: 그리드 인증이 필요한 dcap 프로토콜입니다. 읽기 쓰기가 모두 가능하며 경북대 내외부에서 모두 사용할 수 있습니다.
* SE에 저장되어 있는 데이터셋은 연산노드에서 xrootd, wevdav, nfs, dcap, <del>gsiftp</del>, <del>srm</del> 프로토콜을 이용하여 읽을 수 있습니다.

* CERN ID와 KNU ID가 다른 사용자는 SE 사용자 홈디렉토리에 CERN ID를 기준으로 디렉토리가 생성됩니다.
* {knu_id}는 경북대에서 발급받은 ID, {cern_id}는 CERN에서 발급 받은 ID를 의미합니다. 일부 사용자들은 두 ID가 일치 하지 않습니다.
* 경북대 계정 신청시 CERN ID가 없는 사용자는 계정발급 직후 SE 사용자 홈디렉토리가 생성되지 않습니다. CERN ID를 발급 받은 후에 별도로 연락주세요.

* 현재는 저장공간의 사용자당 최대 사용량이 시스템적으로 설정되어 있지는 않습니다. 그러나 원활한 이용을 위하여 초과해서 사용이 필요한 경우에는 사전에 관리자와 협의를 부탁드립니다.
* 저장공간이 부족해질 경우 개인 사용량을 초과하는 사용자를 대상으로 사용하지 않는 데이터의 정리를 요청하고 있습니다. 삭제요청과 함께 혹시라도 데이터가 방치되고 있지는 않은지 확인하는 작업입니다. 파일의 삭제 가능 여부와 상관없이 반드시 답장을 해주시기 바랍니다.

* 스크레치 저장공간은 불필요한 데이터를 수시로 정리해주시고 장기 보관이 필요한 데이터는 SE로 이동 부탁드립니다.
* 스크레치 디스크는 임시작업용 저장공간입니다. 데이터 손실에 대한 안전장치가 전혀 없으므로 절대 데이터 보관용으로 사용해서는 안됩니다.
* 매월 28일 90일이 지난 스크레치 디스크의 데이터는 자동으로 삭제됩니다.

=== 서비스별 스토리지 접근 ===

{| style="background:#f0f0f0;color:#black;white:80%;" border="1" cellpadding="5" cellspacing="0"
! 서비스 !! 스토리지 !! 지원 프로토콜 !! 경로 !! Grid인증 !! 비고
|- style="background:white; color:black"
| rowspan=9 | UI
| UI User Home
| nfs
| /u/user/{knu_id}
| X
|
|- style="background:white; color:black"
| UI Scratch
| nfs
| /u/user/{knu_id}/scratch -----> /d0/scratch/{knu_id}
| X
|
|- style="background:white; color:black"
| rowspan=7 | SE
| xrootd
| root://cluster142.knu.ac.kr//store/user/{cern_id}
| O
|
|- style="background:white; color:black"
| webdav
| davs://cluster142.knu.ac.kr:2880/cms/store/user/{cern_id}
| O
|
|- style="background:white; color:black"
| <del>srm</del>
| <del>srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/{cern_id}</del>
| O
|
|- style="background:white; color:black"
| <del>gsiftp</del>
| <del>gsiftp://cluster142.knu.ac.kr:2811/pnfs/knu.ac.kr/data/cms/store/user/{cern_id}</del>
| O
|
|- style="background:white; color:black"
| dcap
| dcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/{cern_id}
| X
| 읽기전용, 레거시(비권장)
|- style="background:white; color:black"
| gsidcap
| gsidcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/{cern_id}
| O
| 레거시(비권장)
|- style="background:white; color:black"
| nfs
| /pnfs/knu.ac.kr/data/cms/store/user/{cern_id} /u/user/{knu_id}/SE_UserHome -----> /pnfs/knu.ac.kr/data/cms/store/user/{cern_id}
| X
|
|- style="background:white; color:black"
| rowspan=9 | HTCondor
| UI User Home
| nfs
| /u/user/{knu_id}
| X
|
|- style="background:white; color:black"
| UI Scratch
| nfs
| /u/user/{knu_id}/scratch -----> /d0/scratch/{knu_id}
| X
|
|- style="background:white; color:black"
| rowspan=7 | SE
| xrootd
| root://cluster142.knu.ac.kr//store/user/{cern_id}
| O
|
|- style="background:white; color:black"
| webdav
| davs://cluster142.knu.ac.kr:2880/cms/store/user/{cern_id}
| O
|
|- style="background:white; color:black"
| <del>srm</del>
| <del>srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/{cern_id}</del>
| O
|
|- style="background:white; color:black"
| <del>gsiftp</del>
| <del>gsiftp://cluster142.knu.ac.kr:2811/pnfs/knu.ac.kr/data/cms/store/user/{cern_id}</del>
| O
|
|- style="background:white; color:black"
| dcap
| dcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/{cern_id}
| X
| 읽기전용, 레거시(비권장)
|- style="background:white; color:black"
| gsidcap
| gsidcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/{cern_id}
| O
| 레거시(비권장)
|- style="background:white; color:black"
| nfs
| /pnfs/knu.ac.kr/data/cms/store/user/{cern_id} /u/user/{knu_id}/SE_UserHome -----> /pnfs/knu.ac.kr/data/cms/store/user/{cern_id}
| X
|
|- style="background:white; color:black"

|}

* 해당 경로를 찾을 수 없다면 관리자에게 문의해 주시기 바랍니다.
* HTcondor 에서 SE에 nfs로 연결됨에 따라 dcap 이나 xrootd 와 같은 별다른 프로토콜 사용 없이 직접적으로 SE의 데이터를 읽고 쓸 수 있습니다. 

=== voms 인증 ===
* SE는 voms 인증 후 사용할수 있습니다.
$ voms-proxy-init --voms cms

=== voms 인증 정보 확인 ===
* voms 인증 정보는 다음 명령어로 확인할 수 있습니다.
$ voms-proxy-info --all
voms-proxy-info --all
subject : /DC=ch/DC=cern/OU=Organic Units/OU=Users/CN=gdhong/CN=000000/CN=Gildong Hong/CN=00000000
issuer : /DC=ch/DC=cern/OU=Organic Units/OU=Users/CN=gdhong/CN=000000/CN=Gildong Hong
identity : /DC=ch/DC=cern/OU=Organic Units/OU=Users/CN=gdhong/CN=000000/CN=Gildong Hong
type : RFC3820 compliant impersonation proxy
strength : 2048
path : /tmp/x509up_u00000
timeleft : 11:59:52
key usage : Digital Signature, Key Encipherment
=== VO cms extension information ===
VO : cms
subject : /DC=ch/DC=cern/OU=Organic Units/OU=Users/CN=gdhong/CN=000000/CN=Gildong Hong
issuer : /DC=ch/DC=cern/OU=computers/CN=voms2.cern.ch
attribute : /cms/Role=NULL/Capability=NULL
timeleft : 11:59:54
uri : voms2.cern.ch:15002

주의해야할 부분은 VO cms extension information 부분입니다. 만약 VO cms extension information 부분이 출력되지 않는다면 --voms cms 옵션을 정확하게 입력하였는지 자신의 cms vo가 만료된건 아닌지 확인 해야합니다.

=== T3_KR_KNU의 Computing Resource 실시간 조회하기 (CPU, Disk 자원 조회) ===

* UI 에서 "knuinfo" 명령어를 실행합니다.
$ knuinfo
-----------------------------------------------------------------------------------------
CPU Free Total Jobs Running Waiting ComputingElement
2509 247 2 0 0 ce01.knu.ac.kr:9619/ce01.knu.ac.kr-condor
-----------------------------------------------------------------------------------------
Avail Space(kB) Used Space(kB) Type SE
299479671320 1559004436260 xroot cluster142.knu.ac.k
-----------------------------------------------------------------------------------------

=== SE(Storage Element)의 사용자 디렉토리 경로 ===
$ srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/(username)/.../SrcFile
$ gsiftp://cluster142.knu.ac.kr:2811/pnfs/knu.ac.kr/data/cms/store/user/(username)/.../SrcFile
$ dcap://cluster142.knu.ac.kr/pnfs/knu.ac.kr/data/cms/store/user/(username)/.../SrcFile
$ gsidcap://cluster142.knu.ac.kr:22128/pnfs/knu.ac.kr/data/cms/store/user/(username)/.../SrcFile
$ root://cluster142.knu.ac.kr//store/user/(username)/.../SrcFile
$ davs://cluster142.knu.ac.kr:2880/cms/store/user/(username)/.../SrcFile

참고사항: 
- 위의 예시에서 username은 향후 data를 publish 할 경우를 대비해서 경북대 ID가 아니라 CERNID를 사용해야 합니다. 
- 계정을 발급받을 당시에 cern id가 없는 사용자는 해당 경로가 생성되지 않습니다. 
- 만약에 cern id가 있는데도 불구하고 본인의 디렉토리가 만들어져 있지 않는 경우에는 관리자에게 연락바랍니다.

=== SE에서 SE로 파일 복사하기 ===

$ gfal-copy root://cluster142.knu.ac.kr//store/user/(username)/.../SrcFile \
root://cluster142.knu.ac.kr//store/user/(username)/.../.../DestFile

$ gfal-copy davs://cluster142.knu.ac.kr:2880/cms/store/user/(username)/.../SrcFile \
davs://cluster142.knu.ac.kr:2880/cms/store/user/(username)/.../DestFile

=== SE에 있는 파일을 및 local 디렉토리로 복사하기 ===

$ gfal-copy root://cluster142.knu.ac.kr//store/user/(username)/.../SrcFile \
file:////u/user/(username)/.../DestFile

$ gfal-copy root://cluster142.knu.ac.kr//store/user/(username)/.../SrcFile \
./DestFile

$ gfal-copy davs://cluster142.knu.ac.kr:2880/cms/store/user/(username)/.../SrcFile \
file:////u/user/(username)/.../DestFile

$ gfal-copy davs://cluster142.knu.ac.kr:2880/cms/store/user/(username)/.../SrcFile \
./DestFile

$ gfal-copy gsidcap://cluster142.knu.ac.kr:22128/pnfs/knu.ac.kr/data/cms/store/user/(username)/.../SrcFile \
file:////u/user/(username)/.../DestFile

$ gfal-copy gsidcap://cluster142.knu.ac.kr/pnfs/knu.ac.kr/data/cms/store/user/(username)/.../SrcFile \
./DestFile

=== xrootd 를 활용한 SE Data 접근 방법 ===

* [[Xrootd|xrootd 을 이용하여 SE 사용하기]]

=== WebDav 프로토콜을 활용한 SE Data 접근 방법 ===

* [[WebDav|dCache에서 WebDav 프로토콜 및 마카롱 인증 사용하기]]

=== dcap을 이용한 SE Data 접근 방법 ===
* [[Dcap|dcap 을 이용하여 SE 사용하기]]

=== UI에서 NFS로 마운트된 스토리지 엘리먼트 사용하기 ===
* [[DCacheNFS|스토리지 엘리먼트의 NFS 사용 가이드]]

=== root에서 SE Data 접근 방법 ===

* xrootd 프로토콜을 이용
# 읽기
$ voms-proxy-init --voms cms
$ TFile *f = TFile::Open("root://cluster142.knu.ac.kr//store/user/(username)/test.root");
$
# 쓰기
$ voms-proxy-init --voms cms
$ root -l
root [0] TFile *f = TFile::Open("root://cluster142.knu.ac.kr//store/user/(username)/test.root", "CREATE");
root [1] f->Close();
root [2] TFile *f2 = TFile::Open("root://cluster142.knu.ac.kr//store/user/(username)/test.root", "RECREATE");
root [3] f2->Close();
root [4] .q
$

* dcap 프로토콜을 이용
# 읽기
$ TFile *f = TFile::Open("dcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/(username)/test.root");
$
# 쓰기
$ export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/lib64/dcap
$ root -l
root [0] TFile *f = TFile::Open("gsidcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/(username)/test.root", "CREATE");
root [1] f->Close();
root [2] TFile *f2 = TFile::Open("gsidcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/(username)/test.root", "RECREATE");
root [3] f2->Close();
root [4] .q
$

=== 복수의 파일을 동시에 전송하기 ===
$ /usr/local/bin/lcgcp_copyfiles list.txt

$ cat list.txt
srm://myhost.mydomain.edu:8443//dir1/dir2/sh-copy1 file:///localdir/sh1
srm://myhost.mydomain.edu:8443//dir1/dir2/sh-copy2 file:///localdir/sh2
srm://myhost.mydomain.edu:8443//dir1/dir2/sh-copy3 file:///localdir/sh3
* lcg_cp는 기본적으로 복수파일 전송을 지원하지 않으나 원본경로 대상경로를 포함하는 목록 파일을 생성한뒤, 위의 스크립트를 사용하면 복수의 파일을 전송할수 있다.

=== 복사가 정상적으로 이루어졌는지 확인 또는 디렉토리의 목록 확인 ===

$ gfal-ls -Hl davs://cluster142.knu.ac.kr:2880/cms/store/user/(username)

=== 파일 또는 디렉토리 삭제 ===

$ gfal-rm davs://cluster142.knu.ac.kr:2880/cms/store/user/(username)/test/test.file
$ <del>gfal-rm srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/(username)/test</del>
$ <del>lcg-del -d srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/(username)/test</del>

=== gfal 명령어 사용 요약 ===
$ voms-proxy-init --voms cms 로 proxy 생성후 아래 명령어를 수행하시면 됩니다.
$ 조회 : gfal-ls -Hl davs://cluster142.knu.ac.kr:2880/cms/store/user/MyAccount/FolderName
$ 복사 : gfal-copy davs://cluster142.knu.ac.kr:2880/cms/store/user/.../FileNameSrc davs://cluster142.knu.ac.kr:2880/cms/store/user/.../FileNameDest
$ 삭제 : gfal-rm davs://cluster142.knu.ac.kr:2880/cms/store/user/MyAccount/FolderName/FileName
$ 디렉토리 삭제 : <del>gfal-rm -R davs://cluster142.knu.ac.kr:2880/cms/store/user/MyAccount/FolderName</del>
* 명령어 뒤의 Option은 매뉴얼 페이지를 참고 바랍니다. (ex. man gfal-ls)
* <del>1000개 이상의 파일 포함한 폴더 내용 보기 : (ex. 500번째 파일부터 700개의 파일을 보고 싶을 경우) lcg-ls --offset 500 --count 700 srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/(DestFoler)</del>
* gfal-copy에서 "-r" 옵션을 사용하면 디렉토리까지 복사가 가능합니다.

=== gfal-copy를 이용한 디렉토리 복사 ===

gfal-copy에서 "-r" 옵션을 사용하면 서브 디렉토리까지 한번에 복사가 가능합니다. 다음과 같이 임의의 테스트 디렉토리를 만들었을때

[MyAccount@cms tmp5]$ ll
total 0
-rw-r--r-- 1 hanbi knu 0 Aug 26 17:21 aa
-rw-r--r-- 1 hanbi knu 0 Aug 26 17:21 bb
-rw-r--r-- 1 hanbi knu 0 Aug 26 17:21 cc
drwxr-xr-x 2 hanbi knu 24 Aug 26 17:22 dir1

-r 옵션을 적용해서 다음과 같이 실행하면 (로컬 디스크의 ~/MyAccount/tmp5 디렉토리를 SE의 hanbi/tmp5로 복사)

gfal-copy -r file:////u/user/MyAccount/tmp5 davs://cluster142.knu.ac.kr:2880/cms/store/user/MyAccount/tmp5

[MyAccount@cms ~]$ gfal-copy -r file:////u/user/MyAccount/tmp5 davs://cluster142.knu.ac.kr:2880/cms/store/user/MyAccount/tmp5
Mkdir davs://cluster142.knu.ac.kr:2880/cms/store/user/MyAccount/tmp5
Copying file:////u/user/MyAccount/tmp5/aa [DONE] after 0s
Copying file:////u/user/MyAccount/tmp5/bb [DONE] after 0s
Copying file:////u/user/MyAccount/tmp5/cc [DONE] after 0s
Mkdir davs://cluster142.knu.ac.kr:2880/cms/store/user/MyAccount/tmp5/dir1
Copying file:////u/user/MyAccount/tmp5/dir1/dd [DONE] after 0s
Copying file:////u/user/MyAccount/tmp5/dir1/ee [DONE] after 0s

아래와 같이 하부 디렉토리까지 스토리지 엘리먼트로 전부 전송이 되는 것을 확인 할 수 있습니다.

[hanbi@cms ~]$ ll /pnfs/knu.ac.kr/data/cms/store/user/MyAccount/tmp5
total 1
-rw-r--r-- 1 hanbi cms 0 Aug 26 17:22 aa
-rw-r--r-- 1 hanbi cms 0 Aug 26 17:22 bb
-rw-r--r-- 1 hanbi cms 0 Aug 26 17:22 cc
drwxr-xr-x 4 hanbi cms 512 Aug 26 17:22 dir1

물론 반대로 스토리지 엘리먼트에서 로컬 하드로 복사도 가능한데, 사용시 주의해야할 점은 SE의 소스 용량을 먼저 확인해서 전송을해야 로컬 하드디스크가 가득차는 것을 방지할 수 있습니다.

gfal-copy -r davs://cluster142.knu.ac.kr:2880/cms/store/user/MyAccount/tmp5 file:////u/user/MyAccount/tmp5

소스디렉토리의 크기를 확인하는 방법은 다음과 같이 확인할 수 있습니다. 다만 해당 디렉토리 아래의 크기가 매우 클 경우에는 결과가 나오는데 시간이 오래 결릴수 있습니다.

du -hs /pnfs/knu.ac.kr/data/cms/store/user/MyAccount/tmp5

===crab3를 사용한 후 gfal-* 명령어들이 오류가 발생합니다 ===

source /cvmfs/cms.cern.ch/crab3/crab.sh 실행후에 gfal-* 명령어들이 오류가 발생합니다.

$ gfal-ls -Hl davs://cluster142.knu.ac.kr:2880/cms/store/user//test/test.transfer
-rwxrwxrwx 0 0 0 4.8M Oct 12 2015 davs://cluster142.knu.ac.kr:2880/cms/store/user//test/test.transfer

$ source /cvmfs/cms.cern.ch/crab3/crab.sh

$ gfal-ls -Hl davs://cluster142.knu.ac.kr:2880/cms/store/user/test/test.transfer
Could not find platform independent libraries <prefix>
Could not find platform dependent libraries <exec_prefix>
Consider setting $PYTHONHOME to <prefix>[:<exec_prefix>]
'import site' failed; use -v for traceback
Traceback (most recent call last):
File "/usr/bin/gfal-ls", line 8, in <module>
from gfal2_util.shell import Gfal2Shell
ImportError: No module named gfal2_util.shell

crab3 에서 사용하는 python 환경변수와 gfal-* 명령어들에 문제를 일으키기 때문입니다. gfal-* 명령어 앞에 " env --unset=LD_LIBRARY_PATH "을 넣어줌으로써 문제를 해결할 수 있습니다.

$ env --unset=LD_LIBRARY_PATH gfal-ls -Hl davs://cluster142.knu.ac.kr:2880/cms/store/user/test/test.transfer
-rw-r--r-- 1 2 2 Oct 12 02:17 4.8M davs://cluster142.knu.ac.kr:2880/cms/store/user/test/test.transfer

=== cmsenv 실행후 gfal 명령어들이 정상 동작 하지 않을때 ===

cmsenv 실행후에 다음과 같은 오류가 발생한다면

Failed to add IO tunnel (libgsiTunnel.so: cannot open shared object file: No such file or directory). Provider: [libgsiTunnel.so].
Error ( POLLIN) (with data) on control line [12]
Failed to create a control line
Failed open file in the dCache.
gfal-copy: error: Input/output error

아래 명령을 먼저 실행해줌으로써 문제를 해결할 수 있습니다.

export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/lib64/dcap

=== no match 오류가 발생할때 ===

* tcsh에서 ?는 wild card로 인식이 됩니다. 따라서 tcsh을 사용하고 있다면 srm 경로에 반드시 ""를 사용해야 합니다.

=== srm*, lcg*, gfal* 주요 명령어 비교표 ===

{| style="background:#cccc99;color:#black;white:80%;" border="1" cellpadding="5" cellspacing="0"
! srm* !! lcg* !! gfal* !! 비고
|- style="background:white; color:black"
| srmls
| lcg-ls
| gfal-ls
| ls
|- style="background:#f0f0f0; color:black"
| srmcp
| lcg-cp
| gfal-copy
| cp
|- style="background:white; color:black"
| srmrm
| lcg-del
| gfal-rm
| rm
|- style="background:#f0f0f0; color:black"
| srmmkdir
|
| gfal-mkdir
| mkdir
|- style="background:white; color:black"
| srmrmdir
| lcg-del -d
| gfal-rm -R
| rmdir
|- style="background:#f0f0f0; color:black"
|
|
| gfal-cat
| cat

|}

=== <del>uberftp를 이용한 Storage Element 사용</del> ===

* <del>[[ uberftp | uberftp 사용법으로 가기 ]]</del>
* uberftp는 gridftp의 지원 종료로 이상 사용할 수 없습니다. 해당문서는 참고용으로만 보존합니다.

=== <del>WebFTS를 이용한 Storage Element 로의 Data 전송</del> ===
* <del>[[ Webfts | WebFTS 사용법으로 가기 ]]</del>
* WebFTS는 CERN에서 서비스가 종료되어 더 이상 사용할 수 없습니다. 해당문서는 참고용으로만 보존합니다.

Storage Element Tutorial

2026-07-30T07:41:00Z

Hanbi: /* T3_KR_KNU 저장공간(Disk) 활용 분류 */

== Storage Element Tutorial ==
CRAB 등을 사용하여 얻은 데이터를 보관할 수 있는 저장 공간을 Storage Element (SE)라 합니다.
이곳에 데이터를 저장하기 위해서는 몇가지 특수한 명령어를 사용해야 합니다.

[주의 : tcsh, csh 등 에서 관련 명령어를 사용할 때, 경로 인자에 반드시 " " 를 사용해주시기 바랍니다.]

=== Overview ===

UI에 로그인 했을 때 일반 사용자가 읽고 쓸수 있는 저장공간은 다음과 같이 3가지 종류가 있습니다.

{| style="background:#f0f0f0;color:#black;white:80%;" border="1" cellpadding="5" cellspacing="0"
! 종류 !! 경로 !! 지원 프로토콜 !! 총용량 !! 사용자당 !! 용도 !! 비고
|- style="background:white; color:black"
| UI 사용자 홈
|
* /u/user/{knu_id}
| nfs
| 20 TB
| 200 GB
| 프로그램 설치 사용자 기본 작업공간
| RAID6
|- style="background:white; color:black"
| SE 사용자홈
|
* xrootd: root://cluster142.knu.ac.kr//store/user/{cern_id}/ 
* webdav: davs://cluster142.knu.ac.kr:2880/cms/store/user/{cern_id} 
* <del>srm: srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/{cern_id}</del> 
* <del>gsiftp://cluster142.knu.ac.kr:2811/pnfs/knu.ac.kr/data/cms/store/user/{cern_id}</del> 
* dcap: dcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/{cern_id} 
* gsidcap: gsidcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/{cern_id} 
* nfs: /pnfs/knu.ac.kr/data/cms/store/user/{cern_id} 
* nfs: /u/user/{knu_id}/SE_UserHome -----> /pnfs/knu.ac.kr/data/cms/store/user/{cern_id}
| xrootd, webdav, <del>srm, gsiftp,</del> dcap, gsidcap, nfs
| 1.84 PB
| 10 TB
| 데이터 보관 대용량데이터처리 프로그램설치X
| dCache, RAID6
|- style="background:white; color:black"
| 스크레치
|
* /d0/scratch 
* /u/user/{knu_id}/scratch -----> /d0/scratch/{knu_id}
| nfs
| 40 TB
|
| 임시 작업용 중요데이터 보관X
| RAID6
|}

* x509인증이 토큰 인증으로 전환되고 있는 상황이며 srm,gsiftp 프로토콜은 xrootd, webdav 프로토콜로 대체되고 있습니다.
* dcap(dCache access protocol): 인증이 필요없는 읽기 전용의 프로토콜입니다. 인증이 필요없기에 간편하게 사용할수 있지만 경북대 내부에서만 사용할수 있습니다.
* gsidcap: 그리드 인증이 필요한 dcap 프로토콜입니다. 읽기 쓰기가 모두 가능하며 경북대 내외부에서 모두 사용할 수 있습니다.
* SE에 저장되어 있는 데이터셋은 연산노드에서 xrootd, wevdav, nfs, dcap, <del>gsiftp</del>, <del>srm</del> 프로토콜을 이용하여 읽을 수 있습니다.

* CERN ID와 KNU ID가 다른 사용자는 SE 사용자 홈디렉토리에 CERN ID를 기준으로 디렉토리가 생성됩니다.
* {knu_id}는 경북대에서 발급받은 ID, {cern_id}는 CERN에서 발급 받은 ID를 의미합니다. 일부 사용자들은 두 ID가 일치 하지 않습니다.
* 경북대 계정 신청시 CERN ID가 없는 사용자는 계정발급 직후 SE 사용자 홈디렉토리가 생성되지 않습니다. CERN ID를 발급 받은 후에 별도로 연락주세요.

* 현재는 저장공간의 사용자당 최대 사용량이 시스템적으로 설정되어 있지는 않습니다. 그러나 원활한 이용을 위하여 초과해서 사용이 필요한 경우에는 사전에 관리자와 협의를 부탁드립니다.
* 저장공간이 부족해질 경우 개인 사용량을 초과하는 사용자를 대상으로 사용하지 않는 데이터의 정리를 요청하고 있습니다. 삭제요청과 함께 혹시라도 데이터가 방치되고 있지는 않은지 확인하는 작업입니다. 파일의 삭제 가능 여부와 상관없이 반드시 답장을 해주시기 바랍니다.

* 스크레치 저장공간은 불필요한 데이터를 수시로 정리해주시고 장기 보관이 필요한 데이터는 SE로 이동 부탁드립니다.
* 스크레치 디스크는 임시작업용 저장공간입니다. 데이터 손실에 대한 안전장치가 전혀 없으므로 절대 데이터 보관용으로 사용해서는 안됩니다.
* 매월 28일 90일이 지난 스크레치 디스크의 데이터는 자동으로 삭제됩니다.

=== 서비스별 스토리지 접근 ===

{| style="background:#f0f0f0;color:#black;white:80%;" border="1" cellpadding="5" cellspacing="0"
! 서비스 !! 스토리지 !! 지원 프로토콜 !! 경로 !! Grid인증 !! 비고
|- style="background:white; color:black"
| rowspan=9 | UI
| UI User Home
| nfs
| /u/user/{knu_id}
| X
|
|- style="background:white; color:black"
| UI Scratch
| nfs
| /u/user/{knu_id}/scratch -----> /d0/scratch/{knu_id}
| X
|
|- style="background:white; color:black"
| rowspan=7 | SE
| xrootd
| root://cluster142.knu.ac.kr//store/user/{cern_id}
| O
|
|- style="background:white; color:black"
| webdav
| davs://cluster142.knu.ac.kr:2880/cms/store/user/{cern_id}
| O
|
|- style="background:white; color:black"
| <del>srm</del>
| <del>srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/{cern_id}</del>
| O
|
|- style="background:white; color:black"
| <del>gsiftp</del>
| <del>gsiftp://cluster142.knu.ac.kr:2811/pnfs/knu.ac.kr/data/cms/store/user/{cern_id}</del>
| O
|
|- style="background:white; color:black"
| dcap
| dcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/{cern_id}
| X
| 읽기전용, 레거시(비권장)
|- style="background:white; color:black"
| gsidcap
| gsidcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/{cern_id}
| O
| 레거시(비권장)
|- style="background:white; color:black"
| nfs
| /pnfs/knu.ac.kr/data/cms/store/user/{cern_id} /u/user/{knu_id}/SE_UserHome -----> /pnfs/knu.ac.kr/data/cms/store/user/{cern_id}
| X
|
|- style="background:white; color:black"
| rowspan=9 | HTCondor
| UI User Home
| nfs
| /u/user/{knu_id}
| X
|
|- style="background:white; color:black"
| UI Scratch
| nfs
| /u/user/{knu_id}/scratch -----> /d0/scratch/{knu_id}
| X
|
|- style="background:white; color:black"
| rowspan=7 | SE
| xrootd
| root://cluster142.knu.ac.kr//store/user/{cern_id}
| O
|
|- style="background:white; color:black"
| webdav
| davs://cluster142.knu.ac.kr:2880/cms/store/user/{cern_id}
| O
|
|- style="background:white; color:black"
| <del>srm</del>
| <del>srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/{cern_id}</del>
| O
|
|- style="background:white; color:black"
| <del>gsiftp</del>
| <del>gsiftp://cluster142.knu.ac.kr:2811/pnfs/knu.ac.kr/data/cms/store/user/{cern_id}</del>
| O
|
|- style="background:white; color:black"
| dcap
| dcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/{cern_id}
| X
| 읽기전용, 레거시(비권장)
|- style="background:white; color:black"
| gsidcap
| gsidcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/{cern_id}
| O
| 레거시(비권장)
|- style="background:white; color:black"
| nfs
| /pnfs/knu.ac.kr/data/cms/store/user/{cern_id} /u/user/{knu_id}/SE_UserHome -----> /pnfs/knu.ac.kr/data/cms/store/user/{cern_id}
| X
|
|- style="background:white; color:black"

|}

* 해당 경로를 찾을 수 없다면 관리자에게 문의해 주시기 바랍니다.
* HTcondor 에서 SE에 nfs로 연결됨에 따라 dcap 이나 xrootd 와 같은 별다른 프로토콜 사용 없이 직접적으로 SE의 데이터를 읽고 쓸 수 있습니다. 

=== voms 인증 ===
* SE는 voms 인증 후 사용할수 있습니다.
$ voms-proxy-init --voms cms

=== voms 인증 정보 확인 ===
* voms 인증 정보는 다음 명령어로 확인할 수 있습니다.
$ voms-proxy-info --all
voms-proxy-info --all
subject : /DC=ch/DC=cern/OU=Organic Units/OU=Users/CN=gdhong/CN=000000/CN=Gildong Hong/CN=00000000
issuer : /DC=ch/DC=cern/OU=Organic Units/OU=Users/CN=gdhong/CN=000000/CN=Gildong Hong
identity : /DC=ch/DC=cern/OU=Organic Units/OU=Users/CN=gdhong/CN=000000/CN=Gildong Hong
type : RFC3820 compliant impersonation proxy
strength : 2048
path : /tmp/x509up_u00000
timeleft : 11:59:52
key usage : Digital Signature, Key Encipherment
=== VO cms extension information ===
VO : cms
subject : /DC=ch/DC=cern/OU=Organic Units/OU=Users/CN=gdhong/CN=000000/CN=Gildong Hong
issuer : /DC=ch/DC=cern/OU=computers/CN=voms2.cern.ch
attribute : /cms/Role=NULL/Capability=NULL
timeleft : 11:59:54
uri : voms2.cern.ch:15002

주의해야할 부분은 VO cms extension information 부분입니다. 만약 VO cms extension information 부분이 출력되지 않는다면 --voms cms 옵션을 정확하게 입력하였는지 자신의 cms vo가 만료된건 아닌지 확인 해야합니다.

=== T3_KR_KNU의 Computing Resource 실시간 조회하기 (CPU, Disk 자원 조회) ===

* UI 에서 "knuinfo" 명령어를 실행합니다.
$ knuinfo
-----------------------------------------------------------------------------------------
CPU Free Total Jobs Running Waiting ComputingElement
2509 247 2 0 0 ce01.knu.ac.kr:9619/ce01.knu.ac.kr-condor
-----------------------------------------------------------------------------------------
Avail Space(kB) Used Space(kB) Type SE
299479671320 1559004436260 xroot cluster142.knu.ac.k
-----------------------------------------------------------------------------------------

=== SE(Storage Element)의 사용자 디렉토리 경로 ===
$ srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/(username)/.../SrcFile
$ gsiftp://cluster142.knu.ac.kr:2811/pnfs/knu.ac.kr/data/cms/store/user/(username)/.../SrcFile
$ dcap://cluster142.knu.ac.kr/pnfs/knu.ac.kr/data/cms/store/user/(username)/.../SrcFile
$ gsidcap://cluster142.knu.ac.kr:22128/pnfs/knu.ac.kr/data/cms/store/user/(username)/.../SrcFile
$ root://cluster142.knu.ac.kr//store/user/(username)/.../SrcFile
$ davs://cluster142.knu.ac.kr:2880/cms/store/user/(username)/.../SrcFile

참고사항: 
- 위의 예시에서 username은 향후 data를 publish 할 경우를 대비해서 경북대 ID가 아니라 CERNID를 사용해야 합니다. 
- 계정을 발급받을 당시에 cern id가 없는 사용자는 해당 경로가 생성되지 않습니다. 
- 만약에 cern id가 있는데도 불구하고 본인의 디렉토리가 만들어져 있지 않는 경우에는 관리자에게 연락바랍니다.

=== SE에서 SE로 파일 복사하기 ===

$ gfal-copy root://cluster142.knu.ac.kr//store/user/(username)/.../SrcFile \
root://cluster142.knu.ac.kr//store/user/(username)/.../.../DestFile

$ gfal-copy davs://cluster142.knu.ac.kr:2880/cms/store/user/(username)/.../SrcFile \
davs://cluster142.knu.ac.kr:2880/cms/store/user/(username)/.../DestFile

=== SE에 있는 파일을 및 local 디렉토리로 복사하기 ===

$ gfal-copy root://cluster142.knu.ac.kr//store/user/(username)/.../SrcFile \
file:////u/user/(username)/.../DestFile

$ gfal-copy root://cluster142.knu.ac.kr//store/user/(username)/.../SrcFile \
./DestFile

$ gfal-copy davs://cluster142.knu.ac.kr:2880/cms/store/user/(username)/.../SrcFile \
file:////u/user/(username)/.../DestFile

$ gfal-copy davs://cluster142.knu.ac.kr:2880/cms/store/user/(username)/.../SrcFile \
./DestFile

$ gfal-copy gsidcap://cluster142.knu.ac.kr:22128/pnfs/knu.ac.kr/data/cms/store/user/(username)/.../SrcFile \
file:////u/user/(username)/.../DestFile

$ gfal-copy gsidcap://cluster142.knu.ac.kr/pnfs/knu.ac.kr/data/cms/store/user/(username)/.../SrcFile \
./DestFile

=== xrootd 를 활용한 SE Data 접근 방법 ===

* [[Xrootd|xrootd 을 이용하여 SE 사용하기]]

=== WebDav 프로토콜을 활용한 SE Data 접근 방법 ===

* [[WebDav|dCache에서 WebDav 프로토콜 및 마카롱 인증 사용하기]]

=== dcap을 이용한 SE Data 접근 방법 ===
* [[Dcap|dcap 을 이용하여 SE 사용하기]]

=== UI에서 NFS로 마운트된 스토리지 엘리먼트 사용하기 ===
* [[DCacheNFS|스토리지 엘리먼트의 NFS 사용 가이드]]

=== root에서 SE Data 접근 방법 ===

* xrootd 프로토콜을 이용
# 읽기
$ voms-proxy-init --voms cms
$ TFile *f = TFile::Open("root://cluster142.knu.ac.kr//store/user/(username)/test.root");
$
# 쓰기
$ voms-proxy-init --voms cms
$ root -l
root [0] TFile *f = TFile::Open("root://cluster142.knu.ac.kr//store/user/(username)/test.root", "CREATE");
root [1] f->Close();
root [2] TFile *f2 = TFile::Open("root://cluster142.knu.ac.kr//store/user/(username)/test.root", "RECREATE");
root [3] f2->Close();
root [4] .q
$

* dcap 프로토콜을 이용
# 읽기
$ TFile *f = TFile::Open("dcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/(username)/test.root");
$
# 쓰기
$ export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/lib64/dcap
$ root -l
root [0] TFile *f = TFile::Open("gsidcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/(username)/test.root", "CREATE");
root [1] f->Close();
root [2] TFile *f2 = TFile::Open("gsidcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/(username)/test.root", "RECREATE");
root [3] f2->Close();
root [4] .q
$

=== 복수의 파일을 동시에 전송하기 ===
$ /usr/local/bin/lcgcp_copyfiles list.txt

$ cat list.txt
srm://myhost.mydomain.edu:8443//dir1/dir2/sh-copy1 file:///localdir/sh1
srm://myhost.mydomain.edu:8443//dir1/dir2/sh-copy2 file:///localdir/sh2
srm://myhost.mydomain.edu:8443//dir1/dir2/sh-copy3 file:///localdir/sh3
* lcg_cp는 기본적으로 복수파일 전송을 지원하지 않으나 원본경로 대상경로를 포함하는 목록 파일을 생성한뒤, 위의 스크립트를 사용하면 복수의 파일을 전송할수 있다.

=== 복사가 정상적으로 이루어졌는지 확인 또는 디렉토리의 목록 확인 ===

$ gfal-ls -Hl davs://cluster142.knu.ac.kr:2880/cms/store/user/(username)

=== 파일 또는 디렉토리 삭제 ===

$ gfal-rm davs://cluster142.knu.ac.kr:2880/cms/store/user/(username)/test/test.file
$ <del>gfal-rm srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/(username)/test</del>
$ <del>lcg-del -d srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/(username)/test</del>

=== gfal 명령어 사용 요약 ===
$ voms-proxy-init --voms cms 로 proxy 생성후 아래 명령어를 수행하시면 됩니다.
$ 조회 : gfal-ls -Hl davs://cluster142.knu.ac.kr:2880/cms/store/user/MyAccount/FolderName
$ 복사 : gfal-copy davs://cluster142.knu.ac.kr:2880/cms/store/user/.../FileNameSrc davs://cluster142.knu.ac.kr:2880/cms/store/user/.../FileNameDest
$ 삭제 : gfal-rm davs://cluster142.knu.ac.kr:2880/cms/store/user/MyAccount/FolderName/FileName
$ 디렉토리 삭제 : <del>gfal-rm -R davs://cluster142.knu.ac.kr:2880/cms/store/user/MyAccount/FolderName</del>
* 명령어 뒤의 Option은 매뉴얼 페이지를 참고 바랍니다. (ex. man gfal-ls)
* <del>1000개 이상의 파일 포함한 폴더 내용 보기 : (ex. 500번째 파일부터 700개의 파일을 보고 싶을 경우) lcg-ls --offset 500 --count 700 srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/(DestFoler)</del>
* gfal-copy에서 "-r" 옵션을 사용하면 디렉토리까지 복사가 가능합니다.

=== gfal-copy를 이용한 디렉토리 복사 ===

gfal-copy에서 "-r" 옵션을 사용하면 서브 디렉토리까지 한번에 복사가 가능합니다. 다음과 같이 임의의 테스트 디렉토리를 만들었을때

[MyAccount@cms tmp5]$ ll
total 0
-rw-r--r-- 1 hanbi knu 0 Aug 26 17:21 aa
-rw-r--r-- 1 hanbi knu 0 Aug 26 17:21 bb
-rw-r--r-- 1 hanbi knu 0 Aug 26 17:21 cc
drwxr-xr-x 2 hanbi knu 24 Aug 26 17:22 dir1

-r 옵션을 적용해서 다음과 같이 실행하면 (로컬 디스크의 ~/MyAccount/tmp5 디렉토리를 SE의 hanbi/tmp5로 복사)

gfal-copy -r file:////u/user/MyAccount/tmp5 davs://cluster142.knu.ac.kr:2880/cms/store/user/MyAccount/tmp5

[MyAccount@cms ~]$ gfal-copy -r file:////u/user/MyAccount/tmp5 davs://cluster142.knu.ac.kr:2880/cms/store/user/MyAccount/tmp5
Mkdir davs://cluster142.knu.ac.kr:2880/cms/store/user/MyAccount/tmp5
Copying file:////u/user/MyAccount/tmp5/aa [DONE] after 0s
Copying file:////u/user/MyAccount/tmp5/bb [DONE] after 0s
Copying file:////u/user/MyAccount/tmp5/cc [DONE] after 0s
Mkdir davs://cluster142.knu.ac.kr:2880/cms/store/user/MyAccount/tmp5/dir1
Copying file:////u/user/MyAccount/tmp5/dir1/dd [DONE] after 0s
Copying file:////u/user/MyAccount/tmp5/dir1/ee [DONE] after 0s

아래와 같이 하부 디렉토리까지 스토리지 엘리먼트로 전부 전송이 되는 것을 확인 할 수 있습니다.

[hanbi@cms ~]$ ll /pnfs/knu.ac.kr/data/cms/store/user/MyAccount/tmp5
total 1
-rw-r--r-- 1 hanbi cms 0 Aug 26 17:22 aa
-rw-r--r-- 1 hanbi cms 0 Aug 26 17:22 bb
-rw-r--r-- 1 hanbi cms 0 Aug 26 17:22 cc
drwxr-xr-x 4 hanbi cms 512 Aug 26 17:22 dir1

물론 반대로 스토리지 엘리먼트에서 로컬 하드로 복사도 가능한데, 사용시 주의해야할 점은 SE의 소스 용량을 먼저 확인해서 전송을해야 로컬 하드디스크가 가득차는 것을 방지할 수 있습니다.

gfal-copy -r davs://cluster142.knu.ac.kr:2880/cms/store/user/MyAccount/tmp5 file:////u/user/MyAccount/tmp5

소스디렉토리의 크기를 확인하는 방법은 다음과 같이 확인할 수 있습니다. 다만 해당 디렉토리 아래의 크기가 매우 클 경우에는 결과가 나오는데 시간이 오래 결릴수 있습니다.

du -hs /pnfs/knu.ac.kr/data/cms/store/user/MyAccount/tmp5

===crab3를 사용한 후 gfal-* 명령어들이 오류가 발생합니다 ===

source /cvmfs/cms.cern.ch/crab3/crab.sh 실행후에 gfal-* 명령어들이 오류가 발생합니다.

$ gfal-ls -Hl davs://cluster142.knu.ac.kr:2880/cms/store/user//test/test.transfer
-rwxrwxrwx 0 0 0 4.8M Oct 12 2015 davs://cluster142.knu.ac.kr:2880/cms/store/user//test/test.transfer

$ source /cvmfs/cms.cern.ch/crab3/crab.sh

$ gfal-ls -Hl davs://cluster142.knu.ac.kr:2880/cms/store/user/test/test.transfer
Could not find platform independent libraries <prefix>
Could not find platform dependent libraries <exec_prefix>
Consider setting $PYTHONHOME to <prefix>[:<exec_prefix>]
'import site' failed; use -v for traceback
Traceback (most recent call last):
File "/usr/bin/gfal-ls", line 8, in <module>
from gfal2_util.shell import Gfal2Shell
ImportError: No module named gfal2_util.shell

crab3 에서 사용하는 python 환경변수와 gfal-* 명령어들에 문제를 일으키기 때문입니다. gfal-* 명령어 앞에 " env --unset=LD_LIBRARY_PATH "을 넣어줌으로써 문제를 해결할 수 있습니다.

$ env --unset=LD_LIBRARY_PATH gfal-ls -Hl davs://cluster142.knu.ac.kr:2880/cms/store/user/test/test.transfer
-rw-r--r-- 1 2 2 Oct 12 02:17 4.8M davs://cluster142.knu.ac.kr:2880/cms/store/user/test/test.transfer

=== cmsenv 실행후 gfal 명령어들이 정상 동작 하지 않을때 ===

cmsenv 실행후에 다음과 같은 오류가 발생한다면

Failed to add IO tunnel (libgsiTunnel.so: cannot open shared object file: No such file or directory). Provider: [libgsiTunnel.so].
Error ( POLLIN) (with data) on control line [12]
Failed to create a control line
Failed open file in the dCache.
gfal-copy: error: Input/output error

아래 명령을 먼저 실행해줌으로써 문제를 해결할 수 있습니다.

export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/lib64/dcap

=== no match 오류가 발생할때 ===

* tcsh에서 ?는 wild card로 인식이 됩니다. 따라서 tcsh을 사용하고 있다면 srm 경로에 반드시 ""를 사용해야 합니다.

=== srm*, lcg*, gfal* 주요 명령어 비교표 ===

{| style="background:#cccc99;color:#black;white:80%;" border="1" cellpadding="5" cellspacing="0"
! srm* !! lcg* !! gfal* !! 비고
|- style="background:white; color:black"
| srmls
| lcg-ls
| gfal-ls
| ls
|- style="background:#f0f0f0; color:black"
| srmcp
| lcg-cp
| gfal-copy
| cp
|- style="background:white; color:black"
| srmrm
| lcg-del
| gfal-rm
| rm
|- style="background:#f0f0f0; color:black"
| srmmkdir
|
| gfal-mkdir
| mkdir
|- style="background:white; color:black"
| srmrmdir
| lcg-del -d
| gfal-rm -R
| rmdir
|- style="background:#f0f0f0; color:black"
|
|
| gfal-cat
| cat

|}

=== <del>uberftp를 이용한 Storage Element 사용</del> ===

* <del>[[ uberftp | uberftp 사용법으로 가기 ]]</del>
* uberftp는 gridftp의 지원 종료로 이상 사용할 수 없습니다. 해당문서는 참고용으로만 보존합니다.

=== <del>WebFTS를 이용한 Storage Element 로의 Data 전송</del> ===
* <del>[[ Webfts | WebFTS 사용법으로 가기 ]]</del>
* WebFTS는 CERN에서 서비스가 종료되어 더 이상 사용할 수 없습니다. 해당문서는 참고용으로만 보존합니다.

Storage Element Tutorial

2026-07-30T07:39:44Z

Hanbi: /* 서비스별 스토리지 접근 */

== Storage Element Tutorial ==
CRAB 등을 사용하여 얻은 데이터를 보관할 수 있는 저장 공간을 Storage Element (SE)라 합니다.
이곳에 데이터를 저장하기 위해서는 몇가지 특수한 명령어를 사용해야 합니다.

[주의 : tcsh, csh 등 에서 관련 명령어를 사용할 때, 경로 인자에 반드시 " " 를 사용해주시기 바랍니다.]

=== Overview ===

UI에 로그인 했을 때 일반 사용자가 읽고 쓸수 있는 저장공간은 다음과 같이 3가지 종류가 있습니다.

{| style="background:#f0f0f0;color:#black;white:80%;" border="1" cellpadding="5" cellspacing="0"
! 종류 !! 경로 !! 지원 프로토콜 !! 총용량 !! 사용자당 !! 용도 !! 비고
|- style="background:white; color:black"
| UI 사용자 홈
|
* /u/user/{knu_id}
| nfs
| 20 TB
| 200 GB
| 프로그램 설치 사용자 기본 작업공간
| RAID6
|- style="background:white; color:black"
| SE 사용자홈
|
* xrootd: root://cluster142.knu.ac.kr//store/user/{cern_id}/ 
* webdav: davs://cluster142.knu.ac.kr:2880/cms/store/user/{cern_id} 
* <del>srm: srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/{cern_id}</del> 
* <del>gsiftp://cluster142.knu.ac.kr:2811/pnfs/knu.ac.kr/data/cms/store/user/{cern_id}</del> 
* dcap: dcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/{cern_id} 
* gsidcap: gsidcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/{cern_id} 
* nfs: /pnfs/knu.ac.kr/data/cms/store/user/{cern_id} 
* nfs: /u/user/{knu_id}/SE_UserHome -----> /pnfs/knu.ac.kr/data/cms/store/user/{cern_id}
| xrootd, webdav, <del>srm, gsiftp,</del> dcap, gsidcap, nfs
| 1.84 PB
| 10 TB
| 데이터 보관 대용량데이터처리 프로그램설치X
| dCache, RAID6
|- style="background:white; color:black"
| 스크레치
|
* /d0/scratch 
* /u/user/{knu_id}/scratch -----> /d0/scratch/{knu_id}
| nfs
| 40 TB
|
| 임시 작업용 중요데이터 보관X
| RAID6
|}

* x509인증이 토큰 인증으로 전환되고 있는 상황이며 srm,gsiftp 프로토콜은 xrootd, webdav 프로토콜로 대체되고 있습니다.
* dcap(dCache access protocol): 인증이 필요없는 읽기 전용의 프로토콜입니다. 인증이 필요없기에 간편하게 사용할수 있지만 경북대 내부에서만 사용할수 있습니다.
* gsidcap: 그리드 인증이 필요한 dcap 프로토콜입니다. 읽기 쓰기가 모두 가능하며 경북대 내외부에서 모두 사용할 수 있습니다.
* SE에 저장되어 있는 데이터셋은 연산노드에서 xrootd, wevdav, nfs, dcap, <del>gsiftp</del>, <del>srm</del> 프로토콜을 이용하여 읽을 수 있습니다.

* CERN ID와 KNU ID가 다른 사용자는 SE 사용자 홈디렉토리에 CERN ID를 기준으로 디렉토리가 생성됩니다.
* {knu_id}는 경북대에서 발급받은 ID, {cern_id}는 CERN에서 발급 받은 ID를 의미합니다. 일부 사용자들은 두 ID가 일치 하지 않습니다.
* 경북대 계정 신청시 CERN ID가 없는 사용자는 계정발급 직후 SE 사용자 홈디렉토리가 생성되지 않습니다. CERN ID를 발급 받은 후에 별도로 연락주세요.

* 현재는 저장공간의 사용자당 최대 사용량이 시스템적으로 설정되어 있지는 않습니다. 그러나 원활한 이용을 위하여 초과해서 사용이 필요한 경우에는 사전에 관리자와 협의를 부탁드립니다.
* 저장공간이 부족해질 경우 개인 사용량을 초과하는 사용자를 대상으로 사용하지 않는 데이터의 정리를 요청하고 있습니다. 삭제요청과 함께 혹시라도 데이터가 방치되고 있지는 않은지 확인하는 작업입니다. 파일의 삭제 가능 여부와 상관없이 반드시 답장을 해주시기 바랍니다.

* 스크레치 저장공간은 불필요한 데이터를 수시로 정리해주시고 장기 보관이 필요한 데이터는 SE로 이동 부탁드립니다.
* 스크레치 디스크는 임시작업용 저장공간입니다. 데이터 손실에 대한 안전장치가 전혀 없으므로 절대 데이터 보관용으로 사용해서는 안됩니다.
* 매월 28일 90일이 지난 스크레치 디스크의 데이터는 자동으로 삭제됩니다.

=== 서비스별 스토리지 접근 ===

{| style="background:#f0f0f0;color:#black;white:80%;" border="1" cellpadding="5" cellspacing="0"
! 서비스 !! 스토리지 !! 지원 프로토콜 !! 경로 !! Grid인증 !! 비고
|- style="background:white; color:black"
| rowspan=9 | UI
| UI User Home
| nfs
| /u/user/{knu_id}
| X
|
|- style="background:white; color:black"
| UI Scratch
| nfs
| /u/user/{knu_id}/scratch -----> /d0/scratch/{knu_id}
| X
|
|- style="background:white; color:black"
| rowspan=7 | SE
| xrootd
| root://cluster142.knu.ac.kr//store/user/{cern_id}
| O
|
|- style="background:white; color:black"
| webdav
| davs://cluster142.knu.ac.kr:2880/cms/store/user/{cern_id}
| O
|
|- style="background:white; color:black"
| <del>srm</del>
| <del>srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/{cern_id}</del>
| O
|
|- style="background:white; color:black"
| <del>gsiftp</del>
| <del>gsiftp://cluster142.knu.ac.kr:2811/pnfs/knu.ac.kr/data/cms/store/user/{cern_id}</del>
| O
|
|- style="background:white; color:black"
| dcap
| dcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/{cern_id}
| X
| 읽기전용, 레거시(비권장)
|- style="background:white; color:black"
| gsidcap
| gsidcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/{cern_id}
| O
| 레거시(비권장)
|- style="background:white; color:black"
| nfs
| /pnfs/knu.ac.kr/data/cms/store/user/{cern_id} /u/user/{knu_id}/SE_UserHome -----> /pnfs/knu.ac.kr/data/cms/store/user/{cern_id}
| X
|
|- style="background:white; color:black"
| rowspan=9 | HTCondor
| UI User Home
| nfs
| /u/user/{knu_id}
| X
|
|- style="background:white; color:black"
| UI Scratch
| nfs
| /u/user/{knu_id}/scratch -----> /d0/scratch/{knu_id}
| X
|
|- style="background:white; color:black"
| rowspan=7 | SE
| xrootd
| root://cluster142.knu.ac.kr//store/user/{cern_id}
| O
|
|- style="background:white; color:black"
| webdav
| davs://cluster142.knu.ac.kr:2880/cms/store/user/{cern_id}
| O
|
|- style="background:white; color:black"
| <del>srm</del>
| <del>srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/{cern_id}</del>
| O
|
|- style="background:white; color:black"
| <del>gsiftp</del>
| <del>gsiftp://cluster142.knu.ac.kr:2811/pnfs/knu.ac.kr/data/cms/store/user/{cern_id}</del>
| O
|
|- style="background:white; color:black"
| dcap
| dcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/{cern_id}
| X
| 읽기전용, 레거시(비권장)
|- style="background:white; color:black"
| gsidcap
| gsidcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/{cern_id}
| O
| 레거시(비권장)
|- style="background:white; color:black"
| nfs
| /pnfs/knu.ac.kr/data/cms/store/user/{cern_id} /u/user/{knu_id}/SE_UserHome -----> /pnfs/knu.ac.kr/data/cms/store/user/{cern_id}
| X
|
|- style="background:white; color:black"

|}

* 해당 경로를 찾을 수 없다면 관리자에게 문의해 주시기 바랍니다.
* HTcondor 에서 SE에 nfs로 연결됨에 따라 dcap 이나 xrootd 와 같은 별다른 프로토콜 사용 없이 직접적으로 SE의 데이터를 읽고 쓸 수 있습니다. 

=== voms 인증 ===
* SE는 voms 인증 후 사용할수 있습니다.
$ voms-proxy-init --voms cms

=== voms 인증 정보 확인 ===
* voms 인증 정보는 다음 명령어로 확인할 수 있습니다.
$ voms-proxy-info --all
voms-proxy-info --all
subject : /DC=ch/DC=cern/OU=Organic Units/OU=Users/CN=gdhong/CN=000000/CN=Gildong Hong/CN=00000000
issuer : /DC=ch/DC=cern/OU=Organic Units/OU=Users/CN=gdhong/CN=000000/CN=Gildong Hong
identity : /DC=ch/DC=cern/OU=Organic Units/OU=Users/CN=gdhong/CN=000000/CN=Gildong Hong
type : RFC3820 compliant impersonation proxy
strength : 2048
path : /tmp/x509up_u00000
timeleft : 11:59:52
key usage : Digital Signature, Key Encipherment
=== VO cms extension information ===
VO : cms
subject : /DC=ch/DC=cern/OU=Organic Units/OU=Users/CN=gdhong/CN=000000/CN=Gildong Hong
issuer : /DC=ch/DC=cern/OU=computers/CN=voms2.cern.ch
attribute : /cms/Role=NULL/Capability=NULL
timeleft : 11:59:54
uri : voms2.cern.ch:15002

주의해야할 부분은 VO cms extension information 부분입니다. 만약 VO cms extension information 부분이 출력되지 않는다면 --voms cms 옵션을 정확하게 입력하였는지 자신의 cms vo가 만료된건 아닌지 확인 해야합니다.

=== T3_KR_KNU의 Computing Resource 실시간 조회하기 (CPU, Disk 자원 조회) ===

* UI 에서 "knuinfo" 명령어를 실행합니다.
$ knuinfo
-----------------------------------------------------------------------------------------
CPU Free Total Jobs Running Waiting ComputingElement
2509 247 2 0 0 ce01.knu.ac.kr:9619/ce01.knu.ac.kr-condor
-----------------------------------------------------------------------------------------
Avail Space(kB) Used Space(kB) Type SE
299479671320 1559004436260 xroot cluster142.knu.ac.k
-----------------------------------------------------------------------------------------

=== SE(Storage Element)의 사용자 디렉토리 경로 ===
$ srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/(username)/.../SrcFile
$ gsiftp://cluster142.knu.ac.kr:2811/pnfs/knu.ac.kr/data/cms/store/user/(username)/.../SrcFile
$ dcap://cluster142.knu.ac.kr/pnfs/knu.ac.kr/data/cms/store/user/(username)/.../SrcFile
$ gsidcap://cluster142.knu.ac.kr:22128/pnfs/knu.ac.kr/data/cms/store/user/(username)/.../SrcFile
$ root://cluster142.knu.ac.kr//store/user/(username)/.../SrcFile
$ davs://cluster142.knu.ac.kr:2880/cms/store/user/(username)/.../SrcFile

참고사항: 
- 위의 예시에서 username은 향후 data를 publish 할 경우를 대비해서 경북대 ID가 아니라 CERNID를 사용해야 합니다. 
- 계정을 발급받을 당시에 cern id가 없는 사용자는 해당 경로가 생성되지 않습니다. 
- 만약에 cern id가 있는데도 불구하고 본인의 디렉토리가 만들어져 있지 않는 경우에는 관리자에게 연락바랍니다.

=== SE에서 SE로 파일 복사하기 ===

$ gfal-copy root://cluster142.knu.ac.kr//store/user/(username)/.../SrcFile \
root://cluster142.knu.ac.kr//store/user/(username)/.../.../DestFile

$ gfal-copy davs://cluster142.knu.ac.kr:2880/cms/store/user/(username)/.../SrcFile \
davs://cluster142.knu.ac.kr:2880/cms/store/user/(username)/.../DestFile

=== SE에 있는 파일을 및 local 디렉토리로 복사하기 ===

$ gfal-copy root://cluster142.knu.ac.kr//store/user/(username)/.../SrcFile \
file:////u/user/(username)/.../DestFile

$ gfal-copy root://cluster142.knu.ac.kr//store/user/(username)/.../SrcFile \
./DestFile

$ gfal-copy davs://cluster142.knu.ac.kr:2880/cms/store/user/(username)/.../SrcFile \
file:////u/user/(username)/.../DestFile

$ gfal-copy davs://cluster142.knu.ac.kr:2880/cms/store/user/(username)/.../SrcFile \
./DestFile

$ gfal-copy gsidcap://cluster142.knu.ac.kr:22128/pnfs/knu.ac.kr/data/cms/store/user/(username)/.../SrcFile \
file:////u/user/(username)/.../DestFile

$ gfal-copy gsidcap://cluster142.knu.ac.kr/pnfs/knu.ac.kr/data/cms/store/user/(username)/.../SrcFile \
./DestFile

=== xrootd 를 활용한 SE Data 접근 방법 ===

* [[Xrootd|xrootd 을 이용하여 SE 사용하기]]

=== WebDav 프로토콜을 활용한 SE Data 접근 방법 ===

* [[WebDav|dCache에서 WebDav 프로토콜 및 마카롱 인증 사용하기]]

=== dcap을 이용한 SE Data 접근 방법 ===
* [[Dcap|dcap 을 이용하여 SE 사용하기]]

=== UI에서 NFS로 마운트된 스토리지 엘리먼트 사용하기 ===
* [[DCacheNFS|스토리지 엘리먼트의 NFS 사용 가이드]]

=== root에서 SE Data 접근 방법 ===

* xrootd 프로토콜을 이용
# 읽기
$ voms-proxy-init --voms cms
$ TFile *f = TFile::Open("root://cluster142.knu.ac.kr//store/user/(username)/test.root");
$
# 쓰기
$ voms-proxy-init --voms cms
$ root -l
root [0] TFile *f = TFile::Open("root://cluster142.knu.ac.kr//store/user/(username)/test.root", "CREATE");
root [1] f->Close();
root [2] TFile *f2 = TFile::Open("root://cluster142.knu.ac.kr//store/user/(username)/test.root", "RECREATE");
root [3] f2->Close();
root [4] .q
$

* dcap 프로토콜을 이용
# 읽기
$ TFile *f = TFile::Open("dcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/(username)/test.root");
$
# 쓰기
$ export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/lib64/dcap
$ root -l
root [0] TFile *f = TFile::Open("gsidcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/(username)/test.root", "CREATE");
root [1] f->Close();
root [2] TFile *f2 = TFile::Open("gsidcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/(username)/test.root", "RECREATE");
root [3] f2->Close();
root [4] .q
$

=== 복수의 파일을 동시에 전송하기 ===
$ /usr/local/bin/lcgcp_copyfiles list.txt

$ cat list.txt
srm://myhost.mydomain.edu:8443//dir1/dir2/sh-copy1 file:///localdir/sh1
srm://myhost.mydomain.edu:8443//dir1/dir2/sh-copy2 file:///localdir/sh2
srm://myhost.mydomain.edu:8443//dir1/dir2/sh-copy3 file:///localdir/sh3
* lcg_cp는 기본적으로 복수파일 전송을 지원하지 않으나 원본경로 대상경로를 포함하는 목록 파일을 생성한뒤, 위의 스크립트를 사용하면 복수의 파일을 전송할수 있다.

=== 복사가 정상적으로 이루어졌는지 확인 또는 디렉토리의 목록 확인 ===

$ gfal-ls -Hl davs://cluster142.knu.ac.kr:2880/cms/store/user/(username)

=== 파일 또는 디렉토리 삭제 ===

$ gfal-rm davs://cluster142.knu.ac.kr:2880/cms/store/user/(username)/test/test.file
$ <del>gfal-rm srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/(username)/test</del>
$ <del>lcg-del -d srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/(username)/test</del>

=== gfal 명령어 사용 요약 ===
$ voms-proxy-init --voms cms 로 proxy 생성후 아래 명령어를 수행하시면 됩니다.
$ 조회 : gfal-ls -Hl davs://cluster142.knu.ac.kr:2880/cms/store/user/MyAccount/FolderName
$ 복사 : gfal-copy davs://cluster142.knu.ac.kr:2880/cms/store/user/.../FileNameSrc davs://cluster142.knu.ac.kr:2880/cms/store/user/.../FileNameDest
$ 삭제 : gfal-rm davs://cluster142.knu.ac.kr:2880/cms/store/user/MyAccount/FolderName/FileName
$ 디렉토리 삭제 : <del>gfal-rm -R davs://cluster142.knu.ac.kr:2880/cms/store/user/MyAccount/FolderName</del>
* 명령어 뒤의 Option은 매뉴얼 페이지를 참고 바랍니다. (ex. man gfal-ls)
* <del>1000개 이상의 파일 포함한 폴더 내용 보기 : (ex. 500번째 파일부터 700개의 파일을 보고 싶을 경우) lcg-ls --offset 500 --count 700 srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/(DestFoler)</del>
* gfal-copy에서 "-r" 옵션을 사용하면 디렉토리까지 복사가 가능합니다.

=== gfal-copy를 이용한 디렉토리 복사 ===

gfal-copy에서 "-r" 옵션을 사용하면 서브 디렉토리까지 한번에 복사가 가능합니다. 다음과 같이 임의의 테스트 디렉토리를 만들었을때

[MyAccount@cms tmp5]$ ll
total 0
-rw-r--r-- 1 hanbi knu 0 Aug 26 17:21 aa
-rw-r--r-- 1 hanbi knu 0 Aug 26 17:21 bb
-rw-r--r-- 1 hanbi knu 0 Aug 26 17:21 cc
drwxr-xr-x 2 hanbi knu 24 Aug 26 17:22 dir1

-r 옵션을 적용해서 다음과 같이 실행하면 (로컬 디스크의 ~/MyAccount/tmp5 디렉토리를 SE의 hanbi/tmp5로 복사)

gfal-copy -r file:////u/user/MyAccount/tmp5 davs://cluster142.knu.ac.kr:2880/cms/store/user/MyAccount/tmp5

[MyAccount@cms ~]$ gfal-copy -r file:////u/user/MyAccount/tmp5 davs://cluster142.knu.ac.kr:2880/cms/store/user/MyAccount/tmp5
Mkdir davs://cluster142.knu.ac.kr:2880/cms/store/user/MyAccount/tmp5
Copying file:////u/user/MyAccount/tmp5/aa [DONE] after 0s
Copying file:////u/user/MyAccount/tmp5/bb [DONE] after 0s
Copying file:////u/user/MyAccount/tmp5/cc [DONE] after 0s
Mkdir davs://cluster142.knu.ac.kr:2880/cms/store/user/MyAccount/tmp5/dir1
Copying file:////u/user/MyAccount/tmp5/dir1/dd [DONE] after 0s
Copying file:////u/user/MyAccount/tmp5/dir1/ee [DONE] after 0s

아래와 같이 하부 디렉토리까지 스토리지 엘리먼트로 전부 전송이 되는 것을 확인 할 수 있습니다.

[hanbi@cms ~]$ ll /pnfs/knu.ac.kr/data/cms/store/user/MyAccount/tmp5
total 1
-rw-r--r-- 1 hanbi cms 0 Aug 26 17:22 aa
-rw-r--r-- 1 hanbi cms 0 Aug 26 17:22 bb
-rw-r--r-- 1 hanbi cms 0 Aug 26 17:22 cc
drwxr-xr-x 4 hanbi cms 512 Aug 26 17:22 dir1

물론 반대로 스토리지 엘리먼트에서 로컬 하드로 복사도 가능한데, 사용시 주의해야할 점은 SE의 소스 용량을 먼저 확인해서 전송을해야 로컬 하드디스크가 가득차는 것을 방지할 수 있습니다.

gfal-copy -r davs://cluster142.knu.ac.kr:2880/cms/store/user/MyAccount/tmp5 file:////u/user/MyAccount/tmp5

소스디렉토리의 크기를 확인하는 방법은 다음과 같이 확인할 수 있습니다. 다만 해당 디렉토리 아래의 크기가 매우 클 경우에는 결과가 나오는데 시간이 오래 결릴수 있습니다.

du -hs /pnfs/knu.ac.kr/data/cms/store/user/MyAccount/tmp5

===crab3를 사용한 후 gfal-* 명령어들이 오류가 발생합니다 ===

source /cvmfs/cms.cern.ch/crab3/crab.sh 실행후에 gfal-* 명령어들이 오류가 발생합니다.

$ gfal-ls -Hl davs://cluster142.knu.ac.kr:2880/cms/store/user//test/test.transfer
-rwxrwxrwx 0 0 0 4.8M Oct 12 2015 davs://cluster142.knu.ac.kr:2880/cms/store/user//test/test.transfer

$ source /cvmfs/cms.cern.ch/crab3/crab.sh

$ gfal-ls -Hl davs://cluster142.knu.ac.kr:2880/cms/store/user/test/test.transfer
Could not find platform independent libraries <prefix>
Could not find platform dependent libraries <exec_prefix>
Consider setting $PYTHONHOME to <prefix>[:<exec_prefix>]
'import site' failed; use -v for traceback
Traceback (most recent call last):
File "/usr/bin/gfal-ls", line 8, in <module>
from gfal2_util.shell import Gfal2Shell
ImportError: No module named gfal2_util.shell

crab3 에서 사용하는 python 환경변수와 gfal-* 명령어들에 문제를 일으키기 때문입니다. gfal-* 명령어 앞에 " env --unset=LD_LIBRARY_PATH "을 넣어줌으로써 문제를 해결할 수 있습니다.

$ env --unset=LD_LIBRARY_PATH gfal-ls -Hl davs://cluster142.knu.ac.kr:2880/cms/store/user/test/test.transfer
-rw-r--r-- 1 2 2 Oct 12 02:17 4.8M davs://cluster142.knu.ac.kr:2880/cms/store/user/test/test.transfer

=== cmsenv 실행후 gfal 명령어들이 정상 동작 하지 않을때 ===

cmsenv 실행후에 다음과 같은 오류가 발생한다면

Failed to add IO tunnel (libgsiTunnel.so: cannot open shared object file: No such file or directory). Provider: [libgsiTunnel.so].
Error ( POLLIN) (with data) on control line [12]
Failed to create a control line
Failed open file in the dCache.
gfal-copy: error: Input/output error

아래 명령을 먼저 실행해줌으로써 문제를 해결할 수 있습니다.

export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/lib64/dcap

=== no match 오류가 발생할때 ===

* tcsh에서 ?는 wild card로 인식이 됩니다. 따라서 tcsh을 사용하고 있다면 srm 경로에 반드시 ""를 사용해야 합니다.

=== srm*, lcg*, gfal* 주요 명령어 비교표 ===

{| style="background:#cccc99;color:#black;white:80%;" border="1" cellpadding="5" cellspacing="0"
! srm* !! lcg* !! gfal* !! 비고
|- style="background:white; color:black"
| srmls
| lcg-ls
| gfal-ls
| ls
|- style="background:#f0f0f0; color:black"
| srmcp
| lcg-cp
| gfal-copy
| cp
|- style="background:white; color:black"
| srmrm
| lcg-del
| gfal-rm
| rm
|- style="background:#f0f0f0; color:black"
| srmmkdir
|
| gfal-mkdir
| mkdir
|- style="background:white; color:black"
| srmrmdir
| lcg-del -d
| gfal-rm -R
| rmdir
|- style="background:#f0f0f0; color:black"
|
|
| gfal-cat
| cat

|}

=== <del>uberftp를 이용한 Storage Element 사용</del> ===

* <del>[[ uberftp | uberftp 사용법으로 가기 ]]</del>
* uberftp는 gridftp의 지원 종료로 이상 사용할 수 없습니다. 해당문서는 참고용으로만 보존합니다.

=== <del>WebFTS를 이용한 Storage Element 로의 Data 전송</del> ===
* <del>[[ Webfts | WebFTS 사용법으로 가기 ]]</del>
* WebFTS는 CERN에서 서비스가 종료되어 더 이상 사용할 수 없습니다. 해당문서는 참고용으로만 보존합니다.

=== T3_KR_KNU 저장공간(Disk) 활용 분류 ===

* Storage Element (srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/...)
: 대용량 저장 공간으로 장기간 보관이 가능합니다.
- rucio를 통해 전송된 DataSet 저장
- Crab Analysis 이후의 결과파일 저장
srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/
UI에서는 ~/SE_UserHome/ 에서 확인할 수 있습니다.
: 현재 약 1.45 PB의 공간을 마련하여 운영하고 있습니다.
: 사용자의 데이터 저장으로 공간이 부족할 경우, 사전 설문을 통해 더 이상 사용하지 않는 과거 데이터의 삭제 요청을 드릴 수 있습니다.

* User Home Directory (/u/user/...)
: 기본적인 설정 사항, 사용자가 필요한 소프트웨어 등을 설치 및 보관하는 장소입니다.
: 약 20 TB 규모의 공간입니다.
: 모든 사용자가 20 TB를 나누어 사용하므로 용량이 큰 데이터의 보관은 가급적 삼가해 주시기 바랍니다.

* Scratch Disk
: UI에 총 1개의 임시 저장공간이 있습니다.
- /d0 : 약 40 TB RAID6 Disk
: Sratch 디스크는 임시 저장공간으로 중요한 데이터 및 장기 보관 데이터는 반드시 Storage Element로 이동하여 주시기 바랍니다.

HTCondor

2026-07-30T07:27:51Z

Hanbi: /* condor_q */

== HTCondor Batch System 사용법 ==

=== Tier-3 HTCondor UI 접속하기 ===
다음과 같이 터미널을 열어서 원격로그인(SSH)으로 접속합니다.
ssh -X username@cms.knu.ac.kr

=== Job submit ===
Job submit을 위해서는 다음과 같이 "condor_submit" 명령어를 사용합니다.

* sleep.sh - 테스트 코드

#!/bin/bash

TIMETOWAIT="10"
echo "sleeping for $TIMETOWAIT seconds"
/bin/sleep $TIMETOWAIT

* sleep.sub - 작업 명세 파일

executable = sleep.sh
log = sleep.log
output = outfile.txt
error = errors.txt
should_transfer_files = Yes
when_to_transfer_output = ON_EXIT
queue

* job submit

condor_submit sleep.sub

=== Job 상태 확인 ===

====condor_q ====
작업의 상태 확인을 위해서는 "condor_q"명령을 사용합니다. 
전체 작업현황을 확인하려면 다음과 같이 실행하면 됩니다.

$ condor_q
-- Schedd: cms02.knu.ac.kr : <155.230.23.72:9618?... @ 07/30/20 16:49:47
OWNER BATCH_NAME SUBMITTED DONE RUN IDLE TOTAL JOB_IDS
user001 ID: 51 7/30 16:47 _ 100 _ 100 51.0-99

Total for query: 100 jobs; 0 completed, 0 removed, 0 idle, 100 running, 0 held, 0 suspended
Total for user001: 100 jobs; 0 completed, 0 removed, 0 idle, 100 running, 0 held, 0 suspended
Total for all users: 100 jobs; 0 completed, 0 removed, 0 idle, 100 running, 0 held, 0 suspended

작업이 실행되지 않는다면 다음 명령으로 원인을 확인할 수 있습니다.
$ condor_q -analyze 51.0

$ condor_q -better-analyze 51.0

==== condor_wait ====
condor_wait 는 사용자의 로그 파일을 모니터링하고, 작업의 진행 상태에 대한 정보를 추출합니다. 이 명령어는 특히 작업이 완료될 때까지 대기하며, 로그 파일을 통해 작업의 상태 변경을 추적할 수 있습니다.
$ condor_wait -status job_121945.log
121945.0.0 submitted
...
121945.1.0 executing on host <155.230.21.74:9618?addrs=155.230.21.74-9618+[2407-c000-c024-0-e2cb-4eff-fe53ced7]-9618&alias=cluster27
4.knu.ac.kr&noUDP&sock=startd_2946_4a18>
...
121945.1.0 completed
...

====condor_tail ====
condor_tail은 HTCondor 시스템에서 실행 중인 작업의 표준 출력(standard output)과 표준 오류(standard error)를 실시간으로 확인할 수 있습니다. 
-f 옵션은 tail -f 와 동일한 기능을 제공합니다.
-stderr 옵션은 작업의 표준 오류 출력을 보여줍니다.
$ condor_tail -f 121946.0
Thinking really hard for 180 seconds...
We calculated: 200

====condor_ssh_to_job ====
condor_ssh_to_job을 사용하면 사용자가 실행 중인 작업의 노드로 SSH(보안 셸) 접속을 할 수 있으며, 작업 디렉토리에 직접 접근하여 현재 작업이 어떻게 진행되고 있는지 확인할 수 있습니다.
$ condor_ssh_to_job 121946.0
Welcome to slot1_1@cluster242.knu.ac.kr!
Your condor job is running with pid(s) 21165.
$ ls -al
total 44
drwx------ 5 user001 cms 187 Mar 11 14:31 .
drwxr-xr-x. 10 condor root 141 Mar 11 14:02 ..
-rwx------ 1 user001 cms 48 Mar 11 14:02 .chirp.config
drwxr-xr-x 2 user001 cms 128 Mar 11 14:03 .condor_ssh_to_job_1
-rw-r--r-- 1 user001 cms 0 Mar 11 14:02 _condor_stderr
-rw-r--r-- 1 user001 cms 59 Mar 11 14:05 _condor_stdout
-rw-r--r-- 1 condor condor 4165 Mar 11 14:02 .job.ad
-rw-r--r-- 1 condor condor 6111 Mar 11 14:02 .machine.ad
-rwxr-xr-x 1 user001 cms 8512 Mar 11 14:02 test
drwx------ 2 user001 cms 6 Mar 11 14:02 tmp
-rw-r--r-- 1 user001 cms 6157 Mar 11 14:31 .update.ad
drwx------ 3 user001 cms 17 Mar 11 14:02 var

====condor_history ====
종료된 작업을 조회하려면 condor_history 명령을 사용합니다.
$ condor_history -const 'Owner == "user001" && JobStatus ==4' -limit 5
ID OWNER SUBMITTED RUN_TIME ST COMPLETED CMD
121946.9 user001 3/11 14:02 0+00:03:01 C 3/11 14:06 /u/user/user001/condor/test 180 100
121946.8 user001 3/11 14:02 0+00:03:01 C 3/11 14:05 /u/user/user001/condor/test 180 100
121946.6 user001 3/11 14:02 0+00:03:01 C 3/11 14:05 /u/user/user001/condor/test 180 100
121946.7 user001 3/11 14:02 0+00:03:01 C 3/11 14:05 /u/user/user001/condor/test 180 100
121946.5 user001 3/11 14:02 0+00:03:01 C 3/11 14:05 /u/user/user001/condor/test 180 100

특정 작업을 조회하려면 -l 옵션을 사용합니다.
$ condor_history -l 121946.9

=== Job 삭제 ===
submit 한 작업을 중간에 취소하기 위해서는 "condor_rm" 명령을 사용합니다.
condor_rm <JOBID>

모든 내 작업을 삭제하려면 다음 명령을 사용합니다.

condor_rm <UserID>

=== 작업 명세 파일 예제 ===

* 단독 실행

$ science.exe infile-A.txt infile-B.txt outfile.txt

* science1.sub - 1개 작업 실행

# science1.sub -- run one instance of science.exe
executable = science.exe
arguments = "infile-A.txt infile-B.txt outfile.txt"
transfer_input_files = infile-A.txt,infile-B.txt
should_transfer_files = IF_NEEDED
when_to_transfer_output = ON_EXIT
log = science1.log
queue

* science2.sub - 40개 작업 실행, Process 번호로 input, output 파일 구분

# science2.sub -- run 40 instances of science.exe
executable = science.exe
arguments = "infile-$(Process)A.txt infile-$(Process)B.txt outfile$(Process).txt"
transfer_input_files = infile-$(Process)A.txt,infile-$(Process)B.txt
should_transfer_files = IF_NEEDED
when_to_transfer_output = ON_EXIT
log = science2.log
queue 40

* science3.sub - 100개 실행 예제. Process 번호로 작업 디렉토리 구분

# science3.sub -- run 100 instances of science.exe, with
# unique directories named by the $(Process) macro
executable = science.exe
arguments = "infile-A.txt infile-B.txt outfile.txt"
should_transfer_files = IF_NEEDED
when_to_transfer_output = ON_EXIT
initialdir = run$(Process)
transfer_input_files = infile-A.txt,infile-B.txt
log = science3.log
queue 100

* geant4 실행 예제

$ cat run_geant4.sh
#!/bin/bash

source /cvmfs/sft.cern.ch/lcg/contrib/gcc/8.3.0/x86_64-centos7/setup.sh
source /cvmfs/geant4.cern.ch/geant4/10.6/x86_64-centos7-gcc8-optdeb/CMake-setup.sh
./$*

$ cat geant4.sub
Universe = vanilla
Log = geant4_$(ClusterId).log
Output = geant4_$(ClusterId)_$(ProcId).out
Error = geant4_$(ClusterId)_$(ProcId).err
Should_Transfer_Files = Yes
When_To_Transfer_Output = ON_EXIT

#Executable = <wrapper_script>.sh
Executable = run_geant4.sh
Transfer_Executable = True
#Arguments = <Geant4 executable> <input file(s)>
Arguments = exampleB1 exampleB1.in
#Transfer_Input_Files = <Geant4 executable>,<input file(s)>
Transfer_Input_Files = exampleB1, exampleB1.in

Queue

[[SFT#Geant4_10.6_.26_gcc83_.26_centos7| 위의 예제를 위한 geant4 설치 및 테스트는 여기를 클릭하세요.]]

=== Submitting Multiple Jobs with HTCondor ===

복수의 input 파일을 이용하여 동시에 다수의 작업을 처리하고 싶다면
[https://indico.cern.ch/event/611296/contributions/2604376/attachments/1471164/2276521/TannenbaumT_UserTutorial.pdf AN INTRODUCTION TO USING HTCONDOR(Todd Tannenbaum)] 에서 52p에서부터 72p의 내용을 참고하시기 바랍니다

=== Apptainer(Singularity)를 이용하여 코드 실행 ===

==== el6(Scientific Linux 6) 코드 실행 ====
submit description file에 아래 내용을 추가합니다.

+ContainerOS = "SL6"

혹은 선호하는 이미지가 있다면 아래와 같이 기입합니다.

+SingularityImage = "/cvmfs/singularity.opensciencegrid.org/cmssw/cms:rhel6-m202001"

==== el7(CentOS Linux 7) 코드 실행 ====
submit description file에 아래 내용을 추가합니다.

Universe = vanilla
...
+SingularityImage = "/cvmfs/singularity.opensciencegrid.org/opensciencegrid/osgvo-el7:latest"
...

==== el8(Rocky Linux 8) 코드 실행 ====
submit description file에 아래 내용을 추가합니다.

Universe = vanilla
...
+SingularityImage = "/cvmfs/singularity.opensciencegrid.org/opensciencegrid/osgvo-el8:latest"
...

==== el9(Rocky Linux 9) 코드 실행 ====
submit description file에 아래 내용을 추가합니다.

Universe = vanilla
...
+SingularityImage = "/cvmfs/singularity.opensciencegrid.org/opensciencegrid/osgvo-el9:latest"
...

=== create-batch 사용 ===

create-batch를 경북대 부분을 condor로 변경하여 create-batch2라는 이름으로 저장해두었습니다. condor에서는 --queue cms 옵션은 필요하지 않습니다. 
torque system을 당분간 운영하는 기간동안 임시로 이렇게 사용하고 condor로 완전히 전환이 되면 create-batch에 수정사항을 반영요청하겠습니다.

* [[Create-batch|create-batch 사용법으로 가기]]

=== 전체 작업 현황 살펴보기 ===

$ condor_status -schedd
Name Machine RunningJobs IdleJobs HeldJobs

ce01.knu.ac.kr ce01.knu.ac.kr 20 5 0
cms.knu.ac.kr cms.knu.ac.kr 0 0 0
cms01.knu.ac.kr cms01.knu.ac.kr 0 0 3
cms02.knu.ac.kr cms02.knu.ac.kr 1754 0 0
cms03.knu.ac.kr cms03.knu.ac.kr 269 231 0
dm.knu.ac.kr dm.knu.ac.kr 0 0 0

TotalRunningJobs TotalIdleJobs TotalHeldJobs

Total 2043 236 3

=== HTCondor에서 GPU 사용 ===

* [[HTCondor에서_GPU_사용하기]]

=== request_memory 관련 ===

* dynamic slot에서는 request_memory 메모리를 어떻게 지정하냐에 따라서 연산노드에서 들어갈 수 있는 작업의 수가 변화합니다.
* 가령 CPU 8core, 메모리 16GB를 가지고 있는 연산노드가 있다고 가정했을 때 request_memory 가 2GB일때는 8개가 8GB일때는 2개의 작업이 할당됩니다.
* 따라서 적절한 request_memory를 설정해야 작업 slot의 낭비를 줄이고 자신과 타인의 작업이 빠르게 실행됩니다. 위의 예의 경우 4배의 차이가 나게 됩니다.
* htcondor에서 request_memory의 자동 수정
** 작업 실행후 1시간 뒤를 기준으로 request_memory 가 작업의 실사용메모리보다 2GB이상 많이 설정되어 있는 경우 자동으로 해당 작업은 hold 되고 request_memory가 수정후 재실행됩니다.
** request_memory 보다 실사용하는 메모리가 많아 hold 된 작업은 htcondor가 request_memory를 자동으로 증가시킨 후 재실행됩니다.

=== x509 proxy 사용 ===

htcondor 에서 그리드 인증이 필요한 경우

* submit description file 에 아래 내용을 추가하세요.
use_x509userproxy = true

=== output 파일을 SE에 stageout 하기 ===

* output 파일을 SE에 stageout하면 IO 부담을 줄일수 있습니다. submit description file 에 아래와 같이 추가하세요.

should_transfer_files = YES
when_to_transfer_output = ON_EXIT

use_x509userproxy = true

transfer_output_files = out_$(ClusterId).$(ProcId).root
output_destination = root://cluster142.knu.ac.kr//store/user/$(CMS_USER)/

output = job.$(ClusterId).$(ProcId).out
error = job.$(ClusterId).$(ProcId).err
log = job.$(ClusterId).log

=== 작업별 최대 작업시간 ===

{| style="background:#cccc99;color:#black;white:80%;" border="1" cellpadding="5" cellspacing="0"
! 작업 구분 !! 작업 특성 !! 최대 작업시간 !! 최대 실행 작업수 !! 비고
|- style="background:white; color:black"
! CPU Jobs
| Default
| 80시간
| 제한 없음
| -
|- style="background:white; color:black"
! ``
| Short
| 30분
| 100
| 테스트 작업 (+JobType="short")
|- style="background:white; color:black"
! ``
| Long
| 7일
| 200
| 장기간 수행 작업 (+JobType="long")
|- style="background:white; color:black"
! ``
| Heavy
| 80시간
| 500
| Heavy I/O 작업 (+JobType="heavy")
|- style="background:white; color:black"
! GPU Jobs
| Default
| 7일
| 제한 없음
| -
|- style="background:white; color:black"
! ``
| Short
| 30분
| 5
| 테스트 작업 (+JobType="short")
|- style="background:white; color:black"
! ``
| Long
| 14일
| 5
| 장기간 작업 (+JobType="long")
|}

* 최대 작업시간은 연산노드에서 작업이 실행되는 최대 시간입니다. 최대 작업시간을 초과하면 작업이 강제로 중지됩니다.
* 자원의 효율적 사용을 위해서 가급적 작업을 나누어 제출하는 것을 권장합니다.
* 최대 작업시간이나 최대 작업수는 향후 변경될 수 있습니다. 관련하여 문의사항이 있으면 관리자에게 메일주시기 바랍니다.

=== 주의사항 ===

* 작업이 실행 중에 죽는 경우

작업 제출시 명시한 메모리보다 작업이 더 많은 메모리를 사용할 경우 메모리 부족으로 작업이 죽는 경우가 발생할 수 있습니다. 
다음과 같이 requset_memory 옵션으로 요구 메모리를 지정해주시기 바랍니다. 특히 많은 메모리를 사용하는 작업이라면 반드시 지정해 주어야합니다.
request_memory = 4 GB

* submit 한 작업도 속성을 다음과 같이 변경할 수 있습니다.

$ condor_hold {job_id}
$ condor_qedit {job_id} RequestMemory 4096
$ condor_release {job_id}

* 최근에는 작업의 메모리 사용량은 자동으로 관리되고 있습니다. 메모리 초과 사용 혹은 과다 사용시 시스템에서 중지 후 다시 제출됩니다.

=== 참고 자료 ===

* [https://research.cs.wisc.edu/htcondor/manual/quickstart.html HTCondor Quick Start Guide] 위의 예제를 작성할때 참고한 자료로 처음에 시작하는 사용자가 참고하기 좋습니다.
* [https://indico.cern.ch/event/611296/contributions/2604376/attachments/1471164/2276521/TannenbaumT_UserTutorial.pdf AN INTRODUCTION TO USING HTCONDOR(Todd Tannenbaum)] HTCondor의 동작에 대한 기본적인 이해와 다양한 기능들을 살펴보기 좋은 자료입니다.
* [https://indico.cern.ch/event/733513/contributions/3118598/attachments/1711374/2759120/EUCW18-DAGMan.pdf AN INTRODUCTION TO WORKFLOWS WITH DAGMAN] DAGMAN 사용방법을 학습하기 좋은 자료입니다.

Storage Element Tutorial

2026-07-30T07:26:37Z

Hanbi: /* SE(Storage Element)의 사용자 디렉토리 경로 */

== Storage Element Tutorial ==
CRAB 등을 사용하여 얻은 데이터를 보관할 수 있는 저장 공간을 Storage Element (SE)라 합니다.
이곳에 데이터를 저장하기 위해서는 몇가지 특수한 명령어를 사용해야 합니다.

[주의 : tcsh, csh 등 에서 관련 명령어를 사용할 때, 경로 인자에 반드시 " " 를 사용해주시기 바랍니다.]

=== Overview ===

UI에 로그인 했을 때 일반 사용자가 읽고 쓸수 있는 저장공간은 다음과 같이 3가지 종류가 있습니다.

{| style="background:#f0f0f0;color:#black;white:80%;" border="1" cellpadding="5" cellspacing="0"
! 종류 !! 경로 !! 지원 프로토콜 !! 총용량 !! 사용자당 !! 용도 !! 비고
|- style="background:white; color:black"
| UI 사용자 홈
|
* /u/user/{knu_id}
| nfs
| 20 TB
| 200 GB
| 프로그램 설치 사용자 기본 작업공간
| RAID6
|- style="background:white; color:black"
| SE 사용자홈
|
* xrootd: root://cluster142.knu.ac.kr//store/user/{cern_id}/ 
* webdav: davs://cluster142.knu.ac.kr:2880/cms/store/user/{cern_id} 
* <del>srm: srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/{cern_id}</del> 
* <del>gsiftp://cluster142.knu.ac.kr:2811/pnfs/knu.ac.kr/data/cms/store/user/{cern_id}</del> 
* dcap: dcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/{cern_id} 
* gsidcap: gsidcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/{cern_id} 
* nfs: /pnfs/knu.ac.kr/data/cms/store/user/{cern_id} 
* nfs: /u/user/{knu_id}/SE_UserHome -----> /pnfs/knu.ac.kr/data/cms/store/user/{cern_id}
| xrootd, webdav, <del>srm, gsiftp,</del> dcap, gsidcap, nfs
| 1.84 PB
| 10 TB
| 데이터 보관 대용량데이터처리 프로그램설치X
| dCache, RAID6
|- style="background:white; color:black"
| 스크레치
|
* /d0/scratch 
* /u/user/{knu_id}/scratch -----> /d0/scratch/{knu_id}
| nfs
| 40 TB
|
| 임시 작업용 중요데이터 보관X
| RAID6
|}

* x509인증이 토큰 인증으로 전환되고 있는 상황이며 srm,gsiftp 프로토콜은 xrootd, webdav 프로토콜로 대체되고 있습니다.
* dcap(dCache access protocol): 인증이 필요없는 읽기 전용의 프로토콜입니다. 인증이 필요없기에 간편하게 사용할수 있지만 경북대 내부에서만 사용할수 있습니다.
* gsidcap: 그리드 인증이 필요한 dcap 프로토콜입니다. 읽기 쓰기가 모두 가능하며 경북대 내외부에서 모두 사용할 수 있습니다.
* SE에 저장되어 있는 데이터셋은 연산노드에서 xrootd, wevdav, nfs, dcap, <del>gsiftp</del>, <del>srm</del> 프로토콜을 이용하여 읽을 수 있습니다.

* CERN ID와 KNU ID가 다른 사용자는 SE 사용자 홈디렉토리에 CERN ID를 기준으로 디렉토리가 생성됩니다.
* {knu_id}는 경북대에서 발급받은 ID, {cern_id}는 CERN에서 발급 받은 ID를 의미합니다. 일부 사용자들은 두 ID가 일치 하지 않습니다.
* 경북대 계정 신청시 CERN ID가 없는 사용자는 계정발급 직후 SE 사용자 홈디렉토리가 생성되지 않습니다. CERN ID를 발급 받은 후에 별도로 연락주세요.

* 현재는 저장공간의 사용자당 최대 사용량이 시스템적으로 설정되어 있지는 않습니다. 그러나 원활한 이용을 위하여 초과해서 사용이 필요한 경우에는 사전에 관리자와 협의를 부탁드립니다.
* 저장공간이 부족해질 경우 개인 사용량을 초과하는 사용자를 대상으로 사용하지 않는 데이터의 정리를 요청하고 있습니다. 삭제요청과 함께 혹시라도 데이터가 방치되고 있지는 않은지 확인하는 작업입니다. 파일의 삭제 가능 여부와 상관없이 반드시 답장을 해주시기 바랍니다.

* 스크레치 저장공간은 불필요한 데이터를 수시로 정리해주시고 장기 보관이 필요한 데이터는 SE로 이동 부탁드립니다.
* 스크레치 디스크는 임시작업용 저장공간입니다. 데이터 손실에 대한 안전장치가 전혀 없으므로 절대 데이터 보관용으로 사용해서는 안됩니다.
* 매월 28일 90일이 지난 스크레치 디스크의 데이터는 자동으로 삭제됩니다.

=== 서비스별 스토리지 접근 ===

{| style="background:#f0f0f0;color:#black;white:80%;" border="1" cellpadding="5" cellspacing="0"
! 서비스 !! 스토리지 !! 지원 프로토콜 !! 경로 !! Grid인증 !! 비고
|- style="background:white; color:black"
| rowspan=9 | UI
| UI User Home
| nfs
| /u/user/{knu_id}
| X
|
|- style="background:white; color:black"
| UI Scratch
| nfs
| /u/user/{knu_id}/scratch -----> /d0/scratch/{knu_id}
| X
|
|- style="background:white; color:black"
| rowspan=7 | SE
| xrootd
| xrootd: root://cluster142.knu.ac.kr//store/user/{cern_id}
| O
|
|- style="background:white; color:black"
| webdav
| webdav: davs://cluster142.knu.ac.kr:2880/cms/store/user/{cern_id}
| O
|
|- style="background:white; color:black"
| <del>srm</del>
| <del>srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/{cern_id}</del>
| O
|
|- style="background:white; color:black"
| <del>gsiftp</del>
| <del>gsiftp://cluster142.knu.ac.kr:2811/pnfs/knu.ac.kr/data/cms/store/user/{cern_id}</del>
| O
|
|- style="background:white; color:black"
| dcap
| dcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/{cern_id}
| X
| 읽기전용, 레거시(비권장)
|- style="background:white; color:black"
| gsidcap
| gsidcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/{cern_id}
| O
| 레거시(비권장)
|- style="background:white; color:black"
| nfs
| /pnfs/knu.ac.kr/data/cms/store/user/{cern_id} /u/user/{knu_id}/SE_UserHome -----> /pnfs/knu.ac.kr/data/cms/store/user/{cern_id}
| X
|
|- style="background:white; color:black"
| rowspan=9 | HTCondor
| UI User Home
| nfs
| /u/user/{knu_id}
| X
|
|- style="background:white; color:black"
| UI Scratch
| nfs
| /u/user/{knu_id}/scratch -----> /d0/scratch/{knu_id}
| X
|
|- style="background:white; color:black"
| rowspan=7 | SE
| xrootd
| xrootd: root://cluster142.knu.ac.kr//store/user/{cern_id}
| O
|
|- style="background:white; color:black"
| webdav
| webdav: davs://cluster142.knu.ac.kr:2880/cms/store/user/{cern_id}
| O
|
|- style="background:white; color:black"
| <del>srm</del>
| <del>srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/{cern_id}</del>
| O
|
|- style="background:white; color:black"
| <del>gsiftp</del>
| <del>gsiftp://cluster142.knu.ac.kr:2811/pnfs/knu.ac.kr/data/cms/store/user/{cern_id}</del>
| O
|
|- style="background:white; color:black"
| dcap
| dcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/{cern_id}
| X
| 읽기전용, 레거시(비권장)
|- style="background:white; color:black"
| gsidcap
| gsidcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/{cern_id}
| O
| 레거시(비권장)
|- style="background:white; color:black"
| nfs
| /pnfs/knu.ac.kr/data/cms/store/user/{cern_id} /u/user/{knu_id}/SE_UserHome -----> /pnfs/knu.ac.kr/data/cms/store/user/{cern_id}
| X
|
|- style="background:white; color:black"

|}

* 해당 경로를 찾을 수 없다면 관리자에게 문의해 주시기 바랍니다.
* HTcondor 에서 SE에 nfs로 연결됨에 따라 dcap 이나 xrootd 와 같은 별다른 프로토콜 사용 없이 직접적으로 SE의 데이터를 읽고 쓸 수 있습니다. 

=== voms 인증 ===
* SE는 voms 인증 후 사용할수 있습니다.
$ voms-proxy-init --voms cms

=== voms 인증 정보 확인 ===
* voms 인증 정보는 다음 명령어로 확인할 수 있습니다.
$ voms-proxy-info --all
voms-proxy-info --all
subject : /DC=ch/DC=cern/OU=Organic Units/OU=Users/CN=gdhong/CN=000000/CN=Gildong Hong/CN=00000000
issuer : /DC=ch/DC=cern/OU=Organic Units/OU=Users/CN=gdhong/CN=000000/CN=Gildong Hong
identity : /DC=ch/DC=cern/OU=Organic Units/OU=Users/CN=gdhong/CN=000000/CN=Gildong Hong
type : RFC3820 compliant impersonation proxy
strength : 2048
path : /tmp/x509up_u00000
timeleft : 11:59:52
key usage : Digital Signature, Key Encipherment
=== VO cms extension information ===
VO : cms
subject : /DC=ch/DC=cern/OU=Organic Units/OU=Users/CN=gdhong/CN=000000/CN=Gildong Hong
issuer : /DC=ch/DC=cern/OU=computers/CN=voms2.cern.ch
attribute : /cms/Role=NULL/Capability=NULL
timeleft : 11:59:54
uri : voms2.cern.ch:15002

주의해야할 부분은 VO cms extension information 부분입니다. 만약 VO cms extension information 부분이 출력되지 않는다면 --voms cms 옵션을 정확하게 입력하였는지 자신의 cms vo가 만료된건 아닌지 확인 해야합니다.

=== T3_KR_KNU의 Computing Resource 실시간 조회하기 (CPU, Disk 자원 조회) ===

* UI 에서 "knuinfo" 명령어를 실행합니다.
$ knuinfo
-----------------------------------------------------------------------------------------
CPU Free Total Jobs Running Waiting ComputingElement
2509 247 2 0 0 ce01.knu.ac.kr:9619/ce01.knu.ac.kr-condor
-----------------------------------------------------------------------------------------
Avail Space(kB) Used Space(kB) Type SE
299479671320 1559004436260 xroot cluster142.knu.ac.k
-----------------------------------------------------------------------------------------

=== SE(Storage Element)의 사용자 디렉토리 경로 ===
$ srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/(username)/.../SrcFile
$ gsiftp://cluster142.knu.ac.kr:2811/pnfs/knu.ac.kr/data/cms/store/user/(username)/.../SrcFile
$ dcap://cluster142.knu.ac.kr/pnfs/knu.ac.kr/data/cms/store/user/(username)/.../SrcFile
$ gsidcap://cluster142.knu.ac.kr:22128/pnfs/knu.ac.kr/data/cms/store/user/(username)/.../SrcFile
$ root://cluster142.knu.ac.kr//store/user/(username)/.../SrcFile
$ davs://cluster142.knu.ac.kr:2880/cms/store/user/(username)/.../SrcFile

참고사항: 
- 위의 예시에서 username은 향후 data를 publish 할 경우를 대비해서 경북대 ID가 아니라 CERNID를 사용해야 합니다. 
- 계정을 발급받을 당시에 cern id가 없는 사용자는 해당 경로가 생성되지 않습니다. 
- 만약에 cern id가 있는데도 불구하고 본인의 디렉토리가 만들어져 있지 않는 경우에는 관리자에게 연락바랍니다.

=== SE에서 SE로 파일 복사하기 ===

$ gfal-copy root://cluster142.knu.ac.kr//store/user/(username)/.../SrcFile \
root://cluster142.knu.ac.kr//store/user/(username)/.../.../DestFile

$ gfal-copy davs://cluster142.knu.ac.kr:2880/cms/store/user/(username)/.../SrcFile \
davs://cluster142.knu.ac.kr:2880/cms/store/user/(username)/.../DestFile

=== SE에 있는 파일을 및 local 디렉토리로 복사하기 ===

$ gfal-copy root://cluster142.knu.ac.kr//store/user/(username)/.../SrcFile \
file:////u/user/(username)/.../DestFile

$ gfal-copy root://cluster142.knu.ac.kr//store/user/(username)/.../SrcFile \
./DestFile

$ gfal-copy davs://cluster142.knu.ac.kr:2880/cms/store/user/(username)/.../SrcFile \
file:////u/user/(username)/.../DestFile

$ gfal-copy davs://cluster142.knu.ac.kr:2880/cms/store/user/(username)/.../SrcFile \
./DestFile

$ gfal-copy gsidcap://cluster142.knu.ac.kr:22128/pnfs/knu.ac.kr/data/cms/store/user/(username)/.../SrcFile \
file:////u/user/(username)/.../DestFile

$ gfal-copy gsidcap://cluster142.knu.ac.kr/pnfs/knu.ac.kr/data/cms/store/user/(username)/.../SrcFile \
./DestFile

=== xrootd 를 활용한 SE Data 접근 방법 ===

* [[Xrootd|xrootd 을 이용하여 SE 사용하기]]

=== WebDav 프로토콜을 활용한 SE Data 접근 방법 ===

* [[WebDav|dCache에서 WebDav 프로토콜 및 마카롱 인증 사용하기]]

=== dcap을 이용한 SE Data 접근 방법 ===
* [[Dcap|dcap 을 이용하여 SE 사용하기]]

=== UI에서 NFS로 마운트된 스토리지 엘리먼트 사용하기 ===
* [[DCacheNFS|스토리지 엘리먼트의 NFS 사용 가이드]]

=== root에서 SE Data 접근 방법 ===

* xrootd 프로토콜을 이용
# 읽기
$ voms-proxy-init --voms cms
$ TFile *f = TFile::Open("root://cluster142.knu.ac.kr//store/user/(username)/test.root");
$
# 쓰기
$ voms-proxy-init --voms cms
$ root -l
root [0] TFile *f = TFile::Open("root://cluster142.knu.ac.kr//store/user/(username)/test.root", "CREATE");
root [1] f->Close();
root [2] TFile *f2 = TFile::Open("root://cluster142.knu.ac.kr//store/user/(username)/test.root", "RECREATE");
root [3] f2->Close();
root [4] .q
$

* dcap 프로토콜을 이용
# 읽기
$ TFile *f = TFile::Open("dcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/(username)/test.root");
$
# 쓰기
$ export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/lib64/dcap
$ root -l
root [0] TFile *f = TFile::Open("gsidcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/(username)/test.root", "CREATE");
root [1] f->Close();
root [2] TFile *f2 = TFile::Open("gsidcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/(username)/test.root", "RECREATE");
root [3] f2->Close();
root [4] .q
$

=== 복수의 파일을 동시에 전송하기 ===
$ /usr/local/bin/lcgcp_copyfiles list.txt

$ cat list.txt
srm://myhost.mydomain.edu:8443//dir1/dir2/sh-copy1 file:///localdir/sh1
srm://myhost.mydomain.edu:8443//dir1/dir2/sh-copy2 file:///localdir/sh2
srm://myhost.mydomain.edu:8443//dir1/dir2/sh-copy3 file:///localdir/sh3
* lcg_cp는 기본적으로 복수파일 전송을 지원하지 않으나 원본경로 대상경로를 포함하는 목록 파일을 생성한뒤, 위의 스크립트를 사용하면 복수의 파일을 전송할수 있다.

=== 복사가 정상적으로 이루어졌는지 확인 또는 디렉토리의 목록 확인 ===

$ gfal-ls -Hl davs://cluster142.knu.ac.kr:2880/cms/store/user/(username)

=== 파일 또는 디렉토리 삭제 ===

$ gfal-rm davs://cluster142.knu.ac.kr:2880/cms/store/user/(username)/test/test.file
$ <del>gfal-rm srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/(username)/test</del>
$ <del>lcg-del -d srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/(username)/test</del>

=== gfal 명령어 사용 요약 ===
$ voms-proxy-init --voms cms 로 proxy 생성후 아래 명령어를 수행하시면 됩니다.
$ 조회 : gfal-ls -Hl davs://cluster142.knu.ac.kr:2880/cms/store/user/MyAccount/FolderName
$ 복사 : gfal-copy davs://cluster142.knu.ac.kr:2880/cms/store/user/.../FileNameSrc davs://cluster142.knu.ac.kr:2880/cms/store/user/.../FileNameDest
$ 삭제 : gfal-rm davs://cluster142.knu.ac.kr:2880/cms/store/user/MyAccount/FolderName/FileName
$ 디렉토리 삭제 : <del>gfal-rm -R davs://cluster142.knu.ac.kr:2880/cms/store/user/MyAccount/FolderName</del>
* 명령어 뒤의 Option은 매뉴얼 페이지를 참고 바랍니다. (ex. man gfal-ls)
* <del>1000개 이상의 파일 포함한 폴더 내용 보기 : (ex. 500번째 파일부터 700개의 파일을 보고 싶을 경우) lcg-ls --offset 500 --count 700 srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/(DestFoler)</del>
* gfal-copy에서 "-r" 옵션을 사용하면 디렉토리까지 복사가 가능합니다.

=== gfal-copy를 이용한 디렉토리 복사 ===

gfal-copy에서 "-r" 옵션을 사용하면 서브 디렉토리까지 한번에 복사가 가능합니다. 다음과 같이 임의의 테스트 디렉토리를 만들었을때

[MyAccount@cms tmp5]$ ll
total 0
-rw-r--r-- 1 hanbi knu 0 Aug 26 17:21 aa
-rw-r--r-- 1 hanbi knu 0 Aug 26 17:21 bb
-rw-r--r-- 1 hanbi knu 0 Aug 26 17:21 cc
drwxr-xr-x 2 hanbi knu 24 Aug 26 17:22 dir1

-r 옵션을 적용해서 다음과 같이 실행하면 (로컬 디스크의 ~/MyAccount/tmp5 디렉토리를 SE의 hanbi/tmp5로 복사)

gfal-copy -r file:////u/user/MyAccount/tmp5 davs://cluster142.knu.ac.kr:2880/cms/store/user/MyAccount/tmp5

[MyAccount@cms ~]$ gfal-copy -r file:////u/user/MyAccount/tmp5 davs://cluster142.knu.ac.kr:2880/cms/store/user/MyAccount/tmp5
Mkdir davs://cluster142.knu.ac.kr:2880/cms/store/user/MyAccount/tmp5
Copying file:////u/user/MyAccount/tmp5/aa [DONE] after 0s
Copying file:////u/user/MyAccount/tmp5/bb [DONE] after 0s
Copying file:////u/user/MyAccount/tmp5/cc [DONE] after 0s
Mkdir davs://cluster142.knu.ac.kr:2880/cms/store/user/MyAccount/tmp5/dir1
Copying file:////u/user/MyAccount/tmp5/dir1/dd [DONE] after 0s
Copying file:////u/user/MyAccount/tmp5/dir1/ee [DONE] after 0s

아래와 같이 하부 디렉토리까지 스토리지 엘리먼트로 전부 전송이 되는 것을 확인 할 수 있습니다.

[hanbi@cms ~]$ ll /pnfs/knu.ac.kr/data/cms/store/user/MyAccount/tmp5
total 1
-rw-r--r-- 1 hanbi cms 0 Aug 26 17:22 aa
-rw-r--r-- 1 hanbi cms 0 Aug 26 17:22 bb
-rw-r--r-- 1 hanbi cms 0 Aug 26 17:22 cc
drwxr-xr-x 4 hanbi cms 512 Aug 26 17:22 dir1

물론 반대로 스토리지 엘리먼트에서 로컬 하드로 복사도 가능한데, 사용시 주의해야할 점은 SE의 소스 용량을 먼저 확인해서 전송을해야 로컬 하드디스크가 가득차는 것을 방지할 수 있습니다.

gfal-copy -r davs://cluster142.knu.ac.kr:2880/cms/store/user/MyAccount/tmp5 file:////u/user/MyAccount/tmp5

소스디렉토리의 크기를 확인하는 방법은 다음과 같이 확인할 수 있습니다. 다만 해당 디렉토리 아래의 크기가 매우 클 경우에는 결과가 나오는데 시간이 오래 결릴수 있습니다.

du -hs /pnfs/knu.ac.kr/data/cms/store/user/MyAccount/tmp5

===crab3를 사용한 후 gfal-* 명령어들이 오류가 발생합니다 ===

source /cvmfs/cms.cern.ch/crab3/crab.sh 실행후에 gfal-* 명령어들이 오류가 발생합니다.

$ gfal-ls -Hl davs://cluster142.knu.ac.kr:2880/cms/store/user//test/test.transfer
-rwxrwxrwx 0 0 0 4.8M Oct 12 2015 davs://cluster142.knu.ac.kr:2880/cms/store/user//test/test.transfer

$ source /cvmfs/cms.cern.ch/crab3/crab.sh

$ gfal-ls -Hl davs://cluster142.knu.ac.kr:2880/cms/store/user/test/test.transfer
Could not find platform independent libraries <prefix>
Could not find platform dependent libraries <exec_prefix>
Consider setting $PYTHONHOME to <prefix>[:<exec_prefix>]
'import site' failed; use -v for traceback
Traceback (most recent call last):
File "/usr/bin/gfal-ls", line 8, in <module>
from gfal2_util.shell import Gfal2Shell
ImportError: No module named gfal2_util.shell

crab3 에서 사용하는 python 환경변수와 gfal-* 명령어들에 문제를 일으키기 때문입니다. gfal-* 명령어 앞에 " env --unset=LD_LIBRARY_PATH "을 넣어줌으로써 문제를 해결할 수 있습니다.

$ env --unset=LD_LIBRARY_PATH gfal-ls -Hl davs://cluster142.knu.ac.kr:2880/cms/store/user/test/test.transfer
-rw-r--r-- 1 2 2 Oct 12 02:17 4.8M davs://cluster142.knu.ac.kr:2880/cms/store/user/test/test.transfer

=== cmsenv 실행후 gfal 명령어들이 정상 동작 하지 않을때 ===

cmsenv 실행후에 다음과 같은 오류가 발생한다면

Failed to add IO tunnel (libgsiTunnel.so: cannot open shared object file: No such file or directory). Provider: [libgsiTunnel.so].
Error ( POLLIN) (with data) on control line [12]
Failed to create a control line
Failed open file in the dCache.
gfal-copy: error: Input/output error

아래 명령을 먼저 실행해줌으로써 문제를 해결할 수 있습니다.

export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/lib64/dcap

=== no match 오류가 발생할때 ===

* tcsh에서 ?는 wild card로 인식이 됩니다. 따라서 tcsh을 사용하고 있다면 srm 경로에 반드시 ""를 사용해야 합니다.

=== srm*, lcg*, gfal* 주요 명령어 비교표 ===

{| style="background:#cccc99;color:#black;white:80%;" border="1" cellpadding="5" cellspacing="0"
! srm* !! lcg* !! gfal* !! 비고
|- style="background:white; color:black"
| srmls
| lcg-ls
| gfal-ls
| ls
|- style="background:#f0f0f0; color:black"
| srmcp
| lcg-cp
| gfal-copy
| cp
|- style="background:white; color:black"
| srmrm
| lcg-del
| gfal-rm
| rm
|- style="background:#f0f0f0; color:black"
| srmmkdir
|
| gfal-mkdir
| mkdir
|- style="background:white; color:black"
| srmrmdir
| lcg-del -d
| gfal-rm -R
| rmdir
|- style="background:#f0f0f0; color:black"
|
|
| gfal-cat
| cat

|}

=== <del>uberftp를 이용한 Storage Element 사용</del> ===

* <del>[[ uberftp | uberftp 사용법으로 가기 ]]</del>
* uberftp는 gridftp의 지원 종료로 이상 사용할 수 없습니다. 해당문서는 참고용으로만 보존합니다.

=== <del>WebFTS를 이용한 Storage Element 로의 Data 전송</del> ===
* <del>[[ Webfts | WebFTS 사용법으로 가기 ]]</del>
* WebFTS는 CERN에서 서비스가 종료되어 더 이상 사용할 수 없습니다. 해당문서는 참고용으로만 보존합니다.

=== T3_KR_KNU 저장공간(Disk) 활용 분류 ===

* Storage Element (srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/...)
: 대용량 저장 공간으로 장기간 보관이 가능합니다.
- rucio를 통해 전송된 DataSet 저장
- Crab Analysis 이후의 결과파일 저장
srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/
UI에서는 ~/SE_UserHome/ 에서 확인할 수 있습니다.
: 현재 약 1.45 PB의 공간을 마련하여 운영하고 있습니다.
: 사용자의 데이터 저장으로 공간이 부족할 경우, 사전 설문을 통해 더 이상 사용하지 않는 과거 데이터의 삭제 요청을 드릴 수 있습니다.

* User Home Directory (/u/user/...)
: 기본적인 설정 사항, 사용자가 필요한 소프트웨어 등을 설치 및 보관하는 장소입니다.
: 약 20 TB 규모의 공간입니다.
: 모든 사용자가 20 TB를 나누어 사용하므로 용량이 큰 데이터의 보관은 가급적 삼가해 주시기 바랍니다.

* Scratch Disk
: UI에 총 1개의 임시 저장공간이 있습니다.
- /d0 : 약 40 TB RAID6 Disk
: Sratch 디스크는 임시 저장공간으로 중요한 데이터 및 장기 보관 데이터는 반드시 Storage Element로 이동하여 주시기 바랍니다.

Storage Element Tutorial

2026-07-30T07:26:18Z

Hanbi: /* Overview */

== Storage Element Tutorial ==
CRAB 등을 사용하여 얻은 데이터를 보관할 수 있는 저장 공간을 Storage Element (SE)라 합니다.
이곳에 데이터를 저장하기 위해서는 몇가지 특수한 명령어를 사용해야 합니다.

[주의 : tcsh, csh 등 에서 관련 명령어를 사용할 때, 경로 인자에 반드시 " " 를 사용해주시기 바랍니다.]

=== Overview ===

UI에 로그인 했을 때 일반 사용자가 읽고 쓸수 있는 저장공간은 다음과 같이 3가지 종류가 있습니다.

{| style="background:#f0f0f0;color:#black;white:80%;" border="1" cellpadding="5" cellspacing="0"
! 종류 !! 경로 !! 지원 프로토콜 !! 총용량 !! 사용자당 !! 용도 !! 비고
|- style="background:white; color:black"
| UI 사용자 홈
|
* /u/user/{knu_id}
| nfs
| 20 TB
| 200 GB
| 프로그램 설치 사용자 기본 작업공간
| RAID6
|- style="background:white; color:black"
| SE 사용자홈
|
* xrootd: root://cluster142.knu.ac.kr//store/user/{cern_id}/ 
* webdav: davs://cluster142.knu.ac.kr:2880/cms/store/user/{cern_id} 
* <del>srm: srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/{cern_id}</del> 
* <del>gsiftp://cluster142.knu.ac.kr:2811/pnfs/knu.ac.kr/data/cms/store/user/{cern_id}</del> 
* dcap: dcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/{cern_id} 
* gsidcap: gsidcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/{cern_id} 
* nfs: /pnfs/knu.ac.kr/data/cms/store/user/{cern_id} 
* nfs: /u/user/{knu_id}/SE_UserHome -----> /pnfs/knu.ac.kr/data/cms/store/user/{cern_id}
| xrootd, webdav, <del>srm, gsiftp,</del> dcap, gsidcap, nfs
| 1.84 PB
| 10 TB
| 데이터 보관 대용량데이터처리 프로그램설치X
| dCache, RAID6
|- style="background:white; color:black"
| 스크레치
|
* /d0/scratch 
* /u/user/{knu_id}/scratch -----> /d0/scratch/{knu_id}
| nfs
| 40 TB
|
| 임시 작업용 중요데이터 보관X
| RAID6
|}

* x509인증이 토큰 인증으로 전환되고 있는 상황이며 srm,gsiftp 프로토콜은 xrootd, webdav 프로토콜로 대체되고 있습니다.
* dcap(dCache access protocol): 인증이 필요없는 읽기 전용의 프로토콜입니다. 인증이 필요없기에 간편하게 사용할수 있지만 경북대 내부에서만 사용할수 있습니다.
* gsidcap: 그리드 인증이 필요한 dcap 프로토콜입니다. 읽기 쓰기가 모두 가능하며 경북대 내외부에서 모두 사용할 수 있습니다.
* SE에 저장되어 있는 데이터셋은 연산노드에서 xrootd, wevdav, nfs, dcap, <del>gsiftp</del>, <del>srm</del> 프로토콜을 이용하여 읽을 수 있습니다.

* CERN ID와 KNU ID가 다른 사용자는 SE 사용자 홈디렉토리에 CERN ID를 기준으로 디렉토리가 생성됩니다.
* {knu_id}는 경북대에서 발급받은 ID, {cern_id}는 CERN에서 발급 받은 ID를 의미합니다. 일부 사용자들은 두 ID가 일치 하지 않습니다.
* 경북대 계정 신청시 CERN ID가 없는 사용자는 계정발급 직후 SE 사용자 홈디렉토리가 생성되지 않습니다. CERN ID를 발급 받은 후에 별도로 연락주세요.

* 현재는 저장공간의 사용자당 최대 사용량이 시스템적으로 설정되어 있지는 않습니다. 그러나 원활한 이용을 위하여 초과해서 사용이 필요한 경우에는 사전에 관리자와 협의를 부탁드립니다.
* 저장공간이 부족해질 경우 개인 사용량을 초과하는 사용자를 대상으로 사용하지 않는 데이터의 정리를 요청하고 있습니다. 삭제요청과 함께 혹시라도 데이터가 방치되고 있지는 않은지 확인하는 작업입니다. 파일의 삭제 가능 여부와 상관없이 반드시 답장을 해주시기 바랍니다.

* 스크레치 저장공간은 불필요한 데이터를 수시로 정리해주시고 장기 보관이 필요한 데이터는 SE로 이동 부탁드립니다.
* 스크레치 디스크는 임시작업용 저장공간입니다. 데이터 손실에 대한 안전장치가 전혀 없으므로 절대 데이터 보관용으로 사용해서는 안됩니다.
* 매월 28일 90일이 지난 스크레치 디스크의 데이터는 자동으로 삭제됩니다.

=== 서비스별 스토리지 접근 ===

{| style="background:#f0f0f0;color:#black;white:80%;" border="1" cellpadding="5" cellspacing="0"
! 서비스 !! 스토리지 !! 지원 프로토콜 !! 경로 !! Grid인증 !! 비고
|- style="background:white; color:black"
| rowspan=9 | UI
| UI User Home
| nfs
| /u/user/{knu_id}
| X
|
|- style="background:white; color:black"
| UI Scratch
| nfs
| /u/user/{knu_id}/scratch -----> /d0/scratch/{knu_id}
| X
|
|- style="background:white; color:black"
| rowspan=7 | SE
| xrootd
| xrootd: root://cluster142.knu.ac.kr//store/user/{cern_id}
| O
|
|- style="background:white; color:black"
| webdav
| webdav: davs://cluster142.knu.ac.kr:2880/cms/store/user/{cern_id}
| O
|
|- style="background:white; color:black"
| <del>srm</del>
| <del>srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/{cern_id}</del>
| O
|
|- style="background:white; color:black"
| <del>gsiftp</del>
| <del>gsiftp://cluster142.knu.ac.kr:2811/pnfs/knu.ac.kr/data/cms/store/user/{cern_id}</del>
| O
|
|- style="background:white; color:black"
| dcap
| dcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/{cern_id}
| X
| 읽기전용, 레거시(비권장)
|- style="background:white; color:black"
| gsidcap
| gsidcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/{cern_id}
| O
| 레거시(비권장)
|- style="background:white; color:black"
| nfs
| /pnfs/knu.ac.kr/data/cms/store/user/{cern_id} /u/user/{knu_id}/SE_UserHome -----> /pnfs/knu.ac.kr/data/cms/store/user/{cern_id}
| X
|
|- style="background:white; color:black"
| rowspan=9 | HTCondor
| UI User Home
| nfs
| /u/user/{knu_id}
| X
|
|- style="background:white; color:black"
| UI Scratch
| nfs
| /u/user/{knu_id}/scratch -----> /d0/scratch/{knu_id}
| X
|
|- style="background:white; color:black"
| rowspan=7 | SE
| xrootd
| xrootd: root://cluster142.knu.ac.kr//store/user/{cern_id}
| O
|
|- style="background:white; color:black"
| webdav
| webdav: davs://cluster142.knu.ac.kr:2880/cms/store/user/{cern_id}
| O
|
|- style="background:white; color:black"
| <del>srm</del>
| <del>srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/{cern_id}</del>
| O
|
|- style="background:white; color:black"
| <del>gsiftp</del>
| <del>gsiftp://cluster142.knu.ac.kr:2811/pnfs/knu.ac.kr/data/cms/store/user/{cern_id}</del>
| O
|
|- style="background:white; color:black"
| dcap
| dcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/{cern_id}
| X
| 읽기전용, 레거시(비권장)
|- style="background:white; color:black"
| gsidcap
| gsidcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/{cern_id}
| O
| 레거시(비권장)
|- style="background:white; color:black"
| nfs
| /pnfs/knu.ac.kr/data/cms/store/user/{cern_id} /u/user/{knu_id}/SE_UserHome -----> /pnfs/knu.ac.kr/data/cms/store/user/{cern_id}
| X
|
|- style="background:white; color:black"

|}

* 해당 경로를 찾을 수 없다면 관리자에게 문의해 주시기 바랍니다.
* HTcondor 에서 SE에 nfs로 연결됨에 따라 dcap 이나 xrootd 와 같은 별다른 프로토콜 사용 없이 직접적으로 SE의 데이터를 읽고 쓸 수 있습니다. 

=== voms 인증 ===
* SE는 voms 인증 후 사용할수 있습니다.
$ voms-proxy-init --voms cms

=== voms 인증 정보 확인 ===
* voms 인증 정보는 다음 명령어로 확인할 수 있습니다.
$ voms-proxy-info --all
voms-proxy-info --all
subject : /DC=ch/DC=cern/OU=Organic Units/OU=Users/CN=gdhong/CN=000000/CN=Gildong Hong/CN=00000000
issuer : /DC=ch/DC=cern/OU=Organic Units/OU=Users/CN=gdhong/CN=000000/CN=Gildong Hong
identity : /DC=ch/DC=cern/OU=Organic Units/OU=Users/CN=gdhong/CN=000000/CN=Gildong Hong
type : RFC3820 compliant impersonation proxy
strength : 2048
path : /tmp/x509up_u00000
timeleft : 11:59:52
key usage : Digital Signature, Key Encipherment
=== VO cms extension information ===
VO : cms
subject : /DC=ch/DC=cern/OU=Organic Units/OU=Users/CN=gdhong/CN=000000/CN=Gildong Hong
issuer : /DC=ch/DC=cern/OU=computers/CN=voms2.cern.ch
attribute : /cms/Role=NULL/Capability=NULL
timeleft : 11:59:54
uri : voms2.cern.ch:15002

주의해야할 부분은 VO cms extension information 부분입니다. 만약 VO cms extension information 부분이 출력되지 않는다면 --voms cms 옵션을 정확하게 입력하였는지 자신의 cms vo가 만료된건 아닌지 확인 해야합니다.

=== T3_KR_KNU의 Computing Resource 실시간 조회하기 (CPU, Disk 자원 조회) ===

* UI 에서 "knuinfo" 명령어를 실행합니다.
$ knuinfo
-----------------------------------------------------------------------------------------
CPU Free Total Jobs Running Waiting ComputingElement
2509 247 2 0 0 ce01.knu.ac.kr:9619/ce01.knu.ac.kr-condor
-----------------------------------------------------------------------------------------
Avail Space(kB) Used Space(kB) Type SE
299479671320 1559004436260 xroot cluster142.knu.ac.k
-----------------------------------------------------------------------------------------

=== SE(Storage Element)의 사용자 디렉토리 경로 ===
$ srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/(username)/.../SrcFile
$ gsiftp://cluster142.knu.ac.kr:2811/pnfs/knu.ac.kr/data/cms/store/user/(username)/.../SrcFile
$ dcap://cluster142.knu.ac.kr/pnfs/knu.ac.kr/data/cms/store/user/(username)/.../SrcFile
$ gsidcap://cluster142.knu.ac.kr:22128/pnfs/knu.ac.kr/data/cms/store/user/(username)/.../SrcFile
$ root://cluster142.knu.ac.kr//store/user/(username)/.../SrcFile
$ davs://cluster142.knu.ac.kr:2880/cms/store/user/(username)/.../SrcFile

참고사항: 
- 위의 예시에서 username은 향후 data를 publish 할 경우를 대비하서 경북대 ID가 아니라 CERNID를 사용해야 합니다. 
- 계정을 발급받을 당시에 cern id가 없는 사용자는 해당 경로가 생성되지 않습니다. 
- 만약에 cern id가 있는데도 불구하고 본인의 디렉토리가 만들어져 있지 않는 경우에는 관리자에게 연락바랍니다.

=== SE에서 SE로 파일 복사하기 ===

$ gfal-copy root://cluster142.knu.ac.kr//store/user/(username)/.../SrcFile \
root://cluster142.knu.ac.kr//store/user/(username)/.../.../DestFile

$ gfal-copy davs://cluster142.knu.ac.kr:2880/cms/store/user/(username)/.../SrcFile \
davs://cluster142.knu.ac.kr:2880/cms/store/user/(username)/.../DestFile

=== SE에 있는 파일을 및 local 디렉토리로 복사하기 ===

$ gfal-copy root://cluster142.knu.ac.kr//store/user/(username)/.../SrcFile \
file:////u/user/(username)/.../DestFile

$ gfal-copy root://cluster142.knu.ac.kr//store/user/(username)/.../SrcFile \
./DestFile

$ gfal-copy davs://cluster142.knu.ac.kr:2880/cms/store/user/(username)/.../SrcFile \
file:////u/user/(username)/.../DestFile

$ gfal-copy davs://cluster142.knu.ac.kr:2880/cms/store/user/(username)/.../SrcFile \
./DestFile

$ gfal-copy gsidcap://cluster142.knu.ac.kr:22128/pnfs/knu.ac.kr/data/cms/store/user/(username)/.../SrcFile \
file:////u/user/(username)/.../DestFile

$ gfal-copy gsidcap://cluster142.knu.ac.kr/pnfs/knu.ac.kr/data/cms/store/user/(username)/.../SrcFile \
./DestFile

=== xrootd 를 활용한 SE Data 접근 방법 ===

* [[Xrootd|xrootd 을 이용하여 SE 사용하기]]

=== WebDav 프로토콜을 활용한 SE Data 접근 방법 ===

* [[WebDav|dCache에서 WebDav 프로토콜 및 마카롱 인증 사용하기]]

=== dcap을 이용한 SE Data 접근 방법 ===
* [[Dcap|dcap 을 이용하여 SE 사용하기]]

=== UI에서 NFS로 마운트된 스토리지 엘리먼트 사용하기 ===
* [[DCacheNFS|스토리지 엘리먼트의 NFS 사용 가이드]]

=== root에서 SE Data 접근 방법 ===

* xrootd 프로토콜을 이용
# 읽기
$ voms-proxy-init --voms cms
$ TFile *f = TFile::Open("root://cluster142.knu.ac.kr//store/user/(username)/test.root");
$
# 쓰기
$ voms-proxy-init --voms cms
$ root -l
root [0] TFile *f = TFile::Open("root://cluster142.knu.ac.kr//store/user/(username)/test.root", "CREATE");
root [1] f->Close();
root [2] TFile *f2 = TFile::Open("root://cluster142.knu.ac.kr//store/user/(username)/test.root", "RECREATE");
root [3] f2->Close();
root [4] .q
$

* dcap 프로토콜을 이용
# 읽기
$ TFile *f = TFile::Open("dcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/(username)/test.root");
$
# 쓰기
$ export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/lib64/dcap
$ root -l
root [0] TFile *f = TFile::Open("gsidcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/(username)/test.root", "CREATE");
root [1] f->Close();
root [2] TFile *f2 = TFile::Open("gsidcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/(username)/test.root", "RECREATE");
root [3] f2->Close();
root [4] .q
$

=== 복수의 파일을 동시에 전송하기 ===
$ /usr/local/bin/lcgcp_copyfiles list.txt

$ cat list.txt
srm://myhost.mydomain.edu:8443//dir1/dir2/sh-copy1 file:///localdir/sh1
srm://myhost.mydomain.edu:8443//dir1/dir2/sh-copy2 file:///localdir/sh2
srm://myhost.mydomain.edu:8443//dir1/dir2/sh-copy3 file:///localdir/sh3
* lcg_cp는 기본적으로 복수파일 전송을 지원하지 않으나 원본경로 대상경로를 포함하는 목록 파일을 생성한뒤, 위의 스크립트를 사용하면 복수의 파일을 전송할수 있다.

=== 복사가 정상적으로 이루어졌는지 확인 또는 디렉토리의 목록 확인 ===

$ gfal-ls -Hl davs://cluster142.knu.ac.kr:2880/cms/store/user/(username)

=== 파일 또는 디렉토리 삭제 ===

$ gfal-rm davs://cluster142.knu.ac.kr:2880/cms/store/user/(username)/test/test.file
$ <del>gfal-rm srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/(username)/test</del>
$ <del>lcg-del -d srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/(username)/test</del>

=== gfal 명령어 사용 요약 ===
$ voms-proxy-init --voms cms 로 proxy 생성후 아래 명령어를 수행하시면 됩니다.
$ 조회 : gfal-ls -Hl davs://cluster142.knu.ac.kr:2880/cms/store/user/MyAccount/FolderName
$ 복사 : gfal-copy davs://cluster142.knu.ac.kr:2880/cms/store/user/.../FileNameSrc davs://cluster142.knu.ac.kr:2880/cms/store/user/.../FileNameDest
$ 삭제 : gfal-rm davs://cluster142.knu.ac.kr:2880/cms/store/user/MyAccount/FolderName/FileName
$ 디렉토리 삭제 : <del>gfal-rm -R davs://cluster142.knu.ac.kr:2880/cms/store/user/MyAccount/FolderName</del>
* 명령어 뒤의 Option은 매뉴얼 페이지를 참고 바랍니다. (ex. man gfal-ls)
* <del>1000개 이상의 파일 포함한 폴더 내용 보기 : (ex. 500번째 파일부터 700개의 파일을 보고 싶을 경우) lcg-ls --offset 500 --count 700 srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/(DestFoler)</del>
* gfal-copy에서 "-r" 옵션을 사용하면 디렉토리까지 복사가 가능합니다.

=== gfal-copy를 이용한 디렉토리 복사 ===

gfal-copy에서 "-r" 옵션을 사용하면 서브 디렉토리까지 한번에 복사가 가능합니다. 다음과 같이 임의의 테스트 디렉토리를 만들었을때

[MyAccount@cms tmp5]$ ll
total 0
-rw-r--r-- 1 hanbi knu 0 Aug 26 17:21 aa
-rw-r--r-- 1 hanbi knu 0 Aug 26 17:21 bb
-rw-r--r-- 1 hanbi knu 0 Aug 26 17:21 cc
drwxr-xr-x 2 hanbi knu 24 Aug 26 17:22 dir1

-r 옵션을 적용해서 다음과 같이 실행하면 (로컬 디스크의 ~/MyAccount/tmp5 디렉토리를 SE의 hanbi/tmp5로 복사)

gfal-copy -r file:////u/user/MyAccount/tmp5 davs://cluster142.knu.ac.kr:2880/cms/store/user/MyAccount/tmp5

[MyAccount@cms ~]$ gfal-copy -r file:////u/user/MyAccount/tmp5 davs://cluster142.knu.ac.kr:2880/cms/store/user/MyAccount/tmp5
Mkdir davs://cluster142.knu.ac.kr:2880/cms/store/user/MyAccount/tmp5
Copying file:////u/user/MyAccount/tmp5/aa [DONE] after 0s
Copying file:////u/user/MyAccount/tmp5/bb [DONE] after 0s
Copying file:////u/user/MyAccount/tmp5/cc [DONE] after 0s
Mkdir davs://cluster142.knu.ac.kr:2880/cms/store/user/MyAccount/tmp5/dir1
Copying file:////u/user/MyAccount/tmp5/dir1/dd [DONE] after 0s
Copying file:////u/user/MyAccount/tmp5/dir1/ee [DONE] after 0s

아래와 같이 하부 디렉토리까지 스토리지 엘리먼트로 전부 전송이 되는 것을 확인 할 수 있습니다.

[hanbi@cms ~]$ ll /pnfs/knu.ac.kr/data/cms/store/user/MyAccount/tmp5
total 1
-rw-r--r-- 1 hanbi cms 0 Aug 26 17:22 aa
-rw-r--r-- 1 hanbi cms 0 Aug 26 17:22 bb
-rw-r--r-- 1 hanbi cms 0 Aug 26 17:22 cc
drwxr-xr-x 4 hanbi cms 512 Aug 26 17:22 dir1

물론 반대로 스토리지 엘리먼트에서 로컬 하드로 복사도 가능한데, 사용시 주의해야할 점은 SE의 소스 용량을 먼저 확인해서 전송을해야 로컬 하드디스크가 가득차는 것을 방지할 수 있습니다.

gfal-copy -r davs://cluster142.knu.ac.kr:2880/cms/store/user/MyAccount/tmp5 file:////u/user/MyAccount/tmp5

소스디렉토리의 크기를 확인하는 방법은 다음과 같이 확인할 수 있습니다. 다만 해당 디렉토리 아래의 크기가 매우 클 경우에는 결과가 나오는데 시간이 오래 결릴수 있습니다.

du -hs /pnfs/knu.ac.kr/data/cms/store/user/MyAccount/tmp5

===crab3를 사용한 후 gfal-* 명령어들이 오류가 발생합니다 ===

source /cvmfs/cms.cern.ch/crab3/crab.sh 실행후에 gfal-* 명령어들이 오류가 발생합니다.

$ gfal-ls -Hl davs://cluster142.knu.ac.kr:2880/cms/store/user//test/test.transfer
-rwxrwxrwx 0 0 0 4.8M Oct 12 2015 davs://cluster142.knu.ac.kr:2880/cms/store/user//test/test.transfer

$ source /cvmfs/cms.cern.ch/crab3/crab.sh

$ gfal-ls -Hl davs://cluster142.knu.ac.kr:2880/cms/store/user/test/test.transfer
Could not find platform independent libraries <prefix>
Could not find platform dependent libraries <exec_prefix>
Consider setting $PYTHONHOME to <prefix>[:<exec_prefix>]
'import site' failed; use -v for traceback
Traceback (most recent call last):
File "/usr/bin/gfal-ls", line 8, in <module>
from gfal2_util.shell import Gfal2Shell
ImportError: No module named gfal2_util.shell

crab3 에서 사용하는 python 환경변수와 gfal-* 명령어들에 문제를 일으키기 때문입니다. gfal-* 명령어 앞에 " env --unset=LD_LIBRARY_PATH "을 넣어줌으로써 문제를 해결할 수 있습니다.

$ env --unset=LD_LIBRARY_PATH gfal-ls -Hl davs://cluster142.knu.ac.kr:2880/cms/store/user/test/test.transfer
-rw-r--r-- 1 2 2 Oct 12 02:17 4.8M davs://cluster142.knu.ac.kr:2880/cms/store/user/test/test.transfer

=== cmsenv 실행후 gfal 명령어들이 정상 동작 하지 않을때 ===

cmsenv 실행후에 다음과 같은 오류가 발생한다면

Failed to add IO tunnel (libgsiTunnel.so: cannot open shared object file: No such file or directory). Provider: [libgsiTunnel.so].
Error ( POLLIN) (with data) on control line [12]
Failed to create a control line
Failed open file in the dCache.
gfal-copy: error: Input/output error

아래 명령을 먼저 실행해줌으로써 문제를 해결할 수 있습니다.

export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/lib64/dcap

=== no match 오류가 발생할때 ===

* tcsh에서 ?는 wild card로 인식이 됩니다. 따라서 tcsh을 사용하고 있다면 srm 경로에 반드시 ""를 사용해야 합니다.

=== srm*, lcg*, gfal* 주요 명령어 비교표 ===

{| style="background:#cccc99;color:#black;white:80%;" border="1" cellpadding="5" cellspacing="0"
! srm* !! lcg* !! gfal* !! 비고
|- style="background:white; color:black"
| srmls
| lcg-ls
| gfal-ls
| ls
|- style="background:#f0f0f0; color:black"
| srmcp
| lcg-cp
| gfal-copy
| cp
|- style="background:white; color:black"
| srmrm
| lcg-del
| gfal-rm
| rm
|- style="background:#f0f0f0; color:black"
| srmmkdir
|
| gfal-mkdir
| mkdir
|- style="background:white; color:black"
| srmrmdir
| lcg-del -d
| gfal-rm -R
| rmdir
|- style="background:#f0f0f0; color:black"
|
|
| gfal-cat
| cat

|}

=== <del>uberftp를 이용한 Storage Element 사용</del> ===

* <del>[[ uberftp | uberftp 사용법으로 가기 ]]</del>
* uberftp는 gridftp의 지원 종료로 이상 사용할 수 없습니다. 해당문서는 참고용으로만 보존합니다.

=== <del>WebFTS를 이용한 Storage Element 로의 Data 전송</del> ===
* <del>[[ Webfts | WebFTS 사용법으로 가기 ]]</del>
* WebFTS는 CERN에서 서비스가 종료되어 더 이상 사용할 수 없습니다. 해당문서는 참고용으로만 보존합니다.

=== T3_KR_KNU 저장공간(Disk) 활용 분류 ===

* Storage Element (srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/...)
: 대용량 저장 공간으로 장기간 보관이 가능합니다.
- rucio를 통해 전송된 DataSet 저장
- Crab Analysis 이후의 결과파일 저장
srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/
UI에서는 ~/SE_UserHome/ 에서 확인할 수 있습니다.
: 현재 약 1.45 PB의 공간을 마련하여 운영하고 있습니다.
: 사용자의 데이터 저장으로 공간이 부족할 경우, 사전 설문을 통해 더 이상 사용하지 않는 과거 데이터의 삭제 요청을 드릴 수 있습니다.

* User Home Directory (/u/user/...)
: 기본적인 설정 사항, 사용자가 필요한 소프트웨어 등을 설치 및 보관하는 장소입니다.
: 약 20 TB 규모의 공간입니다.
: 모든 사용자가 20 TB를 나누어 사용하므로 용량이 큰 데이터의 보관은 가급적 삼가해 주시기 바랍니다.

* Scratch Disk
: UI에 총 1개의 임시 저장공간이 있습니다.
- /d0 : 약 40 TB RAID6 Disk
: Sratch 디스크는 임시 저장공간으로 중요한 데이터 및 장기 보관 데이터는 반드시 Storage Element로 이동하여 주시기 바랍니다.

Storage Element Tutorial

2026-07-30T07:24:46Z

Hanbi: /* Overview */

== Storage Element Tutorial ==
CRAB 등을 사용하여 얻은 데이터를 보관할 수 있는 저장 공간을 Storage Element (SE)라 합니다.
이곳에 데이터를 저장하기 위해서는 몇가지 특수한 명령어를 사용해야 합니다.

[주의 : tcsh, csh 등 에서 관련 명령어를 사용할 때, 경로 인자에 반드시 " " 를 사용해주시기 바랍니다.]

=== Overview ===

UI에 로그인 했을 때 일반 사용자가 읽고 쓸수 있는 저장공간은 다음과 같이 3가지 종류가 있습니다.

{| style="background:#f0f0f0;color:#black;white:80%;" border="1" cellpadding="5" cellspacing="0"
! 종류 !! 경로 !! 지원 프로토콜 !! 총용량 !! 사용자당 !! 용도 !! 비고
|- style="background:white; color:black"
| UI 사용자 홈
|
* /u/user/{knu_id}
| nfs
| 20 TB
| 200 GB
| 프로그램 설치 사용자 기본 작업공간
| RAID6
|- style="background:white; color:black"
| SE 사용자홈
|
* xrootd: root://cluster142.knu.ac.kr//store/user/{cern_id}/ 
* webdav: davs://cluster142.knu.ac.kr:2880/cms/store/user/{cern_id} 
* <del>srm: srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/{cern_id}</del> 
* <del>gsiftp://cluster142.knu.ac.kr:2811/pnfs/knu.ac.kr/data/cms/store/user/{cern_id}</del> 
* dcap: dcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/{cern_id} 
* gsidcap: gsidcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/{cern_id} 
* nfs: /pnfs/knu.ac.kr/data/cms/store/user/{cern_id} 
* nfs: /u/user/{knu_id}/SE_UserHome -----> /pnfs/knu.ac.kr/data/cms/store/user/{cern_id}
| xrootd, webdav, <del>srm, gsiftp,</del> dcap, gsidcap, nfs
| 1.84 PB
| 10 TB
| 데이터 보관 대용량데이터처리 프로그램설치X
| dCache, RAID6
|- style="background:white; color:black"
| 스크레치
|
* /d0/scratch 
* /u/user/{knu_id}/scratch -----> /d0/scratch/{knu_id}
| nfs
| 40 TB
|
| 임시 작업용 중요데이터 보관X
| RAID6
|}

* x509인증이 토큰 인증으로 전환되고 있는 상황이며 srm,gsiftp 프로토콜은 xrootd, webdav 프로토콜로 대체되고 있습니다.
* dcap(dCache access protocol): 인증이 필요없는 읽기 전용의 프로토콜입니다. 인증이 필요없기에 간편하게 사용할수 있지만 경북대 내부에서만 사용할수 있습니다.
* gsidcap: 그리드 인증이 필요한 dcap 프로토콜입니다. 읽기 쓰기가 모두 가능하며 경북대 내외부에서 모두 사용할 수 있습니다.
* SE에 저장되어 있는 데이터셋은 연산노드에서 xrootd, wevdav, nfs, dcap, <del>gsiftp</del>, <del>srm</del> 프로토콜을 이용하여 읽을 수 있습니다.

* CERN ID와 KNU ID가 다른 사용자는 SE 사용자 홈디렉토리에 CERN ID를 기준으로 디렉토리가 생성됩니다.
* {knu_id}는 경북대에서 발급받은 ID, {cern_id}는 CERN에서 발급 받은 ID를 의미합니다. 일부 사용자들은 두 ID가 일치 하지 않습니다.
* 경북대 계정 신청시 CERN ID가 없는 사용자는 계정발급 직후 SE 사용자 홈디렉토리가 생성되지 않습니다. CERN ID를 발급 받은 후에 별도로 연락주세요.

* 현재는 저장공간의 사용자당 최대 사용량이 시스템적으로 설정되어 있지는 않습니다. 그러나 원활한 이용을 위하여 초과해서 사용이 필요한 경우에는 사전에 관리자와 협의를 부탁드립니다.
* 저장공간이 부족해질 경우 개인 사용량을 초과하는 사용자를 대상으로 사용햐지 않는 데이터의 정리를 요청하고 있습니다. 삭제요청과 함께 혹시라도 데이터가 방치되고 있지는 않은지 확인하는 작업입니다. 파일의 삭제 가능 여부와 상관없이 반드시 답장을 해주시기 바랍니다.

* 스크레치 저장공간은 불필요한 데이터를 수시로 정리해주시고 장기 보관이 필요한 데이터는 SE로 이동 부탁드립니다.
* 스크레치 디스크는 임시작업용 저장공간입니다. 데이터 손실에 대한 안전장치가 전혀 없으므로 절대 데이터 보관용으로 사용해서는 안됩니다.
* 매월 28일 90일이 지난 스크레치 디스크의 데이터는 자동으로 삭제됩니다.

=== 서비스별 스토리지 접근 ===

{| style="background:#f0f0f0;color:#black;white:80%;" border="1" cellpadding="5" cellspacing="0"
! 서비스 !! 스토리지 !! 지원 프로토콜 !! 경로 !! Grid인증 !! 비고
|- style="background:white; color:black"
| rowspan=9 | UI
| UI User Home
| nfs
| /u/user/{knu_id}
| X
|
|- style="background:white; color:black"
| UI Scratch
| nfs
| /u/user/{knu_id}/scratch -----> /d0/scratch/{knu_id}
| X
|
|- style="background:white; color:black"
| rowspan=7 | SE
| xrootd
| xrootd: root://cluster142.knu.ac.kr//store/user/{cern_id}
| O
|
|- style="background:white; color:black"
| webdav
| webdav: davs://cluster142.knu.ac.kr:2880/cms/store/user/{cern_id}
| O
|
|- style="background:white; color:black"
| <del>srm</del>
| <del>srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/{cern_id}</del>
| O
|
|- style="background:white; color:black"
| <del>gsiftp</del>
| <del>gsiftp://cluster142.knu.ac.kr:2811/pnfs/knu.ac.kr/data/cms/store/user/{cern_id}</del>
| O
|
|- style="background:white; color:black"
| dcap
| dcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/{cern_id}
| X
| 읽기전용, 레거시(비권장)
|- style="background:white; color:black"
| gsidcap
| gsidcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/{cern_id}
| O
| 레거시(비권장)
|- style="background:white; color:black"
| nfs
| /pnfs/knu.ac.kr/data/cms/store/user/{cern_id} /u/user/{knu_id}/SE_UserHome -----> /pnfs/knu.ac.kr/data/cms/store/user/{cern_id}
| X
|
|- style="background:white; color:black"
| rowspan=9 | HTCondor
| UI User Home
| nfs
| /u/user/{knu_id}
| X
|
|- style="background:white; color:black"
| UI Scratch
| nfs
| /u/user/{knu_id}/scratch -----> /d0/scratch/{knu_id}
| X
|
|- style="background:white; color:black"
| rowspan=7 | SE
| xrootd
| xrootd: root://cluster142.knu.ac.kr//store/user/{cern_id}
| O
|
|- style="background:white; color:black"
| webdav
| webdav: davs://cluster142.knu.ac.kr:2880/cms/store/user/{cern_id}
| O
|
|- style="background:white; color:black"
| <del>srm</del>
| <del>srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/{cern_id}</del>
| O
|
|- style="background:white; color:black"
| <del>gsiftp</del>
| <del>gsiftp://cluster142.knu.ac.kr:2811/pnfs/knu.ac.kr/data/cms/store/user/{cern_id}</del>
| O
|
|- style="background:white; color:black"
| dcap
| dcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/{cern_id}
| X
| 읽기전용, 레거시(비권장)
|- style="background:white; color:black"
| gsidcap
| gsidcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/{cern_id}
| O
| 레거시(비권장)
|- style="background:white; color:black"
| nfs
| /pnfs/knu.ac.kr/data/cms/store/user/{cern_id} /u/user/{knu_id}/SE_UserHome -----> /pnfs/knu.ac.kr/data/cms/store/user/{cern_id}
| X
|
|- style="background:white; color:black"

|}

* 해당 경로를 찾을 수 없다면 관리자에게 문의해 주시기 바랍니다.
* HTcondor 에서 SE에 nfs로 연결됨에 따라 dcap 이나 xrootd 와 같은 별다른 프로토콜 사용 없이 직접적으로 SE의 데이터를 읽고 쓸 수 있습니다. 

=== voms 인증 ===
* SE는 voms 인증 후 사용할수 있습니다.
$ voms-proxy-init --voms cms

=== voms 인증 정보 확인 ===
* voms 인증 정보는 다음 명령어로 확인할 수 있습니다.
$ voms-proxy-info --all
voms-proxy-info --all
subject : /DC=ch/DC=cern/OU=Organic Units/OU=Users/CN=gdhong/CN=000000/CN=Gildong Hong/CN=00000000
issuer : /DC=ch/DC=cern/OU=Organic Units/OU=Users/CN=gdhong/CN=000000/CN=Gildong Hong
identity : /DC=ch/DC=cern/OU=Organic Units/OU=Users/CN=gdhong/CN=000000/CN=Gildong Hong
type : RFC3820 compliant impersonation proxy
strength : 2048
path : /tmp/x509up_u00000
timeleft : 11:59:52
key usage : Digital Signature, Key Encipherment
=== VO cms extension information ===
VO : cms
subject : /DC=ch/DC=cern/OU=Organic Units/OU=Users/CN=gdhong/CN=000000/CN=Gildong Hong
issuer : /DC=ch/DC=cern/OU=computers/CN=voms2.cern.ch
attribute : /cms/Role=NULL/Capability=NULL
timeleft : 11:59:54
uri : voms2.cern.ch:15002

주의해야할 부분은 VO cms extension information 부분입니다. 만약 VO cms extension information 부분이 출력되지 않는다면 --voms cms 옵션을 정확하게 입력하였는지 자신의 cms vo가 만료된건 아닌지 확인 해야합니다.

=== T3_KR_KNU의 Computing Resource 실시간 조회하기 (CPU, Disk 자원 조회) ===

* UI 에서 "knuinfo" 명령어를 실행합니다.
$ knuinfo
-----------------------------------------------------------------------------------------
CPU Free Total Jobs Running Waiting ComputingElement
2509 247 2 0 0 ce01.knu.ac.kr:9619/ce01.knu.ac.kr-condor
-----------------------------------------------------------------------------------------
Avail Space(kB) Used Space(kB) Type SE
299479671320 1559004436260 xroot cluster142.knu.ac.k
-----------------------------------------------------------------------------------------

=== SE(Storage Element)의 사용자 디렉토리 경로 ===
$ srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/(username)/.../SrcFile
$ gsiftp://cluster142.knu.ac.kr:2811/pnfs/knu.ac.kr/data/cms/store/user/(username)/.../SrcFile
$ dcap://cluster142.knu.ac.kr/pnfs/knu.ac.kr/data/cms/store/user/(username)/.../SrcFile
$ gsidcap://cluster142.knu.ac.kr:22128/pnfs/knu.ac.kr/data/cms/store/user/(username)/.../SrcFile
$ root://cluster142.knu.ac.kr//store/user/(username)/.../SrcFile
$ davs://cluster142.knu.ac.kr:2880/cms/store/user/(username)/.../SrcFile

참고사항: 
- 위의 예시에서 username은 향후 data를 publish 할 경우를 대비하서 경북대 ID가 아니라 CERNID를 사용해야 합니다. 
- 계정을 발급받을 당시에 cern id가 없는 사용자는 해당 경로가 생성되지 않습니다. 
- 만약에 cern id가 있는데도 불구하고 본인의 디렉토리가 만들어져 있지 않는 경우에는 관리자에게 연락바랍니다.

=== SE에서 SE로 파일 복사하기 ===

$ gfal-copy root://cluster142.knu.ac.kr//store/user/(username)/.../SrcFile \
root://cluster142.knu.ac.kr//store/user/(username)/.../.../DestFile

$ gfal-copy davs://cluster142.knu.ac.kr:2880/cms/store/user/(username)/.../SrcFile \
davs://cluster142.knu.ac.kr:2880/cms/store/user/(username)/.../DestFile

=== SE에 있는 파일을 및 local 디렉토리로 복사하기 ===

$ gfal-copy root://cluster142.knu.ac.kr//store/user/(username)/.../SrcFile \
file:////u/user/(username)/.../DestFile

$ gfal-copy root://cluster142.knu.ac.kr//store/user/(username)/.../SrcFile \
./DestFile

$ gfal-copy davs://cluster142.knu.ac.kr:2880/cms/store/user/(username)/.../SrcFile \
file:////u/user/(username)/.../DestFile

$ gfal-copy davs://cluster142.knu.ac.kr:2880/cms/store/user/(username)/.../SrcFile \
./DestFile

$ gfal-copy gsidcap://cluster142.knu.ac.kr:22128/pnfs/knu.ac.kr/data/cms/store/user/(username)/.../SrcFile \
file:////u/user/(username)/.../DestFile

$ gfal-copy gsidcap://cluster142.knu.ac.kr/pnfs/knu.ac.kr/data/cms/store/user/(username)/.../SrcFile \
./DestFile

=== xrootd 를 활용한 SE Data 접근 방법 ===

* [[Xrootd|xrootd 을 이용하여 SE 사용하기]]

=== WebDav 프로토콜을 활용한 SE Data 접근 방법 ===

* [[WebDav|dCache에서 WebDav 프로토콜 및 마카롱 인증 사용하기]]

=== dcap을 이용한 SE Data 접근 방법 ===
* [[Dcap|dcap 을 이용하여 SE 사용하기]]

=== UI에서 NFS로 마운트된 스토리지 엘리먼트 사용하기 ===
* [[DCacheNFS|스토리지 엘리먼트의 NFS 사용 가이드]]

=== root에서 SE Data 접근 방법 ===

* xrootd 프로토콜을 이용
# 읽기
$ voms-proxy-init --voms cms
$ TFile *f = TFile::Open("root://cluster142.knu.ac.kr//store/user/(username)/test.root");
$
# 쓰기
$ voms-proxy-init --voms cms
$ root -l
root [0] TFile *f = TFile::Open("root://cluster142.knu.ac.kr//store/user/(username)/test.root", "CREATE");
root [1] f->Close();
root [2] TFile *f2 = TFile::Open("root://cluster142.knu.ac.kr//store/user/(username)/test.root", "RECREATE");
root [3] f2->Close();
root [4] .q
$

* dcap 프로토콜을 이용
# 읽기
$ TFile *f = TFile::Open("dcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/(username)/test.root");
$
# 쓰기
$ export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/lib64/dcap
$ root -l
root [0] TFile *f = TFile::Open("gsidcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/(username)/test.root", "CREATE");
root [1] f->Close();
root [2] TFile *f2 = TFile::Open("gsidcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/(username)/test.root", "RECREATE");
root [3] f2->Close();
root [4] .q
$

=== 복수의 파일을 동시에 전송하기 ===
$ /usr/local/bin/lcgcp_copyfiles list.txt

$ cat list.txt
srm://myhost.mydomain.edu:8443//dir1/dir2/sh-copy1 file:///localdir/sh1
srm://myhost.mydomain.edu:8443//dir1/dir2/sh-copy2 file:///localdir/sh2
srm://myhost.mydomain.edu:8443//dir1/dir2/sh-copy3 file:///localdir/sh3
* lcg_cp는 기본적으로 복수파일 전송을 지원하지 않으나 원본경로 대상경로를 포함하는 목록 파일을 생성한뒤, 위의 스크립트를 사용하면 복수의 파일을 전송할수 있다.

=== 복사가 정상적으로 이루어졌는지 확인 또는 디렉토리의 목록 확인 ===

$ gfal-ls -Hl davs://cluster142.knu.ac.kr:2880/cms/store/user/(username)

=== 파일 또는 디렉토리 삭제 ===

$ gfal-rm davs://cluster142.knu.ac.kr:2880/cms/store/user/(username)/test/test.file
$ <del>gfal-rm srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/(username)/test</del>
$ <del>lcg-del -d srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/(username)/test</del>

=== gfal 명령어 사용 요약 ===
$ voms-proxy-init --voms cms 로 proxy 생성후 아래 명령어를 수행하시면 됩니다.
$ 조회 : gfal-ls -Hl davs://cluster142.knu.ac.kr:2880/cms/store/user/MyAccount/FolderName
$ 복사 : gfal-copy davs://cluster142.knu.ac.kr:2880/cms/store/user/.../FileNameSrc davs://cluster142.knu.ac.kr:2880/cms/store/user/.../FileNameDest
$ 삭제 : gfal-rm davs://cluster142.knu.ac.kr:2880/cms/store/user/MyAccount/FolderName/FileName
$ 디렉토리 삭제 : <del>gfal-rm -R davs://cluster142.knu.ac.kr:2880/cms/store/user/MyAccount/FolderName</del>
* 명령어 뒤의 Option은 매뉴얼 페이지를 참고 바랍니다. (ex. man gfal-ls)
* <del>1000개 이상의 파일 포함한 폴더 내용 보기 : (ex. 500번째 파일부터 700개의 파일을 보고 싶을 경우) lcg-ls --offset 500 --count 700 srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/(DestFoler)</del>
* gfal-copy에서 "-r" 옵션을 사용하면 디렉토리까지 복사가 가능합니다.

=== gfal-copy를 이용한 디렉토리 복사 ===

gfal-copy에서 "-r" 옵션을 사용하면 서브 디렉토리까지 한번에 복사가 가능합니다. 다음과 같이 임의의 테스트 디렉토리를 만들었을때

[MyAccount@cms tmp5]$ ll
total 0
-rw-r--r-- 1 hanbi knu 0 Aug 26 17:21 aa
-rw-r--r-- 1 hanbi knu 0 Aug 26 17:21 bb
-rw-r--r-- 1 hanbi knu 0 Aug 26 17:21 cc
drwxr-xr-x 2 hanbi knu 24 Aug 26 17:22 dir1

-r 옵션을 적용해서 다음과 같이 실행하면 (로컬 디스크의 ~/MyAccount/tmp5 디렉토리를 SE의 hanbi/tmp5로 복사)

gfal-copy -r file:////u/user/MyAccount/tmp5 davs://cluster142.knu.ac.kr:2880/cms/store/user/MyAccount/tmp5

[MyAccount@cms ~]$ gfal-copy -r file:////u/user/MyAccount/tmp5 davs://cluster142.knu.ac.kr:2880/cms/store/user/MyAccount/tmp5
Mkdir davs://cluster142.knu.ac.kr:2880/cms/store/user/MyAccount/tmp5
Copying file:////u/user/MyAccount/tmp5/aa [DONE] after 0s
Copying file:////u/user/MyAccount/tmp5/bb [DONE] after 0s
Copying file:////u/user/MyAccount/tmp5/cc [DONE] after 0s
Mkdir davs://cluster142.knu.ac.kr:2880/cms/store/user/MyAccount/tmp5/dir1
Copying file:////u/user/MyAccount/tmp5/dir1/dd [DONE] after 0s
Copying file:////u/user/MyAccount/tmp5/dir1/ee [DONE] after 0s

아래와 같이 하부 디렉토리까지 스토리지 엘리먼트로 전부 전송이 되는 것을 확인 할 수 있습니다.

[hanbi@cms ~]$ ll /pnfs/knu.ac.kr/data/cms/store/user/MyAccount/tmp5
total 1
-rw-r--r-- 1 hanbi cms 0 Aug 26 17:22 aa
-rw-r--r-- 1 hanbi cms 0 Aug 26 17:22 bb
-rw-r--r-- 1 hanbi cms 0 Aug 26 17:22 cc
drwxr-xr-x 4 hanbi cms 512 Aug 26 17:22 dir1

물론 반대로 스토리지 엘리먼트에서 로컬 하드로 복사도 가능한데, 사용시 주의해야할 점은 SE의 소스 용량을 먼저 확인해서 전송을해야 로컬 하드디스크가 가득차는 것을 방지할 수 있습니다.

gfal-copy -r davs://cluster142.knu.ac.kr:2880/cms/store/user/MyAccount/tmp5 file:////u/user/MyAccount/tmp5

소스디렉토리의 크기를 확인하는 방법은 다음과 같이 확인할 수 있습니다. 다만 해당 디렉토리 아래의 크기가 매우 클 경우에는 결과가 나오는데 시간이 오래 결릴수 있습니다.

du -hs /pnfs/knu.ac.kr/data/cms/store/user/MyAccount/tmp5

===crab3를 사용한 후 gfal-* 명령어들이 오류가 발생합니다 ===

source /cvmfs/cms.cern.ch/crab3/crab.sh 실행후에 gfal-* 명령어들이 오류가 발생합니다.

$ gfal-ls -Hl davs://cluster142.knu.ac.kr:2880/cms/store/user//test/test.transfer
-rwxrwxrwx 0 0 0 4.8M Oct 12 2015 davs://cluster142.knu.ac.kr:2880/cms/store/user//test/test.transfer

$ source /cvmfs/cms.cern.ch/crab3/crab.sh

$ gfal-ls -Hl davs://cluster142.knu.ac.kr:2880/cms/store/user/test/test.transfer
Could not find platform independent libraries <prefix>
Could not find platform dependent libraries <exec_prefix>
Consider setting $PYTHONHOME to <prefix>[:<exec_prefix>]
'import site' failed; use -v for traceback
Traceback (most recent call last):
File "/usr/bin/gfal-ls", line 8, in <module>
from gfal2_util.shell import Gfal2Shell
ImportError: No module named gfal2_util.shell

crab3 에서 사용하는 python 환경변수와 gfal-* 명령어들에 문제를 일으키기 때문입니다. gfal-* 명령어 앞에 " env --unset=LD_LIBRARY_PATH "을 넣어줌으로써 문제를 해결할 수 있습니다.

$ env --unset=LD_LIBRARY_PATH gfal-ls -Hl davs://cluster142.knu.ac.kr:2880/cms/store/user/test/test.transfer
-rw-r--r-- 1 2 2 Oct 12 02:17 4.8M davs://cluster142.knu.ac.kr:2880/cms/store/user/test/test.transfer

=== cmsenv 실행후 gfal 명령어들이 정상 동작 하지 않을때 ===

cmsenv 실행후에 다음과 같은 오류가 발생한다면

Failed to add IO tunnel (libgsiTunnel.so: cannot open shared object file: No such file or directory). Provider: [libgsiTunnel.so].
Error ( POLLIN) (with data) on control line [12]
Failed to create a control line
Failed open file in the dCache.
gfal-copy: error: Input/output error

아래 명령을 먼저 실행해줌으로써 문제를 해결할 수 있습니다.

export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/lib64/dcap

=== no match 오류가 발생할때 ===

* tcsh에서 ?는 wild card로 인식이 됩니다. 따라서 tcsh을 사용하고 있다면 srm 경로에 반드시 ""를 사용해야 합니다.

=== srm*, lcg*, gfal* 주요 명령어 비교표 ===

{| style="background:#cccc99;color:#black;white:80%;" border="1" cellpadding="5" cellspacing="0"
! srm* !! lcg* !! gfal* !! 비고
|- style="background:white; color:black"
| srmls
| lcg-ls
| gfal-ls
| ls
|- style="background:#f0f0f0; color:black"
| srmcp
| lcg-cp
| gfal-copy
| cp
|- style="background:white; color:black"
| srmrm
| lcg-del
| gfal-rm
| rm
|- style="background:#f0f0f0; color:black"
| srmmkdir
|
| gfal-mkdir
| mkdir
|- style="background:white; color:black"
| srmrmdir
| lcg-del -d
| gfal-rm -R
| rmdir
|- style="background:#f0f0f0; color:black"
|
|
| gfal-cat
| cat

|}

=== <del>uberftp를 이용한 Storage Element 사용</del> ===

* <del>[[ uberftp | uberftp 사용법으로 가기 ]]</del>
* uberftp는 gridftp의 지원 종료로 이상 사용할 수 없습니다. 해당문서는 참고용으로만 보존합니다.

=== <del>WebFTS를 이용한 Storage Element 로의 Data 전송</del> ===
* <del>[[ Webfts | WebFTS 사용법으로 가기 ]]</del>
* WebFTS는 CERN에서 서비스가 종료되어 더 이상 사용할 수 없습니다. 해당문서는 참고용으로만 보존합니다.

=== T3_KR_KNU 저장공간(Disk) 활용 분류 ===

* Storage Element (srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/...)
: 대용량 저장 공간으로 장기간 보관이 가능합니다.
- rucio를 통해 전송된 DataSet 저장
- Crab Analysis 이후의 결과파일 저장
srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/
UI에서는 ~/SE_UserHome/ 에서 확인할 수 있습니다.
: 현재 약 1.45 PB의 공간을 마련하여 운영하고 있습니다.
: 사용자의 데이터 저장으로 공간이 부족할 경우, 사전 설문을 통해 더 이상 사용하지 않는 과거 데이터의 삭제 요청을 드릴 수 있습니다.

* User Home Directory (/u/user/...)
: 기본적인 설정 사항, 사용자가 필요한 소프트웨어 등을 설치 및 보관하는 장소입니다.
: 약 20 TB 규모의 공간입니다.
: 모든 사용자가 20 TB를 나누어 사용하므로 용량이 큰 데이터의 보관은 가급적 삼가해 주시기 바랍니다.

* Scratch Disk
: UI에 총 1개의 임시 저장공간이 있습니다.
- /d0 : 약 40 TB RAID6 Disk
: Sratch 디스크는 임시 저장공간으로 중요한 데이터 및 장기 보관 데이터는 반드시 Storage Element로 이동하여 주시기 바랍니다.

How to use Tier3 at KNU

2026-07-30T07:22:35Z

Hanbi: /* ssh public key authentication */

== Pre-requisites ==

KNU Tier-3를 이용하기 위해서는 Grid 환경에 접속하기 위한 인증서를 공식 인증 사이트를 통해 획득한 후 LCG VO에 등록하고 KNU Tier-3에 사용계획서 및 유저 등록을 통해 계정을 부여받는다.

=== CERN 및 CMS User 등록 ===
[[CERN_&_CMS_User_Registration|CERN & CMS User Registration]]

=== VO(Virtual Organisation) 등록 & AUP ===

* 유효한 CMS 회원이며 CERN 컴퓨터 계정을 가지고 있다면, CERN 기본 계정에 연결된 CERN 인증서를 사용하여 CMS VO에 자동으로 등록이 됩니다.
* AUP(Grid Acceptable Usage Policy)
** 신규 사용자는 AUP에 서명해야하며 이후 매년 서명해야 합니다.
** 미리 웹브라우저에 CERN 인증서를 import 후 https://cms-auth.cern.ch/ 에 접속후 CERN SSO를 사용하여 로그인 및 AUP 서명을 진행합니다.
** 로그인후 자동으로 서명페이지가 접속되지 않는다면 https://cms-auth.cern.ch/iam/aup/sign 로 접속하세요.
* 위와 관련된 자세한 내용은 https://twiki.cern.ch/twiki/bin/view/CMSPublic/SWGuideLcgAccess#How_to_register_in_the_CMS_VO 를 참고하세요.

=== '''Getting KNU Tier-3 Account''' ===

'''1) [http://t2-cms.knu.ac.kr/registration/ KNU Account Registration 웹페이지]에서 신청서를 작성, 제출한다.'''
'''2) [http://t2-cms.knu.ac.kr/upload/Tier3_KR_KNU.hwp 사용계획서(hwp)]를 작성하여 e-mail(lcg_knu@knu.ac.kr)로 발송한다.'''
'''

''' 발급 받은 임시 비밀번호를 이용해 KNU Tier-3 UI에 접속합니다. (임시 비밀번호는 "passwd"명령을 이용하여 반드시 변경하십시오)
'''
'''$ ssh userid@kcms-t2.knu.ac.kr

''' <<Account 발급 전, 자주 하는 질문>>
'' Q : 사용계획서는 왜 적어야 하나요?
''' A : 사용계획서를 통하여 연구자들에게 필요한 전산 자원을 가늠하고 그에 따른 준비를 할 수 있습니다.
'''
'' Q : CMS에서 처음 일하게 되어 전반적인 연구 내용을 잘 모릅니다. 신청서 내용 작성에 어려움이 많습니다. 어떻게 하면 좋을까요?
''' A : CMS 신규 사용자의 경우 연구 내용을 잘 모를 수 있고, 컴퓨팅 자원에 대한 지식이 부족할 수 있습니다.
''' 사용계획서 내의 예시를 보시고 작성하실 수 있는 부분을 간략히 적으시면 됩니다.
''' 잘 모르는 부분은 빈란으로 두셔도 되지만, 가능하다면 연구실 선임께 여쭤보시는 방법도 좋습니다.
''
'' Q : 연구 계획서에서 앞으로 사용할 (CPU, Disk) 사용량을 적어 냈는데요, 반드시 이 범위 내에서만 사용해야 하나요?
''' A : 연구를 진행하시면서 연구 계획이 구체화되고 이에 따라 자원의 필요량이 증가하시면, Tier-3 연락처를 통해 미리 말씀해 주시면 필요한 자원의 할당을 준비해 드리겠습니다.
''' 대량의 연구자원을 갑작스럽게 요청하시면 자원 할당에 시간이 다소 소요될 수 있습니다.
''
'' Q : 초기에 제출한 전산자원 사용량을 초과하여 사용할 경우 불익이 있나요?
''' A : 개인 용량을 다소 초과하셔도 불익은 없습니다. 다만 추가 사용량이 큰 경우 협의를 통해 조정하시기 바랍니다.
''
'' Q : 연구의 내용이 확장되어 더 많은 자원을 필요로 합니다. 이런 경우 어떻게 해야 하나요?
''' A : 연구계획 수정 내용을 추가로 작성/제출하시면 됩니다.
''' Tier-3 에서 보유하고 있는 여유 전산자원에 따라, 필요하신 자원의 준비에 다소 시간이 소요될 수 있으니 시간적 여유를 두시고 신청해 주시면 감사하겠습니다.
'''
''' (기타 궁금하신 부분이 있으시면 언제든 연락 주시면 안내해 드리겠습니다.)

=== Certificate ===
[https://ca.cern.ch/ca/ CERN 인증서 웹사이트]에 접속하여 Certificate를 발급받는다.

Certificate가 발급되면 인증서를 개인 PC 웹브라우저에 Import 한 후,
Import된 인증서를 웹브라우저 설정 메뉴 중 Public key 관련탭에서 개인 PC로 Export할 수 있다.
(인증서를 Export할 시 확장자는 ".Pfx"로 선택하시기 바랍니다.)

Export된 인증서 파일은 cms UI(cms.knu.ac.kr)의 본인 디렉토리에 복사한 후
아래의 순서대로 인증서와 키를 만들어 .globus 디렉토리에 넣으시기 바랍니다.
$ mkdir .globus
$ openssl pkcs12 -in usercert.pfx -clcerts -nokeys -out .globus/usercert.pem
$ openssl pkcs12 -in usercert.pfx -nocerts -out .globus/userkey.pem
$ chmod 644 .globus/usercert.pem
$ chmod 400 .globus/userkey.pem

== KNU Tier-3 Login ==

=== KNU UI 현황 ===
{| style="background:#cccc99;color:#black;white:80%;" border="1" cellpadding="5" cellspacing="0"
! 대표 Hostname !! 세부 Hostname !! OS !! 접속방법 !! 비고
|- style="background:white; color:black"
! kcms-t2.knu.ac.kr
| cms.knu.ac.kr
| Alma Linux 9
| ssh,mosh,x2go,jupyterhub
| Tier3 UI, HTCondor
|- style="background:#f0f0f0; color:black"
! kcms-t2.knu.ac.kr
| cms01.knu.ac.kr
| Alma Linux 9
| ssh,mosh,x2go
| Tier3 UI, HTCondor
|- style="background:white; color:black"
! kcms-t3.knu.ac.kr
| cms02.knu.ac.kr
| Alma Linux 9
| ssh,mosh,x2go
| Tier3 UI, HTCondor
|- style="background:#f0f0f0; color:black"
! kcms-t3.knu.ac.kr
| cms03.knu.ac.kr
| Alma Linux 9
| ssh,mosh,x2go
| Tier3 UI, HTCondor
|}



=== ssh ===

==== Linux에서 ssh로 UI에 접속하기 ====
터미널을 열어서 원격로그인(SSH)으로 접속한다.
$ ssh -X username@kcms-t2.knu.ac.kr( or username@cms.knu.ac.kr, username@cms01.knu.ac.kr)
$ ssh -X username@kcms-t3.knu.ac.kr( or username@cms02.knu.ac.kr, username@cms03.knu.ac.kr)

==== Windows OS에서 ssh로 UI에 접속하기 ====
Windows OS 에서 linux 서버로 접속하려면 원격 로그인을 사용할 수 있는 특정 프로그램이 필요하다.
예) [http://www.chiark.greenend.org.uk/~sgtatham/putty/ '''Putty'''(무료)], '''SSH Secure Shell Client''' (프리웨어 또는 정식 서비스를 찾아 설치가능) - [[SSH_Secure_Shell_Client_의_경우|SSH Secure Shell Client 예시 화면]]
또한, Event display 및 ROOT을 사용하기 위해서는 다음과 같은 X 서버를 별도로 설치하여야 한다.
예) [http://sourceforge.net/projects/xming/ '''Xming'''(무료)], [http://x.cygwin.com/screenshots/ '''Cygwin/X'''(무료)], '''Hummingbird'''(유료), '''Xmanager'''(유료)

==== 패스워드 변경 ====
* 첫 로그인 후 개인 Password 및 shell 설정시 유의사항
1) 패스워드 변경시 passwd 명령을 사용.
$ passwd

[주의 : 비밀번호 변경은 더이상 yppasswd 명령을 사용하지 않습니다.]

2) 패스워드의 생성 
- 패스워드는 최소 12자리의 알파벳 대소문자, 숫자, 특수문자 의 조합으로 만들어야 합니다. 
- 패스워드의 유효기간은 1년이며 유효기간이 지나기전에 새로운 패스워드로 변경해야합니다. 
- 패스워드 유효기간 만료일이 다가오면 안내 메일이 자동으로 발송됩니다. 유효기간이 지나면 3일후 계정은 자동으로 잠깁니다. 
- 지난번에 사용한 패스워드는 다시 사용할 수 없습니다. 

==== 기본 shell 변경 ====
* 계정이 발급되었을때 처음 기본 쉘은 bash 입니다. 기본 shell의 변경은 chsh.sh 명령을 이용하여 tcsh 혹은 zsh 등의 자신이 선호하는 shell로 변경할 수 있습니다.
$ chsh.sh /bin/tcsh

[주의 : shell 변경은 더이상 chsh 명령을 사용하지 않습니다.]

==== ssh public key authentication ====

[[Ssh_Public_key_Authentication| "public key 인증방법으로 안전하고 편리하게 ssh 사용하기" 페이지로 이동]]

=== ssh 보다 편리한 mosh ===

* [[mosh|mosh 소개 및 사용법]]

=== 원격 데스크탑 접속이 필요하다면 x2go ===

* [[x2go|x2go를 이용한 원격데스크탑 가이드]]

=== JupyterHub ===

* [[JupyterHub|JupyterHub 사용법 ]]

== Computing Element, 연산 자원 사용하기 ==

=== Grid 작업을 위한 CRAB Tutorial ===

* [[crab | Crab tutorial 항목을 참고하세요. ]]

=== 배치 작업(HTCondor) 실행하기 ===
[[HTCondor|HTCondor Batch System 사용법 페이지로 바로 가기]]

=== HTCondor에서 GPU 사용하기 ===
[[HTCondorGPU|HTCondor에서 GPU 사용하기 페이지로 바로 가기]]

=== create-batch 사용하기 ===
[[Create-batch|create-batch 사용법으로 바로 가기]]

== Storage Element, 데이터 저장장치 사용하기 ==

=== Storage Element Tutorial ===

[[Storage_Element_Tutorial| Storage Element Tutorial 페이지로 가기]]

=== xrootd 를 활용한 SE Data 사용 가이드 ===

[[Xrootd| xrootd 를 활용한 SE Data 사용 가이드 페이지로 가기]]

=== dCache에서 WebDav 프로토콜 및 MACAROONS 인증 사용하기 ===

[[WebDav| dCache에서 WebDav 프로토콜 및 MACAROONS 인증 사용하기 페이지로 가기]]

=== dcap 프로토콜을 이용하여 SE 사용하기 ===

[[Dcap| dcap을 이용하여 SE 사용하기 페이지로 가기]]

=== CMS Dataset 전송을 위한 Rucio 사용법 ===

[[Rucio| Rucio 사용법 페이지로 가기]]

=== WebFTS 사용법 ===

[[Webfts| WebFTS 사용법 페이지로 가기]]

== 응용 소프트웨어 사용 ==

=== CMSSW(CMS Software) Installation ===

* CMSSW 을 설치하기 위해 먼저 설치 환경을 설정한다.
$ source /cvmfs/cms.cern.ch/cmsset_default.csh

bash shell을 사용한다면
$ source /cvmfs/cms.cern.ch/cmsset_default.sh

설치하고자 하는 버전의 CMSSW 를 확인한 후 개인 <working-directroy> 로 이동하여 설치한다. (x.y.z 는 버전을 나타낸다)

$ scramv1 list CMSSW
$ cd <working-directory>
$ scramv1 project CMSSW CMSSW_x_y_z

=== CVMFS에 이미 설치되어 있는 소프트웨어 사용하기 ===

==== CVMFS 에서 geant4 사용하기 ====

[[Cvmfs_geant4|CVMFS 에서 geant4 사용하기 페이지로 바로 가기]]

==== CVMFS 에서 root 사용하기 ====

[[Cvmfs_root|CVMFS 에서 root 사용하기 페이지로 바로 가기]]

==== CVMFS에서 원하는 버전의 gcc 사용하기 ====

[[Cvmfs_gcc|CVMFS에서 원하는 버전의 gcc 사용하기 페이지로 바로 가기]]

==== CVMFS SFT repository 사용법 ====

[[SFT|CVMFS SFT repository 사용법 페이지로 바로 가기]]

=== HPC를 위한 컨테이너 시스템 Singularity 사용법 ===

[[Singularity|Singularity 사용법 페이지로 바로 가기]]

== 기타 ==

=== 부가 서비스 ===

==== T3_KR_KNU 모니터링 - grafana ====

* https://chep17.knu.ac.kr:3003/
* T3_KR_KNU Status: HTCondor Status, Storage Status
* HTCondor Job History: 사용자의 HTCondor 작업 모니터링, CPU Efficiency, RequestMemory - JobMemoryUsage, Job Running Time 등
* Network Status: 네트워크 사용 현황
* Storage Status: 사용자 및 사용자 그룹의 스토리지 이용 현황
* UI Status : UI 시스템 현황
* Tier3 통합인증

==== GitLab ====

* https://githep.knu.ac.kr:4443/
* git 버전관리 서비스
* Tier3 통합인증

==== Mattermost ====

* https://mm.knu.ac.kr/
* 업무용 메신저 서비스
* Tier3 통합인증, 자체인증
* [[Mattermost|Mattermost 이용방법]]

=== Q & A ===

[[Q%26A|Q & A 페이지로 바로 가기]]

News & Notices

2026-07-30T07:21:14Z

Hanbi: /* News & Notices */

== News & Notices ==
* [[How_to_use_Tier3_at_KNU|How to use T3_KR_KNU 문서가 갱신 되었습니다.]] 2026.07.30
* [[HTCondor| HTCondor 사용법 문서가 갱신 되었습니다.]] 2026.07.27
* [[Rucio| Rucio 사용법 문서가 갱신되었습니다.]] 2026.06.23
* [[HTCondorQueueInfo| HTCondor에 JobType(Queue)문서가 갱신되었습니다.]] 2025.05.20
* [[JupyterHub|JupyterHub 문서가 갱신되었습니다.]] 2026.05.04
* [[Singularity|Apptainer 사용법 문서가 갱신 되었습니다.]] 2025.07.17
* [[Dcap|dcap 사용법 항목이 갱신되었습니다.]] 2025.07.16
* [[HTCondorQueueInfo| HTCondor 에 JobType(Queue)가 추가되었습니다.]] 2025.05.13
* [[HTCondor| HTCondor 사용법 문서가 갱신 되었습니다.]] 2025.05.09
* [[Singularity|Apptainer 사용법 문서가 갱신 되었습니다.]] 2025.05.09
* [[Cvmfs_root|CVMFS 에서 root 사용하기 문서가 갱신 되었습니다.]] 2025.05.09
* [[Singularity|Apptainer 사용법 문서가 갱신 되었습니다.]] 2025.04.23
* [[HTCondor| HTCondor 사용법 문서가 갱신 되었습니다.]] 2024.07.08
* [[Singularity|Apptainer 사용법 문서가 갱신 되었습니다.]] 2024.06.13
* [[Storage_Element_Tutorial#.EC.84.9C.EB.B9.84.EC.8A.A4.EB.B3.84_.EC.8A.A4.ED.86.A0.EB.A6.AC.EC.A7.80_.EC.A0.91.EA.B7.BC| 스토리지 엘리먼트의 SRMv2 gridftp gsiftp 데이터 전송 프로토콜 지원이 종료됩니다.]] 2024.05.14
* [[HTCondor| HTCondor 사용법 문서가 갱신 되었습니다.]] 2024.03.11
* [[HTCondor#.EC.B5.9C.EB.8C.80_.EC.9E.91.EC.97.85.EC.8B.9C.EA.B0.84| HTCondor의 GPU 최대 작업시간이 연장되었습니다.]] 2024.02.14
* [[HTCondor| HTCondor 사용법 문서가 갱신 되었습니다.]] 2023.09.21
* [[Storage_Element_Tutorial#.EC.84.9C.EB.B9.84.EC.8A.A4.EB.B3.84_.EC.8A.A4.ED.86.A0.EB.A6.AC.EC.A7.80_.EC.A0.91.EA.B7.BC| 이제 HTCondor에서 SE의 데이터를 바로 읽을 수 있습니다.]] 2023.06.23
* [[Bitwarden| bitwarden(패스워드 관리) 사용법 문서가 추가 되었습니다.]] 2023.03.14
* [[How_to_use_Tier3_at_KNU|How to use T3_KR_KNU 문서가 갱신 되었습니다.]] 2023.02.20
* [[Singularity|Singularity 사용법 문서가 갱신 되었습니다.]] 2022.09.15
* [[Mattermost|Mattermost 메신저 서비스를 시작합니다.]] 2022.09.05
* [[How_to_use_Tier3_at_KNU|How to use T3_KR_KNU 문서가 갱신 되었습니다.]] 2022.07.27
* 이제부터 최근 수정된 부분은 밑줄로 표시됩니다. 참고하시기 바립니다. 2022.06.08
* [[Storage_Element_Tutorial|Storage Element Tutorial이 갱신 되었습니다.]] 2022.06.08
* [[JupyterHub|JupyterHub 서비스를 시작합니다.]] 2022.03.23
* [[HTCondor_Job_Policy|이제 htcondor에서 request_memory보다 많은 메모리를 사용하는 작업은 자동으로 hold됩니다.]] 2022.02.09
* [[FreeIPA|인증시스템 전환(NIS→ FreeIPA)공지입니다.]] 2021.11.09
* [[cvmfs_geant4|CVMFS에서 geant4 사용하기 문서가 추가되었습니다.]] 2021.07.12
* [[cvmfs_root|CVMFS에서 root 사용하기 문서가 추가되었습니다.]] 2021.07.12
* [[cvmfs_gcc|CVMFS에서 원하는 버전의 gcc 사용하기 문서가 추가되었습니다.]] 2021.07.12
* [[WebDav|dCache에서 WebDav 프로토콜 및 마카롱 인증 사용하기 문서가 추가되었습니다.]] 2021.06.22
* [[Rucio|Rucio 사용법 문서가 추가되었습니다.]] 2021.06.08
* [[Uberftp|uberftp에 치명적인 버그가 있습니다. 사용에 주의하세요]] 2021.05.17
* [[HTCondorGPU|HTCondor에서 GPU 사용법 문서가 추가되었습니다.]] 2021.05.12
* [[HTCondor|HTCondor 사용법 문서가 갱신되었습니다.]] 2021.03.31
* [[mosh|mosh 가이드가 등록되었습니다.]] 2021.03.17
* [[x2go|x2go를 이용한 원격데스크탑 가이드가 등록되었습니다.]] 2021.03.11
* [[Xrootd|xrootd 를 활용한 SE Data 사용 가이드가 갱신되었습니다.]] 2021.03.05
* [[HTCondor에서 GPU 사용하기]] 2021.03.04
* [[Duc|자신의 디스크 사용량을 쉽게 확인할 수 있는 툴을 소개합니다.]] 2020.11.05
* [[CreamCE/SL6 서비스 종료]] 2020.10.15
* [[HTCondor|HTCondor 사용법 문서가 작성중입니다.]] 2020.07.30
* [[CreamCE/Torque → HTCondorCE/HTCondor 이전 안내]] 2020.07.23
* 스토리지 엘리먼트가 1.45PB로 증가하였습니다. 2020.06.26
* [[SFT|CVMFS SFT repository 사용법 문서가 갱신 되었습니다.]] 2020.03.20
* [[Scratch Disk가 교체 및 증설 안내]] 2020.02.10
* [[Notion|Notion 문서를 추가하였습니다.]] 2019.09.20
* [[Storage_Element_Tutorial|Storage Element Tutorial이 보강 되었습니다.]] 2019.08.30
* [[Storage_Element_Tutorial|Storage Element Tutorial이 보강 되었습니다.]] 2018.12.10
* [[Singularity|Singularity 사용법 문서가 추가 되었습니다.]] 2018.12.03
* [[SFT|CVMFS SFT repository 사용법 문서가 추가 되었습니다.]] 2018.11.08
* [[torque|Torque 사용법 문서가 갱신 되었습니다.]] 2018.10.15
* [[Storage_Element_Tutorial|Storage Element Tutorial이 보강 되었습니다.]] 2018.08.31
* [[Tier3BatchQueueInfo|Tier3 batch farm에 큰 메모리를 사용하는 작업 전용의 queue를 추가하였습니다.]] 2018.07.13
* [[T2_KR_KNU_Decommissioned| 경북대 Tier2 서비스는 4월 30일자로 종료되고 해당자원은 Tier3로 통합됩니다.]] 2018.04.18
* cms03이 SL6로 업그레이드되었습니다. 2018.01.16
* [[Storage_Element_Tutorial|Storage Element Tutorial이 갱신 되었습니다.]] 2017.11.22
* [[Xrootd|xrootd 를 활용한 SE Data 사용 가이드가 별도 분리되었습니다.]] 2017.11.22
* 스토리지 엘리먼트가 1.29PB로 증가하였습니다. 2017.10.12
* [[crab|Crab Tutorial을 업데이트 하였습니다.]] 2017.06.29
* [[Storage_Element_Tutorial#xrootd_.EB.A5.BC_.ED.99.9C.EC.9A.A9.ED.95.9C_SE_Data_.EC.A0.91.EA.B7.BC_.EB.B0.A9.EB.B2.95|Storage Element Tutorial에서 xrootd 관련 항목이 업데이트 되었습니다.]] 2017.06.15
* [[Webfts|WebFTS 사용법 항목이 추가되었습니다.]] 2017.04.14
* [[Dcap|dcap 사용법 항목이 갱신되었습니다.]] 2016.12.06
* 스토리지 엘리먼트가 1.2PB로 증가하였습니다. 2016.12.05
* [[Task_monitoring_for_the_analysis_users|Analysis 사용자를 위한 작업 모니터링 가이드가 추가되었습니다.]] 2016.10.19
* [[DCacheNFS|스토리지 엘리먼트의 NFS 사용 가이드가 갱신되었습니다.]] 2016.10.07
* [[Dcap|dcap 사용법 항목이 추가되었습니다.]] 2016.10.06
* 스토리지 엘리먼트가 1PB로 증가하였습니다. 2016.08.10
* [[DCacheNFS|스토리지 엘리먼트를 UI에서 NFS로 바로 읽을 수 있습니다.]] 2016.07.19
* [[Tier3BatchQueueInfo|Tier3 batch farm의 queue에 대한 세부정보를 업데이트 하였습니다.]] 2016.02.12
* [[Motd|Tier2/3 UI motd(Message of the Day)에서 스토리지 엘리먼트를 비롯한 디스크 사용량을 확인할수 있습니다.]] 2015.12.28
* [[Ssh_Public_key_Authentication|보다 안전하고 편리한 ssh 공개키 인증 사용법 항목이 추가 되었습니다.]] 2015.12.28
* [[Create-batch|create-batch 사용법 항목이 추가 되었습니다.]] 2015.12.21
* [[Storage_Element_Tutorial|Storage Element Tutorial 항목이 별도로 분리 되었습니다.]] 2015.10.29
* [[torque|Torque 사용법 항목이 별도로 분리 되었습니다.]] 2015.10.29
* [[crab|Crab Tutorial 항목이 별도로 분리 되었습니다.]] 2015.10.29
* [[Q&A|Q&A 항목이 추가 되었습니다.]] 2015.10.12
* [[uberftp | uberftp 사용법 항목이 추가되었습니다.]] 2015.10.12
* T2_KR_KNU 홈페이지가 리뉴얼 되었습니다. 2015.10.12
* [https://indico.cern.ch/event/386181/ 2015 CMS DAS (Data Analysis School) at Korea가 개최되었습니다.] 2015.08.25~29

Main Page

2026-07-30T07:21:02Z

Hanbi: /* News & Notices */

Crab

2026-07-30T07:14:07Z

Hanbi: /* 로그 찾기 */

== CRAB (CMS Remote Analysis Builder) Quick Start ==

=== 사전준비 ===
[ 주의 : bash 기준으로 작성되었습니다. 아래 예제의 스크립트 중 자신의 shell에 맞는 스크립트를 사용하시면 됩니다. (ex: tcsh 사용자는 source /cvmfs/cms.cern.ch/cmsset_default.csh 을 활용) ]

=== cmssw가 설치되지 않았다면 ===
$ set SCRAM_ARCH=slc6_amd64_gcc493 ### 아키텍쳐를 설정합니다.
or
$ export SCRAM_ARCH=slc6_amd64_gcc493

$ source /cvmfs/cms.cern.ch/cmsset_default.sh ### CMS S/W 기본 설정을 로드합니다.

$ cd ~/ ### 자신의 홈디렉토리로 이동합니다.
$ mkdir work ### 자신이 원하는 작업디렉토리를 생성합니다.
$ scramv1 list CMSSW ### 자신이 사용하고 싶은 CMSSW를 검색합니다.
$ scramv1 project CMSSW CMSSW_7_x_x ### 검색 결과 중 자신이 원하는 한 가지의 버전을 선택/설정합니다. (CMSSW_7_x_x 버전을 사용하도록 설정하는 명령어 입니다. 자동으로 해당 버전의 CMSSW 작업 폴더가 생성됩니다.)
$ cd CMSSW_7_x_x/src ### 생성한 작업 폴더로 이동합니다.
$ scram b -j3 ### 컴파일

=== cmssw가 이미 설치 되어있다면 ===
# 환경 설정
$ cd CMSSW_7_2_1/src
$ source /cvmfs/cms.cern.ch/cmsset_default.sh
$ cmsenv

=== crab3 시작 ===
$ source /cvmfs/cms.cern.ch/crab3/crab.sh
# crab 3.3.1607 부터 crab.sh는 light 구현으로 사용환경을 오염(?)시키지 않습니다. 만약 새로운 환경설정파일이 문제을 일으킨다면 다음과 같이 옛날 파일을 사용할 수 있습니다.
$ source /cvmfs/cms.cern.ch/crab3/crab_standalone.sh

$ crab submit -c crab3config.py ### 실제 작업을 생성합니다.
$ crab status ### 작업 진행 상황을 수시로 모니터링 합니다. (CMS 데시보드에서는 보다 다양한 형태로 자신의 작업 상황을 조회할 수 있습니다. http://dashboard.cern.ch/cms/)

=== 작업 설정 파일 ===

crab 설정 파일을 생성합니다.

$ vi crab3config.py
from WMCore.Configuration import Configuration
config = Configuration()
config.section_('General')
config.General.transferOutputs = True
config.section_('JobType')
config.JobType.psetName = 'myConfig.py'
config.JobType.pluginName = 'Analysis'
config.JobType.outputFiles = ['outfileName.root']
config.section_('Data')
config.Data.inputDataset = '/WplusToENu_CT10_13TeV-powheg-pythia8/Spring14miniaod-PU20bx25_POSTLS170_V5-v1/MINIAODSIM'
config.Data.unitsPerJob = 500
config.Data.splitting = 'LumiBased'
#config.Data.splitting = 'FileBased'
config.Data.publication = False
config.section_('User')
config.section_('Site')
config.Site.whitelist = ['T3_KR_KNU']
config.Site.storageSite = 'T3_KR_KNU'

실행할 작업 명세 파일을 생성합니다
$ vi myConfig.py
import FWCore.ParameterSet.Config as cms
process = cms.Process('Slurp')
process.source = cms.Source("PoolSource", fileNames = cms.untracked.vstring())
process.maxEvents = cms.untracked.PSet( input = cms.untracked.int32(10) )
process.options = cms.untracked.PSet( wantSummary = cms.untracked.bool(True) )
process.output = cms.OutputModule("PoolOutputModule",
outputCommands = cms.untracked.vstring("drop *", "keep recoTracks_*_*_*"),
fileName = cms.untracked.string('outfileName.root'),
)
process.out_step = cms.EndPath(process.output)

설정파일과 관련해서 좀더 자세한 사항을 알고 싶다면 아래 문서를 참고하세요
* [https://twiki.cern.ch/twiki/bin/view/CMSPublic/CRAB3ConfigurationFile CRAB configuration file]

=== crab 명령어 ===
==== Task submit ====
* crab submit [--config/-c <CRAB-configuration-file>]
$ crab submit -c crab3config.py
작업을 submit 합니다.

==== Task Status ====
* crab status --dir/-d <CRAB-project-directory>
$ crab status

작업의 상태를 확인합니다. 아래 Dashboard Task Monitoring 에서 사용자 작업의 상태를 좀더 구체적으로 확인할 수 있습니다.

* Task Monitoring : https://monit-grafana.cern.ch/d/cmsTMDetail/cms-task-monitoring-task-view/

==== Task resubmit ====
* crab resubmit --dir/-d <CRAB-project-directory>
$ crab resubmit -d crab_20220515_173023

작업을 다시 제출합니다.

==== Task output retrieval ====
* crab getoutput --dir/-d <CRAB-project-directory> [--jobids <comma-separated-list-of-jobs-and/or-job-ranges>]
$ crab getoutput -d crab_20220515_173023
$ crab getoutput --jobids 1,7,102
$ crab getoutput --jobids 25-115

결과 파일과 로그를 다운로드 합니다.

==== Task Kill ====
* crab kill -d <CRAB-project-directory> [--jobids <comma-separated-list-of-jobs-and/or-job-ranges>]
$ crab kill -d crab_20220515_173023
$ crab kill --jobids 1,7,102
$ crab kill --jobids 25-115

작업을 강제 중단시킵니다.

==== CRAB commands에 대한 상세정보 ====
* [https://twiki.cern.ch/twiki/bin/view/CMSPublic/CRAB3Commands CRAB commands]

=== Task monitoring for the analysis users ===
[[Task_monitoring_for_the_analysis_users|Analysis 사용자를 위한 작업 모니터링 이용가이드로 가기]]

=== 오류 발생시 대처 ===
==== 로그 찾기 ====
* [https://t2-cms.knu.ac.kr/index.php/Task_monitoring_for_the_analysis_users#로그_확인 Dashboard Task Monitor에서 본인작업의 로그 찾기]
* Dashboard Task Monitor에서는 본인의 작업이 제출된 사이트들과 작업의 로그파일의 확인을 통하여 에러코드 및 오류가 발생하는 사이트를 확인할 수 있습니다.
* 코드에 문제가 없는데도 지속적으로 오류가 발생하는 사이트가 있다면 그 사이트는 다음번 작업 제출시 blacklist에 추가하여 제외해야합니다.

==== 흔히 발생하는 오류 ====
흔히 발생하는 오류들에 대한 해결책이 정리되어 있습니다.
* [https://twiki.cern.ch/twiki/bin/view/CMSPublic/CRAB3CommonErrors CRAB3 common errors]

==== Exit Code 로 오류 원인 찾기 ====
*[https://twiki.cern.ch/twiki/bin/view/CMSPublic/SWGuideCrabFaq#Exit_code_6_with_Fatal_Root_Erro Exit code 6 with Fatal Root Error]
*[https://twiki.cern.ch/twiki/bin/view/CMSPublic/SWGuideCrabFaq#Exit_code_8001_with_MSG_w_Missin Exit code 8001 with %MSG-w Missing Dictionary]
*[https://twiki.cern.ch/twiki/bin/view/CMSPublic/SWGuideCrabFaq#Exit_code_8020 Exit code 8020]
*[https://twiki.cern.ch/twiki/bin/view/CMSPublic/SWGuideCrabFaq#Exit_code_10034 Exit code 10034]
*[https://twiki.cern.ch/twiki/bin/view/CMSPublic/SWGuideCrabFaq#Exit_code_60302 Exit code 60302]
*[https://twiki.cern.ch/twiki/bin/view/CMSPublic/SWGuideCrabFaq#Exit_code_60307 Exit code 60307]
*[https://twiki.cern.ch/twiki/bin/view/CMSPublic/SWGuideCrabFaq#Exit_code_60317 Exit code 60317]
*[https://twiki.cern.ch/twiki/bin/view/CMSPublic/SWGuideCrabFaq#Exit_code_70500 Exit code 70500]

== crab2 사용자를 위한 안내 ==
=== crab2 와 crab3의 차이점 ===
https://twiki.cern.ch/twiki/bin/view/CMSPublic/WorkBookCRAB3Tutorial#Differences_between_CRAB2_and_CR

=== crab2 설정을 crab3로 변환해주는 툴 ===
crab2cfgTOcrab3py [crab2confgiName.cfg] [crab3configName.py]

== CRAB Feedback & CMS Computing Manual ==
* CRAB 사용시 발생하는 문제점 및 해결방법은 아래 사이트를 참조
https://hypernews.cern.ch/HyperNews/CMS/get/crabFeedback.html
* CMS Computing Manual
https://twiki.cern.ch/twiki/bin/view/CMSPublic/WorkBook

== 참고 문서 ==

* [https://twiki.cern.ch/twiki/bin/view/CMSPublic/SWGuideCrab CRAB online manual and tutorial] 아래 문서 리스트는 이 문서에서 발췌하였습니다. Crab에 대한 전반적인 내용이 정리되어 있습니다.

=== 초보자를 위한 문서 ===

* [https://twiki.cern.ch/twiki/bin/view/CMSPublic/CRAB3CheatSheet Quickstart guide for CRAB3]
* [https://twiki.cern.ch/twiki/bin/view/CMSPublic/WorkBookCRAB3Tutorial CRAB tutorial (introductory)]
* [https://twiki.cern.ch/twiki/bin/view/CMSPublic/CRAB3AdvancedTutorial CRAB tutorial (advanced)]
* [https://twiki.cern.ch/twiki/bin/view/CMSPublic/CRAB3ConfigurationFile CRAB configuration file]
* [https://twiki.cern.ch/twiki/bin/view/CMSPublic/CRAB3Commands CRAB commands]
* [https://twiki.cern.ch/twiki/bin/view/CMSPublic/CRAB3UserFunctions CRAB user functions]
* [https://twiki.cern.ch/twiki/bin/view/CMSPublic/CRAB3AdvancedTopic CRAB Advanced topics]
* [https://twiki.cern.ch/twiki/bin/view/CMSPublic/CRAB3TipsAndTricks Tips and tricks about CRAB]
* [https://twiki.cern.ch/twiki/bin/view/CMSPublic/CRAB3FAQ CRAB3 frequently asked questions]
* [https://twiki.cern.ch/twiki/bin/view/CMSPublic/CRAB3CommonErrors CRAB3 common errors]

=== 숙련자를 위한 문서 ===

* [https://twiki.cern.ch/twiki/bin/view/CMSPublic/Crab3DataHandling Data handling in CRAB]
* [https://twiki.cern.ch/twiki/bin/view/CMSPublic/CRAB3TaskFlow CRAB3 task flow]
* [https://twiki.cern.ch/twiki/bin/view/CMSPublic/Crab3HtcondorStates CRAB3 job states]
* [https://twiki.cern.ch/twiki/bin/view/CMSPublic/CRABClientLibraryAPI CRAB3 client API]

Crab

2026-07-30T07:12:59Z

Hanbi: /* 로크 찾기 */

== CRAB (CMS Remote Analysis Builder) Quick Start ==

=== 사전준비 ===
[ 주의 : bash 기준으로 작성되었습니다. 아래 예제의 스크립트 중 자신의 shell에 맞는 스크립트를 사용하시면 됩니다. (ex: tcsh 사용자는 source /cvmfs/cms.cern.ch/cmsset_default.csh 을 활용) ]

=== cmssw가 설치되지 않았다면 ===
$ set SCRAM_ARCH=slc6_amd64_gcc493 ### 아키텍쳐를 설정합니다.
or
$ export SCRAM_ARCH=slc6_amd64_gcc493

$ source /cvmfs/cms.cern.ch/cmsset_default.sh ### CMS S/W 기본 설정을 로드합니다.

$ cd ~/ ### 자신의 홈디렉토리로 이동합니다.
$ mkdir work ### 자신이 원하는 작업디렉토리를 생성합니다.
$ scramv1 list CMSSW ### 자신이 사용하고 싶은 CMSSW를 검색합니다.
$ scramv1 project CMSSW CMSSW_7_x_x ### 검색 결과 중 자신이 원하는 한 가지의 버전을 선택/설정합니다. (CMSSW_7_x_x 버전을 사용하도록 설정하는 명령어 입니다. 자동으로 해당 버전의 CMSSW 작업 폴더가 생성됩니다.)
$ cd CMSSW_7_x_x/src ### 생성한 작업 폴더로 이동합니다.
$ scram b -j3 ### 컴파일

=== cmssw가 이미 설치 되어있다면 ===
# 환경 설정
$ cd CMSSW_7_2_1/src
$ source /cvmfs/cms.cern.ch/cmsset_default.sh
$ cmsenv

=== crab3 시작 ===
$ source /cvmfs/cms.cern.ch/crab3/crab.sh
# crab 3.3.1607 부터 crab.sh는 light 구현으로 사용환경을 오염(?)시키지 않습니다. 만약 새로운 환경설정파일이 문제을 일으킨다면 다음과 같이 옛날 파일을 사용할 수 있습니다.
$ source /cvmfs/cms.cern.ch/crab3/crab_standalone.sh

$ crab submit -c crab3config.py ### 실제 작업을 생성합니다.
$ crab status ### 작업 진행 상황을 수시로 모니터링 합니다. (CMS 데시보드에서는 보다 다양한 형태로 자신의 작업 상황을 조회할 수 있습니다. http://dashboard.cern.ch/cms/)

=== 작업 설정 파일 ===

crab 설정 파일을 생성합니다.

$ vi crab3config.py
from WMCore.Configuration import Configuration
config = Configuration()
config.section_('General')
config.General.transferOutputs = True
config.section_('JobType')
config.JobType.psetName = 'myConfig.py'
config.JobType.pluginName = 'Analysis'
config.JobType.outputFiles = ['outfileName.root']
config.section_('Data')
config.Data.inputDataset = '/WplusToENu_CT10_13TeV-powheg-pythia8/Spring14miniaod-PU20bx25_POSTLS170_V5-v1/MINIAODSIM'
config.Data.unitsPerJob = 500
config.Data.splitting = 'LumiBased'
#config.Data.splitting = 'FileBased'
config.Data.publication = False
config.section_('User')
config.section_('Site')
config.Site.whitelist = ['T3_KR_KNU']
config.Site.storageSite = 'T3_KR_KNU'

실행할 작업 명세 파일을 생성합니다
$ vi myConfig.py
import FWCore.ParameterSet.Config as cms
process = cms.Process('Slurp')
process.source = cms.Source("PoolSource", fileNames = cms.untracked.vstring())
process.maxEvents = cms.untracked.PSet( input = cms.untracked.int32(10) )
process.options = cms.untracked.PSet( wantSummary = cms.untracked.bool(True) )
process.output = cms.OutputModule("PoolOutputModule",
outputCommands = cms.untracked.vstring("drop *", "keep recoTracks_*_*_*"),
fileName = cms.untracked.string('outfileName.root'),
)
process.out_step = cms.EndPath(process.output)

설정파일과 관련해서 좀더 자세한 사항을 알고 싶다면 아래 문서를 참고하세요
* [https://twiki.cern.ch/twiki/bin/view/CMSPublic/CRAB3ConfigurationFile CRAB configuration file]

=== crab 명령어 ===
==== Task submit ====
* crab submit [--config/-c <CRAB-configuration-file>]
$ crab submit -c crab3config.py
작업을 submit 합니다.

==== Task Status ====
* crab status --dir/-d <CRAB-project-directory>
$ crab status

작업의 상태를 확인합니다. 아래 Dashboard Task Monitoring 에서 사용자 작업의 상태를 좀더 구체적으로 확인할 수 있습니다.

* Task Monitoring : https://monit-grafana.cern.ch/d/cmsTMDetail/cms-task-monitoring-task-view/

==== Task resubmit ====
* crab resubmit --dir/-d <CRAB-project-directory>
$ crab resubmit -d crab_20220515_173023

작업을 다시 제출합니다.

==== Task output retrieval ====
* crab getoutput --dir/-d <CRAB-project-directory> [--jobids <comma-separated-list-of-jobs-and/or-job-ranges>]
$ crab getoutput -d crab_20220515_173023
$ crab getoutput --jobids 1,7,102
$ crab getoutput --jobids 25-115

결과 파일과 로그를 다운로드 합니다.

==== Task Kill ====
* crab kill -d <CRAB-project-directory> [--jobids <comma-separated-list-of-jobs-and/or-job-ranges>]
$ crab kill -d crab_20220515_173023
$ crab kill --jobids 1,7,102
$ crab kill --jobids 25-115

작업을 강제 중단시킵니다.

==== CRAB commands에 대한 상세정보 ====
* [https://twiki.cern.ch/twiki/bin/view/CMSPublic/CRAB3Commands CRAB commands]

=== Task monitoring for the analysis users ===
[[Task_monitoring_for_the_analysis_users|Analysis 사용자를 위한 작업 모니터링 이용가이드로 가기]]

=== 오류 발생시 대처 ===
==== 로그 찾기 ====
* [https://t2-cms.knu.ac.kr/wiki/index.php/Task_monitoring_for_the_analysis_users#.EB.A1.9C.EA.B7.B8_.ED.99.95.EC.9D.B8 Dashboard Task Monitor에서 본인작업의 로그 찾기]
* Dashboard Task Monitor에서는 본인의 작업이 제출된 사이트들과 작업의 로그파일의 확인을 통하여 에러코드 및 오류가 발생하는 사이트를 확인할 수 있습니다.
* 코드에 문제가 없는데도 지속적으로 오류가 발생하는 사이트가 있다면 그 사이트는 다음번 작업 제출시 blacklist에 추가하여 제외해야합니다.

==== 흔히 발생하는 오류 ====
흔히 발생하는 오류들에 대한 해결책이 정리되어 있습니다.
* [https://twiki.cern.ch/twiki/bin/view/CMSPublic/CRAB3CommonErrors CRAB3 common errors]

==== Exit Code 로 오류 원인 찾기 ====
*[https://twiki.cern.ch/twiki/bin/view/CMSPublic/SWGuideCrabFaq#Exit_code_6_with_Fatal_Root_Erro Exit code 6 with Fatal Root Error]
*[https://twiki.cern.ch/twiki/bin/view/CMSPublic/SWGuideCrabFaq#Exit_code_8001_with_MSG_w_Missin Exit code 8001 with %MSG-w Missing Dictionary]
*[https://twiki.cern.ch/twiki/bin/view/CMSPublic/SWGuideCrabFaq#Exit_code_8020 Exit code 8020]
*[https://twiki.cern.ch/twiki/bin/view/CMSPublic/SWGuideCrabFaq#Exit_code_10034 Exit code 10034]
*[https://twiki.cern.ch/twiki/bin/view/CMSPublic/SWGuideCrabFaq#Exit_code_60302 Exit code 60302]
*[https://twiki.cern.ch/twiki/bin/view/CMSPublic/SWGuideCrabFaq#Exit_code_60307 Exit code 60307]
*[https://twiki.cern.ch/twiki/bin/view/CMSPublic/SWGuideCrabFaq#Exit_code_60317 Exit code 60317]
*[https://twiki.cern.ch/twiki/bin/view/CMSPublic/SWGuideCrabFaq#Exit_code_70500 Exit code 70500]

== crab2 사용자를 위한 안내 ==
=== crab2 와 crab3의 차이점 ===
https://twiki.cern.ch/twiki/bin/view/CMSPublic/WorkBookCRAB3Tutorial#Differences_between_CRAB2_and_CR

=== crab2 설정을 crab3로 변환해주는 툴 ===
crab2cfgTOcrab3py [crab2confgiName.cfg] [crab3configName.py]

== CRAB Feedback & CMS Computing Manual ==
* CRAB 사용시 발생하는 문제점 및 해결방법은 아래 사이트를 참조
https://hypernews.cern.ch/HyperNews/CMS/get/crabFeedback.html
* CMS Computing Manual
https://twiki.cern.ch/twiki/bin/view/CMSPublic/WorkBook

== 참고 문서 ==

* [https://twiki.cern.ch/twiki/bin/view/CMSPublic/SWGuideCrab CRAB online manual and tutorial] 아래 문서 리스트는 이 문서에서 발췌하였습니다. Crab에 대한 전반적인 내용이 정리되어 있습니다.

=== 초보자를 위한 문서 ===

* [https://twiki.cern.ch/twiki/bin/view/CMSPublic/CRAB3CheatSheet Quickstart guide for CRAB3]
* [https://twiki.cern.ch/twiki/bin/view/CMSPublic/WorkBookCRAB3Tutorial CRAB tutorial (introductory)]
* [https://twiki.cern.ch/twiki/bin/view/CMSPublic/CRAB3AdvancedTutorial CRAB tutorial (advanced)]
* [https://twiki.cern.ch/twiki/bin/view/CMSPublic/CRAB3ConfigurationFile CRAB configuration file]
* [https://twiki.cern.ch/twiki/bin/view/CMSPublic/CRAB3Commands CRAB commands]
* [https://twiki.cern.ch/twiki/bin/view/CMSPublic/CRAB3UserFunctions CRAB user functions]
* [https://twiki.cern.ch/twiki/bin/view/CMSPublic/CRAB3AdvancedTopic CRAB Advanced topics]
* [https://twiki.cern.ch/twiki/bin/view/CMSPublic/CRAB3TipsAndTricks Tips and tricks about CRAB]
* [https://twiki.cern.ch/twiki/bin/view/CMSPublic/CRAB3FAQ CRAB3 frequently asked questions]
* [https://twiki.cern.ch/twiki/bin/view/CMSPublic/CRAB3CommonErrors CRAB3 common errors]

=== 숙련자를 위한 문서 ===

* [https://twiki.cern.ch/twiki/bin/view/CMSPublic/Crab3DataHandling Data handling in CRAB]
* [https://twiki.cern.ch/twiki/bin/view/CMSPublic/CRAB3TaskFlow CRAB3 task flow]
* [https://twiki.cern.ch/twiki/bin/view/CMSPublic/Crab3HtcondorStates CRAB3 job states]
* [https://twiki.cern.ch/twiki/bin/view/CMSPublic/CRABClientLibraryAPI CRAB3 client API]

Xrootd

2026-07-30T07:12:00Z

Hanbi: /* XROOTD_VMP (xrootd virtual mount point) 사용하기 <- 추천 */

== xrootd 를 활용한 SE Data 사용 가이드 ==

=== voms proxy 생성 ===
* xrootd 프로토콜을 이용하여 SE에 접근하기 위해서는 반드시 Grid 인증을 사용해야합니다.

$ voms-proxy-init --voms cms

=== xrdcp client 사용하기 ===
$ xrdcp root://cluster142.knu.ac.kr//store/user/(username)/test.file /some/local/path/test.file
(참조 : http://xrootd.org/doc/prod/Syntax_config.htm)

$ xrdcp /some/local/path/test.file root://cluster142.knu.ac.kr//store/user/(username)/test.file

=== libXrdPosixPreload library 사용하기 ===
$ export LD_PRELOAD=/usr/lib64/libXrdPosixPreload.so
$ echo "This is a new test" >./test

$ mkdir xroot://cluster142.knu.ac.kr:1094//store/user/(username)/testdir
$ cp ./test xroot://cluster142.knu.ac.kr:1094//store/user/(username)/testdir/test

$ cp xroot://cluster142.knu.ac.kr:1094//store/user/(username)/testdir/test ./test1
$ diff ./test1 ./test

$ rm xroot://cluster142.knu.ac.kr:1094//store/user/(username)/testdir/test
$ rmdir xroot://cluster142.knu.ac.kr:1094//store/user/(username)/testdir

=== XROOTD_VMP (xrootd virtual mount point) 사용하기 <- 추천 ===

$ voms-proxy-init --voms cms # grid proxy 생성
$ export LD_PRELOAD=/usr/lib64/libXrdPosixPreload.so
$ export XROOTD_VMP=cluster142.knu.ac.kr:/xrootd=/store # 가상의 마운트 포인트 /xrootd에 root://cluster142.knu.ac.kr/store 로 설정
$ ls /xrootd/user/test # 가상의 mount point /xrootd

$ ls /xrootd
ReVal backfill data express generator group hidata himc hirelval lumi mc relval results temp test unmerged user

$ ls /xrootd/user/test
CE4D66EB-5AAE-E111-96D6-003048D37524.root test.transfer.20181004101241 test.transfer.20190503114034 test.transfer.20200818153523
OrthDatasetHistos_7.root test.transfer.20190116161947 test.transfer.20190503114035 test.transfer.20200818154436
test test.transfer.20190116174233 test.transfer.20190619153215 test.transfer.20200819171901
test.root test.transfer.20190117150051 test.transfer.20190619153842 test2
test.transfer test.transfer.20190128143636 test.transfer.20190919 testdir
test.transfer.20180907142043 test.transfer.20190429141454 test.transfer.20191024200821
test.transfer.20180907142048 test.transfer.20190503114027 test.transfer.20191202153201

* 실재로 마운트된 상태가 아니기 때문에 다음과 같은 명령어는 동작하지 않습니다.

$ cd /xrootd/user/test
-bash: cd: /xrootd/user/test: 그런 파일이나 디렉터리가 없습니다

$ echo "AAA" > /xrootd/user/test/aaa.txt
-bash: /xrootd/user/test/aaa.txt: 그런 파일이나 디렉터리가 없습니다

=== xrdfs 사용하기 ===
$ echo “This is a new test” >./test
$ cat ./test
“This is a new test”
$ xrdcp ./test xroot://cluster142.knu.ac.kr:1094//store/user/(username)/test
$ xrdfs cluster142 ls /store/user/(username)
...
/store/user/(username)/test
...
$ xrdfs cluster142.knu.ac.kr cat /store/user/(username)/test
“This is a test”

$ xrdfs cluster142.knu.ac.kr
[cluster142.knu.ac.kr:1094] / > cd store/user/(username)
[cluster142.knu.ac.kr:1094] /store/user/(username) > ls
...
/store/user/(username)/test
...
[cluster142.knu.ac.kr:1094] /store/user/(username) > ls test
[ERROR] Server responded with an error: [3012] Error when processing list response: Not a directory: /pnfs/knu.ac.kr/data/cms/store/user/(username)/test

[cluster142.knu.ac.kr:1094] /store/user/(username) > cat test
“This is a test”

[cluster142.knu.ac.kr:1094] /store/user/(username) > mkdir testdir
[cluster142.knu.ac.kr:1094] /store/user/(username) > ls
...
/store/user/(username)/test
/store/user/(username)/testdir
...

[cluster142.knu.ac.kr:1094] /store/user/(username) > mv test testdir
[ERROR] Server responded with an error: [3005] Will not overwrite existing file (File exists:/pnfs/knu.ac.kr/data/cms/store/user/(username)/testdir).

[cluster142.knu.ac.kr:1094] /store/user/(username) > mv test testdir/test
[cluster142.knu.ac.kr:1094] /store/user/(username) > cd testdir
[cluster142.knu.ac.kr:1094] /store/user/(username)/testdir > ls
/store/user/(username)/testdir/test

[cluster142.knu.ac.kr:1094] /store/user/(username)/testdir > rm test
[cluster142.knu.ac.kr:1094] /store/user/(username)/testdir > cd ..
[cluster142.knu.ac.kr:1094] /store/user/(username) > rmdir testdir
[cluster142.knu.ac.kr:1094] / > quit
Goodbye.

$ xrdfs --help
Usage:
xrdfs [--no-cwd] host[:port] - interactive mode
xrdfs host[:port] command args - batch mode

Available options:

--no-cwd no CWD is being preset

Available commands:

exit
Exits from the program.

tpc - support for third party copies
wan_port - the port to use for wan copies
wan_window - the wan_port window size
window - the tcp window size
cms - the status of the cmsd
role - the role in a cluster
sitename - the site name
version - the version of the server
checksumcancel <path> File checksum cancellation
checksum <path> File checksum
opaque <arg> Implementation dependent
opaquefile <arg> Implementation dependent
space <space> Logical space stats
stats <what> Server stats; <what> is a list
of letters indicating information
to be returned:
a - all statistics
p - protocol statistics
b - buffer usage statistics
s - scheduling statistics
d - device polling statistics
u - usage statistics
i - server identification
z - synchronized statistics
l - connection statistics
xattr <path> Extended attributes

rm <filename>
Remove a file.

rmdir <dirname>
Remove a directory.

truncate <filename> <length>
Truncate a file.

prepare [-c] [-f] [-s] [-w] [-p priority] filenames
Prepare one or more files for access.
-c co-locate staged files if possible
-f refresh file access time even if the location is known
-s stage the files to disk if they are not online
-w the files will be accessed for modification
-p priority of the request, 0 (lowest) - 3 (highest)

cat [-o local file] file
Print contents of a file to stdout.
-o print to the specified local file

tail [-c bytes] [-f] file
Output last part of files to stdout.
-c num_bytes out last num_bytes
-f output appended data as file grows

spaceinfo path
Get space statistics for given path.

Xrootd

2026-07-30T07:11:11Z

Hanbi: /* XROOTD_VMP (xrootd virtual mount point) 사용하기 <- 추천 */

== xrootd 를 활용한 SE Data 사용 가이드 ==

=== voms proxy 생성 ===
* xrootd 프로토콜을 이용하여 SE에 접근하기 위해서는 반드시 Grid 인증을 사용해야합니다.

$ voms-proxy-init --voms cms

=== xrdcp client 사용하기 ===
$ xrdcp root://cluster142.knu.ac.kr//store/user/(username)/test.file /some/local/path/test.file
(참조 : http://xrootd.org/doc/prod/Syntax_config.htm)

$ xrdcp /some/local/path/test.file root://cluster142.knu.ac.kr//store/user/(username)/test.file

=== libXrdPosixPreload library 사용하기 ===
$ export LD_PRELOAD=/usr/lib64/libXrdPosixPreload.so
$ echo "This is a new test" >./test

$ mkdir xroot://cluster142.knu.ac.kr:1094//store/user/(username)/testdir
$ cp ./test xroot://cluster142.knu.ac.kr:1094//store/user/(username)/testdir/test

$ cp xroot://cluster142.knu.ac.kr:1094//store/user/(username)/testdir/test ./test1
$ diff ./test1 ./test

$ rm xroot://cluster142.knu.ac.kr:1094//store/user/(username)/testdir/test
$ rmdir xroot://cluster142.knu.ac.kr:1094//store/user/(username)/testdir

=== XROOTD_VMP (xrootd virtual mount point) 사용하기 <- 추천 ===

$ voms-proxy-init --voms cms # grid proxy 생성
$ export LD_PRELOAD=/usr/lib64/libXrdPosixPreload.so
$ export XROOTD_VMP=cluster142.knu.ac.kr:/xrootd=/store # 가상의 마운트 포인트 /xroot에 root://cluster142.knu.ac.kr/store 로 설정
$ ls /xrootd/user/test # 가상의 mount point /xrootd

$ ls /xrootd
ReVal backfill data express generator group hidata himc hirelval lumi mc relval results temp test unmerged user

$ ls /xrootd/user/test
CE4D66EB-5AAE-E111-96D6-003048D37524.root test.transfer.20181004101241 test.transfer.20190503114034 test.transfer.20200818153523
OrthDatasetHistos_7.root test.transfer.20190116161947 test.transfer.20190503114035 test.transfer.20200818154436
test test.transfer.20190116174233 test.transfer.20190619153215 test.transfer.20200819171901
test.root test.transfer.20190117150051 test.transfer.20190619153842 test2
test.transfer test.transfer.20190128143636 test.transfer.20190919 testdir
test.transfer.20180907142043 test.transfer.20190429141454 test.transfer.20191024200821
test.transfer.20180907142048 test.transfer.20190503114027 test.transfer.20191202153201

* 실재로 마운트된 상태가 아니기 때문에 다음과 같은 명령어는 동작하지 않습니다.

$ cd /xrootd/user/test
-bash: cd: /xrootd/user/test: 그런 파일이나 디렉터리가 없습니다

$ echo "AAA" > /xrootd/user/test/aaa.txt
-bash: /xrootd/user/test/aaa.txt: 그런 파일이나 디렉터리가 없습니다

=== xrdfs 사용하기 ===
$ echo “This is a new test” >./test
$ cat ./test
“This is a new test”
$ xrdcp ./test xroot://cluster142.knu.ac.kr:1094//store/user/(username)/test
$ xrdfs cluster142 ls /store/user/(username)
...
/store/user/(username)/test
...
$ xrdfs cluster142.knu.ac.kr cat /store/user/(username)/test
“This is a test”

$ xrdfs cluster142.knu.ac.kr
[cluster142.knu.ac.kr:1094] / > cd store/user/(username)
[cluster142.knu.ac.kr:1094] /store/user/(username) > ls
...
/store/user/(username)/test
...
[cluster142.knu.ac.kr:1094] /store/user/(username) > ls test
[ERROR] Server responded with an error: [3012] Error when processing list response: Not a directory: /pnfs/knu.ac.kr/data/cms/store/user/(username)/test

[cluster142.knu.ac.kr:1094] /store/user/(username) > cat test
“This is a test”

[cluster142.knu.ac.kr:1094] /store/user/(username) > mkdir testdir
[cluster142.knu.ac.kr:1094] /store/user/(username) > ls
...
/store/user/(username)/test
/store/user/(username)/testdir
...

[cluster142.knu.ac.kr:1094] /store/user/(username) > mv test testdir
[ERROR] Server responded with an error: [3005] Will not overwrite existing file (File exists:/pnfs/knu.ac.kr/data/cms/store/user/(username)/testdir).

[cluster142.knu.ac.kr:1094] /store/user/(username) > mv test testdir/test
[cluster142.knu.ac.kr:1094] /store/user/(username) > cd testdir
[cluster142.knu.ac.kr:1094] /store/user/(username)/testdir > ls
/store/user/(username)/testdir/test

[cluster142.knu.ac.kr:1094] /store/user/(username)/testdir > rm test
[cluster142.knu.ac.kr:1094] /store/user/(username)/testdir > cd ..
[cluster142.knu.ac.kr:1094] /store/user/(username) > rmdir testdir
[cluster142.knu.ac.kr:1094] / > quit
Goodbye.

$ xrdfs --help
Usage:
xrdfs [--no-cwd] host[:port] - interactive mode
xrdfs host[:port] command args - batch mode

Available options:

--no-cwd no CWD is being preset

Available commands:

exit
Exits from the program.

tpc - support for third party copies
wan_port - the port to use for wan copies
wan_window - the wan_port window size
window - the tcp window size
cms - the status of the cmsd
role - the role in a cluster
sitename - the site name
version - the version of the server
checksumcancel <path> File checksum cancellation
checksum <path> File checksum
opaque <arg> Implementation dependent
opaquefile <arg> Implementation dependent
space <space> Logical space stats
stats <what> Server stats; <what> is a list
of letters indicating information
to be returned:
a - all statistics
p - protocol statistics
b - buffer usage statistics
s - scheduling statistics
d - device polling statistics
u - usage statistics
i - server identification
z - synchronized statistics
l - connection statistics
xattr <path> Extended attributes

rm <filename>
Remove a file.

rmdir <dirname>
Remove a directory.

truncate <filename> <length>
Truncate a file.

prepare [-c] [-f] [-s] [-w] [-p priority] filenames
Prepare one or more files for access.
-c co-locate staged files if possible
-f refresh file access time even if the location is known
-s stage the files to disk if they are not online
-w the files will be accessed for modification
-p priority of the request, 0 (lowest) - 3 (highest)

cat [-o local file] file
Print contents of a file to stdout.
-o print to the specified local file

tail [-c bytes] [-f] file
Output last part of files to stdout.
-c num_bytes out last num_bytes
-f output appended data as file grows

spaceinfo path
Get space statistics for given path.

Xrootd

2026-07-30T07:10:17Z

Hanbi: /* libXrdPosixPreload library 사용하기 */

== xrootd 를 활용한 SE Data 사용 가이드 ==

=== voms proxy 생성 ===
* xrootd 프로토콜을 이용하여 SE에 접근하기 위해서는 반드시 Grid 인증을 사용해야합니다.

$ voms-proxy-init --voms cms

=== xrdcp client 사용하기 ===
$ xrdcp root://cluster142.knu.ac.kr//store/user/(username)/test.file /some/local/path/test.file
(참조 : http://xrootd.org/doc/prod/Syntax_config.htm)

$ xrdcp /some/local/path/test.file root://cluster142.knu.ac.kr//store/user/(username)/test.file

=== libXrdPosixPreload library 사용하기 ===
$ export LD_PRELOAD=/usr/lib64/libXrdPosixPreload.so
$ echo "This is a new test" >./test

$ mkdir xroot://cluster142.knu.ac.kr:1094//store/user/(username)/testdir
$ cp ./test xroot://cluster142.knu.ac.kr:1094//store/user/(username)/testdir/test

$ cp xroot://cluster142.knu.ac.kr:1094//store/user/(username)/testdir/test ./test1
$ diff ./test1 ./test

$ rm xroot://cluster142.knu.ac.kr:1094//store/user/(username)/testdir/test
$ rmdir xroot://cluster142.knu.ac.kr:1094//store/user/(username)/testdir

=== XROOTD_VMP (xrootd virtual mount point) 사용하기 <- 추천 ===

$ voms-proxy-init --voms cms # grid proxy 생성
$ export LD_PRELOAD=/usr/lib64/libXrdPosixPreload.so
$ export XROOTD_VMP=cluster142.knu.ac.kr:/xrootd=/store # 가상의 마운트 포인트 /xroot에 root://cluster142.knu.knu.ar/store 로 설정
$ ls /xrootd/user/test # 가상의 mount point /xrootd

$ ls /xrootd
ReVal backfill data express generator group hidata himc hirelval lumi mc relval results temp test unmerged user

$ ls /xrootd/user/test
CE4D66EB-5AAE-E111-96D6-003048D37524.root test.transfer.20181004101241 test.transfer.20190503114034 test.transfer.20200818153523
OrthDatasetHistos_7.root test.transfer.20190116161947 test.transfer.20190503114035 test.transfer.20200818154436
test test.transfer.20190116174233 test.transfer.20190619153215 test.transfer.20200819171901
test.root test.transfer.20190117150051 test.transfer.20190619153842 test2
test.transfer test.transfer.20190128143636 test.transfer.20190919 testdir
test.transfer.20180907142043 test.transfer.20190429141454 test.transfer.20191024200821
test.transfer.20180907142048 test.transfer.20190503114027 test.transfer.20191202153201

* 실재로 마운트된 상태가 아니기 때문에 다음과 같은 명령어는 동작하지 않습니다.

$ cd /xrootd/user/test
-bash: cd: /xrootd/user/test: 그런 파일이나 디렉터리가 없습니다

$ echo "AAA" > /xrootd/user/test/aaa.txt
-bash: /xrootd/user/test/aaa.txt: 그런 파일이나 디렉터리가 없습니다

=== xrdfs 사용하기 ===
$ echo “This is a new test” >./test
$ cat ./test
“This is a new test”
$ xrdcp ./test xroot://cluster142.knu.ac.kr:1094//store/user/(username)/test
$ xrdfs cluster142 ls /store/user/(username)
...
/store/user/(username)/test
...
$ xrdfs cluster142.knu.ac.kr cat /store/user/(username)/test
“This is a test”

$ xrdfs cluster142.knu.ac.kr
[cluster142.knu.ac.kr:1094] / > cd store/user/(username)
[cluster142.knu.ac.kr:1094] /store/user/(username) > ls
...
/store/user/(username)/test
...
[cluster142.knu.ac.kr:1094] /store/user/(username) > ls test
[ERROR] Server responded with an error: [3012] Error when processing list response: Not a directory: /pnfs/knu.ac.kr/data/cms/store/user/(username)/test

[cluster142.knu.ac.kr:1094] /store/user/(username) > cat test
“This is a test”

[cluster142.knu.ac.kr:1094] /store/user/(username) > mkdir testdir
[cluster142.knu.ac.kr:1094] /store/user/(username) > ls
...
/store/user/(username)/test
/store/user/(username)/testdir
...

[cluster142.knu.ac.kr:1094] /store/user/(username) > mv test testdir
[ERROR] Server responded with an error: [3005] Will not overwrite existing file (File exists:/pnfs/knu.ac.kr/data/cms/store/user/(username)/testdir).

[cluster142.knu.ac.kr:1094] /store/user/(username) > mv test testdir/test
[cluster142.knu.ac.kr:1094] /store/user/(username) > cd testdir
[cluster142.knu.ac.kr:1094] /store/user/(username)/testdir > ls
/store/user/(username)/testdir/test

[cluster142.knu.ac.kr:1094] /store/user/(username)/testdir > rm test
[cluster142.knu.ac.kr:1094] /store/user/(username)/testdir > cd ..
[cluster142.knu.ac.kr:1094] /store/user/(username) > rmdir testdir
[cluster142.knu.ac.kr:1094] / > quit
Goodbye.

$ xrdfs --help
Usage:
xrdfs [--no-cwd] host[:port] - interactive mode
xrdfs host[:port] command args - batch mode

Available options:

--no-cwd no CWD is being preset

Available commands:

exit
Exits from the program.

tpc - support for third party copies
wan_port - the port to use for wan copies
wan_window - the wan_port window size
window - the tcp window size
cms - the status of the cmsd
role - the role in a cluster
sitename - the site name
version - the version of the server
checksumcancel <path> File checksum cancellation
checksum <path> File checksum
opaque <arg> Implementation dependent
opaquefile <arg> Implementation dependent
space <space> Logical space stats
stats <what> Server stats; <what> is a list
of letters indicating information
to be returned:
a - all statistics
p - protocol statistics
b - buffer usage statistics
s - scheduling statistics
d - device polling statistics
u - usage statistics
i - server identification
z - synchronized statistics
l - connection statistics
xattr <path> Extended attributes

rm <filename>
Remove a file.

rmdir <dirname>
Remove a directory.

truncate <filename> <length>
Truncate a file.

prepare [-c] [-f] [-s] [-w] [-p priority] filenames
Prepare one or more files for access.
-c co-locate staged files if possible
-f refresh file access time even if the location is known
-s stage the files to disk if they are not online
-w the files will be accessed for modification
-p priority of the request, 0 (lowest) - 3 (highest)

cat [-o local file] file
Print contents of a file to stdout.
-o print to the specified local file

tail [-c bytes] [-f] file
Output last part of files to stdout.
-c num_bytes out last num_bytes
-f output appended data as file grows

spaceinfo path
Get space statistics for given path.

Crab

2026-07-30T07:08:28Z

Hanbi: /* Task Status */

== CRAB (CMS Remote Analysis Builder) Quick Start ==

=== 사전준비 ===
[ 주의 : bash 기준으로 작성되었습니다. 아래 예제의 스크립트 중 자신의 shell에 맞는 스크립트를 사용하시면 됩니다. (ex: tcsh 사용자는 source /cvmfs/cms.cern.ch/cmsset_default.csh 을 활용) ]

=== cmssw가 설치되지 않았다면 ===
$ set SCRAM_ARCH=slc6_amd64_gcc493 ### 아키텍쳐를 설정합니다.
or
$ export SCRAM_ARCH=slc6_amd64_gcc493

$ source /cvmfs/cms.cern.ch/cmsset_default.sh ### CMS S/W 기본 설정을 로드합니다.

$ cd ~/ ### 자신의 홈디렉토리로 이동합니다.
$ mkdir work ### 자신이 원하는 작업디렉토리를 생성합니다.
$ scramv1 list CMSSW ### 자신이 사용하고 싶은 CMSSW를 검색합니다.
$ scramv1 project CMSSW CMSSW_7_x_x ### 검색 결과 중 자신이 원하는 한 가지의 버전을 선택/설정합니다. (CMSSW_7_x_x 버전을 사용하도록 설정하는 명령어 입니다. 자동으로 해당 버전의 CMSSW 작업 폴더가 생성됩니다.)
$ cd CMSSW_7_x_x/src ### 생성한 작업 폴더로 이동합니다.
$ scram b -j3 ### 컴파일

=== cmssw가 이미 설치 되어있다면 ===
# 환경 설정
$ cd CMSSW_7_2_1/src
$ source /cvmfs/cms.cern.ch/cmsset_default.sh
$ cmsenv

=== crab3 시작 ===
$ source /cvmfs/cms.cern.ch/crab3/crab.sh
# crab 3.3.1607 부터 crab.sh는 light 구현으로 사용환경을 오염(?)시키지 않습니다. 만약 새로운 환경설정파일이 문제을 일으킨다면 다음과 같이 옛날 파일을 사용할 수 있습니다.
$ source /cvmfs/cms.cern.ch/crab3/crab_standalone.sh

$ crab submit -c crab3config.py ### 실제 작업을 생성합니다.
$ crab status ### 작업 진행 상황을 수시로 모니터링 합니다. (CMS 데시보드에서는 보다 다양한 형태로 자신의 작업 상황을 조회할 수 있습니다. http://dashboard.cern.ch/cms/)

=== 작업 설정 파일 ===

crab 설정 파일을 생성합니다.

$ vi crab3config.py
from WMCore.Configuration import Configuration
config = Configuration()
config.section_('General')
config.General.transferOutputs = True
config.section_('JobType')
config.JobType.psetName = 'myConfig.py'
config.JobType.pluginName = 'Analysis'
config.JobType.outputFiles = ['outfileName.root']
config.section_('Data')
config.Data.inputDataset = '/WplusToENu_CT10_13TeV-powheg-pythia8/Spring14miniaod-PU20bx25_POSTLS170_V5-v1/MINIAODSIM'
config.Data.unitsPerJob = 500
config.Data.splitting = 'LumiBased'
#config.Data.splitting = 'FileBased'
config.Data.publication = False
config.section_('User')
config.section_('Site')
config.Site.whitelist = ['T3_KR_KNU']
config.Site.storageSite = 'T3_KR_KNU'

실행할 작업 명세 파일을 생성합니다
$ vi myConfig.py
import FWCore.ParameterSet.Config as cms
process = cms.Process('Slurp')
process.source = cms.Source("PoolSource", fileNames = cms.untracked.vstring())
process.maxEvents = cms.untracked.PSet( input = cms.untracked.int32(10) )
process.options = cms.untracked.PSet( wantSummary = cms.untracked.bool(True) )
process.output = cms.OutputModule("PoolOutputModule",
outputCommands = cms.untracked.vstring("drop *", "keep recoTracks_*_*_*"),
fileName = cms.untracked.string('outfileName.root'),
)
process.out_step = cms.EndPath(process.output)

설정파일과 관련해서 좀더 자세한 사항을 알고 싶다면 아래 문서를 참고하세요
* [https://twiki.cern.ch/twiki/bin/view/CMSPublic/CRAB3ConfigurationFile CRAB configuration file]

=== crab 명령어 ===
==== Task submit ====
* crab submit [--config/-c <CRAB-configuration-file>]
$ crab submit -c crab3config.py
작업을 submit 합니다.

==== Task Status ====
* crab status --dir/-d <CRAB-project-directory>
$ crab status

작업의 상태를 확인합니다. 아래 Dashboard Task Monitoring 에서 사용자 작업의 상태를 좀더 구체적으로 확인할 수 있습니다.

* Task Monitoring : https://monit-grafana.cern.ch/d/cmsTMDetail/cms-task-monitoring-task-view/

==== Task resubmit ====
* crab resubmit --dir/-d <CRAB-project-directory>
$ crab resubmit -d crab_20220515_173023

작업을 다시 제출합니다.

==== Task output retrieval ====
* crab getoutput --dir/-d <CRAB-project-directory> [--jobids <comma-separated-list-of-jobs-and/or-job-ranges>]
$ crab getoutput -d crab_20220515_173023
$ crab getoutput --jobids 1,7,102
$ crab getoutput --jobids 25-115

결과 파일과 로그를 다운로드 합니다.

==== Task Kill ====
* crab kill -d <CRAB-project-directory> [--jobids <comma-separated-list-of-jobs-and/or-job-ranges>]
$ crab kill -d crab_20220515_173023
$ crab kill --jobids 1,7,102
$ crab kill --jobids 25-115

작업을 강제 중단시킵니다.

==== CRAB commands에 대한 상세정보 ====
* [https://twiki.cern.ch/twiki/bin/view/CMSPublic/CRAB3Commands CRAB commands]

=== Task monitoring for the analysis users ===
[[Task_monitoring_for_the_analysis_users|Analysis 사용자를 위한 작업 모니터링 이용가이드로 가기]]

=== 오류 발생시 대처 ===
==== 로크 찾기 ====
* [https://t2-cms.knu.ac.kr/wiki/index.php/Task_monitoring_for_the_analysis_users#.EB.A1.9C.EA.B7.B8_.ED.99.95.EC.9D.B8 Dashboard Task Monitor에서 본인작업의 로그 찾기]
* Dashboard Task Monitor에서는 본인의 작업이 제출된 사이트들과 작업의 로그파일의 확인을 통하여 에러코드 및 오류가 발생하는 사이트를 확인할 수 있습니다.
* 코드에 문제가 없는데도 지속적으로 오류가 발생하는 사이트가 있다면 그 사이트는 다음번 작업 제출시 blacklist에 추가하여 제외해야합니다.

==== 흔히 발생하는 오류 ====
흔히 발생하는 오류들에 대한 해결책이 정리되어 있습니다.
* [https://twiki.cern.ch/twiki/bin/view/CMSPublic/CRAB3CommonErrors CRAB3 common errors]

==== Exit Code 로 오류 원인 찾기 ====
*[https://twiki.cern.ch/twiki/bin/view/CMSPublic/SWGuideCrabFaq#Exit_code_6_with_Fatal_Root_Erro Exit code 6 with Fatal Root Error]
*[https://twiki.cern.ch/twiki/bin/view/CMSPublic/SWGuideCrabFaq#Exit_code_8001_with_MSG_w_Missin Exit code 8001 with %MSG-w Missing Dictionary]
*[https://twiki.cern.ch/twiki/bin/view/CMSPublic/SWGuideCrabFaq#Exit_code_8020 Exit code 8020]
*[https://twiki.cern.ch/twiki/bin/view/CMSPublic/SWGuideCrabFaq#Exit_code_10034 Exit code 10034]
*[https://twiki.cern.ch/twiki/bin/view/CMSPublic/SWGuideCrabFaq#Exit_code_60302 Exit code 60302]
*[https://twiki.cern.ch/twiki/bin/view/CMSPublic/SWGuideCrabFaq#Exit_code_60307 Exit code 60307]
*[https://twiki.cern.ch/twiki/bin/view/CMSPublic/SWGuideCrabFaq#Exit_code_60317 Exit code 60317]
*[https://twiki.cern.ch/twiki/bin/view/CMSPublic/SWGuideCrabFaq#Exit_code_70500 Exit code 70500]

== crab2 사용자를 위한 안내 ==
=== crab2 와 crab3의 차이점 ===
https://twiki.cern.ch/twiki/bin/view/CMSPublic/WorkBookCRAB3Tutorial#Differences_between_CRAB2_and_CR

=== crab2 설정을 crab3로 변환해주는 툴 ===
crab2cfgTOcrab3py [crab2confgiName.cfg] [crab3configName.py]

== CRAB Feedback & CMS Computing Manual ==
* CRAB 사용시 발생하는 문제점 및 해결방법은 아래 사이트를 참조
https://hypernews.cern.ch/HyperNews/CMS/get/crabFeedback.html
* CMS Computing Manual
https://twiki.cern.ch/twiki/bin/view/CMSPublic/WorkBook

== 참고 문서 ==

* [https://twiki.cern.ch/twiki/bin/view/CMSPublic/SWGuideCrab CRAB online manual and tutorial] 아래 문서 리스트는 이 문서에서 발췌하였습니다. Crab에 대한 전반적인 내용이 정리되어 있습니다.

=== 초보자를 위한 문서 ===

* [https://twiki.cern.ch/twiki/bin/view/CMSPublic/CRAB3CheatSheet Quickstart guide for CRAB3]
* [https://twiki.cern.ch/twiki/bin/view/CMSPublic/WorkBookCRAB3Tutorial CRAB tutorial (introductory)]
* [https://twiki.cern.ch/twiki/bin/view/CMSPublic/CRAB3AdvancedTutorial CRAB tutorial (advanced)]
* [https://twiki.cern.ch/twiki/bin/view/CMSPublic/CRAB3ConfigurationFile CRAB configuration file]
* [https://twiki.cern.ch/twiki/bin/view/CMSPublic/CRAB3Commands CRAB commands]
* [https://twiki.cern.ch/twiki/bin/view/CMSPublic/CRAB3UserFunctions CRAB user functions]
* [https://twiki.cern.ch/twiki/bin/view/CMSPublic/CRAB3AdvancedTopic CRAB Advanced topics]
* [https://twiki.cern.ch/twiki/bin/view/CMSPublic/CRAB3TipsAndTricks Tips and tricks about CRAB]
* [https://twiki.cern.ch/twiki/bin/view/CMSPublic/CRAB3FAQ CRAB3 frequently asked questions]
* [https://twiki.cern.ch/twiki/bin/view/CMSPublic/CRAB3CommonErrors CRAB3 common errors]

=== 숙련자를 위한 문서 ===

* [https://twiki.cern.ch/twiki/bin/view/CMSPublic/Crab3DataHandling Data handling in CRAB]
* [https://twiki.cern.ch/twiki/bin/view/CMSPublic/CRAB3TaskFlow CRAB3 task flow]
* [https://twiki.cern.ch/twiki/bin/view/CMSPublic/Crab3HtcondorStates CRAB3 job states]
* [https://twiki.cern.ch/twiki/bin/view/CMSPublic/CRABClientLibraryAPI CRAB3 client API]

Main Page

2026-07-30T07:03:22Z

Hanbi: /* How to use Tier-3 at KNU? */

Main Page

2026-07-30T07:01:26Z

Hanbi: /* How to use Tier-3 at KNU? */

Main Page

2026-07-30T06:59:06Z

Hanbi: /* News & Notices */

Main Page

2026-07-30T06:58:26Z

Hanbi: /* News & Notices */

__NOTOC__
='''KNU Tier-3 Center for CMS''' [[File:CMS-logo.gif|40px]] =

Welcome to the CMS Tier-3 Center at Kyungpook National University in Korea.

This web portal is your gateway to the CMS Tier-3 center at Kyungpook National University (KNU) in Korea. This CMS Tier-3 center is being supported by the Ministry of Education, Science and Technology and is being maintained by the Center for High Energy Physics of the KNU.
We will support the CMS computing needs for Korean and overseas collaborators. For your general comments, questions, or reports of any problems regarding to this Center, please email to lcg_knu@knu.ac.kr.

== News & Notices ==
* [[How_to_use_Tier3_at_KNU|How to use T3_KR_KNU 문서가 갱신 되었습니다.]] 2022.07.30
* [[HTCondor| HTCondor 사용법 문서가 갱신 되었습니다.]] 2026.07.27
* [[Rucio| Rucio 사용법 문서가 갱신되었습니다.]] 2026.06.23
* [[HTCondorQueueInfo| HTCondor에 JobType(Queue)문서가 갱신되었습니다.]] 2025.05.20
* [[JupyterHub|JupyterHub 문서가 갱신되었습니다.]] 2026.05.04
* [[Singularity|Apptainer 사용법 문서가 갱신 되었습니다.]] 2025.07.17
* [[Dcap|dcap 사용법 항목이 갱신되었습니다.]] 2025.07.16
* [[HTCondorQueueInfo| HTCondor에 JobType(Queue)가 추가되었습니다.]] 2025.05.13
* [[HTCondor| HTCondor 사용법 문서가 갱신 되었습니다.]] 2025.05.09
* [[Singularity|Apptainer 사용법 문서가 갱신 되었습니다.]] 2025.05.09
* [[Cvmfs_root|CVMFS 에서 root 사용하기 문서가 갱신 되었습니다.]] 2025.05.09
* [[Singularity|Apptainer 사용법 문서가 갱신 되었습니다.]] 2025.04.23
* [[HTCondor| HTCondor 사용법 문서가 갱신 되었습니다.]] 2024.07.08
* [[Singularity|Apptainer 사용법 문서가 갱신 되었습니다.]] 2024.06.13
* [[Storage_Element_Tutorial#.EC.84.9C.EB.B9.84.EC.8A.A4.EB.B3.84_.EC.8A.A4.ED.86.A0.EB.A6.AC.EC.A7.80_.EC.A0.91.EA.B7.BC| 스토리지 엘리먼트의 SRMv2 gridftp gsiftp 데이터 전송 프로토콜 지원이 종료됩니다.]] 2024.05.14
* [[HTCondor| HTCondor 사용법 문서가 갱신 되었습니다.]] 2024.03.11
* [[HTCondor#.EC.B5.9C.EB.8C.80_.EC.9E.91.EC.97.85.EC.8B.9C.EA.B0.84| HTCondor의 GPU 최대 작업시간이 연장되었습니다.]] 2024.02.14
* [[News & Notices|more ...]]

==Additional Services==

* [https://chep17.knu.ac.kr:3003 T3_KR_KNU Status - 작업 현황, 현재 사용량 등]
* [https://githep.knu.ac.kr:4443 Gitlab 서비스 - 소스코드 버전 관리 시스템]
* [https://mm.knu.ac.kr Mattermost 서비스 - 업무용 메신저 서비스]
* [https://indico.knu.ac.kr 경북대 물리학과 Indico]
* [https://indico.kno.or.kr KNO Indico]

==How to use Tier-3 at KNU?==
*[[How_to_use_Tier3_at_KNU|How to use Tier-3 at KNU?]]
**[[How_to_use_Tier3_at_KNU#Pre-requisites|Pre-requisites]]
**[[How_to_use_Tier3_at_KNU#KNU_Tier-2_Login|KNU_Tier-3 Login]]
**[[How_to_use_Tier3_at_KNU#CMSSW.28CMS_Software.29_Installation|CMSSW Installation]]
**[[crab|Crab Tutorial]]
**[[How_to_use_Tier3_at_KNU#Storage_Element_.28SE.29_Manual|Storage Element Tutorial]]
**[[Q&A|Q&A]]

*[https://t2-cms.knu.ac.kr/registration/ KNU Account Registration]

----
{| style="width: 100%"
! style="text-align: left;text-valign: top" | Contact: Email: lcg_knu@knu.ac.kr
! style="text-align: right;" | THE CENTER FOR HIGH ENERGY PHYSICS KYUNGPOOK NATIONAL UNIVERSITY
|}

Webfts

2026-07-30T06:56:36Z

Hanbi: /* WebFTS 사용법 */

{| style="width:100%; border:2px solid #c00; background:#fff5f5; padding:8px; margin-bottom:1em;"
|
'''⚠ 서비스 종료 안내'''

WebFTS는 CERN에서 서비스가 종료되어 더 이상 사용할 수 없습니다.
아래 내용은 참고용으로만 보존합니다.

[[Category:폐기된 문서]]
|}

==WebFTS 사용법==

WebFTS homepage : https://webfts.cern.ch

* WebFTS를 사용하기 전에 먼저 Certification이 인터넷브라우저(크롬,사파리)에 import 되어 있어야 합니다.

1. 자신의 Certification을 이용하여 WebFTS 페이지에 로그인을 하면 다음과 같은 화면이 나옵니다.

[[File:1.png| 800px]]

2. 데이터를 전송하기 위해 Submit a transfer 를 눌러보면 다음과 같은 화면이 나옵니다.

[[File:2.jpg| 800px]]

3. 터미널을 열고 자신의 certification이 있는 위치로 가서 다음 명령어를 입력합니다. yourCert.p12 부분을 자신의 certification으로 변경하여야 합니다.
openssl pkcs12 -in yourCert.p12 -nocerts -nodes | openssl rsa

Certification을 import할때 사용했던 패스워드를 입력하면 다음과 같은 키가 나옵니다.

-----BEGIN RSA PRIVATE KEY-----
...
...
-----END RSA PRIVATE KEY-----

4. "-----BEGIN RSA PRIVATE KEY-----" 라인부터 "-----END RSA PRIVATE KEY-----" 라인까지 복사를 한 후 WebFTS 페이지의 RSA private key 창에 붙여넣습니다.

그 밑에있는 VO dropdown list는 실험에 맞게 선택을 하여야 합니다.(ex. cms)

5. Delegate 버튼을 누르면 화면 오른쪽 위에 proxy가 유효한 시간이 나옵니다.

6. Grid SE endpoint path 를 넣어주고 "Load" 버튼을 누르면 그 위치의 파일과 폴더 등이 보여지게됩니다.

예를들어 KNU tier-2 의 SE path 는 다음과 같습니다.
srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/[userid]

7. 반대편에 파일을 전송시킬 위치의 Grid SE endpoint path를 넣고 Load 합니다.

사이에 있는 화살표(<,>)는 전송방향을 의미합니다. 파일을 선택하고 화살표를 누르면 request submit이 됩니다.

한가지 주의할점은 파일은 전송이되지만 폴더통째로는 전송이 되지 않으므로 파일이 있는 위치까지 들어가서 파일을 선택한 이후 화살표를 누를 수 있습니다.

8. 전송상태의 확인은 My Jobs 부분에서 확인이 가능합니다.

Uberftp

2026-07-30T06:56:07Z

Hanbi:

{| style="width:100%; border:2px solid #c00; background:#fff5f5; padding:8px; margin-bottom:1em;"
|
'''⚠ 서비스 종료 안내'''

uberftp는 gridftp의 지원종료로 더 이상 사용할 수 없습니다.
아래 내용은 참고용으로만 보존합니다.

[[Category:폐기된 문서]]
|}

== '''파일이 삭제되는 버그가 있습니다. 사용에 주의하세요''' ==

* https://ggus.eu/?mode=ticket_info&ticket_id=129103
* 대상 파일이 이미 존재하여 파일 전송이 실패하는 경우 대상파일이 삭제되는 버그가 있습니다.
* UI에서 uberftp는 버그가 해결된 버전이 나올때 까지 삭제됩니다.

==uberftp 사용법==

uberftp는 Grid 환경에서 Storege Element를 일반 ftp client 처럼 쉽게 사용할수 있는 툴입니다.

그리드 인증기반의 프로그램이므로 사용하기전에 반드시 다음과 같이 인증절차를 진행해야 합니다.
$ voms-proxy-init --voms cms

uberftp는 interactive 모드, 혹은 command line 모드로 사용가능합니다.

* Interactive 모드
$ uberftp cluster142.knu.ac.kr

interactive 모드의 경우에는 과거에 혹시 ftp client를 사용하신 경험이 있다면 쉽게 이해하실수 있을 거라고 생각되는데
긴 srm url를 입력할 필요없이 서버명으로 접속가능하며 cd 명령어로 디렉토리를 오가면서 데이터 전송이나 업로드 작업을 진행할 수 있습니다.

사용자 홈디렉토리는 /pnfs/knu.ac.kr/data/cms/store/user/"CERN ID" 입니다. 경북대 ID가 아니라 CERN ID임을 유의해주십시요. 
혹시 본인의 디렉토리가 생성되지 않았다면 lcg_knu@knu.ac.kr 로 연락주세요.

$ uberftp cluster142.knu.ac.kr
220 GSI FTP door ready
200 User :globus-mapping: logged in
UberFTP (2.8)> cd /pnfs/knu.ac.kr/data/cms/store/user/testid
UberFTP (2.8)> ls
drwx------ 1 testid testid 512 11? 30 2012 CMSSW_1_6_12
-r-------- 1 testid testid 546 11? 30 2012 histograms_7.root
-r-------- 1 testid testid 22018 11? 30 2012 output_3.root
-r-------- 1 testid testid 21673 11? 30 2012 output_2.root
-r-------- 1 testid testid 546 11? 30 2012 histograms_6.root
-r-------- 1 testid testid 22018 11? 30 2012 output_6.root
-r-------- 1 testid testid 22018 11? 30 2012 output_9.root

* Command line 모드
$ uberftp cluster142.knu.ac.kr "ls /pnfs/knu.ac.kr/data/cms/store/user/(userid)"

command line 모드에서는 다음과 같이 한줄의 명령어로 즉각적인 결과를 확인할 수 있습니다.

$ uberftp cluster142.knu.ac.kr "ls /pnfs/knu.ac.kr/data/cms/store/user/testid"
220 GSI FTP door ready
200 User :globus-mapping: logged in
drwx------ 1 testid testid 512 11? 30 2012 CMSSW_1_6_12
-r-------- 1 testid testid 546 11? 30 2012 histograms_7.root
-r-------- 1 testid testid 22018 11? 30 2012 output_3.root
-r-------- 1 testid testid 21673 11? 30 2012 output_2.root
-r-------- 1 testid testid 546 11? 30 2012 histograms_6.root
-r-------- 1 testid testid 22018 11? 30 2012 output_6.root
-r-------- 1 testid testid 22018 11? 30 2012 output_9.root
-r-------- 1 testid testid 546 11? 30 2012 histograms_3.root

== uberftp 의 장점 ==

* "?" 나 "*" 와 같은 와일드 카드가 사용 가능합니다.
UberFTP (2.8)> ls output_?.root
-rw-r--r-- 77420 1399 22018 Dec 1 07:06 output_3.root
-rw-r--r-- 77420 1399 21673 Dec 1 07:06 output_2.root
-rw-r--r-- 77420 1399 22018 Dec 1 07:06 output_6.root

* 파일을 받고 올릴때 "-r" 옵션을 주면 디렉토리를 그대로 업로드 할 수 있습니다.
$ get -r directory

$ put -r directory

* 디렉토리 삭제도 가능합니다.
$ rm -r directory

* 1000개 파일 제한 문제가 없습니다.
lcg-ls나 gfal-ls 명령을 사용할 때 해당 디렉토리에 1000개 이상의 파일이 존재한다면, 한번에 1000개 이상의 파일을 리스트 할수 없는 제한이 있는데 uberftp에는 그런 제한이 없습니다.

== uberftp 의 단점 ==
* 병렬 전송을 지원하지 않습니다. 때문에 원거리 데이터 전송에서는 병렬 전송을 지원하는 프로그램과 비교하여 상대적으로 전송속도가 느릴수 있습니다.

== uberftp 사용시 주의 사항 ==

* "-r" 옵션으로 데이터를 대량으로 삭제할때 해당 디렉토리를 반드시 확인해주세요. 한번 삭제한 데이터는 되돌릴 수 없습니다.
* 대량으로 파일들을 올리고 받을때는 디스크 여유공간과 업로드할 데이터의 크기를 사전에 반드시 확인해 주시기 바랍니다. 의도치 않게 디스크 여유 공간보다 많은 데이터를 전송할수 있습니다.
* [[Q%26A#.EC.9E.90.EC.9B.90.ED.98.84.ED.99.A9.EC.9D.84_.ED.99.95.EC.9D.B8.ED.95.98.EB.A0.A4.EB.A9.B4_.EC.96.B4.EB.96.BB.EA.B2.8C_.ED.95.98.EB.82.98.EC.9A.94.3F|Storage Element의 여유 공간을 확인하는 방법을 모르신다면 클릭]]

== help 명령 사용하기 ==
자세한 사용법은 help 명령을 통해서 확인할수 있습니다.
UberFTP (2.8)> help
Usage "help [topic]" where topic is one of:
! ? active ascii binary
blksize bugs bye cat cd
cdup chgrp chmod cksum cos
close dcau debug dir family
get glob hash help keepalive
lcat lcd lcdup lchgrp lchmod
lclose ldir link llink lls
llscos llsfam lmkdir lopen lpwd
lquote lrename lrm lrmdir ls
lscos lsfam lsize lstage lsymlink
mget mkdir mode mput open
order parallel passive pbsz pget
pput prot put pwd quit
quote rename resume retry rm
rmdir runique size stage sunique
symlink tcpbuf versions wait

파일을 업로드하는 put 명령어 대한 자세한 도움말을 확인해봅시다.
UberFTP (2.8)> help put
Store file(s) to the remote service. If <source> implies multiple
transfers, either through regular expressions or by using the recursive
feature, then [destination] must be a directory. If [destination] is not
specified, <source> is used.

Usage: put [-r] <source> [destination]
-r Recursively transfer the given directory.

Webfts

2026-07-30T06:54:37Z

Hanbi:

==WebFTS 사용법==

{| style="width:100%; border:2px solid #c00; background:#fff5f5; padding:8px; margin-bottom:1em;"
|
'''⚠ 서비스 종료 안내'''

WebFTS는 CERN에서 서비스가 종료되어 더 이상 사용할 수 없습니다.
아래 내용은 참고용으로만 보존합니다.

[[Category:폐기된 문서]]
|}

WebFTS homepage : https://webfts.cern.ch

* WebFTS를 사용하기 전에 먼저 Certification이 인터넷브라우저(크롬,사파리)에 import 되어 있어야 합니다.

1. 자신의 Certification을 이용하여 WebFTS 페이지에 로그인을 하면 다음과 같은 화면이 나옵니다.

[[File:1.png| 800px]]

2. 데이터를 전송하기 위해 Submit a transfer 를 눌러보면 다음과 같은 화면이 나옵니다.

[[File:2.jpg| 800px]]

3. 터미널을 열고 자신의 certification이 있는 위치로 가서 다음 명령어를 입력합니다. yourCert.p12 부분을 자신의 certification으로 변경하여야 합니다.
openssl pkcs12 -in yourCert.p12 -nocerts -nodes | openssl rsa

Certification을 import할때 사용했던 패스워드를 입력하면 다음과 같은 키가 나옵니다.

-----BEGIN RSA PRIVATE KEY-----
...
...
-----END RSA PRIVATE KEY-----

4. "-----BEGIN RSA PRIVATE KEY-----" 라인부터 "-----END RSA PRIVATE KEY-----" 라인까지 복사를 한 후 WebFTS 페이지의 RSA private key 창에 붙여넣습니다.

그 밑에있는 VO dropdown list는 실험에 맞게 선택을 하여야 합니다.(ex. cms)

5. Delegate 버튼을 누르면 화면 오른쪽 위에 proxy가 유효한 시간이 나옵니다.

6. Grid SE endpoint path 를 넣어주고 "Load" 버튼을 누르면 그 위치의 파일과 폴더 등이 보여지게됩니다.

예를들어 KNU tier-2 의 SE path 는 다음과 같습니다.
srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/[userid]

7. 반대편에 파일을 전송시킬 위치의 Grid SE endpoint path를 넣고 Load 합니다.

사이에 있는 화살표(<,>)는 전송방향을 의미합니다. 파일을 선택하고 화살표를 누르면 request submit이 됩니다.

한가지 주의할점은 파일은 전송이되지만 폴더통째로는 전송이 되지 않으므로 파일이 있는 위치까지 들어가서 파일을 선택한 이후 화살표를 누를 수 있습니다.

8. 전송상태의 확인은 My Jobs 부분에서 확인이 가능합니다.

Storage Element Tutorial

2026-07-30T06:53:47Z

Hanbi: /* uberftp를 이용한 Storage Element 사용 */

== Storage Element Tutorial ==
CRAB 등을 사용하여 얻은 데이터를 보관할 수 있는 저장 공간을 Storage Element (SE)라 합니다.
이곳에 데이터를 저장하기 위해서는 몇가지 특수한 명령어를 사용해야 합니다.

[주의 : tcsh, csh 등 에서 관련 명령어를 사용할 때, 경로 인자에 반드시 " " 를 사용해주시기 바랍니다.]

=== Overview ===

UI에 로그인 했을 때 일반 사용자가 읽고 쓸수 있는 저장공간은 다음과 같이 3가지 종류가 있습니다.

{| style="background:#f0f0f0;color:#black;white:80%;" border="1" cellpadding="5" cellspacing="0"
! 종류 !! 경로 !! 지원 프로토콜 !! 총용량 !! 사용자당 !! 용도 !! 비고
|- style="background:white; color:black"
| UI 사용자 홈
|
* /u/user/{knu_id}
| nfs
| 20 TB
| 200 GB
| 프로그램 설치 사용자 기본 작업공간
| RAID6
|- style="background:white; color:black"
| SE 사용자홈
|
* xrootd: root://cluster142.knu.ac.kr//store/user/{cern_id}/ 
* webdav: davs://cluster142.knu.ac.kr:2880/cms/store/user/{cern_id} 
* <del>srm: srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/{cern_id}</del> 
* <del>gsiftp://cluster142.knu.ac.kr:2811/pnfs/knu.ac.kr/data/cms/store/user/{cern_id}</del> 
* dcap: dcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/{cern_id} 
* gsidcap: gsidcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/{cern_id} 
* nfs: /pnfs/knu.ac.kr/data/cms/store/user/{cern_id} 
* nfs: /u/user/{knu_id}/SE_UserHome -----> /pnfs/knu.ac.kr/data/cms/store/user/{cern_id}
| xrootd, webdav, <del>srm, gsiftp,</del> dcap, gsidcap, nfs
| 1.84 PB
| 10 TB
| 데이터 보관 대용량데이터처리 프로그램설치X
| dCache, RAID6
|- style="background:white; color:black"
| 스크레치
|
* /d0/scratch 
* /u/user/{knu_id}/scratch -----> /d0/scratch/{knu_id}
| nfs
| 40 TB
|
| 임시 작업용 중요데이터 보관X
| RAID6
|}

* x509인증이 토큰 인증으로 전환되고 있는 상황이며 srm,gsiftp 프로토콜은 xrootd, webdav 프로토콜로 대체되고 있습니다.
* dcap(dCache access protocol): 인증이 필요없는 읽기 전용의 프로토콜입니다. 인증이 필요없기에 간편하게 사용할수 있지만 경북대 내부에서만 사용할수 있습니다.
* gsidcap: 그리드 인증이 필요한 dcap 프로토콜입니다. 읽기 쓰기가 모두 가능하며 경북대 내외부에서 모두 사용할 수 있습니다.
* SE에 저장되어 있는 데이터셋은 연산노드에서 dcap, xrootd, gsiftp, nfs, wedav, srm 프로토콜을 이용하여 읽을 수 있습니다.

* CERN ID와 KNU ID가 다른 사용자는 SE 사용자 홈디렉토리에 CERN ID를 기준으로 디렉토리가 생성됩니다.
* {knu_id}는 경북대에서 발급받은 ID, {cern_id}는 CERN에서 발급 받은 ID를 의미합니다. 일부 사용자들은 두 ID가 일치 하지 않습니다.
* 경북대 계정 신청시 CERN ID가 없는 사용자는 계정발급 직후 SE 사용자 홈디렉토리가 생성되지 않습니다. CERN ID를 발급 받은 후에 별도로 연락주세요.

* 현재는 저장공간의 사용자당 최대 사용량이 시스템적으로 설정되어 있지는 않습니다. 그러나 원활한 이용을 위하여 초과해서 사용이 필요한 경우에는 사전에 관리자와 협의를 부탁드립니다.
* 저장공간이 부족해질 경우 개인 사용량을 초과하는 사용자를 대상으로 사용햐지 않는 데이터의 정리를 요청하고 있습니다. 삭제요청과 함께 혹시라도 데이터가 방치되고 있지는 않은지 확인하는 작업입니다. 파일의 삭제 가능 여부와 상관없이 반드시 답장을 해주시기 바랍니다.

* 스크레치 저장공간은 불필요한 데이터를 수시로 정리해주시고 장기 보관이 필요한 데이터는 SE로 이동 부탁드립니다.
* 스크레치 디스크는 임시작업용 저장공간입니다. 데이터 손실에 대한 안전장치가 전혀 없으므로 절대 데이터 보관용으로 사용해서는 안됩니다.
* 매월 28일 90일이 지난 스크레치 디스크의 데이터는 자동으로 삭제됩니다.

=== 서비스별 스토리지 접근 ===

{| style="background:#f0f0f0;color:#black;white:80%;" border="1" cellpadding="5" cellspacing="0"
! 서비스 !! 스토리지 !! 지원 프로토콜 !! 경로 !! Grid인증 !! 비고
|- style="background:white; color:black"
| rowspan=9 | UI
| UI User Home
| nfs
| /u/user/{knu_id}
| X
|
|- style="background:white; color:black"
| UI Scratch
| nfs
| /u/user/{knu_id}/scratch -----> /d0/scratch/{knu_id}
| X
|
|- style="background:white; color:black"
| rowspan=7 | SE
| xrootd
| xrootd: root://cluster142.knu.ac.kr//store/user/{cern_id}
| O
|
|- style="background:white; color:black"
| webdav
| webdav: davs://cluster142.knu.ac.kr:2880/cms/store/user/{cern_id}
| O
|
|- style="background:white; color:black"
| <del>srm</del>
| <del>srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/{cern_id}</del>
| O
|
|- style="background:white; color:black"
| <del>gsiftp</del>
| <del>gsiftp://cluster142.knu.ac.kr:2811/pnfs/knu.ac.kr/data/cms/store/user/{cern_id}</del>
| O
|
|- style="background:white; color:black"
| dcap
| dcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/{cern_id}
| X
| 읽기전용, 레거시(비권장)
|- style="background:white; color:black"
| gsidcap
| gsidcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/{cern_id}
| O
| 레거시(비권장)
|- style="background:white; color:black"
| nfs
| /pnfs/knu.ac.kr/data/cms/store/user/{cern_id} /u/user/{knu_id}/SE_UserHome -----> /pnfs/knu.ac.kr/data/cms/store/user/{cern_id}
| X
|
|- style="background:white; color:black"
| rowspan=9 | HTCondor
| UI User Home
| nfs
| /u/user/{knu_id}
| X
|
|- style="background:white; color:black"
| UI Scratch
| nfs
| /u/user/{knu_id}/scratch -----> /d0/scratch/{knu_id}
| X
|
|- style="background:white; color:black"
| rowspan=7 | SE
| xrootd
| xrootd: root://cluster142.knu.ac.kr//store/user/{cern_id}
| O
|
|- style="background:white; color:black"
| webdav
| webdav: davs://cluster142.knu.ac.kr:2880/cms/store/user/{cern_id}
| O
|
|- style="background:white; color:black"
| <del>srm</del>
| <del>srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/{cern_id}</del>
| O
|
|- style="background:white; color:black"
| <del>gsiftp</del>
| <del>gsiftp://cluster142.knu.ac.kr:2811/pnfs/knu.ac.kr/data/cms/store/user/{cern_id}</del>
| O
|
|- style="background:white; color:black"
| dcap
| dcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/{cern_id}
| X
| 읽기전용, 레거시(비권장)
|- style="background:white; color:black"
| gsidcap
| gsidcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/{cern_id}
| O
| 레거시(비권장)
|- style="background:white; color:black"
| nfs
| /pnfs/knu.ac.kr/data/cms/store/user/{cern_id} /u/user/{knu_id}/SE_UserHome -----> /pnfs/knu.ac.kr/data/cms/store/user/{cern_id}
| X
|
|- style="background:white; color:black"

|}

* 해당 경로를 찾을 수 없다면 관리자에게 문의해 주시기 바랍니다.
* HTcondor 에서 SE에 nfs로 연결됨에 따라 dcap 이나 xrootd 와 같은 별다른 프로토콜 사용 없이 직접적으로 SE의 데이터를 읽고 쓸 수 있습니다. 

=== voms 인증 ===
* SE는 voms 인증 후 사용할수 있습니다.
$ voms-proxy-init --voms cms

=== voms 인증 정보 확인 ===
* voms 인증 정보는 다음 명령어로 확인할 수 있습니다.
$ voms-proxy-info --all
voms-proxy-info --all
subject : /DC=ch/DC=cern/OU=Organic Units/OU=Users/CN=gdhong/CN=000000/CN=Gildong Hong/CN=00000000
issuer : /DC=ch/DC=cern/OU=Organic Units/OU=Users/CN=gdhong/CN=000000/CN=Gildong Hong
identity : /DC=ch/DC=cern/OU=Organic Units/OU=Users/CN=gdhong/CN=000000/CN=Gildong Hong
type : RFC3820 compliant impersonation proxy
strength : 2048
path : /tmp/x509up_u00000
timeleft : 11:59:52
key usage : Digital Signature, Key Encipherment
=== VO cms extension information ===
VO : cms
subject : /DC=ch/DC=cern/OU=Organic Units/OU=Users/CN=gdhong/CN=000000/CN=Gildong Hong
issuer : /DC=ch/DC=cern/OU=computers/CN=voms2.cern.ch
attribute : /cms/Role=NULL/Capability=NULL
timeleft : 11:59:54
uri : voms2.cern.ch:15002

주의해야할 부분은 VO cms extension information 부분입니다. 만약 VO cms extension information 부분이 출력되지 않는다면 --voms cms 옵션을 정확하게 입력하였는지 자신의 cms vo가 만료된건 아닌지 확인 해야합니다.

=== T3_KR_KNU의 Computing Resource 실시간 조회하기 (CPU, Disk 자원 조회) ===

* UI 에서 "knuinfo" 명령어를 실행합니다.
$ knuinfo
-----------------------------------------------------------------------------------------
CPU Free Total Jobs Running Waiting ComputingElement
2509 247 2 0 0 ce01.knu.ac.kr:9619/ce01.knu.ac.kr-condor
-----------------------------------------------------------------------------------------
Avail Space(kB) Used Space(kB) Type SE
299479671320 1559004436260 xroot cluster142.knu.ac.k
-----------------------------------------------------------------------------------------

=== SE(Storage Element)의 사용자 디렉토리 경로 ===
$ srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/(username)/.../SrcFile
$ gsiftp://cluster142.knu.ac.kr:2811/pnfs/knu.ac.kr/data/cms/store/user/(username)/.../SrcFile
$ dcap://cluster142.knu.ac.kr/pnfs/knu.ac.kr/data/cms/store/user/(username)/.../SrcFile
$ gsidcap://cluster142.knu.ac.kr:22128/pnfs/knu.ac.kr/data/cms/store/user/(username)/.../SrcFile
$ root://cluster142.knu.ac.kr//store/user/(username)/.../SrcFile
$ davs://cluster142.knu.ac.kr:2880/cms/store/user/(username)/.../SrcFile

참고사항: 
- 위의 예시에서 username은 향후 data를 publish 할 경우를 대비하서 경북대 ID가 아니라 CERNID를 사용해야 합니다. 
- 계정을 발급받을 당시에 cern id가 없는 사용자는 해당 경로가 생성되지 않습니다. 
- 만약에 cern id가 있는데도 불구하고 본인의 디렉토리가 만들어져 있지 않는 경우에는 관리자에게 연락바랍니다.

=== SE에서 SE로 파일 복사하기 ===

$ gfal-copy root://cluster142.knu.ac.kr//store/user/(username)/.../SrcFile \
root://cluster142.knu.ac.kr//store/user/(username)/.../.../DestFile

$ gfal-copy davs://cluster142.knu.ac.kr:2880/cms/store/user/(username)/.../SrcFile \
davs://cluster142.knu.ac.kr:2880/cms/store/user/(username)/.../DestFile

=== SE에 있는 파일을 및 local 디렉토리로 복사하기 ===

$ gfal-copy root://cluster142.knu.ac.kr//store/user/(username)/.../SrcFile \
file:////u/user/(username)/.../DestFile

$ gfal-copy root://cluster142.knu.ac.kr//store/user/(username)/.../SrcFile \
./DestFile

$ gfal-copy davs://cluster142.knu.ac.kr:2880/cms/store/user/(username)/.../SrcFile \
file:////u/user/(username)/.../DestFile

$ gfal-copy davs://cluster142.knu.ac.kr:2880/cms/store/user/(username)/.../SrcFile \
./DestFile

$ gfal-copy gsidcap://cluster142.knu.ac.kr:22128/pnfs/knu.ac.kr/data/cms/store/user/(username)/.../SrcFile \
file:////u/user/(username)/.../DestFile

$ gfal-copy gsidcap://cluster142.knu.ac.kr/pnfs/knu.ac.kr/data/cms/store/user/(username)/.../SrcFile \
./DestFile

=== xrootd 를 활용한 SE Data 접근 방법 ===

* [[Xrootd|xrootd 을 이용하여 SE 사용하기]]

=== WebDav 프로토콜을 활용한 SE Data 접근 방법 ===

* [[WebDav|dCache에서 WebDav 프로토콜 및 마카롱 인증 사용하기]]

=== dcap을 이용한 SE Data 접근 방법 ===
* [[Dcap|dcap 을 이용하여 SE 사용하기]]

=== UI에서 NFS로 마운트된 스토리지 엘리먼트 사용하기 ===
* [[DCacheNFS|스토리지 엘리먼트의 NFS 사용 가이드]]

=== root에서 SE Data 접근 방법 ===

* xrootd 프로토콜을 이용
# 읽기
$ voms-proxy-init --voms cms
$ TFile *f = TFile::Open("root://cluster142.knu.ac.kr//store/user/(username)/test.root");
$
# 쓰기
$ voms-proxy-init --voms cms
$ root -l
root [0] TFile *f = TFile::Open("root://cluster142.knu.ac.kr//store/user/(username)/test.root", "CREATE");
root [1] f->Close();
root [2] TFile *f2 = TFile::Open("root://cluster142.knu.ac.kr//store/user/(username)/test.root", "RECREATE");
root [3] f2->Close();
root [4] .q
$

* dcap 프로토콜을 이용
# 읽기
$ TFile *f = TFile::Open("dcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/(username)/test.root");
$
# 쓰기
$ export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/lib64/dcap
$ root -l
root [0] TFile *f = TFile::Open("gsidcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/(username)/test.root", "CREATE");
root [1] f->Close();
root [2] TFile *f2 = TFile::Open("gsidcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/(username)/test.root", "RECREATE");
root [3] f2->Close();
root [4] .q
$

=== 복수의 파일을 동시에 전송하기 ===
$ /usr/local/bin/lcgcp_copyfiles list.txt

$ cat list.txt
srm://myhost.mydomain.edu:8443//dir1/dir2/sh-copy1 file:///localdir/sh1
srm://myhost.mydomain.edu:8443//dir1/dir2/sh-copy2 file:///localdir/sh2
srm://myhost.mydomain.edu:8443//dir1/dir2/sh-copy3 file:///localdir/sh3
* lcg_cp는 기본적으로 복수파일 전송을 지원하지 않으나 원본경로 대상경로를 포함하는 목록 파일을 생성한뒤, 위의 스크립트를 사용하면 복수의 파일을 전송할수 있다.

=== 복사가 정상적으로 이루어졌는지 확인 또는 디렉토리의 목록 확인 ===

$ gfal-ls -Hl davs://cluster142.knu.ac.kr:2880/cms/store/user/(username)

=== 파일 또는 디렉토리 삭제 ===

$ gfal-rm davs://cluster142.knu.ac.kr:2880/cms/store/user/(username)/test/test.file
$ <del>gfal-rm srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/(username)/test</del>
$ <del>lcg-del -d srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/(username)/test</del>

=== gfal 명령어 사용 요약 ===
$ voms-proxy-init --voms cms 로 proxy 생성후 아래 명령어를 수행하시면 됩니다.
$ 조회 : gfal-ls -Hl davs://cluster142.knu.ac.kr:2880/cms/store/user/MyAccount/FolderName
$ 복사 : gfal-copy davs://cluster142.knu.ac.kr:2880/cms/store/user/.../FileNameSrc davs://cluster142.knu.ac.kr:2880/cms/store/user/.../FileNameDest
$ 삭제 : gfal-rm davs://cluster142.knu.ac.kr:2880/cms/store/user/MyAccount/FolderName/FileName
$ 디렉토리 삭제 : <del>gfal-rm -R davs://cluster142.knu.ac.kr:2880/cms/store/user/MyAccount/FolderName</del>
* 명령어 뒤의 Option은 매뉴얼 페이지를 참고 바랍니다. (ex. man gfal-ls)
* <del>1000개 이상의 파일 포함한 폴더 내용 보기 : (ex. 500번째 파일부터 700개의 파일을 보고 싶을 경우) lcg-ls --offset 500 --count 700 srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/(DestFoler)</del>
* gfal-copy에서 "-r" 옵션을 사용하면 디렉토리까지 복사가 가능합니다.

=== gfal-copy를 이용한 디렉토리 복사 ===

gfal-copy에서 "-r" 옵션을 사용하면 서브 디렉토리까지 한번에 복사가 가능합니다. 다음과 같이 임의의 테스트 디렉토리를 만들었을때

[MyAccount@cms tmp5]$ ll
total 0
-rw-r--r-- 1 hanbi knu 0 Aug 26 17:21 aa
-rw-r--r-- 1 hanbi knu 0 Aug 26 17:21 bb
-rw-r--r-- 1 hanbi knu 0 Aug 26 17:21 cc
drwxr-xr-x 2 hanbi knu 24 Aug 26 17:22 dir1

-r 옵션을 적용해서 다음과 같이 실행하면 (로컬 디스크의 ~/MyAccount/tmp5 디렉토리를 SE의 hanbi/tmp5로 복사)

gfal-copy -r file:////u/user/MyAccount/tmp5 davs://cluster142.knu.ac.kr:2880/cms/store/user/MyAccount/tmp5

[MyAccount@cms ~]$ gfal-copy -r file:////u/user/MyAccount/tmp5 davs://cluster142.knu.ac.kr:2880/cms/store/user/MyAccount/tmp5
Mkdir davs://cluster142.knu.ac.kr:2880/cms/store/user/MyAccount/tmp5
Copying file:////u/user/MyAccount/tmp5/aa [DONE] after 0s
Copying file:////u/user/MyAccount/tmp5/bb [DONE] after 0s
Copying file:////u/user/MyAccount/tmp5/cc [DONE] after 0s
Mkdir davs://cluster142.knu.ac.kr:2880/cms/store/user/MyAccount/tmp5/dir1
Copying file:////u/user/MyAccount/tmp5/dir1/dd [DONE] after 0s
Copying file:////u/user/MyAccount/tmp5/dir1/ee [DONE] after 0s

아래와 같이 하부 디렉토리까지 스토리지 엘리먼트로 전부 전송이 되는 것을 확인 할 수 있습니다.

[hanbi@cms ~]$ ll /pnfs/knu.ac.kr/data/cms/store/user/MyAccount/tmp5
total 1
-rw-r--r-- 1 hanbi cms 0 Aug 26 17:22 aa
-rw-r--r-- 1 hanbi cms 0 Aug 26 17:22 bb
-rw-r--r-- 1 hanbi cms 0 Aug 26 17:22 cc
drwxr-xr-x 4 hanbi cms 512 Aug 26 17:22 dir1

물론 반대로 스토리지 엘리먼트에서 로컬 하드로 복사도 가능한데, 사용시 주의해야할 점은 SE의 소스 용량을 먼저 확인해서 전송을해야 로컬 하드디스크가 가득차는 것을 방지할 수 있습니다.

gfal-copy -r davs://cluster142.knu.ac.kr:2880/cms/store/user/MyAccount/tmp5 file:////u/user/MyAccount/tmp5

소스디렉토리의 크기를 확인하는 방법은 다음과 같이 확인할 수 있습니다. 다만 해당 디렉토리 아래의 크기가 매우 클 경우에는 결과가 나오는데 시간이 오래 결릴수 있습니다.

du -hs /pnfs/knu.ac.kr/data/cms/store/user/MyAccount/tmp5

===crab3를 사용한 후 gfal-* 명령어들이 오류가 발생합니다 ===

source /cvmfs/cms.cern.ch/crab3/crab.sh 실행후에 gfal-* 명령어들이 오류가 발생합니다.

$ gfal-ls -Hl davs://cluster142.knu.ac.kr:2880/cms/store/user//test/test.transfer
-rwxrwxrwx 0 0 0 4.8M Oct 12 2015 davs://cluster142.knu.ac.kr:2880/cms/store/user//test/test.transfer

$ source /cvmfs/cms.cern.ch/crab3/crab.sh

$ gfal-ls -Hl davs://cluster142.knu.ac.kr:2880/cms/store/user/test/test.transfer
Could not find platform independent libraries <prefix>
Could not find platform dependent libraries <exec_prefix>
Consider setting $PYTHONHOME to <prefix>[:<exec_prefix>]
'import site' failed; use -v for traceback
Traceback (most recent call last):
File "/usr/bin/gfal-ls", line 8, in <module>
from gfal2_util.shell import Gfal2Shell
ImportError: No module named gfal2_util.shell

crab3 에서 사용하는 python 환경변수와 gfal-* 명령어들에 문제를 일으키기 때문입니다. gfal-* 명령어 앞에 " env --unset=LD_LIBRARY_PATH "을 넣어줌으로써 문제를 해결할 수 있습니다.

$ env --unset=LD_LIBRARY_PATH gfal-ls -Hl davs://cluster142.knu.ac.kr:2880/cms/store/user/test/test.transfer
-rw-r--r-- 1 2 2 Oct 12 02:17 4.8M davs://cluster142.knu.ac.kr:2880/cms/store/user/test/test.transfer

=== cmsenv 실행후 gfal 명령어들이 정상 동작 하지 않을때 ===

cmsenv 실행후에 다음과 같은 오류가 발생한다면

Failed to add IO tunnel (libgsiTunnel.so: cannot open shared object file: No such file or directory). Provider: [libgsiTunnel.so].
Error ( POLLIN) (with data) on control line [12]
Failed to create a control line
Failed open file in the dCache.
gfal-copy: error: Input/output error

아래 명령을 먼저 실행해줌으로써 문제를 해결할 수 있습니다.

export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/lib64/dcap

=== no match 오류가 발생할때 ===

* tcsh에서 ?는 wild card로 인식이 됩니다. 따라서 tcsh을 사용하고 있다면 srm 경로에 반드시 ""를 사용해야 합니다.

=== srm*, lcg*, gfal* 주요 명령어 비교표 ===

{| style="background:#cccc99;color:#black;white:80%;" border="1" cellpadding="5" cellspacing="0"
! srm* !! lcg* !! gfal* !! 비고
|- style="background:white; color:black"
| srmls
| lcg-ls
| gfal-ls
| ls
|- style="background:#f0f0f0; color:black"
| srmcp
| lcg-cp
| gfal-copy
| cp
|- style="background:white; color:black"
| srmrm
| lcg-del
| gfal-rm
| rm
|- style="background:#f0f0f0; color:black"
| srmmkdir
|
| gfal-mkdir
| mkdir
|- style="background:white; color:black"
| srmrmdir
| lcg-del -d
| gfal-rm -R
| rmdir
|- style="background:#f0f0f0; color:black"
|
|
| gfal-cat
| cat

|}

=== <del>uberftp를 이용한 Storage Element 사용</del> ===

* <del>[[ uberftp | uberftp 사용법으로 가기 ]]</del>
* uberftp는 gridftp의 지원 종료로 이상 사용할 수 없습니다. 해당문서는 참고용으로만 보존합니다.

=== <del>WebFTS를 이용한 Storage Element 로의 Data 전송</del> ===
* <del>[[ Webfts | WebFTS 사용법으로 가기 ]]</del>
* WebFTS는 CERN에서 서비스가 종료되어 더 이상 사용할 수 없습니다. 해당문서는 참고용으로만 보존합니다.

=== T3_KR_KNU 저장공간(Disk) 활용 분류 ===

* Storage Element (srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/...)
: 대용량 저장 공간으로 장기간 보관이 가능합니다.
- rucio를 통해 전송된 DataSet 저장
- Crab Analysis 이후의 결과파일 저장
srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/
UI에서는 ~/SE_UserHome/ 에서 확인할 수 있습니다.
: 현재 약 1.45 PB의 공간을 마련하여 운영하고 있습니다.
: 사용자의 데이터 저장으로 공간이 부족할 경우, 사전 설문을 통해 더 이상 사용하지 않는 과거 데이터의 삭제 요청을 드릴 수 있습니다.

* User Home Directory (/u/user/...)
: 기본적인 설정 사항, 사용자가 필요한 소프트웨어 등을 설치 및 보관하는 장소입니다.
: 약 20 TB 규모의 공간입니다.
: 모든 사용자가 20 TB를 나누어 사용하므로 용량이 큰 데이터의 보관은 가급적 삼가해 주시기 바랍니다.

* Scratch Disk
: UI에 총 1개의 임시 저장공간이 있습니다.
- /d0 : 약 40 TB RAID6 Disk
: Sratch 디스크는 임시 저장공간으로 중요한 데이터 및 장기 보관 데이터는 반드시 Storage Element로 이동하여 주시기 바랍니다.

Storage Element Tutorial

2026-07-30T06:51:47Z

Hanbi: /* uberftp를 이용한 Storage Element 사용 */

== Storage Element Tutorial ==
CRAB 등을 사용하여 얻은 데이터를 보관할 수 있는 저장 공간을 Storage Element (SE)라 합니다.
이곳에 데이터를 저장하기 위해서는 몇가지 특수한 명령어를 사용해야 합니다.

[주의 : tcsh, csh 등 에서 관련 명령어를 사용할 때, 경로 인자에 반드시 " " 를 사용해주시기 바랍니다.]

=== Overview ===

UI에 로그인 했을 때 일반 사용자가 읽고 쓸수 있는 저장공간은 다음과 같이 3가지 종류가 있습니다.

{| style="background:#f0f0f0;color:#black;white:80%;" border="1" cellpadding="5" cellspacing="0"
! 종류 !! 경로 !! 지원 프로토콜 !! 총용량 !! 사용자당 !! 용도 !! 비고
|- style="background:white; color:black"
| UI 사용자 홈
|
* /u/user/{knu_id}
| nfs
| 20 TB
| 200 GB
| 프로그램 설치 사용자 기본 작업공간
| RAID6
|- style="background:white; color:black"
| SE 사용자홈
|
* xrootd: root://cluster142.knu.ac.kr//store/user/{cern_id}/ 
* webdav: davs://cluster142.knu.ac.kr:2880/cms/store/user/{cern_id} 
* <del>srm: srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/{cern_id}</del> 
* <del>gsiftp://cluster142.knu.ac.kr:2811/pnfs/knu.ac.kr/data/cms/store/user/{cern_id}</del> 
* dcap: dcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/{cern_id} 
* gsidcap: gsidcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/{cern_id} 
* nfs: /pnfs/knu.ac.kr/data/cms/store/user/{cern_id} 
* nfs: /u/user/{knu_id}/SE_UserHome -----> /pnfs/knu.ac.kr/data/cms/store/user/{cern_id}
| xrootd, webdav, <del>srm, gsiftp,</del> dcap, gsidcap, nfs
| 1.84 PB
| 10 TB
| 데이터 보관 대용량데이터처리 프로그램설치X
| dCache, RAID6
|- style="background:white; color:black"
| 스크레치
|
* /d0/scratch 
* /u/user/{knu_id}/scratch -----> /d0/scratch/{knu_id}
| nfs
| 40 TB
|
| 임시 작업용 중요데이터 보관X
| RAID6
|}

* x509인증이 토큰 인증으로 전환되고 있는 상황이며 srm,gsiftp 프로토콜은 xrootd, webdav 프로토콜로 대체되고 있습니다.
* dcap(dCache access protocol): 인증이 필요없는 읽기 전용의 프로토콜입니다. 인증이 필요없기에 간편하게 사용할수 있지만 경북대 내부에서만 사용할수 있습니다.
* gsidcap: 그리드 인증이 필요한 dcap 프로토콜입니다. 읽기 쓰기가 모두 가능하며 경북대 내외부에서 모두 사용할 수 있습니다.
* SE에 저장되어 있는 데이터셋은 연산노드에서 dcap, xrootd, gsiftp, nfs, wedav, srm 프로토콜을 이용하여 읽을 수 있습니다.

* CERN ID와 KNU ID가 다른 사용자는 SE 사용자 홈디렉토리에 CERN ID를 기준으로 디렉토리가 생성됩니다.
* {knu_id}는 경북대에서 발급받은 ID, {cern_id}는 CERN에서 발급 받은 ID를 의미합니다. 일부 사용자들은 두 ID가 일치 하지 않습니다.
* 경북대 계정 신청시 CERN ID가 없는 사용자는 계정발급 직후 SE 사용자 홈디렉토리가 생성되지 않습니다. CERN ID를 발급 받은 후에 별도로 연락주세요.

* 현재는 저장공간의 사용자당 최대 사용량이 시스템적으로 설정되어 있지는 않습니다. 그러나 원활한 이용을 위하여 초과해서 사용이 필요한 경우에는 사전에 관리자와 협의를 부탁드립니다.
* 저장공간이 부족해질 경우 개인 사용량을 초과하는 사용자를 대상으로 사용햐지 않는 데이터의 정리를 요청하고 있습니다. 삭제요청과 함께 혹시라도 데이터가 방치되고 있지는 않은지 확인하는 작업입니다. 파일의 삭제 가능 여부와 상관없이 반드시 답장을 해주시기 바랍니다.

* 스크레치 저장공간은 불필요한 데이터를 수시로 정리해주시고 장기 보관이 필요한 데이터는 SE로 이동 부탁드립니다.
* 스크레치 디스크는 임시작업용 저장공간입니다. 데이터 손실에 대한 안전장치가 전혀 없으므로 절대 데이터 보관용으로 사용해서는 안됩니다.
* 매월 28일 90일이 지난 스크레치 디스크의 데이터는 자동으로 삭제됩니다.

=== 서비스별 스토리지 접근 ===

{| style="background:#f0f0f0;color:#black;white:80%;" border="1" cellpadding="5" cellspacing="0"
! 서비스 !! 스토리지 !! 지원 프로토콜 !! 경로 !! Grid인증 !! 비고
|- style="background:white; color:black"
| rowspan=9 | UI
| UI User Home
| nfs
| /u/user/{knu_id}
| X
|
|- style="background:white; color:black"
| UI Scratch
| nfs
| /u/user/{knu_id}/scratch -----> /d0/scratch/{knu_id}
| X
|
|- style="background:white; color:black"
| rowspan=7 | SE
| xrootd
| xrootd: root://cluster142.knu.ac.kr//store/user/{cern_id}
| O
|
|- style="background:white; color:black"
| webdav
| webdav: davs://cluster142.knu.ac.kr:2880/cms/store/user/{cern_id}
| O
|
|- style="background:white; color:black"
| <del>srm</del>
| <del>srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/{cern_id}</del>
| O
|
|- style="background:white; color:black"
| <del>gsiftp</del>
| <del>gsiftp://cluster142.knu.ac.kr:2811/pnfs/knu.ac.kr/data/cms/store/user/{cern_id}</del>
| O
|
|- style="background:white; color:black"
| dcap
| dcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/{cern_id}
| X
| 읽기전용, 레거시(비권장)
|- style="background:white; color:black"
| gsidcap
| gsidcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/{cern_id}
| O
| 레거시(비권장)
|- style="background:white; color:black"
| nfs
| /pnfs/knu.ac.kr/data/cms/store/user/{cern_id} /u/user/{knu_id}/SE_UserHome -----> /pnfs/knu.ac.kr/data/cms/store/user/{cern_id}
| X
|
|- style="background:white; color:black"
| rowspan=9 | HTCondor
| UI User Home
| nfs
| /u/user/{knu_id}
| X
|
|- style="background:white; color:black"
| UI Scratch
| nfs
| /u/user/{knu_id}/scratch -----> /d0/scratch/{knu_id}
| X
|
|- style="background:white; color:black"
| rowspan=7 | SE
| xrootd
| xrootd: root://cluster142.knu.ac.kr//store/user/{cern_id}
| O
|
|- style="background:white; color:black"
| webdav
| webdav: davs://cluster142.knu.ac.kr:2880/cms/store/user/{cern_id}
| O
|
|- style="background:white; color:black"
| <del>srm</del>
| <del>srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/{cern_id}</del>
| O
|
|- style="background:white; color:black"
| <del>gsiftp</del>
| <del>gsiftp://cluster142.knu.ac.kr:2811/pnfs/knu.ac.kr/data/cms/store/user/{cern_id}</del>
| O
|
|- style="background:white; color:black"
| dcap
| dcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/{cern_id}
| X
| 읽기전용, 레거시(비권장)
|- style="background:white; color:black"
| gsidcap
| gsidcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/{cern_id}
| O
| 레거시(비권장)
|- style="background:white; color:black"
| nfs
| /pnfs/knu.ac.kr/data/cms/store/user/{cern_id} /u/user/{knu_id}/SE_UserHome -----> /pnfs/knu.ac.kr/data/cms/store/user/{cern_id}
| X
|
|- style="background:white; color:black"

|}

* 해당 경로를 찾을 수 없다면 관리자에게 문의해 주시기 바랍니다.
* HTcondor 에서 SE에 nfs로 연결됨에 따라 dcap 이나 xrootd 와 같은 별다른 프로토콜 사용 없이 직접적으로 SE의 데이터를 읽고 쓸 수 있습니다. 

=== voms 인증 ===
* SE는 voms 인증 후 사용할수 있습니다.
$ voms-proxy-init --voms cms

=== voms 인증 정보 확인 ===
* voms 인증 정보는 다음 명령어로 확인할 수 있습니다.
$ voms-proxy-info --all
voms-proxy-info --all
subject : /DC=ch/DC=cern/OU=Organic Units/OU=Users/CN=gdhong/CN=000000/CN=Gildong Hong/CN=00000000
issuer : /DC=ch/DC=cern/OU=Organic Units/OU=Users/CN=gdhong/CN=000000/CN=Gildong Hong
identity : /DC=ch/DC=cern/OU=Organic Units/OU=Users/CN=gdhong/CN=000000/CN=Gildong Hong
type : RFC3820 compliant impersonation proxy
strength : 2048
path : /tmp/x509up_u00000
timeleft : 11:59:52
key usage : Digital Signature, Key Encipherment
=== VO cms extension information ===
VO : cms
subject : /DC=ch/DC=cern/OU=Organic Units/OU=Users/CN=gdhong/CN=000000/CN=Gildong Hong
issuer : /DC=ch/DC=cern/OU=computers/CN=voms2.cern.ch
attribute : /cms/Role=NULL/Capability=NULL
timeleft : 11:59:54
uri : voms2.cern.ch:15002

주의해야할 부분은 VO cms extension information 부분입니다. 만약 VO cms extension information 부분이 출력되지 않는다면 --voms cms 옵션을 정확하게 입력하였는지 자신의 cms vo가 만료된건 아닌지 확인 해야합니다.

=== T3_KR_KNU의 Computing Resource 실시간 조회하기 (CPU, Disk 자원 조회) ===

* UI 에서 "knuinfo" 명령어를 실행합니다.
$ knuinfo
-----------------------------------------------------------------------------------------
CPU Free Total Jobs Running Waiting ComputingElement
2509 247 2 0 0 ce01.knu.ac.kr:9619/ce01.knu.ac.kr-condor
-----------------------------------------------------------------------------------------
Avail Space(kB) Used Space(kB) Type SE
299479671320 1559004436260 xroot cluster142.knu.ac.k
-----------------------------------------------------------------------------------------

=== SE(Storage Element)의 사용자 디렉토리 경로 ===
$ srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/(username)/.../SrcFile
$ gsiftp://cluster142.knu.ac.kr:2811/pnfs/knu.ac.kr/data/cms/store/user/(username)/.../SrcFile
$ dcap://cluster142.knu.ac.kr/pnfs/knu.ac.kr/data/cms/store/user/(username)/.../SrcFile
$ gsidcap://cluster142.knu.ac.kr:22128/pnfs/knu.ac.kr/data/cms/store/user/(username)/.../SrcFile
$ root://cluster142.knu.ac.kr//store/user/(username)/.../SrcFile
$ davs://cluster142.knu.ac.kr:2880/cms/store/user/(username)/.../SrcFile

참고사항: 
- 위의 예시에서 username은 향후 data를 publish 할 경우를 대비하서 경북대 ID가 아니라 CERNID를 사용해야 합니다. 
- 계정을 발급받을 당시에 cern id가 없는 사용자는 해당 경로가 생성되지 않습니다. 
- 만약에 cern id가 있는데도 불구하고 본인의 디렉토리가 만들어져 있지 않는 경우에는 관리자에게 연락바랍니다.

=== SE에서 SE로 파일 복사하기 ===

$ gfal-copy root://cluster142.knu.ac.kr//store/user/(username)/.../SrcFile \
root://cluster142.knu.ac.kr//store/user/(username)/.../.../DestFile

$ gfal-copy davs://cluster142.knu.ac.kr:2880/cms/store/user/(username)/.../SrcFile \
davs://cluster142.knu.ac.kr:2880/cms/store/user/(username)/.../DestFile

=== SE에 있는 파일을 및 local 디렉토리로 복사하기 ===

$ gfal-copy root://cluster142.knu.ac.kr//store/user/(username)/.../SrcFile \
file:////u/user/(username)/.../DestFile

$ gfal-copy root://cluster142.knu.ac.kr//store/user/(username)/.../SrcFile \
./DestFile

$ gfal-copy davs://cluster142.knu.ac.kr:2880/cms/store/user/(username)/.../SrcFile \
file:////u/user/(username)/.../DestFile

$ gfal-copy davs://cluster142.knu.ac.kr:2880/cms/store/user/(username)/.../SrcFile \
./DestFile

$ gfal-copy gsidcap://cluster142.knu.ac.kr:22128/pnfs/knu.ac.kr/data/cms/store/user/(username)/.../SrcFile \
file:////u/user/(username)/.../DestFile

$ gfal-copy gsidcap://cluster142.knu.ac.kr/pnfs/knu.ac.kr/data/cms/store/user/(username)/.../SrcFile \
./DestFile

=== xrootd 를 활용한 SE Data 접근 방법 ===

* [[Xrootd|xrootd 을 이용하여 SE 사용하기]]

=== WebDav 프로토콜을 활용한 SE Data 접근 방법 ===

* [[WebDav|dCache에서 WebDav 프로토콜 및 마카롱 인증 사용하기]]

=== dcap을 이용한 SE Data 접근 방법 ===
* [[Dcap|dcap 을 이용하여 SE 사용하기]]

=== UI에서 NFS로 마운트된 스토리지 엘리먼트 사용하기 ===
* [[DCacheNFS|스토리지 엘리먼트의 NFS 사용 가이드]]

=== root에서 SE Data 접근 방법 ===

* xrootd 프로토콜을 이용
# 읽기
$ voms-proxy-init --voms cms
$ TFile *f = TFile::Open("root://cluster142.knu.ac.kr//store/user/(username)/test.root");
$
# 쓰기
$ voms-proxy-init --voms cms
$ root -l
root [0] TFile *f = TFile::Open("root://cluster142.knu.ac.kr//store/user/(username)/test.root", "CREATE");
root [1] f->Close();
root [2] TFile *f2 = TFile::Open("root://cluster142.knu.ac.kr//store/user/(username)/test.root", "RECREATE");
root [3] f2->Close();
root [4] .q
$

* dcap 프로토콜을 이용
# 읽기
$ TFile *f = TFile::Open("dcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/(username)/test.root");
$
# 쓰기
$ export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/lib64/dcap
$ root -l
root [0] TFile *f = TFile::Open("gsidcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/(username)/test.root", "CREATE");
root [1] f->Close();
root [2] TFile *f2 = TFile::Open("gsidcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/(username)/test.root", "RECREATE");
root [3] f2->Close();
root [4] .q
$

=== 복수의 파일을 동시에 전송하기 ===
$ /usr/local/bin/lcgcp_copyfiles list.txt

$ cat list.txt
srm://myhost.mydomain.edu:8443//dir1/dir2/sh-copy1 file:///localdir/sh1
srm://myhost.mydomain.edu:8443//dir1/dir2/sh-copy2 file:///localdir/sh2
srm://myhost.mydomain.edu:8443//dir1/dir2/sh-copy3 file:///localdir/sh3
* lcg_cp는 기본적으로 복수파일 전송을 지원하지 않으나 원본경로 대상경로를 포함하는 목록 파일을 생성한뒤, 위의 스크립트를 사용하면 복수의 파일을 전송할수 있다.

=== 복사가 정상적으로 이루어졌는지 확인 또는 디렉토리의 목록 확인 ===

$ gfal-ls -Hl davs://cluster142.knu.ac.kr:2880/cms/store/user/(username)

=== 파일 또는 디렉토리 삭제 ===

$ gfal-rm davs://cluster142.knu.ac.kr:2880/cms/store/user/(username)/test/test.file
$ <del>gfal-rm srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/(username)/test</del>
$ <del>lcg-del -d srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/(username)/test</del>

=== gfal 명령어 사용 요약 ===
$ voms-proxy-init --voms cms 로 proxy 생성후 아래 명령어를 수행하시면 됩니다.
$ 조회 : gfal-ls -Hl davs://cluster142.knu.ac.kr:2880/cms/store/user/MyAccount/FolderName
$ 복사 : gfal-copy davs://cluster142.knu.ac.kr:2880/cms/store/user/.../FileNameSrc davs://cluster142.knu.ac.kr:2880/cms/store/user/.../FileNameDest
$ 삭제 : gfal-rm davs://cluster142.knu.ac.kr:2880/cms/store/user/MyAccount/FolderName/FileName
$ 디렉토리 삭제 : <del>gfal-rm -R davs://cluster142.knu.ac.kr:2880/cms/store/user/MyAccount/FolderName</del>
* 명령어 뒤의 Option은 매뉴얼 페이지를 참고 바랍니다. (ex. man gfal-ls)
* <del>1000개 이상의 파일 포함한 폴더 내용 보기 : (ex. 500번째 파일부터 700개의 파일을 보고 싶을 경우) lcg-ls --offset 500 --count 700 srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/(DestFoler)</del>
* gfal-copy에서 "-r" 옵션을 사용하면 디렉토리까지 복사가 가능합니다.

=== gfal-copy를 이용한 디렉토리 복사 ===

gfal-copy에서 "-r" 옵션을 사용하면 서브 디렉토리까지 한번에 복사가 가능합니다. 다음과 같이 임의의 테스트 디렉토리를 만들었을때

[MyAccount@cms tmp5]$ ll
total 0
-rw-r--r-- 1 hanbi knu 0 Aug 26 17:21 aa
-rw-r--r-- 1 hanbi knu 0 Aug 26 17:21 bb
-rw-r--r-- 1 hanbi knu 0 Aug 26 17:21 cc
drwxr-xr-x 2 hanbi knu 24 Aug 26 17:22 dir1

-r 옵션을 적용해서 다음과 같이 실행하면 (로컬 디스크의 ~/MyAccount/tmp5 디렉토리를 SE의 hanbi/tmp5로 복사)

gfal-copy -r file:////u/user/MyAccount/tmp5 davs://cluster142.knu.ac.kr:2880/cms/store/user/MyAccount/tmp5

[MyAccount@cms ~]$ gfal-copy -r file:////u/user/MyAccount/tmp5 davs://cluster142.knu.ac.kr:2880/cms/store/user/MyAccount/tmp5
Mkdir davs://cluster142.knu.ac.kr:2880/cms/store/user/MyAccount/tmp5
Copying file:////u/user/MyAccount/tmp5/aa [DONE] after 0s
Copying file:////u/user/MyAccount/tmp5/bb [DONE] after 0s
Copying file:////u/user/MyAccount/tmp5/cc [DONE] after 0s
Mkdir davs://cluster142.knu.ac.kr:2880/cms/store/user/MyAccount/tmp5/dir1
Copying file:////u/user/MyAccount/tmp5/dir1/dd [DONE] after 0s
Copying file:////u/user/MyAccount/tmp5/dir1/ee [DONE] after 0s

아래와 같이 하부 디렉토리까지 스토리지 엘리먼트로 전부 전송이 되는 것을 확인 할 수 있습니다.

[hanbi@cms ~]$ ll /pnfs/knu.ac.kr/data/cms/store/user/MyAccount/tmp5
total 1
-rw-r--r-- 1 hanbi cms 0 Aug 26 17:22 aa
-rw-r--r-- 1 hanbi cms 0 Aug 26 17:22 bb
-rw-r--r-- 1 hanbi cms 0 Aug 26 17:22 cc
drwxr-xr-x 4 hanbi cms 512 Aug 26 17:22 dir1

물론 반대로 스토리지 엘리먼트에서 로컬 하드로 복사도 가능한데, 사용시 주의해야할 점은 SE의 소스 용량을 먼저 확인해서 전송을해야 로컬 하드디스크가 가득차는 것을 방지할 수 있습니다.

gfal-copy -r davs://cluster142.knu.ac.kr:2880/cms/store/user/MyAccount/tmp5 file:////u/user/MyAccount/tmp5

소스디렉토리의 크기를 확인하는 방법은 다음과 같이 확인할 수 있습니다. 다만 해당 디렉토리 아래의 크기가 매우 클 경우에는 결과가 나오는데 시간이 오래 결릴수 있습니다.

du -hs /pnfs/knu.ac.kr/data/cms/store/user/MyAccount/tmp5

===crab3를 사용한 후 gfal-* 명령어들이 오류가 발생합니다 ===

source /cvmfs/cms.cern.ch/crab3/crab.sh 실행후에 gfal-* 명령어들이 오류가 발생합니다.

$ gfal-ls -Hl davs://cluster142.knu.ac.kr:2880/cms/store/user//test/test.transfer
-rwxrwxrwx 0 0 0 4.8M Oct 12 2015 davs://cluster142.knu.ac.kr:2880/cms/store/user//test/test.transfer

$ source /cvmfs/cms.cern.ch/crab3/crab.sh

$ gfal-ls -Hl davs://cluster142.knu.ac.kr:2880/cms/store/user/test/test.transfer
Could not find platform independent libraries <prefix>
Could not find platform dependent libraries <exec_prefix>
Consider setting $PYTHONHOME to <prefix>[:<exec_prefix>]
'import site' failed; use -v for traceback
Traceback (most recent call last):
File "/usr/bin/gfal-ls", line 8, in <module>
from gfal2_util.shell import Gfal2Shell
ImportError: No module named gfal2_util.shell

crab3 에서 사용하는 python 환경변수와 gfal-* 명령어들에 문제를 일으키기 때문입니다. gfal-* 명령어 앞에 " env --unset=LD_LIBRARY_PATH "을 넣어줌으로써 문제를 해결할 수 있습니다.

$ env --unset=LD_LIBRARY_PATH gfal-ls -Hl davs://cluster142.knu.ac.kr:2880/cms/store/user/test/test.transfer
-rw-r--r-- 1 2 2 Oct 12 02:17 4.8M davs://cluster142.knu.ac.kr:2880/cms/store/user/test/test.transfer

=== cmsenv 실행후 gfal 명령어들이 정상 동작 하지 않을때 ===

cmsenv 실행후에 다음과 같은 오류가 발생한다면

Failed to add IO tunnel (libgsiTunnel.so: cannot open shared object file: No such file or directory). Provider: [libgsiTunnel.so].
Error ( POLLIN) (with data) on control line [12]
Failed to create a control line
Failed open file in the dCache.
gfal-copy: error: Input/output error

아래 명령을 먼저 실행해줌으로써 문제를 해결할 수 있습니다.

export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/lib64/dcap

=== no match 오류가 발생할때 ===

* tcsh에서 ?는 wild card로 인식이 됩니다. 따라서 tcsh을 사용하고 있다면 srm 경로에 반드시 ""를 사용해야 합니다.

=== srm*, lcg*, gfal* 주요 명령어 비교표 ===

{| style="background:#cccc99;color:#black;white:80%;" border="1" cellpadding="5" cellspacing="0"
! srm* !! lcg* !! gfal* !! 비고
|- style="background:white; color:black"
| srmls
| lcg-ls
| gfal-ls
| ls
|- style="background:#f0f0f0; color:black"
| srmcp
| lcg-cp
| gfal-copy
| cp
|- style="background:white; color:black"
| srmrm
| lcg-del
| gfal-rm
| rm
|- style="background:#f0f0f0; color:black"
| srmmkdir
|
| gfal-mkdir
| mkdir
|- style="background:white; color:black"
| srmrmdir
| lcg-del -d
| gfal-rm -R
| rmdir
|- style="background:#f0f0f0; color:black"
|
|
| gfal-cat
| cat

|}

=== <del>uberftp를 이용한 Storage Element 사용</del> ===

* <del>[[ uberftp | uberftp 사용법으로 가기 ]]</del>

=== <del>WebFTS를 이용한 Storage Element 로의 Data 전송</del> ===
* <del>[[ Webfts | WebFTS 사용법으로 가기 ]]</del>
* WebFTS는 CERN에서 서비스가 종료되어 더 이상 사용할 수 없습니다. 해당문서는 참고용으로만 보존합니다.

=== T3_KR_KNU 저장공간(Disk) 활용 분류 ===

* Storage Element (srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/...)
: 대용량 저장 공간으로 장기간 보관이 가능합니다.
- rucio를 통해 전송된 DataSet 저장
- Crab Analysis 이후의 결과파일 저장
srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/
UI에서는 ~/SE_UserHome/ 에서 확인할 수 있습니다.
: 현재 약 1.45 PB의 공간을 마련하여 운영하고 있습니다.
: 사용자의 데이터 저장으로 공간이 부족할 경우, 사전 설문을 통해 더 이상 사용하지 않는 과거 데이터의 삭제 요청을 드릴 수 있습니다.

* User Home Directory (/u/user/...)
: 기본적인 설정 사항, 사용자가 필요한 소프트웨어 등을 설치 및 보관하는 장소입니다.
: 약 20 TB 규모의 공간입니다.
: 모든 사용자가 20 TB를 나누어 사용하므로 용량이 큰 데이터의 보관은 가급적 삼가해 주시기 바랍니다.

* Scratch Disk
: UI에 총 1개의 임시 저장공간이 있습니다.
- /d0 : 약 40 TB RAID6 Disk
: Sratch 디스크는 임시 저장공간으로 중요한 데이터 및 장기 보관 데이터는 반드시 Storage Element로 이동하여 주시기 바랍니다.

Storage Element Tutorial

2026-07-30T06:50:20Z

Hanbi: /* WebFTS를 이용한 Storage Element 로의 Data 전송 */

== Storage Element Tutorial ==
CRAB 등을 사용하여 얻은 데이터를 보관할 수 있는 저장 공간을 Storage Element (SE)라 합니다.
이곳에 데이터를 저장하기 위해서는 몇가지 특수한 명령어를 사용해야 합니다.

[주의 : tcsh, csh 등 에서 관련 명령어를 사용할 때, 경로 인자에 반드시 " " 를 사용해주시기 바랍니다.]

=== Overview ===

UI에 로그인 했을 때 일반 사용자가 읽고 쓸수 있는 저장공간은 다음과 같이 3가지 종류가 있습니다.

{| style="background:#f0f0f0;color:#black;white:80%;" border="1" cellpadding="5" cellspacing="0"
! 종류 !! 경로 !! 지원 프로토콜 !! 총용량 !! 사용자당 !! 용도 !! 비고
|- style="background:white; color:black"
| UI 사용자 홈
|
* /u/user/{knu_id}
| nfs
| 20 TB
| 200 GB
| 프로그램 설치 사용자 기본 작업공간
| RAID6
|- style="background:white; color:black"
| SE 사용자홈
|
* xrootd: root://cluster142.knu.ac.kr//store/user/{cern_id}/ 
* webdav: davs://cluster142.knu.ac.kr:2880/cms/store/user/{cern_id} 
* <del>srm: srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/{cern_id}</del> 
* <del>gsiftp://cluster142.knu.ac.kr:2811/pnfs/knu.ac.kr/data/cms/store/user/{cern_id}</del> 
* dcap: dcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/{cern_id} 
* gsidcap: gsidcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/{cern_id} 
* nfs: /pnfs/knu.ac.kr/data/cms/store/user/{cern_id} 
* nfs: /u/user/{knu_id}/SE_UserHome -----> /pnfs/knu.ac.kr/data/cms/store/user/{cern_id}
| xrootd, webdav, <del>srm, gsiftp,</del> dcap, gsidcap, nfs
| 1.84 PB
| 10 TB
| 데이터 보관 대용량데이터처리 프로그램설치X
| dCache, RAID6
|- style="background:white; color:black"
| 스크레치
|
* /d0/scratch 
* /u/user/{knu_id}/scratch -----> /d0/scratch/{knu_id}
| nfs
| 40 TB
|
| 임시 작업용 중요데이터 보관X
| RAID6
|}

* x509인증이 토큰 인증으로 전환되고 있는 상황이며 srm,gsiftp 프로토콜은 xrootd, webdav 프로토콜로 대체되고 있습니다.
* dcap(dCache access protocol): 인증이 필요없는 읽기 전용의 프로토콜입니다. 인증이 필요없기에 간편하게 사용할수 있지만 경북대 내부에서만 사용할수 있습니다.
* gsidcap: 그리드 인증이 필요한 dcap 프로토콜입니다. 읽기 쓰기가 모두 가능하며 경북대 내외부에서 모두 사용할 수 있습니다.
* SE에 저장되어 있는 데이터셋은 연산노드에서 dcap, xrootd, gsiftp, nfs, wedav, srm 프로토콜을 이용하여 읽을 수 있습니다.

* CERN ID와 KNU ID가 다른 사용자는 SE 사용자 홈디렉토리에 CERN ID를 기준으로 디렉토리가 생성됩니다.
* {knu_id}는 경북대에서 발급받은 ID, {cern_id}는 CERN에서 발급 받은 ID를 의미합니다. 일부 사용자들은 두 ID가 일치 하지 않습니다.
* 경북대 계정 신청시 CERN ID가 없는 사용자는 계정발급 직후 SE 사용자 홈디렉토리가 생성되지 않습니다. CERN ID를 발급 받은 후에 별도로 연락주세요.

* 현재는 저장공간의 사용자당 최대 사용량이 시스템적으로 설정되어 있지는 않습니다. 그러나 원활한 이용을 위하여 초과해서 사용이 필요한 경우에는 사전에 관리자와 협의를 부탁드립니다.
* 저장공간이 부족해질 경우 개인 사용량을 초과하는 사용자를 대상으로 사용햐지 않는 데이터의 정리를 요청하고 있습니다. 삭제요청과 함께 혹시라도 데이터가 방치되고 있지는 않은지 확인하는 작업입니다. 파일의 삭제 가능 여부와 상관없이 반드시 답장을 해주시기 바랍니다.

* 스크레치 저장공간은 불필요한 데이터를 수시로 정리해주시고 장기 보관이 필요한 데이터는 SE로 이동 부탁드립니다.
* 스크레치 디스크는 임시작업용 저장공간입니다. 데이터 손실에 대한 안전장치가 전혀 없으므로 절대 데이터 보관용으로 사용해서는 안됩니다.
* 매월 28일 90일이 지난 스크레치 디스크의 데이터는 자동으로 삭제됩니다.

=== 서비스별 스토리지 접근 ===

{| style="background:#f0f0f0;color:#black;white:80%;" border="1" cellpadding="5" cellspacing="0"
! 서비스 !! 스토리지 !! 지원 프로토콜 !! 경로 !! Grid인증 !! 비고
|- style="background:white; color:black"
| rowspan=9 | UI
| UI User Home
| nfs
| /u/user/{knu_id}
| X
|
|- style="background:white; color:black"
| UI Scratch
| nfs
| /u/user/{knu_id}/scratch -----> /d0/scratch/{knu_id}
| X
|
|- style="background:white; color:black"
| rowspan=7 | SE
| xrootd
| xrootd: root://cluster142.knu.ac.kr//store/user/{cern_id}
| O
|
|- style="background:white; color:black"
| webdav
| webdav: davs://cluster142.knu.ac.kr:2880/cms/store/user/{cern_id}
| O
|
|- style="background:white; color:black"
| <del>srm</del>
| <del>srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/{cern_id}</del>
| O
|
|- style="background:white; color:black"
| <del>gsiftp</del>
| <del>gsiftp://cluster142.knu.ac.kr:2811/pnfs/knu.ac.kr/data/cms/store/user/{cern_id}</del>
| O
|
|- style="background:white; color:black"
| dcap
| dcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/{cern_id}
| X
| 읽기전용, 레거시(비권장)
|- style="background:white; color:black"
| gsidcap
| gsidcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/{cern_id}
| O
| 레거시(비권장)
|- style="background:white; color:black"
| nfs
| /pnfs/knu.ac.kr/data/cms/store/user/{cern_id} /u/user/{knu_id}/SE_UserHome -----> /pnfs/knu.ac.kr/data/cms/store/user/{cern_id}
| X
|
|- style="background:white; color:black"
| rowspan=9 | HTCondor
| UI User Home
| nfs
| /u/user/{knu_id}
| X
|
|- style="background:white; color:black"
| UI Scratch
| nfs
| /u/user/{knu_id}/scratch -----> /d0/scratch/{knu_id}
| X
|
|- style="background:white; color:black"
| rowspan=7 | SE
| xrootd
| xrootd: root://cluster142.knu.ac.kr//store/user/{cern_id}
| O
|
|- style="background:white; color:black"
| webdav
| webdav: davs://cluster142.knu.ac.kr:2880/cms/store/user/{cern_id}
| O
|
|- style="background:white; color:black"
| <del>srm</del>
| <del>srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/{cern_id}</del>
| O
|
|- style="background:white; color:black"
| <del>gsiftp</del>
| <del>gsiftp://cluster142.knu.ac.kr:2811/pnfs/knu.ac.kr/data/cms/store/user/{cern_id}</del>
| O
|
|- style="background:white; color:black"
| dcap
| dcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/{cern_id}
| X
| 읽기전용, 레거시(비권장)
|- style="background:white; color:black"
| gsidcap
| gsidcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/{cern_id}
| O
| 레거시(비권장)
|- style="background:white; color:black"
| nfs
| /pnfs/knu.ac.kr/data/cms/store/user/{cern_id} /u/user/{knu_id}/SE_UserHome -----> /pnfs/knu.ac.kr/data/cms/store/user/{cern_id}
| X
|
|- style="background:white; color:black"

|}

* 해당 경로를 찾을 수 없다면 관리자에게 문의해 주시기 바랍니다.
* HTcondor 에서 SE에 nfs로 연결됨에 따라 dcap 이나 xrootd 와 같은 별다른 프로토콜 사용 없이 직접적으로 SE의 데이터를 읽고 쓸 수 있습니다. 

=== voms 인증 ===
* SE는 voms 인증 후 사용할수 있습니다.
$ voms-proxy-init --voms cms

=== voms 인증 정보 확인 ===
* voms 인증 정보는 다음 명령어로 확인할 수 있습니다.
$ voms-proxy-info --all
voms-proxy-info --all
subject : /DC=ch/DC=cern/OU=Organic Units/OU=Users/CN=gdhong/CN=000000/CN=Gildong Hong/CN=00000000
issuer : /DC=ch/DC=cern/OU=Organic Units/OU=Users/CN=gdhong/CN=000000/CN=Gildong Hong
identity : /DC=ch/DC=cern/OU=Organic Units/OU=Users/CN=gdhong/CN=000000/CN=Gildong Hong
type : RFC3820 compliant impersonation proxy
strength : 2048
path : /tmp/x509up_u00000
timeleft : 11:59:52
key usage : Digital Signature, Key Encipherment
=== VO cms extension information ===
VO : cms
subject : /DC=ch/DC=cern/OU=Organic Units/OU=Users/CN=gdhong/CN=000000/CN=Gildong Hong
issuer : /DC=ch/DC=cern/OU=computers/CN=voms2.cern.ch
attribute : /cms/Role=NULL/Capability=NULL
timeleft : 11:59:54
uri : voms2.cern.ch:15002

주의해야할 부분은 VO cms extension information 부분입니다. 만약 VO cms extension information 부분이 출력되지 않는다면 --voms cms 옵션을 정확하게 입력하였는지 자신의 cms vo가 만료된건 아닌지 확인 해야합니다.

=== T3_KR_KNU의 Computing Resource 실시간 조회하기 (CPU, Disk 자원 조회) ===

* UI 에서 "knuinfo" 명령어를 실행합니다.
$ knuinfo
-----------------------------------------------------------------------------------------
CPU Free Total Jobs Running Waiting ComputingElement
2509 247 2 0 0 ce01.knu.ac.kr:9619/ce01.knu.ac.kr-condor
-----------------------------------------------------------------------------------------
Avail Space(kB) Used Space(kB) Type SE
299479671320 1559004436260 xroot cluster142.knu.ac.k
-----------------------------------------------------------------------------------------

=== SE(Storage Element)의 사용자 디렉토리 경로 ===
$ srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/(username)/.../SrcFile
$ gsiftp://cluster142.knu.ac.kr:2811/pnfs/knu.ac.kr/data/cms/store/user/(username)/.../SrcFile
$ dcap://cluster142.knu.ac.kr/pnfs/knu.ac.kr/data/cms/store/user/(username)/.../SrcFile
$ gsidcap://cluster142.knu.ac.kr:22128/pnfs/knu.ac.kr/data/cms/store/user/(username)/.../SrcFile
$ root://cluster142.knu.ac.kr//store/user/(username)/.../SrcFile
$ davs://cluster142.knu.ac.kr:2880/cms/store/user/(username)/.../SrcFile

참고사항: 
- 위의 예시에서 username은 향후 data를 publish 할 경우를 대비하서 경북대 ID가 아니라 CERNID를 사용해야 합니다. 
- 계정을 발급받을 당시에 cern id가 없는 사용자는 해당 경로가 생성되지 않습니다. 
- 만약에 cern id가 있는데도 불구하고 본인의 디렉토리가 만들어져 있지 않는 경우에는 관리자에게 연락바랍니다.

=== SE에서 SE로 파일 복사하기 ===

$ gfal-copy root://cluster142.knu.ac.kr//store/user/(username)/.../SrcFile \
root://cluster142.knu.ac.kr//store/user/(username)/.../.../DestFile

$ gfal-copy davs://cluster142.knu.ac.kr:2880/cms/store/user/(username)/.../SrcFile \
davs://cluster142.knu.ac.kr:2880/cms/store/user/(username)/.../DestFile

=== SE에 있는 파일을 및 local 디렉토리로 복사하기 ===

$ gfal-copy root://cluster142.knu.ac.kr//store/user/(username)/.../SrcFile \
file:////u/user/(username)/.../DestFile

$ gfal-copy root://cluster142.knu.ac.kr//store/user/(username)/.../SrcFile \
./DestFile

$ gfal-copy davs://cluster142.knu.ac.kr:2880/cms/store/user/(username)/.../SrcFile \
file:////u/user/(username)/.../DestFile

$ gfal-copy davs://cluster142.knu.ac.kr:2880/cms/store/user/(username)/.../SrcFile \
./DestFile

$ gfal-copy gsidcap://cluster142.knu.ac.kr:22128/pnfs/knu.ac.kr/data/cms/store/user/(username)/.../SrcFile \
file:////u/user/(username)/.../DestFile

$ gfal-copy gsidcap://cluster142.knu.ac.kr/pnfs/knu.ac.kr/data/cms/store/user/(username)/.../SrcFile \
./DestFile

=== xrootd 를 활용한 SE Data 접근 방법 ===

* [[Xrootd|xrootd 을 이용하여 SE 사용하기]]

=== WebDav 프로토콜을 활용한 SE Data 접근 방법 ===

* [[WebDav|dCache에서 WebDav 프로토콜 및 마카롱 인증 사용하기]]

=== dcap을 이용한 SE Data 접근 방법 ===
* [[Dcap|dcap 을 이용하여 SE 사용하기]]

=== UI에서 NFS로 마운트된 스토리지 엘리먼트 사용하기 ===
* [[DCacheNFS|스토리지 엘리먼트의 NFS 사용 가이드]]

=== root에서 SE Data 접근 방법 ===

* xrootd 프로토콜을 이용
# 읽기
$ voms-proxy-init --voms cms
$ TFile *f = TFile::Open("root://cluster142.knu.ac.kr//store/user/(username)/test.root");
$
# 쓰기
$ voms-proxy-init --voms cms
$ root -l
root [0] TFile *f = TFile::Open("root://cluster142.knu.ac.kr//store/user/(username)/test.root", "CREATE");
root [1] f->Close();
root [2] TFile *f2 = TFile::Open("root://cluster142.knu.ac.kr//store/user/(username)/test.root", "RECREATE");
root [3] f2->Close();
root [4] .q
$

* dcap 프로토콜을 이용
# 읽기
$ TFile *f = TFile::Open("dcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/(username)/test.root");
$
# 쓰기
$ export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/lib64/dcap
$ root -l
root [0] TFile *f = TFile::Open("gsidcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/(username)/test.root", "CREATE");
root [1] f->Close();
root [2] TFile *f2 = TFile::Open("gsidcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/(username)/test.root", "RECREATE");
root [3] f2->Close();
root [4] .q
$

=== 복수의 파일을 동시에 전송하기 ===
$ /usr/local/bin/lcgcp_copyfiles list.txt

$ cat list.txt
srm://myhost.mydomain.edu:8443//dir1/dir2/sh-copy1 file:///localdir/sh1
srm://myhost.mydomain.edu:8443//dir1/dir2/sh-copy2 file:///localdir/sh2
srm://myhost.mydomain.edu:8443//dir1/dir2/sh-copy3 file:///localdir/sh3
* lcg_cp는 기본적으로 복수파일 전송을 지원하지 않으나 원본경로 대상경로를 포함하는 목록 파일을 생성한뒤, 위의 스크립트를 사용하면 복수의 파일을 전송할수 있다.

=== 복사가 정상적으로 이루어졌는지 확인 또는 디렉토리의 목록 확인 ===

$ gfal-ls -Hl davs://cluster142.knu.ac.kr:2880/cms/store/user/(username)

=== 파일 또는 디렉토리 삭제 ===

$ gfal-rm davs://cluster142.knu.ac.kr:2880/cms/store/user/(username)/test/test.file
$ <del>gfal-rm srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/(username)/test</del>
$ <del>lcg-del -d srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/(username)/test</del>

=== gfal 명령어 사용 요약 ===
$ voms-proxy-init --voms cms 로 proxy 생성후 아래 명령어를 수행하시면 됩니다.
$ 조회 : gfal-ls -Hl davs://cluster142.knu.ac.kr:2880/cms/store/user/MyAccount/FolderName
$ 복사 : gfal-copy davs://cluster142.knu.ac.kr:2880/cms/store/user/.../FileNameSrc davs://cluster142.knu.ac.kr:2880/cms/store/user/.../FileNameDest
$ 삭제 : gfal-rm davs://cluster142.knu.ac.kr:2880/cms/store/user/MyAccount/FolderName/FileName
$ 디렉토리 삭제 : <del>gfal-rm -R davs://cluster142.knu.ac.kr:2880/cms/store/user/MyAccount/FolderName</del>
* 명령어 뒤의 Option은 매뉴얼 페이지를 참고 바랍니다. (ex. man gfal-ls)
* <del>1000개 이상의 파일 포함한 폴더 내용 보기 : (ex. 500번째 파일부터 700개의 파일을 보고 싶을 경우) lcg-ls --offset 500 --count 700 srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/(DestFoler)</del>
* gfal-copy에서 "-r" 옵션을 사용하면 디렉토리까지 복사가 가능합니다.

=== gfal-copy를 이용한 디렉토리 복사 ===

gfal-copy에서 "-r" 옵션을 사용하면 서브 디렉토리까지 한번에 복사가 가능합니다. 다음과 같이 임의의 테스트 디렉토리를 만들었을때

[MyAccount@cms tmp5]$ ll
total 0
-rw-r--r-- 1 hanbi knu 0 Aug 26 17:21 aa
-rw-r--r-- 1 hanbi knu 0 Aug 26 17:21 bb
-rw-r--r-- 1 hanbi knu 0 Aug 26 17:21 cc
drwxr-xr-x 2 hanbi knu 24 Aug 26 17:22 dir1

-r 옵션을 적용해서 다음과 같이 실행하면 (로컬 디스크의 ~/MyAccount/tmp5 디렉토리를 SE의 hanbi/tmp5로 복사)

gfal-copy -r file:////u/user/MyAccount/tmp5 davs://cluster142.knu.ac.kr:2880/cms/store/user/MyAccount/tmp5

[MyAccount@cms ~]$ gfal-copy -r file:////u/user/MyAccount/tmp5 davs://cluster142.knu.ac.kr:2880/cms/store/user/MyAccount/tmp5
Mkdir davs://cluster142.knu.ac.kr:2880/cms/store/user/MyAccount/tmp5
Copying file:////u/user/MyAccount/tmp5/aa [DONE] after 0s
Copying file:////u/user/MyAccount/tmp5/bb [DONE] after 0s
Copying file:////u/user/MyAccount/tmp5/cc [DONE] after 0s
Mkdir davs://cluster142.knu.ac.kr:2880/cms/store/user/MyAccount/tmp5/dir1
Copying file:////u/user/MyAccount/tmp5/dir1/dd [DONE] after 0s
Copying file:////u/user/MyAccount/tmp5/dir1/ee [DONE] after 0s

아래와 같이 하부 디렉토리까지 스토리지 엘리먼트로 전부 전송이 되는 것을 확인 할 수 있습니다.

[hanbi@cms ~]$ ll /pnfs/knu.ac.kr/data/cms/store/user/MyAccount/tmp5
total 1
-rw-r--r-- 1 hanbi cms 0 Aug 26 17:22 aa
-rw-r--r-- 1 hanbi cms 0 Aug 26 17:22 bb
-rw-r--r-- 1 hanbi cms 0 Aug 26 17:22 cc
drwxr-xr-x 4 hanbi cms 512 Aug 26 17:22 dir1

물론 반대로 스토리지 엘리먼트에서 로컬 하드로 복사도 가능한데, 사용시 주의해야할 점은 SE의 소스 용량을 먼저 확인해서 전송을해야 로컬 하드디스크가 가득차는 것을 방지할 수 있습니다.

gfal-copy -r davs://cluster142.knu.ac.kr:2880/cms/store/user/MyAccount/tmp5 file:////u/user/MyAccount/tmp5

소스디렉토리의 크기를 확인하는 방법은 다음과 같이 확인할 수 있습니다. 다만 해당 디렉토리 아래의 크기가 매우 클 경우에는 결과가 나오는데 시간이 오래 결릴수 있습니다.

du -hs /pnfs/knu.ac.kr/data/cms/store/user/MyAccount/tmp5

===crab3를 사용한 후 gfal-* 명령어들이 오류가 발생합니다 ===

source /cvmfs/cms.cern.ch/crab3/crab.sh 실행후에 gfal-* 명령어들이 오류가 발생합니다.

$ gfal-ls -Hl davs://cluster142.knu.ac.kr:2880/cms/store/user//test/test.transfer
-rwxrwxrwx 0 0 0 4.8M Oct 12 2015 davs://cluster142.knu.ac.kr:2880/cms/store/user//test/test.transfer

$ source /cvmfs/cms.cern.ch/crab3/crab.sh

$ gfal-ls -Hl davs://cluster142.knu.ac.kr:2880/cms/store/user/test/test.transfer
Could not find platform independent libraries <prefix>
Could not find platform dependent libraries <exec_prefix>
Consider setting $PYTHONHOME to <prefix>[:<exec_prefix>]
'import site' failed; use -v for traceback
Traceback (most recent call last):
File "/usr/bin/gfal-ls", line 8, in <module>
from gfal2_util.shell import Gfal2Shell
ImportError: No module named gfal2_util.shell

crab3 에서 사용하는 python 환경변수와 gfal-* 명령어들에 문제를 일으키기 때문입니다. gfal-* 명령어 앞에 " env --unset=LD_LIBRARY_PATH "을 넣어줌으로써 문제를 해결할 수 있습니다.

$ env --unset=LD_LIBRARY_PATH gfal-ls -Hl davs://cluster142.knu.ac.kr:2880/cms/store/user/test/test.transfer
-rw-r--r-- 1 2 2 Oct 12 02:17 4.8M davs://cluster142.knu.ac.kr:2880/cms/store/user/test/test.transfer

=== cmsenv 실행후 gfal 명령어들이 정상 동작 하지 않을때 ===

cmsenv 실행후에 다음과 같은 오류가 발생한다면

Failed to add IO tunnel (libgsiTunnel.so: cannot open shared object file: No such file or directory). Provider: [libgsiTunnel.so].
Error ( POLLIN) (with data) on control line [12]
Failed to create a control line
Failed open file in the dCache.
gfal-copy: error: Input/output error

아래 명령을 먼저 실행해줌으로써 문제를 해결할 수 있습니다.

export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/lib64/dcap

=== no match 오류가 발생할때 ===

* tcsh에서 ?는 wild card로 인식이 됩니다. 따라서 tcsh을 사용하고 있다면 srm 경로에 반드시 ""를 사용해야 합니다.

=== srm*, lcg*, gfal* 주요 명령어 비교표 ===

{| style="background:#cccc99;color:#black;white:80%;" border="1" cellpadding="5" cellspacing="0"
! srm* !! lcg* !! gfal* !! 비고
|- style="background:white; color:black"
| srmls
| lcg-ls
| gfal-ls
| ls
|- style="background:#f0f0f0; color:black"
| srmcp
| lcg-cp
| gfal-copy
| cp
|- style="background:white; color:black"
| srmrm
| lcg-del
| gfal-rm
| rm
|- style="background:#f0f0f0; color:black"
| srmmkdir
|
| gfal-mkdir
| mkdir
|- style="background:white; color:black"
| srmrmdir
| lcg-del -d
| gfal-rm -R
| rmdir
|- style="background:#f0f0f0; color:black"
|
|
| gfal-cat
| cat

|}

=== <del>uberftp를 이용한 Storage Element 사용</del> ===

* [[ uberftp | uberftp 사용법으로 가기 ]]

=== <del>WebFTS를 이용한 Storage Element 로의 Data 전송</del> ===
* <del>[[ Webfts | WebFTS 사용법으로 가기 ]]</del>
* WebFTS는 CERN에서 서비스가 종료되어 더 이상 사용할 수 없습니다. 해당문서는 참고용으로만 보존합니다.

=== T3_KR_KNU 저장공간(Disk) 활용 분류 ===

* Storage Element (srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/...)
: 대용량 저장 공간으로 장기간 보관이 가능합니다.
- rucio를 통해 전송된 DataSet 저장
- Crab Analysis 이후의 결과파일 저장
srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/
UI에서는 ~/SE_UserHome/ 에서 확인할 수 있습니다.
: 현재 약 1.45 PB의 공간을 마련하여 운영하고 있습니다.
: 사용자의 데이터 저장으로 공간이 부족할 경우, 사전 설문을 통해 더 이상 사용하지 않는 과거 데이터의 삭제 요청을 드릴 수 있습니다.

* User Home Directory (/u/user/...)
: 기본적인 설정 사항, 사용자가 필요한 소프트웨어 등을 설치 및 보관하는 장소입니다.
: 약 20 TB 규모의 공간입니다.
: 모든 사용자가 20 TB를 나누어 사용하므로 용량이 큰 데이터의 보관은 가급적 삼가해 주시기 바랍니다.

* Scratch Disk
: UI에 총 1개의 임시 저장공간이 있습니다.
- /d0 : 약 40 TB RAID6 Disk
: Sratch 디스크는 임시 저장공간으로 중요한 데이터 및 장기 보관 데이터는 반드시 Storage Element로 이동하여 주시기 바랍니다.

Webfts

2026-07-30T06:47:28Z

Hanbi:

Webfts

2026-07-30T06:46:29Z

Hanbi: /* WebFTS 사용법 */

{| style="width:100%; border:2px solid #c00; background:#fff5f5; padding:8px; margin-bottom:1em;"
|
'''⚠ 서비스 종료 안내'''

WebFTS는 CERN에서 서비스가 종료되어 더 이상 사용할 수 없습니다.
아래 내용은 참고용으로만 보존합니다.

|}

==WebFTS 사용법==

WebFTS homepage : https://webfts.cern.ch

* WebFTS를 사용하기 전에 먼저 Certification이 인터넷브라우저(크롬,사파리)에 import 되어 있어야 합니다.

1. 자신의 Certification을 이용하여 WebFTS 페이지에 로그인을 하면 다음과 같은 화면이 나옵니다.

[[File:1.png| 800px]]

2. 데이터를 전송하기 위해 Submit a transfer 를 눌러보면 다음과 같은 화면이 나옵니다.

[[File:2.jpg| 800px]]

3. 터미널을 열고 자신의 certification이 있는 위치로 가서 다음 명령어를 입력합니다. yourCert.p12 부분을 자신의 certification으로 변경하여야 합니다.
openssl pkcs12 -in yourCert.p12 -nocerts -nodes | openssl rsa

Certification을 import할때 사용했던 패스워드를 입력하면 다음과 같은 키가 나옵니다.

-----BEGIN RSA PRIVATE KEY-----
...
...
-----END RSA PRIVATE KEY-----

4. "-----BEGIN RSA PRIVATE KEY-----" 라인부터 "-----END RSA PRIVATE KEY-----" 라인까지 복사를 한 후 WebFTS 페이지의 RSA private key 창에 붙여넣습니다.

그 밑에있는 VO dropdown list는 실험에 맞게 선택을 하여야 합니다.(ex. cms)

5. Delegate 버튼을 누르면 화면 오른쪽 위에 proxy가 유효한 시간이 나옵니다.

6. Grid SE endpoint path 를 넣어주고 "Load" 버튼을 누르면 그 위치의 파일과 폴더 등이 보여지게됩니다.

예를들어 KNU tier-2 의 SE path 는 다음과 같습니다.
srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/[userid]

7. 반대편에 파일을 전송시킬 위치의 Grid SE endpoint path를 넣고 Load 합니다.

사이에 있는 화살표(<,>)는 전송방향을 의미합니다. 파일을 선택하고 화살표를 누르면 request submit이 됩니다.

한가지 주의할점은 파일은 전송이되지만 폴더통째로는 전송이 되지 않으므로 파일이 있는 위치까지 들어가서 파일을 선택한 이후 화살표를 누를 수 있습니다.

8. 전송상태의 확인은 My Jobs 부분에서 확인이 가능합니다.

Storage Element Tutorial

2026-07-30T06:38:56Z

Hanbi: /* uberftp를 이용한 Storage Element 사용 */

== Storage Element Tutorial ==
CRAB 등을 사용하여 얻은 데이터를 보관할 수 있는 저장 공간을 Storage Element (SE)라 합니다.
이곳에 데이터를 저장하기 위해서는 몇가지 특수한 명령어를 사용해야 합니다.

[주의 : tcsh, csh 등 에서 관련 명령어를 사용할 때, 경로 인자에 반드시 " " 를 사용해주시기 바랍니다.]

=== Overview ===

UI에 로그인 했을 때 일반 사용자가 읽고 쓸수 있는 저장공간은 다음과 같이 3가지 종류가 있습니다.

{| style="background:#f0f0f0;color:#black;white:80%;" border="1" cellpadding="5" cellspacing="0"
! 종류 !! 경로 !! 지원 프로토콜 !! 총용량 !! 사용자당 !! 용도 !! 비고
|- style="background:white; color:black"
| UI 사용자 홈
|
* /u/user/{knu_id}
| nfs
| 20 TB
| 200 GB
| 프로그램 설치 사용자 기본 작업공간
| RAID6
|- style="background:white; color:black"
| SE 사용자홈
|
* xrootd: root://cluster142.knu.ac.kr//store/user/{cern_id}/ 
* webdav: davs://cluster142.knu.ac.kr:2880/cms/store/user/{cern_id} 
* <del>srm: srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/{cern_id}</del> 
* <del>gsiftp://cluster142.knu.ac.kr:2811/pnfs/knu.ac.kr/data/cms/store/user/{cern_id}</del> 
* dcap: dcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/{cern_id} 
* gsidcap: gsidcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/{cern_id} 
* nfs: /pnfs/knu.ac.kr/data/cms/store/user/{cern_id} 
* nfs: /u/user/{knu_id}/SE_UserHome -----> /pnfs/knu.ac.kr/data/cms/store/user/{cern_id}
| xrootd, webdav, <del>srm, gsiftp,</del> dcap, gsidcap, nfs
| 1.84 PB
| 10 TB
| 데이터 보관 대용량데이터처리 프로그램설치X
| dCache, RAID6
|- style="background:white; color:black"
| 스크레치
|
* /d0/scratch 
* /u/user/{knu_id}/scratch -----> /d0/scratch/{knu_id}
| nfs
| 40 TB
|
| 임시 작업용 중요데이터 보관X
| RAID6
|}

* x509인증이 토큰 인증으로 전환되고 있는 상황이며 srm,gsiftp 프로토콜은 xrootd, webdav 프로토콜로 대체되고 있습니다.
* dcap(dCache access protocol): 인증이 필요없는 읽기 전용의 프로토콜입니다. 인증이 필요없기에 간편하게 사용할수 있지만 경북대 내부에서만 사용할수 있습니다.
* gsidcap: 그리드 인증이 필요한 dcap 프로토콜입니다. 읽기 쓰기가 모두 가능하며 경북대 내외부에서 모두 사용할 수 있습니다.
* SE에 저장되어 있는 데이터셋은 연산노드에서 dcap, xrootd, gsiftp, nfs, wedav, srm 프로토콜을 이용하여 읽을 수 있습니다.

* CERN ID와 KNU ID가 다른 사용자는 SE 사용자 홈디렉토리에 CERN ID를 기준으로 디렉토리가 생성됩니다.
* {knu_id}는 경북대에서 발급받은 ID, {cern_id}는 CERN에서 발급 받은 ID를 의미합니다. 일부 사용자들은 두 ID가 일치 하지 않습니다.
* 경북대 계정 신청시 CERN ID가 없는 사용자는 계정발급 직후 SE 사용자 홈디렉토리가 생성되지 않습니다. CERN ID를 발급 받은 후에 별도로 연락주세요.

* 현재는 저장공간의 사용자당 최대 사용량이 시스템적으로 설정되어 있지는 않습니다. 그러나 원활한 이용을 위하여 초과해서 사용이 필요한 경우에는 사전에 관리자와 협의를 부탁드립니다.
* 저장공간이 부족해질 경우 개인 사용량을 초과하는 사용자를 대상으로 사용햐지 않는 데이터의 정리를 요청하고 있습니다. 삭제요청과 함께 혹시라도 데이터가 방치되고 있지는 않은지 확인하는 작업입니다. 파일의 삭제 가능 여부와 상관없이 반드시 답장을 해주시기 바랍니다.

* 스크레치 저장공간은 불필요한 데이터를 수시로 정리해주시고 장기 보관이 필요한 데이터는 SE로 이동 부탁드립니다.
* 스크레치 디스크는 임시작업용 저장공간입니다. 데이터 손실에 대한 안전장치가 전혀 없으므로 절대 데이터 보관용으로 사용해서는 안됩니다.
* 매월 28일 90일이 지난 스크레치 디스크의 데이터는 자동으로 삭제됩니다.

=== 서비스별 스토리지 접근 ===

{| style="background:#f0f0f0;color:#black;white:80%;" border="1" cellpadding="5" cellspacing="0"
! 서비스 !! 스토리지 !! 지원 프로토콜 !! 경로 !! Grid인증 !! 비고
|- style="background:white; color:black"
| rowspan=9 | UI
| UI User Home
| nfs
| /u/user/{knu_id}
| X
|
|- style="background:white; color:black"
| UI Scratch
| nfs
| /u/user/{knu_id}/scratch -----> /d0/scratch/{knu_id}
| X
|
|- style="background:white; color:black"
| rowspan=7 | SE
| xrootd
| xrootd: root://cluster142.knu.ac.kr//store/user/{cern_id}
| O
|
|- style="background:white; color:black"
| webdav
| webdav: davs://cluster142.knu.ac.kr:2880/cms/store/user/{cern_id}
| O
|
|- style="background:white; color:black"
| <del>srm</del>
| <del>srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/{cern_id}</del>
| O
|
|- style="background:white; color:black"
| <del>gsiftp</del>
| <del>gsiftp://cluster142.knu.ac.kr:2811/pnfs/knu.ac.kr/data/cms/store/user/{cern_id}</del>
| O
|
|- style="background:white; color:black"
| dcap
| dcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/{cern_id}
| X
| 읽기전용, 레거시(비권장)
|- style="background:white; color:black"
| gsidcap
| gsidcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/{cern_id}
| O
| 레거시(비권장)
|- style="background:white; color:black"
| nfs
| /pnfs/knu.ac.kr/data/cms/store/user/{cern_id} /u/user/{knu_id}/SE_UserHome -----> /pnfs/knu.ac.kr/data/cms/store/user/{cern_id}
| X
|
|- style="background:white; color:black"
| rowspan=9 | HTCondor
| UI User Home
| nfs
| /u/user/{knu_id}
| X
|
|- style="background:white; color:black"
| UI Scratch
| nfs
| /u/user/{knu_id}/scratch -----> /d0/scratch/{knu_id}
| X
|
|- style="background:white; color:black"
| rowspan=7 | SE
| xrootd
| xrootd: root://cluster142.knu.ac.kr//store/user/{cern_id}
| O
|
|- style="background:white; color:black"
| webdav
| webdav: davs://cluster142.knu.ac.kr:2880/cms/store/user/{cern_id}
| O
|
|- style="background:white; color:black"
| <del>srm</del>
| <del>srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/{cern_id}</del>
| O
|
|- style="background:white; color:black"
| <del>gsiftp</del>
| <del>gsiftp://cluster142.knu.ac.kr:2811/pnfs/knu.ac.kr/data/cms/store/user/{cern_id}</del>
| O
|
|- style="background:white; color:black"
| dcap
| dcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/{cern_id}
| X
| 읽기전용, 레거시(비권장)
|- style="background:white; color:black"
| gsidcap
| gsidcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/{cern_id}
| O
| 레거시(비권장)
|- style="background:white; color:black"
| nfs
| /pnfs/knu.ac.kr/data/cms/store/user/{cern_id} /u/user/{knu_id}/SE_UserHome -----> /pnfs/knu.ac.kr/data/cms/store/user/{cern_id}
| X
|
|- style="background:white; color:black"

|}

* 해당 경로를 찾을 수 없다면 관리자에게 문의해 주시기 바랍니다.
* HTcondor 에서 SE에 nfs로 연결됨에 따라 dcap 이나 xrootd 와 같은 별다른 프로토콜 사용 없이 직접적으로 SE의 데이터를 읽고 쓸 수 있습니다. 

=== voms 인증 ===
* SE는 voms 인증 후 사용할수 있습니다.
$ voms-proxy-init --voms cms

=== voms 인증 정보 확인 ===
* voms 인증 정보는 다음 명령어로 확인할 수 있습니다.
$ voms-proxy-info --all
voms-proxy-info --all
subject : /DC=ch/DC=cern/OU=Organic Units/OU=Users/CN=gdhong/CN=000000/CN=Gildong Hong/CN=00000000
issuer : /DC=ch/DC=cern/OU=Organic Units/OU=Users/CN=gdhong/CN=000000/CN=Gildong Hong
identity : /DC=ch/DC=cern/OU=Organic Units/OU=Users/CN=gdhong/CN=000000/CN=Gildong Hong
type : RFC3820 compliant impersonation proxy
strength : 2048
path : /tmp/x509up_u00000
timeleft : 11:59:52
key usage : Digital Signature, Key Encipherment
=== VO cms extension information ===
VO : cms
subject : /DC=ch/DC=cern/OU=Organic Units/OU=Users/CN=gdhong/CN=000000/CN=Gildong Hong
issuer : /DC=ch/DC=cern/OU=computers/CN=voms2.cern.ch
attribute : /cms/Role=NULL/Capability=NULL
timeleft : 11:59:54
uri : voms2.cern.ch:15002

주의해야할 부분은 VO cms extension information 부분입니다. 만약 VO cms extension information 부분이 출력되지 않는다면 --voms cms 옵션을 정확하게 입력하였는지 자신의 cms vo가 만료된건 아닌지 확인 해야합니다.

=== T3_KR_KNU의 Computing Resource 실시간 조회하기 (CPU, Disk 자원 조회) ===

* UI 에서 "knuinfo" 명령어를 실행합니다.
$ knuinfo
-----------------------------------------------------------------------------------------
CPU Free Total Jobs Running Waiting ComputingElement
2509 247 2 0 0 ce01.knu.ac.kr:9619/ce01.knu.ac.kr-condor
-----------------------------------------------------------------------------------------
Avail Space(kB) Used Space(kB) Type SE
299479671320 1559004436260 xroot cluster142.knu.ac.k
-----------------------------------------------------------------------------------------

=== SE(Storage Element)의 사용자 디렉토리 경로 ===
$ srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/(username)/.../SrcFile
$ gsiftp://cluster142.knu.ac.kr:2811/pnfs/knu.ac.kr/data/cms/store/user/(username)/.../SrcFile
$ dcap://cluster142.knu.ac.kr/pnfs/knu.ac.kr/data/cms/store/user/(username)/.../SrcFile
$ gsidcap://cluster142.knu.ac.kr:22128/pnfs/knu.ac.kr/data/cms/store/user/(username)/.../SrcFile
$ root://cluster142.knu.ac.kr//store/user/(username)/.../SrcFile
$ davs://cluster142.knu.ac.kr:2880/cms/store/user/(username)/.../SrcFile

참고사항: 
- 위의 예시에서 username은 향후 data를 publish 할 경우를 대비하서 경북대 ID가 아니라 CERNID를 사용해야 합니다. 
- 계정을 발급받을 당시에 cern id가 없는 사용자는 해당 경로가 생성되지 않습니다. 
- 만약에 cern id가 있는데도 불구하고 본인의 디렉토리가 만들어져 있지 않는 경우에는 관리자에게 연락바랍니다.

=== SE에서 SE로 파일 복사하기 ===

$ gfal-copy root://cluster142.knu.ac.kr//store/user/(username)/.../SrcFile \
root://cluster142.knu.ac.kr//store/user/(username)/.../.../DestFile

$ gfal-copy davs://cluster142.knu.ac.kr:2880/cms/store/user/(username)/.../SrcFile \
davs://cluster142.knu.ac.kr:2880/cms/store/user/(username)/.../DestFile

=== SE에 있는 파일을 및 local 디렉토리로 복사하기 ===

$ gfal-copy root://cluster142.knu.ac.kr//store/user/(username)/.../SrcFile \
file:////u/user/(username)/.../DestFile

$ gfal-copy root://cluster142.knu.ac.kr//store/user/(username)/.../SrcFile \
./DestFile

$ gfal-copy davs://cluster142.knu.ac.kr:2880/cms/store/user/(username)/.../SrcFile \
file:////u/user/(username)/.../DestFile

$ gfal-copy davs://cluster142.knu.ac.kr:2880/cms/store/user/(username)/.../SrcFile \
./DestFile

$ gfal-copy gsidcap://cluster142.knu.ac.kr:22128/pnfs/knu.ac.kr/data/cms/store/user/(username)/.../SrcFile \
file:////u/user/(username)/.../DestFile

$ gfal-copy gsidcap://cluster142.knu.ac.kr/pnfs/knu.ac.kr/data/cms/store/user/(username)/.../SrcFile \
./DestFile

=== xrootd 를 활용한 SE Data 접근 방법 ===

* [[Xrootd|xrootd 을 이용하여 SE 사용하기]]

=== WebDav 프로토콜을 활용한 SE Data 접근 방법 ===

* [[WebDav|dCache에서 WebDav 프로토콜 및 마카롱 인증 사용하기]]

=== dcap을 이용한 SE Data 접근 방법 ===
* [[Dcap|dcap 을 이용하여 SE 사용하기]]

=== UI에서 NFS로 마운트된 스토리지 엘리먼트 사용하기 ===
* [[DCacheNFS|스토리지 엘리먼트의 NFS 사용 가이드]]

=== root에서 SE Data 접근 방법 ===

* xrootd 프로토콜을 이용
# 읽기
$ voms-proxy-init --voms cms
$ TFile *f = TFile::Open("root://cluster142.knu.ac.kr//store/user/(username)/test.root");
$
# 쓰기
$ voms-proxy-init --voms cms
$ root -l
root [0] TFile *f = TFile::Open("root://cluster142.knu.ac.kr//store/user/(username)/test.root", "CREATE");
root [1] f->Close();
root [2] TFile *f2 = TFile::Open("root://cluster142.knu.ac.kr//store/user/(username)/test.root", "RECREATE");
root [3] f2->Close();
root [4] .q
$

* dcap 프로토콜을 이용
# 읽기
$ TFile *f = TFile::Open("dcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/(username)/test.root");
$
# 쓰기
$ export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/lib64/dcap
$ root -l
root [0] TFile *f = TFile::Open("gsidcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/(username)/test.root", "CREATE");
root [1] f->Close();
root [2] TFile *f2 = TFile::Open("gsidcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/(username)/test.root", "RECREATE");
root [3] f2->Close();
root [4] .q
$

=== 복수의 파일을 동시에 전송하기 ===
$ /usr/local/bin/lcgcp_copyfiles list.txt

$ cat list.txt
srm://myhost.mydomain.edu:8443//dir1/dir2/sh-copy1 file:///localdir/sh1
srm://myhost.mydomain.edu:8443//dir1/dir2/sh-copy2 file:///localdir/sh2
srm://myhost.mydomain.edu:8443//dir1/dir2/sh-copy3 file:///localdir/sh3
* lcg_cp는 기본적으로 복수파일 전송을 지원하지 않으나 원본경로 대상경로를 포함하는 목록 파일을 생성한뒤, 위의 스크립트를 사용하면 복수의 파일을 전송할수 있다.

=== 복사가 정상적으로 이루어졌는지 확인 또는 디렉토리의 목록 확인 ===

$ gfal-ls -Hl davs://cluster142.knu.ac.kr:2880/cms/store/user/(username)

=== 파일 또는 디렉토리 삭제 ===

$ gfal-rm davs://cluster142.knu.ac.kr:2880/cms/store/user/(username)/test/test.file
$ <del>gfal-rm srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/(username)/test</del>
$ <del>lcg-del -d srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/(username)/test</del>

=== gfal 명령어 사용 요약 ===
$ voms-proxy-init --voms cms 로 proxy 생성후 아래 명령어를 수행하시면 됩니다.
$ 조회 : gfal-ls -Hl davs://cluster142.knu.ac.kr:2880/cms/store/user/MyAccount/FolderName
$ 복사 : gfal-copy davs://cluster142.knu.ac.kr:2880/cms/store/user/.../FileNameSrc davs://cluster142.knu.ac.kr:2880/cms/store/user/.../FileNameDest
$ 삭제 : gfal-rm davs://cluster142.knu.ac.kr:2880/cms/store/user/MyAccount/FolderName/FileName
$ 디렉토리 삭제 : <del>gfal-rm -R davs://cluster142.knu.ac.kr:2880/cms/store/user/MyAccount/FolderName</del>
* 명령어 뒤의 Option은 매뉴얼 페이지를 참고 바랍니다. (ex. man gfal-ls)
* <del>1000개 이상의 파일 포함한 폴더 내용 보기 : (ex. 500번째 파일부터 700개의 파일을 보고 싶을 경우) lcg-ls --offset 500 --count 700 srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/(DestFoler)</del>
* gfal-copy에서 "-r" 옵션을 사용하면 디렉토리까지 복사가 가능합니다.

=== gfal-copy를 이용한 디렉토리 복사 ===

gfal-copy에서 "-r" 옵션을 사용하면 서브 디렉토리까지 한번에 복사가 가능합니다. 다음과 같이 임의의 테스트 디렉토리를 만들었을때

[MyAccount@cms tmp5]$ ll
total 0
-rw-r--r-- 1 hanbi knu 0 Aug 26 17:21 aa
-rw-r--r-- 1 hanbi knu 0 Aug 26 17:21 bb
-rw-r--r-- 1 hanbi knu 0 Aug 26 17:21 cc
drwxr-xr-x 2 hanbi knu 24 Aug 26 17:22 dir1

-r 옵션을 적용해서 다음과 같이 실행하면 (로컬 디스크의 ~/MyAccount/tmp5 디렉토리를 SE의 hanbi/tmp5로 복사)

gfal-copy -r file:////u/user/MyAccount/tmp5 davs://cluster142.knu.ac.kr:2880/cms/store/user/MyAccount/tmp5

[MyAccount@cms ~]$ gfal-copy -r file:////u/user/MyAccount/tmp5 davs://cluster142.knu.ac.kr:2880/cms/store/user/MyAccount/tmp5
Mkdir davs://cluster142.knu.ac.kr:2880/cms/store/user/MyAccount/tmp5
Copying file:////u/user/MyAccount/tmp5/aa [DONE] after 0s
Copying file:////u/user/MyAccount/tmp5/bb [DONE] after 0s
Copying file:////u/user/MyAccount/tmp5/cc [DONE] after 0s
Mkdir davs://cluster142.knu.ac.kr:2880/cms/store/user/MyAccount/tmp5/dir1
Copying file:////u/user/MyAccount/tmp5/dir1/dd [DONE] after 0s
Copying file:////u/user/MyAccount/tmp5/dir1/ee [DONE] after 0s

아래와 같이 하부 디렉토리까지 스토리지 엘리먼트로 전부 전송이 되는 것을 확인 할 수 있습니다.

[hanbi@cms ~]$ ll /pnfs/knu.ac.kr/data/cms/store/user/MyAccount/tmp5
total 1
-rw-r--r-- 1 hanbi cms 0 Aug 26 17:22 aa
-rw-r--r-- 1 hanbi cms 0 Aug 26 17:22 bb
-rw-r--r-- 1 hanbi cms 0 Aug 26 17:22 cc
drwxr-xr-x 4 hanbi cms 512 Aug 26 17:22 dir1

물론 반대로 스토리지 엘리먼트에서 로컬 하드로 복사도 가능한데, 사용시 주의해야할 점은 SE의 소스 용량을 먼저 확인해서 전송을해야 로컬 하드디스크가 가득차는 것을 방지할 수 있습니다.

gfal-copy -r davs://cluster142.knu.ac.kr:2880/cms/store/user/MyAccount/tmp5 file:////u/user/MyAccount/tmp5

소스디렉토리의 크기를 확인하는 방법은 다음과 같이 확인할 수 있습니다. 다만 해당 디렉토리 아래의 크기가 매우 클 경우에는 결과가 나오는데 시간이 오래 결릴수 있습니다.

du -hs /pnfs/knu.ac.kr/data/cms/store/user/MyAccount/tmp5

===crab3를 사용한 후 gfal-* 명령어들이 오류가 발생합니다 ===

source /cvmfs/cms.cern.ch/crab3/crab.sh 실행후에 gfal-* 명령어들이 오류가 발생합니다.

$ gfal-ls -Hl davs://cluster142.knu.ac.kr:2880/cms/store/user//test/test.transfer
-rwxrwxrwx 0 0 0 4.8M Oct 12 2015 davs://cluster142.knu.ac.kr:2880/cms/store/user//test/test.transfer

$ source /cvmfs/cms.cern.ch/crab3/crab.sh

$ gfal-ls -Hl davs://cluster142.knu.ac.kr:2880/cms/store/user/test/test.transfer
Could not find platform independent libraries <prefix>
Could not find platform dependent libraries <exec_prefix>
Consider setting $PYTHONHOME to <prefix>[:<exec_prefix>]
'import site' failed; use -v for traceback
Traceback (most recent call last):
File "/usr/bin/gfal-ls", line 8, in <module>
from gfal2_util.shell import Gfal2Shell
ImportError: No module named gfal2_util.shell

crab3 에서 사용하는 python 환경변수와 gfal-* 명령어들에 문제를 일으키기 때문입니다. gfal-* 명령어 앞에 " env --unset=LD_LIBRARY_PATH "을 넣어줌으로써 문제를 해결할 수 있습니다.

$ env --unset=LD_LIBRARY_PATH gfal-ls -Hl davs://cluster142.knu.ac.kr:2880/cms/store/user/test/test.transfer
-rw-r--r-- 1 2 2 Oct 12 02:17 4.8M davs://cluster142.knu.ac.kr:2880/cms/store/user/test/test.transfer

=== cmsenv 실행후 gfal 명령어들이 정상 동작 하지 않을때 ===

cmsenv 실행후에 다음과 같은 오류가 발생한다면

Failed to add IO tunnel (libgsiTunnel.so: cannot open shared object file: No such file or directory). Provider: [libgsiTunnel.so].
Error ( POLLIN) (with data) on control line [12]
Failed to create a control line
Failed open file in the dCache.
gfal-copy: error: Input/output error

아래 명령을 먼저 실행해줌으로써 문제를 해결할 수 있습니다.

export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/lib64/dcap

=== no match 오류가 발생할때 ===

* tcsh에서 ?는 wild card로 인식이 됩니다. 따라서 tcsh을 사용하고 있다면 srm 경로에 반드시 ""를 사용해야 합니다.

=== srm*, lcg*, gfal* 주요 명령어 비교표 ===

{| style="background:#cccc99;color:#black;white:80%;" border="1" cellpadding="5" cellspacing="0"
! srm* !! lcg* !! gfal* !! 비고
|- style="background:white; color:black"
| srmls
| lcg-ls
| gfal-ls
| ls
|- style="background:#f0f0f0; color:black"
| srmcp
| lcg-cp
| gfal-copy
| cp
|- style="background:white; color:black"
| srmrm
| lcg-del
| gfal-rm
| rm
|- style="background:#f0f0f0; color:black"
| srmmkdir
|
| gfal-mkdir
| mkdir
|- style="background:white; color:black"
| srmrmdir
| lcg-del -d
| gfal-rm -R
| rmdir
|- style="background:#f0f0f0; color:black"
|
|
| gfal-cat
| cat

|}

=== <del>uberftp를 이용한 Storage Element 사용</del> ===

* [[ uberftp | uberftp 사용법으로 가기 ]]

=== WebFTS를 이용한 Storage Element 로의 Data 전송 ===
* [[ Webfts | WebFTS 사용법으로 가기 ]]

=== T3_KR_KNU 저장공간(Disk) 활용 분류 ===

* Storage Element (srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/...)
: 대용량 저장 공간으로 장기간 보관이 가능합니다.
- rucio를 통해 전송된 DataSet 저장
- Crab Analysis 이후의 결과파일 저장
srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/
UI에서는 ~/SE_UserHome/ 에서 확인할 수 있습니다.
: 현재 약 1.45 PB의 공간을 마련하여 운영하고 있습니다.
: 사용자의 데이터 저장으로 공간이 부족할 경우, 사전 설문을 통해 더 이상 사용하지 않는 과거 데이터의 삭제 요청을 드릴 수 있습니다.

* User Home Directory (/u/user/...)
: 기본적인 설정 사항, 사용자가 필요한 소프트웨어 등을 설치 및 보관하는 장소입니다.
: 약 20 TB 규모의 공간입니다.
: 모든 사용자가 20 TB를 나누어 사용하므로 용량이 큰 데이터의 보관은 가급적 삼가해 주시기 바랍니다.

* Scratch Disk
: UI에 총 1개의 임시 저장공간이 있습니다.
- /d0 : 약 40 TB RAID6 Disk
: Sratch 디스크는 임시 저장공간으로 중요한 데이터 및 장기 보관 데이터는 반드시 Storage Element로 이동하여 주시기 바랍니다.

Storage Element Tutorial

2026-07-30T06:38:33Z

Hanbi: /* gfal 명령어 사용 요약 */

== Storage Element Tutorial ==
CRAB 등을 사용하여 얻은 데이터를 보관할 수 있는 저장 공간을 Storage Element (SE)라 합니다.
이곳에 데이터를 저장하기 위해서는 몇가지 특수한 명령어를 사용해야 합니다.

[주의 : tcsh, csh 등 에서 관련 명령어를 사용할 때, 경로 인자에 반드시 " " 를 사용해주시기 바랍니다.]

=== Overview ===

UI에 로그인 했을 때 일반 사용자가 읽고 쓸수 있는 저장공간은 다음과 같이 3가지 종류가 있습니다.

{| style="background:#f0f0f0;color:#black;white:80%;" border="1" cellpadding="5" cellspacing="0"
! 종류 !! 경로 !! 지원 프로토콜 !! 총용량 !! 사용자당 !! 용도 !! 비고
|- style="background:white; color:black"
| UI 사용자 홈
|
* /u/user/{knu_id}
| nfs
| 20 TB
| 200 GB
| 프로그램 설치 사용자 기본 작업공간
| RAID6
|- style="background:white; color:black"
| SE 사용자홈
|
* xrootd: root://cluster142.knu.ac.kr//store/user/{cern_id}/ 
* webdav: davs://cluster142.knu.ac.kr:2880/cms/store/user/{cern_id} 
* <del>srm: srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/{cern_id}</del> 
* <del>gsiftp://cluster142.knu.ac.kr:2811/pnfs/knu.ac.kr/data/cms/store/user/{cern_id}</del> 
* dcap: dcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/{cern_id} 
* gsidcap: gsidcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/{cern_id} 
* nfs: /pnfs/knu.ac.kr/data/cms/store/user/{cern_id} 
* nfs: /u/user/{knu_id}/SE_UserHome -----> /pnfs/knu.ac.kr/data/cms/store/user/{cern_id}
| xrootd, webdav, <del>srm, gsiftp,</del> dcap, gsidcap, nfs
| 1.84 PB
| 10 TB
| 데이터 보관 대용량데이터처리 프로그램설치X
| dCache, RAID6
|- style="background:white; color:black"
| 스크레치
|
* /d0/scratch 
* /u/user/{knu_id}/scratch -----> /d0/scratch/{knu_id}
| nfs
| 40 TB
|
| 임시 작업용 중요데이터 보관X
| RAID6
|}

* x509인증이 토큰 인증으로 전환되고 있는 상황이며 srm,gsiftp 프로토콜은 xrootd, webdav 프로토콜로 대체되고 있습니다.
* dcap(dCache access protocol): 인증이 필요없는 읽기 전용의 프로토콜입니다. 인증이 필요없기에 간편하게 사용할수 있지만 경북대 내부에서만 사용할수 있습니다.
* gsidcap: 그리드 인증이 필요한 dcap 프로토콜입니다. 읽기 쓰기가 모두 가능하며 경북대 내외부에서 모두 사용할 수 있습니다.
* SE에 저장되어 있는 데이터셋은 연산노드에서 dcap, xrootd, gsiftp, nfs, wedav, srm 프로토콜을 이용하여 읽을 수 있습니다.

* CERN ID와 KNU ID가 다른 사용자는 SE 사용자 홈디렉토리에 CERN ID를 기준으로 디렉토리가 생성됩니다.
* {knu_id}는 경북대에서 발급받은 ID, {cern_id}는 CERN에서 발급 받은 ID를 의미합니다. 일부 사용자들은 두 ID가 일치 하지 않습니다.
* 경북대 계정 신청시 CERN ID가 없는 사용자는 계정발급 직후 SE 사용자 홈디렉토리가 생성되지 않습니다. CERN ID를 발급 받은 후에 별도로 연락주세요.

* 현재는 저장공간의 사용자당 최대 사용량이 시스템적으로 설정되어 있지는 않습니다. 그러나 원활한 이용을 위하여 초과해서 사용이 필요한 경우에는 사전에 관리자와 협의를 부탁드립니다.
* 저장공간이 부족해질 경우 개인 사용량을 초과하는 사용자를 대상으로 사용햐지 않는 데이터의 정리를 요청하고 있습니다. 삭제요청과 함께 혹시라도 데이터가 방치되고 있지는 않은지 확인하는 작업입니다. 파일의 삭제 가능 여부와 상관없이 반드시 답장을 해주시기 바랍니다.

* 스크레치 저장공간은 불필요한 데이터를 수시로 정리해주시고 장기 보관이 필요한 데이터는 SE로 이동 부탁드립니다.
* 스크레치 디스크는 임시작업용 저장공간입니다. 데이터 손실에 대한 안전장치가 전혀 없으므로 절대 데이터 보관용으로 사용해서는 안됩니다.
* 매월 28일 90일이 지난 스크레치 디스크의 데이터는 자동으로 삭제됩니다.

=== 서비스별 스토리지 접근 ===

{| style="background:#f0f0f0;color:#black;white:80%;" border="1" cellpadding="5" cellspacing="0"
! 서비스 !! 스토리지 !! 지원 프로토콜 !! 경로 !! Grid인증 !! 비고
|- style="background:white; color:black"
| rowspan=9 | UI
| UI User Home
| nfs
| /u/user/{knu_id}
| X
|
|- style="background:white; color:black"
| UI Scratch
| nfs
| /u/user/{knu_id}/scratch -----> /d0/scratch/{knu_id}
| X
|
|- style="background:white; color:black"
| rowspan=7 | SE
| xrootd
| xrootd: root://cluster142.knu.ac.kr//store/user/{cern_id}
| O
|
|- style="background:white; color:black"
| webdav
| webdav: davs://cluster142.knu.ac.kr:2880/cms/store/user/{cern_id}
| O
|
|- style="background:white; color:black"
| <del>srm</del>
| <del>srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/{cern_id}</del>
| O
|
|- style="background:white; color:black"
| <del>gsiftp</del>
| <del>gsiftp://cluster142.knu.ac.kr:2811/pnfs/knu.ac.kr/data/cms/store/user/{cern_id}</del>
| O
|
|- style="background:white; color:black"
| dcap
| dcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/{cern_id}
| X
| 읽기전용, 레거시(비권장)
|- style="background:white; color:black"
| gsidcap
| gsidcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/{cern_id}
| O
| 레거시(비권장)
|- style="background:white; color:black"
| nfs
| /pnfs/knu.ac.kr/data/cms/store/user/{cern_id} /u/user/{knu_id}/SE_UserHome -----> /pnfs/knu.ac.kr/data/cms/store/user/{cern_id}
| X
|
|- style="background:white; color:black"
| rowspan=9 | HTCondor
| UI User Home
| nfs
| /u/user/{knu_id}
| X
|
|- style="background:white; color:black"
| UI Scratch
| nfs
| /u/user/{knu_id}/scratch -----> /d0/scratch/{knu_id}
| X
|
|- style="background:white; color:black"
| rowspan=7 | SE
| xrootd
| xrootd: root://cluster142.knu.ac.kr//store/user/{cern_id}
| O
|
|- style="background:white; color:black"
| webdav
| webdav: davs://cluster142.knu.ac.kr:2880/cms/store/user/{cern_id}
| O
|
|- style="background:white; color:black"
| <del>srm</del>
| <del>srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/{cern_id}</del>
| O
|
|- style="background:white; color:black"
| <del>gsiftp</del>
| <del>gsiftp://cluster142.knu.ac.kr:2811/pnfs/knu.ac.kr/data/cms/store/user/{cern_id}</del>
| O
|
|- style="background:white; color:black"
| dcap
| dcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/{cern_id}
| X
| 읽기전용, 레거시(비권장)
|- style="background:white; color:black"
| gsidcap
| gsidcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/{cern_id}
| O
| 레거시(비권장)
|- style="background:white; color:black"
| nfs
| /pnfs/knu.ac.kr/data/cms/store/user/{cern_id} /u/user/{knu_id}/SE_UserHome -----> /pnfs/knu.ac.kr/data/cms/store/user/{cern_id}
| X
|
|- style="background:white; color:black"

|}

* 해당 경로를 찾을 수 없다면 관리자에게 문의해 주시기 바랍니다.
* HTcondor 에서 SE에 nfs로 연결됨에 따라 dcap 이나 xrootd 와 같은 별다른 프로토콜 사용 없이 직접적으로 SE의 데이터를 읽고 쓸 수 있습니다. 

=== voms 인증 ===
* SE는 voms 인증 후 사용할수 있습니다.
$ voms-proxy-init --voms cms

=== voms 인증 정보 확인 ===
* voms 인증 정보는 다음 명령어로 확인할 수 있습니다.
$ voms-proxy-info --all
voms-proxy-info --all
subject : /DC=ch/DC=cern/OU=Organic Units/OU=Users/CN=gdhong/CN=000000/CN=Gildong Hong/CN=00000000
issuer : /DC=ch/DC=cern/OU=Organic Units/OU=Users/CN=gdhong/CN=000000/CN=Gildong Hong
identity : /DC=ch/DC=cern/OU=Organic Units/OU=Users/CN=gdhong/CN=000000/CN=Gildong Hong
type : RFC3820 compliant impersonation proxy
strength : 2048
path : /tmp/x509up_u00000
timeleft : 11:59:52
key usage : Digital Signature, Key Encipherment
=== VO cms extension information ===
VO : cms
subject : /DC=ch/DC=cern/OU=Organic Units/OU=Users/CN=gdhong/CN=000000/CN=Gildong Hong
issuer : /DC=ch/DC=cern/OU=computers/CN=voms2.cern.ch
attribute : /cms/Role=NULL/Capability=NULL
timeleft : 11:59:54
uri : voms2.cern.ch:15002

주의해야할 부분은 VO cms extension information 부분입니다. 만약 VO cms extension information 부분이 출력되지 않는다면 --voms cms 옵션을 정확하게 입력하였는지 자신의 cms vo가 만료된건 아닌지 확인 해야합니다.

=== T3_KR_KNU의 Computing Resource 실시간 조회하기 (CPU, Disk 자원 조회) ===

* UI 에서 "knuinfo" 명령어를 실행합니다.
$ knuinfo
-----------------------------------------------------------------------------------------
CPU Free Total Jobs Running Waiting ComputingElement
2509 247 2 0 0 ce01.knu.ac.kr:9619/ce01.knu.ac.kr-condor
-----------------------------------------------------------------------------------------
Avail Space(kB) Used Space(kB) Type SE
299479671320 1559004436260 xroot cluster142.knu.ac.k
-----------------------------------------------------------------------------------------

=== SE(Storage Element)의 사용자 디렉토리 경로 ===
$ srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/(username)/.../SrcFile
$ gsiftp://cluster142.knu.ac.kr:2811/pnfs/knu.ac.kr/data/cms/store/user/(username)/.../SrcFile
$ dcap://cluster142.knu.ac.kr/pnfs/knu.ac.kr/data/cms/store/user/(username)/.../SrcFile
$ gsidcap://cluster142.knu.ac.kr:22128/pnfs/knu.ac.kr/data/cms/store/user/(username)/.../SrcFile
$ root://cluster142.knu.ac.kr//store/user/(username)/.../SrcFile
$ davs://cluster142.knu.ac.kr:2880/cms/store/user/(username)/.../SrcFile

참고사항: 
- 위의 예시에서 username은 향후 data를 publish 할 경우를 대비하서 경북대 ID가 아니라 CERNID를 사용해야 합니다. 
- 계정을 발급받을 당시에 cern id가 없는 사용자는 해당 경로가 생성되지 않습니다. 
- 만약에 cern id가 있는데도 불구하고 본인의 디렉토리가 만들어져 있지 않는 경우에는 관리자에게 연락바랍니다.

=== SE에서 SE로 파일 복사하기 ===

$ gfal-copy root://cluster142.knu.ac.kr//store/user/(username)/.../SrcFile \
root://cluster142.knu.ac.kr//store/user/(username)/.../.../DestFile

$ gfal-copy davs://cluster142.knu.ac.kr:2880/cms/store/user/(username)/.../SrcFile \
davs://cluster142.knu.ac.kr:2880/cms/store/user/(username)/.../DestFile

=== SE에 있는 파일을 및 local 디렉토리로 복사하기 ===

$ gfal-copy root://cluster142.knu.ac.kr//store/user/(username)/.../SrcFile \
file:////u/user/(username)/.../DestFile

$ gfal-copy root://cluster142.knu.ac.kr//store/user/(username)/.../SrcFile \
./DestFile

$ gfal-copy davs://cluster142.knu.ac.kr:2880/cms/store/user/(username)/.../SrcFile \
file:////u/user/(username)/.../DestFile

$ gfal-copy davs://cluster142.knu.ac.kr:2880/cms/store/user/(username)/.../SrcFile \
./DestFile

$ gfal-copy gsidcap://cluster142.knu.ac.kr:22128/pnfs/knu.ac.kr/data/cms/store/user/(username)/.../SrcFile \
file:////u/user/(username)/.../DestFile

$ gfal-copy gsidcap://cluster142.knu.ac.kr/pnfs/knu.ac.kr/data/cms/store/user/(username)/.../SrcFile \
./DestFile

=== xrootd 를 활용한 SE Data 접근 방법 ===

* [[Xrootd|xrootd 을 이용하여 SE 사용하기]]

=== WebDav 프로토콜을 활용한 SE Data 접근 방법 ===

* [[WebDav|dCache에서 WebDav 프로토콜 및 마카롱 인증 사용하기]]

=== dcap을 이용한 SE Data 접근 방법 ===
* [[Dcap|dcap 을 이용하여 SE 사용하기]]

=== UI에서 NFS로 마운트된 스토리지 엘리먼트 사용하기 ===
* [[DCacheNFS|스토리지 엘리먼트의 NFS 사용 가이드]]

=== root에서 SE Data 접근 방법 ===

* xrootd 프로토콜을 이용
# 읽기
$ voms-proxy-init --voms cms
$ TFile *f = TFile::Open("root://cluster142.knu.ac.kr//store/user/(username)/test.root");
$
# 쓰기
$ voms-proxy-init --voms cms
$ root -l
root [0] TFile *f = TFile::Open("root://cluster142.knu.ac.kr//store/user/(username)/test.root", "CREATE");
root [1] f->Close();
root [2] TFile *f2 = TFile::Open("root://cluster142.knu.ac.kr//store/user/(username)/test.root", "RECREATE");
root [3] f2->Close();
root [4] .q
$

* dcap 프로토콜을 이용
# 읽기
$ TFile *f = TFile::Open("dcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/(username)/test.root");
$
# 쓰기
$ export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/lib64/dcap
$ root -l
root [0] TFile *f = TFile::Open("gsidcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/(username)/test.root", "CREATE");
root [1] f->Close();
root [2] TFile *f2 = TFile::Open("gsidcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/(username)/test.root", "RECREATE");
root [3] f2->Close();
root [4] .q
$

=== 복수의 파일을 동시에 전송하기 ===
$ /usr/local/bin/lcgcp_copyfiles list.txt

$ cat list.txt
srm://myhost.mydomain.edu:8443//dir1/dir2/sh-copy1 file:///localdir/sh1
srm://myhost.mydomain.edu:8443//dir1/dir2/sh-copy2 file:///localdir/sh2
srm://myhost.mydomain.edu:8443//dir1/dir2/sh-copy3 file:///localdir/sh3
* lcg_cp는 기본적으로 복수파일 전송을 지원하지 않으나 원본경로 대상경로를 포함하는 목록 파일을 생성한뒤, 위의 스크립트를 사용하면 복수의 파일을 전송할수 있다.

=== 복사가 정상적으로 이루어졌는지 확인 또는 디렉토리의 목록 확인 ===

$ gfal-ls -Hl davs://cluster142.knu.ac.kr:2880/cms/store/user/(username)

=== 파일 또는 디렉토리 삭제 ===

$ gfal-rm davs://cluster142.knu.ac.kr:2880/cms/store/user/(username)/test/test.file
$ <del>gfal-rm srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/(username)/test</del>
$ <del>lcg-del -d srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/(username)/test</del>

=== gfal 명령어 사용 요약 ===
$ voms-proxy-init --voms cms 로 proxy 생성후 아래 명령어를 수행하시면 됩니다.
$ 조회 : gfal-ls -Hl davs://cluster142.knu.ac.kr:2880/cms/store/user/MyAccount/FolderName
$ 복사 : gfal-copy davs://cluster142.knu.ac.kr:2880/cms/store/user/.../FileNameSrc davs://cluster142.knu.ac.kr:2880/cms/store/user/.../FileNameDest
$ 삭제 : gfal-rm davs://cluster142.knu.ac.kr:2880/cms/store/user/MyAccount/FolderName/FileName
$ 디렉토리 삭제 : <del>gfal-rm -R davs://cluster142.knu.ac.kr:2880/cms/store/user/MyAccount/FolderName</del>
* 명령어 뒤의 Option은 매뉴얼 페이지를 참고 바랍니다. (ex. man gfal-ls)
* <del>1000개 이상의 파일 포함한 폴더 내용 보기 : (ex. 500번째 파일부터 700개의 파일을 보고 싶을 경우) lcg-ls --offset 500 --count 700 srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/(DestFoler)</del>
* gfal-copy에서 "-r" 옵션을 사용하면 디렉토리까지 복사가 가능합니다.

=== gfal-copy를 이용한 디렉토리 복사 ===

gfal-copy에서 "-r" 옵션을 사용하면 서브 디렉토리까지 한번에 복사가 가능합니다. 다음과 같이 임의의 테스트 디렉토리를 만들었을때

[MyAccount@cms tmp5]$ ll
total 0
-rw-r--r-- 1 hanbi knu 0 Aug 26 17:21 aa
-rw-r--r-- 1 hanbi knu 0 Aug 26 17:21 bb
-rw-r--r-- 1 hanbi knu 0 Aug 26 17:21 cc
drwxr-xr-x 2 hanbi knu 24 Aug 26 17:22 dir1

-r 옵션을 적용해서 다음과 같이 실행하면 (로컬 디스크의 ~/MyAccount/tmp5 디렉토리를 SE의 hanbi/tmp5로 복사)

gfal-copy -r file:////u/user/MyAccount/tmp5 davs://cluster142.knu.ac.kr:2880/cms/store/user/MyAccount/tmp5

[MyAccount@cms ~]$ gfal-copy -r file:////u/user/MyAccount/tmp5 davs://cluster142.knu.ac.kr:2880/cms/store/user/MyAccount/tmp5
Mkdir davs://cluster142.knu.ac.kr:2880/cms/store/user/MyAccount/tmp5
Copying file:////u/user/MyAccount/tmp5/aa [DONE] after 0s
Copying file:////u/user/MyAccount/tmp5/bb [DONE] after 0s
Copying file:////u/user/MyAccount/tmp5/cc [DONE] after 0s
Mkdir davs://cluster142.knu.ac.kr:2880/cms/store/user/MyAccount/tmp5/dir1
Copying file:////u/user/MyAccount/tmp5/dir1/dd [DONE] after 0s
Copying file:////u/user/MyAccount/tmp5/dir1/ee [DONE] after 0s

아래와 같이 하부 디렉토리까지 스토리지 엘리먼트로 전부 전송이 되는 것을 확인 할 수 있습니다.

[hanbi@cms ~]$ ll /pnfs/knu.ac.kr/data/cms/store/user/MyAccount/tmp5
total 1
-rw-r--r-- 1 hanbi cms 0 Aug 26 17:22 aa
-rw-r--r-- 1 hanbi cms 0 Aug 26 17:22 bb
-rw-r--r-- 1 hanbi cms 0 Aug 26 17:22 cc
drwxr-xr-x 4 hanbi cms 512 Aug 26 17:22 dir1

물론 반대로 스토리지 엘리먼트에서 로컬 하드로 복사도 가능한데, 사용시 주의해야할 점은 SE의 소스 용량을 먼저 확인해서 전송을해야 로컬 하드디스크가 가득차는 것을 방지할 수 있습니다.

gfal-copy -r davs://cluster142.knu.ac.kr:2880/cms/store/user/MyAccount/tmp5 file:////u/user/MyAccount/tmp5

소스디렉토리의 크기를 확인하는 방법은 다음과 같이 확인할 수 있습니다. 다만 해당 디렉토리 아래의 크기가 매우 클 경우에는 결과가 나오는데 시간이 오래 결릴수 있습니다.

du -hs /pnfs/knu.ac.kr/data/cms/store/user/MyAccount/tmp5

===crab3를 사용한 후 gfal-* 명령어들이 오류가 발생합니다 ===

source /cvmfs/cms.cern.ch/crab3/crab.sh 실행후에 gfal-* 명령어들이 오류가 발생합니다.

$ gfal-ls -Hl davs://cluster142.knu.ac.kr:2880/cms/store/user//test/test.transfer
-rwxrwxrwx 0 0 0 4.8M Oct 12 2015 davs://cluster142.knu.ac.kr:2880/cms/store/user//test/test.transfer

$ source /cvmfs/cms.cern.ch/crab3/crab.sh

$ gfal-ls -Hl davs://cluster142.knu.ac.kr:2880/cms/store/user/test/test.transfer
Could not find platform independent libraries <prefix>
Could not find platform dependent libraries <exec_prefix>
Consider setting $PYTHONHOME to <prefix>[:<exec_prefix>]
'import site' failed; use -v for traceback
Traceback (most recent call last):
File "/usr/bin/gfal-ls", line 8, in <module>
from gfal2_util.shell import Gfal2Shell
ImportError: No module named gfal2_util.shell

crab3 에서 사용하는 python 환경변수와 gfal-* 명령어들에 문제를 일으키기 때문입니다. gfal-* 명령어 앞에 " env --unset=LD_LIBRARY_PATH "을 넣어줌으로써 문제를 해결할 수 있습니다.

$ env --unset=LD_LIBRARY_PATH gfal-ls -Hl davs://cluster142.knu.ac.kr:2880/cms/store/user/test/test.transfer
-rw-r--r-- 1 2 2 Oct 12 02:17 4.8M davs://cluster142.knu.ac.kr:2880/cms/store/user/test/test.transfer

=== cmsenv 실행후 gfal 명령어들이 정상 동작 하지 않을때 ===

cmsenv 실행후에 다음과 같은 오류가 발생한다면

Failed to add IO tunnel (libgsiTunnel.so: cannot open shared object file: No such file or directory). Provider: [libgsiTunnel.so].
Error ( POLLIN) (with data) on control line [12]
Failed to create a control line
Failed open file in the dCache.
gfal-copy: error: Input/output error

아래 명령을 먼저 실행해줌으로써 문제를 해결할 수 있습니다.

export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/lib64/dcap

=== no match 오류가 발생할때 ===

* tcsh에서 ?는 wild card로 인식이 됩니다. 따라서 tcsh을 사용하고 있다면 srm 경로에 반드시 ""를 사용해야 합니다.

=== srm*, lcg*, gfal* 주요 명령어 비교표 ===

{| style="background:#cccc99;color:#black;white:80%;" border="1" cellpadding="5" cellspacing="0"
! srm* !! lcg* !! gfal* !! 비고
|- style="background:white; color:black"
| srmls
| lcg-ls
| gfal-ls
| ls
|- style="background:#f0f0f0; color:black"
| srmcp
| lcg-cp
| gfal-copy
| cp
|- style="background:white; color:black"
| srmrm
| lcg-del
| gfal-rm
| rm
|- style="background:#f0f0f0; color:black"
| srmmkdir
|
| gfal-mkdir
| mkdir
|- style="background:white; color:black"
| srmrmdir
| lcg-del -d
| gfal-rm -R
| rmdir
|- style="background:#f0f0f0; color:black"
|
|
| gfal-cat
| cat

|}

=== uberftp를 이용한 Storage Element 사용 ===

* [[ uberftp | uberftp 사용법으로 가기 ]]

=== WebFTS를 이용한 Storage Element 로의 Data 전송 ===
* [[ Webfts | WebFTS 사용법으로 가기 ]]

=== T3_KR_KNU 저장공간(Disk) 활용 분류 ===

* Storage Element (srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/...)
: 대용량 저장 공간으로 장기간 보관이 가능합니다.
- rucio를 통해 전송된 DataSet 저장
- Crab Analysis 이후의 결과파일 저장
srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/
UI에서는 ~/SE_UserHome/ 에서 확인할 수 있습니다.
: 현재 약 1.45 PB의 공간을 마련하여 운영하고 있습니다.
: 사용자의 데이터 저장으로 공간이 부족할 경우, 사전 설문을 통해 더 이상 사용하지 않는 과거 데이터의 삭제 요청을 드릴 수 있습니다.

* User Home Directory (/u/user/...)
: 기본적인 설정 사항, 사용자가 필요한 소프트웨어 등을 설치 및 보관하는 장소입니다.
: 약 20 TB 규모의 공간입니다.
: 모든 사용자가 20 TB를 나누어 사용하므로 용량이 큰 데이터의 보관은 가급적 삼가해 주시기 바랍니다.

* Scratch Disk
: UI에 총 1개의 임시 저장공간이 있습니다.
- /d0 : 약 40 TB RAID6 Disk
: Sratch 디스크는 임시 저장공간으로 중요한 데이터 및 장기 보관 데이터는 반드시 Storage Element로 이동하여 주시기 바랍니다.

Storage Element Tutorial

2026-07-30T06:37:44Z

Hanbi: /* 파일 또는 디렉토리 삭제 */

== Storage Element Tutorial ==
CRAB 등을 사용하여 얻은 데이터를 보관할 수 있는 저장 공간을 Storage Element (SE)라 합니다.
이곳에 데이터를 저장하기 위해서는 몇가지 특수한 명령어를 사용해야 합니다.

[주의 : tcsh, csh 등 에서 관련 명령어를 사용할 때, 경로 인자에 반드시 " " 를 사용해주시기 바랍니다.]

=== Overview ===

UI에 로그인 했을 때 일반 사용자가 읽고 쓸수 있는 저장공간은 다음과 같이 3가지 종류가 있습니다.

{| style="background:#f0f0f0;color:#black;white:80%;" border="1" cellpadding="5" cellspacing="0"
! 종류 !! 경로 !! 지원 프로토콜 !! 총용량 !! 사용자당 !! 용도 !! 비고
|- style="background:white; color:black"
| UI 사용자 홈
|
* /u/user/{knu_id}
| nfs
| 20 TB
| 200 GB
| 프로그램 설치 사용자 기본 작업공간
| RAID6
|- style="background:white; color:black"
| SE 사용자홈
|
* xrootd: root://cluster142.knu.ac.kr//store/user/{cern_id}/ 
* webdav: davs://cluster142.knu.ac.kr:2880/cms/store/user/{cern_id} 
* <del>srm: srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/{cern_id}</del> 
* <del>gsiftp://cluster142.knu.ac.kr:2811/pnfs/knu.ac.kr/data/cms/store/user/{cern_id}</del> 
* dcap: dcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/{cern_id} 
* gsidcap: gsidcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/{cern_id} 
* nfs: /pnfs/knu.ac.kr/data/cms/store/user/{cern_id} 
* nfs: /u/user/{knu_id}/SE_UserHome -----> /pnfs/knu.ac.kr/data/cms/store/user/{cern_id}
| xrootd, webdav, <del>srm, gsiftp,</del> dcap, gsidcap, nfs
| 1.84 PB
| 10 TB
| 데이터 보관 대용량데이터처리 프로그램설치X
| dCache, RAID6
|- style="background:white; color:black"
| 스크레치
|
* /d0/scratch 
* /u/user/{knu_id}/scratch -----> /d0/scratch/{knu_id}
| nfs
| 40 TB
|
| 임시 작업용 중요데이터 보관X
| RAID6
|}

* x509인증이 토큰 인증으로 전환되고 있는 상황이며 srm,gsiftp 프로토콜은 xrootd, webdav 프로토콜로 대체되고 있습니다.
* dcap(dCache access protocol): 인증이 필요없는 읽기 전용의 프로토콜입니다. 인증이 필요없기에 간편하게 사용할수 있지만 경북대 내부에서만 사용할수 있습니다.
* gsidcap: 그리드 인증이 필요한 dcap 프로토콜입니다. 읽기 쓰기가 모두 가능하며 경북대 내외부에서 모두 사용할 수 있습니다.
* SE에 저장되어 있는 데이터셋은 연산노드에서 dcap, xrootd, gsiftp, nfs, wedav, srm 프로토콜을 이용하여 읽을 수 있습니다.

* CERN ID와 KNU ID가 다른 사용자는 SE 사용자 홈디렉토리에 CERN ID를 기준으로 디렉토리가 생성됩니다.
* {knu_id}는 경북대에서 발급받은 ID, {cern_id}는 CERN에서 발급 받은 ID를 의미합니다. 일부 사용자들은 두 ID가 일치 하지 않습니다.
* 경북대 계정 신청시 CERN ID가 없는 사용자는 계정발급 직후 SE 사용자 홈디렉토리가 생성되지 않습니다. CERN ID를 발급 받은 후에 별도로 연락주세요.

* 현재는 저장공간의 사용자당 최대 사용량이 시스템적으로 설정되어 있지는 않습니다. 그러나 원활한 이용을 위하여 초과해서 사용이 필요한 경우에는 사전에 관리자와 협의를 부탁드립니다.
* 저장공간이 부족해질 경우 개인 사용량을 초과하는 사용자를 대상으로 사용햐지 않는 데이터의 정리를 요청하고 있습니다. 삭제요청과 함께 혹시라도 데이터가 방치되고 있지는 않은지 확인하는 작업입니다. 파일의 삭제 가능 여부와 상관없이 반드시 답장을 해주시기 바랍니다.

* 스크레치 저장공간은 불필요한 데이터를 수시로 정리해주시고 장기 보관이 필요한 데이터는 SE로 이동 부탁드립니다.
* 스크레치 디스크는 임시작업용 저장공간입니다. 데이터 손실에 대한 안전장치가 전혀 없으므로 절대 데이터 보관용으로 사용해서는 안됩니다.
* 매월 28일 90일이 지난 스크레치 디스크의 데이터는 자동으로 삭제됩니다.

=== 서비스별 스토리지 접근 ===

{| style="background:#f0f0f0;color:#black;white:80%;" border="1" cellpadding="5" cellspacing="0"
! 서비스 !! 스토리지 !! 지원 프로토콜 !! 경로 !! Grid인증 !! 비고
|- style="background:white; color:black"
| rowspan=9 | UI
| UI User Home
| nfs
| /u/user/{knu_id}
| X
|
|- style="background:white; color:black"
| UI Scratch
| nfs
| /u/user/{knu_id}/scratch -----> /d0/scratch/{knu_id}
| X
|
|- style="background:white; color:black"
| rowspan=7 | SE
| xrootd
| xrootd: root://cluster142.knu.ac.kr//store/user/{cern_id}
| O
|
|- style="background:white; color:black"
| webdav
| webdav: davs://cluster142.knu.ac.kr:2880/cms/store/user/{cern_id}
| O
|
|- style="background:white; color:black"
| <del>srm</del>
| <del>srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/{cern_id}</del>
| O
|
|- style="background:white; color:black"
| <del>gsiftp</del>
| <del>gsiftp://cluster142.knu.ac.kr:2811/pnfs/knu.ac.kr/data/cms/store/user/{cern_id}</del>
| O
|
|- style="background:white; color:black"
| dcap
| dcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/{cern_id}
| X
| 읽기전용, 레거시(비권장)
|- style="background:white; color:black"
| gsidcap
| gsidcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/{cern_id}
| O
| 레거시(비권장)
|- style="background:white; color:black"
| nfs
| /pnfs/knu.ac.kr/data/cms/store/user/{cern_id} /u/user/{knu_id}/SE_UserHome -----> /pnfs/knu.ac.kr/data/cms/store/user/{cern_id}
| X
|
|- style="background:white; color:black"
| rowspan=9 | HTCondor
| UI User Home
| nfs
| /u/user/{knu_id}
| X
|
|- style="background:white; color:black"
| UI Scratch
| nfs
| /u/user/{knu_id}/scratch -----> /d0/scratch/{knu_id}
| X
|
|- style="background:white; color:black"
| rowspan=7 | SE
| xrootd
| xrootd: root://cluster142.knu.ac.kr//store/user/{cern_id}
| O
|
|- style="background:white; color:black"
| webdav
| webdav: davs://cluster142.knu.ac.kr:2880/cms/store/user/{cern_id}
| O
|
|- style="background:white; color:black"
| <del>srm</del>
| <del>srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/{cern_id}</del>
| O
|
|- style="background:white; color:black"
| <del>gsiftp</del>
| <del>gsiftp://cluster142.knu.ac.kr:2811/pnfs/knu.ac.kr/data/cms/store/user/{cern_id}</del>
| O
|
|- style="background:white; color:black"
| dcap
| dcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/{cern_id}
| X
| 읽기전용, 레거시(비권장)
|- style="background:white; color:black"
| gsidcap
| gsidcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/{cern_id}
| O
| 레거시(비권장)
|- style="background:white; color:black"
| nfs
| /pnfs/knu.ac.kr/data/cms/store/user/{cern_id} /u/user/{knu_id}/SE_UserHome -----> /pnfs/knu.ac.kr/data/cms/store/user/{cern_id}
| X
|
|- style="background:white; color:black"

|}

* 해당 경로를 찾을 수 없다면 관리자에게 문의해 주시기 바랍니다.
* HTcondor 에서 SE에 nfs로 연결됨에 따라 dcap 이나 xrootd 와 같은 별다른 프로토콜 사용 없이 직접적으로 SE의 데이터를 읽고 쓸 수 있습니다. 

=== voms 인증 ===
* SE는 voms 인증 후 사용할수 있습니다.
$ voms-proxy-init --voms cms

=== voms 인증 정보 확인 ===
* voms 인증 정보는 다음 명령어로 확인할 수 있습니다.
$ voms-proxy-info --all
voms-proxy-info --all
subject : /DC=ch/DC=cern/OU=Organic Units/OU=Users/CN=gdhong/CN=000000/CN=Gildong Hong/CN=00000000
issuer : /DC=ch/DC=cern/OU=Organic Units/OU=Users/CN=gdhong/CN=000000/CN=Gildong Hong
identity : /DC=ch/DC=cern/OU=Organic Units/OU=Users/CN=gdhong/CN=000000/CN=Gildong Hong
type : RFC3820 compliant impersonation proxy
strength : 2048
path : /tmp/x509up_u00000
timeleft : 11:59:52
key usage : Digital Signature, Key Encipherment
=== VO cms extension information ===
VO : cms
subject : /DC=ch/DC=cern/OU=Organic Units/OU=Users/CN=gdhong/CN=000000/CN=Gildong Hong
issuer : /DC=ch/DC=cern/OU=computers/CN=voms2.cern.ch
attribute : /cms/Role=NULL/Capability=NULL
timeleft : 11:59:54
uri : voms2.cern.ch:15002

주의해야할 부분은 VO cms extension information 부분입니다. 만약 VO cms extension information 부분이 출력되지 않는다면 --voms cms 옵션을 정확하게 입력하였는지 자신의 cms vo가 만료된건 아닌지 확인 해야합니다.

=== T3_KR_KNU의 Computing Resource 실시간 조회하기 (CPU, Disk 자원 조회) ===

* UI 에서 "knuinfo" 명령어를 실행합니다.
$ knuinfo
-----------------------------------------------------------------------------------------
CPU Free Total Jobs Running Waiting ComputingElement
2509 247 2 0 0 ce01.knu.ac.kr:9619/ce01.knu.ac.kr-condor
-----------------------------------------------------------------------------------------
Avail Space(kB) Used Space(kB) Type SE
299479671320 1559004436260 xroot cluster142.knu.ac.k
-----------------------------------------------------------------------------------------

=== SE(Storage Element)의 사용자 디렉토리 경로 ===
$ srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/(username)/.../SrcFile
$ gsiftp://cluster142.knu.ac.kr:2811/pnfs/knu.ac.kr/data/cms/store/user/(username)/.../SrcFile
$ dcap://cluster142.knu.ac.kr/pnfs/knu.ac.kr/data/cms/store/user/(username)/.../SrcFile
$ gsidcap://cluster142.knu.ac.kr:22128/pnfs/knu.ac.kr/data/cms/store/user/(username)/.../SrcFile
$ root://cluster142.knu.ac.kr//store/user/(username)/.../SrcFile
$ davs://cluster142.knu.ac.kr:2880/cms/store/user/(username)/.../SrcFile

참고사항: 
- 위의 예시에서 username은 향후 data를 publish 할 경우를 대비하서 경북대 ID가 아니라 CERNID를 사용해야 합니다. 
- 계정을 발급받을 당시에 cern id가 없는 사용자는 해당 경로가 생성되지 않습니다. 
- 만약에 cern id가 있는데도 불구하고 본인의 디렉토리가 만들어져 있지 않는 경우에는 관리자에게 연락바랍니다.

=== SE에서 SE로 파일 복사하기 ===

$ gfal-copy root://cluster142.knu.ac.kr//store/user/(username)/.../SrcFile \
root://cluster142.knu.ac.kr//store/user/(username)/.../.../DestFile

$ gfal-copy davs://cluster142.knu.ac.kr:2880/cms/store/user/(username)/.../SrcFile \
davs://cluster142.knu.ac.kr:2880/cms/store/user/(username)/.../DestFile

=== SE에 있는 파일을 및 local 디렉토리로 복사하기 ===

$ gfal-copy root://cluster142.knu.ac.kr//store/user/(username)/.../SrcFile \
file:////u/user/(username)/.../DestFile

$ gfal-copy root://cluster142.knu.ac.kr//store/user/(username)/.../SrcFile \
./DestFile

$ gfal-copy davs://cluster142.knu.ac.kr:2880/cms/store/user/(username)/.../SrcFile \
file:////u/user/(username)/.../DestFile

$ gfal-copy davs://cluster142.knu.ac.kr:2880/cms/store/user/(username)/.../SrcFile \
./DestFile

$ gfal-copy gsidcap://cluster142.knu.ac.kr:22128/pnfs/knu.ac.kr/data/cms/store/user/(username)/.../SrcFile \
file:////u/user/(username)/.../DestFile

$ gfal-copy gsidcap://cluster142.knu.ac.kr/pnfs/knu.ac.kr/data/cms/store/user/(username)/.../SrcFile \
./DestFile

=== xrootd 를 활용한 SE Data 접근 방법 ===

* [[Xrootd|xrootd 을 이용하여 SE 사용하기]]

=== WebDav 프로토콜을 활용한 SE Data 접근 방법 ===

* [[WebDav|dCache에서 WebDav 프로토콜 및 마카롱 인증 사용하기]]

=== dcap을 이용한 SE Data 접근 방법 ===
* [[Dcap|dcap 을 이용하여 SE 사용하기]]

=== UI에서 NFS로 마운트된 스토리지 엘리먼트 사용하기 ===
* [[DCacheNFS|스토리지 엘리먼트의 NFS 사용 가이드]]

=== root에서 SE Data 접근 방법 ===

* xrootd 프로토콜을 이용
# 읽기
$ voms-proxy-init --voms cms
$ TFile *f = TFile::Open("root://cluster142.knu.ac.kr//store/user/(username)/test.root");
$
# 쓰기
$ voms-proxy-init --voms cms
$ root -l
root [0] TFile *f = TFile::Open("root://cluster142.knu.ac.kr//store/user/(username)/test.root", "CREATE");
root [1] f->Close();
root [2] TFile *f2 = TFile::Open("root://cluster142.knu.ac.kr//store/user/(username)/test.root", "RECREATE");
root [3] f2->Close();
root [4] .q
$

* dcap 프로토콜을 이용
# 읽기
$ TFile *f = TFile::Open("dcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/(username)/test.root");
$
# 쓰기
$ export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/lib64/dcap
$ root -l
root [0] TFile *f = TFile::Open("gsidcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/(username)/test.root", "CREATE");
root [1] f->Close();
root [2] TFile *f2 = TFile::Open("gsidcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/(username)/test.root", "RECREATE");
root [3] f2->Close();
root [4] .q
$

=== 복수의 파일을 동시에 전송하기 ===
$ /usr/local/bin/lcgcp_copyfiles list.txt

$ cat list.txt
srm://myhost.mydomain.edu:8443//dir1/dir2/sh-copy1 file:///localdir/sh1
srm://myhost.mydomain.edu:8443//dir1/dir2/sh-copy2 file:///localdir/sh2
srm://myhost.mydomain.edu:8443//dir1/dir2/sh-copy3 file:///localdir/sh3
* lcg_cp는 기본적으로 복수파일 전송을 지원하지 않으나 원본경로 대상경로를 포함하는 목록 파일을 생성한뒤, 위의 스크립트를 사용하면 복수의 파일을 전송할수 있다.

=== 복사가 정상적으로 이루어졌는지 확인 또는 디렉토리의 목록 확인 ===

$ gfal-ls -Hl davs://cluster142.knu.ac.kr:2880/cms/store/user/(username)

=== 파일 또는 디렉토리 삭제 ===

$ gfal-rm davs://cluster142.knu.ac.kr:2880/cms/store/user/(username)/test/test.file
$ <del>gfal-rm srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/(username)/test</del>
$ <del>lcg-del -d srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/(username)/test</del>

=== gfal 명령어 사용 요약 ===
$ voms-proxy-init --voms cms 로 proxy 생성후 아래 명령어를 수행하시면 됩니다.
$ 조회 : gfal-ls -Hl davs://cluster142.knu.ac.kr:2880/cms/store/user/MyAccount/FolderName
$ 복사 : gfal-copy davs://cluster142.knu.ac.kr:2880/cms/store/user/.../FileNameSrc davs://cluster142.knu.ac.kr:2880/cms/store/user/.../FileNameDest
$ 삭제 : gfal-rm davs://cluster142.knu.ac.kr:2880/cms/store/user/MyAccount/FolderName/FileName
$ 디렉토리 삭제 : <strike>gfal-rm -R davs://cluster142.knu.ac.kr:2880/cms/store/user/MyAccount/FolderName</strike>
* 명령어 뒤의 Option은 매뉴얼 페이지를 참고 바랍니다. (ex. man gfal-ls)
* <strike>1000개 이상의 파일 포함한 폴더 내용 보기 : (ex. 500번째 파일부터 700개의 파일을 보고 싶을 경우) lcg-ls --offset 500 --count 700 srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/(DestFoler)</strike>
* gfal-copy에서 "-r" 옵션을 사용하면 디렉토리까지 복사가 가능합니다.

=== gfal-copy를 이용한 디렉토리 복사 ===

gfal-copy에서 "-r" 옵션을 사용하면 서브 디렉토리까지 한번에 복사가 가능합니다. 다음과 같이 임의의 테스트 디렉토리를 만들었을때

[MyAccount@cms tmp5]$ ll
total 0
-rw-r--r-- 1 hanbi knu 0 Aug 26 17:21 aa
-rw-r--r-- 1 hanbi knu 0 Aug 26 17:21 bb
-rw-r--r-- 1 hanbi knu 0 Aug 26 17:21 cc
drwxr-xr-x 2 hanbi knu 24 Aug 26 17:22 dir1

-r 옵션을 적용해서 다음과 같이 실행하면 (로컬 디스크의 ~/MyAccount/tmp5 디렉토리를 SE의 hanbi/tmp5로 복사)

gfal-copy -r file:////u/user/MyAccount/tmp5 davs://cluster142.knu.ac.kr:2880/cms/store/user/MyAccount/tmp5

[MyAccount@cms ~]$ gfal-copy -r file:////u/user/MyAccount/tmp5 davs://cluster142.knu.ac.kr:2880/cms/store/user/MyAccount/tmp5
Mkdir davs://cluster142.knu.ac.kr:2880/cms/store/user/MyAccount/tmp5
Copying file:////u/user/MyAccount/tmp5/aa [DONE] after 0s
Copying file:////u/user/MyAccount/tmp5/bb [DONE] after 0s
Copying file:////u/user/MyAccount/tmp5/cc [DONE] after 0s
Mkdir davs://cluster142.knu.ac.kr:2880/cms/store/user/MyAccount/tmp5/dir1
Copying file:////u/user/MyAccount/tmp5/dir1/dd [DONE] after 0s
Copying file:////u/user/MyAccount/tmp5/dir1/ee [DONE] after 0s

아래와 같이 하부 디렉토리까지 스토리지 엘리먼트로 전부 전송이 되는 것을 확인 할 수 있습니다.

[hanbi@cms ~]$ ll /pnfs/knu.ac.kr/data/cms/store/user/MyAccount/tmp5
total 1
-rw-r--r-- 1 hanbi cms 0 Aug 26 17:22 aa
-rw-r--r-- 1 hanbi cms 0 Aug 26 17:22 bb
-rw-r--r-- 1 hanbi cms 0 Aug 26 17:22 cc
drwxr-xr-x 4 hanbi cms 512 Aug 26 17:22 dir1

물론 반대로 스토리지 엘리먼트에서 로컬 하드로 복사도 가능한데, 사용시 주의해야할 점은 SE의 소스 용량을 먼저 확인해서 전송을해야 로컬 하드디스크가 가득차는 것을 방지할 수 있습니다.

gfal-copy -r davs://cluster142.knu.ac.kr:2880/cms/store/user/MyAccount/tmp5 file:////u/user/MyAccount/tmp5

소스디렉토리의 크기를 확인하는 방법은 다음과 같이 확인할 수 있습니다. 다만 해당 디렉토리 아래의 크기가 매우 클 경우에는 결과가 나오는데 시간이 오래 결릴수 있습니다.

du -hs /pnfs/knu.ac.kr/data/cms/store/user/MyAccount/tmp5

===crab3를 사용한 후 gfal-* 명령어들이 오류가 발생합니다 ===

source /cvmfs/cms.cern.ch/crab3/crab.sh 실행후에 gfal-* 명령어들이 오류가 발생합니다.

$ gfal-ls -Hl davs://cluster142.knu.ac.kr:2880/cms/store/user//test/test.transfer
-rwxrwxrwx 0 0 0 4.8M Oct 12 2015 davs://cluster142.knu.ac.kr:2880/cms/store/user//test/test.transfer

$ source /cvmfs/cms.cern.ch/crab3/crab.sh

$ gfal-ls -Hl davs://cluster142.knu.ac.kr:2880/cms/store/user/test/test.transfer
Could not find platform independent libraries <prefix>
Could not find platform dependent libraries <exec_prefix>
Consider setting $PYTHONHOME to <prefix>[:<exec_prefix>]
'import site' failed; use -v for traceback
Traceback (most recent call last):
File "/usr/bin/gfal-ls", line 8, in <module>
from gfal2_util.shell import Gfal2Shell
ImportError: No module named gfal2_util.shell

crab3 에서 사용하는 python 환경변수와 gfal-* 명령어들에 문제를 일으키기 때문입니다. gfal-* 명령어 앞에 " env --unset=LD_LIBRARY_PATH "을 넣어줌으로써 문제를 해결할 수 있습니다.

$ env --unset=LD_LIBRARY_PATH gfal-ls -Hl davs://cluster142.knu.ac.kr:2880/cms/store/user/test/test.transfer
-rw-r--r-- 1 2 2 Oct 12 02:17 4.8M davs://cluster142.knu.ac.kr:2880/cms/store/user/test/test.transfer

=== cmsenv 실행후 gfal 명령어들이 정상 동작 하지 않을때 ===

cmsenv 실행후에 다음과 같은 오류가 발생한다면

Failed to add IO tunnel (libgsiTunnel.so: cannot open shared object file: No such file or directory). Provider: [libgsiTunnel.so].
Error ( POLLIN) (with data) on control line [12]
Failed to create a control line
Failed open file in the dCache.
gfal-copy: error: Input/output error

아래 명령을 먼저 실행해줌으로써 문제를 해결할 수 있습니다.

export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/lib64/dcap

=== no match 오류가 발생할때 ===

* tcsh에서 ?는 wild card로 인식이 됩니다. 따라서 tcsh을 사용하고 있다면 srm 경로에 반드시 ""를 사용해야 합니다.

=== srm*, lcg*, gfal* 주요 명령어 비교표 ===

{| style="background:#cccc99;color:#black;white:80%;" border="1" cellpadding="5" cellspacing="0"
! srm* !! lcg* !! gfal* !! 비고
|- style="background:white; color:black"
| srmls
| lcg-ls
| gfal-ls
| ls
|- style="background:#f0f0f0; color:black"
| srmcp
| lcg-cp
| gfal-copy
| cp
|- style="background:white; color:black"
| srmrm
| lcg-del
| gfal-rm
| rm
|- style="background:#f0f0f0; color:black"
| srmmkdir
|
| gfal-mkdir
| mkdir
|- style="background:white; color:black"
| srmrmdir
| lcg-del -d
| gfal-rm -R
| rmdir
|- style="background:#f0f0f0; color:black"
|
|
| gfal-cat
| cat

|}

=== uberftp를 이용한 Storage Element 사용 ===

* [[ uberftp | uberftp 사용법으로 가기 ]]

=== WebFTS를 이용한 Storage Element 로의 Data 전송 ===
* [[ Webfts | WebFTS 사용법으로 가기 ]]

=== T3_KR_KNU 저장공간(Disk) 활용 분류 ===

* Storage Element (srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/...)
: 대용량 저장 공간으로 장기간 보관이 가능합니다.
- rucio를 통해 전송된 DataSet 저장
- Crab Analysis 이후의 결과파일 저장
srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/
UI에서는 ~/SE_UserHome/ 에서 확인할 수 있습니다.
: 현재 약 1.45 PB의 공간을 마련하여 운영하고 있습니다.
: 사용자의 데이터 저장으로 공간이 부족할 경우, 사전 설문을 통해 더 이상 사용하지 않는 과거 데이터의 삭제 요청을 드릴 수 있습니다.

* User Home Directory (/u/user/...)
: 기본적인 설정 사항, 사용자가 필요한 소프트웨어 등을 설치 및 보관하는 장소입니다.
: 약 20 TB 규모의 공간입니다.
: 모든 사용자가 20 TB를 나누어 사용하므로 용량이 큰 데이터의 보관은 가급적 삼가해 주시기 바랍니다.

* Scratch Disk
: UI에 총 1개의 임시 저장공간이 있습니다.
- /d0 : 약 40 TB RAID6 Disk
: Sratch 디스크는 임시 저장공간으로 중요한 데이터 및 장기 보관 데이터는 반드시 Storage Element로 이동하여 주시기 바랍니다.

Storage Element Tutorial

2026-07-30T06:36:58Z

Hanbi: /* T3_KR_KNU의 Computing Resource 실시간 조회하기 (CPU, Disk 자원 조회) */

== Storage Element Tutorial ==
CRAB 등을 사용하여 얻은 데이터를 보관할 수 있는 저장 공간을 Storage Element (SE)라 합니다.
이곳에 데이터를 저장하기 위해서는 몇가지 특수한 명령어를 사용해야 합니다.

[주의 : tcsh, csh 등 에서 관련 명령어를 사용할 때, 경로 인자에 반드시 " " 를 사용해주시기 바랍니다.]

=== Overview ===

UI에 로그인 했을 때 일반 사용자가 읽고 쓸수 있는 저장공간은 다음과 같이 3가지 종류가 있습니다.

{| style="background:#f0f0f0;color:#black;white:80%;" border="1" cellpadding="5" cellspacing="0"
! 종류 !! 경로 !! 지원 프로토콜 !! 총용량 !! 사용자당 !! 용도 !! 비고
|- style="background:white; color:black"
| UI 사용자 홈
|
* /u/user/{knu_id}
| nfs
| 20 TB
| 200 GB
| 프로그램 설치 사용자 기본 작업공간
| RAID6
|- style="background:white; color:black"
| SE 사용자홈
|
* xrootd: root://cluster142.knu.ac.kr//store/user/{cern_id}/ 
* webdav: davs://cluster142.knu.ac.kr:2880/cms/store/user/{cern_id} 
* <del>srm: srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/{cern_id}</del> 
* <del>gsiftp://cluster142.knu.ac.kr:2811/pnfs/knu.ac.kr/data/cms/store/user/{cern_id}</del> 
* dcap: dcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/{cern_id} 
* gsidcap: gsidcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/{cern_id} 
* nfs: /pnfs/knu.ac.kr/data/cms/store/user/{cern_id} 
* nfs: /u/user/{knu_id}/SE_UserHome -----> /pnfs/knu.ac.kr/data/cms/store/user/{cern_id}
| xrootd, webdav, <del>srm, gsiftp,</del> dcap, gsidcap, nfs
| 1.84 PB
| 10 TB
| 데이터 보관 대용량데이터처리 프로그램설치X
| dCache, RAID6
|- style="background:white; color:black"
| 스크레치
|
* /d0/scratch 
* /u/user/{knu_id}/scratch -----> /d0/scratch/{knu_id}
| nfs
| 40 TB
|
| 임시 작업용 중요데이터 보관X
| RAID6
|}

* x509인증이 토큰 인증으로 전환되고 있는 상황이며 srm,gsiftp 프로토콜은 xrootd, webdav 프로토콜로 대체되고 있습니다.
* dcap(dCache access protocol): 인증이 필요없는 읽기 전용의 프로토콜입니다. 인증이 필요없기에 간편하게 사용할수 있지만 경북대 내부에서만 사용할수 있습니다.
* gsidcap: 그리드 인증이 필요한 dcap 프로토콜입니다. 읽기 쓰기가 모두 가능하며 경북대 내외부에서 모두 사용할 수 있습니다.
* SE에 저장되어 있는 데이터셋은 연산노드에서 dcap, xrootd, gsiftp, nfs, wedav, srm 프로토콜을 이용하여 읽을 수 있습니다.

* CERN ID와 KNU ID가 다른 사용자는 SE 사용자 홈디렉토리에 CERN ID를 기준으로 디렉토리가 생성됩니다.
* {knu_id}는 경북대에서 발급받은 ID, {cern_id}는 CERN에서 발급 받은 ID를 의미합니다. 일부 사용자들은 두 ID가 일치 하지 않습니다.
* 경북대 계정 신청시 CERN ID가 없는 사용자는 계정발급 직후 SE 사용자 홈디렉토리가 생성되지 않습니다. CERN ID를 발급 받은 후에 별도로 연락주세요.

* 현재는 저장공간의 사용자당 최대 사용량이 시스템적으로 설정되어 있지는 않습니다. 그러나 원활한 이용을 위하여 초과해서 사용이 필요한 경우에는 사전에 관리자와 협의를 부탁드립니다.
* 저장공간이 부족해질 경우 개인 사용량을 초과하는 사용자를 대상으로 사용햐지 않는 데이터의 정리를 요청하고 있습니다. 삭제요청과 함께 혹시라도 데이터가 방치되고 있지는 않은지 확인하는 작업입니다. 파일의 삭제 가능 여부와 상관없이 반드시 답장을 해주시기 바랍니다.

* 스크레치 저장공간은 불필요한 데이터를 수시로 정리해주시고 장기 보관이 필요한 데이터는 SE로 이동 부탁드립니다.
* 스크레치 디스크는 임시작업용 저장공간입니다. 데이터 손실에 대한 안전장치가 전혀 없으므로 절대 데이터 보관용으로 사용해서는 안됩니다.
* 매월 28일 90일이 지난 스크레치 디스크의 데이터는 자동으로 삭제됩니다.

=== 서비스별 스토리지 접근 ===

{| style="background:#f0f0f0;color:#black;white:80%;" border="1" cellpadding="5" cellspacing="0"
! 서비스 !! 스토리지 !! 지원 프로토콜 !! 경로 !! Grid인증 !! 비고
|- style="background:white; color:black"
| rowspan=9 | UI
| UI User Home
| nfs
| /u/user/{knu_id}
| X
|
|- style="background:white; color:black"
| UI Scratch
| nfs
| /u/user/{knu_id}/scratch -----> /d0/scratch/{knu_id}
| X
|
|- style="background:white; color:black"
| rowspan=7 | SE
| xrootd
| xrootd: root://cluster142.knu.ac.kr//store/user/{cern_id}
| O
|
|- style="background:white; color:black"
| webdav
| webdav: davs://cluster142.knu.ac.kr:2880/cms/store/user/{cern_id}
| O
|
|- style="background:white; color:black"
| <del>srm</del>
| <del>srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/{cern_id}</del>
| O
|
|- style="background:white; color:black"
| <del>gsiftp</del>
| <del>gsiftp://cluster142.knu.ac.kr:2811/pnfs/knu.ac.kr/data/cms/store/user/{cern_id}</del>
| O
|
|- style="background:white; color:black"
| dcap
| dcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/{cern_id}
| X
| 읽기전용, 레거시(비권장)
|- style="background:white; color:black"
| gsidcap
| gsidcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/{cern_id}
| O
| 레거시(비권장)
|- style="background:white; color:black"
| nfs
| /pnfs/knu.ac.kr/data/cms/store/user/{cern_id} /u/user/{knu_id}/SE_UserHome -----> /pnfs/knu.ac.kr/data/cms/store/user/{cern_id}
| X
|
|- style="background:white; color:black"
| rowspan=9 | HTCondor
| UI User Home
| nfs
| /u/user/{knu_id}
| X
|
|- style="background:white; color:black"
| UI Scratch
| nfs
| /u/user/{knu_id}/scratch -----> /d0/scratch/{knu_id}
| X
|
|- style="background:white; color:black"
| rowspan=7 | SE
| xrootd
| xrootd: root://cluster142.knu.ac.kr//store/user/{cern_id}
| O
|
|- style="background:white; color:black"
| webdav
| webdav: davs://cluster142.knu.ac.kr:2880/cms/store/user/{cern_id}
| O
|
|- style="background:white; color:black"
| <del>srm</del>
| <del>srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/{cern_id}</del>
| O
|
|- style="background:white; color:black"
| <del>gsiftp</del>
| <del>gsiftp://cluster142.knu.ac.kr:2811/pnfs/knu.ac.kr/data/cms/store/user/{cern_id}</del>
| O
|
|- style="background:white; color:black"
| dcap
| dcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/{cern_id}
| X
| 읽기전용, 레거시(비권장)
|- style="background:white; color:black"
| gsidcap
| gsidcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/{cern_id}
| O
| 레거시(비권장)
|- style="background:white; color:black"
| nfs
| /pnfs/knu.ac.kr/data/cms/store/user/{cern_id} /u/user/{knu_id}/SE_UserHome -----> /pnfs/knu.ac.kr/data/cms/store/user/{cern_id}
| X
|
|- style="background:white; color:black"

|}

* 해당 경로를 찾을 수 없다면 관리자에게 문의해 주시기 바랍니다.
* HTcondor 에서 SE에 nfs로 연결됨에 따라 dcap 이나 xrootd 와 같은 별다른 프로토콜 사용 없이 직접적으로 SE의 데이터를 읽고 쓸 수 있습니다. 

=== voms 인증 ===
* SE는 voms 인증 후 사용할수 있습니다.
$ voms-proxy-init --voms cms

=== voms 인증 정보 확인 ===
* voms 인증 정보는 다음 명령어로 확인할 수 있습니다.
$ voms-proxy-info --all
voms-proxy-info --all
subject : /DC=ch/DC=cern/OU=Organic Units/OU=Users/CN=gdhong/CN=000000/CN=Gildong Hong/CN=00000000
issuer : /DC=ch/DC=cern/OU=Organic Units/OU=Users/CN=gdhong/CN=000000/CN=Gildong Hong
identity : /DC=ch/DC=cern/OU=Organic Units/OU=Users/CN=gdhong/CN=000000/CN=Gildong Hong
type : RFC3820 compliant impersonation proxy
strength : 2048
path : /tmp/x509up_u00000
timeleft : 11:59:52
key usage : Digital Signature, Key Encipherment
=== VO cms extension information ===
VO : cms
subject : /DC=ch/DC=cern/OU=Organic Units/OU=Users/CN=gdhong/CN=000000/CN=Gildong Hong
issuer : /DC=ch/DC=cern/OU=computers/CN=voms2.cern.ch
attribute : /cms/Role=NULL/Capability=NULL
timeleft : 11:59:54
uri : voms2.cern.ch:15002

주의해야할 부분은 VO cms extension information 부분입니다. 만약 VO cms extension information 부분이 출력되지 않는다면 --voms cms 옵션을 정확하게 입력하였는지 자신의 cms vo가 만료된건 아닌지 확인 해야합니다.

=== T3_KR_KNU의 Computing Resource 실시간 조회하기 (CPU, Disk 자원 조회) ===

* UI 에서 "knuinfo" 명령어를 실행합니다.
$ knuinfo
-----------------------------------------------------------------------------------------
CPU Free Total Jobs Running Waiting ComputingElement
2509 247 2 0 0 ce01.knu.ac.kr:9619/ce01.knu.ac.kr-condor
-----------------------------------------------------------------------------------------
Avail Space(kB) Used Space(kB) Type SE
299479671320 1559004436260 xroot cluster142.knu.ac.k
-----------------------------------------------------------------------------------------

=== SE(Storage Element)의 사용자 디렉토리 경로 ===
$ srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/(username)/.../SrcFile
$ gsiftp://cluster142.knu.ac.kr:2811/pnfs/knu.ac.kr/data/cms/store/user/(username)/.../SrcFile
$ dcap://cluster142.knu.ac.kr/pnfs/knu.ac.kr/data/cms/store/user/(username)/.../SrcFile
$ gsidcap://cluster142.knu.ac.kr:22128/pnfs/knu.ac.kr/data/cms/store/user/(username)/.../SrcFile
$ root://cluster142.knu.ac.kr//store/user/(username)/.../SrcFile
$ davs://cluster142.knu.ac.kr:2880/cms/store/user/(username)/.../SrcFile

참고사항: 
- 위의 예시에서 username은 향후 data를 publish 할 경우를 대비하서 경북대 ID가 아니라 CERNID를 사용해야 합니다. 
- 계정을 발급받을 당시에 cern id가 없는 사용자는 해당 경로가 생성되지 않습니다. 
- 만약에 cern id가 있는데도 불구하고 본인의 디렉토리가 만들어져 있지 않는 경우에는 관리자에게 연락바랍니다.

=== SE에서 SE로 파일 복사하기 ===

$ gfal-copy root://cluster142.knu.ac.kr//store/user/(username)/.../SrcFile \
root://cluster142.knu.ac.kr//store/user/(username)/.../.../DestFile

$ gfal-copy davs://cluster142.knu.ac.kr:2880/cms/store/user/(username)/.../SrcFile \
davs://cluster142.knu.ac.kr:2880/cms/store/user/(username)/.../DestFile

=== SE에 있는 파일을 및 local 디렉토리로 복사하기 ===

$ gfal-copy root://cluster142.knu.ac.kr//store/user/(username)/.../SrcFile \
file:////u/user/(username)/.../DestFile

$ gfal-copy root://cluster142.knu.ac.kr//store/user/(username)/.../SrcFile \
./DestFile

$ gfal-copy davs://cluster142.knu.ac.kr:2880/cms/store/user/(username)/.../SrcFile \
file:////u/user/(username)/.../DestFile

$ gfal-copy davs://cluster142.knu.ac.kr:2880/cms/store/user/(username)/.../SrcFile \
./DestFile

$ gfal-copy gsidcap://cluster142.knu.ac.kr:22128/pnfs/knu.ac.kr/data/cms/store/user/(username)/.../SrcFile \
file:////u/user/(username)/.../DestFile

$ gfal-copy gsidcap://cluster142.knu.ac.kr/pnfs/knu.ac.kr/data/cms/store/user/(username)/.../SrcFile \
./DestFile

=== xrootd 를 활용한 SE Data 접근 방법 ===

* [[Xrootd|xrootd 을 이용하여 SE 사용하기]]

=== WebDav 프로토콜을 활용한 SE Data 접근 방법 ===

* [[WebDav|dCache에서 WebDav 프로토콜 및 마카롱 인증 사용하기]]

=== dcap을 이용한 SE Data 접근 방법 ===
* [[Dcap|dcap 을 이용하여 SE 사용하기]]

=== UI에서 NFS로 마운트된 스토리지 엘리먼트 사용하기 ===
* [[DCacheNFS|스토리지 엘리먼트의 NFS 사용 가이드]]

=== root에서 SE Data 접근 방법 ===

* xrootd 프로토콜을 이용
# 읽기
$ voms-proxy-init --voms cms
$ TFile *f = TFile::Open("root://cluster142.knu.ac.kr//store/user/(username)/test.root");
$
# 쓰기
$ voms-proxy-init --voms cms
$ root -l
root [0] TFile *f = TFile::Open("root://cluster142.knu.ac.kr//store/user/(username)/test.root", "CREATE");
root [1] f->Close();
root [2] TFile *f2 = TFile::Open("root://cluster142.knu.ac.kr//store/user/(username)/test.root", "RECREATE");
root [3] f2->Close();
root [4] .q
$

* dcap 프로토콜을 이용
# 읽기
$ TFile *f = TFile::Open("dcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/(username)/test.root");
$
# 쓰기
$ export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/lib64/dcap
$ root -l
root [0] TFile *f = TFile::Open("gsidcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/(username)/test.root", "CREATE");
root [1] f->Close();
root [2] TFile *f2 = TFile::Open("gsidcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/(username)/test.root", "RECREATE");
root [3] f2->Close();
root [4] .q
$

=== 복수의 파일을 동시에 전송하기 ===
$ /usr/local/bin/lcgcp_copyfiles list.txt

$ cat list.txt
srm://myhost.mydomain.edu:8443//dir1/dir2/sh-copy1 file:///localdir/sh1
srm://myhost.mydomain.edu:8443//dir1/dir2/sh-copy2 file:///localdir/sh2
srm://myhost.mydomain.edu:8443//dir1/dir2/sh-copy3 file:///localdir/sh3
* lcg_cp는 기본적으로 복수파일 전송을 지원하지 않으나 원본경로 대상경로를 포함하는 목록 파일을 생성한뒤, 위의 스크립트를 사용하면 복수의 파일을 전송할수 있다.

=== 복사가 정상적으로 이루어졌는지 확인 또는 디렉토리의 목록 확인 ===

$ gfal-ls -Hl davs://cluster142.knu.ac.kr:2880/cms/store/user/(username)

=== 파일 또는 디렉토리 삭제 ===

$ gfal-rm davs://cluster142.knu.ac.kr:2880/cms/store/user/(username)/test/test.file
$ <strike>gfal-rm srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/(username)/test</strike>
$ <strike>lcg-del -d srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/(username)/test</strike>

=== gfal 명령어 사용 요약 ===
$ voms-proxy-init --voms cms 로 proxy 생성후 아래 명령어를 수행하시면 됩니다.
$ 조회 : gfal-ls -Hl davs://cluster142.knu.ac.kr:2880/cms/store/user/MyAccount/FolderName
$ 복사 : gfal-copy davs://cluster142.knu.ac.kr:2880/cms/store/user/.../FileNameSrc davs://cluster142.knu.ac.kr:2880/cms/store/user/.../FileNameDest
$ 삭제 : gfal-rm davs://cluster142.knu.ac.kr:2880/cms/store/user/MyAccount/FolderName/FileName
$ 디렉토리 삭제 : <strike>gfal-rm -R davs://cluster142.knu.ac.kr:2880/cms/store/user/MyAccount/FolderName</strike>
* 명령어 뒤의 Option은 매뉴얼 페이지를 참고 바랍니다. (ex. man gfal-ls)
* <strike>1000개 이상의 파일 포함한 폴더 내용 보기 : (ex. 500번째 파일부터 700개의 파일을 보고 싶을 경우) lcg-ls --offset 500 --count 700 srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/(DestFoler)</strike>
* gfal-copy에서 "-r" 옵션을 사용하면 디렉토리까지 복사가 가능합니다.

=== gfal-copy를 이용한 디렉토리 복사 ===

gfal-copy에서 "-r" 옵션을 사용하면 서브 디렉토리까지 한번에 복사가 가능합니다. 다음과 같이 임의의 테스트 디렉토리를 만들었을때

[MyAccount@cms tmp5]$ ll
total 0
-rw-r--r-- 1 hanbi knu 0 Aug 26 17:21 aa
-rw-r--r-- 1 hanbi knu 0 Aug 26 17:21 bb
-rw-r--r-- 1 hanbi knu 0 Aug 26 17:21 cc
drwxr-xr-x 2 hanbi knu 24 Aug 26 17:22 dir1

-r 옵션을 적용해서 다음과 같이 실행하면 (로컬 디스크의 ~/MyAccount/tmp5 디렉토리를 SE의 hanbi/tmp5로 복사)

gfal-copy -r file:////u/user/MyAccount/tmp5 davs://cluster142.knu.ac.kr:2880/cms/store/user/MyAccount/tmp5

[MyAccount@cms ~]$ gfal-copy -r file:////u/user/MyAccount/tmp5 davs://cluster142.knu.ac.kr:2880/cms/store/user/MyAccount/tmp5
Mkdir davs://cluster142.knu.ac.kr:2880/cms/store/user/MyAccount/tmp5
Copying file:////u/user/MyAccount/tmp5/aa [DONE] after 0s
Copying file:////u/user/MyAccount/tmp5/bb [DONE] after 0s
Copying file:////u/user/MyAccount/tmp5/cc [DONE] after 0s
Mkdir davs://cluster142.knu.ac.kr:2880/cms/store/user/MyAccount/tmp5/dir1
Copying file:////u/user/MyAccount/tmp5/dir1/dd [DONE] after 0s
Copying file:////u/user/MyAccount/tmp5/dir1/ee [DONE] after 0s

아래와 같이 하부 디렉토리까지 스토리지 엘리먼트로 전부 전송이 되는 것을 확인 할 수 있습니다.

[hanbi@cms ~]$ ll /pnfs/knu.ac.kr/data/cms/store/user/MyAccount/tmp5
total 1
-rw-r--r-- 1 hanbi cms 0 Aug 26 17:22 aa
-rw-r--r-- 1 hanbi cms 0 Aug 26 17:22 bb
-rw-r--r-- 1 hanbi cms 0 Aug 26 17:22 cc
drwxr-xr-x 4 hanbi cms 512 Aug 26 17:22 dir1

물론 반대로 스토리지 엘리먼트에서 로컬 하드로 복사도 가능한데, 사용시 주의해야할 점은 SE의 소스 용량을 먼저 확인해서 전송을해야 로컬 하드디스크가 가득차는 것을 방지할 수 있습니다.

gfal-copy -r davs://cluster142.knu.ac.kr:2880/cms/store/user/MyAccount/tmp5 file:////u/user/MyAccount/tmp5

소스디렉토리의 크기를 확인하는 방법은 다음과 같이 확인할 수 있습니다. 다만 해당 디렉토리 아래의 크기가 매우 클 경우에는 결과가 나오는데 시간이 오래 결릴수 있습니다.

du -hs /pnfs/knu.ac.kr/data/cms/store/user/MyAccount/tmp5

===crab3를 사용한 후 gfal-* 명령어들이 오류가 발생합니다 ===

source /cvmfs/cms.cern.ch/crab3/crab.sh 실행후에 gfal-* 명령어들이 오류가 발생합니다.

$ gfal-ls -Hl davs://cluster142.knu.ac.kr:2880/cms/store/user//test/test.transfer
-rwxrwxrwx 0 0 0 4.8M Oct 12 2015 davs://cluster142.knu.ac.kr:2880/cms/store/user//test/test.transfer

$ source /cvmfs/cms.cern.ch/crab3/crab.sh

$ gfal-ls -Hl davs://cluster142.knu.ac.kr:2880/cms/store/user/test/test.transfer
Could not find platform independent libraries <prefix>
Could not find platform dependent libraries <exec_prefix>
Consider setting $PYTHONHOME to <prefix>[:<exec_prefix>]
'import site' failed; use -v for traceback
Traceback (most recent call last):
File "/usr/bin/gfal-ls", line 8, in <module>
from gfal2_util.shell import Gfal2Shell
ImportError: No module named gfal2_util.shell

crab3 에서 사용하는 python 환경변수와 gfal-* 명령어들에 문제를 일으키기 때문입니다. gfal-* 명령어 앞에 " env --unset=LD_LIBRARY_PATH "을 넣어줌으로써 문제를 해결할 수 있습니다.

$ env --unset=LD_LIBRARY_PATH gfal-ls -Hl davs://cluster142.knu.ac.kr:2880/cms/store/user/test/test.transfer
-rw-r--r-- 1 2 2 Oct 12 02:17 4.8M davs://cluster142.knu.ac.kr:2880/cms/store/user/test/test.transfer

=== cmsenv 실행후 gfal 명령어들이 정상 동작 하지 않을때 ===

cmsenv 실행후에 다음과 같은 오류가 발생한다면

Failed to add IO tunnel (libgsiTunnel.so: cannot open shared object file: No such file or directory). Provider: [libgsiTunnel.so].
Error ( POLLIN) (with data) on control line [12]
Failed to create a control line
Failed open file in the dCache.
gfal-copy: error: Input/output error

아래 명령을 먼저 실행해줌으로써 문제를 해결할 수 있습니다.

export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/lib64/dcap

=== no match 오류가 발생할때 ===

* tcsh에서 ?는 wild card로 인식이 됩니다. 따라서 tcsh을 사용하고 있다면 srm 경로에 반드시 ""를 사용해야 합니다.

=== srm*, lcg*, gfal* 주요 명령어 비교표 ===

{| style="background:#cccc99;color:#black;white:80%;" border="1" cellpadding="5" cellspacing="0"
! srm* !! lcg* !! gfal* !! 비고
|- style="background:white; color:black"
| srmls
| lcg-ls
| gfal-ls
| ls
|- style="background:#f0f0f0; color:black"
| srmcp
| lcg-cp
| gfal-copy
| cp
|- style="background:white; color:black"
| srmrm
| lcg-del
| gfal-rm
| rm
|- style="background:#f0f0f0; color:black"
| srmmkdir
|
| gfal-mkdir
| mkdir
|- style="background:white; color:black"
| srmrmdir
| lcg-del -d
| gfal-rm -R
| rmdir
|- style="background:#f0f0f0; color:black"
|
|
| gfal-cat
| cat

|}

=== uberftp를 이용한 Storage Element 사용 ===

* [[ uberftp | uberftp 사용법으로 가기 ]]

=== WebFTS를 이용한 Storage Element 로의 Data 전송 ===
* [[ Webfts | WebFTS 사용법으로 가기 ]]

=== T3_KR_KNU 저장공간(Disk) 활용 분류 ===

* Storage Element (srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/...)
: 대용량 저장 공간으로 장기간 보관이 가능합니다.
- rucio를 통해 전송된 DataSet 저장
- Crab Analysis 이후의 결과파일 저장
srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/
UI에서는 ~/SE_UserHome/ 에서 확인할 수 있습니다.
: 현재 약 1.45 PB의 공간을 마련하여 운영하고 있습니다.
: 사용자의 데이터 저장으로 공간이 부족할 경우, 사전 설문을 통해 더 이상 사용하지 않는 과거 데이터의 삭제 요청을 드릴 수 있습니다.

* User Home Directory (/u/user/...)
: 기본적인 설정 사항, 사용자가 필요한 소프트웨어 등을 설치 및 보관하는 장소입니다.
: 약 20 TB 규모의 공간입니다.
: 모든 사용자가 20 TB를 나누어 사용하므로 용량이 큰 데이터의 보관은 가급적 삼가해 주시기 바랍니다.

* Scratch Disk
: UI에 총 1개의 임시 저장공간이 있습니다.
- /d0 : 약 40 TB RAID6 Disk
: Sratch 디스크는 임시 저장공간으로 중요한 데이터 및 장기 보관 데이터는 반드시 Storage Element로 이동하여 주시기 바랍니다.

Storage Element Tutorial

2026-07-30T06:35:59Z

Hanbi: /* voms 인증 정보 확인 */

== Storage Element Tutorial ==
CRAB 등을 사용하여 얻은 데이터를 보관할 수 있는 저장 공간을 Storage Element (SE)라 합니다.
이곳에 데이터를 저장하기 위해서는 몇가지 특수한 명령어를 사용해야 합니다.

[주의 : tcsh, csh 등 에서 관련 명령어를 사용할 때, 경로 인자에 반드시 " " 를 사용해주시기 바랍니다.]

=== Overview ===

UI에 로그인 했을 때 일반 사용자가 읽고 쓸수 있는 저장공간은 다음과 같이 3가지 종류가 있습니다.

{| style="background:#f0f0f0;color:#black;white:80%;" border="1" cellpadding="5" cellspacing="0"
! 종류 !! 경로 !! 지원 프로토콜 !! 총용량 !! 사용자당 !! 용도 !! 비고
|- style="background:white; color:black"
| UI 사용자 홈
|
* /u/user/{knu_id}
| nfs
| 20 TB
| 200 GB
| 프로그램 설치 사용자 기본 작업공간
| RAID6
|- style="background:white; color:black"
| SE 사용자홈
|
* xrootd: root://cluster142.knu.ac.kr//store/user/{cern_id}/ 
* webdav: davs://cluster142.knu.ac.kr:2880/cms/store/user/{cern_id} 
* <del>srm: srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/{cern_id}</del> 
* <del>gsiftp://cluster142.knu.ac.kr:2811/pnfs/knu.ac.kr/data/cms/store/user/{cern_id}</del> 
* dcap: dcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/{cern_id} 
* gsidcap: gsidcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/{cern_id} 
* nfs: /pnfs/knu.ac.kr/data/cms/store/user/{cern_id} 
* nfs: /u/user/{knu_id}/SE_UserHome -----> /pnfs/knu.ac.kr/data/cms/store/user/{cern_id}
| xrootd, webdav, <del>srm, gsiftp,</del> dcap, gsidcap, nfs
| 1.84 PB
| 10 TB
| 데이터 보관 대용량데이터처리 프로그램설치X
| dCache, RAID6
|- style="background:white; color:black"
| 스크레치
|
* /d0/scratch 
* /u/user/{knu_id}/scratch -----> /d0/scratch/{knu_id}
| nfs
| 40 TB
|
| 임시 작업용 중요데이터 보관X
| RAID6
|}

* x509인증이 토큰 인증으로 전환되고 있는 상황이며 srm,gsiftp 프로토콜은 xrootd, webdav 프로토콜로 대체되고 있습니다.
* dcap(dCache access protocol): 인증이 필요없는 읽기 전용의 프로토콜입니다. 인증이 필요없기에 간편하게 사용할수 있지만 경북대 내부에서만 사용할수 있습니다.
* gsidcap: 그리드 인증이 필요한 dcap 프로토콜입니다. 읽기 쓰기가 모두 가능하며 경북대 내외부에서 모두 사용할 수 있습니다.
* SE에 저장되어 있는 데이터셋은 연산노드에서 dcap, xrootd, gsiftp, nfs, wedav, srm 프로토콜을 이용하여 읽을 수 있습니다.

* CERN ID와 KNU ID가 다른 사용자는 SE 사용자 홈디렉토리에 CERN ID를 기준으로 디렉토리가 생성됩니다.
* {knu_id}는 경북대에서 발급받은 ID, {cern_id}는 CERN에서 발급 받은 ID를 의미합니다. 일부 사용자들은 두 ID가 일치 하지 않습니다.
* 경북대 계정 신청시 CERN ID가 없는 사용자는 계정발급 직후 SE 사용자 홈디렉토리가 생성되지 않습니다. CERN ID를 발급 받은 후에 별도로 연락주세요.

* 현재는 저장공간의 사용자당 최대 사용량이 시스템적으로 설정되어 있지는 않습니다. 그러나 원활한 이용을 위하여 초과해서 사용이 필요한 경우에는 사전에 관리자와 협의를 부탁드립니다.
* 저장공간이 부족해질 경우 개인 사용량을 초과하는 사용자를 대상으로 사용햐지 않는 데이터의 정리를 요청하고 있습니다. 삭제요청과 함께 혹시라도 데이터가 방치되고 있지는 않은지 확인하는 작업입니다. 파일의 삭제 가능 여부와 상관없이 반드시 답장을 해주시기 바랍니다.

* 스크레치 저장공간은 불필요한 데이터를 수시로 정리해주시고 장기 보관이 필요한 데이터는 SE로 이동 부탁드립니다.
* 스크레치 디스크는 임시작업용 저장공간입니다. 데이터 손실에 대한 안전장치가 전혀 없으므로 절대 데이터 보관용으로 사용해서는 안됩니다.
* 매월 28일 90일이 지난 스크레치 디스크의 데이터는 자동으로 삭제됩니다.

=== 서비스별 스토리지 접근 ===

{| style="background:#f0f0f0;color:#black;white:80%;" border="1" cellpadding="5" cellspacing="0"
! 서비스 !! 스토리지 !! 지원 프로토콜 !! 경로 !! Grid인증 !! 비고
|- style="background:white; color:black"
| rowspan=9 | UI
| UI User Home
| nfs
| /u/user/{knu_id}
| X
|
|- style="background:white; color:black"
| UI Scratch
| nfs
| /u/user/{knu_id}/scratch -----> /d0/scratch/{knu_id}
| X
|
|- style="background:white; color:black"
| rowspan=7 | SE
| xrootd
| xrootd: root://cluster142.knu.ac.kr//store/user/{cern_id}
| O
|
|- style="background:white; color:black"
| webdav
| webdav: davs://cluster142.knu.ac.kr:2880/cms/store/user/{cern_id}
| O
|
|- style="background:white; color:black"
| <del>srm</del>
| <del>srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/{cern_id}</del>
| O
|
|- style="background:white; color:black"
| <del>gsiftp</del>
| <del>gsiftp://cluster142.knu.ac.kr:2811/pnfs/knu.ac.kr/data/cms/store/user/{cern_id}</del>
| O
|
|- style="background:white; color:black"
| dcap
| dcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/{cern_id}
| X
| 읽기전용, 레거시(비권장)
|- style="background:white; color:black"
| gsidcap
| gsidcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/{cern_id}
| O
| 레거시(비권장)
|- style="background:white; color:black"
| nfs
| /pnfs/knu.ac.kr/data/cms/store/user/{cern_id} /u/user/{knu_id}/SE_UserHome -----> /pnfs/knu.ac.kr/data/cms/store/user/{cern_id}
| X
|
|- style="background:white; color:black"
| rowspan=9 | HTCondor
| UI User Home
| nfs
| /u/user/{knu_id}
| X
|
|- style="background:white; color:black"
| UI Scratch
| nfs
| /u/user/{knu_id}/scratch -----> /d0/scratch/{knu_id}
| X
|
|- style="background:white; color:black"
| rowspan=7 | SE
| xrootd
| xrootd: root://cluster142.knu.ac.kr//store/user/{cern_id}
| O
|
|- style="background:white; color:black"
| webdav
| webdav: davs://cluster142.knu.ac.kr:2880/cms/store/user/{cern_id}
| O
|
|- style="background:white; color:black"
| <del>srm</del>
| <del>srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/{cern_id}</del>
| O
|
|- style="background:white; color:black"
| <del>gsiftp</del>
| <del>gsiftp://cluster142.knu.ac.kr:2811/pnfs/knu.ac.kr/data/cms/store/user/{cern_id}</del>
| O
|
|- style="background:white; color:black"
| dcap
| dcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/{cern_id}
| X
| 읽기전용, 레거시(비권장)
|- style="background:white; color:black"
| gsidcap
| gsidcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/{cern_id}
| O
| 레거시(비권장)
|- style="background:white; color:black"
| nfs
| /pnfs/knu.ac.kr/data/cms/store/user/{cern_id} /u/user/{knu_id}/SE_UserHome -----> /pnfs/knu.ac.kr/data/cms/store/user/{cern_id}
| X
|
|- style="background:white; color:black"

|}

* 해당 경로를 찾을 수 없다면 관리자에게 문의해 주시기 바랍니다.
* HTcondor 에서 SE에 nfs로 연결됨에 따라 dcap 이나 xrootd 와 같은 별다른 프로토콜 사용 없이 직접적으로 SE의 데이터를 읽고 쓸 수 있습니다. 

=== voms 인증 ===
* SE는 voms 인증 후 사용할수 있습니다.
$ voms-proxy-init --voms cms

=== voms 인증 정보 확인 ===
* voms 인증 정보는 다음 명령어로 확인할 수 있습니다.
$ voms-proxy-info --all
voms-proxy-info --all
subject : /DC=ch/DC=cern/OU=Organic Units/OU=Users/CN=gdhong/CN=000000/CN=Gildong Hong/CN=00000000
issuer : /DC=ch/DC=cern/OU=Organic Units/OU=Users/CN=gdhong/CN=000000/CN=Gildong Hong
identity : /DC=ch/DC=cern/OU=Organic Units/OU=Users/CN=gdhong/CN=000000/CN=Gildong Hong
type : RFC3820 compliant impersonation proxy
strength : 2048
path : /tmp/x509up_u00000
timeleft : 11:59:52
key usage : Digital Signature, Key Encipherment
=== VO cms extension information ===
VO : cms
subject : /DC=ch/DC=cern/OU=Organic Units/OU=Users/CN=gdhong/CN=000000/CN=Gildong Hong
issuer : /DC=ch/DC=cern/OU=computers/CN=voms2.cern.ch
attribute : /cms/Role=NULL/Capability=NULL
timeleft : 11:59:54
uri : voms2.cern.ch:15002

주의해야할 부분은 VO cms extension information 부분입니다. 만약 VO cms extension information 부분이 출력되지 않는다면 --voms cms 옵션을 정확하게 입력하였는지 자신의 cms vo가 만료된건 아닌지 확인 해야합니다.

=== T3_KR_KNU의 Computing Resource 실시간 조회하기 (CPU, Disk 자원 조회) ===

* UI 에서 "knuinfo" 명령어를 실행합니다.
$ knuinfo
-----------------------------------------------------------------------------------------
CPU Free Total Jobs Running Waiting ComputingElement
2221 247 2 0 0 ce01.knu.ac.kr:9619/ce01.knu.ac.kr-condor
-----------------------------------------------------------------------------------------
Avail Space(kB) Used Space(kB) Type SE
193752733956 1665682774974 xroot cluster142.knu.ac.kr
-----------------------------------------------------------------------------------------

=== SE(Storage Element)의 사용자 디렉토리 경로 ===
$ srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/(username)/.../SrcFile
$ gsiftp://cluster142.knu.ac.kr:2811/pnfs/knu.ac.kr/data/cms/store/user/(username)/.../SrcFile
$ dcap://cluster142.knu.ac.kr/pnfs/knu.ac.kr/data/cms/store/user/(username)/.../SrcFile
$ gsidcap://cluster142.knu.ac.kr:22128/pnfs/knu.ac.kr/data/cms/store/user/(username)/.../SrcFile
$ root://cluster142.knu.ac.kr//store/user/(username)/.../SrcFile
$ davs://cluster142.knu.ac.kr:2880/cms/store/user/(username)/.../SrcFile

참고사항: 
- 위의 예시에서 username은 향후 data를 publish 할 경우를 대비하서 경북대 ID가 아니라 CERNID를 사용해야 합니다. 
- 계정을 발급받을 당시에 cern id가 없는 사용자는 해당 경로가 생성되지 않습니다. 
- 만약에 cern id가 있는데도 불구하고 본인의 디렉토리가 만들어져 있지 않는 경우에는 관리자에게 연락바랍니다.

=== SE에서 SE로 파일 복사하기 ===

$ gfal-copy root://cluster142.knu.ac.kr//store/user/(username)/.../SrcFile \
root://cluster142.knu.ac.kr//store/user/(username)/.../.../DestFile

$ gfal-copy davs://cluster142.knu.ac.kr:2880/cms/store/user/(username)/.../SrcFile \
davs://cluster142.knu.ac.kr:2880/cms/store/user/(username)/.../DestFile

=== SE에 있는 파일을 및 local 디렉토리로 복사하기 ===

$ gfal-copy root://cluster142.knu.ac.kr//store/user/(username)/.../SrcFile \
file:////u/user/(username)/.../DestFile

$ gfal-copy root://cluster142.knu.ac.kr//store/user/(username)/.../SrcFile \
./DestFile

$ gfal-copy davs://cluster142.knu.ac.kr:2880/cms/store/user/(username)/.../SrcFile \
file:////u/user/(username)/.../DestFile

$ gfal-copy davs://cluster142.knu.ac.kr:2880/cms/store/user/(username)/.../SrcFile \
./DestFile

$ gfal-copy gsidcap://cluster142.knu.ac.kr:22128/pnfs/knu.ac.kr/data/cms/store/user/(username)/.../SrcFile \
file:////u/user/(username)/.../DestFile

$ gfal-copy gsidcap://cluster142.knu.ac.kr/pnfs/knu.ac.kr/data/cms/store/user/(username)/.../SrcFile \
./DestFile

=== xrootd 를 활용한 SE Data 접근 방법 ===

* [[Xrootd|xrootd 을 이용하여 SE 사용하기]]

=== WebDav 프로토콜을 활용한 SE Data 접근 방법 ===

* [[WebDav|dCache에서 WebDav 프로토콜 및 마카롱 인증 사용하기]]

=== dcap을 이용한 SE Data 접근 방법 ===
* [[Dcap|dcap 을 이용하여 SE 사용하기]]

=== UI에서 NFS로 마운트된 스토리지 엘리먼트 사용하기 ===
* [[DCacheNFS|스토리지 엘리먼트의 NFS 사용 가이드]]

=== root에서 SE Data 접근 방법 ===

* xrootd 프로토콜을 이용
# 읽기
$ voms-proxy-init --voms cms
$ TFile *f = TFile::Open("root://cluster142.knu.ac.kr//store/user/(username)/test.root");
$
# 쓰기
$ voms-proxy-init --voms cms
$ root -l
root [0] TFile *f = TFile::Open("root://cluster142.knu.ac.kr//store/user/(username)/test.root", "CREATE");
root [1] f->Close();
root [2] TFile *f2 = TFile::Open("root://cluster142.knu.ac.kr//store/user/(username)/test.root", "RECREATE");
root [3] f2->Close();
root [4] .q
$

* dcap 프로토콜을 이용
# 읽기
$ TFile *f = TFile::Open("dcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/(username)/test.root");
$
# 쓰기
$ export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/lib64/dcap
$ root -l
root [0] TFile *f = TFile::Open("gsidcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/(username)/test.root", "CREATE");
root [1] f->Close();
root [2] TFile *f2 = TFile::Open("gsidcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/(username)/test.root", "RECREATE");
root [3] f2->Close();
root [4] .q
$

=== 복수의 파일을 동시에 전송하기 ===
$ /usr/local/bin/lcgcp_copyfiles list.txt

$ cat list.txt
srm://myhost.mydomain.edu:8443//dir1/dir2/sh-copy1 file:///localdir/sh1
srm://myhost.mydomain.edu:8443//dir1/dir2/sh-copy2 file:///localdir/sh2
srm://myhost.mydomain.edu:8443//dir1/dir2/sh-copy3 file:///localdir/sh3
* lcg_cp는 기본적으로 복수파일 전송을 지원하지 않으나 원본경로 대상경로를 포함하는 목록 파일을 생성한뒤, 위의 스크립트를 사용하면 복수의 파일을 전송할수 있다.

=== 복사가 정상적으로 이루어졌는지 확인 또는 디렉토리의 목록 확인 ===

$ gfal-ls -Hl davs://cluster142.knu.ac.kr:2880/cms/store/user/(username)

=== 파일 또는 디렉토리 삭제 ===

$ gfal-rm davs://cluster142.knu.ac.kr:2880/cms/store/user/(username)/test/test.file
$ <strike>gfal-rm srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/(username)/test</strike>
$ <strike>lcg-del -d srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/(username)/test</strike>

=== gfal 명령어 사용 요약 ===
$ voms-proxy-init --voms cms 로 proxy 생성후 아래 명령어를 수행하시면 됩니다.
$ 조회 : gfal-ls -Hl davs://cluster142.knu.ac.kr:2880/cms/store/user/MyAccount/FolderName
$ 복사 : gfal-copy davs://cluster142.knu.ac.kr:2880/cms/store/user/.../FileNameSrc davs://cluster142.knu.ac.kr:2880/cms/store/user/.../FileNameDest
$ 삭제 : gfal-rm davs://cluster142.knu.ac.kr:2880/cms/store/user/MyAccount/FolderName/FileName
$ 디렉토리 삭제 : <strike>gfal-rm -R davs://cluster142.knu.ac.kr:2880/cms/store/user/MyAccount/FolderName</strike>
* 명령어 뒤의 Option은 매뉴얼 페이지를 참고 바랍니다. (ex. man gfal-ls)
* <strike>1000개 이상의 파일 포함한 폴더 내용 보기 : (ex. 500번째 파일부터 700개의 파일을 보고 싶을 경우) lcg-ls --offset 500 --count 700 srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/(DestFoler)</strike>
* gfal-copy에서 "-r" 옵션을 사용하면 디렉토리까지 복사가 가능합니다.

=== gfal-copy를 이용한 디렉토리 복사 ===

gfal-copy에서 "-r" 옵션을 사용하면 서브 디렉토리까지 한번에 복사가 가능합니다. 다음과 같이 임의의 테스트 디렉토리를 만들었을때

[MyAccount@cms tmp5]$ ll
total 0
-rw-r--r-- 1 hanbi knu 0 Aug 26 17:21 aa
-rw-r--r-- 1 hanbi knu 0 Aug 26 17:21 bb
-rw-r--r-- 1 hanbi knu 0 Aug 26 17:21 cc
drwxr-xr-x 2 hanbi knu 24 Aug 26 17:22 dir1

-r 옵션을 적용해서 다음과 같이 실행하면 (로컬 디스크의 ~/MyAccount/tmp5 디렉토리를 SE의 hanbi/tmp5로 복사)

gfal-copy -r file:////u/user/MyAccount/tmp5 davs://cluster142.knu.ac.kr:2880/cms/store/user/MyAccount/tmp5

[MyAccount@cms ~]$ gfal-copy -r file:////u/user/MyAccount/tmp5 davs://cluster142.knu.ac.kr:2880/cms/store/user/MyAccount/tmp5
Mkdir davs://cluster142.knu.ac.kr:2880/cms/store/user/MyAccount/tmp5
Copying file:////u/user/MyAccount/tmp5/aa [DONE] after 0s
Copying file:////u/user/MyAccount/tmp5/bb [DONE] after 0s
Copying file:////u/user/MyAccount/tmp5/cc [DONE] after 0s
Mkdir davs://cluster142.knu.ac.kr:2880/cms/store/user/MyAccount/tmp5/dir1
Copying file:////u/user/MyAccount/tmp5/dir1/dd [DONE] after 0s
Copying file:////u/user/MyAccount/tmp5/dir1/ee [DONE] after 0s

아래와 같이 하부 디렉토리까지 스토리지 엘리먼트로 전부 전송이 되는 것을 확인 할 수 있습니다.

[hanbi@cms ~]$ ll /pnfs/knu.ac.kr/data/cms/store/user/MyAccount/tmp5
total 1
-rw-r--r-- 1 hanbi cms 0 Aug 26 17:22 aa
-rw-r--r-- 1 hanbi cms 0 Aug 26 17:22 bb
-rw-r--r-- 1 hanbi cms 0 Aug 26 17:22 cc
drwxr-xr-x 4 hanbi cms 512 Aug 26 17:22 dir1

물론 반대로 스토리지 엘리먼트에서 로컬 하드로 복사도 가능한데, 사용시 주의해야할 점은 SE의 소스 용량을 먼저 확인해서 전송을해야 로컬 하드디스크가 가득차는 것을 방지할 수 있습니다.

gfal-copy -r davs://cluster142.knu.ac.kr:2880/cms/store/user/MyAccount/tmp5 file:////u/user/MyAccount/tmp5

소스디렉토리의 크기를 확인하는 방법은 다음과 같이 확인할 수 있습니다. 다만 해당 디렉토리 아래의 크기가 매우 클 경우에는 결과가 나오는데 시간이 오래 결릴수 있습니다.

du -hs /pnfs/knu.ac.kr/data/cms/store/user/MyAccount/tmp5

===crab3를 사용한 후 gfal-* 명령어들이 오류가 발생합니다 ===

source /cvmfs/cms.cern.ch/crab3/crab.sh 실행후에 gfal-* 명령어들이 오류가 발생합니다.

$ gfal-ls -Hl davs://cluster142.knu.ac.kr:2880/cms/store/user//test/test.transfer
-rwxrwxrwx 0 0 0 4.8M Oct 12 2015 davs://cluster142.knu.ac.kr:2880/cms/store/user//test/test.transfer

$ source /cvmfs/cms.cern.ch/crab3/crab.sh

$ gfal-ls -Hl davs://cluster142.knu.ac.kr:2880/cms/store/user/test/test.transfer
Could not find platform independent libraries <prefix>
Could not find platform dependent libraries <exec_prefix>
Consider setting $PYTHONHOME to <prefix>[:<exec_prefix>]
'import site' failed; use -v for traceback
Traceback (most recent call last):
File "/usr/bin/gfal-ls", line 8, in <module>
from gfal2_util.shell import Gfal2Shell
ImportError: No module named gfal2_util.shell

crab3 에서 사용하는 python 환경변수와 gfal-* 명령어들에 문제를 일으키기 때문입니다. gfal-* 명령어 앞에 " env --unset=LD_LIBRARY_PATH "을 넣어줌으로써 문제를 해결할 수 있습니다.

$ env --unset=LD_LIBRARY_PATH gfal-ls -Hl davs://cluster142.knu.ac.kr:2880/cms/store/user/test/test.transfer
-rw-r--r-- 1 2 2 Oct 12 02:17 4.8M davs://cluster142.knu.ac.kr:2880/cms/store/user/test/test.transfer

=== cmsenv 실행후 gfal 명령어들이 정상 동작 하지 않을때 ===

cmsenv 실행후에 다음과 같은 오류가 발생한다면

Failed to add IO tunnel (libgsiTunnel.so: cannot open shared object file: No such file or directory). Provider: [libgsiTunnel.so].
Error ( POLLIN) (with data) on control line [12]
Failed to create a control line
Failed open file in the dCache.
gfal-copy: error: Input/output error

아래 명령을 먼저 실행해줌으로써 문제를 해결할 수 있습니다.

export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/lib64/dcap

=== no match 오류가 발생할때 ===

* tcsh에서 ?는 wild card로 인식이 됩니다. 따라서 tcsh을 사용하고 있다면 srm 경로에 반드시 ""를 사용해야 합니다.

=== srm*, lcg*, gfal* 주요 명령어 비교표 ===

{| style="background:#cccc99;color:#black;white:80%;" border="1" cellpadding="5" cellspacing="0"
! srm* !! lcg* !! gfal* !! 비고
|- style="background:white; color:black"
| srmls
| lcg-ls
| gfal-ls
| ls
|- style="background:#f0f0f0; color:black"
| srmcp
| lcg-cp
| gfal-copy
| cp
|- style="background:white; color:black"
| srmrm
| lcg-del
| gfal-rm
| rm
|- style="background:#f0f0f0; color:black"
| srmmkdir
|
| gfal-mkdir
| mkdir
|- style="background:white; color:black"
| srmrmdir
| lcg-del -d
| gfal-rm -R
| rmdir
|- style="background:#f0f0f0; color:black"
|
|
| gfal-cat
| cat

|}

=== uberftp를 이용한 Storage Element 사용 ===

* [[ uberftp | uberftp 사용법으로 가기 ]]

=== WebFTS를 이용한 Storage Element 로의 Data 전송 ===
* [[ Webfts | WebFTS 사용법으로 가기 ]]

=== T3_KR_KNU 저장공간(Disk) 활용 분류 ===

* Storage Element (srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/...)
: 대용량 저장 공간으로 장기간 보관이 가능합니다.
- rucio를 통해 전송된 DataSet 저장
- Crab Analysis 이후의 결과파일 저장
srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/
UI에서는 ~/SE_UserHome/ 에서 확인할 수 있습니다.
: 현재 약 1.45 PB의 공간을 마련하여 운영하고 있습니다.
: 사용자의 데이터 저장으로 공간이 부족할 경우, 사전 설문을 통해 더 이상 사용하지 않는 과거 데이터의 삭제 요청을 드릴 수 있습니다.

* User Home Directory (/u/user/...)
: 기본적인 설정 사항, 사용자가 필요한 소프트웨어 등을 설치 및 보관하는 장소입니다.
: 약 20 TB 규모의 공간입니다.
: 모든 사용자가 20 TB를 나누어 사용하므로 용량이 큰 데이터의 보관은 가급적 삼가해 주시기 바랍니다.

* Scratch Disk
: UI에 총 1개의 임시 저장공간이 있습니다.
- /d0 : 약 40 TB RAID6 Disk
: Sratch 디스크는 임시 저장공간으로 중요한 데이터 및 장기 보관 데이터는 반드시 Storage Element로 이동하여 주시기 바랍니다.

Storage Element Tutorial

2026-07-30T06:35:33Z

Hanbi: /* voms 인증 정보 확인 */

== Storage Element Tutorial ==
CRAB 등을 사용하여 얻은 데이터를 보관할 수 있는 저장 공간을 Storage Element (SE)라 합니다.
이곳에 데이터를 저장하기 위해서는 몇가지 특수한 명령어를 사용해야 합니다.

[주의 : tcsh, csh 등 에서 관련 명령어를 사용할 때, 경로 인자에 반드시 " " 를 사용해주시기 바랍니다.]

=== Overview ===

UI에 로그인 했을 때 일반 사용자가 읽고 쓸수 있는 저장공간은 다음과 같이 3가지 종류가 있습니다.

{| style="background:#f0f0f0;color:#black;white:80%;" border="1" cellpadding="5" cellspacing="0"
! 종류 !! 경로 !! 지원 프로토콜 !! 총용량 !! 사용자당 !! 용도 !! 비고
|- style="background:white; color:black"
| UI 사용자 홈
|
* /u/user/{knu_id}
| nfs
| 20 TB
| 200 GB
| 프로그램 설치 사용자 기본 작업공간
| RAID6
|- style="background:white; color:black"
| SE 사용자홈
|
* xrootd: root://cluster142.knu.ac.kr//store/user/{cern_id}/ 
* webdav: davs://cluster142.knu.ac.kr:2880/cms/store/user/{cern_id} 
* <del>srm: srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/{cern_id}</del> 
* <del>gsiftp://cluster142.knu.ac.kr:2811/pnfs/knu.ac.kr/data/cms/store/user/{cern_id}</del> 
* dcap: dcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/{cern_id} 
* gsidcap: gsidcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/{cern_id} 
* nfs: /pnfs/knu.ac.kr/data/cms/store/user/{cern_id} 
* nfs: /u/user/{knu_id}/SE_UserHome -----> /pnfs/knu.ac.kr/data/cms/store/user/{cern_id}
| xrootd, webdav, <del>srm, gsiftp,</del> dcap, gsidcap, nfs
| 1.84 PB
| 10 TB
| 데이터 보관 대용량데이터처리 프로그램설치X
| dCache, RAID6
|- style="background:white; color:black"
| 스크레치
|
* /d0/scratch 
* /u/user/{knu_id}/scratch -----> /d0/scratch/{knu_id}
| nfs
| 40 TB
|
| 임시 작업용 중요데이터 보관X
| RAID6
|}

* x509인증이 토큰 인증으로 전환되고 있는 상황이며 srm,gsiftp 프로토콜은 xrootd, webdav 프로토콜로 대체되고 있습니다.
* dcap(dCache access protocol): 인증이 필요없는 읽기 전용의 프로토콜입니다. 인증이 필요없기에 간편하게 사용할수 있지만 경북대 내부에서만 사용할수 있습니다.
* gsidcap: 그리드 인증이 필요한 dcap 프로토콜입니다. 읽기 쓰기가 모두 가능하며 경북대 내외부에서 모두 사용할 수 있습니다.
* SE에 저장되어 있는 데이터셋은 연산노드에서 dcap, xrootd, gsiftp, nfs, wedav, srm 프로토콜을 이용하여 읽을 수 있습니다.

* CERN ID와 KNU ID가 다른 사용자는 SE 사용자 홈디렉토리에 CERN ID를 기준으로 디렉토리가 생성됩니다.
* {knu_id}는 경북대에서 발급받은 ID, {cern_id}는 CERN에서 발급 받은 ID를 의미합니다. 일부 사용자들은 두 ID가 일치 하지 않습니다.
* 경북대 계정 신청시 CERN ID가 없는 사용자는 계정발급 직후 SE 사용자 홈디렉토리가 생성되지 않습니다. CERN ID를 발급 받은 후에 별도로 연락주세요.

* 현재는 저장공간의 사용자당 최대 사용량이 시스템적으로 설정되어 있지는 않습니다. 그러나 원활한 이용을 위하여 초과해서 사용이 필요한 경우에는 사전에 관리자와 협의를 부탁드립니다.
* 저장공간이 부족해질 경우 개인 사용량을 초과하는 사용자를 대상으로 사용햐지 않는 데이터의 정리를 요청하고 있습니다. 삭제요청과 함께 혹시라도 데이터가 방치되고 있지는 않은지 확인하는 작업입니다. 파일의 삭제 가능 여부와 상관없이 반드시 답장을 해주시기 바랍니다.

* 스크레치 저장공간은 불필요한 데이터를 수시로 정리해주시고 장기 보관이 필요한 데이터는 SE로 이동 부탁드립니다.
* 스크레치 디스크는 임시작업용 저장공간입니다. 데이터 손실에 대한 안전장치가 전혀 없으므로 절대 데이터 보관용으로 사용해서는 안됩니다.
* 매월 28일 90일이 지난 스크레치 디스크의 데이터는 자동으로 삭제됩니다.

=== 서비스별 스토리지 접근 ===

{| style="background:#f0f0f0;color:#black;white:80%;" border="1" cellpadding="5" cellspacing="0"
! 서비스 !! 스토리지 !! 지원 프로토콜 !! 경로 !! Grid인증 !! 비고
|- style="background:white; color:black"
| rowspan=9 | UI
| UI User Home
| nfs
| /u/user/{knu_id}
| X
|
|- style="background:white; color:black"
| UI Scratch
| nfs
| /u/user/{knu_id}/scratch -----> /d0/scratch/{knu_id}
| X
|
|- style="background:white; color:black"
| rowspan=7 | SE
| xrootd
| xrootd: root://cluster142.knu.ac.kr//store/user/{cern_id}
| O
|
|- style="background:white; color:black"
| webdav
| webdav: davs://cluster142.knu.ac.kr:2880/cms/store/user/{cern_id}
| O
|
|- style="background:white; color:black"
| <del>srm</del>
| <del>srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/{cern_id}</del>
| O
|
|- style="background:white; color:black"
| <del>gsiftp</del>
| <del>gsiftp://cluster142.knu.ac.kr:2811/pnfs/knu.ac.kr/data/cms/store/user/{cern_id}</del>
| O
|
|- style="background:white; color:black"
| dcap
| dcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/{cern_id}
| X
| 읽기전용, 레거시(비권장)
|- style="background:white; color:black"
| gsidcap
| gsidcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/{cern_id}
| O
| 레거시(비권장)
|- style="background:white; color:black"
| nfs
| /pnfs/knu.ac.kr/data/cms/store/user/{cern_id} /u/user/{knu_id}/SE_UserHome -----> /pnfs/knu.ac.kr/data/cms/store/user/{cern_id}
| X
|
|- style="background:white; color:black"
| rowspan=9 | HTCondor
| UI User Home
| nfs
| /u/user/{knu_id}
| X
|
|- style="background:white; color:black"
| UI Scratch
| nfs
| /u/user/{knu_id}/scratch -----> /d0/scratch/{knu_id}
| X
|
|- style="background:white; color:black"
| rowspan=7 | SE
| xrootd
| xrootd: root://cluster142.knu.ac.kr//store/user/{cern_id}
| O
|
|- style="background:white; color:black"
| webdav
| webdav: davs://cluster142.knu.ac.kr:2880/cms/store/user/{cern_id}
| O
|
|- style="background:white; color:black"
| <del>srm</del>
| <del>srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/{cern_id}</del>
| O
|
|- style="background:white; color:black"
| <del>gsiftp</del>
| <del>gsiftp://cluster142.knu.ac.kr:2811/pnfs/knu.ac.kr/data/cms/store/user/{cern_id}</del>
| O
|
|- style="background:white; color:black"
| dcap
| dcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/{cern_id}
| X
| 읽기전용, 레거시(비권장)
|- style="background:white; color:black"
| gsidcap
| gsidcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/{cern_id}
| O
| 레거시(비권장)
|- style="background:white; color:black"
| nfs
| /pnfs/knu.ac.kr/data/cms/store/user/{cern_id} /u/user/{knu_id}/SE_UserHome -----> /pnfs/knu.ac.kr/data/cms/store/user/{cern_id}
| X
|
|- style="background:white; color:black"

|}

* 해당 경로를 찾을 수 없다면 관리자에게 문의해 주시기 바랍니다.
* HTcondor 에서 SE에 nfs로 연결됨에 따라 dcap 이나 xrootd 와 같은 별다른 프로토콜 사용 없이 직접적으로 SE의 데이터를 읽고 쓸 수 있습니다. 

=== voms 인증 ===
* SE는 voms 인증 후 사용할수 있습니다.
$ voms-proxy-init --voms cms

=== voms 인증 정보 확인 ===
* voms 인증 정보는 다음 명령어로 확인할 수 있습니다.
$ voms-proxy-info --all
voms-proxy-info --all
subject : /DC=ch/DC=cern/OU=Organic Units/OU=Users/CN=gdhong/CN=000000/CN=Gildong Hong/CN=00000000
issuer : /DC=ch/DC=cern/OU=Organic Units/OU=Users/CN=gdhong/CN=000000/CN=Gildong Hong
identity : /DC=ch/DC=cern/OU=Organic Units/OU=Users/CN=gdhong/CN=000000/CN=Gildong Hong
type : RFC3820 compliant impersonation proxy
strength : 2048
path : /tmp/x509up_u34324
timeleft : 11:59:52
key usage : Digital Signature, Key Encipherment
=== VO cms extension information ===
VO : cms
subject : /DC=ch/DC=cern/OU=Organic Units/OU=Users/CN=gdhong/CN=000000/CN=Gildong Hong
issuer : /DC=ch/DC=cern/OU=computers/CN=voms2.cern.ch
attribute : /cms/Role=NULL/Capability=NULL
timeleft : 11:59:54
uri : voms2.cern.ch:15002

주의해야할 부분은 VO cms extension information 부분입니다. 만약 VO cms extension information 부분이 출력되지 않는다면 --voms cms 옵션을 정확하게 입력하였는지 자신의 cms vo가 만료된건 아닌지 확인 해야합니다.

=== T3_KR_KNU의 Computing Resource 실시간 조회하기 (CPU, Disk 자원 조회) ===

* UI 에서 "knuinfo" 명령어를 실행합니다.
$ knuinfo
-----------------------------------------------------------------------------------------
CPU Free Total Jobs Running Waiting ComputingElement
2221 247 2 0 0 ce01.knu.ac.kr:9619/ce01.knu.ac.kr-condor
-----------------------------------------------------------------------------------------
Avail Space(kB) Used Space(kB) Type SE
193752733956 1665682774974 xroot cluster142.knu.ac.kr
-----------------------------------------------------------------------------------------

=== SE(Storage Element)의 사용자 디렉토리 경로 ===
$ srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/(username)/.../SrcFile
$ gsiftp://cluster142.knu.ac.kr:2811/pnfs/knu.ac.kr/data/cms/store/user/(username)/.../SrcFile
$ dcap://cluster142.knu.ac.kr/pnfs/knu.ac.kr/data/cms/store/user/(username)/.../SrcFile
$ gsidcap://cluster142.knu.ac.kr:22128/pnfs/knu.ac.kr/data/cms/store/user/(username)/.../SrcFile
$ root://cluster142.knu.ac.kr//store/user/(username)/.../SrcFile
$ davs://cluster142.knu.ac.kr:2880/cms/store/user/(username)/.../SrcFile

참고사항: 
- 위의 예시에서 username은 향후 data를 publish 할 경우를 대비하서 경북대 ID가 아니라 CERNID를 사용해야 합니다. 
- 계정을 발급받을 당시에 cern id가 없는 사용자는 해당 경로가 생성되지 않습니다. 
- 만약에 cern id가 있는데도 불구하고 본인의 디렉토리가 만들어져 있지 않는 경우에는 관리자에게 연락바랍니다.

=== SE에서 SE로 파일 복사하기 ===

$ gfal-copy root://cluster142.knu.ac.kr//store/user/(username)/.../SrcFile \
root://cluster142.knu.ac.kr//store/user/(username)/.../.../DestFile

$ gfal-copy davs://cluster142.knu.ac.kr:2880/cms/store/user/(username)/.../SrcFile \
davs://cluster142.knu.ac.kr:2880/cms/store/user/(username)/.../DestFile

=== SE에 있는 파일을 및 local 디렉토리로 복사하기 ===

$ gfal-copy root://cluster142.knu.ac.kr//store/user/(username)/.../SrcFile \
file:////u/user/(username)/.../DestFile

$ gfal-copy root://cluster142.knu.ac.kr//store/user/(username)/.../SrcFile \
./DestFile

$ gfal-copy davs://cluster142.knu.ac.kr:2880/cms/store/user/(username)/.../SrcFile \
file:////u/user/(username)/.../DestFile

$ gfal-copy davs://cluster142.knu.ac.kr:2880/cms/store/user/(username)/.../SrcFile \
./DestFile

$ gfal-copy gsidcap://cluster142.knu.ac.kr:22128/pnfs/knu.ac.kr/data/cms/store/user/(username)/.../SrcFile \
file:////u/user/(username)/.../DestFile

$ gfal-copy gsidcap://cluster142.knu.ac.kr/pnfs/knu.ac.kr/data/cms/store/user/(username)/.../SrcFile \
./DestFile

=== xrootd 를 활용한 SE Data 접근 방법 ===

* [[Xrootd|xrootd 을 이용하여 SE 사용하기]]

=== WebDav 프로토콜을 활용한 SE Data 접근 방법 ===

* [[WebDav|dCache에서 WebDav 프로토콜 및 마카롱 인증 사용하기]]

=== dcap을 이용한 SE Data 접근 방법 ===
* [[Dcap|dcap 을 이용하여 SE 사용하기]]

=== UI에서 NFS로 마운트된 스토리지 엘리먼트 사용하기 ===
* [[DCacheNFS|스토리지 엘리먼트의 NFS 사용 가이드]]

=== root에서 SE Data 접근 방법 ===

* xrootd 프로토콜을 이용
# 읽기
$ voms-proxy-init --voms cms
$ TFile *f = TFile::Open("root://cluster142.knu.ac.kr//store/user/(username)/test.root");
$
# 쓰기
$ voms-proxy-init --voms cms
$ root -l
root [0] TFile *f = TFile::Open("root://cluster142.knu.ac.kr//store/user/(username)/test.root", "CREATE");
root [1] f->Close();
root [2] TFile *f2 = TFile::Open("root://cluster142.knu.ac.kr//store/user/(username)/test.root", "RECREATE");
root [3] f2->Close();
root [4] .q
$

* dcap 프로토콜을 이용
# 읽기
$ TFile *f = TFile::Open("dcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/(username)/test.root");
$
# 쓰기
$ export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/lib64/dcap
$ root -l
root [0] TFile *f = TFile::Open("gsidcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/(username)/test.root", "CREATE");
root [1] f->Close();
root [2] TFile *f2 = TFile::Open("gsidcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/(username)/test.root", "RECREATE");
root [3] f2->Close();
root [4] .q
$

=== 복수의 파일을 동시에 전송하기 ===
$ /usr/local/bin/lcgcp_copyfiles list.txt

$ cat list.txt
srm://myhost.mydomain.edu:8443//dir1/dir2/sh-copy1 file:///localdir/sh1
srm://myhost.mydomain.edu:8443//dir1/dir2/sh-copy2 file:///localdir/sh2
srm://myhost.mydomain.edu:8443//dir1/dir2/sh-copy3 file:///localdir/sh3
* lcg_cp는 기본적으로 복수파일 전송을 지원하지 않으나 원본경로 대상경로를 포함하는 목록 파일을 생성한뒤, 위의 스크립트를 사용하면 복수의 파일을 전송할수 있다.

=== 복사가 정상적으로 이루어졌는지 확인 또는 디렉토리의 목록 확인 ===

$ gfal-ls -Hl davs://cluster142.knu.ac.kr:2880/cms/store/user/(username)

=== 파일 또는 디렉토리 삭제 ===

$ gfal-rm davs://cluster142.knu.ac.kr:2880/cms/store/user/(username)/test/test.file
$ <strike>gfal-rm srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/(username)/test</strike>
$ <strike>lcg-del -d srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/(username)/test</strike>

=== gfal 명령어 사용 요약 ===
$ voms-proxy-init --voms cms 로 proxy 생성후 아래 명령어를 수행하시면 됩니다.
$ 조회 : gfal-ls -Hl davs://cluster142.knu.ac.kr:2880/cms/store/user/MyAccount/FolderName
$ 복사 : gfal-copy davs://cluster142.knu.ac.kr:2880/cms/store/user/.../FileNameSrc davs://cluster142.knu.ac.kr:2880/cms/store/user/.../FileNameDest
$ 삭제 : gfal-rm davs://cluster142.knu.ac.kr:2880/cms/store/user/MyAccount/FolderName/FileName
$ 디렉토리 삭제 : <strike>gfal-rm -R davs://cluster142.knu.ac.kr:2880/cms/store/user/MyAccount/FolderName</strike>
* 명령어 뒤의 Option은 매뉴얼 페이지를 참고 바랍니다. (ex. man gfal-ls)
* <strike>1000개 이상의 파일 포함한 폴더 내용 보기 : (ex. 500번째 파일부터 700개의 파일을 보고 싶을 경우) lcg-ls --offset 500 --count 700 srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/(DestFoler)</strike>
* gfal-copy에서 "-r" 옵션을 사용하면 디렉토리까지 복사가 가능합니다.

=== gfal-copy를 이용한 디렉토리 복사 ===

gfal-copy에서 "-r" 옵션을 사용하면 서브 디렉토리까지 한번에 복사가 가능합니다. 다음과 같이 임의의 테스트 디렉토리를 만들었을때

[MyAccount@cms tmp5]$ ll
total 0
-rw-r--r-- 1 hanbi knu 0 Aug 26 17:21 aa
-rw-r--r-- 1 hanbi knu 0 Aug 26 17:21 bb
-rw-r--r-- 1 hanbi knu 0 Aug 26 17:21 cc
drwxr-xr-x 2 hanbi knu 24 Aug 26 17:22 dir1

-r 옵션을 적용해서 다음과 같이 실행하면 (로컬 디스크의 ~/MyAccount/tmp5 디렉토리를 SE의 hanbi/tmp5로 복사)

gfal-copy -r file:////u/user/MyAccount/tmp5 davs://cluster142.knu.ac.kr:2880/cms/store/user/MyAccount/tmp5

[MyAccount@cms ~]$ gfal-copy -r file:////u/user/MyAccount/tmp5 davs://cluster142.knu.ac.kr:2880/cms/store/user/MyAccount/tmp5
Mkdir davs://cluster142.knu.ac.kr:2880/cms/store/user/MyAccount/tmp5
Copying file:////u/user/MyAccount/tmp5/aa [DONE] after 0s
Copying file:////u/user/MyAccount/tmp5/bb [DONE] after 0s
Copying file:////u/user/MyAccount/tmp5/cc [DONE] after 0s
Mkdir davs://cluster142.knu.ac.kr:2880/cms/store/user/MyAccount/tmp5/dir1
Copying file:////u/user/MyAccount/tmp5/dir1/dd [DONE] after 0s
Copying file:////u/user/MyAccount/tmp5/dir1/ee [DONE] after 0s

아래와 같이 하부 디렉토리까지 스토리지 엘리먼트로 전부 전송이 되는 것을 확인 할 수 있습니다.

[hanbi@cms ~]$ ll /pnfs/knu.ac.kr/data/cms/store/user/MyAccount/tmp5
total 1
-rw-r--r-- 1 hanbi cms 0 Aug 26 17:22 aa
-rw-r--r-- 1 hanbi cms 0 Aug 26 17:22 bb
-rw-r--r-- 1 hanbi cms 0 Aug 26 17:22 cc
drwxr-xr-x 4 hanbi cms 512 Aug 26 17:22 dir1

물론 반대로 스토리지 엘리먼트에서 로컬 하드로 복사도 가능한데, 사용시 주의해야할 점은 SE의 소스 용량을 먼저 확인해서 전송을해야 로컬 하드디스크가 가득차는 것을 방지할 수 있습니다.

gfal-copy -r davs://cluster142.knu.ac.kr:2880/cms/store/user/MyAccount/tmp5 file:////u/user/MyAccount/tmp5

소스디렉토리의 크기를 확인하는 방법은 다음과 같이 확인할 수 있습니다. 다만 해당 디렉토리 아래의 크기가 매우 클 경우에는 결과가 나오는데 시간이 오래 결릴수 있습니다.

du -hs /pnfs/knu.ac.kr/data/cms/store/user/MyAccount/tmp5

===crab3를 사용한 후 gfal-* 명령어들이 오류가 발생합니다 ===

source /cvmfs/cms.cern.ch/crab3/crab.sh 실행후에 gfal-* 명령어들이 오류가 발생합니다.

$ gfal-ls -Hl davs://cluster142.knu.ac.kr:2880/cms/store/user//test/test.transfer
-rwxrwxrwx 0 0 0 4.8M Oct 12 2015 davs://cluster142.knu.ac.kr:2880/cms/store/user//test/test.transfer

$ source /cvmfs/cms.cern.ch/crab3/crab.sh

$ gfal-ls -Hl davs://cluster142.knu.ac.kr:2880/cms/store/user/test/test.transfer
Could not find platform independent libraries <prefix>
Could not find platform dependent libraries <exec_prefix>
Consider setting $PYTHONHOME to <prefix>[:<exec_prefix>]
'import site' failed; use -v for traceback
Traceback (most recent call last):
File "/usr/bin/gfal-ls", line 8, in <module>
from gfal2_util.shell import Gfal2Shell
ImportError: No module named gfal2_util.shell

crab3 에서 사용하는 python 환경변수와 gfal-* 명령어들에 문제를 일으키기 때문입니다. gfal-* 명령어 앞에 " env --unset=LD_LIBRARY_PATH "을 넣어줌으로써 문제를 해결할 수 있습니다.

$ env --unset=LD_LIBRARY_PATH gfal-ls -Hl davs://cluster142.knu.ac.kr:2880/cms/store/user/test/test.transfer
-rw-r--r-- 1 2 2 Oct 12 02:17 4.8M davs://cluster142.knu.ac.kr:2880/cms/store/user/test/test.transfer

=== cmsenv 실행후 gfal 명령어들이 정상 동작 하지 않을때 ===

cmsenv 실행후에 다음과 같은 오류가 발생한다면

Failed to add IO tunnel (libgsiTunnel.so: cannot open shared object file: No such file or directory). Provider: [libgsiTunnel.so].
Error ( POLLIN) (with data) on control line [12]
Failed to create a control line
Failed open file in the dCache.
gfal-copy: error: Input/output error

아래 명령을 먼저 실행해줌으로써 문제를 해결할 수 있습니다.

export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/lib64/dcap

=== no match 오류가 발생할때 ===

* tcsh에서 ?는 wild card로 인식이 됩니다. 따라서 tcsh을 사용하고 있다면 srm 경로에 반드시 ""를 사용해야 합니다.

=== srm*, lcg*, gfal* 주요 명령어 비교표 ===

{| style="background:#cccc99;color:#black;white:80%;" border="1" cellpadding="5" cellspacing="0"
! srm* !! lcg* !! gfal* !! 비고
|- style="background:white; color:black"
| srmls
| lcg-ls
| gfal-ls
| ls
|- style="background:#f0f0f0; color:black"
| srmcp
| lcg-cp
| gfal-copy
| cp
|- style="background:white; color:black"
| srmrm
| lcg-del
| gfal-rm
| rm
|- style="background:#f0f0f0; color:black"
| srmmkdir
|
| gfal-mkdir
| mkdir
|- style="background:white; color:black"
| srmrmdir
| lcg-del -d
| gfal-rm -R
| rmdir
|- style="background:#f0f0f0; color:black"
|
|
| gfal-cat
| cat

|}

=== uberftp를 이용한 Storage Element 사용 ===

* [[ uberftp | uberftp 사용법으로 가기 ]]

=== WebFTS를 이용한 Storage Element 로의 Data 전송 ===
* [[ Webfts | WebFTS 사용법으로 가기 ]]

=== T3_KR_KNU 저장공간(Disk) 활용 분류 ===

* Storage Element (srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/...)
: 대용량 저장 공간으로 장기간 보관이 가능합니다.
- rucio를 통해 전송된 DataSet 저장
- Crab Analysis 이후의 결과파일 저장
srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/
UI에서는 ~/SE_UserHome/ 에서 확인할 수 있습니다.
: 현재 약 1.45 PB의 공간을 마련하여 운영하고 있습니다.
: 사용자의 데이터 저장으로 공간이 부족할 경우, 사전 설문을 통해 더 이상 사용하지 않는 과거 데이터의 삭제 요청을 드릴 수 있습니다.

* User Home Directory (/u/user/...)
: 기본적인 설정 사항, 사용자가 필요한 소프트웨어 등을 설치 및 보관하는 장소입니다.
: 약 20 TB 규모의 공간입니다.
: 모든 사용자가 20 TB를 나누어 사용하므로 용량이 큰 데이터의 보관은 가급적 삼가해 주시기 바랍니다.

* Scratch Disk
: UI에 총 1개의 임시 저장공간이 있습니다.
- /d0 : 약 40 TB RAID6 Disk
: Sratch 디스크는 임시 저장공간으로 중요한 데이터 및 장기 보관 데이터는 반드시 Storage Element로 이동하여 주시기 바랍니다.

Storage Element Tutorial

2026-07-30T06:33:51Z

Hanbi: /* 서비스별 스토리지 접근 */

== Storage Element Tutorial ==
CRAB 등을 사용하여 얻은 데이터를 보관할 수 있는 저장 공간을 Storage Element (SE)라 합니다.
이곳에 데이터를 저장하기 위해서는 몇가지 특수한 명령어를 사용해야 합니다.

[주의 : tcsh, csh 등 에서 관련 명령어를 사용할 때, 경로 인자에 반드시 " " 를 사용해주시기 바랍니다.]

=== Overview ===

UI에 로그인 했을 때 일반 사용자가 읽고 쓸수 있는 저장공간은 다음과 같이 3가지 종류가 있습니다.

{| style="background:#f0f0f0;color:#black;white:80%;" border="1" cellpadding="5" cellspacing="0"
! 종류 !! 경로 !! 지원 프로토콜 !! 총용량 !! 사용자당 !! 용도 !! 비고
|- style="background:white; color:black"
| UI 사용자 홈
|
* /u/user/{knu_id}
| nfs
| 20 TB
| 200 GB
| 프로그램 설치 사용자 기본 작업공간
| RAID6
|- style="background:white; color:black"
| SE 사용자홈
|
* xrootd: root://cluster142.knu.ac.kr//store/user/{cern_id}/ 
* webdav: davs://cluster142.knu.ac.kr:2880/cms/store/user/{cern_id} 
* <del>srm: srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/{cern_id}</del> 
* <del>gsiftp://cluster142.knu.ac.kr:2811/pnfs/knu.ac.kr/data/cms/store/user/{cern_id}</del> 
* dcap: dcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/{cern_id} 
* gsidcap: gsidcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/{cern_id} 
* nfs: /pnfs/knu.ac.kr/data/cms/store/user/{cern_id} 
* nfs: /u/user/{knu_id}/SE_UserHome -----> /pnfs/knu.ac.kr/data/cms/store/user/{cern_id}
| xrootd, webdav, <del>srm, gsiftp,</del> dcap, gsidcap, nfs
| 1.84 PB
| 10 TB
| 데이터 보관 대용량데이터처리 프로그램설치X
| dCache, RAID6
|- style="background:white; color:black"
| 스크레치
|
* /d0/scratch 
* /u/user/{knu_id}/scratch -----> /d0/scratch/{knu_id}
| nfs
| 40 TB
|
| 임시 작업용 중요데이터 보관X
| RAID6
|}

* x509인증이 토큰 인증으로 전환되고 있는 상황이며 srm,gsiftp 프로토콜은 xrootd, webdav 프로토콜로 대체되고 있습니다.
* dcap(dCache access protocol): 인증이 필요없는 읽기 전용의 프로토콜입니다. 인증이 필요없기에 간편하게 사용할수 있지만 경북대 내부에서만 사용할수 있습니다.
* gsidcap: 그리드 인증이 필요한 dcap 프로토콜입니다. 읽기 쓰기가 모두 가능하며 경북대 내외부에서 모두 사용할 수 있습니다.
* SE에 저장되어 있는 데이터셋은 연산노드에서 dcap, xrootd, gsiftp, nfs, wedav, srm 프로토콜을 이용하여 읽을 수 있습니다.

* CERN ID와 KNU ID가 다른 사용자는 SE 사용자 홈디렉토리에 CERN ID를 기준으로 디렉토리가 생성됩니다.
* {knu_id}는 경북대에서 발급받은 ID, {cern_id}는 CERN에서 발급 받은 ID를 의미합니다. 일부 사용자들은 두 ID가 일치 하지 않습니다.
* 경북대 계정 신청시 CERN ID가 없는 사용자는 계정발급 직후 SE 사용자 홈디렉토리가 생성되지 않습니다. CERN ID를 발급 받은 후에 별도로 연락주세요.

* 현재는 저장공간의 사용자당 최대 사용량이 시스템적으로 설정되어 있지는 않습니다. 그러나 원활한 이용을 위하여 초과해서 사용이 필요한 경우에는 사전에 관리자와 협의를 부탁드립니다.
* 저장공간이 부족해질 경우 개인 사용량을 초과하는 사용자를 대상으로 사용햐지 않는 데이터의 정리를 요청하고 있습니다. 삭제요청과 함께 혹시라도 데이터가 방치되고 있지는 않은지 확인하는 작업입니다. 파일의 삭제 가능 여부와 상관없이 반드시 답장을 해주시기 바랍니다.

* 스크레치 저장공간은 불필요한 데이터를 수시로 정리해주시고 장기 보관이 필요한 데이터는 SE로 이동 부탁드립니다.
* 스크레치 디스크는 임시작업용 저장공간입니다. 데이터 손실에 대한 안전장치가 전혀 없으므로 절대 데이터 보관용으로 사용해서는 안됩니다.
* 매월 28일 90일이 지난 스크레치 디스크의 데이터는 자동으로 삭제됩니다.

=== 서비스별 스토리지 접근 ===

{| style="background:#f0f0f0;color:#black;white:80%;" border="1" cellpadding="5" cellspacing="0"
! 서비스 !! 스토리지 !! 지원 프로토콜 !! 경로 !! Grid인증 !! 비고
|- style="background:white; color:black"
| rowspan=9 | UI
| UI User Home
| nfs
| /u/user/{knu_id}
| X
|
|- style="background:white; color:black"
| UI Scratch
| nfs
| /u/user/{knu_id}/scratch -----> /d0/scratch/{knu_id}
| X
|
|- style="background:white; color:black"
| rowspan=7 | SE
| xrootd
| xrootd: root://cluster142.knu.ac.kr//store/user/{cern_id}
| O
|
|- style="background:white; color:black"
| webdav
| webdav: davs://cluster142.knu.ac.kr:2880/cms/store/user/{cern_id}
| O
|
|- style="background:white; color:black"
| <del>srm</del>
| <del>srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/{cern_id}</del>
| O
|
|- style="background:white; color:black"
| <del>gsiftp</del>
| <del>gsiftp://cluster142.knu.ac.kr:2811/pnfs/knu.ac.kr/data/cms/store/user/{cern_id}</del>
| O
|
|- style="background:white; color:black"
| dcap
| dcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/{cern_id}
| X
| 읽기전용, 레거시(비권장)
|- style="background:white; color:black"
| gsidcap
| gsidcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/{cern_id}
| O
| 레거시(비권장)
|- style="background:white; color:black"
| nfs
| /pnfs/knu.ac.kr/data/cms/store/user/{cern_id} /u/user/{knu_id}/SE_UserHome -----> /pnfs/knu.ac.kr/data/cms/store/user/{cern_id}
| X
|
|- style="background:white; color:black"
| rowspan=9 | HTCondor
| UI User Home
| nfs
| /u/user/{knu_id}
| X
|
|- style="background:white; color:black"
| UI Scratch
| nfs
| /u/user/{knu_id}/scratch -----> /d0/scratch/{knu_id}
| X
|
|- style="background:white; color:black"
| rowspan=7 | SE
| xrootd
| xrootd: root://cluster142.knu.ac.kr//store/user/{cern_id}
| O
|
|- style="background:white; color:black"
| webdav
| webdav: davs://cluster142.knu.ac.kr:2880/cms/store/user/{cern_id}
| O
|
|- style="background:white; color:black"
| <del>srm</del>
| <del>srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/{cern_id}</del>
| O
|
|- style="background:white; color:black"
| <del>gsiftp</del>
| <del>gsiftp://cluster142.knu.ac.kr:2811/pnfs/knu.ac.kr/data/cms/store/user/{cern_id}</del>
| O
|
|- style="background:white; color:black"
| dcap
| dcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/{cern_id}
| X
| 읽기전용, 레거시(비권장)
|- style="background:white; color:black"
| gsidcap
| gsidcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/{cern_id}
| O
| 레거시(비권장)
|- style="background:white; color:black"
| nfs
| /pnfs/knu.ac.kr/data/cms/store/user/{cern_id} /u/user/{knu_id}/SE_UserHome -----> /pnfs/knu.ac.kr/data/cms/store/user/{cern_id}
| X
|
|- style="background:white; color:black"

|}

* 해당 경로를 찾을 수 없다면 관리자에게 문의해 주시기 바랍니다.
* HTcondor 에서 SE에 nfs로 연결됨에 따라 dcap 이나 xrootd 와 같은 별다른 프로토콜 사용 없이 직접적으로 SE의 데이터를 읽고 쓸 수 있습니다. 

=== voms 인증 ===
* SE는 voms 인증 후 사용할수 있습니다.
$ voms-proxy-init --voms cms

=== voms 인증 정보 확인 ===
* voms 인증 정보는 다음 명령어로 확인할 수 있습니다.
$ voms-proxy-info --all
voms-proxy-info --all
subject : /DC=ch/DC=cern/OU=Organic Units/OU=Users/CN=gdhong/CN=000000/CN=Gildong Hong/CN=00000000
issuer : /DC=ch/DC=cern/OU=Organic Units/OU=Users/CN=gdhong/CN=000000/CN=Gildong Hong
identity : /DC=ch/DC=cern/OU=Organic Units/OU=Users/CN=gdhong/CN=000000/CN=Gildong Hong
type : RFC3820 compliant impersonation proxy
strength : 1024
path : /tmp/x509up_u77420
timeleft : 11:59:52
key usage : Digital Signature, Key Encipherment
=== VO cms extension information ===
VO : cms
subject : /DC=ch/DC=cern/OU=Organic Units/OU=Users/CN=gdhong/CN=000000/CN=Gildong Hong
issuer : /DC=ch/DC=cern/OU=computers/CN=voms2.cern.ch
attribute : /cms/Role=NULL/Capability=NULL
timeleft : 11:59:54
uri : voms2.cern.ch:15002

주의해야할 부분은 VO cms extension information 부분입니다. 만약 VO cms extension information 부분이 출력되지 않는다면 --voms cms 옵션을 정확하게 입력하였는지 자신의 cms vo가 만료된건 아닌지 확인 해야합니다.

=== T3_KR_KNU의 Computing Resource 실시간 조회하기 (CPU, Disk 자원 조회) ===

* UI 에서 "knuinfo" 명령어를 실행합니다.
$ knuinfo
-----------------------------------------------------------------------------------------
CPU Free Total Jobs Running Waiting ComputingElement
2221 247 2 0 0 ce01.knu.ac.kr:9619/ce01.knu.ac.kr-condor
-----------------------------------------------------------------------------------------
Avail Space(kB) Used Space(kB) Type SE
193752733956 1665682774974 xroot cluster142.knu.ac.kr
-----------------------------------------------------------------------------------------

=== SE(Storage Element)의 사용자 디렉토리 경로 ===
$ srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/(username)/.../SrcFile
$ gsiftp://cluster142.knu.ac.kr:2811/pnfs/knu.ac.kr/data/cms/store/user/(username)/.../SrcFile
$ dcap://cluster142.knu.ac.kr/pnfs/knu.ac.kr/data/cms/store/user/(username)/.../SrcFile
$ gsidcap://cluster142.knu.ac.kr:22128/pnfs/knu.ac.kr/data/cms/store/user/(username)/.../SrcFile
$ root://cluster142.knu.ac.kr//store/user/(username)/.../SrcFile
$ davs://cluster142.knu.ac.kr:2880/cms/store/user/(username)/.../SrcFile

참고사항: 
- 위의 예시에서 username은 향후 data를 publish 할 경우를 대비하서 경북대 ID가 아니라 CERNID를 사용해야 합니다. 
- 계정을 발급받을 당시에 cern id가 없는 사용자는 해당 경로가 생성되지 않습니다. 
- 만약에 cern id가 있는데도 불구하고 본인의 디렉토리가 만들어져 있지 않는 경우에는 관리자에게 연락바랍니다.

=== SE에서 SE로 파일 복사하기 ===

$ gfal-copy root://cluster142.knu.ac.kr//store/user/(username)/.../SrcFile \
root://cluster142.knu.ac.kr//store/user/(username)/.../.../DestFile

$ gfal-copy davs://cluster142.knu.ac.kr:2880/cms/store/user/(username)/.../SrcFile \
davs://cluster142.knu.ac.kr:2880/cms/store/user/(username)/.../DestFile

=== SE에 있는 파일을 및 local 디렉토리로 복사하기 ===

$ gfal-copy root://cluster142.knu.ac.kr//store/user/(username)/.../SrcFile \
file:////u/user/(username)/.../DestFile

$ gfal-copy root://cluster142.knu.ac.kr//store/user/(username)/.../SrcFile \
./DestFile

$ gfal-copy davs://cluster142.knu.ac.kr:2880/cms/store/user/(username)/.../SrcFile \
file:////u/user/(username)/.../DestFile

$ gfal-copy davs://cluster142.knu.ac.kr:2880/cms/store/user/(username)/.../SrcFile \
./DestFile

$ gfal-copy gsidcap://cluster142.knu.ac.kr:22128/pnfs/knu.ac.kr/data/cms/store/user/(username)/.../SrcFile \
file:////u/user/(username)/.../DestFile

$ gfal-copy gsidcap://cluster142.knu.ac.kr/pnfs/knu.ac.kr/data/cms/store/user/(username)/.../SrcFile \
./DestFile

=== xrootd 를 활용한 SE Data 접근 방법 ===

* [[Xrootd|xrootd 을 이용하여 SE 사용하기]]

=== WebDav 프로토콜을 활용한 SE Data 접근 방법 ===

* [[WebDav|dCache에서 WebDav 프로토콜 및 마카롱 인증 사용하기]]

=== dcap을 이용한 SE Data 접근 방법 ===
* [[Dcap|dcap 을 이용하여 SE 사용하기]]

=== UI에서 NFS로 마운트된 스토리지 엘리먼트 사용하기 ===
* [[DCacheNFS|스토리지 엘리먼트의 NFS 사용 가이드]]

=== root에서 SE Data 접근 방법 ===

* xrootd 프로토콜을 이용
# 읽기
$ voms-proxy-init --voms cms
$ TFile *f = TFile::Open("root://cluster142.knu.ac.kr//store/user/(username)/test.root");
$
# 쓰기
$ voms-proxy-init --voms cms
$ root -l
root [0] TFile *f = TFile::Open("root://cluster142.knu.ac.kr//store/user/(username)/test.root", "CREATE");
root [1] f->Close();
root [2] TFile *f2 = TFile::Open("root://cluster142.knu.ac.kr//store/user/(username)/test.root", "RECREATE");
root [3] f2->Close();
root [4] .q
$

* dcap 프로토콜을 이용
# 읽기
$ TFile *f = TFile::Open("dcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/(username)/test.root");
$
# 쓰기
$ export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/lib64/dcap
$ root -l
root [0] TFile *f = TFile::Open("gsidcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/(username)/test.root", "CREATE");
root [1] f->Close();
root [2] TFile *f2 = TFile::Open("gsidcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/(username)/test.root", "RECREATE");
root [3] f2->Close();
root [4] .q
$

=== 복수의 파일을 동시에 전송하기 ===
$ /usr/local/bin/lcgcp_copyfiles list.txt

$ cat list.txt
srm://myhost.mydomain.edu:8443//dir1/dir2/sh-copy1 file:///localdir/sh1
srm://myhost.mydomain.edu:8443//dir1/dir2/sh-copy2 file:///localdir/sh2
srm://myhost.mydomain.edu:8443//dir1/dir2/sh-copy3 file:///localdir/sh3
* lcg_cp는 기본적으로 복수파일 전송을 지원하지 않으나 원본경로 대상경로를 포함하는 목록 파일을 생성한뒤, 위의 스크립트를 사용하면 복수의 파일을 전송할수 있다.

=== 복사가 정상적으로 이루어졌는지 확인 또는 디렉토리의 목록 확인 ===

$ gfal-ls -Hl davs://cluster142.knu.ac.kr:2880/cms/store/user/(username)

=== 파일 또는 디렉토리 삭제 ===

$ gfal-rm davs://cluster142.knu.ac.kr:2880/cms/store/user/(username)/test/test.file
$ <strike>gfal-rm srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/(username)/test</strike>
$ <strike>lcg-del -d srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/(username)/test</strike>

=== gfal 명령어 사용 요약 ===
$ voms-proxy-init --voms cms 로 proxy 생성후 아래 명령어를 수행하시면 됩니다.
$ 조회 : gfal-ls -Hl davs://cluster142.knu.ac.kr:2880/cms/store/user/MyAccount/FolderName
$ 복사 : gfal-copy davs://cluster142.knu.ac.kr:2880/cms/store/user/.../FileNameSrc davs://cluster142.knu.ac.kr:2880/cms/store/user/.../FileNameDest
$ 삭제 : gfal-rm davs://cluster142.knu.ac.kr:2880/cms/store/user/MyAccount/FolderName/FileName
$ 디렉토리 삭제 : <strike>gfal-rm -R davs://cluster142.knu.ac.kr:2880/cms/store/user/MyAccount/FolderName</strike>
* 명령어 뒤의 Option은 매뉴얼 페이지를 참고 바랍니다. (ex. man gfal-ls)
* <strike>1000개 이상의 파일 포함한 폴더 내용 보기 : (ex. 500번째 파일부터 700개의 파일을 보고 싶을 경우) lcg-ls --offset 500 --count 700 srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/(DestFoler)</strike>
* gfal-copy에서 "-r" 옵션을 사용하면 디렉토리까지 복사가 가능합니다.

=== gfal-copy를 이용한 디렉토리 복사 ===

gfal-copy에서 "-r" 옵션을 사용하면 서브 디렉토리까지 한번에 복사가 가능합니다. 다음과 같이 임의의 테스트 디렉토리를 만들었을때

[MyAccount@cms tmp5]$ ll
total 0
-rw-r--r-- 1 hanbi knu 0 Aug 26 17:21 aa
-rw-r--r-- 1 hanbi knu 0 Aug 26 17:21 bb
-rw-r--r-- 1 hanbi knu 0 Aug 26 17:21 cc
drwxr-xr-x 2 hanbi knu 24 Aug 26 17:22 dir1

-r 옵션을 적용해서 다음과 같이 실행하면 (로컬 디스크의 ~/MyAccount/tmp5 디렉토리를 SE의 hanbi/tmp5로 복사)

gfal-copy -r file:////u/user/MyAccount/tmp5 davs://cluster142.knu.ac.kr:2880/cms/store/user/MyAccount/tmp5

[MyAccount@cms ~]$ gfal-copy -r file:////u/user/MyAccount/tmp5 davs://cluster142.knu.ac.kr:2880/cms/store/user/MyAccount/tmp5
Mkdir davs://cluster142.knu.ac.kr:2880/cms/store/user/MyAccount/tmp5
Copying file:////u/user/MyAccount/tmp5/aa [DONE] after 0s
Copying file:////u/user/MyAccount/tmp5/bb [DONE] after 0s
Copying file:////u/user/MyAccount/tmp5/cc [DONE] after 0s
Mkdir davs://cluster142.knu.ac.kr:2880/cms/store/user/MyAccount/tmp5/dir1
Copying file:////u/user/MyAccount/tmp5/dir1/dd [DONE] after 0s
Copying file:////u/user/MyAccount/tmp5/dir1/ee [DONE] after 0s

아래와 같이 하부 디렉토리까지 스토리지 엘리먼트로 전부 전송이 되는 것을 확인 할 수 있습니다.

[hanbi@cms ~]$ ll /pnfs/knu.ac.kr/data/cms/store/user/MyAccount/tmp5
total 1
-rw-r--r-- 1 hanbi cms 0 Aug 26 17:22 aa
-rw-r--r-- 1 hanbi cms 0 Aug 26 17:22 bb
-rw-r--r-- 1 hanbi cms 0 Aug 26 17:22 cc
drwxr-xr-x 4 hanbi cms 512 Aug 26 17:22 dir1

물론 반대로 스토리지 엘리먼트에서 로컬 하드로 복사도 가능한데, 사용시 주의해야할 점은 SE의 소스 용량을 먼저 확인해서 전송을해야 로컬 하드디스크가 가득차는 것을 방지할 수 있습니다.

gfal-copy -r davs://cluster142.knu.ac.kr:2880/cms/store/user/MyAccount/tmp5 file:////u/user/MyAccount/tmp5

소스디렉토리의 크기를 확인하는 방법은 다음과 같이 확인할 수 있습니다. 다만 해당 디렉토리 아래의 크기가 매우 클 경우에는 결과가 나오는데 시간이 오래 결릴수 있습니다.

du -hs /pnfs/knu.ac.kr/data/cms/store/user/MyAccount/tmp5

===crab3를 사용한 후 gfal-* 명령어들이 오류가 발생합니다 ===

source /cvmfs/cms.cern.ch/crab3/crab.sh 실행후에 gfal-* 명령어들이 오류가 발생합니다.

$ gfal-ls -Hl davs://cluster142.knu.ac.kr:2880/cms/store/user//test/test.transfer
-rwxrwxrwx 0 0 0 4.8M Oct 12 2015 davs://cluster142.knu.ac.kr:2880/cms/store/user//test/test.transfer

$ source /cvmfs/cms.cern.ch/crab3/crab.sh

$ gfal-ls -Hl davs://cluster142.knu.ac.kr:2880/cms/store/user/test/test.transfer
Could not find platform independent libraries <prefix>
Could not find platform dependent libraries <exec_prefix>
Consider setting $PYTHONHOME to <prefix>[:<exec_prefix>]
'import site' failed; use -v for traceback
Traceback (most recent call last):
File "/usr/bin/gfal-ls", line 8, in <module>
from gfal2_util.shell import Gfal2Shell
ImportError: No module named gfal2_util.shell

crab3 에서 사용하는 python 환경변수와 gfal-* 명령어들에 문제를 일으키기 때문입니다. gfal-* 명령어 앞에 " env --unset=LD_LIBRARY_PATH "을 넣어줌으로써 문제를 해결할 수 있습니다.

$ env --unset=LD_LIBRARY_PATH gfal-ls -Hl davs://cluster142.knu.ac.kr:2880/cms/store/user/test/test.transfer
-rw-r--r-- 1 2 2 Oct 12 02:17 4.8M davs://cluster142.knu.ac.kr:2880/cms/store/user/test/test.transfer

=== cmsenv 실행후 gfal 명령어들이 정상 동작 하지 않을때 ===

cmsenv 실행후에 다음과 같은 오류가 발생한다면

Failed to add IO tunnel (libgsiTunnel.so: cannot open shared object file: No such file or directory). Provider: [libgsiTunnel.so].
Error ( POLLIN) (with data) on control line [12]
Failed to create a control line
Failed open file in the dCache.
gfal-copy: error: Input/output error

아래 명령을 먼저 실행해줌으로써 문제를 해결할 수 있습니다.

export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/lib64/dcap

=== no match 오류가 발생할때 ===

* tcsh에서 ?는 wild card로 인식이 됩니다. 따라서 tcsh을 사용하고 있다면 srm 경로에 반드시 ""를 사용해야 합니다.

=== srm*, lcg*, gfal* 주요 명령어 비교표 ===

{| style="background:#cccc99;color:#black;white:80%;" border="1" cellpadding="5" cellspacing="0"
! srm* !! lcg* !! gfal* !! 비고
|- style="background:white; color:black"
| srmls
| lcg-ls
| gfal-ls
| ls
|- style="background:#f0f0f0; color:black"
| srmcp
| lcg-cp
| gfal-copy
| cp
|- style="background:white; color:black"
| srmrm
| lcg-del
| gfal-rm
| rm
|- style="background:#f0f0f0; color:black"
| srmmkdir
|
| gfal-mkdir
| mkdir
|- style="background:white; color:black"
| srmrmdir
| lcg-del -d
| gfal-rm -R
| rmdir
|- style="background:#f0f0f0; color:black"
|
|
| gfal-cat
| cat

|}

=== uberftp를 이용한 Storage Element 사용 ===

* [[ uberftp | uberftp 사용법으로 가기 ]]

=== WebFTS를 이용한 Storage Element 로의 Data 전송 ===
* [[ Webfts | WebFTS 사용법으로 가기 ]]

=== T3_KR_KNU 저장공간(Disk) 활용 분류 ===

* Storage Element (srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/...)
: 대용량 저장 공간으로 장기간 보관이 가능합니다.
- rucio를 통해 전송된 DataSet 저장
- Crab Analysis 이후의 결과파일 저장
srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/
UI에서는 ~/SE_UserHome/ 에서 확인할 수 있습니다.
: 현재 약 1.45 PB의 공간을 마련하여 운영하고 있습니다.
: 사용자의 데이터 저장으로 공간이 부족할 경우, 사전 설문을 통해 더 이상 사용하지 않는 과거 데이터의 삭제 요청을 드릴 수 있습니다.

* User Home Directory (/u/user/...)
: 기본적인 설정 사항, 사용자가 필요한 소프트웨어 등을 설치 및 보관하는 장소입니다.
: 약 20 TB 규모의 공간입니다.
: 모든 사용자가 20 TB를 나누어 사용하므로 용량이 큰 데이터의 보관은 가급적 삼가해 주시기 바랍니다.

* Scratch Disk
: UI에 총 1개의 임시 저장공간이 있습니다.
- /d0 : 약 40 TB RAID6 Disk
: Sratch 디스크는 임시 저장공간으로 중요한 데이터 및 장기 보관 데이터는 반드시 Storage Element로 이동하여 주시기 바랍니다.

Storage Element Tutorial

2026-07-30T06:30:49Z

Hanbi: /* Overview */

== Storage Element Tutorial ==
CRAB 등을 사용하여 얻은 데이터를 보관할 수 있는 저장 공간을 Storage Element (SE)라 합니다.
이곳에 데이터를 저장하기 위해서는 몇가지 특수한 명령어를 사용해야 합니다.

[주의 : tcsh, csh 등 에서 관련 명령어를 사용할 때, 경로 인자에 반드시 " " 를 사용해주시기 바랍니다.]

=== Overview ===

UI에 로그인 했을 때 일반 사용자가 읽고 쓸수 있는 저장공간은 다음과 같이 3가지 종류가 있습니다.

{| style="background:#f0f0f0;color:#black;white:80%;" border="1" cellpadding="5" cellspacing="0"
! 종류 !! 경로 !! 지원 프로토콜 !! 총용량 !! 사용자당 !! 용도 !! 비고
|- style="background:white; color:black"
| UI 사용자 홈
|
* /u/user/{knu_id}
| nfs
| 20 TB
| 200 GB
| 프로그램 설치 사용자 기본 작업공간
| RAID6
|- style="background:white; color:black"
| SE 사용자홈
|
* xrootd: root://cluster142.knu.ac.kr//store/user/{cern_id}/ 
* webdav: davs://cluster142.knu.ac.kr:2880/cms/store/user/{cern_id} 
* <del>srm: srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/{cern_id}</del> 
* <del>gsiftp://cluster142.knu.ac.kr:2811/pnfs/knu.ac.kr/data/cms/store/user/{cern_id}</del> 
* dcap: dcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/{cern_id} 
* gsidcap: gsidcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/{cern_id} 
* nfs: /pnfs/knu.ac.kr/data/cms/store/user/{cern_id} 
* nfs: /u/user/{knu_id}/SE_UserHome -----> /pnfs/knu.ac.kr/data/cms/store/user/{cern_id}
| xrootd, webdav, <del>srm, gsiftp,</del> dcap, gsidcap, nfs
| 1.84 PB
| 10 TB
| 데이터 보관 대용량데이터처리 프로그램설치X
| dCache, RAID6
|- style="background:white; color:black"
| 스크레치
|
* /d0/scratch 
* /u/user/{knu_id}/scratch -----> /d0/scratch/{knu_id}
| nfs
| 40 TB
|
| 임시 작업용 중요데이터 보관X
| RAID6
|}

* x509인증이 토큰 인증으로 전환되고 있는 상황이며 srm,gsiftp 프로토콜은 xrootd, webdav 프로토콜로 대체되고 있습니다.
* dcap(dCache access protocol): 인증이 필요없는 읽기 전용의 프로토콜입니다. 인증이 필요없기에 간편하게 사용할수 있지만 경북대 내부에서만 사용할수 있습니다.
* gsidcap: 그리드 인증이 필요한 dcap 프로토콜입니다. 읽기 쓰기가 모두 가능하며 경북대 내외부에서 모두 사용할 수 있습니다.
* SE에 저장되어 있는 데이터셋은 연산노드에서 dcap, xrootd, gsiftp, nfs, wedav, srm 프로토콜을 이용하여 읽을 수 있습니다.

* CERN ID와 KNU ID가 다른 사용자는 SE 사용자 홈디렉토리에 CERN ID를 기준으로 디렉토리가 생성됩니다.
* {knu_id}는 경북대에서 발급받은 ID, {cern_id}는 CERN에서 발급 받은 ID를 의미합니다. 일부 사용자들은 두 ID가 일치 하지 않습니다.
* 경북대 계정 신청시 CERN ID가 없는 사용자는 계정발급 직후 SE 사용자 홈디렉토리가 생성되지 않습니다. CERN ID를 발급 받은 후에 별도로 연락주세요.

* 현재는 저장공간의 사용자당 최대 사용량이 시스템적으로 설정되어 있지는 않습니다. 그러나 원활한 이용을 위하여 초과해서 사용이 필요한 경우에는 사전에 관리자와 협의를 부탁드립니다.
* 저장공간이 부족해질 경우 개인 사용량을 초과하는 사용자를 대상으로 사용햐지 않는 데이터의 정리를 요청하고 있습니다. 삭제요청과 함께 혹시라도 데이터가 방치되고 있지는 않은지 확인하는 작업입니다. 파일의 삭제 가능 여부와 상관없이 반드시 답장을 해주시기 바랍니다.

* 스크레치 저장공간은 불필요한 데이터를 수시로 정리해주시고 장기 보관이 필요한 데이터는 SE로 이동 부탁드립니다.
* 스크레치 디스크는 임시작업용 저장공간입니다. 데이터 손실에 대한 안전장치가 전혀 없으므로 절대 데이터 보관용으로 사용해서는 안됩니다.
* 매월 28일 90일이 지난 스크레치 디스크의 데이터는 자동으로 삭제됩니다.

=== 서비스별 스토리지 접근 ===

{| style="background:#f0f0f0;color:#black;white:80%;" border="1" cellpadding="5" cellspacing="0"
! 서비스 !! 스토리지 !! 지원 프로토콜 !! 경로 !! Grid인증 !! 비고
|- style="background:white; color:black"
| rowspan=9 | UI
| UI User Home
| nfs
| /u/user/{knu_id}
| X
|
|- style="background:white; color:black"
| UI Scratch
| nfs
| /u/user/{knu_id}/scratch -----> /d0/scratch/{knu_id}
| X
|
|- style="background:white; color:black"
| rowspan=7 | SE
| xrootd
| xrootd: root://cluster142.knu.ac.kr//store/user/{cern_id}
| O
|
|- style="background:white; color:black"
| webdav
| webdav: davs://cluster142.knu.ac.kr:2880/cms/store/user/{cern_id}
| O
|
|- style="background:white; color:black"
| srm
| srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/{cern_id}
| O
|
|- style="background:white; color:black"
| gsiftp
| gsiftp://cluster142.knu.ac.kr:2811/pnfs/knu.ac.kr/data/cms/store/user/{cern_id}
| O
|
|- style="background:white; color:black"
| dcap
| dcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/{cern_id}
| X
| 읽기전용, 레거시(비권장)
|- style="background:white; color:black"
| gsidcap
| gsidcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/{cern_id}
| O
| 레거시(비권장)
|- style="background:white; color:black"
| nfs
| /pnfs/knu.ac.kr/data/cms/store/user/{cern_id} /u/user/{knu_id}/SE_UserHome -----> /pnfs/knu.ac.kr/data/cms/store/user/{cern_id}
| X
|
|- style="background:white; color:black"
| rowspan=9 | HTCondor
| UI User Home
| nfs
| /u/user/{knu_id}
| X
|
|- style="background:white; color:black"
| UI Scratch
| nfs
| /u/user/{knu_id}/scratch -----> /d0/scratch/{knu_id}
| X
|
|- style="background:white; color:black"
| rowspan=7 | SE
| xrootd
| xrootd: root://cluster142.knu.ac.kr//store/user/{cern_id}
| O
|
|- style="background:white; color:black"
| webdav
| webdav: davs://cluster142.knu.ac.kr:2880/cms/store/user/{cern_id}
| O
|
|- style="background:white; color:black"
| srm
| srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/{cern_id}
| O
|
|- style="background:white; color:black"
| gsiftp
| gsiftp://cluster142.knu.ac.kr:2811/pnfs/knu.ac.kr/data/cms/store/user/{cern_id}
| O
|
|- style="background:white; color:black"
| dcap
| dcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/{cern_id}
| X
| 읽기전용, 레거시(비권장)
|- style="background:white; color:black"
| gsidcap
| gsidcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/{cern_id}
| O
| 레거시(비권장)
|- style="background:white; color:black"
| nfs
| /pnfs/knu.ac.kr/data/cms/store/user/{cern_id} /u/user/{knu_id}/SE_UserHome -----> /pnfs/knu.ac.kr/data/cms/store/user/{cern_id}
| X
|
|- style="background:white; color:black"

|}

* 해당 경로를 찾을 수 없다면 관리자에게 문의해 주시기 바랍니다.
* HTcondor 에서 SE에 nfs로 연결됨에 따라 dcap 이나 xrootd 와 같은 별다른 프로토콜 사용 없이 직접적으로 SE의 데이터를 읽고 쓸 수 있습니다. 

=== voms 인증 ===
* SE는 voms 인증 후 사용할수 있습니다.
$ voms-proxy-init --voms cms

=== voms 인증 정보 확인 ===
* voms 인증 정보는 다음 명령어로 확인할 수 있습니다.
$ voms-proxy-info --all
voms-proxy-info --all
subject : /DC=ch/DC=cern/OU=Organic Units/OU=Users/CN=gdhong/CN=000000/CN=Gildong Hong/CN=00000000
issuer : /DC=ch/DC=cern/OU=Organic Units/OU=Users/CN=gdhong/CN=000000/CN=Gildong Hong
identity : /DC=ch/DC=cern/OU=Organic Units/OU=Users/CN=gdhong/CN=000000/CN=Gildong Hong
type : RFC3820 compliant impersonation proxy
strength : 1024
path : /tmp/x509up_u77420
timeleft : 11:59:52
key usage : Digital Signature, Key Encipherment
=== VO cms extension information ===
VO : cms
subject : /DC=ch/DC=cern/OU=Organic Units/OU=Users/CN=gdhong/CN=000000/CN=Gildong Hong
issuer : /DC=ch/DC=cern/OU=computers/CN=voms2.cern.ch
attribute : /cms/Role=NULL/Capability=NULL
timeleft : 11:59:54
uri : voms2.cern.ch:15002

주의해야할 부분은 VO cms extension information 부분입니다. 만약 VO cms extension information 부분이 출력되지 않는다면 --voms cms 옵션을 정확하게 입력하였는지 자신의 cms vo가 만료된건 아닌지 확인 해야합니다.

=== T3_KR_KNU의 Computing Resource 실시간 조회하기 (CPU, Disk 자원 조회) ===

* UI 에서 "knuinfo" 명령어를 실행합니다.
$ knuinfo
-----------------------------------------------------------------------------------------
CPU Free Total Jobs Running Waiting ComputingElement
2221 247 2 0 0 ce01.knu.ac.kr:9619/ce01.knu.ac.kr-condor
-----------------------------------------------------------------------------------------
Avail Space(kB) Used Space(kB) Type SE
193752733956 1665682774974 xroot cluster142.knu.ac.kr
-----------------------------------------------------------------------------------------

=== SE(Storage Element)의 사용자 디렉토리 경로 ===
$ srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/(username)/.../SrcFile
$ gsiftp://cluster142.knu.ac.kr:2811/pnfs/knu.ac.kr/data/cms/store/user/(username)/.../SrcFile
$ dcap://cluster142.knu.ac.kr/pnfs/knu.ac.kr/data/cms/store/user/(username)/.../SrcFile
$ gsidcap://cluster142.knu.ac.kr:22128/pnfs/knu.ac.kr/data/cms/store/user/(username)/.../SrcFile
$ root://cluster142.knu.ac.kr//store/user/(username)/.../SrcFile
$ davs://cluster142.knu.ac.kr:2880/cms/store/user/(username)/.../SrcFile

참고사항: 
- 위의 예시에서 username은 향후 data를 publish 할 경우를 대비하서 경북대 ID가 아니라 CERNID를 사용해야 합니다. 
- 계정을 발급받을 당시에 cern id가 없는 사용자는 해당 경로가 생성되지 않습니다. 
- 만약에 cern id가 있는데도 불구하고 본인의 디렉토리가 만들어져 있지 않는 경우에는 관리자에게 연락바랍니다.

=== SE에서 SE로 파일 복사하기 ===

$ gfal-copy root://cluster142.knu.ac.kr//store/user/(username)/.../SrcFile \
root://cluster142.knu.ac.kr//store/user/(username)/.../.../DestFile

$ gfal-copy davs://cluster142.knu.ac.kr:2880/cms/store/user/(username)/.../SrcFile \
davs://cluster142.knu.ac.kr:2880/cms/store/user/(username)/.../DestFile

=== SE에 있는 파일을 및 local 디렉토리로 복사하기 ===

$ gfal-copy root://cluster142.knu.ac.kr//store/user/(username)/.../SrcFile \
file:////u/user/(username)/.../DestFile

$ gfal-copy root://cluster142.knu.ac.kr//store/user/(username)/.../SrcFile \
./DestFile

$ gfal-copy davs://cluster142.knu.ac.kr:2880/cms/store/user/(username)/.../SrcFile \
file:////u/user/(username)/.../DestFile

$ gfal-copy davs://cluster142.knu.ac.kr:2880/cms/store/user/(username)/.../SrcFile \
./DestFile

$ gfal-copy gsidcap://cluster142.knu.ac.kr:22128/pnfs/knu.ac.kr/data/cms/store/user/(username)/.../SrcFile \
file:////u/user/(username)/.../DestFile

$ gfal-copy gsidcap://cluster142.knu.ac.kr/pnfs/knu.ac.kr/data/cms/store/user/(username)/.../SrcFile \
./DestFile

=== xrootd 를 활용한 SE Data 접근 방법 ===

* [[Xrootd|xrootd 을 이용하여 SE 사용하기]]

=== WebDav 프로토콜을 활용한 SE Data 접근 방법 ===

* [[WebDav|dCache에서 WebDav 프로토콜 및 마카롱 인증 사용하기]]

=== dcap을 이용한 SE Data 접근 방법 ===
* [[Dcap|dcap 을 이용하여 SE 사용하기]]

=== UI에서 NFS로 마운트된 스토리지 엘리먼트 사용하기 ===
* [[DCacheNFS|스토리지 엘리먼트의 NFS 사용 가이드]]

=== root에서 SE Data 접근 방법 ===

* xrootd 프로토콜을 이용
# 읽기
$ voms-proxy-init --voms cms
$ TFile *f = TFile::Open("root://cluster142.knu.ac.kr//store/user/(username)/test.root");
$
# 쓰기
$ voms-proxy-init --voms cms
$ root -l
root [0] TFile *f = TFile::Open("root://cluster142.knu.ac.kr//store/user/(username)/test.root", "CREATE");
root [1] f->Close();
root [2] TFile *f2 = TFile::Open("root://cluster142.knu.ac.kr//store/user/(username)/test.root", "RECREATE");
root [3] f2->Close();
root [4] .q
$

* dcap 프로토콜을 이용
# 읽기
$ TFile *f = TFile::Open("dcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/(username)/test.root");
$
# 쓰기
$ export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/lib64/dcap
$ root -l
root [0] TFile *f = TFile::Open("gsidcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/(username)/test.root", "CREATE");
root [1] f->Close();
root [2] TFile *f2 = TFile::Open("gsidcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/(username)/test.root", "RECREATE");
root [3] f2->Close();
root [4] .q
$

=== 복수의 파일을 동시에 전송하기 ===
$ /usr/local/bin/lcgcp_copyfiles list.txt

$ cat list.txt
srm://myhost.mydomain.edu:8443//dir1/dir2/sh-copy1 file:///localdir/sh1
srm://myhost.mydomain.edu:8443//dir1/dir2/sh-copy2 file:///localdir/sh2
srm://myhost.mydomain.edu:8443//dir1/dir2/sh-copy3 file:///localdir/sh3
* lcg_cp는 기본적으로 복수파일 전송을 지원하지 않으나 원본경로 대상경로를 포함하는 목록 파일을 생성한뒤, 위의 스크립트를 사용하면 복수의 파일을 전송할수 있다.

=== 복사가 정상적으로 이루어졌는지 확인 또는 디렉토리의 목록 확인 ===

$ gfal-ls -Hl davs://cluster142.knu.ac.kr:2880/cms/store/user/(username)

=== 파일 또는 디렉토리 삭제 ===

$ gfal-rm davs://cluster142.knu.ac.kr:2880/cms/store/user/(username)/test/test.file
$ <strike>gfal-rm srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/(username)/test</strike>
$ <strike>lcg-del -d srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/(username)/test</strike>

=== gfal 명령어 사용 요약 ===
$ voms-proxy-init --voms cms 로 proxy 생성후 아래 명령어를 수행하시면 됩니다.
$ 조회 : gfal-ls -Hl davs://cluster142.knu.ac.kr:2880/cms/store/user/MyAccount/FolderName
$ 복사 : gfal-copy davs://cluster142.knu.ac.kr:2880/cms/store/user/.../FileNameSrc davs://cluster142.knu.ac.kr:2880/cms/store/user/.../FileNameDest
$ 삭제 : gfal-rm davs://cluster142.knu.ac.kr:2880/cms/store/user/MyAccount/FolderName/FileName
$ 디렉토리 삭제 : <strike>gfal-rm -R davs://cluster142.knu.ac.kr:2880/cms/store/user/MyAccount/FolderName</strike>
* 명령어 뒤의 Option은 매뉴얼 페이지를 참고 바랍니다. (ex. man gfal-ls)
* <strike>1000개 이상의 파일 포함한 폴더 내용 보기 : (ex. 500번째 파일부터 700개의 파일을 보고 싶을 경우) lcg-ls --offset 500 --count 700 srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/(DestFoler)</strike>
* gfal-copy에서 "-r" 옵션을 사용하면 디렉토리까지 복사가 가능합니다.

=== gfal-copy를 이용한 디렉토리 복사 ===

gfal-copy에서 "-r" 옵션을 사용하면 서브 디렉토리까지 한번에 복사가 가능합니다. 다음과 같이 임의의 테스트 디렉토리를 만들었을때

[MyAccount@cms tmp5]$ ll
total 0
-rw-r--r-- 1 hanbi knu 0 Aug 26 17:21 aa
-rw-r--r-- 1 hanbi knu 0 Aug 26 17:21 bb
-rw-r--r-- 1 hanbi knu 0 Aug 26 17:21 cc
drwxr-xr-x 2 hanbi knu 24 Aug 26 17:22 dir1

-r 옵션을 적용해서 다음과 같이 실행하면 (로컬 디스크의 ~/MyAccount/tmp5 디렉토리를 SE의 hanbi/tmp5로 복사)

gfal-copy -r file:////u/user/MyAccount/tmp5 davs://cluster142.knu.ac.kr:2880/cms/store/user/MyAccount/tmp5

[MyAccount@cms ~]$ gfal-copy -r file:////u/user/MyAccount/tmp5 davs://cluster142.knu.ac.kr:2880/cms/store/user/MyAccount/tmp5
Mkdir davs://cluster142.knu.ac.kr:2880/cms/store/user/MyAccount/tmp5
Copying file:////u/user/MyAccount/tmp5/aa [DONE] after 0s
Copying file:////u/user/MyAccount/tmp5/bb [DONE] after 0s
Copying file:////u/user/MyAccount/tmp5/cc [DONE] after 0s
Mkdir davs://cluster142.knu.ac.kr:2880/cms/store/user/MyAccount/tmp5/dir1
Copying file:////u/user/MyAccount/tmp5/dir1/dd [DONE] after 0s
Copying file:////u/user/MyAccount/tmp5/dir1/ee [DONE] after 0s

아래와 같이 하부 디렉토리까지 스토리지 엘리먼트로 전부 전송이 되는 것을 확인 할 수 있습니다.

[hanbi@cms ~]$ ll /pnfs/knu.ac.kr/data/cms/store/user/MyAccount/tmp5
total 1
-rw-r--r-- 1 hanbi cms 0 Aug 26 17:22 aa
-rw-r--r-- 1 hanbi cms 0 Aug 26 17:22 bb
-rw-r--r-- 1 hanbi cms 0 Aug 26 17:22 cc
drwxr-xr-x 4 hanbi cms 512 Aug 26 17:22 dir1

물론 반대로 스토리지 엘리먼트에서 로컬 하드로 복사도 가능한데, 사용시 주의해야할 점은 SE의 소스 용량을 먼저 확인해서 전송을해야 로컬 하드디스크가 가득차는 것을 방지할 수 있습니다.

gfal-copy -r davs://cluster142.knu.ac.kr:2880/cms/store/user/MyAccount/tmp5 file:////u/user/MyAccount/tmp5

소스디렉토리의 크기를 확인하는 방법은 다음과 같이 확인할 수 있습니다. 다만 해당 디렉토리 아래의 크기가 매우 클 경우에는 결과가 나오는데 시간이 오래 결릴수 있습니다.

du -hs /pnfs/knu.ac.kr/data/cms/store/user/MyAccount/tmp5

===crab3를 사용한 후 gfal-* 명령어들이 오류가 발생합니다 ===

source /cvmfs/cms.cern.ch/crab3/crab.sh 실행후에 gfal-* 명령어들이 오류가 발생합니다.

$ gfal-ls -Hl davs://cluster142.knu.ac.kr:2880/cms/store/user//test/test.transfer
-rwxrwxrwx 0 0 0 4.8M Oct 12 2015 davs://cluster142.knu.ac.kr:2880/cms/store/user//test/test.transfer

$ source /cvmfs/cms.cern.ch/crab3/crab.sh

$ gfal-ls -Hl davs://cluster142.knu.ac.kr:2880/cms/store/user/test/test.transfer
Could not find platform independent libraries <prefix>
Could not find platform dependent libraries <exec_prefix>
Consider setting $PYTHONHOME to <prefix>[:<exec_prefix>]
'import site' failed; use -v for traceback
Traceback (most recent call last):
File "/usr/bin/gfal-ls", line 8, in <module>
from gfal2_util.shell import Gfal2Shell
ImportError: No module named gfal2_util.shell

crab3 에서 사용하는 python 환경변수와 gfal-* 명령어들에 문제를 일으키기 때문입니다. gfal-* 명령어 앞에 " env --unset=LD_LIBRARY_PATH "을 넣어줌으로써 문제를 해결할 수 있습니다.

$ env --unset=LD_LIBRARY_PATH gfal-ls -Hl davs://cluster142.knu.ac.kr:2880/cms/store/user/test/test.transfer
-rw-r--r-- 1 2 2 Oct 12 02:17 4.8M davs://cluster142.knu.ac.kr:2880/cms/store/user/test/test.transfer

=== cmsenv 실행후 gfal 명령어들이 정상 동작 하지 않을때 ===

cmsenv 실행후에 다음과 같은 오류가 발생한다면

Failed to add IO tunnel (libgsiTunnel.so: cannot open shared object file: No such file or directory). Provider: [libgsiTunnel.so].
Error ( POLLIN) (with data) on control line [12]
Failed to create a control line
Failed open file in the dCache.
gfal-copy: error: Input/output error

아래 명령을 먼저 실행해줌으로써 문제를 해결할 수 있습니다.

export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/lib64/dcap

=== no match 오류가 발생할때 ===

* tcsh에서 ?는 wild card로 인식이 됩니다. 따라서 tcsh을 사용하고 있다면 srm 경로에 반드시 ""를 사용해야 합니다.

=== srm*, lcg*, gfal* 주요 명령어 비교표 ===

{| style="background:#cccc99;color:#black;white:80%;" border="1" cellpadding="5" cellspacing="0"
! srm* !! lcg* !! gfal* !! 비고
|- style="background:white; color:black"
| srmls
| lcg-ls
| gfal-ls
| ls
|- style="background:#f0f0f0; color:black"
| srmcp
| lcg-cp
| gfal-copy
| cp
|- style="background:white; color:black"
| srmrm
| lcg-del
| gfal-rm
| rm
|- style="background:#f0f0f0; color:black"
| srmmkdir
|
| gfal-mkdir
| mkdir
|- style="background:white; color:black"
| srmrmdir
| lcg-del -d
| gfal-rm -R
| rmdir
|- style="background:#f0f0f0; color:black"
|
|
| gfal-cat
| cat

|}

=== uberftp를 이용한 Storage Element 사용 ===

* [[ uberftp | uberftp 사용법으로 가기 ]]

=== WebFTS를 이용한 Storage Element 로의 Data 전송 ===
* [[ Webfts | WebFTS 사용법으로 가기 ]]

=== T3_KR_KNU 저장공간(Disk) 활용 분류 ===

* Storage Element (srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/...)
: 대용량 저장 공간으로 장기간 보관이 가능합니다.
- rucio를 통해 전송된 DataSet 저장
- Crab Analysis 이후의 결과파일 저장
srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/
UI에서는 ~/SE_UserHome/ 에서 확인할 수 있습니다.
: 현재 약 1.45 PB의 공간을 마련하여 운영하고 있습니다.
: 사용자의 데이터 저장으로 공간이 부족할 경우, 사전 설문을 통해 더 이상 사용하지 않는 과거 데이터의 삭제 요청을 드릴 수 있습니다.

* User Home Directory (/u/user/...)
: 기본적인 설정 사항, 사용자가 필요한 소프트웨어 등을 설치 및 보관하는 장소입니다.
: 약 20 TB 규모의 공간입니다.
: 모든 사용자가 20 TB를 나누어 사용하므로 용량이 큰 데이터의 보관은 가급적 삼가해 주시기 바랍니다.

* Scratch Disk
: UI에 총 1개의 임시 저장공간이 있습니다.
- /d0 : 약 40 TB RAID6 Disk
: Sratch 디스크는 임시 저장공간으로 중요한 데이터 및 장기 보관 데이터는 반드시 Storage Element로 이동하여 주시기 바랍니다.

News & Notices

2026-07-30T06:21:01Z

Hanbi: /* News & Notices */

== News & Notices ==
* [[How_to_use_Tier3_at_KNU|How to use T3_KR_KNU 문서가 갱신 되었습니다.]] 2022.07.30
* [[HTCondor| HTCondor 사용법 문서가 갱신 되었습니다.]] 2026.07.27
* [[Rucio| Rucio 사용법 문서가 갱신되었습니다.]] 2026.06.23
* [[HTCondorQueueInfo| HTCondor에 JobType(Queue)문서가 갱신되었습니다.]] 2025.05.20
* [[JupyterHub|JupyterHub 문서가 갱신되었습니다.]] 2026.05.04
* [[Singularity|Apptainer 사용법 문서가 갱신 되었습니다.]] 2025.07.17
* [[Dcap|dcap 사용법 항목이 갱신되었습니다.]] 2025.07.16
* [[HTCondorQueueInfo| HTCondor 에 JobType(Queue)가 추가되었습니다.]] 2025.05.13
* [[HTCondor| HTCondor 사용법 문서가 갱신 되었습니다.]] 2025.05.09
* [[Singularity|Apptainer 사용법 문서가 갱신 되었습니다.]] 2025.05.09
* [[Cvmfs_root|CVMFS 에서 root 사용하기 문서가 갱신 되었습니다.]] 2025.05.09
* [[Singularity|Apptainer 사용법 문서가 갱신 되었습니다.]] 2025.04.23
* [[HTCondor| HTCondor 사용법 문서가 갱신 되었습니다.]] 2024.07.08
* [[Singularity|Apptainer 사용법 문서가 갱신 되었습니다.]] 2024.06.13
* [[Storage_Element_Tutorial#.EC.84.9C.EB.B9.84.EC.8A.A4.EB.B3.84_.EC.8A.A4.ED.86.A0.EB.A6.AC.EC.A7.80_.EC.A0.91.EA.B7.BC| 스토리지 엘리먼트의 SRMv2 gridftp gsiftp 데이터 전송 프로토콜 지원이 종료됩니다.]] 2024.05.14
* [[HTCondor| HTCondor 사용법 문서가 갱신 되었습니다.]] 2024.03.11
* [[HTCondor#.EC.B5.9C.EB.8C.80_.EC.9E.91.EC.97.85.EC.8B.9C.EA.B0.84| HTCondor의 GPU 최대 작업시간이 연장되었습니다.]] 2024.02.14
* [[HTCondor| HTCondor 사용법 문서가 갱신 되었습니다.]] 2023.09.21
* [[Storage_Element_Tutorial#.EC.84.9C.EB.B9.84.EC.8A.A4.EB.B3.84_.EC.8A.A4.ED.86.A0.EB.A6.AC.EC.A7.80_.EC.A0.91.EA.B7.BC| 이제 HTCondor에서 SE의 데이터를 바로 읽을 수 있습니다.]] 2023.06.23
* [[Bitwarden| bitwarden(패스워드 관리) 사용법 문서가 추가 되었습니다.]] 2023.03.14
* [[How_to_use_Tier3_at_KNU|How to use T3_KR_KNU 문서가 갱신 되었습니다.]] 2023.02.20
* [[Singularity|Singularity 사용법 문서가 갱신 되었습니다.]] 2022.09.15
* [[Mattermost|Mattermost 메신저 서비스를 시작합니다.]] 2022.09.05
* [[How_to_use_Tier3_at_KNU|How to use T3_KR_KNU 문서가 갱신 되었습니다.]] 2022.07.27
* 이제부터 최근 수정된 부분은 밑줄로 표시됩니다. 참고하시기 바립니다. 2022.06.08
* [[Storage_Element_Tutorial|Storage Element Tutorial이 갱신 되었습니다.]] 2022.06.08
* [[JupyterHub|JupyterHub 서비스를 시작합니다.]] 2022.03.23
* [[HTCondor_Job_Policy|이제 htcondor에서 request_memory보다 많은 메모리를 사용하는 작업은 자동으로 hold됩니다.]] 2022.02.09
* [[FreeIPA|인증시스템 전환(NIS→ FreeIPA)공지입니다.]] 2021.11.09
* [[cvmfs_geant4|CVMFS에서 geant4 사용하기 문서가 추가되었습니다.]] 2021.07.12
* [[cvmfs_root|CVMFS에서 root 사용하기 문서가 추가되었습니다.]] 2021.07.12
* [[cvmfs_gcc|CVMFS에서 원하는 버전의 gcc 사용하기 문서가 추가되었습니다.]] 2021.07.12
* [[WebDav|dCache에서 WebDav 프로토콜 및 마카롱 인증 사용하기 문서가 추가되었습니다.]] 2021.06.22
* [[Rucio|Rucio 사용법 문서가 추가되었습니다.]] 2021.06.08
* [[Uberftp|uberftp에 치명적인 버그가 있습니다. 사용에 주의하세요]] 2021.05.17
* [[HTCondorGPU|HTCondor에서 GPU 사용법 문서가 추가되었습니다.]] 2021.05.12
* [[HTCondor|HTCondor 사용법 문서가 갱신되었습니다.]] 2021.03.31
* [[mosh|mosh 가이드가 등록되었습니다.]] 2021.03.17
* [[x2go|x2go를 이용한 원격데스크탑 가이드가 등록되었습니다.]] 2021.03.11
* [[Xrootd|xrootd 를 활용한 SE Data 사용 가이드가 갱신되었습니다.]] 2021.03.05
* [[HTCondor에서 GPU 사용하기]] 2021.03.04
* [[Duc|자신의 디스크 사용량을 쉽게 확인할 수 있는 툴을 소개합니다.]] 2020.11.05
* [[CreamCE/SL6 서비스 종료]] 2020.10.15
* [[HTCondor|HTCondor 사용법 문서가 작성중입니다.]] 2020.07.30
* [[CreamCE/Torque → HTCondorCE/HTCondor 이전 안내]] 2020.07.23
* 스토리지 엘리먼트가 1.45PB로 증가하였습니다. 2020.06.26
* [[SFT|CVMFS SFT repository 사용법 문서가 갱신 되었습니다.]] 2020.03.20
* [[Scratch Disk가 교체 및 증설 안내]] 2020.02.10
* [[Notion|Notion 문서를 추가하였습니다.]] 2019.09.20
* [[Storage_Element_Tutorial|Storage Element Tutorial이 보강 되었습니다.]] 2019.08.30
* [[Storage_Element_Tutorial|Storage Element Tutorial이 보강 되었습니다.]] 2018.12.10
* [[Singularity|Singularity 사용법 문서가 추가 되었습니다.]] 2018.12.03
* [[SFT|CVMFS SFT repository 사용법 문서가 추가 되었습니다.]] 2018.11.08
* [[torque|Torque 사용법 문서가 갱신 되었습니다.]] 2018.10.15
* [[Storage_Element_Tutorial|Storage Element Tutorial이 보강 되었습니다.]] 2018.08.31
* [[Tier3BatchQueueInfo|Tier3 batch farm에 큰 메모리를 사용하는 작업 전용의 queue를 추가하였습니다.]] 2018.07.13
* [[T2_KR_KNU_Decommissioned| 경북대 Tier2 서비스는 4월 30일자로 종료되고 해당자원은 Tier3로 통합됩니다.]] 2018.04.18
* cms03이 SL6로 업그레이드되었습니다. 2018.01.16
* [[Storage_Element_Tutorial|Storage Element Tutorial이 갱신 되었습니다.]] 2017.11.22
* [[Xrootd|xrootd 를 활용한 SE Data 사용 가이드가 별도 분리되었습니다.]] 2017.11.22
* 스토리지 엘리먼트가 1.29PB로 증가하였습니다. 2017.10.12
* [[crab|Crab Tutorial을 업데이트 하였습니다.]] 2017.06.29
* [[Storage_Element_Tutorial#xrootd_.EB.A5.BC_.ED.99.9C.EC.9A.A9.ED.95.9C_SE_Data_.EC.A0.91.EA.B7.BC_.EB.B0.A9.EB.B2.95|Storage Element Tutorial에서 xrootd 관련 항목이 업데이트 되었습니다.]] 2017.06.15
* [[Webfts|WebFTS 사용법 항목이 추가되었습니다.]] 2017.04.14
* [[Dcap|dcap 사용법 항목이 갱신되었습니다.]] 2016.12.06
* 스토리지 엘리먼트가 1.2PB로 증가하였습니다. 2016.12.05
* [[Task_monitoring_for_the_analysis_users|Analysis 사용자를 위한 작업 모니터링 가이드가 추가되었습니다.]] 2016.10.19
* [[DCacheNFS|스토리지 엘리먼트의 NFS 사용 가이드가 갱신되었습니다.]] 2016.10.07
* [[Dcap|dcap 사용법 항목이 추가되었습니다.]] 2016.10.06
* 스토리지 엘리먼트가 1PB로 증가하였습니다. 2016.08.10
* [[DCacheNFS|스토리지 엘리먼트를 UI에서 NFS로 바로 읽을 수 있습니다.]] 2016.07.19
* [[Tier3BatchQueueInfo|Tier3 batch farm의 queue에 대한 세부정보를 업데이트 하였습니다.]] 2016.02.12
* [[Motd|Tier2/3 UI motd(Message of the Day)에서 스토리지 엘리먼트를 비롯한 디스크 사용량을 확인할수 있습니다.]] 2015.12.28
* [[Ssh_Public_key_Authentication|보다 안전하고 편리한 ssh 공개키 인증 사용법 항목이 추가 되었습니다.]] 2015.12.28
* [[Create-batch|create-batch 사용법 항목이 추가 되었습니다.]] 2015.12.21
* [[Storage_Element_Tutorial|Storage Element Tutorial 항목이 별도로 분리 되었습니다.]] 2015.10.29
* [[torque|Torque 사용법 항목이 별도로 분리 되었습니다.]] 2015.10.29
* [[crab|Crab Tutorial 항목이 별도로 분리 되었습니다.]] 2015.10.29
* [[Q&A|Q&A 항목이 추가 되었습니다.]] 2015.10.12
* [[uberftp | uberftp 사용법 항목이 추가되었습니다.]] 2015.10.12
* T2_KR_KNU 홈페이지가 리뉴얼 되었습니다. 2015.10.12
* [https://indico.cern.ch/event/386181/ 2015 CMS DAS (Data Analysis School) at Korea가 개최되었습니다.] 2015.08.25~29

Main Page

2026-07-30T06:20:42Z

Hanbi: /* News & Notices */

__NOTOC__
='''KNU Tier-3 Center for CMS''' [[File:CMS-logo.gif|40px]] =

Welcome to the CMS Tier-3 Center at Kyungpook National University in Korea.

This web portal is your gateway to the CMS Tier-3 center at Kyungpook National University (KNU) in Korea. This CMS Tier-3 center is being supported by the Ministry of Education, Science and Technology and is being maintained by the Center for High Energy Physics of the KNU.
We will support the CMS computing needs for Korean and overseas collaborators. For your general comments, questions, or reports of any problems regarding to this Center, please email to lcg_knu@knu.ac.kr.

== News & Notices ==
* [[How_to_use_Tier3_at_KNU|How to use T3_KR_KNU 문서가 갱신 되었습니다.]] 2022.07.30
* [[HTCondor| HTCondor 사용법 문서가 갱신 되었습니다.]] 2026.07.27
* [[Rucio| Rucio 사용법 문서가 갱신되었습니다.]] 2026.06.23
* [[HTCondorQueueInfo| HTCondor에 JobType(Queue)문서가 갱신되었습니다.]] 2025.05.20
* [[JupyterHub|JupyterHub 문서가 갱신되었습니다.]] 2026.05.04
* [[Singularity|Apptainer 사용법 문서가 갱신 되었습니다.]] 2025.07.17
* [[Dcap|dcap 사용법 항목이 갱신되었습니다.]] 2025.07.16
* [[HTCondorQueueInfo| HTCondor에 JobType(Queue)가 추가되었습니다.]] 2025.05.13
* [[HTCondor| HTCondor 사용법 문서가 갱신 되었습니다.]] 2025.05.09
* [[Singularity|Apptainer 사용법 문서가 갱신 되었습니다.]] 2025.05.09
* [[Cvmfs_root|CVMFS 에서 root 사용하기 문서가 갱신 되었습니다.]] 2025.05.09
* [[Singularity|Apptainer 사용법 문서가 갱신 되었습니다.]] 2025.04.23
* [[HTCondor| HTCondor 사용법 문서가 갱신 되었습니다.]] 2024.07.08
* [[Singularity|Apptainer 사용법 문서가 갱신 되었습니다.]] 2024.06.13
* [[Storage_Element_Tutorial#.EC.84.9C.EB.B9.84.EC.8A.A4.EB.B3.84_.EC.8A.A4.ED.86.A0.EB.A6.AC.EC.A7.80_.EC.A0.91.EA.B7.BC| 스토리지 엘리먼트의 SRMv2 gridftp gsiftp 데이터 전송 프로토콜 지원이 종료됩니다.]] 2024.05.14
* [[HTCondor| HTCondor 사용법 문서가 갱신 되었습니다.]] 2024.03.11
* [[HTCondor#.EC.B5.9C.EB.8C.80_.EC.9E.91.EC.97.85.EC.8B.9C.EA.B0.84| HTCondor의 GPU 최대 작업시간이 연장되었습니다.]] 2024.02.14
* [[HTCondor| HTCondor 사용법 문서가 갱신 되었습니다.]] 2023.09.21
* [[Storage_Element_Tutorial#.EC.84.9C.EB.B9.84.EC.8A.A4.EB.B3.84_.EC.8A.A4.ED.86.A0.EB.A6.AC.EC.A7.80_.EC.A0.91.EA.B7.BC| 이제 HTCondor에서 SE의 데이터를 바로 읽을 수 있습니다.]] 2023.06.23
* [[Bitwarden| bitwarden(패스워드 관리 서비스) 사용법 문서가 추가 되었습니다.]] 2023.03.14
* [[How_to_use_Tier3_at_KNU|How to use T3_KR_KNU 문서가 갱신 되었습니다.]] 2023.02.20
* [[Singularity|Singularity 사용법 문서가 갱신 되었습니다.]] 2022.09.15
* [[Mattermost|Mattermost 메신저 서비스를 시작합니다.]] 2022.09.05
* [[How_to_use_Tier3_at_KNU|How to use T3_KR_KNU 문서가 갱신 되었습니다.]] 2022.07.27
* 이제부터 최근 수정된 부분은 밑줄로 표시됩니다. 참고하시기 바랍니다. 2022.06.08
* [[Storage_Element_Tutorial|Storage Element Tutorial이 갱신 되었습니다.]] 2022.06.08
* [[JupyterHub|JupyterHub 서비스를 시작합니다.]] 2022.03.23
* [[HTCondor_Job_Policy|이제 htcondor에서 request_memory보다 많은 메모리를 사용하는 작업은 자동으로 hold됩니다.]] 2022.02.09
* [[FreeIPA|인증시스템 전환(NIS→ FreeIPA)공지입니다.]] 2021.11.09
* [[cvmfs_geant4|CVMFS에서 geant4 사용하기 문서가 추가되었습니다.]] 2021.07.12
* [[cvmfs_root|CVMFS에서 root 사용하기 문서가 추가되었습니다.]] 2021.07.12
* [[News & Notices|more ...]]

==Additional Services==

* [https://chep17.knu.ac.kr:3003 T3_KR_KNU Status - 작업 현황, 현재 사용량 등]
* [https://githep.knu.ac.kr:4443 Gitlab 서비스 - 소스코드 버전 관리 시스템]
* [https://mm.knu.ac.kr Mattermost 서비스 - 업무용 메신저 서비스]
* [https://indico.knu.ac.kr 경북대 물리학과 Indico]
* [https://indico.kno.or.kr KNO Indico]

==How to use Tier-3 at KNU?==
*[[How_to_use_Tier3_at_KNU|How to use Tier-3 at KNU?]]
**[[How_to_use_Tier3_at_KNU#Pre-requisites|Pre-requisites]]
**[[How_to_use_Tier3_at_KNU#KNU_Tier-2_Login|KNU_Tier-3 Login]]
**[[How_to_use_Tier3_at_KNU#CMSSW.28CMS_Software.29_Installation|CMSSW Installation]]
**[[crab|Crab Tutorial]]
**[[How_to_use_Tier3_at_KNU#Storage_Element_.28SE.29_Manual|Storage Element Tutorial]]
**[[Q&A|Q&A]]

*[https://t2-cms.knu.ac.kr/registration/ KNU Account Registration]

----
{| style="width: 100%"
! style="text-align: left;text-valign: top" | Contact: Email: lcg_knu@knu.ac.kr
! style="text-align: right;" | THE CENTER FOR HIGH ENERGY PHYSICS KYUNGPOOK NATIONAL UNIVERSITY
|}

How to use Tier3 at KNU

2026-07-30T06:19:00Z

Hanbi: /* VO(Virtual Organisation) 등록 */

== Pre-requisites ==

KNU Tier-3를 이용하기 위해서는 Grid 환경에 접속하기 위한 인증서를 공식 인증 사이트를 통해 획득한 후 LCG VO에 등록하고 KNU Tier-3에 사용계획서 및 유저 등록을 통해 계정을 부여받는다.

=== CERN 및 CMS User 등록 ===
[[CERN_&_CMS_User_Registration|CERN & CMS User Registration]]

=== VO(Virtual Organisation) 등록 & AUP ===

* 유효한 CMS 회원이며 CERN 컴퓨터 계정을 가지고 있다면, CERN 기본 계정에 연결된 CERN 인증서를 사용하여 CMS VO에 자동으로 등록이 됩니다.
* AUP(Grid Acceptable Usage Policy)
** 신규 사용자는 AUP에 서명해야하며 이후 매년 서명해야 합니다.
** 미리 웹브라우저에 CERN 인증서를 import 후 https://cms-auth.cern.ch/ 에 접속후 CERN SSO를 사용하여 로그인 및 AUP 서명을 진행합니다.
** 로그인후 자동으로 서명페이지가 접속되지 않는다면 https://cms-auth.cern.ch/iam/aup/sign 로 접속하세요.
* 위와 관련된 자세한 내용은 https://twiki.cern.ch/twiki/bin/view/CMSPublic/SWGuideLcgAccess#How_to_register_in_the_CMS_VO 를 참고하세요.

=== '''Getting KNU Tier-3 Account''' ===

'''1) [http://t2-cms.knu.ac.kr/registration/ KNU Account Registration 웹페이지]에서 신청서를 작성, 제출한다.'''
'''2) [http://t2-cms.knu.ac.kr/upload/Tier3_KR_KNU.hwp 사용계획서(hwp)]를 작성하여 e-mail(lcg_knu@knu.ac.kr)로 발송한다.'''
'''

''' 발급 받은 임시 비밀번호를 이용해 KNU Tier-3 UI에 접속합니다. (임시 비밀번호는 "passwd"명령을 이용하여 반드시 변경하십시오)
'''
'''$ ssh userid@kcms-t2.knu.ac.kr

''' <<Account 발급 전, 자주 하는 질문>>
'' Q : 사용계획서는 왜 적어야 하나요?
''' A : 사용계획서를 통하여 연구자들에게 필요한 전산 자원을 가늠하고 그에 따른 준비를 할 수 있습니다.
'''
'' Q : CMS에서 처음 일하게 되어 전반적인 연구 내용을 잘 모릅니다. 신청서 내용 작성에 어려움이 많습니다. 어떻게 하면 좋을까요?
''' A : CMS 신규 사용자의 경우 연구 내용을 잘 모를 수 있고, 컴퓨팅 자원에 대한 지식이 부족할 수 있습니다.
''' 사용계획서 내의 예시를 보시고 작성하실 수 있는 부분을 간략히 적으시면 됩니다.
''' 잘 모르는 부분은 빈란으로 두셔도 되지만, 가능하다면 연구실 선임께 여쭤보시는 방법도 좋습니다.
''
'' Q : 연구 계획서에서 앞으로 사용할 (CPU, Disk) 사용량을 적어 냈는데요, 반드시 이 범위 내에서만 사용해야 하나요?
''' A : 연구를 진행하시면서 연구 계획이 구체화되고 이에 따라 자원의 필요량이 증가하시면, Tier-3 연락처를 통해 미리 말씀해 주시면 필요한 자원의 할당을 준비해 드리겠습니다.
''' 대량의 연구자원을 갑작스럽게 요청하시면 자원 할당에 시간이 다소 소요될 수 있습니다.
''
'' Q : 초기에 제출한 전산자원 사용량을 초과하여 사용할 경우 불익이 있나요?
''' A : 개인 용량을 다소 초과하셔도 불익은 없습니다. 다만 추가 사용량이 큰 경우 협의를 통해 조정하시기 바랍니다.
''
'' Q : 연구의 내용이 확장되어 더 많은 자원을 필요로 합니다. 이런 경우 어떻게 해야 하나요?
''' A : 연구계획 수정 내용을 추가로 작성/제출하시면 됩니다.
''' Tier-3 에서 보유하고 있는 여유 전산자원에 따라, 필요하신 자원의 준비에 다소 시간이 소요될 수 있으니 시간적 여유를 두시고 신청해 주시면 감사하겠습니다.
'''
''' (기타 궁금하신 부분이 있으시면 언제든 연락 주시면 안내해 드리겠습니다.)

=== Certificate ===
[https://ca.cern.ch/ca/ CERN 인증서 웹사이트]에 접속하여 Certificate를 발급받는다.

Certificate가 발급되면 인증서를 개인 PC 웹브라우저에 Import 한 후,
Import된 인증서를 웹브라우저 설정 메뉴 중 Public key 관련탭에서 개인 PC로 Export할 수 있다.
(인증서를 Export할 시 확장자는 ".Pfx"로 선택하시기 바랍니다.)

Export된 인증서 파일은 cms UI(cms.knu.ac.kr)의 본인 디렉토리에 복사한 후
아래의 순서대로 인증서와 키를 만들어 .globus 디렉토리에 넣으시기 바랍니다.
$ mkdir .globus
$ openssl pkcs12 -in usercert.pfx -clcerts -nokeys -out .globus/usercert.pem
$ openssl pkcs12 -in usercert.pfx -nocerts -out .globus/userkey.pem
$ chmod 644 .globus/usercert.pem
$ chmod 400 .globus/userkey.pem

== KNU Tier-3 Login ==

=== KNU UI 현황 ===
{| style="background:#cccc99;color:#black;white:80%;" border="1" cellpadding="5" cellspacing="0"
! 대표 Hostname !! 세부 Hostname !! OS !! 접속방법 !! 비고
|- style="background:white; color:black"
! kcms-t2.knu.ac.kr
| cms.knu.ac.kr
| Alma Linux 9
| ssh,mosh,x2go,jupyterhub
| Tier3 UI, HTCondor
|- style="background:#f0f0f0; color:black"
! kcms-t2.knu.ac.kr
| cms01.knu.ac.kr
| Alma Linux 9
| ssh,mosh,x2go
| Tier3 UI, HTCondor
|- style="background:white; color:black"
! kcms-t3.knu.ac.kr
| cms02.knu.ac.kr
| Alma Linux 9
| ssh,mosh,x2go
| Tier3 UI, HTCondor
|- style="background:#f0f0f0; color:black"
! kcms-t3.knu.ac.kr
| cms03.knu.ac.kr
| Alma Linux 9
| ssh,mosh,x2go
| Tier3 UI, HTCondor
|}



=== ssh ===

==== Linux에서 ssh로 UI에 접속하기 ====
터미널을 열어서 원격로그인(SSH)으로 접속한다.
$ ssh -X username@kcms-t2.knu.ac.kr( or username@cms.knu.ac.kr, username@cms01.knu.ac.kr)
$ ssh -X username@kcms-t3.knu.ac.kr( or username@cms02.knu.ac.kr, username@cms03.knu.ac.kr)

==== Windows OS에서 ssh로 UI에 접속하기 ====
Windows OS 에서 linux 서버로 접속하려면 원격 로그인을 사용할 수 있는 특정 프로그램이 필요하다.
예) [http://www.chiark.greenend.org.uk/~sgtatham/putty/ '''Putty'''(무료)], '''SSH Secure Shell Client''' (프리웨어 또는 정식 서비스를 찾아 설치가능) - [[SSH_Secure_Shell_Client_의_경우|SSH Secure Shell Client 예시 화면]]
또한, Event display 및 ROOT을 사용하기 위해서는 다음과 같은 X 서버를 별도로 설치하여야 한다.
예) [http://sourceforge.net/projects/xming/ '''Xming'''(무료)], [http://x.cygwin.com/screenshots/ '''Cygwin/X'''(무료)], '''Hummingbird'''(유료), '''Xmanager'''(유료)

==== 패스워드 변경 ====
* 첫 로그인 후 개인 Password 및 shell 설정시 유의사항
1) 패스워드 변경시 passwd 명령을 사용.
$ passwd

[주의 : 비밀번호 변경은 더이상 yppasswd 명령을 사용하지 않습니다.]

2) 패스워드의 생성 
- 패스워드는 최소 12자리의 알파벳 대소문자, 숫자, 특수문자 의 조합으로 만들어야 합니다. 
- 패스워드의 유효기간은 1년이며 유효기간이 지나기전에 새로운 패스워드로 변경해야합니다. 
- 패스워드 유효기간 만료일이 다가오면 안내 메일이 자동으로 발송됩니다. 유효기간이 지나면 3일후 계정은 자동으로 잠깁니다. 
- 지난번에 사용한 패스워드는 다시 사용할 수 없습니다. 

==== 기본 shell 변경 ====
* 계정이 발급되었을때 처음 기본 쉘은 bash 입니다. 기본 shell의 변경은 chsh.sh 명령을 이용하여 tcsh 혹은 zsh 등의 자신이 선호하는 shell로 변경할 수 있습니다.
$ chsh.sh /bin/tcsh

[주의 : shell 변경은 더이상 chsh 명령을 사용하지 않습니다.]

==== ssh public key authentication ====

[[Ssh_Public_key_Authentication| public key 인증방법으로 안전하고 편리하게 ssh 사용하기 페이지로 이동]]

=== ssh 보다 편리한 mosh ===

* [[mosh|mosh 소개 및 사용법]]

=== 원격 데스크탑 접속이 필요하다면 x2go ===

* [[x2go|x2go를 이용한 원격데스크탑 가이드]]

=== JupyterHub ===

* [[JupyterHub|JupyterHub 사용법 ]]

== Computing Element, 연산 자원 사용하기 ==

=== Grid 작업을 위한 CRAB Tutorial ===

* [[crab | Crab tutorial 항목을 참고하세요. ]]

=== 배치 작업(HTCondor) 실행하기 ===
[[HTCondor|HTCondor Batch System 사용법 페이지로 바로 가기]]

=== HTCondor에서 GPU 사용하기 ===
[[HTCondorGPU|HTCondor에서 GPU 사용하기 페이지로 바로 가기]]

=== create-batch 사용하기 ===
[[Create-batch|create-batch 사용법으로 바로 가기]]

== Storage Element, 데이터 저장장치 사용하기 ==

=== Storage Element Tutorial ===

[[Storage_Element_Tutorial| Storage Element Tutorial 페이지로 가기]]

=== xrootd 를 활용한 SE Data 사용 가이드 ===

[[Xrootd| xrootd 를 활용한 SE Data 사용 가이드 페이지로 가기]]

=== dCache에서 WebDav 프로토콜 및 MACAROONS 인증 사용하기 ===

[[WebDav| dCache에서 WebDav 프로토콜 및 MACAROONS 인증 사용하기 페이지로 가기]]

=== dcap 프로토콜을 이용하여 SE 사용하기 ===

[[Dcap| dcap을 이용하여 SE 사용하기 페이지로 가기]]

=== CMS Dataset 전송을 위한 Rucio 사용법 ===

[[Rucio| Rucio 사용법 페이지로 가기]]

=== WebFTS 사용법 ===

[[Webfts| WebFTS 사용법 페이지로 가기]]

== 응용 소프트웨어 사용 ==

=== CMSSW(CMS Software) Installation ===

* CMSSW 을 설치하기 위해 먼저 설치 환경을 설정한다.
$ source /cvmfs/cms.cern.ch/cmsset_default.csh

bash shell을 사용한다면
$ source /cvmfs/cms.cern.ch/cmsset_default.sh

설치하고자 하는 버전의 CMSSW 를 확인한 후 개인 <working-directroy> 로 이동하여 설치한다. (x.y.z 는 버전을 나타낸다)

$ scramv1 list CMSSW
$ cd <working-directory>
$ scramv1 project CMSSW CMSSW_x_y_z

=== CVMFS에 이미 설치되어 있는 소프트웨어 사용하기 ===

==== CVMFS 에서 geant4 사용하기 ====

[[Cvmfs_geant4|CVMFS 에서 geant4 사용하기 페이지로 바로 가기]]

==== CVMFS 에서 root 사용하기 ====

[[Cvmfs_root|CVMFS 에서 root 사용하기 페이지로 바로 가기]]

==== CVMFS에서 원하는 버전의 gcc 사용하기 ====

[[Cvmfs_gcc|CVMFS에서 원하는 버전의 gcc 사용하기 페이지로 바로 가기]]

==== CVMFS SFT repository 사용법 ====

[[SFT|CVMFS SFT repository 사용법 페이지로 바로 가기]]

=== HPC를 위한 컨테이너 시스템 Singularity 사용법 ===

[[Singularity|Singularity 사용법 페이지로 바로 가기]]

== 기타 ==

=== 부가 서비스 ===

==== T3_KR_KNU 모니터링 - grafana ====

* https://chep17.knu.ac.kr:3003/
* T3_KR_KNU Status: HTCondor Status, Storage Status
* HTCondor Job History: 사용자의 HTCondor 작업 모니터링, CPU Efficiency, RequestMemory - JobMemoryUsage, Job Running Time 등
* Network Status: 네트워크 사용 현황
* Storage Status: 사용자 및 사용자 그룹의 스토리지 이용 현황
* UI Status : UI 시스템 현황
* Tier3 통합인증

==== GitLab ====

* https://githep.knu.ac.kr:4443/
* git 버전관리 서비스
* Tier3 통합인증

==== Mattermost ====

* https://mm.knu.ac.kr/
* 업무용 메신저 서비스
* Tier3 통합인증, 자체인증
* [[Mattermost|Mattermost 이용방법]]

=== Q & A ===

[[Q%26A|Q & A 페이지로 바로 가기]]

HTCondor

2026-07-27T07:37:00Z

Hanbi: /* output 파일을 SE에 stageout 하기 */

== HTCondor Batch System 사용법 ==

=== Tier-3 HTCondor UI 접속하기 ===
다음과 같이 터미널을 열어서 원격로그인(SSH)으로 접속합니다.
ssh -X username@cms.knu.ac.kr

=== Job submit ===
Job submit을 위해서는 다음과 같이 "condor_submit" 명령어를 사용합니다.

* sleep.sh - 테스트 코드

#!/bin/bash

TIMETOWAIT="10"
echo "sleeping for $TIMETOWAIT seconds"
/bin/sleep $TIMETOWAIT

* sleep.sub - 작업 명세 파일

executable = sleep.sh
log = sleep.log
output = outfile.txt
error = errors.txt
should_transfer_files = Yes
when_to_transfer_output = ON_EXIT
queue

* job submit

condor_submit sleep.sub

=== Job 상태 확인 ===

====condor_q ====
작업의 상태 확인을 위해서는 "condor_q"명령을 사용합니다. 
전체 작업현황을 확인하려면 다음과 같이 실행하면 됩니다.

$ condor_q
-- Schedd: cms02.knu.ac.kr : <155.230.23.72:9618?... @ 07/30/20 16:49:47
OWNER BATCH_NAME SUBMITTED DONE RUN IDLE TOTAL JOB_IDS
user001 ID: 51 7/30 16:47 _ 100 _ 100 51.0-99

Total for query: 100 jobs; 0 completed, 0 removed, 0 idle, 100 running, 0 held, 0 suspended
Total for hanbi: 100 jobs; 0 completed, 0 removed, 0 idle, 100 running, 0 held, 0 suspended
Total for all users: 100 jobs; 0 completed, 0 removed, 0 idle, 100 running, 0 held, 0 suspended

작업이 실행되지 않는다면 다음 명령으로 원인을 확인할 수 있습니다.
$ condor_q -analyze 51.0

$ condor_q -better-analyze 51.0

==== condor_wait ====
condor_wait 는 사용자의 로그 파일을 모니터링하고, 작업의 진행 상태에 대한 정보를 추출합니다. 이 명령어는 특히 작업이 완료될 때까지 대기하며, 로그 파일을 통해 작업의 상태 변경을 추적할 수 있습니다.
$ condor_wait -status job_121945.log
121945.0.0 submitted
...
121945.1.0 executing on host <155.230.21.74:9618?addrs=155.230.21.74-9618+[2407-c000-c024-0-e2cb-4eff-fe53ced7]-9618&alias=cluster27
4.knu.ac.kr&noUDP&sock=startd_2946_4a18>
...
121945.1.0 completed
...

====condor_tail ====
condor_tail은 HTCondor 시스템에서 실행 중인 작업의 표준 출력(standard output)과 표준 오류(standard error)를 실시간으로 확인할 수 있습니다. 
-f 옵션은 tail -f 와 동일한 기능을 제공합니다.
-stderr 옵션은 작업의 표준 오류 출력을 보여줍니다.
$ condor_tail -f 121946.0
Thinking really hard for 180 seconds...
We calculated: 200

====condor_ssh_to_job ====
condor_ssh_to_job을 사용하면 사용자가 실행 중인 작업의 노드로 SSH(보안 셸) 접속을 할 수 있으며, 작업 디렉토리에 직접 접근하여 현재 작업이 어떻게 진행되고 있는지 확인할 수 있습니다.
$ condor_ssh_to_job 121946.0
Welcome to slot1_1@cluster242.knu.ac.kr!
Your condor job is running with pid(s) 21165.
$ ls -al
total 44
drwx------ 5 user001 cms 187 Mar 11 14:31 .
drwxr-xr-x. 10 condor root 141 Mar 11 14:02 ..
-rwx------ 1 user001 cms 48 Mar 11 14:02 .chirp.config
drwxr-xr-x 2 user001 cms 128 Mar 11 14:03 .condor_ssh_to_job_1
-rw-r--r-- 1 user001 cms 0 Mar 11 14:02 _condor_stderr
-rw-r--r-- 1 user001 cms 59 Mar 11 14:05 _condor_stdout
-rw-r--r-- 1 condor condor 4165 Mar 11 14:02 .job.ad
-rw-r--r-- 1 condor condor 6111 Mar 11 14:02 .machine.ad
-rwxr-xr-x 1 user001 cms 8512 Mar 11 14:02 test
drwx------ 2 user001 cms 6 Mar 11 14:02 tmp
-rw-r--r-- 1 user001 cms 6157 Mar 11 14:31 .update.ad
drwx------ 3 user001 cms 17 Mar 11 14:02 var

====condor_history ====
종료된 작업을 조회하려면 condor_history 명령을 사용합니다.
$ condor_history -const 'Owner == "user001" && JobStatus ==4' -limit 5
ID OWNER SUBMITTED RUN_TIME ST COMPLETED CMD
121946.9 user001 3/11 14:02 0+00:03:01 C 3/11 14:06 /u/user/user001/condor/test 180 100
121946.8 user001 3/11 14:02 0+00:03:01 C 3/11 14:05 /u/user/user001/condor/test 180 100
121946.6 user001 3/11 14:02 0+00:03:01 C 3/11 14:05 /u/user/user001/condor/test 180 100
121946.7 user001 3/11 14:02 0+00:03:01 C 3/11 14:05 /u/user/user001/condor/test 180 100
121946.5 user001 3/11 14:02 0+00:03:01 C 3/11 14:05 /u/user/user001/condor/test 180 100

특정 작업을 조회하려면 -l 옵션을 사용합니다.
$ condor_history -l 121946.9

=== Job 삭제 ===
submit 한 작업을 중간에 취소하기 위해서는 "condor_rm" 명령을 사용합니다.
condor_rm <JOBID>

모든 내 작업을 삭제하려면 다음 명령을 사용합니다.

condor_rm <UserID>

=== 작업 명세 파일 예제 ===

* 단독 실행

$ science.exe infile-A.txt infile-B.txt outfile.txt

* science1.sub - 1개 작업 실행

# science1.sub -- run one instance of science.exe
executable = science.exe
arguments = "infile-A.txt infile-B.txt outfile.txt"
transfer_input_files = infile-A.txt,infile-B.txt
should_transfer_files = IF_NEEDED
when_to_transfer_output = ON_EXIT
log = science1.log
queue

* science2.sub - 40개 작업 실행, Process 번호로 input, output 파일 구분

# science2.sub -- run 40 instances of science.exe
executable = science.exe
arguments = "infile-$(Process)A.txt infile-$(Process)B.txt outfile$(Process).txt"
transfer_input_files = infile-$(Process)A.txt,infile-$(Process)B.txt
should_transfer_files = IF_NEEDED
when_to_transfer_output = ON_EXIT
log = science2.log
queue 40

* science3.sub - 100개 실행 예제. Process 번호로 작업 디렉토리 구분

# science3.sub -- run 100 instances of science.exe, with
# unique directories named by the $(Process) macro
executable = science.exe
arguments = "infile-A.txt infile-B.txt outfile.txt"
should_transfer_files = IF_NEEDED
when_to_transfer_output = ON_EXIT
initialdir = run$(Process)
transfer_input_files = infile-A.txt,infile-B.txt
log = science3.log
queue 100

* geant4 실행 예제

$ cat run_geant4.sh
#!/bin/bash

source /cvmfs/sft.cern.ch/lcg/contrib/gcc/8.3.0/x86_64-centos7/setup.sh
source /cvmfs/geant4.cern.ch/geant4/10.6/x86_64-centos7-gcc8-optdeb/CMake-setup.sh
./$*

$ cat geant4.sub
Universe = vanilla
Log = geant4_$(ClusterId).log
Output = geant4_$(ClusterId)_$(ProcId).out
Error = geant4_$(ClusterId)_$(ProcId).err
Should_Transfer_Files = Yes
When_To_Transfer_Output = ON_EXIT

#Executable = <wrapper_script>.sh
Executable = run_geant4.sh
Transfer_Executable = True
#Arguments = <Geant4 executable> <input file(s)>
Arguments = exampleB1 exampleB1.in
#Transfer_Input_Files = <Geant4 executable>,<input file(s)>
Transfer_Input_Files = exampleB1, exampleB1.in

Queue

[[SFT#Geant4_10.6_.26_gcc83_.26_centos7| 위의 예제를 위한 geant4 설치 및 테스트는 여기를 클릭하세요.]]

=== Submitting Multiple Jobs with HTCondor ===

복수의 input 파일을 이용하여 동시에 다수의 작업을 처리하고 싶다면
[https://indico.cern.ch/event/611296/contributions/2604376/attachments/1471164/2276521/TannenbaumT_UserTutorial.pdf AN INTRODUCTION TO USING HTCONDOR(Todd Tannenbaum)] 에서 52p에서부터 72p의 내용을 참고하시기 바랍니다

=== Apptainer(Singularity)를 이용하여 코드 실행 ===

==== el6(Scientific Linux 6) 코드 실행 ====
submit description file에 아래 내용을 추가합니다.

+ContainerOS = "SL6"

혹은 선호하는 이미지가 있다면 아래와 같이 기입합니다.

+SingularityImage = "/cvmfs/singularity.opensciencegrid.org/cmssw/cms:rhel6-m202001"

==== el7(CentOS Linux 7) 코드 실행 ====
submit description file에 아래 내용을 추가합니다.

Universe = vanilla
...
+SingularityImage = "/cvmfs/singularity.opensciencegrid.org/opensciencegrid/osgvo-el7:latest"
...

==== el8(Rocky Linux 8) 코드 실행 ====
submit description file에 아래 내용을 추가합니다.

Universe = vanilla
...
+SingularityImage = "/cvmfs/singularity.opensciencegrid.org/opensciencegrid/osgvo-el8:latest"
...

==== el9(Rocky Linux 9) 코드 실행 ====
submit description file에 아래 내용을 추가합니다.

Universe = vanilla
...
+SingularityImage = "/cvmfs/singularity.opensciencegrid.org/opensciencegrid/osgvo-el9:latest"
...

=== create-batch 사용 ===

create-batch를 경북대 부분을 condor로 변경하여 create-batch2라는 이름으로 저장해두었습니다. condor에서는 --queue cms 옵션은 필요하지 않습니다. 
torque system을 당분간 운영하는 기간동안 임시로 이렇게 사용하고 condor로 완전히 전환이 되면 create-batch에 수정사항을 반영요청하겠습니다.

* [[Create-batch|create-batch 사용법으로 가기]]

=== 전체 작업 현황 살펴보기 ===

$ condor_status -schedd
Name Machine RunningJobs IdleJobs HeldJobs

ce01.knu.ac.kr ce01.knu.ac.kr 20 5 0
cms.knu.ac.kr cms.knu.ac.kr 0 0 0
cms01.knu.ac.kr cms01.knu.ac.kr 0 0 3
cms02.knu.ac.kr cms02.knu.ac.kr 1754 0 0
cms03.knu.ac.kr cms03.knu.ac.kr 269 231 0
dm.knu.ac.kr dm.knu.ac.kr 0 0 0

TotalRunningJobs TotalIdleJobs TotalHeldJobs

Total 2043 236 3

=== HTCondor에서 GPU 사용 ===

* [[HTCondor에서_GPU_사용하기]]

=== request_memory 관련 ===

* dynamic slot에서는 request_memory 메모리를 어떻게 지정하냐에 따라서 연산노드에서 들어갈 수 있는 작업의 수가 변화합니다.
* 가령 CPU 8core, 메모리 16GB를 가지고 있는 연산노드가 있다고 가정했을 때 request_memory 가 2GB일때는 8개가 8GB일때는 2개의 작업이 할당됩니다.
* 따라서 적절한 request_memory를 설정해야 작업 slot의 낭비를 줄이고 자신과 타인의 작업이 빠르게 실행됩니다. 위의 예의 경우 4배의 차이가 나게 됩니다.
* htcondor에서 request_memory의 자동 수정
** 작업 실행후 1시간 뒤를 기준으로 request_memory 가 작업의 실사용메모리보다 2GB이상 많이 설정되어 있는 경우 자동으로 해당 작업은 hold 되고 request_memory가 수정후 재실행됩니다.
** request_memory 보다 실사용하는 메모리가 많아 hold 된 작업은 htcondor가 request_memory를 자동으로 증가시킨 후 재실행됩니다.

=== x509 proxy 사용 ===

htcondor 에서 그리드 인증이 필요한 경우

* submit description file 에 아래 내용을 추가하세요.
use_x509userproxy = true

=== output 파일을 SE에 stageout 하기 ===

* output 파일을 SE에 stageout하면 IO 부담을 줄일수 있습니다. submit description file 에 아래와 같이 추가하세요.

should_transfer_files = YES
when_to_transfer_output = ON_EXIT

use_x509userproxy = true

transfer_output_files = out_$(ClusterId).$(ProcId).root
output_destination = root://cluster142.knu.ac.kr//store/user/$(CMS_USER)/

output = job.$(ClusterId).$(ProcId).out
error = job.$(ClusterId).$(ProcId).err
log = job.$(ClusterId).log

=== 작업별 최대 작업시간 ===

{| style="background:#cccc99;color:#black;white:80%;" border="1" cellpadding="5" cellspacing="0"
! 작업 구분 !! 작업 특성 !! 최대 작업시간 !! 최대 실행 작업수 !! 비고
|- style="background:white; color:black"
! CPU Jobs
| Default
| 80시간
| 제한 없음
| -
|- style="background:white; color:black"
! ``
| Short
| 30분
| 100
| 테스트 작업 (+JobType="short")
|- style="background:white; color:black"
! ``
| Long
| 7일
| 200
| 장기간 수행 작업 (+JobType="long")
|- style="background:white; color:black"
! ``
| Heavy
| 80시간
| 500
| Heavy I/O 작업 (+JobType="heavy")
|- style="background:white; color:black"
! GPU Jobs
| Default
| 7일
| 제한 없음
| -
|- style="background:white; color:black"
! ``
| Short
| 30분
| 5
| 테스트 작업 (+JobType="short")
|- style="background:white; color:black"
! ``
| Long
| 14일
| 5
| 장기간 작업 (+JobType="long")
|}

* 최대 작업시간은 연산노드에서 작업이 실행되는 최대 시간입니다. 최대 작업시간을 초과하면 작업이 강제로 중지됩니다.
* 자원의 효율적 사용을 위해서 가급적 작업을 나누어 제출하는 것을 권장합니다.
* 최대 작업시간이나 최대 작업수는 향후 변경될 수 있습니다. 관련하여 문의사항이 있으면 관리자에게 메일주시기 바랍니다.

=== 주의사항 ===

* 작업이 실행 중에 죽는 경우

작업 제출시 명시한 메모리보다 작업이 더 많은 메모리를 사용할 경우 메모리 부족으로 작업이 죽는 경우가 발생할 수 있습니다. 
다음과 같이 requset_memory 옵션으로 요구 메모리를 지정해주시기 바랍니다. 특히 많은 메모리를 사용하는 작업이라면 반드시 지정해 주어야합니다.
request_memory = 4 GB

* submit 한 작업도 속성을 다음과 같이 변경할 수 있습니다.

$ condor_hold {job_id}
$ condor_qedit {job_id} RequestMemory 4096
$ condor_release {job_id}

* 최근에는 작업의 메모리 사용량은 자동으로 관리되고 있습니다. 메모리 초과 사용 혹은 과다 사용시 시스템에서 중지 후 다시 제출됩니다.

=== 참고 자료 ===

* [https://research.cs.wisc.edu/htcondor/manual/quickstart.html HTCondor Quick Start Guide] 위의 예제를 작성할때 참고한 자료로 처음에 시작하는 사용자가 참고하기 좋습니다.
* [https://indico.cern.ch/event/611296/contributions/2604376/attachments/1471164/2276521/TannenbaumT_UserTutorial.pdf AN INTRODUCTION TO USING HTCONDOR(Todd Tannenbaum)] HTCondor의 동작에 대한 기본적인 이해와 다양한 기능들을 살펴보기 좋은 자료입니다.
* [https://indico.cern.ch/event/733513/contributions/3118598/attachments/1711374/2759120/EUCW18-DAGMan.pdf AN INTRODUCTION TO WORKFLOWS WITH DAGMAN] DAGMAN 사용방법을 학습하기 좋은 자료입니다.

News & Notices

2026-07-27T06:48:39Z

Hanbi: /* News & Notices */

== News & Notices ==
* [[HTCondor| HTCondor 사용법 문서가 갱신 되었습니다.]] 2026.07.27
* [[Rucio| Rucio 사용법 문서가 갱신되었습니다.]] 2026.06.23
* [[HTCondorQueueInfo| HTCondor에 JobType(Queue)문서가 갱신되었습니다.]] 2025.05.20
* [[JupyterHub|JupyterHub 문서가 갱신되었습니다.]] 2026.05.04
* [[Singularity|Apptainer 사용법 문서가 갱신 되었습니다.]] 2025.07.17
* [[Dcap|dcap 사용법 항목이 갱신되었습니다.]] 2025.07.16
* [[HTCondorQueueInfo| HTCondor 에 JobType(Queue)가 추가되었습니다.]] 2025.05.13
* [[HTCondor| HTCondor 사용법 문서가 갱신 되었습니다.]] 2025.05.09
* [[Singularity|Apptainer 사용법 문서가 갱신 되었습니다.]] 2025.05.09
* [[Cvmfs_root|CVMFS 에서 root 사용하기 문서가 갱신 되었습니다.]] 2025.05.09
* [[Singularity|Apptainer 사용법 문서가 갱신 되었습니다.]] 2025.04.23
* [[HTCondor| HTCondor 사용법 문서가 갱신 되었습니다.]] 2024.07.08
* [[Singularity|Apptainer 사용법 문서가 갱신 되었습니다.]] 2024.06.13
* [[Storage_Element_Tutorial#.EC.84.9C.EB.B9.84.EC.8A.A4.EB.B3.84_.EC.8A.A4.ED.86.A0.EB.A6.AC.EC.A7.80_.EC.A0.91.EA.B7.BC| 스토리지 엘리먼트의 SRMv2 gridftp gsiftp 데이터 전송 프로토콜 지원이 종료됩니다.]] 2024.05.14
* [[HTCondor| HTCondor 사용법 문서가 갱신 되었습니다.]] 2024.03.11
* [[HTCondor#.EC.B5.9C.EB.8C.80_.EC.9E.91.EC.97.85.EC.8B.9C.EA.B0.84| HTCondor의 GPU 최대 작업시간이 연장되었습니다.]] 2024.02.14
* [[HTCondor| HTCondor 사용법 문서가 갱신 되었습니다.]] 2023.09.21
* [[Storage_Element_Tutorial#.EC.84.9C.EB.B9.84.EC.8A.A4.EB.B3.84_.EC.8A.A4.ED.86.A0.EB.A6.AC.EC.A7.80_.EC.A0.91.EA.B7.BC| 이제 HTCondor에서 SE의 데이터를 바로 읽을 수 있습니다.]] 2023.06.23
* [[Bitwarden| bitwarden(패스워드 관리) 사용법 문서가 추가 되었습니다.]] 2023.03.14
* [[How_to_use_Tier3_at_KNU|How to use T3_KR_KNU 문서가 갱신 되었습니다.]] 2023.02.20
* [[Singularity|Singularity 사용법 문서가 갱신 되었습니다.]] 2022.09.15
* [[Mattermost|Mattermost 메신저 서비스를 시작합니다.]] 2022.09.05
* [[How_to_use_Tier3_at_KNU|How to use T3_KR_KNU 문서가 갱신 되었습니다.]] 2022.07.27
* 이제부터 최근 수정된 부분은 밑줄로 표시됩니다. 참고하시기 바립니다. 2022.06.08
* [[Storage_Element_Tutorial|Storage Element Tutorial이 갱신 되었습니다.]] 2022.06.08
* [[JupyterHub|JupyterHub 서비스를 시작합니다.]] 2022.03.23
* [[HTCondor_Job_Policy|이제 htcondor에서 request_memory보다 많은 메모리를 사용하는 작업은 자동으로 hold됩니다.]] 2022.02.09
* [[FreeIPA|인증시스템 전환(NIS→ FreeIPA)공지입니다.]] 2021.11.09
* [[cvmfs_geant4|CVMFS에서 geant4 사용하기 문서가 추가되었습니다.]] 2021.07.12
* [[cvmfs_root|CVMFS에서 root 사용하기 문서가 추가되었습니다.]] 2021.07.12
* [[cvmfs_gcc|CVMFS에서 원하는 버전의 gcc 사용하기 문서가 추가되었습니다.]] 2021.07.12
* [[WebDav|dCache에서 WebDav 프로토콜 및 마카롱 인증 사용하기 문서가 추가되었습니다.]] 2021.06.22
* [[Rucio|Rucio 사용법 문서가 추가되었습니다.]] 2021.06.08
* [[Uberftp|uberftp에 치명적인 버그가 있습니다. 사용에 주의하세요]] 2021.05.17
* [[HTCondorGPU|HTCondor에서 GPU 사용법 문서가 추가되었습니다.]] 2021.05.12
* [[HTCondor|HTCondor 사용법 문서가 갱신되었습니다.]] 2021.03.31
* [[mosh|mosh 가이드가 등록되었습니다.]] 2021.03.17
* [[x2go|x2go를 이용한 원격데스크탑 가이드가 등록되었습니다.]] 2021.03.11
* [[Xrootd|xrootd 를 활용한 SE Data 사용 가이드가 갱신되었습니다.]] 2021.03.05
* [[HTCondor에서 GPU 사용하기]] 2021.03.04
* [[Duc|자신의 디스크 사용량을 쉽게 확인할 수 있는 툴을 소개합니다.]] 2020.11.05
* [[CreamCE/SL6 서비스 종료]] 2020.10.15
* [[HTCondor|HTCondor 사용법 문서가 작성중입니다.]] 2020.07.30
* [[CreamCE/Torque → HTCondorCE/HTCondor 이전 안내]] 2020.07.23
* 스토리지 엘리먼트가 1.45PB로 증가하였습니다. 2020.06.26
* [[SFT|CVMFS SFT repository 사용법 문서가 갱신 되었습니다.]] 2020.03.20
* [[Scratch Disk가 교체 및 증설 안내]] 2020.02.10
* [[Notion|Notion 문서를 추가하였습니다.]] 2019.09.20
* [[Storage_Element_Tutorial|Storage Element Tutorial이 보강 되었습니다.]] 2019.08.30
* [[Storage_Element_Tutorial|Storage Element Tutorial이 보강 되었습니다.]] 2018.12.10
* [[Singularity|Singularity 사용법 문서가 추가 되었습니다.]] 2018.12.03
* [[SFT|CVMFS SFT repository 사용법 문서가 추가 되었습니다.]] 2018.11.08
* [[torque|Torque 사용법 문서가 갱신 되었습니다.]] 2018.10.15
* [[Storage_Element_Tutorial|Storage Element Tutorial이 보강 되었습니다.]] 2018.08.31
* [[Tier3BatchQueueInfo|Tier3 batch farm에 큰 메모리를 사용하는 작업 전용의 queue를 추가하였습니다.]] 2018.07.13
* [[T2_KR_KNU_Decommissioned| 경북대 Tier2 서비스는 4월 30일자로 종료되고 해당자원은 Tier3로 통합됩니다.]] 2018.04.18
* cms03이 SL6로 업그레이드되었습니다. 2018.01.16
* [[Storage_Element_Tutorial|Storage Element Tutorial이 갱신 되었습니다.]] 2017.11.22
* [[Xrootd|xrootd 를 활용한 SE Data 사용 가이드가 별도 분리되었습니다.]] 2017.11.22
* 스토리지 엘리먼트가 1.29PB로 증가하였습니다. 2017.10.12
* [[crab|Crab Tutorial을 업데이트 하였습니다.]] 2017.06.29
* [[Storage_Element_Tutorial#xrootd_.EB.A5.BC_.ED.99.9C.EC.9A.A9.ED.95.9C_SE_Data_.EC.A0.91.EA.B7.BC_.EB.B0.A9.EB.B2.95|Storage Element Tutorial에서 xrootd 관련 항목이 업데이트 되었습니다.]] 2017.06.15
* [[Webfts|WebFTS 사용법 항목이 추가되었습니다.]] 2017.04.14
* [[Dcap|dcap 사용법 항목이 갱신되었습니다.]] 2016.12.06
* 스토리지 엘리먼트가 1.2PB로 증가하였습니다. 2016.12.05
* [[Task_monitoring_for_the_analysis_users|Analysis 사용자를 위한 작업 모니터링 가이드가 추가되었습니다.]] 2016.10.19
* [[DCacheNFS|스토리지 엘리먼트의 NFS 사용 가이드가 갱신되었습니다.]] 2016.10.07
* [[Dcap|dcap 사용법 항목이 추가되었습니다.]] 2016.10.06
* 스토리지 엘리먼트가 1PB로 증가하였습니다. 2016.08.10
* [[DCacheNFS|스토리지 엘리먼트를 UI에서 NFS로 바로 읽을 수 있습니다.]] 2016.07.19
* [[Tier3BatchQueueInfo|Tier3 batch farm의 queue에 대한 세부정보를 업데이트 하였습니다.]] 2016.02.12
* [[Motd|Tier2/3 UI motd(Message of the Day)에서 스토리지 엘리먼트를 비롯한 디스크 사용량을 확인할수 있습니다.]] 2015.12.28
* [[Ssh_Public_key_Authentication|보다 안전하고 편리한 ssh 공개키 인증 사용법 항목이 추가 되었습니다.]] 2015.12.28
* [[Create-batch|create-batch 사용법 항목이 추가 되었습니다.]] 2015.12.21
* [[Storage_Element_Tutorial|Storage Element Tutorial 항목이 별도로 분리 되었습니다.]] 2015.10.29
* [[torque|Torque 사용법 항목이 별도로 분리 되었습니다.]] 2015.10.29
* [[crab|Crab Tutorial 항목이 별도로 분리 되었습니다.]] 2015.10.29
* [[Q&A|Q&A 항목이 추가 되었습니다.]] 2015.10.12
* [[uberftp | uberftp 사용법 항목이 추가되었습니다.]] 2015.10.12
* T2_KR_KNU 홈페이지가 리뉴얼 되었습니다. 2015.10.12
* [https://indico.cern.ch/event/386181/ 2015 CMS DAS (Data Analysis School) at Korea가 개최되었습니다.] 2015.08.25~29

Main Page

2026-07-27T06:48:24Z

Hanbi: /* News & Notices */

__NOTOC__
='''KNU Tier-3 Center for CMS''' [[File:CMS-logo.gif|40px]] =

Welcome to the CMS Tier-3 Center at Kyungpook National University in Korea.

This web portal is your gateway to the CMS Tier-3 center at Kyungpook National University (KNU) in Korea. This CMS Tier-3 center is being supported by the Ministry of Education, Science and Technology and is being maintained by the Center for High Energy Physics of the KNU.
We will support the CMS computing needs for Korean and overseas collaborators. For your general comments, questions, or reports of any problems regarding to this Center, please email to lcg_knu@knu.ac.kr.

== News & Notices ==
* [[HTCondor| HTCondor 사용법 문서가 갱신 되었습니다.]] 2026.07.27
* [[Rucio| Rucio 사용법 문서가 갱신되었습니다.]] 2026.06.23
* [[HTCondorQueueInfo| HTCondor에 JobType(Queue)문서가 갱신되었습니다.]] 2025.05.20
* [[JupyterHub|JupyterHub 문서가 갱신되었습니다.]] 2026.05.04
* [[Singularity|Apptainer 사용법 문서가 갱신 되었습니다.]] 2025.07.17
* [[Dcap|dcap 사용법 항목이 갱신되었습니다.]] 2025.07.16
* [[HTCondorQueueInfo| HTCondor에 JobType(Queue)가 추가되었습니다.]] 2025.05.13
* [[HTCondor| HTCondor 사용법 문서가 갱신 되었습니다.]] 2025.05.09
* [[Singularity|Apptainer 사용법 문서가 갱신 되었습니다.]] 2025.05.09
* [[Cvmfs_root|CVMFS 에서 root 사용하기 문서가 갱신 되었습니다.]] 2025.05.09
* [[Singularity|Apptainer 사용법 문서가 갱신 되었습니다.]] 2025.04.23
* [[HTCondor| HTCondor 사용법 문서가 갱신 되었습니다.]] 2024.07.08
* [[Singularity|Apptainer 사용법 문서가 갱신 되었습니다.]] 2024.06.13
* [[Storage_Element_Tutorial#.EC.84.9C.EB.B9.84.EC.8A.A4.EB.B3.84_.EC.8A.A4.ED.86.A0.EB.A6.AC.EC.A7.80_.EC.A0.91.EA.B7.BC| 스토리지 엘리먼트의 SRMv2 gridftp gsiftp 데이터 전송 프로토콜 지원이 종료됩니다.]] 2024.05.14
* [[HTCondor| HTCondor 사용법 문서가 갱신 되었습니다.]] 2024.03.11
* [[HTCondor#.EC.B5.9C.EB.8C.80_.EC.9E.91.EC.97.85.EC.8B.9C.EA.B0.84| HTCondor의 GPU 최대 작업시간이 연장되었습니다.]] 2024.02.14
* [[HTCondor| HTCondor 사용법 문서가 갱신 되었습니다.]] 2023.09.21
* [[Storage_Element_Tutorial#.EC.84.9C.EB.B9.84.EC.8A.A4.EB.B3.84_.EC.8A.A4.ED.86.A0.EB.A6.AC.EC.A7.80_.EC.A0.91.EA.B7.BC| 이제 HTCondor에서 SE의 데이터를 바로 읽을 수 있습니다.]] 2023.06.23
* [[Bitwarden| bitwarden(패스워드 관리 서비스) 사용법 문서가 추가 되었습니다.]] 2023.03.14
* [[How_to_use_Tier3_at_KNU|How to use T3_KR_KNU 문서가 갱신 되었습니다.]] 2023.02.20
* [[Singularity|Singularity 사용법 문서가 갱신 되었습니다.]] 2022.09.15
* [[Mattermost|Mattermost 메신저 서비스를 시작합니다.]] 2022.09.05
* [[How_to_use_Tier3_at_KNU|How to use T3_KR_KNU 문서가 갱신 되었습니다.]] 2022.07.27
* 이제부터 최근 수정된 부분은 밑줄로 표시됩니다. 참고하시기 바랍니다. 2022.06.08
* [[Storage_Element_Tutorial|Storage Element Tutorial이 갱신 되었습니다.]] 2022.06.08
* [[JupyterHub|JupyterHub 서비스를 시작합니다.]] 2022.03.23
* [[HTCondor_Job_Policy|이제 htcondor에서 request_memory보다 많은 메모리를 사용하는 작업은 자동으로 hold됩니다.]] 2022.02.09
* [[FreeIPA|인증시스템 전환(NIS→ FreeIPA)공지입니다.]] 2021.11.09
* [[cvmfs_geant4|CVMFS에서 geant4 사용하기 문서가 추가되었습니다.]] 2021.07.12
* [[cvmfs_root|CVMFS에서 root 사용하기 문서가 추가되었습니다.]] 2021.07.12
* [[News & Notices|more ...]]

==Additional Services==

* [https://chep17.knu.ac.kr:3003 T3_KR_KNU Status - 작업 현황, 현재 사용량 등]
* [https://githep.knu.ac.kr:4443 Gitlab 서비스 - 소스코드 버전 관리 시스템]
* [https://mm.knu.ac.kr Mattermost 서비스 - 업무용 메신저 서비스]
* [https://indico.knu.ac.kr 경북대 물리학과 Indico]
* [https://indico.kno.or.kr KNO Indico]

==How to use Tier-3 at KNU?==
*[[How_to_use_Tier3_at_KNU|How to use Tier-3 at KNU?]]
**[[How_to_use_Tier3_at_KNU#Pre-requisites|Pre-requisites]]
**[[How_to_use_Tier3_at_KNU#KNU_Tier-2_Login|KNU_Tier-3 Login]]
**[[How_to_use_Tier3_at_KNU#CMSSW.28CMS_Software.29_Installation|CMSSW Installation]]
**[[crab|Crab Tutorial]]
**[[How_to_use_Tier3_at_KNU#Storage_Element_.28SE.29_Manual|Storage Element Tutorial]]
**[[Q&A|Q&A]]

*[https://t2-cms.knu.ac.kr/registration/ KNU Account Registration]

----
{| style="width: 100%"
! style="text-align: left;text-valign: top" | Contact: Email: lcg_knu@knu.ac.kr
! style="text-align: right;" | THE CENTER FOR HIGH ENERGY PHYSICS KYUNGPOOK NATIONAL UNIVERSITY
|}

HTCondor

2026-07-27T06:47:22Z

Hanbi: /* output 파일을 SE stageout 하기 */

== HTCondor Batch System 사용법 ==

=== Tier-3 HTCondor UI 접속하기 ===
다음과 같이 터미널을 열어서 원격로그인(SSH)으로 접속합니다.
ssh -X username@cms.knu.ac.kr

=== Job submit ===
Job submit을 위해서는 다음과 같이 "condor_submit" 명령어를 사용합니다.

* sleep.sh - 테스트 코드

#!/bin/bash

TIMETOWAIT="10"
echo "sleeping for $TIMETOWAIT seconds"
/bin/sleep $TIMETOWAIT

* sleep.sub - 작업 명세 파일

executable = sleep.sh
log = sleep.log
output = outfile.txt
error = errors.txt
should_transfer_files = Yes
when_to_transfer_output = ON_EXIT
queue

* job submit

condor_submit sleep.sub

=== Job 상태 확인 ===

====condor_q ====
작업의 상태 확인을 위해서는 "condor_q"명령을 사용합니다. 
전체 작업현황을 확인하려면 다음과 같이 실행하면 됩니다.

$ condor_q
-- Schedd: cms02.knu.ac.kr : <155.230.23.72:9618?... @ 07/30/20 16:49:47
OWNER BATCH_NAME SUBMITTED DONE RUN IDLE TOTAL JOB_IDS
user001 ID: 51 7/30 16:47 _ 100 _ 100 51.0-99

Total for query: 100 jobs; 0 completed, 0 removed, 0 idle, 100 running, 0 held, 0 suspended
Total for hanbi: 100 jobs; 0 completed, 0 removed, 0 idle, 100 running, 0 held, 0 suspended
Total for all users: 100 jobs; 0 completed, 0 removed, 0 idle, 100 running, 0 held, 0 suspended

작업이 실행되지 않는다면 다음 명령으로 원인을 확인할 수 있습니다.
$ condor_q -analyze 51.0

$ condor_q -better-analyze 51.0

==== condor_wait ====
condor_wait 는 사용자의 로그 파일을 모니터링하고, 작업의 진행 상태에 대한 정보를 추출합니다. 이 명령어는 특히 작업이 완료될 때까지 대기하며, 로그 파일을 통해 작업의 상태 변경을 추적할 수 있습니다.
$ condor_wait -status job_121945.log
121945.0.0 submitted
...
121945.1.0 executing on host <155.230.21.74:9618?addrs=155.230.21.74-9618+[2407-c000-c024-0-e2cb-4eff-fe53ced7]-9618&alias=cluster27
4.knu.ac.kr&noUDP&sock=startd_2946_4a18>
...
121945.1.0 completed
...

====condor_tail ====
condor_tail은 HTCondor 시스템에서 실행 중인 작업의 표준 출력(standard output)과 표준 오류(standard error)를 실시간으로 확인할 수 있습니다. 
-f 옵션은 tail -f 와 동일한 기능을 제공합니다.
-stderr 옵션은 작업의 표준 오류 출력을 보여줍니다.
$ condor_tail -f 121946.0
Thinking really hard for 180 seconds...
We calculated: 200

====condor_ssh_to_job ====
condor_ssh_to_job을 사용하면 사용자가 실행 중인 작업의 노드로 SSH(보안 셸) 접속을 할 수 있으며, 작업 디렉토리에 직접 접근하여 현재 작업이 어떻게 진행되고 있는지 확인할 수 있습니다.
$ condor_ssh_to_job 121946.0
Welcome to slot1_1@cluster242.knu.ac.kr!
Your condor job is running with pid(s) 21165.
$ ls -al
total 44
drwx------ 5 user001 cms 187 Mar 11 14:31 .
drwxr-xr-x. 10 condor root 141 Mar 11 14:02 ..
-rwx------ 1 user001 cms 48 Mar 11 14:02 .chirp.config
drwxr-xr-x 2 user001 cms 128 Mar 11 14:03 .condor_ssh_to_job_1
-rw-r--r-- 1 user001 cms 0 Mar 11 14:02 _condor_stderr
-rw-r--r-- 1 user001 cms 59 Mar 11 14:05 _condor_stdout
-rw-r--r-- 1 condor condor 4165 Mar 11 14:02 .job.ad
-rw-r--r-- 1 condor condor 6111 Mar 11 14:02 .machine.ad
-rwxr-xr-x 1 user001 cms 8512 Mar 11 14:02 test
drwx------ 2 user001 cms 6 Mar 11 14:02 tmp
-rw-r--r-- 1 user001 cms 6157 Mar 11 14:31 .update.ad
drwx------ 3 user001 cms 17 Mar 11 14:02 var

====condor_history ====
종료된 작업을 조회하려면 condor_history 명령을 사용합니다.
$ condor_history -const 'Owner == "user001" && JobStatus ==4' -limit 5
ID OWNER SUBMITTED RUN_TIME ST COMPLETED CMD
121946.9 user001 3/11 14:02 0+00:03:01 C 3/11 14:06 /u/user/user001/condor/test 180 100
121946.8 user001 3/11 14:02 0+00:03:01 C 3/11 14:05 /u/user/user001/condor/test 180 100
121946.6 user001 3/11 14:02 0+00:03:01 C 3/11 14:05 /u/user/user001/condor/test 180 100
121946.7 user001 3/11 14:02 0+00:03:01 C 3/11 14:05 /u/user/user001/condor/test 180 100
121946.5 user001 3/11 14:02 0+00:03:01 C 3/11 14:05 /u/user/user001/condor/test 180 100

특정 작업을 조회하려면 -l 옵션을 사용합니다.
$ condor_history -l 121946.9

=== Job 삭제 ===
submit 한 작업을 중간에 취소하기 위해서는 "condor_rm" 명령을 사용합니다.
condor_rm <JOBID>

모든 내 작업을 삭제하려면 다음 명령을 사용합니다.

condor_rm <UserID>

=== 작업 명세 파일 예제 ===

* 단독 실행

$ science.exe infile-A.txt infile-B.txt outfile.txt

* science1.sub - 1개 작업 실행

# science1.sub -- run one instance of science.exe
executable = science.exe
arguments = "infile-A.txt infile-B.txt outfile.txt"
transfer_input_files = infile-A.txt,infile-B.txt
should_transfer_files = IF_NEEDED
when_to_transfer_output = ON_EXIT
log = science1.log
queue

* science2.sub - 40개 작업 실행, Process 번호로 input, output 파일 구분

# science2.sub -- run 40 instances of science.exe
executable = science.exe
arguments = "infile-$(Process)A.txt infile-$(Process)B.txt outfile$(Process).txt"
transfer_input_files = infile-$(Process)A.txt,infile-$(Process)B.txt
should_transfer_files = IF_NEEDED
when_to_transfer_output = ON_EXIT
log = science2.log
queue 40

* science3.sub - 100개 실행 예제. Process 번호로 작업 디렉토리 구분

# science3.sub -- run 100 instances of science.exe, with
# unique directories named by the $(Process) macro
executable = science.exe
arguments = "infile-A.txt infile-B.txt outfile.txt"
should_transfer_files = IF_NEEDED
when_to_transfer_output = ON_EXIT
initialdir = run$(Process)
transfer_input_files = infile-A.txt,infile-B.txt
log = science3.log
queue 100

* geant4 실행 예제

$ cat run_geant4.sh
#!/bin/bash

source /cvmfs/sft.cern.ch/lcg/contrib/gcc/8.3.0/x86_64-centos7/setup.sh
source /cvmfs/geant4.cern.ch/geant4/10.6/x86_64-centos7-gcc8-optdeb/CMake-setup.sh
./$*

$ cat geant4.sub
Universe = vanilla
Log = geant4_$(ClusterId).log
Output = geant4_$(ClusterId)_$(ProcId).out
Error = geant4_$(ClusterId)_$(ProcId).err
Should_Transfer_Files = Yes
When_To_Transfer_Output = ON_EXIT

#Executable = <wrapper_script>.sh
Executable = run_geant4.sh
Transfer_Executable = True
#Arguments = <Geant4 executable> <input file(s)>
Arguments = exampleB1 exampleB1.in
#Transfer_Input_Files = <Geant4 executable>,<input file(s)>
Transfer_Input_Files = exampleB1, exampleB1.in

Queue

[[SFT#Geant4_10.6_.26_gcc83_.26_centos7| 위의 예제를 위한 geant4 설치 및 테스트는 여기를 클릭하세요.]]

=== Submitting Multiple Jobs with HTCondor ===

복수의 input 파일을 이용하여 동시에 다수의 작업을 처리하고 싶다면
[https://indico.cern.ch/event/611296/contributions/2604376/attachments/1471164/2276521/TannenbaumT_UserTutorial.pdf AN INTRODUCTION TO USING HTCONDOR(Todd Tannenbaum)] 에서 52p에서부터 72p의 내용을 참고하시기 바랍니다

=== Apptainer(Singularity)를 이용하여 코드 실행 ===

==== el6(Scientific Linux 6) 코드 실행 ====
submit description file에 아래 내용을 추가합니다.

+ContainerOS = "SL6"

혹은 선호하는 이미지가 있다면 아래와 같이 기입합니다.

+SingularityImage = "/cvmfs/singularity.opensciencegrid.org/cmssw/cms:rhel6-m202001"

==== el7(CentOS Linux 7) 코드 실행 ====
submit description file에 아래 내용을 추가합니다.

Universe = vanilla
...
+SingularityImage = "/cvmfs/singularity.opensciencegrid.org/opensciencegrid/osgvo-el7:latest"
...

==== el8(Rocky Linux 8) 코드 실행 ====
submit description file에 아래 내용을 추가합니다.

Universe = vanilla
...
+SingularityImage = "/cvmfs/singularity.opensciencegrid.org/opensciencegrid/osgvo-el8:latest"
...

==== el9(Rocky Linux 9) 코드 실행 ====
submit description file에 아래 내용을 추가합니다.

Universe = vanilla
...
+SingularityImage = "/cvmfs/singularity.opensciencegrid.org/opensciencegrid/osgvo-el9:latest"
...

=== create-batch 사용 ===

create-batch를 경북대 부분을 condor로 변경하여 create-batch2라는 이름으로 저장해두었습니다. condor에서는 --queue cms 옵션은 필요하지 않습니다. 
torque system을 당분간 운영하는 기간동안 임시로 이렇게 사용하고 condor로 완전히 전환이 되면 create-batch에 수정사항을 반영요청하겠습니다.

* [[Create-batch|create-batch 사용법으로 가기]]

=== 전체 작업 현황 살펴보기 ===

$ condor_status -schedd
Name Machine RunningJobs IdleJobs HeldJobs

ce01.knu.ac.kr ce01.knu.ac.kr 20 5 0
cms.knu.ac.kr cms.knu.ac.kr 0 0 0
cms01.knu.ac.kr cms01.knu.ac.kr 0 0 3
cms02.knu.ac.kr cms02.knu.ac.kr 1754 0 0
cms03.knu.ac.kr cms03.knu.ac.kr 269 231 0
dm.knu.ac.kr dm.knu.ac.kr 0 0 0

TotalRunningJobs TotalIdleJobs TotalHeldJobs

Total 2043 236 3

=== HTCondor에서 GPU 사용 ===

* [[HTCondor에서_GPU_사용하기]]

=== request_memory 관련 ===

* dynamic slot에서는 request_memory 메모리를 어떻게 지정하냐에 따라서 연산노드에서 들어갈 수 있는 작업의 수가 변화합니다.
* 가령 CPU 8core, 메모리 16GB를 가지고 있는 연산노드가 있다고 가정했을 때 request_memory 가 2GB일때는 8개가 8GB일때는 2개의 작업이 할당됩니다.
* 따라서 적절한 request_memory를 설정해야 작업 slot의 낭비를 줄이고 자신과 타인의 작업이 빠르게 실행됩니다. 위의 예의 경우 4배의 차이가 나게 됩니다.
* htcondor에서 request_memory의 자동 수정
** 작업 실행후 1시간 뒤를 기준으로 request_memory 가 작업의 실사용메모리보다 2GB이상 많이 설정되어 있는 경우 자동으로 해당 작업은 hold 되고 request_memory가 수정후 재실행됩니다.
** request_memory 보다 실사용하는 메모리가 많아 hold 된 작업은 htcondor가 request_memory를 자동으로 증가시킨 후 재실행됩니다.

=== x509 proxy 사용 ===

htcondor 에서 그리드 인증이 필요한 경우

* submit description file 에 아래 내용을 추가하세요.
use_x509userproxy = true

=== output 파일을 SE에 stageout 하기 ===

* output 파일을 SE에 stageout하면 IO 부담을 줄일수 있습니다. submit description file 에 아래와 같이 추가하세요.

# --- required for URL-based transfer ---
should_transfer_files = YES
when_to_transfer_output = ON_EXIT

# --- X.509 proxy (must stay valid for job runtime + stage-out) ---
use_x509userproxy = true

# --- only this file goes to the SE; log/out/err return to the AP ---
transfer_output_files = out_$(ClusterId).$(ProcId).root
output_destination = root://cluster142.knu.ac.kr//store/user/$(CMS_USER)/

# stdout/stderr/log stay on the access point (not affected by output_destination)
output = job.$(ClusterId).$(ProcId).out
error = job.$(ClusterId).$(ProcId).err
log = job.$(ClusterId).log

=== 작업별 최대 작업시간 ===

{| style="background:#cccc99;color:#black;white:80%;" border="1" cellpadding="5" cellspacing="0"
! 작업 구분 !! 작업 특성 !! 최대 작업시간 !! 최대 실행 작업수 !! 비고
|- style="background:white; color:black"
! CPU Jobs
| Default
| 80시간
| 제한 없음
| -
|- style="background:white; color:black"
! ``
| Short
| 30분
| 100
| 테스트 작업 (+JobType="short")
|- style="background:white; color:black"
! ``
| Long
| 7일
| 200
| 장기간 수행 작업 (+JobType="long")
|- style="background:white; color:black"
! ``
| Heavy
| 80시간
| 500
| Heavy I/O 작업 (+JobType="heavy")
|- style="background:white; color:black"
! GPU Jobs
| Default
| 7일
| 제한 없음
| -
|- style="background:white; color:black"
! ``
| Short
| 30분
| 5
| 테스트 작업 (+JobType="short")
|- style="background:white; color:black"
! ``
| Long
| 14일
| 5
| 장기간 작업 (+JobType="long")
|}

* 최대 작업시간은 연산노드에서 작업이 실행되는 최대 시간입니다. 최대 작업시간을 초과하면 작업이 강제로 중지됩니다.
* 자원의 효율적 사용을 위해서 가급적 작업을 나누어 제출하는 것을 권장합니다.
* 최대 작업시간이나 최대 작업수는 향후 변경될 수 있습니다. 관련하여 문의사항이 있으면 관리자에게 메일주시기 바랍니다.

=== 주의사항 ===

* 작업이 실행 중에 죽는 경우

작업 제출시 명시한 메모리보다 작업이 더 많은 메모리를 사용할 경우 메모리 부족으로 작업이 죽는 경우가 발생할 수 있습니다. 
다음과 같이 requset_memory 옵션으로 요구 메모리를 지정해주시기 바랍니다. 특히 많은 메모리를 사용하는 작업이라면 반드시 지정해 주어야합니다.
request_memory = 4 GB

* submit 한 작업도 속성을 다음과 같이 변경할 수 있습니다.

$ condor_hold {job_id}
$ condor_qedit {job_id} RequestMemory 4096
$ condor_release {job_id}

* 최근에는 작업의 메모리 사용량은 자동으로 관리되고 있습니다. 메모리 초과 사용 혹은 과다 사용시 시스템에서 중지 후 다시 제출됩니다.

=== 참고 자료 ===

* [https://research.cs.wisc.edu/htcondor/manual/quickstart.html HTCondor Quick Start Guide] 위의 예제를 작성할때 참고한 자료로 처음에 시작하는 사용자가 참고하기 좋습니다.
* [https://indico.cern.ch/event/611296/contributions/2604376/attachments/1471164/2276521/TannenbaumT_UserTutorial.pdf AN INTRODUCTION TO USING HTCONDOR(Todd Tannenbaum)] HTCondor의 동작에 대한 기본적인 이해와 다양한 기능들을 살펴보기 좋은 자료입니다.
* [https://indico.cern.ch/event/733513/contributions/3118598/attachments/1711374/2759120/EUCW18-DAGMan.pdf AN INTRODUCTION TO WORKFLOWS WITH DAGMAN] DAGMAN 사용방법을 학습하기 좋은 자료입니다.

HTCondor

2026-07-27T06:47:01Z

Hanbi: /* output 파일을 SE stageout 하기 */

== HTCondor Batch System 사용법 ==

=== Tier-3 HTCondor UI 접속하기 ===
다음과 같이 터미널을 열어서 원격로그인(SSH)으로 접속합니다.
ssh -X username@cms.knu.ac.kr

=== Job submit ===
Job submit을 위해서는 다음과 같이 "condor_submit" 명령어를 사용합니다.

* sleep.sh - 테스트 코드

#!/bin/bash

TIMETOWAIT="10"
echo "sleeping for $TIMETOWAIT seconds"
/bin/sleep $TIMETOWAIT

* sleep.sub - 작업 명세 파일

executable = sleep.sh
log = sleep.log
output = outfile.txt
error = errors.txt
should_transfer_files = Yes
when_to_transfer_output = ON_EXIT
queue

* job submit

condor_submit sleep.sub

=== Job 상태 확인 ===

====condor_q ====
작업의 상태 확인을 위해서는 "condor_q"명령을 사용합니다. 
전체 작업현황을 확인하려면 다음과 같이 실행하면 됩니다.

$ condor_q
-- Schedd: cms02.knu.ac.kr : <155.230.23.72:9618?... @ 07/30/20 16:49:47
OWNER BATCH_NAME SUBMITTED DONE RUN IDLE TOTAL JOB_IDS
user001 ID: 51 7/30 16:47 _ 100 _ 100 51.0-99

Total for query: 100 jobs; 0 completed, 0 removed, 0 idle, 100 running, 0 held, 0 suspended
Total for hanbi: 100 jobs; 0 completed, 0 removed, 0 idle, 100 running, 0 held, 0 suspended
Total for all users: 100 jobs; 0 completed, 0 removed, 0 idle, 100 running, 0 held, 0 suspended

작업이 실행되지 않는다면 다음 명령으로 원인을 확인할 수 있습니다.
$ condor_q -analyze 51.0

$ condor_q -better-analyze 51.0

==== condor_wait ====
condor_wait 는 사용자의 로그 파일을 모니터링하고, 작업의 진행 상태에 대한 정보를 추출합니다. 이 명령어는 특히 작업이 완료될 때까지 대기하며, 로그 파일을 통해 작업의 상태 변경을 추적할 수 있습니다.
$ condor_wait -status job_121945.log
121945.0.0 submitted
...
121945.1.0 executing on host <155.230.21.74:9618?addrs=155.230.21.74-9618+[2407-c000-c024-0-e2cb-4eff-fe53ced7]-9618&alias=cluster27
4.knu.ac.kr&noUDP&sock=startd_2946_4a18>
...
121945.1.0 completed
...

====condor_tail ====
condor_tail은 HTCondor 시스템에서 실행 중인 작업의 표준 출력(standard output)과 표준 오류(standard error)를 실시간으로 확인할 수 있습니다. 
-f 옵션은 tail -f 와 동일한 기능을 제공합니다.
-stderr 옵션은 작업의 표준 오류 출력을 보여줍니다.
$ condor_tail -f 121946.0
Thinking really hard for 180 seconds...
We calculated: 200

====condor_ssh_to_job ====
condor_ssh_to_job을 사용하면 사용자가 실행 중인 작업의 노드로 SSH(보안 셸) 접속을 할 수 있으며, 작업 디렉토리에 직접 접근하여 현재 작업이 어떻게 진행되고 있는지 확인할 수 있습니다.
$ condor_ssh_to_job 121946.0
Welcome to slot1_1@cluster242.knu.ac.kr!
Your condor job is running with pid(s) 21165.
$ ls -al
total 44
drwx------ 5 user001 cms 187 Mar 11 14:31 .
drwxr-xr-x. 10 condor root 141 Mar 11 14:02 ..
-rwx------ 1 user001 cms 48 Mar 11 14:02 .chirp.config
drwxr-xr-x 2 user001 cms 128 Mar 11 14:03 .condor_ssh_to_job_1
-rw-r--r-- 1 user001 cms 0 Mar 11 14:02 _condor_stderr
-rw-r--r-- 1 user001 cms 59 Mar 11 14:05 _condor_stdout
-rw-r--r-- 1 condor condor 4165 Mar 11 14:02 .job.ad
-rw-r--r-- 1 condor condor 6111 Mar 11 14:02 .machine.ad
-rwxr-xr-x 1 user001 cms 8512 Mar 11 14:02 test
drwx------ 2 user001 cms 6 Mar 11 14:02 tmp
-rw-r--r-- 1 user001 cms 6157 Mar 11 14:31 .update.ad
drwx------ 3 user001 cms 17 Mar 11 14:02 var

====condor_history ====
종료된 작업을 조회하려면 condor_history 명령을 사용합니다.
$ condor_history -const 'Owner == "user001" && JobStatus ==4' -limit 5
ID OWNER SUBMITTED RUN_TIME ST COMPLETED CMD
121946.9 user001 3/11 14:02 0+00:03:01 C 3/11 14:06 /u/user/user001/condor/test 180 100
121946.8 user001 3/11 14:02 0+00:03:01 C 3/11 14:05 /u/user/user001/condor/test 180 100
121946.6 user001 3/11 14:02 0+00:03:01 C 3/11 14:05 /u/user/user001/condor/test 180 100
121946.7 user001 3/11 14:02 0+00:03:01 C 3/11 14:05 /u/user/user001/condor/test 180 100
121946.5 user001 3/11 14:02 0+00:03:01 C 3/11 14:05 /u/user/user001/condor/test 180 100

특정 작업을 조회하려면 -l 옵션을 사용합니다.
$ condor_history -l 121946.9

=== Job 삭제 ===
submit 한 작업을 중간에 취소하기 위해서는 "condor_rm" 명령을 사용합니다.
condor_rm <JOBID>

모든 내 작업을 삭제하려면 다음 명령을 사용합니다.

condor_rm <UserID>

=== 작업 명세 파일 예제 ===

* 단독 실행

$ science.exe infile-A.txt infile-B.txt outfile.txt

* science1.sub - 1개 작업 실행

# science1.sub -- run one instance of science.exe
executable = science.exe
arguments = "infile-A.txt infile-B.txt outfile.txt"
transfer_input_files = infile-A.txt,infile-B.txt
should_transfer_files = IF_NEEDED
when_to_transfer_output = ON_EXIT
log = science1.log
queue

* science2.sub - 40개 작업 실행, Process 번호로 input, output 파일 구분

# science2.sub -- run 40 instances of science.exe
executable = science.exe
arguments = "infile-$(Process)A.txt infile-$(Process)B.txt outfile$(Process).txt"
transfer_input_files = infile-$(Process)A.txt,infile-$(Process)B.txt
should_transfer_files = IF_NEEDED
when_to_transfer_output = ON_EXIT
log = science2.log
queue 40

* science3.sub - 100개 실행 예제. Process 번호로 작업 디렉토리 구분

# science3.sub -- run 100 instances of science.exe, with
# unique directories named by the $(Process) macro
executable = science.exe
arguments = "infile-A.txt infile-B.txt outfile.txt"
should_transfer_files = IF_NEEDED
when_to_transfer_output = ON_EXIT
initialdir = run$(Process)
transfer_input_files = infile-A.txt,infile-B.txt
log = science3.log
queue 100

* geant4 실행 예제

$ cat run_geant4.sh
#!/bin/bash

source /cvmfs/sft.cern.ch/lcg/contrib/gcc/8.3.0/x86_64-centos7/setup.sh
source /cvmfs/geant4.cern.ch/geant4/10.6/x86_64-centos7-gcc8-optdeb/CMake-setup.sh
./$*

$ cat geant4.sub
Universe = vanilla
Log = geant4_$(ClusterId).log
Output = geant4_$(ClusterId)_$(ProcId).out
Error = geant4_$(ClusterId)_$(ProcId).err
Should_Transfer_Files = Yes
When_To_Transfer_Output = ON_EXIT

#Executable = <wrapper_script>.sh
Executable = run_geant4.sh
Transfer_Executable = True
#Arguments = <Geant4 executable> <input file(s)>
Arguments = exampleB1 exampleB1.in
#Transfer_Input_Files = <Geant4 executable>,<input file(s)>
Transfer_Input_Files = exampleB1, exampleB1.in

Queue

[[SFT#Geant4_10.6_.26_gcc83_.26_centos7| 위의 예제를 위한 geant4 설치 및 테스트는 여기를 클릭하세요.]]

=== Submitting Multiple Jobs with HTCondor ===

복수의 input 파일을 이용하여 동시에 다수의 작업을 처리하고 싶다면
[https://indico.cern.ch/event/611296/contributions/2604376/attachments/1471164/2276521/TannenbaumT_UserTutorial.pdf AN INTRODUCTION TO USING HTCONDOR(Todd Tannenbaum)] 에서 52p에서부터 72p의 내용을 참고하시기 바랍니다

=== Apptainer(Singularity)를 이용하여 코드 실행 ===

==== el6(Scientific Linux 6) 코드 실행 ====
submit description file에 아래 내용을 추가합니다.

+ContainerOS = "SL6"

혹은 선호하는 이미지가 있다면 아래와 같이 기입합니다.

+SingularityImage = "/cvmfs/singularity.opensciencegrid.org/cmssw/cms:rhel6-m202001"

==== el7(CentOS Linux 7) 코드 실행 ====
submit description file에 아래 내용을 추가합니다.

Universe = vanilla
...
+SingularityImage = "/cvmfs/singularity.opensciencegrid.org/opensciencegrid/osgvo-el7:latest"
...

==== el8(Rocky Linux 8) 코드 실행 ====
submit description file에 아래 내용을 추가합니다.

Universe = vanilla
...
+SingularityImage = "/cvmfs/singularity.opensciencegrid.org/opensciencegrid/osgvo-el8:latest"
...

==== el9(Rocky Linux 9) 코드 실행 ====
submit description file에 아래 내용을 추가합니다.

Universe = vanilla
...
+SingularityImage = "/cvmfs/singularity.opensciencegrid.org/opensciencegrid/osgvo-el9:latest"
...

=== create-batch 사용 ===

create-batch를 경북대 부분을 condor로 변경하여 create-batch2라는 이름으로 저장해두었습니다. condor에서는 --queue cms 옵션은 필요하지 않습니다. 
torque system을 당분간 운영하는 기간동안 임시로 이렇게 사용하고 condor로 완전히 전환이 되면 create-batch에 수정사항을 반영요청하겠습니다.

* [[Create-batch|create-batch 사용법으로 가기]]

=== 전체 작업 현황 살펴보기 ===

$ condor_status -schedd
Name Machine RunningJobs IdleJobs HeldJobs

ce01.knu.ac.kr ce01.knu.ac.kr 20 5 0
cms.knu.ac.kr cms.knu.ac.kr 0 0 0
cms01.knu.ac.kr cms01.knu.ac.kr 0 0 3
cms02.knu.ac.kr cms02.knu.ac.kr 1754 0 0
cms03.knu.ac.kr cms03.knu.ac.kr 269 231 0
dm.knu.ac.kr dm.knu.ac.kr 0 0 0

TotalRunningJobs TotalIdleJobs TotalHeldJobs

Total 2043 236 3

=== HTCondor에서 GPU 사용 ===

* [[HTCondor에서_GPU_사용하기]]

=== request_memory 관련 ===

* dynamic slot에서는 request_memory 메모리를 어떻게 지정하냐에 따라서 연산노드에서 들어갈 수 있는 작업의 수가 변화합니다.
* 가령 CPU 8core, 메모리 16GB를 가지고 있는 연산노드가 있다고 가정했을 때 request_memory 가 2GB일때는 8개가 8GB일때는 2개의 작업이 할당됩니다.
* 따라서 적절한 request_memory를 설정해야 작업 slot의 낭비를 줄이고 자신과 타인의 작업이 빠르게 실행됩니다. 위의 예의 경우 4배의 차이가 나게 됩니다.
* htcondor에서 request_memory의 자동 수정
** 작업 실행후 1시간 뒤를 기준으로 request_memory 가 작업의 실사용메모리보다 2GB이상 많이 설정되어 있는 경우 자동으로 해당 작업은 hold 되고 request_memory가 수정후 재실행됩니다.
** request_memory 보다 실사용하는 메모리가 많아 hold 된 작업은 htcondor가 request_memory를 자동으로 증가시킨 후 재실행됩니다.

=== x509 proxy 사용 ===

htcondor 에서 그리드 인증이 필요한 경우

* submit description file 에 아래 내용을 추가하세요.
use_x509userproxy = true

=== output 파일을 SE stageout 하기 ===

* output 파일을 SE에 stageout하면 IO 부담을 줄일수 있습니다. submit description file 에 아래와 같이 추가하세요.

# --- required for URL-based transfer ---
should_transfer_files = YES
when_to_transfer_output = ON_EXIT

# --- X.509 proxy (must stay valid for job runtime + stage-out) ---
use_x509userproxy = true

# --- only this file goes to the SE; log/out/err return to the AP ---
transfer_output_files = out_$(ClusterId).$(ProcId).root
output_destination = root://cluster142.knu.ac.kr//store/user/$(CMS_USER)/

# stdout/stderr/log stay on the access point (not affected by output_destination)
output = job.$(ClusterId).$(ProcId).out
error = job.$(ClusterId).$(ProcId).err
log = job.$(ClusterId).log

=== 작업별 최대 작업시간 ===

{| style="background:#cccc99;color:#black;white:80%;" border="1" cellpadding="5" cellspacing="0"
! 작업 구분 !! 작업 특성 !! 최대 작업시간 !! 최대 실행 작업수 !! 비고
|- style="background:white; color:black"
! CPU Jobs
| Default
| 80시간
| 제한 없음
| -
|- style="background:white; color:black"
! ``
| Short
| 30분
| 100
| 테스트 작업 (+JobType="short")
|- style="background:white; color:black"
! ``
| Long
| 7일
| 200
| 장기간 수행 작업 (+JobType="long")
|- style="background:white; color:black"
! ``
| Heavy
| 80시간
| 500
| Heavy I/O 작업 (+JobType="heavy")
|- style="background:white; color:black"
! GPU Jobs
| Default
| 7일
| 제한 없음
| -
|- style="background:white; color:black"
! ``
| Short
| 30분
| 5
| 테스트 작업 (+JobType="short")
|- style="background:white; color:black"
! ``
| Long
| 14일
| 5
| 장기간 작업 (+JobType="long")
|}

* 최대 작업시간은 연산노드에서 작업이 실행되는 최대 시간입니다. 최대 작업시간을 초과하면 작업이 강제로 중지됩니다.
* 자원의 효율적 사용을 위해서 가급적 작업을 나누어 제출하는 것을 권장합니다.
* 최대 작업시간이나 최대 작업수는 향후 변경될 수 있습니다. 관련하여 문의사항이 있으면 관리자에게 메일주시기 바랍니다.

=== 주의사항 ===

* 작업이 실행 중에 죽는 경우

작업 제출시 명시한 메모리보다 작업이 더 많은 메모리를 사용할 경우 메모리 부족으로 작업이 죽는 경우가 발생할 수 있습니다. 
다음과 같이 requset_memory 옵션으로 요구 메모리를 지정해주시기 바랍니다. 특히 많은 메모리를 사용하는 작업이라면 반드시 지정해 주어야합니다.
request_memory = 4 GB

* submit 한 작업도 속성을 다음과 같이 변경할 수 있습니다.

$ condor_hold {job_id}
$ condor_qedit {job_id} RequestMemory 4096
$ condor_release {job_id}

* 최근에는 작업의 메모리 사용량은 자동으로 관리되고 있습니다. 메모리 초과 사용 혹은 과다 사용시 시스템에서 중지 후 다시 제출됩니다.

=== 참고 자료 ===

* [https://research.cs.wisc.edu/htcondor/manual/quickstart.html HTCondor Quick Start Guide] 위의 예제를 작성할때 참고한 자료로 처음에 시작하는 사용자가 참고하기 좋습니다.
* [https://indico.cern.ch/event/611296/contributions/2604376/attachments/1471164/2276521/TannenbaumT_UserTutorial.pdf AN INTRODUCTION TO USING HTCONDOR(Todd Tannenbaum)] HTCondor의 동작에 대한 기본적인 이해와 다양한 기능들을 살펴보기 좋은 자료입니다.
* [https://indico.cern.ch/event/733513/contributions/3118598/attachments/1711374/2759120/EUCW18-DAGMan.pdf AN INTRODUCTION TO WORKFLOWS WITH DAGMAN] DAGMAN 사용방법을 학습하기 좋은 자료입니다.

HTCondor

2026-07-27T06:46:14Z

Hanbi: /* x509 proxy 사용 */

== HTCondor Batch System 사용법 ==

=== Tier-3 HTCondor UI 접속하기 ===
다음과 같이 터미널을 열어서 원격로그인(SSH)으로 접속합니다.
ssh -X username@cms.knu.ac.kr

=== Job submit ===
Job submit을 위해서는 다음과 같이 "condor_submit" 명령어를 사용합니다.

* sleep.sh - 테스트 코드

#!/bin/bash

TIMETOWAIT="10"
echo "sleeping for $TIMETOWAIT seconds"
/bin/sleep $TIMETOWAIT

* sleep.sub - 작업 명세 파일

executable = sleep.sh
log = sleep.log
output = outfile.txt
error = errors.txt
should_transfer_files = Yes
when_to_transfer_output = ON_EXIT
queue

* job submit

condor_submit sleep.sub

=== Job 상태 확인 ===

====condor_q ====
작업의 상태 확인을 위해서는 "condor_q"명령을 사용합니다. 
전체 작업현황을 확인하려면 다음과 같이 실행하면 됩니다.

$ condor_q
-- Schedd: cms02.knu.ac.kr : <155.230.23.72:9618?... @ 07/30/20 16:49:47
OWNER BATCH_NAME SUBMITTED DONE RUN IDLE TOTAL JOB_IDS
user001 ID: 51 7/30 16:47 _ 100 _ 100 51.0-99

Total for query: 100 jobs; 0 completed, 0 removed, 0 idle, 100 running, 0 held, 0 suspended
Total for hanbi: 100 jobs; 0 completed, 0 removed, 0 idle, 100 running, 0 held, 0 suspended
Total for all users: 100 jobs; 0 completed, 0 removed, 0 idle, 100 running, 0 held, 0 suspended

작업이 실행되지 않는다면 다음 명령으로 원인을 확인할 수 있습니다.
$ condor_q -analyze 51.0

$ condor_q -better-analyze 51.0

==== condor_wait ====
condor_wait 는 사용자의 로그 파일을 모니터링하고, 작업의 진행 상태에 대한 정보를 추출합니다. 이 명령어는 특히 작업이 완료될 때까지 대기하며, 로그 파일을 통해 작업의 상태 변경을 추적할 수 있습니다.
$ condor_wait -status job_121945.log
121945.0.0 submitted
...
121945.1.0 executing on host <155.230.21.74:9618?addrs=155.230.21.74-9618+[2407-c000-c024-0-e2cb-4eff-fe53ced7]-9618&alias=cluster27
4.knu.ac.kr&noUDP&sock=startd_2946_4a18>
...
121945.1.0 completed
...

====condor_tail ====
condor_tail은 HTCondor 시스템에서 실행 중인 작업의 표준 출력(standard output)과 표준 오류(standard error)를 실시간으로 확인할 수 있습니다. 
-f 옵션은 tail -f 와 동일한 기능을 제공합니다.
-stderr 옵션은 작업의 표준 오류 출력을 보여줍니다.
$ condor_tail -f 121946.0
Thinking really hard for 180 seconds...
We calculated: 200

====condor_ssh_to_job ====
condor_ssh_to_job을 사용하면 사용자가 실행 중인 작업의 노드로 SSH(보안 셸) 접속을 할 수 있으며, 작업 디렉토리에 직접 접근하여 현재 작업이 어떻게 진행되고 있는지 확인할 수 있습니다.
$ condor_ssh_to_job 121946.0
Welcome to slot1_1@cluster242.knu.ac.kr!
Your condor job is running with pid(s) 21165.
$ ls -al
total 44
drwx------ 5 user001 cms 187 Mar 11 14:31 .
drwxr-xr-x. 10 condor root 141 Mar 11 14:02 ..
-rwx------ 1 user001 cms 48 Mar 11 14:02 .chirp.config
drwxr-xr-x 2 user001 cms 128 Mar 11 14:03 .condor_ssh_to_job_1
-rw-r--r-- 1 user001 cms 0 Mar 11 14:02 _condor_stderr
-rw-r--r-- 1 user001 cms 59 Mar 11 14:05 _condor_stdout
-rw-r--r-- 1 condor condor 4165 Mar 11 14:02 .job.ad
-rw-r--r-- 1 condor condor 6111 Mar 11 14:02 .machine.ad
-rwxr-xr-x 1 user001 cms 8512 Mar 11 14:02 test
drwx------ 2 user001 cms 6 Mar 11 14:02 tmp
-rw-r--r-- 1 user001 cms 6157 Mar 11 14:31 .update.ad
drwx------ 3 user001 cms 17 Mar 11 14:02 var

====condor_history ====
종료된 작업을 조회하려면 condor_history 명령을 사용합니다.
$ condor_history -const 'Owner == "user001" && JobStatus ==4' -limit 5
ID OWNER SUBMITTED RUN_TIME ST COMPLETED CMD
121946.9 user001 3/11 14:02 0+00:03:01 C 3/11 14:06 /u/user/user001/condor/test 180 100
121946.8 user001 3/11 14:02 0+00:03:01 C 3/11 14:05 /u/user/user001/condor/test 180 100
121946.6 user001 3/11 14:02 0+00:03:01 C 3/11 14:05 /u/user/user001/condor/test 180 100
121946.7 user001 3/11 14:02 0+00:03:01 C 3/11 14:05 /u/user/user001/condor/test 180 100
121946.5 user001 3/11 14:02 0+00:03:01 C 3/11 14:05 /u/user/user001/condor/test 180 100

특정 작업을 조회하려면 -l 옵션을 사용합니다.
$ condor_history -l 121946.9

=== Job 삭제 ===
submit 한 작업을 중간에 취소하기 위해서는 "condor_rm" 명령을 사용합니다.
condor_rm <JOBID>

모든 내 작업을 삭제하려면 다음 명령을 사용합니다.

condor_rm <UserID>

=== 작업 명세 파일 예제 ===

* 단독 실행

$ science.exe infile-A.txt infile-B.txt outfile.txt

* science1.sub - 1개 작업 실행

# science1.sub -- run one instance of science.exe
executable = science.exe
arguments = "infile-A.txt infile-B.txt outfile.txt"
transfer_input_files = infile-A.txt,infile-B.txt
should_transfer_files = IF_NEEDED
when_to_transfer_output = ON_EXIT
log = science1.log
queue

* science2.sub - 40개 작업 실행, Process 번호로 input, output 파일 구분

# science2.sub -- run 40 instances of science.exe
executable = science.exe
arguments = "infile-$(Process)A.txt infile-$(Process)B.txt outfile$(Process).txt"
transfer_input_files = infile-$(Process)A.txt,infile-$(Process)B.txt
should_transfer_files = IF_NEEDED
when_to_transfer_output = ON_EXIT
log = science2.log
queue 40

* science3.sub - 100개 실행 예제. Process 번호로 작업 디렉토리 구분

# science3.sub -- run 100 instances of science.exe, with
# unique directories named by the $(Process) macro
executable = science.exe
arguments = "infile-A.txt infile-B.txt outfile.txt"
should_transfer_files = IF_NEEDED
when_to_transfer_output = ON_EXIT
initialdir = run$(Process)
transfer_input_files = infile-A.txt,infile-B.txt
log = science3.log
queue 100

* geant4 실행 예제

$ cat run_geant4.sh
#!/bin/bash

source /cvmfs/sft.cern.ch/lcg/contrib/gcc/8.3.0/x86_64-centos7/setup.sh
source /cvmfs/geant4.cern.ch/geant4/10.6/x86_64-centos7-gcc8-optdeb/CMake-setup.sh
./$*

$ cat geant4.sub
Universe = vanilla
Log = geant4_$(ClusterId).log
Output = geant4_$(ClusterId)_$(ProcId).out
Error = geant4_$(ClusterId)_$(ProcId).err
Should_Transfer_Files = Yes
When_To_Transfer_Output = ON_EXIT

#Executable = <wrapper_script>.sh
Executable = run_geant4.sh
Transfer_Executable = True
#Arguments = <Geant4 executable> <input file(s)>
Arguments = exampleB1 exampleB1.in
#Transfer_Input_Files = <Geant4 executable>,<input file(s)>
Transfer_Input_Files = exampleB1, exampleB1.in

Queue

[[SFT#Geant4_10.6_.26_gcc83_.26_centos7| 위의 예제를 위한 geant4 설치 및 테스트는 여기를 클릭하세요.]]

=== Submitting Multiple Jobs with HTCondor ===

복수의 input 파일을 이용하여 동시에 다수의 작업을 처리하고 싶다면
[https://indico.cern.ch/event/611296/contributions/2604376/attachments/1471164/2276521/TannenbaumT_UserTutorial.pdf AN INTRODUCTION TO USING HTCONDOR(Todd Tannenbaum)] 에서 52p에서부터 72p의 내용을 참고하시기 바랍니다

=== Apptainer(Singularity)를 이용하여 코드 실행 ===

==== el6(Scientific Linux 6) 코드 실행 ====
submit description file에 아래 내용을 추가합니다.

+ContainerOS = "SL6"

혹은 선호하는 이미지가 있다면 아래와 같이 기입합니다.

+SingularityImage = "/cvmfs/singularity.opensciencegrid.org/cmssw/cms:rhel6-m202001"

==== el7(CentOS Linux 7) 코드 실행 ====
submit description file에 아래 내용을 추가합니다.

Universe = vanilla
...
+SingularityImage = "/cvmfs/singularity.opensciencegrid.org/opensciencegrid/osgvo-el7:latest"
...

==== el8(Rocky Linux 8) 코드 실행 ====
submit description file에 아래 내용을 추가합니다.

Universe = vanilla
...
+SingularityImage = "/cvmfs/singularity.opensciencegrid.org/opensciencegrid/osgvo-el8:latest"
...

==== el9(Rocky Linux 9) 코드 실행 ====
submit description file에 아래 내용을 추가합니다.

Universe = vanilla
...
+SingularityImage = "/cvmfs/singularity.opensciencegrid.org/opensciencegrid/osgvo-el9:latest"
...

=== create-batch 사용 ===

create-batch를 경북대 부분을 condor로 변경하여 create-batch2라는 이름으로 저장해두었습니다. condor에서는 --queue cms 옵션은 필요하지 않습니다. 
torque system을 당분간 운영하는 기간동안 임시로 이렇게 사용하고 condor로 완전히 전환이 되면 create-batch에 수정사항을 반영요청하겠습니다.

* [[Create-batch|create-batch 사용법으로 가기]]

=== 전체 작업 현황 살펴보기 ===

$ condor_status -schedd
Name Machine RunningJobs IdleJobs HeldJobs

ce01.knu.ac.kr ce01.knu.ac.kr 20 5 0
cms.knu.ac.kr cms.knu.ac.kr 0 0 0
cms01.knu.ac.kr cms01.knu.ac.kr 0 0 3
cms02.knu.ac.kr cms02.knu.ac.kr 1754 0 0
cms03.knu.ac.kr cms03.knu.ac.kr 269 231 0
dm.knu.ac.kr dm.knu.ac.kr 0 0 0

TotalRunningJobs TotalIdleJobs TotalHeldJobs

Total 2043 236 3

=== HTCondor에서 GPU 사용 ===

* [[HTCondor에서_GPU_사용하기]]

=== request_memory 관련 ===

* dynamic slot에서는 request_memory 메모리를 어떻게 지정하냐에 따라서 연산노드에서 들어갈 수 있는 작업의 수가 변화합니다.
* 가령 CPU 8core, 메모리 16GB를 가지고 있는 연산노드가 있다고 가정했을 때 request_memory 가 2GB일때는 8개가 8GB일때는 2개의 작업이 할당됩니다.
* 따라서 적절한 request_memory를 설정해야 작업 slot의 낭비를 줄이고 자신과 타인의 작업이 빠르게 실행됩니다. 위의 예의 경우 4배의 차이가 나게 됩니다.
* htcondor에서 request_memory의 자동 수정
** 작업 실행후 1시간 뒤를 기준으로 request_memory 가 작업의 실사용메모리보다 2GB이상 많이 설정되어 있는 경우 자동으로 해당 작업은 hold 되고 request_memory가 수정후 재실행됩니다.
** request_memory 보다 실사용하는 메모리가 많아 hold 된 작업은 htcondor가 request_memory를 자동으로 증가시킨 후 재실행됩니다.

=== x509 proxy 사용 ===

htcondor 에서 그리드 인증이 필요한 경우

* submit description file 에 아래 내용을 추가하세요.
use_x509userproxy = true

=== output 파일을 SE stageout 하기 ===

* output 파일을 SE에 stageout하면 IO 부담을 줄일수 있습니다.

# --- required for URL-based transfer ---
should_transfer_files = YES
when_to_transfer_output = ON_EXIT

# --- X.509 proxy (must stay valid for job runtime + stage-out) ---
use_x509userproxy = true

# --- only this file goes to the SE; log/out/err return to the AP ---
transfer_output_files = out_$(ClusterId).$(ProcId).root
output_destination = root://cluster142.knu.ac.kr//store/user/$(CMS_USER)/

# stdout/stderr/log stay on the access point (not affected by output_destination)
output = job.$(ClusterId).$(ProcId).out
error = job.$(ClusterId).$(ProcId).err
log = job.$(ClusterId).log

=== 작업별 최대 작업시간 ===

{| style="background:#cccc99;color:#black;white:80%;" border="1" cellpadding="5" cellspacing="0"
! 작업 구분 !! 작업 특성 !! 최대 작업시간 !! 최대 실행 작업수 !! 비고
|- style="background:white; color:black"
! CPU Jobs
| Default
| 80시간
| 제한 없음
| -
|- style="background:white; color:black"
! ``
| Short
| 30분
| 100
| 테스트 작업 (+JobType="short")
|- style="background:white; color:black"
! ``
| Long
| 7일
| 200
| 장기간 수행 작업 (+JobType="long")
|- style="background:white; color:black"
! ``
| Heavy
| 80시간
| 500
| Heavy I/O 작업 (+JobType="heavy")
|- style="background:white; color:black"
! GPU Jobs
| Default
| 7일
| 제한 없음
| -
|- style="background:white; color:black"
! ``
| Short
| 30분
| 5
| 테스트 작업 (+JobType="short")
|- style="background:white; color:black"
! ``
| Long
| 14일
| 5
| 장기간 작업 (+JobType="long")
|}

* 최대 작업시간은 연산노드에서 작업이 실행되는 최대 시간입니다. 최대 작업시간을 초과하면 작업이 강제로 중지됩니다.
* 자원의 효율적 사용을 위해서 가급적 작업을 나누어 제출하는 것을 권장합니다.
* 최대 작업시간이나 최대 작업수는 향후 변경될 수 있습니다. 관련하여 문의사항이 있으면 관리자에게 메일주시기 바랍니다.

=== 주의사항 ===

* 작업이 실행 중에 죽는 경우

작업 제출시 명시한 메모리보다 작업이 더 많은 메모리를 사용할 경우 메모리 부족으로 작업이 죽는 경우가 발생할 수 있습니다. 
다음과 같이 requset_memory 옵션으로 요구 메모리를 지정해주시기 바랍니다. 특히 많은 메모리를 사용하는 작업이라면 반드시 지정해 주어야합니다.
request_memory = 4 GB

* submit 한 작업도 속성을 다음과 같이 변경할 수 있습니다.

$ condor_hold {job_id}
$ condor_qedit {job_id} RequestMemory 4096
$ condor_release {job_id}

* 최근에는 작업의 메모리 사용량은 자동으로 관리되고 있습니다. 메모리 초과 사용 혹은 과다 사용시 시스템에서 중지 후 다시 제출됩니다.

=== 참고 자료 ===

* [https://research.cs.wisc.edu/htcondor/manual/quickstart.html HTCondor Quick Start Guide] 위의 예제를 작성할때 참고한 자료로 처음에 시작하는 사용자가 참고하기 좋습니다.
* [https://indico.cern.ch/event/611296/contributions/2604376/attachments/1471164/2276521/TannenbaumT_UserTutorial.pdf AN INTRODUCTION TO USING HTCONDOR(Todd Tannenbaum)] HTCondor의 동작에 대한 기본적인 이해와 다양한 기능들을 살펴보기 좋은 자료입니다.
* [https://indico.cern.ch/event/733513/contributions/3118598/attachments/1711374/2759120/EUCW18-DAGMan.pdf AN INTRODUCTION TO WORKFLOWS WITH DAGMAN] DAGMAN 사용방법을 학습하기 좋은 자료입니다.

Main Page

2026-01-16T05:07:26Z

Hanbi: /* KNU Tier-3 Center for CMS */

__NOTOC__
='''KNU Tier-3 Center for CMS''' [[File:CMS-logo.gif|40px]] =

Welcome to the CMS Tier-3 Center at Kyungpook National University in Korea.

This web portal is your gateway to the CMS Tier-3 center at Kyungpook National University (KNU) in Korea. This CMS Tier-3 center is being supported by the Ministry of Education, Science and Technology and is being maintained by the Center for High Energy Physics of the KNU.
We will support the CMS computing needs for Korean and overseas collaborators. For your general comments, questions, or reports of any problems regarding to this Center, please email to lcg_knu@knu.ac.kr.

== News & Notices ==
* [[Singularity|Apptainer 사용법 문서가 갱신 되었습니다.]] 2025.07.17
* [[Dcap|dcap 사용법 항목이 갱신되었습니다.]] 2025.07.16
* [[HTCondorQueueInfo| HTCondor에 JobType(Queue)가 추가되었습니다.]] 2025.05.13
* [[HTCondor| HTCondor 사용법 문서가 갱신 되었습니다.]] 2025.05.09
* [[Singularity|Apptainer 사용법 문서가 갱신 되었습니다.]] 2025.05.09
* [[Cvmfs_root|CVMFS 에서 root 사용하기 문서가 갱신 되었습니다.]] 2025.05.09
* [[Singularity|Apptainer 사용법 문서가 갱신 되었습니다.]] 2025.04.23
* [[HTCondor| HTCondor 사용법 문서가 갱신 되었습니다.]] 2024.07.08
* [[Singularity|Apptainer 사용법 문서가 갱신 되었습니다.]] 2024.06.13
* [[Storage_Element_Tutorial#.EC.84.9C.EB.B9.84.EC.8A.A4.EB.B3.84_.EC.8A.A4.ED.86.A0.EB.A6.AC.EC.A7.80_.EC.A0.91.EA.B7.BC| 스토리지 엘리먼트의 SRMv2 gridftp gsiftp 데이터 전송 프로토콜 지원이 종료됩니다.]] 2024.05.14
* [[HTCondor| HTCondor 사용법 문서가 갱신 되었습니다.]] 2024.03.11
* [[HTCondor#.EC.B5.9C.EB.8C.80_.EC.9E.91.EC.97.85.EC.8B.9C.EA.B0.84| HTCondor의 GPU 최대 작업시간이 연장되었습니다.]] 2024.02.14
* [[HTCondor| HTCondor 사용법 문서가 갱신 되었습니다.]] 2023.09.21
* [[Storage_Element_Tutorial#.EC.84.9C.EB.B9.84.EC.8A.A4.EB.B3.84_.EC.8A.A4.ED.86.A0.EB.A6.AC.EC.A7.80_.EC.A0.91.EA.B7.BC| 이제 HTCondor에서 SE의 데이터를 바로 읽을 수 있습니다.]] 2023.06.23
* [[Bitwarden| bitwarden(패스워드 관리 서비스) 사용법 문서가 추가 되었습니다.]] 2023.03.14
* [[How_to_use_Tier3_at_KNU|How to use T3_KR_KNU 문서가 갱신 되었습니다.]] 2023.02.20
* [[Singularity|Singularity 사용법 문서가 갱신 되었습니다.]] 2022.09.15
* [[Mattermost|Mattermost 메신저 서비스를 시작합니다.]] 2022.09.05
* [[How_to_use_Tier3_at_KNU|How to use T3_KR_KNU 문서가 갱신 되었습니다.]] 2022.07.27
* 이제부터 최근 수정된 부분은 밑줄로 표시됩니다. 참고하시기 바립니다. 2022.06.08
* [[Storage_Element_Tutorial|Storage Element Tutorial이 갱신 되었습니다.]] 2022.06.08
* [[JupyterHub|JupyterHub 서비스를 시작합니다.]] 2022.03.23
* [[HTCondor_Job_Policy|이제 htcondor에서 request_memory보다 많은 메모리를 사용하는 작업은 자동으로 hold됩니다.]] 2022.02.09
* [[FreeIPA|인증시스템 전환(NIS→ FreeIPA)공지입니다.]] 2021.11.09
* [[cvmfs_geant4|CVMFS에서 geant4 사용하기 문서가 추가되었습니다.]] 2021.07.12
* [[cvmfs_root|CVMFS에서 root 사용하기 문서가 추가되었습니다.]] 2021.07.12
* [[News & Notices|more ...]]

==Additional Services==

* [https://chep17.knu.ac.kr:3003 T3_KR_KNU Status - 작업 현황, 현재 사용량 등]
* [https://githep.knu.ac.kr:4443 Gitlab 서비스 - 소스코드 버전 관리 시스템]
* [https://mm.knu.ac.kr Mattermost 서비스 - 업무용 메신저 서비스]
* [https://indico.knu.ac.kr 경북대 물리학과 Indico]
* [https://indico.kno.or.kr KNO Indico]

==How to use Tier-3 at KNU?==
*[[How_to_use_Tier2_at_KNU|How to use Tier-3 at KNU?]]
**[[How_to_use_Tier2_at_KNU#Pre-requisites|Pre-requisites]]
**[[How_to_use_Tier2_at_KNU#KNU_Tier-2_Login|KNU_Tier-3 Login]]
**[[How_to_use_Tier2_at_KNU#CMSSW.28CMS_Software.29_Installation|CMSSW Installation]]
**[[crab|Crab Tutorial]]
**[[How_to_use_Tier2_at_KNU#Storage_Element_.28SE.29_Manual|Storage Element Tutorial]]
**[[uberftp|uberftp]]
**[[Q&A|Q&A]]

*[https://t2-cms.knu.ac.kr/lcg_registration.php KNU Account Registration]

----
{| style="width: 100%"
! style="text-align: left;text-valign: top" | Contact: Email: lcg_knu@knu.ac.kr
! style="text-align: right;" | THE CENTER FOR HIGH ENERGY PHYSICS KYUNGPOOK NATIONAL UNIVERSITY
|}

File:CMS-logo.gif

2026-01-16T05:05:36Z

Hanbi:

Main Page

2026-01-16T04:58:54Z

Hanbi: /* KNU Tier-3 Center for CMS */

__NOTOC__
='''KNU Tier-3 Center for CMS'''=

Welcome to the CMS Tier-3 Center at Kyungpook National University in Korea.

This web portal is your gateway to the CMS Tier-3 center at Kyungpook National University (KNU) in Korea. This CMS Tier-3 center is being supported by the Ministry of Education, Science and Technology and is being maintained by the Center for High Energy Physics of the KNU.
We will support the CMS computing needs for Korean and overseas collaborators. For your general comments, questions, or reports of any problems regarding to this Center, please email to lcg_knu@knu.ac.kr.

== News & Notices ==
* [[Singularity|Apptainer 사용법 문서가 갱신 되었습니다.]] 2025.07.17
* [[Dcap|dcap 사용법 항목이 갱신되었습니다.]] 2025.07.16
* [[HTCondorQueueInfo| HTCondor에 JobType(Queue)가 추가되었습니다.]] 2025.05.13
* [[HTCondor| HTCondor 사용법 문서가 갱신 되었습니다.]] 2025.05.09
* [[Singularity|Apptainer 사용법 문서가 갱신 되었습니다.]] 2025.05.09
* [[Cvmfs_root|CVMFS 에서 root 사용하기 문서가 갱신 되었습니다.]] 2025.05.09
* [[Singularity|Apptainer 사용법 문서가 갱신 되었습니다.]] 2025.04.23
* [[HTCondor| HTCondor 사용법 문서가 갱신 되었습니다.]] 2024.07.08
* [[Singularity|Apptainer 사용법 문서가 갱신 되었습니다.]] 2024.06.13
* [[Storage_Element_Tutorial#.EC.84.9C.EB.B9.84.EC.8A.A4.EB.B3.84_.EC.8A.A4.ED.86.A0.EB.A6.AC.EC.A7.80_.EC.A0.91.EA.B7.BC| 스토리지 엘리먼트의 SRMv2 gridftp gsiftp 데이터 전송 프로토콜 지원이 종료됩니다.]] 2024.05.14
* [[HTCondor| HTCondor 사용법 문서가 갱신 되었습니다.]] 2024.03.11
* [[HTCondor#.EC.B5.9C.EB.8C.80_.EC.9E.91.EC.97.85.EC.8B.9C.EA.B0.84| HTCondor의 GPU 최대 작업시간이 연장되었습니다.]] 2024.02.14
* [[HTCondor| HTCondor 사용법 문서가 갱신 되었습니다.]] 2023.09.21
* [[Storage_Element_Tutorial#.EC.84.9C.EB.B9.84.EC.8A.A4.EB.B3.84_.EC.8A.A4.ED.86.A0.EB.A6.AC.EC.A7.80_.EC.A0.91.EA.B7.BC| 이제 HTCondor에서 SE의 데이터를 바로 읽을 수 있습니다.]] 2023.06.23
* [[Bitwarden| bitwarden(패스워드 관리 서비스) 사용법 문서가 추가 되었습니다.]] 2023.03.14
* [[How_to_use_Tier3_at_KNU|How to use T3_KR_KNU 문서가 갱신 되었습니다.]] 2023.02.20
* [[Singularity|Singularity 사용법 문서가 갱신 되었습니다.]] 2022.09.15
* [[Mattermost|Mattermost 메신저 서비스를 시작합니다.]] 2022.09.05
* [[How_to_use_Tier3_at_KNU|How to use T3_KR_KNU 문서가 갱신 되었습니다.]] 2022.07.27
* 이제부터 최근 수정된 부분은 밑줄로 표시됩니다. 참고하시기 바립니다. 2022.06.08
* [[Storage_Element_Tutorial|Storage Element Tutorial이 갱신 되었습니다.]] 2022.06.08
* [[JupyterHub|JupyterHub 서비스를 시작합니다.]] 2022.03.23
* [[HTCondor_Job_Policy|이제 htcondor에서 request_memory보다 많은 메모리를 사용하는 작업은 자동으로 hold됩니다.]] 2022.02.09
* [[FreeIPA|인증시스템 전환(NIS→ FreeIPA)공지입니다.]] 2021.11.09
* [[cvmfs_geant4|CVMFS에서 geant4 사용하기 문서가 추가되었습니다.]] 2021.07.12
* [[cvmfs_root|CVMFS에서 root 사용하기 문서가 추가되었습니다.]] 2021.07.12
* [[News & Notices|more ...]]

==Additional Services==

* [https://chep17.knu.ac.kr:3003 T3_KR_KNU Status - 작업 현황, 현재 사용량 등]
* [https://githep.knu.ac.kr:4443 Gitlab 서비스 - 소스코드 버전 관리 시스템]
* [https://mm.knu.ac.kr Mattermost 서비스 - 업무용 메신저 서비스]
* [https://indico.knu.ac.kr 경북대 물리학과 Indico]
* [https://indico.kno.or.kr KNO Indico]

==How to use Tier-3 at KNU?==
*[[How_to_use_Tier2_at_KNU|How to use Tier-3 at KNU?]]
**[[How_to_use_Tier2_at_KNU#Pre-requisites|Pre-requisites]]
**[[How_to_use_Tier2_at_KNU#KNU_Tier-2_Login|KNU_Tier-3 Login]]
**[[How_to_use_Tier2_at_KNU#CMSSW.28CMS_Software.29_Installation|CMSSW Installation]]
**[[crab|Crab Tutorial]]
**[[How_to_use_Tier2_at_KNU#Storage_Element_.28SE.29_Manual|Storage Element Tutorial]]
**[[uberftp|uberftp]]
**[[Q&A|Q&A]]

*[https://t2-cms.knu.ac.kr/lcg_registration.php KNU Account Registration]

----
{| style="width: 100%"
! style="text-align: left;text-valign: top" | Contact: Email: lcg_knu@knu.ac.kr
! style="text-align: right;" | THE CENTER FOR HIGH ENERGY PHYSICS KYUNGPOOK NATIONAL UNIVERSITY
|}

News & Notices

2025-07-17T02:34:28Z

Hanbi: /* News & Notices */

== News & Notices ==
* [[Singularity|Apptainer 사용법 문서가 갱신 되었습니다.]] 2025.07.17
* [[Dcap|dcap 사용법 항목이 갱신되었습니다.]] 2025.07.16
* [[HTCondorQueueInfo| HTCondor 에 JobType(Queue)가 추가되었습니다.]] 2025.05.13
* [[HTCondor| HTCondor 사용법 문서가 갱신 되었습니다.]] 2025.05.09
* [[Singularity|Apptainer 사용법 문서가 갱신 되었습니다.]] 2025.05.09
* [[Cvmfs_root|CVMFS 에서 root 사용하기 문서가 갱신 되었습니다.]] 2025.05.09
* [[Singularity|Apptainer 사용법 문서가 갱신 되었습니다.]] 2025.04.23
* [[HTCondor| HTCondor 사용법 문서가 갱신 되었습니다.]] 2024.07.08
* [[Singularity|Apptainer 사용법 문서가 갱신 되었습니다.]] 2024.06.13
* [[Storage_Element_Tutorial#.EC.84.9C.EB.B9.84.EC.8A.A4.EB.B3.84_.EC.8A.A4.ED.86.A0.EB.A6.AC.EC.A7.80_.EC.A0.91.EA.B7.BC| 스토리지 엘리먼트의 SRMv2 gridftp gsiftp 데이터 전송 프로토콜 지원이 종료됩니다.]] 2024.05.14
* [[HTCondor| HTCondor 사용법 문서가 갱신 되었습니다.]] 2024.03.11
* [[HTCondor#.EC.B5.9C.EB.8C.80_.EC.9E.91.EC.97.85.EC.8B.9C.EA.B0.84| HTCondor의 GPU 최대 작업시간이 연장되었습니다.]] 2024.02.14
* [[HTCondor| HTCondor 사용법 문서가 갱신 되었습니다.]] 2023.09.21
* [[Storage_Element_Tutorial#.EC.84.9C.EB.B9.84.EC.8A.A4.EB.B3.84_.EC.8A.A4.ED.86.A0.EB.A6.AC.EC.A7.80_.EC.A0.91.EA.B7.BC| 이제 HTCondor에서 SE의 데이터를 바로 읽을 수 있습니다.]] 2023.06.23
* [[Bitwarden| bitwarden(패스워드 관리) 사용법 문서가 추가 되었습니다.]] 2023.03.14
* [[How_to_use_Tier3_at_KNU|How to use T3_KR_KNU 문서가 갱신 되었습니다.]] 2023.02.20
* [[Singularity|Singularity 사용법 문서가 갱신 되었습니다.]] 2022.09.15
* [[Mattermost|Mattermost 메신저 서비스를 시작합니다.]] 2022.09.05
* [[How_to_use_Tier3_at_KNU|How to use T3_KR_KNU 문서가 갱신 되었습니다.]] 2022.07.27
* 이제부터 최근 수정된 부분은 밑줄로 표시됩니다. 참고하시기 바립니다. 2022.06.08
* [[Storage_Element_Tutorial|Storage Element Tutorial이 갱신 되었습니다.]] 2022.06.08
* [[JupyterHub|JupyterHub 서비스를 시작합니다.]] 2022.03.23
* [[HTCondor_Job_Policy|이제 htcondor에서 request_memory보다 많은 메모리를 사용하는 작업은 자동으로 hold됩니다.]] 2022.02.09
* [[FreeIPA|인증시스템 전환(NIS→ FreeIPA)공지입니다.]] 2021.11.09
* [[cvmfs_geant4|CVMFS에서 geant4 사용하기 문서가 추가되었습니다.]] 2021.07.12
* [[cvmfs_root|CVMFS에서 root 사용하기 문서가 추가되었습니다.]] 2021.07.12
* [[cvmfs_gcc|CVMFS에서 원하는 버전의 gcc 사용하기 문서가 추가되었습니다.]] 2021.07.12
* [[WebDav|dCache에서 WebDav 프로토콜 및 마카롱 인증 사용하기 문서가 추가되었습니다.]] 2021.06.22
* [[Rucio|Rucio 사용법 문서가 추가되었습니다.]] 2021.06.08
* [[Uberftp|uberftp에 치명적인 버그가 있습니다. 사용에 주의하세요]] 2021.05.17
* [[HTCondorGPU|HTCondor에서 GPU 사용법 문서가 추가되었습니다.]] 2021.05.12
* [[HTCondor|HTCondor 사용법 문서가 갱신되었습니다.]] 2021.03.31
* [[mosh|mosh 가이드가 등록되었습니다.]] 2021.03.17
* [[x2go|x2go를 이용한 원격데스크탑 가이드가 등록되었습니다.]] 2021.03.11
* [[Xrootd|xrootd 를 활용한 SE Data 사용 가이드가 갱신되었습니다.]] 2021.03.05
* [[HTCondor에서 GPU 사용하기]] 2021.03.04
* [[Duc|자신의 디스크 사용량을 쉽게 확인할 수 있는 툴을 소개합니다.]] 2020.11.05
* [[CreamCE/SL6 서비스 종료]] 2020.10.15
* [[HTCondor|HTCondor 사용법 문서가 작성중입니다.]] 2020.07.30
* [[CreamCE/Torque → HTCondorCE/HTCondor 이전 안내]] 2020.07.23
* 스토리지 엘리먼트가 1.45PB로 증가하였습니다. 2020.06.26
* [[SFT|CVMFS SFT repository 사용법 문서가 갱신 되었습니다.]] 2020.03.20
* [[Scratch Disk가 교체 및 증설 안내]] 2020.02.10
* [[Notion|Notion 문서를 추가하였습니다.]] 2019.09.20
* [[Storage_Element_Tutorial|Storage Element Tutorial이 보강 되었습니다.]] 2019.08.30
* [[Storage_Element_Tutorial|Storage Element Tutorial이 보강 되었습니다.]] 2018.12.10
* [[Singularity|Singularity 사용법 문서가 추가 되었습니다.]] 2018.12.03
* [[SFT|CVMFS SFT repository 사용법 문서가 추가 되었습니다.]] 2018.11.08
* [[torque|Torque 사용법 문서가 갱신 되었습니다.]] 2018.10.15
* [[Storage_Element_Tutorial|Storage Element Tutorial이 보강 되었습니다.]] 2018.08.31
* [[Tier3BatchQueueInfo|Tier3 batch farm에 큰 메모리를 사용하는 작업 전용의 queue를 추가하였습니다.]] 2018.07.13
* [[T2_KR_KNU_Decommissioned| 경북대 Tier2 서비스는 4월 30일자로 종료되고 해당자원은 Tier3로 통합됩니다.]] 2018.04.18
* cms03이 SL6로 업그레이드되었습니다. 2018.01.16
* [[Storage_Element_Tutorial|Storage Element Tutorial이 갱신 되었습니다.]] 2017.11.22
* [[Xrootd|xrootd 를 활용한 SE Data 사용 가이드가 별도 분리되었습니다.]] 2017.11.22
* 스토리지 엘리먼트가 1.29PB로 증가하였습니다. 2017.10.12
* [[crab|Crab Tutorial을 업데이트 하였습니다.]] 2017.06.29
* [[Storage_Element_Tutorial#xrootd_.EB.A5.BC_.ED.99.9C.EC.9A.A9.ED.95.9C_SE_Data_.EC.A0.91.EA.B7.BC_.EB.B0.A9.EB.B2.95|Storage Element Tutorial에서 xrootd 관련 항목이 업데이트 되었습니다.]] 2017.06.15
* [[Webfts|WebFTS 사용법 항목이 추가되었습니다.]] 2017.04.14
* [[Dcap|dcap 사용법 항목이 갱신되었습니다.]] 2016.12.06
* 스토리지 엘리먼트가 1.2PB로 증가하였습니다. 2016.12.05
* [[Task_monitoring_for_the_analysis_users|Analysis 사용자를 위한 작업 모니터링 가이드가 추가되었습니다.]] 2016.10.19
* [[DCacheNFS|스토리지 엘리먼트의 NFS 사용 가이드가 갱신되었습니다.]] 2016.10.07
* [[Dcap|dcap 사용법 항목이 추가되었습니다.]] 2016.10.06
* 스토리지 엘리먼트가 1PB로 증가하였습니다. 2016.08.10
* [[DCacheNFS|스토리지 엘리먼트를 UI에서 NFS로 바로 읽을 수 있습니다.]] 2016.07.19
* [[Tier3BatchQueueInfo|Tier3 batch farm의 queue에 대한 세부정보를 업데이트 하였습니다.]] 2016.02.12
* [[Motd|Tier2/3 UI motd(Message of the Day)에서 스토리지 엘리먼트를 비롯한 디스크 사용량을 확인할수 있습니다.]] 2015.12.28
* [[Ssh_Public_key_Authentication|보다 안전하고 편리한 ssh 공개키 인증 사용법 항목이 추가 되었습니다.]] 2015.12.28
* [[Create-batch|create-batch 사용법 항목이 추가 되었습니다.]] 2015.12.21
* [[Storage_Element_Tutorial|Storage Element Tutorial 항목이 별도로 분리 되었습니다.]] 2015.10.29
* [[torque|Torque 사용법 항목이 별도로 분리 되었습니다.]] 2015.10.29
* [[crab|Crab Tutorial 항목이 별도로 분리 되었습니다.]] 2015.10.29
* [[Q&A|Q&A 항목이 추가 되었습니다.]] 2015.10.12
* [[uberftp | uberftp 사용법 항목이 추가되었습니다.]] 2015.10.12
* T2_KR_KNU 홈페이지가 리뉴얼 되었습니다. 2015.10.12
* [https://indico.cern.ch/event/386181/ 2015 CMS DAS (Data Analysis School) at Korea가 개최되었습니다.] 2015.08.25~29

Main Page

2025-07-17T02:34:09Z

Hanbi: /* News & Notices */

__NOTOC__
='''KNU Tier-3 Center for CMS''' <img src="http://t2-cms.knu.ac.kr/img/CMS-logo.gif" width=25> =

Welcome to the CMS Tier-3 Center at Kyungpook National University in Korea.

This web portal is your gateway to the CMS Tier-3 center at Kyungpook National University (KNU) in Korea. This CMS Tier-3 center is being supported by the Ministry of Education, Science and Technology and is being maintained by the Center for High Energy Physics of the KNU.
We will support the CMS computing needs for Korean and overseas collaborators. For your general comments, questions, or reports of any problems regarding to this Center, please email to lcg_knu@knu.ac.kr.

== News & Notices ==
* [[Singularity|Apptainer 사용법 문서가 갱신 되었습니다.]] 2025.07.17
* [[Dcap|dcap 사용법 항목이 갱신되었습니다.]] 2025.07.16
* [[HTCondorQueueInfo| HTCondor에 JobType(Queue)가 추가되었습니다.]] 2025.05.13
* [[HTCondor| HTCondor 사용법 문서가 갱신 되었습니다.]] 2025.05.09
* [[Singularity|Apptainer 사용법 문서가 갱신 되었습니다.]] 2025.05.09
* [[Cvmfs_root|CVMFS 에서 root 사용하기 문서가 갱신 되었습니다.]] 2025.05.09
* [[Singularity|Apptainer 사용법 문서가 갱신 되었습니다.]] 2025.04.23
* [[HTCondor| HTCondor 사용법 문서가 갱신 되었습니다.]] 2024.07.08
* [[Singularity|Apptainer 사용법 문서가 갱신 되었습니다.]] 2024.06.13
* [[Storage_Element_Tutorial#.EC.84.9C.EB.B9.84.EC.8A.A4.EB.B3.84_.EC.8A.A4.ED.86.A0.EB.A6.AC.EC.A7.80_.EC.A0.91.EA.B7.BC| 스토리지 엘리먼트의 SRMv2 gridftp gsiftp 데이터 전송 프로토콜 지원이 종료됩니다.]] 2024.05.14
* [[HTCondor| HTCondor 사용법 문서가 갱신 되었습니다.]] 2024.03.11
* [[HTCondor#.EC.B5.9C.EB.8C.80_.EC.9E.91.EC.97.85.EC.8B.9C.EA.B0.84| HTCondor의 GPU 최대 작업시간이 연장되었습니다.]] 2024.02.14
* [[HTCondor| HTCondor 사용법 문서가 갱신 되었습니다.]] 2023.09.21
* [[Storage_Element_Tutorial#.EC.84.9C.EB.B9.84.EC.8A.A4.EB.B3.84_.EC.8A.A4.ED.86.A0.EB.A6.AC.EC.A7.80_.EC.A0.91.EA.B7.BC| 이제 HTCondor에서 SE의 데이터를 바로 읽을 수 있습니다.]] 2023.06.23
* [[Bitwarden| bitwarden(패스워드 관리 서비스) 사용법 문서가 추가 되었습니다.]] 2023.03.14
* [[How_to_use_Tier3_at_KNU|How to use T3_KR_KNU 문서가 갱신 되었습니다.]] 2023.02.20
* [[Singularity|Singularity 사용법 문서가 갱신 되었습니다.]] 2022.09.15
* [[Mattermost|Mattermost 메신저 서비스를 시작합니다.]] 2022.09.05
* [[How_to_use_Tier3_at_KNU|How to use T3_KR_KNU 문서가 갱신 되었습니다.]] 2022.07.27
* 이제부터 최근 수정된 부분은 밑줄로 표시됩니다. 참고하시기 바립니다. 2022.06.08
* [[Storage_Element_Tutorial|Storage Element Tutorial이 갱신 되었습니다.]] 2022.06.08
* [[JupyterHub|JupyterHub 서비스를 시작합니다.]] 2022.03.23
* [[HTCondor_Job_Policy|이제 htcondor에서 request_memory보다 많은 메모리를 사용하는 작업은 자동으로 hold됩니다.]] 2022.02.09
* [[FreeIPA|인증시스템 전환(NIS→ FreeIPA)공지입니다.]] 2021.11.09
* [[cvmfs_geant4|CVMFS에서 geant4 사용하기 문서가 추가되었습니다.]] 2021.07.12
* [[cvmfs_root|CVMFS에서 root 사용하기 문서가 추가되었습니다.]] 2021.07.12
* [[News & Notices|more ...]]

==Additional Services==

* [https://chep17.knu.ac.kr:3003 T3_KR_KNU Status - 작업 현황, 현재 사용량 등]
* [https://githep.knu.ac.kr:4443 Gitlab 서비스 - 소스코드 버전 관리 시스템]
* [https://mm.knu.ac.kr Mattermost 서비스 - 업무용 메신저 서비스]
* [https://indico.knu.ac.kr 경북대 물리학과 Indico]
* [https://indico.kno.or.kr KNO Indico]

==How to use Tier-3 at KNU?==
*[[How_to_use_Tier2_at_KNU|How to use Tier-3 at KNU?]]
**[[How_to_use_Tier2_at_KNU#Pre-requisites|Pre-requisites]]
**[[How_to_use_Tier2_at_KNU#KNU_Tier-2_Login|KNU_Tier-3 Login]]
**[[How_to_use_Tier2_at_KNU#CMSSW.28CMS_Software.29_Installation|CMSSW Installation]]
**[[crab|Crab Tutorial]]
**[[How_to_use_Tier2_at_KNU#Storage_Element_.28SE.29_Manual|Storage Element Tutorial]]
**[[uberftp|uberftp]]
**[[Q&A|Q&A]]

*[https://t2-cms.knu.ac.kr/lcg_registration.php KNU Account Registration]

----
{| style="width: 100%"
! style="text-align: left;text-valign: top" | Contact: Email: lcg_knu@knu.ac.kr
! style="text-align: right;" | THE CENTER FOR HIGH ENERGY PHYSICS KYUNGPOOK NATIONAL UNIVERSITY
|}