Storage Element Tutorial - Revision history

Song: /* T3_KR_KNU의 Computing Resource 실시간 조회하기 (CPU, Disk 자원 조회) */

2025-05-09T08:41:01Z

T3_KR_KNU의 Computing Resource 실시간 조회하기 (CPU, Disk 자원 조회)

← Older revision		Revision as of 08:41, 9 May 2025
Line 203:		Line 203:
	* UI 에서 "knuinfo" 명령어를 실행합니다.		* UI 에서 "knuinfo" 명령어를 실행합니다.
	$ knuinfo		$ knuinfo
	$
	-----------------------------------------------------------------------------------------		-----------------------------------------------------------------------------------------
	CPU Free Total Jobs Running Waiting ComputingElement		CPU Free Total Jobs Running Waiting ComputingElement
	~~2177 1535~~ 2 0 0 ce01.knu.ac.kr:9619/ce01.knu.ac.kr-condor		2221 247 2 0 0 ce01.knu.ac.kr:9619/ce01.knu.ac.kr-condor
	-----------------------------------------------------------------------------------------		-----------------------------------------------------------------------------------------
	Avail Space(kB) Used Space(kB) Type SE		Avail Space(kB) Used Space(kB) Type SE
	~~196449113991~~ ~~1662986394938~~ xroot cluster142.knu.ac.kr		193752733956 1665682774974 xroot cluster142.knu.ac.kr
	-----------------------------------------------------------------------------------------		-----------------------------------------------------------------------------------------

Song: /* T3_KR_KNU의 Computing Resource 실시간 조회하기 (CPU, Disk 자원 조회) */

2025-05-09T08:35:42Z

T3_KR_KNU의 Computing Resource 실시간 조회하기 (CPU, Disk 자원 조회)

← Older revision		Revision as of 08:35, 9 May 2025
Line 205:		Line 205:
	$		$
	-----------------------------------------------------------------------------------------		-----------------------------------------------------------------------------------------
	CPU Free Total Jobs Running Waiting ComputingElement		CPU Free Total Jobs Running Waiting ComputingElement
	~~1328 571 253 157~~ 0 ce01.knu.ac.kr:9619/ce01.knu.ac.kr-condor		2177 1535 2 0 0 ce01.knu.ac.kr:9619/ce01.knu.ac.kr-condor
	-----------------------------------------------------------------------------------------		-----------------------------------------------------------------------------------------
	Avail Space(kB) Used Space(kB) Type SE		Avail Space(kB) Used Space(kB) Type SE
	~~369726007282~~ ~~1076716332991~~ ~~SRM~~ cluster142.knu.ac.kr		196449113991 1662986394938 xroot cluster142.knu.ac.kr
	-----------------------------------------------------------------------------------------		-----------------------------------------------------------------------------------------

Song: /* Overview */

2025-05-09T08:34:48Z

Overview

← Older revision		Revision as of 08:34, 9 May 2025
Line 32:		Line 32:
	* nfs: /u/user/{knu_id}/SE_UserHome -----> /pnfs/knu.ac.kr/data/cms/store/user/{cern_id}		* nfs: /u/user/{knu_id}/SE_UserHome -----> /pnfs/knu.ac.kr/data/cms/store/user/{cern_id}
	\| xrootd, webdav,<br><span style="color: red; text-decoration: line-through;">srm, gsiftp,</span> <br>dcap, gsidcap,<br> nfs		\| xrootd, webdav,<br><span style="color: red; text-decoration: line-through;">srm, gsiftp,</span> <br>dcap, gsidcap,<br> nfs
	\| 1.45 PB		\| 1.84 PB
	\| 10 TB		\| 10 TB
	\| 데이터 보관<br>대용량데이터처리<br>프로그램설치X		\| 데이터 보관<br>대용량데이터처리<br>프로그램설치X

Hanbi: /* no match 오류가 발생할때 */

2024-05-14T05:31:59Z

no match 오류가 발생할때

← Older revision		Revision as of 05:31, 14 May 2024
Line 410:		Line 410:

	* tcsh에서 ?는 wild card로 인식이 됩니다. 따라서 tcsh을 사용하고 있다면 srm 경로에 반드시 ""를 사용해야 합니다.		* tcsh에서 ?는 wild card로 인식이 됩니다. 따라서 tcsh을 사용하고 있다면 srm 경로에 반드시 ""를 사용해야 합니다.


	=== srm, lcg, gfal* 주요 명령어 비교표 ===		=== srm, lcg, gfal* 주요 명령어 비교표 ===

Hanbi at 05:31, 14 May 2024

2024-05-14T05:31:41Z

@@ Line 455: / Line 455: @@
 === WebFTS를 이용한 Storage Element 로의 Data 전송 ===
 * [[ Webfts | WebFTS 사용법으로 가기 ]]
 === T3_KR_KNU 저장공간(Disk) 활용 분류 ===

Hanbi: /* crab3를 사용한 후 gfal-* 명령어들이 오류가 발생합니다 */

2024-05-14T05:29:13Z

crab3를 사용한 후 gfal-* 명령어들이 오류가 발생합니다

← Older revision		Revision as of 05:29, 14 May 2024
Line 373:		Line 373:
	source /cvmfs/cms.cern.ch/crab3/crab.sh 실행후에 gfal-* 명령어들이 오류가 발생합니다.		source /cvmfs/cms.cern.ch/crab3/crab.sh 실행후에 gfal-* 명령어들이 오류가 발생합니다.

	$ gfal-ls -Hl ~~srm~~://cluster142.knu.ac.kr:~~8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data~~/cms/store/user/test/test.transfer		$ gfal-ls -Hl davs://cluster142.knu.ac.kr:2880/cms/store/user//test/test.transfer
	-~~rw-r--r-- 1~~ ~~2 2 Oct 12 02:17~~ 4.8M ~~srm~~://cluster142.knu.ac.kr:~~8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data~~/cms/store/user/test/test.transfer		-rwxrwxrwx 0 0 0 4.8M Oct 12 2015 davs://cluster142.knu.ac.kr:2880/cms/store/user//test/test.transfer

	$ source /cvmfs/cms.cern.ch/crab3/crab.sh		$ source /cvmfs/cms.cern.ch/crab3/crab.sh

	$ gfal-ls -Hl ~~srm~~://cluster142.knu.ac.kr:~~8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data~~/cms/store/user/test/test.transfer		$ gfal-ls -Hl davs://cluster142.knu.ac.kr:2880/cms/store/user/test/test.transfer
	Could not find platform independent libraries <prefix>		Could not find platform independent libraries <prefix>
	Could not find platform dependent libraries <exec_prefix>		Could not find platform dependent libraries <exec_prefix>
Line 390:		Line 390:
	crab3 에서 사용하는 python 환경변수와 gfal-* 명령어들에 문제를 일으키기 때문입니다. gfal-* 명령어 앞에 " env --unset=LD_LIBRARY_PATH "을 넣어줌으로써 문제를 해결할 수 있습니다.		crab3 에서 사용하는 python 환경변수와 gfal-* 명령어들에 문제를 일으키기 때문입니다. gfal-* 명령어 앞에 " env --unset=LD_LIBRARY_PATH "을 넣어줌으로써 문제를 해결할 수 있습니다.

	$ env --unset=LD_LIBRARY_PATH gfal-ls -Hl ~~srm~~://cluster142.knu.ac.kr:~~8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data~~/cms/store/user/test/test.transfer		$ env --unset=LD_LIBRARY_PATH gfal-ls -Hl davs://cluster142.knu.ac.kr:2880/cms/store/user/test/test.transfer
	-rw-r--r-- 1 2 2 Oct 12 02:17 4.8M ~~srm~~://cluster142.knu.ac.kr:~~8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data~~/cms/store/user/test/test.transfer		-rw-r--r-- 1 2 2 Oct 12 02:17 4.8M davs://cluster142.knu.ac.kr:2880/cms/store/user/test/test.transfer

	=== cmsenv 실행후 gfal 명령어들이 정상 동작 하지 않을때 ===		=== cmsenv 실행후 gfal 명령어들이 정상 동작 하지 않을때 ===

Hanbi: /* gfal-copy를 이용한 디렉토리 복사 */

2024-05-14T05:26:55Z

gfal-copy를 이용한 디렉토리 복사

← Older revision		Revision as of 05:26, 14 May 2024
Line 332:		Line 332:
	gfal-copy에서 "-r" 옵션을 사용하면 서브 디렉토리까지 한번에 복사가 가능합니다. 다음과 같이 임의의 테스트 디렉토리를 만들었을때		gfal-copy에서 "-r" 옵션을 사용하면 서브 디렉토리까지 한번에 복사가 가능합니다. 다음과 같이 임의의 테스트 디렉토리를 만들었을때

	[~~hanbi~~@cms tmp5]$ ll		[MyAccount@cms tmp5]$ ll
	total 0		total 0
	-rw-r--r-- 1 hanbi knu 0 Aug 26 17:21 aa		-rw-r--r-- 1 hanbi knu 0 Aug 26 17:21 aa
Line 339:		Line 339:
	drwxr-xr-x 2 hanbi knu 24 Aug 26 17:22 dir1		drwxr-xr-x 2 hanbi knu 24 Aug 26 17:22 dir1

	-r 옵션을 적용해서 다음과 같이 실행하면 (로컬 디스크의 ~/~~hanbi~~/tmp5 디렉토리를 SE의 hanbi/tmp5로 복사)		-r 옵션을 적용해서 다음과 같이 실행하면 (로컬 디스크의 ~/MyAccount/tmp5 디렉토리를 SE의 hanbi/tmp5로 복사)

	gfal-copy -r file:////u/user/~~hanbi~~/tmp5 ~~srm~~://cluster142.knu.ac.kr:~~8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data~~/cms/store/user/~~hanbi~~/tmp5		gfal-copy -r file:////u/user/MyAccount/tmp5 davs://cluster142.knu.ac.kr:2880/cms/store/user/MyAccount/tmp5

	[~~hanbi~~@cms ~]$ gfal-copy -r file:////u/user/~~hanbi~~/tmp5 ~~srm~~://cluster142.knu.ac.kr:~~8443/srm/managerv2? SFN=/pnfs/knu.ac.kr/data~~/cms/store/user/~~hanbi~~/tmp5		[MyAccount@cms ~]$ gfal-copy -r file:////u/user/MyAccount/tmp5 davs://cluster142.knu.ac.kr:2880/cms/store/user/MyAccount/tmp5
	Mkdir ~~srm~~://cluster142.knu.ac.kr:~~8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data~~/cms/store/user/~~hanbi~~/tmp5		Mkdir davs://cluster142.knu.ac.kr:2880/cms/store/user/MyAccount/tmp5
	Copying file:////u/user/~~hanbi~~/tmp5/aa [DONE] after 0s		Copying file:////u/user/MyAccount/tmp5/aa [DONE] after 0s
	Copying file:////u/user/~~hanbi~~/tmp5/bb [DONE] after 0s		Copying file:////u/user/MyAccount/tmp5/bb [DONE] after 0s
	Copying file:////u/user/~~hanbi~~/tmp5/cc [DONE] after 0s		Copying file:////u/user/MyAccount/tmp5/cc [DONE] after 0s
	Mkdir ~~srm~~://cluster142.knu.ac.kr:~~8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data~~/cms/store/user/~~hanbi~~/tmp5/dir1		Mkdir davs://cluster142.knu.ac.kr:2880/cms/store/user/MyAccount/tmp5/dir1
	Copying file:////u/user/~~hanbi~~/tmp5/dir1/dd [DONE] after 0s		Copying file:////u/user/MyAccount/tmp5/dir1/dd [DONE] after 0s
	Copying file:////u/user/~~hanbi~~/tmp5/dir1/ee [DONE] after 0s		Copying file:////u/user/MyAccount/tmp5/dir1/ee [DONE] after 0s

	아래와 같이 하부 디렉토리까지 스토리지 엘리먼트로 전부 전송이 되는 것을 확인 할 수 있습니다.		아래와 같이 하부 디렉토리까지 스토리지 엘리먼트로 전부 전송이 되는 것을 확인 할 수 있습니다.

	[hanbi@cms ~]$ ll /pnfs/knu.ac.kr/data/cms/store/user/~~hanbi~~/tmp5		[hanbi@cms ~]$ ll /pnfs/knu.ac.kr/data/cms/store/user/MyAccount/tmp5
	total 1		total 1
	-rw-r--r-- 1 hanbi cms 0 Aug 26 17:22 aa		-rw-r--r-- 1 hanbi cms 0 Aug 26 17:22 aa
Line 363:		Line 363:
	물론 반대로 스토리지 엘리먼트에서 로컬 하드로 복사도 가능한데, 사용시 주의해야할 점은 SE의 소스 용량을 먼저 확인해서 전송을해야 로컬 하드디스크가 가득차는 것을 방지할 수 있습니다.		물론 반대로 스토리지 엘리먼트에서 로컬 하드로 복사도 가능한데, 사용시 주의해야할 점은 SE의 소스 용량을 먼저 확인해서 전송을해야 로컬 하드디스크가 가득차는 것을 방지할 수 있습니다.

	gfal-copy -r ~~srm~~://cluster142.knu.ac.kr:~~8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data~~/cms/store/user/~~hanbi~~/tmp5 file:////u/user/~~hanbi~~/tmp5		gfal-copy -r davs://cluster142.knu.ac.kr:2880/cms/store/user/MyAccount/tmp5 file:////u/user/MyAccount/tmp5

	소스디렉토리의 크기를 확인하는 방법은 다음과 같이 확인할 수 있습니다. 다만 해당 디렉토리 아래의 크기가 매우 클 경우에는 결과가 나오는데 시간이 오래 결릴수 있습니다.		소스디렉토리의 크기를 확인하는 방법은 다음과 같이 확인할 수 있습니다. 다만 해당 디렉토리 아래의 크기가 매우 클 경우에는 결과가 나오는데 시간이 오래 결릴수 있습니다.

	du -hs /pnfs/knu.ac.kr/data/cms/store/user/~~hanbi~~/tmp5		du -hs /pnfs/knu.ac.kr/data/cms/store/user/MyAccount/tmp5

	===crab3를 사용한 후 gfal-* 명령어들이 오류가 발생합니다 ===		===crab3를 사용한 후 gfal-* 명령어들이 오류가 발생합니다 ===

Hanbi: /* gfal 명령어 사용 요약 */

2024-05-14T05:23:29Z

gfal 명령어 사용 요약

← Older revision		Revision as of 05:23, 14 May 2024
Line 320:		Line 320:
	=== gfal 명령어 사용 요약 ===		=== gfal 명령어 사용 요약 ===
	$ voms-proxy-init --voms cms 로 proxy 생성후 아래 명령어를 수행하시면 됩니다.		$ voms-proxy-init --voms cms 로 proxy 생성후 아래 명령어를 수행하시면 됩니다.
	$ 조회 : gfal-ls -Hl ~~srm~~://cluster142.knu.ac.kr:~~8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data~~/cms/store/user/MyAccount/FolderName		$ 조회 : gfal-ls -Hl davs://cluster142.knu.ac.kr:2880/cms/store/user/MyAccount/FolderName
	$ 복사 : gfal-copy ~~srm~~://cluster142.knu.ac.kr:~~8443~~/.../FileNameSrc ~~srm~~://cluster142.knu.ac.kr:~~8443~~/.../FileNameDest		$ 복사 : gfal-copy davs://cluster142.knu.ac.kr:2880/cms/store/user/.../FileNameSrc davs://cluster142.knu.ac.kr:2880/cms/store/user/.../FileNameDest
	$ 삭제 : gfal-rm ~~srm~~://cluster142.knu.ac.kr:~~8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data~~/cms/store/user/MyAccount/FolderName/FileName		$ 삭제 : gfal-rm davs://cluster142.knu.ac.kr:2880/cms/store/user/MyAccount/FolderName/FileName
	$ 디렉토리 삭제 : <strike>gfal-rm -R ~~srm~~://cluster142.knu.ac.kr:~~8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data~~/cms/store/user/MyAccount/FolderName</strike>		$ 디렉토리 삭제 : <strike>gfal-rm -R davs://cluster142.knu.ac.kr:2880/cms/store/user/MyAccount/FolderName</strike>
	* 명령어 뒤의 Option은 매뉴얼 페이지를 참고 바랍니다. (ex. man gfal-ls)		* 명령어 뒤의 Option은 매뉴얼 페이지를 참고 바랍니다. (ex. man gfal-ls)
	* 1000개 이상의 파일 포함한 폴더 내용 보기 : (ex. 500번째 파일부터 700개의 파일을 보고 싶을 경우) lcg-ls --offset 500 --count 700 srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/(DestFoler)		* <strike>1000개 이상의 파일 포함한 폴더 내용 보기 : (ex. 500번째 파일부터 700개의 파일을 보고 싶을 경우) lcg-ls --offset 500 --count 700 srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/(DestFoler)</strike>
	* gfal-copy에서 "-r" 옵션을 사용하면 디렉토리까지 복사가 가능합니다.		* gfal-copy에서 "-r" 옵션을 사용하면 디렉토리까지 복사가 가능합니다.


	=== gfal-copy를 이용한 디렉토리 복사 ===		=== gfal-copy를 이용한 디렉토리 복사 ===

Hanbi: /* 파일 또는 디렉토리 삭제 */

2024-05-14T05:21:57Z

파일 또는 디렉토리 삭제

← Older revision		Revision as of 05:21, 14 May 2024
Line 314:		Line 314:
	=== 파일 또는 디렉토리 삭제 ===		=== 파일 또는 디렉토리 삭제 ===

	$ gfal-rm ~~srm~~://cluster142.knu.ac.kr:~~8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data~~/cms/store/user/(username)/test/test.file		$ gfal-rm davs://cluster142.knu.ac.kr:2880/cms/store/user/(username)/test/test.file
	$ <strike>gfal-rm srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/(username)/test</strike>		$ <strike>gfal-rm srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/(username)/test</strike>
	$ lcg-del -d srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/(username)/test		$ <strike>lcg-del -d srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/(username)/test</strike>


	=== gfal 명령어 사용 요약 ===		=== gfal 명령어 사용 요약 ===

Hanbi: /* 복사가 정상적으로 이루어졌는지 확인 또는 디렉토리의 목록 확인 */

2024-05-14T05:21:06Z

복사가 정상적으로 이루어졌는지 확인 또는 디렉토리의 목록 확인

← Older revision		Revision as of 05:21, 14 May 2024
Line 310:		Line 310:
	=== 복사가 정상적으로 이루어졌는지 확인 또는 디렉토리의 목록 확인 ===		=== 복사가 정상적으로 이루어졌는지 확인 또는 디렉토리의 목록 확인 ===

	$ gfal-ls -Hl ~~srm~~://cluster142.knu.ac.kr:~~8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data~~/cms/store/user/(username)		$ gfal-ls -Hl davs://cluster142.knu.ac.kr:2880/cms/store/user/(username)


	=== 파일 또는 디렉토리 삭제 ===		=== 파일 또는 디렉토리 삭제 ===