Difference between revisions of "DCacheNFS"

Revision as of 09:10, 6 December 2018

UI에서 NFS로 마운트된 스토리지 엘리먼트 사용하기

NFS 마운트 정보

• 현재 UI (cms, cms01, cms02, cms03)에서만 nfs로 마운트 되어 있습니다. 연산노드에서는 사용할 수 없습니다.
• 읽기 쓰기가 가능합니다만, 프로그램을 설치하여 사용하는 것은 적절하지 않습니다.
• 사용자 홈디렉토리 경로는 /pnfs/knu.ac.kr/data/cms/store/user/(사용자ID) 입니다.
• UI의 홈디렉토리에 심볼릭 링크로 연결한 SE_UserHome을 사용하면 위의 경로를 쉽게 사용할 수 있습니다.

dCache NFS에서 지원하지 않는 것

• 기본적으로 NFS로 마운트된 스토리지 엘리먼트는 로컬 디스크처럼 사용할 수 있지만 다음의 사항을 주의해야 합니다.
• dCache의 nfs에서는 덮어쓰기 및 덧붙이기를 지원하지 않습니다.

$ echo 123 > test.file
$ echo 1234 > test.file
-bash: test.file: Permission denied
$
$ echo 1234 >> test.file
-bash: test.file: Permission denied

• 파일 삭제시 다음과 같이 경고가 뜹니다만 정상적으로 삭제가 됩니다.
• 파일 삭제는 복구가 불가능하므로 항상 주의해서 삭제해주시기 바랍니다.

$ rm test.file
rm: remove write-protected regular file `test.file'? y
$

읽기 쓰기 속도

• nfs를 이용한 읽고 쓰기는 다음에서 보듯이 dccp (dcap)나 다른 프로토콜(srm)에 비해 상대적으로 느립니다. 따라서 큰 파일의 복사는 dccp나 gfal-copy 등을 이용하는 것이 더 좋습니다.

$ time cp -av /pnfs/knu.ac.kr/data/cms/tmp/test.transfer .
`/pnfs/knu.ac.kr/data/cms/tmp/test.transfer' -> `./test.transfer'

real    0m2.027s
user    0m0.002s
sys     0m0.019s

$ time dccp -H dcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/tmp/test.transfer .
[###################################################################################################################] 100% 4.78 MiB
5008283 bytes (4.78 MiB) in 0 seconds

real    0m1.042s
user    0m0.016s
sys     0m0.023s

NFS를 이용한 연산노드의 접근

• 연산 노드에서 NFS 접근은 지원하고 있지 않기 때문에 dcap등의 다른 프로토콜을 사용하기를 추천합니다.
• dcap 을 이용하여 스토리지 엘리먼트의 데이터 읽고 쓰기

스토리지 이용현황

• du 명령어를 이용해서 자신의 스토리지 엘리먼트의 이용현황을 쉽게 확인할 수 있습니다.

$ /usr/bin/du -h --si --max-depth=1 /pnfs/knu.ac.kr/data/cms/store/user/MyID/
931M    /pnfs/knu.ac.kr/data/cms/store/user/MyID/CMSSW_1_6_12
44M     /pnfs/knu.ac.kr/data/cms/store/user/MyID/test
1.6G    /pnfs/knu.ac.kr/data/cms/store/user/MyID/result
46M     /pnfs/knu.ac.kr/data/cms/store/user/MyID/test2
512     /pnfs/knu.ac.kr/data/cms/store/user/MyID/test3
5.3G    /pnfs/knu.ac.kr/data/cms/store/user/MyID/

• df 명령어에서 나오는 사용량과 여유공간은 잘못된 정보입니다. 정확한 정보 확인을 위해서는 knuinfo 명령을 사용해주세요.

$ df -h
Filesystem            Size  Used Avail Use% Mounted on
...
cluster142:/pnfs      1.0E  670T  1.0E   1% /pnfs

$ knuinfo
...
-----------------------------------------------------------------------------------------
 Avail Space(kB)  Used Space(kB)  Type 	SE
     94090095292    738575214383  SRM  	cluster142.knu.ac.kr
-----------------------------------------------------------------------------------------