From T3_KR_KNU
(→lcg-ls 명령어로 1000개 이상의 파일 포함한 폴더 내용 보기) |
|||
Line 36: | Line 36: | ||
===crab3를 사용할때 gfal-* 명령어들이 오류가 발생합니다 === | ===crab3를 사용할때 gfal-* 명령어들이 오류가 발생합니다 === | ||
+ | |||
+ | source /cvmfs/cms.cern.ch/crab3/crab.sh 실행후에 gfal-* 명령어들이 오류가 발생합니다. | ||
$ gfal-ls -Hl srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/test/test.transfer | $ gfal-ls -Hl srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/test/test.transfer | ||
Line 56: | Line 58: | ||
$ env --unset=LD_LIBRARY_PATH gfal-ls -Hl srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/test/test.transfer | $ env --unset=LD_LIBRARY_PATH gfal-ls -Hl srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/test/test.transfer | ||
-rw-r--r-- 1 2 2 Oct 12 02:17 4.8M srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/test/test.transfer | -rw-r--r-- 1 2 2 Oct 12 02:17 4.8M srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/test/test.transfer | ||
+ | |||
+ | |||
+ | === cmsenv 실행후 gfal 명령어들이 정상 동작 하지 않을때 === | ||
+ | |||
+ | cmsenv 실행후에 다음과 같은 오류가 발생한다면 | ||
+ | |||
+ | Failed to add IO tunnel (libgsiTunnel.so: cannot open shared object file: No such file or directory). Provider: [libgsiTunnel.so]. | ||
+ | Error ( POLLIN) (with data) on control line [12] | ||
+ | Failed to create a control line | ||
+ | Failed open file in the dCache. | ||
+ | gfal-copy: error: Input/output error | ||
+ | |||
+ | 아래 명령을 실행해줌으로써 문제를 해결할 수 있습니다. | ||
+ | |||
+ | export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/lib64/dcap | ||
=== lcg-ls 명령어로 1000개 이상의 파일 포함한 디렉토리의 내용일 읽을 수 없습니다. === | === lcg-ls 명령어로 1000개 이상의 파일 포함한 디렉토리의 내용일 읽을 수 없습니다. === |
Revision as of 08:48, 9 November 2015
Contents
- 1 Q & A
- 1.1 기본 shell을 변경하고 싶습니다.
- 1.2 윈도우에서 ssh를 사용하려면 어떻게 하나요??
- 1.3 자원현황을 확인하려면 어떻게 하나요?
- 1.4 gfal-ls 등의 명령어를 사용할 때 No match 오류가 발생합니다
- 1.5 crab3를 사용할때 gfal-* 명령어들이 오류가 발생합니다
- 1.6 cmsenv 실행후 gfal 명령어들이 정상 동작 하지 않을때
- 1.7 lcg-ls 명령어로 1000개 이상의 파일 포함한 디렉토리의 내용일 읽을 수 없습니다.
- 1.8 Storage Element 사용법이 너무 어려운데 좀 쉬운 방법이 없나요?
- 1.9 root에서 SE에 저장된 Data에 바로 접근할 수 있나요?
Q & A
기본 shell을 변경하고 싶습니다.
다음과 같이 ypchsh 명령어를 사용하세요.
$ ypchsh
윈도우에서 ssh를 사용하려면 어떻게 하나요??
- Putty(무료), SSH Secure Shell Client (프리웨어 또는 정식 서비스를 찾아 설치가능)
- SSH Secure Shell Client 예시 화면
자원현황을 확인하려면 어떻게 하나요?
현재 Storage Element의 여유 공간이 궁금하거나 CPU 사용현황이 궁금하신가요? knuinfo 명령어를 사용하세요. CPU자원 사용현황과 Storage Element의 현황을 확인할 수 있습니다.
$ knuinfo ----------------------------------------------------------------------------------------- CPU Free Total Jobs Running Waiting ComputingElement 161 76 85 85 0 cluster118.knu.ac.kr:8443/cream-pbs-cms 496 8 606 488 118 cluster50.knu.ac.kr:8443/cream-pbs-cms ----------------------------------------------------------------------------------------- Avail Space(kB) Used Space(kB) Type SE 86225577182 746439732494 SRM cluster142.knu.ac.kr -----------------------------------------------------------------------------------------
gfal-ls 등의 명령어를 사용할 때 No match 오류가 발생합니다
$ gfal-ls -Hl srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/test/ gfal-ls: No match.
tcsh을 사용할 경우 SRM URL의 ?는 와일드카드로 인식되어 No match 오류가 발생하게 됩니다. 따라서 반드시 다음과 같이 "" 혹은 ' ' 을 사용해주셔야 합니다.
$ gfal-ls -Hl "srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/test/"
crab3를 사용할때 gfal-* 명령어들이 오류가 발생합니다
source /cvmfs/cms.cern.ch/crab3/crab.sh 실행후에 gfal-* 명령어들이 오류가 발생합니다.
$ gfal-ls -Hl srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/test/test.transfer -rw-r--r-- 1 2 2 Oct 12 02:17 4.8M srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/test/test.transfer $ $ source /cvmfs/cms.cern.ch/crab3/crab.sh $ $ gfal-ls -Hl srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/test/test.transfer Could not find platform independent libraries <prefix> Could not find platform dependent libraries <exec_prefix> Consider setting $PYTHONHOME to <prefix>[:<exec_prefix>] 'import site' failed; use -v for traceback Traceback (most recent call last): File "/usr/bin/gfal-ls", line 8, in <module> from gfal2_util.shell import Gfal2Shell ImportError: No module named gfal2_util.shell
crab3 에서 사용하는 python 환경변수와 gfal 명령어들에 문제를 일으키기 때문입니다. 다음과 같이 해결할 수 있습니다.
$ env --unset=LD_LIBRARY_PATH gfal-ls -Hl srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/test/test.transfer -rw-r--r-- 1 2 2 Oct 12 02:17 4.8M srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/test/test.transfer
cmsenv 실행후 gfal 명령어들이 정상 동작 하지 않을때
cmsenv 실행후에 다음과 같은 오류가 발생한다면
Failed to add IO tunnel (libgsiTunnel.so: cannot open shared object file: No such file or directory). Provider: [libgsiTunnel.so]. Error ( POLLIN) (with data) on control line [12] Failed to create a control line Failed open file in the dCache. gfal-copy: error: Input/output error
아래 명령을 실행해줌으로써 문제를 해결할 수 있습니다.
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/lib64/dcap
lcg-ls 명령어로 1000개 이상의 파일 포함한 디렉토리의 내용일 읽을 수 없습니다.
lcg-ls 명령어에는 한번에 1000개의 파일만 출력할 수 있는 제한이 있습니다. 그러나 --offset, --count 옵션의 조합을 통하여 그 다음 파일들을 읽을 수 있습니다.
ex) 500번째 파일부터 700개의 파일을 보고 싶을 경우
$lcg-ls --offset 500 --count 700 srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/(DestFoler)
Storage Element 사용법이 너무 어려운데 좀 쉬운 방법이 없나요?
root에서 SE에 저장된 Data에 바로 접근할 수 있나요?
dcap 프로토콜을 이용하여 가능합니다.
- 읽기 (dcap 프로토콜)
$ TFile *f = TFile::Open("dcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/(username)/test.root"); $
- 쓰기 (gsidcap 프로토콜, root 실행전 그리드 인증 필요)
$ voms-proxy-init --voms cms $ export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/lib64/dcap $ root -l root [0] TFile *f = TFile::Open("gsidcap://cluster142.knu.ac.kr:22128//pnfs/knu.ac.kr/data/cms/store/user/(username)/test.root", "RECREATE"); root [1] f->Close(); root [2] .q $