(→Storage Element 를 사용하는데 갑자기 인증오류가 발생합니다. 어떻게 해야하나요?) |
(→Singularity SLC6 환경에서 myproxy 관련 명령어를 찾지 못한다는 오류가 발생합니다. 어떻게 해야하나요?) |
||
(8 intermediate revisions by the same user not shown) | |||
Line 4: | Line 4: | ||
=== 기본 shell을 변경하고 싶습니다. === | === 기본 shell을 변경하고 싶습니다. === | ||
− | 다음과 같이 | + | 다음과 같이 <u>chsh</u> 명령어를 사용하세요. |
− | $ | + | $ <u>chsh</u> |
− | + | ||
=== 윈도우에서 ssh를 사용하려면 어떻게 하나요?? === | === 윈도우에서 ssh를 사용하려면 어떻게 하나요?? === | ||
Line 21: | Line 20: | ||
----------------------------------------------------------------------------------------- | ----------------------------------------------------------------------------------------- | ||
CPU Free Total Jobs Running Waiting ComputingElement | CPU Free Total Jobs Running Waiting ComputingElement | ||
− | + | 1479 1343 701 17 0 ce01.knu.ac.kr:9619/ce01.knu.ac.kr-condor | |
− | + | ||
----------------------------------------------------------------------------------------- | ----------------------------------------------------------------------------------------- | ||
Avail Space(kB) Used Space(kB) Type SE | Avail Space(kB) Used Space(kB) Type SE | ||
− | + | 261224347031 1177858052823 SRM cluster142.knu.ac.kr | |
----------------------------------------------------------------------------------------- | ----------------------------------------------------------------------------------------- | ||
− | |||
===gfal-ls 등의 명령어를 사용할 때 No match 오류가 발생합니다 === | ===gfal-ls 등의 명령어를 사용할 때 No match 오류가 발생합니다 === | ||
Line 89: | Line 86: | ||
=== Storage Element 사용법이 너무 어려운데 좀 쉬운 방법이 없나요? === | === Storage Element 사용법이 너무 어려운데 좀 쉬운 방법이 없나요? === | ||
* [[uberftp|uberftp를 사용하세요. uberftp 사용법으로 바로 가기]] | * [[uberftp|uberftp를 사용하세요. uberftp 사용법으로 바로 가기]] | ||
− | + | * [[Uberftp|<u>uberftp에 치명적인 버그가 있습니다. 사용에 주의하세요</u>]] | |
=== root에서 SE에 저장된 Data에 바로 접근할 수 있나요? === | === root에서 SE에 저장된 Data에 바로 접근할 수 있나요? === | ||
Line 135: | Line 132: | ||
=== Local Disk에서 Storage Element 로 데이터를 전송할때 디렉토리까지 전송하고 싶습니다. 어떻게 해야하나요? === | === Local Disk에서 Storage Element 로 데이터를 전송할때 디렉토리까지 전송하고 싶습니다. 어떻게 해야하나요? === | ||
+ | |||
+ | gfal-copy에서 "-r" 옵션을 사용하면 디렉토리까지 전송할 수 있습니다. 자세한 내용은 아래 링크를 참고하세요. | ||
+ | |||
+ | [[Storage_Element_Tutorial#gfal-copy.EB.A5.BC_.EC.9D.B4.EC.9A.A9.ED.95.9C_.EB.94.94.EB.A0.89.ED.86.A0.EB.A6.AC_.EB.B3.B5.EC.82.AC|이곳을 클릭]] | ||
+ | |||
+ | === <u>Singularity SLC6 환경에서 myproxy 관련 명령어를 찾지 못한다는 오류가 발생합니다. 어떻게 해야하나요?</u> === | ||
+ | |||
+ | cmssw-slc6 명령어로 slc6 환경 진입후 다음과 같이 추가 환경설정을 해야 합니다. | ||
+ | Singularity> source /cvmfs/grid.cern.ch/emi-ui-3.7.3-1_sl6v2/etc/profile.d/setup-emi3-ui-example.sh |
Latest revision as of 01:31, 15 September 2022
Contents
- 1 Q & A
- 1.1 기본 shell을 변경하고 싶습니다.
- 1.2 윈도우에서 ssh를 사용하려면 어떻게 하나요??
- 1.3 자원현황을 확인하려면 어떻게 하나요?
- 1.4 gfal-ls 등의 명령어를 사용할 때 No match 오류가 발생합니다
- 1.5 crab3를 사용한 후 gfal-* 명령어들이 오류가 발생합니다
- 1.6 cmsenv 실행후 gfal-* 명령어들이 정상 동작 하지 않을때
- 1.7 lcg-ls 명령어로 1000개 이상의 파일 포함한 디렉토리의 내용일 읽을 수 없습니다.
- 1.8 Storage Element 사용법이 너무 어려운데 좀 쉬운 방법이 없나요?
- 1.9 root에서 SE에 저장된 Data에 바로 접근할 수 있나요?
- 1.10 Storage Element 를 사용하는데 갑자기 인증오류가 발생합니다. 어떻게 해야하나요?
- 1.11 Local Disk에서 Storage Element 로 데이터를 전송할때 디렉토리까지 전송하고 싶습니다. 어떻게 해야하나요?
- 1.12 Singularity SLC6 환경에서 myproxy 관련 명령어를 찾지 못한다는 오류가 발생합니다. 어떻게 해야하나요?
Q & A
기본 shell을 변경하고 싶습니다.
다음과 같이 chsh 명령어를 사용하세요.
$ chsh
윈도우에서 ssh를 사용하려면 어떻게 하나요??
- Putty(무료), SSH Secure Shell Client (프리웨어 또는 정식 서비스를 찾아 설치가능)
- SSH Secure Shell Client 예시 화면
자원현황을 확인하려면 어떻게 하나요?
현재 Storage Element의 여유 공간이 궁금하거나 CPU 사용현황이 궁금하신가요? knuinfo 명령어를 사용하세요. CPU자원 사용현황과 Storage Element의 현황을 확인할 수 있습니다.
$ knuinfo ----------------------------------------------------------------------------------------- CPU Free Total Jobs Running Waiting ComputingElement 1479 1343 701 17 0 ce01.knu.ac.kr:9619/ce01.knu.ac.kr-condor ----------------------------------------------------------------------------------------- Avail Space(kB) Used Space(kB) Type SE 261224347031 1177858052823 SRM cluster142.knu.ac.kr -----------------------------------------------------------------------------------------
gfal-ls 등의 명령어를 사용할 때 No match 오류가 발생합니다
$ gfal-ls -Hl srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/test/ gfal-ls: No match.
tcsh을 사용할 경우 SRM URL의 ?는 와일드카드로 인식되어 No match 오류가 발생하게 됩니다. 따라서 반드시 다음과 같이 "" 혹은 ' ' 을 사용해주셔야 합니다.
$ gfal-ls -Hl "srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/test/"
crab3를 사용한 후 gfal-* 명령어들이 오류가 발생합니다
source /cvmfs/cms.cern.ch/crab3/crab.sh 실행후에 gfal-* 명령어들이 오류가 발생합니다.
$ gfal-ls -Hl srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/test/test.transfer -rw-r--r-- 1 2 2 Oct 12 02:17 4.8M srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/test/test.transfer
$ source /cvmfs/cms.cern.ch/crab3/crab.sh
$ gfal-ls -Hl srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/test/test.transfer Could not find platform independent libraries <prefix> Could not find platform dependent libraries <exec_prefix> Consider setting $PYTHONHOME to <prefix>[:<exec_prefix>] 'import site' failed; use -v for traceback Traceback (most recent call last): File "/usr/bin/gfal-ls", line 8, in <module> from gfal2_util.shell import Gfal2Shell ImportError: No module named gfal2_util.shell
crab3 에서 사용하는 python 환경변수와 gfal-* 명령어들에 문제를 일으키기 때문입니다. gfal-* 명령어 앞에 " env --unset=LD_LIBRARY_PATH "을 넣어줌으로써 문제를 해결할 수 있습니다.
$ env --unset=LD_LIBRARY_PATH gfal-ls -Hl srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/test/test.transfer -rw-r--r-- 1 2 2 Oct 12 02:17 4.8M srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/test/test.transfer
cmsenv 실행후 gfal-* 명령어들이 정상 동작 하지 않을때
cmsenv 실행후에 다음과 같은 오류가 발생한다면
Failed to add IO tunnel (libgsiTunnel.so: cannot open shared object file: No such file or directory). Provider: [libgsiTunnel.so]. Error ( POLLIN) (with data) on control line [12] Failed to create a control line Failed open file in the dCache. gfal-copy: error: Input/output error
아래 명령을 먼저 실행해줌으로써 문제를 해결할 수 있습니다.
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/lib64/dcap
lcg-ls 명령어로 1000개 이상의 파일 포함한 디렉토리의 내용일 읽을 수 없습니다.
lcg-ls 명령어에는 한번에 1000개의 파일만 출력할 수 있는 제한이 있습니다. 그러나 --offset, --count 옵션의 조합을 통하여 그 다음 파일들을 읽을 수 있습니다.
ex) 500번째 파일부터 700개의 파일을 보고 싶을 경우
$lcg-ls --offset 500 --count 700 srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/(DestFoler)
Storage Element 사용법이 너무 어려운데 좀 쉬운 방법이 없나요?
root에서 SE에 저장된 Data에 바로 접근할 수 있나요?
dcap 프로토콜을 이용하여 가능합니다.
- 읽기 (dcap 프로토콜)
$ TFile *f = TFile::Open("dcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/(username)/test.root"); $
- 쓰기 (gsidcap 프로토콜, root 실행전 그리드 인증 필요)
$ voms-proxy-init --voms cms $ export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/lib64/dcap $ root -l root [0] TFile *f = TFile::Open("gsidcap://cluster142.knu.ac.kr:22128//pnfs/knu.ac.kr/data/cms/store/user/(username)/test.root", "RECREATE"); root [1] f->Close(); root [2] .q $
Storage Element 를 사용하는데 갑자기 인증오류가 발생합니다. 어떻게 해야하나요?
- 본인의 인증서가 만료되지는 않았는지 cms vo가 만료되지 않았는지 확인해야합니다.
- voms 인증 실행
$ voms-proxy-init --voms cms
- voms 인증 정보는 다음 명령어로 확인할 수 있습니다.
$ voms-proxy-info --all voms-proxy-info --all subject : /DC=ch/DC=cern/OU=Organic Units/OU=Users/CN=gdhong/CN=000000/CN=Gildong Hong/CN=00000000 issuer : /DC=ch/DC=cern/OU=Organic Units/OU=Users/CN=gdhong/CN=000000/CN=Gildong Hong identity : /DC=ch/DC=cern/OU=Organic Units/OU=Users/CN=gdhong/CN=000000/CN=Gildong Hong type : RFC3820 compliant impersonation proxy strength : 1024 path : /tmp/x509up_u77420 timeleft : 11:59:52 key usage : Digital Signature, Key Encipherment === VO cms extension information === VO : cms subject : /DC=ch/DC=cern/OU=Organic Units/OU=Users/CN=gdhong/CN=000000/CN=Gildong Hong issuer : /DC=ch/DC=cern/OU=computers/CN=voms2.cern.ch attribute : /cms/Role=NULL/Capability=NULL timeleft : 11:59:54 uri : voms2.cern.ch:15002
주의해야할 부분은 VO cms extension information 부분입니다. 만약 VO cms extension information 부분이 출력되지 않는다면 자신의 cms vo가 만료되었을 가능성이 높습니다. 갱신 하세요.
Local Disk에서 Storage Element 로 데이터를 전송할때 디렉토리까지 전송하고 싶습니다. 어떻게 해야하나요?
gfal-copy에서 "-r" 옵션을 사용하면 디렉토리까지 전송할 수 있습니다. 자세한 내용은 아래 링크를 참고하세요.
Singularity SLC6 환경에서 myproxy 관련 명령어를 찾지 못한다는 오류가 발생합니다. 어떻게 해야하나요?
cmssw-slc6 명령어로 slc6 환경 진입후 다음과 같이 추가 환경설정을 해야 합니다.
Singularity> source /cvmfs/grid.cern.ch/emi-ui-3.7.3-1_sl6v2/etc/profile.d/setup-emi3-ui-example.sh