From T3_KR_KNU
Jump to: navigation, search
(lcg-ls 명령어로 1000개 이상의 파일 포함한 디렉토리의 내용일 읽을 수 없습니다.)
(Singularity SLC6 환경에서 myproxy 관련 명령어를 찾지 못한다는 오류가 발생합니다. 어떻게 해야하나요?)
 
(11 intermediate revisions by the same user not shown)
Line 4: Line 4:
 
=== 기본 shell을 변경하고 싶습니다. ===
 
=== 기본 shell을 변경하고 싶습니다. ===
  
다음과 같이 ypchsh 명령어를 사용하세요.
+
다음과 같이 <u>chsh</u> 명령어를 사용하세요.
  $ ypchsh
+
  $ <u>chsh</u>
 
+
  
 
=== 윈도우에서 ssh를 사용하려면 어떻게 하나요?? ===
 
=== 윈도우에서 ssh를 사용하려면 어떻게 하나요?? ===
Line 21: Line 20:
 
  -----------------------------------------------------------------------------------------
 
  -----------------------------------------------------------------------------------------
 
     CPU   Free Total Jobs Running Waiting ComputingElement
 
     CPU   Free Total Jobs Running Waiting ComputingElement
     161     76         85     85       0 cluster118.knu.ac.kr:8443/cream-pbs-cms
+
  1479   1343       701     17       0 ce01.knu.ac.kr:9619/ce01.knu.ac.kr-condor
    496       8       606     488     118 cluster50.knu.ac.kr:8443/cream-pbs-cms
+
 
  -----------------------------------------------------------------------------------------
 
  -----------------------------------------------------------------------------------------
 
   Avail Space(kB)  Used Space(kB)  Type SE
 
   Avail Space(kB)  Used Space(kB)  Type SE
      86225577182    746439732494 SRM  cluster142.knu.ac.kr
+
    261224347031  1177858052823 SRM  cluster142.knu.ac.kr
 
  -----------------------------------------------------------------------------------------
 
  -----------------------------------------------------------------------------------------
 
  
 
===gfal-ls 등의 명령어를 사용할 때 No match 오류가 발생합니다 ===
 
===gfal-ls 등의 명령어를 사용할 때 No match 오류가 발생합니다 ===
Line 85: Line 82:
 
ex) 500번째 파일부터 700개의 파일을 보고 싶을 경우
 
ex) 500번째 파일부터 700개의 파일을 보고 싶을 경우
 
  $lcg-ls --offset 500 --count 700 srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/(DestFoler)
 
  $lcg-ls --offset 500 --count 700 srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/(DestFoler)
 +
  
 
=== Storage Element 사용법이 너무 어려운데  좀 쉬운 방법이 없나요? ===
 
=== Storage Element 사용법이 너무 어려운데  좀 쉬운 방법이 없나요? ===
 
* [[uberftp|uberftp를 사용하세요. uberftp 사용법으로 바로 가기]]
 
* [[uberftp|uberftp를 사용하세요. uberftp 사용법으로 바로 가기]]
 
+
* [[Uberftp|<u>uberftp에 치명적인 버그가 있습니다. 사용에 주의하세요</u>]]
  
 
=== root에서 SE에 저장된 Data에 바로 접근할 수 있나요? ===
 
=== root에서 SE에 저장된 Data에 바로 접근할 수 있나요? ===
Line 103: Line 101:
 
  root [2] .q
 
  root [2] .q
 
  $
 
  $
 +
  
 
=== Storage Element 를 사용하는데 갑자기 인증오류가 발생합니다. 어떻게 해야하나요? ===
 
=== Storage Element 를 사용하는데 갑자기 인증오류가 발생합니다. 어떻게 해야하나요? ===
Line 130: Line 129:
  
 
주의해야할 부분은 VO cms extension information 부분입니다. 만약 VO cms extension information 부분이 출력되지 않는다면 자신의 cms vo가 만료되었을 가능성이 높습니다. 갱신 하세요.
 
주의해야할 부분은 VO cms extension information 부분입니다. 만약 VO cms extension information 부분이 출력되지 않는다면 자신의 cms vo가 만료되었을 가능성이 높습니다. 갱신 하세요.
 +
 +
 +
=== Local Disk에서 Storage Element 로 데이터를 전송할때 디렉토리까지 전송하고 싶습니다. 어떻게 해야하나요? ===
 +
 +
gfal-copy에서 "-r" 옵션을 사용하면 디렉토리까지 전송할 수 있습니다. 자세한 내용은 아래 링크를 참고하세요.
 +
 +
[[Storage_Element_Tutorial#gfal-copy.EB.A5.BC_.EC.9D.B4.EC.9A.A9.ED.95.9C_.EB.94.94.EB.A0.89.ED.86.A0.EB.A6.AC_.EB.B3.B5.EC.82.AC|이곳을 클릭]]
 +
 +
===  <u>Singularity SLC6 환경에서 myproxy 관련 명령어를 찾지 못한다는 오류가 발생합니다. 어떻게 해야하나요?</u> ===
 +
 +
cmssw-slc6 명령어로 slc6 환경 진입후 다음과 같이 추가 환경설정을 해야 합니다.
 +
Singularity> source /cvmfs/grid.cern.ch/emi-ui-3.7.3-1_sl6v2/etc/profile.d/setup-emi3-ui-example.sh

Latest revision as of 01:31, 15 September 2022

Q & A

기본 shell을 변경하고 싶습니다.

다음과 같이 chsh 명령어를 사용하세요.

$ chsh

윈도우에서 ssh를 사용하려면 어떻게 하나요??


자원현황을 확인하려면 어떻게 하나요?

현재 Storage Element의 여유 공간이 궁금하거나 CPU 사용현황이 궁금하신가요? knuinfo 명령어를 사용하세요. CPU자원 사용현황과 Storage Element의 현황을 확인할 수 있습니다.

$ knuinfo
-----------------------------------------------------------------------------------------
    CPU	   Free	Total Jobs	Running	Waiting	ComputingElement
  1479	   1343	       701	     17	      0	ce01.knu.ac.kr:9619/ce01.knu.ac.kr-condor
-----------------------------------------------------------------------------------------
 Avail Space(kB)  Used Space(kB)  Type 	SE
   261224347031   1177858052823  SRM  	cluster142.knu.ac.kr
-----------------------------------------------------------------------------------------

gfal-ls 등의 명령어를 사용할 때 No match 오류가 발생합니다

$ gfal-ls -Hl srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/test/
gfal-ls: No match.

tcsh을 사용할 경우 SRM URL의 ?는 와일드카드로 인식되어 No match 오류가 발생하게 됩니다. 따라서 반드시 다음과 같이 "" 혹은 ' ' 을 사용해주셔야 합니다.

$ gfal-ls -Hl "srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/test/"


crab3를 사용한 후 gfal-* 명령어들이 오류가 발생합니다

source /cvmfs/cms.cern.ch/crab3/crab.sh 실행후에 gfal-* 명령어들이 오류가 발생합니다.

$ gfal-ls -Hl srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/test/test.transfer
-rw-r--r-- 1   2    2    Oct 12 02:17 4.8M srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/test/test.transfer
$ source /cvmfs/cms.cern.ch/crab3/crab.sh
$ gfal-ls -Hl srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/test/test.transfer
Could not find platform independent libraries <prefix>
Could not find platform dependent libraries <exec_prefix>
Consider setting $PYTHONHOME to <prefix>[:<exec_prefix>]
'import site' failed; use -v for traceback
Traceback (most recent call last):
  File "/usr/bin/gfal-ls", line 8, in <module>
    from gfal2_util.shell import Gfal2Shell
ImportError: No module named gfal2_util.shell

crab3 에서 사용하는 python 환경변수와 gfal-* 명령어들에 문제를 일으키기 때문입니다. gfal-* 명령어 앞에 " env --unset=LD_LIBRARY_PATH "을 넣어줌으로써 문제를 해결할 수 있습니다.

$ env --unset=LD_LIBRARY_PATH gfal-ls -Hl srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/test/test.transfer
-rw-r--r-- 1   2    2    Oct 12 02:17 4.8M srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/test/test.transfer


cmsenv 실행후 gfal-* 명령어들이 정상 동작 하지 않을때

cmsenv 실행후에 다음과 같은 오류가 발생한다면

Failed to add IO tunnel (libgsiTunnel.so: cannot open shared object file: No such file or directory). Provider: [libgsiTunnel.so].
Error ( POLLIN) (with data) on control line [12]
Failed to create a control line
Failed open file in the dCache.
gfal-copy: error: Input/output error 

아래 명령을 먼저 실행해줌으로써 문제를 해결할 수 있습니다.

export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/lib64/dcap


lcg-ls 명령어로 1000개 이상의 파일 포함한 디렉토리의 내용일 읽을 수 없습니다.

lcg-ls 명령어에는 한번에 1000개의 파일만 출력할 수 있는 제한이 있습니다. 그러나 --offset, --count 옵션의 조합을 통하여 그 다음 파일들을 읽을 수 있습니다.

ex) 500번째 파일부터 700개의 파일을 보고 싶을 경우

$lcg-ls --offset 500 --count 700 srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/(DestFoler)


Storage Element 사용법이 너무 어려운데 좀 쉬운 방법이 없나요?

root에서 SE에 저장된 Data에 바로 접근할 수 있나요?

dcap 프로토콜을 이용하여 가능합니다.

  • 읽기 (dcap 프로토콜)
$ TFile *f = TFile::Open("dcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/(username)/test.root");
$
  • 쓰기 (gsidcap 프로토콜, root 실행전 그리드 인증 필요)
$ voms-proxy-init --voms cms
$ export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/lib64/dcap
$ root -l
root [0] TFile *f = TFile::Open("gsidcap://cluster142.knu.ac.kr:22128//pnfs/knu.ac.kr/data/cms/store/user/(username)/test.root", "RECREATE");
root [1] f->Close();
root [2] .q
$


Storage Element 를 사용하는데 갑자기 인증오류가 발생합니다. 어떻게 해야하나요?

  • 본인의 인증서가 만료되지는 않았는지 cms vo가 만료되지 않았는지 확인해야합니다.
  • voms 인증 실행
$ voms-proxy-init --voms cms
  • voms 인증 정보는 다음 명령어로 확인할 수 있습니다.
$ voms-proxy-info --all
voms-proxy-info --all
subject   : /DC=ch/DC=cern/OU=Organic Units/OU=Users/CN=gdhong/CN=000000/CN=Gildong Hong/CN=00000000
issuer    : /DC=ch/DC=cern/OU=Organic Units/OU=Users/CN=gdhong/CN=000000/CN=Gildong Hong
identity  : /DC=ch/DC=cern/OU=Organic Units/OU=Users/CN=gdhong/CN=000000/CN=Gildong Hong
type      : RFC3820 compliant impersonation proxy
strength  : 1024
path      : /tmp/x509up_u77420
timeleft  : 11:59:52
key usage : Digital Signature, Key Encipherment
=== VO cms extension information ===
VO        : cms
subject   : /DC=ch/DC=cern/OU=Organic Units/OU=Users/CN=gdhong/CN=000000/CN=Gildong Hong
issuer    : /DC=ch/DC=cern/OU=computers/CN=voms2.cern.ch
attribute : /cms/Role=NULL/Capability=NULL
timeleft  : 11:59:54
uri       : voms2.cern.ch:15002

주의해야할 부분은 VO cms extension information 부분입니다. 만약 VO cms extension information 부분이 출력되지 않는다면 자신의 cms vo가 만료되었을 가능성이 높습니다. 갱신 하세요.


Local Disk에서 Storage Element 로 데이터를 전송할때 디렉토리까지 전송하고 싶습니다. 어떻게 해야하나요?

gfal-copy에서 "-r" 옵션을 사용하면 디렉토리까지 전송할 수 있습니다. 자세한 내용은 아래 링크를 참고하세요.

이곳을 클릭

Singularity SLC6 환경에서 myproxy 관련 명령어를 찾지 못한다는 오류가 발생합니다. 어떻게 해야하나요?

cmssw-slc6 명령어로 slc6 환경 진입후 다음과 같이 추가 환경설정을 해야 합니다.

Singularity> source /cvmfs/grid.cern.ch/emi-ui-3.7.3-1_sl6v2/etc/profile.d/setup-emi3-ui-example.sh