From T3_KR_KNU
Jump to: navigation, search
(Storage Element 를 사용하는데 갑자기 인증오류가 발생합니다. 어떻게 해야하나요?)
(Singularity SLC6 환경에서 myproxy 관련 명령어를 찾지 못한다는 오류가 발생합니다. 어떻게 해야하나요?)
 
(8 intermediate revisions by the same user not shown)
Line 4: Line 4:
 
=== 기본 shell을 변경하고 싶습니다. ===
 
=== 기본 shell을 변경하고 싶습니다. ===
  
다음과 같이 ypchsh 명령어를 사용하세요.
+
다음과 같이 <u>chsh</u> 명령어를 사용하세요.
  $ ypchsh
+
  $ <u>chsh</u>
 
+
  
 
=== 윈도우에서 ssh를 사용하려면 어떻게 하나요?? ===
 
=== 윈도우에서 ssh를 사용하려면 어떻게 하나요?? ===
Line 21: Line 20:
 
  -----------------------------------------------------------------------------------------
 
  -----------------------------------------------------------------------------------------
 
     CPU   Free Total Jobs Running Waiting ComputingElement
 
     CPU   Free Total Jobs Running Waiting ComputingElement
     161     76         85     85       0 cluster118.knu.ac.kr:8443/cream-pbs-cms
+
  1479   1343       701     17       0 ce01.knu.ac.kr:9619/ce01.knu.ac.kr-condor
    496       8       606     488     118 cluster50.knu.ac.kr:8443/cream-pbs-cms
+
 
  -----------------------------------------------------------------------------------------
 
  -----------------------------------------------------------------------------------------
 
   Avail Space(kB)  Used Space(kB)  Type SE
 
   Avail Space(kB)  Used Space(kB)  Type SE
      86225577182    746439732494 SRM  cluster142.knu.ac.kr
+
    261224347031  1177858052823 SRM  cluster142.knu.ac.kr
 
  -----------------------------------------------------------------------------------------
 
  -----------------------------------------------------------------------------------------
 
  
 
===gfal-ls 등의 명령어를 사용할 때 No match 오류가 발생합니다 ===
 
===gfal-ls 등의 명령어를 사용할 때 No match 오류가 발생합니다 ===
Line 89: Line 86:
 
=== Storage Element 사용법이 너무 어려운데  좀 쉬운 방법이 없나요? ===
 
=== Storage Element 사용법이 너무 어려운데  좀 쉬운 방법이 없나요? ===
 
* [[uberftp|uberftp를 사용하세요. uberftp 사용법으로 바로 가기]]
 
* [[uberftp|uberftp를 사용하세요. uberftp 사용법으로 바로 가기]]
 
+
* [[Uberftp|<u>uberftp에 치명적인 버그가 있습니다. 사용에 주의하세요</u>]]
  
 
=== root에서 SE에 저장된 Data에 바로 접근할 수 있나요? ===
 
=== root에서 SE에 저장된 Data에 바로 접근할 수 있나요? ===
Line 135: Line 132:
  
 
=== Local Disk에서 Storage Element 로 데이터를 전송할때 디렉토리까지 전송하고 싶습니다. 어떻게 해야하나요? ===
 
=== Local Disk에서 Storage Element 로 데이터를 전송할때 디렉토리까지 전송하고 싶습니다. 어떻게 해야하나요? ===
 +
 +
gfal-copy에서 "-r" 옵션을 사용하면 디렉토리까지 전송할 수 있습니다. 자세한 내용은 아래 링크를 참고하세요.
 +
 +
[[Storage_Element_Tutorial#gfal-copy.EB.A5.BC_.EC.9D.B4.EC.9A.A9.ED.95.9C_.EB.94.94.EB.A0.89.ED.86.A0.EB.A6.AC_.EB.B3.B5.EC.82.AC|이곳을 클릭]]
 +
 +
===  <u>Singularity SLC6 환경에서 myproxy 관련 명령어를 찾지 못한다는 오류가 발생합니다. 어떻게 해야하나요?</u> ===
 +
 +
cmssw-slc6 명령어로 slc6 환경 진입후 다음과 같이 추가 환경설정을 해야 합니다.
 +
Singularity> source /cvmfs/grid.cern.ch/emi-ui-3.7.3-1_sl6v2/etc/profile.d/setup-emi3-ui-example.sh

Latest revision as of 01:31, 15 September 2022

Q & A

기본 shell을 변경하고 싶습니다.

다음과 같이 chsh 명령어를 사용하세요.

$ chsh

윈도우에서 ssh를 사용하려면 어떻게 하나요??


자원현황을 확인하려면 어떻게 하나요?

현재 Storage Element의 여유 공간이 궁금하거나 CPU 사용현황이 궁금하신가요? knuinfo 명령어를 사용하세요. CPU자원 사용현황과 Storage Element의 현황을 확인할 수 있습니다.

$ knuinfo
-----------------------------------------------------------------------------------------
    CPU	   Free	Total Jobs	Running	Waiting	ComputingElement
  1479	   1343	       701	     17	      0	ce01.knu.ac.kr:9619/ce01.knu.ac.kr-condor
-----------------------------------------------------------------------------------------
 Avail Space(kB)  Used Space(kB)  Type 	SE
   261224347031   1177858052823  SRM  	cluster142.knu.ac.kr
-----------------------------------------------------------------------------------------

gfal-ls 등의 명령어를 사용할 때 No match 오류가 발생합니다

$ gfal-ls -Hl srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/test/
gfal-ls: No match.

tcsh을 사용할 경우 SRM URL의 ?는 와일드카드로 인식되어 No match 오류가 발생하게 됩니다. 따라서 반드시 다음과 같이 "" 혹은 ' ' 을 사용해주셔야 합니다.

$ gfal-ls -Hl "srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/test/"


crab3를 사용한 후 gfal-* 명령어들이 오류가 발생합니다

source /cvmfs/cms.cern.ch/crab3/crab.sh 실행후에 gfal-* 명령어들이 오류가 발생합니다.

$ gfal-ls -Hl srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/test/test.transfer
-rw-r--r-- 1   2    2    Oct 12 02:17 4.8M srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/test/test.transfer
$ source /cvmfs/cms.cern.ch/crab3/crab.sh
$ gfal-ls -Hl srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/test/test.transfer
Could not find platform independent libraries <prefix>
Could not find platform dependent libraries <exec_prefix>
Consider setting $PYTHONHOME to <prefix>[:<exec_prefix>]
'import site' failed; use -v for traceback
Traceback (most recent call last):
  File "/usr/bin/gfal-ls", line 8, in <module>
    from gfal2_util.shell import Gfal2Shell
ImportError: No module named gfal2_util.shell

crab3 에서 사용하는 python 환경변수와 gfal-* 명령어들에 문제를 일으키기 때문입니다. gfal-* 명령어 앞에 " env --unset=LD_LIBRARY_PATH "을 넣어줌으로써 문제를 해결할 수 있습니다.

$ env --unset=LD_LIBRARY_PATH gfal-ls -Hl srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/test/test.transfer
-rw-r--r-- 1   2    2    Oct 12 02:17 4.8M srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/test/test.transfer


cmsenv 실행후 gfal-* 명령어들이 정상 동작 하지 않을때

cmsenv 실행후에 다음과 같은 오류가 발생한다면

Failed to add IO tunnel (libgsiTunnel.so: cannot open shared object file: No such file or directory). Provider: [libgsiTunnel.so].
Error ( POLLIN) (with data) on control line [12]
Failed to create a control line
Failed open file in the dCache.
gfal-copy: error: Input/output error 

아래 명령을 먼저 실행해줌으로써 문제를 해결할 수 있습니다.

export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/lib64/dcap


lcg-ls 명령어로 1000개 이상의 파일 포함한 디렉토리의 내용일 읽을 수 없습니다.

lcg-ls 명령어에는 한번에 1000개의 파일만 출력할 수 있는 제한이 있습니다. 그러나 --offset, --count 옵션의 조합을 통하여 그 다음 파일들을 읽을 수 있습니다.

ex) 500번째 파일부터 700개의 파일을 보고 싶을 경우

$lcg-ls --offset 500 --count 700 srm://cluster142.knu.ac.kr:8443/srm/managerv2?SFN=/pnfs/knu.ac.kr/data/cms/store/user/(DestFoler)


Storage Element 사용법이 너무 어려운데 좀 쉬운 방법이 없나요?

root에서 SE에 저장된 Data에 바로 접근할 수 있나요?

dcap 프로토콜을 이용하여 가능합니다.

  • 읽기 (dcap 프로토콜)
$ TFile *f = TFile::Open("dcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/(username)/test.root");
$
  • 쓰기 (gsidcap 프로토콜, root 실행전 그리드 인증 필요)
$ voms-proxy-init --voms cms
$ export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/lib64/dcap
$ root -l
root [0] TFile *f = TFile::Open("gsidcap://cluster142.knu.ac.kr:22128//pnfs/knu.ac.kr/data/cms/store/user/(username)/test.root", "RECREATE");
root [1] f->Close();
root [2] .q
$


Storage Element 를 사용하는데 갑자기 인증오류가 발생합니다. 어떻게 해야하나요?

  • 본인의 인증서가 만료되지는 않았는지 cms vo가 만료되지 않았는지 확인해야합니다.
  • voms 인증 실행
$ voms-proxy-init --voms cms
  • voms 인증 정보는 다음 명령어로 확인할 수 있습니다.
$ voms-proxy-info --all
voms-proxy-info --all
subject   : /DC=ch/DC=cern/OU=Organic Units/OU=Users/CN=gdhong/CN=000000/CN=Gildong Hong/CN=00000000
issuer    : /DC=ch/DC=cern/OU=Organic Units/OU=Users/CN=gdhong/CN=000000/CN=Gildong Hong
identity  : /DC=ch/DC=cern/OU=Organic Units/OU=Users/CN=gdhong/CN=000000/CN=Gildong Hong
type      : RFC3820 compliant impersonation proxy
strength  : 1024
path      : /tmp/x509up_u77420
timeleft  : 11:59:52
key usage : Digital Signature, Key Encipherment
=== VO cms extension information ===
VO        : cms
subject   : /DC=ch/DC=cern/OU=Organic Units/OU=Users/CN=gdhong/CN=000000/CN=Gildong Hong
issuer    : /DC=ch/DC=cern/OU=computers/CN=voms2.cern.ch
attribute : /cms/Role=NULL/Capability=NULL
timeleft  : 11:59:54
uri       : voms2.cern.ch:15002

주의해야할 부분은 VO cms extension information 부분입니다. 만약 VO cms extension information 부분이 출력되지 않는다면 자신의 cms vo가 만료되었을 가능성이 높습니다. 갱신 하세요.


Local Disk에서 Storage Element 로 데이터를 전송할때 디렉토리까지 전송하고 싶습니다. 어떻게 해야하나요?

gfal-copy에서 "-r" 옵션을 사용하면 디렉토리까지 전송할 수 있습니다. 자세한 내용은 아래 링크를 참고하세요.

이곳을 클릭

Singularity SLC6 환경에서 myproxy 관련 명령어를 찾지 못한다는 오류가 발생합니다. 어떻게 해야하나요?

cmssw-slc6 명령어로 slc6 환경 진입후 다음과 같이 추가 환경설정을 해야 합니다.

Singularity> source /cvmfs/grid.cern.ch/emi-ui-3.7.3-1_sl6v2/etc/profile.d/setup-emi3-ui-example.sh