Uberftp - Revision history

Hanbi: /* 파일이 삭제되는 버그가 있습니다. 사용에 주의하세요 */

2021-05-17T08:02:26Z

파일이 삭제되는 버그가 있습니다. 사용에 주의하세요

← Older revision		Revision as of 08:02, 17 May 2021
Line 2:		Line 2:

	* https://ggus.eu/?mode=ticket_info&ticket_id=129103		* https://ggus.eu/?mode=ticket_info&ticket_id=129103
	* 대상 파일이 이미 존재하여 파일 전송이 실패하는 경우 ~~대상파일을~~ 삭제되는 버그가 있습니다.		* 대상 파일이 이미 존재하여 파일 전송이 실패하는 경우 대상파일이 삭제되는 버그가 있습니다.
	* UI에서 uberftp는 버그가 해결된 버전이 나올때 까지 삭제됩니다.		* UI에서 uberftp는 버그가 해결된 버전이 나올때 까지 삭제됩니다.

Hanbi at 08:02, 17 May 2021

2021-05-17T08:02:01Z

← Older revision		Revision as of 08:02, 17 May 2021
Line 1:		Line 1:
			== <span style="color:#FF0000">'''파일이 삭제되는 버그가 있습니다. 사용에 주의하세요'''</span> ==

			* https://ggus.eu/?mode=ticket_info&ticket_id=129103
			* 대상 파일이 이미 존재하여 파일 전송이 실패하는 경우 대상파일을 삭제되는 버그가 있습니다.
			* UI에서 uberftp는 버그가 해결된 버전이 나올때 까지 삭제됩니다.

	==uberftp 사용법==		==uberftp 사용법==

Hanbi: /* uberftp 의 단점 */

2016-05-03T08:53:04Z

uberftp 의 단점

← Older revision		Revision as of 08:53, 3 May 2016
Line 67:		Line 67:

	== uberftp 의 단점 ==		== uberftp 의 단점 ==
	* 병렬 전송을 지원하지 않습니다. 때문에 원거리 데이터 전송에서는 병렬 전송을 지원하는 프로그램과 비교하여 전송속도가 느릴수 있습니다.		* 병렬 전송을 지원하지 않습니다. 때문에 원거리 데이터 전송에서는 병렬 전송을 지원하는 프로그램과 비교하여 상대적으로 전송속도가 느릴수 있습니다.

	== uberftp 사용시 주의 사항 ==		== uberftp 사용시 주의 사항 ==

Hanbi at 04:34, 12 October 2015

2015-10-12T04:34:58Z

← Older revision		Revision as of 04:34, 12 October 2015
Line 13:		Line 13:
	interactive 모드의 경우에는 과거에 혹시 ftp client를 사용하신 경험이 있다면 쉽게 이해하실수 있을 거라고 생각되는데		interactive 모드의 경우에는 과거에 혹시 ftp client를 사용하신 경험이 있다면 쉽게 이해하실수 있을 거라고 생각되는데
	긴 srm url를 입력할 필요없이 서버명으로 접속가능하며 cd 명령어로 디렉토리를 오가면서 데이터 전송이나 업로드 작업을 진행할 수 있습니다.		긴 srm url를 입력할 필요없이 서버명으로 접속가능하며 cd 명령어로 디렉토리를 오가면서 데이터 전송이나 업로드 작업을 진행할 수 있습니다.

			사용자 홈디렉토리는 /pnfs/knu.ac.kr/data/cms/store/user/"CERN ID" 입니다. 경북대 ID가 아니라 CERN ID임을 유의해주십시요. <br>
			혹시 본인의 디렉토리가 생성되지 않았다면 lcg_knu@knu.ac.kr 로 연락주세요.

	$ uberftp cluster142.knu.ac.kr		$ uberftp cluster142.knu.ac.kr

Hanbi: /* uberftp 의 단점 */

2015-10-12T04:23:32Z

uberftp 의 단점

← Older revision		Revision as of 04:23, 12 October 2015
Line 65:		Line 65:
	== uberftp 의 단점 ==		== uberftp 의 단점 ==
	* 병렬 전송을 지원하지 않습니다. 때문에 원거리 데이터 전송에서는 병렬 전송을 지원하는 프로그램과 비교하여 전송속도가 느릴수 있습니다.		* 병렬 전송을 지원하지 않습니다. 때문에 원거리 데이터 전송에서는 병렬 전송을 지원하는 프로그램과 비교하여 전송속도가 느릴수 있습니다.
	* "-r" 옵션은 장점이기도 하지만 단점이 될수도 있습니다. 한번 삭제된 데이터는 돌이킬 수 없으니 항상 삭제는 주의가 필요합니다.

	== uberftp 사용시 주의 사항 ==		== uberftp 사용시 주의 사항 ==

Hanbi: /* uberftp 의 단점 */

2015-10-12T04:23:09Z

uberftp 의 단점

← Older revision		Revision as of 04:23, 12 October 2015
Line 65:		Line 65:
	== uberftp 의 단점 ==		== uberftp 의 단점 ==
	* 병렬 전송을 지원하지 않습니다. 때문에 원거리 데이터 전송에서는 병렬 전송을 지원하는 프로그램과 비교하여 전송속도가 느릴수 있습니다.		* 병렬 전송을 지원하지 않습니다. 때문에 원거리 데이터 전송에서는 병렬 전송을 지원하는 프로그램과 비교하여 전송속도가 느릴수 있습니다.
			* "-r" 옵션은 장점이기도 하지만 단점이 될수도 있습니다. 한번 삭제된 데이터는 돌이킬 수 없으니 항상 삭제는 주의가 필요합니다.

	== uberftp 사용시 주의 사항 ==		== uberftp 사용시 주의 사항 ==

Hanbi: Created page with "==uberftp 사용법== uberftp는 Grid 환경에서 Storege Element를 일반 ftp client 처럼 쉽게 사용할수 있는 툴입니다. 그리드 인증기반의 프로그..."

2015-10-08T10:38:49Z

Created page with "==uberftp 사용법== uberftp는 Grid 환경에서 Storege Element를 일반 ftp client 처럼 쉽게 사용할수 있는 툴입니다. 그리드 인증기반의 프로그..."

New page

==uberftp 사용법==

uberftp는 Grid 환경에서 Storege Element를 일반 ftp client 처럼 쉽게 사용할수 있는 툴입니다.

그리드 인증기반의 프로그램이므로 사용하기전에 반드시 다음과 같이 인증절차를 진행해야 합니다.
$ voms-proxy-init --voms cms

uberftp는 interactive 모드, 혹은 command line 모드로 사용가능합니다.

* Interactive 모드
$ uberftp cluster142.knu.ac.kr

interactive 모드의 경우에는 과거에 혹시 ftp client를 사용하신 경험이 있다면 쉽게 이해하실수 있을 거라고 생각되는데
긴 srm url를 입력할 필요없이 서버명으로 접속가능하며 cd 명령어로 디렉토리를 오가면서 데이터 전송이나 업로드 작업을 진행할 수 있습니다.

$ uberftp cluster142.knu.ac.kr
220 GSI FTP door ready
200 User :globus-mapping: logged in
UberFTP (2.8)> cd /pnfs/knu.ac.kr/data/cms/store/user/testid
UberFTP (2.8)> ls
drwx------ 1 testid testid 512 11? 30 2012 CMSSW_1_6_12
-r-------- 1 testid testid 546 11? 30 2012 histograms_7.root
-r-------- 1 testid testid 22018 11? 30 2012 output_3.root
-r-------- 1 testid testid 21673 11? 30 2012 output_2.root
-r-------- 1 testid testid 546 11? 30 2012 histograms_6.root
-r-------- 1 testid testid 22018 11? 30 2012 output_6.root
-r-------- 1 testid testid 22018 11? 30 2012 output_9.root

* Command line 모드
$ uberftp cluster142.knu.ac.kr "ls /pnfs/knu.ac.kr/data/cms/store/user/(userid)"

command line 모드에서는 다음과 같이 한줄의 명령어로 즉각적인 결과를 확인할 수 있습니다.

$ uberftp cluster142.knu.ac.kr "ls /pnfs/knu.ac.kr/data/cms/store/user/testid"
220 GSI FTP door ready
200 User :globus-mapping: logged in
drwx------ 1 testid testid 512 11? 30 2012 CMSSW_1_6_12
-r-------- 1 testid testid 546 11? 30 2012 histograms_7.root
-r-------- 1 testid testid 22018 11? 30 2012 output_3.root
-r-------- 1 testid testid 21673 11? 30 2012 output_2.root
-r-------- 1 testid testid 546 11? 30 2012 histograms_6.root
-r-------- 1 testid testid 22018 11? 30 2012 output_6.root
-r-------- 1 testid testid 22018 11? 30 2012 output_9.root
-r-------- 1 testid testid 546 11? 30 2012 histograms_3.root

== uberftp 의 장점 ==

* "?" 나 "*" 와 같은 와일드 카드가 사용 가능합니다.
UberFTP (2.8)> ls output_?.root
-rw-r--r-- 77420 1399 22018 Dec 1 07:06 output_3.root
-rw-r--r-- 77420 1399 21673 Dec 1 07:06 output_2.root
-rw-r--r-- 77420 1399 22018 Dec 1 07:06 output_6.root

* 파일을 받고 올릴때 "-r" 옵션을 주면 디렉토리를 그대로 업로드 할 수 있습니다.
$ get -r directory

$ put -r directory

* 디렉토리 삭제도 가능합니다.
$ rm -r directory

* 1000개 파일 제한 문제가 없습니다.
lcg-ls나 gfal-ls 명령을 사용할 때 해당 디렉토리에 1000개 이상의 파일이 존재한다면, 한번에 1000개 이상의 파일을 리스트 할수 없는 제한이 있는데 uberftp에는 그런 제한이 없습니다.

== uberftp 의 단점 ==
* 병렬 전송을 지원하지 않습니다. 때문에 원거리 데이터 전송에서는 병렬 전송을 지원하는 프로그램과 비교하여 전송속도가 느릴수 있습니다.

== uberftp 사용시 주의 사항 ==

* "-r" 옵션으로 데이터를 대량으로 삭제할때 해당 디렉토리를 반드시 확인해주세요. 한번 삭제한 데이터는 되돌릴 수 없습니다.
* 대량으로 파일들을 올리고 받을때는 디스크 여유공간과 업로드할 데이터의 크기를 사전에 반드시 확인해 주시기 바랍니다. 의도치 않게 디스크 여유 공간보다 많은 데이터를 전송할수 있습니다.
* [[Q%26A#.EC.9E.90.EC.9B.90.ED.98.84.ED.99.A9.EC.9D.84_.ED.99.95.EC.9D.B8.ED.95.98.EB.A0.A4.EB.A9.B4_.EC.96.B4.EB.96.BB.EA.B2.8C_.ED.95.98.EB.82.98.EC.9A.94.3F|Storage Element의 여유 공간을 확인하는 방법을 모르신다면 클릭]]

== help 명령 사용하기 ==
자세한 사용법은 help 명령을 통해서 확인할수 있습니다.
UberFTP (2.8)> help
Usage "help [topic]" where topic is one of:
! ? active ascii binary
blksize bugs bye cat cd
cdup chgrp chmod cksum cos
close dcau debug dir family
get glob hash help keepalive
lcat lcd lcdup lchgrp lchmod
lclose ldir link llink lls
llscos llsfam lmkdir lopen lpwd
lquote lrename lrm lrmdir ls
lscos lsfam lsize lstage lsymlink
mget mkdir mode mput open
order parallel passive pbsz pget
pput prot put pwd quit
quote rename resume retry rm
rmdir runique size stage sunique
symlink tcpbuf versions wait

파일을 업로드하는 put 명령어 대한 자세한 도움말을 확인해봅시다.
UberFTP (2.8)> help put
Store file(s) to the remote service. If <source> implies multiple
transfers, either through regular expressions or by using the recursive
feature, then [destination] must be a directory. If [destination] is not
specified, <source> is used.

Usage: put [-r] <source> [destination]
-r Recursively transfer the given directory.