From T3_KR_KNU
(→Job submit example 1) |
(→create-batch 사용) |
||
(12 intermediate revisions by the same user not shown) | |||
Line 2: | Line 2: | ||
=== Tier-3 UI 접속하기 === | === Tier-3 UI 접속하기 === | ||
− | 다음과 같이 터미널을 열어서 원격로그인(SSH)으로 접속합니다 | + | 다음과 같이 터미널을 열어서 원격로그인(SSH)으로 접속합니다. |
− | ssh -X username@kcms-t3.knu.ac.kr( or username@ | + | ssh -X username@kcms-t3.knu.ac.kr( or username@kcms-t2..knu.ac.kr) |
=== CPU 현황 확인 === | === CPU 현황 확인 === | ||
Line 11: | Line 11: | ||
----------------------------------------------------------------------------------------- | ----------------------------------------------------------------------------------------- | ||
CPU Free Total Jobs Running Waiting ComputingElement | CPU Free Total Jobs Running Waiting ComputingElement | ||
− | + | <span style="color:#FF0000">161 39 122 122 0 cluster118.knu.ac.kr:8443/cream-pbs-cms</span> | |
− | + | ||
----------------------------------------------------------------------------------------- | ----------------------------------------------------------------------------------------- | ||
Avail Space(kB) Used Space(kB) Type SE | Avail Space(kB) Used Space(kB) Type SE | ||
78367304438 754298005237 SRM cluster142.knu.ac.kr | 78367304438 754298005237 SRM cluster142.knu.ac.kr | ||
----------------------------------------------------------------------------------------- | ----------------------------------------------------------------------------------------- | ||
+ | |||
+ | === Queue의 종류 === | ||
+ | [[Tier3BatchQueueInfo|Tier3 batch farm에서 사용할 수 있는 Queue들]] | ||
=== Job submit === | === Job submit === | ||
Line 26: | Line 28: | ||
전체 작업현황을 확인하려면 다음과 같이 실행하면 됩니다. | 전체 작업현황을 확인하려면 다음과 같이 실행하면 됩니다. | ||
qstat | qstat | ||
+ | |||
+ | or | ||
+ | |||
+ | $ qstatall | ||
+ | Total Jobs: 1971, R: 731, Q: 1238 | ||
+ | |||
+ | or | ||
+ | |||
+ | $ qstatall -a | ||
+ | ... | ||
+ | 3197189.cluster118 cream_027797206 pilcms29 0 Q cms | ||
+ | 3197190.cluster118 cream_739289363 pilcms29 0 Q cms | ||
+ | 3197191.cluster118 cream_352171042 pilcms29 0 Q cms | ||
+ | 3197192.cluster118 cream_947647995 pilcms29 0 Q cms | ||
+ | Total Jobs: 1971, R: 731, Q: 1238 | ||
작업들 중 자신의 작업의 상태를 확인하려면 | 작업들 중 자신의 작업의 상태를 확인하려면 | ||
qstat | grep `whoami` | qstat | grep `whoami` | ||
+ | |||
+ | or | ||
+ | |||
+ | qstat -u `whoami` | ||
+ | |||
+ | or | ||
+ | |||
+ | $ myqstat | ||
+ | Total Jobs: 1019, R: 190, Q: 829 | ||
+ | |||
+ | or | ||
+ | |||
+ | $myqstat -a | ||
+ | ... | ||
+ | 3197176.cluster118 run.sh hanbi 0 Q cms | ||
+ | 3197177.cluster118 run.sh hanbi 0 Q cms | ||
+ | 3197178.cluster118 run.sh hanbi 0 Q cms | ||
+ | 3197179.cluster118 run.sh hanbi 0 Q cms | ||
+ | 3197180.cluster118 run.sh hanbi 0 Q cms | ||
+ | 3197181.cluster118 run.sh hanbi 0 Q cms | ||
+ | 3197182.cluster118 run.sh hanbi 0 Q cms | ||
+ | Total Jobs: 1019, R: 190, Q: 829 | ||
=== Job 삭제 === | === Job 삭제 === | ||
submit 한 작업을 중간에 취소하기 위해서는 "qdel" 명령을 사용합니다. | submit 한 작업을 중간에 취소하기 위해서는 "qdel" 명령을 사용합니다. | ||
qdel <JOBID> | qdel <JOBID> | ||
+ | |||
+ | 모든 내 작업을 삭제하려면 다음 명령을 사용합니다. | ||
+ | |||
+ | myqdelall | ||
=== Job submit example 1 === | === Job submit example 1 === | ||
Line 64: | Line 107: | ||
./createjobs.sh jobname #event #job #submitjob cfgfilename nameofcluster | ./createjobs.sh jobname #event #job #submitjob cfgfilename nameofcluster | ||
+ | |||
+ | === create-batch 사용 === | ||
+ | |||
+ | * [[Create-batch|create-batch 사용법으로 가기]] |
Latest revision as of 04:36, 11 December 2018
Contents
Torque Batch System 사용법
Tier-3 UI 접속하기
다음과 같이 터미널을 열어서 원격로그인(SSH)으로 접속합니다.
ssh -X username@kcms-t3.knu.ac.kr( or username@kcms-t2..knu.ac.kr)
CPU 현황 확인
Batch Job을 submit 하기전 CPU 슬롯의 현황을 확인하려면 "knuinfo" 명령어를 사용합니다. cluster118.knu.ac.kr 이 Tier3 Farm의 Computing Element 입니다.
$ knuinfo
-----------------------------------------------------------------------------------------
CPU Free Total Jobs Running Waiting ComputingElement
161 39 122 122 0 cluster118.knu.ac.kr:8443/cream-pbs-cms
-----------------------------------------------------------------------------------------
Avail Space(kB) Used Space(kB) Type SE
78367304438 754298005237 SRM cluster142.knu.ac.kr
-----------------------------------------------------------------------------------------
Queue의 종류
Tier3 batch farm에서 사용할 수 있는 Queue들
Job submit
Job submit을 위해서는 다음과 같이 "qsub" 명령어를 사용합니다.
qsub -q cms test.sh
Job 상태 확인
작업의 상태 확인을 위해서는 "qstat"명령을 사용합니다.
전체 작업현황을 확인하려면 다음과 같이 실행하면 됩니다.
qstat
or
$ qstatall Total Jobs: 1971, R: 731, Q: 1238
or
$ qstatall -a ... 3197189.cluster118 cream_027797206 pilcms29 0 Q cms 3197190.cluster118 cream_739289363 pilcms29 0 Q cms 3197191.cluster118 cream_352171042 pilcms29 0 Q cms 3197192.cluster118 cream_947647995 pilcms29 0 Q cms Total Jobs: 1971, R: 731, Q: 1238
작업들 중 자신의 작업의 상태를 확인하려면
qstat | grep `whoami`
or
qstat -u `whoami`
or
$ myqstat Total Jobs: 1019, R: 190, Q: 829
or
$myqstat -a ... 3197176.cluster118 run.sh hanbi 0 Q cms 3197177.cluster118 run.sh hanbi 0 Q cms 3197178.cluster118 run.sh hanbi 0 Q cms 3197179.cluster118 run.sh hanbi 0 Q cms 3197180.cluster118 run.sh hanbi 0 Q cms 3197181.cluster118 run.sh hanbi 0 Q cms 3197182.cluster118 run.sh hanbi 0 Q cms Total Jobs: 1019, R: 190, Q: 829
Job 삭제
submit 한 작업을 중간에 취소하기 위해서는 "qdel" 명령을 사용합니다.
qdel <JOBID>
모든 내 작업을 삭제하려면 다음 명령을 사용합니다.
myqdelall
Job submit example 1
$ cat job_submit.sh #!/bin/bash qsub -q cms \ -o /dev/null -e /u/user/<userid>/<work_dir> \ -l walltime=48:00:00,cput=48:00:00 \ -N b-tagging \ run.sh
- "-o" 옵션은 stdout 파일이 저장될 위치를 지정합니다. default 값은 job을 submit한 현재 디렉토리입니다. stdout 파일의 확인이 불필요하다면 /dev/null로 지정하면 저장되지 않습니다.
- "-e" 옵션은 stderr 파일지 저장될 위치를 지정합니다. default 값은 job을 submit한 현재 디렉토리입니다.
- "-N" 옵션은 Batch Job 이름을 지정합니다.
- "-l walltime=72:00:00,cput=48:00:00" 옵션은 작업의 최대 실행 시간을 지정합니다.
$ cat run.sh #!/bin/bash export SCRAM_ARCH=slc5_amd64_gcc491 source /cvmfs/cms.cern.ch/cmsset_default.sh cd /cmsdas/scratch/swlee/DAS/CMSSW_7_4_6_patch6/src/CMSDAS2015/BTaggingExercise/test/ eval `scramv1 runtime -sh` cmsRun runBTaggingExerciseIPartI_cfg.py
$ ./job_submit.sh
Job submit example 2
- Job submit 스크립트 예제 파일입니다. 참고하시기 바랍니다.
http://www.physics.purdue.edu/Tier2/files/job_template_cmssw.txt http://www.physics.purdue.edu/Tier2/files/createjobs.txt
./createjobs.sh jobname #event #job #submitjob cfgfilename nameofcluster