Difference between revisions of "HTCondor"

Revision as of 08:05, 30 July 2020

HTCondor Batch System 사용법

HTCondor Batch System 사용법이 작성 중 입니다.

Tier-3 HTCondor/CentOS7 UI 접속하기

다음과 같이 터미널을 열어서 원격로그인(SSH)으로 접속합니다. 현재는 cms02 한대 서버만 지원합니다.

 ssh -X username@cms02.knu.ac.kr

CPU 현황 확인

Batch Job을 submit 하기전 CPU 슬롯의 현황을 확인하려면 "knuinfo" 명령어를 사용합니다. ce01.knu.ac.kr 이 HTCondor 입니다.

$ knuinfo
-----------------------------------------------------------------------------------------
   CPU	   Free	Total Jobs	Running	Waiting	ComputingElement
   216	    216	         0	      0	      0	ce01.knu.ac.kr:9619/ce01.knu.ac.kr-condor
   810	    324	       335	    335	      0	cluster118.knu.ac.kr:8443/cream-pbs-cms 
-----------------------------------------------------------------------------------------
 Avail Space(kB)  Used Space(kB)  Type 	SE
   333998118483   1105348756980  SRM  	cluster142.knu.ac.kr
-----------------------------------------------------------------------------------------

HTCondor의 빠른 시작을 위한 추천 참고 자료

• HTCondor Quick Start Guide

Job submit

Job submit을 위해서는 다음과 같이 "condor_submit" 명령어를 사용합니다.

condor_submit test.jdl

Job 상태 확인

작업의 상태 확인을 위해서는 "condor_q"명령을 사용합니다.
전체 작업현황을 확인하려면 다음과 같이 실행하면 됩니다.

$ condor_q
-- Schedd: cms02.knu.ac.kr : <155.230.23.72:9618?... @ 07/30/20 16:49:47
OWNER BATCH_NAME    SUBMITTED   DONE   RUN    IDLE  TOTAL JOB_IDS
user001 ID: 51       7/30 16:47      _    100      _    100 51.0-99

Total for query: 100 jobs; 0 completed, 0 removed, 0 idle, 100 running, 0 held, 0 suspended
Total for hanbi: 100 jobs; 0 completed, 0 removed, 0 idle, 100 running, 0 held, 0 suspended
Total for all users: 100 jobs; 0 completed, 0 removed, 0 idle, 100 running, 0 held, 0 suspended

Job 삭제

submit 한 작업을 중간에 취소하기 위해서는 "condor_rm" 명령을 사용합니다.

condor_rm <JOBID>

모든 내 작업을 삭제하려면 다음 명령을 사용합니다.

condor_rm <UserID>

Job submit example 1

Job submit example 2

Singularity를 이용하여 Scientific Linux 6 코드 실행

submit description file에 아래 내용을 추가합니다.

+ContainerOS = "SL6"

혹은 선호하는 이미지가 있다면 아래와 같이 기입합니다.

+SingularityImage = "/cvmfs/singularity.opensciencegrid.org/cmssw/cms:rhel6-m202001

참고 자료

• HTCondor Quick Start Guide