T3_KR_KNU - User contributions [en]

Main Page

2026-01-16T05:07:26Z

Hanbi: /* KNU Tier-3 Center for CMS */

__NOTOC__
='''KNU Tier-3 Center for CMS''' [[File:CMS-logo.gif|40px]] =

Welcome to the CMS Tier-3 Center at Kyungpook National University in Korea.

This web portal is your gateway to the CMS Tier-3 center at Kyungpook National University (KNU) in Korea. This CMS Tier-3 center is being supported by the Ministry of Education, Science and Technology and is being maintained by the Center for High Energy Physics of the KNU.
We will support the CMS computing needs for Korean and overseas collaborators. For your general comments, questions, or reports of any problems regarding to this Center, please email to lcg_knu@knu.ac.kr.

== News & Notices ==
* [[Singularity|Apptainer 사용법 문서가 갱신 되었습니다.]] 2025.07.17
* [[Dcap|dcap 사용법 항목이 갱신되었습니다.]] 2025.07.16
* [[HTCondorQueueInfo| HTCondor에 JobType(Queue)가 추가되었습니다.]] 2025.05.13
* [[HTCondor| HTCondor 사용법 문서가 갱신 되었습니다.]] 2025.05.09
* [[Singularity|Apptainer 사용법 문서가 갱신 되었습니다.]] 2025.05.09
* [[Cvmfs_root|CVMFS 에서 root 사용하기 문서가 갱신 되었습니다.]] 2025.05.09
* [[Singularity|Apptainer 사용법 문서가 갱신 되었습니다.]] 2025.04.23
* [[HTCondor| HTCondor 사용법 문서가 갱신 되었습니다.]] 2024.07.08
* [[Singularity|Apptainer 사용법 문서가 갱신 되었습니다.]] 2024.06.13
* [[Storage_Element_Tutorial#.EC.84.9C.EB.B9.84.EC.8A.A4.EB.B3.84_.EC.8A.A4.ED.86.A0.EB.A6.AC.EC.A7.80_.EC.A0.91.EA.B7.BC| 스토리지 엘리먼트의 SRMv2 gridftp gsiftp 데이터 전송 프로토콜 지원이 종료됩니다.]] 2024.05.14
* [[HTCondor| HTCondor 사용법 문서가 갱신 되었습니다.]] 2024.03.11
* [[HTCondor#.EC.B5.9C.EB.8C.80_.EC.9E.91.EC.97.85.EC.8B.9C.EA.B0.84| HTCondor의 GPU 최대 작업시간이 연장되었습니다.]] 2024.02.14
* [[HTCondor| HTCondor 사용법 문서가 갱신 되었습니다.]] 2023.09.21
* [[Storage_Element_Tutorial#.EC.84.9C.EB.B9.84.EC.8A.A4.EB.B3.84_.EC.8A.A4.ED.86.A0.EB.A6.AC.EC.A7.80_.EC.A0.91.EA.B7.BC| 이제 HTCondor에서 SE의 데이터를 바로 읽을 수 있습니다.]] 2023.06.23
* [[Bitwarden| bitwarden(패스워드 관리 서비스) 사용법 문서가 추가 되었습니다.]] 2023.03.14
* [[How_to_use_Tier3_at_KNU|How to use T3_KR_KNU 문서가 갱신 되었습니다.]] 2023.02.20
* [[Singularity|Singularity 사용법 문서가 갱신 되었습니다.]] 2022.09.15
* [[Mattermost|Mattermost 메신저 서비스를 시작합니다.]] 2022.09.05
* [[How_to_use_Tier3_at_KNU|How to use T3_KR_KNU 문서가 갱신 되었습니다.]] 2022.07.27
* 이제부터 최근 수정된 부분은 밑줄로 표시됩니다. 참고하시기 바립니다. 2022.06.08
* [[Storage_Element_Tutorial|Storage Element Tutorial이 갱신 되었습니다.]] 2022.06.08
* [[JupyterHub|JupyterHub 서비스를 시작합니다.]] 2022.03.23
* [[HTCondor_Job_Policy|이제 htcondor에서 request_memory보다 많은 메모리를 사용하는 작업은 자동으로 hold됩니다.]] 2022.02.09
* [[FreeIPA|인증시스템 전환(NIS→ FreeIPA)공지입니다.]] 2021.11.09
* [[cvmfs_geant4|CVMFS에서 geant4 사용하기 문서가 추가되었습니다.]] 2021.07.12
* [[cvmfs_root|CVMFS에서 root 사용하기 문서가 추가되었습니다.]] 2021.07.12
* [[News & Notices|more ...]]

==Additional Services==

* [https://chep17.knu.ac.kr:3003 T3_KR_KNU Status - 작업 현황, 현재 사용량 등]
* [https://githep.knu.ac.kr:4443 Gitlab 서비스 - 소스코드 버전 관리 시스템]
* [https://mm.knu.ac.kr Mattermost 서비스 - 업무용 메신저 서비스]
* [https://indico.knu.ac.kr 경북대 물리학과 Indico]
* [https://indico.kno.or.kr KNO Indico]

==How to use Tier-3 at KNU?==
*[[How_to_use_Tier2_at_KNU|How to use Tier-3 at KNU?]]
**[[How_to_use_Tier2_at_KNU#Pre-requisites|Pre-requisites]]
**[[How_to_use_Tier2_at_KNU#KNU_Tier-2_Login|KNU_Tier-3 Login]]
**[[How_to_use_Tier2_at_KNU#CMSSW.28CMS_Software.29_Installation|CMSSW Installation]]
**[[crab|Crab Tutorial]]
**[[How_to_use_Tier2_at_KNU#Storage_Element_.28SE.29_Manual|Storage Element Tutorial]]
**[[uberftp|uberftp]]
**[[Q&A|Q&A]]

*[https://t2-cms.knu.ac.kr/lcg_registration.php KNU Account Registration]

----
{| style="width: 100%"
! style="text-align: left;text-valign: top" | Contact: Email: lcg_knu@knu.ac.kr
! style="text-align: right;" | THE CENTER FOR HIGH ENERGY PHYSICS KYUNGPOOK NATIONAL UNIVERSITY
|}

File:CMS-logo.gif

2026-01-16T05:05:36Z

Hanbi:

Main Page

2026-01-16T04:58:54Z

Hanbi: /* KNU Tier-3 Center for CMS */

__NOTOC__
='''KNU Tier-3 Center for CMS'''=

Welcome to the CMS Tier-3 Center at Kyungpook National University in Korea.

This web portal is your gateway to the CMS Tier-3 center at Kyungpook National University (KNU) in Korea. This CMS Tier-3 center is being supported by the Ministry of Education, Science and Technology and is being maintained by the Center for High Energy Physics of the KNU.
We will support the CMS computing needs for Korean and overseas collaborators. For your general comments, questions, or reports of any problems regarding to this Center, please email to lcg_knu@knu.ac.kr.

== News & Notices ==
* [[Singularity|Apptainer 사용법 문서가 갱신 되었습니다.]] 2025.07.17
* [[Dcap|dcap 사용법 항목이 갱신되었습니다.]] 2025.07.16
* [[HTCondorQueueInfo| HTCondor에 JobType(Queue)가 추가되었습니다.]] 2025.05.13
* [[HTCondor| HTCondor 사용법 문서가 갱신 되었습니다.]] 2025.05.09
* [[Singularity|Apptainer 사용법 문서가 갱신 되었습니다.]] 2025.05.09
* [[Cvmfs_root|CVMFS 에서 root 사용하기 문서가 갱신 되었습니다.]] 2025.05.09
* [[Singularity|Apptainer 사용법 문서가 갱신 되었습니다.]] 2025.04.23
* [[HTCondor| HTCondor 사용법 문서가 갱신 되었습니다.]] 2024.07.08
* [[Singularity|Apptainer 사용법 문서가 갱신 되었습니다.]] 2024.06.13
* [[Storage_Element_Tutorial#.EC.84.9C.EB.B9.84.EC.8A.A4.EB.B3.84_.EC.8A.A4.ED.86.A0.EB.A6.AC.EC.A7.80_.EC.A0.91.EA.B7.BC| 스토리지 엘리먼트의 SRMv2 gridftp gsiftp 데이터 전송 프로토콜 지원이 종료됩니다.]] 2024.05.14
* [[HTCondor| HTCondor 사용법 문서가 갱신 되었습니다.]] 2024.03.11
* [[HTCondor#.EC.B5.9C.EB.8C.80_.EC.9E.91.EC.97.85.EC.8B.9C.EA.B0.84| HTCondor의 GPU 최대 작업시간이 연장되었습니다.]] 2024.02.14
* [[HTCondor| HTCondor 사용법 문서가 갱신 되었습니다.]] 2023.09.21
* [[Storage_Element_Tutorial#.EC.84.9C.EB.B9.84.EC.8A.A4.EB.B3.84_.EC.8A.A4.ED.86.A0.EB.A6.AC.EC.A7.80_.EC.A0.91.EA.B7.BC| 이제 HTCondor에서 SE의 데이터를 바로 읽을 수 있습니다.]] 2023.06.23
* [[Bitwarden| bitwarden(패스워드 관리 서비스) 사용법 문서가 추가 되었습니다.]] 2023.03.14
* [[How_to_use_Tier3_at_KNU|How to use T3_KR_KNU 문서가 갱신 되었습니다.]] 2023.02.20
* [[Singularity|Singularity 사용법 문서가 갱신 되었습니다.]] 2022.09.15
* [[Mattermost|Mattermost 메신저 서비스를 시작합니다.]] 2022.09.05
* [[How_to_use_Tier3_at_KNU|How to use T3_KR_KNU 문서가 갱신 되었습니다.]] 2022.07.27
* 이제부터 최근 수정된 부분은 밑줄로 표시됩니다. 참고하시기 바립니다. 2022.06.08
* [[Storage_Element_Tutorial|Storage Element Tutorial이 갱신 되었습니다.]] 2022.06.08
* [[JupyterHub|JupyterHub 서비스를 시작합니다.]] 2022.03.23
* [[HTCondor_Job_Policy|이제 htcondor에서 request_memory보다 많은 메모리를 사용하는 작업은 자동으로 hold됩니다.]] 2022.02.09
* [[FreeIPA|인증시스템 전환(NIS→ FreeIPA)공지입니다.]] 2021.11.09
* [[cvmfs_geant4|CVMFS에서 geant4 사용하기 문서가 추가되었습니다.]] 2021.07.12
* [[cvmfs_root|CVMFS에서 root 사용하기 문서가 추가되었습니다.]] 2021.07.12
* [[News & Notices|more ...]]

==Additional Services==

* [https://chep17.knu.ac.kr:3003 T3_KR_KNU Status - 작업 현황, 현재 사용량 등]
* [https://githep.knu.ac.kr:4443 Gitlab 서비스 - 소스코드 버전 관리 시스템]
* [https://mm.knu.ac.kr Mattermost 서비스 - 업무용 메신저 서비스]
* [https://indico.knu.ac.kr 경북대 물리학과 Indico]
* [https://indico.kno.or.kr KNO Indico]

==How to use Tier-3 at KNU?==
*[[How_to_use_Tier2_at_KNU|How to use Tier-3 at KNU?]]
**[[How_to_use_Tier2_at_KNU#Pre-requisites|Pre-requisites]]
**[[How_to_use_Tier2_at_KNU#KNU_Tier-2_Login|KNU_Tier-3 Login]]
**[[How_to_use_Tier2_at_KNU#CMSSW.28CMS_Software.29_Installation|CMSSW Installation]]
**[[crab|Crab Tutorial]]
**[[How_to_use_Tier2_at_KNU#Storage_Element_.28SE.29_Manual|Storage Element Tutorial]]
**[[uberftp|uberftp]]
**[[Q&A|Q&A]]

*[https://t2-cms.knu.ac.kr/lcg_registration.php KNU Account Registration]

----
{| style="width: 100%"
! style="text-align: left;text-valign: top" | Contact: Email: lcg_knu@knu.ac.kr
! style="text-align: right;" | THE CENTER FOR HIGH ENERGY PHYSICS KYUNGPOOK NATIONAL UNIVERSITY
|}

News & Notices

2025-07-17T02:34:28Z

Hanbi: /* News & Notices */

== News & Notices ==
* [[Singularity|Apptainer 사용법 문서가 갱신 되었습니다.]] 2025.07.17
* [[Dcap|dcap 사용법 항목이 갱신되었습니다.]] 2025.07.16
* [[HTCondorQueueInfo| HTCondor 에 JobType(Queue)가 추가되었습니다.]] 2025.05.13
* [[HTCondor| HTCondor 사용법 문서가 갱신 되었습니다.]] 2025.05.09
* [[Singularity|Apptainer 사용법 문서가 갱신 되었습니다.]] 2025.05.09
* [[Cvmfs_root|CVMFS 에서 root 사용하기 문서가 갱신 되었습니다.]] 2025.05.09
* [[Singularity|Apptainer 사용법 문서가 갱신 되었습니다.]] 2025.04.23
* [[HTCondor| HTCondor 사용법 문서가 갱신 되었습니다.]] 2024.07.08
* [[Singularity|Apptainer 사용법 문서가 갱신 되었습니다.]] 2024.06.13
* [[Storage_Element_Tutorial#.EC.84.9C.EB.B9.84.EC.8A.A4.EB.B3.84_.EC.8A.A4.ED.86.A0.EB.A6.AC.EC.A7.80_.EC.A0.91.EA.B7.BC| 스토리지 엘리먼트의 SRMv2 gridftp gsiftp 데이터 전송 프로토콜 지원이 종료됩니다.]] 2024.05.14
* [[HTCondor| HTCondor 사용법 문서가 갱신 되었습니다.]] 2024.03.11
* [[HTCondor#.EC.B5.9C.EB.8C.80_.EC.9E.91.EC.97.85.EC.8B.9C.EA.B0.84| HTCondor의 GPU 최대 작업시간이 연장되었습니다.]] 2024.02.14
* [[HTCondor| HTCondor 사용법 문서가 갱신 되었습니다.]] 2023.09.21
* [[Storage_Element_Tutorial#.EC.84.9C.EB.B9.84.EC.8A.A4.EB.B3.84_.EC.8A.A4.ED.86.A0.EB.A6.AC.EC.A7.80_.EC.A0.91.EA.B7.BC| 이제 HTCondor에서 SE의 데이터를 바로 읽을 수 있습니다.]] 2023.06.23
* [[Bitwarden| bitwarden(패스워드 관리) 사용법 문서가 추가 되었습니다.]] 2023.03.14
* [[How_to_use_Tier3_at_KNU|How to use T3_KR_KNU 문서가 갱신 되었습니다.]] 2023.02.20
* [[Singularity|Singularity 사용법 문서가 갱신 되었습니다.]] 2022.09.15
* [[Mattermost|Mattermost 메신저 서비스를 시작합니다.]] 2022.09.05
* [[How_to_use_Tier3_at_KNU|How to use T3_KR_KNU 문서가 갱신 되었습니다.]] 2022.07.27
* 이제부터 최근 수정된 부분은 밑줄로 표시됩니다. 참고하시기 바립니다. 2022.06.08
* [[Storage_Element_Tutorial|Storage Element Tutorial이 갱신 되었습니다.]] 2022.06.08
* [[JupyterHub|JupyterHub 서비스를 시작합니다.]] 2022.03.23
* [[HTCondor_Job_Policy|이제 htcondor에서 request_memory보다 많은 메모리를 사용하는 작업은 자동으로 hold됩니다.]] 2022.02.09
* [[FreeIPA|인증시스템 전환(NIS→ FreeIPA)공지입니다.]] 2021.11.09
* [[cvmfs_geant4|CVMFS에서 geant4 사용하기 문서가 추가되었습니다.]] 2021.07.12
* [[cvmfs_root|CVMFS에서 root 사용하기 문서가 추가되었습니다.]] 2021.07.12
* [[cvmfs_gcc|CVMFS에서 원하는 버전의 gcc 사용하기 문서가 추가되었습니다.]] 2021.07.12
* [[WebDav|dCache에서 WebDav 프로토콜 및 마카롱 인증 사용하기 문서가 추가되었습니다.]] 2021.06.22
* [[Rucio|Rucio 사용법 문서가 추가되었습니다.]] 2021.06.08
* [[Uberftp|uberftp에 치명적인 버그가 있습니다. 사용에 주의하세요]] 2021.05.17
* [[HTCondorGPU|HTCondor에서 GPU 사용법 문서가 추가되었습니다.]] 2021.05.12
* [[HTCondor|HTCondor 사용법 문서가 갱신되었습니다.]] 2021.03.31
* [[mosh|mosh 가이드가 등록되었습니다.]] 2021.03.17
* [[x2go|x2go를 이용한 원격데스크탑 가이드가 등록되었습니다.]] 2021.03.11
* [[Xrootd|xrootd 를 활용한 SE Data 사용 가이드가 갱신되었습니다.]] 2021.03.05
* [[HTCondor에서 GPU 사용하기]] 2021.03.04
* [[Duc|자신의 디스크 사용량을 쉽게 확인할 수 있는 툴을 소개합니다.]] 2020.11.05
* [[CreamCE/SL6 서비스 종료]] 2020.10.15
* [[HTCondor|HTCondor 사용법 문서가 작성중입니다.]] 2020.07.30
* [[CreamCE/Torque → HTCondorCE/HTCondor 이전 안내]] 2020.07.23
* 스토리지 엘리먼트가 1.45PB로 증가하였습니다. 2020.06.26
* [[SFT|CVMFS SFT repository 사용법 문서가 갱신 되었습니다.]] 2020.03.20
* [[Scratch Disk가 교체 및 증설 안내]] 2020.02.10
* [[Notion|Notion 문서를 추가하였습니다.]] 2019.09.20
* [[Storage_Element_Tutorial|Storage Element Tutorial이 보강 되었습니다.]] 2019.08.30
* [[Storage_Element_Tutorial|Storage Element Tutorial이 보강 되었습니다.]] 2018.12.10
* [[Singularity|Singularity 사용법 문서가 추가 되었습니다.]] 2018.12.03
* [[SFT|CVMFS SFT repository 사용법 문서가 추가 되었습니다.]] 2018.11.08
* [[torque|Torque 사용법 문서가 갱신 되었습니다.]] 2018.10.15
* [[Storage_Element_Tutorial|Storage Element Tutorial이 보강 되었습니다.]] 2018.08.31
* [[Tier3BatchQueueInfo|Tier3 batch farm에 큰 메모리를 사용하는 작업 전용의 queue를 추가하였습니다.]] 2018.07.13
* [[T2_KR_KNU_Decommissioned| 경북대 Tier2 서비스는 4월 30일자로 종료되고 해당자원은 Tier3로 통합됩니다.]] 2018.04.18
* cms03이 SL6로 업그레이드되었습니다. 2018.01.16
* [[Storage_Element_Tutorial|Storage Element Tutorial이 갱신 되었습니다.]] 2017.11.22
* [[Xrootd|xrootd 를 활용한 SE Data 사용 가이드가 별도 분리되었습니다.]] 2017.11.22
* 스토리지 엘리먼트가 1.29PB로 증가하였습니다. 2017.10.12
* [[crab|Crab Tutorial을 업데이트 하였습니다.]] 2017.06.29
* [[Storage_Element_Tutorial#xrootd_.EB.A5.BC_.ED.99.9C.EC.9A.A9.ED.95.9C_SE_Data_.EC.A0.91.EA.B7.BC_.EB.B0.A9.EB.B2.95|Storage Element Tutorial에서 xrootd 관련 항목이 업데이트 되었습니다.]] 2017.06.15
* [[Webfts|WebFTS 사용법 항목이 추가되었습니다.]] 2017.04.14
* [[Dcap|dcap 사용법 항목이 갱신되었습니다.]] 2016.12.06
* 스토리지 엘리먼트가 1.2PB로 증가하였습니다. 2016.12.05
* [[Task_monitoring_for_the_analysis_users|Analysis 사용자를 위한 작업 모니터링 가이드가 추가되었습니다.]] 2016.10.19
* [[DCacheNFS|스토리지 엘리먼트의 NFS 사용 가이드가 갱신되었습니다.]] 2016.10.07
* [[Dcap|dcap 사용법 항목이 추가되었습니다.]] 2016.10.06
* 스토리지 엘리먼트가 1PB로 증가하였습니다. 2016.08.10
* [[DCacheNFS|스토리지 엘리먼트를 UI에서 NFS로 바로 읽을 수 있습니다.]] 2016.07.19
* [[Tier3BatchQueueInfo|Tier3 batch farm의 queue에 대한 세부정보를 업데이트 하였습니다.]] 2016.02.12
* [[Motd|Tier2/3 UI motd(Message of the Day)에서 스토리지 엘리먼트를 비롯한 디스크 사용량을 확인할수 있습니다.]] 2015.12.28
* [[Ssh_Public_key_Authentication|보다 안전하고 편리한 ssh 공개키 인증 사용법 항목이 추가 되었습니다.]] 2015.12.28
* [[Create-batch|create-batch 사용법 항목이 추가 되었습니다.]] 2015.12.21
* [[Storage_Element_Tutorial|Storage Element Tutorial 항목이 별도로 분리 되었습니다.]] 2015.10.29
* [[torque|Torque 사용법 항목이 별도로 분리 되었습니다.]] 2015.10.29
* [[crab|Crab Tutorial 항목이 별도로 분리 되었습니다.]] 2015.10.29
* [[Q&A|Q&A 항목이 추가 되었습니다.]] 2015.10.12
* [[uberftp | uberftp 사용법 항목이 추가되었습니다.]] 2015.10.12
* T2_KR_KNU 홈페이지가 리뉴얼 되었습니다. 2015.10.12
* [https://indico.cern.ch/event/386181/ 2015 CMS DAS (Data Analysis School) at Korea가 개최되었습니다.] 2015.08.25~29

Main Page

2025-07-17T02:34:09Z

Hanbi: /* News & Notices */

__NOTOC__
='''KNU Tier-3 Center for CMS''' <img src="http://t2-cms.knu.ac.kr/img/CMS-logo.gif" width=25> =

Welcome to the CMS Tier-3 Center at Kyungpook National University in Korea.

This web portal is your gateway to the CMS Tier-3 center at Kyungpook National University (KNU) in Korea. This CMS Tier-3 center is being supported by the Ministry of Education, Science and Technology and is being maintained by the Center for High Energy Physics of the KNU.
We will support the CMS computing needs for Korean and overseas collaborators. For your general comments, questions, or reports of any problems regarding to this Center, please email to lcg_knu@knu.ac.kr.

== News & Notices ==
* [[Singularity|Apptainer 사용법 문서가 갱신 되었습니다.]] 2025.07.17
* [[Dcap|dcap 사용법 항목이 갱신되었습니다.]] 2025.07.16
* [[HTCondorQueueInfo| HTCondor에 JobType(Queue)가 추가되었습니다.]] 2025.05.13
* [[HTCondor| HTCondor 사용법 문서가 갱신 되었습니다.]] 2025.05.09
* [[Singularity|Apptainer 사용법 문서가 갱신 되었습니다.]] 2025.05.09
* [[Cvmfs_root|CVMFS 에서 root 사용하기 문서가 갱신 되었습니다.]] 2025.05.09
* [[Singularity|Apptainer 사용법 문서가 갱신 되었습니다.]] 2025.04.23
* [[HTCondor| HTCondor 사용법 문서가 갱신 되었습니다.]] 2024.07.08
* [[Singularity|Apptainer 사용법 문서가 갱신 되었습니다.]] 2024.06.13
* [[Storage_Element_Tutorial#.EC.84.9C.EB.B9.84.EC.8A.A4.EB.B3.84_.EC.8A.A4.ED.86.A0.EB.A6.AC.EC.A7.80_.EC.A0.91.EA.B7.BC| 스토리지 엘리먼트의 SRMv2 gridftp gsiftp 데이터 전송 프로토콜 지원이 종료됩니다.]] 2024.05.14
* [[HTCondor| HTCondor 사용법 문서가 갱신 되었습니다.]] 2024.03.11
* [[HTCondor#.EC.B5.9C.EB.8C.80_.EC.9E.91.EC.97.85.EC.8B.9C.EA.B0.84| HTCondor의 GPU 최대 작업시간이 연장되었습니다.]] 2024.02.14
* [[HTCondor| HTCondor 사용법 문서가 갱신 되었습니다.]] 2023.09.21
* [[Storage_Element_Tutorial#.EC.84.9C.EB.B9.84.EC.8A.A4.EB.B3.84_.EC.8A.A4.ED.86.A0.EB.A6.AC.EC.A7.80_.EC.A0.91.EA.B7.BC| 이제 HTCondor에서 SE의 데이터를 바로 읽을 수 있습니다.]] 2023.06.23
* [[Bitwarden| bitwarden(패스워드 관리 서비스) 사용법 문서가 추가 되었습니다.]] 2023.03.14
* [[How_to_use_Tier3_at_KNU|How to use T3_KR_KNU 문서가 갱신 되었습니다.]] 2023.02.20
* [[Singularity|Singularity 사용법 문서가 갱신 되었습니다.]] 2022.09.15
* [[Mattermost|Mattermost 메신저 서비스를 시작합니다.]] 2022.09.05
* [[How_to_use_Tier3_at_KNU|How to use T3_KR_KNU 문서가 갱신 되었습니다.]] 2022.07.27
* 이제부터 최근 수정된 부분은 밑줄로 표시됩니다. 참고하시기 바립니다. 2022.06.08
* [[Storage_Element_Tutorial|Storage Element Tutorial이 갱신 되었습니다.]] 2022.06.08
* [[JupyterHub|JupyterHub 서비스를 시작합니다.]] 2022.03.23
* [[HTCondor_Job_Policy|이제 htcondor에서 request_memory보다 많은 메모리를 사용하는 작업은 자동으로 hold됩니다.]] 2022.02.09
* [[FreeIPA|인증시스템 전환(NIS→ FreeIPA)공지입니다.]] 2021.11.09
* [[cvmfs_geant4|CVMFS에서 geant4 사용하기 문서가 추가되었습니다.]] 2021.07.12
* [[cvmfs_root|CVMFS에서 root 사용하기 문서가 추가되었습니다.]] 2021.07.12
* [[News & Notices|more ...]]

==Additional Services==

* [https://chep17.knu.ac.kr:3003 T3_KR_KNU Status - 작업 현황, 현재 사용량 등]
* [https://githep.knu.ac.kr:4443 Gitlab 서비스 - 소스코드 버전 관리 시스템]
* [https://mm.knu.ac.kr Mattermost 서비스 - 업무용 메신저 서비스]
* [https://indico.knu.ac.kr 경북대 물리학과 Indico]
* [https://indico.kno.or.kr KNO Indico]

==How to use Tier-3 at KNU?==
*[[How_to_use_Tier2_at_KNU|How to use Tier-3 at KNU?]]
**[[How_to_use_Tier2_at_KNU#Pre-requisites|Pre-requisites]]
**[[How_to_use_Tier2_at_KNU#KNU_Tier-2_Login|KNU_Tier-3 Login]]
**[[How_to_use_Tier2_at_KNU#CMSSW.28CMS_Software.29_Installation|CMSSW Installation]]
**[[crab|Crab Tutorial]]
**[[How_to_use_Tier2_at_KNU#Storage_Element_.28SE.29_Manual|Storage Element Tutorial]]
**[[uberftp|uberftp]]
**[[Q&A|Q&A]]

*[https://t2-cms.knu.ac.kr/lcg_registration.php KNU Account Registration]

----
{| style="width: 100%"
! style="text-align: left;text-valign: top" | Contact: Email: lcg_knu@knu.ac.kr
! style="text-align: right;" | THE CENTER FOR HIGH ENERGY PHYSICS KYUNGPOOK NATIONAL UNIVERSITY
|}

Main Page

2025-07-17T02:33:54Z

Hanbi: /* News & Notices */

__NOTOC__
='''KNU Tier-3 Center for CMS''' <img src="http://t2-cms.knu.ac.kr/img/CMS-logo.gif" width=25> =

Welcome to the CMS Tier-3 Center at Kyungpook National University in Korea.

This web portal is your gateway to the CMS Tier-3 center at Kyungpook National University (KNU) in Korea. This CMS Tier-3 center is being supported by the Ministry of Education, Science and Technology and is being maintained by the Center for High Energy Physics of the KNU.
We will support the CMS computing needs for Korean and overseas collaborators. For your general comments, questions, or reports of any problems regarding to this Center, please email to lcg_knu@knu.ac.kr.

== News & Notices ==
* [[Singularity|Apptainer 사용법 문서가 갱신 되었습니다.]] 2025.05.09
* [[Dcap|dcap 사용법 항목이 갱신되었습니다.]] 2025.07.16
* [[HTCondorQueueInfo| HTCondor에 JobType(Queue)가 추가되었습니다.]] 2025.05.13
* [[HTCondor| HTCondor 사용법 문서가 갱신 되었습니다.]] 2025.05.09
* [[Singularity|Apptainer 사용법 문서가 갱신 되었습니다.]] 2025.05.09
* [[Cvmfs_root|CVMFS 에서 root 사용하기 문서가 갱신 되었습니다.]] 2025.05.09
* [[Singularity|Apptainer 사용법 문서가 갱신 되었습니다.]] 2025.04.23
* [[HTCondor| HTCondor 사용법 문서가 갱신 되었습니다.]] 2024.07.08
* [[Singularity|Apptainer 사용법 문서가 갱신 되었습니다.]] 2024.06.13
* [[Storage_Element_Tutorial#.EC.84.9C.EB.B9.84.EC.8A.A4.EB.B3.84_.EC.8A.A4.ED.86.A0.EB.A6.AC.EC.A7.80_.EC.A0.91.EA.B7.BC| 스토리지 엘리먼트의 SRMv2 gridftp gsiftp 데이터 전송 프로토콜 지원이 종료됩니다.]] 2024.05.14
* [[HTCondor| HTCondor 사용법 문서가 갱신 되었습니다.]] 2024.03.11
* [[HTCondor#.EC.B5.9C.EB.8C.80_.EC.9E.91.EC.97.85.EC.8B.9C.EA.B0.84| HTCondor의 GPU 최대 작업시간이 연장되었습니다.]] 2024.02.14
* [[HTCondor| HTCondor 사용법 문서가 갱신 되었습니다.]] 2023.09.21
* [[Storage_Element_Tutorial#.EC.84.9C.EB.B9.84.EC.8A.A4.EB.B3.84_.EC.8A.A4.ED.86.A0.EB.A6.AC.EC.A7.80_.EC.A0.91.EA.B7.BC| 이제 HTCondor에서 SE의 데이터를 바로 읽을 수 있습니다.]] 2023.06.23
* [[Bitwarden| bitwarden(패스워드 관리 서비스) 사용법 문서가 추가 되었습니다.]] 2023.03.14
* [[How_to_use_Tier3_at_KNU|How to use T3_KR_KNU 문서가 갱신 되었습니다.]] 2023.02.20
* [[Singularity|Singularity 사용법 문서가 갱신 되었습니다.]] 2022.09.15
* [[Mattermost|Mattermost 메신저 서비스를 시작합니다.]] 2022.09.05
* [[How_to_use_Tier3_at_KNU|How to use T3_KR_KNU 문서가 갱신 되었습니다.]] 2022.07.27
* 이제부터 최근 수정된 부분은 밑줄로 표시됩니다. 참고하시기 바립니다. 2022.06.08
* [[Storage_Element_Tutorial|Storage Element Tutorial이 갱신 되었습니다.]] 2022.06.08
* [[JupyterHub|JupyterHub 서비스를 시작합니다.]] 2022.03.23
* [[HTCondor_Job_Policy|이제 htcondor에서 request_memory보다 많은 메모리를 사용하는 작업은 자동으로 hold됩니다.]] 2022.02.09
* [[FreeIPA|인증시스템 전환(NIS→ FreeIPA)공지입니다.]] 2021.11.09
* [[cvmfs_geant4|CVMFS에서 geant4 사용하기 문서가 추가되었습니다.]] 2021.07.12
* [[cvmfs_root|CVMFS에서 root 사용하기 문서가 추가되었습니다.]] 2021.07.12
* [[News & Notices|more ...]]

==Additional Services==

* [https://chep17.knu.ac.kr:3003 T3_KR_KNU Status - 작업 현황, 현재 사용량 등]
* [https://githep.knu.ac.kr:4443 Gitlab 서비스 - 소스코드 버전 관리 시스템]
* [https://mm.knu.ac.kr Mattermost 서비스 - 업무용 메신저 서비스]
* [https://indico.knu.ac.kr 경북대 물리학과 Indico]
* [https://indico.kno.or.kr KNO Indico]

==How to use Tier-3 at KNU?==
*[[How_to_use_Tier2_at_KNU|How to use Tier-3 at KNU?]]
**[[How_to_use_Tier2_at_KNU#Pre-requisites|Pre-requisites]]
**[[How_to_use_Tier2_at_KNU#KNU_Tier-2_Login|KNU_Tier-3 Login]]
**[[How_to_use_Tier2_at_KNU#CMSSW.28CMS_Software.29_Installation|CMSSW Installation]]
**[[crab|Crab Tutorial]]
**[[How_to_use_Tier2_at_KNU#Storage_Element_.28SE.29_Manual|Storage Element Tutorial]]
**[[uberftp|uberftp]]
**[[Q&A|Q&A]]

*[https://t2-cms.knu.ac.kr/lcg_registration.php KNU Account Registration]

----
{| style="width: 100%"
! style="text-align: left;text-valign: top" | Contact: Email: lcg_knu@knu.ac.kr
! style="text-align: right;" | THE CENTER FOR HIGH ENERGY PHYSICS KYUNGPOOK NATIONAL UNIVERSITY
|}

Singularity

2025-07-17T02:32:45Z

Hanbi: /* 컨테이너내에서 데이터 전송 오류가 발생할 때 */

== Apptainer 사용법 ==

=== 컨테이너란? ===

* vmware로 대표되는 가상화 기술과는 다른 모듈식으로 프로그램을 격리하여 운영할 수 있는 기술입니다.
* 해상 운송에서 사용하는 컨테이너에서 이름을 따왔으며 OS 환경과 독립적으로 모듈식으로 설치하고 실행할 수 있습니다.
* 하드웨어 및 OS 계층을 두지 않고 프로세스만 격리하기 때문에 기존의 가상화 기술에 비해 실행속도가 월등히 빠릅니다.
* 대표적인 컨테이너 프로그램으로 docker(https://www.docker.com) 가 있습니다.

=== 컨테이너의 장점? ===

* 프로그램의 배포 및 설치가 쉽습니다.
** 해당 프로그램용으로 이미 구축된 이미지를 배포하고 그 이미지를 이용해서 바로 원하는 프로그램을 실행할 수 있습니다.
** 이 부분에서 가상화 환경의 이미지와 비슷해보이나 월등이 작은 저장공간만을 사용하고 실행 속도 또한 빠릅니다.
* OS 환경과 독립적인 실행환경을 구축할 수 있습니다.
** ex) Scientific Linux 6 환경에서 Centos 7 환경에서 컴파일된 프로그램을 실행할 수 있습니다. 그 반대도 가능합니다.
* 격리 환경이므로 사용자 프로그램간의 간섭을 최소화 할 수 있습니다.

=== Apptainer란? ===

Apptainer (https://apptainer.org/) 과학 연산에 적합하게 만들어진 컨테이너 프로그램입니다. 과학연산 작업을 수행할때 docker보다 더 빠른 속도를 보여줍니다.

=== 기본 사용법 ===

==== exec ====

apptainer exec 컨테이너이미지 실행명령

* 준비된 이미지를 이용하여 단일 프로그램이나 스크립트를 실행합니다.

==== shell ====

apptainer shell 컨테이너이미지

* 컨테이너 안에 interactive shell을 생성합니다.

=== 사용 예제 ===

==== apptainer를 이용하여 cc7 프로그램 실행하기 ====

$ source /cvmfs/cms.cern.ch/cmsset_default.sh
$ cmssw-
cmssw-alma8 cmssw-cc7 cmssw-cs8 cmssw-el5 cmssw-el7 cmssw-el9 cmssw-fc39 cmssw-slc6
cmssw-cc6 cmssw-cc8 cmssw-cs9 cmssw-el6 cmssw-el8 cmssw-env cmssw-rocky8 cmssw-ubi8

$ cmssw-cc7
Singularity> cat /etc/redhat-release
CentOS Linux release 7.9.2009 (Core)

* cmssw-el8, cmssw-el9 등 본인이 원하는 환경을 실행할 수 있습니다.
* 처음 실행할 때는 이미지를 다운로드 받기 때문에 시간이 걸릴수 있습니다.

==== crab3 실행 ====

===== # CMSSW 설치 =====
$ set SCRAM_ARCH=slc7_amd64_gcc12 // 아키텍쳐 설정
$ source /cvmfs/cms.cern.ch/cmsset_default.sh
$ scramv1 list CMSSW | grep CMSSW_13_ // CMSSW 조회
$ scramv1 project CMSSW CMSSW_13_3_3 // CMSSW 설치

===== # crab 환경 설정 =====
$ source /cvmfs/cms.cern.ch/cmsset_default.sh
$ cmsenv
$ source /cvmfs/cms.cern.ch/crab3/crab.sh

===== # 작업 설정 =====
$ vi crab3config.py
$ vi job.py

===== # Grid proxy 생성 =====
$ voms-proxy-init --voms cms

===== # 작업 실행 =====
$ crab submit -c crab3config.py

===== # 작업 조회 =====
$ crab status

==== tensorflow 실행하기 ====

===== shell =====

$ apptainer shell \
> --home $PWD:/srv \
> --bind /cvmfs \
> --contain --ipc --pid \
> /cvmfs/singularity.opensciencegrid.org/opensciencegrid/tensorflow-gpu:1.4
Singularity :~>
Singularity :~> python3
Python 3.6.9 (default, Jan 26 2021, 15:33:00)
[GCC 8.4.0] on linux
Type "help", "copyright", "credits" or "license" for more information.
>>>
>>> import os
>>> os.environ['TF_CPP_MIN_LOG_LEVEL'] = '2'
>>>
>>> import tensorflow as tf
>>>
>>> hello = tf.constant('Hello, TensorFlow!')
>>> print(hello.numpy())
b' Hello, TensorFlow!'
>>>
>>> a = tf.constant(15)
>>> b = tf.constant(10)
>>> result = a + b
>>> print(result.numpy())
25
>>> quit()
Singularity :~>
Singularity :~> exit
$

* 위의 각 명령 실행시 cvmfs local cache에 관련 파일들이 다운로드 되어있지 않다면 많은 시간이 소요될 수 있습니다. 파일을 받았다면 두번째 부터는 빠르게 실행됩니다.

===== exec =====

$ cat HelloTensorflow.py
#!/usr/bin/python3

import os
os.environ['TF_CPP_MIN_LOG_LEVEL'] = '2'

import tensorflow as tf
hello = tf.constant('Hello, TensorFlow!')
print(hello.numpy())

a = tf.constant(15)
b = tf.constant(10)
result = a + b
print(result.numpy())

$ apptainer exec \
> --home $PWD:/srv \
> --bind /cvmfs \
> --contain --ipc --pid \
> /cvmfs/singularity.opensciencegrid.org/opensciencegrid/tensorflow-gpu:1.4 \
> ./HelloTensorflow.py
'Hello, TensorFlow!'
25
$

* shell 예제와 동일한 python 코드를 파일로 만들어 실행합니다.

=== CVMFS singularity.opensciencegrid.org repository에서 제공하고 있는 Apptainer 이미지 ===

2025년 4월 현재 CVMFS singularity.opensciencegrid.org repository에서 제공하고 있는 Apptainer 이미지는 다음과 같습니다.

※주의 : 계속해서 업데이트 되니, 본인에게 필요한 이미지가 있는지 확인해보시고 활용하시기 바랍니다. (ls -Rt /cvmfs/singularity.opensciencegrid.org/)

$ ls -Rt /cvmfs/singularity.opensciencegrid.org/
/cvmfs/singularity.opensciencegrid.org/:
lscsoft pystamp eic eicweb opencarp htc library pycbc

...
<중략>
...

/cvmfs/singularity.opensciencegrid.org/cwinpy:
cwinpy-containers

/cvmfs/singularity.opensciencegrid.org/cwinpy/cwinpy-containers:
cwinpy-dev-python38:latest

/cvmfs/singularity.opensciencegrid.org/matthew-pitkin:
cwinpy-containers

/cvmfs/singularity.opensciencegrid.org/matthew-pitkin/cwinpy-containers:

/cvmfs/singularity.opensciencegrid.org/patrickrmiles:

/cvmfs/singularity.opensciencegrid.org/scipp-atlas:
mario-mapyde

/cvmfs/singularity.opensciencegrid.org/scipp-atlas/mario-mapyde:

/cvmfs/singularity.opensciencegrid.org/rucio:
igwn-rucio-client

/cvmfs/singularity.opensciencegrid.org/rucio/igwn-rucio-client:

=== 경북대 UI에서 사용시 주의사항 ===

* 보안문제로 cvmfs 외의 이미지는 현재 지원하고 있지 않습니다.
* 따라서 이미지 생성 및 다운로드 등 이미지 사용과 관련된 명령어는 현재 사용할 수 없습니다.
* cvmfs의 특성상 원하는 이미지가 로컬 cache에 저장되어 있지 않다면 파일 다운로드로 인하여 초기 실행에 많은 시간이 필요할 수도 있습니다.

=== 컨테이너내에서 데이터 전송 오류가 발생할 때 ===

* xrdcp 나 데이터 전송시 다음과 같은 오류가 발생한다면
Run: [FATAL] TLS error: resource temporarily unavailable: Unable to connect to cluster142.knu.ac.kr; error_ssl (destination)

* 컨테이너에서 xrdcp 실행전에 다음 환경변수를 추가해줘야합니다.
export X509_CERT_DIR=/cvmfs/grid.cern.ch/etc/grid-security/certificates

=== HTCondor에서 apptainer를 이용하여 코드 실행하기 ===

* [[HTCondor#Apptainer.28Singularity.29.EB.A5.BC_.EC.9D.B4.EC.9A.A9.ED.95.98.EC.97.AC_.EC.BD.94.EB.93.9C_.EC.8B.A4.ED.96.89|HTCondor에서 apptainer를 이용하여 코드 실행하기]]

=== 참고문서 ===

* Apptainer 사용자 가이드 : https://apptainer.org/docs/user/main/
* Apptainer 관리자 가이드 : https://apptainer.org/docs/admin/main/

Singularity

2025-07-17T02:32:13Z

Hanbi: /* 컨테이너 내에서 데이터 전송 오류가 발생할 때 */

== Apptainer 사용법 ==

=== 컨테이너란? ===

* vmware로 대표되는 가상화 기술과는 다른 모듈식으로 프로그램을 격리하여 운영할 수 있는 기술입니다.
* 해상 운송에서 사용하는 컨테이너에서 이름을 따왔으며 OS 환경과 독립적으로 모듈식으로 설치하고 실행할 수 있습니다.
* 하드웨어 및 OS 계층을 두지 않고 프로세스만 격리하기 때문에 기존의 가상화 기술에 비해 실행속도가 월등히 빠릅니다.
* 대표적인 컨테이너 프로그램으로 docker(https://www.docker.com) 가 있습니다.

=== 컨테이너의 장점? ===

* 프로그램의 배포 및 설치가 쉽습니다.
** 해당 프로그램용으로 이미 구축된 이미지를 배포하고 그 이미지를 이용해서 바로 원하는 프로그램을 실행할 수 있습니다.
** 이 부분에서 가상화 환경의 이미지와 비슷해보이나 월등이 작은 저장공간만을 사용하고 실행 속도 또한 빠릅니다.
* OS 환경과 독립적인 실행환경을 구축할 수 있습니다.
** ex) Scientific Linux 6 환경에서 Centos 7 환경에서 컴파일된 프로그램을 실행할 수 있습니다. 그 반대도 가능합니다.
* 격리 환경이므로 사용자 프로그램간의 간섭을 최소화 할 수 있습니다.

=== Apptainer란? ===

Apptainer (https://apptainer.org/) 과학 연산에 적합하게 만들어진 컨테이너 프로그램입니다. 과학연산 작업을 수행할때 docker보다 더 빠른 속도를 보여줍니다.

=== 기본 사용법 ===

==== exec ====

apptainer exec 컨테이너이미지 실행명령

* 준비된 이미지를 이용하여 단일 프로그램이나 스크립트를 실행합니다.

==== shell ====

apptainer shell 컨테이너이미지

* 컨테이너 안에 interactive shell을 생성합니다.

=== 사용 예제 ===

==== apptainer를 이용하여 cc7 프로그램 실행하기 ====

$ source /cvmfs/cms.cern.ch/cmsset_default.sh
$ cmssw-
cmssw-alma8 cmssw-cc7 cmssw-cs8 cmssw-el5 cmssw-el7 cmssw-el9 cmssw-fc39 cmssw-slc6
cmssw-cc6 cmssw-cc8 cmssw-cs9 cmssw-el6 cmssw-el8 cmssw-env cmssw-rocky8 cmssw-ubi8

$ cmssw-cc7
Singularity> cat /etc/redhat-release
CentOS Linux release 7.9.2009 (Core)

* cmssw-el8, cmssw-el9 등 본인이 원하는 환경을 실행할 수 있습니다.
* 처음 실행할 때는 이미지를 다운로드 받기 때문에 시간이 걸릴수 있습니다.

==== crab3 실행 ====

===== # CMSSW 설치 =====
$ set SCRAM_ARCH=slc7_amd64_gcc12 // 아키텍쳐 설정
$ source /cvmfs/cms.cern.ch/cmsset_default.sh
$ scramv1 list CMSSW | grep CMSSW_13_ // CMSSW 조회
$ scramv1 project CMSSW CMSSW_13_3_3 // CMSSW 설치

===== # crab 환경 설정 =====
$ source /cvmfs/cms.cern.ch/cmsset_default.sh
$ cmsenv
$ source /cvmfs/cms.cern.ch/crab3/crab.sh

===== # 작업 설정 =====
$ vi crab3config.py
$ vi job.py

===== # Grid proxy 생성 =====
$ voms-proxy-init --voms cms

===== # 작업 실행 =====
$ crab submit -c crab3config.py

===== # 작업 조회 =====
$ crab status

==== tensorflow 실행하기 ====

===== shell =====

$ apptainer shell \
> --home $PWD:/srv \
> --bind /cvmfs \
> --contain --ipc --pid \
> /cvmfs/singularity.opensciencegrid.org/opensciencegrid/tensorflow-gpu:1.4
Singularity :~>
Singularity :~> python3
Python 3.6.9 (default, Jan 26 2021, 15:33:00)
[GCC 8.4.0] on linux
Type "help", "copyright", "credits" or "license" for more information.
>>>
>>> import os
>>> os.environ['TF_CPP_MIN_LOG_LEVEL'] = '2'
>>>
>>> import tensorflow as tf
>>>
>>> hello = tf.constant('Hello, TensorFlow!')
>>> print(hello.numpy())
b' Hello, TensorFlow!'
>>>
>>> a = tf.constant(15)
>>> b = tf.constant(10)
>>> result = a + b
>>> print(result.numpy())
25
>>> quit()
Singularity :~>
Singularity :~> exit
$

* 위의 각 명령 실행시 cvmfs local cache에 관련 파일들이 다운로드 되어있지 않다면 많은 시간이 소요될 수 있습니다. 파일을 받았다면 두번째 부터는 빠르게 실행됩니다.

===== exec =====

$ cat HelloTensorflow.py
#!/usr/bin/python3

import os
os.environ['TF_CPP_MIN_LOG_LEVEL'] = '2'

import tensorflow as tf
hello = tf.constant('Hello, TensorFlow!')
print(hello.numpy())

a = tf.constant(15)
b = tf.constant(10)
result = a + b
print(result.numpy())

$ apptainer exec \
> --home $PWD:/srv \
> --bind /cvmfs \
> --contain --ipc --pid \
> /cvmfs/singularity.opensciencegrid.org/opensciencegrid/tensorflow-gpu:1.4 \
> ./HelloTensorflow.py
'Hello, TensorFlow!'
25
$

* shell 예제와 동일한 python 코드를 파일로 만들어 실행합니다.

=== CVMFS singularity.opensciencegrid.org repository에서 제공하고 있는 Apptainer 이미지 ===

2025년 4월 현재 CVMFS singularity.opensciencegrid.org repository에서 제공하고 있는 Apptainer 이미지는 다음과 같습니다.

※주의 : 계속해서 업데이트 되니, 본인에게 필요한 이미지가 있는지 확인해보시고 활용하시기 바랍니다. (ls -Rt /cvmfs/singularity.opensciencegrid.org/)

$ ls -Rt /cvmfs/singularity.opensciencegrid.org/
/cvmfs/singularity.opensciencegrid.org/:
lscsoft pystamp eic eicweb opencarp htc library pycbc

...
<중략>
...

/cvmfs/singularity.opensciencegrid.org/cwinpy:
cwinpy-containers

/cvmfs/singularity.opensciencegrid.org/cwinpy/cwinpy-containers:
cwinpy-dev-python38:latest

/cvmfs/singularity.opensciencegrid.org/matthew-pitkin:
cwinpy-containers

/cvmfs/singularity.opensciencegrid.org/matthew-pitkin/cwinpy-containers:

/cvmfs/singularity.opensciencegrid.org/patrickrmiles:

/cvmfs/singularity.opensciencegrid.org/scipp-atlas:
mario-mapyde

/cvmfs/singularity.opensciencegrid.org/scipp-atlas/mario-mapyde:

/cvmfs/singularity.opensciencegrid.org/rucio:
igwn-rucio-client

/cvmfs/singularity.opensciencegrid.org/rucio/igwn-rucio-client:

=== 경북대 UI에서 사용시 주의사항 ===

* 보안문제로 cvmfs 외의 이미지는 현재 지원하고 있지 않습니다.
* 따라서 이미지 생성 및 다운로드 등 이미지 사용과 관련된 명령어는 현재 사용할 수 없습니다.
* cvmfs의 특성상 원하는 이미지가 로컬 cache에 저장되어 있지 않다면 파일 다운로드로 인하여 초기 실행에 많은 시간이 필요할 수도 있습니다.

=== 컨테이너내에서 데이터 전송 오류가 발생할 때 ===

* xrdcp 나 데이터 전송시 다음과 같은 오류가 발생한다면
Run: [FATAL] TLS error: resource temporarily unavailable: Unable to connect to cluster142.knu.ac.kr; error_ssl (destination)

* 컨테이너에서 xrdcp 실행전에 다음 환경변수를 추가해줘야합니다.
export X509_CERT_DIR=/cvmfs/grid.cern.ch/etc/grid-security/certificates

=== HTCondor에서 apptainer를 이용하여 코드 실행하기 ===

* [[HTCondor#Apptainer.28Singularity.29.EB.A5.BC_.EC.9D.B4.EC.9A.A9.ED.95.98.EC.97.AC_.EC.BD.94.EB.93.9C_.EC.8B.A4.ED.96.89|HTCondor에서 apptainer를 이용하여 코드 실행하기]]

=== 참고문서 ===

* Apptainer 사용자 가이드 : https://apptainer.org/docs/user/main/
* Apptainer 관리자 가이드 : https://apptainer.org/docs/admin/main/

Singularity

2025-07-17T02:31:50Z

Hanbi: /* 경북대 UI에서 사용시 주의사항 */

== Apptainer 사용법 ==

=== 컨테이너란? ===

* vmware로 대표되는 가상화 기술과는 다른 모듈식으로 프로그램을 격리하여 운영할 수 있는 기술입니다.
* 해상 운송에서 사용하는 컨테이너에서 이름을 따왔으며 OS 환경과 독립적으로 모듈식으로 설치하고 실행할 수 있습니다.
* 하드웨어 및 OS 계층을 두지 않고 프로세스만 격리하기 때문에 기존의 가상화 기술에 비해 실행속도가 월등히 빠릅니다.
* 대표적인 컨테이너 프로그램으로 docker(https://www.docker.com) 가 있습니다.

=== 컨테이너의 장점? ===

* 프로그램의 배포 및 설치가 쉽습니다.
** 해당 프로그램용으로 이미 구축된 이미지를 배포하고 그 이미지를 이용해서 바로 원하는 프로그램을 실행할 수 있습니다.
** 이 부분에서 가상화 환경의 이미지와 비슷해보이나 월등이 작은 저장공간만을 사용하고 실행 속도 또한 빠릅니다.
* OS 환경과 독립적인 실행환경을 구축할 수 있습니다.
** ex) Scientific Linux 6 환경에서 Centos 7 환경에서 컴파일된 프로그램을 실행할 수 있습니다. 그 반대도 가능합니다.
* 격리 환경이므로 사용자 프로그램간의 간섭을 최소화 할 수 있습니다.

=== Apptainer란? ===

Apptainer (https://apptainer.org/) 과학 연산에 적합하게 만들어진 컨테이너 프로그램입니다. 과학연산 작업을 수행할때 docker보다 더 빠른 속도를 보여줍니다.

=== 기본 사용법 ===

==== exec ====

apptainer exec 컨테이너이미지 실행명령

* 준비된 이미지를 이용하여 단일 프로그램이나 스크립트를 실행합니다.

==== shell ====

apptainer shell 컨테이너이미지

* 컨테이너 안에 interactive shell을 생성합니다.

=== 사용 예제 ===

==== apptainer를 이용하여 cc7 프로그램 실행하기 ====

$ source /cvmfs/cms.cern.ch/cmsset_default.sh
$ cmssw-
cmssw-alma8 cmssw-cc7 cmssw-cs8 cmssw-el5 cmssw-el7 cmssw-el9 cmssw-fc39 cmssw-slc6
cmssw-cc6 cmssw-cc8 cmssw-cs9 cmssw-el6 cmssw-el8 cmssw-env cmssw-rocky8 cmssw-ubi8

$ cmssw-cc7
Singularity> cat /etc/redhat-release
CentOS Linux release 7.9.2009 (Core)

* cmssw-el8, cmssw-el9 등 본인이 원하는 환경을 실행할 수 있습니다.
* 처음 실행할 때는 이미지를 다운로드 받기 때문에 시간이 걸릴수 있습니다.

==== crab3 실행 ====

===== # CMSSW 설치 =====
$ set SCRAM_ARCH=slc7_amd64_gcc12 // 아키텍쳐 설정
$ source /cvmfs/cms.cern.ch/cmsset_default.sh
$ scramv1 list CMSSW | grep CMSSW_13_ // CMSSW 조회
$ scramv1 project CMSSW CMSSW_13_3_3 // CMSSW 설치

===== # crab 환경 설정 =====
$ source /cvmfs/cms.cern.ch/cmsset_default.sh
$ cmsenv
$ source /cvmfs/cms.cern.ch/crab3/crab.sh

===== # 작업 설정 =====
$ vi crab3config.py
$ vi job.py

===== # Grid proxy 생성 =====
$ voms-proxy-init --voms cms

===== # 작업 실행 =====
$ crab submit -c crab3config.py

===== # 작업 조회 =====
$ crab status

==== tensorflow 실행하기 ====

===== shell =====

$ apptainer shell \
> --home $PWD:/srv \
> --bind /cvmfs \
> --contain --ipc --pid \
> /cvmfs/singularity.opensciencegrid.org/opensciencegrid/tensorflow-gpu:1.4
Singularity :~>
Singularity :~> python3
Python 3.6.9 (default, Jan 26 2021, 15:33:00)
[GCC 8.4.0] on linux
Type "help", "copyright", "credits" or "license" for more information.
>>>
>>> import os
>>> os.environ['TF_CPP_MIN_LOG_LEVEL'] = '2'
>>>
>>> import tensorflow as tf
>>>
>>> hello = tf.constant('Hello, TensorFlow!')
>>> print(hello.numpy())
b' Hello, TensorFlow!'
>>>
>>> a = tf.constant(15)
>>> b = tf.constant(10)
>>> result = a + b
>>> print(result.numpy())
25
>>> quit()
Singularity :~>
Singularity :~> exit
$

* 위의 각 명령 실행시 cvmfs local cache에 관련 파일들이 다운로드 되어있지 않다면 많은 시간이 소요될 수 있습니다. 파일을 받았다면 두번째 부터는 빠르게 실행됩니다.

===== exec =====

$ cat HelloTensorflow.py
#!/usr/bin/python3

import os
os.environ['TF_CPP_MIN_LOG_LEVEL'] = '2'

import tensorflow as tf
hello = tf.constant('Hello, TensorFlow!')
print(hello.numpy())

a = tf.constant(15)
b = tf.constant(10)
result = a + b
print(result.numpy())

$ apptainer exec \
> --home $PWD:/srv \
> --bind /cvmfs \
> --contain --ipc --pid \
> /cvmfs/singularity.opensciencegrid.org/opensciencegrid/tensorflow-gpu:1.4 \
> ./HelloTensorflow.py
'Hello, TensorFlow!'
25
$

* shell 예제와 동일한 python 코드를 파일로 만들어 실행합니다.

=== CVMFS singularity.opensciencegrid.org repository에서 제공하고 있는 Apptainer 이미지 ===

2025년 4월 현재 CVMFS singularity.opensciencegrid.org repository에서 제공하고 있는 Apptainer 이미지는 다음과 같습니다.

※주의 : 계속해서 업데이트 되니, 본인에게 필요한 이미지가 있는지 확인해보시고 활용하시기 바랍니다. (ls -Rt /cvmfs/singularity.opensciencegrid.org/)

$ ls -Rt /cvmfs/singularity.opensciencegrid.org/
/cvmfs/singularity.opensciencegrid.org/:
lscsoft pystamp eic eicweb opencarp htc library pycbc

...
<중략>
...

/cvmfs/singularity.opensciencegrid.org/cwinpy:
cwinpy-containers

/cvmfs/singularity.opensciencegrid.org/cwinpy/cwinpy-containers:
cwinpy-dev-python38:latest

/cvmfs/singularity.opensciencegrid.org/matthew-pitkin:
cwinpy-containers

/cvmfs/singularity.opensciencegrid.org/matthew-pitkin/cwinpy-containers:

/cvmfs/singularity.opensciencegrid.org/patrickrmiles:

/cvmfs/singularity.opensciencegrid.org/scipp-atlas:
mario-mapyde

/cvmfs/singularity.opensciencegrid.org/scipp-atlas/mario-mapyde:

/cvmfs/singularity.opensciencegrid.org/rucio:
igwn-rucio-client

/cvmfs/singularity.opensciencegrid.org/rucio/igwn-rucio-client:

=== 경북대 UI에서 사용시 주의사항 ===

* 보안문제로 cvmfs 외의 이미지는 현재 지원하고 있지 않습니다.
* 따라서 이미지 생성 및 다운로드 등 이미지 사용과 관련된 명령어는 현재 사용할 수 없습니다.
* cvmfs의 특성상 원하는 이미지가 로컬 cache에 저장되어 있지 않다면 파일 다운로드로 인하여 초기 실행에 많은 시간이 필요할 수도 있습니다.

=== 컨테이너 내에서 데이터 전송 오류가 발생할 때 ===

* xrdcp 나 데이터 전송시 다음과 같은 오류가 발생한다면
Run: [FATAL] TLS error: resource temporarily unavailable: Unable to connect to cluster142.knu.ac.kr; error_ssl (destination)

* 컨테이너에서 xrdcp 실행전에 다음 환경변수를 추가해줘야합니다.
export X509_CERT_DIR=/cvmfs/grid.cern.ch/etc/grid-security/certificates

=== HTCondor에서 apptainer를 이용하여 코드 실행하기 ===

* [[HTCondor#Apptainer.28Singularity.29.EB.A5.BC_.EC.9D.B4.EC.9A.A9.ED.95.98.EC.97.AC_.EC.BD.94.EB.93.9C_.EC.8B.A4.ED.96.89|HTCondor에서 apptainer를 이용하여 코드 실행하기]]

=== 참고문서 ===

* Apptainer 사용자 가이드 : https://apptainer.org/docs/user/main/
* Apptainer 관리자 가이드 : https://apptainer.org/docs/admin/main/

News & Notices

2025-07-16T02:55:09Z

Hanbi: /* News & Notices */

== News & Notices ==
* [[Dcap|dcap 사용법 항목이 갱신되었습니다.]] 2025.07.16
* [[HTCondorQueueInfo| HTCondor 에 JobType(Queue)가 추가되었습니다.]] 2025.05.13
* [[HTCondor| HTCondor 사용법 문서가 갱신 되었습니다.]] 2025.05.09
* [[Singularity|Apptainer 사용법 문서가 갱신 되었습니다.]] 2025.05.09
* [[Cvmfs_root|CVMFS 에서 root 사용하기 문서가 갱신 되었습니다.]] 2025.05.09
* [[Singularity|Apptainer 사용법 문서가 갱신 되었습니다.]] 2025.04.23
* [[HTCondor| HTCondor 사용법 문서가 갱신 되었습니다.]] 2024.07.08
* [[Singularity|Apptainer 사용법 문서가 갱신 되었습니다.]] 2024.06.13
* [[Storage_Element_Tutorial#.EC.84.9C.EB.B9.84.EC.8A.A4.EB.B3.84_.EC.8A.A4.ED.86.A0.EB.A6.AC.EC.A7.80_.EC.A0.91.EA.B7.BC| 스토리지 엘리먼트의 SRMv2 gridftp gsiftp 데이터 전송 프로토콜 지원이 종료됩니다.]] 2024.05.14
* [[HTCondor| HTCondor 사용법 문서가 갱신 되었습니다.]] 2024.03.11
* [[HTCondor#.EC.B5.9C.EB.8C.80_.EC.9E.91.EC.97.85.EC.8B.9C.EA.B0.84| HTCondor의 GPU 최대 작업시간이 연장되었습니다.]] 2024.02.14
* [[HTCondor| HTCondor 사용법 문서가 갱신 되었습니다.]] 2023.09.21
* [[Storage_Element_Tutorial#.EC.84.9C.EB.B9.84.EC.8A.A4.EB.B3.84_.EC.8A.A4.ED.86.A0.EB.A6.AC.EC.A7.80_.EC.A0.91.EA.B7.BC| 이제 HTCondor에서 SE의 데이터를 바로 읽을 수 있습니다.]] 2023.06.23
* [[Bitwarden| bitwarden(패스워드 관리) 사용법 문서가 추가 되었습니다.]] 2023.03.14
* [[How_to_use_Tier3_at_KNU|How to use T3_KR_KNU 문서가 갱신 되었습니다.]] 2023.02.20
* [[Singularity|Singularity 사용법 문서가 갱신 되었습니다.]] 2022.09.15
* [[Mattermost|Mattermost 메신저 서비스를 시작합니다.]] 2022.09.05
* [[How_to_use_Tier3_at_KNU|How to use T3_KR_KNU 문서가 갱신 되었습니다.]] 2022.07.27
* 이제부터 최근 수정된 부분은 밑줄로 표시됩니다. 참고하시기 바립니다. 2022.06.08
* [[Storage_Element_Tutorial|Storage Element Tutorial이 갱신 되었습니다.]] 2022.06.08
* [[JupyterHub|JupyterHub 서비스를 시작합니다.]] 2022.03.23
* [[HTCondor_Job_Policy|이제 htcondor에서 request_memory보다 많은 메모리를 사용하는 작업은 자동으로 hold됩니다.]] 2022.02.09
* [[FreeIPA|인증시스템 전환(NIS→ FreeIPA)공지입니다.]] 2021.11.09
* [[cvmfs_geant4|CVMFS에서 geant4 사용하기 문서가 추가되었습니다.]] 2021.07.12
* [[cvmfs_root|CVMFS에서 root 사용하기 문서가 추가되었습니다.]] 2021.07.12
* [[cvmfs_gcc|CVMFS에서 원하는 버전의 gcc 사용하기 문서가 추가되었습니다.]] 2021.07.12
* [[WebDav|dCache에서 WebDav 프로토콜 및 마카롱 인증 사용하기 문서가 추가되었습니다.]] 2021.06.22
* [[Rucio|Rucio 사용법 문서가 추가되었습니다.]] 2021.06.08
* [[Uberftp|uberftp에 치명적인 버그가 있습니다. 사용에 주의하세요]] 2021.05.17
* [[HTCondorGPU|HTCondor에서 GPU 사용법 문서가 추가되었습니다.]] 2021.05.12
* [[HTCondor|HTCondor 사용법 문서가 갱신되었습니다.]] 2021.03.31
* [[mosh|mosh 가이드가 등록되었습니다.]] 2021.03.17
* [[x2go|x2go를 이용한 원격데스크탑 가이드가 등록되었습니다.]] 2021.03.11
* [[Xrootd|xrootd 를 활용한 SE Data 사용 가이드가 갱신되었습니다.]] 2021.03.05
* [[HTCondor에서 GPU 사용하기]] 2021.03.04
* [[Duc|자신의 디스크 사용량을 쉽게 확인할 수 있는 툴을 소개합니다.]] 2020.11.05
* [[CreamCE/SL6 서비스 종료]] 2020.10.15
* [[HTCondor|HTCondor 사용법 문서가 작성중입니다.]] 2020.07.30
* [[CreamCE/Torque → HTCondorCE/HTCondor 이전 안내]] 2020.07.23
* 스토리지 엘리먼트가 1.45PB로 증가하였습니다. 2020.06.26
* [[SFT|CVMFS SFT repository 사용법 문서가 갱신 되었습니다.]] 2020.03.20
* [[Scratch Disk가 교체 및 증설 안내]] 2020.02.10
* [[Notion|Notion 문서를 추가하였습니다.]] 2019.09.20
* [[Storage_Element_Tutorial|Storage Element Tutorial이 보강 되었습니다.]] 2019.08.30
* [[Storage_Element_Tutorial|Storage Element Tutorial이 보강 되었습니다.]] 2018.12.10
* [[Singularity|Singularity 사용법 문서가 추가 되었습니다.]] 2018.12.03
* [[SFT|CVMFS SFT repository 사용법 문서가 추가 되었습니다.]] 2018.11.08
* [[torque|Torque 사용법 문서가 갱신 되었습니다.]] 2018.10.15
* [[Storage_Element_Tutorial|Storage Element Tutorial이 보강 되었습니다.]] 2018.08.31
* [[Tier3BatchQueueInfo|Tier3 batch farm에 큰 메모리를 사용하는 작업 전용의 queue를 추가하였습니다.]] 2018.07.13
* [[T2_KR_KNU_Decommissioned| 경북대 Tier2 서비스는 4월 30일자로 종료되고 해당자원은 Tier3로 통합됩니다.]] 2018.04.18
* cms03이 SL6로 업그레이드되었습니다. 2018.01.16
* [[Storage_Element_Tutorial|Storage Element Tutorial이 갱신 되었습니다.]] 2017.11.22
* [[Xrootd|xrootd 를 활용한 SE Data 사용 가이드가 별도 분리되었습니다.]] 2017.11.22
* 스토리지 엘리먼트가 1.29PB로 증가하였습니다. 2017.10.12
* [[crab|Crab Tutorial을 업데이트 하였습니다.]] 2017.06.29
* [[Storage_Element_Tutorial#xrootd_.EB.A5.BC_.ED.99.9C.EC.9A.A9.ED.95.9C_SE_Data_.EC.A0.91.EA.B7.BC_.EB.B0.A9.EB.B2.95|Storage Element Tutorial에서 xrootd 관련 항목이 업데이트 되었습니다.]] 2017.06.15
* [[Webfts|WebFTS 사용법 항목이 추가되었습니다.]] 2017.04.14
* [[Dcap|dcap 사용법 항목이 갱신되었습니다.]] 2016.12.06
* 스토리지 엘리먼트가 1.2PB로 증가하였습니다. 2016.12.05
* [[Task_monitoring_for_the_analysis_users|Analysis 사용자를 위한 작업 모니터링 가이드가 추가되었습니다.]] 2016.10.19
* [[DCacheNFS|스토리지 엘리먼트의 NFS 사용 가이드가 갱신되었습니다.]] 2016.10.07
* [[Dcap|dcap 사용법 항목이 추가되었습니다.]] 2016.10.06
* 스토리지 엘리먼트가 1PB로 증가하였습니다. 2016.08.10
* [[DCacheNFS|스토리지 엘리먼트를 UI에서 NFS로 바로 읽을 수 있습니다.]] 2016.07.19
* [[Tier3BatchQueueInfo|Tier3 batch farm의 queue에 대한 세부정보를 업데이트 하였습니다.]] 2016.02.12
* [[Motd|Tier2/3 UI motd(Message of the Day)에서 스토리지 엘리먼트를 비롯한 디스크 사용량을 확인할수 있습니다.]] 2015.12.28
* [[Ssh_Public_key_Authentication|보다 안전하고 편리한 ssh 공개키 인증 사용법 항목이 추가 되었습니다.]] 2015.12.28
* [[Create-batch|create-batch 사용법 항목이 추가 되었습니다.]] 2015.12.21
* [[Storage_Element_Tutorial|Storage Element Tutorial 항목이 별도로 분리 되었습니다.]] 2015.10.29
* [[torque|Torque 사용법 항목이 별도로 분리 되었습니다.]] 2015.10.29
* [[crab|Crab Tutorial 항목이 별도로 분리 되었습니다.]] 2015.10.29
* [[Q&A|Q&A 항목이 추가 되었습니다.]] 2015.10.12
* [[uberftp | uberftp 사용법 항목이 추가되었습니다.]] 2015.10.12
* T2_KR_KNU 홈페이지가 리뉴얼 되었습니다. 2015.10.12
* [https://indico.cern.ch/event/386181/ 2015 CMS DAS (Data Analysis School) at Korea가 개최되었습니다.] 2015.08.25~29

Main Page

2025-07-16T02:54:26Z

Hanbi: /* News & Notices */

__NOTOC__
='''KNU Tier-3 Center for CMS''' <img src="http://t2-cms.knu.ac.kr/img/CMS-logo.gif" width=25> =

Welcome to the CMS Tier-3 Center at Kyungpook National University in Korea.

This web portal is your gateway to the CMS Tier-3 center at Kyungpook National University (KNU) in Korea. This CMS Tier-3 center is being supported by the Ministry of Education, Science and Technology and is being maintained by the Center for High Energy Physics of the KNU.
We will support the CMS computing needs for Korean and overseas collaborators. For your general comments, questions, or reports of any problems regarding to this Center, please email to lcg_knu@knu.ac.kr.

== News & Notices ==
* [[Dcap|dcap 사용법 항목이 갱신되었습니다.]] 2025.07.16
* [[HTCondorQueueInfo| HTCondor에 JobType(Queue)가 추가되었습니다.]] 2025.05.13
* [[HTCondor| HTCondor 사용법 문서가 갱신 되었습니다.]] 2025.05.09
* [[Singularity|Apptainer 사용법 문서가 갱신 되었습니다.]] 2025.05.09
* [[Cvmfs_root|CVMFS 에서 root 사용하기 문서가 갱신 되었습니다.]] 2025.05.09
* [[Singularity|Apptainer 사용법 문서가 갱신 되었습니다.]] 2025.04.23
* [[HTCondor| HTCondor 사용법 문서가 갱신 되었습니다.]] 2024.07.08
* [[Singularity|Apptainer 사용법 문서가 갱신 되었습니다.]] 2024.06.13
* [[Storage_Element_Tutorial#.EC.84.9C.EB.B9.84.EC.8A.A4.EB.B3.84_.EC.8A.A4.ED.86.A0.EB.A6.AC.EC.A7.80_.EC.A0.91.EA.B7.BC| 스토리지 엘리먼트의 SRMv2 gridftp gsiftp 데이터 전송 프로토콜 지원이 종료됩니다.]] 2024.05.14
* [[HTCondor| HTCondor 사용법 문서가 갱신 되었습니다.]] 2024.03.11
* [[HTCondor#.EC.B5.9C.EB.8C.80_.EC.9E.91.EC.97.85.EC.8B.9C.EA.B0.84| HTCondor의 GPU 최대 작업시간이 연장되었습니다.]] 2024.02.14
* [[HTCondor| HTCondor 사용법 문서가 갱신 되었습니다.]] 2023.09.21
* [[Storage_Element_Tutorial#.EC.84.9C.EB.B9.84.EC.8A.A4.EB.B3.84_.EC.8A.A4.ED.86.A0.EB.A6.AC.EC.A7.80_.EC.A0.91.EA.B7.BC| 이제 HTCondor에서 SE의 데이터를 바로 읽을 수 있습니다.]] 2023.06.23
* [[Bitwarden| bitwarden(패스워드 관리 서비스) 사용법 문서가 추가 되었습니다.]] 2023.03.14
* [[How_to_use_Tier3_at_KNU|How to use T3_KR_KNU 문서가 갱신 되었습니다.]] 2023.02.20
* [[Singularity|Singularity 사용법 문서가 갱신 되었습니다.]] 2022.09.15
* [[Mattermost|Mattermost 메신저 서비스를 시작합니다.]] 2022.09.05
* [[How_to_use_Tier3_at_KNU|How to use T3_KR_KNU 문서가 갱신 되었습니다.]] 2022.07.27
* 이제부터 최근 수정된 부분은 밑줄로 표시됩니다. 참고하시기 바립니다. 2022.06.08
* [[Storage_Element_Tutorial|Storage Element Tutorial이 갱신 되었습니다.]] 2022.06.08
* [[JupyterHub|JupyterHub 서비스를 시작합니다.]] 2022.03.23
* [[HTCondor_Job_Policy|이제 htcondor에서 request_memory보다 많은 메모리를 사용하는 작업은 자동으로 hold됩니다.]] 2022.02.09
* [[FreeIPA|인증시스템 전환(NIS→ FreeIPA)공지입니다.]] 2021.11.09
* [[cvmfs_geant4|CVMFS에서 geant4 사용하기 문서가 추가되었습니다.]] 2021.07.12
* [[cvmfs_root|CVMFS에서 root 사용하기 문서가 추가되었습니다.]] 2021.07.12
* [[News & Notices|more ...]]

==Additional Services==

* [https://chep17.knu.ac.kr:3003 T3_KR_KNU Status - 작업 현황, 현재 사용량 등]
* [https://githep.knu.ac.kr:4443 Gitlab 서비스 - 소스코드 버전 관리 시스템]
* [https://mm.knu.ac.kr Mattermost 서비스 - 업무용 메신저 서비스]
* [https://indico.knu.ac.kr 경북대 물리학과 Indico]
* [https://indico.kno.or.kr KNO Indico]

==How to use Tier-3 at KNU?==
*[[How_to_use_Tier2_at_KNU|How to use Tier-3 at KNU?]]
**[[How_to_use_Tier2_at_KNU#Pre-requisites|Pre-requisites]]
**[[How_to_use_Tier2_at_KNU#KNU_Tier-2_Login|KNU_Tier-3 Login]]
**[[How_to_use_Tier2_at_KNU#CMSSW.28CMS_Software.29_Installation|CMSSW Installation]]
**[[crab|Crab Tutorial]]
**[[How_to_use_Tier2_at_KNU#Storage_Element_.28SE.29_Manual|Storage Element Tutorial]]
**[[uberftp|uberftp]]
**[[Q&A|Q&A]]

*[https://t2-cms.knu.ac.kr/lcg_registration.php KNU Account Registration]

----
{| style="width: 100%"
! style="text-align: left;text-valign: top" | Contact: Email: lcg_knu@knu.ac.kr
! style="text-align: right;" | THE CENTER FOR HIGH ENERGY PHYSICS KYUNGPOOK NATIONAL UNIVERSITY
|}

Dcap

2025-07-16T02:51:41Z

Hanbi: /* dcap을 이용하여 root에서 SE의 Data 읽고 쓰기 */

== dcap을 이용하여 SE 사용하기 ==
* dcap(dCache Access Protocol)은 스토리지 엘리먼트(SE)인 dCache에서 사용하는 파일전송 프로토콜입니다.
* dcap은 다른 프로토콜에 비해 상대적으로 빠르고 간편합니다.
* dcap은 읽기 전용이나 인증없이 사용할 수 있고 쓰기를 위해서는 그리드인증이 추가된 gsidcap 프로토콜을 사용할 수 있습니다.
* dcap을 이용하면 일반 프로그램 및 root 프로그램에서 SE의 데이터를 바로 읽거나 쓸수 있습니다.
* SE의 사용자 홈디렉토리의 dcap 경로는 다음과 같습니다.
* 아래 예제들에서 (userid)는 본인의 id로 대체하세요.

dcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/(userid)
gsidcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/(userid)

=== dccp ===
* dcap 을 이용한 파일 복사 툴입니다. 자세한 옵션의 사용법은 다음과 같습니다.

$ dccp -h
DiskCache Copy Program. LibDCAP version: 2.47.10-1
Usage: dccp [-H] [-d <debugLevel>] [-h <replyhostname>] [-i]
[-P [-t <time in seconds>] [-l <stage location>] ]
[-a] [-b <read_ahead bufferSize>] [-B <bufferSize>]
[-X <extraOption>] [-u] [-p <first port>[:last port]]
[-r <buffers size>] [-s <buffer size>] [-c] [-C <seconds>] <src> <dest>

-A : active client mode ( client connects to the pool).
-d <debugLevel> : set debug level.
-h <replyhostname> : specify hostname for data connection.
-i : do not overwrite existing files.
-P : pre-stage request.
-t <seconds> : specify time offset for pre-stage.
-o <seconds> : specify timeout for the 'open' operation
-l <stage location> : specify host or network,
where from staged file will be accessed.
-a : enable read-ahead.
-b : specify read-ahead buffer size.
-B : specify transfer buffer size (default=1048570).
-X <extraOption> : add extra wishes into "open" request.
-u : enable unsafe write operations.
-p <first port>[:<last port>] : specify port range number for data connection.
-T <plugin name> : specify control line IO tunneling plugin.
-w <tunnel type> : specify tunnel type.
-r <buffer size> : specify TCP receive buffer size.
-s <buffer size> : specify TCP send buffer size.
-c : disable checksum calculation.
-C <seconds> : specify timeout for the 'close' operation.
-H : show progress during file transfer.

* SE의 파일을 현재 디렉토리에 복사하는 예제 입니다. -H 옵션은 진행바를 나타냅니다.
$ dccp -H dcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/tmp/test.transfer .

=== 일반 프로그램에서 dcap을 이용하여 SE의 데이터를 읽기 ===
* 아래 내용은 현재 almalinux 9 환경에서 동작하지 않습니다.
* <del>다음과 같이 LD_PRELOAD 설정을 사전에 하면 ls와 cp 같은 일반 프로그램에서 SE의 데이터를 읽을 수 있습니다.</del>

* bash 환경
$ export LD_PRELOAD=/usr/lib64/libpdcap.so
$ ls dcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/test/
test.transfer test.transfer.20161005112625
$ cp -v dcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/test/test.transfer .
`dcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/test/test.transfer' -> `./test.transfer'

* tcsh 환경
$ setenv LD_PRELOAD "/usr/lib64/libpdcap.so"
$ ls "dcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/test/"
test.transfer test.transfer.20161005112625
$ cp -v "dcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/test/test.transfer" .
`dcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/test/test.transfer' -> `./test.transfer'

=== 일반 프로그램에서 gsidcap을 이용하여 SE에 데이터를 쓰기 ===
* 아래 내용은 현재 almalinux 9 환경에서 동작하지 않습니다.
*<del> SE에 파일을 쓰려면 그리드 인증이 필요한 gsidcap 프토로콜을 사용해야합니다.</del>

* bash 환경
$ export LD_PRELOAD=/usr/lib64/libpdcap.so
$ voms-proxy-init --voms cms
$ cp test.transfer gsidcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/(userid)/test.transfer.201610051632

* tcsh 환경
$ setenv LD_PRELOAD "/usr/lib64/libpdcap.so"
$ voms-proxy-init --voms cms
$ cp test.transfer "gsidcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/(userid)/test.transfer.201610051632"

=== dcap을 이용하여 root에서 SE의 Data 읽고 쓰기 ===

* 현재 alma linux 9에서 root 프로그램에서 dcap을 사용하기 위해서는 dcap을 지원하는 root프로그램을 사용해야합니다.

source /cvmfs/cms.cern.ch/cmsset_default.sh
export SCRAM_ARCH=el9_amd64_gcc12
cmsrel CMSSW_13_3_0
cd CMSSW_13_3_0/src/
cmsenv
root dcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/test/CE4D66EB-5AAE-E111-96D6-003048D37524.root

* dcap은 읽기 전용의 프로토콜이며 그리드 인증이 필요한 gsidcap은 읽기 뿐만 아니라 쓰기도 가능합니다.
* 읽기
$ root -l
root [0] TFile *f = TFile::Open("dcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/test/CE4D66EB-5AAE-E111-96D6-003048D37524.root");
root [1] f->Close();
root [2] .q

* 쓰기, bash 환경
$ export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/lib64/dcap
$ voms-proxy-init --voms cms
$ root -l
root [0] TFile *f = TFile::Open("gsidcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/(username)/test.root", "CREATE");
root [1] f->Close();
root [2] TFile *f2 = TFile::Open("gsidcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/(username)/test.root", "RECREATE");
root [3] f2->Close();
root [4] .q
$

* 쓰기, tcsh 환경
$ setenv LD_LIBRARY_PATH "$LD_LIBRARY_PATH:/usr/lib64/dcap"
$ voms-proxy-init --voms cms
$ root -l
root [0] TFile *f = TFile::Open("gsidcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/(username)/test.root", "CREATE");
root [1] f->Close();
root [2] TFile *f2 = TFile::Open("gsidcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/(username)/test.root", "RECREATE");
root [3] f2->Close();
root [4] .q
$

=== KNU Tier3에서 Batch job을 돌릴때 SE의 데이터를 읽기 ===
* 아래 내용은 현재 almalinux 9 환경에서 동작하지 않습니다.
* <del>아래 명령어를 batch script에 추가하면 일반 프로그램에서 dcap 프로토콜로 SE의 데이터를 읽을수 있습니다.</del>
bash)
export LD_LIBRARY_PATH="$LD_LIBRARY_PATH:/usr/lib64/dcap"

tcsh)
setenv LD_LIBRARY_PATH "${LD_LIBRARY_PATH}:/usr/lib64/dcap"

* 읽을 파일의 경로는 다음과 같이 지정할수 있습니다.
dcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/...

=== KNU Tier3에서 Batch job을 돌릴때 gsidcap을 이용하여 SE에 데이터 쓰기 ===
dcap프로토콜로 SE에 데이터를 쓰려면 인증이 필요한 gsidcap프로토콜을 사용해야 합니다.

* 따라서 Job submit 전에 프록시를 다음과 같이 생성합니다.

bash)
$ export X509_USER_PROXY=/u/user/(userid)/proxy.cert
$ voms-proxy-init --voms cms

tcsh)
$ setenv X509_USER_PROXY "/u/user/(userid)/proxy.cert"
$ voms-proxy-init --voms cms

* batch job 스크립트에 환경변수 추가
바뀐 프록시파일의 위치를 알려주는 설정과, gsidcap을 사용하기위한 설정을 작업 실행 스크립트에 추가합니다.

bash)
export X509_USER_PROXY=/u/user/(userid)/proxy.cert
export LD_PRELOAD="/usr/lib64/libpdcap.so"
export LD_LIBRARY_PATH="$LD_LIBRARY_PATH:/usr/lib64/dcap"

tcsh)
setenv X509_USER_PROXY "/u/user/(userid)/proxy.cert"
setenv LD_PRELOAD "/usr/lib64/libpdcap.so"
setenv LD_LIBRARY_PATH "${LD_LIBRARY_PATH}:/usr/lib64/dcap"

* 참고용 예제 코드

#!/bin/bash
export X509_USER_PROXY="/u/user/(userid)/proxy.cert"
export SCRAM_ARCH="slc5_amd64_gcc530"
export LD_PRELOAD="/usr/lib64/libpdcap.so"
export LD_LIBRARY_PATH="$LD_LIBRARY_PATH:/usr/lib64/dcap"
source /cvmfs/cms.cern.ch/cmsset_default.sh
cd <working-directory>
eval `scramv1 runtime -csh`
cmsRun parser_test.py inputFiles_load=FileTestMC.txt outputFile=gsidcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/(userid)/test/test.root

#!/bin/tcsh
setenv X509_USER_PROXY "/u/user/(userid)/proxy.cert"
setenv SCRAM_ARCH "slc5_amd64_gcc530"
setenv LD_PRELOAD "/usr/lib64/libpdcap.so"
setenv LD_LIBRARY_PATH "${LD_LIBRARY_PATH}:/usr/lib64/dcap"
source /cvmfs/cms.cern.ch/cmsset_default.csh
cd <working-directory>
eval `scramv1 runtime -csh`
cmsRun parser_test.py inputFiles_load=FileTestMC.txt outputFile="gsidcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/(userid)/test/test.root"

=== 참고자료 ===

* https://github.com/dCache/dcap

Dcap

2025-07-16T02:47:26Z

Hanbi: /* 일반 프로그램에서 gsidcap을 이용하여 SE에 데이터를 쓰기 */

== dcap을 이용하여 SE 사용하기 ==
* dcap(dCache Access Protocol)은 스토리지 엘리먼트(SE)인 dCache에서 사용하는 파일전송 프로토콜입니다.
* dcap은 다른 프로토콜에 비해 상대적으로 빠르고 간편합니다.
* dcap은 읽기 전용이나 인증없이 사용할 수 있고 쓰기를 위해서는 그리드인증이 추가된 gsidcap 프로토콜을 사용할 수 있습니다.
* dcap을 이용하면 일반 프로그램 및 root 프로그램에서 SE의 데이터를 바로 읽거나 쓸수 있습니다.
* SE의 사용자 홈디렉토리의 dcap 경로는 다음과 같습니다.
* 아래 예제들에서 (userid)는 본인의 id로 대체하세요.

dcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/(userid)
gsidcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/(userid)

=== dccp ===
* dcap 을 이용한 파일 복사 툴입니다. 자세한 옵션의 사용법은 다음과 같습니다.

$ dccp -h
DiskCache Copy Program. LibDCAP version: 2.47.10-1
Usage: dccp [-H] [-d <debugLevel>] [-h <replyhostname>] [-i]
[-P [-t <time in seconds>] [-l <stage location>] ]
[-a] [-b <read_ahead bufferSize>] [-B <bufferSize>]
[-X <extraOption>] [-u] [-p <first port>[:last port]]
[-r <buffers size>] [-s <buffer size>] [-c] [-C <seconds>] <src> <dest>

-A : active client mode ( client connects to the pool).
-d <debugLevel> : set debug level.
-h <replyhostname> : specify hostname for data connection.
-i : do not overwrite existing files.
-P : pre-stage request.
-t <seconds> : specify time offset for pre-stage.
-o <seconds> : specify timeout for the 'open' operation
-l <stage location> : specify host or network,
where from staged file will be accessed.
-a : enable read-ahead.
-b : specify read-ahead buffer size.
-B : specify transfer buffer size (default=1048570).
-X <extraOption> : add extra wishes into "open" request.
-u : enable unsafe write operations.
-p <first port>[:<last port>] : specify port range number for data connection.
-T <plugin name> : specify control line IO tunneling plugin.
-w <tunnel type> : specify tunnel type.
-r <buffer size> : specify TCP receive buffer size.
-s <buffer size> : specify TCP send buffer size.
-c : disable checksum calculation.
-C <seconds> : specify timeout for the 'close' operation.
-H : show progress during file transfer.

* SE의 파일을 현재 디렉토리에 복사하는 예제 입니다. -H 옵션은 진행바를 나타냅니다.
$ dccp -H dcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/tmp/test.transfer .

=== 일반 프로그램에서 dcap을 이용하여 SE의 데이터를 읽기 ===
* 아래 내용은 현재 almalinux 9 환경에서 동작하지 않습니다.
* <del>다음과 같이 LD_PRELOAD 설정을 사전에 하면 ls와 cp 같은 일반 프로그램에서 SE의 데이터를 읽을 수 있습니다.</del>

* bash 환경
$ export LD_PRELOAD=/usr/lib64/libpdcap.so
$ ls dcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/test/
test.transfer test.transfer.20161005112625
$ cp -v dcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/test/test.transfer .
`dcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/test/test.transfer' -> `./test.transfer'

* tcsh 환경
$ setenv LD_PRELOAD "/usr/lib64/libpdcap.so"
$ ls "dcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/test/"
test.transfer test.transfer.20161005112625
$ cp -v "dcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/test/test.transfer" .
`dcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/test/test.transfer' -> `./test.transfer'

=== 일반 프로그램에서 gsidcap을 이용하여 SE에 데이터를 쓰기 ===
* 아래 내용은 현재 almalinux 9 환경에서 동작하지 않습니다.
*<del> SE에 파일을 쓰려면 그리드 인증이 필요한 gsidcap 프토로콜을 사용해야합니다.</del>

* bash 환경
$ export LD_PRELOAD=/usr/lib64/libpdcap.so
$ voms-proxy-init --voms cms
$ cp test.transfer gsidcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/(userid)/test.transfer.201610051632

* tcsh 환경
$ setenv LD_PRELOAD "/usr/lib64/libpdcap.so"
$ voms-proxy-init --voms cms
$ cp test.transfer "gsidcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/(userid)/test.transfer.201610051632"

=== dcap을 이용하여 root에서 SE의 Data 읽고 쓰기 ===

* dcap은 읽기 전용의 프로토콜이며 그리드 인증이 필요한 gsidcap은 읽기 뿐만 아니라 쓰기도 가능합니다.
* 읽기
$ root -l
root [0] TFile *f = TFile::Open("dcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/test/CE4D66EB-5AAE-E111-96D6-003048D37524.root");
root [1] f->Close();
root [2] .q

* 쓰기, bash 환경
$ export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/lib64/dcap
$ voms-proxy-init --voms cms
$ root -l
root [0] TFile *f = TFile::Open("gsidcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/(username)/test.root", "CREATE");
root [1] f->Close();
root [2] TFile *f2 = TFile::Open("gsidcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/(username)/test.root", "RECREATE");
root [3] f2->Close();
root [4] .q
$

* 쓰기, tcsh 환경
$ setenv LD_LIBRARY_PATH "$LD_LIBRARY_PATH:/usr/lib64/dcap"
$ voms-proxy-init --voms cms
$ root -l
root [0] TFile *f = TFile::Open("gsidcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/(username)/test.root", "CREATE");
root [1] f->Close();
root [2] TFile *f2 = TFile::Open("gsidcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/(username)/test.root", "RECREATE");
root [3] f2->Close();
root [4] .q
$

=== KNU Tier3에서 Batch job을 돌릴때 SE의 데이터를 읽기 ===
* 아래 내용은 현재 almalinux 9 환경에서 동작하지 않습니다.
* <del>아래 명령어를 batch script에 추가하면 일반 프로그램에서 dcap 프로토콜로 SE의 데이터를 읽을수 있습니다.</del>
bash)
export LD_LIBRARY_PATH="$LD_LIBRARY_PATH:/usr/lib64/dcap"

tcsh)
setenv LD_LIBRARY_PATH "${LD_LIBRARY_PATH}:/usr/lib64/dcap"

* 읽을 파일의 경로는 다음과 같이 지정할수 있습니다.
dcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/...

=== KNU Tier3에서 Batch job을 돌릴때 gsidcap을 이용하여 SE에 데이터 쓰기 ===
dcap프로토콜로 SE에 데이터를 쓰려면 인증이 필요한 gsidcap프로토콜을 사용해야 합니다.

* 따라서 Job submit 전에 프록시를 다음과 같이 생성합니다.

bash)
$ export X509_USER_PROXY=/u/user/(userid)/proxy.cert
$ voms-proxy-init --voms cms

tcsh)
$ setenv X509_USER_PROXY "/u/user/(userid)/proxy.cert"
$ voms-proxy-init --voms cms

* batch job 스크립트에 환경변수 추가
바뀐 프록시파일의 위치를 알려주는 설정과, gsidcap을 사용하기위한 설정을 작업 실행 스크립트에 추가합니다.

bash)
export X509_USER_PROXY=/u/user/(userid)/proxy.cert
export LD_PRELOAD="/usr/lib64/libpdcap.so"
export LD_LIBRARY_PATH="$LD_LIBRARY_PATH:/usr/lib64/dcap"

tcsh)
setenv X509_USER_PROXY "/u/user/(userid)/proxy.cert"
setenv LD_PRELOAD "/usr/lib64/libpdcap.so"
setenv LD_LIBRARY_PATH "${LD_LIBRARY_PATH}:/usr/lib64/dcap"

* 참고용 예제 코드

#!/bin/bash
export X509_USER_PROXY="/u/user/(userid)/proxy.cert"
export SCRAM_ARCH="slc5_amd64_gcc530"
export LD_PRELOAD="/usr/lib64/libpdcap.so"
export LD_LIBRARY_PATH="$LD_LIBRARY_PATH:/usr/lib64/dcap"
source /cvmfs/cms.cern.ch/cmsset_default.sh
cd <working-directory>
eval `scramv1 runtime -csh`
cmsRun parser_test.py inputFiles_load=FileTestMC.txt outputFile=gsidcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/(userid)/test/test.root

#!/bin/tcsh
setenv X509_USER_PROXY "/u/user/(userid)/proxy.cert"
setenv SCRAM_ARCH "slc5_amd64_gcc530"
setenv LD_PRELOAD "/usr/lib64/libpdcap.so"
setenv LD_LIBRARY_PATH "${LD_LIBRARY_PATH}:/usr/lib64/dcap"
source /cvmfs/cms.cern.ch/cmsset_default.csh
cd <working-directory>
eval `scramv1 runtime -csh`
cmsRun parser_test.py inputFiles_load=FileTestMC.txt outputFile="gsidcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/(userid)/test/test.root"

=== 참고자료 ===

* https://github.com/dCache/dcap

Dcap

2025-07-16T02:47:14Z

Hanbi: /* 일반 프로그램에서 dcap을 이용하여 SE의 데이터를 읽기 */

== dcap을 이용하여 SE 사용하기 ==
* dcap(dCache Access Protocol)은 스토리지 엘리먼트(SE)인 dCache에서 사용하는 파일전송 프로토콜입니다.
* dcap은 다른 프로토콜에 비해 상대적으로 빠르고 간편합니다.
* dcap은 읽기 전용이나 인증없이 사용할 수 있고 쓰기를 위해서는 그리드인증이 추가된 gsidcap 프로토콜을 사용할 수 있습니다.
* dcap을 이용하면 일반 프로그램 및 root 프로그램에서 SE의 데이터를 바로 읽거나 쓸수 있습니다.
* SE의 사용자 홈디렉토리의 dcap 경로는 다음과 같습니다.
* 아래 예제들에서 (userid)는 본인의 id로 대체하세요.

dcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/(userid)
gsidcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/(userid)

=== dccp ===
* dcap 을 이용한 파일 복사 툴입니다. 자세한 옵션의 사용법은 다음과 같습니다.

$ dccp -h
DiskCache Copy Program. LibDCAP version: 2.47.10-1
Usage: dccp [-H] [-d <debugLevel>] [-h <replyhostname>] [-i]
[-P [-t <time in seconds>] [-l <stage location>] ]
[-a] [-b <read_ahead bufferSize>] [-B <bufferSize>]
[-X <extraOption>] [-u] [-p <first port>[:last port]]
[-r <buffers size>] [-s <buffer size>] [-c] [-C <seconds>] <src> <dest>

-A : active client mode ( client connects to the pool).
-d <debugLevel> : set debug level.
-h <replyhostname> : specify hostname for data connection.
-i : do not overwrite existing files.
-P : pre-stage request.
-t <seconds> : specify time offset for pre-stage.
-o <seconds> : specify timeout for the 'open' operation
-l <stage location> : specify host or network,
where from staged file will be accessed.
-a : enable read-ahead.
-b : specify read-ahead buffer size.
-B : specify transfer buffer size (default=1048570).
-X <extraOption> : add extra wishes into "open" request.
-u : enable unsafe write operations.
-p <first port>[:<last port>] : specify port range number for data connection.
-T <plugin name> : specify control line IO tunneling plugin.
-w <tunnel type> : specify tunnel type.
-r <buffer size> : specify TCP receive buffer size.
-s <buffer size> : specify TCP send buffer size.
-c : disable checksum calculation.
-C <seconds> : specify timeout for the 'close' operation.
-H : show progress during file transfer.

* SE의 파일을 현재 디렉토리에 복사하는 예제 입니다. -H 옵션은 진행바를 나타냅니다.
$ dccp -H dcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/tmp/test.transfer .

=== 일반 프로그램에서 dcap을 이용하여 SE의 데이터를 읽기 ===
* 아래 내용은 현재 almalinux 9 환경에서 동작하지 않습니다.
* <del>다음과 같이 LD_PRELOAD 설정을 사전에 하면 ls와 cp 같은 일반 프로그램에서 SE의 데이터를 읽을 수 있습니다.</del>

* bash 환경
$ export LD_PRELOAD=/usr/lib64/libpdcap.so
$ ls dcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/test/
test.transfer test.transfer.20161005112625
$ cp -v dcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/test/test.transfer .
`dcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/test/test.transfer' -> `./test.transfer'

* tcsh 환경
$ setenv LD_PRELOAD "/usr/lib64/libpdcap.so"
$ ls "dcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/test/"
test.transfer test.transfer.20161005112625
$ cp -v "dcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/test/test.transfer" .
`dcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/test/test.transfer' -> `./test.transfer'

=== 일반 프로그램에서 gsidcap을 이용하여 SE에 데이터를 쓰기 ===
*<del> SE에 파일을 쓰려면 그리드 인증이 필요한 gsidcap 프토로콜을 사용해야합니다.</del>
* 아래 내용은 현재 almalinux 9 환경에서 동작하지 않습니다.

* bash 환경
$ export LD_PRELOAD=/usr/lib64/libpdcap.so
$ voms-proxy-init --voms cms
$ cp test.transfer gsidcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/(userid)/test.transfer.201610051632

* tcsh 환경
$ setenv LD_PRELOAD "/usr/lib64/libpdcap.so"
$ voms-proxy-init --voms cms
$ cp test.transfer "gsidcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/(userid)/test.transfer.201610051632"

=== dcap을 이용하여 root에서 SE의 Data 읽고 쓰기 ===

* dcap은 읽기 전용의 프로토콜이며 그리드 인증이 필요한 gsidcap은 읽기 뿐만 아니라 쓰기도 가능합니다.
* 읽기
$ root -l
root [0] TFile *f = TFile::Open("dcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/test/CE4D66EB-5AAE-E111-96D6-003048D37524.root");
root [1] f->Close();
root [2] .q

* 쓰기, bash 환경
$ export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/lib64/dcap
$ voms-proxy-init --voms cms
$ root -l
root [0] TFile *f = TFile::Open("gsidcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/(username)/test.root", "CREATE");
root [1] f->Close();
root [2] TFile *f2 = TFile::Open("gsidcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/(username)/test.root", "RECREATE");
root [3] f2->Close();
root [4] .q
$

* 쓰기, tcsh 환경
$ setenv LD_LIBRARY_PATH "$LD_LIBRARY_PATH:/usr/lib64/dcap"
$ voms-proxy-init --voms cms
$ root -l
root [0] TFile *f = TFile::Open("gsidcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/(username)/test.root", "CREATE");
root [1] f->Close();
root [2] TFile *f2 = TFile::Open("gsidcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/(username)/test.root", "RECREATE");
root [3] f2->Close();
root [4] .q
$

=== KNU Tier3에서 Batch job을 돌릴때 SE의 데이터를 읽기 ===
* 아래 내용은 현재 almalinux 9 환경에서 동작하지 않습니다.
* <del>아래 명령어를 batch script에 추가하면 일반 프로그램에서 dcap 프로토콜로 SE의 데이터를 읽을수 있습니다.</del>
bash)
export LD_LIBRARY_PATH="$LD_LIBRARY_PATH:/usr/lib64/dcap"

tcsh)
setenv LD_LIBRARY_PATH "${LD_LIBRARY_PATH}:/usr/lib64/dcap"

* 읽을 파일의 경로는 다음과 같이 지정할수 있습니다.
dcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/...

=== KNU Tier3에서 Batch job을 돌릴때 gsidcap을 이용하여 SE에 데이터 쓰기 ===
dcap프로토콜로 SE에 데이터를 쓰려면 인증이 필요한 gsidcap프로토콜을 사용해야 합니다.

* 따라서 Job submit 전에 프록시를 다음과 같이 생성합니다.

bash)
$ export X509_USER_PROXY=/u/user/(userid)/proxy.cert
$ voms-proxy-init --voms cms

tcsh)
$ setenv X509_USER_PROXY "/u/user/(userid)/proxy.cert"
$ voms-proxy-init --voms cms

* batch job 스크립트에 환경변수 추가
바뀐 프록시파일의 위치를 알려주는 설정과, gsidcap을 사용하기위한 설정을 작업 실행 스크립트에 추가합니다.

bash)
export X509_USER_PROXY=/u/user/(userid)/proxy.cert
export LD_PRELOAD="/usr/lib64/libpdcap.so"
export LD_LIBRARY_PATH="$LD_LIBRARY_PATH:/usr/lib64/dcap"

tcsh)
setenv X509_USER_PROXY "/u/user/(userid)/proxy.cert"
setenv LD_PRELOAD "/usr/lib64/libpdcap.so"
setenv LD_LIBRARY_PATH "${LD_LIBRARY_PATH}:/usr/lib64/dcap"

* 참고용 예제 코드

#!/bin/bash
export X509_USER_PROXY="/u/user/(userid)/proxy.cert"
export SCRAM_ARCH="slc5_amd64_gcc530"
export LD_PRELOAD="/usr/lib64/libpdcap.so"
export LD_LIBRARY_PATH="$LD_LIBRARY_PATH:/usr/lib64/dcap"
source /cvmfs/cms.cern.ch/cmsset_default.sh
cd <working-directory>
eval `scramv1 runtime -csh`
cmsRun parser_test.py inputFiles_load=FileTestMC.txt outputFile=gsidcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/(userid)/test/test.root

#!/bin/tcsh
setenv X509_USER_PROXY "/u/user/(userid)/proxy.cert"
setenv SCRAM_ARCH "slc5_amd64_gcc530"
setenv LD_PRELOAD "/usr/lib64/libpdcap.so"
setenv LD_LIBRARY_PATH "${LD_LIBRARY_PATH}:/usr/lib64/dcap"
source /cvmfs/cms.cern.ch/cmsset_default.csh
cd <working-directory>
eval `scramv1 runtime -csh`
cmsRun parser_test.py inputFiles_load=FileTestMC.txt outputFile="gsidcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/(userid)/test/test.root"

=== 참고자료 ===

* https://github.com/dCache/dcap

Dcap

2025-07-16T02:46:32Z

Hanbi: /* KNU Tier3에서 Batch job을 돌릴때 SE의 데이터를 읽기 */

== dcap을 이용하여 SE 사용하기 ==
* dcap(dCache Access Protocol)은 스토리지 엘리먼트(SE)인 dCache에서 사용하는 파일전송 프로토콜입니다.
* dcap은 다른 프로토콜에 비해 상대적으로 빠르고 간편합니다.
* dcap은 읽기 전용이나 인증없이 사용할 수 있고 쓰기를 위해서는 그리드인증이 추가된 gsidcap 프로토콜을 사용할 수 있습니다.
* dcap을 이용하면 일반 프로그램 및 root 프로그램에서 SE의 데이터를 바로 읽거나 쓸수 있습니다.
* SE의 사용자 홈디렉토리의 dcap 경로는 다음과 같습니다.
* 아래 예제들에서 (userid)는 본인의 id로 대체하세요.

dcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/(userid)
gsidcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/(userid)

=== dccp ===
* dcap 을 이용한 파일 복사 툴입니다. 자세한 옵션의 사용법은 다음과 같습니다.

$ dccp -h
DiskCache Copy Program. LibDCAP version: 2.47.10-1
Usage: dccp [-H] [-d <debugLevel>] [-h <replyhostname>] [-i]
[-P [-t <time in seconds>] [-l <stage location>] ]
[-a] [-b <read_ahead bufferSize>] [-B <bufferSize>]
[-X <extraOption>] [-u] [-p <first port>[:last port]]
[-r <buffers size>] [-s <buffer size>] [-c] [-C <seconds>] <src> <dest>

-A : active client mode ( client connects to the pool).
-d <debugLevel> : set debug level.
-h <replyhostname> : specify hostname for data connection.
-i : do not overwrite existing files.
-P : pre-stage request.
-t <seconds> : specify time offset for pre-stage.
-o <seconds> : specify timeout for the 'open' operation
-l <stage location> : specify host or network,
where from staged file will be accessed.
-a : enable read-ahead.
-b : specify read-ahead buffer size.
-B : specify transfer buffer size (default=1048570).
-X <extraOption> : add extra wishes into "open" request.
-u : enable unsafe write operations.
-p <first port>[:<last port>] : specify port range number for data connection.
-T <plugin name> : specify control line IO tunneling plugin.
-w <tunnel type> : specify tunnel type.
-r <buffer size> : specify TCP receive buffer size.
-s <buffer size> : specify TCP send buffer size.
-c : disable checksum calculation.
-C <seconds> : specify timeout for the 'close' operation.
-H : show progress during file transfer.

* SE의 파일을 현재 디렉토리에 복사하는 예제 입니다. -H 옵션은 진행바를 나타냅니다.
$ dccp -H dcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/tmp/test.transfer .

=== 일반 프로그램에서 dcap을 이용하여 SE의 데이터를 읽기 ===
* <del>다음과 같이 LD_PRELOAD 설정을 사전에 하면 ls와 cp 같은 일반 프로그램에서 SE의 데이터를 읽을 수 있습니다.</del>
* 아래 내용은 현재 almalinux 9 환경에서 동작하지 않습니다.

* bash 환경
$ export LD_PRELOAD=/usr/lib64/libpdcap.so
$ ls dcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/test/
test.transfer test.transfer.20161005112625
$ cp -v dcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/test/test.transfer .
`dcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/test/test.transfer' -> `./test.transfer'

* tcsh 환경
$ setenv LD_PRELOAD "/usr/lib64/libpdcap.so"
$ ls "dcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/test/"
test.transfer test.transfer.20161005112625
$ cp -v "dcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/test/test.transfer" .
`dcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/test/test.transfer' -> `./test.transfer'

=== 일반 프로그램에서 gsidcap을 이용하여 SE에 데이터를 쓰기 ===
*<del> SE에 파일을 쓰려면 그리드 인증이 필요한 gsidcap 프토로콜을 사용해야합니다.</del>
* 아래 내용은 현재 almalinux 9 환경에서 동작하지 않습니다.

* bash 환경
$ export LD_PRELOAD=/usr/lib64/libpdcap.so
$ voms-proxy-init --voms cms
$ cp test.transfer gsidcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/(userid)/test.transfer.201610051632

* tcsh 환경
$ setenv LD_PRELOAD "/usr/lib64/libpdcap.so"
$ voms-proxy-init --voms cms
$ cp test.transfer "gsidcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/(userid)/test.transfer.201610051632"

=== dcap을 이용하여 root에서 SE의 Data 읽고 쓰기 ===

* dcap은 읽기 전용의 프로토콜이며 그리드 인증이 필요한 gsidcap은 읽기 뿐만 아니라 쓰기도 가능합니다.
* 읽기
$ root -l
root [0] TFile *f = TFile::Open("dcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/test/CE4D66EB-5AAE-E111-96D6-003048D37524.root");
root [1] f->Close();
root [2] .q

* 쓰기, bash 환경
$ export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/lib64/dcap
$ voms-proxy-init --voms cms
$ root -l
root [0] TFile *f = TFile::Open("gsidcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/(username)/test.root", "CREATE");
root [1] f->Close();
root [2] TFile *f2 = TFile::Open("gsidcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/(username)/test.root", "RECREATE");
root [3] f2->Close();
root [4] .q
$

* 쓰기, tcsh 환경
$ setenv LD_LIBRARY_PATH "$LD_LIBRARY_PATH:/usr/lib64/dcap"
$ voms-proxy-init --voms cms
$ root -l
root [0] TFile *f = TFile::Open("gsidcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/(username)/test.root", "CREATE");
root [1] f->Close();
root [2] TFile *f2 = TFile::Open("gsidcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/(username)/test.root", "RECREATE");
root [3] f2->Close();
root [4] .q
$

=== KNU Tier3에서 Batch job을 돌릴때 SE의 데이터를 읽기 ===
* 아래 내용은 현재 almalinux 9 환경에서 동작하지 않습니다.
* <del>아래 명령어를 batch script에 추가하면 일반 프로그램에서 dcap 프로토콜로 SE의 데이터를 읽을수 있습니다.</del>
bash)
export LD_LIBRARY_PATH="$LD_LIBRARY_PATH:/usr/lib64/dcap"

tcsh)
setenv LD_LIBRARY_PATH "${LD_LIBRARY_PATH}:/usr/lib64/dcap"

* 읽을 파일의 경로는 다음과 같이 지정할수 있습니다.
dcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/...

=== KNU Tier3에서 Batch job을 돌릴때 gsidcap을 이용하여 SE에 데이터 쓰기 ===
dcap프로토콜로 SE에 데이터를 쓰려면 인증이 필요한 gsidcap프로토콜을 사용해야 합니다.

* 따라서 Job submit 전에 프록시를 다음과 같이 생성합니다.

bash)
$ export X509_USER_PROXY=/u/user/(userid)/proxy.cert
$ voms-proxy-init --voms cms

tcsh)
$ setenv X509_USER_PROXY "/u/user/(userid)/proxy.cert"
$ voms-proxy-init --voms cms

* batch job 스크립트에 환경변수 추가
바뀐 프록시파일의 위치를 알려주는 설정과, gsidcap을 사용하기위한 설정을 작업 실행 스크립트에 추가합니다.

bash)
export X509_USER_PROXY=/u/user/(userid)/proxy.cert
export LD_PRELOAD="/usr/lib64/libpdcap.so"
export LD_LIBRARY_PATH="$LD_LIBRARY_PATH:/usr/lib64/dcap"

tcsh)
setenv X509_USER_PROXY "/u/user/(userid)/proxy.cert"
setenv LD_PRELOAD "/usr/lib64/libpdcap.so"
setenv LD_LIBRARY_PATH "${LD_LIBRARY_PATH}:/usr/lib64/dcap"

* 참고용 예제 코드

#!/bin/bash
export X509_USER_PROXY="/u/user/(userid)/proxy.cert"
export SCRAM_ARCH="slc5_amd64_gcc530"
export LD_PRELOAD="/usr/lib64/libpdcap.so"
export LD_LIBRARY_PATH="$LD_LIBRARY_PATH:/usr/lib64/dcap"
source /cvmfs/cms.cern.ch/cmsset_default.sh
cd <working-directory>
eval `scramv1 runtime -csh`
cmsRun parser_test.py inputFiles_load=FileTestMC.txt outputFile=gsidcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/(userid)/test/test.root

#!/bin/tcsh
setenv X509_USER_PROXY "/u/user/(userid)/proxy.cert"
setenv SCRAM_ARCH "slc5_amd64_gcc530"
setenv LD_PRELOAD "/usr/lib64/libpdcap.so"
setenv LD_LIBRARY_PATH "${LD_LIBRARY_PATH}:/usr/lib64/dcap"
source /cvmfs/cms.cern.ch/cmsset_default.csh
cd <working-directory>
eval `scramv1 runtime -csh`
cmsRun parser_test.py inputFiles_load=FileTestMC.txt outputFile="gsidcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/(userid)/test/test.root"

=== 참고자료 ===

* https://github.com/dCache/dcap

Dcap

2025-07-16T02:41:25Z

Hanbi: /* 일반 프로그램에서 dcap을 이용하여 SE의 데이터를 읽기 */

== dcap을 이용하여 SE 사용하기 ==
* dcap(dCache Access Protocol)은 스토리지 엘리먼트(SE)인 dCache에서 사용하는 파일전송 프로토콜입니다.
* dcap은 다른 프로토콜에 비해 상대적으로 빠르고 간편합니다.
* dcap은 읽기 전용이나 인증없이 사용할 수 있고 쓰기를 위해서는 그리드인증이 추가된 gsidcap 프로토콜을 사용할 수 있습니다.
* dcap을 이용하면 일반 프로그램 및 root 프로그램에서 SE의 데이터를 바로 읽거나 쓸수 있습니다.
* SE의 사용자 홈디렉토리의 dcap 경로는 다음과 같습니다.
* 아래 예제들에서 (userid)는 본인의 id로 대체하세요.

dcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/(userid)
gsidcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/(userid)

=== dccp ===
* dcap 을 이용한 파일 복사 툴입니다. 자세한 옵션의 사용법은 다음과 같습니다.

$ dccp -h
DiskCache Copy Program. LibDCAP version: 2.47.10-1
Usage: dccp [-H] [-d <debugLevel>] [-h <replyhostname>] [-i]
[-P [-t <time in seconds>] [-l <stage location>] ]
[-a] [-b <read_ahead bufferSize>] [-B <bufferSize>]
[-X <extraOption>] [-u] [-p <first port>[:last port]]
[-r <buffers size>] [-s <buffer size>] [-c] [-C <seconds>] <src> <dest>

-A : active client mode ( client connects to the pool).
-d <debugLevel> : set debug level.
-h <replyhostname> : specify hostname for data connection.
-i : do not overwrite existing files.
-P : pre-stage request.
-t <seconds> : specify time offset for pre-stage.
-o <seconds> : specify timeout for the 'open' operation
-l <stage location> : specify host or network,
where from staged file will be accessed.
-a : enable read-ahead.
-b : specify read-ahead buffer size.
-B : specify transfer buffer size (default=1048570).
-X <extraOption> : add extra wishes into "open" request.
-u : enable unsafe write operations.
-p <first port>[:<last port>] : specify port range number for data connection.
-T <plugin name> : specify control line IO tunneling plugin.
-w <tunnel type> : specify tunnel type.
-r <buffer size> : specify TCP receive buffer size.
-s <buffer size> : specify TCP send buffer size.
-c : disable checksum calculation.
-C <seconds> : specify timeout for the 'close' operation.
-H : show progress during file transfer.

* SE의 파일을 현재 디렉토리에 복사하는 예제 입니다. -H 옵션은 진행바를 나타냅니다.
$ dccp -H dcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/tmp/test.transfer .

=== 일반 프로그램에서 dcap을 이용하여 SE의 데이터를 읽기 ===
* <del>다음과 같이 LD_PRELOAD 설정을 사전에 하면 ls와 cp 같은 일반 프로그램에서 SE의 데이터를 읽을 수 있습니다.</del>
* 아래 내용은 현재 almalinux 9 환경에서 동작하지 않습니다.

* bash 환경
$ export LD_PRELOAD=/usr/lib64/libpdcap.so
$ ls dcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/test/
test.transfer test.transfer.20161005112625
$ cp -v dcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/test/test.transfer .
`dcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/test/test.transfer' -> `./test.transfer'

* tcsh 환경
$ setenv LD_PRELOAD "/usr/lib64/libpdcap.so"
$ ls "dcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/test/"
test.transfer test.transfer.20161005112625
$ cp -v "dcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/test/test.transfer" .
`dcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/test/test.transfer' -> `./test.transfer'

=== 일반 프로그램에서 gsidcap을 이용하여 SE에 데이터를 쓰기 ===
*<del> SE에 파일을 쓰려면 그리드 인증이 필요한 gsidcap 프토로콜을 사용해야합니다.</del>
* 아래 내용은 현재 almalinux 9 환경에서 동작하지 않습니다.

* bash 환경
$ export LD_PRELOAD=/usr/lib64/libpdcap.so
$ voms-proxy-init --voms cms
$ cp test.transfer gsidcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/(userid)/test.transfer.201610051632

* tcsh 환경
$ setenv LD_PRELOAD "/usr/lib64/libpdcap.so"
$ voms-proxy-init --voms cms
$ cp test.transfer "gsidcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/(userid)/test.transfer.201610051632"

=== dcap을 이용하여 root에서 SE의 Data 읽고 쓰기 ===

* dcap은 읽기 전용의 프로토콜이며 그리드 인증이 필요한 gsidcap은 읽기 뿐만 아니라 쓰기도 가능합니다.
* 읽기
$ root -l
root [0] TFile *f = TFile::Open("dcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/test/CE4D66EB-5AAE-E111-96D6-003048D37524.root");
root [1] f->Close();
root [2] .q

* 쓰기, bash 환경
$ export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/lib64/dcap
$ voms-proxy-init --voms cms
$ root -l
root [0] TFile *f = TFile::Open("gsidcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/(username)/test.root", "CREATE");
root [1] f->Close();
root [2] TFile *f2 = TFile::Open("gsidcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/(username)/test.root", "RECREATE");
root [3] f2->Close();
root [4] .q
$

* 쓰기, tcsh 환경
$ setenv LD_LIBRARY_PATH "$LD_LIBRARY_PATH:/usr/lib64/dcap"
$ voms-proxy-init --voms cms
$ root -l
root [0] TFile *f = TFile::Open("gsidcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/(username)/test.root", "CREATE");
root [1] f->Close();
root [2] TFile *f2 = TFile::Open("gsidcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/(username)/test.root", "RECREATE");
root [3] f2->Close();
root [4] .q
$

=== KNU Tier3에서 Batch job을 돌릴때 SE의 데이터를 읽기 ===
* 아래 명령어를 batch script에 추가하면 일반 프로그램에서 dcap 프로토콜로 SE의 데이터를 읽을수 있습니다.
bash)
export LD_LIBRARY_PATH="$LD_LIBRARY_PATH:/usr/lib64/dcap"

tcsh)
setenv LD_LIBRARY_PATH "${LD_LIBRARY_PATH}:/usr/lib64/dcap"

* 읽을 파일의 경로는 다음과 같이 지정할수 있습니다.
dcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/...

=== KNU Tier3에서 Batch job을 돌릴때 gsidcap을 이용하여 SE에 데이터 쓰기 ===
dcap프로토콜로 SE에 데이터를 쓰려면 인증이 필요한 gsidcap프로토콜을 사용해야 합니다.

* 따라서 Job submit 전에 프록시를 다음과 같이 생성합니다.

bash)
$ export X509_USER_PROXY=/u/user/(userid)/proxy.cert
$ voms-proxy-init --voms cms

tcsh)
$ setenv X509_USER_PROXY "/u/user/(userid)/proxy.cert"
$ voms-proxy-init --voms cms

* batch job 스크립트에 환경변수 추가
바뀐 프록시파일의 위치를 알려주는 설정과, gsidcap을 사용하기위한 설정을 작업 실행 스크립트에 추가합니다.

bash)
export X509_USER_PROXY=/u/user/(userid)/proxy.cert
export LD_PRELOAD="/usr/lib64/libpdcap.so"
export LD_LIBRARY_PATH="$LD_LIBRARY_PATH:/usr/lib64/dcap"

tcsh)
setenv X509_USER_PROXY "/u/user/(userid)/proxy.cert"
setenv LD_PRELOAD "/usr/lib64/libpdcap.so"
setenv LD_LIBRARY_PATH "${LD_LIBRARY_PATH}:/usr/lib64/dcap"

* 참고용 예제 코드

#!/bin/bash
export X509_USER_PROXY="/u/user/(userid)/proxy.cert"
export SCRAM_ARCH="slc5_amd64_gcc530"
export LD_PRELOAD="/usr/lib64/libpdcap.so"
export LD_LIBRARY_PATH="$LD_LIBRARY_PATH:/usr/lib64/dcap"
source /cvmfs/cms.cern.ch/cmsset_default.sh
cd <working-directory>
eval `scramv1 runtime -csh`
cmsRun parser_test.py inputFiles_load=FileTestMC.txt outputFile=gsidcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/(userid)/test/test.root

#!/bin/tcsh
setenv X509_USER_PROXY "/u/user/(userid)/proxy.cert"
setenv SCRAM_ARCH "slc5_amd64_gcc530"
setenv LD_PRELOAD "/usr/lib64/libpdcap.so"
setenv LD_LIBRARY_PATH "${LD_LIBRARY_PATH}:/usr/lib64/dcap"
source /cvmfs/cms.cern.ch/cmsset_default.csh
cd <working-directory>
eval `scramv1 runtime -csh`
cmsRun parser_test.py inputFiles_load=FileTestMC.txt outputFile="gsidcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/(userid)/test/test.root"

=== 참고자료 ===

* https://github.com/dCache/dcap

Dcap

2025-07-16T02:40:45Z

Hanbi: /* 일반 프로그램에서 gsidcap을 이용하여 SE에 데이터를 쓰기 */

== dcap을 이용하여 SE 사용하기 ==
* dcap(dCache Access Protocol)은 스토리지 엘리먼트(SE)인 dCache에서 사용하는 파일전송 프로토콜입니다.
* dcap은 다른 프로토콜에 비해 상대적으로 빠르고 간편합니다.
* dcap은 읽기 전용이나 인증없이 사용할 수 있고 쓰기를 위해서는 그리드인증이 추가된 gsidcap 프로토콜을 사용할 수 있습니다.
* dcap을 이용하면 일반 프로그램 및 root 프로그램에서 SE의 데이터를 바로 읽거나 쓸수 있습니다.
* SE의 사용자 홈디렉토리의 dcap 경로는 다음과 같습니다.
* 아래 예제들에서 (userid)는 본인의 id로 대체하세요.

dcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/(userid)
gsidcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/(userid)

=== dccp ===
* dcap 을 이용한 파일 복사 툴입니다. 자세한 옵션의 사용법은 다음과 같습니다.

$ dccp -h
DiskCache Copy Program. LibDCAP version: 2.47.10-1
Usage: dccp [-H] [-d <debugLevel>] [-h <replyhostname>] [-i]
[-P [-t <time in seconds>] [-l <stage location>] ]
[-a] [-b <read_ahead bufferSize>] [-B <bufferSize>]
[-X <extraOption>] [-u] [-p <first port>[:last port]]
[-r <buffers size>] [-s <buffer size>] [-c] [-C <seconds>] <src> <dest>

-A : active client mode ( client connects to the pool).
-d <debugLevel> : set debug level.
-h <replyhostname> : specify hostname for data connection.
-i : do not overwrite existing files.
-P : pre-stage request.
-t <seconds> : specify time offset for pre-stage.
-o <seconds> : specify timeout for the 'open' operation
-l <stage location> : specify host or network,
where from staged file will be accessed.
-a : enable read-ahead.
-b : specify read-ahead buffer size.
-B : specify transfer buffer size (default=1048570).
-X <extraOption> : add extra wishes into "open" request.
-u : enable unsafe write operations.
-p <first port>[:<last port>] : specify port range number for data connection.
-T <plugin name> : specify control line IO tunneling plugin.
-w <tunnel type> : specify tunnel type.
-r <buffer size> : specify TCP receive buffer size.
-s <buffer size> : specify TCP send buffer size.
-c : disable checksum calculation.
-C <seconds> : specify timeout for the 'close' operation.
-H : show progress during file transfer.

* SE의 파일을 현재 디렉토리에 복사하는 예제 입니다. -H 옵션은 진행바를 나타냅니다.
$ dccp -H dcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/tmp/test.transfer .

=== 일반 프로그램에서 dcap을 이용하여 SE의 데이터를 읽기 ===
<del>* 다음과 같이 LD_PRELOAD 설정을 사전에 하면 ls와 cp 같은 일반 프로그램에서 SE의 데이터를 읽을 수 있습니다.</del>
* 아래 내용은 현재 almalinux 9 환경에서 동작하지 않습니다.

* bash 환경
$ export LD_PRELOAD=/usr/lib64/libpdcap.so
$ ls dcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/test/
test.transfer test.transfer.20161005112625
$ cp -v dcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/test/test.transfer .
`dcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/test/test.transfer' -> `./test.transfer'

* tcsh 환경
$ setenv LD_PRELOAD "/usr/lib64/libpdcap.so"
$ ls "dcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/test/"
test.transfer test.transfer.20161005112625
$ cp -v "dcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/test/test.transfer" .
`dcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/test/test.transfer' -> `./test.transfer'

=== 일반 프로그램에서 gsidcap을 이용하여 SE에 데이터를 쓰기 ===
*<del> SE에 파일을 쓰려면 그리드 인증이 필요한 gsidcap 프토로콜을 사용해야합니다.</del>
* 아래 내용은 현재 almalinux 9 환경에서 동작하지 않습니다.

* bash 환경
$ export LD_PRELOAD=/usr/lib64/libpdcap.so
$ voms-proxy-init --voms cms
$ cp test.transfer gsidcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/(userid)/test.transfer.201610051632

* tcsh 환경
$ setenv LD_PRELOAD "/usr/lib64/libpdcap.so"
$ voms-proxy-init --voms cms
$ cp test.transfer "gsidcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/(userid)/test.transfer.201610051632"

=== dcap을 이용하여 root에서 SE의 Data 읽고 쓰기 ===

* dcap은 읽기 전용의 프로토콜이며 그리드 인증이 필요한 gsidcap은 읽기 뿐만 아니라 쓰기도 가능합니다.
* 읽기
$ root -l
root [0] TFile *f = TFile::Open("dcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/test/CE4D66EB-5AAE-E111-96D6-003048D37524.root");
root [1] f->Close();
root [2] .q

* 쓰기, bash 환경
$ export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/lib64/dcap
$ voms-proxy-init --voms cms
$ root -l
root [0] TFile *f = TFile::Open("gsidcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/(username)/test.root", "CREATE");
root [1] f->Close();
root [2] TFile *f2 = TFile::Open("gsidcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/(username)/test.root", "RECREATE");
root [3] f2->Close();
root [4] .q
$

* 쓰기, tcsh 환경
$ setenv LD_LIBRARY_PATH "$LD_LIBRARY_PATH:/usr/lib64/dcap"
$ voms-proxy-init --voms cms
$ root -l
root [0] TFile *f = TFile::Open("gsidcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/(username)/test.root", "CREATE");
root [1] f->Close();
root [2] TFile *f2 = TFile::Open("gsidcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/(username)/test.root", "RECREATE");
root [3] f2->Close();
root [4] .q
$

=== KNU Tier3에서 Batch job을 돌릴때 SE의 데이터를 읽기 ===
* 아래 명령어를 batch script에 추가하면 일반 프로그램에서 dcap 프로토콜로 SE의 데이터를 읽을수 있습니다.
bash)
export LD_LIBRARY_PATH="$LD_LIBRARY_PATH:/usr/lib64/dcap"

tcsh)
setenv LD_LIBRARY_PATH "${LD_LIBRARY_PATH}:/usr/lib64/dcap"

* 읽을 파일의 경로는 다음과 같이 지정할수 있습니다.
dcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/...

=== KNU Tier3에서 Batch job을 돌릴때 gsidcap을 이용하여 SE에 데이터 쓰기 ===
dcap프로토콜로 SE에 데이터를 쓰려면 인증이 필요한 gsidcap프로토콜을 사용해야 합니다.

* 따라서 Job submit 전에 프록시를 다음과 같이 생성합니다.

bash)
$ export X509_USER_PROXY=/u/user/(userid)/proxy.cert
$ voms-proxy-init --voms cms

tcsh)
$ setenv X509_USER_PROXY "/u/user/(userid)/proxy.cert"
$ voms-proxy-init --voms cms

* batch job 스크립트에 환경변수 추가
바뀐 프록시파일의 위치를 알려주는 설정과, gsidcap을 사용하기위한 설정을 작업 실행 스크립트에 추가합니다.

bash)
export X509_USER_PROXY=/u/user/(userid)/proxy.cert
export LD_PRELOAD="/usr/lib64/libpdcap.so"
export LD_LIBRARY_PATH="$LD_LIBRARY_PATH:/usr/lib64/dcap"

tcsh)
setenv X509_USER_PROXY "/u/user/(userid)/proxy.cert"
setenv LD_PRELOAD "/usr/lib64/libpdcap.so"
setenv LD_LIBRARY_PATH "${LD_LIBRARY_PATH}:/usr/lib64/dcap"

* 참고용 예제 코드

#!/bin/bash
export X509_USER_PROXY="/u/user/(userid)/proxy.cert"
export SCRAM_ARCH="slc5_amd64_gcc530"
export LD_PRELOAD="/usr/lib64/libpdcap.so"
export LD_LIBRARY_PATH="$LD_LIBRARY_PATH:/usr/lib64/dcap"
source /cvmfs/cms.cern.ch/cmsset_default.sh
cd <working-directory>
eval `scramv1 runtime -csh`
cmsRun parser_test.py inputFiles_load=FileTestMC.txt outputFile=gsidcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/(userid)/test/test.root

#!/bin/tcsh
setenv X509_USER_PROXY "/u/user/(userid)/proxy.cert"
setenv SCRAM_ARCH "slc5_amd64_gcc530"
setenv LD_PRELOAD "/usr/lib64/libpdcap.so"
setenv LD_LIBRARY_PATH "${LD_LIBRARY_PATH}:/usr/lib64/dcap"
source /cvmfs/cms.cern.ch/cmsset_default.csh
cd <working-directory>
eval `scramv1 runtime -csh`
cmsRun parser_test.py inputFiles_load=FileTestMC.txt outputFile="gsidcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/(userid)/test/test.root"

=== 참고자료 ===

* https://github.com/dCache/dcap

Dcap

2025-07-16T02:40:15Z

Hanbi: /* 일반 프로그램에서 dcap을 이용하여 SE의 데이터를 읽기 */

== dcap을 이용하여 SE 사용하기 ==
* dcap(dCache Access Protocol)은 스토리지 엘리먼트(SE)인 dCache에서 사용하는 파일전송 프로토콜입니다.
* dcap은 다른 프로토콜에 비해 상대적으로 빠르고 간편합니다.
* dcap은 읽기 전용이나 인증없이 사용할 수 있고 쓰기를 위해서는 그리드인증이 추가된 gsidcap 프로토콜을 사용할 수 있습니다.
* dcap을 이용하면 일반 프로그램 및 root 프로그램에서 SE의 데이터를 바로 읽거나 쓸수 있습니다.
* SE의 사용자 홈디렉토리의 dcap 경로는 다음과 같습니다.
* 아래 예제들에서 (userid)는 본인의 id로 대체하세요.

dcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/(userid)
gsidcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/(userid)

=== dccp ===
* dcap 을 이용한 파일 복사 툴입니다. 자세한 옵션의 사용법은 다음과 같습니다.

$ dccp -h
DiskCache Copy Program. LibDCAP version: 2.47.10-1
Usage: dccp [-H] [-d <debugLevel>] [-h <replyhostname>] [-i]
[-P [-t <time in seconds>] [-l <stage location>] ]
[-a] [-b <read_ahead bufferSize>] [-B <bufferSize>]
[-X <extraOption>] [-u] [-p <first port>[:last port]]
[-r <buffers size>] [-s <buffer size>] [-c] [-C <seconds>] <src> <dest>

-A : active client mode ( client connects to the pool).
-d <debugLevel> : set debug level.
-h <replyhostname> : specify hostname for data connection.
-i : do not overwrite existing files.
-P : pre-stage request.
-t <seconds> : specify time offset for pre-stage.
-o <seconds> : specify timeout for the 'open' operation
-l <stage location> : specify host or network,
where from staged file will be accessed.
-a : enable read-ahead.
-b : specify read-ahead buffer size.
-B : specify transfer buffer size (default=1048570).
-X <extraOption> : add extra wishes into "open" request.
-u : enable unsafe write operations.
-p <first port>[:<last port>] : specify port range number for data connection.
-T <plugin name> : specify control line IO tunneling plugin.
-w <tunnel type> : specify tunnel type.
-r <buffer size> : specify TCP receive buffer size.
-s <buffer size> : specify TCP send buffer size.
-c : disable checksum calculation.
-C <seconds> : specify timeout for the 'close' operation.
-H : show progress during file transfer.

* SE의 파일을 현재 디렉토리에 복사하는 예제 입니다. -H 옵션은 진행바를 나타냅니다.
$ dccp -H dcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/tmp/test.transfer .

=== 일반 프로그램에서 dcap을 이용하여 SE의 데이터를 읽기 ===
<del>* 다음과 같이 LD_PRELOAD 설정을 사전에 하면 ls와 cp 같은 일반 프로그램에서 SE의 데이터를 읽을 수 있습니다.</del>
* 아래 내용은 현재 almalinux 9 환경에서 동작하지 않습니다.

* bash 환경
$ export LD_PRELOAD=/usr/lib64/libpdcap.so
$ ls dcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/test/
test.transfer test.transfer.20161005112625
$ cp -v dcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/test/test.transfer .
`dcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/test/test.transfer' -> `./test.transfer'

* tcsh 환경
$ setenv LD_PRELOAD "/usr/lib64/libpdcap.so"
$ ls "dcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/test/"
test.transfer test.transfer.20161005112625
$ cp -v "dcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/test/test.transfer" .
`dcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/test/test.transfer' -> `./test.transfer'

=== 일반 프로그램에서 gsidcap을 이용하여 SE에 데이터를 쓰기 ===
* SE에 파일을 쓰려면 그리드 인증이 필요한 gsidcap 프토로콜을 사용해야합니다.
* bash 환경
$ export LD_PRELOAD=/usr/lib64/libpdcap.so
$ voms-proxy-init --voms cms
$ cp test.transfer gsidcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/(userid)/test.transfer.201610051632

* tcsh 환경
$ setenv LD_PRELOAD "/usr/lib64/libpdcap.so"
$ voms-proxy-init --voms cms
$ cp test.transfer "gsidcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/(userid)/test.transfer.201610051632"

=== dcap을 이용하여 root에서 SE의 Data 읽고 쓰기 ===

* dcap은 읽기 전용의 프로토콜이며 그리드 인증이 필요한 gsidcap은 읽기 뿐만 아니라 쓰기도 가능합니다.
* 읽기
$ root -l
root [0] TFile *f = TFile::Open("dcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/test/CE4D66EB-5AAE-E111-96D6-003048D37524.root");
root [1] f->Close();
root [2] .q

* 쓰기, bash 환경
$ export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/lib64/dcap
$ voms-proxy-init --voms cms
$ root -l
root [0] TFile *f = TFile::Open("gsidcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/(username)/test.root", "CREATE");
root [1] f->Close();
root [2] TFile *f2 = TFile::Open("gsidcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/(username)/test.root", "RECREATE");
root [3] f2->Close();
root [4] .q
$

* 쓰기, tcsh 환경
$ setenv LD_LIBRARY_PATH "$LD_LIBRARY_PATH:/usr/lib64/dcap"
$ voms-proxy-init --voms cms
$ root -l
root [0] TFile *f = TFile::Open("gsidcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/(username)/test.root", "CREATE");
root [1] f->Close();
root [2] TFile *f2 = TFile::Open("gsidcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/(username)/test.root", "RECREATE");
root [3] f2->Close();
root [4] .q
$

=== KNU Tier3에서 Batch job을 돌릴때 SE의 데이터를 읽기 ===
* 아래 명령어를 batch script에 추가하면 일반 프로그램에서 dcap 프로토콜로 SE의 데이터를 읽을수 있습니다.
bash)
export LD_LIBRARY_PATH="$LD_LIBRARY_PATH:/usr/lib64/dcap"

tcsh)
setenv LD_LIBRARY_PATH "${LD_LIBRARY_PATH}:/usr/lib64/dcap"

* 읽을 파일의 경로는 다음과 같이 지정할수 있습니다.
dcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/...

=== KNU Tier3에서 Batch job을 돌릴때 gsidcap을 이용하여 SE에 데이터 쓰기 ===
dcap프로토콜로 SE에 데이터를 쓰려면 인증이 필요한 gsidcap프로토콜을 사용해야 합니다.

* 따라서 Job submit 전에 프록시를 다음과 같이 생성합니다.

bash)
$ export X509_USER_PROXY=/u/user/(userid)/proxy.cert
$ voms-proxy-init --voms cms

tcsh)
$ setenv X509_USER_PROXY "/u/user/(userid)/proxy.cert"
$ voms-proxy-init --voms cms

* batch job 스크립트에 환경변수 추가
바뀐 프록시파일의 위치를 알려주는 설정과, gsidcap을 사용하기위한 설정을 작업 실행 스크립트에 추가합니다.

bash)
export X509_USER_PROXY=/u/user/(userid)/proxy.cert
export LD_PRELOAD="/usr/lib64/libpdcap.so"
export LD_LIBRARY_PATH="$LD_LIBRARY_PATH:/usr/lib64/dcap"

tcsh)
setenv X509_USER_PROXY "/u/user/(userid)/proxy.cert"
setenv LD_PRELOAD "/usr/lib64/libpdcap.so"
setenv LD_LIBRARY_PATH "${LD_LIBRARY_PATH}:/usr/lib64/dcap"

* 참고용 예제 코드

#!/bin/bash
export X509_USER_PROXY="/u/user/(userid)/proxy.cert"
export SCRAM_ARCH="slc5_amd64_gcc530"
export LD_PRELOAD="/usr/lib64/libpdcap.so"
export LD_LIBRARY_PATH="$LD_LIBRARY_PATH:/usr/lib64/dcap"
source /cvmfs/cms.cern.ch/cmsset_default.sh
cd <working-directory>
eval `scramv1 runtime -csh`
cmsRun parser_test.py inputFiles_load=FileTestMC.txt outputFile=gsidcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/(userid)/test/test.root

#!/bin/tcsh
setenv X509_USER_PROXY "/u/user/(userid)/proxy.cert"
setenv SCRAM_ARCH "slc5_amd64_gcc530"
setenv LD_PRELOAD "/usr/lib64/libpdcap.so"
setenv LD_LIBRARY_PATH "${LD_LIBRARY_PATH}:/usr/lib64/dcap"
source /cvmfs/cms.cern.ch/cmsset_default.csh
cd <working-directory>
eval `scramv1 runtime -csh`
cmsRun parser_test.py inputFiles_load=FileTestMC.txt outputFile="gsidcap://cluster142.knu.ac.kr//pnfs/knu.ac.kr/data/cms/store/user/(userid)/test/test.root"

=== 참고자료 ===

* https://github.com/dCache/dcap

Main Page

2025-05-27T07:27:32Z

Hanbi: /* News & Notices */

__NOTOC__
='''KNU Tier-3 Center for CMS''' <img src="http://t2-cms.knu.ac.kr/img/CMS-logo.gif" width=25> =

Welcome to the CMS Tier-3 Center at Kyungpook National University in Korea.

This web portal is your gateway to the CMS Tier-3 center at Kyungpook National University (KNU) in Korea. This CMS Tier-3 center is being supported by the Ministry of Education, Science and Technology and is being maintained by the Center for High Energy Physics of the KNU.
We will support the CMS computing needs for Korean and overseas collaborators. For your general comments, questions, or reports of any problems regarding to this Center, please email to lcg_knu@knu.ac.kr.

== News & Notices ==
* [[HTCondorQueueInfo| HTCondor에 JobType(Queue)가 추가되었습니다.]] 2025.05.13
* [[HTCondor| HTCondor 사용법 문서가 갱신 되었습니다.]] 2025.05.09
* [[Singularity|Apptainer 사용법 문서가 갱신 되었습니다.]] 2025.05.09
* [[Cvmfs_root|CVMFS 에서 root 사용하기 문서가 갱신 되었습니다.]] 2025.05.09
* [[Singularity|Apptainer 사용법 문서가 갱신 되었습니다.]] 2025.04.23
* [[HTCondor| HTCondor 사용법 문서가 갱신 되었습니다.]] 2024.07.08
* [[Singularity|Apptainer 사용법 문서가 갱신 되었습니다.]] 2024.06.13
* [[Storage_Element_Tutorial#.EC.84.9C.EB.B9.84.EC.8A.A4.EB.B3.84_.EC.8A.A4.ED.86.A0.EB.A6.AC.EC.A7.80_.EC.A0.91.EA.B7.BC| 스토리지 엘리먼트의 SRMv2 gridftp gsiftp 데이터 전송 프로토콜 지원이 종료됩니다.]] 2024.05.14
* [[HTCondor| HTCondor 사용법 문서가 갱신 되었습니다.]] 2024.03.11
* [[HTCondor#.EC.B5.9C.EB.8C.80_.EC.9E.91.EC.97.85.EC.8B.9C.EA.B0.84| HTCondor의 GPU 최대 작업시간이 연장되었습니다.]] 2024.02.14
* [[HTCondor| HTCondor 사용법 문서가 갱신 되었습니다.]] 2023.09.21
* [[Storage_Element_Tutorial#.EC.84.9C.EB.B9.84.EC.8A.A4.EB.B3.84_.EC.8A.A4.ED.86.A0.EB.A6.AC.EC.A7.80_.EC.A0.91.EA.B7.BC| 이제 HTCondor에서 SE의 데이터를 바로 읽을 수 있습니다.]] 2023.06.23
* [[Bitwarden| bitwarden(패스워드 관리 서비스) 사용법 문서가 추가 되었습니다.]] 2023.03.14
* [[How_to_use_Tier3_at_KNU|How to use T3_KR_KNU 문서가 갱신 되었습니다.]] 2023.02.20
* [[Singularity|Singularity 사용법 문서가 갱신 되었습니다.]] 2022.09.15
* [[Mattermost|Mattermost 메신저 서비스를 시작합니다.]] 2022.09.05
* [[How_to_use_Tier3_at_KNU|How to use T3_KR_KNU 문서가 갱신 되었습니다.]] 2022.07.27
* 이제부터 최근 수정된 부분은 밑줄로 표시됩니다. 참고하시기 바립니다. 2022.06.08
* [[Storage_Element_Tutorial|Storage Element Tutorial이 갱신 되었습니다.]] 2022.06.08
* [[JupyterHub|JupyterHub 서비스를 시작합니다.]] 2022.03.23
* [[HTCondor_Job_Policy|이제 htcondor에서 request_memory보다 많은 메모리를 사용하는 작업은 자동으로 hold됩니다.]] 2022.02.09
* [[FreeIPA|인증시스템 전환(NIS→ FreeIPA)공지입니다.]] 2021.11.09
* [[cvmfs_geant4|CVMFS에서 geant4 사용하기 문서가 추가되었습니다.]] 2021.07.12
* [[cvmfs_root|CVMFS에서 root 사용하기 문서가 추가되었습니다.]] 2021.07.12
* [[News & Notices|more ...]]

==Additional Services==

* [https://chep17.knu.ac.kr:3003 T3_KR_KNU Status - 작업 현황, 현재 사용량 등]
* [https://githep.knu.ac.kr:4443 Gitlab 서비스 - 소스코드 버전 관리 시스템]
* [https://mm.knu.ac.kr Mattermost 서비스 - 업무용 메신저 서비스]
* [https://indico.knu.ac.kr 경북대 물리학과 Indico]
* [https://indico.kno.or.kr KNO Indico]

==How to use Tier-3 at KNU?==
*[[How_to_use_Tier2_at_KNU|How to use Tier-3 at KNU?]]
**[[How_to_use_Tier2_at_KNU#Pre-requisites|Pre-requisites]]
**[[How_to_use_Tier2_at_KNU#KNU_Tier-2_Login|KNU_Tier-3 Login]]
**[[How_to_use_Tier2_at_KNU#CMSSW.28CMS_Software.29_Installation|CMSSW Installation]]
**[[crab|Crab Tutorial]]
**[[How_to_use_Tier2_at_KNU#Storage_Element_.28SE.29_Manual|Storage Element Tutorial]]
**[[uberftp|uberftp]]
**[[Q&A|Q&A]]

*[https://t2-cms.knu.ac.kr/lcg_registration.php KNU Account Registration]

----
{| style="width: 100%"
! style="text-align: left;text-valign: top" | Contact: Email: lcg_knu@knu.ac.kr
! style="text-align: right;" | THE CENTER FOR HIGH ENERGY PHYSICS KYUNGPOOK NATIONAL UNIVERSITY
|}

X2go

2025-05-27T07:26:54Z

Hanbi: /* x2go client 사용법 */

== x2go를 이용한 원격 데스크탑 연결 가이드 ==

* 리눅스 환경에서 원격 데스트탑을 사용하고 싶을때 VNC를 많이 사용합니다만 VNC 보다 더 편리한 툴이 있어서 소개합니다.
* UI에서 GUI 환경이 필요할때 사용하면 매우 편리합니다.
* ssh 포트를 사용하므로 방화벽에서 별도의 포트를 열어줄 필요가 없습니다.
* x2go 홈페이지: https://wiki.x2go.org/

=== x2go client 설치 ===

* x2go client: https://wiki.x2go.org/doku.php/doc:installation:x2goclient

* windows client : http://code.x2go.org/releases/X2GoClient_latest_mswin32-setup.exe

* Mac client : https://code.x2go.org/releases/X2GoClient_latest_macosx_10_13.dmg or

brew install --cask x2goclient

* Linux CentOS 7
yum install x2goclient

* Linux AlmaLinux 9
dnf install x2goclient

=== x2go client 사용법 ===

* 경북대 UI에서 사용하기 위해서는 다음과 같이 client를 설정하면 됩니다.

[[File:x2goclient1.png|500px]]

* 접속할 hostname와 id를 입력합니다.
* session type에서 MATE를 선택합니다.
* 데스크탑이 아닌 싱글 어플리케이션을 실행하고 싶으면 single application을 선택하고 Command 항목에 실행 명령을 입력합니다.
* input/output에서 적절한 접속 해상도를 설정합니다. (접속후 window resize로 해상도를 변경할 수 있습니다.)

* 다음과 같이 데스크탑 화면이 접속됩니다. 처음 접속시에는 창이뜨고 잠시 검은색으로 유지가 되다가 정상적으로 접속이 될수 있습니다.
[[File:x2goclient2.png|800px]]

X2go

2025-05-27T07:26:23Z

Hanbi: /* x2go client 설치 */

== x2go를 이용한 원격 데스크탑 연결 가이드 ==

* 리눅스 환경에서 원격 데스트탑을 사용하고 싶을때 VNC를 많이 사용합니다만 VNC 보다 더 편리한 툴이 있어서 소개합니다.
* UI에서 GUI 환경이 필요할때 사용하면 매우 편리합니다.
* ssh 포트를 사용하므로 방화벽에서 별도의 포트를 열어줄 필요가 없습니다.
* x2go 홈페이지: https://wiki.x2go.org/

=== x2go client 설치 ===

* x2go client: https://wiki.x2go.org/doku.php/doc:installation:x2goclient

* windows client : http://code.x2go.org/releases/X2GoClient_latest_mswin32-setup.exe

* Mac client : https://code.x2go.org/releases/X2GoClient_latest_macosx_10_13.dmg or

brew install --cask x2goclient

* Linux CentOS 7
yum install x2goclient

* Linux AlmaLinux 9
dnf install x2goclient

=== x2go client 사용법 ===

* 경북대 UI에서 사용하기 위해서는 다음과 같이 client를 설정하면 됩니다.

[[File:x2goclient1.png|500px]]

* 접속할 hostname와 id를 입력합니다.
* session type에서 MATE나 Xfce를 선택합니다.
* 데스크탑이 아닌 싱글 어플리케이션을 실행하고 싶으면 single application을 선택하고 Command 항목에 실행 명령을 입력합니다.
* input/output에서 적절한 접속 해상도를 설정합니다. (접속후 window resize로 해상도를 변경할 수 있습니다.)

* 다음과 같이 데스크탑 화면이 접속됩니다. 처음 접속시에는 창이뜨고 잠시 검은색으로 유지가 되다가 정상적으로 접속이 될수 있습니다.
[[File:x2goclient2.png|800px]]

X2go

2025-05-27T07:24:58Z

Hanbi: /* x2go client 설치 */

== x2go를 이용한 원격 데스크탑 연결 가이드 ==

* 리눅스 환경에서 원격 데스트탑을 사용하고 싶을때 VNC를 많이 사용합니다만 VNC 보다 더 편리한 툴이 있어서 소개합니다.
* UI에서 GUI 환경이 필요할때 사용하면 매우 편리합니다.
* ssh 포트를 사용하므로 방화벽에서 별도의 포트를 열어줄 필요가 없습니다.
* x2go 홈페이지: https://wiki.x2go.org/

=== x2go client 설치 ===

* x2go client: https://wiki.x2go.org/doku.php/doc:installation:x2goclient

* windows client : https://code.x2go.org/releases/binary-win32/x2goclient/releases/4.1.2.2-2020.02.13/x2goclient-4.1.2.2-2020.02.13-setup.exe

* Mac client : https://code.x2go.org/releases/X2GoClient_latest_macosx_10_13.dmg or

brew install --cask x2goclient

* Linux CentOS 7
yum install x2goclient

* Linux AlmaLinux 9
dnf install x2goclient

=== x2go client 사용법 ===

* 경북대 UI에서 사용하기 위해서는 다음과 같이 client를 설정하면 됩니다.

[[File:x2goclient1.png|500px]]

* 접속할 hostname와 id를 입력합니다.
* session type에서 MATE나 Xfce를 선택합니다.
* 데스크탑이 아닌 싱글 어플리케이션을 실행하고 싶으면 single application을 선택하고 Command 항목에 실행 명령을 입력합니다.
* input/output에서 적절한 접속 해상도를 설정합니다. (접속후 window resize로 해상도를 변경할 수 있습니다.)

* 다음과 같이 데스크탑 화면이 접속됩니다. 처음 접속시에는 창이뜨고 잠시 검은색으로 유지가 되다가 정상적으로 접속이 될수 있습니다.
[[File:x2goclient2.png|800px]]

X2go

2025-05-27T07:24:30Z

Hanbi: /* x2go client 설치 */

== x2go를 이용한 원격 데스크탑 연결 가이드 ==

* 리눅스 환경에서 원격 데스트탑을 사용하고 싶을때 VNC를 많이 사용합니다만 VNC 보다 더 편리한 툴이 있어서 소개합니다.
* UI에서 GUI 환경이 필요할때 사용하면 매우 편리합니다.
* ssh 포트를 사용하므로 방화벽에서 별도의 포트를 열어줄 필요가 없습니다.
* x2go 홈페이지: https://wiki.x2go.org/

=== x2go client 설치 ===

* x2go client: https://wiki.x2go.org/doku.php/doc:installation:x2goclient

* windows client : https://code.x2go.org/releases/binary-win32/x2goclient/releases/4.1.2.2-2020.02.13/x2goclient-4.1.2.2-2020.02.13-setup.exe

* Mac client : https://code.x2go.org/releases/X2GoClient_latest_macosx_10_13.dmg or

brew install --cask x2goclient

* Linux CentOS 7 / AlmaLinux 9
yum install x2goclient

=== x2go client 사용법 ===

* 경북대 UI에서 사용하기 위해서는 다음과 같이 client를 설정하면 됩니다.

[[File:x2goclient1.png|500px]]

* 접속할 hostname와 id를 입력합니다.
* session type에서 MATE나 Xfce를 선택합니다.
* 데스크탑이 아닌 싱글 어플리케이션을 실행하고 싶으면 single application을 선택하고 Command 항목에 실행 명령을 입력합니다.
* input/output에서 적절한 접속 해상도를 설정합니다. (접속후 window resize로 해상도를 변경할 수 있습니다.)

* 다음과 같이 데스크탑 화면이 접속됩니다. 처음 접속시에는 창이뜨고 잠시 검은색으로 유지가 되다가 정상적으로 접속이 될수 있습니다.
[[File:x2goclient2.png|800px]]

News & Notices

2025-05-15T05:21:37Z

Hanbi: /* News & Notices */

== News & Notices ==
* [[HTCondorQueueInfo| HTCondor 에 JobType(Queue)가 추가되었습니다.]] 2025.05.13
* [[HTCondor| HTCondor 사용법 문서가 갱신 되었습니다.]] 2025.05.09
* [[Singularity|Apptainer 사용법 문서가 갱신 되었습니다.]] 2025.05.09
* [[Cvmfs_root|CVMFS 에서 root 사용하기 문서가 갱신 되었습니다.]] 2025.05.09
* [[Singularity|Apptainer 사용법 문서가 갱신 되었습니다.]] 2025.04.23
* [[HTCondor| HTCondor 사용법 문서가 갱신 되었습니다.]] 2024.07.08
* [[Singularity|Apptainer 사용법 문서가 갱신 되었습니다.]] 2024.06.13
* [[Storage_Element_Tutorial#.EC.84.9C.EB.B9.84.EC.8A.A4.EB.B3.84_.EC.8A.A4.ED.86.A0.EB.A6.AC.EC.A7.80_.EC.A0.91.EA.B7.BC| 스토리지 엘리먼트의 SRMv2 gridftp gsiftp 데이터 전송 프로토콜 지원이 종료됩니다.]] 2024.05.14
* [[HTCondor| HTCondor 사용법 문서가 갱신 되었습니다.]] 2024.03.11
* [[HTCondor#.EC.B5.9C.EB.8C.80_.EC.9E.91.EC.97.85.EC.8B.9C.EA.B0.84| HTCondor의 GPU 최대 작업시간이 연장되었습니다.]] 2024.02.14
* [[HTCondor| HTCondor 사용법 문서가 갱신 되었습니다.]] 2023.09.21
* [[Storage_Element_Tutorial#.EC.84.9C.EB.B9.84.EC.8A.A4.EB.B3.84_.EC.8A.A4.ED.86.A0.EB.A6.AC.EC.A7.80_.EC.A0.91.EA.B7.BC| 이제 HTCondor에서 SE의 데이터를 바로 읽을 수 있습니다.]] 2023.06.23
* [[Bitwarden| bitwarden(패스워드 관리) 사용법 문서가 추가 되었습니다.]] 2023.03.14
* [[How_to_use_Tier3_at_KNU|How to use T3_KR_KNU 문서가 갱신 되었습니다.]] 2023.02.20
* [[Singularity|Singularity 사용법 문서가 갱신 되었습니다.]] 2022.09.15
* [[Mattermost|Mattermost 메신저 서비스를 시작합니다.]] 2022.09.05
* [[How_to_use_Tier3_at_KNU|How to use T3_KR_KNU 문서가 갱신 되었습니다.]] 2022.07.27
* 이제부터 최근 수정된 부분은 밑줄로 표시됩니다. 참고하시기 바립니다. 2022.06.08
* [[Storage_Element_Tutorial|Storage Element Tutorial이 갱신 되었습니다.]] 2022.06.08
* [[JupyterHub|JupyterHub 서비스를 시작합니다.]] 2022.03.23
* [[HTCondor_Job_Policy|이제 htcondor에서 request_memory보다 많은 메모리를 사용하는 작업은 자동으로 hold됩니다.]] 2022.02.09
* [[FreeIPA|인증시스템 전환(NIS→ FreeIPA)공지입니다.]] 2021.11.09
* [[cvmfs_geant4|CVMFS에서 geant4 사용하기 문서가 추가되었습니다.]] 2021.07.12
* [[cvmfs_root|CVMFS에서 root 사용하기 문서가 추가되었습니다.]] 2021.07.12
* [[cvmfs_gcc|CVMFS에서 원하는 버전의 gcc 사용하기 문서가 추가되었습니다.]] 2021.07.12
* [[WebDav|dCache에서 WebDav 프로토콜 및 마카롱 인증 사용하기 문서가 추가되었습니다.]] 2021.06.22
* [[Rucio|Rucio 사용법 문서가 추가되었습니다.]] 2021.06.08
* [[Uberftp|uberftp에 치명적인 버그가 있습니다. 사용에 주의하세요]] 2021.05.17
* [[HTCondorGPU|HTCondor에서 GPU 사용법 문서가 추가되었습니다.]] 2021.05.12
* [[HTCondor|HTCondor 사용법 문서가 갱신되었습니다.]] 2021.03.31
* [[mosh|mosh 가이드가 등록되었습니다.]] 2021.03.17
* [[x2go|x2go를 이용한 원격데스크탑 가이드가 등록되었습니다.]] 2021.03.11
* [[Xrootd|xrootd 를 활용한 SE Data 사용 가이드가 갱신되었습니다.]] 2021.03.05
* [[HTCondor에서 GPU 사용하기]] 2021.03.04
* [[Duc|자신의 디스크 사용량을 쉽게 확인할 수 있는 툴을 소개합니다.]] 2020.11.05
* [[CreamCE/SL6 서비스 종료]] 2020.10.15
* [[HTCondor|HTCondor 사용법 문서가 작성중입니다.]] 2020.07.30
* [[CreamCE/Torque → HTCondorCE/HTCondor 이전 안내]] 2020.07.23
* 스토리지 엘리먼트가 1.45PB로 증가하였습니다. 2020.06.26
* [[SFT|CVMFS SFT repository 사용법 문서가 갱신 되었습니다.]] 2020.03.20
* [[Scratch Disk가 교체 및 증설 안내]] 2020.02.10
* [[Notion|Notion 문서를 추가하였습니다.]] 2019.09.20
* [[Storage_Element_Tutorial|Storage Element Tutorial이 보강 되었습니다.]] 2019.08.30
* [[Storage_Element_Tutorial|Storage Element Tutorial이 보강 되었습니다.]] 2018.12.10
* [[Singularity|Singularity 사용법 문서가 추가 되었습니다.]] 2018.12.03
* [[SFT|CVMFS SFT repository 사용법 문서가 추가 되었습니다.]] 2018.11.08
* [[torque|Torque 사용법 문서가 갱신 되었습니다.]] 2018.10.15
* [[Storage_Element_Tutorial|Storage Element Tutorial이 보강 되었습니다.]] 2018.08.31
* [[Tier3BatchQueueInfo|Tier3 batch farm에 큰 메모리를 사용하는 작업 전용의 queue를 추가하였습니다.]] 2018.07.13
* [[T2_KR_KNU_Decommissioned| 경북대 Tier2 서비스는 4월 30일자로 종료되고 해당자원은 Tier3로 통합됩니다.]] 2018.04.18
* cms03이 SL6로 업그레이드되었습니다. 2018.01.16
* [[Storage_Element_Tutorial|Storage Element Tutorial이 갱신 되었습니다.]] 2017.11.22
* [[Xrootd|xrootd 를 활용한 SE Data 사용 가이드가 별도 분리되었습니다.]] 2017.11.22
* 스토리지 엘리먼트가 1.29PB로 증가하였습니다. 2017.10.12
* [[crab|Crab Tutorial을 업데이트 하였습니다.]] 2017.06.29
* [[Storage_Element_Tutorial#xrootd_.EB.A5.BC_.ED.99.9C.EC.9A.A9.ED.95.9C_SE_Data_.EC.A0.91.EA.B7.BC_.EB.B0.A9.EB.B2.95|Storage Element Tutorial에서 xrootd 관련 항목이 업데이트 되었습니다.]] 2017.06.15
* [[Webfts|WebFTS 사용법 항목이 추가되었습니다.]] 2017.04.14
* [[Dcap|dcap 사용법 항목이 갱신되었습니다.]] 2016.12.06
* 스토리지 엘리먼트가 1.2PB로 증가하였습니다. 2016.12.05
* [[Task_monitoring_for_the_analysis_users|Analysis 사용자를 위한 작업 모니터링 가이드가 추가되었습니다.]] 2016.10.19
* [[DCacheNFS|스토리지 엘리먼트의 NFS 사용 가이드가 갱신되었습니다.]] 2016.10.07
* [[Dcap|dcap 사용법 항목이 추가되었습니다.]] 2016.10.06
* 스토리지 엘리먼트가 1PB로 증가하였습니다. 2016.08.10
* [[DCacheNFS|스토리지 엘리먼트를 UI에서 NFS로 바로 읽을 수 있습니다.]] 2016.07.19
* [[Tier3BatchQueueInfo|Tier3 batch farm의 queue에 대한 세부정보를 업데이트 하였습니다.]] 2016.02.12
* [[Motd|Tier2/3 UI motd(Message of the Day)에서 스토리지 엘리먼트를 비롯한 디스크 사용량을 확인할수 있습니다.]] 2015.12.28
* [[Ssh_Public_key_Authentication|보다 안전하고 편리한 ssh 공개키 인증 사용법 항목이 추가 되었습니다.]] 2015.12.28
* [[Create-batch|create-batch 사용법 항목이 추가 되었습니다.]] 2015.12.21
* [[Storage_Element_Tutorial|Storage Element Tutorial 항목이 별도로 분리 되었습니다.]] 2015.10.29
* [[torque|Torque 사용법 항목이 별도로 분리 되었습니다.]] 2015.10.29
* [[crab|Crab Tutorial 항목이 별도로 분리 되었습니다.]] 2015.10.29
* [[Q&A|Q&A 항목이 추가 되었습니다.]] 2015.10.12
* [[uberftp | uberftp 사용법 항목이 추가되었습니다.]] 2015.10.12
* T2_KR_KNU 홈페이지가 리뉴얼 되었습니다. 2015.10.12
* [https://indico.cern.ch/event/386181/ 2015 CMS DAS (Data Analysis School) at Korea가 개최되었습니다.] 2015.08.25~29

HTCondorQueueInfo

2025-05-13T05:07:01Z

Hanbi: /* HTCondor JobType Information */

== HTCondor JobType ==
* 경북대학교 HTCondor Farm 에서는 다음과 같이 JobType을 지원합니다.
* JobType을 이용하여 과거 Torque/PBS 시스템의 Queue처럼 사용할 수 있습니다.

=== JobType 종류 ===
{| style="background:#cccc99;color:#black;white:80%;" border="1" cellpadding="5" cellspacing="0"
! 작업 구분 !! 작업 특성 !! 최대 작업시간 !! 최대 실행 작업수 !! 비고
|- style="background:white; color:black"
! CPU Jobs
| Default
| 80시간
| 제한 없음
| -
|- style="background:white; color:black"
! ``
| Short
| 30분
| 100
| 테스트 작업 (+JobType="short")
|- style="background:white; color:black"
! ``
| Long
| 7일
| 200
| 장기간 수행 작업 (+JobType="long")
|- style="background:white; color:black"
! ``
| Heavy
| 80시간
| 500
| Heavy I/O 작업 (+JobType="heavy")
|- style="background:white; color:black"
! GPU Jobs
| Default
| 7일
| 제한 없음
| -
|- style="background:white; color:black"
! ``
| Short
| 30분
| 5
| 테스트 작업 (+JobType="short")
|- style="background:white; color:black"
! ``
| Long
| 14일
| 5
| 장기간 작업 (+JobType="long")
|}

* 최대 작업시간은 연산노드에서 작업이 실행되는 최대 시간입니다. 최대 작업시간을 초과하면 작업이 강제로 중지됩니다.
* 자원의 효율적 사용을 위해서 가급적 작업을 나누어 제출하는 것을 권장합니다.
* 최대 작업시간이나 최대 작업수는 향후 변경될 수 있습니다. 관련하여 문의사항이 있으면 관리자에게 메일주시기 바랍니다.

==== JobType 설정 방법 ====
submit description file에 아래 내용을 추가합니다.

+JobType = "short"

* JobType 을 지정하지 않으면 default 입니다.

Main Page

2025-05-13T05:06:38Z

Hanbi: /* News & Notices */

__NOTOC__
='''KNU Tier-3 Center for CMS''' <img src="http://t2-cms.knu.ac.kr/img/CMS-logo.gif" width=25> =

Welcome to the CMS Tier-3 Center at Kyungpook National University in Korea.

This web portal is your gateway to the CMS Tier-3 center at Kyungpook National University (KNU) in Korea. This CMS Tier-3 center is being supported by the Ministry of Education, Science and Technology and is being maintained by the Center for High Energy Physics of the KNU.
We will support the CMS computing needs for Korean and overseas collaborators. For your general comments, questions, or reports of any problems regarding to this Center, please email to lcg_knu@knu.ac.kr.

== News & Notices ==
* [[HTCondorQueueInfo| HTCondor 에 JobType(Queue)가 추가되었습니다.]] 2025.05.13
* [[HTCondor| HTCondor 사용법 문서가 갱신 되었습니다.]] 2025.05.09
* [[Singularity|Apptainer 사용법 문서가 갱신 되었습니다.]] 2025.05.09
* [[Cvmfs_root|CVMFS 에서 root 사용하기 문서가 갱신 되었습니다.]] 2025.05.09
* [[Singularity|Apptainer 사용법 문서가 갱신 되었습니다.]] 2025.04.23
* [[HTCondor| HTCondor 사용법 문서가 갱신 되었습니다.]] 2024.07.08
* [[Singularity|Apptainer 사용법 문서가 갱신 되었습니다.]] 2024.06.13
* [[Storage_Element_Tutorial#.EC.84.9C.EB.B9.84.EC.8A.A4.EB.B3.84_.EC.8A.A4.ED.86.A0.EB.A6.AC.EC.A7.80_.EC.A0.91.EA.B7.BC| 스토리지 엘리먼트의 SRMv2 gridftp gsiftp 데이터 전송 프로토콜 지원이 종료됩니다.]] 2024.05.14
* [[HTCondor| HTCondor 사용법 문서가 갱신 되었습니다.]] 2024.03.11
* [[HTCondor#.EC.B5.9C.EB.8C.80_.EC.9E.91.EC.97.85.EC.8B.9C.EA.B0.84| HTCondor의 GPU 최대 작업시간이 연장되었습니다.]] 2024.02.14
* [[HTCondor| HTCondor 사용법 문서가 갱신 되었습니다.]] 2023.09.21
* [[Storage_Element_Tutorial#.EC.84.9C.EB.B9.84.EC.8A.A4.EB.B3.84_.EC.8A.A4.ED.86.A0.EB.A6.AC.EC.A7.80_.EC.A0.91.EA.B7.BC| 이제 HTCondor에서 SE의 데이터를 바로 읽을 수 있습니다.]] 2023.06.23
* [[Bitwarden| bitwarden(패스워드 관리 서비스) 사용법 문서가 추가 되었습니다.]] 2023.03.14
* [[How_to_use_Tier3_at_KNU|How to use T3_KR_KNU 문서가 갱신 되었습니다.]] 2023.02.20
* [[Singularity|Singularity 사용법 문서가 갱신 되었습니다.]] 2022.09.15
* [[Mattermost|Mattermost 메신저 서비스를 시작합니다.]] 2022.09.05
* [[How_to_use_Tier3_at_KNU|How to use T3_KR_KNU 문서가 갱신 되었습니다.]] 2022.07.27
* 이제부터 최근 수정된 부분은 밑줄로 표시됩니다. 참고하시기 바립니다. 2022.06.08
* [[Storage_Element_Tutorial|Storage Element Tutorial이 갱신 되었습니다.]] 2022.06.08
* [[JupyterHub|JupyterHub 서비스를 시작합니다.]] 2022.03.23
* [[HTCondor_Job_Policy|이제 htcondor에서 request_memory보다 많은 메모리를 사용하는 작업은 자동으로 hold됩니다.]] 2022.02.09
* [[FreeIPA|인증시스템 전환(NIS→ FreeIPA)공지입니다.]] 2021.11.09
* [[cvmfs_geant4|CVMFS에서 geant4 사용하기 문서가 추가되었습니다.]] 2021.07.12
* [[cvmfs_root|CVMFS에서 root 사용하기 문서가 추가되었습니다.]] 2021.07.12
* [[News & Notices|more ...]]

==Additional Services==

* [https://chep17.knu.ac.kr:3003 T3_KR_KNU Status - 작업 현황, 현재 사용량 등]
* [https://githep.knu.ac.kr:4443 Gitlab 서비스 - 소스코드 버전 관리 시스템]
* [https://mm.knu.ac.kr Mattermost 서비스 - 업무용 메신저 서비스]
* [https://indico.knu.ac.kr 경북대 물리학과 Indico]
* [https://indico.kno.or.kr KNO Indico]

==How to use Tier-3 at KNU?==
*[[How_to_use_Tier2_at_KNU|How to use Tier-3 at KNU?]]
**[[How_to_use_Tier2_at_KNU#Pre-requisites|Pre-requisites]]
**[[How_to_use_Tier2_at_KNU#KNU_Tier-2_Login|KNU_Tier-3 Login]]
**[[How_to_use_Tier2_at_KNU#CMSSW.28CMS_Software.29_Installation|CMSSW Installation]]
**[[crab|Crab Tutorial]]
**[[How_to_use_Tier2_at_KNU#Storage_Element_.28SE.29_Manual|Storage Element Tutorial]]
**[[uberftp|uberftp]]
**[[Q&A|Q&A]]

*[https://t2-cms.knu.ac.kr/lcg_registration.php KNU Account Registration]

----
{| style="width: 100%"
! style="text-align: left;text-valign: top" | Contact: Email: lcg_knu@knu.ac.kr
! style="text-align: right;" | THE CENTER FOR HIGH ENERGY PHYSICS KYUNGPOOK NATIONAL UNIVERSITY
|}

HTCondor

2025-05-13T02:23:03Z

Hanbi: /* 작업별 최대 작업시간 */

== HTCondor Batch System 사용법 ==

=== Tier-3 HTCondor UI 접속하기 ===
다음과 같이 터미널을 열어서 원격로그인(SSH)으로 접속합니다.
ssh -X username@cms.knu.ac.kr

=== Job submit ===
Job submit을 위해서는 다음과 같이 "condor_submit" 명령어를 사용합니다.

* sleep.sh - 테스트 코드

#!/bin/bash

TIMETOWAIT="10"
echo "sleeping for $TIMETOWAIT seconds"
/bin/sleep $TIMETOWAIT

* sleep.sub - 작업 명세 파일

executable = sleep.sh
log = sleep.log
output = outfile.txt
error = errors.txt
should_transfer_files = Yes
when_to_transfer_output = ON_EXIT
queue

* job submit

condor_submit sleep.sub

=== Job 상태 확인 ===

====condor_q ====
작업의 상태 확인을 위해서는 "condor_q"명령을 사용합니다. 
전체 작업현황을 확인하려면 다음과 같이 실행하면 됩니다.

$ condor_q
-- Schedd: cms02.knu.ac.kr : <155.230.23.72:9618?... @ 07/30/20 16:49:47
OWNER BATCH_NAME SUBMITTED DONE RUN IDLE TOTAL JOB_IDS
user001 ID: 51 7/30 16:47 _ 100 _ 100 51.0-99

Total for query: 100 jobs; 0 completed, 0 removed, 0 idle, 100 running, 0 held, 0 suspended
Total for hanbi: 100 jobs; 0 completed, 0 removed, 0 idle, 100 running, 0 held, 0 suspended
Total for all users: 100 jobs; 0 completed, 0 removed, 0 idle, 100 running, 0 held, 0 suspended

작업이 실행되지 않는다면 다음 명령으로 원인을 확인할 수 있습니다.
$ condor_q -analyze 51.0

$ condor_q -better-analyze 51.0

==== condor_wait ====
condor_wait 는 사용자의 로그 파일을 모니터링하고, 작업의 진행 상태에 대한 정보를 추출합니다. 이 명령어는 특히 작업이 완료될 때까지 대기하며, 로그 파일을 통해 작업의 상태 변경을 추적할 수 있습니다.
$ condor_wait -status job_121945.log
121945.0.0 submitted
...
121945.1.0 executing on host <155.230.21.74:9618?addrs=155.230.21.74-9618+[2407-c000-c024-0-e2cb-4eff-fe53ced7]-9618&alias=cluster27
4.knu.ac.kr&noUDP&sock=startd_2946_4a18>
...
121945.1.0 completed
...

====condor_tail ====
condor_tail은 HTCondor 시스템에서 실행 중인 작업의 표준 출력(standard output)과 표준 오류(standard error)를 실시간으로 확인할 수 있습니다. 
-f 옵션은 tail -f 와 동일한 기능을 제공합니다.
-stderr 옵션은 작업의 표준 오류 출력을 보여줍니다.
$ condor_tail -f 121946.0
Thinking really hard for 180 seconds...
We calculated: 200

====condor_ssh_to_job ====
condor_ssh_to_job을 사용하면 사용자가 실행 중인 작업의 노드로 SSH(보안 셸) 접속을 할 수 있으며, 작업 디렉토리에 직접 접근하여 현재 작업이 어떻게 진행되고 있는지 확인할 수 있습니다.
$ condor_ssh_to_job 121946.0
Welcome to slot1_1@cluster242.knu.ac.kr!
Your condor job is running with pid(s) 21165.
$ ls -al
total 44
drwx------ 5 user001 cms 187 Mar 11 14:31 .
drwxr-xr-x. 10 condor root 141 Mar 11 14:02 ..
-rwx------ 1 user001 cms 48 Mar 11 14:02 .chirp.config
drwxr-xr-x 2 user001 cms 128 Mar 11 14:03 .condor_ssh_to_job_1
-rw-r--r-- 1 user001 cms 0 Mar 11 14:02 _condor_stderr
-rw-r--r-- 1 user001 cms 59 Mar 11 14:05 _condor_stdout
-rw-r--r-- 1 condor condor 4165 Mar 11 14:02 .job.ad
-rw-r--r-- 1 condor condor 6111 Mar 11 14:02 .machine.ad
-rwxr-xr-x 1 user001 cms 8512 Mar 11 14:02 test
drwx------ 2 user001 cms 6 Mar 11 14:02 tmp
-rw-r--r-- 1 user001 cms 6157 Mar 11 14:31 .update.ad
drwx------ 3 user001 cms 17 Mar 11 14:02 var

====condor_history ====
종료된 작업을 조회하려면 condor_history 명령을 사용합니다.
$ condor_history -const 'Owner == "user001" && JobStatus ==4' -limit 5
ID OWNER SUBMITTED RUN_TIME ST COMPLETED CMD
121946.9 user001 3/11 14:02 0+00:03:01 C 3/11 14:06 /u/user/user001/condor/test 180 100
121946.8 user001 3/11 14:02 0+00:03:01 C 3/11 14:05 /u/user/user001/condor/test 180 100
121946.6 user001 3/11 14:02 0+00:03:01 C 3/11 14:05 /u/user/user001/condor/test 180 100
121946.7 user001 3/11 14:02 0+00:03:01 C 3/11 14:05 /u/user/user001/condor/test 180 100
121946.5 user001 3/11 14:02 0+00:03:01 C 3/11 14:05 /u/user/user001/condor/test 180 100

특정 작업을 조회하려면 -l 옵션을 사용합니다.
$ condor_history -l 121946.9

=== Job 삭제 ===
submit 한 작업을 중간에 취소하기 위해서는 "condor_rm" 명령을 사용합니다.
condor_rm <JOBID>

모든 내 작업을 삭제하려면 다음 명령을 사용합니다.

condor_rm <UserID>

=== 작업 명세 파일 예제 ===

* 단독 실행

$ science.exe infile-A.txt infile-B.txt outfile.txt

* science1.sub - 1개 작업 실행

# science1.sub -- run one instance of science.exe
executable = science.exe
arguments = "infile-A.txt infile-B.txt outfile.txt"
transfer_input_files = infile-A.txt,infile-B.txt
should_transfer_files = IF_NEEDED
when_to_transfer_output = ON_EXIT
log = science1.log
queue

* science2.sub - 40개 작업 실행, Process 번호로 input, output 파일 구분

# science2.sub -- run 40 instances of science.exe
executable = science.exe
arguments = "infile-$(Process)A.txt infile-$(Process)B.txt outfile$(Process).txt"
transfer_input_files = infile-$(Process)A.txt,infile-$(Process)B.txt
should_transfer_files = IF_NEEDED
when_to_transfer_output = ON_EXIT
log = science2.log
queue 40

* science3.sub - 100개 실행 예제. Process 번호로 작업 디렉토리 구분

# science3.sub -- run 100 instances of science.exe, with
# unique directories named by the $(Process) macro
executable = science.exe
arguments = "infile-A.txt infile-B.txt outfile.txt"
should_transfer_files = IF_NEEDED
when_to_transfer_output = ON_EXIT
initialdir = run$(Process)
transfer_input_files = infile-A.txt,infile-B.txt
log = science3.log
queue 100

* geant4 실행 예제

$ cat run_geant4.sh
#!/bin/bash

source /cvmfs/sft.cern.ch/lcg/contrib/gcc/8.3.0/x86_64-centos7/setup.sh
source /cvmfs/geant4.cern.ch/geant4/10.6/x86_64-centos7-gcc8-optdeb/CMake-setup.sh
./$*

$ cat geant4.sub
Universe = vanilla
Log = geant4_$(ClusterId).log
Output = geant4_$(ClusterId)_$(ProcId).out
Error = geant4_$(ClusterId)_$(ProcId).err
Should_Transfer_Files = Yes
When_To_Transfer_Output = ON_EXIT

#Executable = <wrapper_script>.sh
Executable = run_geant4.sh
Transfer_Executable = True
#Arguments = <Geant4 executable> <input file(s)>
Arguments = exampleB1 exampleB1.in
#Transfer_Input_Files = <Geant4 executable>,<input file(s)>
Transfer_Input_Files = exampleB1, exampleB1.in

Queue

[[SFT#Geant4_10.6_.26_gcc83_.26_centos7| 위의 예제를 위한 geant4 설치 및 테스트는 여기를 클릭하세요.]]

=== Submitting Multiple Jobs with HTCondor ===

복수의 input 파일을 이용하여 동시에 다수의 작업을 처리하고 싶다면
[https://indico.cern.ch/event/611296/contributions/2604376/attachments/1471164/2276521/TannenbaumT_UserTutorial.pdf AN INTRODUCTION TO USING HTCONDOR(Todd Tannenbaum)] 에서 52p에서부터 72p의 내용을 참고하시기 바랍니다

=== Apptainer(Singularity)를 이용하여 코드 실행 ===

==== el6(Scientific Linux 6) 코드 실행 ====
submit description file에 아래 내용을 추가합니다.

+ContainerOS = "SL6"

혹은 선호하는 이미지가 있다면 아래와 같이 기입합니다.

+SingularityImage = "/cvmfs/singularity.opensciencegrid.org/cmssw/cms:rhel6-m202001"

==== el7(CentOS Linux 7) 코드 실행 ====
submit description file에 아래 내용을 추가합니다.

Universe = vanilla
...
+SingularityImage = "/cvmfs/singularity.opensciencegrid.org/opensciencegrid/osgvo-el7:latest"
...

==== el8(Rocky Linux 8) 코드 실행 ====
submit description file에 아래 내용을 추가합니다.

Universe = vanilla
...
+SingularityImage = "/cvmfs/singularity.opensciencegrid.org/opensciencegrid/osgvo-el8:latest"
...

==== el9(Rocky Linux 9) 코드 실행 ====
submit description file에 아래 내용을 추가합니다.

Universe = vanilla
...
+SingularityImage = "/cvmfs/singularity.opensciencegrid.org/opensciencegrid/osgvo-el9:latest"
...

=== create-batch 사용 ===

create-batch를 경북대 부분을 condor로 변경하여 create-batch2라는 이름으로 저장해두었습니다. condor에서는 --queue cms 옵션은 필요하지 않습니다. 
torque system을 당분간 운영하는 기간동안 임시로 이렇게 사용하고 condor로 완전히 전환이 되면 create-batch에 수정사항을 반영요청하겠습니다.

* [[Create-batch|create-batch 사용법으로 가기]]

=== 전체 작업 현황 살펴보기 ===

$ condor_status -schedd
Name Machine RunningJobs IdleJobs HeldJobs

ce01.knu.ac.kr ce01.knu.ac.kr 20 5 0
cms.knu.ac.kr cms.knu.ac.kr 0 0 0
cms01.knu.ac.kr cms01.knu.ac.kr 0 0 3
cms02.knu.ac.kr cms02.knu.ac.kr 1754 0 0
cms03.knu.ac.kr cms03.knu.ac.kr 269 231 0
dm.knu.ac.kr dm.knu.ac.kr 0 0 0

TotalRunningJobs TotalIdleJobs TotalHeldJobs

Total 2043 236 3

=== HTCondor에서 GPU 사용 ===

* [[HTCondor에서_GPU_사용하기]]

=== request_memory 관련 ===

* dynamic slot에서는 request_memory 메모리를 어떻게 지정하냐에 따라서 연산노드에서 들어갈 수 있는 작업의 수가 변화합니다.
* 가령 CPU 8core, 메모리 16GB를 가지고 있는 연산노드가 있다고 가정했을 때 request_memory 가 2GB일때는 8개가 8GB일때는 2개의 작업이 할당됩니다.
* 따라서 적절한 request_memory를 설정해야 작업 slot의 낭비를 줄이고 자신과 타인의 작업이 빠르게 실행됩니다. 위의 예의 경우 4배의 차이가 나게 됩니다.
* htcondor에서 request_memory의 자동 수정
** 작업 실행후 1시간 뒤를 기준으로 request_memory 가 작업의 실사용메모리보다 2GB이상 많이 설정되어 있는 경우 자동으로 해당 작업은 hold 되고 request_memory가 수정후 재실행됩니다.
** request_memory 보다 실사용하는 메모리가 많아 hold 된 작업은 htcondor가 request_memory를 자동으로 증가시킨 후 재실행됩니다.

=== x509 proxy 사용 ===

htcondor 에서 그리드 인증이 필요한 경우

* X509_USER_PROXY를 설정하여 proxy 파일의 위치를 다음과 같이 연산노드에서 접근 가능한 위치로 변경해야합니다.
export X509_USER_PROXY=/u/user/(userid)/proxy.cert

* voms-proxy-info 명령을 이용해서 proxy가 올바른 위치에 생성되었는지 반드시 확인하세요.

* 자세한 내용은 다음 링크를 참고하시기 바랍니다.
https://batchdocs.web.cern.ch/tutorial/exercise2e_proxy.html

=== 작업별 최대 작업시간 ===

{| style="background:#cccc99;color:#black;white:80%;" border="1" cellpadding="5" cellspacing="0"
! 작업 구분 !! 작업 특성 !! 최대 작업시간 !! 최대 실행 작업수 !! 비고
|- style="background:white; color:black"
! CPU Jobs
| Default
| 80시간
| 제한 없음
| -
|- style="background:white; color:black"
! ``
| Short
| 30분
| 100
| 테스트 작업 (+JobType="short")
|- style="background:white; color:black"
! ``
| Long
| 7일
| 200
| 장기간 수행 작업 (+JobType="long")
|- style="background:white; color:black"
! ``
| Heavy
| 80시간
| 500
| Heavy I/O 작업 (+JobType="heavy")
|- style="background:white; color:black"
! GPU Jobs
| Default
| 7일
| 제한 없음
| -
|- style="background:white; color:black"
! ``
| Short
| 30분
| 5
| 테스트 작업 (+JobType="short")
|- style="background:white; color:black"
! ``
| Long
| 14일
| 5
| 장기간 작업 (+JobType="long")
|}

* 최대 작업시간은 연산노드에서 작업이 실행되는 최대 시간입니다. 최대 작업시간을 초과하면 작업이 강제로 중지됩니다.
* 자원의 효율적 사용을 위해서 가급적 작업을 나누어 제출하는 것을 권장합니다.
* 최대 작업시간이나 최대 작업수는 향후 변경될 수 있습니다. 관련하여 문의사항이 있으면 관리자에게 메일주시기 바랍니다.

=== 주의사항 ===

* 작업이 실행 중에 죽는 경우

작업 제출시 명시한 메모리보다 작업이 더 많은 메모리를 사용할 경우 메모리 부족으로 작업이 죽는 경우가 발생할 수 있습니다. 
다음과 같이 requset_memory 옵션으로 요구 메모리를 지정해주시기 바랍니다. 특히 많은 메모리를 사용하는 작업이라면 반드시 지정해 주어야합니다.
request_memory = 4 GB

* submit 한 작업도 속성을 다음과 같이 변경할 수 있습니다.

$ condor_hold {job_id}
$ condor_qedit {job_id} RequestMemory 4096
$ condor_release {job_id}

* 최근에는 작업의 메모리 사용량은 자동으로 관리되고 있습니다. 메모리 초과 사용 혹은 과다 사용시 시스템에서 중지 후 다시 제출됩니다.

=== 참고 자료 ===

* [https://research.cs.wisc.edu/htcondor/manual/quickstart.html HTCondor Quick Start Guide] 위의 예제를 작성할때 참고한 자료로 처음에 시작하는 사용자가 참고하기 좋습니다.
* [https://indico.cern.ch/event/611296/contributions/2604376/attachments/1471164/2276521/TannenbaumT_UserTutorial.pdf AN INTRODUCTION TO USING HTCONDOR(Todd Tannenbaum)] HTCondor의 동작에 대한 기본적인 이해와 다양한 기능들을 살펴보기 좋은 자료입니다.
* [https://indico.cern.ch/event/733513/contributions/3118598/attachments/1711374/2759120/EUCW18-DAGMan.pdf AN INTRODUCTION TO WORKFLOWS WITH DAGMAN] DAGMAN 사용방법을 학습하기 좋은 자료입니다.

HTCondorQueueInfo

2025-05-13T02:22:42Z

Hanbi: /* HTCondor JobType Information */

== HTCondor JobType Information ==
* 경북대학교 HTCondor Farm 에서는 다음과 같이 JobType을 지원합니다.
* JobType을 이용하여 과거 Torque/PBS 시스템의 Queue처럼 사용할 수 있습니다.

=== JobType 종류 ===
{| style="background:#cccc99;color:#black;white:80%;" border="1" cellpadding="5" cellspacing="0"
! 작업 구분 !! 작업 특성 !! 최대 작업시간 !! 최대 실행 작업수 !! 비고
|- style="background:white; color:black"
! CPU Jobs
| Default
| 80시간
| 제한 없음
| -
|- style="background:white; color:black"
! ``
| Short
| 30분
| 100
| 테스트 작업 (+JobType="short")
|- style="background:white; color:black"
! ``
| Long
| 7일
| 200
| 장기간 수행 작업 (+JobType="long")
|- style="background:white; color:black"
! ``
| Heavy
| 80시간
| 500
| Heavy I/O 작업 (+JobType="heavy")
|- style="background:white; color:black"
! GPU Jobs
| Default
| 7일
| 제한 없음
| -
|- style="background:white; color:black"
! ``
| Short
| 30분
| 5
| 테스트 작업 (+JobType="short")
|- style="background:white; color:black"
! ``
| Long
| 14일
| 5
| 장기간 작업 (+JobType="long")
|}

* 최대 작업시간은 연산노드에서 작업이 실행되는 최대 시간입니다. 최대 작업시간을 초과하면 작업이 강제로 중지됩니다.
* 자원의 효율적 사용을 위해서 가급적 작업을 나누어 제출하는 것을 권장합니다.
* 최대 작업시간이나 최대 작업수는 향후 변경될 수 있습니다. 관련하여 문의사항이 있으면 관리자에게 메일주시기 바랍니다.

==== JobType 설정 방법 ====
submit description file에 아래 내용을 추가합니다.

+JobType = "short"

* JobType 을 지정하지 않으면 default 입니다.

Main Page

2025-05-13T02:21:39Z

Hanbi: /* News & Notices */

__NOTOC__
='''KNU Tier-3 Center for CMS''' <img src="http://t2-cms.knu.ac.kr/img/CMS-logo.gif" width=25> =

Welcome to the CMS Tier-3 Center at Kyungpook National University in Korea.

This web portal is your gateway to the CMS Tier-3 center at Kyungpook National University (KNU) in Korea. This CMS Tier-3 center is being supported by the Ministry of Education, Science and Technology and is being maintained by the Center for High Energy Physics of the KNU.
We will support the CMS computing needs for Korean and overseas collaborators. For your general comments, questions, or reports of any problems regarding to this Center, please email to lcg_knu@knu.ac.kr.

== News & Notices ==
* [[HTCondorQueueInfo| HTCondor 에 JobType(Queue)가 추가되었습니다.]] 2025.05.09
* [[HTCondor| HTCondor 사용법 문서가 갱신 되었습니다.]] 2025.05.09
* [[Singularity|Apptainer 사용법 문서가 갱신 되었습니다.]] 2025.05.09
* [[Cvmfs_root|CVMFS 에서 root 사용하기 문서가 갱신 되었습니다.]] 2025.05.09
* [[Singularity|Apptainer 사용법 문서가 갱신 되었습니다.]] 2025.04.23
* [[HTCondor| HTCondor 사용법 문서가 갱신 되었습니다.]] 2024.07.08
* [[Singularity|Apptainer 사용법 문서가 갱신 되었습니다.]] 2024.06.13
* [[Storage_Element_Tutorial#.EC.84.9C.EB.B9.84.EC.8A.A4.EB.B3.84_.EC.8A.A4.ED.86.A0.EB.A6.AC.EC.A7.80_.EC.A0.91.EA.B7.BC| 스토리지 엘리먼트의 SRMv2 gridftp gsiftp 데이터 전송 프로토콜 지원이 종료됩니다.]] 2024.05.14
* [[HTCondor| HTCondor 사용법 문서가 갱신 되었습니다.]] 2024.03.11
* [[HTCondor#.EC.B5.9C.EB.8C.80_.EC.9E.91.EC.97.85.EC.8B.9C.EA.B0.84| HTCondor의 GPU 최대 작업시간이 연장되었습니다.]] 2024.02.14
* [[HTCondor| HTCondor 사용법 문서가 갱신 되었습니다.]] 2023.09.21
* [[Storage_Element_Tutorial#.EC.84.9C.EB.B9.84.EC.8A.A4.EB.B3.84_.EC.8A.A4.ED.86.A0.EB.A6.AC.EC.A7.80_.EC.A0.91.EA.B7.BC| 이제 HTCondor에서 SE의 데이터를 바로 읽을 수 있습니다.]] 2023.06.23
* [[Bitwarden| bitwarden(패스워드 관리 서비스) 사용법 문서가 추가 되었습니다.]] 2023.03.14
* [[How_to_use_Tier3_at_KNU|How to use T3_KR_KNU 문서가 갱신 되었습니다.]] 2023.02.20
* [[Singularity|Singularity 사용법 문서가 갱신 되었습니다.]] 2022.09.15
* [[Mattermost|Mattermost 메신저 서비스를 시작합니다.]] 2022.09.05
* [[How_to_use_Tier3_at_KNU|How to use T3_KR_KNU 문서가 갱신 되었습니다.]] 2022.07.27
* 이제부터 최근 수정된 부분은 밑줄로 표시됩니다. 참고하시기 바립니다. 2022.06.08
* [[Storage_Element_Tutorial|Storage Element Tutorial이 갱신 되었습니다.]] 2022.06.08
* [[JupyterHub|JupyterHub 서비스를 시작합니다.]] 2022.03.23
* [[HTCondor_Job_Policy|이제 htcondor에서 request_memory보다 많은 메모리를 사용하는 작업은 자동으로 hold됩니다.]] 2022.02.09
* [[FreeIPA|인증시스템 전환(NIS→ FreeIPA)공지입니다.]] 2021.11.09
* [[cvmfs_geant4|CVMFS에서 geant4 사용하기 문서가 추가되었습니다.]] 2021.07.12
* [[cvmfs_root|CVMFS에서 root 사용하기 문서가 추가되었습니다.]] 2021.07.12
* [[News & Notices|more ...]]

==Additional Services==

* [https://chep17.knu.ac.kr:3003 T3_KR_KNU Status - 작업 현황, 현재 사용량 등]
* [https://githep.knu.ac.kr:4443 Gitlab 서비스 - 소스코드 버전 관리 시스템]
* [https://mm.knu.ac.kr Mattermost 서비스 - 업무용 메신저 서비스]
* [https://indico.knu.ac.kr 경북대 물리학과 Indico]
* [https://indico.kno.or.kr KNO Indico]

==How to use Tier-3 at KNU?==
*[[How_to_use_Tier2_at_KNU|How to use Tier-3 at KNU?]]
**[[How_to_use_Tier2_at_KNU#Pre-requisites|Pre-requisites]]
**[[How_to_use_Tier2_at_KNU#KNU_Tier-2_Login|KNU_Tier-3 Login]]
**[[How_to_use_Tier2_at_KNU#CMSSW.28CMS_Software.29_Installation|CMSSW Installation]]
**[[crab|Crab Tutorial]]
**[[How_to_use_Tier2_at_KNU#Storage_Element_.28SE.29_Manual|Storage Element Tutorial]]
**[[uberftp|uberftp]]
**[[Q&A|Q&A]]

*[https://t2-cms.knu.ac.kr/lcg_registration.php KNU Account Registration]

----
{| style="width: 100%"
! style="text-align: left;text-valign: top" | Contact: Email: lcg_knu@knu.ac.kr
! style="text-align: right;" | THE CENTER FOR HIGH ENERGY PHYSICS KYUNGPOOK NATIONAL UNIVERSITY
|}

HTCondor

2025-05-13T02:20:22Z

Hanbi: /* 최대 작업시간 */

== HTCondor Batch System 사용법 ==

=== Tier-3 HTCondor UI 접속하기 ===
다음과 같이 터미널을 열어서 원격로그인(SSH)으로 접속합니다.
ssh -X username@cms.knu.ac.kr

=== Job submit ===
Job submit을 위해서는 다음과 같이 "condor_submit" 명령어를 사용합니다.

* sleep.sh - 테스트 코드

#!/bin/bash

TIMETOWAIT="10"
echo "sleeping for $TIMETOWAIT seconds"
/bin/sleep $TIMETOWAIT

* sleep.sub - 작업 명세 파일

executable = sleep.sh
log = sleep.log
output = outfile.txt
error = errors.txt
should_transfer_files = Yes
when_to_transfer_output = ON_EXIT
queue

* job submit

condor_submit sleep.sub

=== Job 상태 확인 ===

====condor_q ====
작업의 상태 확인을 위해서는 "condor_q"명령을 사용합니다. 
전체 작업현황을 확인하려면 다음과 같이 실행하면 됩니다.

$ condor_q
-- Schedd: cms02.knu.ac.kr : <155.230.23.72:9618?... @ 07/30/20 16:49:47
OWNER BATCH_NAME SUBMITTED DONE RUN IDLE TOTAL JOB_IDS
user001 ID: 51 7/30 16:47 _ 100 _ 100 51.0-99

Total for query: 100 jobs; 0 completed, 0 removed, 0 idle, 100 running, 0 held, 0 suspended
Total for hanbi: 100 jobs; 0 completed, 0 removed, 0 idle, 100 running, 0 held, 0 suspended
Total for all users: 100 jobs; 0 completed, 0 removed, 0 idle, 100 running, 0 held, 0 suspended

작업이 실행되지 않는다면 다음 명령으로 원인을 확인할 수 있습니다.
$ condor_q -analyze 51.0

$ condor_q -better-analyze 51.0

==== condor_wait ====
condor_wait 는 사용자의 로그 파일을 모니터링하고, 작업의 진행 상태에 대한 정보를 추출합니다. 이 명령어는 특히 작업이 완료될 때까지 대기하며, 로그 파일을 통해 작업의 상태 변경을 추적할 수 있습니다.
$ condor_wait -status job_121945.log
121945.0.0 submitted
...
121945.1.0 executing on host <155.230.21.74:9618?addrs=155.230.21.74-9618+[2407-c000-c024-0-e2cb-4eff-fe53ced7]-9618&alias=cluster27
4.knu.ac.kr&noUDP&sock=startd_2946_4a18>
...
121945.1.0 completed
...

====condor_tail ====
condor_tail은 HTCondor 시스템에서 실행 중인 작업의 표준 출력(standard output)과 표준 오류(standard error)를 실시간으로 확인할 수 있습니다. 
-f 옵션은 tail -f 와 동일한 기능을 제공합니다.
-stderr 옵션은 작업의 표준 오류 출력을 보여줍니다.
$ condor_tail -f 121946.0
Thinking really hard for 180 seconds...
We calculated: 200

====condor_ssh_to_job ====
condor_ssh_to_job을 사용하면 사용자가 실행 중인 작업의 노드로 SSH(보안 셸) 접속을 할 수 있으며, 작업 디렉토리에 직접 접근하여 현재 작업이 어떻게 진행되고 있는지 확인할 수 있습니다.
$ condor_ssh_to_job 121946.0
Welcome to slot1_1@cluster242.knu.ac.kr!
Your condor job is running with pid(s) 21165.
$ ls -al
total 44
drwx------ 5 user001 cms 187 Mar 11 14:31 .
drwxr-xr-x. 10 condor root 141 Mar 11 14:02 ..
-rwx------ 1 user001 cms 48 Mar 11 14:02 .chirp.config
drwxr-xr-x 2 user001 cms 128 Mar 11 14:03 .condor_ssh_to_job_1
-rw-r--r-- 1 user001 cms 0 Mar 11 14:02 _condor_stderr
-rw-r--r-- 1 user001 cms 59 Mar 11 14:05 _condor_stdout
-rw-r--r-- 1 condor condor 4165 Mar 11 14:02 .job.ad
-rw-r--r-- 1 condor condor 6111 Mar 11 14:02 .machine.ad
-rwxr-xr-x 1 user001 cms 8512 Mar 11 14:02 test
drwx------ 2 user001 cms 6 Mar 11 14:02 tmp
-rw-r--r-- 1 user001 cms 6157 Mar 11 14:31 .update.ad
drwx------ 3 user001 cms 17 Mar 11 14:02 var

====condor_history ====
종료된 작업을 조회하려면 condor_history 명령을 사용합니다.
$ condor_history -const 'Owner == "user001" && JobStatus ==4' -limit 5
ID OWNER SUBMITTED RUN_TIME ST COMPLETED CMD
121946.9 user001 3/11 14:02 0+00:03:01 C 3/11 14:06 /u/user/user001/condor/test 180 100
121946.8 user001 3/11 14:02 0+00:03:01 C 3/11 14:05 /u/user/user001/condor/test 180 100
121946.6 user001 3/11 14:02 0+00:03:01 C 3/11 14:05 /u/user/user001/condor/test 180 100
121946.7 user001 3/11 14:02 0+00:03:01 C 3/11 14:05 /u/user/user001/condor/test 180 100
121946.5 user001 3/11 14:02 0+00:03:01 C 3/11 14:05 /u/user/user001/condor/test 180 100

특정 작업을 조회하려면 -l 옵션을 사용합니다.
$ condor_history -l 121946.9

=== Job 삭제 ===
submit 한 작업을 중간에 취소하기 위해서는 "condor_rm" 명령을 사용합니다.
condor_rm <JOBID>

모든 내 작업을 삭제하려면 다음 명령을 사용합니다.

condor_rm <UserID>

=== 작업 명세 파일 예제 ===

* 단독 실행

$ science.exe infile-A.txt infile-B.txt outfile.txt

* science1.sub - 1개 작업 실행

# science1.sub -- run one instance of science.exe
executable = science.exe
arguments = "infile-A.txt infile-B.txt outfile.txt"
transfer_input_files = infile-A.txt,infile-B.txt
should_transfer_files = IF_NEEDED
when_to_transfer_output = ON_EXIT
log = science1.log
queue

* science2.sub - 40개 작업 실행, Process 번호로 input, output 파일 구분

# science2.sub -- run 40 instances of science.exe
executable = science.exe
arguments = "infile-$(Process)A.txt infile-$(Process)B.txt outfile$(Process).txt"
transfer_input_files = infile-$(Process)A.txt,infile-$(Process)B.txt
should_transfer_files = IF_NEEDED
when_to_transfer_output = ON_EXIT
log = science2.log
queue 40

* science3.sub - 100개 실행 예제. Process 번호로 작업 디렉토리 구분

# science3.sub -- run 100 instances of science.exe, with
# unique directories named by the $(Process) macro
executable = science.exe
arguments = "infile-A.txt infile-B.txt outfile.txt"
should_transfer_files = IF_NEEDED
when_to_transfer_output = ON_EXIT
initialdir = run$(Process)
transfer_input_files = infile-A.txt,infile-B.txt
log = science3.log
queue 100

* geant4 실행 예제

$ cat run_geant4.sh
#!/bin/bash

source /cvmfs/sft.cern.ch/lcg/contrib/gcc/8.3.0/x86_64-centos7/setup.sh
source /cvmfs/geant4.cern.ch/geant4/10.6/x86_64-centos7-gcc8-optdeb/CMake-setup.sh
./$*

$ cat geant4.sub
Universe = vanilla
Log = geant4_$(ClusterId).log
Output = geant4_$(ClusterId)_$(ProcId).out
Error = geant4_$(ClusterId)_$(ProcId).err
Should_Transfer_Files = Yes
When_To_Transfer_Output = ON_EXIT

#Executable = <wrapper_script>.sh
Executable = run_geant4.sh
Transfer_Executable = True
#Arguments = <Geant4 executable> <input file(s)>
Arguments = exampleB1 exampleB1.in
#Transfer_Input_Files = <Geant4 executable>,<input file(s)>
Transfer_Input_Files = exampleB1, exampleB1.in

Queue

[[SFT#Geant4_10.6_.26_gcc83_.26_centos7| 위의 예제를 위한 geant4 설치 및 테스트는 여기를 클릭하세요.]]

=== Submitting Multiple Jobs with HTCondor ===

복수의 input 파일을 이용하여 동시에 다수의 작업을 처리하고 싶다면
[https://indico.cern.ch/event/611296/contributions/2604376/attachments/1471164/2276521/TannenbaumT_UserTutorial.pdf AN INTRODUCTION TO USING HTCONDOR(Todd Tannenbaum)] 에서 52p에서부터 72p의 내용을 참고하시기 바랍니다

=== Apptainer(Singularity)를 이용하여 코드 실행 ===

==== el6(Scientific Linux 6) 코드 실행 ====
submit description file에 아래 내용을 추가합니다.

+ContainerOS = "SL6"

혹은 선호하는 이미지가 있다면 아래와 같이 기입합니다.

+SingularityImage = "/cvmfs/singularity.opensciencegrid.org/cmssw/cms:rhel6-m202001"

==== el7(CentOS Linux 7) 코드 실행 ====
submit description file에 아래 내용을 추가합니다.

Universe = vanilla
...
+SingularityImage = "/cvmfs/singularity.opensciencegrid.org/opensciencegrid/osgvo-el7:latest"
...

==== el8(Rocky Linux 8) 코드 실행 ====
submit description file에 아래 내용을 추가합니다.

Universe = vanilla
...
+SingularityImage = "/cvmfs/singularity.opensciencegrid.org/opensciencegrid/osgvo-el8:latest"
...

==== el9(Rocky Linux 9) 코드 실행 ====
submit description file에 아래 내용을 추가합니다.

Universe = vanilla
...
+SingularityImage = "/cvmfs/singularity.opensciencegrid.org/opensciencegrid/osgvo-el9:latest"
...

=== create-batch 사용 ===

create-batch를 경북대 부분을 condor로 변경하여 create-batch2라는 이름으로 저장해두었습니다. condor에서는 --queue cms 옵션은 필요하지 않습니다. 
torque system을 당분간 운영하는 기간동안 임시로 이렇게 사용하고 condor로 완전히 전환이 되면 create-batch에 수정사항을 반영요청하겠습니다.

* [[Create-batch|create-batch 사용법으로 가기]]

=== 전체 작업 현황 살펴보기 ===

$ condor_status -schedd
Name Machine RunningJobs IdleJobs HeldJobs

ce01.knu.ac.kr ce01.knu.ac.kr 20 5 0
cms.knu.ac.kr cms.knu.ac.kr 0 0 0
cms01.knu.ac.kr cms01.knu.ac.kr 0 0 3
cms02.knu.ac.kr cms02.knu.ac.kr 1754 0 0
cms03.knu.ac.kr cms03.knu.ac.kr 269 231 0
dm.knu.ac.kr dm.knu.ac.kr 0 0 0

TotalRunningJobs TotalIdleJobs TotalHeldJobs

Total 2043 236 3

=== HTCondor에서 GPU 사용 ===

* [[HTCondor에서_GPU_사용하기]]

=== request_memory 관련 ===

* dynamic slot에서는 request_memory 메모리를 어떻게 지정하냐에 따라서 연산노드에서 들어갈 수 있는 작업의 수가 변화합니다.
* 가령 CPU 8core, 메모리 16GB를 가지고 있는 연산노드가 있다고 가정했을 때 request_memory 가 2GB일때는 8개가 8GB일때는 2개의 작업이 할당됩니다.
* 따라서 적절한 request_memory를 설정해야 작업 slot의 낭비를 줄이고 자신과 타인의 작업이 빠르게 실행됩니다. 위의 예의 경우 4배의 차이가 나게 됩니다.
* htcondor에서 request_memory의 자동 수정
** 작업 실행후 1시간 뒤를 기준으로 request_memory 가 작업의 실사용메모리보다 2GB이상 많이 설정되어 있는 경우 자동으로 해당 작업은 hold 되고 request_memory가 수정후 재실행됩니다.
** request_memory 보다 실사용하는 메모리가 많아 hold 된 작업은 htcondor가 request_memory를 자동으로 증가시킨 후 재실행됩니다.

=== x509 proxy 사용 ===

htcondor 에서 그리드 인증이 필요한 경우

* X509_USER_PROXY를 설정하여 proxy 파일의 위치를 다음과 같이 연산노드에서 접근 가능한 위치로 변경해야합니다.
export X509_USER_PROXY=/u/user/(userid)/proxy.cert

* voms-proxy-info 명령을 이용해서 proxy가 올바른 위치에 생성되었는지 반드시 확인하세요.

* 자세한 내용은 다음 링크를 참고하시기 바랍니다.
https://batchdocs.web.cern.ch/tutorial/exercise2e_proxy.html

=== 작업별 최대 작업시간 ===

{| style="background:#cccc99;color:#black;white:80%;" border="1" cellpadding="5" cellspacing="0"
! 작업 구분 !! 작업 특성 !! 최대 작업시간 !! 최대 실행 작업수 !! 비고
|- style="background:white; color:black"
! CPU Jobs
| Default
| 80시간
| 제한 없음
| -
|- style="background:white; color:black"
! ``
| Short
| 30분
| 100
| 테스트 작업 (+JobType="short")
|- style="background:white; color:black"
! ``
| Long
| 7일
| 200
| 장기간 수행 작업 (+JobType="long")
|- style="background:white; color:black"
! ``
| Heavy
| 80시간
| 500
| Heavy I/O 작업 (+JobType="heavy")
|- style="background:white; color:black"
! GPU Jobs
| Default
| 7일
| 제한 없음
| -
|- style="background:white; color:black"
! ``
| Short
| 30분
| 5
| 테스트 작업 (+JobType="short")
|- style="background:white; color:black"
! ``
| Long
| 14일
| 5
| 장기간 작업 (+JobType="long")
|}

* 최대 작업시간은 연산노드에서 작업이 실행되는 최대 시간입니다. 최대 작업시간을 초과하면 작업이 강제로 중지됩니다.
* 자원의 효율적 사용을 위해서 가급적 작업을 나누어 제출하는 것을 권장합니다.
* 최대 작업시간과 최대 작업수와 관련하여 문의사항이 있으면 관리자에게 메일주시기 바랍니다.

=== 주의사항 ===

* 작업이 실행 중에 죽는 경우

작업 제출시 명시한 메모리보다 작업이 더 많은 메모리를 사용할 경우 메모리 부족으로 작업이 죽는 경우가 발생할 수 있습니다. 
다음과 같이 requset_memory 옵션으로 요구 메모리를 지정해주시기 바랍니다. 특히 많은 메모리를 사용하는 작업이라면 반드시 지정해 주어야합니다.
request_memory = 4 GB

* submit 한 작업도 속성을 다음과 같이 변경할 수 있습니다.

$ condor_hold {job_id}
$ condor_qedit {job_id} RequestMemory 4096
$ condor_release {job_id}

* 최근에는 작업의 메모리 사용량은 자동으로 관리되고 있습니다. 메모리 초과 사용 혹은 과다 사용시 시스템에서 중지 후 다시 제출됩니다.

=== 참고 자료 ===

* [https://research.cs.wisc.edu/htcondor/manual/quickstart.html HTCondor Quick Start Guide] 위의 예제를 작성할때 참고한 자료로 처음에 시작하는 사용자가 참고하기 좋습니다.
* [https://indico.cern.ch/event/611296/contributions/2604376/attachments/1471164/2276521/TannenbaumT_UserTutorial.pdf AN INTRODUCTION TO USING HTCONDOR(Todd Tannenbaum)] HTCondor의 동작에 대한 기본적인 이해와 다양한 기능들을 살펴보기 좋은 자료입니다.
* [https://indico.cern.ch/event/733513/contributions/3118598/attachments/1711374/2759120/EUCW18-DAGMan.pdf AN INTRODUCTION TO WORKFLOWS WITH DAGMAN] DAGMAN 사용방법을 학습하기 좋은 자료입니다.

HTCondor

2025-05-13T02:19:56Z

Hanbi: /* 최대 작업시간 */

== HTCondor Batch System 사용법 ==

=== Tier-3 HTCondor UI 접속하기 ===
다음과 같이 터미널을 열어서 원격로그인(SSH)으로 접속합니다.
ssh -X username@cms.knu.ac.kr

=== Job submit ===
Job submit을 위해서는 다음과 같이 "condor_submit" 명령어를 사용합니다.

* sleep.sh - 테스트 코드

#!/bin/bash

TIMETOWAIT="10"
echo "sleeping for $TIMETOWAIT seconds"
/bin/sleep $TIMETOWAIT

* sleep.sub - 작업 명세 파일

executable = sleep.sh
log = sleep.log
output = outfile.txt
error = errors.txt
should_transfer_files = Yes
when_to_transfer_output = ON_EXIT
queue

* job submit

condor_submit sleep.sub

=== Job 상태 확인 ===

====condor_q ====
작업의 상태 확인을 위해서는 "condor_q"명령을 사용합니다. 
전체 작업현황을 확인하려면 다음과 같이 실행하면 됩니다.

$ condor_q
-- Schedd: cms02.knu.ac.kr : <155.230.23.72:9618?... @ 07/30/20 16:49:47
OWNER BATCH_NAME SUBMITTED DONE RUN IDLE TOTAL JOB_IDS
user001 ID: 51 7/30 16:47 _ 100 _ 100 51.0-99

Total for query: 100 jobs; 0 completed, 0 removed, 0 idle, 100 running, 0 held, 0 suspended
Total for hanbi: 100 jobs; 0 completed, 0 removed, 0 idle, 100 running, 0 held, 0 suspended
Total for all users: 100 jobs; 0 completed, 0 removed, 0 idle, 100 running, 0 held, 0 suspended

작업이 실행되지 않는다면 다음 명령으로 원인을 확인할 수 있습니다.
$ condor_q -analyze 51.0

$ condor_q -better-analyze 51.0

==== condor_wait ====
condor_wait 는 사용자의 로그 파일을 모니터링하고, 작업의 진행 상태에 대한 정보를 추출합니다. 이 명령어는 특히 작업이 완료될 때까지 대기하며, 로그 파일을 통해 작업의 상태 변경을 추적할 수 있습니다.
$ condor_wait -status job_121945.log
121945.0.0 submitted
...
121945.1.0 executing on host <155.230.21.74:9618?addrs=155.230.21.74-9618+[2407-c000-c024-0-e2cb-4eff-fe53ced7]-9618&alias=cluster27
4.knu.ac.kr&noUDP&sock=startd_2946_4a18>
...
121945.1.0 completed
...

====condor_tail ====
condor_tail은 HTCondor 시스템에서 실행 중인 작업의 표준 출력(standard output)과 표준 오류(standard error)를 실시간으로 확인할 수 있습니다. 
-f 옵션은 tail -f 와 동일한 기능을 제공합니다.
-stderr 옵션은 작업의 표준 오류 출력을 보여줍니다.
$ condor_tail -f 121946.0
Thinking really hard for 180 seconds...
We calculated: 200

====condor_ssh_to_job ====
condor_ssh_to_job을 사용하면 사용자가 실행 중인 작업의 노드로 SSH(보안 셸) 접속을 할 수 있으며, 작업 디렉토리에 직접 접근하여 현재 작업이 어떻게 진행되고 있는지 확인할 수 있습니다.
$ condor_ssh_to_job 121946.0
Welcome to slot1_1@cluster242.knu.ac.kr!
Your condor job is running with pid(s) 21165.
$ ls -al
total 44
drwx------ 5 user001 cms 187 Mar 11 14:31 .
drwxr-xr-x. 10 condor root 141 Mar 11 14:02 ..
-rwx------ 1 user001 cms 48 Mar 11 14:02 .chirp.config
drwxr-xr-x 2 user001 cms 128 Mar 11 14:03 .condor_ssh_to_job_1
-rw-r--r-- 1 user001 cms 0 Mar 11 14:02 _condor_stderr
-rw-r--r-- 1 user001 cms 59 Mar 11 14:05 _condor_stdout
-rw-r--r-- 1 condor condor 4165 Mar 11 14:02 .job.ad
-rw-r--r-- 1 condor condor 6111 Mar 11 14:02 .machine.ad
-rwxr-xr-x 1 user001 cms 8512 Mar 11 14:02 test
drwx------ 2 user001 cms 6 Mar 11 14:02 tmp
-rw-r--r-- 1 user001 cms 6157 Mar 11 14:31 .update.ad
drwx------ 3 user001 cms 17 Mar 11 14:02 var

====condor_history ====
종료된 작업을 조회하려면 condor_history 명령을 사용합니다.
$ condor_history -const 'Owner == "user001" && JobStatus ==4' -limit 5
ID OWNER SUBMITTED RUN_TIME ST COMPLETED CMD
121946.9 user001 3/11 14:02 0+00:03:01 C 3/11 14:06 /u/user/user001/condor/test 180 100
121946.8 user001 3/11 14:02 0+00:03:01 C 3/11 14:05 /u/user/user001/condor/test 180 100
121946.6 user001 3/11 14:02 0+00:03:01 C 3/11 14:05 /u/user/user001/condor/test 180 100
121946.7 user001 3/11 14:02 0+00:03:01 C 3/11 14:05 /u/user/user001/condor/test 180 100
121946.5 user001 3/11 14:02 0+00:03:01 C 3/11 14:05 /u/user/user001/condor/test 180 100

특정 작업을 조회하려면 -l 옵션을 사용합니다.
$ condor_history -l 121946.9

=== Job 삭제 ===
submit 한 작업을 중간에 취소하기 위해서는 "condor_rm" 명령을 사용합니다.
condor_rm <JOBID>

모든 내 작업을 삭제하려면 다음 명령을 사용합니다.

condor_rm <UserID>

=== 작업 명세 파일 예제 ===

* 단독 실행

$ science.exe infile-A.txt infile-B.txt outfile.txt

* science1.sub - 1개 작업 실행

# science1.sub -- run one instance of science.exe
executable = science.exe
arguments = "infile-A.txt infile-B.txt outfile.txt"
transfer_input_files = infile-A.txt,infile-B.txt
should_transfer_files = IF_NEEDED
when_to_transfer_output = ON_EXIT
log = science1.log
queue

* science2.sub - 40개 작업 실행, Process 번호로 input, output 파일 구분

# science2.sub -- run 40 instances of science.exe
executable = science.exe
arguments = "infile-$(Process)A.txt infile-$(Process)B.txt outfile$(Process).txt"
transfer_input_files = infile-$(Process)A.txt,infile-$(Process)B.txt
should_transfer_files = IF_NEEDED
when_to_transfer_output = ON_EXIT
log = science2.log
queue 40

* science3.sub - 100개 실행 예제. Process 번호로 작업 디렉토리 구분

# science3.sub -- run 100 instances of science.exe, with
# unique directories named by the $(Process) macro
executable = science.exe
arguments = "infile-A.txt infile-B.txt outfile.txt"
should_transfer_files = IF_NEEDED
when_to_transfer_output = ON_EXIT
initialdir = run$(Process)
transfer_input_files = infile-A.txt,infile-B.txt
log = science3.log
queue 100

* geant4 실행 예제

$ cat run_geant4.sh
#!/bin/bash

source /cvmfs/sft.cern.ch/lcg/contrib/gcc/8.3.0/x86_64-centos7/setup.sh
source /cvmfs/geant4.cern.ch/geant4/10.6/x86_64-centos7-gcc8-optdeb/CMake-setup.sh
./$*

$ cat geant4.sub
Universe = vanilla
Log = geant4_$(ClusterId).log
Output = geant4_$(ClusterId)_$(ProcId).out
Error = geant4_$(ClusterId)_$(ProcId).err
Should_Transfer_Files = Yes
When_To_Transfer_Output = ON_EXIT

#Executable = <wrapper_script>.sh
Executable = run_geant4.sh
Transfer_Executable = True
#Arguments = <Geant4 executable> <input file(s)>
Arguments = exampleB1 exampleB1.in
#Transfer_Input_Files = <Geant4 executable>,<input file(s)>
Transfer_Input_Files = exampleB1, exampleB1.in

Queue

[[SFT#Geant4_10.6_.26_gcc83_.26_centos7| 위의 예제를 위한 geant4 설치 및 테스트는 여기를 클릭하세요.]]

=== Submitting Multiple Jobs with HTCondor ===

복수의 input 파일을 이용하여 동시에 다수의 작업을 처리하고 싶다면
[https://indico.cern.ch/event/611296/contributions/2604376/attachments/1471164/2276521/TannenbaumT_UserTutorial.pdf AN INTRODUCTION TO USING HTCONDOR(Todd Tannenbaum)] 에서 52p에서부터 72p의 내용을 참고하시기 바랍니다

=== Apptainer(Singularity)를 이용하여 코드 실행 ===

==== el6(Scientific Linux 6) 코드 실행 ====
submit description file에 아래 내용을 추가합니다.

+ContainerOS = "SL6"

혹은 선호하는 이미지가 있다면 아래와 같이 기입합니다.

+SingularityImage = "/cvmfs/singularity.opensciencegrid.org/cmssw/cms:rhel6-m202001"

==== el7(CentOS Linux 7) 코드 실행 ====
submit description file에 아래 내용을 추가합니다.

Universe = vanilla
...
+SingularityImage = "/cvmfs/singularity.opensciencegrid.org/opensciencegrid/osgvo-el7:latest"
...

==== el8(Rocky Linux 8) 코드 실행 ====
submit description file에 아래 내용을 추가합니다.

Universe = vanilla
...
+SingularityImage = "/cvmfs/singularity.opensciencegrid.org/opensciencegrid/osgvo-el8:latest"
...

==== el9(Rocky Linux 9) 코드 실행 ====
submit description file에 아래 내용을 추가합니다.

Universe = vanilla
...
+SingularityImage = "/cvmfs/singularity.opensciencegrid.org/opensciencegrid/osgvo-el9:latest"
...

=== create-batch 사용 ===

create-batch를 경북대 부분을 condor로 변경하여 create-batch2라는 이름으로 저장해두었습니다. condor에서는 --queue cms 옵션은 필요하지 않습니다. 
torque system을 당분간 운영하는 기간동안 임시로 이렇게 사용하고 condor로 완전히 전환이 되면 create-batch에 수정사항을 반영요청하겠습니다.

* [[Create-batch|create-batch 사용법으로 가기]]

=== 전체 작업 현황 살펴보기 ===

$ condor_status -schedd
Name Machine RunningJobs IdleJobs HeldJobs

ce01.knu.ac.kr ce01.knu.ac.kr 20 5 0
cms.knu.ac.kr cms.knu.ac.kr 0 0 0
cms01.knu.ac.kr cms01.knu.ac.kr 0 0 3
cms02.knu.ac.kr cms02.knu.ac.kr 1754 0 0
cms03.knu.ac.kr cms03.knu.ac.kr 269 231 0
dm.knu.ac.kr dm.knu.ac.kr 0 0 0

TotalRunningJobs TotalIdleJobs TotalHeldJobs

Total 2043 236 3

=== HTCondor에서 GPU 사용 ===

* [[HTCondor에서_GPU_사용하기]]

=== request_memory 관련 ===

* dynamic slot에서는 request_memory 메모리를 어떻게 지정하냐에 따라서 연산노드에서 들어갈 수 있는 작업의 수가 변화합니다.
* 가령 CPU 8core, 메모리 16GB를 가지고 있는 연산노드가 있다고 가정했을 때 request_memory 가 2GB일때는 8개가 8GB일때는 2개의 작업이 할당됩니다.
* 따라서 적절한 request_memory를 설정해야 작업 slot의 낭비를 줄이고 자신과 타인의 작업이 빠르게 실행됩니다. 위의 예의 경우 4배의 차이가 나게 됩니다.
* htcondor에서 request_memory의 자동 수정
** 작업 실행후 1시간 뒤를 기준으로 request_memory 가 작업의 실사용메모리보다 2GB이상 많이 설정되어 있는 경우 자동으로 해당 작업은 hold 되고 request_memory가 수정후 재실행됩니다.
** request_memory 보다 실사용하는 메모리가 많아 hold 된 작업은 htcondor가 request_memory를 자동으로 증가시킨 후 재실행됩니다.

=== x509 proxy 사용 ===

htcondor 에서 그리드 인증이 필요한 경우

* X509_USER_PROXY를 설정하여 proxy 파일의 위치를 다음과 같이 연산노드에서 접근 가능한 위치로 변경해야합니다.
export X509_USER_PROXY=/u/user/(userid)/proxy.cert

* voms-proxy-info 명령을 이용해서 proxy가 올바른 위치에 생성되었는지 반드시 확인하세요.

* 자세한 내용은 다음 링크를 참고하시기 바랍니다.
https://batchdocs.web.cern.ch/tutorial/exercise2e_proxy.html

=== 최대 작업시간 ===

{| style="background:#cccc99;color:#black;white:80%;" border="1" cellpadding="5" cellspacing="0"
! 작업 구분 !! 작업 특성 !! 최대 작업시간 !! 최대 실행 작업수 !! 비고
|- style="background:white; color:black"
! CPU Jobs
| Default
| 80시간
| 제한 없음
| -
|- style="background:white; color:black"
! ``
| Short
| 30분
| 100
| 테스트 작업 (+JobType="short")
|- style="background:white; color:black"
! ``
| Long
| 7일
| 200
| 장기간 수행 작업 (+JobType="long")
|- style="background:white; color:black"
! ``
| Heavy
| 80시간
| 500
| Heavy I/O 작업 (+JobType="heavy")
|- style="background:white; color:black"
! GPU Jobs
| Default
| 7일
| 제한 없음
| -
|- style="background:white; color:black"
! ``
| Short
| 30분
| 5
| 테스트 작업 (+JobType="short")
|- style="background:white; color:black"
! ``
| Long
| 14일
| 5
| 장기간 작업 (+JobType="long")
|}

* 최대 작업시간은 연산노드에서 작업이 실행되는 최대 시간입니다. 최대 작업시간을 초과하면 작업이 강제로 중지됩니다.
* 자원의 효율적 사용을 위해서 가급적 작업을 나누어 제출하는 것을 권장합니다.
* 최대 작업시간과 최대 작업수와 관련하여 문의사항이 있으면 관리자에게 메일주시기 바랍니다.

=== 주의사항 ===

* 작업이 실행 중에 죽는 경우

작업 제출시 명시한 메모리보다 작업이 더 많은 메모리를 사용할 경우 메모리 부족으로 작업이 죽는 경우가 발생할 수 있습니다. 
다음과 같이 requset_memory 옵션으로 요구 메모리를 지정해주시기 바랍니다. 특히 많은 메모리를 사용하는 작업이라면 반드시 지정해 주어야합니다.
request_memory = 4 GB

* submit 한 작업도 속성을 다음과 같이 변경할 수 있습니다.

$ condor_hold {job_id}
$ condor_qedit {job_id} RequestMemory 4096
$ condor_release {job_id}

* 최근에는 작업의 메모리 사용량은 자동으로 관리되고 있습니다. 메모리 초과 사용 혹은 과다 사용시 시스템에서 중지 후 다시 제출됩니다.

=== 참고 자료 ===

* [https://research.cs.wisc.edu/htcondor/manual/quickstart.html HTCondor Quick Start Guide] 위의 예제를 작성할때 참고한 자료로 처음에 시작하는 사용자가 참고하기 좋습니다.
* [https://indico.cern.ch/event/611296/contributions/2604376/attachments/1471164/2276521/TannenbaumT_UserTutorial.pdf AN INTRODUCTION TO USING HTCONDOR(Todd Tannenbaum)] HTCondor의 동작에 대한 기본적인 이해와 다양한 기능들을 살펴보기 좋은 자료입니다.
* [https://indico.cern.ch/event/733513/contributions/3118598/attachments/1711374/2759120/EUCW18-DAGMan.pdf AN INTRODUCTION TO WORKFLOWS WITH DAGMAN] DAGMAN 사용방법을 학습하기 좋은 자료입니다.

HTCondorQueueInfo

2025-05-13T02:19:45Z

Hanbi: /* HTCondor JobType Information */

== HTCondor JobType Information ==
* 경북대학교 HTCondor Farm 에서는 다음과 같이 JobType을 지원합니다.
* JobType을 이용하여 과거 Torque/PBS 시스템의 Queue처럼 사용할 수 있습니다.

=== JobType 종류 ===
{| style="background:#cccc99;color:#black;white:80%;" border="1" cellpadding="5" cellspacing="0"
! 작업 구분 !! 작업 특성 !! 최대 작업시간 !! 최대 실행 작업수 !! 비고
|- style="background:white; color:black"
! CPU Jobs
| Default
| 80시간
| 제한 없음
| -
|- style="background:white; color:black"
! ``
| Short
| 30분
| 100
| 테스트 작업 (+JobType="short")
|- style="background:white; color:black"
! ``
| Long
| 7일
| 200
| 장기간 수행 작업 (+JobType="long")
|- style="background:white; color:black"
! ``
| Heavy
| 80시간
| 500
| Heavy I/O 작업 (+JobType="heavy")
|- style="background:white; color:black"
! GPU Jobs
| Default
| 7일
| 제한 없음
| -
|- style="background:white; color:black"
! ``
| Short
| 30분
| 5
| 테스트 작업 (+JobType="short")
|- style="background:white; color:black"
! ``
| Long
| 14일
| 5
| 장기간 작업 (+JobType="long")
|}

* 최대 작업시간은 연산노드에서 작업이 실행되는 최대 시간입니다. 최대 작업시간을 초과하면 작업이 강제로 중지됩니다.
* 자원의 효율적 사용을 위해서 가급적 작업을 나누어 제출하는 것을 권장합니다.
* 최대 작업시간이나 최대 작업수와 관련하여 문의사항이 있으면 관리자에게 메일주시기 바랍니다.

==== JobType 설정 방법 ====
submit description file에 아래 내용을 추가합니다.

+JobType = "short"

* JobType 을 지정하지 않으면 default 입니다.

HTCondorQueueInfo

2025-05-13T02:17:29Z

Hanbi: /* JobType 종류 */

== HTCondor JobType Information ==
* 경북대학교 HTCondor Farm 에서는 다음과 같이 JobType을 지원합니다.
* JobType을 이용하여 과거 Torque/PBS 시스템의 Queue처럼 사용할 수 있습니다.

=== JobType 종류 ===
{| style="background:#cccc99;color:#black;white:80%;" border="1" cellpadding="5" cellspacing="0"
! 작업 구분 !! 작업 특성 !! 최대 작업시간 !! 최대 실행 작업수 !! 비고
|- style="background:white; color:black"
! CPU Jobs
| Default
| 80시간
| 제한 없음
| -
|- style="background:white; color:black"
! ``
| Short
| 30분
| 100
| 테스트 작업 (JobType=short)
|- style="background:white; color:black"
! ``
| Long
| 7일
| 200
| 장기간 수행 작업 (JobType=long)
|- style="background:white; color:black"
! ``
| Heavy
| 80시간
| 500
| Heavy I/O 작업 (JobType=heavy)
|- style="background:white; color:black"
! GPU Jobs
| Default
| 7일
| 제한 없음
| -
|- style="background:white; color:black"
! ``
| Short
| 30분
| 5
| 테스트 작업 (JobType=short)
|- style="background:white; color:black"
! ``
| Long
| 14일
| 5
| 장기간 작업 (JobType=long)
|}

* 최대 작업시간은 연산노드에서 작업이 실행되는 최대 시간입니다. 최대 작업시간을 초과하면 작업이 강제로 중지됩니다.
* 자원의 효율적 사용을 위해서 가급적 작업을 나누어 제출하는 것을 권장합니다.
* 최대 작업시간이나 최대 작업수와 관련하여 문의사항이 있으면 관리자에게 메일주시기 바랍니다.

==== JobType 설정 방법 ====
submit description file에 아래 내용을 추가합니다.

+JobType = "short"

* JobType 을 지정하지 않으면 default 입니다.

HTCondorQueueInfo

2025-05-13T02:16:15Z

Hanbi: /* HTCondor JobType Information */

== HTCondor JobType Information ==
* 경북대학교 HTCondor Farm 에서는 다음과 같이 JobType을 지원합니다.
* JobType을 이용하여 과거 Torque/PBS 시스템의 Queue처럼 사용할 수 있습니다.

=== JobType 종류 ===
{| style="background:#cccc99;color:#black;white:80%;" border="1" cellpadding="5" cellspacing="0"
! 작업 구분 !! 작업 특성 !! 최대 작업시간 !! 최대 실행 작업수 !! 비고
|- style="background:white; color:black"
! CPU Jobs
| Default
| 80시간
| 제한 없음
| -
|- style="background:white; color:black"
! ``
| Short
| 30분
| 100
| 테스트 작업 (JobType=short)
|- style="background:white; color:black"
! ``
| Long
| 7일
| 200
| 장기간 수행 작업 (JobType=long)
|- style="background:white; color:black"
! ``
| Heavy
| 80시간
| 500
| Heavy I/O 작업 (JobType=heavy)
|- style="background:white; color:black"
! GPU Jobs
| Default
| 7일
| 제한 없음
| -
|- style="background:white; color:black"
! ``
| Short
| 30분
| 5
| 테스트 작업 (JobType=short)
|- style="background:white; color:black"
! ``
| Long
| 14일
| 5
| 장기간 작업 (JobType=long)
|}

* 최대 작업시간은 연산노드에서 작업이 실행되는 최대 시간입니다. 최대 작업시간을 초과하면 작업이 강제로 중지됩니다.
* 자원의 효율적 사용을 위해서 가급적 작업을 나누어 제출하는 것을 권장합니다.
* 최대 작업시간과 관련하여 문의사항이 있으면 관리자에게 메일주시기 바랍니다.

==== JobType 설정 방법 ====
submit description file에 아래 내용을 추가합니다.

+JobType = "short"

HTCondorQueueInfo

2025-05-13T02:14:18Z

Hanbi: /* HTCondor JobType Information */

== HTCondor JobType Information ==
* 경북대학교 HTCondor Farm 에서는 다음과 같이 JobType을 지원합니다.
* JobType을 이용하여 과거 Torque/PBS 시스템의 Queue처럼 사용할 수 있습니다.

=== JobType 종류 ===
{| style="background:#cccc99;color:#black;white:80%;" border="1" cellpadding="5" cellspacing="0"
! 작업 구분 !! 작업 특성 !! 최대 작업시간 !! 최대 실행 작업수 !! 비고
|- style="background:white; color:black"
! CPU Jobs
| Default
| 80시간
| 제한 없음
| -
|- style="background:white; color:black"
! ``
| Short
| 30분
| 100
| 테스트 작업 (JobType=short)
|- style="background:white; color:black"
! ``
| Long
| 7일
| 200
| 장기간 수행 작업 (JobType=long)
|- style="background:white; color:black"
! ``
| Heavy
| 80시간
| 500
| Heavy I/O 작업 (JobType=heavy)
|- style="background:white; color:black"
! GPU Jobs
| Default
| 7일
| 제한 없음
| -
|- style="background:white; color:black"
! ``
| Short
| 30분
| 5
| 테스트 작업 (JobType=short)
|- style="background:white; color:black"
! ``
| Long
| 14일
| 5
| 장기간 작업 (JobType=long)
|}

* 최대 작업시간은 연산노드에서 작업이 실행되는 최대 시간입니다. 최대 작업시간을 초과하면 작업이 강제로 중지됩니다.
* 자원의 효율적 사용을 위해서 가급적 작업을 나누어 제출하는 것을 권장합니다.
* 최대 작업시간과 관련하여 문의사항이 있으면 관리자에게 메일주시기 바랍니다.

HTCondorQueueInfo

2025-05-13T02:13:26Z

Hanbi: Created page with "== HTCondor JobType Information == 경북대학교 HTCondor Farm 에서는 다음과 같이 JobType을 지원합니다. === JobType 종류 === {| style="background:#cccc99;co..."

== HTCondor JobType Information ==
경북대학교 HTCondor Farm 에서는 다음과 같이 JobType을 지원합니다.

=== JobType 종류 ===
{| style="background:#cccc99;color:#black;white:80%;" border="1" cellpadding="5" cellspacing="0"
! 작업 구분 !! 작업 특성 !! 최대 작업시간 !! 최대 실행 작업수 !! 비고
|- style="background:white; color:black"
! CPU Jobs
| Default
| 80시간
| 제한 없음
| -
|- style="background:white; color:black"
! ``
| Short
| 30분
| 100
| 테스트 작업 (JobType=short)
|- style="background:white; color:black"
! ``
| Long
| 7일
| 200
| 장기간 수행 작업 (JobType=long)
|- style="background:white; color:black"
! ``
| Heavy
| 80시간
| 500
| Heavy I/O 작업 (JobType=heavy)
|- style="background:white; color:black"
! GPU Jobs
| Default
| 7일
| 제한 없음
| -
|- style="background:white; color:black"
! ``
| Short
| 30분
| 5
| 테스트 작업 (JobType=short)
|- style="background:white; color:black"
! ``
| Long
| 14일
| 5
| 장기간 작업 (JobType=long)
|}

* 최대 작업시간은 연산노드에서 작업이 실행되는 최대 시간입니다. 최대 작업시간을 초과하면 작업이 강제로 중지됩니다.
* 자원의 효율적 사용을 위해서 가급적 작업을 나누어 제출하는 것을 권장합니다.
* 최대 작업시간과 관련하여 문의사항이 있으면 관리자에게 메일주시기 바랍니다.

HTCondor

2025-05-12T02:57:16Z

Hanbi: /* 최대 작업시간 */

== HTCondor Batch System 사용법 ==

=== Tier-3 HTCondor UI 접속하기 ===
다음과 같이 터미널을 열어서 원격로그인(SSH)으로 접속합니다.
ssh -X username@cms.knu.ac.kr

=== Job submit ===
Job submit을 위해서는 다음과 같이 "condor_submit" 명령어를 사용합니다.

* sleep.sh - 테스트 코드

#!/bin/bash

TIMETOWAIT="10"
echo "sleeping for $TIMETOWAIT seconds"
/bin/sleep $TIMETOWAIT

* sleep.sub - 작업 명세 파일

executable = sleep.sh
log = sleep.log
output = outfile.txt
error = errors.txt
should_transfer_files = Yes
when_to_transfer_output = ON_EXIT
queue

* job submit

condor_submit sleep.sub

=== Job 상태 확인 ===

====condor_q ====
작업의 상태 확인을 위해서는 "condor_q"명령을 사용합니다. 
전체 작업현황을 확인하려면 다음과 같이 실행하면 됩니다.

$ condor_q
-- Schedd: cms02.knu.ac.kr : <155.230.23.72:9618?... @ 07/30/20 16:49:47
OWNER BATCH_NAME SUBMITTED DONE RUN IDLE TOTAL JOB_IDS
user001 ID: 51 7/30 16:47 _ 100 _ 100 51.0-99

Total for query: 100 jobs; 0 completed, 0 removed, 0 idle, 100 running, 0 held, 0 suspended
Total for hanbi: 100 jobs; 0 completed, 0 removed, 0 idle, 100 running, 0 held, 0 suspended
Total for all users: 100 jobs; 0 completed, 0 removed, 0 idle, 100 running, 0 held, 0 suspended

작업이 실행되지 않는다면 다음 명령으로 원인을 확인할 수 있습니다.
$ condor_q -analyze 51.0

$ condor_q -better-analyze 51.0

==== condor_wait ====
condor_wait 는 사용자의 로그 파일을 모니터링하고, 작업의 진행 상태에 대한 정보를 추출합니다. 이 명령어는 특히 작업이 완료될 때까지 대기하며, 로그 파일을 통해 작업의 상태 변경을 추적할 수 있습니다.
$ condor_wait -status job_121945.log
121945.0.0 submitted
...
121945.1.0 executing on host <155.230.21.74:9618?addrs=155.230.21.74-9618+[2407-c000-c024-0-e2cb-4eff-fe53ced7]-9618&alias=cluster27
4.knu.ac.kr&noUDP&sock=startd_2946_4a18>
...
121945.1.0 completed
...

====condor_tail ====
condor_tail은 HTCondor 시스템에서 실행 중인 작업의 표준 출력(standard output)과 표준 오류(standard error)를 실시간으로 확인할 수 있습니다. 
-f 옵션은 tail -f 와 동일한 기능을 제공합니다.
-stderr 옵션은 작업의 표준 오류 출력을 보여줍니다.
$ condor_tail -f 121946.0
Thinking really hard for 180 seconds...
We calculated: 200

====condor_ssh_to_job ====
condor_ssh_to_job을 사용하면 사용자가 실행 중인 작업의 노드로 SSH(보안 셸) 접속을 할 수 있으며, 작업 디렉토리에 직접 접근하여 현재 작업이 어떻게 진행되고 있는지 확인할 수 있습니다.
$ condor_ssh_to_job 121946.0
Welcome to slot1_1@cluster242.knu.ac.kr!
Your condor job is running with pid(s) 21165.
$ ls -al
total 44
drwx------ 5 user001 cms 187 Mar 11 14:31 .
drwxr-xr-x. 10 condor root 141 Mar 11 14:02 ..
-rwx------ 1 user001 cms 48 Mar 11 14:02 .chirp.config
drwxr-xr-x 2 user001 cms 128 Mar 11 14:03 .condor_ssh_to_job_1
-rw-r--r-- 1 user001 cms 0 Mar 11 14:02 _condor_stderr
-rw-r--r-- 1 user001 cms 59 Mar 11 14:05 _condor_stdout
-rw-r--r-- 1 condor condor 4165 Mar 11 14:02 .job.ad
-rw-r--r-- 1 condor condor 6111 Mar 11 14:02 .machine.ad
-rwxr-xr-x 1 user001 cms 8512 Mar 11 14:02 test
drwx------ 2 user001 cms 6 Mar 11 14:02 tmp
-rw-r--r-- 1 user001 cms 6157 Mar 11 14:31 .update.ad
drwx------ 3 user001 cms 17 Mar 11 14:02 var

====condor_history ====
종료된 작업을 조회하려면 condor_history 명령을 사용합니다.
$ condor_history -const 'Owner == "user001" && JobStatus ==4' -limit 5
ID OWNER SUBMITTED RUN_TIME ST COMPLETED CMD
121946.9 user001 3/11 14:02 0+00:03:01 C 3/11 14:06 /u/user/user001/condor/test 180 100
121946.8 user001 3/11 14:02 0+00:03:01 C 3/11 14:05 /u/user/user001/condor/test 180 100
121946.6 user001 3/11 14:02 0+00:03:01 C 3/11 14:05 /u/user/user001/condor/test 180 100
121946.7 user001 3/11 14:02 0+00:03:01 C 3/11 14:05 /u/user/user001/condor/test 180 100
121946.5 user001 3/11 14:02 0+00:03:01 C 3/11 14:05 /u/user/user001/condor/test 180 100

특정 작업을 조회하려면 -l 옵션을 사용합니다.
$ condor_history -l 121946.9

=== Job 삭제 ===
submit 한 작업을 중간에 취소하기 위해서는 "condor_rm" 명령을 사용합니다.
condor_rm <JOBID>

모든 내 작업을 삭제하려면 다음 명령을 사용합니다.

condor_rm <UserID>

=== 작업 명세 파일 예제 ===

* 단독 실행

$ science.exe infile-A.txt infile-B.txt outfile.txt

* science1.sub - 1개 작업 실행

# science1.sub -- run one instance of science.exe
executable = science.exe
arguments = "infile-A.txt infile-B.txt outfile.txt"
transfer_input_files = infile-A.txt,infile-B.txt
should_transfer_files = IF_NEEDED
when_to_transfer_output = ON_EXIT
log = science1.log
queue

* science2.sub - 40개 작업 실행, Process 번호로 input, output 파일 구분

# science2.sub -- run 40 instances of science.exe
executable = science.exe
arguments = "infile-$(Process)A.txt infile-$(Process)B.txt outfile$(Process).txt"
transfer_input_files = infile-$(Process)A.txt,infile-$(Process)B.txt
should_transfer_files = IF_NEEDED
when_to_transfer_output = ON_EXIT
log = science2.log
queue 40

* science3.sub - 100개 실행 예제. Process 번호로 작업 디렉토리 구분

# science3.sub -- run 100 instances of science.exe, with
# unique directories named by the $(Process) macro
executable = science.exe
arguments = "infile-A.txt infile-B.txt outfile.txt"
should_transfer_files = IF_NEEDED
when_to_transfer_output = ON_EXIT
initialdir = run$(Process)
transfer_input_files = infile-A.txt,infile-B.txt
log = science3.log
queue 100

* geant4 실행 예제

$ cat run_geant4.sh
#!/bin/bash

source /cvmfs/sft.cern.ch/lcg/contrib/gcc/8.3.0/x86_64-centos7/setup.sh
source /cvmfs/geant4.cern.ch/geant4/10.6/x86_64-centos7-gcc8-optdeb/CMake-setup.sh
./$*

$ cat geant4.sub
Universe = vanilla
Log = geant4_$(ClusterId).log
Output = geant4_$(ClusterId)_$(ProcId).out
Error = geant4_$(ClusterId)_$(ProcId).err
Should_Transfer_Files = Yes
When_To_Transfer_Output = ON_EXIT

#Executable = <wrapper_script>.sh
Executable = run_geant4.sh
Transfer_Executable = True
#Arguments = <Geant4 executable> <input file(s)>
Arguments = exampleB1 exampleB1.in
#Transfer_Input_Files = <Geant4 executable>,<input file(s)>
Transfer_Input_Files = exampleB1, exampleB1.in

Queue

[[SFT#Geant4_10.6_.26_gcc83_.26_centos7| 위의 예제를 위한 geant4 설치 및 테스트는 여기를 클릭하세요.]]

=== Submitting Multiple Jobs with HTCondor ===

복수의 input 파일을 이용하여 동시에 다수의 작업을 처리하고 싶다면
[https://indico.cern.ch/event/611296/contributions/2604376/attachments/1471164/2276521/TannenbaumT_UserTutorial.pdf AN INTRODUCTION TO USING HTCONDOR(Todd Tannenbaum)] 에서 52p에서부터 72p의 내용을 참고하시기 바랍니다

=== Apptainer(Singularity)를 이용하여 코드 실행 ===

==== el6(Scientific Linux 6) 코드 실행 ====
submit description file에 아래 내용을 추가합니다.

+ContainerOS = "SL6"

혹은 선호하는 이미지가 있다면 아래와 같이 기입합니다.

+SingularityImage = "/cvmfs/singularity.opensciencegrid.org/cmssw/cms:rhel6-m202001"

==== el7(CentOS Linux 7) 코드 실행 ====
submit description file에 아래 내용을 추가합니다.

Universe = vanilla
...
+SingularityImage = "/cvmfs/singularity.opensciencegrid.org/opensciencegrid/osgvo-el7:latest"
...

==== el8(Rocky Linux 8) 코드 실행 ====
submit description file에 아래 내용을 추가합니다.

Universe = vanilla
...
+SingularityImage = "/cvmfs/singularity.opensciencegrid.org/opensciencegrid/osgvo-el8:latest"
...

==== el9(Rocky Linux 9) 코드 실행 ====
submit description file에 아래 내용을 추가합니다.

Universe = vanilla
...
+SingularityImage = "/cvmfs/singularity.opensciencegrid.org/opensciencegrid/osgvo-el9:latest"
...

=== create-batch 사용 ===

create-batch를 경북대 부분을 condor로 변경하여 create-batch2라는 이름으로 저장해두었습니다. condor에서는 --queue cms 옵션은 필요하지 않습니다. 
torque system을 당분간 운영하는 기간동안 임시로 이렇게 사용하고 condor로 완전히 전환이 되면 create-batch에 수정사항을 반영요청하겠습니다.

* [[Create-batch|create-batch 사용법으로 가기]]

=== 전체 작업 현황 살펴보기 ===

$ condor_status -schedd
Name Machine RunningJobs IdleJobs HeldJobs

ce01.knu.ac.kr ce01.knu.ac.kr 20 5 0
cms.knu.ac.kr cms.knu.ac.kr 0 0 0
cms01.knu.ac.kr cms01.knu.ac.kr 0 0 3
cms02.knu.ac.kr cms02.knu.ac.kr 1754 0 0
cms03.knu.ac.kr cms03.knu.ac.kr 269 231 0
dm.knu.ac.kr dm.knu.ac.kr 0 0 0

TotalRunningJobs TotalIdleJobs TotalHeldJobs

Total 2043 236 3

=== HTCondor에서 GPU 사용 ===

* [[HTCondor에서_GPU_사용하기]]

=== request_memory 관련 ===

* dynamic slot에서는 request_memory 메모리를 어떻게 지정하냐에 따라서 연산노드에서 들어갈 수 있는 작업의 수가 변화합니다.
* 가령 CPU 8core, 메모리 16GB를 가지고 있는 연산노드가 있다고 가정했을 때 request_memory 가 2GB일때는 8개가 8GB일때는 2개의 작업이 할당됩니다.
* 따라서 적절한 request_memory를 설정해야 작업 slot의 낭비를 줄이고 자신과 타인의 작업이 빠르게 실행됩니다. 위의 예의 경우 4배의 차이가 나게 됩니다.
* htcondor에서 request_memory의 자동 수정
** 작업 실행후 1시간 뒤를 기준으로 request_memory 가 작업의 실사용메모리보다 2GB이상 많이 설정되어 있는 경우 자동으로 해당 작업은 hold 되고 request_memory가 수정후 재실행됩니다.
** request_memory 보다 실사용하는 메모리가 많아 hold 된 작업은 htcondor가 request_memory를 자동으로 증가시킨 후 재실행됩니다.

=== x509 proxy 사용 ===

htcondor 에서 그리드 인증이 필요한 경우

* X509_USER_PROXY를 설정하여 proxy 파일의 위치를 다음과 같이 연산노드에서 접근 가능한 위치로 변경해야합니다.
export X509_USER_PROXY=/u/user/(userid)/proxy.cert

* voms-proxy-info 명령을 이용해서 proxy가 올바른 위치에 생성되었는지 반드시 확인하세요.

* 자세한 내용은 다음 링크를 참고하시기 바랍니다.
https://batchdocs.web.cern.ch/tutorial/exercise2e_proxy.html

=== 최대 작업시간 ===

{| style="background:#cccc99;color:#black;white:80%;" border="1" cellpadding="5" cellspacing="0"
! 작업 구분 !! 작업 특성 !! 최대 작업시간 !! 최대 실행 작업수 !! 비고
|- style="background:white; color:black"
! CPU Jobs
| Default
| 80시간
| 제한 없음
| -
|- style="background:white; color:black"
! ``
| Short
| 30분
| 100
| 테스트 작업 (JobType=short)
|- style="background:white; color:black"
! ``
| Long
| 7일
| 200
| 장기간 수행 작업 (JobType=long)
|- style="background:white; color:black"
! ``
| Heavy
| 80시간
| 500
| Heavy I/O 작업 (JobType=heavy)
|- style="background:white; color:black"
! GPU Jobs
| Default
| 7일
| 제한 없음
| -
|- style="background:white; color:black"
! ``
| Short
| 30분
| 5
| 테스트 작업 (JobType=short)
|- style="background:white; color:black"
! ``
| Long
| 14일
| 5
| 장기간 작업 (JobType=long)
|}
* 최대 작업시간은 연산노드에서 작업이 실행되는 최대 시간입니다. 최대 작업시간을 초과하면 작업이 강제로 중지됩니다.
* 자원의 효율적 사용을 위해서 가급적 작업을 나누어 제출하는 것을 권장합니다.
* 최대 작업시간과 관련하여 문의사항이 있으면 관리자에게 메일주시기 바랍니다.

=== 주의사항 ===

* 작업이 실행 중에 죽는 경우

작업 제출시 명시한 메모리보다 작업이 더 많은 메모리를 사용할 경우 메모리 부족으로 작업이 죽는 경우가 발생할 수 있습니다. 
다음과 같이 requset_memory 옵션으로 요구 메모리를 지정해주시기 바랍니다. 특히 많은 메모리를 사용하는 작업이라면 반드시 지정해 주어야합니다.
request_memory = 4 GB

* submit 한 작업도 속성을 다음과 같이 변경할 수 있습니다.

$ condor_hold {job_id}
$ condor_qedit {job_id} RequestMemory 4096
$ condor_release {job_id}

* 최근에는 작업의 메모리 사용량은 자동으로 관리되고 있습니다. 메모리 초과 사용 혹은 과다 사용시 시스템에서 중지 후 다시 제출됩니다.

=== 참고 자료 ===

* [https://research.cs.wisc.edu/htcondor/manual/quickstart.html HTCondor Quick Start Guide] 위의 예제를 작성할때 참고한 자료로 처음에 시작하는 사용자가 참고하기 좋습니다.
* [https://indico.cern.ch/event/611296/contributions/2604376/attachments/1471164/2276521/TannenbaumT_UserTutorial.pdf AN INTRODUCTION TO USING HTCONDOR(Todd Tannenbaum)] HTCondor의 동작에 대한 기본적인 이해와 다양한 기능들을 살펴보기 좋은 자료입니다.
* [https://indico.cern.ch/event/733513/contributions/3118598/attachments/1711374/2759120/EUCW18-DAGMan.pdf AN INTRODUCTION TO WORKFLOWS WITH DAGMAN] DAGMAN 사용방법을 학습하기 좋은 자료입니다.

HTCondor

2025-05-12T02:56:43Z

Hanbi: /* 최대 작업시간 */

== HTCondor Batch System 사용법 ==

=== Tier-3 HTCondor UI 접속하기 ===
다음과 같이 터미널을 열어서 원격로그인(SSH)으로 접속합니다.
ssh -X username@cms.knu.ac.kr

=== Job submit ===
Job submit을 위해서는 다음과 같이 "condor_submit" 명령어를 사용합니다.

* sleep.sh - 테스트 코드

#!/bin/bash

TIMETOWAIT="10"
echo "sleeping for $TIMETOWAIT seconds"
/bin/sleep $TIMETOWAIT

* sleep.sub - 작업 명세 파일

executable = sleep.sh
log = sleep.log
output = outfile.txt
error = errors.txt
should_transfer_files = Yes
when_to_transfer_output = ON_EXIT
queue

* job submit

condor_submit sleep.sub

=== Job 상태 확인 ===

====condor_q ====
작업의 상태 확인을 위해서는 "condor_q"명령을 사용합니다. 
전체 작업현황을 확인하려면 다음과 같이 실행하면 됩니다.

$ condor_q
-- Schedd: cms02.knu.ac.kr : <155.230.23.72:9618?... @ 07/30/20 16:49:47
OWNER BATCH_NAME SUBMITTED DONE RUN IDLE TOTAL JOB_IDS
user001 ID: 51 7/30 16:47 _ 100 _ 100 51.0-99

Total for query: 100 jobs; 0 completed, 0 removed, 0 idle, 100 running, 0 held, 0 suspended
Total for hanbi: 100 jobs; 0 completed, 0 removed, 0 idle, 100 running, 0 held, 0 suspended
Total for all users: 100 jobs; 0 completed, 0 removed, 0 idle, 100 running, 0 held, 0 suspended

작업이 실행되지 않는다면 다음 명령으로 원인을 확인할 수 있습니다.
$ condor_q -analyze 51.0

$ condor_q -better-analyze 51.0

==== condor_wait ====
condor_wait 는 사용자의 로그 파일을 모니터링하고, 작업의 진행 상태에 대한 정보를 추출합니다. 이 명령어는 특히 작업이 완료될 때까지 대기하며, 로그 파일을 통해 작업의 상태 변경을 추적할 수 있습니다.
$ condor_wait -status job_121945.log
121945.0.0 submitted
...
121945.1.0 executing on host <155.230.21.74:9618?addrs=155.230.21.74-9618+[2407-c000-c024-0-e2cb-4eff-fe53ced7]-9618&alias=cluster27
4.knu.ac.kr&noUDP&sock=startd_2946_4a18>
...
121945.1.0 completed
...

====condor_tail ====
condor_tail은 HTCondor 시스템에서 실행 중인 작업의 표준 출력(standard output)과 표준 오류(standard error)를 실시간으로 확인할 수 있습니다. 
-f 옵션은 tail -f 와 동일한 기능을 제공합니다.
-stderr 옵션은 작업의 표준 오류 출력을 보여줍니다.
$ condor_tail -f 121946.0
Thinking really hard for 180 seconds...
We calculated: 200

====condor_ssh_to_job ====
condor_ssh_to_job을 사용하면 사용자가 실행 중인 작업의 노드로 SSH(보안 셸) 접속을 할 수 있으며, 작업 디렉토리에 직접 접근하여 현재 작업이 어떻게 진행되고 있는지 확인할 수 있습니다.
$ condor_ssh_to_job 121946.0
Welcome to slot1_1@cluster242.knu.ac.kr!
Your condor job is running with pid(s) 21165.
$ ls -al
total 44
drwx------ 5 user001 cms 187 Mar 11 14:31 .
drwxr-xr-x. 10 condor root 141 Mar 11 14:02 ..
-rwx------ 1 user001 cms 48 Mar 11 14:02 .chirp.config
drwxr-xr-x 2 user001 cms 128 Mar 11 14:03 .condor_ssh_to_job_1
-rw-r--r-- 1 user001 cms 0 Mar 11 14:02 _condor_stderr
-rw-r--r-- 1 user001 cms 59 Mar 11 14:05 _condor_stdout
-rw-r--r-- 1 condor condor 4165 Mar 11 14:02 .job.ad
-rw-r--r-- 1 condor condor 6111 Mar 11 14:02 .machine.ad
-rwxr-xr-x 1 user001 cms 8512 Mar 11 14:02 test
drwx------ 2 user001 cms 6 Mar 11 14:02 tmp
-rw-r--r-- 1 user001 cms 6157 Mar 11 14:31 .update.ad
drwx------ 3 user001 cms 17 Mar 11 14:02 var

====condor_history ====
종료된 작업을 조회하려면 condor_history 명령을 사용합니다.
$ condor_history -const 'Owner == "user001" && JobStatus ==4' -limit 5
ID OWNER SUBMITTED RUN_TIME ST COMPLETED CMD
121946.9 user001 3/11 14:02 0+00:03:01 C 3/11 14:06 /u/user/user001/condor/test 180 100
121946.8 user001 3/11 14:02 0+00:03:01 C 3/11 14:05 /u/user/user001/condor/test 180 100
121946.6 user001 3/11 14:02 0+00:03:01 C 3/11 14:05 /u/user/user001/condor/test 180 100
121946.7 user001 3/11 14:02 0+00:03:01 C 3/11 14:05 /u/user/user001/condor/test 180 100
121946.5 user001 3/11 14:02 0+00:03:01 C 3/11 14:05 /u/user/user001/condor/test 180 100

특정 작업을 조회하려면 -l 옵션을 사용합니다.
$ condor_history -l 121946.9

=== Job 삭제 ===
submit 한 작업을 중간에 취소하기 위해서는 "condor_rm" 명령을 사용합니다.
condor_rm <JOBID>

모든 내 작업을 삭제하려면 다음 명령을 사용합니다.

condor_rm <UserID>

=== 작업 명세 파일 예제 ===

* 단독 실행

$ science.exe infile-A.txt infile-B.txt outfile.txt

* science1.sub - 1개 작업 실행

# science1.sub -- run one instance of science.exe
executable = science.exe
arguments = "infile-A.txt infile-B.txt outfile.txt"
transfer_input_files = infile-A.txt,infile-B.txt
should_transfer_files = IF_NEEDED
when_to_transfer_output = ON_EXIT
log = science1.log
queue

* science2.sub - 40개 작업 실행, Process 번호로 input, output 파일 구분

# science2.sub -- run 40 instances of science.exe
executable = science.exe
arguments = "infile-$(Process)A.txt infile-$(Process)B.txt outfile$(Process).txt"
transfer_input_files = infile-$(Process)A.txt,infile-$(Process)B.txt
should_transfer_files = IF_NEEDED
when_to_transfer_output = ON_EXIT
log = science2.log
queue 40

* science3.sub - 100개 실행 예제. Process 번호로 작업 디렉토리 구분

# science3.sub -- run 100 instances of science.exe, with
# unique directories named by the $(Process) macro
executable = science.exe
arguments = "infile-A.txt infile-B.txt outfile.txt"
should_transfer_files = IF_NEEDED
when_to_transfer_output = ON_EXIT
initialdir = run$(Process)
transfer_input_files = infile-A.txt,infile-B.txt
log = science3.log
queue 100

* geant4 실행 예제

$ cat run_geant4.sh
#!/bin/bash

source /cvmfs/sft.cern.ch/lcg/contrib/gcc/8.3.0/x86_64-centos7/setup.sh
source /cvmfs/geant4.cern.ch/geant4/10.6/x86_64-centos7-gcc8-optdeb/CMake-setup.sh
./$*

$ cat geant4.sub
Universe = vanilla
Log = geant4_$(ClusterId).log
Output = geant4_$(ClusterId)_$(ProcId).out
Error = geant4_$(ClusterId)_$(ProcId).err
Should_Transfer_Files = Yes
When_To_Transfer_Output = ON_EXIT

#Executable = <wrapper_script>.sh
Executable = run_geant4.sh
Transfer_Executable = True
#Arguments = <Geant4 executable> <input file(s)>
Arguments = exampleB1 exampleB1.in
#Transfer_Input_Files = <Geant4 executable>,<input file(s)>
Transfer_Input_Files = exampleB1, exampleB1.in

Queue

[[SFT#Geant4_10.6_.26_gcc83_.26_centos7| 위의 예제를 위한 geant4 설치 및 테스트는 여기를 클릭하세요.]]

=== Submitting Multiple Jobs with HTCondor ===

복수의 input 파일을 이용하여 동시에 다수의 작업을 처리하고 싶다면
[https://indico.cern.ch/event/611296/contributions/2604376/attachments/1471164/2276521/TannenbaumT_UserTutorial.pdf AN INTRODUCTION TO USING HTCONDOR(Todd Tannenbaum)] 에서 52p에서부터 72p의 내용을 참고하시기 바랍니다

=== Apptainer(Singularity)를 이용하여 코드 실행 ===

==== el6(Scientific Linux 6) 코드 실행 ====
submit description file에 아래 내용을 추가합니다.

+ContainerOS = "SL6"

혹은 선호하는 이미지가 있다면 아래와 같이 기입합니다.

+SingularityImage = "/cvmfs/singularity.opensciencegrid.org/cmssw/cms:rhel6-m202001"

==== el7(CentOS Linux 7) 코드 실행 ====
submit description file에 아래 내용을 추가합니다.

Universe = vanilla
...
+SingularityImage = "/cvmfs/singularity.opensciencegrid.org/opensciencegrid/osgvo-el7:latest"
...

==== el8(Rocky Linux 8) 코드 실행 ====
submit description file에 아래 내용을 추가합니다.

Universe = vanilla
...
+SingularityImage = "/cvmfs/singularity.opensciencegrid.org/opensciencegrid/osgvo-el8:latest"
...

==== el9(Rocky Linux 9) 코드 실행 ====
submit description file에 아래 내용을 추가합니다.

Universe = vanilla
...
+SingularityImage = "/cvmfs/singularity.opensciencegrid.org/opensciencegrid/osgvo-el9:latest"
...

=== create-batch 사용 ===

create-batch를 경북대 부분을 condor로 변경하여 create-batch2라는 이름으로 저장해두었습니다. condor에서는 --queue cms 옵션은 필요하지 않습니다. 
torque system을 당분간 운영하는 기간동안 임시로 이렇게 사용하고 condor로 완전히 전환이 되면 create-batch에 수정사항을 반영요청하겠습니다.

* [[Create-batch|create-batch 사용법으로 가기]]

=== 전체 작업 현황 살펴보기 ===

$ condor_status -schedd
Name Machine RunningJobs IdleJobs HeldJobs

ce01.knu.ac.kr ce01.knu.ac.kr 20 5 0
cms.knu.ac.kr cms.knu.ac.kr 0 0 0
cms01.knu.ac.kr cms01.knu.ac.kr 0 0 3
cms02.knu.ac.kr cms02.knu.ac.kr 1754 0 0
cms03.knu.ac.kr cms03.knu.ac.kr 269 231 0
dm.knu.ac.kr dm.knu.ac.kr 0 0 0

TotalRunningJobs TotalIdleJobs TotalHeldJobs

Total 2043 236 3

=== HTCondor에서 GPU 사용 ===

* [[HTCondor에서_GPU_사용하기]]

=== request_memory 관련 ===

* dynamic slot에서는 request_memory 메모리를 어떻게 지정하냐에 따라서 연산노드에서 들어갈 수 있는 작업의 수가 변화합니다.
* 가령 CPU 8core, 메모리 16GB를 가지고 있는 연산노드가 있다고 가정했을 때 request_memory 가 2GB일때는 8개가 8GB일때는 2개의 작업이 할당됩니다.
* 따라서 적절한 request_memory를 설정해야 작업 slot의 낭비를 줄이고 자신과 타인의 작업이 빠르게 실행됩니다. 위의 예의 경우 4배의 차이가 나게 됩니다.
* htcondor에서 request_memory의 자동 수정
** 작업 실행후 1시간 뒤를 기준으로 request_memory 가 작업의 실사용메모리보다 2GB이상 많이 설정되어 있는 경우 자동으로 해당 작업은 hold 되고 request_memory가 수정후 재실행됩니다.
** request_memory 보다 실사용하는 메모리가 많아 hold 된 작업은 htcondor가 request_memory를 자동으로 증가시킨 후 재실행됩니다.

=== x509 proxy 사용 ===

htcondor 에서 그리드 인증이 필요한 경우

* X509_USER_PROXY를 설정하여 proxy 파일의 위치를 다음과 같이 연산노드에서 접근 가능한 위치로 변경해야합니다.
export X509_USER_PROXY=/u/user/(userid)/proxy.cert

* voms-proxy-info 명령을 이용해서 proxy가 올바른 위치에 생성되었는지 반드시 확인하세요.

* 자세한 내용은 다음 링크를 참고하시기 바랍니다.
https://batchdocs.web.cern.ch/tutorial/exercise2e_proxy.html

=== 최대 작업시간 ===

{| style="background:#cccc99;color:#black;white:80%;" border="1" cellpadding="5" cellspacing="0"
! 작업 구분 !! 작업 특성 !! 최대 작업시간 !! 최대 실행 작업수 !! 비고
|- style="background:white; color:black"
! CPU Jobs
| Default
| 80시간
| 제한 없음
| -
|- style="background:white; color:black"
! ``
| Short
| 30분
| 100
| 테스트 작업 (JobType=short)
|- style="background:white; color:black"
! ``
| Long
| 7일
| 200
| 장기간 수행 작업 (JobType=long)
|- style="background:white; color:black"
! ``
| Heavy
| 80시간
| 500
| Heavy I/O 작업 (JobType=heavy)
|- style="background:white; color:black"
! GPU Jobs
| Default
| 7일
| 제한 없음
| -
|- style="background:white; color:black"
! ``
| Short
| 30분
| 5
| 테스트 작업 (JobType=shrot)
|- style="background:white; color:black"
! ``
| Long
| 14일
| 5
| 장기간 작업 (JobType=long)
|}
* 최대 작업시간은 연산노드에서 작업이 실행되는 최대 시간입니다. 최대 작업시간을 초과하면 작업이 강제로 중지됩니다.
* 자원의 효율적 사용을 위해서 가급적 작업을 나누어 제출하는 것을 권장합니다.
* 최대 작업시간과 관련하여 문의사항이 있으면 관리자에게 메일주시기 바랍니다.

=== 주의사항 ===

* 작업이 실행 중에 죽는 경우

작업 제출시 명시한 메모리보다 작업이 더 많은 메모리를 사용할 경우 메모리 부족으로 작업이 죽는 경우가 발생할 수 있습니다. 
다음과 같이 requset_memory 옵션으로 요구 메모리를 지정해주시기 바랍니다. 특히 많은 메모리를 사용하는 작업이라면 반드시 지정해 주어야합니다.
request_memory = 4 GB

* submit 한 작업도 속성을 다음과 같이 변경할 수 있습니다.

$ condor_hold {job_id}
$ condor_qedit {job_id} RequestMemory 4096
$ condor_release {job_id}

* 최근에는 작업의 메모리 사용량은 자동으로 관리되고 있습니다. 메모리 초과 사용 혹은 과다 사용시 시스템에서 중지 후 다시 제출됩니다.

=== 참고 자료 ===

* [https://research.cs.wisc.edu/htcondor/manual/quickstart.html HTCondor Quick Start Guide] 위의 예제를 작성할때 참고한 자료로 처음에 시작하는 사용자가 참고하기 좋습니다.
* [https://indico.cern.ch/event/611296/contributions/2604376/attachments/1471164/2276521/TannenbaumT_UserTutorial.pdf AN INTRODUCTION TO USING HTCONDOR(Todd Tannenbaum)] HTCondor의 동작에 대한 기본적인 이해와 다양한 기능들을 살펴보기 좋은 자료입니다.
* [https://indico.cern.ch/event/733513/contributions/3118598/attachments/1711374/2759120/EUCW18-DAGMan.pdf AN INTRODUCTION TO WORKFLOWS WITH DAGMAN] DAGMAN 사용방법을 학습하기 좋은 자료입니다.

HTCondor

2025-05-12T02:56:21Z

Hanbi: /* 최대 작업시간 */

== HTCondor Batch System 사용법 ==

=== Tier-3 HTCondor UI 접속하기 ===
다음과 같이 터미널을 열어서 원격로그인(SSH)으로 접속합니다.
ssh -X username@cms.knu.ac.kr

=== Job submit ===
Job submit을 위해서는 다음과 같이 "condor_submit" 명령어를 사용합니다.

* sleep.sh - 테스트 코드

#!/bin/bash

TIMETOWAIT="10"
echo "sleeping for $TIMETOWAIT seconds"
/bin/sleep $TIMETOWAIT

* sleep.sub - 작업 명세 파일

executable = sleep.sh
log = sleep.log
output = outfile.txt
error = errors.txt
should_transfer_files = Yes
when_to_transfer_output = ON_EXIT
queue

* job submit

condor_submit sleep.sub

=== Job 상태 확인 ===

====condor_q ====
작업의 상태 확인을 위해서는 "condor_q"명령을 사용합니다. 
전체 작업현황을 확인하려면 다음과 같이 실행하면 됩니다.

$ condor_q
-- Schedd: cms02.knu.ac.kr : <155.230.23.72:9618?... @ 07/30/20 16:49:47
OWNER BATCH_NAME SUBMITTED DONE RUN IDLE TOTAL JOB_IDS
user001 ID: 51 7/30 16:47 _ 100 _ 100 51.0-99

Total for query: 100 jobs; 0 completed, 0 removed, 0 idle, 100 running, 0 held, 0 suspended
Total for hanbi: 100 jobs; 0 completed, 0 removed, 0 idle, 100 running, 0 held, 0 suspended
Total for all users: 100 jobs; 0 completed, 0 removed, 0 idle, 100 running, 0 held, 0 suspended

작업이 실행되지 않는다면 다음 명령으로 원인을 확인할 수 있습니다.
$ condor_q -analyze 51.0

$ condor_q -better-analyze 51.0

==== condor_wait ====
condor_wait 는 사용자의 로그 파일을 모니터링하고, 작업의 진행 상태에 대한 정보를 추출합니다. 이 명령어는 특히 작업이 완료될 때까지 대기하며, 로그 파일을 통해 작업의 상태 변경을 추적할 수 있습니다.
$ condor_wait -status job_121945.log
121945.0.0 submitted
...
121945.1.0 executing on host <155.230.21.74:9618?addrs=155.230.21.74-9618+[2407-c000-c024-0-e2cb-4eff-fe53ced7]-9618&alias=cluster27
4.knu.ac.kr&noUDP&sock=startd_2946_4a18>
...
121945.1.0 completed
...

====condor_tail ====
condor_tail은 HTCondor 시스템에서 실행 중인 작업의 표준 출력(standard output)과 표준 오류(standard error)를 실시간으로 확인할 수 있습니다. 
-f 옵션은 tail -f 와 동일한 기능을 제공합니다.
-stderr 옵션은 작업의 표준 오류 출력을 보여줍니다.
$ condor_tail -f 121946.0
Thinking really hard for 180 seconds...
We calculated: 200

====condor_ssh_to_job ====
condor_ssh_to_job을 사용하면 사용자가 실행 중인 작업의 노드로 SSH(보안 셸) 접속을 할 수 있으며, 작업 디렉토리에 직접 접근하여 현재 작업이 어떻게 진행되고 있는지 확인할 수 있습니다.
$ condor_ssh_to_job 121946.0
Welcome to slot1_1@cluster242.knu.ac.kr!
Your condor job is running with pid(s) 21165.
$ ls -al
total 44
drwx------ 5 user001 cms 187 Mar 11 14:31 .
drwxr-xr-x. 10 condor root 141 Mar 11 14:02 ..
-rwx------ 1 user001 cms 48 Mar 11 14:02 .chirp.config
drwxr-xr-x 2 user001 cms 128 Mar 11 14:03 .condor_ssh_to_job_1
-rw-r--r-- 1 user001 cms 0 Mar 11 14:02 _condor_stderr
-rw-r--r-- 1 user001 cms 59 Mar 11 14:05 _condor_stdout
-rw-r--r-- 1 condor condor 4165 Mar 11 14:02 .job.ad
-rw-r--r-- 1 condor condor 6111 Mar 11 14:02 .machine.ad
-rwxr-xr-x 1 user001 cms 8512 Mar 11 14:02 test
drwx------ 2 user001 cms 6 Mar 11 14:02 tmp
-rw-r--r-- 1 user001 cms 6157 Mar 11 14:31 .update.ad
drwx------ 3 user001 cms 17 Mar 11 14:02 var

====condor_history ====
종료된 작업을 조회하려면 condor_history 명령을 사용합니다.
$ condor_history -const 'Owner == "user001" && JobStatus ==4' -limit 5
ID OWNER SUBMITTED RUN_TIME ST COMPLETED CMD
121946.9 user001 3/11 14:02 0+00:03:01 C 3/11 14:06 /u/user/user001/condor/test 180 100
121946.8 user001 3/11 14:02 0+00:03:01 C 3/11 14:05 /u/user/user001/condor/test 180 100
121946.6 user001 3/11 14:02 0+00:03:01 C 3/11 14:05 /u/user/user001/condor/test 180 100
121946.7 user001 3/11 14:02 0+00:03:01 C 3/11 14:05 /u/user/user001/condor/test 180 100
121946.5 user001 3/11 14:02 0+00:03:01 C 3/11 14:05 /u/user/user001/condor/test 180 100

특정 작업을 조회하려면 -l 옵션을 사용합니다.
$ condor_history -l 121946.9

=== Job 삭제 ===
submit 한 작업을 중간에 취소하기 위해서는 "condor_rm" 명령을 사용합니다.
condor_rm <JOBID>

모든 내 작업을 삭제하려면 다음 명령을 사용합니다.

condor_rm <UserID>

=== 작업 명세 파일 예제 ===

* 단독 실행

$ science.exe infile-A.txt infile-B.txt outfile.txt

* science1.sub - 1개 작업 실행

# science1.sub -- run one instance of science.exe
executable = science.exe
arguments = "infile-A.txt infile-B.txt outfile.txt"
transfer_input_files = infile-A.txt,infile-B.txt
should_transfer_files = IF_NEEDED
when_to_transfer_output = ON_EXIT
log = science1.log
queue

* science2.sub - 40개 작업 실행, Process 번호로 input, output 파일 구분

# science2.sub -- run 40 instances of science.exe
executable = science.exe
arguments = "infile-$(Process)A.txt infile-$(Process)B.txt outfile$(Process).txt"
transfer_input_files = infile-$(Process)A.txt,infile-$(Process)B.txt
should_transfer_files = IF_NEEDED
when_to_transfer_output = ON_EXIT
log = science2.log
queue 40

* science3.sub - 100개 실행 예제. Process 번호로 작업 디렉토리 구분

# science3.sub -- run 100 instances of science.exe, with
# unique directories named by the $(Process) macro
executable = science.exe
arguments = "infile-A.txt infile-B.txt outfile.txt"
should_transfer_files = IF_NEEDED
when_to_transfer_output = ON_EXIT
initialdir = run$(Process)
transfer_input_files = infile-A.txt,infile-B.txt
log = science3.log
queue 100

* geant4 실행 예제

$ cat run_geant4.sh
#!/bin/bash

source /cvmfs/sft.cern.ch/lcg/contrib/gcc/8.3.0/x86_64-centos7/setup.sh
source /cvmfs/geant4.cern.ch/geant4/10.6/x86_64-centos7-gcc8-optdeb/CMake-setup.sh
./$*

$ cat geant4.sub
Universe = vanilla
Log = geant4_$(ClusterId).log
Output = geant4_$(ClusterId)_$(ProcId).out
Error = geant4_$(ClusterId)_$(ProcId).err
Should_Transfer_Files = Yes
When_To_Transfer_Output = ON_EXIT

#Executable = <wrapper_script>.sh
Executable = run_geant4.sh
Transfer_Executable = True
#Arguments = <Geant4 executable> <input file(s)>
Arguments = exampleB1 exampleB1.in
#Transfer_Input_Files = <Geant4 executable>,<input file(s)>
Transfer_Input_Files = exampleB1, exampleB1.in

Queue

[[SFT#Geant4_10.6_.26_gcc83_.26_centos7| 위의 예제를 위한 geant4 설치 및 테스트는 여기를 클릭하세요.]]

=== Submitting Multiple Jobs with HTCondor ===

복수의 input 파일을 이용하여 동시에 다수의 작업을 처리하고 싶다면
[https://indico.cern.ch/event/611296/contributions/2604376/attachments/1471164/2276521/TannenbaumT_UserTutorial.pdf AN INTRODUCTION TO USING HTCONDOR(Todd Tannenbaum)] 에서 52p에서부터 72p의 내용을 참고하시기 바랍니다

=== Apptainer(Singularity)를 이용하여 코드 실행 ===

==== el6(Scientific Linux 6) 코드 실행 ====
submit description file에 아래 내용을 추가합니다.

+ContainerOS = "SL6"

혹은 선호하는 이미지가 있다면 아래와 같이 기입합니다.

+SingularityImage = "/cvmfs/singularity.opensciencegrid.org/cmssw/cms:rhel6-m202001"

==== el7(CentOS Linux 7) 코드 실행 ====
submit description file에 아래 내용을 추가합니다.

Universe = vanilla
...
+SingularityImage = "/cvmfs/singularity.opensciencegrid.org/opensciencegrid/osgvo-el7:latest"
...

==== el8(Rocky Linux 8) 코드 실행 ====
submit description file에 아래 내용을 추가합니다.

Universe = vanilla
...
+SingularityImage = "/cvmfs/singularity.opensciencegrid.org/opensciencegrid/osgvo-el8:latest"
...

==== el9(Rocky Linux 9) 코드 실행 ====
submit description file에 아래 내용을 추가합니다.

Universe = vanilla
...
+SingularityImage = "/cvmfs/singularity.opensciencegrid.org/opensciencegrid/osgvo-el9:latest"
...

=== create-batch 사용 ===

create-batch를 경북대 부분을 condor로 변경하여 create-batch2라는 이름으로 저장해두었습니다. condor에서는 --queue cms 옵션은 필요하지 않습니다. 
torque system을 당분간 운영하는 기간동안 임시로 이렇게 사용하고 condor로 완전히 전환이 되면 create-batch에 수정사항을 반영요청하겠습니다.

* [[Create-batch|create-batch 사용법으로 가기]]

=== 전체 작업 현황 살펴보기 ===

$ condor_status -schedd
Name Machine RunningJobs IdleJobs HeldJobs

ce01.knu.ac.kr ce01.knu.ac.kr 20 5 0
cms.knu.ac.kr cms.knu.ac.kr 0 0 0
cms01.knu.ac.kr cms01.knu.ac.kr 0 0 3
cms02.knu.ac.kr cms02.knu.ac.kr 1754 0 0
cms03.knu.ac.kr cms03.knu.ac.kr 269 231 0
dm.knu.ac.kr dm.knu.ac.kr 0 0 0

TotalRunningJobs TotalIdleJobs TotalHeldJobs

Total 2043 236 3

=== HTCondor에서 GPU 사용 ===

* [[HTCondor에서_GPU_사용하기]]

=== request_memory 관련 ===

* dynamic slot에서는 request_memory 메모리를 어떻게 지정하냐에 따라서 연산노드에서 들어갈 수 있는 작업의 수가 변화합니다.
* 가령 CPU 8core, 메모리 16GB를 가지고 있는 연산노드가 있다고 가정했을 때 request_memory 가 2GB일때는 8개가 8GB일때는 2개의 작업이 할당됩니다.
* 따라서 적절한 request_memory를 설정해야 작업 slot의 낭비를 줄이고 자신과 타인의 작업이 빠르게 실행됩니다. 위의 예의 경우 4배의 차이가 나게 됩니다.
* htcondor에서 request_memory의 자동 수정
** 작업 실행후 1시간 뒤를 기준으로 request_memory 가 작업의 실사용메모리보다 2GB이상 많이 설정되어 있는 경우 자동으로 해당 작업은 hold 되고 request_memory가 수정후 재실행됩니다.
** request_memory 보다 실사용하는 메모리가 많아 hold 된 작업은 htcondor가 request_memory를 자동으로 증가시킨 후 재실행됩니다.

=== x509 proxy 사용 ===

htcondor 에서 그리드 인증이 필요한 경우

* X509_USER_PROXY를 설정하여 proxy 파일의 위치를 다음과 같이 연산노드에서 접근 가능한 위치로 변경해야합니다.
export X509_USER_PROXY=/u/user/(userid)/proxy.cert

* voms-proxy-info 명령을 이용해서 proxy가 올바른 위치에 생성되었는지 반드시 확인하세요.

* 자세한 내용은 다음 링크를 참고하시기 바랍니다.
https://batchdocs.web.cern.ch/tutorial/exercise2e_proxy.html

=== 최대 작업시간 ===

{| style="background:#cccc99;color:#black;white:80%;" border="1" cellpadding="5" cellspacing="0"
! 작업 구분 !! 작업 특성 !! 최대 작업시간 !! 최대 실행 작업수 !! 비고
|- style="background:white; color:black"
! CPU Jobs
| Default
| 80시간
| 제한 없음
| -
|- style="background:white; color:black"
! ``
| Short
| 30분
| 100
| 테스트 작업 (JobType=short)
|- style="background:white; color:black"
! ``
| Long
| 7일
| 200
| 장기간 수행 작업 (JobType=long)
|- style="background:white; color:black"
! ``
| Heavy
| 80시간
| 500
| Heavy I/O 작업 (JobType=heavy)
|- style="background:white; color:black"
! GPU Jobs
| Default
| 7일
| 제한 없음
| -
|- style="background:white; color:black"
! ``
| Short
| 30분
| 5
| 테스트 작업 (JobType=shrot)
|- style="background:white; color:black"
! ``
| Long
| 14일
| 5
| 장기간 작업 (JobType=long)
|}

* 최대 작업시간은 연산노드에서 작업이 실행되는 최대 시간입니다. 최대 작업시간을 초과하면 작업이 강제로 중지됩니다.
* 자원의 효율적 사용을 위해서 가급적 작업을 나누어 제출하는 것을 권장합니다.
* 최대 작업시간과 관련하여 문의사항이 있으면 관리자에게 메일주시기 바랍니다.

=== 주의사항 ===

* 작업이 실행 중에 죽는 경우

작업 제출시 명시한 메모리보다 작업이 더 많은 메모리를 사용할 경우 메모리 부족으로 작업이 죽는 경우가 발생할 수 있습니다. 
다음과 같이 requset_memory 옵션으로 요구 메모리를 지정해주시기 바랍니다. 특히 많은 메모리를 사용하는 작업이라면 반드시 지정해 주어야합니다.
request_memory = 4 GB

* submit 한 작업도 속성을 다음과 같이 변경할 수 있습니다.

$ condor_hold {job_id}
$ condor_qedit {job_id} RequestMemory 4096
$ condor_release {job_id}

* 최근에는 작업의 메모리 사용량은 자동으로 관리되고 있습니다. 메모리 초과 사용 혹은 과다 사용시 시스템에서 중지 후 다시 제출됩니다.

=== 참고 자료 ===

* [https://research.cs.wisc.edu/htcondor/manual/quickstart.html HTCondor Quick Start Guide] 위의 예제를 작성할때 참고한 자료로 처음에 시작하는 사용자가 참고하기 좋습니다.
* [https://indico.cern.ch/event/611296/contributions/2604376/attachments/1471164/2276521/TannenbaumT_UserTutorial.pdf AN INTRODUCTION TO USING HTCONDOR(Todd Tannenbaum)] HTCondor의 동작에 대한 기본적인 이해와 다양한 기능들을 살펴보기 좋은 자료입니다.
* [https://indico.cern.ch/event/733513/contributions/3118598/attachments/1711374/2759120/EUCW18-DAGMan.pdf AN INTRODUCTION TO WORKFLOWS WITH DAGMAN] DAGMAN 사용방법을 학습하기 좋은 자료입니다.

HTCondor

2025-05-09T08:37:17Z

Hanbi: /* Tier-3 HTCondor/AlmaLinux 9 UI 접속하기 */

== HTCondor Batch System 사용법 ==

=== Tier-3 HTCondor UI 접속하기 ===
다음과 같이 터미널을 열어서 원격로그인(SSH)으로 접속합니다.
ssh -X username@cms.knu.ac.kr

=== Job submit ===
Job submit을 위해서는 다음과 같이 "condor_submit" 명령어를 사용합니다.

* sleep.sh - 테스트 코드

#!/bin/bash

TIMETOWAIT="10"
echo "sleeping for $TIMETOWAIT seconds"
/bin/sleep $TIMETOWAIT

* sleep.sub - 작업 명세 파일

executable = sleep.sh
log = sleep.log
output = outfile.txt
error = errors.txt
should_transfer_files = Yes
when_to_transfer_output = ON_EXIT
queue

* job submit

condor_submit sleep.sub

=== Job 상태 확인 ===

====condor_q ====
작업의 상태 확인을 위해서는 "condor_q"명령을 사용합니다. 
전체 작업현황을 확인하려면 다음과 같이 실행하면 됩니다.

$ condor_q
-- Schedd: cms02.knu.ac.kr : <155.230.23.72:9618?... @ 07/30/20 16:49:47
OWNER BATCH_NAME SUBMITTED DONE RUN IDLE TOTAL JOB_IDS
user001 ID: 51 7/30 16:47 _ 100 _ 100 51.0-99

Total for query: 100 jobs; 0 completed, 0 removed, 0 idle, 100 running, 0 held, 0 suspended
Total for hanbi: 100 jobs; 0 completed, 0 removed, 0 idle, 100 running, 0 held, 0 suspended
Total for all users: 100 jobs; 0 completed, 0 removed, 0 idle, 100 running, 0 held, 0 suspended

작업이 실행되지 않는다면 다음 명령으로 원인을 확인할 수 있습니다.
$ condor_q -analyze 51.0

$ condor_q -better-analyze 51.0

==== condor_wait ====
condor_wait 는 사용자의 로그 파일을 모니터링하고, 작업의 진행 상태에 대한 정보를 추출합니다. 이 명령어는 특히 작업이 완료될 때까지 대기하며, 로그 파일을 통해 작업의 상태 변경을 추적할 수 있습니다.
$ condor_wait -status job_121945.log
121945.0.0 submitted
...
121945.1.0 executing on host <155.230.21.74:9618?addrs=155.230.21.74-9618+[2407-c000-c024-0-e2cb-4eff-fe53ced7]-9618&alias=cluster27
4.knu.ac.kr&noUDP&sock=startd_2946_4a18>
...
121945.1.0 completed
...

====condor_tail ====
condor_tail은 HTCondor 시스템에서 실행 중인 작업의 표준 출력(standard output)과 표준 오류(standard error)를 실시간으로 확인할 수 있습니다. 
-f 옵션은 tail -f 와 동일한 기능을 제공합니다.
-stderr 옵션은 작업의 표준 오류 출력을 보여줍니다.
$ condor_tail -f 121946.0
Thinking really hard for 180 seconds...
We calculated: 200

====condor_ssh_to_job ====
condor_ssh_to_job을 사용하면 사용자가 실행 중인 작업의 노드로 SSH(보안 셸) 접속을 할 수 있으며, 작업 디렉토리에 직접 접근하여 현재 작업이 어떻게 진행되고 있는지 확인할 수 있습니다.
$ condor_ssh_to_job 121946.0
Welcome to slot1_1@cluster242.knu.ac.kr!
Your condor job is running with pid(s) 21165.
$ ls -al
total 44
drwx------ 5 user001 cms 187 Mar 11 14:31 .
drwxr-xr-x. 10 condor root 141 Mar 11 14:02 ..
-rwx------ 1 user001 cms 48 Mar 11 14:02 .chirp.config
drwxr-xr-x 2 user001 cms 128 Mar 11 14:03 .condor_ssh_to_job_1
-rw-r--r-- 1 user001 cms 0 Mar 11 14:02 _condor_stderr
-rw-r--r-- 1 user001 cms 59 Mar 11 14:05 _condor_stdout
-rw-r--r-- 1 condor condor 4165 Mar 11 14:02 .job.ad
-rw-r--r-- 1 condor condor 6111 Mar 11 14:02 .machine.ad
-rwxr-xr-x 1 user001 cms 8512 Mar 11 14:02 test
drwx------ 2 user001 cms 6 Mar 11 14:02 tmp
-rw-r--r-- 1 user001 cms 6157 Mar 11 14:31 .update.ad
drwx------ 3 user001 cms 17 Mar 11 14:02 var

====condor_history ====
종료된 작업을 조회하려면 condor_history 명령을 사용합니다.
$ condor_history -const 'Owner == "user001" && JobStatus ==4' -limit 5
ID OWNER SUBMITTED RUN_TIME ST COMPLETED CMD
121946.9 user001 3/11 14:02 0+00:03:01 C 3/11 14:06 /u/user/user001/condor/test 180 100
121946.8 user001 3/11 14:02 0+00:03:01 C 3/11 14:05 /u/user/user001/condor/test 180 100
121946.6 user001 3/11 14:02 0+00:03:01 C 3/11 14:05 /u/user/user001/condor/test 180 100
121946.7 user001 3/11 14:02 0+00:03:01 C 3/11 14:05 /u/user/user001/condor/test 180 100
121946.5 user001 3/11 14:02 0+00:03:01 C 3/11 14:05 /u/user/user001/condor/test 180 100

특정 작업을 조회하려면 -l 옵션을 사용합니다.
$ condor_history -l 121946.9

=== Job 삭제 ===
submit 한 작업을 중간에 취소하기 위해서는 "condor_rm" 명령을 사용합니다.
condor_rm <JOBID>

모든 내 작업을 삭제하려면 다음 명령을 사용합니다.

condor_rm <UserID>

=== 작업 명세 파일 예제 ===

* 단독 실행

$ science.exe infile-A.txt infile-B.txt outfile.txt

* science1.sub - 1개 작업 실행

# science1.sub -- run one instance of science.exe
executable = science.exe
arguments = "infile-A.txt infile-B.txt outfile.txt"
transfer_input_files = infile-A.txt,infile-B.txt
should_transfer_files = IF_NEEDED
when_to_transfer_output = ON_EXIT
log = science1.log
queue

* science2.sub - 40개 작업 실행, Process 번호로 input, output 파일 구분

# science2.sub -- run 40 instances of science.exe
executable = science.exe
arguments = "infile-$(Process)A.txt infile-$(Process)B.txt outfile$(Process).txt"
transfer_input_files = infile-$(Process)A.txt,infile-$(Process)B.txt
should_transfer_files = IF_NEEDED
when_to_transfer_output = ON_EXIT
log = science2.log
queue 40

* science3.sub - 100개 실행 예제. Process 번호로 작업 디렉토리 구분

# science3.sub -- run 100 instances of science.exe, with
# unique directories named by the $(Process) macro
executable = science.exe
arguments = "infile-A.txt infile-B.txt outfile.txt"
should_transfer_files = IF_NEEDED
when_to_transfer_output = ON_EXIT
initialdir = run$(Process)
transfer_input_files = infile-A.txt,infile-B.txt
log = science3.log
queue 100

* geant4 실행 예제

$ cat run_geant4.sh
#!/bin/bash

source /cvmfs/sft.cern.ch/lcg/contrib/gcc/8.3.0/x86_64-centos7/setup.sh
source /cvmfs/geant4.cern.ch/geant4/10.6/x86_64-centos7-gcc8-optdeb/CMake-setup.sh
./$*

$ cat geant4.sub
Universe = vanilla
Log = geant4_$(ClusterId).log
Output = geant4_$(ClusterId)_$(ProcId).out
Error = geant4_$(ClusterId)_$(ProcId).err
Should_Transfer_Files = Yes
When_To_Transfer_Output = ON_EXIT

#Executable = <wrapper_script>.sh
Executable = run_geant4.sh
Transfer_Executable = True
#Arguments = <Geant4 executable> <input file(s)>
Arguments = exampleB1 exampleB1.in
#Transfer_Input_Files = <Geant4 executable>,<input file(s)>
Transfer_Input_Files = exampleB1, exampleB1.in

Queue

[[SFT#Geant4_10.6_.26_gcc83_.26_centos7| 위의 예제를 위한 geant4 설치 및 테스트는 여기를 클릭하세요.]]

=== Submitting Multiple Jobs with HTCondor ===

복수의 input 파일을 이용하여 동시에 다수의 작업을 처리하고 싶다면
[https://indico.cern.ch/event/611296/contributions/2604376/attachments/1471164/2276521/TannenbaumT_UserTutorial.pdf AN INTRODUCTION TO USING HTCONDOR(Todd Tannenbaum)] 에서 52p에서부터 72p의 내용을 참고하시기 바랍니다

=== Apptainer(Singularity)를 이용하여 코드 실행 ===

==== el6(Scientific Linux 6) 코드 실행 ====
submit description file에 아래 내용을 추가합니다.

+ContainerOS = "SL6"

혹은 선호하는 이미지가 있다면 아래와 같이 기입합니다.

+SingularityImage = "/cvmfs/singularity.opensciencegrid.org/cmssw/cms:rhel6-m202001"

==== el7(CentOS Linux 7) 코드 실행 ====
submit description file에 아래 내용을 추가합니다.

Universe = vanilla
...
+SingularityImage = "/cvmfs/singularity.opensciencegrid.org/opensciencegrid/osgvo-el7:latest"
...

==== el8(Rocky Linux 8) 코드 실행 ====
submit description file에 아래 내용을 추가합니다.

Universe = vanilla
...
+SingularityImage = "/cvmfs/singularity.opensciencegrid.org/opensciencegrid/osgvo-el8:latest"
...

==== el9(Rocky Linux 9) 코드 실행 ====
submit description file에 아래 내용을 추가합니다.

Universe = vanilla
...
+SingularityImage = "/cvmfs/singularity.opensciencegrid.org/opensciencegrid/osgvo-el9:latest"
...

=== create-batch 사용 ===

create-batch를 경북대 부분을 condor로 변경하여 create-batch2라는 이름으로 저장해두었습니다. condor에서는 --queue cms 옵션은 필요하지 않습니다. 
torque system을 당분간 운영하는 기간동안 임시로 이렇게 사용하고 condor로 완전히 전환이 되면 create-batch에 수정사항을 반영요청하겠습니다.

* [[Create-batch|create-batch 사용법으로 가기]]

=== 전체 작업 현황 살펴보기 ===

$ condor_status -schedd
Name Machine RunningJobs IdleJobs HeldJobs

ce01.knu.ac.kr ce01.knu.ac.kr 2 0 0
cms02.knu.ac.kr cms02.knu.ac.kr 211 1134 0

TotalRunningJobs TotalIdleJobs TotalHeldJobs

Total 213 1134 0

=== HTCondor에서 GPU 사용 ===

* [[HTCondor에서_GPU_사용하기]]

=== request_memory 관련 ===

* dynamic slot에서는 request_memory 메모리를 어떻게 지정하냐에 따라서 연산노드에서 들어갈 수 있는 작업의 수가 변화합니다.
* 가령 CPU 8core, 메모리 16GB를 가지고 있는 연산노드가 있다고 가정했을 때 request_memory 가 2GB일때는 8개가 8GB일때는 2개의 작업이 할당됩니다.
* 따라서 적절한 request_memory를 설정해야 작업 slot의 낭비를 줄이고 자신과 타인의 작업이 빠르게 실행됩니다. 위의 예의 경우 4배의 차이가 나게 됩니다.
* htcondor에서 request_memory의 자동 수정
** 작업 실행후 1시간 뒤를 기준으로 request_memory 가 작업의 실사용메모리보다 2GB이상 많이 설정되어 있는 경우 자동으로 해당 작업은 hold 되고 request_memory가 수정후 재실행됩니다.
** request_memory 보다 실사용하는 메모리가 많아 hold 된 작업은 htcondor가 request_memory를 자동으로 증가시킨 후 재실행됩니다.

=== x509 proxy 사용 ===

htcondor 에서 그리드 인증이 필요한 경우

* X509_USER_PROXY를 설정하여 proxy 파일의 위치를 다음과 같이 연산노드에서 접근 가능한 위치로 변경해야합니다.
export X509_USER_PROXY=/u/user/(userid)/proxy.cert

* voms-proxy-info 명령을 이용해서 proxy가 올바른 위치에 생성되었는지 반드시 확인하세요.

* 자세한 내용은 다음 링크를 참고하시기 바랍니다.
https://batchdocs.web.cern.ch/tutorial/exercise2e_proxy.html

=== 최대 작업시간 ===

{| style="background:#cccc99;color:#black;white:80%;" border="1" cellpadding="5" cellspacing="0"
! 작업 구분 !! 최대 작업시간
|- style="background:white; color:black"
! CPU 작업
| 80 시간
|- style="background:white; color:black"
! GPU 작업
| 14일
|}

* 최대 작업시간은 연산노드에서 작업이 실행되는 최대 시간입니다. 최대 작업시간을 초과하면 작업이 강제로 중지됩니다.
* 자원의 효율적 사용을 위해서 가급적 작업을 나누어 제출하는 것을 권장합니다.
* 최대 작업시간과 관련하여 문의사항이 있으면 관리자에게 메일주시기 바랍니다.

=== 주의사항 ===

* 작업이 실행 중에 죽는 경우

작업 제출시 명시한 메모리보다 작업이 더 많은 메모리를 사용할 경우 메모리 부족으로 작업이 죽는 경우가 발생할 수 있습니다. 
다음과 같이 requset_memory 옵션으로 요구 메모리를 지정해주시기 바랍니다. 특히 많은 메모리를 사용하는 작업이라면 반드시 지정해 주어야합니다.
request_memory = 4 GB

* submit 한 작업도 속성을 다음과 같이 변경할 수 있습니다.

$ condor_hold {job_id}
$ condor_qedit {job_id} RequestMemory 4096
$ condor_release {job_id}

* 최근에는 작업의 메모리 사용량은 자동으로 관리되고 있습니다. 메모리 초과 사용 혹은 과다 사용시 시스템에서 중지 후 다시 제출됩니다.

=== 참고 자료 ===

* [https://research.cs.wisc.edu/htcondor/manual/quickstart.html HTCondor Quick Start Guide] 위의 예제를 작성할때 참고한 자료로 처음에 시작하는 사용자가 참고하기 좋습니다.
* [https://indico.cern.ch/event/611296/contributions/2604376/attachments/1471164/2276521/TannenbaumT_UserTutorial.pdf AN INTRODUCTION TO USING HTCONDOR(Todd Tannenbaum)] HTCondor의 동작에 대한 기본적인 이해와 다양한 기능들을 살펴보기 좋은 자료입니다.
* [https://indico.cern.ch/event/733513/contributions/3118598/attachments/1711374/2759120/EUCW18-DAGMan.pdf AN INTRODUCTION TO WORKFLOWS WITH DAGMAN] DAGMAN 사용방법을 학습하기 좋은 자료입니다.

HTCondor

2025-05-09T08:36:53Z

Hanbi: /* Tier-3 HTCondor/CentOS7 UI 접속하기 */

== HTCondor Batch System 사용법 ==

=== Tier-3 HTCondor/AlmaLinux 9 UI 접속하기 ===
다음과 같이 터미널을 열어서 원격로그인(SSH)으로 접속합니다.
ssh -X username@cms.knu.ac.kr

=== Job submit ===
Job submit을 위해서는 다음과 같이 "condor_submit" 명령어를 사용합니다.

* sleep.sh - 테스트 코드

#!/bin/bash

TIMETOWAIT="10"
echo "sleeping for $TIMETOWAIT seconds"
/bin/sleep $TIMETOWAIT

* sleep.sub - 작업 명세 파일

executable = sleep.sh
log = sleep.log
output = outfile.txt
error = errors.txt
should_transfer_files = Yes
when_to_transfer_output = ON_EXIT
queue

* job submit

condor_submit sleep.sub

=== Job 상태 확인 ===

====condor_q ====
작업의 상태 확인을 위해서는 "condor_q"명령을 사용합니다. 
전체 작업현황을 확인하려면 다음과 같이 실행하면 됩니다.

$ condor_q
-- Schedd: cms02.knu.ac.kr : <155.230.23.72:9618?... @ 07/30/20 16:49:47
OWNER BATCH_NAME SUBMITTED DONE RUN IDLE TOTAL JOB_IDS
user001 ID: 51 7/30 16:47 _ 100 _ 100 51.0-99

Total for query: 100 jobs; 0 completed, 0 removed, 0 idle, 100 running, 0 held, 0 suspended
Total for hanbi: 100 jobs; 0 completed, 0 removed, 0 idle, 100 running, 0 held, 0 suspended
Total for all users: 100 jobs; 0 completed, 0 removed, 0 idle, 100 running, 0 held, 0 suspended

작업이 실행되지 않는다면 다음 명령으로 원인을 확인할 수 있습니다.
$ condor_q -analyze 51.0

$ condor_q -better-analyze 51.0

==== condor_wait ====
condor_wait 는 사용자의 로그 파일을 모니터링하고, 작업의 진행 상태에 대한 정보를 추출합니다. 이 명령어는 특히 작업이 완료될 때까지 대기하며, 로그 파일을 통해 작업의 상태 변경을 추적할 수 있습니다.
$ condor_wait -status job_121945.log
121945.0.0 submitted
...
121945.1.0 executing on host <155.230.21.74:9618?addrs=155.230.21.74-9618+[2407-c000-c024-0-e2cb-4eff-fe53ced7]-9618&alias=cluster27
4.knu.ac.kr&noUDP&sock=startd_2946_4a18>
...
121945.1.0 completed
...

====condor_tail ====
condor_tail은 HTCondor 시스템에서 실행 중인 작업의 표준 출력(standard output)과 표준 오류(standard error)를 실시간으로 확인할 수 있습니다. 
-f 옵션은 tail -f 와 동일한 기능을 제공합니다.
-stderr 옵션은 작업의 표준 오류 출력을 보여줍니다.
$ condor_tail -f 121946.0
Thinking really hard for 180 seconds...
We calculated: 200

====condor_ssh_to_job ====
condor_ssh_to_job을 사용하면 사용자가 실행 중인 작업의 노드로 SSH(보안 셸) 접속을 할 수 있으며, 작업 디렉토리에 직접 접근하여 현재 작업이 어떻게 진행되고 있는지 확인할 수 있습니다.
$ condor_ssh_to_job 121946.0
Welcome to slot1_1@cluster242.knu.ac.kr!
Your condor job is running with pid(s) 21165.
$ ls -al
total 44
drwx------ 5 user001 cms 187 Mar 11 14:31 .
drwxr-xr-x. 10 condor root 141 Mar 11 14:02 ..
-rwx------ 1 user001 cms 48 Mar 11 14:02 .chirp.config
drwxr-xr-x 2 user001 cms 128 Mar 11 14:03 .condor_ssh_to_job_1
-rw-r--r-- 1 user001 cms 0 Mar 11 14:02 _condor_stderr
-rw-r--r-- 1 user001 cms 59 Mar 11 14:05 _condor_stdout
-rw-r--r-- 1 condor condor 4165 Mar 11 14:02 .job.ad
-rw-r--r-- 1 condor condor 6111 Mar 11 14:02 .machine.ad
-rwxr-xr-x 1 user001 cms 8512 Mar 11 14:02 test
drwx------ 2 user001 cms 6 Mar 11 14:02 tmp
-rw-r--r-- 1 user001 cms 6157 Mar 11 14:31 .update.ad
drwx------ 3 user001 cms 17 Mar 11 14:02 var

====condor_history ====
종료된 작업을 조회하려면 condor_history 명령을 사용합니다.
$ condor_history -const 'Owner == "user001" && JobStatus ==4' -limit 5
ID OWNER SUBMITTED RUN_TIME ST COMPLETED CMD
121946.9 user001 3/11 14:02 0+00:03:01 C 3/11 14:06 /u/user/user001/condor/test 180 100
121946.8 user001 3/11 14:02 0+00:03:01 C 3/11 14:05 /u/user/user001/condor/test 180 100
121946.6 user001 3/11 14:02 0+00:03:01 C 3/11 14:05 /u/user/user001/condor/test 180 100
121946.7 user001 3/11 14:02 0+00:03:01 C 3/11 14:05 /u/user/user001/condor/test 180 100
121946.5 user001 3/11 14:02 0+00:03:01 C 3/11 14:05 /u/user/user001/condor/test 180 100

특정 작업을 조회하려면 -l 옵션을 사용합니다.
$ condor_history -l 121946.9

=== Job 삭제 ===
submit 한 작업을 중간에 취소하기 위해서는 "condor_rm" 명령을 사용합니다.
condor_rm <JOBID>

모든 내 작업을 삭제하려면 다음 명령을 사용합니다.

condor_rm <UserID>

=== 작업 명세 파일 예제 ===

* 단독 실행

$ science.exe infile-A.txt infile-B.txt outfile.txt

* science1.sub - 1개 작업 실행

# science1.sub -- run one instance of science.exe
executable = science.exe
arguments = "infile-A.txt infile-B.txt outfile.txt"
transfer_input_files = infile-A.txt,infile-B.txt
should_transfer_files = IF_NEEDED
when_to_transfer_output = ON_EXIT
log = science1.log
queue

* science2.sub - 40개 작업 실행, Process 번호로 input, output 파일 구분

# science2.sub -- run 40 instances of science.exe
executable = science.exe
arguments = "infile-$(Process)A.txt infile-$(Process)B.txt outfile$(Process).txt"
transfer_input_files = infile-$(Process)A.txt,infile-$(Process)B.txt
should_transfer_files = IF_NEEDED
when_to_transfer_output = ON_EXIT
log = science2.log
queue 40

* science3.sub - 100개 실행 예제. Process 번호로 작업 디렉토리 구분

# science3.sub -- run 100 instances of science.exe, with
# unique directories named by the $(Process) macro
executable = science.exe
arguments = "infile-A.txt infile-B.txt outfile.txt"
should_transfer_files = IF_NEEDED
when_to_transfer_output = ON_EXIT
initialdir = run$(Process)
transfer_input_files = infile-A.txt,infile-B.txt
log = science3.log
queue 100

* geant4 실행 예제

$ cat run_geant4.sh
#!/bin/bash

source /cvmfs/sft.cern.ch/lcg/contrib/gcc/8.3.0/x86_64-centos7/setup.sh
source /cvmfs/geant4.cern.ch/geant4/10.6/x86_64-centos7-gcc8-optdeb/CMake-setup.sh
./$*

$ cat geant4.sub
Universe = vanilla
Log = geant4_$(ClusterId).log
Output = geant4_$(ClusterId)_$(ProcId).out
Error = geant4_$(ClusterId)_$(ProcId).err
Should_Transfer_Files = Yes
When_To_Transfer_Output = ON_EXIT

#Executable = <wrapper_script>.sh
Executable = run_geant4.sh
Transfer_Executable = True
#Arguments = <Geant4 executable> <input file(s)>
Arguments = exampleB1 exampleB1.in
#Transfer_Input_Files = <Geant4 executable>,<input file(s)>
Transfer_Input_Files = exampleB1, exampleB1.in

Queue

[[SFT#Geant4_10.6_.26_gcc83_.26_centos7| 위의 예제를 위한 geant4 설치 및 테스트는 여기를 클릭하세요.]]

=== Submitting Multiple Jobs with HTCondor ===

복수의 input 파일을 이용하여 동시에 다수의 작업을 처리하고 싶다면
[https://indico.cern.ch/event/611296/contributions/2604376/attachments/1471164/2276521/TannenbaumT_UserTutorial.pdf AN INTRODUCTION TO USING HTCONDOR(Todd Tannenbaum)] 에서 52p에서부터 72p의 내용을 참고하시기 바랍니다

=== Apptainer(Singularity)를 이용하여 코드 실행 ===

==== el6(Scientific Linux 6) 코드 실행 ====
submit description file에 아래 내용을 추가합니다.

+ContainerOS = "SL6"

혹은 선호하는 이미지가 있다면 아래와 같이 기입합니다.

+SingularityImage = "/cvmfs/singularity.opensciencegrid.org/cmssw/cms:rhel6-m202001"

==== el7(CentOS Linux 7) 코드 실행 ====
submit description file에 아래 내용을 추가합니다.

Universe = vanilla
...
+SingularityImage = "/cvmfs/singularity.opensciencegrid.org/opensciencegrid/osgvo-el7:latest"
...

==== el8(Rocky Linux 8) 코드 실행 ====
submit description file에 아래 내용을 추가합니다.

Universe = vanilla
...
+SingularityImage = "/cvmfs/singularity.opensciencegrid.org/opensciencegrid/osgvo-el8:latest"
...

==== el9(Rocky Linux 9) 코드 실행 ====
submit description file에 아래 내용을 추가합니다.

Universe = vanilla
...
+SingularityImage = "/cvmfs/singularity.opensciencegrid.org/opensciencegrid/osgvo-el9:latest"
...

=== create-batch 사용 ===

create-batch를 경북대 부분을 condor로 변경하여 create-batch2라는 이름으로 저장해두었습니다. condor에서는 --queue cms 옵션은 필요하지 않습니다. 
torque system을 당분간 운영하는 기간동안 임시로 이렇게 사용하고 condor로 완전히 전환이 되면 create-batch에 수정사항을 반영요청하겠습니다.

* [[Create-batch|create-batch 사용법으로 가기]]

=== 전체 작업 현황 살펴보기 ===

$ condor_status -schedd
Name Machine RunningJobs IdleJobs HeldJobs

ce01.knu.ac.kr ce01.knu.ac.kr 2 0 0
cms02.knu.ac.kr cms02.knu.ac.kr 211 1134 0

TotalRunningJobs TotalIdleJobs TotalHeldJobs

Total 213 1134 0

=== HTCondor에서 GPU 사용 ===

* [[HTCondor에서_GPU_사용하기]]

=== request_memory 관련 ===

* dynamic slot에서는 request_memory 메모리를 어떻게 지정하냐에 따라서 연산노드에서 들어갈 수 있는 작업의 수가 변화합니다.
* 가령 CPU 8core, 메모리 16GB를 가지고 있는 연산노드가 있다고 가정했을 때 request_memory 가 2GB일때는 8개가 8GB일때는 2개의 작업이 할당됩니다.
* 따라서 적절한 request_memory를 설정해야 작업 slot의 낭비를 줄이고 자신과 타인의 작업이 빠르게 실행됩니다. 위의 예의 경우 4배의 차이가 나게 됩니다.
* htcondor에서 request_memory의 자동 수정
** 작업 실행후 1시간 뒤를 기준으로 request_memory 가 작업의 실사용메모리보다 2GB이상 많이 설정되어 있는 경우 자동으로 해당 작업은 hold 되고 request_memory가 수정후 재실행됩니다.
** request_memory 보다 실사용하는 메모리가 많아 hold 된 작업은 htcondor가 request_memory를 자동으로 증가시킨 후 재실행됩니다.

=== x509 proxy 사용 ===

htcondor 에서 그리드 인증이 필요한 경우

* X509_USER_PROXY를 설정하여 proxy 파일의 위치를 다음과 같이 연산노드에서 접근 가능한 위치로 변경해야합니다.
export X509_USER_PROXY=/u/user/(userid)/proxy.cert

* voms-proxy-info 명령을 이용해서 proxy가 올바른 위치에 생성되었는지 반드시 확인하세요.

* 자세한 내용은 다음 링크를 참고하시기 바랍니다.
https://batchdocs.web.cern.ch/tutorial/exercise2e_proxy.html

=== 최대 작업시간 ===

{| style="background:#cccc99;color:#black;white:80%;" border="1" cellpadding="5" cellspacing="0"
! 작업 구분 !! 최대 작업시간
|- style="background:white; color:black"
! CPU 작업
| 80 시간
|- style="background:white; color:black"
! GPU 작업
| 14일
|}

* 최대 작업시간은 연산노드에서 작업이 실행되는 최대 시간입니다. 최대 작업시간을 초과하면 작업이 강제로 중지됩니다.
* 자원의 효율적 사용을 위해서 가급적 작업을 나누어 제출하는 것을 권장합니다.
* 최대 작업시간과 관련하여 문의사항이 있으면 관리자에게 메일주시기 바랍니다.

=== 주의사항 ===

* 작업이 실행 중에 죽는 경우

작업 제출시 명시한 메모리보다 작업이 더 많은 메모리를 사용할 경우 메모리 부족으로 작업이 죽는 경우가 발생할 수 있습니다. 
다음과 같이 requset_memory 옵션으로 요구 메모리를 지정해주시기 바랍니다. 특히 많은 메모리를 사용하는 작업이라면 반드시 지정해 주어야합니다.
request_memory = 4 GB

* submit 한 작업도 속성을 다음과 같이 변경할 수 있습니다.

$ condor_hold {job_id}
$ condor_qedit {job_id} RequestMemory 4096
$ condor_release {job_id}

* 최근에는 작업의 메모리 사용량은 자동으로 관리되고 있습니다. 메모리 초과 사용 혹은 과다 사용시 시스템에서 중지 후 다시 제출됩니다.

=== 참고 자료 ===

* [https://research.cs.wisc.edu/htcondor/manual/quickstart.html HTCondor Quick Start Guide] 위의 예제를 작성할때 참고한 자료로 처음에 시작하는 사용자가 참고하기 좋습니다.
* [https://indico.cern.ch/event/611296/contributions/2604376/attachments/1471164/2276521/TannenbaumT_UserTutorial.pdf AN INTRODUCTION TO USING HTCONDOR(Todd Tannenbaum)] HTCondor의 동작에 대한 기본적인 이해와 다양한 기능들을 살펴보기 좋은 자료입니다.
* [https://indico.cern.ch/event/733513/contributions/3118598/attachments/1711374/2759120/EUCW18-DAGMan.pdf AN INTRODUCTION TO WORKFLOWS WITH DAGMAN] DAGMAN 사용방법을 학습하기 좋은 자료입니다.

News & Notices

2025-05-09T08:36:28Z

Hanbi: /* News & Notices */

== News & Notices ==
* [[HTCondor| HTCondor 사용법 문서가 갱신 되었습니다.]] 2025.05.09
* [[Singularity|Apptainer 사용법 문서가 갱신 되었습니다.]] 2025.05.09
* [[Cvmfs_root|CVMFS 에서 root 사용하기 문서가 갱신 되었습니다.]] 2025.05.09
* [[Singularity|Apptainer 사용법 문서가 갱신 되었습니다.]] 2025.04.23
* [[HTCondor| HTCondor 사용법 문서가 갱신 되었습니다.]] 2024.07.08
* [[Singularity|Apptainer 사용법 문서가 갱신 되었습니다.]] 2024.06.13
* [[Storage_Element_Tutorial#.EC.84.9C.EB.B9.84.EC.8A.A4.EB.B3.84_.EC.8A.A4.ED.86.A0.EB.A6.AC.EC.A7.80_.EC.A0.91.EA.B7.BC| 스토리지 엘리먼트의 SRMv2 gridftp gsiftp 데이터 전송 프로토콜 지원이 종료됩니다.]] 2024.05.14
* [[HTCondor| HTCondor 사용법 문서가 갱신 되었습니다.]] 2024.03.11
* [[HTCondor#.EC.B5.9C.EB.8C.80_.EC.9E.91.EC.97.85.EC.8B.9C.EA.B0.84| HTCondor의 GPU 최대 작업시간이 연장되었습니다.]] 2024.02.14
* [[HTCondor| HTCondor 사용법 문서가 갱신 되었습니다.]] 2023.09.21
* [[Storage_Element_Tutorial#.EC.84.9C.EB.B9.84.EC.8A.A4.EB.B3.84_.EC.8A.A4.ED.86.A0.EB.A6.AC.EC.A7.80_.EC.A0.91.EA.B7.BC| 이제 HTCondor에서 SE의 데이터를 바로 읽을 수 있습니다.]] 2023.06.23
* [[Bitwarden| bitwarden(패스워드 관리) 사용법 문서가 추가 되었습니다.]] 2023.03.14
* [[How_to_use_Tier3_at_KNU|How to use T3_KR_KNU 문서가 갱신 되었습니다.]] 2023.02.20
* [[Singularity|Singularity 사용법 문서가 갱신 되었습니다.]] 2022.09.15
* [[Mattermost|Mattermost 메신저 서비스를 시작합니다.]] 2022.09.05
* [[How_to_use_Tier3_at_KNU|How to use T3_KR_KNU 문서가 갱신 되었습니다.]] 2022.07.27
* 이제부터 최근 수정된 부분은 밑줄로 표시됩니다. 참고하시기 바립니다. 2022.06.08
* [[Storage_Element_Tutorial|Storage Element Tutorial이 갱신 되었습니다.]] 2022.06.08
* [[JupyterHub|JupyterHub 서비스를 시작합니다.]] 2022.03.23
* [[HTCondor_Job_Policy|이제 htcondor에서 request_memory보다 많은 메모리를 사용하는 작업은 자동으로 hold됩니다.]] 2022.02.09
* [[FreeIPA|인증시스템 전환(NIS→ FreeIPA)공지입니다.]] 2021.11.09
* [[cvmfs_geant4|CVMFS에서 geant4 사용하기 문서가 추가되었습니다.]] 2021.07.12
* [[cvmfs_root|CVMFS에서 root 사용하기 문서가 추가되었습니다.]] 2021.07.12
* [[cvmfs_gcc|CVMFS에서 원하는 버전의 gcc 사용하기 문서가 추가되었습니다.]] 2021.07.12
* [[WebDav|dCache에서 WebDav 프로토콜 및 마카롱 인증 사용하기 문서가 추가되었습니다.]] 2021.06.22
* [[Rucio|Rucio 사용법 문서가 추가되었습니다.]] 2021.06.08
* [[Uberftp|uberftp에 치명적인 버그가 있습니다. 사용에 주의하세요]] 2021.05.17
* [[HTCondorGPU|HTCondor에서 GPU 사용법 문서가 추가되었습니다.]] 2021.05.12
* [[HTCondor|HTCondor 사용법 문서가 갱신되었습니다.]] 2021.03.31
* [[mosh|mosh 가이드가 등록되었습니다.]] 2021.03.17
* [[x2go|x2go를 이용한 원격데스크탑 가이드가 등록되었습니다.]] 2021.03.11
* [[Xrootd|xrootd 를 활용한 SE Data 사용 가이드가 갱신되었습니다.]] 2021.03.05
* [[HTCondor에서 GPU 사용하기]] 2021.03.04
* [[Duc|자신의 디스크 사용량을 쉽게 확인할 수 있는 툴을 소개합니다.]] 2020.11.05
* [[CreamCE/SL6 서비스 종료]] 2020.10.15
* [[HTCondor|HTCondor 사용법 문서가 작성중입니다.]] 2020.07.30
* [[CreamCE/Torque → HTCondorCE/HTCondor 이전 안내]] 2020.07.23
* 스토리지 엘리먼트가 1.45PB로 증가하였습니다. 2020.06.26
* [[SFT|CVMFS SFT repository 사용법 문서가 갱신 되었습니다.]] 2020.03.20
* [[Scratch Disk가 교체 및 증설 안내]] 2020.02.10
* [[Notion|Notion 문서를 추가하였습니다.]] 2019.09.20
* [[Storage_Element_Tutorial|Storage Element Tutorial이 보강 되었습니다.]] 2019.08.30
* [[Storage_Element_Tutorial|Storage Element Tutorial이 보강 되었습니다.]] 2018.12.10
* [[Singularity|Singularity 사용법 문서가 추가 되었습니다.]] 2018.12.03
* [[SFT|CVMFS SFT repository 사용법 문서가 추가 되었습니다.]] 2018.11.08
* [[torque|Torque 사용법 문서가 갱신 되었습니다.]] 2018.10.15
* [[Storage_Element_Tutorial|Storage Element Tutorial이 보강 되었습니다.]] 2018.08.31
* [[Tier3BatchQueueInfo|Tier3 batch farm에 큰 메모리를 사용하는 작업 전용의 queue를 추가하였습니다.]] 2018.07.13
* [[T2_KR_KNU_Decommissioned| 경북대 Tier2 서비스는 4월 30일자로 종료되고 해당자원은 Tier3로 통합됩니다.]] 2018.04.18
* cms03이 SL6로 업그레이드되었습니다. 2018.01.16
* [[Storage_Element_Tutorial|Storage Element Tutorial이 갱신 되었습니다.]] 2017.11.22
* [[Xrootd|xrootd 를 활용한 SE Data 사용 가이드가 별도 분리되었습니다.]] 2017.11.22
* 스토리지 엘리먼트가 1.29PB로 증가하였습니다. 2017.10.12
* [[crab|Crab Tutorial을 업데이트 하였습니다.]] 2017.06.29
* [[Storage_Element_Tutorial#xrootd_.EB.A5.BC_.ED.99.9C.EC.9A.A9.ED.95.9C_SE_Data_.EC.A0.91.EA.B7.BC_.EB.B0.A9.EB.B2.95|Storage Element Tutorial에서 xrootd 관련 항목이 업데이트 되었습니다.]] 2017.06.15
* [[Webfts|WebFTS 사용법 항목이 추가되었습니다.]] 2017.04.14
* [[Dcap|dcap 사용법 항목이 갱신되었습니다.]] 2016.12.06
* 스토리지 엘리먼트가 1.2PB로 증가하였습니다. 2016.12.05
* [[Task_monitoring_for_the_analysis_users|Analysis 사용자를 위한 작업 모니터링 가이드가 추가되었습니다.]] 2016.10.19
* [[DCacheNFS|스토리지 엘리먼트의 NFS 사용 가이드가 갱신되었습니다.]] 2016.10.07
* [[Dcap|dcap 사용법 항목이 추가되었습니다.]] 2016.10.06
* 스토리지 엘리먼트가 1PB로 증가하였습니다. 2016.08.10
* [[DCacheNFS|스토리지 엘리먼트를 UI에서 NFS로 바로 읽을 수 있습니다.]] 2016.07.19
* [[Tier3BatchQueueInfo|Tier3 batch farm의 queue에 대한 세부정보를 업데이트 하였습니다.]] 2016.02.12
* [[Motd|Tier2/3 UI motd(Message of the Day)에서 스토리지 엘리먼트를 비롯한 디스크 사용량을 확인할수 있습니다.]] 2015.12.28
* [[Ssh_Public_key_Authentication|보다 안전하고 편리한 ssh 공개키 인증 사용법 항목이 추가 되었습니다.]] 2015.12.28
* [[Create-batch|create-batch 사용법 항목이 추가 되었습니다.]] 2015.12.21
* [[Storage_Element_Tutorial|Storage Element Tutorial 항목이 별도로 분리 되었습니다.]] 2015.10.29
* [[torque|Torque 사용법 항목이 별도로 분리 되었습니다.]] 2015.10.29
* [[crab|Crab Tutorial 항목이 별도로 분리 되었습니다.]] 2015.10.29
* [[Q&A|Q&A 항목이 추가 되었습니다.]] 2015.10.12
* [[uberftp | uberftp 사용법 항목이 추가되었습니다.]] 2015.10.12
* T2_KR_KNU 홈페이지가 리뉴얼 되었습니다. 2015.10.12
* [https://indico.cern.ch/event/386181/ 2015 CMS DAS (Data Analysis School) at Korea가 개최되었습니다.] 2015.08.25~29

Main Page

2025-05-09T08:36:08Z

Hanbi: /* News & Notices */

__NOTOC__
='''KNU Tier-3 Center for CMS''' <img src="http://t2-cms.knu.ac.kr/img/CMS-logo.gif" width=25> =

Welcome to the CMS Tier-3 Center at Kyungpook National University in Korea.

This web portal is your gateway to the CMS Tier-3 center at Kyungpook National University (KNU) in Korea. This CMS Tier-3 center is being supported by the Ministry of Education, Science and Technology and is being maintained by the Center for High Energy Physics of the KNU.
We will support the CMS computing needs for Korean and overseas collaborators. For your general comments, questions, or reports of any problems regarding to this Center, please email to lcg_knu@knu.ac.kr.

== News & Notices ==
* [[HTCondor| HTCondor 사용법 문서가 갱신 되었습니다.]] 2025.05.09
* [[Singularity|Apptainer 사용법 문서가 갱신 되었습니다.]] 2025.05.09
* [[Cvmfs_root|CVMFS 에서 root 사용하기 문서가 갱신 되었습니다.]] 2025.05.09
* [[Singularity|Apptainer 사용법 문서가 갱신 되었습니다.]] 2025.04.23
* [[HTCondor| HTCondor 사용법 문서가 갱신 되었습니다.]] 2024.07.08
* [[Singularity|Apptainer 사용법 문서가 갱신 되었습니다.]] 2024.06.13
* [[Storage_Element_Tutorial#.EC.84.9C.EB.B9.84.EC.8A.A4.EB.B3.84_.EC.8A.A4.ED.86.A0.EB.A6.AC.EC.A7.80_.EC.A0.91.EA.B7.BC| 스토리지 엘리먼트의 SRMv2 gridftp gsiftp 데이터 전송 프로토콜 지원이 종료됩니다.]] 2024.05.14
* [[HTCondor| HTCondor 사용법 문서가 갱신 되었습니다.]] 2024.03.11
* [[HTCondor#.EC.B5.9C.EB.8C.80_.EC.9E.91.EC.97.85.EC.8B.9C.EA.B0.84| HTCondor의 GPU 최대 작업시간이 연장되었습니다.]] 2024.02.14
* [[HTCondor| HTCondor 사용법 문서가 갱신 되었습니다.]] 2023.09.21
* [[Storage_Element_Tutorial#.EC.84.9C.EB.B9.84.EC.8A.A4.EB.B3.84_.EC.8A.A4.ED.86.A0.EB.A6.AC.EC.A7.80_.EC.A0.91.EA.B7.BC| 이제 HTCondor에서 SE의 데이터를 바로 읽을 수 있습니다.]] 2023.06.23
* [[Bitwarden| bitwarden(패스워드 관리 서비스) 사용법 문서가 추가 되었습니다.]] 2023.03.14
* [[How_to_use_Tier3_at_KNU|How to use T3_KR_KNU 문서가 갱신 되었습니다.]] 2023.02.20
* [[Singularity|Singularity 사용법 문서가 갱신 되었습니다.]] 2022.09.15
* [[Mattermost|Mattermost 메신저 서비스를 시작합니다.]] 2022.09.05
* [[How_to_use_Tier3_at_KNU|How to use T3_KR_KNU 문서가 갱신 되었습니다.]] 2022.07.27
* 이제부터 최근 수정된 부분은 밑줄로 표시됩니다. 참고하시기 바립니다. 2022.06.08
* [[Storage_Element_Tutorial|Storage Element Tutorial이 갱신 되었습니다.]] 2022.06.08
* [[JupyterHub|JupyterHub 서비스를 시작합니다.]] 2022.03.23
* [[HTCondor_Job_Policy|이제 htcondor에서 request_memory보다 많은 메모리를 사용하는 작업은 자동으로 hold됩니다.]] 2022.02.09
* [[FreeIPA|인증시스템 전환(NIS→ FreeIPA)공지입니다.]] 2021.11.09
* [[cvmfs_geant4|CVMFS에서 geant4 사용하기 문서가 추가되었습니다.]] 2021.07.12
* [[cvmfs_root|CVMFS에서 root 사용하기 문서가 추가되었습니다.]] 2021.07.12
* [[News & Notices|more ...]]

==Additional Services==

* [https://chep17.knu.ac.kr:3003 T3_KR_KNU Status - 작업 현황, 현재 사용량 등]
* [https://githep.knu.ac.kr:4443 Gitlab 서비스 - 소스코드 버전 관리 시스템]
* [https://mm.knu.ac.kr Mattermost 서비스 - 업무용 메신저 서비스]
* [https://indico.knu.ac.kr 경북대 물리학과 Indico]
* [https://indico.kno.or.kr KNO Indico]

==How to use Tier-3 at KNU?==
*[[How_to_use_Tier2_at_KNU|How to use Tier-3 at KNU?]]
**[[How_to_use_Tier2_at_KNU#Pre-requisites|Pre-requisites]]
**[[How_to_use_Tier2_at_KNU#KNU_Tier-2_Login|KNU_Tier-3 Login]]
**[[How_to_use_Tier2_at_KNU#CMSSW.28CMS_Software.29_Installation|CMSSW Installation]]
**[[crab|Crab Tutorial]]
**[[How_to_use_Tier2_at_KNU#Storage_Element_.28SE.29_Manual|Storage Element Tutorial]]
**[[uberftp|uberftp]]
**[[Q&A|Q&A]]

*[https://t2-cms.knu.ac.kr/lcg_registration.php KNU Account Registration]

----
{| style="width: 100%"
! style="text-align: left;text-valign: top" | Contact: Email: lcg_knu@knu.ac.kr
! style="text-align: right;" | THE CENTER FOR HIGH ENERGY PHYSICS KYUNGPOOK NATIONAL UNIVERSITY
|}

News & Notices

2025-05-09T08:34:57Z

Hanbi: /* News & Notices */

== News & Notices ==
* [[HTCondor#Apptainer.28Singularity.29.EB.A5.BC_.EC.9D.B4.EC.9A.A9.ED.95.98.EC.97.AC_.EC.BD.94.EB.93.9C_.EC.8B.A4.ED.96.89|HTCondor에서 apptainer를 이용하여 코드 실행하기 문서가 갱신되었습니다.]] 2025.05.09
* [[Singularity|Apptainer 사용법 문서가 갱신 되었습니다.]] 2025.05.09
* [[Cvmfs_root|CVMFS 에서 root 사용하기 문서가 갱신 되었습니다.]] 2025.05.09
* [[Singularity|Apptainer 사용법 문서가 갱신 되었습니다.]] 2025.04.23
* [[HTCondor| HTCondor 사용법 문서가 갱신 되었습니다.]] 2024.07.08
* [[Singularity|Apptainer 사용법 문서가 갱신 되었습니다.]] 2024.06.13
* [[Storage_Element_Tutorial#.EC.84.9C.EB.B9.84.EC.8A.A4.EB.B3.84_.EC.8A.A4.ED.86.A0.EB.A6.AC.EC.A7.80_.EC.A0.91.EA.B7.BC| 스토리지 엘리먼트의 SRMv2 gridftp gsiftp 데이터 전송 프로토콜 지원이 종료됩니다.]] 2024.05.14
* [[HTCondor| HTCondor 사용법 문서가 갱신 되었습니다.]] 2024.03.11
* [[HTCondor#.EC.B5.9C.EB.8C.80_.EC.9E.91.EC.97.85.EC.8B.9C.EA.B0.84| HTCondor의 GPU 최대 작업시간이 연장되었습니다.]] 2024.02.14
* [[HTCondor| HTCondor 사용법 문서가 갱신 되었습니다.]] 2023.09.21
* [[Storage_Element_Tutorial#.EC.84.9C.EB.B9.84.EC.8A.A4.EB.B3.84_.EC.8A.A4.ED.86.A0.EB.A6.AC.EC.A7.80_.EC.A0.91.EA.B7.BC| 이제 HTCondor에서 SE의 데이터를 바로 읽을 수 있습니다.]] 2023.06.23
* [[Bitwarden| bitwarden(패스워드 관리) 사용법 문서가 추가 되었습니다.]] 2023.03.14
* [[How_to_use_Tier3_at_KNU|How to use T3_KR_KNU 문서가 갱신 되었습니다.]] 2023.02.20
* [[Singularity|Singularity 사용법 문서가 갱신 되었습니다.]] 2022.09.15
* [[Mattermost|Mattermost 메신저 서비스를 시작합니다.]] 2022.09.05
* [[How_to_use_Tier3_at_KNU|How to use T3_KR_KNU 문서가 갱신 되었습니다.]] 2022.07.27
* 이제부터 최근 수정된 부분은 밑줄로 표시됩니다. 참고하시기 바립니다. 2022.06.08
* [[Storage_Element_Tutorial|Storage Element Tutorial이 갱신 되었습니다.]] 2022.06.08
* [[JupyterHub|JupyterHub 서비스를 시작합니다.]] 2022.03.23
* [[HTCondor_Job_Policy|이제 htcondor에서 request_memory보다 많은 메모리를 사용하는 작업은 자동으로 hold됩니다.]] 2022.02.09
* [[FreeIPA|인증시스템 전환(NIS→ FreeIPA)공지입니다.]] 2021.11.09
* [[cvmfs_geant4|CVMFS에서 geant4 사용하기 문서가 추가되었습니다.]] 2021.07.12
* [[cvmfs_root|CVMFS에서 root 사용하기 문서가 추가되었습니다.]] 2021.07.12
* [[cvmfs_gcc|CVMFS에서 원하는 버전의 gcc 사용하기 문서가 추가되었습니다.]] 2021.07.12
* [[WebDav|dCache에서 WebDav 프로토콜 및 마카롱 인증 사용하기 문서가 추가되었습니다.]] 2021.06.22
* [[Rucio|Rucio 사용법 문서가 추가되었습니다.]] 2021.06.08
* [[Uberftp|uberftp에 치명적인 버그가 있습니다. 사용에 주의하세요]] 2021.05.17
* [[HTCondorGPU|HTCondor에서 GPU 사용법 문서가 추가되었습니다.]] 2021.05.12
* [[HTCondor|HTCondor 사용법 문서가 갱신되었습니다.]] 2021.03.31
* [[mosh|mosh 가이드가 등록되었습니다.]] 2021.03.17
* [[x2go|x2go를 이용한 원격데스크탑 가이드가 등록되었습니다.]] 2021.03.11
* [[Xrootd|xrootd 를 활용한 SE Data 사용 가이드가 갱신되었습니다.]] 2021.03.05
* [[HTCondor에서 GPU 사용하기]] 2021.03.04
* [[Duc|자신의 디스크 사용량을 쉽게 확인할 수 있는 툴을 소개합니다.]] 2020.11.05
* [[CreamCE/SL6 서비스 종료]] 2020.10.15
* [[HTCondor|HTCondor 사용법 문서가 작성중입니다.]] 2020.07.30
* [[CreamCE/Torque → HTCondorCE/HTCondor 이전 안내]] 2020.07.23
* 스토리지 엘리먼트가 1.45PB로 증가하였습니다. 2020.06.26
* [[SFT|CVMFS SFT repository 사용법 문서가 갱신 되었습니다.]] 2020.03.20
* [[Scratch Disk가 교체 및 증설 안내]] 2020.02.10
* [[Notion|Notion 문서를 추가하였습니다.]] 2019.09.20
* [[Storage_Element_Tutorial|Storage Element Tutorial이 보강 되었습니다.]] 2019.08.30
* [[Storage_Element_Tutorial|Storage Element Tutorial이 보강 되었습니다.]] 2018.12.10
* [[Singularity|Singularity 사용법 문서가 추가 되었습니다.]] 2018.12.03
* [[SFT|CVMFS SFT repository 사용법 문서가 추가 되었습니다.]] 2018.11.08
* [[torque|Torque 사용법 문서가 갱신 되었습니다.]] 2018.10.15
* [[Storage_Element_Tutorial|Storage Element Tutorial이 보강 되었습니다.]] 2018.08.31
* [[Tier3BatchQueueInfo|Tier3 batch farm에 큰 메모리를 사용하는 작업 전용의 queue를 추가하였습니다.]] 2018.07.13
* [[T2_KR_KNU_Decommissioned| 경북대 Tier2 서비스는 4월 30일자로 종료되고 해당자원은 Tier3로 통합됩니다.]] 2018.04.18
* cms03이 SL6로 업그레이드되었습니다. 2018.01.16
* [[Storage_Element_Tutorial|Storage Element Tutorial이 갱신 되었습니다.]] 2017.11.22
* [[Xrootd|xrootd 를 활용한 SE Data 사용 가이드가 별도 분리되었습니다.]] 2017.11.22
* 스토리지 엘리먼트가 1.29PB로 증가하였습니다. 2017.10.12
* [[crab|Crab Tutorial을 업데이트 하였습니다.]] 2017.06.29
* [[Storage_Element_Tutorial#xrootd_.EB.A5.BC_.ED.99.9C.EC.9A.A9.ED.95.9C_SE_Data_.EC.A0.91.EA.B7.BC_.EB.B0.A9.EB.B2.95|Storage Element Tutorial에서 xrootd 관련 항목이 업데이트 되었습니다.]] 2017.06.15
* [[Webfts|WebFTS 사용법 항목이 추가되었습니다.]] 2017.04.14
* [[Dcap|dcap 사용법 항목이 갱신되었습니다.]] 2016.12.06
* 스토리지 엘리먼트가 1.2PB로 증가하였습니다. 2016.12.05
* [[Task_monitoring_for_the_analysis_users|Analysis 사용자를 위한 작업 모니터링 가이드가 추가되었습니다.]] 2016.10.19
* [[DCacheNFS|스토리지 엘리먼트의 NFS 사용 가이드가 갱신되었습니다.]] 2016.10.07
* [[Dcap|dcap 사용법 항목이 추가되었습니다.]] 2016.10.06
* 스토리지 엘리먼트가 1PB로 증가하였습니다. 2016.08.10
* [[DCacheNFS|스토리지 엘리먼트를 UI에서 NFS로 바로 읽을 수 있습니다.]] 2016.07.19
* [[Tier3BatchQueueInfo|Tier3 batch farm의 queue에 대한 세부정보를 업데이트 하였습니다.]] 2016.02.12
* [[Motd|Tier2/3 UI motd(Message of the Day)에서 스토리지 엘리먼트를 비롯한 디스크 사용량을 확인할수 있습니다.]] 2015.12.28
* [[Ssh_Public_key_Authentication|보다 안전하고 편리한 ssh 공개키 인증 사용법 항목이 추가 되었습니다.]] 2015.12.28
* [[Create-batch|create-batch 사용법 항목이 추가 되었습니다.]] 2015.12.21
* [[Storage_Element_Tutorial|Storage Element Tutorial 항목이 별도로 분리 되었습니다.]] 2015.10.29
* [[torque|Torque 사용법 항목이 별도로 분리 되었습니다.]] 2015.10.29
* [[crab|Crab Tutorial 항목이 별도로 분리 되었습니다.]] 2015.10.29
* [[Q&A|Q&A 항목이 추가 되었습니다.]] 2015.10.12
* [[uberftp | uberftp 사용법 항목이 추가되었습니다.]] 2015.10.12
* T2_KR_KNU 홈페이지가 리뉴얼 되었습니다. 2015.10.12
* [https://indico.cern.ch/event/386181/ 2015 CMS DAS (Data Analysis School) at Korea가 개최되었습니다.] 2015.08.25~29

News & Notices

2025-05-09T08:34:38Z

Hanbi: /* News & Notices */

== News & Notices ==
* [[HTCondor#Apptainer.28Singularity.29.EB.A5.BC_.EC.9D.B4.EC.9A.A9.ED.95.98.EC.97.AC_.EC.BD.94.EB.93.9C_.EC.8B.A4.ED.96.89|HTCondor에서 apptainer를 이용하여 코드 실행하기 문서가 갱신되었습니다.]] 2025.05.09
* [[Singularity|Apptainer 사용법 문서가 갱신 되었습니다.]] 2025.05.09
* [[Cvmfs_root|CVMFS 에서 root 사용하기 문서가 갱신 되었습니다.]] 2025.05.09
* [[Singularity|Apptainer 사용법 문서가 갱신 되었습니다.]] 2025.04.23
* [[HTCondor| HTCondor 사용법 문서가 갱신 되었습니다.]] 2024.07.08
* [[Singularity|Apptainer 사용법 문서가 갱신 되었습니다.]] 2024.06.13
* [[Storage_Element_Tutorial#.EC.84.9C.EB.B9.84.EC.8A.A4.EB.B3.84_.EC.8A.A4.ED.86.A0.EB.A6.AC.EC.A7.80_.EC.A0.91.EA.B7.BC| 스토리지 엘리먼트의 SRMv2 gridftp gsiftp 데이터 전송 프로토콜 지원이 종료됩니다.]] 2024.05.14
* [[HTCondor| HTCondor 사용법 문서가 갱신 되었습니다.]] 2024.03.11
* [[HTCondor#.EC.B5.9C.EB.8C.80_.EC.9E.91.EC.97.85.EC.8B.9C.EA.B0.84| HTCondor의 GPU 최대 작업시간이 연장되었습니다.]] 2024.02.14
* [[HTCondor| HTCondor 사용법 문서가 갱신 되었습니다.]] 2023.09.21
* [[Storage_Element_Tutorial#.EC.84.9C.EB.B9.84.EC.8A.A4.EB.B3.84_.EC.8A.A4.ED.86.A0.EB.A6.AC.EC.A7.80_.EC.A0.91.EA.B7.BC| 이제 HTCondor에서 SE의 데이터를 바로 읽을 수 있습니다.]] 2023.06.23
* [[Bitwarden| bitwarden(패스워드 관리) 사용법 문서가 추가 되었습니다.]] 2023.03.14
* [[How_to_use_Tier3_at_KNU|How to use T3_KR_KNU 문서가 갱신 되었습니다.]] 2023.02.20
* [[Singularity|Singularity 사용법 문서가 갱신 되었습니다.]] 2022.09.15
* [[Mattermost|Mattermost 메신저 서비스를 시작합니다.]] 2022.09.05
* [[How_to_use_Tier3_at_KNU|How to use T3_KR_KNU 문서가 갱신 되었습니다.]] 2022.07.27
* 이제부터 최근 수정된 부분은 밑줄로 표시됩니다. 참고하시기 바립니다. 2022.06.08
* [[Storage_Element_Tutorial|Storage Element Tutorial이 갱신 되었습니다.]] 2022.06.08
* [[JupyterHub|JupyterHub 서비스를 시작합니다.]] 2022.03.23
* [[HTCondor_Job_Policy|이제 htcondor에서 request_memory보다 많은 메모리를 사용하는 작업은 자동으로 hold됩니다.]] 2022.02.09
* [[FreeIPA|인증시스템 전환(NIS→ FreeIPA)공지입니다.]] 2021.11.09
* [[cvmfs_geant4|CVMFS에서 geant4 사용하기 문서가 추가되었습니다.]] 2021.07.12
* [[cvmfs_root|CVMFS에서 root 사용하기 문서가 추가되었습니다.]] 2021.07.12
* [[cvmfs_gcc|CVMFS에서 원하는 버전의 gcc 사용하기 문서가 추가되었습니다.]] 2021.07.12
* [[WebDav|dCache에서 WebDav 프로토콜 및 마카롱 인증 사용하기 문서가 추가되었습니다.]] 2021.06.22
* [[Rucio|Rucio 사용법 문서가 추가되었습니다.]] 2021.06.08
* [[Uberftp|uberftp에 치명적인 버그가 있습니다. 사용에 주의하세요]] 2021.05.17
* [[HTCondorGPU|HTCondor에서 GPU 사용법 문서가 추가되었습니다.]] 2021.05.12
* [[HTCondor|HTCondor 사용법 문서가 갱신되었습니다.]] 2021.03.31
* [[mosh|mosh 가이드가 등록되었습니다.]] 2021.03.17
* [[x2go|x2go를 이용한 원격데스크탑 가이드가 등록되었습니다.]] 2021.03.11
* [[Xrootd|xrootd 를 활용한 SE Data 사용 가이드가 갱신되었습니다.]] 2021.03.05
* [[HTCondor에서 GPU 사용하기]] 2021.03.04
* [[Duc|자신의 디스크 사용량을 쉽게 확인할 수 있는 툴을 소개합니다.]] 2020.11.05
* [[CreamCE/SL6 서비스 종료]] 2020.10.15
* [[HTCondor|HTCondor 사용법 문서가 작성중입니다.]] 2020.07.30
* [[CreamCE/Torque → HTCondorCE/HTCondor 이전 안내]] 2020.07.23
* 스토리지 엘리먼트가 1.45PB로 증가하였습니다. 2020.06.26
* [[SFT|CVMFS SFT repository 사용법 문서가 갱신 되었습니다.]] 2020.03.20
* [[Scratch Disk가 교체 및 증설 안내]] 2020.02.10
* [[Notion|Notion 문서를 추가하였습니다.]] 2019.09.20
* [[Storage_Element_Tutorial|Storage Element Tutorial이 보강 되었습니다.]] 2019.08.30
* [[Storage_Element_Tutorial|Storage Element Tutorial이 보강 되었습니다.]] 2018.12.10
* [[Singularity|Singularity 사용법 문서가 추가 되었습니다.]] 2018.12.03
* [[SFT|CVMFS SFT repository 사용법 문서가 추가 되었습니다.]] 2018.11.08
* [[torque|Torque 사용법 문서가 갱신 되었습니다.]] 2018.10.15
* [[Storage_Element_Tutorial|Storage Element Tutorial이 보강 되었습니다.]] 2018.08.31
* [[Tier3BatchQueueInfo|Tier3 batch farm에 큰 메모리를 사용하는 작업 전용의 queue를 추가하였습니다.]] 2018.07.13
* [[T2_KR_KNU_Decommissioned| 경북대 Tier2 서비스는 4월 30일자로 종료되고 해당자원은 Tier3로 통합됩니다.]] 2018.04.18
* cms03이 SL6로 업그레이드되었습니다. 2018.01.16
* [[Storage_Element_Tutorial|Storage Element Tutorial이 갱신 되었습니다.]] 2017.11.22
* [[Xrootd|xrootd 를 활용한 SE Data 사용 가이드가 별도 분리되었습니다.]] 2017.11.22
* 스토리지 엘리먼트가 1.29PB로 증가하였습니다. 2017.10.12
* [[crab|Crab Tutorial을 업데이트 하였습니다.]] 2017.06.29
* [[Storage_Element_Tutorial#xrootd_.EB.A5.BC_.ED.99.9C.EC.9A.A9.ED.95.9C_SE_Data_.EC.A0.91.EA.B7.BC_.EB.B0.A9.EB.B2.95|Storage Element Tutorial에서 xrootd 관련 항목이 업데이트 되었습니다.]] 2017.06.15
* [[Webfts|WebFTS 사용법 항목이 추가되었습니다.]] 2017.04.14
* [[Dcap|dcap 사용법 항목이 갱신되었습니다.]] 2016.12.06
* 스토리지 엘리먼트가 1.2PB로 증가하였습니다. 2016.12.05
* [[Task_monitoring_for_the_analysis_users|Analysis 사용자를 위한 작업 모니터링 가이드가 추가되었습니다.]] 2016.10.19
* [[DCacheNFS|스토리지 엘리먼트의 NFS 사용 가이드가 갱신되었습니다.]] 2016.10.07
* [[Dcap|dcap 사용법 항목이 추가되었습니다.]] 2016.10.06
* 스토리지 엘리먼트가 1PB로 증가하였습니다. 2016.08.10
* [[DCacheNFS|스토리지 엘리먼트를 UI에서 NFS로 바로 읽을 수 있습니다.]] 2016.07.19
* [[Tier3BatchQueueInfo|Tier3 batch farm의 queue에 대한 세부정보를 업데이트 하였습니다.]] 2016.02.12
* [[Motd|Tier2/3 UI motd(Message of the Day)에서 스토리지 엘리먼트를 비롯한 디스크 사용량을 확인할수 있습니다.]] 2015.12.28
* [[Ssh_Public_key_Authentication|보다 안전하고 편리한 ssh 공개키 인증 사용법 항목이 추가 되었습니다.]] 2015.12.28
* [[Create-batch|create-batch 사용법 항목이 추가 되었습니다.]] 2015.12.21
* [[Storage_Element_Tutorial|Storage Element Tutorial 항목이 별도로 분리 되었습니다.]] 2015.10.29
* [[torque|Torque 사용법 항목이 별도로 분리 되었습니다.]] 2015.10.29
* [[crab|Crab Tutorial 항목이 별도로 분리 되었습니다.]] 2015.10.29
* [[Q&A|Q&A 항목이 추가 되었습니다.]] 2015.10.12
* [[uberftp | uberftp 사용법 항목이 추가되었습니다.]] 2015.10.12
* T2_KR_KNU 홈페이지가 리뉴얼 되었습니다. 2015.10.12
* [https://indico.cern.ch/event/386181/ 2015 CMS DAS (Data Analysis School) at Korea가 개최되었습니다.] 2015.08.25~29

Main Page

2025-05-09T08:34:09Z

Hanbi: /* News & Notices */

__NOTOC__
='''KNU Tier-3 Center for CMS''' <img src="http://t2-cms.knu.ac.kr/img/CMS-logo.gif" width=25> =

Welcome to the CMS Tier-3 Center at Kyungpook National University in Korea.

This web portal is your gateway to the CMS Tier-3 center at Kyungpook National University (KNU) in Korea. This CMS Tier-3 center is being supported by the Ministry of Education, Science and Technology and is being maintained by the Center for High Energy Physics of the KNU.
We will support the CMS computing needs for Korean and overseas collaborators. For your general comments, questions, or reports of any problems regarding to this Center, please email to lcg_knu@knu.ac.kr.

== News & Notices ==
* [[HTCondor#Apptainer.28Singularity.29.EB.A5.BC_.EC.9D.B4.EC.9A.A9.ED.95.98.EC.97.AC_.EC.BD.94.EB.93.9C_.EC.8B.A4.ED.96.89|HTCondor에서 apptainer를 이용하여 코드 실행하기 문서가 갱신되었습니다.]] 2025.05.09
* [[Singularity|Apptainer 사용법 문서가 갱신 되었습니다.]] 2025.05.09
* [[Cvmfs_root|CVMFS 에서 root 사용하기 문서가 갱신 되었습니다.]] 2025.05.09
* [[Singularity|Apptainer 사용법 문서가 갱신 되었습니다.]] 2025.04.23
* [[HTCondor| HTCondor 사용법 문서가 갱신 되었습니다.]] 2024.07.08
* [[Singularity|Apptainer 사용법 문서가 갱신 되었습니다.]] 2024.06.13
* [[Storage_Element_Tutorial#.EC.84.9C.EB.B9.84.EC.8A.A4.EB.B3.84_.EC.8A.A4.ED.86.A0.EB.A6.AC.EC.A7.80_.EC.A0.91.EA.B7.BC| 스토리지 엘리먼트의 SRMv2 gridftp gsiftp 데이터 전송 프로토콜 지원이 종료됩니다.]] 2024.05.14
* [[HTCondor| HTCondor 사용법 문서가 갱신 되었습니다.]] 2024.03.11
* [[HTCondor#.EC.B5.9C.EB.8C.80_.EC.9E.91.EC.97.85.EC.8B.9C.EA.B0.84| HTCondor의 GPU 최대 작업시간이 연장되었습니다.]] 2024.02.14
* [[HTCondor| HTCondor 사용법 문서가 갱신 되었습니다.]] 2023.09.21
* [[Storage_Element_Tutorial#.EC.84.9C.EB.B9.84.EC.8A.A4.EB.B3.84_.EC.8A.A4.ED.86.A0.EB.A6.AC.EC.A7.80_.EC.A0.91.EA.B7.BC| 이제 HTCondor에서 SE의 데이터를 바로 읽을 수 있습니다.]] 2023.06.23
* [[Bitwarden| bitwarden(패스워드 관리 서비스) 사용법 문서가 추가 되었습니다.]] 2023.03.14
* [[How_to_use_Tier3_at_KNU|How to use T3_KR_KNU 문서가 갱신 되었습니다.]] 2023.02.20
* [[Singularity|Singularity 사용법 문서가 갱신 되었습니다.]] 2022.09.15
* [[Mattermost|Mattermost 메신저 서비스를 시작합니다.]] 2022.09.05
* [[How_to_use_Tier3_at_KNU|How to use T3_KR_KNU 문서가 갱신 되었습니다.]] 2022.07.27
* 이제부터 최근 수정된 부분은 밑줄로 표시됩니다. 참고하시기 바립니다. 2022.06.08
* [[Storage_Element_Tutorial|Storage Element Tutorial이 갱신 되었습니다.]] 2022.06.08
* [[JupyterHub|JupyterHub 서비스를 시작합니다.]] 2022.03.23
* [[HTCondor_Job_Policy|이제 htcondor에서 request_memory보다 많은 메모리를 사용하는 작업은 자동으로 hold됩니다.]] 2022.02.09
* [[FreeIPA|인증시스템 전환(NIS→ FreeIPA)공지입니다.]] 2021.11.09
* [[cvmfs_geant4|CVMFS에서 geant4 사용하기 문서가 추가되었습니다.]] 2021.07.12
* [[cvmfs_root|CVMFS에서 root 사용하기 문서가 추가되었습니다.]] 2021.07.12
* [[News & Notices|more ...]]

==Additional Services==

* [https://chep17.knu.ac.kr:3003 T3_KR_KNU Status - 작업 현황, 현재 사용량 등]
* [https://githep.knu.ac.kr:4443 Gitlab 서비스 - 소스코드 버전 관리 시스템]
* [https://mm.knu.ac.kr Mattermost 서비스 - 업무용 메신저 서비스]
* [https://indico.knu.ac.kr 경북대 물리학과 Indico]
* [https://indico.kno.or.kr KNO Indico]

==How to use Tier-3 at KNU?==
*[[How_to_use_Tier2_at_KNU|How to use Tier-3 at KNU?]]
**[[How_to_use_Tier2_at_KNU#Pre-requisites|Pre-requisites]]
**[[How_to_use_Tier2_at_KNU#KNU_Tier-2_Login|KNU_Tier-3 Login]]
**[[How_to_use_Tier2_at_KNU#CMSSW.28CMS_Software.29_Installation|CMSSW Installation]]
**[[crab|Crab Tutorial]]
**[[How_to_use_Tier2_at_KNU#Storage_Element_.28SE.29_Manual|Storage Element Tutorial]]
**[[uberftp|uberftp]]
**[[Q&A|Q&A]]

*[https://t2-cms.knu.ac.kr/lcg_registration.php KNU Account Registration]

----
{| style="width: 100%"
! style="text-align: left;text-valign: top" | Contact: Email: lcg_knu@knu.ac.kr
! style="text-align: right;" | THE CENTER FOR HIGH ENERGY PHYSICS KYUNGPOOK NATIONAL UNIVERSITY
|}

Main Page

2025-05-09T08:32:43Z

Hanbi: /* News & Notices */

__NOTOC__
='''KNU Tier-3 Center for CMS''' <img src="http://t2-cms.knu.ac.kr/img/CMS-logo.gif" width=25> =

Welcome to the CMS Tier-3 Center at Kyungpook National University in Korea.

This web portal is your gateway to the CMS Tier-3 center at Kyungpook National University (KNU) in Korea. This CMS Tier-3 center is being supported by the Ministry of Education, Science and Technology and is being maintained by the Center for High Energy Physics of the KNU.
We will support the CMS computing needs for Korean and overseas collaborators. For your general comments, questions, or reports of any problems regarding to this Center, please email to lcg_knu@knu.ac.kr.

== News & Notices ==
* [[Singularity|Apptainer 사용법 문서가 갱신 되었습니다.]] 2025.05.09
* [[Cvmfs_root|CVMFS 에서 root 사용하기 문서가 갱신 되었습니다.]] 2025.05.09
* [[Singularity|Apptainer 사용법 문서가 갱신 되었습니다.]] 2025.04.23
* [[HTCondor| HTCondor 사용법 문서가 갱신 되었습니다.]] 2024.07.08
* [[Singularity|Apptainer 사용법 문서가 갱신 되었습니다.]] 2024.06.13
* [[Storage_Element_Tutorial#.EC.84.9C.EB.B9.84.EC.8A.A4.EB.B3.84_.EC.8A.A4.ED.86.A0.EB.A6.AC.EC.A7.80_.EC.A0.91.EA.B7.BC| 스토리지 엘리먼트의 SRMv2 gridftp gsiftp 데이터 전송 프로토콜 지원이 종료됩니다.]] 2024.05.14
* [[HTCondor| HTCondor 사용법 문서가 갱신 되었습니다.]] 2024.03.11
* [[HTCondor#.EC.B5.9C.EB.8C.80_.EC.9E.91.EC.97.85.EC.8B.9C.EA.B0.84| HTCondor의 GPU 최대 작업시간이 연장되었습니다.]] 2024.02.14
* [[HTCondor| HTCondor 사용법 문서가 갱신 되었습니다.]] 2023.09.21
* [[Storage_Element_Tutorial#.EC.84.9C.EB.B9.84.EC.8A.A4.EB.B3.84_.EC.8A.A4.ED.86.A0.EB.A6.AC.EC.A7.80_.EC.A0.91.EA.B7.BC| 이제 HTCondor에서 SE의 데이터를 바로 읽을 수 있습니다.]] 2023.06.23
* [[Bitwarden| bitwarden(패스워드 관리 서비스) 사용법 문서가 추가 되었습니다.]] 2023.03.14
* [[How_to_use_Tier3_at_KNU|How to use T3_KR_KNU 문서가 갱신 되었습니다.]] 2023.02.20
* [[Singularity|Singularity 사용법 문서가 갱신 되었습니다.]] 2022.09.15
* [[Mattermost|Mattermost 메신저 서비스를 시작합니다.]] 2022.09.05
* [[How_to_use_Tier3_at_KNU|How to use T3_KR_KNU 문서가 갱신 되었습니다.]] 2022.07.27
* 이제부터 최근 수정된 부분은 밑줄로 표시됩니다. 참고하시기 바립니다. 2022.06.08
* [[Storage_Element_Tutorial|Storage Element Tutorial이 갱신 되었습니다.]] 2022.06.08
* [[JupyterHub|JupyterHub 서비스를 시작합니다.]] 2022.03.23
* [[HTCondor_Job_Policy|이제 htcondor에서 request_memory보다 많은 메모리를 사용하는 작업은 자동으로 hold됩니다.]] 2022.02.09
* [[FreeIPA|인증시스템 전환(NIS→ FreeIPA)공지입니다.]] 2021.11.09
* [[cvmfs_geant4|CVMFS에서 geant4 사용하기 문서가 추가되었습니다.]] 2021.07.12
* [[cvmfs_root|CVMFS에서 root 사용하기 문서가 추가되었습니다.]] 2021.07.12
* [[News & Notices|more ...]]

==Additional Services==

* [https://chep17.knu.ac.kr:3003 T3_KR_KNU Status - 작업 현황, 현재 사용량 등]
* [https://githep.knu.ac.kr:4443 Gitlab 서비스 - 소스코드 버전 관리 시스템]
* [https://mm.knu.ac.kr Mattermost 서비스 - 업무용 메신저 서비스]
* [https://indico.knu.ac.kr 경북대 물리학과 Indico]
* [https://indico.kno.or.kr KNO Indico]

==How to use Tier-3 at KNU?==
*[[How_to_use_Tier2_at_KNU|How to use Tier-3 at KNU?]]
**[[How_to_use_Tier2_at_KNU#Pre-requisites|Pre-requisites]]
**[[How_to_use_Tier2_at_KNU#KNU_Tier-2_Login|KNU_Tier-3 Login]]
**[[How_to_use_Tier2_at_KNU#CMSSW.28CMS_Software.29_Installation|CMSSW Installation]]
**[[crab|Crab Tutorial]]
**[[How_to_use_Tier2_at_KNU#Storage_Element_.28SE.29_Manual|Storage Element Tutorial]]
**[[uberftp|uberftp]]
**[[Q&A|Q&A]]

*[https://t2-cms.knu.ac.kr/lcg_registration.php KNU Account Registration]

----
{| style="width: 100%"
! style="text-align: left;text-valign: top" | Contact: Email: lcg_knu@knu.ac.kr
! style="text-align: right;" | THE CENTER FOR HIGH ENERGY PHYSICS KYUNGPOOK NATIONAL UNIVERSITY
|}

Main Page

2025-05-09T08:32:30Z

Hanbi: /* News & Notices */

__NOTOC__
='''KNU Tier-3 Center for CMS''' <img src="http://t2-cms.knu.ac.kr/img/CMS-logo.gif" width=25> =

Welcome to the CMS Tier-3 Center at Kyungpook National University in Korea.

This web portal is your gateway to the CMS Tier-3 center at Kyungpook National University (KNU) in Korea. This CMS Tier-3 center is being supported by the Ministry of Education, Science and Technology and is being maintained by the Center for High Energy Physics of the KNU.
We will support the CMS computing needs for Korean and overseas collaborators. For your general comments, questions, or reports of any problems regarding to this Center, please email to lcg_knu@knu.ac.kr.

== News & Notices ==
* [[Singularity|Apptainer 사용법 문서가 갱신 되었습니다.]] 2025.05.09
* [[Cvmfs_root|CVMFS 에서 root 사용하기 문서가 갱신 되었습니다.]] 2025.05.09
* [[Singularity|Apptainer 사용법 문서가 갱신 되었습니다.]] 2025.04.23
* [[HTCondor| HTCondor 사용법 문서가 갱신 되었습니다.]] 2024.07.08
* [[Singularity|Apptainer 사용법 문서가 갱신 되었습니다.]] 2024.06.13
* [[Storage_Element_Tutorial#.EC.84.9C.EB.B9.84.EC.8A.A4.EB.B3.84_.EC.8A.A4.ED.86.A0.EB.A6.AC.EC.A7.80_.EC.A0.91.EA.B7.BC| 스토리지 엘리먼트의 SRMv2 gridftp gsiftp 데이터 전송 프로토콜 지원이 종료됩니다.]] 2024.05.14
* [[HTCondor| HTCondor 사용법 문서가 갱신 되었습니다.]] 2024.03.11
* [[HTCondor#.EC.B5.9C.EB.8C.80_.EC.9E.91.EC.97.85.EC.8B.9C.EA.B0.84| HTCondor의 GPU 최대 작업시간이 연장되었습니다.]] 2024.02.14
* [[HTCondor| HTCondor 사용법 문서가 갱신 되었습니다.]] 2023.09.21
* [[Storage_Element_Tutorial#.EC.84.9C.EB.B9.84.EC.8A.A4.EB.B3.84_.EC.8A.A4.ED.86.A0.EB.A6.AC.EC.A7.80_.EC.A0.91.EA.B7.BC| 이제 HTCondor에서 SE의 데이터를 바로 읽을 수 있습니다.]] 2023.06.23
* [[Bitwarden| bitwarden(패스워드 관리 서비스) 사용법 문서가 추가 되었습니다.]] 2023.03.14
* [[How_to_use_Tier3_at_KNU|How to use T3_KR_KNU 문서가 갱신 되었습니다.]] 2023.02.20
* [[Singularity|Singularity 사용법 문서가 갱신 되었습니다.]] 2022.09.15
* [[Mattermost|Mattermost 메신저 서비스를 시작합니다.]] 2022.09.05
* [[How_to_use_Tier3_at_KNU|How to use T3_KR_KNU 문서가 갱신 되었습니다.]] 2022.07.27
* 이제부터 최근 수정된 부분은 밑줄로 표시됩니다. 참고하시기 바립니다. 2022.06.08
* [[Storage_Element_Tutorial|Storage Element Tutorial이 갱신 되었습니다.]] 2022.06.08
* [[JupyterHub|JupyterHub 서비스를 시작합니다.]] 2022.03.23
* [[HTCondor_Job_Policy|이제 htcondor에서 request_memory보다 많은 메모리를 사용하는 작업은 자동으로 hold됩니다.]] 2022.02.09
* [[FreeIPA|인증시스템 전환(NIS→ FreeIPA)공지입니다.]] 2021.11.09
* [[cvmfs_geant4|CVMFS에서 geant4 사용하기 문서가 추가되었습니다.]] 2021.07.12
* [[cvmfs_root|CVMFS에서 root 사용하기 문서가 추가되었습니다.]] 2021.07.12
* [[News & Notices|more ...]]

==Additional Services==

* [https://chep17.knu.ac.kr:3003 T3_KR_KNU Status - 작업 현황, 현재 사용량 등]
* [https://githep.knu.ac.kr:4443 Gitlab 서비스 - 소스코드 버전 관리 시스템]
* [https://mm.knu.ac.kr Mattermost 서비스 - 업무용 메신저 서비스]
* [https://indico.knu.ac.kr 경북대 물리학과 Indico]
* [https://indico.kno.or.kr KNO Indico]

==How to use Tier-3 at KNU?==
*[[How_to_use_Tier2_at_KNU|How to use Tier-3 at KNU?]]
**[[How_to_use_Tier2_at_KNU#Pre-requisites|Pre-requisites]]
**[[How_to_use_Tier2_at_KNU#KNU_Tier-2_Login|KNU_Tier-3 Login]]
**[[How_to_use_Tier2_at_KNU#CMSSW.28CMS_Software.29_Installation|CMSSW Installation]]
**[[crab|Crab Tutorial]]
**[[How_to_use_Tier2_at_KNU#Storage_Element_.28SE.29_Manual|Storage Element Tutorial]]
**[[uberftp|uberftp]]
**[[Q&A|Q&A]]

*[https://t2-cms.knu.ac.kr/lcg_registration.php KNU Account Registration]

----
{| style="width: 100%"
! style="text-align: left;text-valign: top" | Contact: Email: lcg_knu@knu.ac.kr
! style="text-align: right;" | THE CENTER FOR HIGH ENERGY PHYSICS KYUNGPOOK NATIONAL UNIVERSITY
|}

Singularity

2025-05-09T08:30:59Z

Hanbi: /* apptainer를 이용하여 cc7 프로그램 실행하기 */

== Apptainer 사용법 ==

=== 컨테이너란? ===

* vmware로 대표되는 가상화 기술과는 다른 모듈식으로 프로그램을 격리하여 운영할 수 있는 기술입니다.
* 해상 운송에서 사용하는 컨테이너에서 이름을 따왔으며 OS 환경과 독립적으로 모듈식으로 설치하고 실행할 수 있습니다.
* 하드웨어 및 OS 계층을 두지 않고 프로세스만 격리하기 때문에 기존의 가상화 기술에 비해 실행속도가 월등히 빠릅니다.
* 대표적인 컨테이너 프로그램으로 docker(https://www.docker.com) 가 있습니다.

=== 컨테이너의 장점? ===

* 프로그램의 배포 및 설치가 쉽습니다.
** 해당 프로그램용으로 이미 구축된 이미지를 배포하고 그 이미지를 이용해서 바로 원하는 프로그램을 실행할 수 있습니다.
** 이 부분에서 가상화 환경의 이미지와 비슷해보이나 월등이 작은 저장공간만을 사용하고 실행 속도 또한 빠릅니다.
* OS 환경과 독립적인 실행환경을 구축할 수 있습니다.
** ex) Scientific Linux 6 환경에서 Centos 7 환경에서 컴파일된 프로그램을 실행할 수 있습니다. 그 반대도 가능합니다.
* 격리 환경이므로 사용자 프로그램간의 간섭을 최소화 할 수 있습니다.

=== Apptainer란? ===

Apptainer (https://apptainer.org/) 과학 연산에 적합하게 만들어진 컨테이너 프로그램입니다. 과학연산 작업을 수행할때 docker보다 더 빠른 속도를 보여줍니다.

=== 기본 사용법 ===

==== exec ====

apptainer exec 컨테이너이미지 실행명령

* 준비된 이미지를 이용하여 단일 프로그램이나 스크립트를 실행합니다.

==== shell ====

apptainer shell 컨테이너이미지

* 컨테이너 안에 interactive shell을 생성합니다.

=== 사용 예제 ===

==== apptainer를 이용하여 cc7 프로그램 실행하기 ====

$ source /cvmfs/cms.cern.ch/cmsset_default.sh
$ cmssw-
cmssw-alma8 cmssw-cc7 cmssw-cs8 cmssw-el5 cmssw-el7 cmssw-el9 cmssw-fc39 cmssw-slc6
cmssw-cc6 cmssw-cc8 cmssw-cs9 cmssw-el6 cmssw-el8 cmssw-env cmssw-rocky8 cmssw-ubi8

$ cmssw-cc7
Singularity> cat /etc/redhat-release
CentOS Linux release 7.9.2009 (Core)

* cmssw-el8, cmssw-el9 등 본인이 원하는 환경을 실행할 수 있습니다.
* 처음 실행할 때는 이미지를 다운로드 받기 때문에 시간이 걸릴수 있습니다.

==== crab3 실행 ====

===== # CMSSW 설치 =====
$ set SCRAM_ARCH=slc7_amd64_gcc12 // 아키텍쳐 설정
$ source /cvmfs/cms.cern.ch/cmsset_default.sh
$ scramv1 list CMSSW | grep CMSSW_13_ // CMSSW 조회
$ scramv1 project CMSSW CMSSW_13_3_3 // CMSSW 설치

===== # crab 환경 설정 =====
$ source /cvmfs/cms.cern.ch/cmsset_default.sh
$ cmsenv
$ source /cvmfs/cms.cern.ch/crab3/crab.sh

===== # 작업 설정 =====
$ vi crab3config.py
$ vi job.py

===== # Grid proxy 생성 =====
$ voms-proxy-init --voms cms

===== # 작업 실행 =====
$ crab submit -c crab3config.py

===== # 작업 조회 =====
$ crab status

==== tensorflow 실행하기 ====

===== shell =====

$ apptainer shell \
> --home $PWD:/srv \
> --bind /cvmfs \
> --contain --ipc --pid \
> /cvmfs/singularity.opensciencegrid.org/opensciencegrid/tensorflow-gpu:1.4
Singularity :~>
Singularity :~> python3
Python 3.6.9 (default, Jan 26 2021, 15:33:00)
[GCC 8.4.0] on linux
Type "help", "copyright", "credits" or "license" for more information.
>>>
>>> import os
>>> os.environ['TF_CPP_MIN_LOG_LEVEL'] = '2'
>>>
>>> import tensorflow as tf
>>>
>>> hello = tf.constant('Hello, TensorFlow!')
>>> print(hello.numpy())
b' Hello, TensorFlow!'
>>>
>>> a = tf.constant(15)
>>> b = tf.constant(10)
>>> result = a + b
>>> print(result.numpy())
25
>>> quit()
Singularity :~>
Singularity :~> exit
$

* 위의 각 명령 실행시 cvmfs local cache에 관련 파일들이 다운로드 되어있지 않다면 많은 시간이 소요될 수 있습니다. 파일을 받았다면 두번째 부터는 빠르게 실행됩니다.

===== exec =====

$ cat HelloTensorflow.py
#!/usr/bin/python3

import os
os.environ['TF_CPP_MIN_LOG_LEVEL'] = '2'

import tensorflow as tf
hello = tf.constant('Hello, TensorFlow!')
print(hello.numpy())

a = tf.constant(15)
b = tf.constant(10)
result = a + b
print(result.numpy())

$ apptainer exec \
> --home $PWD:/srv \
> --bind /cvmfs \
> --contain --ipc --pid \
> /cvmfs/singularity.opensciencegrid.org/opensciencegrid/tensorflow-gpu:1.4 \
> ./HelloTensorflow.py
'Hello, TensorFlow!'
25
$

* shell 예제와 동일한 python 코드를 파일로 만들어 실행합니다.

=== CVMFS singularity.opensciencegrid.org repository에서 제공하고 있는 Apptainer 이미지 ===

2025년 4월 현재 CVMFS singularity.opensciencegrid.org repository에서 제공하고 있는 Apptainer 이미지는 다음과 같습니다.

※주의 : 계속해서 업데이트 되니, 본인에게 필요한 이미지가 있는지 확인해보시고 활용하시기 바랍니다. (ls -Rt /cvmfs/singularity.opensciencegrid.org/)

$ ls -Rt /cvmfs/singularity.opensciencegrid.org/
/cvmfs/singularity.opensciencegrid.org/:
lscsoft pystamp eic eicweb opencarp htc library pycbc

...
<중략>
...

/cvmfs/singularity.opensciencegrid.org/cwinpy:
cwinpy-containers

/cvmfs/singularity.opensciencegrid.org/cwinpy/cwinpy-containers:
cwinpy-dev-python38:latest

/cvmfs/singularity.opensciencegrid.org/matthew-pitkin:
cwinpy-containers

/cvmfs/singularity.opensciencegrid.org/matthew-pitkin/cwinpy-containers:

/cvmfs/singularity.opensciencegrid.org/patrickrmiles:

/cvmfs/singularity.opensciencegrid.org/scipp-atlas:
mario-mapyde

/cvmfs/singularity.opensciencegrid.org/scipp-atlas/mario-mapyde:

/cvmfs/singularity.opensciencegrid.org/rucio:
igwn-rucio-client

/cvmfs/singularity.opensciencegrid.org/rucio/igwn-rucio-client:

=== 경북대 UI에서 사용시 주의사항 ===

* 보안문제로 cvmfs 외의 이미지는 현재 지원하고 있지 않습니다.
* 따라서 이미지 생성 및 다운로드 등 이미지 사용과 관련된 명령어는 현재 사용할 수 없습니다.
* cvmfs의 특성상 원하는 이미지가 로컬 cache에 저장되어 있지 않다면 파일 다운로드로 인하여 초기 실행에 많은 시간이 필요할 수도 있습니다.

=== HTCondor에서 apptainer를 이용하여 코드 실행하기 ===

* [[HTCondor#Apptainer.28Singularity.29.EB.A5.BC_.EC.9D.B4.EC.9A.A9.ED.95.98.EC.97.AC_.EC.BD.94.EB.93.9C_.EC.8B.A4.ED.96.89|HTCondor에서 apptainer를 이용하여 코드 실행하기]]

=== 참고문서 ===

* Apptainer 사용자 가이드 : https://apptainer.org/docs/user/main/
* Apptainer 관리자 가이드 : https://apptainer.org/docs/admin/main/

Cvmfs root

2025-05-09T08:29:51Z

Hanbi: /* CVMFS 에서 root 사용하기 */

== CVMFS 에서 root 사용하기 ==

=== root 사용하기 - al9 ===

$ source /cvmfs/sft.cern.ch/lcg/releases/LCG_106a/ROOT/6.32.06/x86_64-el9-gcc13-opt/ROOT-env.sh
$ which root
/cvmfs/sft.cern.ch/lcg/releases/LCG_106a/ROOT/6.32.06/x86_64-el9-gcc13-opt/bin/root
$ root -l
root [0] .q

=== root 사용하기 - cc7 ===

$ source /cvmfs/sft.cern.ch/lcg/releases/LCG_94/ROOT/6.14.04/x86_64-centos7-gcc7-opt/ROOT-env.sh
$ which root
/cvmfs/sft.cern.ch/lcg/releases/LCG_94/ROOT/6.14.04/x86_64-centos7-gcc7-opt/bin/root
$ root -l
root [0] .q

=== root 사용하기 - SL6 ===

$ source /cvmfs/sft.cern.ch/lcg/releases/LCG_94/ROOT/6.14.04/x86_64-slc6-gcc62-opt/ROOT-env.sh
$ which root
/cvmfs/sft.cern.ch/lcg/releases/LCG_94/ROOT/6.14.04/x86_64-slc6-gcc62-opt/bin/root
$ root -l
root [0] .q