Difference between revisions of "How to use Tier3 at KNU"

Latest revision as of 07:31, 20 February 2023

Pre-requisites

KNU Tier-3를 이용하기 위해서는 Grid 환경에 접속하기 위한 인증서를 공식 인증 사이트를 통해 획득한 후 LCG VO에 등록하고 KNU Tier-3에 사용계획서 및 유저 등록을 통해 계정을 부여받는다.

CERN 및 CMS User 등록

 CERN & CMS User Registration

VO(Virtual Organisation) 등록

  CERN Certificate를 다운로드 받은 웹브라우저(인증서가 import 되어 있는)로
  LCG CMS VO에 접속하여 인증서를 등록. (참고: VO 등록방법 안내 자료)
  이메일등 신상 정보를 입력하고, role을 선택한 후 신청서를 제출하면, 담당자가 등록 결과를 이메일로 보내줌. CMS VO 등록 여부 확인 홈페이지

Getting KNU Tier-3 Account

  1) KNU Account Registration 웹페이지에서 신청서를 작성, 제출한다.
  2) 사용계획서(hwp)를 작성하여 e-mail(lcg_knu@knu.ac.kr)로 발송한다.
  

   발급 받은 임시 비밀번호를 이용해 KNU Tier-3 UI에 접속합니다. (임시 비밀번호는 "passwd"명령을 이용하여 반드시 변경하십시오)
   
  $ ssh userid@kcms-t2.knu.ac.kr

   <<Account 발급 전, 자주 하는 질문>>
   Q : 사용계획서는 왜 적어야 하나요?
   A : 사용계획서를 통하여 연구자들에게 필요한 전산 자원을 가늠하고 그에 따른 준비를 할 수 있습니다.
  
   Q : CMS에서 처음 일하게 되어 전반적인 연구 내용을 잘 모릅니다. 신청서 내용 작성에 어려움이 많습니다. 어떻게 하면 좋을까요?
   A : CMS 신규 사용자의 경우 연구 내용을 잘 모를 수 있고, 컴퓨팅 자원에 대한 지식이 부족할 수 있습니다.
       사용계획서 내의 예시를 보시고 작성하실 수 있는 부분을 간략히 적으시면 됩니다.
       잘 모르는 부분은 빈란으로 두셔도 되지만, 가능하다면 연구실 선임께 여쭤보시는 방법도 좋습니다.
  
   Q : 연구 계획서에서 앞으로 사용할 (CPU, Disk) 사용량을 적어 냈는데요, 반드시 이 범위 내에서만 사용해야 하나요?
   A : 연구를 진행하시면서 연구 계획이 구체화되고 이에 따라 자원의 필요량이 증가하시면, Tier-3 연락처를 통해 미리 말씀해 주시면 필요한 자원의 할당을 준비해 드리겠습니다.
       대량의 연구자원을 갑작스럽게 요청하시면 자원 할당에 시간이 다소 소요될 수 있습니다.
  
   Q : 초기에 제출한 전산자원 사용량을 초과하여 사용할 경우 불익이 있나요?
   A : 개인 용량을 다소 초과하셔도 불익은 없습니다. 다만 추가 사용량이 큰 경우 협의를 통해 조정하시기 바랍니다.
  
   Q : 연구의 내용이 확장되어 더 많은 자원을 필요로 합니다. 이런 경우 어떻게 해야 하나요?
   A : 연구계획 수정 내용을 추가로 작성/제출하시면 됩니다.
       Tier-3 에서 보유하고 있는 여유 전산자원에 따라, 필요하신 자원의 준비에 다소 시간이 소요될 수 있으니 시간적 여유를 두시고 신청해 주시면 감사하겠습니다.
  
   (기타 궁금하신 부분이 있으시면 언제든 연락 주시면 안내해 드리겠습니다.)

Certificate

 CERN 인증서 웹사이트에 접속하여 Certificate를 발급받는다.  

 Certificate가 발급되면 인증서를 개인 PC 웹브라우저에 Import 한 후, 
 Import된 인증서를 웹브라우저 설정 메뉴 중 Public key 관련탭에서 개인 PC로 Export할 수 있다. 
 (인증서를 Export할 시 확장자는 ".Pfx"로 선택하시기 바랍니다.) 

 Export된 인증서 파일은 cms UI(cms.knu.ac.kr)의 본인 디렉토리에 복사한 후
 아래의 순서대로 인증서와 키를 만들어 .globus 디렉토리에 넣으시기 바랍니다.
  $ mkdir .globus
  $ openssl pkcs12 -in usercert.pfx -clcerts -nokeys -out .globus/usercert.pem
  $ openssl pkcs12 -in usercert.pfx -nocerts -out .globus/userkey.pem
  $ chmod 644 .globus/usercert.pem
  $ chmod 400 .globus/userkey.pem

KNU Tier-3 Login

KNU UI 현황

ssh

Linux에서 ssh로 UI에 접속하기

터미널을 열어서 원격로그인(SSH)으로 접속한다. 
$ ssh -X username@kcms-t2.knu.ac.kr( or username@cms.knu.ac.kr, username@cms01.knu.ac.kr)
$ ssh -X username@kcms-t3.knu.ac.kr( or username@cms02.knu.ac.kr, username@cms03.knu.ac.kr)

Windows OS에서 ssh로 UI에 접속하기

Windows OS 에서 linux 서버로 접속하려면 원격 로그인을 사용할 수 있는 특정 프로그램이 필요하다.
   예) Putty(무료), SSH Secure Shell Client (프리웨어 또는 정식 서비스를 찾아 설치가능) - SSH Secure Shell Client 예시 화면
또한, Event display 및 ROOT을 사용하기 위해서는 다음과 같은 X 서버를 별도로 설치하여야 한다.
   예) Xming(무료), Cygwin/X(무료), Hummingbird(유료), Xmanager(유료)

패스워드 변경

• 첫 로그인 후 개인 Password 및 shell 설정시 유의사항

1) 패스워드 변경시 passwd 명령을 사용.

$ passwd

[주의 : 비밀번호 변경은 더이상 yppasswd 명령을 사용하지 않습니다.]

2) 패스워드의 생성
- 패스워드는 최소 12자리의 알파벳 대소문자, 숫자, 특수문자 의 조합으로 만들어야 합니다.
- 패스워드의 유효기간은 1년이며 유효기간이 지나기전에 새로운 패스워드로 변경해야합니다.
- 패스워드 유효기간 만료일이 다가오면 안내 메일이 자동으로 발송됩니다. 유효기간이 지나면 3일후 계정은 자동으로 잠깁니다.
- 지난번에 사용한 패스워드는 다시 사용할 수 없습니다.

기본 shell 변경

• 계정이 발급되었을때 처음 기본 쉘은 bash 입니다. 기본 shell의 변경은 chsh.sh 명령을 이용하여 tcsh 혹은 zsh 등의 자신이 선호하는 shell로 변경할 수 있습니다.

$ chsh.sh /bin/tcsh

[주의 : shell 변경은 더이상 chsh 명령을 사용하지 않습니다.]

ssh public key authentication

public key 인증방법으로 안전하 편리한 ssh 사용하기 페이지로 이동

ssh 보다 편리한 mosh

• mosh 소개 및 사용법

원격 데스크탑 접속이 필요하다면 x2go

• x2go를 이용한 원격데스크탑 가이드

JupyterHub

• JupyterHub 사용법

Computing Element, 연산 자원 사용하기

Grid 작업을 위한 CRAB Tutorial

• Crab tutorial 항목을 참고하세요.

배치 작업(HTCondor) 실행하기

HTCondor Batch System 사용법 페이지로 바로 가기

HTCondor에서 GPU 사용하기

HTCondor에서 GPU 사용하기 페이지로 바로 가기

create-batch 사용하기

create-batch 사용법으로 바로 가기

Storage Element, 데이터 저장장치 사용하기

Storage Element Tutorial

Storage Element Tutorial 페이지로 가기

xrootd 를 활용한 SE Data 사용 가이드

xrootd 를 활용한 SE Data 사용 가이드 페이지로 가기

dCache에서 WebDav 프로토콜 및 MACAROONS 인증 사용하기

dCache에서 WebDav 프로토콜 및 MACAROONS 인증 사용하기 페이지로 가기

dcap 프로토콜을 이용하여 SE 사용하기

dcap을 이용하여 SE 사용하기 페이지로 가기

CMS Dataset 전송을 위한 Rucio 사용법

Rucio 사용법 페이지로 가기

WebFTS 사용법

WebFTS 사용법 페이지로 가기

응용 소프트웨어 사용

CMSSW(CMS Software) Installation

• CMSSW 을 설치하기 위해 먼저 설치 환경을 설정한다.

$ source /cvmfs/cms.cern.ch/cmsset_default.csh

bash shell을 사용한다면

$ source /cvmfs/cms.cern.ch/cmsset_default.sh

설치하고자 하는 버전의 CMSSW 를 확인한 후 개인 <working-directroy> 로 이동하여 설치한다. (x.y.z 는 버전을 나타낸다)

$ scramv1 list CMSSW
$ cd <working-directory>
$ scramv1 project CMSSW CMSSW_x_y_z

CVMFS에 이미 설치되어 있는 소프트웨어 사용하기

CVMFS 에서 geant4 사용하기

CVMFS 에서 geant4 사용하기 페이지로 바로 가기

CVMFS 에서 root 사용하기

CVMFS 에서 root 사용하기 페이지로 바로 가기

CVMFS에서 원하는 버전의 gcc 사용하기

CVMFS에서 원하는 버전의 gcc 사용하기 페이지로 바로 가기

CVMFS SFT repository 사용법

CVMFS SFT repository 사용법 페이지로 바로 가기

HPC를 위한 컨테이너 시스템 Singularity 사용법

Singularity 사용법 페이지로 바로 가기

기타

부가 서비스

T3_KR_KNU 모니터링 - grafana

• https://chep17.knu.ac.kr:3003/
• T3_KR_KNU Status: HTCondor Status, Storage Status
• HTCondor Job History: 사용자의 HTCondor 작업 모니터링, CPU Efficiency, RequestMemory - JobMemoryUsage, Job Running Time 등
• Network Status: 네트워크 사용 현황
• Storage Status: 사용자 및 사용자 그룹의 스토리지 이용 현황
• UI Status : UI 시스템 현황
• Tier3 통합인증

GitLab

• https://githep.knu.ac.kr:4443/
• git 버전관리 서비스
• Tier3 통합인증

Mattermost

• https://mm.knu.ac.kr/
• 업무용 메신저 서비스
• Tier3 통합인증, 자체인증
• Mattermost 이용방법

Q & A