Difference between revisions of "Singularity"

Revision as of 11:48, 29 November 2018

1 Singularity 사용법

1.1 컨테이너란?

• vmware로 대표되는 가상화 기술과는 다른 모듈식으로 프로그램을 격리하여 운영할 수 있는 기술입니다.
• 해상 운송에서 사용하는 컨테이너에서 이름을 따왔으며 OS 환경과 독립적으로 모듈식으로 설치하고 실행할 수 있습니다.
• 하드웨어 및 OS 계층을 두지 않고 프로세스만 격리하기 때문에 기존의 가상화 기술에 비해 실행속도가 월등히 빠릅니다.
• 대표적인 컨테이너 프로그램으로 docker(https://www.docker.com) 가 있습니다.

1.2 컨테이너의 장점?

• 프로그램의 배포 및 설치가 쉽습니다.
  • 해당 프로그램용으로 이미 구축된 이미지를 배포하고 그 이미지를 이용해서 바로 원하는 프로그램을 실행할 수 있습니다.
  • 이 부분에서 가상화 환경의 이미지와 비슷해보이나 월등이 작은 저장공간만을 사용하고 실행 속도 또한 빠릅니다.
• OS 환경과 독립적인 실행환경을 구축할 수 있습니다.
  • ex) Scientific Linux 6 환경에서 Centos 7 환경에서 컴파일된 프로그램을 실행할 수 있습니다. 그 반대도 가능
• 격리 환경이므로 사용자 프로그램간의 간섭을 최소화 할 수 있습니다.

1.3 Singularity란?

Singularity(https://www.sylabs.io) 과학 연산에 적합하게 만들어진 컨테이너 프로그램입니다. 과학연산 작업을 수행할때 docker보다 더 빠른 속도를 보여줍니다.

1.4 기본 사용법

1.4.1 exec

singularity exec 이미지 실행명령

1.4.2 shell

singularity shell 이미지

1.5 사용 예제

1.5.1 Scientific Linux 6 환경에서 Centos 7 프로그램 실행하기

singularity shell \
           --home $PWD:/srv \
           --bind /cvmfs \
           --contain --ipc --pid \
           /cvmfs/singularity.opensciencegrid.org/library/centos:centos7

• --home $PWD:/srv ----> 현재 디렉토리를 가상 환경안 /srv 디렉토리에 마운트하고 홈디렉토리로 지정
• --bind /cvmfs ----> /cvmfs 디렉토리를 가상 환경안 /cvmfs 디렉토리에 마운트
• --contain --ipc --pid ---->
• /cvmfs/singularity.opensciencegrid.org/library/centos:centos7 ----> centos7 이미지

$ ls
aa  bb  cc

$ pwd
/u/user/test/test1

$ cat /etc/redhat-release
Scientific Linux release 6.8 (Carbon)

$ singularity shell \
>             --home $PWD:/srv \
>             --bind /cvmfs \
>             --contain --ipc --pid \
>               /cvmfs/singularity.opensciencegrid.org/library/centos:centos7
Singularity: Invoking an interactive shell within container...

sh-4.2$ pwd
/srv

sh-4.2$ ls
aa  bb  cc

sh-4.2$ cat /etc/redhat-release
CentOS Linux release 7.5.1804 (Core)

1.5.2 Centos 7 환경에서 Scientific Linux 6 프로그램 실행하기

1.6 CVMFS singularity.opensciencegrid.org repository에서 제공하고 있는 singularity 이미지

2018년 11월 현재 CVMFS singularity.opensciencegrid.org repository에서 제공하고 있는 singularity 이미지는 다음과 같습니다. 계속해서 업데이트 되니 본인에게 필요한 이미지가 있는지 확인해보세요.

$ ls -Rt /cvmfs/singularity.opensciencegrid.org/
/cvmfs/singularity.opensciencegrid.org/:
pycbc          poldracklab      jborrel00          rynge       ssthapa        dcshrum     atlas          whit2333
mintproject    opensciencegrid  continuumio        ligo        econtal        cathrine98  leofang        centos
evolinc        discoenv         clelange           cyverse     ankushumn      ucatlas     dmbala
anniesoft      dajunluo         agladstein         nipy        markito3       shilpac     nkern
library        bbockelm         efajardo           wipac       biocontainers  argonneeic  djw8605
maureeungaro   drtmfigy         pegasus            kreczko     jamessaxon     rjones30    dbcooper
jbustamante35  jasoncpatton     researchcomputing  blaylockbk  adwasser       chekanov    lincolnbryant

/cvmfs/singularity.opensciencegrid.org/pycbc:
pycbc-el7:latest   pycbc-el7:v1.7.3   pycbc-el7:v1.7.11  pycbc-el7:v1.10.0  pycbc-el7:v1.11.4   pycbc-el7:v1.11.13
pycbc-el7:v1.13.1  pycbc-el7:v1.7.4   pycbc-el7:v1.8.1   pycbc-el7:v1.10.1  pycbc-el7:v1.11.2   pycbc-el7:v1.11.14
pycbc-el7:v1.13.0  pycbc-el7:v1.7.5   pycbc-el7:v1.8.2   pycbc-el7:v1.11.0  pycbc-el7:v1.11.5   pycbc-el7:v1.12.3
pycbc-el7:v1.12.4  pycbc-el7:v1.7.6   pycbc-el7:v1.9.0   pycbc-el7:v1.11.1  pycbc-el7:v1.11.8
pycbc-el7:v1.7.0   pycbc-el7:v1.7.8   pycbc-el7:v1.9.1   pycbc-el7:v1.12.0  pycbc-el7:v1.12.2
pycbc-el7:v1.7.1   pycbc-el7:v1.7.9   pycbc-el7:v1.9.2   pycbc-el7:v1.12.1  pycbc-el7:v1.11.9
pycbc-el7:v1.7.2   pycbc-el7:v1.7.10  pycbc-el7:v1.9.4   pycbc-el7:v1.11.3  pycbc-el7:v1.11.11

/cvmfs/singularity.opensciencegrid.org/mintproject:
kimetrica:latest  ankush:latest  pihm:latest  dssat:latest  cycles:latest

/cvmfs/singularity.opensciencegrid.org/evolinc:
osg-rmta:2.1  evolinc-i:1.6  rmta:1.6

/cvmfs/singularity.opensciencegrid.org/anniesoft:
toolanalysis:latest

/cvmfs/singularity.opensciencegrid.org/library:
ubuntu:latest  python:3.4     openjdk:8       debian:unstable  debian:latest  centos:centos7  alpine:latest
gcc:latest     python:latest  openjdk:latest  debian:testing   fedora:latest  centos:centos6  openjdk:9
python:2.7     r-base:latest  julia:latest    debian:stable    centos:latest  busybox:latest

/cvmfs/singularity.opensciencegrid.org/maureeungaro:
clas12simulations:production

/cvmfs/singularity.opensciencegrid.org/jbustamante35:
testphytoshell:phytoshell

/cvmfs/singularity.opensciencegrid.org/poldracklab:
fmriprep:latest

/cvmfs/singularity.opensciencegrid.org/opensciencegrid:
osgvo-ubuntu-18.04:latest  osgvo-el7:latest         npjoodi:latest              osgvo-blaylockbk:latest
osgvo-el6:latest           osgvo-biomedinfo:latest  tensorflow:latest           osgvo:el7
osg-wn:3.3-el7             tensorflow-gpu:latest    tensorflow-gpu:1.4          osgvo:el6
osg-wn:3.3-devel-el7       osgvo-beagle:latest      osgvo-el6-feltus:latest     osg-3.3-wn-el7:latest
osg-wn:3.3-testing-el7     osgvo-r:3.5              osgvo-torch:latest          osg-3.3-wn-el6:latest
osg-wn:3.3-el6             osgvo-el6-cuda:latest    osgvo-ubuntu-xenial:latest

/cvmfs/singularity.opensciencegrid.org/discoenv:
osg-word-count:1.0.0

/cvmfs/singularity.opensciencegrid.org/dajunluo:
deepvariant:latest

/cvmfs/singularity.opensciencegrid.org/bbockelm:
cms:rhel7  cms:rhel6

/cvmfs/singularity.opensciencegrid.org/drtmfigy:
hjets_herwig7:latest  fbps:latest  herwig_hjets:latest

/cvmfs/singularity.opensciencegrid.org/jasoncpatton:

/cvmfs/singularity.opensciencegrid.org/rynge:
osg-mcf10-mod:latest      osgvo-el7-testing:latest   einsteintoolkit:latest  osgvo:el6
osgvo-el6-testing:latest  osg-tensorflow-gpu:latest  osgvo:el7

/cvmfs/singularity.opensciencegrid.org/ligo:
software:el7  software:jessie  software:jessie-proposed

/cvmfs/singularity.opensciencegrid.org/cyverse:
osg-gl:1.0  rsem-prepare:latest

/cvmfs/singularity.opensciencegrid.org/nipy:
mindboggle:latest

/cvmfs/singularity.opensciencegrid.org/wipac:
npx-el6:latest  npx-el6:test  skylab:1.0.0  skylab_smancina:1.0.0  fasig_scalable_radio_array:latest

/cvmfs/singularity.opensciencegrid.org/kreczko:
workernode:centos7  workernode:centos6

/cvmfs/singularity.opensciencegrid.org/blaylockbk:
miniconda3_osg:latest

/cvmfs/singularity.opensciencegrid.org/ssthapa:
freesurferosg:5.1  freesurferosg:5.3  freesurferosg:6.0  freesurferosg:latest
 
/cvmfs/singularity.opensciencegrid.org/econtal:
numpy-mkl:latest

/cvmfs/singularity.opensciencegrid.org/ankushumn:
rsatest:latest

/cvmfs/singularity.opensciencegrid.org/markito3:
gluex_docker_prod:latest  gluex_docker_devel:latest

/cvmfs/singularity.opensciencegrid.org/biocontainers:
blast:latest

/cvmfs/singularity.opensciencegrid.org/jamessaxon:
postgres-routing:a0  postgres-routing:latest

/cvmfs/singularity.opensciencegrid.org/adwasser:
slomo:latest

/cvmfs/singularity.opensciencegrid.org/dcshrum:
singularity:cowsay

/cvmfs/singularity.opensciencegrid.org/cathrine98:
bbmap:latest

/cvmfs/singularity.opensciencegrid.org/ucatlas:
xah:21.2.4-latest

/cvmfs/singularity.opensciencegrid.org/shilpac:
my_mindboggle:latest

/cvmfs/singularity.opensciencegrid.org/argonneeic:
fpadsim:v1.4.1  evochain:v0.1  fpadsim:v1.4  fpadsim:v1.3  fpadsim:flat

/cvmfs/singularity.opensciencegrid.org/rjones30:
gluextest:latest  gluex6:latest  gluex:latest

/cvmfs/singularity.opensciencegrid.org/chekanov:
centos7hepsim:latest

/cvmfs/singularity.opensciencegrid.org/atlas:
athanalysis:21.2.4  analysisbase:21.2.4

/cvmfs/singularity.opensciencegrid.org/leofang:
cthyb-ohmic:latest

/cvmfs/singularity.opensciencegrid.org/dmbala:
r-ebcrimage:latest  r-3.4.1:latest

/cvmfs/singularity.opensciencegrid.org/nkern:
21cmfast_env:latest  21cmfast:latest

/cvmfs/singularity.opensciencegrid.org/djw8605:
gluexprod:latest

/cvmfs/singularity.opensciencegrid.org/dbcooper:
fpadsim:singularity

/cvmfs/singularity.opensciencegrid.org/lincolnbryant:
atlas-wn:latest

/cvmfs/singularity.opensciencegrid.org/whit2333:
eic-slic:latest

/cvmfs/singularity.opensciencegrid.org/centos:
python-34-centos7:latest

1.7 경북대 UI에서 사용시 주의사항

• 보안문제로 cvmfs 외의 이미지는 현재 지원하고 있지 않습니다.
• 따라서 이미지 생성 및 별도의 이미지 사용과 관련해서는 에러가 발생합니다.

1.8 참고문서

• Singularity 3.0 사용자 가이드 : https://www.sylabs.io/guides/3.0/user-guide/
• Singularity 2.6 관리자 가이드 : https://www.sylabs.io/guides/3.0/admin-guide/
• Singularity 2.6 사용자 가이드 : https://www.sylabs.io/guides/2.6/user-guide/
• Singularity 2.6 관리자 가이드 : https://www.sylabs.io/guides/2.6/admin-guide/