Singularity

Singularity 사용법

컨테이너란?

vmware로 대표되는 가상화 기술과는 다른 모듈식으로 프로그램을 격리하여 운영할 수 있는 기술입니다. 하드웨어 및 OS 계층을 두지 않고 프로세스만 격리하기 때문에 기존의 가상화 기술에 비해 실행속도가 월등히 빠릅니다. 대표적인 컨테이너 프로그램으로 docker(https://www.docker.com) 가 있습니다.

Singularity란?

Singularity(https://www.sylabs.io) 과학 연산에 적합하게 만들어진 컨테이너 프로그램입니다. 과학연산 작업을 수행할때 docker보다 더 빠른 속도를 보여줍니다.

컨테이너 사용의 장점?

• 프로그램의 배포 및 설치가 쉽습니다. 해당 프로그램용으로 이미 구축된 이미지를 배포하고 그 이미지를 이용해서 바로 원하는 프로그램을 실행할 수 있습니다.

이 부분에서 가상화 환경의 이미지와 비슷해보이나 월등이 작은 저장공간만을 사용하고 실행 속도 또한 빠릅니다.

• OS 환경과 독립적인 실행환경을 구축할 수 있습니다. ex) Scientific Linux 6 환경에서 Centos 7 환경에서 컴파일된 프로그램을 실행할 수 있습니다. 그 반대도 가능
• 격리 환경이므로 사용자 프로그램간의 간섭을 최소화 할 수 있습니다.

CVMFS singularity.opensciencegrid.org repository에서 제공하고 있는 singularity 이미지

2018년 11월 현재 CVMFS singularity.opensciencegrid.org repository에서 제공하고 있는 singularity 이미지는 다음과 같습니다. 계속해서 업데이트 되니 본인에게 필요한 이미지가 있는지 확인해보세요.

$ ls -Rt /cvmfs/singularity.opensciencegrid.org/
/cvmfs/singularity.opensciencegrid.org/:
pycbc          poldracklab      jborrel00          rynge       ssthapa        dcshrum     atlas          whit2333
mintproject    opensciencegrid  continuumio        ligo        econtal        cathrine98  leofang        centos
evolinc        discoenv         clelange           cyverse     ankushumn      ucatlas     dmbala
anniesoft      dajunluo         agladstein         nipy        markito3       shilpac     nkern
library        bbockelm         efajardo           wipac       biocontainers  argonneeic  djw8605
maureeungaro   drtmfigy         pegasus            kreczko     jamessaxon     rjones30    dbcooper
jbustamante35  jasoncpatton     researchcomputing  blaylockbk  adwasser       chekanov    lincolnbryant

/cvmfs/singularity.opensciencegrid.org/pycbc:
pycbc-el7:latest   pycbc-el7:v1.7.3   pycbc-el7:v1.7.11  pycbc-el7:v1.10.0  pycbc-el7:v1.11.4   pycbc-el7:v1.11.13
pycbc-el7:v1.13.1  pycbc-el7:v1.7.4   pycbc-el7:v1.8.1   pycbc-el7:v1.10.1  pycbc-el7:v1.11.2   pycbc-el7:v1.11.14
pycbc-el7:v1.13.0  pycbc-el7:v1.7.5   pycbc-el7:v1.8.2   pycbc-el7:v1.11.0  pycbc-el7:v1.11.5   pycbc-el7:v1.12.3
pycbc-el7:v1.12.4  pycbc-el7:v1.7.6   pycbc-el7:v1.9.0   pycbc-el7:v1.11.1  pycbc-el7:v1.11.8
pycbc-el7:v1.7.0   pycbc-el7:v1.7.8   pycbc-el7:v1.9.1   pycbc-el7:v1.12.0  pycbc-el7:v1.12.2
pycbc-el7:v1.7.1   pycbc-el7:v1.7.9   pycbc-el7:v1.9.2   pycbc-el7:v1.12.1  pycbc-el7:v1.11.9
pycbc-el7:v1.7.2   pycbc-el7:v1.7.10  pycbc-el7:v1.9.4   pycbc-el7:v1.11.3  pycbc-el7:v1.11.11

/cvmfs/singularity.opensciencegrid.org/mintproject:
kimetrica:latest  ankush:latest  pihm:latest  dssat:latest  cycles:latest

/cvmfs/singularity.opensciencegrid.org/evolinc:
osg-rmta:2.1  evolinc-i:1.6  rmta:1.6

/cvmfs/singularity.opensciencegrid.org/anniesoft:
toolanalysis:latest

/cvmfs/singularity.opensciencegrid.org/library:
ubuntu:latest  python:3.4     openjdk:8       debian:unstable  debian:latest  centos:centos7  alpine:latest
gcc:latest     python:latest  openjdk:latest  debian:testing   fedora:latest  centos:centos6  openjdk:9
python:2.7     r-base:latest  julia:latest    debian:stable    centos:latest  busybox:latest

/cvmfs/singularity.opensciencegrid.org/maureeungaro:
clas12simulations:production

/cvmfs/singularity.opensciencegrid.org/jbustamante35:
testphytoshell:phytoshell

/cvmfs/singularity.opensciencegrid.org/poldracklab:
fmriprep:latest

/cvmfs/singularity.opensciencegrid.org/opensciencegrid:
osgvo-ubuntu-18.04:latest  osgvo-el7:latest         npjoodi:latest              osgvo-blaylockbk:latest
osgvo-el6:latest           osgvo-biomedinfo:latest  tensorflow:latest           osgvo:el7
osg-wn:3.3-el7             tensorflow-gpu:latest    tensorflow-gpu:1.4          osgvo:el6
osg-wn:3.3-devel-el7       osgvo-beagle:latest      osgvo-el6-feltus:latest     osg-3.3-wn-el7:latest
osg-wn:3.3-testing-el7     osgvo-r:3.5              osgvo-torch:latest          osg-3.3-wn-el6:latest
osg-wn:3.3-el6             osgvo-el6-cuda:latest    osgvo-ubuntu-xenial:latest

/cvmfs/singularity.opensciencegrid.org/discoenv:
osg-word-count:1.0.0

/cvmfs/singularity.opensciencegrid.org/dajunluo:
deepvariant:latest

/cvmfs/singularity.opensciencegrid.org/bbockelm:
cms:rhel7  cms:rhel6

/cvmfs/singularity.opensciencegrid.org/drtmfigy:
hjets_herwig7:latest  fbps:latest  herwig_hjets:latest

/cvmfs/singularity.opensciencegrid.org/jasoncpatton:

/cvmfs/singularity.opensciencegrid.org/rynge:
osg-mcf10-mod:latest      osgvo-el7-testing:latest   einsteintoolkit:latest  osgvo:el6
osgvo-el6-testing:latest  osg-tensorflow-gpu:latest  osgvo:el7

/cvmfs/singularity.opensciencegrid.org/ligo:
software:el7  software:jessie  software:jessie-proposed

/cvmfs/singularity.opensciencegrid.org/cyverse:
osg-gl:1.0  rsem-prepare:latest

/cvmfs/singularity.opensciencegrid.org/nipy:
mindboggle:latest

/cvmfs/singularity.opensciencegrid.org/wipac:
npx-el6:latest  npx-el6:test  skylab:1.0.0  skylab_smancina:1.0.0  fasig_scalable_radio_array:latest

/cvmfs/singularity.opensciencegrid.org/kreczko:
workernode:centos7  workernode:centos6

/cvmfs/singularity.opensciencegrid.org/blaylockbk:
miniconda3_osg:latest

/cvmfs/singularity.opensciencegrid.org/ssthapa:
freesurferosg:5.1  freesurferosg:5.3  freesurferosg:6.0  freesurferosg:latest

/cvmfs/singularity.opensciencegrid.org/econtal:
numpy-mkl:latest

/cvmfs/singularity.opensciencegrid.org/ankushumn:
rsatest:latest

/cvmfs/singularity.opensciencegrid.org/markito3:
gluex_docker_prod:latest  gluex_docker_devel:latest

/cvmfs/singularity.opensciencegrid.org/biocontainers:
blast:latest

/cvmfs/singularity.opensciencegrid.org/jamessaxon:
postgres-routing:a0  postgres-routing:latest

/cvmfs/singularity.opensciencegrid.org/adwasser:
slomo:latest

/cvmfs/singularity.opensciencegrid.org/dcshrum:
singularity:cowsay

/cvmfs/singularity.opensciencegrid.org/cathrine98:
bbmap:latest

/cvmfs/singularity.opensciencegrid.org/ucatlas:
xah:21.2.4-latest

/cvmfs/singularity.opensciencegrid.org/shilpac:
my_mindboggle:latest

/cvmfs/singularity.opensciencegrid.org/argonneeic:
fpadsim:v1.4.1  evochain:v0.1  fpadsim:v1.4  fpadsim:v1.3  fpadsim:flat

/cvmfs/singularity.opensciencegrid.org/rjones30:
gluextest:latest  gluex6:latest  gluex:latest

/cvmfs/singularity.opensciencegrid.org/chekanov:
centos7hepsim:latest

/cvmfs/singularity.opensciencegrid.org/atlas:
athanalysis:21.2.4  analysisbase:21.2.4

/cvmfs/singularity.opensciencegrid.org/leofang:
cthyb-ohmic:latest

/cvmfs/singularity.opensciencegrid.org/dmbala:
r-ebcrimage:latest  r-3.4.1:latest

/cvmfs/singularity.opensciencegrid.org/nkern:
21cmfast_env:latest  21cmfast:latest

/cvmfs/singularity.opensciencegrid.org/djw8605:
gluexprod:latest

/cvmfs/singularity.opensciencegrid.org/dbcooper:
fpadsim:singularity

/cvmfs/singularity.opensciencegrid.org/lincolnbryant:
atlas-wn:latest

/cvmfs/singularity.opensciencegrid.org/whit2333:
eic-slic:latest

/cvmfs/singularity.opensciencegrid.org/centos:
python-34-centos7:latest