Bioapplications puhti

Tämä opassivu sisältää vaiheittaiset ohjeet siihen, miten valittujen bio-ohjelmistojen Singularity-kontteja ajetaan Puhti-supertietokoneessa. Alla esitetyt esimerkit toimivat mallina omien räätälöityjen Singularity-ajojen rakentamiseen.

DeepVariant-työvuo
...

DeepVariant-työvuo

DeepVariant-työvuota (Poplin et al., Nature Biotechnology, 2018) käytetään varianttien tunnistamiseen WGS- ja WES-aineistoissa. Lisätietoja DeepVariant-ohjelmista löytyy täältä.

DeepVariant-työvuon ajamiseen tarvitaan DeepVariantin Docker-image, mallit ja testidata. Lisäksi DeepVariant-menetelmän ajamisen edellytyksiä ovat 1) referenssigenomi FASTA -muodossa ja sitä vastaava indeksitiedosto (.fai) sekä 2) kohdistettujen lukujen tiedosto BAM -muodossa ja sitä vastaava indeksitiedosto (.bai).

Muunna Docker-image Singularity-imageksi omalla koneellasi

Yksi tapa rakentaa Singularity-image on ladata DeepVariantin Docker-image paikalliseen rekisteriin ja muuntaa se sitten Singularity-imageksi. Näin voidaan välttää mahdolliset virheet, joita voi ilmetä, jos Docker-image vedetään suoraan Google-rekisteristä singularity build -komennolla. Huomaa, että nämä image-muunnokset täytyy tehdä omalla koneellasi tai virtuaalikoneessa cPoudassa, koska Puhti ei myönnä käyttäjille root-oikeuksia.

Vedä DeepVariant-image ja työnnä se paikalliseen rekisteriin seuraavasti:

sudo docker pull gcr.io/deepvariant-docker/deepvariant:0.8.0
sudo docker tag gcr.io/deepvariant-docker/deepvariant:0.8.0 localhost:5000/deepvariant:latest
sudo docker run -d -p 5000:5000 --restart=always --name registry registry:2
sudo docker push localhost:5000/deepvariant:latest

luo sitten määrittelytiedosto (deffile) seuraavasti:

Bootstrap: docker
Registry: http://localhost:5000
Namespace:
From:deepvariant:latest

ja luo lopuksi Singularity-image seuraavasti:

sudo SINGULARITY_NOHTTPS=1 singularity build deepvariant.simg  deffile

Vaihtoehtoisesti voit ladata valmiiksi muunnetut Singularity-imaget (sekä CPU- että GPU-versiot) yhdessä testidatan kanssa CSC:n Altaasta seuraavasti:

wget https://a3s.fi/pilot_projects/Deepvariant_singularity.zip

Valmistele eräajokomentosarja DeepVariant-työvuon ajamiseen Puhdissa (tiedosto: deepvariant_puhti.sh)

#!/bin/bash
#SBATCH --time=00:05:00
#SBATCH --partition=test
#SBATCH --account=project_xxx

export TMPDIR=$PWD 

singularity -s exec -B $PWD:/data  \
deepvariant.simg \
/opt/deepvariant/bin/run_deepvariant \
--model_type=WGS \
--ref=/data/testdata/ucsc.hg19.chr20.unittest.fasta \
--reads=/data/testdata/NA12878_S1.chr20.10_10p1mb.bam \
--regions "chr20:10,000,000-10,010,000" \
--output_vcf=output.vcf.gz  \
--output_gvcf=output.g.vcf.gz

Lähetä työ `sbatch`-komennolla

sbatch  deepvariant_puhti.sh

Huomaa, että DeepVariantin GPU-versiota voi käyttää seuraavalla sbatch-komentosarjalla

#!/bin/bash
#SBATCH --time=00:05:00
#SBATCH --partition=gputest
#SBATCH --gres=gpu:v100:1
#SBATCH --account=project_xxx

export TMPDIR=$PWD

singularity -s exec --nv -B $PWD:/data \
deepvariant_gpu.simg \
/opt/deepvariant/bin/run_deepvariant \
--model_type=WGS \
--ref=/data/testdata/ucsc.hg19.chr20.unittest.fasta \
--reads=/data/testdata/NA12878_S1.chr20.10_10p1mb.bam  \
--regions "chr20:10,000,000-10,010,000" \
--output_vcf=output.vcf.gz  \
--output_gvcf=output.g.vcf.gz

DeepVariant interaktiivisena työnä Puhdissa

Singularity-kontteja voi ajaa myös interaktiivisessa tilassa. Esimerkiksi DeepVariant voidaan ajaa seuraavasti:

Lataa ja pura DeepVariant-kansio, joka sisältää datan ja Singularity-imaget, kirjautumissolmulla

 wget https://a3s.fi/pilot_projects/Deepvariant_singularity.zip   
 unzip Deepvariant_singularity.zip

Käynnistä sitten interaktiivinen komentotulkki ja anna pyydetyt parametrit päätteen kehotteiden mukaisesti

sinteractive -i

Käynnistä interaktiivinen Singularity-istunto

cd Deepvariant_singularity
export TMPDIR=$PWD
singularity shell -B $PWD:/data deepvariant.simg

Suorita varsinaiset työvuon komennot Singularity-istunnossa

export PATH=/opt/deepvariant/bin:$PATH
cd /data/testdata/
run_deepvariant --model_type=WGS --ref=ucsc.hg19.chr20.unittest.fasta --reads=NA12878_S1.chr20.10_10p1mb.bam --regions "chr20:10,000,000-10,010,000" --output_vcf=output.vcf.gz --output_gvcf=output.g.vcf.gz

Poistu Singularity-istunnosta ja interaktiivisesta eräajotyöstä

exit
exit