Bioapplications puhti

Tämä ohjesivu tarjoaa vaiheittaiset ohjeet siihen, miten valittujen biosovellusten Singularity-säiliöitä suoritetaan Puhti-supertietokoneessa. Alla esitetyt valitut esimerkit toimivat mallina omien räätälöityjen singularity-ajojesi rakentamiseen.

DeepVariant-putki
...

DeepVariant-putki

DeepVariant-putkea (Poplin et al., Nature biotechnology, 2018) käytetään varianttien tunnistamiseen WGS- ja WES-aineistoissa. Lisätietoja DeepVariant-ohjelmista löytyy täältä

DeepVariant-putken suorittamiseen tarvitaan DeepVariantin docker image, mallit ja testidata. Lisäksi deepvariant-menetelmän suorittamisen edellytyksiin kuuluu 1) referenssigenomin hankkiminen FASTA -muodossa sekä sitä vastaava indeksitiedosto (.fai). 2) Kohdistettujen lukujen tiedosto BAM -muodossa sekä sitä vastaava indeksitiedosto (.bai).

Muunna docker image Singularity imageksi omalla paikallisella koneellasi

Yksi tapa rakentaa Singularity image on ladata DeepVariantin docker image paikalliseen rekisteriin ja muuntaa se sitten singularity-muotoon, jotta vältetään mahdolliset virheet, joita voi ilmetä vedettäessä docker imageja suoraan singularity build -komennolla Googlen rekisteristä. Huomaa, että nämä image-muunnokset on tehtävä omalla paikallisella koneellasi tai virtuaalikoneessa cPoudassa, koska Puhti ei myönnä käyttäjille root-oikeuksia.

Vedä DeepVariant image ja työnnä se paikalliseen rekisteriin seuraavasti:

sudo docker pull gcr.io/deepvariant-docker/deepvariant:0.8.0
sudo docker tag gcr.io/deepvariant-docker/deepvariant:0.8.0 localhost:5000/deepvariant:latest
sudo docker run -d -p 5000:5000 --restart=always --name registry registry:2
sudo docker push localhost:5000/deepvariant:latest

luo sitten määritystiedosto (deffile) seuraavasti:

Bootstrap: docker
Registry: http://localhost:5000
Namespace:
From:deepvariant:latest

ja luo lopuksi Singularity image seuraavasti:

sudo SINGULARITY_NOHTTPS=1 singularity build deepvariant.simg  deffile

Vaihtoehtoisesti voi ladata valmiiksi muunnetut singularity imaget (sekä cpu- että gpu-versiot) yhdessä testidatan kanssa CSC:n Altaan oliotallennuksesta seuraavasti:

wget https://a3s.fi/pilot_projects/Deepvariant_singularity.zip

Valmistele eräajokomentosarja deepvariant-putken suorittamiseksi Puhdissa (tiedosto: deepvariant_puhti.sh)

#!/bin/bash
#SBATCH --time=00:05:00
#SBATCH --partition=test
#SBATCH --account=project_xxx

export TMPDIR=$PWD 

singularity -s exec -B $PWD:/data  \
deepvariant.simg \
/opt/deepvariant/bin/run_deepvariant \
--model_type=WGS \
--ref=/data/testdata/ucsc.hg19.chr20.unittest.fasta \
--reads=/data/testdata/NA12878_S1.chr20.10_10p1mb.bam \
--regions "chr20:10,000,000-10,010,000" \
--output_vcf=output.vcf.gz  \
--output_gvcf=output.g.vcf.gz

Lähetä työ `sbatch`-komennolla

sbatch  deepvariant_puhti.sh

Huomaa, että deepvariantin gpu-versiota voi käyttää seuraavalla sbatch-komentosarjalla

#!/bin/bash
#SBATCH --time=00:05:00
#SBATCH --partition=gputest
#SBATCH --gres=gpu:v100:1
#SBATCH --account=project_xxx

export TMPDIR=$PWD

singularity -s exec --nv -B $PWD:/data \
deepvariant_gpu.simg \
/opt/deepvariant/bin/run_deepvariant \
--model_type=WGS \
--ref=/data/testdata/ucsc.hg19.chr20.unittest.fasta \
--reads=/data/testdata/NA12878_S1.chr20.10_10p1mb.bam  \
--regions "chr20:10,000,000-10,010,000" \
--output_vcf=output.vcf.gz  \
--output_gvcf=output.g.vcf.gz

Deepvariant interaktiivisena työnä Puhdissa

Singularity-säiliöitä voi suorittaa myös interaktiivisessa tilassa. Esimerkiksi deepvariant voidaan suorittaa seuraavasti:

Lataa ja pura deepvariant-kansio, joka sisältää datan ja singularity imaget, kirjautumissolmulla

 wget https://a3s.fi/pilot_projects/Deepvariant_singularity.zip   
 unzip Deepvariant_singularity.zip

Käynnistä sitten interaktiivinen komentotulkki ja anna pyydetyt parametrit, kun niitä kysytään terminaalissa

sinteractive -i

Käynnistä interaktiivinen singularity-istunto

cd Deepvariant_singularity
export TMPDIR=$PWD
singularity shell -B $PWD:/data deepvariant.simg

Suorita varsinainen työvuon komennot singularity-istunnossa

export PATH=/opt/deepvariant/bin:$PATH
cd /data/testdata/
run_deepvariant --model_type=WGS --ref=ucsc.hg19.chr20.unittest.fasta --reads=NA12878_S1.chr20.10_10p1mb.bam --regions "chr20:10,000,000-10,010,000" --output_vcf=output.vcf.gz --output_gvcf=output.g.vcf.gz

Poistu singularity-istunnosta ja interaktiivisesta eräajotyöstä

exit
exit