iPyrad
iPyrad on interaktiivinen työkalupakki restriktiokohtiin liittyvien genomisten datajoukkojen (esim. RAD, ddRAD, GBS) kokoamiseen ja analysointiin populaatiogeneettisiä ja fylogeneettisiä tutkimuksia varten.
Lisenssi
Vapaasti käytettävissä ja avointa lähdekoodia GNU GPLv3 -lisenssillä.
Saatavuus
- Roihu-CPU: 0.9.102 (moduuli
py-ipyrad),bio-apps-moduulin kautta.
Käyttö
iPyrad on osa Roihun bio-apps -kokoelmaa. Lataa ensin bio-apps-moduulipuu ja sitten iPyrad-moduuli:
Huomautus
Varsinainen ipyrad-komento tulee aina suorittaa eräajoympäristössä.
iPyrad-tehtäville, jotka eivät ole laskennallisesti raskaita, interaktiivinen eräajo tarjoaa hyvän ympäristön ilman jonotusta tehtävien välillä.
Voit avata interaktiivisen eräajoistunnon alla olevalla komennolla. Roihun interactive-partitiossa jokainen varattu ydin tarjoaa 1,875 Gt muistia (enintään 32 ydintä / 60 Gt / 36 tuntia), joten pyydä riittävästi ytimiä tarvitsemaasi muistimäärää varten — tässä 9 ydintä (noin 17 Gt):
iPyrad-käsittely voidaan nyt käynnistää komennolla:
Tämä luo uuden parametritiedoston (params-run1.txt), jota tulee muokata analyysitapauksesi mukaisesti esimerkiksi tekstieditorilla kuten nano.
Kun parametritiedosto on valmis, voit käynnistää varsinaisen iPyrad-analyysin. Interaktiivisissa eräajoissa
voit suorittaa pieniä tehtäviä, jotka käyttävät vain yhtä laskentaydintä. Siksi sinun tulee lisätä
määrittely -c 1 ipyrad-komentoon:
Raskaiden iPyrad-ajojen suorittaminen Roihussa
Jos analysoit suuria aineistoja, on suositeltavaa suorittaa iPyrad-prosessi useassa vaiheessa. Jotkin iPyrad-analyysin vaiheet voivat hyödyntää rinnakkaislaskentaa. Käsittelyn nopeuttamiseksi voit suorittaa nämä analyysivaiheet tavallisina eräajoina.
Kaksi ensimmäistä vaihetta suoritetaan yleensä melko nopeasti, ja voit ajaa ne interaktiivisessa eräajoympäristössä (katso yllä).
Esimerkiksi työn run1 tapauksessa:
iPyrad-analyysin kolmas vaihe suorittaa klusteroinnin jokaiselle näytejoukolle. Ennen tämän vaiheen käynnistämistä tutustu ensin vaiheen 2 luoman run1_edits-hakemiston sisältöön. Tarkistaaksesi, kuinka monta näytettä analysoidaan, voit esimerkiksi laskea tiedoston s2_rawedit_stats.txt rivien määrän.
Esimerkiksi:
Näytteiden määrä on rinnakkaisissa eräajoissa käytettävien rinnakkaisprosessien enimmäismäärä. Käytännössä kannattaa käyttää arvoa, joka on noin puolet näytteiden määrästä. Esimerkiksi jos *_edits-hakemistossa on 24 näytettä, voit harkita 12–16 ytimen käyttöä.
iPyradin rinnakkaistoteutus edellyttää, että yhdessä noodissa on aina käynnissä vain yksi iPyrad-"task". Tämä tarkoittaa, että eräajoparametrin --ntasks-per-node=1 tulee aina olla käytössä. Voit kuitenkin määrittää, että tämä task käyttää useita ytimiä parametrilla --cpus-per-task. Esimerkiksi jos määrittäisit eräajon taskien määräksi 2 (--ntasks=2) ja yhden taskin käyttämien ytimien määräksi 8 (--cpus-per-task=8), työsi käyttäisi 2 * 8 = 16 ydintä.
Tämä ytimien määrä (--ntasks * --cpus-per-task) annetaan sitten iPyrad-komennolle valitsimella -c. Tämä on kriittistä, sillä muuten iPyrad käyttää vain yhtä ydintä, vaikka Slurmilta olisi pyydetty --cpus-per-task=8. Lisäksi, jos käytät useampaa kuin yhtä noodia, sinun tulee määrittää, että MPI on käytössä (--MPI) ja että työnkulun komennot suoritetaan käyttäen vain yhtä laskentaydintä (-t).
Tässä esimerkkitapauksessa käytämme 20 ydintä yhdessä noodissa. Roihussa yhden noodin työ small-partitiossa voi kestää enintään 3 päivää; jos ajoajan odotetaan olevan pidempi, lähetä työ longrun-partitioon (#SBATCH --partition=longrun, enintään 10 päivää). Tässä varaamme 72 tuntia (3 päivää). Lisäksi vaiheessa 3 klusterointikomennot suoritetaan käyttäen 20 ydintä (-c 20), joista kukin ajaa yhtä säiettä (-t 1).
#!/bin/bash
#SBATCH --job-name=ipyrad_s3
#SBATCH --account=<project>
#SBATCH --error=ipyrad_err_%j
#SBATCH --output=ipyrad_output_%j
#SBATCH --partition=small
#SBATCH --time=72:00:00
#SBATCH --ntasks=1
#SBATCH --ntasks-per-node=1
#SBATCH --cpus-per-task=20
#SBATCH --mem=128G
module load bio-apps/v202603
module load py-ipyrad/0.9.102
ipyrad -p params-run1.txt -s 3 -c 20 -t 1
Eräajo käynnistetään komennolla:
Kun työ on valmistunut, voit ajaa seuraavan vaiheen korvaamalla -s 3 arvolla -s 4 jne.
Vaiheille 4–7 suositellaan enintään 8 ydintä. Säikeiden määrittelyvalitsin tulee aina asettaa, sillä iPyradin oletusasetukset eivät sovellu eräajoihin.
#!/bin/bash
#SBATCH --job-name=ipyrad_s4567
#SBATCH --account=<project>
#SBATCH --error=ipyrad_err_%j
#SBATCH --output=ipyrad_output_%j
#SBATCH --partition=small
#SBATCH --time=72:00:00
#SBATCH --ntasks=1
#SBATCH --ntasks-per-node=1
#SBATCH --cpus-per-task=8
#SBATCH --mem=128G
module load bio-apps/v202603
module load py-ipyrad/0.9.102
ipyrad -p params-run1.txt -s 4567 -c 8 -t 1
Lisätietoja eräajojen suorittamisesta löytyy sivulta eräajoskriptin luominen Roihulle.
cPoudan käyttäminen erittäin pitkiin iPyrad-ajoihin
Roihun enimmäisajoaika on 10 päivää (longrun-partitio). Joissakin tapauksissa iPyrad-analyysin vaiheen 3 suorittaminen voi kestää vielä pidempään. Näissä tapauksissa voit käyttää
cPouta-pilvipalvelua oman virtuaalikoneesi pystyttämiseen.