iPyrad¶
iPyrad on interaktiivinen työkalupakki restriktiokohtiin liittyvien genomisten data-aineistojen (esim. RAD, ddRAD, GBS) kokoamiseen ja analysointiin populaatiogeneettisiä ja fylogeneettisiä tutkimuksia varten.
Lisenssi¶
Vapaasti käytettävissä ja avointa lähdekoodia GNU GPLv3 -lisenssillä.
Saatavuus¶
- Roihu-CPU: 0.9.102 (moduuli
py-ipyrad),bio-apps-moduulin kautta.
Käyttö¶
iPyrad on osa Roihun bio-apps -kokoelmaa. Lataa ensin bio-apps-moduulipuu ja sitten iPyrad-moduuli:
Huom.
Varsinainen ipyrad-komento tulee aina suorittaa eräajoympäristössä.
iPyrad-tehtäville, jotka eivät ole laskennallisesti raskaita, interaktiivinen eräajo tarjoaa hyvän ympäristön ilman jonotusta tehtävien välillä.
Voit avata interaktiivisen eräajoistunnon alla olevalla komennolla.
Roihun interactive-partitiossa saat oletuksena 1 GiB muistia jokaista varattua ydintä kohti, ja voit pyytää lisää --mem-valinnalla (enintään 32 ydintä / 64 GiB / 36 tuntia).
Tässä varaamme yhden ytimen ja 16 GiB muistia:
iPyrad-käsittely voidaan nyt käynnistää komennolla:
Tämä luo uuden parametritiedoston (params-run1.txt), jota tulee muokata analyysitapauksesi mukaan, esimerkiksi tekstieditorilla kuten nano.
Kun parametritiedosto on valmis, voit käynnistää varsinaisen iPyrad-analyysin. Interaktiivisissa eräajoissa
voit suorittaa pieniä tehtäviä, jotka käyttävät vain yhtä laskentaydintä. Siksi sinun tulee lisätä
määrittely -c 1 ipyrad-komentoon:
Raskaiden iPyrad-ajojen suorittaminen Roihussa¶
Jos analysoit suuria aineistoja, on suositeltavaa suorittaa iPyrad-prosessi useassa vaiheessa. Jotkin iPyrad-analyysin vaiheet voivat hyödyntää rinnakkaislaskentaa. Käsittelyn nopeuttamiseksi voit suorittaa nämä analyysivaiheet tavallisina eräajoina.
Kaksi ensimmäistä vaihetta suoritetaan yleensä melko nopeasti, ja voit ajaa ne interaktiivisessa eräajoympäristössä (katso yllä).
Esimerkiksi työn run1 tapauksessa:
iPyrad-analyysin kolmannessa vaiheessa suoritetaan klusterointi jokaiselle näytejoukolle. Ennen tämän vaiheen käynnistämistä tutustu ensin vaiheen 2 luoman run1_edits-hakemiston sisältöön. Tarkistaaksesi, kuinka monta näytettä analysoidaan, voit esimerkiksi laskea tiedoston s2_rawedit_stats.txt rivien määrän.
Esimerkiksi:
Näytteiden määrä on rinnakkaisissa eräajoissa käytettävien rinnakkaisprosessien enimmäismäärä. Käytännössä kannattaa käyttää arvoa, joka on noin puolet näytteiden määrästä. Esimerkiksi jos *_edits-hakemistossa on 24 näytettä, voit harkita 12–16 ytimen käyttöä.
iPyradin rinnakkaistuksen toteutus edellyttää, että yhdessä noodissa on aina käynnissä vain yksi iPyrad-"tehtävä". Tämä tarkoittaa, että eräajon parametrin tulee aina olla --ntasks-per-node=1. Voit kuitenkin määrittää, että tämä tehtävä käyttää useita ytimiä valinnalla --cpus-per-task. Esimerkiksi jos määrittäisit eräajon tehtävien määräksi 2 (--ntasks=2) ja yhden tehtävän käyttämien ytimien määräksi 8 (--cpus-per-task=8), työsi käyttäisi 2 * 8 = 16 ydintä.
Tämä ytimien määrä (--ntasks * --cpus-per-task) annetaan sitten iPyrad-komennolle valinnalla -c. Tämä on kriittistä, sillä muuten iPyrad käyttää vain yhtä ydintä, vaikka Slurmilta olisi pyydetty --cpus-per-task=8. Lisäksi, jos käytät useampaa kuin yhtä noodia, sinun tulee määrittää, että MPI on käytössä (--MPI) ja että työvuon komennot suoritetaan käyttäen vain yhtä laskentaydintä (-t).
Tässä esimerkkitapauksessa käytämme 20 ydintä yhdessä noodissa. Roihussa yhden noodin työ small-partitiossa voi kestää enintään 3 päivää; jos ajoajan odotetaan olevan pidempi, lähetä työ longrun-partitioon (#SBATCH --partition=longrun, enintään 10 päivää). Tässä varaamme 72 tuntia (3 päivää). Lisäksi vaiheessa 3 klusterointikomennot suoritetaan käyttäen 20 ydintä (-c 20), joista kukin ajaa yhtä säiettä (-t 1).
#!/bin/bash
#SBATCH --job-name=ipyrad_s3
#SBATCH --account=<project>
#SBATCH --error=ipyrad_err_%j
#SBATCH --output=ipyrad_output_%j
#SBATCH --partition=small
#SBATCH --time=72:00:00
#SBATCH --ntasks=1
#SBATCH --ntasks-per-node=1
#SBATCH --cpus-per-task=20
#SBATCH --mem=128G
module load bio-apps/v202603
module load py-ipyrad/0.9.102
ipyrad -p params-run1.txt -s 3 -c 20 -t 1
Eräajo käynnistetään komennolla:
Kun työ on valmistunut, voit ajaa seuraavan vaiheen korvaamalla -s 3 arvolla -s 4 jne.
Vaiheille 4–7 suositellaan enintään 8 ydintä. Säikeiden määrittelyvalinta tulee aina asettaa, sillä iPyradin oletusasetukset eivät sovellu eräajoihin.
#!/bin/bash
#SBATCH --job-name=ipyrad_s4567
#SBATCH --account=<project>
#SBATCH --error=ipyrad_err_%j
#SBATCH --output=ipyrad_output_%j
#SBATCH --partition=small
#SBATCH --time=72:00:00
#SBATCH --ntasks=1
#SBATCH --ntasks-per-node=1
#SBATCH --cpus-per-task=8
#SBATCH --mem=128G
module load bio-apps/v202603
module load py-ipyrad/0.9.102
ipyrad -p params-run1.txt -s 4567 -c 8 -t 1
Lisätietoja eräajojen suorittamisesta löytyy ohjeesta eräajokomentosarjan luominen Roihulle.
cPoudan käyttäminen erittäin pitkiin iPyrad-ajoihin¶
Roihussa enimmäisajoaika on 10 päivää (longrun-partitio). Joissakin tapauksissa iPyrad-analyysin vaiheen 3 suorittaminen voi kestää vielä pidempään. Näissä tapauksissa voit käyttää
cPouta-pilvipalvelua oman virtuaalikoneesi pystyttämiseen.