COMEBin¶
COMEBin binnaa metagenomisia kontigeja metagenomiksi koottuihin genomeihin (MAGeihin). Se oppii jokaiselle kontigille esityksen sen sekvenssikoostumuksesta ja lukukattavuudesta kontrastiivisen moninäkymäisen oppimisen avulla ja klusteroi kontigit Leiden-algoritmilla.
Lisenssi¶
Vapaasti käytettävissä ja avointa lähdekoodia GNU GPLv3 -lisenssillä.
Saatavuus¶
- Roihu-CPU: 1.1.0,
bio-apps-moduulin kautta. - Roihu-GPU: 1.1.0 (GPU-kiihdytetty opetus),
bio-apps-moduulin kautta.
Käyttö¶
COMEBin on osa Roihun bio-apps -kokoelmaa. Lataa ensin bio-apps-moduulipuu ja sitten COMEBin-moduuli:
COMEBin tarvitsee kontigit pakkaamattomana FASTA-tiedostona sekä hakemiston
lajitelluista BAM-tiedostoista, jotka on tuotettu kohdistamalla kunkin näytteen lukemat kontigeihin. COMEBinin mukana tuleva
gen_cov_file.sh-skripti kohdistaa paripäiset lukemat BWA:lla ja
kirjoittaa BAM-tiedostot hakemistoon, joka annetaan valitsimella -b:
-f ja -r määrittävät etu- ja takalukutiedostojen loppuosat (oletukset
ovat _1.fastq ja _2.fastq). Anna kaikki valitsimet ennen lukutiedostoja.
run_comebin.sh suorittaa sitten COMEBinin kolme vaihetta: data augmentaation, jossa
kontigipiirteet lasketaan kontigeista ja BAM-tiedostoista, mallin
opetuksen sekä klusteroinnin. Vain opetusvaihe voi käyttää GPU:ta. Suorita kohdistus ja
kaikki COMEBinin vaiheet eräajoina, ei kirjautumissolmulla. Katso alla oleva
esimerkkieräajokomentosarja.
Suorittaminen Roihu-CPU:ssa¶
Suorita kaikki kolme vaihetta Roihu-CPU:ssa valitsimella -d cpu, jolloin malli opetetaan
CPU:lla. Oletusarvo cuda epäonnistuu CPU-solmuilla:
Binnit kirjoitetaan hakemistoon comebin_out/comebin_res/comebin_res_bins, ja kunkin kontigin binni tiedostoon
comebin_out/comebin_res/comebin_res.tsv. Jos ajo pysähtyy, suorita sama komento uudelleen:
COMEBin ohittaa data augmentaatio- ja opetusvaiheet, jotka on jo saatu valmiiksi.
Jos haluat yhdistää COMEBinin binnit muiden binnaustyökalujen tuloksiin, käytä MAGScoT.
Opetus GPU:lla¶
Opetus on nopeampaa GH200-GPU:lla, mutta muut vaiheet käyttävät vain CPU:ita. Suorita vain
opetus GPU-eräajona ja muut vaiheet eräajoina Roihu-CPU:ssa.
Lähetät GPU-työn Roihu-GPU:n kirjautumissolmulta (roihu-gpu.csc.fi), mutta
huomaa, että kirjautumissolmulla itsellään ei ole GPU:ita.
-
Tee Roihu-CPU:ssa BAM-tiedostot ja suorita data augmentaatio -vaihe eräajossa (katso esimerkkieräajokomentosarja):
-
Kirjaudu sisään osoitteeseen
roihu-gpu.csc.fi, siirry samaan hakemistoon kuin vaiheessa 1 ja lähetä GPU-eräajokomentosarjaesimerkki, joka opettaa mallin. -
Suorita Roihu-CPU:ssa
run_comebin.sheräajossa samoilla valitsimilla kuin kohdassa Suorittaminen Roihu-CPU:ssa. Se löytää valmiit data augmentaatio- ja opetusvaiheet ja suorittaa vain klusteroinnin.
Esimerkkieräajokomentosarja¶
Tämä suorittaa kaikki kolme vaihetta Roihu-CPU:ssa. GPU-opetusta varten korvaa
rivi run_comebin.sh yllä olevan vaiheen 1 generate_aug_data -komennolla.
#!/bin/bash
#SBATCH --job-name=comebin
#SBATCH --account=<project>
#SBATCH --output=output_%j.txt
#SBATCH --error=errors_%j.txt
#SBATCH --partition=small
#SBATCH --time=24:00:00
#SBATCH --nodes=1
#SBATCH --ntasks=1
#SBATCH --cpus-per-task=32
#SBATCH --mem=64G
module load bio-apps/v202603
module load comebin/1.1.0
gen_cov_file.sh -a contigs.fa -o cov -b bams -t $SLURM_CPUS_PER_TASK \
-f _1.fastq.gz -r _2.fastq.gz reads/*.fastq.gz
run_comebin.sh -a contigs.fa -p bams -o comebin_out -d cpu -t $SLURM_CPUS_PER_TASK
Korvaa <project> omalla CSC-projektillasi (esimerkiksi project_2001234).
GPU-eräajokomentosarjaesimerkki¶
Tämä suorittaa vain opetusvaiheen Roihu-CPU:ssa tuotetuille data augmentaation tuloksille.
Lähetä se osoitteesta roihu-gpu.csc.fi:
#!/bin/bash
#SBATCH --job-name=comebin-train
#SBATCH --account=<project>
#SBATCH --output=output_%j.txt
#SBATCH --error=errors_%j.txt
#SBATCH --partition=gpumedium
#SBATCH --time=08:00:00
#SBATCH --nodes=1
#SBATCH --ntasks=1
#SBATCH --cpus-per-task=32
#SBATCH --gres=gpu:gh200:1
module load bio-apps/v202603
module load comebin/1.1.0
python $COMEBIN_INSTROOT/bin/COMEBin/main.py train --data comebin_out/data_augmentation \
--output_path comebin_out/comebin_res --earlystop --addvars --vars_sqrt \
--num_threads $SLURM_CPUS_PER_TASK
Katso lisätietoja eräajojen suorittamisesta kohdasta eräajokomentosarjan luominen Roihulle sekä käytettävissä olevista GPU-resursseista kohdasta GPU-osiot.