QIIME

QIIME (Quantitative Insights Into Microbial Ecology) on paketti mikrobiyhteisöjen vertailuun ja analysointiin. Se perustuu ensisijaisesti suuren läpimenon amplikonisekvensointidataan (kuten SSU rRNA), jota tuotetaan erilaisilla alustoilla, mutta tukee myös muuntyyppisen datan analysointia (kuten shotgun-metagenomidata). QIIME vie käyttäjän raakasekvensointituloksista alkuvaiheen analyyseihin, kuten OTU-poimintaan, taksonomiseen luokitteluun ja fylogeneettisten puiden rakentamiseen OTU:iden edustavista sekvensseistä, sekä edelleen tilastolliseen jatkoanalyysiin, visualisointiin ja julkaisulaatuisten kuvien tuottamiseen.

Vuonna 2017 julkaistiin täysin uudelleenkirjoitettu versio QIIME2. Alkuperäisen QIIME-version kehitys on päättynyt. QIIME2:ta suositellaan vahvasti useimpiin käyttötarkoituksiin.

QIIME

Lisenssi

Vapaasti käytettävissä ja avointa lähdekoodia BSD 3-Clause -lisenssillä.

Saatavuus

QIIME1: Puhdissa: 1.9.1
QIIME2: Puhdissa: 2022.8, 2023.2, 2023.5, 2023.9-amplicon, 2023.9-shotgun, 2024.2-amplicon, 2024.2-shotgun, 2024.10-amplicon, 2024.10-metagenome, 2024.10-pathogenome

Käyttö

QIIME1-moduulin lataaminen Puhdissa:

module load qiime1

QIIME2:n käyttöä varten tarkista saatavilla olevat versiot komennolla:

module spider qiime2

Lataa haluttu versio esimerkiksi komennolla:

module load qiime2/2023.9-amplicon

Tämän jälkeen voit käynnistää QIIME2:n komennolla:

qiime

Jakelut

QIIME2:n uusimmat versiot ovat saatavilla eri jakeluina: amplicon/metagenome/pathogenome/tiny. Nämä jakelut eroavat toisistaan sen mukaan, mitä liitännäisiä ne sisältävät. Voit vertailla jakeluja QIIME2:n verkkosivuilla.

CSC tarjoaa asennukset amplicon-, metagenome- ja pathogenome-jakeluille.

Lisäliitännäiset

CSC ylläpitää vain QIIME2:n perusjakeluja. Jos tarvitset liitännäisiä, jotka eivät sisälly perusjakeluihin, sinun täytyy asentaa oma QIIME2-versiosi käyttäen Tykky-työkalua.

Valitse ensin jakelu (amplicon/metagenome/pathogenome/tiny), joka vastaa parhaiten tarpeitasi.

Lataa vastaava ympäristötiedosto.

Esimerkiksi version 2024.10 amplicon-jakelulle:

wget https://data.qiime2.org/distro/amplicon/qiime2-amplicon-2024.10-py310-linux-conda.yml

Tarkista niiden liitännäisten asennusohjeet, joita haluat käyttää.

Jos lisäliitännäiset voidaan asentaa Condalla, voit yksinkertaisesti lisätä ne ympäristötiedoston loppuun.

Jos liitännäiset vaativat lisäasennusvaiheita, voit kopioida ne tekstitiedostoon ja käyttää conda-containerize update -komentoa Tykky-dokumentaatiossa kuvatulla tavalla.

Asennus:

module purge
module load tykky
mkdir qiime
conda-containerize new --mamba --prefix qiime qiime2-amplicon-2024.10-py310-linux-conda.yml

Tarvittaessa suorita:

conda-containerize update qiime --post-install plugins.txt

Suorittaminen

Huomaa, että monet QIIME-tehtävät vaativat paljon laskentaresursseja. Siksi nämä tehtävät kannattaa suorittaa eräajoina.

QIIME-ajot voivat olla hyvin levyintensiivisiä, erityisesti väliaikaistiedostojen käsittelyn osalta, joten niille kannattaa varata nopeaa paikallista levytilaa.

Interaktiivisista eräajoista lisätietoa on sinteractive -dokumentaatiossa.

Tavallisissa eräajoissa sinun täytyy varata NVMe-levyaluetta, jota käytetään $TMPDIR-alueena.

Esimerkiksi 100 Gt paikallista levytilaa voi varata näin:

#SBATCH --gres=nvme:100

Esimerkiksi alla oleva eräajokomentosarja suorittaa QIIME moving pictures -oppaan denoising-vaiheen eräajona käyttäen kahdeksaa ydintä.

#!/bin/bash
#SBATCH --job-name=qiime_denoise
#SBATCH --account=<project>
#SBATCH --time=01:00:00
#SBATCH --nodes=1
#SBATCH --ntasks=1
#SBATCH --cpus-per-task=8
#SBATCH --mem=16G
#SBATCH --partition=small
#SBATCH --gres=nvme:100

#set up qiime
module load qiime2/2023.9-amplicon

# run task. Don't use srun in submission as it resets TMPDIR
qiime dada2 denoise-single \
  --i-demultiplexed-seqs demux.qza \
  --p-trim-left 0 \
  --p-trunc-len 120 \
  --o-representative-sequences rep-seqs-dada2.qza \
  --o-table table-dada2.qza \
  --o-denoising-stats stats-dada2.qza \
  --p-n-threads $SLURM_CPUS_PER_TASK

Enimmäissuoritusaika on asetettu yhteen tuntiin (--time=01:00:00). Koska QIIME2 käyttää säiepohjaista rinnakkaistamista, työ pyydetään käyttämään yhtä tehtävää (--ntasks=1), jossa kaikkien ytimien on oltava samassa solmussa (--nodes=1). Tämä yksi tehtävä käyttää kahdeksaa ydintä rinnakkaisina säikeinä (--cpus-per-task=8), jotka voivat käyttää yhteensä enintään 16 Gt muistia (--mem=16G). Huomaa, että käytettävien ytimien määrä täytyy määritellä myös varsinaisessa qiime-komennossa. Se tehdään Qiimen valinnalla --p-n-threads. Tässä tapauksessa käytämme muuttujaa $SLURM_CPUS_PER_TASK, joka sisältää arvon --cpus-pre-task. Voisimme yhtä hyvin käyttää myös --p-n-threads 8, mutta silloin täytyy muistaa muuttaa arvoa, jos varattujen CPU-ytimien määrä muuttuu.

Työ lähetetään eräajojärjestelmään sbatch-komennolla. Jos eräajotiedoston nimi on esimerkiksi qiime_job.sh, lähetyskomento on:

sbatch qiime_job.sh

Lisätietoa eräajojen suorittamisesta löytyy Puhdin käyttöoppaan eräajo-osiosta.

Huomio

tab-qiime-toiminnon käyttö komentotäydennyksen ottamiseksi käyttöön QIIMElle aiheuttaa tunnetusti ongelmia Puhdissa, joten sitä tulee välttää.

Lisätietoja

QIIME2:n kotisivu