Hyppää sisältöön

Mitä hakemistoa minun pitäisi käyttää monien pienten tiedostojen analysointiin?

Interaktiivinen eräajo Roihussa mahdollistaa komentotulkkisession käynnistämisen CPU-solmulla, jossa on enintään:

  • 32 ydintä
  • 64 GiB muistia
  • 36 tuntia ajoaikaa

Käynnistääksesi interaktiivisen session Roihussa, suorita komento:

sinteractive -i

"Tavalliset" Lustre-pohjaiset projektikohtaiset hakemistot scratch ja projappl voivat tallentaa suuria määriä dataa, ja ne ovat kaikkien Roihun solmujen käytettävissä. Nämä hakemistot ovat kuitenkin tehottomia tuhansien tiedostojen hallintaan.

Yleisesti ottaen kannattaa välttää työnkulkuja, jotka edellyttävät suurten määrien pieniä tiedostoja luomista. Jos sinun kuitenkin täytyy työskennellä tuhansien tiedostojen kanssa, sinun kannattaa harkita NVMe-pohjaisten väliaikaisten paikallisten levyalueiden käyttöä joko tavallisten tai interaktiivisten eräajojen kautta. Nämä alueet ovat solmukohtaisia, ja ne näkyvät vain niitä pyytäneelle eräajolle. Ajon päätyttyä data poistetaan. Tämän vuoksi sinun täytyy aina ensin tuoda aineistosi paikalliselle levylle, ja kun olet valmis, kopioida säilytettävä data takaisin johonkin pysyvämpään tallennuspaikkaan, kuten scratchiin tai Altaaseen.

sinteractive-komennolla Roihussa käynnistetyt interaktiiviset CPU-eräajot tarjoavat automaattisesti käyttöön 20 GiB nopeaa paikallista levytilaa ($TMPDIR), joka soveltuu pienten tiedostojen tehokkaaseen käsittelyyn. Suurempiin tarpeisiin lisää sessioon eriytettyä tallennustilaa sinteractive-komennon -d-valitsimella, kuten alempana näytetään.

Eriytetyn tallennustilan käyttöä havainnollistaaksemme tarkastellaan esimerkkihakemistoa nimeltä big_data. Hakemisto sisältää noin 100 GB dataa 120 000 tiedostossa. Aluksi data on pakattu yhdeksi tar-arkistoksi projektin 2001234 scratch-hakemistossa (/scratch/project_2001234/big_data.tar)

Ensin käynnistämme interaktiivisen eräajon, jossa on 2 ydintä, 4 GiB muistia ja 250 GiB eriytettyä tallennustilaa.

sinteractive --account <project> --cores 2 --mem 4G --time 02:00:00 -d 250G

Analyysi tehdään sitten kolmessa vaiheessa:

  1. Siirry eriytetyn tallennustilan alueelle ja pura tar-paketti:

    cd /sbf/data
    tar xf /scratch/project_2001234/big_data.tar
    

  2. Suorita analyysi. Tällä kertaa ajamme for-silmukan, joka käyttää komentoa transeq kääntääkseen kaikki big_data-hakemistosta löytyvät fasta-tiedostot uusiksi proteiinisekvenssitiedostoiksi:

    for ffile in $(find ./ | grep fasta)
    do
        transeq ${ffile} ${ffile}.pep
    done 
    
    Tässä esimerkissä löytyi noin 52 000 fasta-tiedostoa. Näin ollen käsittelyn jälkeen big_data-hakemisto sisältää nyt 52 000 pientä tiedostoa lisää. Varsinainen käännös on laskennallisesti kevyt tehtävä, joten suurin osa ajasta kuluu vain tiedostojen avaamiseen ja sulkemiseen (I/O).

  3. Kun käsittely on valmis, tallennamme tulokset takaisin scratch-hakemistoon uutena tar-tiedostona:

    tar cf /scratch/project_2001234/big_data.pep.tar ./
    
    Nyt tulokset ovat turvassa yhtenä tiedostona scratchissa, ja voimme poistua interaktiivisesta sessiosta.

Sama analyysimenettely voitaisiin tehdä myös scratch-hakemistossa. Se on kuitenkin hidasta ja voi heikentää jaetun tiedostojärjestelmän suorituskykyä kaikille käyttäjille. Eriytetyn tallennustilan käyttäminen tavallisen Lustre-pohjaisen scratch-hakemiston sijaan antaa paljon vakaammat vasteajat, koska scratchissa suoritusaika vaihtelee paljon Lustre-tiedostojärjestelmän senhetkisen kokonaiskuorman mukaan.

Lisätietoja väliaikaisista paikallisista levyalueista.

Onko tämä sivu hyödyllinen?
Kiitos palautteestasi!
Kiitos! Arvostamme palautettasi.

Kerro meille miten voisimme parantaa tätä sivua ottamalla meihin yhteyttä .