Mitä hakemistoa minun pitäisi käyttää monien pienten tiedostojen analysointiin?¶
Interaktiivinen eräajo Roihussa mahdollistaa komentotulkkisession käynnistämisen CPU-solmulla, jossa on enintään:
- 32 ydintä
- 64 GiB muistia
- 36 tuntia ajoaikaa
Käynnistääksesi interaktiivisen session Roihussa, suorita komento:
"Tavalliset" Lustre-pohjaiset projektikohtaiset hakemistot scratch ja projappl voivat tallentaa suuria määriä dataa, ja ne ovat kaikkien Roihun solmujen käytettävissä. Nämä hakemistot ovat kuitenkin tehottomia tuhansien tiedostojen hallintaan.
Yleisesti ottaen kannattaa välttää työnkulkuja, jotka edellyttävät suurten määrien pieniä tiedostoja luomista. Jos sinun kuitenkin täytyy työskennellä tuhansien tiedostojen kanssa, sinun kannattaa harkita NVMe-pohjaisten väliaikaisten paikallisten levyalueiden käyttöä joko tavallisten tai interaktiivisten eräajojen kautta. Nämä alueet ovat solmukohtaisia, ja ne näkyvät vain niitä pyytäneelle eräajolle. Ajon päätyttyä data poistetaan. Tämän vuoksi sinun täytyy aina ensin tuoda aineistosi paikalliselle levylle, ja kun olet valmis, kopioida säilytettävä data takaisin johonkin pysyvämpään tallennuspaikkaan, kuten scratchiin tai Altaaseen.
sinteractive-komennolla Roihussa käynnistetyt interaktiiviset CPU-eräajot tarjoavat automaattisesti
käyttöön 20 GiB
nopeaa paikallista levytilaa
($TMPDIR), joka soveltuu pienten tiedostojen tehokkaaseen käsittelyyn. Suurempiin tarpeisiin
lisää sessioon
eriytettyä tallennustilaa sinteractive-komennon
-d-valitsimella, kuten alempana näytetään.
Eriytetyn tallennustilan käyttöä havainnollistaaksemme tarkastellaan esimerkkihakemistoa
nimeltä big_data. Hakemisto sisältää noin 100 GB dataa 120 000 tiedostossa.
Aluksi data on pakattu yhdeksi tar-arkistoksi projektin 2001234 scratch-hakemistossa
(/scratch/project_2001234/big_data.tar)
Ensin käynnistämme interaktiivisen eräajon, jossa on 2 ydintä, 4 GiB muistia ja 250 GiB eriytettyä tallennustilaa.
Analyysi tehdään sitten kolmessa vaiheessa:
-
Siirry eriytetyn tallennustilan alueelle ja pura tar-paketti:
-
Suorita analyysi. Tällä kertaa ajamme
Tässä esimerkissä löytyi noin 52 000 fasta-tiedostoa. Näin ollen käsittelyn jälkeenfor-silmukan, joka käyttää komentoatranseqkääntääkseen kaikkibig_data-hakemistosta löytyvät fasta-tiedostot uusiksi proteiinisekvenssitiedostoiksi:big_data-hakemisto sisältää nyt 52 000 pientä tiedostoa lisää. Varsinainen käännös on laskennallisesti kevyt tehtävä, joten suurin osa ajasta kuluu vain tiedostojen avaamiseen ja sulkemiseen (I/O). -
Kun käsittely on valmis, tallennamme tulokset takaisin scratch-hakemistoon uutena tar-tiedostona:
Nyt tulokset ovat turvassa yhtenä tiedostona scratchissa, ja voimme poistua interaktiivisesta sessiosta.
Sama analyysimenettely voitaisiin tehdä myös scratch-hakemistossa. Se on kuitenkin hidasta ja voi heikentää jaetun tiedostojärjestelmän suorituskykyä kaikille käyttäjille. Eriytetyn tallennustilan käyttäminen tavallisen Lustre-pohjaisen scratch-hakemiston sijaan antaa paljon vakaammat vasteajat, koska scratchissa suoritusaika vaihtelee paljon Lustre-tiedostojärjestelmän senhetkisen kokonaiskuorman mukaan.