Roihun aineistoprojektit

Roihun aineistoprojekti tarjoaa jaetun tiedostojärjestelmähakemiston aineistoille, joita useiden laskennallisten projektien täytyy käyttää Roihussa. Tietty aineistoprojekti on saatavilla suoraan Roihussa polussa:

/dataset/<dataset-project-id>

Aineistoprojekti tarjoaa tallennustilan ja käyttöoikeuksien hallinnan, mutta ei laskentaresursseja. Se ei sisällä scratch- tai projappl-hakemistoja eikä sitä voi käyttää töiden lähettämiseen.

Aineistoprojekti on hyödyllinen, kun useat laskennalliset projektit tarvitsevat pääsyn samaan aktiivisesti käytettyyn aineistoon. Useille laskennallisille projekteille voidaan myöntää lukuoikeus jaettuun aineistohakemistoon, kun taas yhdellä omistajaprojektilla on kirjoitusoikeus.

Aineistoprojektin käyttö auttaa välttämään saman aineiston erillisten kopioiden tallentamisen useisiin Scratch-hakemistoihin. Tämä on tämän palvelun tärkein tarkoitus. Se tarjoaa myös selkeän omistajan aineiston ylläpitoon sekä keskitetyn paikan tämän datan lukuoikeuksien hallintaan useissa Roihun projekteissa.

Aineistoprojektit myönnetään vuodeksi kerrallaan. Aineistoprojekteja ei ole tarkoitettu pitkäaikaiseen datan säilytykseen.

Käyttöoikeusmalli

Jokaisella aineistohakemistolla on yksi nimetty omistajaprojekti, jolla on kirjoitusoikeus. Omistajaprojekti vastaa aineiston ylläpidosta ja sen sisällön hallinnasta.

Lukuoikeus voidaan myöntää:

Yksittäisille käyttäjille
Yhdelle tai useammalle laskennalliselle projektille
Kaikille yhden tai useamman valitun organisaation käyttäjille
Kaikille Roihun käyttäjille (julkinen aineisto)

Julkiset aineistoprojektit ovat kaikkien Roihun käyttäjien luettavissa. CSC julkaisee luettelon julkisista aineistoista. Rajoitettujen aineistoprojektien sisältö on luettavissa vain niille käyttäjille, projekteille tai organisaatioille, jotka on valittu MyCSC:ssä.

Jokaisella aineistoprojektilla on levytila dataset-alueella tietyn projektitunnuksen alla.

/dataset/project_20XXXXX

Datan käyttäminen aineistoprojektista

Kun sinulle on myönnetty käyttöoikeus, voit käyttää aineistoa suoraan sen hakemistosta:

cd /dataset/<dataset-project-id>
ls

Käyttäjät, joilla on lukuoikeus, voivat lukea tiedostoja mutta eivät muokata niitä. Jos sinun täytyy muokata dataa omaa työnkulkua varten, kopioi tarvittavat tiedostot laskennallisen projektisi Scratch-hakemistoon:

cp -a /dataset/<dataset-project-id>/<data> \
    /scratch/<computational-project-id>/

Työt on lähetettävä käyttäen laskennallista projektia:

#SBATCH --account=<computational-project-id>

Älä käytä aineistoprojektin tunnusta Slurm-tilinä. Aineistoprojekti ei tarjoa laskentaresursseja.

Kiintiö ja laskutus

Aineistoprojektit eivät saa oletusarvoista tallennuskiintiötä. Tarvittava kiintiö on haettava erikseen projektia haettaessa.

Aineiston tallennus kuluttaa laskutusyksiköitä (BUs). Pyydä vain se määrä tallennustilaa, jonka aineisto tällä hetkellä tarvitsee.

Aineistoprojektit on tarkoitettu ensisijaisesti aktiivisesti käytetyille, enintään muutaman teratavun kokoisille aineistoille. Ota yhteyttä CSC:n asiakastukeen, jos aineistosi on huomattavasti suurempi tai käyttötapauksellasi on epätavallisia tallennusvaatimuksia.

Aineistot kuluttavat seuraavan määrän tallennuksen laskutusyksiköitä verrattuna muihin levyalueisiin:

Tallennusalue	Laskutus
Scratch	`6 BU * TiB * storage-hours`
Home	`10 BU * TiB * storage-hours`
Projappl	`10 BU * TiB * storage-hours`
Aineisto — julkinen	`6 BU * TiB * storage-hours`
Aineisto — rajoitettu	`10 BU * TiB * storage-hours`

Katso lisätietoja HPC-laskutuksen dokumentaatiosivuilta.

Aineistoprojektin hakeminen

Voit hakea aineistoprojektia MyCSC:ssä.

Aineistoprojekti on voimassa vuoden kerrallaan. Jatkoaikaa on haettava, jos aineisto on edelleen aktiivisessa käytössä tämän ajanjakson jälkeen.

Projektihakemuksessa on oltava poistumisstrategia, jossa selitetään, mitä datalle tapahtuu projektin päättyessä. Käyttötapauksesta riippuen datan tulisi olla:

siirretty toiseen tallennuspalveluun
julkaistu tai säilytetty sopivassa repositoriossa
siirretty aineiston omistajalle
poistettu, kun sitä ei enää tarvita

Yksityiskohtaiset hakuohjeet löytyvät sivulta Uuden projektin luominen: Aineistoprojekti.

Aineistoprojekteja ei ole tarkoitettu pitkäaikaiseen säilytykseen, eikä CSC varmuuskopioi niitä automaattisesti. Käytä aineistoprojekteja vain aktiivisesti käytetylle datalle. Säilytä erillinen kopio kaikesta tärkeästä tai korvaamattomasta datasta.

Datalle, jota ei käytetä aktiivisesti Roihussa, harkitse Allas-oliosäilytystä tai muuta CSC:n tai organisaatiosi tarjoamaa tallennuspalvelua.