Roihun aineistoprojektit

Roihun aineistoprojekti tarjoaa jaetun tiedostojärjestelmähakemiston aineistoille, joita useiden laskennallisten projektien täytyy käyttää Roihussa. Tietty aineistoprojekti on saatavilla suoraan Roihussa polussa:

/dataset/<dataset-project-id>

Aineistoprojekti tarjoaa tallennustilan ja käyttöoikeuksien hallinnan, mutta ei laskentaresursseja. Se ei sisällä scratch- tai projappl-hakemistoja eikä sitä voi käyttää töiden lähettämiseen.

Pääsy aineistoprojekteihin alkaa elokuun 2026 alussa

Aineistoprojektien hakeminen on jo avoinna MyCSC:ssä. Ensimmäisille hyväksytyille aineistoprojekteille myönnetään käyttöoikeus elokuun 2026 alussa.

Aineistoprojekti on hyödyllinen, kun useat laskennalliset projektit tarvitsevat pääsyn samaan aktiivisesti käytettyyn aineistoon. Useille laskennallisille projekteille voidaan myöntää lukuoikeus jaettuun aineistohakemistoon, kun taas yhdellä omistavalla projektilla on kirjoitusoikeus.

Aineistoprojektin käyttö auttaa välttämään saman aineiston erillisten kopioiden tallentamisen useisiin Scratch-hakemistoihin. Se tarjoaa myös selkeän omistajan aineiston ylläpitoon sekä keskitetyn paikan tämän datan lukuoikeuksien hallintaan useiden Roihun projektien välillä.

Aineistoprojektit myönnetään vuodeksi kerrallaan. Aineistoprojekteja ei ole tarkoitettu pitkäaikaiseen datan säilytykseen.

Käyttöoikeusmalli

Jokaisella aineistohakemistolla on yksi nimetty omistava projekti, jolla on kirjoitusoikeus. Omistava projekti vastaa aineiston ylläpidosta ja sen sisällön hallinnasta.

Lukuoikeus voidaan myöntää:

Yksittäisille käyttäjille
Yhdelle tai useammalle laskennalliselle projektille
Kaikille käyttäjille yhdestä tai useammasta valitusta organisaatiosta
Kaikille Roihun käyttäjille (julkinen aineisto)

Julkiset aineistoprojektit ovat kaikkien Roihun käyttäjien luettavissa. CSC julkaisee luettelon julkisista aineistoista. Rajoitettujen aineistoprojektien sisältö on luettavissa vain MyCSC:ssä valituille käyttäjille, projekteille tai organisaatioille.

Jokaisella aineistoprojektilla on levytila dataset-alueella tietyn projektitunnuksen alla.

/dataset/project_20XXXXX

Datan käyttäminen aineistoprojektista

Kun sinulle on myönnetty käyttöoikeus, voit käyttää aineistoa suoraan sen hakemistosta:

cd /dataset/<dataset-project-id>
ls

Käyttäjät, joilla on lukuoikeus, voivat lukea tiedostoja mutta eivät muokata niitä. Jos sinun täytyy muokata dataa omaa työnkulkua varten, kopioi tarvittavat tiedostot laskennallisen projektisi Scratch-hakemistoon:

cp -a /dataset/<dataset-project-id>/<data> \
    /scratch/<computational-project-id>/

Työt on lähetettävä käyttäen laskennallista projektia:

#SBATCH --account=<computational-project-id>

Älä käytä aineistoprojektin tunnusta Slurm-tilinä. Aineistoprojekti ei tarjoa laskentaresursseja.

Kiintiö ja laskutus

Aineistoprojektit eivät saa oletustallennuskiintiötä. Tarvittava kiintiö on pyydettävä erikseen projektia haettaessa.

Aineiston tallennus kuluttaa tallennuksen laskutusyksiköitä (BUs). Pyydä vain se määrä tallennustilaa, jonka aineisto tällä hetkellä tarvitsee.

Aineistoprojektit on tarkoitettu ensisijaisesti aktiivisesti käytetyille aineistoille, joiden koko on enintään muutamia teratavuja. Ota yhteyttä CSC:n asiakastukeen, jos aineistosi on huomattavasti suurempi tai käyttötapauksellasi on poikkeuksellisia tallennusvaatimuksia.

Aineistot kuluttavat seuraavan määrän tallennuksen laskutusyksiköitä verrattuna muihin levyalueisiin:

Storage area	Billing
Scratch	`6 BU * TiB * storage-hours`
Home	`10 BU * TiB * storage-hours`
Projappl	`10 BU * TiB * storage-hours`
Dataset — public	`6 BU * TiB * storage-hours`
Dataset — restricted	`10 BU * TiB * storage-hours`

Katso lisätietoja HPC-laskutuksen dokumentaatiosivuilta.

Aineistoprojektin hakeminen

Voit hakea aineistoprojektia MyCSC:ssä.

Aineistoprojekti on voimassa vuoden kerrallaan. Jatkoaikaa on haettava, jos aineisto on edelleen aktiivisessa käytössä tämän ajanjakson jälkeen.

Projektihakemuksessa on oltava poistumisstrategia, jossa selitetään, mitä datalle tapahtuu projektin päättyessä. Käyttötapauksesta riippuen datan tulisi olla:

siirretty toiseen tallennuspalveluun
julkaistu tai säilytetty sopivassa repositoriossa
siirretty aineiston omistajalle
poistettu, kun sitä ei enää tarvita

Yksityiskohtaiset hakuohjeet löytyvät kohdasta Uuden projektin luominen: Aineistoprojekti.

Aineistoprojekteja ei ole tarkoitettu pitkäaikaiseen säilytykseen, eikä CSC varmuuskopioi niitä automaattisesti. Käytä aineistoprojekteja vain aktiivisesti käytetylle datalle. Säilytä erillinen kopio kaikesta tärkeästä tai korvaamattomasta datasta.

Datalle, jota ei käytetä aktiivisesti Roihussa, harkitse Allas-oliosäilytystä tai muuta CSC:n tai organisaatiosi tarjoamaa tallennuspalvelua.