Allaksen käyttäminen aineiston ylläpitämiseen tutkimusprojektissa

Esimerkkiskenaario Allaksen käyttötapauksesta.

Näytelmän roolit

Saara: Professori, joka koordinoi innostavaa tutkimusprojektia.

Pekka: Tutkija, joka huolehtii projektin datanhallinnasta.

Mats: Teknikko, joka työskentelee Analysis Service Centerissä.

Xi and Laura: Tutkijoita, jotka työskentelevät tutkimusprojektissa.

Näytös 1. Professori Saara avaa CSC-projektit

Professori Saara johtaa suuressa suomalaisessa yliopistossa laajaa tutkimusprojektia nimeltä HiaNo. Projekti on juuri lähettänyt joukon näytteitä Analysis Service Centeriin käsiteltäviksi ja analysoitaviksi. Analyysi kestää muutamia viikkoja ja tuottaa 80 TB dataa, jota tutkimusryhmä käyttää varsinaisessa tutkimuksessa.

Saara ja datanhallinnasta huolehtiva Pekka tutustuvat CSC:n tarjoamiin tallennusvaihtoehtoihin. He päättävät käyttää Allas-palvelua datan tallentamiseen ja jakamiseen tutkimusprojektin aikana. Data ei ole sensitiivistä henkilötietoa, joten Allas soveltuu siihen.

Ensimmäiseksi Saara ja Pekka kirjautuvat MyCSC-portaaliin ja rekisteröityvät CSC-käyttäjiksi.

Sen jälkeen Saara luo kaksi tutkimusprojektia CSC:lle: toisen nimeltä HiaNo-projektin datanhallinta (projektitunnus: project_2000444) ja toisen nimeltä HiaNo-tutkimusprojekti (projektitunnus: project_2000333).

Kun CSC-projektit on perustettu, Saara aktivoi Allas-, Roihu- ja cPouta-palvelut molemmille projekteille. Koska Saara tietää, että Allaksen oletustallennustila (10 TB) ei riitä saapuvalle aineistolle, hän lähettää pyynnön 25 TB:n Allas-kiintiöstä projektille HiaNo-projektin datanhallinta osoitteeseen servicedesk@csc.fi.

Lopuksi Saara lisää Pekan molempiin CSC-projekteihin ja pyytää häntä huolehtimaan saapuvan datan yksityiskohdista.

Näytös 2. Jaetun ämpärin luominen

Analysis Service Centerin Mats ottaa yhteyttä Pekkaan ja kertoo, että tulokset ovat saatavilla, ja kysyy, miten data pitäisi toimittaa. Matsilla on CSC-tunnus (msundber projektissa project_2000111) ja Allas käytössään, joten Pekka ehdottaa, että data ladataan Allakseen. Tätä varten Pekka luo ämpärin Allakseen ja sallii Matsin käyttää sitä.

Pekka kirjautuu Roihuun

ssh roihu-cpu.csc.fi

ja avaa yhteyden datanhallintaprojektiin Allaksessa:

module load allas
allas-conf project_2000444

Sitten hän luo uuden ämpärin Allakseen. Tähän on monia tapoja, mutta tällä kertaa Pekka tekee sen tuomalla uuden tiedoston Allakseen komennolla a-put:

echo “This bucket is used to host the original data of HiaNo project sample1” > README.txt
a-put -b hiano-project-sample001 README.txt
a-list hiano-project-sample001

Pekka sisällytti projektin nimen ämpärin nimeen (hiano-project-sample001) varmistaakseen, että ämpärin nimi on yksilöllinen koko Allas-palvelussa. Komento a-list näyttää, että ämpäri luotiin onnistuneesti.

Seuraavaksi Pekka käyttää komentoa a-access muokatakseen uuden ämpärin käyttöoikeuksia niin, että Mats (käyttäjä msundber Allas-projektista project_2000111) voi käyttää sitä.

a-access +rw project_2000111 hiano-project-sample001

Pekan täytyy vielä lähettää jaetun ämpärin nimi Matsille, koska tavalliset Allaksen listauskomennot eivät näytä nimeä Matsille, joka ei ole ämpärin omistavan projektin jäsen.

Huomaa: Jos käytät tätä prosessia datan vastaanottamiseen sekvensointilaitoksilta, käytä SD Connect -palvelun jakotoimintoa komennon a-access sijaan, koska a-access ei toimi oikein SD Connectin salatun datan tapauksessa.

Näytös 3. Datan lataaminen

Matsilla on Allas-työkalut asennettuna mittauslaitteen front-end-palvelimelle Analysis Service Centerissä. Näin hän voi ladata datan suoraan front-end-palvelimelta Allaksen ämpäriin hiano-project-sample1:

rclone copy -P sample1/cannel43/aa_3278830.dat  allas:hiano-project-sample001/sample1/cannel43/aa_3278830.dat

Koska siirrettävää dataa on paljon, lataus kestää muutaman päivän ja se täytyy tehdä useassa erässä. Kun Mats kertoo olevansa valmis datan latausten kanssa, Pekka sulkee jaetun ämpärin:

a-access -rw project_2000111 hiano-project-sample001

Näytös 4. Datan käyttäminen tutkimuksessa

Kun data on saatavilla, varsinainen analyysityö alkaa. Tutkimusprojektin aikana aineistoa käyttää useita käyttäjiä. Pekka tietää, että jos kaikki käyttäjät käyttävät dataa täydellä käyttöoikeudella (luku ja kirjoitus), on vaarana, että joku poistaa tai ylikirjoittaa vahingossa osan datasta. Siksi sovitaan, että vaikka dataa ylläpidetään datanhallintaprojektissa (project_2000444), tutkijat käyttävät dataa HiaNo-tutkimusprojektin (project_2000333) kautta.

Pekka antaa lukuoikeuden ämpäriin hiano-project-sample001 projektille project_2000333, mutta ei kirjoitusoikeutta.

module load allas
allas-conf project_2000444
a-access +r project_2000333 hiano-project-sample001

Xi ja Laura voivat nyt aloittaa työskentelyn datan kanssa. He rekisteröityvät MyCSC-portaalin kautta, minkä jälkeen Saara, joka on vastuullinen johtaja, lisää heidät CSC-projektiin HiaNo-tutkimusprojekti (project_2000333).

Xin ja Lauran täytyy palata MyCSC:hen ja hyväksyä tutkimusprojektin palvelut. Sen jälkeen he voivat ladata tarvitsemansa tutkimusdatan mihin tahansa ympäristöön, joka pystyy muodostamaan yhteyden Allakseen: Roihuun, virtuaalikoneeseen cPoudassa tai omalle kannettavalleen. Kun uusia tutkijoita liittyy projektiin, Saara lisää heidät projektiin project_2000333, jotta he voivat käyttää dataa.

Koska datan tallentaminen Allakseen kuluttaa Storage Billing Unit -yksiköitä, Saaran täytyy tarkistaa saldo MyCSC:stä aika ajoin ja tarvittaessa hakea lisää laskutusyksiköitä (BUs) (25 TB kuluttaa vuodessa 229950 Storage BU:ta). Onneksi HiaNo on akateeminen tutkimusprojekti, joten Saaran ei tarvitse maksaa laskutusyksiköistä (BUs).

Allas-tallennus on tarkoitettu vain tutkimusprojektin keston ajaksi, mutta Saara ajattelee, että olisi hyödyllistä saattaa alustava data julkisesti saataville ja helpommin löydettäväksi. Tätä tukevat CSC:n tuottamat Fairdata-palvelut.

Pekka luo uuden julkisen käyttöoikeuden ämpärin ja lataa datan siihen. Komento a-publish luo ämpärin ja lataa valitut tiedostot siihen. Parametria -b käytetään ämpärin nimen määrittämiseen, tässä tapauksessa hiano-project-public001.

a-publish -b hiano-project-public001 zz_364872.dat zz_242165.dat

Seuraavaksi Pekka laatii datasta peruskuvauksen Fairdata Qvain -työkalulla ja antaa kaksi URL-osoitetta (yhden kullekin Allaksessa olevalle tiedostolle) Qvainiin etäresurssina. Tämän jälkeen data voidaan julkaista aineistona, jolla on laskeutumissivu ja pysyvä tunniste. Näin alustavaa dataa voidaan jakaa kollegoiden kesken pysyvän tunnisteen avulla. Aineistoa voidaan myös tarkastella Fairdata Etsin -palvelussa rakenteistetun tiedon ja suoran Allaksessa olevien tiedostojen latausmahdollisuuden avulla.

Näytös 5. Loppu

Neljän intensiivisen tutkimusvuoden jälkeen, joiden aikana HiaNo-projekti on laajentunut useisiin laitoksiin Suomessa ja ulkomailla, projekti on tuottanut muutamia opinnäytteitä ja monia korkeatasoisia julkaisuja (joissa kaikissa on mainittu CSC:n resurssien käyttö).

Dataa ei enää tällä hetkellä käytetä aktiivisesti. Osa Allakseen tuodusta datasta on julkaistu kansainvälisissä tutkimustietokannoissa. Osa aineistoista on siirretty IDAan, jotta dataan voidaan liittää DOI-tunniste ja metadata sen uudelleenkäytettävyyden parantamiseksi muiden tutkijoiden toimesta. Näitä aineistoja voidaan myös tarkastella Fairdata Etsimessä. Osa datasta voidaan nyt poistaa ja osa jäljellä olevista osista siirtää uuden HiaNo2-projektin ämpäreihin.

Tässä vaiheessa Pekka siivoaa jäljellä olevat dataobjektit Allaksesta, minkä jälkeen Saara ilmoittaa CSC:lle, että projekti voidaan sulkea.