Datan siirtäminen IDAn ja CSC:n laskentaympäristön välillä

IDA on yleinen tutkimusdatan tallennuspalvelu. Se on osa Fairdata.fi -tutkimusdatanhallintaympäristöä eikä ole suoraan liitetty CSC:n laskentaympäristöön. IDA-palvelun käyttö edellyttää, että tallennettu data kuvataan tutkimusaineistona Fairdatan Qvain-työkalulla, jotta muut voivat löytää sen. Vaikka CSC tuottaa ja ylläpitää IDA-palvelua ja IDA-tallennustilaa haetaan CSC-projektille, tallennustilan myöntää käyttäjän kotiorganisaatio (suomalainen korkeakoulu tai valtion tutkimuslaitos). IDA-käyttäjät voivat käyttää tallennustilaa sekä omilta tietokoneiltaan että CSC:n ylläpitämiltä palvelimilta. Lisätietoja IDA-tallennustilan hakemisesta löytyy IDAn verkkosivuilta.

IDAa voi käyttää selainkäyttöliittymällä sekä komentoriviasiakastyökalulla ida, joka on saatavilla CSC:n ylläpitämillä laskentapalvelimilla (Roihu). IDA-asiakasohjelman voi ladata myös GitHubista.

Tiedostojen tallennusta IDAssa voidaan hallita selain- ja komentoriviasiakasliittymien avulla. Tallennettujen tiedostojen sisältöä ei kuitenkaan voi muokata suoraan. Sen sijaan tallennettu tiedosto on ensin haettava IDAsta joko CSC:n supertietokoneille tai jollekin muulle tietokoneelle, jotta dataa voidaan analysoida tai muokata. Tässä mielessä IDA muistuttaa paljon Allas-oliotallennuspalvelua. IDA ja Allas on kuitenkin suunniteltu eri käyttötarkoituksiin:

Allas on matalan tason ja suuren kapasiteetin tallennuspalvelu tutkimusdatan hyödyntämiseen CSC:llä ja muissa laskentaympäristöissä.
IDA on suunniteltu hyvin määriteltyjen ja vakaiden aineistojen tallentamiseen ja jakamiseen, kun niitä ei käytetä tai muokata päivittäin.

Tyypillisessä tutkimusprojektissa raakadata tallennetaan ensin Altaaseen. Kun tutkimustyössä on tuotettu alkuperäisestä datasta jalostetumpi aineisto, se voidaan tallentaa IDAan, jolloin dataan voidaan liittää metadataa ja pysyviä tunnisteita lisäpalveluiden kautta.

Jokaisella IDA-projektilla on kaksi tallennusaluetta: staging area ja frozen area. Staging area on tarkoitettu datan keräämiseen ja järjestämiseen pitkäaikaisempaa tallennusta ja julkaisemista varten. Datatiedostot, jotka eivät enää muutu, voidaan siirtää frozen area -alueelle tallennettaviksi muuttumattomassa tilassa.

Frozen area -alueella olevat tiedostot näkyvät muille Fairdata-palveluille, ja ne voidaan sisällyttää aineistoihin Qvain-metadatatyökalulla. Staging area -alueella olevat tiedostot eivät näy muille palveluille eikä niitä voi sisällyttää aineistoihin.

IDAn määrittäminen ja käyttö CSC:n supertietokoneissa

IDA-asiakasohjelma ja määritystyökalut otetaan käyttöön komennolla:

module load ida

Kun alat käyttää IDA-asiakasohjelmaa CSC:n supertietokoneissa ensimmäistä kertaa, sinun on määritettävä IDA-yhteys suorittamalla seuraava komento:

ida_configure

Määritysprosessi kysyy CSC-projektin numeroa, käyttäjätunnusta ja sovellussalasanaa. Nämä tiedot saa IDAn selainkäyttöliittymän suojausasetussivulta. Määritykset tallennetaan kotihakemistoosi, joten tämä tarvitsee tehdä vain kerran.

Kun yhteys on määritetty, voit alkaa käyttää ida-komentoriviasiakasohjelmaa, jolla dataa voidaan siirtää supertietokoneen ja IDAn välillä. Dataa voidaan ladata IDAn staging area -alueelle ja sieltä pois. Frozen area -alueelta voi vain ladata dataa. Huomaa, että jotkin IDAn keskeiset toiminnot, kuten datan siirtäminen staging area -alueelta frozen area -alueelle, ovat mahdollisia vain IDAn selainkäyttöliittymän kautta.

ida-komentojen perussyntaksi on:

ida <task> [options] <target_in_ida> <target_in_roihu>

Tarkistaaksesi IDAn staging area -alueesi sisällön käytä komentoa:

ida info /

Lisäämällä valinnan -f ida-komentoon komento kohdistuu staging area -alueen sijasta frozen area -alueeseen. Esimerkiksi seuraava komento antaisi tietoja tiedostosta test2, joka sijaitsee frozen area -alueen juuressa:

[kkayttaj@roihu-cpu-login1 ~] ida info -f /test2
project:    2000136
pathname:   /test2
area:       frozen
type:       file
pid:        5bc456a74ba89743214993f23695474
size:       113926178937
encoding:   application/octet-stream
modified:   2018-10-15T08:17:53Z
frozen:     2018-10-15T08:58:15Z

Tiedostojen ja hakemistojen lataaminen Roihun ja IDAn välillä tehdään komennoilla:

ida upload <target_in_ida> <local_file>
ida download <target_in_ida> <local_file>

Esimerkiksi Roihussa komento:

ida upload /test123/data1 test_data

lataa tiedoston test_data Roihusta IDAn staging area -alueelle ja tallentaa datan hakemistoon test123 nimellä data1. Hakemisto test123 luodaan automaattisesti staging area -alueelle, jos sitä ei vielä ole olemassa.

Jos lataat hakemiston, ladatut tiedostot tallennetaan zip-arkistotiedostoksi. Siksi paikallisen kohdetiedoston nimeen kannattaa määrittää pääte .zip. Esimerkiksi:

ida download /project1 project1_data.zip

Yllä oleva komento lataa kaiken datan IDAn staging area -hakemistosta project1 ja tallentaa sen zip-arkistotiedostona project1_data.zip nykyiseen hakemistoosi.

Lisätietoja IDA-asiakasohjelman käytöstä ja määrittämisestä, mukaan lukien lisäesimerkkejä, löytyy GitHubista.