Datan siirtäminen IDAn ja CSC:n laskentaympäristön välillä

IDA on yleinen tutkimusdatan tallennuspalvelu. Se on osa Fairdata.fi -tutkimusdatanhallintaympäristöä eikä ole suoraan yhteydessä CSC:n laskentaympäristöön. IDA-palvelun käyttö edellyttää, että tallennettu data kuvataan tutkimusaineistona Fairdatan Qvain-työkalulla, jotta muut voivat löytää sen. Vaikka CSC tuottaa ja ylläpitää IDA-palvelua ja IDA-tallennustilaa haetaan CSC-projektille, tallennustilan myöntää käyttäjän kotiorganisaatio (suomalainen korkeakoulu tai valtion tutkimuslaitos). IDA-käyttäjät voivat käyttää tallennustilaa sekä omilta tietokoneiltaan että CSC:n ylläpitämiltä palvelimilta. Lisätietoja IDA-tallennustilan hakemisesta löytyy IDA-verkkosivulta.

IDAa voi käyttää selainkäyttöliittymällä sekä komentoriviasiakasohjelmalla ida, joka on saatavilla CSC:n ylläpitämillä laskentapalvelimilla (Puhdissa ja Mahdissa). IDA-asiakasohjelman voi myös ladata GitHubista.

Tiedostojen tallennusta IDAssa voidaan hallita selain- ja komentoriviasiakasohjelman käyttöliittymillä. Tallennettujen tiedostojen sisältöä ei kuitenkaan voi muokata suoraan. Sen sijaan tallennettu tiedosto on ensin noudettava IDAsta joko CSC:n supertietokoneille tai jollekin muulle tietokoneelle, jotta dataa voidaan analysoida tai muokata. Tässä mielessä IDA muistuttaa hyvin paljon Allas-oliotallennuspalvelua. IDA ja Allas on kuitenkin suunniteltu eri käyttötarkoituksiin:

Allas on matalan tason ja suuren kapasiteetin tallennuspalvelu tutkimusdatan hyödyntämiseen CSC:llä ja muissa laskentaympäristöissä.
IDA on suunniteltu hyvin määriteltyjen ja vakaiden aineistojen tallentamiseen ja jakamiseen, kun niitä ei käytetä tai muokata päivittäin.

Tyypillisessä tutkimusprojektissa raakadata tallennetaan ensin Altaaseen. Kun tutkimustyössä on tuotettu alkuperäisestä datasta jalostetumpi aineisto, se voidaan tallentaa IDAan, jolloin dataan voidaan liittää metadataa ja pysyviä tunnisteita lisäpalveluiden kautta.

Jokaisessa IDA-projektissa on kaksi tallennusaluetta: välialue ja jäädytetty alue. Välialue on tarkoitettu datan keräämiseen ja järjestämiseen pitkäaikaisempaa tallennusta ja julkaisemista varten. Datatiedostot, jotka eivät enää muutu, voidaan siirtää jäädytetylle alueelle tallennettaviksi muuttumattomassa tilassa.

Jäädytetyn alueen tiedostot näkyvät muille Fairdata-palveluille, ja ne voidaan sisällyttää aineistoihin käyttämällä Qvain-metadatatyökalua. Välialueen tiedostot eivät näy muille palveluille eikä niitä voi sisällyttää aineistoihin.

IDAn määrittäminen ja käyttö CSC:n supertietokoneissa

IDA-asiakasohjelma ja määritystyökalut otetaan käyttöön komennolla:

module load ida

Kun alat käyttää IDA-asiakasohjelmaa CSC:n supertietokoneissa ensimmäistä kertaa, sinun täytyy määrittää IDA-yhteytesi suorittamalla seuraava komento:

ida_configure

Määritysprosessi kysyy CSC-projektin numeroa, käyttäjätunnusta ja sovellussalasanaa. Nämä tiedot löytyvät IDAn selainkäyttöliittymän tietoturva-asetussivulta. Määritykset tallennetaan kotihakemistoosi, joten tämä tarvitsee tehdä vain kerran.

Kun yhteys on määritetty, voit alkaa käyttää ida-komentorivikäyttöliittymää, joka mahdollistaa datan siirtämisen supertietokoneen ja IDAn välillä. Dataa voi ladata palveluun ja ladata pois IDAn välialueelta. Jäädytetyltä alueelta voi vain ladata pois. Huomaa, että jotkin IDAn keskeiset toiminnot, kuten datan siirtäminen välialueelta jäädytetylle alueelle, ovat mahdollisia vain IDAn selainkäyttöliittymän kautta.

ida-komentojen perussyntaksi on:

ida <task> [options] <target_in_ida> <target_in_puhti>

Tarkistaaksesi IDAn välialueesi sisällön käytä komentoa:

ida info /

Lisäämällä valinnan -f ida-komentoon komento kohdistuu välialueen sijasta jäädytettyyn alueeseen. Esimerkiksi seuraava komento näyttäisi tiedot tiedostosta test2, joka sijaitsee jäädytetyn alueen juuressa:

[kkayttaj@puhti-login12 ~] ida info -f /test2
project:    2000136
pathname:   /test2
area:       frozen
type:       file
pid:        5bc456a74ba89743214993f23695474
size:       113926178937
encoding:   application/octet-stream
modified:   2018-10-15T08:17:53Z
frozen:     2018-10-15T08:58:15Z

Tiedostojen ja hakemistojen lataaminen palveluun ja lataaminen pois Puhdin ja IDAn välillä tehdään komennoilla:

ida upload <target_in_ida> <local_file>
ida download <target_in_ida> <local_file>

Esimerkiksi Puhdissa komento:

ida upload /test123/data1 test_data

lataa tiedoston test_data Puhdista IDAn välialueelle ja tallentaa datan hakemistoon test123 nimellä data1. Hakemisto test123 luodaan automaattisesti välialueelle, jos sitä ei vielä ole olemassa.

Jos lataat pois hakemiston, ladatut tiedostot tallennetaan zip-arkistotiedostona. Siksi paikallisen kohdetiedoston nimeen kannattaa määrittää pääte .zip. Esimerkiksi:

ida download /project1 project1_data.zip

Yllä oleva komento lataa kaiken datan IDAn välialueen hakemistosta project1 ja tallentaa sen zip-arkistotiedostona project1_data.zip nykyiseen hakemistoosi.

Lisätietoja IDA-asiakasohjelman käytöstä ja määrittämisestä, mukaan lukien lisäesimerkkejä, löytyy GitHubista.