SD Connect -palvelun käyttö a-komennoilla

SD Connect on osa CSC:n sensitiivisen datan palveluita tutkimukselle, jotka tarjoavat maksuttoman sensitiivisen datan käsittely-ympäristön suomalaisten yliopistojen ja tutkimuslaitosten akateemisille tutkimushankkeille. SD Connect lisää automaattisen salauskerroksen CSC:n Allas-objektitallennusjärjestelmään, jotta sitä voidaan käyttää sensitiivisen datan turvalliseen säilyttämiseen. SD Connectiin tallennettua dataa voidaan käyttää myös SD Desktopin suojatuilla virtuaalityöpöydillä.

Useimmissa tapauksissa SD Connectia käytetään SD Connectin selainkäyttöliittymän kautta, mutta joissakin tapauksissa komentorivityökalut tarjoavat tehokkaamman tavan hallita dataa SD Connectissa.

Tässä dokumentissa kuvataan, miten voit käyttää allas-cli-utils -paketin tarjoamia a-komentoja datan lataamiseen SD Connectiin ja lataamiseen sieltä. Nämä työkalut ovat saatavilla CSC:n supertietokoneissa (Roihu ja LUMI), ja ne voidaan asentaa myös paikallisille Linux- ja Mac-koneille.

Huomaa, että Allas ei itsessään erottele SD Connectilla tallennettua dataa muusta Altaaseen tallennetusta datasta. Dataämpärit voivat sisältää sekoituksen SD Connect -dataa, muuta salattua dataa ja tavallista dataa, ja käyttäjän vastuulla on tietää datan tyyppi. On kuitenkin todennäköisesti hyvä käytäntö säilyttää SD Connect -data ämpäreissä ja kansioissa, jotka eivät sisällä muuntyyppistä dataa.

Yhteyden avaaminen SD Connectiin

Avataksesi SD Connect -yhteensopivan Allas-yhteyden sinun täytyy lisätä asetuskomentoon valinta --sdc. CSC:n supertietokoneissa yhteys avataan komennoilla:

module load allas
allas-conf --sdc

Paikallisissa asennuksissa yhteys avataan tyypillisesti seuraavan kaltaisilla komennoilla:

export PATH=/some-local-path/allas-cli-utils:$PATH
source /some-local-path/allas-cli-utils/allas_conf -u your-csc-account --sdc

Asetusprosessi pyytää ensin CSC-salasanasi (Haka- tai Virtu-salasanoja ei voi käyttää tässä). Sen jälkeen valitset käytettävän CSC-projektin. Tämä on Allaksen normaali kirjautumisprosessi. Kun SD Connect on kuitenkin käytössä, prosessi pyytää sinua antamaan SD Connect API tokenin. Tämä token täytyy hakea SD Connectin selainkäyttöliittymästä. Huomaa, että tokenit ovat projektikohtaisia. Varmista, että olet valinnut saman SD Connect -projektin sekä komentorivillä että selainkäyttöliittymässä.

Selainkäyttöliittymässä token voidaan luoda valintaikkunassa, joka avautuu valitsemalla Create API tokens Support-valikosta.

Kopioi token, liitä se komentoriville ja paina Enteriä.

SD Connect -yhteensopiva Allas-yhteys on nyt voimassa seuraavat kahdeksan tuntia. Voit käyttää komentoja kuten a-list ja a-delete sekä tavallisten Allas-objektien että SD Connect -objektien hallintaan.

Datan lataaminen

Dataa voidaan ladata SD Connectiin käyttämällä komentoa a-put valinnalla --sdc. Esimerkiksi tiedoston my-secret-table.csv" lataamiseen sijaintiin 2000123-sens/dataset2 Altaassa käytä komentoa:

a-put --sdc my-secret-table.csv -b 2000123-sens/dataset2

Tämä tuottaa SD Connect -objektin: 2000123-sens/dataset2/my-secret-table.csv.c4gh

Myös kaikkia muita a-put-komennon valintoja ja ominaisuuksia voidaan käyttää. Esimerkiksi hakemistot tallennetaan tar-tiedostoina, jos valintaa --asis ei käytetä.

Komento:

a-put --sdc my-secret-directory -b 2000123-sens/dataset2

Tuottaa SD Connect -objektin: 2000123-sens/dataset2/my-secret-directory.tar.c4gh

Suurissa datan latauksissa voit käyttää komentoa allas-dir-to-bucket yhdessä valinnan --sdc kanssa.

allas-dir-to-bucket --sdc my-secret-directory  2000123-new-sens

Yllä oleva komento kopioi kaikki tiedostot hakemistosta my-secret-directory ämpäriin 2000123-new-sens SD Connect -yhteensopivassa muodossa.

Datan lataaminen

Dataa voidaan ladata Altaasta komennolla a-get. Jos SD Connect -yhteys on käytössä, a-get yrittää automaattisesti purkaa salauksen objekteista, joiden pääte on .c4gh.

Joten esimerkiksi komento:

a-get 2000123-sens/dataset2/my-secret-table.csv.c4gh

Tuottaa paikallisen tiedoston: my-secret-table.csv

Ja vastaavasti komento:

a-get 2000123-sens/dataset2/my-secret-directory.tar.c4gh

Tuottaa paikallisen hakemiston: my-secret-directory

Huomaa, että tämä automaattinen salauksenpurku toimii vain tiedostoille, jotka on tallennettu käyttäen uutta SD Connectia, joka otettiin käyttöön lokakuussa 2024.

Vanhempien SD Connect -tiedostojen ja muiden Crypt4gh-salattujen tiedostojen kohdalla sinun täytyy edelleen antaa vastaava salainen avain valinnalla --sk

a-get --sk my-key.sec  2000123-sens/old-date/sample1.txt.c4gh

Valitettavasti ei ole helppoa tapaa tietää, mitä salausmenetelmää Altaaseen tallennetussa .c4gh-tiedostossa on käytetty.