SD Connect -palvelun käyttö a-komennoilla

SD Connect on osa CSC:n sensitiivisen datan palveluita tutkimukselle, jotka tarjoavat maksuttoman sensitiivisen datan käsittely-ympäristön suomalaisten yliopistojen ja tutkimuslaitosten akateemisille tutkimushankkeille. SD Connect lisää automaattisen salauskerroksen CSC:n Allas-objektitallennusjärjestelmään, jotta sitä voidaan käyttää sensitiivisen datan turvalliseen säilyttämiseen. SD Connectiin tallennettua dataa voidaan käyttää myös SD Desktopin suojatuilla virtuaalityöpöydillä.

Useimmissa tapauksissa SD Connectia käytetään SD Connectin selainkäyttöliittymän kautta, mutta joissakin tapauksissa komentorivityökalut tarjoavat tehokkaamman tavan hallita dataa SD Connectissa.

Tässä dokumentissa kuvaamme, miten voit käyttää allas-cli-utils -paketin tarjoamia a-komentoja datan lataamiseen palveluun ja lataamiseen palvelusta SD Connectissa. Nämä työkalut ovat käytettävissä CSC:n supertietokoneilla (Puhti, Mahti ja Lumi), ja ne voidaan asentaa myös paikallisille Linux- ja Mac-koneille.

Huomaa, että Allas ei itsessään erottele SD Connectilla tallennettua dataa muusta Altaaseen tallennetusta datasta. Dataämpärit voivat sisältää sekoituksen SD Connect -dataa, muuta salattua dataa ja tavallista dataa, ja käyttäjän vastuulla on tietää datan tyyppi. On kuitenkin luultavasti hyvä käytäntö säilyttää SD Connect -data ämpäreissä ja kansioissa, jotka eivät sisällä muuntyyppistä dataa.

Yhteyden avaaminen SD Connectiin

Avataksesi SD Connect -yhteensopivan Allas-yhteyden sinun täytyy lisätä asetuskomentoon valitsin --sdc. CSC:n supertietokoneilla yhteys avataan komennoilla:

module load allas
allas-conf --sdc

Paikallisissa asennuksissa yhteys avataan tyypillisesti seuraavan kaltaisilla komennoilla:

export PATH=/some-local-path/allas-cli-utils:$PATH
source /some-local-path/allas-cli-utils/allas_conf -u your-csc-account --sdc

Asetusprosessi kysyy ensin CSC-salasanasi (Haka- tai Virtu-salasanoja ei voi käyttää tässä). Sen jälkeen valitset käytettävän CSC-projektin. Tämä on Allaksen normaali kirjautumisprosessi. Kun SD Connect on kuitenkin käytössä, prosessi pyytää sinua antamaan SD Connect API tokenin. Tämä tunniste täytyy hakea SD Connectin selainkäyttöliittymästä. Huomaa, että tunnisteet ovat projektikohtaisia. Varmista, että olet valinnut saman SD Connect -projektin sekä komentorivillä että selainkäyttöliittymässä.

Selainkäyttöliittymässä tunniste voidaan luoda valintaikkunassa, joka avautuu valitsemalla Support-valikosta Create API tokens.

Kopioi tunniste, liitä se komentoriville ja paina Enter.

SD Connect -yhteensopiva Allas-yhteys on nyt voimassa seuraavat kahdeksan tuntia. Voit käyttää komentoja kuten a-list ja a-delete sekä tavallisten Allas-objektien että SD Connect -objektien hallintaan.

Datan lataaminen palveluun

Dataa voidaan ladata palveluun SD Connectiin käyttämällä komentoa a-put valitsimella --sdc. Esimerkiksi tiedoston my-secret-table.csv" lataamiseen palveluun sijaintiin 2000123-sens/dataset2 Altaassa käytä komentoa:

a-put --sdc my-secret-table.csv -b 2000123-sens/dataset2

Tämä tuottaa SD Connect -objektin: 2000123-sens/dataset2/my-secret-table.csv.c4gh

Kaikkia muitakin a-put-komennon valitsimia ja ominaisuuksia voidaan käyttää. Esimerkiksi hakemistot tallennetaan tar-tiedostoina, jos valitsinta --asis ei käytetä.

Komento:

a-put --sdc my-secret-directory -b 2000123-sens/dataset2

Tuottaa SD Connect -objektin: 2000123-sens/dataset2/my-secret-directory.tar.c4gh

Laajoihin datan latauksiin palveluun voit käyttää komentoa allas-dir-to-bucket yhdessä valitsimen --sdc kanssa.

allas-dir-to-bucket --sdc my-secret-directory  2000123-new-sens

Yllä oleva komento kopioi kaikki tiedostot hakemistosta my-secret-directory ämpäriin 2000123-new-sens SD Connect -yhteensopivassa muodossa.

Datan lataaminen palvelusta

Dataa voidaan ladata palvelusta Altaasta komennolla a-get. Jos SD Connect -yhteys on käytössä, a-get yrittää automaattisesti purkaa salauksen objekteista, joiden pääte on .c4gh.

Joten esimerkiksi komento:

a-get 2000123-sens/dataset2/my-secret-table.csv.c4gh

Tuottaa paikallisen tiedoston: my-secret-table.csv

Ja vastaavasti komento:

a-get 2000123-sens/dataset2/my-secret-directory.tar.c4gh

Tuottaa paikallisen hakemiston: my-secret-directory

Huomaa, että tämä automaattinen salauksen purku toimii vain tiedostoille, jotka on tallennettu uudella SD Connectilla, joka otettiin käyttöön lokakuussa 2024.

Vanhempien SD Connect -tiedostojen ja muiden Crypt4gh-salattujen tiedostojen kohdalla sinun täytyy edelleen antaa vastaava salainen avain valitsimella --sk.

a-get --sk my-key.sec  2000123-sens/old-date/sample1.txt.c4gh

Valitettavasti ei ole helppoa tapaa tietää, mitä salausmenetelmää Altaaseen tallennetussa .c4gh-tiedostossa on käytetty.