SD Connect -palvelun käyttö a-komennoilla

SD Connect on osa CSC:n sensitiivisen datan palveluita tutkimukselle, jotka tarjoavat maksuttoman sensitiivisen datan käsittely-ympäristön suomalaisten yliopistojen ja tutkimuslaitosten akateemisille tutkimushankkeille. SD Connect lisää automaattisen salauskerroksen CSC:n Allas-oliotallennusjärjestelmään, jotta sitä voidaan käyttää sensitiivisen datan turvalliseen säilyttämiseen. SD Connectiin tallennettua dataa voidaan käyttää myös SD Desktopin suojatuilla virtuaalityöpöydillä.

Useimmissa tapauksissa SD Connectia käytetään SD Connectin selainkäyttöliittymän kautta, mutta joissakin tapauksissa komentorivityökalut tarjoavat tehokkaamman tavan hallita dataa SD Connectissa.

Tässä dokumentissa kuvaamme, miten voit käyttää allas-cli-utils -paketin tarjoamia a-komentoja datan lataamiseen SD Connectiin ja lataamiseen sieltä. Nämä työkalut ovat saatavilla CSC:n supertietokoneissa (Puhti, Mahti ja Lumi), ja ne voidaan asentaa myös paikallisille Linux- ja Mac-koneille.

Huomaa, että Allas ei itsessään erottele SD Connectilla tallennettua dataa muusta Altaaseen tallennetusta datasta. Dataämpärit voivat sisältää sekoituksen SD Connect -dataa, muuta salattua dataa ja tavallista dataa, ja käyttäjän vastuulla on tietää datan tyyppi. On kuitenkin todennäköisesti hyvä ajatus säilyttää SD Connect -data ämpäreissä ja kansioissa, jotka eivät sisällä muuntyyppistä dataa.

Yhteyden avaaminen SD Connectiin

Avataksesi SD Connect -yhteensopivan Allas-yhteyden sinun täytyy lisätä asetuskomentoon valitsin --sdc. CSC:n supertietokoneissa yhteys avataan komennoilla:

module load allas
allas-conf --sdc

Paikallisissa asennuksissa yhteys avataan tyypillisesti esimerkiksi seuraavilla komennoilla:

export PATH=/some-local-path/allas-cli-utils:$PATH
source /some-local-path/allas-cli-utils/allas_conf -u your-csc-account --sdc

Asetusprosessi kysyy ensin CSC-salasanasi (Haka- tai Virtu-salasanoja ei voi käyttää tässä). Sen jälkeen valitset käytettävän CSC-projektin. Tämä on Allaksen normaali kirjautumisprosessi. Kun SD Connect on kuitenkin käytössä, prosessi pyytää sinua antamaan SD Connect API tokenin. Tämä token täytyy hakea SD Connectin selainkäyttöliittymästä. Huomaa, että tokenit ovat projektikohtaisia. Varmista, että olet valinnut saman SD Connect -projektin sekä komentorivillä että selainkäyttöliittymässä.

Selainkäyttöliittymässä token voidaan luoda valintaikkunassa, joka avautuu valitsemalla Create API tokens Support-valikosta.

Kopioi token, liitä se komentoriville ja paina Enter.

SD Connect -yhteensopiva Allas-yhteys on nyt voimassa seuraavat kahdeksan tuntia. Voit käyttää komentoja kuten a-list ja a-delete sekä tavallisten Allas-objektien että SD Connect -objektien hallintaan.

Datan lataaminen

Dataa voidaan ladata SD Connectiin käyttämällä komentoa a-put valitsimella --sdc. Esimerkiksi tiedoston my-secret-table.csv" lataamiseksi sijaintiin 2000123-sens/dataset2 Altaassa käytä komentoa:

a-put --sdc my-secret-table.csv -b 2000123-sens/dataset2

Tämä tuottaa SD Connect -objektin: 2000123-sens/dataset2/my-secret-table.csv.c4gh

Myös kaikkia muita a-put-komennon valitsimia ja ominaisuuksia voidaan käyttää. Esimerkiksi hakemistot tallennetaan tar-tiedostoina, jos valitsinta --asis ei käytetä.

Komento:

a-put --sdc my-secret-directory -b 2000123-sens/dataset2

Tuottaa SD Connect -objektin: 2000123-sens/dataset2/my-secret-directory.tar.c4gh

Laajoihin datalatauksiin voit käyttää komentoa allas-dir-to-bucket yhdessä valitsimen --sdc kanssa.

allas-dir-to-bucket --sdc my-secret-directory  2000123-new-sens

Yllä oleva komento kopioi kaikki tiedostot hakemistosta my-secret-directory ämpäriin 2000123-new-sens SD Connect -yhteensopivassa muodossa.

Datan lataaminen Allaksesta

Dataa voidaan ladata Allaksesta komennolla a-get. Jos SD Connect -yhteys on käytössä, a-get yrittää automaattisesti purkaa salauksen objekteista, joiden pääte on .c4gh.

Esimerkiksi komento:

a-get 2000123-sens/dataset2/my-secret-table.csv.c4gh

Tuottaa paikallisen tiedoston: my-secret-table.csv

Ja vastaavasti komento:

a-get 2000123-sens/dataset2/my-secret-directory.tar.c4gh

Tuottaa paikallisen hakemiston: my-secret-directory

Huomaa, että tämä automaattinen salauksen purku toimii vain tiedostoille, jotka on tallennettu uudella SD Connectilla, joka otettiin käyttöön lokakuussa 2024.

Vanhempien SD Connect -tiedostojen ja muiden Crypt4gh-salattujen tiedostojen kohdalla sinun täytyy edelleen antaa vastaava salainen avain valitsimella --sk

a-get --sk my-key.sec  2000123-sens/old-date/sample1.txt.c4gh

Valitettavasti ei ole helppoa tapaa tietää, mitä salausmenetelmää on käytetty Allakseen tallennetussa .c4gh-tiedostossa.