Datan vieminen ohjelmallisesti virtuaalityöpöydältä

Huom

SD Desktop- ja SD Connect -palvelut päivitettiin syyskuussa 2026, ja tämän sivun vientiohjeet ovat tällä hetkellä vanhentuneet. Uudet ohjeet komentorivivientiä varten julkaistaan täällä mahdollisimman pian. Myös Data Gatewayn käyttöliittymä päivitettiin, ja se tukee nyt useiden tiedostojen ja kansiorakenteiden vientiä. Lue lisää päivityksestä erilliseltä infosivulta ja seuraa käyttöliittymän vientiohjeita.

Taustatietoa

Datan vienti SD Desktopista vaatii manuaalisen salauksen

SD Connectin lokakuun 2024 päivitys toi SD Desktopiin automaattisen avaintenhallinnan. Tämä ominaisuus mahdollistaa suorat lataukset ja siirrot SD Connectin kautta. Työkalut, joilla dataa (esim. tuloksia) viedään SD Desktopista SD Connectiin, eivät kuitenkaan vielä ole yhteensopivia automaattisen avaintenhallinnan kanssa. Sen sijaan datan vienti SD Desktopista on edelleen manuaalinen prosessi, joka vaatii Crypt4GH-työkalut ja oman salausavainparin luomisen. Koska SD Connect voi tallentaa tiedostoja salattuina näillä kahdella menetelmällä, mutta silti samalla .c4gh-päätteellä, suosittelemme luomaan erillisen kansion SD Desktop -vientejä varten. Tämä auttaa erottamaan:

tiedostot, jotka on salattu manuaalisesti omalla salausavainparillasi (viety SD Desktopista).
tiedostot, jotka on salattu automaattisesti SD Connectin kautta palvelun hallinnoimilla salausavaimilla.

Vain projektipäälliköt voivat viedä dataa

Virtuaalityöpöytäsi on turvallisuussyistä eristetty internetistä. Vain CSC-projektipäällikkö voi viedä tuloksia tai dataa suojatusta työtilasta Data Gateway -sovelluksella tai airlock-komentorivityökalulla (komentorivi). Tulokset viedään SD Connectiin, josta ne ovat ladattavissa omalle tietokoneellesi. Lataamisen jälkeen tiedostot täytyy edelleen purkaa manuaalisesti.

Note

Vain yksi tiedosto voidaan viedä kerrallaan. Jos haluat viedä useita tiedostoja, pakkaa ne ensin yhteen kansioon.
Yli 30 GB:n tiedostot täytyy jakaa pienempiin osiin ennen vientiä.

Vaihe vaiheelta

Tässä esimerkissä luomme ensin avainparisi (salasanalla suojattu yksityinen avain ja julkinen avain, jonka voi jakaa yhteistyökumppaneille). Lataamme julkisen avaimen SD Connectiin ja tuomme sen SD Desktopiin. SD Desktopissa salaamme vietävät tiedostot julkisella avaimella ja viemme ne SD Connectiin /Altaaseen airlockin CLI:llä. Lopuksi lataamme tiedostot SD Connectista/Altaasta ja puramme ne paikallisessa ympäristössämme vastaavalla salaisella salausavaimella.

Lataa ja asenna Crypt4GH-salauksen CLI-työkalu
Luo salausavainparisi
Lataa julkinen avaimesi SD Connectiin /Altaaseen
Tuo julkinen avain virtuaalityöpöydälle
Salaa tiedostot julkisella avaimellasi
Vie tiedostot SD Desktopista airlockin kautta
Lataa tiedosto SD Connectista /Altaasta ja muuta tiedostopääte
Pura tiedosto crypt4GH-salauksen CLI-työkalulla
Edistynyt: Varmuuskopiot ja tuki

Tukea saatavilla

Ota yhteyttä osoitteeseen servicedesk@csc.fi (aihe: SD Desktop). Opastamme sinua vientiprosessissa verkkotapaamisessa.

1. Lataa ja asenna Crypt4GH-salauksen CLI-työkalu

Dokumentaatiota ja lisätietoja löydät Crypt4GH Encryption Utility -sivulta.

Python 3.6+ vaaditaan Crypt4GH-salaustyökalun käyttämiseen. Jos tarvitset apua Pythonin asentamisessa, seuraa näitä ohjeita.

Asenna Crypt4GH-salauksen CLI-työkalu

Voit asentaa Crypt4GH:n suoraan pip-työkalulla:

pip install crypt4gh

tai, jos haluat käyttää uusimpia lähdekoodeja GitHubista:

pip install -r crypt4gh/requirements.txt
pip install ./crypt4gh

tai myös:

pip install git+https://github.com/EGA-archive/crypt4gh.git

Tavallinen -h-valitsin näyttää työkalun hyväksymät eri vaihtoehdot:

$ crypt4gh -h

Utility for the cryptographic GA4GH standard, reading from stdin and outputting to stdout.

Usage:
   {PROG} [-hv] [--log <file>] encrypt [--sk <path>] --recipient_pk <path> [--recipient_pk <path>]... [--range <start-end>]
   {PROG} [-hv] [--log <file>] decrypt [--sk <path>] [--sender_pk <path>] [--range <start-end>]
   {PROG} [-hv] [--log <file>] rearrange [--sk <path>] --range <start-end>
   {PROG} [-hv] [--log <file>] reencrypt [--sk <path>] --recipient_pk <path> [--recipient_pk <path>]... [--trim]

Options:
   -h, --help             Prints this help and exit
   -v, --version          Prints the version and exits
   --log <file>           Path to the logger file (in YML format)
   --sk <keyfile>         Curve25519-based Private key.
                        When encrypting, if neither the private key nor C4GH_SECRET_KEY are specified, we generate a new key
   --recipient_pk <path>  Recipient's Curve25519-based Public key
   --sender_pk <path>     Peer's Curve25519-based Public key to verify provenance (akin to signature)
   --range <start-end>    Byte-range either as  <start-end> or just <start> (Start included, End excluded)
   -t, --trim             Keep only header packets that you can decrypt

Environment variables:
   C4GH_LOG         If defined, it will be used as the default logger
   C4GH_SECRET_KEY  If defined, it will be used as the default secret key (ie --sk ${C4GH_SECRET_KEY})

Saatat huomata, että crypt4gh käyttää yksityisestä avaimesta valitsinta --sk. Tämä voi tuntua oudolta, mutta ilmeisesti crypt4gh käyttää termiä secure key yksityisestä avaimesta, mistä tulee sk, ja vastaavasti pk viittaa julkiseen avaimeen eikä yksityiseen avaimeen.

2. Luo salausavainparisi

  Käytä `crypt4gh-keygen`-komentoa yksityisen ja julkisen avaimesi luomiseen:

  ```bash
  $ crypt4gh-keygen --sk mykey.sec --pk mykey.pub
  Generating public/private Crypt4GH key pair.
  Enter passphrase for mykey.sec (empty for no passphrase): 
  Enter passphrase for mykey.sec (again): 
  Your private key has been saved in mykey.sec
  Your public key has been saved in mykey.pub
  ```

  missä `--sk mykey.sec` on yksityinen (salainen, sk) avaimesi ja `--pk mykey.pub` on julkinen avaimesi (pk). 
  Työkalu pyytää sinua antamaan salasanan (passphrase) yksityiselle avaimellesi. Turvallisuussyistä salasanaa 
  ei näytetä kirjoittaessasi sitä, joten työkalu pyytää syöttämään sen toisen kerran varmistaakseen, ettei kirjoitusvirheitä tullut 
  (tai että teet samat virheet kahdesti). Käytä vahvaa salasanaa!

!!! Note
    Jos kadotat tai unohdat yksityisen avaimesi tai sen salasanan, et voi purkaa tiedostoja. Älä jaa yksityistä avaintasi tai salasanaasi.

!!! Note
    Avaimet tarvitsee luoda vain kerran ja käyttää niitä kaikkiin salaustarpeisiin, mutta voit toki halutessasi luoda erilliset avaimet eri käyttötarkoituksiin.

Avaimet tallennetaan samaan kansioon, jossa sovellus sijaitsee (esim. Downloads-kansio).
Suosittelemme tallentamaan avainparin erilliseen kansioon ja nimeämään ne kuvaavasti (esim. export_public.pub ja export_secret.key). Yleisiä ongelmia syntyy, kun avaimet ovat väärässä paikassa tai menevät sekaisin.
Suosittelemme testaamaan, että avainpari toimii, salaamalla ja purkamalla jonkin testitiedoston.

Warning

Jos kadotat tai unohdat salaisen avaimesi tai salasanasi, et voi purkaa tiedostojasi.
Älä jaa salaista avaintasi tai salasanaasi.
Sinun tarvitsee luoda avaimesi vain kerran kaikkiin salaustarpeisiin, mutta voit halutessasi luoda erilliset avaimet eri projekteille.

3. Lataa julkinen avain SD Connectiin

Voit tuoda julkisen salausavaimen lataamalla sen SD Connectin käyttöliittymän kautta.

Kirjaudu sisään SD Connectin käyttöliittymään.
Valitse oikea CSC-projekti vasemmasta yläkulmasta.
Napsauta oikeasta yläkulmasta Upload.
Nimeä uudessa ikkunassa tiedostojesi kohdekansio (esim. project_export).
Napsauta Select Files avataksesi selainikkunan ja valitse julkinen salausavain (esim. .pub-tiedosto). Aloita automaattinen salaus ja lataus napsauttamalla Upload.
Kun lataus on valmis, salausavain näkyy nyt virtuaalityöpöydälläsi.

4. Tuo julkinen avain virtuaalityöpöydälle

Avaa virtuaalityöpöytäsi.
Avaa Data Gateway -sovellus ja siirry hakemistoon, johon julkinen avain tallennettiin.
Käytä kopioi/liitä-toimintoa liittääksesi julkisen avaimesi virtuaalityöpöydälle (tai terminaaliin); se puretaan automaattisesti.

5. Salaa tiedosto

Useiden tiedostojen vienti

Jos haluat viedä useita tiedostoja, on usein kätevää kerätä ne ensin yhteen kansioon ja pakata kansio sitten tar- tai zip-komennoilla. Tämän jälkeen voit salata kaiken datan yhtenä tiedostona.

Salaa tiedosto tai kansio

Avaa terminaali (hiiren oikea painike) ja käytä julkista avaintasi niiden tiedostojen salaamiseen, jotka haluat viedä. Crypt4GH on esiasennettu jokaiselle virtuaalityöpöydälle ja käytettävissä komentorivillä.

Salauskomennon syntaksi on:
```
crypt4gh encrypt --recipient_pk public-key < input > output
```
Tässä: - public-key on julkisen avaimesi tiedosto (esim. your-username.pub). - input on tiedosto, jonka haluat viedä (esim. my_results.csv). - output on salattu tiedosto (esim. my_results.csv.c4gh).

Esimerkki:
```
crypt4gh encrypt --recipient_pk your-username.pub < my_results.csv > my_results.csv.c4gh
```

6. Vie salatut tiedostot virtuaalityöpöydältä

Kun tiedostot on salattu, vain CSC-projektipäällikkö voi viedä ne Data Gateway -sovelluksella tai Airlock-komentoriviasiakkaalla.

Note

Airlock-asiakasohjelma tukee enintään 30 GB:n tiedostojen vientiä. Suuremmat tiedostot tai aineistot täytyy jakaa pienempiin osiin ennen vientiä.

Avaa terminaali (hiiren oikea painike) ja käytä seuraavaa syntaksia:
```
airlock-client <<username>> <<data_output_bucket>> <<filename>>
```
- username on CSC-käyttäjätunnuksesi.
- data_output_bucket on nimi, jonka annat ämpärille, johon tulokset viedään. Airlock-asiakasohjelma luo tämän ämpärin automaattisesti samaan CSC-projektiin kuin työpöytäsi.
- filename on sen salatun tiedoston nimi, jonka haluat viedä.
Esimerkki:
```
airlock-client cscuser analysis-2022 results-03.csv.c4gh
```
Paina Enter ja anna salasanasi pyydettäessä.

Note

Jos yrität ladata salaamattoman tiedoston, Data Gateway -sovellus tai Airlock-asiakasohjelma salaa sen turvallisuussyistä automaattisesti Sensitive Data -palveluiden julkisella avaimella ja vie sen SD Connectiin. Voit ladata tämän tiedoston, mutta et voi purkaa sitä. Tiedosto on kuitenkin yhteensopiva muiden SD Desktop -virtuaalikoneiden kanssa.

7. Lataa tiedostot SD Connectista / Altaasta ohjelmallisesti ja pura ne salausavaimellasi

Voit käyttää mitä tahansa Allas-yhteensopivaa työkalua tai käyttöliittymää salatun tiedoston lataamiseen paikalliselle tietokoneellesi. Esimerkiksi rclone-komentorivityökaluilla latauskomento (kun Allas-yhteys on avattu) voi olla esimerkiksi seuraava:

rclone copy allas:analysis-2022/results-03.csv.c4gh ./

Tämä komento kopioi tiedoston results-03.csv.c4gh paikalliselle tietokoneellesi. Tämän jälkeen sinun täytyy vielä tehdä purku erillisenä vaiheena. (katso alla)

Jos CSC:n kehittämät Allas-komennot (a-put ja a-get) on asennettu paikalliselle tietokoneellesi, voit yhdistää lataus- ja purkuvaiheet yhdeksi komennoksi. Tämä tehdään määrittämällä salainen avain valitsimella --sk. Esimerkiksi:

a-get --sk export_secret.key analysis-2022/results-03.csv.c4gh

Yllä oleva komento pyytää salaisen avaimen salasanaa ja tuottaa käyttövalmiin puretun tiedoston paikalliselle tietokoneellesi (tässä tapauksessa results-03.csv).

8. Pura tiedostot Crypt4gh CLI -työkaluilla

Note

Alla on vaiheittainen esimerkki yhden tiedoston purkamisesta.

Tiedoston purkamiseen tarvitset yksityisen avaimen, joka vastaa jotakin salausvaiheessa käytetyistä julkisista avaimista. Oletetaan esimerkissämme, että tutkimusryhmä A purkaa tiedoston, jonka olet lähettänyt heille. Tiedoston purkamiseen he käyttävät crypt4gh decrypt -komentoa:

  ```bash
  crypt4gh decrypt --sk groupA.sec <dog.jpg.c4gh >dog.jpg
  ```

  missä `--sk groupA.sec` on yksityinen avain, joka vastaa jotakin salauksessa käytetyistä julkisista avaimista. `crypt4gh`-komento käyttää vain 
  standardisyötettä (stdin) ja vakiotulostetta (stdout), joten sinun täytyy käyttää komentotulkin uudelleenohjauksia: `<` tarkoittaa syötetiedostoa ja `>` tulostiedostoa, 
  joten `<dog.jpg.c4gh` lukee salatun tiedoston nimeltä `dog.jpg.c4gh` ja `>dog.jpg` kirjoittaa puretun tiedoston nimeltä `dog.jpg`.

  Komento pyytää käyttäjää antamaan yksityisen avaimesi salasanan (passphrase). Turvallisuussyistä salasanaa ei näytetä kirjoittaessasi sitä.

Note

Jos purat tiedoston SD Desktopissa ja salauksessa on käytetty CSC:n Sensitive Data -julkista avainta, purku tehdään automaattisesti eikä sinun tarvitse määrittää purkuavaimia.

Jos sinun täytyy purkaa suuri määrä tiedostoja, katso ohje Pura kaikki hakemiston tiedostot.

Lisätietoja datan salauksesta

Edistynyt: Varmuuskopiot

Jos projektin jäsenten täytyy tehdä varmuuskopioita tärkeistä tiedostoista, projektipäällikkö voi käynnistää varmuuskopiopalvelinprosessin, jota projektin jäsenet voivat hyödyntää varmuuskopioiden tekemiseen. Lisätietoja: SD Desktopin varmuuskopiopalvelimen ohje.

Lisää tukea:

Jos haluat salata ja ladata tiedostoja komentorivin kautta, katso tämä ohje, jossa havainnollistetaan, miten crpt4gh- työkalua käytetään tiedostojen lataamiseen Altaaseen (näkyy SD Connectissa).

Alla lisää tietoa crypt4GH CLI:stä:

Dokumentaatiota ja lisätietoja löydät Crypt4GH Encryption Utility -sivulta.

Jos sinun täytyy purkaa suuri määrä tiedostoja, katso ohje Pura kaikki hakemiston tiedostot.

Seuraavat vaiheet tässä oppaassa

Vianmääritys