Vie data ohjelmallisesti virtuaalityöpöydältä

Taustatietoa

Datan vienti SD Desktopista edellyttää manuaalista salausta

Lokakuun 2024 SD Connect -päivitys toi SD Desktopiin automaattisen avaintenhallinnan. Tämä ominaisuus mahdollistaa suorat lataukset palveluun ja lataukset palvelusta SD Connectin kautta.
Työkalut, joilla viedään dataa (esim. tuloksia) SD Desktopista SD Connectiin, eivät kuitenkaan vielä ole yhteensopivia automaattisen avaintenhallinnan kanssa. Sen sijaan datan vienti SD Desktopista on edelleen manuaalinen prosessi, joka edellyttää Crypt4GH-työkaluja ja oman salausavainparin luomista. Koska SD Connect voi tallentaa tiedostoja salattuina näillä kahdella menetelmällä mutta samalla .c4gh-päätteellä, suosittelemme luomaan erillisen kansion SD Desktop -vientejä varten. Tämä auttaa erottamaan:

tiedostot, jotka on salattu manuaalisesti omalla salausavainparillasi (viety SD Desktopista)
tiedostot, jotka on salattu automaattisesti SD Connectin kautta ja joiden salausavaimia palvelu hallinnoi.

Vain projektipäälliköt voivat viedä dataa

Virtuaalityöpöytäsi on turvallisuussyistä eristetty internetistä. Vain CSC:n projektipäällikkö voi viedä tuloksia tai dataa suojatusta työtilasta Data Gateway -sovelluksella tai airlock-komentorivityökalulla (komentorivi). Tulokset viedään SD Connectiin, josta ne ovat ladattavissa omalle tietokoneellesi. Lataamisen jälkeen tiedostot on edelleen purettava manuaalisesti.

Note

Vain yksi tiedosto voidaan viedä kerrallaan. Jos haluat viedä useita tiedostoja, pakkaa ne ensin yhdeksi kansioksi.
Yli 30 GB:n tiedostot on jaettava pienempiin osiin ennen vientiä.

Vaihe vaiheelta

Tässä esimerkissä luomme ensin avainparisi (salasanalla suojattu yksityinen avain ja julkinen avain, jonka voi jakaa yhteistyökumppaneille). Lataamme julkisen avaimen SD Connectiin
ja tuomme sen SD Desktopiin. SD Desktopissa salaamme vietävät tiedostot julkisella avaimella ja viemme ne SD Connectiin /Altaaseen airlockin komentorivikäyttöliittymällä. Lopuksi lataamme tiedostot Sd Connectista/Altaasta ja puramme ne paikallisessa ympäristössämme vastaavalla salaisella salausavaimella.

Lataa ja asenna Crypt4GH-salauksen komentorivikäyttöliittymätyökalu
Luo salausavainparisi
Lataa julkinen avaimesi SD Connectiin /Altaaseen
Tuo julkinen avain virtuaalityöpöydän sisälle
Salaa tiedostot julkisella avaimellasi
Vie tiedostot SD Desktopista airlockin kautta
Lataa tiedosto SD Connectista /Altaasta ja muuta tiedostopääte
Pura tiedoston salaus Crypt4GH-salauksen komentorivikäyttöliittymätyökalulla
Lisäasetukset: Varmuuskopiot ja tuki

Tukea saatavilla

Ota yhteyttä osoitteeseen servicedesk@csc.fi (aihe: SD Desktop). Opastamme sinua vientiprosessissa verkkotapaamisessa.

1. Lataa ja asenna Crypt4GH-salauksen komentorivikäyttöliittymätyökalu

Dokumentaatiota ja lisätietoja löydät sivulta Crypt4GH Encryption Utility.

Python 3.6+ vaaditaan Crypt4GH-salaustyökalun käyttämiseen. Jos tarvitset apua Pythonin asentamisessa, seuraa näitä ohjeita.

Asenna Crypt4GH-salauksen komentorivikäyttöliittymätyökalu

Voit asentaa Crypt4GH:n suoraan pip-työkalulla:

pip install crypt4gh

tai jos haluat käyttää uusimpia lähdekoodeja GitHubista:

pip install -r crypt4gh/requirements.txt
pip install ./crypt4gh

tai myös:

pip install git+https://github.com/EGA-archive/crypt4gh.git

Tavallinen -h-valitsin näyttää työkalun hyväksymät eri vaihtoehdot:

$ crypt4gh -h

Utility for the cryptographic GA4GH standard, reading from stdin and outputting to stdout.

Usage:
   {PROG} [-hv] [--log <file>] encrypt [--sk <path>] --recipient_pk <path> [--recipient_pk <path>]... [--range <start-end>]
   {PROG} [-hv] [--log <file>] decrypt [--sk <path>] [--sender_pk <path>] [--range <start-end>]
   {PROG} [-hv] [--log <file>] rearrange [--sk <path>] --range <start-end>
   {PROG} [-hv] [--log <file>] reencrypt [--sk <path>] --recipient_pk <path> [--recipient_pk <path>]... [--trim]

Options:
   -h, --help             Prints this help and exit
   -v, --version          Prints the version and exits
   --log <file>           Path to the logger file (in YML format)
   --sk <keyfile>         Curve25519-based Private key.
                        When encrypting, if neither the private key nor C4GH_SECRET_KEY are specified, we generate a new key
   --recipient_pk <path>  Recipient's Curve25519-based Public key
   --sender_pk <path>     Peer's Curve25519-based Public key to verify provenance (akin to signature)
   --range <start-end>    Byte-range either as  <start-end> or just <start> (Start included, End excluded)
   -t, --trim             Keep only header packets that you can decrypt

Environment variables:
   C4GH_LOG         If defined, it will be used as the default logger
   C4GH_SECRET_KEY  If defined, it will be used as the default secret key (ie --sk ${C4GH_SECRET_KEY})

Saatat huomata, että crypt4gh käyttää yksityisestä avaimesta valitsinta --sk. Tämä voi tuntua oudolta, mutta ilmeisesti crypt4gh käyttää termiä secure key yksityisestä avaimesta, mistä tulee sk, ja vastaavasti pk viittaa julkiseen avaimeen eikä yksityiseen avaimeen.

2. Luo salausavainparisi

  Käytä komentoa `crypt4gh-keygen` luodaksesi yksityisen ja julkisen avaimesi:

  ```bash
  $ crypt4gh-keygen --sk mykey.sec --pk mykey.pub
  Generating public/private Crypt4GH key pair.
  Enter passphrase for mykey.sec (empty for no passphrase): 
  Enter passphrase for mykey.sec (again): 
  Your private key has been saved in mykey.sec
  Your public key has been saved in mykey.pub
  ```

  missä `--sk mykey.sec` on yksityinen (salainen, sk) avaimesi ja `--pk mykey.pub` on julkinen avaimesi (pk). 
  Työkalu pyytää sinua antamaan salasanan (passphrase) yksityiselle avaimellesi. Turvallisuussyistä salasanaa 
  ei näytetä kirjoittaessasi sitä, joten työkalu pyytää syöttämään sen toisen kerran varmistaakseen, ettet tehnyt kirjoitusvirheitä 
  (tai että teit samat virheet kahdesti). Käytä vahvaa salasanaa!

!!! Note
    Jos kadotat tai unohdat yksityisen avaimesi tai sen salasanan, et voi purkaa tiedostojen salausta. Älä jaa yksityistä avaintasi tai salasanaasi.

!!! Note
    Avaimet tarvitsee luoda vain kerran, ja niitä voi käyttää kaikkiin salaustarpeisiin, mutta voit toki halutessasi luoda erilliset avaimet eri käyttötarkoituksiin.

Avaimet tallennetaan samaan kansioon, jossa sovellus sijaitsee (esim. Downloads-kansioon).
Suosittelemme tallentamaan avainparin erilliseen kansioon ja nimeämään tiedostot kuvaavasti (esim. export_public.pub ja export_secret.key). Yleisiä ongelmia syntyy, kun avaimet ovat väärässä paikassa tai menevät sekaisin.
Suosittelemme testaamaan, että avainpari toimii, salaamalla ja purkamalla jonkin testitiedoston.

Warning

Jos kadotat tai unohdat salaisen avaimesi tai salasanasi, et voi purkaa tiedostojesi salausta.
Älä jaa salaista avaintasi tai salasanaasi.
Sinun tarvitsee luoda avaimesi vain kerran kaikkiin salaustarpeisiin, mutta voit halutessasi luoda erilliset avaimet eri projekteille.

3. Lataa julkinen avain SD Connectiin

Voit tuoda julkisen salausavaimen lataamalla sen SD Connectin selainkäyttöliittymän kautta.

Kirjaudu sisään SD Connectin selainkäyttöliittymään.
Valitse oikea CSC-projekti vasemmasta yläkulmasta.
Napsauta oikeasta yläkulmasta Upload.
Nimeä uudessa ikkunassa tiedostojesi kohdekansio (esim. project_export).
Napsauta Select Files avataksesi selainikkunan ja valitse julkinen salausavain (esim. .pub-tiedosto). Napsauta Upload aloittaaksesi automaattisen salauksen ja latauksen palveluun.
Kun lataus palveluun on valmis, salausavain näkyy nyt virtuaalityöpöydälläsi.

4. Tuo julkinen avain virtuaalityöpöydän sisälle

Avaa virtuaalityöpöytäsi.
Avaa Data Gateway -sovellus ja siirry hakemistoon, johon julkinen avain tallennettiin.
Käytä kopioi/liitä-toimintoa liittääksesi julkisen avaimesi virtuaalityöpöydälle (tai terminaaliin); sen salaus puretaan automaattisesti.

5. Salaa tiedosto

Useiden tiedostojen vienti

Jos haluat viedä useita tiedostoja, on usein kätevää kerätä ne ensin yhteen kansioon ja pakata kansio sitten tar- tai zip-komennoilla. Sen jälkeen voit salata kaiken datan yhtenä tiedostona.

Salaa tiedosto tai kansio

Avaa terminaali (hiiren oikea painike) ja käytä julkista avaintasi niiden tiedostojen salaamiseen, jotka haluat viedä. Crypt4GH on esiasennettu jokaiselle virtuaalityöpöydälle ja käytettävissä komentoriviltä.

Salauskomennon syntaksi on:
```
crypt4gh encrypt --recipient_pk public-key < input > output
```
Tässä: - public-key on julkisen avaimesi tiedosto (esim. your-username.pub). - input on tiedosto, jonka haluat viedä (esim. my_results.csv). - output on salattu tiedosto (esim. my_results.csv.c4gh).

Esimerkki:
```
crypt4gh encrypt --recipient_pk your-username.pub < my_results.csv > my_results.csv.c4gh
```

6. Vie salatut tiedostot virtuaalityöpöydältä

Kun tiedostot on salattu, vain CSC:n projektipäällikkö voi viedä ne Data Gateway -sovelluksella tai Airlock-komentoriviasiakkaalla.

Note

Airlock-asiakasohjelma tukee enintään 30 GB:n tiedostojen vientiä. Suuremmat tiedostot tai aineistot on jaettava pienempiin osiin ennen vientiä.

Avaa terminaali (hiiren oikea painike) ja käytä seuraavaa syntaksia:
```
airlock-client <<username>> <<data_output_bucket>> <<filename>>
```
- username on CSC-käyttäjätunnuksesi.
- data_output_bucket on sen ämpärin nimi, johon tulokset viedään. Airlock-asiakasohjelma luo tämän ämpärin automaattisesti samaan CSC-projektiin kuin Desktopisi.
- filename on sen salatun tiedoston nimi, jonka haluat viedä.
Esimerkki:
```
airlock-client cscuser analysis-2022 results-03.csv.c4gh
```
Paina Enter ja anna salasanasi pyydettäessä.

Note

Jos yrität ladata palveluun salaamattoman tiedoston, Data Gateway -sovellus tai Airlock-asiakasohjelma salaa sen turvallisuussyistä automaattisesti Sensitive Data -palveluiden julkisella avaimella ja vie sen SD Connectiin. Voit ladata tämän tiedoston, mutta et voi purkaa sen salausta. Tiedosto on kuitenkin yhteensopiva muiden SD Desktop -virtuaalikoneiden kanssa.

7. Lataa tiedostot SD Connectista/Altaasta ohjelmallisesti ja pura niiden salaus salausavaimellasi

Voit käyttää mitä tahansa Allas-yhteensopivaa työkalua tai käyttöliittymää salatun tiedoston lataamiseen omalle tietokoneellesi. Esimerkiksi rclone-komentorivityökaluilla latauskomento (kun Allas-yhteys on avattu) voi olla esimerkiksi seuraava:

rclone copy allas:analysis-2022/results-03.csv.c4gh ./

Tämä komento kopioi tiedoston results-03.csv.c4gh omalle tietokoneellesi. Tämän jälkeen sinun täytyy vielä purkaa salaus erillisenä vaiheena. (katso alla)

Jos CSC:n kehittämät Allas-komennot (a-put ja a-get) on asennettu paikalliselle tietokoneellesi, voit yhdistää latauksen ja salauksen purun yhdeksi komennoksi. Tämä tehdään määrittämällä salainen avain valitsimella --sk. Esimerkiksi:

a-get --sk export_secret.key analysis-2022/results-03.csv.c4gh

Yllä oleva komento pyytää salaisen avaimen salasanaa ja tuottaa käyttövalmiin puretun tiedoston paikalliselle tietokoneellesi (tässä tapauksessa results-03.csv).

8. Pura tiedostojen salaus Crypt4gh:n komentorivityökaluilla

Note

Alla on vaiheittainen esimerkki yhden tiedoston salauksen purkamisesta.

Tiedoston salauksen purkamiseen tarvitset yksityisen avaimen, joka vastaa jotakin salausvaiheessa käytetyistä julkisista avaimista. Oletetaan esimerkissämme, että tutkimusryhmä A purkaa heille lähettämäsi tiedoston salauksen. Tiedoston salauksen purkamiseen he käyttävät komentoa crypt4gh decrypt:

  ```bash
  crypt4gh decrypt --sk groupA.sec <dog.jpg.c4gh >dog.jpg
  ```

  missä `--sk groupA.sec` on yksityinen avain, joka vastaa jotakin salauksessa käytetyistä julkisista avaimista. Komento `crypt4gh` käyttää vain 
  standardisyötettä (stdin) ja vakiotulostetta (stdout), joten sinun on käytettävä komentotulkin uudelleenohjauksia: `<` tarkoittaa syötetiedostoa ja `>` tulostetiedostoa, 
  joten `<dog.jpg.c4gh` lukee salatun tiedoston nimeltä `dog.jpg.c4gh` ja `>dog.jpg` kirjoittaa puretun tiedoston nimeltä `dog.jpg`.

  Komento pyytää käyttäjää antamaan yksityisen avaimen salasanan (passphrase). Turvallisuussyistä salasanaa ei näytetä kirjoittaessasi sitä.

Note

Jos purat tiedoston salauksen SD Desktopissa ja salauksessa on käytetty CSC:n sensitiivisen datan palveluita tutkimukselle -palvelun julkista avainta, salauksen purku tehdään automaattisesti eikä sinun tarvitse määrittää salauksen purkuavaimia.

Jos sinun täytyy purkaa suuren tiedostomäärän salaus, katso ohje Decrypting all files in a directory.

Lisätietoja datan salauksesta

Lisäasetukset: Varmuuskopiot

Jos projektin jäsenten täytyy tehdä varmuuskopioita tärkeistä tiedostoista, projektipäällikkö voi käynnistää varmuuskopiopalvelinprosessin, jota projektin jäsenet voivat hyödyntää varmuuskopioiden tekemiseen. Lisätietoja on ohjeessa: SD Desktop Back-up server tutorial.

Lisää tukea:

Jos haluat salata tiedostoja ja ladata niitä palveluun komentoriviltä, katso tämä ohje, jossa havainnollistetaan, miten crpt4gh- työkalua käytetään tiedostojen lataamiseen Altaaseen (näkyy SD Connectissa).

Alla on lisää tietoa crypt4GH:n komentorivikäyttöliittymästä:

Dokumentaatiota ja lisätietoja löydät sivulta Crypt4GH Encryption Utility.

Jos sinun täytyy purkaa suuren tiedostomäärän salaus, katso ohje Decrypting all files in a directory.

Seuraavat vaiheet tässä oppaassa

Vianmääritys