Hyppää sisältöön

User guiden sisällysluettelo

Ohjelmallinen datan tuonti ja vienti virtuaalityöpöydällä

Virtuaalityöpöytä on eristetty ympäristö, jossa ei ole suoraa internetyhteyttä. Ainoa tapa tuoda dataa analysoitavaksi tai viedä tuloksia suojatusta ympäristöstä on Data Gateway -sovelluksen kautta, joka on käytettävissä myös komentorivikäyttöliittymän kautta.

Kuka tahansa projektin jäsen voi tuoda tiedostoja SD Connectista tai SD Applysta Data Gatewayn kautta, jos tiedostot on tallennettu sinne ja käyttäjällä on tarvittavat käyttöoikeudet. Tuodut tiedostot puretaan automaattisesti salauksesta.

Vain CSC-projektipäällikkö voi viedä tiedostoja virtuaalityöpöydältä. Viedyt tiedostot salataan automaattisesti ja siirretään SD Connectiin, josta kaikki projektin jäsenet voivat käyttää ja ladata ne.

Tällä sivulla:

1. Aineiston työkopion tuominen ulkoiselle taltiolle

2. Aseta oikeat käyttöoikeudet

3. Data-analyysi Byobu-päätteellä

4. Tulosten vienti

1. Aineiston työkopion tuominen ulkoiselle taltiolle

Käytä Data Gateway -sovellusta komentoriviltä tuodaksesi tiedostoja SD Connectista ja SD Applysta (jos sinulla on tarvittavat käyttöoikeudet) virtuaalityöpöytääsi liitetylle taltiolle.

Vaihe 1: käynnistä Data Gateway -yhteys

Avaa Data Gateway -sovellus suorittamalla:

data-gateway-cli import

Tämä muodostaa suojatun yhteyden virtuaalityöpöytäsi ja SD Connectin tai SD Applyn välille, jossa tiedostosi säilytetään salattuina. Tämän jälkeen huomaat sivun navigointipalkissa, että kansio nimeltä Project on avattu.

Vaihe 2: tarkastele SD Connect -projektisi sisältöä

Nähdäksesi CSC-projektissasi käytettävissä olevat ja SD Connectiin tallennetut tiedostot ja kansiot, suorita:

ls $HOME/Projects/SD-Connect/project-number/

Korvaa project-number CSC-projektinumerollasi.

3. Siirry virtuaalityöpöytäsi taltiolle

Voit nyt tehdä SD Connectiin tallennetuista tiedostoista työkopion virtuaalityöpöytäsi sisälle ja tallentaa ne erityisesti siihen liitetylle taltiolle.

Virtuaalityöpöytään liitetyt taltiot liitetään nimillä volume1, volume2 jne.

Jos sinulla on vain yksi liitetty taltio, siirry siihen komennolla:

cd /media/volume1

4. Kopioi tiedostoja SD Connectista

Voit kopioida tiedostoja SD Connectista Data Gatewayn luoman suojatun yhteyden kautta virtuaalityöpöytäsi taltiolle. Tiedostojen salaus puretaan automaattisesti kopioinnin aikana.

Pidä Data Gateway -sovellus käynnissä, kunnes tiedostonsiirto on valmis.

Esimerkki:

cp -r $HOME/Projects/SD-Connect/project_number/buckets/ .
Missä:

Component Description
cp Kopioi tiedostoja tai hakemistoja
-r Kopioi hakemistot ja niiden sisällön rekursiivisesti
project_number CSC-projektinumerosi
buckets Sen ämpärin nimi, joka sisältää tiedostosi ja kansiosi SD Connectissa
. Nykyinen hakemisto (virtuaalityöpöytäsi taltio)

Esimerkki:

cp -r $HOME/Projects/SD-Connect/project_2000XXX/experiment-04-10-2026/ .

Tuo tiedostoja vain SD Applysta

Jos tarvitset pääsyn vain SD Applyhin tallennettuun dataan, suorita:

data-gateway-cli import -sdapply

Poistu Data Gateway -sovelluksesta

Sulje yhteys painamalla:

Ctrl+C

Huomioita

  • Pidä Data Gateway -sovellus auki tiedostojen kopioinnin ajan.
  • Tiedostot ovat käytettävissä liitetyn Projects-hakemiston kautta vain niin kauan kuin suojattu yhteys on aktiivinen.
  • Tiedostojen salaus puretaan automaattisesti, kun ne kopioidaan virtuaalityöpöytäsi taltiolle.

2. Aseta oikeat käyttöoikeudet

Kun olet kopioinut tiedostot taltiolle, säädä kansioiden ja tiedostojen käyttöoikeuksia, jotta muut projektin jäsenet voivat käyttää niitä. Oletusarvoisesti käyttöoikeudet on rajattu vain sinun käyttöösi.

Alla olevilla vaiheilla varmistat, että kaikilla projektin jäsenillä on luku- ja kirjoitusoikeus kaikkiin tiedostoihin ja kansioihin. Tämä ehkäisee mahdollisia käyttöoikeusongelmia, kun taltiota käytetään eri virtuaalityöpöydällä, jossa tiedostojen omistajuustietoja voidaan käsitellä eri tavalla.

  1. Jos et ole vielä asentanut SD Tools installer -asennustyökalua virtuaalityöpöydällesi, seuraa näitä ohjeita (Vaiheet 1–2).
  2. Käynnistä SD Tools installer. Muista, että Data Gateway -sovelluksen on oltava auki, jotta se toimii.
  3. Asenna CSC Tools napsauttamalla vastaavaa painiketta. Odota vahvistusta. Gateway copy to volume

  4. Avaa pääte työpöydän vasemmasta reunasta. Kirjoita pre-volume-detach. Tämä komento korjaa käyttöoikeudet. Gateway copy to volume

  5. Seuraavaksi komento kertoo, onko muita projektin jäseniä, joiden tulisi suorittaa tämä komento. Sinun tulee ilmoittaa heille, jos näin on.
  6. Tämän jälkeen sinulta kysytään, haluatko tehdä varmuuskopion kotihakemistostasi taltiolle, jolloin voit tuoda sen sisällön uuteen virtuaalikoneeseen. Kirjoita y tai n (Yes/No).
  7. Seuraavaksi komento kysyy, haluatko tehdä varmuuskopion jaetusta hakemistostasi, joka sisältää ohjelmistoasennuksia. Kirjoita y tai n (Yes/No).

3. Data-analyysi Byobu-päätteellä

Virtuaalityöpöytä sisältää Byobu-päätteen, joka tarjoaa pysyvän komentorivikäyttöliittymän data-analyysitehtävien suorittamiseen. Byobu on erityisen hyödyllinen pitkään kestävissä töissä, sillä prosessit jatkavat toimintaansa, vaikka kirjaudut ulos virtuaalityöpöydältä, toisin kuin tavallisessa komentotulkki-istunnossa.

Yleisiä käyttötapauksia ovat:

  • Python-, R- tai komentotulkkiskriptien ajaminen suurilla aineistoilla.
  • Laskennallisesti raskaiden analyysien suorittaminen, jotka voivat kestää useita tunteja tai päiviä.
  • Työn etenemisen seuranta ilman, että pääteikkunaa tarvitsee pitää aktiivisena.
  • Useiden pääteistuntojen samanaikainen käyttö Byobun istunnonhallintaominaisuuksien avulla.

Byobu mahdollistaa uloskirjautumisen istunnosta ja myöhemmän uudelleenyhdistämisen, mikä tekee siitä luotettavan vaihtoehdon eräajoon, datan valmisteluun, koneoppimiskuormiin ja muihin pitkäkestoisiin analyyseihin verrattuna tavalliseen komentotulkkiin.

4. Tulosten vienti

Vie tiedostoja SD Connectiin

Vain CSC-projektipäällikkö voi viedä tuloksia virtuaalityöpöydältä Data Gateway -sovelluksella. Projektin jäsenet voivat tuoda tiedostoja, mutta eivät voi viedä dataa.

Ennen vientiä avaa pääte siinä hakemistossa, jossa vietävä tiedosto tai kansio sijaitsee.

Vie yksittäinen tiedosto

Avaa pääte siinä hakemistossa, jossa vietävä tiedosto tai kansio sijaitsee, ja käytä seuraavaa komentoa tiedoston viemiseksi SD Connect -ämpäriin:

data-gateway-cli export <SD-Connect-bucket-name> <file-name>

Esimerkki:

data-gateway-cli export study2026 results.csv
Tiedosto results.csv salataan ja viedään SD Connect -ämpäriin nimeltä study2026. Jos määritettyä ämpäriä ei vielä ole SD Connectissa, se luodaan automaattisesti. Kun vienti on valmis, tiedosto on kaikkien CSC-projektisi jäsenten saatavilla. Projektin jäsenet voivat sitten ladata tiedoston SD Connectin kautta omille tietokoneilleen. Tiedoston salaus puretaan automaattisesti latauksen aikana.

Vie kansio

Jos haluat viedä kansion ja kaiken sen sisällön SD Connect -ämpäriin, käytä:

data-gateway-cli export <SD-Connect-bucket-name> <folder-name>

Esimerkki:

data-gateway-cli export study2026 results-november-2026

Tässä tapauksessa hakemisto nimeltä restuls-november-2026 viedään SD Connect -ämpäriin nimeltä study 2026 koko sisältöineen. Kaikki tiedostot salataan automaattisesti. Jos määritettyä ämpäriä ei vielä ole SD Connectissa, se luodaan automaattisesti. Myös tässä tapauksessa, kun vienti on valmis, tiedosto on kaikkien CSC-projektisi jäsenten saatavilla. Projektin jäsenet voivat sitten ladata kansion SD Connectin kautta omille tietokoneilleen. Tiedoston salaus puretaan automaattisesti latauksen aikana.

Komentojen selitys

Component Description
data-gateway-cli export Käynnistää vientiprosessin
SD-Connect-bucket-name Kohdeämpärin nimi SD Connectissa
file-name Vietävä tiedosto
folder-name Vietävä kansio kaikkine sisältöineen

Huomioita

  • Vain CSC-projektipäälliköt voivat viedä dataa virtuaalityöpöydältä.
  • Projektin jäsenet voivat tuoda dataa, mutta eivät voi tehdä vientiä.
  • Vientikomento lataa valitun tiedoston tai kansion määritettyyn SD Connect -ämpäriin.
  • Jos ämpäriä ei ole olemassa, se luodaan automaattisesti vientiprosessin aikana.
  • Varmista ennen vientikomennon suorittamista, että olet oikeassa hakemistossa, tai anna tiedoston tai kansion täydellinen polku.

  • Vianmääritys

Onko tämä sivu hyödyllinen?
Kiitos palautteestasi!
Kiitos! Arvostamme palautettasi.

Kerro meille miten voisimme parantaa tätä sivua ottamalla meihin yhteyttä .