Ohjelmallinen datan tuonti ja vienti virtuaalityöpöydällä¶
Virtuaalityöpöytä on eristetty ympäristö, jossa ei ole suoraa internetyhteyttä. Ainoa tapa tuoda dataa analysoitavaksi tai viedä tuloksia suojatusta ympäristöstä on Data Gateway -sovelluksen kautta, joka on käytettävissä myös komentorivikäyttöliittymän kautta.
Kuka tahansa projektin jäsen voi tuoda tiedostoja SD Connectista tai SD Applysta Data Gatewayn kautta, jos tiedostot on tallennettu sinne ja käyttäjällä on tarvittavat käyttöoikeudet. Tuodut tiedostot puretaan automaattisesti salauksesta.
Vain CSC-projektipäällikkö voi viedä tiedostoja virtuaalityöpöydältä. Viedyt tiedostot salataan automaattisesti ja siirretään SD Connectiin, josta kaikki projektin jäsenet voivat käyttää ja ladata ne.
Tällä sivulla:
1. Aineiston työkopion tuominen ulkoiselle taltiolle
2. Aseta oikeat käyttöoikeudet
3. Data-analyysi Byobu-päätteellä
1. Aineiston työkopion tuominen ulkoiselle taltiolle¶
Käytä Data Gateway -sovellusta komentoriviltä tuodaksesi tiedostoja SD Connectista ja SD Applysta (jos sinulla on tarvittavat käyttöoikeudet) virtuaalityöpöytääsi liitetylle taltiolle.
Vaihe 1: käynnistä Data Gateway -yhteys¶
Avaa Data Gateway -sovellus suorittamalla:
Tämä muodostaa suojatun yhteyden virtuaalityöpöytäsi ja SD Connectin tai SD Applyn välille, jossa tiedostosi säilytetään salattuina. Tämän jälkeen huomaat sivun navigointipalkissa, että kansio nimeltä Project on avattu.
Vaihe 2: tarkastele SD Connect -projektisi sisältöä¶
Nähdäksesi CSC-projektissasi käytettävissä olevat ja SD Connectiin tallennetut tiedostot ja kansiot, suorita:
Korvaa project-number CSC-projektinumerollasi.
3. Siirry virtuaalityöpöytäsi taltiolle¶
Voit nyt tehdä SD Connectiin tallennetuista tiedostoista työkopion virtuaalityöpöytäsi sisälle ja tallentaa ne erityisesti siihen liitetylle taltiolle.
Virtuaalityöpöytään liitetyt taltiot liitetään nimillä volume1, volume2 jne.
Jos sinulla on vain yksi liitetty taltio, siirry siihen komennolla:
4. Kopioi tiedostoja SD Connectista¶
Voit kopioida tiedostoja SD Connectista Data Gatewayn luoman suojatun yhteyden kautta virtuaalityöpöytäsi taltiolle. Tiedostojen salaus puretaan automaattisesti kopioinnin aikana.
Pidä Data Gateway -sovellus käynnissä, kunnes tiedostonsiirto on valmis.
Esimerkki:
Missä:| Component | Description |
|---|---|
cp |
Kopioi tiedostoja tai hakemistoja |
-r |
Kopioi hakemistot ja niiden sisällön rekursiivisesti |
project_number |
CSC-projektinumerosi |
buckets |
Sen ämpärin nimi, joka sisältää tiedostosi ja kansiosi SD Connectissa |
. |
Nykyinen hakemisto (virtuaalityöpöytäsi taltio) |
Esimerkki:
Tuo tiedostoja vain SD Applysta¶
Jos tarvitset pääsyn vain SD Applyhin tallennettuun dataan, suorita:
Poistu Data Gateway -sovelluksesta¶
Sulje yhteys painamalla:
Huomioita¶
- Pidä Data Gateway -sovellus auki tiedostojen kopioinnin ajan.
- Tiedostot ovat käytettävissä liitetyn
Projects-hakemiston kautta vain niin kauan kuin suojattu yhteys on aktiivinen. - Tiedostojen salaus puretaan automaattisesti, kun ne kopioidaan virtuaalityöpöytäsi taltiolle.
2. Aseta oikeat käyttöoikeudet¶
Kun olet kopioinut tiedostot taltiolle, säädä kansioiden ja tiedostojen käyttöoikeuksia, jotta muut projektin jäsenet voivat käyttää niitä. Oletusarvoisesti käyttöoikeudet on rajattu vain sinun käyttöösi.
Alla olevilla vaiheilla varmistat, että kaikilla projektin jäsenillä on luku- ja kirjoitusoikeus kaikkiin tiedostoihin ja kansioihin. Tämä ehkäisee mahdollisia käyttöoikeusongelmia, kun taltiota käytetään eri virtuaalityöpöydällä, jossa tiedostojen omistajuustietoja voidaan käsitellä eri tavalla.
- Jos et ole vielä asentanut SD Tools installer -asennustyökalua virtuaalityöpöydällesi, seuraa näitä ohjeita (Vaiheet 1–2).
- Käynnistä SD Tools installer. Muista, että Data Gateway -sovelluksen on oltava auki, jotta se toimii.
-
Asenna CSC Tools napsauttamalla vastaavaa painiketta. Odota vahvistusta.

-
Avaa pääte työpöydän vasemmasta reunasta. Kirjoita
pre-volume-detach. Tämä komento korjaa käyttöoikeudet.
- Seuraavaksi komento kertoo, onko muita projektin jäseniä, joiden tulisi suorittaa tämä komento. Sinun tulee ilmoittaa heille, jos näin on.
- Tämän jälkeen sinulta kysytään, haluatko tehdä varmuuskopion kotihakemistostasi taltiolle, jolloin voit tuoda sen sisällön uuteen virtuaalikoneeseen. Kirjoita y tai n (Yes/No).
- Seuraavaksi komento kysyy, haluatko tehdä varmuuskopion jaetusta hakemistostasi, joka sisältää ohjelmistoasennuksia. Kirjoita y tai n (Yes/No).
3. Data-analyysi Byobu-päätteellä¶
Virtuaalityöpöytä sisältää Byobu-päätteen, joka tarjoaa pysyvän komentorivikäyttöliittymän data-analyysitehtävien suorittamiseen. Byobu on erityisen hyödyllinen pitkään kestävissä töissä, sillä prosessit jatkavat toimintaansa, vaikka kirjaudut ulos virtuaalityöpöydältä, toisin kuin tavallisessa komentotulkki-istunnossa.
Yleisiä käyttötapauksia ovat:
- Python-, R- tai komentotulkkiskriptien ajaminen suurilla aineistoilla.
- Laskennallisesti raskaiden analyysien suorittaminen, jotka voivat kestää useita tunteja tai päiviä.
- Työn etenemisen seuranta ilman, että pääteikkunaa tarvitsee pitää aktiivisena.
- Useiden pääteistuntojen samanaikainen käyttö Byobun istunnonhallintaominaisuuksien avulla.
Byobu mahdollistaa uloskirjautumisen istunnosta ja myöhemmän uudelleenyhdistämisen, mikä tekee siitä luotettavan vaihtoehdon eräajoon, datan valmisteluun, koneoppimiskuormiin ja muihin pitkäkestoisiin analyyseihin verrattuna tavalliseen komentotulkkiin.
4. Tulosten vienti¶
Vie tiedostoja SD Connectiin¶
Vain CSC-projektipäällikkö voi viedä tuloksia virtuaalityöpöydältä Data Gateway -sovelluksella. Projektin jäsenet voivat tuoda tiedostoja, mutta eivät voi viedä dataa.
Ennen vientiä avaa pääte siinä hakemistossa, jossa vietävä tiedosto tai kansio sijaitsee.
Vie yksittäinen tiedosto¶
Avaa pääte siinä hakemistossa, jossa vietävä tiedosto tai kansio sijaitsee, ja käytä seuraavaa komentoa tiedoston viemiseksi SD Connect -ämpäriin:
Esimerkki:
Tiedosto results.csv salataan ja viedään SD Connect -ämpäriin nimeltä study2026. Jos määritettyä ämpäriä ei vielä ole SD Connectissa, se luodaan automaattisesti. Kun vienti on valmis, tiedosto on kaikkien CSC-projektisi jäsenten saatavilla. Projektin jäsenet voivat sitten ladata tiedoston SD Connectin kautta omille tietokoneilleen. Tiedoston salaus puretaan automaattisesti latauksen aikana.Vie kansio¶
Jos haluat viedä kansion ja kaiken sen sisällön SD Connect -ämpäriin, käytä:
Esimerkki:
Tässä tapauksessa hakemisto nimeltä restuls-november-2026 viedään SD Connect -ämpäriin nimeltä study 2026 koko sisältöineen. Kaikki tiedostot salataan automaattisesti. Jos määritettyä ämpäriä ei vielä ole SD Connectissa, se luodaan automaattisesti. Myös tässä tapauksessa, kun vienti on valmis, tiedosto on kaikkien CSC-projektisi jäsenten saatavilla. Projektin jäsenet voivat sitten ladata kansion SD Connectin kautta omille tietokoneilleen. Tiedoston salaus puretaan automaattisesti latauksen aikana.
Komentojen selitys
| Component | Description |
|---|---|
data-gateway-cli export |
Käynnistää vientiprosessin |
SD-Connect-bucket-name |
Kohdeämpärin nimi SD Connectissa |
file-name |
Vietävä tiedosto |
folder-name |
Vietävä kansio kaikkine sisältöineen |
Huomioita¶
- Vain CSC-projektipäälliköt voivat viedä dataa virtuaalityöpöydältä.
- Projektin jäsenet voivat tuoda dataa, mutta eivät voi tehdä vientiä.
- Vientikomento lataa valitun tiedoston tai kansion määritettyyn SD Connect -ämpäriin.
- Jos ämpäriä ei ole olemassa, se luodaan automaattisesti vientiprosessin aikana.
-
Varmista ennen vientikomennon suorittamista, että olet oikeassa hakemistossa, tai anna tiedoston tai kansion täydellinen polku.