Miten hakemistoihin pääsee käsiksi Roihussa cPoudasta?

CSC:n laskentapalvelimien (Roihu) tallennusympäristöt eivät ole suoraan käytettävissä cPoudasta, koska HPC-järjestelmien verkko on erotettu cPoudasta turvallisuus- ja suorituskykysyistä.

Normaalisti suositeltu tapa siirtää dataa cPoudan ja CSC:n laskentapalvelimien välillä on käyttää Allasta. Jos kuitenkin tarvitset suoran pääsyn dataasi HPC-palvelimilla, voit käyttää sshfs:ää luodaksesi väliaikaisia etäliitoksia henkilökohtaisiin hakemistoihisi Roihussa.

Esimerkiksi jos käyttäjä kkayttaj haluaa liittää scratch-hakemistonsa (/scratch/project_2012345) Roihusta Ubuntu-pohjaiseen cPoudassa toimivaan virtuaalikoneeseen, hänen täytyy ensin asentaa sshfs virtuaalikoneeseen:

sudo apt install sshfs

CentOS-koneissa vastaava komento on:

sudo yum install sshfs

Sen jälkeen luodaan tyhjä hakemisto, jota käytetään liitospisteenä:

mkdir roihu_scratch

Jotta voit muodostaa yhteyden Roihuun SSH-asiakasohjelmalla, sinun täytyy määrittää SSH-avaimet paikallisella työasemallasi ja rekisteröidä julkinen avaimesi MyCSC:hen. Roihu vaatii avaimen lisäksi myös allekirjoitetun, määräaikaisen SSH-varmenteen. Lisäksi, jotta paikalliset SSH-avaimesi ja varmenteesi ovat käytettävissä myös cPouta-virtuaalikoneellasi, sinun täytyy ottaa käyttöön SSH-agentin välitys paikallisella koneellasi. Lue ohjeet:

Kun olet ottanut SSH-avaimet käyttöön, rekisteröinyt julkisen avaimesi MyCSC:hen, allekirjoittanut sen saadaksesi SSH-varmenteen ja määrittänyt SSH-agentin välityksen paikallisella työasemallasi, etähakemiston liittäminen Roihusta voidaan tehdä cPouta-virtuaalikoneellasi komennolla:

sshfs kkayttaj@roihu-cpu.csc.fi:/scratch/project_2012345 ./roihu_scratch

Tässä sinun tulee korvata /scratch/project_2012345 projektisi scratch-hakemistolla.

Tämän jälkeen hakemisto roihu_scratch näyttää scratch-kansiosi sisällön Roihussa, ja sitä voidaan käyttää kuten mitä tahansa liitettyä hakemistoa. Etäliitettyjen hakemistojen I/O-suorituskyky ei kuitenkaan ole yhtä hyvä kuin paikallisesti liitettyjen hakemistojen. Siksi I/O-intensiivisten tehtävien tapauksessa voi olla järkevämpää kopioida data virtuaalikoneen paikallisille levyille. Tähän voidaan käyttää työkaluja kuten scp ja rsync.

Etäliitoksen irrottamiseksi anna komento:

fusermount -u mountpoint

Esimerkiksi yllä luotu etäliitos poistetaan komennolla:

fusermount -u roihu_scratch

Katso myös Etälevyliitokset.