Miten hakemistoihin pääsee käsiksi Puhdissa ja Mahdissa cPoudasta?

CSC:n laskentapalvelimien tallennusympäristöt (Puhti ja Mahti) eivät ole suoraan käytettävissä cPoudasta, koska HPC-järjestelmien verkko on erotettu cPoudasta turvallisuus- ja suorituskykysyistä.

Yleensä suositeltu tapa siirtää dataa cPoudan ja CSC:n laskentapalvelimien välillä on käyttää Allasta. Jos kuitenkin tarvitset suoran pääsyn dataasi HPC-palvelimilla, voit käyttää sshfs:ää luodaksesi väliaikaisia etäliitoksia henkilökohtaisiin hakemistoihisi Puhdissa tai Mahdissa.

Esimerkiksi jos käyttäjä kkayttaj haluaa liittää scratch-hakemistonsa (/scratch/project_2012345) Puhdista Ubuntu-pohjaiseen cPoudassa toimivaan virtuaalikoneeseen, hänen täytyy ensin asentaa sshfs virtuaalikoneeseen:

sudo apt install sshfs

CentOS-koneissa vastaava komento on:

sudo yum install sshfs

Sen jälkeen luodaan tyhjä hakemisto, jota käytetään liitospisteenä:

mkdir puhti_scratch

Jotta voit muodostaa yhteyden Puhtiin ja Mahtiin SSH-asiakasohjelmalla, sinun täytyy määrittää SSH-avaimet paikalliselle työasemallesi ja rekisteröidä julkinen avaimesi MyCSC:ssä. Lisäksi, jotta paikalliset SSH-avaimesi ovat käytettävissä myös cPouta-virtuaalikoneellasi, sinun täytyy ottaa käyttöön SSH agent forwarding paikallisella koneellasi. Lue ohjeet:

Kun olet ottanut SSH-avaimet käyttöön, rekisteröinyt julkisen avaimesi MyCSC:ssä ja määrittänyt SSH agent forwardingin paikallisella työasemallasi, etähakemiston liittäminen Puhdista voidaan tehdä cPouta-virtuaalikoneellasi komennolla:

sshfs kkayttaj@puhti.csc.fi:/scratch/project_2012345 ./puhti_scratch

Tässä sinun tulee korvata /scratch/project_2012345 projektisi scratch-hakemistolla.

Tämän jälkeen hakemisto puhti_scratch näyttää scratch-kansiosi sisällön Puhdissa, ja sitä voidaan käyttää kuten mitä tahansa liitettyä hakemistoa. Etänä liitettyjen hakemistojen I/O-suorituskyky ei kuitenkaan ole yhtä hyvä kuin paikallisesti liitettyjen hakemistojen. Siksi I/O-intensiivisissä tehtävissä voi olla järkevämpää kopioida data virtuaalikoneen paikallisille levyille. Tähän voidaan käyttää työkaluja kuten scp ja rsync.

Tiedostojärjestelmän irrottamiseksi anna komento:

fusermount -u mountpoint

Esimerkiksi yllä luotu etäliitos poistetaan komennolla:

fusermount -u puhti_scratch

Katso myös Etälevyliitokset.