Allaksen ja LUMI-O:n käyttö LUMI-supertietokoneelta

Tässä dokumentissa kuvaamme, miten voit asentaa yleisesti käytettyjä oliotallennusasiakasohjelmia LUMIin ja miten voit määrittää yhteyden Allaksen oliotallennuspalveluihin.

Allaksen käyttö LUMI-supertietokoneelta

LUMIssa voit muodostaa yhteyden Allakseen komennoilla:

module use /appl/local/csc/modulefiles
module load allas
allas-conf

Tämän jälkeen Allasta voidaan käyttää samoilla tavoilla kuin Roihusta. Saatavilla oleviin komentorivityökaluihin kuuluvat:

a-commands
allas-backup
rclone
swift
s3cmd
restic

LUMI-O:n käyttö Allas-työkaluilla

Työkaluja, jotka allas-cli-utils tarjoaa, voidaan käyttää datan lataamiseen ja hakemiseen LUMI-O:sta. Komennon allas-conf suorittaminen Roihussa käynnistää tavallisen määritysprosessin S3-pohjaiselle yhteydelle Allakseen:

allas-conf

Jos haluat määrittää yhteyden LUMI-O:hon Allaksen sijaan, sinun täytyy lisätä komentoon valitsin --lumi:

allas-conf --lumi

Jos sinulla on allas-cli-utils asennettuna paikallisessa ympäristössäsi, määrityskomento olisi jotakin seuraavan kaltaista:

source allas-cli-utils/allas_conf --lumi

Määritysprosessi pyytää sinua muodostamaan selaimella yhteyden LUMI-O:n määrityspalvelimeen, luomaan siellä käyttöoikeustiedot ja kopioimaan sitten projektin numeron ja avaimet asennustyökalua varten. LUMI-O:n määritysprosessi luo ympäristömuuttujat, joita S3-komento tarvitsee, sekä asetustiedostot komennoille s3cmd, aws s3 ja rclone. Lisäksi voit määrittää, että a-commands käyttää oletuksena LUMI-O:n tallennuspalvelinta Allaksen sijaan. Tämän jälkeen komennot kuten a-list, a-put tai a-get käyttävät LUMI-O-tallennustasi. Jos et aseta LUMI-O:ta oletustallennuspalveluksi, voit lisätä valitsimen --lumi a-commands-komentoihin käyttääksesi LUMI-O:ta Allaksen sijaan.

rclone-työkalulle LUMI-O:n määritys tarjoaa neljä rclone-etäkohdetta: lumi-o: , lumi-projectNumber-private, _lumi-pub:, ja lumi-projectNumber-public. lumi-pub- ja lumi-projectNumber-public- -kohteiden käyttämät ämpärit ovat julkisesti näkyvissä URL-osoitteessa: https://<project-number>.lumidata.eu/<bucket_name>.

Huomaa, että sinulla voi olla aktiivinen yhteys sekä LUMI-O:hon että Allakseen samanaikaisesti.

Esimerkiksi voit ensin avata Allas-yhteyden komennolla:

allas-conf

Ja avata sitten LUMI-O-yhteyden komennolla:

allas-conf --lumi

(Kun suoritat jälkimmäisen komennon, hyväksyt sen, että LUMI-O on a-commands-komentojen oletuspalvelin.)

Nyt voit listata LUMI-O:ssa saatavilla olevat ämpärit komennoilla:

a-list

tai

rclone lsd lumi-o:

Ja samalla voit listata Allaksessa olevat ämpärisi komennoilla:

a-list --s3

tai

rclone lsd s3allas:

Datan kopiointi Allaksesta LUMI-O:hon voidaan nyt tehdä komennolla:

rclone copyto -P s3allas:bucket-in-allas/object lumi-o:bucket-in-lumi-o/object