Allaksen ja LUMI-O:n käyttö LUMI-supertietokoneelta

Tässä dokumentissa kuvataan, miten voit asentaa yleisesti käytettyjä oliotallennuksen asiakasohjelmia LUMIin ja miten voit määrittää yhteyden Allas-oliotallennuspalveluihin.

Allaksen käyttö LUMI-supertietokoneelta

LUMIssa voit muodostaa yhteyden Altaaseen komennoilla:

module use /appl/local/csc/modulefiles
module load allas
allas-conf

Tämän jälkeen Allasta voidaan käyttää samoilla tavoilla kuin Puhdissa ja Mahdissa. Saatavilla oleviin komentorivityökaluihin kuuluvat:

a-commmands
allas-backup
rclone
swift
s3cmd
restic

LUMI-O:n käyttö Allas-työkaluilla

Työkalut, jotka tarjoaa allas-cli-utils, voidaan käyttää datan lataamiseen palveluun ja lataamiseen palvelusta LUMI-O:sta. Komennon allas-conf suorittaminen Puhdissa, Mahdissa tai LUMIssa käynnistää tavallisen määritysprosessin Swift-pohjaiselle yhteydelle Altaaseen:

allas-conf

Jos haluat määrittää yhteyden LUMI-O:hon Allaksen sijaan, sinun täytyy lisätä komentoon valitsin --lumi:

allas-conf --lumi

Jos sinulla on allas-cli-utils asennettuna paikallisessa ympäristössäsi, määrityskomento olisi esimerkiksi seuraavanlainen:

source allas-cli-utils/allas_conf --lumi

Määritysprosessi pyytää sinua muodostamaan selaimella yhteyden LUMI-O:n määrityspalvelimeen, luomaan siellä käyttöoikeustiedot ja kopioimaan sitten projektin numeron ja avaimet asennustyökalua varten. LUMI-O:n määritysprosessi luo ympäristömuuttujat, joita S3-komento tarvitsee, sekä asetustiedostot s3cmd:lle ja rclone:lle. Lisäksi voit määrittää, että a-commands käyttää oletuksena LUMI-O-tallennuspalvelinta Allaksen sijaan. Tämän jälkeen komennot kuten a-list, a-put tai a-get käyttävät LUMI-O-tallennustasi. Jos et aseta LUMI-O:ta oletustallennuspalveluksi, voit lisätä valitsimen --lumi a-komentoihin käyttääksesi LUMI-O:ta Allaksen sijaan.

rclone:lle LUMI-O-määritys tarjoaa kaksi rclone-etäkohdetta: lumi-o: ja lumi-pub:. lumi-pub:n käyttämät ämpärit ovat julkisesti näkyvissä osoitteessa: https://<project-number>.lumidata.eu/<bucket_name>.

Huomaa, että sinulla voi olla aktiivinen yhteys sekä LUMI-O:hon että Altaaseen samanaikaisesti.

Esimerkiksi jos avaat ensin Allas-yhteyden komennolla:

allas-conf

Ja avaat sitten LUMI-O-yhteyden komennolla:

allas-conf --lumi

(Kun suoritat jälkimmäisen komennon, hyväksymme sen, että LUMI-O on a-komentojen oletuspalvelin.)

Nyt voit listata LUMI-O:ssa saatavilla olevat ämpärit komennoilla:

a-list

tai

rclone lsd lumi-o:

Ja samalla voit listata Allaksessa olevat ämpärisi komennoilla:

a-list --allas

tai

rclone lsd allas:

Datan kopiointi Allaksesta LUMI-O:hon voidaan nyt tehdä komennolla:

rclone copyto -P allas:bucket-in-allas/object lumi-o:bucket-in-lumi-o/object

Yllä oleva komento toimii vain tiedostoille, jotka ovat pienempiä kuin 5 GB.