Allaksen ja LUMI-O:n käyttö LUMI-supertietokoneelta

Tässä dokumentissa kuvataan, miten voit asentaa yleisesti käytettyjä oliotallennusasiakasohjelmia LUMIin ja miten voit määrittää yhteyden Allaksen oliotallennuspalveluihin.

Allaksen käyttö LUMI-supertietokoneelta

LUMIssa voit muodostaa yhteyden Altaaseen komennoilla:

module use /appl/local/csc/modulefiles
module load allas
allas-conf

Tämän jälkeen Allasta voidaan käyttää samoilla tavoilla kuin Puhdissa ja Mahdissa. Saatavilla oleviin komentorivityökaluihin kuuluvat:

a-commands
allas-backup
rclone
swift
s3cmd
restic

LUMI-O:n käyttö Allas-työkaluilla

Työkaluja, jotka allas-cli-utils tarjoaa, voidaan käyttää datan lataamiseen LUMI-O:sta ja LUMI-O:hon. Komennon allas-conf suorittaminen Puhdissa, Mahdissa tai LUMIssa käynnistää tavallisen määritysprosessin swift-pohjaiselle yhteydelle Allakseen:

allas-conf

Jos haluat määrittää yhteyden Allaksen sijaan LUMI-O:hon, sinun täytyy lisätä komentoon valitsin --lumi:

allas-conf --lumi

Jos sinulla on allas-cli-utils asennettuna paikalliseen ympäristöösi, määrityskomento olisi esimerkiksi seuraavanlainen:

source allas-cli-utils/allas_conf --lumi

Määritysprosessi pyytää sinua muodostamaan selaimella yhteyden LUMI-O:n määrityspalvelimeen, luomaan siellä käyttöoikeustiedot ja kopioimaan sitten projektin numeron ja avaimet asennustyökalua varten. LUMI-O:n määritysprosessi luo S3-komennolle tarvittavat ympäristömuuttujat sekä s3cmd:n ja rclone:n asetustiedostot. Lisäksi voit määrittää, että a-commands käyttää oletuksena LUMI-O-tallennuspalvelinta Allaksen sijaan. Tämän jälkeen komennot kuten a-list, a-put tai a-get käyttävät LUMI-O-tallennustasi. Jos et aseta LUMI-O:ta oletustallennuspalveluksi, voit lisätä valitsimen --lumi a-commands-komentoihin käyttääksesi LUMI-O:ta Allaksen sijaan.

rclone:lle LUMI-O-määritys tarjoaa kaksi rclone-etäkohdetta: lumi-o: ja lumi-pub:. lumi-pub:n käyttämät ämpärit ovat julkisesti näkyvissä URL-osoitteessa: https://<project-number>.lumidata.eu/<bucket_name>.

Huomaa, että sinulla voi olla aktiivinen yhteys sekä LUMI-O:hon että Allakseen samanaikaisesti.

Esimerkiksi jos avaat ensin Allas-yhteyden komennolla:

allas-conf

Ja avaat sitten LUMI-O-yhteyden komennolla:

allas-conf --lumi

(Kun suoritat jälkimmäisen komennon, hyväksymme sen, että LUMI-O on a-commands-komentojen oletuspalvelin.)

Nyt voit listata LUMI-O:ssa saatavilla olevat ämpärit komennoilla:

a-list

tai

rclone lsd lumi-o:

Ja samalla voit listata Allaksessa olevat ämpärisi komennoilla:

a-list --allas

tai

rclone lsd allas:

Datan kopiointi Allaksesta LUMI-O:hon voidaan nyt tehdä komennolla:

rclone copyto -P allas:bucket-in-allas/object lumi-o:bucket-in-lumi-o/object

Yllä oleva komento toimii vain alle 5 GB:n tiedostoille.