Allaksen ja Lumi-O-objektitallennuspalveluiden käyttö Roihussa

Objektitallennukseen liittyvät työkalut alustetaan Roihussa komennolla:

module load allas

allas-moduuli ottaa käyttöön komennon allas-conf, jota käytetään S3-yhteyksien määrittämiseen Altaaseen ja Lumi-O -objektitallennuspalveluihin sekä Swift-pohjaisten yhteyksien määrittämiseen Altaaseen. Huomaa, että Roihussa allas-conf määrittää oletuksena S3-pohjaisen yhteyden Altaaseen, toisin kuin Puhdissa ja Mahdissa, joissa swiftiä käytetään oletuksena.

Lisäksi tämä moduuli tuo saataville joukon komentorivityökaluja, joita voidaan käyttää Allaksen ja Lumi-O-objektitallennuspalveluiden kanssa. Näihin työkaluihin kuuluvat:

Voit tarkistaa nykyiset Allas- ja Lumi-O-yhteydet komennolla:

check-allas-connections

S3-yhteys Altaaseen

Voit määrittää uuden S3-yhteyden Altaaseen komennolla:

allas-conf  project_proj-number

tai

allas-conf

Ensin allas-conf pyytää sinua antamaan CSC-salasanasi (Haka-salasanaa ei voi käyttää tässä). Sen jälkeen, jos kohdeprojektia ei ole annettu argumenttina, se listaa kaikki käytettävissä olevat Allas-projektit ja pyytää käyttäjää valitsemaan yhden. (Huomaa, että allas-confilla on usein ongelmia salasanojen kanssa, joissa on merkkejä, joilla on erityismerkitys bash-komentotulkissa. Esimerkiksi välilyönti, *, ; ja erilaiset lainausmerkit voivat aiheuttaa sen, että allas-conf epäonnistuu.)

Projektikohtainen access key -avainpari tallennetaan aws:n, s3cmd:n ja rclone:n asetustiedostoihin kotihakemistossasi. Tämän vuoksi määritys ei ole istuntokohtainen, vaan se koskee kaikkia istuntoja, joissa käytetään aws:ää, s3cmd:tä, rclonea ja a-commandseja. S3-avaimet ovat pysyviä, joten sinun tarvitsee suorittaa allas-conf-komento uudelleen vain silloin, kun haluat ottaa käyttöön uuden oletusarvoisen S3-yhteyden. Näin ollen S3-pohjaisessa Allaksen käytössä sinun tarvitsee normaalisti vain ladata Allas-moduuli ja aloittaa sitten Allaksen käyttö.

aws:n ja s3cmd:n tapauksessa määritetään vain yksi yhteys, ja allas-confin suorittaminen korvaa vanhat oletusyhteydet.

rclone:n tapauksessa määritetään kaksi päätepistettä: s3allas: ja s3allas-project-proj-number. Molemmat päätepisteet viittaavat samaan Allas-projektiin. Kun uusi projekti määritetään allas-confilla, päätepiste s3allas: muutetaan viittaamaan uuteen projektiin, mutta vanhempi projektikohtainen päätepiste säilytetään uuden luotavan projektikohtaisen päätepisteen lisäksi.

Esimerkiksi komentojen jälkeen:

allas-conf project_200111
allas-conf project_200222

Seuraavat yhteydet ovat käytössä:

Työkalu	Kohdeprojekti
a-commands, aws ja s3cmd	project_200222
rclone s3allas:	project_200222
rclone s3allas-project_200111:	project_200111
rclone s3allas-project_200222:	project_200222

Näillä asetuksilla kaikki alla olevat komennot listaavat projektin 200222 Allas-ämpärit.

a-list
rclone lsd s3allas:
rclone lsd s3allas-project_200222:
s3cmd ls s3://
aws s3 ls

Swift-yhteys Altaaseen

Puhdissa ja Mahdissa a-commands, rclone ja allas-backup käyttävät oletuksena swift-pohjaisia yhteyksiä. Roihussa voit määrittää Swift-pohjaisen Allas-yhteyden komennolla:

allas-conf --swift

Tämä yhteys on istuntokohtainen ja voimassa vain 8 tuntia. Kun yhteys on aktivoitu, rclonen päätepiste allas: tarjoaa Swift-pohjaisen yhteyden Altaaseen. Esimerkiksi:

rclone lsd allas:

Roihussa A-commands tarvitsee lisävalinnan --swift, jotta se käyttää Swift-pohjaista Allas-yhteyttä. Esimerkiksi:

a-list --swift

Huomaa, että pääteistunnossa S3-pohjainen a-list ja Swift-pohjainen a-list --swift voivat viitata eri Allas-projekteihin.

Swift-määrityksellä ei ole vaikutusta aws- ja s3cmd-komentoihin, koska ne käyttävät vain S3-protokollaa.

S3-yhteydet Lumi-O:hon

Yhteydet Lumi-O:hon määritetään komennolla:

allas-conf --lumi

Määritysprosessi pyytää sinua kirjautumaan osoitteeseen https://auth.lumidata.eu, jossa voit luoda access key -avainparin Lumi-projektillesi. Tämän jälkeen voit kopioida projektin nimen, access keyn ja secret keyn Roihussa käynnissä olevaan määritysprosessiin.

Lumi-O-yhteydet käyttävät aina S3-protokollaa, ja tämä määritysprosessi muuttaa aws- ja s3cmd-komennot käyttämään Lumi-O-projektia oletusprojektina. a-commands:n tapauksessa voit lisätä komentoon valinnan --lumi, jotta voit käyttää Lumi-O:ta. Esimerkiksi:

a-list --lumi

rclonen tapauksessa luodaan neljä uutta päätepistettä.

lumi-o: ja lumi-proj-number-private: viittaavat Lumi-O-projektin ei-julkiseen alueeseen
lumi-pub: ja lumi-proj-number-public: viittaavat Lumi-O-projektin julkiseen alueeseen.

Samalla tavalla kuin Allaksen S3-yhteyksien tapauksessa, Lumi-O-määrityksen suorittaminen uudelle projektille muuttaa a-commandsin, aws:n, s3cmd:n sekä päätepisteiden lumi-o: ja lumi-pub: kohdeprojektin, mutta säilyttää pitkät päätepistenimet, jotka sisältävät projektinumerot.

Huomaa, että Lumi-O-avaimilla on voimassaoloaika, joka määritetään tunnistautumiskäyttöliittymässä. Siksi sinun voi olla tarpeen päivittää yhteysmääritys ajoittain.