Allas-yhteyden määritys

Helpoin yleinen tapa määrittää Allas-yhteys on käyttää allas-conf-työkalua:

Määrittää yhteysasetukset monille eri työkaluille
Swift- tai S3-yhteys
On itse komentorivikäyttöliittymä.
Saatavilla CSC:n supertietokoneilla
Voidaan asentaa Linuxiin ja Maciin, mutta ei Windowsiin.
Sopii hyvin, jos Altaaseen käytetään vain yhtä CSC-projektia kerrallaan.

Vaihtoehtoisesti voi käyttää Roihun selainkäyttöliittymää:

Määrittää yhteysasetukset selainkäyttöliittymän tiedosto-osioon ja rclone:lle, mutta ei muille Allas-asiakasohjelmille.
Swift- tai S3-yhteys
Saatavilla selainkäyttöliittymässä, joten sen käyttö ei vaadi asennuksia, mutta CSC-projektissa täytyy olla Roihu-palvelu käytössä.

`allas-conf`-työkalun saatavuus

Saatavilla CSC:n supertietokoneilla allas-moduulissa. Voidaan (installed)[allas-conf-installation] Linuxiin ja Maciin, mutta ei Windowsiin.

module load allas

Kun lataat Allas-moduulin Roihussa, se näyttää tällä hetkellä määritettyjen Allas- ja Lumi-O-yhteyksien tilan. Voit tarkistaa nämä tiedot myöhemmin komennolla:

check-allas-connections

`allas-conf`-työkalun käyttäminen yhteyksien määrittämiseen Altaaseen, SD Connectiin ja Lumi-O:hon

S3-yhteys Altaaseen

Ota S3-pohjainen yhteys Altaaseen käyttöön Roihussa komennolla allas-conf.

allas-conf

Puhdissa ja Mahdissa täytyy lisätä valinta -m S3

allas-conf -m S3

Todennusprosessissa sinua pyydetään antamaan CSC-käyttäjätunnuksesi salasana. Huomaa, että Haka-salasana tai SSH-avaimeesi liittyvä salasana eivät kelpaa tässä todennusvaiheessa.

Kun S3-yhteys on määritetty, samaa tunnistautumista käytetään kaikissa kirjautumisistunnoissa eikä sillä ole vanhenemisaikaa.

allas-conf luo asetustiedostot S3-tilassa seuraaville: * rclone: .config/rclone/rclone.conf * s3cmd: ~/.s3cfg * aws: tunnistetiedot ja S3-alue tiedostoihin ~/.aws/credentials sekä S3-päätepiste tiedostoon ~/.aws/config.

Lisäksi Pythonin boto3- ja R:n aws.s3-kirjastot käyttävät aws-asetustiedostoja.

Jos käytät näitä avaimia muissa palveluissa, sinun tulee varmistaa, että avaimet pysyvät aina yksityisinä. Kuka tahansa, jolla on pääsy näihin kahteen avaimeen, voi käyttää ja muokata kaikkea sitä dataa, joka projektilla on Altaassa.

Tarvittaessa voit poistaa S3-avainparin käytöstä komennolla:

allas-conf --s3remove

Huomio

Muista olla huolellinen ja tietoturvatietoinen määrittäessäsi S3-yhteyttä Altaaseen. S3-avaimet tallennetaan luettavaan muotoon kotihakemistoosi, ja kuka tahansa, joka pystyy lukemaan avaimesi, voi käyttää Allasta, kunnes avaimet erikseen peruutetaan Altaasta. Avainten poistaminen omalta tietokoneeltasi ei yksin riitä poistamaan niitä käytöstä.

SWIFT-yhteys Altaaseen

Swift-yhteys on voimassa enintään kahdeksan tuntia

Määritä Allas-yhteys Swift-protokollalla:

allas-conf --swift

Komento allas-conf pyytää CSC-salasanasi (yliopiston/Hakan salasana ei toimi tässä). Se listaa Allas-projektisi ja pyytää sinua määrittämään projektin (jos sitä ei ole jo annettu argumenttina).

Oletuksena allas-conf listaa projektisi, joilla on pääsy Altaaseen, mutta jos tiedät projektin nimen, voit antaa sen myös argumenttina:

allas-conf project_201234

allas-conf --swift mahdollistaa vain yhden Allas-projektin käytön kerrallaan yhdessä istunnossa. Voit vaihtaa toiseen projektiin suorittamalla allas-conf-komennon uudelleen.

Huomaa, että Allas-projektin ei tarvitse olla sama kuin projekti, jota käytät Roihussa.

allas-conf --swift luo Swift-asetustiedostot seuraaville: a-tools, rclone ja swift.

Todennustiedot tallennetaan ympäristömuuttujiin OS_AUTH_TOKEN ja OS_STORAGE_URL. Voit kuitenkin päivittää todennuksen milloin tahansa suorittamalla allas-conf-komennon uudelleen. Ympäristömuuttujat asetetaan vain nykyiseen kirjautumisistuntoon, joten todennus täytyy määrittää erikseen jokaiselle komentotulkille, jolla haluat käyttää Allasta.

Jos ajat suuria, monivaiheisia prosesseja (esim. eräajoja), datanhallintaputkesi voi kestää yli kahdeksan tuntia. Tällöin voit lisätä valinnan -k komentoon allas-conf.

allas-conf -k

Kun tämä valinta on käytössä, salasana tallennetaan ympäristömuuttujaan OS_PASSWORD. A-komennot tunnistavat tämän ympäristömuuttujan ja päivittävät suoritettaessa automaattisesti nykyisen Allas-yhteyden.

S3-yhteys Lumi-O:hon

Voit määrittää Lumi-O-yhteyden komennolla:

allas-conf --lumi

Määritysprosessi pyytää sinua hakemaan Lumi-projektin numeron ja avaimet Lumi-O Credentials Management Service -sivulta. Huomaa, että Lumi-O-yhteyden määrittäminen tällä tavalla korvaa ne asetustiedostot, joita aws s3- ja s3cmd-komennot käyttävät. rclone:n tapauksessa aiemmin määritetyt Allas-yhteydet pysyvät edelleen aktiivisina.

Yhteys SD Connect -palveluun

Voit määrittää SD Connect -yhteyden komennolla:

allas-conf --sdc

Todennusprosessissa sinua pyydetään antamaan CSC-käyttäjätunnuksesi salasana. Huomaa, että Haka-salasana tai SSH-avaimeesi liittyvä salasana eivät kelpaa tässä todennusvaiheessa. Kun olet valinnut SD Connect -projektin, jota haluat käyttää, määritysprosessi pyytää sinua kopioimaan API-tokenin SD Connectin selainkäyttöliittymästä. Huomaa, että SD Connectissa sinun täytyy luoda API-token samalla projektilla, jonka valitsit tämän määritysprosessin alussa.

`allas-conf`-työkalun asennus

allas-conf voidaan asentaa vain Linuxiin tai Maciin.

Lataa allas_conf-skripti Allas-projektisi yhteyden määrittämistä varten: wget https://raw.githubusercontent.com/CSCfi/allas-cli-utils/master/allas_conf
Asenna Rclone Swift-yhteyttä varten TAI OpenStack client S3-yhteyttä varten

Jos suoritat allas_conf-skriptiä paikallisesti, sinun tulee muokata kaikkia yllä olevia komentoja seuraavasti:

Lisää source alkuun
Käytä --user-valintaa CSC-käyttäjätunnuksesi määrittämiseen .

Esimerkiksi:

source allas_conf --user your-csc-username -p your-csc-project-name
source allas_conf --user your-csc-username -p your-csc-project-name -m S3
source allas_conf --user your-csc-username -p csc-project-name --s3remove
source allas_conf --user your-csc-username --lumi
source allas_conf --user your-csc-username --sdc

S3-yhteyden yksityiskohdat

Jotta Allasta voidaan käyttää S3:n kautta koneella, jossa allas-conf ei ole saatavilla, tai työkaluilla, joita ei tueta suoraan, tarvitaan yleensä seuraavat tiedot:

S3-tunnistetiedot: access key ja secret key
S3-päätepiste: a3s.fi tai https://a3s.fi
S3-alue: joskus asetuksia ei tarvita, joskus jätetään tyhjäksi (````)

Helpoin tapa saada S3-tunnistetiedot on määrittää S3-yhteys CSC:n supertietokoneella (tai jollakin muulla koneella, jolla allas_conf-työkalua voidaan ajaa) ja katsoa avaimet komennon tulosteesta.

module load allas
allas-conf -m S3

Myöhemmin avaimet löytyvät esimerkiksi komennolla: less ~/.aws/credentials

Jos haluat käyttää Allasta henkilökohtaiselta kannettavalta tietokoneelta tai joltakin muulta palvelimelta s3cmd- tai aws-komentorivikäyttöliittymätyökaluilla, voit myös kopioida asetustiedostot sellaisinaan. Käytä mitä tahansa tiedostonsiirtotyökalua, esimerkiksi scp.

aws: kopioi kansio ~/.aws kotihakemistoosi polkuun C:\Users\username\.aws Windowsissa tai ~/.aws/ Macissa ja Linuxissa.
s3cmd: kopioi tiedosto ~/.s3cfg kotihakemistoosi Macissa ja Linuxissa.