Allas-yhteyden määritys

Helpoin yleinen vaihtoehto Allas-yhteyden määrittämiseen on käyttää allas-conf-työkalua:

Määrittää yhteysasetukset monille eri työkaluille
Swift- tai S3-yhteys
On itse komentorivikäyttöliittymä.
Saatavilla CSC:n supertietokoneilla
Voidaan asentaa Linuxiin ja Maciin, mutta ei Windowsiin.
Sopii hyvin, jos käytössä on vain yksi CSC-projekti kerrallaan Altaaseen.

Vaihtoehtoisesti voi käyttää Roihun selainkäyttöliittymää:

Määrittää yhteysasetukset selainkäyttöliittymän tiedosto-osioon ja rclone:lle, mutta ei muille Allas-asiakasohjelmille.
Swift- tai S3-yhteys
Saatavilla selainkäyttöliittymässä, joten sen käyttö ei vaadi asennuksia, mutta CSC-projektissa täytyy olla Roihu-palvelu käytössä.

`allas-conf`-työkalun saatavuus

Saatavilla CSC:n supertietokoneilla allas-moduulissa. Voidaan asentaa Linuxiin ja Maciin, mutta ei Windowsiin.

module load allas

Kun lataat Allas-moduulin Roihussa, se näyttää tällä hetkellä määritettyjen Allas- ja Lumi-O-yhteyksien tilan. Voit tarkistaa nämä tiedot myöhemmin komennolla:

check-allas-connections

`allas-conf`-työkalun käyttö Allas-, SD Connect- ja Lumi-O-yhteyksien määrittämiseen

S3-yhteys Altaaseen

Ota S3-pohjainen yhteys Altaaseen käyttöön Roihussa komennolla allas-conf.

allas-conf

Todennusprosessi pyytää antamaan CSC-käyttäjätunnuksesi salasanan. Huomaa, että Haka-salasana tai SSH-avaimeesi liittyvä salasana eivät kelpaa tässä todennusvaiheessa.

Kun S3-yhteys on määritetty, samaa todennusta käytetään kaikissa kirjautumisistunnoissa, eikä sillä ole vanhenemisaikaa.

allas-conf luo asetustiedostot S3-tilassa seuraaville:

rclone: .config/rclone/rclone.conf
s3cmd: ~/.s3cfg
aws: tunnistetiedot ja S3-alue tiedostoihin ~/.aws/credentials sekä S3-päätepiste tiedostoon ~/.aws/config.

Lisäksi Pythonin boto3- ja R:n aws.s3-kirjastot käyttävät aws-asetustiedostoja.

Jos käytät näitä avaimia muissa palveluissa, sinun tulee varmistaa, että avaimet pysyvät aina yksityisinä. Kuka tahansa, jolla on pääsy näihin kahteen avaimeen, voi käyttää ja muokata kaikkea dataa, joka projektilla on Altaassa.

Tarvittaessa voit poistaa S3-avainparin käytöstä komennolla:

allas-conf --s3remove

Note

Muista olla huolellinen ja tietoturvatietoinen määrittäessäsi S3-yhteyttä Altaaseen. S3-avaimet tallennetaan luettavassa muodossa kotihakemistoosi, ja kuka tahansa, joka pystyy lukemaan avaimesi, voi käyttää Allasta, kunnes avaimet erikseen peruutetaan Altaasta. Avainten poistaminen omalta tietokoneeltasi ei yksin riitä poistamaan niitä käytöstä.

SWIFT-yhteys Altaaseen

Swift-yhteys on voimassa enintään kahdeksan tuntia

Määritä Allas-yhteys Swift-protokollalla:

allas-conf --swift

allas-conf-komento pyytää CSC-salasanaasi (yliopiston/Haka-salasana ei toimi tässä). Se listaa Allas-projektisi ja pyytää määrittämään projektin (jos sitä ei ole jo annettu argumenttina).

Oletuksena allas-conf listaa projektisi, joilla on pääsy Altaaseen, mutta jos tiedät projektin nimen, voit antaa sen myös argumenttina:

allas-conf --swift project_201234

allas-conf --swift mahdollistaa vain yhden Allas-projektin käytön kerrallaan yhdessä istunnossa. Voit vaihtaa toiseen projektiin suorittamalla allas-conf --swift uudelleen.

Huomaa, että Allas-projektin ei tarvitse olla sama kuin projekti, jota käytät Roihussa.

allas-conf --swift luo Swift-asetustiedostot seuraaville: a-tools, rclone ja swift.

Todennustiedot tallennetaan ympäristömuuttujiin OS_AUTH_TOKEN ja OS_STORAGE_URL. Voit kuitenkin uusia todennuksen milloin tahansa suorittamalla allas-conf --swift uudelleen. Ympäristömuuttujat asetetaan vain nykyiseen kirjautumisistuntoon, joten todennus täytyy määrittää erikseen jokaiselle komentotulkille, jolla haluat käyttää Allasta.

Jos ajat suuria, monivaiheisia prosesseja (esim. eräajoja), datanhallinnan työvuosi saattaa kestää yli kahdeksan tuntia. Näissä tapauksissa voit lisätä allas-conf-komentoon valinnan -k.

allas-conf --swift -k

Kun tämä valinta on käytössä, salasana tallennetaan ympäristömuuttujaan OS_PASSWORD. A-komennot tunnistavat tämän ympäristömuuttujan ja päivittävät automaattisesti nykyisen Allas-yhteyden, kun niitä suoritetaan.

S3-yhteys Lumi-O:hon

Voit määrittää Lumi-O-yhteyden komennolla:

allas-conf --lumi

Määritysprosessi pyytää hakemaan Lumi-projektin numeron ja avaimet Lumi-O Credentials Management Service -sivulta. Huomaa, että Lumi-O-yhteyden määrittäminen tällä tavalla korvaa asetustiedostot, joita aws s3- ja s3cmd-komennot käyttävät. rclone:n tapauksessa aiemmin määritetyt Allas-yhteydet pysyvät edelleen aktiivisina.

Yhteys SD Connect -palveluun

Voit määrittää SD Connect -yhteyden komennolla:

allas-conf --sdc

Todennusprosessi pyytää antamaan CSC-käyttäjätunnuksesi salasanan. Huomaa, että Haka-salasana tai SSH-avaimeesi liittyvä salasana eivät kelpaa tässä todennusvaiheessa. Kun olet valinnut SD Connect -projektin, jota haluat käyttää, määritysprosessi pyytää kopioimaan API-tokenin SD Connectin selainkäyttöliittymästä. Huomaa, että SD Connectissa API-token täytyy luoda samalla projektilla, jonka valitsit tämän määritysprosessin alussa.

`allas-conf`-työkalun asennus

allas-conf voidaan asentaa vain Linuxiin tai Maciin.

Lataa allas_conf-skripti Allas-projektisi yhteyden määrittämistä varten: wget https://raw.githubusercontent.com/CSCfi/allas-cli-utils/master/allas_conf
Asenna Rclone Swift-yhteyttä varten TAI OpenStack client S3-yhteyttä varten

Jos suoritat allas_conf-skriptiä paikallisesti, sinun tulee muokata kaikkia yllä olevia komentoja seuraavasti:

Lisää source alkuun
Käytä --user-valintaa CSC-käyttäjätunnuksesi määrittämiseen .

Esimerkiksi:

source allas_conf --user your-csc-username -p your-csc-project-name
source allas_conf --user your-csc-username -p your-csc-project-name -m S3
source allas_conf --user your-csc-username -p csc-project-name --s3remove
source allas_conf --user your-csc-username --lumi
source allas_conf --user your-csc-username --sdc

S3-yhteyden yksityiskohdat

Jotta voit käyttää Allasta S3:n kautta koneella, jossa allas-conf ei ole saatavilla, tai työkaluilla, joita ei tueta suoraan, tarvitaan yleensä seuraavat tiedot:

S3-tunnistetiedot: access key ja secret key
S3-päätepiste: a3s.fi tai https://a3s.fi
S3-alue: joskus asetuksia ei tarvita, joskus jätetään tyhjäksi (````)

Helpoin tapa saada S3-tunnistetiedot on määrittää S3-yhteys CSC:n supertietokoneella (tai jollakin muulla koneella, jolla allas_conf-työkalua voidaan ajaa) ja katsoa avaimet komennon tulosteesta.

module load allas
allas-conf

Myöhemmin avaimet löytyvät esimerkiksi komennolla: less ~/.aws/credentials

Jos haluat käyttää Allasta henkilökohtaiselta kannettavalta tietokoneelta tai joltakin muulta palvelimelta s3cmd- tai aws-komentorivikäyttöliittymätyökaluilla, voit myös kopioida asetustiedostot sellaisinaan. Käytä mitä tahansa tiedostonsiirtotyökalua, esimerkiksi scp.

aws: kopioi kansio ~/.aws kotihakemistoosi sijaintiin C:\Users\username\.aws Windowsissa tai ~/.aws/ Macissa ja Linuxissa.
s3cmd: kopioi tiedosto ~/.s3cfg kotihakemistoosi Macissa ja Linuxissa.