Allas-yhteyden määritys¶
Helpoin yleinen tapa määrittää Allas-yhteys on käyttää allas-conf-työkalua:
- Määrittää yhteysasetukset monille eri työkaluille
- Swift- tai S3-yhteys
- On itse komentorivikäyttöliittymä.
- Saatavilla CSC:n supertietokoneilla
- Voidaan asentaa Linuxiin ja Maciin, mutta ei Windowsiin.
- Sopii hyvin, jos Allaksen kanssa käytetään vain yhtä CSC-projektia kerrallaan.
Vaihtoehtoisesti voi käyttää Roihun selainkäyttöliittymää:
- Määrittää yhteysasetukset selainkäyttöliittymän tiedosto-osioon ja
rclone:lle, mutta ei muille Allas-asiakasohjelmille. - Swift- tai S3-yhteys
- Saatavilla selainkäyttöliittymässä, joten sen käyttö ei vaadi asennuksia, mutta CSC-projektissa täytyy olla Roihu-palvelu käytössä.
allas-conf-työkalun saatavuus¶
Saatavilla CSC:n supertietokoneilla allas-moduulissa. Voidaan asentaa Linuxiin ja Maciin, mutta ei Windowsiin.
Kun lataat Allas-moduulin Roihussa, se näyttää tällä hetkellä määritettyjen Allas- ja Lumi-O-yhteyksien tilan. Voit tarkistaa nämä tiedot myöhemmin komennolla:allas-conf-työkalun käyttäminen Allas-, SD Connect- ja Lumi-O-yhteyksien määrittämiseen¶
S3-yhteys Allakseen¶
Ota S3-pohjainen yhteys Allakseen käyttöön Roihussa komennolla allas-conf.
Todennusprosessi pyytää sinua antamaan CSC-käyttäjätunnuksesi salasanan. Huomaa, että Haka-salasana tai SSH-avaimeesi liittyvä salasana eivät kelpaa tässä todennusvaiheessa.
Kun S3-yhteys on määritetty, samaa todennusta käytetään kaikissa kirjautumisistunnoissa eikä sillä ole vanhenemisaikaa.
allas-conf luo asetustiedostot S3-tilassa seuraaville:
rclone:.config/rclone/rclone.confs3cmd:~/.s3cfgaws: tunnistetiedot ja S3-alue tiedostoihin~/.aws/credentialssekä S3-päätepiste tiedostoon~/.aws/config.
Lisäksi Pythonin boto3-kirjasto ja R:n aws.s3-kirjasto käyttävät aws-asetustiedostoja.
Jos käytät näitä avaimia muissa palveluissa, sinun tulee varmistaa, että avaimet pysyvät aina yksityisinä. Kuka tahansa, jolla on pääsy näihin kahteen avaimeen, voi käyttää ja muokata kaikkea projektin Allaksessa olevaa dataa.
Tarvittaessa voit poistaa S3-avainparin käytöstä komennolla:
Note
Muista olla huolellinen ja tietoturvatietoinen määrittäessäsi S3-yhteyttä Allakseen. S3-avaimet tallennetaan luettavaan muotoon kotihakemistoosi, ja kuka tahansa, joka voi lukea avaimesi, voi käyttää Allasta, kunnes avaimet erikseen peruutetaan Allaksesta. Avainten poistaminen omalta tietokoneeltasi ei riitä niiden poistamiseen käytöstä.
SWIFT-yhteys Allakseen¶
Swift-yhteys on voimassa enintään kahdeksan tuntia
Määritä Allas-yhteys Swift-protokollalla:
allas-conf-komento pyytää CSC-salasanaasi (yliopiston/Hakan salasana ei toimi tässä). Se listaa Allas-projektisi ja pyytää sinua määrittämään projektin (jos sitä ei ole jo annettu argumenttina).
Oletuksena allas-conf listaa projektisi, joilla on pääsy Allakseen, mutta jos tiedät projektin nimen, voit
antaa sen myös argumenttina:
allas-conf --swift mahdollistaa vain yhden Allas-projektin käytön kerrallaan yhdessä istunnossa. Voit vaihtaa toiseen projektiin ajamalla allas-conf --swift uudelleen.
Huomaa, että Allas-projektin ei tarvitse olla sama kuin projekti, jota käytät Roihussa.
allas-conf --swift luo Swift-asetustiedostot seuraaville: a-tools, rclone ja swift.
Todennustiedot tallennetaan ympäristömuuttujiin OS_AUTH_TOKEN ja OS_STORAGE_URL. Voit kuitenkin päivittää todennuksen milloin tahansa ajamalla allas-conf --swift uudelleen. Ympäristömuuttujat asetetaan vain nykyiseen kirjautumisistuntoon, joten sinun täytyy määrittää todennus erikseen jokaiselle komentotulkille, jolla haluat käyttää Allasta.
Jos ajat suuria, monivaiheisia prosesseja (esim. eräajoja), datanhallinnan työvuosi saattaa kestää yli kahdeksan tuntia. Näissä tapauksissa voit lisätä allas-conf-komentoon valinnan -k.
S3-yhteys Lumi-O:hon¶
Voit määrittää Lumi-O-yhteyden komennolla:
Määritysprosessi pyytää sinua hakemaan Lumi-projektin numeron ja avaimet Lumi-O Credentials Management Service -sivulta. Huomaa, että Lumi-O-yhteyden määrittäminen tällä tavalla korvaa ne asetustiedostot, joitaaws s3- ja s3cmd-komennot käyttävät.
rclone:n tapauksessa aiemmin määritetyt Allas-yhteydet pysyvät edelleen aktiivisina.
Yhteys SD Connect -palveluun¶
Voit määrittää SD Connect -yhteyden komennolla:
Todennusprosessi pyytää sinua antamaan CSC-käyttäjätunnuksesi salasanan. Huomaa, että Haka-salasana tai SSH-avaimeesi liittyvä salasana eivät kelpaa tässä todennusvaiheessa. Kun olet valinnut käytettävän SD Connect -projektin, määritysprosessi pyytää sinua kopioimaan API-tokenin SD Connectin selainkäyttöliittymästä. Huomaa, että SD Connectissa sinun täytyy luoda API-token samalla projektilla, jonka valitsit tämän määritysprosessin alussa.
allas-conf-työkalun asennus¶
allas-conf voidaan asentaa vain Linuxiin tai Maciin.
- Lataa
allas_conf-skripti Allas-projektisi yhteyden määrittämistä varten:wget https://raw.githubusercontent.com/CSCfi/allas-cli-utils/master/allas_conf - Asenna Rclone Swift-yhteyttä varten TAI OpenStack client S3-yhteyttä varten
Jos ajat allas_conf-skriptiä paikallisesti, sinun tulee muokata kaikkia yllä olevia komentoja seuraavasti:
- Lisää
sourcealkuun - Käytä
--user-valintaa CSC-käyttäjätunnuksesi määrittämiseen .
Esimerkiksi:
source allas_conf --user your-csc-username -p your-csc-project-name
source allas_conf --user your-csc-username -p your-csc-project-name -m S3
source allas_conf --user your-csc-username -p csc-project-name --s3remove
source allas_conf --user your-csc-username --lumi
source allas_conf --user your-csc-username --sdc
S3-yhteyden yksityiskohdat¶
Jotta voit käyttää Allasta S3:n kautta koneella, jossa allas-conf ei ole saatavilla, tai työkaluilla, joita ei tueta suoraan, tarvitaan yleensä seuraavat tiedot:
- S3-tunnistetiedot: access key ja secret key
- S3-päätepiste:
a3s.fitaihttps://a3s.fi - S3-alue: joskus asetuksia ei tarvita, joskus jätetään tyhjäksi (````)
Helpoin tapa saada S3-tunnistetiedot on määrittää S3-yhteys CSC:n supertietokoneella (tai jollakin muulla koneella, jolla allas_conf-työkalua voidaan ajaa) ja katsoa avaimet komennon tulosteesta.
Myöhemmin avaimet löytyvät esimerkiksi komennolla: less ~/.aws/credentials
Jos haluat käyttää Allasta henkilökohtaiselta kannettavalta tai joltakin muulta palvelimelta s3cmd- tai aws-komentorivityökaluilla, voit myös kopioida asetustiedostot sellaisinaan. Käytä mitä tahansa tiedostonsiirtotyökalua, esimerkiksi scp.
aws: kopioi kansio~/.awskotihakemistoosi polkuunC:\Users\username\.awsWindowsissa tai~/.aws/Macissa ja Linuxissa.s3cmd: kopioi tiedosto~/.s3cfgkotihakemistoosi Macissa ja Linuxissa.