Hyppää sisältöön

Allas-yhteyden määritys

Helpoin yleinen tapa määrittää Allas-yhteys on käyttää allas-conf-työkalua:

  • Määrittää yhteysasetukset monille eri työkaluille
  • Swift- tai S3-yhteys
  • On itse komentorivikäyttöliittymä.
  • Saatavilla CSC:n supertietokoneilla
  • Voidaan asentaa Linuxiin ja Maciin, mutta ei Windowsiin.
  • Sopii hyvin, jos Allaksen kanssa käytetään vain yhtä CSC-projektia kerrallaan.

Vaihtoehtoisesti voi käyttää Roihun selainkäyttöliittymää:

  • Määrittää yhteysasetukset selainkäyttöliittymän tiedosto-osioon ja rclone:lle, mutta ei muille Allas-asiakasohjelmille.
  • Swift- tai S3-yhteys
  • Saatavilla selainkäyttöliittymässä, joten sen käyttö ei vaadi asennuksia, mutta CSC-projektissa täytyy olla Roihu-palvelu käytössä.

allas-conf-työkalun saatavuus

Saatavilla CSC:n supertietokoneilla allas-moduulissa. Voidaan asentaa Linuxiin ja Maciin, mutta ei Windowsiin.

module load allas
Kun lataat Allas-moduulin Roihussa, se näyttää tällä hetkellä määritettyjen Allas- ja Lumi-O-yhteyksien tilan. Voit tarkistaa nämä tiedot myöhemmin komennolla:

check-allas-connections

allas-conf-työkalun käyttäminen Allas-, SD Connect- ja Lumi-O-yhteyksien määrittämiseen

S3-yhteys Allakseen

Ota S3-pohjainen yhteys Allakseen käyttöön Roihussa komennolla allas-conf.

allas-conf 

Todennusprosessi pyytää sinua antamaan CSC-käyttäjätunnuksesi salasanan. Huomaa, että Haka-salasana tai SSH-avaimeesi liittyvä salasana eivät kelpaa tässä todennusvaiheessa.

Kun S3-yhteys on määritetty, samaa todennusta käytetään kaikissa kirjautumisistunnoissa eikä sillä ole vanhenemisaikaa.

allas-conf luo asetustiedostot S3-tilassa seuraaville:

  • rclone: .config/rclone/rclone.conf
  • s3cmd: ~/.s3cfg
  • aws: tunnistetiedot ja S3-alue tiedostoihin ~/.aws/credentials sekä S3-päätepiste tiedostoon ~/.aws/config.

Lisäksi Pythonin boto3-kirjasto ja R:n aws.s3-kirjasto käyttävät aws-asetustiedostoja.

Jos käytät näitä avaimia muissa palveluissa, sinun tulee varmistaa, että avaimet pysyvät aina yksityisinä. Kuka tahansa, jolla on pääsy näihin kahteen avaimeen, voi käyttää ja muokata kaikkea projektin Allaksessa olevaa dataa.

Tarvittaessa voit poistaa S3-avainparin käytöstä komennolla:

allas-conf --s3remove

Note

Muista olla huolellinen ja tietoturvatietoinen määrittäessäsi S3-yhteyttä Allakseen. S3-avaimet tallennetaan luettavaan muotoon kotihakemistoosi, ja kuka tahansa, joka voi lukea avaimesi, voi käyttää Allasta, kunnes avaimet erikseen peruutetaan Allaksesta. Avainten poistaminen omalta tietokoneeltasi ei riitä niiden poistamiseen käytöstä.

SWIFT-yhteys Allakseen

Swift-yhteys on voimassa enintään kahdeksan tuntia

Määritä Allas-yhteys Swift-protokollalla:

allas-conf --swift 
allas-conf-komento pyytää CSC-salasanaasi (yliopiston/Hakan salasana ei toimi tässä). Se listaa Allas-projektisi ja pyytää sinua määrittämään projektin (jos sitä ei ole jo annettu argumenttina).

Oletuksena allas-conf listaa projektisi, joilla on pääsy Allakseen, mutta jos tiedät projektin nimen, voit antaa sen myös argumenttina:

allas-conf --swift project_201234

allas-conf --swift mahdollistaa vain yhden Allas-projektin käytön kerrallaan yhdessä istunnossa. Voit vaihtaa toiseen projektiin ajamalla allas-conf --swift uudelleen.

Huomaa, että Allas-projektin ei tarvitse olla sama kuin projekti, jota käytät Roihussa.

allas-conf --swift luo Swift-asetustiedostot seuraaville: a-tools, rclone ja swift.

Todennustiedot tallennetaan ympäristömuuttujiin OS_AUTH_TOKEN ja OS_STORAGE_URL. Voit kuitenkin päivittää todennuksen milloin tahansa ajamalla allas-conf --swift uudelleen. Ympäristömuuttujat asetetaan vain nykyiseen kirjautumisistuntoon, joten sinun täytyy määrittää todennus erikseen jokaiselle komentotulkille, jolla haluat käyttää Allasta.

Jos ajat suuria, monivaiheisia prosesseja (esim. eräajoja), datanhallinnan työvuosi saattaa kestää yli kahdeksan tuntia. Näissä tapauksissa voit lisätä allas-conf-komentoon valinnan -k.

allas-conf --swift -k
Kun tämä valinta on käytössä, salasana tallennetaan ympäristömuuttujaan OS_PASSWORD. A-komennot tunnistavat tämän ympäristömuuttujan ja päivittävät nykyisen Allas-yhteyden automaattisesti suoritettaessa.

S3-yhteys Lumi-O:hon

Voit määrittää Lumi-O-yhteyden komennolla:

allas-conf --lumi
Määritysprosessi pyytää sinua hakemaan Lumi-projektin numeron ja avaimet Lumi-O Credentials Management Service -sivulta. Huomaa, että Lumi-O-yhteyden määrittäminen tällä tavalla korvaa ne asetustiedostot, joita aws s3- ja s3cmd-komennot käyttävät. rclone:n tapauksessa aiemmin määritetyt Allas-yhteydet pysyvät edelleen aktiivisina.

Yhteys SD Connect -palveluun

Voit määrittää SD Connect -yhteyden komennolla:

allas-conf --sdc

Todennusprosessi pyytää sinua antamaan CSC-käyttäjätunnuksesi salasanan. Huomaa, että Haka-salasana tai SSH-avaimeesi liittyvä salasana eivät kelpaa tässä todennusvaiheessa. Kun olet valinnut käytettävän SD Connect -projektin, määritysprosessi pyytää sinua kopioimaan API-tokenin SD Connectin selainkäyttöliittymästä. Huomaa, että SD Connectissa sinun täytyy luoda API-token samalla projektilla, jonka valitsit tämän määritysprosessin alussa.

allas-conf-työkalun asennus

allas-conf voidaan asentaa vain Linuxiin tai Maciin.

  1. Lataa allas_conf-skripti Allas-projektisi yhteyden määrittämistä varten: wget https://raw.githubusercontent.com/CSCfi/allas-cli-utils/master/allas_conf
  2. Asenna Rclone Swift-yhteyttä varten TAI OpenStack client S3-yhteyttä varten

Jos ajat allas_conf-skriptiä paikallisesti, sinun tulee muokata kaikkia yllä olevia komentoja seuraavasti:

  • Lisää source alkuun
  • Käytä --user-valintaa CSC-käyttäjätunnuksesi määrittämiseen .

Esimerkiksi:

source allas_conf --user your-csc-username -p your-csc-project-name
source allas_conf --user your-csc-username -p your-csc-project-name -m S3
source allas_conf --user your-csc-username -p csc-project-name --s3remove
source allas_conf --user your-csc-username --lumi
source allas_conf --user your-csc-username --sdc

S3-yhteyden yksityiskohdat

Jotta voit käyttää Allasta S3:n kautta koneella, jossa allas-conf ei ole saatavilla, tai työkaluilla, joita ei tueta suoraan, tarvitaan yleensä seuraavat tiedot:

  • S3-tunnistetiedot: access key ja secret key
  • S3-päätepiste: a3s.fi tai https://a3s.fi
  • S3-alue: joskus asetuksia ei tarvita, joskus jätetään tyhjäksi (````)

Helpoin tapa saada S3-tunnistetiedot on määrittää S3-yhteys CSC:n supertietokoneella (tai jollakin muulla koneella, jolla allas_conf-työkalua voidaan ajaa) ja katsoa avaimet komennon tulosteesta.

module load allas
allas-conf

Myöhemmin avaimet löytyvät esimerkiksi komennolla: less ~/.aws/credentials

Jos haluat käyttää Allasta henkilökohtaiselta kannettavalta tai joltakin muulta palvelimelta s3cmd- tai aws-komentorivityökaluilla, voit myös kopioida asetustiedostot sellaisinaan. Käytä mitä tahansa tiedostonsiirtotyökalua, esimerkiksi scp.

  • aws: kopioi kansio ~/.aws kotihakemistoosi polkuun C:\Users\username\.aws Windowsissa tai ~/.aws/ Macissa ja Linuxissa.
  • s3cmd: kopioi tiedosto ~/.s3cfg kotihakemistoosi Macissa ja Linuxissa.
Onko tämä sivu hyödyllinen?
Kiitos palautteestasi!
Kiitos! Arvostamme palautettasi.

Kerro meille miten voisimme parantaa tätä sivua ottamalla meihin yhteyttä .