Allas-yhteyden määritys

Helpoin yleinen tapa määrittää Allas-yhteys on käyttää allas-conf-työkalua:

Määrittää yhteysasetukset monille eri työkaluille
Swift- tai S3-yhteys
On itse komentorivikäyttöliittymä.
Saatavilla CSC:n supertietokoneilla
Voidaan asentaa Linuxiin ja Maciin, mutta ei Windowsiin.
Sopii hyvin, jos Allaksen kanssa käytetään kerrallaan vain yhtä CSC-projektia.

Vaihtoehtoisesti voi käyttää Puhdin tai Mahdin selainkäyttöliittymää:

Määrittää yhteysasetukset selainkäyttöliittymän tiedosto-osioon ja rcloneen, mutta ei muihin Allas-asiakasohjelmiin.
Swift- tai S3-yhteys
Saatavilla selainkäyttöliittymässä, joten sen käyttö ei vaadi asennuksia, mutta CSC-projektissa täytyy olla Puhti- tai Mahti-palvelu käytössä.
Sopii hyvin, jos Allaksen kanssa käytetään yhtä tai useampaa CSC-projektia.

`allas-conf`-työkalun saatavuus

Saatavilla CSC:n supertietokoneilla allas-moduulissa. Voidaan (installed)[allas-conf-installation] Linuxiin ja Maciin, mutta ei Windowsiin.

module load allas

`allas-conf`-yhteyden määritys

SWIFT-yhteys

on voimassa enintään kahdeksan tuntia

Määritä Allas-yhteys Swift-protokollalla:

allas-conf

Komento allas-conf pyytää CSC-salasanaasi (yliopiston/Hakan salasana ei toimi tässä). Se listaa Allas-projektisi ja pyytää määrittämään projektin (jos sitä ei ole jo annettu argumenttina).

Oletuksena allas-conf listaa projektisi, joilla on pääsy Allakseen, mutta jos tiedät projektin nimen, voit antaa sen myös argumenttina:

allas-conf project_201234

allas-conf mahdollistaa vain yhden Allas-projektin käytön kerrallaan yhdessä istunnossa. Voit vaihtaa toiseen projektiin suorittamalla allas-conf-komennon uudelleen.

Huomaa, että Allas-projektin ei tarvitse olla sama kuin projekti, jota käytät Puhdissa tai Mahdissa.

allas-conf luo Swift-asetustiedostot seuraaville: a-tools,rclonejaswift`.

Todennustiedot tallennetaan ympäristömuuttujiin OS_AUTH_TOKEN ja OS_STORAGE_URL. Voit kuitenkin uusia todennuksen milloin tahansa suorittamalla allas-conf-komennon uudelleen. Ympäristömuuttujat asetetaan vain nykyiselle kirjautumisistunnolle, joten todennus täytyy määrittää erikseen jokaiselle komentotulkille, josta haluat käyttää Allasta.

Jos ajat suuria, monivaiheisia prosesseja (esim. eräajoja), datanhallintaputkesi voi kestää yli kahdeksan tuntia. Näissä tapauksissa voit lisätä option -k komentoon allas-conf.

allas-conf -k

Kun tämä optio on käytössä, salasana tallennetaan ympäristömuuttujaan OS_PASSWORD. A-komennot tunnistavat tämän ympäristömuuttujan ja päivittävät automaattisesti nykyisen Allas-yhteyden suoritettaessa.

S3-yhteys

Ota S3-protokolla käyttöön optiolla -m S3

allas-conf -m S3

Samaa todennusta käytetään kaikissa kirjautumisistunnoissa, eikä sillä ole vanhenemisaikaa.

allas-conf luo asetustiedostot S3-tilassa seuraaville: * rclone: .config/rclone/rclone.conf * s3cmd: ~/.s3cfg * aws: tunnistetiedot ja S3-alue tiedostoihin ~/.aws/credentials sekä S3-päätepiste tiedostoon ~/.aws/config.

Lisäksi Pythonin boto3- ja R:n aws.s3-kirjastot käyttävät aws-asetustiedostoja.

Tämä tallentaa

Jos käytät näitä avaimia muissa palveluissa, sinun tulee varmistaa, että avaimet pysyvät aina yksityisinä. Kuka tahansa, jolla on pääsy näihin kahteen avaimeen, voi käyttää ja muokata kaikkea dataa, joka projektilla on Allaksessa.

Tarvittaessa voit poistaa S3-avainparin käytöstä komennolla:

allas-conf --s3remove

Note

Muista olla huolellinen ja tietoturvatietoinen määrittäessäsi S3-yhteyttä Allakseen. S3-avaimet tallennetaan luettavassa muodossa kotihakemistoosi, ja kuka tahansa, joka voi lukea avaimesi, voi käyttää Allasta, kunnes avaimet erikseen peruutetaan Allaksesta. Avainten poistaminen omalta tietokoneeltasi ei riitä niiden poistamiseen käytöstä.

`allas-conf`-asennus

allas-conf voidaan asentaa vain Linuxiin tai Maciin.

Lataa allas_conf-skripti Allas-projektisi yhteyden määrittämistä varten: wget https://raw.githubusercontent.com/CSCfi/allas-cli-utils/master/allas_conf
Asenna Rclone Swift-yhteyttä varten TAI OpenStack client S3-yhteyttä varten

Jos suoritat allas_conf-skriptiä paikallisesti, sinun tulee muokata kaikkia yllä olevia komentoja seuraavasti:

Lisää source alkuun
Käytä --user-optiota CSC-käyttäjätunnuksesi määrittämiseen .

Esimerkiksi:

source allas_conf --user your-csc-username -p your-csc-project-name
source allas_conf --user your-csc-username -p your-csc-project-name -m S3
source allas_conf --user your-csc-username -p csc-project-name --s3remove

S3-yhteyden tiedot

Jotta voit käyttää Allasta S3:n kautta koneella, jossa allas-conf ei ole saatavilla, tai työkaluilla, joita ei tueta suoraan, tarvitaan yleensä seuraavat tiedot:

S3-tunnistetiedot: access key ja secret key
S3-päätepiste: a3s.fi tai https://a3s.fi
S3-alue: joskus asetuksia ei tarvita, joskus jätetään tyhjäksi (````)

Helpoin tapa saada S3-tunnistetiedot on määrittää S3-yhteys CSC:n supertietokoneella (tai jollakin muulla koneella, jolla voidaan suorittaa allas_conf-työkalua) ja katsoa avaimet komennon tulosteesta.

module load allas
allas-conf -m S3

Myöhemmin avaimet löytyvät esimerkiksi komennolla: less ~/.aws/credentials

Jos haluat käyttää Allasta henkilökohtaiselta kannettavalta tai joltakin muulta palvelimelta s3cmd- tai aws-komentorivityökaluilla, voit myös kopioida asetustiedostot sellaisinaan. Käytä mitä tahansa tiedostonsiirtotyökalua, esimerkiksi scp.

aws: kopioi kansio ~/.aws kotihakemistoosi sijaintiin C:\Users\username\.aws Windowsissa tai ~/.aws/ Macissa ja Linuxissa.
s3cmd: kopioi tiedosto ~/.s3cfg kotihakemistoosi Macissa ja Linuxissa.