Hyppää sisältöön

Welcome to our weekly research support coffee hour on Zoom! Click here for more information.

Warning!

Puhti scratch disk is becoming very full (80+ % ) resulting in performance degradation. Everybody is advised to only keep actively processed data on scratch, all other data should be deleted, transferred to host institute or stored in Lumi-O. No new quota will be granted. Click here for a tool for examining your disk usage.

Paikallinen Rclone-määritys Allasta varten

Rclone voidaan asentaa mihin tahansa käyttöjärjestelmään, joten se tarjoaa tehokkaan tavan käyttää Allasta miltä tahansa tietokoneelta. Voit ladata Rclonen omalle tietokoneellesi alla olevasta linkistä.

Kun Rclone on asennettu, sinun täytyy vielä määrittää yhteys Altaaseen. Rclone on komentorivisovellus, joten sekä määritys että varsinainen käyttö tehdään yleensä komentorivillä: Macissa ja Linuxissa Terminal, Windowsissa Command Prompt tai PowerShell.

Allas-yhteyden määrittäminen Macissa ja Linuxissa (Swift ja S3)

Asenna ensin allas-conf paikallisesti ja määritä yhteytesi.

# Swift
source allas_conf -u your-csc-username -p your-csc-project-name
# S3
source allas_conf -u kkayttaj -p project_2001234 -m S3

Rclone-komennoissa tähän Swift-pohjaiseen yhteyteen viitataan etänimellä allas: ja S3-yhteyteen etänimellä s3allas:.

Allas-yhteyden määrittäminen Windowsissa

Windows-koneissa et voi käyttää allas_conf-skriptiä. Siksi Windowsissa jotkin yhteyskohtaiset muuttujat täytyy tarkistaa rinnakkain Linux- tai Mac-ympäristössä, joka tukee allas_conf-skriptiä. Helpoin vaihtoehto voi olla Puhti, jos käytät sitä muutenkin. Yksi vaihtoehto on myös käyttää Windows Linux Subsystemiä, jolloin yllä olevia ohjeita voidaan noudattaa.

Määritä Allas-yhteys komennolla:

rclone config

Voit käyttää tätä komentoa myös muissa ympäristöissä, joissa allas_conf ei ole saatavilla. Yllä oleva komento käynnistää määritysprosessin, jonka avulla voit määritellä uuden Rclone-yhteyden. Rclonessa näitä määriteltyjä yhteyksiä kutsutaan nimellä remote.

Alla kuvaamme, miten Swift- ja S3-yhteydet Altaaseen luodaan.

Swift-yhteyden määrittäminen Windowsissa

Aloita avaamalla PowerShell ja suorittamalla komento:

.\rclone.exe config

Tee interaktiivisessa määritysprosessissa seuraavat valinnat:

  1. Valitse n luodaksesi New remote -yhteyden
  2. Anna etäyhteyden nimeksi: allas
  3. Valitse tallennusprotokollien luettelosta numero, joka vastaa vaihtoehtoa: OpenStack Swift (Rackspace Cloud Files, Memset Memstore, OVH)
  4. Valitse tunnistautumisvaihtoehto 2: Get swift credentials from environment vars.
  5. Valitse tämän jälkeen oletusarvoinen blank-asetus kaikille jäljellä oleville asetuksille, kunnes palaat määritysprosessin aloitusvalikkoon.
  6. Lopuksi valitse q lopettaaksesi määritysprosessin.

Swiftin tapauksessa tämä määritys tarvitsee tehdä vain kerran. Määrityksessä on nyt määritelty, että allas-yhteyden tapauksessa kaikki yhteyden tiedot luetaan ympäristömuuttujista.

Jos sinulla on pääsy Puhdin, helpoin tapa tarkistaa tarvittavien muuttujien arvot on avata siihen terminaaliyhteys ja aktivoida siellä yhteys siihen Allas-projektiin, jota haluat käyttää. Toinen vaihtoehto on käyttää apuohjelmaa allas-get-swift-token-win.zip. Jos päätät käyttää apuohjelmaa, sinun (tai paikallisen IT-tukesi) voi olla tarpeen määrittää virustorjunta tai muu ohjelmisto sallimaan sen suorittaminen.

Jos käytät Puhtia Swift-käyttömuuttujien asettamiseen, aktivoi Allas-ympäristö Puhdissa komennoilla:

module load allas
allas-conf --show-powershell

Kun määritysprosessi Puhdissa on valmis, kopioi tulosteen lopusta rivit, jotka alkavat merkkijonolla $Env:, paikalliseen PowerShelliin ja suorita ne. Testaa sitten Rclone-yhteys komennolla:

  .\rclone.exe lsd allas:

Huomaa, että myös tässä tapauksessa yhteys toimii vain seuraavat 8 tuntia.

S3-yhteyden määrittäminen Windowsissa

Note

Muista, että sinun täytyy olla huolellinen ja tietoturvatietoinen määrittäessäsi S3-yhteyttä Altaaseen. S3-avaimet tallennetaan kotihakemistoosi luettavassa muodossa, ja kuka tahansa, joka voi lukea avaimesi, voi käyttää Allasta, kunnes avaimet erikseen peruutetaan Altaasta. Avainten poistaminen omalta tietokoneeltasi ei yksin riitä poistamaan niitä käytöstä.

Tarkistaaksesi S3-avaimesi avaa yhteys Puhtiin (tai johonkin muuhun koneeseen, jossa allas_conf-työkalu voidaan suorittaa). Jos S3-yhteyttä Allas-projektiisi ei ole vielä aktivoitu, avaa se komennoilla:

module load allas
allas-conf -m S3

Tämä luo paikallisen asetustiedoston, jota käytämme myöhemmin joidenkin arvojen tarkistamiseen.

Siirry sitten Windowsin Command Prompt -ikkunaan ja käynnistä Rclonen määritysprosessi suorittamalla komento:

rclone config

Ja tee seuraavat valinnat:

  1. Valitse n luodaksesi New remote -yhteyden
  2. Anna etäyhteyden nimeksi: s3allas
  3. Valitse tallennusprotokollien luettelosta numero, joka vastaa vaihtoehtoa: Amazon S3 Compliant Storage Providers including AWS, Alibaba, Ceph, Digital Ocean, Dreamhost, IBM COS, Minio, and Tencent COS
  4. Seuraavaksi sinua pyydetään valitsemaan S3-palveluntarjoaja. Valitse vaihtoehto, joka vastaa kohtaa Any other S3 compatible provider
  5. Valitse sitten, että Enter AWS credentials in the next step
  6. Anna AWS access key. Voit tarkistaa sen Puhdissa komennolla: grep access_key $HOME/.s3cfg | cut -d " " -f3
  7. Anna AWS secret access key. Voit tarkistaa sen Puhdissa komennolla: grep secret_key $HOME/.s3cfg | cut -d " " -f3
  8. Region: 1
  9. Endpoint: a3s.fi
  10. Location constant: (tyhjä, paina vain Enter)
  11. acl: 1
  12. Edit advanced config: n
  13. Remote config: y (kyllä, tämä on oikein)
  14. q, lopeta määritys

Tämän jälkeen voit käyttää Allas-projektiasi Rclonen etäyhteydellä s3allas. Esimerkiksi:

rclone.exe lsd s3allas:

Tämä yhteys pysyy aktiivisena kannettavallasi, kunnes poistat sen.

Suomenkielinen tekoälykäännös

Sisällössä voi esiintyä virheellistä tietoa tekoälykäännöksestä johtuen.

Klikkaa tästä antaaksesi palautetta