Allaksen käyttö Rclonella

Tämä luku sisältää ohjeet Allaksen käyttöön Rclonella Roihu-laskentaympäristössä. Rclone tarjoaa erittäin tehokkaan ja monipuolisen tavan käyttää Allasta ja muita oliotallennuspalveluja. Se osaa käyttää sekä S3- että Swift-protokollia (sekä monia muita). Tällä hetkellä S3-protokolla on oletusvaihtoehto CSC:n Roihu-palvelimella.

VAROITUS: Rclonea ei tule käyttää objektien kopiointiin, siirtämiseen tai uudelleennimeämiseen Allaksen sisällä. Rclone tarjoaa komennot näihin toimintoihin, mutta ne eivät toimi oikein yli 5 GB:n tiedostoille.

VAROITUS: Jos yli 5 GB:n tiedoston rclone-datan latausprosessi keskeytyy, poista osittain ladattu objekti ennen latausprosessin uudelleenkäynnistämistä. Muuten rclone ilmoittaa joskus onnistuneesta datan latauksesta, vaikka kaikkea dataa ei ole kopioitu Allakseen.

Rclonen perussyntaksi:

rclone alikomento valitsimet lähde:polku kohde:polku

Yleisimmin käytetyt Rclone-komennot:

rclone copy – Kopioi tiedostoja lähteestä kohteeseen ohittaen jo kopioidut tiedostot.
rclone sync – Tekee lähteestä ja kohteesta identtiset muuttamalla vain kohdetta.
rclone move – Siirtää tiedostoja lähteestä kohteeseen.
rclone delete – Poistaa polun sisällön.
rclone mkdir – Luo polun, jos sitä ei vielä ole olemassa.
rclone rmdir – Poistaa polun.
rclone check – Tarkistaa, vastaavatko lähteen ja kohteen tiedostot toisiaan.
rclone ls – Listaa kaikki polun objektit, mukaan lukien koko ja polku.
rclone lsd – Listaa kaikki polun hakemistot/kontit/ämpärit.
rclone lsl – Listaa kaikki polun objektit, mukaan lukien koko, muokkausaika ja polku.
rclone lsf – Listaa objektit objektien nimiin perustuvaa virtuaalista hakemistorakennetta käyttäen.
rclone cat – Yhdistää tiedostot ja lähettää ne vakiotulosteeseen.
rclone copyto – Kopioi tiedostoja lähteestä kohteeseen ohittaen jo kopioidut tiedostot.
rclone moveto – Siirtää tiedoston tai hakemiston lähteestä kohteeseen.
rclone copyurl – Kopioi URL-osoitteen sisällön kohteeseen tallentamatta sitä tmp-tallennustilaan.

Laajempi luettelo löytyy Rclonen manuaalisivuilta tai kirjoittamalla komento rclone Roihussa.

Tunnistautuminen CSC:n supertietokoneilla

Alla kuvaamme, miten Rclonea käytetään Roihu-supertietokoneessa. Voit käyttää Rclonea myös omalla tietokoneellasi.

Ensimmäinen vaihe on määrittää yhteys Allaksen projektiin. Rclone voi käyttää sekä S3- että Swift-protokollia, mutta näillä yhteyksillä on eri nimet rclone-komennoissa.

Katso lisätietoja ja lisävalintoja kohdasta allas-conf.

S3-yhteys Allakseen

Voit määrittää uuden S3-yhteyden Allakseen komennolla:

allas-conf  project_proj-number

tai

allas-conf

Ensin allas-conf pyytää sinua antamaan CSC-salasanasi (Haka-salasanaa ei voi käyttää tässä). Sen jälkeen, jos kohdeprojektia ei ole annettu argumenttina, se listaa kaikki käytettävissä olevat Allas-projektit ja pyytää käyttäjää valitsemaan yhden. (Huomaa, että allas-confilla on usein ongelmia salasanojen kanssa, joissa on merkkejä, joilla on erityinen merkitys bash-komentotulkissa. Esimerkiksi välilyönti, *, ; ja erilaiset lainausmerkit voivat aiheuttaa sen, että allas-conf epäonnistuu).

Projektikohtainen käyttöavainpari tallennetaan rclonen asetustiedostoon kotihakemistossasi ($HOME/config/rclone/rclone.conf). Tämän vuoksi määritys ei ole istuntokohtainen, vaan koskee kaikkia istuntoja, joissa rclonea käytetään. S3-avaimet ovat pysyviä, joten sinun tarvitsee suorittaa allas-conf-komento uudelleen vain silloin, kun haluat ottaa käyttöön uuden oletusarvoisen S3-yhteyden. Näin ollen S3-pohjaisessa Allaksen käytössä sinun tarvitsee tavallisesti vain ladata Allas-moduuli ja alkaa käyttää Allasta.

Allas conf määrittää kaksi rclone-etäkohdetta s3allas: ja s3allas-project-proj-number:. Molemmat etäkohteet viittaavat samaan Allas-projektiin. Kun uusi projekti määritetään allas-confilla, päätepiste s3allas: muutetaan viittaamaan uuteen projektiin, mutta vanhempi projektikohtainen päätepiste säilytetään uuden luotavan projektikohtaisen päätepisteen lisäksi.

Esimerkiksi komentojen jälkeen:

allas-conf project_200111
allas-conf project_200222

Seuraavat etäkohteet ovat käytettävissä:

Rclone-etäkohde	Kohdeprojekti
rclone s3allas:	project_200222
rclone s3allas-project_200111:	project_200111
rclone s3allas-project_200222:	project_200222

Rclone Swiftin kanssa

Jos sinun täytyy käyttää rclonea Swift-pohjaisen Allas-yhteyden kanssa, esimerkiksi päästäksesi käsiksi dataan, jonka olet tallentanut Altaaseen Puhdista ja Mahdista, yhteys aktivoidaan komennoilla:

module load allas
allas-conf --swift

Rclone-komennoissa tähän Swift-pohjaiseen yhteyteen viitataan etäkohteen nimellä allas:.

Alla olevissa esimerkeissä käytetään S3-pohjaista s3allas:-etäkohdemääritystä, mutta jos sinulla on määritettynä Swift-yhteys, voit korvata sen määrittelyllä allas:.

Huomaa, että sekä allas: että s3allas: voivat toimia samanaikaisesti ja että ne voivat silti käyttää eri Allas-projekteja. Protokollien sekoittamista kannattaa kuitenkin välttää. Jos objekti ladataan käyttäen allas:, tee myös kaikki toiminnot käyttäen allas:.

Ämpäreiden luominen ja objektien lataaminen

Allaksen data järjestetään kontteihin, joita kutsutaan ämpäreiksi. Voit ajatella niitä juuritason hakemistoina. Kaikilla Allaksen ämpäreillä on oltava yksilölliset nimet – et voi luoda ämpäriä, jos jokin toinen projekti on jo käyttänyt samaa ämpärin nimeä. Hyvä nyrkkisääntö on sisällyttää ämpärin nimeen jotain projekti- tai käyttäjäkohtaista, esimerkiksi 2000620-raw-data. Katso tarkistuslista ämpärin nimeämistä varten. Vältä lisäksi isoja kirjaimia ja erikoismerkkejä, mukaan lukien alaviiva (_) ämpärien nimissä. Objektien nimissä ämpärin sisällä nämä merkit ovat sallittuja.

Rclonella ämpäri luodaan näin:

rclone mkdir s3allas:2000620-raw-data

Lataa tiedosto komennolla rclone copy:

rclone copy file.dat s3allas:2000620-raw-data/

Yllä oleva komento luo objektin file.dat ämpäriin 2000620-raw-data. Jos käytät komentoa rclone move komennon rclone copy sijasta, ladatun tiedoston paikallinen versio (file.dat) poistetaan kopioinnin jälkeen.

Alikomennot copy ja move toimivat vain tiedostojen kanssa. Jos haluat kopioida kaikki hakemiston tiedostot, käytä alikomentoja copyto tai moveto.

Latauksen aikana yli 5 GB:n tiedostot pilkotaan ja tallennetaan useina objekteina. Objektit tallennetaan automaattisesti erilliseen ämpäriin nimeltä <bucket-name>_segments. Esimerkiksi jos lataisit suuren tiedoston ämpäriin 2000620-raw-data, varsinainen data tallennettaisiin useina osina ämpäriin 2000620-raw-data_segments. Kohdeämpäri (2000620-raw-data) sisältäisi vain manifestiobjektin, joka kertoo, mistä segmenteistä tallennettu tiedosto koostuu. Manifestiobjektille tehdyt toiminnot heijastuvat automaattisesti segmentteihin. Tavallisesti käyttäjien ei tarvitse käsitellä segmenttiämpäreitä lainkaan, eikä näiden ämpäreiden sisällä olevia objekteja tule poistaa tai muokata.

Ämpäreiden ja objektien listaaminen

Listaa kaikki projektiin kuuluvat ämpärit:

rclone lsd s3allas:
0 2019-06-06 14:43:40         0 2000620-raw-data

Listaa ämpärin sisältö:

rclone ls allas:2000620-raw-data
677972 file.dat

Objektien lataaminen

Käytä samoja rclone copy- ja rclone copyto -komentoja tiedoston lataamiseen:

rclone copy s3allas:2000620-raw-data/file.dat

Jos sisällytät latauskomentoon kohdeparametrin, Rclone luo latausta varten hakemiston:

rclone copy s3allas:2000620-raw-data/file.dat doh

ls doh
file.dat

ls -ld doh
drwxr-xr-x  3 user  staff  96 Jun  6 14:58 doh

Hakemiston synkronointi

Yksi tapa siirtää dataa Allaksen ja laskentaympäristön välillä on synkronointi. Kopioinnin ja synkronoinnin ero on se, että kopiointi lisää lähteestä kohteeseen vain uusia objekteja tai tiedostoja, kun taas synkronointi voi myös poistaa dataa kohteesta, jotta kohde vastaisi lähdettä. Tämä ominaisuus tekee synkronoinnista erittäin tehokkaan mutta myös mahdollisesti hyvin vaarallisen.

Esimerkiksi kansiolla nimeltä mydata on seuraava rakenne:

ls -R mydata

mydata/:
file1.txt  setA  setB

mydata/setA:
file2.txt

mydata/setB:
file3.txt  file4.txt

Esimerkki sync-komennon käytöstä (huomaa, että kohdeparametri vaatii kansion nimen (mydata)):

rclone sync mydata allas:2000620-raw-data/mydata

rclone ls s3allas:2000620-raw-data
   677972 mydata/file1.txt
    10927 mydata/setA/file2.txt
     1116 mydata/setB/file3.txt
     5075 mydata/setB/file4.txt

Oletetaan, että tallennamme uutta dataa (file5.txt ja file6.txt) alihakemistoon mydata/setC ja poistamme samanaikaisesti tiedoston mydata/setB/file3.txt. Kun rclone sync -komento suoritetaan uudelleen, uusi data lisätään Allakseen ja objekti mydata/setB/file3.txt poistetaan.

rclone sync mydata allas:2000620-raw-data/mydata

rclone ls s3allas:2000620-raw-data
   677972 mydata/file1.txt
    10927 mydata/setA/file2.txt
     5075 mydata/setB/file4.txt
     1265 mydata/setC/file5.txt
     4327 mydata/setC/file6.txt

Yllä olevissa esimerkeissä Allasta on käytetty muutettavana kohteena. Komentoa voidaan kuitenkin käyttää myös päinvastaiseen suuntaan:

rclone sync allas:2000620-raw-data/mydata mydata

Tämä komento palauttaa ladatun datan Allaksesta hakemistoon mydata. Huomaa kuitenkin, että jos olet lisännyt uutta dataa hakemistoon mydata sen jälkeen, kun hakemisto synkronoitiin Allaksen kanssa, tämä data poistetaan.

Tiedostojen kopiointi suoraan oliotallennusten välillä

Rclonea voidaan käyttää myös tiedostojen kopiointiin suoraan toisesta oliotallennuksesta (esim. Lumi-O, Amazon S3, Google cloud, CREODIAS, ...) Allakseen. Tätä varten molemmat tunnistetiedot on tallennettava Rclonen asetustiedostoon käyttäjän kotihakemistossa (.config/rclone/rclone.conf). Esimerkki on alla:

[s3allas]
type = s3
provider = Other
env_auth = false
access_key_id = xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx
secret_access_key = xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx
endpoint = a3s.fi
acl = private

[otherobjectstorage]
type = s3
provider = Other
env_auth = false
access_key_id = yyyyyyyyyyyyyyyyyyyyyyyyyyyyyyy
secret_access_key = yyyyyyyyyyyyyyyyyyyyyyyyyyyyyy
endpoint = yourotherendpoint.com
acl = private

Allaksen määritys lisätään automaattisesti, kun Allas määritetään S3-tilassa

allas-conf

Tämän tiedoston luomisen tai päivittämisen jälkeen Rclonea voidaan käyttää tiedostojen kopiointiin

rclone copy otherobjectstorage:bucket-x/object-y s3allas:bucket-z/object-a

tai tiedostojen listaamiseen joko Allaksesta tai toisesta oliotallennuksesta käyttämällä vastaavaa nimeä

rclone lsf otherobjectstorage:.