Allaksen käyttö

Allas access clients

Neljä päävaihtoehtoa Allaksen käyttöön ovat:

Selainkäyttöliittymät
Komentorivityökalut
Graafiset työkalut
Muut työkalut: Python- ja R-kirjastot jne.

Alla olevat työkaluluettelot eivät ole täydellisiä tai poissulkevia. Periaatteessa mikä tahansa työkalu, joka tukee Swift- tai S3-protokollia, voi käyttää Allasta. Voit käyttää Allaksen asiakasohjelmia rinnakkain, kunhan käytät Allasta samalla protokollalla (Swift tai S3).

Kun valitset työkalua Allaksen käyttöön, ota huomioon:

Käytön aloittamisen helppous: selainkäyttöliittymät eivät vaadi asennusta ja yhteyden määritys on helppoa.
Käytön helppous: selainkäyttöliittymä ja graafiset työkalut ovat yleensä helpompia perustoimintojen käyttöön.
Siirrettävän datan määrä: selainkäyttöliittymät eivät sovellu suurten datamäärien siirtämiseen.
Muu työnkulkusi: Python- tai R-kirjastoista voi olla hyötyä, jos käytät näitä ohjelmointikieliä jo muihin tehtäviin.
Paikallisen koneesi käyttöjärjestelmä: osa komentorivi- ja graafisista työkaluista tukee vain Linuxia/Macia tai Windowsia.
Valitsemasi Allas-protokolla, sillä monet komentorivi- ja graafiset työkalut tukevat vain Swift- tai S3-protokollaa.
Tiedostojen paketointi: jos siirrät paljon tiedostoja, a-tools paketoi ne oletuksena .tar-tiedostoksi ja lisää metadataa, kun taas muut työkalut siirtävät tiedostot yleensä sellaisinaan.
Datasi sensitiivisyys: sensitiiviselle datalle käytä työkaluja, jotka tukevat asiakaspään salausta.

Jos haluat käyttää Allasta Roihusta, katso Ohje Allaksen käyttöön CSC:n supertietokoneissa.

Selainkäyttöliittymät

Tällä hetkellä CSC tarjoaa Allakselle useita selainkäyttöliittymiä:

Selainkäyttöliittymä	Ohjeet	SWIFT-tuki	S3-tuki	Käyttötapaukset	Rajoitukset
Allas web UI	Ohjeet	✔		Yleinen ensisijainen valinta, jaa dataa toiselle projektille, tee ämpäreistä julkisia	Enintään 5 GB lataukset
Puhti web UI	Ohjeet	✔	✔	Datan siirtäminen Puhdista/Puhtiin tai paikalliselta koneelta/paikalliselle koneelle, myös S3-käyttö ja LUMI-O	Enintään 10 GB tiedostolataukset paikalliselta koneelta
Mahti web UI	Ohjeet	✔	✔	Datan siirtäminen Mahdista/Mahtiin tai paikalliselta koneelta/paikalliselle koneelle, myös S3-käyttö ja LUMI-O	Enintään 10 GB tiedostolataukset paikalliselta koneelta
cPouta web UI	Ohjeet	✔		Tee ämpäristäsi julkinen	Enintään 5 GB tiedostot, lataus ja lähetys vain yksi tiedosto kerrallaan.
SD Connect	Ohjeet	✔		Sensitiivinen data

Komentorivityökalut

Allaksen käyttöön komentorivikomennoilla tarvitaan asiakasohjelmisto, joka tukee Swift- tai S3-protokollaa. Tämä on joustavin tapa käyttää Allasta, mutta käytön aloittaminen on hieman monimutkaisempaa.

Työkalut	SWIFT-tuki	S3-tuki	Linux/Mac	Windows
a-commands	✔	✔	✔	-
rclone	✔	✔	✔	✔
swift python-swiftclient	✔		✔
s3cmd		✔	✔
aws-cli		✔	✔	✔

Lisäksi esimerkiksi curl- ja wget-työkaluja voidaan käyttää julkisten objektien tai väliaikaisilla URL-osoitteilla jaettujen objektien lataamiseen.

Graafiset työkalut

Työkalut	SWIFT-tuki	S3-tuki	Linux/Mac	Windows
Cyberduck	✔	✔	✔	✔
WinSCP		✔		✔
S3browser		✔		✔

WinSCP:n tiedonsiirtonopeus on S3:n kanssa yleensä melko hidas, joten se ei todennäköisesti sovellu suurille datamäärille.

Muut työkalut: Python- ja R-kirjastot jne.

Python:
R
- aws.s3 R package can be used for working with Allas with S3 protocol
- Geoscience related example how Allas can be used in R scripts, inc. aws.s3 set up.
Nextcloud front end Can be set up in Pouta to get additional functionality.

Nämä Python- ja R-kirjastot voidaan asentaa kaikkiin käyttöjärjestelmiin.

Asiakasohjelmien vertailu

Selainasiakasohjelma soveltuu perustoimintojen käyttöön. a-commands tarjoaa helppokäyttöisiä toimintoja Allaksen käyttöön joko henkilökohtaiselta tietokoneelta tai supertietokoneelta. Edistyneet käyttäjät voivat harkita asiakasohjelmia rclone, Swift ja s3cmd. Taulukko esittää tehokkaiden asiakasohjelmien ydintoiminnot Allaksen datanhallinnassa.

	Allas Web UI	a-commands	rclone	Swift	s3cmd
Käyttö	Perus	Perus	Tehokas	Tehokas	Tehokas
Luo ämpäreitä	✔	✔	✔	✔	✔
Lähetä objekteja	✔	✔	✔	✔	✔
Listaa
objektit	✔	✔	✔	✔	✔
ämpärit	✔	✔	✔	✔	✔
Lataa
objektit	✔	✔	✔	✔	✔
ämpärit	✔		✔	✔	✔
Poista
objektit	✔	✔	✔	✔	✔
ämpärit	✔	✔	✔	✔	✔••
Käyttöoikeuksien hallinta
julkinen/yksityinen	✔	✔		✔	✔
luku-/kirjoitusoikeus toiselle projektille	✔	✔		✔	✔
väliaikaiset URL-osoitteet				✔	✔
Aseta elinkaariehdot					✔
Siirrä objekteja				✔	✔
Muokkaa metadataa				✔	✔
Lataa koko projekti			✔	✔
Poista koko projekti			✔	✔

•• Vain tyhjät ämpärit

Yli 5 GB:n tiedostot

Yli 5 GB:n kokoiset tiedostot jaetaan lähetyksen aikana pienempiin segmentteihin.

Useimmat työkalut pilkkovat suuret tiedostot automaattisesti
Swiftin kanssa voit käyttää Static Large Object -toimintoa: swift with large files

Lähetyksen jälkeen s3cmd yhdistää nämä segmentit yhdeksi suureksi objektiksi, mutta Swift-pohjaisissa lähetyksissä (a-put, rclone, swift) suuret tiedostot tallennetaan myös useina objekteina. Tämä tehdään automaattisesti ämpäriin, jonka nimi muodostetaan lisäämällä alkuperäisen ämpärin nimeen pääte _segments. Jos esimerkiksi käyttäisit a-put-komentoa suuren tiedoston lähettämiseen ämpäriin 123-dataset, varsinainen data tallennettaisiin useina osina ämpäriin 123-dataset_segments. Kohdeämpäri 123_dataset sisältäisi vain etuobjektin, jossa on tieto siitä, mistä segmenteistä tallennettu tiedosto koostuu. Etuobjektille tehdyt toiminnot heijastuvat automaattisesti segmentteihin. Tavallisesti käyttäjien ei tarvitse käsitellä segments-ämpäreitä lainkaan, eikä näiden ämpäreiden sisällä olevia objekteja pidä poistaa tai muokata.

On tärkeää, ettei Swift- ja S3-protokollia sekoiteta keskenään, sillä ne eivät ole täysin keskenään yhteensopivia.