Allaksen käyttö

Neljä päävaihtoehtoa Allaksen käyttöön ovat:

• Selainkäyttöliittymät
• Komentorivityökalut
• Graafiset työkalut
• Muut työkalut: Python- ja R-kirjastot jne.

Alla olevat työkaluluettelot eivät ole täydellisiä tai poissulkevia. Periaatteessa mikä tahansa työkalu, joka tukee Swift- tai S3-protokollia, voi käyttää Allasta. Voit käyttää Allaksen asiakasohjelmia rinnakkain, kunhan käytät Allasta samalla protokollalla (Swift tai S3).

Kun valitset työkalua Allaksen käyttöön, ota huomioon:

• Käytön aloittamisen helppous: selainkäyttöliittymät eivät vaadi asennusta, ja yhteyden määritys on helppoa.
• Käytön helppous: selainkäyttöliittymä ja graafiset työkalut ovat yleensä helpompia perustoimintojen käyttöön.
• Siirrettävän datan määrä: selainkäyttöliittymät eivät sovellu suuriin datansiirtoihin.
• Muu työnkulkusi: Python- tai R-kirjastot voivat olla hyödyllisiä, jos käytät näitä ohjelmointikieliä jo muihin tehtäviin.
• Paikallisen koneesi käyttöjärjestelmä: jotkin komentorivi- ja graafiset työkalut tukevat vain Linuxia/Macia tai Windowsia.
• Valitsemasi Allas-protokolla, sillä monet komentorivi- ja graafiset työkalut tukevat vain Swiftiä tai S3:a.
• Tiedostojen paketointi: jos siirrät paljon tiedostoja, a-tools paketoi ne oletuksena .tar-tiedostoksi ja lisää metadataa, kun taas muut työkalut yleensä siirtävät tiedostot sellaisinaan.
• Datasi sensitiivisyys: sensitiiviselle datalle käytä työkaluja, jotka tukevat asiakaspään salausta.

Jos haluat käyttää Allasta Puhdissa tai Mahdissa, katso Ohje Allaksen käyttöön CSC:n supertietokoneissa.

Selainkäyttöliittymät

Tällä hetkellä CSC tarjoaa Allakselle useita selainkäyttöliittymiä:

Selainkäyttöliittymä	Ohjeet	SWIFT-tuki	S3-tuki	Käyttötapaukset	Rajoitukset
Allas web UI	Ohjeet	✔		Yleinen ensisijainen valinta, jaa dataa toiselle projektille, tee ämpäreistä julkisia	Enintään 5 GB lataukset
Puhti web UI	Ohjeet	✔	✔	Datan siirtäminen Puhdista/Paikalliselta koneelta tai niihin, myös S3-käyttö ja LUMI-O	Enintään 10 GB tiedostojen lataus palveluun paikalliselta koneelta
Mahti web UI	Ohjeet	✔	✔	Datan siirtäminen Mahdista/Paikalliselta koneelta tai niihin, myös S3-käyttö ja LUMI-O	Enintään 10 GB tiedostojen lataus palveluun paikalliselta koneelta
cPouta web UI	Ohjeet	✔		Tee ämpäristäsi julkinen	Enintään 5 GB tiedostot, lataus palveluun ja lataus palvelusta vain yksi tiedosto kerrallaan.
SD Connect	Ohjeet	✔		Sensitiivinen data

Komentorivityökalut

Allaksen käyttöön komentorivikomennoilla tarvitaan asiakasohjelmisto, joka tukee Swift- tai S3-protokollaa. Tämä on joustavin tapa käyttää Allasta, mutta käytön aloittaminen on hieman monimutkaisempaa.

Työkalut	SWIFT-tuki	S3-tuki	Linux/Mac	Windows
a-commands	✔	✔	✔	-
rclone	✔	✔	✔	✔
swift python-swiftclient	✔		✔
s3cmd		✔	✔
aws-cli		✔	✔	✔

Lisäksi esimerkiksi curl- ja wget-työkaluja voidaan käyttää julkisten objektien tai väliaikaisilla URL-osoitteilla saatavien objektien lataamiseen.

Graafiset työkalut

Työkalut	SWIFT-tuki	S3-tuki	Linux/Mac	Windows
Cyberduck	✔	✔	✔	✔
WinSCP		✔		✔
S3browser		✔		✔

WinSCP:n datansiirtonopeus on S3:ssa yleensä melko hidas, joten se ei todennäköisesti sovellu suurille datamäärille.

Muut työkalut: Python- ja R-kirjastot jne.

• Python:
  • Python SWIFTin kanssa
  • Python S3:n kanssa käyttäen boto3:a.
  • Geotieteisiin liittyviä esimerkkejä siitä, miten Allasta voidaan käyttää Python-skripteissä
• R
  • aws.s3 R package voidaan käyttää Allaksen kanssa S3-protokollalla
  • Geotieteisiin liittyvä esimerkki siitä, miten Allasta voidaan käyttää R-skripteissä, sisältäen aws.s3:n käyttöönoton.
• Nextcloud-käyttöliittymä voidaan ottaa käyttöön Poudassa lisätoiminnallisuuksien saamiseksi.

Nämä Python- ja R-kirjastot voidaan asentaa kaikkiin käyttöjärjestelmiin.

Asiakasohjelmien vertailu

Selainasiakas soveltuu perustoimintojen käyttöön. a-commands tarjoaa helppokäyttöisiä toimintoja Allaksen käyttöön joko henkilökohtaiselta tietokoneelta tai supertietokoneelta. Edistyneet käyttäjät voivat harkita asiakasohjelmia rclone, Swift ja s3cmd. Taulukko näyttää tehokkaiden asiakasohjelmien ydintoiminnot Allaksen datanhallinnassa.

	Allas Web UI	a-commands	rclone	Swift	s3cmd
Käyttö	Perus	Perus	Tehokas	Tehokas	Tehokas
Luo ämpäreitä	✔	✔	✔	✔	✔
Lataa objekteja palveluun	✔	✔	✔	✔	✔
Listaa
objektit	✔	✔	✔	✔	✔
ämpärit	✔	✔	✔	✔	✔
Lataa
objektit	✔	✔	✔	✔	✔
ämpärit	✔		✔	✔	✔
Poista
objektit	✔	✔	✔	✔	✔
ämpärit	✔	✔	✔	✔	✔••
Käyttöoikeuksien hallinta
julkinen/yksityinen	✔	✔		✔	✔
luku-/kirjoitusoikeus        toiselle projektille	✔	✔		✔	✔
väliaikaiset URL-osoitteet				✔	✔
Aseta elinkaariehdot					✔
Siirrä objekteja				✔	✔
Muokkaa metadataa				✔	✔
Lataa koko projekti			✔	✔
Poista koko projekti			✔	✔

•• Vain tyhjät ämpärit

Yli 5 GB:n tiedostot

Yli 5 GB:n tiedostot jaetaan latauksen palveluun aikana pienempiin segmentteihin.

• Useimmat työkalut pilkkovat suuret tiedostot automaattisesti
• Swiftillä voit käyttää Static Large Object -toimintoa: swift suurten tiedostojen kanssa

Palveluun lataamisen jälkeen s3cmd yhdistää nämä segmentit yhdeksi suureksi objektiksi, mutta Swift-pohjaisissa palveluun latauksissa (a-put, rclone, swift) suuret tiedostot tallennetaan myös useina objekteina. Tämä tehdään automaattisesti ämpäriin, jonka nimi muodostetaan lisäämällä pääte _segments alkuperäisen ämpärin nimeen. Esimerkiksi jos käyttäisit a-put-komentoa suuren tiedoston lataamiseen palveluun ämpäriin 123-dataset, varsinainen data tallennettaisiin useina osina ämpäriin 123-dataset_segments. Kohdeämpäri 123_dataset sisältäisi vain etuobjektin, jossa on tieto siitä, mitkä segmentit muodostavat tallennetun tiedoston. Etuobjektille tehdyt toiminnot heijastuvat automaattisesti segmentteihin. Tavallisesti käyttäjien ei tarvitse käsitellä segments-ämpäreitä lainkaan, eikä näiden ämpäreiden sisällä olevia objekteja pidä poistaa tai muokata.

On tärkeää, ettei Swiftiä ja S3:a sekoiteta keskenään, sillä nämä protokollat eivät ole täysin keskenään yhteensopivia.

Onko tämä sivu hyödyllinen?

Kyllä

Kiitos palautteestasi!

Ei

Kiitos! Arvostamme palautettasi.

Kerro meille miten voisimme parantaa tätä sivua ottamalla meihin yhteyttä.