Hyppää sisältöön

Allaksen käyttö

Allas access clients

Neljä päävaihtoehtoa Allaksen käyttöön ovat:

  • Selainkäyttöliittymät
  • Komentorivityökalut
  • Graafiset työkalut
  • Muut työkalut: Python- ja R-kirjastot jne.

Alla olevat työkaluluettelot eivät ole täydellisiä tai poissulkevia. Periaatteessa mikä tahansa Swift- tai S3-protokollaa tukeva työkalu voi käyttää Allasta. Voit käyttää Allaksen asiakasohjelmia rinnakkain, kunhan käytät Allasta samalla protokollalla (Swift tai S3).

Kun valitset työkalua Allaksen käyttöön, ota huomioon:

  • Käytön aloittamisen helppous: selainkäyttöliittymät eivät vaadi asennusta, ja yhteyden määritys on helppoa.
  • Käytön helppous: selainkäyttöliittymä ja graafiset työkalut ovat yleensä helpompia perustoimintojen käyttöön.
  • Siirrettävän datan määrä: selainkäyttöliittymät eivät sovellu suuriin datasiirtoihin.
  • Muu työvuosi, Python- tai R-kirjastoista voi olla hyötyä, jos käytät näitä ohjelmointikieliä jo muihin tehtäviin.
  • Paikallisen koneesi käyttöjärjestelmä: osa komentorivi- ja graafisista työkaluista tukee vain Linuxia/Macia tai Windowsia.
  • Valitsemasi Allas-protokolla, sillä monet komentorivi- ja graafiset työkalut tukevat vain Swift- tai S3-protokollaa.
  • Tiedostojen paketointi: jos siirrät paljon tiedostoja, a-tools paketoi ne oletuksena .tar-tiedostoksi ja lisää metadataa, kun taas muut työkalut yleensä siirtävät tiedostot sellaisinaan.
  • Datasi sensitiivisyys: sensitiiviselle datalle käytä työkaluja, jotka tukevat asiakaspään salausta.

Jos haluat käyttää Allasta Roihusta, katso Ohje Allaksen käyttöön CSC:n supertietokoneissa.

Selainkäyttöliittymät

Tällä hetkellä CSC tarjoaa Allakselle useita selainkäyttöliittymiä:

Selainkäyttöliittymä Ohjeet SWIFT-tuki S3-tuki Käyttötapaukset Rajoitukset
Allas web UI Ohjeet ✔ Yleinen ensisijainen valinta, jaa dataa toiselle projektille, tee ämpäreistä julkisia Enintään 5 GB lataukset
Roihu web UI Ohjeet ✔ ✔ Datan siirtäminen Roihuun/Roihusta tai paikallisesti, myös S3-käyttö ja LUMI-O Enintään 10 GB tiedostolataukset paikalliselta koneelta
cPouta web UI Ohjeet ✔ Tee ämpäristäsi julkinen Enintään 5 GB tiedostot, lataus ja siirto vain yksi tiedosto kerrallaan.
SD Connect Ohjeet ✔ Sensitiivinen data

Komentorivityökalut

Allaksen käyttöön komentorivikomennoilla tarvitaan Swift- tai S3-protokollaa tukeva asiakasohjelmisto. Tämä on joustavin tapa käyttää Allasta, mutta käytön aloittaminen on hieman monimutkaisempaa.

Työkalut SWIFT-tuki S3-tuki Linux/Mac Windows
a-commands ✔ ✔ ✔ -
rclone ✔ ✔ ✔ ✔
swift python-swiftclient ✔ ✔
s3cmd ✔ ✔
aws-cli ✔ ✔ ✔

Lisäksi esimerkiksi curl- ja wget-työkaluja voidaan käyttää julkisten objektien tai väliaikaisilla URL-osoitteilla saatavilla olevien objektien lataamiseen.

Graafiset työkalut

Työkalut SWIFT-tuki S3-tuki Linux/Mac Windows
Cyberduck ✔ ✔ ✔ ✔
WinSCP ✔ ✔
S3browser ✔ ✔

WinSCP:n tiedonsiirtonopeus on S3:n kanssa yleensä melko hidas, joten se ei todennäköisesti sovellu suurille datamäärille.

Muut työkalut: Python- ja R-kirjastot jne.

Nämä Python- ja R-kirjastot voidaan asentaa kaikkiin käyttöjärjestelmiin.

Asiakasohjelmien vertailu

Web-käyttöliittymä soveltuu perustoimintojen käyttöön. a-commands tarjoaa helppokäyttöisiä toimintoja Allaksen käyttöön joko henkilökohtaiselta tietokoneelta tai supertietokoneelta. Edistyneet käyttäjät voivat harkita asiakasohjelmia rclone, Swift ja s3cmd. Taulukko esittää tehokäyttäjien asiakasohjelmien ydintoiminnot Allaksen datanhallinnassa.

Allas Web UI a-commands rclone Swift s3cmd
Käyttö Perus Perus Tehokäyttö Tehokäyttö Tehokäyttö
Luo ämpäreitä ✔ ✔ ✔ ✔ ✔
Lataa objekteja ✔ ✔ ✔ ✔ ✔
Listaa
       objektit ✔ ✔ ✔ ✔ ✔
       ämpärit ✔ ✔ ✔ ✔ ✔
Lataa
       objektit ✔ ✔ ✔ ✔ ✔
       ämpärit ✔ ✔ ✔ ✔
Poista
       objektit ✔ ✔ ✔ ✔ ✔
       ämpärit ✔ ✔ ✔ ✔ ✔••
Käyttöoikeuksien hallinta
       julkinen/yksityinen ✔ ✔ ✔ ✔
       luku-/kirjoitusoikeus
       toiselle projektille
✔ ✔ ✔ ✔
       väliaikaiset URL-osoitteet ✔ ✔
Aseta elinkaariehdot ✔
Siirrä objekteja ✔ ✔
Muokkaa metadataa ✔ ✔
Lataa koko projekti ✔ ✔
Poista koko projekti ✔ ✔
•• Vain tyhjät ämpärit

Yli 5 GB:n tiedostot

Yli 5 GB:n tiedostot jaetaan pienempiin osiin latauksen aikana.

Latauksen jälkeen s3cmd yhdistää nämä osat yhdeksi suureksi objektiksi, mutta Swift-pohjaisissa latauksissa (a-put, rclone, swift) suuret tiedostot tallennetaan myös useina objekteina. Tämä tehdään automaattisesti ämpäriin, jonka nimi muodostetaan lisäämällä pääte _segments alkuperäisen ämpärin nimeen. Esimerkiksi jos käyttäisit a-put-komentoa suuren tiedoston lataamiseen ämpäriin 123-dataset, varsinainen data tallennettaisiin useina osina ämpäriin 123-dataset_segments. Kohdeämpäri 123_dataset sisältäisi vain etuobjektin, jossa on tieto siitä, mistä osista tallennettu tiedosto koostuu. Etuobjektille tehdyt toiminnot heijastuvat automaattisesti osiin. Tavallisesti käyttäjien ei tarvitse käsitellä segments-ämpäreitä lainkaan, eikä näiden ämpäreiden sisällä olevia objekteja pidä poistaa tai muokata.

On tärkeää olla sekoittamatta Swiftiä ja S3:a, sillä nämä protokollat eivät ole täysin keskenään yhteensopivia.

Onko tämä sivu hyödyllinen?
Kiitos palautteestasi!
Kiitos! Arvostamme palautettasi.

Kerro meille miten voisimme parantaa tätä sivua ottamalla meihin yhteyttä .