Hyppää sisältöön

Docs CSC now features an automatic Finnish translation. Click here for more information.

Warning!

Puhti and Mahti will be decommissioned after Roihu becomes available. Users should clean up unnecessary files and move any required data by the end of August 2026. See the Roihu data preparation instructions for details.

Puhti scratch is very full: keep only active data there and move or delete everything else. No new Puhti scratch quota will be granted.

Allaksen käyttö

Allas access clients

Neljä päävaihtoehtoa Allaksen käyttöön ovat:

  • Selainkäyttöliittymät
  • Komentorivityökalut
  • Graafiset työkalut
  • Muut työkalut: Python- ja R-kirjastot jne.

Alla olevat työkaluluettelot eivät ole täydellisiä tai poissulkevia. Periaatteessa mikä tahansa työkalu, joka tukee Swift- tai S3-protokollia, voi käyttää Allasta. Voit käyttää Allaksen asiakasohjelmia rinnakkain, kunhan käytät Allasta samalla protokollalla (Swift tai S3).

Kun valitset työkalua Allaksen käyttöön, ota huomioon:

  • Käytön aloittamisen helppous: selainkäyttöliittymät eivät vaadi asennusta, ja yhteyden määritys on helppoa.
  • Käytön helppous: selainkäyttöliittymä ja graafiset työkalut ovat yleensä helpompia perustoimintojen käyttöön.
  • Siirrettävän datan määrä: selainkäyttöliittymät eivät sovellu suuriin datansiirtoihin.
  • Muu työnkulkusi: Python- tai R-kirjastot voivat olla hyödyllisiä, jos käytät näitä ohjelmointikieliä jo muihin tehtäviin.
  • Paikallisen koneesi käyttöjärjestelmä: jotkin komentorivi- ja graafiset työkalut tukevat vain Linuxia/Macia tai Windowsia.
  • Valitsemasi Allas-protokolla, sillä monet komentorivi- ja graafiset työkalut tukevat vain Swiftiä tai S3:a.
  • Tiedostojen paketointi: jos siirrät paljon tiedostoja, a-tools paketoi ne oletuksena .tar-tiedostoksi ja lisää metadataa, kun taas muut työkalut yleensä siirtävät tiedostot sellaisinaan.
  • Datasi sensitiivisyys: sensitiiviselle datalle käytä työkaluja, jotka tukevat asiakaspään salausta.

Jos haluat käyttää Allasta Puhdissa tai Mahdissa, katso Ohje Allaksen käyttöön CSC:n supertietokoneissa.

Selainkäyttöliittymät

Tällä hetkellä CSC tarjoaa Allakselle useita selainkäyttöliittymiä:

Selainkäyttöliittymä Ohjeet SWIFT-tuki S3-tuki Käyttötapaukset Rajoitukset
Allas web UI Ohjeet ✔ Yleinen ensisijainen valinta, jaa dataa toiselle projektille, tee ämpäreistä julkisia Enintään 5 GB lataukset
Puhti web UI Ohjeet ✔ ✔ Datan siirtäminen Puhdista/Paikalliselta koneelta tai niihin, myös S3-käyttö ja LUMI-O Enintään 10 GB tiedostojen lataus palveluun paikalliselta koneelta
Mahti web UI Ohjeet ✔ ✔ Datan siirtäminen Mahdista/Paikalliselta koneelta tai niihin, myös S3-käyttö ja LUMI-O Enintään 10 GB tiedostojen lataus palveluun paikalliselta koneelta
cPouta web UI Ohjeet ✔ Tee ämpäristäsi julkinen Enintään 5 GB tiedostot, lataus palveluun ja lataus palvelusta vain yksi tiedosto kerrallaan.
SD Connect Ohjeet ✔ Sensitiivinen data

Komentorivityökalut

Allaksen käyttöön komentorivikomennoilla tarvitaan asiakasohjelmisto, joka tukee Swift- tai S3-protokollaa. Tämä on joustavin tapa käyttää Allasta, mutta käytön aloittaminen on hieman monimutkaisempaa.

Työkalut SWIFT-tuki S3-tuki Linux/Mac Windows
a-commands ✔ ✔ ✔ -
rclone ✔ ✔ ✔ ✔
swift python-swiftclient ✔ ✔
s3cmd ✔ ✔
aws-cli ✔ ✔ ✔

Lisäksi esimerkiksi curl- ja wget-työkaluja voidaan käyttää julkisten objektien tai väliaikaisilla URL-osoitteilla saatavien objektien lataamiseen.

Graafiset työkalut

Työkalut SWIFT-tuki S3-tuki Linux/Mac Windows
Cyberduck ✔ ✔ ✔ ✔
WinSCP ✔ ✔
S3browser ✔ ✔

WinSCP:n datansiirtonopeus on S3:ssa yleensä melko hidas, joten se ei todennäköisesti sovellu suurille datamäärille.

Muut työkalut: Python- ja R-kirjastot jne.

Nämä Python- ja R-kirjastot voidaan asentaa kaikkiin käyttöjärjestelmiin.

Asiakasohjelmien vertailu

Selainasiakas soveltuu perustoimintojen käyttöön. a-commands tarjoaa helppokäyttöisiä toimintoja Allaksen käyttöön joko henkilökohtaiselta tietokoneelta tai supertietokoneelta. Edistyneet käyttäjät voivat harkita asiakasohjelmia rclone, Swift ja s3cmd. Taulukko näyttää tehokkaiden asiakasohjelmien ydintoiminnot Allaksen datanhallinnassa.

Allas Web UI a-commands rclone Swift s3cmd
Käyttö Perus Perus Tehokas Tehokas Tehokas
Luo ämpäreitä ✔ ✔ ✔ ✔ ✔
Lataa objekteja palveluun ✔ ✔ ✔ ✔ ✔
Listaa
       objektit ✔ ✔ ✔ ✔ ✔
       ämpärit ✔ ✔ ✔ ✔ ✔
Lataa
       objektit ✔ ✔ ✔ ✔ ✔
       ämpärit ✔ ✔ ✔ ✔
Poista
       objektit ✔ ✔ ✔ ✔ ✔
       ämpärit ✔ ✔ ✔ ✔ ✔••
Käyttöoikeuksien hallinta
       julkinen/yksityinen ✔ ✔ ✔ ✔
       luku-/kirjoitusoikeus
       toiselle projektille		 ✔ ✔ ✔ ✔
       väliaikaiset URL-osoitteet ✔ ✔
Aseta elinkaariehdot ✔
Siirrä objekteja ✔ ✔
Muokkaa metadataa ✔ ✔
Lataa koko projekti ✔ ✔
Poista koko projekti ✔ ✔
•• Vain tyhjät ämpärit

Yli 5 GB:n tiedostot

Yli 5 GB:n tiedostot jaetaan latauksen palveluun aikana pienempiin segmentteihin.

Palveluun lataamisen jälkeen s3cmd yhdistää nämä segmentit yhdeksi suureksi objektiksi, mutta Swift-pohjaisissa palveluun latauksissa (a-put, rclone, swift) suuret tiedostot tallennetaan myös useina objekteina. Tämä tehdään automaattisesti ämpäriin, jonka nimi muodostetaan lisäämällä pääte _segments alkuperäisen ämpärin nimeen. Esimerkiksi jos käyttäisit a-put-komentoa suuren tiedoston lataamiseen palveluun ämpäriin 123-dataset, varsinainen data tallennettaisiin useina osina ämpäriin 123-dataset_segments. Kohdeämpäri 123_dataset sisältäisi vain etuobjektin, jossa on tieto siitä, mitkä segmentit muodostavat tallennetun tiedoston. Etuobjektille tehdyt toiminnot heijastuvat automaattisesti segmentteihin. Tavallisesti käyttäjien ei tarvitse käsitellä segments-ämpäreitä lainkaan, eikä näiden ämpäreiden sisällä olevia objekteja pidä poistaa tai muokata.

On tärkeää, ettei Swiftiä ja S3:a sekoiteta keskenään, sillä nämä protokollat eivät ole täysin keskenään yhteensopivia.

Suomenkielinen tekoälykäännös

Sisällössä voi esiintyä virheellistä tietoa tekoälykäännöksestä johtuen.

Klikkaa tästä antaaksesi palautetta

Ymmärrän.