Allakseen pääsy
Neljä päävaihtoehtoa Allakseen pääsyyn ovat:
- Selainkäyttöliittymät
- Komentorivityökalut
- Graafiset työkalut
- Muut työkalut: Python- ja R-kirjastot jne.
Alla olevat työkaluluettelot eivät ole täydellisiä tai poissulkevia. Periaatteessa mikä tahansa työkalu, joka tukee Swift- tai S3-protokollia, voi käyttää Allasta. Voit käyttää Allas-asiakasohjelmia rinnakkain, kunhan käytät Allasta samalla protokollalla (Swift tai S3).
Kun valitset työkalua Allakseen pääsyyn, ota huomioon:
- Käyttöönoton helppous: selainkäyttöliittymät eivät vaadi asennusta ja yhteyden määritys on helppoa.
- Käytön helppous: selainkäyttöliittymä ja graafiset työkalut ovat yleensä helpompia perustoimintojen käyttöön.
- Siirrettävän datan määrä: selainkäyttöliittymät eivät sovellu suuriin datansiirtoihin.
- Muu työnkulkusi, Python- tai R-kirjastot voivat olla hyödyllisiä, jos käytät näitä ohjelmointikieliä jo muihin tehtäviin.
- Paikallisen koneesi käyttöjärjestelmä: jotkin komentorivi- ja graafiset työkalut tukevat vain Linuxia/Macia tai Windowsia.
- Valitsemasi Allas-protokolla, sillä monet komentorivi- ja graafiset työkalut tukevat vain Swiftiä tai S3:a.
- Tiedostojen paketointi: jos siirrät paljon tiedostoja,
a-toolspaketoi ne oletuksena .tar-tiedostoksi ja lisää metadataa, kun taas muut työkalut yleensä siirtävät tiedostot sellaisinaan. - Datasi sensitiivisyys: sensitiiviselle datalle käytä työkaluja, jotka tukevat asiakaspään salausta.
Jos haluat käyttää Allasta Roihusta, katso Ohje Allaksen käyttöön CSC:n supertietokoneissa.
Selainkäyttöliittymät
Tällä hetkellä CSC tarjoaa Allakselle useita selainkäyttöliittymiä:
| Selainkäyttöliittymä | Ohjeet | SWIFT-tuki | S3-tuki | Käyttötapaukset | Rajoitukset |
|---|---|---|---|---|---|
| Allas web UI | Ohjeet | ✔ | Yleinen ensisijainen valinta, jaa dataa toiselle projektille, tee ämpäreistä julkisia | Lataukset enintään 5 GB | |
| Roihu web UI | Ohjeet | ✔ | ✔ | Datan siirto Roihuun/Roihusta tai paikallisesti, myös S3-käyttö ja LUMI-O | Paikalliselta koneelta ladattavat tiedostot enintään 10 GB |
| cPouta web UI | Ohjeet | ✔ | Tee ämpäristäsi julkinen | Tiedostot enintään 5 GB, lataus ja siirto vain yksi tiedosto kerrallaan. | |
| SD Connect | Ohjeet | ✔ | Sensitiivinen data |
Komentorivityökalut
Allakseen pääsyyn komentorivikomennoilla tarvitaan asiakasohjelmisto, joka tukee Swift- tai S3-protokollaa. Tämä on joustavin tapa käyttää Allasta, mutta käyttöönotto on hieman monimutkaisempaa.
| Työkalut | SWIFT-tuki | S3-tuki | Linux/Mac | Windows |
|---|---|---|---|---|
| a-commands | ✔ | ✔ | ✔ | - |
| rclone | ✔ | ✔ | ✔ | ✔ |
| swift python-swiftclient | ✔ | ✔ | ||
| s3cmd | ✔ | ✔ | ||
| aws-cli | ✔ | ✔ | ✔ |
Lisäksi esimerkiksi curl- ja wget-työkaluja voidaan käyttää julkisten objektien tai väliaikaisilla URL-osoitteilla saatavilla olevien objektien lataamiseen.
Graafiset työkalut
| Työkalut | SWIFT-tuki | S3-tuki | Linux/Mac | Windows |
|---|---|---|---|---|
| Cyberduck | ✔ | ✔ | ✔ | ✔ |
| WinSCP | ✔ | ✔ | ||
| S3browser | ✔ | ✔ |
WinSCP:n datansiirtonopeus on S3:n kanssa yleensä melko hidas, joten se ei todennäköisesti sovellu suurille datamäärille.
Muut työkalut: Python- ja R-kirjastot jne.
- Python:
- R
- aws.s3 R package voidaan käyttää Allaksen kanssa S3-protokollalla
- Geotieteisiin liittyvä esimerkki siitä, miten Allasta voidaan käyttää R-skripteissä, sisältäen aws.s3:n käyttöönoton.
- Nextcloud-käyttöliittymä voidaan ottaa käyttöön Poudassa lisätoiminnallisuuksien saamiseksi.
Nämä Python- ja R-kirjastot voidaan asentaa kaikkiin käyttöjärjestelmiin.
Asiakasohjelmien vertailu
Verkkokäyttöliittymä soveltuu perustoimintojen käyttöön. a-commands tarjoaa helppokäyttöisiä toimintoja Allaksen käyttöön joko henkilökohtaiselta tietokoneelta tai supertietokoneelta. Edistyneet käyttäjät voivat harkita asiakasohjelmia rclone, Swift ja s3cmd. Taulukko esittää tehokkaiden asiakasohjelmien ydintoiminnot Allaksen datanhallinnassa.
| Allas Web UI | a-commands | rclone | Swift | s3cmd | |
|---|---|---|---|---|---|
| Käyttö | Perus | Perus | Tehokas | Tehokas | Tehokas |
| Luo ämpäreitä | ✔ | ✔ | ✔ | ✔ | ✔ |
| Lataa objekteja | ✔ | ✔ | ✔ | ✔ | ✔ |
| Listaa | |||||
| objektit | ✔ | ✔ | ✔ | ✔ | ✔ |
| ämpärit | ✔ | ✔ | ✔ | ✔ | ✔ |
| Lataa | |||||
| objektit | ✔ | ✔ | ✔ | ✔ | ✔ |
| ämpärit | ✔ | ✔ | ✔ | ✔ | |
| Poista | |||||
| objektit | ✔ | ✔ | ✔ | ✔ | ✔ |
| ämpärit | ✔ | ✔ | ✔ | ✔ | ✔•• |
| Käyttöoikeuksien hallinta | |||||
| julkinen/yksityinen | ✔ | ✔ | ✔ | ✔ | |
| luku-/kirjoitusoikeus toiselle projektille | ✔ | ✔ | ✔ | ✔ | |
| väliaikaiset URL-osoitteet | ✔ | ✔ | |||
| Aseta elinkaariehdot | ✔ | ||||
| Siirrä objekteja | ✔ | ✔ | |||
| Muokkaa metadataa | ✔ | ✔ | |||
| Lataa koko projekti | ✔ | ✔ | |||
| Poista koko projekti | ✔ | ✔ |
Yli 5 GB:n tiedostot
Yli 5 GB:n tiedostot jaetaan latauksen aikana pienempiin segmentteihin.
- Useimmat työkalut pilkkovat suuret tiedostot automaattisesti
- Swiftin kanssa voit käyttää Static Large Object -toimintoa: swift suurten tiedostojen kanssa
Latauksen jälkeen s3cmd yhdistää nämä segmentit yhdeksi suureksi objektiksi, mutta Swift-pohjaisissa latauksissa (a-put, rclone, swift) suuret tiedostot tallennetaan myös useina objekteina. Tämä tehdään automaattisesti ämpäriin, jonka nimi muodostetaan lisäämällä alkuperäisen ämpärin nimeen pääte _segments. Esimerkiksi jos käyttäisit a-put-komentoa suuren tiedoston lataamiseen ämpäriin 123-dataset, varsinainen data tallennettaisiin useina osina ämpäriin 123-dataset_segments. Kohdeämpäri 123_dataset sisältäisi vain etuobjektin, jossa on tieto siitä, mistä segmenteistä tallennettu tiedosto koostuu. Etuobjektille tehdyt toiminnot heijastuvat automaattisesti segmentteihin. Tavallisesti käyttäjien ei tarvitse käsitellä segments-ämpäreitä lainkaan, eikä näiden ämpäreiden sisällä olevia objekteja pidä poistaa tai muokata.
On tärkeää olla sekoittamatta Swiftiä ja S3:a, sillä nämä protokollat eivät ole täysin keskenään yhteensopivia.