Johdanto Allas-tallennuspalveluun

Mikä Allas on?

Allas on CSC:n yleiskäyttöinen tutkimusdatan tallennuspalvelu. Se on osa CSC:n tallennuspalveluvalikoimaa, ja sitä voi käyttää CSC:n palvelimilla sekä mistä tahansa internetin kautta. Allasta voidaan käyttää sekä staattisen tutkimusdatan tallentamiseen analysointia varten että kertyvän tai muuttuvan datan keräämiseen ja ylläpitoon. Datan tuominen Altaaseen edellyttää CSC-projektia. Allasta voidaan käyttää datan säilyttämiseen niin kauan kuin CSC-projekti on aktiivinen.

Teknisestä näkökulmasta Allas on moderni objektitallennusjärjestelmä. Se tarjoaa S3- ja Swift-rajapinnat CEPH-tallennuksen päällä. Käytännössä tämä tarkoittaa, että tiedostojen sijaan data tallennetaan objekteina ämpäreihin. Ämpäri on objektien säiliö, joka voi sisältää myös ämpäriä kuvaavaa metadataa.

Tallennetut objektit voivat olla mitä tahansa datatyyppiä, kuten kuvia tai pakattuja datatiedostoja. Yleisesti ottaen objektit muistuttavat tiedostoja. Objektitallennusta voidaan käyttää moniin eri tarkoituksiin. Sillä on etuja mutta myös rajoituksia.

Edut

Objektitallennus pystyy käsittelemään käytännössä mitä tahansa staattista dataa.
Dataan voidaan päästä käsiksi mistä tahansa.
Datalle voidaan määrittää eri tasoisia käyttöoikeuksia.
Datalle voidaan asettaa elinkaarikäytäntö.
Voit käyttää Allasta miltä tahansa koneelta tai palvelimelta, joka on yhteydessä internetiin. Tämä voi olla kannettava tietokoneesi, CSC:n supertietokone, pilvessä oleva virtuaalikone tai jopa puhelimesi.

Rajoitukset

Objektitallennuksen käyttöön tarvitaan erityisiä työkaluja. Objektitallennusta ei voi asianmukaisesti liittää paikallisen levyn kaltaiseen käyttöön. Tähän on olemassa joitakin työkaluja, mutta niillä on omat rajoituksensa. Esimerkiksi svfs:ää voidaan käyttää Swiftin liittämiseen tiedostojärjestelmäksi, mutta se käyttää FUSEa, joka on hidas.
Dataa ei voi muokata sen ollessa Allaksessa. Muokkausta varten tiedosto on ladattava palvelimelle käsiteltäväksi, ja aiempi versio on korvattava uudella. Tämän vuoksi Allas ei sovellu tiedostoille, jotka muuttuvat jatkuvasti elinkaarensa aikana (esim. useimmat SQL-tietokannat).

Katso myös yleiset käyttötapaukset.

Järjestelmän ominaisuudet

Allaksessa objektit tallennetaan ämpäreihin. Ämpäri on dataobjektien säiliö. Ämpäreitä ei pidä sekoittaa dockereihin tai muihin laskentakontteihin. Ämpäri toimii tiedostojärjestelmän hakemiston tavoin, paitsi että tasoja voi olla vain yksi, eli ämpärit eivät voi sisältää muita ämpäreitä.

Allas projects and buckets Kuva Datarakenne Allaksessa

Eri tapoja käyttää Allasta

Allasta voidaan käyttää CSC:n laskentaympäristöstä tai miltä tahansa muulta internetiin yhdistetyltä kannettavalta tietokoneelta tai palvelimelta. Allaksen käyttöön on monia työkaluja:

Allas access clients

Selainkäyttöliittymät
Komentorivityökalut
Graafiset paikallisesti asennetut työkalut
Muut työkalut: Python- ja R-kirjastot jne.

Sivu Allaksen käyttämisestä kuvaa eri vaihtoehdot yksityiskohtaisesti.

Käyttöoikeuden saaminen

Jotta voit käyttää Allasta, sinulla tulee olla:

Laskutus ja kiintiöt

Allaksen käyttö perustuu CSC-projekteihin. Kaikilla projektin jäsenillä on samat käyttöoikeudet projektille myönnettyyn tallennusalueeseen. Käytännössä tämä tarkoittaa, että jos yksi projektin jäsen lataa dataa Altaaseen, kaikki muutkin projektin jäsenet voivat lukea, muokata ja poistaa dataa. Allas ei itse tallenna mitään tietoa siitä, kuka on ladannut datan Altaaseen.

Uuden projektin oletuskiintiö on 10 TB, mutta sitä voidaan tarvittaessa kasvattaa. Allas on ensisijainen tallennuspaikka kaikille suurille aineistoille CSC-ympäristössä, joten suurempaa Allas-kiintiötä kannattaa pyytää matalalla kynnyksellä, jos työskentelet suurten aineistojen kanssa.

Jos haluat kasvattaa Allas-kiintiötäsi, lähetä pyyntö CSC:n asiakastukeen. Kerro pyynnössä, mitä Allas-projektia käytät, kuinka paljon tallennustilaa tarvitaan ja millaista dataa Altaaseen tallennetaan.

Huomaa, että Allakseen tallennettu data kuluttaa projektin tallennuksen laskutusyksiköitä (BUs). Allaksessa laskutus perustuu tallennetun datan määrään. Hinta on 1,05 tallennus-BU/TiBh, eli 1 TiB Allakseen tallennettua dataa kuluttaa 25,2 tallennus-BU:ta päivässä ja 9198 tallennus-BU:ta vuodessa.

Toisin kuin useimmat muut objektitallennuspalvelujen tarjoajat, CSC ei veloita objektitallennuksen verkkosiirroista tai API-kutsuista.

Projektien oletuskiintiöt:

Resurssirajat

Allaksella on teknisiä rajoja, joita ei normaalisti voida kasvattaa:

Resource	Limit
Buckets per project	1 000
Objects per bucket	500 000

Jos sinun täytyy tallentaa paljon objekteja, suunnittele niiden jakaminen useisiin ämpäreihin. Datan jakaminen useisiin ämpäreihin parantaa suorituskykyä objektien kirjoittamisen yhteydessä. Vaihtoehtoisesti harkitse datan tallentamista suurempina kokonaisuuksina, esimerkiksi tar- tai zip-arkistotiedostoina sen sijaan, että tallentaisit jokaisen tiedoston erillisenä objektina.

Protokollat

Objektitallennuspalvelu tarjotaan kahden eri protokollan kautta: S3 ja OpenStack Swift. Käyttäjän näkökulmasta yksi tärkeimmistä eroista S3:n ja Swiftin välillä on tunnistautuminen.

Avaimiin perustuvassa S3-protokollassa yhteys voi pysyä pysyvästi auki.
Tunnistepohjainen Swift-tunnistautuminen on voimassa kahdeksan tuntia kerrallaan.

S3:n pysyvä yhteys on käytännöllinen monella tavalla, mutta siihen liittyy tietoturvanäkökulma: jos palvelin, jolla Allasta käytetään, vaarantuu, myös objektitallennustila vaarantuu. Tämän tietoturvahuolen vuoksi Swift on ollut oletus usean käyttäjän palvelimilla, kuten Allaksen selainkäyttöliittymässä, Mahdissa ja Puhdissa. Teknisen kehityksen myötä Allas-palvelut ovat kuitenkin alkaneet käyttää S3:a oletusprotokollana. Esimerkiksi Roihussa S3 on Allaksen oletusprotokolla.

Siten esimerkiksi CSC:n omat a-komennot sekä rclone-asetukset Puhdissa ja Mahdissa perustuvat oletusarvoisesti Swiftiin. Roihussa ne kuitenkin käyttävät S3:a.

Swift- ja S3-protokollat eivät ole keskenään täysin yhteensopivia objektien käsittelyssä. Pienten objektien kohdalla, joita ei tarvitse jakaa osiin latauksen aikana, protokollia voidaan käyttää rinnakkain, mutta jaettuihin objekteihin pääsee käsiksi vain sillä protokollalla, jota käytettiin niiden lataamiseen. Objektin osiin jakamisen kokoraja riippuu asetuksista ja protokollasta. Raja on tyypillisesti 500 MB:n ja 5 GB:n välillä.

Huomaa, että jotkin Allas-asiakasohjelmat tukevat vain toista näistä protokollista.

Ämpäreiden ja objektien nimeäminen

Jokaisella ämpärillä on nimi, jonka on oltava yksilöllinen kaikkien Allaksen käyttäjien kesken. Jos toisella käyttäjällä on ämpäri nimeltä test, toista ämpäriä nimeltä test ei voida luoda. Kaikki ämpärien nimet ovat julkisia, joten älä sisällytä niihin mitään luottamuksellista tietoa. Voit käyttää esimerkiksi projektitunnustasi, kuten 2000620-raw-data. Ämpärin nimeä ei voi muuttaa.

Objektien URL-osoitteet voivat olla DNS-muodossa, esimerkiksi https://a3s.fi/bucketname/objectname. Käytä kelvollista DNS-nimeä (RFC 1035). Suosittelemme, ettei ämpärien nimissä käytetä isoja kirjaimia tai muita kuin ASCII-merkkejä (ä, ö jne.).

Objektien nimillä ämpärin sisällä ei ole samanlaisia merkkirajoituksia kuin ämpärien nimillä. Jotkin Allaksen käyttöliittymät voivat kuitenkin aiheuttaa ongelmia tiettyjen merkkien (esim. välilyöntien) kanssa objektien nimissä. Huomaa myös, että ämpärin sisällä ei ole hakemistorakennetta. Voit sisällyttää objektien nimiin kauttaviivoja (/), joilla määritellään näennäiskansioita, joita jotkin Allas-asiakasohjelmat näyttävät kansioina. Teknisesti kauttaviivat ovat kuitenkin vain osa objektin nimeä.

Tiedostokoot ja paketointi

Huomioita tiedostokoosta:

On parempi tallentaa muutama suuri objekti kuin paljon pieniä objekteja.
Yli 100 GB:n objektien käyttö voi aiheuttaa ongelmia pitkien lataus- ja siirtoaikojen vuoksi.

Kun siirrät dataasi Altaaseen, voit käyttää muutamia erilaisia strategioita:

Luo kaikista tiedostoistasi yksi paketti, esimerkiksi .tar- tai .zip-tiedosto, ja siirrä paketti Altaaseen. Tämä sopii käyttötapauksiin, joissa datan määrä ei ole liian suuri (< 500Gb). Allasta käytetään datan säilytykseen, ja aktiivista käyttöä varten data siirretään muualle, esimerkiksi CSC:n laskentapalveluihin. Tässä tilanteessa yksittäiseen alkuperäiseen tiedostoon on vaikea päästä käsiksi. Allas-asiakasohjelmista a-commands tukee tätä parhaiten.
Siirrä tiedostosi sellaisinaan Altaaseen, jolloin Allaksessa on yhtä monta tiedostoa kuin alun perin. Tämä sopii käyttötapauksiin, joissa tiedostot ovat alun perin kohtuullisen kokoisia eikä niitä ole liian paljon. Tämä on järkevää myös silloin, jos yksittäisiin tiedostoihin pääsy on tärkeää. Monet Allas-asiakasohjelmat tukevat tätä.
Näiden lähestymistapojen yhdistelmä siten, että jotkin tiedostojen osajoukot paketoidaan Allasta varten. Jos sinulla on paljon pieniä tiedostoja ja datan kokonaismäärä on suuri, on todennäköisesti järkevää paketoida esimerkiksi eri kansiot omiksi tiedostoikseen, jotka sitten tallennetaan Altaaseen.

Datan käyttöoikeudet

Oikeuksia voidaan määrittää ämpäritasolla tai objektitasolla. Yleisesti käyttöoikeuskäytäntöjä on kolmea tyyppiä:

Data on vain CSC-projektin jäsenten saatavilla. Huomaa, että kaikilla projektin jäsenillä on myös samat kirjoitusoikeudet, joten kuka tahansa projektin jäsen voi (vahingossa) poistaa minkä tahansa objektin.
Data on julkista kaikille ja saatavilla URL-osoitteiden kautta.
Data avataan toiselle CSC-projektille.

Lisätietoja on käyttötapauksessa Datan jakaminen.

Varmuuskopiointi

Allaksen data on hajautettu useille palvelimille, mikä suojaa levy- ja palvelinvikojen varalta. Tämä ei kuitenkaan suojaa dataa esimerkiksi vahingossa tapahtuvalta poistamiselta. Ota tärkeästä datasta säännöllisesti varmuuskopiot.

7 vaihetta alkuun pääsemiseksi

Hanki käyttöoikeus Allas-palveluun.
Suunnittele, miten tallennat datasi Altaaseen: nimeäminen, tiedostojen paketointi, käyttöoikeudet.
Päätä, mitä protokollaa ja asiakasohjelmaa käytät.
Jos siirrät dataa paikalliselta koneeltasi tai paikalliselle koneellesi, asenna valittu työkalu (ei tarvita, jos käytät selainkäyttöliittymiä).
Määritä yhteys Allakseen.
Siirrä dataa Altaaseen tai Altaasta.
Jos haluat jakaa datan julkisesti tai toiselle projektille, muuta datasi käyttöoikeuksia.

Katso kahden viimeisen vaiheen osalta työkalukohtaiset ohjeet.