Johdanto Allas-tallennuspalveluun

Mikä Allas on?

Allas on CSC:n yleiskäyttöinen tutkimusdatan tallennuspalvelin. Se on osa CSC:n tallennuspalveluvalikoimaa, ja sitä voi käyttää CSC:n palvelimilla sekä mistä tahansa internetin kautta. Allasta voidaan käyttää sekä staattiselle tutkimusdatalle, jonka on oltava saatavilla analysointia varten, että kertyvän tai muuttuvan datan keräämiseen ja säilyttämiseen. Datan tuominen Altaaseen edellyttää CSC-projektia. Allasta voidaan käyttää datan säilyttämiseen niin kauan kuin CSC-projekti on aktiivinen.

Teknisestä näkökulmasta Allas on moderni oliotallennusjärjestelmä. Se tarjoaa S3- ja Swift-rajapinnat CEPH-tallennuksen päällä. Käytännössä tämä tarkoittaa, että tiedostojen sijaan data tallennetaan objekteina ämpäreihin. Ämpäri on objektien säiliö, joka voi sisältää myös ämpäriä kuvaavaa metadataa.

Tallennetut objektit voivat olla mitä tahansa datatyyppiä, kuten kuvia tai pakattuja datatiedostoja. Yleisesti ottaen objektit muistuttavat tiedostoja. Oliotallennusta voidaan käyttää moniin eri tarkoituksiin. Sillä on etuja mutta myös rajoituksia.

Edut

Oliotallennus pystyy käsittelemään käytännössä mitä tahansa staattista dataa.
Dataan voidaan päästä käsiksi mistä tahansa.
Datalle voidaan määrittää eri tasoisia käyttöoikeuksia.
Datalle voidaan asettaa elinkaarikäytäntö.
Voit käyttää Allasta miltä tahansa koneelta tai palvelimelta, joka on yhteydessä internetiin. Tämä voi olla kannettava tietokoneesi, CSC:n supertietokone, pilvessä oleva virtuaalikone tai jopa puhelimesi.

Rajoitukset

Oliotallennuksen käyttöön tarvitaan erityisiä työkaluja. Oliotallennusta ei voi asianmukaisesti liittää paikallisen levyn kaltaiseen käyttöön. Tähän on olemassa joitakin työkaluja, mutta niillä on omat rajoituksensa. Esimerkiksi svfs:ää voidaan käyttää Swiftin liittämiseen tiedostojärjestelmäksi, mutta se käyttää FUSE:a, joka on hidas.
Dataa ei voi muokata sen ollessa Allaksessa. Muokkausta varten tiedosto on ladattava palvelimelle käsiteltäväksi, ja aiempi versio on korvattava uudella. Tämän vuoksi Allas ei sovellu tiedostoille, jotka muuttuvat jatkuvasti elinkaarensa aikana (esim. useimmat SQL-tietokannat).

Katso myös yleiset käyttötapaukset.

Järjestelmän ominaisuudet

Allaksessa objektit tallennetaan ämpäreihin. Ämpäri on dataobjektien säiliö. Ämpäreitä ei pidä sekoittaa dockereihin tai muihin laskentakontteihin. Ämpäri toimii tiedostojärjestelmän hakemiston tavoin, paitsi että tasoja voi olla vain yksi, eli ämpärit eivät voi sisältää muita ämpäreitä.

Allas projects and buckets Kuva Datarakenne Allaksessa

Eri tapoja käyttää Allasta

Allasta voidaan käyttää CSC:n laskentaympäristöstä tai miltä tahansa muulta internetiin yhdistetyltä kannettavalta tietokoneelta tai palvelimelta. Allaksen käyttöön on monia työkaluja:

Allas access clients

Selainkäyttöliittymät
Komentorivityökalut
Graafiset paikallisesti asennetut työkalut
Muut työkalut: Python- ja R-kirjastot jne.

Sivu Allaksen käyttämisestä kuvaa eri vaihtoehdot yksityiskohtaisesti.

Käyttöoikeuden saaminen

Jotta voit käyttää Allasta, sinulla täytyy olla:

Laskutus ja kiintiöt

Allaksen käyttö perustuu CSC-projekteihin. Kaikilla projektin jäsenillä on samat käyttöoikeudet projektille myönnettyyn tallennusalueeseen. Käytännössä tämä tarkoittaa, että jos yksi projektin jäsen lataa dataa Allakseen, kaikki muutkin projektin jäsenet voivat lukea, muokata ja poistaa datan. Allas ei itse tallenna mitään tietoa siitä, kuka on ladannut datan Allakseen.

Uuden projektin oletuskiintiö on 10 TB, mutta sitä voidaan tarvittaessa kasvattaa. Allas on ensisijainen tallennuspaikka kaikille suurille aineistoille CSC-ympäristössä, joten suurempaa Allas-kiintiötä kannattaa pyytää matalalla kynnyksellä, jos työskentelet suurten aineistojen kanssa.

Jos haluat kasvattaa Allas-kiintiötäsi, lähetä pyyntö CSC Service Deskille. Määrittele pyynnössä, mitä Allas-projektia käytät, kuinka paljon tallennustilaa tarvitaan ja millaista dataa Allakseen tallennetaan.

Huomaa, että Allakseen tallennettu data kuluttaa projektin tallennuksen laskutusyksiköitä (BUs). Allaksessa laskutus perustuu tallennetun datan määrään. Hinta on 1,05 Storage BU/TiBh, eli 1 TiB Allakseen tallennettua dataa kuluttaa 25,2 Storage BU:ta päivässä ja 9198 Storage BU:ta vuodessa.

Toisin kuin useimmat muut oliotallennuspalvelujen tarjoajat, CSC ei veloita oliotallennuksen verkkosiirroista tai API-kutsuista.

Projektien oletuskiintiöt:

Resurssirajat

Allaksella on teknisiä rajoja, joita ei normaalisti voida kasvattaa:

Resource	Limit
Ämpäreitä per projekti	1 000
Objekteja per ämpäri	500 000

Jos sinun täytyy tallentaa paljon objekteja, suunnittele objektien jakaminen useisiin ämpäreihin. Datan jakaminen useisiin ämpäreihin parantaa suorituskykyä objektien kirjoittamisen aikana. Vaihtoehtoisesti harkitse datan tallentamista suurempina kokonaisuuksina, esimerkiksi tar- tai zip-arkistotiedostoina sen sijaan, että tallentaisit jokaisen tiedoston erillisenä objektina.

Protokollat

Oliotallennuspalvelu tarjotaan kahden eri protokollan kautta: S3 ja OpenStack Swift. Käyttäjän näkökulmasta yksi tärkeimmistä eroista S3:n ja Swiftin välillä on tunnistautuminen.

Avaimiin perustuvassa S3-protokollassa yhteys voi pysyä pysyvästi auki.
Tunnistepohjainen Swift-tunnistautuminen on voimassa kahdeksan tuntia kerrallaan.

S3:n pysyvä yhteys on käytännöllinen monella tavalla, mutta siihen liittyy tietoturvanäkökulma: jos palvelin, jolla Allasta käytetään, vaarantuu, myös oliotallennustila vaarantuu. Tämän tietoturvahuolen vuoksi Swift oli oletusprotokolla monikäyttäjäpalvelimilla, kuten Allaksen selainkäyttöliittymässä, Mahdissa ja Puhdissa. Teknisen kehityksen myötä Allas-palvelut ovat kuitenkin alkaneet käyttää S3:a oletusprotokollana. Esimerkiksi Roihussa S3 on Allaksen oletusprotokolla.

Näin ollen esimerkiksi CSC-kohtaiset a-komennot sekä rclone-määritykset Puhdissa ja Mahdissa perustuivat oletuksena Swiftiin. Roihussa ne kuitenkin käyttävät S3:a.

Swift- ja S3-protokollat eivät ole keskenään täysin yhteensopivia objektien käsittelyssä. Pienten objektien kohdalla, joita ei tarvitse pilkkoa latauksen aikana, protokollia voidaan käyttää rinnakkain, mutta pilkotut objektit ovat käytettävissä vain sillä protokollalla, jota käytettiin niiden lataamiseen. Objektin pilkkomisen kokoraja riippuu asetuksista ja protokollasta. Raja on tyypillisesti 500 MB:n ja 5 GB:n välillä.

Huomaa, että jotkin Allas-asiakasohjelmat tukevat vain toista näistä protokollista.

Ämpärien ja objektien nimeäminen

Jokaisella ämpärillä on nimi, jonka on oltava yksilöllinen kaikkien Allas-käyttäjien kesken. Jos toisella käyttäjällä on ämpäri nimeltä test, toista ämpäriä nimeltä test ei voida luoda. Kaikki ämpärien nimet ovat julkisia, joten älä sisällytä niihin mitään luottamuksellista tietoa. Voit käyttää esimerkiksi projektitunnustasi, kuten 2000620-raw-data. Ämpärin nimeä ei voi muuttaa.

Objektien URL-osoitteet voivat olla DNS-muodossa, esimerkiksi https://a3s.fi/bucketname/objectname. Käytä kelvollista DNS-nimeä (RFC 1035). Suosittelemme, ettet käytä ämpärien nimissä isoja kirjaimia tai muita kuin ASCII-merkkejä (ä, ö jne.).

Objektien nimillä ämpärin sisällä ei ole samanlaisia merkkirajoituksia kuin ämpärien nimillä. Jotkin Allas-rajapinnat voivat kuitenkin aiheuttaa ongelmia tiettyjen merkkien (esim. välilyöntien) kanssa objektien nimissä. Huomaa myös, että ämpärin sisällä ei ole hakemistorakennetta. Voit sisällyttää objektien nimiin kauttaviivoja (/), joilla määritellään näennäiskansioita, joita jotkin Allas-asiakasohjelmat näyttävät kansioina. Teknisesti kauttaviivat ovat kuitenkin vain osa objektin nimeä.

Tiedostokoot ja paketointi

Huomioita tiedostokoosta:

On parempi tallentaa muutama suuri objekti kuin paljon pieniä objekteja.
Yli 100 GB:n objektien käyttö voi aiheuttaa ongelmia pitkien lataus- ja siirtoaikojen vuoksi.

Kun siirrät dataasi Altaaseen, voit käyttää muutamia erilaisia strategioita:

Luo kaikista tiedostoistasi yksi paketti, esimerkiksi .tar- tai .zip-tiedosto, ja siirrä paketti Allakseen. Tämä sopii käyttötapauksiin, joissa datan määrä ei ole liian suuri (< 500Gb). Allasta käytetään datan säilytykseen, ja aktiivista käyttöä varten data siirretään muualle, esimerkiksi CSC:n laskentapalveluihin. Tässä tilanteessa yksittäiseen alkuperäiseen tiedostoon on vaikea päästä käsiksi. Allas-asiakasohjelmista a-commands tukee tätä parhaiten.
Siirrä tiedostosi sellaisinaan Allakseen niin, että Allaksessa on yhtä monta tiedostoa kuin alun perin. Tämä sopii käyttötapauksiin, joissa tiedostot ovat alun perin kohtuullisen kokoisia eikä niitä ole liian paljon. Tämä on järkevää myös silloin, jos yksittäisiin tiedostoihin pääsy on tärkeää. Monet Allas-asiakasohjelmat tukevat tätä.
Näiden lähestymistapojen yhdistelmä siten, että jotkin tiedostojen osajoukot paketoidaan Allasta varten. Jos sinulla on paljon pieniä tiedostoja ja datan kokonaismäärä on suuri, on todennäköisesti järkevää paketoida esimerkiksi eri kansiot omiksi tiedostoikseen, jotka sitten tallennetaan Allakseen.

Datan käyttöoikeudet

Oikeuksia on mahdollista määrittää ämpäritasolla tai objektitasolla. Yleisesti käyttöoikeuskäytäntöjä on kolmea tyyppiä:

Data on vain CSC-projektin jäsenten saatavilla. Huomaa, että kaikilla projektin jäsenillä on myös samat kirjoitusoikeudet, joten kuka tahansa projektin jäsen voi (vahingossa) poistaa minkä tahansa objektin.
Data on julkista kaikille ja saatavilla URL-osoitteilla.
Data avataan toiselle CSC-projektille.

Lisätietoa käyttötapauksessa Datan jakaminen.

Varmuuskopiointi

Allaksen data on hajautettu useille palvelimille, mikä suojaa levy- ja palvelinvikojen varalta. Tämä ei kuitenkaan suojaa dataa esimerkiksi vahingossa tapahtuvalta poistamiselta. Ota tärkeästä datasta säännöllisesti varmuuskopiot.

7 askelta alkuun pääsemiseksi

Hanki käyttöoikeus Allas-palveluun.
Suunnittele, miten tallennat datasi Allakseen: nimeäminen, tiedostojen paketointi, käyttöoikeudet.
Päätä, mitä protokollaa ja asiakasohjelmaa käytät.
Jos siirrät dataa paikalliselta koneeltasi tai paikalliselle koneellesi, asenna valittu työkalu (ei tarpeen, jos käytät selainkäyttöliittymiä).
Määritä yhteys Allakseen.
Siirrä dataa Allakseen tai Allaksesta.
Jos haluat jakaa datan julkisesti tai toiselle projektille, muuta datasi käyttöoikeuksia.

Kahden viimeisen vaiheen osalta katso työkalukohtaiset ohjeet.