Datan tallentaminen CSC:llä¶
Yleiskatsaus¶
CSC:n datan tallennuspalvelut ovat maksutta tarjolla akateemiseen tutkimukseen, opetukseen ja koulutukseen suomalaisissa korkeakouluissa ja valtion tutkimuslaitoksissa. Aloittaaksesi palvelun käytön rekisteröi CSC-käyttäjätunnus ja luo projekti. Huomaa, että EUDAT-palveluilla on oma rekisteröintiprosessinsa.
CSC:n datan tallennuspalvelut¶
Tallennuspalveluiden vertailutaulukko
Palvelut sensitiiviselle datalle (SD Connect ja Federated EGA)
Allaksen käyttö aineiston isännöintiin tutkimusprojektissa
Tutkimusdatan digitaalisen säilyttämisen palvelu
Aineistojen siirtäminen CSC:n ympäristössä
Mitä ottaa huomioon sopivaa tallennusratkaisua valittaessa¶
Kun etsit paikkaa datan tallentamiseen tutkimusprojektisi aikana, sinun kannattaa ottaa huomioon:
- sisältääkö data henkilötietoja ja/tai sensitiivistä dataa, ks. sensitiivisen datan määritelmä
- miten dataa käytetään (varmuuskopiona, analyysivalmiina jne.)
- kuka päättää datan elinkaaresta
- mitä datallesi tapahtuu, jos poistut yliopistosta/tutkimus- organisaatiosta
- kenellä täytyy olla pääsy dataan
- millaisia käyttöliittymiä tarvitaan (esim. selainpohjaiset graafiset käyttöliittymät audio/video/taulukkoaineistolle, koneellisesti luettavat rajapinnat, käyttöjärjestelmään liitettävä polku jne.)
- kuinka paljon tallennustilaa tarvitaan ja onko
tarve kumulatiivinen
- pystytkö tarvittaessa maksamaan datan tallennuskustannukset
- kuinka suuria yksittäiset tiedostot ovat (esim. liian pieniä tai liian suuria tiedostoja ei ole järkevää tallentaa)
- pitäisikö tiedostonsiirto automatisoida esimerkiksi skriptillä
- tarvitsetko metatietoa datasi yhteyteen ja minkä tyyppistä metatietoa
- millaista tietoturvatasoa datasi vaatii
Kun olet päättänyt, mitä tallennusratkaisua käytät, sinun kannattaa miettiä, miten järjestät datasi.
Kun tutkimusprojekti päättyy¶
Tutkimusprojektin päättyessä sinun tulee ottaa huomioon:
- mikä data tulisi julkaista
- kuinka pitkään data on säilytettävä rahoittajan, julkaisijan tai oman organisaatiosi vaatimusten mukaisesti
- mikä data voidaan poistaa tässä vaiheessa
- onko sinulla arvokasta dataa, joka täytyy digitaalisesti säilyttää
Vaikka voi olla houkuttelevaa tallettaa kaikki data siltä varalta, että siitä on hyötyä tulevaisuudessa, tämä ei aina ole mahdollista, sillä kaiken arkistointi voi olla kallista ja aikaa vievää ja joissakin tapauksissa epäeettistä. Jos keräät dataa ihmisiltä tutkimukseen osallistuvilta henkilöiltä, sinun on myös varmistettava, että olet saanut heiltä tietoon perustuvan ja pätevän suostumuksen nimenomaan arkistointiin, jakamiseen ja uudelleenkäyttöön. Tiedostot, joita ei julkaista, arkistoida tai säilytetä, tulee poistaa, kun ne ovat täyttäneet tarkoituksensa. Tutkijoilla on lakisääteinen vastuu kerätystä datasta, ja sensitiivinen data tulee hävittää asianmukaisesti. Tiedostojen poistaminen ei riitä, sillä poistettua dataa voidaan palauttaa työkaluilla. Sinun on varmistettava, että data, jonka haluat hävittää, erityisesti "erityisiin henkilötietoryhmiin" kuuluva data, pyyhitään kokonaan pois kiintolevyiltä, kannettavilta asemilta ja kaikenlaisista tallennusratkaisuista.
Säilyttäminen¶
Digitaalinen säilyttäminen tarkoittaa digitaalisen tiedon luotettavaa säilyttämistä useiden vuosikymmenten tai jopa vuosisatojen ajan. Laitteisto, ohjelmistot ja tiedostomuodot vanhenevat, vaikka tiedon on säilyttävä. Luotettava digitaalinen säilyttäminen edellyttää tiedon eheyden aktiivista seurantaa ja erilaisten riskien ennakointia. Metatiedolla, joka kuvaa esimerkiksi tietosisältöä, alkuperätietoa ja sitä, miten sisältöä voidaan käyttää, on tässä keskeinen rooli.
Tutkimusdatan kansalliset digitaalisen säilyttämisen palvelut varmistavat digitaalisten tutkimusresurssien saatavuuden ja säilymisen. Täältä löydät lisätietoa kumppaniorganisaatioksi liittymisestä tutkimusdatan digitaalisen säilyttämisen palveluun.
Lue lisää tutkimusdatan säilyttämisestä tästä videosta:
Kuinka paljon tallennustilaa tarvitaan¶
CSC:n palveluiden käyttäjän on arvioitava tarvittavan tallennustilan määrä, esimerkiksi gibitavuina (GiB). Yksi tapa tehdä tämä on tarkistaa olemassa olevien tiedostojen koko ja arvioida lopullinen tilantarve niiden perusteella. Useimpien CSC:n palveluiden kiintiökokoa voidaan helposti kasvattaa (tai pienentää) MyCSC-asiakasportaalissa.
Note
Gibitavu (GiB) = 1 073 741 824 tavua eli noin 1 073 gigatavua (GB)
On myös hyvä huomata, että suurten datamäärien siirtäminen vie aikaa. Esimerkiksi 1 GiB:n tiedoston siirtäminen 10 Mbps:n yhteydellä kestää tyypillisesti noin 10 minuuttia ja nopealla 100 Mb:n kiinteällä yhteydellä muutaman minuutin. Suosittelemme käyttämään esimerkiksi oman organisaation tarjoamaa nopeaa kiinteää yhteyttä ja välttämään selainkäyttöliittymien käyttöä suurten tiedosto- tai datamäärien siirtämiseen.
Tiedostokokoyksiköt pienimmästä suurimpaan:
- 1 tavu (B) = digitaalisen tiedon perusyksikkö
- 1 kibitavu (KiB) = 1024 tavua
- 1 mebitavu (MiB) = 1024 kibitavua
- 1 gibitavu (GiB) = 1024 mebitavua
- 1 tebibitavu (TiB) = 1024 gibitavua
- 1 pebibitavu (PiB) = 1024 tebibitavua
Esimerkkitiedostokokoja eri datatyypeille
Huomaa, että tiedostokoot voivat vaihdella paljon esimerkiksi kuvan tai videon laadun mukaan.
| Tiedosto | Keskimääräinen tiedostokoko | Tiedostojen määrä 1 GiB:ssä | Tiedostojen määrä 25 GiB:ssä | Tiedostojen määrä 1 TiB:ssä |
|---|---|---|---|---|
| Tekstinkäsittelytiedosto | 730 KiB | 1400 | 35000 | 1436000 |
| Esitys (ppt) | 6 MiB | 170 | 4300 | 174000 |
| JPEG-kuva | 300 KiB | 3400 | 85000 | 3495000 |
| Älypuhelimella otettu JPEG-valokuva | 3 MiB | 340 | 8500 | 349000 |
| PDF-dokumentti | 3 MiB | 340 | 8500 | 349000 |
| MPEG-video | 650 MiB | 1 | 39 | 1600 |
| 30 min HD-video | 2,1 GiB | 0 | 12 | 490 |
| täysi DVD | 4,7 GiB | 0 | 6 | 218 |
| Ihmisen genomisekvenssi | 60 GiB | 0 | 0 | 17 |
Keskimääräinen tiedostokoko perustuu 14 000 tekstinkäsittelytiedoston, 1 000 esitysgrafiikkatiedoston, 4 miljoonan JPEG-kuvan, 27 000 PDF-tiedoston ja 7 000 tutkimukseen liittyvän MPEG-tiedoston tietoihin sekä viiden tutkimukseen liittymättömän 30 minuutin HD h264 -videon tietoihin.
Tallennuspalveluiden vertailutaulukko¶
Tarjoamme useita tallennusvaihtoehtoja tutkimuskäyttöön. Löydät sinulle sopivan tallennusratkaisun alla olevasta vertailutaulukosta. Suosittelemme laatimaan datanhallintasuunnitelman, kun harkitset datan tallennusvaihtoehtoja. Jos sinulla on kysyttävää, asiakastukemme tarjoaa henkilökohtaista ohjausta ja asiantuntijatukea datallesi sopivan tallennusratkaisun valintaan.
- Tarjoamme pyynnöstä myös tallennuskapasiteettia (CEPH/NFS).
| Palvelu | Käyttötarkoitus | Tällä hetkellä saatavilla olevat kiintiöt* | Käyttöliittymät | Yhden käyttäjän vai projektipohjainen käyttöoikeus | Lisäominaisuudet | Palveluntarjoaja |
|---|---|---|---|---|---|---|
| Allas-objektitallennus | alustariippumaton datan tallennus ja jakaminen | 10 TB (lisää pyynnöstä) | S3- ja Swift-asiakasohjelmat. OpenStack Horizon, Roihu-selainkäyttöliittymä. | projektiryhmä | mahdollistaa datan jakamisen palvelusta | CSC |
| Fairdata IDA -tallennuspalvelu | tutkimusdatan tallentaminen, jakaminen ja julkaiseminen | myönnetään hakemuksen perusteella (1 GB:stä noin 100 TB:hen) | selain, CLI | projektiryhmä | käyttäjät sitoutuvat julkaisemaan tallennetun datan Fairdata Etsin -palvelussa | OKM (palvelun tuottaa CSC) |
| Tallennus CSC:n pilviympäristöissä | väliaikaiset tai pysyvät tallennusresurssit virtuaalikoneiden kautta | 1 TB (lisää pyynnöstä) | lohkotallennus virtuaalikoneen kautta, big data -kehykset (Hadoop, Spark) | projektiryhmä | CSC | |
| Projektihakemistot Roihussa | levyalueet datan käsittelyyn | 50GB - 250 GB lyhytaikaisesti (lisää pyynnöstä) | tiedostojärjestelmä | projektiryhmä | Käyttämättömät tiedostot Roihun scratch-alueella poistetaan 90 tai 180 päivän jälkeen kiintiöstä riippuen (katso ehto) | CSC |
| Roihu-aineistoprojekti | Aktiiviset aineistot, joiden on oltava suoraan useiden Roihu-projektien luettavissa | Enintään 100 TiB määräajaksi | tiedostojärjestelmä | Yhdellä omistajaprojektilla on kirjoitusoikeus. Valituilla käyttäjillä, projekteilla tai organisaatioilla tai kaikilla Roihun käyttäjillä voi olla lukuoikeus | Pääsy aineistoprojekteihin myönnetään erillisen hakuprosessin kautta | CSC |
| EUDAT B2DROP | tiedostojen tallennus, jakaminen ja synkronointi | 20 GB | selain, työpöytä | yksi käyttäjä | mahdollistaa datan jakamisen palvelusta ja datan julkaisemisen EUDAT B2SHARE -palvelussa | EUDAT |
| Pukki DBaaS -relaatiotietokantapalvelu | datan tallentaminen ja käyttö relaatiotietokannoilla | enintään 50 GB | PostgreSQL-tietokanta-asiakasohjelmat. | projektiryhmä | Tietokantojen hallinta perustuu CSC-käyttäjätunnuksiin. Tietokannan käyttöön tarkoitetut tunnukset käyttäjä luo itse. | CSC |
| Sensitiivisen datan (SD) Connect | Salatun tutkimusdatan tallentaminen, kerääminen ja jakaminen | 10 TB (lisää pyynnöstä) | Selain ja CLI | projektiryhmä | Mahdollistaa datan jakamisen palvelusta. Mahdollistaa salatun datan analysoinnin SD Desktop -palvelusta. Lisätietoa SD-palveluista. | CSC |
| Federated EGA | Palvelu tutkimuskäyttöön suostumuksella luovutetun ihmisen geneettisen ja fenotyyppiaineiston julkaisemiseen | Tapauskohtainen | Komentorivikäyttöliittymä datan lataamiseen. Selainkäyttöliittymä hallintaan. | Käyttöoikeus perustuu sopimukseen | Datan toimittaminen edellyttää kotiorganisaation ja CSC:n välistä sopimusta eikä ole maksutonta. Ulkoisille käyttäjille tarjotaan hallittu pääsy dataan CSC:n SD-palveluiden kautta. | CSC |
- Tarkempia tietoja saatavilla olevasta tallennuskapasiteetista on oletuskiintiöitä koskevissa tiedoissa.