Datan tallentaminen CSC:llä
Yleiskatsaus
CSC:n palvelut datan tallentamiseen ovat maksutta tarjolla akateemiseen tutkimukseen, opetukseen ja koulutukseen suomalaisissa korkeakouluissa ja valtion tutkimuslaitoksissa. Aloittaaksesi palvelun käytön rekisteröi CSC-käyttäjätunnus ja luo projekti. Huomaa, että EUDAT-palveluilla on oma rekisteröintiprosessinsa.
CSC:n palvelut datan tallentamiseen
Tallennuspalveluiden vertailutaulukko
Palvelut sensitiiviselle datalle (SD Connect ja Federated EGA)
Allaksen käyttö aineiston isännöintiin tutkimusprojektille
Tutkimusdatan digitaalisen säilyttämisen palvelu
Aineistojen siirtäminen CSC:n ympäristössä
Mitä ottaa huomioon sopivaa tallennusratkaisua valittaessa
Kun etsit paikkaa datan tallentamiseen tutkimusprojektisi aikana, sinun kannattaa ottaa huomioon:
- sisältääkö data henkilötietoja ja/tai sensitiivistä dataa, ks. sensitiivisen datan määritelmä
- miten dataa käytetään (varmuuskopiona, analyysivalmiina jne.)
- kuka päättää datan elinkaaresta
- mitä datallesi tapahtuu, jos poistut yliopistosta/tutkimus- organisaatiosta
- kenen täytyy saada pääsy dataan
- millaisia käyttöliittymiä tarvitaan (esim. selainpohjaiset graafiset käyttöliittymät audio/video/taulukolle, koneluettavat rajapinnat, käyttöjärjestelmään liitettävä polku jne.)
- kuinka paljon tallennustilaa tarvitaan ja onko
tarve kumulatiivinen
- pystytkö tarvittaessa maksamaan datan tallennuskustannukset
- kuinka suuria yksittäiset tiedostot ovat (esim. liian pieniä tai liian suuria tiedostoja ei ole järkevää tallentaa)
- pitäisikö tiedostonsiirto automatisoida esimerkiksi skriptillä
- tarvitsetko metadatan tallentamista datasi yhteyteen ja minkä tyyppistä metadataa
- millaista tietoturvatasoa datasi vaatii
Kun olet päättänyt, mitä tallennusratkaisua käytät, sinun kannattaa miettiä, miten organisoit datasi.
Kun tutkimusprojekti päättyy
Tutkimusprojektin päättyessä sinun tulee ottaa huomioon:
- mikä data tulisi julkaista
- kuinka pitkään sinun täytyy säilyttää dataa rahoittajan, julkaisijan tai oman organisaatiosi vaatimusten mukaisesti
- mikä data voidaan poistaa tässä vaiheessa
- onko sinulla arvokasta dataa, joka täytyy digitaalisesti säilyttää
Vaikka voi olla houkuttelevaa tallettaa kaikki data siltä varalta, että siitä olisi hyötyä tulevaisuudessa, tämä ei aina ole mahdollista, sillä kaiken arkistointi voi olla kallista ja aikaa vievää ja joissakin tapauksissa epäeettistä. Jos keräät dataa ihmisiltä tutkimukseen osallistuvilta henkilöiltä, sinun on myös varmistettava, että olet saanut heiltä tietoisen ja pätevän suostumuksen nimenomaan arkistointiin, jakamiseen ja uudelleenkäyttöön. Tiedostot, joita ei julkaista, arkistoida tai säilytetä, tulee poistaa, kun ne ovat täyttäneet tarkoituksensa. Tutkijoilla on lakisääteinen vastuu kerätystä datasta, ja sensitiivinen data tulee hävittää asianmukaisesti. Tiedostojen poistaminen ei riitä, sillä poistettua dataa voidaan palauttaa työkaluilla. Sinun on varmistettava, että data, jonka haluat hävittää, erityisesti "erityisiin henkilötietoryhmiin" kuuluva data, pyyhitään kokonaan kiintolevyiltä, siirrettäviltä levyiltä ja kaikenlaisista muista tallennusratkaisuista.
Säilyttäminen
Digitaalinen säilyttäminen tarkoittaa digitaalisen tiedon luotettavaa säilyttämistä useiden vuosikymmenten tai jopa vuosisatojen ajan. Laitteisto, ohjelmistot ja tiedostomuodot vanhenevat, vaikka tiedon on säilyttävä. Luotettava digitaalinen säilyttäminen edellyttää tiedon eheyden aktiivista seurantaa ja erilaisten riskien ennakointia. Metadatalla, joka kuvaa esimerkiksi tietosisältöä, alkuperätietoa ja sitä, miten sisältöä voidaan käyttää, on tässä keskeinen rooli.
Tutkimusdatan kansalliset digitaalisen säilyttämisen palvelut varmistavat digitaalisten tutkimusresurssien saatavuuden ja säilymisen. Täältä löydät lisätietoa tutkimusdatan digitaalisen säilyttämisen palvelun kumppaniorganisaatioksi liittymisestä.
Lue lisää tutkimusdatan säilyttämisestä tästä videosta:
Kuinka paljon tallennustilaa tarvitaan
CSC:n palveluiden käyttäjän on arvioitava tarvittavan tallennustilan määrä, esimerkiksi gibitavuina (GiB). Yksi tapa tehdä tämä on tarkistaa olemassa olevien tiedostojen koko ja arvioida lopullinen tilantarve niiden perusteella. Useimpien CSC:n palveluiden kiintiökokoa voidaan helposti kasvattaa (tai pienentää) MyCSC-asiakasportaalissa.
Note
Gibitavu (GiB) = 1 073 741 824 tavua eli noin 1 073 gigatavua (GB)
On myös hyvä huomata, että suurten datamäärien siirtäminen vie aikaa. Esimerkiksi 1 GiB:n tiedoston siirtäminen 10 Mbps:n yhteydellä kestää tyypillisesti noin 10 minuuttia ja nopealla kiinteällä 100 Mb:n yhteydellä muutaman minuutin. Suosittelemme käyttämään esimerkiksi oman organisaation tarjoamaa nopeaa kiinteää yhteyttä ja välttämään selainkäyttöliittymien käyttöä suurten tiedosto- tai datamäärien siirtämiseen.
Tiedostokokoyksiköt pienimmästä suurimpaan:
- 1 tavu (B) = digitaalisen tiedon perusyksikkö
- 1 kibitavu (KiB) = 1024 tavua
- 1 mebitavu (MiB) = 1024 kibitavua
- 1 gibitavu (GiB) = 1024 mebitavua
- 1 tebibitavu (TiB) = 1024 gibitavua
- 1 pebibitavu (PiB) = 1024 tebibitavua
Esimerkkitiedostokokoja eri datatyypeille
Huomaa, että tiedostokoot voivat vaihdella paljon esimerkiksi kuvan tai videon laadun mukaan.
| File | Average file size | Number of files in 1 GiB | Number of files in 25 GiB | Number of files in 1 TiB |
|---|---|---|---|---|
| Tekstinkäsittelytiedosto | 730 KiB | 1400 | 35000 | 1436000 |
| Esitys (ppt) | 6 MiB | 170 | 4300 | 174000 |
| JPEG-kuva | 300 KiB | 3400 | 85000 | 3495000 |
| Älypuhelimella otettu JPEG-valokuva | 3 MiB | 340 | 8500 | 349000 |
| PDF-dokumentti | 3 MiB | 340 | 8500 | 349000 |
| MPEG-video | 650 MiB | 1 | 39 | 1600 |
| 30 min HD-video | 2,1 GiB | 0 | 12 | 490 |
| täysi DVD | 4,7 GiB | 0 | 6 | 218 |
| Ihmisen genomisekvenssi | 60 GiB | 0 | 0 | 17 |
Keskimääräinen tiedostokoko perustuu 14 000 tekstinkäsittelytiedoston, 1 000 esitysgrafiikkatiedoston, 4 miljoonan JPEG-kuvan, 27 000 PDF-tiedoston ja 7 000 tutkimukseen liittyvän MPEG-tiedoston tietoihin sekä viiden tutkimukseen liittymättömän 30 minuutin HD h264 -videon tietoihin.
Tallennuspalveluiden vertailutaulukko
Tarjoamme useita tallennusvaihtoehtoja tutkimuskäyttöön. Löydät sinulle sopivan tallennusratkaisun alla olevasta vertailutaulukosta. Suosittelemme datahallintasuunnitelman laatimista, kun harkitset datan tallennusvaihtoehtoja. Jos sinulla on kysyttävää, asiakastukemme tarjoaa henkilökohtaista ohjausta ja asiantuntijatukea datallesi sopivan tallennusratkaisun valintaan.
- Tarjoamme pyynnöstä myös tallennuskapasiteettia (CEPH/NFS).
| Service | Intended purpose | Currently available quotas* | Interfaces | Single user or project based access | Additional features | Service offered by |
|---|---|---|---|---|---|---|
| Allas-oliontallennus | alustariippumaton datan tallennus ja jakaminen | 10 TB (lisää pyynnöstä) | S3- ja Swift-asiakasohjelmat. OpenStack Horizon, Puhdin ja Mahdin selainkäyttöliittymät. | projektiryhmä | mahdollistaa datan jakamisen palvelusta | CSC |
| Fairdata IDA -tallennuspalvelu | tutkimusdatan tallentaminen, jakaminen ja julkaiseminen | myönnetään hakemuksen perusteella (1 GB:stä noin 100 TB:hen) | selain, CLI | projektiryhmä | käyttäjät sitoutuvat julkaisemaan tallennetun datan Fairdata Etsin -palvelussa | OKM (palvelun tuottaa CSC) |
| Tallennus CSC:n pilviympäristöissä | väliaikaiset tai pysyvät tallennusresurssit virtuaalikoneiden kautta | 1 TB (lisää pyynnöstä) | lohkotallennus virtuaalikoneen kautta, big data -kehykset (Hadoop, Spark) | projektiryhmä | CSC | |
| Projektihakemistot Roihussa | levyalueet datan käsittelyyn | 50GB - 250 GB lyhytaikaisesti (lisää pyynnöstä) | tiedostojärjestelmä | projektiryhmä | Käyttämättömät tiedostot Roihun scratch-alueella poistetaan 90 tai 180 päivän jälkeen kiintiöstä riippuen (katso ehdot) | CSC |
| Roihu-aineistoprojekti | Aktiiviset aineistot, joiden on oltava suoraan useiden Roihu-projektien luettavissa | Enintään 100 TiB määräajaksi | tiedostojärjestelmä | Yhdellä omistajaprojektilla on kirjoitusoikeus. Valituilla käyttäjillä, projekteilla tai organisaatioilla tai kaikilla Roihun käyttäjillä voi olla lukuoikeus | Pääsy aineistoprojekteihin myönnetään erillisellä hakuprosessilla | CSC |
| EUDAT B2DROP | tiedostojen tallennus, jakaminen ja synkronointi | 20 GB | selain, työpöytä | yksittäinen käyttäjä | mahdollistaa datan jakamisen palvelusta ja datan julkaisemisen EUDAT B2SHARE -palvelussa | EUDAT |
| Pukki DBaaS -relaatiotietokantapalvelu | datan tallentaminen ja käyttö relaatiotietokantojen avulla | enintään 50 GB | PostgreSQL-tietokanta-asiakasohjelmat. | projektiryhmä | Tietokantojen hallinta perustuu CSC-käyttäjätunnuksiin. Tietokannan käyttöön tarkoitetut tunnukset käyttäjä luo itse. | CSC |
| Sensitiivisen datan SD Connect | Salatun tutkimusdatan tallentaminen, kerääminen ja jakaminen | 10 TB (lisää pyynnöstä) | Selain ja CLI | projektiryhmä | Mahdollistaa datan jakamisen palvelusta. Mahdollistaa salatun datan analysoinnin SD Desktop -palvelusta. Lisätietoa SD-palveluista. | CSC |
| Federated EGA | Palvelu tutkimuskäyttöön suostumuksella luovutetun ihmisen geneettisen ja fenotyyppiaineiston julkaisemiseen | Tapauskohtainen | komentorivikäyttöliittymä datan lataamiseen. Selainkäyttöliittymä hallintaan. | Pääsy perustuu sopimukseen | Datan toimittaminen edellyttää kotiorganisaation ja CSC:n välistä sopimusta eikä ole maksutonta. Rajoitetuin käyttöoikeuksin julkaistut datan käyttöoikeudet ulkoisille käyttäjille CSC:n SD-palveluiden kautta. | CSC |
- Tarkempia tietoja saatavilla olevasta tallennuskapasiteetista on oletuskiintiöitä koskevissa tiedoissa.