Datan tallentaminen CSC:llä
Yleiskatsaus
CSC:n datan tallennuspalvelut ovat maksutta tarjolla akateemiseen tutkimukseen, opetukseen ja koulutukseen suomalaisissa korkeakouluissa ja valtion tutkimuslaitoksissa. Palvelun käytön aloittamiseksi rekisteröi CSC-käyttäjätunnus ja luo projekti. Huomaa, että EUDAT-palveluilla on oma rekisteröintiprosessinsa.
CSC:n datan tallennuspalvelut
Tallennuspalveluiden vertailutaulukko
Palvelut sensitiiviselle datalle (SD Connect ja Federated EGA)
Allaksen käyttö tutkimusprojektin aineiston ylläpitoon
Tutkimusaineistojen digitaalisen säilyttämisen palvelu
Aineistojen siirtäminen CSC:n ympäristössä
Mitä ottaa huomioon sopivaa tallennusratkaisua valittaessa
Kun etsit paikkaa datan tallentamiseen tutkimusprojektisi aikana, sinun kannattaa ottaa huomioon:
- sisältääkö data henkilötietoja ja/tai sensitiivistä dataa, ks. sensitiivisen datan määritelmä
- miten dataa käytetään (varmuuskopiona, analyysivalmiina jne.)
- kuka päättää datan elinkaaresta
- mitä datallesi tapahtuu, jos poistut yliopistosta/tutkimus- organisaatiosta
- kenen täytyy päästä käsiksi dataan
- millaisia käyttöliittymiä tarvitaan (esim. selainpohjaiset graafiset käyttöliittymät ääntä/videota/taulukkoja varten, koneluettavat rajapinnat, käyttöjärjestelmään liitettävä polku jne.)
- kuinka paljon tallennustilaa tarvitaan ja onko
tarve kumulatiivinen
- pystytkö tarvittaessa maksamaan datan tallennuskustannukset
- kuinka suuria yksittäiset tiedostot ovat (esim. ei ole järkevää tallentaa liian pieniä tai liian suuria tiedostoja)
- pitäisikö tiedostonsiirto automatisoida esimerkiksi skriptillä
- tarvitsetko metatietoja datasi yhteyteen ja minkä tyyppisiä metatietoja
- millaista tietoturvatasoa datasi vaatii
Kun olet päättänyt, mitä tallennusratkaisua käytät, sinun kannattaa miettiä, miten järjestät datasi.
Kun tutkimusprojekti päättyy
Tutkimusprojektin päättyessä sinun on otettava huomioon:
- mikä data tulisi julkaista
- kuinka pitkään sinun on säilytettävä dataa rahoittajan, julkaisijan tai oman organisaatiosi vaatimusten mukaisesti
- mikä data voidaan poistaa tässä vaiheessa
- onko sinulla arvokasta dataa, joka täytyy digitaalisesti säilyttää
Vaikka saattaa tuntua houkuttelevalta tallettaa kaikki data varmuuden vuoksi siltä varalta, että siitä olisi hyötyä tulevaisuudessa, tämä ei aina ole mahdollista, sillä kaiken arkistointi voi olla kallista ja aikaa vievää ja joissakin tapauksissa epäeettistä. Jos keräät dataa ihmistutkimuksen osallistujilta, sinun on myös varmistettava, että olet saanut heiltä tietoisen ja pätevän suostumuksen kyseiseen arkistointiin, jakamiseen ja uudelleenkäyttöön. Tiedostot, joita ei julkaista, arkistoida tai säilytetä, tulee poistaa, kun ne ovat täyttäneet tarkoituksensa. Tutkijoilla on lakisääteinen vastuu kerätystä datasta, ja sensitiivinen data tulee hävittää asianmukaisesti. Tiedostojen poistaminen ei riitä, sillä poistettua dataa voidaan palauttaa siihen tarkoitetuilla työkaluilla. Sinun on varmistettava, että data, jonka haluat hävittää, erityisesti "erityisiin henkilötietoryhmiin" kuuluva data, pyyhitään täysin kiintolevyiltä, kannettavilta levyiltä ja kaikenlaisista muista tallennusratkaisuista.
Säilyttäminen
Digitaalinen säilyttäminen tarkoittaa digitaalisen tiedon luotettavaa säilyttämistä useiden vuosikymmenten tai jopa vuosisatojen ajan. Laitteistot, ohjelmistot ja tiedostomuodot vanhenevat, vaikka tiedon on säilyttävä. Luotettava digitaalinen säilyttäminen edellyttää tiedon eheyden aktiivista seurantaa ja erilaisten riskien ennakointia. Metatiedoilla, jotka kuvaavat esimerkiksi tietosisältöä, alkuperätietoja ja sitä, miten sisältöä voidaan käyttää, on tässä keskeinen rooli.
Tutkimusaineistojen kansalliset digitaalisen säilyttämisen palvelut varmistavat digitaalisten tutkimusresurssien saatavuuden ja säilymisen. Täältä löydät lisätietoa tutkimusaineistojen digitaalisen säilyttämisen palvelun kumppaniorganisaatioksi ryhtymisestä.
Lue lisää tutkimusdatan säilyttämisestä tästä videosta:
Kuinka paljon tallennustilaa tarvitaan
CSC:n palveluiden käyttäjän on arvioitava tarvittavan tallennustilan määrä, esimerkiksi gibitavuina (GiB). Yksi tapa tehdä tämä on tarkistaa olemassa olevien tiedostojen koko ja arvioida lopullinen tilantarve niiden perusteella. Useimpien CSC:n palveluiden kiintiökokoa voidaan helposti kasvattaa (tai pienentää) MyCSC-asiakasportaalissa.
Note
Gibitavu (GiB) = 1 073 741 824 tavua eli noin 1 073 gigatavua (GB)
On myös hyvä huomata, että suurten datamäärien siirtäminen vie aikaa. Esimerkiksi 1 GiB:n tiedoston siirtäminen 10 Mbps:n yhteydellä kestää tyypillisesti noin 10 minuuttia ja nopealla 100 Mb:n kiinteällä yhteydellä pari minuuttia. Suosittelemme käyttämään esimerkiksi oman organisaation tarjoamaa nopeaa kiinteää yhteyttä ja välttämään selainkäyttöliittymiä suurten tiedosto- tai datamäärien siirtämisessä.
Tiedostokokoyksiköt pienimmästä suurimpaan:
- 1 tavu (B) = digitaalisen tiedon perusyksikkö
- 1 kibitavu (KiB) = 1024 tavua
- 1 mebitavu (MiB) = 1024 kibitavua
- 1 gibitavu (GiB) = 1024 mebitavua
- 1 tebibitavu (TiB) = 1024 gibitavua
- 1 pebibitavu (PiB) = 1024 tebibitavua
Esimerkkejä eri datatyyppien tiedostokoista
Huomaa, että tiedostokoot voivat vaihdella paljon esimerkiksi kuvan tai videon laadun mukaan.
| File | Average file size | Number of files in 1 GiB | Number of files in 25 GiB | Number of files in 1 TiB |
|---|---|---|---|---|
| Word processing file | 730 KiB | 1400 | 35000 | 1436000 |
| Presentation (ppt) | 6 MiB | 170 | 4300 | 174000 |
| JPEG picture | 300 KiB | 3400 | 85000 | 3495000 |
| JPEG photograph taken with a smartphone | 3 MiB | 340 | 8500 | 349000 |
| PDF document | 3 MiB | 340 | 8500 | 349000 |
| MPEG video | 650 MiB | 1 | 39 | 1600 |
| 30 min HD video | 2,1 GiB | 0 | 12 | 490 |
| full DVD | 4,7 GiB | 0 | 6 | 218 |
| Human genome sequence | 60 GiB | 0 | 0 | 17 |
Keskimääräinen tiedostokoko perustuu tietoihin 14 000 tekstinkäsittelytiedostosta, 1 000 esitysgrafiikkatiedostosta, 4 miljoonasta JPEG-kuvasta, 27 000 PDF-tiedostosta ja 7 000 tutkimukseen liittyvästä MPEG-tiedostosta sekä tietoihin viidestä tutkimukseen liittymättömästä 30 minuutin HD h264 -videosta.
Tallennuspalveluiden vertailutaulukko
Tarjoamme useita tallennusvaihtoehtoja tutkimuskäyttöön. Alla olevasta vertailutaulukosta löydät sinulle sopivan tallennusratkaisun. Suosittelemme laatimaan aineistonhallintasuunnitelman, kun harkitset datan tallennusvaihtoehtoja. Jos sinulla on kysyttävää, asiakastukemme tarjoaa henkilökohtaista ohjausta ja asiantuntijatukea datallesi sopivan tallennusratkaisun valintaan.
- Tarjoamme pyynnöstä myös tallennuskapasiteettia (CEPH/NFS).
| Service | Intended purpose | Currently available quotas* | Interfaces | Single user or project based access | Additional features | Service offered by |
|---|---|---|---|---|---|---|
| Allas object storage | platform independent data storage and sharing | 10 TB (more on request) | S3 and Swift clients. OpenStack Horizon, Roihu web interface. | project group | enables sharing data from the service | CSC |
| Fairdata IDA storage service | store, share and publish research data | granted based on application (from 1 GB to around 100 TB) | browser, CLI | project group | users commit to publishing the stored data in Fairdata Etsin service | MINEDU (service produced by CSC) |
| Storage in CSC cloud environments | temporary or persistent storage resources via virtual machines | 1 TB (more on request) | block storage via virtual machine, big data frameworks (Hadoop, Spark) | project group | CSC | |
| Project directories in Roihu | disk areas for processing data | 50GB - 250 GB short term (more on request) | file system | project group | Unused files in Roihu scratch will be deleted after 90 or 180 days depending on quota (see policy) | CSC |
| Roihu dataset project | Active datasets that must be directly readable by multiple Roihu projects | Up to 100 TiB for a fixed time | file system | One owning project has write access. Selected users, projects or organizations, or all Roihu users, can have read access | Access to dataset projects is granted through a separate application process | CSC |
| EUDAT B2DROP | storing, sharing and syncing files | 20 GB | browser, desktop | single user | enables sharing data from the service, and publishing data in EUDAT B2SHARE service | EUDAT |
| Pukki DBaaS relational database service | storing and using data with relational databases | up to 50 GB | PostgreSQL database clients. | project group | Database management is based on CSC accounts. Accounts for using the database are created by the user. | CSC |
| Sensitive Data (SD) Connect | Store, collect and share encrypted research data | 10 TB (more on request) | Browser and CLI | project group | Enables sharing data from the service. Enables analysing encrypted data from the SD Desktop service. More info on SD services. | CSC |
| Federated EGA | A service for publishing human genetic and phenotypic data consented for research | Case dependent | Command-line interface for data upload. Web interface for management. | Access based on contract | Data submission requires contract between home organization and CSC and is not free-of-charge. Controlled data access for external users through the SD services of CSC. | CSC |
- Tarkempia tietoja saatavilla olevasta tallennuskapasiteetista on oletuskiintiöitä koskevissa tiedoissa.