-
Maan havainnoinnin opas
Maan havainnoinnin opas
Tämän oppaan tavoitteena on auttaa tutkijoita työskentelemään maan havainnoinnin (Earth Observation, EO) datan kanssa CSC:n laskentaresursseja hyödyntäen. Oppaan tarkoitus on antaa yleiskuva saatavilla olevista vaihtoehdoista, jotta olisi helpompi arvioida, onko CSC:llä sopivia palveluita EO-tutkimukseesi. Se auttaa löytämään oikean datan ja työkalut rasteridataan perustuviin EO-tehtäviin. Tämä opas keskittyy avaruudessa sijaitseviin alustoihin. Monet työkalut ja käsitteet soveltuvat kuitenkin myös ilmakuvaukseen perustuviin alustoihin. Jos olet kiinnostunut EO:n perusteista, tutustu resurssit ja lisälukemista -osioon.
Mitä hyötyä EO-datan käytöstä on?
- Mahdollisuus havainnoida laajoja alueita samanaikaisesti
- Ei-invasiivinen
- Sama sensori eri puolilla maailmaa, joten eri alueita on helppo vertailla
- Aikasarjat mahdollistavat muutosten tarkastelun eri vuodenaikoina ja vuosina
- Kustannustehokas
Rasteridatan tiedostomuoto
Suurin osa EO-datasta on saatavilla rasterimuodossa. Yleisimmät tiedostomuodot ovat GeoTiff ja GeoJPEG2000.
Miksi käyttäisin CSC:n laskentaresursseja EO-työhön?
EO-datan käsittelyyn on yleisesti ottaen kolme päävaihtoehtoa:
1) EO-spesifiset palvelut, jotka tarjoavat sekä datan että käyttövalmiit käsittely-ympäristöt. Yleensä nämä tarjoavat paremman käyttökokemuksen ja tehokkuuden, mutta palvelut voivat olla rajoittuneita laskentatehon, saatavilla olevien työkalujen sekä oman datan tai omien työkalujen lisäämismahdollisuuksien osalta. Näistä voi aiheutua käyttömaksuja. Esimerkkejä ovat Copernicus Data Space Ecosystem, Google Earth Engine ja Microsoft Planetary Computer.
2) Pilvipalvelut, joista on pääsy EO-dataan. Käytännössä data on usein tallennettu oliotallennukseen, ja siihen voidaan päästä käsiksi erillisenä palveluna. Ne tarjoavat yleisiä laskentapalveluita, kuten virtuaalikoneita, joihin EO-työkalut täytyy asentaa loppukäyttäjän toimesta. Näistä vaihtoehdoista aiheutuu yleensä jonkin verran kustannuksia, pääasiassa laskennasta ja tallennuksesta. Datan lataaminen palveluun voi olla maksutonta tai siitä voi aiheutua pieni kustannus tarvittavan datamäärän mukaan. Yksi esimerkki on Amazon Web Services; myös Microsoft Planetary Computer sopii osittain tähän kategoriaan.
3) Oma laskentaympäristö - PC, paikallinen klusteri, virtuaalikoneet. Data täytyy ladata tähän järjestelmään ja kaikki työkalut on asennettava sinne. Toisaalta tämä antaa enemmän vapautta työkalujen ja kokoonpanon valintaan. Yleensä tästä ei aiheudu lisäkustannuksia, mutta laskentateho on tavallisesti melko rajallinen.
CSC:n palvelut eivät sovi hyvin tähän luokitteluun, sillä niissä on piirteitä kaikista näistä vaihtoehdoista. CSC:n laskentapalvelut tarjoavat paljon laskentatehoa ja tallennustilaa, ja ne ovat maksuttomia suomalaisille tutkijoille akateemiseen tai opetuskäyttöön.
CSC:llä EO-dataa voidaan käsitellä ja analysoida supertietokoneella, esimerkiksi Puhdissa, tai virtuaalikoneella cPouta-pilvipalvelussa. Puhdin laskentakapasiteettia on vaikea verrata mihinkään muuhun EO-palveluun sekä käytettävissä olevan laskentatehon että muistimäärän osalta. Sekä Puhdissa että cPoudassa on myös GPU-resursseja, jotka ovat erityisen hyödyllisiä suurissa simuloinneissa ja syväoppimisen käyttötapauksissa.
Puhdissa on paljon esiasennettuja sovelluksia, joten se on käyttövalmis ympäristö. cPoudan virtuaalikoneet muistuttavat kaupallisia pilvipalveluita, joissa kaikki asetukset ja asennukset tekee loppukäyttäjä. Yleisesti ottaen molemmat palvelut tukevat vain Linux-ohjelmistoja.
CSC:llä joitakin suomalaisia EO-aineistoja on saatavilla suoraan käyttöön. Monissa tapauksissa EO-datan lataaminen palveluun muista palveluista (katso EO-datan latauspalveluiden lista) on kuitenkin välttämätön osa prosessia. Puhti ja cPouta tarjoavat paikallista tallennustilaa noin 1–20 Tb. Suurempaan tallennustarpeeseen voidaan käyttää Allas-oliotallennusta.
CSC:n laskentapalveluiden käyttö edellyttää Linuxin perusteiden hallintaa ja kykyä käyttää jotakin skriptauskieltä (esimerkiksi Python, R, Julia) tai komentorivityökaluja. Lisäksi supertietokoneiden ja virtuaalikoneiden käyttö vaatii joidenkin erityiskäsitteiden ymmärtämistä, joten alkuun pääseminen vie muutaman tunnin. Puhdin selainkäyttöliittymä helpottaa aloittamista huomattavasti tarjoamalla työpöytäympäristön verkkoselaimessa, mikä mahdollistaa graafisten käyttöliittymien (GUI) työkalujen sekä esimerkiksi R Studion ja JupyterLabin käytön helppoa aloitusta varten R:llä, Pythonilla ja Julialla.
Mitä dataa tarvitsen?
Kun aloitetaan tehtävä, joka vaatii EO-dataa, on otettava huomioon useita tekijöitä. Päätös siitä, mitkä tekijät ovat tärkeimpiä, riippuu vahvasti tehtävästä ja käytettävissä olevista resursseista. Seuraava lista tiivistää, mitä datatarpeita määriteltäessä tulee huomioida:
- Sensori: Eri sensorit kattavat sähkömagneettisen (EM) spektrin eri alueita ja näyttävät siten havaittavien alueiden erilaisia ominaisuuksia; ne voivat olla aktiivisia tai passiivisia:
- Monispektrinen: useita näkyvän valon alueen ympärillä olevia EM-spektrin kaistoja havaitaan samanaikaisesti
- Hyperspektrinen: useampia mutta yleensä kapeampia EM-spektrin alueita havaitaan samanaikaisesti
- RADAR (Radio Detection and Ranging), SAR (Synthetic Aperture Radar), aktiivinen havainnointi EM-spektrin mikroaalto-/radiotaajuuksilla
- LiDAR (Light Detection and Ranging), jossa energialähteenä käytetään laseria EM-spektrin optisella alueella
- Huomaa, että havaituista aallonpituuksista riippuen pilvet, maanpinnan olosuhteet ja ilmakehän häiriöt voivat aiheuttaa aukkoja dataan
- Resoluutio
- Ajallinen: milloin ja kuinka usein tietty alue kuvataan uudelleen
- Paikallinen: maanpinnan alue, jonka kukin pikseli kattaa, mikä määrittää pienimmän mahdollisen havaittavan kohteen koon
- Spektrinen: havaittava sähkömagneettisen spektrin alue ja kunkin tarjotun kaistan spektrinen leveys
- Radiometrinen: energian esittämiseen käytetty bittimäärä (bit-depth)
- Kustannukset:
- Osa EO-datasta on vapaasti saatavilla avoimena datana
- Joitakin kaupallisia aineistoja voi olla mahdollista saada tutkimuskäyttöön maksutta tai edullisemmin
- Esikäsittelyn taso
- Raakadata - voi olla eri tasoista ja vaatii usein käsittelyä ennen kuin sitä voidaan käyttää luotettavaan analyysiin
- Eri tasoiset esikäsitellyt datat - varmista, että tiedät, millaista esikäsittelyä datallesi on tehty
- Analyysivalmis data (ARD)
- Mosaiikit
- Käyttökokemus ja osaaminen
- Moniin tehtäviin tarvitaan sopivaa taustaosaamista
- ARD on "valmista käyttöön", mutta varmista, että tiedät, millaista esikäsittelyä datallesi on tehty
Joitakin laajasti käytettyjä EO-aineistoja
| Name | Max resolution, m | Revisit time, days | Years of operation | Open data |
|---|---|---|---|---|
| Multispectral | ||||
| ESA, Sentinel-2 | 10-60 | 5 | 2015-> | Yes |
| NASA, Landsat | 15-120 | 8 | 1972-> | Yes |
| ESA, Proba-V | 100-1000 | 1-2 | 2013-> | Yes |
| Airbus, Spot | 1.5 | - | 1986-> | No |
| Planet, several satellites | 0.5-5 | - | 2009-> | No* |
| DigitalGlobe, WorldView | 0.3-30 | - | 1997-> | No |
| Airbus, Pleiades | 0.3-0.5 | - | 2012-> | No |
| Hyperspectral | ||||
| NASA, MODIS | 250-100 | 1-2 | 1999-> | Yes |
| NASA, EO-1 | 10-30 | - | 2000-2017 | Yes |
| Radar, SAR | ||||
| ESA, Sentinel 1 | 5 | 6 | 2014-> | Yes |
| ESA, Radarsat | 1-100 | 24 | 1995-> | Yes |
| TanDEM-X/TERRASAR-X | 0.25-40 | - | 2010-> | No |
| ICEYE | 0.5-2.5 | 1 | 2018-> | No |
| LiDAR | Footprint size | |||
| NASA, ICESat2 | 13 | 91 | 2019-> | Yes |
| NADA, GEDI | 25 | - | 2018-> | Yes |
* Katso Planetin koulutus- ja tutkimussivu rajoitettua, ei-kaupallista pääsyä varten PlanetScope- ja RapidEye-kuva-aineistoihin.
EO-tietokanta
Tietokanta kaikista EO-missioista ja instrumenttitiedoista löytyy CEOS EO handbook -tietokannasta. Katso myös EOReaderin kaistakartoitusgrafiikat, joista saat yleiskuvan eri optisten sensoreiden havaitsemista aallonpituusalueista.
Mistä löydän datan?
Kaupalliset aineistot ovat yleensä saatavilla datan tarjoajalta, kun taas avoimet aineistot voivat olla saatavilla eri käsittelyvaiheissa eri palveluista. Jos mahdollista, voi olla hyvä ajatus tarkistaa datan lähellä olevat käsittelyvaihtoehdot suoraa käyttöä tai nopeampaa lataamista varten. Vaikka graafiset selaus- ja latauspalvelut voivat antaa hyvän yleiskuvan datasta ja ovat helppokäyttöisiä, erittäin suurten datamäärien lataaminen palveluun helpottuu huomattavasti käyttämällä massalataustyökalua tai lataus-APIa (Application Programming Interface).
STAC
Monet datan tarjoajat tarjoavat aineistoistaan Spatio Temporal Asset Catalogin (STAC). Nämä katalogit auttavat löytämään saatavilla olevan datan ajan ja sijainnin perusteella, ja lisäksi voidaan käyttää useita lisäsuodattimia, kuten pilvisyyttä ja resoluutiota. STAC Index tarjoaa hyvän yleiskuvan eri puolilla maailmaa saatavilla olevista katalogeista. STAC Index -sivu sisältää paljon materiaalia STACin oppimiseen ja hyödyntämiseen. Suomalaista dataa on saatavilla Paituli STACista. Tutustu myös CSC:n esimerkkeihin STACin hyödyntämisestä Pythonilla ja R:llä.
EO-data CSC:llä
Joitäkin suomalaisia EO-aineistoja on saatavilla paikallisesti CSC:llä. Paituli STAC sisältää kaiken CSC:llä saatavilla olevan rasteridatan.
- Landsat-mosaiikit Puhdissa.
- Sentinel-2 L2A -data, valikoima pilvettömiä laattoja Altaassa.
- Lisätietoja ja lista kaikista paikkatietoaineistoista CSC:n laskentaympäristössä
EO-datan latauspalvelut
SYKE/FMI, suomalaiset kuvamosaiikit: Sentinel-1-, Sentinel-2- ja Landsat-mosaiikit, myös indeksimosaiikit. Saatavilla useille ajanjaksoille vuodessa. Nämä sisältyvät Paituli STACiin
ESA Copernicus Data Space Ecosystem tarjoaa maailmanlaajuisesti tärkeimmät Sentinel-tuotteet, katso lisätietoja alta.
FinHub kattaa Suomen ja Baltian alueen ja tarjoaa Sentinel-2 L1C -tuotteita (mutta ei L2A:ta) sekä Sentinel 1 SLC-, GRD- ja OCN-tuotteita. Ei STACia. sentinelsat Python-paketti soveltuu datan lataamiseen palveluun FinHubista, katso CSC:n FinHub sentinelsat -esimerkki.
USGS EarthExplorer on valtava data-arkisto, joka keskittyy Yhdysvaltojen dataan, mutta sisältää myös maailmanlaajuisia Landsat-aineistoja. USGS on uuden Landsat Collection 2 -datan pääasiallinen tarjoaja. Landsat Collection 2 STAC
NASA Earthdata tarjoaa monien muiden joukossa harmonisoidun Landsat 8- ja Sentinel-2 -aineiston. NASA STAC
Amazon Web Service (AWS) avoin EO-data on kokoelma maailmanlaajuisia EO-aineistoja, joita tarjoavat eri organisaatiot, mukaan lukien Landsat ja Sentinel. Osa datasta voidaan ladata vain "requestor pays" -periaatteella. Tällä hetkellä Element 84:n Sentinel-2 L2A Cloud-optimized Geotiffs ovat saatavilla maksutta, mukaan lukien STAC.
Microsoft planetary computer tarjoaa STACin kaikesta saatavilla olevasta datasta, mukaan lukien Sentinel, Landsat ja MODIS.
Google Cloud Storage avoin EO-data, mukaan lukien Sentinel-2 L1C ja Landsat Collection 1 -data. Dataa voidaan ladata esimerkiksi FORCElla.
Terramonitor tarjoaa esikäsiteltyä analyysivalmista Sentinel-2-dataa, myös Suomesta. Se on kaupallinen palvelu.
Lähes kaikki palvelut tarjoavat lataamisen selainkäyttöliittymän kautta sekä massalatauksen API:n avulla. Useimmat palvelut vaativat maksuttoman omatoimisen rekisteröitymisen.
Muut paikkatietoaineistot
Muiden paikkatietoaineistojen löytämiseksi tutustu CSC:n avoimien paikkatietoaineistojen listaan.
ESA Copernicus Data Space Ecosystem
Copernicus Data Space Ecosystem (CDSE) tarjoaa mahdollisuuden selata, visualisoida, ladata ja analysoida EO-dataa. Se käynnistyi loppuvuonna 2023 ja korvasi ESA:n SciHubin. CDSE sisältää pääasiassa erilaisia Sentinel-aineistoja, mutta myös joitakin täydentäviä aineistoja, mukaan lukien Landsat; katso CDSE-aineistojen täydellinen lista. Huomaa, että uudelleenkäsittelyn vuoksi uusimmilla baseline-versioilla voi olla saatavilla duplikaatteja.
CDSE:n data-API:t ja datan lataaminen:
- CDSE Browser - selainkäyttöliittymä datan käyttöön, tutkimiseen ja lataamiseen.
- CDSE Catalogue APIs tukee kolmea eri vaihtoehtoa sopivan datan löytämiseen: OData, OpenSearch ja STAC. OData ja OpenSearch ovat vanhempia ja tarjoavat samankaltaista toiminnallisuutta. STAC on uusin ja standardoidumpi API. Sen avulla voidaan hakea mitä tahansa laattojen metadataa, ja STAC-työkalujen avulla on helppo ladata palveluun vain tarvittava data, kuten vain tietyt kaistat tai vain tietyt maantieteelliset osat datasta.
- CDSE S3 korkean suorituskyvyn rinnakkaiseen käyttöön ja lataamiseen palveluun CDSE:n oliotallennuksesta.
Useita esimerkkiskriptejä on saatavilla CDSE-datan lataamiseen:
- OpenSearch API + rclone, CSC:n tekemä, mahdollisuus tallentaa CSC:n Altaaseen tai johonkin muuhun oliotallennukseen.
- CDSE STAC -esimerkkiskriptit Pythonille.
- OData API + Python requests
- Vaihtoehtoisesti s3cmd ja Python boto3 voidaan käyttää S3-latauksiin.
Voit myös lukea dataa suoraan S3:sta GDALilla tai GDAL-pohjaisilla työkaluilla, katso CSC:n GDAL-pilviohje.
Nämä data-API:t ovat maksuttomia. Eri palveluilla on erilaisia rajoituksia, katso CDSE Quotas and limitations. Verrattuna ESA:n aiempaan SciHub-palveluun samanaikaisten latausten määrä käyttäjää kohden on kasvanut useimmissa API:ssa kahdesta neljään, ja myös suora lataaminen palveluun S3:sta on yleensä nopeampaa.
CDSE sisältää myös OpenEO- ja SentinelHub -palvelut, jotka tarjoavat enemmän analyysivalmiita aineistoja sekä omia latauspalveluita ja API-rajapintoja. Molemmilla on oma STAC. SentinelHub tarjoaa myös OGC API -rajapintoja.
Miten voin käsitellä EO-dataa CSC:llä?
Löydät tietoa paikkatietolaskennasta CSC:n resursseilla ja siitä, miten pääset alkuun, CSC:n geocomputing-sivuilta, mukaan lukien linkit käyttäjätunnusten luomiseen ja kaikki muu käytännön tieto.
Mitä kannattaa huomioida ohjelmistoa valittaessa?
Ei ole olemassa yhtä ohjelmistoa, joka olisi täydellinen jokaiseen tehtävään ja jokaisen makuun. Oikea ohjelmisto riippuu yhtä paljon käsiteltävästä tehtävästä kuin käyttäjän mieltymyksistä ja osaamisesta. Seuraava lista tiivistää asiat, jotka tulee ottaa huomioon ohjelmistoa valittaessa.
- Toiminnallisuus: Tarjoaako ohjelmisto työkalut, joita tarvitset tavoitteesi saavuttamiseen?
- Vuorovaikutustapa: Miten haluat käyttää ohjelmistoa?
- Graafinen käyttöliittymä (GUI)
- Komentorivikäyttöliittymä (CLI)
- Skriptaus
- Tekniset näkökohdat:
- Toistettavuus: Tarjoaako työkalu mahdollisuuden tallentaa työvaiheet?
- Tuetut käyttöjärjestelmät: Voiko työkalun asentaa käytettävissä olevaan käyttöjärjestelmään?
- Automatisointimahdollisuus: Voidaanko työkalun suoritus automatisoida suuren datamäärän käsittelyyn tarvittaessa?
- Yhdisteltävyys: Voitko yhdistää työkalun muihin työkaluihin?
- Laskennallinen tehokkuus: Hyödyntääkö työkalu hyvin käytettävissä olevia laskentaresursseja (erityisesti GPU:ita)?
- Tuki rinnakkaislaskennalle tai eräajolle
- Avoin lähdekoodi vs. suljettu ohjelmisto
- Suljetut työkalut tarvitsevat lisenssejä, jotka voivat olla kalliita ja/tai rajoittaa työkalun käyttöä
- FOSS (free and open source software) mahdollistaa lähdekoodin tarkastelun ja antaa hyvän näkyvyyden ohjelmiston toimintaan
Mitä sovelluksia Puhdissa on saatavilla?
FORCE - Framework for Operational Radiometric Correction for Environmental monitoring. Kaikki yhdessä -käsittelymoottori komentorivikäyttöliittymällä EO-kuva-arkistoille. FORCE-esimerkki Puhdille
GDAL (OGR) - Geospatial Data Abstraction Library. Kokoelma komentorivityökaluja paikkatiedon käyttöön ja muuntamiseen. Se on suhteellisen nopea ja vaatii vähän laskentaresursseja. GDAL tukee datan lukemista suoraan Internetistä tai oliotallennuksesta. GDAL sisältyy moniin muihin työkaluihin datan lukemista ja kirjoittamista varten. GDAL-esimerkki Puhdille
Julia - Puhdin Julia-asennus ei sisällä paikkatietopaketteja, mutta käyttäjä voi asentaa niitä itse. JuliaGeo tarjoaa yleiskuvan paikkatietodatan paketeista.
Matlab - voit ajaa Matlab-töitä Puhdissa kätevästi oman tietokoneesi Matlab-asennuksesta.
Orfeo Toolbox (OTB) - tarjoaa laajan valikoiman sovelluksia ortorektifioinnista ja pansharpeningista aina luokitteluun, SAR-käsittelyyn ja paljon muuhun. Orfeo Toolbox on saatavilla komentorivikäyttöliittymänä, graafisena käyttöliittymänä ja Python-rajapinnan kautta.
- geoconda-moduuli tarjoaa monia hyödyllisiä Python-paketteja rasteridatan käsittelyyn ja analyysiin, kuten
rasterio,rasterstats,scimage,sentinelhub,xarray,boto3sekä paketteja STACin kanssa työskentelyyn. - Koneoppimismoduulit tarjoavat joitakin yleisiä koneoppimiskehyksiä, mukaan lukien syväoppimiseen.
QGIS - avoimen lähdekoodin työkalu graafisella käyttöliittymällä paikkatiedon käsittelyyn, mukaan lukien rajalliset monispektrisen kuvankäsittelyn ominaisuudet. Graafinen käyttöliittymä, jossa on mahdollisuus eräkäsittelyyn, sekä Python-rajapinta. Käytetään esimerkiksi visualisointiin, kartta-algebraan ja muuhun rasterikäsittelyyn. Saatavilla on monia lisäosia; EO-datan käsittelyyn tutustu QGIS Semi-automatic classification plugin -lisäosaan.
R - Puhdin R-asennus sisältää paljon paikkatietopaketteja, mukaan lukien useita hyödyllisiä EO-datan käsittelyyn, kuten terra, CAST, raster, rstac ja spacetime.
Sen2Cor - komentorivityökalu Sentinel-2 Level 2A -tuotteiden generointiin ja muotoiluun.
Sen2mosaic - komentorivityökalu Sentinel-2-datan lataamiseen palveluun, esikäsittelyyn ja mosaiikkien muodostamiseen.
SNAP - ESA Sentinel Application Platform. Työkalu Sentinel-datan käsittelyyn (+ tuki muille datalähteille). Graafinen käyttöliittymä, komentorivikäyttöliittymä (Graph Processing Tool, GPT) ja Python-rajapinnat. SNAP GPT -esimerkki Puhdille.
[**allas'']](../../../apps/allas.md) - työkalut S3-tallennuksen käyttöön, mukaan lukien CSC Allas, CDSE S3 jne.: rclone ja s3cmd.
Jos tarvitset lisää sovelluksia, voit pyytää CSC:tä asentamaan ne sinulle.
Koneoppiminen EO-datan kanssa
Yksi esimerkki EO-datan edistyneestä käytöstä on koneoppiminen. Jos aihe kiinnostaa, löydät paljon esimerkkejä CSC:n koneoppiminen paikkatiedolla -kurssimateriaaleista. Käytännön ohjeita varten katso myös CSC:n koneoppimisopas
Vaihtoehtoiset käsittelypalvelut
Alla on lista vaihtoehtoisista EO-datan käsittelypalveluista, joista voi olla hyötyä silloin, kun dataa tarvitaan paljon eikä kaiken lataaminen palveluun CSC:lle ole välttämättä mahdollista.
Google Earth Engine on käsittelyalusta, joka vaatii rekisteröitymisen, mutta on tällä hetkellä maksuton tutkimuskäyttäjille. Sitä voidaan käyttää selaimen kautta, ja siellä on saatavilla maailmanlaajuista analyysivalmista dataa (selaa katalogia). Yleisesti alustalla käytetään JavaScriptiä, mutta myös Python- ja R-tuki on olemassa. Tutustu GEE:n opetusmateriaaleihin. Huomaa, että suurten aineistojen vientiin voidaan tarvita Google Cloud Storagea.
Microsoft planetary computer tarjoaa JupyterHubin yhdessä Dask Gatewayn kanssa, ja saatavilla on sekä CPU:ita että GPU:ita. Se on tällä hetkellä preview-vaiheessa.
CDSE tarjoaa myös käsittelypalveluita, pääasiassa OpenEO- ja SentinelHub -palveluiden kautta, jolloin käsittely voidaan tuoda lähelle dataa. Molemmissa on maksuttomia vaihtoehtoja sekä maksullisia palveluita. Ne tarjoavat erilaisia API-rajapintoja, joita voidaan käyttää Pythonilla tai R:llä. Pian myös On-Demand Processing.
- Copernicus Data Workspace on työkalu EO-tuotteiden hallintaan ja tarkasteluun, minkä jälkeen niitä voidaan käsitellä edelleen tai ladata palveluun eri tarkoituksiin. Kun tuotteita valitaan käsittelyyn, saat listan prosessoreista, jotka pystyvät käsittelemään kyseisiä datatyyppejä.
- CDSE Jupyter Notebooks tarjoaa mahdollisuuden analysoida dataa Jupyter Notebookeilla. Jokaisella käyttäjällä on 10 Gb pysyvää tilaa (poistetaan 15 päivän kuluttua ilman kirjautumista) ja pääsy 2–4 CPU:hun sekä 4–16 Gb RAM-muistiin. Huomaa, että henkilökohtaisten rajoitusten lisäksi myös aktiivisten käyttäjien kokonaismäärä näyttää olevan rajoitettu. Omia paketteja on mahdollista lisätä pipin avulla. CDSE-esimerkkimuistikirjat
- Ja paljon muuta, katso kaikki CDSE-sovellukset
Kaupalliset pilvet: Amazon, Google Cloud ja Microsoft Azure tarjoavat kaikki virtuaalikoneita ja muita käsittelypalveluita, ja kaikilla niistä on myös jonkin verran paikallista dataa, katso yllä olevat linkit.
Mistä saan apua?
Jos olet kiinnostunut käyttämään CSC:n palveluita EO-tutkimuksessasi, tutustu ensin palveluihin:
- Osallistu kurssille, seminaariin tai työpajaan; löydät kaikki tulevat ja menneet tapahtumat CSC:n koulutuskalenterista
- Alkuun pääsemiseksi käy läpi CSC Computing Environment - Self Learning -kurssi
- Löydät tietoa palveluista ja niiden käytöstä CSC:n dokumentaatiosivuilta
- CSC-ympäristön paikkatietolaskennasta löydät tietoa CSC:n paikkatietolaskennan oppimateriaalikokoelmasta ja CSC:n geocomputing-esimerkeistä GitHubissa
Kaikki tavat saada apua CSC:n asiantuntijoilta löytyvät CSC:n yhteystietosivulta. Autamme mielellämme palveluihimme liittyvissä teknisissä ongelmissa ja otamme mielellämme vastaan ehdotuksia siitä, mitä ohjelmistoja Puhdissa pitäisi olla asennettuna tai millaisia kursseja tai materiaaleja/esimerkkejä pitäisi valmistella. Kerrothan meille myös, jos haluaisit lisätä tälle sivulle jonkin palvelun tai jos jokin kohta on epäselvä.
Kiitokset
Tämä opas on laadittu yhteistyössä Suomen ympäristökeskuksen (SYKE) kanssa osana Geoportti-hanketta.
Osallistuminen tervetullutta
Jos löydät virheitä tai vanhentuneita linkkejä, sinulla on parannusehdotuksia tai haluat lisätä tietoa jostakin aiheesta, lisää ne GitHub issueen EO-oppaan parantamiseksi, lähetä pull request CSC:n dokumentaatioon GitHubissa tai ota yhteyttä jotakin CSC:n yhteystietosivulla mainittua tapaa käyttäen. Kiitos!
Resurssit ja lisälukemista
Jos olet kiinnostunut EO:n perusteista, tutustu näihin erinomaisiin resursseihin:
- Fundamentals of remote sensing tutorial / Canada Centre for Mapping and Earth Observation, Natural Resources Canada; "interaktiivinen moduuli on tarkoitettu yleiskatsaukseksi lukion ylemmille luokille tai yliopiston alkuvaiheeseen, ja se käsittelee fysiikkaa, ympäristötieteitä, matematiikkaa, tietojenkäsittelytieteitä ja maantiedettä."
- Echoes in space - Introduction to RADAR remote sensing / Euroopan avaruusjärjestö; "yksityiskohtainen katsaus tutkateknologian historiaan, mukaan lukien kaikki perusteet, joita tarvitaan sähkömagneettisten aaltojen toiminnan ymmärtämiseen, sekä ainutlaatuinen käytännön kokemus tutkadatan käsittelystä erilaisissa sovellusskenaarioissa."
- Newcomers guide to Earth Observation / Euroopan avaruusjärjestö, "opas, joka auttaa ei-asiantuntijoita tarjoamalla lähtökohdan sopivan maan havainnoinnin (EO) ratkaisun valintaprosessiin."
- Earthdatascience intro to multispectral data
Lisälukemista:
- CSC:n geocomputing-seminaarien materiaalit, erityisesti vuoden 2022 EO-työpajan materiaalit
- ESA:n opetusmateriaalit
- Awesome EO code, pitkä lista EO-työkaluja
- Yleiskatsaus suurten EO-datamäärien hallinta- ja analyysialustoihin (vuodelta 2020)