Paikkatietoaineistot CSC:n laskentaympäristössä

Paikkatietoaineistot Puhdissa

Puhdissa on seuraavat aineistot:

• Paituli-data. Paituli sisältää aineistoja Digi- ja väestötietovirastolta, Ruokavirastolta, Ilmatieteen laitokselta, Väylävirastolta, Kotimaisten kielten keskukselta, Karelia-ammattikorkeakoululta, Maanmittauslaitokselta, Luonnonvarakeskukselta, Tilastokeskukselta ja Helsingin yliopistolta.
  • Paitulin aineistojen täydellinen lista
  • Kaikilla Paitulin aineistoilla on readme-tiedosto, jossa on linkki Etsimen aineistokuvauksiin ja käyttöehtoihin.
  • Jos sinulla on vaikeuksia löytää jotakin tiedostoa, voit käyttää apuna myös Paitulin lataussivua. Näet aineiston polun linkkien alta (poista alkuosa) tai voit ladata tiedostolistan kohdasta "Download list of files", jos aineistossa on paljon karttalehtiä.
  • Maanmittauslaitoksen normaalivärisiä ortokuvia ei ole saatavilla Puhdissa, mutta infrapunakuvat ovat.
  • Maanmittauslaitoksen 2 m korkeusmalli, lidar-aineisto ja infrapunaortokuvat päivitetään Puhdissa automaattisesti joka maanantai.
  • Maanmittauslaitoksen aineistojen lisäykset:
    • 2 m ja 10 m korkeusmalleille sekä infrapunaortokuville on virtuaalirasterit, katso alla kohta Puhdin virtuaalirasterit.
    • Stereoluokiteltua lidar-aineistoa on muokattu hieman. Alkuperäisessä Maanmittauslaitoksen datassa oli virheitä otsaketiedoissa, ja ne on korjattu. Lisäksi aineistoon on lisätty lax-indeksitiedostot.
    • Automaattisesti luokiteltu lidar, 2008–2024. Sisältää indeksikartan juurikansiossa. Viimeisin päivitys 5/2025.
  • Helpoin tapa löytää Paitulin rasteridata on Paituli STAC -palvelulla, jossa on myös linkit Puhdin paikallisiin tiedostoihin.
• SYKE, kaikki avoimet paikkatietoaineistot, saatavilla SYKEn avoimen datan palvelusta. Viimeisin päivitys 1/2025.
• Suomen metsäkeskus, CC BY 4.0 -lisenssi, viimeisin päivitys 8/2023
  • Latvusmalli
  • Ruudut
  • Metsämaski
  • Metsävarakuviot
• SYKEn ja Ilmatieteen laitoksen tuottamat Landsat-mosaiikit Paikkatietoalusta-hankkeessa
  • Historialliset Landsat-satelliittikuvamosaiikit: 1985, 1990, 1995

Avoin paikkatietodata sijaitsee Puhdissa: /appl/data/geo

Datan käyttö Puhdissa edellyttää CSC-käyttäjätunnusta sekä projektia, jossa Puhti-palvelu on käytössä. Kaikilla Puhdin käyttäjillä on näihin aineistoihin lukuoikeus. Tiedostoja ei tarvitse siirtää: niitä voi käyttää suoraan, ellei niitä tarvitse muokata, jolloin sinun täytyy tehdä niistä oma kopio. Puhdin avoimia paikkatietoaineistoja ylläpitää CSC:n henkilökunta. Jos huomaat datassa ongelmia tai toivot uutta aineistoa, ota yhteyttä CSC:n asiakastukeen.

SYKEn ja Ilmatieteen laitoksen Paikkatietoalusta-hankkeessa tuottamat satelliittimosaiikit poistettiin Puhdista 21.11.2023

Poistetut aineistot olivat: Sentinel1 SAR -mosaiikit, Sentinel2-indeksimosaiikit ja Landsat-indeksimosaiikit. Ne ovat saatavilla Ilmatieteen laitoksen omasta objekti­tallennuspalvelusta, jossa on enemmän dataa kuin mitä tallennettiin Puhdin paikallisille levyille. Helpoin tapa löytää PTA-mosaiikit Ilmatieteen laitokselta on Paituli STAC -palvelulla. Paituli STAC -sivu sisältää myös käyttöesimerkkejä R:lle ja Pythonille.

Paikkatietoaineistot Altaassa

CSC:n laskentapalveluiden käyttäjät voivat jakaa paikkatietoaineistoja Altaassa muiden käyttäjien kanssa, jos aineiston lisenssiehdot sallivat tämän. Tämä on yhteisöpalvelu, eli kuka tahansa CSC:n käyttäjä voi osallistua ja lisätä dataa Altaaseen. Datan ämpärit Altaassa ovat datan jakajien omistuksessa. Jos haluat jakaa jotakin Altaassa olevaa dataasi ja haluaisit aineiston lisättävän tälle sivulle, ota yhteyttä CSC:n asiakastukeen.

Tällä hetkellä saatavilla:

1. Sentinel2-tason 2A kuvat. Maria Yli-Heikkilä (LUKE) ja Arttu Kivimäki (MML/FGI) ovat ladanneet suomalaiset aineistot kasvukaudelta (noin 10.5.–1.9.) vuodesta 2016 alkaen. Helpoin tapa löytää Altaaseen tallennettu Sentinel-data on Paituli STAC -palvelulla. Nämä tiedostot ovat julkisia, joten kuka tahansa voi ladata ne myös omalta tietokoneelta tai muista palveluista.

Altaassa olevan datan käytöstä katso CSC:n webinaari Altaasta ja paikkatiedosta ja Paikkatietotiedostojen käyttö suoraan pilvestä, mukaan lukien Allas-ohje.

Puhdin virtuaalirasterit

Virtuaalirasterit ovat erittäin käytännöllinen käsite suurten rasteriaineistojen käsittelyssä, katso CSC:n Virtuaalirasterit -sivu pidempää selitystä varten sekä ohjeet omien virtuaalirasterien luomiseen, myös STAC-hakutuloksista.

Maanmittauslaitoksen korkeusmallien ja ortokuvien valmiit virtuaalirasterit

CSC on lisännyt virtuaalirasterit Maanmittauslaitoksen 2 m ja 10 m korkeusmalleihin sekä infrapunaortokuviin Puhdissa. Korkeusmalleille on kaksi virtuaalirasterivaihtoehtoa:

1. Suorat virtuaalirasterit sisältävät lähde-tif-kuvat suoraan ilman hierarkkista rakennetta, yleiskatselukuvia tai esilaskettuja tilastoja. Suora virtuaalirasteri on tarkoitettu käytettäväksi vain skripteissä. Sitä ei pidä avata QGISissä, ellei ole zoomattu lähelle ja tarvitse avata vain muutamia tiedostoja jne.:

   • 2 m korkeusmalli: /appl/data/geo/mml/dem2m/dem2m_direct.vrt
   • 10 m korkeusmalli: /appl/data/geo/mml/dem10m/dem10m_direct.vrt
   • infrapunaortokuvat: /appl/data/geo/mml/orto/infrared_3067/infrared_euref_direct.vrt

2. Hierarkkinen virtuaalirasteri on tarkoitettu pääasiassa katseluun, esimerkiksi QGISillä. Siinä on hierarkkinen rakenne, jossa kunkin kansion virtuaalirasteri sisältää kaiken kyseiseen kansioon ja sen alikansioihin tallennetun datan. Hierarkkinen tiedostorakenne sisältää myös tilastot (min, max, mean, stddev) ja yleiskatselukuvat jokaiselle vrt-tiedostolle, mikä mahdollistaa esimerkiksi koko korkeusmalliaineiston varsin sujuvan tarkastelun QGISissä. Näin koko aineistoa voidaan helposti tarkastella eri zoomaustasoilla. Voit käyttää alimman tason virtuaalirasteria (esimerkiksi M41 2 m korkeusmallissa) myös skripteissä, mutta ylemmän tason virtuaalirasterit voivat aiheuttaa laskentavirheitä.

   • 2 m korkeusmalli: /appl/data/geo/mml/dem2m/dem2m_hierarchical.vrt

Puhti: luo korkeusmallien virtuaalirastereita omalle alueelle

Joissakin tapauksissa voi olla hyödyllistä luoda virtuaalirastereita, jotka kattavat vain tutkimusalueesi tai jonkin sen osan. CSC on tehnyt Python-skriptin, jolla voi luoda virtuaalirastereita omalle alueelle Maanmittauslaitoksen 2 m ja 10 m korkeusmalliaineistoista Puhdissa. Sitä käytetään seuraavasti:

module load geoconda
python /appl/soft/geo/vrt/vrt_creator.py dataset polygon_file output_directory

Tuetut dataset-arvot ovat: dem2m, dem10m ja demCombined. Viimeinen vaihtoehto suosii 2 m korkeusmallia aina kun se on saatavilla ja interpoloi loput alueet 2 m resoluutioon 10 m korkeusmallista bikubisella interpoloinnilla.

Valinnaiset argumentit:

• -i: luo erillinen vrt jokaiselle polygonille, oletustoiminto on luoda yksi kaikki polygonit kattava vrt.
• -o: luo yleiskatselukuvat
• -p: tulosteen nimietuliite

Lisenssi ja viittausohje

Yleisesti ottaen kaikilla aineistoilla on avoin lisenssi, mutta tarkat ehdot vaihtelevat hieman; useimmiten käytössä ovat CC-BY-4.0-lisenssit. Katso lisätietoja readme-tiedostoista.

Mainitse julkaisussasi lisenssiehtojen mukaisesti datan tuottaja sekä CSC ja Geoportti; tämä on tärkeää projektin jatkuvuuden ja rahoitusraportoinnin kannalta. Jos käytät Altaassa tarjottua dataa, mainitse myös datan jakava henkilö. Esimerkiksi voit kirjoittaa: "The authors wish to thank CSC - IT Center for Science, Finland (urn:nbn:fi:research-infras-2016072531) and the Open Geospatial Information Infrastructure for Research (Geoportti, urn:nbn:fi:research-infras-2016072513) for data provision".

Onko tämä sivu hyödyllinen?

Kyllä

Kiitos palautteestasi!

Ei

Kiitos! Arvostamme palautettasi.

Kerro meille miten voisimme parantaa tätä sivua ottamalla meihin yhteyttä.