Python-geo

Python-geo on kokoelma Python-paketteja, jotka helpottavat Python-skriptien kehittämistä geoinformatiikan sovelluksiin. Se sisältää seuraavat Python-paketit:

access - resurssien spatiaalisen saavutettavuuden laskentaan.
async-tiff - nopea TIFF-tiedostojen lukija. UUSI 2026
boto3 - tiedostojen käsittelyyn S3-tallennuksessa, esimerkiksi Altaassa. Allas S3 -esimerkki CSC:n geolaskennan GitHubissa.
cartopy - karttojen piirtämiseen.
cdsapi - pääsy Copernicus Climate Data Storeen. UUSI 2026
cfgrib - GRIB-tiedostojen kuvaamiseen NetCDF Common Data Modeliin
contextily - karttatiilien hakemiseen internetistä.
copc-lib - luku- ja kirjoitusrajapinta Cloud Optimized Point Clouds (COPC) -aineistoille
dask - tarjoaa edistynyttä rinnakkaisuutta analytiikkaan mahdollistaen suorituskyvyn suuressa mittakaavassa, mukaan lukien dask-geopandas, Dask-ML ja Dask JupyterLab -laajennus.
- Dask-rinnakkaistusesimerkki CSC:n geolaskennan GitHubissa.
- STAC-esimerkki CSC:n geolaskennan GitHubissa.
- dask-image - kuvankäsittelyä Dask Arraysin avulla.
datashader - big datan renderöintiin. UUSI 2026
duckdb - analyyttisten SQL-kyselyiden nopeaan suorittamiseen.
esda - eksploratiiviseen spatiaaliseen data-analyysiin.
fiona - spatiaalisten datatiedostojen lukemiseen ja kirjoittamiseen.
geoalchemy2 - tarjoaa SQLAlchemy-laajennuksia spatiaalisten tietokantojen, ensisijaisesti PostGISin, kanssa työskentelyyn.
geocube - geopandas-vektoridatan muuntamiseen rasteroiduksi xarray-dataksi.
geodatasets spatiaalisten dataesimerkkitiedostojen lataamiseen ja välimuistiin tallentamiseen.
geopandas - GeoPandas laajentaa pandas-kirjaston käyttämiä tietotyyppejä.
geoparquet-io - nopea GeoParquet-tiedostojen lukija. UUSI 2026
geopy - asiakasohjelma useille suosituille geokoodauksen verkkopalveluille.
geoviews - maantieteellisiin visualisointeihin HoloViewsin kanssa. UUSI 2026
geo2ml - spatiaalisen datan valmisteluun koneoppimista varten.
Google Earth Engine API - katso, miten GEE-todennus määritetään.
holoviews - suurten aineistojen visualisointiin. UUSI 2026
h3pandas - heksagonaaliseen paikkatietoindeksointijärjestelmään Pandasin ja GeoPandasin kanssa.
h3-py - Python-sidokset H3:lle, joka on hierarkkinen heksagonaalinen paikkatietoindeksointijärjestelmä.
h5py - HDF5-tiedostoille. UUSI 2026
icechunk - pilvinatiivi transaktionaalinen tensoritallennusmoottori. UUSI 2026
igraph - nopeaan reititykseen. Reititysesimerkkejä CSC:n geolaskennan GitHubissa
laspy - .LAS LIDAR -tiedostojen lukemiseen, muokkaamiseen ja luomiseen.
leafmap - paikkatietoanalyysiin ja interaktiiviseen kartoitukseen Jupyter-ympäristössä.
lidar - digitaalisten korkeusmallien (DEM) pintapainanteiden sisäkkäisen hierarkian rajaamiseen.
lonboard - nopeaan, interaktiiviseen paikkatietodatan visualisointiin Jupyterissä. UUSI 2026
metpy - säätiedon lukemiseen, visualisointiin ja laskentaan.
movingpandas - trajektoriodatalle
networkx - monimutkaisten verkostojen rakenteen, dynamiikan ja toimintojen luomiseen, käsittelyyn ja tutkimiseen. Reititysesimerkkejä CSC:n geolaskennan GitHubissa
papermill - Jupyter Notebookien parametrisoimiseen ja suorittamiseen. UUSI 2026
pot - optimointiongelmien ratkaisijoita, jotka liittyvät optimaaliseen kuljetukseen signaali- ja kuvankäsittelyssä sekä koneoppimisessa. UUSI 2026
pyproj - suorittaa kartografisia muunnoksia ja geodeettisia laskentoja.
pyogrio - vektorimuotoinen spatiaalisten vektoritiedostomuotojen I/O käyttäen GDAL/OGR:ää.
obstore - nopeaan pääsyyn S3:een, Google Cloud Storageen ja Azure Storageen. UUSI 2026
odc-stac - STAC-data xarrayksi, STAC-esimerkki CSC:n geolaskennan GitHubissa. UUSI 2026
openeo - Earth observation -pilvitaustajärjestelmiin yhdistämiseen yksinkertaisella ja yhtenäisellä tavalla.
open3d - 3D-datan käsittelyyn
osmnx - spatiaalisten geometriatietojen lataamiseen sekä katuverkkojen muodostamiseen, projisointiin, visualisointiin ja analysointiin OpenStreetMapin API-rajapinnoista. Reititysesimerkkejä CSC:n geolaskennan GitHubissa
owslib - datan hakemiseen Open Geospatial Consortiumin (OGC) verkkopalveluista
pcraster - spatiotemporaaliseen ympäristömallinnukseen.
planetary-computer - tukee datan käyttöä Microsoftin Planetary Computerissa UUSI 2026
psycopg2 - PostgreSQL-tietokantasovitin Pythonille.
python-pdal - PDAL Python -laajennus lidar-datalle
pysal - spatiaalisen analyysin toimintoja.
pdal - lidar-datalle
pysheds - valuma-alueiden rajaukseen.
pystac-client - STAC-katalogien ja API-rajapintojen kanssa työskentelyyn. STAC-esimerkki CSC:n geolaskennan GitHubissa.
python-cdo - skriptausrajapinta CDO:lle (Climate Data Operators).
rasterio - pääsy paikkatietorasteridataan.
rasterstats - paikkatietorasteriaineistojen yhteenvedon tekemiseen vektorigeometrioiden perusteella. Se sisältää funktioita vyöhyketilastoihin ja interpoloituihin pistekyselyihin. rasterstats-esimerkki CSC:n geolaskennan GitHubissa
rio-cogeo - Cloud Optimized GeoTIFF (COG) -tiedostojen luomiseen.
rtree - spatiaaliseen indeksointiin ja hakuun.
r5py - nopeaan realistiseen reititykseen multimodaalisissa liikenneverkoissa, katso alta miten muisti asetetaan oikein r5py:tä varten.
shap - minkä tahansa koneoppimismallin tulosten selittämiseen. UUSI 2026
sentinelhub - uusien Sentinel Hub -palveluiden kanssa työskentelyyn.
shapely - geometristen objektien käsittelyyn ja analysointiin karteesisessa tasossa.
scikit-gstat - variogrammianalyysiin. UUSI 2026
scikit-learn - koneoppimista Pythonille. Paikkatietoon liittyvät koneoppimisharjoitukset scikit-learnilla (shallow learning)
skimage - algoritmeja kuvankäsittelyyn.
scipy - sisältää pandasin, numpyn, matplotlibin jne.
sparse - harvoille taulukoille. UUSI 2026
spectral - hyperspektrikuvadatan käsittelyyn. UUSI 2026
stackstac - STAC-data xarrayksi, STAC-esimerkki CSC:n geolaskennan GitHubissa. Tätä ei ole päivitetty viime aikoina, käytä mieluummin odc-stac.
swiftclient, keystoneclient - SWIFT-tallennuksen kanssa työskentelyyn, esimerkiksi Altaan. Allas Swift -esimerkki CSC:n geolaskennan GitHubissa.
whiteboxtools - laaja-alaiseen paikkatietodatan käsittelyyn, monet työkalut toimivat rinnakkain, katso lisätietoja CSC:n whiteboxtools-sivulta. Lisäksi Whitebox Workflows for Python.
xarray - moniulotteiselle rasteridatalle, sisältäen rioxarray. STAC-esimerkki CSC:n geolaskennan GitHubissa.
- cf_xarray - xarray-objekteissa olevien Climate and Forecast metadata convention -attribuuttien tulkintaan. UUSI 2026
- flox - nopeat GroupBy-reduktiot Xarraylle. UUSI 2026
- xarray-eopf - ESA EOPF -datatuotteiden lukemiseen Zarr-muodossa. UUSI 2026
- xarray-spatial - tehokkaita yleisiä rasterianalyysifunktioita xarraylle. xarray-spatial-esimerkki CSC:n geolaskennan GitHubissa
- xclim - ilmastoanalyysiin. UUSI 2026
xgboost - Gradient Boosting -koneoppimisalgoritmit. UUSI 2026
zarr - datan lukemiseen ja kirjoittamiseen Zarr-muotoon. UUSI 2026
Ja paljon muuta, saat täydellisen listan komennolla: list-packages

Lisäksi python-geo sisältää:

jupyter - Jupyter Notebookit ja JupyterLab. Käytä selainkäyttöliittymästä Jupyter-sovelluksella. Sisältää Dask-laajennuksen ja Resource usage -laajennuksen.
spyder - tieteellinen Python-kehitysympäristö graafisella käyttöliittymällä (samankaltainen kuin RStudio R:lle).
GDAL/OGR komentorivityökalut
GMT The Generic Mapping Tools
PDAL - Point Data Abstraction Library

Pythonissa on useita paketteja rinnakkaislaskentaan, esimerkiksi multiprocessing, joblib ja dask. Roihun Python-esimerkeissämme on esimerkkejä siitä, miten näitä eri rinnakkaistamiskirjastoja voidaan hyödyntää.

Jos mielestäsi jokin tärkeä Pythonin GIS-paketti puuttuu tästä, voit pyytää sen asennusta CSC:n asiakastuesta.

Saatavuus

python-geo-moduuli on saatavilla:

3.14.3 (Python 3.14.3, PDAL 2.10.0, GDAL 3.12.2, luotu huhtikuussa 2026), Roihu-CPU:ssa

Versionumero on sama kuin Pythonin versio.

LUMIssa python-geon nimi on geoconda

Käyttö

Yllä lueteltujen Python-pakettien ja muiden työkalujen käyttöä varten voit alustaa ne komennolla:

module load python-geo

Oletuksena ladataan uusin python-geo-moduuli. Jos haluat tietyn version, voit määrittää python-geon versionumeron:

module load python-geo/[VERSION]

Ladatun moduulin sisältämien tarkkojen pakettien ja versioiden tarkistamiseen:

list-packages

Voit lisätä python-geo-moduuliin lisää Python-paketteja noudattamalla ohjeita Pythonin käyttöoppaassamme.

Voit muokata Python-koodiasi selainkäyttöliittymässä tai LUMIn selainkäyttöliittymässä:

r5py:n muistiasetukset

r5py ei oletusarvoisesti ymmärrä oikein, kuinka paljon muistia sillä on käytettävissä supertietokoneessa, joten se täytyy määrittää käsin. Se käyttää taustalla Javaa, joten lisää ympäristömuuttuja Javalle käytettävissä olevan enimmäismuistin asettamiseksi:

export _JAVA_OPTIONS="-Xmx4g" komentorivillä ennen Pythonin käynnistämistä TAI
os.environ["_JAVA_OPTIONS"] = "-Xmx4g" Python-koodisi alussa.

Google Earth Engine -todennuksen määritys

Google Earth Engine (GEE) API:n käyttämiseen earthengine-api-paketin kanssa tarvitaan GEE-tili ja projekti. Ennen ensimmäistä käyttökertaa määritä myös GEE-todennus:

module load python-geo allas
earthengine authenticate --quiet

Tämä tulostaa pitkän linkin ja pyytää koodia. Kopioi linkki paikallisen kannettavasi verkkoselaimeen. Seuraa verkkosivun ohjeita ja kopioi lopuksi luotu koodi takaisin terminaaliin.

Altaan tai LUMI-O:n käyttäminen Pythonista

Python-geoon on asennettu kaksi Python-kirjastoa, jotka voivat olla vuorovaikutuksessa Altaan tai LUMI-O:n kanssa. Swiftclient käyttää swift-protokollaa ja boto3 käyttää S3-protokollaa. Löydät CSC:n esimerkkejä molempien käytöstä täältä.

On myös mahdollista lukea ja kirjoittaa tiedostoja Altaasta tai muusta pilviobjektitallennuksesta suoraan GDAL-pohjaisilla paketeilla, kuten geopandas ja rasterio. Katso ohjeet ja esimerkit Paikkatiedostojen käyttö suoraan pilvestä, mukaan lukien Allas -oppaastamme.

Suurten rasteridatamäärien kanssa kannattaa harkita virtuaalirasterien käyttöä.

Spatiaaliset aineistot CSC:n laskentaympäristössä

Roihussa on satoja suomalaisia paikkatietoaineistoja saatavilla paikallisesti, lisäksi niitä on lisää Altaassa ja cPoudassa. Lisätietoja kohdassa Paikkatietodata CSC:n laskentaympäristössä

Lisenssi

Kaikki paketit on lisensoitu erilaisilla vapailla ja avoimen lähdekoodin lisensseillä (FOSS), katso tarkat tiedot yllä linkitetyiltä sivuilta.

Viittaaminen

Katso viittaustiedot pakettikohtaisesti yllä linkitetyiltä pakettisivuilta.

Kiitokset

Mainitse CSC ja Geoportti julkaisuissasi; tämä on tärkeää projektin jatkuvuuden ja rahoitusraporttien kannalta. Esimerkiksi voit kirjoittaa: "The authors wish to thank CSC - IT Center for Science, Finland (urn:nbn:fi:research-infras-2016072531) and the Open Geospatial Information Infrastructure for Research (Geoportti, urn:nbn:fi:research-infras-2016072513) for computational resources and support".

Asennus

Python-geo asennettiin Roihuun käyttäen Tykkyn conda-containerize-toiminnallisuutta. LUMIssa geoconda asennettiin käyttäen LUMI container wrapperia. Työkalujen toiminnallisuus on lähes identtinen, mutta --post-valitsin on LUMI container wrapperissa --post-install. WhiteboxToolsin conda-paketti asentaa vain WhiteboxToolsin asennustyökalun, joten Whiteboxtoolsin asianmukainen asennus vaati lisäksi asennuksen jälkeisen komennon ja kansion komentorivityökalujen käärimiseen.

conda-containerize new --mamba \
  --prefix install_dir --post download_wbt \
  -w miniconda/envs/env1/lib/python3.11/site-packages/whitebox/WBT/whitebox_tools \
  python-geo_3.11.10.yml

Python-geon conda-ympäristötiedostot sekä WhiteboxToolsille tarvittavat download_wbt ja start_wbt.py ovat saatavilla CSC:n geolaskennan repositoriossa. Huomaa, että toistettavuuden varmistamiseksi sinun tulee määrittää pakettiversiot ympäristötiedostossa; ne voidaan tarkistaa list-packages-komennolla python-geo-moduulin lataamisen jälkeen.

Viitteet

CSC:n Python-rinnakkaistusesimerkit
Multiprocessing Basics
Automating GIS processes -kurssimateriaalit / Helsingin yliopisto
Aalto Spatial Analytics -kurssimateriaali / Henrikki Tenkanen / Aalto-yliopisto
Introduction to GIS Programming / Dr. Qiusheng Wu / University of Tennessee
Geographic Data Science with Python / Sergio Rey, Dani Arribas-Bel, Levi Wolf
Python Foundation for Spatial Analysis / Ujaval Gandhi