-
Python-geo
Python-geo
Python-geo on kokoelma Python-paketteja, jotka helpottavat Python-skriptien kehittämistä geoinformatiikan sovelluksiin. Se sisältää seuraavat Python-paketit:
- access - resurssien spatiaalisen saavutettavuuden laskentaan.
- async-tiff - nopea TIFF-tiedostojen lukija. UUSI 2026
- boto3 - tiedostojen käsittelyyn S3-tallennuksessa, esimerkiksi Altaassa. Allas S3 -esimerkki CSC:n geolaskennan GitHubissa.
- cartopy - karttojen piirtämiseen.
- cdsapi - pääsy Copernicus Climate Data Storeen. UUSI 2026
- cfgrib - GRIB-tiedostojen yhdistämiseen NetCDF Common Data Modeliin
- contextily - karttatiilien hakemiseen internetistä.
- copc-lib - luku- ja kirjoitusrajapinta Cloud Optimized Point Clouds (COPC) -aineistoille
- dask - tarjoaa edistynyttä rinnakkaisuutta analytiikkaan mahdollistaen suorituskyvyn suuressa mittakaavassa, mukaan lukien dask-geopandas, Dask-ML ja Dask JupyterLab -laajennus.
- Dask-rinnakkaistusesimerkki CSC:n geolaskennan GitHubissa.
- STAC-esimerkki CSC:n geolaskennan GitHubissa.
- dask-image - kuvankäsittelyyn Dask Arraysin avulla.
- datashader - big datan renderöintiin. UUSI 2026
- duckdb - analyyttisten SQL-kyselyiden nopeaan suorittamiseen.
- esda - eksploratiiviseen spatiaaliseen data-analyysiin.
- fiona - spatiaalisten datatiedostojen lukemiseen ja kirjoittamiseen.
- geoalchemy2 - tarjoaa SQLAlchemy-laajennuksia spatiaalisten tietokantojen, ensisijaisesti PostGISin, käyttöön.
- geocube - geopandas-vektoridatan muuntamiseen rasteroiduksi xarray-dataksi.
- geodatasets spatiaalisten dataesimerkkitiedostojen lataamiseen ja välimuistiin tallentamiseen.
- geopandas - GeoPandas laajentaa pandas-kirjaston käyttämiä tietotyyppejä.
- geoparquet-io - nopea GeoParquet-tiedostojen lukija. UUSI 2026
- geopy - asiakasohjelma useille suosituille geokoodauksen selainkäyttöliittymäpalveluille.
- geoviews - maantieteellisiin visualisointeihin HoloViewsin kanssa. UUSI 2026
- geo2ml - spatiaalisen datan valmisteluun koneoppimista varten.
- Google Earth Engine API - katso, miten GEE-todennus määritetään.
- holoviews - suurten aineistojen piirtämiseen. UUSI 2026
- h3pandas - heksagonaaliseen paikkatietoindeksointijärjestelmään Pandasin ja GeoPandasin kanssa.
- h3-py - Python-sidokset H3:lle, joka on hierarkkinen heksagonaalinen paikkatietoindeksointijärjestelmä.
- h5py - HDF5-tiedostoille. UUSI 2026
- icechunk - pilvinatiivi transaktionaalinen tensoritallennusmoottori. UUSI 2026
- igraph - nopeaan reititykseen. Reititysesimerkkejä CSC:n geolaskennan GitHubissa
- laspy - .LAS LIDAR -tiedostojen lukemiseen, muokkaamiseen ja luomiseen.
- leafmap - paikkatietoanalyysiin ja interaktiiviseen kartoitukseen Jupyter-ympäristössä.
- lidar - pinnan painaumien sisäkkäisen hierarkian rajaamiseen digitaalisissa korkeusmalleissa (DEM).
- lonboard - nopeaan, interaktiiviseen paikkatietodatan visualisointiin Jupyterissa. UUSI 2026
- metpy - säätiedon lukemiseen, visualisointiin ja laskentaan.
- movingpandas - trajektoriodatalle
- networkx - monimutkaisten verkostojen rakenteen, dynamiikan ja toimintojen luomiseen, käsittelyyn ja tutkimiseen. Reititysesimerkkejä CSC:n geolaskennan GitHubissa
- papermill - Jupyter Notebookien parametrisoimiseen ja suorittamiseen. UUSI 2026
- pot - ratkaisijoita optimointiongelmiin, jotka liittyvät optimaaliseen kuljetukseen signaali-, kuvankäsittely- ja koneoppimissovelluksissa. UUSI 2026
- pyproj - suorittaa kartografisia muunnoksia ja geodeettisia laskentoja.
- pyogrio - vektorimuotoinen spatiaalisten vektoritiedostomuotojen I/O käyttäen GDAL/OGR:ää.
- obstore - nopeaan pääsyyn S3:een, Google Cloud Storageen ja Azure Storageen. UUSI 2026
- odc-stac - STAC-datan muuntamiseen xarrayksi, STAC-esimerkki CSC:n geolaskennan GitHubissa. UUSI 2026
- openeo - yhteyden muodostamiseen Earth observation -pilvitaustajärjestelmiin yksinkertaisella ja yhtenäisellä tavalla.
- open3d - 3D-datan käsittelyyn
- osmnx - spatiaalisten geometrioiden lataamiseen sekä katuverkkojen muodostamiseen, projisointiin, visualisointiin ja analysointiin OpenStreetMapin API-rajapinnoista. Reititysesimerkkejä CSC:n geolaskennan GitHubissa
- owslib - datan hakemiseen Open Geospatial Consortiumin (OGC) selainkäyttöliittymäpalveluista
- pcraster - spatiotemporaaliseen ympäristömallinnukseen.
- planetary-computer - tukee datan käyttöä Microsoftin Planetary Computerissa UUSI 2026
- psycopg2 - PostgreSQL-tietokantasovitin Pythonille.
- python-pdal - PDAL Python -laajennus lidar-dataa varten
- pysal - spatiaalisen analyysin toimintoja.
- pdal - lidar-dataa varten
- pysheds - valuma-alueiden rajaukseen.
- pystac-client - STAC-katalogien ja API-rajapintojen käyttöön. STAC-esimerkki CSC:n geolaskennan GitHubissa.
- python-cdo - skriptausrajapinta CDO:lle (Climate Data Operators).
- rasterio - pääsy paikkatietorasteridataan.
- rasterstats - paikkatietorasteriaineistojen yhteenvedon tekemiseen vektorigeometrioiden perusteella. Se sisältää funktioita vyöhyketilastoihin ja interpoloituihin pistekyselyihin. rasterstats-esimerkki CSC:n geolaskennan GitHubissa
- rio-cogeo - Cloud Optimized GeoTIFF (COG) -tiedostojen luomiseen.
- rtree - spatiaaliseen indeksointiin ja hakuun.
- r5py - nopeaan realistiseen reititykseen multimodaalisissa liikenneverkoissa, katso alta miten muisti asetetaan oikein r5py:tä varten.
- shap - minkä tahansa koneoppimismallin tulosten selittämiseen. UUSI 2026
- sentinelhub - uusien Sentinel Hub -palveluiden käyttöön.
- shapely - geometristen objektien käsittelyyn ja analysointiin karteesisessa tasossa.
- scikit-gstat - variogrammianalyysiin. UUSI 2026
- scikit-learn - koneoppimista Pythonille. Paikkatietoon liittyvät scikit-learn-koneoppimisharjoitukset (shallow learning)
- skimage - algoritmeja kuvankäsittelyyn.
- scipy - sisältää pandasin, numpyn, matplotlibin jne.
- sparse - harvoille taulukoille. UUSI 2026
- spectral - hyperspektrikuvadatan käsittelyyn. UUSI 2026
- stackstac - STAC-datan muuntamiseen xarrayksi, STAC-esimerkki CSC:n geolaskennan GitHubissa. Tätä ei ole päivitetty viime aikoina, käytä mieluummin
odc-stac. - swiftclient, keystoneclient - tiedostojen käsittelyyn SWIFT-tallennuksessa, esimerkiksi Altaassa. Allas Swift -esimerkki CSC:n geolaskennan GitHubissa.
- whiteboxtools - laaja-alaiseen paikkatietodatan käsittelyyn, monet työkalut toimivat rinnakkain, katso lisätietoja CSC:n whiteboxtools-sivulta. Lisäksi Whitebox Workflows for Python.
- xarray - moniulotteiselle rasteridatalle, sisältää rioxarray. STAC-esimerkki CSC:n geolaskennan GitHubissa.
- cf_xarray - xarray-objekteissa olevien Climate and Forecast -metadatakonvention attribuuttien tulkintaan. UUSI 2026
- flox - nopeat GroupBy-reduktiot Xarraylle. UUSI 2026
- xarray-eopf - ESA EOPF -datatuotteiden lukemiseen Zarr-muodossa. UUSI 2026
- xarray-spatial - tehokkaat yleiset rasterianalyysifunktiot xarraylle. xarray-spatial-esimerkki CSC:n geolaskennan GitHubissa
- xclim - ilmastoanalyysiin. UUSI 2026
- xgboost - Gradient Boosting -koneoppimisalgoritmit. UUSI 2026
-
zarr - datan lukemiseen ja kirjoittamiseen Zarr-muotoon. UUSI 2026
-
Ja paljon muuta, täydellisen listan saat komennolla:
list-packages
Lisäksi python-geo sisältää:
- jupyter - Jupyter Notebookit ja JupyterLabin. Käytä selainkäyttöliittymästä Jupyter-sovelluksella. Sisältää Dask-laajennuksen ja Resource usage -laajennuksen.
- spyder - tieteellinen Python-kehitysympäristö graafisella käyttöliittymällä (samankaltainen kuin RStudio R:lle).
- GDAL/OGR komentorivityökalut
- GMT The Generic Mapping Tools
- PDAL - Point Data Abstraction Library
Pythonissa on useita paketteja rinnakkaislaskentaan, esimerkiksi multiprocessing, joblib ja dask. Puhdin Python-esimerkeissämme on esimerkkejä siitä, miten näitä eri rinnakkaistamiskirjastoja voidaan hyödyntää.
Jos mielestäsi jokin tärkeä Pythonin GIS-paketti puuttuu tästä, voit pyytää sen asennusta CSC:n asiakastuesta.
Saatavuus
python-geo-moduuli on saatavilla:
- 3.14.3 (Python 3.14.3, PDAL 2.10.0, GDAL 3.12.2, luotu huhtikuussa 2026), Roihu-CPU:ssa
Versionumero on sama kuin Pythonin versio.
Puhdissa, Mahdissa ja LUMIssa python-geon nimi on geoconda
Käyttö
Yllä lueteltujen Python-pakettien ja muiden työkalujen käyttöä varten voit alustaa ne komennolla:
Oletuksena ladataan uusin python-geo-moduuli. Jos haluat tietyn version, voit määrittää python-geon versionumeron:
Ladatun moduulin sisältämien tarkkojen pakettien ja versioiden tarkistamiseen:
Voit lisätä lisää Python-paketteja python-geo-moduuliin noudattamalla ohjeita
Pythonin käyttöoppaassamme.
Voit muokata Python-koodiasi selainkäyttöliittymässä tai LUMIn selainkäyttöliittymässä:
r5py:n muistiasetukset
r5py ei oletusarvoisesti ymmärrä oikein, kuinka paljon muistia sillä on käytettävissä supertietokoneessa, joten se täytyy määrittää käsin. Se käyttää taustalla Javaa, joten lisää ympäristömuuttuja asettamaan Javalle käytettävissä oleva enimmäismuisti:
export _JAVA_OPTIONS="-Xmx4g"komentoriviltä ennen Pythonin käynnistämistä TAIos.environ["_JAVA_OPTIONS"] = "-Xmx4g"Python-koodisi alkuun.
Google Earth Engine -todennuksen määritys
Google Earth Engine (GEE) API:n käyttöön earthengine-api-paketin kanssa tarvitaan GEE-tili ja projekti. Ennen ensimmäistä käyttökertaa määritä myös GEE-todennus:
Tämä tulostaa pitkän linkin ja pyytää koodia. Kopioi linkki paikallisen kannettavasi selainohjelmaan. Noudata verkkosivun ohjeita ja kopioi lopuksi luotu koodi takaisin terminaaliin.
Allaksen tai LUMI-O:n käyttö Pythonista
Python-geoon on asennettu kaksi Python-kirjastoa, jotka voivat olla vuorovaikutuksessa Allaksen tai LUMI-O:n kanssa. Swiftclient käyttää swift-protokollaa ja boto3 käyttää S3-protokollaa. Löydät CSC:n esimerkkejä molempien käytöstä täältä.
On myös mahdollista lukea ja kirjoittaa tiedostoja Allaksesta ja Altaaseen tai muuhun pilviobjektitallennukseen suoraan GDAL-pohjaisilla paketeilla, kuten geopandas ja rasterio. Katso ohjeet ja esimerkit Paikkatiedostojen käyttö suoraan pilvestä, ml. Allas -oppaastamme.
Suurten rasteridatamäärien kanssa kannattaa harkita virtuaalirasterien käyttöä.
Lisenssi
Kaikki paketit on lisensoitu erilaisilla vapailla ja avoimen lähdekoodin lisensseillä (FOSS), katso tarkat tiedot yllä linkitetyiltä sivuilta.
Viittaus
Katso viittaustiedot pakettikohtaisesti yllä linkitetyiltä pakettisivuilta.
Kiitokset
Mainitse CSC ja Geoportti julkaisuissasi; tämä on tärkeää projektin jatkuvuuden ja rahoitusraporttien kannalta. Voit kirjoittaa esimerkiksi: "The authors wish to thank CSC - IT Center for Science, Finland (urn:nbn:fi:research-infras-2016072531) and the Open Geospatial Information Infrastructure for Research (Geoportti, urn:nbn:fi:research-infras-2016072513) for computational resources and support".
Asennus
Python-geo asennettiin Roihuun käyttäen Tykkyn conda-containerize-toiminnallisuutta. LUMIssa geoconda asennettiin käyttäen LUMI container wrapperia. Työkalujen toiminnallisuus on lähes identtinen, mutta --post-valinta on --post-install LUMI container wrapperissa. WhiteboxToolsin conda-paketti asentaa vain WhiteboxToolsin asennustyökalun, joten Whiteboxtoolsin asianmukaiseen asennukseen tarvittiin lisäksi asennuksen jälkeinen komento ja kansio komentorivityökalujen käärimiseen.
conda-containerize new --mamba \
--prefix install_dir --post download_wbt \
-w miniconda/envs/env1/lib/python3.11/site-packages/whitebox/WBT/whitebox_tools \
python-geo_3.11.10.yml
Python-geon conda-ympäristötiedostot sekä WhiteboxToolsille tarvittavat download_wbt ja start_wbt.py ovat saatavilla CSC:n geolaskennan repositoriossa. Huomaa, että toistettavuuden vuoksi sinun täytyy määrittää pakettiversiot ympäristötiedostossa, ja ne voidaan tarkistaa list-packages-komennolla python-geo-moduulin lataamisen jälkeen.
Viitteet
- CSC:n Python-rinnakkaistusesimerkit
- Multiprocessing Basics
- Automating GIS processes -kurssimateriaalit / Helsingin yliopisto
- Aalto Spatial Analytics -kurssimateriaali / Henrikki Tenkanen, Aalto-yliopisto
- Introduction to GIS Programming / Dr. Qiusheng Wu, University of Tennessee
- Geographic Data Science with Python / Sergio Rey, Dani Arribas-Bel, Levi Wolf
- Python Foundation for Spatial Analysis / Ujaval Gandhi