Hyppää sisältöön

Welcome to our weekly research support coffee hour on Zoom! Click here for more information.

Warning!

Puhti scratch disk is becoming very full (80+ % ) resulting in performance degradation. Everybody is advised to only keep actively processed data on scratch, all other data should be deleted, transferred to host institute or stored in Lumi-O. No new quota will be granted. Click here for a tool for examining your disk usage.

Geoconda

Geoconda on kokoelma python-paketteja, jotka helpottavat python-skriptien kehittämistä geoinformatiikan sovelluksiin. Se sisältää seuraavat python-paketit:

Lisäksi geoconda sisältää:

Pythonissa on useita paketteja rinnakkaislaskentaan, esimerkiksi multiprocessing, joblib ja dask. Puhdin Python-esimerkeissämme on esimerkkejä siitä, miten näitä eri rinnakkaistuskirjastoja voidaan hyödyntää.

Jos mielestäsi jokin tärkeä Pythonin GIS-paketti puuttuu tästä, voit pyytää sen asennusta CSC:n Service Deskiltä.

Saatavuus

geoconda-moduuli on saatavilla:

  • 3.14.3 (Python 3.14.3, PDAL 2.10.0, GDAL 3.12.2, luotu maaliskuussa 2026), Puhdissa ja Mahdissa
  • 3.12.10 (Python 3.12.10, PDAL 2.8.4, GDAL 3.10.2, luotu huhtikuussa 2025), Puhdissa.
  • 3.11.10 (Python 3.11.10, PDAL 2.8.0, GDAL 3.9.2, luotu marraskuussa 2024), Puhdissa ja LUMIssa.
  • 3.11.9 (Python 3.11.9, PDAL 2.7.2, GDAL 3.9.1, luotu elokuussa 2024), Puhdissa ja Mahdissa.
  • 3.10.9 (Python 3.10.9, PDAL 2.5.2, GDAL 3.6.2, luotu maaliskuussa 2023), Puhdissa.
  • 3.10.6 (Python 3.10.6, PDAL 2.4.1, GDAL 3.5.0, luotu syyskuussa 2022), Puhdissa ja Mahdissa.

Versionumero on sama kuin Python-versio.

Käyttö

Kun käytät LUMIa, suorita ensin tämä:

module use /appl/local/csc/modulefiles

Yllä lueteltujen Python-pakettien ja muiden työkalujen käyttöön voit alustaa ne komennolla:

module load geoconda

Oletuksena ladataan uusin geoconda-moduuli. Jos haluat tietyn version, voit määrittää geocondan versionumeron:

module load geoconda/[VERSION]

Voit tarkistaa ladattuun moduuliin sisältyvät tarkat paketit ja versiot komennolla:

list-packages

Voit lisätä lisää Python-paketteja geocondaan noudattamalla ohjeita Pythonin käyttöoppaassamme.

Voit muokata Python-koodiasi seuraavilla tavoilla:

Spyderin avaaminen Puhdin, Mahdin tai LUMIn selainkäyttöliittymässä etätyöpöydällä:

  1. Kirjaudu Puhdin tai LUMIn selainkäyttöliittymään.
  2. Avaa etätyöpöytä: Apps -> Desktop.
  3. Etätyöpöydän käynnistämisen jälkeen:
    • Puhdissa/Mahdissa avaa Terminal (Desktop-kuvake)
    • LUMIssa avaa Terminal Emulator vasemman alakulman valikosta
  4. Käynnistä spyder:
    • LUMIssa muista suorittaa ensin module use /appl/local/csc/modulefiles
module load geoconda
spyder

r5py-muistiasetukset

r5py ei oletusarvoisesti ymmärrä oikein, kuinka paljon muistia sillä on käytettävissä supertietokoneessa, joten se täytyy määrittää käsin. Se käyttää taustalla Javaa, joten lisää ympäristömuuttuja asettamaan Javalle käytettävissä oleva enimmäismuisti:

  • export _JAVA_OPTIONS="-Xmx4g" komentorivillä ennen Pythonin käynnistämistä TAI
  • os.environ["_JAVA_OPTIONS"] = "-Xmx4g" Python-koodisi alkuun.

Google Earth Engine -todennuksen määrittäminen Puhdissa

Google Earth Engine (GEE) API:n käyttämiseen earthengine-api-paketin kanssa tarvitaan GEE-tili ja projekti. Ennen ensimmäistä käyttökertaa määritä myös GEE-todennus Puhdissa:

module load geoconda
export PATH=/appl/opt/csc-cli-utils/google-cloud-sdk/bin:$PATH
earthengine authenticate

Tämä tulostaa pitkän linkin ja pyytää koodia. Kopioi linkki paikallisen kannettavasi selaimeen. Noudata verkkosivun ohjeita ja kopioi lopuksi luotu koodi takaisin terminaaliin.

Allaksen tai LUMI-O:n käyttäminen Pythonista

Geocondaan on asennettu kaksi Python-kirjastoa, jotka voivat olla yhteydessä Altaaseen tai LUMI-O:hon. Swiftclient käyttää swift-protokollaa ja boto3 käyttää S3-protokollaa. Löydät CSC:n esimerkkejä molempien käytöstä täältä.

On myös mahdollista lukea ja kirjoittaa tiedostoja suoraan Altaasta tai muusta pilviobjektitallennuksesta GDAL-pohjaisilla paketeilla, kuten geopandas ja rasterio. Katso ohjeet ja esimerkit paikkatiedostojen käyttämisestä suoraan pilvestä, mukaan lukien Allas -oppaastamme.

Suurten rasteridatamäärien kanssa kannattaa harkita virtuaalirasterien käyttöä.

Lisenssi

Kaikki paketit on lisensoitu erilaisilla vapailla ja avoimen lähdekoodin lisensseillä (FOSS), katso tarkat tiedot yllä linkitetyiltä sivuilta.

Viittaaminen

Katso viittaustiedot pakettikohtaisesti yllä linkitetyiltä pakettisivuilta.

Kiitokset

Mainitse CSC ja Geoportti julkaisuissasi; tämä on tärkeää projektin jatkuvuuden ja rahoitusraporttien kannalta. Voit esimerkiksi kirjoittaa: "The authors wish to thank CSC - IT Center for Science, Finland (urn:nbn:fi:research-infras-2016072531) and the Open Geospatial Information Infrastructure for Research (Geoportti, urn:nbn:fi:research-infras-2016072513) for computational resources and support".

Asennus

Geoconda asennettiin Puhtiin ja Mahtiin käyttäen Tykkyn conda-containerize-toiminnallisuutta. LUMIssa Geoconda asennettiin käyttäen LUMI container wrapperia. Työkalujen toiminnallisuus on lähes identtinen, mutta --post-valinta on LUMI container wrapperissa --post-install. WhiteboxToolsin conda-paketti asentaa vain WhiteboxToolsin asennustyökalun, joten WhiteboxToolsin oikea asennus vaati lisäksi asennuksen jälkeisen komennon ja kansion komentorivityökalujen käärimiseen.

conda-containerize new --mamba --prefix install_dir --post download_wbt -w miniconda/envs/env1/lib/python3.11/site-packages/whitebox/WBT/whitebox_tools geoconda_3.11.10.yml

Geocondan conda-ympäristötiedostot sekä WhiteboxToolsiin tarvittavat download_wbt ja start_wbt.py ovat saatavilla CSC:n geocomputing-repositoriossa. Huomaa, että toistettavuuden vuoksi sinun täytyy määrittää pakettiversiot ympäristötiedostossa; ne voi tarkistaa Puhdissa ja Mahdissa list-packages-komennolla geoconda-moduulin lataamisen jälkeen.

Viitteet

Suomenkielinen tekoälykäännös

Sisällössä voi esiintyä virheellistä tietoa tekoälykäännöksestä johtuen.

Klikkaa tästä antaaksesi palautetta

Ymmärrän.