Skriptien etäkehitys¶
Page undergoing cleanup after Puhti and Mahti retirement
This page contains outdated references to Puhti and/or Mahti, which have now been decommissioned. The page is undergoing changes to reflect CSC's new supercomputer Roihu.
Täällä on lohikäärmeitä!
Vaikka skriptien etäkehitys voi olla hyödyllistä, siihen liittyy varsin usein yhteysongelmia ja muita vaikeasti selvitettäviä ongelmia. Jos kohtaat ongelmia skriptien etäkehityksen aikana, emme valitettavasti voi taata, että pystymme ratkaisemaan niitä puolestasi. Erityisesti varsinaisten laskentojen ajaminen HPC-järjestelmissä etä-VS Coden kautta ei ole tuettua.
Suosittelemme käyttämään VSCode, Jupyter ja RStudio -sovelluksia, jotka ovat saatavilla supertietokoneidemme selainkäyttöliittymissä skriptaukseen tai koodin kehittämiseen HPC:llä.
Voi olla kätevää käyttää IDE:tä, kuten Visual Studio Codea, niiden skriptien muokkaamiseen ja kehittämiseen, joita ajat Puhdissa, Mahdissa tai cPoudan virtuaalikoneessa.
- Ei tarvitse käyttää komentorivin tekstieditoreja, kuten vi, vim tai nano.
- Ei tarvitse siirtää tiedostoja edestakaisin paikallisen tietokoneesi ja Puhdin/Mahdin/cPoudan välillä.
Tämä ohje sisältää joitakin VS Coden asennus- ja käyttöohjeita.
Visual Studio Code Remote SSH -liitännäisellä¶
Visual Studio Code on laajasti käytetty avoimen lähdekoodin koodieditori, jota voidaan käyttää etänä Remote SSH -laajennuksella. Se soveltuu erinomaisesti Python- ja bash-skripteille, mutta sitä voi käyttää minkä tahansa ohjelmointikielen kanssa. VS Codeen on saatavilla monia laajennuksia. Jupyter-notebookien ajamiseen suosittelemme kuitenkin ensisijaisesti käyttämään Jupyter-sovellusta, joka on saatavilla HPC:n selainkäyttöliittymissämme.
Asennus¶
Voit asentaa VS Coden tietokoneellesi VS Coden verkkosivulta ja Remote SSH -liitännäisen ohjelman Extensions-välilehdeltä.

Note
Windows-käyttäjät tarvitsevat lisäksi asennetun SSH-asiakasohjelman, sillä PuTTyä ei tueta.
Jos sinulla on järjestelmänvalvojan oikeudet, voit ottaa OpenSSH:n käyttöön Windows 10:ssä.
Jos sinulla ei ole järjestelmänvalvojan oikeuksia, voit asentaa
Git for Windowsin täältä ja määrittää VS
Coden käyttämään Gitin mukana tulevaa SSH-asiakasohjelmaa (File -> Preferences ->
Settings -> hae "Remote SSH Path" ja lisää polku omaan
ssh.exe-tiedostoosi, esim.
C:\Users\<YOUR_USER>\AppData\Local\Programs\Git\usr\bin\ssh.exe). Saatat
myös joutua poistamaan käytöstä asetuksen "useLocalServer", jos kohtaat
ongelmia, joissa VS Code käyttää Windows-käyttäjänimeäsi CSC-käyttäjänimen sijaan.
Käyttö¶
Note
Jotta voit muodostaa yhteyden CSC:n supertietokoneisiin SSH-asiakasohjelmalla, sinun on määritettävä SSH-avaimet ja lisättävä julkinen avaimesi MyCSC-portaaliin. Lue ohjeet täältä.
Kun olet määrittänyt SSH-avaimet, lisännyt julkisen avaimen MyCSC:hen ja asentanut Remote SSH -laajennuksen, siirry VS Codessa Remote Explorer -välilehdelle ja lisää uusi etäkone +-symbolista. Kun VS Code pyytää SSH-komentoa, kirjoita
Lisäksi sinun täytyy valita asetustiedosto, johon yhteys tallennetaan.

Katso myös Remember hosts and advanced settings -osio VS Coden dokumentaatiosta lisätietoja varten.
Tämän jälkeen voit muodostaa yhteyden uuteen isäntään.

Olet nyt Puhdissa ja voit avata kansion ja muokata tiedostoja etänä. Huomaa, että voit myös siirtää tiedostoja Puhtiin/Mahtiin vetämällä ja pudottamalla ne VS Codeen.
Note
VS Coden uusimmat versiot voivat antaa muistin loppumiseen liittyvän virheen, kun yrität muodostaa yhteyden CSC:n supertietokoneisiin. Katso tästä UKK:sta väliaikaisia ratkaisuja.
CSC:n ohjelmistoympäristöjen määrittäminen VS Code Remote SSH:ssa¶
Koska ohjelmistoympäristöjen lataamiseen käytetään module -järjestelmää ja singularity-kontteja, VS Code Remote SSH -laajennus ei joskus pysty tunnistamaan asennettuja ohjelmistoja oikein, erityisesti Python-ympäristöissä. Tämä tarkoittaa, että esimerkiksi koodin täydennysvihjeet ja monet muut kätevät ominaisuudet eivät toimi. Jotta VS Code voi ottaa nämä käyttöön, tarvitaan lisämäärityksiä.
Tämä edellyttää yleensä SSH:n etäkomennon suorittamista yhteyden muodostamisen yhteydessä, ja tarvittavat komennot vaihtelevat käyttötapauksen mukaan – tarkemmat tiedot muutamasta esimerkistä on lueteltu alla. Kaikissa tapauksissa sinun täytyy kuitenkin
-
Ottaa etäkomennot käyttöön Visual Studio Code Remote-SSH -laajennuksessa:
Avaa asetusnäkymä (Ctrl ,) ja kirjoita hakukenttään "enable remote command". AsetuksenEnable Remote Commandpitäisi näkyä ensimmäisenä hakutuloksena. Varmista, että se on käytössä (näyttää valintamerkin).
-
Määrittää yhteys etäkomennolla SSH-asetustiedostossasi:
Avaa SSH-asetustiedosto (Ctrl Shift ptaiF1) ja kirjoitassh configuration, jolloinRemote-SSH: Open SSH Configuration Filepitäisi näkyä ensimmäisenä tuloksena. Napsauta sitä. -
Lisää nyt avattuun tiedostoon uusi lohko seuraavan mallin mukaan ja tallenna tiedosto:
Muuta HostName vastaamaan järjestelmää, johon haluat muodostaa yhteyden. Voit vapaasti
valita tunnisteen Host-sanan jälkeen (puhti-software-environment), ja tällä nimellä se näkyy
VS Code Remote SSH -laajennuksen etäisäntävalinnassa, kun muodostat yhteyden. Suosittelemme
antamaan jokaiselle käyttämällesi järjestelmän ja ohjelmistoympäristön yhdistelmälle helposti
tunnistettavan nimen (esim. puhti-pytorch). Jos olet tallentanut SSH-avaimesi muuhun kuin
oletussijaintiin, lisää yllä näkyvään isäntälohkoon myös
IdentityFile <path_to_your_keyfile>.
CSC-moduulien lataaminen¶
Voit ladata moduulin VS Coden etäyhteyteen seuraavalla
remote_command-komennolla:
LUMIssa sinun täytyy sen sijaan käyttää
<your_module> on moduuli (tai moduulit), jonka haluat ladata, esimerkiksi pytorch.
Note
Yllä olevan remote_command-komennon osa singularity_wrapper shell olettaa,
että moduuli on rakennettu singularity-kontilla, mikä pitää paikkansa useimmissa tapauksissa.
Jos tämä ei kuitenkaan toimi, kokeile korvata se komennolla bash.
CSC-moduulien lataaminen lisäpaketeilla (Python)¶
Jos ympäristösi perustuu CSC-moduuliin, mutta olet asentanut sen päälle joitakin
lisäpaketteja joko venv:llä tai komennolla pip install --user (katso myös
Pythonin käyttöopas),
sinun tulee käyttää seuraavaa remote_command-komentoa (Puhdissa/Mahdissa):
-
pip-asennus mukautettuunPYTHONUSERBASE-hakemistoon:
Lisääexport PYTHONUSERBASE=<your_pip_user_base_dir>;ennensingularity_wrapper shell-osaa, eli Puhdissa/Mahdissaremote_commandmuuttuu muotoon: -
venv:
Lisääexport APPTAINERENV_PREPEND_PATH='<your_venv_dir>/bin/'ennensingularity_wrapper shell-osaa – saatat myös joutua valitsemaan VS Coden käyttämän Python-tulkin venvin tarjoamaksi tulkiksi.
Note
Valitettavasti venv-tuki on tällä hetkellä rajoitettu ympäristöihin,
jotka on perustettu singularity-kontin sisältä. Luo venv seuraavasti
järjestelmän terminaalissa:
- Lataa vastaava (perus)moduuli:
module load <your_module> - Siirry kontin ympäristöön:
singularity_wrapper shell - Luo virtuaaliympäristö:
python -m venv --system-site-packages <path_where_to_create_the_venv_directory>
Vaihe 2 on ratkaisevan tärkeä – jos luot venv-ympäristön kontin ulkopuolella, se
ei toimi kontin sisällä eikä siten myöskään yllä kuvatun VS Coden etäasetelman kanssa.
Tykky-konttien lataaminen (Python)¶
Jos haluat muodostaa yhteyden mukautettuun Python-ympäristökonttiin, joka on luotu
Tykky-konttikääreellä, käytä seuraavaa
remote_command-komentoa:
missä <tykky_installation_dir> on polku, johon Tykky-ympäristö on asennettu.
Kun olet muodostanut yhteyden etäympäristöön VS Codessa, integroidun terminaalin kehoterivin pitäisi näyttää tältä:
mikä osoittaa, että käytössäsi on komentotulkki Tykky-kontin sisällä.
Lopuksi sinun täytyy
valita VS Coden käyttämä Python-tulkki
muodossa /<SYSTEM>_TYKKY_*/miniconda/envs/env1/bin/python, missä <SYSTEM> on
paikkamerkki arvolle PUHTI, MAHTI, LUMI ja * jollekin satunnaismerkkijonolle.

Note
Et voi muokata kontin sisältöä tämän VS Coden etäyhteyden kautta, mukaan lukien uusien pakettien asentaminen pipillä tai condalla. Muokkaa konttia Tykyn ohjeiden mukaisesti tämän määritetyn VS Coden etäyhteyden ulkopuolella.
Koodin ajaminen¶
Älä aja laskentaa HPC:llä VS Coden Terminal-välilehdeltä tai käyttämällä VS Coden debuggaimia. Tällöin koodi ajettaisiin oletuksena kirjautumissolmulla, jota ei ole tarkoitettu vaativaan laskentaan. Asetelma on myös yleisesti ottaen hauras.
VSCode Remote Tunnels¶
VSCode tarjoaa myös Remote Tunnel -ominaisuuden vaihtoehtona SSH:lle. VSCode dev tunnels -ominaisuus on tietoturvasyistä tarkoituksella poistettu käytöstä Puhdissa ja Mahdissa, sillä se antaisi kolmannelle osapuolelle mahdollisuuden hallita pääsyä CSC:n supertietokoneisiin. Suosittelemme käyttämään sen sijaan Remote SSH -ominaisuutta (dokumentoitu yllä).