Hyppää sisältöön

Welcome to our weekly research support coffee hour on Zoom! Click here for more information.

Warning!

Puhti scratch disk is becoming very full (80+ % ) resulting in performance degradation. Everybody is advised to only keep actively processed data on scratch, all other data should be deleted, transferred to host institute or stored in Lumi-O. No new quota will be granted. Click here for a tool for examining your disk usage.

Alkuun pääseminen

CSC käyttää eräajojärjestelmää laskentatehtävien ajoittamiseen ja suorittamiseen supertietokoneillamme.

Tyypillisesti eräajo lataa ensin ohjelmistoympäristön käyttäen moduulijärjestelmää ja suorittaa sitten ohjelman laskennan tekemistä varten. Tärkeää on, että eräajossa on myös määriteltävä suoritukseen tarvittavat resurssit (ajoaika, muisti, ytimet jne.). Eri Slurm-osioissa on tarjolla erilaisia resurssityyppejä ja -määriä.

Tässä osiossa esitellään eräajojen luomisen ja lähettämisen perusteet CSC:n Slurm-eräajojärjestelmällä.

CSC:n eräajojärjestelmän keskeiset käsitteet

  1. Työt eivät käynnisty heti, vaan ne asetetaan jonoon.
    • Työt suoritetaan, kun resursseja on saatavilla. Käynnistymisaika riippuu myös työsi prioriteettipisteistä.
    • Työn prioriteettipisteet ovat olemassa, jotta laskentaresurssit jakautuvat oikeudenmukaisesti kaikkien klusterin käyttäjien kesken. Suuren työmäärän ajaminen pienentää töidesi alkuperäisiä prioriteettipisteitä. Prioriteettipisteet kasvavat sitten vähitellen, kun työ odottaa jonossa.
  2. Työn käynnistymisaikaa ei voida ennustaa tarkasti.
    • Se riippuu voimakkaasti kaikkien muiden käyttäjien töiden todellisista ajoajoista ja siitä, lähetetäänkö uusia töitä. Katso UKK.
  3. Laskentaresurssit (esim. ajoaika, muisti, ytimien määrä) pyydetään erikseen.
    • Jos varattu aika tai muistirajat ylittyvät, työ lopetetaan automaattisesti!
  4. Resursseja väärinkäyttävät työt lopetetaan ilman varoitusta.
    • Varmista aina, että työsi sopivat käyttämääsi osioon (jonoon). Älä esimerkiksi aja GPU-osiossa, jos et pyydä GPU-resursseja eräajossasi. Katso käytettävissä olevat eräajo-osiot.
    • Varmista aina, että työsi todella käyttää pyytämiäsi resursseja. Älä esimerkiksi pyydä useita CPU-ytimiä, jos työsi pystyy käyttämään vain yhtä. Älä myöskään pyydä kymmenkertaista määrää muistia siihen nähden, mitä todella tarvitset. Katso UKK.
    • Interaktiiviset tehtävät (muut kuin kääntäminen, datan siirtäminen sekä kevyt esi- ja jälkikäsittely) tulee tehdä eräajojärjestelmän kautta, ei kirjautumissolmuilla.
    • Katso lisätietoja käyttöehdoista.

Aloittaaksesi sovelluksesi ajamisen CSC:n supertietokoneilla:

  1. Käytettävissä olevat eräajo-osiot
  2. Eräajoskriptin luominen Puhdissa
  3. Eräajoskriptin luominen Mahdissa
  4. Lähetä eräajo
  5. Suorituskyvyn tarkistuslista

Jos Slurm on sinulle jo ennestään tuttu, tutustu Puhtin esimerkkieräajoskripteihin tai Mahdin esimerkkieräajoskripteihin.

Alkuun pääseminen LUMIssa

Katso LUMI-dokumentaatiosta, miten pääset alkuun töiden ajamisessa LUMI-supertietokoneella. LUMI käyttää myös Slurm-eräjono-järjestelmää, joten CSC:n supertietokoneilla ja LUMIssa ajamisen erot ovat vähäisiä.

Suomenkielinen tekoälykäännös

Sisällössä voi esiintyä virheellistä tietoa tekoälykäännöksestä johtuen.

Klikkaa tästä antaaksesi palautetta