Kuinka saavuttaa parempi I/O-suorituskyky Lustressa¶
Page undergoing cleanup after Puhti and Mahti retirement
This page contains outdated references to Puhti and/or Mahti, which have now been decommissioned. The page is undergoing changes to reflect CSC's new supercomputer Roihu.
Tässä oppaassa käsittelemme rinnakkaisen I/O:n teknisiä yksityiskohtia ja annamme esimerkkejä paremman suorituskyvyn saavuttamiseksi. Katso myös Lustren tiedostojärjestelmän tekninen kuvaus CSC:n supertietokoneissa käytetystä Lustre-tiedostojärjestelmästä.
MPI-I/O¶
Kun rinnakkaista I/O:ta tehdään MPI:llä (tai kirjastoilla, jotka käyttävät taustalla MPI-IO:ta), levyä voidaan käyttää joko itsenäisesti tai kollektiivisesti. Itsenäisessä I/O:ssa jokainen MPI-prosessi käyttää tiedostojärjestelmää suoraan, kun taas kollektiivisessa I/O:ssa MPI-ajonaikainen ympäristö kokoaa/hajauttaa dataa joukon aggregaattori-I/O-tehtävien kautta. Kollektiivinen I/O tarjoaa tyypillisesti huomattavasti suuremman kaistanleveyden kuin itsenäinen I/O.
- Esimerkki: 8 MPI-prosessia, 4 MPI-prosessia laskentasolmua kohti, kollektiivinen I/O, kaikki prosessit kirjoittavat samaan tiedostoon.

Esimerkki MPI-IO-aggregaattoreista
I/O:n parantaminen ROMIO-vihjeillä¶
Oletuksena kollektiivisessa I/O:ssa Mahtin OpenMPI käyttää yhtä MPI I/O -aggregaattoria laskentasolmua kohti. Tämä tarkoittaa, että yllä olevassa esimerkissämme vain 2 MPI-prosessia tekevät varsinaisen I/O:n. Ne keräävät datan muilta prosesseilta (vaihe 1), ja toisessa vaiheessa ne lähettävät datan tallennusjärjestelmään. Oletusarvoisten MPI-aggregaattorien käyttö voi riittää, mutta monissa tapauksissa ei riitä. Aggregaattorien määrää solmua kohti sekä joitakin muita I/O:hon vaikuttavia parametreja voidaan säätää ROMIO-vihjeillä.
Saatavilla olevat vihjeet kollektiiviseen puskurointiin (kaksivaiheinen I/O), painopisteenä Lustre:
| Hint | Description |
|---|---|
| cb_buffer_size | Kaksivaiheisessa kollektiivisessa I/O:ssa käytettävän välipuskurin koko tavuina |
| romio_cb_read | Kollektiiviset lukuoperaatiot kollektiivisen puskuroinnin aikana, arvot: enable, disable, automatic |
| romio_cb_write | Kollektiiviset kirjoitusoperaatiot kollektiivisen puskuroinnin aikana, arvot: enable, disable, automatic |
| romio_no_indep_rw | Määrittää, onko itsenäinen luku/kirjoitus käytössä vai ei, arvot: enable, disable, automatic |
| cb_config_list | Määrittää, kuinka monta MPI I/O -aggregaattoria voidaan käyttää solmua kohti, arvot: *:X, missä X aggregaattoria per laskentasolmu |
| cb_nodes | Käytettävien aggregaattorien enimmäismäärä |
Kuinka voin muuttaa MPI I/O -vihjeitä?¶
Vihjeet voidaan määritellä tekstitiedostossa. Esimerkiksi MPI I/O -aggregaattorien määrä solmua kohti asetetaan kahteen näin:
Lisäksi ympäristömuuttuja ROMIO_HINTS täytyy asettaa
eräajotyöskriptissäsi:
Vihjeet voidaan asettaa myös sovelluskoodissa:
...
call MPI_Info_create(info,ierror)
call MPI_Info_set(info,'romio_cb_write','enable',ierror)
...
call MPI_File_open(comm,filename,amode,info,fh,ierror)
...
Jotta voit tarkistaa, että määrityksesi todella otettiin käyttöön, käytetyt vihjeet ja niiden arvot voidaan näyttää asettamalla eräajotyöskriptiin:
Jos, ja vain jos, käytössä on kollektiivinen I/O, vihjeet tulostetaan työn vakiotulosteeseen, esimerkiksi:
key = cb_buffer_size value = 33554432
key = romio_cb_read value = enable
key = romio_cb_write value = enable
key = cb_nodes value = 64
key = romio_no_indep_rw value = false
key = romio_cb_pfr value = disable
...
Tiedosto per prosessi¶
Jotkin sovellukset luovat yhden tiedoston jokaista MPI-prosessia kohti. Vaikka tämä on helppo toteuttaa, se ei välttämättä ole tehokasta. Jos käytät paljon prosesseja laskentasolmua kohti, voi syntyä kilpailua sekä solmun verkosta (koska kaikkien prosessien täytyy käyttää tiedostojärjestelmää) että varsinaisista I/O-operaatioista. Joissakin tapauksissa tiedosto per prosessi voi olla tehokas lähestymistapa, mutta ole aina varovainen ja mieti skaalautuvuutta, sillä tämä lähestymistapa ei skaalaudu.

Tiedosto per prosessi
Vertailutesti - NAS BTIO¶
Estävä I/O¶
Testaustarkoituksiin käytämme NAS BTIO -vertailutestiä, jossa on PnetCDF-tuki, testataksemme I/O-suorituskykyä Mahtin 16 laskentasolmulla.
Luomme syötetiedoston seuraavasti:
w # IO mode: w for write, r for read
2 # IO method: 0 for MPI collective I/O, 1 for MPI_independent I/O,
# 2 for PnetCDF blocking I/O, 3 for PnetCDF nonblocking I/O
5 # number of time steps
2048 1024 256 # grid_points(1), grid_points(2), grid_points(3)
/scratch/project_xxxxx/BTIO/output # output filew
Tämä tarkoittaa, että teemme kirjoitusoperaatioita estävällä PnetCDF:llä, 5 aika-askeleella ja yhteensä lähes puolella miljardilla hilapisteellä. Tulostiedosto on lähes 105 GB. Käytämme 256 prosessia, 16 per laskentasolmu.
Suoritettaessa oletusasetuksilla vertailutestin tulosteesta saadaan:
Juovitus¶
Tiedämme, että Lustren juovakoko on 1 MB, joten asetamme tämän tiedostoon
nimeltä romio
ja annamme ROMIO-vihjeen:
Kun suoritamme vertailutestin uudelleen, saamme:
Suorituskyky paranee kertoimella 2,27.
MPI I/O -aggregaattorit¶
Oletuksena käytössä on yksi MPI I/O -aggregaattori laskentasolmua kohti, joten
lisäämme määrän kahteen lisäämällä romio-tiedostoon:
Kun suoritamme vertailutestin uudelleen, saamme nyt:
Suorituskyky on parantunut yhteensä kertoimella 2,86.
Lustren OST-kohteiden määrän kasvattaminen¶
Jos käytämme kahta Lustren OST-kohdetta ilman ROMIO-vihjeitä, suorituskyky on 3500 MiB/s, mikä on vähemmän kuin edellinen tulos.
Kun käytetään 2:ta OST-kohdetta romio-tiedoston kanssa
suorituskyky kasvaa 4667 MiB/s:iin, eli 33 %. Tässä tapauksessa aggregaattorien määrän kasvattaminen ei paranna suorituskykyä.
Yleisesti ottaen ROMIO-vihjeiden vaikutus riippuu sovelluksesta ja käytetystä laitteistosta; optimaaliset parametrit eivät välttämättä ole samoja eri sovelluksissa.
Estämätön I/O¶
Luomme syötetiedoston estämättömälle PnetCDF:lle seuraavasti:
w # IO mode: w for write, r for read
3 # IO method: 0 for MPI collective I/O, 1 for MPI_independent I/O,
# 2 for PnetCDF blocking I/O, 3 for PnetCDF nonblocking I/O
5 # number of time steps
2048 1024 256 # grid_points(1), grid_points(2), grid_points(3)
/scratch/project_xxxxx/BTIO/output # output file
ROMIO:n oletusparametreilla suorituskyky on 1820 MiB/s yhdellä OST-kohteella, mikä on varsin alhainen 16 laskentasolmulle.
Seuraavaksi määritämme romio-tiedoston:
Saavutettu suorituskyky on 4565 MiB/s, mikä on 2,5-kertainen parannus.
Jos käytämme 2:ta OST-kohdetta samalla romio-tiedostolla, suorituskyky on
9520 MiB/s, mikä on yli kaksinkertainen verrattuna yhteen OST-kohteeseen ja
yli kaksinkertainen verrattuna estävään I/O:hon. Oletusparametreilla
saavutettu suorituskyky olisi 7772 MiB/s, joten vihjeet parantavat
suorituskykyä 22,5 %.