BeeGFS 8.3 -tiedostojärjestelmän käyttöönotto

Tässä osiossa opit, miten BeeGFS-tiedostojärjestelmä asennetaan Poutaan.

Tämä käyttöönottopas on testattu AlmaLinux 9:llä.

Mikä on BeeGFS

BeeGFS on kehitetty vahvasti suorituskykyyn keskittyen, ja se on suunniteltu helppokäyttöiseksi sekä yksinkertaiseksi asentaa ja hallita. Se on yksi johtavista rinnakkaisista tiedostojärjestelmistä, jonka suosio kasvaa jatkuvasti käyttäjäyhteisössä. BeeGFS on kehittynyt maailmanlaajuisesti arvostetuksi tiedostojärjestelmäksi, joka tarjoaa maksimaalisen suorituskyvyn, skaalautuvuuden, suuren joustavuuden ja toimintavarmuuden.

BeeGFS on loppukäyttäjille maksutta saatavilla. Yritysjärjestelmiin on saatavilla myös ammattimaista kaupallista tukea, yleensä yhteistyössä kansainvälisten avaimet käteen -ratkaisukumppaneiden kanssa.

Keskeiset hyödyt

Hajautettu tiedostosisältö ja metadata

Yksi BeeGFS:n keskeisimmistä periaatteista on arkkitehtonisten pullonkaulojen tiukka välttäminen. Tiedostosisällön juovittaminen useille tallennuspalvelimille on vain yksi osa tätä periaatetta. Toinen tärkeä näkökulma on tiedostojärjestelmän metadatan (esimerkiksi hakemistotietojen) hajauttaminen useille metadatapalvelimille. Erityisesti suuret järjestelmät ja metadataintensiiviset sovellukset hyötyvät tästä ominaisuudesta merkittävästi.

HPC-teknologiat

BeeGFS perustuu erittäin tehokkaisiin ja skaalautuviin monisäikeisiin ydinkomponentteihin, joissa on natiivi RDMA-tuki. Tiedostojärjestelmän solmut voivat palvella RDMA- (InfiniBand, Omni-Path, RoCE) ja TCP/IP-verkkoyhteyksiä samanaikaisesti ja vaihtaa automaattisesti varayhteyspolulle, jos jokin niistä epäonnistuu.

Helppokäyttöinen

BeeGFS ei vaadi kernel-paikkauksia (asiakas on paikkaamaton kernel-moduuli ja palvelinkomponentit ovat userspace-daemoneita), mukana tulee graafisia klusterin asennustyökaluja, ja voit lisätä lisää asiakkaita ja palvelimia käynnissä olevaan järjestelmään milloin tahansa.

Optimoitu erittäin samanaikaiseen käyttöön

Yksinkertaisilla etätiedostojärjestelmillä, kuten NFS:llä, ei ole ainoastaan vakavia suorituskykyongelmia erittäin samanaikaisessa käytössä, vaan ne voivat jopa vioittaa dataa, kun useat asiakkaat kirjoittavat samaan jaettuun tiedostoon, mikä on tyypillinen klusterisovellusten käyttötapaus. BeeGFS on suunniteltu erityisesti tällaisia käyttötapauksia varten, jotta se tarjoaa optimaalisen toimintavarmuuden ja suorituskyvyn suuren I/O-kuorman tilanteissa.

Asiakas ja palvelin millä tahansa koneella

BeeGFS:n käyttö ei edellytä mitään tiettyä enterprise-Linux-jakelua tai muuta erityisympäristöä. BeeGFS-asiakas ja -palvelimet voivat toimia jopa samalla koneella, mikä mahdollistaa suorituskyvyn parantamisen pienissä klustereissa tai verkoissa. BeeGFS ei vaadi palvelimilla erillistä tiedostojärjestelmäosiota – se käyttää olemassa olevia osioita, jotka on alustettu jollakin tavallisista Linux-tiedostojärjestelmistä, kuten XFS, ext4 tai ZFS. Suuremmissa verkoissa on myös mahdollista luoda useita erillisiä BeeGFS-tiedostojärjestelmäosioita eri asetuksilla.

Järjestelmävaatimukset

Tutustu viralliseen dokumentaatioon

Asennamme metadatan erillisille taltioille. Kuten dokumentaatiossa mainitaan:

Nyrkkisääntönä 500 Gt metadata-kapasiteettia riittää noin 150 miljoonalle tiedostolle Huomaa, että vaikka ext4:ää yleensä suositellaan metadata-tallennukseen sen suorituskykyetujen vuoksi BeeGFS:n metadata-kuormissa verrattuna muihin paikallisiin Linux-tiedostojärjestelmiin, XFS:n etuna on dynaaminen inodejen määrä, mikä tarkoittaa, että uusia inodeja voidaan luoda niin kauan kuin levytilaa on vapaana

Pikaopas

BeeGFS-dokumentaatio on erittäin kattava ja opastava BeeGFS 8.3:n asentamiseen.

Tässä ohjeessa käytämme seuraavaa:

Ohjelmisto: AlmaLinux 9
Isäntäpalvelut:
- beegfs-meta: Metadatapalvelin, johon on liitetty 500 Gt:n taltio
- beegfs-mgmt: Hallintapalvelin
- beegfs-storage-1: Tallennuspalvelin 1, johon on liitetty 1000 Gt:n taltio
- beegfs-storage-2: Tallennuspalvelin 2, johon on liitetty kaksi 1000 Gt:n taltiota
- beegfs-storage-3: Tallennuspalvelin 3, johon on liitetty 1000 Gt:n taltio
- beegfs-client-1: Asiakas 1
- beegfs-client-2: Asiakas 2

Pakettien lataus ja asennus

Löydät eri paketit tästä osoitteesta: https://www.beegfs.io/release/

AlmaLinux 9:lle suorita nämä komennot root-käyttäjänä kaikilla solmuilla:

yum install -y epel-release wget vim
yum update -y
rpm --import https://www.beegfs.io/release/beegfs_8.3/gpg/GPG-KEY-beegfs
wget https://www.beegfs.io/release/beegfs_8.3/dists/beegfs-rhel9.repo -O /etc/yum.repos.d/beegfs.repo

Suorita sitten solmun mukaan tämä komento root-käyttäjänä:

beegfs-mgmt-solmu:

yum install -y beegfs-mgmtd libbeegfs-license

beegfs-meta-solmu:

yum install -y beegfs-meta

beegfs-storage-solmut:

yum install -y beegfs-storage

beegfs-client-solmut:

yum install -y kernel-devel-$(uname -r) beegfs-client beegfs-tools beegfs-utils

Määritys

Hallintapalvelu

Uuden BeeGFS-asennuksen tietokannan alustamiseksi suorita beegfs-meta-solmulla root-käyttäjänä:

/opt/beegfs/sbin/beegfs-mgmtd --init

Muokkaa tiedostoa /etc/beegfs/beegfs-mgmtd.toml

Oletuksena hallintapalvelu vaatii TLS:n määrittämisen. Voit poistaa sen käytöstä asettamalla tls-disable = true

Suosittelemme muuttamaan lokitason debug-tilaan: log-level = debug

Tallenna ja poistu. Käynnistä palvelu uudelleen:

systemctl restart beegfs-mgmtd

Metadatapalvelu

Esittelimme aiemmin eri isäntäpalvelut. Tässä ohjeessa tarkastelemme palvelinta beegfs-meta, johon on liitetty 500 Gt:n taltio.

Ensin meidän täytyy valmistella taltio. Meillä on dokumentaatio liitetyn taltion käyttämisestä.

Tässä yksityiskohtaiset ohjeet meidän tapaukseemme:

Listaa taltiot:

sudo parted -l

Oletetaan, että liitetty taltio on /dev/vdb, alusta se:

sudo mkfs.xfs /dev/vdb

Luo hakemisto /mnt/beegfs_meta:

sudo mkdir -p /mnt/beegfs_meta

Liitä taltio:

sudo mount -o noatime /dev/vdb /mnt/beegfs_meta

Muokkaa tiedostoa /etc/fstab ja lisää tämä rivi:

/dev/vdb                /mnt/beegfs_meta                          xfs     defaults        0 0

Kun taltio on liitetty ja mountattu, voimme jatkaa metadatapalvelun alustamista (root-käyttäjänä).

Metadatapalvelun täytyy tietää, mihin se voi tallentaa datansa ja missä hallintapalvelu on käynnissä. Tyypillisesti käytössä on useita eri koneilla toimivia metadatapalveluita. Meidän tapauksessamme käytämme vain yhtä.

Halutessasi voit myös määrittää mukautetun numeerisen metadatapalvelun tunnisteen (välillä 1..65535). Valitsemme tässä metadatapalvelun tunnisteeksi numeron 2.

/opt/beegfs/sbin/beegfs-setup-meta -p /mnt/beegfs_meta -s 2 -m IP_ADDRESS_MGMT_NODE

Korvaa IP_ADDRESS_MGMT_NODE beegfs-mgmt-palvelimesi sisäisellä IP-osoitteella

Viimeiseksi tarkista tiedosto /etc/beegfs/beegfs-meta.conf ja varmista, että storeClientXAttrs=true

Tallennuspalvelu

Esittelimme aiemmin eri isäntäpalvelut. Tässä ohjeessa tarkastelemme seuraavia:

beegfs-storage-1, johon on liitetty 1000 Gt:n taltio.
beegfs-storage-2, johon on liitetty kaksi 1000 Gt:n taltiota.
beegfs-storage-3, johon on liitetty 1000 Gt:n taltio.

Taltion valmisteluohjeet ovat samat kuin aiemmin metadatapalvelulle. Voit myös tutustua dokumentaatioomme

Tallennuspalvelun täytyy tietää, mihin se voi tallentaa datansa ja miten hallintapalvelin saavutetaan.

Tyypillisesti käytössä on useita eri koneilla toimivia tallennuspalveluita ja/tai useita tallennuskohteita (esimerkiksi useita RAID-taltioita) yhtä tallennuspalvelua kohden.

Halutessasi voit myös määrittää mukautetun numeerisen tallennuspalvelun tunnisteen ja numeerisen tallennuskohteen tunnisteen (molemmat välillä 1..65535). Koska tämä palvelu toimii esimerkissämme palvelimella nimeltä beegfs-client-1, valitsemme tämän tallennuspalvelun tunnisteeksi numeron 1 ja käytämme tallennuskohteen tunnisteena arvoa 101 osoittamaan, että tämä on tallennuspalvelun 1 ensimmäinen kohde (01).

Suorita root-käyttäjänä:

/opt/beegfs/sbin/beegfs-setup-storage -p /mnt/beegfs_storage-1 -s 1 -i 101 -m IP_ADDRESS_MGMT_NODE

Korvaa IP_ADDRESS_MGMT_NODE beegfs-mgmt-palvelimesi sisäisellä IP-osoitteella

Solmuun beegfs-storage-2 on liitetty kaksi 1000 Gt:n taltiota. Voit käyttää tätä komentoa lisätäksesi molemmat taltiot saman palvelutunnisteen alle:

/opt/beegfs/sbin/beegfs-setup-storage -p /mnt/beegfs_storage-1 -s 2 -i 201 -m IP_ADDRESS_MGMT_NODE
/opt/beegfs/sbin/beegfs-setup-storage -p /mnt/beegfs_storage-2 -s 2 -i 202

Asiakas

Asiakkaiden täytyy tietää, missä hallintapalvelu on käynnissä.

Suorita root-käyttäjänä:

/opt/beegfs/sbin/beegfs-setup-client -m IP_ADDRESS_MGMT_NODE

Korvaa IP_ADDRESS_MGMT_NODE beegfs-mgmt-palvelimesi sisäisellä IP-osoitteella

Asiakkaan liitoshakemisto määritellään erillisessä asetustiedostossa. Tätä tiedostoa käyttää beegfs-client-palvelun käynnistysskripti. Oletuksena BeeGFS liitetään hakemistoon /mnt/beegfs. Tämä vaihe on siis tarpeen vain, jos haluat liittää tiedostojärjestelmän toiseen sijaintiin.

vim /etc/beegfs/beegfs-mounts.conf

Ensimmäinen merkintä määrittää liitoshakemiston. Toinen merkintä viittaa tätä liitospistettä vastaavaan asetustiedostoon.

Viimeiseksi tarkista tiedosto /etc/beegfs/beegfs-client.conf ja varmista, että sysSELinuxEnabled=true

Todennus

On erittäin suositeltavaa suojata BeeGFS-asennus ottamalla käyttöön yhteyspohjainen todennus jaettu salaisuus -mekanismilla.

Meidän tapauksessamme jaamme yhteisen salaisuuden kaikille solmuille ja asetamme connAuthFile-parametrin jokaisen palvelun/asiakkaan asetuksiin. Oletuksena palvelut ja asiakkaat odottavat salaisuuden sijaitsevan polussa /etc/beegfs/conn.auth

Todennuksen poistaminen käytöstä - EI SUOSITELLA

Voit poistaa todennuksen käytöstä asettamalla connDisableAuthentication=true kaikissa palvelu- ja asetustiedostoissa (sijaitsevat polussa /etc/beegfs/*.conf) sekä asettamalla auth-disable=true hallintapalvelun asetuksiin (etc/beegfs/beegfs-mgmtd.toml). Muutosten voimaantulo edellyttää palveluiden uudelleenkäynnistystä.

Luo tiedosto, joka sisältää jaetun salaisuuden

dd if=/dev/random of=/etc/beegfs/conn.auth bs=128 count=1

Varmista, että tiedosto on vain root-käyttäjän luettavissa:

chown root:root /etc/beegfs/conn.auth
chmod 400 /etc/beegfs/conn.auth

Kopioi tiedosto kaikkiin klusterin isäntiin (mgmtd, meta, storage, client).

Jos tämä on uusi BeeGFS 8 -asennus, kaikkien palveluiden ja asiakkaiden oletusasetustiedostoissa on jo valmiiksi asetettu todennustiedoston poluksi /etc/beegfs/conn.auth.

Jos otat yhteystodennuksen käyttöön ensimmäistä kertaa, aseta hallinnan asetustiedostossa auth-file = "/etc/beegfs/conn.auth" ja kaikille muille asiakkaille ja palvelimille connAuthFile=/etc/beegfs/conn.auth.

Käynnistä palvelut uudelleen, jotta muutos tulee voimaan:

systemctl restart beegfs-mgmtd.service
systemctl restart beegfs-meta.service
systemctl restart beegfs-storage.service
systemctl restart beegfs-client.service
systemctl restart beegfs-mon.service

Kun kaikki palvelut on käynnistetty onnistuneesti uudelleen, yksikään asiakas ilman jaetun salaisuuden tiedostoa ei voi muodostaa yhteyttä klusteriin. Ilman jaetun salaisuuden tiedostoa hallintadaemoni kirjaa seuraavan viestin, kun log-level = "debug":

Received message from unauthenticated stream from 192.168.1.7:36082

Voit vaihtaa salaisuuden jo määritetyssä/suojatussa klusterissa. Korvaa vain tiedosto conn.auth uudella kaikissa solmuissa.

Palveluiden käynnistys

BeeGFS-palvelut voidaan käynnistää missä tahansa järjestyksessä käyttämällä vastaavia systemctl-palveluskriptejä. Oletuksena kaikki palvelut kirjaavat järjestelmäjournaliin (käytä valitsinta -u <service> suodattaaksesi tietyn palvelun lokit).

Suorita root-käyttäjänä:

systemctl start beegfs-mgmtd
systemctl start beegfs-meta
systemctl start beegfs-storage # toista tämä kaikilla tallennussolmuilla
systemctl start beegfs-client # toista tämä kaikilla asiakassolmuilla

Note

BeeGFS-asiakkailla on liitoksen eheystarkistus, ja ne keskeyttävät liitostoiminnon, jos palvelimia ei tavoiteta. Jos haluat liittää myös silloin, kun palvelimia ei tavoiteta, aseta sysMountSanityCheckMS=0 tiedostoon /etc/beegfs/beegfs-client.conf.

Onnittelut, rinnakkainen tiedostojärjestelmäsi on nyt käytössä!

Yhteyksien tarkistaminen

Määritä asiakassolmu käyttämään BeeGFS:ää uuden beegfs-työkalun avulla.

Uusi työkalu ei käytä asetustiedostoa, vaan käyttää asetuksiin valitsimia ja/tai ympäristömuuttujia. Tämä tarkoittaa, että jos haluat työkalulle pysyvän asetuksen, sen voi määrittää tiedostossa ~/.bashrc (tai vastaavassa oman komentotulkkisi tiedostossa).

Jos noudatit pikaoppaan suosituksia, lisämäärityksiä ei tarvita, ja työkalu toimii suoraan. Alla on yleisiä asetuksia, jotka on hyvä huomioida, jos poikkesit oppaasta.

Jos päätät käyttää itse allekirjoitettua TLS-varmennetta ja ottaa yhteystodennuksen käyttöön, mitään lisämääritystä ei tarvita, kunhan TLS-varmenne ja salaisuus ovat jo poluissa /etc/beegfs/cert.pem ja /etc/beegfs/conn.auth sillä koneella, jolla työkalua suoritat. Jos päätät poistaa TLS:n ja/tai yhteystodennuksen käytöstä, sinun täytyy määrittää nämä asetukset myös asiakassolmuilla:

echo "export BEEGFS_TLS_DISABLE='true'" >> ~/.bashrc
source ~/.bashrc

Kun oikeat asetukset ovat käytössä, tarkista asiakassolmuilla havaitut verkkoliitännät ja siirtoprotokollat seuraavilla komennoilla (root-käyttäjänä):

beegfs node list --with-nics
beegfs health net            # Näytä yhteydet, joita asiakas todella käyttää.
beegfs health df             # Näytä vapaa tila ja inodet metadata- ja tallennuskohteissa.
beegfs health check          # Tarkista yleiset ongelmat.

Jos aiot käyttää BeeGFS Community Editionia, olet nähnyt komentojen suorittamisen yhteydessä varoituksia siitä, että järjestelmällä ei ole lisenssiä. Suorita beegfs license ja seuraa ohjeita lisenssin hankkimiseksi.

Lisensointi

Lisenssien hankkiminen

Yhteisölisenssin saamiseksi päivitä BeeGFS-versioon 8.3+ ja suorita beegfs license. Tämä luo järjestelmäkohtaisen URL-osoitteen, joka välittää automaattisesti rajalliset tiedot käyttöönotosta, mukaan lukien tallennuskapasiteetti, metadata- ja tallennuspalveluiden määrä sekä verkkoprotokolla.

Lisensoinnin määrittäminen

Näitä vaiheita voidaan noudattaa lisensoinnin ottamiseksi käyttöön uudessa tai olemassa olevassa BeeGFS-asennuksessa:

Asenna paketti libbeegfs-license kaikille koneille, joilla BeeGFS-hallintapalvelu voi olla käynnissä. Jos BeeGFS-hallintapalvelu voi toimia useilla koneilla, tämä paketti tulee asentaa kaikkialle, missä hallintapalvelu voi toimia. BeeGFS 8.3:sta alkaen tämä paketti asennetaan automaattisesti kaikille koneille, joille hallintapaketti asennetaan.

Note

ilman samalla koneella käynnissä olevaa hallintapalvelua tämän paketin asentamisella ei ole vaikutusta, joten sen voi turvallisesti asentaa kaikkialle, missä sitä saatetaan tarvita.
Lataa lisenssitiedosto kaikille koneille, joilla BeeGFS-hallintapalvelu voi toimia, polkuun /etc/beegfs/license.pem.
Tee jompikumpi seuraavista lisenssin uudelleenlataamiseksi:
- Jos kyseessä on uusi asennus, käynnistä vain hallintapalvelu. Seuraava kirjataan lokiin, jos lisenssin varmennuskirjasto ja lisenssi on asennettu oikein:
```
[2024-12-05T14:49:31Z INFO ] Successfully initialized certificate verification library.
[2024-12-05T14:49:31Z INFO ] Successfully loaded license certificate: TMP-513679565
```
- Jos kyseessä on olemassa oleva käyttöönotto, suorita koneelta, johon on asennettu paketti beegfs-tools, komento beegfs license --reload, jotta uusi lisenssi asennetaan ilman käyttökatkoa. Lisenssin tiedot palautetaan onnistuneen suorituksen jälkeen.

Halutessasi voit tarkistaa asennetun lisenssin tiedot komennolla beegfs license.

Lisenssin uusiminen tai päivittäminen

Jos lisenssi täytyy joskus päivittää, esimerkiksi tukisopimuksen keston pidentämisen tai lisäpalvelimien lisäämisen vuoksi, sijoita uusi lisenssitiedosto hallintapalvelussa määritettyyn polkuun ja suorita komento beegfs license --reload. Uusi lisenssi otetaan käyttöön välittömästi ilman hallintapalvelun uudelleenkäynnistystä.

Lisenssistä

Voit käyttää BeeGFS Community Editionia vapaasti projekteissasi maksamatta.
Käyttöön ei liity maksuja tai pakollisia rajoitteita henkilökohtaisessa eikä kaupallisessa käytössä.
Uudelleenjakeluun ja muokkaamiseen liittyy joitakin rajoituksia Community Licensen ehtojen mukaisesti.
Yritystarpeisiin, tukeen tai edistyneisiin ominaisuuksiin kannattaa harkita maksullista Enterprise Editionia.

BeeGFS Community Editionia säätelee BeeGFS Community License, jonka hyväksyt käyttämällä ohjelmistoa. Jos et hyväksy lisenssin ehtoja, sinun ei tule asentaa, kopioida tai käyttää BeeGFS:ää.

Lisenssin keskeisiä kohtia ovat:

Lisenssi sallii ohjelmiston vapaan käytön, mutta siihen liittyy ehtoja, joita sinun on noudatettava.
Uudelleenjakelu ja muokkaaminen ovat rajoitettuja; et voi jakaa muokattuja versioita edelleen ilman nimenomaista lupaa.
Ohjelmisto toimitetaan "sellaisena kuin se on", mikä tarkoittaa, ettei sen suorituskyvystä tai soveltuvuudesta anneta takuuta.
Lisenssin tarkoituksena on suojata BeeGFS:n tekijöiden immateriaalioikeuksia ja samalla mahdollistaa vapaa käyttö sekä henkilökohtaisiin että kaupallisiin tarkoituksiin.

Metadatasolmujen migrointi

Jos olet ottanut metadatan käyttöön paikallisella levyllä, et voi laajentaa taltiota.

Voit helposti siirtää hakemiston / metadatan liitetylle taltiolle. Paras tapa tehdä tämä on käyttää rsync-komentoa.

Kun taltio on alustettu ja liitetty, voit suorittaa nämä komennot (root-käyttäjänä):

systemctl stop beegfs-meta
rsync -aHAX --numeric-ids /data/beegfs/beegfs_meta/ /mnt/beegfs_meta/
systemctl start beegfs-meta

Important

ÄLÄ rekisteröi metadatapalvelua uudelleen komennolla /opt/beegfs/sbin/beegfs-setup-meta -p /data/beegfs/beegfs_meta -s 2 -m IP_ADDRESS_MGMT_NODE Hallintapalvelu menee sekaisin, koska se luo uuden rekisteröintitunnisteen eikä pysty käynnistämään palvelua

Suorituskykytestaus

BeeGFS:n mukana tulee työkalu, jolla voit suorituskykytestata tallennuksen

Alla olevat komennot suoritetaan root-käyttäjänä.

Seuraava esimerkki käynnistää kirjoitussuorituskykytestin kaikilla kaikkien BeeGFS-tallennuspalvelimien kohteilla käyttäen 512 KB:n I/O-lohkokokoa, 10 säiettä (eli simuloitua asiakasvirtaa) kohdetta kohden, joista kukin kirjoittaa 200 GB dataa omaan tiedostoonsa.

beegfs benchmark start --block-size=512KiB --size=200GiB --num-tasks=10

Voit kysyä kaikkien kohteiden suorituskykytestin tilan/tuloksen suorittamalla alla olevan komennon.

beegfs benchmark status

Voit käyttää watch-valitsinta kyselyn toistamiseen annetuin sekuntivälein, kuten alla:

beegfs benchmark status --watch=1s

Luotuja tiedostoja ei poisteta automaattisesti suorituskykytestin valmistuttua. Voit poistaa ne seuraavalla komennolla.

beegfs benchmark cleanup

Lisätietoja tallennuksen suorituskykytestistä ja sen valinnoista on saatavilla beegfs-työkalun ohjeessa seuraavasti.

beegfs benchmark --help
beegfs benchmark start --help
beegfs benchmark status --help