Pysyvät taltiot
Tässä artikkelissa kuvataan yksi vaihtoehto datan tallentamiseen Poudassa siten, että data säilyy virtuaalikoneen sammuttamisesta huolimatta.
Pysyvät taltiot säilyvät, vaikka instanssit poistetaan. Ne voidaan liittää virtuaalikoneisiin tai irrottaa niistä niiden ollessa käynnissä.
Pysyvät taltiot käyttävät Ceph-klusteria. Koska dataa käytetään verkon yli, pysyvät taltiot aiheuttavat lisäviivettä, eikä niitä siksi suositella viivekriittisiin tai korkean suorituskyvyn työkuormiin. Katso Ephemeral storage
Taltiotyypit: Standard vs. Capacity
Pouta tarjoaa kahta pysyvää taltiotyyppiä: Standard ja Capacity. Molemmat käyttävät samaa Ceph-taustajärjestelmää, mutta ne eroavat suorituskyvyn ja kustannusten osalta.
Standard-taltiot
Standard-taltiot tarjoavat ennakoitavaa suorituskykyä ja soveltuvat työkuormiin, jotka vaativat responsiivista tallennusta.
Keskeiset ominaisuudet:
- Parempi I/O-suorituskyky
- Sopii useimpiin yleiskäyttöisiin työkuormiin
- Kalliimpi kuin Capacity-taltiot
Sopii parhaiten:
- Usein käytettyyn tai aktiiviseen dataan
- Sovelluksiin, jotka tarvitsevat vakaata vasteaikaa
- Kohtalaisiin tietokantatyökuormiin
Ei ihanteellinen:
- Korkean suorituskyvyn tai viivekriittisiin työkuormiin, jotka toimivat paremmin VM-flavoreilla, joissa on Ephemeral storage.
- Suuriin aineistoihin, joissa tallennuskustannus on hallitseva tekijä
Capacity-taltiot
Capacity-taltiot on suunniteltu suurten datamäärien tallentamiseen silloin, kun käyttötiheys ja suorituskykyvaatimukset ovat vähäisiä.
Keskeiset ominaisuudet:
- Heikompi I/O-suorituskyky
- Suurempi viive verrattuna Standard-taltioihin
- Optimoitu massatallennukseen ja pitkäaikaiseen säilytykseen
- Edullisempi kuin Standard-taltiot
Sopii parhaiten:
- Harvoin käytettyihin (“cold”) aineistoihin
- Pitkäaikaiseen arkistointiin
- Varmuuskopioihin, tilannevedoksiin, tutkimusaineistoihin
- Lokien säilyttämiseen, kunhan lokeja ei kirjoiteta aktiivisesti taltiolle (esimerkiksi kierrätettyjen tai pakattujen lokien tallentamiseen käsittelyn jälkeen)
Ei ihanteellinen:
- Tuotantokäytössä oleviin tietokantoihin
- Säännöllisesti käytettyihin tai suorituskykyherkkiin työkuormiin
- Suuren läpimenon sovelluksiin
- Aktiivisten lokitiedostojen tallentamiseen viiveen ja kirjoitusrajoitusten vuoksi
- Työkuormiin, jotka vaativat pientä viivettä
Taltion luominen ja liittäminen Poudan selainkäyttöliittymässä
Pysyviä taltioita voidaan luoda joko selainkäyttöliittymällä tai komentorivikäyttöliittymän kautta.
Selainkäyttöliittymässä luot uuden taltion Volumes-sivun Create volume -painikkeella. Tämän jälkeen voit antaa taltiolle nimen ja koon (1 GB on vähimmäiskoko). Ainoa pakollinen argumentti on taltion koko.
Kun taltio on luotu, se voidaan liittää käynnissä olevaan virtuaalikoneeseen. Yksi taltio voidaan liittää vain yhteen virtuaalikoneeseen kerrallaan.
Liittääksesi taltion valitse ensin Volumes-näkymä Poudan selainkäyttöliittymässä. Napsauta sen taltion Edit Volume -painikkeen vieressä olevaa nuolisymbolia, jonka haluat liittää, ja valitse Manage attachments. Valitse Attach to Instance -valitsimesta instanssi (eli virtuaalikone), johon haluat liittää taltion.
Taltion luominen ja liittäminen komentorivikäyttöliittymällä
Pysyviä taltioita voidaan myös luoda ja liittää komentorivikäyttöliittymällä:
Listaa taltiotyypit:
Listaa olemassa olevat taltiot:
Listaa olemassa olevat virtuaalikoneet löytääksesi sen, johon haluat liittää taltion:
Kun taltion tila on "available", voit liittää sen virtuaalikoneeseen (voit käyttää joko nimiä tai tunnisteita viitatessasi VM:ään ja taltion):
Info
Useimmat taltiotyypit voidaan liittää vain yhteen virtuaalikoneeseen kerrallaan.
Liitettyjen taltioiden käyttö
Kun käytät liitettyä taltiota ensimmäistä kertaa, se täytyy alustaa. Tämä tulee tehdä VAIN ENSIMMÄISELLÄ käyttökerralla, muuten ylikirjoitat kaikki taltiolla olevat datasi. Selvitä ensin, mikä laite on taltioksi liitetty.
Seuraava on yksinkertainen käyttöesimerkki tiedostojärjestelmän luomisesta taltiolle ja tiedostojärjestelmän automaattisesta liittämisestä uudelleenkäynnistyksen jälkeen. Huomaa, että tämä on yksinkertainen esimerkki ja tiedostojärjestelmien hallintaan on monia hienostuneempia tapoja.
Kun olet kirjautunut virtuaalikoneellesi, voit listata taltiot:
sudo parted -l
Sinun pitäisi pystyä tunnistamaan taltio sen koon perusteella. Tässä
esimerkissä oletetaan, että se on /dev/vdb. Luodaan sille ensin
tiedostojärjestelmä. Aiomme
käyttää xfs:ää, koska tiedämme sen toimivan hyvin Poudassa:
sudo mkfs.xfs /dev/vdb
Nyt voit alkaa käyttää sitä. Jos haluat esimerkiksi liittää sen hakemistoon
/media/volume, sinun täytyy ensin varmistaa, että polku on olemassa:
sudo mkdir -p /media/volume
Sen jälkeen voit liittää sen:
sudo mount /dev/vdb /media/volume
Lopuksi sinun täytyy vaihtaa omistajuus, jotta voit lukea ja kirjoittaa dataa siihen. Seuraavassa komennossa oletamme, että käyttäjänimi on cloud-user.
sudo chown cloud-user:cloud-user /media/volume
Tämän vaiheen jälkeen sinun pitäisi pystyä käyttämään taltiota normaalisti. Jos haluat taltion olevan käytettävissä virtuaalikoneen uudelleenkäynnistyksen jälkeen, sinun täytyy lisätä se /etc/fstab-asetustiedostoon.
Voit käyttää osiolle aiemmin luomaasi tunnistetta:
sudo sh -c 'echo "/dev/vdb /media/volume xfs defaults,nofail 0 2" >> /etc/fstab'
Taltion irrottaminen selainkäyttöliittymässä
Kun olet saanut toimenpiteesi valmiiksi ja haluat irrottaa taltion, muista irrottaa tiedostojärjestelmä taltiolta ennen sen irrottamista!
sudo umount /dev/vdb
Taltion irrottaminen komentorivikäyttöliittymällä
Kun et enää tarvitse taltiota liitettynä, voit irrottaa sen. Muista ennen irrottamista irrottaa taltion tiedostojärjestelmä virtuaalikoneessa datan menetyksen välttämiseksi!
- Kun liitetyn taltion sisältävä instanssi shelvataan, taltion tila muuttuu muotoon Reserved. Kun instanssi palautetaan shelved-tilasta, tila muuttuu takaisin muotoon In-use, ja instanssin poistaminen muuttaa sen tilaan Available.
- Multiattach-taltioilla tila muuttuu muotoon Reserved, kun kaikki liitetyt instanssit shelvataan, mikä estää taltion liittämisen toiseen instanssiin. Tila palautuu muotoon In-use heti, kun vähintään yksi liitetyistä instansseista palautetaan shelved-tilasta.
Taltion poistaminen
Jos haluat poistaa taltion ja sillä olevan datan, voit suorittaa:
Data poistetaan pysyvästi, eikä sitä voida palauttaa.Jos taltion poistaminen epäonnistuu Poudan selainkäyttöliittymässä tai komentorivillä, tarkista seuraavat asiat:
- Taltion tila on Available
- Taltiolla ei ole tilannevedoksia
- Taltio ei ole osa taltioryhmää
Jos taltio näyttää olevan irrotettu ja sen tila on Available, mutta sitä ei silti voi poistaa, ota yhteyttä osoitteeseen servicedesk@csc.fi ja ilmoita taltion nimi ja tunniste.
Taltioiden siirtäminen kahden Pouta-projektin välillä selainkäyttöliittymässä
Joskus voi olla tarpeen siirtää pysyviä taltioita kahden Pouta-projektin välillä. Saatat esimerkiksi joutua siirtämään suuria data-aineistoja tai käynnistettäviä taltioita kollegoille toiseen Pouta-projektiin. Tämä voidaan tehdä taltion siirroilla. Taltion siirrot projektien välillä Poudassa ovat nopeita, välttävät datan monistamisen ja tarpeettomat datasiirrot verkon yli. Taltion siirtäminen toiseen projektiin tarkoittaa, että projektillasi ei enää ole pääsyä siihen. Huomaa, että Poudan taltion siirto toimii saman pilviympäristön sisällä, eli voit siirtää taltion yhdestä cPouta-projektista toiseen mutta et cPouta-projektin ja ePouta-projektin välillä tai päinvastoin.
Taltion siirtämiseksi sinun täytyy ensin varmistaa, että sen tila on Available. Voit tehdä tämän irrottamalla sen instanssista, johon se oli alun perin liitetty. Kun taltiosi on available-tilassa, voit käynnistää taltion siirron joko Poutan selainkäyttöliittymässä tai komentorivikäyttöliittymällä.
Poutan selainkäyttöliittymässä siirry Volumes-näkymään ja napsauta sen taltion Edit Volume -painikkeen vieressä olevaa nuolisymbolia, jonka haluat siirtää, ja valitse Create Transfer. Nimeä tämä siirtopyyntö ja napsauta Create Volume Transfer. Tämän jälkeen saat taltion siirron tunnistetiedot (transfer ID & authorization key).
Sinun täytyy toimittaa nämä tunnistetiedot kollegallesi, jolle haluat siirtää tämän taltion.
Kollegasi voi hyväksyä tämän taltion siirron omassa projektissaan siirtymällä selainkäyttöliittymän Volumes-näkymään ja napsauttamalla Accept Transfer -painiketta. Hänen täytyy sitten antaa edellisessä vaiheessa luomasi siirron tunnistetiedot ja valita Accept Volume Transfer. Tämä siirtää taltion kollegasi projektiin.
Taltioiden siirtäminen kahden Pouta-projektin välillä komentorivikäyttöliittymällä
Taltion siirrot voidaan tehdä myös komentorivikäyttöliittymällä:
openstack volume transfer request create <name or UUID of volume to transfer>
Tämän komennon tuloste sisältää taltion siirron tunnistetiedot (transfer ID & Authorization key); kirjoita ne muistiin ja toimita ne kollegallesi, jolle haluat siirtää taltion.
Kollegasi voi hyväksyä tämän taltion siirtopyynnön:
openstack volume transfer request accept <transferID> <authKey>
Liitetyn taltion koon kasvattaminen Poudan selainkäyttöliittymässä
Aiemmin loit ja liitit taltion. Tässä osiossa kasvatat instanssiin liitetyn taltion kokoa. Ennen kuin yrität kasvattaa taltiota, sinun täytyy irrottaa taltio instanssista; muista irrottaa tiedostojärjestelmä taltiolta ennen sen irrottamista!
sudo umount /dev/vdb
Taltion kasvattamiseksi valitse ensin Volumes-näkymä Poudan selainkäyttöliittymässä. Napsauta sen taltion Edit Volume -painikkeen vieressä olevaa nuolisymbolia, jonka haluat suurentaa, ja valitse Extend Volume. Syötä haluamasi taltion koko "GiB"-yksiköissä kenttään New Size (GiB). Napsauta lopuksi Extend Volume -painiketta. Liittääksesi suurennetun taltion kuten aiemmassa pysyvän taltion liittämisesimerkissä, valitse ensin Volumes-näkymä Poudan selainkäyttöliittymässä. Napsauta suurentamasi taltion Edit Volume -painikkeen vieressä olevaa nuolisymbolia ja valitse Manage attachments. Valitse Attach to Instance -valitsimesta instanssi (eli virtuaalikone), johon haluat liittää taltion.
Kun olet kirjautunut virtuaalikoneellesi, voit listata taltiot:
sudo parted -l
Kuten aiemmassa pysyvän taltion luontiesimerkissä, voit tunnistaa taltion sen koon perusteella. Liitä taltio ensin tavalliseen polkuun:
sudo mount /dev/vdb /media/volume
Lopuksi meidän täytyy kasvattaa taltion tiedostojärjestelmää, jotta lisätila voidaan ottaa käyttöön. Olettaen, että taltion tiedostojärjestelmä on xfs, voimme kasvattaa tiedostojärjestelmää seuraavalla komennolla:
sudo xfs_growfs /dev/vdb
Varmistaaksesi, että tiedostojärjestelmä on nyt odotetun kokoinen, voit käyttää seuraavaa komentoa:
sudo xfs_info /dev/vdb
Kertomalla lohkokoon (bs) tiedostojärjestelmän lohkojen määrällä (blocks) saat tiedostojärjestelmän koon tavuina.
Liitetyn taltion koon kasvattaminen komentorivikäyttöliittymällä
Kasvattaaksesi taltiotasi irrota se palvelimesta seuraavalla komennolla:
Tarkista nyt, että taltio on käytettävissä koon kasvattamiseen, listaamalla taltiot: Voit nyt kasvattaa taltiota antamalla taltion tunnisteen ja uuden koon:Taltiotyypin muuttaminen Poudan selainkäyttöliittymässä
Warning
Ennen taltiotyypin muuttamista varmista, että taltio on tilassa Available. Irrota tiedostojärjestelmä ja irrota taltio koneestasi ennen kuin jatkat tyypin muuttamista.
Toiminto voi kestää jonkin aikaa taltion koosta riippuen, ja tänä aikana taltio on tilapäisesti poissa käytöstä.
Kirjaudu Poudan selainkäyttöliittymään ja siirry Volumes-näkymään. Napsauta sen taltion Edit Volume -painikkeen vieressä olevaa nuolisymbolia, jonka tyyppiä haluat muuttaa, ja valitse Change Volume Type.
Valitse Volume Type -valitsimesta tarpeidesi mukaan joko Standard tai Capacity ja valitse Migration Policy -asetukseksi On Demand. Napsauta lopuksi Change Volume Type -painiketta.
Taltion koosta riippuen tyypinmuutos voi kestää jonkin aikaa. Voit seurata etenemistä Volumes-näkymässä. Kun taltion tila muuttuu takaisin muotoon Available tai In-use, tyypinmuutos on valmis.
Esimerkiksi 2 TB:n kokoinen taltio vie noin ~15 minuuttia.
Taltiotyypin muuttaminen komentorivikäyttöliittymällä
Voit tehdä taltiotyypin muutoksen komentorivikäyttöliittymällä:
- Listaa ensin projektissasi käytettävissä olevat taltiotyypit:
openstack volume type list --long
+--------------------------------------+----------------------+-----------+--------------------------------------------------------------------------+-------------------------+
| ID | Name | Is Public | Description | Properties |
+--------------------------------------+----------------------+-----------+--------------------------------------------------------------------------+-------------------------+
| 2a0e6c60-f717-4f38-ad8b-69faf7bb2b8d | capacity | True | Capacity volumes stored on a Ceph backend | |
| 025a0a92-8485-443f-bd61-d68b87389447 | standard.multiattach | True | Multiattachable standard volumes. Available upon request to servicedesk. | multiattach='<is> True' |
| a54f3f3b-0b10-477c-a5eb-1ecce0ec082a | standard | True | Volumes stored on a Ceph backend | |
+--------------------------------------+----------------------+-----------+--------------------------------------------------------------------------+-------------------------+
Nyt voit muuttaa taltiotyypin suorittamalla: