Pysyvät taltiot
Tässä artikkelissa kuvataan yksi vaihtoehto datan tallentamiseen Poudassa siten, että data säilyy virtuaalikoneen sammuttamisen jälkeen.
Pysyvät taltiot säilyvät, vaikka instanssit poistetaan. Ne voidaan liittää virtuaalikoneisiin tai irrottaa niistä niiden ollessa käynnissä.
Pysyvät taltiot käyttävät Ceph-klusteria. Koska dataa käytetään verkon yli, pysyvät taltiot aiheuttavat lisäviivettä, eikä niitä siksi suositella viivekriittisiin tai korkean suorituskyvyn työkuormiin. Katso Ephemeral storage
Taltiotyypit: Standard vs. Capacity
Pouta tarjoaa kahta pysyvää taltiotyyppiä: Standard ja Capacity. Molemmat käyttävät samaa Ceph-taustajärjestelmää, mutta ne eroavat suorituskykykäyttäytymiseltään ja kustannuksiltaan.
Standard-taltiot
Standard-taltiot tarjoavat ennakoitavaa suorituskykyä ja soveltuvat työkuormiin, jotka vaativat responsiivista tallennusta.
Keskeiset ominaisuudet:
- Parempi I/O-suorituskyky
- Sopii useimpiin yleiskäyttöisiin työkuormiin
- Kalliimpi kuin Capacity-taltiot
Sopii parhaiten:
- Usein käytetty data tai aktiivinen data
- Sovellukset, jotka tarvitsevat vakaata vastekykyä
- Kohtalaiset tietokantatyökuormat
Ei ihanteellinen:
- Korkean suorituskyvyn tai viivekriittisiin työkuormiin, jotka toimivat paremmin VM-mauissa, joissa on Ephemeral storage.
- Suurille aineistoille, joissa tallennuskustannus on hallitseva tekijä
Capacity-taltiot
Capacity-taltiot on suunniteltu suurten datamäärien tallentamiseen tilanteissa, joissa käyttötiheys ja suorituskykyvaatimukset ovat vähäisiä.
Keskeiset ominaisuudet:
- Heikompi I/O-suorituskyky
- Suurempi viive verrattuna Standard-taltioihin
- Optimoitu massatallennukseen ja pitkäaikaiseen säilytykseen
- Edullisempi kuin Standard-taltiot
Sopii parhaiten:
- Harvoin käytetyt (“cold”) aineistot
- Pitkäaikaiseen arkistointiin
- Varmuuskopiot, tilannevedokset, tutkimusaineistot
- Lokien säilyttämiseen, kunhan lokeja ei kirjoiteta aktiivisesti taltiolle (esimerkiksi kierrätettyjen tai pakattujen lokien tallentamiseen käsittelyn jälkeen)
Ei ihanteellinen:
- Tuotannossa oleville tietokannoille
- Säännöllisesti käytetyille tai suorituskykyherkille työkuormille
- Suuren läpimenon sovelluksille
- Aktiivisten lokitiedostojen tallentamiseen viiveen ja kirjoitusrajoitusten vuoksi
- Mille tahansa työkuormalle, joka vaatii pientä viivettä
Taltion luominen ja liittäminen Poudan selainkäyttöliittymässä
Pysyviä taltioita voidaan luoda joko selainkäyttöliittymällä tai komentorivikäyttöliittymän kautta.
Luo uusi taltio selainkäyttöliittymässä Volumes-sivun Create volume -painikkeella. Tämän jälkeen voit antaa taltiolle nimen ja koon (vähintään 1 GB). Ainoa pakollinen argumentti on taltion koko.
Kun taltio on luotu, se voidaan liittää käynnissä olevaan virtuaalikoneeseen. Yksi taltio voidaan liittää vain yhteen virtuaalikoneeseen kerrallaan.
Liittääksesi taltion valitse ensin Poudan selainkäyttöliittymässä Volumes-näkymä. Napsauta liitettävän taltion Edit Volume -painikkeen vieressä olevaa nuolisymbolia ja valitse Manage attachments. Valitse Attach to Instance -valitsimesta instanssi (eli virtuaalikone), johon haluat liittää taltion.
Taltion luominen ja liittäminen komentorivikäyttöliittymällä
Pysyviä taltioita voidaan myös luoda ja liittää komentorivikäyttöliittymällä:
Listaa taltiotyypit:
Listaa olemassa olevat taltiot:
Listaa olemassa olevat virtuaalikoneet löytääksesi sen, johon haluat liittää taltion:
Kun taltion tila on "available", voit liittää sen virtuaalikoneeseen (voit käyttää joko nimiä tai tunnuksia viitatessasi VM:ään ja taltioon):
Info
Useimmat taltiotyypit voidaan liittää vain yhteen virtuaalikoneeseen kerrallaan.
Liitettyjen taltioiden käyttö
Kun käytät liitettyä taltiota ensimmäistä kertaa, se täytyy alustaa. Tämä tulee tehdä VAIN ENSIMMÄISELLÄ käyttökerralla, muuten ylikirjoitat kaiken taltiolla olevan datan. Selvitä ensin, mikä laite on taltioksi liitetty.
Seuraava on yksinkertainen käyttöesimerkki tiedostojärjestelmän luomisesta taltiolle ja tiedostojärjestelmän automaattisesta liittämisestä uudelleenkäynnistyksen jälkeen. Huomaa, että tämä on yksinkertainen esimerkki ja tiedostojärjestelmien hallintaan on monia kehittyneempiä tapoja.
Kun olet kirjautunut virtuaalikoneellesi, voit listata taltiot:
sudo parted -l
Sinun pitäisi pystyä tunnistamaan taltio sen koon perusteella. Tässä esimerkissä oletetaan, että se on /dev/vdb. Luo sille ensin tiedostojärjestelmä. Aiomme käyttää xfs:ää, koska tiedämme sen toimivan hyvin Poudassa:
sudo mkfs.xfs /dev/vdb
Nyt voit alkaa käyttää sitä. Jos haluat esimerkiksi liittää sen hakemistoon /media/volume, varmista ensin, että polku on olemassa:
sudo mkdir -p /media/volume
Sen jälkeen voit liittää sen:
sudo mount /dev/vdb /media/volume
Lopuksi sinun täytyy vaihtaa omistajuus, jotta voit lukea ja kirjoittaa dataa siihen. Seuraavassa komennossa oletamme, että käyttäjänimi on cloud-user.
sudo chown cloud-user:cloud-user /media/volume
Tämän vaiheen jälkeen sinun pitäisi pystyä käyttämään taltiota normaalisti. Jos haluat, että taltio on käytettävissä virtuaalikoneen uudelleenkäynnistyksen jälkeen, sinun täytyy lisätä se /etc/fstab-asetustiedostoon.
Voit käyttää osiolle aiemmin luomaasi tunnistetta:
sudo sh -c 'echo "/dev/vdb /media/volume xfs defaults,nofail 0 2" >> /etc/fstab'
Taltion irrottaminen selainkäyttöliittymässä
Kun olet saanut toimenpiteesi valmiiksi ja haluat irrottaa taltion, muista irrottaa tiedostojärjestelmä taltiolta ennen taltion irrottamista!
sudo umount /dev/vdb
Taltion irrottaminen CLI:llä
Kun et enää tarvitse taltiota liitettynä, voit irrottaa sen. Muista ennen irrottamista irrottaa taltion tiedostojärjestelmä virtuaalikoneessa datan menetyksen välttämiseksi!
- Kun instanssi, johon on liitetty taltio, siirretään hyllylle, taltion tila muuttuu muotoon Reserved. Kun instanssi palautetaan hyllyltä, tila muuttuu takaisin muotoon In-use, ja instanssin poistaminen muuttaa tilaksi Available.
- Multiattach-taltiolla tila muuttuu muotoon Reserved, kun kaikki liitetyt instanssit on siirretty hyllylle, mikä estää taltion liittämisen toiseen instanssiin. Tila palautuu muotoon In-use heti, kun vähintään yksi liitetyistä instansseista palautetaan hyllyltä.
Taltion poistaminen
Jos haluat poistaa taltion ja sen sisältämän datan, voit suorittaa:
Data poistetaan pysyvästi, eikä sitä voida palauttaa.Jos taltion poistaminen epäonnistuu Poudan selainkäyttöliittymässä tai komentorivillä, tarkista seuraavat asiat:
- Taltion tila on Available
- Taltiolla ei ole tilannevedoksia
- Taltio ei kuulu taltioryhmään
Jos taltio näyttää olevan irrotettu ja sen tila on Available, mutta sitä ei silti voi poistaa, ota yhteyttä osoitteeseen servicedesk@csc.fi ja ilmoita taltion nimi ja tunnus.
Taltioiden siirtäminen kahden Pouta-projektin välillä selainkäyttöliittymässä
Toisinaan saatat joutua siirtämään pysyviä taltioitasi kahden Pouta-projektin välillä. Saatat esimerkiksi joutua siirtämään suuria aineistoja tai käynnistettäviä taltioita kollegoille toiseen Pouta-projektiin. Tämä voidaan tehdä taltion siirroilla. Projektien väliset taltion siirrot Poudassa ovat nopeita, välttävät datan monistamisen ja tarpeettomat datasiirrot verkon yli. Taltion siirtäminen toiseen projektiin tarkoittaa, että projektillasi ei enää ole siihen pääsyä. Huomaa, että Poudan taltion siirto toimii saman pilviympäristön sisällä, eli voit siirtää taltion yhdestä cPouta-projektista toiseen, mutta et cPouta-projektin ja ePouta-projektin välillä tai päinvastoin.
Taltion siirtämiseksi sinun on ensin varmistettava, että sen tila on Available. Voit tehdä tämän irrottamalla sen instanssista, johon se oli alun perin liitetty. Kun taltiosi on available-tilassa, voit käynnistää taltion siirron joko Poudan selainkäyttöliittymässä tai komentorivikäyttöliittymässä.
Siirry Poudan selainkäyttöliittymässä Volumes-näkymään ja napsauta siirrettävän taltion Edit Volume -painikkeen vieressä olevaa nuolisymbolia ja valitse Create Transfer. Nimeä tämä siirtopyyntö ja napsauta Create Volume Transfer. Tämän jälkeen saat taltion siirtotunnistetiedot (transfer ID & authorization key).
Sinun täytyy toimittaa nämä tunnistetiedot kollegallesi, jolle haluat siirtää tämän taltion.
Kollegasi voi hyväksyä tämän taltion siirron omassa projektissaan siirtymällä selainkäyttöliittymän Volumes-näkymään ja napsauttamalla Accept Transfer -painiketta. Hänen täytyy sitten antaa edellisessä vaiheessa luomasi siirtotunnistetiedot ja valita Accept Volume Transfer. Tämä siirtää taltion kollegasi projektiin.
Taltioiden siirtäminen kahden Pouta-projektin välillä CLI:llä
Taltion siirrot voidaan tehdä myös komentorivikäyttöliittymällä:
openstack volume transfer request create <name or UUID of volume to transfer>
Tämän komennon tuloste sisältää taltion siirtotunnistetiedot (transfer ID & Authorization key); kirjoita ne muistiin ja toimita ne kollegallesi, jolle haluat siirtää taltion.
Kollegasi voi hyväksyä tämän taltion siirtopyynnön:
openstack volume transfer request accept <transferID> <authKey>
Liitetyn taltion koon kasvattaminen Poudan selainkäyttöliittymässä
Olet aiemmin luonut ja liittänyt taltion. Tässä osiossa kasvatat instanssiin liitetyn taltion kokoa. Ennen kuin yrität kasvattaa taltiota, sinun täytyy irrottaa taltio instanssista. Muista irrottaa tiedostojärjestelmä taltiolta ennen taltion irrottamista!
sudo umount /dev/vdb
Kasvattaaksesi taltiota valitse ensin Poudan selainkäyttöliittymässä Volumes-näkymä. Napsauta suurennettavan taltion Edit Volume -painikkeen vieressä olevaa nuolisymbolia ja valitse Extend Volume. Syötä kenttään New Size (GiB) haluamasi taltion koko GiB-yksiköissä. Napsauta lopuksi Extend Volume -painiketta. Liittääksesi kasvatetun taltion kuten aiemmassa pysyvän taltion liittämisesimerkissä, valitse ensin Poudan selainkäyttöliittymässä Volumes-näkymä. Napsauta kasvattamasi taltion Edit Volume -painikkeen vieressä olevaa nuolisymbolia ja valitse Manage attachments. Valitse Attach to Instance -valitsimesta instanssi (eli virtuaalikone), johon haluat liittää taltion.
Kun olet kirjautunut virtuaalikoneellesi, voit listata taltiot:
sudo parted -l
Samoin kuin aiemmassa pysyvän taltion luontiesimerkissä, voit tunnistaa taltion sen koon perusteella. Liitä taltio ensin tavalliseen polkuun:
sudo mount /dev/vdb /media/volume
Lopuksi meidän täytyy kasvattaa taltion tiedostojärjestelmää, jotta lisätila voidaan ottaa käyttöön. Olettaen, että taltion tiedostojärjestelmä on xfs, voimme kasvattaa tiedostojärjestelmää seuraavalla komennolla:
sudo xfs_growfs /dev/vdb
Varmistaaksesi, että tiedostojärjestelmä on nyt odotetun kokoinen, voit käyttää seuraavaa komentoa:
sudo xfs_info /dev/vdb
Kertomalla lohkokoon (bs) tiedostojärjestelmän lohkojen määrällä (blocks) saat tiedostojärjestelmän koon tavuina.
Liitetyn taltion koon kasvattaminen CLI:llä
Kasvattaaksesi taltiota irrota se palvelimesta seuraavalla komennolla:
Tarkista nyt listaamalla taltiot, onko taltio käytettävissä koon kasvattamiseen: Voit nyt kasvattaa taltiota antamalla taltion tunnuksen ja uuden koon:Taltiotyypin muuttaminen Poudan selainkäyttöliittymässä
Warning
Ennen taltiotyypin muuttamista varmista, että taltio on tilassa Available. Irrota tiedostojärjestelmä ja irrota taltio koneestasi ennen tyypin muuttamista.
Toiminto voi kestää jonkin aikaa taltion koosta riippuen, ja tänä aikana taltio on tilapäisesti poissa käytöstä.
Kirjaudu Poudan selainkäyttöliittymään ja siirry Volumes-näkymään. Napsauta sen taltion Edit Volume -painikkeen vieressä olevaa nuolisymbolia, jonka tyyppiä haluat muuttaa, ja valitse Change Volume Type.
Valitse Volume Type -valitsimesta tarpeidesi mukaan joko Standard tai Capacity ja valitse Migration Policy -asetukseksi On Demand. Napsauta lopuksi Change Volume Type -painiketta.
Taltion koosta riippuen tyypin vaihtaminen voi kestää jonkin aikaa. Voit seurata etenemistä Volumes-näkymässä. Kun taltion tila muuttuu takaisin muotoon Available tai In-use, tyypin vaihto on valmis.
Esimerkiksi 2 TB:n kokoinen taltio kestää noin 15 minuuttia.
Taltiotyypin muuttaminen CLI:llä
Voit tehdä taltiotyypin muutoksen komentorivikäyttöliittymällä:
- Listaa ensin projektissasi käytettävissä olevat taltiotyypit:
openstack volume type list --long
+--------------------------------------+----------------------+-----------+--------------------------------------------------------------------------+-------------------------+
| ID | Name | Is Public | Description | Properties |
+--------------------------------------+----------------------+-----------+--------------------------------------------------------------------------+-------------------------+
| 2a0e6c60-f717-4f38-ad8b-69faf7bb2b8d | capacity | True | Capacity volumes stored on a Ceph backend | |
| 025a0a92-8485-443f-bd61-d68b87389447 | standard.multiattach | True | Multiattachable standard volumes. Available upon request to servicedesk. | multiattach='<is> True' |
| a54f3f3b-0b10-477c-a5eb-1ecce0ec082a | standard | True | Volumes stored on a Ceph backend | |
+--------------------------------------+----------------------+-----------+--------------------------------------------------------------------------+-------------------------+
Nyt voit muuttaa taltiotyypin suorittamalla: