LVM (bloková zařízení)
Základní prvky LVM z hledika administrátora systému:
- PV - Physical volume (fyzický disk) - Libovolné blokové zařízení: oddíl na fyzickém disku (např. /dev/hda1), celý fyzický disk (např. /dev/hda), logický disk jiné LVM skupiny, etc.
- VG - Volume group - skupina disků, je výchozím prvkem pro práci s LVM. Sdružuje jednotlivá bloková zařízení do jednoho celku, v jehož rámci se pak definují a spravují logické disky.
- LV - Logical volume (logický disk) - se tvoří v rámci LVM skupiny. Operačnímu systému se tyto logické disky jeví jako fyzická bloková zařízení dm-1 (..a výše).
Základním prvkem LVM z hlediska operačního systému však není skupina PV zařízení ale rozsah, neboli extent.
- EXTENT
- je blok dat, vymezený rozsahem ( angl. extent), který může být uložen kdekoliv na kterémkoliv PV zařízení v rámci skupiny (VG). Jeho velikost je vždy násobkem tzv. fyzického rozsahu ( Physical Extent - PE) což je nejmenší možná velikost rozsahu (extentu) v rámci skupiny - VG.
- Maximální počet možných fyzických extentů (PE) je závislý na dostupné kapacitě všech fyzických blokových zařízení (PV) a nastavené maximální velikosti fyzického extentu (PE) v rámci skupiny (VG).
- Pokud fyzické blokové zařízení (PV) není součástí skupiny (VG), vykazuje nulový počet fyzických extentů (PE).
- Teprve po přidání fyzického blokového zařízení (PV) do skupiny (VG) se spočítá, kolik by se do jeho diskové kapacity mohlo vejít fyzických extentů, neboť jejich počet je závislý na nastavené velikosti fyzického extentu (PE) v rámci skupiny (VG).
Příprava blokových zařízení pro začlenění do LVM skupiny
Aby bylo možné blokové zařízení do LVM skupiny začlenit, musí mít nastaven správný identifikátor. To lze zajistit buď příkazem pvcreate, nebo i (v případě diskových oddílů) nastavením přes fdisk - a to tak že se příslušnému diskovému oddílu nastaví identifikátor 8e
.
Příklad demonstruje přípravu blokových zařízení pro začlenění do LVM skupiny:
- fyzického IDE disku
/dev/hda
- prvního primárního diskového oddílu na SATA disku
/dev/sda1
- a RAID pole
/dev/md1
stroj:~# pvcreate /dev/hda /dev/sda1 /dev/md1
|
Monitoring stavu blokových zařízení v rámci skupiny
pvscan
Příkaz pvscan vypisuje rychlé statistiky blokových zařízeních PV, které jsou v systému.
Z výše uvedeného výpisu lze vyčíst, že..
- v systému jsou přítomna tři bloková zařízení typu RAID, která mají identifikátor
8e
- z těchto tří zařízení jsou pouze dvě (
/dev/md1
a/dev/md2
) součástí LVM skupiny s názvem storage - blokové zařízení
/dev/md3
není prozatím součástí žádné skupiny a je prázdné (neobsahuje žádné extenty). - na ostatních blokových zařízeních které jsou ve skupině storage jsou obsazeny všechny extenty
To že jsou obsazeny všechny extenty apriori neznamená že je obsazená veškerá disková kapacita. Logické disky, které tyto extenty zabírají ve skutečnosti nemusí obsahovat žádná data. |
pvdisplay
Příkaz pvdisplay je určen ke zjišťování detailnějších informací o stavu jednotlivých blokových zařízeních v rámci LVM systému.
Z následujícího výpisu se můžete oproti stručnějšímu výpisu příkazu pvscan navíc dozvědět:
- jaká je velikost extentu a kolik jich lze na každé zařízení umístit
- že blokové zařízení
/dev/md1
má volných 92622 extentů tj. že další extenty budou v případě vytvoření dalšího logického disku, nebo zvětšení některého z již existujících umístěny právě sem.
Fragmentace v rámci LVM
Přesto, že se LVM snaží udržet rozsahy pokud možno kompaktní, časem může dojít k jejich rozdělení (neboli "fragmentaci"). U fragmentovaných logických disků (LV) se sníží výkon IO operací a jediným řešením je extenty srovnat a scelit.
Jak vlastně dochází k fragmentaci v rámci LVM skupiny?
Dochází k ní především při manipulaci s logickými disky (LV) v rámci skupiny (VG). Je-li logický disk (LV) odstraněn, použije LVM uvolněný prostor při vytvoření nového, nebo roztažení již existujícího, logického disku (LV). Díky tomu časem může dojít k takovému zpřeházení a rozsekání extentů jednotlivých logických disků, jako můžete názorně vidět na níže uvedeném schématu.
Následující příklad demonstruje jak se můžete pomocí příkazu lvs dozvědět do jaké míry je logický disk data
v rámci skupiny storage
fragmentován:
Jak omezit fragmentaci logických disků (LV)?
- Nepoužívané logické disky (LV) rušte, až když už v rámci skupiny není žádné volné místo. Pak zrušte všechny nepoužívané disky najednou.
- Po odstranění logických disků (LV) proveďte scelení a přerovnání logických disků (LV), tak abyste pak získali v rámci skupiny souvislé volné místo.
- Logické disky recyklujte - tj. snažte se v maximální míře využívat již existující logické disky.
- Velikost logických disků (LV) volte pokud možno takovou, aby je nebylo nutné navyšovat.
Příprava blokového zařízení na vyřazení ze skupiny - přesun dat
Pokud chceme rozdělené rozsahy logického disku (LV) scelit, nebo potřebujeme fyzické blokové zařízení (PV) ze skupiny (VG) vyhodit, použijeme pro přesun extentů příkaz pvmove. Rychlost přesunu je závislá na množství přesouvaných dat a možnostech řadiče.
Scelování "rozsekaných" extentů
Není nijak přehnané, hovořit v případě scelování o žonglování s extenty. Obzvláště v případě velkých logických disků, které svou kapacitou přesahují velikost zařízení pro odložení dat. Nicméně, doufám, že z níže uvedené ukázky bude dostatečně zřejmé jak se přesuny provádí, a jak vlastně uplatnit informace z výše uvedeného výpisu o fragmentaci logických disků.
Výchozí předpoklad je, aby pro přesun dat bylo ve VG skupině storage k dispozici další PV zařízení /dev/md3
, o stejné kapacitě, jako má /dev/md2
(2 TB).
stroj:~# vgextend storage /dev/md3
|
Cílem přesunu by mělo být, po zrušení testovacího LV disku vidle, dosažení maximálně spojitého LV disku data, rozděleného pouze mezi dva rozsahy na dvou raid polích (aktuálně je tento disk rozdělen na 4 rozsahy) :
stroj:~# lvremove storage/vidle
|
Neadresované scelení extentů
Za předpokladu, že je nám jedno, jak budou po scelení tyto dva rozsahy rozděleny mezi PV zařízení, je nejjednodušší provést přesuny bez adresování extentů
Nejprve odsuneme všechna data z PV /dev/md1
, kde byl LV disk vidle na prázdné PV zařízení /dev/md3
:
stroj:~# pvmove -n storage/data /dev/md1 /dev/md3
|
Po scelení původně rozdělených rozsahů data přesuneme z PV /dev/md3
zpět. Aby však pvmove data umístil správně, uvedeme i tentokrát PV zařízení na které se mají data přesunout:
stroj:~# pvmove -n storage/data /dev/md3 /dev/md1
|
A abychom zaplnili zbytek /dev/md1
a nemuseli nic moc řešit, tak odsuneme zbylé extenty z PV /dev/md2
. Tentokrát již nemusíme cílové PV zařízení řešit, protože by se data měly přilepit za rozsah na PV /dev/md1
a zbytek pak na PV /dev/md3
.:
stroj:~# pvmove -n storage/data /dev/md2
|
Stejným způsobem bychom pak uvolnili PV disk /dev/md3
a zařízení vyřadili ze skupiny. Výpis fragmentace by pak vypadal po těchto operacích nejspíš takto:
stroj:~# lvs -o +seg_pe_ranges storage
LV VG Attr LSize Origin Snap% Move Log Copy% Convert PE Ranges
data storage -wi-ao 2,69t /dev/md3:0-381808
data storage -wi-ao 2,69t /dev/md1:0-229734
|
Adresované přesouvání extentů
Při adresovaném přesunu extentů by bylo nejlepší nejprve část, která následovala za LV vidle odložit na PV /dev/md3
:
stroj:~# pvmove -n storage/data /dev/md1:137113-229734 /dev/md3
|
A pak ji hned zpátky "přilepit" za první blok dat. Jelikož šlo o blok dat, který nepřesahuje svým objemem zbylou kapacitu zařízení, není nutné nic adresovat. Příkaz pvmove data umístí hned za data stávající:
stroj:~# pvmove -n storage/data /dev/md3 /dev/md1
|
Zaplnění zbytku, však již vyžaduje trochu počtů. Celková kapacita PV zařízení /dev/md1
(jak jsme mohli vidět na výpisu) je 229734. Data která již byla přesunuta, zabírají 227233. Takže do úplného zaplnění zbývá volných 2501 extentů, které můžeme přesunout ze začátku PV disku /dev/md2
za stávající rozsah:
stroj:~# pvmove -n storage/data /dev/md2:0-2501 /dev/md3:227234-229734
|
Zbylá data na PV /dev/md2
dostaneme na začátek přesunem na /dev/md3
a zpět. Výsledek výpisu fragmentace by měl být stejný, jako ve výše uvedeném příkladu.
Vypisování aktuálního stavu při přesunu
Při přesunu se vypisuje aktuální stav přesunu v procentech. Přesun probíhá tak, že LVM vytvoří dočasné blokové zařízení pvmove0
, tak jako při snapshotu. Původní zařízení se uzamkne, a dokud nedojde k úplnému přesunu, zůstávají data uložena tam kde byla, zatím co rozdíly jsou udržovány v cache. Teprve po úspěšném zkopírování všech datových bloků se obsah cache zapíše do přesunutých extentů a původní obsazené extenty se uvolní.
stroj:~# pvmove -n /dev/data/blok /dev/md1 /dev/md0p2
/dev/md1: Moved: 0,0%
/dev/md1: Moved: 1,0%
/dev/md1: Moved: 2,0%
...
/dev/md1: Moved: 99,3%
/dev/md1: Moved: 100,0%
|
- Dá se přesun přerušit?
- Ano. V takovém případě však ale zůstane logický disk uzamčen, dokud přesun dat nedokončíte nebo nezrušíte parametrem --abort. Viz níže příklad použití, v případě, že by byl probíhající přesun předčasně ukončen.
stroj:~# pvmove --abort -n /dev/data/blok /dev/md1 /dev/md0p2
|