overlay

Opravdový Full-Diskless, který se obejde bez lokální instalace, máme v reálném nasazení až od roku 2011, ale klíčovou technologii, na které je založen použil poprvé Pavel Píša již roku 2005. Jeho nápad – překrýt připojený adresář připojený přes NFS pomocí unionfs vrstvou v tmpfs (RAM) – vyřešil nejproblematičtější bod disklessové infrastruktury.

Každý operační systém potřebuje datový prostor, kam může za běhu zapisovat změny – logy, databáze, konfigurační změny, atp. To není u Disklessu problém. Rozdíl je pouze v tom, že se nezdržuje čekáním na to, až se zapíšou na lokální disk, rovnou je odesílá po síti na server, ať si je někam uloží.

Je to velice výhodný přístup! Až do nástupu SSD a NVME disků, byly IO operace úzkým hrdlem každého počítačového systému. Aby mohl zapsat datový blok z rychlé RAM na pomalý rotační disk, musel vyčkat se zápisem až se roztočí, teprve poté co mu driver oznámil, že jsou data zapsaná mohl čekající proces pokračovat dál.

Diskless nic takového nezdržuje. Pošle data po síti, server mu odpoví, že data přijal a proces pokračuje dál. Nestará se, kdy, kam a jak server data skutečně uloží. A server, který obsluhuje více takových strojů má vžyky lepší ekonomiku provozu než pracovní stanice.

• Je vybaven větším množstním RAM než pracovní stanice, takže se nezdržuje se neustálým roztáčením disků. Ponechá si data v RAM, dokud jich není tolik aby mu stálo za to disky roztočit a pomalu je uložit.
• Větší množství disků také umožňuje rychlejší zápis. Nemusí čekat až se jeden disk se zápisem vypořádá. Rozdělí data na víc částí a každou z nich zapíše ve stejnou chvíli na jiný disk. Totéž platí i pro čtení.
• Navíc má sdílenou RAM, takže se nezdržuje pokud chce více strojů najednou jeden a ten samý blok dat, co už jednou načetl. Rovnou jim ho pošle.

Ale jeho datový prostor na serveru je drahý. Hodně disků, hodně RAM, hodně počítání, a k tomu velká spotřeba elektrické energie.

Diskless, který neukládá změny přes overlay do RAM, musí na něm mít svůj vyhrazený datový prostor, přístupný v režimu read-write, kam si může svoje změny zapisovat. A čím víc strojů server obsluhuje, tím víc prostoru to zabere.

Ovšem u laboratorních strojů není potřeba systémové změny ukládat na server. Zapisují se do lokální RAM a nevadí když se při restartu zahodí. Naopak. Je výhodné, když se po restartu ocitne vše ve výchozím stavu. Nezůstanou žádné soubory, ve kterých by číhal na svou oběť vir, či nějaký ransomware.

Tím pádem stačí na serveru pouze jeden adresář, který může být klidně exportován read-only, takže nehrozí, že by jeho obsah v nestřeženou chvíli někdo zakryptoval.

A protože je systém všude stejný, je bonusem i to, že data, která si uživatel zapisuje přes NFS do svého adresáře připojeného v režimu read-write, jsou vzápětí použitelná i jinde.

Verze

MD5SUM	Velikost kB	Datum vytvoření
e14b162421e25a93dbd9025e56cd1ed1	1373	2013-01-28	root_overlay – původní verze skriptu s podporou aufs a unionfs.
b3b8fc923fceefeec607161b6883e18b	2334	2013-03-19	root_overlay rozšířený o podporu overlayfs
75367479f388b68e15b28859f346c66d	2531	2016-02-09	první verze skriptu po přejmenování na overlay, ještě s podporu skriptu unionfs
11082396ef01f915f060258cc7795d4a	10086	2016-09-22	verze publikovaná na SourceForge.net
51ea3d314d6083d8ff5900330869d68f	10536	2016-09-30	první verze s podporou pro findswap používaná na DCE až do XXX
d9a9896c718dbd3b801966d9f4c1066f	14133	2019-09-04	první vývojová verze s podporou pro mcachefs (pro turtleboty)
10c3c08b5b91dab1672a3ed51e600c08	15531	2019-09-18	druhá vývojová verze pro DC s podporou pro mcachefs (pro turtleboty)
ea6eeac8dcd1397c760fd912a0d67c29	18100	2020-03-19	třetí vývojová verze pro DC s podporou pro mcachefs (pro turtleboty) používaná do XXX

Princip

Skript postupně namountuje adresáře vrstev nasdílených přes NFS na přípojné body v ramdiskovém adresáři /tmp, pak zavede jaderný modul overlay a sestaví sendvič, který obsah vrstev připojených přes NFS překryje virtuálním tmpfs diskem vytvořeným v rámci dostupné RAM.

Na základě přidělené IPv4 adresy nastavuje aktuální hostname bezdiskového stroje a generuje soubor /etc/hosts, ve kterém ukazuje záznam nfsroot na aktuální NFS server.

Skript v ramdisku najdete v podadresáři /scripts/nfs-bottom/.

Pokud bude všechno v pořádku a linuxovému jádru nebude předána volba overlay=off najede stroj s překrytým souborovým systémem.

Zda-li overlay je či není aplikovaný lze zjistit kupř. z výpisu příkazu mount. Pokud systémový disk není překrytý, tak ho normálně vidíme namountovaný na kořen / souborového systému. V opačném případě se v tomto výpisu neobjeví.

Kam je připojený ale můžeme vidět, když si necháme vypsat obsah souboru /proc/mounts. Z něm by se měl objevit systémový disk připojený na /root.

A v adresáři /overlay/unirw by také měly být vidět veškeré nově vytvořené a změněné soubory.

Chceme-li překrytí vypnout, tak buď můžeme rovnou předat volbu overlay=off

vmlinuz ... overlay=off ...

Druhou variantou je operativní vypnutí překrytí, máme-li zaváděcí proces přerušený parametrem break. V takovém případě stačí v kořeni ramdisku vytvořit soubor s názvem off a příkazem exit pak pokračovat v zavádění.

vmlinuz ... break ...
...
(initramfs) touch off
(initramfs) exit
...

Pokud přepínáme mezi překrytím a RW přístupem, je třeba aby byl pro RW přístup vyexportován také adresář virtuálního stroje na vzdáleném NFS serveru!

Verze z 2016-02-09

overlay

#!/bin/sh PREREQ="unionfs" prereqs() { echo "$PREREQ" } case $1 in prereqs) prereqs exit 0 ;; esac overlay=${overlay-off} # Zapnutí překrytí předáním hodnoty [on|unionfs|overlay] prostřednictvím parametru overlay, případně nastavením parametru root na hodnotu [overlay] # Dodatečně lze zapnout překrytí vytvořením souboru v kořeni ramdisku # on - aktivuje unionfs i overlay, stejně jako parametr overlay # uninfs - aktivuje pouze unionfs if [ -e /on ] || [ -e /overlay ] || [ "${overlay}" = "on" ] || [ "${overlay}" = "overlay" ] ; then \ if [ "${BOOT}" = "nfs" ] ; then if [ -d /tmp/unionfs ] ; then echo "Make overlay ${rootmnt}" else echo "I am sorry, but overlay over nfs is disfuncted, for it must be overlayed unionfs root, which has any problem" exit 0 fi fi else exit 0 fi modprobe overlay [ "$?" != "0" ] && echo "Module for overlay is not integrated into ramdisk" && exit 0 # Potřebuje zavést modul fuse.. # Kód, který připraví přípojné body a namountuje přes unionfs, kterým je překryto NFS systémový overlay echo "Move ${rootmnt} into /tmp/overlay" mkdir /tmp/overlay mount -n -o move ${rootmnt} /tmp/overlay echo "Mount ramdisk by size ${ramsize}" mkdir /tmp/unirw mount -n -t tmpfs none /tmp/unirw mkdir /tmp/unirw/overlaydiff mkdir /tmp/unirw/overlaywork echo "Ramdisk overlayed unionfs ..." mount -n -t overlay overlay -o lowerdir=/tmp/overlay,upperdir=/tmp/unirw/overlaydiff,workdir=/tmp/unirw/overlaywork ${rootmnt} if [ "$?" == "0" ] ; then echo "Unionfs is overlayed" # Vytvoření chybějících adresářů, na které se namountují další virtuální souborové systémy. mkdir -p ${rootmnt}/dev mkdir -p ${rootmnt}/proc mkdir -p ${rootmnt}/sys mkdir -p ${rootmnt}/tmp mkdir -p ${rootmnt}/run mkdir -p ${rootmnt}/var/lock # Mají-li být data co se ukládají na virtuální disk - kterým je systémový disk překrytý - dostupná, # pak je třeba provést přesun namountovaného virtuálního disku do adresářové struktury sjednoceného # souborového systému. V opačném případě lze tento kód vynechat. mkdir -p ${rootmnt}/overlay mount -n -o move /tmp/unirw ${rootmnt}/overlay if [ "$?" == "0" ] ; then chmod 755 ${rootmnt} # Disable rw access for non-root users else echo "I am sorry, but overlaydiff directory don't move into overlayed system environment" fi echo "OK. ${rootmnt} is overlayed" else echo "Overlay failed. Sorry" fi

unionfs

#!/bin/sh PREREQ="" prereqs() { echo "$PREREQ" } case $1 in prereqs) prereqs exit 0 ;; esac overlay=${overlay-off} pause=${pause-1} union=${union-hide_meta_files} # Zapnutí překrytí předáním hodnoty [on|unionfs|overlay] prostřednictvím parametru overlay, případně nastavením parametru root na hodnotu [overlay] # Dodatečně lze zapnout překrytí vytvořením souboru v kořeni ramdisku # on - aktivuje unionfs i overlay, stejně jako parametr overlay # uninfs - aktivuje pouze unionfs if [ -e /unionfs ] ; then if [ -e /bin/unionfs ] ; then echo "Make temporary union ${rootmnt}" else echo "Unionfs-fuse is not installed into initrd!" echo "You must installed it, and doit: update-initramfs -u" sleep ${pause} exit 0 fi else if [ "${overlay}" = "off" ] || [ -e /off ] ; then exit 0 elif [ "${overlay}" = "unionfs" ] ; then if [ -e /bin/unionfs ] ; then echo "Make union ${rootmnt}" else echo "Unionfs-fuse is not installed into initrd!" echo "You must installed it, and doit: update-initramfs -u" sleep ${pause} exit 0 fi else exit 0 fi fi modprobe fuse [ "$?" != "0" ] && echo "Module for FUSE is not integrated into ramdisk" && exit 0 mkdir /tmp/uniondiff mkdir /tmp/unionfs [ -d /tmp/uniondiff ] && echo "Directory for unionfs diff is created" [ -d /tmp/unionfs ] && echo "Directory for unionfs root is created" echo "Compute size of tmpfs" MEMFREE=$(grep MemFree /proc/meminfo | cut -d ' ' -f 10) size=${size-1/2} RAMSIZE=$((${MEMFREE}*${size})) echo "Size of tmpfs is set on ${RAMSIZE} kb" sleep ${pause} mount -n -o size=${RAMSIZE}k -t tmpfs none /tmp/uniondiff mount -n -o move ${rootmnt} /tmp/unionfs echo "Mounting root as unionfs with option: ${union}" sleep ${pause} unionfs -o cow,allow_other,use_ino,suid,dev,nonempty,${union} /tmp/uniondiff=rw:/tmp/unionfs=ro ${rootmnt} if [ "$?" != "0" ] ; then echo "FAIL: NFS is NOT overlayed" sleep ${pause} exit 0 fi mkdir -p ${rootmnt}/dev mkdir -p ${rootmnt}/proc mkdir -p ${rootmnt}/sys mkdir -p ${rootmnt}/tmp mkdir -p ${rootmnt}/run rm -rf ${rootmnt}/var/lock mkdir -p ${rootmnt}/var/lock echo "Bind uniondiff into unionfs root.." mkdir ${rootmnt}/overlay mount -n -o bind /tmp/uniondiff ${rootmnt}/overlay sleep ${pause}