ICO wiki - User contributions [en]

Varnish

2013-03-13T16:52:22Z

Ckallas: /* Varnishi paigaldamine turvalisuse suurendamiseks */

= Koostajad =
Vajab täiendamist. Lingi http://blog.rac.me.uk/2009/11/29/linux-handy-varnish-commands/ alusel.

Rene Sepp, Kersti Lang, Carolys Kallas

Kevad 2012

Viimati muudetud: 14.05.2012

= Sissejuhatus =
Varnishit kasutatakse veebilehekülgede kiirendamiseks. See installeeritakse HTTP serveri ette ning tehakse vastavad muutused sisu cachimiseks. Varnish cache tavaliselt kiirendab andmete laadimiset 300-1000 kordselt sõltuvalt veebilehe ülesehitusest. Varnish cache hoiab veebilehti vahemälus kiirendades sellega javaskriptide ning piltide laadimist. Lisaks kasutatakse seda ka koormuse tasakaalustamiseks ning turvalisuse suurendamiseks.

= Ajalugu =
Projekti algatas Norra suurim tabloidformaadis ajaleht Verdens Gang. Arhitekt ja juhtiv arendaja on Taani konsultant Poul-Henning Kamp (tuntud kui FreeBSDcore arendaja). Haldus, infrastruktuuri - ja täiendavat arendust varustas algselt Norra Linux konsultatsioonifirma Linpro. Varnishi tugi, haldus ja arendus koondus hiljem eraldi haruks - Varnish Software.

2006. aastal avaldati Varnishi versioon 1.0. Varnish 2.0 avaldati 2008 ning Varnish 3.0 2011 aastal.

= Arhitektuur =
Varnishi salvestab andmed virtuaalmällu ja jätab otsustada, mis salvestatakse mällu ja mida suunatakse ketta operatsioonisüsteemi. See aitab vältida olukorda, kus operatsioonisüsteem hakkab andmeid suunama vahemällu samal ajal kui nad paigutatakse rakenduse poolt kettale.

Lisaks on Varnishi tugevalt "keermestatud", iga kliendi ühendust käsitletakse kui eraldi "keeret". Kui seadistatud aktiivsete "keerete" arv on täidetud, paigutatakse sisenevad ühendused ülevoolu järjekorda. Kui kui see järjekord jõuab teatud piirini, hakkab süsteem sissetulevaid ühendusi tagasi lükkama.

Peamine seadistamise mehhanism on VCL (Varnishi Configuration Language).Enamus kasutajapoliitika otsuseid jäetakse VCL koodi, mis muudab Varnishi palju rohkem seadistatav ja kohanemisvõimelisemaks kui enamik teisi HTTP kiirendeid. Kui VLC script on laetud, tõlgitakse see "C" keelde, kompileeritakse, et jagada objektid süsteemi poolt kompilaatorisse ja seotakse otse kiirendiga.

Arvu run-time parameetrid kontrollivad näiteks maksimaalset ja minimaalset aktiivsete keerete arvu, nende erinevaid süsteemipause jne. Käsurea juhtimise liides võimaldab neid parameetreid muuta, uusi VCL skripte kompileerida, laadida ja aktiveerida kiirendile taaskäivitust tegemata.

Selleks, et vähendada süsteemi päringute arvu kiirelt miinimumini, on logi-andmed salvestatud mällu ning logi-andmete filtreerimine, vorminine ning kirjutamine aktiivsele kettale kettale.

= Eeldused =
Antud lahendus on testitud Ubuntu Server 10.10 peal, kuid võib töötada ka teiste Ubuntu versioonidega ning muude Linuxi distributsioonidega.

Eelduseks on töötav veebileht, näiteks wordpressi leht. Kui seda tehtud pole, siis seda kirjeldab
WordPress turvamise labor. https://wiki.itcollege.ee/index.php/WordPress_turvamine

= Varnishi paigaldamine turvalisuse suurendamiseks =
Varnish peatab mittetäielikel http päringutel jõudmast Apache veebiserverini.
Põhineb "Putting Varnish In Front Of Apache On Ubuntu/Debian" artiklil, mis asub siin http://www.howtoforge.com/putting-varnish-in-front-of-apache-on-ubuntu-debian

==Kontrollime kas on installitud kõige uuem varnishi versioon.==
<pre>sudo apt-get install curl
sudo curl http://repo.varnish-cache.org/debian/GPG-key.txt | apt-key add -
sudo echo "deb http://repo.varnish-cache.org/debian/ $(lsb_release -s -c) varnish-2.1" >> /etc/apt/sources.list </pre>

==Apache konfiguratsiooni muutmine==
Muudame varnishi konfiguratsiooni faili, et varnish kuulaks defaultina port 80.
<pre>nano /etc/default/varnish</pre>
Muuda "DAEMON_OPTS="-a *:6081 \" selliseks
<pre>DAEMON_OPTS="-a *:80 \</pre>
ctrl-O ja muudame nime millekski muuks, nt mysite.vcl

Kopeerime /etc/varnish/default.vcl
<pre>cp /etc/varnish/default.vcl /etc/varnish/mysite.vcl</pre>

Täiendame /etc/varnish/mysite.vcl faili.
<pre>
## Redirect requests to Apache, running on port 8000 on localhost
backend apache {
.host = "127.0.0.1";
.port = "8000";
}
## Fetch
sub vcl_fetch {
## Remove the X-Forwarded-For header if it exists.
remove req.http.X-Forwarded-For;

## insert the client IP address as X-Forwarded-For. This is the normal IP address of the user.
set req.http.X-Forwarded-For = req.http.rlnclientipaddr;
## Added security, the "w00tw00t" attacks are pretty annoying so lets block it before it reaches our webserver
if (req.url ~ "^/w00tw00t") {
error 403 "Not permitted";
}
## Deliver the content
return(deliver);
}

## Deliver
sub vcl_deliver {
## We'll be hiding some headers added by Varnish. We want to make sure people are not seeing we're using Varnish.
## Since we're not caching (yet), why bother telling people we use it?
remove resp.http.X-Varnish;
remove resp.http.Via;
remove resp.http.Age;

## We'd like to hide the X-Powered-By headers. Nobody has to know we can run PHP and have version xyz of it.
remove resp.http.X-Powered-By;
}
</pre>

==Varnishi konfiguratsiooni muutmine==
Apache2 tuleb kuulama panna localhosti.
<pre>nano /etc/apache2/ports.conf</pre>
Muuda
<pre>
NameVirtualHost *:80
Listen 80
</pre>

selliseks
<pre>
NameVirtualHost *:8000
Listen 192.168.56.101:8000
</pre>

192.168.56.101 asemel kasuta oma IP.

Paigaldame apachele lisamooduli, et kuvataks kliendi õige ip aadress.
<pre>apt-get install libapache2-mod-rpaf</pre>

== Deemonite restart ==
Kõigepealt tuleb apachele restart teha
<pre>/etc/init.d/apache2 restart</pre>

Kontrollime IP porti
<pre>netstat -lp | grep apache2 </pre>

Tulemus peab olema taoline:
<pre>
tcp 0 0 localhost:8000 *:* LISTEN 4586/apache2
</pre>

Teeme restarti Varnishile
<pre>/etc/init.d/varnish restart </pre>

Kontrollime uuesti
<pre>netstat -lp | grep varnish </pre>

Tulemus peab olema taoline:
<pre>
tcp 0 0 *:www *:* LISTEN 4498/varnishd
tcp6 0 0 [::]:www [::]:* LISTEN 4498/varnishd
</pre>

Nüüd on varnish paigaldatud apache2 ette. (Wordpress) sait peab nüüd töötama. Kui apache peatada kuvatakse varnish error lehekülg.

= Logimine =
== Access.log ==
Veebilehe külastamisi saab jälgida access.logist:
<pre>nano /var/log/varnish/access.log</pre>

= Juhend, et Apache logides näidataks kliendi IP aadressi, mitte Varnishi serveri enda =
==Varnishi pool==

Lisada oma varnish konfiguratsiooni .vcl read:

Näiteks /etc/varnish/default.vcl
<pre>
sub vcl_recv {
# Add a unique header containing the client address
remove req.http.X-Forwarded-For;
set req.http.X-Forwarded-For = client.ip;
# [...]
}
</pre>

Taaskäivita Varnish

<pre>
service varnish restart
</pre>

==Apache pool ==
Lisada vajalikud moodulid Apache jaoks

Tuleb lisada fail /etc/apache2/conf.d/varnishlog.conf
<pre>
LogFormat "%{X-Forwarded-For}i %l %u %t \"%r\" %>s %b \"%{Referer}i\" \"%{User-Agent}i\"" varnishcombined
</pre>

Enda virtualhost konfiguratsioonis muutke log vorming varnishcombined-ks
<pre>
<VirtualHost *:80>
ServerName www.planet.zz
# [...]
CustomLog ${APACHE_LOG_DIR}/access.log varnishcombined
# [...]
</VirtualHost>
</pre>

Apachele restart
<pre>service apache2 restart</pre>

==Tulemuse kontroll==
Ühenda kliendiga veebiserveri külge ja vaata apache access.log faili, mis ip logitakse
<pre>less /var/log/apache2/access.log</pre>

= Juhend, Security.VCL paigaldamine =
Security.vcl on Web Application tulemüür, mis on rakendatud vcl(Varnish Control Language) keeles

Sarnaneb mod_security-le, aga on palju kiirem.

https://www.owasp.org/index.php/Category:OWASP_ModSecurity_Core_Rule_Set_Project#tab=Home

<pre>wget https://github.com/comotion/security.vcl/tarball/master -O - | tar xz</pre>
<pre> apt-get install make</pre>
<pre>cd comotion-security.vcl-616f269/vcl/
sudo make
cd ..
sudo ln -s $PWD/vcl/ /etc/varnish/security</pre>
Lisa Varnishi .vcl conf faili järgnev rida Backend Apache ridade alla
<pre> include "/etc/varnish/security/main.vcl";</pre>
Välja peaks nägema nii
<pre> backend apache {
.host = "<sinu serveri ip>";
.port = "8080";
}
include "/etc/varnish/security/main.vcl";
</pre>
<pre>service varnish restart
</pre>

== Tulemuse kontroll ==

Proovi nüüd minna enda veebiserveri külge aadressiga:

<pre>http://<sinu serveri ip>/javascript:</pre>

Kui kõik toimib tuleb vastuseks:
<pre>Error 403 Naughty, not nice!</pre>

== Kasutatud materjal ==
1. About Varnish - https://www.varnish-cache.org/about

2. Putting Varnish In Front Of Apache On Ubuntu/Debian - http://www.howtoforge.com/putting-varnish-in-front-of-apache-on-ubuntu-debian

3. Configuring varnish and apache to pass the original client ip http://theyusedtocallitablog.net/2011/07/configuring-varnish-and-apache-to-pass-the-original-client-ip-specifically-with-wordpress-comments-in-mind/

4. https://github.com/comotion/security.vcl/blob/master/README

Mysql varundamine LVM abil

2013-01-14T16:52:24Z

Ckallas: /* LVM -i seadistamine */

__TOC__
==Sissejuhatus==

Antud kirjatüki eesmärgiks on tutvustada Logical Volume Manageri kui abivahendit toimivast süsteemist tagavarakoopiate tegemisel. Kuigi failisüsteemi snapshotide tegemine ja nende kasutamine on ainult üks LVM-i pakutavatest võimalustest. LVM - i snapshotide tegemise võimalus pole ainult mysql -i varundamiseks, vaid kasutatav ka muude andmete varukoopiate tegemiseks. Antud juhul on MySQL siin ainult „reisija“ aga protsessi selgitamiseks ja LVM snapshoti kasutamiseks on MySQL näitena väga hea. Kogu seadistamise protsess toimub Ubuntu Linux Server 12.04.1 LTS operatsioonisüsteemis ja kasutab sellega kaasnevaid vahendeid.

==Mis on mis?==
'''Logical Volume Manager''' - LVM

'''Physical Volume''' - PV, plokkseade, füüsiline kettajagu

'''Volume Group''' - VG, kettagrupp

'''Logical Volume''' - LV, loogiline kettajagu

'''Snapshot''' - (hetk)tõmmis

===LVM===
LVM ehk „Logical Volume Manager“ on ketta partitsioonide haldusvahend Linuxi ja UNIX-i laadsete operatsioonisüsteemide juures. LVM moodustab vahekihi failisüsteemi ja füüsilise kõvaketta vahele. Esmapilgul võib tunduda, et LVM on sarnane RAID (Redundant Array of Independent Disks) kettamassiiviga, on ta siiski hoopis paindlikum viis kettajagudega toimetamiseks. RAID võimaldab kettaid omavahel liita, et saada paremaid tulemusi kiiruses, mahus või töökindluses. LVM seevastu võimaldab korraga hallata mitut (ka loogilist) kettajagu, neid vastavalt vajadusele ümber tõsta ja mahtu muuta. Seega on tihti hea mõte neid kahte hoopis koos kasutada (näiteks RAID 10 ja LVM).
Lihtsustatult oleks ettekujutus eri kihtide tasemetest selline:
* Failisüsteemid
* LVM
* RAID (vajadusel)
* füüsilised plokkmäluseadmed (kõvakettad)

===Omadused===
LVM pakutavad võimalused on:
* Failisüsteemi suuruse muutmine
* Failisüsteemi snapshotide tegemine ja kasutamine (nii read-only kui ka read-write)
* Loodud/muudetud partitsioonide kohene kasutamine, kui ketas/partitsioon on mingil moel kasutusel. Fdisk-i kasutamisel tuleb OP-süsteem taaskäivitada.
* Väiksemate füüsiliste plokkseadmete kokku ühendamine, üheks suureks loogiliseks seadmeks. (Nagu RAID)
* Ketaste liigutamine ja ühendamine üle võrgu

Lisainfot LVM-i kohta: http://en.wikipedia.org/wiki/Logical_Volume_Manager_(Linux)

===MySQL===
MySQL on Oracle Corporation poolt hallatav relatsioonilise andmebaasi haldamise süsteem. On äärmiselt populaarne andmebaasisüsteem erinevates veebirakendustes aga ka mõningates suuremates süsteemides. Oma populaarsuse on ta saanud tänu äärmiselt lihtsale hallatavusele ja kasutajasõbralikkusele. Hetkel ei hakka MySQL-i omadustel ja võimalustel pikemalt peatuma. Rohkem informatsiooni leiab: http://www.mysql.com/

==Eeldused==
*Installeeritud Ubuntu Server (vähemalt 12.04 versioon)
*Tutvutud kettajagudega (kiire kordamine näiteks '''[[Osadmin spikker]]''')

'''Viia kõik käsklused läbi sudo kasutaja alt'''
sudo -i

===Ketaste lisamine===
Kõigepealt on vaja lisada serverile kõvaketas, mida hiljem LVM-iga siduma hakata.

[[File:Create_hard_disk.PNG‎|500px]]

Luua uus 4GB ketas, mis on VirtualBox Disk Image (VDI) formaadis ning dünaamiliselt jagatud.

===Vajaliku tarkvara installeerimine===

Et LVM-i ja MySQL-i seadistada on vajalikud teadmised, kuidas toimub Linuxis ketaste ja partitisoonide haldamine ja baasteadmised MySQL-ist.
Kõigepealt on vajalik installeerida lvm2 nimeline pakett, eelnevalt uuendada tarkvaravaramu nimekirja.
<pre>apt-get update
apt-get install lvm2</pre>
Olenevalt operatsioonisüsteemist võib olla vajalikud paketid juba installeeritud, kontrollida saab nii:
<pre>lvm version</pre>

Lisaks on vajalik installeerida MySQL server ja klientprogramm serveriga ühendumiseks.
<pre>apt-get install mysql-server</pre>
NB! Kuna LVM-i kasutuselevõtmine vajab mõningast MySQL-i ümberseadistamist, tuleb arvestada asjaoluga, et MySQL-i data kausta ümbertõstmisel ei pruugi olemasolevad andmed säilida (InnoDB) ja vajalik oleks serveris olevatest andmetest enne .sql kujul tagavarakoopia teha.

==LVM -i seadistamine==

[[File:LVM.jpg|thumb |http://linuxconfig.org/images/Lvm.jpg Pilt on pärit linuxconfig ariklist "Linux lvm - Logical Volume Manager" |alt=LVM alt text]]

LVM ise jaguneb kolmeks eri kihiks: plokkseadmed (PV), kettagrupid (VG), millesse on organiseeritud füüsilised plokkseadmed ja loogilised kettajaod, mis on jagatud kettagrupid.
Iga kihiga toimetamisel on oma käsud, mis viitavad sellele, mis kihiga hetkel toimetatakse: pv*, vg* ning lv*. Näiteks pvcreate, vgcreate ja lvcreate.

Esimese asjana tuleb valida ketas/kettajagu, kus LVM-iga toimetama hakata. Uue ketta puhul oleks võimalusel mõtekas luua üks tervet ketast hõlmav partitsioon.

Operatsioonisüsteem tunnistab näites kasutatavat uut ketast kui /dev/sdb ja seega on näites kasutatavad ketta nimed/asukohad just sellised.

Kõikide olemasolevate partitsioonide kuvamine:
<pre>fdisk -l</pre>

(Kindla partitsiooni vaatamiseks lisada käsu lõppu see partitsioon:)
<pre>fdisk -l /dev/sda</pre>

<pre>fdisk -l 2> /dev/null | grep Disk</pre>
Tulemus:
<pre> Disk /dev/sda: 8589 MB, 8589934592 bytes
Disk identifier: 0x000bd8b1
Disk /dev/sdb: 4294 MB, 4294967296 bytes
Disk identifier: 0x11844f48</pre>

===Füüsilise ketta väärtuse muutmine===
Avada fdiskiga uue loodud ketta partitsioon ning luua uus primaarne kettajagu:

<pre>fdisk /dev/sdb
Command (m for help): n

Partition type:
p primary (0 primary, 0 extended, 4 free)
e extended

Select (default p): p

Partition number (1-4, default 1): 1

First sector (2048-8388607, default 2048):
Using default value 2048

Last sector, +sectors or +size{K,M,G} (2048-8388607, default 8388607):
Using default value 8388607</pre>

Print käskluse abil kuvatakse kettajagu, algus, lõpp, blokid, id ning süsteem. Loodud partitsioon on 83 ehk Linux. Partitsiooni süsteemse id muutmiseks kasutatakse '''t'''.

Käsklus '''L''' kuvab kõik kaheksandikkoodid . Linux LVM kood on 8e, et muuta kettajagu Linux LVM-iks on vaja muuta kettajao id 83-lt 8e-ks.
[[file:8e.PNG|500px]]

<pre>
Command (m for help): t
Selected partition 1

Hex code (type L to list codes): 8e
Changed system type of partition 1 to 8e (Linux LVM)

Command (m for help): w
The partition table has been altered!

Calling ioctl() to re-read partition table.
Syncing disks.</pre>

'''NB mitte väljuda q, mis väljub programmist muudatusi salvestamata!'''

===Füüsiline kettajagu===
Järgnevalt anname lvm-ile teada, et loodud partitsioon (/dev/sdb1) on „pv“ ehk physical volume.

<pre>pvcreate /dev/sdb1</pre>

Kui kõik läks hästi siis display käsk peaks kuvama sellise tulemuse:
<pre>pvdisplay</pre>
Tulemus:
<pre>"/dev/sdb1" is a new physical volume of "4.00 GiB"
--- NEW Physical volume ---
PV Name /dev/sdb1
VG Name
PV Size 4.00 GiB
Allocatable NO
PE Size 0
Total PE 0
Free PE 0
Allocated PE 0
PV UUID EdmaX9-bXmQ-Oevp-p9W9-I2qY-gpMM-1w77aQ</pre>

===Kettagrupp===
Loome uue „volume group“ -i ja nimetame selle mysql -iks.

<pre>vgcreate mysql /dev/sdb1</pre>

Display käsu tulemus peaks olema sarnane:
<pre>vgdisplay</pre>
Tulemus:
<pre> --- Volume group ---
VG Name mysql
System ID
Format lvm2
Metadata Areas 1
Metadata Sequence No 4
VG Access read/write
VG Status resizable
MAX LV 0
Cur LV 2
Open LV 2
Max PV 0
Cur PV 1
Act PV 1
VG Size 4.00 GiB
PE Size 4.00 MiB
Total PE 1023
Alloc PE / Size 512 / 2.00 GiB
Free PE / Size 511 / 2.00 GiB
VG UUID s5AjT8-ss7D-Gm9m-XY6j-ULMv-RLbR-xdy0K6</pre>

Järgnevalt saame luua „volume group“ -ile „logical volumes“ ehk loogilised kettajaod. Need on justkui partitsioonid füüsilisel kõvakettal ja neid saab juba andmete talletamiseks kasutada. Nimetame kettajao nimega data ja määrame tema suuruseks 1GB (antud suurus sobib väga hästi katsetamiseks aga reaalsetes süsteemides tuleb muidugi oluliselt suuremaid numbreid kasutada. ). Suuruse seadistamisel tuleb arvestada, et sama „volume group“ peale tuleb mahutada veel vähemalt üks sama suur loogiline kettajagu, mis on loodava LV snapshot. Näide kui VG suurus on kokku 10GB siis on võimalik teha maksimaalselt 5GB suurune loogiline kettajagu. Vastasel ei mahu tema kõrvale, samale VG-le tehtud LV snapshot.

===Loogiline kettajagu===
Data nimelise 1GB loogilise kettajao loomine:
<pre>lvcreate -n data -L 1GB mysql</pre>

Kontrollime tulemust:
<pre>lvdisplay</pre>
Tulemus:
<pre> --- Logical volume ---
LV Name /dev/mysql/data
VG Name mysql
LV UUID SL0yWI-Mc2b-KhkE-V8P1-bW7E-3iL8-8zD6Uf
LV Write Access read/write
LV Status available
# open 0
LV Size 1.00 GiB
Current LE 256
Segments 1
Allocation inherit
Read ahead sectors auto
- currently set to 256
Block device 252:0</pre>

Teadmiseks: lvdisplay käsu käivitamisel on näha parameeter „LV Status“. See näitab, kas kettajagu on saadaval või mitte. Kasutada on võimalik ainult available olekus kettajagu. Eemaldada saab ainult NOT available olekus kettajagusid. Kettajao NOT available olekusse viimiseks saab kasutada käsku:

<pre>lvchange -a n /dev/mysql/data</pre>
ja tagasi:
<pre>lvchange -a y /dev/mysql/data</pre>

===Failisüsteemi loomine ja ühendamine===
Nüüd on loodud uus kettajagu, mida saab andmete säiltamiseks kasutada. Loome sellele kettajaole failisüsteemi:
<pre>mkfs -t ext4 /dev/mysql/data</pre>

Järgmisena tuleb loodud kettajagu kuhugile mountida. Mina teen sellejaoks /srv/mysql kausta ja haagin ketta sinna.

<pre>mkdir /srv/mysql
mount /dev/mysql/data /srv/mysql</pre>

Lisame '''/etc/fstab''' faili lõppu kirje, et ka järgmisel süsteemi käivitamisel oleks ketas kohe külgehaagitud

<pre>
<file system> <mount point> <type> <options> <dump> <pass>
/dev/mysql/data /srv/mysql ext4 defaults 0 0</pre>

==MySQL seadistamine==
Muudame kausta õigused mysql-ile sobivaks (kausta omanik on kasutaja mysql ja kaustale on ligipääs ainult kausta omanikul)
<pre>chown mysql:mysql /srv/mysql
chmod 0700 /srv/mysql</pre>

Nüüd tuleb olemasolev mysql data kaust liigutada /srv/mysql kausta. Esimese asjana peatada mysql server
<pre>service mysql stop</pre>

Kopeerime (!) kogu mysql-i data kausta loodud lvm kettajaole. Ubuntus (ilmselt ka paljudes teistes operatsioonisüsteemides) asub mysq-i data kaust /var/lib/mysql. Oleks vägagi soovitatav jätta andmed vanasse kausta alles ja kustuta see alles siis kui ollakse täiesti kindel, et server töötab tõrgeteta.
<pre>cp -ar /var/lib/mysql/. /srv/mysql</pre>

Seejärel tuleb mysql-i konfiguratsioonifailis ('''/etc/mysql/my.cnf''') muuta ära „datadir“ parameeter
<pre>datadir = /var/lib/mysql -> datadir = /srv/mysql</pre>

Teadmiseks: alates Ubuntu 7.10 -st on operatsioonisüsteemiga kaasas programm nimega „AppArmor“ (Loe lähemalt: https://wiki.itcollege.ee/index.php/AppArmor). Tegemist on kerneli turvamooduliga, mis teatavate programmide puhul piirab nende ligipääsu failisüsteemile. Et MySQL server uuesti korrektselt käivituks, tuleb „AppArmor“ -is mysq-i seadistust muuta. Sobiva tekstieditoriga tuleb avada ''''/etc/apparmor.d/usr.sbin.mysqld''' konfifail ja teha seal vajalikud muudatused :
<pre>/var/lib/mysql/ r, -> /srv/mysql r,
/var/lib/mysql/** rwk, -> /srv/mysql** rwk,</pre>

Seejärel on vaja teha AppArmorile restart
<pre>service apparmor restart</pre>

Osadel operatsioonisüsteemidel võib ka init skript ette anda, kus asub mysql-i datadir. Seega oleks mõistlik ka see '''/etc/init.d/mysql''' skriptist üle vaadata.

Käivitame uuesti mysql-i serveri:

<pre>service mysql start</pre>

Kontrollime mysql-i muutujaid:
<pre>mysqladmin -u [mysql-kasutaja] -p variables | grep datadir</pre>
<pre>Enter password: [mysql-parool]
| datadir | /srv/mysql/
</pre>
Lisaks tuleks sobiva mysql kliendiga serverisse sisse logida ja kontrollida üle, kas kõik jäi korrektselt tööle.

Nüüd, kui MySQL server on korrektselt tööle hakanud ja tekib vajadus varukoopiate tegemiseks. Töötavast serverist snapshoti tegemisel pole vajalik eelnev serveri väljalülitamine. Snapshoti tegemise protsess on äärmiselt kiire ja andmete lugemine andmebaasist toimib endiselt edasi. Samas andmete kirjutamise protsess viibib seni kuni andmebaasilt kirjutamise lukk maha võetakse (kõik kirjutamise käsud täidetakse kohe peale luku vabastamist).
Ehkki varukoopia tegemise protsess ei tekita katkestusi serveri töös, oleks hea mõte teha varukoopiaid sellisel ajal kui serveril on kõige väiksem koormus.
On vajalik teada, et andmebaas lukustatakse ainult selleks ajaks, kui mysql serverisse on sisse logitud. Kohe kui sessioon lõpetatakse, vabastatakse ka lukud. Seetõttu peab snaspshoti tegemise ajal olema serverisse sisse logitud. Variant on kasutada kahte terminali sessiooni aga vajalikke käske saab käivitada ka MySQL-i käsurealt (vajalik on mysql-i klient käivitada root kasutaja õigustes).
<pre>mysql -u [root] -p
Enter password:</pre>

Protseduuri ajaks on vajalik keelata ära andmete kirjutamine:
<pre>mysql> FLUSH TABLES WITH READ LOCK;</pre>
<pre>Query OK, 0 rows affected (0.00 sec)</pre>
Lisaks võiks tühjendada ka logid:
<pre>mysql> FLUSH LOGS;</pre>
<pre>Query OK, 0 rows affected (0.00 sec)</pre>

==Tõmmise tegemine==
/sbin on standardne juurkataloogi alamkataloog Linuxis ja teistes Unix-taolistes operatsioonisüsteemides, mis sisaldab käivitamisvõimelisi programme. Seda on vaja, et saaks kasutada süsteemisiseseid faile.

<pre>mysql> SYSTEM /sbin/lvcreate -L 1G --snapshot -n sql_backup /dev/mysql/data</pre>
<pre>File descriptor 3 (socket:[15065]) leaked on lvcreate invocation. Parent PID 3514: sh
Logical volume "sql_backup" created</pre>

Tabelite lukust vabastamine.
<pre>mysql> UNLOCK TABLES;</pre>
<pre>Query OK, 0 rows affected (0.01 sec)</pre>

<pre>mysql> exit
Bye
</pre>
Snapshoti kettajagu nimetati kui sql_backup ja viide loogilisele seadmele asub /dev/mysql/sql_backup. Käivitades käsu „lvs“, saab näha, et lisaks mysql/data LV-le on juurde tekkinud mysql/sql_backup
<pre>lvs</pre>
Tulemus:
<pre>LV VG Attr LSize Origin Snap% Move Log Copy% Convert
data mysql owi-ao 1.00g
sql_backup mysql swi-a- 1.00g data 0.00
</pre>
Kui nüüd haakida tehtud snapshoti kettajagu, on seal kättesaadav kogu mysql-i data sellel hetkel, kui snapshot tehti.
<pre>mkdir /mnt/bk
mount /dev/mysql/sql_backup /mnt/bk
ls -la /mnt/bk</pre>
Tulemus:
<pre>total 28720
drwx------ 8 mysql mysql 4096 Dec 12 15:59 .
drwxr-xr-x 3 root root 4096 Dec 12 16:34 ..
-rw-r--r-- 1 root root 0 Nov 30 17:18 debian-5.5.flag
-rw-rw---- 1 mysql mysql 18874368 Dec 12 16:18 ibdata1
-rw-rw---- 1 mysql mysql 5242880 Dec 12 16:18 ib_logfile0
-rw-rw---- 1 mysql mysql 5242880 Nov 30 17:18 ib_logfile1
drwx------ 2 root root 16384 Dec 12 15:58 lost+found
drwx------ 2 mysql root 4096 Nov 30 17:18 mysql
-rw-rw---- 1 root root 6 Nov 30 17:18 mysql_upgrade_info
drwx------ 2 mysql mysql 4096 Nov 30 17:18 performance_schema
drwx------ 2 mysql mysql 4096 Nov 30 17:28 phpmyadmin
drwx------ 2 mysql root 4096 Dec 12 16:18 test
drwx------ 2 mysql mysql 4096 Nov 30 17:33 wp
</pre>
MySQL-i server töötab peale snapshoti tegemist katkestusteta edasi. Tehtud snapshoti andmeid võib varundada arhiivi jaoks. Andmete varundamisel tuleb spashoti kettajagu failisüsteemi külge haakida ja selle sisu „tar“-i abil arhiveerida ja hiljem eemaldada snapshoti kettajagu

<pre>mkdir -p /var/teekond/arhiivi
tar -cjf [/var/teekond/arhiivi/][kuupäev].tar.bz2 -C /mnt/bk
umount /dev/mysql/sql_backup
lvremove /dev/mysql/sql_backup
Do you really want to remove active logical volume sql_backup? [y/n]: Y
Logical volume "sql_backup" successfully removed
</pre>

Tulemuseks nüüd loogilise kettajao vaatamisele on:
<pre>lvdisplay</pre>
Tulemus:
<pre> --- Logical volume ---
LV Name /dev/mysql/data
VG Name mysql
LV UUID ZIMxmO-kUQR-u4gD-Wk9m-0MCK-kqwx-1kMaVP
LV Write Access read/write
LV snapshot status source of
/dev/mysql/sql_backup [active]
LV Status available
# open 1
LV Size 1.00 GiB
Current LE 256
Segments 1
Allocation inherit
Read ahead sectors auto
- currently set to 256
Block device 252:1

--- Logical volume ---
LV Name /dev/mysql/sql_backup
VG Name mysql
LV UUID XMqxEq-yRhp-u8lf-mZ9U-1R2F-fBlf-5hoEeR
LV Write Access read/write
LV snapshot status active destination for /dev/mysql/data
LV Status available
# open 0
LV Size 1.00 GiB
Current LE 256
COW-table size 1.00 GiB
COW-table LE 256
Allocated to snapshot 0.02%
Snapshot chunk size 4.00 KiB
Segments 1
Allocation inherit
Read ahead sectors auto
- currently set to 256
Block device 252:3
</pre>

'''Kuna tõmmis kasvab koos originaalkettajaoga on tähtis jälgida, et tõmmis protsentuaalselt täis ei saaks. Regulaarselt tuleb mahtuvust kontrollida lvs käsuga. 100% täitunud tõmmisele ei saa enam juurde kirjutada ning sellega andmeterviklikkus rikutakse ära!'''

<pre>lvs</pre>
Tulemus:
<pre> LV VG Attr LSize Origin Snap% Move Log Copy% Convert
data mysql owi-ao 1.00g
sql_backup mysql swi-a- 1.00g data 0.02
</pre>

Kogu protseduuri automatiseerimiseks on võimalik koostada ka skript, mida saab käivitada sobival aja või kasutades „cron“ ajastamise vahendeid.

Lisaks on võimalik mysql-i data kaust haakida ümber snapshoti kettajaole ja taastada server sellesse seisu, mis oli snapshoti tegemise hetkel minimaalse katkestuse ajaga.

==Kokkuvõte==

LVM -i kasutamine varundamisel on väikestes ja mittekriitilistes süsteemides küllaltki hea lahendus. See ei nõua eriteadmisi ja kallist riistvara/tarkvara. Kuid suurematesse ja keerukamatesse lahendustesse see ei sobi, kuna see ainult aitab luua snapshoti hetke seisust aga ei paku võimalust seda eraldi salvestada. Arhiveerimiseks tuleb kasutada eraldi vahendeid ja selle protseduuri käigus võib minna kaduma vajalikke andmeid. Ka ei võistle LVM proffessionaalsete vahenditega nagu Arkeia (http://www.arkeia.com/) või BrightStor, mis on just varundamise lahenduste jaoks loodud ja muudavad antud tegemise mugavaks ja kiireks.

==Kasutatud kirjandus==
http://kuutorvaja.eenet.ee/wiki/LVM 
http://www.web-manual.net/linux-3/logical-volume-manager-in-linux/ 
http://www.lullabot.com/articles/mysql-backups-using-lvm-snapshots 
http://www.ubuntugeek.com/how-to-change-the-mysql-data-default-directory.html 
https://wiki.ubuntu.com/Lvm 
http://linuxconfig.org/Linux_lvm_-_Logical_Volume_Manager 
Loodus, Katrin. Andmesalvestustehnoloogiad - loeng 4.1 Ülevaade Logical Volume Manager-ist [https://wiki.itcollege.ee/index.php/Category:Andmesalvestustehnoloogiad]

"7 Linux fdisk Command Examples to Manage Hard Disk Partition" [http://www.thegeekstuff.com/2010/09/linux-fdisk/]

"LVM" [https://wiki.ubuntu.com/Lvm]

==Autor==
Madis Lauri
AK 31
[[Category:Operatsioonisüsteemide administreerimine ja sidumine]]

'''Täiendamine:'''

Carolys Kallas A32

Aine: Linuxi administreerimine

Muutmine lõpetatud: 13.01.2013

Mysql varundamine LVM abil

2013-01-14T13:05:10Z

Ckallas: /* Tõmmise tegemine */

__TOC__
==Sissejuhatus==

Antud kirjatüki eesmärgiks on tutvustada Logical Volume Manageri kui abivahendit toimivast süsteemist tagavarakoopiate tegemisel. Kuigi failisüsteemi snapshotide tegemine ja nende kasutamine on ainult üks LVM-i pakutavatest võimalustest. LVM - i snapshotide tegemise võimalus pole ainult mysql -i varundamiseks, vaid kasutatav ka muude andmete varukoopiate tegemiseks. Antud juhul on MySQL siin ainult „reisija“ aga protsessi selgitamiseks ja LVM snapshoti kasutamiseks on MySQL näitena väga hea. Kogu seadistamise protsess toimub Ubuntu Linux Server 12.04.1 LTS operatsioonisüsteemis ja kasutab sellega kaasnevaid vahendeid.

==Mis on mis?==
'''Logical Volume Manager''' - LVM

'''Physical Volume''' - PV, plokkseade, füüsiline kettajagu

'''Volume Group''' - VG, kettagrupp

'''Logical Volume''' - LV, loogiline kettajagu

'''Snapshot''' - (hetk)tõmmis

===LVM===
LVM ehk „Logical Volume Manager“ on ketta partitsioonide haldusvahend Linuxi ja UNIX-i laadsete operatsioonisüsteemide juures. LVM moodustab vahekihi failisüsteemi ja füüsilise kõvaketta vahele. Esmapilgul võib tunduda, et LVM on sarnane RAID (Redundant Array of Independent Disks) kettamassiiviga, on ta siiski hoopis paindlikum viis kettajagudega toimetamiseks. RAID võimaldab kettaid omavahel liita, et saada paremaid tulemusi kiiruses, mahus või töökindluses. LVM seevastu võimaldab korraga hallata mitut (ka loogilist) kettajagu, neid vastavalt vajadusele ümber tõsta ja mahtu muuta. Seega on tihti hea mõte neid kahte hoopis koos kasutada (näiteks RAID 10 ja LVM).
Lihtsustatult oleks ettekujutus eri kihtide tasemetest selline:
* Failisüsteemid
* LVM
* RAID (vajadusel)
* füüsilised plokkmäluseadmed (kõvakettad)

===Omadused===
LVM pakutavad võimalused on:
* Failisüsteemi suuruse muutmine
* Failisüsteemi snapshotide tegemine ja kasutamine (nii read-only kui ka read-write)
* Loodud/muudetud partitsioonide kohene kasutamine, kui ketas/partitsioon on mingil moel kasutusel. Fdisk-i kasutamisel tuleb OP-süsteem taaskäivitada.
* Väiksemate füüsiliste plokkseadmete kokku ühendamine, üheks suureks loogiliseks seadmeks. (Nagu RAID)
* Ketaste liigutamine ja ühendamine üle võrgu

Lisainfot LVM-i kohta: http://en.wikipedia.org/wiki/Logical_Volume_Manager_(Linux)

===MySQL===
MySQL on Oracle Corporation poolt hallatav relatsioonilise andmebaasi haldamise süsteem. On äärmiselt populaarne andmebaasisüsteem erinevates veebirakendustes aga ka mõningates suuremates süsteemides. Oma populaarsuse on ta saanud tänu äärmiselt lihtsale hallatavusele ja kasutajasõbralikkusele. Hetkel ei hakka MySQL-i omadustel ja võimalustel pikemalt peatuma. Rohkem informatsiooni leiab: http://www.mysql.com/

==Eeldused==
*Installeeritud Ubuntu Server (vähemalt 12.04 versioon)
*Tutvutud kettajagudega (kiire kordamine näiteks '''[[Osadmin spikker]]''')

'''Viia kõik käsklused läbi sudo kasutaja alt'''
sudo -i

===Ketaste lisamine===
Kõigepealt on vaja lisada serverile kõvaketas, mida hiljem LVM-iga siduma hakata.

[[File:Create_hard_disk.PNG‎|500px]]

Luua uus 4GB ketas, mis on VirtualBox Disk Image (VDI) formaadis ning dünaamiliselt jagatud.

===Vajaliku tarkvara installeerimine===

Et LVM-i ja MySQL-i seadistada on vajalikud teadmised, kuidas toimub Linuxis ketaste ja partitisoonide haldamine ja baasteadmised MySQL-ist.
Kõigepealt on vajalik installeerida lvm2 nimeline pakett, eelnevalt uuendada tarkvaravaramu nimekirja.
<pre>apt-get update
apt-get install lvm2</pre>
Olenevalt operatsioonisüsteemist võib olla vajalikud paketid juba installeeritud, kontrollida saab nii:
<pre>lvm version</pre>

Lisaks on vajalik installeerida MySQL server ja klientprogramm serveriga ühendumiseks.
<pre>apt-get install mysql-server</pre>
NB! Kuna LVM-i kasutuselevõtmine vajab mõningast MySQL-i ümberseadistamist, tuleb arvestada asjaoluga, et MySQL-i data kausta ümbertõstmisel ei pruugi olemasolevad andmed säilida (InnoDB) ja vajalik oleks serveris olevatest andmetest enne .sql kujul tagavarakoopia teha.

==LVM -i seadistamine==

[[File:LVM.jpg|thumb |alt=LVM alt text |LVM]]

LVM ise jaguneb kolmeks eri kihiks: plokkseadmed (PV), kettagrupid (VG), millesse on organiseeritud füüsilised plokkseadmed ja loogilised kettajaod, mis on jagatud kettagrupid.
Iga kihiga toimetamisel on oma käsud, mis viitavad sellele, mis kihiga hetkel toimetatakse: pv*, vg* ning lv*. Näiteks pvcreate, vgcreate ja lvcreate.

Esimese asjana tuleb valida ketas/kettajagu, kus LVM-iga toimetama hakata. Uue ketta puhul oleks võimalusel mõtekas luua üks tervet ketast hõlmav partitsioon.

Operatsioonisüsteem tunnistab näites kasutatavat uut ketast kui /dev/sdb ja seega on näites kasutatavad ketta nimed/asukohad just sellised.

Kõikide olemasolevate partitsioonide kuvamine:
<pre>fdisk -l</pre>

(Kindla partitsiooni vaatamiseks lisada käsu lõppu see partitsioon:)
<pre>fdisk -l /dev/sda</pre>

<pre>fdisk -l 2> /dev/null | grep Disk</pre>
Tulemus:
<pre> Disk /dev/sda: 8589 MB, 8589934592 bytes
Disk identifier: 0x000bd8b1
Disk /dev/sdb: 4294 MB, 4294967296 bytes
Disk identifier: 0x11844f48</pre>

===Füüsilise ketta väärtuse muutmine===
Avada fdiskiga uue loodud ketta partitsioon ning luua uus primaarne kettajagu:

<pre>fdisk /dev/sdb
Command (m for help): n

Partition type:
p primary (0 primary, 0 extended, 4 free)
e extended

Select (default p): p

Partition number (1-4, default 1): 1

First sector (2048-8388607, default 2048):
Using default value 2048

Last sector, +sectors or +size{K,M,G} (2048-8388607, default 8388607):
Using default value 8388607</pre>

Print käskluse abil kuvatakse kettajagu, algus, lõpp, blokid, id ning süsteem. Loodud partitsioon on 83 ehk Linux. Partitsiooni süsteemse id muutmiseks kasutatakse '''t'''.

Käsklus '''L''' kuvab kõik kaheksandikkoodid . Linux LVM kood on 8e, et muuta kettajagu Linux LVM-iks on vaja muuta kettajao id 83-lt 8e-ks.
[[file:8e.PNG|500px]]

<pre>
Command (m for help): t
Selected partition 1

Hex code (type L to list codes): 8e
Changed system type of partition 1 to 8e (Linux LVM)

Command (m for help): w
The partition table has been altered!

Calling ioctl() to re-read partition table.
Syncing disks.</pre>

'''NB mitte väljuda q, mis väljub programmist muudatusi salvestamata!'''

===Füüsiline kettajagu===
Järgnevalt anname lvm-ile teada, et loodud partitsioon (/dev/sdb1) on „pv“ ehk physical volume.

<pre>pvcreate /dev/sdb1</pre>

Kui kõik läks hästi siis display käsk peaks kuvama sellise tulemuse:
<pre>pvdisplay</pre>
Tulemus:
<pre>"/dev/sdb1" is a new physical volume of "4.00 GiB"
--- NEW Physical volume ---
PV Name /dev/sdb1
VG Name
PV Size 4.00 GiB
Allocatable NO
PE Size 0
Total PE 0
Free PE 0
Allocated PE 0
PV UUID EdmaX9-bXmQ-Oevp-p9W9-I2qY-gpMM-1w77aQ</pre>

===Kettagrupp===
Loome uue „volume group“ -i ja nimetame selle mysql -iks.

<pre>vgcreate mysql /dev/sdb1</pre>

Display käsu tulemus peaks olema sarnane:
<pre>vgdisplay</pre>
Tulemus:
<pre> --- Volume group ---
VG Name mysql
System ID
Format lvm2
Metadata Areas 1
Metadata Sequence No 4
VG Access read/write
VG Status resizable
MAX LV 0
Cur LV 2
Open LV 2
Max PV 0
Cur PV 1
Act PV 1
VG Size 4.00 GiB
PE Size 4.00 MiB
Total PE 1023
Alloc PE / Size 512 / 2.00 GiB
Free PE / Size 511 / 2.00 GiB
VG UUID s5AjT8-ss7D-Gm9m-XY6j-ULMv-RLbR-xdy0K6</pre>

Järgnevalt saame luua „volume group“ -ile „logical volumes“ ehk loogilised kettajaod. Need on justkui partitsioonid füüsilisel kõvakettal ja neid saab juba andmete talletamiseks kasutada. Nimetame kettajao nimega data ja määrame tema suuruseks 1GB (antud suurus sobib väga hästi katsetamiseks aga reaalsetes süsteemides tuleb muidugi oluliselt suuremaid numbreid kasutada. ). Suuruse seadistamisel tuleb arvestada, et sama „volume group“ peale tuleb mahutada veel vähemalt üks sama suur loogiline kettajagu, mis on loodava LV snapshot. Näide kui VG suurus on kokku 10GB siis on võimalik teha maksimaalselt 5GB suurune loogiline kettajagu. Vastasel ei mahu tema kõrvale, samale VG-le tehtud LV snapshot.

===Loogiline kettajagu===
Data nimelise 1GB loogilise kettajao loomine:
<pre>lvcreate -n data -L 1GB mysql</pre>

Kontrollime tulemust:
<pre>lvdisplay</pre>
Tulemus:
<pre> --- Logical volume ---
LV Name /dev/mysql/data
VG Name mysql
LV UUID SL0yWI-Mc2b-KhkE-V8P1-bW7E-3iL8-8zD6Uf
LV Write Access read/write
LV Status available
# open 0
LV Size 1.00 GiB
Current LE 256
Segments 1
Allocation inherit
Read ahead sectors auto
- currently set to 256
Block device 252:0</pre>

Teadmiseks: lvdisplay käsu käivitamisel on näha parameeter „LV Status“. See näitab, kas kettajagu on saadaval või mitte. Kasutada on võimalik ainult available olekus kettajagu. Eemaldada saab ainult NOT available olekus kettajagusid. Kettajao NOT available olekusse viimiseks saab kasutada käsku:

<pre>lvchange -a n /dev/mysql/data</pre>
ja tagasi:
<pre>lvchange -a y /dev/mysql/data</pre>

===Failisüsteemi loomine ja ühendamine===
Nüüd on loodud uus kettajagu, mida saab andmete säiltamiseks kasutada. Loome sellele kettajaole failisüsteemi:
<pre>mkfs -t ext4 /dev/mysql/data</pre>

Järgmisena tuleb loodud kettajagu kuhugile mountida. Mina teen sellejaoks /srv/mysql kausta ja haagin ketta sinna.

<pre>mkdir /srv/mysql
mount /dev/mysql/data /srv/mysql</pre>

Lisame '''/etc/fstab''' faili lõppu kirje, et ka järgmisel süsteemi käivitamisel oleks ketas kohe külgehaagitud

<pre>
<file system> <mount point> <type> <options> <dump> <pass>
/dev/mysql/data /srv/mysql ext4 defaults 0 0</pre>

==MySQL seadistamine==
Muudame kausta õigused mysql-ile sobivaks (kausta omanik on kasutaja mysql ja kaustale on ligipääs ainult kausta omanikul)
<pre>chown mysql:mysql /srv/mysql
chmod 0700 /srv/mysql</pre>

Nüüd tuleb olemasolev mysql data kaust liigutada /srv/mysql kausta. Esimese asjana peatada mysql server
<pre>service mysql stop</pre>

Kopeerime (!) kogu mysql-i data kausta loodud lvm kettajaole. Ubuntus (ilmselt ka paljudes teistes operatsioonisüsteemides) asub mysq-i data kaust /var/lib/mysql. Oleks vägagi soovitatav jätta andmed vanasse kausta alles ja kustuta see alles siis kui ollakse täiesti kindel, et server töötab tõrgeteta.
<pre>cp -ar /var/lib/mysql/. /srv/mysql</pre>

Seejärel tuleb mysql-i konfiguratsioonifailis ('''/etc/mysql/my.cnf''') muuta ära „datadir“ parameeter
<pre>datadir = /var/lib/mysql -> datadir = /srv/mysql</pre>

Teadmiseks: alates Ubuntu 7.10 -st on operatsioonisüsteemiga kaasas programm nimega „AppArmor“ (Loe lähemalt: https://wiki.itcollege.ee/index.php/AppArmor). Tegemist on kerneli turvamooduliga, mis teatavate programmide puhul piirab nende ligipääsu failisüsteemile. Et MySQL server uuesti korrektselt käivituks, tuleb „AppArmor“ -is mysq-i seadistust muuta. Sobiva tekstieditoriga tuleb avada ''''/etc/apparmor.d/usr.sbin.mysqld''' konfifail ja teha seal vajalikud muudatused :
<pre>/var/lib/mysql/ r, -> /srv/mysql r,
/var/lib/mysql/** rwk, -> /srv/mysql** rwk,</pre>

Seejärel on vaja teha AppArmorile restart
<pre>service apparmor restart</pre>

Osadel operatsioonisüsteemidel võib ka init skript ette anda, kus asub mysql-i datadir. Seega oleks mõistlik ka see '''/etc/init.d/mysql''' skriptist üle vaadata.

Käivitame uuesti mysql-i serveri:

<pre>service mysql start</pre>

Kontrollime mysql-i muutujaid:
<pre>mysqladmin -u [mysql-kasutaja] -p variables | grep datadir</pre>
<pre>Enter password: [mysql-parool]
| datadir | /srv/mysql/
</pre>
Lisaks tuleks sobiva mysql kliendiga serverisse sisse logida ja kontrollida üle, kas kõik jäi korrektselt tööle.

Nüüd, kui MySQL server on korrektselt tööle hakanud ja tekib vajadus varukoopiate tegemiseks. Töötavast serverist snapshoti tegemisel pole vajalik eelnev serveri väljalülitamine. Snapshoti tegemise protsess on äärmiselt kiire ja andmete lugemine andmebaasist toimib endiselt edasi. Samas andmete kirjutamise protsess viibib seni kuni andmebaasilt kirjutamise lukk maha võetakse (kõik kirjutamise käsud täidetakse kohe peale luku vabastamist).
Ehkki varukoopia tegemise protsess ei tekita katkestusi serveri töös, oleks hea mõte teha varukoopiaid sellisel ajal kui serveril on kõige väiksem koormus.
On vajalik teada, et andmebaas lukustatakse ainult selleks ajaks, kui mysql serverisse on sisse logitud. Kohe kui sessioon lõpetatakse, vabastatakse ka lukud. Seetõttu peab snaspshoti tegemise ajal olema serverisse sisse logitud. Variant on kasutada kahte terminali sessiooni aga vajalikke käske saab käivitada ka MySQL-i käsurealt (vajalik on mysql-i klient käivitada root kasutaja õigustes).
<pre>mysql -u [root] -p
Enter password:</pre>

Protseduuri ajaks on vajalik keelata ära andmete kirjutamine:
<pre>mysql> FLUSH TABLES WITH READ LOCK;</pre>
<pre>Query OK, 0 rows affected (0.00 sec)</pre>
Lisaks võiks tühjendada ka logid:
<pre>mysql> FLUSH LOGS;</pre>
<pre>Query OK, 0 rows affected (0.00 sec)</pre>

==Tõmmise tegemine==
/sbin on standardne juurkataloogi alamkataloog Linuxis ja teistes Unix-taolistes operatsioonisüsteemides, mis sisaldab käivitamisvõimelisi programme. Seda on vaja, et saaks kasutada süsteemisiseseid faile.

<pre>mysql> SYSTEM /sbin/lvcreate -L 1G --snapshot -n sql_backup /dev/mysql/data</pre>
<pre>File descriptor 3 (socket:[15065]) leaked on lvcreate invocation. Parent PID 3514: sh
Logical volume "sql_backup" created</pre>

Tabelite lukust vabastamine.
<pre>mysql> UNLOCK TABLES;</pre>
<pre>Query OK, 0 rows affected (0.01 sec)</pre>

<pre>mysql> exit
Bye
</pre>
Snapshoti kettajagu nimetati kui sql_backup ja viide loogilisele seadmele asub /dev/mysql/sql_backup. Käivitades käsu „lvs“, saab näha, et lisaks mysql/data LV-le on juurde tekkinud mysql/sql_backup
<pre>lvs</pre>
Tulemus:
<pre>LV VG Attr LSize Origin Snap% Move Log Copy% Convert
data mysql owi-ao 1.00g
sql_backup mysql swi-a- 1.00g data 0.00
</pre>
Kui nüüd haakida tehtud snapshoti kettajagu, on seal kättesaadav kogu mysql-i data sellel hetkel, kui snapshot tehti.
<pre>mkdir /mnt/bk
mount /dev/mysql/sql_backup /mnt/bk
ls -la /mnt/bk</pre>
Tulemus:
<pre>total 28720
drwx------ 8 mysql mysql 4096 Dec 12 15:59 .
drwxr-xr-x 3 root root 4096 Dec 12 16:34 ..
-rw-r--r-- 1 root root 0 Nov 30 17:18 debian-5.5.flag
-rw-rw---- 1 mysql mysql 18874368 Dec 12 16:18 ibdata1
-rw-rw---- 1 mysql mysql 5242880 Dec 12 16:18 ib_logfile0
-rw-rw---- 1 mysql mysql 5242880 Nov 30 17:18 ib_logfile1
drwx------ 2 root root 16384 Dec 12 15:58 lost+found
drwx------ 2 mysql root 4096 Nov 30 17:18 mysql
-rw-rw---- 1 root root 6 Nov 30 17:18 mysql_upgrade_info
drwx------ 2 mysql mysql 4096 Nov 30 17:18 performance_schema
drwx------ 2 mysql mysql 4096 Nov 30 17:28 phpmyadmin
drwx------ 2 mysql root 4096 Dec 12 16:18 test
drwx------ 2 mysql mysql 4096 Nov 30 17:33 wp
</pre>
MySQL-i server töötab peale snapshoti tegemist katkestusteta edasi. Tehtud snapshoti andmeid võib varundada arhiivi jaoks. Andmete varundamisel tuleb spashoti kettajagu failisüsteemi külge haakida ja selle sisu „tar“-i abil arhiveerida ja hiljem eemaldada snapshoti kettajagu

<pre>mkdir -p /var/teekond/arhiivi
tar -cjf [/var/teekond/arhiivi/][kuupäev].tar.bz2 -C /mnt/bk
umount /dev/mysql/sql_backup
lvremove /dev/mysql/sql_backup
Do you really want to remove active logical volume sql_backup? [y/n]: Y
Logical volume "sql_backup" successfully removed
</pre>

Tulemuseks nüüd loogilise kettajao vaatamisele on:
<pre>lvdisplay</pre>
Tulemus:
<pre> --- Logical volume ---
LV Name /dev/mysql/data
VG Name mysql
LV UUID ZIMxmO-kUQR-u4gD-Wk9m-0MCK-kqwx-1kMaVP
LV Write Access read/write
LV snapshot status source of
/dev/mysql/sql_backup [active]
LV Status available
# open 1
LV Size 1.00 GiB
Current LE 256
Segments 1
Allocation inherit
Read ahead sectors auto
- currently set to 256
Block device 252:1

--- Logical volume ---
LV Name /dev/mysql/sql_backup
VG Name mysql
LV UUID XMqxEq-yRhp-u8lf-mZ9U-1R2F-fBlf-5hoEeR
LV Write Access read/write
LV snapshot status active destination for /dev/mysql/data
LV Status available
# open 0
LV Size 1.00 GiB
Current LE 256
COW-table size 1.00 GiB
COW-table LE 256
Allocated to snapshot 0.02%
Snapshot chunk size 4.00 KiB
Segments 1
Allocation inherit
Read ahead sectors auto
- currently set to 256
Block device 252:3
</pre>

'''Kuna tõmmis kasvab koos originaalkettajaoga on tähtis jälgida, et tõmmis protsentuaalselt täis ei saaks. Regulaarselt tuleb mahtuvust kontrollida lvs käsuga. 100% täitunud tõmmisele ei saa enam juurde kirjutada ning sellega andmeterviklikkus rikutakse ära!'''

<pre>lvs</pre>
Tulemus:
<pre> LV VG Attr LSize Origin Snap% Move Log Copy% Convert
data mysql owi-ao 1.00g
sql_backup mysql swi-a- 1.00g data 0.02
</pre>

Kogu protseduuri automatiseerimiseks on võimalik koostada ka skript, mida saab käivitada sobival aja või kasutades „cron“ ajastamise vahendeid.

Lisaks on võimalik mysql-i data kaust haakida ümber snapshoti kettajaole ja taastada server sellesse seisu, mis oli snapshoti tegemise hetkel minimaalse katkestuse ajaga.

==Kokkuvõte==

LVM -i kasutamine varundamisel on väikestes ja mittekriitilistes süsteemides küllaltki hea lahendus. See ei nõua eriteadmisi ja kallist riistvara/tarkvara. Kuid suurematesse ja keerukamatesse lahendustesse see ei sobi, kuna see ainult aitab luua snapshoti hetke seisust aga ei paku võimalust seda eraldi salvestada. Arhiveerimiseks tuleb kasutada eraldi vahendeid ja selle protseduuri käigus võib minna kaduma vajalikke andmeid. Ka ei võistle LVM proffessionaalsete vahenditega nagu Arkeia (http://www.arkeia.com/) või BrightStor, mis on just varundamise lahenduste jaoks loodud ja muudavad antud tegemise mugavaks ja kiireks.

==Kasutatud kirjandus==
http://kuutorvaja.eenet.ee/wiki/LVM 
http://www.web-manual.net/linux-3/logical-volume-manager-in-linux/ 
http://www.lullabot.com/articles/mysql-backups-using-lvm-snapshots 
http://www.ubuntugeek.com/how-to-change-the-mysql-data-default-directory.html 
https://wiki.ubuntu.com/Lvm 
http://linuxconfig.org/Linux_lvm_-_Logical_Volume_Manager 
Loodus, Katrin. Andmesalvestustehnoloogiad - loeng 4.1 Ülevaade Logical Volume Manager-ist [https://wiki.itcollege.ee/index.php/Category:Andmesalvestustehnoloogiad]

"7 Linux fdisk Command Examples to Manage Hard Disk Partition" [http://www.thegeekstuff.com/2010/09/linux-fdisk/]

"LVM" [https://wiki.ubuntu.com/Lvm]

==Autor==
Madis Lauri
AK 31
[[Category:Operatsioonisüsteemide administreerimine ja sidumine]]

'''Täiendamine:'''

Carolys Kallas A32

Aine: Linuxi administreerimine

Muutmine lõpetatud: 13.01.2013

Mysql varundamine LVM abil

2013-01-14T13:04:06Z

Ckallas: /* LVM -i seadistamine */

__TOC__
==Sissejuhatus==

Antud kirjatüki eesmärgiks on tutvustada Logical Volume Manageri kui abivahendit toimivast süsteemist tagavarakoopiate tegemisel. Kuigi failisüsteemi snapshotide tegemine ja nende kasutamine on ainult üks LVM-i pakutavatest võimalustest. LVM - i snapshotide tegemise võimalus pole ainult mysql -i varundamiseks, vaid kasutatav ka muude andmete varukoopiate tegemiseks. Antud juhul on MySQL siin ainult „reisija“ aga protsessi selgitamiseks ja LVM snapshoti kasutamiseks on MySQL näitena väga hea. Kogu seadistamise protsess toimub Ubuntu Linux Server 12.04.1 LTS operatsioonisüsteemis ja kasutab sellega kaasnevaid vahendeid.

==Mis on mis?==
'''Logical Volume Manager''' - LVM

'''Physical Volume''' - PV, plokkseade, füüsiline kettajagu

'''Volume Group''' - VG, kettagrupp

'''Logical Volume''' - LV, loogiline kettajagu

'''Snapshot''' - (hetk)tõmmis

===LVM===
LVM ehk „Logical Volume Manager“ on ketta partitsioonide haldusvahend Linuxi ja UNIX-i laadsete operatsioonisüsteemide juures. LVM moodustab vahekihi failisüsteemi ja füüsilise kõvaketta vahele. Esmapilgul võib tunduda, et LVM on sarnane RAID (Redundant Array of Independent Disks) kettamassiiviga, on ta siiski hoopis paindlikum viis kettajagudega toimetamiseks. RAID võimaldab kettaid omavahel liita, et saada paremaid tulemusi kiiruses, mahus või töökindluses. LVM seevastu võimaldab korraga hallata mitut (ka loogilist) kettajagu, neid vastavalt vajadusele ümber tõsta ja mahtu muuta. Seega on tihti hea mõte neid kahte hoopis koos kasutada (näiteks RAID 10 ja LVM).
Lihtsustatult oleks ettekujutus eri kihtide tasemetest selline:
* Failisüsteemid
* LVM
* RAID (vajadusel)
* füüsilised plokkmäluseadmed (kõvakettad)

===Omadused===
LVM pakutavad võimalused on:
* Failisüsteemi suuruse muutmine
* Failisüsteemi snapshotide tegemine ja kasutamine (nii read-only kui ka read-write)
* Loodud/muudetud partitsioonide kohene kasutamine, kui ketas/partitsioon on mingil moel kasutusel. Fdisk-i kasutamisel tuleb OP-süsteem taaskäivitada.
* Väiksemate füüsiliste plokkseadmete kokku ühendamine, üheks suureks loogiliseks seadmeks. (Nagu RAID)
* Ketaste liigutamine ja ühendamine üle võrgu

Lisainfot LVM-i kohta: http://en.wikipedia.org/wiki/Logical_Volume_Manager_(Linux)

===MySQL===
MySQL on Oracle Corporation poolt hallatav relatsioonilise andmebaasi haldamise süsteem. On äärmiselt populaarne andmebaasisüsteem erinevates veebirakendustes aga ka mõningates suuremates süsteemides. Oma populaarsuse on ta saanud tänu äärmiselt lihtsale hallatavusele ja kasutajasõbralikkusele. Hetkel ei hakka MySQL-i omadustel ja võimalustel pikemalt peatuma. Rohkem informatsiooni leiab: http://www.mysql.com/

==Eeldused==
*Installeeritud Ubuntu Server (vähemalt 12.04 versioon)
*Tutvutud kettajagudega (kiire kordamine näiteks '''[[Osadmin spikker]]''')

'''Viia kõik käsklused läbi sudo kasutaja alt'''
sudo -i

===Ketaste lisamine===
Kõigepealt on vaja lisada serverile kõvaketas, mida hiljem LVM-iga siduma hakata.

[[File:Create_hard_disk.PNG‎|500px]]

Luua uus 4GB ketas, mis on VirtualBox Disk Image (VDI) formaadis ning dünaamiliselt jagatud.

===Vajaliku tarkvara installeerimine===

Et LVM-i ja MySQL-i seadistada on vajalikud teadmised, kuidas toimub Linuxis ketaste ja partitisoonide haldamine ja baasteadmised MySQL-ist.
Kõigepealt on vajalik installeerida lvm2 nimeline pakett, eelnevalt uuendada tarkvaravaramu nimekirja.
<pre>apt-get update
apt-get install lvm2</pre>
Olenevalt operatsioonisüsteemist võib olla vajalikud paketid juba installeeritud, kontrollida saab nii:
<pre>lvm version</pre>

Lisaks on vajalik installeerida MySQL server ja klientprogramm serveriga ühendumiseks.
<pre>apt-get install mysql-server</pre>
NB! Kuna LVM-i kasutuselevõtmine vajab mõningast MySQL-i ümberseadistamist, tuleb arvestada asjaoluga, et MySQL-i data kausta ümbertõstmisel ei pruugi olemasolevad andmed säilida (InnoDB) ja vajalik oleks serveris olevatest andmetest enne .sql kujul tagavarakoopia teha.

==LVM -i seadistamine==

[[File:LVM.jpg|thumb |alt=LVM alt text |LVM]]

LVM ise jaguneb kolmeks eri kihiks: plokkseadmed (PV), kettagrupid (VG), millesse on organiseeritud füüsilised plokkseadmed ja loogilised kettajaod, mis on jagatud kettagrupid.
Iga kihiga toimetamisel on oma käsud, mis viitavad sellele, mis kihiga hetkel toimetatakse: pv*, vg* ning lv*. Näiteks pvcreate, vgcreate ja lvcreate.

Esimese asjana tuleb valida ketas/kettajagu, kus LVM-iga toimetama hakata. Uue ketta puhul oleks võimalusel mõtekas luua üks tervet ketast hõlmav partitsioon.

Operatsioonisüsteem tunnistab näites kasutatavat uut ketast kui /dev/sdb ja seega on näites kasutatavad ketta nimed/asukohad just sellised.

Kõikide olemasolevate partitsioonide kuvamine:
<pre>fdisk -l</pre>

(Kindla partitsiooni vaatamiseks lisada käsu lõppu see partitsioon:)
<pre>fdisk -l /dev/sda</pre>

<pre>fdisk -l 2> /dev/null | grep Disk</pre>
Tulemus:
<pre> Disk /dev/sda: 8589 MB, 8589934592 bytes
Disk identifier: 0x000bd8b1
Disk /dev/sdb: 4294 MB, 4294967296 bytes
Disk identifier: 0x11844f48</pre>

===Füüsilise ketta väärtuse muutmine===
Avada fdiskiga uue loodud ketta partitsioon ning luua uus primaarne kettajagu:

<pre>fdisk /dev/sdb
Command (m for help): n

Partition type:
p primary (0 primary, 0 extended, 4 free)
e extended

Select (default p): p

Partition number (1-4, default 1): 1

First sector (2048-8388607, default 2048):
Using default value 2048

Last sector, +sectors or +size{K,M,G} (2048-8388607, default 8388607):
Using default value 8388607</pre>

Print käskluse abil kuvatakse kettajagu, algus, lõpp, blokid, id ning süsteem. Loodud partitsioon on 83 ehk Linux. Partitsiooni süsteemse id muutmiseks kasutatakse '''t'''.

Käsklus '''L''' kuvab kõik kaheksandikkoodid . Linux LVM kood on 8e, et muuta kettajagu Linux LVM-iks on vaja muuta kettajao id 83-lt 8e-ks.
[[file:8e.PNG|500px]]

<pre>
Command (m for help): t
Selected partition 1

Hex code (type L to list codes): 8e
Changed system type of partition 1 to 8e (Linux LVM)

Command (m for help): w
The partition table has been altered!

Calling ioctl() to re-read partition table.
Syncing disks.</pre>

'''NB mitte väljuda q, mis väljub programmist muudatusi salvestamata!'''

===Füüsiline kettajagu===
Järgnevalt anname lvm-ile teada, et loodud partitsioon (/dev/sdb1) on „pv“ ehk physical volume.

<pre>pvcreate /dev/sdb1</pre>

Kui kõik läks hästi siis display käsk peaks kuvama sellise tulemuse:
<pre>pvdisplay</pre>
Tulemus:
<pre>"/dev/sdb1" is a new physical volume of "4.00 GiB"
--- NEW Physical volume ---
PV Name /dev/sdb1
VG Name
PV Size 4.00 GiB
Allocatable NO
PE Size 0
Total PE 0
Free PE 0
Allocated PE 0
PV UUID EdmaX9-bXmQ-Oevp-p9W9-I2qY-gpMM-1w77aQ</pre>

===Kettagrupp===
Loome uue „volume group“ -i ja nimetame selle mysql -iks.

<pre>vgcreate mysql /dev/sdb1</pre>

Display käsu tulemus peaks olema sarnane:
<pre>vgdisplay</pre>
Tulemus:
<pre> --- Volume group ---
VG Name mysql
System ID
Format lvm2
Metadata Areas 1
Metadata Sequence No 4
VG Access read/write
VG Status resizable
MAX LV 0
Cur LV 2
Open LV 2
Max PV 0
Cur PV 1
Act PV 1
VG Size 4.00 GiB
PE Size 4.00 MiB
Total PE 1023
Alloc PE / Size 512 / 2.00 GiB
Free PE / Size 511 / 2.00 GiB
VG UUID s5AjT8-ss7D-Gm9m-XY6j-ULMv-RLbR-xdy0K6</pre>

Järgnevalt saame luua „volume group“ -ile „logical volumes“ ehk loogilised kettajaod. Need on justkui partitsioonid füüsilisel kõvakettal ja neid saab juba andmete talletamiseks kasutada. Nimetame kettajao nimega data ja määrame tema suuruseks 1GB (antud suurus sobib väga hästi katsetamiseks aga reaalsetes süsteemides tuleb muidugi oluliselt suuremaid numbreid kasutada. ). Suuruse seadistamisel tuleb arvestada, et sama „volume group“ peale tuleb mahutada veel vähemalt üks sama suur loogiline kettajagu, mis on loodava LV snapshot. Näide kui VG suurus on kokku 10GB siis on võimalik teha maksimaalselt 5GB suurune loogiline kettajagu. Vastasel ei mahu tema kõrvale, samale VG-le tehtud LV snapshot.

===Loogiline kettajagu===
Data nimelise 1GB loogilise kettajao loomine:
<pre>lvcreate -n data -L 1GB mysql</pre>

Kontrollime tulemust:
<pre>lvdisplay</pre>
Tulemus:
<pre> --- Logical volume ---
LV Name /dev/mysql/data
VG Name mysql
LV UUID SL0yWI-Mc2b-KhkE-V8P1-bW7E-3iL8-8zD6Uf
LV Write Access read/write
LV Status available
# open 0
LV Size 1.00 GiB
Current LE 256
Segments 1
Allocation inherit
Read ahead sectors auto
- currently set to 256
Block device 252:0</pre>

Teadmiseks: lvdisplay käsu käivitamisel on näha parameeter „LV Status“. See näitab, kas kettajagu on saadaval või mitte. Kasutada on võimalik ainult available olekus kettajagu. Eemaldada saab ainult NOT available olekus kettajagusid. Kettajao NOT available olekusse viimiseks saab kasutada käsku:

<pre>lvchange -a n /dev/mysql/data</pre>
ja tagasi:
<pre>lvchange -a y /dev/mysql/data</pre>

===Failisüsteemi loomine ja ühendamine===
Nüüd on loodud uus kettajagu, mida saab andmete säiltamiseks kasutada. Loome sellele kettajaole failisüsteemi:
<pre>mkfs -t ext4 /dev/mysql/data</pre>

Järgmisena tuleb loodud kettajagu kuhugile mountida. Mina teen sellejaoks /srv/mysql kausta ja haagin ketta sinna.

<pre>mkdir /srv/mysql
mount /dev/mysql/data /srv/mysql</pre>

Lisame '''/etc/fstab''' faili lõppu kirje, et ka järgmisel süsteemi käivitamisel oleks ketas kohe külgehaagitud

<pre>
<file system> <mount point> <type> <options> <dump> <pass>
/dev/mysql/data /srv/mysql ext4 defaults 0 0</pre>

==MySQL seadistamine==
Muudame kausta õigused mysql-ile sobivaks (kausta omanik on kasutaja mysql ja kaustale on ligipääs ainult kausta omanikul)
<pre>chown mysql:mysql /srv/mysql
chmod 0700 /srv/mysql</pre>

Nüüd tuleb olemasolev mysql data kaust liigutada /srv/mysql kausta. Esimese asjana peatada mysql server
<pre>service mysql stop</pre>

Kopeerime (!) kogu mysql-i data kausta loodud lvm kettajaole. Ubuntus (ilmselt ka paljudes teistes operatsioonisüsteemides) asub mysq-i data kaust /var/lib/mysql. Oleks vägagi soovitatav jätta andmed vanasse kausta alles ja kustuta see alles siis kui ollakse täiesti kindel, et server töötab tõrgeteta.
<pre>cp -ar /var/lib/mysql/. /srv/mysql</pre>

Seejärel tuleb mysql-i konfiguratsioonifailis ('''/etc/mysql/my.cnf''') muuta ära „datadir“ parameeter
<pre>datadir = /var/lib/mysql -> datadir = /srv/mysql</pre>

Teadmiseks: alates Ubuntu 7.10 -st on operatsioonisüsteemiga kaasas programm nimega „AppArmor“ (Loe lähemalt: https://wiki.itcollege.ee/index.php/AppArmor). Tegemist on kerneli turvamooduliga, mis teatavate programmide puhul piirab nende ligipääsu failisüsteemile. Et MySQL server uuesti korrektselt käivituks, tuleb „AppArmor“ -is mysq-i seadistust muuta. Sobiva tekstieditoriga tuleb avada ''''/etc/apparmor.d/usr.sbin.mysqld''' konfifail ja teha seal vajalikud muudatused :
<pre>/var/lib/mysql/ r, -> /srv/mysql r,
/var/lib/mysql/** rwk, -> /srv/mysql** rwk,</pre>

Seejärel on vaja teha AppArmorile restart
<pre>service apparmor restart</pre>

Osadel operatsioonisüsteemidel võib ka init skript ette anda, kus asub mysql-i datadir. Seega oleks mõistlik ka see '''/etc/init.d/mysql''' skriptist üle vaadata.

Käivitame uuesti mysql-i serveri:

<pre>service mysql start</pre>

Kontrollime mysql-i muutujaid:
<pre>mysqladmin -u [mysql-kasutaja] -p variables | grep datadir</pre>
<pre>Enter password: [mysql-parool]
| datadir | /srv/mysql/
</pre>
Lisaks tuleks sobiva mysql kliendiga serverisse sisse logida ja kontrollida üle, kas kõik jäi korrektselt tööle.

Nüüd, kui MySQL server on korrektselt tööle hakanud ja tekib vajadus varukoopiate tegemiseks. Töötavast serverist snapshoti tegemisel pole vajalik eelnev serveri väljalülitamine. Snapshoti tegemise protsess on äärmiselt kiire ja andmete lugemine andmebaasist toimib endiselt edasi. Samas andmete kirjutamise protsess viibib seni kuni andmebaasilt kirjutamise lukk maha võetakse (kõik kirjutamise käsud täidetakse kohe peale luku vabastamist).
Ehkki varukoopia tegemise protsess ei tekita katkestusi serveri töös, oleks hea mõte teha varukoopiaid sellisel ajal kui serveril on kõige väiksem koormus.
On vajalik teada, et andmebaas lukustatakse ainult selleks ajaks, kui mysql serverisse on sisse logitud. Kohe kui sessioon lõpetatakse, vabastatakse ka lukud. Seetõttu peab snaspshoti tegemise ajal olema serverisse sisse logitud. Variant on kasutada kahte terminali sessiooni aga vajalikke käske saab käivitada ka MySQL-i käsurealt (vajalik on mysql-i klient käivitada root kasutaja õigustes).
<pre>mysql -u [root] -p
Enter password:</pre>

Protseduuri ajaks on vajalik keelata ära andmete kirjutamine:
<pre>mysql> FLUSH TABLES WITH READ LOCK;</pre>
<pre>Query OK, 0 rows affected (0.00 sec)</pre>
Lisaks võiks tühjendada ka logid:
<pre>mysql> FLUSH LOGS;</pre>
<pre>Query OK, 0 rows affected (0.00 sec)</pre>

==Tõmmise tegemine==
/sbin on standardne juurkataloogi alamkataloog Linuxis ja teistes Unix-taolistes operatsioonisüsteemides, mis sisaldab käivitamisvõimelisi programme. Seda on vaja, et saaks kasutada süsteemisiseseid faile.

<pre>mysql> SYSTEM /sbin/lvcreate -L 1G --snapshot -n sql_backup /dev/mysql/data</pre>
<pre>File descriptor 3 (socket:[15065]) leaked on lvcreate invocation. Parent PID 3514: sh
Logical volume "sql_backup" created</pre>

Tabelite lukust vabastamine.
<pre>mysql> UNLOCK TABLES;</pre>
<pre>Query OK, 0 rows affected (0.01 sec)</pre>

<pre>mysql> exit
Bye
</pre>
Snapshoti kettajagu nimetati kui sql_backup ja viide loogilisele seadmele asub /dev/mysql/sql_backup. Käivitades käsu „lvs“, saab näha, et lisaks mysql/data LV-le on juurde tekkinud mysql/sql_backup
<pre>lvs</pre>
<pre>LV VG Attr LSize Origin Snap% Move Log Copy% Convert
data mysql owi-ao 1.00g
sql_backup mysql swi-a- 1.00g data 0.00
</pre>
Kui nüüd haakida tehtud snapshoti kettajagu, on seal kättesaadav kogu mysql-i data sellel hetkel, kui snapshot tehti.
<pre>mkdir /mnt/bk
mount /dev/mysql/sql_backup /mnt/bk
ls -la /mnt/bk</pre>
<pre>total 28720
drwx------ 8 mysql mysql 4096 Dec 12 15:59 .
drwxr-xr-x 3 root root 4096 Dec 12 16:34 ..
-rw-r--r-- 1 root root 0 Nov 30 17:18 debian-5.5.flag
-rw-rw---- 1 mysql mysql 18874368 Dec 12 16:18 ibdata1
-rw-rw---- 1 mysql mysql 5242880 Dec 12 16:18 ib_logfile0
-rw-rw---- 1 mysql mysql 5242880 Nov 30 17:18 ib_logfile1
drwx------ 2 root root 16384 Dec 12 15:58 lost+found
drwx------ 2 mysql root 4096 Nov 30 17:18 mysql
-rw-rw---- 1 root root 6 Nov 30 17:18 mysql_upgrade_info
drwx------ 2 mysql mysql 4096 Nov 30 17:18 performance_schema
drwx------ 2 mysql mysql 4096 Nov 30 17:28 phpmyadmin
drwx------ 2 mysql root 4096 Dec 12 16:18 test
drwx------ 2 mysql mysql 4096 Nov 30 17:33 wp
</pre>
MySQL-i server töötab peale snapshoti tegemist katkestusteta edasi. Tehtud snapshoti andmeid võib varundada arhiivi jaoks. Andmete varundamisel tuleb spashoti kettajagu failisüsteemi külge haakida ja selle sisu „tar“-i abil arhiveerida ja hiljem eemaldada snapshoti kettajagu

<pre>mkdir -p /var/teekond/arhiivi
tar -cjf [/var/teekond/arhiivi/][kuupäev].tar.bz2 -C /mnt/bk
umount /dev/mysql/sql_backup
lvremove /dev/mysql/sql_backup
Do you really want to remove active logical volume sql_backup? [y/n]: Y
Logical volume "sql_backup" successfully removed
</pre>

Tulemuseks nüüd loogilise kettajao vaatamisele on:
<pre>lvdisplay</pre>
<pre> --- Logical volume ---
LV Name /dev/mysql/data
VG Name mysql
LV UUID ZIMxmO-kUQR-u4gD-Wk9m-0MCK-kqwx-1kMaVP
LV Write Access read/write
LV snapshot status source of
/dev/mysql/sql_backup [active]
LV Status available
# open 1
LV Size 1.00 GiB
Current LE 256
Segments 1
Allocation inherit
Read ahead sectors auto
- currently set to 256
Block device 252:1

--- Logical volume ---
LV Name /dev/mysql/sql_backup
VG Name mysql
LV UUID XMqxEq-yRhp-u8lf-mZ9U-1R2F-fBlf-5hoEeR
LV Write Access read/write
LV snapshot status active destination for /dev/mysql/data
LV Status available
# open 0
LV Size 1.00 GiB
Current LE 256
COW-table size 1.00 GiB
COW-table LE 256
Allocated to snapshot 0.02%
Snapshot chunk size 4.00 KiB
Segments 1
Allocation inherit
Read ahead sectors auto
- currently set to 256
Block device 252:3
</pre>

'''Kuna tõmmis kasvab koos originaalkettajaoga on tähtis jälgida, et tõmmis protsentuaalselt täis ei saaks. Regulaarselt tuleb mahtuvust kontrollida lvs käsuga. 100% täitunud tõmmisele ei saa enam juurde kirjutada ning sellega andmeterviklikkus rikutakse ära!'''

<pre>lvs</pre>
<pre> LV VG Attr LSize Origin Snap% Move Log Copy% Convert
data mysql owi-ao 1.00g
sql_backup mysql swi-a- 1.00g data 0.02
</pre>

Kogu protseduuri automatiseerimiseks on võimalik koostada ka skript, mida saab käivitada sobival aja või kasutades „cron“ ajastamise vahendeid.

Lisaks on võimalik mysql-i data kaust haakida ümber snapshoti kettajaole ja taastada server sellesse seisu, mis oli snapshoti tegemise hetkel minimaalse katkestuse ajaga.

==Kokkuvõte==

LVM -i kasutamine varundamisel on väikestes ja mittekriitilistes süsteemides küllaltki hea lahendus. See ei nõua eriteadmisi ja kallist riistvara/tarkvara. Kuid suurematesse ja keerukamatesse lahendustesse see ei sobi, kuna see ainult aitab luua snapshoti hetke seisust aga ei paku võimalust seda eraldi salvestada. Arhiveerimiseks tuleb kasutada eraldi vahendeid ja selle protseduuri käigus võib minna kaduma vajalikke andmeid. Ka ei võistle LVM proffessionaalsete vahenditega nagu Arkeia (http://www.arkeia.com/) või BrightStor, mis on just varundamise lahenduste jaoks loodud ja muudavad antud tegemise mugavaks ja kiireks.

==Kasutatud kirjandus==
http://kuutorvaja.eenet.ee/wiki/LVM 
http://www.web-manual.net/linux-3/logical-volume-manager-in-linux/ 
http://www.lullabot.com/articles/mysql-backups-using-lvm-snapshots 
http://www.ubuntugeek.com/how-to-change-the-mysql-data-default-directory.html 
https://wiki.ubuntu.com/Lvm 
http://linuxconfig.org/Linux_lvm_-_Logical_Volume_Manager 
Loodus, Katrin. Andmesalvestustehnoloogiad - loeng 4.1 Ülevaade Logical Volume Manager-ist [https://wiki.itcollege.ee/index.php/Category:Andmesalvestustehnoloogiad]

"7 Linux fdisk Command Examples to Manage Hard Disk Partition" [http://www.thegeekstuff.com/2010/09/linux-fdisk/]

"LVM" [https://wiki.ubuntu.com/Lvm]

==Autor==
Madis Lauri
AK 31
[[Category:Operatsioonisüsteemide administreerimine ja sidumine]]

'''Täiendamine:'''

Carolys Kallas A32

Aine: Linuxi administreerimine

Muutmine lõpetatud: 13.01.2013

Mysql varundamine LVM abil

2013-01-13T23:42:57Z

Ckallas: /* Autor */

__TOC__
==Sissejuhatus==

Antud kirjatüki eesmärgiks on tutvustada Logical Volume Manageri kui abivahendit toimivast süsteemist tagavarakoopiate tegemisel. Kuigi failisüsteemi snapshotide tegemine ja nende kasutamine on ainult üks LVM-i pakutavatest võimalustest. LVM - i snapshotide tegemise võimalus pole ainult mysql -i varundamiseks, vaid kasutatav ka muude andmete varukoopiate tegemiseks. Antud juhul on MySQL siin ainult „reisija“ aga protsessi selgitamiseks ja LVM snapshoti kasutamiseks on MySQL näitena väga hea. Kogu seadistamise protsess toimub Ubuntu Linux Server 12.04.1 LTS operatsioonisüsteemis ja kasutab sellega kaasnevaid vahendeid.

==Mis on mis?==
'''Logical Volume Manager''' - LVM

'''Physical Volume''' - PV, plokkseade, füüsiline kettajagu

'''Volume Group''' - VG, kettagrupp

'''Logical Volume''' - LV, loogiline kettajagu

'''Snapshot''' - (hetk)tõmmis

===LVM===
LVM ehk „Logical Volume Manager“ on ketta partitsioonide haldusvahend Linuxi ja UNIX-i laadsete operatsioonisüsteemide juures. LVM moodustab vahekihi failisüsteemi ja füüsilise kõvaketta vahele. Esmapilgul võib tunduda, et LVM on sarnane RAID (Redundant Array of Independent Disks) kettamassiiviga, on ta siiski hoopis paindlikum viis kettajagudega toimetamiseks. RAID võimaldab kettaid omavahel liita, et saada paremaid tulemusi kiiruses, mahus või töökindluses. LVM seevastu võimaldab korraga hallata mitut (ka loogilist) kettajagu, neid vastavalt vajadusele ümber tõsta ja mahtu muuta. Seega on tihti hea mõte neid kahte hoopis koos kasutada (näiteks RAID 10 ja LVM).
Lihtsustatult oleks ettekujutus eri kihtide tasemetest selline:
* Failisüsteemid
* LVM
* RAID (vajadusel)
* füüsilised plokkmäluseadmed (kõvakettad)

===Omadused===
LVM pakutavad võimalused on:
* Failisüsteemi suuruse muutmine
* Failisüsteemi snapshotide tegemine ja kasutamine (nii read-only kui ka read-write)
* Loodud/muudetud partitsioonide kohene kasutamine, kui ketas/partitsioon on mingil moel kasutusel. Fdisk-i kasutamisel tuleb OP-süsteem taaskäivitada.
* Väiksemate füüsiliste plokkseadmete kokku ühendamine, üheks suureks loogiliseks seadmeks. (Nagu RAID)
* Ketaste liigutamine ja ühendamine üle võrgu

Lisainfot LVM-i kohta: http://en.wikipedia.org/wiki/Logical_Volume_Manager_(Linux)

===MySQL===
MySQL on Oracle Corporation poolt hallatav relatsioonilise andmebaasi haldamise süsteem. On äärmiselt populaarne andmebaasisüsteem erinevates veebirakendustes aga ka mõningates suuremates süsteemides. Oma populaarsuse on ta saanud tänu äärmiselt lihtsale hallatavusele ja kasutajasõbralikkusele. Hetkel ei hakka MySQL-i omadustel ja võimalustel pikemalt peatuma. Rohkem informatsiooni leiab: http://www.mysql.com/

==Eeldused==
*Installeeritud Ubuntu Server (vähemalt 12.04 versioon)
*Tutvutud kettajagudega (kiire kordamine näiteks '''[[Osadmin spikker]]''')

'''Viia kõik käsklused läbi sudo kasutaja alt'''
sudo -i

===Ketaste lisamine===
Kõigepealt on vaja lisada serverile kõvaketas, mida hiljem LVM-iga siduma hakata.

[[File:Create_hard_disk.PNG‎|500px]]

Luua uus 4GB ketas, mis on VirtualBox Disk Image (VDI) formaadis ning dünaamiliselt jagatud.

===Vajaliku tarkvara installeerimine===

Et LVM-i ja MySQL-i seadistada on vajalikud teadmised, kuidas toimub Linuxis ketaste ja partitisoonide haldamine ja baasteadmised MySQL-ist.
Kõigepealt on vajalik installeerida lvm2 nimeline pakett, eelnevalt uuendada tarkvaravaramu nimekirja.
<pre>apt-get update
apt-get install lvm2</pre>
Olenevalt operatsioonisüsteemist võib olla vajalikud paketid juba installeeritud, kontrollida saab nii:
<pre>lvm version</pre>

Lisaks on vajalik installeerida MySQL server ja klientprogramm serveriga ühendumiseks.
<pre>apt-get install mysql-server</pre>
NB! Kuna LVM-i kasutuselevõtmine vajab mõningast MySQL-i ümberseadistamist, tuleb arvestada asjaoluga, et MySQL-i data kausta ümbertõstmisel ei pruugi olemasolevad andmed säilida (InnoDB) ja vajalik oleks serveris olevatest andmetest enne .sql kujul tagavarakoopia teha.

==LVM -i seadistamine==

[[File:LVM.jpg|thumb |alt=LVM alt text |LVM]]

LVM ise jaguneb kolmeks eri kihiks: plokkseadmed (PV), kettagrupid (VG), millesse on organiseeritud füüsilised plokkseadmed ja loogilised kettajaod, mis on jagatud kettagrupid.
Iga kihiga toimetamisel on oma käsud, mis viitavad sellele, mis kihiga hetkel toimetatakse: pv*, vg* ning lv*. Näiteks pvcreate, vgcreate ja lvcreate.

Esimese asjana tuleb valida ketas/kettajagu, kus LVM-iga toimetama hakata. Uue ketta puhul oleks võimalusel mõtekas luua üks tervet ketast hõlmav partitsioon.

Operatsioonisüsteem tunnistab näites kasutatavat uut ketast kui /dev/sdb ja seega on näites kasutatavad ketta nimed/asukohad just sellised.

Kõikide olemasolevate partitsioonide kuvamine:
<pre>fdisk -l</pre>

(Kindla partitsiooni vaatamiseks lisada käsu lõppu see partitsioon:)
<pre>fdisk -l /dev/sda</pre>

<pre>fdisk -l 2> /dev/null | grep Disk</pre>
<pre> Disk /dev/sda: 8589 MB, 8589934592 bytes
Disk identifier: 0x000bd8b1
Disk /dev/sdb: 4294 MB, 4294967296 bytes
Disk identifier: 0x11844f48</pre>

===Füüsilise ketta väärtuse muutmine===
Avada fdiskiga uue loodud ketta partitsioon ning luua uus primaarne kettajagu:

<pre>fdisk /dev/sdb
Command (m for help): n

Partition type:
p primary (0 primary, 0 extended, 4 free)
e extended

Select (default p): p

Partition number (1-4, default 1): 1

First sector (2048-8388607, default 2048):
Using default value 2048

Last sector, +sectors or +size{K,M,G} (2048-8388607, default 8388607):
Using default value 8388607</pre>

Print käskluse abil kuvatakse kettajagu, algus, lõpp, blokid, id ning süsteem. Loodud partitsioon on 83 ehk Linux. Partitsiooni süsteemse id muutmiseks kasutatakse '''t'''.

Käsklus '''L''' kuvab kõik kaheksandikkoodid . Linux LVM kood on 8e, et muuta kettajagu Linux LVM-iks on vaja muuta kettajao id 83-lt 8e-ks.
[[file:8e.PNG|500px]]

<pre>
Command (m for help): t
Selected partition 1

Hex code (type L to list codes): 8e
Changed system type of partition 1 to 8e (Linux LVM)

Command (m for help): w
The partition table has been altered!

Calling ioctl() to re-read partition table.
Syncing disks.</pre>

'''NB mitte väljuda q, mis väljub programmist muudatusi salvestamata!'''

===Füüsiline kettajagu===
Järgnevalt anname lvm-ile teada, et loodud partitsioon (/dev/sdb1) on „pv“ ehk physical volume.

<pre>pvcreate /dev/sdb1</pre>

Kui kõik läks hästi siis display käsk peaks kuvama sellise tulemuse:
<pre>pvdisplay</pre>
<pre>"/dev/sdb1" is a new physical volume of "4.00 GiB"
--- NEW Physical volume ---
PV Name /dev/sdb1
VG Name
PV Size 4.00 GiB
Allocatable NO
PE Size 0
Total PE 0
Free PE 0
Allocated PE 0
PV UUID EdmaX9-bXmQ-Oevp-p9W9-I2qY-gpMM-1w77aQ</pre>

===Kettagrupp===
Loome uue „volume group“ -i ja nimetame selle mysql -iks.

<pre>vgcreate mysql /dev/sdb1</pre>

Display käsu tulemus peaks olema sarnane:
<pre>vgdisplay</pre>
<pre> --- Volume group ---
VG Name mysql
System ID
Format lvm2
Metadata Areas 1
Metadata Sequence No 4
VG Access read/write
VG Status resizable
MAX LV 0
Cur LV 2
Open LV 2
Max PV 0
Cur PV 1
Act PV 1
VG Size 4.00 GiB
PE Size 4.00 MiB
Total PE 1023
Alloc PE / Size 512 / 2.00 GiB
Free PE / Size 511 / 2.00 GiB
VG UUID s5AjT8-ss7D-Gm9m-XY6j-ULMv-RLbR-xdy0K6</pre>

Järgnevalt saame luua „volume group“ -ile „logical volumes“ ehk loogilised kettajaod. Need on justkui partitsioonid füüsilisel kõvakettal ja neid saab juba andmete talletamiseks kasutada. Nimetame kettajao nimega data ja määrame tema suuruseks 1GB (antud suurus sobib väga hästi katsetamiseks aga reaalsetes süsteemides tuleb muidugi oluliselt suuremaid numbreid kasutada. ). Suuruse seadistamisel tuleb arvestada, et sama „volume group“ peale tuleb mahutada veel vähemalt üks sama suur loogiline kettajagu, mis on loodava LV snapshot. Näide kui VG suurus on kokku 10GB siis on võimalik teha maksimaalselt 5GB suurune loogiline kettajagu. Vastasel ei mahu tema kõrvale, samale VG-le tehtud LV snapshot.

===Loogiline kettajagu===
Data nimelise 1GB loogilise kettajao loomine:
<pre>lvcreate -n data -L 1GB mysql</pre>

Kontrollime tulemust:
<pre>lvdisplay</pre>
<pre> --- Logical volume ---
LV Name /dev/mysql/data
VG Name mysql
LV UUID SL0yWI-Mc2b-KhkE-V8P1-bW7E-3iL8-8zD6Uf
LV Write Access read/write
LV Status available
# open 0
LV Size 1.00 GiB
Current LE 256
Segments 1
Allocation inherit
Read ahead sectors auto
- currently set to 256
Block device 252:0</pre>

Teadmiseks: lvdisplay käsu käivitamisel on näha parameeter „LV Status“. See näitab, kas kettajagu on saadaval või mitte. Kasutada on võimalik ainult available olekus kettajagu. Eemaldada saab ainult NOT available olekus kettajagusid. Kettajao NOT available olekusse viimiseks saab kasutada käsku:

<pre>lvchange -a n /dev/mysql/data</pre>
ja tagasi:
<pre>lvchange -a y /dev/mysql/data</pre>

===Failisüsteemi loomine ja ühendamine===
Nüüd on loodud uus kettajagu, mida saab andmete säiltamiseks kasutada. Loome sellele kettajaole failisüsteemi:
<pre>mkfs -t ext4 /dev/mysql/data</pre>

Järgmisena tuleb loodud kettajagu kuhugile mountida. Mina teen sellejaoks /srv/mysql kausta ja haagin ketta sinna.

<pre>mkdir /srv/mysql
mount /dev/mysql/data /srv/mysql</pre>

Lisame '''/etc/fstab''' faili lõppu kirje, et ka järgmisel süsteemi käivitamisel oleks ketas kohe külgehaagitud

<pre>
<file system> <mount point> <type> <options> <dump> <pass>
/dev/mysql/data /srv/mysql ext4 defaults 0 0</pre>

==MySQL seadistamine==
Muudame kausta õigused mysql-ile sobivaks (kausta omanik on kasutaja mysql ja kaustale on ligipääs ainult kausta omanikul)
<pre>chown mysql:mysql /srv/mysql
chmod 0700 /srv/mysql</pre>

Nüüd tuleb olemasolev mysql data kaust liigutada /srv/mysql kausta. Esimese asjana peatada mysql server
<pre>service mysql stop</pre>

Kopeerime (!) kogu mysql-i data kausta loodud lvm kettajaole. Ubuntus (ilmselt ka paljudes teistes operatsioonisüsteemides) asub mysq-i data kaust /var/lib/mysql. Oleks vägagi soovitatav jätta andmed vanasse kausta alles ja kustuta see alles siis kui ollakse täiesti kindel, et server töötab tõrgeteta.
<pre>cp -ar /var/lib/mysql/. /srv/mysql</pre>

Seejärel tuleb mysql-i konfiguratsioonifailis ('''/etc/mysql/my.cnf''') muuta ära „datadir“ parameeter
<pre>datadir = /var/lib/mysql -> datadir = /srv/mysql</pre>

Teadmiseks: alates Ubuntu 7.10 -st on operatsioonisüsteemiga kaasas programm nimega „AppArmor“ (Loe lähemalt: https://wiki.itcollege.ee/index.php/AppArmor). Tegemist on kerneli turvamooduliga, mis teatavate programmide puhul piirab nende ligipääsu failisüsteemile. Et MySQL server uuesti korrektselt käivituks, tuleb „AppArmor“ -is mysq-i seadistust muuta. Sobiva tekstieditoriga tuleb avada ''''/etc/apparmor.d/usr.sbin.mysqld''' konfifail ja teha seal vajalikud muudatused :
<pre>/var/lib/mysql/ r, -> /srv/mysql r,
/var/lib/mysql/** rwk, -> /srv/mysql** rwk,</pre>

Seejärel on vaja teha AppArmorile restart
<pre>service apparmor restart</pre>

Osadel operatsioonisüsteemidel võib ka init skript ette anda, kus asub mysql-i datadir. Seega oleks mõistlik ka see '''/etc/init.d/mysql''' skriptist üle vaadata.

Käivitame uuesti mysql-i serveri:

<pre>service mysql start</pre>

Kontrollime mysql-i muutujaid:
<pre>mysqladmin -u [mysql-kasutaja] -p variables | grep datadir</pre>
<pre>Enter password: [mysql-parool]
| datadir | /srv/mysql/
</pre>
Lisaks tuleks sobiva mysql kliendiga serverisse sisse logida ja kontrollida üle, kas kõik jäi korrektselt tööle.

Nüüd, kui MySQL server on korrektselt tööle hakanud ja tekib vajadus varukoopiate tegemiseks. Töötavast serverist snapshoti tegemisel pole vajalik eelnev serveri väljalülitamine. Snapshoti tegemise protsess on äärmiselt kiire ja andmete lugemine andmebaasist toimib endiselt edasi. Samas andmete kirjutamise protsess viibib seni kuni andmebaasilt kirjutamise lukk maha võetakse (kõik kirjutamise käsud täidetakse kohe peale luku vabastamist).
Ehkki varukoopia tegemise protsess ei tekita katkestusi serveri töös, oleks hea mõte teha varukoopiaid sellisel ajal kui serveril on kõige väiksem koormus.
On vajalik teada, et andmebaas lukustatakse ainult selleks ajaks, kui mysql serverisse on sisse logitud. Kohe kui sessioon lõpetatakse, vabastatakse ka lukud. Seetõttu peab snaspshoti tegemise ajal olema serverisse sisse logitud. Variant on kasutada kahte terminali sessiooni aga vajalikke käske saab käivitada ka MySQL-i käsurealt (vajalik on mysql-i klient käivitada root kasutaja õigustes).
<pre>mysql -u [root] -p
Enter password:</pre>

Protseduuri ajaks on vajalik keelata ära andmete kirjutamine:
<pre>mysql> FLUSH TABLES WITH READ LOCK;</pre>
<pre>Query OK, 0 rows affected (0.00 sec)</pre>
Lisaks võiks tühjendada ka logid:
<pre>mysql> FLUSH LOGS;</pre>
<pre>Query OK, 0 rows affected (0.00 sec)</pre>

==Tõmmise tegemine==
/sbin on standardne juurkataloogi alamkataloog Linuxis ja teistes Unix-taolistes operatsioonisüsteemides, mis sisaldab käivitamisvõimelisi programme. Seda on vaja, et saaks kasutada süsteemisiseseid faile.

<pre>mysql> SYSTEM /sbin/lvcreate -L 1G --snapshot -n sql_backup /dev/mysql/data</pre>
<pre>File descriptor 3 (socket:[15065]) leaked on lvcreate invocation. Parent PID 3514: sh
Logical volume "sql_backup" created</pre>

Tabelite lukust vabastamine.
<pre>mysql> UNLOCK TABLES;</pre>
<pre>Query OK, 0 rows affected (0.01 sec)</pre>

<pre>mysql> exit
Bye
</pre>
Snapshoti kettajagu nimetati kui sql_backup ja viide loogilisele seadmele asub /dev/mysql/sql_backup. Käivitades käsu „lvs“, saab näha, et lisaks mysql/data LV-le on juurde tekkinud mysql/sql_backup
<pre>lvs</pre>
<pre>LV VG Attr LSize Origin Snap% Move Log Copy% Convert
data mysql owi-ao 1.00g
sql_backup mysql swi-a- 1.00g data 0.00
</pre>
Kui nüüd haakida tehtud snapshoti kettajagu, on seal kättesaadav kogu mysql-i data sellel hetkel, kui snapshot tehti.
<pre>mkdir /mnt/bk
mount /dev/mysql/sql_backup /mnt/bk
ls -la /mnt/bk</pre>
<pre>total 28720
drwx------ 8 mysql mysql 4096 Dec 12 15:59 .
drwxr-xr-x 3 root root 4096 Dec 12 16:34 ..
-rw-r--r-- 1 root root 0 Nov 30 17:18 debian-5.5.flag
-rw-rw---- 1 mysql mysql 18874368 Dec 12 16:18 ibdata1
-rw-rw---- 1 mysql mysql 5242880 Dec 12 16:18 ib_logfile0
-rw-rw---- 1 mysql mysql 5242880 Nov 30 17:18 ib_logfile1
drwx------ 2 root root 16384 Dec 12 15:58 lost+found
drwx------ 2 mysql root 4096 Nov 30 17:18 mysql
-rw-rw---- 1 root root 6 Nov 30 17:18 mysql_upgrade_info
drwx------ 2 mysql mysql 4096 Nov 30 17:18 performance_schema
drwx------ 2 mysql mysql 4096 Nov 30 17:28 phpmyadmin
drwx------ 2 mysql root 4096 Dec 12 16:18 test
drwx------ 2 mysql mysql 4096 Nov 30 17:33 wp
</pre>
MySQL-i server töötab peale snapshoti tegemist katkestusteta edasi. Tehtud snapshoti andmeid võib varundada arhiivi jaoks. Andmete varundamisel tuleb spashoti kettajagu failisüsteemi külge haakida ja selle sisu „tar“-i abil arhiveerida ja hiljem eemaldada snapshoti kettajagu

<pre>mkdir -p /var/teekond/arhiivi
tar -cjf [/var/teekond/arhiivi/][kuupäev].tar.bz2 -C /mnt/bk
umount /dev/mysql/sql_backup
lvremove /dev/mysql/sql_backup
Do you really want to remove active logical volume sql_backup? [y/n]: Y
Logical volume "sql_backup" successfully removed
</pre>

Tulemuseks nüüd loogilise kettajao vaatamisele on:
<pre>lvdisplay</pre>
<pre> --- Logical volume ---
LV Name /dev/mysql/data
VG Name mysql
LV UUID ZIMxmO-kUQR-u4gD-Wk9m-0MCK-kqwx-1kMaVP
LV Write Access read/write
LV snapshot status source of
/dev/mysql/sql_backup [active]
LV Status available
# open 1
LV Size 1.00 GiB
Current LE 256
Segments 1
Allocation inherit
Read ahead sectors auto
- currently set to 256
Block device 252:1

--- Logical volume ---
LV Name /dev/mysql/sql_backup
VG Name mysql
LV UUID XMqxEq-yRhp-u8lf-mZ9U-1R2F-fBlf-5hoEeR
LV Write Access read/write
LV snapshot status active destination for /dev/mysql/data
LV Status available
# open 0
LV Size 1.00 GiB
Current LE 256
COW-table size 1.00 GiB
COW-table LE 256
Allocated to snapshot 0.02%
Snapshot chunk size 4.00 KiB
Segments 1
Allocation inherit
Read ahead sectors auto
- currently set to 256
Block device 252:3
</pre>

'''Kuna tõmmis kasvab koos originaalkettajaoga on tähtis jälgida, et tõmmis protsentuaalselt täis ei saaks. Regulaarselt tuleb mahtuvust kontrollida lvs käsuga. 100% täitunud tõmmisele ei saa enam juurde kirjutada ning sellega andmeterviklikkus rikutakse ära!'''

<pre>lvs</pre>
<pre> LV VG Attr LSize Origin Snap% Move Log Copy% Convert
data mysql owi-ao 1.00g
sql_backup mysql swi-a- 1.00g data 0.02
</pre>

Kogu protseduuri automatiseerimiseks on võimalik koostada ka skript, mida saab käivitada sobival aja või kasutades „cron“ ajastamise vahendeid.

Lisaks on võimalik mysql-i data kaust haakida ümber snapshoti kettajaole ja taastada server sellesse seisu, mis oli snapshoti tegemise hetkel minimaalse katkestuse ajaga.

==Kokkuvõte==

LVM -i kasutamine varundamisel on väikestes ja mittekriitilistes süsteemides küllaltki hea lahendus. See ei nõua eriteadmisi ja kallist riistvara/tarkvara. Kuid suurematesse ja keerukamatesse lahendustesse see ei sobi, kuna see ainult aitab luua snapshoti hetke seisust aga ei paku võimalust seda eraldi salvestada. Arhiveerimiseks tuleb kasutada eraldi vahendeid ja selle protseduuri käigus võib minna kaduma vajalikke andmeid. Ka ei võistle LVM proffessionaalsete vahenditega nagu Arkeia (http://www.arkeia.com/) või BrightStor, mis on just varundamise lahenduste jaoks loodud ja muudavad antud tegemise mugavaks ja kiireks.

==Kasutatud kirjandus==
http://kuutorvaja.eenet.ee/wiki/LVM 
http://www.web-manual.net/linux-3/logical-volume-manager-in-linux/ 
http://www.lullabot.com/articles/mysql-backups-using-lvm-snapshots 
http://www.ubuntugeek.com/how-to-change-the-mysql-data-default-directory.html 
https://wiki.ubuntu.com/Lvm 
http://linuxconfig.org/Linux_lvm_-_Logical_Volume_Manager 
Loodus, Katrin. Andmesalvestustehnoloogiad - loeng 4.1 Ülevaade Logical Volume Manager-ist [https://wiki.itcollege.ee/index.php/Category:Andmesalvestustehnoloogiad]

"7 Linux fdisk Command Examples to Manage Hard Disk Partition" [http://www.thegeekstuff.com/2010/09/linux-fdisk/]

"LVM" [https://wiki.ubuntu.com/Lvm]

==Autor==
Madis Lauri
AK 31
[[Category:Operatsioonisüsteemide administreerimine ja sidumine]]

'''Täiendamine:'''

Carolys Kallas A32

Aine: Linuxi administreerimine

Muutmine lõpetatud: 13.01.2013

Mysql varundamine LVM abil

2013-01-13T20:16:33Z

Ckallas: /* Tõmmise tegemine */

__TOC__
==Sissejuhatus==

Antud kirjatüki eesmärgiks on tutvustada Logical Volume Manageri kui abivahendit toimivast süsteemist tagavarakoopiate tegemisel. Kuigi failisüsteemi snapshotide tegemine ja nende kasutamine on ainult üks LVM-i pakutavatest võimalustest. LVM - i snapshotide tegemise võimalus pole ainult mysql -i varundamiseks, vaid kasutatav ka muude andmete varukoopiate tegemiseks. Antud juhul on MySQL siin ainult „reisija“ aga protsessi selgitamiseks ja LVM snapshoti kasutamiseks on MySQL näitena väga hea. Kogu seadistamise protsess toimub Ubuntu Linux Server 12.04.1 LTS operatsioonisüsteemis ja kasutab sellega kaasnevaid vahendeid.

==Mis on mis?==
'''Logical Volume Manager''' - LVM

'''Physical Volume''' - PV, plokkseade, füüsiline kettajagu

'''Volume Group''' - VG, kettagrupp

'''Logical Volume''' - LV, loogiline kettajagu

'''Snapshot''' - (hetk)tõmmis

===LVM===
LVM ehk „Logical Volume Manager“ on ketta partitsioonide haldusvahend Linuxi ja UNIX-i laadsete operatsioonisüsteemide juures. LVM moodustab vahekihi failisüsteemi ja füüsilise kõvaketta vahele. Esmapilgul võib tunduda, et LVM on sarnane RAID (Redundant Array of Independent Disks) kettamassiiviga, on ta siiski hoopis paindlikum viis kettajagudega toimetamiseks. RAID võimaldab kettaid omavahel liita, et saada paremaid tulemusi kiiruses, mahus või töökindluses. LVM seevastu võimaldab korraga hallata mitut (ka loogilist) kettajagu, neid vastavalt vajadusele ümber tõsta ja mahtu muuta. Seega on tihti hea mõte neid kahte hoopis koos kasutada (näiteks RAID 10 ja LVM).
Lihtsustatult oleks ettekujutus eri kihtide tasemetest selline:
* Failisüsteemid
* LVM
* RAID (vajadusel)
* füüsilised plokkmäluseadmed (kõvakettad)

===Omadused===
LVM pakutavad võimalused on:
* Failisüsteemi suuruse muutmine
* Failisüsteemi snapshotide tegemine ja kasutamine (nii read-only kui ka read-write)
* Loodud/muudetud partitsioonide kohene kasutamine, kui ketas/partitsioon on mingil moel kasutusel. Fdisk-i kasutamisel tuleb OP-süsteem taaskäivitada.
* Väiksemate füüsiliste plokkseadmete kokku ühendamine, üheks suureks loogiliseks seadmeks. (Nagu RAID)
* Ketaste liigutamine ja ühendamine üle võrgu

Lisainfot LVM-i kohta: http://en.wikipedia.org/wiki/Logical_Volume_Manager_(Linux)

===MySQL===
MySQL on Oracle Corporation poolt hallatav relatsioonilise andmebaasi haldamise süsteem. On äärmiselt populaarne andmebaasisüsteem erinevates veebirakendustes aga ka mõningates suuremates süsteemides. Oma populaarsuse on ta saanud tänu äärmiselt lihtsale hallatavusele ja kasutajasõbralikkusele. Hetkel ei hakka MySQL-i omadustel ja võimalustel pikemalt peatuma. Rohkem informatsiooni leiab: http://www.mysql.com/

==Eeldused==
*Installeeritud Ubuntu Server (vähemalt 12.04 versioon)
*Tutvutud kettajagudega (kiire kordamine näiteks '''[[Osadmin spikker]]''')

'''Viia kõik käsklused läbi sudo kasutaja alt'''
sudo -i

===Ketaste lisamine===
Kõigepealt on vaja lisada serverile kõvaketas, mida hiljem LVM-iga siduma hakata.

[[File:Create_hard_disk.PNG‎|500px]]

Luua uus 4GB ketas, mis on VirtualBox Disk Image (VDI) formaadis ning dünaamiliselt jagatud.

===Vajaliku tarkvara installeerimine===

Et LVM-i ja MySQL-i seadistada on vajalikud teadmised, kuidas toimub Linuxis ketaste ja partitisoonide haldamine ja baasteadmised MySQL-ist.
Kõigepealt on vajalik installeerida lvm2 nimeline pakett, eelnevalt uuendada tarkvaravaramu nimekirja.
<pre>apt-get update
apt-get install lvm2</pre>
Olenevalt operatsioonisüsteemist võib olla vajalikud paketid juba installeeritud, kontrollida saab nii:
<pre>lvm version</pre>

Lisaks on vajalik installeerida MySQL server ja klientprogramm serveriga ühendumiseks.
<pre>apt-get install mysql-server</pre>
NB! Kuna LVM-i kasutuselevõtmine vajab mõningast MySQL-i ümberseadistamist, tuleb arvestada asjaoluga, et MySQL-i data kausta ümbertõstmisel ei pruugi olemasolevad andmed säilida (InnoDB) ja vajalik oleks serveris olevatest andmetest enne .sql kujul tagavarakoopia teha.

==LVM -i seadistamine==

[[File:LVM.jpg|thumb |alt=LVM alt text |LVM]]

LVM ise jaguneb kolmeks eri kihiks: plokkseadmed (PV), kettagrupid (VG), millesse on organiseeritud füüsilised plokkseadmed ja loogilised kettajaod, mis on jagatud kettagrupid.
Iga kihiga toimetamisel on oma käsud, mis viitavad sellele, mis kihiga hetkel toimetatakse: pv*, vg* ning lv*. Näiteks pvcreate, vgcreate ja lvcreate.

Esimese asjana tuleb valida ketas/kettajagu, kus LVM-iga toimetama hakata. Uue ketta puhul oleks võimalusel mõtekas luua üks tervet ketast hõlmav partitsioon.

Operatsioonisüsteem tunnistab näites kasutatavat uut ketast kui /dev/sdb ja seega on näites kasutatavad ketta nimed/asukohad just sellised.

Kõikide olemasolevate partitsioonide kuvamine:
<pre>fdisk -l</pre>

(Kindla partitsiooni vaatamiseks lisada käsu lõppu see partitsioon:)
<pre>fdisk -l /dev/sda</pre>

<pre>fdisk -l 2> /dev/null | grep Disk</pre>
<pre> Disk /dev/sda: 8589 MB, 8589934592 bytes
Disk identifier: 0x000bd8b1
Disk /dev/sdb: 4294 MB, 4294967296 bytes
Disk identifier: 0x11844f48</pre>

===Füüsilise ketta väärtuse muutmine===
Avada fdiskiga uue loodud ketta partitsioon ning luua uus primaarne kettajagu:

<pre>fdisk /dev/sdb
Command (m for help): n

Partition type:
p primary (0 primary, 0 extended, 4 free)
e extended

Select (default p): p

Partition number (1-4, default 1): 1

First sector (2048-8388607, default 2048):
Using default value 2048

Last sector, +sectors or +size{K,M,G} (2048-8388607, default 8388607):
Using default value 8388607</pre>

Print käskluse abil kuvatakse kettajagu, algus, lõpp, blokid, id ning süsteem. Loodud partitsioon on 83 ehk Linux. Partitsiooni süsteemse id muutmiseks kasutatakse '''t'''.

Käsklus '''L''' kuvab kõik kaheksandikkoodid . Linux LVM kood on 8e, et muuta kettajagu Linux LVM-iks on vaja muuta kettajao id 83-lt 8e-ks.
[[file:8e.PNG|500px]]

<pre>
Command (m for help): t
Selected partition 1

Hex code (type L to list codes): 8e
Changed system type of partition 1 to 8e (Linux LVM)

Command (m for help): w
The partition table has been altered!

Calling ioctl() to re-read partition table.
Syncing disks.</pre>

'''NB mitte väljuda q, mis väljub programmist muudatusi salvestamata!'''

===Füüsiline kettajagu===
Järgnevalt anname lvm-ile teada, et loodud partitsioon (/dev/sdb1) on „pv“ ehk physical volume.

<pre>pvcreate /dev/sdb1</pre>

Kui kõik läks hästi siis display käsk peaks kuvama sellise tulemuse:
<pre>pvdisplay</pre>
<pre>"/dev/sdb1" is a new physical volume of "4.00 GiB"
--- NEW Physical volume ---
PV Name /dev/sdb1
VG Name
PV Size 4.00 GiB
Allocatable NO
PE Size 0
Total PE 0
Free PE 0
Allocated PE 0
PV UUID EdmaX9-bXmQ-Oevp-p9W9-I2qY-gpMM-1w77aQ</pre>

===Kettagrupp===
Loome uue „volume group“ -i ja nimetame selle mysql -iks.

<pre>vgcreate mysql /dev/sdb1</pre>

Display käsu tulemus peaks olema sarnane:
<pre>vgdisplay</pre>
<pre> --- Volume group ---
VG Name mysql
System ID
Format lvm2
Metadata Areas 1
Metadata Sequence No 4
VG Access read/write
VG Status resizable
MAX LV 0
Cur LV 2
Open LV 2
Max PV 0
Cur PV 1
Act PV 1
VG Size 4.00 GiB
PE Size 4.00 MiB
Total PE 1023
Alloc PE / Size 512 / 2.00 GiB
Free PE / Size 511 / 2.00 GiB
VG UUID s5AjT8-ss7D-Gm9m-XY6j-ULMv-RLbR-xdy0K6</pre>

Järgnevalt saame luua „volume group“ -ile „logical volumes“ ehk loogilised kettajaod. Need on justkui partitsioonid füüsilisel kõvakettal ja neid saab juba andmete talletamiseks kasutada. Nimetame kettajao nimega data ja määrame tema suuruseks 1GB (antud suurus sobib väga hästi katsetamiseks aga reaalsetes süsteemides tuleb muidugi oluliselt suuremaid numbreid kasutada. ). Suuruse seadistamisel tuleb arvestada, et sama „volume group“ peale tuleb mahutada veel vähemalt üks sama suur loogiline kettajagu, mis on loodava LV snapshot. Näide kui VG suurus on kokku 10GB siis on võimalik teha maksimaalselt 5GB suurune loogiline kettajagu. Vastasel ei mahu tema kõrvale, samale VG-le tehtud LV snapshot.

===Loogiline kettajagu===
Data nimelise 1GB loogilise kettajao loomine:
<pre>lvcreate -n data -L 1GB mysql</pre>

Kontrollime tulemust:
<pre>lvdisplay</pre>
<pre> --- Logical volume ---
LV Name /dev/mysql/data
VG Name mysql
LV UUID SL0yWI-Mc2b-KhkE-V8P1-bW7E-3iL8-8zD6Uf
LV Write Access read/write
LV Status available
# open 0
LV Size 1.00 GiB
Current LE 256
Segments 1
Allocation inherit
Read ahead sectors auto
- currently set to 256
Block device 252:0</pre>

Teadmiseks: lvdisplay käsu käivitamisel on näha parameeter „LV Status“. See näitab, kas kettajagu on saadaval või mitte. Kasutada on võimalik ainult available olekus kettajagu. Eemaldada saab ainult NOT available olekus kettajagusid. Kettajao NOT available olekusse viimiseks saab kasutada käsku:

<pre>lvchange -a n /dev/mysql/data</pre>
ja tagasi:
<pre>lvchange -a y /dev/mysql/data</pre>

===Failisüsteemi loomine ja ühendamine===
Nüüd on loodud uus kettajagu, mida saab andmete säiltamiseks kasutada. Loome sellele kettajaole failisüsteemi:
<pre>mkfs -t ext4 /dev/mysql/data</pre>

Järgmisena tuleb loodud kettajagu kuhugile mountida. Mina teen sellejaoks /srv/mysql kausta ja haagin ketta sinna.

<pre>mkdir /srv/mysql
mount /dev/mysql/data /srv/mysql</pre>

Lisame '''/etc/fstab''' faili lõppu kirje, et ka järgmisel süsteemi käivitamisel oleks ketas kohe külgehaagitud

<pre>
<file system> <mount point> <type> <options> <dump> <pass>
/dev/mysql/data /srv/mysql ext4 defaults 0 0</pre>

==MySQL seadistamine==
Muudame kausta õigused mysql-ile sobivaks (kausta omanik on kasutaja mysql ja kaustale on ligipääs ainult kausta omanikul)
<pre>chown mysql:mysql /srv/mysql
chmod 0700 /srv/mysql</pre>

Nüüd tuleb olemasolev mysql data kaust liigutada /srv/mysql kausta. Esimese asjana peatada mysql server
<pre>service mysql stop</pre>

Kopeerime (!) kogu mysql-i data kausta loodud lvm kettajaole. Ubuntus (ilmselt ka paljudes teistes operatsioonisüsteemides) asub mysq-i data kaust /var/lib/mysql. Oleks vägagi soovitatav jätta andmed vanasse kausta alles ja kustuta see alles siis kui ollakse täiesti kindel, et server töötab tõrgeteta.
<pre>cp -ar /var/lib/mysql/. /srv/mysql</pre>

Seejärel tuleb mysql-i konfiguratsioonifailis ('''/etc/mysql/my.cnf''') muuta ära „datadir“ parameeter
<pre>datadir = /var/lib/mysql -> datadir = /srv/mysql</pre>

Teadmiseks: alates Ubuntu 7.10 -st on operatsioonisüsteemiga kaasas programm nimega „AppArmor“ (Loe lähemalt: https://wiki.itcollege.ee/index.php/AppArmor). Tegemist on kerneli turvamooduliga, mis teatavate programmide puhul piirab nende ligipääsu failisüsteemile. Et MySQL server uuesti korrektselt käivituks, tuleb „AppArmor“ -is mysq-i seadistust muuta. Sobiva tekstieditoriga tuleb avada ''''/etc/apparmor.d/usr.sbin.mysqld''' konfifail ja teha seal vajalikud muudatused :
<pre>/var/lib/mysql/ r, -> /srv/mysql r,
/var/lib/mysql/** rwk, -> /srv/mysql** rwk,</pre>

Seejärel on vaja teha AppArmorile restart
<pre>service apparmor restart</pre>

Osadel operatsioonisüsteemidel võib ka init skript ette anda, kus asub mysql-i datadir. Seega oleks mõistlik ka see '''/etc/init.d/mysql''' skriptist üle vaadata.

Käivitame uuesti mysql-i serveri:

<pre>service mysql start</pre>

Kontrollime mysql-i muutujaid:
<pre>mysqladmin -u [mysql-kasutaja] -p variables | grep datadir</pre>
<pre>Enter password: [mysql-parool]
| datadir | /srv/mysql/
</pre>
Lisaks tuleks sobiva mysql kliendiga serverisse sisse logida ja kontrollida üle, kas kõik jäi korrektselt tööle.

Nüüd, kui MySQL server on korrektselt tööle hakanud ja tekib vajadus varukoopiate tegemiseks. Töötavast serverist snapshoti tegemisel pole vajalik eelnev serveri väljalülitamine. Snapshoti tegemise protsess on äärmiselt kiire ja andmete lugemine andmebaasist toimib endiselt edasi. Samas andmete kirjutamise protsess viibib seni kuni andmebaasilt kirjutamise lukk maha võetakse (kõik kirjutamise käsud täidetakse kohe peale luku vabastamist).
Ehkki varukoopia tegemise protsess ei tekita katkestusi serveri töös, oleks hea mõte teha varukoopiaid sellisel ajal kui serveril on kõige väiksem koormus.
On vajalik teada, et andmebaas lukustatakse ainult selleks ajaks, kui mysql serverisse on sisse logitud. Kohe kui sessioon lõpetatakse, vabastatakse ka lukud. Seetõttu peab snaspshoti tegemise ajal olema serverisse sisse logitud. Variant on kasutada kahte terminali sessiooni aga vajalikke käske saab käivitada ka MySQL-i käsurealt (vajalik on mysql-i klient käivitada root kasutaja õigustes).
<pre>mysql -u [root] -p
Enter password:</pre>

Protseduuri ajaks on vajalik keelata ära andmete kirjutamine:
<pre>mysql> FLUSH TABLES WITH READ LOCK;</pre>
<pre>Query OK, 0 rows affected (0.00 sec)</pre>
Lisaks võiks tühjendada ka logid:
<pre>mysql> FLUSH LOGS;</pre>
<pre>Query OK, 0 rows affected (0.00 sec)</pre>

==Tõmmise tegemine==
/sbin on standardne juurkataloogi alamkataloog Linuxis ja teistes Unix-taolistes operatsioonisüsteemides, mis sisaldab käivitamisvõimelisi programme. Seda on vaja, et saaks kasutada süsteemisiseseid faile.

<pre>mysql> SYSTEM /sbin/lvcreate -L 1G --snapshot -n sql_backup /dev/mysql/data</pre>
<pre>File descriptor 3 (socket:[15065]) leaked on lvcreate invocation. Parent PID 3514: sh
Logical volume "sql_backup" created</pre>

Tabelite lukust vabastamine.
<pre>mysql> UNLOCK TABLES;</pre>
<pre>Query OK, 0 rows affected (0.01 sec)</pre>

<pre>mysql> exit
Bye
</pre>
Snapshoti kettajagu nimetati kui sql_backup ja viide loogilisele seadmele asub /dev/mysql/sql_backup. Käivitades käsu „lvs“, saab näha, et lisaks mysql/data LV-le on juurde tekkinud mysql/sql_backup
<pre>lvs</pre>
<pre>LV VG Attr LSize Origin Snap% Move Log Copy% Convert
data mysql owi-ao 1.00g
sql_backup mysql swi-a- 1.00g data 0.00
</pre>
Kui nüüd haakida tehtud snapshoti kettajagu, on seal kättesaadav kogu mysql-i data sellel hetkel, kui snapshot tehti.
<pre>mkdir /mnt/bk
mount /dev/mysql/sql_backup /mnt/bk
ls -la /mnt/bk</pre>
<pre>total 28720
drwx------ 8 mysql mysql 4096 Dec 12 15:59 .
drwxr-xr-x 3 root root 4096 Dec 12 16:34 ..
-rw-r--r-- 1 root root 0 Nov 30 17:18 debian-5.5.flag
-rw-rw---- 1 mysql mysql 18874368 Dec 12 16:18 ibdata1
-rw-rw---- 1 mysql mysql 5242880 Dec 12 16:18 ib_logfile0
-rw-rw---- 1 mysql mysql 5242880 Nov 30 17:18 ib_logfile1
drwx------ 2 root root 16384 Dec 12 15:58 lost+found
drwx------ 2 mysql root 4096 Nov 30 17:18 mysql
-rw-rw---- 1 root root 6 Nov 30 17:18 mysql_upgrade_info
drwx------ 2 mysql mysql 4096 Nov 30 17:18 performance_schema
drwx------ 2 mysql mysql 4096 Nov 30 17:28 phpmyadmin
drwx------ 2 mysql root 4096 Dec 12 16:18 test
drwx------ 2 mysql mysql 4096 Nov 30 17:33 wp
</pre>
MySQL-i server töötab peale snapshoti tegemist katkestusteta edasi. Tehtud snapshoti andmeid võib varundada arhiivi jaoks. Andmete varundamisel tuleb spashoti kettajagu failisüsteemi külge haakida ja selle sisu „tar“-i abil arhiveerida ja hiljem eemaldada snapshoti kettajagu

<pre>mkdir -p /var/teekond/arhiivi
tar -cjf [/var/teekond/arhiivi/][kuupäev].tar.bz2 -C /mnt/bk
umount /dev/mysql/sql_backup
lvremove /dev/mysql/sql_backup
Do you really want to remove active logical volume sql_backup? [y/n]: Y
Logical volume "sql_backup" successfully removed
</pre>

Tulemuseks nüüd loogilise kettajao vaatamisele on:
<pre>lvdisplay</pre>
<pre> --- Logical volume ---
LV Name /dev/mysql/data
VG Name mysql
LV UUID ZIMxmO-kUQR-u4gD-Wk9m-0MCK-kqwx-1kMaVP
LV Write Access read/write
LV snapshot status source of
/dev/mysql/sql_backup [active]
LV Status available
# open 1
LV Size 1.00 GiB
Current LE 256
Segments 1
Allocation inherit
Read ahead sectors auto
- currently set to 256
Block device 252:1

--- Logical volume ---
LV Name /dev/mysql/sql_backup
VG Name mysql
LV UUID XMqxEq-yRhp-u8lf-mZ9U-1R2F-fBlf-5hoEeR
LV Write Access read/write
LV snapshot status active destination for /dev/mysql/data
LV Status available
# open 0
LV Size 1.00 GiB
Current LE 256
COW-table size 1.00 GiB
COW-table LE 256
Allocated to snapshot 0.02%
Snapshot chunk size 4.00 KiB
Segments 1
Allocation inherit
Read ahead sectors auto
- currently set to 256
Block device 252:3
</pre>

'''Kuna tõmmis kasvab koos originaalkettajaoga on tähtis jälgida, et tõmmis protsentuaalselt täis ei saaks. Regulaarselt tuleb mahtuvust kontrollida lvs käsuga. 100% täitunud tõmmisele ei saa enam juurde kirjutada ning sellega andmeterviklikkus rikutakse ära!'''

<pre>lvs</pre>
<pre> LV VG Attr LSize Origin Snap% Move Log Copy% Convert
data mysql owi-ao 1.00g
sql_backup mysql swi-a- 1.00g data 0.02
</pre>

Kogu protseduuri automatiseerimiseks on võimalik koostada ka skript, mida saab käivitada sobival aja või kasutades „cron“ ajastamise vahendeid.

Lisaks on võimalik mysql-i data kaust haakida ümber snapshoti kettajaole ja taastada server sellesse seisu, mis oli snapshoti tegemise hetkel minimaalse katkestuse ajaga.

==Kokkuvõte==

LVM -i kasutamine varundamisel on väikestes ja mittekriitilistes süsteemides küllaltki hea lahendus. See ei nõua eriteadmisi ja kallist riistvara/tarkvara. Kuid suurematesse ja keerukamatesse lahendustesse see ei sobi, kuna see ainult aitab luua snapshoti hetke seisust aga ei paku võimalust seda eraldi salvestada. Arhiveerimiseks tuleb kasutada eraldi vahendeid ja selle protseduuri käigus võib minna kaduma vajalikke andmeid. Ka ei võistle LVM proffessionaalsete vahenditega nagu Arkeia (http://www.arkeia.com/) või BrightStor, mis on just varundamise lahenduste jaoks loodud ja muudavad antud tegemise mugavaks ja kiireks.

==Kasutatud kirjandus==
http://kuutorvaja.eenet.ee/wiki/LVM 
http://www.web-manual.net/linux-3/logical-volume-manager-in-linux/ 
http://www.lullabot.com/articles/mysql-backups-using-lvm-snapshots 
http://www.ubuntugeek.com/how-to-change-the-mysql-data-default-directory.html 
https://wiki.ubuntu.com/Lvm 
http://linuxconfig.org/Linux_lvm_-_Logical_Volume_Manager 
Loodus, Katrin. Andmesalvestustehnoloogiad - loeng 4.1 Ülevaade Logical Volume Manager-ist [https://wiki.itcollege.ee/index.php/Category:Andmesalvestustehnoloogiad]

"7 Linux fdisk Command Examples to Manage Hard Disk Partition" [http://www.thegeekstuff.com/2010/09/linux-fdisk/]

"LVM" [https://wiki.ubuntu.com/Lvm]

==Autor==
Madis Lauri
AK 31
[[Category:Operatsioonisüsteemide administreerimine ja sidumine]]

'''Täiendamine:'''

Carolys Kallas A32

Aine: Linuxi administreerimine

Muutmine lõpetatud: XX.01.2013

Mysql varundamine LVM abil

2013-01-13T19:51:43Z

Ckallas: /* Autor */

__TOC__
==Sissejuhatus==

Antud kirjatüki eesmärgiks on tutvustada Logical Volume Manageri kui abivahendit toimivast süsteemist tagavarakoopiate tegemisel. Kuigi failisüsteemi snapshotide tegemine ja nende kasutamine on ainult üks LVM-i pakutavatest võimalustest. LVM - i snapshotide tegemise võimalus pole ainult mysql -i varundamiseks, vaid kasutatav ka muude andmete varukoopiate tegemiseks. Antud juhul on MySQL siin ainult „reisija“ aga protsessi selgitamiseks ja LVM snapshoti kasutamiseks on MySQL näitena väga hea. Kogu seadistamise protsess toimub Ubuntu Linux Server 12.04.1 LTS operatsioonisüsteemis ja kasutab sellega kaasnevaid vahendeid.

==Mis on mis?==
'''Logical Volume Manager''' - LVM

'''Physical Volume''' - PV, plokkseade, füüsiline kettajagu

'''Volume Group''' - VG, kettagrupp

'''Logical Volume''' - LV, loogiline kettajagu

'''Snapshot''' - (hetk)tõmmis

===LVM===
LVM ehk „Logical Volume Manager“ on ketta partitsioonide haldusvahend Linuxi ja UNIX-i laadsete operatsioonisüsteemide juures. LVM moodustab vahekihi failisüsteemi ja füüsilise kõvaketta vahele. Esmapilgul võib tunduda, et LVM on sarnane RAID (Redundant Array of Independent Disks) kettamassiiviga, on ta siiski hoopis paindlikum viis kettajagudega toimetamiseks. RAID võimaldab kettaid omavahel liita, et saada paremaid tulemusi kiiruses, mahus või töökindluses. LVM seevastu võimaldab korraga hallata mitut (ka loogilist) kettajagu, neid vastavalt vajadusele ümber tõsta ja mahtu muuta. Seega on tihti hea mõte neid kahte hoopis koos kasutada (näiteks RAID 10 ja LVM).
Lihtsustatult oleks ettekujutus eri kihtide tasemetest selline:
* Failisüsteemid
* LVM
* RAID (vajadusel)
* füüsilised plokkmäluseadmed (kõvakettad)

===Omadused===
LVM pakutavad võimalused on:
* Failisüsteemi suuruse muutmine
* Failisüsteemi snapshotide tegemine ja kasutamine (nii read-only kui ka read-write)
* Loodud/muudetud partitsioonide kohene kasutamine, kui ketas/partitsioon on mingil moel kasutusel. Fdisk-i kasutamisel tuleb OP-süsteem taaskäivitada.
* Väiksemate füüsiliste plokkseadmete kokku ühendamine, üheks suureks loogiliseks seadmeks. (Nagu RAID)
* Ketaste liigutamine ja ühendamine üle võrgu

Lisainfot LVM-i kohta: http://en.wikipedia.org/wiki/Logical_Volume_Manager_(Linux)

===MySQL===
MySQL on Oracle Corporation poolt hallatav relatsioonilise andmebaasi haldamise süsteem. On äärmiselt populaarne andmebaasisüsteem erinevates veebirakendustes aga ka mõningates suuremates süsteemides. Oma populaarsuse on ta saanud tänu äärmiselt lihtsale hallatavusele ja kasutajasõbralikkusele. Hetkel ei hakka MySQL-i omadustel ja võimalustel pikemalt peatuma. Rohkem informatsiooni leiab: http://www.mysql.com/

==Eeldused==
*Installeeritud Ubuntu Server (vähemalt 12.04 versioon)
*Tutvutud kettajagudega (kiire kordamine näiteks '''[[Osadmin spikker]]''')

'''Viia kõik käsklused läbi sudo kasutaja alt'''
sudo -i

===Ketaste lisamine===
Kõigepealt on vaja lisada serverile kõvaketas, mida hiljem LVM-iga siduma hakata.

[[File:Create_hard_disk.PNG‎|500px]]

Luua uus 4GB ketas, mis on VirtualBox Disk Image (VDI) formaadis ning dünaamiliselt jagatud.

===Vajaliku tarkvara installeerimine===

Et LVM-i ja MySQL-i seadistada on vajalikud teadmised, kuidas toimub Linuxis ketaste ja partitisoonide haldamine ja baasteadmised MySQL-ist.
Kõigepealt on vajalik installeerida lvm2 nimeline pakett, eelnevalt uuendada tarkvaravaramu nimekirja.
<pre>apt-get update
apt-get install lvm2</pre>
Olenevalt operatsioonisüsteemist võib olla vajalikud paketid juba installeeritud, kontrollida saab nii:
<pre>lvm version</pre>

Lisaks on vajalik installeerida MySQL server ja klientprogramm serveriga ühendumiseks.
<pre>apt-get install mysql-server</pre>
NB! Kuna LVM-i kasutuselevõtmine vajab mõningast MySQL-i ümberseadistamist, tuleb arvestada asjaoluga, et MySQL-i data kausta ümbertõstmisel ei pruugi olemasolevad andmed säilida (InnoDB) ja vajalik oleks serveris olevatest andmetest enne .sql kujul tagavarakoopia teha.

==LVM -i seadistamine==

[[File:LVM.jpg|thumb |alt=LVM alt text |LVM]]

LVM ise jaguneb kolmeks eri kihiks: plokkseadmed (PV), kettagrupid (VG), millesse on organiseeritud füüsilised plokkseadmed ja loogilised kettajaod, mis on jagatud kettagrupid.
Iga kihiga toimetamisel on oma käsud, mis viitavad sellele, mis kihiga hetkel toimetatakse: pv*, vg* ning lv*. Näiteks pvcreate, vgcreate ja lvcreate.

Esimese asjana tuleb valida ketas/kettajagu, kus LVM-iga toimetama hakata. Uue ketta puhul oleks võimalusel mõtekas luua üks tervet ketast hõlmav partitsioon.

Operatsioonisüsteem tunnistab näites kasutatavat uut ketast kui /dev/sdb ja seega on näites kasutatavad ketta nimed/asukohad just sellised.

Kõikide olemasolevate partitsioonide kuvamine:
<pre>fdisk -l</pre>

(Kindla partitsiooni vaatamiseks lisada käsu lõppu see partitsioon:)
<pre>fdisk -l /dev/sda</pre>

<pre>fdisk -l 2> /dev/null | grep Disk</pre>
<pre> Disk /dev/sda: 8589 MB, 8589934592 bytes
Disk identifier: 0x000bd8b1
Disk /dev/sdb: 4294 MB, 4294967296 bytes
Disk identifier: 0x11844f48</pre>

===Füüsilise ketta väärtuse muutmine===
Avada fdiskiga uue loodud ketta partitsioon ning luua uus primaarne kettajagu:

<pre>fdisk /dev/sdb
Command (m for help): n

Partition type:
p primary (0 primary, 0 extended, 4 free)
e extended

Select (default p): p

Partition number (1-4, default 1): 1

First sector (2048-8388607, default 2048):
Using default value 2048

Last sector, +sectors or +size{K,M,G} (2048-8388607, default 8388607):
Using default value 8388607</pre>

Print käskluse abil kuvatakse kettajagu, algus, lõpp, blokid, id ning süsteem. Loodud partitsioon on 83 ehk Linux. Partitsiooni süsteemse id muutmiseks kasutatakse '''t'''.

Käsklus '''L''' kuvab kõik kaheksandikkoodid . Linux LVM kood on 8e, et muuta kettajagu Linux LVM-iks on vaja muuta kettajao id 83-lt 8e-ks.
[[file:8e.PNG|500px]]

<pre>
Command (m for help): t
Selected partition 1

Hex code (type L to list codes): 8e
Changed system type of partition 1 to 8e (Linux LVM)

Command (m for help): w
The partition table has been altered!

Calling ioctl() to re-read partition table.
Syncing disks.</pre>

'''NB mitte väljuda q, mis väljub programmist muudatusi salvestamata!'''

===Füüsiline kettajagu===
Järgnevalt anname lvm-ile teada, et loodud partitsioon (/dev/sdb1) on „pv“ ehk physical volume.

<pre>pvcreate /dev/sdb1</pre>

Kui kõik läks hästi siis display käsk peaks kuvama sellise tulemuse:
<pre>pvdisplay</pre>
<pre>"/dev/sdb1" is a new physical volume of "4.00 GiB"
--- NEW Physical volume ---
PV Name /dev/sdb1
VG Name
PV Size 4.00 GiB
Allocatable NO
PE Size 0
Total PE 0
Free PE 0
Allocated PE 0
PV UUID EdmaX9-bXmQ-Oevp-p9W9-I2qY-gpMM-1w77aQ</pre>

===Kettagrupp===
Loome uue „volume group“ -i ja nimetame selle mysql -iks.

<pre>vgcreate mysql /dev/sdb1</pre>

Display käsu tulemus peaks olema sarnane:
<pre>vgdisplay</pre>
<pre> --- Volume group ---
VG Name mysql
System ID
Format lvm2
Metadata Areas 1
Metadata Sequence No 4
VG Access read/write
VG Status resizable
MAX LV 0
Cur LV 2
Open LV 2
Max PV 0
Cur PV 1
Act PV 1
VG Size 4.00 GiB
PE Size 4.00 MiB
Total PE 1023
Alloc PE / Size 512 / 2.00 GiB
Free PE / Size 511 / 2.00 GiB
VG UUID s5AjT8-ss7D-Gm9m-XY6j-ULMv-RLbR-xdy0K6</pre>

Järgnevalt saame luua „volume group“ -ile „logical volumes“ ehk loogilised kettajaod. Need on justkui partitsioonid füüsilisel kõvakettal ja neid saab juba andmete talletamiseks kasutada. Nimetame kettajao nimega data ja määrame tema suuruseks 1GB (antud suurus sobib väga hästi katsetamiseks aga reaalsetes süsteemides tuleb muidugi oluliselt suuremaid numbreid kasutada. ). Suuruse seadistamisel tuleb arvestada, et sama „volume group“ peale tuleb mahutada veel vähemalt üks sama suur loogiline kettajagu, mis on loodava LV snapshot. Näide kui VG suurus on kokku 10GB siis on võimalik teha maksimaalselt 5GB suurune loogiline kettajagu. Vastasel ei mahu tema kõrvale, samale VG-le tehtud LV snapshot.

===Loogiline kettajagu===
Data nimelise 1GB loogilise kettajao loomine:
<pre>lvcreate -n data -L 1GB mysql</pre>

Kontrollime tulemust:
<pre>lvdisplay</pre>
<pre> --- Logical volume ---
LV Name /dev/mysql/data
VG Name mysql
LV UUID SL0yWI-Mc2b-KhkE-V8P1-bW7E-3iL8-8zD6Uf
LV Write Access read/write
LV Status available
# open 0
LV Size 1.00 GiB
Current LE 256
Segments 1
Allocation inherit
Read ahead sectors auto
- currently set to 256
Block device 252:0</pre>

Teadmiseks: lvdisplay käsu käivitamisel on näha parameeter „LV Status“. See näitab, kas kettajagu on saadaval või mitte. Kasutada on võimalik ainult available olekus kettajagu. Eemaldada saab ainult NOT available olekus kettajagusid. Kettajao NOT available olekusse viimiseks saab kasutada käsku:

<pre>lvchange -a n /dev/mysql/data</pre>
ja tagasi:
<pre>lvchange -a y /dev/mysql/data</pre>

===Failisüsteemi loomine ja ühendamine===
Nüüd on loodud uus kettajagu, mida saab andmete säiltamiseks kasutada. Loome sellele kettajaole failisüsteemi:
<pre>mkfs -t ext4 /dev/mysql/data</pre>

Järgmisena tuleb loodud kettajagu kuhugile mountida. Mina teen sellejaoks /srv/mysql kausta ja haagin ketta sinna.

<pre>mkdir /srv/mysql
mount /dev/mysql/data /srv/mysql</pre>

Lisame '''/etc/fstab''' faili lõppu kirje, et ka järgmisel süsteemi käivitamisel oleks ketas kohe külgehaagitud

<pre>
<file system> <mount point> <type> <options> <dump> <pass>
/dev/mysql/data /srv/mysql ext4 defaults 0 0</pre>

==MySQL seadistamine==
Muudame kausta õigused mysql-ile sobivaks (kausta omanik on kasutaja mysql ja kaustale on ligipääs ainult kausta omanikul)
<pre>chown mysql:mysql /srv/mysql
chmod 0700 /srv/mysql</pre>

Nüüd tuleb olemasolev mysql data kaust liigutada /srv/mysql kausta. Esimese asjana peatada mysql server
<pre>service mysql stop</pre>

Kopeerime (!) kogu mysql-i data kausta loodud lvm kettajaole. Ubuntus (ilmselt ka paljudes teistes operatsioonisüsteemides) asub mysq-i data kaust /var/lib/mysql. Oleks vägagi soovitatav jätta andmed vanasse kausta alles ja kustuta see alles siis kui ollakse täiesti kindel, et server töötab tõrgeteta.
<pre>cp -ar /var/lib/mysql/. /srv/mysql</pre>

Seejärel tuleb mysql-i konfiguratsioonifailis ('''/etc/mysql/my.cnf''') muuta ära „datadir“ parameeter
<pre>datadir = /var/lib/mysql -> datadir = /srv/mysql</pre>

Teadmiseks: alates Ubuntu 7.10 -st on operatsioonisüsteemiga kaasas programm nimega „AppArmor“ (Loe lähemalt: https://wiki.itcollege.ee/index.php/AppArmor). Tegemist on kerneli turvamooduliga, mis teatavate programmide puhul piirab nende ligipääsu failisüsteemile. Et MySQL server uuesti korrektselt käivituks, tuleb „AppArmor“ -is mysq-i seadistust muuta. Sobiva tekstieditoriga tuleb avada ''''/etc/apparmor.d/usr.sbin.mysqld''' konfifail ja teha seal vajalikud muudatused :
<pre>/var/lib/mysql/ r, -> /srv/mysql r,
/var/lib/mysql/** rwk, -> /srv/mysql** rwk,</pre>

Seejärel on vaja teha AppArmorile restart
<pre>service apparmor restart</pre>

Osadel operatsioonisüsteemidel võib ka init skript ette anda, kus asub mysql-i datadir. Seega oleks mõistlik ka see '''/etc/init.d/mysql''' skriptist üle vaadata.

Käivitame uuesti mysql-i serveri:

<pre>service mysql start</pre>

Kontrollime mysql-i muutujaid:
<pre>mysqladmin -u [mysql-kasutaja] -p variables | grep datadir</pre>
<pre>Enter password: [mysql-parool]
| datadir | /srv/mysql/
</pre>
Lisaks tuleks sobiva mysql kliendiga serverisse sisse logida ja kontrollida üle, kas kõik jäi korrektselt tööle.

Nüüd, kui MySQL server on korrektselt tööle hakanud ja tekib vajadus varukoopiate tegemiseks. Töötavast serverist snapshoti tegemisel pole vajalik eelnev serveri väljalülitamine. Snapshoti tegemise protsess on äärmiselt kiire ja andmete lugemine andmebaasist toimib endiselt edasi. Samas andmete kirjutamise protsess viibib seni kuni andmebaasilt kirjutamise lukk maha võetakse (kõik kirjutamise käsud täidetakse kohe peale luku vabastamist).
Ehkki varukoopia tegemise protsess ei tekita katkestusi serveri töös, oleks hea mõte teha varukoopiaid sellisel ajal kui serveril on kõige väiksem koormus.
On vajalik teada, et andmebaas lukustatakse ainult selleks ajaks, kui mysql serverisse on sisse logitud. Kohe kui sessioon lõpetatakse, vabastatakse ka lukud. Seetõttu peab snaspshoti tegemise ajal olema serverisse sisse logitud. Variant on kasutada kahte terminali sessiooni aga vajalikke käske saab käivitada ka MySQL-i käsurealt (vajalik on mysql-i klient käivitada root kasutaja õigustes).
<pre>mysql -u [root] -p
Enter password:</pre>

Protseduuri ajaks on vajalik keelata ära andmete kirjutamine:
<pre>mysql> FLUSH TABLES WITH READ LOCK;</pre>
<pre>Query OK, 0 rows affected (0.00 sec)</pre>
Lisaks võiks tühjendada ka logid:
<pre>mysql> FLUSH LOGS;</pre>
<pre>Query OK, 0 rows affected (0.00 sec)</pre>

==Tõmmise tegemine==
/sbin on standardne juurkataloogi alamkataloog Linuxis ja teistes Unix-taolistes operatsioonisüsteemides, mis sisaldab käivitamisvõimelisi programme.

<pre>mysql> SYSTEM /sbin/lvcreate -L 1G --snapshot -n sql_backup /dev/mysql/data</pre>
<pre>File descriptor 3 (socket:[15065]) leaked on lvcreate invocation. Parent PID 3514: sh
Logical volume "sql_backup" created</pre>

Tabelite lukust vabastamine.
<pre>mysql> UNLOCK TABLES;</pre>
<pre>Query OK, 0 rows affected (0.01 sec)</pre>

<pre>mysql> exit
Bye
</pre>
Snapshoti kettajagu nimetati kui sql_backup ja viide loogilisele seadmele asub /dev/mysql/sql_backup. Käivitades käsu „lvs“, saab näha, et lisaks mysql/data LV-le on juurde tekkinud mysql/sql_backup
<pre>lvs</pre>
<pre>LV VG Attr LSize Origin Snap% Move Log Copy% Convert
data mysql owi-ao 1.00g
sql_backup mysql swi-a- 1.00g data 0.00
</pre>
Kui nüüd haakida tehtud snapshoti kettajagu, on seal kättesaadav kogu mysql-i data sellel hetkel, kui snapshot tehti.
<pre>mkdir /mnt/bk
mount /dev/mysql/sql_backup /mnt/bk
ls -la /mnt/bk</pre>
<pre>total 28720
drwx------ 8 mysql mysql 4096 Dec 12 15:59 .
drwxr-xr-x 3 root root 4096 Dec 12 16:34 ..
-rw-r--r-- 1 root root 0 Nov 30 17:18 debian-5.5.flag
-rw-rw---- 1 mysql mysql 18874368 Dec 12 16:18 ibdata1
-rw-rw---- 1 mysql mysql 5242880 Dec 12 16:18 ib_logfile0
-rw-rw---- 1 mysql mysql 5242880 Nov 30 17:18 ib_logfile1
drwx------ 2 root root 16384 Dec 12 15:58 lost+found
drwx------ 2 mysql root 4096 Nov 30 17:18 mysql
-rw-rw---- 1 root root 6 Nov 30 17:18 mysql_upgrade_info
drwx------ 2 mysql mysql 4096 Nov 30 17:18 performance_schema
drwx------ 2 mysql mysql 4096 Nov 30 17:28 phpmyadmin
drwx------ 2 mysql root 4096 Dec 12 16:18 test
drwx------ 2 mysql mysql 4096 Nov 30 17:33 wp
</pre>
MySQL-i server töötab peale snapshoti tegemist katkestusteta edasi. Tehtud snapshoti andmeid võib varundada arhiivi jaoks. Andmete varundamisel tuleb spashoti kettajagu failisüsteemi külge haakida ja selle sisu „tar“-i abil arhiveerida ja hiljem eemaldada snapshoti kettajagu

<pre>mkdir -p /var/teekond/arhiivi
tar -cjf [/var/teekond/arhiivi/][kuupäev].tar.bz2 -C /mnt/bk
umount /dev/mysql/sql_backup
lvremove /dev/mysql/sql_backup
Do you really want to remove active logical volume sql_backup? [y/n]: Y
Logical volume "sql_backup" successfully removed
</pre>

Tulemuseks nüüd loogilise kettajao vaatamisele on:
<pre>lvdisplay</pre>
<pre> --- Logical volume ---
LV Name /dev/mysql/data
VG Name mysql
LV UUID ZIMxmO-kUQR-u4gD-Wk9m-0MCK-kqwx-1kMaVP
LV Write Access read/write
LV snapshot status source of
/dev/mysql/sql_backup [active]
LV Status available
# open 1
LV Size 1.00 GiB
Current LE 256
Segments 1
Allocation inherit
Read ahead sectors auto
- currently set to 256
Block device 252:1

--- Logical volume ---
LV Name /dev/mysql/sql_backup
VG Name mysql
LV UUID XMqxEq-yRhp-u8lf-mZ9U-1R2F-fBlf-5hoEeR
LV Write Access read/write
LV snapshot status active destination for /dev/mysql/data
LV Status available
# open 0
LV Size 1.00 GiB
Current LE 256
COW-table size 1.00 GiB
COW-table LE 256
Allocated to snapshot 0.02%
Snapshot chunk size 4.00 KiB
Segments 1
Allocation inherit
Read ahead sectors auto
- currently set to 256
Block device 252:3
</pre>

'''Kuna tõmmis kasvab koos originaalkettajaoga on tähtis jälgida, et tõmmis protsentuaalselt täis ei saaks. Regulaarselt tuleb mahtuvust kontrollida lvs käsuga. 100% täitunud tõmmisele ei saa enam juurde kirjutada ning sellega andmeterviklikkus rikutakse ära!'''

<pre>lvs</pre>
<pre> LV VG Attr LSize Origin Snap% Move Log Copy% Convert
data mysql owi-ao 1.00g
sql_backup mysql swi-a- 1.00g data 0.02
</pre>

Kogu protseduuri automatiseerimiseks on võimalik koostada ka skript, mida saab käivitada sobival aja või kasutades „cron“ ajastamise vahendeid.

Lisaks on võimalik mysql-i data kaust haakida ümber snapshoti kettajaole ja taastada server sellesse seisu, mis oli snapshoti tegemise hetkel minimaalse katkestuse ajaga.

==Kokkuvõte==

LVM -i kasutamine varundamisel on väikestes ja mittekriitilistes süsteemides küllaltki hea lahendus. See ei nõua eriteadmisi ja kallist riistvara/tarkvara. Kuid suurematesse ja keerukamatesse lahendustesse see ei sobi, kuna see ainult aitab luua snapshoti hetke seisust aga ei paku võimalust seda eraldi salvestada. Arhiveerimiseks tuleb kasutada eraldi vahendeid ja selle protseduuri käigus võib minna kaduma vajalikke andmeid. Ka ei võistle LVM proffessionaalsete vahenditega nagu Arkeia (http://www.arkeia.com/) või BrightStor, mis on just varundamise lahenduste jaoks loodud ja muudavad antud tegemise mugavaks ja kiireks.

==Kasutatud kirjandus==
http://kuutorvaja.eenet.ee/wiki/LVM 
http://www.web-manual.net/linux-3/logical-volume-manager-in-linux/ 
http://www.lullabot.com/articles/mysql-backups-using-lvm-snapshots 
http://www.ubuntugeek.com/how-to-change-the-mysql-data-default-directory.html 
https://wiki.ubuntu.com/Lvm 
http://linuxconfig.org/Linux_lvm_-_Logical_Volume_Manager 
Loodus, Katrin. Andmesalvestustehnoloogiad - loeng 4.1 Ülevaade Logical Volume Manager-ist [https://wiki.itcollege.ee/index.php/Category:Andmesalvestustehnoloogiad]

"7 Linux fdisk Command Examples to Manage Hard Disk Partition" [http://www.thegeekstuff.com/2010/09/linux-fdisk/]

"LVM" [https://wiki.ubuntu.com/Lvm]

==Autor==
Madis Lauri
AK 31
[[Category:Operatsioonisüsteemide administreerimine ja sidumine]]

'''Täiendamine:'''

Carolys Kallas A32

Aine: Linuxi administreerimine

Muutmine lõpetatud: XX.01.2013

Mysql varundamine LVM abil

2013-01-13T19:48:11Z

Ckallas: /* Tõmmise tegemine */

__TOC__
==Sissejuhatus==

Antud kirjatüki eesmärgiks on tutvustada Logical Volume Manageri kui abivahendit toimivast süsteemist tagavarakoopiate tegemisel. Kuigi failisüsteemi snapshotide tegemine ja nende kasutamine on ainult üks LVM-i pakutavatest võimalustest. LVM - i snapshotide tegemise võimalus pole ainult mysql -i varundamiseks, vaid kasutatav ka muude andmete varukoopiate tegemiseks. Antud juhul on MySQL siin ainult „reisija“ aga protsessi selgitamiseks ja LVM snapshoti kasutamiseks on MySQL näitena väga hea. Kogu seadistamise protsess toimub Ubuntu Linux Server 12.04.1 LTS operatsioonisüsteemis ja kasutab sellega kaasnevaid vahendeid.

==Mis on mis?==
'''Logical Volume Manager''' - LVM

'''Physical Volume''' - PV, plokkseade, füüsiline kettajagu

'''Volume Group''' - VG, kettagrupp

'''Logical Volume''' - LV, loogiline kettajagu

'''Snapshot''' - (hetk)tõmmis

===LVM===
LVM ehk „Logical Volume Manager“ on ketta partitsioonide haldusvahend Linuxi ja UNIX-i laadsete operatsioonisüsteemide juures. LVM moodustab vahekihi failisüsteemi ja füüsilise kõvaketta vahele. Esmapilgul võib tunduda, et LVM on sarnane RAID (Redundant Array of Independent Disks) kettamassiiviga, on ta siiski hoopis paindlikum viis kettajagudega toimetamiseks. RAID võimaldab kettaid omavahel liita, et saada paremaid tulemusi kiiruses, mahus või töökindluses. LVM seevastu võimaldab korraga hallata mitut (ka loogilist) kettajagu, neid vastavalt vajadusele ümber tõsta ja mahtu muuta. Seega on tihti hea mõte neid kahte hoopis koos kasutada (näiteks RAID 10 ja LVM).
Lihtsustatult oleks ettekujutus eri kihtide tasemetest selline:
* Failisüsteemid
* LVM
* RAID (vajadusel)
* füüsilised plokkmäluseadmed (kõvakettad)

===Omadused===
LVM pakutavad võimalused on:
* Failisüsteemi suuruse muutmine
* Failisüsteemi snapshotide tegemine ja kasutamine (nii read-only kui ka read-write)
* Loodud/muudetud partitsioonide kohene kasutamine, kui ketas/partitsioon on mingil moel kasutusel. Fdisk-i kasutamisel tuleb OP-süsteem taaskäivitada.
* Väiksemate füüsiliste plokkseadmete kokku ühendamine, üheks suureks loogiliseks seadmeks. (Nagu RAID)
* Ketaste liigutamine ja ühendamine üle võrgu

Lisainfot LVM-i kohta: http://en.wikipedia.org/wiki/Logical_Volume_Manager_(Linux)

===MySQL===
MySQL on Oracle Corporation poolt hallatav relatsioonilise andmebaasi haldamise süsteem. On äärmiselt populaarne andmebaasisüsteem erinevates veebirakendustes aga ka mõningates suuremates süsteemides. Oma populaarsuse on ta saanud tänu äärmiselt lihtsale hallatavusele ja kasutajasõbralikkusele. Hetkel ei hakka MySQL-i omadustel ja võimalustel pikemalt peatuma. Rohkem informatsiooni leiab: http://www.mysql.com/

==Eeldused==
*Installeeritud Ubuntu Server (vähemalt 12.04 versioon)
*Tutvutud kettajagudega (kiire kordamine näiteks '''[[Osadmin spikker]]''')

'''Viia kõik käsklused läbi sudo kasutaja alt'''
sudo -i

===Ketaste lisamine===
Kõigepealt on vaja lisada serverile kõvaketas, mida hiljem LVM-iga siduma hakata.

[[File:Create_hard_disk.PNG‎|500px]]

Luua uus 4GB ketas, mis on VirtualBox Disk Image (VDI) formaadis ning dünaamiliselt jagatud.

===Vajaliku tarkvara installeerimine===

Et LVM-i ja MySQL-i seadistada on vajalikud teadmised, kuidas toimub Linuxis ketaste ja partitisoonide haldamine ja baasteadmised MySQL-ist.
Kõigepealt on vajalik installeerida lvm2 nimeline pakett, eelnevalt uuendada tarkvaravaramu nimekirja.
<pre>apt-get update
apt-get install lvm2</pre>
Olenevalt operatsioonisüsteemist võib olla vajalikud paketid juba installeeritud, kontrollida saab nii:
<pre>lvm version</pre>

Lisaks on vajalik installeerida MySQL server ja klientprogramm serveriga ühendumiseks.
<pre>apt-get install mysql-server</pre>
NB! Kuna LVM-i kasutuselevõtmine vajab mõningast MySQL-i ümberseadistamist, tuleb arvestada asjaoluga, et MySQL-i data kausta ümbertõstmisel ei pruugi olemasolevad andmed säilida (InnoDB) ja vajalik oleks serveris olevatest andmetest enne .sql kujul tagavarakoopia teha.

==LVM -i seadistamine==

[[File:LVM.jpg|thumb |alt=LVM alt text |LVM]]

LVM ise jaguneb kolmeks eri kihiks: plokkseadmed (PV), kettagrupid (VG), millesse on organiseeritud füüsilised plokkseadmed ja loogilised kettajaod, mis on jagatud kettagrupid.
Iga kihiga toimetamisel on oma käsud, mis viitavad sellele, mis kihiga hetkel toimetatakse: pv*, vg* ning lv*. Näiteks pvcreate, vgcreate ja lvcreate.

Esimese asjana tuleb valida ketas/kettajagu, kus LVM-iga toimetama hakata. Uue ketta puhul oleks võimalusel mõtekas luua üks tervet ketast hõlmav partitsioon.

Operatsioonisüsteem tunnistab näites kasutatavat uut ketast kui /dev/sdb ja seega on näites kasutatavad ketta nimed/asukohad just sellised.

Kõikide olemasolevate partitsioonide kuvamine:
<pre>fdisk -l</pre>

(Kindla partitsiooni vaatamiseks lisada käsu lõppu see partitsioon:)
<pre>fdisk -l /dev/sda</pre>

<pre>fdisk -l 2> /dev/null | grep Disk</pre>
<pre> Disk /dev/sda: 8589 MB, 8589934592 bytes
Disk identifier: 0x000bd8b1
Disk /dev/sdb: 4294 MB, 4294967296 bytes
Disk identifier: 0x11844f48</pre>

===Füüsilise ketta väärtuse muutmine===
Avada fdiskiga uue loodud ketta partitsioon ning luua uus primaarne kettajagu:

<pre>fdisk /dev/sdb
Command (m for help): n

Partition type:
p primary (0 primary, 0 extended, 4 free)
e extended

Select (default p): p

Partition number (1-4, default 1): 1

First sector (2048-8388607, default 2048):
Using default value 2048

Last sector, +sectors or +size{K,M,G} (2048-8388607, default 8388607):
Using default value 8388607</pre>

Print käskluse abil kuvatakse kettajagu, algus, lõpp, blokid, id ning süsteem. Loodud partitsioon on 83 ehk Linux. Partitsiooni süsteemse id muutmiseks kasutatakse '''t'''.

Käsklus '''L''' kuvab kõik kaheksandikkoodid . Linux LVM kood on 8e, et muuta kettajagu Linux LVM-iks on vaja muuta kettajao id 83-lt 8e-ks.
[[file:8e.PNG|500px]]

<pre>
Command (m for help): t
Selected partition 1

Hex code (type L to list codes): 8e
Changed system type of partition 1 to 8e (Linux LVM)

Command (m for help): w
The partition table has been altered!

Calling ioctl() to re-read partition table.
Syncing disks.</pre>

'''NB mitte väljuda q, mis väljub programmist muudatusi salvestamata!'''

===Füüsiline kettajagu===
Järgnevalt anname lvm-ile teada, et loodud partitsioon (/dev/sdb1) on „pv“ ehk physical volume.

<pre>pvcreate /dev/sdb1</pre>

Kui kõik läks hästi siis display käsk peaks kuvama sellise tulemuse:
<pre>pvdisplay</pre>
<pre>"/dev/sdb1" is a new physical volume of "4.00 GiB"
--- NEW Physical volume ---
PV Name /dev/sdb1
VG Name
PV Size 4.00 GiB
Allocatable NO
PE Size 0
Total PE 0
Free PE 0
Allocated PE 0
PV UUID EdmaX9-bXmQ-Oevp-p9W9-I2qY-gpMM-1w77aQ</pre>

===Kettagrupp===
Loome uue „volume group“ -i ja nimetame selle mysql -iks.

<pre>vgcreate mysql /dev/sdb1</pre>

Display käsu tulemus peaks olema sarnane:
<pre>vgdisplay</pre>
<pre> --- Volume group ---
VG Name mysql
System ID
Format lvm2
Metadata Areas 1
Metadata Sequence No 4
VG Access read/write
VG Status resizable
MAX LV 0
Cur LV 2
Open LV 2
Max PV 0
Cur PV 1
Act PV 1
VG Size 4.00 GiB
PE Size 4.00 MiB
Total PE 1023
Alloc PE / Size 512 / 2.00 GiB
Free PE / Size 511 / 2.00 GiB
VG UUID s5AjT8-ss7D-Gm9m-XY6j-ULMv-RLbR-xdy0K6</pre>

Järgnevalt saame luua „volume group“ -ile „logical volumes“ ehk loogilised kettajaod. Need on justkui partitsioonid füüsilisel kõvakettal ja neid saab juba andmete talletamiseks kasutada. Nimetame kettajao nimega data ja määrame tema suuruseks 1GB (antud suurus sobib väga hästi katsetamiseks aga reaalsetes süsteemides tuleb muidugi oluliselt suuremaid numbreid kasutada. ). Suuruse seadistamisel tuleb arvestada, et sama „volume group“ peale tuleb mahutada veel vähemalt üks sama suur loogiline kettajagu, mis on loodava LV snapshot. Näide kui VG suurus on kokku 10GB siis on võimalik teha maksimaalselt 5GB suurune loogiline kettajagu. Vastasel ei mahu tema kõrvale, samale VG-le tehtud LV snapshot.

===Loogiline kettajagu===
Data nimelise 1GB loogilise kettajao loomine:
<pre>lvcreate -n data -L 1GB mysql</pre>

Kontrollime tulemust:
<pre>lvdisplay</pre>
<pre> --- Logical volume ---
LV Name /dev/mysql/data
VG Name mysql
LV UUID SL0yWI-Mc2b-KhkE-V8P1-bW7E-3iL8-8zD6Uf
LV Write Access read/write
LV Status available
# open 0
LV Size 1.00 GiB
Current LE 256
Segments 1
Allocation inherit
Read ahead sectors auto
- currently set to 256
Block device 252:0</pre>

Teadmiseks: lvdisplay käsu käivitamisel on näha parameeter „LV Status“. See näitab, kas kettajagu on saadaval või mitte. Kasutada on võimalik ainult available olekus kettajagu. Eemaldada saab ainult NOT available olekus kettajagusid. Kettajao NOT available olekusse viimiseks saab kasutada käsku:

<pre>lvchange -a n /dev/mysql/data</pre>
ja tagasi:
<pre>lvchange -a y /dev/mysql/data</pre>

===Failisüsteemi loomine ja ühendamine===
Nüüd on loodud uus kettajagu, mida saab andmete säiltamiseks kasutada. Loome sellele kettajaole failisüsteemi:
<pre>mkfs -t ext4 /dev/mysql/data</pre>

Järgmisena tuleb loodud kettajagu kuhugile mountida. Mina teen sellejaoks /srv/mysql kausta ja haagin ketta sinna.

<pre>mkdir /srv/mysql
mount /dev/mysql/data /srv/mysql</pre>

Lisame '''/etc/fstab''' faili lõppu kirje, et ka järgmisel süsteemi käivitamisel oleks ketas kohe külgehaagitud

<pre>
<file system> <mount point> <type> <options> <dump> <pass>
/dev/mysql/data /srv/mysql ext4 defaults 0 0</pre>

==MySQL seadistamine==
Muudame kausta õigused mysql-ile sobivaks (kausta omanik on kasutaja mysql ja kaustale on ligipääs ainult kausta omanikul)
<pre>chown mysql:mysql /srv/mysql
chmod 0700 /srv/mysql</pre>

Nüüd tuleb olemasolev mysql data kaust liigutada /srv/mysql kausta. Esimese asjana peatada mysql server
<pre>service mysql stop</pre>

Kopeerime (!) kogu mysql-i data kausta loodud lvm kettajaole. Ubuntus (ilmselt ka paljudes teistes operatsioonisüsteemides) asub mysq-i data kaust /var/lib/mysql. Oleks vägagi soovitatav jätta andmed vanasse kausta alles ja kustuta see alles siis kui ollakse täiesti kindel, et server töötab tõrgeteta.
<pre>cp -ar /var/lib/mysql/. /srv/mysql</pre>

Seejärel tuleb mysql-i konfiguratsioonifailis ('''/etc/mysql/my.cnf''') muuta ära „datadir“ parameeter
<pre>datadir = /var/lib/mysql -> datadir = /srv/mysql</pre>

Teadmiseks: alates Ubuntu 7.10 -st on operatsioonisüsteemiga kaasas programm nimega „AppArmor“ (Loe lähemalt: https://wiki.itcollege.ee/index.php/AppArmor). Tegemist on kerneli turvamooduliga, mis teatavate programmide puhul piirab nende ligipääsu failisüsteemile. Et MySQL server uuesti korrektselt käivituks, tuleb „AppArmor“ -is mysq-i seadistust muuta. Sobiva tekstieditoriga tuleb avada ''''/etc/apparmor.d/usr.sbin.mysqld''' konfifail ja teha seal vajalikud muudatused :
<pre>/var/lib/mysql/ r, -> /srv/mysql r,
/var/lib/mysql/** rwk, -> /srv/mysql** rwk,</pre>

Seejärel on vaja teha AppArmorile restart
<pre>service apparmor restart</pre>

Osadel operatsioonisüsteemidel võib ka init skript ette anda, kus asub mysql-i datadir. Seega oleks mõistlik ka see '''/etc/init.d/mysql''' skriptist üle vaadata.

Käivitame uuesti mysql-i serveri:

<pre>service mysql start</pre>

Kontrollime mysql-i muutujaid:
<pre>mysqladmin -u [mysql-kasutaja] -p variables | grep datadir</pre>
<pre>Enter password: [mysql-parool]
| datadir | /srv/mysql/
</pre>
Lisaks tuleks sobiva mysql kliendiga serverisse sisse logida ja kontrollida üle, kas kõik jäi korrektselt tööle.

Nüüd, kui MySQL server on korrektselt tööle hakanud ja tekib vajadus varukoopiate tegemiseks. Töötavast serverist snapshoti tegemisel pole vajalik eelnev serveri väljalülitamine. Snapshoti tegemise protsess on äärmiselt kiire ja andmete lugemine andmebaasist toimib endiselt edasi. Samas andmete kirjutamise protsess viibib seni kuni andmebaasilt kirjutamise lukk maha võetakse (kõik kirjutamise käsud täidetakse kohe peale luku vabastamist).
Ehkki varukoopia tegemise protsess ei tekita katkestusi serveri töös, oleks hea mõte teha varukoopiaid sellisel ajal kui serveril on kõige väiksem koormus.
On vajalik teada, et andmebaas lukustatakse ainult selleks ajaks, kui mysql serverisse on sisse logitud. Kohe kui sessioon lõpetatakse, vabastatakse ka lukud. Seetõttu peab snaspshoti tegemise ajal olema serverisse sisse logitud. Variant on kasutada kahte terminali sessiooni aga vajalikke käske saab käivitada ka MySQL-i käsurealt (vajalik on mysql-i klient käivitada root kasutaja õigustes).
<pre>mysql -u [root] -p
Enter password:</pre>

Protseduuri ajaks on vajalik keelata ära andmete kirjutamine:
<pre>mysql> FLUSH TABLES WITH READ LOCK;</pre>
<pre>Query OK, 0 rows affected (0.00 sec)</pre>
Lisaks võiks tühjendada ka logid:
<pre>mysql> FLUSH LOGS;</pre>
<pre>Query OK, 0 rows affected (0.00 sec)</pre>

==Tõmmise tegemine==
/sbin on standardne juurkataloogi alamkataloog Linuxis ja teistes Unix-taolistes operatsioonisüsteemides, mis sisaldab käivitamisvõimelisi programme.

<pre>mysql> SYSTEM /sbin/lvcreate -L 1G --snapshot -n sql_backup /dev/mysql/data</pre>
<pre>File descriptor 3 (socket:[15065]) leaked on lvcreate invocation. Parent PID 3514: sh
Logical volume "sql_backup" created</pre>

Tabelite lukust vabastamine.
<pre>mysql> UNLOCK TABLES;</pre>
<pre>Query OK, 0 rows affected (0.01 sec)</pre>

<pre>mysql> exit
Bye
</pre>
Snapshoti kettajagu nimetati kui sql_backup ja viide loogilisele seadmele asub /dev/mysql/sql_backup. Käivitades käsu „lvs“, saab näha, et lisaks mysql/data LV-le on juurde tekkinud mysql/sql_backup
<pre>lvs</pre>
<pre>LV VG Attr LSize Origin Snap% Move Log Copy% Convert
data mysql owi-ao 1.00g
sql_backup mysql swi-a- 1.00g data 0.00
</pre>
Kui nüüd haakida tehtud snapshoti kettajagu, on seal kättesaadav kogu mysql-i data sellel hetkel, kui snapshot tehti.
<pre>mkdir /mnt/bk
mount /dev/mysql/sql_backup /mnt/bk
ls -la /mnt/bk</pre>
<pre>total 28720
drwx------ 8 mysql mysql 4096 Dec 12 15:59 .
drwxr-xr-x 3 root root 4096 Dec 12 16:34 ..
-rw-r--r-- 1 root root 0 Nov 30 17:18 debian-5.5.flag
-rw-rw---- 1 mysql mysql 18874368 Dec 12 16:18 ibdata1
-rw-rw---- 1 mysql mysql 5242880 Dec 12 16:18 ib_logfile0
-rw-rw---- 1 mysql mysql 5242880 Nov 30 17:18 ib_logfile1
drwx------ 2 root root 16384 Dec 12 15:58 lost+found
drwx------ 2 mysql root 4096 Nov 30 17:18 mysql
-rw-rw---- 1 root root 6 Nov 30 17:18 mysql_upgrade_info
drwx------ 2 mysql mysql 4096 Nov 30 17:18 performance_schema
drwx------ 2 mysql mysql 4096 Nov 30 17:28 phpmyadmin
drwx------ 2 mysql root 4096 Dec 12 16:18 test
drwx------ 2 mysql mysql 4096 Nov 30 17:33 wp
</pre>
MySQL-i server töötab peale snapshoti tegemist katkestusteta edasi. Tehtud snapshoti andmeid võib varundada arhiivi jaoks. Andmete varundamisel tuleb spashoti kettajagu failisüsteemi külge haakida ja selle sisu „tar“-i abil arhiveerida ja hiljem eemaldada snapshoti kettajagu

<pre>mkdir -p /var/teekond/arhiivi
tar -cjf [/var/teekond/arhiivi/][kuupäev].tar.bz2 -C /mnt/bk
umount /dev/mysql/sql_backup
lvremove /dev/mysql/sql_backup
Do you really want to remove active logical volume sql_backup? [y/n]: Y
Logical volume "sql_backup" successfully removed
</pre>

Tulemuseks nüüd loogilise kettajao vaatamisele on:
<pre>lvdisplay</pre>
<pre> --- Logical volume ---
LV Name /dev/mysql/data
VG Name mysql
LV UUID ZIMxmO-kUQR-u4gD-Wk9m-0MCK-kqwx-1kMaVP
LV Write Access read/write
LV snapshot status source of
/dev/mysql/sql_backup [active]
LV Status available
# open 1
LV Size 1.00 GiB
Current LE 256
Segments 1
Allocation inherit
Read ahead sectors auto
- currently set to 256
Block device 252:1

--- Logical volume ---
LV Name /dev/mysql/sql_backup
VG Name mysql
LV UUID XMqxEq-yRhp-u8lf-mZ9U-1R2F-fBlf-5hoEeR
LV Write Access read/write
LV snapshot status active destination for /dev/mysql/data
LV Status available
# open 0
LV Size 1.00 GiB
Current LE 256
COW-table size 1.00 GiB
COW-table LE 256
Allocated to snapshot 0.02%
Snapshot chunk size 4.00 KiB
Segments 1
Allocation inherit
Read ahead sectors auto
- currently set to 256
Block device 252:3
</pre>

'''Kuna tõmmis kasvab koos originaalkettajaoga on tähtis jälgida, et tõmmis protsentuaalselt täis ei saaks. Regulaarselt tuleb mahtuvust kontrollida lvs käsuga. 100% täitunud tõmmisele ei saa enam juurde kirjutada ning sellega andmeterviklikkus rikutakse ära!'''

<pre>lvs</pre>
<pre> LV VG Attr LSize Origin Snap% Move Log Copy% Convert
data mysql owi-ao 1.00g
sql_backup mysql swi-a- 1.00g data 0.02
</pre>

Kogu protseduuri automatiseerimiseks on võimalik koostada ka skript, mida saab käivitada sobival aja või kasutades „cron“ ajastamise vahendeid.

Lisaks on võimalik mysql-i data kaust haakida ümber snapshoti kettajaole ja taastada server sellesse seisu, mis oli snapshoti tegemise hetkel minimaalse katkestuse ajaga.

==Kokkuvõte==

LVM -i kasutamine varundamisel on väikestes ja mittekriitilistes süsteemides küllaltki hea lahendus. See ei nõua eriteadmisi ja kallist riistvara/tarkvara. Kuid suurematesse ja keerukamatesse lahendustesse see ei sobi, kuna see ainult aitab luua snapshoti hetke seisust aga ei paku võimalust seda eraldi salvestada. Arhiveerimiseks tuleb kasutada eraldi vahendeid ja selle protseduuri käigus võib minna kaduma vajalikke andmeid. Ka ei võistle LVM proffessionaalsete vahenditega nagu Arkeia (http://www.arkeia.com/) või BrightStor, mis on just varundamise lahenduste jaoks loodud ja muudavad antud tegemise mugavaks ja kiireks.

==Kasutatud kirjandus==
http://kuutorvaja.eenet.ee/wiki/LVM 
http://www.web-manual.net/linux-3/logical-volume-manager-in-linux/ 
http://www.lullabot.com/articles/mysql-backups-using-lvm-snapshots 
http://www.ubuntugeek.com/how-to-change-the-mysql-data-default-directory.html 
https://wiki.ubuntu.com/Lvm 
http://linuxconfig.org/Linux_lvm_-_Logical_Volume_Manager 
Loodus, Katrin. Andmesalvestustehnoloogiad - loeng 4.1 Ülevaade Logical Volume Manager-ist [https://wiki.itcollege.ee/index.php/Category:Andmesalvestustehnoloogiad]

"7 Linux fdisk Command Examples to Manage Hard Disk Partition" [http://www.thegeekstuff.com/2010/09/linux-fdisk/]

"LVM" [https://wiki.ubuntu.com/Lvm]

==Autor==
Madis Lauri
AK 31
[[Category:Operatsioonisüsteemide administreerimine ja sidumine]]

'''Täiendamine:'''

Carolys Kallas A32

Aine: Linuxi administreerimine

Viimati muudetud: 13.01.2013

Mysql varundamine LVM abil

2013-01-13T19:47:38Z

Ckallas: /* Tõmmise tegemine */

__TOC__
==Sissejuhatus==

Antud kirjatüki eesmärgiks on tutvustada Logical Volume Manageri kui abivahendit toimivast süsteemist tagavarakoopiate tegemisel. Kuigi failisüsteemi snapshotide tegemine ja nende kasutamine on ainult üks LVM-i pakutavatest võimalustest. LVM - i snapshotide tegemise võimalus pole ainult mysql -i varundamiseks, vaid kasutatav ka muude andmete varukoopiate tegemiseks. Antud juhul on MySQL siin ainult „reisija“ aga protsessi selgitamiseks ja LVM snapshoti kasutamiseks on MySQL näitena väga hea. Kogu seadistamise protsess toimub Ubuntu Linux Server 12.04.1 LTS operatsioonisüsteemis ja kasutab sellega kaasnevaid vahendeid.

==Mis on mis?==
'''Logical Volume Manager''' - LVM

'''Physical Volume''' - PV, plokkseade, füüsiline kettajagu

'''Volume Group''' - VG, kettagrupp

'''Logical Volume''' - LV, loogiline kettajagu

'''Snapshot''' - (hetk)tõmmis

===LVM===
LVM ehk „Logical Volume Manager“ on ketta partitsioonide haldusvahend Linuxi ja UNIX-i laadsete operatsioonisüsteemide juures. LVM moodustab vahekihi failisüsteemi ja füüsilise kõvaketta vahele. Esmapilgul võib tunduda, et LVM on sarnane RAID (Redundant Array of Independent Disks) kettamassiiviga, on ta siiski hoopis paindlikum viis kettajagudega toimetamiseks. RAID võimaldab kettaid omavahel liita, et saada paremaid tulemusi kiiruses, mahus või töökindluses. LVM seevastu võimaldab korraga hallata mitut (ka loogilist) kettajagu, neid vastavalt vajadusele ümber tõsta ja mahtu muuta. Seega on tihti hea mõte neid kahte hoopis koos kasutada (näiteks RAID 10 ja LVM).
Lihtsustatult oleks ettekujutus eri kihtide tasemetest selline:
* Failisüsteemid
* LVM
* RAID (vajadusel)
* füüsilised plokkmäluseadmed (kõvakettad)

===Omadused===
LVM pakutavad võimalused on:
* Failisüsteemi suuruse muutmine
* Failisüsteemi snapshotide tegemine ja kasutamine (nii read-only kui ka read-write)
* Loodud/muudetud partitsioonide kohene kasutamine, kui ketas/partitsioon on mingil moel kasutusel. Fdisk-i kasutamisel tuleb OP-süsteem taaskäivitada.
* Väiksemate füüsiliste plokkseadmete kokku ühendamine, üheks suureks loogiliseks seadmeks. (Nagu RAID)
* Ketaste liigutamine ja ühendamine üle võrgu

Lisainfot LVM-i kohta: http://en.wikipedia.org/wiki/Logical_Volume_Manager_(Linux)

===MySQL===
MySQL on Oracle Corporation poolt hallatav relatsioonilise andmebaasi haldamise süsteem. On äärmiselt populaarne andmebaasisüsteem erinevates veebirakendustes aga ka mõningates suuremates süsteemides. Oma populaarsuse on ta saanud tänu äärmiselt lihtsale hallatavusele ja kasutajasõbralikkusele. Hetkel ei hakka MySQL-i omadustel ja võimalustel pikemalt peatuma. Rohkem informatsiooni leiab: http://www.mysql.com/

==Eeldused==
*Installeeritud Ubuntu Server (vähemalt 12.04 versioon)
*Tutvutud kettajagudega (kiire kordamine näiteks '''[[Osadmin spikker]]''')

'''Viia kõik käsklused läbi sudo kasutaja alt'''
sudo -i

===Ketaste lisamine===
Kõigepealt on vaja lisada serverile kõvaketas, mida hiljem LVM-iga siduma hakata.

[[File:Create_hard_disk.PNG‎|500px]]

Luua uus 4GB ketas, mis on VirtualBox Disk Image (VDI) formaadis ning dünaamiliselt jagatud.

===Vajaliku tarkvara installeerimine===

Et LVM-i ja MySQL-i seadistada on vajalikud teadmised, kuidas toimub Linuxis ketaste ja partitisoonide haldamine ja baasteadmised MySQL-ist.
Kõigepealt on vajalik installeerida lvm2 nimeline pakett, eelnevalt uuendada tarkvaravaramu nimekirja.
<pre>apt-get update
apt-get install lvm2</pre>
Olenevalt operatsioonisüsteemist võib olla vajalikud paketid juba installeeritud, kontrollida saab nii:
<pre>lvm version</pre>

Lisaks on vajalik installeerida MySQL server ja klientprogramm serveriga ühendumiseks.
<pre>apt-get install mysql-server</pre>
NB! Kuna LVM-i kasutuselevõtmine vajab mõningast MySQL-i ümberseadistamist, tuleb arvestada asjaoluga, et MySQL-i data kausta ümbertõstmisel ei pruugi olemasolevad andmed säilida (InnoDB) ja vajalik oleks serveris olevatest andmetest enne .sql kujul tagavarakoopia teha.

==LVM -i seadistamine==

[[File:LVM.jpg|thumb |alt=LVM alt text |LVM]]

LVM ise jaguneb kolmeks eri kihiks: plokkseadmed (PV), kettagrupid (VG), millesse on organiseeritud füüsilised plokkseadmed ja loogilised kettajaod, mis on jagatud kettagrupid.
Iga kihiga toimetamisel on oma käsud, mis viitavad sellele, mis kihiga hetkel toimetatakse: pv*, vg* ning lv*. Näiteks pvcreate, vgcreate ja lvcreate.

Esimese asjana tuleb valida ketas/kettajagu, kus LVM-iga toimetama hakata. Uue ketta puhul oleks võimalusel mõtekas luua üks tervet ketast hõlmav partitsioon.

Operatsioonisüsteem tunnistab näites kasutatavat uut ketast kui /dev/sdb ja seega on näites kasutatavad ketta nimed/asukohad just sellised.

Kõikide olemasolevate partitsioonide kuvamine:
<pre>fdisk -l</pre>

(Kindla partitsiooni vaatamiseks lisada käsu lõppu see partitsioon:)
<pre>fdisk -l /dev/sda</pre>

<pre>fdisk -l 2> /dev/null | grep Disk</pre>
<pre> Disk /dev/sda: 8589 MB, 8589934592 bytes
Disk identifier: 0x000bd8b1
Disk /dev/sdb: 4294 MB, 4294967296 bytes
Disk identifier: 0x11844f48</pre>

===Füüsilise ketta väärtuse muutmine===
Avada fdiskiga uue loodud ketta partitsioon ning luua uus primaarne kettajagu:

<pre>fdisk /dev/sdb
Command (m for help): n

Partition type:
p primary (0 primary, 0 extended, 4 free)
e extended

Select (default p): p

Partition number (1-4, default 1): 1

First sector (2048-8388607, default 2048):
Using default value 2048

Last sector, +sectors or +size{K,M,G} (2048-8388607, default 8388607):
Using default value 8388607</pre>

Print käskluse abil kuvatakse kettajagu, algus, lõpp, blokid, id ning süsteem. Loodud partitsioon on 83 ehk Linux. Partitsiooni süsteemse id muutmiseks kasutatakse '''t'''.

Käsklus '''L''' kuvab kõik kaheksandikkoodid . Linux LVM kood on 8e, et muuta kettajagu Linux LVM-iks on vaja muuta kettajao id 83-lt 8e-ks.
[[file:8e.PNG|500px]]

<pre>
Command (m for help): t
Selected partition 1

Hex code (type L to list codes): 8e
Changed system type of partition 1 to 8e (Linux LVM)

Command (m for help): w
The partition table has been altered!

Calling ioctl() to re-read partition table.
Syncing disks.</pre>

'''NB mitte väljuda q, mis väljub programmist muudatusi salvestamata!'''

===Füüsiline kettajagu===
Järgnevalt anname lvm-ile teada, et loodud partitsioon (/dev/sdb1) on „pv“ ehk physical volume.

<pre>pvcreate /dev/sdb1</pre>

Kui kõik läks hästi siis display käsk peaks kuvama sellise tulemuse:
<pre>pvdisplay</pre>
<pre>"/dev/sdb1" is a new physical volume of "4.00 GiB"
--- NEW Physical volume ---
PV Name /dev/sdb1
VG Name
PV Size 4.00 GiB
Allocatable NO
PE Size 0
Total PE 0
Free PE 0
Allocated PE 0
PV UUID EdmaX9-bXmQ-Oevp-p9W9-I2qY-gpMM-1w77aQ</pre>

===Kettagrupp===
Loome uue „volume group“ -i ja nimetame selle mysql -iks.

<pre>vgcreate mysql /dev/sdb1</pre>

Display käsu tulemus peaks olema sarnane:
<pre>vgdisplay</pre>
<pre> --- Volume group ---
VG Name mysql
System ID
Format lvm2
Metadata Areas 1
Metadata Sequence No 4
VG Access read/write
VG Status resizable
MAX LV 0
Cur LV 2
Open LV 2
Max PV 0
Cur PV 1
Act PV 1
VG Size 4.00 GiB
PE Size 4.00 MiB
Total PE 1023
Alloc PE / Size 512 / 2.00 GiB
Free PE / Size 511 / 2.00 GiB
VG UUID s5AjT8-ss7D-Gm9m-XY6j-ULMv-RLbR-xdy0K6</pre>

Järgnevalt saame luua „volume group“ -ile „logical volumes“ ehk loogilised kettajaod. Need on justkui partitsioonid füüsilisel kõvakettal ja neid saab juba andmete talletamiseks kasutada. Nimetame kettajao nimega data ja määrame tema suuruseks 1GB (antud suurus sobib väga hästi katsetamiseks aga reaalsetes süsteemides tuleb muidugi oluliselt suuremaid numbreid kasutada. ). Suuruse seadistamisel tuleb arvestada, et sama „volume group“ peale tuleb mahutada veel vähemalt üks sama suur loogiline kettajagu, mis on loodava LV snapshot. Näide kui VG suurus on kokku 10GB siis on võimalik teha maksimaalselt 5GB suurune loogiline kettajagu. Vastasel ei mahu tema kõrvale, samale VG-le tehtud LV snapshot.

===Loogiline kettajagu===
Data nimelise 1GB loogilise kettajao loomine:
<pre>lvcreate -n data -L 1GB mysql</pre>

Kontrollime tulemust:
<pre>lvdisplay</pre>
<pre> --- Logical volume ---
LV Name /dev/mysql/data
VG Name mysql
LV UUID SL0yWI-Mc2b-KhkE-V8P1-bW7E-3iL8-8zD6Uf
LV Write Access read/write
LV Status available
# open 0
LV Size 1.00 GiB
Current LE 256
Segments 1
Allocation inherit
Read ahead sectors auto
- currently set to 256
Block device 252:0</pre>

Teadmiseks: lvdisplay käsu käivitamisel on näha parameeter „LV Status“. See näitab, kas kettajagu on saadaval või mitte. Kasutada on võimalik ainult available olekus kettajagu. Eemaldada saab ainult NOT available olekus kettajagusid. Kettajao NOT available olekusse viimiseks saab kasutada käsku:

<pre>lvchange -a n /dev/mysql/data</pre>
ja tagasi:
<pre>lvchange -a y /dev/mysql/data</pre>

===Failisüsteemi loomine ja ühendamine===
Nüüd on loodud uus kettajagu, mida saab andmete säiltamiseks kasutada. Loome sellele kettajaole failisüsteemi:
<pre>mkfs -t ext4 /dev/mysql/data</pre>

Järgmisena tuleb loodud kettajagu kuhugile mountida. Mina teen sellejaoks /srv/mysql kausta ja haagin ketta sinna.

<pre>mkdir /srv/mysql
mount /dev/mysql/data /srv/mysql</pre>

Lisame '''/etc/fstab''' faili lõppu kirje, et ka järgmisel süsteemi käivitamisel oleks ketas kohe külgehaagitud

<pre>
<file system> <mount point> <type> <options> <dump> <pass>
/dev/mysql/data /srv/mysql ext4 defaults 0 0</pre>

==MySQL seadistamine==
Muudame kausta õigused mysql-ile sobivaks (kausta omanik on kasutaja mysql ja kaustale on ligipääs ainult kausta omanikul)
<pre>chown mysql:mysql /srv/mysql
chmod 0700 /srv/mysql</pre>

Nüüd tuleb olemasolev mysql data kaust liigutada /srv/mysql kausta. Esimese asjana peatada mysql server
<pre>service mysql stop</pre>

Kopeerime (!) kogu mysql-i data kausta loodud lvm kettajaole. Ubuntus (ilmselt ka paljudes teistes operatsioonisüsteemides) asub mysq-i data kaust /var/lib/mysql. Oleks vägagi soovitatav jätta andmed vanasse kausta alles ja kustuta see alles siis kui ollakse täiesti kindel, et server töötab tõrgeteta.
<pre>cp -ar /var/lib/mysql/. /srv/mysql</pre>

Seejärel tuleb mysql-i konfiguratsioonifailis ('''/etc/mysql/my.cnf''') muuta ära „datadir“ parameeter
<pre>datadir = /var/lib/mysql -> datadir = /srv/mysql</pre>

Teadmiseks: alates Ubuntu 7.10 -st on operatsioonisüsteemiga kaasas programm nimega „AppArmor“ (Loe lähemalt: https://wiki.itcollege.ee/index.php/AppArmor). Tegemist on kerneli turvamooduliga, mis teatavate programmide puhul piirab nende ligipääsu failisüsteemile. Et MySQL server uuesti korrektselt käivituks, tuleb „AppArmor“ -is mysq-i seadistust muuta. Sobiva tekstieditoriga tuleb avada ''''/etc/apparmor.d/usr.sbin.mysqld''' konfifail ja teha seal vajalikud muudatused :
<pre>/var/lib/mysql/ r, -> /srv/mysql r,
/var/lib/mysql/** rwk, -> /srv/mysql** rwk,</pre>

Seejärel on vaja teha AppArmorile restart
<pre>service apparmor restart</pre>

Osadel operatsioonisüsteemidel võib ka init skript ette anda, kus asub mysql-i datadir. Seega oleks mõistlik ka see '''/etc/init.d/mysql''' skriptist üle vaadata.

Käivitame uuesti mysql-i serveri:

<pre>service mysql start</pre>

Kontrollime mysql-i muutujaid:
<pre>mysqladmin -u [mysql-kasutaja] -p variables | grep datadir</pre>
<pre>Enter password: [mysql-parool]
| datadir | /srv/mysql/
</pre>
Lisaks tuleks sobiva mysql kliendiga serverisse sisse logida ja kontrollida üle, kas kõik jäi korrektselt tööle.

Nüüd, kui MySQL server on korrektselt tööle hakanud ja tekib vajadus varukoopiate tegemiseks. Töötavast serverist snapshoti tegemisel pole vajalik eelnev serveri väljalülitamine. Snapshoti tegemise protsess on äärmiselt kiire ja andmete lugemine andmebaasist toimib endiselt edasi. Samas andmete kirjutamise protsess viibib seni kuni andmebaasilt kirjutamise lukk maha võetakse (kõik kirjutamise käsud täidetakse kohe peale luku vabastamist).
Ehkki varukoopia tegemise protsess ei tekita katkestusi serveri töös, oleks hea mõte teha varukoopiaid sellisel ajal kui serveril on kõige väiksem koormus.
On vajalik teada, et andmebaas lukustatakse ainult selleks ajaks, kui mysql serverisse on sisse logitud. Kohe kui sessioon lõpetatakse, vabastatakse ka lukud. Seetõttu peab snaspshoti tegemise ajal olema serverisse sisse logitud. Variant on kasutada kahte terminali sessiooni aga vajalikke käske saab käivitada ka MySQL-i käsurealt (vajalik on mysql-i klient käivitada root kasutaja õigustes).
<pre>mysql -u [root] -p
Enter password:</pre>

Protseduuri ajaks on vajalik keelata ära andmete kirjutamine:
<pre>mysql> FLUSH TABLES WITH READ LOCK;</pre>
<pre>Query OK, 0 rows affected (0.00 sec)</pre>
Lisaks võiks tühjendada ka logid:
<pre>mysql> FLUSH LOGS;</pre>
<pre>Query OK, 0 rows affected (0.00 sec)</pre>

==Tõmmise tegemine==
/sbin on standardne juurkataloogi alamkataloog Linuxis ja teistes Unix-taolistes operatsioonisüsteemides, mis sisaldab käivitamisvõimelisi programme.

/sbin is a standard subdirectory of the root directory in Linux and other Unix-like operating systems that contains executable (i.e., ready to run) programs.

<pre>mysql> SYSTEM /sbin/lvcreate -L 1G --snapshot -n sql_backup /dev/mysql/data</pre>
<pre>File descriptor 3 (socket:[15065]) leaked on lvcreate invocation. Parent PID 3514: sh
Logical volume "sql_backup" created</pre>

Tabelite lukust vabastamine.
<pre>mysql> UNLOCK TABLES;</pre>
<pre>Query OK, 0 rows affected (0.01 sec)</pre>

<pre>mysql> exit
Bye
</pre>
Snapshoti kettajagu nimetati kui sql_backup ja viide loogilisele seadmele asub /dev/mysql/sql_backup. Käivitades käsu „lvs“, saab näha, et lisaks mysql/data LV-le on juurde tekkinud mysql/sql_backup
<pre>lvs</pre>
<pre>LV VG Attr LSize Origin Snap% Move Log Copy% Convert
data mysql owi-ao 1.00g
sql_backup mysql swi-a- 1.00g data 0.00
</pre>
Kui nüüd haakida tehtud snapshoti kettajagu, on seal kättesaadav kogu mysql-i data sellel hetkel, kui snapshot tehti.
<pre>mkdir /mnt/bk
mount /dev/mysql/sql_backup /mnt/bk
ls -la /mnt/bk</pre>
<pre>total 28720
drwx------ 8 mysql mysql 4096 Dec 12 15:59 .
drwxr-xr-x 3 root root 4096 Dec 12 16:34 ..
-rw-r--r-- 1 root root 0 Nov 30 17:18 debian-5.5.flag
-rw-rw---- 1 mysql mysql 18874368 Dec 12 16:18 ibdata1
-rw-rw---- 1 mysql mysql 5242880 Dec 12 16:18 ib_logfile0
-rw-rw---- 1 mysql mysql 5242880 Nov 30 17:18 ib_logfile1
drwx------ 2 root root 16384 Dec 12 15:58 lost+found
drwx------ 2 mysql root 4096 Nov 30 17:18 mysql
-rw-rw---- 1 root root 6 Nov 30 17:18 mysql_upgrade_info
drwx------ 2 mysql mysql 4096 Nov 30 17:18 performance_schema
drwx------ 2 mysql mysql 4096 Nov 30 17:28 phpmyadmin
drwx------ 2 mysql root 4096 Dec 12 16:18 test
drwx------ 2 mysql mysql 4096 Nov 30 17:33 wp
</pre>
MySQL-i server töötab peale snapshoti tegemist katkestusteta edasi. Tehtud snapshoti andmeid võib varundada arhiivi jaoks. Andmete varundamisel tuleb spashoti kettajagu failisüsteemi külge haakida ja selle sisu „tar“-i abil arhiveerida ja hiljem eemaldada snapshoti kettajagu

<pre>mkdir -p /var/teekond/arhiivi
tar -cjf [/var/teekond/arhiivi/][kuupäev].tar.bz2 -C /mnt/bk
umount /dev/mysql/sql_backup
lvremove /dev/mysql/sql_backup
Do you really want to remove active logical volume sql_backup? [y/n]: Y
Logical volume "sql_backup" successfully removed
</pre>

Tulemuseks nüüd loogilise kettajao vaatamisele on:
<pre>lvdisplay</pre>
<pre> --- Logical volume ---
LV Name /dev/mysql/data
VG Name mysql
LV UUID ZIMxmO-kUQR-u4gD-Wk9m-0MCK-kqwx-1kMaVP
LV Write Access read/write
LV snapshot status source of
/dev/mysql/sql_backup [active]
LV Status available
# open 1
LV Size 1.00 GiB
Current LE 256
Segments 1
Allocation inherit
Read ahead sectors auto
- currently set to 256
Block device 252:1

--- Logical volume ---
LV Name /dev/mysql/sql_backup
VG Name mysql
LV UUID XMqxEq-yRhp-u8lf-mZ9U-1R2F-fBlf-5hoEeR
LV Write Access read/write
LV snapshot status active destination for /dev/mysql/data
LV Status available
# open 0
LV Size 1.00 GiB
Current LE 256
COW-table size 1.00 GiB
COW-table LE 256
Allocated to snapshot 0.02%
Snapshot chunk size 4.00 KiB
Segments 1
Allocation inherit
Read ahead sectors auto
- currently set to 256
Block device 252:3
</pre>

'''Kuna tõmmis kasvab koos originaalkettajaoga on tähtis jälgida, et tõmmis protsentuaalselt täis ei saaks. Regulaarselt tuleb mahtuvust kontrollida lvs käsuga. 100% täitunud tõmmisele ei saa enam juurde kirjutada ning sellega andmeterviklikkus rikutakse ära!'''

<pre>lvs</pre>
<pre> LV VG Attr LSize Origin Snap% Move Log Copy% Convert
data mysql owi-ao 1.00g
sql_backup mysql swi-a- 1.00g data 0.02
</pre>

Kogu protseduuri automatiseerimiseks on võimalik koostada ka skript, mida saab käivitada sobival aja või kasutades „cron“ ajastamise vahendeid.

Lisaks on võimalik mysql-i data kaust haakida ümber snapshoti kettajaole ja taastada server sellesse seisu, mis oli snapshoti tegemise hetkel minimaalse katkestuse ajaga.

==Kokkuvõte==

LVM -i kasutamine varundamisel on väikestes ja mittekriitilistes süsteemides küllaltki hea lahendus. See ei nõua eriteadmisi ja kallist riistvara/tarkvara. Kuid suurematesse ja keerukamatesse lahendustesse see ei sobi, kuna see ainult aitab luua snapshoti hetke seisust aga ei paku võimalust seda eraldi salvestada. Arhiveerimiseks tuleb kasutada eraldi vahendeid ja selle protseduuri käigus võib minna kaduma vajalikke andmeid. Ka ei võistle LVM proffessionaalsete vahenditega nagu Arkeia (http://www.arkeia.com/) või BrightStor, mis on just varundamise lahenduste jaoks loodud ja muudavad antud tegemise mugavaks ja kiireks.

==Kasutatud kirjandus==
http://kuutorvaja.eenet.ee/wiki/LVM 
http://www.web-manual.net/linux-3/logical-volume-manager-in-linux/ 
http://www.lullabot.com/articles/mysql-backups-using-lvm-snapshots 
http://www.ubuntugeek.com/how-to-change-the-mysql-data-default-directory.html 
https://wiki.ubuntu.com/Lvm 
http://linuxconfig.org/Linux_lvm_-_Logical_Volume_Manager 
Loodus, Katrin. Andmesalvestustehnoloogiad - loeng 4.1 Ülevaade Logical Volume Manager-ist [https://wiki.itcollege.ee/index.php/Category:Andmesalvestustehnoloogiad]

"7 Linux fdisk Command Examples to Manage Hard Disk Partition" [http://www.thegeekstuff.com/2010/09/linux-fdisk/]

"LVM" [https://wiki.ubuntu.com/Lvm]

==Autor==
Madis Lauri
AK 31
[[Category:Operatsioonisüsteemide administreerimine ja sidumine]]

'''Täiendamine:'''

Carolys Kallas A32

Aine: Linuxi administreerimine

Viimati muudetud: 13.01.2013

Mysql varundamine LVM abil

2013-01-13T19:18:56Z

Ckallas: /* Tõmmise tegemine */

__TOC__
==Sissejuhatus==

Antud kirjatüki eesmärgiks on tutvustada Logical Volume Manageri kui abivahendit toimivast süsteemist tagavarakoopiate tegemisel. Kuigi failisüsteemi snapshotide tegemine ja nende kasutamine on ainult üks LVM-i pakutavatest võimalustest. LVM - i snapshotide tegemise võimalus pole ainult mysql -i varundamiseks, vaid kasutatav ka muude andmete varukoopiate tegemiseks. Antud juhul on MySQL siin ainult „reisija“ aga protsessi selgitamiseks ja LVM snapshoti kasutamiseks on MySQL näitena väga hea. Kogu seadistamise protsess toimub Ubuntu Linux Server 12.04.1 LTS operatsioonisüsteemis ja kasutab sellega kaasnevaid vahendeid.

==Mis on mis?==
'''Logical Volume Manager''' - LVM

'''Physical Volume''' - PV, plokkseade, füüsiline kettajagu

'''Volume Group''' - VG, kettagrupp

'''Logical Volume''' - LV, loogiline kettajagu

'''Snapshot''' - (hetk)tõmmis

===LVM===
LVM ehk „Logical Volume Manager“ on ketta partitsioonide haldusvahend Linuxi ja UNIX-i laadsete operatsioonisüsteemide juures. LVM moodustab vahekihi failisüsteemi ja füüsilise kõvaketta vahele. Esmapilgul võib tunduda, et LVM on sarnane RAID (Redundant Array of Independent Disks) kettamassiiviga, on ta siiski hoopis paindlikum viis kettajagudega toimetamiseks. RAID võimaldab kettaid omavahel liita, et saada paremaid tulemusi kiiruses, mahus või töökindluses. LVM seevastu võimaldab korraga hallata mitut (ka loogilist) kettajagu, neid vastavalt vajadusele ümber tõsta ja mahtu muuta. Seega on tihti hea mõte neid kahte hoopis koos kasutada (näiteks RAID 10 ja LVM).
Lihtsustatult oleks ettekujutus eri kihtide tasemetest selline:
* Failisüsteemid
* LVM
* RAID (vajadusel)
* füüsilised plokkmäluseadmed (kõvakettad)

===Omadused===
LVM pakutavad võimalused on:
* Failisüsteemi suuruse muutmine
* Failisüsteemi snapshotide tegemine ja kasutamine (nii read-only kui ka read-write)
* Loodud/muudetud partitsioonide kohene kasutamine, kui ketas/partitsioon on mingil moel kasutusel. Fdisk-i kasutamisel tuleb OP-süsteem taaskäivitada.
* Väiksemate füüsiliste plokkseadmete kokku ühendamine, üheks suureks loogiliseks seadmeks. (Nagu RAID)
* Ketaste liigutamine ja ühendamine üle võrgu

Lisainfot LVM-i kohta: http://en.wikipedia.org/wiki/Logical_Volume_Manager_(Linux)

===MySQL===
MySQL on Oracle Corporation poolt hallatav relatsioonilise andmebaasi haldamise süsteem. On äärmiselt populaarne andmebaasisüsteem erinevates veebirakendustes aga ka mõningates suuremates süsteemides. Oma populaarsuse on ta saanud tänu äärmiselt lihtsale hallatavusele ja kasutajasõbralikkusele. Hetkel ei hakka MySQL-i omadustel ja võimalustel pikemalt peatuma. Rohkem informatsiooni leiab: http://www.mysql.com/

==Eeldused==
*Installeeritud Ubuntu Server (vähemalt 12.04 versioon)
*Tutvutud kettajagudega (kiire kordamine näiteks '''[[Osadmin spikker]]''')

'''Viia kõik käsklused läbi sudo kasutaja alt'''
sudo -i

===Ketaste lisamine===
Kõigepealt on vaja lisada serverile kõvaketas, mida hiljem LVM-iga siduma hakata.

[[File:Create_hard_disk.PNG‎|500px]]

Luua uus 4GB ketas, mis on VirtualBox Disk Image (VDI) formaadis ning dünaamiliselt jagatud.

===Vajaliku tarkvara installeerimine===

Et LVM-i ja MySQL-i seadistada on vajalikud teadmised, kuidas toimub Linuxis ketaste ja partitisoonide haldamine ja baasteadmised MySQL-ist.
Kõigepealt on vajalik installeerida lvm2 nimeline pakett, eelnevalt uuendada tarkvaravaramu nimekirja.
<pre>apt-get update
apt-get install lvm2</pre>
Olenevalt operatsioonisüsteemist võib olla vajalikud paketid juba installeeritud, kontrollida saab nii:
<pre>lvm version</pre>

Lisaks on vajalik installeerida MySQL server ja klientprogramm serveriga ühendumiseks.
<pre>apt-get install mysql-server</pre>
NB! Kuna LVM-i kasutuselevõtmine vajab mõningast MySQL-i ümberseadistamist, tuleb arvestada asjaoluga, et MySQL-i data kausta ümbertõstmisel ei pruugi olemasolevad andmed säilida (InnoDB) ja vajalik oleks serveris olevatest andmetest enne .sql kujul tagavarakoopia teha.

==LVM -i seadistamine==

[[File:LVM.jpg|thumb |alt=LVM alt text |LVM]]

LVM ise jaguneb kolmeks eri kihiks: plokkseadmed (PV), kettagrupid (VG), millesse on organiseeritud füüsilised plokkseadmed ja loogilised kettajaod, mis on jagatud kettagrupid.
Iga kihiga toimetamisel on oma käsud, mis viitavad sellele, mis kihiga hetkel toimetatakse: pv*, vg* ning lv*. Näiteks pvcreate, vgcreate ja lvcreate.

Esimese asjana tuleb valida ketas/kettajagu, kus LVM-iga toimetama hakata. Uue ketta puhul oleks võimalusel mõtekas luua üks tervet ketast hõlmav partitsioon.

Operatsioonisüsteem tunnistab näites kasutatavat uut ketast kui /dev/sdb ja seega on näites kasutatavad ketta nimed/asukohad just sellised.

Kõikide olemasolevate partitsioonide kuvamine:
<pre>fdisk -l</pre>

(Kindla partitsiooni vaatamiseks lisada käsu lõppu see partitsioon:)
<pre>fdisk -l /dev/sda</pre>

<pre>fdisk -l 2> /dev/null | grep Disk</pre>
<pre> Disk /dev/sda: 8589 MB, 8589934592 bytes
Disk identifier: 0x000bd8b1
Disk /dev/sdb: 4294 MB, 4294967296 bytes
Disk identifier: 0x11844f48</pre>

===Füüsilise ketta väärtuse muutmine===
Avada fdiskiga uue loodud ketta partitsioon ning luua uus primaarne kettajagu:

<pre>fdisk /dev/sdb
Command (m for help): n

Partition type:
p primary (0 primary, 0 extended, 4 free)
e extended

Select (default p): p

Partition number (1-4, default 1): 1

First sector (2048-8388607, default 2048):
Using default value 2048

Last sector, +sectors or +size{K,M,G} (2048-8388607, default 8388607):
Using default value 8388607</pre>

Print käskluse abil kuvatakse kettajagu, algus, lõpp, blokid, id ning süsteem. Loodud partitsioon on 83 ehk Linux. Partitsiooni süsteemse id muutmiseks kasutatakse '''t'''.

Käsklus '''L''' kuvab kõik kaheksandikkoodid . Linux LVM kood on 8e, et muuta kettajagu Linux LVM-iks on vaja muuta kettajao id 83-lt 8e-ks.
[[file:8e.PNG|500px]]

<pre>
Command (m for help): t
Selected partition 1

Hex code (type L to list codes): 8e
Changed system type of partition 1 to 8e (Linux LVM)

Command (m for help): w
The partition table has been altered!

Calling ioctl() to re-read partition table.
Syncing disks.</pre>

'''NB mitte väljuda q, mis väljub programmist muudatusi salvestamata!'''

===Füüsiline kettajagu===
Järgnevalt anname lvm-ile teada, et loodud partitsioon (/dev/sdb1) on „pv“ ehk physical volume.

<pre>pvcreate /dev/sdb1</pre>

Kui kõik läks hästi siis display käsk peaks kuvama sellise tulemuse:
<pre>pvdisplay</pre>
<pre>"/dev/sdb1" is a new physical volume of "4.00 GiB"
--- NEW Physical volume ---
PV Name /dev/sdb1
VG Name
PV Size 4.00 GiB
Allocatable NO
PE Size 0
Total PE 0
Free PE 0
Allocated PE 0
PV UUID EdmaX9-bXmQ-Oevp-p9W9-I2qY-gpMM-1w77aQ</pre>

===Kettagrupp===
Loome uue „volume group“ -i ja nimetame selle mysql -iks.

<pre>vgcreate mysql /dev/sdb1</pre>

Display käsu tulemus peaks olema sarnane:
<pre>vgdisplay</pre>
<pre> --- Volume group ---
VG Name mysql
System ID
Format lvm2
Metadata Areas 1
Metadata Sequence No 4
VG Access read/write
VG Status resizable
MAX LV 0
Cur LV 2
Open LV 2
Max PV 0
Cur PV 1
Act PV 1
VG Size 4.00 GiB
PE Size 4.00 MiB
Total PE 1023
Alloc PE / Size 512 / 2.00 GiB
Free PE / Size 511 / 2.00 GiB
VG UUID s5AjT8-ss7D-Gm9m-XY6j-ULMv-RLbR-xdy0K6</pre>

Järgnevalt saame luua „volume group“ -ile „logical volumes“ ehk loogilised kettajaod. Need on justkui partitsioonid füüsilisel kõvakettal ja neid saab juba andmete talletamiseks kasutada. Nimetame kettajao nimega data ja määrame tema suuruseks 1GB (antud suurus sobib väga hästi katsetamiseks aga reaalsetes süsteemides tuleb muidugi oluliselt suuremaid numbreid kasutada. ). Suuruse seadistamisel tuleb arvestada, et sama „volume group“ peale tuleb mahutada veel vähemalt üks sama suur loogiline kettajagu, mis on loodava LV snapshot. Näide kui VG suurus on kokku 10GB siis on võimalik teha maksimaalselt 5GB suurune loogiline kettajagu. Vastasel ei mahu tema kõrvale, samale VG-le tehtud LV snapshot.

===Loogiline kettajagu===
Data nimelise 1GB loogilise kettajao loomine:
<pre>lvcreate -n data -L 1GB mysql</pre>

Kontrollime tulemust:
<pre>lvdisplay</pre>
<pre> --- Logical volume ---
LV Name /dev/mysql/data
VG Name mysql
LV UUID SL0yWI-Mc2b-KhkE-V8P1-bW7E-3iL8-8zD6Uf
LV Write Access read/write
LV Status available
# open 0
LV Size 1.00 GiB
Current LE 256
Segments 1
Allocation inherit
Read ahead sectors auto
- currently set to 256
Block device 252:0</pre>

Teadmiseks: lvdisplay käsu käivitamisel on näha parameeter „LV Status“. See näitab, kas kettajagu on saadaval või mitte. Kasutada on võimalik ainult available olekus kettajagu. Eemaldada saab ainult NOT available olekus kettajagusid. Kettajao NOT available olekusse viimiseks saab kasutada käsku:

<pre>lvchange -a n /dev/mysql/data</pre>
ja tagasi:
<pre>lvchange -a y /dev/mysql/data</pre>

===Failisüsteemi loomine ja ühendamine===
Nüüd on loodud uus kettajagu, mida saab andmete säiltamiseks kasutada. Loome sellele kettajaole failisüsteemi:
<pre>mkfs -t ext4 /dev/mysql/data</pre>

Järgmisena tuleb loodud kettajagu kuhugile mountida. Mina teen sellejaoks /srv/mysql kausta ja haagin ketta sinna.

<pre>mkdir /srv/mysql
mount /dev/mysql/data /srv/mysql</pre>

Lisame '''/etc/fstab''' faili lõppu kirje, et ka järgmisel süsteemi käivitamisel oleks ketas kohe külgehaagitud

<pre>
<file system> <mount point> <type> <options> <dump> <pass>
/dev/mysql/data /srv/mysql ext4 defaults 0 0</pre>

==MySQL seadistamine==
Muudame kausta õigused mysql-ile sobivaks (kausta omanik on kasutaja mysql ja kaustale on ligipääs ainult kausta omanikul)
<pre>chown mysql:mysql /srv/mysql
chmod 0700 /srv/mysql</pre>

Nüüd tuleb olemasolev mysql data kaust liigutada /srv/mysql kausta. Esimese asjana peatada mysql server
<pre>service mysql stop</pre>

Kopeerime (!) kogu mysql-i data kausta loodud lvm kettajaole. Ubuntus (ilmselt ka paljudes teistes operatsioonisüsteemides) asub mysq-i data kaust /var/lib/mysql. Oleks vägagi soovitatav jätta andmed vanasse kausta alles ja kustuta see alles siis kui ollakse täiesti kindel, et server töötab tõrgeteta.
<pre>cp -ar /var/lib/mysql/. /srv/mysql</pre>

Seejärel tuleb mysql-i konfiguratsioonifailis ('''/etc/mysql/my.cnf''') muuta ära „datadir“ parameeter
<pre>datadir = /var/lib/mysql -> datadir = /srv/mysql</pre>

Teadmiseks: alates Ubuntu 7.10 -st on operatsioonisüsteemiga kaasas programm nimega „AppArmor“ (Loe lähemalt: https://wiki.itcollege.ee/index.php/AppArmor). Tegemist on kerneli turvamooduliga, mis teatavate programmide puhul piirab nende ligipääsu failisüsteemile. Et MySQL server uuesti korrektselt käivituks, tuleb „AppArmor“ -is mysq-i seadistust muuta. Sobiva tekstieditoriga tuleb avada ''''/etc/apparmor.d/usr.sbin.mysqld''' konfifail ja teha seal vajalikud muudatused :
<pre>/var/lib/mysql/ r, -> /srv/mysql r,
/var/lib/mysql/** rwk, -> /srv/mysql** rwk,</pre>

Seejärel on vaja teha AppArmorile restart
<pre>service apparmor restart</pre>

Osadel operatsioonisüsteemidel võib ka init skript ette anda, kus asub mysql-i datadir. Seega oleks mõistlik ka see '''/etc/init.d/mysql''' skriptist üle vaadata.

Käivitame uuesti mysql-i serveri:

<pre>service mysql start</pre>

Kontrollime mysql-i muutujaid:
<pre>mysqladmin -u [mysql-kasutaja] -p variables | grep datadir</pre>
<pre>Enter password: [mysql-parool]
| datadir | /srv/mysql/
</pre>
Lisaks tuleks sobiva mysql kliendiga serverisse sisse logida ja kontrollida üle, kas kõik jäi korrektselt tööle.

Nüüd, kui MySQL server on korrektselt tööle hakanud ja tekib vajadus varukoopiate tegemiseks. Töötavast serverist snapshoti tegemisel pole vajalik eelnev serveri väljalülitamine. Snapshoti tegemise protsess on äärmiselt kiire ja andmete lugemine andmebaasist toimib endiselt edasi. Samas andmete kirjutamise protsess viibib seni kuni andmebaasilt kirjutamise lukk maha võetakse (kõik kirjutamise käsud täidetakse kohe peale luku vabastamist).
Ehkki varukoopia tegemise protsess ei tekita katkestusi serveri töös, oleks hea mõte teha varukoopiaid sellisel ajal kui serveril on kõige väiksem koormus.
On vajalik teada, et andmebaas lukustatakse ainult selleks ajaks, kui mysql serverisse on sisse logitud. Kohe kui sessioon lõpetatakse, vabastatakse ka lukud. Seetõttu peab snaspshoti tegemise ajal olema serverisse sisse logitud. Variant on kasutada kahte terminali sessiooni aga vajalikke käske saab käivitada ka MySQL-i käsurealt (vajalik on mysql-i klient käivitada root kasutaja õigustes).
<pre>mysql -u [root] -p
Enter password:</pre>

Protseduuri ajaks on vajalik keelata ära andmete kirjutamine:
<pre>mysql> FLUSH TABLES WITH READ LOCK;</pre>
<pre>Query OK, 0 rows affected (0.00 sec)</pre>
Lisaks võiks tühjendada ka logid:
<pre>mysql> FLUSH LOGS;</pre>
<pre>Query OK, 0 rows affected (0.00 sec)</pre>

==Tõmmise tegemine==
<pre>mysql> SYSTEM /sbin/lvcreate -L 1G --snapshot -n sql_backup /dev/mysql/data</pre>
<pre>File descriptor 3 (socket:[15065]) leaked on lvcreate invocation. Parent PID 3514: sh
Logical volume "sql_backup" created</pre>

Tabelite lukust vabastamine.
<pre>mysql> UNLOCK TABLES;</pre>
<pre>Query OK, 0 rows affected (0.01 sec)</pre>

<pre>mysql> exit
Bye
</pre>
Snapshoti kettajagu nimetati kui sql_backup ja viide loogilisele seadmele asub /dev/mysql/sql_backup. Käivitades käsu „lvs“, saab näha, et lisaks mysql/data LV-le on juurde tekkinud mysql/sql_backup
<pre>lvs</pre>
<pre>LV VG Attr LSize Origin Snap% Move Log Copy% Convert
data mysql owi-ao 1.00g
sql_backup mysql swi-a- 1.00g data 0.00
</pre>
Kui nüüd haakida tehtud snapshoti kettajagu, on seal kättesaadav kogu mysql-i data sellel hetkel, kui snapshot tehti.
<pre>mkdir /mnt/bk
mount /dev/mysql/sql_backup /mnt/bk
ls -la /mnt/bk</pre>
<pre>total 28720
drwx------ 8 mysql mysql 4096 Dec 12 15:59 .
drwxr-xr-x 3 root root 4096 Dec 12 16:34 ..
-rw-r--r-- 1 root root 0 Nov 30 17:18 debian-5.5.flag
-rw-rw---- 1 mysql mysql 18874368 Dec 12 16:18 ibdata1
-rw-rw---- 1 mysql mysql 5242880 Dec 12 16:18 ib_logfile0
-rw-rw---- 1 mysql mysql 5242880 Nov 30 17:18 ib_logfile1
drwx------ 2 root root 16384 Dec 12 15:58 lost+found
drwx------ 2 mysql root 4096 Nov 30 17:18 mysql
-rw-rw---- 1 root root 6 Nov 30 17:18 mysql_upgrade_info
drwx------ 2 mysql mysql 4096 Nov 30 17:18 performance_schema
drwx------ 2 mysql mysql 4096 Nov 30 17:28 phpmyadmin
drwx------ 2 mysql root 4096 Dec 12 16:18 test
drwx------ 2 mysql mysql 4096 Nov 30 17:33 wp
</pre>
MySQL-i server töötab peale snapshoti tegemist katkestusteta edasi. Tehtud snapshoti andmeid võib varundada arhiivi jaoks. Andmete varundamisel tuleb spashoti kettajagu failisüsteemi külge haakida ja selle sisu „tar“-i abil arhiveerida ja hiljem eemaldada snapshoti kettajagu

<pre>mkdir -p /var/teekond/arhiivi
tar -cjf [/var/teekond/arhiivi/][kuupäev].tar.bz2 -C /mnt/bk
umount /dev/mysql/sql_backup
lvremove /dev/mysql/sql_backup
Do you really want to remove active logical volume sql_backup? [y/n]: Y
Logical volume "sql_backup" successfully removed
</pre>

Tulemuseks nüüd loogilise kettajao vaatamisele on:
<pre>lvdisplay</pre>
<pre> --- Logical volume ---
LV Name /dev/mysql/data
VG Name mysql
LV UUID ZIMxmO-kUQR-u4gD-Wk9m-0MCK-kqwx-1kMaVP
LV Write Access read/write
LV snapshot status source of
/dev/mysql/sql_backup [active]
LV Status available
# open 1
LV Size 1.00 GiB
Current LE 256
Segments 1
Allocation inherit
Read ahead sectors auto
- currently set to 256
Block device 252:1

--- Logical volume ---
LV Name /dev/mysql/sql_backup
VG Name mysql
LV UUID XMqxEq-yRhp-u8lf-mZ9U-1R2F-fBlf-5hoEeR
LV Write Access read/write
LV snapshot status active destination for /dev/mysql/data
LV Status available
# open 0
LV Size 1.00 GiB
Current LE 256
COW-table size 1.00 GiB
COW-table LE 256
Allocated to snapshot 0.02%
Snapshot chunk size 4.00 KiB
Segments 1
Allocation inherit
Read ahead sectors auto
- currently set to 256
Block device 252:3
</pre>

'''Kuna tõmmis kasvab koos originaalkettajaoga on tähtis jälgida, et tõmmis protsentuaalselt täis ei saaks. Regulaarselt tuleb mahtuvust kontrollida lvs käsuga. 100% täitunud tõmmisele ei saa enam juurde kirjutada ning sellega andmeterviklikkus rikutakse ära!'''

<pre>lvs</pre>
<pre> LV VG Attr LSize Origin Snap% Move Log Copy% Convert
data mysql owi-ao 1.00g
sql_backup mysql swi-a- 1.00g data 0.02
</pre>

Kogu protseduuri automatiseerimiseks on võimalik koostada ka skript, mida saab käivitada sobival aja või kasutades „cron“ ajastamise vahendeid.

Lisaks on võimalik mysql-i data kaust haakida ümber snapshoti kettajaole ja taastada server sellesse seisu, mis oli snapshoti tegemise hetkel minimaalse katkestuse ajaga.

==Kokkuvõte==

LVM -i kasutamine varundamisel on väikestes ja mittekriitilistes süsteemides küllaltki hea lahendus. See ei nõua eriteadmisi ja kallist riistvara/tarkvara. Kuid suurematesse ja keerukamatesse lahendustesse see ei sobi, kuna see ainult aitab luua snapshoti hetke seisust aga ei paku võimalust seda eraldi salvestada. Arhiveerimiseks tuleb kasutada eraldi vahendeid ja selle protseduuri käigus võib minna kaduma vajalikke andmeid. Ka ei võistle LVM proffessionaalsete vahenditega nagu Arkeia (http://www.arkeia.com/) või BrightStor, mis on just varundamise lahenduste jaoks loodud ja muudavad antud tegemise mugavaks ja kiireks.

==Kasutatud kirjandus==
http://kuutorvaja.eenet.ee/wiki/LVM 
http://www.web-manual.net/linux-3/logical-volume-manager-in-linux/ 
http://www.lullabot.com/articles/mysql-backups-using-lvm-snapshots 
http://www.ubuntugeek.com/how-to-change-the-mysql-data-default-directory.html 
https://wiki.ubuntu.com/Lvm 
http://linuxconfig.org/Linux_lvm_-_Logical_Volume_Manager 
Loodus, Katrin. Andmesalvestustehnoloogiad - loeng 4.1 Ülevaade Logical Volume Manager-ist [https://wiki.itcollege.ee/index.php/Category:Andmesalvestustehnoloogiad]

"7 Linux fdisk Command Examples to Manage Hard Disk Partition" [http://www.thegeekstuff.com/2010/09/linux-fdisk/]

"LVM" [https://wiki.ubuntu.com/Lvm]

==Autor==
Madis Lauri
AK 31
[[Category:Operatsioonisüsteemide administreerimine ja sidumine]]

'''Täiendamine:'''

Carolys Kallas A32

Aine: Linuxi administreerimine

Viimati muudetud: 13.01.2013

Linuxi administreerimine

2013-01-13T19:07:40Z

Ckallas: /* Labor 2 */

=Üldinfo=
ECTS: 4
Hindamisviis: Eksam

==Õppejõud==
Margus Ernits

Katrin Loodus

=Eeldused ja sihtgrupp=

Operatsioonisüsteemide administreerimine ja sidumine (Rangelt soovituslik). Osadmin aines loetava oskamine on antud aine õppimise eelduseks. ÕISis on see eeldus märgitud soovituslikuks, kuna igal aastal on paar inimest, kes suudavad mõlemad ained korraga läbida ja on antud vallas väga pädevad.
Linuxi administraatori kursus on mõeldud tugeva infotehnoloogilise põhjaga arvuti-spetsialistile.
Kursuse rõhk on eelkõige võrguhalduril, kelle tööülesannete hulka kuulub igapäevane serverite, võrgu jms hooldus, konfigureerimine ja uute seadmete installatsioon.

=Eesmärk ja sisu=

Kursuse esimeses osas õpitakse tundma Linux süsteemi toimimist, antakse ülevaade administreerimistoimingute automatiseerimisest shelli skriptide abil ja omandatakse praktiline käsufailide koostamise kogemus.

Teises osas õpitakse paigaldama ja konfigureerima erinevaid võrguteenuseid. Kursuse teise osa alguses korratakse taseme ühtlustamiseks TCP/IP võrgu põhialuseid.

=Õpiväljundid=

=Loengud=
1. Sissejuhatav loeng eeldustest [http://enos.itcollege.ee/~mernits/Linux%20administreerimine/Loeng_1_Sissejuhatus.odp Sissejuhatus]

2. Kordamine Osadmin [http://elab.itcollege.ee:8000/Linux-Basics.mm]

=Praktikumid=

==Esimene praktikum - Ubuntu Server paigaldamine ja kordamistest==
* Paigaldage Ubuntu Linux Server süsteem VirtualBox abil
**RAM 512MB
**HDD dynamicly allocated 8GB
**2 Võrgukaarti NIC1 - NAT (eth0 - Ubuntus) ja NIC2 - HostOnly (eth1 - Ubuntus)
**Logige serverisse sisse ja seadistage võrk failis /etc/network/interfaces (liidese eth1 ip aadress 192.168.56.200).
***Abiinfo [[Ubuntu server võrgu seadistamine]] ja [[VirtualBoxi võrgud]]

<source lang="bash">
auto eth1
iface eth1 inet static
address 192.168.56.200
netmask 255.255.255.0
</source>

*Paigaldage openssh server, kui te seda installi käigus ei teinud (apt-get update && apt-get install ssh)

Ubuntu Server 12.04.1 LTS ISO (64bit) http://elab.itcollege.ee:8000/ubuntu-12.04.1-server-amd64.iso

Eelduste kontrollimise test: http://goo.gl/73xBZ
Kes tunneb, et test on liiga keeruline, peab kaaluma aine deklareerimise asemel Osadmin aine (mis on soovituslik eeldus) läbimist.

==Teine praktikum==
*Desktop linux paigaldamine (Vali mitte deb pakihalduriga linux distro, näiteks fedora http://elab.itcollege.ee:8000/Fedora-17-x86_64-Live-Desktop.iso )
*Võib paigaldada ka Ubuntu Desktopi, kuid siis tuleb lisada rpm baasil server

*Memory 1024MB
*HDD 16GB (või 8GB) Dynamic disk
*Network
**NIC1 - eth0 - NAT
**NIC2 - eth1 - Host only - Seate ise aadressi 192.168.56.201
**Video Memory 64MB 3D acceleration sisse

===Praks 2 Ülesanne===
Teha key based autentimisega serverisse sisenemine. (tööjaamast saab serveris käske käivitada)

===Praks 3 kodutöö===
Teha apt - yum ja dpkg - rpm vastavustabel. dpkg ja apt korraldused leiab [http://elab.itcollege.ee:8000/Linux-Basics.mm Linux-Basics mindmapist]

Parim töö annab 7p, järgmised 5p (piisavalt põhjalikud ja erinevad)

Ebapiisavad vastavustabelid, mis sarnanevad üksteisele punkte ei saa.

Kui su tabel on ilma vigadeta, kuid mitte parimate sead siis saad 1-2p.

===Praks 4===

Nimeserveri BIND9 paigaldamine.

*Mõtle välja domeenimini
*Paigalda nimeserver bind9
*Seadista oma domeen
**www.domeen
**ns.domeen
**sales.domeen
**seadista oma kliendimasin kasutama uut nimeserverit

NB: enne kaitsmist lugeda läbi http://kuutorvaja.eenet.ee/wiki/DNS

Labori üks näide [[Nimeserveri seadistamine BIND9 näitel]]

Praktikumi salvestus http://echo360.e-uni.ee/ess/echo/presentation/a828b6af-8caf-4319-b594-5d6bfed04a70

'''Punktide''' (5p) '''kirja saamiseks''' peab töötama nii nimede lahendamine läbi teie nimeserveri kui ka reverse lookup.

===Praks 5===

Veebiserveri apache2 paigaldamine

*Loo veebisaidid www.domeen ja sales.domeen (ehk oma DNS labori nimedele vastavad veebisaidid)
Praktikumi salvestus: http://echo360.e-uni.ee/ess/echo/presentation/0945a764-0305-48ec-8082-4e57a23cc536
*Seadist HTTPS nendele saitidele (vajadusel loo uus ip alias ja muuda nimeserveris olevat kirjet, et TLS nimed viitaks erinevatele IP aadressidele)
*Abiks on loeng: http://enos.itcollege.ee/~mernits/infrastruktuur/loeng04%20-%20Veebiserver.odp ja labor: https://wiki.itcollege.ee/index.php/Veebiserveri_labor_v.2
*Paigalda WordPress vastavalt juhendile: http://goo.gl/6XQ0U

'''Punktide''' (5p) '''kirja saamiseks''' peab töötama veebiserververi apache2 pealt 2 veebilehte ning wordpress. Wordpressile peab olema paigaldatud super cache ning lisaks peab töötama varnish. Seejuures wordpress on seadistatud pordile 80 ja wordpress pordil 8080. Lehe toimivust testige enne kaitsmist ab vahendiga, kus -n 1000 ja -t 10.

===Praks 7===
Samba share-i välja jagamine.

*Loo share, mis on ligipääsetav vaid kasutajatele, kes kuuluvad lab gruppi. Vajalik on ka share-ile kirjutamisõigus (saab kausta luua).
* Seadista samba abil kasutajate kodukaustadele ligipääsemine. Iga kasutaja peab ligi pääsema enda kodukaustale.

*Abiks on viki artiklid : https://wiki.itcollege.ee/index.php/Failiserver_Samba_labor_2 ja https://wiki.itcollege.ee/index.php/Lihtne_samba_install

'''Punktide''' (5p) '''kirja saamiseks''' on vajalik share-i olemasolu, mis on ligipääsetav ning kirjutatav (võimalik luua kataloogi) ainult lab gruppi kuuluvatele kasutajatele ning lab gruppi mitte kuuluvad kasutajad ei tohi sinna ligi pääseda.
Lisaks peavad kasutajad pääsema ligi oma kodukaustale, sõltumata sellest, kas ta kuulub lab gruppi või mitte.

=Labor 1=
*Veebiserver ja virtualhostid
*DNS
*e-post
*iptables
*samba

=Labor 2=
*LDAP või Samba4 - LDAP Teet Saar, Kullo-Kalev Aru
*Puppet või chef
*PAM
*Puppet (Ubuntus) - Kristo Kapten
*[[Samba(windows domeenis fileserver)]] - Marko Kurs
*[[TLS termineerimine nginx abil]] - Sander Arnus, Sander Saveli

=Esseede teemad 2012=

Võib valida keerulisemaid teemasid ka [[Osadmin referaadi teemad]] lehelt.

[[zsh]] - pole algajale

Mida uurida

Prompt

http://zshwiki.org/home/config/prompt

http://stevelosh.com/blog/2010/02/my-extravagant-zsh-prompt/

.zshrc

for

if

while

jne

[[CentOS Server]] --- teeb Oliver Naaris

Paigaldamine

Teenuste DNS, apache2, samba, e-post seadistamine

[[Superb Mini Server]] --- Mark-Erik Mogom, Andrus Dei

Paigaldamine

DNS, samba, LDAP, e-post seadistamine

[[Oracle Linux]]

Paigaldamine

Teenuste DNS, apache2, samba, e-post seadistamine

[[Suse Linux]]

Paigaldamine

Teenuste DNS, apache2, samba seadistamine

[[OpenLDAP Ubuntu Serveril]] - Tarmo Suurmägi, Taavi Sannik, Harri Uljas

[[Zentyal SAMBA4]] --- Lang & Lihten A31

Samba4 domeenikontrolleri seadistamine ja ubuntu/fedora/muu süsteem autentimise seadistamine kasutades uusi vahendeid

[[Apt-yum/dpkg-rpm käskude lühivõrdlus]] - Teet Saar A32

[[Ophcrack]] - teeb Kristo Kapten

[[rancid]] - Meelis Kurnikov, Aive Haavel AK31

[[zenoss]] - Kristjan Vaik

[[Apache autentimine LDAP'iga]] - Rauno Lehiste

==Eksamist==

Tee ära labor 2 (oma valitud teemal + selle kohta wiki kirjatöö)
Eksamil ole valmis demoma labor 1 raames kaitstud asju.

Kirjatööd võib peale eksamit kuni järgmise reedeni parandada, kui hinne ei sobi.

Eksami käigus saab kaitsta ka labor 1 ja 2 asju.

Eksami käigus tõmbad loosi, mida labor 1 raames parandada. Õppejõud teeb teenuse katki ja tudeng teeb korda. (soovitatav on eelnevalt teha teenusest varukoopia).

Punkte saab selgituse eest, mis oli katki ja kuidas tegid korda.

Katki tegemisel võib arvestada näiteks, et algaja admin (õppejõud:) muutis ära parooli, rikkus võrguseaded ja kustutas täiesti süüdimatult mõne konfifaili.

LVM + snapshot + andmebaas

2013-01-13T19:07:14Z

Ckallas: Blanked the page

Mysql varundamine LVM abil

2013-01-13T19:02:14Z

Ckallas: /* Füüsiline kettajagu */

__TOC__
==Sissejuhatus==

Antud kirjatüki eesmärgiks on tutvustada Logical Volume Manageri kui abivahendit toimivast süsteemist tagavarakoopiate tegemisel. Kuigi failisüsteemi snapshotide tegemine ja nende kasutamine on ainult üks LVM-i pakutavatest võimalustest. LVM - i snapshotide tegemise võimalus pole ainult mysql -i varundamiseks, vaid kasutatav ka muude andmete varukoopiate tegemiseks. Antud juhul on MySQL siin ainult „reisija“ aga protsessi selgitamiseks ja LVM snapshoti kasutamiseks on MySQL näitena väga hea. Kogu seadistamise protsess toimub Ubuntu Linux Server 12.04.1 LTS operatsioonisüsteemis ja kasutab sellega kaasnevaid vahendeid.

==Mis on mis?==
'''Logical Volume Manager''' - LVM

'''Physical Volume''' - PV, plokkseade, füüsiline kettajagu

'''Volume Group''' - VG, kettagrupp

'''Logical Volume''' - LV, loogiline kettajagu

'''Snapshot''' - (hetk)tõmmis

===LVM===
LVM ehk „Logical Volume Manager“ on ketta partitsioonide haldusvahend Linuxi ja UNIX-i laadsete operatsioonisüsteemide juures. LVM moodustab vahekihi failisüsteemi ja füüsilise kõvaketta vahele. Esmapilgul võib tunduda, et LVM on sarnane RAID (Redundant Array of Independent Disks) kettamassiiviga, on ta siiski hoopis paindlikum viis kettajagudega toimetamiseks. RAID võimaldab kettaid omavahel liita, et saada paremaid tulemusi kiiruses, mahus või töökindluses. LVM seevastu võimaldab korraga hallata mitut (ka loogilist) kettajagu, neid vastavalt vajadusele ümber tõsta ja mahtu muuta. Seega on tihti hea mõte neid kahte hoopis koos kasutada (näiteks RAID 10 ja LVM).
Lihtsustatult oleks ettekujutus eri kihtide tasemetest selline:
* Failisüsteemid
* LVM
* RAID (vajadusel)
* füüsilised plokkmäluseadmed (kõvakettad)

===Omadused===
LVM pakutavad võimalused on:
* Failisüsteemi suuruse muutmine
* Failisüsteemi snapshotide tegemine ja kasutamine (nii read-only kui ka read-write)
* Loodud/muudetud partitsioonide kohene kasutamine, kui ketas/partitsioon on mingil moel kasutusel. Fdisk-i kasutamisel tuleb OP-süsteem taaskäivitada.
* Väiksemate füüsiliste plokkseadmete kokku ühendamine, üheks suureks loogiliseks seadmeks. (Nagu RAID)
* Ketaste liigutamine ja ühendamine üle võrgu

Lisainfot LVM-i kohta: http://en.wikipedia.org/wiki/Logical_Volume_Manager_(Linux)

===MySQL===
MySQL on Oracle Corporation poolt hallatav relatsioonilise andmebaasi haldamise süsteem. On äärmiselt populaarne andmebaasisüsteem erinevates veebirakendustes aga ka mõningates suuremates süsteemides. Oma populaarsuse on ta saanud tänu äärmiselt lihtsale hallatavusele ja kasutajasõbralikkusele. Hetkel ei hakka MySQL-i omadustel ja võimalustel pikemalt peatuma. Rohkem informatsiooni leiab: http://www.mysql.com/

==Eeldused==
*Installeeritud Ubuntu Server (vähemalt 12.04 versioon)
*Tutvutud kettajagudega (kiire kordamine näiteks '''[[Osadmin spikker]]''')

'''Viia kõik käsklused läbi sudo kasutaja alt'''
sudo -i

===Ketaste lisamine===
Kõigepealt on vaja lisada serverile kõvaketas, mida hiljem LVM-iga siduma hakata.

[[File:Create_hard_disk.PNG‎|500px]]

Luua uus 4GB ketas, mis on VirtualBox Disk Image (VDI) formaadis ning dünaamiliselt jagatud.

===Vajaliku tarkvara installeerimine===

Et LVM-i ja MySQL-i seadistada on vajalikud teadmised, kuidas toimub Linuxis ketaste ja partitisoonide haldamine ja baasteadmised MySQL-ist.
Kõigepealt on vajalik installeerida lvm2 nimeline pakett, eelnevalt uuendada tarkvaravaramu nimekirja.
<pre>apt-get update
apt-get install lvm2</pre>
Olenevalt operatsioonisüsteemist võib olla vajalikud paketid juba installeeritud, kontrollida saab nii:
<pre>lvm version</pre>

Lisaks on vajalik installeerida MySQL server ja klientprogramm serveriga ühendumiseks.
<pre>apt-get install mysql-server</pre>
NB! Kuna LVM-i kasutuselevõtmine vajab mõningast MySQL-i ümberseadistamist, tuleb arvestada asjaoluga, et MySQL-i data kausta ümbertõstmisel ei pruugi olemasolevad andmed säilida (InnoDB) ja vajalik oleks serveris olevatest andmetest enne .sql kujul tagavarakoopia teha.

==LVM -i seadistamine==

[[File:LVM.jpg|thumb |alt=LVM alt text |LVM]]

LVM ise jaguneb kolmeks eri kihiks: plokkseadmed (PV), kettagrupid (VG), millesse on organiseeritud füüsilised plokkseadmed ja loogilised kettajaod, mis on jagatud kettagrupid.
Iga kihiga toimetamisel on oma käsud, mis viitavad sellele, mis kihiga hetkel toimetatakse: pv*, vg* ning lv*. Näiteks pvcreate, vgcreate ja lvcreate.

Esimese asjana tuleb valida ketas/kettajagu, kus LVM-iga toimetama hakata. Uue ketta puhul oleks võimalusel mõtekas luua üks tervet ketast hõlmav partitsioon.

Operatsioonisüsteem tunnistab näites kasutatavat uut ketast kui /dev/sdb ja seega on näites kasutatavad ketta nimed/asukohad just sellised.

Kõikide olemasolevate partitsioonide kuvamine:
<pre>fdisk -l</pre>

(Kindla partitsiooni vaatamiseks lisada käsu lõppu see partitsioon:)
<pre>fdisk -l /dev/sda</pre>

<pre>fdisk -l 2> /dev/null | grep Disk</pre>
<pre> Disk /dev/sda: 8589 MB, 8589934592 bytes
Disk identifier: 0x000bd8b1
Disk /dev/sdb: 4294 MB, 4294967296 bytes
Disk identifier: 0x11844f48</pre>

===Füüsilise ketta väärtuse muutmine===
Avada fdiskiga uue loodud ketta partitsioon ning luua uus primaarne kettajagu:

<pre>fdisk /dev/sdb
Command (m for help): n

Partition type:
p primary (0 primary, 0 extended, 4 free)
e extended

Select (default p): p

Partition number (1-4, default 1): 1

First sector (2048-8388607, default 2048):
Using default value 2048

Last sector, +sectors or +size{K,M,G} (2048-8388607, default 8388607):
Using default value 8388607</pre>

Print käskluse abil kuvatakse kettajagu, algus, lõpp, blokid, id ning süsteem. Loodud partitsioon on 83 ehk Linux. Partitsiooni süsteemse id muutmiseks kasutatakse '''t'''.

Käsklus '''L''' kuvab kõik kaheksandikkoodid . Linux LVM kood on 8e, et muuta kettajagu Linux LVM-iks on vaja muuta kettajao id 83-lt 8e-ks.
[[file:8e.PNG|500px]]

<pre>
Command (m for help): t
Selected partition 1

Hex code (type L to list codes): 8e
Changed system type of partition 1 to 8e (Linux LVM)

Command (m for help): w
The partition table has been altered!

Calling ioctl() to re-read partition table.
Syncing disks.</pre>

'''NB mitte väljuda q, mis väljub programmist muudatusi salvestamata!'''

===Füüsiline kettajagu===
Järgnevalt anname lvm-ile teada, et loodud partitsioon (/dev/sdb1) on „pv“ ehk physical volume.

<pre>pvcreate /dev/sdb1</pre>

Kui kõik läks hästi siis display käsk peaks kuvama sellise tulemuse:
<pre>pvdisplay</pre>
<pre>"/dev/sdb1" is a new physical volume of "4.00 GiB"
--- NEW Physical volume ---
PV Name /dev/sdb1
VG Name
PV Size 4.00 GiB
Allocatable NO
PE Size 0
Total PE 0
Free PE 0
Allocated PE 0
PV UUID EdmaX9-bXmQ-Oevp-p9W9-I2qY-gpMM-1w77aQ</pre>

===Kettagrupp===
Loome uue „volume group“ -i ja nimetame selle mysql -iks.

<pre>vgcreate mysql /dev/sdb1</pre>

Display käsu tulemus peaks olema sarnane:
<pre>vgdisplay</pre>
<pre> --- Volume group ---
VG Name mysql
System ID
Format lvm2
Metadata Areas 1
Metadata Sequence No 4
VG Access read/write
VG Status resizable
MAX LV 0
Cur LV 2
Open LV 2
Max PV 0
Cur PV 1
Act PV 1
VG Size 4.00 GiB
PE Size 4.00 MiB
Total PE 1023
Alloc PE / Size 512 / 2.00 GiB
Free PE / Size 511 / 2.00 GiB
VG UUID s5AjT8-ss7D-Gm9m-XY6j-ULMv-RLbR-xdy0K6</pre>

Järgnevalt saame luua „volume group“ -ile „logical volumes“ ehk loogilised kettajaod. Need on justkui partitsioonid füüsilisel kõvakettal ja neid saab juba andmete talletamiseks kasutada. Nimetame kettajao nimega data ja määrame tema suuruseks 1GB (antud suurus sobib väga hästi katsetamiseks aga reaalsetes süsteemides tuleb muidugi oluliselt suuremaid numbreid kasutada. ). Suuruse seadistamisel tuleb arvestada, et sama „volume group“ peale tuleb mahutada veel vähemalt üks sama suur loogiline kettajagu, mis on loodava LV snapshot. Näide kui VG suurus on kokku 10GB siis on võimalik teha maksimaalselt 5GB suurune loogiline kettajagu. Vastasel ei mahu tema kõrvale, samale VG-le tehtud LV snapshot.

===Loogiline kettajagu===
Data nimelise 1GB loogilise kettajao loomine:
<pre>lvcreate -n data -L 1GB mysql</pre>

Kontrollime tulemust:
<pre>lvdisplay</pre>
<pre> --- Logical volume ---
LV Name /dev/mysql/data
VG Name mysql
LV UUID SL0yWI-Mc2b-KhkE-V8P1-bW7E-3iL8-8zD6Uf
LV Write Access read/write
LV Status available
# open 0
LV Size 1.00 GiB
Current LE 256
Segments 1
Allocation inherit
Read ahead sectors auto
- currently set to 256
Block device 252:0</pre>

Teadmiseks: lvdisplay käsu käivitamisel on näha parameeter „LV Status“. See näitab, kas kettajagu on saadaval või mitte. Kasutada on võimalik ainult available olekus kettajagu. Eemaldada saab ainult NOT available olekus kettajagusid. Kettajao NOT available olekusse viimiseks saab kasutada käsku:

<pre>lvchange -a n /dev/mysql/data</pre>
ja tagasi:
<pre>lvchange -a y /dev/mysql/data</pre>

===Failisüsteemi loomine ja ühendamine===
Nüüd on loodud uus kettajagu, mida saab andmete säiltamiseks kasutada. Loome sellele kettajaole failisüsteemi:
<pre>mkfs -t ext4 /dev/mysql/data</pre>

Järgmisena tuleb loodud kettajagu kuhugile mountida. Mina teen sellejaoks /srv/mysql kausta ja haagin ketta sinna.

<pre>mkdir /srv/mysql
mount /dev/mysql/data /srv/mysql</pre>

Lisame '''/etc/fstab''' faili lõppu kirje, et ka järgmisel süsteemi käivitamisel oleks ketas kohe külgehaagitud

<pre>
<file system> <mount point> <type> <options> <dump> <pass>
/dev/mysql/data /srv/mysql ext4 defaults 0 0</pre>

==MySQL seadistamine==
Muudame kausta õigused mysql-ile sobivaks (kausta omanik on kasutaja mysql ja kaustale on ligipääs ainult kausta omanikul)
<pre>chown mysql:mysql /srv/mysql
chmod 0700 /srv/mysql</pre>

Nüüd tuleb olemasolev mysql data kaust liigutada /srv/mysql kausta. Esimese asjana peatada mysql server
<pre>service mysql stop</pre>

Kopeerime (!) kogu mysql-i data kausta loodud lvm kettajaole. Ubuntus (ilmselt ka paljudes teistes operatsioonisüsteemides) asub mysq-i data kaust /var/lib/mysql. Oleks vägagi soovitatav jätta andmed vanasse kausta alles ja kustuta see alles siis kui ollakse täiesti kindel, et server töötab tõrgeteta.
<pre>cp -ar /var/lib/mysql/. /srv/mysql</pre>

Seejärel tuleb mysql-i konfiguratsioonifailis ('''/etc/mysql/my.cnf''') muuta ära „datadir“ parameeter
<pre>datadir = /var/lib/mysql -> datadir = /srv/mysql</pre>

Teadmiseks: alates Ubuntu 7.10 -st on operatsioonisüsteemiga kaasas programm nimega „AppArmor“ (Loe lähemalt: https://wiki.itcollege.ee/index.php/AppArmor). Tegemist on kerneli turvamooduliga, mis teatavate programmide puhul piirab nende ligipääsu failisüsteemile. Et MySQL server uuesti korrektselt käivituks, tuleb „AppArmor“ -is mysq-i seadistust muuta. Sobiva tekstieditoriga tuleb avada ''''/etc/apparmor.d/usr.sbin.mysqld''' konfifail ja teha seal vajalikud muudatused :
<pre>/var/lib/mysql/ r, -> /srv/mysql r,
/var/lib/mysql/** rwk, -> /srv/mysql** rwk,</pre>

Seejärel on vaja teha AppArmorile restart
<pre>service apparmor restart</pre>

Osadel operatsioonisüsteemidel võib ka init skript ette anda, kus asub mysql-i datadir. Seega oleks mõistlik ka see '''/etc/init.d/mysql''' skriptist üle vaadata.

Käivitame uuesti mysql-i serveri:

<pre>service mysql start</pre>

Kontrollime mysql-i muutujaid:
<pre>mysqladmin -u [mysql-kasutaja] -p variables | grep datadir</pre>
<pre>Enter password: [mysql-parool]
| datadir | /srv/mysql/
</pre>
Lisaks tuleks sobiva mysql kliendiga serverisse sisse logida ja kontrollida üle, kas kõik jäi korrektselt tööle.

Nüüd, kui MySQL server on korrektselt tööle hakanud ja tekib vajadus varukoopiate tegemiseks. Töötavast serverist snapshoti tegemisel pole vajalik eelnev serveri väljalülitamine. Snapshoti tegemise protsess on äärmiselt kiire ja andmete lugemine andmebaasist toimib endiselt edasi. Samas andmete kirjutamise protsess viibib seni kuni andmebaasilt kirjutamise lukk maha võetakse (kõik kirjutamise käsud täidetakse kohe peale luku vabastamist).
Ehkki varukoopia tegemise protsess ei tekita katkestusi serveri töös, oleks hea mõte teha varukoopiaid sellisel ajal kui serveril on kõige väiksem koormus.
On vajalik teada, et andmebaas lukustatakse ainult selleks ajaks, kui mysql serverisse on sisse logitud. Kohe kui sessioon lõpetatakse, vabastatakse ka lukud. Seetõttu peab snaspshoti tegemise ajal olema serverisse sisse logitud. Variant on kasutada kahte terminali sessiooni aga vajalikke käske saab käivitada ka MySQL-i käsurealt (vajalik on mysql-i klient käivitada root kasutaja õigustes).
<pre>mysql -u [root] -p
Enter password:</pre>

Protseduuri ajaks on vajalik keelata ära andmete kirjutamine:
<pre>mysql> FLUSH TABLES WITH READ LOCK;</pre>
<pre>Query OK, 0 rows affected (0.00 sec)</pre>
Lisaks võiks tühjendada ka logid:
<pre>mysql> FLUSH LOGS;</pre>
<pre>Query OK, 0 rows affected (0.00 sec)</pre>

==Tõmmise tegemine==
<pre>
mysql> SYSTEM /sbin/lvcreate -L 1G --snapshot -n sql_backup /dev/mysql/data
File descriptor 3 (socket:[15065]) leaked on lvcreate invocation. Parent PID 3514: sh
Logical volume "sql_backup" created
mysql> UNLOCK TABLES;
Query OK, 0 rows affected (0.01 sec)

mysql> exit
Bye
</pre>
Snapshoti kettajagu nimetati kui sql_backup ja viide loogilisele seadmele asub /dev/mysql/sql_backup. Käivitades käsu „lvs“, saab näha, et lisaks mysql/data LV-le on juurde tekkinud mysql/sql_backup
<pre>lvs</pre>
<pre>LV VG Attr LSize Origin Snap% Move Log Copy% Convert
data mysql owi-ao 1.00g
sql_backup mysql swi-a- 1.00g data 0.00
</pre>
Kui nüüd haakida tehtud snapshoti kettajagu, on seal kättesaadav kogu mysql-i data sellel hetkel, kui snapshot tehti.
<pre>mkdir /mnt/bk
mount /dev/mysql/sql_backup /mnt/bk
ls -la /mnt/bk</pre>
<pre>total 28720
drwx------ 8 mysql mysql 4096 Dec 12 15:59 .
drwxr-xr-x 3 root root 4096 Dec 12 16:34 ..
-rw-r--r-- 1 root root 0 Nov 30 17:18 debian-5.5.flag
-rw-rw---- 1 mysql mysql 18874368 Dec 12 16:18 ibdata1
-rw-rw---- 1 mysql mysql 5242880 Dec 12 16:18 ib_logfile0
-rw-rw---- 1 mysql mysql 5242880 Nov 30 17:18 ib_logfile1
drwx------ 2 root root 16384 Dec 12 15:58 lost+found
drwx------ 2 mysql root 4096 Nov 30 17:18 mysql
-rw-rw---- 1 root root 6 Nov 30 17:18 mysql_upgrade_info
drwx------ 2 mysql mysql 4096 Nov 30 17:18 performance_schema
drwx------ 2 mysql mysql 4096 Nov 30 17:28 phpmyadmin
drwx------ 2 mysql root 4096 Dec 12 16:18 test
drwx------ 2 mysql mysql 4096 Nov 30 17:33 wp
</pre>
MySQL-i server töötab peale snapshoti tegemist katkestusteta edasi. Tehtud snapshoti andmeid võib varundada arhiivi jaoks. Andmete varundamisel tuleb spashoti kettajagu failisüsteemi külge haakida ja selle sisu „tar“-i abil arhiveerida ja hiljem eemaldada snapshoti kettajagu

<pre>mkdir -p /var/teekond/arhiivi
tar -cjf [/var/teekond/arhiivi/][kuupäev].tar.bz2 -C /mnt/bk
umount /dev/mysql/sql_backup
lvremove /dev/mysql/sql_backup
Do you really want to remove active logical volume sql_backup? [y/n]: Y
Logical volume "sql_backup" successfully removed
</pre>

Tulemuseks nüüd loogilise kettajao vaatamisele on:
<pre>lvdisplay</pre>
<pre> --- Logical volume ---
LV Name /dev/mysql/data
VG Name mysql
LV UUID ZIMxmO-kUQR-u4gD-Wk9m-0MCK-kqwx-1kMaVP
LV Write Access read/write
LV snapshot status source of
/dev/mysql/sql_backup [active]
LV Status available
# open 1
LV Size 1.00 GiB
Current LE 256
Segments 1
Allocation inherit
Read ahead sectors auto
- currently set to 256
Block device 252:1

--- Logical volume ---
LV Name /dev/mysql/sql_backup
VG Name mysql
LV UUID XMqxEq-yRhp-u8lf-mZ9U-1R2F-fBlf-5hoEeR
LV Write Access read/write
LV snapshot status active destination for /dev/mysql/data
LV Status available
# open 0
LV Size 1.00 GiB
Current LE 256
COW-table size 1.00 GiB
COW-table LE 256
Allocated to snapshot 0.02%
Snapshot chunk size 4.00 KiB
Segments 1
Allocation inherit
Read ahead sectors auto
- currently set to 256
Block device 252:3
</pre>

'''Kuna tõmmis kasvab koos originaalkettajaoga on tähtis jälgida, et tõmmis protsentuaalselt täis ei saaks. Regulaarselt tuleb mahtuvust kontrollida lvs käsuga. 100% täitunud tõmmisele ei saa enam juurde kirjutada ning sellega andmeterviklikkus rikutakse ära!'''

<pre>lvs</pre>
<pre> LV VG Attr LSize Origin Snap% Move Log Copy% Convert
data mysql owi-ao 1.00g
sql_backup mysql swi-a- 1.00g data 0.02
</pre>

Kogu protseduuri automatiseerimiseks on võimalik koostada ka skript, mida saab käivitada sobival aja või kasutades „cron“ ajastamise vahendeid.

Lisaks on võimalik mysql-i data kaust haakida ümber snapshoti kettajaole ja taastada server sellesse seisu, mis oli snapshoti tegemise hetkel minimaalse katkestuse ajaga.

==Kokkuvõte==

LVM -i kasutamine varundamisel on väikestes ja mittekriitilistes süsteemides küllaltki hea lahendus. See ei nõua eriteadmisi ja kallist riistvara/tarkvara. Kuid suurematesse ja keerukamatesse lahendustesse see ei sobi, kuna see ainult aitab luua snapshoti hetke seisust aga ei paku võimalust seda eraldi salvestada. Arhiveerimiseks tuleb kasutada eraldi vahendeid ja selle protseduuri käigus võib minna kaduma vajalikke andmeid. Ka ei võistle LVM proffessionaalsete vahenditega nagu Arkeia (http://www.arkeia.com/) või BrightStor, mis on just varundamise lahenduste jaoks loodud ja muudavad antud tegemise mugavaks ja kiireks.

==Kasutatud kirjandus==
http://kuutorvaja.eenet.ee/wiki/LVM 
http://www.web-manual.net/linux-3/logical-volume-manager-in-linux/ 
http://www.lullabot.com/articles/mysql-backups-using-lvm-snapshots 
http://www.ubuntugeek.com/how-to-change-the-mysql-data-default-directory.html 
https://wiki.ubuntu.com/Lvm 
http://linuxconfig.org/Linux_lvm_-_Logical_Volume_Manager 
Loodus, Katrin. Andmesalvestustehnoloogiad - loeng 4.1 Ülevaade Logical Volume Manager-ist [https://wiki.itcollege.ee/index.php/Category:Andmesalvestustehnoloogiad]

"7 Linux fdisk Command Examples to Manage Hard Disk Partition" [http://www.thegeekstuff.com/2010/09/linux-fdisk/]

"LVM" [https://wiki.ubuntu.com/Lvm]

==Autor==
Madis Lauri
AK 31
[[Category:Operatsioonisüsteemide administreerimine ja sidumine]]

'''Täiendamine:'''

Carolys Kallas A32

Aine: Linuxi administreerimine

Viimati muudetud: 13.01.2013

Mysql varundamine LVM abil

2013-01-13T19:01:39Z

Ckallas: /* Kettagrupp */

__TOC__
==Sissejuhatus==

Antud kirjatüki eesmärgiks on tutvustada Logical Volume Manageri kui abivahendit toimivast süsteemist tagavarakoopiate tegemisel. Kuigi failisüsteemi snapshotide tegemine ja nende kasutamine on ainult üks LVM-i pakutavatest võimalustest. LVM - i snapshotide tegemise võimalus pole ainult mysql -i varundamiseks, vaid kasutatav ka muude andmete varukoopiate tegemiseks. Antud juhul on MySQL siin ainult „reisija“ aga protsessi selgitamiseks ja LVM snapshoti kasutamiseks on MySQL näitena väga hea. Kogu seadistamise protsess toimub Ubuntu Linux Server 12.04.1 LTS operatsioonisüsteemis ja kasutab sellega kaasnevaid vahendeid.

==Mis on mis?==
'''Logical Volume Manager''' - LVM

'''Physical Volume''' - PV, plokkseade, füüsiline kettajagu

'''Volume Group''' - VG, kettagrupp

'''Logical Volume''' - LV, loogiline kettajagu

'''Snapshot''' - (hetk)tõmmis

===LVM===
LVM ehk „Logical Volume Manager“ on ketta partitsioonide haldusvahend Linuxi ja UNIX-i laadsete operatsioonisüsteemide juures. LVM moodustab vahekihi failisüsteemi ja füüsilise kõvaketta vahele. Esmapilgul võib tunduda, et LVM on sarnane RAID (Redundant Array of Independent Disks) kettamassiiviga, on ta siiski hoopis paindlikum viis kettajagudega toimetamiseks. RAID võimaldab kettaid omavahel liita, et saada paremaid tulemusi kiiruses, mahus või töökindluses. LVM seevastu võimaldab korraga hallata mitut (ka loogilist) kettajagu, neid vastavalt vajadusele ümber tõsta ja mahtu muuta. Seega on tihti hea mõte neid kahte hoopis koos kasutada (näiteks RAID 10 ja LVM).
Lihtsustatult oleks ettekujutus eri kihtide tasemetest selline:
* Failisüsteemid
* LVM
* RAID (vajadusel)
* füüsilised plokkmäluseadmed (kõvakettad)

===Omadused===
LVM pakutavad võimalused on:
* Failisüsteemi suuruse muutmine
* Failisüsteemi snapshotide tegemine ja kasutamine (nii read-only kui ka read-write)
* Loodud/muudetud partitsioonide kohene kasutamine, kui ketas/partitsioon on mingil moel kasutusel. Fdisk-i kasutamisel tuleb OP-süsteem taaskäivitada.
* Väiksemate füüsiliste plokkseadmete kokku ühendamine, üheks suureks loogiliseks seadmeks. (Nagu RAID)
* Ketaste liigutamine ja ühendamine üle võrgu

Lisainfot LVM-i kohta: http://en.wikipedia.org/wiki/Logical_Volume_Manager_(Linux)

===MySQL===
MySQL on Oracle Corporation poolt hallatav relatsioonilise andmebaasi haldamise süsteem. On äärmiselt populaarne andmebaasisüsteem erinevates veebirakendustes aga ka mõningates suuremates süsteemides. Oma populaarsuse on ta saanud tänu äärmiselt lihtsale hallatavusele ja kasutajasõbralikkusele. Hetkel ei hakka MySQL-i omadustel ja võimalustel pikemalt peatuma. Rohkem informatsiooni leiab: http://www.mysql.com/

==Eeldused==
*Installeeritud Ubuntu Server (vähemalt 12.04 versioon)
*Tutvutud kettajagudega (kiire kordamine näiteks '''[[Osadmin spikker]]''')

'''Viia kõik käsklused läbi sudo kasutaja alt'''
sudo -i

===Ketaste lisamine===
Kõigepealt on vaja lisada serverile kõvaketas, mida hiljem LVM-iga siduma hakata.

[[File:Create_hard_disk.PNG‎|500px]]

Luua uus 4GB ketas, mis on VirtualBox Disk Image (VDI) formaadis ning dünaamiliselt jagatud.

===Vajaliku tarkvara installeerimine===

Et LVM-i ja MySQL-i seadistada on vajalikud teadmised, kuidas toimub Linuxis ketaste ja partitisoonide haldamine ja baasteadmised MySQL-ist.
Kõigepealt on vajalik installeerida lvm2 nimeline pakett, eelnevalt uuendada tarkvaravaramu nimekirja.
<pre>apt-get update
apt-get install lvm2</pre>
Olenevalt operatsioonisüsteemist võib olla vajalikud paketid juba installeeritud, kontrollida saab nii:
<pre>lvm version</pre>

Lisaks on vajalik installeerida MySQL server ja klientprogramm serveriga ühendumiseks.
<pre>apt-get install mysql-server</pre>
NB! Kuna LVM-i kasutuselevõtmine vajab mõningast MySQL-i ümberseadistamist, tuleb arvestada asjaoluga, et MySQL-i data kausta ümbertõstmisel ei pruugi olemasolevad andmed säilida (InnoDB) ja vajalik oleks serveris olevatest andmetest enne .sql kujul tagavarakoopia teha.

==LVM -i seadistamine==

[[File:LVM.jpg|thumb |alt=LVM alt text |LVM]]

LVM ise jaguneb kolmeks eri kihiks: plokkseadmed (PV), kettagrupid (VG), millesse on organiseeritud füüsilised plokkseadmed ja loogilised kettajaod, mis on jagatud kettagrupid.
Iga kihiga toimetamisel on oma käsud, mis viitavad sellele, mis kihiga hetkel toimetatakse: pv*, vg* ning lv*. Näiteks pvcreate, vgcreate ja lvcreate.

Esimese asjana tuleb valida ketas/kettajagu, kus LVM-iga toimetama hakata. Uue ketta puhul oleks võimalusel mõtekas luua üks tervet ketast hõlmav partitsioon.

Operatsioonisüsteem tunnistab näites kasutatavat uut ketast kui /dev/sdb ja seega on näites kasutatavad ketta nimed/asukohad just sellised.

Kõikide olemasolevate partitsioonide kuvamine:
<pre>fdisk -l</pre>

(Kindla partitsiooni vaatamiseks lisada käsu lõppu see partitsioon:)
<pre>fdisk -l /dev/sda</pre>

<pre>fdisk -l 2> /dev/null | grep Disk</pre>
<pre> Disk /dev/sda: 8589 MB, 8589934592 bytes
Disk identifier: 0x000bd8b1
Disk /dev/sdb: 4294 MB, 4294967296 bytes
Disk identifier: 0x11844f48</pre>

===Füüsilise ketta väärtuse muutmine===
Avada fdiskiga uue loodud ketta partitsioon ning luua uus primaarne kettajagu:

<pre>fdisk /dev/sdb
Command (m for help): n

Partition type:
p primary (0 primary, 0 extended, 4 free)
e extended

Select (default p): p

Partition number (1-4, default 1): 1

First sector (2048-8388607, default 2048):
Using default value 2048

Last sector, +sectors or +size{K,M,G} (2048-8388607, default 8388607):
Using default value 8388607</pre>

Print käskluse abil kuvatakse kettajagu, algus, lõpp, blokid, id ning süsteem. Loodud partitsioon on 83 ehk Linux. Partitsiooni süsteemse id muutmiseks kasutatakse '''t'''.

Käsklus '''L''' kuvab kõik kaheksandikkoodid . Linux LVM kood on 8e, et muuta kettajagu Linux LVM-iks on vaja muuta kettajao id 83-lt 8e-ks.
[[file:8e.PNG|500px]]

<pre>
Command (m for help): t
Selected partition 1

Hex code (type L to list codes): 8e
Changed system type of partition 1 to 8e (Linux LVM)

Command (m for help): w
The partition table has been altered!

Calling ioctl() to re-read partition table.
Syncing disks.</pre>

'''NB mitte väljuda q, mis väljub programmist muudatusi salvestamata!'''

===Füüsiline kettajagu===
Järgnevalt anname lvm-ile teada, et loodud partitsioon on „pv“ ehk physical volume.

<pre>pvcreate /dev/sdb1</pre>
Tulemusena luuakse füüsiline kettajagu /dev/sdb1

Kui kõik läks hästi siis display käsk peaks kuvama sellise tulemuse:
<pre>pvdisplay</pre>
<pre>"/dev/sdb1" is a new physical volume of "4.00 GiB"
--- NEW Physical volume ---
PV Name /dev/sdb1
VG Name
PV Size 4.00 GiB
Allocatable NO
PE Size 0
Total PE 0
Free PE 0
Allocated PE 0
PV UUID EdmaX9-bXmQ-Oevp-p9W9-I2qY-gpMM-1w77aQ</pre>

===Kettagrupp===
Loome uue „volume group“ -i ja nimetame selle mysql -iks.

<pre>vgcreate mysql /dev/sdb1</pre>

Display käsu tulemus peaks olema sarnane:
<pre>vgdisplay</pre>
<pre> --- Volume group ---
VG Name mysql
System ID
Format lvm2
Metadata Areas 1
Metadata Sequence No 4
VG Access read/write
VG Status resizable
MAX LV 0
Cur LV 2
Open LV 2
Max PV 0
Cur PV 1
Act PV 1
VG Size 4.00 GiB
PE Size 4.00 MiB
Total PE 1023
Alloc PE / Size 512 / 2.00 GiB
Free PE / Size 511 / 2.00 GiB
VG UUID s5AjT8-ss7D-Gm9m-XY6j-ULMv-RLbR-xdy0K6</pre>

Järgnevalt saame luua „volume group“ -ile „logical volumes“ ehk loogilised kettajaod. Need on justkui partitsioonid füüsilisel kõvakettal ja neid saab juba andmete talletamiseks kasutada. Nimetame kettajao nimega data ja määrame tema suuruseks 1GB (antud suurus sobib väga hästi katsetamiseks aga reaalsetes süsteemides tuleb muidugi oluliselt suuremaid numbreid kasutada. ). Suuruse seadistamisel tuleb arvestada, et sama „volume group“ peale tuleb mahutada veel vähemalt üks sama suur loogiline kettajagu, mis on loodava LV snapshot. Näide kui VG suurus on kokku 10GB siis on võimalik teha maksimaalselt 5GB suurune loogiline kettajagu. Vastasel ei mahu tema kõrvale, samale VG-le tehtud LV snapshot.

===Loogiline kettajagu===
Data nimelise 1GB loogilise kettajao loomine:
<pre>lvcreate -n data -L 1GB mysql</pre>

Kontrollime tulemust:
<pre>lvdisplay</pre>
<pre> --- Logical volume ---
LV Name /dev/mysql/data
VG Name mysql
LV UUID SL0yWI-Mc2b-KhkE-V8P1-bW7E-3iL8-8zD6Uf
LV Write Access read/write
LV Status available
# open 0
LV Size 1.00 GiB
Current LE 256
Segments 1
Allocation inherit
Read ahead sectors auto
- currently set to 256
Block device 252:0</pre>

Teadmiseks: lvdisplay käsu käivitamisel on näha parameeter „LV Status“. See näitab, kas kettajagu on saadaval või mitte. Kasutada on võimalik ainult available olekus kettajagu. Eemaldada saab ainult NOT available olekus kettajagusid. Kettajao NOT available olekusse viimiseks saab kasutada käsku:

<pre>lvchange -a n /dev/mysql/data</pre>
ja tagasi:
<pre>lvchange -a y /dev/mysql/data</pre>

===Failisüsteemi loomine ja ühendamine===
Nüüd on loodud uus kettajagu, mida saab andmete säiltamiseks kasutada. Loome sellele kettajaole failisüsteemi:
<pre>mkfs -t ext4 /dev/mysql/data</pre>

Järgmisena tuleb loodud kettajagu kuhugile mountida. Mina teen sellejaoks /srv/mysql kausta ja haagin ketta sinna.

<pre>mkdir /srv/mysql
mount /dev/mysql/data /srv/mysql</pre>

Lisame '''/etc/fstab''' faili lõppu kirje, et ka järgmisel süsteemi käivitamisel oleks ketas kohe külgehaagitud

<pre>
<file system> <mount point> <type> <options> <dump> <pass>
/dev/mysql/data /srv/mysql ext4 defaults 0 0</pre>

==MySQL seadistamine==
Muudame kausta õigused mysql-ile sobivaks (kausta omanik on kasutaja mysql ja kaustale on ligipääs ainult kausta omanikul)
<pre>chown mysql:mysql /srv/mysql
chmod 0700 /srv/mysql</pre>

Nüüd tuleb olemasolev mysql data kaust liigutada /srv/mysql kausta. Esimese asjana peatada mysql server
<pre>service mysql stop</pre>

Kopeerime (!) kogu mysql-i data kausta loodud lvm kettajaole. Ubuntus (ilmselt ka paljudes teistes operatsioonisüsteemides) asub mysq-i data kaust /var/lib/mysql. Oleks vägagi soovitatav jätta andmed vanasse kausta alles ja kustuta see alles siis kui ollakse täiesti kindel, et server töötab tõrgeteta.
<pre>cp -ar /var/lib/mysql/. /srv/mysql</pre>

Seejärel tuleb mysql-i konfiguratsioonifailis ('''/etc/mysql/my.cnf''') muuta ära „datadir“ parameeter
<pre>datadir = /var/lib/mysql -> datadir = /srv/mysql</pre>

Teadmiseks: alates Ubuntu 7.10 -st on operatsioonisüsteemiga kaasas programm nimega „AppArmor“ (Loe lähemalt: https://wiki.itcollege.ee/index.php/AppArmor). Tegemist on kerneli turvamooduliga, mis teatavate programmide puhul piirab nende ligipääsu failisüsteemile. Et MySQL server uuesti korrektselt käivituks, tuleb „AppArmor“ -is mysq-i seadistust muuta. Sobiva tekstieditoriga tuleb avada ''''/etc/apparmor.d/usr.sbin.mysqld''' konfifail ja teha seal vajalikud muudatused :
<pre>/var/lib/mysql/ r, -> /srv/mysql r,
/var/lib/mysql/** rwk, -> /srv/mysql** rwk,</pre>

Seejärel on vaja teha AppArmorile restart
<pre>service apparmor restart</pre>

Osadel operatsioonisüsteemidel võib ka init skript ette anda, kus asub mysql-i datadir. Seega oleks mõistlik ka see '''/etc/init.d/mysql''' skriptist üle vaadata.

Käivitame uuesti mysql-i serveri:

<pre>service mysql start</pre>

Kontrollime mysql-i muutujaid:
<pre>mysqladmin -u [mysql-kasutaja] -p variables | grep datadir</pre>
<pre>Enter password: [mysql-parool]
| datadir | /srv/mysql/
</pre>
Lisaks tuleks sobiva mysql kliendiga serverisse sisse logida ja kontrollida üle, kas kõik jäi korrektselt tööle.

Nüüd, kui MySQL server on korrektselt tööle hakanud ja tekib vajadus varukoopiate tegemiseks. Töötavast serverist snapshoti tegemisel pole vajalik eelnev serveri väljalülitamine. Snapshoti tegemise protsess on äärmiselt kiire ja andmete lugemine andmebaasist toimib endiselt edasi. Samas andmete kirjutamise protsess viibib seni kuni andmebaasilt kirjutamise lukk maha võetakse (kõik kirjutamise käsud täidetakse kohe peale luku vabastamist).
Ehkki varukoopia tegemise protsess ei tekita katkestusi serveri töös, oleks hea mõte teha varukoopiaid sellisel ajal kui serveril on kõige väiksem koormus.
On vajalik teada, et andmebaas lukustatakse ainult selleks ajaks, kui mysql serverisse on sisse logitud. Kohe kui sessioon lõpetatakse, vabastatakse ka lukud. Seetõttu peab snaspshoti tegemise ajal olema serverisse sisse logitud. Variant on kasutada kahte terminali sessiooni aga vajalikke käske saab käivitada ka MySQL-i käsurealt (vajalik on mysql-i klient käivitada root kasutaja õigustes).
<pre>mysql -u [root] -p
Enter password:</pre>

Protseduuri ajaks on vajalik keelata ära andmete kirjutamine:
<pre>mysql> FLUSH TABLES WITH READ LOCK;</pre>
<pre>Query OK, 0 rows affected (0.00 sec)</pre>
Lisaks võiks tühjendada ka logid:
<pre>mysql> FLUSH LOGS;</pre>
<pre>Query OK, 0 rows affected (0.00 sec)</pre>

==Tõmmise tegemine==
<pre>
mysql> SYSTEM /sbin/lvcreate -L 1G --snapshot -n sql_backup /dev/mysql/data
File descriptor 3 (socket:[15065]) leaked on lvcreate invocation. Parent PID 3514: sh
Logical volume "sql_backup" created
mysql> UNLOCK TABLES;
Query OK, 0 rows affected (0.01 sec)

mysql> exit
Bye
</pre>
Snapshoti kettajagu nimetati kui sql_backup ja viide loogilisele seadmele asub /dev/mysql/sql_backup. Käivitades käsu „lvs“, saab näha, et lisaks mysql/data LV-le on juurde tekkinud mysql/sql_backup
<pre>lvs</pre>
<pre>LV VG Attr LSize Origin Snap% Move Log Copy% Convert
data mysql owi-ao 1.00g
sql_backup mysql swi-a- 1.00g data 0.00
</pre>
Kui nüüd haakida tehtud snapshoti kettajagu, on seal kättesaadav kogu mysql-i data sellel hetkel, kui snapshot tehti.
<pre>mkdir /mnt/bk
mount /dev/mysql/sql_backup /mnt/bk
ls -la /mnt/bk</pre>
<pre>total 28720
drwx------ 8 mysql mysql 4096 Dec 12 15:59 .
drwxr-xr-x 3 root root 4096 Dec 12 16:34 ..
-rw-r--r-- 1 root root 0 Nov 30 17:18 debian-5.5.flag
-rw-rw---- 1 mysql mysql 18874368 Dec 12 16:18 ibdata1
-rw-rw---- 1 mysql mysql 5242880 Dec 12 16:18 ib_logfile0
-rw-rw---- 1 mysql mysql 5242880 Nov 30 17:18 ib_logfile1
drwx------ 2 root root 16384 Dec 12 15:58 lost+found
drwx------ 2 mysql root 4096 Nov 30 17:18 mysql
-rw-rw---- 1 root root 6 Nov 30 17:18 mysql_upgrade_info
drwx------ 2 mysql mysql 4096 Nov 30 17:18 performance_schema
drwx------ 2 mysql mysql 4096 Nov 30 17:28 phpmyadmin
drwx------ 2 mysql root 4096 Dec 12 16:18 test
drwx------ 2 mysql mysql 4096 Nov 30 17:33 wp
</pre>
MySQL-i server töötab peale snapshoti tegemist katkestusteta edasi. Tehtud snapshoti andmeid võib varundada arhiivi jaoks. Andmete varundamisel tuleb spashoti kettajagu failisüsteemi külge haakida ja selle sisu „tar“-i abil arhiveerida ja hiljem eemaldada snapshoti kettajagu

<pre>mkdir -p /var/teekond/arhiivi
tar -cjf [/var/teekond/arhiivi/][kuupäev].tar.bz2 -C /mnt/bk
umount /dev/mysql/sql_backup
lvremove /dev/mysql/sql_backup
Do you really want to remove active logical volume sql_backup? [y/n]: Y
Logical volume "sql_backup" successfully removed
</pre>

Tulemuseks nüüd loogilise kettajao vaatamisele on:
<pre>lvdisplay</pre>
<pre> --- Logical volume ---
LV Name /dev/mysql/data
VG Name mysql
LV UUID ZIMxmO-kUQR-u4gD-Wk9m-0MCK-kqwx-1kMaVP
LV Write Access read/write
LV snapshot status source of
/dev/mysql/sql_backup [active]
LV Status available
# open 1
LV Size 1.00 GiB
Current LE 256
Segments 1
Allocation inherit
Read ahead sectors auto
- currently set to 256
Block device 252:1

--- Logical volume ---
LV Name /dev/mysql/sql_backup
VG Name mysql
LV UUID XMqxEq-yRhp-u8lf-mZ9U-1R2F-fBlf-5hoEeR
LV Write Access read/write
LV snapshot status active destination for /dev/mysql/data
LV Status available
# open 0
LV Size 1.00 GiB
Current LE 256
COW-table size 1.00 GiB
COW-table LE 256
Allocated to snapshot 0.02%
Snapshot chunk size 4.00 KiB
Segments 1
Allocation inherit
Read ahead sectors auto
- currently set to 256
Block device 252:3
</pre>

'''Kuna tõmmis kasvab koos originaalkettajaoga on tähtis jälgida, et tõmmis protsentuaalselt täis ei saaks. Regulaarselt tuleb mahtuvust kontrollida lvs käsuga. 100% täitunud tõmmisele ei saa enam juurde kirjutada ning sellega andmeterviklikkus rikutakse ära!'''

<pre>lvs</pre>
<pre> LV VG Attr LSize Origin Snap% Move Log Copy% Convert
data mysql owi-ao 1.00g
sql_backup mysql swi-a- 1.00g data 0.02
</pre>

Kogu protseduuri automatiseerimiseks on võimalik koostada ka skript, mida saab käivitada sobival aja või kasutades „cron“ ajastamise vahendeid.

Lisaks on võimalik mysql-i data kaust haakida ümber snapshoti kettajaole ja taastada server sellesse seisu, mis oli snapshoti tegemise hetkel minimaalse katkestuse ajaga.

==Kokkuvõte==

LVM -i kasutamine varundamisel on väikestes ja mittekriitilistes süsteemides küllaltki hea lahendus. See ei nõua eriteadmisi ja kallist riistvara/tarkvara. Kuid suurematesse ja keerukamatesse lahendustesse see ei sobi, kuna see ainult aitab luua snapshoti hetke seisust aga ei paku võimalust seda eraldi salvestada. Arhiveerimiseks tuleb kasutada eraldi vahendeid ja selle protseduuri käigus võib minna kaduma vajalikke andmeid. Ka ei võistle LVM proffessionaalsete vahenditega nagu Arkeia (http://www.arkeia.com/) või BrightStor, mis on just varundamise lahenduste jaoks loodud ja muudavad antud tegemise mugavaks ja kiireks.

==Kasutatud kirjandus==
http://kuutorvaja.eenet.ee/wiki/LVM 
http://www.web-manual.net/linux-3/logical-volume-manager-in-linux/ 
http://www.lullabot.com/articles/mysql-backups-using-lvm-snapshots 
http://www.ubuntugeek.com/how-to-change-the-mysql-data-default-directory.html 
https://wiki.ubuntu.com/Lvm 
http://linuxconfig.org/Linux_lvm_-_Logical_Volume_Manager 
Loodus, Katrin. Andmesalvestustehnoloogiad - loeng 4.1 Ülevaade Logical Volume Manager-ist [https://wiki.itcollege.ee/index.php/Category:Andmesalvestustehnoloogiad]

"7 Linux fdisk Command Examples to Manage Hard Disk Partition" [http://www.thegeekstuff.com/2010/09/linux-fdisk/]

"LVM" [https://wiki.ubuntu.com/Lvm]

==Autor==
Madis Lauri
AK 31
[[Category:Operatsioonisüsteemide administreerimine ja sidumine]]

'''Täiendamine:'''

Carolys Kallas A32

Aine: Linuxi administreerimine

Viimati muudetud: 13.01.2013

Mysql varundamine LVM abil

2013-01-13T18:58:10Z

Ckallas: /* Kettagrupp */

__TOC__
==Sissejuhatus==

Antud kirjatüki eesmärgiks on tutvustada Logical Volume Manageri kui abivahendit toimivast süsteemist tagavarakoopiate tegemisel. Kuigi failisüsteemi snapshotide tegemine ja nende kasutamine on ainult üks LVM-i pakutavatest võimalustest. LVM - i snapshotide tegemise võimalus pole ainult mysql -i varundamiseks, vaid kasutatav ka muude andmete varukoopiate tegemiseks. Antud juhul on MySQL siin ainult „reisija“ aga protsessi selgitamiseks ja LVM snapshoti kasutamiseks on MySQL näitena väga hea. Kogu seadistamise protsess toimub Ubuntu Linux Server 12.04.1 LTS operatsioonisüsteemis ja kasutab sellega kaasnevaid vahendeid.

==Mis on mis?==
'''Logical Volume Manager''' - LVM

'''Physical Volume''' - PV, plokkseade, füüsiline kettajagu

'''Volume Group''' - VG, kettagrupp

'''Logical Volume''' - LV, loogiline kettajagu

'''Snapshot''' - (hetk)tõmmis

===LVM===
LVM ehk „Logical Volume Manager“ on ketta partitsioonide haldusvahend Linuxi ja UNIX-i laadsete operatsioonisüsteemide juures. LVM moodustab vahekihi failisüsteemi ja füüsilise kõvaketta vahele. Esmapilgul võib tunduda, et LVM on sarnane RAID (Redundant Array of Independent Disks) kettamassiiviga, on ta siiski hoopis paindlikum viis kettajagudega toimetamiseks. RAID võimaldab kettaid omavahel liita, et saada paremaid tulemusi kiiruses, mahus või töökindluses. LVM seevastu võimaldab korraga hallata mitut (ka loogilist) kettajagu, neid vastavalt vajadusele ümber tõsta ja mahtu muuta. Seega on tihti hea mõte neid kahte hoopis koos kasutada (näiteks RAID 10 ja LVM).
Lihtsustatult oleks ettekujutus eri kihtide tasemetest selline:
* Failisüsteemid
* LVM
* RAID (vajadusel)
* füüsilised plokkmäluseadmed (kõvakettad)

===Omadused===
LVM pakutavad võimalused on:
* Failisüsteemi suuruse muutmine
* Failisüsteemi snapshotide tegemine ja kasutamine (nii read-only kui ka read-write)
* Loodud/muudetud partitsioonide kohene kasutamine, kui ketas/partitsioon on mingil moel kasutusel. Fdisk-i kasutamisel tuleb OP-süsteem taaskäivitada.
* Väiksemate füüsiliste plokkseadmete kokku ühendamine, üheks suureks loogiliseks seadmeks. (Nagu RAID)
* Ketaste liigutamine ja ühendamine üle võrgu

Lisainfot LVM-i kohta: http://en.wikipedia.org/wiki/Logical_Volume_Manager_(Linux)

===MySQL===
MySQL on Oracle Corporation poolt hallatav relatsioonilise andmebaasi haldamise süsteem. On äärmiselt populaarne andmebaasisüsteem erinevates veebirakendustes aga ka mõningates suuremates süsteemides. Oma populaarsuse on ta saanud tänu äärmiselt lihtsale hallatavusele ja kasutajasõbralikkusele. Hetkel ei hakka MySQL-i omadustel ja võimalustel pikemalt peatuma. Rohkem informatsiooni leiab: http://www.mysql.com/

==Eeldused==
*Installeeritud Ubuntu Server (vähemalt 12.04 versioon)
*Tutvutud kettajagudega (kiire kordamine näiteks '''[[Osadmin spikker]]''')

'''Viia kõik käsklused läbi sudo kasutaja alt'''
sudo -i

===Ketaste lisamine===
Kõigepealt on vaja lisada serverile kõvaketas, mida hiljem LVM-iga siduma hakata.

[[File:Create_hard_disk.PNG‎|500px]]

Luua uus 4GB ketas, mis on VirtualBox Disk Image (VDI) formaadis ning dünaamiliselt jagatud.

===Vajaliku tarkvara installeerimine===

Et LVM-i ja MySQL-i seadistada on vajalikud teadmised, kuidas toimub Linuxis ketaste ja partitisoonide haldamine ja baasteadmised MySQL-ist.
Kõigepealt on vajalik installeerida lvm2 nimeline pakett, eelnevalt uuendada tarkvaravaramu nimekirja.
<pre>apt-get update
apt-get install lvm2</pre>
Olenevalt operatsioonisüsteemist võib olla vajalikud paketid juba installeeritud, kontrollida saab nii:
<pre>lvm version</pre>

Lisaks on vajalik installeerida MySQL server ja klientprogramm serveriga ühendumiseks.
<pre>apt-get install mysql-server</pre>
NB! Kuna LVM-i kasutuselevõtmine vajab mõningast MySQL-i ümberseadistamist, tuleb arvestada asjaoluga, et MySQL-i data kausta ümbertõstmisel ei pruugi olemasolevad andmed säilida (InnoDB) ja vajalik oleks serveris olevatest andmetest enne .sql kujul tagavarakoopia teha.

==LVM -i seadistamine==

[[File:LVM.jpg|thumb |alt=LVM alt text |LVM]]

LVM ise jaguneb kolmeks eri kihiks: plokkseadmed (PV), kettagrupid (VG), millesse on organiseeritud füüsilised plokkseadmed ja loogilised kettajaod, mis on jagatud kettagrupid.
Iga kihiga toimetamisel on oma käsud, mis viitavad sellele, mis kihiga hetkel toimetatakse: pv*, vg* ning lv*. Näiteks pvcreate, vgcreate ja lvcreate.

Esimese asjana tuleb valida ketas/kettajagu, kus LVM-iga toimetama hakata. Uue ketta puhul oleks võimalusel mõtekas luua üks tervet ketast hõlmav partitsioon.

Operatsioonisüsteem tunnistab näites kasutatavat uut ketast kui /dev/sdb ja seega on näites kasutatavad ketta nimed/asukohad just sellised.

Kõikide olemasolevate partitsioonide kuvamine:
<pre>fdisk -l</pre>

(Kindla partitsiooni vaatamiseks lisada käsu lõppu see partitsioon:)
<pre>fdisk -l /dev/sda</pre>

<pre>fdisk -l 2> /dev/null | grep Disk</pre>
<pre> Disk /dev/sda: 8589 MB, 8589934592 bytes
Disk identifier: 0x000bd8b1
Disk /dev/sdb: 4294 MB, 4294967296 bytes
Disk identifier: 0x11844f48</pre>

===Füüsilise ketta väärtuse muutmine===
Avada fdiskiga uue loodud ketta partitsioon ning luua uus primaarne kettajagu:

<pre>fdisk /dev/sdb
Command (m for help): n

Partition type:
p primary (0 primary, 0 extended, 4 free)
e extended

Select (default p): p

Partition number (1-4, default 1): 1

First sector (2048-8388607, default 2048):
Using default value 2048

Last sector, +sectors or +size{K,M,G} (2048-8388607, default 8388607):
Using default value 8388607</pre>

Print käskluse abil kuvatakse kettajagu, algus, lõpp, blokid, id ning süsteem. Loodud partitsioon on 83 ehk Linux. Partitsiooni süsteemse id muutmiseks kasutatakse '''t'''.

Käsklus '''L''' kuvab kõik kaheksandikkoodid . Linux LVM kood on 8e, et muuta kettajagu Linux LVM-iks on vaja muuta kettajao id 83-lt 8e-ks.
[[file:8e.PNG|500px]]

<pre>
Command (m for help): t
Selected partition 1

Hex code (type L to list codes): 8e
Changed system type of partition 1 to 8e (Linux LVM)

Command (m for help): w
The partition table has been altered!

Calling ioctl() to re-read partition table.
Syncing disks.</pre>

'''NB mitte väljuda q, mis väljub programmist muudatusi salvestamata!'''

===Füüsiline kettajagu===
Järgnevalt anname lvm-ile teada, et loodud partitsioon on „pv“ ehk physical volume.

<pre>pvcreate /dev/sdb1</pre>
Tulemusena luuakse füüsiline kettajagu /dev/sdb1

Kui kõik läks hästi siis display käsk peaks kuvama sellise tulemuse:
<pre>pvdisplay</pre>
<pre>"/dev/sdb1" is a new physical volume of "4.00 GiB"
--- NEW Physical volume ---
PV Name /dev/sdb1
VG Name
PV Size 4.00 GiB
Allocatable NO
PE Size 0
Total PE 0
Free PE 0
Allocated PE 0
PV UUID EdmaX9-bXmQ-Oevp-p9W9-I2qY-gpMM-1w77aQ</pre>

===Kettagrupp===
Loome uue „volume group“ -i ja nimetame selle mysql -iks.

<pre>vgcreate mysql /dev/sdb1</pre>
Tulemusena luuakse kettagrupp nimega mysql.

Display käsu tulemus peaks olema sarnane:
<pre>vgdisplay</pre>
<pre> --- Volume group ---
VG Name mysql
System ID
Format lvm2
Metadata Areas 1
Metadata Sequence No 4
VG Access read/write
VG Status resizable
MAX LV 0
Cur LV 2
Open LV 2
Max PV 0
Cur PV 1
Act PV 1
VG Size 4.00 GiB
PE Size 4.00 MiB
Total PE 1023
Alloc PE / Size 512 / 2.00 GiB
Free PE / Size 511 / 2.00 GiB
VG UUID s5AjT8-ss7D-Gm9m-XY6j-ULMv-RLbR-xdy0K6</pre>

Järgnevalt saame luua „volume group“ -ile „logical volumes“ ehk loogilised kettajaod. Need on justkui partitsioonid füüsilisel kõvakettal ja neid saab juba andmete talletamiseks kasutada. Nimetame kettajao nimega data ja määrame tema suuruseks 1GB (antud suurus sobib väga hästi katsetamiseks aga reaalsetes süsteemides tuleb muidugi oluliselt suuremaid numbreid kasutada. ). Suuruse seadistamisel tuleb arvestada, et sama „volume group“ peale tuleb mahutada veel vähemalt üks sama suur loogiline kettajagu, mis on loodava LV snapshot. Näide kui VG suurus on kokku 10GB siis on võimalik teha maksimaalselt 5GB suurune loogiline kettajagu. Vastasel ei mahu tema kõrvale, samale VG-le tehtud LV snapshot.

===Loogiline kettajagu===
Data nimelise 1GB loogilise kettajao loomine:
<pre>lvcreate -n data -L 1GB mysql</pre>

Kontrollime tulemust:
<pre>lvdisplay</pre>
<pre> --- Logical volume ---
LV Name /dev/mysql/data
VG Name mysql
LV UUID SL0yWI-Mc2b-KhkE-V8P1-bW7E-3iL8-8zD6Uf
LV Write Access read/write
LV Status available
# open 0
LV Size 1.00 GiB
Current LE 256
Segments 1
Allocation inherit
Read ahead sectors auto
- currently set to 256
Block device 252:0</pre>

Teadmiseks: lvdisplay käsu käivitamisel on näha parameeter „LV Status“. See näitab, kas kettajagu on saadaval või mitte. Kasutada on võimalik ainult available olekus kettajagu. Eemaldada saab ainult NOT available olekus kettajagusid. Kettajao NOT available olekusse viimiseks saab kasutada käsku:

<pre>lvchange -a n /dev/mysql/data</pre>
ja tagasi:
<pre>lvchange -a y /dev/mysql/data</pre>

===Failisüsteemi loomine ja ühendamine===
Nüüd on loodud uus kettajagu, mida saab andmete säiltamiseks kasutada. Loome sellele kettajaole failisüsteemi:
<pre>mkfs -t ext4 /dev/mysql/data</pre>

Järgmisena tuleb loodud kettajagu kuhugile mountida. Mina teen sellejaoks /srv/mysql kausta ja haagin ketta sinna.

<pre>mkdir /srv/mysql
mount /dev/mysql/data /srv/mysql</pre>

Lisame '''/etc/fstab''' faili lõppu kirje, et ka järgmisel süsteemi käivitamisel oleks ketas kohe külgehaagitud

<pre>
<file system> <mount point> <type> <options> <dump> <pass>
/dev/mysql/data /srv/mysql ext4 defaults 0 0</pre>

==MySQL seadistamine==
Muudame kausta õigused mysql-ile sobivaks (kausta omanik on kasutaja mysql ja kaustale on ligipääs ainult kausta omanikul)
<pre>chown mysql:mysql /srv/mysql
chmod 0700 /srv/mysql</pre>

Nüüd tuleb olemasolev mysql data kaust liigutada /srv/mysql kausta. Esimese asjana peatada mysql server
<pre>service mysql stop</pre>

Kopeerime (!) kogu mysql-i data kausta loodud lvm kettajaole. Ubuntus (ilmselt ka paljudes teistes operatsioonisüsteemides) asub mysq-i data kaust /var/lib/mysql. Oleks vägagi soovitatav jätta andmed vanasse kausta alles ja kustuta see alles siis kui ollakse täiesti kindel, et server töötab tõrgeteta.
<pre>cp -ar /var/lib/mysql/. /srv/mysql</pre>

Seejärel tuleb mysql-i konfiguratsioonifailis ('''/etc/mysql/my.cnf''') muuta ära „datadir“ parameeter
<pre>datadir = /var/lib/mysql -> datadir = /srv/mysql</pre>

Teadmiseks: alates Ubuntu 7.10 -st on operatsioonisüsteemiga kaasas programm nimega „AppArmor“ (Loe lähemalt: https://wiki.itcollege.ee/index.php/AppArmor). Tegemist on kerneli turvamooduliga, mis teatavate programmide puhul piirab nende ligipääsu failisüsteemile. Et MySQL server uuesti korrektselt käivituks, tuleb „AppArmor“ -is mysq-i seadistust muuta. Sobiva tekstieditoriga tuleb avada ''''/etc/apparmor.d/usr.sbin.mysqld''' konfifail ja teha seal vajalikud muudatused :
<pre>/var/lib/mysql/ r, -> /srv/mysql r,
/var/lib/mysql/** rwk, -> /srv/mysql** rwk,</pre>

Seejärel on vaja teha AppArmorile restart
<pre>service apparmor restart</pre>

Osadel operatsioonisüsteemidel võib ka init skript ette anda, kus asub mysql-i datadir. Seega oleks mõistlik ka see '''/etc/init.d/mysql''' skriptist üle vaadata.

Käivitame uuesti mysql-i serveri:

<pre>service mysql start</pre>

Kontrollime mysql-i muutujaid:
<pre>mysqladmin -u [mysql-kasutaja] -p variables | grep datadir</pre>
<pre>Enter password: [mysql-parool]
| datadir | /srv/mysql/
</pre>
Lisaks tuleks sobiva mysql kliendiga serverisse sisse logida ja kontrollida üle, kas kõik jäi korrektselt tööle.

Nüüd, kui MySQL server on korrektselt tööle hakanud ja tekib vajadus varukoopiate tegemiseks. Töötavast serverist snapshoti tegemisel pole vajalik eelnev serveri väljalülitamine. Snapshoti tegemise protsess on äärmiselt kiire ja andmete lugemine andmebaasist toimib endiselt edasi. Samas andmete kirjutamise protsess viibib seni kuni andmebaasilt kirjutamise lukk maha võetakse (kõik kirjutamise käsud täidetakse kohe peale luku vabastamist).
Ehkki varukoopia tegemise protsess ei tekita katkestusi serveri töös, oleks hea mõte teha varukoopiaid sellisel ajal kui serveril on kõige väiksem koormus.
On vajalik teada, et andmebaas lukustatakse ainult selleks ajaks, kui mysql serverisse on sisse logitud. Kohe kui sessioon lõpetatakse, vabastatakse ka lukud. Seetõttu peab snaspshoti tegemise ajal olema serverisse sisse logitud. Variant on kasutada kahte terminali sessiooni aga vajalikke käske saab käivitada ka MySQL-i käsurealt (vajalik on mysql-i klient käivitada root kasutaja õigustes).
<pre>mysql -u [root] -p
Enter password:</pre>

Protseduuri ajaks on vajalik keelata ära andmete kirjutamine:
<pre>mysql> FLUSH TABLES WITH READ LOCK;</pre>
<pre>Query OK, 0 rows affected (0.00 sec)</pre>
Lisaks võiks tühjendada ka logid:
<pre>mysql> FLUSH LOGS;</pre>
<pre>Query OK, 0 rows affected (0.00 sec)</pre>

==Tõmmise tegemine==
<pre>
mysql> SYSTEM /sbin/lvcreate -L 1G --snapshot -n sql_backup /dev/mysql/data
File descriptor 3 (socket:[15065]) leaked on lvcreate invocation. Parent PID 3514: sh
Logical volume "sql_backup" created
mysql> UNLOCK TABLES;
Query OK, 0 rows affected (0.01 sec)

mysql> exit
Bye
</pre>
Snapshoti kettajagu nimetati kui sql_backup ja viide loogilisele seadmele asub /dev/mysql/sql_backup. Käivitades käsu „lvs“, saab näha, et lisaks mysql/data LV-le on juurde tekkinud mysql/sql_backup
<pre>lvs</pre>
<pre>LV VG Attr LSize Origin Snap% Move Log Copy% Convert
data mysql owi-ao 1.00g
sql_backup mysql swi-a- 1.00g data 0.00
</pre>
Kui nüüd haakida tehtud snapshoti kettajagu, on seal kättesaadav kogu mysql-i data sellel hetkel, kui snapshot tehti.
<pre>mkdir /mnt/bk
mount /dev/mysql/sql_backup /mnt/bk
ls -la /mnt/bk</pre>
<pre>total 28720
drwx------ 8 mysql mysql 4096 Dec 12 15:59 .
drwxr-xr-x 3 root root 4096 Dec 12 16:34 ..
-rw-r--r-- 1 root root 0 Nov 30 17:18 debian-5.5.flag
-rw-rw---- 1 mysql mysql 18874368 Dec 12 16:18 ibdata1
-rw-rw---- 1 mysql mysql 5242880 Dec 12 16:18 ib_logfile0
-rw-rw---- 1 mysql mysql 5242880 Nov 30 17:18 ib_logfile1
drwx------ 2 root root 16384 Dec 12 15:58 lost+found
drwx------ 2 mysql root 4096 Nov 30 17:18 mysql
-rw-rw---- 1 root root 6 Nov 30 17:18 mysql_upgrade_info
drwx------ 2 mysql mysql 4096 Nov 30 17:18 performance_schema
drwx------ 2 mysql mysql 4096 Nov 30 17:28 phpmyadmin
drwx------ 2 mysql root 4096 Dec 12 16:18 test
drwx------ 2 mysql mysql 4096 Nov 30 17:33 wp
</pre>
MySQL-i server töötab peale snapshoti tegemist katkestusteta edasi. Tehtud snapshoti andmeid võib varundada arhiivi jaoks. Andmete varundamisel tuleb spashoti kettajagu failisüsteemi külge haakida ja selle sisu „tar“-i abil arhiveerida ja hiljem eemaldada snapshoti kettajagu

<pre>mkdir -p /var/teekond/arhiivi
tar -cjf [/var/teekond/arhiivi/][kuupäev].tar.bz2 -C /mnt/bk
umount /dev/mysql/sql_backup
lvremove /dev/mysql/sql_backup
Do you really want to remove active logical volume sql_backup? [y/n]: Y
Logical volume "sql_backup" successfully removed
</pre>

Tulemuseks nüüd loogilise kettajao vaatamisele on:
<pre>lvdisplay</pre>
<pre> --- Logical volume ---
LV Name /dev/mysql/data
VG Name mysql
LV UUID ZIMxmO-kUQR-u4gD-Wk9m-0MCK-kqwx-1kMaVP
LV Write Access read/write
LV snapshot status source of
/dev/mysql/sql_backup [active]
LV Status available
# open 1
LV Size 1.00 GiB
Current LE 256
Segments 1
Allocation inherit
Read ahead sectors auto
- currently set to 256
Block device 252:1

--- Logical volume ---
LV Name /dev/mysql/sql_backup
VG Name mysql
LV UUID XMqxEq-yRhp-u8lf-mZ9U-1R2F-fBlf-5hoEeR
LV Write Access read/write
LV snapshot status active destination for /dev/mysql/data
LV Status available
# open 0
LV Size 1.00 GiB
Current LE 256
COW-table size 1.00 GiB
COW-table LE 256
Allocated to snapshot 0.02%
Snapshot chunk size 4.00 KiB
Segments 1
Allocation inherit
Read ahead sectors auto
- currently set to 256
Block device 252:3
</pre>

'''Kuna tõmmis kasvab koos originaalkettajaoga on tähtis jälgida, et tõmmis protsentuaalselt täis ei saaks. Regulaarselt tuleb mahtuvust kontrollida lvs käsuga. 100% täitunud tõmmisele ei saa enam juurde kirjutada ning sellega andmeterviklikkus rikutakse ära!'''

<pre>lvs</pre>
<pre> LV VG Attr LSize Origin Snap% Move Log Copy% Convert
data mysql owi-ao 1.00g
sql_backup mysql swi-a- 1.00g data 0.02
</pre>

Kogu protseduuri automatiseerimiseks on võimalik koostada ka skript, mida saab käivitada sobival aja või kasutades „cron“ ajastamise vahendeid.

Lisaks on võimalik mysql-i data kaust haakida ümber snapshoti kettajaole ja taastada server sellesse seisu, mis oli snapshoti tegemise hetkel minimaalse katkestuse ajaga.

==Kokkuvõte==

LVM -i kasutamine varundamisel on väikestes ja mittekriitilistes süsteemides küllaltki hea lahendus. See ei nõua eriteadmisi ja kallist riistvara/tarkvara. Kuid suurematesse ja keerukamatesse lahendustesse see ei sobi, kuna see ainult aitab luua snapshoti hetke seisust aga ei paku võimalust seda eraldi salvestada. Arhiveerimiseks tuleb kasutada eraldi vahendeid ja selle protseduuri käigus võib minna kaduma vajalikke andmeid. Ka ei võistle LVM proffessionaalsete vahenditega nagu Arkeia (http://www.arkeia.com/) või BrightStor, mis on just varundamise lahenduste jaoks loodud ja muudavad antud tegemise mugavaks ja kiireks.

==Kasutatud kirjandus==
http://kuutorvaja.eenet.ee/wiki/LVM 
http://www.web-manual.net/linux-3/logical-volume-manager-in-linux/ 
http://www.lullabot.com/articles/mysql-backups-using-lvm-snapshots 
http://www.ubuntugeek.com/how-to-change-the-mysql-data-default-directory.html 
https://wiki.ubuntu.com/Lvm 
http://linuxconfig.org/Linux_lvm_-_Logical_Volume_Manager 
Loodus, Katrin. Andmesalvestustehnoloogiad - loeng 4.1 Ülevaade Logical Volume Manager-ist [https://wiki.itcollege.ee/index.php/Category:Andmesalvestustehnoloogiad]

"7 Linux fdisk Command Examples to Manage Hard Disk Partition" [http://www.thegeekstuff.com/2010/09/linux-fdisk/]

"LVM" [https://wiki.ubuntu.com/Lvm]

==Autor==
Madis Lauri
AK 31
[[Category:Operatsioonisüsteemide administreerimine ja sidumine]]

'''Täiendamine:'''

Carolys Kallas A32

Aine: Linuxi administreerimine

Viimati muudetud: 13.01.2013

Mysql varundamine LVM abil

2013-01-13T18:52:11Z

Ckallas: /* Sissejuhatus */

__TOC__
==Sissejuhatus==

Antud kirjatüki eesmärgiks on tutvustada Logical Volume Manageri kui abivahendit toimivast süsteemist tagavarakoopiate tegemisel. Kuigi failisüsteemi snapshotide tegemine ja nende kasutamine on ainult üks LVM-i pakutavatest võimalustest. LVM - i snapshotide tegemise võimalus pole ainult mysql -i varundamiseks, vaid kasutatav ka muude andmete varukoopiate tegemiseks. Antud juhul on MySQL siin ainult „reisija“ aga protsessi selgitamiseks ja LVM snapshoti kasutamiseks on MySQL näitena väga hea. Kogu seadistamise protsess toimub Ubuntu Linux Server 12.04.1 LTS operatsioonisüsteemis ja kasutab sellega kaasnevaid vahendeid.

==Mis on mis?==
'''Logical Volume Manager''' - LVM

'''Physical Volume''' - PV, plokkseade, füüsiline kettajagu

'''Volume Group''' - VG, kettagrupp

'''Logical Volume''' - LV, loogiline kettajagu

'''Snapshot''' - (hetk)tõmmis

===LVM===
LVM ehk „Logical Volume Manager“ on ketta partitsioonide haldusvahend Linuxi ja UNIX-i laadsete operatsioonisüsteemide juures. LVM moodustab vahekihi failisüsteemi ja füüsilise kõvaketta vahele. Esmapilgul võib tunduda, et LVM on sarnane RAID (Redundant Array of Independent Disks) kettamassiiviga, on ta siiski hoopis paindlikum viis kettajagudega toimetamiseks. RAID võimaldab kettaid omavahel liita, et saada paremaid tulemusi kiiruses, mahus või töökindluses. LVM seevastu võimaldab korraga hallata mitut (ka loogilist) kettajagu, neid vastavalt vajadusele ümber tõsta ja mahtu muuta. Seega on tihti hea mõte neid kahte hoopis koos kasutada (näiteks RAID 10 ja LVM).
Lihtsustatult oleks ettekujutus eri kihtide tasemetest selline:
* Failisüsteemid
* LVM
* RAID (vajadusel)
* füüsilised plokkmäluseadmed (kõvakettad)

===Omadused===
LVM pakutavad võimalused on:
* Failisüsteemi suuruse muutmine
* Failisüsteemi snapshotide tegemine ja kasutamine (nii read-only kui ka read-write)
* Loodud/muudetud partitsioonide kohene kasutamine, kui ketas/partitsioon on mingil moel kasutusel. Fdisk-i kasutamisel tuleb OP-süsteem taaskäivitada.
* Väiksemate füüsiliste plokkseadmete kokku ühendamine, üheks suureks loogiliseks seadmeks. (Nagu RAID)
* Ketaste liigutamine ja ühendamine üle võrgu

Lisainfot LVM-i kohta: http://en.wikipedia.org/wiki/Logical_Volume_Manager_(Linux)

===MySQL===
MySQL on Oracle Corporation poolt hallatav relatsioonilise andmebaasi haldamise süsteem. On äärmiselt populaarne andmebaasisüsteem erinevates veebirakendustes aga ka mõningates suuremates süsteemides. Oma populaarsuse on ta saanud tänu äärmiselt lihtsale hallatavusele ja kasutajasõbralikkusele. Hetkel ei hakka MySQL-i omadustel ja võimalustel pikemalt peatuma. Rohkem informatsiooni leiab: http://www.mysql.com/

==Eeldused==
*Installeeritud Ubuntu Server (vähemalt 12.04 versioon)
*Tutvutud kettajagudega (kiire kordamine näiteks '''[[Osadmin spikker]]''')

'''Viia kõik käsklused läbi sudo kasutaja alt'''
sudo -i

===Ketaste lisamine===
Kõigepealt on vaja lisada serverile kõvaketas, mida hiljem LVM-iga siduma hakata.

[[File:Create_hard_disk.PNG‎|500px]]

Luua uus 4GB ketas, mis on VirtualBox Disk Image (VDI) formaadis ning dünaamiliselt jagatud.

===Vajaliku tarkvara installeerimine===

Et LVM-i ja MySQL-i seadistada on vajalikud teadmised, kuidas toimub Linuxis ketaste ja partitisoonide haldamine ja baasteadmised MySQL-ist.
Kõigepealt on vajalik installeerida lvm2 nimeline pakett, eelnevalt uuendada tarkvaravaramu nimekirja.
<pre>apt-get update
apt-get install lvm2</pre>
Olenevalt operatsioonisüsteemist võib olla vajalikud paketid juba installeeritud, kontrollida saab nii:
<pre>lvm version</pre>

Lisaks on vajalik installeerida MySQL server ja klientprogramm serveriga ühendumiseks.
<pre>apt-get install mysql-server</pre>
NB! Kuna LVM-i kasutuselevõtmine vajab mõningast MySQL-i ümberseadistamist, tuleb arvestada asjaoluga, et MySQL-i data kausta ümbertõstmisel ei pruugi olemasolevad andmed säilida (InnoDB) ja vajalik oleks serveris olevatest andmetest enne .sql kujul tagavarakoopia teha.

==LVM -i seadistamine==

[[File:LVM.jpg|thumb |alt=LVM alt text |LVM]]

LVM ise jaguneb kolmeks eri kihiks: plokkseadmed (PV), kettagrupid (VG), millesse on organiseeritud füüsilised plokkseadmed ja loogilised kettajaod, mis on jagatud kettagrupid.
Iga kihiga toimetamisel on oma käsud, mis viitavad sellele, mis kihiga hetkel toimetatakse: pv*, vg* ning lv*. Näiteks pvcreate, vgcreate ja lvcreate.

Esimese asjana tuleb valida ketas/kettajagu, kus LVM-iga toimetama hakata. Uue ketta puhul oleks võimalusel mõtekas luua üks tervet ketast hõlmav partitsioon.

Operatsioonisüsteem tunnistab näites kasutatavat uut ketast kui /dev/sdb ja seega on näites kasutatavad ketta nimed/asukohad just sellised.

Kõikide olemasolevate partitsioonide kuvamine:
<pre>fdisk -l</pre>

(Kindla partitsiooni vaatamiseks lisada käsu lõppu see partitsioon:)
<pre>fdisk -l /dev/sda</pre>

<pre>fdisk -l 2> /dev/null | grep Disk</pre>
<pre> Disk /dev/sda: 8589 MB, 8589934592 bytes
Disk identifier: 0x000bd8b1
Disk /dev/sdb: 4294 MB, 4294967296 bytes
Disk identifier: 0x11844f48</pre>

===Füüsilise ketta väärtuse muutmine===
Avada fdiskiga uue loodud ketta partitsioon ning luua uus primaarne kettajagu:

<pre>fdisk /dev/sdb
Command (m for help): n

Partition type:
p primary (0 primary, 0 extended, 4 free)
e extended

Select (default p): p

Partition number (1-4, default 1): 1

First sector (2048-8388607, default 2048):
Using default value 2048

Last sector, +sectors or +size{K,M,G} (2048-8388607, default 8388607):
Using default value 8388607</pre>

Print käskluse abil kuvatakse kettajagu, algus, lõpp, blokid, id ning süsteem. Loodud partitsioon on 83 ehk Linux. Partitsiooni süsteemse id muutmiseks kasutatakse '''t'''.

Käsklus '''L''' kuvab kõik kaheksandikkoodid . Linux LVM kood on 8e, et muuta kettajagu Linux LVM-iks on vaja muuta kettajao id 83-lt 8e-ks.
[[file:8e.PNG|500px]]

<pre>
Command (m for help): t
Selected partition 1

Hex code (type L to list codes): 8e
Changed system type of partition 1 to 8e (Linux LVM)

Command (m for help): w
The partition table has been altered!

Calling ioctl() to re-read partition table.
Syncing disks.</pre>

'''NB mitte väljuda q, mis väljub programmist muudatusi salvestamata!'''

===Füüsiline kettajagu===
Järgnevalt anname lvm-ile teada, et loodud partitsioon on „pv“ ehk physical volume.

<pre>pvcreate /dev/sdb1</pre>
Tulemusena luuakse füüsiline kettajagu /dev/sdb1

Kui kõik läks hästi siis display käsk peaks kuvama sellise tulemuse:
<pre>pvdisplay</pre>
<pre>"/dev/sdb1" is a new physical volume of "4.00 GiB"
--- NEW Physical volume ---
PV Name /dev/sdb1
VG Name
PV Size 4.00 GiB
Allocatable NO
PE Size 0
Total PE 0
Free PE 0
Allocated PE 0
PV UUID EdmaX9-bXmQ-Oevp-p9W9-I2qY-gpMM-1w77aQ</pre>

===Kettagrupp===
Loome uue „volume group“ -i ja nimetame selle mysql -iks.

<pre>vgcreate mysql /dev/sdb1</pre>
Tulemusena luuakse kettagrupp nimega mysql.

<pre>vgdisplay</pre>
<pre> --- Volume group ---
VG Name mysql
System ID
Format lvm2
Metadata Areas 1
Metadata Sequence No 4
VG Access read/write
VG Status resizable
MAX LV 0
Cur LV 2
Open LV 2
Max PV 0
Cur PV 1
Act PV 1
VG Size 4.00 GiB
PE Size 4.00 MiB
Total PE 1023
Alloc PE / Size 512 / 2.00 GiB
Free PE / Size 511 / 2.00 GiB
VG UUID s5AjT8-ss7D-Gm9m-XY6j-ULMv-RLbR-xdy0K6</pre>

Järgnevalt saame luua „volume group“ -ile „logical volumes“ ehk loogilised kettajaod. Need on justkui partitsioonid füüsilisel kõvakettal ja neid saab juba andmete talletamiseks kasutada. Nimetame kettajao nimega data ja määrame tema suuruseks 1GB (antud suurus sobib väga hästi katsetamiseks aga reaalsetes süsteemides tuleb muidugi oluliselt suuremaid numbreid kasutada. ). Suuruse seadistamisel tuleb arvestada, et sama „volume group“ peale tuleb mahutada veel vähemalt üks sama suur loogiline kettajagu, mis on loodava LV snapshot. Näide kui VG suurus on kokku 10GB siis on võimalik teha maksimaalselt 5GB suurune loogiline kettajagu. Vastasel ei mahu tema kõrvale, samale VG-le tehtud LV snapshot.

===Loogiline kettajagu===
Data nimelise 1GB loogilise kettajao loomine:
<pre>lvcreate -n data -L 1GB mysql</pre>

Kontrollime tulemust:
<pre>lvdisplay</pre>
<pre> --- Logical volume ---
LV Name /dev/mysql/data
VG Name mysql
LV UUID SL0yWI-Mc2b-KhkE-V8P1-bW7E-3iL8-8zD6Uf
LV Write Access read/write
LV Status available
# open 0
LV Size 1.00 GiB
Current LE 256
Segments 1
Allocation inherit
Read ahead sectors auto
- currently set to 256
Block device 252:0</pre>

Teadmiseks: lvdisplay käsu käivitamisel on näha parameeter „LV Status“. See näitab, kas kettajagu on saadaval või mitte. Kasutada on võimalik ainult available olekus kettajagu. Eemaldada saab ainult NOT available olekus kettajagusid. Kettajao NOT available olekusse viimiseks saab kasutada käsku:

<pre>lvchange -a n /dev/mysql/data</pre>
ja tagasi:
<pre>lvchange -a y /dev/mysql/data</pre>

===Failisüsteemi loomine ja ühendamine===
Nüüd on loodud uus kettajagu, mida saab andmete säiltamiseks kasutada. Loome sellele kettajaole failisüsteemi:
<pre>mkfs -t ext4 /dev/mysql/data</pre>

Järgmisena tuleb loodud kettajagu kuhugile mountida. Mina teen sellejaoks /srv/mysql kausta ja haagin ketta sinna.

<pre>mkdir /srv/mysql
mount /dev/mysql/data /srv/mysql</pre>

Lisame '''/etc/fstab''' faili lõppu kirje, et ka järgmisel süsteemi käivitamisel oleks ketas kohe külgehaagitud

<pre>
<file system> <mount point> <type> <options> <dump> <pass>
/dev/mysql/data /srv/mysql ext4 defaults 0 0</pre>

==MySQL seadistamine==
Muudame kausta õigused mysql-ile sobivaks (kausta omanik on kasutaja mysql ja kaustale on ligipääs ainult kausta omanikul)
<pre>chown mysql:mysql /srv/mysql
chmod 0700 /srv/mysql</pre>

Nüüd tuleb olemasolev mysql data kaust liigutada /srv/mysql kausta. Esimese asjana peatada mysql server
<pre>service mysql stop</pre>

Kopeerime (!) kogu mysql-i data kausta loodud lvm kettajaole. Ubuntus (ilmselt ka paljudes teistes operatsioonisüsteemides) asub mysq-i data kaust /var/lib/mysql. Oleks vägagi soovitatav jätta andmed vanasse kausta alles ja kustuta see alles siis kui ollakse täiesti kindel, et server töötab tõrgeteta.
<pre>cp -ar /var/lib/mysql/. /srv/mysql</pre>

Seejärel tuleb mysql-i konfiguratsioonifailis ('''/etc/mysql/my.cnf''') muuta ära „datadir“ parameeter
<pre>datadir = /var/lib/mysql -> datadir = /srv/mysql</pre>

Teadmiseks: alates Ubuntu 7.10 -st on operatsioonisüsteemiga kaasas programm nimega „AppArmor“ (Loe lähemalt: https://wiki.itcollege.ee/index.php/AppArmor). Tegemist on kerneli turvamooduliga, mis teatavate programmide puhul piirab nende ligipääsu failisüsteemile. Et MySQL server uuesti korrektselt käivituks, tuleb „AppArmor“ -is mysq-i seadistust muuta. Sobiva tekstieditoriga tuleb avada ''''/etc/apparmor.d/usr.sbin.mysqld''' konfifail ja teha seal vajalikud muudatused :
<pre>/var/lib/mysql/ r, -> /srv/mysql r,
/var/lib/mysql/** rwk, -> /srv/mysql** rwk,</pre>

Seejärel on vaja teha AppArmorile restart
<pre>service apparmor restart</pre>

Osadel operatsioonisüsteemidel võib ka init skript ette anda, kus asub mysql-i datadir. Seega oleks mõistlik ka see '''/etc/init.d/mysql''' skriptist üle vaadata.

Käivitame uuesti mysql-i serveri:

<pre>service mysql start</pre>

Kontrollime mysql-i muutujaid:
<pre>mysqladmin -u [mysql-kasutaja] -p variables | grep datadir</pre>
<pre>Enter password: [mysql-parool]
| datadir | /srv/mysql/
</pre>
Lisaks tuleks sobiva mysql kliendiga serverisse sisse logida ja kontrollida üle, kas kõik jäi korrektselt tööle.

Nüüd, kui MySQL server on korrektselt tööle hakanud ja tekib vajadus varukoopiate tegemiseks. Töötavast serverist snapshoti tegemisel pole vajalik eelnev serveri väljalülitamine. Snapshoti tegemise protsess on äärmiselt kiire ja andmete lugemine andmebaasist toimib endiselt edasi. Samas andmete kirjutamise protsess viibib seni kuni andmebaasilt kirjutamise lukk maha võetakse (kõik kirjutamise käsud täidetakse kohe peale luku vabastamist).
Ehkki varukoopia tegemise protsess ei tekita katkestusi serveri töös, oleks hea mõte teha varukoopiaid sellisel ajal kui serveril on kõige väiksem koormus.
On vajalik teada, et andmebaas lukustatakse ainult selleks ajaks, kui mysql serverisse on sisse logitud. Kohe kui sessioon lõpetatakse, vabastatakse ka lukud. Seetõttu peab snaspshoti tegemise ajal olema serverisse sisse logitud. Variant on kasutada kahte terminali sessiooni aga vajalikke käske saab käivitada ka MySQL-i käsurealt (vajalik on mysql-i klient käivitada root kasutaja õigustes).
<pre>mysql -u [root] -p
Enter password:</pre>

Protseduuri ajaks on vajalik keelata ära andmete kirjutamine:
<pre>mysql> FLUSH TABLES WITH READ LOCK;</pre>
<pre>Query OK, 0 rows affected (0.00 sec)</pre>
Lisaks võiks tühjendada ka logid:
<pre>mysql> FLUSH LOGS;</pre>
<pre>Query OK, 0 rows affected (0.00 sec)</pre>

==Tõmmise tegemine==
<pre>
mysql> SYSTEM /sbin/lvcreate -L 1G --snapshot -n sql_backup /dev/mysql/data
File descriptor 3 (socket:[15065]) leaked on lvcreate invocation. Parent PID 3514: sh
Logical volume "sql_backup" created
mysql> UNLOCK TABLES;
Query OK, 0 rows affected (0.01 sec)

mysql> exit
Bye
</pre>
Snapshoti kettajagu nimetati kui sql_backup ja viide loogilisele seadmele asub /dev/mysql/sql_backup. Käivitades käsu „lvs“, saab näha, et lisaks mysql/data LV-le on juurde tekkinud mysql/sql_backup
<pre>lvs</pre>
<pre>LV VG Attr LSize Origin Snap% Move Log Copy% Convert
data mysql owi-ao 1.00g
sql_backup mysql swi-a- 1.00g data 0.00
</pre>
Kui nüüd haakida tehtud snapshoti kettajagu, on seal kättesaadav kogu mysql-i data sellel hetkel, kui snapshot tehti.
<pre>mkdir /mnt/bk
mount /dev/mysql/sql_backup /mnt/bk
ls -la /mnt/bk</pre>
<pre>total 28720
drwx------ 8 mysql mysql 4096 Dec 12 15:59 .
drwxr-xr-x 3 root root 4096 Dec 12 16:34 ..
-rw-r--r-- 1 root root 0 Nov 30 17:18 debian-5.5.flag
-rw-rw---- 1 mysql mysql 18874368 Dec 12 16:18 ibdata1
-rw-rw---- 1 mysql mysql 5242880 Dec 12 16:18 ib_logfile0
-rw-rw---- 1 mysql mysql 5242880 Nov 30 17:18 ib_logfile1
drwx------ 2 root root 16384 Dec 12 15:58 lost+found
drwx------ 2 mysql root 4096 Nov 30 17:18 mysql
-rw-rw---- 1 root root 6 Nov 30 17:18 mysql_upgrade_info
drwx------ 2 mysql mysql 4096 Nov 30 17:18 performance_schema
drwx------ 2 mysql mysql 4096 Nov 30 17:28 phpmyadmin
drwx------ 2 mysql root 4096 Dec 12 16:18 test
drwx------ 2 mysql mysql 4096 Nov 30 17:33 wp
</pre>
MySQL-i server töötab peale snapshoti tegemist katkestusteta edasi. Tehtud snapshoti andmeid võib varundada arhiivi jaoks. Andmete varundamisel tuleb spashoti kettajagu failisüsteemi külge haakida ja selle sisu „tar“-i abil arhiveerida ja hiljem eemaldada snapshoti kettajagu

<pre>mkdir -p /var/teekond/arhiivi
tar -cjf [/var/teekond/arhiivi/][kuupäev].tar.bz2 -C /mnt/bk
umount /dev/mysql/sql_backup
lvremove /dev/mysql/sql_backup
Do you really want to remove active logical volume sql_backup? [y/n]: Y
Logical volume "sql_backup" successfully removed
</pre>

Tulemuseks nüüd loogilise kettajao vaatamisele on:
<pre>lvdisplay</pre>
<pre> --- Logical volume ---
LV Name /dev/mysql/data
VG Name mysql
LV UUID ZIMxmO-kUQR-u4gD-Wk9m-0MCK-kqwx-1kMaVP
LV Write Access read/write
LV snapshot status source of
/dev/mysql/sql_backup [active]
LV Status available
# open 1
LV Size 1.00 GiB
Current LE 256
Segments 1
Allocation inherit
Read ahead sectors auto
- currently set to 256
Block device 252:1

--- Logical volume ---
LV Name /dev/mysql/sql_backup
VG Name mysql
LV UUID XMqxEq-yRhp-u8lf-mZ9U-1R2F-fBlf-5hoEeR
LV Write Access read/write
LV snapshot status active destination for /dev/mysql/data
LV Status available
# open 0
LV Size 1.00 GiB
Current LE 256
COW-table size 1.00 GiB
COW-table LE 256
Allocated to snapshot 0.02%
Snapshot chunk size 4.00 KiB
Segments 1
Allocation inherit
Read ahead sectors auto
- currently set to 256
Block device 252:3
</pre>

'''Kuna tõmmis kasvab koos originaalkettajaoga on tähtis jälgida, et tõmmis protsentuaalselt täis ei saaks. Regulaarselt tuleb mahtuvust kontrollida lvs käsuga. 100% täitunud tõmmisele ei saa enam juurde kirjutada ning sellega andmeterviklikkus rikutakse ära!'''

<pre>lvs</pre>
<pre> LV VG Attr LSize Origin Snap% Move Log Copy% Convert
data mysql owi-ao 1.00g
sql_backup mysql swi-a- 1.00g data 0.02
</pre>

Kogu protseduuri automatiseerimiseks on võimalik koostada ka skript, mida saab käivitada sobival aja või kasutades „cron“ ajastamise vahendeid.

Lisaks on võimalik mysql-i data kaust haakida ümber snapshoti kettajaole ja taastada server sellesse seisu, mis oli snapshoti tegemise hetkel minimaalse katkestuse ajaga.

==Kokkuvõte==

LVM -i kasutamine varundamisel on väikestes ja mittekriitilistes süsteemides küllaltki hea lahendus. See ei nõua eriteadmisi ja kallist riistvara/tarkvara. Kuid suurematesse ja keerukamatesse lahendustesse see ei sobi, kuna see ainult aitab luua snapshoti hetke seisust aga ei paku võimalust seda eraldi salvestada. Arhiveerimiseks tuleb kasutada eraldi vahendeid ja selle protseduuri käigus võib minna kaduma vajalikke andmeid. Ka ei võistle LVM proffessionaalsete vahenditega nagu Arkeia (http://www.arkeia.com/) või BrightStor, mis on just varundamise lahenduste jaoks loodud ja muudavad antud tegemise mugavaks ja kiireks.

==Kasutatud kirjandus==
http://kuutorvaja.eenet.ee/wiki/LVM 
http://www.web-manual.net/linux-3/logical-volume-manager-in-linux/ 
http://www.lullabot.com/articles/mysql-backups-using-lvm-snapshots 
http://www.ubuntugeek.com/how-to-change-the-mysql-data-default-directory.html 
https://wiki.ubuntu.com/Lvm 
http://linuxconfig.org/Linux_lvm_-_Logical_Volume_Manager 
Loodus, Katrin. Andmesalvestustehnoloogiad - loeng 4.1 Ülevaade Logical Volume Manager-ist [https://wiki.itcollege.ee/index.php/Category:Andmesalvestustehnoloogiad]

"7 Linux fdisk Command Examples to Manage Hard Disk Partition" [http://www.thegeekstuff.com/2010/09/linux-fdisk/]

"LVM" [https://wiki.ubuntu.com/Lvm]

==Autor==
Madis Lauri
AK 31
[[Category:Operatsioonisüsteemide administreerimine ja sidumine]]

'''Täiendamine:'''

Carolys Kallas A32

Aine: Linuxi administreerimine

Viimati muudetud: 13.01.2013

Mysql varundamine LVM abil

2013-01-13T18:24:37Z

Ckallas:

__TOC__
==Sissejuhatus==

Antud kirjatüki eesmärgiks on tutvustada LVM-i kui abivahendit toimivast süsteemist tagavarakoopiate tegemisel. Kuigi failisüsteemi snapshotide tegemine ja nende kasutamine on ainult üks LVM-i pakutavatest võimalustest. LVM - i snapshotide tegemise võimalus pole ainult mysql -i varundamiseks, vaid kasutatav ka muude andmete varukoopiate tegemiseks. Antud juhul on MySQL siin ainult „reisija“ aga protsessi selgitamiseks ja LVM snapshoti kasutamiseks on MySQL näitena väga hea. Kogu seadistamise protsess toimub Ubuntu Linux Server 12.04.1 LTS operatsioonisüsteemis ja kasutab sellega kaasnevaid vahendeid.

==Mis on mis?==
'''Logical Volume Manager''' - LVM

'''Physical Volume''' - PV, plokkseade, füüsiline kettajagu

'''Volume Group''' - VG, kettagrupp

'''Logical Volume''' - LV, loogiline kettajagu

'''Snapshot''' - (hetk)tõmmis

===LVM===
LVM ehk „Logical Volume Manager“ on ketta partitsioonide haldusvahend Linuxi ja UNIX-i laadsete operatsioonisüsteemide juures. LVM moodustab vahekihi failisüsteemi ja füüsilise kõvaketta vahele. Esmapilgul võib tunduda, et LVM on sarnane RAID (Redundant Array of Independent Disks) kettamassiiviga, on ta siiski hoopis paindlikum viis kettajagudega toimetamiseks. RAID võimaldab kettaid omavahel liita, et saada paremaid tulemusi kiiruses, mahus või töökindluses. LVM seevastu võimaldab korraga hallata mitut (ka loogilist) kettajagu, neid vastavalt vajadusele ümber tõsta ja mahtu muuta. Seega on tihti hea mõte neid kahte hoopis koos kasutada (näiteks RAID 10 ja LVM).
Lihtsustatult oleks ettekujutus eri kihtide tasemetest selline:
* Failisüsteemid
* LVM
* RAID (vajadusel)
* füüsilised plokkmäluseadmed (kõvakettad)

===Omadused===
LVM pakutavad võimalused on:
* Failisüsteemi suuruse muutmine
* Failisüsteemi snapshotide tegemine ja kasutamine (nii read-only kui ka read-write)
* Loodud/muudetud partitsioonide kohene kasutamine, kui ketas/partitsioon on mingil moel kasutusel. Fdisk-i kasutamisel tuleb OP-süsteem taaskäivitada.
* Väiksemate füüsiliste plokkseadmete kokku ühendamine, üheks suureks loogiliseks seadmeks. (Nagu RAID)
* Ketaste liigutamine ja ühendamine üle võrgu

Lisainfot LVM-i kohta: http://en.wikipedia.org/wiki/Logical_Volume_Manager_(Linux)

===MySQL===
MySQL on Oracle Corporation poolt hallatav relatsioonilise andmebaasi haldamise süsteem. On äärmiselt populaarne andmebaasisüsteem erinevates veebirakendustes aga ka mõningates suuremates süsteemides. Oma populaarsuse on ta saanud tänu äärmiselt lihtsale hallatavusele ja kasutajasõbralikkusele. Hetkel ei hakka MySQL-i omadustel ja võimalustel pikemalt peatuma. Rohkem informatsiooni leiab: http://www.mysql.com/

==Eeldused==
*Installeeritud Ubuntu Server (vähemalt 12.04 versioon)
*Tutvutud kettajagudega (kiire kordamine näiteks '''[[Osadmin spikker]]''')

'''Viia kõik käsklused läbi sudo kasutaja alt'''
sudo -i

===Ketaste lisamine===
Kõigepealt on vaja lisada serverile kõvaketas, mida hiljem LVM-iga siduma hakata.

[[File:Create_hard_disk.PNG‎|500px]]

Luua uus 4GB ketas, mis on VirtualBox Disk Image (VDI) formaadis ning dünaamiliselt jagatud.

===Vajaliku tarkvara installeerimine===

Et LVM-i ja MySQL-i seadistada on vajalikud teadmised, kuidas toimub Linuxis ketaste ja partitisoonide haldamine ja baasteadmised MySQL-ist.
Kõigepealt on vajalik installeerida lvm2 nimeline pakett, eelnevalt uuendada tarkvaravaramu nimekirja.
<pre>apt-get update
apt-get install lvm2</pre>
Olenevalt operatsioonisüsteemist võib olla vajalikud paketid juba installeeritud, kontrollida saab nii:
<pre>lvm version</pre>

Lisaks on vajalik installeerida MySQL server ja klientprogramm serveriga ühendumiseks.
<pre>apt-get install mysql-server</pre>
NB! Kuna LVM-i kasutuselevõtmine vajab mõningast MySQL-i ümberseadistamist, tuleb arvestada asjaoluga, et MySQL-i data kausta ümbertõstmisel ei pruugi olemasolevad andmed säilida (InnoDB) ja vajalik oleks serveris olevatest andmetest enne .sql kujul tagavarakoopia teha.

==LVM -i seadistamine==

[[File:LVM.jpg|thumb |alt=LVM alt text |LVM]]

LVM ise jaguneb kolmeks eri kihiks: plokkseadmed (PV), kettagrupid (VG), millesse on organiseeritud füüsilised plokkseadmed ja loogilised kettajaod, mis on jagatud kettagrupid.
Iga kihiga toimetamisel on oma käsud, mis viitavad sellele, mis kihiga hetkel toimetatakse: pv*, vg* ning lv*. Näiteks pvcreate, vgcreate ja lvcreate.

Esimese asjana tuleb valida ketas/kettajagu, kus LVM-iga toimetama hakata. Uue ketta puhul oleks võimalusel mõtekas luua üks tervet ketast hõlmav partitsioon.

Operatsioonisüsteem tunnistab näites kasutatavat uut ketast kui /dev/sdb ja seega on näites kasutatavad ketta nimed/asukohad just sellised.

Kõikide olemasolevate partitsioonide kuvamine:
<pre>fdisk -l</pre>

(Kindla partitsiooni vaatamiseks lisada käsu lõppu see partitsioon:)
<pre>fdisk -l /dev/sda</pre>

<pre>fdisk -l 2> /dev/null | grep Disk</pre>
<pre> Disk /dev/sda: 8589 MB, 8589934592 bytes
Disk identifier: 0x000bd8b1
Disk /dev/sdb: 4294 MB, 4294967296 bytes
Disk identifier: 0x11844f48</pre>

===Füüsilise ketta väärtuse muutmine===
Avada fdiskiga uue loodud ketta partitsioon ning luua uus primaarne kettajagu:

<pre>fdisk /dev/sdb
Command (m for help): n

Partition type:
p primary (0 primary, 0 extended, 4 free)
e extended

Select (default p): p

Partition number (1-4, default 1): 1

First sector (2048-8388607, default 2048):
Using default value 2048

Last sector, +sectors or +size{K,M,G} (2048-8388607, default 8388607):
Using default value 8388607</pre>

Print käskluse abil kuvatakse kettajagu, algus, lõpp, blokid, id ning süsteem. Loodud partitsioon on 83 ehk Linux. Partitsiooni süsteemse id muutmiseks kasutatakse '''t'''.

Käsklus '''L''' kuvab kõik kaheksandikkoodid . Linux LVM kood on 8e, et muuta kettajagu Linux LVM-iks on vaja muuta kettajao id 83-lt 8e-ks.
[[file:8e.PNG|500px]]

<pre>
Command (m for help): t
Selected partition 1

Hex code (type L to list codes): 8e
Changed system type of partition 1 to 8e (Linux LVM)

Command (m for help): w
The partition table has been altered!

Calling ioctl() to re-read partition table.
Syncing disks.</pre>

'''NB mitte väljuda q, mis väljub programmist muudatusi salvestamata!'''

===Füüsiline kettajagu===
Järgnevalt anname lvm-ile teada, et loodud partitsioon on „pv“ ehk physical volume.

<pre>pvcreate /dev/sdb1</pre>
Tulemusena luuakse füüsiline kettajagu /dev/sdb1

Kui kõik läks hästi siis display käsk peaks kuvama sellise tulemuse:
<pre>pvdisplay</pre>
<pre>"/dev/sdb1" is a new physical volume of "4.00 GiB"
--- NEW Physical volume ---
PV Name /dev/sdb1
VG Name
PV Size 4.00 GiB
Allocatable NO
PE Size 0
Total PE 0
Free PE 0
Allocated PE 0
PV UUID EdmaX9-bXmQ-Oevp-p9W9-I2qY-gpMM-1w77aQ</pre>

===Kettagrupp===
Loome uue „volume group“ -i ja nimetame selle mysql -iks.

<pre>vgcreate mysql /dev/sdb1</pre>
Tulemusena luuakse kettagrupp nimega mysql.

<pre>vgdisplay</pre>
<pre> --- Volume group ---
VG Name mysql
System ID
Format lvm2
Metadata Areas 1
Metadata Sequence No 4
VG Access read/write
VG Status resizable
MAX LV 0
Cur LV 2
Open LV 2
Max PV 0
Cur PV 1
Act PV 1
VG Size 4.00 GiB
PE Size 4.00 MiB
Total PE 1023
Alloc PE / Size 512 / 2.00 GiB
Free PE / Size 511 / 2.00 GiB
VG UUID s5AjT8-ss7D-Gm9m-XY6j-ULMv-RLbR-xdy0K6</pre>

Järgnevalt saame luua „volume group“ -ile „logical volumes“ ehk loogilised kettajaod. Need on justkui partitsioonid füüsilisel kõvakettal ja neid saab juba andmete talletamiseks kasutada. Nimetame kettajao nimega data ja määrame tema suuruseks 1GB (antud suurus sobib väga hästi katsetamiseks aga reaalsetes süsteemides tuleb muidugi oluliselt suuremaid numbreid kasutada. ). Suuruse seadistamisel tuleb arvestada, et sama „volume group“ peale tuleb mahutada veel vähemalt üks sama suur loogiline kettajagu, mis on loodava LV snapshot. Näide kui VG suurus on kokku 10GB siis on võimalik teha maksimaalselt 5GB suurune loogiline kettajagu. Vastasel ei mahu tema kõrvale, samale VG-le tehtud LV snapshot.

===Loogiline kettajagu===
Data nimelise 1GB loogilise kettajao loomine:
<pre>lvcreate -n data -L 1GB mysql</pre>

Kontrollime tulemust:
<pre>lvdisplay</pre>
<pre> --- Logical volume ---
LV Name /dev/mysql/data
VG Name mysql
LV UUID SL0yWI-Mc2b-KhkE-V8P1-bW7E-3iL8-8zD6Uf
LV Write Access read/write
LV Status available
# open 0
LV Size 1.00 GiB
Current LE 256
Segments 1
Allocation inherit
Read ahead sectors auto
- currently set to 256
Block device 252:0</pre>

Teadmiseks: lvdisplay käsu käivitamisel on näha parameeter „LV Status“. See näitab, kas kettajagu on saadaval või mitte. Kasutada on võimalik ainult available olekus kettajagu. Eemaldada saab ainult NOT available olekus kettajagusid. Kettajao NOT available olekusse viimiseks saab kasutada käsku:

<pre>lvchange -a n /dev/mysql/data</pre>
ja tagasi:
<pre>lvchange -a y /dev/mysql/data</pre>

===Failisüsteemi loomine ja ühendamine===
Nüüd on loodud uus kettajagu, mida saab andmete säiltamiseks kasutada. Loome sellele kettajaole failisüsteemi:
<pre>mkfs -t ext4 /dev/mysql/data</pre>

Järgmisena tuleb loodud kettajagu kuhugile mountida. Mina teen sellejaoks /srv/mysql kausta ja haagin ketta sinna.

<pre>mkdir /srv/mysql
mount /dev/mysql/data /srv/mysql</pre>

Lisame '''/etc/fstab''' faili lõppu kirje, et ka järgmisel süsteemi käivitamisel oleks ketas kohe külgehaagitud

<pre>
<file system> <mount point> <type> <options> <dump> <pass>
/dev/mysql/data /srv/mysql ext4 defaults 0 0</pre>

==MySQL seadistamine==
Muudame kausta õigused mysql-ile sobivaks (kausta omanik on kasutaja mysql ja kaustale on ligipääs ainult kausta omanikul)
<pre>chown mysql:mysql /srv/mysql
chmod 0700 /srv/mysql</pre>

Nüüd tuleb olemasolev mysql data kaust liigutada /srv/mysql kausta. Esimese asjana peatada mysql server
<pre>service mysql stop</pre>

Kopeerime (!) kogu mysql-i data kausta loodud lvm kettajaole. Ubuntus (ilmselt ka paljudes teistes operatsioonisüsteemides) asub mysq-i data kaust /var/lib/mysql. Oleks vägagi soovitatav jätta andmed vanasse kausta alles ja kustuta see alles siis kui ollakse täiesti kindel, et server töötab tõrgeteta.
<pre>cp -ar /var/lib/mysql/. /srv/mysql</pre>

Seejärel tuleb mysql-i konfiguratsioonifailis ('''/etc/mysql/my.cnf''') muuta ära „datadir“ parameeter
<pre>datadir = /var/lib/mysql -> datadir = /srv/mysql</pre>

Teadmiseks: alates Ubuntu 7.10 -st on operatsioonisüsteemiga kaasas programm nimega „AppArmor“ (Loe lähemalt: https://wiki.itcollege.ee/index.php/AppArmor). Tegemist on kerneli turvamooduliga, mis teatavate programmide puhul piirab nende ligipääsu failisüsteemile. Et MySQL server uuesti korrektselt käivituks, tuleb „AppArmor“ -is mysq-i seadistust muuta. Sobiva tekstieditoriga tuleb avada ''''/etc/apparmor.d/usr.sbin.mysqld''' konfifail ja teha seal vajalikud muudatused :
<pre>/var/lib/mysql/ r, -> /srv/mysql r,
/var/lib/mysql/** rwk, -> /srv/mysql** rwk,</pre>

Seejärel on vaja teha AppArmorile restart
<pre>service apparmor restart</pre>

Osadel operatsioonisüsteemidel võib ka init skript ette anda, kus asub mysql-i datadir. Seega oleks mõistlik ka see '''/etc/init.d/mysql''' skriptist üle vaadata.

Käivitame uuesti mysql-i serveri:

<pre>service mysql start</pre>

Kontrollime mysql-i muutujaid:
<pre>mysqladmin -u [mysql-kasutaja] -p variables | grep datadir</pre>
<pre>Enter password: [mysql-parool]
| datadir | /srv/mysql/
</pre>
Lisaks tuleks sobiva mysql kliendiga serverisse sisse logida ja kontrollida üle, kas kõik jäi korrektselt tööle.

Nüüd, kui MySQL server on korrektselt tööle hakanud ja tekib vajadus varukoopiate tegemiseks. Töötavast serverist snapshoti tegemisel pole vajalik eelnev serveri väljalülitamine. Snapshoti tegemise protsess on äärmiselt kiire ja andmete lugemine andmebaasist toimib endiselt edasi. Samas andmete kirjutamise protsess viibib seni kuni andmebaasilt kirjutamise lukk maha võetakse (kõik kirjutamise käsud täidetakse kohe peale luku vabastamist).
Ehkki varukoopia tegemise protsess ei tekita katkestusi serveri töös, oleks hea mõte teha varukoopiaid sellisel ajal kui serveril on kõige väiksem koormus.
On vajalik teada, et andmebaas lukustatakse ainult selleks ajaks, kui mysql serverisse on sisse logitud. Kohe kui sessioon lõpetatakse, vabastatakse ka lukud. Seetõttu peab snaspshoti tegemise ajal olema serverisse sisse logitud. Variant on kasutada kahte terminali sessiooni aga vajalikke käske saab käivitada ka MySQL-i käsurealt (vajalik on mysql-i klient käivitada root kasutaja õigustes).
<pre>mysql -u [root] -p
Enter password:</pre>

Protseduuri ajaks on vajalik keelata ära andmete kirjutamine:
<pre>mysql> FLUSH TABLES WITH READ LOCK;</pre>
<pre>Query OK, 0 rows affected (0.00 sec)</pre>
Lisaks võiks tühjendada ka logid:
<pre>mysql> FLUSH LOGS;</pre>
<pre>Query OK, 0 rows affected (0.00 sec)</pre>

==Tõmmise tegemine==
<pre>
mysql> SYSTEM /sbin/lvcreate -L 1G --snapshot -n sql_backup /dev/mysql/data
File descriptor 3 (socket:[15065]) leaked on lvcreate invocation. Parent PID 3514: sh
Logical volume "sql_backup" created
mysql> UNLOCK TABLES;
Query OK, 0 rows affected (0.01 sec)

mysql> exit
Bye
</pre>
Snapshoti kettajagu nimetati kui sql_backup ja viide loogilisele seadmele asub /dev/mysql/sql_backup. Käivitades käsu „lvs“, saab näha, et lisaks mysql/data LV-le on juurde tekkinud mysql/sql_backup
<pre>lvs</pre>
<pre>LV VG Attr LSize Origin Snap% Move Log Copy% Convert
data mysql owi-ao 1.00g
sql_backup mysql swi-a- 1.00g data 0.00
</pre>
Kui nüüd haakida tehtud snapshoti kettajagu, on seal kättesaadav kogu mysql-i data sellel hetkel, kui snapshot tehti.
<pre>mkdir /mnt/bk
mount /dev/mysql/sql_backup /mnt/bk
ls -la /mnt/bk</pre>
<pre>total 28720
drwx------ 8 mysql mysql 4096 Dec 12 15:59 .
drwxr-xr-x 3 root root 4096 Dec 12 16:34 ..
-rw-r--r-- 1 root root 0 Nov 30 17:18 debian-5.5.flag
-rw-rw---- 1 mysql mysql 18874368 Dec 12 16:18 ibdata1
-rw-rw---- 1 mysql mysql 5242880 Dec 12 16:18 ib_logfile0
-rw-rw---- 1 mysql mysql 5242880 Nov 30 17:18 ib_logfile1
drwx------ 2 root root 16384 Dec 12 15:58 lost+found
drwx------ 2 mysql root 4096 Nov 30 17:18 mysql
-rw-rw---- 1 root root 6 Nov 30 17:18 mysql_upgrade_info
drwx------ 2 mysql mysql 4096 Nov 30 17:18 performance_schema
drwx------ 2 mysql mysql 4096 Nov 30 17:28 phpmyadmin
drwx------ 2 mysql root 4096 Dec 12 16:18 test
drwx------ 2 mysql mysql 4096 Nov 30 17:33 wp
</pre>
MySQL-i server töötab peale snapshoti tegemist katkestusteta edasi. Tehtud snapshoti andmeid võib varundada arhiivi jaoks. Andmete varundamisel tuleb spashoti kettajagu failisüsteemi külge haakida ja selle sisu „tar“-i abil arhiveerida ja hiljem eemaldada snapshoti kettajagu

<pre>mkdir -p /var/teekond/arhiivi
tar -cjf [/var/teekond/arhiivi/][kuupäev].tar.bz2 -C /mnt/bk
umount /dev/mysql/sql_backup
lvremove /dev/mysql/sql_backup
Do you really want to remove active logical volume sql_backup? [y/n]: Y
Logical volume "sql_backup" successfully removed
</pre>

Tulemuseks nüüd loogilise kettajao vaatamisele on:
<pre>lvdisplay</pre>
<pre> --- Logical volume ---
LV Name /dev/mysql/data
VG Name mysql
LV UUID ZIMxmO-kUQR-u4gD-Wk9m-0MCK-kqwx-1kMaVP
LV Write Access read/write
LV snapshot status source of
/dev/mysql/sql_backup [active]
LV Status available
# open 1
LV Size 1.00 GiB
Current LE 256
Segments 1
Allocation inherit
Read ahead sectors auto
- currently set to 256
Block device 252:1

--- Logical volume ---
LV Name /dev/mysql/sql_backup
VG Name mysql
LV UUID XMqxEq-yRhp-u8lf-mZ9U-1R2F-fBlf-5hoEeR
LV Write Access read/write
LV snapshot status active destination for /dev/mysql/data
LV Status available
# open 0
LV Size 1.00 GiB
Current LE 256
COW-table size 1.00 GiB
COW-table LE 256
Allocated to snapshot 0.02%
Snapshot chunk size 4.00 KiB
Segments 1
Allocation inherit
Read ahead sectors auto
- currently set to 256
Block device 252:3
</pre>

'''Kuna tõmmis kasvab koos originaalkettajaoga on tähtis jälgida, et tõmmis protsentuaalselt täis ei saaks. Regulaarselt tuleb mahtuvust kontrollida lvs käsuga. 100% täitunud tõmmisele ei saa enam juurde kirjutada ning sellega andmeterviklikkus rikutakse ära!'''

<pre>lvs</pre>
<pre> LV VG Attr LSize Origin Snap% Move Log Copy% Convert
data mysql owi-ao 1.00g
sql_backup mysql swi-a- 1.00g data 0.02
</pre>

Kogu protseduuri automatiseerimiseks on võimalik koostada ka skript, mida saab käivitada sobival aja või kasutades „cron“ ajastamise vahendeid.

Lisaks on võimalik mysql-i data kaust haakida ümber snapshoti kettajaole ja taastada server sellesse seisu, mis oli snapshoti tegemise hetkel minimaalse katkestuse ajaga.

==Kokkuvõte==

LVM -i kasutamine varundamisel on väikestes ja mittekriitilistes süsteemides küllaltki hea lahendus. See ei nõua eriteadmisi ja kallist riistvara/tarkvara. Kuid suurematesse ja keerukamatesse lahendustesse see ei sobi, kuna see ainult aitab luua snapshoti hetke seisust aga ei paku võimalust seda eraldi salvestada. Arhiveerimiseks tuleb kasutada eraldi vahendeid ja selle protseduuri käigus võib minna kaduma vajalikke andmeid. Ka ei võistle LVM proffessionaalsete vahenditega nagu Arkeia (http://www.arkeia.com/) või BrightStor, mis on just varundamise lahenduste jaoks loodud ja muudavad antud tegemise mugavaks ja kiireks.

==Kasutatud kirjandus==
http://kuutorvaja.eenet.ee/wiki/LVM 
http://www.web-manual.net/linux-3/logical-volume-manager-in-linux/ 
http://www.lullabot.com/articles/mysql-backups-using-lvm-snapshots 
http://www.ubuntugeek.com/how-to-change-the-mysql-data-default-directory.html 
https://wiki.ubuntu.com/Lvm 
http://linuxconfig.org/Linux_lvm_-_Logical_Volume_Manager 
Loodus, Katrin. Andmesalvestustehnoloogiad - loeng 4.1 Ülevaade Logical Volume Manager-ist [https://wiki.itcollege.ee/index.php/Category:Andmesalvestustehnoloogiad]

"7 Linux fdisk Command Examples to Manage Hard Disk Partition" [http://www.thegeekstuff.com/2010/09/linux-fdisk/]

"LVM" [https://wiki.ubuntu.com/Lvm]

==Autor==
Madis Lauri
AK 31
[[Category:Operatsioonisüsteemide administreerimine ja sidumine]]

'''Täiendamine:'''

Carolys Kallas A32

Aine: Linuxi administreerimine

Viimati muudetud: 13.01.2013

Mysql varundamine LVM abil

2013-01-13T12:31:40Z

Ckallas: /* MySQL seadistamine */

__TOC__
==Sissejuhatus==

Antud kirjatüki eesmärgiks on tutvustada LVM-i kui abivahendit toimivast süsteemist tagavarakoopiate tegemisel. Kuigi failisüsteemi snapshotide tegemine ja nende kasutamine on ainult üks LVM-i pakutavatest võimalustest. LVM - i snapshotide tegemise võimalus pole ainult mysql -i varundamiseks, vaid kasutatav ka muude andmete varukoopiate tegemiseks. Antud juhul on MySQL siin ainult „reisija“ aga protsessi selgitamiseks ja LVM snapshoti kasutamiseks on MySQL näitena väga hea. Kogu seadistamise protsess toimub Ubuntu Linux Server 12.04.1 LTS operatsioonisüsteemis ja kasutab sellega kaasnevaid vahendeid.

==Mis on mis?==
'''Logical Volume Manager''' - LVM

'''Physical Volume''' - PV, plokkseade, füüsiline kettajagu

'''Volume Group''' - VG, kettagrupp

'''Logical Volume''' - LV, loogiline kettajagu

'''Snapshot''' - (hetk)tõmmis

===LVM===
LVM ehk „Logical Volume Manager“ on ketta partitsioonide haldusvahend Linuxi ja UNIX-i laadsete operatsioonisüsteemide juures. LVM moodustab vahekihi failisüsteemi ja füüsilise kõvaketta vahele. Esmapilgul võib tunduda, et LVM on sarnane RAID (Redundant Array of Independent Disks) kettamassiiviga, on ta siiski hoopis paindlikum viis kettajagudega toimetamiseks. RAID võimaldab kettaid omavahel liita, et saada paremaid tulemusi kiiruses, mahus või töökindluses. LVM seevastu võimaldab korraga hallata mitut (ka loogilist) kettajagu, neid vastavalt vajadusele ümber tõsta ja mahtu muuta. Seega on tihti hea mõte neid kahte hoopis koos kasutada (näiteks RAID 10 ja LVM).
Lihtsustatult oleks ettekujutus eri kihtide tasemetest selline:
* Failisüsteemid
* LVM
* RAID (vajadusel)
* füüsilised plokkmäluseadmed (kõvakettad)

===Omadused===
LVM pakutavad võimalused on:
* Failisüsteemi suuruse muutmine
* Failisüsteemi snapshotide tegemine ja kasutamine (nii read-only kui ka read-write)
* Loodud/muudetud partitsioonide kohene kasutamine, kui ketas/partitsioon on mingil moel kasutusel. Fdisk-i kasutamisel tuleb OP-süsteem taaskäivitada.
* Väiksemate füüsiliste plokkseadmete kokku ühendamine, üheks suureks loogiliseks seadmeks. (Nagu RAID)
* Ketaste liigutamine ja ühendamine üle võrgu

Lisainfot LVM-i kohta: http://en.wikipedia.org/wiki/Logical_Volume_Manager_(Linux)

===MySQL===
MySQL on Oracle Corporation poolt hallatav relatsioonilise andmebaasi haldamise süsteem. On äärmiselt populaarne andmebaasisüsteem erinevates veebirakendustes aga ka mõningates suuremates süsteemides. Oma populaarsuse on ta saanud tänu äärmiselt lihtsale hallatavusele ja kasutajasõbralikkusele. Hetkel ei hakka MySQL-i omadustel ja võimalustel pikemalt peatuma. Rohkem informatsiooni leiab: http://www.mysql.com/

==Eeldused==
*Installeeritud Ubuntu Server (vähemalt 12.04 versioon)
*Tutvutud kettajagudega (kiire kordamine näiteks '''[[Osadmin spikker]]''')

'''Viia kõik käsklused läbi sudo kasutaja alt'''
sudo -i

===Ketaste lisamine===
Kõigepealt on vaja lisada serverile kõvaketas, mida hiljem LVM-iga siduma hakata.

[[File:Create_hard_disk.PNG‎|500px]]

Luua uus 4GB ketas, mis on VirtualBox Disk Image (VDI) formaadis ning dünaamiliselt jagatud.

===Vajaliku tarkvara installeerimine===

Et LVM-i ja MySQL-i seadistada on vajalikud teadmised, kuidas toimub Linuxis ketaste ja partitisoonide haldamine ja baasteadmised MySQL-ist.
Kõigepealt on vajalik installeerida lvm2 nimeline pakett, eelnevalt uuendada tarkvaravaramu nimekirja.
<pre>apt-get update
apt-get install lvm2</pre>
Olenevalt operatsioonisüsteemist võib olla vajalikud paketid juba installeeritud, kontrollida saab nii:
<pre>lvm version</pre>

Lisaks on vajalik installeerida MySQL server ja klientprogramm serveriga ühendumiseks.
<pre>apt-get install mysql-server</pre>
NB! Kuna LVM-i kasutuselevõtmine vajab mõningast MySQL-i ümberseadistamist, tuleb arvestada asjaoluga, et MySQL-i data kausta ümbertõstmisel ei pruugi olemasolevad andmed säilida (InnoDB) ja vajalik oleks serveris olevatest andmetest enne .sql kujul tagavarakoopia teha.

==LVM -i seadistamine==

[[File:LVM.jpg|thumb |alt=LVM alt text |LVM]]

LVM ise jaguneb kolmeks eri kihiks: plokkseadmed (PV), kettagrupid (VG), millesse on organiseeritud füüsilised plokkseadmed ja loogilised kettajaod, mis on jagatud kettagrupid.
Iga kihiga toimetamisel on oma käsud, mis viitavad sellele, mis kihiga hetkel toimetatakse: pv*, vg* ning lv*. Näiteks pvcreate, vgcreate ja lvcreate.

Esimese asjana tuleb valida ketas/kettajagu, kus LVM-iga toimetama hakata. Uue ketta puhul oleks võimalusel mõtekas luua üks tervet ketast hõlmav partitsioon.

Operatsioonisüsteem tunnistab näites kasutatavat uut ketast kui /dev/sdb ja seega on näites kasutatavad ketta nimed/asukohad just sellised.

Kõikide olemasolevate partitsioonide kuvamine:
<pre>fdisk -l</pre>

(Kindla partitsiooni vaatamiseks lisada käsu lõppu see partitsioon:)
<pre>fdisk -l /dev/sda</pre>

<pre>fdisk -l 2> /dev/null | grep Disk</pre>
<pre> Disk /dev/sda: 8589 MB, 8589934592 bytes
Disk identifier: 0x000bd8b1
Disk /dev/sdb: 4294 MB, 4294967296 bytes
Disk identifier: 0x11844f48</pre>

===Füüsilise ketta väärtuse muutmine===
Avada fdiskiga uue loodud ketta partitsioon ning luua uus primaarne kettajagu:

<pre>fdisk /dev/sdb
Command (m for help): n

Partition type:
p primary (0 primary, 0 extended, 4 free)
e extended

Select (default p): p

Partition number (1-4, default 1): 1

First sector (2048-8388607, default 2048):
Using default value 2048

Last sector, +sectors or +size{K,M,G} (2048-8388607, default 8388607):
Using default value 8388607</pre>

Print käskluse abil kuvatakse kettajagu, algus, lõpp, blokid, id ning süsteem. Loodud partitsioon on 83 ehk Linux. Partitsiooni süsteemse id muutmiseks kasutatakse '''t'''.

Käsklus '''L''' kuvab kõik kaheksandikkoodid . Linux LVM kood on 8e, et muuta kettajagu Linux LVM-iks on vaja muuta kettajao id 83-lt 8e-ks.
[[file:8e.PNG|500px]]

<pre>
Command (m for help): t
Selected partition 1

Hex code (type L to list codes): 8e
Changed system type of partition 1 to 8e (Linux LVM)

Command (m for help): w
The partition table has been altered!

Calling ioctl() to re-read partition table.
Syncing disks.</pre>

'''NB mitte väljuda q, mis väljub programmist muudatusi salvestamata!'''

===Füüsiline kettajagu===
Järgnevalt anname lvm-ile teada, et loodud partitsioon on „pv“ ehk physical volume.

<pre>pvcreate /dev/sdb1</pre>
Tulemusena luuakse füüsiline kettajagu /dev/sdb1

Kui kõik läks hästi siis display käsk peaks kuvama sellise tulemuse:
<pre>pvdisplay</pre>
<pre>"/dev/sdb1" is a new physical volume of "4.00 GiB"
--- NEW Physical volume ---
PV Name /dev/sdb1
VG Name
PV Size 4.00 GiB
Allocatable NO
PE Size 0
Total PE 0
Free PE 0
Allocated PE 0
PV UUID EdmaX9-bXmQ-Oevp-p9W9-I2qY-gpMM-1w77aQ</pre>

===Kettagrupp===
Loome uue „volume group“ -i ja nimetame selle mysql -iks.

<pre>vgcreate mysql /dev/sdb1</pre>
Tulemusena luuakse kettagrupp nimega mysql.

<pre>vgdisplay</pre>
<pre> --- Volume group ---
VG Name mysql
System ID
Format lvm2
Metadata Areas 1
Metadata Sequence No 4
VG Access read/write
VG Status resizable
MAX LV 0
Cur LV 2
Open LV 2
Max PV 0
Cur PV 1
Act PV 1
VG Size 4.00 GiB
PE Size 4.00 MiB
Total PE 1023
Alloc PE / Size 512 / 2.00 GiB
Free PE / Size 511 / 2.00 GiB
VG UUID s5AjT8-ss7D-Gm9m-XY6j-ULMv-RLbR-xdy0K6</pre>

Järgnevalt saame luua „volume group“ -ile „logical volumes“ ehk loogilised kettajaod. Need on justkui partitsioonid füüsilisel kõvakettal ja neid saab juba andmete talletamiseks kasutada. Nimetame kettajao nimega data ja määrame tema suuruseks 1GB (antud suurus sobib väga hästi katsetamiseks aga reaalsetes süsteemides tuleb muidugi oluliselt suuremaid numbreid kasutada. ). Suuruse seadistamisel tuleb arvestada, et sama „volume group“ peale tuleb mahutada veel vähemalt üks sama suur loogiline kettajagu, mis on loodava LV snapshot. Näide kui VG suurus on kokku 10GB siis on võimalik teha maksimaalselt 5GB suurune loogiline kettajagu. Vastasel ei mahu tema kõrvale, samale VG-le tehtud LV snapshot.

===Loogiline kettajagu===
Data nimelise 1GB loogilise kettajao loomine:
<pre>lvcreate -n data -L 1GB mysql</pre>

Kontrollime tulemust:
<pre>lvdisplay</pre>
<pre> --- Logical volume ---
LV Name /dev/mysql/data
VG Name mysql
LV UUID SL0yWI-Mc2b-KhkE-V8P1-bW7E-3iL8-8zD6Uf
LV Write Access read/write
LV Status available
# open 0
LV Size 1.00 GiB
Current LE 256
Segments 1
Allocation inherit
Read ahead sectors auto
- currently set to 256
Block device 252:0</pre>

Teadmiseks: lvdisplay käsu käivitamisel on näha parameeter „LV Status“. See näitab, kas kettajagu on saadaval või mitte. Kasutada on võimalik ainult available olekus kettajagu. Eemaldada saab ainult NOT available olekus kettajagusid. Kettajao NOT available olekusse viimiseks saab kasutada käsku:

<pre>lvchange -a n /dev/mysql/data</pre>
ja tagasi:
<pre>lvchange -a y /dev/mysql/data</pre>

===Failisüsteemi loomine ja ühendamine===
Nüüd on loodud uus kettajagu, mida saab andmete säiltamiseks kasutada. Loome sellele kettajaole failisüsteemi:
<pre>mkfs -t ext4 /dev/mysql/data</pre>

Järgmisena tuleb loodud kettajagu kuhugile mountida. Mina teen sellejaoks /srv/mysql kausta ja haagin ketta sinna.

<pre>mkdir /srv/mysql
mount /dev/mysql/data /srv/mysql</pre>

Lisame '''/etc/fstab''' faili lõppu kirje, et ka järgmisel süsteemi käivitamisel oleks ketas kohe külgehaagitud

<pre>
<file system> <mount point> <type> <options> <dump> <pass>
/dev/mysql/data /srv/mysql ext4 defaults 0 0</pre>

==MySQL seadistamine==
Muudame kausta õigused mysql-ile sobivaks (kausta omanik on kasutaja mysql ja kaustale on ligipääs ainult kausta omanikul)
<pre>chown mysql:mysql /srv/mysql
chmod 0700 /srv/mysql</pre>

Nüüd tuleb olemasolev mysql data kaust liigutada /srv/mysql kausta. Esimese asjana peatada mysql server
<pre>service mysql stop</pre>

Kopeerime (!) kogu mysql-i data kausta loodud lvm kettajaole. Ubuntus (ilmselt ka paljudes teistes operatsioonisüsteemides) asub mysq-i data kaust /var/lib/mysql. Oleks vägagi soovitatav jätta andmed vanasse kausta alles ja kustuta see alles siis kui ollakse täiesti kindel, et server töötab tõrgeteta.
<pre>cp -ar /var/lib/mysql/. /srv/mysql</pre>

Seejärel tuleb mysql-i konfiguratsioonifailis ('''/etc/mysql/my.cnf''') muuta ära „datadir“ parameeter
<pre>datadir = /var/lib/mysql -> datadir = /srv/mysql</pre>

Teadmiseks: alates Ubuntu 7.10 -st on operatsioonisüsteemiga kaasas programm nimega „AppArmor“ (Loe lähemalt: https://wiki.itcollege.ee/index.php/AppArmor). Tegemist on kerneli turvamooduliga, mis teatavate programmide puhul piirab nende ligipääsu failisüsteemile. Et MySQL server uuesti korrektselt käivituks, tuleb „AppArmor“ -is mysq-i seadistust muuta. Sobiva tekstieditoriga tuleb avada ''''/etc/apparmor.d/usr.sbin.mysqld''' konfifail ja teha seal vajalikud muudatused :
<pre>/var/lib/mysql/ r, -> /srv/mysql r,
/var/lib/mysql/** rwk, -> /srv/mysql** rwk,</pre>

Seejärel on vaja teha AppArmorile restart
<pre>service apparmor restart</pre>

Osadel operatsioonisüsteemidel võib ka init skript ette anda, kus asub mysql-i datadir. Seega oleks mõistlik ka see '''/etc/init.d/mysql''' skriptist üle vaadata.

Käivitame uuesti mysql-i serveri:

<pre>service mysql start</pre>

Kontrollime mysql-i muutujaid:
<pre>mysqladmin -u [mysql-kasutaja] -p variables | grep datadir</pre>
<pre>Enter password: [mysql-parool]
| datadir | /srv/mysql/
</pre>
Lisaks tuleks sobiva mysql kliendiga serverisse sisse logida ja kontrollida üle, kas kõik jäi korrektselt tööle.

Nüüd, kui MySQL server on korrektselt tööle hakanud ja tekib vajadus varukoopiate tegemiseks. Töötavast serverist snapshoti tegemisel pole vajalik eelnev serveri väljalülitamine. Snapshoti tegemise protsess on äärmiselt kiire ja andmete lugemine andmebaasist toimib endiselt edasi. Samas andmete kirjutamise protsess viibib seni kuni andmebaasilt kirjutamise lukk maha võetakse (kõik kirjutamise käsud täidetakse kohe peale luku vabastamist).
Ehkki varukoopia tegemise protsess ei tekita katkestusi serveri töös, oleks hea mõte teha varukoopiaid sellisel ajal kui serveril on kõige väiksem koormus.
On vajalik teada, et andmebaas lukustatakse ainult selleks ajaks, kui mysql serverisse on sisse logitud. Kohe kui sessioon lõpetatakse, vabastatakse ka lukud. Seetõttu peab snaspshoti tegemise ajal olema serverisse sisse logitud. Variant on kasutada kahte terminali sessiooni aga vajalikke käske saab käivitada ka MySQL-i käsurealt (vajalik on mysql-i klient käivitada root kasutaja õigustes).
<pre>mysql -u [root] -p
Enter password:</pre>

Protseduuri ajaks on vajalik keelata ära andmete kirjutamine:
<pre>mysql> FLUSH TABLES WITH READ LOCK;</pre>
</pre>Query OK, 0 rows affected (0.00 sec)</pre>
Lisaks võiks tühjendada ka logid:
<pre>mysql> FLUSH LOGS;</pre>
<pre>Query OK, 0 rows affected (0.00 sec)</pre>

==Tõmmise tegemine==
<pre>
mysql> SYSTEM /sbin/lvcreate -L 1G --snapshot -n sql_backup /dev/mysql/data
File descriptor 3 (socket:[15065]) leaked on lvcreate invocation. Parent PID 3514: sh
Logical volume "sql_backup" created
mysql> UNLOCK TABLES;
Query OK, 0 rows affected (0.01 sec)

mysql> exit
Bye
</pre>
Snapshoti kettajagu nimetati kui sql_backup ja viide loogilisele seadmele asub /dev/mysql/sql_backup. Käivitades käsu „lvs“, saab näha, et lisaks mysql/data LV-le on juurde tekkinud mysql/sql_backup
<pre>lvs</pre>
<pre>LV VG Attr LSize Origin Snap% Move Log Copy% Convert
data mysql owi-ao 1.00g
sql_backup mysql swi-a- 1.00g data 0.00
</pre>
Kui nüüd haakida tehtud snapshoti kettajagu, on seal kättesaadav kogu mysql-i data sellel hetkel, kui snapshot tehti.
<pre>mkdir /mnt/bk
mount /dev/mysql/sql_backup /mnt/bk
ls -la /mnt/bk</pre>
<pre>total 28720
drwx------ 8 mysql mysql 4096 Dec 12 15:59 .
drwxr-xr-x 3 root root 4096 Dec 12 16:34 ..
-rw-r--r-- 1 root root 0 Nov 30 17:18 debian-5.5.flag
-rw-rw---- 1 mysql mysql 18874368 Dec 12 16:18 ibdata1
-rw-rw---- 1 mysql mysql 5242880 Dec 12 16:18 ib_logfile0
-rw-rw---- 1 mysql mysql 5242880 Nov 30 17:18 ib_logfile1
drwx------ 2 root root 16384 Dec 12 15:58 lost+found
drwx------ 2 mysql root 4096 Nov 30 17:18 mysql
-rw-rw---- 1 root root 6 Nov 30 17:18 mysql_upgrade_info
drwx------ 2 mysql mysql 4096 Nov 30 17:18 performance_schema
drwx------ 2 mysql mysql 4096 Nov 30 17:28 phpmyadmin
drwx------ 2 mysql root 4096 Dec 12 16:18 test
drwx------ 2 mysql mysql 4096 Nov 30 17:33 wp
</pre>
MySQL-i server töötab peale snapshoti tegemist katkestusteta edasi. Tehtud snapshoti andmeid võib varundada arhiivi jaoks. Andmete varundamisel tuleb spashoti kettajagu failisüsteemi külge haakida ja selle sisu „tar“-i abil arhiveerida ja hiljem eemaldada snapshoti kettajagu

<pre>mkdir -p /var/teekond/arhiivi
tar -cjf [/var/teekond/arhiivi/][kuupäev].tar.bz2 -C /mnt/bk
umount /dev/mysql/sql_backup
lvremove /dev/mysql/sql_backup
Do you really want to remove active logical volume sql_backup? [y/n]: Y
Logical volume "sql_backup" successfully removed
</pre>

Tulemuseks nüüd loogilise kettajao vaatamisele on:
<pre>lvdisplay</pre>
<pre> --- Logical volume ---
LV Name /dev/mysql/data
VG Name mysql
LV UUID ZIMxmO-kUQR-u4gD-Wk9m-0MCK-kqwx-1kMaVP
LV Write Access read/write
LV snapshot status source of
/dev/mysql/sql_backup [active]
LV Status available
# open 1
LV Size 1.00 GiB
Current LE 256
Segments 1
Allocation inherit
Read ahead sectors auto
- currently set to 256
Block device 252:1

--- Logical volume ---
LV Name /dev/mysql/sql_backup
VG Name mysql
LV UUID XMqxEq-yRhp-u8lf-mZ9U-1R2F-fBlf-5hoEeR
LV Write Access read/write
LV snapshot status active destination for /dev/mysql/data
LV Status available
# open 0
LV Size 1.00 GiB
Current LE 256
COW-table size 1.00 GiB
COW-table LE 256
Allocated to snapshot 0.02%
Snapshot chunk size 4.00 KiB
Segments 1
Allocation inherit
Read ahead sectors auto
- currently set to 256
Block device 252:3
</pre>

'''Kuna tõmmis kasvab koos originaalkettajaoga on tähtis jälgida, et tõmmis protsentuaalselt täis ei saaks. Regulaarselt tuleb mahtuvust kontrollida lvs käsuga. 100% täitunud tõmmisele ei saa enam juurde kirjutada ning sellega andmeterviklikkus rikutakse ära!'''

<pre>lvs</pre>
<pre> LV VG Attr LSize Origin Snap% Move Log Copy% Convert
data mysql owi-ao 1.00g
sql_backup mysql swi-a- 1.00g data 0.02
</pre>

Kogu protseduuri automatiseerimiseks on võimalik koostada ka skript, mida saab käivitada sobival aja või kasutades „cron“ ajastamise vahendeid.

Lisaks on võimalik mysql-i data kaust haakida ümber snapshoti kettajaole ja taastada server sellesse seisu, mis oli snapshoti tegemise hetkel minimaalse katkestuse ajaga.

==Kokkuvõte==

LVM -i kasutamine varundamisel on väikestes ja mittekriitilistes süsteemides küllaltki hea lahendus. See ei nõua eriteadmisi ja kallist riistvara/tarkvara. Kuid suurematesse ja keerukamatesse lahendustesse see ei sobi, kuna see ainult aitab luua snapshoti hetke seisust aga ei paku võimalust seda eraldi salvestada. Arhiveerimiseks tuleb kasutada eraldi vahendeid ja selle protseduuri käigus võib minna kaduma vajalikke andmeid. Ka ei võistle LVM proffessionaalsete vahenditega nagu Arkeia (http://www.arkeia.com/) või BrightStor, mis on just varundamise lahenduste jaoks loodud ja muudavad antud tegemise mugavaks ja kiireks.

==Kasutatud kirjandus==
http://kuutorvaja.eenet.ee/wiki/LVM 
http://www.web-manual.net/linux-3/logical-volume-manager-in-linux/ 
http://www.lullabot.com/articles/mysql-backups-using-lvm-snapshots 
http://www.ubuntugeek.com/how-to-change-the-mysql-data-default-directory.html 
https://wiki.ubuntu.com/Lvm 
http://linuxconfig.org/Linux_lvm_-_Logical_Volume_Manager 
Loodus, Katrin. Andmesalvestustehnoloogiad - loeng 4.1 Ülevaade Logical Volume Manager-ist [https://wiki.itcollege.ee/index.php/Category:Andmesalvestustehnoloogiad]

"7 Linux fdisk Command Examples to Manage Hard Disk Partition" [http://www.thegeekstuff.com/2010/09/linux-fdisk/]

"LVM" [https://wiki.ubuntu.com/Lvm]

==Autor==
Madis Lauri
AK 31
[[Category:Operatsioonisüsteemide administreerimine ja sidumine]]

'''Täiendamine:'''

Carolys Kallas A32

Aine: Linuxi administreerimine

Viimati muudetud: 13.01.2013

Mysql varundamine LVM abil

2013-01-13T12:23:25Z

Ckallas: /* MySQL seadistamine */

__TOC__
==Sissejuhatus==

Antud kirjatüki eesmärgiks on tutvustada LVM-i kui abivahendit toimivast süsteemist tagavarakoopiate tegemisel. Kuigi failisüsteemi snapshotide tegemine ja nende kasutamine on ainult üks LVM-i pakutavatest võimalustest. LVM - i snapshotide tegemise võimalus pole ainult mysql -i varundamiseks, vaid kasutatav ka muude andmete varukoopiate tegemiseks. Antud juhul on MySQL siin ainult „reisija“ aga protsessi selgitamiseks ja LVM snapshoti kasutamiseks on MySQL näitena väga hea. Kogu seadistamise protsess toimub Ubuntu Linux Server 12.04.1 LTS operatsioonisüsteemis ja kasutab sellega kaasnevaid vahendeid.

==Mis on mis?==
'''Logical Volume Manager''' - LVM

'''Physical Volume''' - PV, plokkseade, füüsiline kettajagu

'''Volume Group''' - VG, kettagrupp

'''Logical Volume''' - LV, loogiline kettajagu

'''Snapshot''' - (hetk)tõmmis

===LVM===
LVM ehk „Logical Volume Manager“ on ketta partitsioonide haldusvahend Linuxi ja UNIX-i laadsete operatsioonisüsteemide juures. LVM moodustab vahekihi failisüsteemi ja füüsilise kõvaketta vahele. Esmapilgul võib tunduda, et LVM on sarnane RAID (Redundant Array of Independent Disks) kettamassiiviga, on ta siiski hoopis paindlikum viis kettajagudega toimetamiseks. RAID võimaldab kettaid omavahel liita, et saada paremaid tulemusi kiiruses, mahus või töökindluses. LVM seevastu võimaldab korraga hallata mitut (ka loogilist) kettajagu, neid vastavalt vajadusele ümber tõsta ja mahtu muuta. Seega on tihti hea mõte neid kahte hoopis koos kasutada (näiteks RAID 10 ja LVM).
Lihtsustatult oleks ettekujutus eri kihtide tasemetest selline:
* Failisüsteemid
* LVM
* RAID (vajadusel)
* füüsilised plokkmäluseadmed (kõvakettad)

===Omadused===
LVM pakutavad võimalused on:
* Failisüsteemi suuruse muutmine
* Failisüsteemi snapshotide tegemine ja kasutamine (nii read-only kui ka read-write)
* Loodud/muudetud partitsioonide kohene kasutamine, kui ketas/partitsioon on mingil moel kasutusel. Fdisk-i kasutamisel tuleb OP-süsteem taaskäivitada.
* Väiksemate füüsiliste plokkseadmete kokku ühendamine, üheks suureks loogiliseks seadmeks. (Nagu RAID)
* Ketaste liigutamine ja ühendamine üle võrgu

Lisainfot LVM-i kohta: http://en.wikipedia.org/wiki/Logical_Volume_Manager_(Linux)

===MySQL===
MySQL on Oracle Corporation poolt hallatav relatsioonilise andmebaasi haldamise süsteem. On äärmiselt populaarne andmebaasisüsteem erinevates veebirakendustes aga ka mõningates suuremates süsteemides. Oma populaarsuse on ta saanud tänu äärmiselt lihtsale hallatavusele ja kasutajasõbralikkusele. Hetkel ei hakka MySQL-i omadustel ja võimalustel pikemalt peatuma. Rohkem informatsiooni leiab: http://www.mysql.com/

==Eeldused==
*Installeeritud Ubuntu Server (vähemalt 12.04 versioon)
*Tutvutud kettajagudega (kiire kordamine näiteks '''[[Osadmin spikker]]''')

'''Viia kõik käsklused läbi sudo kasutaja alt'''
sudo -i

===Ketaste lisamine===
Kõigepealt on vaja lisada serverile kõvaketas, mida hiljem LVM-iga siduma hakata.

[[File:Create_hard_disk.PNG‎|500px]]

Luua uus 4GB ketas, mis on VirtualBox Disk Image (VDI) formaadis ning dünaamiliselt jagatud.

===Vajaliku tarkvara installeerimine===

Et LVM-i ja MySQL-i seadistada on vajalikud teadmised, kuidas toimub Linuxis ketaste ja partitisoonide haldamine ja baasteadmised MySQL-ist.
Kõigepealt on vajalik installeerida lvm2 nimeline pakett, eelnevalt uuendada tarkvaravaramu nimekirja.
<pre>apt-get update
apt-get install lvm2</pre>
Olenevalt operatsioonisüsteemist võib olla vajalikud paketid juba installeeritud, kontrollida saab nii:
<pre>lvm version</pre>

Lisaks on vajalik installeerida MySQL server ja klientprogramm serveriga ühendumiseks.
<pre>apt-get install mysql-server</pre>
NB! Kuna LVM-i kasutuselevõtmine vajab mõningast MySQL-i ümberseadistamist, tuleb arvestada asjaoluga, et MySQL-i data kausta ümbertõstmisel ei pruugi olemasolevad andmed säilida (InnoDB) ja vajalik oleks serveris olevatest andmetest enne .sql kujul tagavarakoopia teha.

==LVM -i seadistamine==

[[File:LVM.jpg|thumb |alt=LVM alt text |LVM]]

LVM ise jaguneb kolmeks eri kihiks: plokkseadmed (PV), kettagrupid (VG), millesse on organiseeritud füüsilised plokkseadmed ja loogilised kettajaod, mis on jagatud kettagrupid.
Iga kihiga toimetamisel on oma käsud, mis viitavad sellele, mis kihiga hetkel toimetatakse: pv*, vg* ning lv*. Näiteks pvcreate, vgcreate ja lvcreate.

Esimese asjana tuleb valida ketas/kettajagu, kus LVM-iga toimetama hakata. Uue ketta puhul oleks võimalusel mõtekas luua üks tervet ketast hõlmav partitsioon.

Operatsioonisüsteem tunnistab näites kasutatavat uut ketast kui /dev/sdb ja seega on näites kasutatavad ketta nimed/asukohad just sellised.

Kõikide olemasolevate partitsioonide kuvamine:
<pre>fdisk -l</pre>

(Kindla partitsiooni vaatamiseks lisada käsu lõppu see partitsioon:)
<pre>fdisk -l /dev/sda</pre>

<pre>fdisk -l 2> /dev/null | grep Disk</pre>
<pre> Disk /dev/sda: 8589 MB, 8589934592 bytes
Disk identifier: 0x000bd8b1
Disk /dev/sdb: 4294 MB, 4294967296 bytes
Disk identifier: 0x11844f48</pre>

===Füüsilise ketta väärtuse muutmine===
Avada fdiskiga uue loodud ketta partitsioon ning luua uus primaarne kettajagu:

<pre>fdisk /dev/sdb
Command (m for help): n

Partition type:
p primary (0 primary, 0 extended, 4 free)
e extended

Select (default p): p

Partition number (1-4, default 1): 1

First sector (2048-8388607, default 2048):
Using default value 2048

Last sector, +sectors or +size{K,M,G} (2048-8388607, default 8388607):
Using default value 8388607</pre>

Print käskluse abil kuvatakse kettajagu, algus, lõpp, blokid, id ning süsteem. Loodud partitsioon on 83 ehk Linux. Partitsiooni süsteemse id muutmiseks kasutatakse '''t'''.

Käsklus '''L''' kuvab kõik kaheksandikkoodid . Linux LVM kood on 8e, et muuta kettajagu Linux LVM-iks on vaja muuta kettajao id 83-lt 8e-ks.
[[file:8e.PNG|500px]]

<pre>
Command (m for help): t
Selected partition 1

Hex code (type L to list codes): 8e
Changed system type of partition 1 to 8e (Linux LVM)

Command (m for help): w
The partition table has been altered!

Calling ioctl() to re-read partition table.
Syncing disks.</pre>

'''NB mitte väljuda q, mis väljub programmist muudatusi salvestamata!'''

===Füüsiline kettajagu===
Järgnevalt anname lvm-ile teada, et loodud partitsioon on „pv“ ehk physical volume.

<pre>pvcreate /dev/sdb1</pre>
Tulemusena luuakse füüsiline kettajagu /dev/sdb1

Kui kõik läks hästi siis display käsk peaks kuvama sellise tulemuse:
<pre>pvdisplay</pre>
<pre>"/dev/sdb1" is a new physical volume of "4.00 GiB"
--- NEW Physical volume ---
PV Name /dev/sdb1
VG Name
PV Size 4.00 GiB
Allocatable NO
PE Size 0
Total PE 0
Free PE 0
Allocated PE 0
PV UUID EdmaX9-bXmQ-Oevp-p9W9-I2qY-gpMM-1w77aQ</pre>

===Kettagrupp===
Loome uue „volume group“ -i ja nimetame selle mysql -iks.

<pre>vgcreate mysql /dev/sdb1</pre>
Tulemusena luuakse kettagrupp nimega mysql.

<pre>vgdisplay</pre>
<pre> --- Volume group ---
VG Name mysql
System ID
Format lvm2
Metadata Areas 1
Metadata Sequence No 4
VG Access read/write
VG Status resizable
MAX LV 0
Cur LV 2
Open LV 2
Max PV 0
Cur PV 1
Act PV 1
VG Size 4.00 GiB
PE Size 4.00 MiB
Total PE 1023
Alloc PE / Size 512 / 2.00 GiB
Free PE / Size 511 / 2.00 GiB
VG UUID s5AjT8-ss7D-Gm9m-XY6j-ULMv-RLbR-xdy0K6</pre>

Järgnevalt saame luua „volume group“ -ile „logical volumes“ ehk loogilised kettajaod. Need on justkui partitsioonid füüsilisel kõvakettal ja neid saab juba andmete talletamiseks kasutada. Nimetame kettajao nimega data ja määrame tema suuruseks 1GB (antud suurus sobib väga hästi katsetamiseks aga reaalsetes süsteemides tuleb muidugi oluliselt suuremaid numbreid kasutada. ). Suuruse seadistamisel tuleb arvestada, et sama „volume group“ peale tuleb mahutada veel vähemalt üks sama suur loogiline kettajagu, mis on loodava LV snapshot. Näide kui VG suurus on kokku 10GB siis on võimalik teha maksimaalselt 5GB suurune loogiline kettajagu. Vastasel ei mahu tema kõrvale, samale VG-le tehtud LV snapshot.

===Loogiline kettajagu===
Data nimelise 1GB loogilise kettajao loomine:
<pre>lvcreate -n data -L 1GB mysql</pre>

Kontrollime tulemust:
<pre>lvdisplay</pre>
<pre> --- Logical volume ---
LV Name /dev/mysql/data
VG Name mysql
LV UUID SL0yWI-Mc2b-KhkE-V8P1-bW7E-3iL8-8zD6Uf
LV Write Access read/write
LV Status available
# open 0
LV Size 1.00 GiB
Current LE 256
Segments 1
Allocation inherit
Read ahead sectors auto
- currently set to 256
Block device 252:0</pre>

Teadmiseks: lvdisplay käsu käivitamisel on näha parameeter „LV Status“. See näitab, kas kettajagu on saadaval või mitte. Kasutada on võimalik ainult available olekus kettajagu. Eemaldada saab ainult NOT available olekus kettajagusid. Kettajao NOT available olekusse viimiseks saab kasutada käsku:

<pre>lvchange -a n /dev/mysql/data</pre>
ja tagasi:
<pre>lvchange -a y /dev/mysql/data</pre>

===Failisüsteemi loomine ja ühendamine===
Nüüd on loodud uus kettajagu, mida saab andmete säiltamiseks kasutada. Loome sellele kettajaole failisüsteemi:
<pre>mkfs -t ext4 /dev/mysql/data</pre>

Järgmisena tuleb loodud kettajagu kuhugile mountida. Mina teen sellejaoks /srv/mysql kausta ja haagin ketta sinna.

<pre>mkdir /srv/mysql
mount /dev/mysql/data /srv/mysql</pre>

Lisame '''/etc/fstab''' faili lõppu kirje, et ka järgmisel süsteemi käivitamisel oleks ketas kohe külgehaagitud

<pre>
<file system> <mount point> <type> <options> <dump> <pass>
/dev/mysql/data /srv/mysql ext4 defaults 0 0</pre>

==MySQL seadistamine==
Muudame kausta õigused mysql-ile sobivaks (kausta omanik on kasutaja mysql ja kaustale on ligipääs ainult kausta omanikul)
<pre>chown mysql:mysql /srv/mysql
chmod 0700 /srv/mysql</pre>

Nüüd tuleb olemasolev mysql data kaust liigutada /srv/mysql kausta. Esimese asjana peatada mysql server
<pre>service mysql stop</pre>

Kopeerime (!) kogu mysql-i data kausta loodud lvm kettajaole. Ubuntus (ilmselt ka paljudes teistes operatsioonisüsteemides) asub mysq-i data kaust /var/lib/mysql. Oleks vägagi soovitatav jätta andmed vanasse kausta alles ja kustuta see alles siis kui ollakse täiesti kindel, et server töötab tõrgeteta.
<pre>cp -ar /var/lib/mysql/. /srv/mysql</pre>

Seejärel tuleb mysql-i konfiguratsioonifailis ('''/etc/mysql/my.cnf''') muuta ära „datadir“ parameeter
<pre>datadir = /var/lib/mysql -> datadir = /srv/mysql</pre>

Teadmiseks: alates Ubuntu 7.10 -st on operatsioonisüsteemiga kaasas programm nimega „AppArmor“ (Loe lähemalt: https://wiki.itcollege.ee/index.php/AppArmor). Tegemist on kerneli turvamooduliga, mis teatavate programmide puhul piirab nende ligipääsu failisüsteemile. Et MySQL server uuesti korrektselt käivituks, tuleb „AppArmor“ -is mysq-i seadistust muuta. Sobiva tekstieditoriga tuleb avada ''''/etc/apparmor.d/usr.sbin.mysqld''' konfifail ja teha seal vajalikud muudatused :
<pre>/var/lib/mysql/ r, -> /srv/mysql r,
/var/lib/mysql/** rwk, -> /srv/mysql** rwk,</pre>

Seejärel on vaja teha AppArmorile restart
<pre>service apparmor restart</pre>

Osadel operatsioonisüsteemidel võib ka init skript ette anda, kus asub mysql-i datadir. Seega oleks mõistlik ka see '''/etc/init.d/mysql''' skriptist üle vaadata.

Käivitame uuesti mysql-i serveri:

<pre>service mysql start</pre>

Kontrollime mysql-i muutujaid:
<pre>mysqladmin -u [mysql-kasutaja] -p variables | grep datadir</pre>
<pre>Enter password: [mysql-parool]
| datadir | /srv/mysql/
</pre>
Lisaks tuleks sobiva mysql kliendiga serverisse sisse logida ja kontrollida üle, kas kõik jäi korrektselt tööle.

Nüüd, kui MySQL server on korrektselt tööle hakanud ja tekib vajadus varukoopiate tegemiseks. Töötavast serverist snapshoti tegemisel pole vajalik eelnev serveri väljalülitama. Lihtsalt protseduuri ajaks oleks vajalik keelata ära andmete kirjutamine „FLUSH TABLES WITH READ LOCK;“ käsuga, lisaks võiks tühjendada ka logid „FLUSH LOGS;“ käsuga. Snapshoti tegemise protsess on äärmiselt kiire ja andmete lugemine andmebaasist toimib endiselt edasi. Samas andmete kirjutamise protsess viibib seni, kui andmebaasilt kirjutamise lukk maha võetakse (kõik kirjutamise käsud täidetakse kohe peale luku vabastamist).
Ehkki varukoopia tegemise protsess ei tekita katkestusi serveri töös, oleks hea mõte teha varukoopiaid sellisel ajal kui serveril on kõige väiksem koormus.
On vajalik teada, et andmebaas lukustatakse ainult selleks ajaks, kui mysql serverisse on sisse logitud. Kohe kui sessioon lõpetatakse, vabastatakse ka lukud. Seetõttu peab snaspshoti tegemise ajal olema serverisse sisse logitud. Variant on kasutada kahte terminali sessiooni aga vajalikke käske saab käivitada ka MySQL-i käsurealt (vajalik on mysql-i klient käivitada root kasutaja õigustes).
<pre>mysql -u [root] -p</pre>
Enter password:
Welcome to the MySQL monitor. Commands end with ; or \g.
Your MySQL connection id is 75
Server version: 5.5.28-0ubuntu0.12.04.2 (Ubuntu)

Copyright (c) 2000, 2012, Oracle and/or its affiliates. All rights reserved.

Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

mysql> FLUSH TABLES WITH READ LOCK;
Query OK, 0 rows affected (0.00 sec)

mysql> FLUSH LOGS;
Query OK, 0 rows affected (0.00 sec)
</pre>

==Tõmmise tegemine==
<pre>
mysql> SYSTEM /sbin/lvcreate -L 1G --snapshot -n sql_backup /dev/mysql/data
File descriptor 3 (socket:[15065]) leaked on lvcreate invocation. Parent PID 3514: sh
Logical volume "sql_backup" created
mysql> UNLOCK TABLES;
Query OK, 0 rows affected (0.01 sec)

mysql> exit
Bye
</pre>
Snapshoti kettajagu nimetati kui sql_backup ja viide loogilisele seadmele asub /dev/mysql/sql_backup. Käivitades käsu „lvs“, saab näha, et lisaks mysql/data LV-le on juurde tekkinud mysql/sql_backup
<pre>lvs</pre>
<pre>LV VG Attr LSize Origin Snap% Move Log Copy% Convert
data mysql owi-ao 1.00g
sql_backup mysql swi-a- 1.00g data 0.00
</pre>
Kui nüüd haakida tehtud snapshoti kettajagu, on seal kättesaadav kogu mysql-i data sellel hetkel, kui snapshot tehti.
<pre>mkdir /mnt/bk
mount /dev/mysql/sql_backup /mnt/bk
ls -la /mnt/bk</pre>
<pre>total 28720
drwx------ 8 mysql mysql 4096 Dec 12 15:59 .
drwxr-xr-x 3 root root 4096 Dec 12 16:34 ..
-rw-r--r-- 1 root root 0 Nov 30 17:18 debian-5.5.flag
-rw-rw---- 1 mysql mysql 18874368 Dec 12 16:18 ibdata1
-rw-rw---- 1 mysql mysql 5242880 Dec 12 16:18 ib_logfile0
-rw-rw---- 1 mysql mysql 5242880 Nov 30 17:18 ib_logfile1
drwx------ 2 root root 16384 Dec 12 15:58 lost+found
drwx------ 2 mysql root 4096 Nov 30 17:18 mysql
-rw-rw---- 1 root root 6 Nov 30 17:18 mysql_upgrade_info
drwx------ 2 mysql mysql 4096 Nov 30 17:18 performance_schema
drwx------ 2 mysql mysql 4096 Nov 30 17:28 phpmyadmin
drwx------ 2 mysql root 4096 Dec 12 16:18 test
drwx------ 2 mysql mysql 4096 Nov 30 17:33 wp
</pre>
MySQL-i server töötab peale snapshoti tegemist katkestusteta edasi. Tehtud snapshoti andmeid võib varundada arhiivi jaoks. Andmete varundamisel tuleb spashoti kettajagu failisüsteemi külge haakida ja selle sisu „tar“-i abil arhiveerida ja hiljem eemaldada snapshoti kettajagu

<pre>mkdir -p /var/teekond/arhiivi
tar -cjf [/var/teekond/arhiivi/][kuupäev].tar.bz2 -C /mnt/bk
umount /dev/mysql/sql_backup
lvremove /dev/mysql/sql_backup
Do you really want to remove active logical volume sql_backup? [y/n]: Y
Logical volume "sql_backup" successfully removed
</pre>

Tulemuseks nüüd loogilise kettajao vaatamisele on:
<pre>lvdisplay</pre>
<pre> --- Logical volume ---
LV Name /dev/mysql/data
VG Name mysql
LV UUID ZIMxmO-kUQR-u4gD-Wk9m-0MCK-kqwx-1kMaVP
LV Write Access read/write
LV snapshot status source of
/dev/mysql/sql_backup [active]
LV Status available
# open 1
LV Size 1.00 GiB
Current LE 256
Segments 1
Allocation inherit
Read ahead sectors auto
- currently set to 256
Block device 252:1

--- Logical volume ---
LV Name /dev/mysql/sql_backup
VG Name mysql
LV UUID XMqxEq-yRhp-u8lf-mZ9U-1R2F-fBlf-5hoEeR
LV Write Access read/write
LV snapshot status active destination for /dev/mysql/data
LV Status available
# open 0
LV Size 1.00 GiB
Current LE 256
COW-table size 1.00 GiB
COW-table LE 256
Allocated to snapshot 0.02%
Snapshot chunk size 4.00 KiB
Segments 1
Allocation inherit
Read ahead sectors auto
- currently set to 256
Block device 252:3
</pre>

'''Kuna tõmmis kasvab koos originaalkettajaoga on tähtis jälgida, et tõmmis protsentuaalselt täis ei saaks. Regulaarselt tuleb mahtuvust kontrollida lvs käsuga. 100% täitunud tõmmisele ei saa enam juurde kirjutada ning sellega andmeterviklikkus rikutakse ära!'''

<pre>lvs</pre>
<pre> LV VG Attr LSize Origin Snap% Move Log Copy% Convert
data mysql owi-ao 1.00g
sql_backup mysql swi-a- 1.00g data 0.02
</pre>

Kogu protseduuri automatiseerimiseks on võimalik koostada ka skript, mida saab käivitada sobival aja või kasutades „cron“ ajastamise vahendeid.

Lisaks on võimalik mysql-i data kaust haakida ümber snapshoti kettajaole ja taastada server sellesse seisu, mis oli snapshoti tegemise hetkel minimaalse katkestuse ajaga.

==Kokkuvõte==

LVM -i kasutamine varundamisel on väikestes ja mittekriitilistes süsteemides küllaltki hea lahendus. See ei nõua eriteadmisi ja kallist riistvara/tarkvara. Kuid suurematesse ja keerukamatesse lahendustesse see ei sobi, kuna see ainult aitab luua snapshoti hetke seisust aga ei paku võimalust seda eraldi salvestada. Arhiveerimiseks tuleb kasutada eraldi vahendeid ja selle protseduuri käigus võib minna kaduma vajalikke andmeid. Ka ei võistle LVM proffessionaalsete vahenditega nagu Arkeia (http://www.arkeia.com/) või BrightStor, mis on just varundamise lahenduste jaoks loodud ja muudavad antud tegemise mugavaks ja kiireks.

==Kasutatud kirjandus==
http://kuutorvaja.eenet.ee/wiki/LVM 
http://www.web-manual.net/linux-3/logical-volume-manager-in-linux/ 
http://www.lullabot.com/articles/mysql-backups-using-lvm-snapshots 
http://www.ubuntugeek.com/how-to-change-the-mysql-data-default-directory.html 
https://wiki.ubuntu.com/Lvm 
http://linuxconfig.org/Linux_lvm_-_Logical_Volume_Manager 
Loodus, Katrin. Andmesalvestustehnoloogiad - loeng 4.1 Ülevaade Logical Volume Manager-ist [https://wiki.itcollege.ee/index.php/Category:Andmesalvestustehnoloogiad]

"7 Linux fdisk Command Examples to Manage Hard Disk Partition" [http://www.thegeekstuff.com/2010/09/linux-fdisk/]

"LVM" [https://wiki.ubuntu.com/Lvm]

==Autor==
Madis Lauri
AK 31
[[Category:Operatsioonisüsteemide administreerimine ja sidumine]]

'''Täiendamine:'''

Carolys Kallas A32

Aine: Linuxi administreerimine

Viimati muudetud: 13.01.2013

Mysql varundamine LVM abil

2013-01-13T12:21:38Z

Ckallas: /* Loogiline kettajagu */

__TOC__
==Sissejuhatus==

Antud kirjatüki eesmärgiks on tutvustada LVM-i kui abivahendit toimivast süsteemist tagavarakoopiate tegemisel. Kuigi failisüsteemi snapshotide tegemine ja nende kasutamine on ainult üks LVM-i pakutavatest võimalustest. LVM - i snapshotide tegemise võimalus pole ainult mysql -i varundamiseks, vaid kasutatav ka muude andmete varukoopiate tegemiseks. Antud juhul on MySQL siin ainult „reisija“ aga protsessi selgitamiseks ja LVM snapshoti kasutamiseks on MySQL näitena väga hea. Kogu seadistamise protsess toimub Ubuntu Linux Server 12.04.1 LTS operatsioonisüsteemis ja kasutab sellega kaasnevaid vahendeid.

==Mis on mis?==
'''Logical Volume Manager''' - LVM

'''Physical Volume''' - PV, plokkseade, füüsiline kettajagu

'''Volume Group''' - VG, kettagrupp

'''Logical Volume''' - LV, loogiline kettajagu

'''Snapshot''' - (hetk)tõmmis

===LVM===
LVM ehk „Logical Volume Manager“ on ketta partitsioonide haldusvahend Linuxi ja UNIX-i laadsete operatsioonisüsteemide juures. LVM moodustab vahekihi failisüsteemi ja füüsilise kõvaketta vahele. Esmapilgul võib tunduda, et LVM on sarnane RAID (Redundant Array of Independent Disks) kettamassiiviga, on ta siiski hoopis paindlikum viis kettajagudega toimetamiseks. RAID võimaldab kettaid omavahel liita, et saada paremaid tulemusi kiiruses, mahus või töökindluses. LVM seevastu võimaldab korraga hallata mitut (ka loogilist) kettajagu, neid vastavalt vajadusele ümber tõsta ja mahtu muuta. Seega on tihti hea mõte neid kahte hoopis koos kasutada (näiteks RAID 10 ja LVM).
Lihtsustatult oleks ettekujutus eri kihtide tasemetest selline:
* Failisüsteemid
* LVM
* RAID (vajadusel)
* füüsilised plokkmäluseadmed (kõvakettad)

===Omadused===
LVM pakutavad võimalused on:
* Failisüsteemi suuruse muutmine
* Failisüsteemi snapshotide tegemine ja kasutamine (nii read-only kui ka read-write)
* Loodud/muudetud partitsioonide kohene kasutamine, kui ketas/partitsioon on mingil moel kasutusel. Fdisk-i kasutamisel tuleb OP-süsteem taaskäivitada.
* Väiksemate füüsiliste plokkseadmete kokku ühendamine, üheks suureks loogiliseks seadmeks. (Nagu RAID)
* Ketaste liigutamine ja ühendamine üle võrgu

Lisainfot LVM-i kohta: http://en.wikipedia.org/wiki/Logical_Volume_Manager_(Linux)

===MySQL===
MySQL on Oracle Corporation poolt hallatav relatsioonilise andmebaasi haldamise süsteem. On äärmiselt populaarne andmebaasisüsteem erinevates veebirakendustes aga ka mõningates suuremates süsteemides. Oma populaarsuse on ta saanud tänu äärmiselt lihtsale hallatavusele ja kasutajasõbralikkusele. Hetkel ei hakka MySQL-i omadustel ja võimalustel pikemalt peatuma. Rohkem informatsiooni leiab: http://www.mysql.com/

==Eeldused==
*Installeeritud Ubuntu Server (vähemalt 12.04 versioon)
*Tutvutud kettajagudega (kiire kordamine näiteks '''[[Osadmin spikker]]''')

'''Viia kõik käsklused läbi sudo kasutaja alt'''
sudo -i

===Ketaste lisamine===
Kõigepealt on vaja lisada serverile kõvaketas, mida hiljem LVM-iga siduma hakata.

[[File:Create_hard_disk.PNG‎|500px]]

Luua uus 4GB ketas, mis on VirtualBox Disk Image (VDI) formaadis ning dünaamiliselt jagatud.

===Vajaliku tarkvara installeerimine===

Et LVM-i ja MySQL-i seadistada on vajalikud teadmised, kuidas toimub Linuxis ketaste ja partitisoonide haldamine ja baasteadmised MySQL-ist.
Kõigepealt on vajalik installeerida lvm2 nimeline pakett, eelnevalt uuendada tarkvaravaramu nimekirja.
<pre>apt-get update
apt-get install lvm2</pre>
Olenevalt operatsioonisüsteemist võib olla vajalikud paketid juba installeeritud, kontrollida saab nii:
<pre>lvm version</pre>

Lisaks on vajalik installeerida MySQL server ja klientprogramm serveriga ühendumiseks.
<pre>apt-get install mysql-server</pre>
NB! Kuna LVM-i kasutuselevõtmine vajab mõningast MySQL-i ümberseadistamist, tuleb arvestada asjaoluga, et MySQL-i data kausta ümbertõstmisel ei pruugi olemasolevad andmed säilida (InnoDB) ja vajalik oleks serveris olevatest andmetest enne .sql kujul tagavarakoopia teha.

==LVM -i seadistamine==

[[File:LVM.jpg|thumb |alt=LVM alt text |LVM]]

LVM ise jaguneb kolmeks eri kihiks: plokkseadmed (PV), kettagrupid (VG), millesse on organiseeritud füüsilised plokkseadmed ja loogilised kettajaod, mis on jagatud kettagrupid.
Iga kihiga toimetamisel on oma käsud, mis viitavad sellele, mis kihiga hetkel toimetatakse: pv*, vg* ning lv*. Näiteks pvcreate, vgcreate ja lvcreate.

Esimese asjana tuleb valida ketas/kettajagu, kus LVM-iga toimetama hakata. Uue ketta puhul oleks võimalusel mõtekas luua üks tervet ketast hõlmav partitsioon.

Operatsioonisüsteem tunnistab näites kasutatavat uut ketast kui /dev/sdb ja seega on näites kasutatavad ketta nimed/asukohad just sellised.

Kõikide olemasolevate partitsioonide kuvamine:
<pre>fdisk -l</pre>

(Kindla partitsiooni vaatamiseks lisada käsu lõppu see partitsioon:)
<pre>fdisk -l /dev/sda</pre>

<pre>fdisk -l 2> /dev/null | grep Disk</pre>
<pre> Disk /dev/sda: 8589 MB, 8589934592 bytes
Disk identifier: 0x000bd8b1
Disk /dev/sdb: 4294 MB, 4294967296 bytes
Disk identifier: 0x11844f48</pre>

===Füüsilise ketta väärtuse muutmine===
Avada fdiskiga uue loodud ketta partitsioon ning luua uus primaarne kettajagu:

<pre>fdisk /dev/sdb
Command (m for help): n

Partition type:
p primary (0 primary, 0 extended, 4 free)
e extended

Select (default p): p

Partition number (1-4, default 1): 1

First sector (2048-8388607, default 2048):
Using default value 2048

Last sector, +sectors or +size{K,M,G} (2048-8388607, default 8388607):
Using default value 8388607</pre>

Print käskluse abil kuvatakse kettajagu, algus, lõpp, blokid, id ning süsteem. Loodud partitsioon on 83 ehk Linux. Partitsiooni süsteemse id muutmiseks kasutatakse '''t'''.

Käsklus '''L''' kuvab kõik kaheksandikkoodid . Linux LVM kood on 8e, et muuta kettajagu Linux LVM-iks on vaja muuta kettajao id 83-lt 8e-ks.
[[file:8e.PNG|500px]]

<pre>
Command (m for help): t
Selected partition 1

Hex code (type L to list codes): 8e
Changed system type of partition 1 to 8e (Linux LVM)

Command (m for help): w
The partition table has been altered!

Calling ioctl() to re-read partition table.
Syncing disks.</pre>

'''NB mitte väljuda q, mis väljub programmist muudatusi salvestamata!'''

===Füüsiline kettajagu===
Järgnevalt anname lvm-ile teada, et loodud partitsioon on „pv“ ehk physical volume.

<pre>pvcreate /dev/sdb1</pre>
Tulemusena luuakse füüsiline kettajagu /dev/sdb1

Kui kõik läks hästi siis display käsk peaks kuvama sellise tulemuse:
<pre>pvdisplay</pre>
<pre>"/dev/sdb1" is a new physical volume of "4.00 GiB"
--- NEW Physical volume ---
PV Name /dev/sdb1
VG Name
PV Size 4.00 GiB
Allocatable NO
PE Size 0
Total PE 0
Free PE 0
Allocated PE 0
PV UUID EdmaX9-bXmQ-Oevp-p9W9-I2qY-gpMM-1w77aQ</pre>

===Kettagrupp===
Loome uue „volume group“ -i ja nimetame selle mysql -iks.

<pre>vgcreate mysql /dev/sdb1</pre>
Tulemusena luuakse kettagrupp nimega mysql.

<pre>vgdisplay</pre>
<pre> --- Volume group ---
VG Name mysql
System ID
Format lvm2
Metadata Areas 1
Metadata Sequence No 4
VG Access read/write
VG Status resizable
MAX LV 0
Cur LV 2
Open LV 2
Max PV 0
Cur PV 1
Act PV 1
VG Size 4.00 GiB
PE Size 4.00 MiB
Total PE 1023
Alloc PE / Size 512 / 2.00 GiB
Free PE / Size 511 / 2.00 GiB
VG UUID s5AjT8-ss7D-Gm9m-XY6j-ULMv-RLbR-xdy0K6</pre>

Järgnevalt saame luua „volume group“ -ile „logical volumes“ ehk loogilised kettajaod. Need on justkui partitsioonid füüsilisel kõvakettal ja neid saab juba andmete talletamiseks kasutada. Nimetame kettajao nimega data ja määrame tema suuruseks 1GB (antud suurus sobib väga hästi katsetamiseks aga reaalsetes süsteemides tuleb muidugi oluliselt suuremaid numbreid kasutada. ). Suuruse seadistamisel tuleb arvestada, et sama „volume group“ peale tuleb mahutada veel vähemalt üks sama suur loogiline kettajagu, mis on loodava LV snapshot. Näide kui VG suurus on kokku 10GB siis on võimalik teha maksimaalselt 5GB suurune loogiline kettajagu. Vastasel ei mahu tema kõrvale, samale VG-le tehtud LV snapshot.

===Loogiline kettajagu===
Data nimelise 1GB loogilise kettajao loomine:
<pre>lvcreate -n data -L 1GB mysql</pre>

Kontrollime tulemust:
<pre>lvdisplay</pre>
<pre> --- Logical volume ---
LV Name /dev/mysql/data
VG Name mysql
LV UUID SL0yWI-Mc2b-KhkE-V8P1-bW7E-3iL8-8zD6Uf
LV Write Access read/write
LV Status available
# open 0
LV Size 1.00 GiB
Current LE 256
Segments 1
Allocation inherit
Read ahead sectors auto
- currently set to 256
Block device 252:0</pre>

Teadmiseks: lvdisplay käsu käivitamisel on näha parameeter „LV Status“. See näitab, kas kettajagu on saadaval või mitte. Kasutada on võimalik ainult available olekus kettajagu. Eemaldada saab ainult NOT available olekus kettajagusid. Kettajao NOT available olekusse viimiseks saab kasutada käsku:

<pre>lvchange -a n /dev/mysql/data</pre>
ja tagasi:
<pre>lvchange -a y /dev/mysql/data</pre>

===Failisüsteemi loomine ja ühendamine===
Nüüd on loodud uus kettajagu, mida saab andmete säiltamiseks kasutada. Loome sellele kettajaole failisüsteemi:
<pre>mkfs -t ext4 /dev/mysql/data</pre>

Järgmisena tuleb loodud kettajagu kuhugile mountida. Mina teen sellejaoks /srv/mysql kausta ja haagin ketta sinna.

<pre>mkdir /srv/mysql
mount /dev/mysql/data /srv/mysql</pre>

Lisame '''/etc/fstab''' faili lõppu kirje, et ka järgmisel süsteemi käivitamisel oleks ketas kohe külgehaagitud

<pre>
<file system> <mount point> <type> <options> <dump> <pass>
/dev/mysql/data /srv/mysql ext4 defaults 0 0</pre>

==MySQL seadistamine==
Muudame kausta õigused mysql-ile sobivaks (kausta omanik on kasutaja mysql ja kaustale on ligipääs ainult kausta omanikul)
<pre>chown mysql:mysql /srv/mysql
chmod 0700 /srv/mysql</pre>

Nüüd tuleb olemasolev mysql data kaust liigutada /srv/mysql kausta. Esimese asjana peatada mysql server
<pre>service mysql stop
mysql stop/waiting</pre>

Kopeerime (!) kogu mysql-i data kausta loodud lvm kettajaole. Ubuntus (ilmselt ka paljudes teistes operatsioonisüsteemides) asub mysq-i data kaust /var/lib/mysql. Oleks vägagi soovitatav jätta andmed vanasse kausta alles ja kustuta see alles siis kui ollakse täiesti kindel, et server töötab tõrgeteta.
<pre>cp -ar /var/lib/mysql/. /srv/mysql</pre>

Seejärel tuleb mysql-i konfiguratsioonifailis ('''/etc/mysql/my.cnf''') muuta ära „datadir“ parameeter
<pre>datadir = /var/lib/mysql -> datadir = /srv/mysql</pre>

Teadmiseks: alates Ubuntu 7.10 -st on operatsioonisüsteemiga kaasas programm nimega „AppArmor“ (Loe lähemalt: https://wiki.itcollege.ee/index.php/AppArmor). Tegemist on kerneli turvamooduliga, mis teatavate programmide puhul piirab nende ligipääsu failisüsteemile. Et MySQL server uuesti korrektselt käivituks, tuleb „AppArmor“ -is mysq-i seadistust muuta. Sobiva tekstieditoriga tuleb avada ''''/etc/apparmor.d/usr.sbin.mysqld''' konfifail ja teha seal vajalikud muudatused :
<pre>/var/lib/mysql/ r, -> /srv/mysql r,
/var/lib/mysql/** rwk, -> /srv/mysql** rwk,</pre>

Seejärel on vaja teha AppArmorile restart
<pre>service apparmor restart</pre>

Osadel operatsioonisüsteemidel võib ka init skript ette anda, kus asub mysql-i datadir. Seega oleks mõistlik ka see '''/etc/init.d/mysql''' skriptist üle vaadata.

Käivitame uuesti mysql-i serveri:

<pre>service mysql start</pre>

Kontrollime mysql-i muutujaid:
<pre>mysqladmin -u [mysql-kasutaja] -p variables | grep datadir</pre>
<pre>Enter password: [mysql-parool]
| datadir | /srv/mysql/
</pre>
Lisaks tuleks sobiva mysql kliendiga serverisse sisse logida ja kontrollida üle, kas kõik jäi korrektselt tööle.

Nüüd, kui MySQL server on korrektselt tööle hakanud ja tekib vajadus varukoopiate tegemiseks. Töötavast serverist snapshoti tegemisel pole vajalik eelnev serveri väljalülitama. Lihtsalt protseduuri ajaks oleks vajalik keelata ära andmete kirjutamine „FLUSH TABLES WITH READ LOCK;“ käsuga, lisaks võiks tühjendada ka logid „FLUSH LOGS;“ käsuga. Snapshoti tegemise protsess on äärmiselt kiire ja andmete lugemine andmebaasist toimib endiselt edasi. Samas andmete kirjutamise protsess viibib seni, kui andmebaasilt kirjutamise lukk maha võetakse (kõik kirjutamise käsud täidetakse kohe peale luku vabastamist).
Ehkki varukoopia tegemise protsess ei tekita katkestusi serveri töös, oleks hea mõte teha varukoopiaid sellisel ajal kui serveril on kõige väiksem koormus.
On vajalik teada, et andmebaas lukustatakse ainult selleks ajaks, kui mysql serverisse on sisse logitud. Kohe kui sessioon lõpetatakse, vabastatakse ka lukud. Seetõttu peab snaspshoti tegemise ajal olema serverisse sisse logitud. Variant on kasutada kahte terminali sessiooni aga vajalikke käske saab käivitada ka MySQL-i käsurealt (vajalik on mysql-i klient käivitada root kasutaja õigustes).
<pre>mysql -u [root] -p</pre>
Enter password:
Welcome to the MySQL monitor. Commands end with ; or \g.
Your MySQL connection id is 75
Server version: 5.5.28-0ubuntu0.12.04.2 (Ubuntu)

Copyright (c) 2000, 2012, Oracle and/or its affiliates. All rights reserved.

Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

mysql> FLUSH TABLES WITH READ LOCK;
Query OK, 0 rows affected (0.00 sec)

mysql> FLUSH LOGS;
Query OK, 0 rows affected (0.00 sec)
</pre>

==Tõmmise tegemine==
<pre>
mysql> SYSTEM /sbin/lvcreate -L 1G --snapshot -n sql_backup /dev/mysql/data
File descriptor 3 (socket:[15065]) leaked on lvcreate invocation. Parent PID 3514: sh
Logical volume "sql_backup" created
mysql> UNLOCK TABLES;
Query OK, 0 rows affected (0.01 sec)

mysql> exit
Bye
</pre>
Snapshoti kettajagu nimetati kui sql_backup ja viide loogilisele seadmele asub /dev/mysql/sql_backup. Käivitades käsu „lvs“, saab näha, et lisaks mysql/data LV-le on juurde tekkinud mysql/sql_backup
<pre>lvs</pre>
<pre>LV VG Attr LSize Origin Snap% Move Log Copy% Convert
data mysql owi-ao 1.00g
sql_backup mysql swi-a- 1.00g data 0.00
</pre>
Kui nüüd haakida tehtud snapshoti kettajagu, on seal kättesaadav kogu mysql-i data sellel hetkel, kui snapshot tehti.
<pre>mkdir /mnt/bk
mount /dev/mysql/sql_backup /mnt/bk
ls -la /mnt/bk</pre>
<pre>total 28720
drwx------ 8 mysql mysql 4096 Dec 12 15:59 .
drwxr-xr-x 3 root root 4096 Dec 12 16:34 ..
-rw-r--r-- 1 root root 0 Nov 30 17:18 debian-5.5.flag
-rw-rw---- 1 mysql mysql 18874368 Dec 12 16:18 ibdata1
-rw-rw---- 1 mysql mysql 5242880 Dec 12 16:18 ib_logfile0
-rw-rw---- 1 mysql mysql 5242880 Nov 30 17:18 ib_logfile1
drwx------ 2 root root 16384 Dec 12 15:58 lost+found
drwx------ 2 mysql root 4096 Nov 30 17:18 mysql
-rw-rw---- 1 root root 6 Nov 30 17:18 mysql_upgrade_info
drwx------ 2 mysql mysql 4096 Nov 30 17:18 performance_schema
drwx------ 2 mysql mysql 4096 Nov 30 17:28 phpmyadmin
drwx------ 2 mysql root 4096 Dec 12 16:18 test
drwx------ 2 mysql mysql 4096 Nov 30 17:33 wp
</pre>
MySQL-i server töötab peale snapshoti tegemist katkestusteta edasi. Tehtud snapshoti andmeid võib varundada arhiivi jaoks. Andmete varundamisel tuleb spashoti kettajagu failisüsteemi külge haakida ja selle sisu „tar“-i abil arhiveerida ja hiljem eemaldada snapshoti kettajagu

<pre>mkdir -p /var/teekond/arhiivi
tar -cjf [/var/teekond/arhiivi/][kuupäev].tar.bz2 -C /mnt/bk
umount /dev/mysql/sql_backup
lvremove /dev/mysql/sql_backup
Do you really want to remove active logical volume sql_backup? [y/n]: Y
Logical volume "sql_backup" successfully removed
</pre>

Tulemuseks nüüd loogilise kettajao vaatamisele on:
<pre>lvdisplay</pre>
<pre> --- Logical volume ---
LV Name /dev/mysql/data
VG Name mysql
LV UUID ZIMxmO-kUQR-u4gD-Wk9m-0MCK-kqwx-1kMaVP
LV Write Access read/write
LV snapshot status source of
/dev/mysql/sql_backup [active]
LV Status available
# open 1
LV Size 1.00 GiB
Current LE 256
Segments 1
Allocation inherit
Read ahead sectors auto
- currently set to 256
Block device 252:1

--- Logical volume ---
LV Name /dev/mysql/sql_backup
VG Name mysql
LV UUID XMqxEq-yRhp-u8lf-mZ9U-1R2F-fBlf-5hoEeR
LV Write Access read/write
LV snapshot status active destination for /dev/mysql/data
LV Status available
# open 0
LV Size 1.00 GiB
Current LE 256
COW-table size 1.00 GiB
COW-table LE 256
Allocated to snapshot 0.02%
Snapshot chunk size 4.00 KiB
Segments 1
Allocation inherit
Read ahead sectors auto
- currently set to 256
Block device 252:3
</pre>

'''Kuna tõmmis kasvab koos originaalkettajaoga on tähtis jälgida, et tõmmis protsentuaalselt täis ei saaks. Regulaarselt tuleb mahtuvust kontrollida lvs käsuga. 100% täitunud tõmmisele ei saa enam juurde kirjutada ning sellega andmeterviklikkus rikutakse ära!'''

<pre>lvs</pre>
<pre> LV VG Attr LSize Origin Snap% Move Log Copy% Convert
data mysql owi-ao 1.00g
sql_backup mysql swi-a- 1.00g data 0.02
</pre>

Kogu protseduuri automatiseerimiseks on võimalik koostada ka skript, mida saab käivitada sobival aja või kasutades „cron“ ajastamise vahendeid.

Lisaks on võimalik mysql-i data kaust haakida ümber snapshoti kettajaole ja taastada server sellesse seisu, mis oli snapshoti tegemise hetkel minimaalse katkestuse ajaga.

==Kokkuvõte==

LVM -i kasutamine varundamisel on väikestes ja mittekriitilistes süsteemides küllaltki hea lahendus. See ei nõua eriteadmisi ja kallist riistvara/tarkvara. Kuid suurematesse ja keerukamatesse lahendustesse see ei sobi, kuna see ainult aitab luua snapshoti hetke seisust aga ei paku võimalust seda eraldi salvestada. Arhiveerimiseks tuleb kasutada eraldi vahendeid ja selle protseduuri käigus võib minna kaduma vajalikke andmeid. Ka ei võistle LVM proffessionaalsete vahenditega nagu Arkeia (http://www.arkeia.com/) või BrightStor, mis on just varundamise lahenduste jaoks loodud ja muudavad antud tegemise mugavaks ja kiireks.

==Kasutatud kirjandus==
http://kuutorvaja.eenet.ee/wiki/LVM 
http://www.web-manual.net/linux-3/logical-volume-manager-in-linux/ 
http://www.lullabot.com/articles/mysql-backups-using-lvm-snapshots 
http://www.ubuntugeek.com/how-to-change-the-mysql-data-default-directory.html 
https://wiki.ubuntu.com/Lvm 
http://linuxconfig.org/Linux_lvm_-_Logical_Volume_Manager 
Loodus, Katrin. Andmesalvestustehnoloogiad - loeng 4.1 Ülevaade Logical Volume Manager-ist [https://wiki.itcollege.ee/index.php/Category:Andmesalvestustehnoloogiad]

"7 Linux fdisk Command Examples to Manage Hard Disk Partition" [http://www.thegeekstuff.com/2010/09/linux-fdisk/]

"LVM" [https://wiki.ubuntu.com/Lvm]

==Autor==
Madis Lauri
AK 31
[[Category:Operatsioonisüsteemide administreerimine ja sidumine]]

'''Täiendamine:'''

Carolys Kallas A32

Aine: Linuxi administreerimine

Viimati muudetud: 13.01.2013

Mysql varundamine LVM abil

2013-01-13T12:20:07Z

Ckallas: /* Kettagrupp */

__TOC__
==Sissejuhatus==

Antud kirjatüki eesmärgiks on tutvustada LVM-i kui abivahendit toimivast süsteemist tagavarakoopiate tegemisel. Kuigi failisüsteemi snapshotide tegemine ja nende kasutamine on ainult üks LVM-i pakutavatest võimalustest. LVM - i snapshotide tegemise võimalus pole ainult mysql -i varundamiseks, vaid kasutatav ka muude andmete varukoopiate tegemiseks. Antud juhul on MySQL siin ainult „reisija“ aga protsessi selgitamiseks ja LVM snapshoti kasutamiseks on MySQL näitena väga hea. Kogu seadistamise protsess toimub Ubuntu Linux Server 12.04.1 LTS operatsioonisüsteemis ja kasutab sellega kaasnevaid vahendeid.

==Mis on mis?==
'''Logical Volume Manager''' - LVM

'''Physical Volume''' - PV, plokkseade, füüsiline kettajagu

'''Volume Group''' - VG, kettagrupp

'''Logical Volume''' - LV, loogiline kettajagu

'''Snapshot''' - (hetk)tõmmis

===LVM===
LVM ehk „Logical Volume Manager“ on ketta partitsioonide haldusvahend Linuxi ja UNIX-i laadsete operatsioonisüsteemide juures. LVM moodustab vahekihi failisüsteemi ja füüsilise kõvaketta vahele. Esmapilgul võib tunduda, et LVM on sarnane RAID (Redundant Array of Independent Disks) kettamassiiviga, on ta siiski hoopis paindlikum viis kettajagudega toimetamiseks. RAID võimaldab kettaid omavahel liita, et saada paremaid tulemusi kiiruses, mahus või töökindluses. LVM seevastu võimaldab korraga hallata mitut (ka loogilist) kettajagu, neid vastavalt vajadusele ümber tõsta ja mahtu muuta. Seega on tihti hea mõte neid kahte hoopis koos kasutada (näiteks RAID 10 ja LVM).
Lihtsustatult oleks ettekujutus eri kihtide tasemetest selline:
* Failisüsteemid
* LVM
* RAID (vajadusel)
* füüsilised plokkmäluseadmed (kõvakettad)

===Omadused===
LVM pakutavad võimalused on:
* Failisüsteemi suuruse muutmine
* Failisüsteemi snapshotide tegemine ja kasutamine (nii read-only kui ka read-write)
* Loodud/muudetud partitsioonide kohene kasutamine, kui ketas/partitsioon on mingil moel kasutusel. Fdisk-i kasutamisel tuleb OP-süsteem taaskäivitada.
* Väiksemate füüsiliste plokkseadmete kokku ühendamine, üheks suureks loogiliseks seadmeks. (Nagu RAID)
* Ketaste liigutamine ja ühendamine üle võrgu

Lisainfot LVM-i kohta: http://en.wikipedia.org/wiki/Logical_Volume_Manager_(Linux)

===MySQL===
MySQL on Oracle Corporation poolt hallatav relatsioonilise andmebaasi haldamise süsteem. On äärmiselt populaarne andmebaasisüsteem erinevates veebirakendustes aga ka mõningates suuremates süsteemides. Oma populaarsuse on ta saanud tänu äärmiselt lihtsale hallatavusele ja kasutajasõbralikkusele. Hetkel ei hakka MySQL-i omadustel ja võimalustel pikemalt peatuma. Rohkem informatsiooni leiab: http://www.mysql.com/

==Eeldused==
*Installeeritud Ubuntu Server (vähemalt 12.04 versioon)
*Tutvutud kettajagudega (kiire kordamine näiteks '''[[Osadmin spikker]]''')

'''Viia kõik käsklused läbi sudo kasutaja alt'''
sudo -i

===Ketaste lisamine===
Kõigepealt on vaja lisada serverile kõvaketas, mida hiljem LVM-iga siduma hakata.

[[File:Create_hard_disk.PNG‎|500px]]

Luua uus 4GB ketas, mis on VirtualBox Disk Image (VDI) formaadis ning dünaamiliselt jagatud.

===Vajaliku tarkvara installeerimine===

Et LVM-i ja MySQL-i seadistada on vajalikud teadmised, kuidas toimub Linuxis ketaste ja partitisoonide haldamine ja baasteadmised MySQL-ist.
Kõigepealt on vajalik installeerida lvm2 nimeline pakett, eelnevalt uuendada tarkvaravaramu nimekirja.
<pre>apt-get update
apt-get install lvm2</pre>
Olenevalt operatsioonisüsteemist võib olla vajalikud paketid juba installeeritud, kontrollida saab nii:
<pre>lvm version</pre>

Lisaks on vajalik installeerida MySQL server ja klientprogramm serveriga ühendumiseks.
<pre>apt-get install mysql-server</pre>
NB! Kuna LVM-i kasutuselevõtmine vajab mõningast MySQL-i ümberseadistamist, tuleb arvestada asjaoluga, et MySQL-i data kausta ümbertõstmisel ei pruugi olemasolevad andmed säilida (InnoDB) ja vajalik oleks serveris olevatest andmetest enne .sql kujul tagavarakoopia teha.

==LVM -i seadistamine==

[[File:LVM.jpg|thumb |alt=LVM alt text |LVM]]

LVM ise jaguneb kolmeks eri kihiks: plokkseadmed (PV), kettagrupid (VG), millesse on organiseeritud füüsilised plokkseadmed ja loogilised kettajaod, mis on jagatud kettagrupid.
Iga kihiga toimetamisel on oma käsud, mis viitavad sellele, mis kihiga hetkel toimetatakse: pv*, vg* ning lv*. Näiteks pvcreate, vgcreate ja lvcreate.

Esimese asjana tuleb valida ketas/kettajagu, kus LVM-iga toimetama hakata. Uue ketta puhul oleks võimalusel mõtekas luua üks tervet ketast hõlmav partitsioon.

Operatsioonisüsteem tunnistab näites kasutatavat uut ketast kui /dev/sdb ja seega on näites kasutatavad ketta nimed/asukohad just sellised.

Kõikide olemasolevate partitsioonide kuvamine:
<pre>fdisk -l</pre>

(Kindla partitsiooni vaatamiseks lisada käsu lõppu see partitsioon:)
<pre>fdisk -l /dev/sda</pre>

<pre>fdisk -l 2> /dev/null | grep Disk</pre>
<pre> Disk /dev/sda: 8589 MB, 8589934592 bytes
Disk identifier: 0x000bd8b1
Disk /dev/sdb: 4294 MB, 4294967296 bytes
Disk identifier: 0x11844f48</pre>

===Füüsilise ketta väärtuse muutmine===
Avada fdiskiga uue loodud ketta partitsioon ning luua uus primaarne kettajagu:

<pre>fdisk /dev/sdb
Command (m for help): n

Partition type:
p primary (0 primary, 0 extended, 4 free)
e extended

Select (default p): p

Partition number (1-4, default 1): 1

First sector (2048-8388607, default 2048):
Using default value 2048

Last sector, +sectors or +size{K,M,G} (2048-8388607, default 8388607):
Using default value 8388607</pre>

Print käskluse abil kuvatakse kettajagu, algus, lõpp, blokid, id ning süsteem. Loodud partitsioon on 83 ehk Linux. Partitsiooni süsteemse id muutmiseks kasutatakse '''t'''.

Käsklus '''L''' kuvab kõik kaheksandikkoodid . Linux LVM kood on 8e, et muuta kettajagu Linux LVM-iks on vaja muuta kettajao id 83-lt 8e-ks.
[[file:8e.PNG|500px]]

<pre>
Command (m for help): t
Selected partition 1

Hex code (type L to list codes): 8e
Changed system type of partition 1 to 8e (Linux LVM)

Command (m for help): w
The partition table has been altered!

Calling ioctl() to re-read partition table.
Syncing disks.</pre>

'''NB mitte väljuda q, mis väljub programmist muudatusi salvestamata!'''

===Füüsiline kettajagu===
Järgnevalt anname lvm-ile teada, et loodud partitsioon on „pv“ ehk physical volume.

<pre>pvcreate /dev/sdb1</pre>
Tulemusena luuakse füüsiline kettajagu /dev/sdb1

Kui kõik läks hästi siis display käsk peaks kuvama sellise tulemuse:
<pre>pvdisplay</pre>
<pre>"/dev/sdb1" is a new physical volume of "4.00 GiB"
--- NEW Physical volume ---
PV Name /dev/sdb1
VG Name
PV Size 4.00 GiB
Allocatable NO
PE Size 0
Total PE 0
Free PE 0
Allocated PE 0
PV UUID EdmaX9-bXmQ-Oevp-p9W9-I2qY-gpMM-1w77aQ</pre>

===Kettagrupp===
Loome uue „volume group“ -i ja nimetame selle mysql -iks.

<pre>vgcreate mysql /dev/sdb1</pre>
Tulemusena luuakse kettagrupp nimega mysql.

<pre>vgdisplay</pre>
<pre> --- Volume group ---
VG Name mysql
System ID
Format lvm2
Metadata Areas 1
Metadata Sequence No 4
VG Access read/write
VG Status resizable
MAX LV 0
Cur LV 2
Open LV 2
Max PV 0
Cur PV 1
Act PV 1
VG Size 4.00 GiB
PE Size 4.00 MiB
Total PE 1023
Alloc PE / Size 512 / 2.00 GiB
Free PE / Size 511 / 2.00 GiB
VG UUID s5AjT8-ss7D-Gm9m-XY6j-ULMv-RLbR-xdy0K6</pre>

Järgnevalt saame luua „volume group“ -ile „logical volumes“ ehk loogilised kettajaod. Need on justkui partitsioonid füüsilisel kõvakettal ja neid saab juba andmete talletamiseks kasutada. Nimetame kettajao nimega data ja määrame tema suuruseks 1GB (antud suurus sobib väga hästi katsetamiseks aga reaalsetes süsteemides tuleb muidugi oluliselt suuremaid numbreid kasutada. ). Suuruse seadistamisel tuleb arvestada, et sama „volume group“ peale tuleb mahutada veel vähemalt üks sama suur loogiline kettajagu, mis on loodava LV snapshot. Näide kui VG suurus on kokku 10GB siis on võimalik teha maksimaalselt 5GB suurune loogiline kettajagu. Vastasel ei mahu tema kõrvale, samale VG-le tehtud LV snapshot.

===Loogiline kettajagu===
{|style="background:lightyellow;width:600px;margin:3px;border:1px solid lightgrey" align=centre
| style="padding:0px 0px 0px 80px;font-family:courier;font-size:8pt;" |lvcreate --size 1G --name loogilise_ketta_nimi kettagrupi_nimi
|}

<pre>lvcreate -n data -L 1GB mysql</pre>
<pre>Logical volume "data" created</pre>

Kontrollime tulemust:
{|style="background:lightyellow;width:600px;margin:3px;border:1px solid lightgrey" align=centre
| style="padding:0px 0px 0px 80px;font-family:courier;font-size:8pt;" |lvdisplay
|}
<pre> --- Logical volume ---
LV Name /dev/mysql/data
VG Name mysql
LV UUID SL0yWI-Mc2b-KhkE-V8P1-bW7E-3iL8-8zD6Uf
LV Write Access read/write
LV Status available
# open 0
LV Size 1.00 GiB
Current LE 256
Segments 1
Allocation inherit
Read ahead sectors auto
- currently set to 256
Block device 252:0</pre>

Teadmiseks: lvdisplay käsu käivitamisel on näha parameeter „LV Status“. See näitab, kas kettajagu on saadaval või mitte. Kasutada on võimalik ainult available olekus kettajagu. Eemaldada saab ainult NOT available olekus kettajagusid. Kettajao NOT available olekusse viimiseks saab kasutada käsku:

<pre>lvchange -a n /dev/mysql/data</pre>
ja tagasi:
<pre>lvchange -a y /dev/mysql/data</pre>

===Failisüsteemi loomine ja ühendamine===
Nüüd on loodud uus kettajagu, mida saab andmete säiltamiseks kasutada. Loome sellele kettajaole failisüsteemi:
<pre>mkfs -t ext4 /dev/mysql/data</pre>

Järgmisena tuleb loodud kettajagu kuhugile mountida. Mina teen sellejaoks /srv/mysql kausta ja haagin ketta sinna.

<pre>mkdir /srv/mysql
mount /dev/mysql/data /srv/mysql</pre>

Lisame '''/etc/fstab''' faili lõppu kirje, et ka järgmisel süsteemi käivitamisel oleks ketas kohe külgehaagitud

<pre>
<file system> <mount point> <type> <options> <dump> <pass>
/dev/mysql/data /srv/mysql ext4 defaults 0 0</pre>

==MySQL seadistamine==
Muudame kausta õigused mysql-ile sobivaks (kausta omanik on kasutaja mysql ja kaustale on ligipääs ainult kausta omanikul)
<pre>chown mysql:mysql /srv/mysql
chmod 0700 /srv/mysql</pre>

Nüüd tuleb olemasolev mysql data kaust liigutada /srv/mysql kausta. Esimese asjana peatada mysql server
<pre>service mysql stop
mysql stop/waiting</pre>

Kopeerime (!) kogu mysql-i data kausta loodud lvm kettajaole. Ubuntus (ilmselt ka paljudes teistes operatsioonisüsteemides) asub mysq-i data kaust /var/lib/mysql. Oleks vägagi soovitatav jätta andmed vanasse kausta alles ja kustuta see alles siis kui ollakse täiesti kindel, et server töötab tõrgeteta.
<pre>cp -ar /var/lib/mysql/. /srv/mysql</pre>

Seejärel tuleb mysql-i konfiguratsioonifailis ('''/etc/mysql/my.cnf''') muuta ära „datadir“ parameeter
<pre>datadir = /var/lib/mysql -> datadir = /srv/mysql</pre>

Teadmiseks: alates Ubuntu 7.10 -st on operatsioonisüsteemiga kaasas programm nimega „AppArmor“ (Loe lähemalt: https://wiki.itcollege.ee/index.php/AppArmor). Tegemist on kerneli turvamooduliga, mis teatavate programmide puhul piirab nende ligipääsu failisüsteemile. Et MySQL server uuesti korrektselt käivituks, tuleb „AppArmor“ -is mysq-i seadistust muuta. Sobiva tekstieditoriga tuleb avada ''''/etc/apparmor.d/usr.sbin.mysqld''' konfifail ja teha seal vajalikud muudatused :
<pre>/var/lib/mysql/ r, -> /srv/mysql r,
/var/lib/mysql/** rwk, -> /srv/mysql** rwk,</pre>

Seejärel on vaja teha AppArmorile restart
<pre>service apparmor restart</pre>

Osadel operatsioonisüsteemidel võib ka init skript ette anda, kus asub mysql-i datadir. Seega oleks mõistlik ka see '''/etc/init.d/mysql''' skriptist üle vaadata.

Käivitame uuesti mysql-i serveri:

<pre>service mysql start</pre>

Kontrollime mysql-i muutujaid:
<pre>mysqladmin -u [mysql-kasutaja] -p variables | grep datadir</pre>
<pre>Enter password: [mysql-parool]
| datadir | /srv/mysql/
</pre>
Lisaks tuleks sobiva mysql kliendiga serverisse sisse logida ja kontrollida üle, kas kõik jäi korrektselt tööle.

Nüüd, kui MySQL server on korrektselt tööle hakanud ja tekib vajadus varukoopiate tegemiseks. Töötavast serverist snapshoti tegemisel pole vajalik eelnev serveri väljalülitama. Lihtsalt protseduuri ajaks oleks vajalik keelata ära andmete kirjutamine „FLUSH TABLES WITH READ LOCK;“ käsuga, lisaks võiks tühjendada ka logid „FLUSH LOGS;“ käsuga. Snapshoti tegemise protsess on äärmiselt kiire ja andmete lugemine andmebaasist toimib endiselt edasi. Samas andmete kirjutamise protsess viibib seni, kui andmebaasilt kirjutamise lukk maha võetakse (kõik kirjutamise käsud täidetakse kohe peale luku vabastamist).
Ehkki varukoopia tegemise protsess ei tekita katkestusi serveri töös, oleks hea mõte teha varukoopiaid sellisel ajal kui serveril on kõige väiksem koormus.
On vajalik teada, et andmebaas lukustatakse ainult selleks ajaks, kui mysql serverisse on sisse logitud. Kohe kui sessioon lõpetatakse, vabastatakse ka lukud. Seetõttu peab snaspshoti tegemise ajal olema serverisse sisse logitud. Variant on kasutada kahte terminali sessiooni aga vajalikke käske saab käivitada ka MySQL-i käsurealt (vajalik on mysql-i klient käivitada root kasutaja õigustes).
<pre>mysql -u [root] -p</pre>
Enter password:
Welcome to the MySQL monitor. Commands end with ; or \g.
Your MySQL connection id is 75
Server version: 5.5.28-0ubuntu0.12.04.2 (Ubuntu)

Copyright (c) 2000, 2012, Oracle and/or its affiliates. All rights reserved.

Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

mysql> FLUSH TABLES WITH READ LOCK;
Query OK, 0 rows affected (0.00 sec)

mysql> FLUSH LOGS;
Query OK, 0 rows affected (0.00 sec)
</pre>

==Tõmmise tegemine==
<pre>
mysql> SYSTEM /sbin/lvcreate -L 1G --snapshot -n sql_backup /dev/mysql/data
File descriptor 3 (socket:[15065]) leaked on lvcreate invocation. Parent PID 3514: sh
Logical volume "sql_backup" created
mysql> UNLOCK TABLES;
Query OK, 0 rows affected (0.01 sec)

mysql> exit
Bye
</pre>
Snapshoti kettajagu nimetati kui sql_backup ja viide loogilisele seadmele asub /dev/mysql/sql_backup. Käivitades käsu „lvs“, saab näha, et lisaks mysql/data LV-le on juurde tekkinud mysql/sql_backup
<pre>lvs</pre>
<pre>LV VG Attr LSize Origin Snap% Move Log Copy% Convert
data mysql owi-ao 1.00g
sql_backup mysql swi-a- 1.00g data 0.00
</pre>
Kui nüüd haakida tehtud snapshoti kettajagu, on seal kättesaadav kogu mysql-i data sellel hetkel, kui snapshot tehti.
<pre>mkdir /mnt/bk
mount /dev/mysql/sql_backup /mnt/bk
ls -la /mnt/bk</pre>
<pre>total 28720
drwx------ 8 mysql mysql 4096 Dec 12 15:59 .
drwxr-xr-x 3 root root 4096 Dec 12 16:34 ..
-rw-r--r-- 1 root root 0 Nov 30 17:18 debian-5.5.flag
-rw-rw---- 1 mysql mysql 18874368 Dec 12 16:18 ibdata1
-rw-rw---- 1 mysql mysql 5242880 Dec 12 16:18 ib_logfile0
-rw-rw---- 1 mysql mysql 5242880 Nov 30 17:18 ib_logfile1
drwx------ 2 root root 16384 Dec 12 15:58 lost+found
drwx------ 2 mysql root 4096 Nov 30 17:18 mysql
-rw-rw---- 1 root root 6 Nov 30 17:18 mysql_upgrade_info
drwx------ 2 mysql mysql 4096 Nov 30 17:18 performance_schema
drwx------ 2 mysql mysql 4096 Nov 30 17:28 phpmyadmin
drwx------ 2 mysql root 4096 Dec 12 16:18 test
drwx------ 2 mysql mysql 4096 Nov 30 17:33 wp
</pre>
MySQL-i server töötab peale snapshoti tegemist katkestusteta edasi. Tehtud snapshoti andmeid võib varundada arhiivi jaoks. Andmete varundamisel tuleb spashoti kettajagu failisüsteemi külge haakida ja selle sisu „tar“-i abil arhiveerida ja hiljem eemaldada snapshoti kettajagu

<pre>mkdir -p /var/teekond/arhiivi
tar -cjf [/var/teekond/arhiivi/][kuupäev].tar.bz2 -C /mnt/bk
umount /dev/mysql/sql_backup
lvremove /dev/mysql/sql_backup
Do you really want to remove active logical volume sql_backup? [y/n]: Y
Logical volume "sql_backup" successfully removed
</pre>

Tulemuseks nüüd loogilise kettajao vaatamisele on:
<pre>lvdisplay</pre>
<pre> --- Logical volume ---
LV Name /dev/mysql/data
VG Name mysql
LV UUID ZIMxmO-kUQR-u4gD-Wk9m-0MCK-kqwx-1kMaVP
LV Write Access read/write
LV snapshot status source of
/dev/mysql/sql_backup [active]
LV Status available
# open 1
LV Size 1.00 GiB
Current LE 256
Segments 1
Allocation inherit
Read ahead sectors auto
- currently set to 256
Block device 252:1

--- Logical volume ---
LV Name /dev/mysql/sql_backup
VG Name mysql
LV UUID XMqxEq-yRhp-u8lf-mZ9U-1R2F-fBlf-5hoEeR
LV Write Access read/write
LV snapshot status active destination for /dev/mysql/data
LV Status available
# open 0
LV Size 1.00 GiB
Current LE 256
COW-table size 1.00 GiB
COW-table LE 256
Allocated to snapshot 0.02%
Snapshot chunk size 4.00 KiB
Segments 1
Allocation inherit
Read ahead sectors auto
- currently set to 256
Block device 252:3
</pre>

'''Kuna tõmmis kasvab koos originaalkettajaoga on tähtis jälgida, et tõmmis protsentuaalselt täis ei saaks. Regulaarselt tuleb mahtuvust kontrollida lvs käsuga. 100% täitunud tõmmisele ei saa enam juurde kirjutada ning sellega andmeterviklikkus rikutakse ära!'''

<pre>lvs</pre>
<pre> LV VG Attr LSize Origin Snap% Move Log Copy% Convert
data mysql owi-ao 1.00g
sql_backup mysql swi-a- 1.00g data 0.02
</pre>

Kogu protseduuri automatiseerimiseks on võimalik koostada ka skript, mida saab käivitada sobival aja või kasutades „cron“ ajastamise vahendeid.

Lisaks on võimalik mysql-i data kaust haakida ümber snapshoti kettajaole ja taastada server sellesse seisu, mis oli snapshoti tegemise hetkel minimaalse katkestuse ajaga.

==Kokkuvõte==

LVM -i kasutamine varundamisel on väikestes ja mittekriitilistes süsteemides küllaltki hea lahendus. See ei nõua eriteadmisi ja kallist riistvara/tarkvara. Kuid suurematesse ja keerukamatesse lahendustesse see ei sobi, kuna see ainult aitab luua snapshoti hetke seisust aga ei paku võimalust seda eraldi salvestada. Arhiveerimiseks tuleb kasutada eraldi vahendeid ja selle protseduuri käigus võib minna kaduma vajalikke andmeid. Ka ei võistle LVM proffessionaalsete vahenditega nagu Arkeia (http://www.arkeia.com/) või BrightStor, mis on just varundamise lahenduste jaoks loodud ja muudavad antud tegemise mugavaks ja kiireks.

==Kasutatud kirjandus==
http://kuutorvaja.eenet.ee/wiki/LVM 
http://www.web-manual.net/linux-3/logical-volume-manager-in-linux/ 
http://www.lullabot.com/articles/mysql-backups-using-lvm-snapshots 
http://www.ubuntugeek.com/how-to-change-the-mysql-data-default-directory.html 
https://wiki.ubuntu.com/Lvm 
http://linuxconfig.org/Linux_lvm_-_Logical_Volume_Manager 
Loodus, Katrin. Andmesalvestustehnoloogiad - loeng 4.1 Ülevaade Logical Volume Manager-ist [https://wiki.itcollege.ee/index.php/Category:Andmesalvestustehnoloogiad]

"7 Linux fdisk Command Examples to Manage Hard Disk Partition" [http://www.thegeekstuff.com/2010/09/linux-fdisk/]

"LVM" [https://wiki.ubuntu.com/Lvm]

==Autor==
Madis Lauri
AK 31
[[Category:Operatsioonisüsteemide administreerimine ja sidumine]]

'''Täiendamine:'''

Carolys Kallas A32

Aine: Linuxi administreerimine

Viimati muudetud: 13.01.2013

Mysql varundamine LVM abil

2013-01-13T12:18:07Z

Ckallas: /* Füüsiline kettajagu */

__TOC__
==Sissejuhatus==

Antud kirjatüki eesmärgiks on tutvustada LVM-i kui abivahendit toimivast süsteemist tagavarakoopiate tegemisel. Kuigi failisüsteemi snapshotide tegemine ja nende kasutamine on ainult üks LVM-i pakutavatest võimalustest. LVM - i snapshotide tegemise võimalus pole ainult mysql -i varundamiseks, vaid kasutatav ka muude andmete varukoopiate tegemiseks. Antud juhul on MySQL siin ainult „reisija“ aga protsessi selgitamiseks ja LVM snapshoti kasutamiseks on MySQL näitena väga hea. Kogu seadistamise protsess toimub Ubuntu Linux Server 12.04.1 LTS operatsioonisüsteemis ja kasutab sellega kaasnevaid vahendeid.

==Mis on mis?==
'''Logical Volume Manager''' - LVM

'''Physical Volume''' - PV, plokkseade, füüsiline kettajagu

'''Volume Group''' - VG, kettagrupp

'''Logical Volume''' - LV, loogiline kettajagu

'''Snapshot''' - (hetk)tõmmis

===LVM===
LVM ehk „Logical Volume Manager“ on ketta partitsioonide haldusvahend Linuxi ja UNIX-i laadsete operatsioonisüsteemide juures. LVM moodustab vahekihi failisüsteemi ja füüsilise kõvaketta vahele. Esmapilgul võib tunduda, et LVM on sarnane RAID (Redundant Array of Independent Disks) kettamassiiviga, on ta siiski hoopis paindlikum viis kettajagudega toimetamiseks. RAID võimaldab kettaid omavahel liita, et saada paremaid tulemusi kiiruses, mahus või töökindluses. LVM seevastu võimaldab korraga hallata mitut (ka loogilist) kettajagu, neid vastavalt vajadusele ümber tõsta ja mahtu muuta. Seega on tihti hea mõte neid kahte hoopis koos kasutada (näiteks RAID 10 ja LVM).
Lihtsustatult oleks ettekujutus eri kihtide tasemetest selline:
* Failisüsteemid
* LVM
* RAID (vajadusel)
* füüsilised plokkmäluseadmed (kõvakettad)

===Omadused===
LVM pakutavad võimalused on:
* Failisüsteemi suuruse muutmine
* Failisüsteemi snapshotide tegemine ja kasutamine (nii read-only kui ka read-write)
* Loodud/muudetud partitsioonide kohene kasutamine, kui ketas/partitsioon on mingil moel kasutusel. Fdisk-i kasutamisel tuleb OP-süsteem taaskäivitada.
* Väiksemate füüsiliste plokkseadmete kokku ühendamine, üheks suureks loogiliseks seadmeks. (Nagu RAID)
* Ketaste liigutamine ja ühendamine üle võrgu

Lisainfot LVM-i kohta: http://en.wikipedia.org/wiki/Logical_Volume_Manager_(Linux)

===MySQL===
MySQL on Oracle Corporation poolt hallatav relatsioonilise andmebaasi haldamise süsteem. On äärmiselt populaarne andmebaasisüsteem erinevates veebirakendustes aga ka mõningates suuremates süsteemides. Oma populaarsuse on ta saanud tänu äärmiselt lihtsale hallatavusele ja kasutajasõbralikkusele. Hetkel ei hakka MySQL-i omadustel ja võimalustel pikemalt peatuma. Rohkem informatsiooni leiab: http://www.mysql.com/

==Eeldused==
*Installeeritud Ubuntu Server (vähemalt 12.04 versioon)
*Tutvutud kettajagudega (kiire kordamine näiteks '''[[Osadmin spikker]]''')

'''Viia kõik käsklused läbi sudo kasutaja alt'''
sudo -i

===Ketaste lisamine===
Kõigepealt on vaja lisada serverile kõvaketas, mida hiljem LVM-iga siduma hakata.

[[File:Create_hard_disk.PNG‎|500px]]

Luua uus 4GB ketas, mis on VirtualBox Disk Image (VDI) formaadis ning dünaamiliselt jagatud.

===Vajaliku tarkvara installeerimine===

Et LVM-i ja MySQL-i seadistada on vajalikud teadmised, kuidas toimub Linuxis ketaste ja partitisoonide haldamine ja baasteadmised MySQL-ist.
Kõigepealt on vajalik installeerida lvm2 nimeline pakett, eelnevalt uuendada tarkvaravaramu nimekirja.
<pre>apt-get update
apt-get install lvm2</pre>
Olenevalt operatsioonisüsteemist võib olla vajalikud paketid juba installeeritud, kontrollida saab nii:
<pre>lvm version</pre>

Lisaks on vajalik installeerida MySQL server ja klientprogramm serveriga ühendumiseks.
<pre>apt-get install mysql-server</pre>
NB! Kuna LVM-i kasutuselevõtmine vajab mõningast MySQL-i ümberseadistamist, tuleb arvestada asjaoluga, et MySQL-i data kausta ümbertõstmisel ei pruugi olemasolevad andmed säilida (InnoDB) ja vajalik oleks serveris olevatest andmetest enne .sql kujul tagavarakoopia teha.

==LVM -i seadistamine==

[[File:LVM.jpg|thumb |alt=LVM alt text |LVM]]

LVM ise jaguneb kolmeks eri kihiks: plokkseadmed (PV), kettagrupid (VG), millesse on organiseeritud füüsilised plokkseadmed ja loogilised kettajaod, mis on jagatud kettagrupid.
Iga kihiga toimetamisel on oma käsud, mis viitavad sellele, mis kihiga hetkel toimetatakse: pv*, vg* ning lv*. Näiteks pvcreate, vgcreate ja lvcreate.

Esimese asjana tuleb valida ketas/kettajagu, kus LVM-iga toimetama hakata. Uue ketta puhul oleks võimalusel mõtekas luua üks tervet ketast hõlmav partitsioon.

Operatsioonisüsteem tunnistab näites kasutatavat uut ketast kui /dev/sdb ja seega on näites kasutatavad ketta nimed/asukohad just sellised.

Kõikide olemasolevate partitsioonide kuvamine:
<pre>fdisk -l</pre>

(Kindla partitsiooni vaatamiseks lisada käsu lõppu see partitsioon:)
<pre>fdisk -l /dev/sda</pre>

<pre>fdisk -l 2> /dev/null | grep Disk</pre>
<pre> Disk /dev/sda: 8589 MB, 8589934592 bytes
Disk identifier: 0x000bd8b1
Disk /dev/sdb: 4294 MB, 4294967296 bytes
Disk identifier: 0x11844f48</pre>

===Füüsilise ketta väärtuse muutmine===
Avada fdiskiga uue loodud ketta partitsioon ning luua uus primaarne kettajagu:

<pre>fdisk /dev/sdb
Command (m for help): n

Partition type:
p primary (0 primary, 0 extended, 4 free)
e extended

Select (default p): p

Partition number (1-4, default 1): 1

First sector (2048-8388607, default 2048):
Using default value 2048

Last sector, +sectors or +size{K,M,G} (2048-8388607, default 8388607):
Using default value 8388607</pre>

Print käskluse abil kuvatakse kettajagu, algus, lõpp, blokid, id ning süsteem. Loodud partitsioon on 83 ehk Linux. Partitsiooni süsteemse id muutmiseks kasutatakse '''t'''.

Käsklus '''L''' kuvab kõik kaheksandikkoodid . Linux LVM kood on 8e, et muuta kettajagu Linux LVM-iks on vaja muuta kettajao id 83-lt 8e-ks.
[[file:8e.PNG|500px]]

<pre>
Command (m for help): t
Selected partition 1

Hex code (type L to list codes): 8e
Changed system type of partition 1 to 8e (Linux LVM)

Command (m for help): w
The partition table has been altered!

Calling ioctl() to re-read partition table.
Syncing disks.</pre>

'''NB mitte väljuda q, mis väljub programmist muudatusi salvestamata!'''

===Füüsiline kettajagu===
Järgnevalt anname lvm-ile teada, et loodud partitsioon on „pv“ ehk physical volume.

<pre>pvcreate /dev/sdb1</pre>
Tulemusena luuakse füüsiline kettajagu /dev/sdb1

Kui kõik läks hästi siis display käsk peaks kuvama sellise tulemuse:
<pre>pvdisplay</pre>
<pre>"/dev/sdb1" is a new physical volume of "4.00 GiB"
--- NEW Physical volume ---
PV Name /dev/sdb1
VG Name
PV Size 4.00 GiB
Allocatable NO
PE Size 0
Total PE 0
Free PE 0
Allocated PE 0
PV UUID EdmaX9-bXmQ-Oevp-p9W9-I2qY-gpMM-1w77aQ</pre>

===Kettagrupp===
Loome uue „volume group“ -i ja nimetame selle mysql -iks.
{|style="background:lightyellow;width:500px;margin:3px;border:1px solid lightgrey" align=centre
| style="padding:0px 0px 0px 80px;font-family:courier;font-size:8pt;" |vgcreate kettagrupi_nimi /dev/sdb1 /dev/sdc1 /dev/sdd1
|}

<pre>vgcreate mysql /dev/sdb1
Volume group "mysql" successfully created</pre>

{|style="background:lightyellow;width:500px;margin:3px;border:1px solid lightgrey" align=centre
| style="padding:0px 0px 0px 80px;font-family:courier;font-size:8pt;" |vgdisplay
|}

<pre> --- Volume group ---
VG Name mysql
System ID
Format lvm2
Metadata Areas 1
Metadata Sequence No 4
VG Access read/write
VG Status resizable
MAX LV 0
Cur LV 2
Open LV 2
Max PV 0
Cur PV 1
Act PV 1
VG Size 4.00 GiB
PE Size 4.00 MiB
Total PE 1023
Alloc PE / Size 512 / 2.00 GiB
Free PE / Size 511 / 2.00 GiB
VG UUID s5AjT8-ss7D-Gm9m-XY6j-ULMv-RLbR-xdy0K6</pre>

Järgnevalt saame luua „volume group“ -ile „logical volumes“ ehk loogilised kettajaod. Need on justkui partitsioonid füüsilisel kõvakettal ja neid saab juba andmete talletamiseks kasutada. Nimetame kettajao nimega data ja määrame tema suuruseks 1GB (antud suurus sobib väga hästi katsetamiseks aga reaalsetes süsteemides tuleb muidugi oluliselt suuremaid numbreid kasutada. ). Suuruse seadistamisel tuleb arvestada, et sama „volume group“ peale tuleb mahutada veel vähemalt üks sama suur loogiline kettajagu, mis on loodava LV snapshot. Näide kui VG suurus on kokku 10GB siis on võimalik teha maksimaalselt 5GB suurune loogiline kettajagu. Vastasel ei mahu tema kõrvale, samale VG-le tehtud LV snapshot.

===Loogiline kettajagu===
{|style="background:lightyellow;width:600px;margin:3px;border:1px solid lightgrey" align=centre
| style="padding:0px 0px 0px 80px;font-family:courier;font-size:8pt;" |lvcreate --size 1G --name loogilise_ketta_nimi kettagrupi_nimi
|}

<pre>lvcreate -n data -L 1GB mysql</pre>
<pre>Logical volume "data" created</pre>

Kontrollime tulemust:
{|style="background:lightyellow;width:600px;margin:3px;border:1px solid lightgrey" align=centre
| style="padding:0px 0px 0px 80px;font-family:courier;font-size:8pt;" |lvdisplay
|}
<pre> --- Logical volume ---
LV Name /dev/mysql/data
VG Name mysql
LV UUID SL0yWI-Mc2b-KhkE-V8P1-bW7E-3iL8-8zD6Uf
LV Write Access read/write
LV Status available
# open 0
LV Size 1.00 GiB
Current LE 256
Segments 1
Allocation inherit
Read ahead sectors auto
- currently set to 256
Block device 252:0</pre>

Teadmiseks: lvdisplay käsu käivitamisel on näha parameeter „LV Status“. See näitab, kas kettajagu on saadaval või mitte. Kasutada on võimalik ainult available olekus kettajagu. Eemaldada saab ainult NOT available olekus kettajagusid. Kettajao NOT available olekusse viimiseks saab kasutada käsku:

<pre>lvchange -a n /dev/mysql/data</pre>
ja tagasi:
<pre>lvchange -a y /dev/mysql/data</pre>

===Failisüsteemi loomine ja ühendamine===
Nüüd on loodud uus kettajagu, mida saab andmete säiltamiseks kasutada. Loome sellele kettajaole failisüsteemi:
<pre>mkfs -t ext4 /dev/mysql/data</pre>

Järgmisena tuleb loodud kettajagu kuhugile mountida. Mina teen sellejaoks /srv/mysql kausta ja haagin ketta sinna.

<pre>mkdir /srv/mysql
mount /dev/mysql/data /srv/mysql</pre>

Lisame '''/etc/fstab''' faili lõppu kirje, et ka järgmisel süsteemi käivitamisel oleks ketas kohe külgehaagitud

<pre>
<file system> <mount point> <type> <options> <dump> <pass>
/dev/mysql/data /srv/mysql ext4 defaults 0 0</pre>

==MySQL seadistamine==
Muudame kausta õigused mysql-ile sobivaks (kausta omanik on kasutaja mysql ja kaustale on ligipääs ainult kausta omanikul)
<pre>chown mysql:mysql /srv/mysql
chmod 0700 /srv/mysql</pre>

Nüüd tuleb olemasolev mysql data kaust liigutada /srv/mysql kausta. Esimese asjana peatada mysql server
<pre>service mysql stop
mysql stop/waiting</pre>

Kopeerime (!) kogu mysql-i data kausta loodud lvm kettajaole. Ubuntus (ilmselt ka paljudes teistes operatsioonisüsteemides) asub mysq-i data kaust /var/lib/mysql. Oleks vägagi soovitatav jätta andmed vanasse kausta alles ja kustuta see alles siis kui ollakse täiesti kindel, et server töötab tõrgeteta.
<pre>cp -ar /var/lib/mysql/. /srv/mysql</pre>

Seejärel tuleb mysql-i konfiguratsioonifailis ('''/etc/mysql/my.cnf''') muuta ära „datadir“ parameeter
<pre>datadir = /var/lib/mysql -> datadir = /srv/mysql</pre>

Teadmiseks: alates Ubuntu 7.10 -st on operatsioonisüsteemiga kaasas programm nimega „AppArmor“ (Loe lähemalt: https://wiki.itcollege.ee/index.php/AppArmor). Tegemist on kerneli turvamooduliga, mis teatavate programmide puhul piirab nende ligipääsu failisüsteemile. Et MySQL server uuesti korrektselt käivituks, tuleb „AppArmor“ -is mysq-i seadistust muuta. Sobiva tekstieditoriga tuleb avada ''''/etc/apparmor.d/usr.sbin.mysqld''' konfifail ja teha seal vajalikud muudatused :
<pre>/var/lib/mysql/ r, -> /srv/mysql r,
/var/lib/mysql/** rwk, -> /srv/mysql** rwk,</pre>

Seejärel on vaja teha AppArmorile restart
<pre>service apparmor restart</pre>

Osadel operatsioonisüsteemidel võib ka init skript ette anda, kus asub mysql-i datadir. Seega oleks mõistlik ka see '''/etc/init.d/mysql''' skriptist üle vaadata.

Käivitame uuesti mysql-i serveri:

<pre>service mysql start</pre>

Kontrollime mysql-i muutujaid:
<pre>mysqladmin -u [mysql-kasutaja] -p variables | grep datadir</pre>
<pre>Enter password: [mysql-parool]
| datadir | /srv/mysql/
</pre>
Lisaks tuleks sobiva mysql kliendiga serverisse sisse logida ja kontrollida üle, kas kõik jäi korrektselt tööle.

Nüüd, kui MySQL server on korrektselt tööle hakanud ja tekib vajadus varukoopiate tegemiseks. Töötavast serverist snapshoti tegemisel pole vajalik eelnev serveri väljalülitama. Lihtsalt protseduuri ajaks oleks vajalik keelata ära andmete kirjutamine „FLUSH TABLES WITH READ LOCK;“ käsuga, lisaks võiks tühjendada ka logid „FLUSH LOGS;“ käsuga. Snapshoti tegemise protsess on äärmiselt kiire ja andmete lugemine andmebaasist toimib endiselt edasi. Samas andmete kirjutamise protsess viibib seni, kui andmebaasilt kirjutamise lukk maha võetakse (kõik kirjutamise käsud täidetakse kohe peale luku vabastamist).
Ehkki varukoopia tegemise protsess ei tekita katkestusi serveri töös, oleks hea mõte teha varukoopiaid sellisel ajal kui serveril on kõige väiksem koormus.
On vajalik teada, et andmebaas lukustatakse ainult selleks ajaks, kui mysql serverisse on sisse logitud. Kohe kui sessioon lõpetatakse, vabastatakse ka lukud. Seetõttu peab snaspshoti tegemise ajal olema serverisse sisse logitud. Variant on kasutada kahte terminali sessiooni aga vajalikke käske saab käivitada ka MySQL-i käsurealt (vajalik on mysql-i klient käivitada root kasutaja õigustes).
<pre>mysql -u [root] -p</pre>
Enter password:
Welcome to the MySQL monitor. Commands end with ; or \g.
Your MySQL connection id is 75
Server version: 5.5.28-0ubuntu0.12.04.2 (Ubuntu)

Copyright (c) 2000, 2012, Oracle and/or its affiliates. All rights reserved.

Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

mysql> FLUSH TABLES WITH READ LOCK;
Query OK, 0 rows affected (0.00 sec)

mysql> FLUSH LOGS;
Query OK, 0 rows affected (0.00 sec)
</pre>

==Tõmmise tegemine==
<pre>
mysql> SYSTEM /sbin/lvcreate -L 1G --snapshot -n sql_backup /dev/mysql/data
File descriptor 3 (socket:[15065]) leaked on lvcreate invocation. Parent PID 3514: sh
Logical volume "sql_backup" created
mysql> UNLOCK TABLES;
Query OK, 0 rows affected (0.01 sec)

mysql> exit
Bye
</pre>
Snapshoti kettajagu nimetati kui sql_backup ja viide loogilisele seadmele asub /dev/mysql/sql_backup. Käivitades käsu „lvs“, saab näha, et lisaks mysql/data LV-le on juurde tekkinud mysql/sql_backup
<pre>lvs</pre>
<pre>LV VG Attr LSize Origin Snap% Move Log Copy% Convert
data mysql owi-ao 1.00g
sql_backup mysql swi-a- 1.00g data 0.00
</pre>
Kui nüüd haakida tehtud snapshoti kettajagu, on seal kättesaadav kogu mysql-i data sellel hetkel, kui snapshot tehti.
<pre>mkdir /mnt/bk
mount /dev/mysql/sql_backup /mnt/bk
ls -la /mnt/bk</pre>
<pre>total 28720
drwx------ 8 mysql mysql 4096 Dec 12 15:59 .
drwxr-xr-x 3 root root 4096 Dec 12 16:34 ..
-rw-r--r-- 1 root root 0 Nov 30 17:18 debian-5.5.flag
-rw-rw---- 1 mysql mysql 18874368 Dec 12 16:18 ibdata1
-rw-rw---- 1 mysql mysql 5242880 Dec 12 16:18 ib_logfile0
-rw-rw---- 1 mysql mysql 5242880 Nov 30 17:18 ib_logfile1
drwx------ 2 root root 16384 Dec 12 15:58 lost+found
drwx------ 2 mysql root 4096 Nov 30 17:18 mysql
-rw-rw---- 1 root root 6 Nov 30 17:18 mysql_upgrade_info
drwx------ 2 mysql mysql 4096 Nov 30 17:18 performance_schema
drwx------ 2 mysql mysql 4096 Nov 30 17:28 phpmyadmin
drwx------ 2 mysql root 4096 Dec 12 16:18 test
drwx------ 2 mysql mysql 4096 Nov 30 17:33 wp
</pre>
MySQL-i server töötab peale snapshoti tegemist katkestusteta edasi. Tehtud snapshoti andmeid võib varundada arhiivi jaoks. Andmete varundamisel tuleb spashoti kettajagu failisüsteemi külge haakida ja selle sisu „tar“-i abil arhiveerida ja hiljem eemaldada snapshoti kettajagu

<pre>mkdir -p /var/teekond/arhiivi
tar -cjf [/var/teekond/arhiivi/][kuupäev].tar.bz2 -C /mnt/bk
umount /dev/mysql/sql_backup
lvremove /dev/mysql/sql_backup
Do you really want to remove active logical volume sql_backup? [y/n]: Y
Logical volume "sql_backup" successfully removed
</pre>

Tulemuseks nüüd loogilise kettajao vaatamisele on:
<pre>lvdisplay</pre>
<pre> --- Logical volume ---
LV Name /dev/mysql/data
VG Name mysql
LV UUID ZIMxmO-kUQR-u4gD-Wk9m-0MCK-kqwx-1kMaVP
LV Write Access read/write
LV snapshot status source of
/dev/mysql/sql_backup [active]
LV Status available
# open 1
LV Size 1.00 GiB
Current LE 256
Segments 1
Allocation inherit
Read ahead sectors auto
- currently set to 256
Block device 252:1

--- Logical volume ---
LV Name /dev/mysql/sql_backup
VG Name mysql
LV UUID XMqxEq-yRhp-u8lf-mZ9U-1R2F-fBlf-5hoEeR
LV Write Access read/write
LV snapshot status active destination for /dev/mysql/data
LV Status available
# open 0
LV Size 1.00 GiB
Current LE 256
COW-table size 1.00 GiB
COW-table LE 256
Allocated to snapshot 0.02%
Snapshot chunk size 4.00 KiB
Segments 1
Allocation inherit
Read ahead sectors auto
- currently set to 256
Block device 252:3
</pre>

'''Kuna tõmmis kasvab koos originaalkettajaoga on tähtis jälgida, et tõmmis protsentuaalselt täis ei saaks. Regulaarselt tuleb mahtuvust kontrollida lvs käsuga. 100% täitunud tõmmisele ei saa enam juurde kirjutada ning sellega andmeterviklikkus rikutakse ära!'''

<pre>lvs</pre>
<pre> LV VG Attr LSize Origin Snap% Move Log Copy% Convert
data mysql owi-ao 1.00g
sql_backup mysql swi-a- 1.00g data 0.02
</pre>

Kogu protseduuri automatiseerimiseks on võimalik koostada ka skript, mida saab käivitada sobival aja või kasutades „cron“ ajastamise vahendeid.

Lisaks on võimalik mysql-i data kaust haakida ümber snapshoti kettajaole ja taastada server sellesse seisu, mis oli snapshoti tegemise hetkel minimaalse katkestuse ajaga.

==Kokkuvõte==

LVM -i kasutamine varundamisel on väikestes ja mittekriitilistes süsteemides küllaltki hea lahendus. See ei nõua eriteadmisi ja kallist riistvara/tarkvara. Kuid suurematesse ja keerukamatesse lahendustesse see ei sobi, kuna see ainult aitab luua snapshoti hetke seisust aga ei paku võimalust seda eraldi salvestada. Arhiveerimiseks tuleb kasutada eraldi vahendeid ja selle protseduuri käigus võib minna kaduma vajalikke andmeid. Ka ei võistle LVM proffessionaalsete vahenditega nagu Arkeia (http://www.arkeia.com/) või BrightStor, mis on just varundamise lahenduste jaoks loodud ja muudavad antud tegemise mugavaks ja kiireks.

==Kasutatud kirjandus==
http://kuutorvaja.eenet.ee/wiki/LVM 
http://www.web-manual.net/linux-3/logical-volume-manager-in-linux/ 
http://www.lullabot.com/articles/mysql-backups-using-lvm-snapshots 
http://www.ubuntugeek.com/how-to-change-the-mysql-data-default-directory.html 
https://wiki.ubuntu.com/Lvm 
http://linuxconfig.org/Linux_lvm_-_Logical_Volume_Manager 
Loodus, Katrin. Andmesalvestustehnoloogiad - loeng 4.1 Ülevaade Logical Volume Manager-ist [https://wiki.itcollege.ee/index.php/Category:Andmesalvestustehnoloogiad]

"7 Linux fdisk Command Examples to Manage Hard Disk Partition" [http://www.thegeekstuff.com/2010/09/linux-fdisk/]

"LVM" [https://wiki.ubuntu.com/Lvm]

==Autor==
Madis Lauri
AK 31
[[Category:Operatsioonisüsteemide administreerimine ja sidumine]]

'''Täiendamine:'''

Carolys Kallas A32

Aine: Linuxi administreerimine

Viimati muudetud: 13.01.2013

Mysql varundamine LVM abil

2013-01-13T12:14:11Z

Ckallas: /* Füüsiline kettajagu */

__TOC__
==Sissejuhatus==

Antud kirjatüki eesmärgiks on tutvustada LVM-i kui abivahendit toimivast süsteemist tagavarakoopiate tegemisel. Kuigi failisüsteemi snapshotide tegemine ja nende kasutamine on ainult üks LVM-i pakutavatest võimalustest. LVM - i snapshotide tegemise võimalus pole ainult mysql -i varundamiseks, vaid kasutatav ka muude andmete varukoopiate tegemiseks. Antud juhul on MySQL siin ainult „reisija“ aga protsessi selgitamiseks ja LVM snapshoti kasutamiseks on MySQL näitena väga hea. Kogu seadistamise protsess toimub Ubuntu Linux Server 12.04.1 LTS operatsioonisüsteemis ja kasutab sellega kaasnevaid vahendeid.

==Mis on mis?==
'''Logical Volume Manager''' - LVM

'''Physical Volume''' - PV, plokkseade, füüsiline kettajagu

'''Volume Group''' - VG, kettagrupp

'''Logical Volume''' - LV, loogiline kettajagu

'''Snapshot''' - (hetk)tõmmis

===LVM===
LVM ehk „Logical Volume Manager“ on ketta partitsioonide haldusvahend Linuxi ja UNIX-i laadsete operatsioonisüsteemide juures. LVM moodustab vahekihi failisüsteemi ja füüsilise kõvaketta vahele. Esmapilgul võib tunduda, et LVM on sarnane RAID (Redundant Array of Independent Disks) kettamassiiviga, on ta siiski hoopis paindlikum viis kettajagudega toimetamiseks. RAID võimaldab kettaid omavahel liita, et saada paremaid tulemusi kiiruses, mahus või töökindluses. LVM seevastu võimaldab korraga hallata mitut (ka loogilist) kettajagu, neid vastavalt vajadusele ümber tõsta ja mahtu muuta. Seega on tihti hea mõte neid kahte hoopis koos kasutada (näiteks RAID 10 ja LVM).
Lihtsustatult oleks ettekujutus eri kihtide tasemetest selline:
* Failisüsteemid
* LVM
* RAID (vajadusel)
* füüsilised plokkmäluseadmed (kõvakettad)

===Omadused===
LVM pakutavad võimalused on:
* Failisüsteemi suuruse muutmine
* Failisüsteemi snapshotide tegemine ja kasutamine (nii read-only kui ka read-write)
* Loodud/muudetud partitsioonide kohene kasutamine, kui ketas/partitsioon on mingil moel kasutusel. Fdisk-i kasutamisel tuleb OP-süsteem taaskäivitada.
* Väiksemate füüsiliste plokkseadmete kokku ühendamine, üheks suureks loogiliseks seadmeks. (Nagu RAID)
* Ketaste liigutamine ja ühendamine üle võrgu

Lisainfot LVM-i kohta: http://en.wikipedia.org/wiki/Logical_Volume_Manager_(Linux)

===MySQL===
MySQL on Oracle Corporation poolt hallatav relatsioonilise andmebaasi haldamise süsteem. On äärmiselt populaarne andmebaasisüsteem erinevates veebirakendustes aga ka mõningates suuremates süsteemides. Oma populaarsuse on ta saanud tänu äärmiselt lihtsale hallatavusele ja kasutajasõbralikkusele. Hetkel ei hakka MySQL-i omadustel ja võimalustel pikemalt peatuma. Rohkem informatsiooni leiab: http://www.mysql.com/

==Eeldused==
*Installeeritud Ubuntu Server (vähemalt 12.04 versioon)
*Tutvutud kettajagudega (kiire kordamine näiteks '''[[Osadmin spikker]]''')

'''Viia kõik käsklused läbi sudo kasutaja alt'''
sudo -i

===Ketaste lisamine===
Kõigepealt on vaja lisada serverile kõvaketas, mida hiljem LVM-iga siduma hakata.

[[File:Create_hard_disk.PNG‎|500px]]

Luua uus 4GB ketas, mis on VirtualBox Disk Image (VDI) formaadis ning dünaamiliselt jagatud.

===Vajaliku tarkvara installeerimine===

Et LVM-i ja MySQL-i seadistada on vajalikud teadmised, kuidas toimub Linuxis ketaste ja partitisoonide haldamine ja baasteadmised MySQL-ist.
Kõigepealt on vajalik installeerida lvm2 nimeline pakett, eelnevalt uuendada tarkvaravaramu nimekirja.
<pre>apt-get update
apt-get install lvm2</pre>
Olenevalt operatsioonisüsteemist võib olla vajalikud paketid juba installeeritud, kontrollida saab nii:
<pre>lvm version</pre>

Lisaks on vajalik installeerida MySQL server ja klientprogramm serveriga ühendumiseks.
<pre>apt-get install mysql-server</pre>
NB! Kuna LVM-i kasutuselevõtmine vajab mõningast MySQL-i ümberseadistamist, tuleb arvestada asjaoluga, et MySQL-i data kausta ümbertõstmisel ei pruugi olemasolevad andmed säilida (InnoDB) ja vajalik oleks serveris olevatest andmetest enne .sql kujul tagavarakoopia teha.

==LVM -i seadistamine==

[[File:LVM.jpg|thumb |alt=LVM alt text |LVM]]

LVM ise jaguneb kolmeks eri kihiks: plokkseadmed (PV), kettagrupid (VG), millesse on organiseeritud füüsilised plokkseadmed ja loogilised kettajaod, mis on jagatud kettagrupid.
Iga kihiga toimetamisel on oma käsud, mis viitavad sellele, mis kihiga hetkel toimetatakse: pv*, vg* ning lv*. Näiteks pvcreate, vgcreate ja lvcreate.

Esimese asjana tuleb valida ketas/kettajagu, kus LVM-iga toimetama hakata. Uue ketta puhul oleks võimalusel mõtekas luua üks tervet ketast hõlmav partitsioon.

Operatsioonisüsteem tunnistab näites kasutatavat uut ketast kui /dev/sdb ja seega on näites kasutatavad ketta nimed/asukohad just sellised.

Kõikide olemasolevate partitsioonide kuvamine:
<pre>fdisk -l</pre>

(Kindla partitsiooni vaatamiseks lisada käsu lõppu see partitsioon:)
<pre>fdisk -l /dev/sda</pre>

<pre>fdisk -l 2> /dev/null | grep Disk</pre>
<pre> Disk /dev/sda: 8589 MB, 8589934592 bytes
Disk identifier: 0x000bd8b1
Disk /dev/sdb: 4294 MB, 4294967296 bytes
Disk identifier: 0x11844f48</pre>

===Füüsilise ketta väärtuse muutmine===
Avada fdiskiga uue loodud ketta partitsioon ning luua uus primaarne kettajagu:

<pre>fdisk /dev/sdb
Command (m for help): n

Partition type:
p primary (0 primary, 0 extended, 4 free)
e extended

Select (default p): p

Partition number (1-4, default 1): 1

First sector (2048-8388607, default 2048):
Using default value 2048

Last sector, +sectors or +size{K,M,G} (2048-8388607, default 8388607):
Using default value 8388607</pre>

Print käskluse abil kuvatakse kettajagu, algus, lõpp, blokid, id ning süsteem. Loodud partitsioon on 83 ehk Linux. Partitsiooni süsteemse id muutmiseks kasutatakse '''t'''.

Käsklus '''L''' kuvab kõik kaheksandikkoodid . Linux LVM kood on 8e, et muuta kettajagu Linux LVM-iks on vaja muuta kettajao id 83-lt 8e-ks.
[[file:8e.PNG|500px]]

<pre>
Command (m for help): t
Selected partition 1

Hex code (type L to list codes): 8e
Changed system type of partition 1 to 8e (Linux LVM)

Command (m for help): w
The partition table has been altered!

Calling ioctl() to re-read partition table.
Syncing disks.</pre>

'''NB mitte väljuda q, mis väljub programmist muudatusi salvestamata!'''

===Füüsiline kettajagu===
Järgnevalt anname lvm-ile teada, et loodud partitsioon on „pv“ ehk physical volume.

<pre>pvcreate /dev/sdb1</pre>
Tulemusena luuakse füüsiline kettajagu /dev/sdb1
<pre>Physical volume "/dev/sdb1" successfully created</pre>

Kui kõik läks hästi siis display käsk peaks kuvama sellise tulemuse:
<pre>pvdisplay</pre>
<pre>"/dev/sdb1" is a new physical volume of "4.00 GiB"
--- NEW Physical volume ---
PV Name /dev/sdb1
VG Name
PV Size 4.00 GiB
Allocatable NO
PE Size 0
Total PE 0
Free PE 0
Allocated PE 0
PV UUID EdmaX9-bXmQ-Oevp-p9W9-I2qY-gpMM-1w77aQ</pre>

===Kettagrupp===
Loome uue „volume group“ -i ja nimetame selle mysql -iks.
{|style="background:lightyellow;width:500px;margin:3px;border:1px solid lightgrey" align=centre
| style="padding:0px 0px 0px 80px;font-family:courier;font-size:8pt;" |vgcreate kettagrupi_nimi /dev/sdb1 /dev/sdc1 /dev/sdd1
|}

<pre>vgcreate mysql /dev/sdb1
Volume group "mysql" successfully created</pre>

{|style="background:lightyellow;width:500px;margin:3px;border:1px solid lightgrey" align=centre
| style="padding:0px 0px 0px 80px;font-family:courier;font-size:8pt;" |vgdisplay
|}

<pre> --- Volume group ---
VG Name mysql
System ID
Format lvm2
Metadata Areas 1
Metadata Sequence No 4
VG Access read/write
VG Status resizable
MAX LV 0
Cur LV 2
Open LV 2
Max PV 0
Cur PV 1
Act PV 1
VG Size 4.00 GiB
PE Size 4.00 MiB
Total PE 1023
Alloc PE / Size 512 / 2.00 GiB
Free PE / Size 511 / 2.00 GiB
VG UUID s5AjT8-ss7D-Gm9m-XY6j-ULMv-RLbR-xdy0K6</pre>

Järgnevalt saame luua „volume group“ -ile „logical volumes“ ehk loogilised kettajaod. Need on justkui partitsioonid füüsilisel kõvakettal ja neid saab juba andmete talletamiseks kasutada. Nimetame kettajao nimega data ja määrame tema suuruseks 1GB (antud suurus sobib väga hästi katsetamiseks aga reaalsetes süsteemides tuleb muidugi oluliselt suuremaid numbreid kasutada. ). Suuruse seadistamisel tuleb arvestada, et sama „volume group“ peale tuleb mahutada veel vähemalt üks sama suur loogiline kettajagu, mis on loodava LV snapshot. Näide kui VG suurus on kokku 10GB siis on võimalik teha maksimaalselt 5GB suurune loogiline kettajagu. Vastasel ei mahu tema kõrvale, samale VG-le tehtud LV snapshot.

===Loogiline kettajagu===
{|style="background:lightyellow;width:600px;margin:3px;border:1px solid lightgrey" align=centre
| style="padding:0px 0px 0px 80px;font-family:courier;font-size:8pt;" |lvcreate --size 1G --name loogilise_ketta_nimi kettagrupi_nimi
|}

<pre>lvcreate -n data -L 1GB mysql</pre>
<pre>Logical volume "data" created</pre>

Kontrollime tulemust:
{|style="background:lightyellow;width:600px;margin:3px;border:1px solid lightgrey" align=centre
| style="padding:0px 0px 0px 80px;font-family:courier;font-size:8pt;" |lvdisplay
|}
<pre> --- Logical volume ---
LV Name /dev/mysql/data
VG Name mysql
LV UUID SL0yWI-Mc2b-KhkE-V8P1-bW7E-3iL8-8zD6Uf
LV Write Access read/write
LV Status available
# open 0
LV Size 1.00 GiB
Current LE 256
Segments 1
Allocation inherit
Read ahead sectors auto
- currently set to 256
Block device 252:0</pre>

Teadmiseks: lvdisplay käsu käivitamisel on näha parameeter „LV Status“. See näitab, kas kettajagu on saadaval või mitte. Kasutada on võimalik ainult available olekus kettajagu. Eemaldada saab ainult NOT available olekus kettajagusid. Kettajao NOT available olekusse viimiseks saab kasutada käsku:

<pre>lvchange -a n /dev/mysql/data</pre>
ja tagasi:
<pre>lvchange -a y /dev/mysql/data</pre>

===Failisüsteemi loomine ja ühendamine===
Nüüd on loodud uus kettajagu, mida saab andmete säiltamiseks kasutada. Loome sellele kettajaole failisüsteemi:
<pre>mkfs -t ext4 /dev/mysql/data</pre>

Järgmisena tuleb loodud kettajagu kuhugile mountida. Mina teen sellejaoks /srv/mysql kausta ja haagin ketta sinna.

<pre>mkdir /srv/mysql
mount /dev/mysql/data /srv/mysql</pre>

Lisame '''/etc/fstab''' faili lõppu kirje, et ka järgmisel süsteemi käivitamisel oleks ketas kohe külgehaagitud

<pre>
<file system> <mount point> <type> <options> <dump> <pass>
/dev/mysql/data /srv/mysql ext4 defaults 0 0</pre>

==MySQL seadistamine==
Muudame kausta õigused mysql-ile sobivaks (kausta omanik on kasutaja mysql ja kaustale on ligipääs ainult kausta omanikul)
<pre>chown mysql:mysql /srv/mysql
chmod 0700 /srv/mysql</pre>

Nüüd tuleb olemasolev mysql data kaust liigutada /srv/mysql kausta. Esimese asjana peatada mysql server
<pre>service mysql stop
mysql stop/waiting</pre>

Kopeerime (!) kogu mysql-i data kausta loodud lvm kettajaole. Ubuntus (ilmselt ka paljudes teistes operatsioonisüsteemides) asub mysq-i data kaust /var/lib/mysql. Oleks vägagi soovitatav jätta andmed vanasse kausta alles ja kustuta see alles siis kui ollakse täiesti kindel, et server töötab tõrgeteta.
<pre>cp -ar /var/lib/mysql/. /srv/mysql</pre>

Seejärel tuleb mysql-i konfiguratsioonifailis ('''/etc/mysql/my.cnf''') muuta ära „datadir“ parameeter
<pre>datadir = /var/lib/mysql -> datadir = /srv/mysql</pre>

Teadmiseks: alates Ubuntu 7.10 -st on operatsioonisüsteemiga kaasas programm nimega „AppArmor“ (Loe lähemalt: https://wiki.itcollege.ee/index.php/AppArmor). Tegemist on kerneli turvamooduliga, mis teatavate programmide puhul piirab nende ligipääsu failisüsteemile. Et MySQL server uuesti korrektselt käivituks, tuleb „AppArmor“ -is mysq-i seadistust muuta. Sobiva tekstieditoriga tuleb avada ''''/etc/apparmor.d/usr.sbin.mysqld''' konfifail ja teha seal vajalikud muudatused :
<pre>/var/lib/mysql/ r, -> /srv/mysql r,
/var/lib/mysql/** rwk, -> /srv/mysql** rwk,</pre>

Seejärel on vaja teha AppArmorile restart
<pre>service apparmor restart</pre>

Osadel operatsioonisüsteemidel võib ka init skript ette anda, kus asub mysql-i datadir. Seega oleks mõistlik ka see '''/etc/init.d/mysql''' skriptist üle vaadata.

Käivitame uuesti mysql-i serveri:

<pre>service mysql start</pre>

Kontrollime mysql-i muutujaid:
<pre>mysqladmin -u [mysql-kasutaja] -p variables | grep datadir</pre>
<pre>Enter password: [mysql-parool]
| datadir | /srv/mysql/
</pre>
Lisaks tuleks sobiva mysql kliendiga serverisse sisse logida ja kontrollida üle, kas kõik jäi korrektselt tööle.

Nüüd, kui MySQL server on korrektselt tööle hakanud ja tekib vajadus varukoopiate tegemiseks. Töötavast serverist snapshoti tegemisel pole vajalik eelnev serveri väljalülitama. Lihtsalt protseduuri ajaks oleks vajalik keelata ära andmete kirjutamine „FLUSH TABLES WITH READ LOCK;“ käsuga, lisaks võiks tühjendada ka logid „FLUSH LOGS;“ käsuga. Snapshoti tegemise protsess on äärmiselt kiire ja andmete lugemine andmebaasist toimib endiselt edasi. Samas andmete kirjutamise protsess viibib seni, kui andmebaasilt kirjutamise lukk maha võetakse (kõik kirjutamise käsud täidetakse kohe peale luku vabastamist).
Ehkki varukoopia tegemise protsess ei tekita katkestusi serveri töös, oleks hea mõte teha varukoopiaid sellisel ajal kui serveril on kõige väiksem koormus.
On vajalik teada, et andmebaas lukustatakse ainult selleks ajaks, kui mysql serverisse on sisse logitud. Kohe kui sessioon lõpetatakse, vabastatakse ka lukud. Seetõttu peab snaspshoti tegemise ajal olema serverisse sisse logitud. Variant on kasutada kahte terminali sessiooni aga vajalikke käske saab käivitada ka MySQL-i käsurealt (vajalik on mysql-i klient käivitada root kasutaja õigustes).
<pre>mysql -u [root] -p</pre>
Enter password:
Welcome to the MySQL monitor. Commands end with ; or \g.
Your MySQL connection id is 75
Server version: 5.5.28-0ubuntu0.12.04.2 (Ubuntu)

Copyright (c) 2000, 2012, Oracle and/or its affiliates. All rights reserved.

Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

mysql> FLUSH TABLES WITH READ LOCK;
Query OK, 0 rows affected (0.00 sec)

mysql> FLUSH LOGS;
Query OK, 0 rows affected (0.00 sec)
</pre>

==Tõmmise tegemine==
<pre>
mysql> SYSTEM /sbin/lvcreate -L 1G --snapshot -n sql_backup /dev/mysql/data
File descriptor 3 (socket:[15065]) leaked on lvcreate invocation. Parent PID 3514: sh
Logical volume "sql_backup" created
mysql> UNLOCK TABLES;
Query OK, 0 rows affected (0.01 sec)

mysql> exit
Bye
</pre>
Snapshoti kettajagu nimetati kui sql_backup ja viide loogilisele seadmele asub /dev/mysql/sql_backup. Käivitades käsu „lvs“, saab näha, et lisaks mysql/data LV-le on juurde tekkinud mysql/sql_backup
<pre>lvs</pre>
<pre>LV VG Attr LSize Origin Snap% Move Log Copy% Convert
data mysql owi-ao 1.00g
sql_backup mysql swi-a- 1.00g data 0.00
</pre>
Kui nüüd haakida tehtud snapshoti kettajagu, on seal kättesaadav kogu mysql-i data sellel hetkel, kui snapshot tehti.
<pre>mkdir /mnt/bk
mount /dev/mysql/sql_backup /mnt/bk
ls -la /mnt/bk</pre>
<pre>total 28720
drwx------ 8 mysql mysql 4096 Dec 12 15:59 .
drwxr-xr-x 3 root root 4096 Dec 12 16:34 ..
-rw-r--r-- 1 root root 0 Nov 30 17:18 debian-5.5.flag
-rw-rw---- 1 mysql mysql 18874368 Dec 12 16:18 ibdata1
-rw-rw---- 1 mysql mysql 5242880 Dec 12 16:18 ib_logfile0
-rw-rw---- 1 mysql mysql 5242880 Nov 30 17:18 ib_logfile1
drwx------ 2 root root 16384 Dec 12 15:58 lost+found
drwx------ 2 mysql root 4096 Nov 30 17:18 mysql
-rw-rw---- 1 root root 6 Nov 30 17:18 mysql_upgrade_info
drwx------ 2 mysql mysql 4096 Nov 30 17:18 performance_schema
drwx------ 2 mysql mysql 4096 Nov 30 17:28 phpmyadmin
drwx------ 2 mysql root 4096 Dec 12 16:18 test
drwx------ 2 mysql mysql 4096 Nov 30 17:33 wp
</pre>
MySQL-i server töötab peale snapshoti tegemist katkestusteta edasi. Tehtud snapshoti andmeid võib varundada arhiivi jaoks. Andmete varundamisel tuleb spashoti kettajagu failisüsteemi külge haakida ja selle sisu „tar“-i abil arhiveerida ja hiljem eemaldada snapshoti kettajagu

<pre>mkdir -p /var/teekond/arhiivi
tar -cjf [/var/teekond/arhiivi/][kuupäev].tar.bz2 -C /mnt/bk
umount /dev/mysql/sql_backup
lvremove /dev/mysql/sql_backup
Do you really want to remove active logical volume sql_backup? [y/n]: Y
Logical volume "sql_backup" successfully removed
</pre>

Tulemuseks nüüd loogilise kettajao vaatamisele on:
<pre>lvdisplay</pre>
<pre> --- Logical volume ---
LV Name /dev/mysql/data
VG Name mysql
LV UUID ZIMxmO-kUQR-u4gD-Wk9m-0MCK-kqwx-1kMaVP
LV Write Access read/write
LV snapshot status source of
/dev/mysql/sql_backup [active]
LV Status available
# open 1
LV Size 1.00 GiB
Current LE 256
Segments 1
Allocation inherit
Read ahead sectors auto
- currently set to 256
Block device 252:1

--- Logical volume ---
LV Name /dev/mysql/sql_backup
VG Name mysql
LV UUID XMqxEq-yRhp-u8lf-mZ9U-1R2F-fBlf-5hoEeR
LV Write Access read/write
LV snapshot status active destination for /dev/mysql/data
LV Status available
# open 0
LV Size 1.00 GiB
Current LE 256
COW-table size 1.00 GiB
COW-table LE 256
Allocated to snapshot 0.02%
Snapshot chunk size 4.00 KiB
Segments 1
Allocation inherit
Read ahead sectors auto
- currently set to 256
Block device 252:3
</pre>

'''Kuna tõmmis kasvab koos originaalkettajaoga on tähtis jälgida, et tõmmis protsentuaalselt täis ei saaks. Regulaarselt tuleb mahtuvust kontrollida lvs käsuga. 100% täitunud tõmmisele ei saa enam juurde kirjutada ning sellega andmeterviklikkus rikutakse ära!'''

<pre>lvs</pre>
<pre> LV VG Attr LSize Origin Snap% Move Log Copy% Convert
data mysql owi-ao 1.00g
sql_backup mysql swi-a- 1.00g data 0.02
</pre>

Kogu protseduuri automatiseerimiseks on võimalik koostada ka skript, mida saab käivitada sobival aja või kasutades „cron“ ajastamise vahendeid.

Lisaks on võimalik mysql-i data kaust haakida ümber snapshoti kettajaole ja taastada server sellesse seisu, mis oli snapshoti tegemise hetkel minimaalse katkestuse ajaga.

==Kokkuvõte==

LVM -i kasutamine varundamisel on väikestes ja mittekriitilistes süsteemides küllaltki hea lahendus. See ei nõua eriteadmisi ja kallist riistvara/tarkvara. Kuid suurematesse ja keerukamatesse lahendustesse see ei sobi, kuna see ainult aitab luua snapshoti hetke seisust aga ei paku võimalust seda eraldi salvestada. Arhiveerimiseks tuleb kasutada eraldi vahendeid ja selle protseduuri käigus võib minna kaduma vajalikke andmeid. Ka ei võistle LVM proffessionaalsete vahenditega nagu Arkeia (http://www.arkeia.com/) või BrightStor, mis on just varundamise lahenduste jaoks loodud ja muudavad antud tegemise mugavaks ja kiireks.

==Kasutatud kirjandus==
http://kuutorvaja.eenet.ee/wiki/LVM 
http://www.web-manual.net/linux-3/logical-volume-manager-in-linux/ 
http://www.lullabot.com/articles/mysql-backups-using-lvm-snapshots 
http://www.ubuntugeek.com/how-to-change-the-mysql-data-default-directory.html 
https://wiki.ubuntu.com/Lvm 
http://linuxconfig.org/Linux_lvm_-_Logical_Volume_Manager 
Loodus, Katrin. Andmesalvestustehnoloogiad - loeng 4.1 Ülevaade Logical Volume Manager-ist [https://wiki.itcollege.ee/index.php/Category:Andmesalvestustehnoloogiad]

"7 Linux fdisk Command Examples to Manage Hard Disk Partition" [http://www.thegeekstuff.com/2010/09/linux-fdisk/]

"LVM" [https://wiki.ubuntu.com/Lvm]

==Autor==
Madis Lauri
AK 31
[[Category:Operatsioonisüsteemide administreerimine ja sidumine]]

'''Täiendamine:'''

Carolys Kallas A32

Aine: Linuxi administreerimine

Viimati muudetud: 13.01.2013

Mysql varundamine LVM abil

2013-01-13T11:55:44Z

Ckallas:

__TOC__
==Sissejuhatus==

Antud kirjatüki eesmärgiks on tutvustada LVM-i kui abivahendit toimivast süsteemist tagavarakoopiate tegemisel. Kuigi failisüsteemi snapshotide tegemine ja nende kasutamine on ainult üks LVM-i pakutavatest võimalustest. LVM - i snapshotide tegemise võimalus pole ainult mysql -i varundamiseks, vaid kasutatav ka muude andmete varukoopiate tegemiseks. Antud juhul on MySQL siin ainult „reisija“ aga protsessi selgitamiseks ja LVM snapshoti kasutamiseks on MySQL näitena väga hea. Kogu seadistamise protsess toimub Ubuntu Linux Server 12.04.1 LTS operatsioonisüsteemis ja kasutab sellega kaasnevaid vahendeid.

==Mis on mis?==
'''Logical Volume Manager''' - LVM

'''Physical Volume''' - PV, plokkseade, füüsiline kettajagu

'''Volume Group''' - VG, kettagrupp

'''Logical Volume''' - LV, loogiline kettajagu

'''Snapshot''' - (hetk)tõmmis

===LVM===
LVM ehk „Logical Volume Manager“ on ketta partitsioonide haldusvahend Linuxi ja UNIX-i laadsete operatsioonisüsteemide juures. LVM moodustab vahekihi failisüsteemi ja füüsilise kõvaketta vahele. Esmapilgul võib tunduda, et LVM on sarnane RAID (Redundant Array of Independent Disks) kettamassiiviga, on ta siiski hoopis paindlikum viis kettajagudega toimetamiseks. RAID võimaldab kettaid omavahel liita, et saada paremaid tulemusi kiiruses, mahus või töökindluses. LVM seevastu võimaldab korraga hallata mitut (ka loogilist) kettajagu, neid vastavalt vajadusele ümber tõsta ja mahtu muuta. Seega on tihti hea mõte neid kahte hoopis koos kasutada (näiteks RAID 10 ja LVM).
Lihtsustatult oleks ettekujutus eri kihtide tasemetest selline:
* Failisüsteemid
* LVM
* RAID (vajadusel)
* füüsilised plokkmäluseadmed (kõvakettad)

===Omadused===
LVM pakutavad võimalused on:
* Failisüsteemi suuruse muutmine
* Failisüsteemi snapshotide tegemine ja kasutamine (nii read-only kui ka read-write)
* Loodud/muudetud partitsioonide kohene kasutamine, kui ketas/partitsioon on mingil moel kasutusel. Fdisk-i kasutamisel tuleb OP-süsteem taaskäivitada.
* Väiksemate füüsiliste plokkseadmete kokku ühendamine, üheks suureks loogiliseks seadmeks. (Nagu RAID)
* Ketaste liigutamine ja ühendamine üle võrgu

Lisainfot LVM-i kohta: http://en.wikipedia.org/wiki/Logical_Volume_Manager_(Linux)

===MySQL===
MySQL on Oracle Corporation poolt hallatav relatsioonilise andmebaasi haldamise süsteem. On äärmiselt populaarne andmebaasisüsteem erinevates veebirakendustes aga ka mõningates suuremates süsteemides. Oma populaarsuse on ta saanud tänu äärmiselt lihtsale hallatavusele ja kasutajasõbralikkusele. Hetkel ei hakka MySQL-i omadustel ja võimalustel pikemalt peatuma. Rohkem informatsiooni leiab: http://www.mysql.com/

==Eeldused==
*Installeeritud Ubuntu Server (vähemalt 12.04 versioon)
*Tutvutud kettajagudega (kiire kordamine näiteks '''[[Osadmin spikker]]''')

'''Viia kõik käsklused läbi sudo kasutaja alt'''
sudo -i

===Ketaste lisamine===
Kõigepealt on vaja lisada serverile kõvaketas, mida hiljem LVM-iga siduma hakata.

[[File:Create_hard_disk.PNG‎|500px]]

Luua uus 4GB ketas, mis on VirtualBox Disk Image (VDI) formaadis ning dünaamiliselt jagatud.

===Vajaliku tarkvara installeerimine===

Et LVM-i ja MySQL-i seadistada on vajalikud teadmised, kuidas toimub Linuxis ketaste ja partitisoonide haldamine ja baasteadmised MySQL-ist.
Kõigepealt on vajalik installeerida lvm2 nimeline pakett, eelnevalt uuendada tarkvaravaramu nimekirja.
<pre>apt-get update
apt-get install lvm2</pre>
Olenevalt operatsioonisüsteemist võib olla vajalikud paketid juba installeeritud, kontrollida saab nii:
<pre>lvm version</pre>

Lisaks on vajalik installeerida MySQL server ja klientprogramm serveriga ühendumiseks.
<pre>apt-get install mysql-server</pre>
NB! Kuna LVM-i kasutuselevõtmine vajab mõningast MySQL-i ümberseadistamist, tuleb arvestada asjaoluga, et MySQL-i data kausta ümbertõstmisel ei pruugi olemasolevad andmed säilida (InnoDB) ja vajalik oleks serveris olevatest andmetest enne .sql kujul tagavarakoopia teha.

==LVM -i seadistamine==

[[File:LVM.jpg|thumb |alt=LVM alt text |LVM]]

LVM ise jaguneb kolmeks eri kihiks: plokkseadmed (PV), kettagrupid (VG), millesse on organiseeritud füüsilised plokkseadmed ja loogilised kettajaod, mis on jagatud kettagrupid.
Iga kihiga toimetamisel on oma käsud, mis viitavad sellele, mis kihiga hetkel toimetatakse: pv*, vg* ning lv*. Näiteks pvcreate, vgcreate ja lvcreate.

Esimese asjana tuleb valida ketas/kettajagu, kus LVM-iga toimetama hakata. Uue ketta puhul oleks võimalusel mõtekas luua üks tervet ketast hõlmav partitsioon.

Operatsioonisüsteem tunnistab näites kasutatavat uut ketast kui /dev/sdb ja seega on näites kasutatavad ketta nimed/asukohad just sellised.

Kõikide olemasolevate partitsioonide kuvamine:
<pre>fdisk -l</pre>

(Kindla partitsiooni vaatamiseks lisada käsu lõppu see partitsioon:)
<pre>fdisk -l /dev/sda</pre>

<pre>fdisk -l 2> /dev/null | grep Disk</pre>
<pre> Disk /dev/sda: 8589 MB, 8589934592 bytes
Disk identifier: 0x000bd8b1
Disk /dev/sdb: 4294 MB, 4294967296 bytes
Disk identifier: 0x11844f48</pre>

===Füüsilise ketta väärtuse muutmine===
Avada fdiskiga uue loodud ketta partitsioon ning luua uus primaarne kettajagu:

<pre>fdisk /dev/sdb
Command (m for help): n

Partition type:
p primary (0 primary, 0 extended, 4 free)
e extended

Select (default p): p

Partition number (1-4, default 1): 1

First sector (2048-8388607, default 2048):
Using default value 2048

Last sector, +sectors or +size{K,M,G} (2048-8388607, default 8388607):
Using default value 8388607</pre>

Print käskluse abil kuvatakse kettajagu, algus, lõpp, blokid, id ning süsteem. Loodud partitsioon on 83 ehk Linux. Partitsiooni süsteemse id muutmiseks kasutatakse '''t'''.

Käsklus '''L''' kuvab kõik kaheksandikkoodid . Linux LVM kood on 8e, et muuta kettajagu Linux LVM-iks on vaja muuta kettajao id 83-lt 8e-ks.
[[file:8e.PNG|500px]]

<pre>
Command (m for help): t
Selected partition 1

Hex code (type L to list codes): 8e
Changed system type of partition 1 to 8e (Linux LVM)

Command (m for help): w
The partition table has been altered!

Calling ioctl() to re-read partition table.
Syncing disks.</pre>

'''NB mitte väljuda q, mis väljub programmist muudatusi salvestamata!'''

===Füüsiline kettajagu===
Järgnevalt anname lvm-ile teada, et loodud partitsioon on „pv“ ehk physical volume.
{|style="background:lightyellow;width:500px;margin:3px;border:1px solid lightgrey" align=centre
| style="padding:0px 0px 0px 80px;font-family:courier;font-size:8pt;" |pvcreate disk1 disk2 disk3
|}

<pre>pvcreate /dev/sdb1
Physical volume "/dev/sdb1" successfully created</pre>

Kui kõik läks hästi siis peaks tulemus olemas selline:
{|style="background:lightyellow;width:500px;margin:3px;border:1px solid lightgrey" align=centre
| style="padding:0px 0px 0px 80px;font-family:courier;font-size:8pt;" |pvdisplay
|}
"/dev/sdb1" is a new physical volume of "4.00 GiB"
--- NEW Physical volume ---
PV Name /dev/sdb1
VG Name
PV Size 4.00 GiB
Allocatable NO
PE Size 0
Total PE 0
Free PE 0
Allocated PE 0
PV UUID EdmaX9-bXmQ-Oevp-p9W9-I2qY-gpMM-1w77aQ</pre>

===Kettagrupp===
Loome uue „volume group“ -i ja nimetame selle mysql -iks.
{|style="background:lightyellow;width:500px;margin:3px;border:1px solid lightgrey" align=centre
| style="padding:0px 0px 0px 80px;font-family:courier;font-size:8pt;" |vgcreate kettagrupi_nimi /dev/sdb1 /dev/sdc1 /dev/sdd1
|}

<pre>vgcreate mysql /dev/sdb1
Volume group "mysql" successfully created</pre>

{|style="background:lightyellow;width:500px;margin:3px;border:1px solid lightgrey" align=centre
| style="padding:0px 0px 0px 80px;font-family:courier;font-size:8pt;" |vgdisplay
|}

<pre> --- Volume group ---
VG Name mysql
System ID
Format lvm2
Metadata Areas 1
Metadata Sequence No 4
VG Access read/write
VG Status resizable
MAX LV 0
Cur LV 2
Open LV 2
Max PV 0
Cur PV 1
Act PV 1
VG Size 4.00 GiB
PE Size 4.00 MiB
Total PE 1023
Alloc PE / Size 512 / 2.00 GiB
Free PE / Size 511 / 2.00 GiB
VG UUID s5AjT8-ss7D-Gm9m-XY6j-ULMv-RLbR-xdy0K6</pre>

Järgnevalt saame luua „volume group“ -ile „logical volumes“ ehk loogilised kettajaod. Need on justkui partitsioonid füüsilisel kõvakettal ja neid saab juba andmete talletamiseks kasutada. Nimetame kettajao nimega data ja määrame tema suuruseks 1GB (antud suurus sobib väga hästi katsetamiseks aga reaalsetes süsteemides tuleb muidugi oluliselt suuremaid numbreid kasutada. ). Suuruse seadistamisel tuleb arvestada, et sama „volume group“ peale tuleb mahutada veel vähemalt üks sama suur loogiline kettajagu, mis on loodava LV snapshot. Näide kui VG suurus on kokku 10GB siis on võimalik teha maksimaalselt 5GB suurune loogiline kettajagu. Vastasel ei mahu tema kõrvale, samale VG-le tehtud LV snapshot.

===Loogiline kettajagu===
{|style="background:lightyellow;width:600px;margin:3px;border:1px solid lightgrey" align=centre
| style="padding:0px 0px 0px 80px;font-family:courier;font-size:8pt;" |lvcreate --size 1G --name loogilise_ketta_nimi kettagrupi_nimi
|}

<pre>lvcreate -n data -L 1GB mysql</pre>
<pre>Logical volume "data" created</pre>

Kontrollime tulemust:
{|style="background:lightyellow;width:600px;margin:3px;border:1px solid lightgrey" align=centre
| style="padding:0px 0px 0px 80px;font-family:courier;font-size:8pt;" |lvdisplay
|}
<pre> --- Logical volume ---
LV Name /dev/mysql/data
VG Name mysql
LV UUID SL0yWI-Mc2b-KhkE-V8P1-bW7E-3iL8-8zD6Uf
LV Write Access read/write
LV Status available
# open 0
LV Size 1.00 GiB
Current LE 256
Segments 1
Allocation inherit
Read ahead sectors auto
- currently set to 256
Block device 252:0</pre>

Teadmiseks: lvdisplay käsu käivitamisel on näha parameeter „LV Status“. See näitab, kas kettajagu on saadaval või mitte. Kasutada on võimalik ainult available olekus kettajagu. Eemaldada saab ainult NOT available olekus kettajagusid. Kettajao NOT available olekusse viimiseks saab kasutada käsku:

<pre>lvchange -a n /dev/mysql/data</pre>
ja tagasi:
<pre>lvchange -a y /dev/mysql/data</pre>

===Failisüsteemi loomine ja ühendamine===
Nüüd on loodud uus kettajagu, mida saab andmete säiltamiseks kasutada. Loome sellele kettajaole failisüsteemi:
<pre>mkfs -t ext4 /dev/mysql/data</pre>

Järgmisena tuleb loodud kettajagu kuhugile mountida. Mina teen sellejaoks /srv/mysql kausta ja haagin ketta sinna.

<pre>mkdir /srv/mysql
mount /dev/mysql/data /srv/mysql</pre>

Lisame '''/etc/fstab''' faili lõppu kirje, et ka järgmisel süsteemi käivitamisel oleks ketas kohe külgehaagitud

<pre>
<file system> <mount point> <type> <options> <dump> <pass>
/dev/mysql/data /srv/mysql ext4 defaults 0 0</pre>

==MySQL seadistamine==
Muudame kausta õigused mysql-ile sobivaks (kausta omanik on kasutaja mysql ja kaustale on ligipääs ainult kausta omanikul)
<pre>chown mysql:mysql /srv/mysql
chmod 0700 /srv/mysql</pre>

Nüüd tuleb olemasolev mysql data kaust liigutada /srv/mysql kausta. Esimese asjana peatada mysql server
<pre>service mysql stop
mysql stop/waiting</pre>

Kopeerime (!) kogu mysql-i data kausta loodud lvm kettajaole. Ubuntus (ilmselt ka paljudes teistes operatsioonisüsteemides) asub mysq-i data kaust /var/lib/mysql. Oleks vägagi soovitatav jätta andmed vanasse kausta alles ja kustuta see alles siis kui ollakse täiesti kindel, et server töötab tõrgeteta.
<pre>cp -ar /var/lib/mysql/. /srv/mysql</pre>

Seejärel tuleb mysql-i konfiguratsioonifailis ('''/etc/mysql/my.cnf''') muuta ära „datadir“ parameeter
<pre>datadir = /var/lib/mysql -> datadir = /srv/mysql</pre>

Teadmiseks: alates Ubuntu 7.10 -st on operatsioonisüsteemiga kaasas programm nimega „AppArmor“ (Loe lähemalt: https://wiki.itcollege.ee/index.php/AppArmor). Tegemist on kerneli turvamooduliga, mis teatavate programmide puhul piirab nende ligipääsu failisüsteemile. Et MySQL server uuesti korrektselt käivituks, tuleb „AppArmor“ -is mysq-i seadistust muuta. Sobiva tekstieditoriga tuleb avada ''''/etc/apparmor.d/usr.sbin.mysqld''' konfifail ja teha seal vajalikud muudatused :
<pre>/var/lib/mysql/ r, -> /srv/mysql r,
/var/lib/mysql/** rwk, -> /srv/mysql** rwk,</pre>

Seejärel on vaja teha AppArmorile restart
<pre>service apparmor restart</pre>

Osadel operatsioonisüsteemidel võib ka init skript ette anda, kus asub mysql-i datadir. Seega oleks mõistlik ka see '''/etc/init.d/mysql''' skriptist üle vaadata.

Käivitame uuesti mysql-i serveri:

<pre>service mysql start</pre>

Kontrollime mysql-i muutujaid:
<pre>mysqladmin -u [mysql-kasutaja] -p variables | grep datadir</pre>
<pre>Enter password: [mysql-parool]
| datadir | /srv/mysql/
</pre>
Lisaks tuleks sobiva mysql kliendiga serverisse sisse logida ja kontrollida üle, kas kõik jäi korrektselt tööle.

Nüüd, kui MySQL server on korrektselt tööle hakanud ja tekib vajadus varukoopiate tegemiseks. Töötavast serverist snapshoti tegemisel pole vajalik eelnev serveri väljalülitama. Lihtsalt protseduuri ajaks oleks vajalik keelata ära andmete kirjutamine „FLUSH TABLES WITH READ LOCK;“ käsuga, lisaks võiks tühjendada ka logid „FLUSH LOGS;“ käsuga. Snapshoti tegemise protsess on äärmiselt kiire ja andmete lugemine andmebaasist toimib endiselt edasi. Samas andmete kirjutamise protsess viibib seni, kui andmebaasilt kirjutamise lukk maha võetakse (kõik kirjutamise käsud täidetakse kohe peale luku vabastamist).
Ehkki varukoopia tegemise protsess ei tekita katkestusi serveri töös, oleks hea mõte teha varukoopiaid sellisel ajal kui serveril on kõige väiksem koormus.
On vajalik teada, et andmebaas lukustatakse ainult selleks ajaks, kui mysql serverisse on sisse logitud. Kohe kui sessioon lõpetatakse, vabastatakse ka lukud. Seetõttu peab snaspshoti tegemise ajal olema serverisse sisse logitud. Variant on kasutada kahte terminali sessiooni aga vajalikke käske saab käivitada ka MySQL-i käsurealt (vajalik on mysql-i klient käivitada root kasutaja õigustes).
<pre>mysql -u [root] -p</pre>
Enter password:
Welcome to the MySQL monitor. Commands end with ; or \g.
Your MySQL connection id is 75
Server version: 5.5.28-0ubuntu0.12.04.2 (Ubuntu)

Copyright (c) 2000, 2012, Oracle and/or its affiliates. All rights reserved.

Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

mysql> FLUSH TABLES WITH READ LOCK;
Query OK, 0 rows affected (0.00 sec)

mysql> FLUSH LOGS;
Query OK, 0 rows affected (0.00 sec)
</pre>

==Tõmmise tegemine==
<pre>
mysql> SYSTEM /sbin/lvcreate -L 1G --snapshot -n sql_backup /dev/mysql/data
File descriptor 3 (socket:[15065]) leaked on lvcreate invocation. Parent PID 3514: sh
Logical volume "sql_backup" created
mysql> UNLOCK TABLES;
Query OK, 0 rows affected (0.01 sec)

mysql> exit
Bye
</pre>
Snapshoti kettajagu nimetati kui sql_backup ja viide loogilisele seadmele asub /dev/mysql/sql_backup. Käivitades käsu „lvs“, saab näha, et lisaks mysql/data LV-le on juurde tekkinud mysql/sql_backup
<pre>lvs</pre>
<pre>LV VG Attr LSize Origin Snap% Move Log Copy% Convert
data mysql owi-ao 1.00g
sql_backup mysql swi-a- 1.00g data 0.00
</pre>
Kui nüüd haakida tehtud snapshoti kettajagu, on seal kättesaadav kogu mysql-i data sellel hetkel, kui snapshot tehti.
<pre>mkdir /mnt/bk
mount /dev/mysql/sql_backup /mnt/bk
ls -la /mnt/bk</pre>
<pre>total 28720
drwx------ 8 mysql mysql 4096 Dec 12 15:59 .
drwxr-xr-x 3 root root 4096 Dec 12 16:34 ..
-rw-r--r-- 1 root root 0 Nov 30 17:18 debian-5.5.flag
-rw-rw---- 1 mysql mysql 18874368 Dec 12 16:18 ibdata1
-rw-rw---- 1 mysql mysql 5242880 Dec 12 16:18 ib_logfile0
-rw-rw---- 1 mysql mysql 5242880 Nov 30 17:18 ib_logfile1
drwx------ 2 root root 16384 Dec 12 15:58 lost+found
drwx------ 2 mysql root 4096 Nov 30 17:18 mysql
-rw-rw---- 1 root root 6 Nov 30 17:18 mysql_upgrade_info
drwx------ 2 mysql mysql 4096 Nov 30 17:18 performance_schema
drwx------ 2 mysql mysql 4096 Nov 30 17:28 phpmyadmin
drwx------ 2 mysql root 4096 Dec 12 16:18 test
drwx------ 2 mysql mysql 4096 Nov 30 17:33 wp
</pre>
MySQL-i server töötab peale snapshoti tegemist katkestusteta edasi. Tehtud snapshoti andmeid võib varundada arhiivi jaoks. Andmete varundamisel tuleb spashoti kettajagu failisüsteemi külge haakida ja selle sisu „tar“-i abil arhiveerida ja hiljem eemaldada snapshoti kettajagu

<pre>mkdir -p /var/teekond/arhiivi
tar -cjf [/var/teekond/arhiivi/][kuupäev].tar.bz2 -C /mnt/bk
umount /dev/mysql/sql_backup
lvremove /dev/mysql/sql_backup
Do you really want to remove active logical volume sql_backup? [y/n]: Y
Logical volume "sql_backup" successfully removed
</pre>

Tulemuseks nüüd loogilise kettajao vaatamisele on:
<pre>lvdisplay</pre>
<pre> --- Logical volume ---
LV Name /dev/mysql/data
VG Name mysql
LV UUID ZIMxmO-kUQR-u4gD-Wk9m-0MCK-kqwx-1kMaVP
LV Write Access read/write
LV snapshot status source of
/dev/mysql/sql_backup [active]
LV Status available
# open 1
LV Size 1.00 GiB
Current LE 256
Segments 1
Allocation inherit
Read ahead sectors auto
- currently set to 256
Block device 252:1

--- Logical volume ---
LV Name /dev/mysql/sql_backup
VG Name mysql
LV UUID XMqxEq-yRhp-u8lf-mZ9U-1R2F-fBlf-5hoEeR
LV Write Access read/write
LV snapshot status active destination for /dev/mysql/data
LV Status available
# open 0
LV Size 1.00 GiB
Current LE 256
COW-table size 1.00 GiB
COW-table LE 256
Allocated to snapshot 0.02%
Snapshot chunk size 4.00 KiB
Segments 1
Allocation inherit
Read ahead sectors auto
- currently set to 256
Block device 252:3
</pre>

'''Kuna tõmmis kasvab koos originaalkettajaoga on tähtis jälgida, et tõmmis protsentuaalselt täis ei saaks. Regulaarselt tuleb mahtuvust kontrollida lvs käsuga. 100% täitunud tõmmisele ei saa enam juurde kirjutada ning sellega andmeterviklikkus rikutakse ära!'''

<pre>lvs</pre>
<pre> LV VG Attr LSize Origin Snap% Move Log Copy% Convert
data mysql owi-ao 1.00g
sql_backup mysql swi-a- 1.00g data 0.02
</pre>

Kogu protseduuri automatiseerimiseks on võimalik koostada ka skript, mida saab käivitada sobival aja või kasutades „cron“ ajastamise vahendeid.

Lisaks on võimalik mysql-i data kaust haakida ümber snapshoti kettajaole ja taastada server sellesse seisu, mis oli snapshoti tegemise hetkel minimaalse katkestuse ajaga.

==Kokkuvõte==

LVM -i kasutamine varundamisel on väikestes ja mittekriitilistes süsteemides küllaltki hea lahendus. See ei nõua eriteadmisi ja kallist riistvara/tarkvara. Kuid suurematesse ja keerukamatesse lahendustesse see ei sobi, kuna see ainult aitab luua snapshoti hetke seisust aga ei paku võimalust seda eraldi salvestada. Arhiveerimiseks tuleb kasutada eraldi vahendeid ja selle protseduuri käigus võib minna kaduma vajalikke andmeid. Ka ei võistle LVM proffessionaalsete vahenditega nagu Arkeia (http://www.arkeia.com/) või BrightStor, mis on just varundamise lahenduste jaoks loodud ja muudavad antud tegemise mugavaks ja kiireks.

==Kasutatud kirjandus==
http://kuutorvaja.eenet.ee/wiki/LVM 
http://www.web-manual.net/linux-3/logical-volume-manager-in-linux/ 
http://www.lullabot.com/articles/mysql-backups-using-lvm-snapshots 
http://www.ubuntugeek.com/how-to-change-the-mysql-data-default-directory.html 
https://wiki.ubuntu.com/Lvm 
http://linuxconfig.org/Linux_lvm_-_Logical_Volume_Manager 
Loodus, Katrin. Andmesalvestustehnoloogiad - loeng 4.1 Ülevaade Logical Volume Manager-ist [https://wiki.itcollege.ee/index.php/Category:Andmesalvestustehnoloogiad]

"7 Linux fdisk Command Examples to Manage Hard Disk Partition" [http://www.thegeekstuff.com/2010/09/linux-fdisk/]

"LVM" [https://wiki.ubuntu.com/Lvm]

==Autor==
Madis Lauri
AK 31
[[Category:Operatsioonisüsteemide administreerimine ja sidumine]]

'''Täiendamine:'''

Carolys Kallas A32

Aine: Linuxi administreerimine

Viimati muudetud: 13.01.2013

Mysql varundamine LVM abil

2013-01-13T11:36:49Z

Ckallas: /* LVM -i seadistamine */

__TOC__
==Sissejuhatus==

Antud kirjatüki eesmärgiks on tutvustada LVM-i kui abivahendit toimivast süsteemist tagavarakoopiate tegemisel. Kuigi failisüsteemi snapshotide tegemine ja nende kasutamine on ainult üks LVM-i pakutavatest võimalustest. LVM - i snapshotide tegemise võimalus pole ainult mysql -i varundamiseks, vaid kasutatav ka muude andmete varukoopiate tegemiseks. Antud juhul on MySQL siin ainult „reisija“ aga protsessi selgitamiseks ja LVM snapshoti kasutamiseks on MySQL näitena väga hea. Kogu seadistamise protsess toimub Ubuntu Linux Server 12.04.1 LTS operatsioonisüsteemis ja kasutab sellega kaasnevaid vahendeid.

==Mis on mis?==
'''Logical Volume Manager''' - LVM

'''Physical Volume''' - PV, plokkseade, füüsiline kettajagu

'''Volume Group''' - VG, kettagrupp

'''Logical Volume''' - LV, loogiline kettajagu

'''Snapshot''' - (hetk)tõmmis

===LVM===
LVM ehk „Logical Volume Manager“ on ketta partitsioonide haldusvahend Linuxi ja UNIX-i laadsete operatsioonisüsteemide juures. LVM moodustab vahekihi failisüsteemi ja füüsilise kõvaketta vahele. Esmapilgul võib tunduda, et LVM on sarnane RAID (Redundant Array of Independent Disks) kettamassiiviga, on ta siiski hoopis paindlikum viis kettajagudega toimetamiseks. RAID võimaldab kettaid omavahel liita, et saada paremaid tulemusi kiiruses, mahus või töökindluses. LVM seevastu võimaldab korraga hallata mitut (ka loogilist) kettajagu, neid vastavalt vajadusele ümber tõsta ja mahtu muuta. Seega on tihti hea mõte neid kahte hoopis koos kasutada (näiteks RAID 10 ja LVM).
Lihtsustatult oleks ettekujutus eri kihtide tasemetest selline:
* Failisüsteemid
* LVM
* RAID (vajadusel)
* füüsilised plokkmäluseadmed (kõvakettad)

===Omadused===
LVM pakutavad võimalused on:
* Failisüsteemi suuruse muutmine
* Failisüsteemi snapshotide tegemine ja kasutamine (nii read-only kui ka read-write)
* Loodud/muudetud partitsioonide kohene kasutamine, kui ketas/partitsioon on mingil moel kasutusel. Fdisk-i kasutamisel tuleb OP-süsteem taaskäivitada.
* Väiksemate füüsiliste plokkseadmete kokku ühendamine, üheks suureks loogiliseks seadmeks. (Nagu RAID)
* Ketaste liigutamine ja ühendamine üle võrgu

Lisainfot LVM-i kohta: http://en.wikipedia.org/wiki/Logical_Volume_Manager_(Linux)

===MySQL===
MySQL on Oracle Corporation poolt hallatav relatsioonilise andmebaasi haldamise süsteem. On äärmiselt populaarne andmebaasisüsteem erinevates veebirakendustes aga ka mõningates suuremates süsteemides. Oma populaarsuse on ta saanud tänu äärmiselt lihtsale hallatavusele ja kasutajasõbralikkusele. Hetkel ei hakka MySQL-i omadustel ja võimalustel pikemalt peatuma. Rohkem informatsiooni leiab: http://www.mysql.com/

==Eeldused==
*Installeeritud Ubuntu Server (vähemalt 12.04 versioon)
*Tutvutud kettajagudega (kiire kordamine näiteks '''[[Osadmin spikker]]''')

'''Viia kõik käsklused läbi sudo kasutaja alt'''
sudo -i

===Ketaste lisamine===
Kõigepealt on vaja lisada serverile kõvaketas, mida hiljem LVM-iga siduma hakata.

[[File:Create_hard_disk.PNG‎|500px]]

Luua uus 4GB ketas, mis on VirtualBox Disk Image (VDI) formaadis ning dünaamiliselt jagatud.

===Vajaliku tarkvara installeerimine===

Et LVM-i ja MySQL-i seadistada on vajalikud teadmised, kuidas toimub Linuxis ketaste ja partitisoonide haldamine ja baasteadmised MySQL-ist.
Kõigepealt on vajalik installeerida lvm2 nimeline pakett, eelnevalt uuendada tarkvaravaramu nimekirja.
<pre>apt-get update
apt-get install lvm2</pre>
Olenevalt operatsioonisüsteemist võib olla vajalikud pakeid juba installeeritud, kontrollida saab nii:
<pre>lvm version</pre>

<pre>lvm version
LVM version: 2.02.66(2) (2010-05-20)
Library version: 1.02.48 (2010-05-20)
Driver version: 4.22.0
</pre>
Lisaks on vajalik installeerida MySQL server ja klientprogramm serveriga ühendumiseks.
<pre>apt-get install mysql-server</pre>
NB! Kuna LVM-i kasutuselevõtmine vajab mõningast MySQL-i ümberseadistamist, tuleb arvestada asjaoluga, et MySQL-i data kausta ümbertõstmisel ei pruugi olemasolevad andmed säilida (InnoDB) ja vajalik oleks serveris olevatest andmetest enne .sql kujul tagavarakoopia teha.

==LVM -i seadistamine==

[[File:LVM.jpg|thumb |alt=Nas alt text |LVM]]

LVM ise jaguneb kolmeks eri kihiks: plokkseadmed (PV), kettagrupid (VG), millesse on organiseeritud füüsilised plokkseadmed ja loogilised kettajaod, mis on jagatud kettagrupid.
Iga kihiga toimetamisel on oma käsud, mis viitavad sellele, mis kihiga hetkel toimetatakse: pv*, vg* ning lv*. Näiteks pvcreate, vgcreate ja lvcreate.

Esimese asjana tuleb valida ketas/kettajagu, kus LVM-iga toimetama hakata. Uue ketta puhul oleks võimalusel mõtekas luua üks tervet ketast hõlmav partitsioon.

Näites on kasutatud ühte 4 GB suurust ketast (VirtualBox-i lisatud 4GB suurune virtuualne kõvaketas). Operatsioonisüsteem tunnistab seda kui /dev/sdb ja seega on näites kasutatavad ketta nimed/asukohad just sellised. Partitiooni tüübiks tuleb kindlasti määrata Linux LVM ehk kood „8e“

<pre>fdisk -l 2> /dev/null | grep Disk
Disk /dev/sda: 8589 MB, 8589934592 bytes
Disk identifier: 0x000bd8b1
Disk /dev/sdb: 4294 MB, 4294967296 bytes
Disk identifier: 0x11844f48</pre>

===Füüsilise ketta väärtuse muutmine===
Avada fdiskiga uue loodud ketta partitsioon ning luua uus primaarne kettajagu:

<pre>fdisk /dev/sdb
Command (m for help): n

Partition type:
p primary (0 primary, 0 extended, 4 free)
e extended

Select (default p): p

Partition number (1-4, default 1): 1

First sector (2048-8388607, default 2048):
Using default value 2048

Last sector, +sectors or +size{K,M,G} (2048-8388607, default 8388607):
Using default value 8388607</pre>

Print käskluse abil kuvatakse kettajagu, algus, lõpp, blokid, id ning süsteem. Loodud partitsioon on 83 ehk Linux. Partitsiooni süsteemse id muutmiseks kasutatakse '''t'''.

Käsklus '''L''' kuvab kõik kaheksandikkoodid . Linux LVM kood on 8e, et muuta kettajagu Linux LVM-iks on vaja muuta kettajao id 83-lt 8e-ks.
[[file:8e.PNG|500px]]

<pre>
Command (m for help): t
Selected partition 1

Hex code (type L to list codes): 8e
Changed system type of partition 1 to 8e (Linux LVM)

Command (m for help): w
The partition table has been altered!

Calling ioctl() to re-read partition table.
Syncing disks.</pre>

'''NB mitte väljuda q, mis väljub programmist muudatusi salvestamata!'''

===Füüsiline kettajagu===
Järgnevalt anname lvm-ile teada, et loodud partitsioon on „pv“ ehk physical volume.
{|style="background:lightyellow;width:500px;margin:3px;border:1px solid lightgrey" align=centre
| style="padding:0px 0px 0px 80px;font-family:courier;font-size:8pt;" |pvcreate disk1 disk2 disk3
|}

<pre>pvcreate /dev/sdb1
Physical volume "/dev/sdb1" successfully created</pre>

Kui kõik läks hästi siis peaks tulemus olemas selline:
<pre>pvdisplay
"/dev/sdb1" is a new physical volume of "4.00 GiB"
--- NEW Physical volume ---
PV Name /dev/sdb1
VG Name
PV Size 4.00 GiB
Allocatable NO
PE Size 0
Total PE 0
Free PE 0
Allocated PE 0
PV UUID EdmaX9-bXmQ-Oevp-p9W9-I2qY-gpMM-1w77aQ</pre>

===Kettagrupp===
Loome uue „volume group“ -i ja nimetame selle mysql -iks.
{|style="background:lightyellow;width:500px;margin:3px;border:1px solid lightgrey" align=centre
| style="padding:0px 0px 0px 80px;font-family:courier;font-size:8pt;" |vgcreate kettagrupi_nimi /dev/sdb1 /dev/sdc1 /dev/sdd1
|}

<pre>vgcreate mysql /dev/sdb1
Volume group "mysql" successfully created</pre>

<pre>vgdisplay
--- Volume group ---
VG Name mysql
System ID
Format lvm2
Metadata Areas 1
Metadata Sequence No 4
VG Access read/write
VG Status resizable
MAX LV 0
Cur LV 2
Open LV 2
Max PV 0
Cur PV 1
Act PV 1
VG Size 4.00 GiB
PE Size 4.00 MiB
Total PE 1023
Alloc PE / Size 512 / 2.00 GiB
Free PE / Size 511 / 2.00 GiB
VG UUID s5AjT8-ss7D-Gm9m-XY6j-ULMv-RLbR-xdy0K6</pre>

Järgnevalt saame luua „volume group“ -ile „logical volumes“ ehk loogilised kettajaod. Need on justkui partitsioonid füüsilisel kõvakettal ja neid saab juba andmete talletamiseks kasutada. Nimetame kettajao nimega data ja määrame tema suuruseks 1GB (antud suurus sobib väga hästi katsetamiseks aga reaalsetes süsteemides tuleb muidugi oluliselt suuremaid numbreid kasutada. ). Suuruse seadistamisel tuleb arvestada, et sama „volume group“ peale tuleb mahutada veel vähemalt üks sama suur loogiline kettajagu, mis on loodava LV snapshot. Näide kui VG suurus on kokku 10GB siis on võimalik teha maksimaalselt 5GB suurune loogiline kettajagu. Vastasel ei mahu tema kõrvale, samale VG-le tehtud LV snapshot.

===Loogiline kettajagu===
{|style="background:lightyellow;width:600px;margin:3px;border:1px solid lightgrey" align=centre
| style="padding:0px 0px 0px 80px;font-family:courier;font-size:8pt;" |lvcreate --size 1G --name loogilise_ketta_nimi kettagrupi_nimi
|}

<pre>lvcreate -n data -L 1GB mysql
Logical volume "data" created</pre>

Kontrollime tulemust:
<pre>lvdisplay
--- Logical volume ---
LV Name /dev/mysql/data
VG Name mysql
LV UUID SL0yWI-Mc2b-KhkE-V8P1-bW7E-3iL8-8zD6Uf
LV Write Access read/write
LV Status available
# open 0
LV Size 1.00 GiB
Current LE 256
Segments 1
Allocation inherit
Read ahead sectors auto
- currently set to 256
Block device 252:0</pre>

Teadmiseks: lvdisplay käsu käivitamisel on näha parameeter „LV Status“. See näitab, kas kettajagu on saadaval või mitte. Kasutada on võimalik ainult available olekus kettajagu. Eemaldada saab ainult NOT available olekus kettajagusid. Kettajao NOT available olekusse viimiseks saab kasutada käsku:

<pre>lvchange -a n /dev/mysql/data</pre>
ja tagasi:
<pre>lvchange -a y /dev/mysql/data</pre>

===Failisüsteemi loomine ja ühendamine===
Nüüd on loodud uus kettajagu, mida saab andmete säiltamiseks kasutada. Loome sellele kettajaole failisüsteemi:
<pre>mkfs -t ext4 /dev/mysql/data</pre>

Järgmisena tuleb loodud kettajagu kuhugile mountida. Mina teen sellejaoks /srv/mysql kausta ja haagin ketta sinna.

<pre>mkdir /srv/mysql
mount /dev/mysql/data /srv/mysql</pre>

Lisame '''/etc/fstab''' faili lõppu kirje, et ka järgmisel süsteemi käivitamisel oleks ketas kohe külgehaagitud

<pre>
<file system> <mount point> <type> <options> <dump> <pass>
/dev/mysql/data /srv/mysql ext4 defaults 0 0</pre>

==MySQL seadistamine==
Muudame kausta õigused mysql-ile sobivaks (kausta omanik on kasutaja mysql ja kaustale on ligipääs ainult kausta omanikul)
<pre>chown mysql:mysql /srv/mysql
chmod 0700 /srv/mysql</pre>

Nüüd tuleb olemasolev mysql data kaust liigutada /srv/mysql kausta. Esimese asjana peatada mysql server
<pre>service mysql stop
mysql stop/waiting</pre>

Kopeerime (!) kogu mysql-i data kausta loodud lvm kettajaole. Ubuntus (ilmselt ka paljudes teistes operatsioonisüsteemides) asub mysq-i data kaust /var/lib/mysql. Oleks vägagi soovitatav jätta andmed vanasse kausta alles ja kustuta see alles siis kui ollakse täiesti kindel, et server töötab tõrgeteta.
<pre>cp -ar /var/lib/mysql/. /srv/mysql</pre>

Seejärel tuleb mysql-i konfiguratsioonifailis ('''/etc/mysql/my.cnf''') muuta ära „datadir“ parameeter
<pre>datadir = /var/lib/mysql -> datadir = /srv/mysql</pre>

Teadmiseks: alates Ubuntu 7.10 -st on operatsioonisüsteemiga kaasas programm nimega „AppArmor“ (Loe lähemalt: https://wiki.itcollege.ee/index.php/AppArmor). Tegemist on kerneli turvamooduliga, mis teatavate programmide puhul piirab nende ligipääsu failisüsteemile. Et MySQL server uuesti korrektselt käivituks, tuleb „AppArmor“ -is mysq-i seadistust muuta. Sobiva tekstieditoriga tuleb avada ''''/etc/apparmor.d/usr.sbin.mysqld''' konfifail ja teha seal vajalikud muudatused :
<pre>/var/lib/mysql/ r, -> /srv/mysql r,
/var/lib/mysql/** rwk, -> /srv/mysql** rwk,</pre>

Osadel operatsioonisüsteemidel võib ka init skript ette anda, kus asub mysql-i datadir. Seega oleks mõistlik ka see '''/etc/init.d/mysql''' skriptist üle vaadata.

Käivitame uuesti mysql-i serveri. Kui kõik läks hästi, peaks olema tulemus sarnane:

<pre>service mysql start
mysql start/running, process 2588</pre>

Kontrollime mysql-i muutujaid:
<pre>mysqladmin -u{mysql-kasutaja} -p variables | grep datadir
Enter password: {mysql-parool}
| datadir | /srv/mysql/
</pre>
Lisaks tuleks sobiva mysql kliendiga serverisse sisse logida ja kontrollida üle, kas kõik jäi korrektselt tööle.

Nüüd, kui MySQL server on korrektselt töödanud ja tekib vajadus varukoopiate tegemiseks. Töötavast serverist snapshoti tegemisel pole vajalik eelnev serveri väljalülitama. Lihtsalt protseduuri ajaks oleks vajalik keelata ära andmete kirjutamine „FLUSH TABLES WITH READ LOCK;“ käsuga, lisaks võiks tühjendada ka logid „FLUSH LOGS;“ käsuga. Snapshoti tegemise protsess on äärmiselt kiire ja andmete lugemine andmebaasist toimib endiselt edasi. Samas andmete kirjutamise protsess viibib seni, kui andmebaasilt kirjutamise lukk maha võetakse (kõik kirjutamise käsud täidetakse kohe peale luku vabastamist).
Ehkki varukoopia tegemise protsess ei tekita katkestusi serveri töös, oleks hea mõte teha varukoopiaid sellisel ajal kui serveril on kõige väiksem koormus.
On vajalik teada, et andmebaas lukustatakse ainult selleks ajaks, kui mysql serverisse on sisse logitud. Kohe kui sessioon lõpetatakse, vabastatakse ka lukud. Seetõttu peab snaspshoti tegemise ajal olema serverisse sisse logitud. Variant on kasutada kahte terminali sessiooni aga vajalikke käske saab käivitada ka MySQL-i käsurealt (vajalik on mysql-i klient käivitada root kasutaja õigustes).
<pre>mysql -u root -p
Enter password:
Welcome to the MySQL monitor. Commands end with ; or \g.
Your MySQL connection id is 75
Server version: 5.5.28-0ubuntu0.12.04.2 (Ubuntu)

Copyright (c) 2000, 2012, Oracle and/or its affiliates. All rights reserved.

Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

mysql> FLUSH TABLES WITH READ LOCK;
Query OK, 0 rows affected (0.00 sec)

mysql> FLUSH LOGS;
Query OK, 0 rows affected (0.00 sec)
</pre>

==Tõmmise tegemine==
<pre>
mysql> SYSTEM /sbin/lvcreate -L 1G --snapshot -n sql_backup /dev/mysql/data
File descriptor 3 (socket:[15065]) leaked on lvcreate invocation. Parent PID 3514: sh
Logical volume "sql_backup" created
mysql> UNLOCK TABLES;
Query OK, 0 rows affected (0.01 sec)

mysql> exit
Bye
</pre>
Snapshoti kettajagu nimetati kui sql_backup ja viide loogilisele seadmele asub /dev/mysql/sql_backup. Käivitades käsu „lvs“, saab näha, et lisaks mysql/data LV-le on juurde tekkinud mysql/sql_backup
<pre>lvs</pre>
<pre>LV VG Attr LSize Origin Snap% Move Log Copy% Convert
data mysql owi-ao 1.00g
sql_backup mysql swi-a- 1.00g data 0.00
</pre>
Kui nüüd haakida tehtud snapshoti kettajagu, on seal kättesaadav kogu mysql-i data sellel hetkel, kui snapshot tehti.
<pre>mkdir /mnt/bk
mount /dev/mysql/sql_backup /mnt/bk
ls -la /mnt/bk</pre>
<pre>total 28720
drwx------ 8 mysql mysql 4096 Dec 12 15:59 .
drwxr-xr-x 3 root root 4096 Dec 12 16:34 ..
-rw-r--r-- 1 root root 0 Nov 30 17:18 debian-5.5.flag
-rw-rw---- 1 mysql mysql 18874368 Dec 12 16:18 ibdata1
-rw-rw---- 1 mysql mysql 5242880 Dec 12 16:18 ib_logfile0
-rw-rw---- 1 mysql mysql 5242880 Nov 30 17:18 ib_logfile1
drwx------ 2 root root 16384 Dec 12 15:58 lost+found
drwx------ 2 mysql root 4096 Nov 30 17:18 mysql
-rw-rw---- 1 root root 6 Nov 30 17:18 mysql_upgrade_info
drwx------ 2 mysql mysql 4096 Nov 30 17:18 performance_schema
drwx------ 2 mysql mysql 4096 Nov 30 17:28 phpmyadmin
drwx------ 2 mysql root 4096 Dec 12 16:18 test
drwx------ 2 mysql mysql 4096 Nov 30 17:33 wp
</pre>
MySQL-i server töötab peale snapshoti tegemist katkestusteta edasi. Tehtud snapshoti andmeid võib varundada arhiivi jaoks. Andmete varundamisel tuleb spashoti kettajagu failisüsteemi külge haakida ja selle sisu „tar“-i abil arhiveerida ja hiljem eemaldada snapshoti kettajagu

<pre>mkdir -p /var/teekond/arhiivi
tar -cjf [/var/teekond/arhiivi/][kuupäev].tar.bz2 -C /mnt/bk
umount /dev/mysql/sql_backup
lvremove /dev/mysql/sql_backup
Do you really want to remove active logical volume sql_backup? [y/n]: Y
Logical volume "sql_backup" successfully removed
</pre>

Tulemuseks nüüd loogilise kettajao vaatamisele on:
<pre>lvdisplay</pre>
<pre> --- Logical volume ---
LV Name /dev/mysql/data
VG Name mysql
LV UUID ZIMxmO-kUQR-u4gD-Wk9m-0MCK-kqwx-1kMaVP
LV Write Access read/write
LV snapshot status source of
/dev/mysql/sql_backup [active]
LV Status available
# open 1
LV Size 1.00 GiB
Current LE 256
Segments 1
Allocation inherit
Read ahead sectors auto
- currently set to 256
Block device 252:1

--- Logical volume ---
LV Name /dev/mysql/sql_backup
VG Name mysql
LV UUID XMqxEq-yRhp-u8lf-mZ9U-1R2F-fBlf-5hoEeR
LV Write Access read/write
LV snapshot status active destination for /dev/mysql/data
LV Status available
# open 0
LV Size 1.00 GiB
Current LE 256
COW-table size 1.00 GiB
COW-table LE 256
Allocated to snapshot 0.02%
Snapshot chunk size 4.00 KiB
Segments 1
Allocation inherit
Read ahead sectors auto
- currently set to 256
Block device 252:3
</pre>

'''Kuna tõmmis kasvab koos originaalkettajaoga on tähtis jälgida, et tõmmis protsentuaalselt täis ei saaks. Regulaarselt tuleb mahtuvust kontrollida lvs käsuga. 100% täitunud tõmmisele ei saa enam juurde kirjutada ning sellega andmeterviklikkus rikutakse ära!'''

<pre>lvs</pre>
<pre> LV VG Attr LSize Origin Snap% Move Log Copy% Convert
data mysql owi-ao 1.00g
sql_backup mysql swi-a- 1.00g data 0.02
</pre>

Kogu protseduuri automatiseerimiseks on võimalik koostada ka skript, mida saab käivitada sobival aja või kasutades „cron“ ajastamise vahendeid.

Lisaks on võimalik mysql-i data kaust haakida ümber snapshoti kettajaole ja taastada server sellesse seisu, mis oli snapshoti tegemise hetkel minimaalse katkestuse ajaga.

==Kokkuvõte==

LVM -i kasutamine varundamisel on väikestes ja mittekriitilistes süsteemides küllaltki hea lahendus. See ei nõua eriteadmisi ja kallist riistvara/tarkvara. Kuid suurematesse ja keerukamatesse lahendustesse see ei sobi, kuna see ainult aitab luua snapshoti hetke seisust aga ei paku võimalust seda eraldi salvestada. Arhiveerimiseks tuleb kasutada eraldi vahendeid ja selle protseduuri käigus võib minna kaduma vajalikke andmeid. Ka ei võistle LVM proffessionaalsete vahenditega nagu Arkeia (http://www.arkeia.com/) või BrightStor, mis on just varundamise lahenduste jaoks loodud ja muudavad antud tegemise mugavaks ja kiireks.

==Kasutatud kirjandus==
http://kuutorvaja.eenet.ee/wiki/LVM 
http://www.web-manual.net/linux-3/logical-volume-manager-in-linux/ 
http://www.lullabot.com/articles/mysql-backups-using-lvm-snapshots 
http://www.ubuntugeek.com/how-to-change-the-mysql-data-default-directory.html 
https://wiki.ubuntu.com/Lvm 
http://linuxconfig.org/Linux_lvm_-_Logical_Volume_Manager 
Loodus, Katrin. Andmesalvestustehnoloogiad - loeng 4.1 Ülevaade Logical Volume Manager-ist [https://wiki.itcollege.ee/index.php/Category:Andmesalvestustehnoloogiad]

"7 Linux fdisk Command Examples to Manage Hard Disk Partition" [http://www.thegeekstuff.com/2010/09/linux-fdisk/]

"LVM" [https://wiki.ubuntu.com/Lvm]

==Autor==
Madis Lauri
AK 31
[[Category:Operatsioonisüsteemide administreerimine ja sidumine]]

'''Täiendamine:'''

Carolys Kallas A32

Aine: Linuxi administreerimine

Viimati muudetud: 13.01.2013

Mysql varundamine LVM abil

2013-01-13T11:20:37Z

Ckallas: /* Tõmmise tegemine */

__TOC__
==Sissejuhatus==

Antud kirjatüki eesmärgiks on tutvustada LVM-i kui abivahendit toimivast süsteemist tagavarakoopiate tegemisel. Kuigi failisüsteemi snapshotide tegemine ja nende kasutamine on ainult üks LVM-i pakutavatest võimalustest. LVM - i snapshotide tegemise võimalus pole ainult mysql -i varundamiseks, vaid kasutatav ka muude andmete varukoopiate tegemiseks. Antud juhul on MySQL siin ainult „reisija“ aga protsessi selgitamiseks ja LVM snapshoti kasutamiseks on MySQL näitena väga hea. Kogu seadistamise protsess toimub Ubuntu Linux Server 12.04.1 LTS operatsioonisüsteemis ja kasutab sellega kaasnevaid vahendeid.

==Mis on mis?==
'''Logical Volume Manager''' - LVM

'''Physical Volume''' - PV, plokkseade, füüsiline kettajagu

'''Volume Group''' - VG, kettagrupp

'''Logical Volume''' - LV, loogiline kettajagu

'''Snapshot''' - (hetk)tõmmis

===LVM===
LVM ehk „Logical Volume Manager“ on ketta partitsioonide haldusvahend Linuxi ja UNIX-i laadsete operatsioonisüsteemide juures. LVM moodustab vahekihi failisüsteemi ja füüsilise kõvaketta vahele. Esmapilgul võib tunduda, et LVM on sarnane RAID (Redundant Array of Independent Disks) kettamassiiviga, on ta siiski hoopis paindlikum viis kettajagudega toimetamiseks. RAID võimaldab kettaid omavahel liita, et saada paremaid tulemusi kiiruses, mahus või töökindluses. LVM seevastu võimaldab korraga hallata mitut (ka loogilist) kettajagu, neid vastavalt vajadusele ümber tõsta ja mahtu muuta. Seega on tihti hea mõte neid kahte hoopis koos kasutada (näiteks RAID 10 ja LVM).
Lihtsustatult oleks ettekujutus eri kihtide tasemetest selline:
* Failisüsteemid
* LVM
* RAID (vajadusel)
* füüsilised plokkmäluseadmed (kõvakettad)

===Omadused===
LVM pakutavad võimalused on:
* Failisüsteemi suuruse muutmine
* Failisüsteemi snapshotide tegemine ja kasutamine (nii read-only kui ka read-write)
* Loodud/muudetud partitsioonide kohene kasutamine, kui ketas/partitsioon on mingil moel kasutusel. Fdisk-i kasutamisel tuleb OP-süsteem taaskäivitada.
* Väiksemate füüsiliste plokkseadmete kokku ühendamine, üheks suureks loogiliseks seadmeks. (Nagu RAID)
* Ketaste liigutamine ja ühendamine üle võrgu

Lisainfot LVM-i kohta: http://en.wikipedia.org/wiki/Logical_Volume_Manager_(Linux)

===MySQL===
MySQL on Oracle Corporation poolt hallatav relatsioonilise andmebaasi haldamise süsteem. On äärmiselt populaarne andmebaasisüsteem erinevates veebirakendustes aga ka mõningates suuremates süsteemides. Oma populaarsuse on ta saanud tänu äärmiselt lihtsale hallatavusele ja kasutajasõbralikkusele. Hetkel ei hakka MySQL-i omadustel ja võimalustel pikemalt peatuma. Rohkem informatsiooni leiab: http://www.mysql.com/

==Eeldused==
*Installeeritud Ubuntu Server (vähemalt 12.04 versioon)
*Tutvutud kettajagudega (kiire kordamine näiteks '''[[Osadmin spikker]]''')

'''Viia kõik käsklused läbi sudo kasutaja alt'''
sudo -i

===Ketaste lisamine===
Kõigepealt on vaja lisada serverile kõvaketas, mida hiljem LVM-iga siduma hakata.

[[File:Create_hard_disk.PNG‎|500px]]

Luua uus 4GB ketas, mis on VirtualBox Disk Image (VDI) formaadis ning dünaamiliselt jagatud.

===Vajaliku tarkvara installeerimine===

Et LVM-i ja MySQL-i seadistada on vajalikud teadmised, kuidas toimub Linuxis ketaste ja partitisoonide haldamine ja baasteadmised MySQL-ist.
Kõigepealt on vajalik installeerida lvm2 nimeline pakett, eelnevalt uuendada tarkvaravaramu nimekirja.
<pre>apt-get update
apt-get install lvm2</pre>
Olenevalt operatsioonisüsteemist võib olla vajalikud pakeid juba installeeritud, kontrollida saab nii:
<pre>lvm version</pre>

<pre>lvm version
LVM version: 2.02.66(2) (2010-05-20)
Library version: 1.02.48 (2010-05-20)
Driver version: 4.22.0
</pre>
Lisaks on vajalik installeerida MySQL server ja klientprogramm serveriga ühendumiseks.
<pre>apt-get install mysql-server</pre>
NB! Kuna LVM-i kasutuselevõtmine vajab mõningast MySQL-i ümberseadistamist, tuleb arvestada asjaoluga, et MySQL-i data kausta ümbertõstmisel ei pruugi olemasolevad andmed säilida (InnoDB) ja vajalik oleks serveris olevatest andmetest enne .sql kujul tagavarakoopia teha.

==LVM -i seadistamine==
[[File: LVM.jpg|450px]]

LVM ise jaguneb kolmeks eri kihiks: plokkseadmed (PV), kettagrupid (VG), millesse on organiseeritud füüsilised plokkseadmed ja loogilised kettajaod, mis on jagatud kettagrupid.
Iga kihiga toimetamisel on oma käsud, mis viitavad sellele, mis kihiga hetkel toimetatakse: pv*, vg* ning lv*. Näiteks pvcreate, vgcreate ja lvcreate.

Esimese asjana tuleb valida ketas/kettajagu, kus LVM-iga toimetama hakata. Uue ketta puhul oleks võimalusel mõtekas luua üks tervet ketast hõlmav partitsioon.

Näites on kasutatud ühte 4 GB suurust ketast (VirtualBox-i lisatud 4GB suurune virtuualne kõvaketas). Operatsioonisüsteem tunnistab seda kui /dev/sdb ja seega on näites kasutatavad ketta nimed/asukohad just sellised. Partitiooni tüübiks tuleb kindlasti määrata Linux LVM ehk kood „8e“

<pre>fdisk -l 2> /dev/null | grep Disk
Disk /dev/sda: 8589 MB, 8589934592 bytes
Disk identifier: 0x000bd8b1
Disk /dev/sdb: 4294 MB, 4294967296 bytes
Disk identifier: 0x11844f48</pre>

===Füüsilise ketta väärtuse muutmine===
Avada fdiskiga uue loodud ketta partitsioon ning luua uus primaarne kettajagu:

<pre>fdisk /dev/sdb
Command (m for help): n

Partition type:
p primary (0 primary, 0 extended, 4 free)
e extended

Select (default p): p

Partition number (1-4, default 1): 1

First sector (2048-8388607, default 2048):
Using default value 2048

Last sector, +sectors or +size{K,M,G} (2048-8388607, default 8388607):
Using default value 8388607</pre>

Print käskluse abil kuvatakse kettajagu, algus, lõpp, blokid, id ning süsteem. Loodud partitsioon on 83 ehk Linux. Partitsiooni süsteemse id muutmiseks kasutatakse '''t'''.

Käsklus '''L''' kuvab kõik kaheksandikkoodid . Linux LVM kood on 8e, et muuta kettajagu Linux LVM-iks on vaja muuta kettajao id 83-lt 8e-ks.
[[file:8e.PNG|500px]]

<pre>
Command (m for help): t
Selected partition 1

Hex code (type L to list codes): 8e
Changed system type of partition 1 to 8e (Linux LVM)

Command (m for help): w
The partition table has been altered!

Calling ioctl() to re-read partition table.
Syncing disks.</pre>

'''NB mitte väljuda q, mis väljub programmist muudatusi salvestamata!'''

===Füüsiline kettajagu===
Järgnevalt anname lvm-ile teada, et loodud partitsioon on „pv“ ehk physical volume.
{|style="background:lightyellow;width:500px;margin:3px;border:1px solid lightgrey" align=centre
| style="padding:0px 0px 0px 80px;font-family:courier;font-size:8pt;" |pvcreate disk1 disk2 disk3
|}

<pre>pvcreate /dev/sdb1
Physical volume "/dev/sdb1" successfully created</pre>

Kui kõik läks hästi siis peaks tulemus olemas selline:
<pre>pvdisplay
"/dev/sdb1" is a new physical volume of "4.00 GiB"
--- NEW Physical volume ---
PV Name /dev/sdb1
VG Name
PV Size 4.00 GiB
Allocatable NO
PE Size 0
Total PE 0
Free PE 0
Allocated PE 0
PV UUID EdmaX9-bXmQ-Oevp-p9W9-I2qY-gpMM-1w77aQ</pre>

===Kettagrupp===
Loome uue „volume group“ -i ja nimetame selle mysql -iks.
{|style="background:lightyellow;width:500px;margin:3px;border:1px solid lightgrey" align=centre
| style="padding:0px 0px 0px 80px;font-family:courier;font-size:8pt;" |vgcreate kettagrupi_nimi /dev/sdb1 /dev/sdc1 /dev/sdd1
|}

<pre>vgcreate mysql /dev/sdb1
Volume group "mysql" successfully created</pre>

<pre>vgdisplay
--- Volume group ---
VG Name mysql
System ID
Format lvm2
Metadata Areas 1
Metadata Sequence No 4
VG Access read/write
VG Status resizable
MAX LV 0
Cur LV 2
Open LV 2
Max PV 0
Cur PV 1
Act PV 1
VG Size 4.00 GiB
PE Size 4.00 MiB
Total PE 1023
Alloc PE / Size 512 / 2.00 GiB
Free PE / Size 511 / 2.00 GiB
VG UUID s5AjT8-ss7D-Gm9m-XY6j-ULMv-RLbR-xdy0K6</pre>

Järgnevalt saame luua „volume group“ -ile „logical volumes“ ehk loogilised kettajaod. Need on justkui partitsioonid füüsilisel kõvakettal ja neid saab juba andmete talletamiseks kasutada. Nimetame kettajao nimega data ja määrame tema suuruseks 1GB (antud suurus sobib väga hästi katsetamiseks aga reaalsetes süsteemides tuleb muidugi oluliselt suuremaid numbreid kasutada. ). Suuruse seadistamisel tuleb arvestada, et sama „volume group“ peale tuleb mahutada veel vähemalt üks sama suur loogiline kettajagu, mis on loodava LV snapshot. Näide kui VG suurus on kokku 10GB siis on võimalik teha maksimaalselt 5GB suurune loogiline kettajagu. Vastasel ei mahu tema kõrvale, samale VG-le tehtud LV snapshot.

===Loogiline kettajagu===
{|style="background:lightyellow;width:600px;margin:3px;border:1px solid lightgrey" align=centre
| style="padding:0px 0px 0px 80px;font-family:courier;font-size:8pt;" |lvcreate --size 1G --name loogilise_ketta_nimi kettagrupi_nimi
|}

<pre>lvcreate -n data -L 1GB mysql
Logical volume "data" created</pre>

Kontrollime tulemust:
<pre>lvdisplay
--- Logical volume ---
LV Name /dev/mysql/data
VG Name mysql
LV UUID SL0yWI-Mc2b-KhkE-V8P1-bW7E-3iL8-8zD6Uf
LV Write Access read/write
LV Status available
# open 0
LV Size 1.00 GiB
Current LE 256
Segments 1
Allocation inherit
Read ahead sectors auto
- currently set to 256
Block device 252:0</pre>

Teadmiseks: lvdisplay käsu käivitamisel on näha parameeter „LV Status“. See näitab, kas kettajagu on saadaval või mitte. Kasutada on võimalik ainult available olekus kettajagu. Eemaldada saab ainult NOT available olekus kettajagusid. Kettajao NOT available olekusse viimiseks saab kasutada käsku:

<pre>lvchange -a n /dev/mysql/data</pre>
ja tagasi:
<pre>lvchange -a y /dev/mysql/data</pre>

===Failisüsteemi loomine ja ühendamine===
Nüüd on loodud uus kettajagu, mida saab andmete säiltamiseks kasutada. Loome sellele kettajaole failisüsteemi:
<pre>mkfs -t ext4 /dev/mysql/data</pre>

Järgmisena tuleb loodud kettajagu kuhugile mountida. Mina teen sellejaoks /srv/mysql kausta ja haagin ketta sinna.

<pre>mkdir /srv/mysql
mount /dev/mysql/data /srv/mysql</pre>

Lisame '''/etc/fstab''' faili lõppu kirje, et ka järgmisel süsteemi käivitamisel oleks ketas kohe külgehaagitud

<pre>
<file system> <mount point> <type> <options> <dump> <pass>
/dev/mysql/data /srv/mysql ext4 defaults 0 0</pre>

==MySQL seadistamine==
Muudame kausta õigused mysql-ile sobivaks (kausta omanik on kasutaja mysql ja kaustale on ligipääs ainult kausta omanikul)
<pre>chown mysql:mysql /srv/mysql
chmod 0700 /srv/mysql</pre>

Nüüd tuleb olemasolev mysql data kaust liigutada /srv/mysql kausta. Esimese asjana peatada mysql server
<pre>service mysql stop
mysql stop/waiting</pre>

Kopeerime (!) kogu mysql-i data kausta loodud lvm kettajaole. Ubuntus (ilmselt ka paljudes teistes operatsioonisüsteemides) asub mysq-i data kaust /var/lib/mysql. Oleks vägagi soovitatav jätta andmed vanasse kausta alles ja kustuta see alles siis kui ollakse täiesti kindel, et server töötab tõrgeteta.
<pre>cp -ar /var/lib/mysql/. /srv/mysql</pre>

Seejärel tuleb mysql-i konfiguratsioonifailis ('''/etc/mysql/my.cnf''') muuta ära „datadir“ parameeter
<pre>datadir = /var/lib/mysql -> datadir = /srv/mysql</pre>

Teadmiseks: alates Ubuntu 7.10 -st on operatsioonisüsteemiga kaasas programm nimega „AppArmor“ (Loe lähemalt: https://wiki.itcollege.ee/index.php/AppArmor). Tegemist on kerneli turvamooduliga, mis teatavate programmide puhul piirab nende ligipääsu failisüsteemile. Et MySQL server uuesti korrektselt käivituks, tuleb „AppArmor“ -is mysq-i seadistust muuta. Sobiva tekstieditoriga tuleb avada ''''/etc/apparmor.d/usr.sbin.mysqld''' konfifail ja teha seal vajalikud muudatused :
<pre>/var/lib/mysql/ r, -> /srv/mysql r,
/var/lib/mysql/** rwk, -> /srv/mysql** rwk,</pre>

Osadel operatsioonisüsteemidel võib ka init skript ette anda, kus asub mysql-i datadir. Seega oleks mõistlik ka see '''/etc/init.d/mysql''' skriptist üle vaadata.

Käivitame uuesti mysql-i serveri. Kui kõik läks hästi, peaks olema tulemus sarnane:

<pre>service mysql start
mysql start/running, process 2588</pre>

Kontrollime mysql-i muutujaid:
<pre>mysqladmin -u{mysql-kasutaja} -p variables | grep datadir
Enter password: {mysql-parool}
| datadir | /srv/mysql/
</pre>
Lisaks tuleks sobiva mysql kliendiga serverisse sisse logida ja kontrollida üle, kas kõik jäi korrektselt tööle.

Nüüd, kui MySQL server on korrektselt töödanud ja tekib vajadus varukoopiate tegemiseks. Töötavast serverist snapshoti tegemisel pole vajalik eelnev serveri väljalülitama. Lihtsalt protseduuri ajaks oleks vajalik keelata ära andmete kirjutamine „FLUSH TABLES WITH READ LOCK;“ käsuga, lisaks võiks tühjendada ka logid „FLUSH LOGS;“ käsuga. Snapshoti tegemise protsess on äärmiselt kiire ja andmete lugemine andmebaasist toimib endiselt edasi. Samas andmete kirjutamise protsess viibib seni, kui andmebaasilt kirjutamise lukk maha võetakse (kõik kirjutamise käsud täidetakse kohe peale luku vabastamist).
Ehkki varukoopia tegemise protsess ei tekita katkestusi serveri töös, oleks hea mõte teha varukoopiaid sellisel ajal kui serveril on kõige väiksem koormus.
On vajalik teada, et andmebaas lukustatakse ainult selleks ajaks, kui mysql serverisse on sisse logitud. Kohe kui sessioon lõpetatakse, vabastatakse ka lukud. Seetõttu peab snaspshoti tegemise ajal olema serverisse sisse logitud. Variant on kasutada kahte terminali sessiooni aga vajalikke käske saab käivitada ka MySQL-i käsurealt (vajalik on mysql-i klient käivitada root kasutaja õigustes).
<pre>mysql -u root -p
Enter password:
Welcome to the MySQL monitor. Commands end with ; or \g.
Your MySQL connection id is 75
Server version: 5.5.28-0ubuntu0.12.04.2 (Ubuntu)

Copyright (c) 2000, 2012, Oracle and/or its affiliates. All rights reserved.

Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

mysql> FLUSH TABLES WITH READ LOCK;
Query OK, 0 rows affected (0.00 sec)

mysql> FLUSH LOGS;
Query OK, 0 rows affected (0.00 sec)
</pre>

==Tõmmise tegemine==
<pre>
mysql> SYSTEM /sbin/lvcreate -L 1G --snapshot -n sql_backup /dev/mysql/data
File descriptor 3 (socket:[15065]) leaked on lvcreate invocation. Parent PID 3514: sh
Logical volume "sql_backup" created
mysql> UNLOCK TABLES;
Query OK, 0 rows affected (0.01 sec)

mysql> exit
Bye
</pre>
Snapshoti kettajagu nimetati kui sql_backup ja viide loogilisele seadmele asub /dev/mysql/sql_backup. Käivitades käsu „lvs“, saab näha, et lisaks mysql/data LV-le on juurde tekkinud mysql/sql_backup
<pre>lvs</pre>
<pre>LV VG Attr LSize Origin Snap% Move Log Copy% Convert
data mysql owi-ao 1.00g
sql_backup mysql swi-a- 1.00g data 0.00
</pre>
Kui nüüd haakida tehtud snapshoti kettajagu, on seal kättesaadav kogu mysql-i data sellel hetkel, kui snapshot tehti.
<pre>mkdir /mnt/bk
mount /dev/mysql/sql_backup /mnt/bk
ls -la /mnt/bk</pre>
<pre>total 28720
drwx------ 8 mysql mysql 4096 Dec 12 15:59 .
drwxr-xr-x 3 root root 4096 Dec 12 16:34 ..
-rw-r--r-- 1 root root 0 Nov 30 17:18 debian-5.5.flag
-rw-rw---- 1 mysql mysql 18874368 Dec 12 16:18 ibdata1
-rw-rw---- 1 mysql mysql 5242880 Dec 12 16:18 ib_logfile0
-rw-rw---- 1 mysql mysql 5242880 Nov 30 17:18 ib_logfile1
drwx------ 2 root root 16384 Dec 12 15:58 lost+found
drwx------ 2 mysql root 4096 Nov 30 17:18 mysql
-rw-rw---- 1 root root 6 Nov 30 17:18 mysql_upgrade_info
drwx------ 2 mysql mysql 4096 Nov 30 17:18 performance_schema
drwx------ 2 mysql mysql 4096 Nov 30 17:28 phpmyadmin
drwx------ 2 mysql root 4096 Dec 12 16:18 test
drwx------ 2 mysql mysql 4096 Nov 30 17:33 wp
</pre>
MySQL-i server töötab peale snapshoti tegemist katkestusteta edasi. Tehtud snapshoti andmeid võib varundada arhiivi jaoks. Andmete varundamisel tuleb spashoti kettajagu failisüsteemi külge haakida ja selle sisu „tar“-i abil arhiveerida ja hiljem eemaldada snapshoti kettajagu

<pre>mkdir -p /var/teekond/arhiivi
tar -cjf [/var/teekond/arhiivi/][kuupäev].tar.bz2 -C /mnt/bk
umount /dev/mysql/sql_backup
lvremove /dev/mysql/sql_backup
Do you really want to remove active logical volume sql_backup? [y/n]: Y
Logical volume "sql_backup" successfully removed
</pre>

Tulemuseks nüüd loogilise kettajao vaatamisele on:
<pre>lvdisplay</pre>
<pre> --- Logical volume ---
LV Name /dev/mysql/data
VG Name mysql
LV UUID ZIMxmO-kUQR-u4gD-Wk9m-0MCK-kqwx-1kMaVP
LV Write Access read/write
LV snapshot status source of
/dev/mysql/sql_backup [active]
LV Status available
# open 1
LV Size 1.00 GiB
Current LE 256
Segments 1
Allocation inherit
Read ahead sectors auto
- currently set to 256
Block device 252:1

--- Logical volume ---
LV Name /dev/mysql/sql_backup
VG Name mysql
LV UUID XMqxEq-yRhp-u8lf-mZ9U-1R2F-fBlf-5hoEeR
LV Write Access read/write
LV snapshot status active destination for /dev/mysql/data
LV Status available
# open 0
LV Size 1.00 GiB
Current LE 256
COW-table size 1.00 GiB
COW-table LE 256
Allocated to snapshot 0.02%
Snapshot chunk size 4.00 KiB
Segments 1
Allocation inherit
Read ahead sectors auto
- currently set to 256
Block device 252:3
</pre>

'''Kuna tõmmis kasvab koos originaalkettajaoga on tähtis jälgida, et tõmmis protsentuaalselt täis ei saaks. Regulaarselt tuleb mahtuvust kontrollida lvs käsuga. 100% täitunud tõmmisele ei saa enam juurde kirjutada ning sellega andmeterviklikkus rikutakse ära!'''

<pre>lvs</pre>
<pre> LV VG Attr LSize Origin Snap% Move Log Copy% Convert
data mysql owi-ao 1.00g
sql_backup mysql swi-a- 1.00g data 0.02
</pre>

Kogu protseduuri automatiseerimiseks on võimalik koostada ka skript, mida saab käivitada sobival aja või kasutades „cron“ ajastamise vahendeid.

Lisaks on võimalik mysql-i data kaust haakida ümber snapshoti kettajaole ja taastada server sellesse seisu, mis oli snapshoti tegemise hetkel minimaalse katkestuse ajaga.

==Kokkuvõte==

LVM -i kasutamine varundamisel on väikestes ja mittekriitilistes süsteemides küllaltki hea lahendus. See ei nõua eriteadmisi ja kallist riistvara/tarkvara. Kuid suurematesse ja keerukamatesse lahendustesse see ei sobi, kuna see ainult aitab luua snapshoti hetke seisust aga ei paku võimalust seda eraldi salvestada. Arhiveerimiseks tuleb kasutada eraldi vahendeid ja selle protseduuri käigus võib minna kaduma vajalikke andmeid. Ka ei võistle LVM proffessionaalsete vahenditega nagu Arkeia (http://www.arkeia.com/) või BrightStor, mis on just varundamise lahenduste jaoks loodud ja muudavad antud tegemise mugavaks ja kiireks.

==Kasutatud kirjandus==
http://kuutorvaja.eenet.ee/wiki/LVM 
http://www.web-manual.net/linux-3/logical-volume-manager-in-linux/ 
http://www.lullabot.com/articles/mysql-backups-using-lvm-snapshots 
http://www.ubuntugeek.com/how-to-change-the-mysql-data-default-directory.html 
https://wiki.ubuntu.com/Lvm 
http://linuxconfig.org/Linux_lvm_-_Logical_Volume_Manager 
Loodus, Katrin. Andmesalvestustehnoloogiad - loeng 4.1 Ülevaade Logical Volume Manager-ist [https://wiki.itcollege.ee/index.php/Category:Andmesalvestustehnoloogiad]

"7 Linux fdisk Command Examples to Manage Hard Disk Partition" [http://www.thegeekstuff.com/2010/09/linux-fdisk/]

"LVM" [https://wiki.ubuntu.com/Lvm]

==Autor==
Madis Lauri
AK 31
[[Category:Operatsioonisüsteemide administreerimine ja sidumine]]

'''Täiendamine:'''

Carolys Kallas A32

Aine: Linuxi administreerimine

Viimati muudetud: 13.01.2013

Mysql varundamine LVM abil

2013-01-13T11:08:42Z

Ckallas: /* Tõmmise tegemine */

__TOC__
==Sissejuhatus==

Antud kirjatüki eesmärgiks on tutvustada LVM-i kui abivahendit toimivast süsteemist tagavarakoopiate tegemisel. Kuigi failisüsteemi snapshotide tegemine ja nende kasutamine on ainult üks LVM-i pakutavatest võimalustest. LVM - i snapshotide tegemise võimalus pole ainult mysql -i varundamiseks, vaid kasutatav ka muude andmete varukoopiate tegemiseks. Antud juhul on MySQL siin ainult „reisija“ aga protsessi selgitamiseks ja LVM snapshoti kasutamiseks on MySQL näitena väga hea. Kogu seadistamise protsess toimub Ubuntu Linux Server 12.04.1 LTS operatsioonisüsteemis ja kasutab sellega kaasnevaid vahendeid.

==Mis on mis?==
'''Logical Volume Manager''' - LVM

'''Physical Volume''' - PV, plokkseade, füüsiline kettajagu

'''Volume Group''' - VG, kettagrupp

'''Logical Volume''' - LV, loogiline kettajagu

'''Snapshot''' - (hetk)tõmmis

===LVM===
LVM ehk „Logical Volume Manager“ on ketta partitsioonide haldusvahend Linuxi ja UNIX-i laadsete operatsioonisüsteemide juures. LVM moodustab vahekihi failisüsteemi ja füüsilise kõvaketta vahele. Esmapilgul võib tunduda, et LVM on sarnane RAID (Redundant Array of Independent Disks) kettamassiiviga, on ta siiski hoopis paindlikum viis kettajagudega toimetamiseks. RAID võimaldab kettaid omavahel liita, et saada paremaid tulemusi kiiruses, mahus või töökindluses. LVM seevastu võimaldab korraga hallata mitut (ka loogilist) kettajagu, neid vastavalt vajadusele ümber tõsta ja mahtu muuta. Seega on tihti hea mõte neid kahte hoopis koos kasutada (näiteks RAID 10 ja LVM).
Lihtsustatult oleks ettekujutus eri kihtide tasemetest selline:
* Failisüsteemid
* LVM
* RAID (vajadusel)
* füüsilised plokkmäluseadmed (kõvakettad)

===Omadused===
LVM pakutavad võimalused on:
* Failisüsteemi suuruse muutmine
* Failisüsteemi snapshotide tegemine ja kasutamine (nii read-only kui ka read-write)
* Loodud/muudetud partitsioonide kohene kasutamine, kui ketas/partitsioon on mingil moel kasutusel. Fdisk-i kasutamisel tuleb OP-süsteem taaskäivitada.
* Väiksemate füüsiliste plokkseadmete kokku ühendamine, üheks suureks loogiliseks seadmeks. (Nagu RAID)
* Ketaste liigutamine ja ühendamine üle võrgu

Lisainfot LVM-i kohta: http://en.wikipedia.org/wiki/Logical_Volume_Manager_(Linux)

===MySQL===
MySQL on Oracle Corporation poolt hallatav relatsioonilise andmebaasi haldamise süsteem. On äärmiselt populaarne andmebaasisüsteem erinevates veebirakendustes aga ka mõningates suuremates süsteemides. Oma populaarsuse on ta saanud tänu äärmiselt lihtsale hallatavusele ja kasutajasõbralikkusele. Hetkel ei hakka MySQL-i omadustel ja võimalustel pikemalt peatuma. Rohkem informatsiooni leiab: http://www.mysql.com/

==Eeldused==
*Installeeritud Ubuntu Server (vähemalt 12.04 versioon)
*Tutvutud kettajagudega (kiire kordamine näiteks '''[[Osadmin spikker]]''')

'''Viia kõik käsklused läbi sudo kasutaja alt'''
sudo -i

===Ketaste lisamine===
Kõigepealt on vaja lisada serverile kõvaketas, mida hiljem LVM-iga siduma hakata.

[[File:Create_hard_disk.PNG‎|500px]]

Luua uus 4GB ketas, mis on VirtualBox Disk Image (VDI) formaadis ning dünaamiliselt jagatud.

===Vajaliku tarkvara installeerimine===

Et LVM-i ja MySQL-i seadistada on vajalikud teadmised, kuidas toimub Linuxis ketaste ja partitisoonide haldamine ja baasteadmised MySQL-ist.
Kõigepealt on vajalik installeerida lvm2 nimeline pakett, eelnevalt uuendada tarkvaravaramu nimekirja.
<pre>apt-get update
apt-get install lvm2</pre>
Olenevalt operatsioonisüsteemist võib olla vajalikud pakeid juba installeeritud, kontrollida saab nii:
<pre>lvm version</pre>

<pre>lvm version
LVM version: 2.02.66(2) (2010-05-20)
Library version: 1.02.48 (2010-05-20)
Driver version: 4.22.0
</pre>
Lisaks on vajalik installeerida MySQL server ja klientprogramm serveriga ühendumiseks.
<pre>apt-get install mysql-server</pre>
NB! Kuna LVM-i kasutuselevõtmine vajab mõningast MySQL-i ümberseadistamist, tuleb arvestada asjaoluga, et MySQL-i data kausta ümbertõstmisel ei pruugi olemasolevad andmed säilida (InnoDB) ja vajalik oleks serveris olevatest andmetest enne .sql kujul tagavarakoopia teha.

==LVM -i seadistamine==
[[File: LVM.jpg|450px]]

LVM ise jaguneb kolmeks eri kihiks: plokkseadmed (PV), kettagrupid (VG), millesse on organiseeritud füüsilised plokkseadmed ja loogilised kettajaod, mis on jagatud kettagrupid.
Iga kihiga toimetamisel on oma käsud, mis viitavad sellele, mis kihiga hetkel toimetatakse: pv*, vg* ning lv*. Näiteks pvcreate, vgcreate ja lvcreate.

Esimese asjana tuleb valida ketas/kettajagu, kus LVM-iga toimetama hakata. Uue ketta puhul oleks võimalusel mõtekas luua üks tervet ketast hõlmav partitsioon.

Näites on kasutatud ühte 4 GB suurust ketast (VirtualBox-i lisatud 4GB suurune virtuualne kõvaketas). Operatsioonisüsteem tunnistab seda kui /dev/sdb ja seega on näites kasutatavad ketta nimed/asukohad just sellised. Partitiooni tüübiks tuleb kindlasti määrata Linux LVM ehk kood „8e“

<pre>fdisk -l 2> /dev/null | grep Disk
Disk /dev/sda: 8589 MB, 8589934592 bytes
Disk identifier: 0x000bd8b1
Disk /dev/sdb: 4294 MB, 4294967296 bytes
Disk identifier: 0x11844f48</pre>

===Füüsilise ketta väärtuse muutmine===
Avada fdiskiga uue loodud ketta partitsioon ning luua uus primaarne kettajagu:

<pre>fdisk /dev/sdb
Command (m for help): n

Partition type:
p primary (0 primary, 0 extended, 4 free)
e extended

Select (default p): p

Partition number (1-4, default 1): 1

First sector (2048-8388607, default 2048):
Using default value 2048

Last sector, +sectors or +size{K,M,G} (2048-8388607, default 8388607):
Using default value 8388607</pre>

Print käskluse abil kuvatakse kettajagu, algus, lõpp, blokid, id ning süsteem. Loodud partitsioon on 83 ehk Linux. Partitsiooni süsteemse id muutmiseks kasutatakse '''t'''.

Käsklus '''L''' kuvab kõik kaheksandikkoodid . Linux LVM kood on 8e, et muuta kettajagu Linux LVM-iks on vaja muuta kettajao id 83-lt 8e-ks.
[[file:8e.PNG|500px]]

<pre>
Command (m for help): t
Selected partition 1

Hex code (type L to list codes): 8e
Changed system type of partition 1 to 8e (Linux LVM)

Command (m for help): w
The partition table has been altered!

Calling ioctl() to re-read partition table.
Syncing disks.</pre>

'''NB mitte väljuda q, mis väljub programmist muudatusi salvestamata!'''

===Füüsiline kettajagu===
Järgnevalt anname lvm-ile teada, et loodud partitsioon on „pv“ ehk physical volume.
{|style="background:lightyellow;width:500px;margin:3px;border:1px solid lightgrey" align=centre
| style="padding:0px 0px 0px 80px;font-family:courier;font-size:8pt;" |pvcreate disk1 disk2 disk3
|}

<pre>pvcreate /dev/sdb1
Physical volume "/dev/sdb1" successfully created</pre>

Kui kõik läks hästi siis peaks tulemus olemas selline:
<pre>pvdisplay
"/dev/sdb1" is a new physical volume of "4.00 GiB"
--- NEW Physical volume ---
PV Name /dev/sdb1
VG Name
PV Size 4.00 GiB
Allocatable NO
PE Size 0
Total PE 0
Free PE 0
Allocated PE 0
PV UUID EdmaX9-bXmQ-Oevp-p9W9-I2qY-gpMM-1w77aQ</pre>

===Kettagrupp===
Loome uue „volume group“ -i ja nimetame selle mysql -iks.
{|style="background:lightyellow;width:500px;margin:3px;border:1px solid lightgrey" align=centre
| style="padding:0px 0px 0px 80px;font-family:courier;font-size:8pt;" |vgcreate kettagrupi_nimi /dev/sdb1 /dev/sdc1 /dev/sdd1
|}

<pre>vgcreate mysql /dev/sdb1
Volume group "mysql" successfully created</pre>

<pre>vgdisplay
--- Volume group ---
VG Name mysql
System ID
Format lvm2
Metadata Areas 1
Metadata Sequence No 4
VG Access read/write
VG Status resizable
MAX LV 0
Cur LV 2
Open LV 2
Max PV 0
Cur PV 1
Act PV 1
VG Size 4.00 GiB
PE Size 4.00 MiB
Total PE 1023
Alloc PE / Size 512 / 2.00 GiB
Free PE / Size 511 / 2.00 GiB
VG UUID s5AjT8-ss7D-Gm9m-XY6j-ULMv-RLbR-xdy0K6</pre>

Järgnevalt saame luua „volume group“ -ile „logical volumes“ ehk loogilised kettajaod. Need on justkui partitsioonid füüsilisel kõvakettal ja neid saab juba andmete talletamiseks kasutada. Nimetame kettajao nimega data ja määrame tema suuruseks 1GB (antud suurus sobib väga hästi katsetamiseks aga reaalsetes süsteemides tuleb muidugi oluliselt suuremaid numbreid kasutada. ). Suuruse seadistamisel tuleb arvestada, et sama „volume group“ peale tuleb mahutada veel vähemalt üks sama suur loogiline kettajagu, mis on loodava LV snapshot. Näide kui VG suurus on kokku 10GB siis on võimalik teha maksimaalselt 5GB suurune loogiline kettajagu. Vastasel ei mahu tema kõrvale, samale VG-le tehtud LV snapshot.

===Loogiline kettajagu===
{|style="background:lightyellow;width:600px;margin:3px;border:1px solid lightgrey" align=centre
| style="padding:0px 0px 0px 80px;font-family:courier;font-size:8pt;" |lvcreate --size 1G --name loogilise_ketta_nimi kettagrupi_nimi
|}

<pre>lvcreate -n data -L 1GB mysql
Logical volume "data" created</pre>

Kontrollime tulemust:
<pre>lvdisplay
--- Logical volume ---
LV Name /dev/mysql/data
VG Name mysql
LV UUID SL0yWI-Mc2b-KhkE-V8P1-bW7E-3iL8-8zD6Uf
LV Write Access read/write
LV Status available
# open 0
LV Size 1.00 GiB
Current LE 256
Segments 1
Allocation inherit
Read ahead sectors auto
- currently set to 256
Block device 252:0</pre>

Teadmiseks: lvdisplay käsu käivitamisel on näha parameeter „LV Status“. See näitab, kas kettajagu on saadaval või mitte. Kasutada on võimalik ainult available olekus kettajagu. Eemaldada saab ainult NOT available olekus kettajagusid. Kettajao NOT available olekusse viimiseks saab kasutada käsku:

<pre>lvchange -a n /dev/mysql/data</pre>
ja tagasi:
<pre>lvchange -a y /dev/mysql/data</pre>

===Failisüsteemi loomine ja ühendamine===
Nüüd on loodud uus kettajagu, mida saab andmete säiltamiseks kasutada. Loome sellele kettajaole failisüsteemi:
<pre>mkfs -t ext4 /dev/mysql/data</pre>

Järgmisena tuleb loodud kettajagu kuhugile mountida. Mina teen sellejaoks /srv/mysql kausta ja haagin ketta sinna.

<pre>mkdir /srv/mysql
mount /dev/mysql/data /srv/mysql</pre>

Lisame '''/etc/fstab''' faili lõppu kirje, et ka järgmisel süsteemi käivitamisel oleks ketas kohe külgehaagitud

<pre>
<file system> <mount point> <type> <options> <dump> <pass>
/dev/mysql/data /srv/mysql ext4 defaults 0 0</pre>

==MySQL seadistamine==
Muudame kausta õigused mysql-ile sobivaks (kausta omanik on kasutaja mysql ja kaustale on ligipääs ainult kausta omanikul)
<pre>chown mysql:mysql /srv/mysql
chmod 0700 /srv/mysql</pre>

Nüüd tuleb olemasolev mysql data kaust liigutada /srv/mysql kausta. Esimese asjana peatada mysql server
<pre>service mysql stop
mysql stop/waiting</pre>

Kopeerime (!) kogu mysql-i data kausta loodud lvm kettajaole. Ubuntus (ilmselt ka paljudes teistes operatsioonisüsteemides) asub mysq-i data kaust /var/lib/mysql. Oleks vägagi soovitatav jätta andmed vanasse kausta alles ja kustuta see alles siis kui ollakse täiesti kindel, et server töötab tõrgeteta.
<pre>cp -ar /var/lib/mysql/. /srv/mysql</pre>

Seejärel tuleb mysql-i konfiguratsioonifailis ('''/etc/mysql/my.cnf''') muuta ära „datadir“ parameeter
<pre>datadir = /var/lib/mysql -> datadir = /srv/mysql</pre>

Teadmiseks: alates Ubuntu 7.10 -st on operatsioonisüsteemiga kaasas programm nimega „AppArmor“ (Loe lähemalt: https://wiki.itcollege.ee/index.php/AppArmor). Tegemist on kerneli turvamooduliga, mis teatavate programmide puhul piirab nende ligipääsu failisüsteemile. Et MySQL server uuesti korrektselt käivituks, tuleb „AppArmor“ -is mysq-i seadistust muuta. Sobiva tekstieditoriga tuleb avada ''''/etc/apparmor.d/usr.sbin.mysqld''' konfifail ja teha seal vajalikud muudatused :
<pre>/var/lib/mysql/ r, -> /srv/mysql r,
/var/lib/mysql/** rwk, -> /srv/mysql** rwk,</pre>

Osadel operatsioonisüsteemidel võib ka init skript ette anda, kus asub mysql-i datadir. Seega oleks mõistlik ka see '''/etc/init.d/mysql''' skriptist üle vaadata.

Käivitame uuesti mysql-i serveri. Kui kõik läks hästi, peaks olema tulemus sarnane:

<pre>service mysql start
mysql start/running, process 2588</pre>

Kontrollime mysql-i muutujaid:
<pre>mysqladmin -u{mysql-kasutaja} -p variables | grep datadir
Enter password: {mysql-parool}
| datadir | /srv/mysql/
</pre>
Lisaks tuleks sobiva mysql kliendiga serverisse sisse logida ja kontrollida üle, kas kõik jäi korrektselt tööle.

Nüüd, kui MySQL server on korrektselt töödanud ja tekib vajadus varukoopiate tegemiseks. Töötavast serverist snapshoti tegemisel pole vajalik eelnev serveri väljalülitama. Lihtsalt protseduuri ajaks oleks vajalik keelata ära andmete kirjutamine „FLUSH TABLES WITH READ LOCK;“ käsuga, lisaks võiks tühjendada ka logid „FLUSH LOGS;“ käsuga. Snapshoti tegemise protsess on äärmiselt kiire ja andmete lugemine andmebaasist toimib endiselt edasi. Samas andmete kirjutamise protsess viibib seni, kui andmebaasilt kirjutamise lukk maha võetakse (kõik kirjutamise käsud täidetakse kohe peale luku vabastamist).
Ehkki varukoopia tegemise protsess ei tekita katkestusi serveri töös, oleks hea mõte teha varukoopiaid sellisel ajal kui serveril on kõige väiksem koormus.
On vajalik teada, et andmebaas lukustatakse ainult selleks ajaks, kui mysql serverisse on sisse logitud. Kohe kui sessioon lõpetatakse, vabastatakse ka lukud. Seetõttu peab snaspshoti tegemise ajal olema serverisse sisse logitud. Variant on kasutada kahte terminali sessiooni aga vajalikke käske saab käivitada ka MySQL-i käsurealt (vajalik on mysql-i klient käivitada root kasutaja õigustes).
<pre>mysql -u root -p
Enter password:
Welcome to the MySQL monitor. Commands end with ; or \g.
Your MySQL connection id is 75
Server version: 5.5.28-0ubuntu0.12.04.2 (Ubuntu)

Copyright (c) 2000, 2012, Oracle and/or its affiliates. All rights reserved.

Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

mysql> FLUSH TABLES WITH READ LOCK;
Query OK, 0 rows affected (0.00 sec)

mysql> FLUSH LOGS;
Query OK, 0 rows affected (0.00 sec)
</pre>

==Tõmmise tegemine==
<pre>
mysql> SYSTEM /sbin/lvcreate -L 1G --snapshot -n sql_backup /dev/mysql/data
File descriptor 3 (socket:[15065]) leaked on lvcreate invocation. Parent PID 3514: sh
Logical volume "sql_backup" created
mysql> UNLOCK TABLES;
Query OK, 0 rows affected (0.01 sec)

mysql> exit
Bye
</pre>
Snapshoti kettajagu nimetati kui sql_backup ja viide loogilisele seadmele asub /dev/mysql/sql_backup. Käivitades käsu „lvs“, saab näha, et lisaks mysql/data LV-le on juurde tekkinud mysql/sql_backup
<pre>lvs
LV VG Attr LSize Origin Snap% Move Log Copy% Convert
data mysql owi-ao 1.00g
sql_backup mysql swi-a- 1.00g data 0.00
</pre>
Kui nüüd haakida tehtud snapshoti kettajagu, on seal kättesaadav kogu mysql-i data sellel hetkel, kui snapshot tehti.
<pre>mkdir /mnt/bk
mount /dev/mysql/sql_backup /mnt/bk
ls -la /mnt/bk
total 28720
drwx------ 8 mysql mysql 4096 Dec 12 15:59 .
drwxr-xr-x 3 root root 4096 Dec 12 16:34 ..
-rw-r--r-- 1 root root 0 Nov 30 17:18 debian-5.5.flag
-rw-rw---- 1 mysql mysql 18874368 Dec 12 16:18 ibdata1
-rw-rw---- 1 mysql mysql 5242880 Dec 12 16:18 ib_logfile0
-rw-rw---- 1 mysql mysql 5242880 Nov 30 17:18 ib_logfile1
drwx------ 2 root root 16384 Dec 12 15:58 lost+found
drwx------ 2 mysql root 4096 Nov 30 17:18 mysql
-rw-rw---- 1 root root 6 Nov 30 17:18 mysql_upgrade_info
drwx------ 2 mysql mysql 4096 Nov 30 17:18 performance_schema
drwx------ 2 mysql mysql 4096 Nov 30 17:28 phpmyadmin
drwx------ 2 mysql root 4096 Dec 12 16:18 test
drwx------ 2 mysql mysql 4096 Nov 30 17:33 wp
</pre>
MySQL-i server töötab peale snapshoti tegemist katkestusteta edasi. Tehtud snapshoti andmeid võib varundada arhiivi jaoks. Andmete varundamisel tuleb spashoti kettajagu failisüsteemi külge haakida ja selle sisu „tar“-i abil arhiveerida ja hiljem eemaldada snapshoti kettajagu

<pre>mkdir -p /var/teekond/arhiivi
tar -cjf [/var/teekond/arhiivi/][kuupäev].tar.bz2 -C /mnt/bk
umount /dev/mysql/sql_backup
lvremove /dev/mysql/sql_backup
Do you really want to remove active logical volume sql_backup? [y/n]: Y
Logical volume "sql_backup" successfully removed
</pre>

Tulemuseks nüüd loogilise kettajao vaatamisele on:
<pre>
root@ubuntu:~# lvdisplay
--- Logical volume ---
LV Name /dev/mysql/data
VG Name mysql
LV UUID ZIMxmO-kUQR-u4gD-Wk9m-0MCK-kqwx-1kMaVP
LV Write Access read/write
LV snapshot status source of
/dev/mysql/sql_backup [active]
LV Status available
# open 1
LV Size 1.00 GiB
Current LE 256
Segments 1
Allocation inherit
Read ahead sectors auto
- currently set to 256
Block device 252:1

--- Logical volume ---
LV Name /dev/mysql/sql_backup
VG Name mysql
LV UUID XMqxEq-yRhp-u8lf-mZ9U-1R2F-fBlf-5hoEeR
LV Write Access read/write
LV snapshot status active destination for /dev/mysql/data
LV Status available
# open 0
LV Size 1.00 GiB
Current LE 256
COW-table size 1.00 GiB
COW-table LE 256
Allocated to snapshot 0.02%
Snapshot chunk size 4.00 KiB
Segments 1
Allocation inherit
Read ahead sectors auto
- currently set to 256
Block device 252:3

root@ubuntu:~# lvs
LV VG Attr LSize Origin Snap% Move Log Copy% Convert
data mysql owi-ao 1.00g
sql_backup mysql swi-a- 1.00g data 0.02
</pre>

'''Kuna tõmmis kasvab koos originaalkettajaoga on tähtis jälgida, et tõmmis protsentuaalselt täis ei saaks. Regulaarselt tuleb mahtuvust kontrollida lvs käsuga. 100% täitunud tõmmisele ei saa enam juurde kirjutada ning sellega andmeterviklikkus rikutakse ära!'''

<pre>
root@ubuntu:~# lvs
LV VG Attr LSize Origin Snap% Move Log Copy% Convert
data mysql owi-ao 1.00g
sql_backup mysql swi-a- 1.00g data 0.02
</pre>

Kogu protseduuri automatiseerimiseks on võimalik koostada ka skript, mida saab käivitada sobival aja või kasutades „cron“ ajastamise vahendeid.

Lisaks on võimalik mysql-i data kaust haakida ümber snapshoti kettajaole ja taastada server sellesse seisu, mis oli snapshoti tegemise hetkel minimaalse katkestuse ajaga.

==Kokkuvõte==

LVM -i kasutamine varundamisel on väikestes ja mittekriitilistes süsteemides küllaltki hea lahendus. See ei nõua eriteadmisi ja kallist riistvara/tarkvara. Kuid suurematesse ja keerukamatesse lahendustesse see ei sobi, kuna see ainult aitab luua snapshoti hetke seisust aga ei paku võimalust seda eraldi salvestada. Arhiveerimiseks tuleb kasutada eraldi vahendeid ja selle protseduuri käigus võib minna kaduma vajalikke andmeid. Ka ei võistle LVM proffessionaalsete vahenditega nagu Arkeia (http://www.arkeia.com/) või BrightStor, mis on just varundamise lahenduste jaoks loodud ja muudavad antud tegemise mugavaks ja kiireks.

==Kasutatud kirjandus==
http://kuutorvaja.eenet.ee/wiki/LVM 
http://www.web-manual.net/linux-3/logical-volume-manager-in-linux/ 
http://www.lullabot.com/articles/mysql-backups-using-lvm-snapshots 
http://www.ubuntugeek.com/how-to-change-the-mysql-data-default-directory.html 
https://wiki.ubuntu.com/Lvm 
http://linuxconfig.org/Linux_lvm_-_Logical_Volume_Manager 
Loodus, Katrin. Andmesalvestustehnoloogiad - loeng 4.1 Ülevaade Logical Volume Manager-ist [https://wiki.itcollege.ee/index.php/Category:Andmesalvestustehnoloogiad]

"7 Linux fdisk Command Examples to Manage Hard Disk Partition" [http://www.thegeekstuff.com/2010/09/linux-fdisk/]

"LVM" [https://wiki.ubuntu.com/Lvm]

==Autor==
Madis Lauri
AK 31
[[Category:Operatsioonisüsteemide administreerimine ja sidumine]]

'''Täiendamine:'''

Carolys Kallas A32

Aine: Linuxi administreerimine

Viimati muudetud: 13.01.2013

Mysql varundamine LVM abil

2013-01-13T08:22:49Z

Ckallas: /* Tõmmise tegemine */

__TOC__
==Sissejuhatus==

Antud kirjatüki eesmärgiks on tutvustada LVM-i kui abivahendit toimivast süsteemist tagavarakoopiate tegemisel. Kuigi failisüsteemi snapshotide tegemine ja nende kasutamine on ainult üks LVM-i pakutavatest võimalustest. LVM - i snapshotide tegemise võimalus pole ainult mysql -i varundamiseks, vaid kasutatav ka muude andmete varukoopiate tegemiseks. Antud juhul on MySQL siin ainult „reisija“ aga protsessi selgitamiseks ja LVM snapshoti kasutamiseks on MySQL näitena väga hea. Kogu seadistamise protsess toimub Ubuntu Linux Server 12.04.1 LTS operatsioonisüsteemis ja kasutab sellega kaasnevaid vahendeid.

==Mis on mis?==
'''Logical Volume Manager''' - LVM

'''Physical Volume''' - PV, plokkseade, füüsiline kettajagu

'''Volume Group''' - VG, kettagrupp

'''Logical Volume''' - LV, loogiline kettajagu

'''Snapshot''' - (hetk)tõmmis

===LVM===
LVM ehk „Logical Volume Manager“ on ketta partitsioonide haldusvahend Linuxi ja UNIX-i laadsete operatsioonisüsteemide juures. LVM moodustab vahekihi failisüsteemi ja füüsilise kõvaketta vahele. Esmapilgul võib tunduda, et LVM on sarnane RAID (Redundant Array of Independent Disks) kettamassiiviga, on ta siiski hoopis paindlikum viis kettajagudega toimetamiseks. RAID võimaldab kettaid omavahel liita, et saada paremaid tulemusi kiiruses, mahus või töökindluses. LVM seevastu võimaldab korraga hallata mitut (ka loogilist) kettajagu, neid vastavalt vajadusele ümber tõsta ja mahtu muuta. Seega on tihti hea mõte neid kahte hoopis koos kasutada (näiteks RAID 10 ja LVM).
Lihtsustatult oleks ettekujutus eri kihtide tasemetest selline:
* Failisüsteemid
* LVM
* RAID (vajadusel)
* füüsilised plokkmäluseadmed (kõvakettad)

===Omadused===
LVM pakutavad võimalused on:
* Failisüsteemi suuruse muutmine
* Failisüsteemi snapshotide tegemine ja kasutamine (nii read-only kui ka read-write)
* Loodud/muudetud partitsioonide kohene kasutamine, kui ketas/partitsioon on mingil moel kasutusel. Fdisk-i kasutamisel tuleb OP-süsteem taaskäivitada.
* Väiksemate füüsiliste plokkseadmete kokku ühendamine, üheks suureks loogiliseks seadmeks. (Nagu RAID)
* Ketaste liigutamine ja ühendamine üle võrgu

Lisainfot LVM-i kohta: http://en.wikipedia.org/wiki/Logical_Volume_Manager_(Linux)

===MySQL===
MySQL on Oracle Corporation poolt hallatav relatsioonilise andmebaasi haldamise süsteem. On äärmiselt populaarne andmebaasisüsteem erinevates veebirakendustes aga ka mõningates suuremates süsteemides. Oma populaarsuse on ta saanud tänu äärmiselt lihtsale hallatavusele ja kasutajasõbralikkusele. Hetkel ei hakka MySQL-i omadustel ja võimalustel pikemalt peatuma. Rohkem informatsiooni leiab: http://www.mysql.com/

==Eeldused==
*Installeeritud Ubuntu Server (vähemalt 12.04 versioon)
*Tutvutud kettajagudega (kiire kordamine näiteks '''[[Osadmin spikker]]''')

'''Viia kõik käsklused läbi sudo kasutaja alt'''
sudo -i

===Ketaste lisamine===
Kõigepealt on vaja lisada serverile kõvaketas, mida hiljem LVM-iga siduma hakata.

[[File:Create_hard_disk.PNG‎|500px]]

Luua uus 4GB ketas, mis on VirtualBox Disk Image (VDI) formaadis ning dünaamiliselt jagatud.

===Vajaliku tarkvara installeerimine===

Et LVM-i ja MySQL-i seadistada on vajalikud teadmised, kuidas toimub Linuxis ketaste ja partitisoonide haldamine ja baasteadmised MySQL-ist.
Kõigepealt on vajalik installeerida lvm2 nimeline pakett, eelnevalt uuendada tarkvaravaramu nimekirja.
<pre>apt-get update
apt-get install lvm2</pre>
Olenevalt operatsioonisüsteemist võib olla vajalikud pakeid juba installeeritud, kontrollida saab nii:
<pre>lvm version</pre>

<pre>lvm version
LVM version: 2.02.66(2) (2010-05-20)
Library version: 1.02.48 (2010-05-20)
Driver version: 4.22.0
</pre>
Lisaks on vajalik installeerida MySQL server ja klientprogramm serveriga ühendumiseks.
<pre>apt-get install mysql-server</pre>
NB! Kuna LVM-i kasutuselevõtmine vajab mõningast MySQL-i ümberseadistamist, tuleb arvestada asjaoluga, et MySQL-i data kausta ümbertõstmisel ei pruugi olemasolevad andmed säilida (InnoDB) ja vajalik oleks serveris olevatest andmetest enne .sql kujul tagavarakoopia teha.

==LVM -i seadistamine==
[[File: LVM.jpg|450px]]

LVM ise jaguneb kolmeks eri kihiks: plokkseadmed (PV), kettagrupid (VG), millesse on organiseeritud füüsilised plokkseadmed ja loogilised kettajaod, mis on jagatud kettagrupid.
Iga kihiga toimetamisel on oma käsud, mis viitavad sellele, mis kihiga hetkel toimetatakse: pv*, vg* ning lv*. Näiteks pvcreate, vgcreate ja lvcreate.

Esimese asjana tuleb valida ketas/kettajagu, kus LVM-iga toimetama hakata. Uue ketta puhul oleks võimalusel mõtekas luua üks tervet ketast hõlmav partitsioon.

Näites on kasutatud ühte 4 GB suurust ketast (VirtualBox-i lisatud 4GB suurune virtuualne kõvaketas). Operatsioonisüsteem tunnistab seda kui /dev/sdb ja seega on näites kasutatavad ketta nimed/asukohad just sellised. Partitiooni tüübiks tuleb kindlasti määrata Linux LVM ehk kood „8e“

<pre>fdisk -l 2> /dev/null | grep Disk
Disk /dev/sda: 8589 MB, 8589934592 bytes
Disk identifier: 0x000bd8b1
Disk /dev/sdb: 4294 MB, 4294967296 bytes
Disk identifier: 0x11844f48</pre>

===Füüsilise ketta väärtuse muutmine===
Avada fdiskiga uue loodud ketta partitsioon ning luua uus primaarne kettajagu:

<pre>fdisk /dev/sdb
Command (m for help): n

Partition type:
p primary (0 primary, 0 extended, 4 free)
e extended

Select (default p): p

Partition number (1-4, default 1): 1

First sector (2048-8388607, default 2048):
Using default value 2048

Last sector, +sectors or +size{K,M,G} (2048-8388607, default 8388607):
Using default value 8388607</pre>

Print käskluse abil kuvatakse kettajagu, algus, lõpp, blokid, id ning süsteem. Loodud partitsioon on 83 ehk Linux. Partitsiooni süsteemse id muutmiseks kasutatakse '''t'''.

Käsklus '''L''' kuvab kõik kaheksandikkoodid . Linux LVM kood on 8e, et muuta kettajagu Linux LVM-iks on vaja muuta kettajao id 83-lt 8e-ks.
[[file:8e.PNG|500px]]

<pre>
Command (m for help): t
Selected partition 1

Hex code (type L to list codes): 8e
Changed system type of partition 1 to 8e (Linux LVM)

Command (m for help): w
The partition table has been altered!

Calling ioctl() to re-read partition table.
Syncing disks.</pre>

'''NB mitte väljuda q, mis väljub programmist muudatusi salvestamata!'''

===Füüsiline kettajagu===
Järgnevalt anname lvm-ile teada, et loodud partitsioon on „pv“ ehk physical volume.
{|style="background:lightyellow;width:500px;margin:3px;border:1px solid lightgrey" align=centre
| style="padding:0px 0px 0px 80px;font-family:courier;font-size:8pt;" |pvcreate disk1 disk2 disk3
|}

<pre>pvcreate /dev/sdb1
Physical volume "/dev/sdb1" successfully created</pre>

Kui kõik läks hästi siis peaks tulemus olemas selline:
<pre>pvdisplay
"/dev/sdb1" is a new physical volume of "4.00 GiB"
--- NEW Physical volume ---
PV Name /dev/sdb1
VG Name
PV Size 4.00 GiB
Allocatable NO
PE Size 0
Total PE 0
Free PE 0
Allocated PE 0
PV UUID EdmaX9-bXmQ-Oevp-p9W9-I2qY-gpMM-1w77aQ</pre>

===Kettagrupp===
Loome uue „volume group“ -i ja nimetame selle mysql -iks.
{|style="background:lightyellow;width:500px;margin:3px;border:1px solid lightgrey" align=centre
| style="padding:0px 0px 0px 80px;font-family:courier;font-size:8pt;" |vgcreate kettagrupi_nimi /dev/sdb1 /dev/sdc1 /dev/sdd1
|}

<pre>vgcreate mysql /dev/sdb1
Volume group "mysql" successfully created</pre>

<pre>vgdisplay
--- Volume group ---
VG Name mysql
System ID
Format lvm2
Metadata Areas 1
Metadata Sequence No 4
VG Access read/write
VG Status resizable
MAX LV 0
Cur LV 2
Open LV 2
Max PV 0
Cur PV 1
Act PV 1
VG Size 4.00 GiB
PE Size 4.00 MiB
Total PE 1023
Alloc PE / Size 512 / 2.00 GiB
Free PE / Size 511 / 2.00 GiB
VG UUID s5AjT8-ss7D-Gm9m-XY6j-ULMv-RLbR-xdy0K6</pre>

Järgnevalt saame luua „volume group“ -ile „logical volumes“ ehk loogilised kettajaod. Need on justkui partitsioonid füüsilisel kõvakettal ja neid saab juba andmete talletamiseks kasutada. Nimetame kettajao nimega data ja määrame tema suuruseks 1GB (antud suurus sobib väga hästi katsetamiseks aga reaalsetes süsteemides tuleb muidugi oluliselt suuremaid numbreid kasutada. ). Suuruse seadistamisel tuleb arvestada, et sama „volume group“ peale tuleb mahutada veel vähemalt üks sama suur loogiline kettajagu, mis on loodava LV snapshot. Näide kui VG suurus on kokku 10GB siis on võimalik teha maksimaalselt 5GB suurune loogiline kettajagu. Vastasel ei mahu tema kõrvale, samale VG-le tehtud LV snapshot.

===Loogiline kettajagu===
{|style="background:lightyellow;width:600px;margin:3px;border:1px solid lightgrey" align=centre
| style="padding:0px 0px 0px 80px;font-family:courier;font-size:8pt;" |lvcreate --size 1G --name loogilise_ketta_nimi kettagrupi_nimi
|}

<pre>lvcreate -n data -L 1GB mysql
Logical volume "data" created</pre>

Kontrollime tulemust:
<pre>lvdisplay
--- Logical volume ---
LV Name /dev/mysql/data
VG Name mysql
LV UUID SL0yWI-Mc2b-KhkE-V8P1-bW7E-3iL8-8zD6Uf
LV Write Access read/write
LV Status available
# open 0
LV Size 1.00 GiB
Current LE 256
Segments 1
Allocation inherit
Read ahead sectors auto
- currently set to 256
Block device 252:0</pre>

Teadmiseks: lvdisplay käsu käivitamisel on näha parameeter „LV Status“. See näitab, kas kettajagu on saadaval või mitte. Kasutada on võimalik ainult available olekus kettajagu. Eemaldada saab ainult NOT available olekus kettajagusid. Kettajao NOT available olekusse viimiseks saab kasutada käsku:

<pre>lvchange -a n /dev/mysql/data</pre>
ja tagasi:
<pre>lvchange -a y /dev/mysql/data</pre>

===Failisüsteemi loomine ja ühendamine===
Nüüd on loodud uus kettajagu, mida saab andmete säiltamiseks kasutada. Loome sellele kettajaole failisüsteemi:
<pre>mkfs -t ext4 /dev/mysql/data</pre>

Järgmisena tuleb loodud kettajagu kuhugile mountida. Mina teen sellejaoks /srv/mysql kausta ja haagin ketta sinna.

<pre>mkdir /srv/mysql
mount /dev/mysql/data /srv/mysql</pre>

Lisame '''/etc/fstab''' faili lõppu kirje, et ka järgmisel süsteemi käivitamisel oleks ketas kohe külgehaagitud

<pre>
<file system> <mount point> <type> <options> <dump> <pass>
/dev/mysql/data /srv/mysql ext4 defaults 0 0</pre>

==MySQL seadistamine==
Muudame kausta õigused mysql-ile sobivaks (kausta omanik on kasutaja mysql ja kaustale on ligipääs ainult kausta omanikul)
<pre>chown mysql:mysql /srv/mysql
chmod 0700 /srv/mysql</pre>

Nüüd tuleb olemasolev mysql data kaust liigutada /srv/mysql kausta. Esimese asjana peatada mysql server
<pre>service mysql stop
mysql stop/waiting</pre>

Kopeerime (!) kogu mysql-i data kausta loodud lvm kettajaole. Ubuntus (ilmselt ka paljudes teistes operatsioonisüsteemides) asub mysq-i data kaust /var/lib/mysql. Oleks vägagi soovitatav jätta andmed vanasse kausta alles ja kustuta see alles siis kui ollakse täiesti kindel, et server töötab tõrgeteta.
<pre>cp -ar /var/lib/mysql/. /srv/mysql</pre>

Seejärel tuleb mysql-i konfiguratsioonifailis ('''/etc/mysql/my.cnf''') muuta ära „datadir“ parameeter
<pre>datadir = /var/lib/mysql -> datadir = /srv/mysql</pre>

Teadmiseks: alates Ubuntu 7.10 -st on operatsioonisüsteemiga kaasas programm nimega „AppArmor“ (Loe lähemalt: https://wiki.itcollege.ee/index.php/AppArmor). Tegemist on kerneli turvamooduliga, mis teatavate programmide puhul piirab nende ligipääsu failisüsteemile. Et MySQL server uuesti korrektselt käivituks, tuleb „AppArmor“ -is mysq-i seadistust muuta. Sobiva tekstieditoriga tuleb avada ''''/etc/apparmor.d/usr.sbin.mysqld''' konfifail ja teha seal vajalikud muudatused :
<pre>/var/lib/mysql/ r, -> /srv/mysql r,
/var/lib/mysql/** rwk, -> /srv/mysql** rwk,</pre>

Osadel operatsioonisüsteemidel võib ka init skript ette anda, kus asub mysql-i datadir. Seega oleks mõistlik ka see '''/etc/init.d/mysql''' skriptist üle vaadata.

Käivitame uuesti mysql-i serveri. Kui kõik läks hästi, peaks olema tulemus sarnane:

<pre>service mysql start
mysql start/running, process 2588</pre>

Kontrollime mysql-i muutujaid:
<pre>mysqladmin -u{mysql-kasutaja} -p variables | grep datadir
Enter password: {mysql-parool}
| datadir | /srv/mysql/
</pre>
Lisaks tuleks sobiva mysql kliendiga serverisse sisse logida ja kontrollida üle, kas kõik jäi korrektselt tööle.

Nüüd, kui MySQL server on korrektselt töödanud ja tekib vajadus varukoopiate tegemiseks. Töötavast serverist snapshoti tegemisel pole vajalik eelnev serveri väljalülitama. Lihtsalt protseduuri ajaks oleks vajalik keelata ära andmete kirjutamine „FLUSH TABLES WITH READ LOCK;“ käsuga, lisaks võiks tühjendada ka logid „FLUSH LOGS;“ käsuga. Snapshoti tegemise protsess on äärmiselt kiire ja andmete lugemine andmebaasist toimib endiselt edasi. Samas andmete kirjutamise protsess viibib seni, kui andmebaasilt kirjutamise lukk maha võetakse (kõik kirjutamise käsud täidetakse kohe peale luku vabastamist).
Ehkki varukoopia tegemise protsess ei tekita katkestusi serveri töös, oleks hea mõte teha varukoopiaid sellisel ajal kui serveril on kõige väiksem koormus.
On vajalik teada, et andmebaas lukustatakse ainult selleks ajaks, kui mysql serverisse on sisse logitud. Kohe kui sessioon lõpetatakse, vabastatakse ka lukud. Seetõttu peab snaspshoti tegemise ajal olema serverisse sisse logitud. Variant on kasutada kahte terminali sessiooni aga vajalikke käske saab käivitada ka MySQL-i käsurealt (vajalik on mysql-i klient käivitada root kasutaja õigustes).
<pre>mysql -u root -p
Enter password:
Welcome to the MySQL monitor. Commands end with ; or \g.
Your MySQL connection id is 75
Server version: 5.5.28-0ubuntu0.12.04.2 (Ubuntu)

Copyright (c) 2000, 2012, Oracle and/or its affiliates. All rights reserved.

Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

mysql> FLUSH TABLES WITH READ LOCK;
Query OK, 0 rows affected (0.00 sec)

mysql> FLUSH LOGS;
Query OK, 0 rows affected (0.00 sec)
</pre>

==Tõmmise tegemine==
<pre>
mysql> SYSTEM /sbin/lvcreate -L 1G --snapshot -n sql_backup /dev/mysql/data
File descriptor 3 (socket:[15065]) leaked on lvcreate invocation. Parent PID 3514: sh
Logical volume "sql_backup" created
mysql> UNLOCK TABLES;
Query OK, 0 rows affected (0.01 sec)

mysql> exit
Bye
</pre>
Snapshoti kettajagu nimetati kui sql_backup ja viide loogilisele seadmele asub /dev/mysql/sql_backup. Käivitades käsu „lvs“, saab näha, et lisaks mysql/data LV-le on juurde tekkinud mysql/sql_backup
<pre>lvs
LV VG Attr LSize Origin Snap% Move Log Copy% Convert
data mysql owi-ao 1.00g
sql_backup mysql swi-a- 1.00g data 0.00
</pre>
Kui nüüd haakida tehtud snapshoti kettajagu, on seal kättesaadav kogu mysql-i data sellel hetkel, kui snapshot tehti.
<pre>mkdir /mnt/bk
mount /dev/mysql/sql_backup /mnt/bk
ls -la /mnt/bk
total 28720
drwx------ 8 mysql mysql 4096 Dec 12 15:59 .
drwxr-xr-x 3 root root 4096 Dec 12 16:34 ..
-rw-r--r-- 1 root root 0 Nov 30 17:18 debian-5.5.flag
-rw-rw---- 1 mysql mysql 18874368 Dec 12 16:18 ibdata1
-rw-rw---- 1 mysql mysql 5242880 Dec 12 16:18 ib_logfile0
-rw-rw---- 1 mysql mysql 5242880 Nov 30 17:18 ib_logfile1
drwx------ 2 root root 16384 Dec 12 15:58 lost+found
drwx------ 2 mysql root 4096 Nov 30 17:18 mysql
-rw-rw---- 1 root root 6 Nov 30 17:18 mysql_upgrade_info
drwx------ 2 mysql mysql 4096 Nov 30 17:18 performance_schema
drwx------ 2 mysql mysql 4096 Nov 30 17:28 phpmyadmin
drwx------ 2 mysql root 4096 Dec 12 16:18 test
drwx------ 2 mysql mysql 4096 Nov 30 17:33 wp
</pre>
MySQL-i server töötab peale snapshoti tegemist katkestusteta edasi. Tehtud snapshoti andmeid võib varundada arhiivi jaoks. Andmete varundamisel tuleb spashoti kettajagu failisüsteemi külge haakida ja selle sisu „tar“-i abil arhiveerida ja hiljem eemaldada snapshoti kettajagu
<pre>mkdir /mnt/bk
mount /dev/mysql/sql_backup /mnt/bk
tar -cjf /teekond/arhiivi/kuupäev.tar.bz2 -C /mnt bk
umount /dev/mysql/sql_backup
lvremove /dev/mysql/sql_backup
Do you really want to remove active logical volume sql_backup? [y/n]: Y
Logical volume "sql_backup" successfully removed
</pre>
UUS:
<pre>mkdir -p /var/teekond/arhiivi
tar -cjf var/teekond/arhiivi/kuupäev.tar.bz2 -C /mnt bk
umount /dev/mysql/sql_backup
lvremove /dev/mysql/sql_backup
Do you really want to remove active logical volume sql_backup? [y/n]: Y
Logical volume "sql_backup" successfully removed
</pre>

Tulemuseks nüüd loogilise kettajao vaatamisele on:
<pre>
root@ubuntu:~# lvdisplay
--- Logical volume ---
LV Name /dev/mysql/data
VG Name mysql
LV UUID ZIMxmO-kUQR-u4gD-Wk9m-0MCK-kqwx-1kMaVP
LV Write Access read/write
LV snapshot status source of
/dev/mysql/sql_backup [active]
LV Status available
# open 1
LV Size 1.00 GiB
Current LE 256
Segments 1
Allocation inherit
Read ahead sectors auto
- currently set to 256
Block device 252:1

--- Logical volume ---
LV Name /dev/mysql/sql_backup
VG Name mysql
LV UUID XMqxEq-yRhp-u8lf-mZ9U-1R2F-fBlf-5hoEeR
LV Write Access read/write
LV snapshot status active destination for /dev/mysql/data
LV Status available
# open 0
LV Size 1.00 GiB
Current LE 256
COW-table size 1.00 GiB
COW-table LE 256
Allocated to snapshot 0.02%
Snapshot chunk size 4.00 KiB
Segments 1
Allocation inherit
Read ahead sectors auto
- currently set to 256
Block device 252:3

root@ubuntu:~# lvs
LV VG Attr LSize Origin Snap% Move Log Copy% Convert
data mysql owi-ao 1.00g
sql_backup mysql swi-a- 1.00g data 0.02
</pre>

'''Kuna tõmmis kasvab koos originaalkettajaoga on tähtis jälgida, et tõmmis protsentuaalselt täis ei saaks. Regulaarselt tuleb mahtuvust kontrollida lvs käsuga. 100% täitunud tõmmisele ei saa enam juurde kirjutada ning sellega andmeterviklikkus rikutakse ära!'''

<pre>
root@ubuntu:~# lvs
LV VG Attr LSize Origin Snap% Move Log Copy% Convert
data mysql owi-ao 1.00g
sql_backup mysql swi-a- 1.00g data 0.02
</pre>

Kogu protseduuri automatiseerimiseks on võimalik koostada ka skript, mida saab käivitada sobival aja või kasutades „cron“ ajastamise vahendeid.

Lisaks on võimalik mysql-i data kaust haakida ümber snapshoti kettajaole ja taastada server sellesse seisu, mis oli snapshoti tegemise hetkel minimaalse katkestuse ajaga.

==Kokkuvõte==

LVM -i kasutamine varundamisel on väikestes ja mittekriitilistes süsteemides küllaltki hea lahendus. See ei nõua eriteadmisi ja kallist riistvara/tarkvara. Kuid suurematesse ja keerukamatesse lahendustesse see ei sobi, kuna see ainult aitab luua snapshoti hetke seisust aga ei paku võimalust seda eraldi salvestada. Arhiveerimiseks tuleb kasutada eraldi vahendeid ja selle protseduuri käigus võib minna kaduma vajalikke andmeid. Ka ei võistle LVM proffessionaalsete vahenditega nagu Arkeia (http://www.arkeia.com/) või BrightStor, mis on just varundamise lahenduste jaoks loodud ja muudavad antud tegemise mugavaks ja kiireks.

==Kasutatud kirjandus==
http://kuutorvaja.eenet.ee/wiki/LVM 
http://www.web-manual.net/linux-3/logical-volume-manager-in-linux/ 
http://www.lullabot.com/articles/mysql-backups-using-lvm-snapshots 
http://www.ubuntugeek.com/how-to-change-the-mysql-data-default-directory.html 
https://wiki.ubuntu.com/Lvm 
http://linuxconfig.org/Linux_lvm_-_Logical_Volume_Manager 
Loodus, Katrin. Andmesalvestustehnoloogiad - loeng 4.1 Ülevaade Logical Volume Manager-ist [https://wiki.itcollege.ee/index.php/Category:Andmesalvestustehnoloogiad]

"7 Linux fdisk Command Examples to Manage Hard Disk Partition" [http://www.thegeekstuff.com/2010/09/linux-fdisk/]

"LVM" [https://wiki.ubuntu.com/Lvm]

==Autor==
Madis Lauri
AK 31
[[Category:Operatsioonisüsteemide administreerimine ja sidumine]]

'''Täiendamine:'''

Carolys Kallas A32

Aine: Linuxi administreerimine

Viimati muudetud: 13.01.2013

Mysql varundamine LVM abil

2013-01-13T08:20:11Z

Ckallas: /* Tõmmise tegemine */

__TOC__
==Sissejuhatus==

Antud kirjatüki eesmärgiks on tutvustada LVM-i kui abivahendit toimivast süsteemist tagavarakoopiate tegemisel. Kuigi failisüsteemi snapshotide tegemine ja nende kasutamine on ainult üks LVM-i pakutavatest võimalustest. LVM - i snapshotide tegemise võimalus pole ainult mysql -i varundamiseks, vaid kasutatav ka muude andmete varukoopiate tegemiseks. Antud juhul on MySQL siin ainult „reisija“ aga protsessi selgitamiseks ja LVM snapshoti kasutamiseks on MySQL näitena väga hea. Kogu seadistamise protsess toimub Ubuntu Linux Server 12.04.1 LTS operatsioonisüsteemis ja kasutab sellega kaasnevaid vahendeid.

==Mis on mis?==
'''Logical Volume Manager''' - LVM

'''Physical Volume''' - PV, plokkseade, füüsiline kettajagu

'''Volume Group''' - VG, kettagrupp

'''Logical Volume''' - LV, loogiline kettajagu

'''Snapshot''' - (hetk)tõmmis

===LVM===
LVM ehk „Logical Volume Manager“ on ketta partitsioonide haldusvahend Linuxi ja UNIX-i laadsete operatsioonisüsteemide juures. LVM moodustab vahekihi failisüsteemi ja füüsilise kõvaketta vahele. Esmapilgul võib tunduda, et LVM on sarnane RAID (Redundant Array of Independent Disks) kettamassiiviga, on ta siiski hoopis paindlikum viis kettajagudega toimetamiseks. RAID võimaldab kettaid omavahel liita, et saada paremaid tulemusi kiiruses, mahus või töökindluses. LVM seevastu võimaldab korraga hallata mitut (ka loogilist) kettajagu, neid vastavalt vajadusele ümber tõsta ja mahtu muuta. Seega on tihti hea mõte neid kahte hoopis koos kasutada (näiteks RAID 10 ja LVM).
Lihtsustatult oleks ettekujutus eri kihtide tasemetest selline:
* Failisüsteemid
* LVM
* RAID (vajadusel)
* füüsilised plokkmäluseadmed (kõvakettad)

===Omadused===
LVM pakutavad võimalused on:
* Failisüsteemi suuruse muutmine
* Failisüsteemi snapshotide tegemine ja kasutamine (nii read-only kui ka read-write)
* Loodud/muudetud partitsioonide kohene kasutamine, kui ketas/partitsioon on mingil moel kasutusel. Fdisk-i kasutamisel tuleb OP-süsteem taaskäivitada.
* Väiksemate füüsiliste plokkseadmete kokku ühendamine, üheks suureks loogiliseks seadmeks. (Nagu RAID)
* Ketaste liigutamine ja ühendamine üle võrgu

Lisainfot LVM-i kohta: http://en.wikipedia.org/wiki/Logical_Volume_Manager_(Linux)

===MySQL===
MySQL on Oracle Corporation poolt hallatav relatsioonilise andmebaasi haldamise süsteem. On äärmiselt populaarne andmebaasisüsteem erinevates veebirakendustes aga ka mõningates suuremates süsteemides. Oma populaarsuse on ta saanud tänu äärmiselt lihtsale hallatavusele ja kasutajasõbralikkusele. Hetkel ei hakka MySQL-i omadustel ja võimalustel pikemalt peatuma. Rohkem informatsiooni leiab: http://www.mysql.com/

==Eeldused==
*Installeeritud Ubuntu Server (vähemalt 12.04 versioon)
*Tutvutud kettajagudega (kiire kordamine näiteks '''[[Osadmin spikker]]''')

'''Viia kõik käsklused läbi sudo kasutaja alt'''
sudo -i

===Ketaste lisamine===
Kõigepealt on vaja lisada serverile kõvaketas, mida hiljem LVM-iga siduma hakata.

[[File:Create_hard_disk.PNG‎|500px]]

Luua uus 4GB ketas, mis on VirtualBox Disk Image (VDI) formaadis ning dünaamiliselt jagatud.

===Vajaliku tarkvara installeerimine===

Et LVM-i ja MySQL-i seadistada on vajalikud teadmised, kuidas toimub Linuxis ketaste ja partitisoonide haldamine ja baasteadmised MySQL-ist.
Kõigepealt on vajalik installeerida lvm2 nimeline pakett, eelnevalt uuendada tarkvaravaramu nimekirja.
<pre>apt-get update
apt-get install lvm2</pre>
Olenevalt operatsioonisüsteemist võib olla vajalikud pakeid juba installeeritud, kontrollida saab nii:
<pre>lvm version</pre>

<pre>lvm version
LVM version: 2.02.66(2) (2010-05-20)
Library version: 1.02.48 (2010-05-20)
Driver version: 4.22.0
</pre>
Lisaks on vajalik installeerida MySQL server ja klientprogramm serveriga ühendumiseks.
<pre>apt-get install mysql-server</pre>
NB! Kuna LVM-i kasutuselevõtmine vajab mõningast MySQL-i ümberseadistamist, tuleb arvestada asjaoluga, et MySQL-i data kausta ümbertõstmisel ei pruugi olemasolevad andmed säilida (InnoDB) ja vajalik oleks serveris olevatest andmetest enne .sql kujul tagavarakoopia teha.

==LVM -i seadistamine==
[[File: LVM.jpg|450px]]

LVM ise jaguneb kolmeks eri kihiks: plokkseadmed (PV), kettagrupid (VG), millesse on organiseeritud füüsilised plokkseadmed ja loogilised kettajaod, mis on jagatud kettagrupid.
Iga kihiga toimetamisel on oma käsud, mis viitavad sellele, mis kihiga hetkel toimetatakse: pv*, vg* ning lv*. Näiteks pvcreate, vgcreate ja lvcreate.

Esimese asjana tuleb valida ketas/kettajagu, kus LVM-iga toimetama hakata. Uue ketta puhul oleks võimalusel mõtekas luua üks tervet ketast hõlmav partitsioon.

Näites on kasutatud ühte 4 GB suurust ketast (VirtualBox-i lisatud 4GB suurune virtuualne kõvaketas). Operatsioonisüsteem tunnistab seda kui /dev/sdb ja seega on näites kasutatavad ketta nimed/asukohad just sellised. Partitiooni tüübiks tuleb kindlasti määrata Linux LVM ehk kood „8e“

<pre>fdisk -l 2> /dev/null | grep Disk
Disk /dev/sda: 8589 MB, 8589934592 bytes
Disk identifier: 0x000bd8b1
Disk /dev/sdb: 4294 MB, 4294967296 bytes
Disk identifier: 0x11844f48</pre>

===Füüsilise ketta väärtuse muutmine===
Avada fdiskiga uue loodud ketta partitsioon ning luua uus primaarne kettajagu:

<pre>fdisk /dev/sdb
Command (m for help): n

Partition type:
p primary (0 primary, 0 extended, 4 free)
e extended

Select (default p): p

Partition number (1-4, default 1): 1

First sector (2048-8388607, default 2048):
Using default value 2048

Last sector, +sectors or +size{K,M,G} (2048-8388607, default 8388607):
Using default value 8388607</pre>

Print käskluse abil kuvatakse kettajagu, algus, lõpp, blokid, id ning süsteem. Loodud partitsioon on 83 ehk Linux. Partitsiooni süsteemse id muutmiseks kasutatakse '''t'''.

Käsklus '''L''' kuvab kõik kaheksandikkoodid . Linux LVM kood on 8e, et muuta kettajagu Linux LVM-iks on vaja muuta kettajao id 83-lt 8e-ks.
[[file:8e.PNG|500px]]

<pre>
Command (m for help): t
Selected partition 1

Hex code (type L to list codes): 8e
Changed system type of partition 1 to 8e (Linux LVM)

Command (m for help): w
The partition table has been altered!

Calling ioctl() to re-read partition table.
Syncing disks.</pre>

'''NB mitte väljuda q, mis väljub programmist muudatusi salvestamata!'''

===Füüsiline kettajagu===
Järgnevalt anname lvm-ile teada, et loodud partitsioon on „pv“ ehk physical volume.
{|style="background:lightyellow;width:500px;margin:3px;border:1px solid lightgrey" align=centre
| style="padding:0px 0px 0px 80px;font-family:courier;font-size:8pt;" |pvcreate disk1 disk2 disk3
|}

<pre>pvcreate /dev/sdb1
Physical volume "/dev/sdb1" successfully created</pre>

Kui kõik läks hästi siis peaks tulemus olemas selline:
<pre>pvdisplay
"/dev/sdb1" is a new physical volume of "4.00 GiB"
--- NEW Physical volume ---
PV Name /dev/sdb1
VG Name
PV Size 4.00 GiB
Allocatable NO
PE Size 0
Total PE 0
Free PE 0
Allocated PE 0
PV UUID EdmaX9-bXmQ-Oevp-p9W9-I2qY-gpMM-1w77aQ</pre>

===Kettagrupp===
Loome uue „volume group“ -i ja nimetame selle mysql -iks.
{|style="background:lightyellow;width:500px;margin:3px;border:1px solid lightgrey" align=centre
| style="padding:0px 0px 0px 80px;font-family:courier;font-size:8pt;" |vgcreate kettagrupi_nimi /dev/sdb1 /dev/sdc1 /dev/sdd1
|}

<pre>vgcreate mysql /dev/sdb1
Volume group "mysql" successfully created</pre>

<pre>vgdisplay
--- Volume group ---
VG Name mysql
System ID
Format lvm2
Metadata Areas 1
Metadata Sequence No 4
VG Access read/write
VG Status resizable
MAX LV 0
Cur LV 2
Open LV 2
Max PV 0
Cur PV 1
Act PV 1
VG Size 4.00 GiB
PE Size 4.00 MiB
Total PE 1023
Alloc PE / Size 512 / 2.00 GiB
Free PE / Size 511 / 2.00 GiB
VG UUID s5AjT8-ss7D-Gm9m-XY6j-ULMv-RLbR-xdy0K6</pre>

Järgnevalt saame luua „volume group“ -ile „logical volumes“ ehk loogilised kettajaod. Need on justkui partitsioonid füüsilisel kõvakettal ja neid saab juba andmete talletamiseks kasutada. Nimetame kettajao nimega data ja määrame tema suuruseks 1GB (antud suurus sobib väga hästi katsetamiseks aga reaalsetes süsteemides tuleb muidugi oluliselt suuremaid numbreid kasutada. ). Suuruse seadistamisel tuleb arvestada, et sama „volume group“ peale tuleb mahutada veel vähemalt üks sama suur loogiline kettajagu, mis on loodava LV snapshot. Näide kui VG suurus on kokku 10GB siis on võimalik teha maksimaalselt 5GB suurune loogiline kettajagu. Vastasel ei mahu tema kõrvale, samale VG-le tehtud LV snapshot.

===Loogiline kettajagu===
{|style="background:lightyellow;width:600px;margin:3px;border:1px solid lightgrey" align=centre
| style="padding:0px 0px 0px 80px;font-family:courier;font-size:8pt;" |lvcreate --size 1G --name loogilise_ketta_nimi kettagrupi_nimi
|}

<pre>lvcreate -n data -L 1GB mysql
Logical volume "data" created</pre>

Kontrollime tulemust:
<pre>lvdisplay
--- Logical volume ---
LV Name /dev/mysql/data
VG Name mysql
LV UUID SL0yWI-Mc2b-KhkE-V8P1-bW7E-3iL8-8zD6Uf
LV Write Access read/write
LV Status available
# open 0
LV Size 1.00 GiB
Current LE 256
Segments 1
Allocation inherit
Read ahead sectors auto
- currently set to 256
Block device 252:0</pre>

Teadmiseks: lvdisplay käsu käivitamisel on näha parameeter „LV Status“. See näitab, kas kettajagu on saadaval või mitte. Kasutada on võimalik ainult available olekus kettajagu. Eemaldada saab ainult NOT available olekus kettajagusid. Kettajao NOT available olekusse viimiseks saab kasutada käsku:

<pre>lvchange -a n /dev/mysql/data</pre>
ja tagasi:
<pre>lvchange -a y /dev/mysql/data</pre>

===Failisüsteemi loomine ja ühendamine===
Nüüd on loodud uus kettajagu, mida saab andmete säiltamiseks kasutada. Loome sellele kettajaole failisüsteemi:
<pre>mkfs -t ext4 /dev/mysql/data</pre>

Järgmisena tuleb loodud kettajagu kuhugile mountida. Mina teen sellejaoks /srv/mysql kausta ja haagin ketta sinna.

<pre>mkdir /srv/mysql
mount /dev/mysql/data /srv/mysql</pre>

Lisame '''/etc/fstab''' faili lõppu kirje, et ka järgmisel süsteemi käivitamisel oleks ketas kohe külgehaagitud

<pre>
<file system> <mount point> <type> <options> <dump> <pass>
/dev/mysql/data /srv/mysql ext4 defaults 0 0</pre>

==MySQL seadistamine==
Muudame kausta õigused mysql-ile sobivaks (kausta omanik on kasutaja mysql ja kaustale on ligipääs ainult kausta omanikul)
<pre>chown mysql:mysql /srv/mysql
chmod 0700 /srv/mysql</pre>

Nüüd tuleb olemasolev mysql data kaust liigutada /srv/mysql kausta. Esimese asjana peatada mysql server
<pre>service mysql stop
mysql stop/waiting</pre>

Kopeerime (!) kogu mysql-i data kausta loodud lvm kettajaole. Ubuntus (ilmselt ka paljudes teistes operatsioonisüsteemides) asub mysq-i data kaust /var/lib/mysql. Oleks vägagi soovitatav jätta andmed vanasse kausta alles ja kustuta see alles siis kui ollakse täiesti kindel, et server töötab tõrgeteta.
<pre>cp -ar /var/lib/mysql/. /srv/mysql</pre>

Seejärel tuleb mysql-i konfiguratsioonifailis ('''/etc/mysql/my.cnf''') muuta ära „datadir“ parameeter
<pre>datadir = /var/lib/mysql -> datadir = /srv/mysql</pre>

Teadmiseks: alates Ubuntu 7.10 -st on operatsioonisüsteemiga kaasas programm nimega „AppArmor“ (Loe lähemalt: https://wiki.itcollege.ee/index.php/AppArmor). Tegemist on kerneli turvamooduliga, mis teatavate programmide puhul piirab nende ligipääsu failisüsteemile. Et MySQL server uuesti korrektselt käivituks, tuleb „AppArmor“ -is mysq-i seadistust muuta. Sobiva tekstieditoriga tuleb avada ''''/etc/apparmor.d/usr.sbin.mysqld''' konfifail ja teha seal vajalikud muudatused :
<pre>/var/lib/mysql/ r, -> /srv/mysql r,
/var/lib/mysql/** rwk, -> /srv/mysql** rwk,</pre>

Osadel operatsioonisüsteemidel võib ka init skript ette anda, kus asub mysql-i datadir. Seega oleks mõistlik ka see '''/etc/init.d/mysql''' skriptist üle vaadata.

Käivitame uuesti mysql-i serveri. Kui kõik läks hästi, peaks olema tulemus sarnane:

<pre>service mysql start
mysql start/running, process 2588</pre>

Kontrollime mysql-i muutujaid:
<pre>mysqladmin -u{mysql-kasutaja} -p variables | grep datadir
Enter password: {mysql-parool}
| datadir | /srv/mysql/
</pre>
Lisaks tuleks sobiva mysql kliendiga serverisse sisse logida ja kontrollida üle, kas kõik jäi korrektselt tööle.

Nüüd, kui MySQL server on korrektselt töödanud ja tekib vajadus varukoopiate tegemiseks. Töötavast serverist snapshoti tegemisel pole vajalik eelnev serveri väljalülitama. Lihtsalt protseduuri ajaks oleks vajalik keelata ära andmete kirjutamine „FLUSH TABLES WITH READ LOCK;“ käsuga, lisaks võiks tühjendada ka logid „FLUSH LOGS;“ käsuga. Snapshoti tegemise protsess on äärmiselt kiire ja andmete lugemine andmebaasist toimib endiselt edasi. Samas andmete kirjutamise protsess viibib seni, kui andmebaasilt kirjutamise lukk maha võetakse (kõik kirjutamise käsud täidetakse kohe peale luku vabastamist).
Ehkki varukoopia tegemise protsess ei tekita katkestusi serveri töös, oleks hea mõte teha varukoopiaid sellisel ajal kui serveril on kõige väiksem koormus.
On vajalik teada, et andmebaas lukustatakse ainult selleks ajaks, kui mysql serverisse on sisse logitud. Kohe kui sessioon lõpetatakse, vabastatakse ka lukud. Seetõttu peab snaspshoti tegemise ajal olema serverisse sisse logitud. Variant on kasutada kahte terminali sessiooni aga vajalikke käske saab käivitada ka MySQL-i käsurealt (vajalik on mysql-i klient käivitada root kasutaja õigustes).
<pre>mysql -u root -p
Enter password:
Welcome to the MySQL monitor. Commands end with ; or \g.
Your MySQL connection id is 75
Server version: 5.5.28-0ubuntu0.12.04.2 (Ubuntu)

Copyright (c) 2000, 2012, Oracle and/or its affiliates. All rights reserved.

Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

mysql> FLUSH TABLES WITH READ LOCK;
Query OK, 0 rows affected (0.00 sec)

mysql> FLUSH LOGS;
Query OK, 0 rows affected (0.00 sec)
</pre>

==Tõmmise tegemine==
<pre>
mysql> SYSTEM /sbin/lvcreate -L 1G --snapshot -n sql_backup /dev/mysql/data
File descriptor 3 (socket:[15065]) leaked on lvcreate invocation. Parent PID 3514: sh
Logical volume "sql_backup" created
mysql> UNLOCK TABLES;
Query OK, 0 rows affected (0.01 sec)

mysql> exit
Bye
</pre>
Snapshoti kettajagu nimetati kui sql_backup ja viide loogilisele seadmele asub /dev/mysql/sql_backup. Käivitades käsu „lvs“, saab näha, et lisaks mysql/data LV-le on juurde tekkinud mysql/sql_backup
<pre>lvs
LV VG Attr LSize Origin Snap% Move Log Copy% Convert
data mysql owi-ao 1.00g
sql_backup mysql swi-a- 1.00g data 0.00
</pre>
Kui nüüd haakida tehtud snapshoti kettajagu, on seal kättesaadav kogu mysql-i data sellel hetkel, kui snapshot tehti.
<pre>mkdir /mnt/bk
mount /dev/mysql/sql_backup /mnt/bk
ls -la /mnt/bk
total 28720
drwx------ 8 mysql mysql 4096 Dec 12 15:59 .
drwxr-xr-x 3 root root 4096 Dec 12 16:34 ..
-rw-r--r-- 1 root root 0 Nov 30 17:18 debian-5.5.flag
-rw-rw---- 1 mysql mysql 18874368 Dec 12 16:18 ibdata1
-rw-rw---- 1 mysql mysql 5242880 Dec 12 16:18 ib_logfile0
-rw-rw---- 1 mysql mysql 5242880 Nov 30 17:18 ib_logfile1
drwx------ 2 root root 16384 Dec 12 15:58 lost+found
drwx------ 2 mysql root 4096 Nov 30 17:18 mysql
-rw-rw---- 1 root root 6 Nov 30 17:18 mysql_upgrade_info
drwx------ 2 mysql mysql 4096 Nov 30 17:18 performance_schema
drwx------ 2 mysql mysql 4096 Nov 30 17:28 phpmyadmin
drwx------ 2 mysql root 4096 Dec 12 16:18 test
drwx------ 2 mysql mysql 4096 Nov 30 17:33 wp
</pre>
MySQL-i server töötab peale snapshoti tegemist katkestusteta edasi. Tehtud snapshoti andmeid võib varundada arhiivi jaoks. Andmete varundamisel tuleb spashoti kettajagu failisüsteemi külge haakida ja selle sisu „tar“-i abil arhiveerida ja hiljem eemaldada snapshoti kettajagu
<pre>mkdir /mnt/bk
mount /dev/mysql/sql_backup /mnt/bk
tar -cjf /teekond/arhiivi/kuupäev.tar.bz2 -C /mnt bk
umount /dev/mysql/sql_backup
lvremove /dev/mysql/sql_backup
Do you really want to remove active logical volume sql_backup? [y/n]: Y
Logical volume "sql_backup" successfully removed
</pre>
UUS:
<pre>mkdir -p /var/teekond/arhiivi
tar -cjf var/teekond/arhiivi/kuupäev.tar.bz2 -C /mnt bk
umount /dev/mysql/sql_backup
lvremove /dev/mysql/sql_backup
Do you really want to remove active logical volume sql_backup? [y/n]: Y
Logical volume "sql_backup" successfully removed
</pre>

Tulemuseks nüüd loogilise kettajao vaatamisele on:
<pre>
root@ubuntu:~# lvdisplay
--- Logical volume ---
LV Name /dev/mysql/data
VG Name mysql
LV UUID ZIMxmO-kUQR-u4gD-Wk9m-0MCK-kqwx-1kMaVP
LV Write Access read/write
LV snapshot status source of
/dev/mysql/sql_backup [active]
LV Status available
# open 1
LV Size 1.00 GiB
Current LE 256
Segments 1
Allocation inherit
Read ahead sectors auto
- currently set to 256
Block device 252:1

--- Logical volume ---
LV Name /dev/mysql/sql_backup
VG Name mysql
LV UUID XMqxEq-yRhp-u8lf-mZ9U-1R2F-fBlf-5hoEeR
LV Write Access read/write
LV snapshot status active destination for /dev/mysql/data
LV Status available
# open 0
LV Size 1.00 GiB
Current LE 256
COW-table size 1.00 GiB
COW-table LE 256
Allocated to snapshot 0.02%
Snapshot chunk size 4.00 KiB
Segments 1
Allocation inherit
Read ahead sectors auto
- currently set to 256
Block device 252:3

root@ubuntu:~# lvs
LV VG Attr LSize Origin Snap% Move Log Copy% Convert
data mysql owi-ao 1.00g
sql_backup mysql swi-a- 1.00g data 0.02
</pre>

'''Kuna tõmmis kasvab koos originaalkettajaoga on tähtis jälgida, et tõmmis protsentuaalselt täis ei saaks. Tuleb kontrollida aeg-ajalt lvs käsuga. 100% täitunud tõmmisele ei saa enam juurde kirjutada ning sellega andmeterviklikkus rikutakse ära!'''

<pre>
root@ubuntu:~# lvs
LV VG Attr LSize Origin Snap% Move Log Copy% Convert
data mysql owi-ao 1.00g
sql_backup mysql swi-a- 1.00g data 0.02
</pre>

Kogu protseduuri automatiseerimiseks on võimalik koostada ka skript, mida saab käivitada sobival aja või kasutades „cron“ ajastamise vahendeid.

Lisaks on võimalik mysql-i data kaust haakida ümber snapshoti kettajaole ja taastada server sellesse seisu, mis oli snapshoti tegemise hetkel minimaalse katkestuse ajaga.

==Kokkuvõte==

LVM -i kasutamine varundamisel on väikestes ja mittekriitilistes süsteemides küllaltki hea lahendus. See ei nõua eriteadmisi ja kallist riistvara/tarkvara. Kuid suurematesse ja keerukamatesse lahendustesse see ei sobi, kuna see ainult aitab luua snapshoti hetke seisust aga ei paku võimalust seda eraldi salvestada. Arhiveerimiseks tuleb kasutada eraldi vahendeid ja selle protseduuri käigus võib minna kaduma vajalikke andmeid. Ka ei võistle LVM proffessionaalsete vahenditega nagu Arkeia (http://www.arkeia.com/) või BrightStor, mis on just varundamise lahenduste jaoks loodud ja muudavad antud tegemise mugavaks ja kiireks.

==Kasutatud kirjandus==
http://kuutorvaja.eenet.ee/wiki/LVM 
http://www.web-manual.net/linux-3/logical-volume-manager-in-linux/ 
http://www.lullabot.com/articles/mysql-backups-using-lvm-snapshots 
http://www.ubuntugeek.com/how-to-change-the-mysql-data-default-directory.html 
https://wiki.ubuntu.com/Lvm 
http://linuxconfig.org/Linux_lvm_-_Logical_Volume_Manager 
Loodus, Katrin. Andmesalvestustehnoloogiad - loeng 4.1 Ülevaade Logical Volume Manager-ist [https://wiki.itcollege.ee/index.php/Category:Andmesalvestustehnoloogiad]

"7 Linux fdisk Command Examples to Manage Hard Disk Partition" [http://www.thegeekstuff.com/2010/09/linux-fdisk/]

"LVM" [https://wiki.ubuntu.com/Lvm]

==Autor==
Madis Lauri
AK 31
[[Category:Operatsioonisüsteemide administreerimine ja sidumine]]

'''Täiendamine:'''

Carolys Kallas A32

Aine: Linuxi administreerimine

Viimati muudetud: 13.01.2013

Mysql varundamine LVM abil

2013-01-13T07:37:11Z

Ckallas: /* Autor */

__TOC__
==Sissejuhatus==

Antud kirjatüki eesmärgiks on tutvustada LVM-i kui abivahendit toimivast süsteemist tagavarakoopiate tegemisel. Kuigi failisüsteemi snapshotide tegemine ja nende kasutamine on ainult üks LVM-i pakutavatest võimalustest. LVM - i snapshotide tegemise võimalus pole ainult mysql -i varundamiseks, vaid kasutatav ka muude andmete varukoopiate tegemiseks. Antud juhul on MySQL siin ainult „reisija“ aga protsessi selgitamiseks ja LVM snapshoti kasutamiseks on MySQL näitena väga hea. Kogu seadistamise protsess toimub Ubuntu Linux Server 12.04.1 LTS operatsioonisüsteemis ja kasutab sellega kaasnevaid vahendeid.

==Mis on mis?==
'''Logical Volume Manager''' - LVM

'''Physical Volume''' - PV, plokkseade, füüsiline kettajagu

'''Volume Group''' - VG, kettagrupp

'''Logical Volume''' - LV, loogiline kettajagu

'''Snapshot''' - (hetk)tõmmis

===LVM===
LVM ehk „Logical Volume Manager“ on ketta partitsioonide haldusvahend Linuxi ja UNIX-i laadsete operatsioonisüsteemide juures. LVM moodustab vahekihi failisüsteemi ja füüsilise kõvaketta vahele. Esmapilgul võib tunduda, et LVM on sarnane RAID (Redundant Array of Independent Disks) kettamassiiviga, on ta siiski hoopis paindlikum viis kettajagudega toimetamiseks. RAID võimaldab kettaid omavahel liita, et saada paremaid tulemusi kiiruses, mahus või töökindluses. LVM seevastu võimaldab korraga hallata mitut (ka loogilist) kettajagu, neid vastavalt vajadusele ümber tõsta ja mahtu muuta. Seega on tihti hea mõte neid kahte hoopis koos kasutada (näiteks RAID 10 ja LVM).
Lihtsustatult oleks ettekujutus eri kihtide tasemetest selline:
* Failisüsteemid
* LVM
* RAID (vajadusel)
* füüsilised plokkmäluseadmed (kõvakettad)

===Omadused===
LVM pakutavad võimalused on:
* Failisüsteemi suuruse muutmine
* Failisüsteemi snapshotide tegemine ja kasutamine (nii read-only kui ka read-write)
* Loodud/muudetud partitsioonide kohene kasutamine, kui ketas/partitsioon on mingil moel kasutusel. Fdisk-i kasutamisel tuleb OP-süsteem taaskäivitada.
* Väiksemate füüsiliste plokkseadmete kokku ühendamine, üheks suureks loogiliseks seadmeks. (Nagu RAID)
* Ketaste liigutamine ja ühendamine üle võrgu

Lisainfot LVM-i kohta: http://en.wikipedia.org/wiki/Logical_Volume_Manager_(Linux)

===MySQL===
MySQL on Oracle Corporation poolt hallatav relatsioonilise andmebaasi haldamise süsteem. On äärmiselt populaarne andmebaasisüsteem erinevates veebirakendustes aga ka mõningates suuremates süsteemides. Oma populaarsuse on ta saanud tänu äärmiselt lihtsale hallatavusele ja kasutajasõbralikkusele. Hetkel ei hakka MySQL-i omadustel ja võimalustel pikemalt peatuma. Rohkem informatsiooni leiab: http://www.mysql.com/

==Eeldused==
*Installeeritud Ubuntu Server (vähemalt 12.04 versioon)
*Tutvutud kettajagudega (kiire kordamine näiteks '''[[Osadmin spikker]]''')

'''Viia kõik käsklused läbi sudo kasutaja alt'''
sudo -i

===Ketaste lisamine===
Kõigepealt on vaja lisada serverile kõvaketas, mida hiljem LVM-iga siduma hakata.

[[File:Create_hard_disk.PNG‎|500px]]

Luua uus 4GB ketas, mis on VirtualBox Disk Image (VDI) formaadis ning dünaamiliselt jagatud.

===Vajaliku tarkvara installeerimine===

Et LVM-i ja MySQL-i seadistada on vajalikud teadmised, kuidas toimub Linuxis ketaste ja partitisoonide haldamine ja baasteadmised MySQL-ist.
Kõigepealt on vajalik installeerida lvm2 nimeline pakett, eelnevalt uuendada tarkvaravaramu nimekirja.
<pre>apt-get update
apt-get install lvm2</pre>
Olenevalt operatsioonisüsteemist võib olla vajalikud pakeid juba installeeritud, kontrollida saab nii:
<pre>lvm version</pre>

<pre>lvm version
LVM version: 2.02.66(2) (2010-05-20)
Library version: 1.02.48 (2010-05-20)
Driver version: 4.22.0
</pre>
Lisaks on vajalik installeerida MySQL server ja klientprogramm serveriga ühendumiseks.
<pre>apt-get install mysql-server</pre>
NB! Kuna LVM-i kasutuselevõtmine vajab mõningast MySQL-i ümberseadistamist, tuleb arvestada asjaoluga, et MySQL-i data kausta ümbertõstmisel ei pruugi olemasolevad andmed säilida (InnoDB) ja vajalik oleks serveris olevatest andmetest enne .sql kujul tagavarakoopia teha.

==LVM -i seadistamine==
[[File: LVM.jpg|450px]]

LVM ise jaguneb kolmeks eri kihiks: plokkseadmed (PV), kettagrupid (VG), millesse on organiseeritud füüsilised plokkseadmed ja loogilised kettajaod, mis on jagatud kettagrupid.
Iga kihiga toimetamisel on oma käsud, mis viitavad sellele, mis kihiga hetkel toimetatakse: pv*, vg* ning lv*. Näiteks pvcreate, vgcreate ja lvcreate.

Esimese asjana tuleb valida ketas/kettajagu, kus LVM-iga toimetama hakata. Uue ketta puhul oleks võimalusel mõtekas luua üks tervet ketast hõlmav partitsioon.

Näites on kasutatud ühte 4 GB suurust ketast (VirtualBox-i lisatud 4GB suurune virtuualne kõvaketas). Operatsioonisüsteem tunnistab seda kui /dev/sdb ja seega on näites kasutatavad ketta nimed/asukohad just sellised. Partitiooni tüübiks tuleb kindlasti määrata Linux LVM ehk kood „8e“

<pre>fdisk -l 2> /dev/null | grep Disk
Disk /dev/sda: 8589 MB, 8589934592 bytes
Disk identifier: 0x000bd8b1
Disk /dev/sdb: 4294 MB, 4294967296 bytes
Disk identifier: 0x11844f48</pre>

===Füüsilise ketta väärtuse muutmine===
Avada fdiskiga uue loodud ketta partitsioon ning luua uus primaarne kettajagu:

<pre>fdisk /dev/sdb
Command (m for help): n

Partition type:
p primary (0 primary, 0 extended, 4 free)
e extended

Select (default p): p

Partition number (1-4, default 1): 1

First sector (2048-8388607, default 2048):
Using default value 2048

Last sector, +sectors or +size{K,M,G} (2048-8388607, default 8388607):
Using default value 8388607</pre>

Print käskluse abil kuvatakse kettajagu, algus, lõpp, blokid, id ning süsteem. Loodud partitsioon on 83 ehk Linux. Partitsiooni süsteemse id muutmiseks kasutatakse '''t'''.

Käsklus '''L''' kuvab kõik kaheksandikkoodid . Linux LVM kood on 8e, et muuta kettajagu Linux LVM-iks on vaja muuta kettajao id 83-lt 8e-ks.
[[file:8e.PNG|500px]]

<pre>
Command (m for help): t
Selected partition 1

Hex code (type L to list codes): 8e
Changed system type of partition 1 to 8e (Linux LVM)

Command (m for help): w
The partition table has been altered!

Calling ioctl() to re-read partition table.
Syncing disks.</pre>

'''NB mitte väljuda q, mis väljub programmist muudatusi salvestamata!'''

===Füüsiline kettajagu===
Järgnevalt anname lvm-ile teada, et loodud partitsioon on „pv“ ehk physical volume.
{|style="background:lightyellow;width:500px;margin:3px;border:1px solid lightgrey" align=centre
| style="padding:0px 0px 0px 80px;font-family:courier;font-size:8pt;" |pvcreate disk1 disk2 disk3
|}

<pre>pvcreate /dev/sdb1
Physical volume "/dev/sdb1" successfully created</pre>

Kui kõik läks hästi siis peaks tulemus olemas selline:
<pre>pvdisplay
"/dev/sdb1" is a new physical volume of "4.00 GiB"
--- NEW Physical volume ---
PV Name /dev/sdb1
VG Name
PV Size 4.00 GiB
Allocatable NO
PE Size 0
Total PE 0
Free PE 0
Allocated PE 0
PV UUID EdmaX9-bXmQ-Oevp-p9W9-I2qY-gpMM-1w77aQ</pre>

===Kettagrupp===
Loome uue „volume group“ -i ja nimetame selle mysql -iks.
{|style="background:lightyellow;width:500px;margin:3px;border:1px solid lightgrey" align=centre
| style="padding:0px 0px 0px 80px;font-family:courier;font-size:8pt;" |vgcreate kettagrupi_nimi /dev/sdb1 /dev/sdc1 /dev/sdd1
|}

<pre>vgcreate mysql /dev/sdb1
Volume group "mysql" successfully created</pre>

<pre>vgdisplay
--- Volume group ---
VG Name mysql
System ID
Format lvm2
Metadata Areas 1
Metadata Sequence No 4
VG Access read/write
VG Status resizable
MAX LV 0
Cur LV 2
Open LV 2
Max PV 0
Cur PV 1
Act PV 1
VG Size 4.00 GiB
PE Size 4.00 MiB
Total PE 1023
Alloc PE / Size 512 / 2.00 GiB
Free PE / Size 511 / 2.00 GiB
VG UUID s5AjT8-ss7D-Gm9m-XY6j-ULMv-RLbR-xdy0K6</pre>

Järgnevalt saame luua „volume group“ -ile „logical volumes“ ehk loogilised kettajaod. Need on justkui partitsioonid füüsilisel kõvakettal ja neid saab juba andmete talletamiseks kasutada. Nimetame kettajao nimega data ja määrame tema suuruseks 1GB (antud suurus sobib väga hästi katsetamiseks aga reaalsetes süsteemides tuleb muidugi oluliselt suuremaid numbreid kasutada. ). Suuruse seadistamisel tuleb arvestada, et sama „volume group“ peale tuleb mahutada veel vähemalt üks sama suur loogiline kettajagu, mis on loodava LV snapshot. Näide kui VG suurus on kokku 10GB siis on võimalik teha maksimaalselt 5GB suurune loogiline kettajagu. Vastasel ei mahu tema kõrvale, samale VG-le tehtud LV snapshot.

===Loogiline kettajagu===
{|style="background:lightyellow;width:600px;margin:3px;border:1px solid lightgrey" align=centre
| style="padding:0px 0px 0px 80px;font-family:courier;font-size:8pt;" |lvcreate --size 1G --name loogilise_ketta_nimi kettagrupi_nimi
|}

<pre>lvcreate -n data -L 1GB mysql
Logical volume "data" created</pre>

Kontrollime tulemust:
<pre>lvdisplay
--- Logical volume ---
LV Name /dev/mysql/data
VG Name mysql
LV UUID SL0yWI-Mc2b-KhkE-V8P1-bW7E-3iL8-8zD6Uf
LV Write Access read/write
LV Status available
# open 0
LV Size 1.00 GiB
Current LE 256
Segments 1
Allocation inherit
Read ahead sectors auto
- currently set to 256
Block device 252:0</pre>

Teadmiseks: lvdisplay käsu käivitamisel on näha parameeter „LV Status“. See näitab, kas kettajagu on saadaval või mitte. Kasutada on võimalik ainult available olekus kettajagu. Eemaldada saab ainult NOT available olekus kettajagusid. Kettajao NOT available olekusse viimiseks saab kasutada käsku:

<pre>lvchange -a n /dev/mysql/data</pre>
ja tagasi:
<pre>lvchange -a y /dev/mysql/data</pre>

===Failisüsteemi loomine ja ühendamine===
Nüüd on loodud uus kettajagu, mida saab andmete säiltamiseks kasutada. Loome sellele kettajaole failisüsteemi:
<pre>mkfs -t ext4 /dev/mysql/data</pre>

Järgmisena tuleb loodud kettajagu kuhugile mountida. Mina teen sellejaoks /srv/mysql kausta ja haagin ketta sinna.

<pre>mkdir /srv/mysql
mount /dev/mysql/data /srv/mysql</pre>

Lisame '''/etc/fstab''' faili lõppu kirje, et ka järgmisel süsteemi käivitamisel oleks ketas kohe külgehaagitud

<pre>
<file system> <mount point> <type> <options> <dump> <pass>
/dev/mysql/data /srv/mysql ext4 defaults 0 0</pre>

==MySQL seadistamine==
Muudame kausta õigused mysql-ile sobivaks (kausta omanik on kasutaja mysql ja kaustale on ligipääs ainult kausta omanikul)
<pre>chown mysql:mysql /srv/mysql
chmod 0700 /srv/mysql</pre>

Nüüd tuleb olemasolev mysql data kaust liigutada /srv/mysql kausta. Esimese asjana peatada mysql server
<pre>service mysql stop
mysql stop/waiting</pre>

Kopeerime (!) kogu mysql-i data kausta loodud lvm kettajaole. Ubuntus (ilmselt ka paljudes teistes operatsioonisüsteemides) asub mysq-i data kaust /var/lib/mysql. Oleks vägagi soovitatav jätta andmed vanasse kausta alles ja kustuta see alles siis kui ollakse täiesti kindel, et server töötab tõrgeteta.
<pre>cp -ar /var/lib/mysql/. /srv/mysql</pre>

Seejärel tuleb mysql-i konfiguratsioonifailis ('''/etc/mysql/my.cnf''') muuta ära „datadir“ parameeter
<pre>datadir = /var/lib/mysql -> datadir = /srv/mysql</pre>

Teadmiseks: alates Ubuntu 7.10 -st on operatsioonisüsteemiga kaasas programm nimega „AppArmor“ (Loe lähemalt: https://wiki.itcollege.ee/index.php/AppArmor). Tegemist on kerneli turvamooduliga, mis teatavate programmide puhul piirab nende ligipääsu failisüsteemile. Et MySQL server uuesti korrektselt käivituks, tuleb „AppArmor“ -is mysq-i seadistust muuta. Sobiva tekstieditoriga tuleb avada ''''/etc/apparmor.d/usr.sbin.mysqld''' konfifail ja teha seal vajalikud muudatused :
<pre>/var/lib/mysql/ r, -> /srv/mysql r,
/var/lib/mysql/** rwk, -> /srv/mysql** rwk,</pre>

Osadel operatsioonisüsteemidel võib ka init skript ette anda, kus asub mysql-i datadir. Seega oleks mõistlik ka see '''/etc/init.d/mysql''' skriptist üle vaadata.

Käivitame uuesti mysql-i serveri. Kui kõik läks hästi, peaks olema tulemus sarnane:

<pre>service mysql start
mysql start/running, process 2588</pre>

Kontrollime mysql-i muutujaid:
<pre>mysqladmin -u{mysql-kasutaja} -p variables | grep datadir
Enter password: {mysql-parool}
| datadir | /srv/mysql/
</pre>
Lisaks tuleks sobiva mysql kliendiga serverisse sisse logida ja kontrollida üle, kas kõik jäi korrektselt tööle.

Nüüd, kui MySQL server on korrektselt töödanud ja tekib vajadus varukoopiate tegemiseks. Töötavast serverist snapshoti tegemisel pole vajalik eelnev serveri väljalülitama. Lihtsalt protseduuri ajaks oleks vajalik keelata ära andmete kirjutamine „FLUSH TABLES WITH READ LOCK;“ käsuga, lisaks võiks tühjendada ka logid „FLUSH LOGS;“ käsuga. Snapshoti tegemise protsess on äärmiselt kiire ja andmete lugemine andmebaasist toimib endiselt edasi. Samas andmete kirjutamise protsess viibib seni, kui andmebaasilt kirjutamise lukk maha võetakse (kõik kirjutamise käsud täidetakse kohe peale luku vabastamist).
Ehkki varukoopia tegemise protsess ei tekita katkestusi serveri töös, oleks hea mõte teha varukoopiaid sellisel ajal kui serveril on kõige väiksem koormus.
On vajalik teada, et andmebaas lukustatakse ainult selleks ajaks, kui mysql serverisse on sisse logitud. Kohe kui sessioon lõpetatakse, vabastatakse ka lukud. Seetõttu peab snaspshoti tegemise ajal olema serverisse sisse logitud. Variant on kasutada kahte terminali sessiooni aga vajalikke käske saab käivitada ka MySQL-i käsurealt (vajalik on mysql-i klient käivitada root kasutaja õigustes).
<pre>mysql -u root -p
Enter password:
Welcome to the MySQL monitor. Commands end with ; or \g.
Your MySQL connection id is 75
Server version: 5.5.28-0ubuntu0.12.04.2 (Ubuntu)

Copyright (c) 2000, 2012, Oracle and/or its affiliates. All rights reserved.

Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

mysql> FLUSH TABLES WITH READ LOCK;
Query OK, 0 rows affected (0.00 sec)

mysql> FLUSH LOGS;
Query OK, 0 rows affected (0.00 sec)
</pre>

==Tõmmise tegemine==
<pre>
mysql> SYSTEM /sbin/lvcreate -L 1G --snapshot -n sql_backup /dev/mysql/data
File descriptor 3 (socket:[15065]) leaked on lvcreate invocation. Parent PID 3514: sh
Logical volume "sql_backup" created
mysql> UNLOCK TABLES;
Query OK, 0 rows affected (0.01 sec)

mysql> exit
Bye
</pre>
Snapshoti kettajagu nimetati kui sql_backup ja viide loogilisele seadmele asub /dev/mysql/sql_backup. Käivitades käsu „lvs“, saab näha, et lisaks mysql/data LV-le on juurde tekkinud mysql/sql_backup
<pre>lvs
LV VG Attr LSize Origin Snap% Move Log Copy% Convert
data mysql owi-ao 1.00g
sql_backup mysql swi-a- 1.00g data 0.00
</pre>
Kui nüüd haakida tehtud snapshoti kettajagu, on seal kättesaadav kogu mysql-i data sellel hetkel, kui snapshot tehti.
<pre>mkdir /mnt/bk
mount /dev/mysql/sql_backup /mnt/bk
ls -la /mnt/bk
total 28720
drwx------ 8 mysql mysql 4096 Dec 12 15:59 .
drwxr-xr-x 3 root root 4096 Dec 12 16:34 ..
-rw-r--r-- 1 root root 0 Nov 30 17:18 debian-5.5.flag
-rw-rw---- 1 mysql mysql 18874368 Dec 12 16:18 ibdata1
-rw-rw---- 1 mysql mysql 5242880 Dec 12 16:18 ib_logfile0
-rw-rw---- 1 mysql mysql 5242880 Nov 30 17:18 ib_logfile1
drwx------ 2 root root 16384 Dec 12 15:58 lost+found
drwx------ 2 mysql root 4096 Nov 30 17:18 mysql
-rw-rw---- 1 root root 6 Nov 30 17:18 mysql_upgrade_info
drwx------ 2 mysql mysql 4096 Nov 30 17:18 performance_schema
drwx------ 2 mysql mysql 4096 Nov 30 17:28 phpmyadmin
drwx------ 2 mysql root 4096 Dec 12 16:18 test
drwx------ 2 mysql mysql 4096 Nov 30 17:33 wp
</pre>
MySQL-i server töötab peale snapshoti tegemist katkestusteta edasi. Tehtud snapshoti andmeid võib varundada arhiivi jaoks. Andmete varundamisel tuleb spashoti kettajagu failisüsteemi külge haakida ja selle sisu „tar“-i abil arhiveerida ja hiljem eemaldada snapshoti kettajagu
<pre>mkdir /mnt/bk
mount /dev/mysql/sql_backup /mnt/bk
tar -cjf /teekond/arhiivi/kuupäev.tar.bz2 -C /mnt bk
umount /dev/mysql/sql_backup
lvremove /dev/mysql/sql_backup
Do you really want to remove active logical volume sql_backup? [y/n]: Y
Logical volume "sql_backup" successfully removed
</pre>
UUS:
<pre>mkdir -p /var/teekond/arhiivi
tar -cjf var/teekond/arhiivi/kuupäev.tar.bz2 -C /mnt bk
umount /dev/mysql/sql_backup
lvremove /dev/mysql/sql_backup
Do you really want to remove active logical volume sql_backup? [y/n]: Y
Logical volume "sql_backup" successfully removed
</pre>
Kogu protseduuri automatiseerimiseks on võimalik koostada ka skript, mida saab käivitada sobival aja või kasutades „cron“ ajastamise vahendeid.

Lisaks on võimalik mysql-i data kaust haakida ümber snapshoti kettajaole ja taastada server sellesse seisu, mis oli snapshoti tegemise hetkel minimaalse katkestuse ajaga.

==Kokkuvõte==

LVM -i kasutamine varundamisel on väikestes ja mittekriitilistes süsteemides küllaltki hea lahendus. See ei nõua eriteadmisi ja kallist riistvara/tarkvara. Kuid suurematesse ja keerukamatesse lahendustesse see ei sobi, kuna see ainult aitab luua snapshoti hetke seisust aga ei paku võimalust seda eraldi salvestada. Arhiveerimiseks tuleb kasutada eraldi vahendeid ja selle protseduuri käigus võib minna kaduma vajalikke andmeid. Ka ei võistle LVM proffessionaalsete vahenditega nagu Arkeia (http://www.arkeia.com/) või BrightStor, mis on just varundamise lahenduste jaoks loodud ja muudavad antud tegemise mugavaks ja kiireks.

==Kasutatud kirjandus==
http://kuutorvaja.eenet.ee/wiki/LVM 
http://www.web-manual.net/linux-3/logical-volume-manager-in-linux/ 
http://www.lullabot.com/articles/mysql-backups-using-lvm-snapshots 
http://www.ubuntugeek.com/how-to-change-the-mysql-data-default-directory.html 
https://wiki.ubuntu.com/Lvm 
http://linuxconfig.org/Linux_lvm_-_Logical_Volume_Manager 
Loodus, Katrin. Andmesalvestustehnoloogiad - loeng 4.1 Ülevaade Logical Volume Manager-ist [https://wiki.itcollege.ee/index.php/Category:Andmesalvestustehnoloogiad]

"7 Linux fdisk Command Examples to Manage Hard Disk Partition" [http://www.thegeekstuff.com/2010/09/linux-fdisk/]

"LVM" [https://wiki.ubuntu.com/Lvm]

==Autor==
Madis Lauri
AK 31
[[Category:Operatsioonisüsteemide administreerimine ja sidumine]]

'''Täiendamine:'''

Carolys Kallas A32

Aine: Linuxi administreerimine

Viimati muudetud: 13.01.2013

Mysql varundamine LVM abil

2013-01-13T07:37:00Z

Ckallas:

__TOC__
==Sissejuhatus==

Antud kirjatüki eesmärgiks on tutvustada LVM-i kui abivahendit toimivast süsteemist tagavarakoopiate tegemisel. Kuigi failisüsteemi snapshotide tegemine ja nende kasutamine on ainult üks LVM-i pakutavatest võimalustest. LVM - i snapshotide tegemise võimalus pole ainult mysql -i varundamiseks, vaid kasutatav ka muude andmete varukoopiate tegemiseks. Antud juhul on MySQL siin ainult „reisija“ aga protsessi selgitamiseks ja LVM snapshoti kasutamiseks on MySQL näitena väga hea. Kogu seadistamise protsess toimub Ubuntu Linux Server 12.04.1 LTS operatsioonisüsteemis ja kasutab sellega kaasnevaid vahendeid.

==Mis on mis?==
'''Logical Volume Manager''' - LVM

'''Physical Volume''' - PV, plokkseade, füüsiline kettajagu

'''Volume Group''' - VG, kettagrupp

'''Logical Volume''' - LV, loogiline kettajagu

'''Snapshot''' - (hetk)tõmmis

===LVM===
LVM ehk „Logical Volume Manager“ on ketta partitsioonide haldusvahend Linuxi ja UNIX-i laadsete operatsioonisüsteemide juures. LVM moodustab vahekihi failisüsteemi ja füüsilise kõvaketta vahele. Esmapilgul võib tunduda, et LVM on sarnane RAID (Redundant Array of Independent Disks) kettamassiiviga, on ta siiski hoopis paindlikum viis kettajagudega toimetamiseks. RAID võimaldab kettaid omavahel liita, et saada paremaid tulemusi kiiruses, mahus või töökindluses. LVM seevastu võimaldab korraga hallata mitut (ka loogilist) kettajagu, neid vastavalt vajadusele ümber tõsta ja mahtu muuta. Seega on tihti hea mõte neid kahte hoopis koos kasutada (näiteks RAID 10 ja LVM).
Lihtsustatult oleks ettekujutus eri kihtide tasemetest selline:
* Failisüsteemid
* LVM
* RAID (vajadusel)
* füüsilised plokkmäluseadmed (kõvakettad)

===Omadused===
LVM pakutavad võimalused on:
* Failisüsteemi suuruse muutmine
* Failisüsteemi snapshotide tegemine ja kasutamine (nii read-only kui ka read-write)
* Loodud/muudetud partitsioonide kohene kasutamine, kui ketas/partitsioon on mingil moel kasutusel. Fdisk-i kasutamisel tuleb OP-süsteem taaskäivitada.
* Väiksemate füüsiliste plokkseadmete kokku ühendamine, üheks suureks loogiliseks seadmeks. (Nagu RAID)
* Ketaste liigutamine ja ühendamine üle võrgu

Lisainfot LVM-i kohta: http://en.wikipedia.org/wiki/Logical_Volume_Manager_(Linux)

===MySQL===
MySQL on Oracle Corporation poolt hallatav relatsioonilise andmebaasi haldamise süsteem. On äärmiselt populaarne andmebaasisüsteem erinevates veebirakendustes aga ka mõningates suuremates süsteemides. Oma populaarsuse on ta saanud tänu äärmiselt lihtsale hallatavusele ja kasutajasõbralikkusele. Hetkel ei hakka MySQL-i omadustel ja võimalustel pikemalt peatuma. Rohkem informatsiooni leiab: http://www.mysql.com/

==Eeldused==
*Installeeritud Ubuntu Server (vähemalt 12.04 versioon)
*Tutvutud kettajagudega (kiire kordamine näiteks '''[[Osadmin spikker]]''')

'''Viia kõik käsklused läbi sudo kasutaja alt'''
sudo -i

===Ketaste lisamine===
Kõigepealt on vaja lisada serverile kõvaketas, mida hiljem LVM-iga siduma hakata.

[[File:Create_hard_disk.PNG‎|500px]]

Luua uus 4GB ketas, mis on VirtualBox Disk Image (VDI) formaadis ning dünaamiliselt jagatud.

===Vajaliku tarkvara installeerimine===

Et LVM-i ja MySQL-i seadistada on vajalikud teadmised, kuidas toimub Linuxis ketaste ja partitisoonide haldamine ja baasteadmised MySQL-ist.
Kõigepealt on vajalik installeerida lvm2 nimeline pakett, eelnevalt uuendada tarkvaravaramu nimekirja.
<pre>apt-get update
apt-get install lvm2</pre>
Olenevalt operatsioonisüsteemist võib olla vajalikud pakeid juba installeeritud, kontrollida saab nii:
<pre>lvm version</pre>

<pre>lvm version
LVM version: 2.02.66(2) (2010-05-20)
Library version: 1.02.48 (2010-05-20)
Driver version: 4.22.0
</pre>
Lisaks on vajalik installeerida MySQL server ja klientprogramm serveriga ühendumiseks.
<pre>apt-get install mysql-server</pre>
NB! Kuna LVM-i kasutuselevõtmine vajab mõningast MySQL-i ümberseadistamist, tuleb arvestada asjaoluga, et MySQL-i data kausta ümbertõstmisel ei pruugi olemasolevad andmed säilida (InnoDB) ja vajalik oleks serveris olevatest andmetest enne .sql kujul tagavarakoopia teha.

==LVM -i seadistamine==
[[File: LVM.jpg|450px]]

LVM ise jaguneb kolmeks eri kihiks: plokkseadmed (PV), kettagrupid (VG), millesse on organiseeritud füüsilised plokkseadmed ja loogilised kettajaod, mis on jagatud kettagrupid.
Iga kihiga toimetamisel on oma käsud, mis viitavad sellele, mis kihiga hetkel toimetatakse: pv*, vg* ning lv*. Näiteks pvcreate, vgcreate ja lvcreate.

Esimese asjana tuleb valida ketas/kettajagu, kus LVM-iga toimetama hakata. Uue ketta puhul oleks võimalusel mõtekas luua üks tervet ketast hõlmav partitsioon.

Näites on kasutatud ühte 4 GB suurust ketast (VirtualBox-i lisatud 4GB suurune virtuualne kõvaketas). Operatsioonisüsteem tunnistab seda kui /dev/sdb ja seega on näites kasutatavad ketta nimed/asukohad just sellised. Partitiooni tüübiks tuleb kindlasti määrata Linux LVM ehk kood „8e“

<pre>fdisk -l 2> /dev/null | grep Disk
Disk /dev/sda: 8589 MB, 8589934592 bytes
Disk identifier: 0x000bd8b1
Disk /dev/sdb: 4294 MB, 4294967296 bytes
Disk identifier: 0x11844f48</pre>

===Füüsilise ketta väärtuse muutmine===
Avada fdiskiga uue loodud ketta partitsioon ning luua uus primaarne kettajagu:

<pre>fdisk /dev/sdb
Command (m for help): n

Partition type:
p primary (0 primary, 0 extended, 4 free)
e extended

Select (default p): p

Partition number (1-4, default 1): 1

First sector (2048-8388607, default 2048):
Using default value 2048

Last sector, +sectors or +size{K,M,G} (2048-8388607, default 8388607):
Using default value 8388607</pre>

Print käskluse abil kuvatakse kettajagu, algus, lõpp, blokid, id ning süsteem. Loodud partitsioon on 83 ehk Linux. Partitsiooni süsteemse id muutmiseks kasutatakse '''t'''.

Käsklus '''L''' kuvab kõik kaheksandikkoodid . Linux LVM kood on 8e, et muuta kettajagu Linux LVM-iks on vaja muuta kettajao id 83-lt 8e-ks.
[[file:8e.PNG|500px]]

<pre>
Command (m for help): t
Selected partition 1

Hex code (type L to list codes): 8e
Changed system type of partition 1 to 8e (Linux LVM)

Command (m for help): w
The partition table has been altered!

Calling ioctl() to re-read partition table.
Syncing disks.</pre>

'''NB mitte väljuda q, mis väljub programmist muudatusi salvestamata!'''

===Füüsiline kettajagu===
Järgnevalt anname lvm-ile teada, et loodud partitsioon on „pv“ ehk physical volume.
{|style="background:lightyellow;width:500px;margin:3px;border:1px solid lightgrey" align=centre
| style="padding:0px 0px 0px 80px;font-family:courier;font-size:8pt;" |pvcreate disk1 disk2 disk3
|}

<pre>pvcreate /dev/sdb1
Physical volume "/dev/sdb1" successfully created</pre>

Kui kõik läks hästi siis peaks tulemus olemas selline:
<pre>pvdisplay
"/dev/sdb1" is a new physical volume of "4.00 GiB"
--- NEW Physical volume ---
PV Name /dev/sdb1
VG Name
PV Size 4.00 GiB
Allocatable NO
PE Size 0
Total PE 0
Free PE 0
Allocated PE 0
PV UUID EdmaX9-bXmQ-Oevp-p9W9-I2qY-gpMM-1w77aQ</pre>

===Kettagrupp===
Loome uue „volume group“ -i ja nimetame selle mysql -iks.
{|style="background:lightyellow;width:500px;margin:3px;border:1px solid lightgrey" align=centre
| style="padding:0px 0px 0px 80px;font-family:courier;font-size:8pt;" |vgcreate kettagrupi_nimi /dev/sdb1 /dev/sdc1 /dev/sdd1
|}

<pre>vgcreate mysql /dev/sdb1
Volume group "mysql" successfully created</pre>

<pre>vgdisplay
--- Volume group ---
VG Name mysql
System ID
Format lvm2
Metadata Areas 1
Metadata Sequence No 4
VG Access read/write
VG Status resizable
MAX LV 0
Cur LV 2
Open LV 2
Max PV 0
Cur PV 1
Act PV 1
VG Size 4.00 GiB
PE Size 4.00 MiB
Total PE 1023
Alloc PE / Size 512 / 2.00 GiB
Free PE / Size 511 / 2.00 GiB
VG UUID s5AjT8-ss7D-Gm9m-XY6j-ULMv-RLbR-xdy0K6</pre>

Järgnevalt saame luua „volume group“ -ile „logical volumes“ ehk loogilised kettajaod. Need on justkui partitsioonid füüsilisel kõvakettal ja neid saab juba andmete talletamiseks kasutada. Nimetame kettajao nimega data ja määrame tema suuruseks 1GB (antud suurus sobib väga hästi katsetamiseks aga reaalsetes süsteemides tuleb muidugi oluliselt suuremaid numbreid kasutada. ). Suuruse seadistamisel tuleb arvestada, et sama „volume group“ peale tuleb mahutada veel vähemalt üks sama suur loogiline kettajagu, mis on loodava LV snapshot. Näide kui VG suurus on kokku 10GB siis on võimalik teha maksimaalselt 5GB suurune loogiline kettajagu. Vastasel ei mahu tema kõrvale, samale VG-le tehtud LV snapshot.

===Loogiline kettajagu===
{|style="background:lightyellow;width:600px;margin:3px;border:1px solid lightgrey" align=centre
| style="padding:0px 0px 0px 80px;font-family:courier;font-size:8pt;" |lvcreate --size 1G --name loogilise_ketta_nimi kettagrupi_nimi
|}

<pre>lvcreate -n data -L 1GB mysql
Logical volume "data" created</pre>

Kontrollime tulemust:
<pre>lvdisplay
--- Logical volume ---
LV Name /dev/mysql/data
VG Name mysql
LV UUID SL0yWI-Mc2b-KhkE-V8P1-bW7E-3iL8-8zD6Uf
LV Write Access read/write
LV Status available
# open 0
LV Size 1.00 GiB
Current LE 256
Segments 1
Allocation inherit
Read ahead sectors auto
- currently set to 256
Block device 252:0</pre>

Teadmiseks: lvdisplay käsu käivitamisel on näha parameeter „LV Status“. See näitab, kas kettajagu on saadaval või mitte. Kasutada on võimalik ainult available olekus kettajagu. Eemaldada saab ainult NOT available olekus kettajagusid. Kettajao NOT available olekusse viimiseks saab kasutada käsku:

<pre>lvchange -a n /dev/mysql/data</pre>
ja tagasi:
<pre>lvchange -a y /dev/mysql/data</pre>

===Failisüsteemi loomine ja ühendamine===
Nüüd on loodud uus kettajagu, mida saab andmete säiltamiseks kasutada. Loome sellele kettajaole failisüsteemi:
<pre>mkfs -t ext4 /dev/mysql/data</pre>

Järgmisena tuleb loodud kettajagu kuhugile mountida. Mina teen sellejaoks /srv/mysql kausta ja haagin ketta sinna.

<pre>mkdir /srv/mysql
mount /dev/mysql/data /srv/mysql</pre>

Lisame '''/etc/fstab''' faili lõppu kirje, et ka järgmisel süsteemi käivitamisel oleks ketas kohe külgehaagitud

<pre>
<file system> <mount point> <type> <options> <dump> <pass>
/dev/mysql/data /srv/mysql ext4 defaults 0 0</pre>

==MySQL seadistamine==
Muudame kausta õigused mysql-ile sobivaks (kausta omanik on kasutaja mysql ja kaustale on ligipääs ainult kausta omanikul)
<pre>chown mysql:mysql /srv/mysql
chmod 0700 /srv/mysql</pre>

Nüüd tuleb olemasolev mysql data kaust liigutada /srv/mysql kausta. Esimese asjana peatada mysql server
<pre>service mysql stop
mysql stop/waiting</pre>

Kopeerime (!) kogu mysql-i data kausta loodud lvm kettajaole. Ubuntus (ilmselt ka paljudes teistes operatsioonisüsteemides) asub mysq-i data kaust /var/lib/mysql. Oleks vägagi soovitatav jätta andmed vanasse kausta alles ja kustuta see alles siis kui ollakse täiesti kindel, et server töötab tõrgeteta.
<pre>cp -ar /var/lib/mysql/. /srv/mysql</pre>

Seejärel tuleb mysql-i konfiguratsioonifailis ('''/etc/mysql/my.cnf''') muuta ära „datadir“ parameeter
<pre>datadir = /var/lib/mysql -> datadir = /srv/mysql</pre>

Teadmiseks: alates Ubuntu 7.10 -st on operatsioonisüsteemiga kaasas programm nimega „AppArmor“ (Loe lähemalt: https://wiki.itcollege.ee/index.php/AppArmor). Tegemist on kerneli turvamooduliga, mis teatavate programmide puhul piirab nende ligipääsu failisüsteemile. Et MySQL server uuesti korrektselt käivituks, tuleb „AppArmor“ -is mysq-i seadistust muuta. Sobiva tekstieditoriga tuleb avada ''''/etc/apparmor.d/usr.sbin.mysqld''' konfifail ja teha seal vajalikud muudatused :
<pre>/var/lib/mysql/ r, -> /srv/mysql r,
/var/lib/mysql/** rwk, -> /srv/mysql** rwk,</pre>

Osadel operatsioonisüsteemidel võib ka init skript ette anda, kus asub mysql-i datadir. Seega oleks mõistlik ka see '''/etc/init.d/mysql''' skriptist üle vaadata.

Käivitame uuesti mysql-i serveri. Kui kõik läks hästi, peaks olema tulemus sarnane:

<pre>service mysql start
mysql start/running, process 2588</pre>

Kontrollime mysql-i muutujaid:
<pre>mysqladmin -u{mysql-kasutaja} -p variables | grep datadir
Enter password: {mysql-parool}
| datadir | /srv/mysql/
</pre>
Lisaks tuleks sobiva mysql kliendiga serverisse sisse logida ja kontrollida üle, kas kõik jäi korrektselt tööle.

Nüüd, kui MySQL server on korrektselt töödanud ja tekib vajadus varukoopiate tegemiseks. Töötavast serverist snapshoti tegemisel pole vajalik eelnev serveri väljalülitama. Lihtsalt protseduuri ajaks oleks vajalik keelata ära andmete kirjutamine „FLUSH TABLES WITH READ LOCK;“ käsuga, lisaks võiks tühjendada ka logid „FLUSH LOGS;“ käsuga. Snapshoti tegemise protsess on äärmiselt kiire ja andmete lugemine andmebaasist toimib endiselt edasi. Samas andmete kirjutamise protsess viibib seni, kui andmebaasilt kirjutamise lukk maha võetakse (kõik kirjutamise käsud täidetakse kohe peale luku vabastamist).
Ehkki varukoopia tegemise protsess ei tekita katkestusi serveri töös, oleks hea mõte teha varukoopiaid sellisel ajal kui serveril on kõige väiksem koormus.
On vajalik teada, et andmebaas lukustatakse ainult selleks ajaks, kui mysql serverisse on sisse logitud. Kohe kui sessioon lõpetatakse, vabastatakse ka lukud. Seetõttu peab snaspshoti tegemise ajal olema serverisse sisse logitud. Variant on kasutada kahte terminali sessiooni aga vajalikke käske saab käivitada ka MySQL-i käsurealt (vajalik on mysql-i klient käivitada root kasutaja õigustes).
<pre>mysql -u root -p
Enter password:
Welcome to the MySQL monitor. Commands end with ; or \g.
Your MySQL connection id is 75
Server version: 5.5.28-0ubuntu0.12.04.2 (Ubuntu)

Copyright (c) 2000, 2012, Oracle and/or its affiliates. All rights reserved.

Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

mysql> FLUSH TABLES WITH READ LOCK;
Query OK, 0 rows affected (0.00 sec)

mysql> FLUSH LOGS;
Query OK, 0 rows affected (0.00 sec)
</pre>

==Tõmmise tegemine==
<pre>
mysql> SYSTEM /sbin/lvcreate -L 1G --snapshot -n sql_backup /dev/mysql/data
File descriptor 3 (socket:[15065]) leaked on lvcreate invocation. Parent PID 3514: sh
Logical volume "sql_backup" created
mysql> UNLOCK TABLES;
Query OK, 0 rows affected (0.01 sec)

mysql> exit
Bye
</pre>
Snapshoti kettajagu nimetati kui sql_backup ja viide loogilisele seadmele asub /dev/mysql/sql_backup. Käivitades käsu „lvs“, saab näha, et lisaks mysql/data LV-le on juurde tekkinud mysql/sql_backup
<pre>lvs
LV VG Attr LSize Origin Snap% Move Log Copy% Convert
data mysql owi-ao 1.00g
sql_backup mysql swi-a- 1.00g data 0.00
</pre>
Kui nüüd haakida tehtud snapshoti kettajagu, on seal kättesaadav kogu mysql-i data sellel hetkel, kui snapshot tehti.
<pre>mkdir /mnt/bk
mount /dev/mysql/sql_backup /mnt/bk
ls -la /mnt/bk
total 28720
drwx------ 8 mysql mysql 4096 Dec 12 15:59 .
drwxr-xr-x 3 root root 4096 Dec 12 16:34 ..
-rw-r--r-- 1 root root 0 Nov 30 17:18 debian-5.5.flag
-rw-rw---- 1 mysql mysql 18874368 Dec 12 16:18 ibdata1
-rw-rw---- 1 mysql mysql 5242880 Dec 12 16:18 ib_logfile0
-rw-rw---- 1 mysql mysql 5242880 Nov 30 17:18 ib_logfile1
drwx------ 2 root root 16384 Dec 12 15:58 lost+found
drwx------ 2 mysql root 4096 Nov 30 17:18 mysql
-rw-rw---- 1 root root 6 Nov 30 17:18 mysql_upgrade_info
drwx------ 2 mysql mysql 4096 Nov 30 17:18 performance_schema
drwx------ 2 mysql mysql 4096 Nov 30 17:28 phpmyadmin
drwx------ 2 mysql root 4096 Dec 12 16:18 test
drwx------ 2 mysql mysql 4096 Nov 30 17:33 wp
</pre>
MySQL-i server töötab peale snapshoti tegemist katkestusteta edasi. Tehtud snapshoti andmeid võib varundada arhiivi jaoks. Andmete varundamisel tuleb spashoti kettajagu failisüsteemi külge haakida ja selle sisu „tar“-i abil arhiveerida ja hiljem eemaldada snapshoti kettajagu
<pre>mkdir /mnt/bk
mount /dev/mysql/sql_backup /mnt/bk
tar -cjf /teekond/arhiivi/kuupäev.tar.bz2 -C /mnt bk
umount /dev/mysql/sql_backup
lvremove /dev/mysql/sql_backup
Do you really want to remove active logical volume sql_backup? [y/n]: Y
Logical volume "sql_backup" successfully removed
</pre>
UUS:
<pre>mkdir -p /var/teekond/arhiivi
tar -cjf var/teekond/arhiivi/kuupäev.tar.bz2 -C /mnt bk
umount /dev/mysql/sql_backup
lvremove /dev/mysql/sql_backup
Do you really want to remove active logical volume sql_backup? [y/n]: Y
Logical volume "sql_backup" successfully removed
</pre>
Kogu protseduuri automatiseerimiseks on võimalik koostada ka skript, mida saab käivitada sobival aja või kasutades „cron“ ajastamise vahendeid.

Lisaks on võimalik mysql-i data kaust haakida ümber snapshoti kettajaole ja taastada server sellesse seisu, mis oli snapshoti tegemise hetkel minimaalse katkestuse ajaga.

==Kokkuvõte==

LVM -i kasutamine varundamisel on väikestes ja mittekriitilistes süsteemides küllaltki hea lahendus. See ei nõua eriteadmisi ja kallist riistvara/tarkvara. Kuid suurematesse ja keerukamatesse lahendustesse see ei sobi, kuna see ainult aitab luua snapshoti hetke seisust aga ei paku võimalust seda eraldi salvestada. Arhiveerimiseks tuleb kasutada eraldi vahendeid ja selle protseduuri käigus võib minna kaduma vajalikke andmeid. Ka ei võistle LVM proffessionaalsete vahenditega nagu Arkeia (http://www.arkeia.com/) või BrightStor, mis on just varundamise lahenduste jaoks loodud ja muudavad antud tegemise mugavaks ja kiireks.

==Kasutatud kirjandus==
http://kuutorvaja.eenet.ee/wiki/LVM 
http://www.web-manual.net/linux-3/logical-volume-manager-in-linux/ 
http://www.lullabot.com/articles/mysql-backups-using-lvm-snapshots 
http://www.ubuntugeek.com/how-to-change-the-mysql-data-default-directory.html 
https://wiki.ubuntu.com/Lvm 
http://linuxconfig.org/Linux_lvm_-_Logical_Volume_Manager 
Loodus, Katrin. Andmesalvestustehnoloogiad - loeng 4.1 Ülevaade Logical Volume Manager-ist [https://wiki.itcollege.ee/index.php/Category:Andmesalvestustehnoloogiad]

"7 Linux fdisk Command Examples to Manage Hard Disk Partition" [http://www.thegeekstuff.com/2010/09/linux-fdisk/]

"LVM" [https://wiki.ubuntu.com/Lvm]

==Autor==
Madis Lauri
AK 31
[[Category:Operatsioonisüsteemide administreerimine ja sidumine]]

'''Täiendamine:'''

Carolys Kallas A32

Aine: Linuxi administreerimine

Viimati muudetud: 11.01.2013

Mysql varundamine LVM abil

2013-01-11T12:44:33Z

Ckallas: /* Autor */

__TOC__
==Sissejuhatus==

Antud kirjatüki eesmärgiks on tutvustada LVM-i kui abivahendit toimivast süsteemist tagavarakoopiate tegemisel. Kuigi failisüsteemi snapshotide tegemine ja nende kasutamine on ainult üks LVM-i pakutavatest võimalustest. LVM - i snapshotide tegemise võimalus pole ainult mysql -i varundamiseks, vaid kasutatav ka muude andmete varukoopiate tegemiseks. Antud juhul on MySQL siin ainult „reisija“ aga protsessi selgitamiseks ja LVM snapshoti kasutamiseks on MySQL näitena väga hea. Kogu seadistamise protsess toimub Ubuntu Linux Server 12.04.1 LTS operatsioonisüsteemis ja kasutab sellega kaasnevaid vahendeid.

==Mis on mis?==
'''Logical Volume Manager''' - LVM

'''Physical Volume''' - PV, plokkseade, füüsiline kettajagu

'''Volume Group''' - VG, kettagrupp

'''Logical Volume''' - LV, loogiline kettajagu

'''Snapshot''' - (hetk)tõmmis

===LVM===
LVM ehk „Logical Volume Manager“ on ketta partitsioonide haldusvahend Linuxi ja UNIX-i laadsete operatsioonisüsteemide juures. LVM moodustab vahekihi failisüsteemi ja füüsilise kõvaketta vahele. Esmapilgul võib tunduda, et LVM on sarnane RAID (Redundant Array of Independent Disks) kettamassiiviga, on ta siiski hoopis paindlikum viis kettajagudega toimetamiseks. RAID võimaldab kettaid omavahel liita, et saada paremaid tulemusi kiiruses, mahus või töökindluses. LVM seevastu võimaldab korraga hallata mitut (ka loogilist) kettajagu, neid vastavalt vajadusele ümber tõsta ja mahtu muuta. Seega on tihti hea mõte neid kahte hoopis koos kasutada (näiteks RAID 10 ja LVM).
Lihtsustatult oleks ettekujutus eri kihtide tasemetest selline:
* Failisüsteemid
* LVM
* RAID (vajadusel)
* füüsilised plokkmäluseadmed (kõvakettad)

===Omadused===
LVM pakutavad võimalused on:
* Failisüsteemi suuruse muutmine
* Failisüsteemi snapshotide tegemine ja kasutamine (nii read-only kui ka read-write)
* Loodud/muudetud partitsioonide kohene kasutamine, kui ketas/partitsioon on mingil moel kasutusel. Fdisk-i kasutamisel tuleb OP-süsteem taaskäivitada.
* Väiksemate füüsiliste plokkseadmete kokku ühendamine, üheks suureks loogiliseks seadmeks. (Nagu RAID)
* Ketaste liigutamine ja ühendamine üle võrgu

Lisainfot LVM-i kohta: http://en.wikipedia.org/wiki/Logical_Volume_Manager_(Linux)

===MySQL===
MySQL on Oracle Corporation poolt hallatav relatsioonilise andmebaasi haldamise süsteem. On äärmiselt populaarne andmebaasisüsteem erinevates veebirakendustes aga ka mõningates suuremates süsteemides. Oma populaarsuse on ta saanud tänu äärmiselt lihtsale hallatavusele ja kasutajasõbralikkusele. Hetkel ei hakka MySQL-i omadustel ja võimalustel pikemalt peatuma. Rohkem informatsiooni leiab: http://www.mysql.com/

==Eeldused==
*Installeeritud Ubuntu Server (vähemalt 12.04 versioon)
*Tutvutud kettajagudega (kiire kordamine näiteks '''[[Osadmin spikker]]''')

'''Viia kõik käsklused läbi sudo kasutaja alt'''
sudo -i

===Ketaste lisamine===
Kõigepealt on vaja lisada serverile kõvaketas, mida hiljem LVM-iga siduma hakata.

[[File:Create_hard_disk.PNG‎|500px]]

Luua uus 4GB ketas, mis on VirtualBox Disk Image (VDI) formaadis ning dünaamiliselt jagatud.

===Vajaliku tarkvara installeerimine===

Et LVM-i ja MySQL-i seadistada on vajalikud teadmised, kuidas toimub Linuxis ketaste ja partitisoonide haldamine ja baasteadmised MySQL-ist.
Kõigepealt on vajalik installeerida lvm2 nimeline pakett, eelnevalt uuendada tarkvaravaramu nimekirja.
<pre>apt-get update
apt-get install lvm2</pre>
Olenevalt operatsioonisüsteemist võib olla vajalikud pakeid juba installeeritud, kontrollida saab nii:
<pre>lvm version</pre>

<pre>lvm version
LVM version: 2.02.66(2) (2010-05-20)
Library version: 1.02.48 (2010-05-20)
Driver version: 4.22.0
</pre>
Lisaks on vajalik installeerida MySQL server ja klientprogramm serveriga ühendumiseks.
<pre>apt-get install mysql-server</pre>
NB! Kuna LVM-i kasutuselevõtmine vajab mõningast MySQL-i ümberseadistamist, tuleb arvestada asjaoluga, et MySQL-i data kausta ümbertõstmisel ei pruugi olemasolevad andmed säilida (InnoDB) ja vajalik oleks serveris olevatest andmetest enne .sql kujul tagavarakoopia teha.

==LVM -i seadistamine==
[[File: LVM.jpg|450px]]

LVM ise jaguneb kolmeks eri kihiks: plokkseadmed (PV), kettagrupid (VG), millesse on organiseeritud füüsilised plokkseadmed ja loogilised kettajaod, mis on jagatud kettagrupid.
Iga kihiga toimetamisel on oma käsud, mis viitavad sellele, mis kihiga hetkel toimetatakse: pv*, vg* ning lv*. Näiteks pvcreate, vgcreate ja lvcreate.

Esimese asjana tuleb valida ketas/kettajagu, kus LVM-iga toimetama hakata. Uue ketta puhul oleks võimalusel mõtekas luua üks tervet ketast hõlmav partitsioon.

Näites on kasutatud ühte 4 GB suurust ketast (VirtualBox-i lisatud 4GB suurune virtuualne kõvaketas). Operatsioonisüsteem tunnistab seda kui /dev/sdb ja seega on näites kasutatavad ketta nimed/asukohad just sellised. Partitiooni tüübiks tuleb kindlasti määrata Linux LVM ehk kood „8e“

<pre>fdisk -l 2> /dev/null | grep Disk
Disk /dev/sda: 8589 MB, 8589934592 bytes
Disk identifier: 0x000bd8b1
Disk /dev/sdb: 4294 MB, 4294967296 bytes
Disk identifier: 0x11844f48</pre>

===Füüsilise ketta väärtuse muutmine===
Avada fdiskiga uue loodud ketta partitsioon ning luua uus primaarne kettajagu:

<pre>fdisk /dev/sdb
Command (m for help): n

Partition type:
p primary (0 primary, 0 extended, 4 free)
e extended

Select (default p): p

Partition number (1-4, default 1): 1

First sector (2048-8388607, default 2048):
Using default value 2048

Last sector, +sectors or +size{K,M,G} (2048-8388607, default 8388607):
Using default value 8388607</pre>

Print käskluse abil kuvatakse kettajagu, algus, lõpp, blokid, id ning süsteem. Loodud partitsioon on 83 ehk Linux. Partitsiooni süsteemse id muutmiseks kasutatakse '''t'''.

Käsklus '''L''' kuvab kõik kaheksandikkoodid . Linux LVM kood on 8e, et muuta kettajagu Linux LVM-iks on vaja muuta kettajao id 83-lt 8e-ks.
[[file:8e.PNG|500px]]

<pre>
Command (m for help): t
Selected partition 1

Hex code (type L to list codes): 8e
Changed system type of partition 1 to 8e (Linux LVM)

Command (m for help): w
The partition table has been altered!

Calling ioctl() to re-read partition table.
Syncing disks.</pre>

'''NB mitte väljuda q, mis väljub programmist muudatusi salvestamata!'''

===Füüsiline kettajagu===
Järgnevalt anname lvm-ile teada, et loodud partitsioon on „pv“ ehk physical volume.
{|style="background:lightyellow;width:500px;margin:3px;border:1px solid lightgrey" align=centre
| style="padding:0px 0px 0px 80px;font-family:courier;font-size:8pt;" |pvcreate disk1 disk2 disk3
|}

<pre>pvcreate /dev/sdb1
Physical volume "/dev/sdb1" successfully created</pre>

Kui kõik läks hästi siis peaks tulemus olemas selline:
<pre>pvdisplay
"/dev/sdb1" is a new physical volume of "4.00 GiB"
--- NEW Physical volume ---
PV Name /dev/sdb1
VG Name
PV Size 4.00 GiB
Allocatable NO
PE Size 0
Total PE 0
Free PE 0
Allocated PE 0
PV UUID EdmaX9-bXmQ-Oevp-p9W9-I2qY-gpMM-1w77aQ</pre>

===Kettagrupp===
Loome uue „volume group“ -i ja nimetame selle mysql -iks.
{|style="background:lightyellow;width:500px;margin:3px;border:1px solid lightgrey" align=centre
| style="padding:0px 0px 0px 80px;font-family:courier;font-size:8pt;" |vgcreate kettagrupi_nimi /dev/sdb1 /dev/sdc1 /dev/sdd1
|}

<pre>vgcreate mysql /dev/sdb1
Volume group "mysql" successfully created</pre>

<pre>vgdisplay
--- Volume group ---
VG Name mysql
System ID
Format lvm2
Metadata Areas 1
Metadata Sequence No 4
VG Access read/write
VG Status resizable
MAX LV 0
Cur LV 2
Open LV 2
Max PV 0
Cur PV 1
Act PV 1
VG Size 4.00 GiB
PE Size 4.00 MiB
Total PE 1023
Alloc PE / Size 512 / 2.00 GiB
Free PE / Size 511 / 2.00 GiB
VG UUID s5AjT8-ss7D-Gm9m-XY6j-ULMv-RLbR-xdy0K6</pre>

Järgnevalt saame luua „volume group“ -ile „logical volumes“ ehk loogilised kettajaod. Need on justkui partitsioonid füüsilisel kõvakettal ja neid saab juba andmete talletamiseks kasutada. Nimetame kettajao nimega data ja määrame tema suuruseks 1GB (antud suurus sobib väga hästi katsetamiseks aga reaalsetes süsteemides tuleb muidugi oluliselt suuremaid numbreid kasutada. ). Suuruse seadistamisel tuleb arvestada, et sama „volume group“ peale tuleb mahutada veel vähemalt üks sama suur loogiline kettajagu, mis on loodava LV snapshot. Näide kui VG suurus on kokku 10GB siis on võimalik teha maksimaalselt 5GB suurune loogiline kettajagu. Vastasel ei mahu tema kõrvale, samale VG-le tehtud LV snapshot.

===Loogiline kettajagu===
{|style="background:lightyellow;width:600px;margin:3px;border:1px solid lightgrey" align=centre
| style="padding:0px 0px 0px 80px;font-family:courier;font-size:8pt;" |lvcreate --size 1G --name loogilise_ketta_nimi kettagrupi_nimi
|}

<pre>lvcreate -n data -L 1GB mysql
Logical volume "data" created</pre>

Kontrollime tulemust:
<pre>lvdisplay
--- Logical volume ---
LV Name /dev/mysql/data
VG Name mysql
LV UUID SL0yWI-Mc2b-KhkE-V8P1-bW7E-3iL8-8zD6Uf
LV Write Access read/write
LV Status available
# open 0
LV Size 1.00 GiB
Current LE 256
Segments 1
Allocation inherit
Read ahead sectors auto
- currently set to 256
Block device 252:0</pre>

Teadmiseks: lvdisplay käsu käivitamisel on näha parameeter „LV Status“. See näitab, kas kettajagu on saadaval või mitte. Kasutada on võimalik ainult available olekus kettajagu. Eemaldada saab ainult NOT available olekus kettajagusid. Kettajao NOT available olekusse viimiseks saab kasutada käsku:

<pre>lvchange -a n /dev/mysql/data</pre>
ja tagasi:
<pre>lvchange -a y /dev/mysql/data</pre>

===Failisüsteemi loomine ja ühendamine===
Nüüd on loodud uus kettajagu, mida saab andmete säiltamiseks kasutada. Loome sellele kettajaole failisüsteemi:
<pre>mkfs -t ext4 /dev/mysql/data</pre>

Järgmisena tuleb loodud kettajagu kuhugile mountida. Mina teen sellejaoks /srv/mysql kausta ja haagin ketta sinna.

<pre>mkdir /srv/mysql
mount /dev/mysql/data /srv/mysql</pre>

Lisame '''/etc/fstab''' faili lõppu kirje, et ka järgmisel süsteemi käivitamisel oleks ketas kohe külgehaagitud

<pre>
<file system> <mount point> <type> <options> <dump> <pass>
/dev/mysql/data /srv/mysql ext4 defaults 0 0</pre>

==MySQL seadistamine==
Muudame kausta õigused mysql-ile sobivaks (kausta omanik on kasutaja mysql ja kaustale on ligipääs ainult kausta omanikul)
<pre>chown mysql:mysql /srv/mysql
chmod 0700 /srv/mysql</pre>

Nüüd tuleb olemasolev mysql data kaust liigutada /srv/mysql kausta. Esimese asjana peatada mysql server
<pre>service mysql stop
mysql stop/waiting</pre>

Kopeerime (!) kogu mysql-i data kausta loodud lvm kettajaole. Ubuntus (ilmselt ka paljudes teistes operatsioonisüsteemides) asub mysq-i data kaust /var/lib/mysql. Oleks vägagi soovitatav jätta andmed vanasse kausta alles ja kustuta see alles siis kui ollakse täiesti kindel, et server töötab tõrgeteta.
<pre>cp -ar /var/lib/mysql/. /srv/mysql</pre>

Seejärel tuleb mysql-i konfiguratsioonifailis ('''/etc/mysql/my.cnf''') muuta ära „datadir“ parameeter
<pre>datadir = /var/lib/mysql -> datadir = /srv/mysql</pre>

Teadmiseks: alates Ubuntu 7.10 -st on operatsioonisüsteemiga kaasas programm nimega „AppArmor“. Tegemist on kerneli turvamooduliga, mis teatavate programmide puhul piirab nende ligipääsu failisüsteemile. Et MySQL server uuesti korrektselt käivituks, tuleb „AppArmor“ -is mysq-i seadistust muuta. Sobiva tekstieditoriga tuleb avada ''''/etc/apparmor.d/usr.sbin.mysqld''' konfifail ja teha seal vajalikud muudatused :
<pre>/var/lib/mysql/ r, -> /srv/mysql r,
/var/lib/mysql/** rwk, -> /srv/mysql** rwk,</pre>

Osadel operatsioonisüsteemidel võib ka init skript ette anda, kus asub mysql-i datadir. Seega oleks mõistlik ka see '''/etc/init.d/mysql''' skriptist üle vaadata.

Käivitame uuesti mysql-i serveri. Kui kõik läks hästi, peaks olema tulemus sarnane:

<pre>service mysql start
mysql start/running, process 2588</pre>

Kontrollime mysql-i muutujaid:
<pre>mysqladmin -u{mysql-kasutaja} -p variables | grep datadir
Enter password: {mysql-parool}
| datadir | /srv/mysql/
</pre>
Lisaks tuleks sobiva mysql kliendiga serverisse sisse logida ja kontrollida üle, kas kõik jäi korrektselt tööle.

Nüüd, kui MySQL server on korrektselt töödanud ja tekib vajadus varukoopiate tegemiseks. Töötavast serverist snapshoti tegemisel pole vajalik eelnev serveri väljalülitama. Lihtsalt protseduuri ajaks oleks vajalik keelata ära andmete kirjutamine „FLUSH TABLES WITH READ LOCK;“ käsuga, lisaks võiks tühjendada ka logid „FLUSH LOGS;“ käsuga. Snapshoti tegemise protsess on äärmiselt kiire ja andmete lugemine andmebaasist toimib endiselt edasi. Samas andmete kirjutamise protsess viibib seni, kui andmebaasilt kirjutamise lukk maha võetakse (kõik kirjutamise käsud täidetakse kohe peale luku vabastamist).
Ehkki varukoopia tegemise protsess ei tekita katkestusi serveri töös, oleks hea mõte teha varukoopiaid sellisel ajal kui serveril on kõige väiksem koormus.
On vajalik teada, et andmebaas lukustatakse ainult selleks ajaks, kui mysql serverisse on sisse logitud. Kohe kui sessioon lõpetatakse, vabastatakse ka lukud. Seetõttu peab snaspshoti tegemise ajal olema serverisse sisse logitud. Variant on kasutada kahte terminali sessiooni aga vajalikke käske saab käivitada ka MySQL-i käsurealt (vajalik on mysql-i klient käivitada root kasutaja õigustes).
<pre>mysql -u root -p
Enter password:
Welcome to the MySQL monitor. Commands end with ; or \g.
Your MySQL connection id is 75
Server version: 5.5.28-0ubuntu0.12.04.2 (Ubuntu)

Copyright (c) 2000, 2012, Oracle and/or its affiliates. All rights reserved.

Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

mysql> FLUSH TABLES WITH READ LOCK;
Query OK, 0 rows affected (0.00 sec)

mysql> FLUSH LOGS;
Query OK, 0 rows affected (0.00 sec)
</pre>

==Tõmmise tegemine==
<pre>
mysql> SYSTEM /sbin/lvcreate -L 1G --snapshot -n sql_backup /dev/mysql/data
File descriptor 3 (socket:[15065]) leaked on lvcreate invocation. Parent PID 3514: sh
Logical volume "sql_backup" created
mysql> UNLOCK TABLES;
Query OK, 0 rows affected (0.01 sec)

mysql> exit
Bye
</pre>
Snapshoti kettajagu nimetati kui sql_backup ja viide loogilisele seadmele asub /dev/mysql/sql_backup. Käivitades käsu „lvs“, saab näha, et lisaks mysql/data LV-le on juurde tekkinud mysql/sql_backup
<pre>lvs
LV VG Attr LSize Origin Snap% Move Log Copy% Convert
data mysql owi-ao 1.00g
sql_backup mysql swi-a- 1.00g data 0.00
</pre>
Kui nüüd haakida tehtud snapshoti kettajagu, on seal kättesaadav kogu mysql-i data sellel hetkel, kui snapshot tehti.
<pre>mkdir /mnt/bk
mount /dev/mysql/sql_backup /mnt/bk
ls -la /mnt/bk
total 28720
drwx------ 8 mysql mysql 4096 Dec 12 15:59 .
drwxr-xr-x 3 root root 4096 Dec 12 16:34 ..
-rw-r--r-- 1 root root 0 Nov 30 17:18 debian-5.5.flag
-rw-rw---- 1 mysql mysql 18874368 Dec 12 16:18 ibdata1
-rw-rw---- 1 mysql mysql 5242880 Dec 12 16:18 ib_logfile0
-rw-rw---- 1 mysql mysql 5242880 Nov 30 17:18 ib_logfile1
drwx------ 2 root root 16384 Dec 12 15:58 lost+found
drwx------ 2 mysql root 4096 Nov 30 17:18 mysql
-rw-rw---- 1 root root 6 Nov 30 17:18 mysql_upgrade_info
drwx------ 2 mysql mysql 4096 Nov 30 17:18 performance_schema
drwx------ 2 mysql mysql 4096 Nov 30 17:28 phpmyadmin
drwx------ 2 mysql root 4096 Dec 12 16:18 test
drwx------ 2 mysql mysql 4096 Nov 30 17:33 wp
</pre>
MySQL-i server töötab peale snapshoti tegemist katkestusteta edasi. Tehtud snapshoti andmeid võib varundada arhiivi jaoks. Andmete varundamisel tuleb spashoti kettajagu failisüsteemi külge haakida ja selle sisu „tar“-i abil arhiveerida ja hiljem eemaldada snapshoti kettajagu
<pre>mkdir /mnt/bk
mount /dev/mysql/sql_backup /mnt/bk
tar -cjf /teekond/arhiivi/kuupäev.tar.bz2 -C /mnt bk
umount /dev/mysql/sql_backup
lvremove /dev/mysql/sql_backup
Do you really want to remove active logical volume sql_backup? [y/n]: Y
Logical volume "sql_backup" successfully removed
</pre>
UUS:
<pre>mkdir -p /var/teekond/arhiivi
tar -cjf var/teekond/arhiivi/kuupäev.tar.bz2 -C /mnt bk
umount /dev/mysql/sql_backup
lvremove /dev/mysql/sql_backup
Do you really want to remove active logical volume sql_backup? [y/n]: Y
Logical volume "sql_backup" successfully removed
</pre>
Kogu protseduuri automatiseerimiseks on võimalik koostada ka skript, mida saab käivitada sobival aja või kasutades „cron“ ajastamise vahendeid.

Lisaks on võimalik mysql-i data kaust haakida ümber snapshoti kettajaole ja taastada server sellesse seisu, mis oli snapshoti tegemise hetkel minimaalse katkestuse ajaga.

==Kokkuvõte==

LVM -i kasutamine varundamisel on väikestes ja mittekriitilistes süsteemides küllaltki hea lahendus. See ei nõua eriteadmisi ja kallist riistvara/tarkvara. Kuid suurematesse ja keerukamatesse lahendustesse see ei sobi, kuna see ainult aitab luua snapshoti hetke seisust aga ei paku võimalust seda eraldi salvestada. Arhiveerimiseks tuleb kasutada eraldi vahendeid ja selle protseduuri käigus võib minna kaduma vajalikke andmeid. Ka ei võistle LVM proffessionaalsete vahenditega nagu Arkeia (http://www.arkeia.com/) või BrightStor, mis on just varundamise lahenduste jaoks loodud ja muudavad antud tegemise mugavaks ja kiireks.

==Kasutatud kirjandus==
http://kuutorvaja.eenet.ee/wiki/LVM 
http://www.web-manual.net/linux-3/logical-volume-manager-in-linux/ 
http://www.lullabot.com/articles/mysql-backups-using-lvm-snapshots 
http://www.ubuntugeek.com/how-to-change-the-mysql-data-default-directory.html 
https://wiki.ubuntu.com/Lvm 
http://linuxconfig.org/Linux_lvm_-_Logical_Volume_Manager 
Loodus, Katrin. Andmesalvestustehnoloogiad - loeng 4.1 Ülevaade Logical Volume Manager-ist [https://wiki.itcollege.ee/index.php/Category:Andmesalvestustehnoloogiad]

"7 Linux fdisk Command Examples to Manage Hard Disk Partition" [http://www.thegeekstuff.com/2010/09/linux-fdisk/]

"LVM" [https://wiki.ubuntu.com/Lvm]

==Autor==
Madis Lauri
AK 31
[[Category:Operatsioonisüsteemide administreerimine ja sidumine]]

'''Täiendamine:'''

Carolys Kallas A32

Aine: Linuxi administreerimine

Viimati muudetud: 11.01.2013

Mysql varundamine LVM abil

2013-01-11T12:44:22Z

Ckallas: /* Kasutatud kirjandus */

__TOC__
==Sissejuhatus==

Antud kirjatüki eesmärgiks on tutvustada LVM-i kui abivahendit toimivast süsteemist tagavarakoopiate tegemisel. Kuigi failisüsteemi snapshotide tegemine ja nende kasutamine on ainult üks LVM-i pakutavatest võimalustest. LVM - i snapshotide tegemise võimalus pole ainult mysql -i varundamiseks, vaid kasutatav ka muude andmete varukoopiate tegemiseks. Antud juhul on MySQL siin ainult „reisija“ aga protsessi selgitamiseks ja LVM snapshoti kasutamiseks on MySQL näitena väga hea. Kogu seadistamise protsess toimub Ubuntu Linux Server 12.04.1 LTS operatsioonisüsteemis ja kasutab sellega kaasnevaid vahendeid.

==Mis on mis?==
'''Logical Volume Manager''' - LVM

'''Physical Volume''' - PV, plokkseade, füüsiline kettajagu

'''Volume Group''' - VG, kettagrupp

'''Logical Volume''' - LV, loogiline kettajagu

'''Snapshot''' - (hetk)tõmmis

===LVM===
LVM ehk „Logical Volume Manager“ on ketta partitsioonide haldusvahend Linuxi ja UNIX-i laadsete operatsioonisüsteemide juures. LVM moodustab vahekihi failisüsteemi ja füüsilise kõvaketta vahele. Esmapilgul võib tunduda, et LVM on sarnane RAID (Redundant Array of Independent Disks) kettamassiiviga, on ta siiski hoopis paindlikum viis kettajagudega toimetamiseks. RAID võimaldab kettaid omavahel liita, et saada paremaid tulemusi kiiruses, mahus või töökindluses. LVM seevastu võimaldab korraga hallata mitut (ka loogilist) kettajagu, neid vastavalt vajadusele ümber tõsta ja mahtu muuta. Seega on tihti hea mõte neid kahte hoopis koos kasutada (näiteks RAID 10 ja LVM).
Lihtsustatult oleks ettekujutus eri kihtide tasemetest selline:
* Failisüsteemid
* LVM
* RAID (vajadusel)
* füüsilised plokkmäluseadmed (kõvakettad)

===Omadused===
LVM pakutavad võimalused on:
* Failisüsteemi suuruse muutmine
* Failisüsteemi snapshotide tegemine ja kasutamine (nii read-only kui ka read-write)
* Loodud/muudetud partitsioonide kohene kasutamine, kui ketas/partitsioon on mingil moel kasutusel. Fdisk-i kasutamisel tuleb OP-süsteem taaskäivitada.
* Väiksemate füüsiliste plokkseadmete kokku ühendamine, üheks suureks loogiliseks seadmeks. (Nagu RAID)
* Ketaste liigutamine ja ühendamine üle võrgu

Lisainfot LVM-i kohta: http://en.wikipedia.org/wiki/Logical_Volume_Manager_(Linux)

===MySQL===
MySQL on Oracle Corporation poolt hallatav relatsioonilise andmebaasi haldamise süsteem. On äärmiselt populaarne andmebaasisüsteem erinevates veebirakendustes aga ka mõningates suuremates süsteemides. Oma populaarsuse on ta saanud tänu äärmiselt lihtsale hallatavusele ja kasutajasõbralikkusele. Hetkel ei hakka MySQL-i omadustel ja võimalustel pikemalt peatuma. Rohkem informatsiooni leiab: http://www.mysql.com/

==Eeldused==
*Installeeritud Ubuntu Server (vähemalt 12.04 versioon)
*Tutvutud kettajagudega (kiire kordamine näiteks '''[[Osadmin spikker]]''')

'''Viia kõik käsklused läbi sudo kasutaja alt'''
sudo -i

===Ketaste lisamine===
Kõigepealt on vaja lisada serverile kõvaketas, mida hiljem LVM-iga siduma hakata.

[[File:Create_hard_disk.PNG‎|500px]]

Luua uus 4GB ketas, mis on VirtualBox Disk Image (VDI) formaadis ning dünaamiliselt jagatud.

===Vajaliku tarkvara installeerimine===

Et LVM-i ja MySQL-i seadistada on vajalikud teadmised, kuidas toimub Linuxis ketaste ja partitisoonide haldamine ja baasteadmised MySQL-ist.
Kõigepealt on vajalik installeerida lvm2 nimeline pakett, eelnevalt uuendada tarkvaravaramu nimekirja.
<pre>apt-get update
apt-get install lvm2</pre>
Olenevalt operatsioonisüsteemist võib olla vajalikud pakeid juba installeeritud, kontrollida saab nii:
<pre>lvm version</pre>

<pre>lvm version
LVM version: 2.02.66(2) (2010-05-20)
Library version: 1.02.48 (2010-05-20)
Driver version: 4.22.0
</pre>
Lisaks on vajalik installeerida MySQL server ja klientprogramm serveriga ühendumiseks.
<pre>apt-get install mysql-server</pre>
NB! Kuna LVM-i kasutuselevõtmine vajab mõningast MySQL-i ümberseadistamist, tuleb arvestada asjaoluga, et MySQL-i data kausta ümbertõstmisel ei pruugi olemasolevad andmed säilida (InnoDB) ja vajalik oleks serveris olevatest andmetest enne .sql kujul tagavarakoopia teha.

==LVM -i seadistamine==
[[File: LVM.jpg|450px]]

LVM ise jaguneb kolmeks eri kihiks: plokkseadmed (PV), kettagrupid (VG), millesse on organiseeritud füüsilised plokkseadmed ja loogilised kettajaod, mis on jagatud kettagrupid.
Iga kihiga toimetamisel on oma käsud, mis viitavad sellele, mis kihiga hetkel toimetatakse: pv*, vg* ning lv*. Näiteks pvcreate, vgcreate ja lvcreate.

Esimese asjana tuleb valida ketas/kettajagu, kus LVM-iga toimetama hakata. Uue ketta puhul oleks võimalusel mõtekas luua üks tervet ketast hõlmav partitsioon.

Näites on kasutatud ühte 4 GB suurust ketast (VirtualBox-i lisatud 4GB suurune virtuualne kõvaketas). Operatsioonisüsteem tunnistab seda kui /dev/sdb ja seega on näites kasutatavad ketta nimed/asukohad just sellised. Partitiooni tüübiks tuleb kindlasti määrata Linux LVM ehk kood „8e“

<pre>fdisk -l 2> /dev/null | grep Disk
Disk /dev/sda: 8589 MB, 8589934592 bytes
Disk identifier: 0x000bd8b1
Disk /dev/sdb: 4294 MB, 4294967296 bytes
Disk identifier: 0x11844f48</pre>

===Füüsilise ketta väärtuse muutmine===
Avada fdiskiga uue loodud ketta partitsioon ning luua uus primaarne kettajagu:

<pre>fdisk /dev/sdb
Command (m for help): n

Partition type:
p primary (0 primary, 0 extended, 4 free)
e extended

Select (default p): p

Partition number (1-4, default 1): 1

First sector (2048-8388607, default 2048):
Using default value 2048

Last sector, +sectors or +size{K,M,G} (2048-8388607, default 8388607):
Using default value 8388607</pre>

Print käskluse abil kuvatakse kettajagu, algus, lõpp, blokid, id ning süsteem. Loodud partitsioon on 83 ehk Linux. Partitsiooni süsteemse id muutmiseks kasutatakse '''t'''.

Käsklus '''L''' kuvab kõik kaheksandikkoodid . Linux LVM kood on 8e, et muuta kettajagu Linux LVM-iks on vaja muuta kettajao id 83-lt 8e-ks.
[[file:8e.PNG|500px]]

<pre>
Command (m for help): t
Selected partition 1

Hex code (type L to list codes): 8e
Changed system type of partition 1 to 8e (Linux LVM)

Command (m for help): w
The partition table has been altered!

Calling ioctl() to re-read partition table.
Syncing disks.</pre>

'''NB mitte väljuda q, mis väljub programmist muudatusi salvestamata!'''

===Füüsiline kettajagu===
Järgnevalt anname lvm-ile teada, et loodud partitsioon on „pv“ ehk physical volume.
{|style="background:lightyellow;width:500px;margin:3px;border:1px solid lightgrey" align=centre
| style="padding:0px 0px 0px 80px;font-family:courier;font-size:8pt;" |pvcreate disk1 disk2 disk3
|}

<pre>pvcreate /dev/sdb1
Physical volume "/dev/sdb1" successfully created</pre>

Kui kõik läks hästi siis peaks tulemus olemas selline:
<pre>pvdisplay
"/dev/sdb1" is a new physical volume of "4.00 GiB"
--- NEW Physical volume ---
PV Name /dev/sdb1
VG Name
PV Size 4.00 GiB
Allocatable NO
PE Size 0
Total PE 0
Free PE 0
Allocated PE 0
PV UUID EdmaX9-bXmQ-Oevp-p9W9-I2qY-gpMM-1w77aQ</pre>

===Kettagrupp===
Loome uue „volume group“ -i ja nimetame selle mysql -iks.
{|style="background:lightyellow;width:500px;margin:3px;border:1px solid lightgrey" align=centre
| style="padding:0px 0px 0px 80px;font-family:courier;font-size:8pt;" |vgcreate kettagrupi_nimi /dev/sdb1 /dev/sdc1 /dev/sdd1
|}

<pre>vgcreate mysql /dev/sdb1
Volume group "mysql" successfully created</pre>

<pre>vgdisplay
--- Volume group ---
VG Name mysql
System ID
Format lvm2
Metadata Areas 1
Metadata Sequence No 4
VG Access read/write
VG Status resizable
MAX LV 0
Cur LV 2
Open LV 2
Max PV 0
Cur PV 1
Act PV 1
VG Size 4.00 GiB
PE Size 4.00 MiB
Total PE 1023
Alloc PE / Size 512 / 2.00 GiB
Free PE / Size 511 / 2.00 GiB
VG UUID s5AjT8-ss7D-Gm9m-XY6j-ULMv-RLbR-xdy0K6</pre>

Järgnevalt saame luua „volume group“ -ile „logical volumes“ ehk loogilised kettajaod. Need on justkui partitsioonid füüsilisel kõvakettal ja neid saab juba andmete talletamiseks kasutada. Nimetame kettajao nimega data ja määrame tema suuruseks 1GB (antud suurus sobib väga hästi katsetamiseks aga reaalsetes süsteemides tuleb muidugi oluliselt suuremaid numbreid kasutada. ). Suuruse seadistamisel tuleb arvestada, et sama „volume group“ peale tuleb mahutada veel vähemalt üks sama suur loogiline kettajagu, mis on loodava LV snapshot. Näide kui VG suurus on kokku 10GB siis on võimalik teha maksimaalselt 5GB suurune loogiline kettajagu. Vastasel ei mahu tema kõrvale, samale VG-le tehtud LV snapshot.

===Loogiline kettajagu===
{|style="background:lightyellow;width:600px;margin:3px;border:1px solid lightgrey" align=centre
| style="padding:0px 0px 0px 80px;font-family:courier;font-size:8pt;" |lvcreate --size 1G --name loogilise_ketta_nimi kettagrupi_nimi
|}

<pre>lvcreate -n data -L 1GB mysql
Logical volume "data" created</pre>

Kontrollime tulemust:
<pre>lvdisplay
--- Logical volume ---
LV Name /dev/mysql/data
VG Name mysql
LV UUID SL0yWI-Mc2b-KhkE-V8P1-bW7E-3iL8-8zD6Uf
LV Write Access read/write
LV Status available
# open 0
LV Size 1.00 GiB
Current LE 256
Segments 1
Allocation inherit
Read ahead sectors auto
- currently set to 256
Block device 252:0</pre>

Teadmiseks: lvdisplay käsu käivitamisel on näha parameeter „LV Status“. See näitab, kas kettajagu on saadaval või mitte. Kasutada on võimalik ainult available olekus kettajagu. Eemaldada saab ainult NOT available olekus kettajagusid. Kettajao NOT available olekusse viimiseks saab kasutada käsku:

<pre>lvchange -a n /dev/mysql/data</pre>
ja tagasi:
<pre>lvchange -a y /dev/mysql/data</pre>

===Failisüsteemi loomine ja ühendamine===
Nüüd on loodud uus kettajagu, mida saab andmete säiltamiseks kasutada. Loome sellele kettajaole failisüsteemi:
<pre>mkfs -t ext4 /dev/mysql/data</pre>

Järgmisena tuleb loodud kettajagu kuhugile mountida. Mina teen sellejaoks /srv/mysql kausta ja haagin ketta sinna.

<pre>mkdir /srv/mysql
mount /dev/mysql/data /srv/mysql</pre>

Lisame '''/etc/fstab''' faili lõppu kirje, et ka järgmisel süsteemi käivitamisel oleks ketas kohe külgehaagitud

<pre>
<file system> <mount point> <type> <options> <dump> <pass>
/dev/mysql/data /srv/mysql ext4 defaults 0 0</pre>

==MySQL seadistamine==
Muudame kausta õigused mysql-ile sobivaks (kausta omanik on kasutaja mysql ja kaustale on ligipääs ainult kausta omanikul)
<pre>chown mysql:mysql /srv/mysql
chmod 0700 /srv/mysql</pre>

Nüüd tuleb olemasolev mysql data kaust liigutada /srv/mysql kausta. Esimese asjana peatada mysql server
<pre>service mysql stop
mysql stop/waiting</pre>

Kopeerime (!) kogu mysql-i data kausta loodud lvm kettajaole. Ubuntus (ilmselt ka paljudes teistes operatsioonisüsteemides) asub mysq-i data kaust /var/lib/mysql. Oleks vägagi soovitatav jätta andmed vanasse kausta alles ja kustuta see alles siis kui ollakse täiesti kindel, et server töötab tõrgeteta.
<pre>cp -ar /var/lib/mysql/. /srv/mysql</pre>

Seejärel tuleb mysql-i konfiguratsioonifailis ('''/etc/mysql/my.cnf''') muuta ära „datadir“ parameeter
<pre>datadir = /var/lib/mysql -> datadir = /srv/mysql</pre>

Teadmiseks: alates Ubuntu 7.10 -st on operatsioonisüsteemiga kaasas programm nimega „AppArmor“. Tegemist on kerneli turvamooduliga, mis teatavate programmide puhul piirab nende ligipääsu failisüsteemile. Et MySQL server uuesti korrektselt käivituks, tuleb „AppArmor“ -is mysq-i seadistust muuta. Sobiva tekstieditoriga tuleb avada ''''/etc/apparmor.d/usr.sbin.mysqld''' konfifail ja teha seal vajalikud muudatused :
<pre>/var/lib/mysql/ r, -> /srv/mysql r,
/var/lib/mysql/** rwk, -> /srv/mysql** rwk,</pre>

Osadel operatsioonisüsteemidel võib ka init skript ette anda, kus asub mysql-i datadir. Seega oleks mõistlik ka see '''/etc/init.d/mysql''' skriptist üle vaadata.

Käivitame uuesti mysql-i serveri. Kui kõik läks hästi, peaks olema tulemus sarnane:

<pre>service mysql start
mysql start/running, process 2588</pre>

Kontrollime mysql-i muutujaid:
<pre>mysqladmin -u{mysql-kasutaja} -p variables | grep datadir
Enter password: {mysql-parool}
| datadir | /srv/mysql/
</pre>
Lisaks tuleks sobiva mysql kliendiga serverisse sisse logida ja kontrollida üle, kas kõik jäi korrektselt tööle.

Nüüd, kui MySQL server on korrektselt töödanud ja tekib vajadus varukoopiate tegemiseks. Töötavast serverist snapshoti tegemisel pole vajalik eelnev serveri väljalülitama. Lihtsalt protseduuri ajaks oleks vajalik keelata ära andmete kirjutamine „FLUSH TABLES WITH READ LOCK;“ käsuga, lisaks võiks tühjendada ka logid „FLUSH LOGS;“ käsuga. Snapshoti tegemise protsess on äärmiselt kiire ja andmete lugemine andmebaasist toimib endiselt edasi. Samas andmete kirjutamise protsess viibib seni, kui andmebaasilt kirjutamise lukk maha võetakse (kõik kirjutamise käsud täidetakse kohe peale luku vabastamist).
Ehkki varukoopia tegemise protsess ei tekita katkestusi serveri töös, oleks hea mõte teha varukoopiaid sellisel ajal kui serveril on kõige väiksem koormus.
On vajalik teada, et andmebaas lukustatakse ainult selleks ajaks, kui mysql serverisse on sisse logitud. Kohe kui sessioon lõpetatakse, vabastatakse ka lukud. Seetõttu peab snaspshoti tegemise ajal olema serverisse sisse logitud. Variant on kasutada kahte terminali sessiooni aga vajalikke käske saab käivitada ka MySQL-i käsurealt (vajalik on mysql-i klient käivitada root kasutaja õigustes).
<pre>mysql -u root -p
Enter password:
Welcome to the MySQL monitor. Commands end with ; or \g.
Your MySQL connection id is 75
Server version: 5.5.28-0ubuntu0.12.04.2 (Ubuntu)

Copyright (c) 2000, 2012, Oracle and/or its affiliates. All rights reserved.

Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

mysql> FLUSH TABLES WITH READ LOCK;
Query OK, 0 rows affected (0.00 sec)

mysql> FLUSH LOGS;
Query OK, 0 rows affected (0.00 sec)
</pre>

==Tõmmise tegemine==
<pre>
mysql> SYSTEM /sbin/lvcreate -L 1G --snapshot -n sql_backup /dev/mysql/data
File descriptor 3 (socket:[15065]) leaked on lvcreate invocation. Parent PID 3514: sh
Logical volume "sql_backup" created
mysql> UNLOCK TABLES;
Query OK, 0 rows affected (0.01 sec)

mysql> exit
Bye
</pre>
Snapshoti kettajagu nimetati kui sql_backup ja viide loogilisele seadmele asub /dev/mysql/sql_backup. Käivitades käsu „lvs“, saab näha, et lisaks mysql/data LV-le on juurde tekkinud mysql/sql_backup
<pre>lvs
LV VG Attr LSize Origin Snap% Move Log Copy% Convert
data mysql owi-ao 1.00g
sql_backup mysql swi-a- 1.00g data 0.00
</pre>
Kui nüüd haakida tehtud snapshoti kettajagu, on seal kättesaadav kogu mysql-i data sellel hetkel, kui snapshot tehti.
<pre>mkdir /mnt/bk
mount /dev/mysql/sql_backup /mnt/bk
ls -la /mnt/bk
total 28720
drwx------ 8 mysql mysql 4096 Dec 12 15:59 .
drwxr-xr-x 3 root root 4096 Dec 12 16:34 ..
-rw-r--r-- 1 root root 0 Nov 30 17:18 debian-5.5.flag
-rw-rw---- 1 mysql mysql 18874368 Dec 12 16:18 ibdata1
-rw-rw---- 1 mysql mysql 5242880 Dec 12 16:18 ib_logfile0
-rw-rw---- 1 mysql mysql 5242880 Nov 30 17:18 ib_logfile1
drwx------ 2 root root 16384 Dec 12 15:58 lost+found
drwx------ 2 mysql root 4096 Nov 30 17:18 mysql
-rw-rw---- 1 root root 6 Nov 30 17:18 mysql_upgrade_info
drwx------ 2 mysql mysql 4096 Nov 30 17:18 performance_schema
drwx------ 2 mysql mysql 4096 Nov 30 17:28 phpmyadmin
drwx------ 2 mysql root 4096 Dec 12 16:18 test
drwx------ 2 mysql mysql 4096 Nov 30 17:33 wp
</pre>
MySQL-i server töötab peale snapshoti tegemist katkestusteta edasi. Tehtud snapshoti andmeid võib varundada arhiivi jaoks. Andmete varundamisel tuleb spashoti kettajagu failisüsteemi külge haakida ja selle sisu „tar“-i abil arhiveerida ja hiljem eemaldada snapshoti kettajagu
<pre>mkdir /mnt/bk
mount /dev/mysql/sql_backup /mnt/bk
tar -cjf /teekond/arhiivi/kuupäev.tar.bz2 -C /mnt bk
umount /dev/mysql/sql_backup
lvremove /dev/mysql/sql_backup
Do you really want to remove active logical volume sql_backup? [y/n]: Y
Logical volume "sql_backup" successfully removed
</pre>
UUS:
<pre>mkdir -p /var/teekond/arhiivi
tar -cjf var/teekond/arhiivi/kuupäev.tar.bz2 -C /mnt bk
umount /dev/mysql/sql_backup
lvremove /dev/mysql/sql_backup
Do you really want to remove active logical volume sql_backup? [y/n]: Y
Logical volume "sql_backup" successfully removed
</pre>
Kogu protseduuri automatiseerimiseks on võimalik koostada ka skript, mida saab käivitada sobival aja või kasutades „cron“ ajastamise vahendeid.

Lisaks on võimalik mysql-i data kaust haakida ümber snapshoti kettajaole ja taastada server sellesse seisu, mis oli snapshoti tegemise hetkel minimaalse katkestuse ajaga.

==Kokkuvõte==

LVM -i kasutamine varundamisel on väikestes ja mittekriitilistes süsteemides küllaltki hea lahendus. See ei nõua eriteadmisi ja kallist riistvara/tarkvara. Kuid suurematesse ja keerukamatesse lahendustesse see ei sobi, kuna see ainult aitab luua snapshoti hetke seisust aga ei paku võimalust seda eraldi salvestada. Arhiveerimiseks tuleb kasutada eraldi vahendeid ja selle protseduuri käigus võib minna kaduma vajalikke andmeid. Ka ei võistle LVM proffessionaalsete vahenditega nagu Arkeia (http://www.arkeia.com/) või BrightStor, mis on just varundamise lahenduste jaoks loodud ja muudavad antud tegemise mugavaks ja kiireks.

==Kasutatud kirjandus==
http://kuutorvaja.eenet.ee/wiki/LVM 
http://www.web-manual.net/linux-3/logical-volume-manager-in-linux/ 
http://www.lullabot.com/articles/mysql-backups-using-lvm-snapshots 
http://www.ubuntugeek.com/how-to-change-the-mysql-data-default-directory.html 
https://wiki.ubuntu.com/Lvm 
http://linuxconfig.org/Linux_lvm_-_Logical_Volume_Manager 
Loodus, Katrin. Andmesalvestustehnoloogiad - loeng 4.1 Ülevaade Logical Volume Manager-ist [https://wiki.itcollege.ee/index.php/Category:Andmesalvestustehnoloogiad]

"7 Linux fdisk Command Examples to Manage Hard Disk Partition" [http://www.thegeekstuff.com/2010/09/linux-fdisk/]

"LVM" [https://wiki.ubuntu.com/Lvm]

==Autor==
Madis Lauri
AK 31
[[Category:Operatsioonisüsteemide administreerimine ja sidumine]]

'''Täiendamine:'''

Carolys Kallas A32

Aine: Linuxi administreerimine

Viimati muudetud: 07.01.2013

Mysql varundamine LVM abil

2013-01-11T12:35:54Z

Ckallas: /* Tõmmise tegemine */

__TOC__
==Sissejuhatus==

Antud kirjatüki eesmärgiks on tutvustada LVM-i kui abivahendit toimivast süsteemist tagavarakoopiate tegemisel. Kuigi failisüsteemi snapshotide tegemine ja nende kasutamine on ainult üks LVM-i pakutavatest võimalustest. LVM - i snapshotide tegemise võimalus pole ainult mysql -i varundamiseks, vaid kasutatav ka muude andmete varukoopiate tegemiseks. Antud juhul on MySQL siin ainult „reisija“ aga protsessi selgitamiseks ja LVM snapshoti kasutamiseks on MySQL näitena väga hea. Kogu seadistamise protsess toimub Ubuntu Linux Server 12.04.1 LTS operatsioonisüsteemis ja kasutab sellega kaasnevaid vahendeid.

==Mis on mis?==
'''Logical Volume Manager''' - LVM

'''Physical Volume''' - PV, plokkseade, füüsiline kettajagu

'''Volume Group''' - VG, kettagrupp

'''Logical Volume''' - LV, loogiline kettajagu

'''Snapshot''' - (hetk)tõmmis

===LVM===
LVM ehk „Logical Volume Manager“ on ketta partitsioonide haldusvahend Linuxi ja UNIX-i laadsete operatsioonisüsteemide juures. LVM moodustab vahekihi failisüsteemi ja füüsilise kõvaketta vahele. Esmapilgul võib tunduda, et LVM on sarnane RAID (Redundant Array of Independent Disks) kettamassiiviga, on ta siiski hoopis paindlikum viis kettajagudega toimetamiseks. RAID võimaldab kettaid omavahel liita, et saada paremaid tulemusi kiiruses, mahus või töökindluses. LVM seevastu võimaldab korraga hallata mitut (ka loogilist) kettajagu, neid vastavalt vajadusele ümber tõsta ja mahtu muuta. Seega on tihti hea mõte neid kahte hoopis koos kasutada (näiteks RAID 10 ja LVM).
Lihtsustatult oleks ettekujutus eri kihtide tasemetest selline:
* Failisüsteemid
* LVM
* RAID (vajadusel)
* füüsilised plokkmäluseadmed (kõvakettad)

===Omadused===
LVM pakutavad võimalused on:
* Failisüsteemi suuruse muutmine
* Failisüsteemi snapshotide tegemine ja kasutamine (nii read-only kui ka read-write)
* Loodud/muudetud partitsioonide kohene kasutamine, kui ketas/partitsioon on mingil moel kasutusel. Fdisk-i kasutamisel tuleb OP-süsteem taaskäivitada.
* Väiksemate füüsiliste plokkseadmete kokku ühendamine, üheks suureks loogiliseks seadmeks. (Nagu RAID)
* Ketaste liigutamine ja ühendamine üle võrgu

Lisainfot LVM-i kohta: http://en.wikipedia.org/wiki/Logical_Volume_Manager_(Linux)

===MySQL===
MySQL on Oracle Corporation poolt hallatav relatsioonilise andmebaasi haldamise süsteem. On äärmiselt populaarne andmebaasisüsteem erinevates veebirakendustes aga ka mõningates suuremates süsteemides. Oma populaarsuse on ta saanud tänu äärmiselt lihtsale hallatavusele ja kasutajasõbralikkusele. Hetkel ei hakka MySQL-i omadustel ja võimalustel pikemalt peatuma. Rohkem informatsiooni leiab: http://www.mysql.com/

==Eeldused==
*Installeeritud Ubuntu Server (vähemalt 12.04 versioon)
*Tutvutud kettajagudega (kiire kordamine näiteks '''[[Osadmin spikker]]''')

'''Viia kõik käsklused läbi sudo kasutaja alt'''
sudo -i

===Ketaste lisamine===
Kõigepealt on vaja lisada serverile kõvaketas, mida hiljem LVM-iga siduma hakata.

[[File:Create_hard_disk.PNG‎|500px]]

Luua uus 4GB ketas, mis on VirtualBox Disk Image (VDI) formaadis ning dünaamiliselt jagatud.

===Vajaliku tarkvara installeerimine===

Et LVM-i ja MySQL-i seadistada on vajalikud teadmised, kuidas toimub Linuxis ketaste ja partitisoonide haldamine ja baasteadmised MySQL-ist.
Kõigepealt on vajalik installeerida lvm2 nimeline pakett, eelnevalt uuendada tarkvaravaramu nimekirja.
<pre>apt-get update
apt-get install lvm2</pre>
Olenevalt operatsioonisüsteemist võib olla vajalikud pakeid juba installeeritud, kontrollida saab nii:
<pre>lvm version</pre>

<pre>lvm version
LVM version: 2.02.66(2) (2010-05-20)
Library version: 1.02.48 (2010-05-20)
Driver version: 4.22.0
</pre>
Lisaks on vajalik installeerida MySQL server ja klientprogramm serveriga ühendumiseks.
<pre>apt-get install mysql-server</pre>
NB! Kuna LVM-i kasutuselevõtmine vajab mõningast MySQL-i ümberseadistamist, tuleb arvestada asjaoluga, et MySQL-i data kausta ümbertõstmisel ei pruugi olemasolevad andmed säilida (InnoDB) ja vajalik oleks serveris olevatest andmetest enne .sql kujul tagavarakoopia teha.

==LVM -i seadistamine==
[[File: LVM.jpg|450px]]

LVM ise jaguneb kolmeks eri kihiks: plokkseadmed (PV), kettagrupid (VG), millesse on organiseeritud füüsilised plokkseadmed ja loogilised kettajaod, mis on jagatud kettagrupid.
Iga kihiga toimetamisel on oma käsud, mis viitavad sellele, mis kihiga hetkel toimetatakse: pv*, vg* ning lv*. Näiteks pvcreate, vgcreate ja lvcreate.

Esimese asjana tuleb valida ketas/kettajagu, kus LVM-iga toimetama hakata. Uue ketta puhul oleks võimalusel mõtekas luua üks tervet ketast hõlmav partitsioon.

Näites on kasutatud ühte 4 GB suurust ketast (VirtualBox-i lisatud 4GB suurune virtuualne kõvaketas). Operatsioonisüsteem tunnistab seda kui /dev/sdb ja seega on näites kasutatavad ketta nimed/asukohad just sellised. Partitiooni tüübiks tuleb kindlasti määrata Linux LVM ehk kood „8e“

<pre>fdisk -l 2> /dev/null | grep Disk
Disk /dev/sda: 8589 MB, 8589934592 bytes
Disk identifier: 0x000bd8b1
Disk /dev/sdb: 4294 MB, 4294967296 bytes
Disk identifier: 0x11844f48</pre>

===Füüsilise ketta väärtuse muutmine===
Avada fdiskiga uue loodud ketta partitsioon ning luua uus primaarne kettajagu:

<pre>fdisk /dev/sdb
Command (m for help): n

Partition type:
p primary (0 primary, 0 extended, 4 free)
e extended

Select (default p): p

Partition number (1-4, default 1): 1

First sector (2048-8388607, default 2048):
Using default value 2048

Last sector, +sectors or +size{K,M,G} (2048-8388607, default 8388607):
Using default value 8388607</pre>

Print käskluse abil kuvatakse kettajagu, algus, lõpp, blokid, id ning süsteem. Loodud partitsioon on 83 ehk Linux. Partitsiooni süsteemse id muutmiseks kasutatakse '''t'''.

Käsklus '''L''' kuvab kõik kaheksandikkoodid . Linux LVM kood on 8e, et muuta kettajagu Linux LVM-iks on vaja muuta kettajao id 83-lt 8e-ks.
[[file:8e.PNG|500px]]

<pre>
Command (m for help): t
Selected partition 1

Hex code (type L to list codes): 8e
Changed system type of partition 1 to 8e (Linux LVM)

Command (m for help): w
The partition table has been altered!

Calling ioctl() to re-read partition table.
Syncing disks.</pre>

'''NB mitte väljuda q, mis väljub programmist muudatusi salvestamata!'''

===Füüsiline kettajagu===
Järgnevalt anname lvm-ile teada, et loodud partitsioon on „pv“ ehk physical volume.
{|style="background:lightyellow;width:500px;margin:3px;border:1px solid lightgrey" align=centre
| style="padding:0px 0px 0px 80px;font-family:courier;font-size:8pt;" |pvcreate disk1 disk2 disk3
|}

<pre>pvcreate /dev/sdb1
Physical volume "/dev/sdb1" successfully created</pre>

Kui kõik läks hästi siis peaks tulemus olemas selline:
<pre>pvdisplay
"/dev/sdb1" is a new physical volume of "4.00 GiB"
--- NEW Physical volume ---
PV Name /dev/sdb1
VG Name
PV Size 4.00 GiB
Allocatable NO
PE Size 0
Total PE 0
Free PE 0
Allocated PE 0
PV UUID EdmaX9-bXmQ-Oevp-p9W9-I2qY-gpMM-1w77aQ</pre>

===Kettagrupp===
Loome uue „volume group“ -i ja nimetame selle mysql -iks.
{|style="background:lightyellow;width:500px;margin:3px;border:1px solid lightgrey" align=centre
| style="padding:0px 0px 0px 80px;font-family:courier;font-size:8pt;" |vgcreate kettagrupi_nimi /dev/sdb1 /dev/sdc1 /dev/sdd1
|}

<pre>vgcreate mysql /dev/sdb1
Volume group "mysql" successfully created</pre>

<pre>vgdisplay
--- Volume group ---
VG Name mysql
System ID
Format lvm2
Metadata Areas 1
Metadata Sequence No 4
VG Access read/write
VG Status resizable
MAX LV 0
Cur LV 2
Open LV 2
Max PV 0
Cur PV 1
Act PV 1
VG Size 4.00 GiB
PE Size 4.00 MiB
Total PE 1023
Alloc PE / Size 512 / 2.00 GiB
Free PE / Size 511 / 2.00 GiB
VG UUID s5AjT8-ss7D-Gm9m-XY6j-ULMv-RLbR-xdy0K6</pre>

Järgnevalt saame luua „volume group“ -ile „logical volumes“ ehk loogilised kettajaod. Need on justkui partitsioonid füüsilisel kõvakettal ja neid saab juba andmete talletamiseks kasutada. Nimetame kettajao nimega data ja määrame tema suuruseks 1GB (antud suurus sobib väga hästi katsetamiseks aga reaalsetes süsteemides tuleb muidugi oluliselt suuremaid numbreid kasutada. ). Suuruse seadistamisel tuleb arvestada, et sama „volume group“ peale tuleb mahutada veel vähemalt üks sama suur loogiline kettajagu, mis on loodava LV snapshot. Näide kui VG suurus on kokku 10GB siis on võimalik teha maksimaalselt 5GB suurune loogiline kettajagu. Vastasel ei mahu tema kõrvale, samale VG-le tehtud LV snapshot.

===Loogiline kettajagu===
{|style="background:lightyellow;width:600px;margin:3px;border:1px solid lightgrey" align=centre
| style="padding:0px 0px 0px 80px;font-family:courier;font-size:8pt;" |lvcreate --size 1G --name loogilise_ketta_nimi kettagrupi_nimi
|}

<pre>lvcreate -n data -L 1GB mysql
Logical volume "data" created</pre>

Kontrollime tulemust:
<pre>lvdisplay
--- Logical volume ---
LV Name /dev/mysql/data
VG Name mysql
LV UUID SL0yWI-Mc2b-KhkE-V8P1-bW7E-3iL8-8zD6Uf
LV Write Access read/write
LV Status available
# open 0
LV Size 1.00 GiB
Current LE 256
Segments 1
Allocation inherit
Read ahead sectors auto
- currently set to 256
Block device 252:0</pre>

Teadmiseks: lvdisplay käsu käivitamisel on näha parameeter „LV Status“. See näitab, kas kettajagu on saadaval või mitte. Kasutada on võimalik ainult available olekus kettajagu. Eemaldada saab ainult NOT available olekus kettajagusid. Kettajao NOT available olekusse viimiseks saab kasutada käsku:

<pre>lvchange -a n /dev/mysql/data</pre>
ja tagasi:
<pre>lvchange -a y /dev/mysql/data</pre>

===Failisüsteemi loomine ja ühendamine===
Nüüd on loodud uus kettajagu, mida saab andmete säiltamiseks kasutada. Loome sellele kettajaole failisüsteemi:
<pre>mkfs -t ext4 /dev/mysql/data</pre>

Järgmisena tuleb loodud kettajagu kuhugile mountida. Mina teen sellejaoks /srv/mysql kausta ja haagin ketta sinna.

<pre>mkdir /srv/mysql
mount /dev/mysql/data /srv/mysql</pre>

Lisame '''/etc/fstab''' faili lõppu kirje, et ka järgmisel süsteemi käivitamisel oleks ketas kohe külgehaagitud

<pre>
<file system> <mount point> <type> <options> <dump> <pass>
/dev/mysql/data /srv/mysql ext4 defaults 0 0</pre>

==MySQL seadistamine==
Muudame kausta õigused mysql-ile sobivaks (kausta omanik on kasutaja mysql ja kaustale on ligipääs ainult kausta omanikul)
<pre>chown mysql:mysql /srv/mysql
chmod 0700 /srv/mysql</pre>

Nüüd tuleb olemasolev mysql data kaust liigutada /srv/mysql kausta. Esimese asjana peatada mysql server
<pre>service mysql stop
mysql stop/waiting</pre>

Kopeerime (!) kogu mysql-i data kausta loodud lvm kettajaole. Ubuntus (ilmselt ka paljudes teistes operatsioonisüsteemides) asub mysq-i data kaust /var/lib/mysql. Oleks vägagi soovitatav jätta andmed vanasse kausta alles ja kustuta see alles siis kui ollakse täiesti kindel, et server töötab tõrgeteta.
<pre>cp -ar /var/lib/mysql/. /srv/mysql</pre>

Seejärel tuleb mysql-i konfiguratsioonifailis ('''/etc/mysql/my.cnf''') muuta ära „datadir“ parameeter
<pre>datadir = /var/lib/mysql -> datadir = /srv/mysql</pre>

Teadmiseks: alates Ubuntu 7.10 -st on operatsioonisüsteemiga kaasas programm nimega „AppArmor“. Tegemist on kerneli turvamooduliga, mis teatavate programmide puhul piirab nende ligipääsu failisüsteemile. Et MySQL server uuesti korrektselt käivituks, tuleb „AppArmor“ -is mysq-i seadistust muuta. Sobiva tekstieditoriga tuleb avada ''''/etc/apparmor.d/usr.sbin.mysqld''' konfifail ja teha seal vajalikud muudatused :
<pre>/var/lib/mysql/ r, -> /srv/mysql r,
/var/lib/mysql/** rwk, -> /srv/mysql** rwk,</pre>

Osadel operatsioonisüsteemidel võib ka init skript ette anda, kus asub mysql-i datadir. Seega oleks mõistlik ka see '''/etc/init.d/mysql''' skriptist üle vaadata.

Käivitame uuesti mysql-i serveri. Kui kõik läks hästi, peaks olema tulemus sarnane:

<pre>service mysql start
mysql start/running, process 2588</pre>

Kontrollime mysql-i muutujaid:
<pre>mysqladmin -u{mysql-kasutaja} -p variables | grep datadir
Enter password: {mysql-parool}
| datadir | /srv/mysql/
</pre>
Lisaks tuleks sobiva mysql kliendiga serverisse sisse logida ja kontrollida üle, kas kõik jäi korrektselt tööle.

Nüüd, kui MySQL server on korrektselt töödanud ja tekib vajadus varukoopiate tegemiseks. Töötavast serverist snapshoti tegemisel pole vajalik eelnev serveri väljalülitama. Lihtsalt protseduuri ajaks oleks vajalik keelata ära andmete kirjutamine „FLUSH TABLES WITH READ LOCK;“ käsuga, lisaks võiks tühjendada ka logid „FLUSH LOGS;“ käsuga. Snapshoti tegemise protsess on äärmiselt kiire ja andmete lugemine andmebaasist toimib endiselt edasi. Samas andmete kirjutamise protsess viibib seni, kui andmebaasilt kirjutamise lukk maha võetakse (kõik kirjutamise käsud täidetakse kohe peale luku vabastamist).
Ehkki varukoopia tegemise protsess ei tekita katkestusi serveri töös, oleks hea mõte teha varukoopiaid sellisel ajal kui serveril on kõige väiksem koormus.
On vajalik teada, et andmebaas lukustatakse ainult selleks ajaks, kui mysql serverisse on sisse logitud. Kohe kui sessioon lõpetatakse, vabastatakse ka lukud. Seetõttu peab snaspshoti tegemise ajal olema serverisse sisse logitud. Variant on kasutada kahte terminali sessiooni aga vajalikke käske saab käivitada ka MySQL-i käsurealt (vajalik on mysql-i klient käivitada root kasutaja õigustes).
<pre>mysql -u root -p
Enter password:
Welcome to the MySQL monitor. Commands end with ; or \g.
Your MySQL connection id is 75
Server version: 5.5.28-0ubuntu0.12.04.2 (Ubuntu)

Copyright (c) 2000, 2012, Oracle and/or its affiliates. All rights reserved.

Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

mysql> FLUSH TABLES WITH READ LOCK;
Query OK, 0 rows affected (0.00 sec)

mysql> FLUSH LOGS;
Query OK, 0 rows affected (0.00 sec)
</pre>

==Tõmmise tegemine==
<pre>
mysql> SYSTEM /sbin/lvcreate -L 1G --snapshot -n sql_backup /dev/mysql/data
File descriptor 3 (socket:[15065]) leaked on lvcreate invocation. Parent PID 3514: sh
Logical volume "sql_backup" created
mysql> UNLOCK TABLES;
Query OK, 0 rows affected (0.01 sec)

mysql> exit
Bye
</pre>
Snapshoti kettajagu nimetati kui sql_backup ja viide loogilisele seadmele asub /dev/mysql/sql_backup. Käivitades käsu „lvs“, saab näha, et lisaks mysql/data LV-le on juurde tekkinud mysql/sql_backup
<pre>lvs
LV VG Attr LSize Origin Snap% Move Log Copy% Convert
data mysql owi-ao 1.00g
sql_backup mysql swi-a- 1.00g data 0.00
</pre>
Kui nüüd haakida tehtud snapshoti kettajagu, on seal kättesaadav kogu mysql-i data sellel hetkel, kui snapshot tehti.
<pre>mkdir /mnt/bk
mount /dev/mysql/sql_backup /mnt/bk
ls -la /mnt/bk
total 28720
drwx------ 8 mysql mysql 4096 Dec 12 15:59 .
drwxr-xr-x 3 root root 4096 Dec 12 16:34 ..
-rw-r--r-- 1 root root 0 Nov 30 17:18 debian-5.5.flag
-rw-rw---- 1 mysql mysql 18874368 Dec 12 16:18 ibdata1
-rw-rw---- 1 mysql mysql 5242880 Dec 12 16:18 ib_logfile0
-rw-rw---- 1 mysql mysql 5242880 Nov 30 17:18 ib_logfile1
drwx------ 2 root root 16384 Dec 12 15:58 lost+found
drwx------ 2 mysql root 4096 Nov 30 17:18 mysql
-rw-rw---- 1 root root 6 Nov 30 17:18 mysql_upgrade_info
drwx------ 2 mysql mysql 4096 Nov 30 17:18 performance_schema
drwx------ 2 mysql mysql 4096 Nov 30 17:28 phpmyadmin
drwx------ 2 mysql root 4096 Dec 12 16:18 test
drwx------ 2 mysql mysql 4096 Nov 30 17:33 wp
</pre>
MySQL-i server töötab peale snapshoti tegemist katkestusteta edasi. Tehtud snapshoti andmeid võib varundada arhiivi jaoks. Andmete varundamisel tuleb spashoti kettajagu failisüsteemi külge haakida ja selle sisu „tar“-i abil arhiveerida ja hiljem eemaldada snapshoti kettajagu
<pre>mkdir /mnt/bk
mount /dev/mysql/sql_backup /mnt/bk
tar -cjf /teekond/arhiivi/kuupäev.tar.bz2 -C /mnt bk
umount /dev/mysql/sql_backup
lvremove /dev/mysql/sql_backup
Do you really want to remove active logical volume sql_backup? [y/n]: Y
Logical volume "sql_backup" successfully removed
</pre>
UUS:
<pre>mkdir -p /var/teekond/arhiivi
tar -cjf var/teekond/arhiivi/kuupäev.tar.bz2 -C /mnt bk
umount /dev/mysql/sql_backup
lvremove /dev/mysql/sql_backup
Do you really want to remove active logical volume sql_backup? [y/n]: Y
Logical volume "sql_backup" successfully removed
</pre>
Kogu protseduuri automatiseerimiseks on võimalik koostada ka skript, mida saab käivitada sobival aja või kasutades „cron“ ajastamise vahendeid.

Lisaks on võimalik mysql-i data kaust haakida ümber snapshoti kettajaole ja taastada server sellesse seisu, mis oli snapshoti tegemise hetkel minimaalse katkestuse ajaga.

==Kokkuvõte==

LVM -i kasutamine varundamisel on väikestes ja mittekriitilistes süsteemides küllaltki hea lahendus. See ei nõua eriteadmisi ja kallist riistvara/tarkvara. Kuid suurematesse ja keerukamatesse lahendustesse see ei sobi, kuna see ainult aitab luua snapshoti hetke seisust aga ei paku võimalust seda eraldi salvestada. Arhiveerimiseks tuleb kasutada eraldi vahendeid ja selle protseduuri käigus võib minna kaduma vajalikke andmeid. Ka ei võistle LVM proffessionaalsete vahenditega nagu Arkeia (http://www.arkeia.com/) või BrightStor, mis on just varundamise lahenduste jaoks loodud ja muudavad antud tegemise mugavaks ja kiireks.

==Kasutatud kirjandus==
http://kuutorvaja.eenet.ee/wiki/LVM 
http://www.web-manual.net/linux-3/logical-volume-manager-in-linux/ 
http://www.lullabot.com/articles/mysql-backups-using-lvm-snapshots 
http://www.ubuntugeek.com/how-to-change-the-mysql-data-default-directory.html 
https://wiki.ubuntu.com/Lvm 
http://linuxconfig.org/Linux_lvm_-_Logical_Volume_Manager 

==Autor==
Madis Lauri
AK 31
[[Category:Operatsioonisüsteemide administreerimine ja sidumine]]

'''Täiendamine:'''

Carolys Kallas A32

Aine: Linuxi administreerimine

Viimati muudetud: 07.01.2013

Mysql varundamine LVM abil

2013-01-11T11:50:15Z

Ckallas: /* MySQL seadistamine */

__TOC__
==Sissejuhatus==

Antud kirjatüki eesmärgiks on tutvustada LVM-i kui abivahendit toimivast süsteemist tagavarakoopiate tegemisel. Kuigi failisüsteemi snapshotide tegemine ja nende kasutamine on ainult üks LVM-i pakutavatest võimalustest. LVM - i snapshotide tegemise võimalus pole ainult mysql -i varundamiseks, vaid kasutatav ka muude andmete varukoopiate tegemiseks. Antud juhul on MySQL siin ainult „reisija“ aga protsessi selgitamiseks ja LVM snapshoti kasutamiseks on MySQL näitena väga hea. Kogu seadistamise protsess toimub Ubuntu Linux Server 12.04.1 LTS operatsioonisüsteemis ja kasutab sellega kaasnevaid vahendeid.

==Mis on mis?==
'''Logical Volume Manager''' - LVM

'''Physical Volume''' - PV, plokkseade, füüsiline kettajagu

'''Volume Group''' - VG, kettagrupp

'''Logical Volume''' - LV, loogiline kettajagu

'''Snapshot''' - (hetk)tõmmis

===LVM===
LVM ehk „Logical Volume Manager“ on ketta partitsioonide haldusvahend Linuxi ja UNIX-i laadsete operatsioonisüsteemide juures. LVM moodustab vahekihi failisüsteemi ja füüsilise kõvaketta vahele. Esmapilgul võib tunduda, et LVM on sarnane RAID (Redundant Array of Independent Disks) kettamassiiviga, on ta siiski hoopis paindlikum viis kettajagudega toimetamiseks. RAID võimaldab kettaid omavahel liita, et saada paremaid tulemusi kiiruses, mahus või töökindluses. LVM seevastu võimaldab korraga hallata mitut (ka loogilist) kettajagu, neid vastavalt vajadusele ümber tõsta ja mahtu muuta. Seega on tihti hea mõte neid kahte hoopis koos kasutada (näiteks RAID 10 ja LVM).
Lihtsustatult oleks ettekujutus eri kihtide tasemetest selline:
* Failisüsteemid
* LVM
* RAID (vajadusel)
* füüsilised plokkmäluseadmed (kõvakettad)

===Omadused===
LVM pakutavad võimalused on:
* Failisüsteemi suuruse muutmine
* Failisüsteemi snapshotide tegemine ja kasutamine (nii read-only kui ka read-write)
* Loodud/muudetud partitsioonide kohene kasutamine, kui ketas/partitsioon on mingil moel kasutusel. Fdisk-i kasutamisel tuleb OP-süsteem taaskäivitada.
* Väiksemate füüsiliste plokkseadmete kokku ühendamine, üheks suureks loogiliseks seadmeks. (Nagu RAID)
* Ketaste liigutamine ja ühendamine üle võrgu

Lisainfot LVM-i kohta: http://en.wikipedia.org/wiki/Logical_Volume_Manager_(Linux)

===MySQL===
MySQL on Oracle Corporation poolt hallatav relatsioonilise andmebaasi haldamise süsteem. On äärmiselt populaarne andmebaasisüsteem erinevates veebirakendustes aga ka mõningates suuremates süsteemides. Oma populaarsuse on ta saanud tänu äärmiselt lihtsale hallatavusele ja kasutajasõbralikkusele. Hetkel ei hakka MySQL-i omadustel ja võimalustel pikemalt peatuma. Rohkem informatsiooni leiab: http://www.mysql.com/

==Eeldused==
*Installeeritud Ubuntu Server (vähemalt 12.04 versioon)
*Tutvutud kettajagudega (kiire kordamine näiteks '''[[Osadmin spikker]]''')

'''Viia kõik käsklused läbi sudo kasutaja alt'''
sudo -i

===Ketaste lisamine===
Kõigepealt on vaja lisada serverile kõvaketas, mida hiljem LVM-iga siduma hakata.

[[File:Create_hard_disk.PNG‎|500px]]

Luua uus 4GB ketas, mis on VirtualBox Disk Image (VDI) formaadis ning dünaamiliselt jagatud.

===Vajaliku tarkvara installeerimine===

Et LVM-i ja MySQL-i seadistada on vajalikud teadmised, kuidas toimub Linuxis ketaste ja partitisoonide haldamine ja baasteadmised MySQL-ist.
Kõigepealt on vajalik installeerida lvm2 nimeline pakett, eelnevalt uuendada tarkvaravaramu nimekirja.
<pre>apt-get update
apt-get install lvm2</pre>
Olenevalt operatsioonisüsteemist võib olla vajalikud pakeid juba installeeritud, kontrollida saab nii:
<pre>lvm version</pre>

<pre>lvm version
LVM version: 2.02.66(2) (2010-05-20)
Library version: 1.02.48 (2010-05-20)
Driver version: 4.22.0
</pre>
Lisaks on vajalik installeerida MySQL server ja klientprogramm serveriga ühendumiseks.
<pre>apt-get install mysql-server</pre>
NB! Kuna LVM-i kasutuselevõtmine vajab mõningast MySQL-i ümberseadistamist, tuleb arvestada asjaoluga, et MySQL-i data kausta ümbertõstmisel ei pruugi olemasolevad andmed säilida (InnoDB) ja vajalik oleks serveris olevatest andmetest enne .sql kujul tagavarakoopia teha.

==LVM -i seadistamine==
[[File: LVM.jpg|450px]]

LVM ise jaguneb kolmeks eri kihiks: plokkseadmed (PV), kettagrupid (VG), millesse on organiseeritud füüsilised plokkseadmed ja loogilised kettajaod, mis on jagatud kettagrupid.
Iga kihiga toimetamisel on oma käsud, mis viitavad sellele, mis kihiga hetkel toimetatakse: pv*, vg* ning lv*. Näiteks pvcreate, vgcreate ja lvcreate.

Esimese asjana tuleb valida ketas/kettajagu, kus LVM-iga toimetama hakata. Uue ketta puhul oleks võimalusel mõtekas luua üks tervet ketast hõlmav partitsioon.

Näites on kasutatud ühte 4 GB suurust ketast (VirtualBox-i lisatud 4GB suurune virtuualne kõvaketas). Operatsioonisüsteem tunnistab seda kui /dev/sdb ja seega on näites kasutatavad ketta nimed/asukohad just sellised. Partitiooni tüübiks tuleb kindlasti määrata Linux LVM ehk kood „8e“

<pre>fdisk -l 2> /dev/null | grep Disk
Disk /dev/sda: 8589 MB, 8589934592 bytes
Disk identifier: 0x000bd8b1
Disk /dev/sdb: 4294 MB, 4294967296 bytes
Disk identifier: 0x11844f48</pre>

===Füüsilise ketta väärtuse muutmine===
Avada fdiskiga uue loodud ketta partitsioon ning luua uus primaarne kettajagu:

<pre>fdisk /dev/sdb
Command (m for help): n

Partition type:
p primary (0 primary, 0 extended, 4 free)
e extended

Select (default p): p

Partition number (1-4, default 1): 1

First sector (2048-8388607, default 2048):
Using default value 2048

Last sector, +sectors or +size{K,M,G} (2048-8388607, default 8388607):
Using default value 8388607</pre>

Print käskluse abil kuvatakse kettajagu, algus, lõpp, blokid, id ning süsteem. Loodud partitsioon on 83 ehk Linux. Partitsiooni süsteemse id muutmiseks kasutatakse '''t'''.

Käsklus '''L''' kuvab kõik kaheksandikkoodid . Linux LVM kood on 8e, et muuta kettajagu Linux LVM-iks on vaja muuta kettajao id 83-lt 8e-ks.
[[file:8e.PNG|500px]]

<pre>
Command (m for help): t
Selected partition 1

Hex code (type L to list codes): 8e
Changed system type of partition 1 to 8e (Linux LVM)

Command (m for help): w
The partition table has been altered!

Calling ioctl() to re-read partition table.
Syncing disks.</pre>

'''NB mitte väljuda q, mis väljub programmist muudatusi salvestamata!'''

===Füüsiline kettajagu===
Järgnevalt anname lvm-ile teada, et loodud partitsioon on „pv“ ehk physical volume.
{|style="background:lightyellow;width:500px;margin:3px;border:1px solid lightgrey" align=centre
| style="padding:0px 0px 0px 80px;font-family:courier;font-size:8pt;" |pvcreate disk1 disk2 disk3
|}

<pre>pvcreate /dev/sdb1
Physical volume "/dev/sdb1" successfully created</pre>

Kui kõik läks hästi siis peaks tulemus olemas selline:
<pre>pvdisplay
"/dev/sdb1" is a new physical volume of "4.00 GiB"
--- NEW Physical volume ---
PV Name /dev/sdb1
VG Name
PV Size 4.00 GiB
Allocatable NO
PE Size 0
Total PE 0
Free PE 0
Allocated PE 0
PV UUID EdmaX9-bXmQ-Oevp-p9W9-I2qY-gpMM-1w77aQ</pre>

===Kettagrupp===
Loome uue „volume group“ -i ja nimetame selle mysql -iks.
{|style="background:lightyellow;width:500px;margin:3px;border:1px solid lightgrey" align=centre
| style="padding:0px 0px 0px 80px;font-family:courier;font-size:8pt;" |vgcreate kettagrupi_nimi /dev/sdb1 /dev/sdc1 /dev/sdd1
|}

<pre>vgcreate mysql /dev/sdb1
Volume group "mysql" successfully created</pre>

<pre>vgdisplay
--- Volume group ---
VG Name mysql
System ID
Format lvm2
Metadata Areas 1
Metadata Sequence No 4
VG Access read/write
VG Status resizable
MAX LV 0
Cur LV 2
Open LV 2
Max PV 0
Cur PV 1
Act PV 1
VG Size 4.00 GiB
PE Size 4.00 MiB
Total PE 1023
Alloc PE / Size 512 / 2.00 GiB
Free PE / Size 511 / 2.00 GiB
VG UUID s5AjT8-ss7D-Gm9m-XY6j-ULMv-RLbR-xdy0K6</pre>

Järgnevalt saame luua „volume group“ -ile „logical volumes“ ehk loogilised kettajaod. Need on justkui partitsioonid füüsilisel kõvakettal ja neid saab juba andmete talletamiseks kasutada. Nimetame kettajao nimega data ja määrame tema suuruseks 1GB (antud suurus sobib väga hästi katsetamiseks aga reaalsetes süsteemides tuleb muidugi oluliselt suuremaid numbreid kasutada. ). Suuruse seadistamisel tuleb arvestada, et sama „volume group“ peale tuleb mahutada veel vähemalt üks sama suur loogiline kettajagu, mis on loodava LV snapshot. Näide kui VG suurus on kokku 10GB siis on võimalik teha maksimaalselt 5GB suurune loogiline kettajagu. Vastasel ei mahu tema kõrvale, samale VG-le tehtud LV snapshot.

===Loogiline kettajagu===
{|style="background:lightyellow;width:600px;margin:3px;border:1px solid lightgrey" align=centre
| style="padding:0px 0px 0px 80px;font-family:courier;font-size:8pt;" |lvcreate --size 1G --name loogilise_ketta_nimi kettagrupi_nimi
|}

<pre>lvcreate -n data -L 1GB mysql
Logical volume "data" created</pre>

Kontrollime tulemust:
<pre>lvdisplay
--- Logical volume ---
LV Name /dev/mysql/data
VG Name mysql
LV UUID SL0yWI-Mc2b-KhkE-V8P1-bW7E-3iL8-8zD6Uf
LV Write Access read/write
LV Status available
# open 0
LV Size 1.00 GiB
Current LE 256
Segments 1
Allocation inherit
Read ahead sectors auto
- currently set to 256
Block device 252:0</pre>

Teadmiseks: lvdisplay käsu käivitamisel on näha parameeter „LV Status“. See näitab, kas kettajagu on saadaval või mitte. Kasutada on võimalik ainult available olekus kettajagu. Eemaldada saab ainult NOT available olekus kettajagusid. Kettajao NOT available olekusse viimiseks saab kasutada käsku:

<pre>lvchange -a n /dev/mysql/data</pre>
ja tagasi:
<pre>lvchange -a y /dev/mysql/data</pre>

===Failisüsteemi loomine ja ühendamine===
Nüüd on loodud uus kettajagu, mida saab andmete säiltamiseks kasutada. Loome sellele kettajaole failisüsteemi:
<pre>mkfs -t ext4 /dev/mysql/data</pre>

Järgmisena tuleb loodud kettajagu kuhugile mountida. Mina teen sellejaoks /srv/mysql kausta ja haagin ketta sinna.

<pre>mkdir /srv/mysql
mount /dev/mysql/data /srv/mysql</pre>

Lisame '''/etc/fstab''' faili lõppu kirje, et ka järgmisel süsteemi käivitamisel oleks ketas kohe külgehaagitud

<pre>
<file system> <mount point> <type> <options> <dump> <pass>
/dev/mysql/data /srv/mysql ext4 defaults 0 0</pre>

==MySQL seadistamine==
Muudame kausta õigused mysql-ile sobivaks (kausta omanik on kasutaja mysql ja kaustale on ligipääs ainult kausta omanikul)
<pre>chown mysql:mysql /srv/mysql
chmod 0700 /srv/mysql</pre>

Nüüd tuleb olemasolev mysql data kaust liigutada /srv/mysql kausta. Esimese asjana peatada mysql server
<pre>service mysql stop
mysql stop/waiting</pre>

Kopeerime (!) kogu mysql-i data kausta loodud lvm kettajaole. Ubuntus (ilmselt ka paljudes teistes operatsioonisüsteemides) asub mysq-i data kaust /var/lib/mysql. Oleks vägagi soovitatav jätta andmed vanasse kausta alles ja kustuta see alles siis kui ollakse täiesti kindel, et server töötab tõrgeteta.
<pre>cp -ar /var/lib/mysql/. /srv/mysql</pre>

Seejärel tuleb mysql-i konfiguratsioonifailis ('''/etc/mysql/my.cnf''') muuta ära „datadir“ parameeter
<pre>datadir = /var/lib/mysql -> datadir = /srv/mysql</pre>

Teadmiseks: alates Ubuntu 7.10 -st on operatsioonisüsteemiga kaasas programm nimega „AppArmor“. Tegemist on kerneli turvamooduliga, mis teatavate programmide puhul piirab nende ligipääsu failisüsteemile. Et MySQL server uuesti korrektselt käivituks, tuleb „AppArmor“ -is mysq-i seadistust muuta. Sobiva tekstieditoriga tuleb avada ''''/etc/apparmor.d/usr.sbin.mysqld''' konfifail ja teha seal vajalikud muudatused :
<pre>/var/lib/mysql/ r, -> /srv/mysql r,
/var/lib/mysql/** rwk, -> /srv/mysql** rwk,</pre>

Osadel operatsioonisüsteemidel võib ka init skript ette anda, kus asub mysql-i datadir. Seega oleks mõistlik ka see '''/etc/init.d/mysql''' skriptist üle vaadata.

Käivitame uuesti mysql-i serveri. Kui kõik läks hästi, peaks olema tulemus sarnane:

<pre>service mysql start
mysql start/running, process 2588</pre>

Kontrollime mysql-i muutujaid:
<pre>mysqladmin -u{mysql-kasutaja} -p variables | grep datadir
Enter password: {mysql-parool}
| datadir | /srv/mysql/
</pre>
Lisaks tuleks sobiva mysql kliendiga serverisse sisse logida ja kontrollida üle, kas kõik jäi korrektselt tööle.

Nüüd, kui MySQL server on korrektselt töödanud ja tekib vajadus varukoopiate tegemiseks. Töötavast serverist snapshoti tegemisel pole vajalik eelnev serveri väljalülitama. Lihtsalt protseduuri ajaks oleks vajalik keelata ära andmete kirjutamine „FLUSH TABLES WITH READ LOCK;“ käsuga, lisaks võiks tühjendada ka logid „FLUSH LOGS;“ käsuga. Snapshoti tegemise protsess on äärmiselt kiire ja andmete lugemine andmebaasist toimib endiselt edasi. Samas andmete kirjutamise protsess viibib seni, kui andmebaasilt kirjutamise lukk maha võetakse (kõik kirjutamise käsud täidetakse kohe peale luku vabastamist).
Ehkki varukoopia tegemise protsess ei tekita katkestusi serveri töös, oleks hea mõte teha varukoopiaid sellisel ajal kui serveril on kõige väiksem koormus.
On vajalik teada, et andmebaas lukustatakse ainult selleks ajaks, kui mysql serverisse on sisse logitud. Kohe kui sessioon lõpetatakse, vabastatakse ka lukud. Seetõttu peab snaspshoti tegemise ajal olema serverisse sisse logitud. Variant on kasutada kahte terminali sessiooni aga vajalikke käske saab käivitada ka MySQL-i käsurealt (vajalik on mysql-i klient käivitada root kasutaja õigustes).
<pre>mysql -u root -p
Enter password:
Welcome to the MySQL monitor. Commands end with ; or \g.
Your MySQL connection id is 75
Server version: 5.5.28-0ubuntu0.12.04.2 (Ubuntu)

Copyright (c) 2000, 2012, Oracle and/or its affiliates. All rights reserved.

Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

mysql> FLUSH TABLES WITH READ LOCK;
Query OK, 0 rows affected (0.00 sec)

mysql> FLUSH LOGS;
Query OK, 0 rows affected (0.00 sec)
</pre>

==Tõmmise tegemine==
<pre>
mysql> SYSTEM /sbin/lvcreate -L 1G --snapshot -n sql_backup /dev/mysql/data
File descriptor 3 (socket:[15065]) leaked on lvcreate invocation. Parent PID 3514: sh
Logical volume "sql_backup" created
mysql> UNLOCK TABLES;
Query OK, 0 rows affected (0.01 sec)

mysql> exit
Bye
</pre>
Snapshoti kettajagu nimetati kui sql_backup ja viide loogilisele seadmele asub /dev/mysql/sql_backup. Käivitades käsu „lvs“, saab näha, et lisaks mysql/data LV-le on juurde tekkinud mysql/sql_backup
<pre>lvs
LV VG Attr LSize Origin Snap% Move Log Copy% Convert
data mysql owi-ao 1.00g
sql_backup mysql swi-a- 1.00g data 0.00
</pre>
Kui nüüd haakida tehtud snapshoti kettajagu, on seal kättesaadav kogu mysql-i data sellel hetkel, kui snapshot tehti.
<pre>mkdir /mnt/bk
mount /dev/mysql/sql_backup /mnt/bk
ls -la /mnt/bk
total 28720
drwx------ 8 mysql mysql 4096 Dec 12 15:59 .
drwxr-xr-x 3 root root 4096 Dec 12 16:34 ..
-rw-r--r-- 1 root root 0 Nov 30 17:18 debian-5.5.flag
-rw-rw---- 1 mysql mysql 18874368 Dec 12 16:18 ibdata1
-rw-rw---- 1 mysql mysql 5242880 Dec 12 16:18 ib_logfile0
-rw-rw---- 1 mysql mysql 5242880 Nov 30 17:18 ib_logfile1
drwx------ 2 root root 16384 Dec 12 15:58 lost+found
drwx------ 2 mysql root 4096 Nov 30 17:18 mysql
-rw-rw---- 1 root root 6 Nov 30 17:18 mysql_upgrade_info
drwx------ 2 mysql mysql 4096 Nov 30 17:18 performance_schema
drwx------ 2 mysql mysql 4096 Nov 30 17:28 phpmyadmin
drwx------ 2 mysql root 4096 Dec 12 16:18 test
drwx------ 2 mysql mysql 4096 Nov 30 17:33 wp
</pre>
MySQL-i server töötab peale snapshoti tegemist katkestusteta edasi. Tehtud snapshoti andmeid võib varundada arhiivi jaoks. Andmete varundamisel tuleb spashoti kettajagu failisüsteemi külge haakida ja selle sisu „tar“-i abil arhiveerida ja hiljem eemaldada snapshoti kettajagu
<pre>mkdir /mnt/bk
mount /dev/mysql/sql_backup /mnt/bk
tar -cjf /teekond/arhiivi/kuupäev.tar.bz2 -C /mnt bk
umount /dev/mysql/sql_backup
lvremove /dev/mysql/sql_backup
Do you really want to remove active logical volume sql_backup? [y/n]: Y
Logical volume "sql_backup" successfully removed
</pre>
Kogu protseduuri automatiseerimiseks on võimalik koostada ka skript, mida saab käivitada sobival aja või kasutades „cron“ ajastamise vahendeid.

Lisaks on võimalik mysql-i data kaust haakida ümber snapshoti kettajaole ja taastada server sellesse seisu, mis oli snapshoti tegemise hetkel minimaalse katkestuse ajaga.

==Kokkuvõte==

LVM -i kasutamine varundamisel on väikestes ja mittekriitilistes süsteemides küllaltki hea lahendus. See ei nõua eriteadmisi ja kallist riistvara/tarkvara. Kuid suurematesse ja keerukamatesse lahendustesse see ei sobi, kuna see ainult aitab luua snapshoti hetke seisust aga ei paku võimalust seda eraldi salvestada. Arhiveerimiseks tuleb kasutada eraldi vahendeid ja selle protseduuri käigus võib minna kaduma vajalikke andmeid. Ka ei võistle LVM proffessionaalsete vahenditega nagu Arkeia (http://www.arkeia.com/) või BrightStor, mis on just varundamise lahenduste jaoks loodud ja muudavad antud tegemise mugavaks ja kiireks.

==Kasutatud kirjandus==
http://kuutorvaja.eenet.ee/wiki/LVM 
http://www.web-manual.net/linux-3/logical-volume-manager-in-linux/ 
http://www.lullabot.com/articles/mysql-backups-using-lvm-snapshots 
http://www.ubuntugeek.com/how-to-change-the-mysql-data-default-directory.html 
https://wiki.ubuntu.com/Lvm 
http://linuxconfig.org/Linux_lvm_-_Logical_Volume_Manager 

==Autor==
Madis Lauri
AK 31
[[Category:Operatsioonisüsteemide administreerimine ja sidumine]]

'''Täiendamine:'''

Carolys Kallas A32

Aine: Linuxi administreerimine

Viimati muudetud: 07.01.2013

Mysql varundamine LVM abil

2013-01-11T11:39:02Z

Ckallas: /* Vajaliku tarkvara installeerimine */

__TOC__
==Sissejuhatus==

Antud kirjatüki eesmärgiks on tutvustada LVM-i kui abivahendit toimivast süsteemist tagavarakoopiate tegemisel. Kuigi failisüsteemi snapshotide tegemine ja nende kasutamine on ainult üks LVM-i pakutavatest võimalustest. LVM - i snapshotide tegemise võimalus pole ainult mysql -i varundamiseks, vaid kasutatav ka muude andmete varukoopiate tegemiseks. Antud juhul on MySQL siin ainult „reisija“ aga protsessi selgitamiseks ja LVM snapshoti kasutamiseks on MySQL näitena väga hea. Kogu seadistamise protsess toimub Ubuntu Linux Server 12.04.1 LTS operatsioonisüsteemis ja kasutab sellega kaasnevaid vahendeid.

==Mis on mis?==
'''Logical Volume Manager''' - LVM

'''Physical Volume''' - PV, plokkseade, füüsiline kettajagu

'''Volume Group''' - VG, kettagrupp

'''Logical Volume''' - LV, loogiline kettajagu

'''Snapshot''' - (hetk)tõmmis

===LVM===
LVM ehk „Logical Volume Manager“ on ketta partitsioonide haldusvahend Linuxi ja UNIX-i laadsete operatsioonisüsteemide juures. LVM moodustab vahekihi failisüsteemi ja füüsilise kõvaketta vahele. Esmapilgul võib tunduda, et LVM on sarnane RAID (Redundant Array of Independent Disks) kettamassiiviga, on ta siiski hoopis paindlikum viis kettajagudega toimetamiseks. RAID võimaldab kettaid omavahel liita, et saada paremaid tulemusi kiiruses, mahus või töökindluses. LVM seevastu võimaldab korraga hallata mitut (ka loogilist) kettajagu, neid vastavalt vajadusele ümber tõsta ja mahtu muuta. Seega on tihti hea mõte neid kahte hoopis koos kasutada (näiteks RAID 10 ja LVM).
Lihtsustatult oleks ettekujutus eri kihtide tasemetest selline:
* Failisüsteemid
* LVM
* RAID (vajadusel)
* füüsilised plokkmäluseadmed (kõvakettad)

===Omadused===
LVM pakutavad võimalused on:
* Failisüsteemi suuruse muutmine
* Failisüsteemi snapshotide tegemine ja kasutamine (nii read-only kui ka read-write)
* Loodud/muudetud partitsioonide kohene kasutamine, kui ketas/partitsioon on mingil moel kasutusel. Fdisk-i kasutamisel tuleb OP-süsteem taaskäivitada.
* Väiksemate füüsiliste plokkseadmete kokku ühendamine, üheks suureks loogiliseks seadmeks. (Nagu RAID)
* Ketaste liigutamine ja ühendamine üle võrgu

Lisainfot LVM-i kohta: http://en.wikipedia.org/wiki/Logical_Volume_Manager_(Linux)

===MySQL===
MySQL on Oracle Corporation poolt hallatav relatsioonilise andmebaasi haldamise süsteem. On äärmiselt populaarne andmebaasisüsteem erinevates veebirakendustes aga ka mõningates suuremates süsteemides. Oma populaarsuse on ta saanud tänu äärmiselt lihtsale hallatavusele ja kasutajasõbralikkusele. Hetkel ei hakka MySQL-i omadustel ja võimalustel pikemalt peatuma. Rohkem informatsiooni leiab: http://www.mysql.com/

==Eeldused==
*Installeeritud Ubuntu Server (vähemalt 12.04 versioon)
*Tutvutud kettajagudega (kiire kordamine näiteks '''[[Osadmin spikker]]''')

'''Viia kõik käsklused läbi sudo kasutaja alt'''
sudo -i

===Ketaste lisamine===
Kõigepealt on vaja lisada serverile kõvaketas, mida hiljem LVM-iga siduma hakata.

[[File:Create_hard_disk.PNG‎|500px]]

Luua uus 4GB ketas, mis on VirtualBox Disk Image (VDI) formaadis ning dünaamiliselt jagatud.

===Vajaliku tarkvara installeerimine===

Et LVM-i ja MySQL-i seadistada on vajalikud teadmised, kuidas toimub Linuxis ketaste ja partitisoonide haldamine ja baasteadmised MySQL-ist.
Kõigepealt on vajalik installeerida lvm2 nimeline pakett, eelnevalt uuendada tarkvaravaramu nimekirja.
<pre>apt-get update
apt-get install lvm2</pre>
Olenevalt operatsioonisüsteemist võib olla vajalikud pakeid juba installeeritud, kontrollida saab nii:
<pre>lvm version</pre>

<pre>lvm version
LVM version: 2.02.66(2) (2010-05-20)
Library version: 1.02.48 (2010-05-20)
Driver version: 4.22.0
</pre>
Lisaks on vajalik installeerida MySQL server ja klientprogramm serveriga ühendumiseks.
<pre>apt-get install mysql-server</pre>
NB! Kuna LVM-i kasutuselevõtmine vajab mõningast MySQL-i ümberseadistamist, tuleb arvestada asjaoluga, et MySQL-i data kausta ümbertõstmisel ei pruugi olemasolevad andmed säilida (InnoDB) ja vajalik oleks serveris olevatest andmetest enne .sql kujul tagavarakoopia teha.

==LVM -i seadistamine==
[[File: LVM.jpg|450px]]

LVM ise jaguneb kolmeks eri kihiks: plokkseadmed (PV), kettagrupid (VG), millesse on organiseeritud füüsilised plokkseadmed ja loogilised kettajaod, mis on jagatud kettagrupid.
Iga kihiga toimetamisel on oma käsud, mis viitavad sellele, mis kihiga hetkel toimetatakse: pv*, vg* ning lv*. Näiteks pvcreate, vgcreate ja lvcreate.

Esimese asjana tuleb valida ketas/kettajagu, kus LVM-iga toimetama hakata. Uue ketta puhul oleks võimalusel mõtekas luua üks tervet ketast hõlmav partitsioon.

Näites on kasutatud ühte 4 GB suurust ketast (VirtualBox-i lisatud 4GB suurune virtuualne kõvaketas). Operatsioonisüsteem tunnistab seda kui /dev/sdb ja seega on näites kasutatavad ketta nimed/asukohad just sellised. Partitiooni tüübiks tuleb kindlasti määrata Linux LVM ehk kood „8e“

<pre>fdisk -l 2> /dev/null | grep Disk
Disk /dev/sda: 8589 MB, 8589934592 bytes
Disk identifier: 0x000bd8b1
Disk /dev/sdb: 4294 MB, 4294967296 bytes
Disk identifier: 0x11844f48</pre>

===Füüsilise ketta väärtuse muutmine===
Avada fdiskiga uue loodud ketta partitsioon ning luua uus primaarne kettajagu:

<pre>fdisk /dev/sdb
Command (m for help): n

Partition type:
p primary (0 primary, 0 extended, 4 free)
e extended

Select (default p): p

Partition number (1-4, default 1): 1

First sector (2048-8388607, default 2048):
Using default value 2048

Last sector, +sectors or +size{K,M,G} (2048-8388607, default 8388607):
Using default value 8388607</pre>

Print käskluse abil kuvatakse kettajagu, algus, lõpp, blokid, id ning süsteem. Loodud partitsioon on 83 ehk Linux. Partitsiooni süsteemse id muutmiseks kasutatakse '''t'''.

Käsklus '''L''' kuvab kõik kaheksandikkoodid . Linux LVM kood on 8e, et muuta kettajagu Linux LVM-iks on vaja muuta kettajao id 83-lt 8e-ks.
[[file:8e.PNG|500px]]

<pre>
Command (m for help): t
Selected partition 1

Hex code (type L to list codes): 8e
Changed system type of partition 1 to 8e (Linux LVM)

Command (m for help): w
The partition table has been altered!

Calling ioctl() to re-read partition table.
Syncing disks.</pre>

'''NB mitte väljuda q, mis väljub programmist muudatusi salvestamata!'''

===Füüsiline kettajagu===
Järgnevalt anname lvm-ile teada, et loodud partitsioon on „pv“ ehk physical volume.
{|style="background:lightyellow;width:500px;margin:3px;border:1px solid lightgrey" align=centre
| style="padding:0px 0px 0px 80px;font-family:courier;font-size:8pt;" |pvcreate disk1 disk2 disk3
|}

<pre>pvcreate /dev/sdb1
Physical volume "/dev/sdb1" successfully created</pre>

Kui kõik läks hästi siis peaks tulemus olemas selline:
<pre>pvdisplay
"/dev/sdb1" is a new physical volume of "4.00 GiB"
--- NEW Physical volume ---
PV Name /dev/sdb1
VG Name
PV Size 4.00 GiB
Allocatable NO
PE Size 0
Total PE 0
Free PE 0
Allocated PE 0
PV UUID EdmaX9-bXmQ-Oevp-p9W9-I2qY-gpMM-1w77aQ</pre>

===Kettagrupp===
Loome uue „volume group“ -i ja nimetame selle mysql -iks.
{|style="background:lightyellow;width:500px;margin:3px;border:1px solid lightgrey" align=centre
| style="padding:0px 0px 0px 80px;font-family:courier;font-size:8pt;" |vgcreate kettagrupi_nimi /dev/sdb1 /dev/sdc1 /dev/sdd1
|}

<pre>vgcreate mysql /dev/sdb1
Volume group "mysql" successfully created</pre>

<pre>vgdisplay
--- Volume group ---
VG Name mysql
System ID
Format lvm2
Metadata Areas 1
Metadata Sequence No 4
VG Access read/write
VG Status resizable
MAX LV 0
Cur LV 2
Open LV 2
Max PV 0
Cur PV 1
Act PV 1
VG Size 4.00 GiB
PE Size 4.00 MiB
Total PE 1023
Alloc PE / Size 512 / 2.00 GiB
Free PE / Size 511 / 2.00 GiB
VG UUID s5AjT8-ss7D-Gm9m-XY6j-ULMv-RLbR-xdy0K6</pre>

Järgnevalt saame luua „volume group“ -ile „logical volumes“ ehk loogilised kettajaod. Need on justkui partitsioonid füüsilisel kõvakettal ja neid saab juba andmete talletamiseks kasutada. Nimetame kettajao nimega data ja määrame tema suuruseks 1GB (antud suurus sobib väga hästi katsetamiseks aga reaalsetes süsteemides tuleb muidugi oluliselt suuremaid numbreid kasutada. ). Suuruse seadistamisel tuleb arvestada, et sama „volume group“ peale tuleb mahutada veel vähemalt üks sama suur loogiline kettajagu, mis on loodava LV snapshot. Näide kui VG suurus on kokku 10GB siis on võimalik teha maksimaalselt 5GB suurune loogiline kettajagu. Vastasel ei mahu tema kõrvale, samale VG-le tehtud LV snapshot.

===Loogiline kettajagu===
{|style="background:lightyellow;width:600px;margin:3px;border:1px solid lightgrey" align=centre
| style="padding:0px 0px 0px 80px;font-family:courier;font-size:8pt;" |lvcreate --size 1G --name loogilise_ketta_nimi kettagrupi_nimi
|}

<pre>lvcreate -n data -L 1GB mysql
Logical volume "data" created</pre>

Kontrollime tulemust:
<pre>lvdisplay
--- Logical volume ---
LV Name /dev/mysql/data
VG Name mysql
LV UUID SL0yWI-Mc2b-KhkE-V8P1-bW7E-3iL8-8zD6Uf
LV Write Access read/write
LV Status available
# open 0
LV Size 1.00 GiB
Current LE 256
Segments 1
Allocation inherit
Read ahead sectors auto
- currently set to 256
Block device 252:0</pre>

Teadmiseks: lvdisplay käsu käivitamisel on näha parameeter „LV Status“. See näitab, kas kettajagu on saadaval või mitte. Kasutada on võimalik ainult available olekus kettajagu. Eemaldada saab ainult NOT available olekus kettajagusid. Kettajao NOT available olekusse viimiseks saab kasutada käsku:

<pre>lvchange -a n /dev/mysql/data</pre>
ja tagasi:
<pre>lvchange -a y /dev/mysql/data</pre>

===Failisüsteemi loomine ja ühendamine===
Nüüd on loodud uus kettajagu, mida saab andmete säiltamiseks kasutada. Loome sellele kettajaole failisüsteemi:
<pre>mkfs -t ext4 /dev/mysql/data</pre>

Järgmisena tuleb loodud kettajagu kuhugile mountida. Mina teen sellejaoks /srv/mysql kausta ja haagin ketta sinna.

<pre>mkdir /srv/mysql
mount /dev/mysql/data /srv/mysql</pre>

Lisame '''/etc/fstab''' faili lõppu kirje, et ka järgmisel süsteemi käivitamisel oleks ketas kohe külgehaagitud

<pre>
<file system> <mount point> <type> <options> <dump> <pass>
/dev/mysql/data /srv/mysql ext4 defaults 0 0</pre>

==MySQL seadistamine==
Muudame kausta õigused mysql-ile sobivaks (kausta omanik on kasutaja mysql ja kaustale on ligipääs ainult kausta omanikul)
<pre>chown mysql:mysql /srv/mysql
chmod 0700 /srv/mysql</pre>

Nüüd tuleb olemasolev mysql data kaust liigutada /srv/mysql kausta. Esimese asjana peatada mysql server
<pre>service mysql stop
mysql stop/waiting</pre>

Kopeerime (!) kogu mysql-i data kausta loodud lvm kettajaole. Ubuntus (ilmselt ka paljudes teistes operatsioonisüsteemides) asub mysq-i data kaust /var/lib/mysql. Oleks vägagi soovitatav jätta andmed vanasse kausta alles ja kustuta see alles siis kui ollakse täiesti kindel, et server töötab tõrgeteta.
<pre>cp -ar /var/lib/mysql/. /srv/mysql</pre>

Seejärel tuleb mysql-i konfiguratsioonifailis (/etc/mysql/my.cnf) muuta ära „datadir“ parameeter
<pre>datadir = /var/lib/mysql -> datadir = /srv/mysql</pre>

Teadmiseks: alates Ubuntu 7.10 -st on operatsioonisüsteemiga kaasas programm nimega „AppArmor“. Tegemist on kerneli turvamooduliga, mis teatavate programmide puhul piirab nende ligipääsu failisüsteemile. Et MySQL server uuesti korrektselt käivituks, tuleb „AppArmor“ -is mysq-i seadistust muuta. Sobiva tekstieditoriga tuleb avada /etc/apparmor.d/usr.sbin.mysqld konfifail ja teha seal vajalikud muudatused :
<pre>/var/lib/mysql/ r, -> /srv/mysql r,
/var/lib/mysql/** rwk, -> /srv/mysql** rwk,</pre>

Osadel operatsioonisüsteemidel võib ka init skript ette anda, kus asub mysql-i datadir. Seega oleks mõistlik ka see /etc/init.d/mysql skriptist üle vaadata.

Käivitame uuesti mysql-i serveri. Kui kõik läks hästi, peaks olema tulemus sarnane:

<pre>service mysql start
mysql start/running, process 2588</pre>

Kontrollime mysql-i muutujaid:
<pre>mysqladmin -u{mysql-kasutaja} -p variables | grep datadir
Enter password: {mysql-parool}
| datadir | /srv/mysql/
</pre>
Lisaks tuleks sobiva mysql kliendiga serverisse sisse logida ja kontrollida üle, kas kõik jäi korrektselt tööle.

Nüüd, kui MySQL server on korrektselt töödanud ja tekib vajadus varukoopiate tegemiseks. Töötavast serverist snapshoti tegemisel pole vajalik eelnev serveri väljalülitama. Lihtsalt protseduuri ajaks oleks vajalik keelata ära andmete kirjutamine „FLUSH TABLES WITH READ LOCK;“ käsuga, lisaks võiks tühjendada ka logid „FLUSH LOGS;“ käsuga. Snapshoti tegemise protsess on äärmiselt kiire ja andmete lugemine andmebaasist toimib endiselt edasi. Samas andmete kirjutamise protsess viibib seni, kui andmebaasilt kirjutamise lukk maha võetakse (kõik kirjutamise käsud täidetakse kohe peale luku vabastamist).
Ehkki varukoopia tegemise protsess ei tekita katkestusi serveri töös, oleks hea mõte teha varukoopiaid sellisel ajal kui serveril on kõige väiksem koormus.
On vajalik teada, et andmebaas lukustatakse ainult selleks ajaks, kui mysql serverisse on sisse logitud. Kohe kui sessioon lõpetatakse, vabastatakse ka lukud. Seetõttu peab snaspshoti tegemise ajal olema serverisse sisse logitud. Variant on kasutada kahte terminali sessiooni aga vajalikke käske saab käivitada ka MySQL-i käsurealt (vajalik on mysql-i klient käivitada root kasutaja õigustes).
<pre>mysql -u root -p
Enter password:
Welcome to the MySQL monitor. Commands end with ; or \g.
Your MySQL connection id is 75
Server version: 5.5.28-0ubuntu0.12.04.2 (Ubuntu)

Copyright (c) 2000, 2012, Oracle and/or its affiliates. All rights reserved.

Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

mysql> FLUSH TABLES WITH READ LOCK;
Query OK, 0 rows affected (0.00 sec)

mysql> FLUSH LOGS;
Query OK, 0 rows affected (0.00 sec)
</pre>

==Tõmmise tegemine==
<pre>
mysql> SYSTEM /sbin/lvcreate -L 1G --snapshot -n sql_backup /dev/mysql/data
File descriptor 3 (socket:[15065]) leaked on lvcreate invocation. Parent PID 3514: sh
Logical volume "sql_backup" created
mysql> UNLOCK TABLES;
Query OK, 0 rows affected (0.01 sec)

mysql> exit
Bye
</pre>
Snapshoti kettajagu nimetati kui sql_backup ja viide loogilisele seadmele asub /dev/mysql/sql_backup. Käivitades käsu „lvs“, saab näha, et lisaks mysql/data LV-le on juurde tekkinud mysql/sql_backup
<pre>lvs
LV VG Attr LSize Origin Snap% Move Log Copy% Convert
data mysql owi-ao 1.00g
sql_backup mysql swi-a- 1.00g data 0.00
</pre>
Kui nüüd haakida tehtud snapshoti kettajagu, on seal kättesaadav kogu mysql-i data sellel hetkel, kui snapshot tehti.
<pre>mkdir /mnt/bk
mount /dev/mysql/sql_backup /mnt/bk
ls -la /mnt/bk
total 28720
drwx------ 8 mysql mysql 4096 Dec 12 15:59 .
drwxr-xr-x 3 root root 4096 Dec 12 16:34 ..
-rw-r--r-- 1 root root 0 Nov 30 17:18 debian-5.5.flag
-rw-rw---- 1 mysql mysql 18874368 Dec 12 16:18 ibdata1
-rw-rw---- 1 mysql mysql 5242880 Dec 12 16:18 ib_logfile0
-rw-rw---- 1 mysql mysql 5242880 Nov 30 17:18 ib_logfile1
drwx------ 2 root root 16384 Dec 12 15:58 lost+found
drwx------ 2 mysql root 4096 Nov 30 17:18 mysql
-rw-rw---- 1 root root 6 Nov 30 17:18 mysql_upgrade_info
drwx------ 2 mysql mysql 4096 Nov 30 17:18 performance_schema
drwx------ 2 mysql mysql 4096 Nov 30 17:28 phpmyadmin
drwx------ 2 mysql root 4096 Dec 12 16:18 test
drwx------ 2 mysql mysql 4096 Nov 30 17:33 wp
</pre>
MySQL-i server töötab peale snapshoti tegemist katkestusteta edasi. Tehtud snapshoti andmeid võib varundada arhiivi jaoks. Andmete varundamisel tuleb spashoti kettajagu failisüsteemi külge haakida ja selle sisu „tar“-i abil arhiveerida ja hiljem eemaldada snapshoti kettajagu
<pre>mkdir /mnt/bk
mount /dev/mysql/sql_backup /mnt/bk
tar -cjf /teekond/arhiivi/kuupäev.tar.bz2 -C /mnt bk
umount /dev/mysql/sql_backup
lvremove /dev/mysql/sql_backup
Do you really want to remove active logical volume sql_backup? [y/n]: Y
Logical volume "sql_backup" successfully removed
</pre>
Kogu protseduuri automatiseerimiseks on võimalik koostada ka skript, mida saab käivitada sobival aja või kasutades „cron“ ajastamise vahendeid.

Lisaks on võimalik mysql-i data kaust haakida ümber snapshoti kettajaole ja taastada server sellesse seisu, mis oli snapshoti tegemise hetkel minimaalse katkestuse ajaga.

==Kokkuvõte==

LVM -i kasutamine varundamisel on väikestes ja mittekriitilistes süsteemides küllaltki hea lahendus. See ei nõua eriteadmisi ja kallist riistvara/tarkvara. Kuid suurematesse ja keerukamatesse lahendustesse see ei sobi, kuna see ainult aitab luua snapshoti hetke seisust aga ei paku võimalust seda eraldi salvestada. Arhiveerimiseks tuleb kasutada eraldi vahendeid ja selle protseduuri käigus võib minna kaduma vajalikke andmeid. Ka ei võistle LVM proffessionaalsete vahenditega nagu Arkeia (http://www.arkeia.com/) või BrightStor, mis on just varundamise lahenduste jaoks loodud ja muudavad antud tegemise mugavaks ja kiireks.

==Kasutatud kirjandus==
http://kuutorvaja.eenet.ee/wiki/LVM 
http://www.web-manual.net/linux-3/logical-volume-manager-in-linux/ 
http://www.lullabot.com/articles/mysql-backups-using-lvm-snapshots 
http://www.ubuntugeek.com/how-to-change-the-mysql-data-default-directory.html 
https://wiki.ubuntu.com/Lvm 
http://linuxconfig.org/Linux_lvm_-_Logical_Volume_Manager 

==Autor==
Madis Lauri
AK 31
[[Category:Operatsioonisüsteemide administreerimine ja sidumine]]

'''Täiendamine:'''

Carolys Kallas A32

Aine: Linuxi administreerimine

Viimati muudetud: 07.01.2013

Mysql varundamine LVM abil

2013-01-11T11:32:52Z

Ckallas:

__TOC__
==Sissejuhatus==

Antud kirjatüki eesmärgiks on tutvustada LVM-i kui abivahendit toimivast süsteemist tagavarakoopiate tegemisel. Kuigi failisüsteemi snapshotide tegemine ja nende kasutamine on ainult üks LVM-i pakutavatest võimalustest. LVM - i snapshotide tegemise võimalus pole ainult mysql -i varundamiseks, vaid kasutatav ka muude andmete varukoopiate tegemiseks. Antud juhul on MySQL siin ainult „reisija“ aga protsessi selgitamiseks ja LVM snapshoti kasutamiseks on MySQL näitena väga hea. Kogu seadistamise protsess toimub Ubuntu Linux Server 12.04.1 LTS operatsioonisüsteemis ja kasutab sellega kaasnevaid vahendeid.

==Mis on mis?==
'''Logical Volume Manager''' - LVM

'''Physical Volume''' - PV, plokkseade, füüsiline kettajagu

'''Volume Group''' - VG, kettagrupp

'''Logical Volume''' - LV, loogiline kettajagu

'''Snapshot''' - (hetk)tõmmis

===LVM===
LVM ehk „Logical Volume Manager“ on ketta partitsioonide haldusvahend Linuxi ja UNIX-i laadsete operatsioonisüsteemide juures. LVM moodustab vahekihi failisüsteemi ja füüsilise kõvaketta vahele. Esmapilgul võib tunduda, et LVM on sarnane RAID (Redundant Array of Independent Disks) kettamassiiviga, on ta siiski hoopis paindlikum viis kettajagudega toimetamiseks. RAID võimaldab kettaid omavahel liita, et saada paremaid tulemusi kiiruses, mahus või töökindluses. LVM seevastu võimaldab korraga hallata mitut (ka loogilist) kettajagu, neid vastavalt vajadusele ümber tõsta ja mahtu muuta. Seega on tihti hea mõte neid kahte hoopis koos kasutada (näiteks RAID 10 ja LVM).
Lihtsustatult oleks ettekujutus eri kihtide tasemetest selline:
* Failisüsteemid
* LVM
* RAID (vajadusel)
* füüsilised plokkmäluseadmed (kõvakettad)

===Omadused===
LVM pakutavad võimalused on:
* Failisüsteemi suuruse muutmine
* Failisüsteemi snapshotide tegemine ja kasutamine (nii read-only kui ka read-write)
* Loodud/muudetud partitsioonide kohene kasutamine, kui ketas/partitsioon on mingil moel kasutusel. Fdisk-i kasutamisel tuleb OP-süsteem taaskäivitada.
* Väiksemate füüsiliste plokkseadmete kokku ühendamine, üheks suureks loogiliseks seadmeks. (Nagu RAID)
* Ketaste liigutamine ja ühendamine üle võrgu

Lisainfot LVM-i kohta: http://en.wikipedia.org/wiki/Logical_Volume_Manager_(Linux)

===MySQL===
MySQL on Oracle Corporation poolt hallatav relatsioonilise andmebaasi haldamise süsteem. On äärmiselt populaarne andmebaasisüsteem erinevates veebirakendustes aga ka mõningates suuremates süsteemides. Oma populaarsuse on ta saanud tänu äärmiselt lihtsale hallatavusele ja kasutajasõbralikkusele. Hetkel ei hakka MySQL-i omadustel ja võimalustel pikemalt peatuma. Rohkem informatsiooni leiab: http://www.mysql.com/

==Eeldused==
*Installeeritud Ubuntu Server (vähemalt 12.04 versioon)
*Tutvutud kettajagudega (kiire kordamine näiteks '''[[Osadmin spikker]]''')

'''Viia kõik käsklused läbi sudo kasutaja alt'''
sudo -i

===Ketaste lisamine===
Kõigepealt on vaja lisada serverile kõvaketas, mida hiljem LVM-iga siduma hakata.

[[File:Create_hard_disk.PNG‎|500px]]

Luua uus 4GB ketas, mis on VirtualBox Disk Image (VDI) formaadis ning dünaamiliselt jagatud.

===Vajaliku tarkvara installeerimine===

Et LVM-i ja MySQL-i seadistada on vajalikud teadmised, kuidas toimub Linuxis ketaste ja partitisoonide haldamine ja baasteadmised MySQL-ist.
Kõigepealt on vajalik installeerida lvm2 nimeline pakett.
<pre>apt-get install lvm2</pre>
Olenevalt operatsioonisüsteemist võib olla vajalikud pakeid juba installeeritud, kontrollida saab nii:
<pre>lvm version</pre>

<pre>lvm version
LVM version: 2.02.66(2) (2010-05-20)
Library version: 1.02.48 (2010-05-20)
Driver version: 4.22.0
</pre>
Lisaks on vajalik installeerida MySQL server ja klientprogramm serveriga ühendumiseks.
<pre>apt-get install mysql-server</pre>
NB! Kuna LVM-i kasutuselevõtmine vajab mõningast MySQL-i ümberseadistamist, tuleb arvestada asjaoluga, et MySQL-i data kausta ümbertõstmisel ei pruugi olemasolevad andmed säilida (InnoDB) ja vajalik oleks serveris olevatest andmetest enne .sql kujul tagavarakoopia teha.

==LVM -i seadistamine==
[[File: LVM.jpg|450px]]

LVM ise jaguneb kolmeks eri kihiks: plokkseadmed (PV), kettagrupid (VG), millesse on organiseeritud füüsilised plokkseadmed ja loogilised kettajaod, mis on jagatud kettagrupid.
Iga kihiga toimetamisel on oma käsud, mis viitavad sellele, mis kihiga hetkel toimetatakse: pv*, vg* ning lv*. Näiteks pvcreate, vgcreate ja lvcreate.

Esimese asjana tuleb valida ketas/kettajagu, kus LVM-iga toimetama hakata. Uue ketta puhul oleks võimalusel mõtekas luua üks tervet ketast hõlmav partitsioon.

Näites on kasutatud ühte 4 GB suurust ketast (VirtualBox-i lisatud 4GB suurune virtuualne kõvaketas). Operatsioonisüsteem tunnistab seda kui /dev/sdb ja seega on näites kasutatavad ketta nimed/asukohad just sellised. Partitiooni tüübiks tuleb kindlasti määrata Linux LVM ehk kood „8e“

<pre>fdisk -l 2> /dev/null | grep Disk
Disk /dev/sda: 8589 MB, 8589934592 bytes
Disk identifier: 0x000bd8b1
Disk /dev/sdb: 4294 MB, 4294967296 bytes
Disk identifier: 0x11844f48</pre>

===Füüsilise ketta väärtuse muutmine===
Avada fdiskiga uue loodud ketta partitsioon ning luua uus primaarne kettajagu:

<pre>fdisk /dev/sdb
Command (m for help): n

Partition type:
p primary (0 primary, 0 extended, 4 free)
e extended

Select (default p): p

Partition number (1-4, default 1): 1

First sector (2048-8388607, default 2048):
Using default value 2048

Last sector, +sectors or +size{K,M,G} (2048-8388607, default 8388607):
Using default value 8388607</pre>

Print käskluse abil kuvatakse kettajagu, algus, lõpp, blokid, id ning süsteem. Loodud partitsioon on 83 ehk Linux. Partitsiooni süsteemse id muutmiseks kasutatakse '''t'''.

Käsklus '''L''' kuvab kõik kaheksandikkoodid . Linux LVM kood on 8e, et muuta kettajagu Linux LVM-iks on vaja muuta kettajao id 83-lt 8e-ks.
[[file:8e.PNG|500px]]

<pre>
Command (m for help): t
Selected partition 1

Hex code (type L to list codes): 8e
Changed system type of partition 1 to 8e (Linux LVM)

Command (m for help): w
The partition table has been altered!

Calling ioctl() to re-read partition table.
Syncing disks.</pre>

'''NB mitte väljuda q, mis väljub programmist muudatusi salvestamata!'''

===Füüsiline kettajagu===
Järgnevalt anname lvm-ile teada, et loodud partitsioon on „pv“ ehk physical volume.
{|style="background:lightyellow;width:500px;margin:3px;border:1px solid lightgrey" align=centre
| style="padding:0px 0px 0px 80px;font-family:courier;font-size:8pt;" |pvcreate disk1 disk2 disk3
|}

<pre>pvcreate /dev/sdb1
Physical volume "/dev/sdb1" successfully created</pre>

Kui kõik läks hästi siis peaks tulemus olemas selline:
<pre>pvdisplay
"/dev/sdb1" is a new physical volume of "4.00 GiB"
--- NEW Physical volume ---
PV Name /dev/sdb1
VG Name
PV Size 4.00 GiB
Allocatable NO
PE Size 0
Total PE 0
Free PE 0
Allocated PE 0
PV UUID EdmaX9-bXmQ-Oevp-p9W9-I2qY-gpMM-1w77aQ</pre>

===Kettagrupp===
Loome uue „volume group“ -i ja nimetame selle mysql -iks.
{|style="background:lightyellow;width:500px;margin:3px;border:1px solid lightgrey" align=centre
| style="padding:0px 0px 0px 80px;font-family:courier;font-size:8pt;" |vgcreate kettagrupi_nimi /dev/sdb1 /dev/sdc1 /dev/sdd1
|}

<pre>vgcreate mysql /dev/sdb1
Volume group "mysql" successfully created</pre>

<pre>vgdisplay
--- Volume group ---
VG Name mysql
System ID
Format lvm2
Metadata Areas 1
Metadata Sequence No 4
VG Access read/write
VG Status resizable
MAX LV 0
Cur LV 2
Open LV 2
Max PV 0
Cur PV 1
Act PV 1
VG Size 4.00 GiB
PE Size 4.00 MiB
Total PE 1023
Alloc PE / Size 512 / 2.00 GiB
Free PE / Size 511 / 2.00 GiB
VG UUID s5AjT8-ss7D-Gm9m-XY6j-ULMv-RLbR-xdy0K6</pre>

Järgnevalt saame luua „volume group“ -ile „logical volumes“ ehk loogilised kettajaod. Need on justkui partitsioonid füüsilisel kõvakettal ja neid saab juba andmete talletamiseks kasutada. Nimetame kettajao nimega data ja määrame tema suuruseks 1GB (antud suurus sobib väga hästi katsetamiseks aga reaalsetes süsteemides tuleb muidugi oluliselt suuremaid numbreid kasutada. ). Suuruse seadistamisel tuleb arvestada, et sama „volume group“ peale tuleb mahutada veel vähemalt üks sama suur loogiline kettajagu, mis on loodava LV snapshot. Näide kui VG suurus on kokku 10GB siis on võimalik teha maksimaalselt 5GB suurune loogiline kettajagu. Vastasel ei mahu tema kõrvale, samale VG-le tehtud LV snapshot.

===Loogiline kettajagu===
{|style="background:lightyellow;width:600px;margin:3px;border:1px solid lightgrey" align=centre
| style="padding:0px 0px 0px 80px;font-family:courier;font-size:8pt;" |lvcreate --size 1G --name loogilise_ketta_nimi kettagrupi_nimi
|}

<pre>lvcreate -n data -L 1GB mysql
Logical volume "data" created</pre>

Kontrollime tulemust:
<pre>lvdisplay
--- Logical volume ---
LV Name /dev/mysql/data
VG Name mysql
LV UUID SL0yWI-Mc2b-KhkE-V8P1-bW7E-3iL8-8zD6Uf
LV Write Access read/write
LV Status available
# open 0
LV Size 1.00 GiB
Current LE 256
Segments 1
Allocation inherit
Read ahead sectors auto
- currently set to 256
Block device 252:0</pre>

Teadmiseks: lvdisplay käsu käivitamisel on näha parameeter „LV Status“. See näitab, kas kettajagu on saadaval või mitte. Kasutada on võimalik ainult available olekus kettajagu. Eemaldada saab ainult NOT available olekus kettajagusid. Kettajao NOT available olekusse viimiseks saab kasutada käsku:

<pre>lvchange -a n /dev/mysql/data</pre>
ja tagasi:
<pre>lvchange -a y /dev/mysql/data</pre>

===Failisüsteemi loomine ja ühendamine===
Nüüd on loodud uus kettajagu, mida saab andmete säiltamiseks kasutada. Loome sellele kettajaole failisüsteemi:
<pre>mkfs -t ext4 /dev/mysql/data</pre>

Järgmisena tuleb loodud kettajagu kuhugile mountida. Mina teen sellejaoks /srv/mysql kausta ja haagin ketta sinna.

<pre>mkdir /srv/mysql
mount /dev/mysql/data /srv/mysql</pre>

Lisame '''/etc/fstab''' faili lõppu kirje, et ka järgmisel süsteemi käivitamisel oleks ketas kohe külgehaagitud

<pre>
<file system> <mount point> <type> <options> <dump> <pass>
/dev/mysql/data /srv/mysql ext4 defaults 0 0</pre>

==MySQL seadistamine==
Muudame kausta õigused mysql-ile sobivaks (kausta omanik on kasutaja mysql ja kaustale on ligipääs ainult kausta omanikul)
<pre>chown mysql:mysql /srv/mysql
chmod 0700 /srv/mysql</pre>

Nüüd tuleb olemasolev mysql data kaust liigutada /srv/mysql kausta. Esimese asjana peatada mysql server
<pre>service mysql stop
mysql stop/waiting</pre>

Kopeerime (!) kogu mysql-i data kausta loodud lvm kettajaole. Ubuntus (ilmselt ka paljudes teistes operatsioonisüsteemides) asub mysq-i data kaust /var/lib/mysql. Oleks vägagi soovitatav jätta andmed vanasse kausta alles ja kustuta see alles siis kui ollakse täiesti kindel, et server töötab tõrgeteta.
<pre>cp -ar /var/lib/mysql/. /srv/mysql</pre>

Seejärel tuleb mysql-i konfiguratsioonifailis (/etc/mysql/my.cnf) muuta ära „datadir“ parameeter
<pre>datadir = /var/lib/mysql -> datadir = /srv/mysql</pre>

Teadmiseks: alates Ubuntu 7.10 -st on operatsioonisüsteemiga kaasas programm nimega „AppArmor“. Tegemist on kerneli turvamooduliga, mis teatavate programmide puhul piirab nende ligipääsu failisüsteemile. Et MySQL server uuesti korrektselt käivituks, tuleb „AppArmor“ -is mysq-i seadistust muuta. Sobiva tekstieditoriga tuleb avada /etc/apparmor.d/usr.sbin.mysqld konfifail ja teha seal vajalikud muudatused :
<pre>/var/lib/mysql/ r, -> /srv/mysql r,
/var/lib/mysql/** rwk, -> /srv/mysql** rwk,</pre>

Osadel operatsioonisüsteemidel võib ka init skript ette anda, kus asub mysql-i datadir. Seega oleks mõistlik ka see /etc/init.d/mysql skriptist üle vaadata.

Käivitame uuesti mysql-i serveri. Kui kõik läks hästi, peaks olema tulemus sarnane:

<pre>service mysql start
mysql start/running, process 2588</pre>

Kontrollime mysql-i muutujaid:
<pre>mysqladmin -u{mysql-kasutaja} -p variables | grep datadir
Enter password: {mysql-parool}
| datadir | /srv/mysql/
</pre>
Lisaks tuleks sobiva mysql kliendiga serverisse sisse logida ja kontrollida üle, kas kõik jäi korrektselt tööle.

Nüüd, kui MySQL server on korrektselt töödanud ja tekib vajadus varukoopiate tegemiseks. Töötavast serverist snapshoti tegemisel pole vajalik eelnev serveri väljalülitama. Lihtsalt protseduuri ajaks oleks vajalik keelata ära andmete kirjutamine „FLUSH TABLES WITH READ LOCK;“ käsuga, lisaks võiks tühjendada ka logid „FLUSH LOGS;“ käsuga. Snapshoti tegemise protsess on äärmiselt kiire ja andmete lugemine andmebaasist toimib endiselt edasi. Samas andmete kirjutamise protsess viibib seni, kui andmebaasilt kirjutamise lukk maha võetakse (kõik kirjutamise käsud täidetakse kohe peale luku vabastamist).
Ehkki varukoopia tegemise protsess ei tekita katkestusi serveri töös, oleks hea mõte teha varukoopiaid sellisel ajal kui serveril on kõige väiksem koormus.
On vajalik teada, et andmebaas lukustatakse ainult selleks ajaks, kui mysql serverisse on sisse logitud. Kohe kui sessioon lõpetatakse, vabastatakse ka lukud. Seetõttu peab snaspshoti tegemise ajal olema serverisse sisse logitud. Variant on kasutada kahte terminali sessiooni aga vajalikke käske saab käivitada ka MySQL-i käsurealt (vajalik on mysql-i klient käivitada root kasutaja õigustes).
<pre>mysql -u root -p
Enter password:
Welcome to the MySQL monitor. Commands end with ; or \g.
Your MySQL connection id is 75
Server version: 5.5.28-0ubuntu0.12.04.2 (Ubuntu)

Copyright (c) 2000, 2012, Oracle and/or its affiliates. All rights reserved.

Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

mysql> FLUSH TABLES WITH READ LOCK;
Query OK, 0 rows affected (0.00 sec)

mysql> FLUSH LOGS;
Query OK, 0 rows affected (0.00 sec)
</pre>

==Tõmmise tegemine==
<pre>
mysql> SYSTEM /sbin/lvcreate -L 1G --snapshot -n sql_backup /dev/mysql/data
File descriptor 3 (socket:[15065]) leaked on lvcreate invocation. Parent PID 3514: sh
Logical volume "sql_backup" created
mysql> UNLOCK TABLES;
Query OK, 0 rows affected (0.01 sec)

mysql> exit
Bye
</pre>
Snapshoti kettajagu nimetati kui sql_backup ja viide loogilisele seadmele asub /dev/mysql/sql_backup. Käivitades käsu „lvs“, saab näha, et lisaks mysql/data LV-le on juurde tekkinud mysql/sql_backup
<pre>lvs
LV VG Attr LSize Origin Snap% Move Log Copy% Convert
data mysql owi-ao 1.00g
sql_backup mysql swi-a- 1.00g data 0.00
</pre>
Kui nüüd haakida tehtud snapshoti kettajagu, on seal kättesaadav kogu mysql-i data sellel hetkel, kui snapshot tehti.
<pre>mkdir /mnt/bk
mount /dev/mysql/sql_backup /mnt/bk
ls -la /mnt/bk
total 28720
drwx------ 8 mysql mysql 4096 Dec 12 15:59 .
drwxr-xr-x 3 root root 4096 Dec 12 16:34 ..
-rw-r--r-- 1 root root 0 Nov 30 17:18 debian-5.5.flag
-rw-rw---- 1 mysql mysql 18874368 Dec 12 16:18 ibdata1
-rw-rw---- 1 mysql mysql 5242880 Dec 12 16:18 ib_logfile0
-rw-rw---- 1 mysql mysql 5242880 Nov 30 17:18 ib_logfile1
drwx------ 2 root root 16384 Dec 12 15:58 lost+found
drwx------ 2 mysql root 4096 Nov 30 17:18 mysql
-rw-rw---- 1 root root 6 Nov 30 17:18 mysql_upgrade_info
drwx------ 2 mysql mysql 4096 Nov 30 17:18 performance_schema
drwx------ 2 mysql mysql 4096 Nov 30 17:28 phpmyadmin
drwx------ 2 mysql root 4096 Dec 12 16:18 test
drwx------ 2 mysql mysql 4096 Nov 30 17:33 wp
</pre>
MySQL-i server töötab peale snapshoti tegemist katkestusteta edasi. Tehtud snapshoti andmeid võib varundada arhiivi jaoks. Andmete varundamisel tuleb spashoti kettajagu failisüsteemi külge haakida ja selle sisu „tar“-i abil arhiveerida ja hiljem eemaldada snapshoti kettajagu
<pre>mkdir /mnt/bk
mount /dev/mysql/sql_backup /mnt/bk
tar -cjf /teekond/arhiivi/kuupäev.tar.bz2 -C /mnt bk
umount /dev/mysql/sql_backup
lvremove /dev/mysql/sql_backup
Do you really want to remove active logical volume sql_backup? [y/n]: Y
Logical volume "sql_backup" successfully removed
</pre>
Kogu protseduuri automatiseerimiseks on võimalik koostada ka skript, mida saab käivitada sobival aja või kasutades „cron“ ajastamise vahendeid.

Lisaks on võimalik mysql-i data kaust haakida ümber snapshoti kettajaole ja taastada server sellesse seisu, mis oli snapshoti tegemise hetkel minimaalse katkestuse ajaga.

==Kokkuvõte==

LVM -i kasutamine varundamisel on väikestes ja mittekriitilistes süsteemides küllaltki hea lahendus. See ei nõua eriteadmisi ja kallist riistvara/tarkvara. Kuid suurematesse ja keerukamatesse lahendustesse see ei sobi, kuna see ainult aitab luua snapshoti hetke seisust aga ei paku võimalust seda eraldi salvestada. Arhiveerimiseks tuleb kasutada eraldi vahendeid ja selle protseduuri käigus võib minna kaduma vajalikke andmeid. Ka ei võistle LVM proffessionaalsete vahenditega nagu Arkeia (http://www.arkeia.com/) või BrightStor, mis on just varundamise lahenduste jaoks loodud ja muudavad antud tegemise mugavaks ja kiireks.

==Kasutatud kirjandus==
http://kuutorvaja.eenet.ee/wiki/LVM 
http://www.web-manual.net/linux-3/logical-volume-manager-in-linux/ 
http://www.lullabot.com/articles/mysql-backups-using-lvm-snapshots 
http://www.ubuntugeek.com/how-to-change-the-mysql-data-default-directory.html 
https://wiki.ubuntu.com/Lvm 
http://linuxconfig.org/Linux_lvm_-_Logical_Volume_Manager 

==Autor==
Madis Lauri
AK 31
[[Category:Operatsioonisüsteemide administreerimine ja sidumine]]

'''Täiendamine:'''

Carolys Kallas A32

Aine: Linuxi administreerimine

Viimati muudetud: 07.01.2013

Mysql varundamine LVM abil

2013-01-11T11:29:19Z

Ckallas: /* Failisüsteemi loomine ja ühendamine */

__TOC__
==Sissejuhatus==

Antud kirjatüki eesmärgiks on tutvustada LVM-i kui abivahendit toimivast süsteemist tagavarakoopiate tegemisel. Kuigi failisüsteemi snapshotide tegemine ja nende kasutamine on ainult üks LVM-i pakutavatest võimalustest. LVM - i snapshotide tegemise võimalus pole ainult mysql -i varundamiseks, vaid kasutatav ka muude andmete varukoopiate tegemiseks. Antud juhul on MySQL siin ainult „reisija“ aga protsessi selgitamiseks ja LVM snapshoti kasutamiseks on MySQL näitena väga hea. Kogu seadistamise protsess toimub Ubuntu Linux Server 12.04.1 LTS operatsioonisüsteemis ja kasutab sellega kaasnevaid vahendeid.

==Mis on mis?==
'''Logical Volume Manager''' - LVM

'''Physical Volume''' - PV, plokkseade, füüsiline kettajagu

'''Volume Group''' - VG, kettagrupp

'''Logical Volume''' - LV, loogiline kettajagu

'''Snapshot''' - (hetk)tõmmis

===LVM===
LVM ehk „Logical Volume Manager“ on ketta partitsioonide haldusvahend Linuxi ja UNIX-i laadsete operatsioonisüsteemide juures. LVM moodustab vahekihi failisüsteemi ja füüsilise kõvaketta vahele. Esmapilgul võib tunduda, et LVM on sarnane RAID (Redundant Array of Independent Disks) kettamassiiviga, on ta siiski hoopis paindlikum viis kettajagudega toimetamiseks. RAID võimaldab kettaid omavahel liita, et saada paremaid tulemusi kiiruses, mahus või töökindluses. LVM seevastu võimaldab korraga hallata mitut (ka loogilist) kettajagu, neid vastavalt vajadusele ümber tõsta ja mahtu muuta. Seega on tihti hea mõte neid kahte hoopis koos kasutada (näiteks RAID 10 ja LVM).
Lihtsustatult oleks ettekujutus eri kihtide tasemetest selline:
* Failisüsteemid
* LVM
* RAID (vajadusel)
* füüsilised plokkmäluseadmed (kõvakettad)

===Omadused===
LVM pakutavad võimalused on:
* Failisüsteemi suuruse muutmine
* Failisüsteemi snapshotide tegemine ja kasutamine (nii read-only kui ka read-write)
* Loodud/muudetud partitsioonide kohene kasutamine, kui ketas/partitsioon on mingil moel kasutusel. Fdisk-i kasutamisel tuleb OP-süsteem taaskäivitada.
* Väiksemate füüsiliste plokkseadmete kokku ühendamine, üheks suureks loogiliseks seadmeks. (Nagu RAID)
* Ketaste liigutamine ja ühendamine üle võrgu

Lisainfot LVM-i kohta: http://en.wikipedia.org/wiki/Logical_Volume_Manager_(Linux)

===MySQL===
MySQL on Oracle Corporation poolt hallatav relatsioonilise andmebaasi haldamise süsteem. On äärmiselt populaarne andmebaasisüsteem erinevates veebirakendustes aga ka mõningates suuremates süsteemides. Oma populaarsuse on ta saanud tänu äärmiselt lihtsale hallatavusele ja kasutajasõbralikkusele. Hetkel ei hakka MySQL-i omadustel ja võimalustel pikemalt peatuma. Rohkem informatsiooni leiab: http://www.mysql.com/

==Eeldused==
*Installeeritud Ubuntu Server (vähemalt 12.04 versioon)
*Tutvutud kettajagudega (kiire kordamine näiteks '''[[Osadmin spikker]]''')

'''Viia kõik käsklused läbi sudo kasutaja alt'''
sudo -i

===Ketaste lisamine===
Kõigepealt on vaja lisada serverile kõvaketas, mida hiljem LVM-iga siduma hakata.

[[File:Create_hard_disk.PNG‎|500px]]

Luua uus 4GB ketas, mis on VirtualBox Disk Image (VDI) formaadis ning dünaamiliselt jagatud.

===Vajaliku tarkvara installeerimine===

Et LVM-i ja MySQL-i seadistada on vajalikud teadmised, kuidas toimub Linuxis ketaste ja partitisoonide haldamine ja baasteadmised MySQL-ist.
Kõigepealt on vajalik installeerida lvm2 nimeline pakett.
<pre>apt-get install lvm2</pre>
Olenevalt operatsioonisüsteemist võib olla vajalikud pakeid juba installeeritud, kontrollida saab nii:
<pre>lvm version</pre>

<pre>lvm version
LVM version: 2.02.66(2) (2010-05-20)
Library version: 1.02.48 (2010-05-20)
Driver version: 4.22.0
</pre>
Lisaks on vajalik installeerida MySQL server ja klientprogramm serveriga ühendumiseks.
<pre>apt-get install mysql-server</pre>
NB! Kuna LVM-i kasutuselevõtmine vajab mõningast MySQL-i ümberseadistamist, tuleb arvestada asjaoluga, et MySQL-i data kausta ümbertõstmisel ei pruugi olemasolevad andmed säilida (InnoDB) ja vajalik oleks serveris olevatest andmetest enne .sql kujul tagavarakoopia teha.

==LVM -i seadistamine==
[[File: LVM.jpg|450px]]

LVM ise jaguneb kolmeks eri kihiks: plokkseadmed (PV), kettagrupid (VG), millesse on organiseeritud füüsilised plokkseadmed ja loogilised kettajaod, mis on jagatud kettagrupid.
Iga kihiga toimetamisel on oma käsud, mis viitavad sellele, mis kihiga hetkel toimetatakse: pv*, vg* ning lv*. Näiteks pvcreate, vgcreate ja lvcreate.

Esimese asjana tuleb valida ketas/kettajagu, kus LVM-iga toimetama hakata. Uue ketta puhul oleks võimalusel mõtekas luua üks tervet ketast hõlmav partitsioon.

Näites on kasutatud ühte 4 GB suurust ketast (VirtualBox-i lisatud 4GB suurune virtuualne kõvaketas). Operatsioonisüsteem tunnistab seda kui /dev/sdb ja seega on näites kasutatavad ketta nimed/asukohad just sellised. Partitiooni tüübiks tuleb kindlasti määrata Linux LVM ehk kood „8e“

<pre>fdisk -l 2> /dev/null | grep Disk
Disk /dev/sda: 8589 MB, 8589934592 bytes
Disk identifier: 0x000bd8b1
Disk /dev/sdb: 4294 MB, 4294967296 bytes
Disk identifier: 0x11844f48</pre>

===Füüsilise ketta väärtuse muutmine===
Avada fdiskiga uue loodud ketta partitsioon ning luua uus primaarne kettajagu:

<pre>fdisk /dev/sdb
Command (m for help): n

Partition type:
p primary (0 primary, 0 extended, 4 free)
e extended

Select (default p): p

Partition number (1-4, default 1): 1

First sector (2048-8388607, default 2048):
Using default value 2048

Last sector, +sectors or +size{K,M,G} (2048-8388607, default 8388607):
Using default value 8388607</pre>

Print käskluse abil kuvatakse kettajagu, algus, lõpp, blokid, id ning süsteem. Loodud partitsioon on 83 ehk Linux. Partitsiooni süsteemse id muutmiseks kasutatakse '''t'''.

Käsklus '''L''' kuvab kõik kaheksandikkoodid . Linux LVM kood on 8e, et muuta kettajagu Linux LVM-iks on vaja muuta kettajao id 83-lt 8e-ks.
[[file:8e.PNG|500px]]

<pre>
Command (m for help): t
Selected partition 1

Hex code (type L to list codes): 8e
Changed system type of partition 1 to 8e (Linux LVM)

Command (m for help): w
The partition table has been altered!

Calling ioctl() to re-read partition table.
Syncing disks.</pre>

'''NB mitte väljuda q, mis väljub programmist muudatusi salvestamata!'''

===Füüsiline kettajagu===
Järgnevalt anname lvm-ile teada, et loodud partitsioon on „pv“ ehk physical volume.
{|style="background:lightyellow;width:500px;margin:3px;border:1px solid lightgrey" align=centre
| style="padding:0px 0px 0px 80px;font-family:courier;font-size:8pt;" |pvcreate disk1 disk2 disk3
|}

<pre>pvcreate /dev/sdb1
Physical volume "/dev/sdb1" successfully created</pre>

Kui kõik läks hästi siis peaks tulemus olemas selline:
<pre>pvdisplay
"/dev/sdb1" is a new physical volume of "4.00 GiB"
--- NEW Physical volume ---
PV Name /dev/sdb1
VG Name
PV Size 4.00 GiB
Allocatable NO
PE Size 0
Total PE 0
Free PE 0
Allocated PE 0
PV UUID EdmaX9-bXmQ-Oevp-p9W9-I2qY-gpMM-1w77aQ</pre>

===Kettagrupp===
Loome uue „volume group“ -i ja nimetame selle mysql -iks.
{|style="background:lightyellow;width:500px;margin:3px;border:1px solid lightgrey" align=centre
| style="padding:0px 0px 0px 80px;font-family:courier;font-size:8pt;" |vgcreate kettagrupi_nimi /dev/sdb1 /dev/sdc1 /dev/sdd1
|}

<pre>vgcreate mysql /dev/sdb1
Volume group "mysql" successfully created</pre>

** vgdisplay
--- Volume group ---
VG Name mysql
System ID
Format lvm2
Metadata Areas 1
Metadata Sequence No 4
VG Access read/write
VG Status resizable
MAX LV 0
Cur LV 2
Open LV 2
Max PV 0
Cur PV 1
Act PV 1
VG Size 4.00 GiB
PE Size 4.00 MiB
Total PE 1023
Alloc PE / Size 512 / 2.00 GiB
Free PE / Size 511 / 2.00 GiB
VG UUID s5AjT8-ss7D-Gm9m-XY6j-ULMv-RLbR-xdy0K6

Järgnevalt saame luua „volume group“ -ile „logical volumes“ ehk loogilised kettajaod. Need on justkui partitsioonid füüsilisel kõvakettal ja neid saab juba andmete talletamiseks kasutada. Nimetame kettajao nimega data ja määrame tema suuruseks 1GB (antud suurus sobib väga hästi katsetamiseks aga reaalsetes süsteemides tuleb muidugi oluliselt suuremaid numbreid kasutada. ). Suuruse seadistamisel tuleb arvestada, et sama „volume group“ peale tuleb mahutada veel vähemalt üks sama suur loogiline kettajagu, mis on loodava LV snapshot. Näide kui VG suurus on kokku 10GB siis on võimalik teha maksimaalselt 5GB suurune loogiline kettajagu. Vastasel ei mahu tema kõrvale, samale VG-le tehtud LV snapshot.

===Loogiline kettajagu===
{|style="background:lightyellow;width:600px;margin:3px;border:1px solid lightgrey" align=centre
| style="padding:0px 0px 0px 80px;font-family:courier;font-size:8pt;" |lvcreate --size 1G --name loogilise_ketta_nimi kettagrupi_nimi
|}

<pre>lvcreate -n data -L 1GB mysql
Logical volume "data" created</pre>

Kontrollime tulemust:
<pre>lvdisplay
--- Logical volume ---
LV Name /dev/mysql/data
VG Name mysql
LV UUID SL0yWI-Mc2b-KhkE-V8P1-bW7E-3iL8-8zD6Uf
LV Write Access read/write
LV Status available
# open 0
LV Size 1.00 GiB
Current LE 256
Segments 1
Allocation inherit
Read ahead sectors auto
- currently set to 256
Block device 252:0</pre>

Teadmiseks: lvdisplay käsu käivitamisel on näha parameeter „LV Status“. See näitab, kas kettajagu on saadaval või mitte. Kasutada on võimalik ainult available olekus kettajagu. Eemaldada saab ainult NOT available olekus kettajagusid. Kettajao NOT available olekusse viimiseks saab kasutada käsku:

<pre>lvchange -a n /dev/mysql/data</pre>
ja tagasi:
<pre>lvchange -a y /dev/mysql/data</pre>

===Failisüsteemi loomine ja ühendamine===
Nüüd on loodud uus kettajagu, mida saab andmete säiltamiseks kasutada. Loome sellele kettajaole failisüsteemi:
<pre>mkfs -t ext4 /dev/mysql/data</pre>

Järgmisena tuleb loodud kettajagu kuhugile mountida. Mina teen sellejaoks /srv/mysql kausta ja haagin ketta sinna.

<pre>mkdir /srv/mysql
mount /dev/mysql/data /srv/mysql</pre>

Lisame '''/etc/fstab''' faili lõppu kirje, et ka järgmisel süsteemi käivitamisel oleks ketas kohe külgehaagitud

<pre>
<file system> <mount point> <type> <options> <dump> <pass>
/dev/mysql/data /srv/mysql ext4 defaults 0 0</pre>

==MySQL seadistamine==
Muudame kausta õigused mysql-ile sobivaks (kausta omanik on kasutaja mysql ja kaustale on ligipääs ainult kausta omanikul)
<pre>chown mysql:mysql /srv/mysql
chmod 0700 /srv/mysql</pre>

Nüüd tuleb olemasolev mysql data kaust liigutada /srv/mysql kausta. Esimese asjana peatada mysql server
<pre>service mysql stop
mysql stop/waiting</pre>

Kopeerime (!) kogu mysql-i data kausta loodud lvm kettajaole. Ubuntus (ilmselt ka paljudes teistes operatsioonisüsteemides) asub mysq-i data kaust /var/lib/mysql. Oleks vägagi soovitatav jätta andmed vanasse kausta alles ja kustuta see alles siis kui ollakse täiesti kindel, et server töötab tõrgeteta.
<pre>cp -ar /var/lib/mysql/. /srv/mysql</pre>

Seejärel tuleb mysql-i konfiguratsioonifailis (/etc/mysql/my.cnf) muuta ära „datadir“ parameeter
<pre>datadir = /var/lib/mysql -> datadir = /srv/mysql</pre>

Teadmiseks: alates Ubuntu 7.10 -st on operatsioonisüsteemiga kaasas programm nimega „AppArmor“. Tegemist on kerneli turvamooduliga, mis teatavate programmide puhul piirab nende ligipääsu failisüsteemile. Et MySQL server uuesti korrektselt käivituks, tuleb „AppArmor“ -is mysq-i seadistust muuta. Sobiva tekstieditoriga tuleb avada /etc/apparmor.d/usr.sbin.mysqld konfifail ja teha seal vajalikud muudatused :
<pre>/var/lib/mysql/ r, -> /srv/mysql r,
/var/lib/mysql/** rwk, -> /srv/mysql** rwk,</pre>

Osadel operatsioonisüsteemidel võib ka init skript ette anda, kus asub mysql-i datadir. Seega oleks mõistlik ka see /etc/init.d/mysql skriptist üle vaadata.

Käivitame uuesti mysql-i serveri. Kui kõik läks hästi, peaks olema tulemus sarnane:

<pre>service mysql start
mysql start/running, process 2588</pre>

Kontrollime mysql-i muutujaid:
<pre>mysqladmin -u{mysql-kasutaja} -p variables | grep datadir
Enter password: {mysql-parool}
| datadir | /srv/mysql/
</pre>
Lisaks tuleks sobiva mysql kliendiga serverisse sisse logida ja kontrollida üle, kas kõik jäi korrektselt tööle.

Nüüd, kui MySQL server on korrektselt töödanud ja tekib vajadus varukoopiate tegemiseks. Töötavast serverist snapshoti tegemisel pole vajalik eelnev serveri väljalülitama. Lihtsalt protseduuri ajaks oleks vajalik keelata ära andmete kirjutamine „FLUSH TABLES WITH READ LOCK;“ käsuga, lisaks võiks tühjendada ka logid „FLUSH LOGS;“ käsuga. Snapshoti tegemise protsess on äärmiselt kiire ja andmete lugemine andmebaasist toimib endiselt edasi. Samas andmete kirjutamise protsess viibib seni, kui andmebaasilt kirjutamise lukk maha võetakse (kõik kirjutamise käsud täidetakse kohe peale luku vabastamist).
Ehkki varukoopia tegemise protsess ei tekita katkestusi serveri töös, oleks hea mõte teha varukoopiaid sellisel ajal kui serveril on kõige väiksem koormus.
On vajalik teada, et andmebaas lukustatakse ainult selleks ajaks, kui mysql serverisse on sisse logitud. Kohe kui sessioon lõpetatakse, vabastatakse ka lukud. Seetõttu peab snaspshoti tegemise ajal olema serverisse sisse logitud. Variant on kasutada kahte terminali sessiooni aga vajalikke käske saab käivitada ka MySQL-i käsurealt (vajalik on mysql-i klient käivitada root kasutaja õigustes).
<pre>mysql -u root -p
Enter password:
Welcome to the MySQL monitor. Commands end with ; or \g.
Your MySQL connection id is 75
Server version: 5.5.28-0ubuntu0.12.04.2 (Ubuntu)

Copyright (c) 2000, 2012, Oracle and/or its affiliates. All rights reserved.

Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

mysql> FLUSH TABLES WITH READ LOCK;
Query OK, 0 rows affected (0.00 sec)

mysql> FLUSH LOGS;
Query OK, 0 rows affected (0.00 sec)
</pre>

==Tõmmise tegemine==
<pre>
mysql> SYSTEM /sbin/lvcreate -L 1G --snapshot -n sql_backup /dev/mysql/data
File descriptor 3 (socket:[15065]) leaked on lvcreate invocation. Parent PID 3514: sh
Logical volume "sql_backup" created
mysql> UNLOCK TABLES;
Query OK, 0 rows affected (0.01 sec)

mysql> exit
Bye
</pre>
Snapshoti kettajagu nimetati kui sql_backup ja viide loogilisele seadmele asub /dev/mysql/sql_backup. Käivitades käsu „lvs“, saab näha, et lisaks mysql/data LV-le on juurde tekkinud mysql/sql_backup
<pre>lvs
LV VG Attr LSize Origin Snap% Move Log Copy% Convert
data mysql owi-ao 1.00g
sql_backup mysql swi-a- 1.00g data 0.00
</pre>
Kui nüüd haakida tehtud snapshoti kettajagu, on seal kättesaadav kogu mysql-i data sellel hetkel, kui snapshot tehti.
<pre>mkdir /mnt/bk
mount /dev/mysql/sql_backup /mnt/bk
ls -la /mnt/bk
total 28720
drwx------ 8 mysql mysql 4096 Dec 12 15:59 .
drwxr-xr-x 3 root root 4096 Dec 12 16:34 ..
-rw-r--r-- 1 root root 0 Nov 30 17:18 debian-5.5.flag
-rw-rw---- 1 mysql mysql 18874368 Dec 12 16:18 ibdata1
-rw-rw---- 1 mysql mysql 5242880 Dec 12 16:18 ib_logfile0
-rw-rw---- 1 mysql mysql 5242880 Nov 30 17:18 ib_logfile1
drwx------ 2 root root 16384 Dec 12 15:58 lost+found
drwx------ 2 mysql root 4096 Nov 30 17:18 mysql
-rw-rw---- 1 root root 6 Nov 30 17:18 mysql_upgrade_info
drwx------ 2 mysql mysql 4096 Nov 30 17:18 performance_schema
drwx------ 2 mysql mysql 4096 Nov 30 17:28 phpmyadmin
drwx------ 2 mysql root 4096 Dec 12 16:18 test
drwx------ 2 mysql mysql 4096 Nov 30 17:33 wp
</pre>
MySQL-i server töötab peale snapshoti tegemist katkestusteta edasi. Tehtud snapshoti andmeid võib varundada arhiivi jaoks. Andmete varundamisel tuleb spashoti kettajagu failisüsteemi külge haakida ja selle sisu „tar“-i abil arhiveerida ja hiljem eemaldada snapshoti kettajagu
<pre>mkdir /mnt/bk
mount /dev/mysql/sql_backup /mnt/bk
tar -cjf /teekond/arhiivi/kuupäev.tar.bz2 -C /mnt bk
umount /dev/mysql/sql_backup
lvremove /dev/mysql/sql_backup
Do you really want to remove active logical volume sql_backup? [y/n]: Y
Logical volume "sql_backup" successfully removed
</pre>
Kogu protseduuri automatiseerimiseks on võimalik koostada ka skript, mida saab käivitada sobival aja või kasutades „cron“ ajastamise vahendeid.

Lisaks on võimalik mysql-i data kaust haakida ümber snapshoti kettajaole ja taastada server sellesse seisu, mis oli snapshoti tegemise hetkel minimaalse katkestuse ajaga.

==Kokkuvõte==

LVM -i kasutamine varundamisel on väikestes ja mittekriitilistes süsteemides küllaltki hea lahendus. See ei nõua eriteadmisi ja kallist riistvara/tarkvara. Kuid suurematesse ja keerukamatesse lahendustesse see ei sobi, kuna see ainult aitab luua snapshoti hetke seisust aga ei paku võimalust seda eraldi salvestada. Arhiveerimiseks tuleb kasutada eraldi vahendeid ja selle protseduuri käigus võib minna kaduma vajalikke andmeid. Ka ei võistle LVM proffessionaalsete vahenditega nagu Arkeia (http://www.arkeia.com/) või BrightStor, mis on just varundamise lahenduste jaoks loodud ja muudavad antud tegemise mugavaks ja kiireks.

==Kasutatud kirjandus==
http://kuutorvaja.eenet.ee/wiki/LVM 
http://www.web-manual.net/linux-3/logical-volume-manager-in-linux/ 
http://www.lullabot.com/articles/mysql-backups-using-lvm-snapshots 
http://www.ubuntugeek.com/how-to-change-the-mysql-data-default-directory.html 
https://wiki.ubuntu.com/Lvm 
http://linuxconfig.org/Linux_lvm_-_Logical_Volume_Manager 

==Autor==
Madis Lauri
AK 31
[[Category:Operatsioonisüsteemide administreerimine ja sidumine]]

'''Täiendamine:'''

Carolys Kallas A32

Aine: Linuxi administreerimine

Viimati muudetud: 07.01.2013

Mysql varundamine LVM abil

2013-01-11T11:25:13Z

Ckallas: /* LVM -i seadistamine */

__TOC__
==Sissejuhatus==

Antud kirjatüki eesmärgiks on tutvustada LVM-i kui abivahendit toimivast süsteemist tagavarakoopiate tegemisel. Kuigi failisüsteemi snapshotide tegemine ja nende kasutamine on ainult üks LVM-i pakutavatest võimalustest. LVM - i snapshotide tegemise võimalus pole ainult mysql -i varundamiseks, vaid kasutatav ka muude andmete varukoopiate tegemiseks. Antud juhul on MySQL siin ainult „reisija“ aga protsessi selgitamiseks ja LVM snapshoti kasutamiseks on MySQL näitena väga hea. Kogu seadistamise protsess toimub Ubuntu Linux Server 12.04.1 LTS operatsioonisüsteemis ja kasutab sellega kaasnevaid vahendeid.

==Mis on mis?==
'''Logical Volume Manager''' - LVM

'''Physical Volume''' - PV, plokkseade, füüsiline kettajagu

'''Volume Group''' - VG, kettagrupp

'''Logical Volume''' - LV, loogiline kettajagu

'''Snapshot''' - (hetk)tõmmis

===LVM===
LVM ehk „Logical Volume Manager“ on ketta partitsioonide haldusvahend Linuxi ja UNIX-i laadsete operatsioonisüsteemide juures. LVM moodustab vahekihi failisüsteemi ja füüsilise kõvaketta vahele. Esmapilgul võib tunduda, et LVM on sarnane RAID (Redundant Array of Independent Disks) kettamassiiviga, on ta siiski hoopis paindlikum viis kettajagudega toimetamiseks. RAID võimaldab kettaid omavahel liita, et saada paremaid tulemusi kiiruses, mahus või töökindluses. LVM seevastu võimaldab korraga hallata mitut (ka loogilist) kettajagu, neid vastavalt vajadusele ümber tõsta ja mahtu muuta. Seega on tihti hea mõte neid kahte hoopis koos kasutada (näiteks RAID 10 ja LVM).
Lihtsustatult oleks ettekujutus eri kihtide tasemetest selline:
* Failisüsteemid
* LVM
* RAID (vajadusel)
* füüsilised plokkmäluseadmed (kõvakettad)

===Omadused===
LVM pakutavad võimalused on:
* Failisüsteemi suuruse muutmine
* Failisüsteemi snapshotide tegemine ja kasutamine (nii read-only kui ka read-write)
* Loodud/muudetud partitsioonide kohene kasutamine, kui ketas/partitsioon on mingil moel kasutusel. Fdisk-i kasutamisel tuleb OP-süsteem taaskäivitada.
* Väiksemate füüsiliste plokkseadmete kokku ühendamine, üheks suureks loogiliseks seadmeks. (Nagu RAID)
* Ketaste liigutamine ja ühendamine üle võrgu

Lisainfot LVM-i kohta: http://en.wikipedia.org/wiki/Logical_Volume_Manager_(Linux)

===MySQL===
MySQL on Oracle Corporation poolt hallatav relatsioonilise andmebaasi haldamise süsteem. On äärmiselt populaarne andmebaasisüsteem erinevates veebirakendustes aga ka mõningates suuremates süsteemides. Oma populaarsuse on ta saanud tänu äärmiselt lihtsale hallatavusele ja kasutajasõbralikkusele. Hetkel ei hakka MySQL-i omadustel ja võimalustel pikemalt peatuma. Rohkem informatsiooni leiab: http://www.mysql.com/

==Eeldused==
*Installeeritud Ubuntu Server (vähemalt 12.04 versioon)
*Tutvutud kettajagudega (kiire kordamine näiteks '''[[Osadmin spikker]]''')

'''Viia kõik käsklused läbi sudo kasutaja alt'''
sudo -i

===Ketaste lisamine===
Kõigepealt on vaja lisada serverile kõvaketas, mida hiljem LVM-iga siduma hakata.

[[File:Create_hard_disk.PNG‎|500px]]

Luua uus 4GB ketas, mis on VirtualBox Disk Image (VDI) formaadis ning dünaamiliselt jagatud.

===Vajaliku tarkvara installeerimine===

Et LVM-i ja MySQL-i seadistada on vajalikud teadmised, kuidas toimub Linuxis ketaste ja partitisoonide haldamine ja baasteadmised MySQL-ist.
Kõigepealt on vajalik installeerida lvm2 nimeline pakett.
<pre>apt-get install lvm2</pre>
Olenevalt operatsioonisüsteemist võib olla vajalikud pakeid juba installeeritud, kontrollida saab nii:
<pre>lvm version</pre>

<pre>lvm version
LVM version: 2.02.66(2) (2010-05-20)
Library version: 1.02.48 (2010-05-20)
Driver version: 4.22.0
</pre>
Lisaks on vajalik installeerida MySQL server ja klientprogramm serveriga ühendumiseks.
<pre>apt-get install mysql-server</pre>
NB! Kuna LVM-i kasutuselevõtmine vajab mõningast MySQL-i ümberseadistamist, tuleb arvestada asjaoluga, et MySQL-i data kausta ümbertõstmisel ei pruugi olemasolevad andmed säilida (InnoDB) ja vajalik oleks serveris olevatest andmetest enne .sql kujul tagavarakoopia teha.

==LVM -i seadistamine==
[[File: LVM.jpg|450px]]

LVM ise jaguneb kolmeks eri kihiks: plokkseadmed (PV), kettagrupid (VG), millesse on organiseeritud füüsilised plokkseadmed ja loogilised kettajaod, mis on jagatud kettagrupid.
Iga kihiga toimetamisel on oma käsud, mis viitavad sellele, mis kihiga hetkel toimetatakse: pv*, vg* ning lv*. Näiteks pvcreate, vgcreate ja lvcreate.

Esimese asjana tuleb valida ketas/kettajagu, kus LVM-iga toimetama hakata. Uue ketta puhul oleks võimalusel mõtekas luua üks tervet ketast hõlmav partitsioon.

Näites on kasutatud ühte 4 GB suurust ketast (VirtualBox-i lisatud 4GB suurune virtuualne kõvaketas). Operatsioonisüsteem tunnistab seda kui /dev/sdb ja seega on näites kasutatavad ketta nimed/asukohad just sellised. Partitiooni tüübiks tuleb kindlasti määrata Linux LVM ehk kood „8e“

<pre>fdisk -l 2> /dev/null | grep Disk
Disk /dev/sda: 8589 MB, 8589934592 bytes
Disk identifier: 0x000bd8b1
Disk /dev/sdb: 4294 MB, 4294967296 bytes
Disk identifier: 0x11844f48</pre>

===Füüsilise ketta väärtuse muutmine===
Avada fdiskiga uue loodud ketta partitsioon ning luua uus primaarne kettajagu:

<pre>fdisk /dev/sdb
Command (m for help): n

Partition type:
p primary (0 primary, 0 extended, 4 free)
e extended

Select (default p): p

Partition number (1-4, default 1): 1

First sector (2048-8388607, default 2048):
Using default value 2048

Last sector, +sectors or +size{K,M,G} (2048-8388607, default 8388607):
Using default value 8388607</pre>

Print käskluse abil kuvatakse kettajagu, algus, lõpp, blokid, id ning süsteem. Loodud partitsioon on 83 ehk Linux. Partitsiooni süsteemse id muutmiseks kasutatakse '''t'''.

Käsklus '''L''' kuvab kõik kaheksandikkoodid . Linux LVM kood on 8e, et muuta kettajagu Linux LVM-iks on vaja muuta kettajao id 83-lt 8e-ks.
[[file:8e.PNG|500px]]

<pre>
Command (m for help): t
Selected partition 1

Hex code (type L to list codes): 8e
Changed system type of partition 1 to 8e (Linux LVM)

Command (m for help): w
The partition table has been altered!

Calling ioctl() to re-read partition table.
Syncing disks.</pre>

'''NB mitte väljuda q, mis väljub programmist muudatusi salvestamata!'''

===Füüsiline kettajagu===
Järgnevalt anname lvm-ile teada, et loodud partitsioon on „pv“ ehk physical volume.
{|style="background:lightyellow;width:500px;margin:3px;border:1px solid lightgrey" align=centre
| style="padding:0px 0px 0px 80px;font-family:courier;font-size:8pt;" |pvcreate disk1 disk2 disk3
|}

<pre>pvcreate /dev/sdb1
Physical volume "/dev/sdb1" successfully created</pre>

Kui kõik läks hästi siis peaks tulemus olemas selline:
<pre>pvdisplay
"/dev/sdb1" is a new physical volume of "4.00 GiB"
--- NEW Physical volume ---
PV Name /dev/sdb1
VG Name
PV Size 4.00 GiB
Allocatable NO
PE Size 0
Total PE 0
Free PE 0
Allocated PE 0
PV UUID EdmaX9-bXmQ-Oevp-p9W9-I2qY-gpMM-1w77aQ</pre>

===Kettagrupp===
Loome uue „volume group“ -i ja nimetame selle mysql -iks.
{|style="background:lightyellow;width:500px;margin:3px;border:1px solid lightgrey" align=centre
| style="padding:0px 0px 0px 80px;font-family:courier;font-size:8pt;" |vgcreate kettagrupi_nimi /dev/sdb1 /dev/sdc1 /dev/sdd1
|}

<pre>vgcreate mysql /dev/sdb1
Volume group "mysql" successfully created</pre>

** vgdisplay
--- Volume group ---
VG Name mysql
System ID
Format lvm2
Metadata Areas 1
Metadata Sequence No 4
VG Access read/write
VG Status resizable
MAX LV 0
Cur LV 2
Open LV 2
Max PV 0
Cur PV 1
Act PV 1
VG Size 4.00 GiB
PE Size 4.00 MiB
Total PE 1023
Alloc PE / Size 512 / 2.00 GiB
Free PE / Size 511 / 2.00 GiB
VG UUID s5AjT8-ss7D-Gm9m-XY6j-ULMv-RLbR-xdy0K6

Järgnevalt saame luua „volume group“ -ile „logical volumes“ ehk loogilised kettajaod. Need on justkui partitsioonid füüsilisel kõvakettal ja neid saab juba andmete talletamiseks kasutada. Nimetame kettajao nimega data ja määrame tema suuruseks 1GB (antud suurus sobib väga hästi katsetamiseks aga reaalsetes süsteemides tuleb muidugi oluliselt suuremaid numbreid kasutada. ). Suuruse seadistamisel tuleb arvestada, et sama „volume group“ peale tuleb mahutada veel vähemalt üks sama suur loogiline kettajagu, mis on loodava LV snapshot. Näide kui VG suurus on kokku 10GB siis on võimalik teha maksimaalselt 5GB suurune loogiline kettajagu. Vastasel ei mahu tema kõrvale, samale VG-le tehtud LV snapshot.

===Loogiline kettajagu===
{|style="background:lightyellow;width:600px;margin:3px;border:1px solid lightgrey" align=centre
| style="padding:0px 0px 0px 80px;font-family:courier;font-size:8pt;" |lvcreate --size 1G --name loogilise_ketta_nimi kettagrupi_nimi
|}

<pre>lvcreate -n data -L 1GB mysql
Logical volume "data" created</pre>

Kontrollime tulemust:
<pre>lvdisplay
--- Logical volume ---
LV Name /dev/mysql/data
VG Name mysql
LV UUID SL0yWI-Mc2b-KhkE-V8P1-bW7E-3iL8-8zD6Uf
LV Write Access read/write
LV Status available
# open 0
LV Size 1.00 GiB
Current LE 256
Segments 1
Allocation inherit
Read ahead sectors auto
- currently set to 256
Block device 252:0</pre>

Teadmiseks: lvdisplay käsu käivitamisel on näha parameeter „LV Status“. See näitab, kas kettajagu on saadaval või mitte. Kasutada on võimalik ainult available olekus kettajagu. Eemaldada saab ainult NOT available olekus kettajagusid. Kettajao NOT available olekusse viimiseks saab kasutada käsku:

<pre>lvchange -a n /dev/mysql/data</pre>
ja tagasi:
<pre>lvchange -a y /dev/mysql/data</pre>

===Failisüsteemi loomine ja ühendamine===
Nüüd on loodud uus kettajagu, mida saab andmete säiltamiseks kasutada. Loome sellele kettajaole failisüsteemi:
<pre>mkfs -t ext4 /dev/mysql/data</pre>

Järgmisena tuleb loodud kettajagu kuhugile mountida. Mina teen sellejaoks /srv/mysql kausta ja haagin ketta sinna.

<pre>mkdir /srv/mysql</pre>

Lisame /etc/fstab faili lõppu kirje, et ka järgmisel süsteemi käivitamisel oleks ketas kohe külgehaagitud

<pre>/dev/mysql/data /srv/mysql ext4 defaults 0 0</pre>

==MySQL seadistamine==
Muudame kausta õigused mysql-ile sobivaks (kausta omanik on kasutaja mysql ja kaustale on ligipääs ainult kausta omanikul)
<pre>chown mysql:mysql /srv/mysql
chmod 0700 /srv/mysql</pre>

Nüüd tuleb olemasolev mysql data kaust liigutada /srv/mysql kausta. Esimese asjana peatada mysql server
<pre>service mysql stop
mysql stop/waiting</pre>

Kopeerime (!) kogu mysql-i data kausta loodud lvm kettajaole. Ubuntus (ilmselt ka paljudes teistes operatsioonisüsteemides) asub mysq-i data kaust /var/lib/mysql. Oleks vägagi soovitatav jätta andmed vanasse kausta alles ja kustuta see alles siis kui ollakse täiesti kindel, et server töötab tõrgeteta.
<pre>cp -ar /var/lib/mysql/. /srv/mysql</pre>

Seejärel tuleb mysql-i konfiguratsioonifailis (/etc/mysql/my.cnf) muuta ära „datadir“ parameeter
<pre>datadir = /var/lib/mysql -> datadir = /srv/mysql</pre>

Teadmiseks: alates Ubuntu 7.10 -st on operatsioonisüsteemiga kaasas programm nimega „AppArmor“. Tegemist on kerneli turvamooduliga, mis teatavate programmide puhul piirab nende ligipääsu failisüsteemile. Et MySQL server uuesti korrektselt käivituks, tuleb „AppArmor“ -is mysq-i seadistust muuta. Sobiva tekstieditoriga tuleb avada /etc/apparmor.d/usr.sbin.mysqld konfifail ja teha seal vajalikud muudatused :
<pre>/var/lib/mysql/ r, -> /srv/mysql r,
/var/lib/mysql/** rwk, -> /srv/mysql** rwk,</pre>

Osadel operatsioonisüsteemidel võib ka init skript ette anda, kus asub mysql-i datadir. Seega oleks mõistlik ka see /etc/init.d/mysql skriptist üle vaadata.

Käivitame uuesti mysql-i serveri. Kui kõik läks hästi, peaks olema tulemus sarnane:

<pre>service mysql start
mysql start/running, process 2588</pre>

Kontrollime mysql-i muutujaid:
<pre>mysqladmin -u{mysql-kasutaja} -p variables | grep datadir
Enter password: {mysql-parool}
| datadir | /srv/mysql/
</pre>
Lisaks tuleks sobiva mysql kliendiga serverisse sisse logida ja kontrollida üle, kas kõik jäi korrektselt tööle.

Nüüd, kui MySQL server on korrektselt töödanud ja tekib vajadus varukoopiate tegemiseks. Töötavast serverist snapshoti tegemisel pole vajalik eelnev serveri väljalülitama. Lihtsalt protseduuri ajaks oleks vajalik keelata ära andmete kirjutamine „FLUSH TABLES WITH READ LOCK;“ käsuga, lisaks võiks tühjendada ka logid „FLUSH LOGS;“ käsuga. Snapshoti tegemise protsess on äärmiselt kiire ja andmete lugemine andmebaasist toimib endiselt edasi. Samas andmete kirjutamise protsess viibib seni, kui andmebaasilt kirjutamise lukk maha võetakse (kõik kirjutamise käsud täidetakse kohe peale luku vabastamist).
Ehkki varukoopia tegemise protsess ei tekita katkestusi serveri töös, oleks hea mõte teha varukoopiaid sellisel ajal kui serveril on kõige väiksem koormus.
On vajalik teada, et andmebaas lukustatakse ainult selleks ajaks, kui mysql serverisse on sisse logitud. Kohe kui sessioon lõpetatakse, vabastatakse ka lukud. Seetõttu peab snaspshoti tegemise ajal olema serverisse sisse logitud. Variant on kasutada kahte terminali sessiooni aga vajalikke käske saab käivitada ka MySQL-i käsurealt (vajalik on mysql-i klient käivitada root kasutaja õigustes).
<pre>mysql -u root -p
Enter password:
Welcome to the MySQL monitor. Commands end with ; or \g.
Your MySQL connection id is 75
Server version: 5.5.28-0ubuntu0.12.04.2 (Ubuntu)

Copyright (c) 2000, 2012, Oracle and/or its affiliates. All rights reserved.

Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

mysql> FLUSH TABLES WITH READ LOCK;
Query OK, 0 rows affected (0.00 sec)

mysql> FLUSH LOGS;
Query OK, 0 rows affected (0.00 sec)
</pre>

==Tõmmise tegemine==
<pre>
mysql> SYSTEM /sbin/lvcreate -L 1G --snapshot -n sql_backup /dev/mysql/data
File descriptor 3 (socket:[15065]) leaked on lvcreate invocation. Parent PID 3514: sh
Logical volume "sql_backup" created
mysql> UNLOCK TABLES;
Query OK, 0 rows affected (0.01 sec)

mysql> exit
Bye
</pre>
Snapshoti kettajagu nimetati kui sql_backup ja viide loogilisele seadmele asub /dev/mysql/sql_backup. Käivitades käsu „lvs“, saab näha, et lisaks mysql/data LV-le on juurde tekkinud mysql/sql_backup
<pre>lvs
LV VG Attr LSize Origin Snap% Move Log Copy% Convert
data mysql owi-ao 1.00g
sql_backup mysql swi-a- 1.00g data 0.00
</pre>
Kui nüüd haakida tehtud snapshoti kettajagu, on seal kättesaadav kogu mysql-i data sellel hetkel, kui snapshot tehti.
<pre>mkdir /mnt/bk
mount /dev/mysql/sql_backup /mnt/bk
ls -la /mnt/bk
total 28720
drwx------ 8 mysql mysql 4096 Dec 12 15:59 .
drwxr-xr-x 3 root root 4096 Dec 12 16:34 ..
-rw-r--r-- 1 root root 0 Nov 30 17:18 debian-5.5.flag
-rw-rw---- 1 mysql mysql 18874368 Dec 12 16:18 ibdata1
-rw-rw---- 1 mysql mysql 5242880 Dec 12 16:18 ib_logfile0
-rw-rw---- 1 mysql mysql 5242880 Nov 30 17:18 ib_logfile1
drwx------ 2 root root 16384 Dec 12 15:58 lost+found
drwx------ 2 mysql root 4096 Nov 30 17:18 mysql
-rw-rw---- 1 root root 6 Nov 30 17:18 mysql_upgrade_info
drwx------ 2 mysql mysql 4096 Nov 30 17:18 performance_schema
drwx------ 2 mysql mysql 4096 Nov 30 17:28 phpmyadmin
drwx------ 2 mysql root 4096 Dec 12 16:18 test
drwx------ 2 mysql mysql 4096 Nov 30 17:33 wp
</pre>
MySQL-i server töötab peale snapshoti tegemist katkestusteta edasi. Tehtud snapshoti andmeid võib varundada arhiivi jaoks. Andmete varundamisel tuleb spashoti kettajagu failisüsteemi külge haakida ja selle sisu „tar“-i abil arhiveerida ja hiljem eemaldada snapshoti kettajagu
<pre>mkdir /mnt/bk
mount /dev/mysql/sql_backup /mnt/bk
tar -cjf /teekond/arhiivi/kuupäev.tar.bz2 -C /mnt bk
umount /dev/mysql/sql_backup
lvremove /dev/mysql/sql_backup
Do you really want to remove active logical volume sql_backup? [y/n]: Y
Logical volume "sql_backup" successfully removed
</pre>
Kogu protseduuri automatiseerimiseks on võimalik koostada ka skript, mida saab käivitada sobival aja või kasutades „cron“ ajastamise vahendeid.

Lisaks on võimalik mysql-i data kaust haakida ümber snapshoti kettajaole ja taastada server sellesse seisu, mis oli snapshoti tegemise hetkel minimaalse katkestuse ajaga.

==Kokkuvõte==

LVM -i kasutamine varundamisel on väikestes ja mittekriitilistes süsteemides küllaltki hea lahendus. See ei nõua eriteadmisi ja kallist riistvara/tarkvara. Kuid suurematesse ja keerukamatesse lahendustesse see ei sobi, kuna see ainult aitab luua snapshoti hetke seisust aga ei paku võimalust seda eraldi salvestada. Arhiveerimiseks tuleb kasutada eraldi vahendeid ja selle protseduuri käigus võib minna kaduma vajalikke andmeid. Ka ei võistle LVM proffessionaalsete vahenditega nagu Arkeia (http://www.arkeia.com/) või BrightStor, mis on just varundamise lahenduste jaoks loodud ja muudavad antud tegemise mugavaks ja kiireks.

==Kasutatud kirjandus==
http://kuutorvaja.eenet.ee/wiki/LVM 
http://www.web-manual.net/linux-3/logical-volume-manager-in-linux/ 
http://www.lullabot.com/articles/mysql-backups-using-lvm-snapshots 
http://www.ubuntugeek.com/how-to-change-the-mysql-data-default-directory.html 
https://wiki.ubuntu.com/Lvm 
http://linuxconfig.org/Linux_lvm_-_Logical_Volume_Manager 

==Autor==
Madis Lauri
AK 31
[[Category:Operatsioonisüsteemide administreerimine ja sidumine]]

'''Täiendamine:'''

Carolys Kallas A32

Aine: Linuxi administreerimine

Viimati muudetud: 07.01.2013

Mysql varundamine LVM abil

2013-01-11T11:18:29Z

Ckallas: /* Füüsiline kettajagu */

__TOC__
==Sissejuhatus==

Antud kirjatüki eesmärgiks on tutvustada LVM-i kui abivahendit toimivast süsteemist tagavarakoopiate tegemisel. Kuigi failisüsteemi snapshotide tegemine ja nende kasutamine on ainult üks LVM-i pakutavatest võimalustest. LVM - i snapshotide tegemise võimalus pole ainult mysql -i varundamiseks, vaid kasutatav ka muude andmete varukoopiate tegemiseks. Antud juhul on MySQL siin ainult „reisija“ aga protsessi selgitamiseks ja LVM snapshoti kasutamiseks on MySQL näitena väga hea. Kogu seadistamise protsess toimub Ubuntu Linux Server 12.04.1 LTS operatsioonisüsteemis ja kasutab sellega kaasnevaid vahendeid.

==Mis on mis?==
'''Logical Volume Manager''' - LVM

'''Physical Volume''' - PV, plokkseade, füüsiline kettajagu

'''Volume Group''' - VG, kettagrupp

'''Logical Volume''' - LV, loogiline kettajagu

'''Snapshot''' - (hetk)tõmmis

===LVM===
LVM ehk „Logical Volume Manager“ on ketta partitsioonide haldusvahend Linuxi ja UNIX-i laadsete operatsioonisüsteemide juures. LVM moodustab vahekihi failisüsteemi ja füüsilise kõvaketta vahele. Esmapilgul võib tunduda, et LVM on sarnane RAID (Redundant Array of Independent Disks) kettamassiiviga, on ta siiski hoopis paindlikum viis kettajagudega toimetamiseks. RAID võimaldab kettaid omavahel liita, et saada paremaid tulemusi kiiruses, mahus või töökindluses. LVM seevastu võimaldab korraga hallata mitut (ka loogilist) kettajagu, neid vastavalt vajadusele ümber tõsta ja mahtu muuta. Seega on tihti hea mõte neid kahte hoopis koos kasutada (näiteks RAID 10 ja LVM).
Lihtsustatult oleks ettekujutus eri kihtide tasemetest selline:
* Failisüsteemid
* LVM
* RAID (vajadusel)
* füüsilised plokkmäluseadmed (kõvakettad)

===Omadused===
LVM pakutavad võimalused on:
* Failisüsteemi suuruse muutmine
* Failisüsteemi snapshotide tegemine ja kasutamine (nii read-only kui ka read-write)
* Loodud/muudetud partitsioonide kohene kasutamine, kui ketas/partitsioon on mingil moel kasutusel. Fdisk-i kasutamisel tuleb OP-süsteem taaskäivitada.
* Väiksemate füüsiliste plokkseadmete kokku ühendamine, üheks suureks loogiliseks seadmeks. (Nagu RAID)
* Ketaste liigutamine ja ühendamine üle võrgu

Lisainfot LVM-i kohta: http://en.wikipedia.org/wiki/Logical_Volume_Manager_(Linux)

===MySQL===
MySQL on Oracle Corporation poolt hallatav relatsioonilise andmebaasi haldamise süsteem. On äärmiselt populaarne andmebaasisüsteem erinevates veebirakendustes aga ka mõningates suuremates süsteemides. Oma populaarsuse on ta saanud tänu äärmiselt lihtsale hallatavusele ja kasutajasõbralikkusele. Hetkel ei hakka MySQL-i omadustel ja võimalustel pikemalt peatuma. Rohkem informatsiooni leiab: http://www.mysql.com/

==Eeldused==
*Installeeritud Ubuntu Server (vähemalt 12.04 versioon)
*Tutvutud kettajagudega (kiire kordamine näiteks '''[[Osadmin spikker]]''')

'''Viia kõik käsklused läbi sudo kasutaja alt'''
sudo -i

===Ketaste lisamine===
Kõigepealt on vaja lisada serverile kõvaketas, mida hiljem LVM-iga siduma hakata.

[[File:Create_hard_disk.PNG‎|500px]]

Luua uus 4GB ketas, mis on VirtualBox Disk Image (VDI) formaadis ning dünaamiliselt jagatud.

===Vajaliku tarkvara installeerimine===

Et LVM-i ja MySQL-i seadistada on vajalikud teadmised, kuidas toimub Linuxis ketaste ja partitisoonide haldamine ja baasteadmised MySQL-ist.
Kõigepealt on vajalik installeerida lvm2 nimeline pakett.
<pre>apt-get install lvm2</pre>
Olenevalt operatsioonisüsteemist võib olla vajalikud pakeid juba installeeritud, kontrollida saab nii:
<pre>lvm version</pre>

<pre>lvm version
LVM version: 2.02.66(2) (2010-05-20)
Library version: 1.02.48 (2010-05-20)
Driver version: 4.22.0
</pre>
Lisaks on vajalik installeerida MySQL server ja klientprogramm serveriga ühendumiseks.
<pre>apt-get install mysql-server</pre>
NB! Kuna LVM-i kasutuselevõtmine vajab mõningast MySQL-i ümberseadistamist, tuleb arvestada asjaoluga, et MySQL-i data kausta ümbertõstmisel ei pruugi olemasolevad andmed säilida (InnoDB) ja vajalik oleks serveris olevatest andmetest enne .sql kujul tagavarakoopia teha.

==LVM -i seadistamine==
[[File: LVM.jpg|450px]]

LVM ise jaguneb kolmeks eri kihiks: plokkseadmed (PV), kettagrupid (VG), millesse on organiseeritud füüsilised plokkseadmed ja loogilised kettajaod, mis on jagatud kettagrupid.
Iga kihiga toimetamisel on oma käsud, mis viitavad sellele, mis kihiga hetkel toimetatakse: pv*, vg* ning lv*. Näiteks pvcreate, vgcreate ja lvcreate.

Esimese asjana tuleb valida ketas/kettajagu, kus LVM-iga toimetama hakata. Uue ketta puhul oleks võimalusel mõtekas luua üks tervet ketast hõlmav partitsioon.

Näites on kasutatud ühte 4 GB suurust ketast (VirtualBox-i lisatud 4GB suurune virtuualne kõvaketas). Operatsioonisüsteem tunnistab seda kui /dev/sdb ja seega on näites kasutatavad ketta nimed/asukohad just sellised. Partitiooni tüübiks tuleb kindlasti määrata Linux LVM ehk kood „8e“

<pre>fdisk -l 2> /dev/null | grep Disk
Disk /dev/sda: 8589 MB, 8589934592 bytes
Disk identifier: 0x000bd8b1
Disk /dev/sdb: 4294 MB, 4294967296 bytes
Disk identifier: 0x11844f48</pre>

===Füüsilise ketta väärtuse muutmine===
Avada fdiskiga uue loodud ketta partitsioon ning luua uus primaarne kettajagu:

<pre>fdisk /dev/sdb
Command (m for help): n

Partition type:
p primary (0 primary, 0 extended, 4 free)
e extended

Select (default p): p

Partition number (1-4, default 1): 1

First sector (2048-8388607, default 2048):
Using default value 2048

Last sector, +sectors or +size{K,M,G} (2048-8388607, default 8388607):
Using default value 8388607</pre>

Print käskluse abil kuvatakse kettajagu, algus, lõpp, blokid, id ning süsteem. Loodud partitsioon on 83 ehk Linux. Partitsiooni süsteemse id muutmiseks kasutatakse '''t'''.

Käsklus '''L''' kuvab kõik kaheksandikkoodid . Linux LVM kood on 8e, et muuta kettajagu Linux LVM-iks on vaja muuta kettajao id 83-lt 8e-ks.
[[file:8e.PNG|500px]]

<pre>
Command (m for help): t
Selected partition 1

Hex code (type L to list codes): 8e
Changed system type of partition 1 to 8e (Linux LVM)

Command (m for help): w
The partition table has been altered!

Calling ioctl() to re-read partition table.
Syncing disks.</pre>

'''NB mitte väljuda q, mis väljub programmist muudatusi salvestamata!'''

===Füüsiline kettajagu===
Järgnevalt anname lvm-ile teada, et loodud partitsioon on „pv“ ehk physical volume.
{|style="background:lightyellow;width:500px;margin:3px;border:1px solid lightgrey" align=centre
| style="padding:0px 0px 0px 80px;font-family:courier;font-size:8pt;" |pvcreate disk1 disk2 disk3
|}

<pre>pvcreate /dev/sdb1
Physical volume "/dev/sdb1" successfully created</pre>

Kui kõik läks hästi siis peaks tulemus olemas selline:
<pre>pvdisplay
"/dev/sdb1" is a new physical volume of "4.00 GiB"
--- NEW Physical volume ---
PV Name /dev/sdb1
VG Name
PV Size 4.00 GiB
Allocatable NO
PE Size 0
Total PE 0
Free PE 0
Allocated PE 0
PV UUID EdmaX9-bXmQ-Oevp-p9W9-I2qY-gpMM-1w77aQ</pre>

===Kettagrupp===
Loome uue „volume group“ -i ja nimetame selle mysql -iks.
<pre>vgcreate mysql /dev/sdb1
Volume group "mysql" successfully created</pre>

** vgdisplay
--- Volume group ---
VG Name mysql
System ID
Format lvm2
Metadata Areas 1
Metadata Sequence No 4
VG Access read/write
VG Status resizable
MAX LV 0
Cur LV 2
Open LV 2
Max PV 0
Cur PV 1
Act PV 1
VG Size 4.00 GiB
PE Size 4.00 MiB
Total PE 1023
Alloc PE / Size 512 / 2.00 GiB
Free PE / Size 511 / 2.00 GiB
VG UUID s5AjT8-ss7D-Gm9m-XY6j-ULMv-RLbR-xdy0K6

Järgnevalt saame luua „volume group“ -ile „logical volumes“ ehk loogilised kettajaod. Need on justkui partitsioonid füüsilisel kõvakettal ja neid saab juba andmete talletamiseks kasutada. Nimetame kettajao nimega data ja määrame tema suuruseks 1GB (antud suurus sobib väga hästi katsetamiseks aga reaalsetes süsteemides tuleb muidugi oluliselt suuremaid numbreid kasutada. ). Suuruse seadistamisel tuleb arvestada, et sama „volume group“ peale tuleb mahutada veel vähemalt üks sama suur loogiline kettajagu, mis on loodava LV snapshot. Näide kui VG suurus on kokku 10GB siis on võimalik teha maksimaalselt 5GB suurune loogiline kettajagu. Vastasel ei mahu tema kõrvale, samale VG-le tehtud LV snapshot.

===Loogiline kettajagu===
<pre>lvcreate -n data -L 1GB mysql
Logical volume "data" created</pre>

Kontrollime tulemust:
<pre>lvdisplay
--- Logical volume ---
LV Name /dev/mysql/data
VG Name mysql
LV UUID SL0yWI-Mc2b-KhkE-V8P1-bW7E-3iL8-8zD6Uf
LV Write Access read/write
LV Status available
# open 0
LV Size 1.00 GiB
Current LE 256
Segments 1
Allocation inherit
Read ahead sectors auto
- currently set to 256
Block device 252:0</pre>

Teadmiseks: lvdisplay käsu käivitamisel on näha parameeter „LV Status“. See näitab, kas kettajagu on saadaval või mitte. Kasutada on võimalik ainult available olekus kettajagu. Eemaldada saab ainult NOT available olekus kettajagusid. Kettajao NOT available olekusse viimiseks saab kasutada käsku:

<pre>lvchange -a n /dev/mysql/data</pre>
ja tagasi:
<pre>lvchange -a y /dev/mysql/data</pre>

===Failisüsteemi loomine ja ühendamine===
Nüüd on loodud uus kettajagu, mida saab andmete säiltamiseks kasutada. Loome sellele kettajaole failisüsteemi:
<pre>mkfs -t ext4 /dev/mysql/data</pre>

Järgmisena tuleb loodud kettajagu kuhugile mountida. Mina teen sellejaoks /srv/mysql kausta ja haagin ketta sinna.

<pre>mkdir /srv/mysql</pre>

Lisame /etc/fstab faili lõppu kirje, et ka järgmisel süsteemi käivitamisel oleks ketas kohe külgehaagitud

<pre>/dev/mysql/data /srv/mysql ext4 defaults 0 0</pre>

==MySQL seadistamine==
Muudame kausta õigused mysql-ile sobivaks (kausta omanik on kasutaja mysql ja kaustale on ligipääs ainult kausta omanikul)
<pre>chown mysql:mysql /srv/mysql
chmod 0700 /srv/mysql</pre>

Nüüd tuleb olemasolev mysql data kaust liigutada /srv/mysql kausta. Esimese asjana peatada mysql server
<pre>service mysql stop
mysql stop/waiting</pre>

Kopeerime (!) kogu mysql-i data kausta loodud lvm kettajaole. Ubuntus (ilmselt ka paljudes teistes operatsioonisüsteemides) asub mysq-i data kaust /var/lib/mysql. Oleks vägagi soovitatav jätta andmed vanasse kausta alles ja kustuta see alles siis kui ollakse täiesti kindel, et server töötab tõrgeteta.
<pre>cp -ar /var/lib/mysql/. /srv/mysql</pre>

Seejärel tuleb mysql-i konfiguratsioonifailis (/etc/mysql/my.cnf) muuta ära „datadir“ parameeter
<pre>datadir = /var/lib/mysql -> datadir = /srv/mysql</pre>

Teadmiseks: alates Ubuntu 7.10 -st on operatsioonisüsteemiga kaasas programm nimega „AppArmor“. Tegemist on kerneli turvamooduliga, mis teatavate programmide puhul piirab nende ligipääsu failisüsteemile. Et MySQL server uuesti korrektselt käivituks, tuleb „AppArmor“ -is mysq-i seadistust muuta. Sobiva tekstieditoriga tuleb avada /etc/apparmor.d/usr.sbin.mysqld konfifail ja teha seal vajalikud muudatused :
<pre>/var/lib/mysql/ r, -> /srv/mysql r,
/var/lib/mysql/** rwk, -> /srv/mysql** rwk,</pre>

Osadel operatsioonisüsteemidel võib ka init skript ette anda, kus asub mysql-i datadir. Seega oleks mõistlik ka see /etc/init.d/mysql skriptist üle vaadata.

Käivitame uuesti mysql-i serveri. Kui kõik läks hästi, peaks olema tulemus sarnane:

<pre>service mysql start
mysql start/running, process 2588</pre>

Kontrollime mysql-i muutujaid:
<pre>mysqladmin -u{mysql-kasutaja} -p variables | grep datadir
Enter password: {mysql-parool}
| datadir | /srv/mysql/
</pre>
Lisaks tuleks sobiva mysql kliendiga serverisse sisse logida ja kontrollida üle, kas kõik jäi korrektselt tööle.

Nüüd, kui MySQL server on korrektselt töödanud ja tekib vajadus varukoopiate tegemiseks. Töötavast serverist snapshoti tegemisel pole vajalik eelnev serveri väljalülitama. Lihtsalt protseduuri ajaks oleks vajalik keelata ära andmete kirjutamine „FLUSH TABLES WITH READ LOCK;“ käsuga, lisaks võiks tühjendada ka logid „FLUSH LOGS;“ käsuga. Snapshoti tegemise protsess on äärmiselt kiire ja andmete lugemine andmebaasist toimib endiselt edasi. Samas andmete kirjutamise protsess viibib seni, kui andmebaasilt kirjutamise lukk maha võetakse (kõik kirjutamise käsud täidetakse kohe peale luku vabastamist).
Ehkki varukoopia tegemise protsess ei tekita katkestusi serveri töös, oleks hea mõte teha varukoopiaid sellisel ajal kui serveril on kõige väiksem koormus.
On vajalik teada, et andmebaas lukustatakse ainult selleks ajaks, kui mysql serverisse on sisse logitud. Kohe kui sessioon lõpetatakse, vabastatakse ka lukud. Seetõttu peab snaspshoti tegemise ajal olema serverisse sisse logitud. Variant on kasutada kahte terminali sessiooni aga vajalikke käske saab käivitada ka MySQL-i käsurealt (vajalik on mysql-i klient käivitada root kasutaja õigustes).
<pre>mysql -u root -p
Enter password:
Welcome to the MySQL monitor. Commands end with ; or \g.
Your MySQL connection id is 75
Server version: 5.5.28-0ubuntu0.12.04.2 (Ubuntu)

Copyright (c) 2000, 2012, Oracle and/or its affiliates. All rights reserved.

Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

mysql> FLUSH TABLES WITH READ LOCK;
Query OK, 0 rows affected (0.00 sec)

mysql> FLUSH LOGS;
Query OK, 0 rows affected (0.00 sec)
</pre>

==Tõmmise tegemine==
<pre>
mysql> SYSTEM /sbin/lvcreate -L 1G --snapshot -n sql_backup /dev/mysql/data
File descriptor 3 (socket:[15065]) leaked on lvcreate invocation. Parent PID 3514: sh
Logical volume "sql_backup" created
mysql> UNLOCK TABLES;
Query OK, 0 rows affected (0.01 sec)

mysql> exit
Bye
</pre>
Snapshoti kettajagu nimetati kui sql_backup ja viide loogilisele seadmele asub /dev/mysql/sql_backup. Käivitades käsu „lvs“, saab näha, et lisaks mysql/data LV-le on juurde tekkinud mysql/sql_backup
<pre>lvs
LV VG Attr LSize Origin Snap% Move Log Copy% Convert
data mysql owi-ao 1.00g
sql_backup mysql swi-a- 1.00g data 0.00
</pre>
Kui nüüd haakida tehtud snapshoti kettajagu, on seal kättesaadav kogu mysql-i data sellel hetkel, kui snapshot tehti.
<pre>mkdir /mnt/bk
mount /dev/mysql/sql_backup /mnt/bk
ls -la /mnt/bk
total 28720
drwx------ 8 mysql mysql 4096 Dec 12 15:59 .
drwxr-xr-x 3 root root 4096 Dec 12 16:34 ..
-rw-r--r-- 1 root root 0 Nov 30 17:18 debian-5.5.flag
-rw-rw---- 1 mysql mysql 18874368 Dec 12 16:18 ibdata1
-rw-rw---- 1 mysql mysql 5242880 Dec 12 16:18 ib_logfile0
-rw-rw---- 1 mysql mysql 5242880 Nov 30 17:18 ib_logfile1
drwx------ 2 root root 16384 Dec 12 15:58 lost+found
drwx------ 2 mysql root 4096 Nov 30 17:18 mysql
-rw-rw---- 1 root root 6 Nov 30 17:18 mysql_upgrade_info
drwx------ 2 mysql mysql 4096 Nov 30 17:18 performance_schema
drwx------ 2 mysql mysql 4096 Nov 30 17:28 phpmyadmin
drwx------ 2 mysql root 4096 Dec 12 16:18 test
drwx------ 2 mysql mysql 4096 Nov 30 17:33 wp
</pre>
MySQL-i server töötab peale snapshoti tegemist katkestusteta edasi. Tehtud snapshoti andmeid võib varundada arhiivi jaoks. Andmete varundamisel tuleb spashoti kettajagu failisüsteemi külge haakida ja selle sisu „tar“-i abil arhiveerida ja hiljem eemaldada snapshoti kettajagu
<pre>mkdir /mnt/bk
mount /dev/mysql/sql_backup /mnt/bk
tar -cjf /teekond/arhiivi/kuupäev.tar.bz2 -C /mnt bk
umount /dev/mysql/sql_backup
lvremove /dev/mysql/sql_backup
Do you really want to remove active logical volume sql_backup? [y/n]: Y
Logical volume "sql_backup" successfully removed
</pre>
Kogu protseduuri automatiseerimiseks on võimalik koostada ka skript, mida saab käivitada sobival aja või kasutades „cron“ ajastamise vahendeid.

Lisaks on võimalik mysql-i data kaust haakida ümber snapshoti kettajaole ja taastada server sellesse seisu, mis oli snapshoti tegemise hetkel minimaalse katkestuse ajaga.

==Kokkuvõte==

LVM -i kasutamine varundamisel on väikestes ja mittekriitilistes süsteemides küllaltki hea lahendus. See ei nõua eriteadmisi ja kallist riistvara/tarkvara. Kuid suurematesse ja keerukamatesse lahendustesse see ei sobi, kuna see ainult aitab luua snapshoti hetke seisust aga ei paku võimalust seda eraldi salvestada. Arhiveerimiseks tuleb kasutada eraldi vahendeid ja selle protseduuri käigus võib minna kaduma vajalikke andmeid. Ka ei võistle LVM proffessionaalsete vahenditega nagu Arkeia (http://www.arkeia.com/) või BrightStor, mis on just varundamise lahenduste jaoks loodud ja muudavad antud tegemise mugavaks ja kiireks.

==Kasutatud kirjandus==
http://kuutorvaja.eenet.ee/wiki/LVM 
http://www.web-manual.net/linux-3/logical-volume-manager-in-linux/ 
http://www.lullabot.com/articles/mysql-backups-using-lvm-snapshots 
http://www.ubuntugeek.com/how-to-change-the-mysql-data-default-directory.html 
https://wiki.ubuntu.com/Lvm 
http://linuxconfig.org/Linux_lvm_-_Logical_Volume_Manager 

==Autor==
Madis Lauri
AK 31
[[Category:Operatsioonisüsteemide administreerimine ja sidumine]]

'''Täiendamine:'''

Carolys Kallas A32

Aine: Linuxi administreerimine

Viimati muudetud: 07.01.2013

Mysql varundamine LVM abil

2013-01-10T23:57:03Z

Ckallas: /* MySQL seadistamine= */

__TOC__
==Sissejuhatus==

Antud kirjatüki eesmärgiks on tutvustada LVM-i kui abivahendit toimivast süsteemist tagavarakoopiate tegemisel. Kuigi failisüsteemi snapshotide tegemine ja nende kasutamine on ainult üks LVM-i pakutavatest võimalustest. LVM - i snapshotide tegemise võimalus pole ainult mysql -i varundamiseks, vaid kasutatav ka muude andmete varukoopiate tegemiseks. Antud juhul on MySQL siin ainult „reisija“ aga protsessi selgitamiseks ja LVM snapshoti kasutamiseks on MySQL näitena väga hea. Kogu seadistamise protsess toimub Ubuntu Linux Server 12.04.1 LTS operatsioonisüsteemis ja kasutab sellega kaasnevaid vahendeid.

==Mis on mis?==
'''Logical Volume Manager''' - LVM

'''Physical Volume''' - PV, plokkseade, füüsiline kettajagu

'''Volume Group''' - VG, kettagrupp

'''Logical Volume''' - LV, loogiline kettajagu

'''Snapshot''' - (hetk)tõmmis

===LVM===
LVM ehk „Logical Volume Manager“ on ketta partitsioonide haldusvahend Linuxi ja UNIX-i laadsete operatsioonisüsteemide juures. LVM moodustab vahekihi failisüsteemi ja füüsilise kõvaketta vahele. Esmapilgul võib tunduda, et LVM on sarnane RAID (Redundant Array of Independent Disks) kettamassiiviga, on ta siiski hoopis paindlikum viis kettajagudega toimetamiseks. RAID võimaldab kettaid omavahel liita, et saada paremaid tulemusi kiiruses, mahus või töökindluses. LVM seevastu võimaldab korraga hallata mitut (ka loogilist) kettajagu, neid vastavalt vajadusele ümber tõsta ja mahtu muuta. Seega on tihti hea mõte neid kahte hoopis koos kasutada (näiteks RAID 10 ja LVM).
Lihtsustatult oleks ettekujutus eri kihtide tasemetest selline:
* Failisüsteemid
* LVM
* RAID (vajadusel)
* füüsilised plokkmäluseadmed (kõvakettad)

===Omadused===
LVM pakutavad võimalused on:
* Failisüsteemi suuruse muutmine
* Failisüsteemi snapshotide tegemine ja kasutamine (nii read-only kui ka read-write)
* Loodud/muudetud partitsioonide kohene kasutamine, kui ketas/partitsioon on mingil moel kasutusel. Fdisk-i kasutamisel tuleb OP-süsteem taaskäivitada.
* Väiksemate füüsiliste plokkseadmete kokku ühendamine, üheks suureks loogiliseks seadmeks. (Nagu RAID)
* Ketaste liigutamine ja ühendamine üle võrgu

Lisainfot LVM-i kohta: http://en.wikipedia.org/wiki/Logical_Volume_Manager_(Linux)

===MySQL===
MySQL on Oracle Corporation poolt hallatav relatsioonilise andmebaasi haldamise süsteem. On äärmiselt populaarne andmebaasisüsteem erinevates veebirakendustes aga ka mõningates suuremates süsteemides. Oma populaarsuse on ta saanud tänu äärmiselt lihtsale hallatavusele ja kasutajasõbralikkusele. Hetkel ei hakka MySQL-i omadustel ja võimalustel pikemalt peatuma. Rohkem informatsiooni leiab: http://www.mysql.com/

==Eeldused==
*Installeeritud Ubuntu Server (vähemalt 12.04 versioon)
*Tutvutud kettajagudega (kiire kordamine näiteks '''[[Osadmin spikker]]''')

'''Viia kõik käsklused läbi sudo kasutaja alt'''
sudo -i

===Ketaste lisamine===
Kõigepealt on vaja lisada serverile kõvaketas, mida hiljem LVM-iga siduma hakata.

[[File:Create_hard_disk.PNG‎|500px]]

Luua uus 4GB ketas, mis on VirtualBox Disk Image (VDI) formaadis ning dünaamiliselt jagatud.

===Vajaliku tarkvara installeerimine===

Et LVM-i ja MySQL-i seadistada on vajalikud teadmised, kuidas toimub Linuxis ketaste ja partitisoonide haldamine ja baasteadmised MySQL-ist.
Kõigepealt on vajalik installeerida lvm2 nimeline pakett.
<pre>apt-get install lvm2</pre>
Olenevalt operatsioonisüsteemist võib olla vajalikud pakeid juba installeeritud, kontrollida saab nii:
<pre>lvm version</pre>

<pre>lvm version
LVM version: 2.02.66(2) (2010-05-20)
Library version: 1.02.48 (2010-05-20)
Driver version: 4.22.0
</pre>
Lisaks on vajalik installeerida MySQL server ja klientprogramm serveriga ühendumiseks.
<pre>apt-get install mysql-server</pre>
NB! Kuna LVM-i kasutuselevõtmine vajab mõningast MySQL-i ümberseadistamist, tuleb arvestada asjaoluga, et MySQL-i data kausta ümbertõstmisel ei pruugi olemasolevad andmed säilida (InnoDB) ja vajalik oleks serveris olevatest andmetest enne .sql kujul tagavarakoopia teha.

==LVM -i seadistamine==
[[File: LVM.jpg|450px]]

LVM ise jaguneb kolmeks eri kihiks: plokkseadmed (PV), kettagrupid (VG), millesse on organiseeritud füüsilised plokkseadmed ja loogilised kettajaod, mis on jagatud kettagrupid.
Iga kihiga toimetamisel on oma käsud, mis viitavad sellele, mis kihiga hetkel toimetatakse: pv*, vg* ning lv*. Näiteks pvcreate, vgcreate ja lvcreate.

Esimese asjana tuleb valida ketas/kettajagu, kus LVM-iga toimetama hakata. Uue ketta puhul oleks võimalusel mõtekas luua üks tervet ketast hõlmav partitsioon.

Näites on kasutatud ühte 4 GB suurust ketast (VirtualBox-i lisatud 4GB suurune virtuualne kõvaketas). Operatsioonisüsteem tunnistab seda kui /dev/sdb ja seega on näites kasutatavad ketta nimed/asukohad just sellised. Partitiooni tüübiks tuleb kindlasti määrata Linux LVM ehk kood „8e“

<pre>fdisk -l 2> /dev/null | grep Disk
Disk /dev/sda: 8589 MB, 8589934592 bytes
Disk identifier: 0x000bd8b1
Disk /dev/sdb: 4294 MB, 4294967296 bytes
Disk identifier: 0x11844f48</pre>

===Füüsilise ketta väärtuse muutmine===
Avada fdiskiga uue loodud ketta partitsioon ning luua uus primaarne kettajagu:

<pre>fdisk /dev/sdb
Command (m for help): n

Partition type:
p primary (0 primary, 0 extended, 4 free)
e extended

Select (default p): p

Partition number (1-4, default 1): 1

First sector (2048-8388607, default 2048):
Using default value 2048

Last sector, +sectors or +size{K,M,G} (2048-8388607, default 8388607):
Using default value 8388607</pre>

Print käskluse abil kuvatakse kettajagu, algus, lõpp, blokid, id ning süsteem. Loodud partitsioon on 83 ehk Linux. Partitsiooni süsteemse id muutmiseks kasutatakse '''t'''.

Käsklus '''L''' kuvab kõik kaheksandikkoodid . Linux LVM kood on 8e, et muuta kettajagu Linux LVM-iks on vaja muuta kettajao id 83-lt 8e-ks.
[[file:8e.PNG|500px]]

<pre>
Command (m for help): t
Selected partition 1

Hex code (type L to list codes): 8e
Changed system type of partition 1 to 8e (Linux LVM)

Command (m for help): w
The partition table has been altered!

Calling ioctl() to re-read partition table.
Syncing disks.</pre>

'''NB mitte väljuda q, mis väljub programmist muudatusi salvestamata!'''

===Füüsiline kettajagu===
Järgnevalt anname lvm-ile teada, et loodud partitsioon on „pv“ ehk physical volume.
<pre>pvcreate /dev/sdb1
Physical volume "/dev/sdb1" successfully created</pre>

Kui kõik läks hästi siis peaks tulemus olemas selline:
<pre>pvdisplay
"/dev/sdb1" is a new physical volume of "4.00 GiB"
--- NEW Physical volume ---
PV Name /dev/sdb1
VG Name
PV Size 4.00 GiB
Allocatable NO
PE Size 0
Total PE 0
Free PE 0
Allocated PE 0
PV UUID EdmaX9-bXmQ-Oevp-p9W9-I2qY-gpMM-1w77aQ</pre>

===Kettagrupp===
Loome uue „volume group“ -i ja nimetame selle mysql -iks.
<pre>vgcreate mysql /dev/sdb1
Volume group "mysql" successfully created</pre>

** vgdisplay
--- Volume group ---
VG Name mysql
System ID
Format lvm2
Metadata Areas 1
Metadata Sequence No 4
VG Access read/write
VG Status resizable
MAX LV 0
Cur LV 2
Open LV 2
Max PV 0
Cur PV 1
Act PV 1
VG Size 4.00 GiB
PE Size 4.00 MiB
Total PE 1023
Alloc PE / Size 512 / 2.00 GiB
Free PE / Size 511 / 2.00 GiB
VG UUID s5AjT8-ss7D-Gm9m-XY6j-ULMv-RLbR-xdy0K6

Järgnevalt saame luua „volume group“ -ile „logical volumes“ ehk loogilised kettajaod. Need on justkui partitsioonid füüsilisel kõvakettal ja neid saab juba andmete talletamiseks kasutada. Nimetame kettajao nimega data ja määrame tema suuruseks 1GB (antud suurus sobib väga hästi katsetamiseks aga reaalsetes süsteemides tuleb muidugi oluliselt suuremaid numbreid kasutada. ). Suuruse seadistamisel tuleb arvestada, et sama „volume group“ peale tuleb mahutada veel vähemalt üks sama suur loogiline kettajagu, mis on loodava LV snapshot. Näide kui VG suurus on kokku 10GB siis on võimalik teha maksimaalselt 5GB suurune loogiline kettajagu. Vastasel ei mahu tema kõrvale, samale VG-le tehtud LV snapshot.

===Loogiline kettajagu===
<pre>lvcreate -n data -L 1GB mysql
Logical volume "data" created</pre>

Kontrollime tulemust:
<pre>lvdisplay
--- Logical volume ---
LV Name /dev/mysql/data
VG Name mysql
LV UUID SL0yWI-Mc2b-KhkE-V8P1-bW7E-3iL8-8zD6Uf
LV Write Access read/write
LV Status available
# open 0
LV Size 1.00 GiB
Current LE 256
Segments 1
Allocation inherit
Read ahead sectors auto
- currently set to 256
Block device 252:0</pre>

Teadmiseks: lvdisplay käsu käivitamisel on näha parameeter „LV Status“. See näitab, kas kettajagu on saadaval või mitte. Kasutada on võimalik ainult available olekus kettajagu. Eemaldada saab ainult NOT available olekus kettajagusid. Kettajao NOT available olekusse viimiseks saab kasutada käsku:

<pre>lvchange -a n /dev/mysql/data</pre>
ja tagasi:
<pre>lvchange -a y /dev/mysql/data</pre>

===Failisüsteemi loomine ja ühendamine===
Nüüd on loodud uus kettajagu, mida saab andmete säiltamiseks kasutada. Loome sellele kettajaole failisüsteemi:
<pre>mkfs -t ext4 /dev/mysql/data</pre>

Järgmisena tuleb loodud kettajagu kuhugile mountida. Mina teen sellejaoks /srv/mysql kausta ja haagin ketta sinna.

<pre>mkdir /srv/mysql</pre>

Lisame /etc/fstab faili lõppu kirje, et ka järgmisel süsteemi käivitamisel oleks ketas kohe külgehaagitud

<pre>/dev/mysql/data /srv/mysql ext4 defaults 0 0</pre>

==MySQL seadistamine==
Muudame kausta õigused mysql-ile sobivaks (kausta omanik on kasutaja mysql ja kaustale on ligipääs ainult kausta omanikul)
<pre>chown mysql:mysql /srv/mysql
chmod 0700 /srv/mysql</pre>

Nüüd tuleb olemasolev mysql data kaust liigutada /srv/mysql kausta. Esimese asjana peatada mysql server
<pre>service mysql stop
mysql stop/waiting</pre>

Kopeerime (!) kogu mysql-i data kausta loodud lvm kettajaole. Ubuntus (ilmselt ka paljudes teistes operatsioonisüsteemides) asub mysq-i data kaust /var/lib/mysql. Oleks vägagi soovitatav jätta andmed vanasse kausta alles ja kustuta see alles siis kui ollakse täiesti kindel, et server töötab tõrgeteta.
<pre>cp -ar /var/lib/mysql/. /srv/mysql</pre>

Seejärel tuleb mysql-i konfiguratsioonifailis (/etc/mysql/my.cnf) muuta ära „datadir“ parameeter
<pre>datadir = /var/lib/mysql -> datadir = /srv/mysql</pre>

Teadmiseks: alates Ubuntu 7.10 -st on operatsioonisüsteemiga kaasas programm nimega „AppArmor“. Tegemist on kerneli turvamooduliga, mis teatavate programmide puhul piirab nende ligipääsu failisüsteemile. Et MySQL server uuesti korrektselt käivituks, tuleb „AppArmor“ -is mysq-i seadistust muuta. Sobiva tekstieditoriga tuleb avada /etc/apparmor.d/usr.sbin.mysqld konfifail ja teha seal vajalikud muudatused :
<pre>/var/lib/mysql/ r, -> /srv/mysql r,
/var/lib/mysql/** rwk, -> /srv/mysql** rwk,</pre>

Osadel operatsioonisüsteemidel võib ka init skript ette anda, kus asub mysql-i datadir. Seega oleks mõistlik ka see /etc/init.d/mysql skriptist üle vaadata.

Käivitame uuesti mysql-i serveri. Kui kõik läks hästi, peaks olema tulemus sarnane:

<pre>service mysql start
mysql start/running, process 2588</pre>

Kontrollime mysql-i muutujaid:
<pre>mysqladmin -u{mysql-kasutaja} -p variables | grep datadir
Enter password: {mysql-parool}
| datadir | /srv/mysql/
</pre>
Lisaks tuleks sobiva mysql kliendiga serverisse sisse logida ja kontrollida üle, kas kõik jäi korrektselt tööle.

Nüüd, kui MySQL server on korrektselt töödanud ja tekib vajadus varukoopiate tegemiseks. Töötavast serverist snapshoti tegemisel pole vajalik eelnev serveri väljalülitama. Lihtsalt protseduuri ajaks oleks vajalik keelata ära andmete kirjutamine „FLUSH TABLES WITH READ LOCK;“ käsuga, lisaks võiks tühjendada ka logid „FLUSH LOGS;“ käsuga. Snapshoti tegemise protsess on äärmiselt kiire ja andmete lugemine andmebaasist toimib endiselt edasi. Samas andmete kirjutamise protsess viibib seni, kui andmebaasilt kirjutamise lukk maha võetakse (kõik kirjutamise käsud täidetakse kohe peale luku vabastamist).
Ehkki varukoopia tegemise protsess ei tekita katkestusi serveri töös, oleks hea mõte teha varukoopiaid sellisel ajal kui serveril on kõige väiksem koormus.
On vajalik teada, et andmebaas lukustatakse ainult selleks ajaks, kui mysql serverisse on sisse logitud. Kohe kui sessioon lõpetatakse, vabastatakse ka lukud. Seetõttu peab snaspshoti tegemise ajal olema serverisse sisse logitud. Variant on kasutada kahte terminali sessiooni aga vajalikke käske saab käivitada ka MySQL-i käsurealt (vajalik on mysql-i klient käivitada root kasutaja õigustes).
<pre>mysql -u root -p
Enter password:
Welcome to the MySQL monitor. Commands end with ; or \g.
Your MySQL connection id is 75
Server version: 5.5.28-0ubuntu0.12.04.2 (Ubuntu)

Copyright (c) 2000, 2012, Oracle and/or its affiliates. All rights reserved.

Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

mysql> FLUSH TABLES WITH READ LOCK;
Query OK, 0 rows affected (0.00 sec)

mysql> FLUSH LOGS;
Query OK, 0 rows affected (0.00 sec)
</pre>

==Tõmmise tegemine==
<pre>
mysql> SYSTEM /sbin/lvcreate -L 1G --snapshot -n sql_backup /dev/mysql/data
File descriptor 3 (socket:[15065]) leaked on lvcreate invocation. Parent PID 3514: sh
Logical volume "sql_backup" created
mysql> UNLOCK TABLES;
Query OK, 0 rows affected (0.01 sec)

mysql> exit
Bye
</pre>
Snapshoti kettajagu nimetati kui sql_backup ja viide loogilisele seadmele asub /dev/mysql/sql_backup. Käivitades käsu „lvs“, saab näha, et lisaks mysql/data LV-le on juurde tekkinud mysql/sql_backup
<pre>lvs
LV VG Attr LSize Origin Snap% Move Log Copy% Convert
data mysql owi-ao 1.00g
sql_backup mysql swi-a- 1.00g data 0.00
</pre>
Kui nüüd haakida tehtud snapshoti kettajagu, on seal kättesaadav kogu mysql-i data sellel hetkel, kui snapshot tehti.
<pre>mkdir /mnt/bk
mount /dev/mysql/sql_backup /mnt/bk
ls -la /mnt/bk
total 28720
drwx------ 8 mysql mysql 4096 Dec 12 15:59 .
drwxr-xr-x 3 root root 4096 Dec 12 16:34 ..
-rw-r--r-- 1 root root 0 Nov 30 17:18 debian-5.5.flag
-rw-rw---- 1 mysql mysql 18874368 Dec 12 16:18 ibdata1
-rw-rw---- 1 mysql mysql 5242880 Dec 12 16:18 ib_logfile0
-rw-rw---- 1 mysql mysql 5242880 Nov 30 17:18 ib_logfile1
drwx------ 2 root root 16384 Dec 12 15:58 lost+found
drwx------ 2 mysql root 4096 Nov 30 17:18 mysql
-rw-rw---- 1 root root 6 Nov 30 17:18 mysql_upgrade_info
drwx------ 2 mysql mysql 4096 Nov 30 17:18 performance_schema
drwx------ 2 mysql mysql 4096 Nov 30 17:28 phpmyadmin
drwx------ 2 mysql root 4096 Dec 12 16:18 test
drwx------ 2 mysql mysql 4096 Nov 30 17:33 wp
</pre>
MySQL-i server töötab peale snapshoti tegemist katkestusteta edasi. Tehtud snapshoti andmeid võib varundada arhiivi jaoks. Andmete varundamisel tuleb spashoti kettajagu failisüsteemi külge haakida ja selle sisu „tar“-i abil arhiveerida ja hiljem eemaldada snapshoti kettajagu
<pre>mkdir /mnt/bk
mount /dev/mysql/sql_backup /mnt/bk
tar -cjf /teekond/arhiivi/kuupäev.tar.bz2 -C /mnt bk
umount /dev/mysql/sql_backup
lvremove /dev/mysql/sql_backup
Do you really want to remove active logical volume sql_backup? [y/n]: Y
Logical volume "sql_backup" successfully removed
</pre>
Kogu protseduuri automatiseerimiseks on võimalik koostada ka skript, mida saab käivitada sobival aja või kasutades „cron“ ajastamise vahendeid.

Lisaks on võimalik mysql-i data kaust haakida ümber snapshoti kettajaole ja taastada server sellesse seisu, mis oli snapshoti tegemise hetkel minimaalse katkestuse ajaga.

==Kokkuvõte==

LVM -i kasutamine varundamisel on väikestes ja mittekriitilistes süsteemides küllaltki hea lahendus. See ei nõua eriteadmisi ja kallist riistvara/tarkvara. Kuid suurematesse ja keerukamatesse lahendustesse see ei sobi, kuna see ainult aitab luua snapshoti hetke seisust aga ei paku võimalust seda eraldi salvestada. Arhiveerimiseks tuleb kasutada eraldi vahendeid ja selle protseduuri käigus võib minna kaduma vajalikke andmeid. Ka ei võistle LVM proffessionaalsete vahenditega nagu Arkeia (http://www.arkeia.com/) või BrightStor, mis on just varundamise lahenduste jaoks loodud ja muudavad antud tegemise mugavaks ja kiireks.

==Kasutatud kirjandus==
http://kuutorvaja.eenet.ee/wiki/LVM 
http://www.web-manual.net/linux-3/logical-volume-manager-in-linux/ 
http://www.lullabot.com/articles/mysql-backups-using-lvm-snapshots 
http://www.ubuntugeek.com/how-to-change-the-mysql-data-default-directory.html 
https://wiki.ubuntu.com/Lvm 
http://linuxconfig.org/Linux_lvm_-_Logical_Volume_Manager 

==Autor==
Madis Lauri
AK 31
[[Category:Operatsioonisüsteemide administreerimine ja sidumine]]

'''Täiendamine:'''

Carolys Kallas A32

Aine: Linuxi administreerimine

Viimati muudetud: 07.01.2013

Mysql varundamine LVM abil

2013-01-10T23:56:31Z

Ckallas: /* Kasutatud kirjandus */

__TOC__
==Sissejuhatus==

Antud kirjatüki eesmärgiks on tutvustada LVM-i kui abivahendit toimivast süsteemist tagavarakoopiate tegemisel. Kuigi failisüsteemi snapshotide tegemine ja nende kasutamine on ainult üks LVM-i pakutavatest võimalustest. LVM - i snapshotide tegemise võimalus pole ainult mysql -i varundamiseks, vaid kasutatav ka muude andmete varukoopiate tegemiseks. Antud juhul on MySQL siin ainult „reisija“ aga protsessi selgitamiseks ja LVM snapshoti kasutamiseks on MySQL näitena väga hea. Kogu seadistamise protsess toimub Ubuntu Linux Server 12.04.1 LTS operatsioonisüsteemis ja kasutab sellega kaasnevaid vahendeid.

==Mis on mis?==
'''Logical Volume Manager''' - LVM

'''Physical Volume''' - PV, plokkseade, füüsiline kettajagu

'''Volume Group''' - VG, kettagrupp

'''Logical Volume''' - LV, loogiline kettajagu

'''Snapshot''' - (hetk)tõmmis

===LVM===
LVM ehk „Logical Volume Manager“ on ketta partitsioonide haldusvahend Linuxi ja UNIX-i laadsete operatsioonisüsteemide juures. LVM moodustab vahekihi failisüsteemi ja füüsilise kõvaketta vahele. Esmapilgul võib tunduda, et LVM on sarnane RAID (Redundant Array of Independent Disks) kettamassiiviga, on ta siiski hoopis paindlikum viis kettajagudega toimetamiseks. RAID võimaldab kettaid omavahel liita, et saada paremaid tulemusi kiiruses, mahus või töökindluses. LVM seevastu võimaldab korraga hallata mitut (ka loogilist) kettajagu, neid vastavalt vajadusele ümber tõsta ja mahtu muuta. Seega on tihti hea mõte neid kahte hoopis koos kasutada (näiteks RAID 10 ja LVM).
Lihtsustatult oleks ettekujutus eri kihtide tasemetest selline:
* Failisüsteemid
* LVM
* RAID (vajadusel)
* füüsilised plokkmäluseadmed (kõvakettad)

===Omadused===
LVM pakutavad võimalused on:
* Failisüsteemi suuruse muutmine
* Failisüsteemi snapshotide tegemine ja kasutamine (nii read-only kui ka read-write)
* Loodud/muudetud partitsioonide kohene kasutamine, kui ketas/partitsioon on mingil moel kasutusel. Fdisk-i kasutamisel tuleb OP-süsteem taaskäivitada.
* Väiksemate füüsiliste plokkseadmete kokku ühendamine, üheks suureks loogiliseks seadmeks. (Nagu RAID)
* Ketaste liigutamine ja ühendamine üle võrgu

Lisainfot LVM-i kohta: http://en.wikipedia.org/wiki/Logical_Volume_Manager_(Linux)

===MySQL===
MySQL on Oracle Corporation poolt hallatav relatsioonilise andmebaasi haldamise süsteem. On äärmiselt populaarne andmebaasisüsteem erinevates veebirakendustes aga ka mõningates suuremates süsteemides. Oma populaarsuse on ta saanud tänu äärmiselt lihtsale hallatavusele ja kasutajasõbralikkusele. Hetkel ei hakka MySQL-i omadustel ja võimalustel pikemalt peatuma. Rohkem informatsiooni leiab: http://www.mysql.com/

==Eeldused==
*Installeeritud Ubuntu Server (vähemalt 12.04 versioon)
*Tutvutud kettajagudega (kiire kordamine näiteks '''[[Osadmin spikker]]''')

'''Viia kõik käsklused läbi sudo kasutaja alt'''
sudo -i

===Ketaste lisamine===
Kõigepealt on vaja lisada serverile kõvaketas, mida hiljem LVM-iga siduma hakata.

[[File:Create_hard_disk.PNG‎|500px]]

Luua uus 4GB ketas, mis on VirtualBox Disk Image (VDI) formaadis ning dünaamiliselt jagatud.

===Vajaliku tarkvara installeerimine===

Et LVM-i ja MySQL-i seadistada on vajalikud teadmised, kuidas toimub Linuxis ketaste ja partitisoonide haldamine ja baasteadmised MySQL-ist.
Kõigepealt on vajalik installeerida lvm2 nimeline pakett.
<pre>apt-get install lvm2</pre>
Olenevalt operatsioonisüsteemist võib olla vajalikud pakeid juba installeeritud, kontrollida saab nii:
<pre>lvm version</pre>

<pre>lvm version
LVM version: 2.02.66(2) (2010-05-20)
Library version: 1.02.48 (2010-05-20)
Driver version: 4.22.0
</pre>
Lisaks on vajalik installeerida MySQL server ja klientprogramm serveriga ühendumiseks.
<pre>apt-get install mysql-server</pre>
NB! Kuna LVM-i kasutuselevõtmine vajab mõningast MySQL-i ümberseadistamist, tuleb arvestada asjaoluga, et MySQL-i data kausta ümbertõstmisel ei pruugi olemasolevad andmed säilida (InnoDB) ja vajalik oleks serveris olevatest andmetest enne .sql kujul tagavarakoopia teha.

==LVM -i seadistamine==
[[File: LVM.jpg|450px]]

LVM ise jaguneb kolmeks eri kihiks: plokkseadmed (PV), kettagrupid (VG), millesse on organiseeritud füüsilised plokkseadmed ja loogilised kettajaod, mis on jagatud kettagrupid.
Iga kihiga toimetamisel on oma käsud, mis viitavad sellele, mis kihiga hetkel toimetatakse: pv*, vg* ning lv*. Näiteks pvcreate, vgcreate ja lvcreate.

Esimese asjana tuleb valida ketas/kettajagu, kus LVM-iga toimetama hakata. Uue ketta puhul oleks võimalusel mõtekas luua üks tervet ketast hõlmav partitsioon.

Näites on kasutatud ühte 4 GB suurust ketast (VirtualBox-i lisatud 4GB suurune virtuualne kõvaketas). Operatsioonisüsteem tunnistab seda kui /dev/sdb ja seega on näites kasutatavad ketta nimed/asukohad just sellised. Partitiooni tüübiks tuleb kindlasti määrata Linux LVM ehk kood „8e“

<pre>fdisk -l 2> /dev/null | grep Disk
Disk /dev/sda: 8589 MB, 8589934592 bytes
Disk identifier: 0x000bd8b1
Disk /dev/sdb: 4294 MB, 4294967296 bytes
Disk identifier: 0x11844f48</pre>

===Füüsilise ketta väärtuse muutmine===
Avada fdiskiga uue loodud ketta partitsioon ning luua uus primaarne kettajagu:

<pre>fdisk /dev/sdb
Command (m for help): n

Partition type:
p primary (0 primary, 0 extended, 4 free)
e extended

Select (default p): p

Partition number (1-4, default 1): 1

First sector (2048-8388607, default 2048):
Using default value 2048

Last sector, +sectors or +size{K,M,G} (2048-8388607, default 8388607):
Using default value 8388607</pre>

Print käskluse abil kuvatakse kettajagu, algus, lõpp, blokid, id ning süsteem. Loodud partitsioon on 83 ehk Linux. Partitsiooni süsteemse id muutmiseks kasutatakse '''t'''.

Käsklus '''L''' kuvab kõik kaheksandikkoodid . Linux LVM kood on 8e, et muuta kettajagu Linux LVM-iks on vaja muuta kettajao id 83-lt 8e-ks.
[[file:8e.PNG|500px]]

<pre>
Command (m for help): t
Selected partition 1

Hex code (type L to list codes): 8e
Changed system type of partition 1 to 8e (Linux LVM)

Command (m for help): w
The partition table has been altered!

Calling ioctl() to re-read partition table.
Syncing disks.</pre>

'''NB mitte väljuda q, mis väljub programmist muudatusi salvestamata!'''

===Füüsiline kettajagu===
Järgnevalt anname lvm-ile teada, et loodud partitsioon on „pv“ ehk physical volume.
<pre>pvcreate /dev/sdb1
Physical volume "/dev/sdb1" successfully created</pre>

Kui kõik läks hästi siis peaks tulemus olemas selline:
<pre>pvdisplay
"/dev/sdb1" is a new physical volume of "4.00 GiB"
--- NEW Physical volume ---
PV Name /dev/sdb1
VG Name
PV Size 4.00 GiB
Allocatable NO
PE Size 0
Total PE 0
Free PE 0
Allocated PE 0
PV UUID EdmaX9-bXmQ-Oevp-p9W9-I2qY-gpMM-1w77aQ</pre>

===Kettagrupp===
Loome uue „volume group“ -i ja nimetame selle mysql -iks.
<pre>vgcreate mysql /dev/sdb1
Volume group "mysql" successfully created</pre>

** vgdisplay
--- Volume group ---
VG Name mysql
System ID
Format lvm2
Metadata Areas 1
Metadata Sequence No 4
VG Access read/write
VG Status resizable
MAX LV 0
Cur LV 2
Open LV 2
Max PV 0
Cur PV 1
Act PV 1
VG Size 4.00 GiB
PE Size 4.00 MiB
Total PE 1023
Alloc PE / Size 512 / 2.00 GiB
Free PE / Size 511 / 2.00 GiB
VG UUID s5AjT8-ss7D-Gm9m-XY6j-ULMv-RLbR-xdy0K6

Järgnevalt saame luua „volume group“ -ile „logical volumes“ ehk loogilised kettajaod. Need on justkui partitsioonid füüsilisel kõvakettal ja neid saab juba andmete talletamiseks kasutada. Nimetame kettajao nimega data ja määrame tema suuruseks 1GB (antud suurus sobib väga hästi katsetamiseks aga reaalsetes süsteemides tuleb muidugi oluliselt suuremaid numbreid kasutada. ). Suuruse seadistamisel tuleb arvestada, et sama „volume group“ peale tuleb mahutada veel vähemalt üks sama suur loogiline kettajagu, mis on loodava LV snapshot. Näide kui VG suurus on kokku 10GB siis on võimalik teha maksimaalselt 5GB suurune loogiline kettajagu. Vastasel ei mahu tema kõrvale, samale VG-le tehtud LV snapshot.

===Loogiline kettajagu===
<pre>lvcreate -n data -L 1GB mysql
Logical volume "data" created</pre>

Kontrollime tulemust:
<pre>lvdisplay
--- Logical volume ---
LV Name /dev/mysql/data
VG Name mysql
LV UUID SL0yWI-Mc2b-KhkE-V8P1-bW7E-3iL8-8zD6Uf
LV Write Access read/write
LV Status available
# open 0
LV Size 1.00 GiB
Current LE 256
Segments 1
Allocation inherit
Read ahead sectors auto
- currently set to 256
Block device 252:0</pre>

Teadmiseks: lvdisplay käsu käivitamisel on näha parameeter „LV Status“. See näitab, kas kettajagu on saadaval või mitte. Kasutada on võimalik ainult available olekus kettajagu. Eemaldada saab ainult NOT available olekus kettajagusid. Kettajao NOT available olekusse viimiseks saab kasutada käsku:

<pre>lvchange -a n /dev/mysql/data</pre>
ja tagasi:
<pre>lvchange -a y /dev/mysql/data</pre>

===Failisüsteemi loomine ja ühendamine===
Nüüd on loodud uus kettajagu, mida saab andmete säiltamiseks kasutada. Loome sellele kettajaole failisüsteemi:
<pre>mkfs -t ext4 /dev/mysql/data</pre>

Järgmisena tuleb loodud kettajagu kuhugile mountida. Mina teen sellejaoks /srv/mysql kausta ja haagin ketta sinna.

<pre>mkdir /srv/mysql</pre>

Lisame /etc/fstab faili lõppu kirje, et ka järgmisel süsteemi käivitamisel oleks ketas kohe külgehaagitud

<pre>/dev/mysql/data /srv/mysql ext4 defaults 0 0</pre>

==MySQL seadistamine===
Muudame kausta õigused mysql-ile sobivaks (kausta omanik on kasutaja mysql ja kaustale on ligipääs ainult kausta omanikul)
<pre>chown mysql:mysql /srv/mysql
chmod 0700 /srv/mysql</pre>

Nüüd tuleb olemasolev mysql data kaust liigutada /srv/mysql kausta. Esimese asjana peatada mysql server
<pre>service mysql stop
mysql stop/waiting</pre>

Kopeerime (!) kogu mysql-i data kausta loodud lvm kettajaole. Ubuntus (ilmselt ka paljudes teistes operatsioonisüsteemides) asub mysq-i data kaust /var/lib/mysql. Oleks vägagi soovitatav jätta andmed vanasse kausta alles ja kustuta see alles siis kui ollakse täiesti kindel, et server töötab tõrgeteta.
<pre>cp -ar /var/lib/mysql/. /srv/mysql</pre>

Seejärel tuleb mysql-i konfiguratsioonifailis (/etc/mysql/my.cnf) muuta ära „datadir“ parameeter
<pre>datadir = /var/lib/mysql -> datadir = /srv/mysql</pre>

Teadmiseks: alates Ubuntu 7.10 -st on operatsioonisüsteemiga kaasas programm nimega „AppArmor“. Tegemist on kerneli turvamooduliga, mis teatavate programmide puhul piirab nende ligipääsu failisüsteemile. Et MySQL server uuesti korrektselt käivituks, tuleb „AppArmor“ -is mysq-i seadistust muuta. Sobiva tekstieditoriga tuleb avada /etc/apparmor.d/usr.sbin.mysqld konfifail ja teha seal vajalikud muudatused :
<pre>/var/lib/mysql/ r, -> /srv/mysql r,
/var/lib/mysql/** rwk, -> /srv/mysql** rwk,</pre>

Osadel operatsioonisüsteemidel võib ka init skript ette anda, kus asub mysql-i datadir. Seega oleks mõistlik ka see /etc/init.d/mysql skriptist üle vaadata.

Käivitame uuesti mysql-i serveri. Kui kõik läks hästi, peaks olema tulemus sarnane:

<pre>service mysql start
mysql start/running, process 2588</pre>

Kontrollime mysql-i muutujaid:
<pre>mysqladmin -u{mysql-kasutaja} -p variables | grep datadir
Enter password: {mysql-parool}
| datadir | /srv/mysql/
</pre>
Lisaks tuleks sobiva mysql kliendiga serverisse sisse logida ja kontrollida üle, kas kõik jäi korrektselt tööle.

Nüüd, kui MySQL server on korrektselt töödanud ja tekib vajadus varukoopiate tegemiseks. Töötavast serverist snapshoti tegemisel pole vajalik eelnev serveri väljalülitama. Lihtsalt protseduuri ajaks oleks vajalik keelata ära andmete kirjutamine „FLUSH TABLES WITH READ LOCK;“ käsuga, lisaks võiks tühjendada ka logid „FLUSH LOGS;“ käsuga. Snapshoti tegemise protsess on äärmiselt kiire ja andmete lugemine andmebaasist toimib endiselt edasi. Samas andmete kirjutamise protsess viibib seni, kui andmebaasilt kirjutamise lukk maha võetakse (kõik kirjutamise käsud täidetakse kohe peale luku vabastamist).
Ehkki varukoopia tegemise protsess ei tekita katkestusi serveri töös, oleks hea mõte teha varukoopiaid sellisel ajal kui serveril on kõige väiksem koormus.
On vajalik teada, et andmebaas lukustatakse ainult selleks ajaks, kui mysql serverisse on sisse logitud. Kohe kui sessioon lõpetatakse, vabastatakse ka lukud. Seetõttu peab snaspshoti tegemise ajal olema serverisse sisse logitud. Variant on kasutada kahte terminali sessiooni aga vajalikke käske saab käivitada ka MySQL-i käsurealt (vajalik on mysql-i klient käivitada root kasutaja õigustes).
<pre>mysql -u root -p
Enter password:
Welcome to the MySQL monitor. Commands end with ; or \g.
Your MySQL connection id is 75
Server version: 5.5.28-0ubuntu0.12.04.2 (Ubuntu)

Copyright (c) 2000, 2012, Oracle and/or its affiliates. All rights reserved.

Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

mysql> FLUSH TABLES WITH READ LOCK;
Query OK, 0 rows affected (0.00 sec)

mysql> FLUSH LOGS;
Query OK, 0 rows affected (0.00 sec)
</pre>

==Tõmmise tegemine==
<pre>
mysql> SYSTEM /sbin/lvcreate -L 1G --snapshot -n sql_backup /dev/mysql/data
File descriptor 3 (socket:[15065]) leaked on lvcreate invocation. Parent PID 3514: sh
Logical volume "sql_backup" created
mysql> UNLOCK TABLES;
Query OK, 0 rows affected (0.01 sec)

mysql> exit
Bye
</pre>
Snapshoti kettajagu nimetati kui sql_backup ja viide loogilisele seadmele asub /dev/mysql/sql_backup. Käivitades käsu „lvs“, saab näha, et lisaks mysql/data LV-le on juurde tekkinud mysql/sql_backup
<pre>lvs
LV VG Attr LSize Origin Snap% Move Log Copy% Convert
data mysql owi-ao 1.00g
sql_backup mysql swi-a- 1.00g data 0.00
</pre>
Kui nüüd haakida tehtud snapshoti kettajagu, on seal kättesaadav kogu mysql-i data sellel hetkel, kui snapshot tehti.
<pre>mkdir /mnt/bk
mount /dev/mysql/sql_backup /mnt/bk
ls -la /mnt/bk
total 28720
drwx------ 8 mysql mysql 4096 Dec 12 15:59 .
drwxr-xr-x 3 root root 4096 Dec 12 16:34 ..
-rw-r--r-- 1 root root 0 Nov 30 17:18 debian-5.5.flag
-rw-rw---- 1 mysql mysql 18874368 Dec 12 16:18 ibdata1
-rw-rw---- 1 mysql mysql 5242880 Dec 12 16:18 ib_logfile0
-rw-rw---- 1 mysql mysql 5242880 Nov 30 17:18 ib_logfile1
drwx------ 2 root root 16384 Dec 12 15:58 lost+found
drwx------ 2 mysql root 4096 Nov 30 17:18 mysql
-rw-rw---- 1 root root 6 Nov 30 17:18 mysql_upgrade_info
drwx------ 2 mysql mysql 4096 Nov 30 17:18 performance_schema
drwx------ 2 mysql mysql 4096 Nov 30 17:28 phpmyadmin
drwx------ 2 mysql root 4096 Dec 12 16:18 test
drwx------ 2 mysql mysql 4096 Nov 30 17:33 wp
</pre>
MySQL-i server töötab peale snapshoti tegemist katkestusteta edasi. Tehtud snapshoti andmeid võib varundada arhiivi jaoks. Andmete varundamisel tuleb spashoti kettajagu failisüsteemi külge haakida ja selle sisu „tar“-i abil arhiveerida ja hiljem eemaldada snapshoti kettajagu
<pre>mkdir /mnt/bk
mount /dev/mysql/sql_backup /mnt/bk
tar -cjf /teekond/arhiivi/kuupäev.tar.bz2 -C /mnt bk
umount /dev/mysql/sql_backup
lvremove /dev/mysql/sql_backup
Do you really want to remove active logical volume sql_backup? [y/n]: Y
Logical volume "sql_backup" successfully removed
</pre>
Kogu protseduuri automatiseerimiseks on võimalik koostada ka skript, mida saab käivitada sobival aja või kasutades „cron“ ajastamise vahendeid.

Lisaks on võimalik mysql-i data kaust haakida ümber snapshoti kettajaole ja taastada server sellesse seisu, mis oli snapshoti tegemise hetkel minimaalse katkestuse ajaga.

==Kokkuvõte==

LVM -i kasutamine varundamisel on väikestes ja mittekriitilistes süsteemides küllaltki hea lahendus. See ei nõua eriteadmisi ja kallist riistvara/tarkvara. Kuid suurematesse ja keerukamatesse lahendustesse see ei sobi, kuna see ainult aitab luua snapshoti hetke seisust aga ei paku võimalust seda eraldi salvestada. Arhiveerimiseks tuleb kasutada eraldi vahendeid ja selle protseduuri käigus võib minna kaduma vajalikke andmeid. Ka ei võistle LVM proffessionaalsete vahenditega nagu Arkeia (http://www.arkeia.com/) või BrightStor, mis on just varundamise lahenduste jaoks loodud ja muudavad antud tegemise mugavaks ja kiireks.

==Kasutatud kirjandus==
http://kuutorvaja.eenet.ee/wiki/LVM 
http://www.web-manual.net/linux-3/logical-volume-manager-in-linux/ 
http://www.lullabot.com/articles/mysql-backups-using-lvm-snapshots 
http://www.ubuntugeek.com/how-to-change-the-mysql-data-default-directory.html 
https://wiki.ubuntu.com/Lvm 
http://linuxconfig.org/Linux_lvm_-_Logical_Volume_Manager 

==Autor==
Madis Lauri
AK 31
[[Category:Operatsioonisüsteemide administreerimine ja sidumine]]

'''Täiendamine:'''

Carolys Kallas A32

Aine: Linuxi administreerimine

Viimati muudetud: 07.01.2013

Mysql varundamine LVM abil

2013-01-10T23:56:00Z

Ckallas: /* Kasutatud kirjandus */

__TOC__
==Sissejuhatus==

Antud kirjatüki eesmärgiks on tutvustada LVM-i kui abivahendit toimivast süsteemist tagavarakoopiate tegemisel. Kuigi failisüsteemi snapshotide tegemine ja nende kasutamine on ainult üks LVM-i pakutavatest võimalustest. LVM - i snapshotide tegemise võimalus pole ainult mysql -i varundamiseks, vaid kasutatav ka muude andmete varukoopiate tegemiseks. Antud juhul on MySQL siin ainult „reisija“ aga protsessi selgitamiseks ja LVM snapshoti kasutamiseks on MySQL näitena väga hea. Kogu seadistamise protsess toimub Ubuntu Linux Server 12.04.1 LTS operatsioonisüsteemis ja kasutab sellega kaasnevaid vahendeid.

==Mis on mis?==
'''Logical Volume Manager''' - LVM

'''Physical Volume''' - PV, plokkseade, füüsiline kettajagu

'''Volume Group''' - VG, kettagrupp

'''Logical Volume''' - LV, loogiline kettajagu

'''Snapshot''' - (hetk)tõmmis

===LVM===
LVM ehk „Logical Volume Manager“ on ketta partitsioonide haldusvahend Linuxi ja UNIX-i laadsete operatsioonisüsteemide juures. LVM moodustab vahekihi failisüsteemi ja füüsilise kõvaketta vahele. Esmapilgul võib tunduda, et LVM on sarnane RAID (Redundant Array of Independent Disks) kettamassiiviga, on ta siiski hoopis paindlikum viis kettajagudega toimetamiseks. RAID võimaldab kettaid omavahel liita, et saada paremaid tulemusi kiiruses, mahus või töökindluses. LVM seevastu võimaldab korraga hallata mitut (ka loogilist) kettajagu, neid vastavalt vajadusele ümber tõsta ja mahtu muuta. Seega on tihti hea mõte neid kahte hoopis koos kasutada (näiteks RAID 10 ja LVM).
Lihtsustatult oleks ettekujutus eri kihtide tasemetest selline:
* Failisüsteemid
* LVM
* RAID (vajadusel)
* füüsilised plokkmäluseadmed (kõvakettad)

===Omadused===
LVM pakutavad võimalused on:
* Failisüsteemi suuruse muutmine
* Failisüsteemi snapshotide tegemine ja kasutamine (nii read-only kui ka read-write)
* Loodud/muudetud partitsioonide kohene kasutamine, kui ketas/partitsioon on mingil moel kasutusel. Fdisk-i kasutamisel tuleb OP-süsteem taaskäivitada.
* Väiksemate füüsiliste plokkseadmete kokku ühendamine, üheks suureks loogiliseks seadmeks. (Nagu RAID)
* Ketaste liigutamine ja ühendamine üle võrgu

Lisainfot LVM-i kohta: http://en.wikipedia.org/wiki/Logical_Volume_Manager_(Linux)

===MySQL===
MySQL on Oracle Corporation poolt hallatav relatsioonilise andmebaasi haldamise süsteem. On äärmiselt populaarne andmebaasisüsteem erinevates veebirakendustes aga ka mõningates suuremates süsteemides. Oma populaarsuse on ta saanud tänu äärmiselt lihtsale hallatavusele ja kasutajasõbralikkusele. Hetkel ei hakka MySQL-i omadustel ja võimalustel pikemalt peatuma. Rohkem informatsiooni leiab: http://www.mysql.com/

==Eeldused==
*Installeeritud Ubuntu Server (vähemalt 12.04 versioon)
*Tutvutud kettajagudega (kiire kordamine näiteks '''[[Osadmin spikker]]''')

'''Viia kõik käsklused läbi sudo kasutaja alt'''
sudo -i

===Ketaste lisamine===
Kõigepealt on vaja lisada serverile kõvaketas, mida hiljem LVM-iga siduma hakata.

[[File:Create_hard_disk.PNG‎|500px]]

Luua uus 4GB ketas, mis on VirtualBox Disk Image (VDI) formaadis ning dünaamiliselt jagatud.

===Vajaliku tarkvara installeerimine===

Et LVM-i ja MySQL-i seadistada on vajalikud teadmised, kuidas toimub Linuxis ketaste ja partitisoonide haldamine ja baasteadmised MySQL-ist.
Kõigepealt on vajalik installeerida lvm2 nimeline pakett.
<pre>apt-get install lvm2</pre>
Olenevalt operatsioonisüsteemist võib olla vajalikud pakeid juba installeeritud, kontrollida saab nii:
<pre>lvm version</pre>

<pre>lvm version
LVM version: 2.02.66(2) (2010-05-20)
Library version: 1.02.48 (2010-05-20)
Driver version: 4.22.0
</pre>
Lisaks on vajalik installeerida MySQL server ja klientprogramm serveriga ühendumiseks.
<pre>apt-get install mysql-server</pre>
NB! Kuna LVM-i kasutuselevõtmine vajab mõningast MySQL-i ümberseadistamist, tuleb arvestada asjaoluga, et MySQL-i data kausta ümbertõstmisel ei pruugi olemasolevad andmed säilida (InnoDB) ja vajalik oleks serveris olevatest andmetest enne .sql kujul tagavarakoopia teha.

==LVM -i seadistamine==
[[File: LVM.jpg|450px]]

LVM ise jaguneb kolmeks eri kihiks: plokkseadmed (PV), kettagrupid (VG), millesse on organiseeritud füüsilised plokkseadmed ja loogilised kettajaod, mis on jagatud kettagrupid.
Iga kihiga toimetamisel on oma käsud, mis viitavad sellele, mis kihiga hetkel toimetatakse: pv*, vg* ning lv*. Näiteks pvcreate, vgcreate ja lvcreate.

Esimese asjana tuleb valida ketas/kettajagu, kus LVM-iga toimetama hakata. Uue ketta puhul oleks võimalusel mõtekas luua üks tervet ketast hõlmav partitsioon.

Näites on kasutatud ühte 4 GB suurust ketast (VirtualBox-i lisatud 4GB suurune virtuualne kõvaketas). Operatsioonisüsteem tunnistab seda kui /dev/sdb ja seega on näites kasutatavad ketta nimed/asukohad just sellised. Partitiooni tüübiks tuleb kindlasti määrata Linux LVM ehk kood „8e“

<pre>fdisk -l 2> /dev/null | grep Disk
Disk /dev/sda: 8589 MB, 8589934592 bytes
Disk identifier: 0x000bd8b1
Disk /dev/sdb: 4294 MB, 4294967296 bytes
Disk identifier: 0x11844f48</pre>

===Füüsilise ketta väärtuse muutmine===
Avada fdiskiga uue loodud ketta partitsioon ning luua uus primaarne kettajagu:

<pre>fdisk /dev/sdb
Command (m for help): n

Partition type:
p primary (0 primary, 0 extended, 4 free)
e extended

Select (default p): p

Partition number (1-4, default 1): 1

First sector (2048-8388607, default 2048):
Using default value 2048

Last sector, +sectors or +size{K,M,G} (2048-8388607, default 8388607):
Using default value 8388607</pre>

Print käskluse abil kuvatakse kettajagu, algus, lõpp, blokid, id ning süsteem. Loodud partitsioon on 83 ehk Linux. Partitsiooni süsteemse id muutmiseks kasutatakse '''t'''.

Käsklus '''L''' kuvab kõik kaheksandikkoodid . Linux LVM kood on 8e, et muuta kettajagu Linux LVM-iks on vaja muuta kettajao id 83-lt 8e-ks.
[[file:8e.PNG|500px]]

<pre>
Command (m for help): t
Selected partition 1

Hex code (type L to list codes): 8e
Changed system type of partition 1 to 8e (Linux LVM)

Command (m for help): w
The partition table has been altered!

Calling ioctl() to re-read partition table.
Syncing disks.</pre>

'''NB mitte väljuda q, mis väljub programmist muudatusi salvestamata!'''

===Füüsiline kettajagu===
Järgnevalt anname lvm-ile teada, et loodud partitsioon on „pv“ ehk physical volume.
<pre>pvcreate /dev/sdb1
Physical volume "/dev/sdb1" successfully created</pre>

Kui kõik läks hästi siis peaks tulemus olemas selline:
<pre>pvdisplay
"/dev/sdb1" is a new physical volume of "4.00 GiB"
--- NEW Physical volume ---
PV Name /dev/sdb1
VG Name
PV Size 4.00 GiB
Allocatable NO
PE Size 0
Total PE 0
Free PE 0
Allocated PE 0
PV UUID EdmaX9-bXmQ-Oevp-p9W9-I2qY-gpMM-1w77aQ</pre>

===Kettagrupp===
Loome uue „volume group“ -i ja nimetame selle mysql -iks.
<pre>vgcreate mysql /dev/sdb1
Volume group "mysql" successfully created</pre>

** vgdisplay
--- Volume group ---
VG Name mysql
System ID
Format lvm2
Metadata Areas 1
Metadata Sequence No 4
VG Access read/write
VG Status resizable
MAX LV 0
Cur LV 2
Open LV 2
Max PV 0
Cur PV 1
Act PV 1
VG Size 4.00 GiB
PE Size 4.00 MiB
Total PE 1023
Alloc PE / Size 512 / 2.00 GiB
Free PE / Size 511 / 2.00 GiB
VG UUID s5AjT8-ss7D-Gm9m-XY6j-ULMv-RLbR-xdy0K6

Järgnevalt saame luua „volume group“ -ile „logical volumes“ ehk loogilised kettajaod. Need on justkui partitsioonid füüsilisel kõvakettal ja neid saab juba andmete talletamiseks kasutada. Nimetame kettajao nimega data ja määrame tema suuruseks 1GB (antud suurus sobib väga hästi katsetamiseks aga reaalsetes süsteemides tuleb muidugi oluliselt suuremaid numbreid kasutada. ). Suuruse seadistamisel tuleb arvestada, et sama „volume group“ peale tuleb mahutada veel vähemalt üks sama suur loogiline kettajagu, mis on loodava LV snapshot. Näide kui VG suurus on kokku 10GB siis on võimalik teha maksimaalselt 5GB suurune loogiline kettajagu. Vastasel ei mahu tema kõrvale, samale VG-le tehtud LV snapshot.

===Loogiline kettajagu===
<pre>lvcreate -n data -L 1GB mysql
Logical volume "data" created</pre>

Kontrollime tulemust:
<pre>lvdisplay
--- Logical volume ---
LV Name /dev/mysql/data
VG Name mysql
LV UUID SL0yWI-Mc2b-KhkE-V8P1-bW7E-3iL8-8zD6Uf
LV Write Access read/write
LV Status available
# open 0
LV Size 1.00 GiB
Current LE 256
Segments 1
Allocation inherit
Read ahead sectors auto
- currently set to 256
Block device 252:0</pre>

Teadmiseks: lvdisplay käsu käivitamisel on näha parameeter „LV Status“. See näitab, kas kettajagu on saadaval või mitte. Kasutada on võimalik ainult available olekus kettajagu. Eemaldada saab ainult NOT available olekus kettajagusid. Kettajao NOT available olekusse viimiseks saab kasutada käsku:

<pre>lvchange -a n /dev/mysql/data</pre>
ja tagasi:
<pre>lvchange -a y /dev/mysql/data</pre>

===Failisüsteemi loomine ja ühendamine===
Nüüd on loodud uus kettajagu, mida saab andmete säiltamiseks kasutada. Loome sellele kettajaole failisüsteemi:
<pre>mkfs -t ext4 /dev/mysql/data</pre>

Järgmisena tuleb loodud kettajagu kuhugile mountida. Mina teen sellejaoks /srv/mysql kausta ja haagin ketta sinna.

<pre>mkdir /srv/mysql</pre>

Lisame /etc/fstab faili lõppu kirje, et ka järgmisel süsteemi käivitamisel oleks ketas kohe külgehaagitud

<pre>/dev/mysql/data /srv/mysql ext4 defaults 0 0</pre>

==MySQL seadistamine===
Muudame kausta õigused mysql-ile sobivaks (kausta omanik on kasutaja mysql ja kaustale on ligipääs ainult kausta omanikul)
<pre>chown mysql:mysql /srv/mysql
chmod 0700 /srv/mysql</pre>

Nüüd tuleb olemasolev mysql data kaust liigutada /srv/mysql kausta. Esimese asjana peatada mysql server
<pre>service mysql stop
mysql stop/waiting</pre>

Kopeerime (!) kogu mysql-i data kausta loodud lvm kettajaole. Ubuntus (ilmselt ka paljudes teistes operatsioonisüsteemides) asub mysq-i data kaust /var/lib/mysql. Oleks vägagi soovitatav jätta andmed vanasse kausta alles ja kustuta see alles siis kui ollakse täiesti kindel, et server töötab tõrgeteta.
<pre>cp -ar /var/lib/mysql/. /srv/mysql</pre>

Seejärel tuleb mysql-i konfiguratsioonifailis (/etc/mysql/my.cnf) muuta ära „datadir“ parameeter
<pre>datadir = /var/lib/mysql -> datadir = /srv/mysql</pre>

Teadmiseks: alates Ubuntu 7.10 -st on operatsioonisüsteemiga kaasas programm nimega „AppArmor“. Tegemist on kerneli turvamooduliga, mis teatavate programmide puhul piirab nende ligipääsu failisüsteemile. Et MySQL server uuesti korrektselt käivituks, tuleb „AppArmor“ -is mysq-i seadistust muuta. Sobiva tekstieditoriga tuleb avada /etc/apparmor.d/usr.sbin.mysqld konfifail ja teha seal vajalikud muudatused :
<pre>/var/lib/mysql/ r, -> /srv/mysql r,
/var/lib/mysql/** rwk, -> /srv/mysql** rwk,</pre>

Osadel operatsioonisüsteemidel võib ka init skript ette anda, kus asub mysql-i datadir. Seega oleks mõistlik ka see /etc/init.d/mysql skriptist üle vaadata.

Käivitame uuesti mysql-i serveri. Kui kõik läks hästi, peaks olema tulemus sarnane:

<pre>service mysql start
mysql start/running, process 2588</pre>

Kontrollime mysql-i muutujaid:
<pre>mysqladmin -u{mysql-kasutaja} -p variables | grep datadir
Enter password: {mysql-parool}
| datadir | /srv/mysql/
</pre>
Lisaks tuleks sobiva mysql kliendiga serverisse sisse logida ja kontrollida üle, kas kõik jäi korrektselt tööle.

Nüüd, kui MySQL server on korrektselt töödanud ja tekib vajadus varukoopiate tegemiseks. Töötavast serverist snapshoti tegemisel pole vajalik eelnev serveri väljalülitama. Lihtsalt protseduuri ajaks oleks vajalik keelata ära andmete kirjutamine „FLUSH TABLES WITH READ LOCK;“ käsuga, lisaks võiks tühjendada ka logid „FLUSH LOGS;“ käsuga. Snapshoti tegemise protsess on äärmiselt kiire ja andmete lugemine andmebaasist toimib endiselt edasi. Samas andmete kirjutamise protsess viibib seni, kui andmebaasilt kirjutamise lukk maha võetakse (kõik kirjutamise käsud täidetakse kohe peale luku vabastamist).
Ehkki varukoopia tegemise protsess ei tekita katkestusi serveri töös, oleks hea mõte teha varukoopiaid sellisel ajal kui serveril on kõige väiksem koormus.
On vajalik teada, et andmebaas lukustatakse ainult selleks ajaks, kui mysql serverisse on sisse logitud. Kohe kui sessioon lõpetatakse, vabastatakse ka lukud. Seetõttu peab snaspshoti tegemise ajal olema serverisse sisse logitud. Variant on kasutada kahte terminali sessiooni aga vajalikke käske saab käivitada ka MySQL-i käsurealt (vajalik on mysql-i klient käivitada root kasutaja õigustes).
<pre>mysql -u root -p
Enter password:
Welcome to the MySQL monitor. Commands end with ; or \g.
Your MySQL connection id is 75
Server version: 5.5.28-0ubuntu0.12.04.2 (Ubuntu)

Copyright (c) 2000, 2012, Oracle and/or its affiliates. All rights reserved.

Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

mysql> FLUSH TABLES WITH READ LOCK;
Query OK, 0 rows affected (0.00 sec)

mysql> FLUSH LOGS;
Query OK, 0 rows affected (0.00 sec)
</pre>

==Tõmmise tegemine==
<pre>
mysql> SYSTEM /sbin/lvcreate -L 1G --snapshot -n sql_backup /dev/mysql/data
File descriptor 3 (socket:[15065]) leaked on lvcreate invocation. Parent PID 3514: sh
Logical volume "sql_backup" created
mysql> UNLOCK TABLES;
Query OK, 0 rows affected (0.01 sec)

mysql> exit
Bye
</pre>
Snapshoti kettajagu nimetati kui sql_backup ja viide loogilisele seadmele asub /dev/mysql/sql_backup. Käivitades käsu „lvs“, saab näha, et lisaks mysql/data LV-le on juurde tekkinud mysql/sql_backup
<pre>lvs
LV VG Attr LSize Origin Snap% Move Log Copy% Convert
data mysql owi-ao 1.00g
sql_backup mysql swi-a- 1.00g data 0.00
</pre>
Kui nüüd haakida tehtud snapshoti kettajagu, on seal kättesaadav kogu mysql-i data sellel hetkel, kui snapshot tehti.
<pre>mkdir /mnt/bk
mount /dev/mysql/sql_backup /mnt/bk
ls -la /mnt/bk
total 28720
drwx------ 8 mysql mysql 4096 Dec 12 15:59 .
drwxr-xr-x 3 root root 4096 Dec 12 16:34 ..
-rw-r--r-- 1 root root 0 Nov 30 17:18 debian-5.5.flag
-rw-rw---- 1 mysql mysql 18874368 Dec 12 16:18 ibdata1
-rw-rw---- 1 mysql mysql 5242880 Dec 12 16:18 ib_logfile0
-rw-rw---- 1 mysql mysql 5242880 Nov 30 17:18 ib_logfile1
drwx------ 2 root root 16384 Dec 12 15:58 lost+found
drwx------ 2 mysql root 4096 Nov 30 17:18 mysql
-rw-rw---- 1 root root 6 Nov 30 17:18 mysql_upgrade_info
drwx------ 2 mysql mysql 4096 Nov 30 17:18 performance_schema
drwx------ 2 mysql mysql 4096 Nov 30 17:28 phpmyadmin
drwx------ 2 mysql root 4096 Dec 12 16:18 test
drwx------ 2 mysql mysql 4096 Nov 30 17:33 wp
</pre>
MySQL-i server töötab peale snapshoti tegemist katkestusteta edasi. Tehtud snapshoti andmeid võib varundada arhiivi jaoks. Andmete varundamisel tuleb spashoti kettajagu failisüsteemi külge haakida ja selle sisu „tar“-i abil arhiveerida ja hiljem eemaldada snapshoti kettajagu
<pre>mkdir /mnt/bk
mount /dev/mysql/sql_backup /mnt/bk
tar -cjf /teekond/arhiivi/kuupäev.tar.bz2 -C /mnt bk
umount /dev/mysql/sql_backup
lvremove /dev/mysql/sql_backup
Do you really want to remove active logical volume sql_backup? [y/n]: Y
Logical volume "sql_backup" successfully removed
</pre>
Kogu protseduuri automatiseerimiseks on võimalik koostada ka skript, mida saab käivitada sobival aja või kasutades „cron“ ajastamise vahendeid.

Lisaks on võimalik mysql-i data kaust haakida ümber snapshoti kettajaole ja taastada server sellesse seisu, mis oli snapshoti tegemise hetkel minimaalse katkestuse ajaga.

==Kokkuvõte==

LVM -i kasutamine varundamisel on väikestes ja mittekriitilistes süsteemides küllaltki hea lahendus. See ei nõua eriteadmisi ja kallist riistvara/tarkvara. Kuid suurematesse ja keerukamatesse lahendustesse see ei sobi, kuna see ainult aitab luua snapshoti hetke seisust aga ei paku võimalust seda eraldi salvestada. Arhiveerimiseks tuleb kasutada eraldi vahendeid ja selle protseduuri käigus võib minna kaduma vajalikke andmeid. Ka ei võistle LVM proffessionaalsete vahenditega nagu Arkeia (http://www.arkeia.com/) või BrightStor, mis on just varundamise lahenduste jaoks loodud ja muudavad antud tegemise mugavaks ja kiireks.

==Kasutatud kirjandus==
http://kuutorvaja.eenet.ee/wiki/LVM 
http://www.web-manual.net/linux-3/logical-volume-manager-in-linux/ 
http://www.lullabot.com/articles/mysql-backups-using-lvm-snapshots 
http://www.ubuntugeek.com/how-to-change-the-mysql-data-default-directory.html 
https://wiki.ubuntu.com/Lvm 
http://linuxconfig.org/Linux_lvm_-_Logical_Volume_Manager />

==Autor==
Madis Lauri
AK 31
[[Category:Operatsioonisüsteemide administreerimine ja sidumine]]

'''Täiendamine:'''

Carolys Kallas A32

Aine: Linuxi administreerimine

Viimati muudetud: 07.01.2013

Mysql varundamine LVM abil

2013-01-10T23:55:05Z

Ckallas: /* LVM -i seadistamine */

__TOC__
==Sissejuhatus==

Antud kirjatüki eesmärgiks on tutvustada LVM-i kui abivahendit toimivast süsteemist tagavarakoopiate tegemisel. Kuigi failisüsteemi snapshotide tegemine ja nende kasutamine on ainult üks LVM-i pakutavatest võimalustest. LVM - i snapshotide tegemise võimalus pole ainult mysql -i varundamiseks, vaid kasutatav ka muude andmete varukoopiate tegemiseks. Antud juhul on MySQL siin ainult „reisija“ aga protsessi selgitamiseks ja LVM snapshoti kasutamiseks on MySQL näitena väga hea. Kogu seadistamise protsess toimub Ubuntu Linux Server 12.04.1 LTS operatsioonisüsteemis ja kasutab sellega kaasnevaid vahendeid.

==Mis on mis?==
'''Logical Volume Manager''' - LVM

'''Physical Volume''' - PV, plokkseade, füüsiline kettajagu

'''Volume Group''' - VG, kettagrupp

'''Logical Volume''' - LV, loogiline kettajagu

'''Snapshot''' - (hetk)tõmmis

===LVM===
LVM ehk „Logical Volume Manager“ on ketta partitsioonide haldusvahend Linuxi ja UNIX-i laadsete operatsioonisüsteemide juures. LVM moodustab vahekihi failisüsteemi ja füüsilise kõvaketta vahele. Esmapilgul võib tunduda, et LVM on sarnane RAID (Redundant Array of Independent Disks) kettamassiiviga, on ta siiski hoopis paindlikum viis kettajagudega toimetamiseks. RAID võimaldab kettaid omavahel liita, et saada paremaid tulemusi kiiruses, mahus või töökindluses. LVM seevastu võimaldab korraga hallata mitut (ka loogilist) kettajagu, neid vastavalt vajadusele ümber tõsta ja mahtu muuta. Seega on tihti hea mõte neid kahte hoopis koos kasutada (näiteks RAID 10 ja LVM).
Lihtsustatult oleks ettekujutus eri kihtide tasemetest selline:
* Failisüsteemid
* LVM
* RAID (vajadusel)
* füüsilised plokkmäluseadmed (kõvakettad)

===Omadused===
LVM pakutavad võimalused on:
* Failisüsteemi suuruse muutmine
* Failisüsteemi snapshotide tegemine ja kasutamine (nii read-only kui ka read-write)
* Loodud/muudetud partitsioonide kohene kasutamine, kui ketas/partitsioon on mingil moel kasutusel. Fdisk-i kasutamisel tuleb OP-süsteem taaskäivitada.
* Väiksemate füüsiliste plokkseadmete kokku ühendamine, üheks suureks loogiliseks seadmeks. (Nagu RAID)
* Ketaste liigutamine ja ühendamine üle võrgu

Lisainfot LVM-i kohta: http://en.wikipedia.org/wiki/Logical_Volume_Manager_(Linux)

===MySQL===
MySQL on Oracle Corporation poolt hallatav relatsioonilise andmebaasi haldamise süsteem. On äärmiselt populaarne andmebaasisüsteem erinevates veebirakendustes aga ka mõningates suuremates süsteemides. Oma populaarsuse on ta saanud tänu äärmiselt lihtsale hallatavusele ja kasutajasõbralikkusele. Hetkel ei hakka MySQL-i omadustel ja võimalustel pikemalt peatuma. Rohkem informatsiooni leiab: http://www.mysql.com/

==Eeldused==
*Installeeritud Ubuntu Server (vähemalt 12.04 versioon)
*Tutvutud kettajagudega (kiire kordamine näiteks '''[[Osadmin spikker]]''')

'''Viia kõik käsklused läbi sudo kasutaja alt'''
sudo -i

===Ketaste lisamine===
Kõigepealt on vaja lisada serverile kõvaketas, mida hiljem LVM-iga siduma hakata.

[[File:Create_hard_disk.PNG‎|500px]]

Luua uus 4GB ketas, mis on VirtualBox Disk Image (VDI) formaadis ning dünaamiliselt jagatud.

===Vajaliku tarkvara installeerimine===

Et LVM-i ja MySQL-i seadistada on vajalikud teadmised, kuidas toimub Linuxis ketaste ja partitisoonide haldamine ja baasteadmised MySQL-ist.
Kõigepealt on vajalik installeerida lvm2 nimeline pakett.
<pre>apt-get install lvm2</pre>
Olenevalt operatsioonisüsteemist võib olla vajalikud pakeid juba installeeritud, kontrollida saab nii:
<pre>lvm version</pre>

<pre>lvm version
LVM version: 2.02.66(2) (2010-05-20)
Library version: 1.02.48 (2010-05-20)
Driver version: 4.22.0
</pre>
Lisaks on vajalik installeerida MySQL server ja klientprogramm serveriga ühendumiseks.
<pre>apt-get install mysql-server</pre>
NB! Kuna LVM-i kasutuselevõtmine vajab mõningast MySQL-i ümberseadistamist, tuleb arvestada asjaoluga, et MySQL-i data kausta ümbertõstmisel ei pruugi olemasolevad andmed säilida (InnoDB) ja vajalik oleks serveris olevatest andmetest enne .sql kujul tagavarakoopia teha.

==LVM -i seadistamine==
[[File: LVM.jpg|450px]]

LVM ise jaguneb kolmeks eri kihiks: plokkseadmed (PV), kettagrupid (VG), millesse on organiseeritud füüsilised plokkseadmed ja loogilised kettajaod, mis on jagatud kettagrupid.
Iga kihiga toimetamisel on oma käsud, mis viitavad sellele, mis kihiga hetkel toimetatakse: pv*, vg* ning lv*. Näiteks pvcreate, vgcreate ja lvcreate.

Esimese asjana tuleb valida ketas/kettajagu, kus LVM-iga toimetama hakata. Uue ketta puhul oleks võimalusel mõtekas luua üks tervet ketast hõlmav partitsioon.

Näites on kasutatud ühte 4 GB suurust ketast (VirtualBox-i lisatud 4GB suurune virtuualne kõvaketas). Operatsioonisüsteem tunnistab seda kui /dev/sdb ja seega on näites kasutatavad ketta nimed/asukohad just sellised. Partitiooni tüübiks tuleb kindlasti määrata Linux LVM ehk kood „8e“

<pre>fdisk -l 2> /dev/null | grep Disk
Disk /dev/sda: 8589 MB, 8589934592 bytes
Disk identifier: 0x000bd8b1
Disk /dev/sdb: 4294 MB, 4294967296 bytes
Disk identifier: 0x11844f48</pre>

===Füüsilise ketta väärtuse muutmine===
Avada fdiskiga uue loodud ketta partitsioon ning luua uus primaarne kettajagu:

<pre>fdisk /dev/sdb
Command (m for help): n

Partition type:
p primary (0 primary, 0 extended, 4 free)
e extended

Select (default p): p

Partition number (1-4, default 1): 1

First sector (2048-8388607, default 2048):
Using default value 2048

Last sector, +sectors or +size{K,M,G} (2048-8388607, default 8388607):
Using default value 8388607</pre>

Print käskluse abil kuvatakse kettajagu, algus, lõpp, blokid, id ning süsteem. Loodud partitsioon on 83 ehk Linux. Partitsiooni süsteemse id muutmiseks kasutatakse '''t'''.

Käsklus '''L''' kuvab kõik kaheksandikkoodid . Linux LVM kood on 8e, et muuta kettajagu Linux LVM-iks on vaja muuta kettajao id 83-lt 8e-ks.
[[file:8e.PNG|500px]]

<pre>
Command (m for help): t
Selected partition 1

Hex code (type L to list codes): 8e
Changed system type of partition 1 to 8e (Linux LVM)

Command (m for help): w
The partition table has been altered!

Calling ioctl() to re-read partition table.
Syncing disks.</pre>

'''NB mitte väljuda q, mis väljub programmist muudatusi salvestamata!'''

===Füüsiline kettajagu===
Järgnevalt anname lvm-ile teada, et loodud partitsioon on „pv“ ehk physical volume.
<pre>pvcreate /dev/sdb1
Physical volume "/dev/sdb1" successfully created</pre>

Kui kõik läks hästi siis peaks tulemus olemas selline:
<pre>pvdisplay
"/dev/sdb1" is a new physical volume of "4.00 GiB"
--- NEW Physical volume ---
PV Name /dev/sdb1
VG Name
PV Size 4.00 GiB
Allocatable NO
PE Size 0
Total PE 0
Free PE 0
Allocated PE 0
PV UUID EdmaX9-bXmQ-Oevp-p9W9-I2qY-gpMM-1w77aQ</pre>

===Kettagrupp===
Loome uue „volume group“ -i ja nimetame selle mysql -iks.
<pre>vgcreate mysql /dev/sdb1
Volume group "mysql" successfully created</pre>

** vgdisplay
--- Volume group ---
VG Name mysql
System ID
Format lvm2
Metadata Areas 1
Metadata Sequence No 4
VG Access read/write
VG Status resizable
MAX LV 0
Cur LV 2
Open LV 2
Max PV 0
Cur PV 1
Act PV 1
VG Size 4.00 GiB
PE Size 4.00 MiB
Total PE 1023
Alloc PE / Size 512 / 2.00 GiB
Free PE / Size 511 / 2.00 GiB
VG UUID s5AjT8-ss7D-Gm9m-XY6j-ULMv-RLbR-xdy0K6

Järgnevalt saame luua „volume group“ -ile „logical volumes“ ehk loogilised kettajaod. Need on justkui partitsioonid füüsilisel kõvakettal ja neid saab juba andmete talletamiseks kasutada. Nimetame kettajao nimega data ja määrame tema suuruseks 1GB (antud suurus sobib väga hästi katsetamiseks aga reaalsetes süsteemides tuleb muidugi oluliselt suuremaid numbreid kasutada. ). Suuruse seadistamisel tuleb arvestada, et sama „volume group“ peale tuleb mahutada veel vähemalt üks sama suur loogiline kettajagu, mis on loodava LV snapshot. Näide kui VG suurus on kokku 10GB siis on võimalik teha maksimaalselt 5GB suurune loogiline kettajagu. Vastasel ei mahu tema kõrvale, samale VG-le tehtud LV snapshot.

===Loogiline kettajagu===
<pre>lvcreate -n data -L 1GB mysql
Logical volume "data" created</pre>

Kontrollime tulemust:
<pre>lvdisplay
--- Logical volume ---
LV Name /dev/mysql/data
VG Name mysql
LV UUID SL0yWI-Mc2b-KhkE-V8P1-bW7E-3iL8-8zD6Uf
LV Write Access read/write
LV Status available
# open 0
LV Size 1.00 GiB
Current LE 256
Segments 1
Allocation inherit
Read ahead sectors auto
- currently set to 256
Block device 252:0</pre>

Teadmiseks: lvdisplay käsu käivitamisel on näha parameeter „LV Status“. See näitab, kas kettajagu on saadaval või mitte. Kasutada on võimalik ainult available olekus kettajagu. Eemaldada saab ainult NOT available olekus kettajagusid. Kettajao NOT available olekusse viimiseks saab kasutada käsku:

<pre>lvchange -a n /dev/mysql/data</pre>
ja tagasi:
<pre>lvchange -a y /dev/mysql/data</pre>

===Failisüsteemi loomine ja ühendamine===
Nüüd on loodud uus kettajagu, mida saab andmete säiltamiseks kasutada. Loome sellele kettajaole failisüsteemi:
<pre>mkfs -t ext4 /dev/mysql/data</pre>

Järgmisena tuleb loodud kettajagu kuhugile mountida. Mina teen sellejaoks /srv/mysql kausta ja haagin ketta sinna.

<pre>mkdir /srv/mysql</pre>

Lisame /etc/fstab faili lõppu kirje, et ka järgmisel süsteemi käivitamisel oleks ketas kohe külgehaagitud

<pre>/dev/mysql/data /srv/mysql ext4 defaults 0 0</pre>

==MySQL seadistamine===
Muudame kausta õigused mysql-ile sobivaks (kausta omanik on kasutaja mysql ja kaustale on ligipääs ainult kausta omanikul)
<pre>chown mysql:mysql /srv/mysql
chmod 0700 /srv/mysql</pre>

Nüüd tuleb olemasolev mysql data kaust liigutada /srv/mysql kausta. Esimese asjana peatada mysql server
<pre>service mysql stop
mysql stop/waiting</pre>

Kopeerime (!) kogu mysql-i data kausta loodud lvm kettajaole. Ubuntus (ilmselt ka paljudes teistes operatsioonisüsteemides) asub mysq-i data kaust /var/lib/mysql. Oleks vägagi soovitatav jätta andmed vanasse kausta alles ja kustuta see alles siis kui ollakse täiesti kindel, et server töötab tõrgeteta.
<pre>cp -ar /var/lib/mysql/. /srv/mysql</pre>

Seejärel tuleb mysql-i konfiguratsioonifailis (/etc/mysql/my.cnf) muuta ära „datadir“ parameeter
<pre>datadir = /var/lib/mysql -> datadir = /srv/mysql</pre>

Teadmiseks: alates Ubuntu 7.10 -st on operatsioonisüsteemiga kaasas programm nimega „AppArmor“. Tegemist on kerneli turvamooduliga, mis teatavate programmide puhul piirab nende ligipääsu failisüsteemile. Et MySQL server uuesti korrektselt käivituks, tuleb „AppArmor“ -is mysq-i seadistust muuta. Sobiva tekstieditoriga tuleb avada /etc/apparmor.d/usr.sbin.mysqld konfifail ja teha seal vajalikud muudatused :
<pre>/var/lib/mysql/ r, -> /srv/mysql r,
/var/lib/mysql/** rwk, -> /srv/mysql** rwk,</pre>

Osadel operatsioonisüsteemidel võib ka init skript ette anda, kus asub mysql-i datadir. Seega oleks mõistlik ka see /etc/init.d/mysql skriptist üle vaadata.

Käivitame uuesti mysql-i serveri. Kui kõik läks hästi, peaks olema tulemus sarnane:

<pre>service mysql start
mysql start/running, process 2588</pre>

Kontrollime mysql-i muutujaid:
<pre>mysqladmin -u{mysql-kasutaja} -p variables | grep datadir
Enter password: {mysql-parool}
| datadir | /srv/mysql/
</pre>
Lisaks tuleks sobiva mysql kliendiga serverisse sisse logida ja kontrollida üle, kas kõik jäi korrektselt tööle.

Nüüd, kui MySQL server on korrektselt töödanud ja tekib vajadus varukoopiate tegemiseks. Töötavast serverist snapshoti tegemisel pole vajalik eelnev serveri väljalülitama. Lihtsalt protseduuri ajaks oleks vajalik keelata ära andmete kirjutamine „FLUSH TABLES WITH READ LOCK;“ käsuga, lisaks võiks tühjendada ka logid „FLUSH LOGS;“ käsuga. Snapshoti tegemise protsess on äärmiselt kiire ja andmete lugemine andmebaasist toimib endiselt edasi. Samas andmete kirjutamise protsess viibib seni, kui andmebaasilt kirjutamise lukk maha võetakse (kõik kirjutamise käsud täidetakse kohe peale luku vabastamist).
Ehkki varukoopia tegemise protsess ei tekita katkestusi serveri töös, oleks hea mõte teha varukoopiaid sellisel ajal kui serveril on kõige väiksem koormus.
On vajalik teada, et andmebaas lukustatakse ainult selleks ajaks, kui mysql serverisse on sisse logitud. Kohe kui sessioon lõpetatakse, vabastatakse ka lukud. Seetõttu peab snaspshoti tegemise ajal olema serverisse sisse logitud. Variant on kasutada kahte terminali sessiooni aga vajalikke käske saab käivitada ka MySQL-i käsurealt (vajalik on mysql-i klient käivitada root kasutaja õigustes).
<pre>mysql -u root -p
Enter password:
Welcome to the MySQL monitor. Commands end with ; or \g.
Your MySQL connection id is 75
Server version: 5.5.28-0ubuntu0.12.04.2 (Ubuntu)

Copyright (c) 2000, 2012, Oracle and/or its affiliates. All rights reserved.

Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

mysql> FLUSH TABLES WITH READ LOCK;
Query OK, 0 rows affected (0.00 sec)

mysql> FLUSH LOGS;
Query OK, 0 rows affected (0.00 sec)
</pre>

==Tõmmise tegemine==
<pre>
mysql> SYSTEM /sbin/lvcreate -L 1G --snapshot -n sql_backup /dev/mysql/data
File descriptor 3 (socket:[15065]) leaked on lvcreate invocation. Parent PID 3514: sh
Logical volume "sql_backup" created
mysql> UNLOCK TABLES;
Query OK, 0 rows affected (0.01 sec)

mysql> exit
Bye
</pre>
Snapshoti kettajagu nimetati kui sql_backup ja viide loogilisele seadmele asub /dev/mysql/sql_backup. Käivitades käsu „lvs“, saab näha, et lisaks mysql/data LV-le on juurde tekkinud mysql/sql_backup
<pre>lvs
LV VG Attr LSize Origin Snap% Move Log Copy% Convert
data mysql owi-ao 1.00g
sql_backup mysql swi-a- 1.00g data 0.00
</pre>
Kui nüüd haakida tehtud snapshoti kettajagu, on seal kättesaadav kogu mysql-i data sellel hetkel, kui snapshot tehti.
<pre>mkdir /mnt/bk
mount /dev/mysql/sql_backup /mnt/bk
ls -la /mnt/bk
total 28720
drwx------ 8 mysql mysql 4096 Dec 12 15:59 .
drwxr-xr-x 3 root root 4096 Dec 12 16:34 ..
-rw-r--r-- 1 root root 0 Nov 30 17:18 debian-5.5.flag
-rw-rw---- 1 mysql mysql 18874368 Dec 12 16:18 ibdata1
-rw-rw---- 1 mysql mysql 5242880 Dec 12 16:18 ib_logfile0
-rw-rw---- 1 mysql mysql 5242880 Nov 30 17:18 ib_logfile1
drwx------ 2 root root 16384 Dec 12 15:58 lost+found
drwx------ 2 mysql root 4096 Nov 30 17:18 mysql
-rw-rw---- 1 root root 6 Nov 30 17:18 mysql_upgrade_info
drwx------ 2 mysql mysql 4096 Nov 30 17:18 performance_schema
drwx------ 2 mysql mysql 4096 Nov 30 17:28 phpmyadmin
drwx------ 2 mysql root 4096 Dec 12 16:18 test
drwx------ 2 mysql mysql 4096 Nov 30 17:33 wp
</pre>
MySQL-i server töötab peale snapshoti tegemist katkestusteta edasi. Tehtud snapshoti andmeid võib varundada arhiivi jaoks. Andmete varundamisel tuleb spashoti kettajagu failisüsteemi külge haakida ja selle sisu „tar“-i abil arhiveerida ja hiljem eemaldada snapshoti kettajagu
<pre>mkdir /mnt/bk
mount /dev/mysql/sql_backup /mnt/bk
tar -cjf /teekond/arhiivi/kuupäev.tar.bz2 -C /mnt bk
umount /dev/mysql/sql_backup
lvremove /dev/mysql/sql_backup
Do you really want to remove active logical volume sql_backup? [y/n]: Y
Logical volume "sql_backup" successfully removed
</pre>
Kogu protseduuri automatiseerimiseks on võimalik koostada ka skript, mida saab käivitada sobival aja või kasutades „cron“ ajastamise vahendeid.

Lisaks on võimalik mysql-i data kaust haakida ümber snapshoti kettajaole ja taastada server sellesse seisu, mis oli snapshoti tegemise hetkel minimaalse katkestuse ajaga.

==Kokkuvõte==

LVM -i kasutamine varundamisel on väikestes ja mittekriitilistes süsteemides küllaltki hea lahendus. See ei nõua eriteadmisi ja kallist riistvara/tarkvara. Kuid suurematesse ja keerukamatesse lahendustesse see ei sobi, kuna see ainult aitab luua snapshoti hetke seisust aga ei paku võimalust seda eraldi salvestada. Arhiveerimiseks tuleb kasutada eraldi vahendeid ja selle protseduuri käigus võib minna kaduma vajalikke andmeid. Ka ei võistle LVM proffessionaalsete vahenditega nagu Arkeia (http://www.arkeia.com/) või BrightStor, mis on just varundamise lahenduste jaoks loodud ja muudavad antud tegemise mugavaks ja kiireks.

==Kasutatud kirjandus==
http://kuutorvaja.eenet.ee/wiki/LVM 
http://www.web-manual.net/linux-3/logical-volume-manager-in-linux/ 
http://www.lullabot.com/articles/mysql-backups-using-lvm-snapshots 
http://www.ubuntugeek.com/how-to-change-the-mysql-data-default-directory.html 
https://wiki.ubuntu.com/Lvm 

==Autor==
Madis Lauri
AK 31
[[Category:Operatsioonisüsteemide administreerimine ja sidumine]]

'''Täiendamine:'''

Carolys Kallas A32

Aine: Linuxi administreerimine

Viimati muudetud: 07.01.2013

Mysql varundamine LVM abil

2013-01-10T23:52:49Z

Ckallas: /* =Vajaliku tarkvara installeerimine */

__TOC__
==Sissejuhatus==

Antud kirjatüki eesmärgiks on tutvustada LVM-i kui abivahendit toimivast süsteemist tagavarakoopiate tegemisel. Kuigi failisüsteemi snapshotide tegemine ja nende kasutamine on ainult üks LVM-i pakutavatest võimalustest. LVM - i snapshotide tegemise võimalus pole ainult mysql -i varundamiseks, vaid kasutatav ka muude andmete varukoopiate tegemiseks. Antud juhul on MySQL siin ainult „reisija“ aga protsessi selgitamiseks ja LVM snapshoti kasutamiseks on MySQL näitena väga hea. Kogu seadistamise protsess toimub Ubuntu Linux Server 12.04.1 LTS operatsioonisüsteemis ja kasutab sellega kaasnevaid vahendeid.

==Mis on mis?==
'''Logical Volume Manager''' - LVM

'''Physical Volume''' - PV, plokkseade, füüsiline kettajagu

'''Volume Group''' - VG, kettagrupp

'''Logical Volume''' - LV, loogiline kettajagu

'''Snapshot''' - (hetk)tõmmis

===LVM===
LVM ehk „Logical Volume Manager“ on ketta partitsioonide haldusvahend Linuxi ja UNIX-i laadsete operatsioonisüsteemide juures. LVM moodustab vahekihi failisüsteemi ja füüsilise kõvaketta vahele. Esmapilgul võib tunduda, et LVM on sarnane RAID (Redundant Array of Independent Disks) kettamassiiviga, on ta siiski hoopis paindlikum viis kettajagudega toimetamiseks. RAID võimaldab kettaid omavahel liita, et saada paremaid tulemusi kiiruses, mahus või töökindluses. LVM seevastu võimaldab korraga hallata mitut (ka loogilist) kettajagu, neid vastavalt vajadusele ümber tõsta ja mahtu muuta. Seega on tihti hea mõte neid kahte hoopis koos kasutada (näiteks RAID 10 ja LVM).
Lihtsustatult oleks ettekujutus eri kihtide tasemetest selline:
* Failisüsteemid
* LVM
* RAID (vajadusel)
* füüsilised plokkmäluseadmed (kõvakettad)

===Omadused===
LVM pakutavad võimalused on:
* Failisüsteemi suuruse muutmine
* Failisüsteemi snapshotide tegemine ja kasutamine (nii read-only kui ka read-write)
* Loodud/muudetud partitsioonide kohene kasutamine, kui ketas/partitsioon on mingil moel kasutusel. Fdisk-i kasutamisel tuleb OP-süsteem taaskäivitada.
* Väiksemate füüsiliste plokkseadmete kokku ühendamine, üheks suureks loogiliseks seadmeks. (Nagu RAID)
* Ketaste liigutamine ja ühendamine üle võrgu

Lisainfot LVM-i kohta: http://en.wikipedia.org/wiki/Logical_Volume_Manager_(Linux)

===MySQL===
MySQL on Oracle Corporation poolt hallatav relatsioonilise andmebaasi haldamise süsteem. On äärmiselt populaarne andmebaasisüsteem erinevates veebirakendustes aga ka mõningates suuremates süsteemides. Oma populaarsuse on ta saanud tänu äärmiselt lihtsale hallatavusele ja kasutajasõbralikkusele. Hetkel ei hakka MySQL-i omadustel ja võimalustel pikemalt peatuma. Rohkem informatsiooni leiab: http://www.mysql.com/

==Eeldused==
*Installeeritud Ubuntu Server (vähemalt 12.04 versioon)
*Tutvutud kettajagudega (kiire kordamine näiteks '''[[Osadmin spikker]]''')

'''Viia kõik käsklused läbi sudo kasutaja alt'''
sudo -i

===Ketaste lisamine===
Kõigepealt on vaja lisada serverile kõvaketas, mida hiljem LVM-iga siduma hakata.

[[File:Create_hard_disk.PNG‎|500px]]

Luua uus 4GB ketas, mis on VirtualBox Disk Image (VDI) formaadis ning dünaamiliselt jagatud.

===Vajaliku tarkvara installeerimine===

Et LVM-i ja MySQL-i seadistada on vajalikud teadmised, kuidas toimub Linuxis ketaste ja partitisoonide haldamine ja baasteadmised MySQL-ist.
Kõigepealt on vajalik installeerida lvm2 nimeline pakett.
<pre>apt-get install lvm2</pre>
Olenevalt operatsioonisüsteemist võib olla vajalikud pakeid juba installeeritud, kontrollida saab nii:
<pre>lvm version</pre>

<pre>lvm version
LVM version: 2.02.66(2) (2010-05-20)
Library version: 1.02.48 (2010-05-20)
Driver version: 4.22.0
</pre>
Lisaks on vajalik installeerida MySQL server ja klientprogramm serveriga ühendumiseks.
<pre>apt-get install mysql-server</pre>
NB! Kuna LVM-i kasutuselevõtmine vajab mõningast MySQL-i ümberseadistamist, tuleb arvestada asjaoluga, et MySQL-i data kausta ümbertõstmisel ei pruugi olemasolevad andmed säilida (InnoDB) ja vajalik oleks serveris olevatest andmetest enne .sql kujul tagavarakoopia teha.

==LVM -i seadistamine==
[[File: LVM.jpg|450px]]

LVM ise jaguneb kolmeks eri kihiks: plokkseadmed (PV), kettagrupid (VG), millesse on organiseeritud füüsilised plokkseadmed ja loogilised kettajaod, mis on jagatud kettagrupid.
Iga kihiga toimetamisel on oma käsud, mis viitavad sellele, mis kihiga hetkel toimetatakse: pv*, vg* ning lv*. Näiteks pvcreate, vgcreate ja lvcreate.

Esimese asjana tuleb valida ketas/kettajagu, kus LVM-iga toimetama hakata. Uue ketta puhul oleks võimalusel mõtekas luua üks tervet ketast hõlmav partitsioon.

Näites on kasutatud ühte 4 GB suurust ketast (VirtualBox-i lisatud 4GB suurune virtuualne kõvaketas). Operatsioonisüsteem tunnistab seda kui /dev/sdb ja seega on näites kasutatavad ketta nimed/asukohad just sellised. Partitiooni tüübiks tuleb kindlasti määrata Linux LVM ehk kood „8e“

<pre>fdisk -l 2> /dev/null | grep Disk
Disk /dev/sda: 8589 MB, 8589934592 bytes
Disk identifier: 0x000bd8b1
Disk /dev/sdb: 4294 MB, 4294967296 bytes
Disk identifier: 0x11844f48</pre>

===Füüsilise ketta väärtuse muutmine===
Avada fdiskiga uue loodud ketta partitsioon ning luua uus primaarne kettajagu:

<pre>fdisk /dev/sdb
Command (m for help): n

Partition type:
p primary (0 primary, 0 extended, 4 free)
e extended

Select (default p): p

Partition number (1-4, default 1): 1

First sector (2048-8388607, default 2048):
Using default value 2048

Last sector, +sectors or +size{K,M,G} (2048-8388607, default 8388607):
Using default value 8388607</pre>

Print käskluse abil kuvatakse kettajagu, algus, lõpp, blokid, id ning süsteem. Loodud partitsioon on 83 ehk Linux. Partitsiooni süsteemse id muutmiseks kasutatakse '''t'''.

Käsklus '''L''' kuvab kõik kaheksandikkoodid . Linux LVM kood on 8e, et muuta kettajagu Linux LVM-iks on vaja muuta kettajao id 83-lt 8e-ks.
[[file:8e.PNG|500px]]

<pre>
Command (m for help): t
Selected partition 1

Hex code (type L to list codes): 8e
Changed system type of partition 1 to 8e (Linux LVM)

Command (m for help): w
The partition table has been altered!

Calling ioctl() to re-read partition table.
Syncing disks.</pre>

'''NB mitte väljuda q, mis väljub programmist muudatusi salvestamata!'''

===Füüsiline kettajagu===
Järgnevalt anname lvm-ile teada, et loodud partitsioon on „pv“ ehk physical volume.
<pre>pvcreate /dev/sdb1
Physical volume "/dev/sdb1" successfully created</pre>

Kui kõik läks hästi siis peaks tulemus olemas selline:
<pre>pvdisplay
"/dev/sdb1" is a new physical volume of "4.00 GiB"
--- NEW Physical volume ---
PV Name /dev/sdb1
VG Name
PV Size 4.00 GiB
Allocatable NO
PE Size 0
Total PE 0
Free PE 0
Allocated PE 0
PV UUID EdmaX9-bXmQ-Oevp-p9W9-I2qY-gpMM-1w77aQ</pre>

===Kettagrupp===
Loome uue „volume group“ -i ja nimetame selle mysql -iks.
<pre>vgcreate mysql /dev/sdb1
Volume group "mysql" successfully created</pre>

** vgdisplay
--- Volume group ---
VG Name mysql
System ID
Format lvm2
Metadata Areas 1
Metadata Sequence No 4
VG Access read/write
VG Status resizable
MAX LV 0
Cur LV 2
Open LV 2
Max PV 0
Cur PV 1
Act PV 1
VG Size 4.00 GiB
PE Size 4.00 MiB
Total PE 1023
Alloc PE / Size 512 / 2.00 GiB
Free PE / Size 511 / 2.00 GiB
VG UUID s5AjT8-ss7D-Gm9m-XY6j-ULMv-RLbR-xdy0K6

Järgnevalt saame luua „volume group“ -ile „logical volumes“ ehk loogilised kettajaod. Need on justkui partitsioonid füüsilisel kõvakettal ja neid saab juba andmete talletamiseks kasutada. Nimetame kettajao nimega data ja määrame tema suuruseks 1GB (antud suurus sobib väga hästi katsetamiseks aga reaalsetes süsteemides tuleb muidugi oluliselt suuremaid numbreid kasutada. ). Suuruse seadistamisel tuleb arvestada, et sama „volume group“ peale tuleb mahutada veel vähemalt üks sama suur loogiline kettajagu, mis on loodava LV snapshot. Näide kui VG suurus on kokku 10GB siis on võimalik teha maksimaalselt 5GB suurune loogiline kettajagu. Vastasel ei mahu tema kõrvale, samale VG-le tehtud LV snapshot.

===Loogiline kettajagu===
<pre>lvcreate -n data -L 1GB mysql
Logical volume "data" created</pre>

Kontrollime tulemust:
<pre>lvdisplay
--- Logical volume ---
LV Name /dev/mysql/data
VG Name mysql
LV UUID SL0yWI-Mc2b-KhkE-V8P1-bW7E-3iL8-8zD6Uf
LV Write Access read/write
LV Status available
# open 0
LV Size 1.00 GiB
Current LE 256
Segments 1
Allocation inherit
Read ahead sectors auto
- currently set to 256
Block device 252:0</pre>

Teadmiseks: lvdisplay käsu käivitamisel on näha parameeter „LV Status“. See näitab, kas kettajagu on saadaval või mitte. Kasutada on võimalik ainult available olekus kettajagu. Eemaldada saab ainult NOT available olekus kettajagusid. Kettajao NOT available olekusse viimiseks saab kasutada käsku:

<pre>lvchange -a n /dev/mysql/data</pre>
ja tagasi:
<pre>lvchange -a y /dev/mysql/data</pre>

Nüüd on loodud uus kettajagu, mida saab andmete säiltamiseks kasutada. Loome sellele kettajaole failisüsteemi:
<pre>mkfs -t ext4 /dev/mysql/data</pre>

Järgmisena tuleb loodud kettajagu kuhugile mountida. Mina teen sellejaoks /srv/mysql kausta ja haagin ketta sinna.

<pre>mkdir /srv/mysql</pre>

Lisame /etc/fstab faili lõppu kirje, et ka järgmisel süsteemi käivitamisel oleks ketas kohe külgehaagitud

<pre>/dev/mysql/data /srv/mysql ext4 defaults 0 0</pre>

Muudame kausta õigused mysql-ile sobivaks (kausta omanik on kasutaja mysql ja kaustale on ligipääs ainult kausta omanikul)
<pre>chown mysql:mysql /srv/mysql
chmod 0700 /srv/mysql</pre>

Nüüd tuleb olemasolev mysql data kaust liigutada /srv/mysql kausta. Esimese asjana peatada mysql server
<pre>service mysql stop
mysql stop/waiting</pre>

Kopeerime (!) kogu mysql-i data kausta loodud lvm kettajaole. Ubuntus (ilmselt ka paljudes teistes operatsioonisüsteemides) asub mysq-i data kaust /var/lib/mysql. Oleks vägagi soovitatav jätta andmed vanasse kausta alles ja kustuta see alles siis kui ollakse täiesti kindel, et server töötab tõrgeteta.
<pre>cp -ar /var/lib/mysql/. /srv/mysql</pre>

Seejärel tuleb mysql-i konfiguratsioonifailis (/etc/mysql/my.cnf) muuta ära „datadir“ parameeter
<pre>datadir = /var/lib/mysql -> datadir = /srv/mysql</pre>

Teadmiseks: alates Ubuntu 7.10 -st on operatsioonisüsteemiga kaasas programm nimega „AppArmor“. Tegemist on kerneli turvamooduliga, mis teatavate programmide puhul piirab nende ligipääsu failisüsteemile. Et MySQL server uuesti korrektselt käivituks, tuleb „AppArmor“ -is mysq-i seadistust muuta. Sobiva tekstieditoriga tuleb avada /etc/apparmor.d/usr.sbin.mysqld konfifail ja teha seal vajalikud muudatused :
<pre>/var/lib/mysql/ r, -> /srv/mysql r,
/var/lib/mysql/** rwk, -> /srv/mysql** rwk,</pre>

Osadel operatsioonisüsteemidel võib ka init skript ette anda, kus asub mysql-i datadir. Seega oleks mõistlik ka see /etc/init.d/mysql skriptist üle vaadata.

Käivitame uuesti mysql-i serveri. Kui kõik läks hästi, peaks olema tulemus sarnane:

<pre>service mysql start
mysql start/running, process 2588</pre>

Kontrollime mysql-i muutujaid:
<pre>mysqladmin -u{mysql-kasutaja} -p variables | grep datadir
Enter password: {mysql-parool}
| datadir | /srv/mysql/
</pre>
Lisaks tuleks sobiva mysql kliendiga serverisse sisse logida ja kontrollida üle, kas kõik jäi korrektselt tööle.

Nüüd, kui MySQL server on korrektselt töödanud ja tekib vajadus varukoopiate tegemiseks. Töötavast serverist snapshoti tegemisel pole vajalik eelnev serveri väljalülitama. Lihtsalt protseduuri ajaks oleks vajalik keelata ära andmete kirjutamine „FLUSH TABLES WITH READ LOCK;“ käsuga, lisaks võiks tühjendada ka logid „FLUSH LOGS;“ käsuga. Snapshoti tegemise protsess on äärmiselt kiire ja andmete lugemine andmebaasist toimib endiselt edasi. Samas andmete kirjutamise protsess viibib seni, kui andmebaasilt kirjutamise lukk maha võetakse (kõik kirjutamise käsud täidetakse kohe peale luku vabastamist).
Ehkki varukoopia tegemise protsess ei tekita katkestusi serveri töös, oleks hea mõte teha varukoopiaid sellisel ajal kui serveril on kõige väiksem koormus.
On vajalik teada, et andmebaas lukustatakse ainult selleks ajaks, kui mysql serverisse on sisse logitud. Kohe kui sessioon lõpetatakse, vabastatakse ka lukud. Seetõttu peab snaspshoti tegemise ajal olema serverisse sisse logitud. Variant on kasutada kahte terminali sessiooni aga vajalikke käske saab käivitada ka MySQL-i käsurealt (vajalik on mysql-i klient käivitada root kasutaja õigustes).
<pre>mysql -u root -p
Enter password:
Welcome to the MySQL monitor. Commands end with ; or \g.
Your MySQL connection id is 75
Server version: 5.5.28-0ubuntu0.12.04.2 (Ubuntu)

Copyright (c) 2000, 2012, Oracle and/or its affiliates. All rights reserved.

Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

mysql> FLUSH TABLES WITH READ LOCK;
Query OK, 0 rows affected (0.00 sec)

mysql> FLUSH LOGS;
Query OK, 0 rows affected (0.00 sec)
</pre>

<pre>
mysql> SYSTEM /sbin/lvcreate -L 1G --snapshot -n sql_backup /dev/mysql/data
File descriptor 3 (socket:[15065]) leaked on lvcreate invocation. Parent PID 3514: sh
Logical volume "sql_backup" created
mysql> UNLOCK TABLES;
Query OK, 0 rows affected (0.01 sec)

mysql> exit
Bye
</pre>
Snapshoti kettajagu nimetati kui sql_backup ja viide loogilisele seadmele asub /dev/mysql/sql_backup. Käivitades käsu „lvs“, saab näha, et lisaks mysql/data LV-le on juurde tekkinud mysql/sql_backup
<pre>lvs
LV VG Attr LSize Origin Snap% Move Log Copy% Convert
data mysql owi-ao 1.00g
sql_backup mysql swi-a- 1.00g data 0.00
</pre>
Kui nüüd haakida tehtud snapshoti kettajagu, on seal kättesaadav kogu mysql-i data sellel hetkel, kui snapshot tehti.
<pre>mkdir /mnt/bk
mount /dev/mysql/sql_backup /mnt/bk
ls -la /mnt/bk
total 28720
drwx------ 8 mysql mysql 4096 Dec 12 15:59 .
drwxr-xr-x 3 root root 4096 Dec 12 16:34 ..
-rw-r--r-- 1 root root 0 Nov 30 17:18 debian-5.5.flag
-rw-rw---- 1 mysql mysql 18874368 Dec 12 16:18 ibdata1
-rw-rw---- 1 mysql mysql 5242880 Dec 12 16:18 ib_logfile0
-rw-rw---- 1 mysql mysql 5242880 Nov 30 17:18 ib_logfile1
drwx------ 2 root root 16384 Dec 12 15:58 lost+found
drwx------ 2 mysql root 4096 Nov 30 17:18 mysql
-rw-rw---- 1 root root 6 Nov 30 17:18 mysql_upgrade_info
drwx------ 2 mysql mysql 4096 Nov 30 17:18 performance_schema
drwx------ 2 mysql mysql 4096 Nov 30 17:28 phpmyadmin
drwx------ 2 mysql root 4096 Dec 12 16:18 test
drwx------ 2 mysql mysql 4096 Nov 30 17:33 wp
</pre>
MySQL-i server töötab peale snapshoti tegemist katkestusteta edasi. Tehtud snapshoti andmeid võib varundada arhiivi jaoks. Andmete varundamisel tuleb spashoti kettajagu failisüsteemi külge haakida ja selle sisu „tar“-i abil arhiveerida ja hiljem eemaldada snapshoti kettajagu
<pre>mkdir /mnt/bk
mount /dev/mysql/sql_backup /mnt/bk
tar -cjf /teekond/arhiivi/kuupäev.tar.bz2 -C /mnt bk
umount /dev/mysql/sql_backup
lvremove /dev/mysql/sql_backup
Do you really want to remove active logical volume sql_backup? [y/n]: Y
Logical volume "sql_backup" successfully removed
</pre>
Kogu protseduuri automatiseerimiseks on võimalik koostada ka skript, mida saab käivitada sobival aja või kasutades „cron“ ajastamise vahendeid.

Lisaks on võimalik mysql-i data kaust haakida ümber snapshoti kettajaole ja taastada server sellesse seisu, mis oli snapshoti tegemise hetkel minimaalse katkestuse ajaga.

==Kokkuvõte==

LVM -i kasutamine varundamisel on väikestes ja mittekriitilistes süsteemides küllaltki hea lahendus. See ei nõua eriteadmisi ja kallist riistvara/tarkvara. Kuid suurematesse ja keerukamatesse lahendustesse see ei sobi, kuna see ainult aitab luua snapshoti hetke seisust aga ei paku võimalust seda eraldi salvestada. Arhiveerimiseks tuleb kasutada eraldi vahendeid ja selle protseduuri käigus võib minna kaduma vajalikke andmeid. Ka ei võistle LVM proffessionaalsete vahenditega nagu Arkeia (http://www.arkeia.com/) või BrightStor, mis on just varundamise lahenduste jaoks loodud ja muudavad antud tegemise mugavaks ja kiireks.

==Kasutatud kirjandus==
http://kuutorvaja.eenet.ee/wiki/LVM 
http://www.web-manual.net/linux-3/logical-volume-manager-in-linux/ 
http://www.lullabot.com/articles/mysql-backups-using-lvm-snapshots 
http://www.ubuntugeek.com/how-to-change-the-mysql-data-default-directory.html 
https://wiki.ubuntu.com/Lvm 

==Autor==
Madis Lauri
AK 31
[[Category:Operatsioonisüsteemide administreerimine ja sidumine]]

'''Täiendamine:'''

Carolys Kallas A32

Aine: Linuxi administreerimine

Viimati muudetud: 07.01.2013

Mysql varundamine LVM abil

2013-01-10T23:52:36Z

Ckallas:

__TOC__
==Sissejuhatus==

Antud kirjatüki eesmärgiks on tutvustada LVM-i kui abivahendit toimivast süsteemist tagavarakoopiate tegemisel. Kuigi failisüsteemi snapshotide tegemine ja nende kasutamine on ainult üks LVM-i pakutavatest võimalustest. LVM - i snapshotide tegemise võimalus pole ainult mysql -i varundamiseks, vaid kasutatav ka muude andmete varukoopiate tegemiseks. Antud juhul on MySQL siin ainult „reisija“ aga protsessi selgitamiseks ja LVM snapshoti kasutamiseks on MySQL näitena väga hea. Kogu seadistamise protsess toimub Ubuntu Linux Server 12.04.1 LTS operatsioonisüsteemis ja kasutab sellega kaasnevaid vahendeid.

==Mis on mis?==
'''Logical Volume Manager''' - LVM

'''Physical Volume''' - PV, plokkseade, füüsiline kettajagu

'''Volume Group''' - VG, kettagrupp

'''Logical Volume''' - LV, loogiline kettajagu

'''Snapshot''' - (hetk)tõmmis

===LVM===
LVM ehk „Logical Volume Manager“ on ketta partitsioonide haldusvahend Linuxi ja UNIX-i laadsete operatsioonisüsteemide juures. LVM moodustab vahekihi failisüsteemi ja füüsilise kõvaketta vahele. Esmapilgul võib tunduda, et LVM on sarnane RAID (Redundant Array of Independent Disks) kettamassiiviga, on ta siiski hoopis paindlikum viis kettajagudega toimetamiseks. RAID võimaldab kettaid omavahel liita, et saada paremaid tulemusi kiiruses, mahus või töökindluses. LVM seevastu võimaldab korraga hallata mitut (ka loogilist) kettajagu, neid vastavalt vajadusele ümber tõsta ja mahtu muuta. Seega on tihti hea mõte neid kahte hoopis koos kasutada (näiteks RAID 10 ja LVM).
Lihtsustatult oleks ettekujutus eri kihtide tasemetest selline:
* Failisüsteemid
* LVM
* RAID (vajadusel)
* füüsilised plokkmäluseadmed (kõvakettad)

===Omadused===
LVM pakutavad võimalused on:
* Failisüsteemi suuruse muutmine
* Failisüsteemi snapshotide tegemine ja kasutamine (nii read-only kui ka read-write)
* Loodud/muudetud partitsioonide kohene kasutamine, kui ketas/partitsioon on mingil moel kasutusel. Fdisk-i kasutamisel tuleb OP-süsteem taaskäivitada.
* Väiksemate füüsiliste plokkseadmete kokku ühendamine, üheks suureks loogiliseks seadmeks. (Nagu RAID)
* Ketaste liigutamine ja ühendamine üle võrgu

Lisainfot LVM-i kohta: http://en.wikipedia.org/wiki/Logical_Volume_Manager_(Linux)

===MySQL===
MySQL on Oracle Corporation poolt hallatav relatsioonilise andmebaasi haldamise süsteem. On äärmiselt populaarne andmebaasisüsteem erinevates veebirakendustes aga ka mõningates suuremates süsteemides. Oma populaarsuse on ta saanud tänu äärmiselt lihtsale hallatavusele ja kasutajasõbralikkusele. Hetkel ei hakka MySQL-i omadustel ja võimalustel pikemalt peatuma. Rohkem informatsiooni leiab: http://www.mysql.com/

==Eeldused==
*Installeeritud Ubuntu Server (vähemalt 12.04 versioon)
*Tutvutud kettajagudega (kiire kordamine näiteks '''[[Osadmin spikker]]''')

'''Viia kõik käsklused läbi sudo kasutaja alt'''
sudo -i

===Ketaste lisamine===
Kõigepealt on vaja lisada serverile kõvaketas, mida hiljem LVM-iga siduma hakata.

[[File:Create_hard_disk.PNG‎|500px]]

Luua uus 4GB ketas, mis on VirtualBox Disk Image (VDI) formaadis ning dünaamiliselt jagatud.

===Vajaliku tarkvara installeerimine== =

Et LVM-i ja MySQL-i seadistada on vajalikud teadmised, kuidas toimub Linuxis ketaste ja partitisoonide haldamine ja baasteadmised MySQL-ist.
Kõigepealt on vajalik installeerida lvm2 nimeline pakett.
<pre>apt-get install lvm2</pre>
Olenevalt operatsioonisüsteemist võib olla vajalikud pakeid juba installeeritud, kontrollida saab nii:
<pre>lvm version</pre>

<pre>lvm version
LVM version: 2.02.66(2) (2010-05-20)
Library version: 1.02.48 (2010-05-20)
Driver version: 4.22.0
</pre>
Lisaks on vajalik installeerida MySQL server ja klientprogramm serveriga ühendumiseks.
<pre>apt-get install mysql-server</pre>
NB! Kuna LVM-i kasutuselevõtmine vajab mõningast MySQL-i ümberseadistamist, tuleb arvestada asjaoluga, et MySQL-i data kausta ümbertõstmisel ei pruugi olemasolevad andmed säilida (InnoDB) ja vajalik oleks serveris olevatest andmetest enne .sql kujul tagavarakoopia teha.

==LVM -i seadistamine==
[[File: LVM.jpg|450px]]

LVM ise jaguneb kolmeks eri kihiks: plokkseadmed (PV), kettagrupid (VG), millesse on organiseeritud füüsilised plokkseadmed ja loogilised kettajaod, mis on jagatud kettagrupid.
Iga kihiga toimetamisel on oma käsud, mis viitavad sellele, mis kihiga hetkel toimetatakse: pv*, vg* ning lv*. Näiteks pvcreate, vgcreate ja lvcreate.

Esimese asjana tuleb valida ketas/kettajagu, kus LVM-iga toimetama hakata. Uue ketta puhul oleks võimalusel mõtekas luua üks tervet ketast hõlmav partitsioon.

Näites on kasutatud ühte 4 GB suurust ketast (VirtualBox-i lisatud 4GB suurune virtuualne kõvaketas). Operatsioonisüsteem tunnistab seda kui /dev/sdb ja seega on näites kasutatavad ketta nimed/asukohad just sellised. Partitiooni tüübiks tuleb kindlasti määrata Linux LVM ehk kood „8e“

<pre>fdisk -l 2> /dev/null | grep Disk
Disk /dev/sda: 8589 MB, 8589934592 bytes
Disk identifier: 0x000bd8b1
Disk /dev/sdb: 4294 MB, 4294967296 bytes
Disk identifier: 0x11844f48</pre>

===Füüsilise ketta väärtuse muutmine===
Avada fdiskiga uue loodud ketta partitsioon ning luua uus primaarne kettajagu:

<pre>fdisk /dev/sdb
Command (m for help): n

Partition type:
p primary (0 primary, 0 extended, 4 free)
e extended

Select (default p): p

Partition number (1-4, default 1): 1

First sector (2048-8388607, default 2048):
Using default value 2048

Last sector, +sectors or +size{K,M,G} (2048-8388607, default 8388607):
Using default value 8388607</pre>

Print käskluse abil kuvatakse kettajagu, algus, lõpp, blokid, id ning süsteem. Loodud partitsioon on 83 ehk Linux. Partitsiooni süsteemse id muutmiseks kasutatakse '''t'''.

Käsklus '''L''' kuvab kõik kaheksandikkoodid . Linux LVM kood on 8e, et muuta kettajagu Linux LVM-iks on vaja muuta kettajao id 83-lt 8e-ks.
[[file:8e.PNG|500px]]

<pre>
Command (m for help): t
Selected partition 1

Hex code (type L to list codes): 8e
Changed system type of partition 1 to 8e (Linux LVM)

Command (m for help): w
The partition table has been altered!

Calling ioctl() to re-read partition table.
Syncing disks.</pre>

'''NB mitte väljuda q, mis väljub programmist muudatusi salvestamata!'''

===Füüsiline kettajagu===
Järgnevalt anname lvm-ile teada, et loodud partitsioon on „pv“ ehk physical volume.
<pre>pvcreate /dev/sdb1
Physical volume "/dev/sdb1" successfully created</pre>

Kui kõik läks hästi siis peaks tulemus olemas selline:
<pre>pvdisplay
"/dev/sdb1" is a new physical volume of "4.00 GiB"
--- NEW Physical volume ---
PV Name /dev/sdb1
VG Name
PV Size 4.00 GiB
Allocatable NO
PE Size 0
Total PE 0
Free PE 0
Allocated PE 0
PV UUID EdmaX9-bXmQ-Oevp-p9W9-I2qY-gpMM-1w77aQ</pre>

===Kettagrupp===
Loome uue „volume group“ -i ja nimetame selle mysql -iks.
<pre>vgcreate mysql /dev/sdb1
Volume group "mysql" successfully created</pre>

** vgdisplay
--- Volume group ---
VG Name mysql
System ID
Format lvm2
Metadata Areas 1
Metadata Sequence No 4
VG Access read/write
VG Status resizable
MAX LV 0
Cur LV 2
Open LV 2
Max PV 0
Cur PV 1
Act PV 1
VG Size 4.00 GiB
PE Size 4.00 MiB
Total PE 1023
Alloc PE / Size 512 / 2.00 GiB
Free PE / Size 511 / 2.00 GiB
VG UUID s5AjT8-ss7D-Gm9m-XY6j-ULMv-RLbR-xdy0K6

Järgnevalt saame luua „volume group“ -ile „logical volumes“ ehk loogilised kettajaod. Need on justkui partitsioonid füüsilisel kõvakettal ja neid saab juba andmete talletamiseks kasutada. Nimetame kettajao nimega data ja määrame tema suuruseks 1GB (antud suurus sobib väga hästi katsetamiseks aga reaalsetes süsteemides tuleb muidugi oluliselt suuremaid numbreid kasutada. ). Suuruse seadistamisel tuleb arvestada, et sama „volume group“ peale tuleb mahutada veel vähemalt üks sama suur loogiline kettajagu, mis on loodava LV snapshot. Näide kui VG suurus on kokku 10GB siis on võimalik teha maksimaalselt 5GB suurune loogiline kettajagu. Vastasel ei mahu tema kõrvale, samale VG-le tehtud LV snapshot.

===Loogiline kettajagu===
<pre>lvcreate -n data -L 1GB mysql
Logical volume "data" created</pre>

Kontrollime tulemust:
<pre>lvdisplay
--- Logical volume ---
LV Name /dev/mysql/data
VG Name mysql
LV UUID SL0yWI-Mc2b-KhkE-V8P1-bW7E-3iL8-8zD6Uf
LV Write Access read/write
LV Status available
# open 0
LV Size 1.00 GiB
Current LE 256
Segments 1
Allocation inherit
Read ahead sectors auto
- currently set to 256
Block device 252:0</pre>

Teadmiseks: lvdisplay käsu käivitamisel on näha parameeter „LV Status“. See näitab, kas kettajagu on saadaval või mitte. Kasutada on võimalik ainult available olekus kettajagu. Eemaldada saab ainult NOT available olekus kettajagusid. Kettajao NOT available olekusse viimiseks saab kasutada käsku:

<pre>lvchange -a n /dev/mysql/data</pre>
ja tagasi:
<pre>lvchange -a y /dev/mysql/data</pre>

Nüüd on loodud uus kettajagu, mida saab andmete säiltamiseks kasutada. Loome sellele kettajaole failisüsteemi:
<pre>mkfs -t ext4 /dev/mysql/data</pre>

Järgmisena tuleb loodud kettajagu kuhugile mountida. Mina teen sellejaoks /srv/mysql kausta ja haagin ketta sinna.

<pre>mkdir /srv/mysql</pre>

Lisame /etc/fstab faili lõppu kirje, et ka järgmisel süsteemi käivitamisel oleks ketas kohe külgehaagitud

<pre>/dev/mysql/data /srv/mysql ext4 defaults 0 0</pre>

Muudame kausta õigused mysql-ile sobivaks (kausta omanik on kasutaja mysql ja kaustale on ligipääs ainult kausta omanikul)
<pre>chown mysql:mysql /srv/mysql
chmod 0700 /srv/mysql</pre>

Nüüd tuleb olemasolev mysql data kaust liigutada /srv/mysql kausta. Esimese asjana peatada mysql server
<pre>service mysql stop
mysql stop/waiting</pre>

Kopeerime (!) kogu mysql-i data kausta loodud lvm kettajaole. Ubuntus (ilmselt ka paljudes teistes operatsioonisüsteemides) asub mysq-i data kaust /var/lib/mysql. Oleks vägagi soovitatav jätta andmed vanasse kausta alles ja kustuta see alles siis kui ollakse täiesti kindel, et server töötab tõrgeteta.
<pre>cp -ar /var/lib/mysql/. /srv/mysql</pre>

Seejärel tuleb mysql-i konfiguratsioonifailis (/etc/mysql/my.cnf) muuta ära „datadir“ parameeter
<pre>datadir = /var/lib/mysql -> datadir = /srv/mysql</pre>

Teadmiseks: alates Ubuntu 7.10 -st on operatsioonisüsteemiga kaasas programm nimega „AppArmor“. Tegemist on kerneli turvamooduliga, mis teatavate programmide puhul piirab nende ligipääsu failisüsteemile. Et MySQL server uuesti korrektselt käivituks, tuleb „AppArmor“ -is mysq-i seadistust muuta. Sobiva tekstieditoriga tuleb avada /etc/apparmor.d/usr.sbin.mysqld konfifail ja teha seal vajalikud muudatused :
<pre>/var/lib/mysql/ r, -> /srv/mysql r,
/var/lib/mysql/** rwk, -> /srv/mysql** rwk,</pre>

Osadel operatsioonisüsteemidel võib ka init skript ette anda, kus asub mysql-i datadir. Seega oleks mõistlik ka see /etc/init.d/mysql skriptist üle vaadata.

Käivitame uuesti mysql-i serveri. Kui kõik läks hästi, peaks olema tulemus sarnane:

<pre>service mysql start
mysql start/running, process 2588</pre>

Kontrollime mysql-i muutujaid:
<pre>mysqladmin -u{mysql-kasutaja} -p variables | grep datadir
Enter password: {mysql-parool}
| datadir | /srv/mysql/
</pre>
Lisaks tuleks sobiva mysql kliendiga serverisse sisse logida ja kontrollida üle, kas kõik jäi korrektselt tööle.

Nüüd, kui MySQL server on korrektselt töödanud ja tekib vajadus varukoopiate tegemiseks. Töötavast serverist snapshoti tegemisel pole vajalik eelnev serveri väljalülitama. Lihtsalt protseduuri ajaks oleks vajalik keelata ära andmete kirjutamine „FLUSH TABLES WITH READ LOCK;“ käsuga, lisaks võiks tühjendada ka logid „FLUSH LOGS;“ käsuga. Snapshoti tegemise protsess on äärmiselt kiire ja andmete lugemine andmebaasist toimib endiselt edasi. Samas andmete kirjutamise protsess viibib seni, kui andmebaasilt kirjutamise lukk maha võetakse (kõik kirjutamise käsud täidetakse kohe peale luku vabastamist).
Ehkki varukoopia tegemise protsess ei tekita katkestusi serveri töös, oleks hea mõte teha varukoopiaid sellisel ajal kui serveril on kõige väiksem koormus.
On vajalik teada, et andmebaas lukustatakse ainult selleks ajaks, kui mysql serverisse on sisse logitud. Kohe kui sessioon lõpetatakse, vabastatakse ka lukud. Seetõttu peab snaspshoti tegemise ajal olema serverisse sisse logitud. Variant on kasutada kahte terminali sessiooni aga vajalikke käske saab käivitada ka MySQL-i käsurealt (vajalik on mysql-i klient käivitada root kasutaja õigustes).
<pre>mysql -u root -p
Enter password:
Welcome to the MySQL monitor. Commands end with ; or \g.
Your MySQL connection id is 75
Server version: 5.5.28-0ubuntu0.12.04.2 (Ubuntu)

Copyright (c) 2000, 2012, Oracle and/or its affiliates. All rights reserved.

Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

mysql> FLUSH TABLES WITH READ LOCK;
Query OK, 0 rows affected (0.00 sec)

mysql> FLUSH LOGS;
Query OK, 0 rows affected (0.00 sec)
</pre>

<pre>
mysql> SYSTEM /sbin/lvcreate -L 1G --snapshot -n sql_backup /dev/mysql/data
File descriptor 3 (socket:[15065]) leaked on lvcreate invocation. Parent PID 3514: sh
Logical volume "sql_backup" created
mysql> UNLOCK TABLES;
Query OK, 0 rows affected (0.01 sec)

mysql> exit
Bye
</pre>
Snapshoti kettajagu nimetati kui sql_backup ja viide loogilisele seadmele asub /dev/mysql/sql_backup. Käivitades käsu „lvs“, saab näha, et lisaks mysql/data LV-le on juurde tekkinud mysql/sql_backup
<pre>lvs
LV VG Attr LSize Origin Snap% Move Log Copy% Convert
data mysql owi-ao 1.00g
sql_backup mysql swi-a- 1.00g data 0.00
</pre>
Kui nüüd haakida tehtud snapshoti kettajagu, on seal kättesaadav kogu mysql-i data sellel hetkel, kui snapshot tehti.
<pre>mkdir /mnt/bk
mount /dev/mysql/sql_backup /mnt/bk
ls -la /mnt/bk
total 28720
drwx------ 8 mysql mysql 4096 Dec 12 15:59 .
drwxr-xr-x 3 root root 4096 Dec 12 16:34 ..
-rw-r--r-- 1 root root 0 Nov 30 17:18 debian-5.5.flag
-rw-rw---- 1 mysql mysql 18874368 Dec 12 16:18 ibdata1
-rw-rw---- 1 mysql mysql 5242880 Dec 12 16:18 ib_logfile0
-rw-rw---- 1 mysql mysql 5242880 Nov 30 17:18 ib_logfile1
drwx------ 2 root root 16384 Dec 12 15:58 lost+found
drwx------ 2 mysql root 4096 Nov 30 17:18 mysql
-rw-rw---- 1 root root 6 Nov 30 17:18 mysql_upgrade_info
drwx------ 2 mysql mysql 4096 Nov 30 17:18 performance_schema
drwx------ 2 mysql mysql 4096 Nov 30 17:28 phpmyadmin
drwx------ 2 mysql root 4096 Dec 12 16:18 test
drwx------ 2 mysql mysql 4096 Nov 30 17:33 wp
</pre>
MySQL-i server töötab peale snapshoti tegemist katkestusteta edasi. Tehtud snapshoti andmeid võib varundada arhiivi jaoks. Andmete varundamisel tuleb spashoti kettajagu failisüsteemi külge haakida ja selle sisu „tar“-i abil arhiveerida ja hiljem eemaldada snapshoti kettajagu
<pre>mkdir /mnt/bk
mount /dev/mysql/sql_backup /mnt/bk
tar -cjf /teekond/arhiivi/kuupäev.tar.bz2 -C /mnt bk
umount /dev/mysql/sql_backup
lvremove /dev/mysql/sql_backup
Do you really want to remove active logical volume sql_backup? [y/n]: Y
Logical volume "sql_backup" successfully removed
</pre>
Kogu protseduuri automatiseerimiseks on võimalik koostada ka skript, mida saab käivitada sobival aja või kasutades „cron“ ajastamise vahendeid.

Lisaks on võimalik mysql-i data kaust haakida ümber snapshoti kettajaole ja taastada server sellesse seisu, mis oli snapshoti tegemise hetkel minimaalse katkestuse ajaga.

==Kokkuvõte==

LVM -i kasutamine varundamisel on väikestes ja mittekriitilistes süsteemides küllaltki hea lahendus. See ei nõua eriteadmisi ja kallist riistvara/tarkvara. Kuid suurematesse ja keerukamatesse lahendustesse see ei sobi, kuna see ainult aitab luua snapshoti hetke seisust aga ei paku võimalust seda eraldi salvestada. Arhiveerimiseks tuleb kasutada eraldi vahendeid ja selle protseduuri käigus võib minna kaduma vajalikke andmeid. Ka ei võistle LVM proffessionaalsete vahenditega nagu Arkeia (http://www.arkeia.com/) või BrightStor, mis on just varundamise lahenduste jaoks loodud ja muudavad antud tegemise mugavaks ja kiireks.

==Kasutatud kirjandus==
http://kuutorvaja.eenet.ee/wiki/LVM 
http://www.web-manual.net/linux-3/logical-volume-manager-in-linux/ 
http://www.lullabot.com/articles/mysql-backups-using-lvm-snapshots 
http://www.ubuntugeek.com/how-to-change-the-mysql-data-default-directory.html 
https://wiki.ubuntu.com/Lvm 

==Autor==
Madis Lauri
AK 31
[[Category:Operatsioonisüsteemide administreerimine ja sidumine]]

'''Täiendamine:'''

Carolys Kallas A32

Aine: Linuxi administreerimine

Viimati muudetud: 07.01.2013

Mysql varundamine LVM abil

2013-01-10T23:50:51Z

Ckallas: /* LVM -i seadistamine */

__TOC__
==Sissejuhatus==

Antud kirjatüki eesmärgiks on tutvustada LVM-i kui abivahendit toimivast süsteemist tagavarakoopiate tegemisel. Kuigi failisüsteemi snapshotide tegemine ja nende kasutamine on ainult üks LVM-i pakutavatest võimalustest. LVM - i snapshotide tegemise võimalus pole ainult mysql -i varundamiseks, vaid kasutatav ka muude andmete varukoopiate tegemiseks. Antud juhul on MySQL siin ainult „reisija“ aga protsessi selgitamiseks ja LVM snapshoti kasutamiseks on MySQL näitena väga hea. Kogu seadistamise protsess toimub Ubuntu Linux Server 12.04.1 LTS operatsioonisüsteemis ja kasutab sellega kaasnevaid vahendeid.

==Mis on mis?==
'''Logical Volume Manager''' - LVM

'''Physical Volume''' - PV, plokkseade, füüsiline kettajagu

'''Volume Group''' - VG, kettagrupp

'''Logical Volume''' - LV, loogiline kettajagu

'''Snapshot''' - (hetk)tõmmis

===LVM===
LVM ehk „Logical Volume Manager“ on ketta partitsioonide haldusvahend Linuxi ja UNIX-i laadsete operatsioonisüsteemide juures. LVM moodustab vahekihi failisüsteemi ja füüsilise kõvaketta vahele. Esmapilgul võib tunduda, et LVM on sarnane RAID (Redundant Array of Independent Disks) kettamassiiviga, on ta siiski hoopis paindlikum viis kettajagudega toimetamiseks. RAID võimaldab kettaid omavahel liita, et saada paremaid tulemusi kiiruses, mahus või töökindluses. LVM seevastu võimaldab korraga hallata mitut (ka loogilist) kettajagu, neid vastavalt vajadusele ümber tõsta ja mahtu muuta. Seega on tihti hea mõte neid kahte hoopis koos kasutada (näiteks RAID 10 ja LVM).
Lihtsustatult oleks ettekujutus eri kihtide tasemetest selline:
* Failisüsteemid
* LVM
* RAID (vajadusel)
* füüsilised plokkmäluseadmed (kõvakettad)

===Omadused===
LVM pakutavad võimalused on:
* Failisüsteemi suuruse muutmine
* Failisüsteemi snapshotide tegemine ja kasutamine (nii read-only kui ka read-write)
* Loodud/muudetud partitsioonide kohene kasutamine, kui ketas/partitsioon on mingil moel kasutusel. Fdisk-i kasutamisel tuleb OP-süsteem taaskäivitada.
* Väiksemate füüsiliste plokkseadmete kokku ühendamine, üheks suureks loogiliseks seadmeks. (Nagu RAID)
* Ketaste liigutamine ja ühendamine üle võrgu

Lisainfot LVM-i kohta: http://en.wikipedia.org/wiki/Logical_Volume_Manager_(Linux)

===MySQL===
MySQL on Oracle Corporation poolt hallatav relatsioonilise andmebaasi haldamise süsteem. On äärmiselt populaarne andmebaasisüsteem erinevates veebirakendustes aga ka mõningates suuremates süsteemides. Oma populaarsuse on ta saanud tänu äärmiselt lihtsale hallatavusele ja kasutajasõbralikkusele. Hetkel ei hakka MySQL-i omadustel ja võimalustel pikemalt peatuma. Rohkem informatsiooni leiab: http://www.mysql.com/

==Eeldused==
*Installeeritud Ubuntu Server (vähemalt 12.04 versioon)
*Tutvutud kettajagudega (kiire kordamine näiteks '''[[Osadmin spikker]]''')

'''Viia kõik käsklused läbi sudo kasutaja alt'''
sudo -i

==Ketaste lisamine==
Kõigepealt on vaja lisada serverile kõvaketas, mida hiljem LVM-iga siduma hakata.

[[File:Create_hard_disk.PNG‎|500px]]

Luua uus 4GB ketas, mis on VirtualBox Disk Image (VDI) formaadis ning dünaamiliselt jagatud.

==Vajaliku tarkvara installeerimine==

Et LVM-i ja MySQL-i seadistada on vajalikud teadmised, kuidas toimub Linuxis ketaste ja partitisoonide haldamine ja baasteadmised MySQL-ist.
Kõigepealt on vajalik installeerida lvm2 nimeline pakett.
<pre>apt-get install lvm2</pre>
Olenevalt operatsioonisüsteemist võib olla vajalikud pakeid juba installeeritud, kontrollida saab nii:
<pre>lvm version</pre>

<pre>lvm version
LVM version: 2.02.66(2) (2010-05-20)
Library version: 1.02.48 (2010-05-20)
Driver version: 4.22.0
</pre>
Lisaks on vajalik installeerida MySQL server ja klientprogramm serveriga ühendumiseks.
<pre>apt-get install mysql-server</pre>
NB! Kuna LVM-i kasutuselevõtmine vajab mõningast MySQL-i ümberseadistamist, tuleb arvestada asjaoluga, et MySQL-i data kausta ümbertõstmisel ei pruugi olemasolevad andmed säilida (InnoDB) ja vajalik oleks serveris olevatest andmetest enne .sql kujul tagavarakoopia teha.

==LVM -i seadistamine==
[[File: LVM.jpg|450px]]

LVM ise jaguneb kolmeks eri kihiks: plokkseadmed (PV), kettagrupid (VG), millesse on organiseeritud füüsilised plokkseadmed ja loogilised kettajaod, mis on jagatud kettagrupid.
Iga kihiga toimetamisel on oma käsud, mis viitavad sellele, mis kihiga hetkel toimetatakse: pv*, vg* ning lv*. Näiteks pvcreate, vgcreate ja lvcreate.

Esimese asjana tuleb valida ketas/kettajagu, kus LVM-iga toimetama hakata. Uue ketta puhul oleks võimalusel mõtekas luua üks tervet ketast hõlmav partitsioon.

Näites on kasutatud ühte 4 GB suurust ketast (VirtualBox-i lisatud 4GB suurune virtuualne kõvaketas). Operatsioonisüsteem tunnistab seda kui /dev/sdb ja seega on näites kasutatavad ketta nimed/asukohad just sellised. Partitiooni tüübiks tuleb kindlasti määrata Linux LVM ehk kood „8e“

<pre>fdisk -l 2> /dev/null | grep Disk
Disk /dev/sda: 8589 MB, 8589934592 bytes
Disk identifier: 0x000bd8b1
Disk /dev/sdb: 4294 MB, 4294967296 bytes
Disk identifier: 0x11844f48</pre>

===Füüsilise ketta väärtuse muutmine===
Avada fdiskiga uue loodud ketta partitsioon ning luua uus primaarne kettajagu:

<pre>fdisk /dev/sdb
Command (m for help): n

Partition type:
p primary (0 primary, 0 extended, 4 free)
e extended

Select (default p): p

Partition number (1-4, default 1): 1

First sector (2048-8388607, default 2048):
Using default value 2048

Last sector, +sectors or +size{K,M,G} (2048-8388607, default 8388607):
Using default value 8388607</pre>

Print käskluse abil kuvatakse kettajagu, algus, lõpp, blokid, id ning süsteem. Loodud partitsioon on 83 ehk Linux. Partitsiooni süsteemse id muutmiseks kasutatakse '''t'''.

Käsklus '''L''' kuvab kõik kaheksandikkoodid . Linux LVM kood on 8e, et muuta kettajagu Linux LVM-iks on vaja muuta kettajao id 83-lt 8e-ks.
[[file:8e.PNG|500px]]

<pre>
Command (m for help): t
Selected partition 1

Hex code (type L to list codes): 8e
Changed system type of partition 1 to 8e (Linux LVM)

Command (m for help): w
The partition table has been altered!

Calling ioctl() to re-read partition table.
Syncing disks.</pre>

'''NB mitte väljuda q, mis väljub programmist muudatusi salvestamata!'''

===Füüsiline kettajagu===
Järgnevalt anname lvm-ile teada, et loodud partitsioon on „pv“ ehk physical volume.
<pre>pvcreate /dev/sdb1
Physical volume "/dev/sdb1" successfully created</pre>

Kui kõik läks hästi siis peaks tulemus olemas selline:
<pre>pvdisplay
"/dev/sdb1" is a new physical volume of "4.00 GiB"
--- NEW Physical volume ---
PV Name /dev/sdb1
VG Name
PV Size 4.00 GiB
Allocatable NO
PE Size 0
Total PE 0
Free PE 0
Allocated PE 0
PV UUID EdmaX9-bXmQ-Oevp-p9W9-I2qY-gpMM-1w77aQ</pre>

===Kettagrupp===
Loome uue „volume group“ -i ja nimetame selle mysql -iks.
<pre>vgcreate mysql /dev/sdb1
Volume group "mysql" successfully created</pre>

** vgdisplay
--- Volume group ---
VG Name mysql
System ID
Format lvm2
Metadata Areas 1
Metadata Sequence No 4
VG Access read/write
VG Status resizable
MAX LV 0
Cur LV 2
Open LV 2
Max PV 0
Cur PV 1
Act PV 1
VG Size 4.00 GiB
PE Size 4.00 MiB
Total PE 1023
Alloc PE / Size 512 / 2.00 GiB
Free PE / Size 511 / 2.00 GiB
VG UUID s5AjT8-ss7D-Gm9m-XY6j-ULMv-RLbR-xdy0K6

Järgnevalt saame luua „volume group“ -ile „logical volumes“ ehk loogilised kettajaod. Need on justkui partitsioonid füüsilisel kõvakettal ja neid saab juba andmete talletamiseks kasutada. Nimetame kettajao nimega data ja määrame tema suuruseks 1GB (antud suurus sobib väga hästi katsetamiseks aga reaalsetes süsteemides tuleb muidugi oluliselt suuremaid numbreid kasutada. ). Suuruse seadistamisel tuleb arvestada, et sama „volume group“ peale tuleb mahutada veel vähemalt üks sama suur loogiline kettajagu, mis on loodava LV snapshot. Näide kui VG suurus on kokku 10GB siis on võimalik teha maksimaalselt 5GB suurune loogiline kettajagu. Vastasel ei mahu tema kõrvale, samale VG-le tehtud LV snapshot.

===Loogiline kettajagu===
<pre>lvcreate -n data -L 1GB mysql
Logical volume "data" created</pre>

Kontrollime tulemust:
<pre>lvdisplay
--- Logical volume ---
LV Name /dev/mysql/data
VG Name mysql
LV UUID SL0yWI-Mc2b-KhkE-V8P1-bW7E-3iL8-8zD6Uf
LV Write Access read/write
LV Status available
# open 0
LV Size 1.00 GiB
Current LE 256
Segments 1
Allocation inherit
Read ahead sectors auto
- currently set to 256
Block device 252:0</pre>

Teadmiseks: lvdisplay käsu käivitamisel on näha parameeter „LV Status“. See näitab, kas kettajagu on saadaval või mitte. Kasutada on võimalik ainult available olekus kettajagu. Eemaldada saab ainult NOT available olekus kettajagusid. Kettajao NOT available olekusse viimiseks saab kasutada käsku:

<pre>lvchange -a n /dev/mysql/data</pre>
ja tagasi:
<pre>lvchange -a y /dev/mysql/data</pre>

Nüüd on loodud uus kettajagu, mida saab andmete säiltamiseks kasutada. Loome sellele kettajaole failisüsteemi:
<pre>mkfs -t ext4 /dev/mysql/data</pre>

Järgmisena tuleb loodud kettajagu kuhugile mountida. Mina teen sellejaoks /srv/mysql kausta ja haagin ketta sinna.

<pre>mkdir /srv/mysql</pre>

Lisame /etc/fstab faili lõppu kirje, et ka järgmisel süsteemi käivitamisel oleks ketas kohe külgehaagitud

<pre>/dev/mysql/data /srv/mysql ext4 defaults 0 0</pre>

Muudame kausta õigused mysql-ile sobivaks (kausta omanik on kasutaja mysql ja kaustale on ligipääs ainult kausta omanikul)
<pre>chown mysql:mysql /srv/mysql
chmod 0700 /srv/mysql</pre>

Nüüd tuleb olemasolev mysql data kaust liigutada /srv/mysql kausta. Esimese asjana peatada mysql server
<pre>service mysql stop
mysql stop/waiting</pre>

Kopeerime (!) kogu mysql-i data kausta loodud lvm kettajaole. Ubuntus (ilmselt ka paljudes teistes operatsioonisüsteemides) asub mysq-i data kaust /var/lib/mysql. Oleks vägagi soovitatav jätta andmed vanasse kausta alles ja kustuta see alles siis kui ollakse täiesti kindel, et server töötab tõrgeteta.
<pre>cp -ar /var/lib/mysql/. /srv/mysql</pre>

Seejärel tuleb mysql-i konfiguratsioonifailis (/etc/mysql/my.cnf) muuta ära „datadir“ parameeter
<pre>datadir = /var/lib/mysql -> datadir = /srv/mysql</pre>

Teadmiseks: alates Ubuntu 7.10 -st on operatsioonisüsteemiga kaasas programm nimega „AppArmor“. Tegemist on kerneli turvamooduliga, mis teatavate programmide puhul piirab nende ligipääsu failisüsteemile. Et MySQL server uuesti korrektselt käivituks, tuleb „AppArmor“ -is mysq-i seadistust muuta. Sobiva tekstieditoriga tuleb avada /etc/apparmor.d/usr.sbin.mysqld konfifail ja teha seal vajalikud muudatused :
<pre>/var/lib/mysql/ r, -> /srv/mysql r,
/var/lib/mysql/** rwk, -> /srv/mysql** rwk,</pre>

Osadel operatsioonisüsteemidel võib ka init skript ette anda, kus asub mysql-i datadir. Seega oleks mõistlik ka see /etc/init.d/mysql skriptist üle vaadata.

Käivitame uuesti mysql-i serveri. Kui kõik läks hästi, peaks olema tulemus sarnane:

<pre>service mysql start
mysql start/running, process 2588</pre>

Kontrollime mysql-i muutujaid:
<pre>mysqladmin -u{mysql-kasutaja} -p variables | grep datadir
Enter password: {mysql-parool}
| datadir | /srv/mysql/
</pre>
Lisaks tuleks sobiva mysql kliendiga serverisse sisse logida ja kontrollida üle, kas kõik jäi korrektselt tööle.

Nüüd, kui MySQL server on korrektselt töödanud ja tekib vajadus varukoopiate tegemiseks. Töötavast serverist snapshoti tegemisel pole vajalik eelnev serveri väljalülitama. Lihtsalt protseduuri ajaks oleks vajalik keelata ära andmete kirjutamine „FLUSH TABLES WITH READ LOCK;“ käsuga, lisaks võiks tühjendada ka logid „FLUSH LOGS;“ käsuga. Snapshoti tegemise protsess on äärmiselt kiire ja andmete lugemine andmebaasist toimib endiselt edasi. Samas andmete kirjutamise protsess viibib seni, kui andmebaasilt kirjutamise lukk maha võetakse (kõik kirjutamise käsud täidetakse kohe peale luku vabastamist).
Ehkki varukoopia tegemise protsess ei tekita katkestusi serveri töös, oleks hea mõte teha varukoopiaid sellisel ajal kui serveril on kõige väiksem koormus.
On vajalik teada, et andmebaas lukustatakse ainult selleks ajaks, kui mysql serverisse on sisse logitud. Kohe kui sessioon lõpetatakse, vabastatakse ka lukud. Seetõttu peab snaspshoti tegemise ajal olema serverisse sisse logitud. Variant on kasutada kahte terminali sessiooni aga vajalikke käske saab käivitada ka MySQL-i käsurealt (vajalik on mysql-i klient käivitada root kasutaja õigustes).
<pre>mysql -u root -p
Enter password:
Welcome to the MySQL monitor. Commands end with ; or \g.
Your MySQL connection id is 75
Server version: 5.5.28-0ubuntu0.12.04.2 (Ubuntu)

Copyright (c) 2000, 2012, Oracle and/or its affiliates. All rights reserved.

Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

mysql> FLUSH TABLES WITH READ LOCK;
Query OK, 0 rows affected (0.00 sec)

mysql> FLUSH LOGS;
Query OK, 0 rows affected (0.00 sec)
</pre>

<pre>
mysql> SYSTEM /sbin/lvcreate -L 1G --snapshot -n sql_backup /dev/mysql/data
File descriptor 3 (socket:[15065]) leaked on lvcreate invocation. Parent PID 3514: sh
Logical volume "sql_backup" created
mysql> UNLOCK TABLES;
Query OK, 0 rows affected (0.01 sec)

mysql> exit
Bye
</pre>
Snapshoti kettajagu nimetati kui sql_backup ja viide loogilisele seadmele asub /dev/mysql/sql_backup. Käivitades käsu „lvs“, saab näha, et lisaks mysql/data LV-le on juurde tekkinud mysql/sql_backup
<pre>lvs
LV VG Attr LSize Origin Snap% Move Log Copy% Convert
data mysql owi-ao 1.00g
sql_backup mysql swi-a- 1.00g data 0.00
</pre>
Kui nüüd haakida tehtud snapshoti kettajagu, on seal kättesaadav kogu mysql-i data sellel hetkel, kui snapshot tehti.
<pre>mkdir /mnt/bk
mount /dev/mysql/sql_backup /mnt/bk
ls -la /mnt/bk
total 28720
drwx------ 8 mysql mysql 4096 Dec 12 15:59 .
drwxr-xr-x 3 root root 4096 Dec 12 16:34 ..
-rw-r--r-- 1 root root 0 Nov 30 17:18 debian-5.5.flag
-rw-rw---- 1 mysql mysql 18874368 Dec 12 16:18 ibdata1
-rw-rw---- 1 mysql mysql 5242880 Dec 12 16:18 ib_logfile0
-rw-rw---- 1 mysql mysql 5242880 Nov 30 17:18 ib_logfile1
drwx------ 2 root root 16384 Dec 12 15:58 lost+found
drwx------ 2 mysql root 4096 Nov 30 17:18 mysql
-rw-rw---- 1 root root 6 Nov 30 17:18 mysql_upgrade_info
drwx------ 2 mysql mysql 4096 Nov 30 17:18 performance_schema
drwx------ 2 mysql mysql 4096 Nov 30 17:28 phpmyadmin
drwx------ 2 mysql root 4096 Dec 12 16:18 test
drwx------ 2 mysql mysql 4096 Nov 30 17:33 wp
</pre>
MySQL-i server töötab peale snapshoti tegemist katkestusteta edasi. Tehtud snapshoti andmeid võib varundada arhiivi jaoks. Andmete varundamisel tuleb spashoti kettajagu failisüsteemi külge haakida ja selle sisu „tar“-i abil arhiveerida ja hiljem eemaldada snapshoti kettajagu
<pre>mkdir /mnt/bk
mount /dev/mysql/sql_backup /mnt/bk
tar -cjf /teekond/arhiivi/kuupäev.tar.bz2 -C /mnt bk
umount /dev/mysql/sql_backup
lvremove /dev/mysql/sql_backup
Do you really want to remove active logical volume sql_backup? [y/n]: Y
Logical volume "sql_backup" successfully removed
</pre>
Kogu protseduuri automatiseerimiseks on võimalik koostada ka skript, mida saab käivitada sobival aja või kasutades „cron“ ajastamise vahendeid.

Lisaks on võimalik mysql-i data kaust haakida ümber snapshoti kettajaole ja taastada server sellesse seisu, mis oli snapshoti tegemise hetkel minimaalse katkestuse ajaga.

==Kokkuvõte==

LVM -i kasutamine varundamisel on väikestes ja mittekriitilistes süsteemides küllaltki hea lahendus. See ei nõua eriteadmisi ja kallist riistvara/tarkvara. Kuid suurematesse ja keerukamatesse lahendustesse see ei sobi, kuna see ainult aitab luua snapshoti hetke seisust aga ei paku võimalust seda eraldi salvestada. Arhiveerimiseks tuleb kasutada eraldi vahendeid ja selle protseduuri käigus võib minna kaduma vajalikke andmeid. Ka ei võistle LVM proffessionaalsete vahenditega nagu Arkeia (http://www.arkeia.com/) või BrightStor, mis on just varundamise lahenduste jaoks loodud ja muudavad antud tegemise mugavaks ja kiireks.

==Kasutatud kirjandus==
http://kuutorvaja.eenet.ee/wiki/LVM 
http://www.web-manual.net/linux-3/logical-volume-manager-in-linux/ 
http://www.lullabot.com/articles/mysql-backups-using-lvm-snapshots 
http://www.ubuntugeek.com/how-to-change-the-mysql-data-default-directory.html 
https://wiki.ubuntu.com/Lvm 

==Autor==
Madis Lauri
AK 31
[[Category:Operatsioonisüsteemide administreerimine ja sidumine]]

'''Täiendamine:'''

Carolys Kallas A32

Aine: Linuxi administreerimine

Viimati muudetud: 07.01.2013

Mysql varundamine LVM abil

2013-01-10T23:47:54Z

Ckallas: /* LVM -i seadistamine */

__TOC__
==Sissejuhatus==

Antud kirjatüki eesmärgiks on tutvustada LVM-i kui abivahendit toimivast süsteemist tagavarakoopiate tegemisel. Kuigi failisüsteemi snapshotide tegemine ja nende kasutamine on ainult üks LVM-i pakutavatest võimalustest. LVM - i snapshotide tegemise võimalus pole ainult mysql -i varundamiseks, vaid kasutatav ka muude andmete varukoopiate tegemiseks. Antud juhul on MySQL siin ainult „reisija“ aga protsessi selgitamiseks ja LVM snapshoti kasutamiseks on MySQL näitena väga hea. Kogu seadistamise protsess toimub Ubuntu Linux Server 12.04.1 LTS operatsioonisüsteemis ja kasutab sellega kaasnevaid vahendeid.

==Mis on mis?==
'''Logical Volume Manager''' - LVM

'''Physical Volume''' - PV, plokkseade, füüsiline kettajagu

'''Volume Group''' - VG, kettagrupp

'''Logical Volume''' - LV, loogiline kettajagu

'''Snapshot''' - (hetk)tõmmis

===LVM===
LVM ehk „Logical Volume Manager“ on ketta partitsioonide haldusvahend Linuxi ja UNIX-i laadsete operatsioonisüsteemide juures. LVM moodustab vahekihi failisüsteemi ja füüsilise kõvaketta vahele. Esmapilgul võib tunduda, et LVM on sarnane RAID (Redundant Array of Independent Disks) kettamassiiviga, on ta siiski hoopis paindlikum viis kettajagudega toimetamiseks. RAID võimaldab kettaid omavahel liita, et saada paremaid tulemusi kiiruses, mahus või töökindluses. LVM seevastu võimaldab korraga hallata mitut (ka loogilist) kettajagu, neid vastavalt vajadusele ümber tõsta ja mahtu muuta. Seega on tihti hea mõte neid kahte hoopis koos kasutada (näiteks RAID 10 ja LVM).
Lihtsustatult oleks ettekujutus eri kihtide tasemetest selline:
* Failisüsteemid
* LVM
* RAID (vajadusel)
* füüsilised plokkmäluseadmed (kõvakettad)

===Omadused===
LVM pakutavad võimalused on:
* Failisüsteemi suuruse muutmine
* Failisüsteemi snapshotide tegemine ja kasutamine (nii read-only kui ka read-write)
* Loodud/muudetud partitsioonide kohene kasutamine, kui ketas/partitsioon on mingil moel kasutusel. Fdisk-i kasutamisel tuleb OP-süsteem taaskäivitada.
* Väiksemate füüsiliste plokkseadmete kokku ühendamine, üheks suureks loogiliseks seadmeks. (Nagu RAID)
* Ketaste liigutamine ja ühendamine üle võrgu

Lisainfot LVM-i kohta: http://en.wikipedia.org/wiki/Logical_Volume_Manager_(Linux)

===MySQL===
MySQL on Oracle Corporation poolt hallatav relatsioonilise andmebaasi haldamise süsteem. On äärmiselt populaarne andmebaasisüsteem erinevates veebirakendustes aga ka mõningates suuremates süsteemides. Oma populaarsuse on ta saanud tänu äärmiselt lihtsale hallatavusele ja kasutajasõbralikkusele. Hetkel ei hakka MySQL-i omadustel ja võimalustel pikemalt peatuma. Rohkem informatsiooni leiab: http://www.mysql.com/

==Eeldused==
*Installeeritud Ubuntu Server (vähemalt 12.04 versioon)
*Tutvutud kettajagudega (kiire kordamine näiteks '''[[Osadmin spikker]]''')

'''Viia kõik käsklused läbi sudo kasutaja alt'''
sudo -i

==Ketaste lisamine==
Kõigepealt on vaja lisada serverile kõvaketas, mida hiljem LVM-iga siduma hakata.

[[File:Create_hard_disk.PNG‎|500px]]

Luua uus 4GB ketas, mis on VirtualBox Disk Image (VDI) formaadis ning dünaamiliselt jagatud.

==Vajaliku tarkvara installeerimine==

Et LVM-i ja MySQL-i seadistada on vajalikud teadmised, kuidas toimub Linuxis ketaste ja partitisoonide haldamine ja baasteadmised MySQL-ist.
Kõigepealt on vajalik installeerida lvm2 nimeline pakett.
<pre>apt-get install lvm2</pre>
Olenevalt operatsioonisüsteemist võib olla vajalikud pakeid juba installeeritud, kontrollida saab nii:
<pre>lvm version</pre>

<pre>lvm version
LVM version: 2.02.66(2) (2010-05-20)
Library version: 1.02.48 (2010-05-20)
Driver version: 4.22.0
</pre>
Lisaks on vajalik installeerida MySQL server ja klientprogramm serveriga ühendumiseks.
<pre>apt-get install mysql-server</pre>
NB! Kuna LVM-i kasutuselevõtmine vajab mõningast MySQL-i ümberseadistamist, tuleb arvestada asjaoluga, et MySQL-i data kausta ümbertõstmisel ei pruugi olemasolevad andmed säilida (InnoDB) ja vajalik oleks serveris olevatest andmetest enne .sql kujul tagavarakoopia teha.

==LVM -i seadistamine==
[[File: LVM.jpg|450px]]

LVM ise jaguneb kolmeks eri kihiks: plokkseadmed (PV), kettagrupid (VG), millesse on organiseeritud füüsilised plokkseadmed ja loogilised kettajaod, mis on jagatud kettagrupid.
Iga kihiga toimetamisel on oma käsud, mis viitavad sellele, mis kihiga hetkel toimetatakse: pv*, vg* ning lv*. Näiteks pvcreate, vgcreate ja lvcreate.

Esimese asjana tuleb valida ketas/kettajagu, kus LVM-iga toimetama hakata. Uue ketta puhul oleks võimalusel mõtekas luua üks tervet ketast hõlmav partitsioon.

Näites on kasutatud ühte 4 GB suurust ketast (VirtualBox-i lisatud 4GB suurune virtuualne kõvaketas). Operatsioonisüsteem tunnistab seda kui /dev/sdb ja seega on näites kasutatavad ketta nimed/asukohad just sellised. Partitiooni tüübiks tuleb kindlasti määrata Linux LVM ehk kood „8e“

<pre>fdisk -l 2> /dev/null | grep Disk
Disk /dev/sda: 8589 MB, 8589934592 bytes
Disk identifier: 0x000bd8b1
Disk /dev/sdb: 4294 MB, 4294967296 bytes
Disk identifier: 0x11844f48</pre>

Avada fdiskiga uue loodud ketta partitsioon ning luua uus primaarne kettajagu:

<pre>fdisk /dev/sdb
Command (m for help): n

Partition type:
p primary (0 primary, 0 extended, 4 free)
e extended

Select (default p): p

Partition number (1-4, default 1): 1

First sector (2048-8388607, default 2048):
Using default value 2048

Last sector, +sectors or +size{K,M,G} (2048-8388607, default 8388607):
Using default value 8388607</pre>

Print käskluse abil kuvatakse kettajagu, algus, lõpp, blokid, id ning süsteem. Loodud partitsioon on 83 ehk Linux. Partitsiooni süsteemse id muutmiseks kasutatakse '''t'''.

Käsklus '''L''' kuvab kõik kaheksandikkoodid . Linux LVM kood on 8e, et muuta kettajagu Linux LVM-iks on vaja muuta kettajao id 83-lt 8e-ks.
[[file:8e.PNG|500px]]

<pre>
Command (m for help): t
Selected partition 1

Hex code (type L to list codes): 8e
Changed system type of partition 1 to 8e (Linux LVM)

Command (m for help): w
The partition table has been altered!

Calling ioctl() to re-read partition table.
Syncing disks.</pre>

'''NB mitte väljuda q, mis väljub programmist muudatusi salvestamata!'''

Järgnevalt anname lvm-ile teada, et loodud partitsioon on „pv“ ehk physical volume.
<pre>pvcreate /dev/sdb1
Physical volume "/dev/sdb1" successfully created</pre>

Kui kõik läks hästi siis peaks tulemus olemas selline:
<pre>pvdisplay
"/dev/sdb1" is a new physical volume of "4.00 GiB"
--- NEW Physical volume ---
PV Name /dev/sdb1
VG Name
PV Size 4.00 GiB
Allocatable NO
PE Size 0
Total PE 0
Free PE 0
Allocated PE 0
PV UUID EdmaX9-bXmQ-Oevp-p9W9-I2qY-gpMM-1w77aQ</pre>

Loome uue „volume group“ -i ja nimetame selle mysql -iks.
<pre>vgcreate mysql /dev/sdb1
Volume group "mysql" successfully created</pre>

** vgdisplay
--- Volume group ---
VG Name mysql
System ID
Format lvm2
Metadata Areas 1
Metadata Sequence No 4
VG Access read/write
VG Status resizable
MAX LV 0
Cur LV 2
Open LV 2
Max PV 0
Cur PV 1
Act PV 1
VG Size 4.00 GiB
PE Size 4.00 MiB
Total PE 1023
Alloc PE / Size 512 / 2.00 GiB
Free PE / Size 511 / 2.00 GiB
VG UUID s5AjT8-ss7D-Gm9m-XY6j-ULMv-RLbR-xdy0K6

Järgnevalt saame luua „volume group“ -ile „logical volumes“ ehk loogilised kettajaod. Need on justkui partitsioonid füüsilisel kõvakettal ja neid saab juba andmete talletamiseks kasutada. Nimetame kettajao nimega data ja määrame tema suuruseks 1GB (antud suurus sobib väga hästi katsetamiseks aga reaalsetes süsteemides tuleb muidugi oluliselt suuremaid numbreid kasutada. ). Suuruse seadistamisel tuleb arvestada, et sama „volume group“ peale tuleb mahutada veel vähemalt üks sama suur loogiline kettajagu, mis on loodava LV snapshot. Näide kui VG suurus on kokku 10GB siis on võimalik teha maksimaalselt 5GB suurune loogiline kettajagu. Vastasel ei mahu tema kõrvale, samale VG-le tehtud LV snapshot.

<pre>lvcreate -n data -L 1GB mysql
Logical volume "data" created</pre>

Kontrollime tulemust:
<pre>lvdisplay
--- Logical volume ---
LV Name /dev/mysql/data
VG Name mysql
LV UUID SL0yWI-Mc2b-KhkE-V8P1-bW7E-3iL8-8zD6Uf
LV Write Access read/write
LV Status available
# open 0
LV Size 1.00 GiB
Current LE 256
Segments 1
Allocation inherit
Read ahead sectors auto
- currently set to 256
Block device 252:0</pre>

Teadmiseks: lvdisplay käsu käivitamisel on näha parameeter „LV Status“. See näitab, kas kettajagu on saadaval või mitte. Kasutada on võimalik ainult available olekus kettajagu. Eemaldada saab ainult NOT available olekus kettajagusid. Kettajao NOT available olekusse viimiseks saab kasutada käsku:

<pre>lvchange -a n /dev/mysql/data</pre>
ja tagasi:
<pre>lvchange -a y /dev/mysql/data</pre>

Nüüd on loodud uus kettajagu, mida saab andmete säiltamiseks kasutada. Loome sellele kettajaole failisüsteemi:
<pre>mkfs -t ext4 /dev/mysql/data</pre>

Järgmisena tuleb loodud kettajagu kuhugile mountida. Mina teen sellejaoks /srv/mysql kausta ja haagin ketta sinna.

<pre>mkdir /srv/mysql</pre>

Lisame /etc/fstab faili lõppu kirje, et ka järgmisel süsteemi käivitamisel oleks ketas kohe külgehaagitud

<pre>/dev/mysql/data /srv/mysql ext4 defaults 0 0</pre>

Muudame kausta õigused mysql-ile sobivaks (kausta omanik on kasutaja mysql ja kaustale on ligipääs ainult kausta omanikul)
<pre>chown mysql:mysql /srv/mysql
chmod 0700 /srv/mysql</pre>

Nüüd tuleb olemasolev mysql data kaust liigutada /srv/mysql kausta. Esimese asjana peatada mysql server
<pre>service mysql stop
mysql stop/waiting</pre>

Kopeerime (!) kogu mysql-i data kausta loodud lvm kettajaole. Ubuntus (ilmselt ka paljudes teistes operatsioonisüsteemides) asub mysq-i data kaust /var/lib/mysql. Oleks vägagi soovitatav jätta andmed vanasse kausta alles ja kustuta see alles siis kui ollakse täiesti kindel, et server töötab tõrgeteta.
<pre>cp -ar /var/lib/mysql/. /srv/mysql</pre>

Seejärel tuleb mysql-i konfiguratsioonifailis (/etc/mysql/my.cnf) muuta ära „datadir“ parameeter
<pre>datadir = /var/lib/mysql -> datadir = /srv/mysql</pre>

Teadmiseks: alates Ubuntu 7.10 -st on operatsioonisüsteemiga kaasas programm nimega „AppArmor“. Tegemist on kerneli turvamooduliga, mis teatavate programmide puhul piirab nende ligipääsu failisüsteemile. Et MySQL server uuesti korrektselt käivituks, tuleb „AppArmor“ -is mysq-i seadistust muuta. Sobiva tekstieditoriga tuleb avada /etc/apparmor.d/usr.sbin.mysqld konfifail ja teha seal vajalikud muudatused :
<pre>/var/lib/mysql/ r, -> /srv/mysql r,
/var/lib/mysql/** rwk, -> /srv/mysql** rwk,</pre>

Osadel operatsioonisüsteemidel võib ka init skript ette anda, kus asub mysql-i datadir. Seega oleks mõistlik ka see /etc/init.d/mysql skriptist üle vaadata.

Käivitame uuesti mysql-i serveri. Kui kõik läks hästi, peaks olema tulemus sarnane:

<pre>service mysql start
mysql start/running, process 2588</pre>

Kontrollime mysql-i muutujaid:
<pre>mysqladmin -u{mysql-kasutaja} -p variables | grep datadir
Enter password: {mysql-parool}
| datadir | /srv/mysql/
</pre>
Lisaks tuleks sobiva mysql kliendiga serverisse sisse logida ja kontrollida üle, kas kõik jäi korrektselt tööle.

Nüüd, kui MySQL server on korrektselt töödanud ja tekib vajadus varukoopiate tegemiseks. Töötavast serverist snapshoti tegemisel pole vajalik eelnev serveri väljalülitama. Lihtsalt protseduuri ajaks oleks vajalik keelata ära andmete kirjutamine „FLUSH TABLES WITH READ LOCK;“ käsuga, lisaks võiks tühjendada ka logid „FLUSH LOGS;“ käsuga. Snapshoti tegemise protsess on äärmiselt kiire ja andmete lugemine andmebaasist toimib endiselt edasi. Samas andmete kirjutamise protsess viibib seni, kui andmebaasilt kirjutamise lukk maha võetakse (kõik kirjutamise käsud täidetakse kohe peale luku vabastamist).
Ehkki varukoopia tegemise protsess ei tekita katkestusi serveri töös, oleks hea mõte teha varukoopiaid sellisel ajal kui serveril on kõige väiksem koormus.
On vajalik teada, et andmebaas lukustatakse ainult selleks ajaks, kui mysql serverisse on sisse logitud. Kohe kui sessioon lõpetatakse, vabastatakse ka lukud. Seetõttu peab snaspshoti tegemise ajal olema serverisse sisse logitud. Variant on kasutada kahte terminali sessiooni aga vajalikke käske saab käivitada ka MySQL-i käsurealt (vajalik on mysql-i klient käivitada root kasutaja õigustes).
<pre>mysql -u root -p
Enter password:
Welcome to the MySQL monitor. Commands end with ; or \g.
Your MySQL connection id is 75
Server version: 5.5.28-0ubuntu0.12.04.2 (Ubuntu)

Copyright (c) 2000, 2012, Oracle and/or its affiliates. All rights reserved.

Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

mysql> FLUSH TABLES WITH READ LOCK;
Query OK, 0 rows affected (0.00 sec)

mysql> FLUSH LOGS;
Query OK, 0 rows affected (0.00 sec)
</pre>

<pre>
mysql> SYSTEM /sbin/lvcreate -L 1G --snapshot -n sql_backup /dev/mysql/data
File descriptor 3 (socket:[15065]) leaked on lvcreate invocation. Parent PID 3514: sh
Logical volume "sql_backup" created
mysql> UNLOCK TABLES;
Query OK, 0 rows affected (0.01 sec)

mysql> exit
Bye
</pre>
Snapshoti kettajagu nimetati kui sql_backup ja viide loogilisele seadmele asub /dev/mysql/sql_backup. Käivitades käsu „lvs“, saab näha, et lisaks mysql/data LV-le on juurde tekkinud mysql/sql_backup
<pre>lvs
LV VG Attr LSize Origin Snap% Move Log Copy% Convert
data mysql owi-ao 1.00g
sql_backup mysql swi-a- 1.00g data 0.00
</pre>
Kui nüüd haakida tehtud snapshoti kettajagu, on seal kättesaadav kogu mysql-i data sellel hetkel, kui snapshot tehti.
<pre>mkdir /mnt/bk
mount /dev/mysql/sql_backup /mnt/bk
ls -la /mnt/bk
total 28720
drwx------ 8 mysql mysql 4096 Dec 12 15:59 .
drwxr-xr-x 3 root root 4096 Dec 12 16:34 ..
-rw-r--r-- 1 root root 0 Nov 30 17:18 debian-5.5.flag
-rw-rw---- 1 mysql mysql 18874368 Dec 12 16:18 ibdata1
-rw-rw---- 1 mysql mysql 5242880 Dec 12 16:18 ib_logfile0
-rw-rw---- 1 mysql mysql 5242880 Nov 30 17:18 ib_logfile1
drwx------ 2 root root 16384 Dec 12 15:58 lost+found
drwx------ 2 mysql root 4096 Nov 30 17:18 mysql
-rw-rw---- 1 root root 6 Nov 30 17:18 mysql_upgrade_info
drwx------ 2 mysql mysql 4096 Nov 30 17:18 performance_schema
drwx------ 2 mysql mysql 4096 Nov 30 17:28 phpmyadmin
drwx------ 2 mysql root 4096 Dec 12 16:18 test
drwx------ 2 mysql mysql 4096 Nov 30 17:33 wp
</pre>
MySQL-i server töötab peale snapshoti tegemist katkestusteta edasi. Tehtud snapshoti andmeid võib varundada arhiivi jaoks. Andmete varundamisel tuleb spashoti kettajagu failisüsteemi külge haakida ja selle sisu „tar“-i abil arhiveerida ja hiljem eemaldada snapshoti kettajagu
<pre>mkdir /mnt/bk
mount /dev/mysql/sql_backup /mnt/bk
tar -cjf /teekond/arhiivi/kuupäev.tar.bz2 -C /mnt bk
umount /dev/mysql/sql_backup
lvremove /dev/mysql/sql_backup
Do you really want to remove active logical volume sql_backup? [y/n]: Y
Logical volume "sql_backup" successfully removed
</pre>
Kogu protseduuri automatiseerimiseks on võimalik koostada ka skript, mida saab käivitada sobival aja või kasutades „cron“ ajastamise vahendeid.

Lisaks on võimalik mysql-i data kaust haakida ümber snapshoti kettajaole ja taastada server sellesse seisu, mis oli snapshoti tegemise hetkel minimaalse katkestuse ajaga.

==Kokkuvõte==

LVM -i kasutamine varundamisel on väikestes ja mittekriitilistes süsteemides küllaltki hea lahendus. See ei nõua eriteadmisi ja kallist riistvara/tarkvara. Kuid suurematesse ja keerukamatesse lahendustesse see ei sobi, kuna see ainult aitab luua snapshoti hetke seisust aga ei paku võimalust seda eraldi salvestada. Arhiveerimiseks tuleb kasutada eraldi vahendeid ja selle protseduuri käigus võib minna kaduma vajalikke andmeid. Ka ei võistle LVM proffessionaalsete vahenditega nagu Arkeia (http://www.arkeia.com/) või BrightStor, mis on just varundamise lahenduste jaoks loodud ja muudavad antud tegemise mugavaks ja kiireks.

==Kasutatud kirjandus==
http://kuutorvaja.eenet.ee/wiki/LVM 
http://www.web-manual.net/linux-3/logical-volume-manager-in-linux/ 
http://www.lullabot.com/articles/mysql-backups-using-lvm-snapshots 
http://www.ubuntugeek.com/how-to-change-the-mysql-data-default-directory.html 
https://wiki.ubuntu.com/Lvm 

==Autor==
Madis Lauri
AK 31
[[Category:Operatsioonisüsteemide administreerimine ja sidumine]]

'''Täiendamine:'''

Carolys Kallas A32

Aine: Linuxi administreerimine

Viimati muudetud: 07.01.2013

Mysql varundamine LVM abil

2013-01-10T23:42:19Z

Ckallas: /* Ketaste lisamine */

__TOC__
==Sissejuhatus==

Antud kirjatüki eesmärgiks on tutvustada LVM-i kui abivahendit toimivast süsteemist tagavarakoopiate tegemisel. Kuigi failisüsteemi snapshotide tegemine ja nende kasutamine on ainult üks LVM-i pakutavatest võimalustest. LVM - i snapshotide tegemise võimalus pole ainult mysql -i varundamiseks, vaid kasutatav ka muude andmete varukoopiate tegemiseks. Antud juhul on MySQL siin ainult „reisija“ aga protsessi selgitamiseks ja LVM snapshoti kasutamiseks on MySQL näitena väga hea. Kogu seadistamise protsess toimub Ubuntu Linux Server 12.04.1 LTS operatsioonisüsteemis ja kasutab sellega kaasnevaid vahendeid.

==Mis on mis?==
'''Logical Volume Manager''' - LVM

'''Physical Volume''' - PV, plokkseade, füüsiline kettajagu

'''Volume Group''' - VG, kettagrupp

'''Logical Volume''' - LV, loogiline kettajagu

'''Snapshot''' - (hetk)tõmmis

===LVM===
LVM ehk „Logical Volume Manager“ on ketta partitsioonide haldusvahend Linuxi ja UNIX-i laadsete operatsioonisüsteemide juures. LVM moodustab vahekihi failisüsteemi ja füüsilise kõvaketta vahele. Esmapilgul võib tunduda, et LVM on sarnane RAID (Redundant Array of Independent Disks) kettamassiiviga, on ta siiski hoopis paindlikum viis kettajagudega toimetamiseks. RAID võimaldab kettaid omavahel liita, et saada paremaid tulemusi kiiruses, mahus või töökindluses. LVM seevastu võimaldab korraga hallata mitut (ka loogilist) kettajagu, neid vastavalt vajadusele ümber tõsta ja mahtu muuta. Seega on tihti hea mõte neid kahte hoopis koos kasutada (näiteks RAID 10 ja LVM).
Lihtsustatult oleks ettekujutus eri kihtide tasemetest selline:
* Failisüsteemid
* LVM
* RAID (vajadusel)
* füüsilised plokkmäluseadmed (kõvakettad)

===Omadused===
LVM pakutavad võimalused on:
* Failisüsteemi suuruse muutmine
* Failisüsteemi snapshotide tegemine ja kasutamine (nii read-only kui ka read-write)
* Loodud/muudetud partitsioonide kohene kasutamine, kui ketas/partitsioon on mingil moel kasutusel. Fdisk-i kasutamisel tuleb OP-süsteem taaskäivitada.
* Väiksemate füüsiliste plokkseadmete kokku ühendamine, üheks suureks loogiliseks seadmeks. (Nagu RAID)
* Ketaste liigutamine ja ühendamine üle võrgu

Lisainfot LVM-i kohta: http://en.wikipedia.org/wiki/Logical_Volume_Manager_(Linux)

===MySQL===
MySQL on Oracle Corporation poolt hallatav relatsioonilise andmebaasi haldamise süsteem. On äärmiselt populaarne andmebaasisüsteem erinevates veebirakendustes aga ka mõningates suuremates süsteemides. Oma populaarsuse on ta saanud tänu äärmiselt lihtsale hallatavusele ja kasutajasõbralikkusele. Hetkel ei hakka MySQL-i omadustel ja võimalustel pikemalt peatuma. Rohkem informatsiooni leiab: http://www.mysql.com/

==Eeldused==
*Installeeritud Ubuntu Server (vähemalt 12.04 versioon)
*Tutvutud kettajagudega (kiire kordamine näiteks '''[[Osadmin spikker]]''')

'''Viia kõik käsklused läbi sudo kasutaja alt'''
sudo -i

==Ketaste lisamine==
Kõigepealt on vaja lisada serverile kõvaketas, mida hiljem LVM-iga siduma hakata.

[[File:Create_hard_disk.PNG‎|500px]]

Luua uus 4GB ketas, mis on VirtualBox Disk Image (VDI) formaadis ning dünaamiliselt jagatud.

==Vajaliku tarkvara installeerimine==

Et LVM-i ja MySQL-i seadistada on vajalikud teadmised, kuidas toimub Linuxis ketaste ja partitisoonide haldamine ja baasteadmised MySQL-ist.
Kõigepealt on vajalik installeerida lvm2 nimeline pakett.
<pre>apt-get install lvm2</pre>
Olenevalt operatsioonisüsteemist võib olla vajalikud pakeid juba installeeritud, kontrollida saab nii:
<pre>lvm version</pre>

<pre>lvm version
LVM version: 2.02.66(2) (2010-05-20)
Library version: 1.02.48 (2010-05-20)
Driver version: 4.22.0
</pre>
Lisaks on vajalik installeerida MySQL server ja klientprogramm serveriga ühendumiseks.
<pre>apt-get install mysql-server</pre>
NB! Kuna LVM-i kasutuselevõtmine vajab mõningast MySQL-i ümberseadistamist, tuleb arvestada asjaoluga, et MySQL-i data kausta ümbertõstmisel ei pruugi olemasolevad andmed säilida (InnoDB) ja vajalik oleks serveris olevatest andmetest enne .sql kujul tagavarakoopia teha.

==LVM -i seadistamine==
[[File: LVM.jpg|450px]]

LVM ise jaguneb kolmeks eri kihiks: plokkseadmed (PV), kettagrupid (VG), millesse on organiseeritud füüsilised plokkseadmed ja loogilised kettajaod, mis on jagatud kettagrupid.
Iga kihiga toimetamisel on oma käsud, mis viitavad sellele, mis kihiga hetkel toimetatakse: pv*, vg* ning lv*. Näiteks pvcreate, vgcreate ja lvcreate.

Esimese asjana tuleb valida ketas/kettajagu, kus LVM-iga toimetama hakata. Uue ketta puhul oleks võimalusel mõtekas luua üks tervet ketast hõlmav partitsioon.

Näites on kasutatud ühte 4 GB suurust ketast (VirtualBox-i lisatud 4GB suurune virtuualne kõvaketas). Operatsioonisüsteem tunnistab seda kui /dev/sdb ja seega on näites kasutatavad ketta nimed/asukohad just sellised. Partitiooni tüübiks tuleb kindlasti määrata Linux LVM ehk kood „8e“

<pre>fdisk -l 2> /dev/null | grep Disk
Disk /dev/sda: 8589 MB, 8589934592 bytes
Disk identifier: 0x000bd8b1
Disk /dev/sdb: 4294 MB, 4294967296 bytes
Disk identifier: 0x11844f48</pre>

Lisame vajaliku partitsiooni

<pre>fdisk /dev/sdb
Command (m for help): n

Partition type:
p primary (0 primary, 0 extended, 4 free)
e extended

Select (default p): p

Partition number (1-4, default 1): 1

First sector (2048-8388607, default 2048):
Using default value 2048

Last sector, +sectors or +size{K,M,G} (2048-8388607, default 8388607):
Using default value 8388607

Command (m for help): t
Selected partition 1

Hex code (type L to list codes): 8e
Changed system type of partition 1 to 8e (Linux LVM)

Command (m for help): w
The partition table has been altered!

Calling ioctl() to re-read partition table.
Syncing disks.</pre>

Järgnevalt anname lvm-ile teada, et loodud partitsioon on „pv“ ehk physical volume.
<pre>pvcreate /dev/sdb1
Physical volume "/dev/sdb1" successfully created</pre>

Kui kõik läks hästi siis peaks tulemus olemas selline:
<pre>pvdisplay
"/dev/sdb1" is a new physical volume of "4.00 GiB"
--- NEW Physical volume ---
PV Name /dev/sdb1
VG Name
PV Size 4.00 GiB
Allocatable NO
PE Size 0
Total PE 0
Free PE 0
Allocated PE 0
PV UUID EdmaX9-bXmQ-Oevp-p9W9-I2qY-gpMM-1w77aQ</pre>

Loome uue „volume group“ -i ja nimetame selle mysql -iks.
<pre>vgcreate mysql /dev/sdb1
Volume group "mysql" successfully created</pre>

** vgdisplay
--- Volume group ---
VG Name mysql
System ID
Format lvm2
Metadata Areas 1
Metadata Sequence No 4
VG Access read/write
VG Status resizable
MAX LV 0
Cur LV 2
Open LV 2
Max PV 0
Cur PV 1
Act PV 1
VG Size 4.00 GiB
PE Size 4.00 MiB
Total PE 1023
Alloc PE / Size 512 / 2.00 GiB
Free PE / Size 511 / 2.00 GiB
VG UUID s5AjT8-ss7D-Gm9m-XY6j-ULMv-RLbR-xdy0K6

Järgnevalt saame luua „volume group“ -ile „logical volumes“ ehk loogilised kettajaod. Need on justkui partitsioonid füüsilisel kõvakettal ja neid saab juba andmete talletamiseks kasutada. Nimetame kettajao nimega data ja määrame tema suuruseks 1GB (antud suurus sobib väga hästi katsetamiseks aga reaalsetes süsteemides tuleb muidugi oluliselt suuremaid numbreid kasutada. ). Suuruse seadistamisel tuleb arvestada, et sama „volume group“ peale tuleb mahutada veel vähemalt üks sama suur loogiline kettajagu, mis on loodava LV snapshot. Näide kui VG suurus on kokku 10GB siis on võimalik teha maksimaalselt 5GB suurune loogiline kettajagu. Vastasel ei mahu tema kõrvale, samale VG-le tehtud LV snapshot.

<pre>lvcreate -n data -L 1GB mysql
Logical volume "data" created</pre>

Kontrollime tulemust:
<pre>lvdisplay
--- Logical volume ---
LV Name /dev/mysql/data
VG Name mysql
LV UUID SL0yWI-Mc2b-KhkE-V8P1-bW7E-3iL8-8zD6Uf
LV Write Access read/write
LV Status available
# open 0
LV Size 1.00 GiB
Current LE 256
Segments 1
Allocation inherit
Read ahead sectors auto
- currently set to 256
Block device 252:0</pre>

Teadmiseks: lvdisplay käsu käivitamisel on näha parameeter „LV Status“. See näitab, kas kettajagu on saadaval või mitte. Kasutada on võimalik ainult available olekus kettajagu. Eemaldada saab ainult NOT available olekus kettajagusid. Kettajao NOT available olekusse viimiseks saab kasutada käsku:

<pre>lvchange -a n /dev/mysql/data</pre>
ja tagasi:
<pre>lvchange -a y /dev/mysql/data</pre>

Nüüd on loodud uus kettajagu, mida saab andmete säiltamiseks kasutada. Loome sellele kettajaole failisüsteemi:
<pre>mkfs -t ext4 /dev/mysql/data</pre>

Järgmisena tuleb loodud kettajagu kuhugile mountida. Mina teen sellejaoks /srv/mysql kausta ja haagin ketta sinna.

<pre>mkdir /srv/mysql</pre>

Lisame /etc/fstab faili lõppu kirje, et ka järgmisel süsteemi käivitamisel oleks ketas kohe külgehaagitud

<pre>/dev/mysql/data /srv/mysql ext4 defaults 0 0</pre>

Muudame kausta õigused mysql-ile sobivaks (kausta omanik on kasutaja mysql ja kaustale on ligipääs ainult kausta omanikul)
<pre>chown mysql:mysql /srv/mysql
chmod 0700 /srv/mysql</pre>

Nüüd tuleb olemasolev mysql data kaust liigutada /srv/mysql kausta. Esimese asjana peatada mysql server
<pre>service mysql stop
mysql stop/waiting</pre>

Kopeerime (!) kogu mysql-i data kausta loodud lvm kettajaole. Ubuntus (ilmselt ka paljudes teistes operatsioonisüsteemides) asub mysq-i data kaust /var/lib/mysql. Oleks vägagi soovitatav jätta andmed vanasse kausta alles ja kustuta see alles siis kui ollakse täiesti kindel, et server töötab tõrgeteta.
<pre>cp -ar /var/lib/mysql/. /srv/mysql</pre>

Seejärel tuleb mysql-i konfiguratsioonifailis (/etc/mysql/my.cnf) muuta ära „datadir“ parameeter
<pre>datadir = /var/lib/mysql -> datadir = /srv/mysql</pre>

Teadmiseks: alates Ubuntu 7.10 -st on operatsioonisüsteemiga kaasas programm nimega „AppArmor“. Tegemist on kerneli turvamooduliga, mis teatavate programmide puhul piirab nende ligipääsu failisüsteemile. Et MySQL server uuesti korrektselt käivituks, tuleb „AppArmor“ -is mysq-i seadistust muuta. Sobiva tekstieditoriga tuleb avada /etc/apparmor.d/usr.sbin.mysqld konfifail ja teha seal vajalikud muudatused :
<pre>/var/lib/mysql/ r, -> /srv/mysql r,
/var/lib/mysql/** rwk, -> /srv/mysql** rwk,</pre>

Osadel operatsioonisüsteemidel võib ka init skript ette anda, kus asub mysql-i datadir. Seega oleks mõistlik ka see /etc/init.d/mysql skriptist üle vaadata.

Käivitame uuesti mysql-i serveri. Kui kõik läks hästi, peaks olema tulemus sarnane:

<pre>service mysql start
mysql start/running, process 2588</pre>

Kontrollime mysql-i muutujaid:
<pre>mysqladmin -u{mysql-kasutaja} -p variables | grep datadir
Enter password: {mysql-parool}
| datadir | /srv/mysql/
</pre>
Lisaks tuleks sobiva mysql kliendiga serverisse sisse logida ja kontrollida üle, kas kõik jäi korrektselt tööle.

Nüüd, kui MySQL server on korrektselt töödanud ja tekib vajadus varukoopiate tegemiseks. Töötavast serverist snapshoti tegemisel pole vajalik eelnev serveri väljalülitama. Lihtsalt protseduuri ajaks oleks vajalik keelata ära andmete kirjutamine „FLUSH TABLES WITH READ LOCK;“ käsuga, lisaks võiks tühjendada ka logid „FLUSH LOGS;“ käsuga. Snapshoti tegemise protsess on äärmiselt kiire ja andmete lugemine andmebaasist toimib endiselt edasi. Samas andmete kirjutamise protsess viibib seni, kui andmebaasilt kirjutamise lukk maha võetakse (kõik kirjutamise käsud täidetakse kohe peale luku vabastamist).
Ehkki varukoopia tegemise protsess ei tekita katkestusi serveri töös, oleks hea mõte teha varukoopiaid sellisel ajal kui serveril on kõige väiksem koormus.
On vajalik teada, et andmebaas lukustatakse ainult selleks ajaks, kui mysql serverisse on sisse logitud. Kohe kui sessioon lõpetatakse, vabastatakse ka lukud. Seetõttu peab snaspshoti tegemise ajal olema serverisse sisse logitud. Variant on kasutada kahte terminali sessiooni aga vajalikke käske saab käivitada ka MySQL-i käsurealt (vajalik on mysql-i klient käivitada root kasutaja õigustes).
<pre>mysql -u root -p
Enter password:
Welcome to the MySQL monitor. Commands end with ; or \g.
Your MySQL connection id is 75
Server version: 5.5.28-0ubuntu0.12.04.2 (Ubuntu)

Copyright (c) 2000, 2012, Oracle and/or its affiliates. All rights reserved.

Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

mysql> FLUSH TABLES WITH READ LOCK;
Query OK, 0 rows affected (0.00 sec)

mysql> FLUSH LOGS;
Query OK, 0 rows affected (0.00 sec)
</pre>

<pre>
mysql> SYSTEM /sbin/lvcreate -L 1G --snapshot -n sql_backup /dev/mysql/data
File descriptor 3 (socket:[15065]) leaked on lvcreate invocation. Parent PID 3514: sh
Logical volume "sql_backup" created
mysql> UNLOCK TABLES;
Query OK, 0 rows affected (0.01 sec)

mysql> exit
Bye
</pre>
Snapshoti kettajagu nimetati kui sql_backup ja viide loogilisele seadmele asub /dev/mysql/sql_backup. Käivitades käsu „lvs“, saab näha, et lisaks mysql/data LV-le on juurde tekkinud mysql/sql_backup
<pre>lvs
LV VG Attr LSize Origin Snap% Move Log Copy% Convert
data mysql owi-ao 1.00g
sql_backup mysql swi-a- 1.00g data 0.00
</pre>
Kui nüüd haakida tehtud snapshoti kettajagu, on seal kättesaadav kogu mysql-i data sellel hetkel, kui snapshot tehti.
<pre>mkdir /mnt/bk
mount /dev/mysql/sql_backup /mnt/bk
ls -la /mnt/bk
total 28720
drwx------ 8 mysql mysql 4096 Dec 12 15:59 .
drwxr-xr-x 3 root root 4096 Dec 12 16:34 ..
-rw-r--r-- 1 root root 0 Nov 30 17:18 debian-5.5.flag
-rw-rw---- 1 mysql mysql 18874368 Dec 12 16:18 ibdata1
-rw-rw---- 1 mysql mysql 5242880 Dec 12 16:18 ib_logfile0
-rw-rw---- 1 mysql mysql 5242880 Nov 30 17:18 ib_logfile1
drwx------ 2 root root 16384 Dec 12 15:58 lost+found
drwx------ 2 mysql root 4096 Nov 30 17:18 mysql
-rw-rw---- 1 root root 6 Nov 30 17:18 mysql_upgrade_info
drwx------ 2 mysql mysql 4096 Nov 30 17:18 performance_schema
drwx------ 2 mysql mysql 4096 Nov 30 17:28 phpmyadmin
drwx------ 2 mysql root 4096 Dec 12 16:18 test
drwx------ 2 mysql mysql 4096 Nov 30 17:33 wp
</pre>
MySQL-i server töötab peale snapshoti tegemist katkestusteta edasi. Tehtud snapshoti andmeid võib varundada arhiivi jaoks. Andmete varundamisel tuleb spashoti kettajagu failisüsteemi külge haakida ja selle sisu „tar“-i abil arhiveerida ja hiljem eemaldada snapshoti kettajagu
<pre>mkdir /mnt/bk
mount /dev/mysql/sql_backup /mnt/bk
tar -cjf /teekond/arhiivi/kuupäev.tar.bz2 -C /mnt bk
umount /dev/mysql/sql_backup
lvremove /dev/mysql/sql_backup
Do you really want to remove active logical volume sql_backup? [y/n]: Y
Logical volume "sql_backup" successfully removed
</pre>
Kogu protseduuri automatiseerimiseks on võimalik koostada ka skript, mida saab käivitada sobival aja või kasutades „cron“ ajastamise vahendeid.

Lisaks on võimalik mysql-i data kaust haakida ümber snapshoti kettajaole ja taastada server sellesse seisu, mis oli snapshoti tegemise hetkel minimaalse katkestuse ajaga.

==Kokkuvõte==

LVM -i kasutamine varundamisel on väikestes ja mittekriitilistes süsteemides küllaltki hea lahendus. See ei nõua eriteadmisi ja kallist riistvara/tarkvara. Kuid suurematesse ja keerukamatesse lahendustesse see ei sobi, kuna see ainult aitab luua snapshoti hetke seisust aga ei paku võimalust seda eraldi salvestada. Arhiveerimiseks tuleb kasutada eraldi vahendeid ja selle protseduuri käigus võib minna kaduma vajalikke andmeid. Ka ei võistle LVM proffessionaalsete vahenditega nagu Arkeia (http://www.arkeia.com/) või BrightStor, mis on just varundamise lahenduste jaoks loodud ja muudavad antud tegemise mugavaks ja kiireks.

==Kasutatud kirjandus==
http://kuutorvaja.eenet.ee/wiki/LVM 
http://www.web-manual.net/linux-3/logical-volume-manager-in-linux/ 
http://www.lullabot.com/articles/mysql-backups-using-lvm-snapshots 
http://www.ubuntugeek.com/how-to-change-the-mysql-data-default-directory.html 
https://wiki.ubuntu.com/Lvm 

==Autor==
Madis Lauri
AK 31
[[Category:Operatsioonisüsteemide administreerimine ja sidumine]]

'''Täiendamine:'''

Carolys Kallas A32

Aine: Linuxi administreerimine

Viimati muudetud: 07.01.2013

Mysql varundamine LVM abil

2013-01-10T23:41:54Z

Ckallas:

__TOC__
==Sissejuhatus==

Antud kirjatüki eesmärgiks on tutvustada LVM-i kui abivahendit toimivast süsteemist tagavarakoopiate tegemisel. Kuigi failisüsteemi snapshotide tegemine ja nende kasutamine on ainult üks LVM-i pakutavatest võimalustest. LVM - i snapshotide tegemise võimalus pole ainult mysql -i varundamiseks, vaid kasutatav ka muude andmete varukoopiate tegemiseks. Antud juhul on MySQL siin ainult „reisija“ aga protsessi selgitamiseks ja LVM snapshoti kasutamiseks on MySQL näitena väga hea. Kogu seadistamise protsess toimub Ubuntu Linux Server 12.04.1 LTS operatsioonisüsteemis ja kasutab sellega kaasnevaid vahendeid.

==Mis on mis?==
'''Logical Volume Manager''' - LVM

'''Physical Volume''' - PV, plokkseade, füüsiline kettajagu

'''Volume Group''' - VG, kettagrupp

'''Logical Volume''' - LV, loogiline kettajagu

'''Snapshot''' - (hetk)tõmmis

===LVM===
LVM ehk „Logical Volume Manager“ on ketta partitsioonide haldusvahend Linuxi ja UNIX-i laadsete operatsioonisüsteemide juures. LVM moodustab vahekihi failisüsteemi ja füüsilise kõvaketta vahele. Esmapilgul võib tunduda, et LVM on sarnane RAID (Redundant Array of Independent Disks) kettamassiiviga, on ta siiski hoopis paindlikum viis kettajagudega toimetamiseks. RAID võimaldab kettaid omavahel liita, et saada paremaid tulemusi kiiruses, mahus või töökindluses. LVM seevastu võimaldab korraga hallata mitut (ka loogilist) kettajagu, neid vastavalt vajadusele ümber tõsta ja mahtu muuta. Seega on tihti hea mõte neid kahte hoopis koos kasutada (näiteks RAID 10 ja LVM).
Lihtsustatult oleks ettekujutus eri kihtide tasemetest selline:
* Failisüsteemid
* LVM
* RAID (vajadusel)
* füüsilised plokkmäluseadmed (kõvakettad)

===Omadused===
LVM pakutavad võimalused on:
* Failisüsteemi suuruse muutmine
* Failisüsteemi snapshotide tegemine ja kasutamine (nii read-only kui ka read-write)
* Loodud/muudetud partitsioonide kohene kasutamine, kui ketas/partitsioon on mingil moel kasutusel. Fdisk-i kasutamisel tuleb OP-süsteem taaskäivitada.
* Väiksemate füüsiliste plokkseadmete kokku ühendamine, üheks suureks loogiliseks seadmeks. (Nagu RAID)
* Ketaste liigutamine ja ühendamine üle võrgu

Lisainfot LVM-i kohta: http://en.wikipedia.org/wiki/Logical_Volume_Manager_(Linux)

===MySQL===
MySQL on Oracle Corporation poolt hallatav relatsioonilise andmebaasi haldamise süsteem. On äärmiselt populaarne andmebaasisüsteem erinevates veebirakendustes aga ka mõningates suuremates süsteemides. Oma populaarsuse on ta saanud tänu äärmiselt lihtsale hallatavusele ja kasutajasõbralikkusele. Hetkel ei hakka MySQL-i omadustel ja võimalustel pikemalt peatuma. Rohkem informatsiooni leiab: http://www.mysql.com/

==Eeldused==
*Installeeritud Ubuntu Server (vähemalt 12.04 versioon)
*Tutvutud kettajagudega (kiire kordamine näiteks '''[[Osadmin spikker]]''')

'''Viia kõik käsklused läbi sudo kasutaja alt'''
sudo -i

==Ketaste lisamine==
Kõigepealt on vaja lisada serverile kõvaketas, mida hiljem LVM-iga siduma hakata.

[[File:Create_hard_disk.PNG‎|500px]]

Luua uus ketast, mis on VirtualBox Disk Image (VDI) formaadis ning dünaamiliselt jagatud.

==Vajaliku tarkvara installeerimine==

Et LVM-i ja MySQL-i seadistada on vajalikud teadmised, kuidas toimub Linuxis ketaste ja partitisoonide haldamine ja baasteadmised MySQL-ist.
Kõigepealt on vajalik installeerida lvm2 nimeline pakett.
<pre>apt-get install lvm2</pre>
Olenevalt operatsioonisüsteemist võib olla vajalikud pakeid juba installeeritud, kontrollida saab nii:
<pre>lvm version</pre>

<pre>lvm version
LVM version: 2.02.66(2) (2010-05-20)
Library version: 1.02.48 (2010-05-20)
Driver version: 4.22.0
</pre>
Lisaks on vajalik installeerida MySQL server ja klientprogramm serveriga ühendumiseks.
<pre>apt-get install mysql-server</pre>
NB! Kuna LVM-i kasutuselevõtmine vajab mõningast MySQL-i ümberseadistamist, tuleb arvestada asjaoluga, et MySQL-i data kausta ümbertõstmisel ei pruugi olemasolevad andmed säilida (InnoDB) ja vajalik oleks serveris olevatest andmetest enne .sql kujul tagavarakoopia teha.

==LVM -i seadistamine==
[[File: LVM.jpg|450px]]

LVM ise jaguneb kolmeks eri kihiks: plokkseadmed (PV), kettagrupid (VG), millesse on organiseeritud füüsilised plokkseadmed ja loogilised kettajaod, mis on jagatud kettagrupid.
Iga kihiga toimetamisel on oma käsud, mis viitavad sellele, mis kihiga hetkel toimetatakse: pv*, vg* ning lv*. Näiteks pvcreate, vgcreate ja lvcreate.

Esimese asjana tuleb valida ketas/kettajagu, kus LVM-iga toimetama hakata. Uue ketta puhul oleks võimalusel mõtekas luua üks tervet ketast hõlmav partitsioon.

Näites on kasutatud ühte 4 GB suurust ketast (VirtualBox-i lisatud 4GB suurune virtuualne kõvaketas). Operatsioonisüsteem tunnistab seda kui /dev/sdb ja seega on näites kasutatavad ketta nimed/asukohad just sellised. Partitiooni tüübiks tuleb kindlasti määrata Linux LVM ehk kood „8e“

<pre>fdisk -l 2> /dev/null | grep Disk
Disk /dev/sda: 8589 MB, 8589934592 bytes
Disk identifier: 0x000bd8b1
Disk /dev/sdb: 4294 MB, 4294967296 bytes
Disk identifier: 0x11844f48</pre>

Lisame vajaliku partitsiooni

<pre>fdisk /dev/sdb
Command (m for help): n

Partition type:
p primary (0 primary, 0 extended, 4 free)
e extended

Select (default p): p

Partition number (1-4, default 1): 1

First sector (2048-8388607, default 2048):
Using default value 2048

Last sector, +sectors or +size{K,M,G} (2048-8388607, default 8388607):
Using default value 8388607

Command (m for help): t
Selected partition 1

Hex code (type L to list codes): 8e
Changed system type of partition 1 to 8e (Linux LVM)

Command (m for help): w
The partition table has been altered!

Calling ioctl() to re-read partition table.
Syncing disks.</pre>

Järgnevalt anname lvm-ile teada, et loodud partitsioon on „pv“ ehk physical volume.
<pre>pvcreate /dev/sdb1
Physical volume "/dev/sdb1" successfully created</pre>

Kui kõik läks hästi siis peaks tulemus olemas selline:
<pre>pvdisplay
"/dev/sdb1" is a new physical volume of "4.00 GiB"
--- NEW Physical volume ---
PV Name /dev/sdb1
VG Name
PV Size 4.00 GiB
Allocatable NO
PE Size 0
Total PE 0
Free PE 0
Allocated PE 0
PV UUID EdmaX9-bXmQ-Oevp-p9W9-I2qY-gpMM-1w77aQ</pre>

Loome uue „volume group“ -i ja nimetame selle mysql -iks.
<pre>vgcreate mysql /dev/sdb1
Volume group "mysql" successfully created</pre>

** vgdisplay
--- Volume group ---
VG Name mysql
System ID
Format lvm2
Metadata Areas 1
Metadata Sequence No 4
VG Access read/write
VG Status resizable
MAX LV 0
Cur LV 2
Open LV 2
Max PV 0
Cur PV 1
Act PV 1
VG Size 4.00 GiB
PE Size 4.00 MiB
Total PE 1023
Alloc PE / Size 512 / 2.00 GiB
Free PE / Size 511 / 2.00 GiB
VG UUID s5AjT8-ss7D-Gm9m-XY6j-ULMv-RLbR-xdy0K6

Järgnevalt saame luua „volume group“ -ile „logical volumes“ ehk loogilised kettajaod. Need on justkui partitsioonid füüsilisel kõvakettal ja neid saab juba andmete talletamiseks kasutada. Nimetame kettajao nimega data ja määrame tema suuruseks 1GB (antud suurus sobib väga hästi katsetamiseks aga reaalsetes süsteemides tuleb muidugi oluliselt suuremaid numbreid kasutada. ). Suuruse seadistamisel tuleb arvestada, et sama „volume group“ peale tuleb mahutada veel vähemalt üks sama suur loogiline kettajagu, mis on loodava LV snapshot. Näide kui VG suurus on kokku 10GB siis on võimalik teha maksimaalselt 5GB suurune loogiline kettajagu. Vastasel ei mahu tema kõrvale, samale VG-le tehtud LV snapshot.

<pre>lvcreate -n data -L 1GB mysql
Logical volume "data" created</pre>

Kontrollime tulemust:
<pre>lvdisplay
--- Logical volume ---
LV Name /dev/mysql/data
VG Name mysql
LV UUID SL0yWI-Mc2b-KhkE-V8P1-bW7E-3iL8-8zD6Uf
LV Write Access read/write
LV Status available
# open 0
LV Size 1.00 GiB
Current LE 256
Segments 1
Allocation inherit
Read ahead sectors auto
- currently set to 256
Block device 252:0</pre>

Teadmiseks: lvdisplay käsu käivitamisel on näha parameeter „LV Status“. See näitab, kas kettajagu on saadaval või mitte. Kasutada on võimalik ainult available olekus kettajagu. Eemaldada saab ainult NOT available olekus kettajagusid. Kettajao NOT available olekusse viimiseks saab kasutada käsku:

<pre>lvchange -a n /dev/mysql/data</pre>
ja tagasi:
<pre>lvchange -a y /dev/mysql/data</pre>

Nüüd on loodud uus kettajagu, mida saab andmete säiltamiseks kasutada. Loome sellele kettajaole failisüsteemi:
<pre>mkfs -t ext4 /dev/mysql/data</pre>

Järgmisena tuleb loodud kettajagu kuhugile mountida. Mina teen sellejaoks /srv/mysql kausta ja haagin ketta sinna.

<pre>mkdir /srv/mysql</pre>

Lisame /etc/fstab faili lõppu kirje, et ka järgmisel süsteemi käivitamisel oleks ketas kohe külgehaagitud

<pre>/dev/mysql/data /srv/mysql ext4 defaults 0 0</pre>

Muudame kausta õigused mysql-ile sobivaks (kausta omanik on kasutaja mysql ja kaustale on ligipääs ainult kausta omanikul)
<pre>chown mysql:mysql /srv/mysql
chmod 0700 /srv/mysql</pre>

Nüüd tuleb olemasolev mysql data kaust liigutada /srv/mysql kausta. Esimese asjana peatada mysql server
<pre>service mysql stop
mysql stop/waiting</pre>

Kopeerime (!) kogu mysql-i data kausta loodud lvm kettajaole. Ubuntus (ilmselt ka paljudes teistes operatsioonisüsteemides) asub mysq-i data kaust /var/lib/mysql. Oleks vägagi soovitatav jätta andmed vanasse kausta alles ja kustuta see alles siis kui ollakse täiesti kindel, et server töötab tõrgeteta.
<pre>cp -ar /var/lib/mysql/. /srv/mysql</pre>

Seejärel tuleb mysql-i konfiguratsioonifailis (/etc/mysql/my.cnf) muuta ära „datadir“ parameeter
<pre>datadir = /var/lib/mysql -> datadir = /srv/mysql</pre>

Teadmiseks: alates Ubuntu 7.10 -st on operatsioonisüsteemiga kaasas programm nimega „AppArmor“. Tegemist on kerneli turvamooduliga, mis teatavate programmide puhul piirab nende ligipääsu failisüsteemile. Et MySQL server uuesti korrektselt käivituks, tuleb „AppArmor“ -is mysq-i seadistust muuta. Sobiva tekstieditoriga tuleb avada /etc/apparmor.d/usr.sbin.mysqld konfifail ja teha seal vajalikud muudatused :
<pre>/var/lib/mysql/ r, -> /srv/mysql r,
/var/lib/mysql/** rwk, -> /srv/mysql** rwk,</pre>

Osadel operatsioonisüsteemidel võib ka init skript ette anda, kus asub mysql-i datadir. Seega oleks mõistlik ka see /etc/init.d/mysql skriptist üle vaadata.

Käivitame uuesti mysql-i serveri. Kui kõik läks hästi, peaks olema tulemus sarnane:

<pre>service mysql start
mysql start/running, process 2588</pre>

Kontrollime mysql-i muutujaid:
<pre>mysqladmin -u{mysql-kasutaja} -p variables | grep datadir
Enter password: {mysql-parool}
| datadir | /srv/mysql/
</pre>
Lisaks tuleks sobiva mysql kliendiga serverisse sisse logida ja kontrollida üle, kas kõik jäi korrektselt tööle.

Nüüd, kui MySQL server on korrektselt töödanud ja tekib vajadus varukoopiate tegemiseks. Töötavast serverist snapshoti tegemisel pole vajalik eelnev serveri väljalülitama. Lihtsalt protseduuri ajaks oleks vajalik keelata ära andmete kirjutamine „FLUSH TABLES WITH READ LOCK;“ käsuga, lisaks võiks tühjendada ka logid „FLUSH LOGS;“ käsuga. Snapshoti tegemise protsess on äärmiselt kiire ja andmete lugemine andmebaasist toimib endiselt edasi. Samas andmete kirjutamise protsess viibib seni, kui andmebaasilt kirjutamise lukk maha võetakse (kõik kirjutamise käsud täidetakse kohe peale luku vabastamist).
Ehkki varukoopia tegemise protsess ei tekita katkestusi serveri töös, oleks hea mõte teha varukoopiaid sellisel ajal kui serveril on kõige väiksem koormus.
On vajalik teada, et andmebaas lukustatakse ainult selleks ajaks, kui mysql serverisse on sisse logitud. Kohe kui sessioon lõpetatakse, vabastatakse ka lukud. Seetõttu peab snaspshoti tegemise ajal olema serverisse sisse logitud. Variant on kasutada kahte terminali sessiooni aga vajalikke käske saab käivitada ka MySQL-i käsurealt (vajalik on mysql-i klient käivitada root kasutaja õigustes).
<pre>mysql -u root -p
Enter password:
Welcome to the MySQL monitor. Commands end with ; or \g.
Your MySQL connection id is 75
Server version: 5.5.28-0ubuntu0.12.04.2 (Ubuntu)

Copyright (c) 2000, 2012, Oracle and/or its affiliates. All rights reserved.

Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

mysql> FLUSH TABLES WITH READ LOCK;
Query OK, 0 rows affected (0.00 sec)

mysql> FLUSH LOGS;
Query OK, 0 rows affected (0.00 sec)
</pre>

<pre>
mysql> SYSTEM /sbin/lvcreate -L 1G --snapshot -n sql_backup /dev/mysql/data
File descriptor 3 (socket:[15065]) leaked on lvcreate invocation. Parent PID 3514: sh
Logical volume "sql_backup" created
mysql> UNLOCK TABLES;
Query OK, 0 rows affected (0.01 sec)

mysql> exit
Bye
</pre>
Snapshoti kettajagu nimetati kui sql_backup ja viide loogilisele seadmele asub /dev/mysql/sql_backup. Käivitades käsu „lvs“, saab näha, et lisaks mysql/data LV-le on juurde tekkinud mysql/sql_backup
<pre>lvs
LV VG Attr LSize Origin Snap% Move Log Copy% Convert
data mysql owi-ao 1.00g
sql_backup mysql swi-a- 1.00g data 0.00
</pre>
Kui nüüd haakida tehtud snapshoti kettajagu, on seal kättesaadav kogu mysql-i data sellel hetkel, kui snapshot tehti.
<pre>mkdir /mnt/bk
mount /dev/mysql/sql_backup /mnt/bk
ls -la /mnt/bk
total 28720
drwx------ 8 mysql mysql 4096 Dec 12 15:59 .
drwxr-xr-x 3 root root 4096 Dec 12 16:34 ..
-rw-r--r-- 1 root root 0 Nov 30 17:18 debian-5.5.flag
-rw-rw---- 1 mysql mysql 18874368 Dec 12 16:18 ibdata1
-rw-rw---- 1 mysql mysql 5242880 Dec 12 16:18 ib_logfile0
-rw-rw---- 1 mysql mysql 5242880 Nov 30 17:18 ib_logfile1
drwx------ 2 root root 16384 Dec 12 15:58 lost+found
drwx------ 2 mysql root 4096 Nov 30 17:18 mysql
-rw-rw---- 1 root root 6 Nov 30 17:18 mysql_upgrade_info
drwx------ 2 mysql mysql 4096 Nov 30 17:18 performance_schema
drwx------ 2 mysql mysql 4096 Nov 30 17:28 phpmyadmin
drwx------ 2 mysql root 4096 Dec 12 16:18 test
drwx------ 2 mysql mysql 4096 Nov 30 17:33 wp
</pre>
MySQL-i server töötab peale snapshoti tegemist katkestusteta edasi. Tehtud snapshoti andmeid võib varundada arhiivi jaoks. Andmete varundamisel tuleb spashoti kettajagu failisüsteemi külge haakida ja selle sisu „tar“-i abil arhiveerida ja hiljem eemaldada snapshoti kettajagu
<pre>mkdir /mnt/bk
mount /dev/mysql/sql_backup /mnt/bk
tar -cjf /teekond/arhiivi/kuupäev.tar.bz2 -C /mnt bk
umount /dev/mysql/sql_backup
lvremove /dev/mysql/sql_backup
Do you really want to remove active logical volume sql_backup? [y/n]: Y
Logical volume "sql_backup" successfully removed
</pre>
Kogu protseduuri automatiseerimiseks on võimalik koostada ka skript, mida saab käivitada sobival aja või kasutades „cron“ ajastamise vahendeid.

Lisaks on võimalik mysql-i data kaust haakida ümber snapshoti kettajaole ja taastada server sellesse seisu, mis oli snapshoti tegemise hetkel minimaalse katkestuse ajaga.

==Kokkuvõte==

LVM -i kasutamine varundamisel on väikestes ja mittekriitilistes süsteemides küllaltki hea lahendus. See ei nõua eriteadmisi ja kallist riistvara/tarkvara. Kuid suurematesse ja keerukamatesse lahendustesse see ei sobi, kuna see ainult aitab luua snapshoti hetke seisust aga ei paku võimalust seda eraldi salvestada. Arhiveerimiseks tuleb kasutada eraldi vahendeid ja selle protseduuri käigus võib minna kaduma vajalikke andmeid. Ka ei võistle LVM proffessionaalsete vahenditega nagu Arkeia (http://www.arkeia.com/) või BrightStor, mis on just varundamise lahenduste jaoks loodud ja muudavad antud tegemise mugavaks ja kiireks.

==Kasutatud kirjandus==
http://kuutorvaja.eenet.ee/wiki/LVM 
http://www.web-manual.net/linux-3/logical-volume-manager-in-linux/ 
http://www.lullabot.com/articles/mysql-backups-using-lvm-snapshots 
http://www.ubuntugeek.com/how-to-change-the-mysql-data-default-directory.html 
https://wiki.ubuntu.com/Lvm 

==Autor==
Madis Lauri
AK 31
[[Category:Operatsioonisüsteemide administreerimine ja sidumine]]

'''Täiendamine:'''

Carolys Kallas A32

Aine: Linuxi administreerimine

Viimati muudetud: 07.01.2013