Varnish
Kaasajastab Lauri-Rihard Liba, 2015, A21
Koostajad
Rene Sepp, Kersti Lang, Carolys Kallas
Sissejuhatus
Varnish Cache kasutatakse veebilehekülgede kiirendamiseks. See installeeritakse HTTP serveri ette ning tehakse vastavad muutused sisu puhverdamiseks. Varnish Cache tavaliselt kiirendab andmete laadimist 300-1000 kordselt sõltuvalt veebilehe ülesehitusest. Varnish Cache hoiab veebilehti vahemälus kiirendades sellega javaskriptide ning piltide laadimist. Lisaks kasutatakse seda ka koormuse tasakaalustamiseks ning turvalisuse suurendamiseks.
Ajalugu
Projekti algatas Norra suurim tabloidformaadis ajaleht Verdens Gang. Arhitekt ja juhtiv arendaja on Taani konsultant Poul-Henning Kamp (tuntud kui FreeBSDcore arendaja). Haldus, infrastruktuuri - ja täiendavat arendust varustas algselt Norra Linux konsultatsioonifirma Linpro. Varnish Cache tugi, haldus ja arendus koondus hiljem eraldi haruks - Varnish Software. Varnishi versioon 1.0 avalikustati aastal 2006, Varnish 2.0 aastal 2008, Varnish 3.0 aastal 2011 ja Varnish 4.0 aastal 2014.
Arhitektuur
Varnish Cache salvestab andmed virtuaalmällu ja jätab otsustada, mis salvestatakse mällu ja mida suunatakse ketta operatsioonisüsteemi. See aitab vältida olukorda, kus operatsioonisüsteem hakkab andmeid suunama vahemällu samal ajal kui nad paigutatakse rakenduse poolt kettale. Lisaks on Varnishi tugevalt "keermestatud", iga kliendi ühendust käsitletakse kui eraldi "keeret". Kui seadistatud aktiivsete "keerete" arv on täidetud, paigutatakse sisenevad ühendused ülevoolu järjekorda. Kui kui see järjekord jõuab teatud piirini, hakkab süsteem sissetulevaid ühendusi tagasi lükkama. Peamine seadistamise mehhanism on VCL (Varnishi Configuration Language).Enamus kasutajapoliitika otsuseid jäetakse VCL koodi, mis muudab Varnishi palju rohkem seadistatav ja kohanemisvõimelisemaks kui enamik teisi HTTP kiirendeid. Kui VLC script on laetud, tõlgitakse see "C" keelde, kompileeritakse, et jagada objektid süsteemi poolt kompilaatorisse ja seotakse otse kiirendiga. Arvu run-time parameetrid kontrollivad näiteks maksimaalset ja minimaalset aktiivsete keerete arvu, nende erinevaid süsteemipause jne. Käsurea juhtimise liides võimaldab neid parameetreid muuta, uusi VCL skripte kompileerida, laadida ja aktiveerida kiirendile taaskäivitust tegemata. Selleks, et vähendada süsteemi päringute arvu kiirelt miinimumini, on logi-andmed salvestatud mällu ning logi-andmete filtreerimine, vorminine ning kirjutamine aktiivsele kettale kettale.
Eeldused
Antud installatsiooni lahendus on testitud Ubuntu 14.04.2 LTS peal, kuid võib toimida muudel Debianil baseeruvate distributsioonide peal. Muude distributsioonide peal paigaldamiseks tasub uurida arendaja kodulehekülge. Eelduseks on töötav veebileht, näiteks Apache vaikeleht või WordPressi leht. Kui seda tehtud pole, siis seda kirjeldab WordPress turvamise labor.
Varnishi paigaldamine turvalisuse suurendamiseks
Varnish peatab mittetäielikel http päringutel jõudmast Apache2 veebiserverini. Põhineb sellel artiklil.
Apache konfigureerimine
Apache2 tuleb kuulama panna localhost, selleks on vaja /etc/apache2/ports.conf konfiguratsiooni failis vaja muuta vaikimisi kuulamis port 80 pealt 8080 peale.
Listen 8080
Järgmisena tuleb muuta virtualhosti failis olev kuulatav port.
Siin näites kasutame Apache2 vaikelehe konfiguratsiooni faili /etc/apache2/sites-available/000-default.conf.
Kus tuleb muuta vaikimisi kuulatav port 80 meile vajalikuks port 8080 peale. Seda saab teha manuaalselt tekstiredaktoriga, kuid kui on vaja mitu faili muuta siis on mõtekas kasutusele võtta käsurea utiliit sed
cd /etc/apache2/sites-available
sed 's/:80/:8080/' 000-default.conf -i
Paigaldame apachele lisamooduli, et kuvataks kliendi õige ip aadress.
apt-get install libapache2-mod-rpaf
Varnish Cache Paigaldus
Õpetame apt utiliiti kasutama https teekondi
apt-get install apt-transport-https
Lisame Varnish Cache repositooriumi krüptovõtme
curl https://repo.varnish-cache.org/GPG-key.txt | apt-key add -
Lisame Varnish Cache repositooriumi Ubuntu 14.04 Trusty Tahr jaoks oma apt utiliidi allikate loendisse
echo "deb https://repo.varnish-cache.org/ubuntu/ trusty varnish-4.0" >> /etc/apt/sources.list.d/varnish-cache.list
Uuendame repositooriumi ja paigaldame Varnish Cache
apt-get update && apt-get install varnish
Varnishi konfiguratsiooni muutmine
Muudame Varnishi konfiguratsiooni faili /etc/default/varnish, et Varnish kuulaks vaikimisi port 80 ja muudame reeglite faili asukohta.
DAEMON_OPTS="-a :80 \
-T localhost:6082 \
-f /etc/varnish/meieleht.vcl \
-S /etc/varnish/secret \
-s malloc,256m"
Kopeerime vcl struktuuri vaikefailist default.vcl uude faili meieleht.vcl.
cp /etc/varnish/default.vcl /etc/varnish/meieleht.vcl
Täiendame faili meieleht.vcl.
sub vcl_recv {
# Add a unique header containing the client address.
unset req.http.X-Forwarded-For;
set req.http.X-Forwarded-For = client.ip;
# Added security, the "w00tw00t" attacks are pretty annoying so let's block
# it before it reaches our webserver.
if (req.url ~ "^/w00tw00t") {
return (synth(403, "Not permitted"));
}
}
sub vcl_backend_response {
# Remove the X-Forwarded-For header if it exists.
unset bereq.http.X-Forwarded-For;
# Insert the client IP address as X-Forwarded-For.
# This is the normal IP address of the user.
set bereq.http.X-Forwarded-For = bereq.http.rlnclientipaddr;
# Deliver the content
return (deliver);
}
sub vcl_deliver {
# We'll be hiding some headers added by Varnish. We want to make sure people
# are not seeing that we are using Varnish.
# Since we're not caching (yet), why bother telling people we are using it?
unset resp.http.X-Varnish;
unset resp.http.Via;
unset resp.http.Age;
# We'd like to hide the X-Powered-By headers. Nobody has to know we can run
# PHP and have version XYZ of it.
unset resp.http.X-Powered-By;
}
Deemonite restart
Kõigepealt tuleb apache teenusele restart teha.
service apache2 restart
Kontrollime IP porti.
netstat -lp | grep apache2
Tulemus peab olema taoline:
tcp 0 0 localhost:8080 *:* LISTEN 4586/apache2
Teeme restarti Varnishile
service varnish restart
Kontrollime uuesti
netstat -lp | grep varnish
Tulemus peab olema taoline:
tcp 0 0 *:www *:* LISTEN 4498/varnishd
tcp6 0 0 [::]:www [::]:* LISTEN 4498/varnishd
Nüüd on Varnish paigaldatud Apache2 ette ja sait peab nüüd töötama. Kui Apach2e peatada kuvatakse Varnish error lehekülg.
Logimine
Veebilehe külastamisi saab jälgida /var/log/varnish/access.log logi failist.
Apache logides serveri aadressi asemel kliendi aadress
Varnishi pool
Lisada oma Varnish konfiguratsiooni .vcl read:
Näiteks /etc/varnish/meieleht.vcl
sub vcl_recv {
# Add a unique header containing the client address
unset req.http.X-Forwarded-For;
set req.http.X-Forwarded-For = client.ip;
# [...]
}
Taaskäivita Varnish teenus.
service varnish restart
Apache pool
Lisada vajalikud moodulid Apache jaoks
Tuleb luua fail /etc/apache2/conf.d/varnishlog.conf järgneva sisuga:
LogFormat "%{X-Forwarded-For}i %l %u %t \"%r\" %>s %b \"%{Referer}i\" \"%{User-Agent}i\"" varnishcombined
Enda virtualhost konfiguratsioonis muutke log vorming varnishcombined-ks
<VirtualHost *:80>
ServerName www.planet.zz
# [...]
CustomLog ${APACHE_LOG_DIR}/access.log varnishcombined
# [...]
</VirtualHost>
Ja siis tuleb Apache2 teenus taaskäivitada.
service apache2 restart
Tulemuse kontroll
Ühenda kliendiga veebiserveri külge ja vaata Apache2 access.log faili, mis ip logitakse.
tail /var/log/apache2/access.log
Security.VCL paigaldamine
Security.vcl on Web Application tulemüür, mis on rakendatud vcl(Varnish Control Language) keeles. Sarnaneb mod_securityle, aga on palju kiirem. Esimese sammuna tuleks paigaldada vajalikud utiliidid:
apt-get install git make
Siis tuleks kloonida giti repositooriumis olev algmaterjal:
git clone https://github.com/comotion/security.vcl.git
Järgmiste sammudena on vaja repositooriumis olev rakendus paigaldada ja luua sümboolne link Varnishi konfiguratsiooni kausta:
cd security.vcl/vcl/
sudo make
cd ..
sudo ln -s $PWD/vcl/ /etc/varnish/security
Lisa Varnishi .vcl conf faili järgnev rida backend default koodiploki alla:
include "/etc/varnish/security/main.vcl";
Välja peaks nägema nii:
backend default {
.host = "127.0.0.1";
.port = "8080";
}
include "/etc/varnish/security/main.vcl";
Taaskäivita Varnishi teenus.
service varnish restart
Tulemuse kontroll
Proovi nüüd minna enda veebiserveri külge aadressiga:
http://<sinu serveri ip>/javascript:
Kui kõik toimib tuleb vastuseks:
Error 403 Naughty, not nice!
