Difference between revisions of "Keskne logihaldus"

From ICO wiki
Line 7: Line 7:
 
'''Nõuded kliendile:'''
 
'''Nõuded kliendile:'''
 
*Töötab Linux/Unix keskkonnas
 
*Töötab Linux/Unix keskkonnas
*Võimaldab TCP protokolli kasutada - TCP protokolli kasutamine annab suurema kindluse sõnumite kohale jõudmiseks  kui UDP protokoll, sest server saadab kinnituse kohalejõudnud sõnumi kohta ning võrgus esinenud vea korral saadetakse sõnum uuesti.
+
*TCP protokolli tugi - TCP protokolli kasutamine annab suurema kindluse sõnumite kohale jõudmiseks  kui UDP protokoll, sest server saadab kinnituse kohalejõudnud sõnumi kohta ning võrgus esinenud vea korral saadetakse sõnum uuesti.
*IETF syslog standardi toetamine - vajalik kuna toetab TCP ja TLS protokolli.
+
*TLS protokolli tugi - võimaldab välistada sõnumite pealtkuulamise
*Võimaldab kasutada TLS protokolli - võimaldab välistada sõnumite pealtkuulamise
 
 
*Esmane sõnumite filtreerimine - võimaldab esmast sõnumite filtreerimist ning samuti korduvate sõnumite eemaldamist, mis muidu ummistaksid võrguliiklust.
 
*Esmane sõnumite filtreerimine - võimaldab esmast sõnumite filtreerimist ning samuti korduvate sõnumite eemaldamist, mis muidu ummistaksid võrguliiklust.
  
 
'''Nõuded logiserverile:'''
 
'''Nõuded logiserverile:'''
*IETF syslog vormingu toetamine.
+
*TCP protokolli kasutamise võimalus.
*TCP protokolli kasutamise võimalus
 
 
*UDP protokolli kasutamise võimalus - vajalik seadmete puhul, mis ei toeta TCP protokolli.
 
*UDP protokolli kasutamise võimalus - vajalik seadmete puhul, mis ei toeta TCP protokolli.
  
 
'''Nõuded logide esitamise vahendile:'''
 
'''Nõuded logide esitamise vahendile:'''
*Veebiliidese võimalus
+
*Veebiliides, mis võimaldab logisid sirvida ning erinevate parameetrite järgi logisid otsida.
*Võimalus logisid sirvida ja neist otsida
 
  
 
= Tarkvara =
 
= Tarkvara =
  
Server: Ubuntu server 64bit, versioon 12.04.3 LTS
+
Server: Ubuntu server 64bit, versioon 12.04 LTS
  
 
Klient: Ubuntu client 64bit, versioon 13.04
 
Klient: Ubuntu client 64bit, versioon 13.04
Line 33: Line 30:
 
Logide salvestamine: Elasticsearch
 
Logide salvestamine: Elasticsearch
  
Kasutajaliides logide sirvimiseks: Kibana
+
Veebiliides: Kibana
  
 
Logimise kliendi valimisel otsustasime Rsyslog’i kasuks, sest antud tarkvara on vaikimis paigaldatud meie poolt kasutatavas operatsioonisüsteemis ja vastab eelpool püstitatud nõuetele.  
 
Logimise kliendi valimisel otsustasime Rsyslog’i kasuks, sest antud tarkvara on vaikimis paigaldatud meie poolt kasutatavas operatsioonisüsteemis ja vastab eelpool püstitatud nõuetele.  
  
Logiserveriks valisime Logstash’i, mis täitis kõik meie poolt seatud nõuded. Logstash’i miinuseks võib lugeda asjaolu, et tegemist on üsna mälunõudliku programmiga.  
+
Logiserveriks valisime Logstash’i, mis täitis kõik meie poolt seatud nõuded. Logstash’i miinuseks võib lugeda asjaolu, et tegemist on üsna mälunõudliku programmiga. Kuid kuna antud keskkonnas pole vähene mälukasutus üheks kriteeriumiks, siis leiame, et suurem mälukasutus pole probleemiks.
  
Kibana valisime kuna ühildub hästi Elasticsearch’i ja Logstash’iga.
+
Veebiliideseks valisime Kibana, mis ühildub hästi Elasticsearch’i ja Logstash’iga.
  
 
= Serveri seadistamine =  
 
= Serveri seadistamine =  
  
Serverina kasutame IT Kolledži elab keskkonnast eksporditud masinat. Muudame mõningaid seadeid:
+
Serverina kasutame juba meile tuttavaks saanud eelnevalt seadistatud virtuaalmasinat, mille saime [http://elab.itcollege.ee:8000/ubuntu-server-64.ova siit].
Muudame failis '''/etc/network/interfaces''' eth1 liidese IP aadressiks '''192.168.56.201'''
 
  
Failis '''/etc/hostname''' muudame serveri nimeks rsyslog
+
Alustuseks muudame failis '''/etc/network/interfaces''' eth1 liidese IP aadressiks '''192.168.56.201'''.
 +
 
 +
Järgmiseks muudame failis '''/etc/hostname''' serveri nimeks rsyslog.
  
 
== Logstash ==
 
== Logstash ==
''Kasutatud S.Arnuse wiki artiklit “Keskse logilahenduse rakendamine”''  
+
''Kasutatud Sander Arnuse wiki artiklit “[[Keskse logilahenduse rakendamine]]”''  
  
 
Paigaldame Java ''(Logstash vajab seda oma tööks)''
 
Paigaldame Java ''(Logstash vajab seda oma tööks)''
Line 68: Line 66:
 
</source>
 
</source>
  
Loome kausta /etc/logstash konfiguratsioonifaili '''logstash.conf''', kuhu sisestan:
+
Loome kausta /etc/logstash konfiguratsioonifaili '''logstash.conf''', kuhu sisestame:
  
 
<source lang="bash">
 
<source lang="bash">
Line 95: Line 93:
 
</source>
 
</source>
  
Järgnevalt loome Upstart rakendusele vastava kirje, et Logstash alustaks serveri käivitamisel automaatselt oma tööd. Loome vajaliku faili ja kasutaja ning lisame kasutaja adm gruppi:
+
Järgnevalt loome Upstart rakendusele vastava kirje, et Logstash alustaks serveri käivitamisel automaatselt oma tööd. Loome vajaliku faili ja kasutaja ning lisame loodud kasutaja adm gruppi:
  
 
<source lang="bash">
 
<source lang="bash">
Line 140: Line 138:
 
</source>
 
</source>
  
Käsitsi saab Logstashi käivitada käsuga:
+
Käsitsi saab Logstash'i käivitada käsuga:
 
<source lang="bash">
 
<source lang="bash">
 
initctl start logstash-server
 
initctl start logstash-server
Line 153: Line 151:
 
rm elasticsearch-0.90.0.deb
 
rm elasticsearch-0.90.0.deb
 
</source>
 
</source>
Elasticsearch’i käivitamiseks käsitsi:
+
Käsitsi saab Elasticsearch’i käivitada käsuga:
 
<source lang="bash">
 
<source lang="bash">
 
service elasticsearch start
 
service elasticsearch start
Line 175: Line 173:
 
</source>
 
</source>
  
Konfiguratsioon asub failis '''/etc/kibana/KibanaConfig.rb''' . Muudame väärtust KibanaHost, et Kibana kasutajakeskkond oleks veebiserveriga ligipääsetav.
+
Rakenduse konfiguratsioon asub failis '''/etc/kibana/KibanaConfig.rb''' . Muudame parameetri '''KibanaHost''' väärtust, et Kibana kasutajakeskkond oleks veebiserveriga ligipääsetav.
 
<source lang="bash">
 
<source lang="bash">
 
nano /etc/kibana/KibanaConfig.rb
 
nano /etc/kibana/KibanaConfig.rb
Line 181: Line 179:
 
</source>
 
</source>
  
Loome Kibana jaoks kirje rakendusse upstart:
+
Loome Kibana jaoks samuti Upstart kirje:
  
 
Loome konfiguratsioonifaili '''/etc/init/kibana.conf''' ja sisestame:
 
Loome konfiguratsioonifaili '''/etc/init/kibana.conf''' ja sisestame:
Line 212: Line 210:
  
  
Käsitsi saab Kibanat käivitada käsuga:
+
Käsitsi saab Kibana't käivitada käsuga:
 
<source lang="bash">
 
<source lang="bash">
 
initctl start kibana
 
initctl start kibana
Line 218: Line 216:
  
 
= Kliendi seadistamine =
 
= Kliendi seadistamine =
 +
Kliendina kasutame samuti juba meile tuttavaks saanud virtuaalmasinat, mille saime [http://elab.itcollege.ee:8000/ubuntu-desktop-64.ova siit].
 +
 
'''Rsyslog'''
 
'''Rsyslog'''
  
Kui rsyslog’i vaikimisi paigaldatud pole:
+
Kui rsyslog’i vaikimisi paigaldatud pole, siis selle paigaldamiseks tuleb tegutseda järgmiselt:
 
<source lang="bash">
 
<source lang="bash">
apt-get update && apt-get upgrade
+
apt-get update
 
apt-get install rsyslog
 
apt-get install rsyslog
 
</source>
 
</source>
Line 230: Line 230:
 
lisame rea *.* @@192.168.56.201:10514
 
lisame rea *.* @@192.168.56.201:10514
  
@ - kasutatakse UDP protokolli
+
@ - selle parameetri kasutamisel edastatakse sõnumid logiserverile kasutades UDP protokolli
@@ - kasutatakse TCP protokolli
+
@@ - selle parameetri kasutamisel edastatakse sõnumid logiserverile kasutades TCP protokolli
*.* - ?
+
*.* - selle parameetriga määrame ära, et edastatakse kõik sõnumid logiserverile
  
Pärast konfiguratsioonifaili muutmist tuleb teha teenusele restart:
+
Pärast konfiguratsioonifaili muutmist on oluline teha teenusele restart:
 
<source lang="bash">
 
<source lang="bash">
 
service rsyslog restart
 
service rsyslog restart
 
</source>
 
</source>
  
Lisame /etc/hosts faili meie logiserveri kirje, kasutades selleks täispikka domeeninime:
+
Lisame '''/etc/hosts''' faili meie eelnevalt seadistatud logiserveri kirje, kasutades selleks logiserveri IP'd, täispikka domeeninime ja serveri nime:
 
<source lang="bash">
 
<source lang="bash">
 
192.168.56.201          rsyslog.planet.zz        rsyslog
 
192.168.56.201          rsyslog.planet.zz        rsyslog
Line 245: Line 245:
  
 
= Lahenduse testimine =
 
= Lahenduse testimine =
1. Oma lahenduse käigus lisasime Upstart’i kirjed Kibana ja Logstash’i jaoks, et need logiserveri käivitamisel automaatselt tööle hakkaksid. Selle testimiseks pole muud paremat moodust, kui server seisma panna ning uuesti käima panna. Serveri käivitamisel veendume, et vajalikud teenused on üleval(kibana,elasticsearch,logstash).
+
1. Oma lahenduse käigus lisasime Upstart’i kirjed Kibana ja Logstash’i jaoks, et need logiserveri käivitamisel automaatselt tööle hakkaksid. Selle testimiseks pole muud paremat moodust, kui server seisma panna ning uuesti käima panna. Serveri käivitamisel veendume, et vajalikud teenused on üleval''(Kibana,Elasticsearch,Logstash)''.
  
2. Kontrollimaks, kas seadistatud veebiliides töötab ning meil sellele ligipääs on,  sisestame veebibrauserisse aadressi: http://192.168.56.201:5601
+
2. Kontrollimaks, kas seadistatud veebiliides töötab ning meil sellele ligipääs on,  sisestame veebibrauserisse aadressi: '''192.168.56.201:5601'''
  
 
= Tulemus =  
 
= Tulemus =  
Rsyslog edastab sündmused kesksele logiserverile, kus jookseb Logstash. Logiteated salvestatakse Elasticsearch’i andmebaasi. Kibana võimaldab veebiliidest kasutades vaadelda logisid ning samuti võimaldab otsida logidest.
+
Rsyslog edastab sündmused kesksele logiserverile, kus jookseb Logstash. Logiteated salvestatakse Elasticsearch’i andmebaasi. Kibana võimaldab veebiliidese vahendusel vaadelda logisid ning samuti võimaldab otsida logidest.
  
  

Revision as of 12:02, 12 December 2013

Eesmärk

Luua testkeskkonnas keskne logihalduse süsteem, kus klient saadab oma logid logiserverisse. Logid tuleb salvestada ning neid peab olema võimalik sirvida ja neist otsida.

Nõuded

Nõuded kliendile:

  • Töötab Linux/Unix keskkonnas
  • TCP protokolli tugi - TCP protokolli kasutamine annab suurema kindluse sõnumite kohale jõudmiseks kui UDP protokoll, sest server saadab kinnituse kohalejõudnud sõnumi kohta ning võrgus esinenud vea korral saadetakse sõnum uuesti.
  • TLS protokolli tugi - võimaldab välistada sõnumite pealtkuulamise
  • Esmane sõnumite filtreerimine - võimaldab esmast sõnumite filtreerimist ning samuti korduvate sõnumite eemaldamist, mis muidu ummistaksid võrguliiklust.

Nõuded logiserverile:

  • TCP protokolli kasutamise võimalus.
  • UDP protokolli kasutamise võimalus - vajalik seadmete puhul, mis ei toeta TCP protokolli.

Nõuded logide esitamise vahendile:

  • Veebiliides, mis võimaldab logisid sirvida ning erinevate parameetrite järgi logisid otsida.

Tarkvara

Server: Ubuntu server 64bit, versioon 12.04 LTS

Klient: Ubuntu client 64bit, versioon 13.04

Logimise klient: Rsyslog

Logiserver: Logstash

Logide salvestamine: Elasticsearch

Veebiliides: Kibana

Logimise kliendi valimisel otsustasime Rsyslog’i kasuks, sest antud tarkvara on vaikimis paigaldatud meie poolt kasutatavas operatsioonisüsteemis ja vastab eelpool püstitatud nõuetele.

Logiserveriks valisime Logstash’i, mis täitis kõik meie poolt seatud nõuded. Logstash’i miinuseks võib lugeda asjaolu, et tegemist on üsna mälunõudliku programmiga. Kuid kuna antud keskkonnas pole vähene mälukasutus üheks kriteeriumiks, siis leiame, et suurem mälukasutus pole probleemiks.

Veebiliideseks valisime Kibana, mis ühildub hästi Elasticsearch’i ja Logstash’iga.

Serveri seadistamine

Serverina kasutame juba meile tuttavaks saanud eelnevalt seadistatud virtuaalmasinat, mille saime siit.

Alustuseks muudame failis /etc/network/interfaces eth1 liidese IP aadressiks 192.168.56.201.

Järgmiseks muudame failis /etc/hostname serveri nimeks rsyslog.

Logstash

Kasutatud Sander Arnuse wiki artiklit “Keskse logilahenduse rakendamine

Paigaldame Java (Logstash vajab seda oma tööks)

apt-get update
apt-get install openjdk-7-jre

Loome kausta /etc/logstash

mkdir /etc/logstash

Rakenduse paigaldamine:

wget https://logstash.objects.dreamhost.com/release/logstash-1.1.12-flatjar.jar 
mv logstash-1.1.12-flatjar.jar /etc/logstash/logstash.jar

Loome kausta /etc/logstash konfiguratsioonifaili logstash.conf, kuhu sisestame:

nano /etc/logstash/logstash.conf
input {
    	#Linux/Unix süsteemidest tulevad logid
    	tcp {
            	type => "syslog-tcp"
            	port => 10514
    	}

    	#Logiserveri enda logid
    	file {
            	type => "logserver"
            	path => [ "/var/log/syslog", "/var/log/*.log" ]
    	}
}
output {
        #Saadetakse andmebaasi
        elasticsearch {
        }
}

Järgnevalt loome Upstart rakendusele vastava kirje, et Logstash alustaks serveri käivitamisel automaatselt oma tööd. Loome vajaliku faili ja kasutaja ning lisame loodud kasutaja adm gruppi:

touch /etc/init/logstash-server.conf
adduser --system --disabled-password --no-create-home --group --quiet logstash
usermod -a -G adm logstash

Loon kausta /var/log/logstash

mkdir /var/log/logstash

Muudame loodud kasutaja rakenduse kaustade omanikuks:

chown -R logstash:adm /etc/logstash/
chown -R logstash:adm /var/log/logstash/

Lisame faili /etc/init/logstash-server.conf:

# logstash server instance
description     "logstash server instance"
 
start on virtual-filesystems
stop on runlevel [06]
 
respawn
respawn limit 5 30
limit nofile 65550 65550
 
env HOME=/etc/logstash
chdir /etc/logstash
setuid logstash
setgid adm
console log
 
#Minimaalne ja maksimaalne javale lubatud mälumaht
#env JAVA_OPTS='-Xms512m -Xmx512m'
 
script
      exec java -jar /etc/logstash/logstash.jar agent -f /etc/logstash/logstash.conf
end script

Käsitsi saab Logstash'i käivitada käsuga:

initctl start logstash-server

Elasticsearch

Rakenduse allalaadimine, selle paigaldamine ja pärast paigaldust allalaetud faili eemaldamine:

wget https://download.elasticsearch.org/elasticsearch/elasticsearch/elasticsearch-0.90.0.deb
dpkg -i elasticsearch-0.90.0.deb
rm elasticsearch-0.90.0.deb

Käsitsi saab Elasticsearch’i käivitada käsuga:

service elasticsearch start

Kibana

Kuna Kibana vajab oma tööks ruby ja rubygems pakke, siis paigaldame need:

apt-get install ruby1.9.3 rubygems

Rakenduse allalaadimine, installimine ja pärast paigaldamist allalaetud faili eemaldamine:

wget https://github.com/rashidkpc/Kibana/archive/v0.2.0.tar.gz
tar -zxf v0.2.0.tar.gz
mv Kibana-0.2.0/ /etc/kibana
rm v0.2.0.tar.gz
cd /etc/kibana
gem install bundler
bundle install

Rakenduse konfiguratsioon asub failis /etc/kibana/KibanaConfig.rb . Muudame parameetri KibanaHost väärtust, et Kibana kasutajakeskkond oleks veebiserveriga ligipääsetav.

nano /etc/kibana/KibanaConfig.rb
KibanaHost = '192.168.56.201’

Loome Kibana jaoks samuti Upstart kirje:

Loome konfiguratsioonifaili /etc/init/kibana.conf ja sisestame:

nano /etc/init/kibana.conf
# kibana.conf# kibana - log viewer
description     "Kibana logstash viewer"
 
start on virtual-filesystems
stop on runlevel [06]
 
respawn
respawn limit 5 30
limit nofile 65550 65550
 
# Environment
env HOME=/etc/kibana/
chdir /etc/kibana
setuid logstash
setgid adm
console log
 
# Run Kibana, which is in /etc/kibana
script
      ruby /etc/kibana/kibana.rb
end script


Käsitsi saab Kibana't käivitada käsuga:

initctl start kibana

Kliendi seadistamine

Kliendina kasutame samuti juba meile tuttavaks saanud virtuaalmasinat, mille saime siit.

Rsyslog

Kui rsyslog’i vaikimisi paigaldatud pole, siis selle paigaldamiseks tuleb tegutseda järgmiselt:

apt-get update
apt-get install rsyslog

Konfiguratsioonifaili /etc/rsyslog.conf muutmine:

lisame rea *.* @@192.168.56.201:10514

@ - selle parameetri kasutamisel edastatakse sõnumid logiserverile kasutades UDP protokolli @@ - selle parameetri kasutamisel edastatakse sõnumid logiserverile kasutades TCP protokolli

  • .* - selle parameetriga määrame ära, et edastatakse kõik sõnumid logiserverile

Pärast konfiguratsioonifaili muutmist on oluline teha teenusele restart:

service rsyslog restart

Lisame /etc/hosts faili meie eelnevalt seadistatud logiserveri kirje, kasutades selleks logiserveri IP'd, täispikka domeeninime ja serveri nime:

192.168.56.201          rsyslog.planet.zz         rsyslog

Lahenduse testimine

1. Oma lahenduse käigus lisasime Upstart’i kirjed Kibana ja Logstash’i jaoks, et need logiserveri käivitamisel automaatselt tööle hakkaksid. Selle testimiseks pole muud paremat moodust, kui server seisma panna ning uuesti käima panna. Serveri käivitamisel veendume, et vajalikud teenused on üleval(Kibana,Elasticsearch,Logstash).

2. Kontrollimaks, kas seadistatud veebiliides töötab ning meil sellele ligipääs on, sisestame veebibrauserisse aadressi: 192.168.56.201:5601

Tulemus

Rsyslog edastab sündmused kesksele logiserverile, kus jookseb Logstash. Logiteated salvestatakse Elasticsearch’i andmebaasi. Kibana võimaldab veebiliidese vahendusel vaadelda logisid ning samuti võimaldab otsida logidest.



Autorid:

Kristiina Liebert

Chris Liebert


Kasutatud materjal: http://enos.itcollege.ee/~mernits/Linux%20administreerimine/Arnus%20-%20keskne%20logilahendus.pdf