Keskse logilahenduse rakendamine - Revision history

Mmattise: /* Elasticsearch */

2014-12-15T11:34:12Z

Elasticsearch

@@ Line 333: / Line 333: @@
 service elasticsearch start
 </source>
 =Kibana=

Sarnus: /* RELP */

2013-05-25T14:31:22Z

RELP

← Older revision		Revision as of 17:31, 25 May 2013
Line 142:		Line 142:
	Lisada konfiguratsioonifaili read:		Lisada konfiguratsioonifaili read:
	<source lang="bash">		<source lang="bash">
			$ActionQueueType LinkedList # use asynchronous processing
			$ActionQueueFileName srvrfwd # set file name, also enables disk mode
			$ActionResumeRetryCount -1 # infinite retries on insert failure
			$ActionQueueSaveOnShutdown on # save in-memory data if rsyslog shuts down

	$ModLoad omrelp		$ModLoad omrelp
	. :omrelp:192.168.13.52:10517		. :omrelp:192.168.13.52:10517

Sarnus: /* Kasutatud kirjandus */

2013-05-25T14:30:06Z

Kasutatud kirjandus

← Older revision		Revision as of 17:30, 25 May 2013
Line 413:		Line 413:
	http://www.rsyslog.com/doc/omrelp.html <br />		http://www.rsyslog.com/doc/omrelp.html <br />
	http://logstash.net/docs/1.1.12/inputs/relp <br />		http://logstash.net/docs/1.1.12/inputs/relp <br />
			http://www.rsyslog.com/doc/rsyslog_reliable_forwarding.html <br />

Sarnus: /* Seadistus */

2013-05-25T14:08:11Z

Seadistus

← Older revision		Revision as of 17:08, 25 May 2013
Line 183:		Line 183:
	type => "syslog-tcp"		type => "syslog-tcp"
	port => 10514		port => 10514
			}
			#Linux/Unix TCP alternatiiv. Pakub kindlamat sõnumite transporti
			relp {
			type => "RELP"
			port => 10517
	}		}
	#Windowsi logid		#Windowsi logid

Sarnus: /* Kasutatud kirjandus */

2013-05-25T14:04:55Z

Kasutatud kirjandus

← Older revision		Revision as of 17:04, 25 May 2013
Line 405:		Line 405:
	http://cookbook.logstash.net/recipes/using-upstart/ <br />		http://cookbook.logstash.net/recipes/using-upstart/ <br />
	https://gist.github.com/technosophos/5009484 <br />		https://gist.github.com/technosophos/5009484 <br />
			http://www.librelp.com/relp.html <br />
			http://www.rsyslog.com/doc/omrelp.html <br />
			http://logstash.net/docs/1.1.12/inputs/relp <br />

Sarnus: /* Seadistus */

2013-05-25T14:01:53Z

Seadistus

@@ Line 132: / Line 132: @@
 <source lang="bash">
 service rsyslog restart
 </source>

Sarnus: Created page with '=Eesmärk= Koguda lõputöö "Keskse logilahenduse rakendamine Hariduse Infotehnoloogia Sihtasutuses" raames valminud paigaldusjuhendid ühele lehele, võimaldades neid muuta nin…'

2013-05-24T10:20:33Z

Created page with '=Eesmärk= Koguda lõputöö "Keskse logilahenduse rakendamine Hariduse Infotehnoloogia Sihtasutuses" raames valminud paigaldusjuhendid ühele lehele, võimaldades neid muuta nin…'

New page

=Eesmärk=
Koguda lõputöö "Keskse logilahenduse rakendamine Hariduse Infotehnoloogia Sihtasutuses" raames valminud paigaldusjuhendid ühele lehele, võimaldades neid muuta ning täiendada.

=Lahendus=
Lühidalt näeb lahendus välja järgmine:
<br />
[[File:Logilahendus2.PNG]]
<br />

'''Rsyslog''' - logi klient, mis on paigaldatud Linux operatsioonisüsteemile. Saadab kõik oma logid edasi kesksele logiserverile

'''Nxlog''' - logi klient, mis on paigaldatud Windows operatsioonisüsteemile. Saadab kõik oma logid edasi kesksele logiserverile

'''Logstash''' - logiserver, võtab kõik logid vastu ning töötleb neid või saadab kohe edasi andmebaasi ja analüüsivahendile

'''Simple Event Correlator (SEC)''' - tegeleb logide analüüsi, korrelatsiooni ja administraatorite teavitamisega

'''Elasticsearch''' - talletab kõik logid ja jagab neid logide esitlusvahendiga

'''Kibana''' - võimaldab läbi veebiliidese sirvida ja otsida logisid

=Nxlog=
Testitud 64 bitise Windows 7 Professional operatsioonisüsteemi peal.

===Paigaldus===
Laadida alla viimane versioon tarkvarast (hetkel 2.4.1054):
http://sourceforge.net/projects/nxlog-ce/files/latest/download

Paigaldamine käib lihtsalt "Next" ja "Finish" nuppu vajutades.

===Seadistus===
Konfiguratsioonifail 64 bitise opsüsteemi puhul:<br />
C:\Program Files (x86)\nxlog\conf\nxlog.conf

Konfiguratsioonifail 32 bitise opsüsteemi puhul:<br />
C:\Program Files\nxlog\conf\nxlog.conf

Vastavalt opsüsteemile määrata konfiguratsioonifailis rakenduse asukoht, kommenteerides vale väärtus välja:<br />
<pre>
#define ROOT C:\Program Files\nxlog
define ROOT C:\Program Files (x86)\nxlog
</pre>

Muuta konfiguratsioon järgnevaks:<br />
<source lang="perl">
#64 bitise Windowsi puhul
#define ROOT C:\Program Files\nxlog
define ROOT C:\Program Files (x86)\nxlog

Moduledir %ROOT%\modules
CacheDir %ROOT%\data
Pidfile %ROOT%\data\nxlog.pid
SpoolDir %ROOT%\data
LogFile %ROOT%\data\nxlog.log

<Extension syslog>
#Pakub syslog tuge. Loob sõnumeid ja tegeleb kriitilisuse ja
#rakenduse valdkonna väärtustega
Module xm_syslog
</Extension>

<Input internal>
#Kogub sisemisi nxlog logisid
Module im_internal
</Input>

<Input eventlog>
#Kogub logisid uuematelt Windowsi opsüsteemidelt
#Windows 2008, Vista ja hilisemad
#Windows 2003 ja vanemad puhul tuleb kasutada im_mseventlog
Module im_msvistalog
</Input>

<Output out>
#Muuta IP-aadress ja port vastavalt
#logiserveri seadistustele
Module om_tcp
Host 192.168.13.52
Port 10515
#Muudab väljundi IETF syslog vormingusse
Exec to_syslog_ietf();
</Output>

<Route 1>
#Sisenditest eventlog ja internal kogutud logid
#saadetakse väljundisse out
Path eventlog, internal => out
</Route>
</source>

<source lang="bash"></source>

===Käivitamine===

Teenus, nimega nxlog, tuleb käivitada Windows „Services“ menüüst.

=Rsyslog=
Juhendis toodud käsud on mõeldud rakendamiseks Linux/Unix operatsioonisüsteemis. Testitud 64 bitise Ubuntu Server 12.04 operatsioonisüsteemi peal.

Kõikide käskude puhul on eeldatud, et need antakse root kasutaja õigustes, ehk käskude eest on jäetud ära ''sudo''.

===Paigaldus===
Rsyslog on vaikimisi paigaldatud uuematel distributsioonidel. Juhul kui ei ole, saab kasutada käske:

'''Ubuntu paigaldus'''
<source lang="bash">apt-get install rsyslog</source>

'''Debian paigaldus'''
<source lang="bash">apt-get install rsyslog</source>

'''OpenSUSE paigaldus'''
<source lang="bash">zypper install rsyslog</source>

'''CentOS paigaldus'''
<source lang="bash">yum install rsyslog</source>

===Seadistus===
Konfiguratsioonifail: '''/etc/rsyslog.conf'''

Konfiguratsioonifaili tuleb lisada rida, mis edastab kõik sõnumid (*.*) TCP protokolliga (@@) logiserverile, mille IP-aadress testkeskkonnas on 192.168.13.52 ja port 10514.

<source lang="bash">
# Edastab kõik sündmused logiserverile, TCP port 10514
*.* @@192.168.13.52:10514
</source>

Pärast seadistuse muutmist tuleb teha teenusele restart:
<source lang="bash">
service rsyslog restart
</source>

===Käivitamine===

<source lang="bash">
service rsyslog start
</source>

=Logstash=
Juhendis toodud käsud on mõeldud rakendamiseks Linux/Unix operatsioonisüsteemis. Testitud 64 bitise Ubuntu Server 12.04 operatsioonisüsteemi peal.

Kõikide käskude puhul on eeldatud, et need antakse root kasutaja õigustes, ehk käskude eest on jäetud ära ''sudo''.

===Paigaldus===
Viimane versioon on hetkel 1.1.12. Ennem paigaldamist tuleks kontrollida ega ei ole uuendusi.

====Sõltuvused====
<source lang="bash">
apt-get install openjdk-7-jre
mkdir /etc/logstash
</source>

====Rakendus====
<source lang="bash">
wget https://logstash.objects.dreamhost.com/release/logstash-1.1.12-flatjar.jar
mv logstash-1.1.12-flatjar.jar /etc/logstash/logstash.jar
</source>

===Seadistus===
Luua konfiguratsioonifail '''logstash.conf''' kausta '''/etc/logstash''' ning lisada konfiguratsioon:

<source lang="bash">
input {
#Linux/Unix süsteemidest tulevad logid
tcp {
type => "syslog-tcp"
port => 10514
}
#Windowsi logid
tcp {
type => "eventlog"
port => 10515
}
#Tulemüürid ja võrguseadmed, mis ei võimalda TCP'd
udp {
type => "syslog-udp"
port => 10516
}
#Logiserveri enda logid
file {
type => "logserver"
path => [ "/var/log/syslog", "/var/log/*.log" ]
}
}

output {
#Saadetakse andmebaasi
elasticsearch {
}
#Sisendiks SEC’ile
file {
path => "/var/log/logstash/log.out"
}
}
</source>

====Faili roteerimine====
Roteerime SEC sisendiks olevat faili korra päevas logrotate rakendust kasutades, jättes alles kaks varasemat versiooni ja kustutades ülejäänud, luues faili '''/etc/logrotate.d/logstash''' ja lisades faili järgnevad read:

<source lang="bash">
/var/log/logstash/log.out {
daily
copytruncate
rotate 2
}
</source>

===Käivitamine===
Käsitsi käivitamine:
<source lang="bash">
java -jar /etc/logstash/logstash.jar agent -f /etc/logstash/logstash.conf
</source>

Automaatseks rakenduse käivitamiseks saab kasutada rakendust Upstart.

====Upstart====

Loome vajaliku faili ja kastaja ning lisame kasutaja adm gruppi:
<source lang="bash">
touch /etc/init/logstash-server.conf
adduser --system --disabled-password --no-create-home --group --quiet logstash
usermod -a -G adm logstash
</source>

Muudame loodud kasutaja rakenduse kaustade omanikuks:
<source lang="bash">
chown -R logstash:adm /etc/logstash/
chown -R logstash:adm /var/log/logstash/
</source>

Lisame faili '''/etc/init/logstash-server.conf''':

<source lang="bash">
# logstash server instance
description "logstash server instance"

start on virtual-filesystems
stop on runlevel [06]

respawn
respawn limit 5 30
limit nofile 65550 65550

env HOME=/etc/logstash
chdir /etc/logstash
setuid logstash
setgid adm
console log

#Minimaalne ja maksimaalne javale lubatud mälumaht
#env JAVA_OPTS='-Xms512m -Xmx512m'

script
exec java -jar /etc/logstash/logstash.jar agent -f /etc/logstash/logstash.conf
end script
</source>

Serveri taaskäivitusel alustab logstash automaatselt tööd. Käsitsi saab käivitada rakendust käsuga:
<source lang="bash">
initctl start logstash-server
</source>

=Simple Event Correlator=
Juhendis toodud käsud on mõeldud rakendamiseks Linux/Unix operatsioonisüsteemis. Testitud 64 bitise Ubuntu Server 12.04 operatsioonisüsteemi peal.

Kõikide käskude puhul on eeldatud, et need antakse root kasutaja õigustes, ehk käskude eest on jäetud ära ''sudo''.

===Paigaldus===
<source lang="bash">
apt-get install sec
</source>

===Seadistus===
Konfiguratsioonifaili sec.conf loomine kausta /root ja täitmine konfiguratsiooniga. Vajalik reeglid tuleb kirjutada süsteemiadministraatorite poolt.

===Käivitamine===
Rakenduse käivitamiseks tuleb anda käsk:
<source lang="bash">
sec --conf=/root/sec.conf --input=/var/log/logstash/log.out --log=/var/log/sec
</source>

=Elasticsearch=
Juhendis toodud käsud on mõeldud rakendamiseks Linux/Unix operatsioonisüsteemis. Testitud 64 bitise Ubuntu Server 12.04 operatsioonisüsteemi peal.

Kõikide käskude puhul on eeldatud, et need antakse root kasutaja õigustes, ehk käskude eest on jäetud ära ''sudo''.

Nõutav on java olemasolu serveris. Logiserveri paigaldusele eelnes java paigaldus ning eeldame, et see on olemas.

===Paigaldus===
Viimane versioon on hetkel 0.90.0.
<source lang="bash">
wget https://download.elasticsearch.org/elasticsearch/elasticsearch/elasticsearch-0.90.0.deb
dpkg -i elasticsearch-0.90.0.deb
rm elasticsearch-0.90.0.deb
</source>

===Seadistus===
Hetkel kasutusel vaikimisi seadistus. Andmebaasi töö optimeerimiseks suuremate andmemahtude korral on soovitav seadistust muuta.

===Käivitamine===
<source lang="bash">
service elasticsearch start
</source>

=Kibana=
Juhendis toodud käsud on mõeldud rakendamiseks Linux/Unix operatsioonisüsteemis. Testitud 64 bitise Ubuntu Server 12.04 operatsioonisüsteemi peal.

Kõikide käskude puhul on eeldatud, et need antakse root kasutaja õigustes, ehk käskude eest on jäetud ära ''sudo''.

===Paigaldus===
Rakenduse viimane versioon on hetkel 0.2.0.

====Sõltuvused====
<source lang="bash">
apt-get install ruby1.9.3 rubygems
</source>

====Rakendus====
<source lang="bash">
wget https://github.com/rashidkpc/Kibana/archive/v0.2.0.tar.gz
tar -zxf v0.2.0.tar.gz
mv Kibana-0.2.0/ /etc/kibana
rm v0.2.0.tar.gz
cd /etc/kibana
gem install bundler
bundle install
</source>

===Seadistus===
Konfiguratsioon asub failis '''/etc/kibana/KibanaConfig.rb'''
Muudame väärtust KibanaHost, et veebiliides oleks kättesaadav ka väljaspoolt serverit.
<source lang="bash">
KibanaHost = '192.168.13.52'
</source>

===Käivitamine===
Manuaalselt saab rakendust käivitada käsuga:
<source lang="bash">
ruby /etc/kibana/kibana.rb
</source>

Automaatselt saab seadistada rakenduse käivituma programmiga Upstart.

====Upstart====
Loome konfiguratsioonifaili '''/etc/init/kibana.conf''' ja lisame read:
<source lang="bash">
# kibana.conf# kibana - log viewer
description "Kibana logstash viewer"

start on virtual-filesystems
stop on runlevel [06]

respawn
respawn limit 5 30
limit nofile 65550 65550

# Environment
env HOME=/etc/kibana/
chdir /etc/kibana
setuid logstash
setgid adm
console log

# Run Kibana, which is in /etc/kibana
script
ruby /etc/kibana/kibana.rb
end script
</source>

Serveri taaskäivitusel alustab kibana automaatselt tööd. Käsitsi saab käivitada rakendust käsuga:
<source lang="bash">
initctl start kibana
</source>

====Veebiliides====
Näites kasutatud seadistuste korral asub Kibana veebiliides aadressil:
'''192.168.13.52:5601'''

=Kasutatud kirjandus=
http://www.rackspace.com/knowledge_center/article/understanding-logrotate-part-2 <br />
http://cookbook.logstash.net/recipes/using-upstart/ <br />
https://gist.github.com/technosophos/5009484 <br />