Difference between revisions of "Keskse logihalduse süsteem Splunk baasil"

From ICO wiki
 
(21 intermediate revisions by the same user not shown)
Line 13: Line 13:
  
 
<br/>
 
<br/>
[[File:splunkstruktuur.jpg]]
+
[[File:RsysSplunk.jpg]]
 
<br/>
 
<br/>
 +
Joonis 1: Virtuaalmasinate topoloogia
  
 
= Kasutatud tarkvara =
 
= Kasutatud tarkvara =
Line 22: Line 23:
  
 
Splunk 6.0.1 - võtab vastu ja töötleb logisi
 
Splunk 6.0.1 - võtab vastu ja töötleb logisi
 +
 +
= Sissejuhatus =
 +
 +
Splunk pakub palju erinevaid teenuseid, näiteks: Andmete otsing, süsteemide/seadmete monitooring, analüüs, andmete visualiseerimine, turvaintsidentide monitooring, transaktsioonide analüüs, kasutajate vaatlus, probleemide diagnoosimine, turvaohtude monitooring jne. Splunk tarkvara on lihtne paigaldada.
 +
Praeguseks kasutab Splunk tarkvara enam kui 6,400 liiget. Nendeks on ettevõtted, ülikoolid, riigiasutused ja teenusepakkujad, 90 erinevas riigis.
 +
Splunk pakub ka tasuta versiooni oma tarkvarast, mis on pigem mõeldud väiksematele ettevõttetele. Tasuta versioon piirab andmete indekseerimist 500 MB päevas. Nõudlikumale süsteemile tuleb juurde osta indekseeritavat andmemahtu mis on äärmiselt kallis. Erinevate allikate põhjal läheks 5 GB indekseerimine päevas maksma ligi 30 000 dollarit.
 +
Alternatiivina pakuksin välja kas LogStashi (http://www.logstash.net) või Fluentd (http://www.fluentd.org).
  
  
Line 34: Line 42:
 
Nimi - Ubuntu
 
Nimi - Ubuntu
 
IP - Staatiline 192.168.56.200
 
IP - Staatiline 192.168.56.200
 +
 
Mõlemal virtuaalmasinal on kasutatud eelnevalt eksporditud ubuntu Client/Server .OAV tõmmist (image). Tarkvara on pärit IT Kolledži Elab keskkonnast.
 
Mõlemal virtuaalmasinal on kasutatud eelnevalt eksporditud ubuntu Client/Server .OAV tõmmist (image). Tarkvara on pärit IT Kolledži Elab keskkonnast.
  
Line 41: Line 50:
 
Järgnevad tegevused tehakse Klient arvutis nimega desktop.
 
Järgnevad tegevused tehakse Klient arvutis nimega desktop.
  
[http://virtuallyhyper.com/2013/06/install-splunk-and-send-logs-to-splunk-with-rsyslog-over-tcp-with-ssl/]
+
[http://docs.splunk.com/Documentation/Splunk/6.0.1/Installation/InstallonLinux]
  
 
Paigalduse alustamiseks tuleb allalaadida Splunk tarkvara. Juhendis on kasutatud Splunk 6.0.1 Linuxi 64bit versiooni.
 
Paigalduse alustamiseks tuleb allalaadida Splunk tarkvara. Juhendis on kasutatud Splunk 6.0.1 Linuxi 64bit versiooni.
Tarkvara saab alla laadida siit: [http://www.splunk.com/download]
+
Tarkvara saab allalaadida siit: [http://www.splunk.com/download]
 
 
 
 
<br/>
 
[[File:splunkdownload.JPG]]
 
<br/>
 
 
 
  
 
Peale faili allalaadimist tuleb paigaldada paigalduspakett, selleks kasutada käsku:
 
Peale faili allalaadimist tuleb paigaldada paigalduspakett, selleks kasutada käsku:
Line 68: Line 71:
 
[[File:splunkfin.JPG]]
 
[[File:splunkfin.JPG]]
 
<br/>
 
<br/>
 +
Joonis 2: Splunk veebiliidese aadress.
  
  
Vaikimisi peaks Splunk töötama portidel 8000 ja 8089. Antud väite kindlastegemisel kasutame käsku:
+
 
 +
[http://virtuallyhyper.com/2013/06/install-splunk-and-send-logs-to-splunk-with-rsyslog-over-tcp-with-ssl/]Vaikimisi töötab Splunk portidel 8000 ja 8089. Kontrolliks kasutame käsku:
 
  netstat -antp | grep -E '8000|8089'
 
  netstat -antp | grep -E '8000|8089'
 
   
 
   
Line 77: Line 82:
 
[[File:portcheck.JPG]]
 
[[File:portcheck.JPG]]
 
<br/>
 
<br/>
+
Joonis 3: Splunk TCP portide kontroll.
 +
 
 +
 
  
 
Järgmiseks anname portidele 8000 ja 8089 tulemüüri läbimisõigused. Kasutame käske:
 
Järgmiseks anname portidele 8000 ja 8089 tulemüüri läbimisõigused. Kasutame käske:
Line 87: Line 94:
 
[[File:iptables.JPG]]
 
[[File:iptables.JPG]]
 
<br/>
 
<br/>
+
Joonis 4: Tulemüüri reeglite lisamine.
 +
 
 +
 
  
 
Jägnevalt tuleb teha tülemüüri rakendusele taaskäivitus.
 
Jägnevalt tuleb teha tülemüüri rakendusele taaskäivitus.
 
  sudo service ufw restart
 
  sudo service ufw restart
 
   
 
   
 
<br/>
 
[[File:iptablesrestart.JPG]]
 
<br/>
 
 
  
 
Viimaks tuleb vaadata, kas uued reeglid on aktiivsed. Selleks kasutame käsku:
 
Viimaks tuleb vaadata, kas uued reeglid on aktiivsed. Selleks kasutame käsku:
Line 105: Line 109:
 
[[File:iptablescheck.JPG]]
 
[[File:iptablescheck.JPG]]
 
<br/>
 
<br/>
 +
Joonis 5: Tulemüüri reeglite kontroll.
 +
  
  
 
== Splunk veebiliidese paigaldus ==
 
== Splunk veebiliidese paigaldus ==
Järgnevalt kasutame veebilehitsejat. Liigume aadressile http://192.168.56.101:8000  
+
[http://chase-seibert.github.io/blog/2010/12/31/splunkrsyslogapacheubuntu-quickstart.html]Järgnevalt kasutame veebilehitsejat. Liigume aadressile http://192.168.56.101:8000  
 
Algselt on kasutajatunnuseks admin ja parooliks changeme.
 
Algselt on kasutajatunnuseks admin ja parooliks changeme.
  
Line 118: Line 124:
 
[[File:splunkweb.JPG]]
 
[[File:splunkweb.JPG]]
 
<br/>
 
<br/>
 +
Joonis 6: Splunk veebiliidese "Login" ekraan.
 +
  
  
Line 123: Line 131:
  
 
Avanenud aknas vajutame nupule "Add data".
 
Avanenud aknas vajutame nupule "Add data".
 
 
<br/>
 
[[File:addnupp.JPG]]
 
<br/>
 
  
  
Line 136: Line 139:
 
[[File:adddata.JPG]]
 
[[File:adddata.JPG]]
 
<br/>
 
<br/>
 +
Joonis 7: Splunk andmepõhjade mudel.
 +
 +
  
  
 
Järgenevast valikust valime "Consume syslog over TCP" ja vajutame nupule "next"
 
Järgenevast valikust valime "Consume syslog over TCP" ja vajutame nupule "next"
 
<br/>
 
<br/>
 
[[File:syslogovertcp.JPG]]
 
<br/>
 
  
  
Line 158: Line 159:
 
[[File:syslogconf1.JPG]]
 
[[File:syslogconf1.JPG]]
 
<br/>
 
<br/>
 
+
Joonis 8: Splunk Syslogi paigaldus osa1
 
<br/>
 
<br/>
 
<br/>
 
<br/>
 
[[File:syslogconf2.JPG]]
 
[[File:syslogconf2.JPG]]
 
<br/>
 
<br/>
 +
Joonis 9: Splunk Syslogi paigaldus osa2
  
  
Eduka salvestamise puhul peaks kasutaja nägema järgmist pilti:
 
 
<br/>
 
[[File:syslogsuccess.JPG]]
 
<br/>
 
  
 +
Eduka salvestamise puhul peaks kasutaja nägema järgmist pilti, kus on kirjas "Sucess! Your data is being indexed into Splunk"
  
  
Line 182: Line 180:
 
[[File:splunknenstatgrep.JPG]]
 
[[File:splunknenstatgrep.JPG]]
 
<br/>
 
<br/>
 +
Joonis 10: Port 514 kontroll
 
<br/>
 
<br/>
  
  
Viimas lisame pordile 514 tulemüüri läbipääsu reegli ja teeme tulemüüri rakendusele taaskäivituse.
+
 
 +
Viimaks lisame pordile 514 tulemüüri läbipääsu reegli ja teeme tulemüüri rakendusele taaskäivituse.
 
  sudo iptables -A INPUT -m state --state NEW -m tcp -p tcp --dport 514 -j ACCEPT
 
  sudo iptables -A INPUT -m state --state NEW -m tcp -p tcp --dport 514 -j ACCEPT
 
   
 
   
Line 194: Line 194:
 
[[File:port514plusrestart.JPG]]
 
[[File:port514plusrestart.JPG]]
 
<br/>
 
<br/>
 +
Joonis 11: Port 15 tulemüüri reegel.
 +
  
  
Line 211: Line 213:
 
Peale muudatuste tegemist tuleb rsyslog rakendusele teha taaskäivitus.
 
Peale muudatuste tegemist tuleb rsyslog rakendusele teha taaskäivitus.
 
  sudo service rsyslog restart
 
  sudo service rsyslog restart
 +
 +
= Kokkuvõtte=
 +
 +
Lõpplahendusena valmis keskne logihaldussüsteem Splunk baasil selleks, et oleks võimalik vaadata ning analüüsida logisid Splunk veebiliidese abil.
  
 
= Kasutatud kirjandus =
 
= Kasutatud kirjandus =
 +
 +
http://docs.splunk.com/Documentation/Storm/Storm/User/Howtosetuprsyslog
 +
 +
http://chase-seibert.github.io/blog/2010/12/31/splunkrsyslogapacheubuntu-quickstart.html
  
 
http://virtuallyhyper.com/2013/06/install-splunk-and-send-logs-to-splunk-with-rsyslog-over-tcp-with-ssl/
 
http://virtuallyhyper.com/2013/06/install-splunk-and-send-logs-to-splunk-with-rsyslog-over-tcp-with-ssl/
 +
 +
http://serverfault.com/questions/239401/splunk-is-fantastically-expensive-what-are-the-alternatives
 +
 +
http://www.splunk.com/view/benefits/SP-CAAACCS

Latest revision as of 19:11, 17 January 2014

Labor 2 - Keskse logihalduse süsteem Splunk baasil

Autor: Veiko Virk

A31

10.01.2014

Õppeaine : Linuxi administreerimine

Ülesande püstitus

Luua keskse logihalduse süsteem Splunk baasil, kasutades kahte masinat (server, klient)


RsysSplunk.jpg
Joonis 1: Virtuaalmasinate topoloogia

Kasutatud tarkvara

Server : Ubuntu Server 64bit, versioon: 12.04 Saadab logisi läbi rsyslog tarkvara

Klient : Ubuntu client 64bit, versioon 13.04 Platvorm mille peal Splunk töötab

Splunk 6.0.1 - võtab vastu ja töötleb logisi

Sissejuhatus

Splunk pakub palju erinevaid teenuseid, näiteks: Andmete otsing, süsteemide/seadmete monitooring, analüüs, andmete visualiseerimine, turvaintsidentide monitooring, transaktsioonide analüüs, kasutajate vaatlus, probleemide diagnoosimine, turvaohtude monitooring jne. Splunk tarkvara on lihtne paigaldada. Praeguseks kasutab Splunk tarkvara enam kui 6,400 liiget. Nendeks on ettevõtted, ülikoolid, riigiasutused ja teenusepakkujad, 90 erinevas riigis. Splunk pakub ka tasuta versiooni oma tarkvarast, mis on pigem mõeldud väiksematele ettevõttetele. Tasuta versioon piirab andmete indekseerimist 500 MB päevas. Nõudlikumale süsteemile tuleb juurde osta indekseeritavat andmemahtu mis on äärmiselt kallis. Erinevate allikate põhjal läheks 5 GB indekseerimine päevas maksma ligi 30 000 dollarit. Alternatiivina pakuksin välja kas LogStashi (http://www.logstash.net) või Fluentd (http://www.fluentd.org).


Protokoll

Serveri ja kliendi algsed seaded antu näite puhul

Klient: Nimi - desktop IP - Staatiline 192.168.56.101

Server: Nimi - Ubuntu IP - Staatiline 192.168.56.200

Mõlemal virtuaalmasinal on kasutatud eelnevalt eksporditud ubuntu Client/Server .OAV tõmmist (image). Tarkvara on pärit IT Kolledži Elab keskkonnast.

Järgevalt eeldab autor, et paigaldatud server ja klient suudavad omavahel suhelda.

Splunk paigaldus

Järgnevad tegevused tehakse Klient arvutis nimega desktop.

[1]

Paigalduse alustamiseks tuleb allalaadida Splunk tarkvara. Juhendis on kasutatud Splunk 6.0.1 Linuxi 64bit versiooni. Tarkvara saab allalaadida siit: [2]

Peale faili allalaadimist tuleb paigaldada paigalduspakett, selleks kasutada käsku:

sudo dpkg -i /home/student/Downloads/splunker/splunk-6.0.1-189883-linux-2.6-amd64.deb

Antud näite puhul asetseb paigalduspakett /home/student/Downloads/splunker/ alamkatalogis.

Splunk tarkvara paigaldamiseks kasutada käsku:

sudo /opt/splunk/bin/splunk start

Peale paigaldust kuvatakse kasutajale Splunk veebiliidese asukoht. Antud näite puhul on selleks http://desktop:8000



Splunkfin.JPG
Joonis 2: Splunk veebiliidese aadress.


[3]Vaikimisi töötab Splunk portidel 8000 ja 8089. Kontrolliks kasutame käsku:

netstat -antp | grep -E '8000|8089'


Portcheck.JPG
Joonis 3: Splunk TCP portide kontroll.


Järgmiseks anname portidele 8000 ja 8089 tulemüüri läbimisõigused. Kasutame käske:

sudo iptables -A INPUT -m state --state NEW -m tcp -p tcp --dport 8000 -j ACCEPT
sudo iptables -A INPUT -m state --state NEW -m tcp -p tcp --dport 8089 -j ACCEPT


Iptables.JPG
Joonis 4: Tulemüüri reeglite lisamine.


Jägnevalt tuleb teha tülemüüri rakendusele taaskäivitus.

sudo service ufw restart

Viimaks tuleb vaadata, kas uued reeglid on aktiivsed. Selleks kasutame käsku:

iptables -L -n | grep -E '8000|8089'



Iptablescheck.JPG
Joonis 5: Tulemüüri reeglite kontroll.


Splunk veebiliidese paigaldus

[4]Järgnevalt kasutame veebilehitsejat. Liigume aadressile http://192.168.56.101:8000 Algselt on kasutajatunnuseks admin ja parooliks changeme.

Peale sisselogimist kohustab programm parooli vahetama. Antud näites on kasutajatunnuseks: admin ja parooliks student.



Splunkweb.JPG
Joonis 6: Splunk veebiliidese "Login" ekraan.


Õnnestunud sisselogimisel kuvatakse kasutajale splunk veebiportaali.

Avanenud aknas vajutame nupule "Add data".


Järgnevast menüüst vajutame valikul "Syslog"



Adddata.JPG
Joonis 7: Splunk andmepõhjade mudel.



Järgenevast valikust valime "Consume syslog over TCP" ja vajutame nupule "next"


Avanevas aknas tuleb täita järgnevad väljad: TCP port - 514 Select source type from list - syslog

More settings Set host - IP

ja vajutada nupule "Save"

Syslogconf1.JPG
Joonis 8: Splunk Syslogi paigaldus osa1

Syslogconf2.JPG
Joonis 9: Splunk Syslogi paigaldus osa2


Eduka salvestamise puhul peaks kasutaja nägema järgmist pilti, kus on kirjas "Sucess! Your data is being indexed into Splunk"


Järgnevalt tuleb tagasi minna Splunk serveri juurde (masin kuhu Splunk paigaldati).

Juhul kui veebiliideses sai kõik korrektselt sisestatud, peaks splunk kuulama 514 porti.

netstat -antp | grep 514



Splunknenstatgrep.JPG
Joonis 10: Port 514 kontroll


Viimaks lisame pordile 514 tulemüüri läbipääsu reegli ja teeme tulemüüri rakendusele taaskäivituse.

sudo iptables -A INPUT -m state --state NEW -m tcp -p tcp --dport 514 -j ACCEPT

sudo service ufw restart


Port514plusrestart.JPG
Joonis 11: Port 15 tulemüüri reegel.


Paigaldame Rsyslogi saatma logisi Splunk serverile

Järgnevad tegevused tuimuvad Serveris nimega Ubuntu.

Selleks, et Rsyslog saadaks Klient arvutile logisi tuleb muuta rsyslog konfiguratsioonifail.

Muudame faili /etc/rsyslog.conf

sudo nano /etc/rsyslog.conf

Lisame rsyslog faili lõppu järgneva rea:

*.* @@192.168.56.101:514

Peale muudatuste tegemist tuleb rsyslog rakendusele teha taaskäivitus.

sudo service rsyslog restart

Kokkuvõtte

Lõpplahendusena valmis keskne logihaldussüsteem Splunk baasil selleks, et oleks võimalik vaadata ning analüüsida logisid Splunk veebiliidese abil.

Kasutatud kirjandus

http://docs.splunk.com/Documentation/Storm/Storm/User/Howtosetuprsyslog

http://chase-seibert.github.io/blog/2010/12/31/splunkrsyslogapacheubuntu-quickstart.html

http://virtuallyhyper.com/2013/06/install-splunk-and-send-logs-to-splunk-with-rsyslog-over-tcp-with-ssl/

http://serverfault.com/questions/239401/splunk-is-fantastically-expensive-what-are-the-alternatives

http://www.splunk.com/view/benefits/SP-CAAACCS