Keskse logihalduse süsteem Splunk baasil: Difference between revisions

From ICO wiki
Jump to navigationJump to search
No edit summary
No edit summary
 
(18 intermediate revisions by the same user not shown)
Line 15: Line 15:
[[File:RsysSplunk.jpg]]
[[File:RsysSplunk.jpg]]
<br/>
<br/>
Joonis 1: Virtuaalmasinate topoloogia


= Kasutatud tarkvara =
= Kasutatud tarkvara =
Line 22: Line 23:


Splunk 6.0.1 - võtab vastu ja töötleb logisi
Splunk 6.0.1 - võtab vastu ja töötleb logisi
= Sissejuhatus =
Splunk pakub palju erinevaid teenuseid, näiteks: Andmete otsing, süsteemide/seadmete monitooring, analüüs, andmete visualiseerimine, turvaintsidentide monitooring, transaktsioonide analüüs, kasutajate vaatlus, probleemide diagnoosimine, turvaohtude monitooring jne. Splunk tarkvara on lihtne paigaldada.
Praeguseks kasutab Splunk tarkvara enam kui 6,400 liiget. Nendeks on ettevõtted, ülikoolid, riigiasutused ja teenusepakkujad, 90 erinevas riigis.
Splunk pakub ka tasuta versiooni oma tarkvarast, mis on pigem mõeldud väiksematele ettevõttetele. Tasuta versioon piirab andmete indekseerimist 500 MB päevas. Nõudlikumale süsteemile tuleb juurde osta indekseeritavat andmemahtu mis on äärmiselt kallis. Erinevate allikate põhjal läheks 5 GB indekseerimine päevas maksma ligi 30 000 dollarit.
Alternatiivina pakuksin välja kas LogStashi (http://www.logstash.net) või Fluentd (http://www.fluentd.org).




Line 42: Line 50:
Järgnevad tegevused tehakse Klient arvutis nimega desktop.
Järgnevad tegevused tehakse Klient arvutis nimega desktop.


[http://virtuallyhyper.com/2013/06/install-splunk-and-send-logs-to-splunk-with-rsyslog-over-tcp-with-ssl/]
[http://docs.splunk.com/Documentation/Splunk/6.0.1/Installation/InstallonLinux]


Paigalduse alustamiseks tuleb allalaadida Splunk tarkvara. Juhendis on kasutatud Splunk 6.0.1 Linuxi 64bit versiooni.
Paigalduse alustamiseks tuleb allalaadida Splunk tarkvara. Juhendis on kasutatud Splunk 6.0.1 Linuxi 64bit versiooni.
Line 63: Line 71:
[[File:splunkfin.JPG]]
[[File:splunkfin.JPG]]
<br/>
<br/>
Joonis 2: Splunk veebiliidese aadress.




Vaikimisi peaks Splunk töötama portidel 8000 ja 8089. Antud väite kindlastegemisel kasutame käsku:
 
[http://virtuallyhyper.com/2013/06/install-splunk-and-send-logs-to-splunk-with-rsyslog-over-tcp-with-ssl/]Vaikimisi töötab Splunk portidel 8000 ja 8089. Kontrolliks kasutame käsku:
  netstat -antp | grep -E '8000|8089'
  netstat -antp | grep -E '8000|8089'
   
   
Line 72: Line 82:
[[File:portcheck.JPG]]
[[File:portcheck.JPG]]
<br/>
<br/>
Joonis 3: Splunk TCP portide kontroll.
 
 


Järgmiseks anname portidele 8000 ja 8089 tulemüüri läbimisõigused. Kasutame käske:
Järgmiseks anname portidele 8000 ja 8089 tulemüüri läbimisõigused. Kasutame käske:
Line 82: Line 94:
[[File:iptables.JPG]]
[[File:iptables.JPG]]
<br/>
<br/>
Joonis 4: Tulemüüri reeglite lisamine.
 
 


Jägnevalt tuleb teha tülemüüri rakendusele taaskäivitus.
Jägnevalt tuleb teha tülemüüri rakendusele taaskäivitus.
  sudo service ufw restart
  sudo service ufw restart
   
   
<br/>
[[File:iptablesrestart.JPG]]
<br/>


Viimaks tuleb vaadata, kas uued reeglid on aktiivsed. Selleks kasutame käsku:
Viimaks tuleb vaadata, kas uued reeglid on aktiivsed. Selleks kasutame käsku:
Line 100: Line 109:
[[File:iptablescheck.JPG]]
[[File:iptablescheck.JPG]]
<br/>
<br/>
Joonis 5: Tulemüüri reeglite kontroll.




== Splunk veebiliidese paigaldus ==
== Splunk veebiliidese paigaldus ==
Järgnevalt kasutame veebilehitsejat. Liigume aadressile http://192.168.56.101:8000  
[http://chase-seibert.github.io/blog/2010/12/31/splunkrsyslogapacheubuntu-quickstart.html]Järgnevalt kasutame veebilehitsejat. Liigume aadressile http://192.168.56.101:8000  
Algselt on kasutajatunnuseks admin ja parooliks changeme.
Algselt on kasutajatunnuseks admin ja parooliks changeme.


Line 113: Line 124:
[[File:splunkweb.JPG]]
[[File:splunkweb.JPG]]
<br/>
<br/>
Joonis 6: Splunk veebiliidese "Login" ekraan.




Line 118: Line 131:


Avanenud aknas vajutame nupule "Add data".
Avanenud aknas vajutame nupule "Add data".
<br/>
[[File:addnupp.JPG]]
<br/>




Line 131: Line 139:
[[File:adddata.JPG]]
[[File:adddata.JPG]]
<br/>
<br/>
Joonis 7: Splunk andmepõhjade mudel.




Järgenevast valikust valime "Consume syslog over TCP" ja vajutame nupule "next"
Järgenevast valikust valime "Consume syslog over TCP" ja vajutame nupule "next"
<br/>
<br/>
[[File:syslogovertcp.JPG]]
<br/>




Line 153: Line 159:
[[File:syslogconf1.JPG]]
[[File:syslogconf1.JPG]]
<br/>
<br/>
 
Joonis 8: Splunk Syslogi paigaldus osa1
<br/>
<br/>
<br/>
<br/>
[[File:syslogconf2.JPG]]
[[File:syslogconf2.JPG]]
<br/>
<br/>
Joonis 9: Splunk Syslogi paigaldus osa2




Eduka salvestamise puhul peaks kasutaja nägema järgmist pilti:
<br/>
[[File:syslogsuccess.JPG]]
<br/>


Eduka salvestamise puhul peaks kasutaja nägema järgmist pilti, kus on kirjas "Sucess! Your data is being indexed into Splunk"




Line 177: Line 180:
[[File:splunknenstatgrep.JPG]]
[[File:splunknenstatgrep.JPG]]
<br/>
<br/>
Joonis 10: Port 514 kontroll
<br/>
<br/>




Viimas lisame pordile 514 tulemüüri läbipääsu reegli ja teeme tulemüüri rakendusele taaskäivituse.
 
Viimaks lisame pordile 514 tulemüüri läbipääsu reegli ja teeme tulemüüri rakendusele taaskäivituse.
  sudo iptables -A INPUT -m state --state NEW -m tcp -p tcp --dport 514 -j ACCEPT
  sudo iptables -A INPUT -m state --state NEW -m tcp -p tcp --dport 514 -j ACCEPT
   
   
Line 189: Line 194:
[[File:port514plusrestart.JPG]]
[[File:port514plusrestart.JPG]]
<br/>
<br/>
Joonis 11: Port 15 tulemüüri reegel.




Line 206: Line 213:
Peale muudatuste tegemist tuleb rsyslog rakendusele teha taaskäivitus.
Peale muudatuste tegemist tuleb rsyslog rakendusele teha taaskäivitus.
  sudo service rsyslog restart
  sudo service rsyslog restart
= Kokkuvõtte=
Lõpplahendusena valmis keskne logihaldussüsteem Splunk baasil selleks, et oleks võimalik vaadata ning analüüsida logisid Splunk veebiliidese abil.


= Kasutatud kirjandus =
= Kasutatud kirjandus =
http://docs.splunk.com/Documentation/Storm/Storm/User/Howtosetuprsyslog
http://chase-seibert.github.io/blog/2010/12/31/splunkrsyslogapacheubuntu-quickstart.html


http://virtuallyhyper.com/2013/06/install-splunk-and-send-logs-to-splunk-with-rsyslog-over-tcp-with-ssl/
http://virtuallyhyper.com/2013/06/install-splunk-and-send-logs-to-splunk-with-rsyslog-over-tcp-with-ssl/
http://serverfault.com/questions/239401/splunk-is-fantastically-expensive-what-are-the-alternatives
http://www.splunk.com/view/benefits/SP-CAAACCS

Latest revision as of 19:11, 17 January 2014

Labor 2 - Keskse logihalduse süsteem Splunk baasil

Autor: Veiko Virk

A31

10.01.2014

Õppeaine : Linuxi administreerimine

Ülesande püstitus

Luua keskse logihalduse süsteem Splunk baasil, kasutades kahte masinat (server, klient)



Joonis 1: Virtuaalmasinate topoloogia

Kasutatud tarkvara

Server : Ubuntu Server 64bit, versioon: 12.04 Saadab logisi läbi rsyslog tarkvara

Klient : Ubuntu client 64bit, versioon 13.04 Platvorm mille peal Splunk töötab

Splunk 6.0.1 - võtab vastu ja töötleb logisi

Sissejuhatus

Splunk pakub palju erinevaid teenuseid, näiteks: Andmete otsing, süsteemide/seadmete monitooring, analüüs, andmete visualiseerimine, turvaintsidentide monitooring, transaktsioonide analüüs, kasutajate vaatlus, probleemide diagnoosimine, turvaohtude monitooring jne. Splunk tarkvara on lihtne paigaldada. Praeguseks kasutab Splunk tarkvara enam kui 6,400 liiget. Nendeks on ettevõtted, ülikoolid, riigiasutused ja teenusepakkujad, 90 erinevas riigis. Splunk pakub ka tasuta versiooni oma tarkvarast, mis on pigem mõeldud väiksematele ettevõttetele. Tasuta versioon piirab andmete indekseerimist 500 MB päevas. Nõudlikumale süsteemile tuleb juurde osta indekseeritavat andmemahtu mis on äärmiselt kallis. Erinevate allikate põhjal läheks 5 GB indekseerimine päevas maksma ligi 30 000 dollarit. Alternatiivina pakuksin välja kas LogStashi (http://www.logstash.net) või Fluentd (http://www.fluentd.org).


Protokoll

Serveri ja kliendi algsed seaded antu näite puhul

Klient: Nimi - desktop IP - Staatiline 192.168.56.101

Server: Nimi - Ubuntu IP - Staatiline 192.168.56.200

Mõlemal virtuaalmasinal on kasutatud eelnevalt eksporditud ubuntu Client/Server .OAV tõmmist (image). Tarkvara on pärit IT Kolledži Elab keskkonnast.

Järgevalt eeldab autor, et paigaldatud server ja klient suudavad omavahel suhelda.

Splunk paigaldus

Järgnevad tegevused tehakse Klient arvutis nimega desktop.

[1]

Paigalduse alustamiseks tuleb allalaadida Splunk tarkvara. Juhendis on kasutatud Splunk 6.0.1 Linuxi 64bit versiooni. Tarkvara saab allalaadida siit: [2]

Peale faili allalaadimist tuleb paigaldada paigalduspakett, selleks kasutada käsku:

sudo dpkg -i /home/student/Downloads/splunker/splunk-6.0.1-189883-linux-2.6-amd64.deb

Antud näite puhul asetseb paigalduspakett /home/student/Downloads/splunker/ alamkatalogis.

Splunk tarkvara paigaldamiseks kasutada käsku:

sudo /opt/splunk/bin/splunk start

Peale paigaldust kuvatakse kasutajale Splunk veebiliidese asukoht. Antud näite puhul on selleks http://desktop:8000




Joonis 2: Splunk veebiliidese aadress.


[3]Vaikimisi töötab Splunk portidel 8000 ja 8089. Kontrolliks kasutame käsku:

netstat -antp | grep -E '8000|8089'



Joonis 3: Splunk TCP portide kontroll.


Järgmiseks anname portidele 8000 ja 8089 tulemüüri läbimisõigused. Kasutame käske:

sudo iptables -A INPUT -m state --state NEW -m tcp -p tcp --dport 8000 -j ACCEPT
sudo iptables -A INPUT -m state --state NEW -m tcp -p tcp --dport 8089 -j ACCEPT



Joonis 4: Tulemüüri reeglite lisamine.


Jägnevalt tuleb teha tülemüüri rakendusele taaskäivitus.

sudo service ufw restart

Viimaks tuleb vaadata, kas uued reeglid on aktiivsed. Selleks kasutame käsku:

iptables -L -n | grep -E '8000|8089'




Joonis 5: Tulemüüri reeglite kontroll.


Splunk veebiliidese paigaldus

[4]Järgnevalt kasutame veebilehitsejat. Liigume aadressile http://192.168.56.101:8000 Algselt on kasutajatunnuseks admin ja parooliks changeme.

Peale sisselogimist kohustab programm parooli vahetama. Antud näites on kasutajatunnuseks: admin ja parooliks student.




Joonis 6: Splunk veebiliidese "Login" ekraan.


Õnnestunud sisselogimisel kuvatakse kasutajale splunk veebiportaali.

Avanenud aknas vajutame nupule "Add data".


Järgnevast menüüst vajutame valikul "Syslog"




Joonis 7: Splunk andmepõhjade mudel.



Järgenevast valikust valime "Consume syslog over TCP" ja vajutame nupule "next"


Avanevas aknas tuleb täita järgnevad väljad: TCP port - 514 Select source type from list - syslog

More settings Set host - IP

ja vajutada nupule "Save"


Joonis 8: Splunk Syslogi paigaldus osa1


Joonis 9: Splunk Syslogi paigaldus osa2


Eduka salvestamise puhul peaks kasutaja nägema järgmist pilti, kus on kirjas "Sucess! Your data is being indexed into Splunk"


Järgnevalt tuleb tagasi minna Splunk serveri juurde (masin kuhu Splunk paigaldati).

Juhul kui veebiliideses sai kõik korrektselt sisestatud, peaks splunk kuulama 514 porti.

netstat -antp | grep 514




Joonis 10: Port 514 kontroll


Viimaks lisame pordile 514 tulemüüri läbipääsu reegli ja teeme tulemüüri rakendusele taaskäivituse.

sudo iptables -A INPUT -m state --state NEW -m tcp -p tcp --dport 514 -j ACCEPT

sudo service ufw restart



Joonis 11: Port 15 tulemüüri reegel.


Paigaldame Rsyslogi saatma logisi Splunk serverile

Järgnevad tegevused tuimuvad Serveris nimega Ubuntu.

Selleks, et Rsyslog saadaks Klient arvutile logisi tuleb muuta rsyslog konfiguratsioonifail.

Muudame faili /etc/rsyslog.conf

sudo nano /etc/rsyslog.conf

Lisame rsyslog faili lõppu järgneva rea:

*.* @@192.168.56.101:514

Peale muudatuste tegemist tuleb rsyslog rakendusele teha taaskäivitus.

sudo service rsyslog restart

Kokkuvõtte

Lõpplahendusena valmis keskne logihaldussüsteem Splunk baasil selleks, et oleks võimalik vaadata ning analüüsida logisid Splunk veebiliidese abil.

Kasutatud kirjandus

http://docs.splunk.com/Documentation/Storm/Storm/User/Howtosetuprsyslog

http://chase-seibert.github.io/blog/2010/12/31/splunkrsyslogapacheubuntu-quickstart.html

http://virtuallyhyper.com/2013/06/install-splunk-and-send-logs-to-splunk-with-rsyslog-over-tcp-with-ssl/

http://serverfault.com/questions/239401/splunk-is-fantastically-expensive-what-are-the-alternatives

http://www.splunk.com/view/benefits/SP-CAAACCS