Keskse logihalduse süsteem Splunk baasil
Labor 2 - Keskse logihalduse süsteem Splunk baasil
Autor: Veiko Virk
A31
10.01.2014
Õppeaine : Linuxi administreerimine
Ülesande püstitus
Luua keskse logihalduse süsteem Splunk baasil, kasutades kahte masinat (server, klient)
Joonis 1: Virtuaalmasinate topoloogia
Kasutatud tarkvara
Server : Ubuntu Server 64bit, versioon: 12.04 Saadab logisi läbi rsyslog tarkvara
Klient : Ubuntu client 64bit, versioon 13.04 Platvorm mille peal Splunk töötab
Splunk 6.0.1 - võtab vastu ja töötleb logisi
Sissejuhatus
Splunk pakub palju erinevaid teenuseid, näiteks: Andmete otsing, süsteemide/seadmete monitooring, analüüs, andmete visualiseerimine, turvaintsidentide monitooring, transaktsioonide analüüs, kasutajate vaatlus, probleemide diagnoosimine, turvaohtude monitooring jne. Splunk tarkvara on lihtne paigaldada. Praeguseks kasutab Splunk tarkvara enam kui 6,400 liiget. Nendeks on ettevõtted, ülikoolid, riigiasutused ja teenusepakkujad, 90 erinevas riigis. Splunk pakub ka tasuta versiooni oma tarkvarast, mis on pigem mõeldud väiksematele ettevõttetele. Tasuta versioon piirab andmete indekseerimist 500 MB päevas. Nõudlikumale süsteemile tuleb juurde osta indekseeritavat andmemahtu mis on äärmiselt kallis. Erinevate allikate põhjal läheks 5 GB indekseerimine päevas maksma ligi 30 000 dollarit. Alternatiivina pakuksin välja kas LogStashi (http://www.logstash.net) või Fluentd (http://www.fluentd.org).
Protokoll
Serveri ja kliendi algsed seaded antu näite puhul
Klient: Nimi - desktop IP - Staatiline 192.168.56.101
Server: Nimi - Ubuntu IP - Staatiline 192.168.56.200
Mõlemal virtuaalmasinal on kasutatud eelnevalt eksporditud ubuntu Client/Server .OAV tõmmist (image). Tarkvara on pärit IT Kolledži Elab keskkonnast.
Järgevalt eeldab autor, et paigaldatud server ja klient suudavad omavahel suhelda.
Splunk paigaldus
Järgnevad tegevused tehakse Klient arvutis nimega desktop.
Paigalduse alustamiseks tuleb allalaadida Splunk tarkvara. Juhendis on kasutatud Splunk 6.0.1 Linuxi 64bit versiooni. Tarkvara saab allalaadida siit: [2]
Peale faili allalaadimist tuleb paigaldada paigalduspakett, selleks kasutada käsku:
sudo dpkg -i /home/student/Downloads/splunker/splunk-6.0.1-189883-linux-2.6-amd64.deb
Antud näite puhul asetseb paigalduspakett /home/student/Downloads/splunker/ alamkatalogis.
Splunk tarkvara paigaldamiseks kasutada käsku:
sudo /opt/splunk/bin/splunk start
Peale paigaldust kuvatakse kasutajale Splunk veebiliidese asukoht. Antud näite puhul on selleks http://desktop:8000
Joonis 2: Splunk veebiliidese aadress.
[3]Vaikimisi töötab Splunk portidel 8000 ja 8089. Kontrolliks kasutame käsku:
netstat -antp | grep -E '8000|8089'
Joonis 3: Splunk TCP portide kontroll.
Järgmiseks anname portidele 8000 ja 8089 tulemüüri läbimisõigused. Kasutame käske:
sudo iptables -A INPUT -m state --state NEW -m tcp -p tcp --dport 8000 -j ACCEPT sudo iptables -A INPUT -m state --state NEW -m tcp -p tcp --dport 8089 -j ACCEPT
Joonis 4: Tulemüüri reeglite lisamine.
Jägnevalt tuleb teha tülemüüri rakendusele taaskäivitus.
sudo service ufw restart
Viimaks tuleb vaadata, kas uued reeglid on aktiivsed. Selleks kasutame käsku:
iptables -L -n | grep -E '8000|8089'
Joonis 5: Tulemüüri reeglite kontroll.
Splunk veebiliidese paigaldus
[4]Järgnevalt kasutame veebilehitsejat. Liigume aadressile http://192.168.56.101:8000 Algselt on kasutajatunnuseks admin ja parooliks changeme.
Peale sisselogimist kohustab programm parooli vahetama. Antud näites on kasutajatunnuseks: admin ja parooliks student.
Joonis 6: Splunk veebiliidese "Login" ekraan.
Õnnestunud sisselogimisel kuvatakse kasutajale splunk veebiportaali.
Avanenud aknas vajutame nupule "Add data".
Järgnevast menüüst vajutame valikul "Syslog"
Joonis 7: Splunk andmepõhjade mudel.
Järgenevast valikust valime "Consume syslog over TCP" ja vajutame nupule "next"
Avanevas aknas tuleb täita järgnevad väljad:
TCP port - 514
Select source type from list - syslog
More settings Set host - IP
ja vajutada nupule "Save"
Joonis 8: Splunk Syslogi paigaldus osa1
Joonis 9: Splunk Syslogi paigaldus osa2
Eduka salvestamise puhul peaks kasutaja nägema järgmist pilti, kus on kirjas "Sucess! Your data is being indexed into Splunk"
Järgnevalt tuleb tagasi minna Splunk serveri juurde (masin kuhu Splunk paigaldati).
Juhul kui veebiliideses sai kõik korrektselt sisestatud, peaks splunk kuulama 514 porti.
netstat -antp | grep 514
Joonis 10: Port 514 kontroll
Viimaks lisame pordile 514 tulemüüri läbipääsu reegli ja teeme tulemüüri rakendusele taaskäivituse.
sudo iptables -A INPUT -m state --state NEW -m tcp -p tcp --dport 514 -j ACCEPT sudo service ufw restart
Joonis 11: Port 15 tulemüüri reegel.
Paigaldame Rsyslogi saatma logisi Splunk serverile
Järgnevad tegevused tuimuvad Serveris nimega Ubuntu.
Selleks, et Rsyslog saadaks Klient arvutile logisi tuleb muuta rsyslog konfiguratsioonifail.
Muudame faili /etc/rsyslog.conf
sudo nano /etc/rsyslog.conf
Lisame rsyslog faili lõppu järgneva rea:
*.* @@192.168.56.101:514
Peale muudatuste tegemist tuleb rsyslog rakendusele teha taaskäivitus.
sudo service rsyslog restart
Kokkuvõtte
Lõpplahendusena valmis keskne logihaldussüsteem Splunk baasil selleks, et oleks võimalik vaadata ning analüüsida logisid Splunk veebiliidese abil.
Kasutatud kirjandus
http://docs.splunk.com/Documentation/Storm/Storm/User/Howtosetuprsyslog
http://chase-seibert.github.io/blog/2010/12/31/splunkrsyslogapacheubuntu-quickstart.html
http://serverfault.com/questions/239401/splunk-is-fantastically-expensive-what-are-the-alternatives
