Keskse logihalduse süsteem Splunk baasil

Labor 2 - Keskse logihalduse süsteem Splunk baasil

Autor: Veiko Virk

A31

10.01.2014

Õppeaine : Linuxi administreerimine

Ülesande püstitus

Luua keskse logihalduse süsteem Splunk baasil, kasutades kahte masinat (server, klient)

Joonis 1: Virtuaalmasinate topoloogia

Kasutatud tarkvara

Server : Ubuntu Server 64bit, versioon: 12.04 Saadab logisi läbi rsyslog tarkvara

Klient : Ubuntu client 64bit, versioon 13.04 Platvorm mille peal Splunk töötab

Splunk 6.0.1 - võtab vastu ja töötleb logisi

Sissejuhatus

Splunk pakub palju erinevaid teenuseid, näiteks: Andmete otsing, süsteemide/seadmete monitooring, analüüs, andmete visualiseerimine, turvaintsidentide monitooring, transaktsioonide analüüs, kasutajate vaatlus, probleemide diagnoosimine, turvaohtude monitooring jne. Splunk tarkvara on lihtne paigaldada. Praeguseks kasutab Splunk tarkvara enam kui 6,400 liiget. Nendeks on ettevõtted, ülikoolid, riigiasutused ja teenusepakkujad, 90 erinevas riigis. Splunk pakub ka tasuta versiooni oma tarkvarast, mis on pigem mõeldud väiksematele ettevõttetele. Tasuta versioon piirab andmete indekseerimist 500 MB päevas. Nõudlikumale süsteemile tuleb juurde osta indekseeritavat andmemahtu mis on äärmiselt kallis. Erinevate allikate põhjal läheks 5 GB indekseerimine päevas maksma ligi 30 000 dollarit. Alternatiivina pakuksin välja kas LogStashi (http://www.logstash.net) või Fluentd (http://www.fluentd.org).

Protokoll

Serveri ja kliendi algsed seaded antu näite puhul

Klient: Nimi - desktop IP - Staatiline 192.168.56.101

Server: Nimi - Ubuntu IP - Staatiline 192.168.56.200

Mõlemal virtuaalmasinal on kasutatud eelnevalt eksporditud ubuntu Client/Server .OAV tõmmist (image). Tarkvara on pärit IT Kolledži Elab keskkonnast.

Järgevalt eeldab autor, et paigaldatud server ja klient suudavad omavahel suhelda.

Splunk paigaldus

Järgnevad tegevused tehakse Klient arvutis nimega desktop.

[1]

Paigalduse alustamiseks tuleb allalaadida Splunk tarkvara. Juhendis on kasutatud Splunk 6.0.1 Linuxi 64bit versiooni. Tarkvara saab allalaadida siit: [2]

Peale faili allalaadimist tuleb paigaldada paigalduspakett, selleks kasutada käsku:

sudo dpkg -i /home/student/Downloads/splunker/splunk-6.0.1-189883-linux-2.6-amd64.deb

Antud näite puhul asetseb paigalduspakett /home/student/Downloads/splunker/ alamkatalogis.

Splunk tarkvara paigaldamiseks kasutada käsku:

sudo /opt/splunk/bin/splunk start

Peale paigaldust kuvatakse kasutajale Splunk veebiliidese asukoht. Antud näite puhul on selleks http://desktop:8000

Joonis 2: Splunk veebiliidese aadress.

[3]Vaikimisi töötab Splunk portidel 8000 ja 8089. Kontrolliks kasutame käsku:

netstat -antp | grep -E '8000|8089'

Joonis 3: Splunk TCP portide kontroll.

Järgmiseks anname portidele 8000 ja 8089 tulemüüri läbimisõigused. Kasutame käske:

sudo iptables -A INPUT -m state --state NEW -m tcp -p tcp --dport 8000 -j ACCEPT
sudo iptables -A INPUT -m state --state NEW -m tcp -p tcp --dport 8089 -j ACCEPT

Joonis 4: Tulemüüri reeglite lisamine.

Jägnevalt tuleb teha tülemüüri rakendusele taaskäivitus.

sudo service ufw restart

Viimaks tuleb vaadata, kas uued reeglid on aktiivsed. Selleks kasutame käsku:

iptables -L -n | grep -E '8000|8089'

Joonis 5: Tulemüüri reeglite kontroll.

Splunk veebiliidese paigaldus

[4]Järgnevalt kasutame veebilehitsejat. Liigume aadressile http://192.168.56.101:8000 Algselt on kasutajatunnuseks admin ja parooliks changeme.

Peale sisselogimist kohustab programm parooli vahetama. Antud näites on kasutajatunnuseks: admin ja parooliks student.

Joonis 6: Splunk veebiliidese "Login" ekraan.

Õnnestunud sisselogimisel kuvatakse kasutajale splunk veebiportaali.

Avanenud aknas vajutame nupule "Add data".

Järgnevast menüüst vajutame valikul "Syslog"

Joonis 7: Splunk andmepõhjade mudel.

Järgenevast valikust valime "Consume syslog over TCP" ja vajutame nupule "next"

Avanevas aknas tuleb täita järgnevad väljad: TCP port - 514 Select source type from list - syslog

More settings Set host - IP

ja vajutada nupule "Save"


Joonis 8: Splunk Syslogi paigaldus osa1


Joonis 9: Splunk Syslogi paigaldus osa2

Eduka salvestamise puhul peaks kasutaja nägema järgmist pilti, kus on kirjas "Sucess! Your data is being indexed into Splunk"

Järgnevalt tuleb tagasi minna Splunk serveri juurde (masin kuhu Splunk paigaldati).

Juhul kui veebiliideses sai kõik korrektselt sisestatud, peaks splunk kuulama 514 porti.

netstat -antp | grep 514

Joonis 10: Port 514 kontroll

Viimaks lisame pordile 514 tulemüüri läbipääsu reegli ja teeme tulemüüri rakendusele taaskäivituse.

sudo iptables -A INPUT -m state --state NEW -m tcp -p tcp --dport 514 -j ACCEPT

sudo service ufw restart

Joonis 11: Port 15 tulemüüri reegel.

Paigaldame Rsyslogi saatma logisi Splunk serverile

Järgnevad tegevused tuimuvad Serveris nimega Ubuntu.

Selleks, et Rsyslog saadaks Klient arvutile logisi tuleb muuta rsyslog konfiguratsioonifail.

Muudame faili /etc/rsyslog.conf

sudo nano /etc/rsyslog.conf

Lisame rsyslog faili lõppu järgneva rea:

*.* @@192.168.56.101:514

Peale muudatuste tegemist tuleb rsyslog rakendusele teha taaskäivitus.

sudo service rsyslog restart

Kokkuvõtte

Lõpplahendusena valmis keskne logihaldussüsteem Splunk baasil selleks, et oleks võimalik vaadata ning analüüsida logisid Splunk veebiliidese abil.

Kasutatud kirjandus

http://docs.splunk.com/Documentation/Storm/Storm/User/Howtosetuprsyslog

http://chase-seibert.github.io/blog/2010/12/31/splunkrsyslogapacheubuntu-quickstart.html

http://virtuallyhyper.com/2013/06/install-splunk-and-send-logs-to-splunk-with-rsyslog-over-tcp-with-ssl/

http://serverfault.com/questions/239401/splunk-is-fantastically-expensive-what-are-the-alternatives

http://www.splunk.com/view/benefits/SP-CAAACCS