Visualiseerimine loeng

Sissejuhatus

Antud materjal on loodud täiendamaks kursust „Sissetungi tuvastuse süsteemid“. Hetkel on sissetungi tuvastuse süsteemides olemas materjalid sissetungituvastuse jaoks, kuid kõik teated jäävad logidesse. Arvestades tänapäeva taristute suurusi, siis administraatorid ning teised IT spetsialistid ei suuda logisid vaadates kindlaks teha, millal korraldatakse rünnet nende taristu pihta. Graafilise visualiseeringuga on koheselt näha, millal on tavapärasest rohkem tegevust.

Eelnevalt peab olema läbi töötatud: https://wiki.itcollege.ee/index.php/Sissetungi_tuvastuse_systeemid ning peab tundma Linuxi käsurida ning arvutivõrkudest. Lisaks omama ka baasteadmisi rünnetest.

Mida annab visualiseerimine?

Visualiseerimine võimaldab administraatorite ning teiste IT spetsialistide elu lihtsamaks muuta. Kuidas täpsemalt? Väga lihtsalt, kui on kasutatud visualiseerimisi, siis kõik logiteated tulevad koondpaneeli erinevate graafikute ning diagrammidena. Graafikute pealt on lihtne näha, millal on tavapärasest rohkem teateid ning vastavalt sellele saab vastumeetmeid kasutada. Graafikute pealt saab lähemalt uurida ka logiteateid. Nii hoiab ka aega kokku, mis kulub õigete logiteadete leidmiseks. Sellega vähendatakse reageerimisaega ning muudetakse töö efektiivsemaks.

Milliseid erinevaid visualiseeringuid on olemas?

• Graafikud- Graafik on arvsuuruste vahelise sõltuvuse visuaalne esitamise viis.
  
• Kihtdiagrammid – Kihtdiagrammid rõhuvad aja jooksul toimunud muudatuste suurusjärku ning neid saab kasutada juhtimaks tähelepanu kogusummade trendile.
  
• Tulpdiagrammid – Tulpdiagrammid sobivad mingi perioodi jooksul andmetes toimunud muudatuse näitamiseks või üksuste võrdluse illustreerimiseks.
  
• Geograafilised kaartid – Geograafilised kaardid võimaldavad jälgida, kust tuleb liiklus.
  
• Joondiagrammid – Joondiagrammidel kuvatakse ajaliselt järjestikused andmed ühisel skaalal, seega sobivad need hästi andmete trendi näitamiseks võrdsete ajavahemike tagant.
  
• Sektordiagramm – Sektordiagrammidel kuvatakse ühe andmesarja elementide maht kõigi elementide kogusumma suhtes. Sektordiagrammidel kuvatakse andmepunktid protsentidena tervikust.
  
• Lintdiagrammid – Lintdiagrammid sobivad üksikute elementide võrdluste illustreerimiseks.
  

Logide visualiseerimise tarkvarad:

ELK – Elasticsearch, Logstash, Kibana

Elasticsearch on andmebaas, kuhu salvestatakse kõik teated ning kust tehakse päringuid. Logstash on logide normaliseerija, et logid oleksid loetavad ka inimsilmale. Kibana on visualiseerimistarkvara. Kibana võimaldab teha eraldiseisvaid visualiseerimisi ning ka ühendada erinevad visualiseeringud üheks koondpaneeliks. Visualiseerimisvõimalusi, mida Kibana pakub on mitmeid: kihtdiagramm andmete tabel, joondiagrammid, markdowni vidin, mõõdustik, rõngasdiagrammid, geograafiline kaart ja vertikaalsed tulpdiagrammid. Kibana pakub ka visualiseerimise redaktorit, mis lubab kasutajatel konfigureerida ning muuta visualiseerimist. Visualiseerimise redaktoril on kolm elementi: tööriistariba, aggregatsiooni ehitaja ning eelvaate lõuend.

• Tööriistaribal on otsinguväli interaktiivseteks andmete otsinguteks ning ka komponendid, millega hallata visualiseeringute salvestamisi ning laadimisi. Komponentide hulka kuuluvad nupud loomaks uut visualiseeringut, salvestamaks olemasolevat visualiseeringut, jagada või manustada visualiseeringut ja värskendada andmeid visualiseeringus.
• Aggregatsiooni ehitajat saab kasutada, et seadistada mõõdustikku ja kimpu, mida kasutatakse aggregatsiooniks. Kimbud on analoogsed SQL „GROUP BY“ lausele. Mõõdustikke kasutatakse tulp- ja joondiagrammides x-telgedel ning kimpe y-telgedel. Rõngasdiagrammidel mõõdustik on sektorite suurus ning kimp sektorite arv. Mõõdustikel saab kasutada aggregatsioone nagu loenda, minimaalne, maksimaalne, keskmine, summa ning kardinaalsust. Tavalised kimpude aggregatsioonid hõlmavad kuupäeva ajadiagrammi, vahemikku, tingimusi ning filtreid. Lisaks on võimalik määrata, mis järjekorras kimpe täidetakse.
• Eelvaate lõuend pakub võimalust vaadata, milline näeb aggregatsiooni ehitajaga tehtud visualiseering välja.

Kõiki neid tarkvarasid jagatakse Apache v2.0 litsentsi all.

Hetkel üks turu võimekamaid tooteid. Me kasutamegi ELK lahendust, sest seda on lihtne paigaldada, vaadete tegemine on lihtne ning on mugav õppurile.

Alienvault OSSIM

OSSIM pakub kõiki vahendeid, mida turbeeksperdid vajavad SIEM-ilt (Security Information and Event Management) sündmuste kogumiseks, normaliseerimiseks ja korreleerimiseks. OSSIM on avatud lähtekoodiga tasuta tarkvara, mida levitatakse GNU GPL v3 litsentsi all ning millel on kogukond, kes jagavad ohtude teavet. Lisaks veel OSSIM-il on limiteeritud logide kogumine ning logide säilitamine SIEM sündmustele (See on selleks, et rohkem kliente kasutaks AlienVaulti Unified Security Management-i, mis on kommertstoode). OSSIM pakub kolme kõrgtasemelist raporteerimismalli mille tarkvara saab rakendada ühe serveriga lahendustele. Lisaks ühe serveri lahendustele saab OSSIM-is olla ainult üks kasutaja, kellel on lubatud muudatusi läbi viia. Lisaks pakub OSSIM ainult individuaalset komponentide haldamist. Kuna OSSIM on vabavaraline tarkvara, siis on tagatud ainult kommuunipoolne tugi. Kuid milliseid baasoperatsioone OSSIM pakub? OSSIMi baasoperatsioonide juurde kuuluvad:

• Väliste sündmuste vastuvõtt
• Rakendused, mis tulid AlienVault-iga väljastavad teateid sündmustest
• Sündmused kogutakse kokku ning normaliseeritakse enne kesksesse serverisse saatmist
• AlienVaulti server teeb riski kaalutlemist, korrelatsiooni ning talletab sündmused SQL andmebaasi
• Veebiliides pakub raporteerimissüsteemi, mõõdustikku, raportite koondpaneeli, piletite süsteemi, haldussüsteemi ja reaalajas võrguinformatsiooni.

OSSIM-i korrelatsioon on üks põhi erisustest, mis defineerib OSSIM-i kui intelligentse turbesündmuste haldusplatvormina ning eristab seda teistest ründetuvastuse süsteemidest.

See aitab vähendada väärtuvastusi muutes mitmete sündmuste sisendid ning teated rohkem usaldusväärsemaks väljundiks, et oleks hallatav arv sündmusi, millele on vaja tähelepanu pöörata. Teiseks OSSIMi põhi erisuseks on korrelatsioonide direktiivid. OSSIM tuleb 200 korrelatsiooni direktiiviga, mis on kirjutatud XMLil baseeruval süntaksil. Direktiivide põhieesmärk on analüüsida mitmeid sündmusi ning otsustada, kas väljastada hoiatus vastavalt direktiivi reeglitele. See erisus suudab ära hoida nullpäevaründeid või tundmatuid nõrkusi, sest väljastab teateid vastavalt reeglitele, mitte ei kontrolli sündmust tuntud nõrkuste nimekirjast.

OSSIM on päris mahukas tarkvara, mis sisaldab peale vajaminevate visualiseerimiste ka muud tarkvara. Ressursside kokkuhoiu mõttes ei valitud OSSIM-it antud laborites kasutamiseks. Kui kellelgi on huvi, siis võib ise installeerida virtuaalmasinasse ning proovida samu laboreid teha.

Security Onion

Security onion on Linuxi distro, mis on mõeldud sissetungi tuvastuseks, võrgu turvalisuse monitooringuks ning logide haldamiseks. Security onion baseerub Ubuntul ning sisaldab snorti, suricatat, brod, OSSEC, sguil, squert, snorby, ELSA, xplico, networkminer ja palju teisi turvalisusega seotud tööriistu. Security Onion-i ühendab kolm põhikomponenti: täispaketi püüdmine, võrgupõhised ja hostipõhised sissetungituvastussüsteemid ja võimekas analüüsi tööriist. Täispaketi püüdmine saavutatakse netsniff-ng-ga. Netsniff-ng püüab kinni kogu liikluse, mida security onioni sensorid näevad ning talletab niipalju, kui andmesalvestid suudavad mahutada (Security onion-il on sisseehitatud mehhanism, mis kustutab jäädavalt vanad andmed enne kui ketaste vaba ruum otsa saab). Täispaketi püük on nagu videokaamera võrgu jaoks, kuid parem, sest lisaks sellele, et näidata, kes tuli ja läks, suudab ta täpsustada kuhu keegi läks ning mida nad võtsid kaasa või tõid juurde (e-kirjade õngitsemine jne). Võrgupõhised ja hostipõhised sissetungituvastussüsteemid analüüsivad võrguliiklust või host süsteeme korduvalt ning tagavad logide ja teadete andmed kustutatud sündmustele ja tegevustele. Võrgupõhised sissetungituvastussüsteemid pakuvad reeglitega määratud sissetungituvastust, kus Security Onion laseb valida Snorti või Suricata reeglite vahel. Reeglitega määratud sissetungituvastuse süsteemid analüüsivad võrguliiklust ning üritavad tuvastada pahatahtlikku liiklust või anomaaliaid. Teise võimalusena pakuvad võrgupõhised sissetungituvastusesüsteemid analüüsiga juhitud sissetungiavastust. Analüüsiga juhitud sissetungiavastuse poolest pakub Security Onion Bro võrgu turvalisuse monitooringut, mida tuntakse ka Bro IDS nime all. Bro monitoorib võrguliiklust ning logib kõiki ühendusi, DNS päringuid, avastatud võrguteenuseid ning tarkvara, SSL sertifikaate, HTTP, FTP, IRC, SMTP, SSH, SSL ning syslog-i tegevusi, mida näeb. Seeläbi pakkudes põhjalikku infot, mis võrgus toimub. Veel pakub Bro analüsaatoreid mitmetele enamlevinud protokollidele ning vaikimisi võimalust teha MD5 kontrollsumma kõikidele HTTPs allalaetud failidele kontrollimaks neid Cymru pahavara räsifunktsiooni projekti registritest. Hostipõhised sissetungituvastussüsteemid pakuvad OSSECit. OSSEC teeb logide analüüsi, failide terviklikkuse kontrolli, poliitikate monitooringut, juurkrattide avastamist, reaalajas teateid ning aktiivset vastust. Täispaketi püüdmisega, IDS logidega ning Bro andmetega on hirmuäratavalt palju andmeid vaja analüüsida. Õnneks on vajalikud tööriistad integreeritud security onionisse.

• Esimeseks tööriistaks on sguil. Sguil pakub üksikut graafilist kasutajaliidest, millega uurida snorti või suricata logisid, OSSEC alerte, Bro HTTP sündmusi ja passiivset reaalajas vara avastamise süsteemi PRADS (Passive Real-Time Asset Detection System) alerte. Squil lubab kasutajatel otse alerdi juurest avada paketi püüdur ning vaadada teavet sessiooni kohta, mis tekitas alerdi. Selle asemel, et üksiku teate peale pead murda, saab nii kohe näha kogu liiklust, mis selle alerdi genereeris. Lisaks veel squil lubab teha päringuid kõikidest pakettidest, mis püütud. Nii saab korreleerida liiklust, mis pole veel teateid tekitanud, kuid võib sisaldada midagi kahtlast. Squil pakub ka võimalust teha teadetega seotud IP aadresside pöördlahendust.

• Teiseks tööriistaks on squert. Squert on veebiliides sguil andmebaasile. Squert pole mõeldud reaalajas liideseks ega squili asenduseks. Squert pakub lihtsalt võimalust mugavalt teha päringuid squil-i andmebaasist ning pakub mitmeid visualiseerimislahendusi päringutulemustele.

• Kolmandaks tööriistaks on snorby. Snorby on veebirakenduse liides, mis võimaldab vaadata, otsida ning klassifitseerida snordi ja suricata alerte ning genereerida erinevaid tüüpe raporteid. CapME! pistikmoodul võimaldab uurida lähemalt sessiooni kohta, mis alerte tekitas. Sarnane nagu sguil-il.

• Neljandaks analüüsi tööriistaks on ELSA. ELSA pakub täis asünkroonset veebipõhist päringute liidest, mis normaliseerib logisid ning muudab miljardidest logidest juhuslike sõnade otsimise sama lihtsaks ja kiireks kui veebist otsimise. ELSA pakub ka tööriista, millega saab määrata õiguseid logide vaatamistele. ELSA kasutab visualiseerimiseks google visualiseerimise rakendusliidest.

Security Onioni miinus on samas, mis OSSIM-il. See on väga mahukas ning ressursside kokkuhoidmise eesmärgil me antud laborisüsteemis ei kasuta seda. Kui õppuritel on soov ise virtuaalmasinas proovida, siis soovitan.

Graylog

Graylog (endise nimega Graylog2) on täisintegreeritud avatud lähtekoodiga tasuta tarkvara platvorm kogumaks, indekseerimaks ja analüüsimaks nii struktureeritud kui ka struktureerimata andmeid peaaegu igast algallikast. Graylog-i jagatakse GNU GPLv3 litsentsiga. Graylog kasutab teiste autorite poolt loodud MongoDB metaandmete jaoks ning Elasticsearchi logifailide säilitamisteks ning tekstidest otsimisteks. Graylogi funktsioonid:

• Sisendid paindlikuks logide püüdmiseks – Paindlikud sisenditüübid võimaldavad erinevaid logitüüpe püüda kaasaarvatud syslogi ning avateksti. Graylog kasutab ka GELF formaati, mis on Graylogi enda logide formaat, mis võimaldab teateid enne saatmist eelnevalt struktureerida.
• Vood ja mustad nimekirjad intelligentseks töötluseks ja õigusteks – Vood rakendavad reegleid leidmaks spetsiifilisi sõnumi tingimusi või jagama andmeid riistvara või tarkvara tüübi põhjal, rakenduse pinu, asukoha või mõne muu tingimuse järgi, mis teeb otsimise lihtsaks. Vood lubavad piirata ligipääsu kasutajagruppidele.
• REST rakendusliides ja väljundi marsruutimine andmete jaotamiseks – Sama REST rakendusliidest, mida kasutatakse Graylogi veebiliideses saab kasutada ka loomaks enda monitooringu-, raporteerimis- või automatiseeritud süsteemi Graylogis.
• Ekstraktorid parsimaks struktureerimata andmed struktureeritud andmeteks – Võimaldab parsida struktureerimata andmed struktureerituks. Kui ei leita sobivat süntaksianalüsaatorit, siis võib ise luua ning jagada Graylogi kommuuniga. Nii täiendatakse süntaksianalüsaatorite nimekirja pidevalt.
• Graylogi koondpaneelid ja teated – Iga analüüsi või otsingutulemuse saab vidinatena koondpaneelile lisada. Koondpaneelidele saab ise valida, mida näha soovitakse ning kus andmeid pidevalt uuendatakse. Teated on seadistatavad. Nii saab ise määrata, mil moel kasutajat teavitatakse erinevat tüüpi teadetega.
• Graylog on valmis kasutatamaks ettevõtetes – Graylog pakub kataloogipöörduse kergprotokolli integratsiooni, kasutajate õiguste haldust, kogu kommunikatsioon käib läbi REST rakendusliidese ning andmeid saab välja otsida ja muuta ainult autentitud kasutajate poolt. Lisaks veel Elasticsearch on isoleeritud Graylogist, et lubada võrgupõhist pääsu reguleerimist.

Turbehalduse poole pealt Graylog võimaldab automaatset logide kogumist, koondamist ning normaliseerimist üle terve taristu. Graylog aitab säilitada andmeid logidest, et olla kooskõlas tänapäeva valitsusregulatsioonidega.

Antud hetkel sai tehtud valik ELK kasuks litsentside põhjal. Lisaks veel Graylog toimib ainult Linuxites. Teoorias peaks töötama ka linuxi virtuaalmasinas windowsi hostil. Kuna paljudes ettevõtetes kasutatakse just Windows-i tööjaamu, siis antud laborite jaoks kasutatakse ELK.