Andmeteadus meie ümber - Revision history

Antvai: /* Kuidas andmekaeve algoritmid töötavad? */

2022-05-04T14:02:22Z

Kuidas andmekaeve algoritmid töötavad?

← Older revision		Revision as of 17:02, 4 May 2022
Line 250:		Line 250:
	Väärkasutuse tuvastamisel analüüsib ning võrdleb süsteem omavahel tavalisi ning võltsitud tehinguid, sealt edasi ka tuvastab teadaolevad või leitud pettused. Andmesüsteemis võetakse aluseks mõned “normaalsed tehingud”, mida kasutatakse masinõppes tehisintellekti poolt, et võrrelda anomaaliaid, millega on suur potentsiaal avastada uusi pettusi. Hiljuti tekkis uus meetod, mis kasutab anomaaliate tuvastamise tehnikat. Meetodis eraldatakse kaardiomanik igapäevaste summeeritud ostude loomupärase mustri krediitkaardi kasutuse ajasloost ning kasutab sellist mustrit varasemaks pettuste tuvastamiseks. Andmed võetakse algsest tehinguandmebaasist ja võrreldakse saadud anomaaliaga, kasutades sealjuures hägusate seoste reeglite kaevandamisel saadud tulemusi või väljundeid.		Väärkasutuse tuvastamisel analüüsib ning võrdleb süsteem omavahel tavalisi ning võltsitud tehinguid, sealt edasi ka tuvastab teadaolevad või leitud pettused. Andmesüsteemis võetakse aluseks mõned “normaalsed tehingud”, mida kasutatakse masinõppes tehisintellekti poolt, et võrrelda anomaaliaid, millega on suur potentsiaal avastada uusi pettusi. Hiljuti tekkis uus meetod, mis kasutab anomaaliate tuvastamise tehnikat. Meetodis eraldatakse kaardiomanik igapäevaste summeeritud ostude loomupärase mustri krediitkaardi kasutuse ajasloost ning kasutab sellist mustrit varasemaks pettuste tuvastamiseks. Andmed võetakse algsest tehinguandmebaasist ja võrreldakse saadud anomaaliaga, kasutades sealjuures hägusate seoste reeglite kaevandamisel saadud tulemusi või väljundeid.

	Näiteks on leitud, et BN annab parema tulemuse kui ANN, mõlemaid ~~meetoreid~~ kasutatakse pettuste tuvastamiseks. BN-I meetod on väga tõhus ja optimeerib täitmisaega ning vähendab liigset reeglite genereerimist. Esialgne info iga sissetuleva tehingu kohta saab arvutada, kasutades mitut truefactor tõendit reeglipõhisest komponentidest.		Näiteks on leitud, et BN annab parema tulemuse kui ANN, mõlemaid meetodeid kasutatakse pettuste tuvastamiseks. BN-I meetod on väga tõhus ja optimeerib täitmisaega ning vähendab liigset reeglite genereerimist. Esialgne info iga sissetuleva tehingu kohta saab arvutada, kasutades mitut truefactor tõendit reeglipõhisest komponentidest.
	Andmete treenimiseks närvivõrgus kasutatakse enamasti aga tugivektori masinat (SVM-i). Seda kasutatakse uute tehingute ennustamiseks, kas tegemist on pettusega või mitte.		Andmete treenimiseks närvivõrgus kasutatakse enamasti aga tugivektori masinat (SVM-i). Seda kasutatakse uute tehingute ennustamiseks, kas tegemist on pettusega või mitte.
	Murekohaks on praegune aina kasvav pettuste ja identiteedivarguste oht, kuna isegi rangete juurdepääsutõkete ning sh nutikamate tarbijate korral on andmevargused pidev oht ja krediitkaarditööstus ka seetõttu pidevalt kannatab.		Murekohaks on praegune aina kasvav pettuste ja identiteedivarguste oht, kuna isegi rangete juurdepääsutõkete ning sh nutikamate tarbijate korral on andmevargused pidev oht ja krediitkaarditööstus ka seetõttu pidevalt kannatab.

Antvai: Antvai moved page Andmeteadus meie ymber to Andmeteadus meie ümber

2022-05-04T13:48:52Z

Antvai moved page Andmeteadus meie ymber to Andmeteadus meie ümber

← Older revision		Revision as of 16:48, 4 May 2022
(No difference)

Antvai at 13:47, 4 May 2022

2022-05-04T13:47:41Z

← Older revision		Revision as of 16:47, 4 May 2022
Line 4:		Line 4:
	== Sissejuhatus ==		== Sissejuhatus ==

	Maailmas toodetakse järjest enam andmeid ning oluliseks on muutunud nende andmete süstemaatiline katalogiseerimine ja analüüsimine ehk teisisõnu andmeteadus. Käesolevas kursusetöös püüame kokkuvõtvalt kirjeldada ja tuua näiteid 5 peamisest andmeteaduse valdkonnast ning kirjeldada, kuidas ja kus neid valdkondi meie igapäevases elus rakendatakse. Meie valikusse jäid sellised andmeteaduse teemad nagu kõnetuvastus, suunitletud reklaam, otsingumootorid, pildituvastus ja ~~andmeteadus krediitkaardi pettuste tuvastamisel~~.		Maailmas toodetakse järjest enam andmeid ning oluliseks on muutunud nende andmete süstemaatiline katalogiseerimine ja analüüsimine ehk teisisõnu andmeteadus. Käesolevas kursusetöös püüame kokkuvõtvalt kirjeldada ja tuua näiteid 5 peamisest andmeteaduse valdkonnast ning kirjeldada, kuidas ja kus neid valdkondi meie igapäevases elus rakendatakse. Meie valikusse jäid sellised andmeteaduse teemad nagu kõnetuvastus, suunitletud reklaam, otsingumootorid, pildituvastus ja suurandmete analüüsist finantssektoris, et näiteks pettureid tuvastada.

Antvai at 13:44, 4 May 2022

2022-05-04T13:44:10Z

Show changes

Antvai: /* Finantsandmete ja analüüsi võimendamine krediitkaardiriskide ja pettuste ohjamiseks */

2022-05-04T13:41:14Z

Finantsandmete ja analüüsi võimendamine krediitkaardiriskide ja pettuste ohjamiseks

← Older revision		Revision as of 16:41, 4 May 2022
Line 235:		Line 235:

	Krediitkaardi andmestikus on kõige olulisem siduda omavahel süsteemid või tehnikad, et toimiks andmete täpne töötlemine, millega tuvastamaks potentsiaalseid pettusega seotud isikuid või krediidiriskid. Mitme süsteemi korraga kasutamisel võib andmehulkade suurenemisel kaasneda mälumahu kasutusmahu vajadus. Seetõttu on neid süsteeme vaja pidevalt ka uuendada. Selliste süsteemide, andmekaeve ja algoritmide edendamise eesmärk ongi leida reaalajas pettustehinguid (suure voogedastusega reaalajas) esinevate andmete jaoks.		Krediitkaardi andmestikus on kõige olulisem siduda omavahel süsteemid või tehnikad, et toimiks andmete täpne töötlemine, millega tuvastamaks potentsiaalseid pettusega seotud isikuid või krediidiriskid. Mitme süsteemi korraga kasutamisel võib andmehulkade suurenemisel kaasneda mälumahu kasutusmahu vajadus. Seetõttu on neid süsteeme vaja pidevalt ka uuendada. Selliste süsteemide, andmekaeve ja algoritmide edendamise eesmärk ongi leida reaalajas pettustehinguid (suure voogedastusega reaalajas) esinevate andmete jaoks.

			=== Kokkuvõtvalt andmekaevest finantssektoris ===
			Tehisintellekti ja masinõppe ajastul on praegu analüüsitööriistad jõudnud ka finantsmaailmas täiesti uuele tasemele. Krediitkaardipettuste avastamine on muutumas oluliseks uurimisteemaks, kuna erinevat tüüpi rünnakud sagenevad murettekitava kiirusega. Sellega võitlemiseks on võetud kasutusele suure andmemahu töötlemiseks erinevaid algoritme ning andmekaevesüsteeme, et saada reaalajas andmeid erinevatest allikatest.

			Erinevaid andmete hankimise mudeleid ning süsteeme saab kasutada pangapettuste vastu võitlemiseks, tagamaks seesuguste pettuste õigeaegse avastamise. Andmeanalüütika võib pakkuda terviklikku lahendust, mis lahendab kõik taolised väljakutsed.

			Käsitsivigade vähendamiseks on saadaval automatiseeritud tööriistad, mis säästab oluliselt aega ja vaeva. Lisaks sellele saab ettevõte keskenduda oma peamistele ärivaldkondadele; hoiatab asjaosalisi õigeaegsel ja säästes sellistest ohtudest kaasnevaid tohutuid kulusid ja hoiab kokku ressussi.

	== Kokkuvõte ==		== Kokkuvõte ==

Antvai: /* Olulisemad andmekaeve algoritmide ning süsteemide kirjeldused */

2022-05-04T13:39:55Z

Olulisemad andmekaeve algoritmide ning süsteemide kirjeldused

@@ Line 220: / Line 220: @@
 Bayesi võrgud on tõenäosusliku graafilise mudeli tüüp, mida saab kasutada andmete ja/või eksperdi arvamuse põhjal erinevate mudelite koostamiseks.
 Selliseid mudeleid saab kasutada näiteks keerukate ülesannete lahendamisel: kõrvalekallete või anomaaliate tuvastamine, diagnostika tegemine, automatiseeritud ülevaade protsessidest, ajas läbitud andmete järgi ennustamine ja otsuste tegemine ebakindlates tingimustes. Seda on kasutatud peamiselt nelja peamise analüütikavaldkonnas – kirjeldava analüütika, diagnostilise analüüsi, prognoosiva analüüsi ja ettekirjutava analüüsi osas.<ref name="bayesi">https://www.sciencedirect.com/topics/mathematics/bayesian-network#:~:text=A%20Bayesian%20network%20(BN)%20is,corresponding%20random%20variables%20%5B9%5D. Kasutatud 03.05.2022</ref>
 == Kokkuvõte ==

Antvai: /* Finantsandmete ja analüüsi võimendamine krediitkaardiriskide ja pettuste ohjamiseks */

2022-05-04T13:37:10Z

Finantsandmete ja analüüsi võimendamine krediitkaardiriskide ja pettuste ohjamiseks

← Older revision		Revision as of 16:37, 4 May 2022
Line 192:		Line 192:

	Näiteks on Lähis-Ida pangandussüsteemis kasutusel andmekaevesüsteem, mida saab liigitada staatilisks ja dünaamiliseks. Staatilised andmed viitavad fikseeritud andmekogumile või andmetele, mis jäävad pärast kogumist samaks. Dünaamilised andmed seevastu muutuvad pärast salvestamist pidevalt, et säilitada nende terviklikkus.<ref name="pipeline">https://pipeline.zoominfo.com/marketing/dynamic-data. Kasutatud 03.05.2022</ref>		Näiteks on Lähis-Ida pangandussüsteemis kasutusel andmekaevesüsteem, mida saab liigitada staatilisks ja dünaamiliseks. Staatilised andmed viitavad fikseeritud andmekogumile või andmetele, mis jäävad pärast kogumist samaks. Dünaamilised andmed seevastu muutuvad pärast salvestamist pidevalt, et säilitada nende terviklikkus.<ref name="pipeline">https://pipeline.zoominfo.com/marketing/dynamic-data. Kasutatud 03.05.2022</ref>


	=== Olulisemad andmekaeve algoritmide ning süsteemide kirjeldused ===		=== Olulisemad andmekaeve algoritmide ning süsteemide kirjeldused ===
	Alljärgnevalt on toodud mõned peamised andmekaevalgoritmid, mis on kasutusel ka finantssektoris. Tegu pole lõpliku nimekirjaga vaid autori valikuga.		Alljärgnevalt on toodud mõned peamised andmekaevalgoritmid, mis on kasutusel ka finantssektoris. Tegu pole lõpliku nimekirjaga vaid autori valikuga.

	'''ANFIS~~'''~~ - Adaptiivne võrgupõhine hägusate järelduste süsteem (Adaptive Network-based Fuzzy Inference System)		'''ANFIS - Adaptiivne võrgupõhine hägusate järelduste süsteem (Adaptive Network-based Fuzzy Inference System)'''

	ANFIS on adaptiivsete “võrkude” klass, mis hõlmab nii närvivõrke kui ka häguse loogika põhimõtteid. Närvivõrgud kasutavad tulevaste väärtuste ennustamiseks andmekogumit, mis genereeritakse juhtsignaalide või sisendite poolt.		ANFIS on adaptiivsete “võrkude” klass, mis hõlmab nii närvivõrke kui ka häguse loogika põhimõtteid. Närvivõrgud kasutavad tulevaste väärtuste ennustamiseks andmekogumit, mis genereeritakse juhtsignaalide või sisendite poolt.
	Lühidalt öeldes kasutab häguloogika parima võimaliku mudeli loomiseks matemaatilise ennustamisjõu ja inimese subjektiivsuse kombinatsiooni. Kuigi seda ei peeta inimeste interaktiivsuse komponendi tõttu masinõppeks, on hägusloogika laiendus piiranud inimese subjektiivsust ja lisanud hägusloogika skeemile tehisnärvivõrgu ennustamisvõimet. Seda lähenemisviisi nimetatakse adaptiivseteks neuro-fuzzy järeldussüsteemideks (ANFIS).<ref name="anfis">https://towardsdatascience.com/a-tutorial-on-artificial-neuro-fuzzy-inference-systems-in-r-19987bfd8ccd. Kasutatud 03.05.2022</ref>		Lühidalt öeldes kasutab häguloogika parima võimaliku mudeli loomiseks matemaatilise ennustamisjõu ja inimese subjektiivsuse kombinatsiooni. Kuigi seda ei peeta inimeste interaktiivsuse komponendi tõttu masinõppeks, on hägusloogika laiendus piiranud inimese subjektiivsust ja lisanud hägusloogika skeemile tehisnärvivõrgu ennustamisvõimet. Seda lähenemisviisi nimetatakse adaptiivseteks neuro-fuzzy järeldussüsteemideks (ANFIS).<ref name="anfis">https://towardsdatascience.com/a-tutorial-on-artificial-neuro-fuzzy-inference-systems-in-r-19987bfd8ccd. Kasutatud 03.05.2022</ref>

	'''ANN~~'''~~ - Kunstlik närvivõrk (Artificial Neural Network)		'''ANN - Kunstlik närvivõrk (Artificial Neural Network)'''

	Kunstlik närvivõrk (ANN) on süvaõppe algoritm, mis tekkis ja arenes välja inimaju bioloogiliste närvivõrkude ideest. Katse simuleerida inimaju tööd kulmineeruski ANN-i tekkega. ANN töötab väga sarnaselt bioloogiliste närvivõrkudega, kuid ei sarnane täpselt selle toimimisega.		Kunstlik närvivõrk (ANN) on süvaõppe algoritm, mis tekkis ja arenes välja inimaju bioloogiliste närvivõrkude ideest. Katse simuleerida inimaju tööd kulmineeruski ANN-i tekkega. ANN töötab väga sarnaselt bioloogiliste närvivõrkudega, kuid ei sarnane täpselt selle toimimisega.
	ANN-algoritm aktsepteerib sisendina ainult numbrilisi ja struktureeritud andmeid. Struktureerimata ja mittenumbriliste andmevormingute (nt pilt, tekst ja kõne) aktsepteerimiseks kasutatakse vastavalt konvolutsioonilisi närvivõrke (CNN) ja rekursiivseid närvivõrke (RNN).<ref name="ann">https://towardsdatascience.com/an-introduction-to-artificial-neural-networks-5d2e108ff2c3. Kasutatud 03.05.2022</ref>		ANN-algoritm aktsepteerib sisendina ainult numbrilisi ja struktureeritud andmeid. Struktureerimata ja mittenumbriliste andmevormingute (nt pilt, tekst ja kõne) aktsepteerimiseks kasutatakse vastavalt konvolutsioonilisi närvivõrke (CNN) ja rekursiivseid närvivõrke (RNN).<ref name="ann">https://towardsdatascience.com/an-introduction-to-artificial-neural-networks-5d2e108ff2c3. Kasutatud 03.05.2022</ref>

	'''FS / FSS~~'''~~ – Hägusstatistika süsteem (Fuzzy statistics system)		'''FS / FSS – Hägusstatistika süsteem (Fuzzy statistics system)'''

	Häguloogika tuleneb mitmeväärtusliku andmeloogika uurimisest. Kui tavaline loogika tegeleb absoluutse tõe väidetega (nt "Kas see objekt on punane?"), siis hägusloogika käsitleb subjektiivsete või suhteliste määratlustega komplekte, nagu "lühike", "suur" või "ilus". Sellega püütakse jäljendada viisi, kuidas inimesed probleeme analüüsivad ja otsuseid langetavad – ehk viisil, mis tugineb pigem ebamäärastele või ebatäpsetele väärtustele kui absoluutsele tõele või valele. Hägustatistika viitab tavaliselt hägusale hulgateooriale – mitmetähenduslike, ebatäpsete või subjektiivsete andmete käsitlemisele ning traditsioonilise andmestatistikameetodi kombinatsioonile.		Häguloogika tuleneb mitmeväärtusliku andmeloogika uurimisest. Kui tavaline loogika tegeleb absoluutse tõe väidetega (nt "Kas see objekt on punane?"), siis hägusloogika käsitleb subjektiivsete või suhteliste määratlustega komplekte, nagu "lühike", "suur" või "ilus". Sellega püütakse jäljendada viisi, kuidas inimesed probleeme analüüsivad ja otsuseid langetavad – ehk viisil, mis tugineb pigem ebamäärastele või ebatäpsetele väärtustele kui absoluutsele tõele või valele. Hägustatistika viitab tavaliselt hägusale hulgateooriale – mitmetähenduslike, ebatäpsete või subjektiivsete andmete käsitlemisele ning traditsioonilise andmestatistikameetodi kombinatsioonile.
	Praktikas võimaldavad need kogumid olla kõik "tõelise" tingimuse osalised väärtused. Selle asemel, et nõuda, et kõik väited oleksid absoluutselt tõesed või absoluutselt valed, nii nagu klassikalises loogikas, võivad hägusloogikas tõeväärtused olla mis tahes väärtused nulli ja ühe vahel. Selline väärtuste kogum loob algoritmidele võimaluse teha teistsuguseid otsuseid andmevahemikke vahel, mis pole ära määratud kindla “1” või “0” baasil.<ref name="fss">https://www.statisticshowto.com/fuzzy-statistics/		Praktikas võimaldavad need kogumid olla kõik "tõelise" tingimuse osalised väärtused. Selle asemel, et nõuda, et kõik väited oleksid absoluutselt tõesed või absoluutselt valed, nii nagu klassikalises loogikas, võivad hägusloogikas tõeväärtused olla mis tahes väärtused nulli ja ühe vahel. Selline väärtuste kogum loob algoritmidele võimaluse teha teistsuguseid otsuseid andmevahemikke vahel, mis pole ära määratud kindla “1” või “0” baasil.<ref name="fss">https://www.statisticshowto.com/fuzzy-statistics/
	https://www.investopedia.com/terms/f/fuzzy-logic.asp. Kasutatud 03.05.2022</ref>		https://www.investopedia.com/terms/f/fuzzy-logic.asp. Kasutatud 03.05.2022</ref>

			'''MLP - Mitmekihiline Perceptron võrk (Multilayer Perceptron network)'''

			Mitmekihilised pertseptronid või lühidalt MLP-d on klassikaline närvivõrgu tüüp. Need koosnevad ühest või ka mitmest neuronikihist. Andmed sisenevad alguses sisendkihti, seal võib olla üks või mitu “varjatud kihti” ja saadud ennustused saadetakse väljundkihile. MLP-d sobivad klassifitseerimise prognoosimisprobleemide lahendamiseks, kui sisenditele on määratud andme klass või “silt” (label).
			Sisuliselt on need loodud (tagasimineku) regressiooniprognoosiga seotud probleemide jaoks, kus sisendite kogumi alusel ennustatakse reaalväärtuse suurust. Andmed esitatakse sageli tabelivormingus, näiteks CSV-failis või arvutustabelis.<ref name="mlp">https://machinelearningmastery.com/when-to-use-mlp-cnn-and-rnn-neural-networks/#:~:text=Multilayer%20Perceptrons%2C%20or%20MLPs%20for,also%20called%20the%20visible%20layer. Kasutatud 03.05.2022</ref>

			'''BN - Bayesi võrgud (Bayesian networks)'''
			Bayesi võrgud on tõenäosusliku graafilise mudeli tüüp, mida saab kasutada andmete ja/või eksperdi arvamuse põhjal erinevate mudelite koostamiseks.
			Selliseid mudeleid saab kasutada näiteks keerukate ülesannete lahendamisel: kõrvalekallete või anomaaliate tuvastamine, diagnostika tegemine, automatiseeritud ülevaade protsessidest, ajas läbitud andmete järgi ennustamine ja otsuste tegemine ebakindlates tingimustes. Seda on kasutatud peamiselt nelja peamise analüütikavaldkonnas – kirjeldava analüütika, diagnostilise analüüsi, prognoosiva analüüsi ja ettekirjutava analüüsi osas.<ref name="bayesi">https://www.sciencedirect.com/topics/mathematics/bayesian-network#:~:text=A%20Bayesian%20network%20(BN)%20is,corresponding%20random%20variables%20%5B9%5D. Kasutatud 03.05.2022</ref>

	== Kokkuvõte ==		== Kokkuvõte ==

Antvai: /* Olulisemad andmekaeve algoritmide ning süsteemide kirjeldused */

2022-05-04T13:33:55Z

Olulisemad andmekaeve algoritmide ning süsteemide kirjeldused

← Older revision		Revision as of 16:33, 4 May 2022
Line 198:		Line 198:

	'''ANFIS''' - Adaptiivne võrgupõhine hägusate järelduste süsteem (Adaptive Network-based Fuzzy Inference System)		'''ANFIS''' - Adaptiivne võrgupõhine hägusate järelduste süsteem (Adaptive Network-based Fuzzy Inference System)

	ANFIS on adaptiivsete “võrkude” klass, mis hõlmab nii närvivõrke kui ka häguse loogika põhimõtteid. Närvivõrgud kasutavad tulevaste väärtuste ennustamiseks andmekogumit, mis genereeritakse juhtsignaalide või sisendite poolt.		ANFIS on adaptiivsete “võrkude” klass, mis hõlmab nii närvivõrke kui ka häguse loogika põhimõtteid. Närvivõrgud kasutavad tulevaste väärtuste ennustamiseks andmekogumit, mis genereeritakse juhtsignaalide või sisendite poolt.
	Lühidalt öeldes kasutab häguloogika parima võimaliku mudeli loomiseks matemaatilise ennustamisjõu ja inimese subjektiivsuse kombinatsiooni. Kuigi seda ei peeta inimeste interaktiivsuse komponendi tõttu masinõppeks, on hägusloogika laiendus piiranud inimese subjektiivsust ja lisanud hägusloogika skeemile tehisnärvivõrgu ennustamisvõimet. Seda lähenemisviisi nimetatakse adaptiivseteks neuro-fuzzy järeldussüsteemideks (ANFIS).<ref name="~~pipeline~~">https://towardsdatascience.com/a-tutorial-on-artificial-neuro-fuzzy-inference-systems-in-r-19987bfd8ccd. Kasutatud 03.05.2022</ref>		Lühidalt öeldes kasutab häguloogika parima võimaliku mudeli loomiseks matemaatilise ennustamisjõu ja inimese subjektiivsuse kombinatsiooni. Kuigi seda ei peeta inimeste interaktiivsuse komponendi tõttu masinõppeks, on hägusloogika laiendus piiranud inimese subjektiivsust ja lisanud hägusloogika skeemile tehisnärvivõrgu ennustamisvõimet. Seda lähenemisviisi nimetatakse adaptiivseteks neuro-fuzzy järeldussüsteemideks (ANFIS).<ref name="anfis">https://towardsdatascience.com/a-tutorial-on-artificial-neuro-fuzzy-inference-systems-in-r-19987bfd8ccd. Kasutatud 03.05.2022</ref>

	'''ANN''' - Kunstlik närvivõrk (Artificial Neural Network)		'''ANN''' - Kunstlik närvivõrk (Artificial Neural Network)

	Kunstlik närvivõrk (ANN) on süvaõppe algoritm, mis tekkis ja arenes välja inimaju bioloogiliste närvivõrkude ideest. Katse simuleerida inimaju tööd kulmineeruski ANN-i tekkega. ANN töötab väga sarnaselt bioloogiliste närvivõrkudega, kuid ei sarnane täpselt selle toimimisega.		Kunstlik närvivõrk (ANN) on süvaõppe algoritm, mis tekkis ja arenes välja inimaju bioloogiliste närvivõrkude ideest. Katse simuleerida inimaju tööd kulmineeruski ANN-i tekkega. ANN töötab väga sarnaselt bioloogiliste närvivõrkudega, kuid ei sarnane täpselt selle toimimisega.
	ANN-algoritm aktsepteerib sisendina ainult numbrilisi ja struktureeritud andmeid. Struktureerimata ja mittenumbriliste andmevormingute (nt pilt, tekst ja kõne) aktsepteerimiseks kasutatakse vastavalt konvolutsioonilisi närvivõrke (CNN) ja rekursiivseid närvivõrke (RNN).<ref name="~~pipeline~~">https://towardsdatascience.com/an-introduction-to-artificial-neural-networks-5d2e108ff2c3. Kasutatud 03.05.2022</ref>		ANN-algoritm aktsepteerib sisendina ainult numbrilisi ja struktureeritud andmeid. Struktureerimata ja mittenumbriliste andmevormingute (nt pilt, tekst ja kõne) aktsepteerimiseks kasutatakse vastavalt konvolutsioonilisi närvivõrke (CNN) ja rekursiivseid närvivõrke (RNN).<ref name="ann">https://towardsdatascience.com/an-introduction-to-artificial-neural-networks-5d2e108ff2c3. Kasutatud 03.05.2022</ref>

			'''FS / FSS''' – Hägusstatistika süsteem (Fuzzy statistics system)

			Häguloogika tuleneb mitmeväärtusliku andmeloogika uurimisest. Kui tavaline loogika tegeleb absoluutse tõe väidetega (nt "Kas see objekt on punane?"), siis hägusloogika käsitleb subjektiivsete või suhteliste määratlustega komplekte, nagu "lühike", "suur" või "ilus". Sellega püütakse jäljendada viisi, kuidas inimesed probleeme analüüsivad ja otsuseid langetavad – ehk viisil, mis tugineb pigem ebamäärastele või ebatäpsetele väärtustele kui absoluutsele tõele või valele. Hägustatistika viitab tavaliselt hägusale hulgateooriale – mitmetähenduslike, ebatäpsete või subjektiivsete andmete käsitlemisele ning traditsioonilise andmestatistikameetodi kombinatsioonile.
			Praktikas võimaldavad need kogumid olla kõik "tõelise" tingimuse osalised väärtused. Selle asemel, et nõuda, et kõik väited oleksid absoluutselt tõesed või absoluutselt valed, nii nagu klassikalises loogikas, võivad hägusloogikas tõeväärtused olla mis tahes väärtused nulli ja ühe vahel. Selline väärtuste kogum loob algoritmidele võimaluse teha teistsuguseid otsuseid andmevahemikke vahel, mis pole ära määratud kindla “1” või “0” baasil.<ref name="fss">https://www.statisticshowto.com/fuzzy-statistics/
			https://www.investopedia.com/terms/f/fuzzy-logic.asp. Kasutatud 03.05.2022</ref>

	== Kokkuvõte ==		== Kokkuvõte ==

Antvai: /* Olulisemad andmekaeve algoritmide ning süsteemide kirjeldused */

2022-05-04T13:32:10Z

Olulisemad andmekaeve algoritmide ning süsteemide kirjeldused

← Older revision		Revision as of 16:32, 4 May 2022
Line 195:		Line 195:

	=== Olulisemad andmekaeve algoritmide ning süsteemide kirjeldused ===		=== Olulisemad andmekaeve algoritmide ning süsteemide kirjeldused ===
	Alljärgnevalt on toodud mõned peamised andmekaevalgoritmid, mis on kasutusel ka finantssektoris.		Alljärgnevalt on toodud mõned peamised andmekaevalgoritmid, mis on kasutusel ka finantssektoris. Tegu pole lõpliku nimekirjaga vaid autori valikuga.

	'''ANFIS''' - Adaptiivne võrgupõhine hägusate järelduste süsteem (Adaptive Network-based Fuzzy Inference System)		'''ANFIS''' - Adaptiivne võrgupõhine hägusate järelduste süsteem (Adaptive Network-based Fuzzy Inference System)
	ANFIS on adaptiivsete “võrkude” klass, mis hõlmab nii närvivõrke kui ka häguse loogika põhimõtteid. Närvivõrgud kasutavad tulevaste väärtuste ennustamiseks andmekogumit, mis genereeritakse juhtsignaalide või sisendite poolt.		ANFIS on adaptiivsete “võrkude” klass, mis hõlmab nii närvivõrke kui ka häguse loogika põhimõtteid. Närvivõrgud kasutavad tulevaste väärtuste ennustamiseks andmekogumit, mis genereeritakse juhtsignaalide või sisendite poolt.
	Lühidalt öeldes kasutab häguloogika parima võimaliku mudeli loomiseks matemaatilise ennustamisjõu ja inimese subjektiivsuse kombinatsiooni. Kuigi seda ei peeta inimeste interaktiivsuse komponendi tõttu masinõppeks, on hägusloogika laiendus piiranud inimese subjektiivsust ja lisanud hägusloogika skeemile tehisnärvivõrgu ennustamisvõimet. Seda lähenemisviisi nimetatakse adaptiivseteks neuro-fuzzy järeldussüsteemideks (ANFIS).<ref name="pipeline">https://towardsdatascience.com/a-tutorial-on-artificial-neuro-fuzzy-inference-systems-in-r-19987bfd8ccd. Kasutatud 03.05.2022</ref>		Lühidalt öeldes kasutab häguloogika parima võimaliku mudeli loomiseks matemaatilise ennustamisjõu ja inimese subjektiivsuse kombinatsiooni. Kuigi seda ei peeta inimeste interaktiivsuse komponendi tõttu masinõppeks, on hägusloogika laiendus piiranud inimese subjektiivsust ja lisanud hägusloogika skeemile tehisnärvivõrgu ennustamisvõimet. Seda lähenemisviisi nimetatakse adaptiivseteks neuro-fuzzy järeldussüsteemideks (ANFIS).<ref name="pipeline">https://towardsdatascience.com/a-tutorial-on-artificial-neuro-fuzzy-inference-systems-in-r-19987bfd8ccd. Kasutatud 03.05.2022</ref>
			'''ANN''' - Kunstlik närvivõrk (Artificial Neural Network)
			Kunstlik närvivõrk (ANN) on süvaõppe algoritm, mis tekkis ja arenes välja inimaju bioloogiliste närvivõrkude ideest. Katse simuleerida inimaju tööd kulmineeruski ANN-i tekkega. ANN töötab väga sarnaselt bioloogiliste närvivõrkudega, kuid ei sarnane täpselt selle toimimisega.
			ANN-algoritm aktsepteerib sisendina ainult numbrilisi ja struktureeritud andmeid. Struktureerimata ja mittenumbriliste andmevormingute (nt pilt, tekst ja kõne) aktsepteerimiseks kasutatakse vastavalt konvolutsioonilisi närvivõrke (CNN) ja rekursiivseid närvivõrke (RNN).<ref name="pipeline">https://towardsdatascience.com/an-introduction-to-artificial-neural-networks-5d2e108ff2c3. Kasutatud 03.05.2022</ref>

	== Kokkuvõte ==		== Kokkuvõte ==

Antvai: /* Finantsandmete ja analüüsi võimendamine krediitkaardiriskide ja pettuste ohjamiseks */

2022-05-04T13:30:43Z

Finantsandmete ja analüüsi võimendamine krediitkaardiriskide ja pettuste ohjamiseks

← Older revision		Revision as of 16:30, 4 May 2022
Line 192:		Line 192:

	Näiteks on Lähis-Ida pangandussüsteemis kasutusel andmekaevesüsteem, mida saab liigitada staatilisks ja dünaamiliseks. Staatilised andmed viitavad fikseeritud andmekogumile või andmetele, mis jäävad pärast kogumist samaks. Dünaamilised andmed seevastu muutuvad pärast salvestamist pidevalt, et säilitada nende terviklikkus.<ref name="pipeline">https://pipeline.zoominfo.com/marketing/dynamic-data. Kasutatud 03.05.2022</ref>		Näiteks on Lähis-Ida pangandussüsteemis kasutusel andmekaevesüsteem, mida saab liigitada staatilisks ja dünaamiliseks. Staatilised andmed viitavad fikseeritud andmekogumile või andmetele, mis jäävad pärast kogumist samaks. Dünaamilised andmed seevastu muutuvad pärast salvestamist pidevalt, et säilitada nende terviklikkus.<ref name="pipeline">https://pipeline.zoominfo.com/marketing/dynamic-data. Kasutatud 03.05.2022</ref>


			=== Olulisemad andmekaeve algoritmide ning süsteemide kirjeldused ===
			Alljärgnevalt on toodud mõned peamised andmekaevalgoritmid, mis on kasutusel ka finantssektoris.

			'''ANFIS''' - Adaptiivne võrgupõhine hägusate järelduste süsteem (Adaptive Network-based Fuzzy Inference System)
			ANFIS on adaptiivsete “võrkude” klass, mis hõlmab nii närvivõrke kui ka häguse loogika põhimõtteid. Närvivõrgud kasutavad tulevaste väärtuste ennustamiseks andmekogumit, mis genereeritakse juhtsignaalide või sisendite poolt.
			Lühidalt öeldes kasutab häguloogika parima võimaliku mudeli loomiseks matemaatilise ennustamisjõu ja inimese subjektiivsuse kombinatsiooni. Kuigi seda ei peeta inimeste interaktiivsuse komponendi tõttu masinõppeks, on hägusloogika laiendus piiranud inimese subjektiivsust ja lisanud hägusloogika skeemile tehisnärvivõrgu ennustamisvõimet. Seda lähenemisviisi nimetatakse adaptiivseteks neuro-fuzzy järeldussüsteemideks (ANFIS).<ref name="pipeline">https://towardsdatascience.com/a-tutorial-on-artificial-neuro-fuzzy-inference-systems-in-r-19987bfd8ccd. Kasutatud 03.05.2022</ref>

	== Kokkuvõte ==		== Kokkuvõte ==