Närvivõrgud ja programmeerimine - Revision history

Rolehm: /* Ülitäpsete närvivõrkude kasutamine */

2020-12-14T10:00:36Z

Ülitäpsete närvivõrkude kasutamine

← Older revision		Revision as of 13:00, 14 December 2020
Line 139:		Line 139:

	1. Näo-, objekti või kehaosa tuvastamine - mille abil närvivõrk tuvastab erilisi objekte. See on kõige kõrgetasemeline ülesanne.		1. Näo-, objekti või kehaosa tuvastamine - mille abil närvivõrk tuvastab erilisi objekte. See on kõige kõrgetasemeline ülesanne.

	2. Semantiline segmenteerimine ja piiride määratlemine - mille abil närvivõrk jagab objekte erinevateks klassideks nende struktuuri järgi ja eristab piiri ilma objektide tuvastamiseta, mis tähendab, et närvivõrk midagi nendest ei tea.		2. Semantiline segmenteerimine ja piiride määratlemine - mille abil närvivõrk jagab objekte erinevateks klassideks nende struktuuri järgi ja eristab piiri ilma objektide tuvastamiseta, mis tähendab, et närvivõrk midagi nendest ei tea.

	3. Tähelepanu objektide eristamine pildil - mis eritab millele pööraks inimene tähelepanu pildi vaatamisel.		3. Tähelepanu objektide eristamine pildil - mis eritab millele pööraks inimene tähelepanu pildi vaatamisel.

	4. Vektori eristamine normaalseks - mille abil võib teha kahemõõtmelisest pildist kolmemõõtmelise.		4. Vektori eristamine normaalseks - mille abil võib teha kahemõõtmelisest pildist kolmemõõtmelise.

	5. Piiride tuvastamine - mis on madalaim tasemeline ülesanne. <ref>[https://habr.com/ru/post/322392/ Наталия Ефремова, "Нейронные сети: практическое применение", 22.02.2017]</ref>		5. Piiride tuvastamine - mis on madalaim tasemeline ülesanne. <ref>[https://habr.com/ru/post/322392/ Наталия Ефремова, "Нейронные сети: практическое применение", 22.02.2017]</ref>

Rolehm: /* Ülitäpsete närvivõrkude kasutamine */

2020-12-14T09:59:32Z

Ülitäpsete närvivõrkude kasutamine

← Older revision		Revision as of 12:59, 14 December 2020
Line 142:		Line 142:
	3. Tähelepanu objektide eristamine pildil - mis eritab millele pööraks inimene tähelepanu pildi vaatamisel.		3. Tähelepanu objektide eristamine pildil - mis eritab millele pööraks inimene tähelepanu pildi vaatamisel.
	4. Vektori eristamine normaalseks - mille abil võib teha kahemõõtmelisest pildist kolmemõõtmelise.		4. Vektori eristamine normaalseks - mille abil võib teha kahemõõtmelisest pildist kolmemõõtmelise.
	5. Piiride tuvastamine - mis on madalaim tasemeline ülesanne. <ref>[https://habr.com/ru/post/322392/ Наталия Ефремова, "Нейронные сети: практическое применение", 22.02.~~2020~~]</ref>		5. Piiride tuvastamine - mis on madalaim tasemeline ülesanne. <ref>[https://habr.com/ru/post/322392/ Наталия Ефремова, "Нейронные сети: практическое применение", 22.02.2017]</ref>

	=Tuntud neurovõrkude rakendusvaldkonnad=		=Tuntud neurovõrkude rakendusvaldkonnad=

Rolehm at 09:57, 14 December 2020

2020-12-14T09:57:49Z

@@ Line 131: / Line 131: @@
 ==Järeldus==
 Närvivõrgud ei ole universaalne tööriist, mis ületab von Neumanni arhitektuuri igati. Närvivõrgud saavad suurepäraselt hakkama ülesannetega, mis on seotud piltidega suhtlemisega, mustrite leidmisega suures koguses andmeid, samuti saadud andmete põhjal järgneva prognoosimisega. Närvivõrgud töötavad tõhusamalt suure hulga andmete või töökohtadega, kus peate samaaegselt käivitama märkimisväärse arvu protsesse. Närvivõrgud on palju kallimad, kuna nende jaoks on vaja paralleelse töötlusvõimsusega protsessoreid<ref name=”nnvsna”></ref>. Samuti väärib mainimist, et seni jäävad närvivõrgud von Neumanni arhitektuuril põhinevatele protsessoritele alla piirkondades, kus probleemi on võimalik lahendada algoritmiliselt.
 =Tuntud neurovõrkude rakendusvaldkonnad=

Aozero at 09:19, 14 December 2020

2020-12-14T09:19:29Z

Aozero at 09:08, 14 December 2020

2020-12-14T09:08:04Z

← Older revision		Revision as of 12:08, 14 December 2020
Line 176:		Line 176:

	Kõik pildid koosnevad pikslitest. Igat pikslit võib esitada kolmes numbrilises osas – RGB (Red Green Blue). Neurovõrgu sisendiks on maatriks, mis koosneb pikslite RGB tähendustest. Edasi algoritm tuvastab kohad, kus pildil asuvad näod. Järgmiseks sammuks on visuaalsete erisugususte parandamine. Näiteks, algoritm oskab „pöörata“ näo sobiva positsiooni, kui hetke nurga alt on raske saada vajalikud andmed kätte. Tänu sellele „oskusele“ algoritm töötab hästi ka halba valgustatuse ja koheseks tuvastamiseks ebamugavate inimese kuju positsioonide korral. Kolmanda sammuna neurovõrk eraldab näo biomeetrilise mustri. Biomeetriline muster on teatud numbriline jada, mis on koostatud neurovõrgu poolt peale esialgse kuju teisendust, ning kasutatakse teiste sama kujuliste mustritega võrdlemiseks. Lõpuks, kui kõik andmed on käes ja töödeldud, teostatakse saadud andmete võrdlemine andmebaasis juba olemas olevate andmetega. Tegelikult, FindFace on terviklik ja mahukas erinevate neurovõrkude kogum, milles iga neurovõrk vastutab teatud ülesande eest lõpptulemuseni jõudmiseks. <ref name=”FindFace” />		Kõik pildid koosnevad pikslitest. Igat pikslit võib esitada kolmes numbrilises osas – RGB (Red Green Blue). Neurovõrgu sisendiks on maatriks, mis koosneb pikslite RGB tähendustest. Edasi algoritm tuvastab kohad, kus pildil asuvad näod. Järgmiseks sammuks on visuaalsete erisugususte parandamine. Näiteks, algoritm oskab „pöörata“ näo sobiva positsiooni, kui hetke nurga alt on raske saada vajalikud andmed kätte. Tänu sellele „oskusele“ algoritm töötab hästi ka halba valgustatuse ja koheseks tuvastamiseks ebamugavate inimese kuju positsioonide korral. Kolmanda sammuna neurovõrk eraldab näo biomeetrilise mustri. Biomeetriline muster on teatud numbriline jada, mis on koostatud neurovõrgu poolt peale esialgse kuju teisendust, ning kasutatakse teiste sama kujuliste mustritega võrdlemiseks. Lõpuks, kui kõik andmed on käes ja töödeldud, teostatakse saadud andmete võrdlemine andmebaasis juba olemas olevate andmetega. Tegelikult, FindFace on terviklik ja mahukas erinevate neurovõrkude kogum, milles iga neurovõrk vastutab teatud ülesande eest lõpptulemuseni jõudmiseks. <ref name=”FindFace” />

			=References=

Errodi at 09:07, 14 December 2020

2020-12-14T09:07:10Z

← Older revision		Revision as of 12:07, 14 December 2020
Line 103:		Line 103:
	Õppimiseks peaks valima ka õiged andmed, sest võrk õpib seda, mida on kõige lihtsam õppida. Näiteks kui õppimis toimub piltide kohta ja “õiged” pildid on tumedad ja “valed” heledad, õpib võrk pilte eraldama värvitooni, mitte soovitud tingimuste järgi. Ka “õiged” ja “valed” andmed peavad olema võrdses vahekorras. Kui mõned andmed on rohkem kui teised, siis on võrgu tulemused kallutatud vastavalt sellele, milliseid andmeid oli rohkem.<ref name=”Statsoft” />		Õppimiseks peaks valima ka õiged andmed, sest võrk õpib seda, mida on kõige lihtsam õppida. Näiteks kui õppimis toimub piltide kohta ja “õiged” pildid on tumedad ja “valed” heledad, õpib võrk pilte eraldama värvitooni, mitte soovitud tingimuste järgi. Ka “õiged” ja “valed” andmed peavad olema võrdses vahekorras. Kui mõned andmed on rohkem kui teised, siis on võrgu tulemused kallutatud vastavalt sellele, milliseid andmeid oli rohkem.<ref name=”Statsoft” />

			=Erinevused vonneymani arhitektuuri ja neuraalvõrkude vahel.=

			Alustuseks tuleb närvivõrkudel põhineva protsessori ja von Neumanni arhitektuuril põhineva protsessori võrdlemiseks mõista selle peamisi eeliseid ja puudusi.

			==Von Neumanni arhitektuuri eelised==
			Von Neumanni protsessorid on odavamad ja kompaktsemad kui sarnased arhitektuurid.
			Von Neumanni arhitektuur järgib täpselt programmi juhiseid, mille programmeerija pani paika, mis võimaldab teil tõhusalt lahendada probleeme, mille jaoks saate koostada lahendusalgoritmi.
			==Von Neumanni arhitektuuri peamised puudused==

			Kui probleemil pole algoritmi, mida lahendada, või kui algoritmi ei saa sõnastada, on probleemi peaaegu võimatu lahendada.
			Mälu ja keskprotsessor on eraldatud "siiniga", mille tulemusena moodustub nn "pudelikael". <ref>[https://bit.ly/343ixTM Scott Northon, "What’s the difference between Von-Neumann and Harvard architectures?", Microcontroller tips, 8.03.2018]</ref>. Keskprotsessori töötlemiskiirus on suurem kui siini maksimaalne ribalaius, mis piirab suure andmemahuga protsessori efektiivsust.
			Mäluleke. Nüüd on Von Neumanni arvutid programmeeritud kõrgetasemeliste keelte, näiteks C või Java abil. Nendes programmides võite aga kokku puutuda protsessiga, kui programm ei vabasta kasutamata mälupiirkondi, mille tõttu kogu vaba mälu väheneb. Selle probleemi lahendamiseks on palju meetodeid, kuid need nõuavad kas palju arvutiressursse või vähendavad oluliselt programmide funktsionaalsust<ref>[https://bit.ly/3oVoc6J, “Ptolemy Project", University of california, 9.09.2006]</ref><ref>[https://www.baeldung.com/java-memory-leaks, "Understanding Memory Leaks in Java", Baeldung, 12.02.2020]</ref>.
			Von Neumanni arhitektuur ei saa paljusid protsesse paralleelselt teha. Esmapilgul võib tunduda, et arvutid täidavad korraga paljusid ülesandeid, kuid see pole nii. Tegelikult lülitub arvuti väga kiiresti ülesannete vahel, täites protsessid omakorda<ref>[https://www.unbxtech.com/2017/09/quickbite-cpu-multitasking.html Anson, “Are Computers Truly Multitask?”, UnbxTech, 14.09.2017]</ref>.
			==Närvivõrkude eelised von Neumanni arhitektuuri ees==

			Närvivõrkude üks suurimaid eeliseid on tohutu paralleelsus. See tähendab, et närvivõrgud saavad korraga täita paljusid ülesandeid, mis on von Neumanni protsessorite ees suur eelis. <ref name=”stanford”>[https://stanford.io/2Wc9mMF, "Comparison between conventional computers and neural networks", Stanford, 2000]</ref>.
			Närvivõrgu protsessorid saavad hakkama piltide, fotode ja abstraktsete kontseptsioonidega. Samuti sobivad närvivõrgud suurepäraselt eesmärkidel, milles peate töötlema suures koguses teavet ja leidma mustreid, samuti ülesanneteks, kui algoritmilist lahendust ei saa sõnastada. Närvivõrgud suudavad varasemate andmete põhjal teavet ennustada, mida on Von Neumanni arhitektuuris kasutatavate standardsete algoritmide abil keeruline rakendada<ref name=”stanford”></ref>.
			Närvivõrgud on võimelised end varasema töö "kogemuste" põhjal muutma. See kvaliteet võimaldab närvivõrkudel kohaneda, reageerida tagasisidele ja sisendandmetele, muuta nende programmi.
			Teavet ei salvestata keskselt. See tähendab, et närvivõrk võib häireteta töötada ka siis, kui teave kaob ühest allikast. Teisalt on von Neumanni arhitektuuris andmebaasist teabe kahjustamine või kaotsiminek kriitiline, mis võib kogu töö täielikult halvata. Isegi kui mõned närvivõrgu rakud on kahjustatud, saab närvivõrk toimida<ref name=”nnvsna”>[https://www.linkedin.com/pulse/artificial-neural-networks-advantages-disadvantages-maad-m-mijwel Maad M. Mijwil, "Artificial Neural Networks Advantages and Disadvantages", Springer Nature, 27.01.2018]</ref>.
			Võime töötada "mürarikka" teabega. Isegi pärast treeningut saab närvivõrk pärast treeningut küll toimida, kuid jõudlus on madalam. Tootlikkuse vähenemine sõltub puuduva teabe hulgast ja olulisusest. Võrdluseks - enamus von Neumanni programme vajavad "puhast" teavet ilma vigade ja "müra".
			==Närvivõrkude puudused võrreldes von Neumanni arhitektuuriga==
			Tulemuse ettearvamatus. Närvivõrkude üks suurimaid probleeme on asjaolu, et te ei saa ennustada täpset tulemust, mille närvivõrk annab. Närvivõrk ei anna selgitust selle saavutamise kohta, mis vähendab usaldusväärsust ja usaldust. See tähendab ka seda, et kui probleem tekib närvivõrgus, on vea põhjust raskem leida. Von Neumanni arhitektuur töötab täpselt juhiste järgi, nii et iga samm on selge ja probleemide ilmnemisel saab vea algpõhjuse kiiresti tuvastada<ref name=”nnvsna”></ref>.
			Alustuseks on vaja palju andmeid. Masinõppega võrreldes nõuab närvivõrk oluliselt rohkem andmeid, mis tähendab, et kui algandmete hulgast ei piisa, siis on hoopis kasulikum kasutada erinevat masinõppe algoritmi<ref>[https://bit.ly/3oBUOC6 Niklas Donges, "4 REASONS WHY DEEP LEARNING AND NEURAL NETWORKS AREN’T ALWAYS THE RIGHT CHOICE", Springer Nature, 24.07.2019]</ref>.
			Arenduskulud. Närvivõrkude arendamine nõuab palju teadmisi, kogemusi ja aega. Närvivõrgu treenimine võtab traditsiooniliste masinõppealgoritmidega võrreldes oluliselt kauem aega. Samuti tasub kaaluda, kas probleemi lahendamine närvivõrkude abil on otstarbekas. Enamiku probleemidest saab lahendada von Neumanni protsessorite lihtsama algoritmi abil.
			Tuleb mõista, et närvivõrgud ei suuda täita ülesannet, mida ei saa lahendada traditsiooniliste arvutustehnoloogiate abil. Kuid närvivõrgud suudavad suhteliselt lihtsalt lahendada probleeme, mida oleks teiste tehnoloogiate abil väga raske lahendada.

			==Järeldus==
			Närvivõrgud ei ole universaalne tööriist, mis ületab von Neumanni arhitektuuri igati. Närvivõrgud saavad suurepäraselt hakkama ülesannetega, mis on seotud piltidega suhtlemisega, mustrite leidmisega suures koguses andmeid, samuti saadud andmete põhjal järgneva prognoosimisega. Närvivõrgud töötavad tõhusamalt suure hulga andmete või töökohtadega, kus peate samaaegselt käivitama märkimisväärse arvu protsesse. Närvivõrgud on palju kallimad, kuna nende jaoks on vaja paralleelse töötlusvõimsusega protsessoreid<ref name=”nnvsna”></ref>. Samuti väärib mainimist, et seni jäävad närvivõrgud von Neumanni arhitektuuril põhinevatele protsessoritele alla piirkondades, kus probleemi on võimalik lahendada algoritmiliselt.

	=Tuntud neurovõrkude rakendusvaldkonnad=		=Tuntud neurovõrkude rakendusvaldkonnad=

Errodi at 09:03, 14 December 2020

2020-12-14T09:03:18Z

← Older revision		Revision as of 12:03, 14 December 2020
Line 1:		Line 1:
	~~=Erinevused vonneymani arhitektuuri ja neuraalvõrkude vahel.=~~

	~~Alustuseks tuleb närvivõrkudel põhineva protsessori ja von Neumanni arhitektuuril põhineva protsessori võrdlemiseks mõista selle peamisi eeliseid ja puudusi.~~

	~~==Von Neumanni arhitektuuri eelised==~~
	~~Von Neumanni protsessorid on odavamad ja kompaktsemad kui sarnased arhitektuurid.~~
	~~Von Neumanni arhitektuur järgib täpselt programmi juhiseid, mille programmeerija pani paika, mis võimaldab teil tõhusalt lahendada probleeme, mille jaoks saate koostada lahendusalgoritmi.~~
	~~==Von Neumanni arhitektuuri peamised puudused==~~

	~~Kui probleemil pole algoritmi, mida lahendada, või kui algoritmi ei saa sõnastada, on probleemi peaaegu võimatu lahendada.~~
	Mälu ja keskprotsessor on eraldatud "siiniga", mille tulemusena moodustub nn "pudelikael". <ref>[https://bit.ly/343ixTM Scott Northon, "What’s the difference between Von-Neumann and Harvard architectures?", Microcontroller tips, 8.03.2018]</ref>. Keskprotsessori töötlemiskiirus on suurem kui siini maksimaalne ribalaius, mis piirab suure andmemahuga protsessori efektiivsust.
	Mäluleke. Nüüd on Von Neumanni arvutid programmeeritud kõrgetasemeliste keelte, näiteks C või Java abil. Nendes programmides võite aga kokku puutuda protsessiga, kui programm ei vabasta kasutamata mälupiirkondi, mille tõttu kogu vaba mälu väheneb. Selle probleemi lahendamiseks on palju meetodeid, kuid need nõuavad kas palju arvutiressursse või vähendavad oluliselt programmide funktsionaalsust<ref>[https://ptolemy.berkeley.edu/ptolemyclassic/almagest/docs/prog/html/ptlang.doc7.html, “Ptolemy Project", University of california, 9.09.2006]</ref><ref>[https://www.baeldung.com/java-memory-leaks, "Understanding Memory Leaks in Java", Baeldung, 12.02.2020]</ref>.
	Von Neumanni arhitektuur ei saa paljusid protsesse paralleelselt teha. Esmapilgul võib tunduda, et arvutid täidavad korraga paljusid ülesandeid, kuid see pole nii. Tegelikult lülitub arvuti väga kiiresti ülesannete vahel, täites protsessid omakorda<ref>[https://www.unbxtech.com/2017/09/quickbite-cpu-multitasking.html Anson, “Are Computers Truly Multitask?”, UnbxTech, 14.09.2017]</ref>.
	~~==Närvivõrkude eelised von Neumanni arhitektuuri ees==~~

	Närvivõrkude üks suurimaid eeliseid on tohutu paralleelsus. See tähendab, et närvivõrgud saavad korraga täita paljusid ülesandeid, mis on von Neumanni protsessorite ees suur eelis. <ref name=”stanford”>[https://stanford.io/2Wc9mMF, "Comparison between conventional computers and neural networks", Stanford, 2000]</ref>.
	Närvivõrgu protsessorid saavad hakkama piltide, fotode ja abstraktsete kontseptsioonidega. Samuti sobivad närvivõrgud suurepäraselt eesmärkidel, milles peate töötlema suures koguses teavet ja leidma mustreid, samuti ülesanneteks, kui algoritmilist lahendust ei saa sõnastada. Närvivõrgud suudavad varasemate andmete põhjal teavet ennustada, mida on Von Neumanni arhitektuuris kasutatavate standardsete algoritmide abil keeruline rakendada<ref name=”stanford”></ref>.
	~~Närvivõrgud on võimelised end varasema töö "kogemuste" põhjal muutma. See kvaliteet võimaldab närvivõrkudel kohaneda, reageerida tagasisidele ja sisendandmetele, muuta nende programmi.~~
	Teavet ei salvestata keskselt. See tähendab, et närvivõrk võib häireteta töötada ka siis, kui teave kaob ühest allikast. Teisalt on von Neumanni arhitektuuris andmebaasist teabe kahjustamine või kaotsiminek kriitiline, mis võib kogu töö täielikult halvata. Isegi kui mõned närvivõrgu rakud on kahjustatud, saab närvivõrk toimida<ref name=”nnvsna”>[https://www.linkedin.com/pulse/artificial-neural-networks-advantages-disadvantages-maad-m-mijwel Maad M. Mijwil, "Artificial Neural Networks Advantages and Disadvantages", Springer Nature, 27.01.2018]</ref>.
	Võime töötada "mürarikka" teabega. Isegi pärast treeningut saab närvivõrk pärast treeningut küll toimida, kuid jõudlus on madalam. Tootlikkuse vähenemine sõltub puuduva teabe hulgast ja olulisusest. Võrdluseks - enamus von Neumanni programme vajavad "puhast" teavet ilma vigade ja "müra".
	~~==Närvivõrkude puudused võrreldes von Neumanni arhitektuuriga==~~
	Tulemuse ettearvamatus. Närvivõrkude üks suurimaid probleeme on asjaolu, et te ei saa ennustada täpset tulemust, mille närvivõrk annab. Närvivõrk ei anna selgitust selle saavutamise kohta, mis vähendab usaldusväärsust ja usaldust. See tähendab ka seda, et kui probleem tekib närvivõrgus, on vea põhjust raskem leida. Von Neumanni arhitektuur töötab täpselt juhiste järgi, nii et iga samm on selge ja probleemide ilmnemisel saab vea algpõhjuse kiiresti tuvastada<ref name=”nnvsna”></ref>.
	Alustuseks on vaja palju andmeid. Masinõppega võrreldes nõuab närvivõrk oluliselt rohkem andmeid, mis tähendab, et kui algandmete hulgast ei piisa, siis on hoopis kasulikum kasutada erinevat masinõppe algoritmi<ref>[https://bit.ly/3oBUOC6 Niklas Donges, "4 REASONS WHY DEEP LEARNING AND NEURAL NETWORKS AREN’T ALWAYS THE RIGHT CHOICE", Springer Nature, 24.07.2019]</ref>.
	Arenduskulud. Närvivõrkude arendamine nõuab palju teadmisi, kogemusi ja aega. Närvivõrgu treenimine võtab traditsiooniliste masinõppealgoritmidega võrreldes oluliselt kauem aega. Samuti tasub kaaluda, kas probleemi lahendamine närvivõrkude abil on otstarbekas. Enamiku probleemidest saab lahendada von Neumanni protsessorite lihtsama algoritmi abil.
	Tuleb mõista, et närvivõrgud ei suuda täita ülesannet, mida ei saa lahendada traditsiooniliste arvutustehnoloogiate abil. Kuid närvivõrgud suudavad suhteliselt lihtsalt lahendada probleeme, mida oleks teiste tehnoloogiate abil väga raske lahendada.

	~~==Järeldus==~~
	Närvivõrgud ei ole universaalne tööriist, mis ületab von Neumanni arhitektuuri igati. Närvivõrgud saavad suurepäraselt hakkama ülesannetega, mis on seotud piltidega suhtlemisega, mustrite leidmisega suures koguses andmeid, samuti saadud andmete põhjal järgneva prognoosimisega. Närvivõrgud töötavad tõhusamalt suure hulga andmete või töökohtadega, kus peate samaaegselt käivitama märkimisväärse arvu protsesse. Närvivõrgud on palju kallimad, kuna nende jaoks on vaja paralleelse töötlusvõimsusega protsessoreid<ref name=”nnvsna”></ref>. Samuti väärib mainimist, et seni jäävad närvivõrgud von Neumanni arhitektuuril põhinevatele protsessoritele alla piirkondades, kus probleemi on võimalik lahendada algoritmiliselt.


	=Tehisnärvivõrkude arengu ajalugu=		=Tehisnärvivõrkude arengu ajalugu=
	Närvivõrkude mõiste oli formuleeritud 1943. aastal<ref>[https://en.wikipedia.org/wiki/Warren_Sturgis_McCulloch, "Warren Sturgis McCulloch",Wikimedia Foundation, Inc., 23.11.2020]</ref>. Närvivõrgu põhielement on tehisintellekt (AI). Seega, et näha kogu rada, mida mööda inimkond on lähenenud närvivõrgu avastamisele, tuleb alustada AI-st. Tehisintellekti on uurinud nii matemaatikud kui ka filosoofid. Tuleb lisada, et varem need kaks teadust olid tihedalt seotud ja ühe areng täiendas teist.		Närvivõrkude mõiste oli formuleeritud 1943. aastal<ref>[https://en.wikipedia.org/wiki/Warren_Sturgis_McCulloch, "Warren Sturgis McCulloch",Wikimedia Foundation, Inc., 23.11.2020]</ref>. Närvivõrgu põhielement on tehisintellekt (AI). Seega, et näha kogu rada, mida mööda inimkond on lähenenud närvivõrgu avastamisele, tuleb alustada AI-st. Tehisintellekti on uurinud nii matemaatikud kui ka filosoofid. Tuleb lisada, et varem need kaks teadust olid tihedalt seotud ja ühe areng täiendas teist.

Errodi at 09:03, 14 December 2020

2020-12-14T09:03:01Z

← Older revision		Revision as of 12:03, 14 December 2020
Line 1:		Line 1:
			=Erinevused vonneymani arhitektuuri ja neuraalvõrkude vahel.=

			Alustuseks tuleb närvivõrkudel põhineva protsessori ja von Neumanni arhitektuuril põhineva protsessori võrdlemiseks mõista selle peamisi eeliseid ja puudusi.

			==Von Neumanni arhitektuuri eelised==
			Von Neumanni protsessorid on odavamad ja kompaktsemad kui sarnased arhitektuurid.
			Von Neumanni arhitektuur järgib täpselt programmi juhiseid, mille programmeerija pani paika, mis võimaldab teil tõhusalt lahendada probleeme, mille jaoks saate koostada lahendusalgoritmi.
			==Von Neumanni arhitektuuri peamised puudused==

			Kui probleemil pole algoritmi, mida lahendada, või kui algoritmi ei saa sõnastada, on probleemi peaaegu võimatu lahendada.
			Mälu ja keskprotsessor on eraldatud "siiniga", mille tulemusena moodustub nn "pudelikael". <ref>[https://bit.ly/343ixTM Scott Northon, "What’s the difference between Von-Neumann and Harvard architectures?", Microcontroller tips, 8.03.2018]</ref>. Keskprotsessori töötlemiskiirus on suurem kui siini maksimaalne ribalaius, mis piirab suure andmemahuga protsessori efektiivsust.
			Mäluleke. Nüüd on Von Neumanni arvutid programmeeritud kõrgetasemeliste keelte, näiteks C või Java abil. Nendes programmides võite aga kokku puutuda protsessiga, kui programm ei vabasta kasutamata mälupiirkondi, mille tõttu kogu vaba mälu väheneb. Selle probleemi lahendamiseks on palju meetodeid, kuid need nõuavad kas palju arvutiressursse või vähendavad oluliselt programmide funktsionaalsust<ref>[https://ptolemy.berkeley.edu/ptolemyclassic/almagest/docs/prog/html/ptlang.doc7.html, “Ptolemy Project", University of california, 9.09.2006]</ref><ref>[https://www.baeldung.com/java-memory-leaks, "Understanding Memory Leaks in Java", Baeldung, 12.02.2020]</ref>.
			Von Neumanni arhitektuur ei saa paljusid protsesse paralleelselt teha. Esmapilgul võib tunduda, et arvutid täidavad korraga paljusid ülesandeid, kuid see pole nii. Tegelikult lülitub arvuti väga kiiresti ülesannete vahel, täites protsessid omakorda<ref>[https://www.unbxtech.com/2017/09/quickbite-cpu-multitasking.html Anson, “Are Computers Truly Multitask?”, UnbxTech, 14.09.2017]</ref>.
			==Närvivõrkude eelised von Neumanni arhitektuuri ees==

			Närvivõrkude üks suurimaid eeliseid on tohutu paralleelsus. See tähendab, et närvivõrgud saavad korraga täita paljusid ülesandeid, mis on von Neumanni protsessorite ees suur eelis. <ref name=”stanford”>[https://stanford.io/2Wc9mMF, "Comparison between conventional computers and neural networks", Stanford, 2000]</ref>.
			Närvivõrgu protsessorid saavad hakkama piltide, fotode ja abstraktsete kontseptsioonidega. Samuti sobivad närvivõrgud suurepäraselt eesmärkidel, milles peate töötlema suures koguses teavet ja leidma mustreid, samuti ülesanneteks, kui algoritmilist lahendust ei saa sõnastada. Närvivõrgud suudavad varasemate andmete põhjal teavet ennustada, mida on Von Neumanni arhitektuuris kasutatavate standardsete algoritmide abil keeruline rakendada<ref name=”stanford”></ref>.
			Närvivõrgud on võimelised end varasema töö "kogemuste" põhjal muutma. See kvaliteet võimaldab närvivõrkudel kohaneda, reageerida tagasisidele ja sisendandmetele, muuta nende programmi.
			Teavet ei salvestata keskselt. See tähendab, et närvivõrk võib häireteta töötada ka siis, kui teave kaob ühest allikast. Teisalt on von Neumanni arhitektuuris andmebaasist teabe kahjustamine või kaotsiminek kriitiline, mis võib kogu töö täielikult halvata. Isegi kui mõned närvivõrgu rakud on kahjustatud, saab närvivõrk toimida<ref name=”nnvsna”>[https://www.linkedin.com/pulse/artificial-neural-networks-advantages-disadvantages-maad-m-mijwel Maad M. Mijwil, "Artificial Neural Networks Advantages and Disadvantages", Springer Nature, 27.01.2018]</ref>.
			Võime töötada "mürarikka" teabega. Isegi pärast treeningut saab närvivõrk pärast treeningut küll toimida, kuid jõudlus on madalam. Tootlikkuse vähenemine sõltub puuduva teabe hulgast ja olulisusest. Võrdluseks - enamus von Neumanni programme vajavad "puhast" teavet ilma vigade ja "müra".
			==Närvivõrkude puudused võrreldes von Neumanni arhitektuuriga==
			Tulemuse ettearvamatus. Närvivõrkude üks suurimaid probleeme on asjaolu, et te ei saa ennustada täpset tulemust, mille närvivõrk annab. Närvivõrk ei anna selgitust selle saavutamise kohta, mis vähendab usaldusväärsust ja usaldust. See tähendab ka seda, et kui probleem tekib närvivõrgus, on vea põhjust raskem leida. Von Neumanni arhitektuur töötab täpselt juhiste järgi, nii et iga samm on selge ja probleemide ilmnemisel saab vea algpõhjuse kiiresti tuvastada<ref name=”nnvsna”></ref>.
			Alustuseks on vaja palju andmeid. Masinõppega võrreldes nõuab närvivõrk oluliselt rohkem andmeid, mis tähendab, et kui algandmete hulgast ei piisa, siis on hoopis kasulikum kasutada erinevat masinõppe algoritmi<ref>[https://bit.ly/3oBUOC6 Niklas Donges, "4 REASONS WHY DEEP LEARNING AND NEURAL NETWORKS AREN’T ALWAYS THE RIGHT CHOICE", Springer Nature, 24.07.2019]</ref>.
			Arenduskulud. Närvivõrkude arendamine nõuab palju teadmisi, kogemusi ja aega. Närvivõrgu treenimine võtab traditsiooniliste masinõppealgoritmidega võrreldes oluliselt kauem aega. Samuti tasub kaaluda, kas probleemi lahendamine närvivõrkude abil on otstarbekas. Enamiku probleemidest saab lahendada von Neumanni protsessorite lihtsama algoritmi abil.
			Tuleb mõista, et närvivõrgud ei suuda täita ülesannet, mida ei saa lahendada traditsiooniliste arvutustehnoloogiate abil. Kuid närvivõrgud suudavad suhteliselt lihtsalt lahendada probleeme, mida oleks teiste tehnoloogiate abil väga raske lahendada.

			==Järeldus==
			Närvivõrgud ei ole universaalne tööriist, mis ületab von Neumanni arhitektuuri igati. Närvivõrgud saavad suurepäraselt hakkama ülesannetega, mis on seotud piltidega suhtlemisega, mustrite leidmisega suures koguses andmeid, samuti saadud andmete põhjal järgneva prognoosimisega. Närvivõrgud töötavad tõhusamalt suure hulga andmete või töökohtadega, kus peate samaaegselt käivitama märkimisväärse arvu protsesse. Närvivõrgud on palju kallimad, kuna nende jaoks on vaja paralleelse töötlusvõimsusega protsessoreid<ref name=”nnvsna”></ref>. Samuti väärib mainimist, et seni jäävad närvivõrgud von Neumanni arhitektuuril põhinevatele protsessoritele alla piirkondades, kus probleemi on võimalik lahendada algoritmiliselt.


	=Tehisnärvivõrkude arengu ajalugu=		=Tehisnärvivõrkude arengu ajalugu=
	Närvivõrkude mõiste oli formuleeritud 1943. aastal<ref>[https://en.wikipedia.org/wiki/Warren_Sturgis_McCulloch, "Warren Sturgis McCulloch",Wikimedia Foundation, Inc., 23.11.2020]</ref>. Närvivõrgu põhielement on tehisintellekt (AI). Seega, et näha kogu rada, mida mööda inimkond on lähenenud närvivõrgu avastamisele, tuleb alustada AI-st. Tehisintellekti on uurinud nii matemaatikud kui ka filosoofid. Tuleb lisada, et varem need kaks teadust olid tihedalt seotud ja ühe areng täiendas teist.		Närvivõrkude mõiste oli formuleeritud 1943. aastal<ref>[https://en.wikipedia.org/wiki/Warren_Sturgis_McCulloch, "Warren Sturgis McCulloch",Wikimedia Foundation, Inc., 23.11.2020]</ref>. Närvivõrgu põhielement on tehisintellekt (AI). Seega, et näha kogu rada, mida mööda inimkond on lähenenud närvivõrgu avastamisele, tuleb alustada AI-st. Tehisintellekti on uurinud nii matemaatikud kui ka filosoofid. Tuleb lisada, et varem need kaks teadust olid tihedalt seotud ja ühe areng täiendas teist.

Kodone: /* Algoritmi töökäigu lühikirjeldus */

2020-12-13T20:30:09Z

Algoritmi töökäigu lühikirjeldus

← Older revision		Revision as of 23:30, 13 December 2020
Line 147:		Line 147:
	4. Näo verifitseerimine ja identsifitseerimine		4. Näo verifitseerimine ja identsifitseerimine

	Kõik pildid koosnevad pikslitest. Igat pikslit võib esitada kolmes numbrilises osas – RGB (Red Green Blue). Neurovõrgu sisendiks on maatriks, mis koosneb pikslite RGB tähendustest. Edasi algoritm tuvastab kohad, kus pildil asuvad näod. Järgmiseks sammuks on visuaalsete erisugususte parandamine. Näiteks, algoritm oskab „pöörata“ näo sobiva positsiooni, kui hetke nurga alt on raske saada vajalikud andmed kätte. Tänu sellele „oskusele“ algoritm töötab hästi ka halba valgustatuse ja koheseks tuvastamiseks ebamugavate inimese kuju positsioonide korral. Kolmanda sammuna neurovõrk eraldab näo biomeetrilise mustri. Biomeetriline muster on teatud numbriline jada, mis on koostatud neurovõrgu poolt peale esialgse kuju teisendust, ning kasutatakse teiste sama kujuliste mustritega võrdlemiseks. Lõpuks, kui kõik andmed on käes ja töödeldud, teostatakse saadud andmete võrdlemine andmebaasis juba olemas olevate andmetega. Tegelikult, FindFace on terviklik ja mahukas erinevate neurovõrkude kogum, milles iga neurovõrk vastutab teatud ülesande eest lõpptulemuseni jõudmiseks.		Kõik pildid koosnevad pikslitest. Igat pikslit võib esitada kolmes numbrilises osas – RGB (Red Green Blue). Neurovõrgu sisendiks on maatriks, mis koosneb pikslite RGB tähendustest. Edasi algoritm tuvastab kohad, kus pildil asuvad näod. Järgmiseks sammuks on visuaalsete erisugususte parandamine. Näiteks, algoritm oskab „pöörata“ näo sobiva positsiooni, kui hetke nurga alt on raske saada vajalikud andmed kätte. Tänu sellele „oskusele“ algoritm töötab hästi ka halba valgustatuse ja koheseks tuvastamiseks ebamugavate inimese kuju positsioonide korral. Kolmanda sammuna neurovõrk eraldab näo biomeetrilise mustri. Biomeetriline muster on teatud numbriline jada, mis on koostatud neurovõrgu poolt peale esialgse kuju teisendust, ning kasutatakse teiste sama kujuliste mustritega võrdlemiseks. Lõpuks, kui kõik andmed on käes ja töödeldud, teostatakse saadud andmete võrdlemine andmebaasis juba olemas olevate andmetega. Tegelikult, FindFace on terviklik ja mahukas erinevate neurovõrkude kogum, milles iga neurovõrk vastutab teatud ülesande eest lõpptulemuseni jõudmiseks. <ref name=”FindFace” />

Kodone: /* Algoritmi töökäigu lühikirjeldus */

2020-12-13T20:29:15Z

Algoritmi töökäigu lühikirjeldus

← Older revision		Revision as of 23:29, 13 December 2020
Line 147:		Line 147:
	4. Näo verifitseerimine ja identsifitseerimine		4. Näo verifitseerimine ja identsifitseerimine

	Kõik pildid koosnevad pikslitest. Igat pikslit võib esitada kolmes numbrilises osas – RGB (Red Green Blue). Neurovõrgu sisendiks on maatriks, mis koosneb pikslite RGB tähendustest. Edasi algoritm tuvastab kohad, kus pildil asuvad näod. Järgmiseks sammuks on visuaalsete erisugususte parandamine. Näiteks, algoritm oskab „pöörata“ näo sobiva positsiooni, kui hetke nurga alt on raske saada vajalikud andmed kätte. Tänu sellele „oskusele“ algoritm töötab hästi ka halba valgustatuse ja koheseks tuvastamiseks ebamugavate inimese kuju positsioonide korral. Kolmanda sammuna neurovõrk eraldab näo biomeetrilise mustri. Biomeetriline muster on teatud numbriline jada, mis on koostatud neurovõrgu poolt peale esialgse kuju teisendust, ning kasutatakse teiste sama kujuliste mustritega võrdlemiseks.		Kõik pildid koosnevad pikslitest. Igat pikslit võib esitada kolmes numbrilises osas – RGB (Red Green Blue). Neurovõrgu sisendiks on maatriks, mis koosneb pikslite RGB tähendustest. Edasi algoritm tuvastab kohad, kus pildil asuvad näod. Järgmiseks sammuks on visuaalsete erisugususte parandamine. Näiteks, algoritm oskab „pöörata“ näo sobiva positsiooni, kui hetke nurga alt on raske saada vajalikud andmed kätte. Tänu sellele „oskusele“ algoritm töötab hästi ka halba valgustatuse ja koheseks tuvastamiseks ebamugavate inimese kuju positsioonide korral. Kolmanda sammuna neurovõrk eraldab näo biomeetrilise mustri. Biomeetriline muster on teatud numbriline jada, mis on koostatud neurovõrgu poolt peale esialgse kuju teisendust, ning kasutatakse teiste sama kujuliste mustritega võrdlemiseks. Lõpuks, kui kõik andmed on käes ja töödeldud, teostatakse saadud andmete võrdlemine andmebaasis juba olemas olevate andmetega. Tegelikult, FindFace on terviklik ja mahukas erinevate neurovõrkude kogum, milles iga neurovõrk vastutab teatud ülesande eest lõpptulemuseni jõudmiseks.
	Lõpuks, kui kõik andmed on käes ja töödeldud, teostatakse saadud andmete võrdlemine andmebaasis juba olemas olevate andmetega.
	Tegelikult, FindFace on terviklik ja mahukas erinevate neurovõrkude kogum, milles iga neurovõrk vastutab teatud ülesande eest lõpptulemuseni jõudmiseks.

← Older revision		Revision as of 12:19, 14 December 2020
Line 11:		Line 11:
	Üks olulisemaid 17. sajandi filosoofe Thomas Hobbes väitis, et „me lisame ja lahutame vastu tahtmist oma mõtetes”<ref>[http://elib.sfu-kras.ru/bitstream/handle/2311/65639/dissertaciya1_-_kopiya.pdf?sequence N.A Eremeev, "МАГИСТЕРСКАЯ ДИССЕРТАЦИЯ", «СИБИРСКИЙ ФЕДЕРАЛЬНЫЙ УНИВЕРСИТЕТ», 06.2017]</ref>. Mõiste „teadvus” näib olevat loogilisem ja arvutatav.		Üks olulisemaid 17. sajandi filosoofe Thomas Hobbes väitis, et „me lisame ja lahutame vastu tahtmist oma mõtetes”<ref>[http://elib.sfu-kras.ru/bitstream/handle/2311/65639/dissertaciya1_-_kopiya.pdf?sequence N.A Eremeev, "МАГИСТЕРСКАЯ ДИССЕРТАЦИЯ", «СИБИРСКИЙ ФЕДЕРАЛЬНЫЙ УНИВЕРСИТЕТ», 06.2017]</ref>. Mõiste „teadvus” näib olevat loogilisem ja arvutatav.

	David Jung kirjeldab oma traktaadis “Treatise of human nature” meetodi, mida nüüd nimetatakse matemaatiliseks induktsioonimeetodiks. Meetodit kasutatakse, et tõestada mingi väite tõesust, kõikide naturaalarvude jaoks<ref>[https://en.wikipedia.org/wiki/Mathematical_induction, "Mathematical induction", Wikimedia Foundation, Inc., 7.12.2020]</ref>. David Jung oli ka loogilise positivismi eellane<ref>[https://en.wikipedia.org/wiki/Logical_positivism "Logical positivism", Wikimedia Foundation, Inc., 12.11.2020]</ref>, millest kirjutatakse allpool		David Jung kirjeldab oma traktaadis “Treatise of human nature” meetodi, mida nüüd nimetatakse matemaatiliseks induktsioonimeetodiks. Meetodit kasutatakse, et tõestada mingi väite tõesust, kõikide naturaalarvude jaoks<ref>[https://en.wikipedia.org/wiki/Mathematical_induction, "Mathematical induction", Wikimedia Foundation, Inc., 7.12.2020]</ref>. David Jung oli ka loogilise positivismi eellane<ref name="Logical">[https://en.wikipedia.org/wiki/Logical_positivism "Logical positivism", Wikimedia Foundation, Inc., 12.11.2020]</ref>, millest kirjutatakse allpool

	Loogilise positivismi filosoofiat arenedasid peamiselt filosoofide rühm, mida nimetatakse "Viini ringiks". Loogilise positivismi idee seisneb selles, et maailma uurimine peaks olema puhtalt ratsionaalne. Selle rühma juht oli Rudolf Carnap. 1950. aastal Carnap kirjutas „Tõenäosuse loogilised alused“. Oma raamatus Canap töötas välja doktriini mille mõtte seisneb selles, et kõiki teadmisi saab iseloomustada loogiliste teooriatega. Oma raamatus püüab ta mõista: kuidas teadmised tulevad kogemustest ja kuidas teadvus ennast arendab”<ref~~>[https://en.wikipedia.org/wiki/Logical_positivism~~ "Logical ~~positivism~~"~~, Wikimedia Foundation, Inc., 12.11.2020]<~~/~~ref~~>. Küsimused, millele on vaja vastata, et tehisintellekti luua.		Loogilise positivismi filosoofiat arenedasid peamiselt filosoofide rühm, mida nimetatakse "Viini ringiks". Loogilise positivismi idee seisneb selles, et maailma uurimine peaks olema puhtalt ratsionaalne. Selle rühma juht oli Rudolf Carnap. 1950. aastal Carnap kirjutas „Tõenäosuse loogilised alused“. Oma raamatus Canap töötas välja doktriini mille mõtte seisneb selles, et kõiki teadmisi saab iseloomustada loogiliste teooriatega. Oma raamatus püüab ta mõista: kuidas teadmised tulevad kogemustest ja kuidas teadvus ennast arendab”<ref name="Logical" />. Küsimused, millele on vaja vastata, et tehisintellekti luua.

	==Olulised sündmused matemaatikas närvivõrkude jaoks==		==Olulised sündmused matemaatikas närvivõrkude jaoks==
Line 23:		Line 23:
	seda, et Turingi masin ei hakka kunagi mõtlema nagu inimene. Seetõttu, inimese mõistuse keerukusega närvivõrgu loomiseks tuleb otsida teist süsteemi<ref>[https://textarchive.ru/c-1073968.html И.В. Степанов, "Теоремы Гёделя и проблема возможности создания искусственного интеллекта", Вологодский государственный педагогический университет, 2011]</ref>.		seda, et Turingi masin ei hakka kunagi mõtlema nagu inimene. Seetõttu, inimese mõistuse keerukusega närvivõrgu loomiseks tuleb otsida teist süsteemi<ref>[https://textarchive.ru/c-1073968.html И.В. Степанов, "Теоремы Гёделя и проблема возможности создания искусственного интеллекта", Вологодский государственный педагогический университет, 2011]</ref>.

	Tõenäosusteooria on tehisintellekti jaoks sama oluline kui loogika. Kuna tõenäosusteooria loob tehisintellektile meetodid määramatusega töötamiseks. Mõned peamised teadlased, kes tegid suure panuse sellesse teooriasse : Pierre de Fermat (1607 - 1665), Blaise Pascal (1623 - 1662) Jacob Bernoulli (1655 - 1705)<ref>[https://cyberleninka.ru/article/n/istoriya-razvitiya-neyronnyh-setey/viewer Горбачовская Е.Н, Краснов С.С, "История развития нейронных ~~сете~~", Унивеситет имени В.Н Татищева]</ref>.		Tõenäosusteooria on tehisintellekti jaoks sama oluline kui loogika. Kuna tõenäosusteooria loob tehisintellektile meetodid määramatusega töötamiseks. Mõned peamised teadlased, kes tegid suure panuse sellesse teooriasse : Pierre de Fermat (1607 - 1665), Blaise Pascal (1623 - 1662) Jacob Bernoulli (1655 - 1705)<ref>[https://cyberleninka.ru/article/n/istoriya-razvitiya-neyronnyh-setey/viewer Горбачовская Е.Н, Краснов С.С, "История развития нейронных сетей", Унивеситет имени В.Н Татищева]</ref>.


Line 33:		Line 33:
	20. sajandil toimus märkimisväärne läbimurre tänu tehnoloogia arengule. Paljudel teadustel tekkisid uusi võimalusi uurimistööks tehnoloogia abil. Neurobioloogia ja neuroanatoomia oli integreeritud närvivõrku.		20. sajandil toimus märkimisväärne läbimurre tänu tehnoloogia arengule. Paljudel teadustel tekkisid uusi võimalusi uurimistööks tehnoloogia abil. Neurobioloogia ja neuroanatoomia oli integreeritud närvivõrku.

	20. sajandi keskel oli määratud kindlaks, et aju on loendamatu arv ühendatud neuroneid. Samal ajal ilmus ka närvivõrgu kontseptsioon: esimese töö, kus närvivõrgu valdkonnas saavutati peamised tulemused, tegid McCulloch ja Pitts. 1943. aastal nad töötasid välja närvivõrgu arvutimudeli, mis põhines matemaatilistel algoritmidel ja aju struktuuril. Nad oletasid, et neuroneid võib käsitleda kahendarvudes töötavate seadmetena. McCulloch-Pittsi neuronid oskasid õppida. Loojad eeldasid, et sellel võrgul on inimluure potentsiaal<ref>[https://cutt.ly/WhO7Hhi, "История возникновения нейронных сетей", 28.01.2015]</ref>.		20. sajandi keskel oli määratud kindlaks, et aju on loendamatu arv ühendatud neuroneid. Samal ajal ilmus ka närvivõrgu kontseptsioon: esimese töö, kus närvivõrgu valdkonnas saavutati peamised tulemused, tegid McCulloch ja Pitts. 1943. aastal nad töötasid välja närvivõrgu arvutimudeli, mis põhines matemaatilistel algoritmidel ja aju struktuuril. Nad oletasid, et neuroneid võib käsitleda kahendarvudes töötavate seadmetena. McCulloch-Pittsi neuronid oskasid õppida. Loojad eeldasid, et sellel võrgul on inimluure potentsiaal<ref name="History">[https://cutt.ly/WhO7Hhi, "История возникновения нейронных сетей", 28.01.2015]</ref>.

	1949. aastal Donald Hebb esimesena pakkus oma töös, et õppimine toimub sünaptiliste ühenduste tugevuse muutuste tõttu. 1951. aastal Marvin Lee Minsky juhtimisel oli ehitatud 40 Hebbi sünapsi võrgustik. Sünapsid olid omavahel juhuslikult ühendatud ja õpiti vastavalt Hebbi reeglile<ref>[https://en.wikipedia.org/wiki/Stochastic_neural_analog_reinforcement_calculator "Stochastic neural analog reinforcement calculator", Wikimedia Foundation, Inc., 01.04.2020]</ref><ref~~>[https://cutt.ly/WhO7Hhi,~~ "~~История возникновения нейронных сетей~~"~~, 28.01.2015]<~~/~~ref~~>.		1949. aastal Donald Hebb esimesena pakkus oma töös, et õppimine toimub sünaptiliste ühenduste tugevuse muutuste tõttu. 1951. aastal Marvin Lee Minsky juhtimisel oli ehitatud 40 Hebbi sünapsi võrgustik. Sünapsid olid omavahel juhuslikult ühendatud ja õpiti vastavalt Hebbi reeglile<ref>[https://en.wikipedia.org/wiki/Stochastic_neural_analog_reinforcement_calculator "Stochastic neural analog reinforcement calculator", Wikimedia Foundation, Inc., 01.04.2020]</ref><ref name="History" />.

	1958. aastal Frank Rosenblatt lõi maailma esimese neuroarvuti MARK 1 mis põhineb perceptroni kontseptsioonil. Perceptron on üks esimesi närvivõrgu mudeleid. Vaatamata oma lihtsusele perceptron oskab õppida ja lahendada üsna keerukaid probleeme. Arvutil võttis 50 katset, et õppida eristama vasakut ja paremat. 1960. aasta esitlusel arvuti suutis eristada inglise tähestiku tähti. Teadlased ennustavad, et hiljem suudavad närvivõrgud inimesi ära tunda ja neid nimepidi kutsuda, samuti suulise ja kirjaliku kõne koheselt ühest keelest teise tõlkida. Hr Rosenblatt ütles, et põhimõtteliselt on võimalik ehitada "ajusid", mis suudavad end konveieril paljundada ja mis on teadlikud omaenda olemasolust<ref>[https://sok.susu.ru/courses/MachineLearnig/lectures/10%20History.pdf Соколински Л.Б, "История нейронных сетей и глубокого обучения", 29.05.2020]</ref>.		1958. aastal Frank Rosenblatt lõi maailma esimese neuroarvuti MARK 1 mis põhineb perceptroni kontseptsioonil. Perceptron on üks esimesi närvivõrgu mudeleid. Vaatamata oma lihtsusele perceptron oskab õppida ja lahendada üsna keerukaid probleeme. Arvutil võttis 50 katset, et õppida eristama vasakut ja paremat. 1960. aasta esitlusel arvuti suutis eristada inglise tähestiku tähti. Teadlased ennustavad, et hiljem suudavad närvivõrgud inimesi ära tunda ja neid nimepidi kutsuda, samuti suulise ja kirjaliku kõne koheselt ühest keelest teise tõlkida. Hr Rosenblatt ütles, et põhimõtteliselt on võimalik ehitada "ajusid", mis suudavad end konveieril paljundada ja mis on teadlikud omaenda olemasolust<ref>[https://sok.susu.ru/courses/MachineLearnig/lectures/10%20History.pdf Соколински Л.Б, "История нейронных сетей и глубокого обучения", 29.05.2020]</ref>.
Line 42:		Line 42:
	Huvi närvivõrkude uurimise vastu väheneb pärast masinõppe teose "Minsky M., Papert S. Perceptrons" avaldamist 1969. aastal. Avastati närvivõrkude peamised probleemid:		Huvi närvivõrkude uurimise vastu väheneb pärast masinõppe teose "Minsky M., Papert S. Perceptrons" avaldamist 1969. aastal. Avastati närvivõrkude peamised probleemid:
	Perceptron ei saa XOR-funktsiooni rakendada.		Perceptron ei saa XOR-funktsiooni rakendada.
	Arvutitel ei olnud piisavalt töötlemisvõimsust, et tõhusalt hakkama saada suurte arvutustega, mis olid vältimatud töötamises närvivõrkudega<ref~~>[https://cutt.ly/WhO7Hhi,~~ "~~История возникновения нейронных сетей~~"~~, 28.01.2015]<~~/~~ref~~>.		Arvutitel ei olnud piisavalt töötlemisvõimsust, et tõhusalt hakkama saada suurte arvutustega, mis olid vältimatud töötamises närvivõrkudega<ref name="History" />.

	'''3. etapp "Optimism"'''		'''3. etapp "Optimism"'''

	1975 aastaks, kui arvutid muutusid suhteliselt võimsaks, toimus ka oluline sündmus, mis äratas huvi närvivõrkude vastu. Paul Werbos kirjeldas backpropagation meetodit. Meetod lahendas „liitmismooduli 2” ja mõne muud 1969. aastal püstitatud probleemid<ref>[https://en.wikipedia.org/wiki/Backpropagation ~~author_name~~, "Backpropagation", Wikimedia Foundation, Inc, 02.12.2020]</ref>.		1975 aastaks, kui arvutid muutusid suhteliselt võimsaks, toimus ka oluline sündmus, mis äratas huvi närvivõrkude vastu. Paul Werbos kirjeldas backpropagation meetodit. Meetod lahendas „liitmismooduli 2” ja mõne muud 1969. aastal püstitatud probleemid<ref>[https://en.wikipedia.org/wiki/Backpropagation, "Backpropagation", Wikimedia Foundation, Inc, 02.12.2020]</ref>.

	1975. aastal Fukushima töötas välja neokognitrooni, millest sai üks esimesi mitmekihilisi närvivõrke. See sündmus on oluline, sest varem arvati, et mitmekihilised närvivõrgud ei suuda arvutada vajalikke funktsioone. Kuid võrgud said informatsiooni levitada ainult ühes suunas. Neuronite vahelist informatsiooni kahepoolset edastamist oli saavutatud ainult Hopfieldi võrgus 1982. aastal<ref~~>[https://cutt.ly/WhO7Hhi,~~ "~~История возникновения нейронных сетей~~"~~, 28.01.2015]<~~/~~ref~~>. Kuigi Hopfieldi võrgul olid puudused ja seda ei saanud praktikas kasutada, oli see oluline samm närvivõrkude arendamisel. Teadlane pani aluse korduvatele võrkudele<ref>[https://en.wikipedia.org/wiki/Recurrent_neural_network "Recurrent neural network", Wikimedia Foundation, Inc, 13.12.2020]</ref>.		1975. aastal Fukushima töötas välja neokognitrooni, millest sai üks esimesi mitmekihilisi närvivõrke. See sündmus on oluline, sest varem arvati, et mitmekihilised närvivõrgud ei suuda arvutada vajalikke funktsioone. Kuid võrgud said informatsiooni levitada ainult ühes suunas. Neuronite vahelist informatsiooni kahepoolset edastamist oli saavutatud ainult Hopfieldi võrgus 1982. aastal<ref name="History" />. Kuigi Hopfieldi võrgul olid puudused ja seda ei saanud praktikas kasutada, oli see oluline samm närvivõrkude arendamisel. Teadlane pani aluse korduvatele võrkudele<ref>[https://en.wikipedia.org/wiki/Recurrent_neural_network "Recurrent neural network", Wikimedia Foundation, Inc, 13.12.2020]</ref>.

	Alates 1980. aastatest uus masinõppe lähenemine “konnektivism” muutunud populaarseks. Üks konnektivismi ideid on see, et selgitada inimese vaimseid võimeid võib kasutada närvivõrku. Et meelt saab iseloomustada nagu "a set of complex associations, represented as a layered network”. 1986. aastal psühholoog James McClelland kasutas konnektivismi närviprotsesside arvuti modelleerimiseks<ref>[https://en.wikipedia.org/wiki/Connectionism, "Connectionism", Wikimedia Foundation, Inc., 06.12.2020]</ref>.		Alates 1980. aastatest uus masinõppe lähenemine “konnektivism” muutunud populaarseks. Üks konnektivismi ideid on see, et selgitada inimese vaimseid võimeid võib kasutada närvivõrku. Et meelt saab iseloomustada nagu "a set of complex associations, represented as a layered network”. 1986. aastal psühholoog James McClelland kasutas konnektivismi närviprotsesside arvuti modelleerimiseks<ref>[https://en.wikipedia.org/wiki/Connectionism, "Connectionism", Wikimedia Foundation, Inc., 06.12.2020]</ref>.