I026 - Kevad 2017 - Tarkvara tagauksed

From EIK wiki

Tarkvara tagauksed - poolt ja vastu

Autorid: Katrin Lasberg, Marko Esna, Maile Mäesalu, Kristiina Keelmann, Madis Tammekänd

Backdoor.jpg

Sissejuhatus

Tarkvara tagauks on enamasti salajane meetod hiilimaks mööda tavapärasest autentimisest tootes, arvutisüsteemis, krüpteeringus või algoritmis. Tagauksi kasutatakse sageli eesmärgil kindlustada kaugjuurdepääs arvutile või lihttekstile krüpteeritud süsteemis. [1]Tagauksi ehitavad programmeerijad tarkvarassse sisse näiteks selleks, et omada võimalust programmi siluda. Näiteks BBS programm lubab juurdepääsu igale BBS arvutile, kus seda tarkvara käitatakse.[2] Selge on see, et tarkvara tagauste olemasolul on nii plusse kui ka miinuseid - ühest küljest on see hea viis tarkvara pidevaks täiustamiseks ja kui midagi rikki läheb, on siiski võimalus ligi pääseda ja päästa, mis päästa annab; teisest küljest aga sillutab see ka tee kurjategijatele, kes tahavad saada võimu süsteemi/arvutite vms. teabe üle. Valitsuste poolse tagauste loomise ühe esimese näitena võib välja tuua 1993. aastal USA’s Riikliku Julgeolekuagentuuri poolt algatatud Clipper chip projekti, mida avaliku halvakspanu tulemusena tol ajal praktikas ellu viia ei suudetud.

Krüptograafiline tõrkepunkt a.k.a System Update

Leif Ryge[3] kirjeldab meie praegust reaalsust nii:

Q: What does almost every piece of software with an update mechanism, including every popular operating system, have in common?

A: Secure golden keys, cryptographic single-points-of-failure which can be used to enable total system compromise via targeted malicious software updates.

Ehk siis maakeeli on igal tarkvaral, millel on uuendusmehhanism, olemas juba sisseehitatud tagauks. Suunatud pahavaraga tarkvara uuendus tähendab, et ainult valitud sihtmärgid saavad selle uuenduse ning see omakorda vähendab võimalust, et keegi seda märkaks. Et sellist rünnakut sooritada, vajab ründaja kahte asja. Esiteks peab tal olema suutlikkus see uuendus kohale toimetada. Teiseks peab ta olema suuteline ohvri arvutit veenma, et antud tarkvara uuendus on tõeline. Lõppstaadiumis saab ründaja omale kõik antud programmi volitused. Juhul kui oleks tegu näiteks operatsioonisüsteemi uuenduse mimikriga, saaks ründaja põhimõtteliselt kontrolli kogu ohvri arvuti üle, ning kõikide sealsete programmide ning krüpteerimisvõtmete jms üle.

Osades süsteemides on autentimiseks mitu võtit, kuid piisab ainult ühe lekkimisest, et rünnak muutuks võimalikuks. Teisalt on süsteemid, kus on tarvis mitme võtme signatuure, kuid kuna need üldjuhul on selle ühe firma käes, võib ka selle liigitada eelneva alla. Paraku võib sellise tagaukse leida ka linuxis. Eelkõige Debiani baasil olevates distrotes. Õnneks on paljud tarkvara tootjad juba astunud mõned sammud lähemale turvalisusele, ning hakanud valideerima oma süsteemi uuendusi.

Siit võib leida väikse nimekirja erinevatest programmidest, millel on tagauksi leitud.

Ei saa ka mainimata jätta üht suuremat ja tuntumat juhtumit- Back Orifice. See polnud kaugeltki esimene tagauks, kuid võib öelda julgelt, et see oli esimene, mis tõi tähelepanu tarkvara tagauste olemasolule ja ka sellega seonduvatele probleemidele. Aastal 1998 loodud programm võimaldas saavutada kontrolli kõikide arvutite üle, mis kasutasid Microsoft Windowsi operatsioonisüsteemi [4] Paljude arvates on siiani Microsoft Windows turvaauke täis.

Tarkvara tagauste loomise kulu

Suurte tegijate nagu Facebook'i, Google'i, Apple'i ja Microsofti'i kõrval on USA's kokku ligikaudu 35,000 ning maailmas 60,000 ettevõtet, kelle tegevus moodustab Interneti tuuma ning infrastruktuuri, sealjuures enamik nendest ettevõtetest on väikese või keskmise suurusega. Infotehnoloogiliste lahenduste sektori näol on tegemist äärmiselt tugeva konkurentsiga turuga ning kohustus hallata tagauksi on väiksematele ettevõtetele keerukas kui mitte võimatu. On oluline arvestada, et sellise nõudmise sisseviimine võib turult kaotada mitmed tänased tegijad ning takistada turule sisenemist uutel ettevõtetel, kes püüavad alustavad nagu seda tegi kunagi Facebook või Apple. Viimasest vaatepunktist lähtudes on tegemist äärmiselt innovatsioonivaenuliku käitumisega.

Peamisi põhjusi on kolm: tehnoloogilise kulu, tööjõu ning vastutuse probleem. Esimese puhul tuleb arvestada, et mitte kõikides tarkvarades pole tagauksi ning nende sisseviimine nõuab omajagu ressurssi. Tööjõu kontekstis tuleb mõista, et mitte kõikidel ettevõtetel pole ligipääsu kvalifitseeritud tööjõule täitmaks tagauste nõuet. Viimase, kuid mitte vähem olulisena, tuleb ühtlasi mõista, tarkvara tagauksega on vähem turvaline, kui tarkvara ilma selleta ning ettevõtetel tuleb võtta senisest suurem vastutus klientide ja nende andmete kaitsmise ees uutes oludes. [5]. Sealjuures ettvõtte kulude kõrval peame arvestama ka toodete ja teenuste võimalikku hinnamuutust ning olukorda, kus tarbijal tuleb täiendav kulu kinni maksta. Viimasel on aga ilmselge mõju majandusele tervikuna. [6].

Tarkvara tagauste kasutamine võitluses kuritegevusega

Filosoofias üks klassikalisemaid ja kaasahaaravamaid väitluseid keskendub vabaduse ja turvalisuse konfliktile. See temaatika hõlmab endas väga paljusid elualasid ning üks peamine küsimusi siinkohal on, et kui palju ja millist vabadust peaks ohverdama, et saavutada turvalisus? Ja kas sellisel juhul on ka tegelikult turvalisus saavutatud või on see hoopis näiline? Üheks võimaluseks on riistvara ja tarkvara loomisel kohe algselt sisse arvestada ka tagauksed, mille kaudu on "ohtude" korral võimalik valitusasutustel (politsei, FBI, NSA) pääseda ligi vajalikule informatsioonile, mille kaudu saaks ära hoida veel toime panemata kuritegusid nagu näiteks terrorism ning ka leida tõendeid juba toimunud kuritegevuse kohta. Peamine tagauksi toetav argument ongi see, et valitus vajab sedasorti juurdepääsu kriminaaljuurdlusteks, militaarse intelligentsuse saavutamiseks ja loomulikult terrorismiga võitlemiseks. Tagauste puudumisel aga saavad kriminaalid ja terroristid turvaliselt hoiustada oma andmeid ja seetõttu ei saa ka valitsus nende tegevust jälgida vms.[7]

Ameerika Ühendriigid

Üks peamisi argumente tarkvara tagauste kohustuslikuks muutmisel Ameerika Ühendriikide ühiskondliku diskussiooni kontekstis on olnud võitlus kuritegevuse ning terrorismiga. Aspekt, mida harvem kajastatakse, on see, et olukorras, kus tagauksed on avalikult kohustuslikud, kolivad kurjategijad suure tõenäosusega oma suhtluse teistesse kanalitesse. Sealjuures uued kanalid võivad osutuda senistest vähem kättesaadavamaks, raskendades seeläbi jõustruktuuride tööd veelgi enam. Heaks näiteks on siinkohal arvukad Dark Web'i võimalused. [8]

Meie igapäevaselt kasutatavad seadmed on paraku üpriski ebakindlad ning sellest tulenevalt on tagauste loomise kõrval veel teinegi võimalus. Lawful hacking'u pooldajad usuvad, et täiendavate nõrkuste süsteemi lisamise kõrval tuleb kasutada ära olemasolevaid haavatavusi. Lihtsa näitena on võimalik tuua fakt, et e-kirja saaja, saatja ning pealkiri ehk metadata võib sisaldada samavõrra olulist informatsiooni kui e-kirja sisu ise. Siit järeldub, et tagauste kohustuslikuks muutmise eel oleks mõistlik kaardistada reaalsed vajadused ning juba eksisteerivad alternatiivsed viisid nende vajaduste täitmiseks. [9]

Kanada

Kanada uus valitsus tahab veelgi laiendada oma järelevalve volitusi nõudes kõikide teenuste dekodeerimist, kohustuslikku andmete säilitamist nii interneti kui ka telefoniteenuste pakkujatelt, ning tagauksi, mis võimaldavad pealtkuulamist ja juurdepääsu klientide andmetele.[10] Valitsus ei ole rahul sellega, et neil puudub võimalus kommunikatsiooni vaheltlõikamiseks internetis. Telefonivõrkude pealtkuulamine on võimalik olnud juba aastakümneid, kuid paljud e-maili ja kiirsõnumi programmid seda endiselt ei võimalda. Eelkõige kehtib see selliste firmade puhul, kes ka ise ei saa näha oma kasutajate privaatsuhtlusi, ning seega ei saa ka valitsus. Seega hea lahendus oleks luua tarkvarasse tagauks, mis lubaks mööda minna krüpteeringutest ning annaks valitsusele võimaluse infovahetust pealt kuulata. Samuti oleks neil otsene ligipääs sellele tagauksele ning saaks seda kasutada igal ajal, vahet pole kas neil on selleks order või mitte. Kui säärane seadus peaks vastu võetama ning avalikkus sellest teada saaks, siis tõenäoliselt hakkaksid paljud inimesed valitud teenuseid vältima, mida see seadus puudutaks. See võib olla ka põhjus, miks viimasel ajal paljud lääne demokraatlikud riigid üheskoos taolisi seaduseid jõustada soovivad. Et inimestel tekiks tunne, nagu poleks neil varsti enam muud varianti, kui kasutada ainult tagaustega teenuseid.

Suurbritannia

Hiljutise terrorirünnaku kontekstis on teema päevakorral ka Suurbritannias, kus riik soovib ligipääsu näiteks WhatsApp kasutavate inimeste vestlustele. Tagauste vastaste seas ollakse seisukohal, et tegemist on riigi sooviga olukorda ära kasutades nõuda tehnoloogiaettevõtetelt järeleandmisi. Sarnaselt Ameerika Ühendriikide kontekstile usuvad vastased siingi, et tagauks pakub probleemile lahendust vaid ajutiselt ning kurjategijad asuvad kasutama teisi kanaleid. Endine küberkaitse juht kaitseministeeriumis, Jonathan Shaw, sõnastab tabavalt: “We are aiming at a very fluid environment here. We are in real trouble if we apply blunt weapons to this, absolutist solutions.”[11]. Temaatikale lisab raskust Suurbritannias hiljuti vastu võetud seadus Investigatory Powers Bill, mille sõnastus oli piisavalt hägune mõistmaks, millistes piirides soovib riik oma kodanike tegevust jälgida. Seadusesse ei ole sisse kirjutatud tagauste nõuet, kuid on lisatud nõue, et ettevõtted peaksid olema võimelised eemaldama kasutajata andmete krüpteeringu igal juhul, kui see on teostatav; sealjuures viimane mõiste ei leia seaduses kajastust. [12]

Lawful hacking kui arvestatav alternatiiv

Lawful hackingu pooldajad usuvad, et uute nõrkuste loomise asemel peaksid kaitseorganid kasutama olemasolevaid haavatavusi. On teada, et ajalooliselt on mõned rakendused olnud rünnakutele märksa haavatavamad kui teised, näiteks veebilehitsejad või PDF rakendused. Lawful hackingu kontekstis on esimeseks sammuks õppida tundma kasutaja seadet sellises mahus, et see aitab leida viisi kahtlusealuse riistvara pahavaraga nakatamiseks. Juhul, kui korrakaitseorganitel on näiteks ligipääs jälgitava e-kirjadele, võib näiteks nende vahendusel olla võimalik tuvastada kasutatav operatsioonisüsteem. Järgmiseks sammuks on operatsioonisüsteemist lähtuvalt sobiva haavatavuse välja valimine ning pahavara kohaletoimetamis viisi leidmine. Lihtsaim neist on e-mail, mille puhul tasub küll arvestada riskidega, et seda võidakse märgata või spämmifilter suudab selle välja filtreerida, kuid teatud juhtudel õnnestub kasutada ka sama kohalikku võrku või nakatunud USB seadet.

Operatsioonisüsteemide haavatavused on sageli avalikult teada, näiteks The National Institute of Standards and Technology (NIST) haldab andmebaasi National Vulnerability Database (NVD), mis on kättesaadav siit: https://nvd.nist.gov. Kui operatsioonisüsteemi nõrkuste ärakasutamine ei toimi, on alternatiivseks lahendusena teise sammu raames on ka Man-in-the-Middle (MitM) tüüpi rünnakud, kus uurimise all oleva inimese riistvarani jõudmiseks kasutatakse vahesammuna mõnda veebilehte. Kuigi antud kontektis eeldab lawful hacking reaalse pahavara haldamist, on seda varasemalt edukalt tehtud ning võimalik ka tulevikus tagauste alternatiivina rakendada. [13].

Tarkvara tagauste vastuargumendid

Tehnilised faktid

1. Tarkvara ja riistvara ei suuda eristada "pahasid" ja "häid poisse" - krüptograafiline süsteem suudab ainult tuvastada, kas inimesel on õige võti süsteemi sisenemiseks või mitte, mitte aga seda, kas ta kasutab seda võtit õigetel alustel
Good-guy-bad-guy-manicheanism.jpg
2. Tagauksed kannavad endas otsest riski kõikidele kasutajatele
3. Disain, mis võimaldab tagauksi on nõrgem kui süsteem, mis seda ei võimalda - kasutades krüpteerimist koos võtmetega nii, et ainult lõppkasutuja saab ligi, on hoobilt suur osa potentsiaalsetest rünnakutest võimatud
4. Ei ole olemas kasulikku ja selget viisi kuidas teha vahet krüptograafilistel töövahenditel, mis on mõeldud kommunikatsiooniks ja mis mitte [14]

Üks huvitavamaid lugemisi selle kohta võiks olla: "Keys Under Doormats: Mandating insecurity by requiring government access to all data and communications" [15], kus rühm krüptolooge ja turvalisuse eksperte käsitleb turvalisuse probleeme lähtuvalt sellest, et valitusele võimaldatakse juurdepääs tagauste kaudu.

Moraalsed argumendid

Kas valitsust saab igal juhul usaldada? Oletame, et tarkvara arendajad on võimaldanud valitusele juurdepääsu läbi tagauste, kas sellisel juhul võime olla kindlad, et valitsus seda võimalust ainult reaalse ohu korral kasutab? Usaldamatus valitsuse vastu on üheks põhjuseks, miks ollakse vastu tagauste vajalikusenõudele. Näiteks, või mõtisklemiseks võiks siinkohal tuua mõne autoritaarsema riigi valitsuse - mis juhtuks siis kui sellistel valitsustel oleks tagauste kasutamise võimalus? [16] Sama küsimust lahkab ka tuntud küberekspert Mikko Hyppoen, kes märgib tabavalt, et isegi, kui meil ei ole valitsuse eest midagi varjata, ei ole meil ka midagi, mida me tingimata sooviksime nendega jagada. Sealjuures veel vähem soovime me inimestena lubada võõraste valitsuste juurdepääsu oma digitaalse jalajälje detailidele. [17]

Juhul kui valitsust võib usaldada selles osas, et ta ei kasuta tagauste juurdepääsu valedel eesmärkidel, siis aga kerkib üles järgmine probleem - kas valitsus suudab turvaliselt hoiustada informatsiooni tagauste kohta, ilma, et see valedesse kätesse satuks?

Näide elust enesest - Apple vs FBI

AppleVSFBI.png

Taust

2. detsembril 2015. aastal pandi toime terrorirünnak San Bernardinos Californias. Rünnakus hukkus 14 ja sai vigastada 22 inimest. Mõlemad rünnaku toimepanijad hukkusid rünnakule järgnenud jälitamisel toimunud tulevahetuses politsei kuulide läbi.Ründajad jõudsid hävitada oma isiklikud mobiiltelefonid, kuid politsei sai enda valdusse ühe ründaja töötelefoniks olnud tööandjale kuuluva iPhone5C. Antud telefon oli lukustatud neljanumbrilise PIN-koodiga ja operatsioonisüsteem seadistatud selliselt, et peale kümmet ebaõnnestunud paroolisisestust kustunuks kogu telefoni salvestatud info. Föderaalne Juurdlusbüroo (FBI) kaasas telefoni salvestatud infole ligipääsu saamiseks Riikliku Julgeolekuagentuuri (NSA), kuid tulemusteta. Seejärel pöördus FBI otse Apple Inc poole, kuid viimane keeldus turvameetmetest möödapääsu võimaldava alternatiivse operatsioonisüsteemi loomisest.[18]

Apple’i seisukohad

Avalikus kirjas oma tarbijatele üle maailma tõi Apple välja oma seisukohad, mille peamine sisu oli järgmine:

"In the wrong hands, this software — which does not exist today — would have the potential to unlock any iPhone in someone’s physical possession. … Building a version of iOS that bypasses security in this way would undeniably create a backdoor. And while the government may argue that its use would be limited to this case, there is no way to guarantee such control… Doing so would hurt only the well-meaning and law-abiding citizens who rely on companies like Apple to protect their data. Criminals and bad actors will still encrypt, using tools that are readily available to them."[19]

Apple seega leidis, et valitsus oli sisuliselt palunud neil lahtimuugitavaks muuta enda aastatepikkust tööd, mis kaitseb nende kliente küberkurjategijate eest. Isegi kui valitsus väidab, et seda lahendust kasutataks ühekordselt selle ühe telefoni puhul, ei ole see selline lähenemine realistlik, sest loodud tehnoloogia võimaldaks seda valitsusel kasutada miljonite telefonide puhul ning looks teisalt ka kurjategijatele võimaluse andmetele ligipääsuks.

Lisaks kaitses ka krüptograaf Matthew Green John Hopkinsi ülikoolist Apple-i seisukohti, tuues välja järgnevat:

"Apple is not designing systems to prevent law enforcement from executing legitimate warrants. It’s building systems that prevent everyone who might want your data – including hackers, malicious insiders, and even hostile foreign governments — from accessing your phone. This is absolutely in the public interest. Moreover, in the process of doing so, Apple is setting a precedent that users, and not companies, should hold the keys to their own devices. " [20]

Kohtu korraldus

Apple’ilt koostöö osas negatiivse vastuse saamise järgselt pöördus FBI kohtu poole, mille tulemusena väljastati 16. veebruaril 2016. aastal kohtu korraldus In the Matter of the Search of an Apple iPhone Seized During the Execution of a Search Warrant on a Black Lexus IS300, California License Plate 35KGD203.[21] Korralduse põhjal leidis valitsus, et Apple’i vastuseis on tingitud eelkõige murest oma maine, ärimudeli ja avaliku turundusstrateegia osas. Valitsuse leidis, et nimetatud põhjendused on absoluutselt ebaolulised, sest taotles Apple’lt nö valmislahendust ainult selle ühe telefoni andmetele ligipääsemiseks. Selleks oleks olnud vaja teha võimalikuks korduvad paroolisisestused, välistades seejuures võimaluse, et andmed kümne ebaõnnestunud katse järel ligipääsmatuks muutuksid . Valitsuse hinnangul ei olnud seega tegemist tarkvaraga, mis erineks oluliselt tavalisest uuendusest, mida telefonile tehakse. Samuti lubas korraldus seadme Apple’i valdusesse (valitsusasutustel olnuks võimalik tegutseda kaugühenduse kaudu), mis välistab võimaluse, et tarkvara saab kättesaadavaks kellelegi teisele, välja arvatud juhul kui Apple ise seda jagada otsustab.[22]

FBI “leiab” lahenduse ja võtab juhtumi menetlusest tagasi

Kogu antud juhtumi laialdane käsitlus avalikkus tekitas turu „toodetele“, mis suudaksid antud telefonimudeli puhul andmetele ligipääsu luua ning ühelt seni avalikustamata kolmandalt osapoolelt (kokku oli „pakkujaid väidetavalt kolm[23]) FBI toimiva lahenduse ostiski (tehingu maksumust hinnati algselt 1,3 miljonile dollarile, hiljem on juhuslikult välja öeldud, kuid kinnitamata summa 900 000 dollarit).[24][25] Antud lahendus töötab vaid mudelil 5C ja sellest vanematel iPhone’idel. Kui kriminaaluurimine seda ei nõua, ei ole FBI’l kavatsust lahenduse toimimise põhimõtteid Apple’le avaldada[26]. Eksperdid on leidnud, et selline asjade käik pani omakorda Apple’i rolli, kus ta võib pöörduda lahenduse leidmiseks musta turu poole ning taaskord on leidnud kinnitust tõde, et mida sa ei tea, on võimalik raha eest osta[27].

Ühiskondlik diskussioon

Kuigi Apple'i ja USA valitsuse vaheline kohtuasi lõppes juhtumist loobumisega, jäi õhku küsimus, kas ja milliste meetoditega peaks olema riikide valitsustel võimalik erafirmasid juurdlustesse kaasata ning rahvusliku julgeoleku huvides oma toodetele tarkvara kirjutama sundida. Ühele poole asetuvad selles arutelus reeglina valitsusasutuste esindajad ning teisele tehnoloogiahiiud ja valdkonna asjatundjad. USA’le sarnaselt on ka Euroopas seoses terrorismi kasvuga samad teemad päevakorrale kerkinud – Saksamaa ja Prantsusmaa on taotlenud muu terrorismivastase koostöö raames ka tagauste loomise nõude kehtestamist. Ka Euroopa Komisjon on sellele toetavaid seisukohti avaldanud, kuid hetkeseisuga nimetatud seadusandlust algatada siiski ei plaanita. Asjatundjad aga leiavad jätkuvalt, et sellise tagaukse loomine, mis oleks kasutatav vaid teatud asutuste poolt ja mida ei saaks ära kasutada mitte keegi teine, on matemaatiliselt, tehnoloogiliselt ja äriliselt võimatu. Lihtsalt ei ole võimalik luua matemaatikat, mis töötaks erinevalt teatud juriidilise jõuga paberite olemasolul.[28]

Viited

  1. Backdoor, Wikipedia
  2. back door, e-Teatmik: IT ja sidetehnika seletav sõnaraamat
  3. https://twitter.com/wiretapped
  4. The 12 biggest, baddest, boldest software backdoors of all time, InfoWorld, 12.06.2014
  5. Opinion: Encryption backdoors are killers of the innovation economy, The Christian Science Monitor
  6. The Debate Over Encryption: The Backdoor Is a Trapdoor, The Wall Street Journal
  7. The Ethics of Backdoors, Talking Philosophy, 13.07.2015
  8. The Secret Behind the ‘Backdoor’ Debate, The Wall Street Journal
  9. Why We Don’t Need Backdoors to Move Ahead on Cybersecurity, The Wall Street Journal
  10. http://www.tomshardware.com/news/canada-software-encryption-backdoors-feedback,33131.html
  11. UK government renews calls for WhatsApp backdoor after London attack, The Verge
  12. The UK Now Wields Unprecedented Surveillance Powers, The Verge
  13. Lawful Hacking: Using Existing Vulnerabilities for Wiretapping on the Internet, Northwestern Journal of Technology and Intellectual Property
  14. Back doors are bad for security architecture, AgileBits blog, 29.04.2015
  15. Keys Under Doormats: Mandating insecurity by requiring government access to all data and communications, Computer Science and Artificial Intelligence Laboratory Technical Report, 6.07.2015
  16. The Ethics of Backdoors, Talking Philosophy, 13.07.2015
  17. How the NSA betrayed the world's trust -- time to act, TED
  18. 2015 San Bernardino attack, Wikipedia
  19. Apple, A Message to Our Customers, Apple Inc homepage, 16.02.2016
  20. Is Apple Picking a Fight with U.S. Government?, Future Tense, 23.09.2014
  21. FBI–Apple encryption dispute, Wikipedia
  22. United States District Court, Government's Montion to Compel Apple Inc. To Comply With This Court's February 16, 2016 Order Compelling Assistance In Search
  23. FBI Finally Reveals How It Hacked Apple iPhone, ValueWalk, 11.01.2017
  24. F.B.I. Director Suggests Bill for iPhone Hacking Topped $1.3 Million, The New York Times, 21.04.2016
  25. Senator reveals that the FBI paid $900,000 to hack into San Bernardino killer's iPhone, CNBC, 05.05.2017
  26. San Bernardino iPhone hack won’t work on newer models, says FBI, The Guardian, 07.04.2016
  27. Apple wants the FBI to reveal how it hacked the San Bernardino killer's iPhone, Los Angeles Times, 07.05.2017
  28. WHY can't Silicon Valley create breakable non-breakable encryption, cry US politicians, The Register, 28.04.2015