Andmesalvestustehnoloogiad ainekaart

I395 aineprogramm

Eesmärk

Õppeaine eesmärk on tutvustada erinevaid andmete salvestamise ja haldamise tehnoloogiate põhialuseid. Aine käigus õpib tudeng eristama olemasolevaid andmete salvestustehnoloogiaid ning praktikumides õpitu põhjal ka kasutama neid reaalses töökeskkonnas. Kursuse lõpuks oskab tudeng määratleda salvestustehnoloogia vajadust ettevõttes, rakendada õpitud teadmisi süsteemide haldamisel ja loomisel ning varundada olemasolevaid salvestustehnoloogiatel põhinevaid süsteeme.

Lühitutvustus

Aine nimetus: Andmesalvestustehnoloogiad (Information Storage Technologies)

Aine kood: I395

Aine tüüp: Valikaine

Õppekavadele: IT süsteemide administreerimine

Õpetamise aeg: sügissemestri II pool

Aine maht: 3 EAP

Hindamisviis: Arvestuslik

Eeldusained: Soovituslik: Operatsioonisüsteemide administreerimine ja sidumine (I233)

Õppeaine annab ülevaate erinevatest tänapäevastest suuremahuliste andmete salvestamise ja haldamise tehnoloogiatest. Tutvustakse RAID, LVM, SAN (Storage Area Networks), NAS (Network-Attached Storage), IP SAN, assotsiatiivse andmete salvestamise (content-addressed storage), ja andmete salvestamise virtualiseerimise tehnoloogiaid. Lisaks tutvustataks andmete varundamise ja taastamise põhimõtteid. Kursuse läbinu on võimeline projekteerima, rakendama ja haldama andmete salvestuse süsteeme.

Õppejõud

Edmund Laugasson

Koostöö

Küsi asju, mis segaseks jäid!

• kiirsuhtlus
  • aine kiirsuhtluskanal luuakse kokkuleppelises keskkonnas (soovitavalt vabatarkvaraline)
    • mõned ideed:
      • tekst, failivahetus, vajadusel ka heli ja video (server: matrix.org, klientprogramm: Riot.im)
      • avalikul krüptograafial põhinev Keybase
      • pilvepõhine Telegramm
• pildi jagamine
  • https://meet.jit.si/ast - vajadusel kasutame ka aine veebinarikeskkonda, mille kohta leiab lisainfot siit. Veebinarikeskkond võimaldab ka (vaid vaatamisõigusega) tervet ekraani või konkreetset rakenduse akent jagada. Vajadusel saab kasutada mõnda teist ekraanijagamise tarkvara kui soovitakse ka nt muutmisõigust anda.
• koodi jagamine
  • https://codeshare.io/ast
  • veel võimalusi:
    • https://public.etherpad-mozilla.org/
    • https://pad.riseup.net/ (30 päeva)
    • http://piratepad.net/
    • https://cryptpad.fr/
    • https://www.protectedtext.com/
• käsurea jagamine
  • https://shellshare.net/r/ast (vaid vaatamisrežiimis), lisainfo
  • https://www.teleconsole.com/ (muutmisrežiimis)
  • lisalugemist

Õppematerjalid

Aine teemade kohta lühispikker (mõistekaarditarkvara: Freemind | Freeplane baasil)

• Flashiga avatav
• mõistekaarditarkvaraga avatav
• aine materjalid
• valmiskujul virtuaalmasinad (sh laborid)
• ISO-failid

I - Kasulikke linke (Jooksvalt täienemisel):

• http://www.emc.com/products/interoperability/topology-resource-center.htm
• http://kuutorvaja.eenet.ee/wiki/Salvestusseadmete_kasutamine
• http://www.hardwaresecrets.com/article/Anatomy-of-a-Hard-Disk-Drive/177 << Kõvaketta lahkamine
• http://www.itcollege.ee/blog/2014/11/13/bob-blumridge-public-lecture/ - Avalik loeng salvestustehnoloogiate vallas! (2014)

II - RAID

• http://www.linux-mag.com/id/7924/ << Introduction to RAID (By Jeffrey B. Layton Tuesday, January 4th, 2011)
• http://www.acnc.com/raidedu/0
• http://en.wikipedia.org/wiki/RAID
• http://en.wikipedia.org/wiki/Mdadm
• http://www.arkf.net/blog/?p=47 << RAID1 > RAID5 (loe ka kommentaare!)
• https://www.youtube.com/watch?v=yAuEgepZG_8
• https://www.youtube.com/watch?v=pv9smNQ5fG0

III - LVM

• http://www.howtoforge.com/linux_lvm
• http://www.tldp.org/HOWTO/LVM-HOWTO/
• http://www.howtogeek.com/howto/40702/how-to-manage-and-use-lvm-logical-volume-management-in-ubuntu/
• http://wiki.tldp.org/LVM-HOWTO#A13.7._Splitting_a_volume_group

IV - Intelligentsed salvestussüsteemid

• http://www.freebsd.org/doc/en_US.ISO8859-1/books/handbook/bsdinstall.html <-- FreeBSD install
• http://doc.freenas.org/index.php/Main_Page <-- FreeNas dokumentatsioon
• http://www.freenas.org/
• http://www.freenas.org/images/resources/freenas8.3.0/freenas8.3_guide.html#__RefHeading__978_145473606 <-- FreeNas Manual
• http://doc.freenas.org/index.php/Unix_(NFS)_Shares

V - Varundamine ja taaste

• http://searchdatabackup.techtarget.com/tip/CAS-and-data-deduplication-Partners-in-archiving CAS vs deduplication

Kasulikud raamatud:

• "Storage Concepts: Storing and Managing Digital Data" by Hitachi Data Systems Acadamy

• "Information Storage and Management: Storing, Managing, and Protecting Digital Information” by EMC Education Services

Õppeaine ajakava

Päevaõpe

Päevaõppe videosalvestused

• Sissejuhatus (ODF | PDF) + Tasemetest
  
• Virtualiseerimissüsteemiga tutvumine ja kordamisülesanne
  
• Informatsioon/andmed, andmete elutsükkel, liidesed, salvestusvahendid ODF | PDF
  
• Redundant Array of Independent Disks ehk RAID-ide sisemaailm ODF | PDF
  
• Tarkvaralise RAID-i tegemine mdadm vahendiga (H)
  
• Ülevaade Logical Volume Manager-ist ODF | PDF
  
• LVM vahendite kasutamise praktikum (H)
  
• Sissejuhatus intelligentsetesse salvestussüsteemidesse ja ülevaade DAS tehnoloogiast ODF | PDF
  
• FreeNAS praktikum
  
• Jätk eelmisele teemale: Ülevaade SAN, IP-SAN, NAS ja CAS tehnoloogiatest ODF | PDF
  
• FreeNAS praktikumi jätk ja kaitsmised (H)
  
• Varundamine ja taaste ODF | PDF
  
• Varundamise ja taaste praktikum + kaitsmised
  
• Seminar: Juhtumiuuringu kaitsmine
  
• Arvestus - praktikumide kaitsmine

Kaugõpe

1. tund Sissejuhatus ainesse + Tasemetest
2. tund Sissejuhatus salvestustehnoloogiate juurde + Kettajagude ja saaleala kordamine
3. tund Redundant Array of Independent Disks ehk RAID-ide sisemaailm + RAIDi praktikum (H)
4. tund Ülevaade Logical Volume Manager-ist ja LVM vahendite kasutamise praktikum (H)
5. tund Ainult praktikumide kaitsmise tund
6. tund Ainult praktikumide kaitsmise tund
7. tund NAS-i praktikum e-lab keskkonnas (H)
8. tund Ainult praktikumide kaitsmise tund
9. tund (Arvestuse nädal) Ettekanded!

Õpiväljundid

Üliõpilane teab erinevaid andmete salvestamise tehnoloogiaid. Oskab projekteerida, rakendada ja hallata vajalikule ning spetsiifilisele andmetesalvestust vajavale rakendusele sobivat tehnoloogiat. Teab ja oskab rakendada andmete varundamise, taastamise ja replikeerimise tehnoloogiaid. Oskab rakendada andmete haldamise ja turvamise kaasaegseid tehnikaid.

Õpiväljund1: Tudeng oskab kirjeldada ja võrrelda erinevaid andmesalvestustehnoloogiaid

Lävend: Tudeng oskab sõnastada ja selgitada aines käsitletud andmesalvestustehnoloogiate sisu ning kasutusvaldkondi.

Õpiväljund2: Tudeng oskab juhtumiuuringus esitatud probleemi lahendada ja saadud tulemusi ning järeldusi põhjendada.

Lävend: Tudengi tehtud iseseisva töö juhtumiuuringus pakutud lahendus on kirjeldatud teemakohaste terminitega ja lahendab tegeliku probleemi korrektselt.

Õpiväljund3: Tudeng oskab rakendada vähemalt ühte andmesalvestustehnoloogiat.

Lävend: Tudengi valitud andmesalvestustehnoloogia (nt RAID) on kasutatav andmete salvestamiseks pärast seadistamiseks vajalike käskude sisestamist.

Õpiväljund4: Tudeng teab ja oskab rakendada varundamisvõtteid loodavale või juba olemasolevale süsteemile.

Lävend: Tudengi rakendatud varundamisplaani tulemusena on andmed tõrke eest kaitstud.

Õpiväljund5: Tudeng oskab töötada nii iseseisvalt kui ka grupis.

Lävend: Tudeng lahendab praktikumides etteantud ülesanded iseseisvalt ja leiab lahenduse iseseisva töö raames püstitatud probleemile meeskonnatöö tulemusena.

Õpiväljund6: Tudeng väljendab end korrektselt ja erialastes terminites nii kõnes kui kirjas.

Lävend: Iseseisva töö kirjatöös ja ettekandel kasutab tudeng aines omandatud termineid õiges kontekstis.

Kodutööde/Iseseisvate tööde info

Iseseisev töö toimub grupitöö vormis.Tudengid uurivad elulistel olukordadel põhinevaid juhtumeid ning pakuvad neile omalt poolt aine käigus omandatud teadmiste põhjal lahendusi. Uurimisele kuuluvad juhtumid on õppejõu poolt (edastatakse grupijuhile). Iseseisva töö tulemusena valmib lühikokkuvõte probleemist, selle olemusest ning pakutud lahendusest, mis omakorda kantakse kaastudengitele suuliselt ette. Töö orienteeruv maht on 2-4 lk teksti ning ettekandele kulub orienteeruvalt kuni 15 minutit grupi kohta (koos küsimuste, vastustega). Grupis võiks olla 2-3 inimest. Töö on soovitav teostada ühises elektroonilises dokumendis ja grupitöö lingi saab edastada ÕISi kaudu teatena või ka otse õppejõule.

Arvestuse kujunemine

Arvestuse saamiseks peavad olema tehtud:

1) suuliselt kaitstud kolm laborites tehtavast praktilisest ülesandest
2) päevaõpe: kantud ette grupitööna valminud iseseisev töö (juhtumiuuring).
2) kaugõpe: kantud ette individuaaltööna valminud ettekanne või viki artikkel ainet puudutaval teemal

Boonuspunkte saab:

1) Teistele teema kohta ettekande tegemise eest (kogemuse jagamine)
2) Huvitavate praktikumi ülesannete välja mõtlemise eest
3) Praktikumis, õppejõuga kokkuleppel, kaastudengite juhendamise eest
4) LUG'il jt vabavaraga seotud kogunemistel ettekande tegemise eest

Praktikumid

Sooritatakse kas virtuaallaborite keskkonnas I-Tee või ka mõnes teises arvutis.

• https://labnet.itcollege.ee/
• virtuaallaborite kasutusjuhend

Tähtajad

Päevaõppele:

• Juhtumiuuring:
  • Grupid registreerida:9.11.2017 (edastada kas siis kiirsuhtluse või e-posti teel viide failile kus grupi liikmete nimed kirjas)
  • Ettekanded: 14.12.2017 (vajadusel mõlema tunni ajal)
• Praktikumiülesannete kaitsmise viimane tähtaeg: arvestuse päeval (21.12.2017)

Kaugõppele:

• Ettekande (individuaaltöö või viki artikkel)
  • teema teatamine ...
  • ettekanne teha hiljemalt ...
• Praktikumiülesannete kaitsmise viimane tähtaeg: arvestuse päeval

Viki artikkel

Viki artiklid panna kirja siia AST-artiklid

Tutvuge materjaliga:

• Artikli kondikava
• Põhilised vead viki artiklites

PS: Mainitud vead korduvad aastast aastasse ja antud materjaliga tuleks kindlasti tutvuda. Artiklite kirjutamine on üks ettevalmistus lõputöö tegemiseks ja on soovitatav sellesse väga tõsiselt suhtuda.

• Teema valib tudeng ning saadab selle info õppejõule läbi vastava veebivormi, mille lingi leiab õpimapi alt.
• Õppejõud kinnitab teema
• Artikkel tuleb esitada EIK'i vikisse
• Leida kaastudeng kes hindab artiklit alamlehe discussion all (vt hindamismudel) - palun hinnangu juurde kirja panna ka tudengi nimi, õppegrupp ja kuupäev, millal hinnang kirjutati
• Kui artikkel on valmis ja kaastudengi poolt hinnatud, siis tuleb sellest õppejõule teada anda, et saaks tagasisidet anda ja hinnata

Viki artikli formaat

• Sissejuhatus
• Sisu
  • Eelteadmised ja -tingimused artikli lugejale
  • Tehnilised nõuded (kui on)
  • Artikli sisu (vastav teemale!)
  • Näited
• Kokkuvõte
  • Teema kokkuvõte + autori arvamus
• Kasutatud materjalid

Tagasiside

... saab anda siin veebivormis.

Varasemad õppematerjalid

Aastate kaupa:

• 2015. aasta materjalid AST
• 2016. aasta materjalid AST

Tudengite poolt tehtud viki artiklid

Vabad teemad:

Provisioning

Storage cache

Automated storage tiering

Cloud storage

Holographic data storage

Ceph

EMC ScaleIO

RAM drive

shm

RapidDisk

tmpfs

ramfs

ZFS

MooseFS

Lustre

GlusterFS

OrangeFS

XtreemFS

ntfs-3g

ntfsprogs

e2fsprogs

Skylable Sx

Logical disk

LUKS

EncFS

eCryptfs

VeraCrypt

Steganograafia

Steganograafia programmid

WebDAV

sshfs

SMB/CIFS

Kui siit midagi valitakse siis võib selle siit ära võtta ja lisada AST-artiklid alla ning oma nimi, grupp taha.

Ideid leiab veel nt:

• https://en.wikipedia.org/wiki/Category:Computer_data_storage
• https://en.wikipedia.org/wiki/Category:Cloud_storage
• https://en.wikipedia.org/wiki/Category:File_hosting_for_Linux
• https://en.wikipedia.org/wiki/Category:File_hosting_for_MacOS
• https://en.wikipedia.org/wiki/Category:File_hosting_for_Windows
• https://en.wikipedia.org/wiki/List_of_cryptographic_file_systems
• https://en.wikipedia.org/wiki/Comparison_of_disk_encryption_software
• https://en.wikipedia.org/wiki/Category:Steganography
• https://en.wikipedia.org/wiki/Category:Network_file_systems
• https://en.wikipedia.org/wiki/Comparison_of_online_backup_services
• https://en.wikipedia.org/wiki/Comparison_of_disk_cloning_software
• https://en.wikipedia.org/wiki/List_of_backup_software
• https://en.wikipedia.org/wiki/Comparison_of_file_hosting_services