ICO wiki - User contributions [en]

File:Esimene.jpg

2012-01-05T13:46:03Z

Mvaling: uploaded a new version of "File:Esimene.jpg": Reverted to version as of 14:18, 20 May 2010

File:Teine.jpg

2012-01-05T13:45:20Z

Mvaling: uploaded a new version of "File:Teine.jpg": Reverted to version as of 14:19, 20 May 2010

2011-06-22T06:07:32Z

Mvaling: /* Kõikide kaustas olevate peidetud failide ja kaustade ümbertõstmine */

Xargs

2011-06-22T06:00:51Z

Mvaling: /* Kõikide kaustas olevate peidetud failide ja kaustade ümbertõstmine */

Xargs

2011-06-22T05:56:35Z

2011-06-21T21:18:09Z

Mvaling: /* Näited */

=Artikkel on pooleli!=

==Sissejuhatus==
xargs käsku kasutatakse juhtudeks, kus on vaja jaotada mingi käsu tegevused väiksemateks gruppideks. xargs sai loodud probleemi tõttu, kus käsul on liiga palju argumente ning kernel (kuni versioonini 2.6.23) ei ole võimeline käivitama käsku.
*xargs loeb argumente standard sisendist
*xargs standard sisendi argumendid on piiritletud tühikutega või reavahetustega
*peale standard sisendi lugemist käivitatakse soovitud käsk üks või mitu korda standard sisendist saadud argumentidega.

Näide, kus käsu käivitamine ebaõnnestub liigsete argumentide hulga tõttu:
<source lang="bash">
$ mv * /mingi/teine/kataloog/
bash: /bin/mv: Argument list too long
</source>

==Süntaks==
''<argumendid>'' | '''xargs''' ''<võtmed> <käsk <võtmed>>''

==Näited==
===Argumentide väljastamine kolme kaupa===
<source lang="bash">
$ echo 1 2 3 4 5 6 7 8 | xargs -n 3 echo
</source>
või
<source lang="bash">
$ echo 1 2 3 4 5 6 7 8 | xargs -n 3
</source>

'''echo''' on '''xargs''' vaikimisi käsk, seega ei ole tarvis määrata käsku.

'''-n 3''' määrab, et käsu ''standard sisendi'' tulemust kuvatakse kolme kaupa

<source lang="bash">
$ echo 1 2 3 4 5 6 7 8 | xargs -n 3
1 2 3
4 5 6
7 8
</source>

===Määratud laiendiga failide kustutamine avatud kataloogis===
<source lang="bash">
$ find . -name *.log | xargs rm
</source>

'''find''' võtmete selgitus:
*'''.''' - otsitakse faile avatud kataloogis
*'''-name *.log''' - failid on mistahes nimega kuid laiendiga ''.log''

===Määratud laiendiga failide kustutamine avatud kataloogis, kus faili nimedes on tühikud või reavahetused===
<source lang="bash">
$ find . -name *.log -print0 | xargs -0 rm
</source>

'''find''' võtmete selgitus:
*'''.''' - otsitakse faile avatud kataloogis
*'''-name *.log''' - failid on mistahes nimega kuid laiendiga ''.log''
*'''-print0''' - leitud argumendid eraldatakse ''null karakteriga''

'''xargs''' võtmete selgitus:
*'''-0''' määrab, et käsu ''standard sisendi'' tulemust eraldaja ei ole tühik ega reavahetus vaid ''null karakter''. Vajalik selleks, kui faili nimed sisaldavad tühikuid või reavahetusi.

===Kõikide arvuti kasutajate kuvamine viie kaupa===
<source lang="bash">
cut -d: -f1 < /etc/passwd | sort | xargs -n 5
</source>
'''cut''' võtmete selgitus:
*'''-d:''' - välja eraldajaks on ":"
*'''-f1''' - valitakse esimene väli

'''xargs''' võtmete selgitus:
*'''-n 5''' standard sisendi argumente kuvatakse viie kaupa

<source lang="bash">
$ cut -d: -f1 < /etc/passwd | sort | xargs -n 5
avahi avahi-autoipd backup bin daemon
games gdm gnats hplip irc
kernoops libuuid list lp mail
man messagebus news nobody proxy
pulse root rtkit saned speech-dispatcher
sync sys syslog student usbmux
uucp www-data
</source>

==Kokkuvõte==
(probleem pole nii õudne, kuid eksisteerib)
==Allikad/Allikad==

*http://en.wikipedia.org/wiki/Xargs
*http://www.gnu.org/software/coreutils/faq/coreutils-faq.html#Argument-list-too-long
*http://www.cyberciti.biz/faq/linux-unix-bsd-xargs-construct-argument-lists-utility/
*http://www.linuxtutorialblog.com/post/tutorial-the-best-tips-tricks-for-bash
*http://www.softpanorama.org/Tools/xargs.shtml

==Autor==
Marko Valing, AK31, 2010/2011

[[Category:IT_infrastruktuuri_teenused]]

Xargs

2011-06-21T19:32:11Z

Mvaling:

=Artikkel on pooleli!=

==Sissejuhatus==
Miks vaja? Mis probleemi lahendab?
==Süntaks==
==Näited==
5-6tk, Kuidas kustutada sadatuhat faili?
==Kokkuvõte==
(probleem pole nii õudne, kuid eksisteerib)
==Allikad/Allikad==
*http://en.wikipedia.org/wiki/Xargs
*http://www.cyberciti.biz/faq/linux-unix-bsd-xargs-construct-argument-lists-utility/
*http://www.linuxtutorialblog.com/post/tutorial-the-best-tips-tricks-for-bash
*http://www.softpanorama.org/Tools/xargs.shtml

==Autor==
Marko Valing, AK31, 2010/2011

[[Category:IT_infrastruktuuri_teenused]]

2011-01-28T08:42:38Z

Mvaling: /* Skripti kirjeldus */

XML dokumentide parsija

2011-01-28T08:42:16Z

Mvaling: Created page with '==Skripti kirjeldus== Kasutajalt küsitakse esimeseks sisendiks XML dokumendi nimi või "*", juhul kui soovitakse kõikki kaustas olevaid XML dokumente töödelda. Seejärel kont…'

==Skripti kirjeldus==
Kasutajalt küsitakse esimeseks sisendiks XML dokumendi nimi või "*", juhul kui soovitakse kõikki kaustas olevaid XML dokumente töödelda. Seejärel kontrollitakse, et sisendiks antud dokumendi laiend oleks õige või pannakse massiivi kõikide kaustas olevate XML dokumentide nimed. Seejärel võetakse massiivist ükshaaval XML dokumendi nimed ning parsitakse, st võetakse XML dokumendist DataFile elementide vahel base64 kood, mis
dekodeeritakse ning salvestatakse DataFile atribuutdi Filename järgi. Luuakse kaust/kaustad, hakatakse parsima, pärast vaadatakse mitu faili on kaustas ning kausta suurus
==Skript==
<source lang="python">
#!/usr/bin/python
# -*- coding: utf-8 -*-

# Impordime vajalikud teegid
import os
import sys
import glob
import time
import base64
import xml.dom.minidom
from xml.dom.minidom import parse

# Loome vajalikud muutujad/massiivid
XMLDocument=""
XMLDocuments=list()

# Küsime kasutajalt faili nime või * juhul kui ta soovib töödelda kõikki kaustas olevaid faile
while (not os.path.exists(XMLDocument)):
XMLDocument = raw_input("Sisesta XML dokumendi nimi või * juhul kui soovid töödelda kõikki kaustas olevaid XML dokumente: ")
# Kui kasutaja sisestas "*" siis salvestatakse kõik samas kaustas olevate XML dokumentide nimed massiivi ning kaktestatakse while tsükkel
if XMLDocument == "*":
print "Kasutaja sisestas *"
for files in glob.glob("*.xml"):
XMLDocuments.append(files)
break
# Kontrollime, kas kasutaja sisestatud dokumendi nime laiend on ".xml"
elif XMLDocument[-4:] != ".xml":
print "Vale laiendiga nimi!"
# Kui eelmistest kadalippidest läbitud kontrollime üle, kas dokument on olemas, et kuvada vastava sisuline teade
elif not os.path.exists(XMLDocument):
print "Faili ei eksisteeri!"
# Juhul kui kasutaja sisestab ühe dokumendi lisame massiivi
else:
XMLDocuments.append(XMLDocument)

# Kõik massiivis olevad dokumendid töötleme läbi
for XMLDocumentName in XMLDocuments:
print "Dokumendi", XMLDocumentName, "töötlemine"

# Avame dokumendi
XMLDocument = open(XMLDocumentName)
# Loome dokumendi failidele kausta nimetuse
dataFilesDir = XMLDocumentName[:-4]

# Kontrollime, kas kaust on olemas, kui ei ole siis loome
if not os.path.isdir(dataFilesDir):
os.mkdir(dataFilesDir)

# Käivitame kella, ehk anname muutujale hetke kellaaja
seconds = time.time()
# XML dokumendi parsimine
XMLParsed = parse(XMLDocument)

# Alustame failide salvestamisega dokumendist, kuvame infot kasutajale
print "Dokumendi", XMLDocumentName, "failid salvestatakse kausta:", dataFilesDir
# Iga DataFile elemendi kohta käivitatakse järgnev protsess
for node in XMLParsed.getElementsByTagName("DataFile"):
# Dokumendi faili nimeks anname elemendi atribuudi, mis tähistab faili nime
dataFileName = node.getAttribute("Filename")
# Võtame elemendi väärtusest base64 kodeeritud andmed
dataFileData = node.childNodes[0].nodeValue
# Valmistame ette faili täispika asukoha koos nimega
dataFileDir = os.path.join(dataFilesDir,dataFileName)
# Avame faili, luuakse uus fail
fileObj = open(dataFileDir, "w")
# Salvestame faili base64 dekodeeritud andmed
fileObj.write(base64.b64decode(dataFileData))
# Fail suletakse
fileObj.close()
#Trükime välja faili nime ja suuruse
dataFileSize = os.path.getsize(dataFileDir)
print dataFileName, "%0.3f KB" % float(dataFileSize/1024.0)

# Loome/taasväärtustame muutujad
dataFilesSize=0
dataFilesCount=0
folder_size = 0
# Iga faili kohta kaustas toimub järgnev tegevus
for (path, dirs, files) in os.walk(dataFilesDir):
for file in files:
# Tuletame faili täispika nime jälle
dataFileName = os.path.join(path, file)
# Liidame failide kogumahule faili mahu
dataFilesSize += os.path.getsize(dataFileName)
# Liidame faili loendurile ühe juurd
dataFilesCount+=1
# Trükime välja mitu faili kokku dokumendist kättesaadis ning kogumaht
print "Kokku",dataFilesCount,"faili mahuga %0.3f KB" % float(dataFilesSize/1024.0)
# Näitame kaua kulus töötlemisele aega, lõpp lahutatud algus=stopper
seconds = time.time() - seconds
print "XML faili töötluseks kulus %.3f sekundit" % seconds
</source>
==Autor==
--[[User:Mvaling|Marko Valing, AK31(2010)]] 10:42, 28 January 2011 (EET)

Skriptimiskeeled aine aruanded 2010 sügis

2011-01-28T08:40:33Z

Mvaling: /* Marko Valing */

[[Category: Skriptimiskeeled]]
=Siia tulevad kodus tehtud tööde lingid=

==Esitaja nimi==
*[[Skript, mis teeb maailma paremaks - BASH]]
*[[Skript, mis teeb maailma paremaks - Python]]
*[[Skript, mis teeb maailma paremaks - PowerShell]]
*[[Arvustused sellele skriptile]]
==Vabad ideed==
*[[Skript mis otsib üles turvaaukudega tarkvara]]

==Alvar Unuks AK41==
Suurima andmemahuga paketite leidmine
<source lang="bash">
!#/bin/bash
sed -ne '/^Package: $.*$/{s//\1/;h;};/^Installed-Size: $.*$/{s//\1/;G;s/\n/ /;p;}' /var/lib/dpkg/status | sort -rn
</source>

==Reget Kalamees DK21==
[[Skript otsib vabade Wifi AP-de hulgast kõige kiirema ühenduse ja haagib end selle külge]]

==Kaspar Prei==
[[Skript leiab dublikaat failid]]

==Lembit Elmik AK21==

* Bash - Skript, mis kontrollib võrguühenduse olemasolu ning selle puudusel diagnoosib häda.
[[V6rgudiagnoosiskript]]

* Python - SSH vigaste logimiste järgi source IP hosts.deny faili ja lisatud IP'd mailile (saadetud õppejõu mailile)

* PowerShell - Arvuti andmete (mälu hulk, protsessori tüüp jne.) kuvamine

==Marko Valing==
*[[XML_päringute_kontroll]]
*[[XML dokumentide parsija]]
*[[Teenusemonitor]]

==Lauri Liibert AK21==
* BASH [[Skript, mis otsib üles failid mille poole ei ole ammu pöördutud ja arhiveerib]]
* [[Skript, mis otsib üles failid mille poole ei ole ammu pöördutud ja arhiveerib - Python]]
* [[Skript, mis küsib ACL-i objekte AD-st - Powershell]]

==Siim Liivand AK41==
* bash: [[skript, mis teeb midagi vajalikku hunniku graafikafailidega]]
* python: -
* powershell: -

==Sander Tuulik AK41==
[[Skript mis otsib kõik pildi,video,muusika,dokumendi failid ja jagab need kaustadesse - BASH]] 
[[Skript mis otsib kõik pildi,video,muusika,dokumendi failid ja jagab need kaustadesse - Python]]

==Kristjan Karmo AK41==
* [[Skript, mis teeb varukoopia WordPressi instantsist - BASH]]
* [[Skript, mis teeb varukoopia WordPressi instantsist - Python]]
* [[Skript, mis arhiveerib etteantud laiendiga failid - PowerShell]]

==Chris Sinihelm AK41==
[[Skript, mis tõstab kõik väikesed .txt failid ühte folderisse - BASH]] 
[[Skript, millega saab public folderitesse õiguseid lisada - PowerShell]] 
[[Skript, mis otsib üles duplikaatfailid - Python]]

==Nadežda Furs A31==

==Sigmar Muuga DK31==
Skript, mis vaatab /var/log/auth.log faili ja võtab sealt enim ebaõnnestunud IP aadressid, mis üritasid teha sisse logimist SSH kaudu(lävend võiks näiteks olla 10 ebaõnnestunud katset) ning saadab need kas e-mailile või lisab tulemüüri reeglitesse(IPTABLES näiteks).

Jah, ma tean, et on ka paremaid viise hoste blokeerida, näiteks kasutada hosts-allow parameetrit ssh konfiguratsioonis.

===Bash versioon===
<source lang="bash">
#!/bin/bash

# Skript, mis loeb läbi UNIX-i auth.log faili ja koostab IPTables block reeglid IP aadressidele,
# mille pealt on autentimine ebaõnnestunud vähemalt etteantud arv kordi

# käivitamise näide:
# sh check_ip.sh /var/log/auth.log /etc/iptables_blocked.txt

# Autor: Sigmar Muuga, DK31

# mitme ebaõnnestumise korral me IP blokeerime
BLOCK_LEVEL=5
# auth.log faili asukoht
AUTH_LOG_FILE=$1
# tüüpilised veasituatsioonid
ERROR_PATTERNS="error | illegal | not\ allowed"
# väljundfaili nimi (või asukoht)
IP_TABLES_FILE=$2

# kontrollime etteantud argumenti
if [ -z "$1" ]; then
echo "No command-line arguments."
exit 0
fi

if [ -z "$2" ]; then
echo "No IPTABLES file specified."
exit 0
fi

# kontrollime, et faili saaks kirjutada
touch "$IP_TABLES_FILE"
if [ -e $IP_TABLES_FILE ]; then
echo "IPTABLES file: "$IP_TABLES_FILE
else
echo "Cannot write IPTABLES file!"
exit 0
fi

# itereerime yle logiridade
more $AUTH_LOG_FILE | egrep "$ERROR_PATTERNS" | while read line; do
address=$(echo $line | grep -Eo '([0-9]{1,3}\.){3}[0-9]{1,3}')
# kas on valiidne IP
if [ ${#address} -gt 0 ]; then
# loeme esinevuskorrad
occurences=$(grep -c $address $AUTH_LOG_FILE)
if [ $occurences -ge $BLOCK_LEVEL ]; then # kui on juba piisavalt feilinud IP
added_occurences=$(grep -c $address $IP_TABLES_FILE)
#kontrollime, et poleks juba lisatud
if [ $added_occurences -lt 1 ]; then
echo "Blacklisting "$address" with "$occurences" occurences"
#kirjutame IPTABLES reegli
echo "iptables -A INPUT -s "$address" -j DROP" >> $IP_TABLES_FILE
fi
fi
fi
done
</source>
===Pythoni versioon===
<source lang="python">
#!/usr/bin/python
# -*- coding: latin-1 -*-

import sys
import getopt
import os
import re

# Skript, mis loeb läbi UNIX-i auth.log faili ja koostab IPTables block reeglid IP aadressidele,
# mille pealt on autentimine ebaõnnestunud vähemalt etteantud arv kordi

# käivitamise näide:
# py check_ip.py --logfile=/path/to/logfile --iptablesfile=/path/to/iptablesfile

# Autor: Sigmar Muuga, DK31

def main():
# mitme ebaõnnestumise korral me IP blokeerime
BLOCK_LEVEL=5

# kuvab kasutamise info
def usage():
print 'Programmi kasutamine:'
print 'py check_ip.py --logfile=/path/to/logfile --iptablesfile=/path/to/iptablesfile'

# loendab stringi esinemised etteantud failis
def matchCountInFile(str, filename):
log_file = open(filename, 'r')
count = 0
for line in log_file:
if re.search(str, line):
count=count+1
return count

try:
# loeme ja kontrollime getopti abil argumendid
opts, args = getopt.getopt(sys.argv[1:], "li:v", ["logfile=", "iptablesfile="])
AUTH_LOG_FILE = ''
IP_TABLES_FILE = ''
for opt, arg in opts:
if opt == '--logfile':
AUTH_LOG_FILE = arg
elif opt == '--iptablesfile':
IP_TABLES_FILE = arg

print 'AUTH_LOG_FILE=' + AUTH_LOG_FILE
print 'IP_TABLES_FILE=' + IP_TABLES_FILE

if AUTH_LOG_FILE.__len__() < 1:
raise Exception('Invalid auth log filename')
if IP_TABLES_FILE.__len__() < 1:
raise Exception('Invalid iptables filename')

if not os.path.isfile(AUTH_LOG_FILE):
raise Exception('Auth log file does not exist')

ip_pattern = re.compile('([0-9]{1,3}\.){3}[0-9]{1,3}')

# valmistame logifaili lugemiseks ette
log_file = open(AUTH_LOG_FILE, 'r')
ip_address_array = []
ip_tables_filehandle = None
# itereerime yle logiridade
for log_line in log_file:
# read, mis on veaga
if (re.search('error', log_line) != None or re.search('illegal', log_line) != None or re.search('not allowed', log_line) != None):
ip_address_match = re.search(ip_pattern, log_line)
if (ip_address_match == None):
continue
# leiame rea pealt IP aadressi
ip_address = ip_address_match.group(0)
occurences = matchCountInFile(ip_address, AUTH_LOG_FILE)
# vajadusel blacklistime
if occurences >= BLOCK_LEVEL and not ip_address in ip_address_array:
ip_address_array.append(ip_address)
print "Blacklisting " + ip_address + " with " + str(occurences) + " occurences"
if ip_tables_filehandle == None:
ip_tables_filehandle = open(IP_TABLES_FILE, 'w')
ip_tables_filehandle.write("iptables -A INPUT -s " + ip_address + " -j DROP\n")
log_file.close()

if (ip_tables_filehandle != None):
ip_tables_filehandle.close()

except getopt.GetoptError, err:
print str(err)
usage()
sys.exit(2)

# k2ivitame meetodi
if __name__ == "__main__":
main()
</source>

==Siim Kullerkupp AK21==

*[[Skript, mis otsib arvutist kõik .mp3 failid ja teeb nendest playlisti-Powershell]]
*[[Skript, mis otsib pilte ja loob kaustad aasta järgi ning tõstab vastava aasta pildi vastava aasta kausta-Python]]
*[[Skript, mis teeb teatud kaustast backupi ja kustutab üle 30 päeva vanad backupid ära-BASH]]

XML päringute kontroll

2011-01-28T08:39:46Z

Mvaling:

XML päringute sageduse kontroll - BASH

2011-01-28T08:34:32Z

Mvaling: moved XML päringute sageduse kontroll - BASH to XML päringute kontroll

#REDIRECT [[XML päringute kontroll]]

XML päringute kontroll

2011-01-28T08:34:32Z

Mvaling: moved XML päringute sageduse kontroll - BASH to XML päringute kontroll

[[Category: Skriptimiskeeled]]
==Probleem==
Asutused teevad liiga tihti teatud XML päringuid, mis koormab serverit tarbetult.

On olemas dokumendivahetuskeskus(edasipidi DVK), mis vahendab asutuste erinevate dokumendihaldussüsteemide(edaspidi DHS) dokumente. Selleks, et dokumente allalaadida, teeb DHS päringu "dhl:receiveDocuments" DVKsse. Kuna dokumendivahetus ei ole nii tihe, st asutusele ei tule iga minuti tagant uusi dokumente, siis ei ole ka tarvis teha päringut iga 1-59 minuti tagant. Piisab kui päringut tehakse iga tunni tagant.

==Skripti kirjeldus==
Skriptile antakse ette maksimaalne intervalli aeg, alla mille kuvatakse liiga tihti tehtud XML päringu registrikoodid (sisalduvad XMLis endas). Määratakse ka XML päringu nimed, mida kontrollitakse.