Veebirobot

Veebirobot (inglise keeles bot) on robotina toimiv tarkvararakendus, mis käitab automatiseeritud toiminguid (skripte) interneti kaudu. [1]

Tavaliselt täidavad robotid rutiinseid ülesandeid, mis on lihtsad ja ka struktuurilt korduvad, palju kiiremini, kui saaksid sellega hakkama inimesed. Kõige rohkem kasutatakse roboteid veebi indekseerimiseks, mille käigus automatiseeritud skript tõmbab, analüüsib ja jaotab veebiserveritest teavet inimesest mitu korda kiiremini. Enam kui poole kogu veebiliiklusest moodustavad veebirobotid. [2]

Veebisaite majutavate serverite jõupingutused veebirobotite vastu on erinevad. Serverid võivad piiritleda interneti robotitele käitumise reeglid, rakendades faili robots.txt: failis on tekst, mis kirjeldab selles serveris robotite käitumist valitsevaid reegleid. Igal veebirobotil, mis ei järgi neid reegleid serveriga suheldes, peaks teoreetiliselt olema juurdepääs mõjutatud veebisaidile keelatud või saama eemaldatud sellelt veebisaidilt. Kui server rakendab reegli ainult postitatud tekstifailiga, ilma sellega seotud programmi/tarkvara/rakenduseta, siis pole võimalik neid reegleid jõustada ja nende järgimine on vabatahtlik. Tegelikult ei ole võimalik tagada, et veebiroboti looja või rakendaja on teadlik või isegi loeb faili robots.txt sisu. On n-ö häid veebiroboteid, näiteks otsimootorite indekseerijad, aga on ka veebiroboteid, mida kasutatakse pahatahtlikult ja karmide rünnakute korraldamiseks, eriti poliitiliste kampaaniate käigus.[2]