Robots Exclusion Protocol
Uit Wikipedia, de vrije encyclopedia
Het Robots Exclusion Protocol, robots exclusion standard of robots.txt protocol is een conventie om (delen van) een normaal toegankelijke website af te schermen voor bepaalde webspiders en zoekrobots. Dit wordt met name gebruikt om te voorkomen dat (delen van) een website ongevraagd automatisch wordt gekopieerd en bijvoorbeeld daarmee wordt opgenomen in zoekresultaten van zoekmachines. Het kopiëren kan ook gevolgen hebben voor de bereikbaarheid van een website, vooral als het een druk bezochte website is. Tevens gebruiken websites dit protocol om er bijvoorbeeld voor te zorgen dat zoekmachines alleen de startpagina van een website weergeven.
Het protocol maakt gebruik van het robots.txt-bestand, dat in de rootdirectory van een website wordt gezet. Als alternatief voor dit speciale bestand kan in bestaande HTML-bestanden middels HTML-tag Meta het attribuut "robots" worden opgenomen.