Surface web

Het surface web (ook wel het clearnet, visible web of indexed web genoemd) is het gedeelte van het world wide web dat publiekelijk toegankelijk is en door zoekmachines wordt geïndexeerd. Zoekmachines gebruiken webcrawlers (ook wel spiders genoemd) om webpagina's systematisch te doorzoeken door hyperlinks te volgen en de gevonden informatie te indexeren.^[1] Het surface web vormt de tegenhanger van het deep web, dat niet-geïndexeerde webinhoud bevat, en staat los van het dark web, dat speciale software vereist voor toegang.

Kenmerken

Het surface web bestaat uit webpagina's die aan de volgende criteria voldoen:

• Publiekelijk toegankelijk zonder authenticatie
• Indexeerbaar door zoekmachines
• Bereikbaar via standaard webbrowsers
• Toegankelijk via directe URL's
• Niet geblokkeerd voor webcrawlers via robots.txt of andere methoden

Omvang

Het precieze aandeel van het surface web ten opzichte van het totale internet is moeilijk vast te stellen. Vroege schattingen door Bergman (2001) suggereerden dat het surface web minder dan 1% van alle webinhoud vormde, waarbij het deep web 400 tot 550 keer groter werd geschat.^[2] Recentere schattingen variëren, maar experts zijn het er algemeen over eens dat het surface web slechts een klein percentage van het totale internet vormt, waarbij het grootste deel bestaat uit niet-geïndexeerde content zoals databases, privébestanden en pagina's achter inlogschermen.^[3] Het exacte aantal pagina's op het surface web verandert voortdurend door het dynamische karakter van het internet.

Technische aspecten

Pagina's op het surface web gebruiken standaardprotocollen zoals HTTP en HTTPS en zijn gebouwd met technologieën als HTML, CSS en JavaScript. De indexeerbaarheid wordt mede bepaald door het robots.txt-bestand, waarin website-eigenaren kunnen aangeven welke delen door crawlers mogen worden bezocht.^[4]

Voorbeelden

Tot het surface web behoren onder meer:

• Openbare websites van bedrijven en organisaties
• Nieuwswebsites en blogs
• Openbare delen van sociale media
• Wiki's zoals Wikipedia
• Publieke overheidsinformatie
• Academische publicaties in open access