Robots Exclusion Protocol and the Whitehouse

Het Robots Exclusion Protocol, of robots.txt protocol is een wereldwijde afspraak om delen van een normaal toegankelijke website af te schermen voor bepaalde webspiders en zoekrobots. Dit wordt met name gebruikt om te voorkomen dat delen van een website ongevraagd automatisch worden gekopieerd en bijvoorbeeld daarmee wordt opgenomen in zoekresultaten van zoekmachines. Het kopiëren kan ook gevolgen hebben voor de bereikbaarheid van een website, vooral als het een druk bezochte website is. Tevens gebruiken websites dit protocol om bijvoorbeeld te zorgen dat zoekmachines alleen de startpagina van een website weergeven.

Het protocol maakt gebruik van het robots.txt-bestand, dat in de rootdirectory van een website wordt gezet. Als alternatief voor dit speciale bestand kan in bestaande HTML-bestanden middels HTML-tag Meta het attribuut "robots" worden opgenomen.

Het protocol dient echter alleen ter advies en gaat uit van medewerking van de bezoekende webrobot. Het kan dus niet daadwerkelijk de toegang tot bestanden en mappen ontzeggen en is daarmee ongeschikt om (delen van) een website af te schermen. Er zijn robots die het protocol (al dan niet bedoeld) negeren of niet kennen. Tevens is het robots.txt-bestand voor iedereen zichtbaar.

Met behulp van Google kan dus gezocht worden naar webadressen die de tekst robot.txt bevatten. Het grappige is dat ik hiermee als eerste de link naar het Witte Huis te zien kreeg.


Als je dan vervolgens op deze link klikt krijg je een flinke waslijst te zien die allerlei verwijzingen geeft naar pagina's op de site. Sommige pagina's zijn op de grafische site zeer moeilijk terug te vinden, maar op deze manier niet...


Dezelfde truc kan op verschillende manieren uitgehaald worden. Vele voorbeelden hiervan zijn terug te vinden in de GHDB (Google Hacking DataBase) Een ander mooi voorbeeld is de zoekopdracht "parent directory" inurl:ftp


Eén van de eerste links die we dan zien staat hieronder:


Als deze vervolgens wordt aangeklikt kom je terecht in de ftp directories van het NASA's Goddard Space Flight Center.


NASA's Goddard Space Flight Center (GSFC) is located within the City of Greenbelt, Maryland, approximately 6.5 miles northeast of Washington, D. C. The suburban campus is situated approximately 1 mile northeast of the Capital Beltway/Interstate 495.

This NASA field center is a major U.S. laboratory for developing and operating unmanned scientific spacecraft. The Center manages many of NASA's Earth Observation, Astronomy, and Space Physics missions. GSFC includes several other properties, most significantly the Wallops Flight Facility near Chincoteague, Virginia.

Bovenstaande voorbeelden zijn geen hackpogingen. Het is slecht gebruik maken van de mogelijkheden van Google, waarna niet beveiligde mappen of pagina's te vinden zijn...