Robots Exclusion Protocol and the Whitehouse

Het Robots Exclusion Protocol, of robots.txt protocol is een wereldwijde afspraak om delen van een normaal toegankelijke website af te schermen voor bepaalde webspiders en zoekrobots. Dit wordt met name gebruikt om te voorkomen dat delen van een website ongevraagd automatisch worden gekopieerd en bijvoorbeeld daarmee wordt opgenomen in zoekresultaten van zoekmachines. Het kopiëren kan ook gevolgen hebben voor de bereikbaarheid van een website, vooral als het een druk bezochte website is. Tevens gebruiken websites dit protocol om bijvoorbeeld te zorgen dat zoekmachines alleen de startpagina van een website weergeven.

Het protocol maakt gebruik van het robots.txt-bestand, dat in de rootdirectory van een website wordt gezet. Als alternatief voor dit speciale bestand kan in bestaande HTML-bestanden middels HTML-tag Meta het attribuut "robots" worden opgenomen.

Het protocol dient echter alleen ter advies en gaat uit van medewerking van de bezoekende webrobot. Het kan dus niet daadwerkelijk de toegang tot bestanden en mappen ontzeggen en is daarmee ongeschikt om (delen van) een website af te schermen. Er zijn robots die het protocol (al dan niet bedoeld) negeren of niet kennen. Tevens is het robots.txt-bestand voor iedereen zichtbaar.

Met behulp van Google kan dus gezocht worden naar webadressen die de tekst robot.txt bevatten. Het grappige is dat ik hiermee als eerste de link naar het Witte Huis te zien kreeg.


Als je dan vervolgens op deze link klikt krijg je een flinke waslijst te zien die allerlei verwijzingen geeft naar pagina's op de site. Sommige pagina's zijn op de grafische site zeer moeilijk terug te vinden, maar op deze manier niet...


Dezelfde truc kan op verschillende manieren uitgehaald worden. Vele voorbeelden hiervan zijn terug te vinden in de GHDB (Google Hacking DataBase) Een ander mooi voorbeeld is de zoekopdracht "parent directory" inurl:ftp


Eén van de eerste links die we dan zien staat hieronder:


Als deze vervolgens wordt aangeklikt kom je terecht in de ftp directories van het NASA's Goddard Space Flight Center.


NASA's Goddard Space Flight Center (GSFC) is located within the City of Greenbelt, Maryland, approximately 6.5 miles northeast of Washington, D. C. The suburban campus is situated approximately 1 mile northeast of the Capital Beltway/Interstate 495.

This NASA field center is a major U.S. laboratory for developing and operating unmanned scientific spacecraft. The Center manages many of NASA's Earth Observation, Astronomy, and Space Physics missions. GSFC includes several other properties, most significantly the Wallops Flight Facility near Chincoteague, Virginia.

Bovenstaande voorbeelden zijn geen hackpogingen. Het is slecht gebruik maken van de mogelijkheden van Google, waarna niet beveiligde mappen of pagina's te vinden zijn...

Portscannen strafbaar of niet?

Het doen van een poortscan is een methode om te achterhalen over welke poorten een verbinding te maken is met een bepaalde computer. Doorgaans worden poortscans uitgevoerd met behulp van gespecialiseerde programma's. Poortscans kunnen om een meervoud van redenen worden uitgevoerd. Zo wordt het veel door computerkrakers en netwerkbeheerders gebruikt om kwetsbare hosts op een/hun netwerk te vinden.

Op de site van Ius Mentis is een goede uitleg te vinden in hoeverre een poortscan gezien kan worden als misdrijf. Tevens is daar de zeer uitgebreide scriptie te vinden van de jurist Jaap Timmer. In zijn scriptie gaat hij dieper in op de strafrechtelijke aspecten van met name het gebruik/misbruik van NMap. NMap is een Open Source computerprogramma, uitgegeven door Insecure.org, dat gebruikt wordt om open poorten te vinden op computers. Het programma maakt gebruik van zogeheten 'raw ip packets' om actieve hosts en informatie over de beschikbare services te achterhalen. Voor het lezen van de scriptie dient u wel over enige technische kennis te beschikken.


NMap is geen hackerstool, maar wordt wel vaak door hackers gebruikt. Nmap wordt vooral toegepast door Security Professionals, Penetratietesters en systeembeheerder om mogelijke zwakke plekken in netwerken te vinden.

Voor de mensen die zich willen verdiepen in NMap is de sitewww.nmap.tutorial.com een goede basis.