Robots.txt files en robot metatags

Je kan met je website gebruik maken van robot.txt files of robot metatags. Met behulp van een robots.txt-bestand of metatags kun je je website of delen daarvan af schermen voor bepaalde webspiders en zoekrobots. Zo kun je ervoor zorgen dat bepaalde pagina’s niet worden opgenomen in de zoekresultaten van een zoekmachine. Dit kan bijvoorbeeld handig zijn als je wilt dat alleen je startpagina wordt weergegeven bij zoekmachines en niet de onderliggende pagina’s.

Je kan de toegang tot je website dus op twee verschillende manieren beperken:

1.    Een robots.txtfile gebruiken
2.    Robot metatags in je html bestand plaatsen

Hieronder worden de verschillende manieren beschreven.

Een robots.txt file gebruiken

Het robots.txt-bestand wordt in de root van je website directory geplaatst. Je kunt hier bijvoorbeeld direct aangeven welke spiderbot je liever niet langs ziet komen. Bijvoorbeeld:

User-agent: Googlebot

Disallow: /

In dit geval betekent de / achter disallow dat de gehele webserver root directory niet geindexeerd mag worden door Google. Googlebot is de user-agent van Google. Andere user-agents mogen de website wel geheel indexeren. Maar omdat Google de belangrijkste is zul je bovenstaande code niet vaak gebruiken!

Google leest niet alleen een “disallow’, maar ook een ‘allow”.

Zo kun je bijvoorbeeld ook aangeven dat Googlebot bepaalde bestanden niet mag lezen terwijl dat de AdSense bot de advertenties wel mag indexeren. Allow en disallow komen daardoor vaak samen voor. Als er niets staat betekent dit een “allow” en dat betekent dat spiderbots dus alle pagina's mogen indexeren.

Robot metatags in je html bestand plaatsen

Ook is het mogelijk om in je bestaande html-bestand door middel van een meta-tag het attribuut “robots” op te nemen. Je kunt gebruik maken van de commando’s “index”, “follow”, ‘noindex” en “nofollow”. Bijvoorbeeld:

<meta name="robots" content="nofollow, noindex">

Deze tag geeft aan of de links op de pagina gevolgd mogen worden, en of de webpagina mag worden opgenomen in de index van een zoekmachine. Follow en index worden door zoekmachines genegeerd dus je hoeft deze metatags alleen te gebruiken als het nofollow of noindex is.

Waarom een webpagina niet indexeren?

Robot.txt bestanden hebben niets te maken met secret files. Zoekmachines kunnen de betreffende webpagina niet lezen en indexeren hem daarom niet. Maar gewone bezoekers van je website kunnen ze wel lezen. Waarom zou je dan toch bepaalde pagina’s uitsluiten? Bijvoorbeeld om een van de volgende redenen:

•    Je webpagina is een testpagina en je wilt die niet geindexeerd hebben
•    Je wilt niet dat zoekmachines je resultatenpagina’s gebruiken om links op te halen
•    Je hebt een pagina met vele weblinks en je wilt niet dat die meedoen in de waardering van je website
•    Je hebt een bepaalde website, bijvoorbeeld intranet omgeving, waar de vindbaarheid geen rol speelt of je wilt dat deze gegevens niet openbaar worden.

Robots.txt file of robot metatags?

Hoewel beide manieren goed zijn kun je toch beter een robots.txt file gebruiken in plaats van robot metatags in je bestaande html-bestanden. Dus ook al mogen spiderbots al je webpagina’s indexeren, upload dan toch een lege robots.txt. Voor het indexeren van je website maakt dit niets uit, maar voor bandbreedte redenen wel! Namelijk elke keer dat een spiderbot geen robots.txt kan vinden, krijg je een 404 en dit betekent lange error logs. Als je website een beetje PageRank heeft dan komen spiderbots vaker langs en om dataverkeer te besparen kun je dan het beste altijd een robots.txt op je webserver zetten.

Valideer je robots.txt

Met behulp van een tool als Robots.txt Checker kun je eenvoudig je robots.txt valideren. Ook kan dit met bijvoorbeeld Google Webmaster Central doen maar dan moet je wel eerst inloggen bij je account bij Google.