Die slome Googlebot

[René]

Een zeer waarschijnlijke technische verklaring is dat jouw site een foutmelding geeft als Google netjes om robots.txt vraagt: http://www.erikweijers.nl/robots.txt geeft een pagina met "Internal Server Error". Robots.txt is een bestandje dat je op je site kunt plaatsen om zoekmachines te vertellen wat je wel en niet geïndexeerd wilt zien. Je mag dat bestandje best weglaten (dat betekent: zoekmachine, je mag hier alles indexeren), maar het is de bedoeling dat de server dan een "404 Not Found" geeft in plaats van een "500 Internal Server Error" als een zoekmachine naar dat bestandje vraagt. Hoewel deze situatie niet door internetstandaards wordt beschreven, is het aannemelijk dat Google de 500-foutmelding opvat als "ik mag deze site niet in". Een bevestiging hiervan zou zijn dat het opvragen van /robots.txt de enige bezoekjes van Googlebot zijn in de logfile van je webserver.

Verder zou je eens naar fouten in de html-codering van je site kunnen kijken, maar die zien er onschuldig uit en ik denk niet dat Google zich hierdoor laat tegenhouden.

Google heeft tegenwoordig inderdaad een langdurige wachtkamer, maar dat betreft de positie in de zoekresultaten en niet het opgenomen worden in de index.

Als je echt wilt weten wat er aan de hand is dan kun je dat bekijken met de Google Webmaster tools.