Die slome Googlebot

[scribent]

Oorspronkelijk geplaatst door Rene

Een zeer waarschijnlijke technische verklaring is dat jouw site een foutmelding geeft als Google netjes om robots.txt vraagt:

Bedankt Rene! Inderdaad is dit waarschijnlijk een factor die heeft meegespeeld. Het had te maken met de .htaccess file. Deze is nu aangepast, zodat de Internal server error-foutmelding niet meer optreedt. Ik zag vanochtend in de statistieken onmiddellijk het resultaat: de googlebot heeft de hele site bezocht. Ik verwacht binnenkort vindbaar te zijn in de zoekresultaten...

Blijft de vraag waarom andere zoekmachines mijn site wel doorzochten en de googlebot niet. Een kwestie van een verschil in beleid, waarschijnlijk.

@Erno: inderdaad interessant, dat verhaal over het sandbox-effect. Als een heleboel webmasters het soort experimenteel onderzoek zouden doen als die jongen van Pearsonified, dan zou de magische Google-formule gereconstrueerd kunnen worden..

Overigens relativeert deze Chris Pearson in de volgende post het belang van de sandbox weer enigszins (zijn explosie van bezoekersaantallen had volgens hem ook met een nieuw cms te maken):

http://www.pearsonified.com/2006/11/..._one_month.php