Die slome Googlebot

[René]

Oorspronkelijk geplaatst door scribent

Bedankt Rene! Inderdaad is dit waarschijnlijk een factor die heeft meegespeeld.[...] Ik zag vanochtend in de statistieken onmiddellijk het resultaat: de googlebot heeft de hele site bezocht.

Mooi! Dat er maar veel bezoekertjes mogen komen.

Blijft de vraag waarom andere zoekmachines mijn site wel doorzochten en de googlebot niet. Een kwestie van een verschil in beleid, waarschijnlijk.

De internetstandaards (voor zover je daarover kunt spreken wat betreft robots.txt) spreken zich niet uit over dit speciale geval (wel over andere foutcodes), en elke zoekmachine doet dus wat hem goed dunkt.

Maar het gedrag van Google ligt dichter bij de beoogde standaard dan dat van andere zoekmachines. De strekking van de standaard is: geen robots.txt aanwezig betekent geen restricties, maar geen toegang tot robots.txt betekent: neem aan dat je de site niet in mag. Dit kun je min of meer afleiden uit "3.1 Access method" in de weinig-officiële Internet-Draft over robots.txt.

[scribent]

Oorspronkelijk geplaatst door Rene

Maar het gedrag van Google ligt dichter bij de beoogde standaard dan dat van andere zoekmachines.

Dan neem ik mijn suggestie, dat Google wellicht evil is, helemaal terug...

[scribent]

De Googlebot is nu lekker bezig en het is een aardige hobby om te bekijken op basis van welke trefwoorden/trefzinnen mensen bij mijn site terecht komen. Een paar grappige:

-katholieke arbeiders beweging nijmegen (een aantal van deze woorden komt voor in een artikel)

-céline beijer (mijn lerares Nederlands van de Middelbare School, die inderdaad een vermelding krijgt in een van de artikelen)

-nescio wolken (mooie zoekterm. Ik schreef een artikel over deze auteur, waarin inderdaad een citaat over een wolkenlucht staat)

-marielle de groot (hee die ken ik)

-lesbian

René, jij hebt vast ook wel een collectie van curieuze trefwoorden, of niet?