Februari 2006

discussiegroep: PretLetters Reageer via de discussiegroep bij Google.

Het blijkt heel moeilijk om de indexeerrobots van de zoekmachine Google te verleiden de kleine driehonderd artikelen van mijn blog te crawlen en te indexeren.

Ik ging er eerst vanuit dat het misschien lag aan de naam van de directory waar ik mijn weblog in had ondergebracht. Daarom veranderde ik die van /_private/ naar /weblog/. Ik zie in mijn logbestanden dat Google deze pagina, weblog.html, wel heeft bezocht, maar indexeren, ho maar. Ook gaan de bots niet aan de gang met de honderden overige bestanden die vanaf die directory te vinden zijn.

Daar baal ik behoorlijk van. Het overgrote deel van mijn bezoek komt naar mijn site via een zoekopdracht van Google en het vinden van één van de artikelen van mijn weblog. Als Google die artikelen niet opnieuw indexeert, en ondertussen de oude index opschoont van toen mijn site nog bij Wanadoo stond, verdwijn ik langzaam in het obscure.

Bovendien baal ik er ook van dat mijn nieuwe artikelen überhaupt niet zijn geïndexeerd nog door Google. De bot kwam in de oude situati van bijna een maand geleden, dagelijks langs en pikte nieuwe content vrijwel altijd onmiddellijk op. Nu gebeurt er niets met nieuwe pagina's.

Enfin, om Google een handje op weg te helpen heb ik een volledige index van mijn weblog samengesteld. Een pagina waarop voor alle artikelen die ik in de huidige versie van mijn weblog ooit heb gepubliceerd, per maand gesorteerd een hyperlink is opgenomen. Die pagina heb ik in de root van mijn domein geplaatst en ik heb er vanaf mijn main index die vrij frequent wordt bezocht door de Googlebot, naar gelinkt.

Ik hoop dat Google gaat 'begrijpen' dat er in de weblog-directory nog een schat aan informatie ligt besloten. Alles wat de bot hoeft te doen is dat ontdekken en ontsluiten voor mijn nieuwsgierige bezoekers, door de pagina's te indexeren.

| Categorie: updates webontwerp |