Ik heb nu al 4 dagen een googlebot op mijn testsite. (crawl-66-249-66-2.googlebot.com) Om de 3 minuten doet ie een GET /agenda/index.php?action=.....&dummy=.....

Is dat normaal? Vier dagen? Of komt dat doordat de var 'dummy' altijd een andere waarde heeft. Dus elke link is altijd een nieuwe link. Dummy is namelijk een timestamp. (Snappie?)

SanThe.
<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">


Oplossing?

Bron: link
@Mebus: Ik hoef 'm niet kwijt. Hij bijt niet...... Ik vind alleen 4 dagen wel knap lang. Vandaar mijn vraag: Is dat normaal?
Ehmmmm denk het wel... Ik had het ook eens met een site ik had er een script in gezet dat wanneer googlebot langskwam ik een email kreeg en kreeg elke dag 100 emails ongeveer....
Vierdagen is niet lang... Ligt puur aan de vernieuwing van je content. Is dus moeilijk te zeggen. Tevens als je een goeie pagerank hebt dan komt de bot sneller.
SanThe schreef op 09.04.2007 21:11
@Mebus: Ik hoef 'm niet kwijt. Hij bijt niet...... Ik vind alleen 4 dagen wel knap lang. Vandaar mijn vraag: Is dat normaal?


Is denk ik niet zo erg, Google heeft heel veel servers, 1tje kunnen ze er wel missen

Reageren