Je viens de chopper GoogleBot en train de consulter des images sur un site, en envoyant un referer. Normalement, les images sont du ressort de Googlebot-Images, mais là, c’est bien notre robot naturel qui se déguste ces fichiers :
66.249.72.58 – - [03/Jan/2012:14:21:19 +0100] « GET /wp-content/uploads/2011/05/IMG_1799.jpg HTTP/1.1″ 200 176563 « http://www.blablabla.com/mapage/ » « Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) »
Et au cas on il y aurait encore un doute, l’IP donne bien :
NetRange: 66.249.64.0 – 66.249.95.255
CIDR: 66.249.64.0/19
OriginAS:
NetName: GOOGLE
Est-ce que ça signifie que Googlebot essaie de construire une page complète pour mieux analyser son contenu ? Une erreur de robot ? un comportement à la marge ?
Il semble que le robot Googlebot soit de plus en plus performant pour aller récupérer des contenus. Il avait commencé par exemple il y a peu, a faire des requêtes POST, dans le but de faire des appels Ajax ou a exécuter des codes Javascript avec variables pour tenter de récupérer un contenu derrière du JS.
Si vous avez des exemples de comportement étonnant de la part des robots de Google, n’hésitez pas a les commenter !
