Rejoignez Net Labs sur Discord

Analyse de logs

#1 googlebot, logs, google, crawl, domaines

D
DukofoVagabond

Analyse de logs

2 min de lecture

Salut tout le monde.
Voilà, je me suis essayé à l'analyse de logs via les commandes du terminal sous unix.
Après avoir potassé cela pendant quelques heures, les commandes sont finalement assez simple et on peut avoir un rendu rapide et trier en fonction des critères que l'on souhaite.
Pour toute cette partie, j'ai donc récupérer mon fichier access.log créer un deuxième fichier ua-googlebot.log qui récupérer tous les logs qui contiennent le user-agent google en faisant un grep "Googlebot" access.log > ua-googlebot.log
Puis j'ai créer un deuxième fichier qui contient uniquement les googlebots vérifié par adresse IP en réalisant un grep 66.249. ua-googlebot.log > ip-googlebot.log

Plutôt satisfait, je regarde donc ce deuxième fichier qui est maintenant beaucoup important en terme de volume et là je m'aperçois qu'il contient pas mal de

66.249.66.241 - - [07/Dec/2016:14:44:36 +0100] "GET / HTTP/1.1" 301 316 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
66.249.66.247 - - [07/Dec/2016:16:31:46 +0100] "GET / HTTP/1.1" 301 319 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

et pratiquement aucune autre de mes pages à part celle de la home donc.

J'ai donc apparemment un problème de 301 et un crawl plutôt faible.
Le site à été passé en HTTPS, création de domaines dans search console, envoi des nouveaux sitemaps.
Les URLS sont aujourd'hui toutes indexés en https, je ne comprends donc pas pourquoi le googlebot renvoie des 301.
La redirection s'effectue correctement entre le http vers le https.
Je précise que le site utilise également un CDN qui est cloudfare.

Et pourtant il semble avoir un problème au niveau des logs du googlebot.
Je cherche donc une explication de ceux qui ont l'habitude de réaliser des analyses de logs, pourquoi cela renvoie til une 301 et le googlebot semble crawlé que ma page d'accueil.
Dernière chose quand je regarde le cache du site sur plusieurs pages, cela semble bien être pris en compte par google, pas dans des proportions de fraicheur intense, mais tout de meme mis en cache à interval régulier.

Merci de vos réponses.

J'aime ❤️
24 référents en SEO technique répondent dans cet espaceInscription gratuite : présentez-vous, puis posez vos questions et répondez aux discussions.

#2

D
davidc1Scout
1 122 messages2 j'aimedepuis 2013La colle sur Loup
Distinctions · 5
12 ansPilier VIClinicien IIIPremier secours IVAccueillant II

Re : Analyse de logs

Avec un CDN ton serveur ne verra peut être pas tout.

J'aime ❤️

Hors ligne

#3 logs, trafic

D
DukofoVagabond

Re : Analyse de logs

Je précise également que les statistiques d'exploration dans Search Console sont normal entre 500 et 800 fois par jour alors que je le vois bien moins de fois dans les logs.
Concernant le ranking tout se passe très bien avec une augmentation du trafic et des rankings depuis de longs mois.

Je suis donc dans une impasse et ne comprends pas trop pourquoi les logs me renvoie cela, après avoir vérifié pas mal de critères qui annoncent pourtant un bon fonctionnement du site.

Peut être est ce du au CDN, si des personnes ont l'expérience avec Cloudfare, je suis également à l'écoute.

Merci.

J'aime ❤️

#4 logs, googlebot, cloudfare

MitsuScout
2 012 messages9 j'aimedepuis 2014
Site Web
Distinctions · 9
Accueillant VI12 ansPilier VIClinicien VPremier secours VStratège IIIngénieur web IIPolyvalentExpert SEO

Re : Analyse de logs

Ah yes, si il passe directement sur Cloudfare t'es foutu ^^'. A voir si tu peux avoir les logs de ton CDN, connait pas bien cloudfare.

Fais attention aussi avec ton grep 66.**, googlebot passe en ipv6 parfois, pas du tout le même formalisme.

J'aime ❤️

Hors ligne

#5 googlebot, sitemap, google, audits, console

D
DukofoVagabond

Re : Analyse de logs

Effectivement, avec l'utilisation d'un CDN les IPS sont modifiés par celle de Cloudfare si j'ai bien tout compris.
Doc ici : https://support.cloudflare.com/hc/en-us/articles/200170786-Why-do-my-server-logs-show-CloudFlare-s-IPs-using-CloudFlare-

C'est certainement pourquoi je ne vois que très peu de GoogleBot, mais cela ne m'indique pas pourquoi sur les peu de googlebot, j'ai des 301.

J'ai supprimé un sitemap (qui était déjà supprimé en FTP, mais toujours dans Search Console) de la version en http sur Search Console et mis à jour la relation entre analytics et Search Console qui pointait vers la version en http.
Peut être cela aidera google à lui faire comprendre de prendre la versions https directement.

Je vais renvoyé un sitemap sur la version https et voir ce qu'il se passe dans quelques jours, mais c'est embêtant cette histoire de CDN quand même.

Déjà rencontré des cas comme celui-ci lors d'audits clients @Mitsu ?
Sinon pour les IPV6 si tu as une liste d'ip de GGbot, je suis preneur ;)

J'aime ❤️

#6

D
DukofoVagabond

Re : Analyse de logs

Bon apparement pour ceux que ca intéresse on peut restaurer la liste des ip des clients.
Je vais essayer de mettre cela en place :
La doc ici https://support.cloudflare.com/hc/en-us/sections/200805497-Restoring-Visitor-IPs

J'aime ❤️

Accueil › SEO technique › Analyse de logs

Haut

Pied de page des forums