Salut tout le monde.
Voilà, je me suis essayé à l'analyse de logs via les commandes du terminal sous unix.
Après avoir potassé cela pendant quelques heures, les commandes sont finalement assez simple et on peut avoir un rendu rapide et trier en fonction des critères que l'on souhaite.
Pour toute cette partie, j'ai donc récupérer mon fichier access.log créer un deuxième fichier ua-googlebot.log qui récupérer tous les logs qui contiennent le user-agent google en faisant un grep "Googlebot" access.log > ua-googlebot.log
Puis j'ai créer un deuxième fichier qui contient uniquement les googlebots vérifié par adresse IP en réalisant un grep 66.249. ua-googlebot.log > ip-googlebot.log
Plutôt satisfait, je regarde donc ce deuxième fichier qui est maintenant beaucoup important en terme de volume et là je m'aperçois qu'il contient pas mal de
66.249.66.241 - - [07/Dec/2016:14:44:36 +0100] "GET / HTTP/1.1" 301 316 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
66.249.66.247 - - [07/Dec/2016:16:31:46 +0100] "GET / HTTP/1.1" 301 319 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
et pratiquement aucune autre de mes pages à part celle de la home donc.
J'ai donc apparemment un problème de 301 et un crawl plutôt faible.
Le site à été passé en HTTPS, création de domaines dans search console, envoi des nouveaux sitemaps.
Les URLS sont aujourd'hui toutes indexés en https, je ne comprends donc pas pourquoi le googlebot renvoie des 301.
La redirection s'effectue correctement entre le http vers le https.
Je précise que le site utilise également un CDN qui est cloudfare.
Et pourtant il semble avoir un problème au niveau des logs du googlebot.
Je cherche donc une explication de ceux qui ont l'habitude de réaliser des analyses de logs, pourquoi cela renvoie til une 301 et le googlebot semble crawlé que ma page d'accueil.
Dernière chose quand je regarde le cache du site sur plusieurs pages, cela semble bien être pris en compte par google, pas dans des proportions de fraicheur intense, mais tout de meme mis en cache à interval régulier.
Merci de vos réponses.
Avec un CDN ton serveur ne verra peut être pas tout.
skype: davidcz1
Service de backorders de domaines
Le PBN par prnator
Hors ligne
Je précise également que les statistiques d'exploration dans Search Console sont normal entre 500 et 800 fois par jour alors que je le vois bien moins de fois dans les logs.
Concernant le ranking tout se passe très bien avec une augmentation du trafic et des rankings depuis de longs mois.
Je suis donc dans une impasse et ne comprends pas trop pourquoi les logs me renvoie cela, après avoir vérifié pas mal de critères qui annoncent pourtant un bon fonctionnement du site.
Peut être est ce du au CDN, si des personnes ont l'expérience avec Cloudfare, je suis également à l'écoute.
Merci.
Ah yes, si il passe directement sur Cloudfare t'es foutu ^^'. A voir si tu peux avoir les logs de ton CDN, connait pas bien cloudfare.
Fais attention aussi avec ton grep 66.**, googlebot passe en ipv6 parfois, pas du tout le même formalisme.
Hors ligne
Effectivement, avec l'utilisation d'un CDN les IPS sont modifiés par celle de Cloudfare si j'ai bien tout compris.
Doc ici : https://support.cloudflare.com/hc/en-us/articles/200170786-Why-do-my-server-logs-show-CloudFlare-s-IPs-using-CloudFlare-
C'est certainement pourquoi je ne vois que très peu de GoogleBot, mais cela ne m'indique pas pourquoi sur les peu de googlebot, j'ai des 301.
J'ai supprimé un sitemap (qui était déjà supprimé en FTP, mais toujours dans Search Console) de la version en http sur Search Console et mis à jour la relation entre analytics et Search Console qui pointait vers la version en http.
Peut être cela aidera google à lui faire comprendre de prendre la versions https directement.
Je vais renvoyé un sitemap sur la version https et voir ce qu'il se passe dans quelques jours, mais c'est embêtant cette histoire de CDN quand même.
Déjà rencontré des cas comme celui-ci lors d'audits clients @Mitsu ?
Sinon pour les IPV6 si tu as une liste d'ip de GGbot, je suis preneur