Chute du volume de pages crawlées et Robots.txt

thedomh · #1 2017-04-08 06:46:20

Salut à tous,

Alors, suite à la MAJ Fred, l'un de mes sites à subi une grosse claque.
Depuis, je recherche ce qui aurai pu infliger cette claque.

Donc en bossant dessus, je me suis rendu compte que le nombre de pages visitées par googlebot à chuté de façon très nette au moment du lancement de Fred.

Dans un second temps, j'ai voulu lancer une nouvelle visualisation sur Cocon.se et je me suis rendu compte que mon robots.txt était vide...bizarre.

Finalement, j'ai rempli ce fichier mais rien n'y fait, quand je fais monsite.com/robots.txt rien ne s'affiche et pourtant, il est bien rempli.

Ma question est simple :
Est-ce que quelque chose peut bloquer l'accès au fichier robots.txt et en même temps causer cette chute infernale de la fréquence de passage de Googlebot ?

Merci d'avance et bon weekend !

hexagon3 · #2 2017-04-08 06:57:46

Je ne vois pas ce qui pourrait bloquer l'accès à ton robots.txt, sauf si tu l'as mis dans un autre répertoire que ton root
(My two cents: ton robots.txt a l'air vachement coercitif par contre... t'as mis le chemin vers ton sitemap dedans tant qu'à faire ?)

Tu as tenté de faire "explorer comme Google" via GSC ?

Dreammy · #3 2017-04-08 19:51:30

Tu remarquera aussi que ton temps de chargement a aussi bien augmenté !

Walid · #4 2017-04-08 21:13:28

La chute général du crawl c'est quelque chose de fréquent avant les grosses maj. Vérifie le crawl d'un site non touché par Fred, juste histoire de...

davidc1 · #5 2017-04-09 10:27:59

La baisse n'est pas si visible que ça sur le nombre Ko / jour
+1 pour l'augmentation du temps de chargement...

thedomh · #6 2017-04-09 10:45:38

Salut,

Et merci pour vos pistes.

alors pour le soucis du robots.txt en fait, quand je l'éditais manuellement via le FTP, rein n'étais visible.
C'est quand je l'ai remplis via l'éditeur de fichier du plugin Yoast que ça a fonctionné... doit y avoir un conflit quelque part.

Walid a écrit :

La chute général du crawl c'est quelque chose de fréquent avant les grosses maj. Vérifie le crawl d'un site non touché par Fred, juste histoire de...

Merci pour la piste, mais rien de similaire sur mes autres sites ou du moins, rien d'aussi flagrant et pour certain, c'est le cas inverse même.
après, je ne sais pas vraiment à quoi correspond ces données du nombre de pages explorées par jour.
Est-ce que googlebot passe moins sur mon site parce que le site s'est pris une claque au niveau des positions ? ou alors est-ce quelque chose bloque l'exploration ?

Dreammy a écrit :

Tu remarquera aussi que ton temps de chargement a aussi bien augmenté !

Oui, effectivement j'avais pas donné autant d'importance à cette donnée et encore moins apporté une corrélation à la chute du nombre de pages visitées / jour. Je vais aussi creuser cette piste.

davidc1 a écrit :

La baisse n'est pas si visible que ça sur le nombre Ko / jour

Mais elle correspond à quoi vraiment cette donnée ?

Dernière modification par thedomh (2017-04-09 11:03:12)

davidc1 · #7 2017-04-09 10:49:16

thedomh a écrit :

davidc1 a écrit :
La baisse n'est pas si visible que ça sur le nombre Ko / jour
Mais elle correspond à quoi vraiment cette donnée ?

A la taille moyenne en Ko des pages à charger.

thedomh · #8 2017-04-11 09:40:43

Alors, je reviens vers vous sur cette chute des pages visitées / jours.
J'ai peut-être une nouvelle piste.

Hier, j'ai reçu de la part du support de cocon.se un message me disant qu'un crawl n'a pas été effectué correctement :

Dans nos logs de Crawl, j'ai remarqué une erreur d’exécution d'un crawl que vous avez demandé.
Cela concerne le crawl du site : http://www.monsite.fr/. Après analyse il s'est avéré que certaines Urls ne retournait aucun contenu lors du crawl avec le User Agent de notre robot de crawl (Cocon.se Crawler). Ce n'est pas le cas si le User Agent est positionné avec celui du navigateur Fiefox ou celui du robot de crawl de Google : GoogleBot .

Suite à ça, j'ai demandé si ça pouvait être causé par le fichier robots.txt, donc voici son contenu :
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

La réponse a été la suivante :

Ce n'est pas lié au robots.txt, c'est le serveur http lui même (ou le code php qui génère la page)
qui parfois renvoie une page vide.
D'après les tests, cela semble se produire en fonction du user-agent (ce qui n'a aucune raison de se produire, sauf volonté délibérée de bloquer des user agent no standard ou des bots).
Si ce n'est pas volontaire, il y a un souci de fond (problème de ressources, de charge, ou hack du site par exemple)

... et c'est là que je commence à tiquer :

Si l'on regarde bien les captures d'écran des statistiques d'exploration de google, on voit bien qu'il y a au début du graphique une chute faible mais assez constante du volume de pages visitées / jours. La chute devient nette au moment de la maj Fred.

Comme l'a souligné @Dreammy, une augmentation du temps de chargement des pages est aussi très flagrante et anormale sur l'historique.

En parallèle, j'ai lancé un crawl dui site avec screaming frog et là surprise :
- la quasi totalité des pages du site n'affiche aucune description / title / H1 / mots
- je viens juste de relancer un crawl et là, le logiciel voit 19 pages vides alors que j'en ai au moins 50 bien remplies et bien optimisées...

Ce qui est d'autant plus bizarre c'est que les crawl, lancés à différents moments, ne donne pas du tout les mêmes données...
alors que pourtant, si l'on va sur le site, tout est normal.

J'en viens finalement à me demander s'il n'y a pas quelque chose qui donne une information différente si le visiteur est un robot ou une vrai visiteur.

Et concernant la claque de Google Fred, je pense aussi que ces soucis de crawl n'ont impacté que très peu le SEO avant Fred et que ce dernier à reclassé mon site à la place qui lui est dûe.

Pour être franc, je ne sais même pas quoi chercher et comment trouver ce qui a pu arriver.

Des avis ?
Merci d'avnce

Dernière modification par thedomh (2017-04-11 10:56:24)

Jaffaar · #9 2017-04-11 13:16:25

regarde ton site en te fasant passer pour google

lereferenceur · #10 2017-04-11 14:11:55

On ne pourra malheureusement pas t'aider sur ce point sans l'URL.

Mais sinon comme le dit Jaffaar, regarde les paegs de ton site avec Googlebot comme user agent.

Jaffaar · #11 2017-04-11 14:59:00

lereferenceur a écrit :

Mais sinon comme le dit Jaffaar, regarde les pages de ton site avec Googlebot comme user agent.

ou avec page speed insight

thedomh · #12 2017-04-11 17:58:26

Merci pour vos pistes,

lereferenceur a écrit :

On ne pourra malheureusement pas t'aider sur ce point sans l'URL.
Mais sinon comme le dit Jaffaar, regarde les paegs de ton site avec Googlebot comme user agent.

Alors, j'ai visité le site avec une extension firefox qui me permet de me faire passer pour Googlebot 2.1 et rien ne ressort. Je vois bien mon contenu, ma title, etc...
C'est sûr qu'avec l'URL c'est plus simple, mais je préfère éviter de la mettre sur la place publique ^^ en MP si ça te dit

Jaffaar a écrit :

ou avec page speed insight

alors, pour page speed, aucun message sur l'exploration (je sais même pas si l'outil le propose) en revanche, sur la capture d'écran, tout est bien présent (visuellement).

Je viens de relancer un crawl avec screaming frog, et une seule URL (l'accueil) apparait dans le rapport...
C'est un truc de dingue

thedomh · #13 2017-04-12 21:38:47

Alors après recherches au niveau des logs, j'ai découvert qu'il y avais un nombre plus qu'important de code erreur http 403.

L'arrivée de ces erreurs commence en Septembre 2016 avec une vingtaine de "hits".

Pour le mois d'Octobre

Fevrier : mes dernières stats disponibles

Ne connaissant pas cette erreur, j'ai cherché son impact sur le SEO et je suis tombé sur cet article de 2014 https://blog.seoprofiler.com/google-403-error-codes/
qui dit en gros que ces erreurs sont expulsées de l'index car elle ne sonneraient pas accessibles aux utilisateurs.

Plus ça va, plus je me dit que Fred n'a pas impacté mon site pour une question de SEO ou autres, mais plutôt à cause un soucis technique.

Va falloir trouver la cause maintenant...

lereferenceur · #14 2017-04-13 08:52:52

Tu as regardé la structure des URL qui répondent en 403 ?

Dernière modification par lereferenceur (2017-04-13 08:53:20)

Jacques_Arago · #15 2017-04-13 12:49:44

1) Si tu as des pages en amp volontairement ou involontairement, ton budget crawl peut avoir été bouffé et du duplicate créés.
2) Fais un site: et vérifie aussi si les pages indexées sont toutes OK
3) vérifier les paramétrages du WAF par rapport aux UA

🟣 Chute du volume de pages crawlées et Robots.txt

#1 2017-04-08 06:46:20

Chute du volume de pages crawlées et Robots.txt

#2 2017-04-08 06:57:46

Re : Chute du volume de pages crawlées et Robots.txt

#3 2017-04-08 19:51:30

Re : Chute du volume de pages crawlées et Robots.txt

#4 2017-04-08 21:13:28

Re : Chute du volume de pages crawlées et Robots.txt

#5 2017-04-09 10:27:59

Re : Chute du volume de pages crawlées et Robots.txt

#6 2017-04-09 10:45:38

Re : Chute du volume de pages crawlées et Robots.txt

#7 2017-04-09 10:49:16

Re : Chute du volume de pages crawlées et Robots.txt

#8 2017-04-11 09:40:43

Re : Chute du volume de pages crawlées et Robots.txt

#9 2017-04-11 13:16:25

Re : Chute du volume de pages crawlées et Robots.txt

#10 2017-04-11 14:11:55

Re : Chute du volume de pages crawlées et Robots.txt

#11 2017-04-11 14:59:00

Re : Chute du volume de pages crawlées et Robots.txt

#12 2017-04-11 17:58:26

Re : Chute du volume de pages crawlées et Robots.txt

#13 2017-04-12 21:38:47

Re : Chute du volume de pages crawlées et Robots.txt

#14 2017-04-13 08:52:52

Re : Chute du volume de pages crawlées et Robots.txt

#15 2017-04-13 12:49:44

Re : Chute du volume de pages crawlées et Robots.txt

Pied de page des forums