Vous n'êtes pas identifié(e).

  • Contributions :
  • Vos boîtes de messages privés sont vides.

#1 2017-04-08 06:46:20

Mention thedomh
Scout
Inscription : 2014-08-21
Messages : 225

Sémantique

Chute du volume de pages crawlées et Robots.txt

Salut à tous,

Alors, suite à la MAJ Fred, l'un de mes sites à subi une grosse claque.
Depuis, je recherche ce qui aurai pu infliger cette claque.

Donc en bossant dessus, je me suis rendu compte que le nombre de pages visitées par googlebot à chuté de façon très nette au moment du lancement de Fred.

Capture.jpg

Dans un second temps, j'ai voulu lancer une nouvelle visualisation sur Cocon.se et je me suis rendu compte que mon robots.txt était vide...bizarre.

Finalement, j'ai rempli ce fichier mais rien n'y fait, quand je fais monsite.com/robots.txt rien ne s'affiche et pourtant, il est bien rempli.

Capture.jpg

Ma question est simple :
Est-ce que quelque chose peut bloquer l'accès au fichier robots.txt et en même temps causer cette chute infernale de la fréquence de passage de Googlebot ?

Merci d'avance et bon weekend !

Hors ligne

#2 2017-04-08 06:57:46

Mention hexagon3
Soldier
Lieu : Москва
Inscription : 2016-09-15
Messages : 694

Copywriting
Social Engineering
Rédaction
Netlinking

Re : Chute du volume de pages crawlées et Robots.txt

Je ne vois pas ce qui pourrait bloquer l'accès à ton robots.txt, sauf si tu l'as mis dans un autre répertoire que ton root tongue
(My two cents: ton robots.txt a l'air vachement coercitif par contre... t'as mis le chemin vers ton sitemap dedans tant qu'à faire ?)

Tu as tenté de faire "explorer comme Google" via GSC ?

Hors ligne

#3 2017-04-08 19:51:30

Mention Dreammy
Scout
Inscription : 2015-03-15
Messages : 504

Comunity Management
Marketing

Re : Chute du volume de pages crawlées et Robots.txt

Tu remarquera aussi que ton temps de chargement a aussi bien augmenté !

Hors ligne

#4 2017-04-08 21:13:28

Mention Walid
Déchu
Inscription : 2013-02-07
Messages : 2 000

Sémantique
Audit et Analyse
Netlinking

Re : Chute du volume de pages crawlées et Robots.txt

La chute général du crawl c'est quelque chose de fréquent avant les grosses maj. Vérifie le crawl d'un site non touché par Fred, juste histoire de...

Hors ligne

#5 2017-04-09 10:27:59

Mention davidc1
Soldier
Lieu : La colle sur Loup
Inscription : 2013-09-17
Messages : 1 078

Re : Chute du volume de pages crawlées et Robots.txt

La baisse n'est pas si visible que ça sur le nombre Ko / jour
+1 pour l'augmentation du temps de chargement...

Hors ligne

#6 2017-04-09 10:45:38

Mention thedomh
Scout
Inscription : 2014-08-21
Messages : 225

Sémantique

Re : Chute du volume de pages crawlées et Robots.txt

Salut,

Et merci pour vos pistes.

alors pour le soucis du robots.txt en fait, quand je l'éditais manuellement via le FTP, rein n'étais visible.
C'est quand je l'ai remplis via l'éditeur de fichier du plugin Yoast que ça a fonctionné... doit y avoir un conflit quelque part.

Walid a écrit :

La chute général du crawl c'est quelque chose de fréquent avant les grosses maj. Vérifie le crawl d'un site non touché par Fred, juste histoire de...

Merci pour la piste, mais rien de similaire sur mes autres sites ou du moins, rien d'aussi flagrant et pour certain, c'est le cas inverse même.
après, je ne sais pas vraiment à quoi correspond ces données du nombre de pages explorées par jour.
Est-ce que googlebot passe moins sur mon site parce que le site s'est pris une claque au niveau des positions ? ou alors est-ce quelque chose bloque l'exploration ?

Dreammy a écrit :

Tu remarquera aussi que ton temps de chargement a aussi bien augmenté !

Oui, effectivement j'avais pas donné autant d'importance à cette donnée et encore moins apporté une corrélation à la chute du nombre de pages visitées / jour. Je vais aussi creuser cette piste.

davidc1 a écrit :

La baisse n'est pas si visible que ça sur le nombre Ko / jour

Mais elle correspond à quoi vraiment cette donnée ?

Dernière modification par thedomh (2017-04-09 11:03:12)

Hors ligne

#7 2017-04-09 10:49:16

Mention davidc1
Soldier
Lieu : La colle sur Loup
Inscription : 2013-09-17
Messages : 1 078

Re : Chute du volume de pages crawlées et Robots.txt

thedomh a écrit :
davidc1 a écrit :

La baisse n'est pas si visible que ça sur le nombre Ko / jour

Mais elle correspond à quoi vraiment cette donnée ?

A la taille moyenne en Ko des pages à charger.

Hors ligne

#8 2017-04-11 09:40:43

Mention thedomh
Scout
Inscription : 2014-08-21
Messages : 225

Sémantique

Re : Chute du volume de pages crawlées et Robots.txt

Alors, je reviens vers vous sur cette chute des pages visitées / jours.
J'ai peut-être une nouvelle piste.

Hier, j'ai reçu de la part du support de cocon.se un message me disant qu'un crawl n'a pas été effectué correctement :

Dans nos logs de Crawl, j'ai remarqué une erreur d’exécution d'un crawl que vous avez demandé.
Cela concerne le crawl du site : http://www.monsite.fr/. Après analyse il s'est avéré que certaines Urls ne retournait aucun contenu lors du crawl avec le User Agent de notre robot de crawl (Cocon.se Crawler). Ce n'est pas le cas si le User Agent est positionné avec celui du navigateur Fiefox ou celui du robot de crawl de Google : GoogleBot .

Suite à ça, j'ai demandé si ça pouvait être causé par le fichier robots.txt, donc voici son contenu :
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

La réponse a été la suivante :

Ce n'est pas lié au robots.txt, c'est le serveur http lui même (ou le code php qui génère la page)
qui parfois renvoie une page vide.
D'après les tests, cela semble se produire en fonction du user-agent (ce qui n'a aucune raison de se produire, sauf volonté délibérée de bloquer des user agent no standard ou des bots).

Si ce n'est pas volontaire, il y a un souci de fond (problème de ressources, de charge, ou hack du site par exemple)

... et c'est là que je commence à tiquer :

Si l'on regarde bien les captures d'écran des statistiques d'exploration de google, on voit bien qu'il y a au début du graphique une chute faible mais assez constante du volume de pages visitées / jours. La chute devient nette au moment de la maj Fred.

Comme l'a souligné @Dreammy, une augmentation du temps de chargement des pages est aussi très flagrante et anormale sur l'historique.

En parallèle, j'ai lancé un crawl dui site avec screaming frog et là surprise :
- la quasi totalité des pages du site n'affiche aucune description / title / H1 / mots
- je viens juste de relancer un crawl et là, le logiciel voit 19 pages vides alors que j'en ai au moins 50 bien remplies et bien optimisées...

Ce qui est d'autant plus bizarre c'est que les crawl, lancés à différents moments, ne donne pas du tout les mêmes données...
alors que pourtant, si l'on va sur le site, tout est normal.

J'en viens finalement à me demander s'il n'y a pas quelque chose qui donne une information différente si le visiteur est un robot ou une vrai visiteur.

Et concernant la claque de Google Fred, je pense aussi que ces soucis de crawl n'ont impacté que très peu le SEO avant Fred et que ce dernier à reclassé mon site à la place qui lui est dûe.

Pour être franc, je ne sais même pas quoi chercher et comment trouver ce qui a pu arriver.

Des avis ?
Merci d'avnce

Dernière modification par thedomh (2017-04-11 10:56:24)

Hors ligne

#9 2017-04-11 13:16:25

Mention Jaffaar
Guardian
Lieu : Marseille
Inscription : 2012-06-01
Messages : 5 898

Développement PHP
Développement JS
Networking SEO
Social Engineering
Site Web

Re : Chute du volume de pages crawlées et Robots.txt

regarde ton site en te fasant passer pour google smile


⌕ Tu veux Ranker ?
⏩ Active le mode automatique : SEO Quartz             
Consultant SEO (sur Marseille ou sur Skype => jaffaarbh )
⏩ Tu veux des techniques concrètes ? SEO Basics Skills - SEO Ranking Skills

Hors ligne

#10 2017-04-11 14:11:55

Mention lereferenceur
Scout
Inscription : 2012-10-05
Messages : 82
Site Web

Re : Chute du volume de pages crawlées et Robots.txt

On ne pourra malheureusement pas t'aider sur ce point sans l'URL.

Mais sinon comme le dit Jaffaar, regarde les paegs de ton site avec Googlebot comme user agent.

Hors ligne

#11 2017-04-11 14:59:00

Mention Jaffaar
Guardian
Lieu : Marseille
Inscription : 2012-06-01
Messages : 5 898

Développement PHP
Développement JS
Networking SEO
Social Engineering
Site Web

Re : Chute du volume de pages crawlées et Robots.txt

lereferenceur a écrit :

Mais sinon comme le dit Jaffaar, regarde les pages de ton site avec Googlebot comme user agent.

ou avec page speed insight


⌕ Tu veux Ranker ?
⏩ Active le mode automatique : SEO Quartz             
Consultant SEO (sur Marseille ou sur Skype => jaffaarbh )
⏩ Tu veux des techniques concrètes ? SEO Basics Skills - SEO Ranking Skills

Hors ligne

#12 2017-04-11 17:58:26

Mention thedomh
Scout
Inscription : 2014-08-21
Messages : 225

Sémantique

Re : Chute du volume de pages crawlées et Robots.txt

Merci pour vos pistes,

lereferenceur a écrit :

On ne pourra malheureusement pas t'aider sur ce point sans l'URL.

Mais sinon comme le dit Jaffaar, regarde les paegs de ton site avec Googlebot comme user agent.

Alors, j'ai visité le site avec une extension firefox qui me permet de me faire passer pour Googlebot 2.1 et rien ne ressort. Je vois bien mon contenu, ma title, etc...
C'est sûr qu'avec l'URL c'est plus simple, mais je préfère éviter de la mettre sur la place publique ^^ en MP si ça te dit smile

Jaffaar a écrit :

ou avec page speed insight

alors, pour page speed, aucun message sur l'exploration (je sais même pas si l'outil le propose) en revanche, sur la capture d'écran, tout est bien présent (visuellement).

Je viens de relancer un crawl avec screaming frog, et une seule URL (l'accueil) apparait dans le rapport...
C'est un truc de dingue mad

Hors ligne

#13 2017-04-12 21:38:47

Mention thedomh
Scout
Inscription : 2014-08-21
Messages : 225

Sémantique

Re : Chute du volume de pages crawlées et Robots.txt

Alors après recherches au niveau des logs, j'ai découvert qu'il y avais un nombre plus qu'important de code erreur http 403.

L'arrivée de ces erreurs commence en Septembre 2016 avec une vingtaine de "hits".

Pour le mois d'Octobre

log-octobre.jpg

Fevrier : mes dernières stats disponibles

log-avril.jpg

Ne connaissant pas cette erreur, j'ai cherché son impact sur le SEO et je suis tombé sur cet article de 2014 https://blog.seoprofiler.com/google-403-error-codes/
qui dit en gros que ces erreurs sont expulsées de l'index car elle ne sonneraient pas accessibles aux utilisateurs.

Plus ça va, plus je me dit que Fred n'a pas impacté mon site pour une question de SEO ou autres, mais plutôt à cause un soucis technique.

Va falloir trouver la cause maintenant...

Hors ligne

#14 2017-04-13 08:52:52

Mention lereferenceur
Scout
Inscription : 2012-10-05
Messages : 82
Site Web

Re : Chute du volume de pages crawlées et Robots.txt

Tu as regardé la structure des URL qui répondent en 403 ?

Dernière modification par lereferenceur (2017-04-13 08:53:20)

Hors ligne

#15 2017-04-13 12:49:44

Mention Jacques_Arago
Scout
Lieu : Ardennes
Inscription : 2013-10-13
Messages : 164

Netlinking

Re : Chute du volume de pages crawlées et Robots.txt

1) Si tu as des pages en amp volontairement ou involontairement, ton budget crawl peut avoir été bouffé et du duplicate créés.
2) Fais un site: et vérifie aussi si les pages indexées sont toutes OK
3) vérifier les paramétrages du WAF par rapport aux UA


être dans le seo c'est un peu comme être dans un mmo qui serait passé du PVE au PVP

Hors ligne

Pied de page des forums