HELP "Statistiques sur l'exploration" de Google Console

jdien_ · #1 2017-07-25 10:21:24

Bonjour tout le monde,

Je m’intéresse depuis peu aux statistiques sur l'exploration de mon site internet.
Je vois qu'il y a beaucoup de mouvement depuis quelques temps sans vraiment savoir la raison. Je sais uniquement qu'un graphique a dents de scie n'est pas bon signe.

J'aimerais savoir si vous avez quelques ressources (FR or EN) qui permet d'expliquer tout cela + les solutions pour revenir sur une l'exploration stable de Google. Je n'utilise pas pour le moment d'outils de CRAWL comme oncrawl.com mais je pense m'y pencher sous peu.

Merci la famille

Dernière modification par jdien_ (2017-07-25 10:23:13)

GBB_N12 · #2 2017-07-25 12:04:00

Euh Spider trap on dirait...

Peut-être à cause de facettes, paginations ou autres.

Envoi l'url ce sera plus simple

Dernière modification par GBB_N12 (2017-07-25 12:04:48)

Dreammy · #3 2017-07-25 13:17:39

Ou du temps de chargement du site !

jdien_ · #4 2017-07-26 02:29:09

GBB_N12 a écrit :

Euh Spider trap on dirait...
Peut-être à cause de facettes, paginations ou autres.
Envoi l'url ce sera plus simple

Normalement, j'ai résolu ce soucis de facettes, paginations il y a quelques temps déjà.
Je n'ai rien vu d'alarmant sur Screaming Frog.
Je t'envoie ca par MP

Dreammy a écrit :

Ou du temps de chargement du site !

Comment le temps de chargement du site internet peut influencer le nombre de page explorées par jour?
Pour le 2eme graphique, oui je comprends mais dans l'ensemble, le site est stable.

jdien_ · #5 2017-07-26 02:33:01

Voici le site en question : https://www.*******.com
Je préfère rester discret

Dernière modification par jdien_ (2017-07-27 10:13:03)

GBB_N12 · #6 2017-07-26 07:46:20

Euh, quand j''essaye de crawler ton site avec l'user agent GoogleBot je tombe sur une 403 ?

C'est normal ?

GBB_N12 · #7 2017-07-26 07:58:01

Ces soubresauts de crawl viennent peut-être de tes pages /temoignages/ (y'en a plus de 800) mais rien n'est moins sur.

L'idéal ce serait que tu regarde tes logs.

Mitsu · #8 2017-07-26 09:52:15

@jdien_ : Je pense qu'il voulait parler du temps de réponse, regarde le 3ème graphique.

Sinon pour vraiment savoir ce que Googlebot fabrique, effectivement check les logs comme le dit @GBB_N12, tu pourras pas aller beaucoup plus loin depuis GSC.

jdien_ · #9 2017-07-27 07:36:11

GBB_N12 a écrit :

Euh, quand j''essaye de crawler ton site avec l'user agent GoogleBot je tombe sur une 403 ?
C'est normal ?

403? le site a crashe pendant 10-20 min, tu as du tomber au mauvais moment...

GBB_N12 a écrit :

Ces soubresauts de crawl viennent peut-être de tes pages /temoignages/ (y'en a plus de 800) mais rien n'est moins sur.
L'idéal ce serait que tu regarde tes logs.

Oui il y a beaucoup de /temoignages/ mais ils sont tous en NOINDEX/NOFOLLOW car ils servent a rien... C'est surtout pour l'imagine de confiance du site internet, non pour Google car ils n'apportent pas de valeurs ajoutée.

Mitsu a écrit :

@jdien_ : Je pense qu'il voulait parler du temps de réponse, regarde le 3ème graphique.
Sinon pour vraiment savoir ce que Googlebot fabrique, effectivement check les logs comme le dit @GBB_N12, tu pourras pas aller beaucoup plus loin depuis GSC.

Le temps de réponse est assez stable, autour de 304ms (au plus faible 99ms, au plus haut 497ms).

@Mitsu @GBB_N12
Pour les Logs, vous me conseillez quel outil ?

GBB_N12 · #10 2017-07-27 08:02:21

Salut,

Sur la 403 c'est vraiment bizarre, avec l'user agent GoogleBot 403 et avec un user agent "normal" 200.
Peut-être une protection sur ton serveur mais à vérifier tout de même.

Il me semble que t'es pages témoignages soient en noindex/follow. En gros tu dis au bot n'indexe pas la page mais suit les liens qui sont dessus.

Et puis attention indexation ne veut pas dire crawl. Ce n'est pas parcequ'une page est en noindex qu'elle ne va pas être crawler par Google (les bots sont cons parfois...).
Si tu veux que ces pages ne consomment pas ton budget de crawl il faut que tu mette en noindex/nofollow mais également que tu bloque le bloque le crawl de ces pages dans ton robots.txt par exemple avec la directive "Disallow: /temoignages/"

Pour les logs, solutions pas chère et pas mal -> Watussi Box
Un peu relou à installer sur le serveur et sur certains ça me les a fait planter, mais si tu veux tester rapidement ton problème je pense que c'est la meilleure solution.

Ou sinon t'as screaming frog log analyzer (pas trop cher et pas mal).

Voili, voilou, bon courage :-)

Mitsu · #11 2017-07-27 08:08:06

jdien_ a écrit :

Mitsu a écrit :
@jdien_ : Je pense qu'il voulait parler du temps de réponse, regarde le 3ème graphique.
Sinon pour vraiment savoir ce que Googlebot fabrique, effectivement check les logs comme le dit @GBB_N12, tu pourras pas aller beaucoup plus loin depuis GSC.
Le temps de réponse est assez stable, autour de 304ms (au plus faible 99ms, au plus haut 497ms).

@Mitsu @GBB_N12
Pour les Logs, vous me conseillez quel outil ?

Dans ce cas check les logs, tu peux avoir un spider trap, tu peux avoir des pages orphelines générés par des liens externes etc...
Faut voir les logs quoi tout est possible.

jdien_ · #12 2017-07-27 09:17:25

GBB_N12 a écrit :

Salut,
Sur la 403 c'est vraiment bizarre, avec l'user agent GoogleBot 403 et avec un user agent "normal" 200.
Peut-être une protection sur ton serveur mais à vérifier tout de même.

Intéressant, je vais y jeter un oeil.

GBB_N12 a écrit :

Il me semble que t'es pages témoignages soient en noindex/follow. En gros tu dis au bot n'indexe pas la page mais suit les liens qui sont dessus.

Et puis attention indexation ne veut pas dire crawl. Ce n'est pas parcequ'une page est en noindex qu'elle ne va pas être crawler par Google (les bots sont cons parfois...).
Si tu veux que ces pages ne consomment pas ton budget de crawl il faut que tu mette en noindex/nofollow mais également que tu bloque le bloque le crawl de ces pages dans ton robots.txt par exemple avec la directive "Disallow: /temoignages/"

Oops, oui /follow.
OK merci, je vais déjà m'occuper de ça.

GBB_N12 a écrit :

Pour les logs, solutions pas chère et pas mal -> Watussi Box
Un peu relou à installer sur le serveur et sur certains ça me les a fait planter, mais si tu veux tester rapidement ton problème je pense que c'est la meilleure solution.

Ou sinon t'as screaming frog log analyzer (pas trop cher et pas mal).
Voili, voilou, bon courage :-)

J'utilise Screaming Frog...
Je vais regarder sous Log Analyzer alors

Mitsu a écrit :

Dans ce cas check les logs, tu peux avoir un spider trap, tu peux avoir des pages orphelines générés par des liens externes etc...
Faut voir les logs quoi tout est possible.

Merci, je vais regarder tout ca

Ugo · #13 2017-07-27 10:06:46

J'ai le même soucis que GBB, code 403 'forbidden' quand je test avec le bot google et 200 avec le navigateru avec cet outil http://www.urlitor.com/

jdien_ · #14 2017-07-27 10:09:55

Ugo a écrit :

J'ai le même soucis que GBB, code 403 'forbidden' quand je test avec le bot google et 200 avec le navigateru avec cet outil http://www.urlitor.com/

J'utilise https://httpstatus.io/ il est très pratique.
Google Console me signale aucune erreur de bot (HTTP/1.1 200 OK)
Je suis sous NGINX, non APACHE

Dernière modification par jdien_ (2017-07-27 10:11:13)

jdien_ · #15 2017-08-07 03:30:21

Effectivement, après modification du robots.txt et NOFOLLOW, le Google's crawl s'affole beaucoup moins
Il y avait rien dans les logs par rapport a la recherche par facettes mais j'ai sécurise le truc via le robots.txt en suivant la méthode de zalando.

Par rapport 403 sur GoogleBots, je suis en train de voir avec l'IT.

🟣 HELP "Statistiques sur l'exploration" de Google Console

#1 2017-07-25 10:21:24

HELP "Statistiques sur l'exploration" de Google Console

#2 2017-07-25 12:04:00

Re : HELP "Statistiques sur l'exploration" de Google Console

#3 2017-07-25 13:17:39

Re : HELP "Statistiques sur l'exploration" de Google Console

#4 2017-07-26 02:29:09

Re : HELP "Statistiques sur l'exploration" de Google Console

#5 2017-07-26 02:33:01

Re : HELP "Statistiques sur l'exploration" de Google Console

#6 2017-07-26 07:46:20

Re : HELP "Statistiques sur l'exploration" de Google Console

#7 2017-07-26 07:58:01

Re : HELP "Statistiques sur l'exploration" de Google Console

#8 2017-07-26 09:52:15

Re : HELP "Statistiques sur l'exploration" de Google Console

#9 2017-07-27 07:36:11

Re : HELP "Statistiques sur l'exploration" de Google Console

#10 2017-07-27 08:02:21

Re : HELP "Statistiques sur l'exploration" de Google Console

#11 2017-07-27 08:08:06

Re : HELP "Statistiques sur l'exploration" de Google Console

#12 2017-07-27 09:17:25

Re : HELP "Statistiques sur l'exploration" de Google Console

#13 2017-07-27 10:06:46

Re : HELP "Statistiques sur l'exploration" de Google Console

#14 2017-07-27 10:09:55

Re : HELP "Statistiques sur l'exploration" de Google Console

#15 2017-08-07 03:30:21

Re : HELP "Statistiques sur l'exploration" de Google Console

Pied de page des forums