Vous n'êtes pas identifié(e).

  • Contributions :
  • Vos boîtes de messages privés sont vides.

#1 2017-07-25 10:21:24

Mention jdien_
Scout
Inscription : 2017-07-11
Messages : 83

Sémantique
Marketing
Conçeption Graphique
Audit et Analyse

HELP "Statistiques sur l'exploration" de Google Console

Bonjour tout le monde,

Je m’intéresse depuis peu aux statistiques sur l'exploration de mon site internet.
Je vois qu'il y a beaucoup de mouvement depuis quelques temps sans vraiment savoir la raison. Je sais uniquement qu'un graphique a dents de scie n'est pas bon signe. big_smile

J'aimerais savoir si vous avez quelques ressources (FR or EN) qui permet d'expliquer tout cela + les solutions pour revenir sur une l'exploration stable de Google. Je n'utilise pas pour le moment d'outils de CRAWL comme oncrawl.com mais je pense m'y pencher sous peu.

844444Untitled.png

Merci la famille roll

Dernière modification par jdien_ (2017-07-25 10:23:13)

Hors ligne

#2 2017-07-25 12:04:00

Mention GBB_N12
Scout
Inscription : 2017-06-24
Messages : 201

Sémantique
Rédaction
Content Spinning
Marketing

Re : HELP "Statistiques sur l'exploration" de Google Console

Euh Spider trap on dirait...

Peut-être à cause de facettes, paginations ou autres.

Envoi l'url ce sera plus simple tongue

Dernière modification par GBB_N12 (2017-07-25 12:04:48)


"Faut mailler, mailler, mailler" (Booba, SEO Émérite)

Hors ligne

#3 2017-07-25 13:17:39

Mention Dreammy
Scout
Inscription : 2015-03-15
Messages : 459

Comunity Management
Marketing

Re : HELP "Statistiques sur l'exploration" de Google Console

Ou du temps de chargement du site !

Hors ligne

#4 2017-07-26 02:29:09

Mention jdien_
Scout
Inscription : 2017-07-11
Messages : 83

Sémantique
Marketing
Conçeption Graphique
Audit et Analyse

Re : HELP "Statistiques sur l'exploration" de Google Console

GBB_N12 a écrit :

Euh Spider trap on dirait...

Peut-être à cause de facettes, paginations ou autres.

Envoi l'url ce sera plus simple tongue

Normalement, j'ai résolu ce soucis de facettes, paginations il y a quelques temps déjà.
Je n'ai rien vu d'alarmant sur Screaming Frog.
Je t'envoie ca par MP

Dreammy a écrit :

Ou du temps de chargement du site !

Comment le temps de chargement du site internet peut influencer le nombre de page explorées par jour?
Pour le 2eme graphique, oui je comprends mais dans l'ensemble, le site est stable.

Hors ligne

#5 2017-07-26 02:33:01

Mention jdien_
Scout
Inscription : 2017-07-11
Messages : 83

Sémantique
Marketing
Conçeption Graphique
Audit et Analyse

Re : HELP "Statistiques sur l'exploration" de Google Console

Voici le site en question : https://www.*******.com
Je préfère rester discret cool

Dernière modification par jdien_ (2017-07-27 10:13:03)

Hors ligne

#6 2017-07-26 07:46:20

Mention GBB_N12
Scout
Inscription : 2017-06-24
Messages : 201

Sémantique
Rédaction
Content Spinning
Marketing

Re : HELP "Statistiques sur l'exploration" de Google Console

Euh, quand j''essaye de crawler ton site avec l'user agent GoogleBot je tombe sur une 403 ?

C'est normal ?


"Faut mailler, mailler, mailler" (Booba, SEO Émérite)

Hors ligne

#7 2017-07-26 07:58:01

Mention GBB_N12
Scout
Inscription : 2017-06-24
Messages : 201

Sémantique
Rédaction
Content Spinning
Marketing

Re : HELP "Statistiques sur l'exploration" de Google Console

Ces soubresauts de crawl viennent peut-être de tes pages /temoignages/ (y'en a plus de 800) mais rien n'est moins sur.

L'idéal ce serait que tu regarde tes logs.


"Faut mailler, mailler, mailler" (Booba, SEO Émérite)

Hors ligne

#8 2017-07-26 09:52:15

Mention Mitsu
Soldier
Inscription : 2014-11-17
Messages : 1 993

Développement PHP
Développement JS
Audit et Analyse
Netlinking
Site Web

Re : HELP "Statistiques sur l'exploration" de Google Console

@jdien_ : Je pense qu'il voulait parler du temps de réponse, regarde le 3ème graphique.

Sinon pour vraiment savoir ce que Googlebot fabrique, effectivement check les logs comme le dit @GBB_N12, tu pourras pas aller beaucoup plus loin depuis GSC.


Mitsu, un Expert SEO qui se fait une joie de partager ses délires sur internet...

Hors ligne

#9 2017-07-27 07:36:11

Mention jdien_
Scout
Inscription : 2017-07-11
Messages : 83

Sémantique
Marketing
Conçeption Graphique
Audit et Analyse

Re : HELP "Statistiques sur l'exploration" de Google Console

GBB_N12 a écrit :

Euh, quand j''essaye de crawler ton site avec l'user agent GoogleBot je tombe sur une 403 ?
C'est normal ?

403? le site a crashe pendant 10-20 min, tu as du tomber au mauvais moment...

GBB_N12 a écrit :

Ces soubresauts de crawl viennent peut-être de tes pages /temoignages/ (y'en a plus de 800) mais rien n'est moins sur.

L'idéal ce serait que tu regarde tes logs.

Oui il y a beaucoup de /temoignages/ mais ils sont tous en NOINDEX/NOFOLLOW car ils servent a rien... C'est surtout pour l'imagine de confiance du site internet, non pour Google car ils n'apportent pas de valeurs ajoutée.

Mitsu a écrit :

@jdien_ : Je pense qu'il voulait parler du temps de réponse, regarde le 3ème graphique.

Sinon pour vraiment savoir ce que Googlebot fabrique, effectivement check les logs comme le dit @GBB_N12, tu pourras pas aller beaucoup plus loin depuis GSC.

Le temps de réponse est assez stable, autour de 304ms (au plus faible 99ms, au plus haut 497ms).


@Mitsu @GBB_N12
Pour les Logs, vous me conseillez quel outil ?

Hors ligne

#10 2017-07-27 08:02:21

Mention GBB_N12
Scout
Inscription : 2017-06-24
Messages : 201

Sémantique
Rédaction
Content Spinning
Marketing

Re : HELP "Statistiques sur l'exploration" de Google Console

Salut,

Sur la 403 c'est vraiment bizarre, avec l'user agent GoogleBot 403 et avec un user agent "normal" 200.
Peut-être une protection sur ton serveur mais à vérifier tout de même.

Il me semble que t'es pages témoignages soient en noindex/follow. En gros tu dis au bot n'indexe pas la page mais suit les liens qui sont dessus.

Et puis attention indexation ne veut pas dire crawl. Ce n'est pas parcequ'une page est en noindex qu'elle ne va pas être crawler par Google (les bots sont cons parfois...).
Si tu veux que ces pages ne consomment pas ton budget de crawl il faut que tu mette en noindex/nofollow mais également que tu bloque le bloque le crawl de ces pages dans ton robots.txt par exemple avec la directive "Disallow: /temoignages/"

Pour les logs, solutions pas chère et pas mal -> Watussi Box
Un peu relou à installer sur le serveur et sur certains ça me les a fait planter, mais si tu veux tester rapidement ton problème je pense que c'est la meilleure solution.

Ou sinon t'as screaming frog log analyzer (pas trop cher et pas mal).

Voili, voilou, bon courage :-)


"Faut mailler, mailler, mailler" (Booba, SEO Émérite)

Hors ligne

#11 2017-07-27 08:08:06

Mention Mitsu
Soldier
Inscription : 2014-11-17
Messages : 1 993

Développement PHP
Développement JS
Audit et Analyse
Netlinking
Site Web

Re : HELP "Statistiques sur l'exploration" de Google Console

jdien_ a écrit :
Mitsu a écrit :

@jdien_ : Je pense qu'il voulait parler du temps de réponse, regarde le 3ème graphique.

Sinon pour vraiment savoir ce que Googlebot fabrique, effectivement check les logs comme le dit @GBB_N12, tu pourras pas aller beaucoup plus loin depuis GSC.

Le temps de réponse est assez stable, autour de 304ms (au plus faible 99ms, au plus haut 497ms).


@Mitsu @GBB_N12
Pour les Logs, vous me conseillez quel outil ?

Dans ce cas check les logs, tu peux avoir un spider trap, tu peux avoir des pages orphelines générés par des liens externes etc...
Faut voir les logs quoi tout est possible.


Mitsu, un Expert SEO qui se fait une joie de partager ses délires sur internet...

Hors ligne

#12 2017-07-27 09:17:25

Mention jdien_
Scout
Inscription : 2017-07-11
Messages : 83

Sémantique
Marketing
Conçeption Graphique
Audit et Analyse

Re : HELP "Statistiques sur l'exploration" de Google Console

GBB_N12 a écrit :

Salut,

Sur la 403 c'est vraiment bizarre, avec l'user agent GoogleBot 403 et avec un user agent "normal" 200.
Peut-être une protection sur ton serveur mais à vérifier tout de même.

Intéressant, je vais y jeter un oeil.

GBB_N12 a écrit :

Il me semble que t'es pages témoignages soient en noindex/follow. En gros tu dis au bot n'indexe pas la page mais suit les liens qui sont dessus.


Et puis attention indexation ne veut pas dire crawl. Ce n'est pas parcequ'une page est en noindex qu'elle ne va pas être crawler par Google (les bots sont cons parfois...).
Si tu veux que ces pages ne consomment pas ton budget de crawl il faut que tu mette en noindex/nofollow mais également que tu bloque le bloque le crawl de ces pages dans ton robots.txt par exemple avec la directive "Disallow: /temoignages/"


Oops, oui /follow.
OK merci, je vais déjà m'occuper de ça.

GBB_N12 a écrit :

Pour les logs, solutions pas chère et pas mal -> Watussi Box
Un peu relou à installer sur le serveur et sur certains ça me les a fait planter, mais si tu veux tester rapidement ton problème je pense que c'est la meilleure solution.


Ou sinon t'as screaming frog log analyzer (pas trop cher et pas mal).

Voili, voilou, bon courage :-)

J'utilise Screaming Frog...
Je vais regarder sous Log Analyzer alors big_smile


Mitsu a écrit :

Dans ce cas check les logs, tu peux avoir un spider trap, tu peux avoir des pages orphelines générés par des liens externes etc...
Faut voir les logs quoi tout est possible.

Merci, je vais regarder tout ca smile

Hors ligne

#13 2017-07-27 10:06:46

Mention Ugo
Scout
Lieu : Paris
Inscription : 2017-07-17
Messages : 338

Re : HELP "Statistiques sur l'exploration" de Google Console

J'ai le même soucis que GBB, code 403 'forbidden' quand je test avec le bot google et 200 avec le navigateru avec cet outil http://www.urlitor.com/

Hors ligne

#14 2017-07-27 10:09:55

Mention jdien_
Scout
Inscription : 2017-07-11
Messages : 83

Sémantique
Marketing
Conçeption Graphique
Audit et Analyse

Re : HELP "Statistiques sur l'exploration" de Google Console

Ugo a écrit :

J'ai le même soucis que GBB, code 403 'forbidden' quand je test avec le bot google et 200 avec le navigateru avec cet outil http://www.urlitor.com/

J'utilise https://httpstatus.io/ il est très pratique.
Google Console me signale aucune erreur de bot (HTTP/1.1 200 OK)
Je suis sous NGINX, non APACHE

Dernière modification par jdien_ (2017-07-27 10:11:13)

Hors ligne

#15 2017-08-07 03:30:21

Mention jdien_
Scout
Inscription : 2017-07-11
Messages : 83

Sémantique
Marketing
Conçeption Graphique
Audit et Analyse

Re : HELP "Statistiques sur l'exploration" de Google Console

Effectivement, après modification du robots.txt et NOFOLLOW, le Google's crawl s'affole beaucoup moins smile
Il y avait rien dans les logs par rapport a la recherche par facettes mais j'ai sécurise le truc via le robots.txt en suivant la méthode de zalando.

Par rapport 403 sur GoogleBots, je suis en train de voir avec l'IT.

Hors ligne

Pied de page des forums