Facon dont gg crawl

PierreG · #1 2018-06-07 14:36:48

Je me pose une question sur le crawl de ggbot

Mon site est relativement recent (2 mois).

Au début ggbot passait rarement, et au fur et a mesure il a accéléré.

Aujourd'hui il passe tous les jours et visite 3 ou 4 pages.

Des fois il crawl 4 fois l'index dans la meme journée et rien d'autre, d'autre jours il crawl despages aléatoires.

Par contre c'est étallé dans la journée voici le log d'aujourd'hui:

06/06/2018 18:03:39 /index.php 66.249.64.22 Mountain View,United States crawl-66-249-64-22.googlebot.com

07/06/2018 04:40:00 /xxx-xxx.php/xxx-116 66.249.64.24 Mountain View,United States crawl-66-249-64-24.googlebot.com

07/06/2018 08:20:41 /xxx-xxx.php/xxx-102 66.249.64.23 Mountain View,United States crawl-66-249-64-23.googlebot.com

07/06/2018 09:16:19 /xxx-xxx.php/xxx-112 66.249.64.23 Mountain View,United States crawl-66-249-64-23.googlebot.com

07/06/2018 10:18:18 /xxx-xxx.php/xxx-107 66.249.64.23 Mountain View,United States crawl-66-249-64-23.googlebot.com

Est-ce que ca se passe toujours comme cela ?

Le site génére une dizaine de nouvelles pages chaques jours qui sont visibles depuis la home mais ca n'apas l'air de lui donner envie de les visiter plus vite.

ColdFire · #2 2018-06-07 17:07:07

Hello,

Le comportement de Googlebot est toujours aléatoire, donc pas de panique s'il ne crawle pas les mêmes URL d'un jour à l'autre, ou si il crawle 10 fois ton index et peu d'autres pages sur une journée, rien d'anormal.

Par contre, comme tu as accès à tes logs, tu peux regarder par ex. sur 1 mois toutes les urls crawlées, et vérifiér que toutes les urls de ton site sont bien crawlées par GGbot.

Tu peux avoir un aperçu dans la Search console, partie Exploration > Statistiques sur l'exploration

PierreG · #3 2018-06-07 20:45:14

@ColeFire merci.
Question subsidiaire, si toutes les pages ne sont pas crawlés que faire ?

ColdFire · #4 2018-06-08 06:15:20

PierreG a écrit :

@ColeFire merci.
Question subsidiaire, si toutes les pages ne sont pas crawlés que faire ?

Si tes pages ne sont pas crawlées, plusieurs causes possibles :
- Ta page est orpheline : aucune autre page de ton site ne fait de lien vers elle, il faut donc en faire.
- Elle est située trop loin de la HP : à 5, 6 clics voir +. Il faut la ramener plus près de la HP.
- Ton site est globalement trop lent, et le GGbot ne crawle donc qu'une partie de tes URLs. Il faut diminuer le temps de chargement des pages.

PierreG · #5 2018-06-08 12:30:14

Sein qui ou

marneus74 · #6 2018-06-11 08:45:35

C'est tout le jeu du linking interne pour le crawling. Comme dit précédemment, fait en sorte que tes pages ne soient pas trop profonde.

Quand tu fais du netlinking, pense à linker différentes pages, et pas uniquement ta homepage. Ca permet de faire plusieurs "portes d'entrées" pour le SpiderGoogle.

PierreG · #7 2018-06-11 09:58:13

Marneus74 - > merci du conseil, je vais le mettre en application dans la semaine (genre sur chaque page d'article, quelques articles qui ressebmle)

En effet je vois toujours pas beaucoup de crawl meme si ca accelere un peu depuis que j'ai soumis un sitemap dans search console.

Bon ce qui me rassure c'est que le site grapille des places doucement chaque jours.

🟣 Facon dont gg crawl

#1 2018-06-07 14:36:48

Facon dont gg crawl

#2 2018-06-07 17:07:07

Re : Facon dont gg crawl

#3 2018-06-07 20:45:14

Re : Facon dont gg crawl

#4 2018-06-08 06:15:20

Re : Facon dont gg crawl

#5 2018-06-08 12:30:14

Re : Facon dont gg crawl

#6 2018-06-11 08:45:35

Re : Facon dont gg crawl

#7 2018-06-11 09:58:13

Re : Facon dont gg crawl

Pied de page des forums