Crawl intempestif de robot.txt

steph · #1 2019-10-09 12:04:52

Bonjour,

J'ai une petite questions. En regardant les logs du crawl de googlebot je vois qu'il parcours plusieurs fois dans la journée le robot.txt sans parcourir les autres pages (anciennes et nouvelles). Une explication ?

Amlil71 · #2 2019-10-09 12:47:41

Bonjour @steph . Tu as un site avec beaucoup de pages ? Quelle est la fréquence de publication ?

steph · #3 2019-10-09 12:56:45

J'ai environ 100 pages. Pendant longtemps (plusieurs mois) je ne publiais pratiquement pas. Depuis 1 mois et demi je publie entre 5 et 10 pages par semaine

Amlil71 · #4 2019-10-09 13:03:37

Ok ces pages devraient être crawlées. Tu utilises quel outil pour suivre le crawl ?

steph · #5 2019-10-09 13:05:12

J'utilise seolyzer. J'ai importé mes logs et mis en place le suivi en temps réel. Je commence tout juste à l'utiliser

Amlil71 · #6 2019-10-09 13:07:48

Ok tu as combien de pages en moyenne crawlées par jour ?

steph · #7 2019-10-09 13:12:42

Environ 10 et pour la plupart c'est robot.txt ou bien le sitemap ou encore /wp-admin/admin-ajax.php. Et pratiquement pas de "vrai page". Est-ce que c'est parce que mon site était en stand by pendant de nombreux mois ?
Je commence depuis 2 mois a publier régulierement et a faire des backlinks. Est-ce qu'il faut attendre que google analyse ça?

Amlil71 · #8 2019-10-09 13:23:32

bonne question, c'est peut être un élément explicatif. Tu as une page avec un sitemap ?

steph · #9 2019-10-09 14:06:10

Oui j ai un sitemap

Amlil71 · #10 2019-10-09 14:10:17

ok tu as inscrit ton site sur la search console ? Si c'est le cas, il faudrait faire une demande de réindexation de cette page et voir comment réagissent les bots au niveau du crawl.

Dernière modification par Amlil71 (2019-10-09 14:36:42)

steph · #11 2019-10-09 14:53:52

D accord merci je vais essayer voir ce que ça donne

jeromeweb · #12 2019-10-11 08:30:33

tu as combien de refering domaines?

steph · #13 2019-10-13 16:26:16

Très peu une quarantaine dont la moitié a ete crée sur 2 mois

steph · #14 2019-10-14 17:14:08

D ailleurs seolyzer va devenir payant est ce que vous connaissez un outil semblable gratuit ?

Amlil71 · #15 2019-10-14 19:56:01

Il reste une parie gratuite pour 1 url et 10 000 pages crawlées je crois

steph · #16 2019-10-14 20:30:36

Ah d accord merci je n avais pas vu. Cool

🟣 Crawl intempestif de robot.txt

#1 2019-10-09 12:04:52

Crawl intempestif de robot.txt

#2 2019-10-09 12:47:41

Re : Crawl intempestif de robot.txt

#3 2019-10-09 12:56:45

Re : Crawl intempestif de robot.txt

#4 2019-10-09 13:03:37

Re : Crawl intempestif de robot.txt

#5 2019-10-09 13:05:12

Re : Crawl intempestif de robot.txt

#6 2019-10-09 13:07:48

Re : Crawl intempestif de robot.txt

#7 2019-10-09 13:12:42

Re : Crawl intempestif de robot.txt

#8 2019-10-09 13:23:32

Re : Crawl intempestif de robot.txt

#9 2019-10-09 14:06:10

Re : Crawl intempestif de robot.txt

#10 2019-10-09 14:10:17

Re : Crawl intempestif de robot.txt

#11 2019-10-09 14:53:52

Re : Crawl intempestif de robot.txt

#12 2019-10-11 08:30:33

Re : Crawl intempestif de robot.txt

#13 2019-10-13 16:26:16

Re : Crawl intempestif de robot.txt

#14 2019-10-14 17:14:08

Re : Crawl intempestif de robot.txt

#15 2019-10-14 19:56:01

Re : Crawl intempestif de robot.txt

#16 2019-10-14 20:30:36

Re : Crawl intempestif de robot.txt

Pied de page des forums