Problème de crawl avec WP Popular Posts

teddy · #1 2019-09-14 07:42:06

Bonjour tout le monde,

J'ai un problème de crawl sur mon site et il semble que le plugin WordPress WP Popular Posts soit impliqué.

Grâce à l'excellent Seolyzer, je vérifie presque tous les jours les passages de googlebot sur mon site. Et je vois régulièrement qu'il crawle cette url : https://monsite.com/wp-json/wordpress-popular-posts/v1/popular-posts/

Jusque là pas de problème, car le code réponse de cette url était toujours 200. Mais depuis fin août, googlebot tombe sur une 403. Et il s'acharne carrément dessus, si bien que durant plusieurs jours, il n'a crawlé que cette url et qu'elle était toujours en 403. Aujourd'hui, ça continue, même s'il se met à crawler parfois d'autres urls.

Pourtant, quand je rentre cette url dans mon navigateur, j'ai bien une réponse en 200.

Bref, quelqu'un a une idée de ce que je devrais faire pour que l'url revienne en 200 pour ggbot (ou pour qu'il arrête de la crawler sans que ça pénalise mon site d'une façon ou d'une autre) ? J'ai peur que ce ne soit pas très bon pour l'ensemble de mon site si ça continue comme ça, car du coup, les autres urls sont beaucoup moins crawlées...

Amlil71 · #2 2019-09-14 10:09:31

Salut, tu n'aurais pas une instruction dans ton .htacess qui empêche les bots d'aller sur cette page ?

teddy · #3 2019-09-15 13:43:04

Je viens de vérifier. A priori non ou alors je ne vois pas où.
J'ai regardé aussi les changements que j'avais faits à la date où ça a basculé. Je n'ai changé que du contenu apparemment : des liens, des vidéos retirées, du texte modifié, des emojis rajoutés.
Je ne comprends vraiment pas ce qui se passe...

Amlil71 · #4 2019-09-15 16:31:10

Si tu tapes le code erreur sur GG tu as des résultats qui renvoient vers un problème de conflit avec d'autres extensions. Tu n'as pas une extension de sécurité sur laquelle tu dois autoriser ce plugin sur ton site ?

Dernière modification par Amlil71 (2019-09-16 07:01:39)

teddy · #5 2019-09-16 06:44:38

A priori non, mais je vais désactiver toutes les extensions de sécurité pour voir (bien que je n'en ai pas rajoutée au moment où ça s'est déclenché, mais peut-être qu'il y a eu une mise à jour...)

Merci pour ton aide

teddy · #6 2019-09-22 14:03:42

Bon, je viens donner des nouvelles...
Après avoir désactivé mes extensions de sécurité, gg s'est remis à crawler les autres urls. En revanche, quand il crawle l'url dont je parlais, une fois sur 2, c'est toujours en 403, et sinon en 200. C'est quand même bizarre, parce qu'avec la même ip google ça peut être en 200 et 2h plus tard en 403...

Amlil71 · #7 2019-09-22 17:24:20

Salut, tu as essayé de remplacer ton htacess par un htacess sommaire juste pour voir la conséquence sur le crawl ?

teddy · #8 2019-09-25 18:08:14

Quelques news :
Sans que je n'aie touché à rien, gg s'excite sur la fameuse url qui se trouve de nouveau tout le temps en 403. Il ignore complètement les autres. Du coup, j'ai fait quelques changements dans le fichier robots.txt en étant plus permissif (bien qu'a priori je ne vois pas le rapport, la page a toujours été crawlée et continue de l'être) et j'ai enlevé des directives qui ne servaient à rien dans le htaccess.
J'attends de voir si ça va changer quelque chose...

teddy · #9 2019-10-29 18:08:42

La suite...

Cette histoire devient de plus en plus étrange.

En désespoir de cause, j'ai décidé de bloquer l'accès à gg de cette fameuse url dans le fichier robots.

Et aujourd'hui qu'est-ce que je constate ? GG a de nouveau crawlé l'url qui renvoie...une 201 ! Ce qui signifie a priori la création d'un document (qui serait d'ailleurs très probablement cette fameuse url) ! Bref, en gros, c'est comme si gg me disait : tu m'empêches de crawler cette url ? Et bien je vais la créer !

Je trouve ça complètement hallucinant !

Pour ceux qui veulent m'aider à élucider ce mystère, entre le blocage dans le fichier robots.txt et l'apparition de la 201 :

- j'ai mis à jour WPP
- j'ai constaté que Seolyzer ne fonctionnait pas bien. La Search Console m'indiquait un certain nombre d'URLs crawlées par GG et Seolyzer me disait que GG ne crawlait rien. Or, je sais que des urls ont été crawlées car j'ai demandé moi-même l'indexation dans la search console, et à chaque fois que je demande une indexation, l'url est rapidement crawlée dans les minutes qui suivent.

Bref, est-ce Seolyzer qui est cassé et qui m'indique n'importe quoi ?
A priori, je ne pense pas, car tout semble revenu à la normale de ce côté-là (j'ai récemment indexé une url qui a bien été crawlée et indiquée par seolyzer).

Du coup, je ne comprends toujours pas ce qui se passe...:rolleyes:

🟣 Problème de crawl avec WP Popular Posts

#1 2019-09-14 07:42:06

Problème de crawl avec WP Popular Posts

#2 2019-09-14 10:09:31

Re : Problème de crawl avec WP Popular Posts

#3 2019-09-15 13:43:04

Re : Problème de crawl avec WP Popular Posts

#4 2019-09-15 16:31:10

Re : Problème de crawl avec WP Popular Posts

#5 2019-09-16 06:44:38

Re : Problème de crawl avec WP Popular Posts

#6 2019-09-22 14:03:42

Re : Problème de crawl avec WP Popular Posts

#7 2019-09-22 17:24:20

Re : Problème de crawl avec WP Popular Posts

#8 2019-09-25 18:08:14

Re : Problème de crawl avec WP Popular Posts

#9 2019-10-29 18:08:42

Re : Problème de crawl avec WP Popular Posts

Pied de page des forums