🟣 Ressources TECH 404 => Comportement CRAWL de Google

Hello la communauté,

J'ai une question, assez complexe mais vu le niveau de ce forum je pense que je vais trouver mon bonheur.

Alors, en ce moment je m'occupe d'un gros site Internet ( 1 million de pages) et je traite les 404 quotidiennement (3K à 5K par jour) via l'analyse des logs.

Dans ces erreurs, j'ai bien sûr filtré par bot (Google) et je retrouve :

- 10% d'images supprimées (mais liens toujours dans la structure) : facile à corriger...

Et puis... (c'est là que ça se complique...) :

a) des pages en erreur du type : "monsite.com/jetapenimportequoi.html"

> comment Google arrive à crawler les URLs des personnes qui tapent n'importe quoi sur leur navigateur ? Je suis assez étonné...

b) des ressources supprimées du type : "monsite.com/client.json" ; ou "ressources-plugin.php". Cela fait 3 ans que ces ressources ont été supprimées et pourtant Google tombe toujours dessus (même hier...)

> Google garderait autant de temps ces ressources dans son index, de façon quotidienne ? Très étrange...  comment les traiter si elles sont supprimés ? Peut-on demander à Google de "vider son index"

J'ai regardé le referer (dans les logs" et il est absent : "-"

Exemple :

Request : monsite.com/client.json
Response : 404
Referer : -

Voilà, je vous avais prévenu que c'était complexe.

Merci d'avance pour votre temps