Vous n'êtes pas identifié(e).

  • Contributions :
  • Vos boîtes de messages privés sont vides.

🟣 Ressources TECH 404 => Comportement CRAWL de Google


#1 2019-02-21 08:49:34

Mention You
♟️ Grade : Recruit

DiscipleStratège
Lieu : Paris
Inscription : 2019-02-21
Messages : 2
Likes : 0

Sémantique
Audit et Analyse
Networking SEO
Scraping

Ressources TECH 404 => Comportement CRAWL de Google

Hello la communauté,

J'ai une question, assez complexe mais vu le niveau de ce forum je pense que je vais trouver mon bonheur.

Alors, en ce moment je m'occupe d'un gros site Internet ( 1 million de pages) et je traite les 404 quotidiennement (3K à 5K par jour) via l'analyse des logs.

Dans ces erreurs, j'ai bien sûr filtré par bot (Google) et je retrouve :

- 10% d'images supprimées (mais liens toujours dans la structure) : facile à corriger...

Et puis... (c'est là que ça se complique...) :

a) des pages en erreur du type : "monsite.com/jetapenimportequoi.html"

> comment Google arrive à crawler les URLs des personnes qui tapent n'importe quoi sur leur navigateur ? Je suis assez étonné...

b) des ressources supprimées du type : "monsite.com/client.json" ; ou "ressources-plugin.php". Cela fait 3 ans que ces ressources ont été supprimées et pourtant Google tombe toujours dessus (même hier...)

> Google garderait autant de temps ces ressources dans son index, de façon quotidienne ? Très étrange...  comment les traiter si elles sont supprimés ? Peut-on demander à Google de "vider son index"

J'ai regardé le referer (dans les logs" et il est absent : "-"

Exemple :

Request : monsite.com/client.json
Response : 404
Referer : -


Voilà, je vous avais prévenu que c'était complexe.

Merci d'avance pour votre temps


You, dompteur de bots

0
J'aime ❤️

🔴 Hors ligne

#2 2019-02-21 09:31:05

Mention ColdFire
🥈 Grade : Soldier

Membre du CercleOfficierStratègeMembre Hospitalier
Lieu : Dijon
Inscription : 2018-01-04
Messages : 529
Likes : 9

Audit et Analyse
Sémantique
Advertising
Rédaction

Re : Ressources TECH 404 => Comportement CRAWL de Google

Hello,

Avec une présentation ( http://scripts-seo.com/forum-6-0-presentation-des-membres-page-1.html ) tu auras des réponses !

0
J'aime ❤️

🔴 Hors ligne

Pied de page des forums