Indexée malgré le blocage par le fichier robots.txt

darkos11 · #1 2020-04-21 09:42:22

Bonjour,

Récemment, j'ai récupéré un ndd en vérifiant rapidement backlinks (ras) et quelques snapshots archives. Apres une semaine d'indexation Des pages asics, chassure … :'( commencent à surgir dans l'index avec la mention "Indexée malgré le blocage par le fichier robots.txt".

Pas de liens internes ou backlinks qui pointent vers ces pages.

Pour le moment, je demande la suppression des pages mais fort probable elles vont être indexées de nouveau.

Existe t'il une solution radicale ? Serait t'il judicieux de travailler sur un ndd avec ce type d'historique ( dans mon cas le site commence à bouger)?

Anna31 · #2 2020-05-04 11:54:00

Hello, est-ce que tu as moyen de nous faire un screen du robots.txt ?
Si tu as une indication "noindex:" + "Disallow :" sur les pages en question, Google ne peut pas voir que tu lui demander de ne pas indexer la page.

Parfois Google en fait un peu à sa tête Le robots.txt c'est juste des indications pour lui, pas des "obligations".
Un article qui peut t'aider : https://www.webrankinfo.com/dossiers/indexation/crawl-respect-robots-txt

🟣 Indexée malgré le blocage par le fichier robots.txt

#1 2020-04-21 09:42:22

Indexée malgré le blocage par le fichier robots.txt

#2 2020-05-04 11:54:00

Re : Indexée malgré le blocage par le fichier robots.txt

Pied de page des forums