Indexée malgré le blocage par le fichier robots.txt

darkos11 · #1 2020-04-21 10:42:22 · backlinks, indexation, indexée

Bonjour,

Récemment, j'ai récupéré un ndd en vérifiant rapidement backlinks (ras) et quelques snapshots archives. Apres une semaine d'indexation Des pages asics, chassure … :'( commencent à surgir dans l'index avec la mention "Indexée malgré le blocage par le fichier robots.txt".

Pas de liens internes ou backlinks qui pointent vers ces pages.

Pour le moment, je demande la suppression des pages mais fort probable elles vont être indexées de nouveau.

Existe t'il une solution radicale ? Serait t'il judicieux de travailler sur un ndd avec ce type d'historique ( dans mon cas le site commence à bouger)?

Anna31 · #2 2020-05-04 12:54:00 · indexer

Hello, est-ce que tu as moyen de nous faire un screen du robots.txt ?
Si tu as une indication "noindex:" + "Disallow :" sur les pages en question, Google ne peut pas voir que tu lui demander de ne pas indexer la page.

Parfois Google en fait un peu à sa tête Le robots.txt c'est juste des indications pour lui, pas des "obligations".
Un article qui peut t'aider : https://www.webrankinfo.com/dossiers/indexation/crawl-respect-robots-txt

Indexée malgré le blocage par le fichier robots.txt

#1 2020-04-21 10:42:22 · backlinks, indexation, indexée

Indexée malgré le blocage par le fichier robots.txt

#2 2020-05-04 12:54:00 · indexer

Re : Indexée malgré le blocage par le fichier robots.txt

Pied de page des forums