désindexation

clémentforestier · #1 2022-03-03 08:31:08 · désindexation, crawl, sitemap, indexées, viennent

hello tout le monde,

étant débutant j'ai une petite question sur la désindexation. J'ai pas mal de pages qui sont indexées sur la search console que je n'envoie pas vite le sitemap et je sais pas forcément d'où elles viennent. J'ai lancé un crawl sur screaming frog en cherchant les inlinks et souvent rien ne ressort. A mon avis ce sont des pages qui étaient indexées avant mais qui n'ont aucun mapping interne.

D'où ma question, déjà comment désindexer ces pages? Selon vous sur le robot.txt ? J'ai mis sur la search mais c'est valable que 90 jours sauf erreur et ça n'empêche pas le crawl.

Donc je voulais savoir quelle était la meilleure façon de virer toutes ces pages et si vous avez une meilleure technique pour retrouver d'om elles viennent car pour l'instant je les trouve pas.

MERci à tous!

chn16000 · #2 2022-03-03 08:53:38

Les passer en 410 dans ton htacess.

clémentforestier · #3 2022-03-03 08:59:44

chn16000 a écrit :

Les passer en 410 dans ton htacess.

c'est mieux d'utiliser cette solution que le robot.txt? Tu arriverais à me dire pourquoi?

chn16000 · #4 2022-03-03 15:20:46

Parce que c'est la bonne pratique

Anna31 · #5 2022-03-08 14:17:37 · robots, google, noindex

En fait les indications de Noindex dans le robots.txt ne sont plus trop pris en compte par Google. Si tu as quelques pages à désindexer, tu peux mettre un noindex dans le head des pages en question (mais dans ce cas c'est peut-être mieux de mettre des 410 en effet).
Après, est-ce que les pages dont tu parles ont un "?" dans l'url ? C'est peut-être des urls à paramètre qui s'indexent (ca peut arriver quand on a un moteur de recherche interne sur le site). Tu as un exemple ?

clémentforestier · #6 2022-03-16 18:28:28 · redirections, crawl

Salut Anna,

merci de ta réponse, alors j'ai regardé j'ai déjà les pages avec redirections. Normalement je les ai toutes enlevées du site donc normalement elles devraient plus apparaître sur la search console (ça fait quand même un moment).

Donc selon toi est-ce que je devrais lancer un crawl et checker s'il y a encore des inlinks, si j'en trouve pas les mettre en 410? exemple: https://1001coffres.com/Marques/14-coffres-forts-technomax

j'ai des anciennes pages produits qu'on utilisait pour faire des devis et qu'on supprime après mais qui donc ne sont mappées nulle part et sortent maintenant en 404:

exemple: https://1001coffres.com/accueil/5465-frais-de-fixation-.html

ce genre de choses.

Tu en penses quoi?

Merci beaucoup!

Anna31 · #7 2022-03-23 16:05:22 · robots, index, php, crawl, disallow

Hello Clément,
alors pour le cas de la première url, elle a bien une 301 vers une nouvelle page cohérente (au vu de l'url : https://1001coffres.com/Marques/14-coffres-forts-technomax vers https://1001coffres.com/Marques/14-technomax) et elle n'est plus indexée. Du coup pour moi tu peux la laisser comme ca.

Pour les pages générées pour faire des devis, je te conseille de les bloquer dans ton robots.txt (disallow) pour ne pas qu'elles s'indexent.

Egalement, tu as pas mal d'urls indexées avec /index.php?controller= (tu peux les voir ici :https://www.google.com/search?q=site%3Ahttps%3A%2F%2F1001coffres.com%2Findex.php%3Fcontroller%3D&rlz=1C1GCEA_enFR978FR979&ei=rjQ7YtemCquYlwS-tqrQAw&ved=0ahUKEwjXtdrEvtz2AhUrzIUKHT6bCjoQ4dUDCA4&uact=5&oq=site%3Ahttps%3A%2F%2F1001coffres.com%2Findex.php%3Fcontroller%3D&gs_lcp=Cgdnd3Mtd2l6EANKBAhBGAFKBAhGGABQ9gtY9gtgyw1oAXAAeACAAWGIAWGSAQExmAEAoAEBwAEB&sclient=gws-wiz&sclient=gws-wiz)

Je vois que tu as mis des indications dans ton robots.txt pour bloquer le crawl sur ce type d'url en précisent à chaque fois les terminaisons. (ex :Disallow: /*controller=addresses Disallow: /*controller=authentication
Disallow: /*controller=cart....)
Tu peux juste indiquer : Disallow: /*controller=
Et ca bloquera toutes les urls qui contiennent ces indications (dont les urls "attachement")

Est-ce que je répond bien à tes questions ?

clémentforestier · #8 2022-03-29 08:19:28 · lien

Hello anna,

alors déjà merci beaucoup du temps que tu as pris pour me répondre c'ets vraiment super cool!

Pour les devis t'as raison, je vais voir avec mon dev pour faire une sorte d extension des pages devis par exemple: devis/fraisdinstallation et disallow toutes ces pages dans le robot.txt. merci super bonne idée! Comme ça même s ils font plein de pages et oublient de les noindex je suis tranquille.

pour les pages controller, parfois il y a des pdf (qui sont des duplicates de maniere generale car ce sont les fiches produits de mes fournisseurs), donc tu penses qu il faut les desindexer dans tous les cas?

pour la 301, oui je comprends que ce n'est pas très grave mais j en ai quand même pas mal. du coup j aurais carrément aimé virer la page d origine qui contient encore ce lien. Mon souci est que je la retrouve pas du tout. Du coup j ai quelques centaines de 301 qui trainent et que j arrive pas nettoyer. c est ça mon souci et je sais pas comment faire.

Bonne journée !!

Anna31 a écrit :

Hello Clément,
alors pour le cas de la première url, elle a bien une 301 vers une nouvelle page cohérente (au vu de l'url : https://1001coffres.com/Marques/14-coffres-forts-technomax vers https://1001coffres.com/Marques/14-technomax) et elle n'est plus indexée. Du coup pour moi tu peux la laisser comme ca.
Pour les pages générées pour faire des devis, je te conseille de les bloquer dans ton robots.txt (disallow) pour ne pas qu'elles s'indexent.

Egalement, tu as pas mal d'urls indexées avec /index.php?controller= (tu peux les voir ici :https://www.google.com/search?q=site%3Ahttps%3A%2F%2F1001coffres.com%2Findex.php%3Fcontroller%3D&rlz=1C1GCEA_enFR978FR979&ei=rjQ7YtemCquYlwS-tqrQAw&ved=0ahUKEwjXtdrEvtz2AhUrzIUKHT6bCjoQ4dUDCA4&uact=5&oq=site%3Ahttps%3A%2F%2F1001coffres.com%2Findex.php%3Fcontroller%3D&gs_lcp=Cgdnd3Mtd2l6EANKBAhBGAFKBAhGGABQ9gtY9gtgyw1oAXAAeACAAWGIAWGSAQExmAEAoAEBwAEB&sclient=gws-wiz&sclient=gws-wiz)
Je vois que tu as mis des indications dans ton robots.txt pour bloquer le crawl sur ce type d'url en précisent à chaque fois les terminaisons. (ex :Disallow: /*controller=addresses Disallow: /*controller=authentication
Disallow: /*controller=cart....)
Tu peux juste indiquer : Disallow: /*controller=
Et ca bloquera toutes les urls qui contiennent ces indications (dont les urls "attachement")

Est-ce que je répond bien à tes questions ?

Anna31 · #9 2022-03-31 13:07:15 · lien, ancre, redirection, audit, utiliser

Hello Clément, avec plaisir j'espère que ca t'aide
Alors pour identifier la page qui fait un lien vers une page avec redirection tu peux :
- utiliser ahrefs (il y a une version gratuite) > fonction "site audit". L'outil va te lister les différentes "erreurs" qu'il visualise. Tu devrais retrouver la mention "Page has links to redirect" dans "warning". Pour chaque url, tu vas avoir la page d'origine avec l'ancre (avec un petit ctrl+F tu pourras voir le lien et le supprimer)

- utiliser screaming frog si tu as. Un petit scan > filtre sur les 301 > cliquer en bas sur "liens entrants" et idem, tu as l'url + l'ancre

Bonne journée !

désindexation

#1 2022-03-03 08:31:08 · désindexation, crawl, sitemap, indexées, viennent

désindexation

#2 2022-03-03 08:53:38

Re : désindexation

#3 2022-03-03 08:59:44

Re : désindexation

#4 2022-03-03 15:20:46

Re : désindexation

#5 2022-03-08 14:17:37 · robots, google, noindex

Re : désindexation

#6 2022-03-16 18:28:28 · redirections, crawl

Re : désindexation

#7 2022-03-23 16:05:22 · robots, index, php, crawl, disallow

Re : désindexation

#8 2022-03-29 08:19:28 · lien

Re : désindexation

#9 2022-03-31 13:07:15 · lien, ancre, redirection, audit, utiliser

Re : désindexation

Pied de page des forums