Vous n'êtes pas identifié(e).

  • Contributions :
  • Vos boîtes de messages privés sont vides.

🟣 Google explorer notifie des blocages du robots.txt malgré des modifs


#1 2018-09-01 16:01:39

Mention NaonedSEO
🥉 Grade : Scout

Auxiliaire
Lieu : Nantes - Bretagne
Inscription : 2014-12-17
Messages : 31
Likes : 0

Google explorer notifie des blocages du robots.txt malgré des modifs

Bonjour à tous,

J'ai besoin d'un peu d'aide sad

Cela fait pas mal de temps que je n'ai pas mis à jour le fichier robots.txt sur certains de mes vieux wordpress, ce qui devient nécessaire car, meme si les pages sont bien indéxés et rankent, sur "Explorer comme Google" de la V1 on me notifie que l'état " était vu comme "Partiel", notamment car il y avait un blocage du cache, d'images, de css et js.

J'ai donc fais une petite étude de ce qui semble conforme aux normes actuelles. Au final j'ai donc le fichier ci dessous, bcp plus permissif qu'avant.


User-agent: *
Disallow: /wp-login.php

# On empeche l'indexation du DC et Rss
Disallow: */trackback
Disallow: /*/comments
Disallow: /*/feed
Disallow: /*/feed/

# On empeche l'indexation des dossiers sensibles
Disallow: /cgi-bin
Disallow: /*.php$
Disallow: /*.inc$
Disallow: /*.gz
Disallow: /*.cgi

# On autorise Google Image
User-agent: Googlebot-Image
Disallow:

# On autorise Google Adsense
User-agent: Mediapartners-Google
Disallow:

# Liens des sitemaps
Sitemap: http://xxxxxxxxxxxxxx/sitemap_index.xml

J'ai importé celui ci en test sur 2/3 sites WP. Direct j'ai mis à jours le fichiers sur la GWT, puis j'ai fait un test sur la page "Explorer comme Google". Mais ce n'est pas mieux, la page vue par Googlebot est relativement destroy et il semble qu'il y a a toujours des blocages. Ce que je capte pas car je bloque quasiment plus rien sur ce nouveau robots.txt ! D'après vous cela vient de l’exploreur Google V1, il y a des lignes à modifier sur le robotos.txt ou bien sur d'autres sources (j'utilises WP Rocket et des plugins de secu comme iThemes Security   qui interviennent sur le Htacess)

Merci pour votre point de vue car je tourne en boucle smile

Dernière modification par NaonedSEO (2018-09-01 16:07:24)

0
J'aime ❤️

🔴 Hors ligne

Pied de page des forums