Parser robots.txt de Google : noindex était un fake

NicolasWeb · #1 2019-07-02 09:56:02 · noindex, disalow

Google vient de publier le code source de son parser de fichier robots.txt : hxxps://opensource.googleblog.com/2019/07/googles-robotstxt-parser-is-now-open.html

On peut donc le réutiliser pour s'assurer que nos fichiers robots.txt fonctionnent, mais surtout y trouver quelques règles qu'ils prennent en compte.

Le code est là : hxxps://github.com/google/robotstxt

Trucs marrants :
"disalow" fonctionne
"diasllow" aussi

source : hxxps://github.com/google/robotstxt/search?q=disalow&unscoped_q=disalow

Par contre, et c'est peut-être un "scoop", je ne trouve pas de directive "noindex" !
Donc ce genre de chose hxxp://robots-txt.com/ressources/robots-txt-noindex/ ne fonctionne pas au niveau du parser.

Il faut bien faire des "noindex" sur les pages et pas dans robots.txt pour être sûr à 100% de son coup.

Dernière modification par NicolasWeb (2019-07-02 09:57:04)

senseo · #2 2019-07-03 23:09:08

Merci pour ce retour, grâce à ta confirmation ça nous évitera de nous faire indexer notre petit jardin secret SEO

s2prod · #3 2019-08-03 06:20:47

@NicolasWeb en même temps, faut bien avouer que d'annoncer à tous : Surtout n'allez pas voir ce répertoire, c'était déjà une démarche un peu bizarre.

Sinon le coup du disalow, disallow, diasllow... Que faut il en déduire, y a des dyslexiques chez les webmasters ??

Parser robots.txt de Google : noindex était un fake

#1 2019-07-02 09:56:02 · noindex, disalow

Parser robots.txt de Google : noindex était un fake

#2 2019-07-03 23:09:08

Re : Parser robots.txt de Google : noindex était un fake

#3 2019-08-03 06:20:47

Re : Parser robots.txt de Google : noindex était un fake

Pied de page des forums