Vous n'êtes pas identifié(e).

  • Contributions :
  • Vos boîtes de messages privés sont vides.

🟣 Parser robots.txt de Google : noindex était un fake


#1 2019-07-02 08:56:02

Mention NicolasWeb
🥈 Grade : Soldier

Membre du CercleOfficierStratège50likes
Lieu : Besançon (France)
Inscription : 2015-09-30
Messages : 946
Likes : 79

Rédaction
Sémantique
Site Web

Parser robots.txt de Google : noindex était un fake

Google vient de publier le code source de son parser de fichier robots.txt : hxxps://opensource.googleblog.com/2019/07/googles-robotstxt-parser-is-now-open.html

On peut donc le réutiliser pour s'assurer que nos fichiers robots.txt fonctionnent, mais surtout y trouver quelques règles qu'ils prennent en compte.

Le code est là : hxxps://github.com/google/robotstxt

Trucs marrants :
"disalow" fonctionne
"diasllow" aussi lol

source : hxxps://github.com/google/robotstxt/search?q=disalow&unscoped_q=disalow

Par contre, et c'est peut-être un "scoop", je ne trouve pas de directive "noindex" !
Donc ce genre de chose hxxp://robots-txt.com/ressources/robots-txt-noindex/ ne fonctionne pas au niveau du parser.

Il faut bien faire des "noindex" sur les pages et pas dans robots.txt pour être sûr à 100% de son coup.

giphy.gif

Dernière modification par NicolasWeb (2019-07-02 08:57:04)

1
J'aime ❤️

🔴 Hors ligne

#2 2019-07-03 22:09:08

Mention senseo
🥉 Grade : Scout

AuxiliaireStratège
Inscription : 2013-12-25
Messages : 307
Likes : 3

Marketing
Sémantique
Netlinking
Networking SEO

Re : Parser robots.txt de Google : noindex était un fake

Merci pour ce retour, grâce à ta confirmation ça nous évitera de nous faire indexer notre petit jardin secret SEO big_smile


Faire plus avec moins en utilisant mes outils préférés :::> The show must go on

0
J'aime ❤️

🔴 Hors ligne

#3 2019-08-03 05:20:47

Mention s2prod
🥈 Grade : Soldier

Membre du CercleOfficierForce PolyvalenteIngénieur web100likesMembre HospitalierPhilantrope
Inscription : 2015-10-15
Messages : 606
Likes : 183

intégration Html Css
Développement JS
Scraping
Social Engineering

Re : Parser robots.txt de Google : noindex était un fake

@NicolasWeb en même temps, faut bien avouer que d'annoncer à tous : Surtout n'allez pas voir ce répertoire, c'était déjà une démarche un peu bizarre.

Sinon le coup du disalow, disallow, diasllow... lol Que faut il en déduire, y a des dyslexiques chez les webmasters ??


Rejoignez-moi sur : PBNPremium > ZennoPoster > PlanetHoster > Appsumo
Soyez réalistes : Demandez l'impossible !
Ⓢ②ⓅⓇⓄⒹ

1
J'aime ❤️

🔴 Hors ligne

Pied de page des forums