Duplicate content / canonical / robots.txt
#1 2017-07-27 08:49:14 · robots, canonical, google, crawler, crawl
- Mention tartpion
- ♟️ Recruit10 ansPilierClinicienAccueillant
Re : Duplicate content / canonical / robots.txt
Salut,
Dans la pure théorie, tu n'as pas besoin de le faire, c'est le principe même d'une canonical, mais en vérité google alloue des ressources limitées à chaque site internet et donc moins il a de page a crawler mieux c'est pour ton site.
Je l'ai vérifié avec de l'analyse de log et j'ai remarqué que en bloquant avec robots.txt plutot que noindex (oui moi je me prend pas le choux) ben le robot augmente sa fréquence de crawl / page
fais le test et bloque avec robots.txt tu verras tout de suite la différence
Dernière modification par tartpion (2017-07-27 08:50:34)
🔴 Hors ligne
#2 2017-07-27 10:28:42 · robots, canonical, crawl, maillage, produit
- Mention AhmedSEO
- ♟️ RecruitForce polyvalente7 ansAutomate IIPilierClinicienStratègeIngénieur web
- Scraping et extraction Netlinking Contenu assisté par IA PHP
Re : Duplicate content / canonical / robots.txt
Salut @ADNxtc,
Je te déconseille fortement de bloquer au robots.txt dans ton cas, tu vas te retrouver avec au moins 50% d'urls bloquées dans ton maillage, ce qui est mauvais pour ton seo. Et les robots ne verront pas non plus tes canonical sur ces pages dupliquées.
La canonical est une solution. Quant à la perte de crawl, les robots réduiront de toute manière le crawl sur ces urls dupliquées grâce à la canonical. Une autre solution serait de gérer les variantes d'un même produit via des fragment dans les urls : /produit1#taille-m , /produit1#taille-s etc
Le blocage via robots.txt est pertinent dans d'autres cas, comme dit par tartpion, on a pas de perte
🔴 Hors ligne
#3 2017-07-27 13:01:36 · canonical, crawl
- Mention xcepty
- 🥉 ScoutForce polyvalente10 ansIngénieur web IIPilier IIClinicienAccueillant IIStratègeBusiness man
- Audit et analyse Intégration HTML/CSS Stratégie marketing PHP
Re : Duplicate content / canonical / robots.txt
Pour confirmer ce qui est dit avant également. En plus de casser le crawl, tu donnes une image claire au moteur du type : J'ai 200 pages mais seulement 50 sont pertinentes. Une canonical peut faire l'affaire, le fragment est idéal.
skype : blaise.clement
🔴 Hors ligne