Vous n'êtes pas identifié(e).

  • Contributions :
  • Vos boîtes de messages privés sont vides.

Annonce

Faites un bond en avant avec la formation SEO Ranking Skills le 20 Septembre 2017

#26 2016-02-18 10:28:00

Mention Jaffaar
Guardian
Lieu : Marseille
Inscription : 2012-06-01
Messages : 4 964

Développement PHP
Développement JS
Networking SEO
Social Engineering
Site Web

Re : [Liste des bots d'exploration] à bloquer

Jerems a écrit :

Deja merci pour le partage

Question : Quand tu bloques ces bots, à part par la search console comment on repère des blast qu'un concurrent peut te faire sur ton MS ou un autre de tes sites ?

il faut en choisir un que tu ne bloque pas, qui te sert de backdoor smile


⌕ Tu veux Ranker ?
⏩ Appliques l'ebook Architecture SEO
⏩ Actives le mode automatique avec SEO Quartz
⏩ Trouves la formation SEO Ranking Skills dans Google

Hors ligne

#27 2016-02-18 10:29:42

Mention Jerems
Scout
Inscription : 2015-08-20
Messages : 165

Netlinking
Audit et Analyse

Re : [Liste des bots d'exploration] à bloquer

Merci de ta réponse @Jaffaar


L'échec est la voie du succès, chaque erreur nous apprend quelque chose.

Hors ligne

#28 2016-02-18 12:49:40

Mention Makmanuss
Scout
Inscription : 2015-09-04
Messages : 289

Re : [Liste des bots d'exploration] à bloquer

@Jerems dans la logique, je pense que tu peux que par la GSC ou bien creer des Google alertes pour les voir arriver en temps réel (par rapport à ce que GG découvre) ?

Dernière modification par Makmanuss (2016-02-18 12:51:37)

Hors ligne

#29 2016-02-18 13:09:48

Mention Jerems
Scout
Inscription : 2015-08-20
Messages : 165

Netlinking
Audit et Analyse

Re : [Liste des bots d'exploration] à bloquer

Merci de ta réponse @Makmanuss mais si ils sont deja dans la search consol c'est que Google les a deja pris en compte. En fait j'aurais aimé pouvoir repérer le blast avant GG.

Je vais faire un test de mon coté pour voir ce que ça donne


L'échec est la voie du succès, chaque erreur nous apprend quelque chose.

Hors ligne

#30 2016-02-18 13:15:00

Mention Makmanuss
Scout
Inscription : 2015-09-04
Messages : 289

Re : [Liste des bots d'exploration] à bloquer

@Jerems Oui effectivement ça revient au même.. Si quelqu'un à une solution ou une piste. Elle est la bienvenue !

Hors ligne

#31 2016-02-18 14:16:58

Mention Jerems
Scout
Inscription : 2015-08-20
Messages : 165

Netlinking
Audit et Analyse

Re : [Liste des bots d'exploration] à bloquer

Jaffaar avait répondu

il faut en choisir un que tu ne bloque pas, qui te sert de backdoor


L'échec est la voie du succès, chaque erreur nous apprend quelque chose.

Hors ligne

#32 2016-02-18 14:36:38

Mention Makmanuss
Scout
Inscription : 2015-09-04
Messages : 289

Re : [Liste des bots d'exploration] à bloquer

@Jerems @Jaffaar Ah oui, j'avais pas vu ! Merci pour la réponse

Hors ligne

#33 2016-02-19 09:03:35

Mention durando
Scout
Inscription : 2015-04-25
Messages : 303

Audit et Analyse
Html Css

Re : [Liste des bots d'exploration] à bloquer

En complément, on peut via htaccess bloquer la liste de user-agents présente ici : hxxps://perishablepress.com/6g/.
Ca donne :

<IfModule mod_setenvif.c>
  SetEnvIfNoCase User-Agent ([a-z0-9]{2000}) bad_bot
  SetEnvIfNoCase User-Agent (archive.org|binlar|casper|checkpriv|choppy|clshttp|cmsworld|diavol|dotbot|extract|feedfinder|flicky|g00g1e|harvest|heritrix|httrack|kmccrew|loader|miner|nikto|nutch|planetwork|postrank|purebot|pycurl|python|seekerspider|siclab|skygrid|sqlmap|sucker|turnit|vikspider|winhttp|xxxyy|youda|zmeu|zune) bad_bot
  <limit GET POST PUT>
    Order Allow,Deny
    Allow from All
    Deny from env=bad_bot
  </limit>
</IfModule>

Je vous conseille d'ailleurs d'utiliser tout ou partie du htaccess qu'il fournit si vous êtes sous Apache ; ça vient du type qui a conçu le plugin BBQ pour Wordpress, donc on peut considérer qu'il sait de quoi il parle en matière de sécu.

En ligne

#34 2016-02-22 19:05:09

Mention Dukofo
Soldier
Inscription : 2015-07-21
Messages : 1 004

Netlinking
Networking SEO

Re : [Liste des bots d'exploration] à bloquer

Jaffaar a écrit :
Jerems a écrit :

Deja merci pour le partage

Question : Quand tu bloques ces bots, à part par la search console comment on repère des blast qu'un concurrent peut te faire sur ton MS ou un autre de tes sites ?

il faut en choisir un que tu ne bloque pas, qui te sert de backdoor smile

Pour revenir à cette notion de backdoor, le problème est que si tu veut avoir une propre vue sur tes backlinks, sauf si tu compte les dénombré à la main/fichier excel, il faut laisser une backdoor.

Ce problème de backdoor est quand même très embêtant, aujourd'hui il y a pas beaucoup de possibilité, soit tu laisse MOZ, soit Majestic soit Ahrefs.
Ce sont vraiment les seuls qui donnent une notation de ton domaine.
Et comme il est très difficile de se passer de la notion de TF, la backdoor c'est forcément Majestic ?

Marchez vous au feeling/à l'aveugle sur certains de vos satellites, histoire de tout cacher ?

J'ai réfléchis un peu mais je ne trouve pas de solution convenable.

Hors ligne

#35 2016-02-22 19:23:23

Mention theopat
Soldier
Lieu : Planète Marseille
Inscription : 2014-09-30
Messages : 875

Audit et Analyse
Netlinking
Networking SEO
Rédaction
Site Web

Re : [Liste des bots d'exploration] à bloquer

Si tu cache tes BL de tes satellites ou 301, vers le money site,  tu as car même la donne TF majestic, Ahrefs de tes Sat !
Donc tu sais plus ou moins ce que tu envois vers le MS.


"Lorsque tu fais quelque chose, sache que tu auras contre toi ceux qui voudraient faire la même chose, ceux qui voulaient le contraire, et l'immense majorité de ceux qui ne voulaient rien faire."

Hors ligne

#36 2016-02-22 20:57:04

Mention Dukofo
Soldier
Inscription : 2015-07-21
Messages : 1 004

Netlinking
Networking SEO

Re : [Liste des bots d'exploration] à bloquer

theopat a écrit :

Si tu cache tes BL de tes satellites ou 301, vers le money site,  tu as car même la donne TF majestic, Ahrefs de tes Sat !
Donc tu sais plus ou moins ce que tu envois vers le MS.

Donc, si j'ai bien compris, tu empêches tous les bots sur ton MS et sur tes satellites ?
Et tu te fie au TF de tes satellites, pour savoir a peu près ce que cela envoi ?

Hors ligne

#37 2016-02-22 21:05:47

Mention J3R
Soldier
Lieu : Pays Basque
Inscription : 2013-04-01
Messages : 459

Netlinking
Networking SEO
Sémantique
Audit et Analyse

Re : [Liste des bots d'exploration] à bloquer

Merci pour le partage et les explications qui vont avec!

Hors ligne

#38 2016-02-22 21:12:44

Mention theopat
Soldier
Lieu : Planète Marseille
Inscription : 2014-09-30
Messages : 875

Audit et Analyse
Netlinking
Networking SEO
Rédaction
Site Web

Re : [Liste des bots d'exploration] à bloquer

Dukofo a écrit :
theopat a écrit :

Si tu cache tes BL de tes satellites ou 301, vers le money site,  tu as car même la donne TF majestic, Ahrefs de tes Sat !
Donc tu sais plus ou moins ce que tu envois vers le MS.

Donc, si j'ai bien compris, tu empêches tous les bots sur ton MS et sur tes satellites ?
Et tu te fie au TF de tes satellites, pour savoir a peu près ce que cela envoi ?

oui tu bloques au niveau de tes sat ou 301 et tu te fie aux résultats TF et Ahrefs de eux pour voir ce que tu envois et le pourcentage des ancres opti ou pas.


"Lorsque tu fais quelque chose, sache que tu auras contre toi ceux qui voudraient faire la même chose, ceux qui voulaient le contraire, et l'immense majorité de ceux qui ne voulaient rien faire."

Hors ligne

#39 2016-02-23 23:27:26

Mention Ryan
Scout
Inscription : 2015-05-01
Messages : 328

Re : [Liste des bots d'exploration] à bloquer

@Jerems tu bloques pas sur ton MS mais sur tes Sats qui font des liens à ton MS

Hors ligne

#40 2016-02-24 08:03:54

Mention Jerems
Scout
Inscription : 2015-08-20
Messages : 165

Netlinking
Audit et Analyse

Re : [Liste des bots d'exploration] à bloquer

Merci pour la réponse @Ryan


L'échec est la voie du succès, chaque erreur nous apprend quelque chose.

Hors ligne

#41 2016-05-03 08:25:50

Mention Dukofo
Soldier
Inscription : 2015-07-21
Messages : 1 004

Netlinking
Networking SEO

Re : [Liste des bots d'exploration] à bloquer

Un petit dernier que je n'ai pas vu dans le liste, celui de SEO Spyglass.
Blexbot à voir ici hxxp://webmeup-crawler.com/

Hors ligne

Pied de page des forums