Vous n'êtes pas identifié(e).

  • Contributions :
  • Vos boîtes de messages privés sont vides.

🟣 [Liste des bots d'exploration] à bloquer


#21 2016-02-13 17:58:14

Mention Jaffaar
🥇 Grade : Guardian

AdminMembre du Black LaboMembre du CercleOfficierForce PolyvalenteIngénieur webKilluavie1000likesConsomateur de Liens1000 messagesMembre HospitalierPhilantrope
Lieu : Consultant SEO / WEB
Inscription : 2012-06-01
Messages : 8 406
Likes : 1316

Développement PHP
Développement JS
Networking SEO
Social Engineering

Re : [Liste des bots d'exploration] à bloquer

@Alcor thx smile


Comment Ranker ?
Nouveauté : Ninja Web Pro Pack copies limitées !
Ebook : Ninjalinking 2022 (-25% : labo25e)           
Conseils stratégiques ou techniques ? ( Skype : jaffaarbh )

0
J'aime ❤️

🟢 En ligne

#22 2016-02-17 17:21:00

Mention Makmanuss
🥉 Grade : Scout

AuxiliaireStratège
Inscription : 2015-09-04
Messages : 451
Likes : 2

Audit et Analyse
Netlinking
Scraping
Advertising

Re : [Liste des bots d'exploration] à bloquer

durando a écrit :

Ca, c'est top, merci. Lequel correspond à Backlinkwatch ?


@durando Je crois qu'il ne possède pas leur propre crawler selon cette source : hxxp://linksphinx.com/backlink-checker-tools/#backlinkwatch. Donc il doit réutiliser l'un de la liste.

D'ailleurs peut être que cette liste peut venir enrichir celle de @ShutteR mais je n'y crois pas trop (voir pas du tout... lol). Au passage merci pour cette liste wink

@Dukofo @Alcor merci également pour vos partages ! smile

Dernière modification par Makmanuss (2016-02-17 17:22:28)

0
J'aime ❤️

🔴 Hors ligne

#23 2016-02-18 10:13:33

Mention Jerems
🥉 Grade : Scout

AuxiliaireStratège10likes
Lieu : Montpellier Narbonne
Inscription : 2015-08-20
Messages : 239
Likes : 12

Netlinking
Audit et Analyse

Re : [Liste des bots d'exploration] à bloquer

Deja merci pour le partage

Question : Quand tu bloques ces bots, à part par la search console comment on repère des blast qu'un concurrent peut te faire sur ton MS ou un autre de tes sites ?


L'échec est la voie du succès, chaque erreur nous apprend quelque chose.

0
J'aime ❤️

🔴 Hors ligne

#24 2016-02-18 10:28:00

Mention Jaffaar
🥇 Grade : Guardian

AdminMembre du Black LaboMembre du CercleOfficierForce PolyvalenteIngénieur webKilluavie1000likesConsomateur de Liens1000 messagesMembre HospitalierPhilantrope
Lieu : Consultant SEO / WEB
Inscription : 2012-06-01
Messages : 8 406
Likes : 1316

Développement PHP
Développement JS
Networking SEO
Social Engineering

Re : [Liste des bots d'exploration] à bloquer

Jerems a écrit :

Deja merci pour le partage

Question : Quand tu bloques ces bots, à part par la search console comment on repère des blast qu'un concurrent peut te faire sur ton MS ou un autre de tes sites ?

il faut en choisir un que tu ne bloque pas, qui te sert de backdoor smile


Comment Ranker ?
Nouveauté : Ninja Web Pro Pack copies limitées !
Ebook : Ninjalinking 2022 (-25% : labo25e)           
Conseils stratégiques ou techniques ? ( Skype : jaffaarbh )

0
J'aime ❤️

🟢 En ligne

#25 2016-02-18 10:29:42

Mention Jerems
🥉 Grade : Scout

AuxiliaireStratège10likes
Lieu : Montpellier Narbonne
Inscription : 2015-08-20
Messages : 239
Likes : 12

Netlinking
Audit et Analyse

Re : [Liste des bots d'exploration] à bloquer

Merci de ta réponse @Jaffaar


L'échec est la voie du succès, chaque erreur nous apprend quelque chose.

0
J'aime ❤️

🔴 Hors ligne

#26 2016-02-18 12:49:40

Mention Makmanuss
🥉 Grade : Scout

AuxiliaireStratège
Inscription : 2015-09-04
Messages : 451
Likes : 2

Audit et Analyse
Netlinking
Scraping
Advertising

Re : [Liste des bots d'exploration] à bloquer

@Jerems dans la logique, je pense que tu peux que par la GSC ou bien creer des Google alertes pour les voir arriver en temps réel (par rapport à ce que GG découvre) ?

Dernière modification par Makmanuss (2016-02-18 12:51:37)

0
J'aime ❤️

🔴 Hors ligne

#27 2016-02-18 13:09:48

Mention Jerems
🥉 Grade : Scout

AuxiliaireStratège10likes
Lieu : Montpellier Narbonne
Inscription : 2015-08-20
Messages : 239
Likes : 12

Netlinking
Audit et Analyse

Re : [Liste des bots d'exploration] à bloquer

Merci de ta réponse @Makmanuss mais si ils sont deja dans la search consol c'est que Google les a deja pris en compte. En fait j'aurais aimé pouvoir repérer le blast avant GG.

Je vais faire un test de mon coté pour voir ce que ça donne


L'échec est la voie du succès, chaque erreur nous apprend quelque chose.

0
J'aime ❤️

🔴 Hors ligne

#28 2016-02-18 13:15:00

Mention Makmanuss
🥉 Grade : Scout

AuxiliaireStratège
Inscription : 2015-09-04
Messages : 451
Likes : 2

Audit et Analyse
Netlinking
Scraping
Advertising

Re : [Liste des bots d'exploration] à bloquer

@Jerems Oui effectivement ça revient au même.. Si quelqu'un à une solution ou une piste. Elle est la bienvenue !

0
J'aime ❤️

🔴 Hors ligne

#29 2016-02-18 14:16:58

Mention Jerems
🥉 Grade : Scout

AuxiliaireStratège10likes
Lieu : Montpellier Narbonne
Inscription : 2015-08-20
Messages : 239
Likes : 12

Netlinking
Audit et Analyse

Re : [Liste des bots d'exploration] à bloquer

Jaffaar avait répondu

il faut en choisir un que tu ne bloque pas, qui te sert de backdoor


L'échec est la voie du succès, chaque erreur nous apprend quelque chose.

0
J'aime ❤️

🔴 Hors ligne

#30 2016-02-18 14:36:38

Mention Makmanuss
🥉 Grade : Scout

AuxiliaireStratège
Inscription : 2015-09-04
Messages : 451
Likes : 2

Audit et Analyse
Netlinking
Scraping
Advertising

Re : [Liste des bots d'exploration] à bloquer

@Jerems @Jaffaar Ah oui, j'avais pas vu ! Merci pour la réponse

0
J'aime ❤️

🔴 Hors ligne

#31 2016-02-19 09:03:35

Mention durando
🥉 Grade : Scout

Auxiliaire
Inscription : 2015-04-25
Messages : 379
Likes : 6

Audit et Analyse
Html Css

Re : [Liste des bots d'exploration] à bloquer

En complément, on peut via htaccess bloquer la liste de user-agents présente ici : hxxps://perishablepress.com/6g/.
Ca donne :

<IfModule mod_setenvif.c>
  SetEnvIfNoCase User-Agent ([a-z0-9]{2000}) bad_bot
  SetEnvIfNoCase User-Agent (archive.org|binlar|casper|checkpriv|choppy|clshttp|cmsworld|diavol|dotbot|extract|feedfinder|flicky|g00g1e|harvest|heritrix|httrack|kmccrew|loader|miner|nikto|nutch|planetwork|postrank|purebot|pycurl|python|seekerspider|siclab|skygrid|sqlmap|sucker|turnit|vikspider|winhttp|xxxyy|youda|zmeu|zune) bad_bot
  <limit GET POST PUT>
    Order Allow,Deny
    Allow from All
    Deny from env=bad_bot
  </limit>
</IfModule>

Je vous conseille d'ailleurs d'utiliser tout ou partie du htaccess qu'il fournit si vous êtes sous Apache ; ça vient du type qui a conçu le plugin BBQ pour Wordpress, donc on peut considérer qu'il sait de quoi il parle en matière de sécu.

0
J'aime ❤️

🔴 Hors ligne

#32 2016-02-22 19:23:23

Mention Theopat
🥇 Grade : Captain

Membre du Black LaboMembre du CercleOfficierStratège250likes1000 messagesMembre Hospitalier
Lieu : Planète Marseille
Inscription : 2014-09-30
Messages : 1 746
Likes : 294

Stratégie
Sémantique
Netlinking
Networking SEO
Site Web

Re : [Liste des bots d'exploration] à bloquer

Si tu cache tes BL de tes satellites ou 301, vers le money site,  tu as car même la donne TF majestic, Ahrefs de tes Sat !
Donc tu sais plus ou moins ce que tu envois vers le MS.


"Lorsque tu fais quelque chose, sache que tu auras contre toi ceux qui voudraient faire la même chose, ceux qui voulaient le contraire, et l'immense majorité de ceux qui ne voulaient rien faire."

0
J'aime ❤️

🔴 Hors ligne

#33 2016-02-22 21:05:47

Mention J3R
🥉 Grade : Scout

AuxiliaireStratège
Lieu : Pays Basque
Inscription : 2013-04-01
Messages : 462
Likes : 1

Netlinking
Networking SEO
Sémantique
Audit et Analyse

Re : [Liste des bots d'exploration] à bloquer

Merci pour le partage et les explications qui vont avec!

0
J'aime ❤️

🔴 Hors ligne

#34 2016-02-22 21:12:44

Mention Theopat
🥇 Grade : Captain

Membre du Black LaboMembre du CercleOfficierStratège250likes1000 messagesMembre Hospitalier
Lieu : Planète Marseille
Inscription : 2014-09-30
Messages : 1 746
Likes : 294

Stratégie
Sémantique
Netlinking
Networking SEO
Site Web

Re : [Liste des bots d'exploration] à bloquer

Dukofo a écrit :
theopat a écrit :

Si tu cache tes BL de tes satellites ou 301, vers le money site,  tu as car même la donne TF majestic, Ahrefs de tes Sat !
Donc tu sais plus ou moins ce que tu envois vers le MS.

Donc, si j'ai bien compris, tu empêches tous les bots sur ton MS et sur tes satellites ?
Et tu te fie au TF de tes satellites, pour savoir a peu près ce que cela envoi ?

oui tu bloques au niveau de tes sat ou 301 et tu te fie aux résultats TF et Ahrefs de eux pour voir ce que tu envois et le pourcentage des ancres opti ou pas.


"Lorsque tu fais quelque chose, sache que tu auras contre toi ceux qui voudraient faire la même chose, ceux qui voulaient le contraire, et l'immense majorité de ceux qui ne voulaient rien faire."

0
J'aime ❤️

🔴 Hors ligne

#35 2016-02-23 23:27:26

Mention Ryan
🥉 Grade : Scout

Auxiliaire
Inscription : 2015-05-01
Messages : 330
Likes : 1

Re : [Liste des bots d'exploration] à bloquer

@Jerems tu bloques pas sur ton MS mais sur tes Sats qui font des liens à ton MS

0
J'aime ❤️

🔴 Hors ligne

#36 2016-02-24 08:03:54

Mention Jerems
🥉 Grade : Scout

AuxiliaireStratège10likes
Lieu : Montpellier Narbonne
Inscription : 2015-08-20
Messages : 239
Likes : 12

Netlinking
Audit et Analyse

Re : [Liste des bots d'exploration] à bloquer

Merci pour la réponse @Ryan


L'échec est la voie du succès, chaque erreur nous apprend quelque chose.

0
J'aime ❤️

🔴 Hors ligne

Pied de page des forums