Vous n'êtes pas identifié(e).

  • Contributions :
  • Vos boîtes de messages privés sont vides.

Annonce

Participez au Concours Seo 2016 Officiel ! | Faites un bond en avant avec la formation SEO Ranking Skills le 12 Avril 2017

#1 2016-02-07 17:54:55

Mention ShutteR
Soldier
Inscription : 2013-09-08
Messages : 1 114

Networking SEO
Audit et Analyse
Netlinking Auto
Netlinking

[Liste des bots d'exploration] à bloquer

Bonjour à tous,

voici une liste des robots à bloquer sur les sites satellites ou sur des sites pions (intermédiaires entres vos backlinks et vos master sites) pour cacher vos backlinks du grand public smile

AhrefsBot
Alexibot
Aqua_Products
asterias
b2w/0.1
BackDoorBot/1.0
BecomeBot
BlekkoBot
BlowFish/1.0
Bookmark search tool
BotALot
BuiltBotTough
Bullseye/1.0
BunnySlippers
CheeseBot
CherryPicker
Copernic
CopyRightCheck
cosmos
Crescent
Crescent Internet
DittoSpyder
dotbot
dumbot
EmailCollector
EmailSiphon
EmailWolf
Enterprise_Search
EroCrawler
es
exabot
ExtractorPro
FairAd Client
Flaming AttackBot
Foobot
Gaisbot
GetRight/4.2
gigabot
grub
grub-client
Harvest/1.5
Hatena Antenna
hloader
Pubcon
WebmasterWorld
httplib
humanlinks
ia_archiver
InfoNaviRobot
Iron33/1.0.2
JennyBot
Jetbot
Kenjin Spider
Keyword Density/0.9
larbin
LexiBot
libWeb/clsHTTP
LinkextractorPro
LinkScan/8.1a Unix
LinkWalker
LNSpiderguy
looksmart
lwp-trivial
lwp-trivial/1.34
Mata Hari
Microsoft URL Control
MIIxpc
Mister PiX
MJ12bot
moget
MSIECrawler
naver
NetAnts
NetMechanic
NICErsPRO
Nutch
Offline Explorer
Openbot
Openfind
Openfind data gathere
Oracle Ultra Search
PerMan
ProPowerBot/2.14
ProWebWalker
psbot
Python-urllib
QueryN Metasearch
Radiation Retriever 1.1
RepoMonkey
RepoMonkey Bait & Tackle/v1.01
RMA
rogerbot
scooter
searchpreview
Sitebot
SiteSnagger
sootle
SpankBot
spanner
Stanford
Stanford Comp Sci
Stanford CompClub
Stanford CompSciClub
Stanford Spiderboys
suzuran
Szukacz/1.4
Teleport
TeleportPro
Telesoft
Teoma
The Intraformant
TheNomad
toCrawl/UrlDispatcher
True_Robot
turingos
URL Control
URL_Spider_Pro
URLy Warning
VCI
VCI WebViewer VCI WebViewer Win32
Web Image Collector
WebAuto
WebBandit
WebCopier
WebEnhancer
WebmasterWorld Extractor
WebmasterWorldForumBot
WebSauger
Website Quester
Webster Pro
WebStripper
WebVac
WebZip
Wget
WWW-Collector-E
Xenu
Xenu's
Zeus

twitter: @ShutterSeo skype: Blacko.white

Hors ligne

#2 2016-02-07 19:25:13

Mention Dukofo
Soldier
Inscription : 2015-07-21
Messages : 943

Netlinking
Networking SEO

Re : [Liste des bots d'exploration] à bloquer

Merci pour la liste !

Hors ligne

#3 2016-02-07 19:27:24

Mention loic23601
Scout
Inscription : 2014-07-31
Messages : 196

Marketing
Audit et Analyse

Re : [Liste des bots d'exploration] à bloquer

Merci pour le partage.

Hors ligne

#4 2016-02-07 20:34:59

Mention durando
Scout
Inscription : 2015-04-25
Messages : 299

Audit et Analyse
Html Css

Re : [Liste des bots d'exploration] à bloquer

Ca, c'est top, merci. Lequel correspond à Backlinkwatch ?

Hors ligne

#5 2016-02-07 21:12:58

Mention jeromeweb
Soldier
Lieu : pas loin de paris
Inscription : 2014-10-12
Messages : 973

PHP
Automatisation Web

Re : [Liste des bots d'exploration] à bloquer

Merci pour le partage
Moi j'utilise ça : hxxp://rankseo.fr/les-moteurs-recherche/empecher-vol-contenu-sur-votre-site-t2039.html


Blog perso jeromeweb.net - site pro : jerome-pasquelin.fr

Hors ligne

#6 2016-02-08 07:51:31

Mention debutantseo
Scout
Inscription : 2015-03-29
Messages : 528

Netlinking
Rédaction
Comunity Management

Re : [Liste des bots d'exploration] à bloquer

merci par contre esque il ya pas des bot russes a bloquer

Hors ligne

#7 2016-02-08 09:38:57

Mention jeromeweb
Soldier
Lieu : pas loin de paris
Inscription : 2014-10-12
Messages : 973

PHP
Automatisation Web

Re : [Liste des bots d'exploration] à bloquer

durando a écrit :

Ca, c'est top, merci. Lequel correspond à Backlinkwatch ?

Probablement http://www.backlinkwatch.com/


Blog perso jeromeweb.net - site pro : jerome-pasquelin.fr

Hors ligne

#8 2016-02-08 12:24:06

Mention debutantseo
Scout
Inscription : 2015-03-29
Messages : 528

Netlinking
Rédaction
Comunity Management

Re : [Liste des bots d'exploration] à bloquer

merci shutter j'utilise  la méme chose et ça marche

Hors ligne

#9 2016-02-08 12:42:35

Mention salemioche
Scout
Inscription : 2015-10-09
Messages : 247

Adminstration Serveur
PHP
Scraping
Cloaking

Re : [Liste des bots d'exploration] à bloquer

belle liste, j'ai un comportement inverse, plutot que de me taper les exclusions, je ne fais que des inclusions smile


__
Powering Nikozen

Hors ligne

#10 2016-02-08 12:52:03

Mention Jaffaar
Guardian
Lieu : Marseille
Inscription : 2012-06-01
Messages : 4 797

Développement PHP
Développement JS
Networking SEO
Social Engineering
Site Web

Re : [Liste des bots d'exploration] à bloquer

salemioche a écrit :

des inclusions

plusieurs backdoors du coup ?

pour toi ? ou une seule pour toi et une par source de trafic ?

Comment gères tu le trafic imprévu ?


⌕ Tu veux Ranker ?
⏩ Actives le mode automatique avec SEO Quartz
⏩ Découvres l' ebook Architecture SEO
⏩ Trouves la formation SEO Ranking Skills dans Google

En ligne

#11 2016-02-08 15:34:01

Mention Timtam
Scout
Lieu : Bordeaux
Inscription : 2015-09-24
Messages : 230

Netlinking
Audit et Analyse
Site Web

Re : [Liste des bots d'exploration] à bloquer

merci pour cette liste smile


"Deux choses sont infinies, l'univers et la bêtise humaine. Pour l'univers, j'en suis pas sur ..."

Hors ligne

#12 2016-02-08 16:49:52

Mention Walid
Soldier
Inscription : 2013-02-07
Messages : 1 931

Sémantique
Audit et Analyse
Netlinking
PHP

Re : [Liste des bots d'exploration] à bloquer

Shutter je suis déçu t'as oublié le plus important

googlebot

Le seul vrai truc facile si les webmasters se mettaient d'accord pour tuer Google


Fatigué du SEO sans résultats ? Je te propose :

1 => Un vrai Road Map SEO - 2 => Une Optimisation aux petits oignons - 3 => Des Prestations de Trust Linking
Mon Id Skype : walid.gabteni - Mon site : Light On SEO

En ligne

#13 2016-02-08 21:02:46

Mention Ropo
Soldier
Inscription : 2015-09-25
Messages : 671

Netlinking
Advertising
Marketing
Networking SEO

Re : [Liste des bots d'exploration] à bloquer

merci pour la liste Shutter !

Hors ligne

#14 2016-02-08 22:18:42

Mention Dukofo
Soldier
Inscription : 2015-07-21
Messages : 943

Netlinking
Networking SEO

Re : [Liste des bots d'exploration] à bloquer

Petite précision, pourquoi Shutter tu parles dans ce cas là de sites satellites ?
Tu ne m'est pas en place ce genre de système sur tes MS ?
On parle bien d'un blocage par robots.txt ?

Hors ligne

#15 2016-02-08 23:06:58

Mention Walid
Soldier
Inscription : 2013-02-07
Messages : 1 931

Sémantique
Audit et Analyse
Netlinking
PHP

Re : [Liste des bots d'exploration] à bloquer

Dukofo a écrit :

Petite précision, pourquoi Shutter tu parles dans ce cas là de sites satellites ?
Tu ne m'est pas en place ce genre de système sur tes MS ?
On parle bien d'un blocage par robots.txt ?

Dukofo si tu mets ça sur le MS et pas sur les Sats tu ne vas rien cacher du tout. Si je bloque majestic sur mon site, majestic va arrêter de le crawler, par contre il crawlera toujours mes sats et il verra toujours les backlinks qui sortent de mes sats et pointent vers mon MS.


Fatigué du SEO sans résultats ? Je te propose :

1 => Un vrai Road Map SEO - 2 => Une Optimisation aux petits oignons - 3 => Des Prestations de Trust Linking
Mon Id Skype : walid.gabteni - Mon site : Light On SEO

En ligne

#16 2016-02-08 23:09:06

Mention Jaffaar
Guardian
Lieu : Marseille
Inscription : 2012-06-01
Messages : 4 797

Développement PHP
Développement JS
Networking SEO
Social Engineering
Site Web

Re : [Liste des bots d'exploration] à bloquer

Dukofo a écrit :

On parle bien d'un blocage par robots.txt ?

robot ne bloque pas, il informe de tes souhaits ^^

on parle plutôt ici de htaccess je pense smile


⌕ Tu veux Ranker ?
⏩ Actives le mode automatique avec SEO Quartz
⏩ Découvres l' ebook Architecture SEO
⏩ Trouves la formation SEO Ranking Skills dans Google

En ligne

#17 2016-02-08 23:35:53

Mention ShutteR
Soldier
Inscription : 2013-09-08
Messages : 1 114

Networking SEO
Audit et Analyse
Netlinking Auto
Netlinking

Re : [Liste des bots d'exploration] à bloquer

Bigorno et jaffaar ont bien résumé big_smile


twitter: @ShutterSeo skype: Blacko.white

Hors ligne

#18 2016-02-09 09:12:46

Mention Dukofo
Soldier
Inscription : 2015-07-21
Messages : 943

Netlinking
Networking SEO

Re : [Liste des bots d'exploration] à bloquer

Ok, merci de vos précisions !!

Hors ligne

#19 2016-02-10 17:06:19

Mention salemioche
Scout
Inscription : 2015-10-09
Messages : 247

Adminstration Serveur
PHP
Scraping
Cloaking

Re : [Liste des bots d'exploration] à bloquer

Jaffaar a écrit :
salemioche a écrit :

des inclusions

plusieurs backdoors du coup ?

pour toi ? ou une seule pour toi et une par source de trafic ?

Comment gères tu le trafic imprévu ?

Juste une pour moi et une par source souhaitée ( enfin c'est la meme )

je ne gère pas les imprévu en dehors de cas spécifique ou je joue vraiment ( seofall )


__
Powering Nikozen

Hors ligne

#20 2016-02-13 17:41:30

Mention Alcor
Soldier
Inscription : 2012-10-09
Messages : 1 298

Netlinking

Re : [Liste des bots d'exploration] à bloquer

on avait eu une discussion sur le sujet, je crois il y a quelques temps sur le forum et avait abouti en plus du htacess ce robot.txt pour bloquer les crawler en partie, cela fonctionne assez bien

user-agent: AhrefsBot
disallow: /

user-agent: MJ12bot
disallow: /

User-agent: Yandex
Disallow: /

User-agent : YandexBot
Disallow: /

User-agent: UbiCrawler
Disallow: /

User-agent: DOC
Disallow: /

User-agent: Zao
Disallow: /

User-agent: sitecheck.internetseer.com
Disallow: /

User-agent: Zealbot
Disallow: /

User-agent: MSIECrawler
Disallow: /

User-agent: SiteSnagger
Disallow: /

User-agent: WebStripper
Disallow: /

User-agent: WebCopier
Disallow: /

User-agent: Fetch
Disallow: /

User-agent: Offline Explorer
Disallow: /

User-agent: Teleport
Disallow: /

User-agent: TeleportPro
Disallow: /

User-agent: WebZIP
Disallow: /

User-agent: linko
Disallow: /

User-agent: HTTrack
Disallow: /

User-agent: Microsoft.URL.Control
Disallow: /

User-agent: Xenu
Disallow: /

User-agent: larbin
Disallow: /

User-agent: libwww
Disallow: /

User-agent: ZyBORG
Disallow: /

User-agent: Download Ninja
Disallow: /

user-agent: rogerbot
disallow: /

user-agent: spbot
disallow: /

user-agent: Sosospider
disallow: /

user-agent: BacklinkCrawler
disallow: /

user-agent: ia_archiver
disallow: /

user-agent: Ezooms
disallow: /

user-agent: Gigabot
disallow: /

user-agent: findlinks
disallow: /

user-agent: SurveyBot
disallow: /

user-agent: SEOENGBot
disallow: /

user-agent: BPImageWalker
disallow: /

user-agent: bdbrandprotect
disallow: /

user-agent: LinkWalker
disallow: /

user-agent: Updownerbot
disallow: /

user-agent: HTTrack
disallow: /

user-agent: AppEngine-Google
disallow: /


#
 


Easy Peasy Lemon Squeezy

Hors ligne

#21 2016-02-13 17:58:14

Mention Jaffaar
Guardian
Lieu : Marseille
Inscription : 2012-06-01
Messages : 4 797

Développement PHP
Développement JS
Networking SEO
Social Engineering
Site Web

Re : [Liste des bots d'exploration] à bloquer

@Alcor thx smile


⌕ Tu veux Ranker ?
⏩ Actives le mode automatique avec SEO Quartz
⏩ Découvres l' ebook Architecture SEO
⏩ Trouves la formation SEO Ranking Skills dans Google

En ligne

#22 2016-02-17 15:30:28

Mention Dukofo
Soldier
Inscription : 2015-07-21
Messages : 943

Netlinking
Networking SEO

Re : [Liste des bots d'exploration] à bloquer

Pour résumer en reprenant la liste de @Shutter, votre HtAccess ressemble à ça ?
Ici c'est le cas d'un Wordpress, est ce qu'il y a un problème avec le fait qu'il y a la présence de 2 fois RewriteEngine On ?

<IfModule mod_rewrite.c>
RewriteEngine On
RewriteBase /
RewriteRule ^index\.php$ - [L]
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule . /index.php [L]
</IfModule>

# BOTS SEO
RewriteEngine On
RewriteBase /

RewriteCond %{HTTP_USER_AGENT} ^(AhrefsBot|Alexibot|Aqua_Products|asterias|b2w/0.1|BackDoorBot/1.0|BecomeBot) [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^(BlekkoBot|BlowFish/1.0)|Bookmark search tool|BotALot|BuiltBotTough) [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^(Bullseye/1.0|BunnySlippers|CheeseBot|CherryPicker|Copernic|Crescent Crescent Internet) [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^(DittoSpyder|dotbot|dumbot|EmailCollector|EmailSiphon|EmailWolf|Enterprise_Search) [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^(EroCrawler|es|exabot|ExtractorPro|FairAd Client|Flaming AttackBot|Foobot|Gaisbot) [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^(GetRight/4.2|gigabot|grub|grub-client|Harvest/1.5|Hatena Antenna|hloader|Pubcon) [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^(Pubcon|WebmasterWorld|httplib|humanlinks|ia_archiver|InfoNaviRobot|Iron33/1.0.2) [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^(JennyBot|Jetbot|Kenjin Spider|Keyword Density/0.9|larbin|LexiBot|libWeb/clsHTTP) [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^(LinkextractorPro|LinkScan/8.1a Unix|LinkWalker|LNSpiderguy|looksmart|lwp-trivial) [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^(1.34|Mata Hari|Microsoft URL Control|MIIxpc|Mister PiX|MJ12bot|moget|MSIECrawler) [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^(naver|NetAnts|NetMechanic|NICErsPRO|Nutch|Offline Explorer|Openbot|Openfind) [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^(Openfind data gathere|Oracle Ultra Search|PerMan|ProPowerBot/2.14|ProWebWalker|psbot) [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^(Python-urllib|QueryN Metasearch|Radiation Retriever 1.1|RepoMonkey) [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^(RepoMonkey Bait & Tackle/v1.01|RMA|rogerbot|scooter|searchpreview|Sitebot|SiteSnagger) [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^(sootle|SpankBot|spanner|Stanford|Stanford Comp Sci|Stanford CompClub) [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^(Stanford CompSciClub|Stanford Spiderboys|suzuran|Szukacz/1.4|Teleport|TeleportPro) [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^(Telesoft|Teoma|The Intraformant|TheNomad|toCrawl/UrlDispatcher|True_Robot|turingos) [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^(URL Control|URL_Spider_Pro|URLy Warning|VCI|VCI WebViewer VCI WebViewer Win32) [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^(Web Image Collector|WebAuto|WebBandit|WebCopier|WebEnhancer|WebmasterWorld Extractor) [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^(WebmasterWorldForumBot|WebSauger|Website Quester|Webster Pro|WebStripper|WebVac) [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^(WebZip|Wget|WWW-Collector-E|Xenu|Xenu's|Zeus) [NC,OR]

RewriteRule . - [F,L]

Hors ligne

#23 2016-02-17 17:21:00

Mention Makmanuss
Scout
Inscription : 2015-09-04
Messages : 286

Re : [Liste des bots d'exploration] à bloquer

durando a écrit :

Ca, c'est top, merci. Lequel correspond à Backlinkwatch ?


@durando Je crois qu'il ne possède pas leur propre crawler selon cette source : hxxp://linksphinx.com/backlink-checker-tools/#backlinkwatch. Donc il doit réutiliser l'un de la liste.

D'ailleurs peut être que cette liste peut venir enrichir celle de @ShutteR mais je n'y crois pas trop (voir pas du tout... lol). Au passage merci pour cette liste wink

@Dukofo @Alcor merci également pour vos partages ! smile

Dernière modification par Makmanuss (2016-02-17 17:22:28)

Hors ligne

#24 2016-02-17 18:08:45

Mention Dukofo
Soldier
Inscription : 2015-07-21
Messages : 943

Netlinking
Networking SEO

Re : [Liste des bots d'exploration] à bloquer

Je n'ai fais que reprendre la liste de @Shutter, mais je voulais m'assurer que c'était bien de cette façon qu'il fallait procéder ?

Hors ligne

#25 2016-02-18 10:13:33

Mention Jerems
Scout
Inscription : 2015-08-20
Messages : 164

Netlinking
Audit et Analyse

Re : [Liste des bots d'exploration] à bloquer

Deja merci pour le partage

Question : Quand tu bloques ces bots, à part par la search console comment on repère des blast qu'un concurrent peut te faire sur ton MS ou un autre de tes sites ?


L'échec est la voie du succès, chaque erreur nous apprend quelque chose.

Hors ligne

Pied de page des forums