[Liste des bots d'exploration] à bloquer

ShutteR · #1 2016-02-07 17:54:55

Bonjour à tous,

voici une liste des robots à bloquer sur les sites satellites ou sur des sites pions (intermédiaires entres vos backlinks et vos master sites) pour cacher vos backlinks du grand public

AhrefsBot

Alexibot

Aqua_Products

asterias

b2w/0.1

BackDoorBot/1.0

BecomeBot

BlekkoBot

BlowFish/1.0

Bookmark search tool

BotALot

BuiltBotTough

Bullseye/1.0

BunnySlippers

CheeseBot

CherryPicker

Copernic

CopyRightCheck

cosmos

Crescent

Crescent Internet

DittoSpyder

dotbot

dumbot

EmailCollector

EmailSiphon

EmailWolf

Enterprise_Search

EroCrawler

es

exabot

ExtractorPro

FairAd Client

Flaming AttackBot

Foobot

Gaisbot

GetRight/4.2

gigabot

grub

grub-client

Harvest/1.5

Hatena Antenna

hloader

Pubcon

WebmasterWorld

httplib

humanlinks

ia_archiver

InfoNaviRobot

Iron33/1.0.2

JennyBot

Jetbot

Kenjin Spider

Keyword Density/0.9

larbin

LexiBot

libWeb/clsHTTP

LinkextractorPro

LinkScan/8.1a Unix

LinkWalker

LNSpiderguy

looksmart

lwp-trivial

lwp-trivial/1.34

Mata Hari

Microsoft URL Control

MIIxpc

Mister PiX

MJ12bot

moget

MSIECrawler

naver

NetAnts

NetMechanic

NICErsPRO

Nutch

Offline Explorer

Openbot

Openfind

Openfind data gathere

Oracle Ultra Search

PerMan

ProPowerBot/2.14

ProWebWalker

psbot

Python-urllib

QueryN Metasearch

Radiation Retriever 1.1

RepoMonkey

RepoMonkey Bait & Tackle/v1.01

RMA

rogerbot

scooter

searchpreview

Sitebot

SiteSnagger

sootle

SpankBot

spanner

Stanford

Stanford Comp Sci

Stanford CompClub

Stanford CompSciClub

Stanford Spiderboys

suzuran

Szukacz/1.4

Teleport

TeleportPro

Telesoft

Teoma

The Intraformant

TheNomad

toCrawl/UrlDispatcher

True_Robot

turingos

URL Control

URL_Spider_Pro

URLy Warning

VCI

VCI WebViewer VCI WebViewer Win32

Web Image Collector

WebAuto

WebBandit

WebCopier

WebEnhancer

WebmasterWorld Extractor

WebmasterWorldForumBot

WebSauger

Website Quester

Webster Pro

WebStripper

WebVac

WebZip

Wget

WWW-Collector-E

Xenu

Xenu's

Zeus

loic23601 · #2 2016-02-07 19:27:24

Merci pour le partage.

durando · #3 2016-02-07 20:34:59

Ca, c'est top, merci. Lequel correspond à Backlinkwatch ?

jeromeweb · #4 2016-02-07 21:12:58

Merci pour le partage
Moi j'utilise ça : hxxp://rankseo.fr/les-moteurs-recherche/empecher-vol-contenu-sur-votre-site-t2039.html

debutantseo · #5 2016-02-08 07:51:31

merci par contre esque il ya pas des bot russes a bloquer

jeromeweb · #6 2016-02-08 09:38:57

durando a écrit :

Ca, c'est top, merci. Lequel correspond à Backlinkwatch ?

Probablement http://www.backlinkwatch.com/

debutantseo · #7 2016-02-08 12:24:06

merci shutter j'utilise la méme chose et ça marche

salemioche · #8 2016-02-08 12:42:35

belle liste, j'ai un comportement inverse, plutot que de me taper les exclusions, je ne fais que des inclusions

Jaffaar · #9 2016-02-08 12:52:03

salemioche a écrit :

des inclusions

plusieurs backdoors du coup ?

pour toi ? ou une seule pour toi et une par source de trafic ?

Comment gères tu le trafic imprévu ?

Timtam · #10 2016-02-08 15:34:01

merci pour cette liste

Walid · #11 2016-02-08 16:49:52

Shutter je suis déçu t'as oublié le plus important

googlebot

Le seul vrai truc facile si les webmasters se mettaient d'accord pour tuer Google

Ropo · #12 2016-02-08 21:02:46

merci pour la liste Shutter !

Walid · #13 2016-02-08 23:06:58

Dukofo a écrit :

Petite précision, pourquoi Shutter tu parles dans ce cas là de sites satellites ?
Tu ne m'est pas en place ce genre de système sur tes MS ?
On parle bien d'un blocage par robots.txt ?

Dukofo si tu mets ça sur le MS et pas sur les Sats tu ne vas rien cacher du tout. Si je bloque majestic sur mon site, majestic va arrêter de le crawler, par contre il crawlera toujours mes sats et il verra toujours les backlinks qui sortent de mes sats et pointent vers mon MS.

Jaffaar · #14 2016-02-08 23:09:06

Dukofo a écrit :

On parle bien d'un blocage par robots.txt ?

robot ne bloque pas, il informe de tes souhaits ^^

on parle plutôt ici de htaccess je pense

ShutteR · #15 2016-02-08 23:35:53

Bigorno et jaffaar ont bien résumé

salemioche · #16 2016-02-10 17:06:19

Jaffaar a écrit :

salemioche a écrit :
des inclusions
plusieurs backdoors du coup ?
pour toi ? ou une seule pour toi et une par source de trafic ?
Comment gères tu le trafic imprévu ?

Juste une pour moi et une par source souhaitée ( enfin c'est la meme )

je ne gère pas les imprévu en dehors de cas spécifique ou je joue vraiment ( seofall )

Alcor · #17 2016-02-13 17:41:30

on avait eu une discussion sur le sujet, je crois il y a quelques temps sur le forum et avait abouti en plus du htacess ce robot.txt pour bloquer les crawler en partie, cela fonctionne assez bien

user-agent: AhrefsBot

disallow: /

user-agent: MJ12bot

disallow: /

User-agent: Yandex

Disallow: /

User-agent : YandexBot

Disallow: /

User-agent: UbiCrawler

Disallow: /

User-agent: DOC

Disallow: /

User-agent: Zao

Disallow: /

User-agent: sitecheck.internetseer.com

Disallow: /

User-agent: Zealbot

Disallow: /

User-agent: MSIECrawler

Disallow: /

User-agent: SiteSnagger

Disallow: /

User-agent: WebStripper

Disallow: /

User-agent: WebCopier

Disallow: /

User-agent: Fetch

Disallow: /

User-agent: Offline Explorer

Disallow: /

User-agent: Teleport

Disallow: /

User-agent: TeleportPro

Disallow: /

User-agent: WebZIP

Disallow: /

User-agent: linko

Disallow: /

User-agent: HTTrack

Disallow: /

User-agent: Microsoft.URL.Control

Disallow: /

User-agent: Xenu

Disallow: /

User-agent: larbin

Disallow: /

User-agent: libwww

Disallow: /

User-agent: ZyBORG

Disallow: /

User-agent: Download Ninja

Disallow: /

user-agent: rogerbot

disallow: /

user-agent: spbot

disallow: /

user-agent: Sosospider

disallow: /

user-agent: BacklinkCrawler

disallow: /

user-agent: ia_archiver

disallow: /

user-agent: Ezooms

disallow: /

user-agent: Gigabot

disallow: /

user-agent: findlinks

disallow: /

user-agent: SurveyBot

disallow: /

user-agent: SEOENGBot

disallow: /

user-agent: BPImageWalker

disallow: /

user-agent: bdbrandprotect

disallow: /

user-agent: LinkWalker

disallow: /

user-agent: Updownerbot

disallow: /

user-agent: HTTrack

disallow: /

user-agent: AppEngine-Google 

disallow: /

#

🟣 [Liste des bots d'exploration] à bloquer

#1 2016-02-07 17:54:55

[Liste des bots d'exploration] à bloquer

#2 2016-02-07 19:27:24

Re : [Liste des bots d'exploration] à bloquer

#3 2016-02-07 20:34:59

Re : [Liste des bots d'exploration] à bloquer

#4 2016-02-07 21:12:58

Re : [Liste des bots d'exploration] à bloquer

#5 2016-02-08 07:51:31

Re : [Liste des bots d'exploration] à bloquer

#6 2016-02-08 09:38:57

Re : [Liste des bots d'exploration] à bloquer

#7 2016-02-08 12:24:06

Re : [Liste des bots d'exploration] à bloquer

#8 2016-02-08 12:42:35

Re : [Liste des bots d'exploration] à bloquer

#9 2016-02-08 12:52:03

Re : [Liste des bots d'exploration] à bloquer

#10 2016-02-08 15:34:01

Re : [Liste des bots d'exploration] à bloquer

#11 2016-02-08 16:49:52

Re : [Liste des bots d'exploration] à bloquer

#12 2016-02-08 21:02:46

Re : [Liste des bots d'exploration] à bloquer

#13 2016-02-08 23:06:58

Re : [Liste des bots d'exploration] à bloquer

#14 2016-02-08 23:09:06

Re : [Liste des bots d'exploration] à bloquer

#15 2016-02-08 23:35:53

Re : [Liste des bots d'exploration] à bloquer

#16 2016-02-10 17:06:19

Re : [Liste des bots d'exploration] à bloquer

#17 2016-02-13 17:41:30

Re : [Liste des bots d'exploration] à bloquer

Pied de page des forums