Vous n'êtes pas identifié(e).

  • Contributions :
  • Vos boîtes de messages privés sont vides.

🟣 [Liste des bots d'exploration] à bloquer


#1 2016-02-07 17:54:55

Mention ShutteR
🥉 Grade : Scout

AuxiliaireStratège1000 messagesMembre Hospitalier
Inscription : 2013-09-08
Messages : 1 234
Likes : 1

Networking SEO
Netlinking
Sémantique
Audit et Analyse

[Liste des bots d'exploration] à bloquer

Bonjour à tous,

voici une liste des robots à bloquer sur les sites satellites ou sur des sites pions (intermédiaires entres vos backlinks et vos master sites) pour cacher vos backlinks du grand public smile

AhrefsBot
Alexibot
Aqua_Products
asterias
b2w/0.1
BackDoorBot/1.0
BecomeBot
BlekkoBot
BlowFish/1.0
Bookmark search tool
BotALot
BuiltBotTough
Bullseye/1.0
BunnySlippers
CheeseBot
CherryPicker
Copernic
CopyRightCheck
cosmos
Crescent
Crescent Internet
DittoSpyder
dotbot
dumbot
EmailCollector
EmailSiphon
EmailWolf
Enterprise_Search
EroCrawler
es
exabot
ExtractorPro
FairAd Client
Flaming AttackBot
Foobot
Gaisbot
GetRight/4.2
gigabot
grub
grub-client
Harvest/1.5
Hatena Antenna
hloader
Pubcon
WebmasterWorld
httplib
humanlinks
ia_archiver
InfoNaviRobot
Iron33/1.0.2
JennyBot
Jetbot
Kenjin Spider
Keyword Density/0.9
larbin
LexiBot
libWeb/clsHTTP
LinkextractorPro
LinkScan/8.1a Unix
LinkWalker
LNSpiderguy
looksmart
lwp-trivial
lwp-trivial/1.34
Mata Hari
Microsoft URL Control
MIIxpc
Mister PiX
MJ12bot
moget
MSIECrawler
naver
NetAnts
NetMechanic
NICErsPRO
Nutch
Offline Explorer
Openbot
Openfind
Openfind data gathere
Oracle Ultra Search
PerMan
ProPowerBot/2.14
ProWebWalker
psbot
Python-urllib
QueryN Metasearch
Radiation Retriever 1.1
RepoMonkey
RepoMonkey Bait & Tackle/v1.01
RMA
rogerbot
scooter
searchpreview
Sitebot
SiteSnagger
sootle
SpankBot
spanner
Stanford
Stanford Comp Sci
Stanford CompClub
Stanford CompSciClub
Stanford Spiderboys
suzuran
Szukacz/1.4
Teleport
TeleportPro
Telesoft
Teoma
The Intraformant
TheNomad
toCrawl/UrlDispatcher
True_Robot
turingos
URL Control
URL_Spider_Pro
URLy Warning
VCI
VCI WebViewer VCI WebViewer Win32
Web Image Collector
WebAuto
WebBandit
WebCopier
WebEnhancer
WebmasterWorld Extractor
WebmasterWorldForumBot
WebSauger
Website Quester
Webster Pro
WebStripper
WebVac
WebZip
Wget
WWW-Collector-E
Xenu
Xenu's
Zeus

Twitter => @ShutterSeo skype: Blacko.white
ليس العار في أن نسقط .. ولكن العار أن لا تستطيع النهوض

0
J'aime ❤️

🔴 Hors ligne

#2 2016-02-07 19:27:24

Mention loic23601
🥉 Grade : Scout

Auxiliaire
Inscription : 2014-07-31
Messages : 200
Likes : 0

Marketing
Audit et Analyse

Re : [Liste des bots d'exploration] à bloquer

Merci pour le partage.

0
J'aime ❤️

🔴 Hors ligne

#3 2016-02-07 20:34:59

Mention durando
🥉 Grade : Scout

Auxiliaire
Inscription : 2015-04-25
Messages : 379
Likes : 6

Audit et Analyse
Html Css

Re : [Liste des bots d'exploration] à bloquer

Ca, c'est top, merci. Lequel correspond à Backlinkwatch ?

0
J'aime ❤️

🔴 Hors ligne

#4 2016-02-07 21:12:58

Mention jeromeweb
🥉 Grade : Scout

Auxiliaire1000 messages
Lieu : pas loin de paris
Inscription : 2014-10-12
Messages : 1 328
Likes : 5

PHP
Automatisation Web

Re : [Liste des bots d'exploration] à bloquer

Merci pour le partage
Moi j'utilise ça : hxxp://rankseo.fr/les-moteurs-recherche/empecher-vol-contenu-sur-votre-site-t2039.html

0
J'aime ❤️

🔴 Hors ligne

#5 2016-02-08 07:51:31

Mention debutantseo
🥉 Grade : Scout

AuxiliaireNarcissiqueStratège50likes
Inscription : 2015-03-29
Messages : 954
Likes : 50

Netlinking
Rédaction
Comunity Management

Re : [Liste des bots d'exploration] à bloquer

merci par contre esque il ya pas des bot russes a bloquer

0
J'aime ❤️

🔴 Hors ligne

#6 2016-02-08 09:38:57

Mention jeromeweb
🥉 Grade : Scout

Auxiliaire1000 messages
Lieu : pas loin de paris
Inscription : 2014-10-12
Messages : 1 328
Likes : 5

PHP
Automatisation Web

Re : [Liste des bots d'exploration] à bloquer

durando a écrit :

Ca, c'est top, merci. Lequel correspond à Backlinkwatch ?

Probablement http://www.backlinkwatch.com/

0
J'aime ❤️

🔴 Hors ligne

#7 2016-02-08 12:24:06

Mention debutantseo
🥉 Grade : Scout

AuxiliaireNarcissiqueStratège50likes
Inscription : 2015-03-29
Messages : 954
Likes : 50

Netlinking
Rédaction
Comunity Management

Re : [Liste des bots d'exploration] à bloquer

merci shutter j'utilise  la méme chose et ça marche

0
J'aime ❤️

🔴 Hors ligne

#8 2016-02-08 12:42:35

Mention salemioche
🥉 Grade : Scout

AuxiliaireIngénieur webStratège
Inscription : 2015-10-09
Messages : 250
Likes : 0

Adminstration Serveur
PHP
Scraping
Cloaking

Re : [Liste des bots d'exploration] à bloquer

belle liste, j'ai un comportement inverse, plutot que de me taper les exclusions, je ne fais que des inclusions smile


__
Powering Nikozen

0
J'aime ❤️

🔴 Hors ligne

#9 2016-02-08 12:52:03

Mention Jaffaar
🥇 Grade : Guardian

AdminMembre du Black LaboMembre du CercleOfficierForce PolyvalenteIngénieur webKilluavie1000likesConsomateur de Liens1000 messagesMembre HospitalierPhilantrope
Lieu : Consultant SEO / WEB
Inscription : 2012-06-01
Messages : 8 467
Likes : 1350

Développement PHP
Développement JS
Networking SEO
Social Engineering

Re : [Liste des bots d'exploration] à bloquer

salemioche a écrit :

des inclusions

plusieurs backdoors du coup ?

pour toi ? ou une seule pour toi et une par source de trafic ?

Comment gères tu le trafic imprévu ?


Comment Ranker ?
Nouveauté : Ninja Web Pro Pack copies limitées !
Ebook : Ninjalinking 2022 (-25% : labo25e)           
Conseils stratégiques ou techniques ? ( Skype : jaffaarbh )

0
J'aime ❤️

🟢 En ligne

#10 2016-02-08 15:34:01

Mention Timtam
🥉 Grade : Scout

AuxiliaireStratège
Lieu : Bordeaux
Inscription : 2015-09-24
Messages : 231
Likes : 0

Netlinking
Audit et Analyse
Site Web

Re : [Liste des bots d'exploration] à bloquer

merci pour cette liste smile


"Deux choses sont infinies, l'univers et la bêtise humaine. Pour l'univers, j'en suis pas sur ..."

0
J'aime ❤️

🔴 Hors ligne

#11 2016-02-08 16:49:52

Mention Walid
🥉 Grade : Scout

Auxiliaire1000 messagesMembre Hospitalier
Inscription : 2013-02-07
Messages : 1 293
Likes : 2

Sémantique

Re : [Liste des bots d'exploration] à bloquer

Shutter je suis déçu t'as oublié le plus important

googlebot

Le seul vrai truc facile si les webmasters se mettaient d'accord pour tuer Google

0
J'aime ❤️

🔴 Hors ligne

#12 2016-02-08 21:02:46

Mention Ropo
🥉 Grade : Scout

AuxiliaireStratègeBusiness ManMembre Hospitalier
Inscription : 2015-09-25
Messages : 789
Likes : 5

Netlinking
Advertising
Marketing
Networking SEO

Re : [Liste des bots d'exploration] à bloquer

merci pour la liste Shutter !

0
J'aime ❤️

🔴 Hors ligne

#13 2016-02-08 23:06:58

Mention Walid
🥉 Grade : Scout

Auxiliaire1000 messagesMembre Hospitalier
Inscription : 2013-02-07
Messages : 1 293
Likes : 2

Sémantique

Re : [Liste des bots d'exploration] à bloquer

Dukofo a écrit :

Petite précision, pourquoi Shutter tu parles dans ce cas là de sites satellites ?
Tu ne m'est pas en place ce genre de système sur tes MS ?
On parle bien d'un blocage par robots.txt ?

Dukofo si tu mets ça sur le MS et pas sur les Sats tu ne vas rien cacher du tout. Si je bloque majestic sur mon site, majestic va arrêter de le crawler, par contre il crawlera toujours mes sats et il verra toujours les backlinks qui sortent de mes sats et pointent vers mon MS.

0
J'aime ❤️

🔴 Hors ligne

#14 2016-02-08 23:09:06

Mention Jaffaar
🥇 Grade : Guardian

AdminMembre du Black LaboMembre du CercleOfficierForce PolyvalenteIngénieur webKilluavie1000likesConsomateur de Liens1000 messagesMembre HospitalierPhilantrope
Lieu : Consultant SEO / WEB
Inscription : 2012-06-01
Messages : 8 467
Likes : 1350

Développement PHP
Développement JS
Networking SEO
Social Engineering

Re : [Liste des bots d'exploration] à bloquer

Dukofo a écrit :

On parle bien d'un blocage par robots.txt ?

robot ne bloque pas, il informe de tes souhaits ^^

on parle plutôt ici de htaccess je pense smile


Comment Ranker ?
Nouveauté : Ninja Web Pro Pack copies limitées !
Ebook : Ninjalinking 2022 (-25% : labo25e)           
Conseils stratégiques ou techniques ? ( Skype : jaffaarbh )

0
J'aime ❤️

🟢 En ligne

#15 2016-02-08 23:35:53

Mention ShutteR
🥉 Grade : Scout

AuxiliaireStratège1000 messagesMembre Hospitalier
Inscription : 2013-09-08
Messages : 1 234
Likes : 1

Networking SEO
Netlinking
Sémantique
Audit et Analyse

Re : [Liste des bots d'exploration] à bloquer

Bigorno et jaffaar ont bien résumé big_smile


Twitter => @ShutterSeo skype: Blacko.white
ليس العار في أن نسقط .. ولكن العار أن لا تستطيع النهوض

0
J'aime ❤️

🔴 Hors ligne

#16 2016-02-10 17:06:19

Mention salemioche
🥉 Grade : Scout

AuxiliaireIngénieur webStratège
Inscription : 2015-10-09
Messages : 250
Likes : 0

Adminstration Serveur
PHP
Scraping
Cloaking

Re : [Liste des bots d'exploration] à bloquer

Jaffaar a écrit :
salemioche a écrit :

des inclusions

plusieurs backdoors du coup ?

pour toi ? ou une seule pour toi et une par source de trafic ?

Comment gères tu le trafic imprévu ?

Juste une pour moi et une par source souhaitée ( enfin c'est la meme )

je ne gère pas les imprévu en dehors de cas spécifique ou je joue vraiment ( seofall )


__
Powering Nikozen

0
J'aime ❤️

🔴 Hors ligne

#17 2016-02-13 17:41:30

Mention Alcor
🥉 Grade : Scout

Auxiliaire1000 messagesMembre Hospitalier
Inscription : 2012-10-09
Messages : 1 419
Likes : 1

Netlinking

Re : [Liste des bots d'exploration] à bloquer

on avait eu une discussion sur le sujet, je crois il y a quelques temps sur le forum et avait abouti en plus du htacess ce robot.txt pour bloquer les crawler en partie, cela fonctionne assez bien

user-agent: AhrefsBot
disallow: /

user-agent: MJ12bot
disallow: /

User-agent: Yandex
Disallow: /

User-agent : YandexBot
Disallow: /

User-agent: UbiCrawler
Disallow: /

User-agent: DOC
Disallow: /

User-agent: Zao
Disallow: /

User-agent: sitecheck.internetseer.com
Disallow: /

User-agent: Zealbot
Disallow: /

User-agent: MSIECrawler
Disallow: /

User-agent: SiteSnagger
Disallow: /

User-agent: WebStripper
Disallow: /

User-agent: WebCopier
Disallow: /

User-agent: Fetch
Disallow: /

User-agent: Offline Explorer
Disallow: /

User-agent: Teleport
Disallow: /

User-agent: TeleportPro
Disallow: /

User-agent: WebZIP
Disallow: /

User-agent: linko
Disallow: /

User-agent: HTTrack
Disallow: /

User-agent: Microsoft.URL.Control
Disallow: /

User-agent: Xenu
Disallow: /

User-agent: larbin
Disallow: /

User-agent: libwww
Disallow: /

User-agent: ZyBORG
Disallow: /

User-agent: Download Ninja
Disallow: /

user-agent: rogerbot
disallow: /

user-agent: spbot
disallow: /

user-agent: Sosospider
disallow: /

user-agent: BacklinkCrawler
disallow: /

user-agent: ia_archiver
disallow: /

user-agent: Ezooms
disallow: /

user-agent: Gigabot
disallow: /

user-agent: findlinks
disallow: /

user-agent: SurveyBot
disallow: /

user-agent: SEOENGBot
disallow: /

user-agent: BPImageWalker
disallow: /

user-agent: bdbrandprotect
disallow: /

user-agent: LinkWalker
disallow: /

user-agent: Updownerbot
disallow: /

user-agent: HTTrack
disallow: /

user-agent: AppEngine-Google
disallow: /


#
 


Easy Peasy Lemon Squeezy

0
J'aime ❤️

🔴 Hors ligne

Pied de page des forums