SemSpider : chaque page passée au crible

Majestic contourne les blocages Robots.txt et Htaccess

#1 robots, majestic, liens, contourne, blocages

BoonsScout
44 messages0 j'aimedepuis 2017Jerusalem, Israel
Distinctions · 3
Consommateur de liens7 ansPilier

Majestic contourne les blocages Robots.txt et Htaccess

Salut les SEO, comme vous avez du vous en rendre compte, Majestic contourne les blocages Robots.txt ou Htaccess et remontent maintenant les liens. J'ai vu ici et là pas mal d'interrogations sur twitter. Certains pensent que Majestic achète la data à d'autres, ou d'autres disent qu'un autre nom de bot a été lancé et c'est via celui-ci que la data est maintenue à jour.

Avez vous remarqué cela également (depuis mai dernier environ) ?
Comment trouver et bloquer ce bot ? Des idées ?

Merci à vous

J'aime ❤️

Hors ligne

12 référents en Stratégie SEO répondent dans cet espaceInscription gratuite : présentez-vous, puis posez vos questions et répondez aux discussions.

#2 robots, htaccess, peuvent

MitsuScout
2 012 messages9 j'aimedepuis 2014
Site Web
Distinctions · 9
Accueillant VI12 ansPilier VIClinicien VPremier secours VStratège IIIngénieur web IIPolyvalentExpert SEO

Re : Majestic contourne les blocages Robots.txt et Htaccess

Yop, le bloquage robots.txt ils peuvent bien le faire sauter si ils veulent mais le htaccess si tu bloque leurs ips, je vois pas bien comment ils peuvent passer outre ? Ils ont tant d'ips que ça qui tourne ?

J'aime ❤️

Hors ligne

#3

GelexylophoneScout
177 messages1 j'aimedepuis 2017
Distinctions · 4
Accueillant V7 ansPilier IIIPremier secours

Re : Majestic contourne les blocages Robots.txt et Htaccess

Mitsu a écrit :

Yop, le bloquage robots.txt ils peuvent bien le faire sauter si ils veulent mais le htaccess si tu bloque leurs ips, je vois pas bien comment ils peuvent passer outre ? Ils ont tant d'ips que ça qui tourne ?

@Mitsu la liste est longue: hxxps://help.ahrefs.com/getting-started-with-ahrefs/ahrefs-explained/what-is-the-list-of-your-ip-ranges

J'aime ❤️

Hors ligne

#4 robots, majestic, proxy, lien, logs

DevForEverScout
178 messages14 j'aimedepuis 2016Alsace
Distinctions · 8
10 ansPilier IIIIngénieur web IIAppréciéClinicienPremier secours IIAccueillantExpert SEO

Re : Majestic contourne les blocages Robots.txt et Htaccess

Boons a écrit :

Comment trouver et bloquer ce bot ? Des idées ?

p'etre que certains bots Majestic passent par des proxy avec un UserAgent et nom d'hote anonyme,
comme tous ceux qui scrappent :D

Le piège est assez facile à mettre en place:
1. sur un site crawlé fréquemment par majestic, mettre un lien sur une page orpheline,
2. blaster un peu l'url de la page orpheline
3. jetter un coup d'oeil dans les logs Apache pour extraire les requêtes vers la page orpheline.
En théorie, il n'y aura que des robots qui auront visité la page puisqu'elle n'est pas maillé dans le site. En surveillant le fresh index de Majestic, y a moyen d'avoir une quasi certitude sur le type de crawl utilisé par Majestic.

Dernière modification par DevForEver (2018-07-24 14:09:35)

J'aime ❤️

Hors ligne

#5 longue

MitsuScout
2 012 messages9 j'aimedepuis 2014
Site Web
Distinctions · 9
Accueillant VI12 ansPilier VIClinicien VPremier secours VStratège IIIngénieur web IIPolyvalentExpert SEO

Re : Majestic contourne les blocages Robots.txt et Htaccess

@Gelexylophone : Tu parles de ahrefs là, pour le coup la liste est longue bof en fait ils ont très peu de plages ips différentes.

J'aime ❤️

Hors ligne

#6

GelexylophoneScout
177 messages1 j'aimedepuis 2017
Distinctions · 4
Accueillant V7 ansPilier IIIPremier secours

Re : Majestic contourne les blocages Robots.txt et Htaccess

@Mitsu my bad, j'avais mal lu

J'aime ❤️

Hors ligne

#7 robots, htaccess, majestic

ColdFireScout
529 messages9 j'aimedepuis 2018Dijon
Distinctions · 8
Accueillant VIPilier V7 ansClinicien IVPremier secours IVStratège IIPolyvalentBusiness man

Re : Majestic contourne les blocages Robots.txt et Htaccess

Pour le contournement du blocage via htaccess je ne sais pas, par contre je confirme bien que le bot de Majestic passe outre les directives robots.txt depuis cette année, ce qui n'était pas le cas avant.

J'aime ❤️

Hors ligne

#8

ElFamosoTroloScout
84 messages0 j'aimedepuis 2018
Distinctions · 5
7 ansPremier secours IIIAccueillant IIIPilier IIClinicien II

Re : Majestic contourne les blocages Robots.txt et Htaccess

Oh, c'est bon à savoir, ça. Et ça explique bien des choses ! :D
Merci de l'info !


Cultivons l'efficience.

J'aime ❤️

Hors ligne

#9

jane31Recruit
64 messages0 j'aimedepuis 2018
Distinctions · 5
7 ansAccueillant IIIPilier IIClinicienPremier secours

Re : Majestic contourne les blocages Robots.txt et Htaccess

wahouuu !! bonne info , a garder sous le coude


J'ALGORYTHME ma vie ..... et J'adore ça !!

J'aime ❤️

Hors ligne

#10 majestic

jeromewebScout
1 328 messages6 j'aimedepuis 2014pas loin de paris
Distinctions · 8
12 ansPilier VIClinicien VPremier secours VAccueillant IVPolyvalentIngénieur webAutomate

Re : Majestic contourne les blocages Robots.txt et Htaccess

DevForEver a écrit :

p'etre que certains bots Majestic passent par des proxy avec un UserAgent et nom d'hote anonyme,
comme tous ceux qui scrappent :D
.

Je ne pense pas car sur les sites qui ont cette extension d'installée, les BL ne remontent pas dans Majestic : https://fr.wordpress.org/plugins/stopbadbots/
ils doivent acheter à un scrapper "connu"

Dernière modification par jeromeweb (2018-07-25 21:27:37)

J'aime ❤️

Hors ligne

#11 lien

DevForEverScout
178 messages14 j'aimedepuis 2016Alsace
Distinctions · 8
10 ansPilier IIIIngénieur web IIAppréciéClinicienPremier secours IIAccueillantExpert SEO

Re : Majestic contourne les blocages Robots.txt et Htaccess

jeromeweb a écrit :

Je ne pense pas car sur les sites qui ont cette extension d'installée, les BL ne remontent pas dans Majestic : https://fr.wordpress.org/plugins/stopbadbots/
ils doivent acheter à un scrapper "connu"

sacré plugin, d'après les sources ils filtrent sur les plages d'IP, l'UA et p'etre suivant  d'autres critères
merci pour le lien ça donne des idées ;)

J'aime ❤️

Hors ligne

#12 robots, agent, htaccess, majestic, blocage

RobespierreScout
98 messages25 j'aimedepuis 2017
Distinctions · 7
7 ansAccueillant IVIngénieur web IIAppréciéPilier IIClinicien IIPremier secours II

Re : Majestic contourne les blocages Robots.txt et Htaccess

C'est une évidence, mais robots.txt n'est pas un blocage, ce sont juste des instructions. Rien n'oblige à les respecter.
Quant au blocage par htaccess, bah, il faut pas oublier que les entreprises comme Majestic font leur beurre sur les données, plus ils en collectent, mieux c'est, donc à mon avis, ils n'hésitent pas à multiplier les bots et surtout à mettre un user agent banal (Chrome, Safari, etc)

Donc bon, c'est un combat un peu perdu d'avance.


Vente de Backlinks thématique Parentalité, lifestyle, bébé/enfants à bon prix. Glissez en MP pour plus d'infos ;)

J'aime ❤️

Hors ligne

#13

BoonsScoutAuteur
44 messages0 j'aimedepuis 2017Jerusalem, Israel
Distinctions · 3
Consommateur de liens7 ansPilier

Re : Majestic contourne les blocages Robots.txt et Htaccess

A mon avis, certains SEO ont réussi a trouver le bot. Mais l'info n'est pas encore passée ...

J'aime ❤️

Hors ligne

#14 majestic

ShanwarScout
154 messages3 j'aimedepuis 2015Dans ta SERP
Distinctions · 5
10 ansPilier IIIAccueillant IVClinicienPremier secours II

Re : Majestic contourne les blocages Robots.txt et Htaccess

Hello,

Effectivement, j'ai commencé à voir des BL apparaitre sur Majestic depuis des NDD ou je filtrais l'accès aux bots.
Je vais essayer ce qu'a proposé @DevForEver

J'aime ❤️

Hors ligne

#15 logs

BoonsScoutAuteur
44 messages0 j'aimedepuis 2017Jerusalem, Israel
Distinctions · 3
Consommateur de liens7 ansPilier

Re : Majestic contourne les blocages Robots.txt et Htaccess

@Shanwar
Etant trop amateur en logs, impossible pour moi de tester
Tu nous diras si tu as une piste
Faut vraiment faire buter ce bot

J'aime ❤️

Hors ligne

#16 liens, logs, majestic

BoonsScoutAuteur
44 messages0 j'aimedepuis 2017Jerusalem, Israel
Distinctions · 3
Consommateur de liens7 ansPilier

Re : Majestic contourne les blocages Robots.txt et Htaccess

Re les seo,
Je suis maintenant à découvert :/ Tous mes liens ou presque ont été découverts par Majestic, depuis l'apparition de leur nouveau bot secret en Avril / Mai

Quelqu'un aurait une piste pour mettre un terme à ce badbot ? Je commence a regarder dans les logs en ce moment pour le trouver, mais étant novice, c'est pas évident.

Dernière modification par Boons (2018-08-29 12:08:10)

J'aime ❤️

Hors ligne

#17

mrcroftScout
199 messages5 j'aimedepuis 2018
Site Web
Distinctions · 9
Consommateur de liens7 ansPilier IIIAccueillant IVStratège IIBusiness man IIPolyvalentClinicienPremier secours II

Re : Majestic contourne les blocages Robots.txt et Htaccess

Des nouvelles concernant le bot a bloquer ?


Tu ne sais pas ce que tu ne sais pas :cool:

J'aime ❤️

Hors ligne

#18

K
karapitchoScout
62 messages0 j'aimedepuis 2016bhw
Distinctions · 5
10 ansPilier IIClinicienPremier secoursAccueillant

Re : Majestic contourne les blocages Robots.txt et Htaccess

Egalement intéressé par des infos sur le bot de majestic

J'aime ❤️

Hors ligne

#19 pbn

NitroScout
164 messages0 j'aimedepuis 2015
Distinctions · 3
10 ansPilier IIIAccueillant

Re : Majestic contourne les blocages Robots.txt et Htaccess

Y'en a qui ont testé en profondeur le plugin proposé par Jerome web ? Idéal pour planquer un pbn non ?

J'aime ❤️

Hors ligne

#20 majestic, agent, htaccess, crawlers, bloquer

nazimScout
191 messages35 j'aimedepuis 2018Nord
Distinctions · 10
Force polyvalente7 ansPilier IIIAccueillant IVStratège IIAppréciéClinicienPremier secoursIngénieur webBusiness man

Re : Majestic contourne les blocages Robots.txt et Htaccess

Hello ,

Juste pour répondre en général, les crawlers de Majestic sont des bots distribués, ils ont plusieurs pools d'utilisateurs qui sont rétribués pour faire tourner les crawlers sur leurs propres machines. Il n'y a donc pas de plages d'IP connues pour bloquer Majestic. La façon la plus répandue c'est de bloquer le User Agent : MJ12Bot via .htaccess

Dernière modification par nazim (2019-07-12 23:20:16)

J'aime ❤️

Hors ligne

Accueil › Stratégies avancées › Majestic contourne les blocages Robots.txt et Htaccess

Haut

Pied de page des forums