Vous n'êtes pas identifié(e).

  • Contributions :
  • Vos boîtes de messages privés sont vides.

Annonce

Progressez rapidement avec notre gamme de formations SEO Skills en ligne | Automatisez facilement votre production de contenu de qualité avec le SEO QUARTZ !

#1 2018-07-24 09:46:01

Mention Boons
Scout
Inscription : 2017-04-12
Messages : 43

Majestic contourne les blocages Robots.txt et Htaccess

Salut les SEO, comme vous avez du vous en rendre compte, Majestic contourne les blocages Robots.txt ou Htaccess et remontent maintenant les liens. J'ai vu ici et là pas mal d'interrogations sur twitter. Certains pensent que Majestic achète la data à d'autres, ou d'autres disent qu'un autre nom de bot a été lancé et c'est via celui-ci que la data est maintenue à jour.

Avez vous remarqué cela également (depuis mai dernier environ) ?
Comment trouver et bloquer ce bot ? Des idées ?

Merci à vous

Hors ligne

#2 2018-07-24 12:00:53

Mention Mitsu
Soldier
Inscription : 2014-11-17
Messages : 2 007

Développement PHP
Développement JS
Audit et Analyse
Netlinking
Site Web

Re : Majestic contourne les blocages Robots.txt et Htaccess

Yop, le bloquage robots.txt ils peuvent bien le faire sauter si ils veulent mais le htaccess si tu bloque leurs ips, je vois pas bien comment ils peuvent passer outre ? Ils ont tant d'ips que ça qui tourne ?

Hors ligne

#3 2018-07-24 12:03:30

Mention Gelexylophone
Scout
Inscription : 2017-12-22
Messages : 166

Re : Majestic contourne les blocages Robots.txt et Htaccess

Mitsu a écrit :

Yop, le bloquage robots.txt ils peuvent bien le faire sauter si ils veulent mais le htaccess si tu bloque leurs ips, je vois pas bien comment ils peuvent passer outre ? Ils ont tant d'ips que ça qui tourne ?

@Mitsu la liste est longue: hxxps://help.ahrefs.com/getting-started-with-ahrefs/ahrefs-explained/what-is-the-list-of-your-ip-ranges

Hors ligne

#4 2018-07-24 13:07:21

Mention DevForEver
Recruit
Lieu : Alsace
Inscription : 2016-02-16
Messages : 91

PHP
JAVA
DB Admin
Sécurité

Re : Majestic contourne les blocages Robots.txt et Htaccess

Boons a écrit :

Comment trouver et bloquer ce bot ? Des idées ?

p'etre que certains bots Majestic passent par des proxy avec un UserAgent et nom d'hote anonyme,
comme tous ceux qui scrappent big_smile

Le piège est assez facile à mettre en place:
1. sur un site crawlé fréquemment par majestic, mettre un lien sur une page orpheline,
2. blaster un peu l'url de la page orpheline
3. jetter un coup d'oeil dans les logs Apache pour extraire les requêtes vers la page orpheline.
En théorie, il n'y aura que des robots qui auront visité la page puisqu'elle n'est pas maillé dans le site. En surveillant le fresh index de Majestic, y a moyen d'avoir une quasi certitude sur le type de crawl utilisé par Majestic.

Dernière modification par DevForEver (2018-07-24 13:09:35)

Hors ligne

#5 2018-07-24 13:40:33

Mention Mitsu
Soldier
Inscription : 2014-11-17
Messages : 2 007

Développement PHP
Développement JS
Audit et Analyse
Netlinking
Site Web

Re : Majestic contourne les blocages Robots.txt et Htaccess

@Gelexylophone : Tu parles de ahrefs là, pour le coup la liste est longue bof en fait ils ont très peu de plages ips différentes.

Hors ligne

#6 2018-07-24 14:27:09

Mention Gelexylophone
Scout
Inscription : 2017-12-22
Messages : 166

Re : Majestic contourne les blocages Robots.txt et Htaccess

@Mitsu my bad, j'avais mal lu

Hors ligne

#7 2018-07-25 08:30:16

Mention ColdFire
Scout
Lieu : Dijon / Lyon
Inscription : 2018-01-04
Messages : 335

Audit et Analyse
Sémantique
Rédaction

Re : Majestic contourne les blocages Robots.txt et Htaccess

Pour le contournement du blocage via htaccess je ne sais pas, par contre je confirme bien que le bot de Majestic passe outre les directives robots.txt depuis cette année, ce qui n'était pas le cas avant.

En ligne

#8 2018-07-25 08:42:15

Mention ElFamosoTrolo
Recruit
Inscription : 2018-02-20
Messages : 84

Re : Majestic contourne les blocages Robots.txt et Htaccess

Oh, c'est bon à savoir, ça. Et ça explique bien des choses ! big_smile
Merci de l'info !


Cultivons l'efficience.

Hors ligne

#9 2018-07-25 13:06:52

Mention jane31
Recruit
Inscription : 2018-07-09
Messages : 64

Re : Majestic contourne les blocages Robots.txt et Htaccess

wahouuu !! bonne info , a garder sous le coude


J'ALGORYTHME ma vie ..... et J'adore ça !!

Hors ligne

#10 2018-07-25 20:27:23

Mention jeromeweb
Soldier
Lieu : pas loin de paris
Inscription : 2014-10-12
Messages : 1 238

PHP
Automatisation Web

Re : Majestic contourne les blocages Robots.txt et Htaccess

DevForEver a écrit :

p'etre que certains bots Majestic passent par des proxy avec un UserAgent et nom d'hote anonyme,
comme tous ceux qui scrappent big_smile
.

Je ne pense pas car sur les sites qui ont cette extension d'installée, les BL ne remontent pas dans Majestic : https://fr.wordpress.org/plugins/stopbadbots/
ils doivent acheter à un scrapper "connu"

Dernière modification par jeromeweb (2018-07-25 20:27:37)


Blog perso jeromeweb.net - site pro : jerome-pasquelin.fr

Hors ligne

#11 2018-07-26 10:21:00

Mention DevForEver
Recruit
Lieu : Alsace
Inscription : 2016-02-16
Messages : 91

PHP
JAVA
DB Admin
Sécurité

Re : Majestic contourne les blocages Robots.txt et Htaccess

jeromeweb a écrit :

Je ne pense pas car sur les sites qui ont cette extension d'installée, les BL ne remontent pas dans Majestic : https://fr.wordpress.org/plugins/stopbadbots/
ils doivent acheter à un scrapper "connu"

sacré plugin, d'après les sources ils filtrent sur les plages d'IP, l'UA et p'etre suivant  d'autres critères
merci pour le lien ça donne des idées wink

Hors ligne

#12 2018-07-26 11:54:53

Mention Robespierre
Scout
Inscription : 2017-09-19
Messages : 40

Développement C
Développement Ruby (ROR)
Développement Python
Sécurité

Re : Majestic contourne les blocages Robots.txt et Htaccess

C'est une évidence, mais robots.txt n'est pas un blocage, ce sont juste des instructions. Rien n'oblige à les respecter.
Quant au blocage par htaccess, bah, il faut pas oublier que les entreprises comme Majestic font leur beurre sur les données, plus ils en collectent, mieux c'est, donc à mon avis, ils n'hésitent pas à multiplier les bots et surtout à mettre un user agent banal (Chrome, Safari, etc)

Donc bon, c'est un combat un peu perdu d'avance.

Hors ligne

#13 2018-07-26 18:16:48

Mention Boons
Scout
Inscription : 2017-04-12
Messages : 43

Re : Majestic contourne les blocages Robots.txt et Htaccess

A mon avis, certains SEO ont réussi a trouver le bot. Mais l'info n'est pas encore passée ...

Hors ligne

#14 2018-08-01 09:02:34

Mention Shanwar
Scout
Lieu : Dans ta SERP
Inscription : 2015-07-22
Messages : 141

Re : Majestic contourne les blocages Robots.txt et Htaccess

Hello,

Effectivement, j'ai commencé à voir des BL apparaitre sur Majestic depuis des NDD ou je filtrais l'accès aux bots.
Je vais essayer ce qu'a proposé @DevForEver

Hors ligne

#15 2018-08-02 07:20:19

Mention Boons
Scout
Inscription : 2017-04-12
Messages : 43

Re : Majestic contourne les blocages Robots.txt et Htaccess

@Shanwar
Etant trop amateur en logs, impossible pour moi de tester
Tu nous diras si tu as une piste
Faut vraiment faire buter ce bot

Hors ligne

#16 2018-08-29 09:24:57

Mention Boons
Scout
Inscription : 2017-04-12
Messages : 43

Re : Majestic contourne les blocages Robots.txt et Htaccess

Re les seo,
Je suis maintenant à découvert hmm Tous mes liens ou presque ont été découverts par Majestic, depuis l'apparition de leur nouveau bot secret en Avril / Mai

Quelqu'un aurait une piste pour mettre un terme à ce badbot ? Je commence a regarder dans les logs en ce moment pour le trouver, mais étant novice, c'est pas évident.

Dernière modification par Boons (2018-08-29 11:08:10)

Hors ligne

#17 2018-10-13 13:21:03

Mention mrcroft
Scout
Inscription : 2018-09-24
Messages : 109

Audit et Analyse
Marketing
Netlinking
Comunity Management

Re : Majestic contourne les blocages Robots.txt et Htaccess

Des nouvelles concernant le bot a bloquer ?


Tu ne sais pas ce que tu ne sais pas cool

Hors ligne

#18 2018-12-25 13:14:21

Mention karapitcho
Recruit
Lieu : bhw
Inscription : 2016-04-15
Messages : 56

Re : Majestic contourne les blocages Robots.txt et Htaccess

Egalement intéressé par des infos sur le bot de majestic

Hors ligne

#19 2018-12-25 20:41:35

Mention Nitro
Scout
Inscription : 2015-04-27
Messages : 138

Re : Majestic contourne les blocages Robots.txt et Htaccess

Y'en a qui ont testé en profondeur le plugin proposé par Jerome web ? Idéal pour planquer un pbn non ?

Hors ligne

Pied de page des forums