In Cloaking Veritas

Julien_G · #1 2017-09-06 22:56:27

Hello,

Bon projet, je l'ai un peu adapté à mes besoins (je trouve ça chiant à installer SQL pour un petit cloaking).

Un truc à suivre/utiliser, c'est du gratuit open source par https://twitter.com/PatrickValibus

Cyd · #2 2017-09-07 07:18:30

Sinon pour les IPs, tu as déjà une bonne base ici : http://www.lightonseo.com/moteurs-de-re … googlebot/

(bon le site est HS là tout de suite, mais @Bigorno va nous réparer ça).

s2prod · #3 2017-09-08 07:31:44

Le script proposé à par Walid en toute fin de cet article permet d'identifier GoogleBot de manière plus fiable (mais pas infaillible) en ne limitant pas uniquement à l'UA mais par un habile procédé de reverse dns par rapport à l'ip du "visiteur", un fois dns résolu, il vérifie si la nomenclature du dns correspond à un truc dans le genre crawl-66-249-66-1.googlebot.com ... Après si la condition est rempli on affiche "ça" sinon "l'autre ça"

Bref, c'est vraiment pas mal, car ça n'oblige pas à se tenir à jour sur les IP de GoogleBot. Je vais tester un .tld gratuit.

DevForEver · #4 2017-09-08 10:49:36

pour ceux que ca intéresse,
ci-joint un export de notre DB avec les champs IP, hostname et date de vérification ou le mot Google apparait dans le nom d'hote
hxxps://www.catupload.com/download/e609b3259692a969a59042621c954598.html

La liste est incomplète, y a un peu plus de 4000
Si j'ai 5 min, je compresse les données avec une annotation CIDR

Julien_G · #5 2017-09-08 11:25:47

In cloaking veritas fait aussi un reverse DNS, il met juste en cache les IPs pour éviter de faire tout le temps des reverse dns (qui est couteux en temps de chargement)

Dernière modification par Julien_G (2017-09-08 11:25:57)

🟣 In Cloaking Veritas

#1 2017-09-06 22:56:27

Re : In Cloaking Veritas

#2 2017-09-07 07:18:30

Re : In Cloaking Veritas

#3 2017-09-08 07:31:44

Re : In Cloaking Veritas

#4 2017-09-08 10:49:36

Re : In Cloaking Veritas

#5 2017-09-08 11:25:47

Re : In Cloaking Veritas

Pied de page des forums