Problème duplicate content sur multiple domaine externe

caratubo · #1 2016-01-04 12:38:18

Bonjour à tous, sur un site à moi j'ai des problème de duplicate uniquement sur la page d'accueil.

Plein de sites différents me pompent (des dizaines) : www.hellyeahstar.com , clevelandschoolreunion.net/ , www.busingeicd.cf, geocities.ws , marbella-leaguecity.com ... .

Dès que je fais une modification, le site qui duplique se met à jour, j'ai donc l'impression que c'est des robots.

Comment bloquer cela ? htacces ?

Merci d'avance

kilam54 · #2 2016-01-06 20:22:07

Tu installes un bot qui récupére les ips, après tu vérifies les connexion récurrentes et dans ton .htacess tu balance une 301 juste pour lui, vers un site de couche pour bébé, pour ne pas dire SM et le tour est joué ...

Enfin je suis pas un expert moi, j'essaie juste de te donner des pistes...:D

duan78 · #3 2016-01-11 14:40:05

Hello Caratubo : est-ce que ton site utilise un flux rss ? (c'est le seul moyen selon moi pour qu'un site se mette à jour instantanément sur ton contenu) --> à ce moment là, voit pour supprimer le rss ou le troquer ou ajouter une belle balise a vers ton site

Cyd · #4 2016-01-11 15:29:49

Non ce n'est pas le seul moyen. Je ne suis pas spécialiste, mais j'ai vu tourner un script qui dupliquait un site en temps réel.

duan78 · #5 2016-01-11 15:37:23

Cyd a écrit :

Non ce n'est pas le seul moyen. Je ne suis pas spécialiste, mais j'ai vu tourner un script qui dupliquait un site en temps réel.

Oui, c'est possible, mais bon t'imagine le cron toutes les secondes ? ^^ Enfin, ça veut dire qu'en permanence le script requête la page : c'est grillé !

Cyd · #6 2016-01-11 15:57:44

Non il ne requête pas en permanence. Dès qu'il voit une nouvelle page, il requête puis il met en cache.

Et pour la Home oui il peut faire une requête à chaque fois que la page est appelée.

duan78 · #7 2016-01-11 17:09:50

Cyd a écrit :

Non il ne requête pas en permanence. Dès qu'il voit une nouvelle page, il requête puis il met en cache.
Et pour la Home oui il peut faire une requête à chaque fois que la page est appelée.

Pour voir une nouvelle page, il faut bien qu'il requête en permanence ?

Cyd · #8 2016-01-11 22:41:17

Je ne suis pas entré dans le détail du script et de toute façon j'aurais été très vite limité d'un point de vue technique, mais pour moi, la requête vers le site source n'est effectuée que lorsque qu'une visite est faite sur le site qui duplique.

ciboulette · #9 2016-01-12 09:07:17

duan78 a écrit :

Cyd a écrit :
Non il ne requête pas en permanence. Dès qu'il voit une nouvelle page, il requête puis il met en cache.
Et pour la Home oui il peut faire une requête à chaque fois que la page est appelée.
Pour voir une nouvelle page, il faut bien qu'il requête en permanence ?

non, tu crée des google alertes, et soit tu demande a google un flux rss de tous les nouveau résultats, soit tu reçois tout dans une boite mail et tu crée un script qui regarde dans la boite mail 2/3 fois par jours les nouveautés...

Moi perso j'ai crée des googles alertes pour détecter des spots de liens facile.

gokam · #10 2016-01-12 15:13:50

Cyd a écrit :

Je ne suis pas entré dans le détail du script et de toute façon j'aurais été très vite limité d'un point de vue technique, mais pour moi, la requête vers le site source n'est effectuée que lorsque qu'une visite est faite sur le site qui duplique.

C'est une des solutions ou alors tu vas chercher tous les X et tu stocks temporairement chez toi l'hml (Si t'es balez, tu utilises des etag)