🟣 Scraping en masse à quoi faire attention ?

Hello,

Pour te donner quelques pistes, tu peux regarder sur ce sujet du forum Zenno,  c'est en russe  (avec  Google translate tu comprendras l'essentiel ) :

http://zennolab.com/discussion/threads/browser-fingerprint-anonimnaja-identifikacija-brauzerov.34813/

PS: Pour checker tes traces tu peux vérifier ici  par exemple :  https://browserleaks.com/

Dernière modification par karni (2017-08-13 06:44:20)

Je viendrai rajouter aussi :
- vitesse/nombre de page chargée en un certain temps
- pays de provenance (attention au proxi)

N'hésitez pas si vous avez d'autres points.

Merci Mitsu,

Pour ce retour.

Je suis d'accord avec toi ça suffit pour 99% des cas.

Quand tu dis cookie, tu entends quoi par là ? Suppression entre 2 scrap ?
Idem pour exécution du js, quand tu scrap avec curl par exemple, tu charges la page, une partie du js est exécuté, non ?

Salut Seoxis,

C'est noté.

Merci pour ces petits points.

Faut avoir en tête que sur 90 %  des sites, tu peux bombarder en local avec ton ip sans problèmes.

Pour les cookies. Je pensais pas aux espaces membres mais plus à des sites qui essayent de détecter les bots.

Pour vraiment avoir l'air naturel comme un humain il faudrait  :

Activer js
Activer cookie
Limiter nb requetes par ip
Temps de latence entre deux requêtes
Faire bouger la souris et non la "téléporter"
Utiliser ua humain
Charger des librairies js/css correspondant au navigateur de l'ua  :  donc en gros piloter un vrai navigateur à la zennoposter.
Brancher un service pour bypass les captcha.

Mais bon faire tout ça c'est lourd et tu crawlera lentement par rapport à un bon vieux curl des familles qui marchera très bien dans 90 %  des cas. Et même dans les 10 %  restant ta pas besoin d'aller aussi loin que tout ce sont je parle plus haut.

Perso je bombarde et si ça marche pas je rend le truc plus complexe petit à petit jusque ça passe. Vaux mieux ça plutôt que tout de suite sortir le tank peu maniable pour écraser des mouches.

J'ai lancé un scrap sur clubic.com avec expired domains finder (scrapebox) sans proxy : j'ai un forbidden sur toutes les pages maintenant. C'est con car il y a des articles interessants sur clubic lol

Pour reprendre ce qui a été dis plus haut : nombre de threads / seconde faible et proxys au cas ou