🟣 Comment bien scrapper Google ?

De mon expérience plus tes footprints sont complexes et plus vite ton ip sera bloquée et ton prestataire ne va pas forcement t'en fournir d'autres

Après il te faut un maximum de proxies pour maximiser leurs rotations.

Il est bon aussi d'augmenter le temps entre tes requêtes et de limiter les threads, mais cela dépend du nombre de proxies utilisés.

Exemple : 5 secondes de pause entre chaque page et 3 threads simultanées pour une configuration de base avec 50 proxies dédiés.

Pour ce qui est du prestataire buyproxies.org est un bon service pour ma part.

Salut Makak06,

Concernant le blacklistage d'ip c'est vrai que en général au bout de quelque temps ça remarche, mais j'ai eu le cas il y a pas longtemps sur des proxies dédiés de voire mon ip toujours bloquée au bout de 15 jours.

Et au lieu de scraper peut être utiliser l API Google search? J ai pas testé perso pour les footprints, mais pour le reste y a pas foto on peut multithreader sans problème avec la même IP sans aucun blocage, alors que les mêmes requête en scrap classique me crament vite l IP...

Je ne sais pas ce que tu veux scraper, mais ça peut valoir le coup de se tourner vers une combinaison soft de scrap + proxies. Ca évite de se poser beaucoup de questions.
J'utilise de temps à autres RDDZ+quelques dizaines de proxies de chez ap (généralement 20-50) et je n'ai jamais eu de soucis particulier quand aux limitations. Mais je ne passe pas non plus mes journées à scraper.

Bigorno, en fait je voudrais scrapper h24 sur une machine, pas forcement en quantité énorme, je m'adapte, je voudrais savoir par exemple si on peut me dire : ok bah si tu utilise 10 proxies faudra pas dépasser x serp par heure, y serp par jour. Ca me permettrait d'adapter le nombre de proxies si je le souhaites ensuite quoi, je me dit qu'il y a bien des gens qui ont des retour d'experience sur ce sujet ici pour avoir une idée plus ou moins vague des limites, sinon je peux faire les test moi même mais je vais me galérer cramer plein de proxies baisser, remonter pour trouve la bonne formule... Si des gens connaissent la formule du coup ça m'arrangerait lol !

si tu respectes bien la pause de 30s à 45s et une minute toutes les 15min tu peux bouriner sans pb

Merci pour le tips

Je scrape google sans proxy avec scrapebox, 1 requête par 50 secondes minimum. Mais c'est pas des requêtes type site:
J'ai pris 5 proxies privés (10$) sur https://www.myprivateproxy.net/ (ya des codes promos qui trainent sur le web) recommandé par scrapebox et je mets 22 secondes entre chaque requêtes, ce qui fait que il y a 110 secondes entre une requete de chaque proxy. Je peux sans doute aller plus vite mais je veux pas cramer mes proxies. J'ai du faire tourner une 30ene d'heures (par intermittence, je lance le matin et coupe le soir) pour le moment pas de problèmes

Donc le consensus a l'air d'être au minimum 50/60 secondes entre chaque requête d'un proxy (peut être plus avec des opérateur type site:). Je pense pas qu'on te redonne des proxies si tu les crames. Fais le calcul : entre le nombre de recherche que tu veux faire et le temps que tu peux attendre et ca te donnera le nombre de proxies qu'il te faut.

Edit : j'avais pas vu que c'était du déterrage

Dernière modification par frcc78 (2024-09-03 20:38:40)