🟣 Les bons proxies pour scraper Google : Conseil et Feedback

J'ai fais mes courses avant la pénurie, alors j'ai un peu de volume, mais effectivité chez ovh, tu payes 2€ de setup et c'est tout, mais ca change tout le temps, a un moment, c'etait 1 ou 2€ / mois, j'ai souffert, mais finalement, bien fait de les garder

Ensuite via lowenbox.com tu trouves des vps pas cher, par exemple chez http://www.gbservers.co.uk/cheap-xenpv-vps/ pour £4.3 tu as un VPS avec 5 IPs

J ai dev ça y a un moment mais en lisant effi qui shared certaines sources je me suis dit pourquoi ne pas shared aussi. Du coup un coup de gît un coup de nom et un petit article pour la communauté. Si le lien gêne je peux le virer dites moi.

Très sympa ton article, je m'amusais à faire du squid mais là c'est vachement plus simple !

J'ai posté un commentaire mais je suis pas sur qu'il soit passé, dans request ta une option localAddress qui te permets d'utiliser les failovers. Un serveur peut donc te servir pour plusieurs ips

Pour ma part j'utilise VPtunnel c'est pas trop mal après pour scraper Google j'ai aussi des soucis parfois.
Perso @effi10 si tu veux scrapper 5000KW sans proxy ou consort tu mets plus d'une journée car tu tombes même si tu mets du delay entre chaque KW ^^
Déjà test au début je faisais sans rien avec pas mal de mots ben je conseille pas

Moi aussi mon petit témoignage.
Perso j'ai quelques serveur dédié SoYouStart, donc j'ai mis des Squid dessus rapidement (ça se configure en 30sec) + des proxys public + proxy LimeProxy

J'ai qualifié les keywords que je désire suivre d'une note de 1 a 10, dans mon soft j'ai mis une tranche de note pour chaque proxys, les proxys publiques scrapp tous les keywords entre 1 et 3 comme notes,  les LimeProxy scrapp de 4 a 7 et les proxy sur Squid scrapp de 7 a 10.

Quand un proxy public est cramé je le désactive de la list , si il a déjà réussi avant a scrappé, il se réactive automatiquement au bout d'un moment.

comme ça je peu scrapp pas mal de keywords dans la semaine sans avoir trop trop d'IP, je surveille 10.000 keywords environs.

Voila pour le moment ou je raconte un peu ma vie

Maintenant Question , vous envoyé combien de requête minutes a google par IP ?

Le timing est effectivement important, mais il y a une grande différence entre faire une requête innocente (un simple mot clé) et un footprint contenant inurl par exemple. Google aime tellement pas ça que même si tu essaies à la mano un certain nombre de fois il va te balancer un captcha, donc sur footprints avec opérateur de recherche, pour de la masse, l'ip privée est aussi innéfficace que ton ip domestique, à moins d'en avoir vraiment beaucoup, mais vraiment beaucoup

C'est pas facile, mais c'est possible. La solution les proxys publiques.... beaucoup de proxy publiques