SecHunter : vos failles, avant les attaquants

Les bons proxies pour scraper Google : Conseil et Feedback

#21

CherubinScout
457 messages4 j'aimedepuis 2012
Distinctions · 8
12 ansPilier IVPremier secours IIIStratège IIBusiness man IIPolyvalentClinicien IIAccueillant II

Re : Les bons proxies pour scraper Google : Conseil et Feedback

Si mais tu es limité, probablement la "pénurie" d'ipv4, après tout dépend du volume de scrap aussi, évidemment ;)

J'aime ❤️

Hors ligne

#22 proxy

J
jhdscriptRecruit
45 messages0 j'aimedepuis 2016
Site Web
Distinctions · 4
10 ansPilierClinicienAccueillant

Re : Les bons proxies pour scraper Google : Conseil et Feedback

Bon je pense que mon article suivant peut vous intéresser car il est dans la mouvance du moment: NodeJs et Proxy Privé.

Hésitez pas à me faire vos retours.

J'aime ❤️

Hors ligne

#23 vps

salemiocheScout
250 messages0 j'aimedepuis 2015
Distinctions · 9
Force polyvalente10 ansPilier IVPremier secours IIIAccueillant IIIIngénieur web IIClinicien IIStratègeAutomate

Re : Les bons proxies pour scraper Google : Conseil et Feedback

J'ai fais mes courses avant la pénurie, alors j'ai un peu de volume, mais effectivité chez ovh, tu payes 2€ de setup et c'est tout, mais ca change tout le temps, a un moment, c'etait 1 ou 2€ / mois, j'ai souffert, mais finalement, bien fait de les garder :cool:

Ensuite via lowenbox.com tu trouves des vps pas cher, par exemple chez http://www.gbservers.co.uk/cheap-xenpv-vps/ pour £4.3 tu as un VPS avec 5 IPs


__
Powering Nikozen

J'aime ❤️

Hors ligne

#24

W
WalidScoutAuteur
1 293 messages2 j'aimedepuis 2013
Distinctions · 6
Accueillant VI12 ansPilier VIClinicien VPremier secours VStratège
Expertise

Re : Les bons proxies pour scraper Google : Conseil et Feedback

jhdscript a écrit :

Bon je pense que mon article suivant peut vous intéresser car il est dans la mouvance du moment: NodeJs et Proxy Privé.

Hésitez pas à me faire vos retours.

T'as écris le billet aujourd'hui pour placer ton bl le même jour c'est ça ? :D

Il est très bien ton billet

J'aime ❤️

Hors ligne

#25 lien

J
jhdscriptRecruit
45 messages0 j'aimedepuis 2016
Site Web
Distinctions · 4
10 ansPilierClinicienAccueillant

Re : Les bons proxies pour scraper Google : Conseil et Feedback

J ai dev ça y a un moment mais en lisant effi qui shared certaines sources je me suis dit pourquoi ne pas shared aussi. Du coup un coup de gît un coup de nom et un petit article pour la communauté. Si le lien gêne je peux le virer dites moi.

J'aime ❤️

Hors ligne

#26

W
WalidScoutAuteur
1 293 messages2 j'aimedepuis 2013
Distinctions · 6
Accueillant VI12 ansPilier VIClinicien VPremier secours VStratège
Expertise

Re : Les bons proxies pour scraper Google : Conseil et Feedback

jhdscript a écrit :

J ai dev ça y a un moment mais en lisant effi qui shared certaines sources je me suis dit pourquoi ne pas shared aussi. Du coup un coup de gît un coup de nom et un petit article pour la communauté. Si le lien gêne je peux le virer dites moi.


Non tu as placé le lien où il fallait quand il fallait. C'est intéressant.

J'aime ❤️

Hors ligne

#27 serveur

S
SoulScout
586 messages2 j'aimedepuis 2013Annecy
Site Web
Distinctions · 9
12 ansPilier VForce polyvalenteClinicien IIIPremier secours IVAccueillant IIIStratègeIngénieur webBusiness man

Re : Les bons proxies pour scraper Google : Conseil et Feedback

Très sympa ton article, je m'amusais à faire du squid mais là c'est vachement plus simple !

J'ai posté un commentaire mais je suis pas sur qu'il soit passé, dans request ta une option localAddress qui te permets d'utiliser les failovers. Un serveur peut donc te servir pour plusieurs ips ;)


CeKwa ?

J'aime ❤️

Hors ligne

#28

J
jhdscriptRecruit
45 messages0 j'aimedepuis 2016
Site Web
Distinctions · 4
10 ansPilierClinicienAccueillant

Re : Les bons proxies pour scraper Google : Conseil et Feedback

Oui je validé le commentaire ce soir. Et j essaie le fo ce soir

J'aime ❤️

Hors ligne

#29 scraper, google, proxy

cb_nalexScout
784 messages2 j'aimedepuis 2014
Distinctions · 8
12 ansPilier VClinicien IVPremier secours IVAccueillant IVStratège IIPolyvalentIngénieur web

Re : Les bons proxies pour scraper Google : Conseil et Feedback

Pour ma part j'utilise VPtunnel c'est pas trop mal après pour scraper Google j'ai aussi des soucis parfois.
Perso @effi10 si tu veux scrapper 5000KW sans proxy ou consort tu mets plus d'une journée car tu tombes même si tu mets du delay entre chaque KW ^^
Déjà test au début je faisais sans rien avec pas mal de mots ben je conseille pas


°¨¨°³º¤£ [  COOLBYTES  ] £¤º³°¨¨° - Skype: cb_nalex_levrai

J'aime ❤️

Hors ligne

#30 google, api

duan78Scout
589 messages2 j'aimedepuis 2012Paris
Site Web
Distinctions · 9
12 ansConsommateur de liensPilier VClinicien IIIPremier secours IVAccueillant IVStratège IIBusiness man IIPolyvalent

Re : Les bons proxies pour scraper Google : Conseil et Feedback

Vous connaissez un service de proxys Google passed par API ? (un peu comme ce que doit utiliser Gscraper ?)


Arnaud BOYER, eMarketing Manager @ Label Group

J'aime ❤️

Hors ligne

#31 keywords, google, proxy, serveur, limeproxy

cibouletteScout
391 messages5 j'aimedepuis 2015
Distinctions · 5
10 ansPilier IVClinicien IIIPremier secours IIAccueillant

Re : Les bons proxies pour scraper Google : Conseil et Feedback

Moi aussi mon petit témoignage.
Perso j'ai quelques serveur dédié SoYouStart, donc j'ai mis des Squid dessus rapidement (ça se configure en 30sec) + des proxys public + proxy LimeProxy

J'ai qualifié les keywords que je désire suivre d'une note de 1 a 10, dans mon soft j'ai mis une tranche de note pour chaque proxys, les proxys publiques scrapp tous les keywords entre 1 et 3 comme notes,  les LimeProxy scrapp de 4 a 7 et les proxy sur Squid scrapp de 7 a 10.

Quand un proxy public est cramé je le désactive de la list , si il a déjà réussi avant a scrappé, il se réactive automatiquement au bout d'un moment.

comme ça je peu scrapp pas mal de keywords dans la semaine sans avoir trop trop d'IP, je surveille 10.000 keywords environs.

Voila pour le moment ou je raconte un peu ma vie :)

Maintenant Question , vous envoyé combien de requête minutes a google par IP ?

J'aime ❤️

Hors ligne

#32 proxy

T
thoskoRecruit
3 messages0 j'aimedepuis 2016Montreuil
Distinctions · 5
Force polyvalente10 ansStratège IIBusiness manAutomate

Re : Les bons proxies pour scraper Google : Conseil et Feedback

Maintenant Question , vous envoyé combien de requête minutes a google par IP ?

Il semblerait que la bonne pratique soit de laisser entre 20 et 25 secondes entre chaque requête par proxy.

Comme indiqué plus bas, les IP privées sont plus efficace que les proxys, c'est certain. C'est plus onéreux, mais tu passeras moins de temps à maintenant. L'un dans l'autre, tu y gagnes forcément.

J'aime ❤️

Hors ligne

#33 google, footprint

W
WalidScoutAuteur
1 293 messages2 j'aimedepuis 2013
Distinctions · 6
Accueillant VI12 ansPilier VIClinicien VPremier secours VStratège
Expertise

Re : Les bons proxies pour scraper Google : Conseil et Feedback

thosko a écrit :

Il semblerait que la bonne pratique soit de laisser entre 20 et 25 secondes entre chaque requête par proxy.

Comme indiqué plus bas, les IP privées sont plus efficace que les proxys, c'est certain. C'est plus onéreux, mais tu passeras moins de temps à maintenant. L'un dans l'autre, tu y gagnes forcément.

Le timing est effectivement important, mais il y a une grande différence entre faire une requête innocente (un simple mot clé) et un footprint contenant inurl par exemple. Google aime tellement pas ça que même si tu essaies à la mano un certain nombre de fois il va te balancer un captcha, donc sur footprints avec opérateur de recherche, pour de la masse, l'ip privée est aussi innéfficace que ton ip domestique, à moins d'en avoir vraiment beaucoup, mais vraiment beaucoup

J'aime ❤️

Hors ligne

#34 mots-clés, footprint

T
thoskoRecruit
3 messages0 j'aimedepuis 2016Montreuil
Distinctions · 5
Force polyvalente10 ansStratège IIBusiness manAutomate

Re : Les bons proxies pour scraper Google : Conseil et Feedback

Oui, je parlais de simples mots-clés. Effectivement, le captcha arrive très rapidement sur des footprints et ce, peu importe la méthode utilisée !
L'interrogation pour des footprint est difficilement industrialisable même avec un très grand nombre d'IPs.

J'aime ❤️

Hors ligne

#35 proxy, publiques

W
WalidScoutAuteur
1 293 messages2 j'aimedepuis 2013
Distinctions · 6
Accueillant VI12 ansPilier VIClinicien VPremier secours VStratège
Expertise

Re : Les bons proxies pour scraper Google : Conseil et Feedback

thosko a écrit :

Oui, je parlais de simples mots-clés. Effectivement, le captcha arrive très rapidement sur des footprints et ce, peu importe la méthode utilisée !
L'interrogation pour des footprint est difficilement industrialisable même avec un très grand nombre d'IPs.

C'est pas facile, mais c'est possible. La solution les proxys publiques.... beaucoup de proxy publiques

J'aime ❤️

Hors ligne

Accueil › Scraping et données › Les bons proxies pour scraper Google : Conseil et Feedback

Haut

Pied de page des forums