Vous n'êtes pas identifié(e).

  • Contributions :
  • Vos boîtes de messages privés sont vides.

🟣 Les bons proxies pour scraper Google : Conseil et Feedback


#21 2016-01-22 20:10:36

Mention Cherubin
🥉 Grade : Scout

AuxiliaireStratègeBusiness Man
Inscription : 2012-09-10
Messages : 457
Likes : 3

Marketing
Sémantique
Social Engineering
Audit et Analyse

Re : Les bons proxies pour scraper Google : Conseil et Feedback

Si mais tu es limité, probablement la "pénurie" d'ipv4, après tout dépend du volume de scrap aussi, évidemment wink

0
J'aime ❤️

🔴 Hors ligne

#22 2016-01-22 20:43:15

Mention jhdscript
♟️ Grade : Recruit

Disciple
Inscription : 2016-01-05
Messages : 45
Likes : 0
Site Web

Re : Les bons proxies pour scraper Google : Conseil et Feedback

Bon je pense que mon article suivant peut vous intéresser car il est dans la mouvance du moment: NodeJs et Proxy Privé.

Hésitez pas à me faire vos retours.

0
J'aime ❤️

🔴 Hors ligne

#23 2016-01-22 21:23:09

Mention salemioche
🥉 Grade : Scout

AuxiliaireIngénieur webStratège
Inscription : 2015-10-09
Messages : 250
Likes : 0

Adminstration Serveur
PHP
Scraping
Cloaking

Re : Les bons proxies pour scraper Google : Conseil et Feedback

J'ai fais mes courses avant la pénurie, alors j'ai un peu de volume, mais effectivité chez ovh, tu payes 2€ de setup et c'est tout, mais ca change tout le temps, a un moment, c'etait 1 ou 2€ / mois, j'ai souffert, mais finalement, bien fait de les garder cool

Ensuite via lowenbox.com tu trouves des vps pas cher, par exemple chez http://www.gbservers.co.uk/cheap-xenpv-vps/ pour £4.3 tu as un VPS avec 5 IPs


__
Powering Nikozen

0
J'aime ❤️

🔴 Hors ligne

#24 2016-01-22 23:15:33

Mention Walid
🥉 Grade : Scout

Auxiliaire1000 messagesMembre Hospitalier
Inscription : 2013-02-07
Messages : 1 293
Likes : 2

Sémantique

Re : Les bons proxies pour scraper Google : Conseil et Feedback

jhdscript a écrit :

Bon je pense que mon article suivant peut vous intéresser car il est dans la mouvance du moment: NodeJs et Proxy Privé.

Hésitez pas à me faire vos retours.

T'as écris le billet aujourd'hui pour placer ton bl le même jour c'est ça ? big_smile

Il est très bien ton billet

0
J'aime ❤️

🔴 Hors ligne

#25 2016-01-22 23:17:45

Mention jhdscript
♟️ Grade : Recruit

Disciple
Inscription : 2016-01-05
Messages : 45
Likes : 0
Site Web

Re : Les bons proxies pour scraper Google : Conseil et Feedback

J ai dev ça y a un moment mais en lisant effi qui shared certaines sources je me suis dit pourquoi ne pas shared aussi. Du coup un coup de gît un coup de nom et un petit article pour la communauté. Si le lien gêne je peux le virer dites moi.

0
J'aime ❤️

🔴 Hors ligne

#26 2016-01-22 23:20:30

Mention Walid
🥉 Grade : Scout

Auxiliaire1000 messagesMembre Hospitalier
Inscription : 2013-02-07
Messages : 1 293
Likes : 2

Sémantique

Re : Les bons proxies pour scraper Google : Conseil et Feedback

jhdscript a écrit :

J ai dev ça y a un moment mais en lisant effi qui shared certaines sources je me suis dit pourquoi ne pas shared aussi. Du coup un coup de gît un coup de nom et un petit article pour la communauté. Si le lien gêne je peux le virer dites moi.


Non tu as placé le lien où il fallait quand il fallait. C'est intéressant.

0
J'aime ❤️

🔴 Hors ligne

#27 2016-01-23 10:53:33

Mention Soul
🥈 Grade : Soldier

Membre du CercleOfficierForce Polyvalente
Lieu : Annecy
Inscription : 2013-01-02
Messages : 586
Likes : 1

PHP
Netlinking Auto
Advertising
Site Web

Re : Les bons proxies pour scraper Google : Conseil et Feedback

Très sympa ton article, je m'amusais à faire du squid mais là c'est vachement plus simple !

J'ai posté un commentaire mais je suis pas sur qu'il soit passé, dans request ta une option localAddress qui te permets d'utiliser les failovers. Un serveur peut donc te servir pour plusieurs ips wink


CeKwa ?

0
J'aime ❤️

🔴 Hors ligne

#28 2016-01-23 14:24:45

Mention jhdscript
♟️ Grade : Recruit

Disciple
Inscription : 2016-01-05
Messages : 45
Likes : 0
Site Web

Re : Les bons proxies pour scraper Google : Conseil et Feedback

Oui je validé le commentaire ce soir. Et j essaie le fo ce soir

0
J'aime ❤️

🔴 Hors ligne

#29 2016-01-24 00:27:10

Mention cb_nalex
🥉 Grade : Scout

AuxiliaireStratège
Inscription : 2014-04-26
Messages : 784
Likes : 2

Html Css
Netlinking
Sémantique
Audit et Analyse

Re : Les bons proxies pour scraper Google : Conseil et Feedback

Pour ma part j'utilise VPtunnel c'est pas trop mal après pour scraper Google j'ai aussi des soucis parfois.
Perso @effi10 si tu veux scrapper 5000KW sans proxy ou consort tu mets plus d'une journée car tu tombes même si tu mets du delay entre chaque KW ^^
Déjà test au début je faisais sans rien avec pas mal de mots ben je conseille pas


°¨¨°³º¤£ [  COOLBYTES  ] £¤º³°¨¨° - Skype: cb_nalex_levrai

0
J'aime ❤️

🔴 Hors ligne

#30 2016-01-25 15:09:26

Mention duan78
🥉 Grade : Scout

AuxiliaireStratègeBusiness ManConsomateur de Liens
Lieu : Paris
Inscription : 2012-08-31
Messages : 589
Likes : 1

Audit et Analyse
Sémantique
Marketing
Social Engineering
Site Web

Re : Les bons proxies pour scraper Google : Conseil et Feedback

Vous connaissez un service de proxys Google passed par API ? (un peu comme ce que doit utiliser Gscraper ?)


Arnaud BOYER, eMarketing Manager @ Label Group

0
J'aime ❤️

🔴 Hors ligne

#31 2016-02-15 16:31:57

Mention ciboulette
🥉 Grade : Scout

Auxiliaire
Inscription : 2015-11-01
Messages : 391
Likes : 5

Re : Les bons proxies pour scraper Google : Conseil et Feedback

Moi aussi mon petit témoignage.
Perso j'ai quelques serveur dédié SoYouStart, donc j'ai mis des Squid dessus rapidement (ça se configure en 30sec) + des proxys public + proxy LimeProxy

J'ai qualifié les keywords que je désire suivre d'une note de 1 a 10, dans mon soft j'ai mis une tranche de note pour chaque proxys, les proxys publiques scrapp tous les keywords entre 1 et 3 comme notes,  les LimeProxy scrapp de 4 a 7 et les proxy sur Squid scrapp de 7 a 10.

Quand un proxy public est cramé je le désactive de la list , si il a déjà réussi avant a scrappé, il se réactive automatiquement au bout d'un moment.

comme ça je peu scrapp pas mal de keywords dans la semaine sans avoir trop trop d'IP, je surveille 10.000 keywords environs.

Voila pour le moment ou je raconte un peu ma vie smile

Maintenant Question , vous envoyé combien de requête minutes a google par IP ?

0
J'aime ❤️

🔴 Hors ligne

#32 2016-02-17 10:00:02

Mention thosko
♟️ Grade : Recruit

DiscipleStratège
Lieu : Montreuil
Inscription : 2016-02-16
Messages : 3
Likes : 0

Scraping
Audit et Analyse
Sémantique
Marketing

Re : Les bons proxies pour scraper Google : Conseil et Feedback

Maintenant Question , vous envoyé combien de requête minutes a google par IP ?

Il semblerait que la bonne pratique soit de laisser entre 20 et 25 secondes entre chaque requête par proxy.

Comme indiqué plus bas, les IP privées sont plus efficace que les proxys, c'est certain. C'est plus onéreux, mais tu passeras moins de temps à maintenant. L'un dans l'autre, tu y gagnes forcément.

0
J'aime ❤️

🔴 Hors ligne

#33 2016-02-17 11:55:12

Mention Walid
🥉 Grade : Scout

Auxiliaire1000 messagesMembre Hospitalier
Inscription : 2013-02-07
Messages : 1 293
Likes : 2

Sémantique

Re : Les bons proxies pour scraper Google : Conseil et Feedback

thosko a écrit :

Il semblerait que la bonne pratique soit de laisser entre 20 et 25 secondes entre chaque requête par proxy.

Comme indiqué plus bas, les IP privées sont plus efficace que les proxys, c'est certain. C'est plus onéreux, mais tu passeras moins de temps à maintenant. L'un dans l'autre, tu y gagnes forcément.

Le timing est effectivement important, mais il y a une grande différence entre faire une requête innocente (un simple mot clé) et un footprint contenant inurl par exemple. Google aime tellement pas ça que même si tu essaies à la mano un certain nombre de fois il va te balancer un captcha, donc sur footprints avec opérateur de recherche, pour de la masse, l'ip privée est aussi innéfficace que ton ip domestique, à moins d'en avoir vraiment beaucoup, mais vraiment beaucoup

0
J'aime ❤️

🔴 Hors ligne

#34 2016-02-17 12:55:19

Mention thosko
♟️ Grade : Recruit

DiscipleStratège
Lieu : Montreuil
Inscription : 2016-02-16
Messages : 3
Likes : 0

Scraping
Audit et Analyse
Sémantique
Marketing

Re : Les bons proxies pour scraper Google : Conseil et Feedback

Oui, je parlais de simples mots-clés. Effectivement, le captcha arrive très rapidement sur des footprints et ce, peu importe la méthode utilisée !
L'interrogation pour des footprint est difficilement industrialisable même avec un très grand nombre d'IPs.

0
J'aime ❤️

🔴 Hors ligne

#35 2016-02-17 12:58:02

Mention Walid
🥉 Grade : Scout

Auxiliaire1000 messagesMembre Hospitalier
Inscription : 2013-02-07
Messages : 1 293
Likes : 2

Sémantique

Re : Les bons proxies pour scraper Google : Conseil et Feedback

thosko a écrit :

Oui, je parlais de simples mots-clés. Effectivement, le captcha arrive très rapidement sur des footprints et ce, peu importe la méthode utilisée !
L'interrogation pour des footprint est difficilement industrialisable même avec un très grand nombre d'IPs.

C'est pas facile, mais c'est possible. La solution les proxys publiques.... beaucoup de proxy publiques

0
J'aime ❤️

🔴 Hors ligne

Pied de page des forums