Vous n'êtes pas identifié(e).

  • Contributions :
  • Vos boîtes de messages privés sont vides.

Annonce

Participez au Concours Seo 2016 Officiel ! | Faites un bond en avant avec la formation SEO Ranking Skills le 15 Février 2017

#26 2016-01-22 23:20:30

Mention Bigorno
Soldier
Inscription : 2013-02-07
Messages : 1 850

Sémantique
Audit et Analyse
Netlinking
PHP

Re : Les bons proxies pour scraper Google : Conseil et Feedback

jhdscript a écrit :

J ai dev ça y a un moment mais en lisant effi qui shared certaines sources je me suis dit pourquoi ne pas shared aussi. Du coup un coup de gît un coup de nom et un petit article pour la communauté. Si le lien gêne je peux le virer dites moi.


Non tu as placé le lien où il fallait quand il fallait. C'est intéressant.


Fatigué du SEO sans résultats ? Je te propose :

1 => Un vrai Road Map SEO - 2 => Une Optimisation aux petits oignons - 3 => Des Prestations de Trust Linking
Mon Id Skype : walid.gabteni - Mon site : Light On SEO

Hors ligne

#27 2016-01-23 10:53:33

Mention Soul
Soldier
Lieu : Annecy
Inscription : 2013-01-02
Messages : 531

PHP
Netlinking Auto
Advertising
Site Web

Re : Les bons proxies pour scraper Google : Conseil et Feedback

Très sympa ton article, je m'amusais à faire du squid mais là c'est vachement plus simple !

J'ai posté un commentaire mais je suis pas sur qu'il soit passé, dans request ta une option localAddress qui te permets d'utiliser les failovers. Un serveur peut donc te servir pour plusieurs ips wink


CeKwa ?

Hors ligne

#28 2016-01-23 14:24:45

Mention jhdscript
Recruit
Inscription : 2016-01-05
Messages : 45
Site Web

Re : Les bons proxies pour scraper Google : Conseil et Feedback

Oui je validé le commentaire ce soir. Et j essaie le fo ce soir

Hors ligne

#29 2016-01-24 00:27:10

Mention cb_nalex
Soldier
Inscription : 2014-04-26
Messages : 590

Html Css
Netlinking
Sémantique
Audit et Analyse

Re : Les bons proxies pour scraper Google : Conseil et Feedback

Pour ma part j'utilise VPtunnel c'est pas trop mal après pour scraper Google j'ai aussi des soucis parfois.
Perso @effi10 si tu veux scrapper 5000KW sans proxy ou consort tu mets plus d'une journée car tu tombes même si tu mets du delay entre chaque KW ^^
Déjà test au début je faisais sans rien avec pas mal de mots ben je conseille pas


°¨¨°³º¤£ [  COOLBYTES  ] £¤º³°¨¨° - Skype: cb_nalex_levrai

Hors ligne

#30 2016-01-25 15:09:26

Mention duan78
Scout
Lieu : Paris
Inscription : 2012-08-31
Messages : 589

Audit et Analyse
Sémantique
Marketing
Social Engineering
Site Web

Re : Les bons proxies pour scraper Google : Conseil et Feedback

Vous connaissez un service de proxys Google passed par API ? (un peu comme ce que doit utiliser Gscraper ?)


Arnaud BOYER, eMarketing Manager @ Label Group

Hors ligne

#31 2016-02-15 16:31:57

Mention ciboulette
Soldier
Inscription : 2015-11-01
Messages : 259

Re : Les bons proxies pour scraper Google : Conseil et Feedback

Moi aussi mon petit témoignage.
Perso j'ai quelques serveur dédié SoYouStart, donc j'ai mis des Squid dessus rapidement (ça se configure en 30sec) + des proxys public + proxy LimeProxy

J'ai qualifié les keywords que je désire suivre d'une note de 1 a 10, dans mon soft j'ai mis une tranche de note pour chaque proxys, les proxys publiques scrapp tous les keywords entre 1 et 3 comme notes,  les LimeProxy scrapp de 4 a 7 et les proxy sur Squid scrapp de 7 a 10.

Quand un proxy public est cramé je le désactive de la list , si il a déjà réussi avant a scrappé, il se réactive automatiquement au bout d'un moment.

comme ça je peu scrapp pas mal de keywords dans la semaine sans avoir trop trop d'IP, je surveille 10.000 keywords environs.

Voila pour le moment ou je raconte un peu ma vie smile

Maintenant Question , vous envoyé combien de requête minutes a google par IP ?

Hors ligne

#32 2016-02-17 10:00:02

Mention thosko
Recruit
Lieu : Montreuil
Inscription : 2016-02-16
Messages : 3

Scraping
Audit et Analyse
Sémantique
Marketing
Site Web

Re : Les bons proxies pour scraper Google : Conseil et Feedback

Maintenant Question , vous envoyé combien de requête minutes a google par IP ?

Il semblerait que la bonne pratique soit de laisser entre 20 et 25 secondes entre chaque requête par proxy.

Comme indiqué plus bas, les IP privées sont plus efficace que les proxys, c'est certain. C'est plus onéreux, mais tu passeras moins de temps à maintenant. L'un dans l'autre, tu y gagnes forcément.

Hors ligne

#33 2016-02-17 11:55:12

Mention Bigorno
Soldier
Inscription : 2013-02-07
Messages : 1 850

Sémantique
Audit et Analyse
Netlinking
PHP

Re : Les bons proxies pour scraper Google : Conseil et Feedback

thosko a écrit :

Il semblerait que la bonne pratique soit de laisser entre 20 et 25 secondes entre chaque requête par proxy.

Comme indiqué plus bas, les IP privées sont plus efficace que les proxys, c'est certain. C'est plus onéreux, mais tu passeras moins de temps à maintenant. L'un dans l'autre, tu y gagnes forcément.

Le timing est effectivement important, mais il y a une grande différence entre faire une requête innocente (un simple mot clé) et un footprint contenant inurl par exemple. Google aime tellement pas ça que même si tu essaies à la mano un certain nombre de fois il va te balancer un captcha, donc sur footprints avec opérateur de recherche, pour de la masse, l'ip privée est aussi innéfficace que ton ip domestique, à moins d'en avoir vraiment beaucoup, mais vraiment beaucoup


Fatigué du SEO sans résultats ? Je te propose :

1 => Un vrai Road Map SEO - 2 => Une Optimisation aux petits oignons - 3 => Des Prestations de Trust Linking
Mon Id Skype : walid.gabteni - Mon site : Light On SEO

Hors ligne

#34 2016-02-17 12:55:19

Mention thosko
Recruit
Lieu : Montreuil
Inscription : 2016-02-16
Messages : 3

Scraping
Audit et Analyse
Sémantique
Marketing
Site Web

Re : Les bons proxies pour scraper Google : Conseil et Feedback

Oui, je parlais de simples mots-clés. Effectivement, le captcha arrive très rapidement sur des footprints et ce, peu importe la méthode utilisée !
L'interrogation pour des footprint est difficilement industrialisable même avec un très grand nombre d'IPs.

Hors ligne

#35 2016-02-17 12:58:02

Mention Bigorno
Soldier
Inscription : 2013-02-07
Messages : 1 850

Sémantique
Audit et Analyse
Netlinking
PHP

Re : Les bons proxies pour scraper Google : Conseil et Feedback

thosko a écrit :

Oui, je parlais de simples mots-clés. Effectivement, le captcha arrive très rapidement sur des footprints et ce, peu importe la méthode utilisée !
L'interrogation pour des footprint est difficilement industrialisable même avec un très grand nombre d'IPs.

C'est pas facile, mais c'est possible. La solution les proxys publiques.... beaucoup de proxy publiques


Fatigué du SEO sans résultats ? Je te propose :

1 => Un vrai Road Map SEO - 2 => Une Optimisation aux petits oignons - 3 => Des Prestations de Trust Linking
Mon Id Skype : walid.gabteni - Mon site : Light On SEO

Hors ligne

Pied de page des forums