Vous n'êtes pas identifié(e).

  • Contributions :
  • Vos boîtes de messages privés sont vides.

Annonce

Participez au Concours Seo 2016 Officiel ! | Faites un bond en avant avec la formation SEO Ranking Skills le 15 Février 2017

#1 2015-03-28 09:28:03

Mention Bigorno
Soldier
Inscription : 2013-02-07
Messages : 1 815

Sémantique
Audit et Analyse
Netlinking
PHP

Les bons proxies pour scraper Google : Conseil et Feedback

On a tous, ou presque tous, déjà galéré avec ces questions de proxy privé pour scraper Google, pour du harvesting du check de positions ou autre.

Proxies privés qui crament assez rapidement
proxy blacklisté alors que le proxy checker sur scrapebox ou le check against Google de GSA nous annonce qu'il est bon
harvest qui fonctionne sur la moitié des mots clés et qui bloque sur l'autre moitié des keywords
Bref, des proxies qui semblent merder
Qu'ils soient dédiés ou partagés (semi privés), on s'est aussi tous demandé quel est le meilleur fournisseur de proxys ?

Voici un petit conseil pour mieux checker vos proxies et un petit retour d'expérience avec les proxy privés et semi privés, je n'ai pas essayé des tonnes de fournisseurs, mais quelques uns quand même dont

MyPrivateproxy
Yourprivateproxy
Buyproxies
Proxy-Hub
SquidProxies

... et peut être un autre ou deux que j'ai oublié


1) Mieux checker vos proxies pour savoir s'ils sont vraiment Google Passed

Sur les tools que vous utilisez, genre Scrapebox ou GSA, surtout si c'est pour faire du harvesting à base de footprints avancés ou avec opérateurs de recherche, oubliez le "Google Test" ou le "Check against Google" !

Ce qu'il va se passer c'est que le proxy va se connecter à Google, il aura bien un code de réponse HTTP 200, et il va considérer que le proxy n'est pas blacklisté, donc c'est un Google passed, mais ça ne se passe pas comme ça en réalité.

Se connecter à Google est une chose, envoyer une requête c'est autre chose. Il est fréquent qu'un proxy puisse se connecter à Google, mais dès qu'il envoie une requête il est bloqué. Pour compliquer les choses, il se peut que certaines requêtes passent, et d'autres bloquent, là ça dépend de la complexité de votre footprint et de la présence ou non d'opérateurs de recherche.

En résumé ne faites plus de simple Google CHeck mais des Custom check, ou vous pouvez choisir l'url

Si vous voulez faire du scrapping sur de simples mots clés ou du check de positions

Url du custom check par exemple : https://www.google.fr/#q=seo

Si vous voulez faire du harvesting Mot Clés + footprints
Url du custom check par exemple :  https://www.google.fr/#q=seo+inurl:referencement+intitle:expert

Là vous constaterez que les résultats sont pas les mêmes, c'est beaucoup plus sévère, mais c'est bcp plus fiable derrière.


2) Mon retour sur les fournisseurs de proxies

J'ai eu des problèmes avec tous les fournisseurs, j'ai toujours eu besoin de contacter le support parce que des proxies sont morts. Je me suis fait une raison, faut pas rêver, les proxies crament. Le seul moyen c'est de mieux gérer le timing... ou encore d'être plus malin dans la recherche de sources et utiliser des publics en masse.

D'ailleurs si vous prenez 10 ou 20 proxy, c'est monnaie courante que dans la liste y en ai un ou deux qui soient déjà mort avant même que vous les ayez utilisé. Je l'ai eu chez plusieurs fournisseurs.

Là en ce moment je continue de tester Buyproxies, mais voilà pourquoi je pense que je ne vais pas rester longtemps chez eux. Un truc que je déteste, c'est la mauvaise fois. Tu contactes les mecs pour leur dire que les proxy merdent, eux les checkent de leur coté pour te répondre avec un joli screenshot qu'il n y a aucun pb avec leurs proxies... Alors derrière t'es obligé d'envoyer un autre message sur le ticket pour leur expliquer gentillement que t'en a rien à foutre que ça marche chez eux et qu'il faut que ça marche aussi chez toi, si besoin tu envoies aussi un screen shot histoire de leur demander de se bouger le cul.

Comme je vous l'ai dit je me suis fait une raison, des proxy qui crament, c'est normal, donc le point important à mes yeux c'est la rapidité du support, et la réactivité pour te remplacer les proxy. Si les mecs sont prises de tête, ou cherchent à te montrer à tout prix que le pb vient de chez toi, ben déjà c'est pas bon signe.


Fatigué du SEO sans résultats ? Je te propose :

1 => Un vrai Road Map SEO - 2 => Une Optimisation aux petits oignons - 3 => Des Prestations de Trust Linking
Mon Id Skype : walid.gabteni - Mon site : Light On SEO

Hors ligne

#2 2015-03-29 07:45:43

Mention Automate
Scout
Inscription : 2014-03-27
Messages : 313

Re : Les bons proxies pour scraper Google : Conseil et Feedback

Tiens j'ai cherché mais j'ai pas truové, c'est possible de faire ces "custom check" sous scrapebox Bigorno ?

En tout cas, merci pour le retour wink

Hors ligne

#3 2015-03-29 09:21:45

Mention Yeurl
Scout
Inscription : 2014-08-20
Messages : 457

Audit et Analyse
Automatisation Web
C#
Social Engineering
Site Web

Re : Les bons proxies pour scraper Google : Conseil et Feedback

Merci Bigorno pour ce retour d'expérience.

Ton post me confirme deux choses:
    - Bien que j'ai des proxy "Google Passed", dès que je me met à envoyer de la requête dessus ça plantouille. Le problème avec ces outils, c'est que l'on ne sait pas ce qu'ils font comme test pour vérifier que ca passe dans Google. Comme tu l'indiques, si ca en reste a "je me connecte sur Google avec le proxi et j'ai un HTTP 200 alors ok je suis bon pour le service de google", c est pas suffisant. Le test serait mieux avec connexion + requête.
    - J'hésite encore a passer sur des proxy payant, mais a vu de nez ca à l air d etre le brun aussi. Pour le coup, tu dois bien avoir une différence au niveau des résultats de tes requêtes ?


Mon blog de geek SEO: http://www.moise-le-geek.fr/

Hors ligne

#4 2015-03-29 09:40:58

Mention jeromeweb
Soldier
Lieu : pas loin de paris
Inscription : 2014-10-12
Messages : 955

PHP
Automatisation Web

Re : Les bons proxies pour scraper Google : Conseil et Feedback

J'ai l'impression que le test avec rddz est plus précis contrairement à scrapebox : il indique tout de suite si captha ou pas


Blog perso jeromeweb.net - site pro : jerome-pasquelin.fr

Hors ligne

#5 2015-07-30 08:02:45

Mention Dukofo
Soldier
Inscription : 2015-07-21
Messages : 849

Audit et Analyse
Netlinking

Re : Les bons proxies pour scraper Google : Conseil et Feedback

Voulant essayer Rddz scrapper, je me demandais quel serais le risque de ne pas utiliser de proxies du tout ?
De lancer un scrapp sans rien, à la cool wink

Hors ligne

#6 2015-07-30 08:25:04

Mention msieur_benjamin
Scout
Inscription : 2014-10-02
Messages : 230

Re : Les bons proxies pour scraper Google : Conseil et Feedback

Pour ma part proxy cramés avec buyproxies aussitôt remplacés t as pas eu de chance!

Hors ligne

#7 2015-07-30 10:48:15

Mention cb_nalex
Soldier
Inscription : 2014-04-26
Messages : 581

Html Css
Netlinking
Sémantique
Audit et Analyse

Re : Les bons proxies pour scraper Google : Conseil et Feedback

@Dukofo ben c'est simple tu auras très rapidement droit au captcha de Google donc cela bloquera le scrapp après tu peux utiliser un systeme de casse de captcha genre deapthbycaptcha. Mais je suis pas sur que c'est cool de dire à Google que ton ip est celle d'un vieux vilain qui lui viol ses SERPS.
Surtout si tu es en ip fixe.


°¨¨°³º¤£ [  COOLBYTES  ] £¤º³°¨¨° - Skype: cb_nalex_levrai

Hors ligne

#8 2015-07-30 11:34:21

Mention Dukofo
Soldier
Inscription : 2015-07-21
Messages : 849

Audit et Analyse
Netlinking

Re : Les bons proxies pour scraper Google : Conseil et Feedback

Ok, Je change d'appartement dans le week end, avant d'acheter des proxies je vais peut être l'essayer.
Merci.

Hors ligne

#9 2015-07-30 13:16:22

Mention lapido
Scout
Inscription : 2014-12-14
Messages : 351

Re : Les bons proxies pour scraper Google : Conseil et Feedback

Perso et sur recommandation j'utilise https://instantproxies.com/ leur système check les proxies même avant de les acheter (et leur prix est intéressant) car j'ai eu aussi pas mal de problème avec Buyproxies

Dernière modification par lapido (2015-07-30 13:19:53)

Hors ligne

#10 2015-09-28 18:10:29

Mention Bernardinho
Scout
Inscription : 2014-01-25
Messages : 184

Re : Les bons proxies pour scraper Google : Conseil et Feedback

Lapido, toujours satisfait de instantproxies ?

Hors ligne

#11 2015-09-28 18:18:26

Mention winSA
Scout
Lieu : Normandie
Inscription : 2015-04-25
Messages : 369

Netlinking
Audit et Analyse
intégration Html Css
Développement PHP

Re : Les bons proxies pour scraper Google : Conseil et Feedback

Merci a toi pour les explication sur le Google test. 

Pour ma part j'ai testé YourPrivateProxy et ça fonctionne plutôt bien.

@Dukofo Une dizaine de proxies ça coûte pas grand chose. Mieux vaut ne pas s'en priver. wink


Référencez votre site sur Annuaire-pagerank.com
Inscrivez votre Ecommerce sur ConseilsShopping.com

Hors ligne

#12 2015-09-28 18:19:17

Mention Bernardinho
Scout
Inscription : 2014-01-25
Messages : 184

Re : Les bons proxies pour scraper Google : Conseil et Feedback

Et en shared proxies vous conseillez quoi? (not scrap google)

Hors ligne

#13 2015-09-29 07:42:16

Mention effi10
Scout
Lieu : Troyes
Inscription : 2013-09-10
Messages : 216

Scraping
Développement C#
Content Spinning
Rédaction
Site Web

Re : Les bons proxies pour scraper Google : Conseil et Feedback

Bonjour

Je suis probablement stupide, mais perso je n'utilise plus de proxies depuis un moment (j'avais dév. un outil qui permettant de "scraper" des listes de proxies gratuits à la volée, et donc de les utiliser, mais ça fonctionnait quelques minutes seulement car très rapidement ils tombaient - trop chiant !)

Quand je scrape (rarement Google je l'admets) je temporise, point barre. Temps aléatoire entre deux requêtes entre 1.5 et 5 secondes pour Google, et ça passe sans soucis. Après c'est clair que si je dois scraper 5000 KW, faudra y passer la journée...

Je scrape essentiellement aujourd'hui des sites fournisseurs (pour les e-commerce que je gère) ou des sites concurrents roll donc une tempo de 0.8 à 2 secondes permet de passer sous les radars (je fais par "salves" de pages pour paraître plus humain lol)

Un jour quand j'aurai les moyens (et l'envie) de claquer du fric, je me prendrai des proxies privés, mais aujourd'hui pas trop d'intérêt.


effiSpin, c'est moi ;-)

Hors ligne

#14 2015-09-29 07:48:52

Mention Bernardinho
Scout
Inscription : 2014-01-25
Messages : 184

Re : Les bons proxies pour scraper Google : Conseil et Feedback

Tu passes par un VPN Effi donc ?

Hors ligne

#15 2016-01-22 10:52:05

Mention Nico
Recruit
Inscription : 2014-12-01
Messages : 26

Re : Les bons proxies pour scraper Google : Conseil et Feedback

Hello à tous,
je relance le sujet si vous aviez de nouveaux retours ?
J'utilise buyproxies actuellement, et au bout de 500/1000 requêtes (1/sec sur une IP diff), certains proxies commence à avoir des erreurs réseaux pendant quelques minutes, ce qui ralentie considérablement le scrap ( ce n'est pas du ban mais bien un proxy qui ne répond plus).

Avez vous un retour d'expérience dans ce sens ? des services avec un temps de réponse bas et fiable dans le temps ?

Merci

Hors ligne

#16 2016-01-22 12:59:17

Mention effi10
Scout
Lieu : Troyes
Inscription : 2013-09-10
Messages : 216

Scraping
Développement C#
Content Spinning
Rédaction
Site Web

Re : Les bons proxies pour scraper Google : Conseil et Feedback

Zut j'avions pas vu la question de Bernardinho... Non pas de VPN big_smile

Depuis peu me suis remis aux proxies gratuits (j'en sélectionne une liste d'une vingtaine, m'en ressort généralement 4 ou 5, qui fonctionne suffisamment longtemps pour mon usage)

Au niveau de mes dévs. perso je les utilise pas trop.


effiSpin, c'est moi ;-)

Hors ligne

#17 2016-01-22 13:15:44

Mention salemioche
Scout
Inscription : 2015-10-09
Messages : 247

Adminstration Serveur
PHP
Scraping
Cloaking

Re : Les bons proxies pour scraper Google : Conseil et Feedback

J'ai plutot une bonne expérience avec buyproxies de mon coté, aucun soucis avec le service, meme si la liste n'est pas toujours clean, j'ai toujours eu du neuf très très vite.
Sinon Ips privées, si on a déjà le serveur, c'est plus efficace que les proxy


__
Powering Nikozen

Hors ligne

#18 2016-01-22 13:28:12

Mention Bigorno
Soldier
Inscription : 2013-02-07
Messages : 1 815

Sémantique
Audit et Analyse
Netlinking
PHP

Re : Les bons proxies pour scraper Google : Conseil et Feedback

salemioche a écrit :

Sinon Ips privées, si on a déjà le serveur, c'est plus efficace que les proxy

Je me demande d'ailleurs pourquoi j'ai mis autant de temps à le comprendre, mais je crois bien que c'est le must.


Fatigué du SEO sans résultats ? Je te propose :

1 => Un vrai Road Map SEO - 2 => Une Optimisation aux petits oignons - 3 => Des Prestations de Trust Linking
Mon Id Skype : walid.gabteni - Mon site : Light On SEO

Hors ligne

#19 2016-01-22 17:29:25

Mention Cherubin
Scout
Inscription : 2012-09-10
Messages : 261

Marketing
Sémantique
Social Engineering
Audit et Analyse

Re : Les bons proxies pour scraper Google : Conseil et Feedback

Yep, les failover c'est le top smile Mais ça coute de plus en plus cher...

Hors ligne

#20 2016-01-22 18:24:29

Mention Bigorno
Soldier
Inscription : 2013-02-07
Messages : 1 815

Sémantique
Audit et Analyse
Netlinking
PHP

Re : Les bons proxies pour scraper Google : Conseil et Feedback

Cherubin a écrit :

Yep, les failover c'est le top smile Mais ça coute de plus en plus cher...

Je pensais que c'était le contraire, qu'avant tu les payais tous les mois, mais que maintenant tu les achetaient une fois pour toute... c'est pas le cas ?

Sinon je pense qu'elles sont moins cramées que les proxy... mais même les fail over ça restera du bas de gamme. Tant que ça permet de scrapper tranquillou


Fatigué du SEO sans résultats ? Je te propose :

1 => Un vrai Road Map SEO - 2 => Une Optimisation aux petits oignons - 3 => Des Prestations de Trust Linking
Mon Id Skype : walid.gabteni - Mon site : Light On SEO

Hors ligne

#21 2016-01-22 20:10:36

Mention Cherubin
Scout
Inscription : 2012-09-10
Messages : 261

Marketing
Sémantique
Social Engineering
Audit et Analyse

Re : Les bons proxies pour scraper Google : Conseil et Feedback

Si mais tu es limité, probablement la "pénurie" d'ipv4, après tout dépend du volume de scrap aussi, évidemment wink

Hors ligne

#22 2016-01-22 20:43:15

Mention jhdscript
Recruit
Inscription : 2016-01-05
Messages : 45
Site Web

Re : Les bons proxies pour scraper Google : Conseil et Feedback

Bon je pense que mon article suivant peut vous intéresser car il est dans la mouvance du moment: NodeJs et Proxy Privé.

Hésitez pas à me faire vos retours.

Hors ligne

#23 2016-01-22 21:23:09

Mention salemioche
Scout
Inscription : 2015-10-09
Messages : 247

Adminstration Serveur
PHP
Scraping
Cloaking

Re : Les bons proxies pour scraper Google : Conseil et Feedback

J'ai fais mes courses avant la pénurie, alors j'ai un peu de volume, mais effectivité chez ovh, tu payes 2€ de setup et c'est tout, mais ca change tout le temps, a un moment, c'etait 1 ou 2€ / mois, j'ai souffert, mais finalement, bien fait de les garder cool

Ensuite via lowenbox.com tu trouves des vps pas cher, par exemple chez http://www.gbservers.co.uk/cheap-xenpv-vps/ pour £4.3 tu as un VPS avec 5 IPs


__
Powering Nikozen

Hors ligne

#24 2016-01-22 23:15:33

Mention Bigorno
Soldier
Inscription : 2013-02-07
Messages : 1 815

Sémantique
Audit et Analyse
Netlinking
PHP

Re : Les bons proxies pour scraper Google : Conseil et Feedback

jhdscript a écrit :

Bon je pense que mon article suivant peut vous intéresser car il est dans la mouvance du moment: NodeJs et Proxy Privé.

Hésitez pas à me faire vos retours.

T'as écris le billet aujourd'hui pour placer ton bl le même jour c'est ça ? big_smile

Il est très bien ton billet


Fatigué du SEO sans résultats ? Je te propose :

1 => Un vrai Road Map SEO - 2 => Une Optimisation aux petits oignons - 3 => Des Prestations de Trust Linking
Mon Id Skype : walid.gabteni - Mon site : Light On SEO

Hors ligne

#25 2016-01-22 23:17:45

Mention jhdscript
Recruit
Inscription : 2016-01-05
Messages : 45
Site Web

Re : Les bons proxies pour scraper Google : Conseil et Feedback

J ai dev ça y a un moment mais en lisant effi qui shared certaines sources je me suis dit pourquoi ne pas shared aussi. Du coup un coup de gît un coup de nom et un petit article pour la communauté. Si le lien gêne je peux le virer dites moi.

Hors ligne

Pied de page des forums