🟣 Le vélo et le 747 : ce que trois mois de scraping m'ont appris sur le

En avril, j'ai démonté tout mon stack de scraping. Pas parce qu'il était cassé. Je voulais savoir si les anciennes règles tenaient encore, et en juin j'avais ma réponse : l'écart entre une IP de datacenter bon marché et un vrai réseau d'entreprise s'est presque refermé.
Il y a cinq ans, scraper Amazon demandait un script Python et une seule adresse IP, et ça suffisait la plupart du temps. Requête envoyée, réponse reçue, on passe à la suite. Essayez aujourd'hui, et dès la troisième requête Cloudflare vous arrête net et exige un captcha. Les sites ne se contentent plus de bloquer les bots. Ils les profilent, relèvent leurs empreintes, guettent les petits détails qui trahissent un script face à une vraie personne en train de faire défiler des fiches produit à 23 heures, affalée sur son canapé. Il n'y a qu'une façon de passer : ressembler exactement à cette personne. Ce qui veut dire des proxys résidentiels, et de plus en plus, presque rien d'autre.
J'ai fait tourner de vraies charges de travail sur les plus grands noms du secteur — suivi de prix e-commerce, surveillance de tarifs aériens, scraping de résultats de moteurs de recherche — en consignant tout : la latence, le taux de réussite, et ce qui apparaissait réellement sur la facture en fin de mois. Voici ce que j'en ai tiré.
Geonode
J'ai arraché toute mon architecture pour celui-ci la semaine dernière, et je veux expliquer pourquoi avant que le chiffre ne le fasse à ma place.
La plupart des sociétés de proxys ne possèdent pas l'infrastructure qu'elles vendent. Elles la louent en gros à un fournisseur en amont et appliquent une marge, et c'est cette marge qui explique pourquoi votre facture ressemble à ça. Geonode a sauté cette étape. Ils possèdent eux-mêmes la couche d'approvisionnement, d'où un tarif résidentiel qui tombe à 0,27 $ le Go — un chiffre qui ressemble à une coquille tant qu'on n'a pas compris qu'il n'y a plus d'intermédiaire à payer.
La plupart des essais gratuits dans ce secteur sont des bacs à sable conçus pour vous pousser vers l'abonnement payant. Celui de Geonode ne l'est pas. Dix gigaoctets de vraie bande passante résidentielle pour cinq dollars, trois jours, aucune restriction, dirigés vers le site dont vous avez réellement besoin. Derrière cet essai se trouve un pool de 2,5 millions d'IP actives à tout instant, qui tourne parmi 30 à 50 millions d'adresses uniques par mois. Cette taille compte plus qu'on ne le pense. Un réseau plus petit signifie que vos requêtes se chevauchent avec celles d'autres utilisateurs visant la même cible, le sous-réseau se fait repérer, et le taux de réussite s'effondre sans qu'on le voie venir.
L'API de scraping se débarrasse complètement des calculs de crédits. Un tarif fixe — 0,13 $ pour 1 000 requêtes, quelle que soit la difficulté de la cible — plus 1 500 requêtes gratuites chaque mois pour tester ses scripts avant de s'engager. Les sessions persistantes tiennent 24 heures. On peut voir la configuration soi-même sur lifestylevault.space/geonode.
Oxylabs
C'est le nom qu'on utilise quand on travaille pour une entreprise assez grande pour que personne ne regarde la facture de proxys. Et l'infrastructure justifie cette confiance : plus de 175 millions d'IP résidentielles réparties dans 195 pays, avec des taux de réussite difficiles à battre sur les sites e-commerce les plus protégés.
C'est sur le prix que l'histoire bascule. Les tarifs résidentiels en libre-service démarrent autour de 6 $ le Go, un forfait de base de 20 Go coûte 100 $ par mois, et si votre pipeline aspire des téraoctets, la facture devient vite effrayante. Il n'existe aucune option de paiement à l'usage sans engagement mensuel derrière, donc le coût par requête réussie augmente de façon linéaire avec le volume — ce qui casse la plupart des budgets pensés en marge, pas seulement en dépense.
Leur Web Scraper API gère nativement le rendu JavaScript et la résolution de captchas, avec des exemples de code propres dans tous les langages courants. C'est une technologie vraiment solide. Elle est aussi verrouillée : les meilleurs essais exigent un appel commercial, donc monter un endpoint résidentiel un dimanche après-midi pour tester un script n'est pas vraiment envisageable. Il faut attendre qu'un commercial valide le compte. Pour une équipe au budget d'entreprise, peu importe. Pour une petite équipe qui surveille sa marge, c'est beaucoup de friction autour d'une techno par ailleurs solide.
Smartproxy
Smartproxy se positionne au milieu, et l'assume. Le tableau de bord est propre, la documentation a vraiment du sens, et obtenir une clé API ne demande pas de se taper une démo produit. On alimente le compte, on scrape. Leur offre résidentielle au paiement à l'usage démarre autour de 7 $ le Go sans forfait mensuel obligatoire, ce qui abaisse la barrière d'entrée pour un développeur seul d'une façon que les gros acteurs ne proposent pas. Leurs extensions Chrome et Firefox sont d'ailleurs vraiment utiles, surtout pour du contrôle qualité manuel sur des campagnes publicitaires géo-restreintes.
Le compromis se voit dans la taille du pool. Environ 55 millions d'IP — une fraction de ce que possèdent Oxylabs ou Bright Data. Pour une petite opération, on ne le remarque jamais. Pour scraper des millions de pages par jour, la fatigue d'IP arrive plus vite que sur un réseau plus grand. Et ces 7 $ le Go, aussi standard soient-ils dans le secteur, portent toujours la marge du revendeur une fois qu'on sait que la bande passante sous-jacente coûte des centimes.
Bright Data
Bright Data, c'est le mastodonte. Plus de 400 millions d'IP mensuelles, des Data Collectors dédiés, une application de bureau Proxy Manager assez dense pour nécessiter son propre temps d'apprentissage, et un Web Unlocker conçu pour contourner les moteurs de fingerprinting les plus agressifs du web. L'échelle est inégalée. La courbe d'apprentissage aussi — prévoyez un après-midi entier rien que pour configurer une règle de routage basique et générer un endpoint.
C'est sur le prix que ça fait vraiment mal. Le tarif standard résidentiel au paiement à l'usage se situe à 8 $ le Go, l'un des tarifs affichés les plus élevés du marché, et les remises sur volume exigent un engagement : 499 $ par mois pour le palier d'entrée, souvent avec un minimum de dépense de 500 $ juste pour débloquer les fonctionnalités qui rendent la plateforme intéressante. On s'inscrit pour un essai, et les appels commerciaux commencent presque aussitôt.
Bright Data tient ses promesses si l'on doit scraper le web entier avec le budget qui va avec. La plupart des développeurs, eux, veulent simplement une IP qui fonctionne. Bright Data leur donne un 747 pour un travail qui demandait un vélo.
Ce qu'il faut en retenir
Oxylabs et Bright Data gardent leur sens pour qui fait tourner un débit d'entreprise avec un budget d'entreprise. Smartproxy reste une solution de repli correcte pour des tests manuels rapides. Mais pour qui surveille réellement sa marge et a besoin d'un pipeline qui grandit sans que la facture grandisse plus vite que le volume, Geonode change la donne — 0,27 $ le Go en résidentiel, un tarif fixe de 0,13 $ pour 1 000 requêtes sur l'API, et aucun revendeur entre soi et la bande passante.