🟣 Scraper Google

hello

j'avais ajouté un timer dans mon code de scraping, un chiffre aléatoire de 15 à 75 sec

tu scrap avec quoi ?

Il y a plusieurs solution mais il faudra payer

Acheter des proxy privés en ajoutant un timer comme conquering_lion le suggère et utiliser l'api deathbycaptcha quand google te balancera son captcha.

Ou loué un serveur dédié chez ovh et ajouter le nombre d'ip que tu voudra + deathbycaptcha, c'est assez cher par contre.

reverseproxies.com change tes proxies toutes les 10 minutes. Impeccable pour scrapper GG.

fludbis non pas besoin de payer pour scrapper, c'est pour poster qu'il faut payer des proxy

Je prends le risque de dire une bêtise. Si tu es arrivé à la 100ème page de résultats, c'est que tu as terminé avec cette requête... Il me semble que tu ne peux de toute façon pas arriver plus loin. Donc où est le problème ?

Es-tu certain que ton pb soit lié au nbre de pages de résultats que tu scrapes, ou est-ce que cela a à avoir avec le nombre de requêtes ?

Soit tu trouves une manière efficace de jongler avec les proxys, soit il te faudra passer par l'api d'un decaptcher.

Plus vraisemblablement il te faudra les deux, une très bonne gestion de proxys pour diminuer au maximum la confrontation au captcha et le service anti captcha quand il te sera demandé.

2/ 5000 ça veut dire que les sources ne sont pas fiables du tout. Après pas mal de galères de mon côté, j'arrive à me procurer des proxys gratuits pour scraper Google, et si moi j'y arrive n'importe qui peut y arriver. Le pari c'est d'arriver à en trouver une 100aine en 5 minutes.

Petit conseil pour garder seulement les bonnes sources de proxy

Eviter les listes de proxy publiées sur des blogs. En général elles sont pas dispo sur la home et il faut se rendre à l'url du post pour les voir. Le lendemain l'url est déjà obsolète les proxys sont tous morts. A moins de vouloir faire du one shot (et encore), rien à tirer de ces sources.

Préférer les proxys afficher sous forme de tableaux, toujours à la même url, l'url doit être toujours la même c'est la liste qui est mise à jour en temps réel ou presque. Quand tu scrapes ça tu te régales.

Concernant les proxy privés pour scraper, mois je suis déçu car ils se crament très très très vite. Avant c'était pas comme ça, mais là depuis que j'ai repris un peu le scraping je constate que Google est de plus en plus chaud, donc il faut une masse de proxy de toute façon (qu'il soit publics ou privés).

Au moment où tu utilisent un proxy que tu as trouvé gratos, il est probable que tu ne sois pas le seul à l'utiliser. Il est possible de le détecter soit par un requête/min trop important mais aussi par type de requêtes. Je peux t'assurer qu'il est plus soupe au lait avec des requêtes du type site:.edu intitle:"solar system" + "your web site" qu'avec le type de requêtes que tu entends effectuer

D'ailleurs on parles de combien de requêtes ? J'ai regardé un peu ce que tu as fait, mais tu penses pas que tu pourrais optimiser le nombre et l'intérêt des requêtes que tu checkes ?

Mmm... intéressante remarque. J'ai voulu vérifier un truc là maintenant mais smallseotools n'est pas accessible pr l'instant. Et si les requêtes n'étaient pas effectuées directement via Google mais via un pool de moteurs de recherche "powered by Google"

Généralement ces moteurs de recherche sont bridés par Google, par exemple tu ne peux pas aller au delà de la page 10, donc on te donne les positions seulement si tu es dans les 100 premiers.

Aussi, ces moteurs sont bridés au niveau des opérateurs de recherche avancés, normalement tu ne peux pas faire ce genre de requêtes farfelues inurl:wordpress site:.edu intext:"leave a comment" +inurl:09/2012

Faudrait aller sur Google taper ce footprint, prendre l'url du premier résultat et aller sur smallseotools et lancer un rank tracking de l'url sur le footprint en question

S'il te donne aucun résultat ba ptet qu'il passe pas par Google. Si tu as le rank alors moi aussi j'aimerai bien savoir comment ils font

Désolé mais tu as toujours scrapebox je sais j'insiste avec scrapebox