SemSpider : chaque page passée au crible

Scraper les résultats de recherche

#1 google, longue, résultats

mrcroftScout
199 messages5 j'aimedepuis 2018
Site Web
Distinctions · 9
Consommateur de liens7 ansPilier IIIAccueillant IVStratège IIBusiness man IIPolyvalentClinicienPremier secours II

Scraper les résultats de recherche

Hello,

J'aimerai récupérer le nombre de résultats sur 1000 mots clés.

Certains connaissent peut etre une méthode pour automatiser la chose ?

J'ai essayé avec Screaming frog mais changé la structure d'url de google a chaque requêtes est aussi longue que le faire à la main


Tu ne sais pas ce que tu ne sais pas :cool:

J'aime ❤️

Hors ligne

15 référents en Scraping et extraction répondent dans cet espaceInscription gratuite : présentez-vous, puis posez vos questions et répondez aux discussions.

#2

chn16000Soldier
1 913 messages167 j'aimedepuis 2017
Distinctions · 13
Accueillant VIPilier VIPremier secours VIForce polyvalente7 ansReconnuPhilanthrope IIIClinicien IVExpert Outils et technique IIIExpert SEO IIStratègeBusiness manAutomate

Re : Scraper les résultats de recherche

Zenno


Soyez vous-même, les autres sont déjà pris

J'aime ❤️

Hors ligne

#3

glmc_fireScout
191 messages4 j'aimedepuis 2018Hauts de France
Distinctions · 8
Accueillant VI7 ansPilier IIIStratège IIPolyvalentClinicienPremier secours IIBusiness man

Re : Scraper les résultats de recherche

+1 @chn16000

En plus, ils font des prix en ce moment ;)


Je n'échoue jamais ! J'apprends.

J'aime ❤️

Hors ligne

#4 proxy

G
guzScout
178 messages4 j'aimedepuis 2019
Distinctions · 7
7 ansPilier IIIStratège IIBusiness man IIPolyvalentPremier secours IIAccueillant II

Re : Scraper les résultats de recherche

Zenno c'est le marteau de Thor :D


Est-ce que t'es sous linux? Sais-tu faire les manips de base?

Y'a https://github.com/NikolaiT/se-scraper (entre autres)

Attention, comme toujours le plus pénible c'est le black listage de ton ip par GG
-> proxy comme indiqués
ou
-> scotch un délai aléatoire au moins (3-6) dans la boucle, ou plus ....
ou
-> les 2 si tu es un peu raide en proxy

J'aime ❤️

Hors ligne

#5 proxies

mrcroftScoutAuteur
199 messages5 j'aimedepuis 2018
Site Web
Distinctions · 9
Consommateur de liens7 ansPilier IIIAccueillant IVStratège IIBusiness man IIPolyvalentClinicienPremier secours II

Re : Scraper les résultats de recherche

Merci pour les réponses

Non je ne suis pas sous linux

Merci pour le conseil des proxies

guz a écrit :

Zenno c'est le marteau de Thor :D


Est-ce que t'es sous linux? Sais-tu faire les manips de base?

Y'a https://github.com/NikolaiT/se-scraper (entre autres)

Attention, comme toujours le plus pénible c'est le black listage de ton ip par GG
-> proxy comme indiqués
ou
-> scotch un délai aléatoire au moins (3-6) dans la boucle, ou plus ....
ou
-> les 2 si tu es un peu raide en proxy


Tu ne sais pas ce que tu ne sais pas :cool:

J'aime ❤️

Hors ligne

#6 proxy, google

M
MisterwhoScout
88 messages6 j'aimedepuis 2017
Distinctions · 4
7 ansAccueillant IIIPilier IIPremier secours

Re : Scraper les résultats de recherche

Tu prends scrapebox et un service de proxy (selon le temps que tu as devant toi. Si tu es prêt à être patient ça peut se faire sans je pense sur 1000) Attention cependant c'est compliqué de trouver des proxys non blacklistés. La plupart te diront que c'est ok avec Google alors que ça ne l'est pas. Il y a des vidéos du créateur qui expliquent  comment il faut configurer le scrapper selon tes objectifs et la complexité des requêtes.

N'oublies pas aussi de varier les requête s. Un filtre pour randomiser via un spreadsheet ça ne fait jamais de mal  )

J'aime ❤️

Hors ligne

#7 scraper, résultats

mrcroftScoutAuteur
199 messages5 j'aimedepuis 2018
Site Web
Distinctions · 9
Consommateur de liens7 ansPilier IIIAccueillant IVStratège IIBusiness man IIPolyvalentClinicienPremier secours II

Re : Scraper les résultats de recherche

Il faut que j'utilise un xpath sur sb ?

Pour les proxys j'en ai pas de soucis, mais c'est plutôt comment le paramétrer pour scraper uniquement le chiffre des résultats de la requête. 

Misterwho a écrit :

Tu prends scrapebox et un service de proxy (selon le temps que tu as devant toi. Si tu es prêt à être patient ça peut se faire sans je pense sur 1000) Attention cependant c'est compliqué de trouver des proxys non blacklistés. La plupart te diront que c'est ok avec Google alors que ça ne l'est pas. Il y a des vidéos du créateur qui expliquent  comment il faut configurer le scrapper selon tes objectifs et la complexité des requêtes.

N'oublies pas aussi de varier les requête s. Un filtre pour randomiser via un spreadsheet ça ne fait jamais de mal  )


Tu ne sais pas ce que tu ne sais pas :cool:

J'aime ❤️

Hors ligne

#8 proxy, résultats, requête

TrashbabyScout
247 messages2 j'aimedepuis 2018Bordeaux
Distinctions · 8
7 ansPilier IIIAccueillant IIIStratège IIPolyvalentClinicien IIPremier secours IIBusiness man

Re : Scraper les résultats de recherche

Perso je fais ça avec screaming frog. Je prends mes requêtes, dans un feuille excel j'ajoute les ?,+ etc d'une requête gg et je mets le scrap en mode liste. Ensuite Xpath sur le nombre de résultat (ou sur les résultats à scrap).
Au niveau réglage j'utilise du 8s par requête et un proxy dédie que je change régulièrement.


"Without Data You're just another person with an opinion" - W. Edwards Deming

J'aime ❤️

Hors ligne

#9

mrcroftScoutAuteur
199 messages5 j'aimedepuis 2018
Site Web
Distinctions · 9
Consommateur de liens7 ansPilier IIIAccueillant IVStratège IIBusiness man IIPolyvalentClinicienPremier secours II

Re : Scraper les résultats de recherche

du genre https://www.google.com/search?q=(mot clé ) ?


Tu ne sais pas ce que tu ne sais pas :cool:

J'aime ❤️

Hors ligne

#10

TrashbabyScout
247 messages2 j'aimedepuis 2018Bordeaux
Distinctions · 8
7 ansPilier IIIAccueillant IIIStratège IIPolyvalentClinicien IIPremier secours IIBusiness man

Re : Scraper les résultats de recherche

@mrcroft oui.
https://www.google.com/search?client=firefox-b-d&q=KW1+KW1'+Etc

En gros ta liste de kw, tu sépares avec la fonction excel, tu rajoutes les + entre les kw et tu concatènes. Ta liste de kw en 2min :)


"Without Data You're just another person with an opinion" - W. Edwards Deming

J'aime ❤️

Hors ligne

#11

mrcroftScoutAuteur
199 messages5 j'aimedepuis 2018
Site Web
Distinctions · 9
Consommateur de liens7 ansPilier IIIAccueillant IVStratège IIBusiness man IIPolyvalentClinicienPremier secours II

Re : Scraper les résultats de recherche

Nice ! Merci pour le tips ! et pour configurer la vitesse du scrap c'est a quel niveau ?


Tu ne sais pas ce que tu ne sais pas :cool:

J'aime ❤️

Hors ligne

Accueil › Scraping et données › Scraper les résultats de recherche

Haut

Pied de page des forums