Hello,
J'aimerai récupérer le nombre de résultats sur 1000 mots clés.
Certains connaissent peut etre une méthode pour automatiser la chose ?
J'ai essayé avec Screaming frog mais changé la structure d'url de google a chaque requêtes est aussi longue que le faire à la main
Tu ne sais pas ce que tu ne sais pas
Hors ligne
Zenno
Soyez vous-même, les autres sont déjà pris
Hors ligne
+1 @chn16000
En plus, ils font des prix en ce moment
Je n'échoue jamais ! J'apprends.
Hors ligne
Zenno c'est le marteau de Thor
Est-ce que t'es sous linux? Sais-tu faire les manips de base?
Y'a https://github.com/NikolaiT/se-scraper (entre autres)
Attention, comme toujours le plus pénible c'est le black listage de ton ip par GG
-> proxy comme indiqués
ou
-> scotch un délai aléatoire au moins (3-6) dans la boucle, ou plus ....
ou
-> les 2 si tu es un peu raide en proxy
Hors ligne
Merci pour les réponses
Non je ne suis pas sous linux
Merci pour le conseil des proxies
Zenno c'est le marteau de Thor
Est-ce que t'es sous linux? Sais-tu faire les manips de base?
Y'a https://github.com/NikolaiT/se-scraper (entre autres)
Attention, comme toujours le plus pénible c'est le black listage de ton ip par GG
-> proxy comme indiqués
ou
-> scotch un délai aléatoire au moins (3-6) dans la boucle, ou plus ....
ou
-> les 2 si tu es un peu raide en proxy
Tu ne sais pas ce que tu ne sais pas
Hors ligne
Tu prends scrapebox et un service de proxy (selon le temps que tu as devant toi. Si tu es prêt à être patient ça peut se faire sans je pense sur 1000) Attention cependant c'est compliqué de trouver des proxys non blacklistés. La plupart te diront que c'est ok avec Google alors que ça ne l'est pas. Il y a des vidéos du créateur qui expliquent comment il faut configurer le scrapper selon tes objectifs et la complexité des requêtes.
N'oublies pas aussi de varier les requête s. Un filtre pour randomiser via un spreadsheet ça ne fait jamais de mal )
Hors ligne
Il faut que j'utilise un xpath sur sb ?
Pour les proxys j'en ai pas de soucis, mais c'est plutôt comment le paramétrer pour scraper uniquement le chiffre des résultats de la requête.
Tu prends scrapebox et un service de proxy (selon le temps que tu as devant toi. Si tu es prêt à être patient ça peut se faire sans je pense sur 1000) Attention cependant c'est compliqué de trouver des proxys non blacklistés. La plupart te diront que c'est ok avec Google alors que ça ne l'est pas. Il y a des vidéos du créateur qui expliquent comment il faut configurer le scrapper selon tes objectifs et la complexité des requêtes.
N'oublies pas aussi de varier les requête s. Un filtre pour randomiser via un spreadsheet ça ne fait jamais de mal )
Tu ne sais pas ce que tu ne sais pas
Hors ligne
Perso je fais ça avec screaming frog. Je prends mes requêtes, dans un feuille excel j'ajoute les ?,+ etc d'une requête gg et je mets le scrap en mode liste. Ensuite Xpath sur le nombre de résultat (ou sur les résultats à scrap).
Au niveau réglage j'utilise du 8s par requête et un proxy dédie que je change régulièrement.
"Without Data You're just another person with an opinion" - W. Edwards Deming
Hors ligne
du genre https://www.google.com/search?q=(mot clé ) ?
Tu ne sais pas ce que tu ne sais pas
Hors ligne
@mrcroft oui.
https://www.google.com/search?client=firefox-b-d&q=KW1+KW1'+Etc
En gros ta liste de kw, tu sépares avec la fonction excel, tu rajoutes les + entre les kw et tu concatènes. Ta liste de kw en 2min
"Without Data You're just another person with an opinion" - W. Edwards Deming
Hors ligne
Nice ! Merci pour le tips ! et pour configurer la vitesse du scrap c'est a quel niveau ?
Tu ne sais pas ce que tu ne sais pas
Hors ligne