Vous n'êtes pas identifié(e).

  • Contributions :
  • Vos boîtes de messages privés sont vides.

🟣 Scrap résultat d'une requête google dans google sheet


#1 2018-10-22 12:19:15

Mention momalink
♟️ Grade : Recruit

DiscipleForce PolyvalenteIngénieur web
Lieu : Mulhouse
Inscription : 2017-08-29
Messages : 20
Likes : 0

intégration Html Css
Développement PHP
Audit et Analyse
Conçeption Graphique

Scrap résultat d'une requête google dans google sheet

Hello,
avant tout merci pour l'aide qui sera apporté pour résoudre mon problème.
Je cherche depuis quelques jours le moyen de récupérer les résultats d'une requête google (title + lien) dans google sheet.
J'utilise la fonction importxml de cette façon : =importxml(requête;xpath).
Je pense que ma fonction est bonne cependant à chaque fois que j'essaye google sheet me notifie cette erreur
"Impossible de récupérer cette URL : ".
Je vous joins en même temps la query de google qui est faites : https://www.google.com/search?num=1&q=test

Es ce que quelqu'un a une idée, google aurait-il bloqué cette requête ?
honnêtement je ne comprends pas.
merci pour votre aide.

0
J'aime ❤️

🔴 Hors ligne

#2 2018-10-22 12:33:01

Mention Cyd
🥉 Grade : Scout

AuxiliaireStratège1000 messagesMembre Hospitalier
Lieu : Rennes
Inscription : 2013-01-18
Messages : 1 566
Likes : 3

Audit et Analyse
Netlinking
Cloaking
Marketing

Re : Scrap résultat d'une requête google dans google sheet

Hello,

j'ai vu passer quelques tweets à ce sujet, notamment de @bigorno je crois qui indiquait que Google bloquait le scrap des SERPs depuis Google Sheets depuis quelques jours.


Work Hard In Silence, Let Success Make The Noise !
--> cedricguerin.fr

0
J'aime ❤️

🔴 Hors ligne

#3 2018-10-22 13:56:17

Mention momalink
♟️ Grade : Recruit

DiscipleForce PolyvalenteIngénieur web
Lieu : Mulhouse
Inscription : 2017-08-29
Messages : 20
Likes : 0

intégration Html Css
Développement PHP
Audit et Analyse
Conçeption Graphique

Re : Scrap résultat d'une requête google dans google sheet

Ah pas de chance moi qui voulait tester. Au cas ou une autre alternative.
je sais qu'on le faire avec excel aussi...
merci pour l'info je vais chercher autre chose

0
J'aime ❤️

🔴 Hors ligne

#4 2018-10-22 19:58:54

Mention Cyd
🥉 Grade : Scout

AuxiliaireStratège1000 messagesMembre Hospitalier
Lieu : Rennes
Inscription : 2013-01-18
Messages : 1 566
Likes : 3

Audit et Analyse
Netlinking
Cloaking
Marketing

Re : Scrap résultat d'une requête google dans google sheet

Oui avec Excel ça passe toujours très bien. Il te faudra simplement le plugin SEO Tools for Excel en version payante ou alors une ancienne version qui permet d'avoir la fonction XpathOnUrl (c'est faisable sans, en VBA ... mais je te recommande le plugin si tu ne l'as pas déjà).


Work Hard In Silence, Let Success Make The Noise !
--> cedricguerin.fr

0
J'aime ❤️

🔴 Hors ligne

#5 2018-10-23 03:51:20

Mention NzT
🥉 Grade : Scout

AuxiliaireForce Polyvalente
Lieu : Nice
Inscription : 2018-09-07
Messages : 169
Likes : 1

Audit et Analyse
Marketing
Développement PHP
Site Web

Re : Scrap résultat d'une requête google dans google sheet

Salut,

Tu as tenté la réalisation d'un script dans Google Sheet avec la fonction UrlFetchApp.fetch(URL) ?
(La doc est ici : hxxps://developers.google.com/apps-script/reference/url-fetch/url-fetch-app)


"Un expert est un homme qui a fait toutes les erreurs possibles dans son domaine." Consultant SEO Nice |Twitter | Linkedin

0
J'aime ❤️

🔴 Hors ligne

#6 2018-10-23 08:18:15

Mention Trashbaby
🥉 Grade : Scout

AuxiliaireNarcissiqueStratège
Lieu : Bordeaux
Inscription : 2018-01-08
Messages : 247
Likes : 2

Netlinking
Audit et Analyse
Marketing
Sémantique

Re : Scrap résultat d'une requête google dans google sheet

Salut si tu veux exporter des serp tu as l'add on seoquake qui te permet de le faire simplement.


"Without Data You're just another person with an opinion" - W. Edwards Deming

0
J'aime ❤️

🔴 Hors ligne

#7 2018-10-24 13:18:51

Mention momalink
♟️ Grade : Recruit

DiscipleForce PolyvalenteIngénieur web
Lieu : Mulhouse
Inscription : 2017-08-29
Messages : 20
Likes : 0

intégration Html Css
Développement PHP
Audit et Analyse
Conçeption Graphique

Re : Scrap résultat d'une requête google dans google sheet

Hello
@NzT, effectivement je n'ai pas essayé je vais regarder un peu plus cette soluce après si google a bloqué l'url de la query : (hxxps://www.google.com/search?q=) ça ne marchera pas.
@Trashbaby pour seoquake je connais la fonction cependant je suis obliger de le faire manuellement. Le but c'est de que l'ensemble de la procédure décrite dans le premier post soit fait automatiquement avec le moins d'intervention.
Voilà en tout cas merci pour vos retours.
Si je trouve autre chose je ferais un partage.
++

0
J'aime ❤️

🔴 Hors ligne

#8 2020-06-17 14:04:37

Mention Hattori_Hanzo
🥉 Grade : Scout

Auxiliaire
Inscription : 2015-09-25
Messages : 105
Likes : 0

Re : Scrap résultat d'une requête google dans google sheet

coucou,
je reviens sur les importxml utilisés pour scrapper le nombre de résultats d"une recherche à partir d'une requête sur un GG sheets:
perso je n'arrive pas à corriger pour que cela marche:
hxxps://seothing.co.uk/blog/bulk-check-google-results-count
Thx


Ne te moques pas de celui qui se noie tant que tu n'as pas atteint l'autre rive!

0
J'aime ❤️

🔴 Hors ligne

#9 2020-06-17 14:50:01

Mention Klem
🥉 Grade : Scout

Auxiliaire
Lieu : Lyon - Bourgoin
Inscription : 2018-10-17
Messages : 60
Likes : 2

Re : Scrap résultat d'une requête google dans google sheet

J'ai essayé il y a quelques semaines sans grand résultats.... Si quelqu’un à l'astuce je suis preneur aussi tongue:P:P:P

0
J'aime ❤️

🔴 Hors ligne

#10 2020-06-18 05:53:56

Mention chn16000
🥈 Grade : Soldier

Membre du CercleOfficierNarcissiqueStratège100likes1000 messagesMembre HospitalierPhilantrope
Inscription : 2017-04-07
Messages : 1 913
Likes : 165

Marketing
Audit et Analyse
Automatisation Web

Re : Scrap résultat d'une requête google dans google sheet

Avec un template Zenno


Soyez vous-même, les autres sont déjà pris

0
J'aime ❤️

🔴 Hors ligne

#11 2020-06-18 08:33:22

Mention Cyd
🥉 Grade : Scout

AuxiliaireStratège1000 messagesMembre Hospitalier
Lieu : Rennes
Inscription : 2013-01-18
Messages : 1 566
Likes : 3

Audit et Analyse
Netlinking
Cloaking
Marketing

Re : Scrap résultat d'une requête google dans google sheet

Hello,

l'article date d'il y a plus de 7 ans ^^

A ma connaissance, on peut plus scraper Google via Spreadsheet. Il faut utiliser d'autres tools et des proxies (RDDZ Scraper, Scrapbox, Excel, ZennoPoster, etc.)


Work Hard In Silence, Let Success Make The Noise !
--> cedricguerin.fr

0
J'aime ❤️

🔴 Hors ligne

#12 2020-06-18 18:49:44

Mention Seoxis
🥇 Grade : Guardian

Membre du Black LaboMembre du CercleOfficierStratège50likes
Lieu : Calais
Inscription : 2014-04-29
Messages : 795
Likes : 89

Scraping
Netlinking Auto
Audit et Analyse
Automatisation Web
Site Web

Re : Scrap résultat d'une requête google dans google sheet

Yep zenno permet de le faire nativement depuis peu de temps (2mois je crois pour l'intégration de google office)

sinon tu peux essayer de passer par un proxy web (script php qui va scraper google a ta place)
en gros tu vas demander a ton doc de scraper http://www.mon-site.com/script.php?url=http://www.google.com?q=keyword

c'est une possibilité , après faut essayer de quitter excel et cie petit à petit si tu veux voler vers de nouveau horizon lol

ou se lancer dans la programmation python par exemple qui intégre facilement google sheet en 1 ligne

Enjoy


Envie de me faire plaisir , achetez les mêmes proxys que j'utilise via ce lien : -=[ buyproxies.org ]=-  (15€ pour 10 proxys dédiés)

Envie de tester ZennoPoster c'est par ici : -=[ ZennoPoster ]=- (à partir de 87$)

0
J'aime ❤️

🔴 Hors ligne

#13 2020-06-19 04:14:55

Mention Cyd
🥉 Grade : Scout

AuxiliaireStratège1000 messagesMembre Hospitalier
Lieu : Rennes
Inscription : 2013-01-18
Messages : 1 566
Likes : 3

Audit et Analyse
Netlinking
Cloaking
Marketing

Re : Scrap résultat d'une requête google dans google sheet

Pour moi ici ce n'est pas un souci de Spreadsheet. A mon avis, le fait que Spreadsheet soit intégré à Zenno ne va pas l'aider smile

Le souci principal, à mon sens, c'est que suite aux abus (on abuse nous les SEO ??), Google a bloqué le scrap de son moteur via Spreadsheet. Donc à oublier. Il faut scraper autrement, avec d'autres outils. Mais là, quoiqu'il arrive, il te faudra des proxies. @seoxis propose un lien dans sa signature, c'est aussi le service que j'utilise.


Work Hard In Silence, Let Success Make The Noise !
--> cedricguerin.fr

0
J'aime ❤️

🔴 Hors ligne

#14 2020-06-19 04:52:33

Mention Seoxis
🥇 Grade : Guardian

Membre du Black LaboMembre du CercleOfficierStratège50likes
Lieu : Calais
Inscription : 2014-04-29
Messages : 795
Likes : 89

Scraping
Netlinking Auto
Audit et Analyse
Automatisation Web
Site Web

Re : Scrap résultat d'une requête google dans google sheet

s'il veut absolument stocker les résultats de scrap zennoposter peut scraper à sa place et stocker ca dans un Spreadsheet

sinon la solution du web proxy est différente d'un proxy traditionnel , en gros il sert de relais si par exemple google a bloqué les connexions directes à son moteur

en scrapant http://www.mon-site.com/script.php?url=http://www.google.fr tu fais une requête qui se connecte à mon-site.com donc google ne devrait pas le bloquer et tu récupères le même résultat qu'une connexion directe sur google.com

si le blocage s'effectue vis-a-vis du code source , rien n'empêche de créer un web proxy qui va retourner les urls au lieu de la page complète

je te met un exemple de web proxy : https://github.com/softius/php-cross-do … /proxy.php

pour l'utiliser tu uploads le script en le sécurisant sur ton site et tu as juste a mettre google dans les domaines autorisés et te connecter de cette manière :

http://yourdomain.com/proxy.php?csurl=http://www.cross-domain.com/&param1=value1&param2=value2

Enjoy !

Dernière modification par Seoxis (2020-06-19 04:54:32)


Envie de me faire plaisir , achetez les mêmes proxys que j'utilise via ce lien : -=[ buyproxies.org ]=-  (15€ pour 10 proxys dédiés)

Envie de tester ZennoPoster c'est par ici : -=[ ZennoPoster ]=- (à partir de 87$)

0
J'aime ❤️

🔴 Hors ligne

#15 2020-06-20 14:28:27

Mention poulpe_centriste
🥈 Grade : Soldier

Membre du CercleOfficier100likes
Inscription : 2018-07-03
Messages : 573
Likes : 173

Re : Scrap résultat d'une requête google dans google sheet

Le scrap de Google est un sport à part entière, d'autant que s'il y a bien une boîte qui a des moyens tentaculaires pour récolter des footprints de scrapeurs et mettre en place des protections anti-scraping, c'est bien eux.

Après, tout est une question de ce que tu veux faire avec ta data et à quelle échelle. Si tu utilises GGsheet, à priori c'est pour de petits besoins. Je n'ai pas regardé la solution GGsheet + xpath, après peut-être que ça vaut le coup de regarder si le xpath est toujours pertinent ? Le DOM des pages de résultats change, donc selon comment le xpath est fichu, il peut se périmer.

Si tu as besoin de quantités non industrielles, les solutions proposées par Seoxis ont l'air très sympas et pertinentes (je suis plutôt Python donc j'ai pas mis en oeuvre, mais Seoxis est un membre sur qui on peut se fier).

Si tu ne sais pas coder, une video youtube genre learn php in 1 hour, quelques heures à bidouiller derrière et tu devrais en savoir suffisamment pour faire tourner le bousin (je ne parle pas de coder proprement, ne tapez pas les devs tongue )

Pour des quantités plus importantes de data et si tu ne maîtrises pas tous les éléments indispensables à la création d'un flux de données stable entre toi et Google, tu peux ajouter des intermédiaires qui prendront en charge une partie du boulot (contre rémunération bien sûr).

Si tu sais tout faire:

Toi -> data Google

Demande de l'expérience, des moyens et de la maintenance

Si tu ne sais pas coder et que tu veux de la data raffinée

Toi -> service de scraping (freelance ou autre)-> data Google

Facile (si tu arrives à trouver un bon scrapeur), mais cher, oneshot

Si tu sais coder mais que tu veux juste accès à la data sous forme d'API et ne rien gérer pour la partie scraping:

Toi -> service de scraping SERP avec API -> data Google

Cher et tu ne peux récupérer que ce qu'il y a dans leur API, mais ils gèrent tout.

Si tu sais scraper mais la gestion des contremesures anti scraping te gave

Toi -> API de crawl -> data Google

Bon rapport qualité prix, customisable aux petits oignons, mais pas fiable à 100% face aux protections. Ceci dit avec Proxycrawl, tu ne payes que lorsque ta requête passe.

0
J'aime ❤️

🔴 Hors ligne

Pied de page des forums