SecHunter : vos failles, avant les attaquants

Scrap SERP Google Spreadsheet

#1 2016-01-12 06:45:50 · google, scraper, serps, spreadsheet

Mention Cyd
🥉 ScoutAccueillant VI12 ansPilier VIClinicien VPremier secours VStratège IIPolyvalentBusiness man
Lieu : Rennes
Messages : 1 566
Likes : 3
Audit et analyse ✓ Netlinking ✓ SEO technique ✓ Stratégie marketing

Scrap SERP Google Spreadsheet

Hello,

il semblerait qu'il ne soit plus possible de scraper les SERPs avec Google Spreadsheet. Tous les docs que j'utilisais dans cette optique sont HS.

C'est pareil chez vous j'imagine ?


Work Hard In Silence, Let Success Make The Noise !
--> cedricguerin.fr

0
J'aime ❤️

Hors ligne

11 référents en Scraping et extraction répondent dans cet espaceInscription gratuite : présentez-vous, puis posez vos questions et répondez aux discussions.

#2 2016-01-12 08:13:00 · google, proxies, php, serveur, spreadsheet

Mention Mitsu
🥉 ScoutAccueillant VI12 ansPilier VIClinicien VPremier secours VStratège IIIngénieur web IIPolyvalentExpert SEO
Messages : 2 012
Likes : 9
PHP JavaScript Audit et analyse ✓ Netlinking ✓
Site Web

Re : Scrap SERP Google Spreadsheet

Erf, j'ai pas de fichier actif là dessus en ce moment, t'as vérifié si tu es vraiment bloqué ou si c'est pas le xpath qui à changé ?

Si besoin, je pourrais t'aider à te faire un petit php qui ferait office de fusible entre spreadsheet et Google, mais ça nécessite que tu ai des proxies.

Petit code rapide pour avoir le miroir de la page google si n'arrive pas à régler plus facilement ton problème.
Tu le met en ligne sur un serveur et tu tape dessus avec q=tonmotcle plutôt que taper directement google, par contre faudrait faire attention à pas le lancer sur 5 000 ligne excel à la même seconde quoi si tu veux garder tes proxies :/. (j'ai pas testé le code mais normalement ça devrait marcher.

<?php
  //scrappe cette page avec ?q=tonmotcle
    function curl($url) {
    //Define Proxies and useragent
    $proxies = array(
      "117.135.250.134:80",
      "117.135.250.134:80",
      "117.135.250.134:80",
      "117.135.250.134:80",
      "117.135.250.134:80",
      "117.135.250.134:80",
      "117.135.250.134:80"
      //...
    );
    $ua = array(
      "Mozilla/5.0 (Linux; U; Android 2.1-update1; fr-fr; GTI9000 Build/ECLAIR) AppleWebKit/530.17 (KHTML, like Gecko) Version/4.0 Mobile Safari/530.17",
      "Mozilla/5.0 (Linux; U; Android 2.1-update1; fr-fr; GTI9000 Build/ECLAIR) AppleWebKit/530.17 (KHTML, like Gecko) Version/4.0 Mobile Safari/530.17",
      "Mozilla/5.0 (Linux; U; Android 2.1-update1; fr-fr; GTI9000 Build/ECLAIR) AppleWebKit/530.17 (KHTML, like Gecko) Version/4.0 Mobile Safari/530.17"
      //...
    );
 
        $ch = curl_init();
        curl_setopt($ch, CURLOPT_URL, $url);
    curl_setopt($ch, CURLOPT_USERAGENT, array_rand($ua));
    curl_setopt($ch, CURLOPT_PROXY, array_rand($proxies));
        curl_setopt($ch, CURLOPT_RETURNTRANSFER, TRUE);
        $data = curl_exec($ch);
        curl_close($ch);
        return $data;
    }
 
  echo curl("http://www.google.fr/search?q=".$_GET['q']."&num=100");
?>

Dernière modification par Mitsu (2016-01-12 08:34:36)

0
J'aime ❤️

Hors ligne

#3 2016-01-12 08:56:58 · google, scraper, php, spreadsheet

Mention Cyd
🥉 ScoutAccueillant VI12 ansPilier VIClinicien VPremier secours VStratège IIPolyvalentBusiness man
Lieu : Rennes
Messages : 1 566
Likes : 3
Audit et analyse ✓ Netlinking ✓ SEO technique ✓ Stratégie marketing

Re : Scrap SERP Google Spreadsheet

Hello @Mistu, et merci pour le retour.

A vrai dire, j'utilise rarement Spreadsheet, je préfère scraper sur Excel. Question d'habitude. Du coup ça m'étonnerait que ce soit le Xpath qui ait changé puisque cela fonctionne partout ailleurs (Excel, RDDZ, etc etc.). Je pense plutôt à une limitation volontaire de la part de Google.

Un doc pour tester au passage : http://www.labnol.org/internet/google-w … ing/28450/.

Merci aussi pour le petit bout de code. A priori ça ne devrait pas me servir dans ce cas précis, mais pour mon apprentissage en cours du PHP oui par contre :)


Work Hard In Silence, Let Success Make The Noise !
--> cedricguerin.fr

0
J'aime ❤️

Hors ligne

#4 2016-01-12 09:01:11 · serp

Mention Mitsu
🥉 ScoutAccueillant VI12 ansPilier VIClinicien VPremier secours VStratège IIIngénieur web IIPolyvalentExpert SEO
Messages : 2 012
Likes : 9
PHP JavaScript Audit et analyse ✓ Netlinking ✓
Site Web

Re : Scrap SERP Google Spreadsheet

Parfait, d'ailleurs avec excel tu utilises ton ip local, du coup quand t'ouvre ton fichier et que ta machine scrapp plein de serp à la volé t'es pas vite dégagé ?

0
J'aime ❤️

Hors ligne

#5 2016-01-12 09:11:12 · proxies

Mention Cyd
🥉 ScoutAccueillant VI12 ansPilier VIClinicien VPremier secours VStratège IIPolyvalentBusiness man
Lieu : Rennes
Messages : 1 566
Likes : 3
Audit et analyse ✓ Netlinking ✓ SEO technique ✓ Stratégie marketing

Re : Scrap SERP Google Spreadsheet

Si c'est clair qu'Excel n'est pas taillé pour faire du volume. Cela dit, j'ai des docs qui tournent et effectuent plus de 150 requêtes à partir de la même IP sans se faire bannir. Ne me demande pas pourquoi ça passe par contre :/

Après, tu peux coller des proxies dans SEO Tools for Excel. Ça fait environ un an que j'ai prévu un petit article de blog là-dessus ^^


Work Hard In Silence, Let Success Make The Noise !
--> cedricguerin.fr

0
J'aime ❤️

Hors ligne

#6 2016-01-12 09:19:16 · script, fonctionne

Mention Cyd
🥉 ScoutAccueillant VI12 ansPilier VIClinicien VPremier secours VStratège IIPolyvalentBusiness man
Lieu : Rennes
Messages : 1 566
Likes : 3
Audit et analyse ✓ Netlinking ✓ SEO technique ✓ Stratégie marketing

Re : Scrap SERP Google Spreadsheet

@Mitsu, nickel, le script fonctionne. J'ai juste un petit souci d'encodage : http://www.awesomescreenshot.com/image/ … 5c0e302570

Ah et ça ne fonctionne qu'avec des requêtes d'un seul mot (testé avec + ou %20 mais ça ne passe pas j'obtiens une erreur 400 bad request).

Dernière modification par Cyd (2016-01-12 09:22:08)


Work Hard In Silence, Let Success Make The Noise !
--> cedricguerin.fr

0
J'aime ❤️

Hors ligne

#7 2016-01-12 09:45:23

Mention Mitsu
🥉 ScoutAccueillant VI12 ansPilier VIClinicien VPremier secours VStratège IIIngénieur web IIPolyvalentExpert SEO
Messages : 2 012
Likes : 9
PHP JavaScript Audit et analyse ✓ Netlinking ✓
Site Web

Re : Scrap SERP Google Spreadsheet

Mmmh, essayes avec un urlencode pour le problème de plusieurs mots :
echo curl("http://www.google.fr/search?q=".urlencode($_GET['q'])."&num=100");

Les accents c'est une plaie sinon je regard ce soir ^^'. Surement regarder l'encodage du fichier, mêttre un header http + utiliser du utf8_encode/decode ce genre de conneries.

0
J'aime ❤️

Hors ligne

#8 2016-01-12 09:53:20

Mention razbithume
🥉 ScoutAccueillant VI12 ansPilier VForce polyvalenteClinicien IVPremier secours IVStratègeBusiness manAutomate
Messages : 827
Likes : 1
Audit et analyse ✓ Scraping et extraction ✓ Stratégie marketing
Site Web

Re : Scrap SERP Google Spreadsheet

j'ai également des problemes avec spreadsheet


Vive les regex et le xpath !

0
J'aime ❤️

Hors ligne

#9 2016-01-12 09:53:39 · proxies

Mention Cyd
🥉 ScoutAccueillant VI12 ansPilier VIClinicien VPremier secours VStratège IIPolyvalentBusiness man
Lieu : Rennes
Messages : 1 566
Likes : 3
Audit et analyse ✓ Netlinking ✓ SEO technique ✓ Stratégie marketing

Re : Scrap SERP Google Spreadsheet

Testé à l'instant. Le urlencode permet d'ajouter un + dans la requête et donc d'avoir des requêtes composées de plusieurs mots. Parfait. En revanche, j'ai toujours des problèmes d'encodage sur la page en elle-même.

On est d'accord, pour les proxies le format c'est bien ip:port@login:password ?


Work Hard In Silence, Let Success Make The Noise !
--> cedricguerin.fr

0
J'aime ❤️

Hors ligne

#10 2016-01-12 10:07:53

Mention Ledzepeace
🥉 Scout12 ansPilier IVClinicien IIIAccueillant IIIStratège IIPolyvalentPremier secours IIBusiness man
Lieu : Rennes
Messages : 269
Likes : 2
Sémantique Audit et analyse Netlinking Stratégie marketing
Site Web

Re : Scrap SERP Google Spreadsheet

Cyd a écrit :

Si c'est clair qu'Excel n'est pas taillé pour faire du volume. Cela dit, j'ai des docs qui tournent et effectuent plus de 150 requêtes à partir de la même IP sans se faire bannir. Ne me demande pas pourquoi ça passe par contre :/

Après, tu peux coller des proxies dans SEO Tools for Excel. Ça fait environ un an que j'ai prévu un petit article de blog là-dessus ^^

Ce mois-ci, l'article tomberait à pique... :rolleyes:


Webmarketer depuis 2008, passionné de SEO, de Rennes. Mon site : Ledzep SEO à Rennes

0
J'aime ❤️

Hors ligne

#11 2016-01-12 10:10:02

Mention Cyd
🥉 ScoutAccueillant VI12 ansPilier VIClinicien VPremier secours VStratège IIPolyvalentBusiness man
Lieu : Rennes
Messages : 1 566
Likes : 3
Audit et analyse ✓ Netlinking ✓ SEO technique ✓ Stratégie marketing

Re : Scrap SERP Google Spreadsheet

Ledzepeace a écrit :
Cyd a écrit :

Si c'est clair qu'Excel n'est pas taillé pour faire du volume. Cela dit, j'ai des docs qui tournent et effectuent plus de 150 requêtes à partir de la même IP sans se faire bannir. Ne me demande pas pourquoi ça passe par contre :/

Après, tu peux coller des proxies dans SEO Tools for Excel. Ça fait environ un an que j'ai prévu un petit article de blog là-dessus ^^

Ce mois-ci, l'article tomberait à pique... :rolleyes:

Je note ;)


Work Hard In Silence, Let Success Make The Noise !
--> cedricguerin.fr

0
J'aime ❤️

Hors ligne

#12 2016-01-12 10:18:04 · proxy

Mention Mitsu
🥉 ScoutAccueillant VI12 ansPilier VIClinicien VPremier secours VStratège IIIngénieur web IIPolyvalentExpert SEO
Messages : 2 012
Likes : 9
PHP JavaScript Audit et analyse ✓ Netlinking ✓
Site Web

Re : Scrap SERP Google Spreadsheet

<?php
header('Content-Type: text/html; charset=utf-8');
  //scrappe cette page avec ?q=tonmotcle
    function curl($url) {
    //Define Proxies and useragent
    $proxies = array(
      array("117.135.250.134:80","username:password"),
      array("117.135.250.134:80","username:password")
      //...
    );
    $ua = array(
      "Mozilla/5.0 (Linux; U; Android 2.1-update1; fr-fr; GTI9000 Build/ECLAIR) AppleWebKit/530.17 (KHTML, like Gecko) Version/4.0 Mobile Safari/530.17",
      "Mozilla/5.0 (Linux; U; Android 2.1-update1; fr-fr; GTI9000 Build/ECLAIR) AppleWebKit/530.17 (KHTML, like Gecko) Version/4.0 Mobile Safari/530.17",
      "Mozilla/5.0 (Linux; U; Android 2.1-update1; fr-fr; GTI9000 Build/ECLAIR) AppleWebKit/530.17 (KHTML, like Gecko) Version/4.0 Mobile Safari/530.17"
      //...
    );
 
        $ch = curl_init();
$proxy = array_rand($proxies);
        curl_setopt($ch, CURLOPT_URL, $url);
    curl_setopt($ch, CURLOPT_USERAGENT, array_rand($ua));
    curl_setopt($ch, CURLOPT_PROXY,$proxy[0]);
    curl_setopt($ch, CURLOPT_PROXYUSERPWD, $proxy[1]);
        curl_setopt($ch, CURLOPT_RETURNTRANSFER, TRUE);
        $data = curl_exec($ch);
        curl_close($ch);
        return $data;
    }
 
  echo utf8_encode(curl("http://www.google.fr/search?q=".urlencode($_GET['q'])."&num=100"));
?>
 

Tiens tu peux essayer ça, j'avais pas compris que tu avais proxy avec identifiants.
Aussi fait en sorte que ton fichier soit enregistré au format utf8, tu auras peut être un peu moins de problème d'accents (A part dans les cas ou les gens font n'importe quoi dans leur title avec des symboles bizarre lol)

0
J'aime ❤️

Hors ligne

#13 2016-01-12 10:48:13

Mention Cyd
🥉 ScoutAccueillant VI12 ansPilier VIClinicien VPremier secours VStratège IIPolyvalentBusiness man
Lieu : Rennes
Messages : 1 566
Likes : 3
Audit et analyse ✓ Netlinking ✓ SEO technique ✓ Stratégie marketing

Re : Scrap SERP Google Spreadsheet

Mitsu a écrit :

j'avais pas compris que tu avais proxy avec identifiants.

En effet j'aurais dû préciser.

Mitsu a écrit :

Aussi fait en sorte que ton fichier soit enregistré au format utf8

Oui je le fais systématiquement.

En tout cas nickel, cette version fonctionne parfaitement.

Thanx !! :)


Work Hard In Silence, Let Success Make The Noise !
--> cedricguerin.fr

0
J'aime ❤️

Hors ligne

#14 2016-01-12 12:25:02

Mention duan78
🥉 Scout12 ansConsommateur de liensPilier VClinicien IIIPremier secours IVAccueillant IVStratège IIBusiness man IIPolyvalent
Lieu : Paris
Messages : 589
Likes : 1
Audit et analyse ✓ Sémantique Stratégie marketing ✓ Réseaux sociaux
Site Web

Re : Scrap SERP Google Spreadsheet

Fonctionne très bien chez moi avec ce script


Arnaud BOYER, eMarketing Manager @ Label Group

0
J'aime ❤️

Hors ligne

#15 2016-01-12 13:36:42

Mention Cyd
🥉 ScoutAccueillant VI12 ansPilier VIClinicien VPremier secours VStratège IIPolyvalentBusiness man
Lieu : Rennes
Messages : 1 566
Likes : 3
Audit et analyse ✓ Netlinking ✓ SEO technique ✓ Stratégie marketing

Re : Scrap SERP Google Spreadsheet

Donc quand tu dupliques ce doc et que tu changes le KW, tu obtiens bien des résultats en colonne C ?

Chez moi tout est vide !


Work Hard In Silence, Let Success Make The Noise !
--> cedricguerin.fr

0
J'aime ❤️

Hors ligne

#16 2016-01-12 15:02:39 · scripts, index

Mention X3SED
🥉 ScoutAccueillant VIPilier VPremier secours VForce polyvalente10 ansClinicien IIIAutomate IIAppréciéStratègeBusiness man
Messages : 896
Likes : 14
Netlinking ✓ Scraping et extraction ✓ Automatisation ✓ Réseaux sociaux
Site Web

Re : Scrap SERP Google Spreadsheet

duan78 a écrit :

Fonctionne très bien chez moi avec ce script

Fonctionne pas chez moi ... Les scripts de Rank Tank ne fonctionnent plus aussi depuis pas mal de temps :/ J'avais pourtant bidouiller le script pour créer une sorte de Index checker.


_________
.

0
J'aime ❤️

Hors ligne

#17 2016-01-13 11:59:06

Mention durando
🥉 Scout10 ansPilier IVClinicien IVPremier secours IIIAccueillant IVPolyvalentStratègeIngénieur web
Messages : 379
Likes : 6
Audit et analyse ✓ Intégration HTML/CSS

Re : Scrap SERP Google Spreadsheet

Marche pas non plus chez moi.

0
J'aime ❤️

Hors ligne

#18 2016-04-08 11:03:32 · lien

Mention taggada
🥉 Scout10 ansAccueillant IIIPilier IIClinicienPremier secours
Messages : 88
Likes : 0

Re : Scrap SERP Google Spreadsheet

@Mitsu Je ne comprends pas j'utilise le même code que toi :

  $url = "http://www.google.fr/search?q=php&num=100";
  $proxy = $proxies[$i].":80";
 
  $ch = curl_init();
  curl_setopt($ch, CURLOPT_URL,$url);
  curl_setopt($ch, CURLOPT_USERAGENT, 'Mozilla/5.0 (Linux; U; Android 2.1-update1; fr-fr; GTI9000 Build/ECLAIR) AppleWebKit/530.17 (KHTML, like Gecko) Version/4.0 Mobile Safari/530.17');
  curl_setopt($ch, CURLOPT_PROXY, $proxy);
  curl_setopt($ch, CURLOPT_PROXYUSERPWD, $proxyauth);
  //curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1);
  curl_setopt($ch, CURLOPT_RETURNTRANSFER, TRUE);
  //curl_setopt($ch, CURLOPT_HEADER, 1);
  $data = curl_exec($ch);
  curl_close($ch);

  echo utf8_encode($data);

Mais moi j'ai le droit à :

302 Moved

The document has moved here

avec sur "here" un lien vers une page d’authentification avec captcha ...

Tu as une idée de pourquoi ?

0
J'aime ❤️

Hors ligne

#19 2016-04-08 11:59:10

Mention DevForEver
🥉 Scout10 ansPilier IIIIngénieur web IIAppréciéClinicienPremier secours IIAccueillantExpert SEO
Lieu : Alsace
Messages : 178
Likes : 13
PHP Serveurs et DevOps Sécurité

Re : Scrap SERP Google Spreadsheet

De mémoire toutes les requêtes doivent être faites en httpS
As tu essayé en remplacant http par https ?
https://www.google.fr/search?q=php&num=100&gws_rd=ssl

0
J'aime ❤️

Hors ligne

#20 2016-04-08 12:22:07

Mention taggada
🥉 Scout10 ansAccueillant IIIPilier IIClinicienPremier secours
Messages : 88
Likes : 0

Re : Scrap SERP Google Spreadsheet

Parfait  @DevForEver ! Merci beaucoup :D

0
J'aime ❤️

Hors ligne

Accueil › Scraping et données › Scrap SERP Google Spreadsheet

Haut

Pied de page des forums