Scrap SERP Google Spreadsheet

Cyd · #1 2016-01-12 05:45:50

Hello,

il semblerait qu'il ne soit plus possible de scraper les SERPs avec Google Spreadsheet. Tous les docs que j'utilisais dans cette optique sont HS.

C'est pareil chez vous j'imagine ?

Mitsu · #2 2016-01-12 07:13:00

Erf, j'ai pas de fichier actif là dessus en ce moment, t'as vérifié si tu es vraiment bloqué ou si c'est pas le xpath qui à changé ?

Si besoin, je pourrais t'aider à te faire un petit php qui ferait office de fusible entre spreadsheet et Google, mais ça nécessite que tu ai des proxies.

Petit code rapide pour avoir le miroir de la page google si n'arrive pas à régler plus facilement ton problème.
Tu le met en ligne sur un serveur et tu tape dessus avec q=tonmotcle plutôt que taper directement google, par contre faudrait faire attention à pas le lancer sur 5 000 ligne excel à la même seconde quoi si tu veux garder tes proxies . (j'ai pas testé le code mais normalement ça devrait marcher.

<?php

  //scrappe cette page avec ?q=tonmotcle

    function curl($url) {

    //Define Proxies and useragent

    $proxies = array(

      "117.135.250.134:80",

      "117.135.250.134:80",

      "117.135.250.134:80",

      "117.135.250.134:80",

      "117.135.250.134:80",

      "117.135.250.134:80",

      "117.135.250.134:80"

      //...

    );

    $ua = array(

      "Mozilla/5.0 (Linux; U; Android 2.1-update1; fr-fr; GTI9000 Build/ECLAIR) AppleWebKit/530.17 (KHTML, like Gecko) Version/4.0 Mobile Safari/530.17",

      "Mozilla/5.0 (Linux; U; Android 2.1-update1; fr-fr; GTI9000 Build/ECLAIR) AppleWebKit/530.17 (KHTML, like Gecko) Version/4.0 Mobile Safari/530.17",

      "Mozilla/5.0 (Linux; U; Android 2.1-update1; fr-fr; GTI9000 Build/ECLAIR) AppleWebKit/530.17 (KHTML, like Gecko) Version/4.0 Mobile Safari/530.17"

      //...

    );

        $ch = curl_init();

        curl_setopt($ch, CURLOPT_URL, $url);

    curl_setopt($ch, CURLOPT_USERAGENT, array_rand($ua)); 

    curl_setopt($ch, CURLOPT_PROXY, array_rand($proxies)); 

        curl_setopt($ch, CURLOPT_RETURNTRANSFER, TRUE);

        $data = curl_exec($ch);

        curl_close($ch); 

        return $data;

    }

  echo curl("http://www.google.fr/search?q=".$_GET['q']."&num=100");

?>

Dernière modification par Mitsu (2016-01-12 07:34:36)

Cyd · #3 2016-01-12 07:56:58

Hello @Mistu, et merci pour le retour.

A vrai dire, j'utilise rarement Spreadsheet, je préfère scraper sur Excel. Question d'habitude. Du coup ça m'étonnerait que ce soit le Xpath qui ait changé puisque cela fonctionne partout ailleurs (Excel, RDDZ, etc etc.). Je pense plutôt à une limitation volontaire de la part de Google.

Un doc pour tester au passage : http://www.labnol.org/internet/google-w … ing/28450/.

Merci aussi pour le petit bout de code. A priori ça ne devrait pas me servir dans ce cas précis, mais pour mon apprentissage en cours du PHP oui par contre

Mitsu · #4 2016-01-12 08:01:11

Parfait, d'ailleurs avec excel tu utilises ton ip local, du coup quand t'ouvre ton fichier et que ta machine scrapp plein de serp à la volé t'es pas vite dégagé ?

Cyd · #5 2016-01-12 08:11:12

Si c'est clair qu'Excel n'est pas taillé pour faire du volume. Cela dit, j'ai des docs qui tournent et effectuent plus de 150 requêtes à partir de la même IP sans se faire bannir. Ne me demande pas pourquoi ça passe par contre

Après, tu peux coller des proxies dans SEO Tools for Excel. Ça fait environ un an que j'ai prévu un petit article de blog là-dessus ^^

Cyd · #6 2016-01-12 08:19:16

@Mitsu, nickel, le script fonctionne. J'ai juste un petit souci d'encodage : http://www.awesomescreenshot.com/image/ … 5c0e302570

Ah et ça ne fonctionne qu'avec des requêtes d'un seul mot (testé avec + ou %20 mais ça ne passe pas j'obtiens une erreur 400 bad request).

Dernière modification par Cyd (2016-01-12 08:22:08)

Mitsu · #7 2016-01-12 08:45:23

Mmmh, essayes avec un urlencode pour le problème de plusieurs mots :
echo curl("http://www.google.fr/search?q=".urlencode($_GET['q'])."&num=100");

Les accents c'est une plaie sinon je regard ce soir ^^'. Surement regarder l'encodage du fichier, mêttre un header http + utiliser du utf8_encode/decode ce genre de conneries.

razbithume · #8 2016-01-12 08:53:20

j'ai également des problemes avec spreadsheet

Cyd · #9 2016-01-12 08:53:39

Testé à l'instant. Le urlencode permet d'ajouter un + dans la requête et donc d'avoir des requêtes composées de plusieurs mots. Parfait. En revanche, j'ai toujours des problèmes d'encodage sur la page en elle-même.

On est d'accord, pour les proxies le format c'est bien ip:port@login:password ?

Ledzepeace · #10 2016-01-12 09:07:53

Cyd a écrit :

Si c'est clair qu'Excel n'est pas taillé pour faire du volume. Cela dit, j'ai des docs qui tournent et effectuent plus de 150 requêtes à partir de la même IP sans se faire bannir. Ne me demande pas pourquoi ça passe par contre
Après, tu peux coller des proxies dans SEO Tools for Excel. Ça fait environ un an que j'ai prévu un petit article de blog là-dessus ^^

Ce mois-ci, l'article tomberait à pique...

Cyd · #11 2016-01-12 09:10:02

Ledzepeace a écrit :

Cyd a écrit :
Si c'est clair qu'Excel n'est pas taillé pour faire du volume. Cela dit, j'ai des docs qui tournent et effectuent plus de 150 requêtes à partir de la même IP sans se faire bannir. Ne me demande pas pourquoi ça passe par contre
Après, tu peux coller des proxies dans SEO Tools for Excel. Ça fait environ un an que j'ai prévu un petit article de blog là-dessus ^^
Ce mois-ci, l'article tomberait à pique...

Je note

Mitsu · #12 2016-01-12 09:18:04

<?php

header('Content-Type: text/html; charset=utf-8');

  //scrappe cette page avec ?q=tonmotcle

    function curl($url) {

    //Define Proxies and useragent

    $proxies = array(

      array("117.135.250.134:80","username:password"),

      array("117.135.250.134:80","username:password")

      //...

    );

    $ua = array(

      "Mozilla/5.0 (Linux; U; Android 2.1-update1; fr-fr; GTI9000 Build/ECLAIR) AppleWebKit/530.17 (KHTML, like Gecko) Version/4.0 Mobile Safari/530.17",

      "Mozilla/5.0 (Linux; U; Android 2.1-update1; fr-fr; GTI9000 Build/ECLAIR) AppleWebKit/530.17 (KHTML, like Gecko) Version/4.0 Mobile Safari/530.17",

      "Mozilla/5.0 (Linux; U; Android 2.1-update1; fr-fr; GTI9000 Build/ECLAIR) AppleWebKit/530.17 (KHTML, like Gecko) Version/4.0 Mobile Safari/530.17"

      //...

    );

        $ch = curl_init();

$proxy = array_rand($proxies);

        curl_setopt($ch, CURLOPT_URL, $url);

    curl_setopt($ch, CURLOPT_USERAGENT, array_rand($ua)); 

    curl_setopt($ch, CURLOPT_PROXY,$proxy[0]); 

    curl_setopt($ch, CURLOPT_PROXYUSERPWD, $proxy[1]); 

        curl_setopt($ch, CURLOPT_RETURNTRANSFER, TRUE);

        $data = curl_exec($ch);

        curl_close($ch); 

        return $data;

    }

  echo utf8_encode(curl("http://www.google.fr/search?q=".urlencode($_GET['q'])."&num=100"));

?>

Tiens tu peux essayer ça, j'avais pas compris que tu avais proxy avec identifiants.
Aussi fait en sorte que ton fichier soit enregistré au format utf8, tu auras peut être un peu moins de problème d'accents (A part dans les cas ou les gens font n'importe quoi dans leur title avec des symboles bizarre lol)

Cyd · #13 2016-01-12 09:48:13

Mitsu a écrit :

j'avais pas compris que tu avais proxy avec identifiants.

En effet j'aurais dû préciser.

Mitsu a écrit :

Aussi fait en sorte que ton fichier soit enregistré au format utf8

Oui je le fais systématiquement.

En tout cas nickel, cette version fonctionne parfaitement.

Thanx !!

duan78 · #14 2016-01-12 11:25:02

Fonctionne très bien chez moi avec ce script

Cyd · #15 2016-01-12 12:36:42

Donc quand tu dupliques ce doc et que tu changes le KW, tu obtiens bien des résultats en colonne C ?

Chez moi tout est vide !

X3SED · #16 2016-01-12 14:02:39

duan78 a écrit :

Fonctionne très bien chez moi avec ce script

Fonctionne pas chez moi ... Les scripts de Rank Tank ne fonctionnent plus aussi depuis pas mal de temps J'avais pourtant bidouiller le script pour créer une sorte de Index checker.

durando · #17 2016-01-13 10:59:06

Marche pas non plus chez moi.

taggada · #18 2016-04-08 10:03:32

@Mitsu Je ne comprends pas j'utilise le même code que toi :

  $url = "http://www.google.fr/search?q=php&num=100";

  $proxy = $proxies[$i].":80";

  $ch = curl_init();

  curl_setopt($ch, CURLOPT_URL,$url);

  curl_setopt($ch, CURLOPT_USERAGENT, 'Mozilla/5.0 (Linux; U; Android 2.1-update1; fr-fr; GTI9000 Build/ECLAIR) AppleWebKit/530.17 (KHTML, like Gecko) Version/4.0 Mobile Safari/530.17');

  curl_setopt($ch, CURLOPT_PROXY, $proxy);

  curl_setopt($ch, CURLOPT_PROXYUSERPWD, $proxyauth);

  //curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1);

  curl_setopt($ch, CURLOPT_RETURNTRANSFER, TRUE);

  //curl_setopt($ch, CURLOPT_HEADER, 1);

  $data = curl_exec($ch);

  curl_close($ch); 

  echo utf8_encode($data);

Mais moi j'ai le droit à :

302 Moved

The document has moved here

avec sur "here" un lien vers une page d’authentification avec captcha ...

Tu as une idée de pourquoi ?

DevForEver · #19 2016-04-08 10:59:10

De mémoire toutes les requêtes doivent être faites en httpS
As tu essayé en remplacant http par https ?
https://www.google.fr/search?q=php&num=100&gws_rd=ssl

taggada · #20 2016-04-08 11:22:07

Parfait @DevForEver ! Merci beaucoup

🟣 Scrap SERP Google Spreadsheet

#1 2016-01-12 05:45:50

Scrap SERP Google Spreadsheet

#2 2016-01-12 07:13:00

Re : Scrap SERP Google Spreadsheet

#3 2016-01-12 07:56:58

Re : Scrap SERP Google Spreadsheet

#4 2016-01-12 08:01:11

Re : Scrap SERP Google Spreadsheet

#5 2016-01-12 08:11:12

Re : Scrap SERP Google Spreadsheet

#6 2016-01-12 08:19:16

Re : Scrap SERP Google Spreadsheet

#7 2016-01-12 08:45:23

Re : Scrap SERP Google Spreadsheet

#8 2016-01-12 08:53:20

Re : Scrap SERP Google Spreadsheet

#9 2016-01-12 08:53:39

Re : Scrap SERP Google Spreadsheet

#10 2016-01-12 09:07:53

Re : Scrap SERP Google Spreadsheet

#11 2016-01-12 09:10:02

Re : Scrap SERP Google Spreadsheet

#12 2016-01-12 09:18:04

Re : Scrap SERP Google Spreadsheet

#13 2016-01-12 09:48:13

Re : Scrap SERP Google Spreadsheet

#14 2016-01-12 11:25:02

Re : Scrap SERP Google Spreadsheet

#15 2016-01-12 12:36:42

Re : Scrap SERP Google Spreadsheet

#16 2016-01-12 14:02:39

Re : Scrap SERP Google Spreadsheet

#17 2016-01-13 10:59:06

Re : Scrap SERP Google Spreadsheet

#18 2016-04-08 10:03:32

Re : Scrap SERP Google Spreadsheet

#19 2016-04-08 10:59:10

Re : Scrap SERP Google Spreadsheet

#20 2016-04-08 11:22:07

Re : Scrap SERP Google Spreadsheet

Pied de page des forums