Vous n'êtes pas identifié(e).

  • Contributions :
  • Vos boîtes de messages privés sont vides.

🟣 [BETA] Api google suggest maison


#1 2016-01-08 15:46:02

Mention duan78
🥉 Grade : Scout

AuxiliaireStratègeBusiness ManConsomateur de Liens
Lieu : Paris
Inscription : 2012-08-31
Messages : 589
Likes : 1

Audit et Analyse
Sémantique
Marketing
Social Engineering
Site Web

[BETA] Api google suggest maison

Bonjour à tous,

Depuis quelques temps, je me suis mis à "développer" des petits tools sur Node.js et aujourd'hui, je viens vers vous avec une API Google Suggest que j'ai modelé qui va pouvoir en intéresser plus d'un ...

Il s'agit d'une API qui vous donnera sous un format séparé par des virgules les 10 suggestions Google Suggest pour un mot clés donné (ou plus selon les paramètres choisis).
L’intérêt de cette API réside dans sa rapidité et son formatage.
L'utilisation est assez simple, vous mettez le mot clés de votre choix dans l'URL et une page se charge avec les mots.
Deux paramètres peuvent être ajoutés pour la récursivité numérique (&TYPE=num) et alphabétique (&TYPE=abc) ainsi qu'une partie "prédictive" (&TYPE=pre)

Sans plus attendre, voici les URLs :
http://duan.fr:1337/sug?KW=blackhat
http://duan.fr:1337/sug?KW=blackhat&TYPE=abc
http://duan.fr:1337/sug?KW=blackhat&TYPE=num
http://duan.fr:1337/sug?KW=blackhat&TYPE=pre
http://duan.fr:1337/sug?KW=blackhat&TYPE=aab
http://duan.fr:1337/sug?KW=blackhat&TYPE=abc&SRC=yt

Pour une utilisation "industrielle" simple sans connaissances techniques approfondies, vous pouvez vous amuser avec excel ou Google doc :
Fichier source excel
Fichier partagé Gdoc (n'oubliez pas d'en faire une copie pour l'utiliser)

Je viens de tester dans mon excel 1500 mots clés : temps de réponse/traitement : 45 secondes wink (bon j'ai 12 coeurs sur ma machine !)

Edit : Soyez indulgents si l'app crash, elle est encore en BETA.
Si vous avez le moindre bug, résultat improbable ou suggestions pour des fonctionnalités futures  : n'hésitez pas à intervenir dans ce post wink
PS : Le code n'est pas encore "sortable" et maintenable : j'en suis encore loin ... Mais l'application est d'ores et déjà disponible en Open Source sur Github
PS2 : un code (qui par le plus grand des hasards vient d'un de nos membres -christophebe-) beaucoup plus aboutit (pour le moment) est disponible sur NPM (donc toujours sous node.JS) --> Promis, je vais faire mieux !

Dernière modification par duan78 (2016-02-11 17:13:23)


Arnaud BOYER, eMarketing Manager @ Label Group

0
J'aime ❤️

🔴 Hors ligne

#2 2016-01-08 17:09:51

Mention duan78
🥉 Grade : Scout

AuxiliaireStratègeBusiness ManConsomateur de Liens
Lieu : Paris
Inscription : 2012-08-31
Messages : 589
Likes : 1

Audit et Analyse
Sémantique
Marketing
Social Engineering
Site Web

Re : [BETA] Api google suggest maison

Fonctionnalités futures :
Récursivité numérique : OK
Récursivité alphabétique : OK
Sortie triée par ordre alphabétique/numérique : OK
Ajout de requêtes "prédictives" (_, &) avant et après les mots clés : OK
Ajout des sources Youtube, Google News et Google Image : OK
Récursivité alphabétique profonde (ab, ac, ad ...) : OK
Rotation de proxys : OK
Sélection de la langue (actuellement fr_FR uniquement) : En cours
Multisources (Bing + Google) : En cours
Avoir toutes les sources et récursivités dans un seul paramètre
Ajout de requêtes de suggestions prédéfinies (informationelles et transactionnelles type "acheter", "comment" etc.)
Format de sortie au choix (Json, CSV, XML)
Récursivité des suggestions (avec plusieurs niveaux)
Traitement par lots (possibilité d'envoyer plusieurs mots clés)
Possibilité de filtrer la sortie (contient uniquement/contient pas)

Bug remontés :
Problème de formatage -> oublie de virgules sur les récursivités : OK
Problème de stabilité : OK
Une virgule est présente à la fin de la sortie : OK
Présence de résultats vides (qui engendrent des doubles virgules) : OK
Mauvaise gestion des erreurs  :  En cours
Problème d'encodage depuis fichier excel -> excel n'envoie pas de l'utf-8 à l'app : KO

Post dédié au développement et à la contribution GitHub

Dernière modification par duan78 (2016-02-11 18:22:12)


Arnaud BOYER, eMarketing Manager @ Label Group

0
J'aime ❤️

🔴 Hors ligne

#3 2016-01-08 17:13:11

Mention Mitsu
🥉 Grade : Scout

AuxiliaireIngénieur webStratège1000 messagesMembre Hospitalier
Inscription : 2014-11-17
Messages : 2 012
Likes : 8

Développement PHP
Développement JS
Audit et Analyse
Netlinking
Site Web

Re : [BETA] Api google suggest maison

Merci pour le partage en tout cas c'est top !

0
J'aime ❤️

🔴 Hors ligne

#4 2016-01-08 17:17:15

Mention duan78
🥉 Grade : Scout

AuxiliaireStratègeBusiness ManConsomateur de Liens
Lieu : Paris
Inscription : 2012-08-31
Messages : 589
Likes : 1

Audit et Analyse
Sémantique
Marketing
Social Engineering
Site Web

Re : [BETA] Api google suggest maison

Mitsu a écrit :

Merci pour le partage en tout cas c'est top !

Ça fait plaisir que ça plaise : il y aura des ajouts dans le futur.

N'hésitez pas à me faire des retours (si l'App n'a pas craché...) wink


Arnaud BOYER, eMarketing Manager @ Label Group

0
J'aime ❤️

🔴 Hors ligne

#5 2016-01-08 17:54:37

Mention mbouchaud
🥉 Grade : Scout

Auxiliaire
Lieu : La Baule
Inscription : 2014-06-29
Messages : 302
Likes : 2
Site Web

Re : [BETA] Api google suggest maison

J'ai effectué 2 tests de comparaison avec l'outil webrankinfo.com/outils/google-suggest.php.

Tests réalisés :
un simple mot, les dix mots retournés ne sont pas dans le même ordre.
une chaîne composé de 2 mots, le résultat des 10 premiers termes sont identiques

Par contre sous Excel, je n'ai pas compris comment exploiter les infos

0
J'aime ❤️

🔴 Hors ligne

#6 2016-01-08 17:58:36

Mention duan78
🥉 Grade : Scout

AuxiliaireStratègeBusiness ManConsomateur de Liens
Lieu : Paris
Inscription : 2012-08-31
Messages : 589
Likes : 1

Audit et Analyse
Sémantique
Marketing
Social Engineering
Site Web

Re : [BETA] Api google suggest maison

mbouchaud a écrit :

J'ai effectué 2 tests de comparaison avec l'outil webrankinfo.com/outils/google-suggest.php.

Tests réalisés :
un simple mot, les dix mots retournés ne sont pas dans le même ordre.
une chaîne composé de 2 mots, le résultat des 10 premiers termes sont identiques

Par contre sous Excel, je n'ai pas compris comment exploiter les infos

Oui, ça doit venir de mon parsing pour la différence de résultats... Merci pour le benchmark, tu n'as plus qu'à comparer le temps d'exécution tongue

Pour l'excel et le gdoc, je mettrai le post à jour demain avec de bons exemples et les fichiers sources wink

PS : d'ici quelques jours (le temps que j'ai un code propre) : le projet sera open source wink


Arnaud BOYER, eMarketing Manager @ Label Group

0
J'aime ❤️

🔴 Hors ligne

#7 2016-01-12 11:50:34

Mention aolivier
🥉 Grade : Scout

AuxiliaireStratègeMembre Hospitalier
Inscription : 2013-01-08
Messages : 565
Likes : 2

Netlinking
Networking SEO
Audit et Analyse
Site Web

Re : [BETA] Api google suggest maison

Merci pour le partage je vais tester

0
J'aime ❤️

🔴 Hors ligne

#8 2016-01-12 11:51:51

Mention korleonbiz
🥉 Grade : Scout

AuxiliaireStratège
Lieu : 42
Inscription : 2012-10-31
Messages : 582
Likes : 8

Netlinking
Audit et Analyse
Networking SEO
Site Web

Re : [BETA] Api google suggest maison

Très bon, merci smile !


-----------------------------------------------------------------------------------------------

Seule limite: l'imagination.

0
J'aime ❤️

🔴 Hors ligne

#9 2016-01-12 13:38:46

Mention Mitsu
🥉 Grade : Scout

AuxiliaireIngénieur webStratège1000 messagesMembre Hospitalier
Inscription : 2014-11-17
Messages : 2 012
Likes : 8

Développement PHP
Développement JS
Audit et Analyse
Netlinking
Site Web

Re : [BETA] Api google suggest maison

Impressionnant la rapidité de nodejs, je ne m'en rendait pas compte sans l'incrémentale ! Ça s'apprend vite Duan ?

Aussi, tu as des mutu qui le gère et faut forcément passer en dédié ?

Dernière modification par Mitsu (2016-01-12 13:39:04)

0
J'aime ❤️

🔴 Hors ligne

#10 2016-01-12 13:43:13

Mention gokam
♟️ Grade : Recruit

Disciple
Lieu : Paris
Inscription : 2016-01-12
Messages : 7
Likes : 0

Re : [BETA] Api google suggest maison

Hello All,

Merci pour ce script, j'ai hate de voir le code source smile

En attendant, je me suis fait un mini outil pour faire des traitements par lot qui fonctionne sous mac et probablement sous linux, si cela intéresse des gens ici.

Voici le fichier bash: https://www.dropbox.com/s/ztcj2r8w4la6a9g/curly_suggest.sh?dl=0

et ensuite, il suffit de lancer dans la console

xargs -n1 ./curl_suggest.sh < kwds.txt

kwds.txt étant bien sur la liste des mots clefs a envoyer a l'api
cela va stocker le résultat dans un fichier kwd-suggest.txt dans le dossier courant

Dernière modification par gokam (2016-01-12 15:36:51)

0
J'aime ❤️

🔴 Hors ligne

#11 2016-01-12 14:13:08

Mention Cyd
🥉 Grade : Scout

AuxiliaireStratège1000 messagesMembre Hospitalier
Lieu : Rennes
Inscription : 2013-01-18
Messages : 1 566
Likes : 3

Audit et Analyse
Netlinking
Cloaking
Marketing

Re : [BETA] Api google suggest maison

Hello @Gokam, merci pour le petit outil, bien sympa. Je vais essayer de tester pour voir.

Je t'invite à te présenter ici avant qu'on puisse échanger ensemble, je suis certain que tu as plein de choses à nous apporter smile


Work Hard In Silence, Let Success Make The Noise !
--> cedricguerin.fr

0
J'aime ❤️

🔴 Hors ligne

#12 2016-01-12 14:46:20

Mention duan78
🥉 Grade : Scout

AuxiliaireStratègeBusiness ManConsomateur de Liens
Lieu : Paris
Inscription : 2012-08-31
Messages : 589
Likes : 1

Audit et Analyse
Sémantique
Marketing
Social Engineering
Site Web

Re : [BETA] Api google suggest maison

gokam a écrit :

Hello All,

Merci pour ce script, j'ai hate de voir le code source smile

En attendant, je me suis fait un mini outil pour faire des traitements par lot qui fonctionne sous mac et probablement sous linux, si cela intéresse des gens ici.

Voici le fichier bash: https://www.dropbox.com/s/g2dmelnmbfozmmm/curl_suggest.sh?dl=0

et ensuite, il suffit de lancer dans la console

xargs -n1 ./curl_suggest.sh < kwds.txt

kwds.txt étant bien sur la liste des mots clefs a envoyer a l'api
cela va stocker le résultat dans un fichier kwd-suggest.txt dans le dossier courant

Merci pour ton script François et n'oublie pas de te présenter, tu vas voir : ce forum est une mine d'or !

Mitsu a écrit :

Impressionnant la rapidité de nodejs, je ne m'en rendait pas compte sans l'incrémentale ! Ça s'apprend vite Duan ?
Aussi, tu as des mutu qui le gère et faut forcément passer en dédié ?

Ça s'apprends très vite avec les bons support (j'ai commencé par la présentation de video2brain puis j'ai saigné youtube et stackoverflow ...)
Pour l’hébergement, c'est la merde : je passe par une vps (j'aurais pu un dédié)... Il n'y  aucun mutu qui permettent de faire tourner du node.


Arnaud BOYER, eMarketing Manager @ Label Group

0
J'aime ❤️

🔴 Hors ligne

#13 2016-01-12 15:33:56

Mention duan78
🥉 Grade : Scout

AuxiliaireStratègeBusiness ManConsomateur de Liens
Lieu : Paris
Inscription : 2012-08-31
Messages : 589
Likes : 1

Audit et Analyse
Sémantique
Marketing
Social Engineering
Site Web

Re : [BETA] Api google suggest maison

Dukofo a écrit :

Le lien ne marche plus chez moi

Idem, je n'ai pas eu le temps de le charger ... : je le relance sur twitter wink

Edit : il a corrigé wink

Dernière modification par duan78 (2016-01-12 15:38:28)


Arnaud BOYER, eMarketing Manager @ Label Group

0
J'aime ❤️

🔴 Hors ligne

#14 2016-01-12 15:49:59

Mention weboost
🥉 Grade : Scout

Auxiliaire
Inscription : 2014-05-31
Messages : 129
Likes : 0
Site Web

Re : [BETA] Api google suggest maison

Bon du coups je partage un script PHP qui fonctionne sans problème

<?php

//Search term
$term = $_REQUEST['q'];
//Search Engine array
$searchEngines = array(
    "Google" => array("http://suggestqueries.google.com/complete/search?output=firefox&client=firefox&hl=fr-FR&q=", "http://www.google.fr/search?q="),
    "Bing" => array("http://api.bing.com/osjson.aspx?Market=fr-FR&query=", "http://www.bing.com/search?q="),
    //"Yahoo" => array("http://ff.search.yahoo.com/gossip?output=fxjson&fr=crmas&command=", "http://search.yahoo.com/search?p=")
    //"Wikipedia" => array("http://en.wikipedia.org/w/api.php?action=opensearch&search=", "http://en.wikipedia.org/w/index.php?title=Special%3ASearch&search="),
    //"Ebay" => array("http://anywhere.ebay.com/services/suggest/?q=", "http://shop.ebay.com/i.html?_nkw="),
    //"Amazon" => array("http://completion.amazon.com/search/complete?search-alias=aps&client=amazon-search-ui&mkt=1&q=", "http://www.amazon.com/s/field-keywords=")
);

//Combine Search Results
$searchArray = array();
foreach($searchEngines as $engine => $urls){
    $url = $urls[0] . rawurlencode($term);
    try{
        //$json = file_get_contents($url);
        $json = get_url_contents($url);
        $array = json_decode($json);
        $array = $array[1]; //$array[1] contains result list
        if(count($array) > 0){
            $array = getFormattedArray($array, $engine, $urls[1]);
            $searchArray = array_merge($searchArray, $array );
        }
    } catch (Exception $e){ /* Skip the exception */ }
}

//Output JSON
//print_r($searchArray);

foreach($searchArray as $d){
  foreach($d as $v){
    echo '<li><a style="color:#111" href="http://'.$_SERVER['HTTP_HOST'].$_SERVER['PHP_SELF'].'?scl=Twitter&q='.urlencode($v). '">'.$v.'</a>'. "</li>" ;
  }
}

//Format array to add category (search engine name)
function getFormattedArray($array){
    $newArray = array();
    foreach($array as $a){
        $newArray[] = array('label' => $a);
       
    }
   
     return $newArray;
}

//Read URL contents
function get_url_contents($url)
{
    $ch = curl_init();
    curl_setopt($ch, CURLOPT_URL, $url);
    curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
    curl_setopt($ch, CURLOPT_CONNECTTIMEOUT, 5);
    $ip=rand(0,255).'.'.rand(0,255).'.'.rand(0,255).'.'.rand(0,255);
    curl_setopt($ch, CURLOPT_HTTPHEADER, array("REMOTE_ADDR: $ip", "HTTP_X_FORWARDED_FOR: $ip"));
    curl_setopt($ch, CURLOPT_USERAGENT, "Mozilla/".rand(3,5).".".rand(0,3)." (Windows NT ".rand(3,5).".".rand(0,2)."; rv:2.0.1) Gecko/20100101 Firefox/".rand(3,5).".0.1");
    $html = curl_exec($ch);
    curl_close($ch);
    return $html;
}
?>

0
J'aime ❤️

🔴 Hors ligne

#15 2016-01-12 16:19:01

Mention duan78
🥉 Grade : Scout

AuxiliaireStratègeBusiness ManConsomateur de Liens
Lieu : Paris
Inscription : 2012-08-31
Messages : 589
Likes : 1

Audit et Analyse
Sémantique
Marketing
Social Engineering
Site Web

Re : [BETA] Api google suggest maison

weboost a écrit :

Bon du coups je partage un script PHP qui fonctionne sans problème

Merci weboost pour ton partage, mais quel intérêt ici ?

Je m'explique : mon script est asynchrone, hyper rapide et taillé sous forme d'api pour pouvoir l'utiliser dans énormément de cas.
De plus, il ne passe pas par suggestqueries qui est limité en appel, mais directement par un autocomplete dérivé afin de pouvoir tenir la charge et de ne pas avoir de limites d'usage.
Enfin, des fonctions de récursivité et d'utilisation directement dans un tableur sont ajoutées.

Sinon effectivement : il y a des services comme ubersuggest qui propose le même rendu que toi...

Ah oui : l'utf-8 ne fonctionne pas (et ne peut fonctionner) sur ton script :'(

Dernière modification par duan78 (2016-01-13 20:57:53)


Arnaud BOYER, eMarketing Manager @ Label Group

0
J'aime ❤️

🔴 Hors ligne

#16 2016-01-12 16:22:15

Mention weboost
🥉 Grade : Scout

Auxiliaire
Inscription : 2014-05-31
Messages : 129
Likes : 0
Site Web

Re : [BETA] Api google suggest maison

L'intérêt c'est que ce soit 100% partagé même s'il n'a pas toute les fonctions que tu dis.
Maintenant je peux supprimer si çà n'intéresse personne en effet.

0
J'aime ❤️

🔴 Hors ligne

#17 2016-01-12 16:26:53

Mention duan78
🥉 Grade : Scout

AuxiliaireStratègeBusiness ManConsomateur de Liens
Lieu : Paris
Inscription : 2012-08-31
Messages : 589
Likes : 1

Audit et Analyse
Sémantique
Marketing
Social Engineering
Site Web

Re : [BETA] Api google suggest maison

weboost a écrit :

L'intérêt c'est que ce soit 100% partagé même s'il n'a pas toute les fonctions que tu dis.
Maintenant je peux supprimer si çà n'intéresse personne en effet.

Ah, c'est très gentil de ta part, non non : ne supprime pas, le partage de connaissances est toujours bon à prendre.
PS : Comme je l'expliquais, à terme ce projet sera opensource, j'attends juste d'avoir un code que je peux partager ^^


Arnaud BOYER, eMarketing Manager @ Label Group

0
J'aime ❤️

🔴 Hors ligne

#18 2016-01-12 17:21:55

Mention Monitorank
🥉 Grade : Scout

AuxiliaireIngénieur web
Lieu : Ardèche
Inscription : 2015-03-13
Messages : 481
Likes : 1

Développement PHP
Développement JS
intégration Html Css
Data Base Admin
Site Web

Re : [BETA] Api google suggest maison

duan78 a écrit :

Pour l’hébergement, c'est la merde : je passe par une vps (j'aurais pu un dédié)... Il n'y  aucun mutu qui permettent de faire tourner du node.

Simle Hosting de Gandi le propose smile
https://www.gandi.net/hosting/simple?la … p&db=mysql


Monitorank : suivi de positions (Google Search, Images, Actu, YouTube, Amazon, TripAdvisor, Play Store...)
Testez gratuitement : https://www.monitorank.com

Démo : https://demo.monitorank.com

0
J'aime ❤️

🔴 Hors ligne

#19 2016-01-12 17:24:57

Mention duan78
🥉 Grade : Scout

AuxiliaireStratègeBusiness ManConsomateur de Liens
Lieu : Paris
Inscription : 2012-08-31
Messages : 589
Likes : 1

Audit et Analyse
Sémantique
Marketing
Social Engineering
Site Web

Re : [BETA] Api google suggest maison

Monitorank a écrit :
duan78 a écrit :

Pour l’hébergement, c'est la merde : je passe par une vps (j'aurais pu un dédié)... Il n'y  aucun mutu qui permettent de faire tourner du node.

Simle Hosting de Gandi le propose smile
https://www.gandi.net/hosting/simple?la … p&db=mysql

Ah oui effectivement !
Par contre, c'est plus cher qu'une vps ovh :'(


Arnaud BOYER, eMarketing Manager @ Label Group

0
J'aime ❤️

🔴 Hors ligne

Pied de page des forums