Automatiser une requette sur Google et récupérer la première URL

mrwn211 · #1 2016-02-16 09:01:40

Bonjour à tous,

J'ai besoin de créer une macro me permettant d'aller rechercher un nom d'université sur google et de récupérer le premier résultat.

J'ai tous les noms que je dois checker dans un tableau excel, et de ce côté là pas de problème. Par contre je n'arrive pas à trouver quel élément de la serp peut faire comprendre à la macro de me récupérer l'URL du premier résultat.

Si quelqu'un veut bien m'aider ce serait cool!

PS: Je suis novice alors pardonnez-moi si cette question est totalement bidon pour vous et que vous le faites tous les jours au petit dej

Walid · #2 2016-02-16 09:05:55

Salut à toi,

Je te conseille de te présenter d'abord sur le forum, comme le règlement l'impose, puis de revenir sur le thread

mrwn211 · #3 2016-02-16 09:24:31

C'est fait

X3SED · #4 2016-02-16 11:30:13

@mrwn211 si ce n'est que pour avoir le premier résultat du SERP... sinon c'est que je n'ai pas bien compris ce que tu cherches :

VERSION BUILD=10022823

TAG POS=1 TYPE=DIV FORM=NAME:f ATTR=ID:sb_ifc0

TAG POS=1 TYPE=INPUT:TEXT FORM=NAME:f ATTR=NAME:q CONTENT=requete

TAG POS=1 TYPE=CITE ATTR=CLASS:_Rm EXTRACT=TXT

Faudra ajouter les lignes pour enregistrer tes données mais bon c'est simple.

PS: Ca ne fonctionnera surement pas avec les longues URL

Dernière modification par X3SED (2016-02-16 14:07:31)

mrwn211 · #5 2016-02-16 13:34:13

Yes c'est bien uniquement le premier résultat du SERP qui m'intéresse !

Merci beaucoup je vais tester ça !

Mitsu · #6 2016-02-16 13:49:23

Bonjour,
Sinon en partant d'un fichier Excel le plus simple serait peut être pour toi de scrapper directement depuis Excel ou Google Spreadsheet.

Un peu de littérature de @Razbithume et @Cyd sur ces sujets selon si tu souhaites utiliser spreadhseet ou excel, l'un le fait en natif l'autre demande l'installation de SEOtoolsForExcel.

- http://www.canyouseome.com/google-black … readsheet/
- http://cedricguerin.fr/scraper-avec-excel/

mrwn211 · #7 2016-02-16 13:51:44

J''utilise SEO tools pour crawler mes sites (environ une dizaine).

Mais là ce qui m'intéresse c'est de partir du nom d'une université pour récupérer l'url de la homepage de cette université, sans avoir à googliser à la main chaque école pour trouver son site.

Si je peux le faire avec SEO tools pourquoi pas!

Mitsu · #8 2016-02-16 14:14:49

Du coup tu peux le faire avec SEOtools, tu scrapp l'url google.fr/search?q=nom_université et avec le xpath tu récupère juste l'url du premier résultat, ou est le problème ?

mrwn211 · #9 2016-02-16 14:25:50

je peux automatiser le changement de "nom_université" dans mon scrap ? J'ai une liste de plus d'une centaine d'université à chercher c'est ça qui m'embête

Mitsu · #10 2016-02-16 14:43:59

Bah ouais comme quand tu fais le suivi de positionnement tu t'amuses pas à seter les url à scrappé une à une non ?

Exempe :
Colonne 1 nom d'université sur ton excel
Colonne 2 : url a scrappé ="http://www.google.fr/search?q="&A1
Colonne 3 : Scrapp avec xpath

A vérifier mais faudra peut être changer les espaces par des %20 pour que ça marche.

Walid · #11 2016-02-16 15:26:02

@mrwn211 voici ta macro pour firefox. Les lignes précédées d'une apostrophe sont des commentaires pour t'aider à comprendre

'd'abbord tu crées un fichier csv contenant les noms des universités'

'dans les noms tu remplaces tous les espaces par le signe +'

VERSION BUILD=8920312 RECORDER=FX

SET ERRORIGNORE YES

SET !EXTRACT_TEST_POPUP NO

'ici tu mets le bon chemin vers ton fichier

SET !DATASOURCE C:\iMacros\Datasources\noms-univ.csv

'ici tu renseignes le nombre de colones de ton fichier source

SET !DATASOURCE_COLUMNS 1

'ici tu renseignes la ligne de ton csv à laquelle la macro doit commencer 

SET !LOOP 1

TAB T=1

URL GOTO=https://www.google.fr/?gws_rd=ssl#q={{!col1}}

TAG POS=1 TYPE=H3 ATTR=CLASS:"r" EXTRACT=HTM

SET !EXTRACT EVAL("'{{!EXTRACT}}'.match(/a href=\"(.*)\" onmousedown=/)[1];")

SAVEAS TYPE=EXTRACT FOLDER=C:\iMacros\Datasources\ FILE=urls.csv

X3SED · #12 2016-02-16 15:44:57

@Bigorno Excellent ! Je n'avais jamais filtré mes extracts auparavant via Regex sur iMacros !

Merci pour l'astuce !

mrwn211 · #13 2016-02-16 15:52:37

J'ai tester et le problème c'est qu'il arrive à me prendre la première et la dernière entrée de mon fichier csv et me ressortir les 2 urls

Mais entre les deux il me répète n fois l'url de la deuxième entrée de mon csv.

Walid · #14 2016-02-16 16:23:02

@mrwn211 c'est rien je pense ça doit être la macro qui va plus vite que ton navigateur

Juste après la ligne ou il y a "URL GOTO=............"

ajoute celle ci

WAIT SECONDS=1

 

mrwn211 · #15 2016-02-23 16:05:26

Je reviens sur ce thread parce que je suis passé à l'étape d'après c'est-à-dire une fois que j'ai récup les url qui m'intéressent maintenant je veux récup le TF et le CF des url en question!

J'ai donc essayé de concocter une petite macro mais je ne suis pas parvenu au résultat voulu! et je n'arrive pas à trouver l'erreur dans mon code!

C'est pour ça que je viens solliciter vos conseils!

Donc j'ai mon csv dans lequel il n'y a qu'une seule colonne avec une url. Je veux que iMacro aille récupérer tour à tour les url, ensuite qu'il aille sur majestic et qu'il me récupère le TF et le CF, et qu'il me l'enregistre dans un csv.

Voici mon code (j'ai juste supprimé le mail et le mot de passe de mes logins sur majestic ):

VERSION BUILD=8920312 RECORDER=FX

TAB T=1

URL GOTO=https://majestic.com/account/logout

TAG POS=1 TYPE=IMG ATTR=ID:login_arrow_image

TAG POS=1 TYPE=INPUT:EMAIL FORM=ID:signin ATTR=NAME:EmailAddress CONTENT

SET !ENCRYPTION NO

TAG POS=1 TYPE=INPUT:PASSWORD FORM=ID:signin ATTR=NAME:Password CONTENT=

TAG POS=1 TYPE=INPUT:SUBMIT FORM=ID:signin ATTR=ID:signin_submit

TAG POS=1 TYPE=A ATTR=TXT:Site<SP>Explorer

TAB T=1

SET !EXTRACT_TEST_POPUP NO

SET !ERRORIGNORE YES

SET !DATASOURCE R:\COMMUN\Assistant_DM\Merwan\SEO\imacro\URL_sites_partenaires.csv

SET !DATASOURCE_COLUMNS 1

SET !DATASOURCE_LINE {{!LOOP}}

SET !TIMEOUT_STEP 1

TAB T=1

URL GOTO=https://fr.majestic.com/reports/site-explorer?q={{!COL1}}

TAG POS=1 TYPE=INPUT:SUBMIT FORM=ID:urlSearch ATTR=ID:explorersubmit

ADD !EXTRACT {{!COL1}}

ADD !EXTRACT {{!URLCURRENT}}

'TF

TAG POS=1 TYPE=SPAN ATTR=class:flow_title_container EXTRACT=TXT

'CF

TAG POS=2 TYPE=SPAN ATTR=class:flow_title_container EXTRACT=TXT

SAVEAS TYPE=EXTRACT FOLDER=R:\COMMUN\Assistant_DM\Merwan\SEO\imacro FILE=TF-CF_sites_partenaires.csv

WAIT SECONDS=2

Walid · #16 2016-02-23 17:17:21

mrwn211 a écrit :

Je reviens sur ce thread parce que je suis passé à l'étape d'après c'est-à-dire une fois que j'ai récup les url qui m'intéressent maintenant je veux récup le TF et le CF des url en question!
J'ai donc essayé de concocter une petite macro mais je ne suis pas parvenu au résultat voulu! et je n'arrive pas à trouver l'erreur dans mon code!
C'est pour ça que je viens solliciter vos conseils!

T'aurais au moins pu dire "merci" pour la première étape avant de solliciter de nouveaux conseils

Pour Majestic pas besoin de te prendre trop la tête, vu que tu as déjà la liste des urls, tu as la possibilité de faire un bulk check ici https://fr.majestic.com/reports/bulk-backlink-checker

mrwn211 · #17 2016-02-23 21:24:06

Oh purée j'ai trop honte, j'étais persuadé d'avoir dit merci en plus...:|

Franchement je suis désolé et je remercie les initiateurs et les participants de ce forum parce que c'est une mine d'information et c'est toujours un plaisir de le le parcourir....

On m'y reprendra pas deux fois

Merci!

mrwn211 · #18 2016-02-25 15:37:45

ça a marché nickel en mode bulk, merci pour l'info

🟣 Automatiser une requette sur Google et récupérer la première URL

#1 2016-02-16 09:01:40

Automatiser une requette sur Google et récupérer la première URL

#2 2016-02-16 09:05:55

Re : Automatiser une requette sur Google et récupérer la première URL

#3 2016-02-16 09:24:31

Re : Automatiser une requette sur Google et récupérer la première URL

#4 2016-02-16 11:30:13

Re : Automatiser une requette sur Google et récupérer la première URL

#5 2016-02-16 13:34:13

Re : Automatiser une requette sur Google et récupérer la première URL

#6 2016-02-16 13:49:23

Re : Automatiser une requette sur Google et récupérer la première URL

#7 2016-02-16 13:51:44

Re : Automatiser une requette sur Google et récupérer la première URL

#8 2016-02-16 14:14:49

Re : Automatiser une requette sur Google et récupérer la première URL

#9 2016-02-16 14:25:50

Re : Automatiser une requette sur Google et récupérer la première URL

#10 2016-02-16 14:43:59

Re : Automatiser une requette sur Google et récupérer la première URL

#11 2016-02-16 15:26:02

Re : Automatiser une requette sur Google et récupérer la première URL

#12 2016-02-16 15:44:57

Re : Automatiser une requette sur Google et récupérer la première URL

#13 2016-02-16 15:52:37

Re : Automatiser une requette sur Google et récupérer la première URL

#14 2016-02-16 16:23:02

Re : Automatiser une requette sur Google et récupérer la première URL

#15 2016-02-23 16:05:26

Re : Automatiser une requette sur Google et récupérer la première URL

#16 2016-02-23 17:17:21

Re : Automatiser une requette sur Google et récupérer la première URL

#17 2016-02-23 21:24:06

Re : Automatiser une requette sur Google et récupérer la première URL

#18 2016-02-25 15:37:45

Re : Automatiser une requette sur Google et récupérer la première URL

Pied de page des forums