Vous n'êtes pas identifié(e).

  • Contributions :
  • Vos boîtes de messages privés sont vides.

Annonce

Participez au Concours Seo 2016 Officiel ! | Faites un bond en avant avec la formation SEO Ranking Skills le 12 Avril 2017

#1 2016-01-06 22:53:47

Mention Cherubin
Scout
Inscription : 2012-09-10
Messages : 266

Marketing
Sémantique
Social Engineering
Audit et Analyse

[SHARE] Macro pour récupérer les URL d'une recherche sur lemonde.fr

J'avais besoin de récupérer les URLs d'articles du Monde, suite à une recherche sur leur site.
J'ai mis un peu de temps mais ça fonctionne, pour ceux qui ont Zenno c'est un poil plus simple et Cedric peut aider sur le sujet wink

VERSION BUILD=8940826 RECORDER=FX
TAB T=1
SET !ERRORIGNORE YES
'PROMPT "Please enter your keyword:" !VAR1
SET !VAR1 immobilier
SET !LOOP 1
'URL GOTO=http://www.lemonde.fr/recherche/?keywords={{!VAR1}}&qt=recherche_globale&page_num={{!loop}}
URL GOTO=http://www.lemonde.fr/recherche/?keywords={{!VAR1}}&qt=recherche_titre&page_num={{!loop}}

TAG POS=1 TYPE=H3 ATTR=CLASS:txt4_120*
TAG POS=R1 TYPE=* ATTR=* EXTRACT=
TAG POS=R-1 TYPE=A ATTR=HREF:* EXTRACT=HREF

TAG POS=2 TYPE=H3 ATTR=CLASS:txt4_120*
TAG POS=R1 TYPE=* ATTR=* EXTRACT=
TAG POS=R-1 TYPE=A ATTR=HREF:* EXTRACT=HREF

TAG POS=3 TYPE=H3 ATTR=CLASS:txt4_120*
TAG POS=R1 TYPE=* ATTR=* EXTRACT=
TAG POS=R-1 TYPE=A ATTR=HREF:* EXTRACT=HREF

TAG POS=4 TYPE=H3 ATTR=CLASS:txt4_120*
TAG POS=R1 TYPE=* ATTR=* EXTRACT=
TAG POS=R-1 TYPE=A ATTR=HREF:* EXTRACT=HREF

TAG POS=5 TYPE=H3 ATTR=CLASS:txt4_120*
TAG POS=R1 TYPE=* ATTR=* EXTRACT=
TAG POS=R-1 TYPE=A ATTR=HREF:* EXTRACT=HREF

TAG POS=6 TYPE=H3 ATTR=CLASS:txt4_120*
TAG POS=R1 TYPE=* ATTR=* EXTRACT=
TAG POS=R-1 TYPE=A ATTR=HREF:* EXTRACT=HREF

TAG POS=7 TYPE=H3 ATTR=CLASS:txt4_120*
TAG POS=R1 TYPE=* ATTR=* EXTRACT=
TAG POS=R-1 TYPE=A ATTR=HREF:* EXTRACT=HREF
 
TAG POS=8 TYPE=H3 ATTR=CLASS:txt4_120*
TAG POS=R1 TYPE=* ATTR=* EXTRACT=
TAG POS=R-1 TYPE=A ATTR=HREF:* EXTRACT=HREF

TAG POS=9 TYPE=H3 ATTR=CLASS:txt4_120*
TAG POS=R1 TYPE=* ATTR=* EXTRACT=
TAG POS=R-1 TYPE=A ATTR=HREF:* EXTRACT=HREF

TAG POS=10 TYPE=H3 ATTR=CLASS:txt4_120*
TAG POS=R1 TYPE=* ATTR=* EXTRACT=
TAG POS=R-1 TYPE=A ATTR=HREF:* EXTRACT=HREF

SAVEAS TYPE=EXTRACT FOLDER=* FILE=links_{{!VAR1}}_lemonde.txt
WAIT SECONDS=3

La prochaine étape c'est d'améliorer le script pour ouvrir un prompt et directement demander quel mot clé/expression on souhaite chercher, puis scraper.

Dernière modification par Cherubin (2016-01-06 22:54:16)

Hors ligne

#2 2016-01-07 05:29:02

Mention Cyd
Soldier
Lieu : Rennes
Inscription : 2013-01-18
Messages : 1 410

Audit et Analyse
Netlinking
Cloaking
Marketing

Re : [SHARE] Macro pour récupérer les URL d'une recherche sur lemonde.fr

Merci pour le partage @Cherubin !! Cool que tu aies fini par t'en sortir.
Qu'est-ce qui bloquait finalement ?

Pour ceux qui voudraient faire la même chose sur Zenno, voilà la regex à utiliser :

(?<=div\ class="grid_.*resultat">\s*.*<a\ href=")[\w\W]*?(?=">)

Dernière modification par Cyd (2016-01-07 05:29:47)


Work Hard In Silence, Let Success Make The Noise !
--> cedricguerin.fr

Hors ligne

#3 2016-01-07 08:12:25

Mention Cherubin
Scout
Inscription : 2012-09-10
Messages : 266

Marketing
Sémantique
Social Engineering
Audit et Analyse

Re : [SHARE] Macro pour récupérer les URL d'une recherche sur lemonde.fr

En fait fallait jouer avec les positions relatives d'imacro, les R1, R-1.

Là où je trouve le système con, c'est qu'il a fallu que j'en enchaine deux pour avoir celui que je voulais car je ne sais pas pourquoi mais il saute le premier tag, ce qui m'oblige à revenir en arrière...

Ya pas à dire, avec zenno c'est bien plus simple !

Hors ligne

#4 2016-01-07 10:18:12

Mention Linuxma
Soldier
Inscription : 2015-05-13
Messages : 697

Netlinking
Scraping
Automatisation Web
Comunity Management
Site Web

Re : [SHARE] Macro pour récupérer les URL d'une recherche sur lemonde.fr

Ca me manque quand même les positions relatives d'iMacros ! neutral Merci pour le script & regex !

Hors ligne

#5 2016-01-07 10:22:20

Mention Cherubin
Scout
Inscription : 2012-09-10
Messages : 266

Marketing
Sémantique
Social Engineering
Audit et Analyse

Re : [SHARE] Macro pour récupérer les URL d'une recherche sur lemonde.fr

Si ça te manque, remets-y toi ! Surtout si tu fais aussi du scripting wink

Hors ligne

#6 2016-01-10 00:01:54

Mention cb_nalex
Soldier
Inscription : 2014-04-26
Messages : 592

Html Css
Netlinking
Sémantique
Audit et Analyse

Re : [SHARE] Macro pour récupérer les URL d'une recherche sur lemonde.fr

Ouai imacro c'est trop cool c'est simple et efficace


°¨¨°³º¤£ [  COOLBYTES  ] £¤º³°¨¨° - Skype: cb_nalex_levrai

Hors ligne

Pied de page des forums