[SHARE] Macro pour récupérer les URL d'une recherche sur lemonde.fr

Cherubin · #1 2016-01-06 22:53:47

J'avais besoin de récupérer les URLs d'articles du Monde, suite à une recherche sur leur site.
J'ai mis un peu de temps mais ça fonctionne, pour ceux qui ont Zenno c'est un poil plus simple et Cedric peut aider sur le sujet

VERSION BUILD=8940826 RECORDER=FX

TAB T=1

SET !ERRORIGNORE YES

'PROMPT "Please enter your keyword:" !VAR1

SET !VAR1 immobilier

SET !LOOP 1

'URL GOTO=http://www.lemonde.fr/recherche/?keywords={{!VAR1}}&qt=recherche_globale&page_num={{!loop}}

URL GOTO=http://www.lemonde.fr/recherche/?keywords={{!VAR1}}&qt=recherche_titre&page_num={{!loop}}

TAG POS=1 TYPE=H3 ATTR=CLASS:txt4_120* 

TAG POS=R1 TYPE=* ATTR=* EXTRACT=

TAG POS=R-1 TYPE=A ATTR=HREF:* EXTRACT=HREF 

TAG POS=2 TYPE=H3 ATTR=CLASS:txt4_120*

TAG POS=R1 TYPE=* ATTR=* EXTRACT=

TAG POS=R-1 TYPE=A ATTR=HREF:* EXTRACT=HREF

TAG POS=3 TYPE=H3 ATTR=CLASS:txt4_120* 

TAG POS=R1 TYPE=* ATTR=* EXTRACT=

TAG POS=R-1 TYPE=A ATTR=HREF:* EXTRACT=HREF 

TAG POS=4 TYPE=H3 ATTR=CLASS:txt4_120* 

TAG POS=R1 TYPE=* ATTR=* EXTRACT=

TAG POS=R-1 TYPE=A ATTR=HREF:* EXTRACT=HREF 

TAG POS=5 TYPE=H3 ATTR=CLASS:txt4_120* 

TAG POS=R1 TYPE=* ATTR=* EXTRACT=

TAG POS=R-1 TYPE=A ATTR=HREF:* EXTRACT=HREF 

TAG POS=6 TYPE=H3 ATTR=CLASS:txt4_120* 

TAG POS=R1 TYPE=* ATTR=* EXTRACT=

TAG POS=R-1 TYPE=A ATTR=HREF:* EXTRACT=HREF 

TAG POS=7 TYPE=H3 ATTR=CLASS:txt4_120* 

TAG POS=R1 TYPE=* ATTR=* EXTRACT=

TAG POS=R-1 TYPE=A ATTR=HREF:* EXTRACT=HREF

TAG POS=8 TYPE=H3 ATTR=CLASS:txt4_120* 

TAG POS=R1 TYPE=* ATTR=* EXTRACT=

TAG POS=R-1 TYPE=A ATTR=HREF:* EXTRACT=HREF 

TAG POS=9 TYPE=H3 ATTR=CLASS:txt4_120* 

TAG POS=R1 TYPE=* ATTR=* EXTRACT=

TAG POS=R-1 TYPE=A ATTR=HREF:* EXTRACT=HREF 

TAG POS=10 TYPE=H3 ATTR=CLASS:txt4_120* 

TAG POS=R1 TYPE=* ATTR=* EXTRACT=

TAG POS=R-1 TYPE=A ATTR=HREF:* EXTRACT=HREF 

SAVEAS TYPE=EXTRACT FOLDER=* FILE=links_{{!VAR1}}_lemonde.txt

WAIT SECONDS=3

La prochaine étape c'est d'améliorer le script pour ouvrir un prompt et directement demander quel mot clé/expression on souhaite chercher, puis scraper.

Dernière modification par Cherubin (2016-01-06 22:54:16)

Cyd · #2 2016-01-07 05:29:02

Merci pour le partage @Cherubin !! Cool que tu aies fini par t'en sortir.
Qu'est-ce qui bloquait finalement ?

Pour ceux qui voudraient faire la même chose sur Zenno, voilà la regex à utiliser :

(?<=div\ class="grid_.*resultat">\s*.*<a\ href=")[\w\W]*?(?=">)

Dernière modification par Cyd (2016-01-07 05:29:47)

Cherubin · #3 2016-01-07 08:12:25

En fait fallait jouer avec les positions relatives d'imacro, les R1, R-1.

Là où je trouve le système con, c'est qu'il a fallu que j'en enchaine deux pour avoir celui que je voulais car je ne sais pas pourquoi mais il saute le premier tag, ce qui m'oblige à revenir en arrière...

Ya pas à dire, avec zenno c'est bien plus simple !

X3SED · #4 2016-01-07 10:18:12

Ca me manque quand même les positions relatives d'iMacros ! Merci pour le script & regex !

Cherubin · #5 2016-01-07 10:22:20

Si ça te manque, remets-y toi ! Surtout si tu fais aussi du scripting

cb_nalex · #6 2016-01-10 00:01:54

Ouai imacro c'est trop cool c'est simple et efficace

🟣 [SHARE] Macro pour récupérer les URL d'une recherche sur lemonde.fr

#1 2016-01-06 22:53:47

[SHARE] Macro pour récupérer les URL d'une recherche sur lemonde.fr

#2 2016-01-07 05:29:02

Re : [SHARE] Macro pour récupérer les URL d'une recherche sur lemonde.fr

#3 2016-01-07 08:12:25

Re : [SHARE] Macro pour récupérer les URL d'une recherche sur lemonde.fr

#4 2016-01-07 10:18:12

Re : [SHARE] Macro pour récupérer les URL d'une recherche sur lemonde.fr

#5 2016-01-07 10:22:20

Re : [SHARE] Macro pour récupérer les URL d'une recherche sur lemonde.fr

#6 2016-01-10 00:01:54

Re : [SHARE] Macro pour récupérer les URL d'une recherche sur lemonde.fr

Pied de page des forums