Vous n'êtes pas identifié(e).

  • Contributions :
  • Vos boîtes de messages privés sont vides.

🟣 [SHARE] Macro pour récupérer les URL d'une recherche sur lemonde.fr


#1 2016-01-06 22:53:47

Mention Cherubin
🥉 Grade : Scout

AuxiliaireStratègeBusiness Man
Inscription : 2012-09-10
Messages : 457
Likes : 4

Marketing
Sémantique
Social Engineering
Audit et Analyse

[SHARE] Macro pour récupérer les URL d'une recherche sur lemonde.fr

J'avais besoin de récupérer les URLs d'articles du Monde, suite à une recherche sur leur site.
J'ai mis un peu de temps mais ça fonctionne, pour ceux qui ont Zenno c'est un poil plus simple et Cedric peut aider sur le sujet wink

VERSION BUILD=8940826 RECORDER=FX
TAB T=1
SET !ERRORIGNORE YES
'PROMPT "Please enter your keyword:" !VAR1
SET !VAR1 immobilier
SET !LOOP 1
'URL GOTO=http://www.lemonde.fr/recherche/?keywords={{!VAR1}}&qt=recherche_globale&page_num={{!loop}}
URL GOTO=http://www.lemonde.fr/recherche/?keywords={{!VAR1}}&qt=recherche_titre&page_num={{!loop}}

TAG POS=1 TYPE=H3 ATTR=CLASS:txt4_120*
TAG POS=R1 TYPE=* ATTR=* EXTRACT=
TAG POS=R-1 TYPE=A ATTR=HREF:* EXTRACT=HREF

TAG POS=2 TYPE=H3 ATTR=CLASS:txt4_120*
TAG POS=R1 TYPE=* ATTR=* EXTRACT=
TAG POS=R-1 TYPE=A ATTR=HREF:* EXTRACT=HREF

TAG POS=3 TYPE=H3 ATTR=CLASS:txt4_120*
TAG POS=R1 TYPE=* ATTR=* EXTRACT=
TAG POS=R-1 TYPE=A ATTR=HREF:* EXTRACT=HREF

TAG POS=4 TYPE=H3 ATTR=CLASS:txt4_120*
TAG POS=R1 TYPE=* ATTR=* EXTRACT=
TAG POS=R-1 TYPE=A ATTR=HREF:* EXTRACT=HREF

TAG POS=5 TYPE=H3 ATTR=CLASS:txt4_120*
TAG POS=R1 TYPE=* ATTR=* EXTRACT=
TAG POS=R-1 TYPE=A ATTR=HREF:* EXTRACT=HREF

TAG POS=6 TYPE=H3 ATTR=CLASS:txt4_120*
TAG POS=R1 TYPE=* ATTR=* EXTRACT=
TAG POS=R-1 TYPE=A ATTR=HREF:* EXTRACT=HREF

TAG POS=7 TYPE=H3 ATTR=CLASS:txt4_120*
TAG POS=R1 TYPE=* ATTR=* EXTRACT=
TAG POS=R-1 TYPE=A ATTR=HREF:* EXTRACT=HREF
 
TAG POS=8 TYPE=H3 ATTR=CLASS:txt4_120*
TAG POS=R1 TYPE=* ATTR=* EXTRACT=
TAG POS=R-1 TYPE=A ATTR=HREF:* EXTRACT=HREF

TAG POS=9 TYPE=H3 ATTR=CLASS:txt4_120*
TAG POS=R1 TYPE=* ATTR=* EXTRACT=
TAG POS=R-1 TYPE=A ATTR=HREF:* EXTRACT=HREF

TAG POS=10 TYPE=H3 ATTR=CLASS:txt4_120*
TAG POS=R1 TYPE=* ATTR=* EXTRACT=
TAG POS=R-1 TYPE=A ATTR=HREF:* EXTRACT=HREF

SAVEAS TYPE=EXTRACT FOLDER=* FILE=links_{{!VAR1}}_lemonde.txt
WAIT SECONDS=3

La prochaine étape c'est d'améliorer le script pour ouvrir un prompt et directement demander quel mot clé/expression on souhaite chercher, puis scraper.

Dernière modification par Cherubin (2016-01-06 22:54:16)

0
J'aime ❤️

🔴 Hors ligne

#2 2016-01-07 05:29:02

Mention Cyd
🥉 Grade : Scout

AuxiliaireStratège1000 messagesMembre Hospitalier
Lieu : Rennes
Inscription : 2013-01-18
Messages : 1 566
Likes : 3

Audit et Analyse
Netlinking
Cloaking
Marketing

Re : [SHARE] Macro pour récupérer les URL d'une recherche sur lemonde.fr

Merci pour le partage @Cherubin !! Cool que tu aies fini par t'en sortir.
Qu'est-ce qui bloquait finalement ?

Pour ceux qui voudraient faire la même chose sur Zenno, voilà la regex à utiliser :

(?<=div\ class="grid_.*resultat">\s*.*<a\ href=")[\w\W]*?(?=">)

Dernière modification par Cyd (2016-01-07 05:29:47)


Work Hard In Silence, Let Success Make The Noise !
--> cedricguerin.fr

0
J'aime ❤️

🔴 Hors ligne

#3 2016-01-07 08:12:25

Mention Cherubin
🥉 Grade : Scout

AuxiliaireStratègeBusiness Man
Inscription : 2012-09-10
Messages : 457
Likes : 4

Marketing
Sémantique
Social Engineering
Audit et Analyse

Re : [SHARE] Macro pour récupérer les URL d'une recherche sur lemonde.fr

En fait fallait jouer avec les positions relatives d'imacro, les R1, R-1.

Là où je trouve le système con, c'est qu'il a fallu que j'en enchaine deux pour avoir celui que je voulais car je ne sais pas pourquoi mais il saute le premier tag, ce qui m'oblige à revenir en arrière...

Ya pas à dire, avec zenno c'est bien plus simple !

0
J'aime ❤️

🔴 Hors ligne

#4 2016-01-07 10:18:12

Mention X3SED
🥉 Grade : Scout

AuxiliaireStratège10likesMembre Hospitalier
Inscription : 2015-05-13
Messages : 896
Likes : 13

Netlinking
Scraping
Automatisation Web
Comunity Management
Site Web

Re : [SHARE] Macro pour récupérer les URL d'une recherche sur lemonde.fr

Ca me manque quand même les positions relatives d'iMacros ! neutral Merci pour le script & regex !


_________
.

0
J'aime ❤️

🔴 Hors ligne

#5 2016-01-07 10:22:20

Mention Cherubin
🥉 Grade : Scout

AuxiliaireStratègeBusiness Man
Inscription : 2012-09-10
Messages : 457
Likes : 4

Marketing
Sémantique
Social Engineering
Audit et Analyse

Re : [SHARE] Macro pour récupérer les URL d'une recherche sur lemonde.fr

Si ça te manque, remets-y toi ! Surtout si tu fais aussi du scripting wink

0
J'aime ❤️

🔴 Hors ligne

#6 2016-01-10 00:01:54

Mention cb_nalex
🥉 Grade : Scout

AuxiliaireStratège
Inscription : 2014-04-26
Messages : 784
Likes : 2

Html Css
Netlinking
Sémantique
Audit et Analyse

Re : [SHARE] Macro pour récupérer les URL d'une recherche sur lemonde.fr

Ouai imacro c'est trop cool c'est simple et efficace


°¨¨°³º¤£ [  COOLBYTES  ] £¤º³°¨¨° - Skype: cb_nalex_levrai

0
J'aime ❤️

🔴 Hors ligne

Pied de page des forums