scrape wp

jeudis · #1 2013-12-14 20:12:22

bonjour..

je recherche un script pour scraper un Wp ( text) ....hors scrape box ou genre..juste qqe chose qui aspire le texte
dans un fichier texte..a partir de son url..(niveau page categories avec pagination )..merci ! (payant ou pas)..

Jaffaar · #2 2013-12-14 20:19:15

ca pourrai se developper mais il faudra que tu donne plus de détail sur ce que tu souhaite

jeudis · #3 2013-12-16 07:25:55

Bonjour Jaffaar,

En fait, se caler sur une url WP d'affichage de categories qui reçoit des pages (accessible par pagination bas de page), et récupérer les textes , uniquement, dans un fichier texte au plus simple.

effi10 · #4 2013-12-16 08:12:46

Hello

C'est possible via une analyse du code (en DotNet on fait ça super facilement via un objet XElement et Linq to XML)

Par contre ça dépend des templates utilisés. Tu peux repérer les pages article via l'attribut Class de la balise Body (qui contiendra "single-post" ; rechercher "single" seul si tu veux pages et articles) puis prendre le contenu dans la balise "div" de class "content" ou "entry", selon le thème utilisé, ou même la balise "article" de classe "post" si le thème est en HTML5...)

J'ai déjà réfléchi à me développer mon propre scraper de contenu, mais bon pas encore fait aujourd'hui par manque de temps...

jeredoc · #5 2013-12-16 11:12:58

Salut ça doit être faisable avec ubot ce genre de scrapper !

wildjack · #6 2013-12-16 12:03:40

Oui c'est l'exercice parfait pour zennoposter ça.

Il faudrait faire une sorte de cahier des charges, processus complet du début à la fin avec étapes détaillées pour commencer.

Jaffaar · #7 2013-12-16 12:21:05

wildjack a écrit :

Il faudrait faire une sorte de cahier des charges, processus complet du début à la fin avec étapes détaillées pour commencer.

+1

jeudis · #8 2013-12-17 09:36:32

bonjour ,

Merci à effi10 pour l'explication technique et jeredoc and wildjack pour les outils...

effi10 · #9 2013-12-17 10:54:36

Et pour le scrappage facile de toutes les pages, tu peux utiliser le sitemap.xml

(c'est ce que j'ai fait dans effiSocial par exemple)

Tiens c'est une idée d'article ça :-)

🟣 scrape wp

#1 2013-12-14 20:12:22

scrape wp

#2 2013-12-14 20:19:15

Re : scrape wp

#3 2013-12-16 07:25:55

Re : scrape wp

#4 2013-12-16 08:12:46

Re : scrape wp

#5 2013-12-16 11:12:58

Re : scrape wp

#6 2013-12-16 12:03:40

Re : scrape wp

#7 2013-12-16 12:21:05

Re : scrape wp

#8 2013-12-17 09:36:32

Re : scrape wp

#9 2013-12-17 10:54:36

Re : scrape wp

Pied de page des forums