Bonjour à tous, je bosse sur un tool et je voulais savoir si qq'un connaitrait un tool api ou bout de code pour extraire la partie "contenu" d'une page html..
Concretement sur une page html je ne veux que la partie contenu et pas les menus....
Merci de votre aide
A+
thomas
Hors ligne
Pas a ma connaissance, ce n'est clairement pas trivial d'arriver à isoler le contenu d'une page sur n'importe quel site avec des structures qui n'ont pas grand chose à voir les unes avec les autres.
Globalement, une technique basique en une seule passe serait de regarder l'enchaînement des balises de titres et de paragraphes et leur longueur...
Sinon, il faut récupérer pleins de pages d'un site puis isoler ce qui diffère entre chacune, mais c'est gourmand et long et avec certainement beaucoup d'erreurs.
Dernière modification par Ziltosh (2020-12-21 14:01:42)
Hors ligne
Zennoposter mais en natif il ne te récupère pas la structure des hn
Soyez vous-même, les autres sont déjà pris
Hors ligne
Tu peux utiliser readability, beautiful soup ou dragnet (c'est le mieux des 3). Mais je ne sais pas si ils existent en API, en tout cas ils sont dans des bibliothèques python et sans doute aussi dans d'autres languages.
Dernière modification par Sylvain (2020-12-21 15:03:24)
Tant va la loutre à l'eau qu'à la fin elle se mouille...
Hors ligne
Bonjour à tous, je bosse sur un tool et je voulais savoir si qq'un connaitrait un tool api ou bout de code pour extraire la partie "contenu" d'une page html..
Concretement sur une page html je ne veux que la partie contenu et pas les menus....Merci de votre aide
A+
thomas
Il faut parser le HTML (qui est du XML) c'est pas très compliqué, mais il faut prendre le temps de tester les structures HTML possible de sites que tu souhaite scrapper.
En ligne
Niveau API tu peux regarder Parsub ou Instant Data Scrapper. Je ne sais pas s'ils en ont mais ils sont vraiment efficaces.
Je ne sais pas si ça aide mais quand je scrap via Screaming Frog je me base juste sur les balises html... Mais effectivement si le menu n'est pas clairement mentionné tel quel sur un site ça ne nous permet pas de l'exclure, donc c'est plus complexe. Tu pourrais peut-être ajouter à ton tool une option qui permet de sélectionner les éléments à scraper comme sur Parshub ou autre tool de scrapping par exemple ?
Sinon, c'est ma technique quand je clean les pages scrappées sur Excel, je mettrais simplement une règle spécifiant de ne prendre uniquement que ce qu'il y a sous le <h1> par exemple, et je fixe la limite de l'extraction soit à </html> ou autre élément (par exemple au début de la zone des commentaires.)
Mon nouvel outil d'optimisation sémantique : https://thot-seo.fr/ ★★★
Vous pouvez tester gratuitement depuis la home de Thot SEO
Hors ligne
Merci à tous pour vos réponses... Je vais regarder ça plus en détails..
Hors ligne
@tomawill: Si tu Dév en Python, Regarde Trafilatura
Hors ligne
Perso, je commence tout juste l'exercice avec le plugin payant de scrapebox.
La problématique reste la même chaque site à sa structure et le contenu est donc contenu dans des "div" avec des class différentes.
Cependant en se concentrant sur 5 sites après avoir "Harvest" tout les urls des 5 blogs, cela fonctionne parfaitement en définissant pour chaque site les balises ou se trouve le titre et le contenu de l'article.
J'ai déjà pu tester beautiful soup et ça fonctionne bien, je ne connais pas les deux autres conseiller par @Sylvain (merci).
On voit bien que Python reste la base pour du scraping
Plateforme d'achat & de ventes de liens : https://lemmilink.fr
Site pro : https://agence.socy.fr/
Hors ligne