SecHunter : vos failles, avant les attaquants

Extraction Content sur page HMTL

#1 contenu, api

tomawillScout
52 messages2 j'aimedepuis 2016
Distinctions · 6
10 ansPolyvalentPilier IIAccueillantStratègeBusiness man

Extraction Content sur page HMTL

Bonjour à tous, je bosse sur un tool et je voulais savoir si qq'un connaitrait un tool api ou bout de code pour extraire la partie "contenu" d'une page html..
Concretement sur une page html je ne veux que la partie contenu et pas les menus....

Merci de votre aide

A+
thomas

J'aime ❤️

Hors ligne

15 référents en Scraping et extraction répondent dans cet espaceInscription gratuite : présentez-vous, puis posez vos questions et répondez aux discussions.

#2 contenu, balises

Z
ZiltoshSoldier
277 messages137 j'aimedepuis 2020
Distinctions · 13
Consommateur de liensAccueillant VReconnuPilier IVPremier secours IIIIngénieur web IIPolyvalent5 ansPhilanthropeClinicienExpert SEO IIExpert Outils et techniqueAutomate

Re : Extraction Content sur page HMTL

Pas a ma connaissance, ce n'est clairement pas trivial d'arriver à isoler le contenu d'une page sur n'importe quel site avec des structures qui n'ont pas grand chose à voir les unes avec les autres.

Globalement, une technique basique en une seule passe serait de regarder l'enchaînement des balises de titres et de paragraphes et leur longueur...

Sinon, il faut récupérer pleins de pages d'un site puis isoler ce qui diffère entre chacune, mais c'est gourmand et long et avec certainement beaucoup d'erreurs.

Dernière modification par Ziltosh (2020-12-21 14:01:42)

J'aime ❤️

Hors ligne

#3

chn16000Soldier
1 913 messages169 j'aimedepuis 2017
Distinctions · 13
Accueillant VIPilier VIPremier secours VIForce polyvalente7 ansReconnuPhilanthrope IIIClinicien IVExpert Outils et technique IIIExpert SEO IIStratègeBusiness manAutomate

Re : Extraction Content sur page HMTL

Zennoposter mais en natif il ne te récupère pas la structure des hn


Soyez vous-même, les autres sont déjà pris

J'aime ❤️

Hors ligne

#4 api, python

SylvainScout
820 messages115 j'aimedepuis 2014
Distinctions · 13
12 ansPilier VForce polyvalenteReconnuClinicien IVPremier secours IVAccueillant IIIStratège IIPhilanthropeExpert IA et GEOExpert SEOIngénieur webBusiness man

Re : Extraction Content sur page HMTL

Tu peux utiliser readability, beautiful soup ou dragnet (c'est le mieux des 3). Mais je ne sais pas si ils existent en API, en tout cas ils sont dans des bibliothèques python et sans doute aussi dans d'autres languages.

Dernière modification par Sylvain (2020-12-21 15:03:24)


Tant va la loutre à l'eau qu'à la fin elle se mouille...

J'aime ❤️

Hors ligne

#5

JaffaarGuardian
8 823 messages1 493 j'aimedepuis 2012Consultant SEO / WEB / IA
Site Web
Distinctions · 22
Pilier VIIIPhilanthrope VIIPremier secours VIIAccueillant VI12 ansAdministrateurKilluavieConsommateur de liensÉminentClinicien VExpert SEO VForce polyvalenteExpert IA et GEO IVExpert Outils et technique IIIStratège IIAutomate IISérie IIRéactions IIExpert Multi-canalExpert Business IIIngénieur webBusiness man

Re : Extraction Content sur page HMTL

tomawill a écrit :

Bonjour à tous, je bosse sur un tool et je voulais savoir si qq'un connaitrait un tool api ou bout de code pour extraire la partie "contenu" d'une page html..
Concretement sur une page html je ne veux que la partie contenu et pas les menus....

Merci de votre aide

A+
thomas

Il faut parser le HTML (qui est du XML)  c'est pas très compliqué, mais il faut prendre le temps de tester les structures HTML possible de sites que tu souhaite scrapper.


⌁ NET-LABS - SEO INTELLIGENCE
    Discord • SemSeeker • SemSpider

J'aime ❤️

En ligne

#6 api, balises, scraper, extraction

potacheSoldier
387 messages257 j'aimedepuis 2020Grenoble
Site Web
Distinctions · 15
Consommateur de liensForce polyvalenteRespectéPilier IVPhilanthrope IIIPremier secours IIIAccueillant IIIExpert SEO IIIExpert Outils et technique IIIStratège II5 ansClinicien IIExpert Business IIIngénieur webAutomate

Re : Extraction Content sur page HMTL

Niveau API tu peux regarder Parsub ou Instant Data Scrapper. Je ne sais pas s'ils en ont mais ils sont vraiment efficaces.

Je ne sais pas si ça aide mais quand je scrap via Screaming Frog je me base juste sur les balises html... Mais effectivement si le menu n'est pas clairement mentionné tel quel sur un site ça ne nous permet pas de l'exclure, donc c'est plus complexe. Tu pourrais peut-être ajouter à ton tool une option qui permet de sélectionner les éléments à scraper comme sur Parshub ou autre tool de scrapping par exemple ?

Sinon, c'est ma technique quand je clean les pages scrappées sur Excel, je mettrais simplement une règle spécifiant de ne prendre uniquement que ce qu'il y a sous le <h1> par exemple, et je fixe la limite de l'extraction soit à </html> ou autre élément (par exemple au début de la zone des commentaires.)


Mon nouvel outil d'optimisation sémantique : https://thot-seo.fr/ ★★★
Vous pouvez tester gratuitement depuis la home de Thot SEO

J'aime ❤️

Hors ligne

#7

tomawillScoutAuteur
52 messages2 j'aimedepuis 2016
Distinctions · 6
10 ansPolyvalentPilier IIAccueillantStratègeBusiness man

Re : Extraction Content sur page HMTL

Merci à tous pour vos réponses... Je vais regarder ça plus en détails..

J'aime ❤️

Hors ligne

#8

LeMousselScout
97 messages80 j'aimedepuis 2015Evreux, Normandie.
Distinctions · 11
10 ansExpert Outils et technique IIIPolyvalentEstiméPilier IIClinicienPremier secoursAccueillantExpert SEO IIIngénieur webAutomate

Re : Extraction Content sur page HMTL

@tomawill: Si tu Dév en Python, Regarde Trafilatura

J'aime ❤️

Hors ligne

#9 contenu, balises, python, scraping, fonctionne

SosaScout
78 messages28 j'aimedepuis 2016
Site Web
Distinctions · 9
10 ansPhilanthrope IIIAppréciéPilier IIClinicienPremier secoursAccueillantExpert SEOExpert Outils et technique

Re : Extraction Content sur page HMTL

Perso, je commence tout juste l'exercice avec le plugin payant de scrapebox.
La problématique reste la même chaque site à sa structure et le contenu est donc contenu dans des "div" avec des class différentes.
Cependant en se concentrant sur 5 sites après avoir "Harvest" tout les urls des 5 blogs, cela fonctionne parfaitement en définissant pour chaque site les balises ou se trouve le titre et le contenu de l'article.

J'ai déjà pu tester beautiful soup et ça fonctionne bien, je ne connais pas les deux autres conseiller par @Sylvain (merci).
On voit bien que Python reste la base pour du scraping


Plateforme d'achat & de ventes de liens :  https://lemmilink.fr
Site pro : https://agence.socy.fr/

J'aime ❤️

Hors ligne

Accueil › Scraping et données › Extraction Content sur page HMTL

Haut

Pied de page des forums