Bonjour à tous,
à mes heures perdues, j'explore les techniques d'analyse de texte. En ce moment, le traitement de corpus est abordé sous l'angle de la reconnaissance d'entités nommées (REN).
D'après ce que j'ai compris, il existe un standard pour baliser les groupes de mots (ENAMEX) pour détecter les personnes, les dates, ... . A l'aide de bases de données (geoname, personnages historiques, ...) et de regex par exemple pour détecter les dates, les scripts arrivent à détecter certaines entités nommées.
Par contre, le travail humain semble colossal pour réaliser un outil capable de repérer correctement les blocs de mots. En fait, la phase d'apprentissage, à savoir constituer des DB complètes, ajouter de nouveaux regex et traiter les cas particulier, me prend un temps fou .
Est-ce que quelqu'un a déjà bossé avec les REN ?
Existe-il des outils ou des ressources pour étiqueter des corpus ?
Hors ligne
Je suis curieux mais peux tu aller plus loin sur l'utilisation concrète de ce genre d'analyses ?
-----------------------------------
www.erminea.fr - WebCréation, Référencement, Rédaction
Hors ligne
Loin d'être un expert, voila ce que j'ai compris:
1. Lemmatisation: permet de trouver la forme canonique d'une phrase en utilisant le singulier d'un mot et la forme infinitive d'un verbe,
2. REN: permet d'étiqueter des groupes de mots d'une phrase pour en déterminer la nature (personne, organisation, lieu, date, nombre, métier). Le but étant de marquer les mots dont on est sur du sens pour ensuite analyser le reste.
Illustration de reconnaissance d'entités nommées extrait d'une thèse:
"Trois ans après la démission du ministre du budget, qui avait dissimulé un compte en Suisse, deux lois importantes ont été votées.
Angela Merkel est en visite lundi à Ankara dans l’espoir de limiter les départ de réfugiés vers l'Europe."
en pseudo enamex
<time> Trois ans </time> après la démission du <fonc> ministre du budget </fonc>, qui avait dissimulé un compte en <loc> Suisse </loc>, <num>deux</num> lois importantes ont été votées.
<pers> Angela Merkel </pers> est en visite <time> lundi </time> à <loc> Ankara </loc> dans l’espoir de limiter les départ de réfugiés vers l' <loc> Europe </loc>.
Arrivé à ce stade, l'analyse sémantique devient beaucoup plus simple à réaliser
Hors ligne
C'est très intéressant, si tu as des liens pour approfondir ?
-----------------------------------
www.erminea.fr - WebCréation, Référencement, Rédaction
Hors ligne
J''avais vu ce tool dans prez de Philippe Yonnet :
http://www.opencalais.com/opencalais-demo/
Hors ligne
@ZeNobral:
Depuis nous avons développé une maquette basé sur l'étiquetage Ester2, en test sur de petits corpus. La prochaine étape sera consacrée à un algo d'apprentissage et aux coréférences ...
On va pouvoir tester les EN extraits et les fréquences de mots avec ceux de l'outil OpenCalais
Merci pour le lien !
Hors ligne
Tu as pu repérer des amélior
Plusieurs projets ecom thématique mode en ES/FR en cours. Venez me mp les vendeurs de liens propres
Hors ligne
des améliorations au niveau du ranking grâce à ce balisage ?
Plusieurs projets ecom thématique mode en ES/FR en cours. Venez me mp les vendeurs de liens propres
Hors ligne