🟣 ♦️ OpenAI & Génération de texte

Encore un truc à rajouter sur la file d'attente, bon courage

Pour ceux qui veuillent s'initier à ça vous pouvez utiliser l'outil Google Collab qui permet d'utiliser la puissance des serveurs google (CPU ou GPU) de manière gratuite avec possibilité de partager votre travail etc

une alternative à GPT est camemBERT qui se base sur la technologie BERT utilisé par google pour son moteur de recherche , l'avantage de camemBERT est qu'il est déjà entraîner sur un dataset FR (qui n'empêche pas les entrainements sur des textes spécifiques en + pour un meilleur résultat)

le soucis avec ce genre de techno est la génération de bouillie donc pour éviter ça il faut passer la génération de texte en 2 passes

1èrement vous devez prédire/renseigner tous les mots clés que vous voulez dans vos phrases (ex : ps5 / console / fin d'année)
2èmement vous complétez vos mots avec camemBERT afin qu'il génère des phrases complètes (ex : la ps5 est la console la plus attendu pour cette fin d'année)

Tout comme le language humain on cherche d'abord quoi dire puis on cherche comment le dire

Enjoy !

Ah juste pour revenir sur une réaction plus haut :
J'ai lâché un exemple de production romancée. Clairement ce type de production est trop stylisée pour tenir sur la durée. L'IA se vautre assez régulièrement et n'est pas prévue pour de la production freestyle.

Par contre j'ai dit que j'avais testé sur des articles "sur le seo" dont le résultat était extrêmement puissant. Et je n'ai pas développé l'info.
Pour mon test, j'ai construis un corpus de milliers d'articles de conseils SEO, et je me suis dis que j'allais l'interroger comme s'il comprenait ce qu'il avait lu. Je précise que les IA de GPT ne sont pas faites pour comprendre, mais pour articuler les mots en suivant des schémas appris.

Je me suis aperçu que les domaines liés à la Connaissance sont très appropriés pour ce genre de production.

La cause : un modèle d'écriture assez universel (les SEO ont tous comme point commun d'être certains de ce qu'ils racontent, en prime ils sont tous rompu à l'art de la terreur "votre site ne va jamais", "aucune chance de"). Ces emplois répétés permettent de préparer une IA bénéficiant d'un maximum d'armes pour rebondir sur les sujets qu'on lui donne.
...Et tous les conseils qu'il m'a donné étaient soient justes, soient simplement appropriés.

Je pense que ce sera le meme cas dans tous les secteurs systémiques pour lesquels il existe des grandes vérités indépendantes d'un contexte particulier. La capacité à contextualiser le dialogue de GPT est bonne (et tributaire de la taille du modele choisi), mais comme il ne panne rien de ce qu'il raconte, on peut partir dans le mur avec des arguments certes logiques indépendamment, mais qui enchainés forment une démonstration absurde.

Dernière modification par Atomium (2020-11-03 00:35:09)

j'ai repensé à un tweet que j'avais vu passé il y a longtemps et 30min après je l'ai retrouvé juste pour vous

un site permettant de tester la prédiction avec différents IA

https://github.com/renatoviolin/next_word_prediction

Enjoy !

Ouh j'avais loupé la suite, super infos

Oui effectivement Spacy n'est pas foufou pour le NER en français, mais plus rapide que NLTK si ma mémoire est bonne pour des tâches de tokenisation, ce qui est intéressant si en amont tu as récupéré un corpus un peu balèze.

Toujours est-il qu'il y a maintenant la lib de Stanford où si je me souviens bien, les scores sont à peu près identique pour le NER en français ou anglais. Tiens, quelques chiffres: https://stanfordnlp.github.io/stanza/performance.html

Présentation de la lib: https://youtu.be/b9vpwGkBnnU

Pas encore eu le temps de m'y mettre... Mais ça fait bien envie tout ça.

Attention, aucune certitude quant à ces informations. Je n'ai aucun rapport avec eux, mais ce sont des bruits de couloir.

Concernant la génération artificielle de textes, je sais que SpinWawe et leur team de 40 ingénieurs est très au point à ce niveau-là. Et ils étaient déjà bien doués avant les avancements d'OpenAi. Pour entrainer leur IA et s'assurer de la construction d'une librairie de training unique ils avaient plusieurs rédacteurs (assez qualis) qui reformulaient des phrases et des paragraphes à la chaine selon un processus spécifique.

Depuis 2-3 ans, ils n'auraient plus besoin de l'entrainer et peuvent créer des articles de très bonne qualité où la touche d'IA est quasiment indiscernable.

J'ai un retour d'XP sur du GPT2++ (du GPT2 qu'on a amélioré) : en search ça passe et ça rank, par contre à la demande d’intégration adsense on reçoit un mail expliquant que c'est non parce qu'on utilise une méthode de génération automatique. Je ne sais pas si c'est un algo ou un humain qui prend la décision, mais en tout cas coté ads ça passe pas.

Vu que j'ai bossé sur l'autre coté (la détection), ce que je peux vous dire c'est que la principale piste c'est la détection de footprint du modèle, donc un GPT-X sur étagère sera par exemple détectable, mais pas forcément un truc un peu dégueu mais maison. Un peu comme pour TBS à l'époque.

@Sylvain si je te suis bien, cette détection basée sur les footprint peut signifier que le spinning handmade a encore de beaux jours devant lui non ?

A priori oui, du moment que la qualité est suffisante.