🟣 ♦️ OpenAI & Génération de texte

@NicolasWeb tu n'es pas obligé d'entrainer entièrement GPT2, tu peux prendre sa base de compréhension du langage naturel et le sur-entrainer (comme précise @sylvain) avec un ju de données à toi dans une certaine limite de taille (pour ne pas péter la RAM). ça ne prend pas si longtemps que ça et ça tourne très bien. Mes meilleurs tests sont basés là dessus. APrès GPT2 ne doit pas être lancé en roue libre pour produire un texte complet, il n'a aucune idée de ce qu'il raconte et son contexte est trop limité pour être en mesure de construire un début, milieu et une fin. Par contre, il s'en sort très bien sur de la production de paragraphe, même pour recracher de la vraie connaissance technique, il tombe souvent juste quand on l'amorce avec une structure habituelle (celle qu'il a appris dans son second corpus).

Bonjour, je trouve que c'est comme si tu envoie des éclaireurs à moindre cout et je pense que c'est une bonne approche.
Est ce que tu as pu identifier beaucoup de niches profitables ?

Dernière modification par SimpleJack (2021-03-19 04:06:57)

@Atomium tu es sur GPT-2 ou GPT-3 ?

J'ai l'accès a GPT-3 depuis peu, c'est pas mal du tout mais encore perfectible, néanmoins ça reste assez impressionnant sur certaines demandes (et ça parle très bien en français, anglais ou même d'autres langues).
Je peux c/c un résultat ici sur un sujet en particulier si ça intéresse pour donner une idée et si d'autres n'ont pas déjà l'accès (ça ne doit pas être si rare que ça).

Par contre, ça peut grandement faciliter/accélérer la rédaction et donc le prix des articles pour ceux qui font appel à des rédacteurs. Perso je fais et vais faire du coup pas mal de tests pour voir si ça plaît à Google.

Dernière modification par Ziltosh (2021-03-31 21:03:05)

Y'a GPT Neo (en équivalent de GPT-3) qui à la côte en ce moment. "Accessible" à tous en Python via la librairie transformers de Hugging Face.

Plus d'info:  EleutherAI / gpt-neo
An implementation of model & data parallel GPT3-like models using the mesh-tensorflow library.

Je teste sur Colab mais à ce jour, pas réussi / compris comment faire/ configurer pour le français.

Dernière modification par LeMoussel (2021-04-15 12:01:21)

Colab notebook for GPTNeo

Attention seul le modèle pré traité/entrainé 1.3B (https://the-eye.eu/public/AI/gptneo-release/GPT3_XL/) passe sous Colab. Le modèle 2.7B: https://the-eye.eu/public/AI/gptneo-release/GPT3_2-7B/ est trop important, il ne passe pas dans la mémoire des TPUs Colab disponible.

Il y a aussi la possibilité d'utiliser GPTNeo localement sur vos GPU.  Je ne m'y suis pas encore aventuré

Dernière modification par LeMoussel (2021-04-15 12:13:58)

Hello,
je relance le sujet car je suis curieux de voir ce que ça donne tout ça.

Certains parmi vous ont testé jarvis.ai, ou copy.ai ?
En regardant quelques exemples et vidéos, ça fait très marketé, mais est-ce que c'est valable pour réellement produire vite et bien ?
Pour l'instant je reste dubitatif.

@Ziltosh : tu l'utilises du coup ?

Fin du mois je pense tester les deux services sur principalement 2 besoins :
- fiche produit sans objectif réel SEO, juste pas avoir un site vide
- articles de blogs à produire rapidement pour remonter de l'expiré, sans avoir de la bouillie ou de la daube à pas cher

J'ai aussi vu passer un tool français, markcopy.
Déjà, c'est plus cher que les deux premiers, leur démo m'emballe moyennement...
Et en cherchant, l'un des fondateurs semble uniquement se la ramener en mode "growth hack" et combien il gagne par semaine => pour les pigeons ?

Je suis tout à fait d'accord sur l'output et la contextualisation qui est importante pour la pertinence du texte.
Ne pas hésiter à reformuler, modifier les ordres en cours de prod etc ...
Le ton d'écriture influe aussi sur la qualité du contenu produit.
Un des problème rencontré est les fausses infos, donc mettre l'outils dans les mains d'un assistant si il connait pas le thème ça peut être source de soucis. Lors d'une génération sur : "recettes soin du visage maison" l'IA m'a plus sorti la recette du quatre quart que d'un soin visage DIY. Donc pour l'instant selon moi la relecture est importante.

je fais le test demain ou plus tard dans la soirée. J'ai toujours contextualisé. et je te dirais ça

@Potache yes intéressant, et ton test aussi !

Peut-être en effet... un outil automatisé ne va effectivement pas parler de ce qu'il ne connait pas, alors que l'humain peut le détecter et compléter.

Autre chose, c'est plus du feeling à ce stade que des tests réels : intégrer des expressions, des jeux de mots ou relever des points contradictoires.

Je m'explique :
- un outil a beaucoup de mal à détecter une expression / un jeu de mots et surtout à bien le contextualiser.
Quel outil utiliserait un "c'est le jeu ma pauv' Lucette" à bon escient ?

- Sur un site et un sujet très particulier, pour rédigé un contenu je me suis bien sûr inspiré des sources et toutes les infos qu'on trouvait généralement : blogs, sites officiels et institutionnels, presse, Wiki...
Oui MAIS !
Tous fonctionnent pareil (et comme les outils ici) : on regarde ce qui existe déjà, on comprend le sujet, et on reformule.
Tous reprenaient la même erreur (date, lieu et origine d'un événement). 1 seul expert pointait du doigt cette erreur, preuve (photo) à l'appui, et n'est pas SEO.
=> J'ai pondu mon contenu optimisé mais contradictoire ; là j'attends de voir ce que ça va donner.
Ça, je vois pas comment un outil va l'automatiser.

En plus, si on part du principe que Google tend quand même à proposer des formats / intentions différents, évoquer un même sujet que les concurrents mais sous un angle différent, ça devrait lui plaire.