Bonjour à tous,
Pour les dev php, pour un besoin spécifique, j'avais besoin de m'intéresser au machine learning, je suis tombé sur cette librairie qui m'a l'air top :
https://php-ml.readthedocs.io/en/latest/
Voyez comme le code à l'air très simple, on envoi des matrices, on les catégorise, on entraîne puis on prédit :
$samples = [[1, 3], [1, 4], [2, 4], [3, 1], [4, 1], [4, 2]];
$labels = ['a', 'a', 'a', 'b', 'b', 'b'];
$classifier = new KNearestNeighbors();
$classifier->train($samples, $labels);
$classifier->predict([3, 2]);
// return 'b'
j'ai pas encore tester mais une fois que c'est fait, je vous dirais si je suis satisfait !
Hors ligne
Désolé de déterrer !
C'est exactement ce que je cherche depuis quelque temps.
As-tu testé ?
Hors ligne
Hors ligne
Est-ce que tu peux nous en dire plus sur pourquoi tu t'en sers ?
Hors ligne
Pour ma part, si je me rappelle bien, je voulais prédire si une URL était plutôt de type eCommerce/blog/forum... pour identifier si un mot-clé était plutôt commercial par exemple (basé sur le top 10 URLs d'une SERP).
L'idée est de donner en entrée une matrice de nombres pour chaque URL. Il faut fournir un gros fichier d'exemple d'URLs (et donc de matrice associé), déjà catégorisé à la main pour qu'il puisse apprendre de ces exemples et faire prédictions sur des matrice complètement nouvelles par la suite.
Le point-clé c'est de bien choisir les propriétés pertinentes à mettre dans la matrice, si tu choisis des propriétés qui ne sont pas du tout corrélées à ce que tu veux prédire, tu vas avoir des prédictions fausses.
Exemple de matrice
- "présence de 'forum' dans l'url , oui ou non : (0 ou 1)",
- "nombre de termes commerciaux dans le contenu (NB occurrences de : panier,acheter,€ etc...",
- "NB d'occurrences de termes plutôt blog : je, billet, 'poster un commentaire', etc.."
...
Après l'idée c'était - sur un mot-clé - de scrapper les contenus du top 10 et de convertir en matrice :
Url 1 : [0,5,3,4]
Url 2 : [1,8,2,1]
Pour chaque URL, il me fait une prédiction et je dis : tel mot-clé c'est 40% de forum, 10% de ecommerce, blablabla...
De mémoire, j'avais réussi un truc à peu près fiable (même si t'as jamais 100% des prédictions valides). L'idée c'est que dans la masse ce soit correct, le truc ou je me suis cassé les dents, c'est de définir les bonnes propriétés dans la matrice pour avoir un bon taux de réussite.
Typiquement, je voulais avoir des mots représentatifs d'un eCommerce blog etc. J'ai vite arrêté parce que pour faire un truc vraiment correct, il fallait répertorier un gros dataset avec tous les types de pages et faire un TF-IDF pour voir les mots importants par type de page vs les autres pour faire ressortir les termes spécifiques ecommerce/blog/etc...
Bref ça devenait vite titanesque, mais je pense que sans aller si loin, il y a moyen d'avoir un truc qui marchote.
Voilà, c'est vraiment un exemple parmi d'autres qu'on peut faire en SEO avec du machine learning, mais bon : "Sky is the limit" comme on dit ^^.
Pour l'aspect technique sinon, la librairie mentionné fonctionnait très bien mais si tu fais du python (si c'est pas le cas la transition est facile pour toi vu que tu fais du php), tu as plus de librairies associées au machine learning pour t'amuser.
Hors ligne
OK merci beaucoup pour ton exemple détaillé.
C'est très inspirant.
De mon côté, je réfléchis sur des aspects plus Webmarketing : identifier un internaute qui ne convertit pas avant qu'il ait quitté le site, par exemple. J'ai commencé à tester des trucs avec le logiciel See5.0 mais je suis limité à 400 entrées (impossible de trouver un moyen d'acheter la version complète du logiciel, alors que je serais prêt à payer). J'ai également essayé de télécharger SPSS (le logiciel de stats que j'utilisais durant mes études en statistiques) mais tout ce que j'ai récupéré, c'est des malwares par dizaines.
Du coup, j'ai voulu me mettre à R : je l'ai installé, j'ai installé R Studio pour avoir une interface un peu convivial, et je me suis tapé 2-3 tutos sur Youtube. Putain l'enfer, il faut s'accrocher et y consacrer énormément de temps...
La librairie PHP me semble un bon compromis, et j'essaierai rapidement de me mettre à Python.
Encore merci à toi !
Dernière modification par Kysban (2019-04-09 01:05:17)
Hors ligne
Mitsu, j'apprends le python depuis quelques jours (optique scaping / génération de textes) et c'est ton "identifieur de type de sites" est exactement mon sous-projet actuel !
J'ai la même approche à base d'indices et footprints :
E commerce : panier, acheter, https, CGV, livraison, tarif, euros
Blog : commentaires, wordpress, content
Actu/presse : dates, rubriques
Site d'affil : liens amazon avec referrer
Réseau social : devenir membre, sign in (ou nominativement)
Autres facteurs :
- CMS utliisé
- quelles régies pub (adsense = en général petit site / ligatus, outbrain = presse, gros média...)
- nombre des liens de profil réseaux sociaux (si tu as le combo fb+tw+insta+linkedin tu es sûrement un site institutionnel, si tu n'en as qu'un ou deux tu es plus petit)
etc.
Choix à faire :
- travailler sur la page seulement ou se permettre de prendre des indices en broutant le domaine ? le 2e est plus fiable mais c'est plus gratifiant de développer un outil qui sait travailler "en mode hard" juste avec une page html sauvée sur un disque dur
- récolter des indices sur l'arborescence (pour aller voir si des url existent, comme un gars qui cherche des failles wp)
- utiliser l'URL ou pas (ex : facebook ou youtube, tu sais tout de suite, mais est-ce que tu veux utiliser cet indice ou pas ?)
Pour l'instant je récolte et je stocke dans des matrices comme toi. Après reste le scoring à faire. Là je ne sais pas comment je procéderai. Je ne pense pas faire de l'apprentissage machine, mais gérer mes petits scores à la main jusqu'à obtenir quelque chose qui me semble assez fiable (en essayant d'éviter les biais classiques d'overfitting)
Dernière modification par pip (2019-04-09 08:12:36)
Hors ligne
Je comptais enfin m'y mettre, j'étais prêt et gonflé à bloc mais... la librairie n'est plus disponible ?
Hors ligne