Générer des mots clé et créer des liens entre articles similaires

Fouture

Janvier 2020

Bonjour à tous,

Je suis en train de refondre en profondeur le site du journal CQFD. C’est un assez gros site avec beaucoup de contenu et on aimerait faciliter la navigation par article connexe. Malheureusement, aucun mot-clés pertinents n’ont été donnés aux articles et il est hors de question d’en attribuer maintenant, manuellement, à plusieurs milliers d’articles.

Mon idée est donc d’utiliser Yake (http://yake.inesctec.pt), qui permet de générer automatiquement des mots-clés à partir d’un texte et offre une API gratuite (http://yake.inesctec.pt/apidocs).

Je voudrais créer un champs qui se remplit automatiquement avec ce mécanisme :
– envoyer le contenu de l’article à l’API de Yake
– recevoir la liste des mots clefs
– si un mot-clé existe déjà : le lier à l’article ; sinon le créer puis le lier à l’article

Il faudra que ce champ se remplisse à l’enregistrement des articles à venir mais aussi qu’ont puisse appliquer sont mécanisme sur tous les articles passés.

Ensuite je pourrais facilement trouver des articles connexes grâce au plugin Critère{mot}.

Est-ce que cette solution vous paraît réaliste ? La plus simple ?
Tout coup de pouce est bienvenu, je n’ai jamais utilisé de fonctions avancées de Spip.

D’autre part, avec ce générateur automatique, ce qui risque de se passer c’est que plusieurs milliers de mots-clés soient créés, est-ce que vous pensez que SPIP va supporter ?

Merci pour votre aide !

Par note Par date Par date chronologique

Indiquez l’intérêt que vous portez à cette réponse

1

Fouture

Janvier 2020

Alors, après une grosse journée hier où j’ai appris beaucoup de choses (et toujours pas fais la vaisselle), j’ai finis une première version du plugin.
Ça fonctionne comme ça :
– à l’installation ça crée une catégorie de mots-clés dédiés et des paramètres par défaut
– la page config permet de choisir le nombres de mots-clés voulus et la méthode d’extraction (on a que l’api Yake pour l’instant, mais c’est facile d’en rajouter).
– Quand on enregistre un article ça vérifie si les mots-clés auto on déjà été recherchés et sinon ça lance l’extraction, ajoute les nouveaux mots et fais les associations.

Tcharlss, ou quelqu’un d’autre bien sûr, si tu veux tester et jeter un œil ce serait génial ! Si tu penses que ça en vaut la peine, on pourra le rajouter au répertoire des plugins.

Il y a deux choses sur lesquels je bloque :
– Je n’arrive pas à utiliser le pipeline post_edition, je suis toujours sur pre_edition et si je change ça ne marche plus.
– J’aimerais lancer la recherche sur tous les articles déjà existant et vu la taille j’aimerais mieux éviter de le faire à la main ! Est-ce qu’il y a une fonction qui permettrait de réenregistrer tous les articles ?

Merci pour tes précieux conseils en tout cas tcharlss !

Le dossier plugin :
https://www.dropbox.com/transfer/AAAAAC6Xc3Tiaq_F712oh8834MSw333WETVQ8Pa4zj_ywofXJbptTbA
Indiquez l’intérêt que vous portez à cette réponse

0

tcharlss

Janvier 2020

Salut et bon courage pour la refonte du site de ce chouette journal :)

Je trouve cette approche intéressante, à voir si Yake est capable d’extraire des mots pertinents dans toutes les langues (notamment en français donc).

Attention aussi, vérifier la limite du nombre de requêtes qu’on peut faire, s’il faut passer les milliers d’articles existants à la moulinette en 1 fois, possible qu’elle soit atteinte assez vite (leur tos est en 404, j’ai pas pu aller voir).
Et les services gratuits ont une facheuse tendance à devenir payants au bout d’un moment :p

Pour la volumétrie, SPIP n’aura aucun problème avec des milliers de mots-clés.
Je dirais que le point délicat, c’est surtout le nombre de mots-clés par article, il faudrait limiter à une dizaine, un truc comme ça.

Voilà, après, l’implémentation ne devrait pas être trop compliquée, un coup dans les pipeline post_insertion et/ou post_edition et zou.

Mes 2 centimes.
Indiquez l’intérêt que vous portez à cette réponse

0
tcharlss

Janvier 2020
Ps : il semble y avoir des librairies php spécialisées dans l’extraction de mots-clés.
Ça pourrait faire l’objet d’un plugin, ça pourrait être utile à d’autres tout ça :)
Indiquez l’intérêt que vous portez à cette réponse

0

Fouture

Janvier 2020

Salut tcharlss,
Merci pour le soutien et pour le journal !

Effectivement, il y a aussi des librairies PHP, c’est mieux que de se relier à un service externe et plus simple que d’installer Yake.
Par contre, Yake semble plus pertinent dans la sélection des mots-clés.

Ce serait super de développer un plugin mais je suis pas sûr d’en avoir les compétences. Tu voudrais me filer un coup de main là-dessus ?
Indiquez l’intérêt que vous portez à cette réponse

0

tcharlss

Janvier 2020

Ouais je trouve le sujet intéressant :)
Effectivement il faudrait comparer la pertinences des résultats entre toutes ces librairies et Yake. Il y en a une qui prend explicitement en charge le français en tout cas.

Par contre je pense pas avoir des masses de temps pour me plonger dans l’élaboration un plugin tout de suite, mais si t’as des questions n’hésite pas, avec plaisir.
Indiquez l’intérêt que vous portez à cette réponse

0

Fouture

Janvier 2020

Il y a une page sur le site de Yake qui permet de comparer ses résultats à ceux de Rake : http://yake.inesctec.pt/demo/user
C’est plutôt convaincant, notamment au niveau des noms propres qui sont des clés intéressante que Yake relève mieux.
Apparemment Yake comme Rake prennent en charge tous les langages (me demande pas comment c’est possible !), à condition de leurs fournir des listes de mots exclus (tous les mots d’articulation du langage).
Je vais essayer de partir sur une architecture qui permet à l’utilisateur de sélectionner son extracteur, soit par API, soit avec bibliothèque PHP.

Je comprend que t’ai pas des masses de temps, pas de soucis, je te demanderais juste des astuces si je sèche ;)
Indiquez l’intérêt que vous portez à cette réponse

0
Fouture

Janvier 2020
Tcharlss, j’ai déjà besoin de ton aide !
J’ai réussi à créer mon plugin, son pipeline, et j’entreprends de démarrer la moulinette. Mon ingrédient principal :
```
$flux['data']['texte']
```
seulement comment le peler ? Pour l’instant j’ai le texte avec ses raccourcis typographique et il me faudrait du texte brut.
Est-ce qu’il existe une fonction pour exécuter les filtres des squelettes sur une variable PHP ?
Merci si tu peux m’aider !
Indiquez l’intérêt que vous portez à cette réponse

0

tcharlss

Janvier 2020

À ma connaissance, il n’ a pas de filtre pour supprimer les raccourcis typographiques.

Mais une fois le texte transformé en html avec propre, le filtre supprimer_tags permet d’obtenir le texte brut de pomme.

Ceci pourrait faire l’affaire :
include_spip('inc/filtres'); $texte_brut = supprimer_tags(propre($flux[’data’][’texte’]));
Indiquez l’intérêt que vous portez à cette réponse

0

Fouture

Janvier 2020

Parfait, c’est exactement ce qu’il me fallait. J’essaie ça demain. Merci !
Indiquez l’intérêt que vous portez à cette réponse

0

Fouture

Janvier 2020

Alors, effectivement, c’est super, j’ai bien mes mots clefs, j’ai juste un soucis de doublons quand je les ajoutent.

J’utilise le pipeline pre_edition, je traite le texte, j’obtiens les mots-clés, puis je les ajoutent à mon groupe de mots-clés et les associent avec ce code :
include_spip('action/editer_mot'); $id_mot = mot_inserer($id_groupe, ['titre' =>$mot] ); mot_associer($id_mot, array('article' => $id_article));
Ça marche, mais ça doublonne. Est-ce que pre_edition est appelé deux fois ?

J’ai essayé d’utiliser post_edition, mais ça ne marche pas, j’imagine que mot_inserer et mot_associer doivent être appelés avant l’insertion dans la bdd.
Indiquez l’intérêt que vous portez à cette réponse

0

tcharlss

Janvier 2020

pre_edition n’est appelé qu’une seule fois, ça ne doit pas venir de là.
Par contre ce n’est pas le pipeline le plus approprié, celui-ci sert à contrôler ou modifier les contenus postés avant l’enregistrement dans la bdd.
S’il y a un souci lors de l’enregistrement de l’article, il ne sera pas enregistré mais du coup tu auras des mots-clés associés pas forcément en rapport.

Selon ce que tu veux faire, il vaudrait mieux utiliser post_insertion ou post_edition. Ça dépend si tu ne veux autoassocier les mots-clés que pour les nouveaux articles, ou à chaque fois qu’on les modifie (les 2 cas se défendent).
Dans le 2ème cas c’est plus compliqué car du coup il faut faire le delta : ajouter les nouveaux mots pas encore associés, mais aussi dissocier les mots-clés qui ne figurent plus dans le texte. Mais là aussi un autre problème se pose : peut-être que des mots-clés ont été ajoutés manuellement et ceux-là il ne faut pas y toucher, on ne peut pas être sûr. C’est un peu plus compliqué que je ne l’imaginais :p

En tout cas pour le problème de doublon, je pense que c’est juste ça : avant de créer et d’associer des nouveaux mots, il faut vérifier s’ils n’existent pas déjà et/ou ne sont pas déjà associés.
Indiquez l’intérêt que vous portez à cette réponse

0

Fouture

Janvier 2020

Hello !

Pour faciliter la lecture j’ai fais un répertoire github :
https://github.com/Ventricule/spip_mots_automatiques

Toute aide est bienvenue pour finaliser ce plugin et notamment régler ces deux soucis :
– Appliquer l’action du plugin sur tous les articles déjà écrits
– Changer le pipeline pre_edition pour post_edition sans tout casser

Bonne fin de semaine !
Indiquez l’intérêt que vous portez à cette réponse

0

tcharlss

Janvier 2020

Bien joué pour le plugin.
Je n’ai pas encore eu le temps de regarder, mais j’essaierai d’y jeter un coup d’oeil.

Pour le problème de post_edition, les paramètres ne sont pas tout à fait identiques à pre_edition. Dans ce dernier tu as la liste des champs édités directement dans $flux['data'] mais ce n’est pas le cas dans post_edition. Du coup il faut récupérer le texte toi-même avec sql_getfetsel.
Plus d’infos sur [post_edition→https://programmer.spip.net/post_edition-757] et [pre_edition→https://programmer.spip.net/pre_edition-756]

Nb : il y a un dépôt git communautaire en train de se mettre ne place aussi si tu veux : https://git.sip.net
Indiquez l’intérêt que vous portez à cette réponse

0

Fouture

Janvier 2020

J’ai remplacé $flux[’data’] par un sql_getfetsel, mais toujours le même soucis, ça marche en pre_edition mais pas post_edition... je vais continuer à chercher.

Merci pour le dépôt git, j’y ai mis le plugin :
https://git.spip.net/Fouture/spip_mots_automatiques