L’objectif ici est d’utiliser le logiciel Orange Data Mining pour prédire si un mail doit être classé « spam » ou « non-spam » à partir du dataset Spambase, et pour mesurer/comparer la performance de trois modèles de classification supervisée : SVM, régression logistique, kNN. L’intérêt d’Orange Data mining est de permettre, par simple enchaînement de widgets de construire un workflow...
RapidFuzz est une bibliothèque Python conçue pour effectuer de la correspondance de chaînes de caractères, ce qui signifie qu’elle compare des textes et évalue à quel point ils sont similaires, même si des fautes de frappe ou des différences existent. L’objectif de cet article est de simuler un chatbot utilisant la librairie RapidFuzz afin de tester la pertinence des réponses par rapport au...
ORANGE DATA MINING est un logiciel libre et gratuit dédié à l’analyse de données et au text mining. Il se distingue par son interface simple et visuelle qui repose sur un système de widgets qu’il suffit de glisser / déposer et paramétrer pour construire un flux de traitement. Cette approche modulaire permet de construire un workflow/pipeline sans avoir à écrire du code Python. Chaque noeud...
Le prétraitement (preprocessing) est une étape incontournable avant de lancer vos tests et analyses. Prétraitement = normalisation du texte ! Plusieurs étapes de normalisation sont possibles (liste non exhaustive qui dépend de vos objectifs) : Supprimer les stopwords Normaliser les accents du texte (cette normalisation permet de supprimer des doublons liés à des fautes d’orthographe par...
Les nuages de mots dominent aujourd’hui les représentations textuelles : chacun y va de son petit nuage… Pourtant, cette visualisation est réductrice – vous le savez sans doute déjà. Certes, c’est un outil simple et immédiatement lisible. On pourrait croire qu’il permet d’identifier d’un coup d’œil les « thèmes principaux » d’un corpus… Mais, dans le cadre d’une étude, le nuage...
La loi de Zipf n’est pas à connaître dans le détail de ses formules, mais elle constitue la base de la compréhension de la structuration des données textuelles. De nombreux logiciels statistiques la calculent automatiquement comme première description d’un corpus. L’application no code pour tester : Quand on commence à analyser un corpus de texte (entretiens clinique, articles de presse...
Le script présenté ici diffère d’une analyse “classique” de cooccurrences centrée sur un mot pivot. No Code : Lorsque vous vous connectez à Streamlit Cloud, l’application est (souvent) en veille : il faut la réactiver, ce qui peut prendre une trentaine de secondes… Le code source : Github Au lieu de partir d’un terme choisi à l’avance et d’observer ses associations dans le...
Dans cet article, nous allons développer l’approche de l’analyse des cooccurrences à partir d’un mot pivot. Vous pouvez retrouver dans un autre article l’analyse des cooccurrences “complètes” d’un corpus (sans mot pivot). No code : Github : Dans un texte, il est possible de compter les associations entre deux termes. Ces associations entre mots sont appelées cooccurrences : deux...
Il ne faut pas s’attendre à un miracle !Penser qu’un LLM est en capacité de réaliser une analyse fine d’une CHD, c’est un peu comme croire à son horoscope. Le script sur Github Ce script s’inscrit dans une démarche expérimentale et constitue un exercice purement technique. Il convient de rappeler également qu’un modèle de langage (LLM) n’a aucune capacité cognitive : il ne comprend rien, ne pense...
Qu’est-ce que LM Studio ? LM Studio est une application (gratuite) qui permet d’exécuter des modèles de langage localement sur votre Mac (et Windows), sans nécessiter de connexion internet une fois les modèles téléchargés. C’est une solution idéale si vous êtes en déplacement, que ce soit en avion, en train ou dans un environnement sans accès stable au réseau. En téléchargeant à l’avance les...
