Derniers articles

L’analyse Latent Dirichlet Allocation appliquée à l’analyse textuelle

Historique du test LDA Le Latent Dirichlet Allocation (LDA) est un modèle probabiliste basé sur l’idée que les documents sont constitués d’une combinaison de topics, et que chaque topic est caractérisé par une distribution de mots. LDA appartient à la catégorie des modèles d’apprentissage non supervisé. Dans le contexte du traitement automatique du langage naturel, le test LDA...

TF*IDF avec la librairie scikit-learn

Voici la partie 2, consacrée à l’application du test TF × IDF suite à l’extraction d’environ 1725 messages depuis YouTube et au prétraitement du corpus. L’analyse des commentaires YouTube est judicieuse puisque chaque commentaire est considéré comme un document distinct. Cependant, le langage employé dans ces commentaires ne facilite pas toujours le prétraitement des...

Prétraitement de commentaires YouTube et test TF*IDF – partie 1

Cet article aborde le processus de prétraitement d’un ensemble de commentaires récupérés d’une vidéo YouTube. Le but à moyen terme est d’évaluer et de mettre en contraste l’efficacité de la génération d’insights, en la comparant à la méthode traditionnelle de génération de mots-clés basée sur la fréquence d’apparition des mots dans le texte. Cette approche...

Extraire les commentaires YouTube

Introduction Dans le domaine de la recherche en Sciences Humaines, l’analyse des données provenant de médias alternatifs tels que YouTube revêt un intérêt croissant. Ces plateformes offrent un « vaste réservoir » de données générées par les utilisateurs, notamment à travers les commentaires, qui peuvent fournir des insights précieux sur divers sujets, opinions et comportements sociaux...

Transcription avec Google Speech-to-Text

Introduction Speech-to-Text est un service de Google qui transforme un fichier audio en texte. Cet outil a une précision pouvant atteindre près de 90 %, selon des facteurs tels que la qualité de l’audio et le contexte (dixit Google). Dans un précédent article j’ai abordé le formatage des articles de la base Europresse aux exigences du logiciel IRAMUTEQ. L’apparition de médias...

SpaCy au service du NLP : Outil de lemmatisation

Le traitement automatique du Langage Naturel (NLP) Les moteurs de recherche s’appuient sur le NLP (Natural Language Processing) pour interpréter les requêtes complexes et fournir des résultats pertinents. Google utilise le modèle de langage BERT, (Bidirectional Encoder Representations from Transformers) permettant par exemple de résumer une page web à une description sous le titre, ou bien...

Script Europresse : La révolution V2 est arrivée !

Introduction Avant de plonger dans les détails techniques, voici pour mémo les prérequis pour faire fonctionner le script : Environnement virtuel Python : Assurez-vous d’avoir configuré un environnement virtuel Python (le langage python n’est pas installé par défaut sur Mac et PC). Installation de BeautifulSoup4 : Cette bibliothèque est indispensable pour le fonctionnement du script...

Automatisation du traitement des corpus Europresse pour IRAMUTEQ

Introduction Dans cet article, nous explorons la création d’un script Python conçu pour transformer automatiquement des corpus de presse au format HTML, provenant d’Europresse, en un format compatible avec le logiciel d’analyse textuelle IRAMUTEQ. Ce script est une réponse « aux défis » posés par les diverses structures de fichiers rencontrées. Édite 12/01/2024 => Ici le...

Transformer les fichiers HTML Europresse au format IRAMUTEQ avec Python

Préparer un corpus pour IRAMUTEQ avec un script Python L’outil de statistique IRAMUTEQ exige une préparation spécifique des données textuelles. Pour faciliter ce processus, j’ai élaboré un script Python qui fonctionne localement sur votre ordinateur. Ce script transforme les données extraites du site Europresse en un format compatible avec IRAMUTEQ. Actuellement, le script est testé...

Analyse du fonctionnement de ChatGPT

L’intelligence artificielle (IA) fascine et intrigue. Au cœur de cette révolution technologique, ChatGPT de OpenAI, basé sur l’architecture GPT-4, représente pour certains une « imposture » et pour d’autres une innovation majeure.   IA Faible (Intelligence Artificielle Faible) vs IA Forte (Intelligence Artificielle Forte) L’IA faible est conçue pour exécuter une tâche...