Qu’est-ce que LM Studio ?
LM Studio est une application (gratuite) qui permet d’exécuter des modèles de langage localement sur votre Mac (et Windows), sans nécessiter de connexion internet une fois les modèles téléchargés.
C’est une solution idéale si vous êtes en déplacement, que ce soit en avion, en train ou dans un environnement sans accès stable au réseau.
En téléchargeant à l’avance les modèles de votre choix, vous pouvez interagir avec eux directement depuis votre machine, en toute autonomie.
Contrairement à d’autres solutions souvent complexes à configurer, LM Studio propose une interface graphique (trop) simple en Anglais.
Voici une liste des principaux modèles LLM que l’on peut trouver dans LM Studio (au format GGUF), régulièrement utilisés : Mistral 7B – modèle performant, rapide, LLaMA 2 & LLaMA 3 modèles développés par Meta, Gemma (2B / 7B) modèle léger développé par Google, Phi-2 / Phi-3 modèles de Microsoft, DeepSeek (Coder / Chat / MoE) modèles orientés raisonnement et code, Command R / R+ – modèles de type RAG (pour recherche et génération combinée)…
Rapide tour du proprietaire !
Qui dit local, dit mobilisation des ressources de votre machine. Et pour gérer les milliards de paramètres de certains modèles, il va falloir faire attention au choix du modèle en fonction des capacités de votre Mac.
Pour ma part, j’ai la chance d’avoir un Mac M2 avec 64 Go de mémoire.
Au moment de sélectionner un modèle LLM, vous remarquerez qu’il existe plusieurs versions d’un même modèle, avec des tailles de fichiers et des configurations différentes. L’un des premiers critères à prendre en compte est le nombre de paramètres, généralement exprimé en “B” (pour milliards). Par exemple, un modèle peut être décliné en 3B, 7B, voire plus, ce qui correspond à la quantité de paramètres qu’il utilise pour générer des réponses.
Ce choix a un impact sur plusieurs éléments importants :
- Qualité des réponses : plus un modèle possède de paramètres, plus il est capable de produire des résultats précis et avec moins d’hallucinations !
- Vitesse d’exécution : un modèle plus léger (avec moins de paramètres) sera plus rapide, notamment sur des machines avec des ressources limitées.
- Consommation de mémoire : un modèle plus complexe demandera davantage de mémoire vive (RAM ou VRAM) pour fonctionner correctement.
Il est donc important de trouver un équilibre entre performance, rapidité et compatibilité avec votre matériel, selon l’usage que vous souhaitez en faire.
Par exemple, Codestral (une variante de Mistral spécialisée dans le code) est disponible en version 7B (7 milliards de paramètres), ce qui reste raisonnable pour des ordinateurs récents dotés de suffisamment de RAM ou de VRAM.
Que retenir de LM Studio ?
L’utilisation fluide de LM Studio requiert une machine relativement puissante et récente, notamment avec une bonne quantité de mémoire (RAM ou VRAM). LM Studio permet de tester une grande variété de modèles, sans aucune limitation (sauf la puissance de votre Mac/PC) ni coût. Vous pourrez ainsi comparer les performances, les comportements et les capacités des différents LLM proposés, afin de choisir celui qui correspond le mieux à vos besoins.
