Open-LLM-VTuber : un compagnon vocal local, entre Live2D et modèles hors ligne

Le problème que le projet cherche à résoudre

Faire parler un LLM ne demande plus grand-chose. Le faire écouter en continu, interrompre sa propre voix, et l'incarner dans un avatar animé qui tourne sur la machine de l'utilisateur, c'est un autre travail. Open-LLM-VTuber existe pour ce cas précis : le README indique que l'objectif initial était de recréer la VTubeuse closed-source neuro-sama avec des briques open source capables de tourner hors ligne ailleurs que sous Windows. Le public visé n'est donc pas l'équipe qui déploie un chatbot dans un produit, mais la personne qui veut un compagnon personnel sur son propre ordinateur, avec macOS, Linux et Windows traités de la même façon. Le README mentionne aussi la prise en charge des GPU NVIDIA comme non NVIDIA, l'exécution sur CPU et le recours à des API cloud pour les tâches lourdes : c'est une promesse de flexibilité matérielle, pas de performance uniforme.

Ce qui circule entre le micro, le LLM et l'avatar

La chaîne décrite dans le README enchaîne quatre étages : reconnaissance vocale, modèle de langage, synthèse vocale, puis rendu Live2D. Deux détails de conception méritent l'attention. D'abord, l'interruption vocale fonctionne sans casque, ce qui suppose que le système distingue la voix de l'utilisateur de sa propre sortie audio. Ensuite, le backend peut piloter les expressions du modèle via un mécanisme de mappage d'émotions, et le README mentionne l'affichage des pensées internes du modèle, séparées de ce qui est prononcé. Autrement dit, le LLM produit à la fois du texte destiné au TTS et des signaux destinés au visage. La perception visuelle passe par la caméra, la capture d'écran et l'enregistrement d'écran. Les journaux de conversation sont conservés sur disque, ce qui permet de reprendre un échange, mais le README précise que la mémoire à long terme a été retirée temporairement. C'est une distinction importante : la persistance des logs n'est pas de la mémoire.

Installation et configuration : les points de friction réels

Le README ne détaille pas la procédure d'installation dans l'extrait disponible, et renvoie vers la documentation hébergée sur open-llm-vtuber.github.io. Une contrainte est en revanche explicite et vaut la peine d'être lue avant tout le reste : si le serveur tourne sur une machine et que la page est ouverte depuis une autre, par exemple un téléphone, il faut configurer HTTPS. La raison donnée est que le microphone du frontend ne démarre que dans un contexte sécurisé, soit HTTPS, soit localhost, avec un renvoi à la documentation MDN sur getUserMedia. Le README recommande donc un reverse proxy pour l'accès distant. C'est un piège classique : le serveur démarre, la page s'affiche, et rien ne fonctionne côté micro sans message d'erreur évident. Le projet fournit par ailleurs une image Docker publiée sur Docker Hub, ce qui constitue la voie la plus simple pour éviter de reproduire un environnement Python à la main.

Le mode animal de bureau et ses contraintes

Le client de bureau peut basculer entre mode fenêtre et mode compagnon de bureau. Ce dernier s'appuie sur un fond transparent, un positionnement au-dessus de toutes les fenêtres et le clic à travers, ce qui permet de déplacer l'avatar n'importe où à l'écran sans bloquer les clics destinés aux applications en dessous. Le README mentionne également un retour tactile via clics et glissements. Ces fonctions dépendent du client de bureau, pas de la version web : une personne qui n'utilise que le navigateur n'y aura pas accès. C'est une asymétrie de fonctionnalités qu'il faut avoir en tête au moment du choix, d'autant que le README ne décrit pas de parité entre les deux modes.

Ce que le projet ne fait pas, et à quel moment il devient le mauvais outil

Le README est franc sur l'état du projet : développement actif, stade précoce, et une réécriture complète, la v2.0, en phase de discussion et de planification. La consigne est explicite : ne pas ouvrir de nouvelles demandes de fonctionnalités sur la v1, les échanges se poursuivant sur Zulip, avec des réunions hebdomadaires annoncées. Les corrections de bugs sur la v1 continuent et les pull requests existantes seront traitées. Pour quiconque cherche une base stable à intégrer dans un produit, c'est un signal clair : la trajectoire du code est en train de changer. La mémoire à long terme est absente pour le moment, donc un usage qui repose sur un compagnon se souvenant de semaines de conversation ne sera pas satisfait par la version actuelle. Enfin, la licence affichée par GitHub est NOASSERTION, ce qui signifie que l'outil d'analyse n'a pas su classer le fichier LICENSE. Avant toute réutilisation du code, il faut lire ce fichier directement : ni ce résumé ni le badge du dépôt ne permettent de conclure.

Face à un client de chat classique

Un client de bureau pour LLM local, du type interface graphique branchée sur Ollama, couvre le texte et parfois la dictée. La différence d'approche est structurelle : ces outils traitent la réponse comme un bloc de texte affiché, alors qu'Open-LLM-VTuber traite la réponse comme un flux à découper, à prononcer, à interrompre et à mapper sur des expressions. Cette contrainte de streaming est ce qui justifie la complexité du projet, et c'est aussi ce qui le rend plus fragile. À l'inverse, si vous voulez seulement interroger un modèle local sans voix ni avatar, l'installation d'Open-LLM-VTuber ajoute une pile audio et un moteur de rendu dont vous n'avez pas besoin. Le choix se joue sur la présence du canal vocal, pas sur la qualité du LLM sous-jacent, puisque le projet s'appuie sur des solutions existantes côté inférence.

Maintenance et licence

Le coût de maintenance se lit dans le calendrier des versions : la v1.1.0 date de février 2025, la v1.2.0 d'août 2025, la v1.2.1 du 26 août 2025, et le dernier push sur la branche main est daté de mai 2026. Suivre la v1 implique donc de composer avec un projet dont la suite s'écrit ailleurs, en discussion. Le README indique que les bugs de la v1 seront corrigés, ce qui couvre la maintenance corrective mais pas les nouvelles fonctions. Sur le plan juridique, l'identifiant NOASSERTION renvoyé par GitHub empêche toute conclusion automatique : il faut ouvrir le fichier LICENSE du dépôt et vérifier les conditions de redistribution et de modification avant de réutiliser du code, en particulier pour un projet dérivé. Aucune analyse de ce résumé ne remplace cette lecture.

Conclusion éditoriale

Open-LLM-VTuber convient à ceux qui veulent un compagnon vocal entièrement local, avec un avatar Live2D et la possibilité d'utiliser Ollama ou une API cloud selon la charge. Il ne convient pas à un usage en production : le README annonce une réécriture v2.0 en phase de discussion et demande de ne plus ouvrir de demandes de fonctionnalités sur la v1. Avant d'adopter, vérifiez la licence réelle du dépôt (GitHub renvoie NOASSERTION) et testez l'accès micro depuis une machine distante, car getUserMedia exige un contexte sécurisé.

Sources officielles

1. Issues
2. Open-LLM-VTuber/Open-LLM-VTuber on GitHub
3. Project website
4. README
5. Releases