Voicebox : un studio vocal IA local-first pour le clonage, la dictée et la parole des agents

Voicebox en tant que studio vocal local-first

Voicebox est une application de bureau open source que le README décrit comme un studio vocal IA local-first. Il gère les deux moitiés de la boucle d'entrée/sortie vocale : il peut cloner une voix à partir d'un court échantillon audio et générer de la parole via sept moteurs de synthèse vocale, et il peut transcrire et dicter la parole dans n'importe quelle application. Le README le positionne comme une alternative gratuite et open source à ElevenLabs côté sortie et à WisprFlow côté entrée, avec l'ensemble de la pile exécuté sur la machine de l'utilisateur. Le README affirme également que les modèles, les données vocales et les captures ne quittent jamais la machine. Le dépôt est écrit en TypeScript, utilise Tauri avec Rust pour la coque de bureau et un backend Python FastAPI. La licence est MIT.

Clonage vocal et les sept moteurs TTS

Le README répertorie sept moteurs TTS : Qwen3-TTS, Qwen CustomVoice, LuxTTS, Chatterbox Multilingual, Chatterbox Turbo, HumeAI TADA et Kokoro. Chaque moteur a une couverture linguistique et des forces différentes. Par exemple, Chatterbox Multilingual prend en charge 23 langues, tandis que LuxTTS est uniquement en anglais et revendique une inférence CPU légère. Voicebox prend en charge le clonage zero-shot à partir d'un échantillon de référence, ainsi que plus de 50 voix prédéfinies organisées via Kokoro et Qwen CustomVoice. Les balises expressives comme [laugh] et [sigh] ne sont interprétées que par Chatterbox Turbo ; le README indique que les autres moteurs les lisent littéralement comme du texte. Des effets de post-traitement tels que le changement de hauteur, la réverbération, le délai, le chœur, le compresseur, le gain et les filtres sont disponibles après la génération.

Dictée globale et reconnaissance vocale

Pour l'entrée vocale, Voicebox propose un raccourci clavier global avec des modes push-to-talk et tap-to-toggle. Sur macOS, la transcription est collée dans le champ de texte focalisé à l'aide d'une injection vérifiée par les accessibilités, avec sauvegarde/restauration atomique du presse-papiers. L'application inclut également un bouton microphone dans l'application sur chaque champ de texte. La reconnaissance vocale exécute OpenAI Whisper, avec les tailles base, small, medium, large et turbo. La variante turbo est décrite comme environ huit fois plus rapide que Whisper Large avec une perte de qualité minimale. Toutes les dictées, enregistrements dans l'application et fichiers audio téléchargés sont stockés dans un onglet Captures, associés à leurs transcriptions, et peuvent être retranscrits ou affinés via un LLM local.

Sortie vocale des agents et intégration MCP

Voicebox expose une API REST et un serveur Model Context Protocol (MCP) intégré. Un seul appel d'outil, voicebox.speak, permet à tout agent compatible MCP tel que Claude Code, Cursor ou Cline de parler avec une voix clonée. Le README montre des exemples TypeScript et une commande curl pour POST /speak. Les liaisons vocales par client sont configurées dans les paramètres sous MCP, afin que chaque agent puisse avoir son propre profil vocal. Le serveur MCP fournit quatre outils : voicebox.speak, voicebox.transcribe, voicebox.list_captures et voicebox.list_profiles. La même pastille au niveau du système utilisée pour la dictée affiche également les états de parole de l'agent, afin que l'utilisateur voie quel profil vocal parle.

Flux de génération, versions et éditeur d'histoires

La génération est non bloquante et s'exécute via une file d'exécution série pour éviter les conflits GPU. Le texte est automatiquement divisé aux limites de phrases, segmenté et fondu enchaîné pour une parole de longueur illimitée, avec une longueur d'entrée maximale de 50 000 caractères. Chaque génération prend en charge plusieurs versions : la sortie TTS d'origine, les versions d'effets et les prises régénérées avec une nouvelle graine, avec suivi de source pour la lignée. L'éditeur d'histoires est une timeline multipiste pour les conversations et les podcasts, permettant le glisser-déposer, le rognage et la division en ligne, la lecture synchronisée et l'épinglage de version par piste. Huit effets audio, propulsés par la bibliothèque pedalboard de Spotify, peuvent être appliqués après génération et enregistrés en tant que préréglages.

Pile technique, backends GPU et développement

La pile technique comprend Tauri (Rust), React, TypeScript, Tailwind CSS, Zustand, React Query, FastAPI, SQLite, WaveSurfer.js et librosa. La prise en charge GPU couvre MLX sur Apple Silicon, CUDA sur Windows et Linux pour NVIDIA, ROCm pour AMD, DirectML pour Windows, IPEX/XPU pour Intel Arc et CPU simple. La gestion des modèles permet de décharger chaque modèle pour libérer de la mémoire GPU, un répertoire de modèles personnalisés via VOICEBOX_MODELS_DIR et l'annulation du téléchargement. Pour le développement, le README montre les commandes de démarrage rapide : git clone, just setup et just dev, avec les prérequis incluant Bun, Rust, Python 3.11 ou plus récent, les prérequis Tauri et Xcode sur macOS. La licence est MIT, ce qui accorde une large permission d'utiliser et de distribuer le logiciel mais ne comporte aucune garantie ni responsabilité.

Conclusion éditoriale

Voicebox est publié sous licence MIT, ce qui accorde la permission d'utiliser, copier, modifier, fusionner, publier, distribuer, sous-licencier et vendre des copies, mais fournit le logiciel sans garantie d'aucune sorte. Le README répertorie plusieurs fonctionnalités prévues, notamment la collage automatique sous Windows et Linux et des moteurs de reconnaissance vocale supplémentaires, sans dates cibles.

Sources officielles

1. Official documentation
2. Official README
3. Project repository
4. Release notes