MaxText: architecture d'entraînement LLM sur TPU conçue autour de JAX et XLA

Position et stratégie de distribué de MaxText

MaxText est une implémentation de référence pour entraîner les grands modèles de langage directement sur les puces TPU et GPU de Google Cloud, écrite entièrement en Python et JAX. Le différenciateur principal réside dans son approche de la distribution via le compilateur XLA: MaxText délègue la plupart des décisions de parallélisme au compilateur XLA plutôt que de les coder manuellement. Selon le README, cela permet au projet de rester simple et largement exempt d'optimisations manuelles, tout en atteignant une utilisation élevée des FLOPs du modèle et une scalabilité de quelques chips à des dizaines de milliers. Le dépôt est activement entretenu (mise à jour le 21 août 2026) et hébergé sous la gouvernance d'AI-Hypercomputer au sein de Google. La cible principale est Python 3.12, le project avertissant que d'autres versions peuvent rencontrer des incompatibilités.

Couches de composants: Flax NNX, Tunix, Orbax et la pile JAX

MaxText s'appuie sur plusieurs bibliothèques JAX pour différentes responsabilités. Flax NNX (utilisé après juin 2026, remplaçant Linen) gère la définition des architectures de réseau de neurones. Tunix intervient dans les étapes de post-entraînement (fine-tuning supervisé et RL). Orbax déploie le checkpointing d'état du modèle. Optax fournit les optimiseurs (SGD, AdamW, etc.). Grain gère le pipeline de chargement et d'itération sur les données. Pathways est mentionné pour la coordination multi-hôte à venir. Ces dépendances ne figurent pas isolément dans requirements.txt à cause de la portabilité TPU; elles sont intégrées dans l'installation PyPI. Le README indique que cette stack composée reproduit un flux de pré-entraînement à l'échelle Google Cloud de manière reproductible pour les utilisateurs externes.

Pré-entraînement à l'échelle: architecture multi-chip et configs de densité

MaxText supporte le pré-entraînement des modèles LLM depuis les configurations petites (Qwen 0.6B dense) jusqu'aux géants MoE (DeepSeek-V3.2 à 671 milliards de paramètres avec Sparse Attention). Le repertoire configs/models/ énumère près de 50 configurations de modèles. Pour chacun, MaxText fournit une config YAML décrivant l'architecture (dense vs. MoE, taille de vocabulaire, nombre de couches, taille des tête d'attention) et les hyperparamètres d'entraînement. Le pré-entraînement simple monocouche utilise la distribution de données par défaut; les entraînements multi-hôte recourent à des spécifications Pathways (mécanisme à la Jax sous la surface) pour activer la distribution de modèle et de pipeline. L'effectif de chips varie de 1 à 32k ou plus selon le modèle et la configuration de parallelisme.

Écosystème post-entraînement: SFT, GRPO et évaluation

MaxText intègre des pipelines de post-entraînement au-delà du pré-entraînement seul. Le fine-tuning supervisé (SFT) ajuste un modèle pré-entraîné sur des données annotées, utilisant Tunix pour la coordination. L'apprentissage par renforcement à partir des retours humains est implémenté via deux formulations: GRPO (Group Relative Policy Optimization) et GSPO (Group Sequence Policy Optimization). Le README indique que vLLM est utilisé pour l'échantillonnage lors de la collecte de trajectoires pour RL. Un framework d'évaluation lm-eval/evalchemy inclus depuis mai 2026 permet de benchmark les checkpoints MaxText contre des ensembles de test communs (MMLU, GSM8K, etc.) sans quitter l'écosystème MaxText. Les guides de tuning pour Qwen3 30B et GPT-OSS 20B avec RL remontent à juillet 2026.

Multiples architectures de modèle prise en charge et migration Flax NNX

La couverture de modèles inclut les architectures Gemma (générations 1-4 avec variantes MoE), Llama (2, 3, 4 avec multimodal VLM), Qwen (séries 2.5, 3, 3.5 incluant MoE 2507), DeepSeek (V2, V3, V3.1, V3.2, R1 variant thinking), Kimi (K2 avec variant thinking, K2.5/K2.6), GPT-OSS (20B, 120B), Mistral (7B, Mixtral MoE), et d'autres. En juin 2026, le projet a migré de Flax Linen vers Flax NNX, une abstraction d'ordre supérieur pour les modèles JAX. Cette migration a conservé la compatibilité des charges de travail existantes (les checkpoints Linen continuent de fonctionner) tout en ouvrant des possibilités de flexibilité d'optimisation future. Les configurations matérielles cibles restent les TPU et GPU Google Cloud, avec des options Docker pré-construites pour le déploiement.

Mode découplé et installation PyPI

Pour les cas d'utilisation ne nécessitant pas de dépendances Google Cloud Platform, MaxText fournit un mode découplé avec documentation dédiée. L'installation recommandée se fait via pip depuis PyPI (paquet maxtext), avec une option d'installation en mode édition pour les développeurs (-e .). Après la restructuration en src/, les utilisateurs avec des installations existantes doivent réexécuter pip install -e . depuis la racine. Des cibles PyPI spécialisées comme tpu-post-train existent pour isoler les dépendances optionnelles. Le project recommande vivement l'utilisation de la dernière release PyPI plutôt que la branche main, avertissant que main n'est pas prête pour la production.

État de développement, notes de version et ressources de documentation

MaxText cumule 2407 étoiles, 593 forks et 310 issues ouvertes sur GitHub. Les notes de version couvrent des ajouts comme Qwen3.5 35B/397B (juin 2026), Kimi-K2-Thinking/K2.5/K2.6 (mai 2026), DeepSeek-V3.2 avec Sparse Attention (avril 2026), et framework d'évaluation lm-eval (mai 2026). Les anciennes commandes MaxText.* post-training shims ont été supprimées, avec migration vers src/MaxText/README.md. La documentation officielle réside sur maxtext.readthedocs.io avec sections dédiées aux getting started, tutorials par modèle/cas d'usage, et guides de concepts. Les utilisateurs rencontrant des problèmes sont invités à ouvrir un issue GitHub.

Considérations de licence et d'organisation

MaxText est distribuée sous Apache License 2.0, accordant des droits perpétuels, mondiaux et non-exclusifs de reproduction, modification, affichage public, distribution et sous-licensing à titre gratuit. La mention d'une garantie explicite est absente; la licence ne confère aucune garantie d'exploitation ou de support. La propriété du copyright revient à Google LLC (2023-2025). Le projet est hébergé dans l'organisation GitHub AI-Hypercomputer, alignée à la stratégie de Google pour les infrastructures d'IA distribuées.

Conclusion éditoriale

MaxText s'adresse aux équipes d'IA maîtrisant JAX et ayant accès aux ressources TPU/GPU Google Cloud, notamment pour le pré-entraînement à grande échelle. Les équipes sans expertise JAX ou sans infrastructure Google Cloud devraient explorer d'autres frameworks. Avant adoption, vérifiez que votre architecture matérielle cible et la version Python 3.12 minimale requise correspondent à vos contraintes.

Sources officielles

1. Official documentation
2. Official README
3. Project repository
4. Release notes