LLM-RL-Visualized : 100 schémas originaux pour réviser LLM et RL sans lire un papier
🌟100+ 原创 LLM / RL 原理图📚，《大模型算法》作者巨献！💥（100+ LLM/RL Algorithm Maps ）
En bref
- De quoi s’agit-il ?
- Le dépôt de Chang Yeyu rassemble plus d'une centaine de schémas vectoriels couvrant LLM, VLM, SFT, DPO, RLHF et RL classique. Ce n'est pas du code exécutable : c'est une documentation visuelle, et cela change complètement la façon de l'évaluer.
- À qui s’adresse-t-il ?
- Ce dépôt convient à qui prépare un cours, une revue de littérature ou une présentation interne sur les algorithmes LLM et RL, et qui veut des schémas vectoriels réutilisables. Il ne convient pas à qui cherche une implémentation de référence, des scripts d'entraînement ou des mesures reproductibles : il n'y a ni code exécutable, ni release, ni CI.
- Puis-je l’utiliser commercialement ?
- À vérifier. La licence de ce dépôt n’entre pas dans les catégories que nous classons automatiquement : lisez son fichier LICENSE avant tout usage commercial.
- Est-il encore maintenu ?
- Oui. Les derniers commits datent d’il y a 6 jours.
- En quel langage est-il écrit ?
- Principalement Python, d’après les statistiques de langage de GitHub.
Ces réponses reposent sur les données GitHub du projet (dernière synchronisation le 15 septembre 2026) et sur notre analyse. Elles ne constituent pas un avis juridique.
ANALYSE OPEN SOURCE APPROFONDIE
Un dépôt de schémas, pas une bibliothèque
Le README annonce la couleur dès la première ligne : plus de 100 schémas originaux sur les grands modèles et l'apprentissage par renforcement. Le dépôt ne contient donc pas de module importable, pas de point d'entrée Python, pas de tests. Le langage principal déclaré est Python, mais rien dans le README ne décrit de package, de setup.py ou de requirements.txt. Il faut le prendre pour ce qu'il est : un atlas visuel, avec un fichier PDF de synthèse et des images SVG. La page d'accueil renvoie vers la fiche Douban d'un livre, 《大模型算法：强化学习、微调与对齐》, dont l'auteur déclare qu'il est l'auteur. Le dépôt fonctionne comme le complément graphique de cet ouvrage, pas comme un projet logiciel autonome. Cette distinction commande tout le reste de l'analyse : les critères habituels (qualité des tests, cadence de release, compatibilité des dépendances) ne s'appliquent pas ici.
Ce que la table des matières couvre réellement
Le sommaire est découpé en onze parties, et c'est la partie la plus informative du README. La première donne les vues d'ensemble : architecture générale LLM et VLM, un PDF intitulé rl-algo-map.pdf présenté comme le plus grand du genre, et un schéma de policy gradient. Les parties 2 à 5 traitent des fondations : structure du transformer, décodage, couches d'entrée et de sortie, puis SFT avec LoRA en deux planches, Prefix-Tuning, le calcul de la loss d'entropie croisée, le packing des données. La partie 4 est consacrée à DPO, avec une comparaison RLHF contre DPO, le rôle du paramètre β et l'effet des écarts de récompense implicite sur l'amplitude des mises à jour. La partie 5 couvre les techniques sans entraînement : CoT, self-consistency, ToT, GoT, les stratégies de recherche greedy, beam, top-K, top-P, puis RAG et function calling. Les parties 6 et 7 forment un cours de RL à part entière, de MDP jusqu'à DDPG en passant par GAE, TRPO, PPO-Clip et la comparaison PPO contre GRPO. Les parties 8 à 11 traitent RLHF, RLAIF, la distillation de raisonnement, MCTS, la quantification, l'attention MHA/GQA/MQA/MLA, RoPE, RMSNorm, SwiGLU. La densité est réelle : chaque entrée du sommaire correspond à une planche distincte, pas à un paragraphe.
Comment le contenu est acheminé vers le lecteur
Le mécanisme est simple et c'est un point en sa faveur. Chaque entrée du sommaire est une ancre HTML du type header-72, suivie d'une balise img pointant vers un fichier sous src/assets/. Le README précise que cliquer sur une image ouvre la version haute résolution, et renvoie vers les fichiers .svg du dépôt, décrits comme des images vectorielles redimensionnables dont le texte reste sélectionnable. Cette dernière propriété compte : un schéma exporté en PNG est inutilisable dans une présentation ou un manuscrit, alors qu'un SVG peut être agrandi sans perte et son texte copié. Le dépôt maintient deux arborescences parallèles, images_chinese/ et images_english/, et propose deux README, README.md et src/README_EN.md. Le PDF de la carte des algorithmes RL est stocké à la racine sous un nom de fichier contenant des caractères chinois et des parenthèses. Ce détail a des conséquences pratiques pour tout script qui tenterait de cloner ou de télécharger le fichier par URL : l'encodage du chemin doit être géré explicitement.
Aucune installation, et c'est volontaire
Il n'y a pas de commande à lancer. Le README ne documente ni pip install, ni make, ni script de génération. La seule action qu'il demande explicitement est de cliquer sur l'étoile du dépôt en haut de page, présentée comme un encouragement à la maintenance. Le seul artefact consommable directement est 强化学习算法图谱 (rl-algo-map).pdf, accessible depuis la racine du dépôt. Pour le reste, la consommation se fait par git clone puis ouverture des SVG dans un navigateur ou un éditeur vectoriel, ou par lecture directe des images dans le README sur GitHub. C'est une contrainte à accepter : il n'existe pas de chemin d'intégration automatisé, pas de paquet publié, pas de version taguée. La recherche de releases récentes ne renvoie d'ailleurs aucun résultat. Un lecteur qui a besoin de référencer une planche précise dans un document devra noter le chemin du fichier à la main, car les ancres header-N ne sont pas stables dans le temps si le sommaire est réorganisé.
Ce que le dépôt ne permet pas de faire
La limitation principale n'est pas un défaut caché, elle est structurelle : un schéma n'est pas une preuve. Les planches sur PPO-Clip, GAE ou le calcul de la divergence KL dans RLHF décrivent des mécanismes, mais le dépôt ne fournit aucune implémentation permettant de vérifier qu'un détail de la figure correspond au comportement réel d'une bibliothèque donnée. Un lecteur qui veut trancher entre deux interprétations d'un même algorithme devra aller lire le papier d'origine ou le code de référence. Autre angle mort : la licence. L'API GitHub renvoie NOASSERTION, ce qui signifie qu'aucune licence reconnue n'a été détectée automatiquement. Le README ne contient aucune section licence. Pour un usage en entreprise, en formation commerciale ou dans un support publié, c'est le point à clarifier avant toute réutilisation, et je ne peux pas trancher à la place du lecteur : il faut ouvrir le fichier LICENSE à la racine, s'il existe, ou contacter l'auteur. Enfin, la barrière linguistique est réelle : la version anglaise existe, mais rien ne garantit que les deux arborescences évoluent au même rythme.
Face à quoi on le compare vraiment
L'alternative la plus directe n'est pas un autre dépôt de schémas, c'est la documentation officielle des bibliothèques d'entraînement. TRL, pour RLHF et DPO, et veRL ou OpenRLHF pour le RL à grande échelle, fournissent du code exécutable, des exemples de configuration et des scripts prêts à lancer. La différence d'approche est nette : ces projets répondent à la question comment exécuter, tandis que LLM-RL-Visualized répond à la question comment se représenter le mécanisme. Un ingénieur qui doit déboguer une divergence KL qui explose n'a rien à tirer d'une figure, il lui faut les courbes et les logs de sa propre exécution. À l'inverse, un ingénieur qui doit expliquer à une équipe pourquoi on choisit DPO plutôt que PPO gagne du temps avec une planche qui montre les deux architectures côte à côte, ce que la documentation de TRL ne fait pas sous forme visuelle. Les deux ressources sont complémentaires et ne se substituent pas.
Coût de maintenance et cycle de mise à jour
Le dépôt est actif : la dernière poussée enregistrée date du 29 août 2026, et il n'est pas archivé. Le README annonce une maintenance continue, avec corrections d'erreurs et ajouts de planches. C'est un engagement crédible pour un projet de documentation, parce que le coût de mise à jour d'un SVG est faible comparé à celui d'un module logiciel : pas de compatibilité ascendante à gérer, pas de matrice de versions Python. La contrepartie est l'absence de versionnement sémantique. Sans release taguée, un lecteur ne peut pas épingler une révision et dire « j'ai utilisé la version du mois de mars ». Si vous citez une planche dans un article ou un cours, référencez le commit SHA plutôt que le nom du fichier. Le README fournit une section BibTeX et une section de citation, ce qui indique que l'auteur anticipe un usage académique. Sur la licence, je le répète parce que c'est le seul risque concret identifié : NOASSERTION n'est pas une licence, c'est l'absence de licence détectable. Tant que ce point n'est pas résolu, considérez la réutilisation hors lecture personnelle comme non vérifiée.
Conclusion éditoriale
Ce dépôt convient à qui prépare un cours, une revue de littérature ou une présentation interne sur les algorithmes LLM et RL, et qui veut des schémas vectoriels réutilisables. Il ne convient pas à qui cherche une implémentation de référence, des scripts d'entraînement ou des mesures reproductibles : il n'y a ni code exécutable, ni release, ni CI. Avant tout usage, ouvrez le fichier LICENSE à la racine du dépôt, puisque l'API GitHub renvoie NOASSERTION, et vérifiez dans src/assets/ que le schéma dont vous avez besoin existe bien dans les deux dossiers images_chinese/ et images_english/.
Notes de la communauté