llm_interview_note : des notes de préparation aux entretiens LLM, pas un framework

Un dépôt de fiches, pas un projet logiciel

Le README ouvre sur une phrase sans ambiguïté : le dépôt enregistre des concepts et des questions d'entretien liés aux LLM, rassemblés par l'auteur à partir de ressources en ligne. Le langage principal déclaré est HTML, ce qui s'explique par la génération d'un site statique pour la lecture en ligne ; il ne faut pas y voir un framework ni une bibliothèque. Le problème résolu est celui de la dispersion : un candidat qui prépare un poste d'ingénieur LLM doit couvrir l'architecture Transformer, la tokenisation, le fine-tuning, l'inférence, le RLHF et le RAG. Le dépôt propose un plan unique pour ces sujets, avec une section explicitement intitulée 真实面试题 (questions d'entretien réelles). Le public visé est donc étroit : des candidats qui lisent le chinois et préparent un entretien technique sur les LLM. Un ingénieur qui cherche une implémentation de référence pour un attention kernel ou un pipeline d'entraînement distribué n'est pas le lecteur visé, et le dépôt ne prétend pas l'être.

Comment le contenu est organisé, chapitre par chapitre

La table des matières du README décrit une progression en neuf chapitres numérotés. Le chapitre 01 couvre les bases : histoire des grands modèles, tokenisation (avec un fichier dédié à jieba, ses usages et son principe), étiquetage morphosyntaxique, analyse syntaxique, plongements de mots, Word2Vec, les trois extracteurs de caractéristiques NLP (CNN, RNN, TF) et une question récurrente, pourquoi les LLM utilisent une architecture decoder-only. Le chapitre 02 porte sur l'architecture : attention, layer normalization, encodage positionnel, tokenisation, paramètres et tokens, MHA/MQA/GQA, stratégies de décodage (Top-k, Top-p, temperature), BERT et ses variantes, les séries llama et chatglm, puis MoE avec Switch Transformers. Les chapitres suivants traitent les jeux de données, l'entraînement distribué (parallélisme de données, de pipeline, de tenseur, de séquence, parallélisme hybride, DeepSpeed, Megatron), le SFT (prompting, adapter-tuning, LoRA), l'inférence (vLLM, text_generation_inference, faster_transformer, trt_llm), le RLHF (policy gradient, PPO, DPO), le RAG et les agents, puis l'évaluation et les hallucinations. Cette structure est le principal apport du dépôt : elle sert de checklist de révision. Elle montre aussi ses trous. Plusieurs entrées de la table des matières apparaissent sans fichier cible, notamment 03.2 模型参数, 4.3 Megatron, 4.4 训练加速, 6.3 量化 et 6.4 vLLM. Ce sont des rubriques annoncées, pas du contenu vérifiable.

Ce qu'il faut vérifier avant de s'appuyer dessus

Le README précise que les réponses ont été rédigées par l'auteur et invite à signaler les erreurs. C'est une mise en garde utile : le contenu n'a pas de processus de relecture visible, pas de sources citées systématiquement, et l'auteur le dit lui-même. Les métadonnées du dépôt ne déclarent aucune licence. Sans licence explicite, la réutilisation, la redistribution ou l'intégration de ces fiches dans un support de formation interne restent juridiquement floues ; ce n'est pas un avis juridique, mais un point à trancher avec votre service juridique avant tout usage autre que la lecture personnelle. Le dépôt n'est pas archivé et le dernier push date de juin 2026, donc il est maintenu, mais l'absence de releases publiées signifie qu'il n'existe pas de version figée à épingler pour une utilisation reproductible. La page d'accueil pointe vers https://wdndev.github.io/llm_interview_note, et le README donne aussi une adresse en http. Le contenu dépend donc d'un déploiement GitHub Pages, pas d'un artefact versionné.

Le mode d'emploi réel : lire, pas installer

Il n'y a pas de commande d'installation à documenter, parce que le dépôt n'expose ni CLI ni paquet. La seule procédure que le README décrit est la lecture en ligne : ouvrir http://wdndev.github.io/llm_interview_note, puis naviguer dans les chapitres via la table des matières. Pour un usage hors ligne, il faut cloner le dépôt et lire les fichiers .md directement, en respectant l'arborescence des chapitres (par exemple 02.大语言模型架构/1.attention/1.attention.md). Les noms de dossiers et de fichiers sont en chinois, avec des caractères spéciaux dans certains chemins, comme les parenthèses pleines chinoises et les espaces dans 解码策略（Top-k & Top-p & Temperature）.md. Cela complique les liens et les scripts de traitement par lot. Le README mentionne également un compte WeChat pour des mises à jour irrégulières sur les LLM et les entretiens, mais aucun flux RSS ni changelog n'est proposé. Si vous voulez suivre les ajouts, il faut donc surveiller les commits du dépôt.

Les projets tiny comme complément pratique

Le README ne s'arrête pas aux fiches. Il liste quatre projets d'expérimentation : tiny-llm-zh, qui implémente de zéro un petit modèle de langue chinois pour aborder préentraînement, fine-tuning et RL ; tiny-rag, un système RAG simple avec rappel multi-voies et reranking ; tiny-mcp, un serveur et un client MCP construits avec prompt et function calling ; et llama3-from-scratch-zh, une implémentation de llama3 capable de charger les poids officiels de Meta et de tourner sur un portable avec 16 Go de mémoire, selon la description du README. Un modèle tiny-llm-zh de 92M paramètres est présenté comme déployé sur ModeScope. Ces projets changent la nature du dépôt : llm_interview_note reste des notes, mais il sert de porte d'entrée vers du code exécutable. La distinction compte pour l'évaluation. Le dépôt principal n'est pas testable, les projets tiny le sont, et c'est là que se trouve la valeur pratique pour quelqu'un qui veut manipuler un pipeline plutôt que réciter des définitions.

Ce qui manque face à une documentation de référence

La limite principale est le statut épistémique du contenu. Des fiches rédigées par une seule personne, sans sources systématiques, ne remplacent pas la documentation officielle d'un framework ni un article de référence. Sur des sujets où les détails changent vite, comme les stratégies de décodage, les variantes d'attention ou les implémentations de RLHF, une fiche non datée vieillit sans avertissement. Le dépôt ne fournit pas non plus de jeux de questions corrigées avec barème, ni d'indication sur le niveau attendu (junior, senior). Un lecteur ne peut pas savoir si une réponse donnée correspond à ce qu'un entretien réel demande. Enfin, la barrière linguistique est réelle : tout le contenu est en chinois, et le README lui-même est en chinois. Pour un lecteur francophone, l'usage se limite donc à un plan de révision et à des titres de sujets, pas à une source d'explication directement exploitable sans traduction.

Alternatives et différence d'approche

Deux alternatives naturelles existent dans l'écosystème, et elles diffèrent sur le fond. La documentation officielle de Hugging Face (les cours et les guides du dépôt transformers) propose des explications en anglais, maintenues par l'équipe du projet, avec du code exécutable et des références vers les articles d'origine. La différence n'est pas la qualité mais la nature : la documentation officielle décrit un outil précis et suit ses versions, tandis que llm_interview_note couvre un spectre large de sujets d'entretien sans être lié à une implémentation. Un recueil de questions d'entretien en anglais, du type de ceux hébergés sur GitHub, joue le même rôle de checklist mais sans la progression par chapitres ni les projets tiny associés. Le choix dépend de l'objectif : pour préparer un entretien en chinois avec une progression guidée, llm_interview_note est cohérent ; pour comprendre le fonctionnement d'une bibliothèque que vous allez utiliser en production, la documentation officielle reste la référence, et les fiches ne servent que de rappel.

Conclusion éditoriale

Ce dépôt convient à un candidat qui prépare un entretien d'ingénieur LLM et lit le chinois, ou à un développeur francophone qui veut un plan de révision structuré. Il ne convient pas à qui cherche un cours de référence à citer, un support de formation, ou du code à exécuter : il n'y a rien à installer, aucune licence n'est déclarée dans les métadonnées du dépôt, et la table des matières contient plusieurs entrées sans cible. Avant de vous y appuyer, ouvrez la page GitHub Pages, vérifiez que les chapitres qui vous intéressent sont bien rédigés, et considérez les projets tiny-llm-zh, tiny-rag et tiny-mcp comme le complément pratique, pas comme le contenu principal.

Sources officielles

1. Issues
2. Project website
3. README
4. wdndev/llm_interview_note on GitHub