Français
简体中文繁體中文English日本語DeutschFrançais
Module 06 · Construire avec les LLM

Évaluation et mise en production

Construire un jeu d'évaluation, utiliser un modèle comme juge et le calibrer, journaliser chaque étape, réduire les coûts et accélérer, ajouter des garde-fous en entrée et en sortie, et enfin déployer RepoBot comme service web.

Leçons

  1. 01
    Construire un jeu d'évaluation

    Préparer 36 questions pour RepoBot, couvrant questions de documentation, questions de code source, questions à refuser, questions sans réponse et injections. Les stocker en JSONL, les exécuter en une commande, compter étapes, durée et coût par catégorie, puis faire un premier contrôle grossier avec des règles.

    40 minutes · Intermédiaire
  2. 02
    Un modèle comme juge

    Écrire des critères de notation pour 36 réponses, faire juger par un modèle, puis comparer une à une avec des annotations humaines. Avec les leçons tirées du module 04, juge et humain s'accordent sur les 36 questions, et le juge repère même une erreur cachée dans une explication.

    45 minutes · Intermédiaire
  3. 03
    Journaux et observabilité

    Écrire en quelques dizaines de lignes un traceur qui enregistre chaque appel de modèle et chaque appel d'outil de l'agent sous forme d'une ligne JSON. Après coup, rien qu'en lisant le journal, on calcule combien d'argent et de temps a coûté chaque question, quelle étape a été la plus lente et quel outil produit des erreurs.

    40 minutes · Intermédiaire
  4. 04
    Réduire les coûts et accélérer

    Cinq petites expériences – mettre les documents fixes en tête économise 64 %, demander de la concision réduit la sortie de 92 %, désactiver la réflexion pour les questions simples, construire son propre cache de résultats, et la concurrence fait passer 10 requêtes de 9,5 à 2,3 secondes.

    35 minutes · Intermédiaire
  5. 05
    Garde-fous : bloquer ce qui ne doit ni entrer ni sortir

    Le garde-fou d'entrée classe les questions avec un appel bon marché – 41 justes sur 42, toutes justes après l'ajout d'une règle ; le garde-fou de sortie masque par expressions régulières les clés et numéros de téléphone dans les réponses, et règle le problème des secrets coupés en deux pendant le streaming.

    40 minutes · Intermédiaire
  6. 06
    Projet : mettre l'assistant en production

    Faire de RepoBot un service web – interface de streaming FastAPI, boucle d'agent en streaming, garde-fous en entrée et en sortie, journal de traces, validation des entrées, puis comment le déployer sur un serveur. Le projet fil rouge de la première partie s'achève ici.

    90 minutes · Intermédiaire

Qu'une application d'IA tourne sur votre ordinateur, c'est encore loin de pouvoir la confier à d'autres. Il vous faut savoir si elle répond bien, si elle s'est dégradée après une modification, si l'on peut trouver la cause d'un problème, combien elle coûte par mois, et si l'on peut en abuser.

Ce module répond à ces questions. Les deux premières leçons portent sur l'évaluation : préparer les questions, faire juger par un modèle, et vérifier avec des annotations humaines si le juge est fiable. La leçon 3 traite des journaux, la leçon 4 des économies et de la vitesse, la leçon 5 des garde-fous. La dernière leçon intègre tout dans RepoBot pour en faire un service web.

Pourquoi cet ordre

L'évaluation vient en premier, car chaque modification ultérieure (optimiser les coûts, ajouter des garde-fous, passer au service web) doit s'en servir pour confirmer que rien ne s'est dégradé. Les journaux précèdent l'optimisation, car il faut d'abord savoir où partent l'argent et le temps pour savoir quoi optimiser. Les garde-fous viennent en dernier, car ils bloquent des requêtes, et il faut le jeu d'évaluation pour confirmer qu'ils ne pénalisent pas des questions normales.

Vous avez terminé quand

  • vous savez préparer pour votre application un jeu d'évaluation couvrant les cas normaux, les cas limites, les refus et les injections, et l'exécuter en une commande.
  • vous savez écrire le prompt d'un modèle juge et vérifier avec quelques dizaines d'annotations humaines à quel point il s'accorde avec le jugement humain.
  • vous savez ajouter à un agent un journal de traces, et en calculer pour chaque requête le nombre d'étapes, la durée et le coût.
  • vous savez citer au moins trois moyens de réduire les coûts ou d'accélérer, et en mesurer l'effet sur votre application.
  • vous savez implémenter un garde-fou de classification en entrée et un garde-fou de masquage en sortie, et savez contre quoi chacun ne protège pas.
  • RepoBot v4 tourne sur votre ordinateur sous forme de service web, et vous savez dire ce qui manque encore avant une mise en production.

Le code de ce module

Le code et les sorties des programmes sont reproduits tels qu’ils ont tourné : commentaires et sorties sont donc en chinois.