API でアプリを作る

前の二つのモジュールでは、どの例も「1 回呼び出して、結果を表示する」ものでした。実際のアプリはもっと多くの問題に向き合います。ユーザーは続けて何度も質問する。回答が長すぎてユーザーが待ちきれない。リアルタイムのデータを調べる必要がある。ネットワークは切れ、サービスはレート制限をかけ、請求はきちんと計算しなければならない。

このモジュールでは、これらの問題を一つずつ解決し、最後にそれらを組み合わせて、コースを貫くプロジェクト RepoBot の第 1 版を作ります。コマンドラインで続けて会話でき、ストリーミング出力、自動リトライを備え、毎ターン費用を表示する httpx の Q&A アシスタントです。

なぜこの順番なのか

第 1 課ではまず、API のレベルで「会話」とは実際には何なのかをはっきりさせます。この後のすべての課はメッセージのリストの上に成り立っています。第 2 課のストリーミング出力はユーザー体験を改善するもので、比較的独立しています。第 3 課のツール呼び出しは最も重要で最も複雑で、モジュール 05 のエージェントの土台になります。第 4 課が扱うのは、それまでのすべての機能が実環境で必ず出会う問題、つまりエラーとお金です。第 5 課では前の四つの課を組み立てます。

修了の目安

• コマンドラインのチャットプログラムを書き、履歴が長くなりすぎたら切り詰めたり圧縮したりできる。
• ストリーミング出力で回答を生成しながら表示でき、それをブラウザに転送する方法も知っている。
• ツール呼び出しのループ全体をゼロから書ける。説明書、実行、結果の返却、並列呼び出しとツールのエラーの処理まで。
• タイムアウト、指数バックオフのリトライ、同時実行数の制限、費用の記録を備えた呼び出し関数を書ける。
• RepoBot v1 を自分のパソコンで動かし、どんな種類の質問で間違えるのか、なぜ間違えるのかを説明できる。