プロンプト

このモジュールの各課は、どれも一組の比較実験です。同じタスクを二通りの書き方で実行し、結果を並べて比べます。適当に書いたプロンプトではモデルがユーザーの推測を事実として書いてしまうこと、例を 4 つ示すと分類が全問正解になること、「先に推論過程を書いて」の一言で罠のある問題の誤りが 9 回から 1 回に減ることを見ていきます。

課の中に「万能テンプレート」はありません。プロンプトの良し悪しは、あなたのタスクで実行した結果で決まります。そのため最後の課では、プロンプトを一括でテストする方法を学びます。

なぜこの順番なのか

第 1 課ではプロンプトがどんな部分から成り立っているかを扱います。これが基礎です。第 2 課と第 3 課では、その基礎の上で最もよく使われるテクニックを一つずつ扱います。例を示すことと、考えてから答えさせることです。第 4 課はプログラムでの処理に移り、出力を信頼できる JSON にする方法を扱います。この先アプリやエージェントを作るうえで欠かせません。第 5 課では、それまでのすべてを「テスト」の枠組みに置きます。プロンプトを変える前と後を、データで語るのです。

修了の目安

• 一文だけのプロンプトを渡されたら、その問題点を見つけ、役割、タスク、要件、形式、区切り記号に沿って書き直せる。
• 分類タスクのために適切な few-shot の例を選び、なぜそれを選んだのか説明できる。
• タスクで思考モードを使うべきかどうかを判断し、その判断をデータで裏付けられる。
• 「JSON モード + Pydantic による検証 + 失敗時のリトライ」のコードを書き、文章から構造化データを安定して抽出できる。
• プロンプトを変えたあと、一組のテストケースを使って、新しい版が古い版より何がよく、何が悪いかを示せる。