提示詞
用對比實驗講清楚提示詞的結構、少樣本、先想再答、JSON 輸出,最後搭一個批次測試提示詞的小工具。
各課
- 01一個好提示詞長什麼樣
同一份亂糟糟的使用者求助,隨手寫的提示詞和結構清楚的提示詞各跑一次,逐段對比結果。講清楚身份、任務、背景、要求、輸出格式這幾塊各起什麼作用。
35 分鐘 · 入門 - 02給例子:少樣本提示
把使用者留言分成四類,不給例子答對 18 條,給 4 個例子答對 20 條。講清楚例子怎麼挑、放幾個、會帶來什麼副作用。
30 分鐘 · 入門 - 03讓模型先想再答
6 道容易錯的題各跑 5 次,直接回答對 21 次,先寫推理過程對 29 次,開啟思考模式全對。講清楚為什麼先想再答有用,以及它要付出多少代價。
35 分鐘 · 入門 - 04讓模型輸出 JSON
模型的回答要交給程式處理時,得是格式可靠的 JSON。講 JSON 模式、用 Pydantic 校驗並在失敗時讓模型改正,以及用嚴格模式的工具呼叫拿到符合 schema 的結構化輸出。
40 分鐘 · 入門 - 05提示詞也要測試
把提示詞放進檔案、準備 30 條測試用例、每條跑 3 次,用資料比較兩個版本的提示詞。還會看到測試結果本身也要檢查:有時錯的不是模型,是標註。
40 分鐘 · 入門
這個模組的每一課都是一組對比實驗:同一個任務,兩種寫法,跑出來的結果放在一起比。你會看到隨手寫的提示詞讓模型把使用者的猜測寫成了事實,給 4 個例子讓分類全部答對,一句"先寫推理過程"讓陷阱題的錯誤從 9 次降到 1 次。
課裡沒有"萬能模板"。提示詞寫得好不好,要看它在你的任務上跑出來的結果,所以最後一課會教你怎麼批次測試提示詞。
為什麼是這個順序
第 1 課講一個提示詞由哪幾塊組成,這是基礎。第 2、3 課各講一個在基礎之上最常用的技巧:給例子和讓模型先想再答。第 4 課轉向程式處理,講怎麼讓輸出變成可靠的 JSON,後面做應用、做智慧體都離不開它。第 5 課把前面的一切放到"測試"的框架裡:改提示詞之前和之後,用資料說話。
學完的標準
- 拿到一個一句話的提示詞,能找出它的問題,按身份、任務、要求、格式、分隔符改寫。
- 能為一個分類任務挑出合適的少樣本例子,並說出為什麼挑它們。
- 能判斷一個任務要不要開思考模式,並用資料支撐你的判斷。
- 能寫出"JSON 模式 + Pydantic 校驗 + 失敗重試"的程式碼,從一段文字裡穩定地提取結構化資料。
- 改提示詞之後,能用一組測試用例說明新版本比舊版本好在哪、差在哪。
本模組的程式碼
程式碼和執行結果保留原樣(簡體中文),與實際執行時完全一致。
- code/02-prompting/few_shot.py
- code/02-prompting/json_output.py
- code/02-prompting/json_strict.py
- code/02-prompting/prompt_structure.py
- code/02-prompting/prompt_test.py
- code/02-prompting/prompts/cases.jsonl
- code/02-prompting/prompts/classify_v1.txt
- code/02-prompting/prompts/classify_v2.txt
- code/02-prompting/reasoning.py
- code/02-prompting/results.jsonl