模組 02 · 用大模型做東西

提示詞

用對比實驗講清楚提示詞的結構、少樣本、先想再答、JSON 輸出,最後搭一個批次測試提示詞的小工具。

各課

  1. 01
    一個好提示詞長什麼樣

    同一份亂糟糟的使用者求助,隨手寫的提示詞和結構清楚的提示詞各跑一次,逐段對比結果。講清楚身份、任務、背景、要求、輸出格式這幾塊各起什麼作用。

    35 分鐘 · 入門
  2. 02
    給例子:少樣本提示

    把使用者留言分成四類,不給例子答對 18 條,給 4 個例子答對 20 條。講清楚例子怎麼挑、放幾個、會帶來什麼副作用。

    30 分鐘 · 入門
  3. 03
    讓模型先想再答

    6 道容易錯的題各跑 5 次,直接回答對 21 次,先寫推理過程對 29 次,開啟思考模式全對。講清楚為什麼先想再答有用,以及它要付出多少代價。

    35 分鐘 · 入門
  4. 04
    讓模型輸出 JSON

    模型的回答要交給程式處理時,得是格式可靠的 JSON。講 JSON 模式、用 Pydantic 校驗並在失敗時讓模型改正,以及用嚴格模式的工具呼叫拿到符合 schema 的結構化輸出。

    40 分鐘 · 入門
  5. 05
    提示詞也要測試

    把提示詞放進檔案、準備 30 條測試用例、每條跑 3 次,用資料比較兩個版本的提示詞。還會看到測試結果本身也要檢查:有時錯的不是模型,是標註。

    40 分鐘 · 入門

這個模組的每一課都是一組對比實驗:同一個任務,兩種寫法,跑出來的結果放在一起比。你會看到隨手寫的提示詞讓模型把使用者的猜測寫成了事實,給 4 個例子讓分類全部答對,一句"先寫推理過程"讓陷阱題的錯誤從 9 次降到 1 次。

課裡沒有"萬能模板"。提示詞寫得好不好,要看它在你的任務上跑出來的結果,所以最後一課會教你怎麼批次測試提示詞。

為什麼是這個順序

第 1 課講一個提示詞由哪幾塊組成,這是基礎。第 2、3 課各講一個在基礎之上最常用的技巧:給例子和讓模型先想再答。第 4 課轉向程式處理,講怎麼讓輸出變成可靠的 JSON,後面做應用、做智慧體都離不開它。第 5 課把前面的一切放到"測試"的框架裡:改提示詞之前和之後,用資料說話。

學完的標準

  • 拿到一個一句話的提示詞,能找出它的問題,按身份、任務、要求、格式、分隔符改寫。
  • 能為一個分類任務挑出合適的少樣本例子,並說出為什麼挑它們。
  • 能判斷一個任務要不要開思考模式,並用資料支撐你的判斷。
  • 能寫出"JSON 模式 + Pydantic 校驗 + 失敗重試"的程式碼,從一段文字裡穩定地提取結構化資料。
  • 改提示詞之後,能用一組測試用例說明新版本比舊版本好在哪、差在哪。

本模組的程式碼

程式碼和執行結果保留原樣(簡體中文),與實際執行時完全一致。