GM815 / Module 12026-09-23

從 Prompt 到
Context Engineering:
如何撰寫可執行規格

從工作需求,到可驗收規格。

盧政良 助理教授財金學群 / 元智大學管理學院
W02 / 規格Module 1 · 02

先回到上週:你想到哪一個 workflow?

不必先提出解法;請用一分鐘說明工作如何開始、經過哪些判斷、最後交給誰。

Trigger / Input什麼事件或資料啟動工作?
→
Work / Decision中間需要整理、計算或判斷什麼?
→
工作成果 (artifact)最後留下哪一份成果?
→
Human / Handoff誰查核、核准或接手?
分享時再補一題:這個流程最容易卡在哪裡?是缺資料、規則不清、結果難查核,還是責任不明?
接下來用十份 Q3 報表作為全班共同案例,把剛才的 workflow 進一步寫成可以執行與驗收的規格。
W02 / 規格Module 1 · 03

課前調查顯示:主要困難不只在提問,也在流程整合。

因此 W02 將焦點放在規格、測試與交接,而不是增加 Prompt 範本。

17 / 36

不知道如何問,才能得到真正有用的答案。

19 / 36

不知道如何整合進既有工作流程。

25 / 36

期待 Agent/工作自動化;但曾做工作流程自動化只有 3 筆。

今天的目標是建立一份規格,使未參與討論的人也能理解工作內容、限制條件與驗收方式。

參考:課前調查 · 36 筆 · 2026-09-15

W02 / 規格Module 1 · 04

案例起點:十份報表已經交給 AI,現在可以相信結論嗎?

執行長:「把這十份 Q3 報表合起來,明早給我三項最值得處理的問題。」

AI 已產出漂亮的一頁摘要。你現在會做什麼?

W02 / 規格Module 1 · 05

本週建立一條可驗收的工作鏈:Request → Specification → Tests → Handoff。

先把工作定義清楚,再討論工具選擇與自動化。

Request模糊需求
→
Specification輸入/輸出/限制
→
Tests基準/缺值/矛盾
→
Handoff版本/責任/下一步
Prompt 可以承載規格,但規格本身應明確定義任務、限制與驗收條件。
W02 / 規格Module 1 · 06

案例桌面:極智生活科技的十份 Q3 報表

先理解資料關係,再要求 AI 找洞察。

資料角色檔案本週關注的關係
交易資料台灣、美國、日本銷售;越南成本欄名、語言、幣別與產品名稱不同
對照與規則內部交易、SKU 主檔、匯率哪些能相加、如何換算、哪些必須沖銷
管理比較行銷費用、應收帳款、預算洞察必須連回基準、來源與風險
先定義一份其他人可以執行與驗收的資料整合規格。

下載 W02 案例資料包

W02 / 規格Module 1 · 07

十份報表每次都交給 AI 處理,為何可能更慢?

先區分反覆執行的固定規則,與需要解釋、生成或探索的工作。

報表工作較合適的起點仍需確認
每週依相同欄位合併與換算用 AI 協助寫程式;由程式反覆執行欄位變更、例外與測試結果
為主管起草異常說明用 AI 生成候選文字數字來源、語氣與行動責任
尚不知何種因素造成差距用 AI 協助提出與比較假設反例、外部證據與實際驗證
先辨識工作是否可規則化,再決定 AI 應參與哪一段。
W02 / 規格Module 1 · 08

有效率的使用 AI

先判斷工作是否能寫成固定規則,再選擇讓程式執行或讓 AI 參與判斷。

規則確定型Deterministic

讓 AI 產生並測試程式碼,再由程式反覆執行固定規則。

執行快速,重複執行不耗用模型 tokens;流程變動時,須修改程式並重新測試。

情境判斷型Judgment-intensive

讓 AI 整理資料、比較證據並提出候選判斷。

能處理語境與例外;每次使用都有成本,重要結論仍須查核與核准。

不是所有工作都應交給 AI;除非 AI 的使用成本為零,且永遠不會出錯。
W02 / 規格Module 1 · 09

工具選擇須同時計入建立成本、執行成本與錯誤後果。

一次性的探索與反覆執行的流程,適合不同的成本結構。

建立寫規格、程式與測試需要多少投入?
→
執行每次處理需多少等待、模型調用與人工時間?
→
風險出錯後由誰發現、修復並承擔後果?
比較的是整段工作流程的成本,而非單次生成文字的速度。

參考:NIST · AI RMF Core

W02 / 規格Module 1 · 10

現場示範先使用三份檔案,再加入內部交易證據。

解壓資料包後,第一輪只上傳美國銷售、SKU 主檔與匯率表;第二輪再加入台灣銷售與內部交易表。

步驟檔案在案例中的角色
第一輪02_US_Sales_Q3.xlsx找美國銷售原始列與淨額
第一輪06_SKU_Master_Mapping.xlsx以產品名稱查 Global_SKU
第一輪07_FX_Rates_Q3.xlsx選損益平均匯率
第二輪01_TW_Sales_Q3.xlsx、05_Intercompany_Trade.xlsx查集團內部交易與沖銷
W02 / 規格Module 1 · 11

故事的終點:一頁可查證的決策摘要。

主管需要知道是否達標、哪裡異常,以及接下來由誰處理。

管理問題摘要必須回答最低證據
表現如何?實際值、目標值、差距與期間來源檔、欄位、公式與匯率
哪裡異常?影響幅度、比較基準與不確定性原始記錄、規則、勾稽狀態
接下來呢?建議行動、負責角色、期限與核准點行動所依據的數字與限制
W02 / 規格Module 1 · 12

管理摘要的可信度取決於資料處理方式。

在討論異常與行動之前,先確認金額可追溯、缺值可辨識、交易範圍正確。

來源追溯

金額須回到銷售列、產品對照及匯率。

缺值處理

主檔無對照時,須保留例外。

交易範圍

集團內部收入須與對外收入區分。

W02 / 規格Module 1 · 13

工作規格使資料處理與驗收條件明確化。

這份工作表也是未來期中專案的最小起點。

欄位本案約定
用途支援第三季管理會議
輸入銷售資料、產品主檔、匯率表及版本
輸出可追溯明細、例外清單、候選結論
限制不猜測對照;內部收入不列對外營收
例外缺值或定義衝突時保留原值
驗收每筆可回查來源並重算
W02 / 規格Module 1 · 14

相同資料、相同模型;改變工作要求。

比較兩次回答的來源、計算過程與例外說明。

第一次:籠統要求

請 AI 直接提出管理問題。

第二次:具體規格

指定發票、對照規則與來源欄位。

先保留回答,再以原始資料核對。
W02 / 規格Module 1 · 15

第一次示範:AI 會如何回應籠統要求?

掀開指令並執行;保留原始回答。

揭開示範指令
請根據我上傳的 Q3 報表,整理一頁給主管看的摘要,找出三個最值得處理的問題,並提出建議。
觀察每項結論是否標明來源與限制。
W02 / 規格Module 1 · 16

第二次示範:指定一筆可回查的交易。

使用相同的三份檔案,要求 AI 交代來源、對照及換算。

揭開示範指令
你正在協助準備極智生活科技的 Q3 管理會議。本次只有三份已上傳檔案:02_US_Sales_Q3.xlsx、06_SKU_Master_Mapping.xlsx、07_FX_Rates_Q3.xlsx。請先列出各檔的工作表、用到的欄位、資料角色與對照鍵,不要先寫管理結論。

接著只處理 02_US_Sales_Q3.xlsx 中 Invoice_No = INV-US-2026-5004 這一列。用 US_Product_Name 將 Product_Description 對應至 Global_SKU;用 USD/TWD 的 P&L_Average_Rate 換算 Net_Sales_USD。輸出原始金額、SKU、匯率欄位、計算式與 TWD 金額,並標明來源檔、工作表與原始列識別碼。

若查不到列、SKU 或適用匯率,請保留原值,列出例外並停止推論,不要猜測。最後列出這三份檔案尚不足以證明的管理結論,以及需要哪些其他檔案或人工核准。只把可驗證的內容寫成候選結論。
下一頁依原始資料核對 INV-US-2026-5004。
W02 / 規格Module 1 · 17

一筆銷售可串起三份來源。

`INV-US-2026-5004` 的產品與金額,須經主檔對照及匯率換算。

銷售列USD 23,463.20
→
產品主檔SKU-101
→
平均匯率USD/TWD 32.00
換算結果:TWD 750,822.40;每一步都應能回到原始資料。
W02 / 規格Module 1 · 18

現在由兩位查核者重走這條來源鏈。

一位查銷售列;另一位查產品主檔與匯率。共同核對 AI 的回答。

甲查原始發票
→
乙查主檔與匯率
→
共同對照 AI 回答
留下一行紀錄:來源、計算式、結果、待查核之處。
W02 / 規格Module 1 · 19

若主檔沒有產品對照,結果應如何呈現?

假設新增產品 `Apex Air Mini X`;現行主檔沒有這個名稱。

請先預測:AI 應保留缺值,還是自行選擇相近產品?
W02 / 規格Module 1 · 20

若集團內部銷售被重複計入,營收會如何改變?

台灣總部對美國子公司的三筆銷售合計 TWD 7,500,000。

請先預測:這 TWD 7,500,000 應保留何種紀錄,又應排除在哪項合計之外?
W02 / 實作Module 1 · 21

休息 15 分鐘

休息 15 分鐘;回來後檢查 AI 如何處理這兩種例外。

回來後加入台灣銷售與內部交易表,再掀開下一頁的指令。
I
W02 / 規格Module 1 · 22

第一個例外:要求 AI 處理缺少產品對照。

這筆資料是假設情境;先保留學生的預測,再掀開指令。

揭開示範指令
假設新增一筆美國銷售,Product_Description = Apex Air Mini X,Net_Sales_USD = 100。這是測試用的假設資料,原始 Excel 沒有這筆交易。請查 06_SKU_Master_Mapping.xlsx,說明能否對應 Global_SKU。

若主檔沒有對照,請保留原名稱、將 Global_SKU 標為 null,列入例外,不要猜測相近產品;也不要把這筆假設資料加入真實 Q3 合計。請指出所依據的主檔與欄位。
W02 / 規格Module 1 · 23

第二個例外:要求 AI 辨識集團內部交易。

教師再加入台灣銷售與內部交易表,檢查對外營收的邊界。

揭開示範指令
我另上傳 01_TW_Sales_Q3.xlsx 與 05_Intercompany_Trade.xlsx。請找台灣銷售 Order_ID = TW-2026Q3-1046、1047、1048,以及內部交易 Transaction_ID = IC-2026Q3-003。列出三筆未稅金額、加總及來源識別碼。

說明這些交易應如何標記、保留沖銷紀錄,並避免計入集團對外營收。若現有欄位不足以逐筆勾稽,請明確標為待人工核對,不要宣稱已完成逐筆核銷。
W02 / 規格Module 1 · 24

對照預期與實際回答,修訂一條規格。

學生指出一項可觀察的差異,再以相同情境重新檢查。

預期應如何處理
→
觀察AI 實際回應
→
修訂補一條規則
→
重查同一情境
保留修改前後的規格與回答,說明哪一條規則改變了結果。
W02 / 規格Module 1 · 25

兩個 AI 給出相同答案,能增加線索,仍不足以證明正確。

若兩者使用相同的錯誤資料或假設,一致結論可能來自共同錯誤。

模型 A產生候選答案
→
模型 B指出可能缺漏
→
原始資料重算與確認定義
→
人工審核決定是否用於管理報告
模型之間的共識,是待查核的訊號;原始證據與責任歸屬才構成驗收。

參考:NIST · AI RMF Core

W02 / 規格Module 1 · 26

多步流程的整體可靠度,取決於每一步及其相依關係。

若每步都必須成功,增加操作步數會增加整體失敗機會。

假設一個複雜的問題需要經過 \(N\) 步,且各步獨立且成功率均為 \(p\),則:

\[ \Pr(\text{全部步驟成功})=p^N \]
例:每步成功率為 95%,連續 10 步皆正確的示意機率約為 59.9%。
W02 / 規格Module 1 · 27

Context Engineering:為 AI 準備當下需要的資訊。

每次任務需要的規則、資料與工具不同;提供的內容也應跟著調整。

目標|讓 AI 看對資料

讓 AI 取得完成本次任務所需的規則、資料與工具。

方法|每次重新整理

選出適用內容、標明來源與版本;有新結果就更新。

實際效果|減少誤用

降低漏看關鍵條件、引用舊資料的機會;重要結論仍須查核。

參考:Context engineering · AnthropicHarrison Chase, 2025-06-23 · Context Engineering

W02 / 規格Module 1 · 28

區分 Policy、Case 與 Memory,避免不同資訊層級相互污染。

分別準備固定規則、當次資料與可沿用的紀錄,並檢查它們是否仍適用。

Policy|固定規則

例如 Codex 的 AGENTS.md:寫下工作邊界、核准條件與交付格式;規則改變就更新。

Case|本次資料

例如 case-brief.md 與 Q3 報表:提供當次數字、來源與日期;換案件就換資料。

Memory|可沿用的紀錄

例如 MEMORY.md 或已確認的摘要:保存決定與待辦;下次使用前先檢查是否過期。

檔名只是例子;確認本次任務實際讀到了哪些內容,並排除失效政策與無關對話。

參考:Context engineering · Anthropic

W02 / 規格Module 1 · 29

AI 會犯錯,人與程式也會;真實系統需要查錯與修正。

連基本的小數加法都可能出現不符直覺的結果;金融市場也曾因程式邊界值發生異常。

基本的小數加法

在常見浮點數運算中,\(0.1+0.2\) 可能顯示為 \(0.30000000000000004\);須明定精度與捨入方式。

金融市場的邊界值

2017 年大立光股票多次觸發盤中價格穩定措施;證交所發現程式在模擬價格超過門檻時發生溢位。

簡單運算與大型交易系統都需要測試;發現異常後還要能定位、修正並重測。

參考:Python 文件 · 浮點數限制Yahoo 股市 · 大立光熔斷案例

W02 / 規格Module 1 · 30

異常發生時,保存現場狀態才能支持事後分析。

複雜系統的錯誤可能難以重現,因此需要紀錄、隔離、修復與再測試。

控制風險暫停或限制受影響操作
→
保存狀態日誌、輸入、版本與系統快照
→
分析修復尋找觸發條件與可重現路徑
→
再測試將邊界情境加入後續驗收
系統中斷的代價必須衡量;保存證據與修復機制是降低重複失敗的條件。

參考:NIST · AI RMF CoreYahoo 股市 · 大立光熔斷案例

W02 / 規格Module 1 · 31

對話可以即時進行,但工作交接需要版本化成果。

將對話轉換為可保存、可版本化的工作成果,才能進行比較、測試與回復。

input-v1資料版本
→
spec-v1任務與限制
→
output-v1成果
→
test-logpass/fail

共同核心|表格/文件

欄位、缺值、日期、來源與核准狀態清楚即可。

進階|Schema / JSON

格式驗證有助系統串接,但格式正確不等於事實正確。

W02 / 驗收Module 1 · 32

本週成果:一頁規格、三種情境的查核與一次修正。

這份工作成果將在下週加入「主張—來源—查核狀態」。

  • 共同案例:六格規格與三種資料情境的預期/實際結果。
  • 共同案例:spec v1 → v2;指出哪個失敗促成哪項修改。
  • 個人案例:把上週想到的 workflow 轉成 personal-spec-draft;已有 W01 任務卡者直接沿用。
  • 留下一項待補的資料、規則、驗收條件或人工責任。
接下來的 AI Dessert 先問:當我們要求 AI「一定要找出三項洞察」,系統究竟會最佳化可信度,還是洞察的數量與戲劇性?
W02 / AI Dessert 02Module 1 · 33

研究問題|「一定要有三項洞察」會讓 AI 最佳化什麼?

從十份報表案例提出可檢驗的假設,再引入 Goodhart's Law 解釋機制。

研究元素十份報表案例
真正目的找到有證據、值得採取行動的異常
容易衡量的替代指標是否交出三項洞察、是否完成一頁摘要
可檢驗假設缺乏充分證據時,AI 仍可能湊足三項並提高語氣確定性
可觀察結果無來源結論、誇大嚴重性、隱藏例外或過早提出行動
這不只是「模型會不會幻覺」;也可能是我們把錯誤的替代指標寫進工作要求。
W02 / AI Dessert 02Module 1 · 34

原始觀察|Goodhart 從貨幣政策發現了什麼?

過去可用來觀察系統的統計關係,被拿來控制系統後,參與者會改變行為。

Observe發現一段看似穩定的統計關係
→
Set a target將其中一個指標設為控制目標
→
Adapt銀行、企業與市場參與者改變行為
→
Relation changes原本的關係可能失效
控制壓力本身,可能改變你原本拿來建模的系統。

參考:Goodhart, 1975 · Problems of Monetary ManagementRBA · Goodhart 1975 rule-of-thumb

W02 / AI Dessert 02Module 1 · 35

作用機制|Proxy 何時不再代表真正目標?

令 \(U(x)\) 表示真正價值,\(M(x)\) 表示可觀察的替代指標;在一般情境中兩者可能近似,但最佳化會把系統推向非典型區域。

\[ M(x)\approx U(x) \] \[ x^\star=\arg\max_x M(x) \quad\text{但可能}\quad M(x^\star)\not\approx U(x^\star) \]
指標本身沒有突然變錯;問題出在系統被推向「指標很高、真正價值卻未同步提高」的位置。
W02 / AI Dessert 02Module 1 · 36

案例分析|這個機制在十份報表中會留下哪些跡象?

從理論推出可觀察預測,再回頭檢查第一次 AI 輸出是否出現相同行為。

真正目標簡化的 Proxy可能出現的錯誤
找到重要異常一定產出三項洞察為了湊數而放大不顯著的差異
完成合併報告每一列都有值缺少 SKU 對照時自行猜測
提供明確建議結論語氣確定隱藏資料限制,將候選解釋寫成事實
提高自動化率不得中途停止沖銷失敗仍繼續計算,或越過人工核准
如果 AI 為了湊滿三項洞察而誇大差異,就在規格中允許少於三項,並測試它是否會遵守。
W02 / AI Dessert 02Module 1 · 37

設計含義|不要只指定目標,也要定義失敗與停止條件。

W03 將用客服 AI 上線案例,檢查找回的文件是否最新、完整,且足以支持決策。

Objective真正要改善的結果
→
Constraints不得跨越的限制
→
Adversarial tests刻意測試缺值、矛盾與投機行為
→
Human approval由人承擔高風險決定
Goodhart's Law 在 W02 的用途,是提醒我們:可驗收不只是把成功寫成數字,也要讓猜測、湊數、隱藏例外與越權行動明確失敗。

參考:Goodhart, 1975 · Problems of Monetary Management

講者提示

Module 1 導覽正式課程入口
投影片總覽