資料可以直接支持
A、B、C 三條產品線的 7 月與 8 月營收;三條產品線的 8 月毛利率;B 的 8 月營收低於 7 月。
理解 AI 系統:從營運案例區分資料、計算、推論與管理決策。
主管只有幾分鐘準備時間,希望先知道哪些變化值得進一步追查。
| 產品線 | 7 月營收(萬元) | 8 月營收(萬元) | 8 月毛利率 |
|---|---|---|---|
| A | 1,200 | 1,350 | 31% |
| B | 980 | 870 | 18% |
| C | 760 | 920 | 27% |
先區分資料已經提供的事實,以及仍需要額外資訊才能回答的問題。
A、B、C 三條產品線的 7 月與 8 月營收;三條產品線的 8 月毛利率;B 的 8 月營收低於 7 月。
B 為什麼下降;18% 的毛利率是否比過去惡化;是否應調整庫存、人力或預算。
這類工作應優先使用計算器、試算表或程式,而不是依賴模型生成數值。
| 產品線 | 計算 | 月營收變動率 |
|---|---|---|
| A | (1,350 − 1,200) / 1,200 | 12.5% |
| B | (870 − 980) / 980 | 約 −11.2% |
| C | (920 − 760) / 760 | 約 21.1% |
使用相同資料,觀察模型如何從數字走向文字。
以下為教學虛構的月度營運資料,金額單位為萬元: 產品線 A:7 月營收 1,200;8 月營收 1,350;8 月毛利率 31%。 產品線 B:7 月營收 980;8 月營收 870;8 月毛利率 18%。 產品線 C:7 月營收 760;8 月營收 920;8 月毛利率 27%。 請: 1. 計算三條產品線的月營收變動率。 2. 描述資料中最值得主管關注的變化。 3. 整理成三點營運會議摘要。 只依上述資料回答。資料不足處請明確標示。
文字流暢不代表每一句話都具有相同的證據基礎。
這一句話讀起來很連續,但實際上跨越了三個不同層次:計算結果、原因推論與管理建議。
這是一項可重算、可覆核的數值主張。
「市場需求轉弱」是一個可能的解釋,但不是目前資料已證明的事實。
即使已經知道營收下降,也不代表可以直接推出庫存政策。
對管理者而言,重要的不是句子是否順暢,而是每一個主張目前位於哪一層。
| 層次 | 本案例 | 需要的支持 |
|---|---|---|
| Observation / Calculation | B 營收下降約 11.2% | 原始資料與可重算計算 |
| Inference | 需求轉弱造成下降 | 能支持原因判斷的額外資料 |
| Decision | 下調庫存 | 目標、限制、風險與管理責任 |
更根本的問題是:系統如何知道哪些內容可直接計算、哪些需要證據、哪些必須由人核准。
模型根據本次 Context 產生文字,但資料來源、計算方式、證據要求與核准責任未必被明確分離。
資料來源可以被指定;確定性運算可以交給計算工具;模型負責整理與生成;原因推論要求證據;管理行動保留人工核准。
同一個模型,放在不同的工作流程中,可靠性與可管理性可以完全不同。
模型提供生成與推論能力;AI 系統還包含資料、工具、控制與責任機制。
| 系統構成 | 在營運案例中的角色 |
|---|---|
| Human | 定義工作目的、判斷風險、核准管理行動 |
| Data / Context | 提供本次分析所需的公司資料與規則 |
| Model | 產生摘要、整理資訊、提出候選解釋 |
| Tools | 搜尋、計算、查詢資料庫或執行外部操作 |
| 可保存的工作成果 (artifact) | 留下可交接、可查核、可版本化的成果 |
必須追問資訊是從哪裡進入系統,以及本次推論是否真的能使用。
| 資訊來源 | 性質 | 管理上要問 |
|---|---|---|
| Training / post-training | 模型參數中的既有能力與行為 | 是否適用目前公司與目前時間? |
| Context at inference | 本次提供的指令、文件、對話、工具結果 | 是否有版本、日期與來源? |
| Application memory | 應用保存後,再選擇提供給模型的資訊 | 是否真的載入?是否過期? |
搜尋、計算與執行動作是三種不同的系統能力。
取得外部或內部資訊,並檢查來源、日期與適用範圍。
使用計算器、Excel 或程式碼處理可確定、可重算的運算。
寄信、更新資料、下單或改變系統狀態;另行處理權限、紀錄、回復與核准。
若要回答原因問題,下一步應增加能支持原因判斷的證據。
下一步最能降低推論風險的是?
Chatbot、Workflow 與 Agent 可以視為不同的 control architecture;把這些控制規則實作成可執行環境,是 harness engineering 的核心工作之一。
| 架構 | 下一步主要由誰決定 | 適合情境 |
|---|---|---|
| Chatbot | 人持續提出下一個要求 | 探索、草稿、一次性協作 |
| Workflow | 預先定義的流程與條件 | 規則清楚、需重跑、需稽核 |
| Agent | 模型依觀察選擇下一個動作 | 路徑不固定,但工具與邊界可定義 |
參考:Workflows and agents · AnthropicOpenAI, 2026-02-11 · Harness Engineering
時間軸依公開論文與文章的日期排列;名詞的出現順序不等於概念的包含關係。
控制單次模型呼叫
Reason → Act → Observe
循環、分支與 orchestration
組裝每次呼叫需要的資訊與工具
建立 agent 的執行環境與驗證機制
讓外層系統反覆觸發、檢查與停止
參考:Reynolds & McDonell, 2021 · Prompt ProgrammingYao et al., 2022 · ReActLangGraph · 2024-01-17Harrison Chase, 2025-06-23 · Context EngineeringOpenAI, 2026-02-11 · Harness EngineeringAddy Osmani, 2026-06-07 · Loop Engineering
這張表作為細節參考;課堂講解聚焦「工程責任向哪裡移動」。
| 時間 | 名稱 | 工程焦點 |
|---|---|---|
| 2021-02 | Prompt Programming | 任務、範例與輸出格式如何進入一次模型呼叫 |
| 2022-10 | ReAct / Agent Loop | 模型如何在 Reason、Act、Observe 之間反覆執行 |
| 2024-01 | LangGraph | 如何表示循環、分支、狀態與多 Agent orchestration |
| 2025-06 | Context Engineering | 每次呼叫應取得哪些指令、資料、記憶與工具 |
| 2026-02 | Harness Engineering | 如何建立 state、tools、permissions、verification、observability 與 recovery |
| 2026-06 | Loop Engineering | 如何由外層系統觸發下一輪、驗證結果、停止或升級給人 |
參考:Reynolds & McDonell, 2021 · Prompt ProgrammingYao et al., 2022 · ReActLangGraph · 2024-01-17Harrison Chase, 2025-06-23 · Context EngineeringOpenAI, 2026-02-11 · Harness EngineeringAddy Osmani, 2026-06-07 · Loop Engineering
先用 5 分鐘完成流程骨架;只需要回答資料從哪裡進來、AI 做什麼、何時使用工具、留下什麼成果,以及誰負責最後核准。
再用 5 分鐘檢查流程;三個標記會直接成為後續自動化設計的控制點。
圈出一項可以獨立重算、查證或以規則驗收的結果。
圈出一項目前資料不足以直接支持、需要新增證據才能成立的判斷。
圈出一項會改變外部狀態、影響他人或產生管理責任的行動。
休息後,先由同儕嘗試接手,再檢查任務描述是否足夠。
3 分鐘;原作者先不補充說明,接手者依序說出資料來源、AI 的工作、工具使用、輸出成果與人工核准位置。
對照剛才的流程圖逐項檢查;任何一題無法明確回答,就把缺少的資訊補回流程圖。
從一個非常簡單的猜字遊戲開始,回到 Claude Shannon 對語言可預測性的研究。
THE SKY IS BL__參考:Shannon, 1951 · Prediction and Entropy of Printed English
語言不是獨立隨機字元的集合;拼字、句法、語意與語境都在限制下一步。
許多下一個符號都可能合理,機率分布較分散。
不合理的候選逐步被排除,機率分布開始集中。
參考:Shannon, 1951 · Prediction and Entropy of Printed English
低機率事件發生時帶來較多新資訊;entropy 則描述平均仍剩多少不確定性。
前文越長,人類通常越容易排除不合理的下一步;這反映了自然語言中的 redundancy。
利用前文,使下一個符號的機率集中在少數候選。
越可預測的內容,平均需要傳遞的新資訊越少。
參考:Shannon, 1951 · Prediction and Entropy of Printed English
模型反覆根據前文估計下一個 token;改變的是模型表示能力、資料規模與訓練方法。
這也是為什麼我們在正課中需要資料來源、計算工具、額外證據與人工核准。
回到營運案例:
| 主張 | 目前需要的支持 |
|---|---|
| B 營收下降約 11.2% | 可以由資料與計算驗證 |
| 需求轉弱造成下降 | 需要額外證據 |
| 因此應下調庫存 | 需要管理目標、限制條件與核准責任 |
以下影片供課後延伸觀看;正課內容以本週案例與 AI Dessert 的概念主線為準。