GM815 / Module 12026-09-16

從 ChatGPT 到 AI 系統:
資料、工具、控制與責任

理解 AI 系統:從營運案例區分資料、計算、推論與管理決策。

盧政良 助理教授財金學群 / 元智大學管理學院
W01 / 系統Module 1 · 02

假設下午要開月度營運會議。

主管只有幾分鐘準備時間,希望先知道哪些變化值得進一步追查。

產品線7 月營收(萬元)8 月營收(萬元)8 月毛利率
A1,2001,35031%
B98087018%
C76092027%
W01 / 系統Module 1 · 03

在引入 AI 之前,先界定這份資料能支持哪些結論。

先區分資料已經提供的事實,以及仍需要額外資訊才能回答的問題。

資料可以直接支持

A、B、C 三條產品線的 7 月與 8 月營收;三條產品線的 8 月毛利率;B 的 8 月營收低於 7 月。

目前資料尚不能回答

B 為什麼下降;18% 的毛利率是否比過去惡化;是否應調整庫存、人力或預算。

W01 / 系統Module 1 · 04

營收變動率屬於可確定、可重算的計算。

這類工作應優先使用計算器、試算表或程式,而不是依賴模型生成數值。

\[ g_t=\frac{R_t-R_{t-1}}{R_{t-1}} \]
產品線計算月營收變動率
A(1,350 − 1,200) / 1,20012.5%
B(870 − 980) / 980約 −11.2%
C(920 − 760) / 760約 21.1%
到這裡為止,我們得到的是「計算結果」,不是「原因解釋」。
W01 / 系統Module 1 · 05

接著讓 AI 產生一份會議摘要。

使用相同資料,觀察模型如何從數字走向文字。

以下為教學虛構的月度營運資料,金額單位為萬元:

產品線 A:7 月營收 1,200;8 月營收 1,350;8 月毛利率 31%。
產品線 B:7 月營收 980;8 月營收 870;8 月毛利率 18%。
產品線 C:7 月營收 760;8 月營收 920;8 月毛利率 27%。

請:
1. 計算三條產品線的月營收變動率。
2. 描述資料中最值得主管關注的變化。
3. 整理成三點營運會議摘要。

只依上述資料回答。資料不足處請明確標示。
W01 / 系統Module 1 · 06

一個看起來合理的回答,可能同時包含三種不同性質的主張。

文字流暢不代表每一句話都具有相同的證據基礎。

「產品線 B 的營收下降約 11.2%,主要原因是市場需求轉弱,因此建議下調下月庫存。」

這一句話讀起來很連續,但實際上跨越了三個不同層次:計算結果、原因推論與管理建議。

W01 / 系統Module 1 · 07

第一句可以由資料支持:B 的營收下降約 11.2%。

這是一項可重算、可覆核的數值主張。

\[ \frac{870-980}{980}\approx -11.2\% \]
  • 確認資料期間與單位。
  • 重新計算。
  • 確認沒有使用錯誤欄位或基準期。
W01 / 系統Module 1 · 08

第二句不能由目前資料支持:我們不知道營收下降的原因。

「市場需求轉弱」是一個可能的解釋,但不是目前資料已證明的事實。

  • 訂單量與取消率。
  • 客戶數與客戶流失。
  • 價格或促銷變動。
  • 通路流量。
  • 競爭者與市場資料。
原始表格只顯示「結果發生了」,沒有提供「為什麼發生」。
W01 / 系統Module 1 · 09

第三句又跨了一層:是否調整庫存是一項管理決策。

即使已經知道營收下降,也不代表可以直接推出庫存政策。

  • 現有庫存與安全庫存。
  • 需求預測與服務水準。
  • 補貨時間與補貨成本。
  • 缺貨風險。
  • 產品生命週期與管理策略。
從「發生什麼」到「為什麼發生」,再到「應該做什麼」,需要不同層次的證據。
W01 / 系統Module 1 · 10

同一段文字中,其實跨越了三個不同的推理層次。

對管理者而言,重要的不是句子是否順暢,而是每一個主張目前位於哪一層。

層次本案例需要的支持
Observation / CalculationB 營收下降約 11.2%原始資料與可重算計算
Inference需求轉弱造成下降能支持原因判斷的額外資料
Decision下調庫存目標、限制、風險與管理責任
AI 可以在幾秒內把三層寫成同一段話;管理流程不能因此把三層視為同一件事。
W01 / 系統Module 1 · 11

因此,真正的問題不是「Prompt 要怎麼寫」。

更根本的問題是:系統如何知道哪些內容可直接計算、哪些需要證據、哪些必須由人核准。

只使用聊天介面

模型根據本次 Context 產生文字,但資料來源、計算方式、證據要求與核准責任未必被明確分離。

納入工作系統

資料來源可以被指定;確定性運算可以交給計算工具;模型負責整理與生成;原因推論要求證據;管理行動保留人工核准。

W01 / 系統Module 1 · 12

把案例改寫成流程後,AI 的角色會清楚很多。

同一個模型,放在不同的工作流程中,可靠性與可管理性可以完全不同。

取得資料指定期間、版本與欄位定義
→
獨立計算月增率與其他可確定指標
→
形成摘要區分事實、推論與未知
→
補充證據需要原因判斷時再取得相關資料
→
人工核准才形成管理建議或外部行動
AI 系統的設計重點,不只是生成答案,而是安排資訊、計算、驗證與責任的順序。
W01 / 系統Module 1 · 13

這就是「模型」與「AI 系統」的差別。

模型提供生成與推論能力;AI 系統還包含資料、工具、控制與責任機制。

系統構成在營運案例中的角色
Human定義工作目的、判斷風險、核准管理行動
Data / Context提供本次分析所需的公司資料與規則
Model產生摘要、整理資訊、提出候選解釋
Tools搜尋、計算、查詢資料庫或執行外部操作
可保存的工作成果 (artifact)留下可交接、可查核、可版本化的成果
模型能力很重要,但系統可靠性不能只靠模型能力。
W01 / 系統Module 1 · 14

「AI 知道」這句話通常不夠精確。

必須追問資訊是從哪裡進入系統,以及本次推論是否真的能使用。

資訊來源性質管理上要問
Training / post-training模型參數中的既有能力與行為是否適用目前公司與目前時間?
Context at inference本次提供的指令、文件、對話、工具結果是否有版本、日期與來源?
Application memory應用保存後,再選擇提供給模型的資訊是否真的載入?是否過期?
把文件貼進對話,通常是在改變 context,不是在重新訓練模型。
W01 / 系統Module 1 · 15

有些事情適合交給語言模型,有些事情不應只靠語言模型。

搜尋、計算與執行動作是三種不同的系統能力。

Search / Retrieval

取得外部或內部資訊,並檢查來源、日期與適用範圍。

Compute

使用計算器、Excel 或程式碼處理可確定、可重算的運算。

Act

寄信、更新資料、下單或改變系統狀態;另行處理權限、紀錄、回復與核准。

模型聲稱「已查詢」、「已計算」或「已執行」,本身不是完成證據。
W01 / 系統Module 1 · 16

如果主管接著問:「B 為什麼下降?」系統應該先補資料,而不是增加語氣上的確定性。

若要回答原因問題,下一步應增加能支持原因判斷的證據。

下一步最能降低推論風險的是?

W01 / 系統Module 1 · 17

如果工作必須重複執行,首先要決定「下一步由誰控制」。

Chatbot、Workflow 與 Agent 可以視為不同的 control architecture;把這些控制規則實作成可執行環境,是 harness engineering 的核心工作之一。

架構下一步主要由誰決定適合情境
Chatbot人持續提出下一個要求探索、草稿、一次性協作
Workflow預先定義的流程與條件規則清楚、需重跑、需稽核
Agent模型依觀察選擇下一個動作路徑不固定,但工具與邊界可定義
Control architecture 是 harness engineering 的一部分;harness 把控制、狀態、工具、驗證與回復機制組成 agent 的執行環境。

參考:Workflows and agents · AnthropicOpenAI, 2026-02-11 · Harness Engineering

W01 / 系統Module 1 · 18

AI 工程名詞的時間軸:工程責任持續往模型外部擴張。

時間軸依公開論文與文章的日期排列;名詞的出現順序不等於概念的包含關係。

2021-02

Prompt Programming

控制單次模型呼叫

2022-10

ReAct / Agent Loop

Reason → Act → Observe

2024-01

Graph / LangGraph

循環、分支與 orchestration

2025-06

Context Engineering

組裝每次呼叫需要的資訊與工具

2026-02

Harness Engineering

建立 agent 的執行環境與驗證機制

2026-06

Loop Engineering

讓外層系統反覆觸發、檢查與停止

從 Prompt 到 Harness,工程邊界逐步向外擴張;Graph 描述的是 control flow 的結構,而不是「最後一代」。

參考:Reynolds & McDonell, 2021 · Prompt ProgrammingYao et al., 2022 · ReActLangGraph · 2024-01-17Harrison Chase, 2025-06-23 · Context EngineeringOpenAI, 2026-02-11 · Harness EngineeringAddy Osmani, 2026-06-07 · Loop Engineering

W01 / 系統Module 1 · 19

同一條時間軸,用表格保留每個名詞的工程意義。

這張表作為細節參考;課堂講解聚焦「工程責任向哪裡移動」。

時間名稱工程焦點
2021-02Prompt Programming任務、範例與輸出格式如何進入一次模型呼叫
2022-10ReAct / Agent Loop模型如何在 Reason、Act、Observe 之間反覆執行
2024-01LangGraph如何表示循環、分支、狀態與多 Agent orchestration
2025-06Context Engineering每次呼叫應取得哪些指令、資料、記憶與工具
2026-02Harness Engineering如何建立 state、tools、permissions、verification、observability 與 recovery
2026-06Loop Engineering如何由外層系統觸發下一輪、驗證結果、停止或升級給人

參考:Reynolds & McDonell, 2021 · Prompt ProgrammingYao et al., 2022 · ReActLangGraph · 2024-01-17Harrison Chase, 2025-06-23 · Context EngineeringOpenAI, 2026-02-11 · Harness EngineeringAddy Osmani, 2026-06-07 · Loop Engineering

W01 / 驗收Module 1 · 20

課堂實作(1/2):選一項重複工作,畫出最小 AI 執行流程。

先用 5 分鐘完成流程骨架;只需要回答資料從哪裡進來、AI 做什麼、何時使用工具、留下什麼成果,以及誰負責最後核准。

Input / Data工作從哪些資料開始?
→
ModelAI 負責哪一步?
→
Tools哪一步需要搜尋、計算、資料庫或外部系統?
→
工作成果最後留下什麼可交接成果?
→
Human / Approval哪一步由人判斷或授權?
先完成最小流程,再到下一頁標記驗證與責任節點。
W01 / 驗收Module 1 · 21

課堂實作(2/2):在流程圖上標記三個驗證與責任節點。

再用 5 分鐘檢查流程;三個標記會直接成為後續自動化設計的控制點。

可驗證結果

圈出一項可以獨立重算、查證或以規則驗收的結果。

需要額外證據的推論

圈出一項目前資料不足以直接支持、需要新增證據才能成立的判斷。

需要人工核准的動作

圈出一項會改變外部狀態、影響他人或產生管理責任的行動。

完成條件:另一位同學只看這張圖,就能說明資料來源、AI 角色、驗證方式與責任邊界。
W01 / 實作Module 1 · 22

休息 15 分鐘

休息後,先由同儕嘗試接手,再檢查任務描述是否足夠。

下一段:一份工作要如何被另一個人理解、接手與驗收?
I
W01 / 驗收Module 1 · 23

交換流程圖:請另一位同學只依圖面復述這項工作。

3 分鐘;原作者先不補充說明,接手者依序說出資料來源、AI 的工作、工具使用、輸出成果與人工核准位置。

Input / Data工作從哪些資料開始?
→
ModelAI 負責哪一步?
→
Tools哪一步需要外部能力?
→
工作成果最後留下什麼成果?
→
Human / Approval哪一步由人判斷或授權?
接手者若無法只依圖面復述某一步,就在該位置標記一個資訊缺口。
W01 / 驗收Module 1 · 24

用五個問題檢查這項 AI 工作是否具備自動化的基本條件。

對照剛才的流程圖逐項檢查;任何一題無法明確回答,就把缺少的資訊補回流程圖。

  • 資料:這個任務需要使用哪些資料?資料來源、期間與版本是否明確?
  • 計算:哪些結果可以獨立驗算?哪些運算應交由可重算的工具處理?
  • 推論:目前的資料與分析可以支持哪些結論?哪些判斷仍需要額外證據?
  • 工具:哪些步驟需要搜尋、計算、資料庫或其他外部系統?
  • 責任:誰負責驗證結果?誰有權核准成果被採用或執行?
W01 / AI Dessert 01Module 1 · 25

AI Dessert 01|如果只是預測下一個 token,為什麼會如此強大?

從一個非常簡單的猜字遊戲開始,回到 Claude Shannon 對語言可預測性的研究。

THE SKY IS BL__
大多數人都能立即猜到下一個字母。真正的問題是:前文究竟提供了什麼資訊,使下一步變得容易預測?

參考:Shannon, 1951 · Prediction and Entropy of Printed English

W01 / AI Dessert 01Module 1 · 26

前文越有資訊,下一步的可能性通常越集中。

語言不是獨立隨機字元的集合;拼字、句法、語意與語境都在限制下一步。

\[ P(x_t\mid x_{<t}) \]

前文不足

許多下一個符號都可能合理,機率分布較分散。

前文增加

不合理的候選逐步被排除,機率分布開始集中。

Prediction 在這裡不是「憑空猜測」,而是利用 Context 中已經存在的結構。

參考:Shannon, 1951 · Prediction and Entropy of Printed English

W01 / AI Dessert 01Module 1 · 27

Shannon 的關鍵貢獻,是把「剩下多少不確定性」變成可以計算的量。

低機率事件發生時帶來較多新資訊;entropy 則描述平均仍剩多少不確定性。

\[ I(x)=-\log_2 P(x), \qquad H(X)=\mathbb{E}\left[I(X)\right] \]
  • 機率為 1/2 的事件,發生時帶來 1 bit 的資訊。
  • 機率為 1/4 的事件,發生時帶來 2 bits 的資訊。
  • 越容易被預測的內容,真正出現時提供的新資訊越少。

參考:Shannon, 1948 · A Mathematical Theory of Communication

W01 / AI Dessert 01Module 1 · 28

1951 年,Shannon 用「猜下一個字母」證明語言具有大量可利用的結構。

前文越長,人類通常越容易排除不合理的下一步;這反映了自然語言中的 redundancy。

Prediction

利用前文,使下一個符號的機率集中在少數候選。

Compression

越可預測的內容,平均需要傳遞的新資訊越少。

可預測性與可壓縮性都來自同一件事:資料不是毫無結構的亂數。

參考:Shannon, 1951 · Prediction and Entropy of Printed English

W01 / AI Dessert 01Module 1 · 29

現代自回歸語言模型,把同一類預測問題擴大到了前所未有的規模。

模型反覆根據前文估計下一個 token;改變的是模型表示能力、資料規模與訓練方法。

\[ P(x_{1:T}) = \prod_{t=1}^{T} P(x_t\mid x_{<t}) \]
值得注意的不是「預測其實不重要」,而是:要把預測做得非常好,模型必須掌握大量語言與世界結構。

參考:Brown et al., 2020Vaswani et al., 2017

W01 / AI Dessert 01Module 1 · 30

但高機率的文字仍然不等於已被外部世界驗證。

這也是為什麼我們在正課中需要資料來源、計算工具、額外證據與人工核准。

Prediction根據 context 產生高機率的下一個 token
→
Verification以外部來源、計算或工具結果查核主張
高機率接續不代表外部事實已經查證。

回到營運案例:

主張目前需要的支持
B 營收下降約 11.2%可以由資料與計算驗證
需求轉弱造成下降需要額外證據
因此應下調庫存需要管理目標、限制條件與核准責任
下一週將把這種判斷正式寫成可執行、可測試、可交接的規格。
W01 / 補充材料Module 1 · 31

W01 補充材料|Shannon、Entropy 與大型語言模型

以下影片供課後延伸觀看;正課內容以本週案例與 AI Dessert 的概念主線為準。

講者提示

Module 1 導覽正式課程入口
投影片總覽