GM815 / Module 12026-09-30

從文件問答到查證:
AI 的回答有根據嗎?

案例:客服 AI 能否在 10 月 15 日對外上線?

盧政良 助理教授財金學群 / 元智大學管理學院
W03 / 案例Module 1 · 02

研究問題|10 月 15 日能否對外推出客服 AI?

澄岳數位服務的提案寫著「預定推出」;營運主管需要的是目前可執行的決定。

計畫

產品團隊原訂 10 月 15 日公開推出。

決定

營運主管今天必須決定是否維持對外上線。

同一句「可以上線」,可能是在轉述舊計畫,也可能是在宣告已核准的行動。
W03 / 案例Module 1 · 03

案例材料|五份文件在不同日期說了不同的事。

文件的時間、用途與決策權限不同;較早的計畫不能取代較晚的核准紀錄。

文件日期主要內容
A 上線提案9 月 12 日目標:10 月 15 日公開推出
B 舊版問答9 月 15 日重述原定上線日期
C 品質測試9 月 25 日40 筆測試中有 4 筆重大錯誤,尚未結案
D 退款規則9 月 26 日高額或爭議退款須人工審核
E 上線會議9 月 28 日10 月 15 日改為內部試行;對外上線待重測與核准
下載五份案例文件 ZIP · 線上閱讀。本案全部資料均為教學虛構。
W03 / 案例Module 1 · 04

只讀舊文件,AI 可能把原定日期誤當成核准結果。

漏掉後來的品質測試與上線會議,主管就可能收到「依原定時程公開推出」的錯誤建議。

「公司已規劃於 10 月 15 日公開推出客服 AI;產品文件與常見問答一致,建議依原定時程對外發布。」
W03 / 案例Module 1 · 05

9 月 28 日的會議,改變了這個答案的意思。

管理判斷必須以最新且有決策權的文件為依據。

原定10 月 15 日公開推出
→
測試4 筆重大錯誤尚未結案
→
決定改為內部試行
→
條件重測合格並取得營運與法務核准後,另定公開日期
先前的「計畫」與現在的「授權」是兩種不同資訊。
W03 / 案例Module 1 · 06

AI 要解決的問題,是把分散文件整理成可行的決策摘要。

好的輸出應同時回答目前狀態、改變決定的證據,以及下一個核准點。

管理問題摘要應回答
今天能做什麼?10 月 15 日可進行受控內部試行;目前不得公開推出
為何改變?重大錯誤尚未結案;高額或爭議退款須人工審核;最新會議已修改原計畫
何時再決定?重測通過,並取得營運與法務核准後重議公開日期
W03 / 案例Module 1 · 07

Gemini Notebook 示範|五份文件分開放,問一個上線問題。

下載並解壓縮五份文件,建立筆記本並一次上傳 A–E;提問後點開引用,核對文件日期與決策權限。

揭開示範指令
你是營運主管的研究助理。請只根據我提供的五份虛構案例文件,回答:「10 月 15 日能否對外推出客服 AI?」

請用三句話依序寫出:一、目前可以執行的決定;二、判斷依據:品質測試、退款規則與正式會議決定;三、下一個必須完成的測試與核准。每句標明所依據的文件與日期,區分「原定計畫」「測試結果」與「正式會議決定」。若文件沒有核准,不要推定已核准。40 筆測試的結果只可描述為本次測試,不要推論為所有客服對話的錯誤率。
W03 / 案例Module 1 · 08

可交付的三句摘要,保留決策條件。

這是課堂預備的參考答案;現場 AI 回答應與案例文件逐項比對。

目前狀態

依 E(9 月 28 日會議),10 月 15 日僅受控內部試行;公開推出尚未核准。

關鍵原因

C(9 月 25 日)的 4 筆重大錯誤尚未結案;D(9 月 26 日)規定高額或爭議退款須人工審核。

下一步

依 E(9 月 28 日),完成修正與重測,取得營運、法務核准後,才能另定對外日期。

W03 / 案例Module 1 · 09

管理結論|AI 可以縮短閱讀時間,不能產生不存在的核准。

主管仍需確認測試是否結案,以及有權核准的人是否作出決定。

即使文字完整且引用正確,「建議上線」也不能變成「已核准上線」。
W03 / 案例Module 1 · 10

五份文件可以直接交給 AI;文件庫變大時,需要先找再答。

檢索增強生成先從外部資料選出相關內容,再提供給生成模型。

問題能否公開推出?
→
找資料取回測試、規則與最新會議決定
→
形成回答把相關片段提供給模型
→
人工決定確認風險與核准責任

參考:RAG · Lewis et al., 2020

W03 / 案例Module 1 · 11

RAG 分兩個階段:準備可查的文件,提問時再找資料回答。

文件先形成索引;收到問題後,系統找出相關片段,連同問題交給語言模型。

事先準備文件 → 切段與標記 → 可檢索索引
索引提供檢索依據 ↓
收到問題問題 → 檢索相關片段 → 問題與片段交給 LLM → 有引用的回答
索引若仍把舊版問答當成現行決定,後面的模型無法憑空找回正確資訊。

參考:RAG · Lewis et al., 2020Google Cloud · RAG 資料匯入與查詢架構

W03 / 案例Module 1 · 12

RAG 像開卷考;fine-tuning 像考前受訓。

兩者改變的是不同位置:RAG 在回答時提供外部資料;fine-tuning 用訓練資料調整模型參數。

方法成本與優點主要難點
RAG不重訓 LLM;起步與文件更新成本較低,回答可連回來源如何切出保留完整條件的片段(chunk),並找對版本
Fine-tuning可改善固定任務的表現與回答方式訓練資料、費用與時間成本較高;文件更新後可能要再訓練
文件會更新的問答:先驗收夠強的 LLM + RAG;若仍需穩定特定回答方式,再評估 fine-tuning。

參考:Microsoft 選用指引

參考:Google Cloud · RAG 與 fine-tuning 的比較Microsoft Learn · RAG、fine-tuning 與檢索品質

W03 / 案例Module 1 · 13

資料準備|讓每一段文字帶著來源與日期進入索引。

系統必須知道「這段話來自哪份文件、何時有效、能否被這位使用者看到」。

文件A 至 E 的原文
→
切段保留一句話所需條件
→
標記日期、版本、權限、來源
→
索引讓系統可找到候選內容

參考:Google Cloud · RAG 資料匯入與查詢架構

W03 / 案例Module 1 · 14

問題處理|找對文件後,模型仍可能錯讀。

檢索結果是候選證據,不會自動變成正確的管理結論。

提問10 月 15 日能否公開推出?
→
檢索找到 B、C、E 等候選片段
→
生成用片段撰寫三句摘要
→
查核對照日期與核准條件

參考:Google Cloud · RAG 資料匯入與查詢架構

W03 / 實作Module 1 · 15

休息 15 分鐘

回來後拆解三個難點:找到的文件是否適用、切段是否保留條件、取回多少才夠。

I
W03 / 案例Module 1 · 16

難點 1|語意相近,並不表示文件適用於今天的決定。

舊版問答的措辭與問題最像,卻缺少後來的測試與會議決議。

系統看到的訊號能協助回答仍須另外判斷
文字相似哪段內容值得先看是否為最新決定
文件日期哪份資訊較新新文件是否具有決策權
文件角色提案、測試或會議紀錄能否據此採取行動

參考:Dense Passage Retrieval · Karpukhin et al., 2020

W03 / 案例Module 1 · 17

難點 2|切段若切斷限制條件,正確文件也可能被錯讀。

「內部試行」與「對外推出待核准」必須留在可一起理解的語境裡。

片段過短

「10 月 15 日開始試行。」

保留條件

「10 月 15 日僅限內部試行;公開推出須待重大錯誤重測及營運、法務核准。」

參考:Google Cloud · RAG 資料匯入與查詢架構

W03 / 案例Module 1 · 18

難點 3|取回更多文件,可能找齊證據,也可能增加舊資訊。

先找齊 C、D、E,再處理 A、B 的歷史計畫;取回數量本身不是成功標準。

固定排序:B 舊版問答 → E 上線會議 → C 品質測試 → D 退款規則 → A 上線提案。

參考:Stanford 資訊檢索教材 · 精確率與召回率

W03 / 案例Module 1 · 19

檢索評估|精確率與召回率。

精確率(Precision)描述取回資料中被判定為本題必要文件的比例;召回率(Recall)描述必要資料被找齊的比例。

\[ \begin{aligned} \text{Precision} &= \frac{|\text{取回文件}\cap\text{必要文件}|}{|\text{取回文件}|} = \frac{3}{4} \\ \text{Recall} &= \frac{|\text{取回文件}\cap\text{必要文件}|}{|\text{必要文件}|} = \frac{3}{3} \end{aligned} \]
本案必要文件為 C、D、E;取回前四份為 B、E、C、D。找得準與找得全,仍不等於模型一定讀對或主管已完成核准。

參考:Stanford 資訊檢索教材 · 精確率與召回率

W03 / 案例Module 1 · 20

同一段回答,可從四個位置產生錯誤。

把失敗定位在文件、檢索、生成或核准,才能選對修正方法。

位置本案可能的錯誤修正方式
文件與索引舊版問答被當成現行決定標記版本與日期
檢索漏掉 E 上線會議改善候選排序與覆蓋
生成把內部試行寫成公開推出保留完整條件與來源
核准未獲同意就執行對外發布設定人工核准點
找錯資料與憑空捏造,須分別修正資料流程與生成規則。

參考:Google Cloud · RAG 資料匯入與查詢架構

W03 / 案例Module 1 · 21

管理驗收|一頁摘要應讓主管看見決定、證據與責任。

此處的查核服務於上線決策,不另設繁複的課堂工作表。

決定內部試行;公開推出暫緩
→
證據C 的未結案錯誤與 E 的正式決議
→
責任品質重測、營運與法務核准
找到最新會議紀錄有助於判斷;對外上線仍須由營運與法務核准。
W03 / AI Dessert 03Module 1 · 22

理論延伸|預警器有 90% 辨識能力,警報能信幾成?

另設一組與前述 40 筆測試無關的假設:1,000 筆高風險退款回答中,10% 真有重大錯誤;預警器抓錯與排除正常的能力均為 90%。

先寫下你的估計值:警報響起時,真正有重大錯誤的比例是多少?
W03 / AI Dessert 03Module 1 · 23

先數一遍:真警報 90 筆,誤報也是 90 筆。

真正出錯的回答只有 100 筆;正常回答有 900 筆,因此兩邊各產生 90 筆警報。

真實狀態數量響起警報
重大錯誤10090
正常回答90090
合計警報180
W03 / AI Dessert 03Module 1 · 24

警報的管理價值,取決於錯誤原本有多常發生。

即使預警器抓錯與排除正常的能力都達 90%,本例每兩次警報仍有一次是誤報。

\[ \Pr(\text{重大錯誤}\mid\text{警報}) = \frac{90}{90+90} = 50\% \]
AI 的警報可以安排優先檢查;是否停用或上線,仍須結合風險、證據與授權。
W03 / AI Dessert 03Module 1 · 25

混淆矩陣|四種結果,分清警報對錯。

1,000 筆高風險退款回答中,警報與真實狀態交叉後得到四格;警報後真的有錯的比例是其中兩格的比值。

真實狀態 / 預警結果響起警報沒響警報
確有重大錯誤真警報 90:有錯,也抓到了漏報 10:有錯,卻沒抓到
沒有重大錯誤誤報 90:沒錯,卻響了正確未報 810:沒錯,也沒響
警報的精確率(陽性預測值)為 \(\frac{90}{90+90}=50\%\);它回答「響了以後,有多少是真的?」
W03 / AI Dessert 03Module 1 · 26

貝氏更新|用新證據修正原有判斷,再決定怎麼做。

原本估計 10% 有重大錯誤;警報響起後,本例改估為 50%。這個機率幫助安排複核,不會自行決定停用或上線。

\(H\):回答確有重大錯誤;\(E\):預警器響起。
\[ \Pr(H\mid E)=\frac{\Pr(E\mid H)\Pr(H)}{\Pr(E)} =\frac{0.90\times0.10}{0.18}=0.50 \]
管理決策:把警報當作「優先人工檢查」的訊號;實際處置仍要看錯過重大錯誤與誤報各有多大代價。
講者提示

Module 1 導覽正式課程入口
投影片總覽