計畫
產品團隊原訂 10 月 15 日公開推出。
案例:客服 AI 能否在 10 月 15 日對外上線?
澄岳數位服務的提案寫著「預定推出」;營運主管需要的是目前可執行的決定。
產品團隊原訂 10 月 15 日公開推出。
營運主管今天必須決定是否維持對外上線。
文件的時間、用途與決策權限不同;較早的計畫不能取代較晚的核准紀錄。
| 文件 | 日期 | 主要內容 |
|---|---|---|
| A 上線提案 | 9 月 12 日 | 目標:10 月 15 日公開推出 |
| B 舊版問答 | 9 月 15 日 | 重述原定上線日期 |
| C 品質測試 | 9 月 25 日 | 40 筆測試中有 4 筆重大錯誤,尚未結案 |
| D 退款規則 | 9 月 26 日 | 高額或爭議退款須人工審核 |
| E 上線會議 | 9 月 28 日 | 10 月 15 日改為內部試行;對外上線待重測與核准 |
漏掉後來的品質測試與上線會議,主管就可能收到「依原定時程公開推出」的錯誤建議。
管理判斷必須以最新且有決策權的文件為依據。
好的輸出應同時回答目前狀態、改變決定的證據,以及下一個核准點。
| 管理問題 | 摘要應回答 |
|---|---|
| 今天能做什麼? | 10 月 15 日可進行受控內部試行;目前不得公開推出 |
| 為何改變? | 重大錯誤尚未結案;高額或爭議退款須人工審核;最新會議已修改原計畫 |
| 何時再決定? | 重測通過,並取得營運與法務核准後重議公開日期 |
下載並解壓縮五份文件,建立筆記本並一次上傳 A–E;提問後點開引用,核對文件日期與決策權限。
你是營運主管的研究助理。請只根據我提供的五份虛構案例文件,回答:「10 月 15 日能否對外推出客服 AI?」 請用三句話依序寫出:一、目前可以執行的決定;二、判斷依據:品質測試、退款規則與正式會議決定;三、下一個必須完成的測試與核准。每句標明所依據的文件與日期,區分「原定計畫」「測試結果」與「正式會議決定」。若文件沒有核准,不要推定已核准。40 筆測試的結果只可描述為本次測試,不要推論為所有客服對話的錯誤率。
這是課堂預備的參考答案;現場 AI 回答應與案例文件逐項比對。
依 E(9 月 28 日會議),10 月 15 日僅受控內部試行;公開推出尚未核准。
C(9 月 25 日)的 4 筆重大錯誤尚未結案;D(9 月 26 日)規定高額或爭議退款須人工審核。
依 E(9 月 28 日),完成修正與重測,取得營運、法務核准後,才能另定對外日期。
主管仍需確認測試是否結案,以及有權核准的人是否作出決定。
檢索增強生成先從外部資料選出相關內容,再提供給生成模型。
文件先形成索引;收到問題後,系統找出相關片段,連同問題交給語言模型。
兩者改變的是不同位置:RAG 在回答時提供外部資料;fine-tuning 用訓練資料調整模型參數。
| 方法 | 成本與優點 | 主要難點 |
|---|---|---|
| RAG | 不重訓 LLM;起步與文件更新成本較低,回答可連回來源 | 如何切出保留完整條件的片段(chunk),並找對版本 |
| Fine-tuning | 可改善固定任務的表現與回答方式 | 訓練資料、費用與時間成本較高;文件更新後可能要再訓練 |
參考:Google Cloud · RAG 與 fine-tuning 的比較Microsoft Learn · RAG、fine-tuning 與檢索品質
系統必須知道「這段話來自哪份文件、何時有效、能否被這位使用者看到」。
檢索結果是候選證據,不會自動變成正確的管理結論。
回來後拆解三個難點:找到的文件是否適用、切段是否保留條件、取回多少才夠。
舊版問答的措辭與問題最像,卻缺少後來的測試與會議決議。
| 系統看到的訊號 | 能協助回答 | 仍須另外判斷 |
|---|---|---|
| 文字相似 | 哪段內容值得先看 | 是否為最新決定 |
| 文件日期 | 哪份資訊較新 | 新文件是否具有決策權 |
| 文件角色 | 提案、測試或會議紀錄 | 能否據此採取行動 |
「內部試行」與「對外推出待核准」必須留在可一起理解的語境裡。
「10 月 15 日開始試行。」
「10 月 15 日僅限內部試行;公開推出須待重大錯誤重測及營運、法務核准。」
先找齊 C、D、E,再處理 A、B 的歷史計畫;取回數量本身不是成功標準。
精確率(Precision)描述取回資料中被判定為本題必要文件的比例;召回率(Recall)描述必要資料被找齊的比例。
把失敗定位在文件、檢索、生成或核准,才能選對修正方法。
| 位置 | 本案可能的錯誤 | 修正方式 |
|---|---|---|
| 文件與索引 | 舊版問答被當成現行決定 | 標記版本與日期 |
| 檢索 | 漏掉 E 上線會議 | 改善候選排序與覆蓋 |
| 生成 | 把內部試行寫成公開推出 | 保留完整條件與來源 |
| 核准 | 未獲同意就執行對外發布 | 設定人工核准點 |
此處的查核服務於上線決策,不另設繁複的課堂工作表。
另設一組與前述 40 筆測試無關的假設:1,000 筆高風險退款回答中,10% 真有重大錯誤;預警器抓錯與排除正常的能力均為 90%。
真正出錯的回答只有 100 筆;正常回答有 900 筆,因此兩邊各產生 90 筆警報。
| 真實狀態 | 數量 | 響起警報 |
|---|---|---|
| 重大錯誤 | 100 | 90 |
| 正常回答 | 900 | 90 |
| 合計警報 | 180 |
即使預警器抓錯與排除正常的能力都達 90%,本例每兩次警報仍有一次是誤報。
1,000 筆高風險退款回答中,警報與真實狀態交叉後得到四格;警報後真的有錯的比例是其中兩格的比值。
| 真實狀態 / 預警結果 | 響起警報 | 沒響警報 |
|---|---|---|
| 確有重大錯誤 | 真警報 90:有錯,也抓到了 | 漏報 10:有錯,卻沒抓到 |
| 沒有重大錯誤 | 誤報 90:沒錯,卻響了 | 正確未報 810:沒錯,也沒響 |
原本估計 10% 有重大錯誤;警報響起後,本例改估為 50%。這個機率幫助安排複核,不會自行決定停用或上線。