源起：從決策模型到 PEC模擬教室
這一頁寫給醫學教育的同仁，說明我們為什麼做 PEC模擬教室、想往哪裡走，以及目前這套模擬是第一步的哪一部分。 頁面只談想法與方法，不含任何真實學員資料、評語原文或盲化對照；真實回饋編碼的彙總統計放在下一頁「發現缺口」。
目錄
1. 決策模型是什麼？為什麼資料標註用決策模型
我們一般熟悉的大型語言模型（例如聊天機器人）是一個字一個字生成文字：可以寫評語、寫解釋，也可以「說」出一個分類，但輸出是自由文字，要再解析，也可能出現事先沒定義的答案。
決策模型則是另一類工具：它同樣讀懂自然語言，但不生成文字。我們先把「要判斷的狀態」（例如一則評語）和「要回答的問題」連同事先定義好的選項交給它，它回傳的是一個型別固定的答案，以及每個選項的機率。
決策模型的共同特點：
- 問題通常有幾種固定形式：選擇題（從選項中選一個）、等級評分（依有序等級給分）、是／否題（回傳「為真」的機率）。
- 它不寫回覆、不產生推理說明；答案只會落在使用者事先定義的選項之內。
- 它給的是機率，但機率高不保證答案正確；機率是否可信，必須用人工標註驗證。
本計畫借用的是「決策模型」這個概念與介面形式，不使用 JEV。我們實際使用、或規劃比較的決策模型是以下兩個。
1.1 本計畫使用的決策模型：Clef
Clef（Clef-Flash，Q8 量化版本）是我們實際用來標註評語的決策模型，在本研究團隊的本地伺服器 guava 上運行，只能從內部網路存取：
- 使用「狀態＋問題」的介面：送入評語與六題問卷（每題的說明與選項），回傳每題選中的選項、每個選項的機率與信心值。
- 只接受文字；評語、所有題目與選項說明合計須在 4,096 個 token 的上下文內。
- 伺服器的 GPU 共用，一次只處理一個請求、不並發；單題分類實測不到一秒。
1.2 本計畫規劃比較的決策模型：OpenAI Decisions API
OpenAI 的 Decisions API（於 2026 年 10 月正式開放）是同類型的雲端服務；我們規劃在虛擬（模擬）環境中把它當作評分者之一，與 Clef、Codex 比較。依 OpenAI 官方文件：
- 目前只支援 GPT‑6 Luna 一個模型；輸入可以是文字、圖片、JSON 或對話紀錄。
- 問題有三種形式：是／否判斷（回傳條件為真的機率）、選擇題（從使用者提供的選項中選一個，並回傳各選項的機率與信心值）、等級評分（依 2 到 10 個有序等級，回傳以機率加權的分數）。一個請求可同時問多個彼此獨立的問題。
- 需要產生自由文字或解釋時，官方建議改用一般的生成介面；Decisions API 只回傳上述型別的答案，個別問題也可能被模型拒答。
- 官方建議以自己應用情境中已標註的範例來設定轉交複核的門檻。
- 它是 OpenAI 的雲端服務，資料會送到 OpenAI 處理。
1.3 為什麼標註用決策模型，而不是語言模型
| 考量 | 我們的理由 |
|---|---|
| 答案空間固定 | 編碼簿的選項事先凍結，決策模型只會回傳其中之一；不需要從自由文字中解析答案，也不會出現編碼簿以外的標籤，更不需要「猜測或修補」不合法的輸出。 |
| 完整機率分布 | 每題都拿到所有選項的機率，不只一個標籤。可以看最高機率、第一與第二選項的差距，把「分布分散」的評語優先交給教師複核，而不是一律採用最高者。 |
| 不確定性要誠實 | 請生成式語言模型「自報百分比」，只能算生成式自報機率，不能直接當作與決策模型等價、已校準的分布。 |
| 地端執行 | Clef 在我們自己的伺服器上執行，評語不需要送到外部的雲端服務；這也是我們希望最終由 Clef 承擔自動化評核與標注的原因之一。 |
| 快、可大量重複 | 每次判斷很快，適合對大量評語、多個版本重複標註並完整保存每次的請求與回應。 |
2. 核心目標：自動化的回饋與評量系統
我們的核心目標始終沒有改變：建立一套自動化的回饋與評量系統，讓第一線教師對學員的觀察，能夠更順利地轉成對學員有用的評估與回饋。標註、分類與模擬都是達成這個目標的工具，不是目的本身。
3. 問卷本來就難填
評量問卷很難填，這是臨床教學現場實際存在的狀況，並不是因為使用 AI 生成評語才出現的問題。教師忙碌、題目抽象、選項不易對應到實際看到的行為，常常讓問卷流於形式，或只留下簡短、通用的評語。
因此，我們不認為只要把現有問卷「自動化填寫」就能解決問題；問卷本身也需要重新設計。
4. 從評語分群的路線，以及它的侷限
一條常見的路線是從既有的評語出發：先由人工標註一批評語，再用這些標註資料訓練決策模型，之後由模型自動替新的評語貼標籤、做分群。
這在技術上可行；但我們認為，由決策模型自動標註出來的結果，並不能回饋到第一線的學員評估。標籤整理的是「已經寫下來的評語」，並沒有改變教師在現場怎麼觀察、怎麼評，也沒有改變學員最後收到什麼。
4.1 真實資料看到的缺口
我們用一份真實的共享版 PGY 回饋編碼資料（沒有評語原文）做了描述性分析。它指出：回饋常是空白或不具體、教學行為與資源環境幾乎抓不到、缺少成效追蹤，編碼本身也無法由原文複核。這些是上面「無法回饋到學員評估」的資料面證據，也是下面第 5 節做法的起點。完整內容見發現缺口頁（不含原文與個別資料）。
5. 我們提出的做法
我們想反過來，先從教學現場的非結構化資料出發，在虛擬（模擬）環境裡把評核與標注「試到夠好」，再交給教師。實驗設計的核心是：
- 在模擬環境中，讓 Codex（語言模型）、OpenAI Decisions API（雲端決策模型）與 Clef（地端決策模型）三者擔任評分者／標註者，對同一批模擬互動作答，互相比較。
- 以人工標註作為校準與比較的基準。
- 再用這些資料訓練 Clef，讓它能在地端完成自動化的評核與標注。
6. 現在的 PEC 模擬：第一步（概念驗證）
目前的 PEC模擬教室是這個構想的第一步：它先驗證「模擬環境＋角色扮演＋多種評分者＋人工盲標」這條管線能不能運作。我們手上的 PGY 回饋資料沒有可公開的評語原文，只有評語被編碼後的類別分布與長度等描述資訊，所以這一步先檢驗：在一個受控的模擬環境中產生的教學事件與合成評語，能不能在長度與編碼分布上對齊真實資料（我們稱為「反向生成」）。真實資料只作為要對齊的參照分布，不是生成的素材；並以學員為單位切成兩半，A 半只用來設定生成參數，B 半只保留給最終評估。
6.1 模擬怎麼進行
- 四條學習路徑：持續良好、改善、惡化、反覆；每位模擬學員 4 期（第 0、1、3、6 週），每期有預先設計的能力層級（1、1.5、2.5、3）。
- 四種案例家族：對應態度、技能、知識、溝通四個主題（遺漏醫囑的揭露、鼻胃管置放、腎功能不全的抗生素選擇、氣喘急性惡化的團隊溝通），表面細節隨機抽取。
- 規則式環境：每期固定 5 個節點，障礙、帶教提示、病人或家屬提問、收尾提示都由程式規則觸發；能力層級由實際發生的事件判定，不由模型自評，也不讓模型「替學員完成」沒做的事。
- 模擬學員：由 Claude Haiku 5.5 扮演，依該期設計的動作說話與行動，程式檢查言行一致。
- 盲化的模擬教師：Claude Sonnet 5.5（主要）與 Claude Opus 5.5（模型參照組，不是人類教師）只看該期可觀察的事件紀錄寫評語，看不到路徑、能力、人格、週次等設計資訊。
- 兩種長度條件：目標字數組（目標取自 A 半的評語長度，上限 200 字）與僅上限組（只要求不超過 200 字）。
- 品質閘門：規則等級符合設計、提問機會、盲化、代碼外洩、言行一致、標註工具稽核等程式檢查；未通過即重寫、標記或停止，原始請求與回應全部保存。所有協定在生成前預先登錄，修改以修正案記錄。
6.2 標註系統
所有標註者使用同一份固定的六題問卷，每題選一項：
| 題目 | 選項 |
|---|---|
| 主題 | 態度、溝通、技能、學習方法、知識、教學行為、制度與系統、其他 |
| 極性 | 正向、建設性、中性、負向 |
| 具體性 | 個別化、通用、空白或無意義 |
| 困難學員訊號 | 是、否（只標記文字訊號，不對學員下診斷） |
| 資源環境訊號 | 是、否 |
| 教學行為 | 示範與指導、教學熱誠、回饋給予、尊重與態度、教學時間、教學互動良好、無 |
- Clef（決策模型）：每題給出所有選項的機率；Codex（語言模型）：每題給一個標籤；兩者分開報告。OpenAI Decisions API 尚未納入這一步。
- 人工盲標：分層抽樣的評語分為校準組與封存組，校準組用來熟悉題意，封存組作為比較基準、分析前不用來調整任何參數；另一位同事將獨立盲標其中一部分，用於評估人與人之間的一致性。
- 盲化：評語以不公開的不透明編號呈現，標註者看不到評語來源、產生模型、長度條件、路徑或任何模型標註；標註在本教室需登入的「人工標註」頁進行。
6.3 如何評估（四個主要終點）
- E1 長度
- 合成評語的字數分布與真實 B 半有多接近。
- E2 編碼分布
- 六題各自的類別分布與真實 B 半有多接近（Clef 與 Codex 分開計算）。
- E3 與人工的一致度
- 模型標註與封存組人工標註有多一致；人工標註進行中，結果待定。
- E4 路徑還原
- 只讀某位模擬學員依時間排序的評語，能否判斷出他被設計的學習路徑，用來檢驗評語是否承載「隨時間變化」的資訊。
7. 限制與解讀注意事項
- 合成不等於真實：分布接近只代表在這些編碼維度上相似，不代表評語的內容、品質或教育效果與真實教師相同。
- 真實資料沒有原文：比較對象是編碼結果；原始編碼本身也可能有誤差，它是參照分布，不是金標準。
- 這一步還沒有用到逐字稿，也還沒有訓練 Clef：第 5 節構想中的「以教學活動逐字稿建構環境」、虛擬病人的病史詢問情境、三種評分者的比較與訓練 Clef，都尚未在本階段實作；目前的情境是人工設計的規則式環境。
- 日期與分群：真實資料中的日期是表單／評估的觀察日期；有日期的資料只涵蓋困難訊號篩選列；描述分群是預先定義、互斥的規則式分群，不是從資料中發現的類別。本研究的四條路徑是預先設計的。
- 模擬教師都是模型：Claude Opus 5.5 是模型參照組，不是人類教師的替代品。
- 決策模型的機率尚待驗證：Clef 與 OpenAI Decisions API 的機率是否校準、是否適用於醫學教育評語，都需以人工標註驗證。
- 人工標註者人數有限：第二位同事完成盲標前，無法估計人與人之間的一致性，E3 的解讀需保守。
- 情境範圍有限：只有四種案例家族與固定 5 節點的流程，不能代表所有臨床教學場景。
本教室其他分頁
教室依序為：首頁 → 源起 → 發現缺口 → 實驗設計 → 標註工具 → 模擬實驗 → 實驗結果（附錄：資料下載）。首頁、源起、發現缺口、實驗設計與標註工具（示範）不需登入；模擬實驗、實驗結果與資料下載需要登入。