實驗設計：把缺口變成可以檢驗的問題
上一頁指出，真實回饋資料沒有原文、編碼未經複核、教學行為與資源環境抓不到、也沒有成效追蹤。這一頁說明我們怎麼設計實驗：在模擬環境裡讓不同的評分者面對同一批資料，並以人工標註作為基準，檢驗自動化評核能在哪些地方輔助真人評核。這一頁只談設計，全部是合成資料，不含任何結果數值。
定位。自動化評分是輔助與補足真人評核，不是取代真人，也不是要證明「誰才是對的」。目前真人參照仍很有限，用多位真人訓練 Clef 是之後的步驟，尚未進行。
1. 從缺口到設計
| 在「發現缺口」看到的 | 設計上的回應 | 對應的實驗 |
|---|---|---|
| 評論空白、不具體；問卷難填 | 在受控的模擬環境產生評語與評核，讓三種評分者對同一批資料作答並互相比較 | 評分實驗、評語標註 |
| 教學行為與資源環境抓不到 | 固定六題問卷包含「教學行為」與「資源環境訊號」，檢視各評分者在這些面向的表現 | 評語標註（E3） |
| 沒有成效追蹤 | 預先設計四條學習路徑，真值已知，檢查只讀評語能否還原路徑 | 路徑還原（E4） |
| 無原文、編碼無法複核 | 以人工盲標作為比較與校準的基準；所有請求與回應保存，可重算、可複核 | 人工標註、人工盲評 |
2. 三條實驗線
2.1 評分實驗：病史詢問的 mini-CEX
環境是 PGY 住院醫師對住院病人的病史詢問（合成 mini-CEX），分四種合成人格。虛擬學員與虛擬病人由語言模型扮演；Codex、OpenAI Decisions API 與 Clef 三位自動化評分者各評每場 1 次，六個面向、1–9 分。另有一位人類評分者對其中 24 場做盲評，作為比較參照。
2.2 評語標註與學習路徑還原（E3、E4）
以規則式環境產生四條學習路徑（持續良好、改善、惡化、反覆）的模擬學員，每位 4 期（第 0、1、3、6 週）；四種案例家族對應態度、技能、知識、溝通四個主題。模擬教師只看該期可觀察的事件紀錄寫評語。評分者用同一份固定的六題問卷標註評語（E3，與人工標註比較），並嘗試從依時間排序的評語還原學習路徑（E4）。
2.3 風格調整實驗
比較由本機微調的小型模型與語言模型扮演的虛擬學員：看評分者的給分是否不同，以及盲分類器能否辨認出設計的人格；這條實驗線沒有人類評分，只作描述。
3. 評分者與人工參照
- Codex（語言模型）：每題給一個標籤或分數。
- OpenAI Decisions API（雲端決策模型）：回傳每個選項的機率。
- Clef（地端決策模型）：在本研究團隊的本地伺服器運行，只能從內部網路存取。
- 人工參照：由人類對合成評語盲標、對合成逐字稿盲評（真正進行中的表單不在本站公開；標註工具頁以虛構資料示範介面與盲化原則）。標註時看不到評語來源、產生模型、條件或任何模型標註。
目前人工參照只有一位，且並非完全盲；第二位同事完成盲標之前，無法估計人與人之間的一致性。
4. 預先登錄與品質閘門
- 所有協定在生成前預先登錄，修改以修正案記錄。
- 規則等級符合設計、提問機會、盲化、代碼外洩、言行一致、標註工具稽核等程式檢查；未通過即重寫、標記或停止。
- 原始請求與回應全部保存。
- 能力層級由實際發生的事件判定，不由模型自評。
5. 設計上的限制
- 合成不等於真實：模擬環境與合成評語不代表真實教學現場。
- 模擬教師與模擬學員都是模型；它們是模型參照組，不是人類教師的替代品。
- 情境範圍有限：只有四種案例家族與固定 5 節點的流程。
- 決策模型的機率是否可信，需以人工標註驗證；機率高不等於正確。
- 設計中的「教師實際使用」與「迭代」尚未進行。