發現缺口：真實的回饋資料看到了什麼
源起頁說明了我們想做什麼；這一頁回答「為什麼是現在、為什麼要先做模擬」。我們用一份真實的、共享版的 PGY 回饋編碼資料，以課程評估委員會（PEC）的角度做了描述性分析，看見幾個明確的缺口，並由這些缺口引出下一頁的實驗設計。
1. 這份資料是什麼
| 項目 | 內容 |
|---|---|
| 規模 | 5,406 筆回饋編碼，涵蓋 439／495 位學員；有 56 位（11.3%）在共享版沒有任何回饋編碼。 |
| 兩種來源 | 91.0% 是 PGY360 自由評論（4,922 筆，380 位學員）；9.0% 是 WBA 表單中、為了篩出困難學員而選出的列（484 筆，173 位學員）。兩者性質完全不同，不能直接比較。 |
| 沒有原文 | 5,406 筆都沒有評語原文；每一筆只有「被編碼後」的類別（具體性、主題、極性、困難學員訊號、資源環境訊號、教學行為）與字數。 |
| 編碼是模型產生 | 這些編碼是模型產生的非原文摘要；本分析沒有取得人工複核的一致性，數字應視為「模型標記的分布」。 |
| 統計方式 | 純描述性；方括號為 95% 信賴區間（以學員為群集的 bootstrap，2,000 次）。同一位學員的多筆回饋不視為獨立。 |
2. 缺口一：回饋有三成是空白
全部回饋中，具體性為「空白或無意義」的占 30.4% [27.5, 33.6]（只看 PGY360 自由評論為 33.4% [30.2, 36.7]；WBA 篩選列沒有任何空白）。其中 1,582 筆（29.3% [26.3, 32.4]）是同一段 3 字的文字，被 253 位學員共用。因為沒有原文，我們只能說它是被大量學員共用的短文字，無法說明內容。
三個院區（以代號呈現）的差異非常大：
| 院區（PGY360） | 高度共用空白占比 | 空白或無意義 | 個別化占有內容的評語 |
|---|---|---|---|
| 院區 W | 68.2% [65.8, 70.3] | 69.8% [67.5, 71.9] | 37.9% [33.7, 42.0] |
| 院區 S | 20.9% [19.0, 22.8] | 21.9% [20.1, 23.7] | 54.9% [52.3, 57.6] |
| 院區 T | 0.0%（0／1,273） | 1.0% [0.5, 1.5] | 52.1% [49.4, 54.8] |
「高度共用空白」＝具體性為空白、且同一段文字由至少 200 位學員共用的筆數，占該院區 PGY360 的比例。
怎麼解讀。這更像是填寫或匯出流程（例如預設值）的差異，而不是各院區老師寫評語能力的差異；是否為預設文字，需要向表單與資料管理方確認。在這個問題釐清以前，院區之間的評語品質比較不可靠。
3. 缺口二：有寫內容的評語，也只有約一半是個別化的
排除空白後，只看「有內容」的評語（具體性為個別化或通用），PGY360 的個別化比例是 51.1% [49.3, 52.9]。上表的院區 W 明顯較低（37.9%），比院區 T 低 14.2 個百分點 [9.2, 19.1]；院區 S 與院區 T 的差異則不明確。換成只保留文字僅屬一位學員的列，院區 W 仍然較低（45.5% [38.8, 52.4]），方向不變，但樣本變小。
學年度 111 到 113 之間，PGY360 的個別化比例沒有可檢出的差異（111 減 113：+3.4 個百分點 [-1.1, +7.5]）；沒有足夠證據說這幾年有改善。
WBA 表單中被篩出的列，個別化比例高很多（92.3% [89.4, 94.8]）。但這些是為了篩出困難學員而選出的列，而且表單有結構化提示，不能據此說「表單比較好」；它混合了選樣與提示方式的影響。
4. 缺口三：教學行為與資源環境，現行回饋幾乎抓不到
- 教學行為不是「無」的，只有 62 筆（1.1% [0.9, 1.5]）；即使只看有內容的評語也只有 1.6% [1.2, 2.1]。
- 資源環境訊號為「是」的，只有 17 筆（0.3% [0.2, 0.5]）。
- 有內容的評語中，主題是「制度與系統」的只有 1.1% [0.8, 1.5]。
怎麼解讀。這不代表這些問題不存在，而是現行的自由評論與表單提示幾乎抓不到它們。若要監測教學行為與學習環境，需要在表單上用具名題項蒐集，不能只靠自由評論的編碼。
5. 缺口四：需要支持的學員，缺少可追蹤的資料
- 「困難學員訊號」為「是」的有 574 筆，其中 484 筆來自為了篩出困難學員而選出的 WBA 列，比例由選樣決定，不能當成盛行率。只有 PGY360 的 90 筆（1.8% [1.4, 2.2]）可視為未經該篩選的比率，而且仍是模型編碼、只反映自由評論寫到的內容。
- 只有 172 位學員（34.7%）有可排序的日期回饋；其中只有 62 位（12.5%）有至少 3 個日期且跨度至少 30 天。PGY360 的 4,922 筆沒有任何日期。
- 日期是表單的觀察日期，不是回饋文字的填寫日期；有日期的列只涵蓋困難訊號篩選列，所以不能估計全體學員的好轉、惡化或無訊號期間。
- 495 位學員中，被標記為已確認好轉或惡化的是 0 位：這份資料沒有任何成效追蹤。
6. 缺口五：資料本身無法被複核
5,406 筆都沒有評語原文，所有類別都無法由原文重算或由人工複核；而編碼又是模型產生的。換句話說，我們目前沒有辦法回答「這些模型標註到底準不準」。這正是源起頁提到「用人工盲標驗證模型標註」的原因。
7. 這些缺口怎麼引出模擬實驗
| 缺口 | 我們的回應（見實驗設計） |
|---|---|
| 評論空白、不具體 | 在可控的模擬環境裡產生評語，讓不同的評分者對同一批資料作答，比較它們怎麼讀、怎麼評；自動化評分是輔助真人，不是取代真人。 |
| 教學行為與資源環境抓不到 | 固定的六題問卷包含「教學行為」與「資源環境訊號」兩題，可以檢查各評分者在這些面向上的表現，並作為日後設計結構化題項的依據。 |
| 沒有成效追蹤 | 在模擬環境中預先設計學習路徑（持續良好、改善、惡化、反覆），因為真值已知，可以檢查只讀評語能不能還原路徑。 |
| 無原文、編碼未複核 | 以人工盲標作為比較與校準的基準，並保存每次的請求與回應，讓結果可以重算、複核。 |
8. 解讀時請記得
- 沒有原文、編碼是模型產生：這是「模型標記的分布」，不是已經人工確認的事實。
- 日期是表單的觀察日期；帶日期的列只涵蓋困難訊號篩選列；軌跡分群是預先定義的規則式描述，不是從資料中發現的類別。
- 來源、院區、學年度彼此交織：所有差異都只是描述，不是因果；沒有做多重比較校正。
- 共用文字使筆與筆之間並不獨立，信賴區間以學員為群集計算；但共用文字對比例的影響仍需謹慎。
- 這份分析不辨識、也不評論任何個別學員或教師。