PEC模擬教室

臨床教學的回饋與評量問卷很難填,填了也不一定反映第一線的觀察。我們想先在虛擬(模擬)環境裡,把回饋與評核工具試到夠好,再交給教師使用。

模擬學習路徑就像算命(八字論命・娛樂小分頁)

簡報:我們的模擬實驗教室

第 1 / 6 張

這間教室是什麼

「PEC模擬教室」是一間模擬出來的教室:裡面的病人、學員和老師,都是用電腦模擬的角色,不是真的病人,也不是真的學員。

我們先在這個安全的環境裡,反覆測試回饋與評核的做法,試到夠好,再考慮交給第一線的老師使用。

這裡的內容是「演」出來的,所以可以放心反覆試,不會碰到任何人的隱私。

唯一的例外是「發現缺口」頁:只呈現真實回饋編碼後的彙總統計,沒有評語原文。

為什麼需要它

真人評核很重要,但它有天生的盲點:

  • 每位評分者的標準不同:有人給分寬鬆、有人嚴格。
  • 臨床很忙時,回饋常常很短,甚至是空白。
  • 現成的觀察資料有限:事後只能看編碼,看不到原文,也很難追蹤學員後來有沒有進步。

想弄清楚「怎麼評才可靠」,只看現成資料不夠,所以我們想在模擬環境裡自己做實驗。

我們怎麼模擬

在模擬教室裡,有三種角色:

  • 虛擬病人
  • 模擬學員
  • 模擬教師(寫回饋)
  • 學員與病人大量互動,例如病史詢問;模擬教師再依「那一次真的發生過的事」寫下回饋。
  • 角色由多個模型來扮演,不是只靠同一個模型:目前用過在本機微調的小型模型,也用過雲端的語言模型。
  • 因為情節是我們事先設計的,我們知道「標準答案」,才有辦法檢查評核準不準。

怎麼評核、怎麼比對

同一批模擬出來的資料,請不同的「評分者」各評一次:

真人盲評

真人看不到這份資料是哪個模型產生的,也看不到其他評分者怎麼評。

自動化評核

由三位自動化評分者(含我們自己的地端模型)各自對同一批資料作答。

我們比的是「一致性」與「落差」:哪些地方評得一樣?哪些地方不一樣?為什麼不一樣?

不是比誰分數高,也不是要證明誰才是對的。

目前真人參照只有一位,且不是完全盲評;「和真人一致」不等於「正確」。

目標:補足,而不是取代

我們的目標不是取代真人,而是探索兩件事:

  • 自動化評核能不能補上人工評核的缺口,例如很忙、回饋空白時先做初步整理,有疑義的地方仍由人來判斷。
  • 建立一個可以重複做實驗的模擬環境,讓評核方法在交給老師之前先被檢驗。

未來若能取得多位真人的評核,也許可以綜合他們的判斷,來訓練我們的地端模型 Clef。這一步目前還沒有開始。

自動化是輔助;最後做決定的,仍然是人。

目前進度與限制

已經做了(概念驗證,全部是合成資料):三批模擬,包括 48 場模擬病史詢問(46 場完整可用,其中 24 場有一位真人盲評)、40 則模擬教師評語的標註,以及一個調整虛擬學員風格的小實驗。

要留意的限制:合成不等於真實;真人參照只有一位、非完全盲;樣本數小,結果只能描述,不能推論到真實的教學現場。

還沒做:邀請第二位以上真人校準、訓練 Clef、交給老師實際使用。

想深入看,請依序閱讀:

可用按鈕、鍵盤 ← → 或手機左右滑動切換。

這裡是 PGY 工作坊合成回饋研究的教室。建議依序閱讀:源起 → 發現缺口 → 實驗設計 → 標註工具 → 模擬實驗 → 實驗結果;合成資料下載放在最後的附錄。

模擬教室怎麼運作

  1. 逐字稿:以教學活動的逐字稿等非結構化資料為素材。
  2. 模擬互動環境:建立可以互動的模擬情境。
  3. 角色扮演:虛擬學員與虛擬病人大量互動,例如 mini-CEX 病史詢問。
  4. 評核工具:從模擬中發展評量問卷,並比較不同評分者的評核與標注。
  5. 教師使用:把工具交給第一線教師,在真實教學中使用。
  6. 迭代:依使用回饋修正環境、問卷與模型。

↺ 回到第 1 步,持續迭代

決策模型的角色

決策模型讀懂評語,但不生成文字:只從事先定義好的選項中作答,並回傳每個選項的機率。我們用它協助自動標註評語(目前是地端執行的 Clef),並以人工盲標驗證。機率高不等於正確,所以目前不設定自動採用的門檻,有疑義的評語仍交給人判斷。

目前的模擬是這個構想的第一步(概念驗證),分析尚在進行中。

依序閱讀(首頁是第 ① 步)

公開・不需登入

② 源起

為什麼做 PEC模擬教室、決策模型是什麼,以及完整的迭代構想。可直接分享給同仁。

閱讀源起 →
公開・不需登入

③ 發現缺口

真實共享版回饋編碼的描述性分析(無原文):空白、不具體、教學行為與資源環境抓不到、沒有成效追蹤。

看見缺口 →
公開・不需登入

④ 實驗設計

把缺口轉成實驗:三條實驗線、三種評分者與人工參照、預先登錄與品質閘門。

閱讀設計 →
公開・不需登入

⑤ 標註工具(示範)

用全部虛構的評語與逐字稿,體驗人工標註與盲評的介面與盲化原則;不上傳、不寫入任何資料集。

試用示範 →

⑥ 模擬實驗

已經在模擬環境跑了什麼:三批模擬、評分者與人工參照,以及路線圖做到哪一步。

查看進度 →

⑦ 實驗結果

以合成資料探索自動化評分如何輔助真人評核:評分者間一致度與模型比較(探索性・描述性)。

查看結果 →

附錄 資料下載

可公開下載的合成資料(盲化版本),不含任何真實資料。

前往下載 →