PACE 世界咖啡館 第二組教案
Insight 桌:從 Data 到 Insight
PEC 3.0 工作坊|2026/10/26(一)9:20–12:10|北醫附醫第三醫療大樓 11 樓 3111|每輪 40 分鐘、四輪
桌長:陳建宇、鍾睿元(外聘)、李振威(外聘)|每輪約 7–8 位科部教學長/計畫主持人
一、一頁摘要
| 項目 | 內容 |
|---|---|
| 學習目標 | 1. 分得出「資料說的」與「我猜的」。 2. 會用 Data → Pattern → Insight → 研究問題四步,把一個數字變成一句可以行動、可以被反駁的話。 3. 帶走一條自己科部能用的規則,以及一筆可填進「研究議題與資料需求單」的研究問題。 |
| 每輪產出 | 一句修改過的「Insight 規則」:當__連續出現__次,視為需要討論的訊號;由__解讀,並以__交叉確認。後面的組別在前一組的規則上修改,不重寫。 |
| 主線素材 | 同梯排序與學習預警儀表板(匿名序號)+七張 Insight 卡(第三節)。卡上全是聚合數字,沒有姓名、學號、評語原文。 |
| 與其他三桌的接點 | Input 桌交來「收了什麼、漏了什麼」;Insight 桌決定「看出什麼」;Intervention 桌接手「看到之後做什麼」。Insight 桌的規則若缺責任人或交叉確認,就是循環斷在這一桌。 |
| 桌長要準備 | 投影預警儀表板(wba-student-watch)、列印七張 Insight 卡與工作單、四色便利貼(對應平台的知識/觀點/策略/疑問)、規則評分表。 |
二、核心觀念:資料變洞見的四步梯
Insight 不是一個數字,是一句「看到數字之後,我對原本想法的修正」。以預警儀表板為例逐步示範:
| 層級 | 一句話 | 判準 | 示範(預警儀表板) |
|---|---|---|---|
| Data 資料 | 被記下來的事實 | 可以回頭查到來源 | 某位匿名學員累積評量筆數低於同梯第 10 百分位 |
| Pattern 型態 | 重複出現的規律 | 不只一個個案;有比較基準 | 這類「筆數過低」多集中在同幾個站別,且多半是表單未發送 |
| Insight 洞見 | 對原本想法的修正 | 非顯而易見、有數據撐、能改變一個決定 | 「機會不足」是教學端的問題,不是學生的問題——該改的是表單發送流程,不是學生 |
| Question 研究問題 | 可以被驗證的問法 | 有資料、有比較、有時限 | 改善表單發送後,筆數低的比例會不會下降?最少需要哪些資料欄位? |
Insight 合格四問(桌長追問用)
- 1 這句話,講之前大家本來就知道嗎?(非顯而易見)
- 2 是哪一個數字、哪一次比較撐住它?(有證據)
- 3 如果它是真的,誰會在什麼時候做什麼不一樣的事?(可行動)
- 4 有沒有一個完全相反的解釋?需要什麼才分辨得出來?(可反駁)
Insight 句式:「我原本以為__;但看到__(數據)之後,發現__;所以我們要改__。」
三、七張 Insight 卡(桌長發給每兩人一張)
欄位「反方解釋」與「還缺的證據」是教學設計,用來練第 4 問,不是研究結論;其餘數字見 V2 xlsx 對應編號。
| 卡 | Data/Pattern(聚合數字) | Insight 初稿 | 反方解釋 | 還缺的證據 |
|---|---|---|---|---|
| 卡 1 I-02 | 同梯預警:機會不足、表現落後、趨勢下滑、回饋貧乏四類訊號。門檻:筆數低於同梯第 10 百分位;標準化分數低於 1 SD 且筆數 ≥3;後半期較前半期降 ≥5 個百分點;逾半回饋敷衍或空白。 | 「機會不足」與「回饋貧乏」指向教學與制度端,不是學生的問題。 | 筆數少可能真是學生缺席或輪訓較短。 | 各站表單實際發送紀錄;輪訓天數。 |
| 卡 2 I-04 | (E-poster 發表前,此欄數字暫不公開;桌長手冊另行提供) | 回饋被模板化;非專科能力(SBP、PBLI、PROF、ICS)的重用率高於專科能力(PC、MK)。 | 重用也可能是同梯學員表現相近、或科部有固定的共識語言。 | 同一教師對不同學員的措辭差異;學員實際收到後的行動。 |
| 卡 3 I-05 | (E-poster 發表前,此欄數字暫不公開;桌長手冊另行提供) | 同一個分數在不同科部的意義不同;跨科比較前要先看評分者一致性。 | 外科系只有 5 科可算 ICC,兩組樣本不對等;數字為全部次能力合併。 | 各科教師配對方式;是否同一批教師評多位學員。 |
| 卡 4 (V1 #5) | AMEE 2026 #367:31,323 筆 WBA、676 名學生、22 科部;三工具相關 r=0.58–0.65;天花板落在 87–88 百分位;科部變異 η²=0.18–0.26,遠大於時間變異 η²<0.01;可行動回饋僅 31%。 | 三種評量工具內容互補,卻共享天花板、科部文化與回饋品質三個結構性弱點。 | 天花板也可能是學生真的表現好。 | 外部效標(如測驗、病人結果);回饋文字的追蹤。 |
| 卡 5 I-03 | 北醫核心能力 38 項素養:21 項已有題項對應、17 項待對應;110 級臨床表單實測涵蓋 16 項,完全未涵蓋 5 項(LG-1~3、PR-2、PR-5)。 | 「臨床未評」不等於「能力不足」;缺口分兩種,沒被評到的要補評量機會,落在後段的要補強學習。 | 未涵蓋的素養可能本來就由課程與反思評量,不需臨床表單。 | 課程端的證據;題項對應是否經教學端校訂。 |
| 卡 6 I-01 | CEEP2 取回評量資料:65,880 筆 WBA;兩條獨立管線 76% 紀錄完全一致;跨版本重複不去重約虛增三成;某表單歷史版單版即有 2,723 筆(+30%);逐表單撈取只取回約 61%。 | 資料量大不等於完整;「對帳」本身就是第一個發現。 | 不一致可能來自兩邊口徑本來不同,而非其中一邊錯。 | 兩邊各自的取數規則與定義;差異筆數逐筆歸因。 |
| 卡 7 I-07 | 48 支校級 BI 指標 × 3 院=144 支全數上線;40/48 通過(83.3%);平均滿意度 4.15/5;通過判定為三院任一院滿意度未達 4.0 即不通過。 | (解讀)「建置完成」與「被使用者認可」是兩件事。 | 滿意度未達標也可能是指標被誤解,而非指標沒用。 | 各指標的實際使用紀錄;使用者訪談。 |
四、40 分鐘流程(對應 8 題骨架的第 1–7 題)
| 時間 | 做什麼 | 桌長怎麼帶 | 產出 |
|---|---|---|---|
| 0–5 | 投影預警儀表板,指出一位匿名序號或一條分布線。第二輪起先唸出前一組留下的規則。 | 只描述不評論:「這個點在這裡,它旁邊有……」。不說「這位學生有問題」。 | 大家看的是同一件事 |
| 5–13 | Q1 預警名單上這位學員,四類訊號亮了哪幾個?你的第一個解讀是什麼? Q2 同一組數字,有沒有另一個完全相反的解釋?需要什麼才能分辨? 每人先寫便利貼再輪流說。 | 用顏色分:知識=數字直接讀得出來;觀點=我的解讀;策略;疑問。逼大家把「讀出來的」和「猜的」分開貼。 | 便利貼分成「資料說的」「我猜的」兩欄 |
| 13–22 | Q3 你的科部現在靠什麼知道誰落後?CCC 開會前還是開會當下? Q4 如果每月收到一張這樣的圖,你會看嗎?什麼樣的呈現你才會行動? 兩兩互談,再回到桌上。 | 請每組用「四步梯」工作單,先填自己科部的 Data 與 Pattern 兩格。 | 工作單前兩格 |
| 22–32 | Q5「落後」與「慢熟」的成長曲線差在哪裡?多早可以分得出來? Q6 訊號反映的是學員能力,還是評量機會與教師給分習慣?怎麼避免貼標籤? 每兩人抽一張 Insight 卡,做反駁測試。 | 桌長只追問不給答案:「如果有人說剛好相反,你怎麼回?」「受傷的是誰?」 | 每張卡一條反方解釋+一筆還缺的證據 |
| 32–38 | Q7 把今天的例子拿掉,留下一條任何計畫都能用的規則:「當__連續出現__次,視為需要討論的訊號;由__解讀,並以__交叉確認。」 | 先用第六節評分表自評;缺哪一格,就是這條規則會斷的地方。 | 一句規則草稿 |
| 38–40 | 定稿並多補一行:「若要驗證這條規則,研究問題是__,最少需要的資料是__。」留在桌上給下一組。 | 研究問題那行請學員帶走,填進「研究議題與資料需求單」。 | 定稿規則+一行研究問題 |
五、四輪遞進(每一輪都在上一輪的規則上修改)
| 輪次 | 時間 | 主線與卡 | 這一輪的任務重點 |
|---|---|---|---|
| 第 1 輪 | 9:20–10:00 | 預警儀表板;卡 1、卡 5 | 學會分辨「資料說的/我猜的」;規則先求有,不求準。 |
| 第 2 輪 | 10:00–10:40 | 住院醫師 CCC 儀表板公開展示版;卡 3、卡 4 | 把規則補上「由誰解讀、怎麼交叉確認」,並加入評分者一致性的考量。 |
| 第 3 輪 | 10:50–11:30 | 卡 2、卡 7 | 公平性與反駁:規則會不會把評量機會或教師習慣誤當成學生能力? |
| 第 4 輪 | 11:30–12:10 | 卡 6;或學員自帶的匿名科部資料 | 把規則轉成研究問題與資料需求;桌長在 12:10 唸出四組修改後的最終句。 |
桌長只在第 1 輪開頭花 5 分鐘示範;之後每輪由學員自己動手。議程標示本桌含「AI 輔助資料整理示例」,建議第 1 輪 0–5 分改用卡 6 的取回、去重、對帳過程當示例(此為本教案的建議,議程未規定內容)。
六、規則自評表(每項 0–2 分,滿分 8 分,≥6 分視為可用)
| 項目 | 0 分 | 1 分 | 2 分 |
|---|---|---|---|
| 訊號可量測 | 只說「表現不好」 | 有指標但沒有門檻 | 指標與門檻都明確 |
| 責任人 | 沒有人 | 寫「教學部」之類單位 | 寫到職稱或角色 |
| 時限與頻率 | 沒有 | 有時限或有頻率其一 | 兩者都有 |
| 交叉確認(反駁) | 沒有 | 有但很模糊 | 寫明用哪一筆資料或誰來確認 |
示範句(僅供示範,不是本桌結論):「當某位學員的評量筆數低於同梯第 10 百分位,且連續兩個月如此,視為需要討論的訊號;由教學長先查表單是否已發送,並以導師訪談交叉確認。」
得分低的那一格,12:10 全體總結時帶進第 8 題:「四桌的規則接起來,循環斷在哪裡?」
七、桌長備忘:常見陷阱
- 因果:進步、相關都不等於因果;要說是介入造成,還需要比較組或時間順序(對應 Outcome 桌第 2 題)。
- 天花板:評分集中在高分段時,區分力不足;先看分布再看平均。
- 小樣本與隱私:統計格 n<10 不顯示數值;個案不指名,只看匿名序號。
- 標籤:預警名單不是成績、不進入評分或排名;不要在桌上猜哪個序號是誰。
- 登入與限定頁面:ILP 能力對應與 A38 成效面需要登入,請桌長事前登入或改用截圖;各科 CCC 儀表板屬科內限定,院外教師在場時不投影。
八、器材、記錄與會後
- 討論記錄可用 PACE 世界咖啡館平台(pace-cafe);網址加 ?s=test 為練習場,不會混入正式資料。每輪結束請桌長在「主持」頁下載備份;同時連線上限 50 人。
- AI 分群與摘要使用 tmuh.ai 的地端模型,只有桌長看得到按鈕;不要把任何可識別個人的內容貼進去。
- 會後收回:四輪規則句、每輪研究問題一行,彙入 V2 xlsx 的 Data Insight 分頁備註,作為 12 月 UIC 參訪報告骨架的素材。
PEC 3.0 工作坊 2026/10/26 · 本頁為桌長用教案草稿,僅含聚合數字,不含姓名、學號或評語原文。