標註工具(示範)
這一頁讓你親手體驗「人工標註」與「盲評」是怎麼進行的。示範
先說清楚:這一頁只是示範。所有評語、逐字稿、題目答案與「自動標註」都是虛構的;你按下的選項只暫存在這個頁面的記憶體中,不會上傳、不寫入任何資料集、也不會留在你的瀏覽器,重新整理就清空。本站不公開真正進行中的標註與盲評表單,也不放任何真實逐字稿或真實評語。
1. 人工標註在研究裡的角色
真實的回饋資料沒有原文、編碼也沒有複核(見發現缺口)。所以在模擬實驗裡,我們讓人類評分者看同一批合成資料,作為檢驗自動化評分者的人工參照(設計見實驗設計)。真正的工具遵守幾個原則,這個示範也照做:
- 盲化:標註時看不到評語是由誰或哪個模型產生,也看不到任何自動標註;先作答,答完才揭示(示範第 2 節最後才顯示「示範自動標註」)。
- 固定題目與定義:每題都有操作型定義,避免憑感覺。
- 只標註文字呈現的內容:不推論學員是誰,也不對學員下診斷。
2. 示範 A:評語標註(5 則虛構評語)
每則評語回答兩題:主題與語氣。題目與選項定義是正式問卷的精簡版。
3. 示範 B:逐字稿盲評(1 場虛構問診)
下面是一段虛構的短問診。請依你看到的內容,為三個面向各打 1–9 分(1 = 很差,9 = 很好;沒有足夠資訊時選「不適用」)。真正的盲評看不到任何自動評分,也不知道逐字稿屬於哪個實驗條件。
4. 然後呢?
人工標註與盲評收齊之後,會與自動化評分者逐題比對,計算一致度;一致度與數值見實驗結果(需登入),已執行的模擬見模擬實驗(需登入)。這一頁的示範答案不會進入任何分析。
示範內容全為虛構:評語、場景、分數與「自動標註」都不是真實資料,也不代表任何真實的人、病人或單位。