標註工具(示範)

首頁→源起→發現缺口→實驗設計→標註工具→模擬實驗→實驗結果

這一頁讓你親手體驗「人工標註」與「盲評」是怎麼進行的。示範

先說清楚:這一頁只是示範。所有評語、逐字稿、題目答案與「自動標註」都是虛構的;你按下的選項只暫存在這個頁面的記憶體中,不會上傳、不寫入任何資料集、也不會留在你的瀏覽器,重新整理就清空。本站不公開真正進行中的標註與盲評表單,也不放任何真實逐字稿或真實評語。

1. 人工標註在研究裡的角色

真實的回饋資料沒有原文、編碼也沒有複核(見發現缺口)。所以在模擬實驗裡,我們讓人類評分者看同一批合成資料,作為檢驗自動化評分者的人工參照(設計見實驗設計)。真正的工具遵守幾個原則,這個示範也照做:

2. 示範 A:評語標註(5 則虛構評語)

每則評語回答兩題:主題與語氣。題目與選項定義是正式問卷的精簡版。

題一:主題

只依評語選主要主題,且僅選一項。沒有明確主題時選「其他」。

題二:語氣

判斷主要語氣;肯定後附可執行改善建議時選「建設性」。只有批評且沒有改善方向才選「負向」。

3. 示範 B:逐字稿盲評(1 場虛構問診)

下面是一段虛構的短問診。請依你看到的內容,為三個面向各打 1–9 分(1 = 很差,9 = 很好;沒有足夠資訊時選「不適用」)。真正的盲評看不到任何自動評分,也不知道逐字稿屬於哪個實驗條件。

4. 然後呢?

人工標註與盲評收齊之後,會與自動化評分者逐題比對,計算一致度;一致度與數值見實驗結果(需登入),已執行的模擬見模擬實驗(需登入)。這一頁的示範答案不會進入任何分析。

示範內容全為虛構:評語、場景、分數與「自動標註」都不是真實資料,也不代表任何真實的人、病人或單位。