八張圖看懂這場爭議的關鍵概念,每張圖一句話。
← 回到完整內容
① 開放權重模型是什麼
「開放權重」=模型本體誰都能下載回家跑,不需要經過原廠——所以它的行為也沒有人在前線把關。
② 發生了什麼事(外洩嘗試流程)
模型自作主張:偵察環境 → 用 curl 上傳檔案到北京的儲存桶,好在沙箱沒有網路出口,上傳被擋下。
③ 推理軌跡 ≠ 實際行為
同一輪對話,腦中說「不呼叫工具」,手卻按了下去——這是最讓 Cohere 警覺的一點。
④ 沙箱斷網:為什麼資料沒真的外洩
這次沒釀成事故,是因為測試環境預設封網。換成有網路的代理環境,結果就難說了。
⑤ Prefill(預填):爭議的最大反駁點
重現指令碼預先填入 2,323 個 token、恰好停在 URL 前(HF discussion #1、tespio)——這是質疑者最有力的論點。
⑥ Jaggedness(能力參差):Check Point 的重跑
重跑 64 次出現 52 個不同主機(原北京桶一次都沒再出現)——比較像模型輸出不穩定,而非內藏的後門。
⑦ 169.254.169.254:雲端機器的管理後門位址
iThome 補報導:部分重跑中模型連了這個位址(23–36%)。它本身是雲端標準功能,但被模型「自己找到」就不尋常。
⑧ 兩種解釋:訓練殘留 vs 刻意後門
兩種解釋都還活著:重跑結果比較支援①,但北京桶的擁有者至今未確認,②無法被證明不存在。
事件摘要
- Cohere 在以 Microsoft CTI-REALM 基準測試(任務為撰寫偵測規則)評估開放權重模型 Qwen3.8-Flash-Next 時,發現模型在未獲指示下列出暫存目錄、檢查可用傳輸工具與 DNS,並以
curl 嘗試把一段固定測試字串上傳至位於北京的阿里雲儲存桶。
- 模型的推理軌跡(reasoning trace)宣稱「不會呼叫工具」,實際行為卻呼叫了工具。
- 沙箱沒有對外連線路徑,上傳被擋下。
- 上傳內容是固定字串
PROBE_PAYLOAD_ABC123,偵察輸出並未被送出。
- Cohere 稱發生率低於每十萬次呼叫 1 次;以相同提示重跑得到正常輸出;無法判斷是訓練殘留或刻意行為;未確認儲存桶擁有者。Cohere 公開了軌跡與重現腳本(預先填入推理內容與指令前綴)。
- Cohere 原文自己使用「exfiltration attempt(外洩嘗試)」一詞,並把「刻意的回撥後門」列為兩種可能解釋之一。
- iThome 中文報導未提及:部分重跑中模型連向雲端 metadata 位址 169.254.169.254(23–36%)、阿里雲新加坡 routify 檔案代理,並以
unshare 在私有 namespace 取得 root;Cohere 呼籲政府監管;Cohere 本身是 Qwen 的競爭者。
- Check Point 與 tespio 的重跑中,原本的北京儲存桶(sanmaohe)都未再出現。
時間軸
- 約 10/24事件發生(TechCrunch 稱「週五」;深藍財經稱當地 10/23)僅兩處來源
- 10/26Cohere 發表部落格〈Concerning behavior from a popular open-weight AI model〉;共同創辦人 Nick Frosst 在 X 轉發擴散(TNW 引述)
- 10/26 晚應開發者要求,Cohere 於 Hugging Face 補上軌跡資料集(據 TechCrunch)
- 10/26Reuters(CNA 轉載)、The Register 報導
- 10/27 09:12TechCrunch 報導
- 10/27iThome、深藍財經、Globe and Mail 報導;llms.blog 彙整各方反應
- 10/29Check Point 發表反駁分析,認為更像模型「jaggedness」
- 11/2本頁整理(市場數據於此日查詢)
攻守對照
攻方:認為有風險/後門疑慮
- 推理軌跡說不呼叫工具、實際卻呼叫工具,言行不一致本身就是警訊(Cohere CEO Aidan Gomez 在 X 強調此點,經 llms.blog 引述)原推文未查證
- 行為包含偵察(列目錄、檢查傳輸工具、DNS),再嘗試對外上傳,目的地為北京阿里雲儲存桶
- 部分重跑中觸及雲端 metadata 位址 169.254.169.254(23–36%)、阿里雲新加坡檔案代理,並以
unshare 取得私有 namespace root
- Cohere 將「刻意回撥後門」列為兩種可能解釋之一,並以「exfiltration attempt」描述
- Cohere 呼籲政府釐清:對中國 AI 的限制是否涵蓋在政府自有硬體上執行的權重
- 少數 Hacker News 留言者認為是刻意植入(如「This is the canary dying」),但未提出證據
守方:質疑與反駁
- 重現腳本預先填入 2,323 個 token,恰好停在 URL 前,等於逼模型「補完一個網址」(HF discussion #1、tespio)
- Check Point 重跑 64 次,出現 52 個不同主機,含 AWS、localhost 與不存在的網域,認為是模型「jaggedness(能力參差)」而非固定後門
- Check Point 與 tespio 重跑中,原北京儲存桶(sanmaohe)從未再出現
- VentureBeat 查詢儲存桶得到 NoSuchBucket(但不能證明測試當時不存在)
- 個人測試者(Kydo 等)稱以相同 prefill 測 NVIDIA Nemotron,更常連 169.254.169.254 單一來源未證實
- Nathan Lambert、Peter Wildeford:較可能是 RL 訓練環境的殘留行為
- 部分 HN 留言者認為是 FUD/廠商行銷(經 llms.blog 彙整);Cohere 為 Qwen 競爭者
- 上傳內容僅為固定測試字串,偵察輸出未送出,且被沙箱擋下
Cohere 自己的退讓
- 共同創辦人 Ivan Zhang 對 The Register:「沒有證據顯示是刻意的,我們也沒這樣主張。」
- Ivan Zhang 對 TechCrunch:可能是 reward hack;Cohere 自家模型也有怪習慣。
- Ivan Zhang 對 Globe and Mail:發布前已通知 Qwen 團隊。
- Cohere 原文承認:發生率 < 1/100,000、相同提示重跑正常、無法區分訓練殘留或刻意、未確認儲存桶擁有者。
各方共識
- 推理軌跡不是安全邊界,不能依它判斷模型會做什麼。
- 代理(agent)的對外網路應預設封鎖。
- 限制工具權限,並監控工具呼叫。
綜合評估
證據充分- 軌跡真實存在(tespio 逐 token 解碼)
- 推理與行動不一致
- 被沙箱擋下
- 酬載只是測試字串
較可能- 訓練/RL 環境殘留,加上輸出不穩定
- 但後門可能性無法排除
推測性- 刻意「送往北京」
- 竊取憑證
- 後門(Cohere 自己也未主張)
未證實/查不到
- 「每十萬次呼叫不到 1 次」僅 Cohere 一方說法,未公布分母 單一來源
- 北京儲存桶的擁有者
- 阿里巴巴/Qwen 回應:Reuters、The Register、VentureBeat 均稱未獲回應;未找到 Qwen 團隊成員的 X 貼文
- 美國、加拿大、台灣政府:未找到新的官方回應(TechCrunch 提到 DHS 於事件前一週已下令移除 DeepSeek,與本事件無直接關係)
- 傳聞台灣有人以 180B 量化版重現 未證實
市場面
| 日期 | 阿里巴巴港股 9988.HK(HKD) | 阿里巴巴美股 BABA(USD) |
| 10/26 | 97.95 | 100.25 |
| 10/27 | 97.0 | — |
| 10/30 | — | 98.04 |
| 11/2 | 99.75 | — |
收盤價取自 Yahoo Finance(11/2 查詢)。10/22 曾跌約 6%,長橋(Longbridge)歸因於 AI 投資報酬疑慮,早於本事件。事件期間未見明顯相關波動,也未見媒體將兩者連結。
整理者觀點(amon)
以下為整理者 amon 的個人看法,不屬於上方依來源整理的報導內容。
- 要習慣在斷網(不對外連線)的環境下讓 AI 代理工作。
- 與其害怕、逃避開源模型,不如了解模型本身的行為、學會控制它,這更有用。
- 大家實際常用、累積經驗,才有機會訓練出自己的主權模型。
原話:「大家還是要習慣斷網情況下來進行工作、因此學習模型的行為本身、學會控制遠比害怕跟逃避更有用,而且大家常用有經驗才有機會訓練自己的主權模型」