neural.hk

Anthropic 稱可能很快達到 RSI 定義門檻:遞歸自我改進是什麼,「接近」與「實現」差別何在

Anthropic 實際説了什麼

Anthropic 在博客「When AI builds itself」中表示,人類一直驅動 AI 開發的每一步,但公司正把越來越多的 AI 開發交給 AI 系統。如果這一趨勢持續並獲得足夠算力,就會出現能完全自主設計和開發自身繼任者的 AI 系統,即遞歸自我改進(RSI)。Anthropic 明確寫「尚未達到」,RSI 並非必然,但可能比大多數機構準備的更早到來。

同一份文件也説,目前沒有任何模型跨過這一門檻,並承諾在可預見的未來讓人類留在研發流程中,正考慮更新 Responsible Scaling Policy 以保持人類對前沿模型開發的控制。報道沒有展開該定義的具體門檻。

文件還寫道:「Using AI to help build more capable AI could also pose a considerable safety risk, particularly if it sharply accelerates the pace of progress.」 這是 S-1 中的風險提示,不是已發生的事實陳述。

遞歸自我改進是什麼

RSI 指向一個 AI 系統能完全自主設計、開發和訓練自身繼任者的狀態。TechCrunch 把 RSI 描述為 AI 擅長訓練自己、引發能力急劇加速的節點。

Anthropic 用內部數據説明這一趨勢:工程師現在平均每季度交付的代碼量是 2021 至 2025 年的 8 倍。

學術研究也在測量類似迴路。一篇 arXiv 論文研究 AI 研究 agent 的遞歸自我改進,外循環 agent 運行在 Claude Opus 4.7 上,內循環評估用 Gemini 3 Flash,在 ALE-Bench 和 MLE-Bench 上比較不同版本 agent 的表現。該研究發現 AIDE85 相對 AIDE0 的增益在三個模型和兩個基準上均可遷移;在 ALE-Bench 上,Gemini 3 Flash 配 AIDE85 達到 1858±22,超過 Fable 5 配 AIDE0 的 1796±24。MLE-Bench 上增益較小,Fable 5 配 AIDE85 的分數與 AIDE0 的差距在一個標準誤以內。

「接近」能否獨立驗證

需要區分:Anthropic 説的「接近」是公司對自身進展的評估,不是外部機構驗證過的能力門檻。TechCrunch 也指出,S-1 兼具披露和營銷功能,懷疑者可能認為「接近 RSI」的説法屬於後者。

目前公開的獨立評測中,英國 AI 安全研究所(AISI)對 Anthropic 的 Claude Mythos Preview 做了網絡安全能力評估。結果顯示,在 2025 年 4 月前沒有模型能完成的專家級任務上,Mythos Preview 成功率為 73%。它也是首個從頭到尾解決「The Last Ones」模擬攻擊的模型,10 次嘗試中 3 次成功,平均完成 32 步中的 22 步;次優的 Claude Opus 4.6 平均完成 16 步。Mythos Preview 未能完成以運營技術(OT)為重點的「Cooling Tower」靶場。

AISI 指出,這些靶場缺少真實環境中常見的主動防禦者和防禦工具,也沒有觸發安全警報的懲罰,因此無法確定模型能否攻擊防護良好的系統。這項評估針對的是網絡攻擊能力,不是 RSI 能力,不能直接用來證明或否定「接近 RSI」的説法。

香港機構要留意什麼

如果 RSI 相關能力進入商用模型,機構使用 AI 時的治理和採購決策需要多幾個檢查點。香港個人資料私隱專員公署的《人工智能(AI):個人資料保障模範框架》為機構在採購、實施及使用 AI 時提供建議和最佳做法,協助遵守《私隱條例》。

該指引建議採用生成式 AI 服務的機構制訂內部政策或指引,訂明僱員不能為非法或有害活動使用工具,並建議使用者熟悉服務的私隱政策,選擇不將共享資料用於訓練。指引也按行業列出重點,金融、醫療、法律、教育、新聞、零售各有對應注意事項。

這份政府新聞稿已超過 30 天,只作背景參考。

採購與風險評估可查核的項目

模型能力聲明更新時,機構採購和風險團隊可以逐項核對以下內容,不必依賴媒體標題:

  • 供應商系統卡或評估報告:寫明哪些能力被評測、由誰評測、評測方法和範圍
  • 使用政策與資料條款:資料是否會用於訓練、模型版本如何更新、退出機制是否存在
  • 內部政策:按指引建立機構內部使用政策,訂明允許和禁止的用途
  • 私隱影響評估:按模範框架檢查採購、實施和使用環節是否符合《私隱條例》
  • 供應商聲明的歸屬:分清公司預測、已披露事實和第三方獨立評測

讀者問答

Anthropic 官方原文怎樣描述 RSI 能力與時間表?

Anthropic 在博客「When AI builds itself」中寫「尚未達到」RSI,RSI 並非必然,但可能比大多數機構準備的更早到來。這些是公司預測和風險披露,不是已實現能力的證明。

TechCrunch 報道的原始標題、日期與引述來源是什麼?

報道引述的是 Anthropic 修訂後的 S-1/A 文件及其中新增的風險因素聲明。

學術上有沒有公認的 RSI 定義與可測量指標?

學術研究把 RSI 操作化為 AI 研究 agent 在迴路中改進自身或下一代 agent 的能力,並用 ALE-Bench、MLE-Bench 等基準測量改進幅度。這些基準可以顯示 agent 在特定任務上的提升,但沒有給出「RSI 已實現」的單一公認閾值。

有沒有獨立第三方實測過 Anthropic 模型具備自我改進能力?

英國 AISI 對 Claude Mythos Preview 做了網絡安全能力評估,發現其在專家級任務和模擬攻擊中的表現較前代提升。該評估針對網絡攻擊能力,不是 RSI 能力,也沒有回答模型能否自主設計並訓練繼任者。

香港私隱專員公署的模範框架對機構使用生成式 AI 有哪些要求?

模範框架為機構在採購、實施及使用 AI 時提供建議和最佳做法,協助遵守《私隱條例》。它覆蓋採購、實施和使用三個階段,機構可據此檢查供應商條款和內部流程。

數字政策辦公室的生成式 AI 指引對機構使用 AI 有何規定?

指引為開發者、服務提供者和使用者提供實務操作指引,涵蓋應用範圍、侷限、潛在風險與治理原則。它建議採用生成式 AI 服務的機構制訂內部政策或指引,訂明禁止用途,並建議使用者選擇不將共享資料用於訓練。指引也按行業列出重點。

若模型能力快速提升,香港企業在採購與風險管理上應查核哪些供應商文件?

可查核供應商系統卡或評估報告(評測了哪些能力、由誰評測、方法和範圍)、使用政策與資料條款(資料是否用於訓練、版本更新機制),以及供應商聲明的歸屬(公司預測、已披露事實還是第三方評測)。內部則按指引建立使用政策和私隱影響評估。

「接近 RSI」與「已實現 RSI」在風險討論中差別何在?

「接近」是公司對自身進展的評估和風險披露,Anthropic 同時表明沒有模型跨過門檻。「已實現」則需要可驗證的能力事實,包括能完全自主設計和訓練繼任者。TechCrunch 也指出 S-1 兼具披露和營銷功能,讀者應把公司聲明與獨立評測分開看。