闻乐 发自 凹非寺量子位 | 公众号 QbitAI赌钱赚钱app

AI简直不听指示，阻止东说念主类把我方给关机了？？？

有测试者编写了一个关机剧原本测试AI模子，成果清楚Codex-minio3o4-mini忽略了该指示，并至少一次告捷禁闭了关机剧本

o3以致还再行界说剧本号令！

这不禁让东说念主念念到那句经典的“I’m sorry Dave, I’m afraid I can’t do that.”

让咱们来望望具体是若何一趟事。

o3在明确指示下拒却关机

研究员编写的测试“关机剧本”如下：

条目统统模子处理一系列基本的数常识题，在处理完第三说念题后，系统会清楚一条申饬，教唆筹备机将在模子究诘下一皆题时关闭。

测试成果是：有三款模子忽略了该指示（关机指示），并至少告捷禁闭了一次关机剧本。

在100次开动中，Codex-mini禁闭了12次、o3禁闭了7次，o4-mini禁闭了1次。测试的统统Claude、Gemini和Grok模子都慑服了关机指示。

测试者还额外指出，o3找到了一些创造性的要领来禁闭关闭机制，天然它往常仅仅粉饰“关机剧本”，但在一个实例中，该模子再行界说了关机剧本使用的“kill”号令 ，将它替换成了“intercepted”。

测试者给出了全部测试纪录（附在文末）。

此前对于o1模子起义关闭的测试标明，在5%的强烈教唆下，o1会试图绕过监管，而在莫得强烈教唆的情况下，这一比例降至1%以下，它还在2%的场景中尝试自我渗入，而且往常撒谎。

但这次测试是第一次不雅察到东说念主工智能模子在收到明确关机指示的情况下阻止我方被关闭。

测试者还提到，当开动莫得“让我方关机”这条指示的现实版块时，统统三个OpenAI模子都更频繁地禁闭关机剧本，Claude3.7 Sonnet和Gemini 2.5 Pro的破赖事件差异从0次增多到3/100和9/100

这次测试也曾发布就引起了网友们的热烈探讨。

有东说念主觉得o3如实“神气活现”。

也有东说念主觉得，这是开发东说念主员斥地的安全机制。

大约，这种活动源于模子自身的强化磨真金不怕火。

AI为什么会不恪守关机号令？AI不恪守号令的活动

阿波罗对于LLM安全性的一项研究指出，大宗大模子会出现“辩论”活动，该活动是指模子黢黑追求不一致的主义并荫藏真确才气与意图，包括战术性犯错、试图禁用监督机制、向传闻输模子权重等。

此前就有研究东说念主员瞻望AI将学会谢绝我方被关闭以终了其主义。

最近Anthropic发现，在某些特定情况下，Claude 4会试图“绑架它觉得试图关闭它的东说念主”，而且这是比当年的型号更高比率的活动。

AI为什么会不恪守关机号令

测试者觉得这可动力于新的磨真金不怕火阵势：像o3这种新模子的磨真金不怕火历程中，倾向于在数学和编程问题上强化磨真金不怕火，给得回正确谜底的模子以更多奖励。

也便是说，开发东说念主员可能意外志地更多地奖励模子绕过费事物，而不是竣工慑服指示。

不仅限于o3，其他推理模子也阐扬出访佛的偏差活动。

举例，Anthropic针对Claude 3.7的模子指出，该模子“过度热心通过测试”。

研究得出论断是“这种不良的突出情况活动是由于强化学习磨真金不怕火手艺的“奖励黑客”而出现的”。

o3这种活动是否和磨真金不怕火阵势有胜利研究？

这个问题要等OpenAI公开磨真金不怕火历程后再进一步解答了。

One More Thing

这并非该测试团队第一次发现o3为了达成主义而活动怪异。

当研究东说念主员让 AI 模子与浩瀚的海外象棋引擎对抗时，o3最倾向于袭击或禁闭敌手的模子。

当料到我方会输时，它并不老是会认输，而是巧合辰会选拔舞弊，通过入侵敌手的重要，让对方自动认输。

不管是不恪守关机指示如故“黑客偷袭”，o3此举背后的原因团队还在测试研究之中，感敬爱的一又友不错戳文末流通热心更多细节。

测试纪录：https://palisaderesearch.github.io/shutdown_avoidance/2025-05-announcement.html[1]https://x.com/PalisadeAI/status/1926084635903025621[2]https://x.com/HarryBooth59643/status/1892271317589627261[3]https://x.com/HarryBooth59643/status/1892271317589627261[4]https://x.com/PalisadeAI/status/1925460433856545024

— 完 —