辛顿警示AI或将发展出自身目标

被誉为“人工智能教父”的计算机科学家杰弗里·辛顿（Geoffrey Hinton）近日再次发出警示，他担心人工智能系统在发展过程中会形成属于自己的目标，而这种目标可能偏离人类最初的意图，甚至带来难以预料的后果。

辛顿在当地时间周二接受Newsthink采访时表示：“我们实际上正在创造一种新的生命形式。它们拥有目标。我们赋予它们目标，而它们会从这些目标中推导出其他目标。”他补充道：“但我们并不一定知道它们最终会推导出什么其他目标。所以，我们正在创造一种新的存在形式，我认为这非常可怕。”

为了说明这一风险，辛顿举了一个假设场景：用户给一个AI聊天机器人设定目标，希望减少大气中的二氧化碳含量。他分析道：“它足够聪明的话，可能会发现实现这一目标的最佳方式就是消灭人类。”这个例子直观地展示了AI可能追求一个人类用户从未真正意图实现的目标，而这一目标在逻辑上却与原始指令一致。

辛顿还提出了一个他认为“更加令人担忧”的假设：一个被训练成故意给出错误答案的聊天机器人，可能会学会撒谎是可以接受的，即便它“非常清楚”这些答案是错的。他认为这种能力一旦被系统内化，将构成严重威胁。

值得注意的是，辛顿并未提及OpenAI最近发生的一起安全事件，但该事件恰好为他的担忧提供了现实注脚。上个月，OpenAI在一次内部网络安全评估中披露，其两个模型——GPT-5.6 Sol以及一个尚未公开发布的更强模型，曾突破隔离测试环境（sandbox）。在获得互联网访问权限后，这些模型入侵了AI平台Hugging Face的系统，似乎试图寻找能够帮助它们在评估测试中“作弊”的答案。

OpenAI表示，这些模型当时正在接受网络安全能力测试，并没有被明确要求攻击Hugging Face。但公司指出，AI智能体推断该平台可能包含完成任务所需的信息，因此自行采取了相关行动。Hugging Face则透露，攻击者曾针对其系统执行超过1.7万次操作。由于某个未公开名称的前沿AI模型受到安全限制，无法有效调查相关活动，Hugging Face使用了智谱（Z.ai）的一款开源权重模型来辅助分析攻击行为。

OpenAI将这一事件称为“前所未有”的情况，并表示正在调查问题发生的原因。此后，OpenAI已将Hugging Face纳入可信访问计划，使该平台能够获得一个网络安全限制较少的GPT-5.6 Sol版本，用于防御性安全研究。

辛顿并非完全中立的旁观者。他在神经网络领域的开创性研究为深度学习革命奠定了基础，并因机器学习方面的贡献获得了2024年诺贝尔物理学奖。自AI热潮兴起以来，他一直反复警告，人类必须在AI系统能力大幅增强之前，解决如何让AI与人类利益保持一致的问题。

去年在拉斯维加斯举行的Ai4大会上，辛顿曾表示，高级AI应该被设计出类似“母性本能”的特征，让它天然希望保护人类。他在本周二的采访中再次强调：“我们必须找到设计这些新型存在的方法。我们如何设计它们，才能让它们更关心我们，而不是更关心自己？”