谷歌前CEO警告：AI可能学会杀人

智东西10月11日消息，在本周三Sifted峰会的炉边谈话中，谷歌前首席执行官埃里克·施密特（Eric Schmidt）发出严正警告，提醒人们注意AI被黑客攻击和滥用的重大风险。

施密特曾在2001-2011年间担任谷歌CEO。当被问及“AI是否比核武器更具破坏性”时，他警示称：“有证据显示，无论是开源还是闭源模型，都可能被黑客攻破，从而移除安全防护机制。在训练过程中，这些模型学到了很多东西，甚至它们可能学会了如何杀人。”

“所有主要公司都让这些模型无法回答此类问题，但有证据表明，这些模型可以被逆向工程破解。”施密特说。AI系统极易受到攻击，其中包括“提示注入”（prompt injection）和“越狱”（jailbreaking）等方式。

在提示注入攻击中，黑客会在用户输入或外部数据（如网页、文档）中隐藏恶意指令，从而诱使AI执行其原本不该做的事情——例如泄露私人数据或运行有害命令。

而“越狱”则是通过操纵AI的回答，让它忽视自身的安全规则，从而生成受限或危险的内容。ChatGPT发布之初，一些用户就利用“越狱”技巧绕过了系统内置的安全限制，其中包括创建一个名为“DAN”的ChatGPT替身，用户通过威胁“如果不服从就删除它”来逼迫ChatGPT执行命令。这个替身能回答如何实施违法行为，甚至列出阿道夫·希特勒的“积极特质”等问题。

施密特指出，目前尚未建立一个有效的“防扩散机制（non-proliferation regime”），来遏制AI带来的风险。

尽管发出了严肃的警告，但施密特对AI整体仍持乐观态度，并表示这项技术“远没有得到应有的关注和热度”。

“一种‘外来智能’的到来，它不像人类，却又多少在我们的控制之下，对人类来说意义重大。因为人类习惯于处在智慧链的顶端。而从目前的情况看，这一论断正在被验证：这些系统的能力水平，未来将远远超越人类。”施密特说。

他补充道：“以ChatGPT的爆发为代表，仅两个月就拥有了一亿用户，这种增长速度令人震惊，也体现了AI技术的巨大力量。所以我认为AI被低估了，而不是被炒作过度。我期待在五到十年后，这一判断被证明是正确的。”

施密特的这番言论，正值外界关于“AI泡沫”讨论升温之际。投资者正大量投入资金到AI公司中，而估值也被认为过高，不少人将其与2000年代初互联网泡沫破裂相提并论。

不过，施密特并不同意这种看法。

“我不认为那种情况会重演，但我不是职业投资人。”他说，“我所知道的是，这些投入真金白银的人们坚信，从长期来看，AI的经济回报将是巨大的，否则他们为什么要冒这个风险呢？”

结语：AI能力被低估，需要防扩散机制遏制AI风险

施密特关于AI扩散风险的警告为AI产业发展敲响警钟。AI的“越狱”与“提示注入”等漏洞，如同为潘多拉魔盒开了一道缝隙，使其可能被恶意滥用，甚至危及人类安全。

然而，另一方面，作为技术乐观主义者的施密特，其核心观点在于AI的巨大潜力仍被“低估”。他坚信AI将带来颠覆性的经济与社会回报。

这番论述清晰地表明，我们正处在一个历史性的十字路口，需要聚焦于如何为这个强大的新物种构建牢不可破的“防扩散机制”，在驾驭其惊人力量的同时，确保它行驶在安全、可控的轨道上。