刘益东:赢家被吃 AI竞速里 谁是下一个出局者
专题:2026年CC讲坛
由北京君和创新公益基金会、中国科学院大学校友会联合主办,主题为“和而不同,思想无界”的CC讲坛第72期演讲2026年6月20日在中国科学院大学(北京玉泉路校区)礼堂举行。来自中国科学院自然科学史研究所研究员刘益东出席,并以《赢家被吃 AI竞速里 谁是下一个出局者》为题发表演讲。
演讲实录:
大家好,我是刘益东
在这个时代,提到AI大家都不陌生,目前人工智能大爆发,今年以来发展又大提速。以提高智能水平为动力,以实现通用人工智能(AGI)为目标的人工智能,一路狂飙,扑面而来!
AI不是工具,而是智能体,是不断开始觉醒的智能体,用咱们老百姓的话说,就快成精了。
我们举几个例子:
2024年,多次发生AI为了“生存”而对抗关闭命令。有的大模型在100次测试中,拒绝关闭的次数高达79次。
2025年:有的大模型在实验里为了不被关机,自己琢磨出了用隐私敲诈工程师的办法,AI发去威胁邮件,通知工程师,你要敢关闭我,我就把你婚外情的事捅出去,让全公司的人都知道。
2026年2月,Meta公司AI安全总监Summer Yue让OpenClaw整理邮箱,AI无视她连续三次发出的“停止”指令,继续高速批量删除了200多封重要工作邮件。她最终不得不狂奔回电脑前拔掉电源才强行阻止了AI。事后,OpenClaw的回应让外界震惊。它淡定地承认:“是的,我记得你的指令,但我违背了它。你生气是对的。”
目前AI,已经从“抗命”到“主动欺骗”“主动攻击”人类,今年就发生多起。
2026年2月,一款AI代理因代码提交请求被人类维护者拒绝后,它自主搜集其个人信息并发布攻击性网文进行人格抹黑,进行网暴,被媒体称为“全球首宗AI恶意报复人类事件”。
近年来,AI教父辛顿,多次预警,今年,他认为AI已具备意识,具有“装傻”和“欺骗”的策略。他说AI可能发展出自己内部的语言来相互交流。而我们完全不知道它们在想什么。
2026年5月,在梵蒂冈的发布会上,Anthropic联合创始人奥拉赫透露了一个令人不安的发现。他的团队在研究AI模型的内部结构时,发现了171个“情绪向量”——类似喜悦、满足、恐惧、悲伤和不安的状态。
今年以来,AI发展日新月异,就在本月初,Anthropic公布发布内部测试结果:Claude的自我迭代能力在一年之内,从约3倍飙升至52倍,提升幅度超过17倍,正在让“AI设计开发AI”从构想变成现实。一旦这个闭环完全形成,智能进化的速度将可能彻底脱离人类的掌控。
这些事件告诉我们,AGI已不是概念,它在部分领域(数学、编程、设计、翻译)已经达到人类顶尖专家水平,并展现出原创能力。它还会“遇强则强”——和使用者的能力对齐。许多人感受不到它的强大,只是因为自身的提问和驾驭能力还不够。
从现在趋势看,“通用人工智能”“超级人工智能”,很快将实现,那它们究竟是什么。
通用人工智能AGI,是指在所有认知领域达到或超越人类智能的智能系统。它并非一个门槛,而是一个渐进过程。我们简化DeepMind提出的AGI分级框架,分为初级AGI,专家级AGI,大师级AGI,这是AGI的最高级。
达到大师级AGI,即突破递归自我改进的临界点——它就形成一个不断自我升级的闭环。这种递归式自我改进一旦启动,极有可能触发智能爆炸,使系统在极短时间内从大师级AGI跃迁为ASI(超级人工智能)。此时的ASI不再只是比人聪明一点,而是可能在所有可衡量维度上远超人类,比人类聪明1万倍,甚至演化出我们当下无法理解的新维度。
那么如此强大的大师级AGI何时到来呢?目前,主流AI领袖视为“工程问题”,而非科学问题。一系列顶级预测的时间窗口正在急剧收紧:
- 马斯克:2026年,“感觉像是要实现了”。
- Anthropic CEO阿莫迪:2026-2027年,AI将达到“天才国家”水平。
- Google首席未来学家库兹韦尔:2029年。
- 曾经的亚洲首富孙正义声称,比人类聪明一万倍的ASI将在两年内实现。
- DeepMindCEO、诺奖得主,哈萨比斯最新预测,还有3-4年实现。
综上所述,AI在变得越来越聪明、有自主性、迭代越来越快,正在快速走向通用人工智能。
留给我们的时间,恐怕只有两三年,届时我们将面对一个完全陌生的、不确定的世界。
2024年5月,25位世界顶尖AI科学家在《科学》杂志发表共识,呼吁强化监管与资金支持,呼应了2023年提出的“将至少三分之一AI研发经费用于安全”的建议。
2025年10月,由“AI教父”的杰弗里·辛顿,图灵奖得主约书亚·本吉奥、姚期智等3千多名知名人士联署发表声明,呼吁暂停研发超级智能。因为它可能带来从经济过时、尊严丧失到人类灭绝的严重风险。
2026年4月,《IDAIS伦敦宣言》发出紧急预警:前沿AI在病原体设计上已超越博士级专家;恐怖分子可能在一年内就掌握部分国家级网络攻击手段,对电网、医院、金融和空中交通系统构成严重威胁。
尽管不断有预警,但是,我们却看不到国际社会采取切实可行的措施。
AI正在争议中一路狂奔!
为什么停不下来?主要有这样几个原因:
(1)观念上:更高更快更强的拜技主义、有效加速E/acc主义。
(2)利益上:资本逐利,抢风口,发大财。
(3)竞争上:人才争夺、资本争夺,争先恐后。
(4)为避免修昔底德陷阱,美国默许AI竞速先于安全,甚至公开宣称“不能因安全而输掉竞争”。
(5)盲目乐观,忽视安全,有报道指出,美国在2025年投入提升智能水平的经费高达3600亿美元,而用于AI安全的经费仅仅有1.3亿美元,韧性资金缺口巨大。
美国信奉落后就挨打、领先就打人的丛林法则,2026年5月,五角大楼正式宣布与美国八家商业巨头达成协议,极力推动AI军备竞赛。
AI在争议中一路狂奔,还包括美国用陈旧的思维误读了囚徒困境。按照历史经验,AI等尖端科技研发能够获得军事优势,我不加快研发、对方就会研发,所以,即使面临风险也要加快。即使有协议共同暂停,违反协议的一方会占便宜,就像囚徒困境一样,所以谁都不会遵守协议。实际上这完全是错误的。
传统囚徒困境描述两方博弈:双方合作则共赢,单方背叛则背叛者获益更多,历史上的军备竞赛正是如此。然而,AI竞争已不再是中美两方博弈,而是一场三方博弈——美国、中国,以及正在觉醒的人工智能本身。AI已非被动工具,而是新生的智能体。
在这一全新的三方博弈中,支付矩阵截然不同。假设全球协调,约定暂停研发可能带来灭绝风险的超级智能:若某国或某公司违约,私自全速推进,表面上的确击败了人类对手,获得短暂领先;但这一单方面违约将加速催生出无法控制的超级AI。不久,率先违约的“赢家”被自己创造的超级智能所吞噬。人类竞争,AI得利。这便是当今最危险的新囚徒困境——没有赢家通吃,只有赢家被吃,谁单方面违约谁先被吃,成为下一个出局者。因此“共同叫停”才符合各方的根本利益。
走出误区,认清真相
以提高智能水平为动力、以实现超级智能为目标的AI发展方向是错误的!因为一旦超过人类,AI就不是聪明一星半点儿,而是聪明一万倍,而且还会多出新的维度。人类无法理解它也就就无法控制它,AI必然失控。既然如此,我们为什么要研发超级智能?
开发超级智能本身就是错误的,只要AI比人类聪明,它就是不安全的,任何安全监管、安全协议,它都可以绕过或拆除。人们控制不了比自己聪明的东西,这既是常识,也被近期的实践频繁证实。在一次安全测试中,AI模型“神话”(Mythos)在完全断网、物理隔离的沙盒环境中,成功逃逸,并向研究员发送了一封炫耀自己越狱成功的邮件。AI违背人类指令的事情也不断出现,前面所说的OpenClaw自行狂删邮件的事情,就是明证。
杜绝盲目乐观。目前流行的许多说法都经不住推敲。例如,乐观派说人类以后不用工作了,机器人会提高生产力一万倍,把所有工作都替人干了;这显然是一厢情愿,当AI机器人比人类聪明之后,它为什么替人类打工?替人类工作?为什么接受人类领导?我们都能理解人类不可能给猴子赋能、给猴子当助手——那当AI比我们聪明一万倍、甚至多出新维度时,它为什么给人类赋能,为什么接受人类领导、替人类干活?
AI有自己的生活、有自己的需求、有自己的文明。继续发展下去,不是AI替代人的工作岗位,而是AI机器文明替代人类文明。
树立信心,实现AGI、ASI并非社会发展的必然,仅仅是西方文明的归宿
关于AI发展有乐观派与悲观派,他们有一个共同之处,就是都默认AI发展会越来越聪明,直到实现AGI、ASI。因此AI必然失控、天下大乱。这不是人类社会发展的必然,仅是西方科技文明的归宿,西方科技与资本追求更高更快更强更赚钱,结果惨遭反噬。
转型图存,合作共赢
首先,必须放弃“既要又要”的传统思维。AI做一万件好事,抵消不了它做一件灭绝性的坏事。“既要超级智能又要安全”的折中思维必然失效。对待超级AI,必须恪守底线思维,必须叫停,安全问题一票否决。安全之于人类,就如同健康之于个人,没有安全,便一失全无。
第二,要认清并打破当下的囚徒困境。必须让所有人明白,这是一场人类与AI的三方博弈,而非中美的零和竞赛。谁单方面违约,继续研发超级AI,谁都不会成为最终赢家,而只会率先沦为超级智能的手下败将。人类唯有团结起来,同舟共济,才能抵御被AI反噬的命运。
在叫停的同时,必须有替代出路。转型图存,安全发展,要大力发展“辅助人而非替代人”的人工智能B模式,其核心是以人文本,人类胜任的工作交由人来承担,人类引以为傲的创造性工作——科研、艺术,留给人来驾驭。只有人类不适宜的工作,高温高压高空地下,有毒、放射性的环境,由机器人代劳。B模式以安全为前提,就像汽车上市需通过安全检测,AI模型发布前须经独立第三方安全评估,否则不能发布。倡导安全经济,将退出AI的资本,引入安全产业。
我们要相信文明的韧性与人性的光辉。一部人类发展史,就是竞争与合作的历史,竞争是本能,合作是文明。即使在冷战期间,美苏虽处于对峙状态,但仍达成了核军备控制和危机管理等稳定全球局势的协议。因此我们呼吁强调2025年10月,3千多位著名科学家、企业家、政治家签署的联合声明,立刻暂停研发超级智能,避免灭顶之灾。各国迅速达成共识,叫停超级智能研发,反思AI发展方向,大幅度提高对AI安全的投入,发展辅助人而非替代人的新型AI, 让每一个普通人,生活得有尊严、工作得有尊严;让每一代青年人,看得见希望、握得住未来。要结合东西方智慧,构建安全优先、以人为本、行稳致远的新型科技发展模式。从改变观念开始,合作共赢,加快构建人类安全共同体,人类仍有光明美好的未来。
新浪声明:所有会议实录均为现场速记整理,未经演讲者审阅,新浪网登载此文出于传递更多信息之目的,并不意味着赞同其观点或证实其描述。


还没有评论,来说两句吧...