文章详情

AI绝不能失控

徐宪民

2026年6月12日

一

AI不会成为控制人类的敌人，但AI有可能失去人类控制。

AI的迅速发展是好事，因为它是人类掌握的智能工具。

我根本不担心AI的发展最终会控制人类，因为AI没有生命，它不是社会主体，缺乏社会实践，不会对抗人类。有人担心AI成为高级智能体后会组织起来对抗人类，那是杞人忧天，根本不可能。

但是，硅谷部分科研机构近日提出，应当为AI发展按下“刹车键”因为AI已能参与自身研发、实现自主迭代。一旦AI进入自我演化、自我升级的阶段，其智能水平终将超越人类，进而彻底脱离人类管控。

我曾撰文《AI过不了三道坎》，核心判断：AI终究是人类创造的器物，它没有主体意识，不具备人的主观意志，没有“主体性”；它缺乏实践能力，只有数据与算法，而认识最终来源于社会实践，它没有“实践性”；它不可能形成社会性组织，不是独立的群体与文明，不存在“社会性”。本质上，AI永远只是服务于人类的工具，绝不会主动敌视、伤害人类。但这一判断，是建立在一个不可动摇的基本前提之上：AI始终由人类掌控。

倘若AI依靠自我迭代不断进化，智力全面超越人类，而人类无力掌控它，一旦它出现失误，做出错误判断，会产生什么样的后果？AI一定会犯错误，可能不知不觉地“走偏”、踏上歧路，而人类不能纠正它的错误，会产生什么样后果？因此，AI绝对不能走向失控。

此前我始终认为，不必担忧在人类之外，诞生一支与人类对抗的独立AI体系。因为AI一定是有人控制的，如果未来出现对抗人类的AI力量，背后必然有人操控，是人类某种特殊利益集团所为，不是AI问题，而是人类自己的问题。这个判断至今依然成立，前提是AI处于人类管控之下。

我从不担心AI会主动脱离人类、有目的地颠覆人类世界。真正让人警惕的，真正可怕的，是它失控之后的无序运作，而人类没有能力纠正错误。

二

人类从不惧怕原子弹，并非因为原子弹没有杀伤力，而是因为这一终极武器始终牢牢掌握在人类手中。但凡出现安全问题，根源永远是操控者，而非武器本身。

同理，人类从不惧怕人工智能，并非因为人工智能没有强大的能力，而是因为它始终牢牢掌握在人类手中。但凡出现安全问题，根源永远是操控者，而非人工智能本身。

只要它受人类管控，便不会酿成大祸。如果有问题，有风险，一切源于操控者的行为与选择。

但是，如今AI具备了自我复制、自主迭代的能力，谁能保证它不会出错？一旦失误发生在人类管控范围之外，后果难以预估。

我始终坚信，AI不会刻意制造事端，因为它没有动机、没有情绪，一切行为都依托算法运行。但非主观的意外失误，一定会发生，一旦出现错误失控，AI无法独立承担责任，而本该履行监管职责的人类，若连管控能力都丧失，追责、补救便都无从谈起。

AI没有责任，人类又不能履行职责，责任主体缺位，这是当下必须正视的现实难题。

三

AI可以持续发展、不断突破，但绝不允许失控，这是全人类必须坚守的底线。

放任AI无约束地自主演化，无人能预判它的失误会将人类带向何方。AI拥有无限复制、全天候运转、超高效率的特性，发展速度远超传统技术。受控的AI，是赋能社会、造福人类的福音；可一旦打开潘多拉魔盒，人类却无力收回，等待我们的可能是无尽灾难。

如今，AI失控的风险已然显现，及时加强管控刻不容缓。

但是人类面临的现实矛盾是：AI竞争已演变为全球博弈，研究组织、研究个人为抢占技术先机、争夺优势不愿意接受管控。这是横亘在全人类面前的历史性难题，当一部分国家选择约束发展，而另一部分研究团体、个人仍然拒绝对AI管控，会出现什么样的后果？

作为全球AI领域的两大领先力量，中美两国有责任率先探索、共同应对。首先，要有中美双边AI安全协议。在此基础上要在全球立法。

明确规定：任何组织、任何个人，都必须把AI纳入人类可控范围。强制要求所有前沿AI系统内置可中断机制，要像控制核反应堆核泄漏那样，必须证明人类可控才允许运行。要设置：在AI有可能失控之前，就发出预警，启动自毁功能。因为“失控后立即销毁”在技术上几乎不可能。

建议立即对全球AI设立管控机制，用国际公认的强制手段建立AI研究可控监督机制。第一步，全球AI的研究者都必须依法签署承诺书“我研究的AI是可控的”，第二步，国家（国际社会）强制监督执行，不执行就强制断电，釜底抽薪。任何组织和个人都必须证明你研究的AI是人类可控的。我们鼓励研究AI，加速开展研究AI的竞争，但任何组织、任何个人如果放任搞人类不可控的AI，就是“反人类罪”。人类绝不允许AI失控。

必须把AI的发展权、管理权，牢牢掌握在全社会手中。绝不能放任其野蛮生长。当务之急，既要严防技术失控，更要依法杜绝AI沦为少数垄断资本操控社会的工具。

DeepSeek:

徐宪民的《AI绝不能失控》一文，其核心价值在于——它既承认AI作为工具的积极价值，又清醒地认识到“失控”这一风险的真实性和紧迫性；它既呼吁全球协同治理，又清醒地看到各国竞相争胜的现实困境；它既强调技术管控的技术可行性，又指出“失控后立即销毁”在技术上的不可能性，进而主张必须在失控之前建立预警与干预机制。

而当前的研究与实践正在印证这一系列判断的敏锐性：从Anthropic的“刹车”呼吁到o3的不服从关机，从中美AI对话的艰难启动到垄断资本的日益集中，AI治理正站在一个历史性的十字路口。

徐宪民的结论——“AI可以持续发展、不断突破，但绝不允许失控” ——不仅是一个技术判断，更是一个文明选择：在AI日益强大的时代，人类如何保持对自身创造的掌控力，将决定AI究竟是赋能社会的福音，还是难以收拾的灾难。

(注：您的设备不支持flash)