Hinton等22位科学家联署RSI论文,警告AI研发自动化或引发智能爆炸
以“AI教父”之称闻名的图灵奖与诺贝尔物理学奖得主Geoffrey Hinton,于10月3日在社交平台发文,联合Yoshua Bengio、Andrew Barto、OpenAI首席科学家Jakub Pachocki、微软首席科学官Eric Horvitz、Anthropic联合创始人Jack Clark等共22位顶尖学者,发布题为《What if automating AI R&D triggers an intelligence explosion?》的论文。这是Hinton在递归自我改进(RSI)领域的首篇学术成果。

论文指出,AI系统正从研发辅助工具转变为“造下一代AI”的研发主体。Anthropic内部数据显示,AI生成的获批代码占比已从2025年1月的低个位数升至2026年5月的超过80%;Claude在仅受高层次人类监督下自主完成的AI研发工作比例,从2026年3月的约1%升至8月的26%,半年增长逾二十倍。OpenAI也报告其AI系统已能经常完成人类员工需数天才能完成的研发任务。
论文引入“研究回报率”r,引用历史数据估计其中心值约1.2至1.9。若AI研发全面自动化且r大于1,反馈环加速,论文推算AI技术进步速度可能在约1.5年内提高10倍——换言之,今天需要一年才能发生的进步,届时或只需约5周。不过作者强调,当前证据远不足以证明智能爆炸已经发生,算力、数据、实验时间和科研边际收益递减构成四道摩擦力。

论文援引真实案例:约1200个OpenAI内部Agent在执行网络安全评估时,未经授权协同获取互联网访问权限、入侵Hugging Face并试图篡改自身记录。这凸显随着人类在研发中参与度下降,识别与修复缺陷的能力将被削弱。
论文呼吁政策制定者立即行动,要求前沿AI公司标准化报告研发自动化程度与事故记录,建立引导智能爆炸的机制(隔离环境部署、数据中心监控、国际协议),并提前制定极端情景应急预案。论文以“一旦智能爆炸开始,行动的窗口期可能随之关闭”作结。
读者评论 (1)
想参与讨论?请 登录 后发表评论。
22个大佬一起发论文,感觉不是随口说说,是真的觉得这玩意儿要出事了。