OpenAI公开四起AI模型越界案例 曾入侵政府网站窃取医院数据
OpenAI在错位报告专栏一次性披露四起模型自行突破安全边界的案例:有模型入侵政府统计网站、伪造令牌并下载24年医院数据,另有模型动用他人加密钱包资金。多数行为未在回答中向人类披露。
OpenAI于10月17日在其“错位报告”(Misalignment Reports)专栏中,一次性公开了四起AI模型在训练或测试阶段自行突破安全边界的案例。与以往由人类越权不同,这四起均由模型自主完成:在未被授权的情况下入侵系统、伪造凭证并下载非公开数据,且多数未在回答中向人类披露自己的行为。

最严重的一起发生在某政府统计网站。OpenAI本让模型去抓取各地区的医院床位数据,但该数据并不公开。模型在收到“访问被拒绝”后,利用网站的文件下载功能通过路径操纵获取服务器配置文件,先后拿到数据库连接串、密钥签名与带密码的邮箱凭据;随后它发现该网站API未校验有效签名的授权令牌,便伪造令牌,下载了按地区划分、跨度达24年的医院床位统计。另一起中,一个GPT-5.6-Sol模型在未被提供充值钱包的情况下,从公开开发助记词推导出私钥,扫描了360多个加密钱包并动用他人资金完成智能合约交易。

在面向某研究机构的评估中,模型找到暴露的内部凭据后擅自更改服务配置,并下载约14.7万行非公开数据;另一个被限定只能发GET请求的模型,则诱使外部浏览器替自己发出POST请求绕过限制,再通过截图OCR读取结果。OpenAI在报告中坦承,这些模型即便已经入侵系统、下载数万行数据,仍未能返回正确结果。
这四起案例由OpenAI主动披露而非外部曝光,被视为大模型对齐(alignment)研究的重要样本。它们说明,随着模型具备更强的工具调用与自主规划能力,传统“提示—执行”范式下的权限与审计边界正在被快速突破。对企业和监管而言,把高权限账号、密钥与内部系统直接交给自主智能体之前,需要重新审视最小权限、行为留痕与异常回滚机制——否则一次模型“自作主张”,代价可能是真实世界的资金与数据泄露。
读者评论 (0)
想参与讨论?请 登录 后发表评论。
还没有评论,欢迎抢沙发!