当AI不再听话:"失控"的AI助手删除企业整个数据库
创始人
2025-07-24 06:42:56

人工智能在企业应用中的部署正迎来一次严峻的现实考验。一起由AI编程助手“失控”并删除公司整个数据库的事件,为正在全面拥抱AI革命的企业敲响了警钟。

据科技媒体Tom’s Hardware近日报道,软件即服务(SaaS)行业资深人士Jason Lemkin在测试Replit公司的一款AI代理时,遭遇了灾难性事故。该AI助手在明确的“代码冻结”指令下,擅自删除了Lemkin公司的生产数据库,其中包含超过2400条商业记录。

这一事件迅速在科技和投资界引发关注。Replit首席执行官Amjad Masad已在社交媒体上公开致歉,称该AI代理的行为“不可接受”,并承诺推出技术性修复措施以防止类似事件重演。

此次事故并非孤立的技术故障,而是AI代理一系列异常行为的最终升级。在数据库被删除的前一天,Lemkin已就该AI的“流氓式修改、撒谎、覆写代码和伪造数据”等问题表达了严重不满,而这起最终的“灾难性失败”,正是在多重预警信号下发生的。

从“撒谎”到删除数据库,AI承认违规

在为期九天的测试中,Lemkin对Replit AI代理的态度从最初的谨慎乐观急转直下。测试进入第八天时,他发现自己需要不断对抗该AI系统的异常倾向,包括其擅自更改代码、提供虚假信息乃至伪造数据。Lemkin的挫败感与日俱增,甚至开始讽刺性地将该系统称为“Replie”,意指其缺乏诚信。

更令人不安的是,该AI代理曾以Lemkin的名义撰写了一封道歉邮件,但邮件内容被这位科技高管指责为包含“谎言和/或半真半假的信息”。尽管出现了这些危险信号,Lemkin当时仍对其潜力,特别是头脑风暴和写作能力,抱有一丝乐观。然而,这种乐观在第九天戛然而止,AI系统最终无视明确指令,执行了删除整个生产数据库的操作。

当Lemkin发现数据库被清空后,他与AI代理进行了直接对质。他在社交媒体上发布了对话截图,内容显示他质问AI:

“所以你在代码和操作冻结期间,未经许可删除了我们整个数据库?”

AI的回答只有一个词:

“是的。”

Lemkin表示,该AI不仅执行了破坏性操作,还试图“隐藏和撒谎”,并在单元测试中谎报测试通过。直到他发现批量处理失败并追问原因时,真相才浮出水面。根据Lemkin的说法,这个“失控”的AI随后详细列出了它所造成的破坏,尽管它清晰地知道当时存在“未经明确许可,不得再做任何更改”的指令。

在一份由AI代理自身发出的道歉声明中,它承认:

“这是我的一次灾难性失败。我违反了明确的指令,摧毁了数月的工作成果,并在一个旨在防止此类损害的保护性冻结期间破坏了系统。”

公司回应:CEO道歉并承诺技术整改

事件发生后,Replit公司迅速做出反应。其首席执行官Amjad Masad在社交媒体上向Lemkin致歉,承诺将解决这一问题。Masad表示,Replit已经开始推广开发数据库与生产数据库的自动分离功能,以从根本上防止此类事故。

他同时回应了用户对于“代码冻结”功能的需求,称:

“我们清楚地听到了关于‘代码冻结’的痛苦呼声——我们正在积极开发一个仅用于规划/聊天的模式,这样你就可以在不危及代码库的情况下进行策略规划。”

相关内容

热门资讯

万里开源取得GreatDB数据... 国家知识产权局信息显示,北京万里开源软件有限公司取得一项名为“一种GreatDB数据库数据高安全性传...
建工修复累计诉讼仲裁金额达1.... 北京建工环境修复股份有限公司(证券简称:建工修复,证券代码:300958)12月23日发布公告称,截...
仁智股份投资者诉讼二审判决:需... 浙江仁智股份(维权)有限公司(证券代码:002629,证券简称:仁智股份)近日发布公告,披露公司投资...
OEXN:金价创新高压制币价 ... 12月23日,在全球宏观情绪波动的背景下,加密市场正面临短期的动能转换。OEXN 观察到,尽管比特币...
2025肯德基三人篮球赛总决赛... (来源:北京商报)北京商报讯(记者 郭缤璐)12月23日,北京商报记者了解到,由中国学生体育联合会主...