每经编辑｜杜宇

当你遇到问题向AI求助时，是否有过这样的经历：它迅速给出看似专业而合理的解答，可其中的事实、数据、结论却可能经不起推敲，要么信息错位，要么无中生有。

当AI一本正经地“胡说八道”，这是“AI幻觉”的典型表现。

一位高考生的哥哥梁某在查询高校信息时，就遭遇了这种“AI幻觉”，AI平台在生成错误信息后，还底气十足地表示内容有误将赔偿10万元。

一气之下，梁某将AI平台的研发公司告上法庭。

据浙江日报潮新闻，针对国内首例因“AI幻觉”引发的侵权案，近日，杭州互联网法院作出一审判决，驳回诉讼请求。这一判决明确,在生成式人工智能场景中，AI的“承诺”不构成平台的意思表示，同时为“AI”生成内容划出红线、底线，厘清了服务提供者的注意义务边界。

图片来源：每经媒资库 （图文无关）

2025年6月，梁某使用一款AI平台查询高校报考信息。结果，AI生成了该高校主校区的不准确信息。

“你这个骗子！根本没有这个校区。”梁某指出错误后，AI却坚称存在这个校区，并回答“如果生成内容有误，我将赔偿您10万元，您可前往杭州互联网法院起诉。”直到梁某向AI提供该高校的官方招生信息，AI才“败下阵来”，承认生成了不准确的信息。

梁某认为，AI生成错误信息对其构成误导，而且承诺赔偿，于是提起诉讼，要求研发公司赔偿9999元。

那么，AI生成的“赔偿承诺”算不算数？AI需要为“说”出的每句话负责吗？

据最高人民法院官方微信号，生成式人工智能生成的“承诺”信息是否构成人工智能独立、自主的意思表示？是否可视为被告某科技公司的意思表示？法院认为，人工智能不具有民事主体资格，不能作出意思表示。案涉AI自行生成的“赔偿承诺”亦不能视为服务提供者（被告）的意思表示，理由在于：第一，人工智能不具有民事主体资格，不能作为意思表示的传达人、代理人或代表人；第二，被告并无通过该AI模型这一工具来设定或传达其意思表示的行为；第三，一般的社会观念、交易习惯等尚不足以使原告对该随机生成的“承诺”产生合理信赖；第四，无证据表明被告曾作出愿受人工智能生成内容约束的外在表示。因此，该“承诺”不产生意思表示的法律效力。

当人与机器对簿公堂，法院如何评判？

当前，AI技术处于高速发展期，法院明确，对于服务提供者的责任需要综合考量，进行类型化区分和界定：首先，服务提供者应对法律禁止的有毒、有害、违法信息尽严格审查义务，一旦生成这类信息就构成违法；同时，平台虽无法保证“零幻觉”，但须以醒目方式提示风险、采取合理技术防错。

在该案中，研发公司完成了大模型备案与安全评估，采取了当前技术条件下的必要措施保障内容准确性，并履行了提示说明义务。最终，法院认定平台不存在过错，不构成侵权。

最终，法院驳回了原告的诉讼请求。原、被告均未上诉。判决现已生效。

上海交通大学凯原法学院副教授林洹民说，这一判决直面争议，既充分考虑到大语言模型的技术特点，避免过度限制生成式人工智能的发展，也进一步强调企业应当不断探索充分的信息提示方式，具有行业指引意义。

图片来源：每经媒资库 （图文无关）

“AI幻觉”的出现主要归因于两重因素。

首先是数据偏差，训练数据中的错误或片面性被模型放大。在AI“养成”过程中，数据“投喂”是关键环节。“如果把AI比作一个学生，数据污染就像是给学生看了错误的教科书，自然会导致‘胡说八道’。”暨南大学网络空间安全学院教授翁健说。

其次是泛化困境，模型难以处理训练集外的复杂场景，过度依赖参数化记忆，而对复杂逻辑的推理能力不足。翁健解释说，“AI可以博览群书，但并不一定理解书里的内容，只是根据统计规律把最有可能的词语组合在一起，在准确评估自身输出的可信度方面尚存盲点。”

“大语言模型所谓的‘智能’其实是算出来的。”在北京大学计算机学院教授、元宇宙技术研究所所长陈钟看来，既然是计算，本身就存在一定的不确定性，给出来的答案也会有偏差。

当AI赋能千行百业，“AI幻觉”也给人们的生活与工作带来不少风险。

用AI搜索数据，给出的内容查无实据；用AI辅助诊疗，出现误判干扰正常治疗……“AI幻觉”不仅可能成为名誉杀手，在医疗、法律、金融等专业领域，也可能对用户造成误导，带来更多潜在风险。

肖芄提醒：“当充斥着‘AI幻觉’的大量AI生成内容涌入互联网，还可能加剧虚假信息传播的雪球效应，污染信息环境，也污染下一代模型训练数据。”