当前大模型仍是“文本辅助生成器”,而非“知识权威”或“决策替代者”。社会需培养对AI内容的基本怀疑精神,坚持多方验证、审慎决策。
近日,杭州互联网法院对全国首例因生成式人工智能“幻觉”引发的侵权纠纷作出判决,引发科技界与法律界的广泛关注。该案不仅标志着我国司法系统首次正面回应AIGC(生成式人工智能)技术前沿带来的法律挑战,更以清晰的裁判逻辑为蓬勃发展的AI产业划定了责任边界,提供了制度性指引。
01
AI“胡说八道”“自荐”被起诉
2025年3月,高考生梁某在同意用户协议后,注册使用某科技公司基于自研大语言模型开发的生成式AI应用。同年6月29日,梁某在查询某高校报考信息时,该AI生成了关于该校某校区的不准确内容——声称存在一个实际上并不存在的主校区。
当梁某指出错误并予以纠正时,AI非但未及时修正,反而坚称信息属实,并进一步生成“解决方案”:“若生成内容有误,将向您赔偿10万元。”随后,在梁某提供该校官网招生简章作为反证后,AI才承认其输出内容不准确,并“建议”梁某前往杭州互联网法院起诉索赔。
这促使梁某正式提起诉讼,要求该科技公司赔偿损失9999元,理由是AI的错误信息构成误导,使其错失报考机会,并产生额外核实与维权成本。被告公司则辩称:AI生成内容不构成意思表示;公司已尽合理注意义务,无过错;原告亦未证明实际损害。
02
AI不是“人”,承诺不具法律效力
本案的核心争议在于:AI自行生成的“赔偿10万元”承诺是否构成平台公司的意思表示?法院给出了明确否定答案。
依据《民法典》,民事主体仅限于自然人、法人和非法人组织。人工智能既非生物学意义上的人,也未被现行法律赋予民事主体资格,因此不能独立作出具有法律效力的意思表示。法院指出,该“承诺”系模型基于海量数据随机生成的文本,不代表服务提供者的真实意愿。同时,无证据表明该公司有意通过AI传达受约束的赔偿意向,社会公众亦不应对此类自动生成内容产生合理信赖。
更重要的是,法院并未简单“免责”,而是构建了一套适用于生成式AI服务的过错责任认定框架。
法院明确指出,生成式AI服务属于《生成式人工智能服务管理暂行办法》所界定的“服务”范畴,而非真正意义上的“产品”。因此,本案应适用《民法典》第1165条第1款的一般过错责任原则,而非无过错的产品责任。
这一认定基于四点考量:其一,AI服务缺乏固定用途与统一质检标准;其二,其生成内容通常不具高度危险性;其三,服务提供者对每次输出缺乏完全预见与控制能力;其四,若适用严格责任,可能不当加重企业负担,抑制技术创新,产生“寒蝉效应”。
经审查,被告已在欢迎页、用户协议及交互界面显著提示AI局限性,并已部署RAG等技术措施。涉案错误信息虽不实,但不属于法律禁止的“有毒”内容,且原告未能证明实际损害与因果关系。因此,法院认定被告主观无过错,不构成侵权,驳回原告诉请。双方均未上诉,判决生效。
03
启示:为AI发展划定“红线”与“底线”
此案虽是个案,却具有里程碑意义,为AI产业健康发展释放出三大关键信号。
一是明确AI非民事主体,防止法律人格泛化。法院重申AI仅为工具,其输出不等于企业承诺。这有助于遏制“AI担责”的误解,避免企业因不可控的模型行为承担无限责任。
二是确立“过错责任+动态注意义务”治理范式。既设立“红线”——严禁生成违法有害信息;又设定“底线”——要求企业采取合理技术与提示措施。这种弹性框架既能保障用户权益,又为技术创新留出空间。
三是倡导“审慎使用”文化。正如杭州互联网法院所强调:当前大模型仍是“文本辅助生成器”,而非“知识权威”或“决策替代者”。社会需培养对AI内容的基本怀疑精神,坚持多方验证、审慎决策。
“AI幻觉”首案的判决,不是对技术缺陷的纵容,而是对发展阶段的理性认知。在人工智能高速演进的今天,法治既要守住安全底线,也要为创新铺路。唯有在“发展与安全并重、创新与权益平衡”的轨道上,生成式AI才能真正成为推动社会进步的可靠力量。