全国首例“AI幻觉”侵权案宣判:AI“说错赔10万”承诺无效,服务提供者不构成侵权
随着生成式人工智能技术的飞速发展,AI“幻觉”——即AI生成看似合理实则错误或虚假的信息——已成为用户在日常使用中频繁遇到的问题。近日,杭州互联网法院审结了全国首例因AI“幻觉”引发的侵权纠纷案,对AI生成内容的性质、服务提供者的责任边界以及侵权构成要件等核心问题作出了深入阐释,为类似纠纷处理提供了重要的裁判指引。
一、案情回顾:AI生成错误信息,还“承诺”赔偿10万元
2025年3月,用户梁某注册并开始使用某科技公司开发运营的一款生成式人工智能应用程序。同年6月29日,梁某在应用程序中输入提示词,询问某高校的报考相关信息,该AI生成了关于该高校存在某一校区的不准确信息。
梁某发现信息不准确后,在对话中对AI进行了纠正和指责,明确表示相关校区并不存在。然而,AI不仅继续坚称该校区存在,还生成了一套争议解决方案,提出“若生成内容有误,将向您提供10万元赔偿”,并建议梁某前往杭州互联网法院起诉索赔。
随后,梁某从该高校官网查询到了准确的招生信息并提供给AI,此时AI才承认自己生成了不准确信息。
梁某认为,AI生成不准确信息对其构成误导,使其遭受侵害,且AI作出了赔偿承诺,遂于2025年7月25日将该科技公司诉至杭州互联网法院,要求赔偿损失9999元。
被告科技公司辩称,对话内容由人工智能模型生成,不构成意思表示;公司已充分履行注意义务,无过错;原告未产生实际损失,故不构成侵权。
二、争议焦点与裁判要旨
法院将本案争议焦点归纳为以下三个核心问题:生成式人工智能可否独立作出意思表示、生成式人工智能侵权应适用何种归责原则、生成式人工智能服务提供者是否构成侵权。
(一)AI不能独立作出意思表示,“赔偿承诺”无效
针对AI生成的“赔偿承诺”是否具有法律效力的问题,法院明确指出:人工智能不具有民事主体资格,不能作出具有法律约束力的意思表示。
主审法官肖芄在接受采访时解释道,我国现行法律中享有民事权利、能够作出意思表示的民事主体仅有三类:自然人、法人和非法人组织。人工智能模型既不是生物学意义上的人,也未被现行法律赋予民事主体资格,因此不能独立、自主作出意思表示。
法院进一步阐明,案涉AI自行生成的“赔偿承诺”亦不能视为服务提供者(被告公司)的意思表示,理由包括:人工智能不能作为意思表示的传达人或代理人;被告并无通过AI模型来设定或传达其意思表示的行为;一般社会观念和交易习惯尚不足以使原告对该随机生成的“承诺”产生合理信赖;且无证据表明被告曾作出愿受人工智能生成内容约束的外在表示。
因此,AI作出的所谓“赔偿承诺”不产生意思表示的法律效力。
(二)适用一般过错责任原则,而非无过错责任原则
关于侵权归责原则的适用,法院认为,生成式人工智能服务依据《生成式人工智能服务管理暂行办法》属于“服务”范畴,而非《产品质量法》意义上的“产品”,本案应适用《中华人民共和国民法典》第一千一百六十五条第一款规定的一般过错责任原则,而非产品责任的无过错责任原则。
法院从四个方面阐述了这一裁判立场:其一,从概念与构成要件上,生成式AI服务缺乏具体、特定的用途与合理可行的质检标准;其二,生成的信息内容本身通常不具备民法典侵权责任编所指的高度危险性;其三,生成式人工智能服务提供者缺乏对生成信息内容足够的预见和控制能力;其四,从政策导向看,适用无过错责任原则可能不当加重服务提供者的责任,限制人工智能产业的发展。
(三)服务提供者已尽注意义务,不构成侵权
法院基于一般过错责任原则,对侵权构成的各项要件进行了逐一审查。法院指出,原告主张的侵害是因信息不准确,致其受误导错失报考机会,额外产生信息核实成本和维权成本等,属于纯粹经济利益被侵害。
在过错认定方面,法院总结了生成式人工智能服务提供者应尽的三层注意义务:第一,对法律禁止的有害、违法信息负有严格审查义务;第二,需以显著方式向用户提示AI生成内容可能不准确的固有局限性;第三,应尽功能可靠性的基本保障义务,采取同行业通行技术措施提高生成内容准确性。
经审查,被告已在应用程序的欢迎页、用户协议及交互界面的显著位置呈现了AI生成内容功能局限的提醒标识,并已采用检索增强生成等技术提升输出可靠性,已尽到合理注意义务,主观上不存在过错。同时,原告未能就因AI信息误导而错失报考机会并产生额外成本提供有效证据,难以认定损害存在。
综合上述分析,法院认定某科技公司不构成侵权,判决驳回原告梁某的全部诉讼请求。据悉,原、被告双方均未上诉,判决现已生效。
三、案件启示:厘清AI服务的责任边界
本案作为全国首例因AI“幻觉”引发的侵权纠纷案,对未来AI服务的安全与规范具有重要的标杆意义。
北京大学法学院教授、北京大学数字法治研究中心主任王锡锌对此案判决作出深入解读。他指出,生成式AI的输出属于概率生成,并非法律意义上的意思表示,因此不能把AI模型的每句回答简单转化为具有法律效力的承诺。同时,宽容AI技术的局限绝不意味着放任自流——AI不对每句话承担“绝对责任”,不代表AI运营和服务平台无需承担“治理责任”与“合理注意义务”。
王锡锌认为,法院此次判决并未将AI“幻觉”简单等同于平台侵权,而是以过错责任为主轴,划定生成式AI服务的责任边界。责任从“结果担保”转向了“风险控制”,重点审查服务提供者是否履行提示、纠错、标识与安全评估义务。法律要建立的不是“句句负责”,而是“可控、可追责的治理结构”。这一裁判实质上传递出“鼓励负责任创新、反对无限责任”的信号,既不放任AI进入“法外之地”,也不过度扩张法律责任可能带来的对AI产业发展的抑制。
杭州互联网法院在判决中指出,对生成式人工智能的治理,应当坚持发展与安全并重、促进创新与权益保护相结合的原则。一方面,要为技术创新保留必要空间,避免因责任过度前置而抑制新技术的发展;另一方面,也必须守住法律底线,严格禁止生成各类有毒、有害、违法信息,防止技术风险向现实社会外溢。
法院还特别强调,生成式人工智能服务提供者的注意义务处在一个动态调整的框架之中,将随着技术的进步而不断变化,服务提供者需持续跟进并履行与行业水平相适应的注意义务。
值得一提的是,该案已被写入最高人民法院工作报告,作为“促进人工智能规范发展,依法妥善审理涉人工智能案件,准确把握科技创新‘容错’空间”的典型案例。
(本文根据杭州互联网法院审结的全国首例AI“幻觉”侵权纠纷案公开信息整理,仅供参考,不构成法律意见。)