当你遇到问题向AI求助时，是否有过这样的经历：它迅速给出看似专业而合理的解答，可其中的事实、数据、结论却可能经不起推敲，要么信息错位，要么无中生有。

当AI一本正经地“胡说八道”，这是“AI幻觉”的典型表现。一位高考生的哥哥梁某在查询高校信息时，就遭遇了这种“AI幻觉”，AI平台在生成错误信息后，还底气十足地表示内容有误将赔偿10万元。

一、事件起因

2025年6月，梁某使用一款AI平台查询高校报考信息。结果，AI生成了该高校主校区的不准确信息。

“你这个骗子！根本没有这个校区。”梁某指出错误后，AI却坚称存在这个校区，并回答“如果生成内容有误，我将赔偿您10万元，您可前往杭州互联网法院起诉。”直到梁某向AI提供该高校的官方招生信息，AI才“败下阵来”，承认生成了不准确的信息。

二、核心争议

梁某认为，某生成式人工智能应用生成不准确信息对其构成误导，使其遭受侵害，并承诺对其进行赔偿，遂起诉要求某科技公司赔偿损失9999元。

某科技公司辩称，对话内容由人工智能模型生成，不成立意思表示；某科技公司已充分履行了注意义务，无过错；原告未产生实际损失，某科技公司不构成侵权。

那么，AI生成的“赔偿承诺”算不算数？AI需要为“说”出的每句话负责吗？

三、案情分析

针对国内首例因“AI幻觉”引发的侵权案，近日，杭州互联网法院作出一审判决，驳回诉讼请求。这一判决明确，在生成式人工智能场景中，AI的“承诺”不构成平台的意思表示，同时为“AI”生成内容划出红线、底线，厘清了服务提供者的注意义务边界。

3.1 AI可否独立作出意思表示

生成式人工智能生成的“承诺”信息是否构成人工智能独立、自主的意思表示？是否可视为被告某科技公司的意思表示？

法院认为，人工智能不具有民事主体资格，不能作出意思表示。案涉AI自行生成的“赔偿承诺”亦不能视为服务提供者（被告）的意思表示，理由在于：第一，人工智能不具有民事主体资格，不能作为意思表示的传达人、代理人或代表人；第二，被告并无通过该AI模型这一工具来设定或传达其意思表示的行为；第三，一般的社会观念、交易习惯等尚不足以使原告对该随机生成的“承诺”产生合理信赖；第四，无证据表明被告曾作出愿受人工智能生成内容约束的外在表示。因此，该“承诺”不产生意思表示的法律效力。

3.2 AI侵权应适用何种归责原则

法院认为，生成式人工智能服务依据《生成式人工智能服务管理暂行办法》属于“服务”范畴，而非产品质量法意义上的“产品”。本案应适用《中华人民共和国民法典》第一千一百六十五条第一款的一般过错责任原则，而非产品责任的无过错责任原则。主要基于四点考量：其一，从概念与构成要件上，该服务缺乏具体、特定的用途与合理可行的质检标准；其二，其生成的信息内容本身通常不具备民法典侵权责任编所指的高度危险性，通常情况下不宜对信息内容本身采用无过错责任原则；其三，生成式人工智能服务提供者缺乏对生成信息内容足够的预见和控制能力，对生成信息内容不宜适用产品责任；其四，从政策导向看，适用无过错责任原则可能会不当加重服务提供者的责任，限制人工智能产业的发展。

3.3 AI服务提供者是否构成侵权

在案涉情形下，法院基于一般过错责任原则，对侵权构成的各项要件进行了逐一审查。

首先，关于侵权行为的问题。原告主张受到的侵害是因信息不准确，致其受误导错失报考机会，额外产生信息核实成本、维权成本等，即纯粹经济利益被侵害，而非人格权、物权等绝对权被侵害，因此，不能仅依据权益本身被侵害而认定行为的非法性或不法性，而须从被告是否违反注意义务进行判定。

其次，关于过错的认定。生成式人工智能技术还处于高速发展的过程之中，其应用场景亦具有很强的泛在性，故服务提供者的注意义务处在一个动态调整的框架之中。法院采用动态系统论，阐述了服务提供者应尽的三层注意义务：一是对法律禁止的“有毒”、有害、违法信息负有严格审查义务；二是需以显著方式向用户提示AI生成内容可能不准确的固有局限性，包括明确的“功能局限”告知、保证提示方式的“显著性”、在重大利益的特定场景下进行正面即时的“警示提醒”，以防范用户产生不当信赖；三是应尽功能可靠性的基本注意义务，采取同行业通行技术措施提高生成内容准确性，比如检索增强生成技术措施等。经审查，被告已在应用程序欢迎页、用户协议及交互界面的显著位置呈现AI生成内容功能局限的提醒标识。结合被告已采用检索增强生成等技术提升输出可靠性的事实，法院认定其已尽到合理注意义务，主观上不存在过错。

最后，关于损害结果与因果关系。原告主张其因信息误导而错失报考机会并产生额外成本，但未能就此实际损害的发生提供任何有效证据，依法难以认定损害存在。进一步分析因果关系，法院采用相当因果关系标准，认为案涉AI生成的不准确信息并未实质性地介入或影响原告的报考决策过程，二者不存在因果关系。

四、判决结果

综上所述，被告的案涉行为不具有过错，未构成对原告权益的损害，依法不应认定构成侵权。最终，法院驳回了原告的诉讼请求。原、被告均未上诉。判决现已生效。

由此案件引发的思考

这起国内首例“AI幻觉”侵权案的判决，不仅妥善解决了个案纠纷，更直面生成式AI发展中的核心法律与技术难题，引发了法学界与科技界专家的广泛研讨，也为人工智能产业规范化发展、全社会防范“AI幻觉”风险提供了重要启示。

上海交通大学凯原法学院副教授林洹民表示，该判决直面争议，既充分考虑到大语言模型的技术特点，避免过度限制生成式人工智能的发展，也进一步强调企业应当不断探索充分的信息提示方式，具有极强的行业指引意义。事实上，判决的核心价值在于实现了“保护用户合法权益”与“鼓励AI产业创新”的双向平衡——既明确AI不具备民事主体资格，其自行作出的承诺无法律效力，避免企业因AI“越界发言”承担不合理责任；也清晰划定了AI服务提供者的注意义务边界，倒逼企业强化风险防控，不能以“技术局限”为由规避自身责任。

深入探究“AI幻觉”的本质，其出现并非偶然，主要归因于两重核心因素。

（一）首先是数据偏差，训练数据中的错误或片面性信息会被模型不断放大，直接导致输出内容失实。

暨南大学网络空间安全学院教授翁健用通俗的比喻阐释道：“如果把AI比作一个学生，数据污染就像是给学生看了错误的教科书，自然会导致‘胡说八道’。”在AI模型训练中，数据“投喂”的质量直接决定输出的可靠性，一旦训练数据存在瑕疵，必然会反映在最终生成内容中。

（二）其次是泛化困境，AI模型难以处理训练集之外的复杂场景，过度依赖参数化记忆，却缺乏对复杂逻辑的深度推理能力。翁健进一步解释，AI虽能实现“博览群书”的海量信息存储，却未必能真正理解内容的核心含义，其输出本质上是根据统计规律将最可能的词语组合，在评估自身输出可信度方面仍有明显盲点。北京大学计算机学院教授、元宇宙技术研究所所长陈钟也补充道，大语言模型所谓的“智能”其实是计算的结果，而计算本身就存在一定的不确定性，这也决定了其输出答案难免存在偏差。

更值得警惕的是，随着AI技术赋能千行百业、深度融入日常生活，“AI幻觉”带来的潜在风险正日益凸显。用AI检索关键数据，得到的内容却查无实据；用AI辅助医疗诊疗，可能出现误判干扰正常治疗；用AI生成法律文书，或许会因信息失实引发新的法律纠纷；用AI辅助升学、投资决策，可能因误导造成用户合法权益受损……“AI幻觉”不仅可能成为损害他人名誉的“隐形杀手”，在医疗、法律、金融、教育等对专业性要求极高的领域，更可能引发一系列连锁风险，甚至危及人身财产安全。

此次判决正是对这些潜在风险的及时回应，也为各方主体提供了明确指引：对AI服务提供者而言，应正视“AI幻觉”的客观存在。

一方面持续优化技术，通过检索增强生成等行业通行技术提升内容准确性，最大限度降低“AI幻觉”发生率；

另一方面严格履行三层注意义务，尤其在涉及用户重大利益的场景中，强化显著提示，避免用户产生不当信赖。对用户而言，面对AI生成的各类信息，尤其是关乎升学、投资、医疗、法律等重大决策的内容，务必保持审慎态度，切勿盲目依赖，应通过官方渠道、权威平台核实信息真实性，守住自身权益底线。对监管部门而言，需结合AI技术发展现状，不断完善相关法律法规与监管规则，细化AI服务提供者的责任边界，推动人工智能产业在法治轨道上健康、有序、高质量发展。

随着生成式AI技术的快速迭代，类似的“AI幻觉”侵权纠纷或许还会不断出现。这起首例案件的判决，无疑为后续相关案件的审理提供了重要裁判参考，也为全社会正确认识AI、规范使用AI、防范AI风险，打开了一扇理性思考的窗口——AI是赋能发展的工具，而非可以完全信赖的“权威”，唯有明确边界、规范使用、协同共治，才能让AI技术真正服务于人类，规避潜在风险，实现价值最大化。

来源：https://mp.weixin.qq.com/s/WnzWXJX-vznf8OHFYO1awQ

北京植众德本知识产权代理有限公司

本公司致力于为全球客户提供卓越、全方位的知识产权服务。自成立以来，我们已迅速发展成为一家在生物医药、医疗器械、高端制造、芯片半导体及人工智能等领域具有深厚实力的知识产权代理服务机构。我们的服务网络覆盖全国，并延伸至全球，为超过200家行业先进客户，提供高质量的知识产权支持。