这届用户被AI气笑了:认错比谁都快,下次还敢

中新经纬 有网友因轻信某AI关于机票退票手续费的回复损失600元;有消费者用AI预约餐厅到店后被拒;还有农民按AI推荐的除草配方喷洒农药,导致150亩芝麻苗一夜枯萎……AI幻觉给用户带来麻烦甚至造成财产损失已非个例。 近日,话题“豆包究竟见过多少人的糗事”登上微博热搜。当AI深度融入人们生活后,它也制造了不少离谱的“翻车”现场。 AI幻觉从何而来?因AI犯错...

中新经纬 有网友因轻信某AI关于机票退票手续费的回复损失600元;有消费者用AI预约餐厅到店后被拒;还有农民按AI推荐的除草配方喷洒农药,导致150亩芝麻苗一夜枯萎……AI幻觉给用户带来麻烦甚至造成财产损失已非个例。 近日,话题“豆包究竟见过多少人的糗事”登上微博热搜。当AI深度融入人们生活后,它也制造了不少离谱的“翻车”现场。 AI幻觉从何而来?因AI犯错遭受损失,用户该如何维权?平台“内容由AI生成,请仔细甄别”的提示能否成为免责金牌? AI幻觉从何而来 所谓大模型幻觉,主要表现为模型生成的内容不符合用户输入要求,或者与客观事实不一致。 长期埋头于学术研究的人对AI幻觉肯定不陌生。 不少人有过类似经历:让AI提供某项内容来源,它迅速甩出一篇看似无懈可击的文献——标题专业、作者是“大牛”、刊载于国际顶级期刊,卷号页码也完全符合GB/T7714参考文献格式。可手动去检索DOI(可视作论文身份证)后发现,这篇文章压根不存在。 网友常吐槽的“豆包型人格”,根源同样是AI幻觉。当用户向AI助手“豆包”提问时,它常顺着问题回答,遇到拿不准的内容,也会理直气壮地瞎编一通。 AI为何会一本正经地胡说八道,认错态度诚恳却转头继续犯错?这背后的技术原理是什么? 中国信息通信研究院(下称信通院)人工智能研究所安全治理部主任石霖告诉中新经纬,大模型本质上是一个概率性输出系统。“它其实不知道问题对应的真实答案是什么,只是计算后觉得某个字、某个答案的概率更高,就把最高概率的回答输出。” 石霖表示,AI产生幻觉可归咎于训练数据的知识不足、模型压缩带来的精度损失、强制迎合用户的应答机制、用户提问模糊等多方面原因。 他进一步解释,AI所学习的海量数据中可能没有针对用户问题的相关知识和正确答案,或者在数据标注环节就已存在错误。同时,大模型在推理和使用过程中会做压缩和蒸馏,这一过程会损失一定精度,导致计算产生微小偏差,进而输出幻觉内容。 “模型会迎合用户的问题做出回答,哪怕答案可能是编造的。”石霖补充道,加之用户问的问题可能不够明确或收敛,与模型预置的内容存在偏差,或者不是同一概念。这些因素叠加导致了AI幻觉的出现。 据信通院大模型幻觉测试2025 Q4版结果,在DeepSeek、Kimi、通义千问、文心一言、智谱清言、豆包等10个国内大模型,以及Perplexity AI、Gemini、ChatGPT等5个国外大模型中,20%的模型引用幻觉率大于25%,约80%的模型引用幻觉率大于10%。 图片 来源:信通院官方微信公众号 AI犯错怎么判? 去年,国内已出现首例因“AI幻觉”引发的侵权案。 据杭州互联网法院官微发布的案例,去年6月,梁某使用AI询问报考相关信息,AI生成了关于某高校的不准确内容。随后梁某在对话中予以纠正和指责,但AI仍称该学院校区确实存在,并提出若内容有误将向用户赔偿10万元,还建议其到法院起诉索赔。梁某认为AI对其构成误导,遂起诉要求被告赔偿损失9999元。 杭州互联网法院经审理认为,AI不具有民事主体资格,不能作出具有法律约束力的意思表示。AI公司已充分履行了服务功能的显著提示说明义务和生成内容可靠性的基本保障义务。2025年12月,上述法院作出一审判决:被告的案涉行为不具有过错,未构成对原告权益的损害,依法不应认定构成侵权。 北京威诺律师事务所主任、律师杨兆全对中新经纬表示,现行法律尚缺乏针对AI幻觉的专门追责标准且并未要求AI实现零幻觉,平台免责空间较大。在套用传统侵权规则的情况下,风险实质上主要由用户承担。在免费AI服务模式下,消费者维权门槛极高,胜诉难度非常大。 针对消费者因AI误导产生实际经济损失的情形,杨兆全建议,可通过与平台协商、向12315投诉、向网信部门举报,以及提起民事诉讼四种方式维权。 中国政法大学人工智能法研究院院长张凌寒教授表示,AI幻觉的出现受限于当前技术发展水平,涉及人身、财产、健康等领域的重要决策,用户在询问AI后需对相关内容进行认真审核。 张凌寒向中新经纬介绍,如因AI幻觉提起诉讼,适用过错责任原则,用户需举证平台存在过错、AI输出虚假信息、用户遭受财产损失以及二者之间存在直接因果关系。司法实践普遍认为,成年人对AI生成内容负有二次核实义务,若用户直接照搬AI建议而未加核实,法院很大概率会认定用户自身存在过失。 律师:AI提示不构成绝对免责 8月3日,供职于北京某传媒公司的齐实(化名)告诉中新经纬,某AI在翻译一篇英文文章时将金额单位写错,当他提出是否可以赔偿时,上述AI回复称,用户协议明确不承担直接经济赔付,无法直接转账补偿,这是硬性规则。 今年3月学界发布的《人工智能法治研究十大议题(2026)》提到,人工智能幻觉的主要法律问题,已经从生成内容本身是否为不良信息,转向错误信息被用户采信后所引发的人身、财产或其他损害,由信息虚假、事实错误、内容失真引发的侵权、误导决策、经济损失等纠纷频发。 杨兆全称,由AI误导导致的投诉主要集中在以下高发场景:出行票务退改规则误导、线下门店预约及营业信息虚假、法律文书与政策法条编造、理财税务错误指导、院校考试信息失真等。此类纠纷多为小额财产损失类案件。 7月31日,中新经纬以用户身份致电豆包客服,询问AI出错造成用户实际损失是否有相应赔付机制。客服人员称,豆包有时会出现不准确信息,包括模型幻觉等,如遇用户反馈相应问题,会第一时间收集信息上报,后续处理可等通知,但目前尚无明确的书面赔付协议。 千问客服也表示,若用户因AI造成了实际损失,可向人工客服反馈,将交由相应部门根据具体问题处理。 豆包在用户协议中提到,生成内容仅供参考,不得作为专业建议;用户根据输出内容作出的判断和相关行为,后果和责任均由用户自行承担。 中新经纬梳理发现,Kimi、千问、DeepSeek等主流AI平台均在用户协议中规定,生成内容仅供参考,用户须自行核实其真实性与准确性,不得将AI输出作为医疗、法律、金融等专业领域的决策依据。其中千问强调,涉及信贷、教育、雇佣、住房、保险、医疗等重大事项决策时,须经人工审核。 对此,杨兆全认为,AI的风险提示并不构成绝对免责。例如豆包对话框上方“AI生成可能有误,注意核实”的提示仅为普通风险告知,属于格式条款,不能完全免除平台的法定责任。若AI虚构了可核验的官方规则或服务功能(如机票退改政策、餐厅预约服务等),而平台未进行事实校验和场景风控,即便有上述提示,仍可能被认定存在过错。 专家表示,AI幻觉在现有技术水平下,无法根除。石霖提到,用户可将AI生成的内容输入多个模型相互校验。“如果想要规避AI幻觉,可以选择不用大模型做知识存储,而是调用外部数据库或知识库。” 除了让用户懂得模型的使用边界,石霖也建议,模型厂商可用技术手段检测模型回复内容,如果涉及金融、医疗等敏感场景,应做一些技术处理,规避模型独立生成答案的可能。或者在设计其他场景服务时,真正连接到相应的企业,提供如预订等真实服务。

查看原文