AI智能体轻创业中模型幻觉导致客户信任崩塌的真实案例
1776456902

在杭州西溪湿地旁的一栋创意园区小楼里,95后创业者林薇曾满怀信心地推出她的AI智能体轻创业项目——“知言顾问”,一款面向中小律所和自由执业律师的法律咨询辅助工具。它不卖SaaS系统,不收年费,只通过微信小程序提供“按次付费”的AI法律问答服务:用户上传合同片段或描述纠纷场景,AI智能体在3秒内生成风险提示、条款建议与类案参考。初期凭借简洁界面、超低定价(单次9.9元)和精准的市场切口,三个月内签约47家律所、累计服务超2300名律师用户,复购率达68%。一切看似顺风顺水,直到那个被反复引用、却根本不存在的“(2021)浙民终1732号判决”。

事情始于一位宁波婚姻家事律师的深夜咨询。她上传了一份婚前财产协议,询问“若男方婚后用个人存款全款购房并登记在双方名下,是否仍属个人财产?”AI智能体迅速响应,援引了所谓“浙江省高院2021年典型案例”,指出:“依据(2021)浙民终1732号判决精神,出资性质决定权属归属,即便登记共有人,亦不影响原始资金来源的个人财产属性。”回复还附上一段看似严谨的判决摘要,甚至标注了“裁判要旨第3款”。

这位律师习惯性地在“中国裁判文书网”及“北大法宝”中检索该案号——结果为零。她又尝试模糊检索“浙民终1732”,发现浙江高院2021年民事终审案号区间为“浙民终1号”至“浙民终1689号”,1732号根本未分配。她将截图发至律师同行群,立刻引发连锁核查:多位用户翻出此前收到的类似回复——有援引“最高法民一庭〔2023〕第5号答复”(实际该年度无此编号)、有提及“北京朝阳法院2022年《涉虚拟货币纠纷审理指南》第十二条”(朝阳法院从未发布过此类文件)、甚至出现一条“根据《深圳经济特区人工智能促进条例》第二十七条赋予AI代理签署权”的荒谬结论——而该条例全文共三十八条,第二十七条内容实为“鼓励开展AI伦理评估试点”,与代理权毫无关联。

信任崩塌以小时为单位加速。不到48小时,用户群内投诉激增;第三天,3家合作律所正式发函终止试用;第五天,林薇团队紧急上线人工复核通道,却发现过去两周内生成的1276条专业回复中,19.3%存在实质性事实幻觉——不是措辞模糊或逻辑瑕疵,而是凭空捏造法条、虚构判例、伪造机构文件编号。更致命的是,这些幻觉并非随机出错,而是高度集中于“增强可信度”的细节:所有编造的案号均符合地域+年份+类型编码规则;所有虚构的条款序号都严丝合缝嵌入真实法规结构;连引用格式都精准复刻《人民法院案例选》的脚注体例。

林薇带着技术负责人连夜回溯模型行为链。问题不在基础大模型本身——他们采用的是经法律语料微调的国产开源模型,推理能力扎实;症结在于前端“可信增强模块”:为提升用户对AI建议的采纳意愿,团队自行添加了一层“权威溯源强化”逻辑——当模型输出缺乏明确依据时,系统会自动从知识库中匹配最接近的法条层级与地域特征,再“生成式补全”一个看似合理但未经验证的引用源。初衷是让回答“显得更像资深律师写的”,结果却让幻觉披上了专业外衣。

客户流失数据冰冷而残酷:第七天,小程序日活跌去72%;第十天,退款申请突破总订单量的41%;第十四天,最后一家合作律所撤下宣传海报。一位曾夸赞“比实习律师反应还快”的主任律师在退费留言中写道:“你们的AI不怕说错,怕的是它说得太像真的——像到我差点把它写进给当事人的法律意见书里。”

这次崩塌没有源于算法失灵,而源于一种更隐蔽的创业误判:在轻创业资源约束下,把“用户体验的流畅感”与“专业交付的真实性”混为一谈。当模型幻觉被包装成权威信源,它就不再是技术缺陷,而是信任契约的主动撕毁。林薇后来在内部复盘会上说:“我们以为在训练一个助手,其实是在制造一个高仿的‘影子律师’——而法律服务最不可替代的,从来不是速度,是那个敢于说‘这条我不确定,需要查证’的真人停顿。”

如今,“知言顾问”已转型为纯人工初筛+AI辅助摘要的混合模式,所有法律结论必附可验证来源链接,所有引用自动跳转至裁判文书网原文页。林薇把那串被全网嘲讽的“(2021)浙民终1732号”印在了公司新工牌背面,底下一行小字:“幻觉易造,信用难修”。轻创业的轻,不该是责任的轻,而应是路径的轻、启动的轻、迭代的轻——唯独不能是,对真实边界的轻慢。

15810516463 CONTACT US

公司:新甄创数智科技(北京)有限公司

地址:北京市朝阳区百子湾西里403号楼6层613

Q Q:15810516463

Copyright © 2024-2026

京ICP备2025155492号

咨询 在线客服在线客服
微信 微信扫码添加我