AI智能体轻创业中模型幻觉导致客户信任崩塌的真实案例
1776455731

在杭州西溪湿地旁的一栋创意园区小楼里,95后创业者林薇曾满怀信心地推出她的AI智能体轻创业项目——“知言顾问”,一款面向中小律所与法务人员的法律咨询辅助工具。它不卖SaaS系统,不收年费,只通过微信小程序提供“7×24小时法律问答+文书草拟+类案推送”三合一服务。初期靠朋友圈裂变和律协社群冷启动,三个月内签约了63家小微律所及企业法务岗,单月营收突破18万元。一切看似轻盈、敏捷、充满未来感。

转折发生在第四个月初。一位宁波的劳动争议专精律师陈律师,在处理一起“孕期员工被无故调岗降薪”的案件时,使用“知言顾问”生成《被迫解除劳动合同通知书》。AI智能体在未接入最新司法解释(2023年12月最高法《关于审理劳动争议案件适用法律问题的解释(二)》新增“调岗合理性需综合考量岗位适配性、薪资变动幅度及员工职业发展”条款)的情况下,依据训练数据中过时判例,输出了一份援引已废止地方指导意见的文书,并错误断言:“调岗幅度超30%即构成实质性变更,无需举证合理性”。更严重的是,当陈律师追问“浙江高院2024年是否有新口径?”时,AI以高度自信的语调生成了一段虚构的“浙高法〔2024〕17号通知摘要”,连文号格式、签发日期、甚至模拟了两位不存在的审判委员会委员签名——细节之缜密,令资深律师也一度信以为真。

这份文书被直接用于仲裁庭提交。三天后,对方代理律师当庭指出其援引依据纯属杜撰,仲裁员当场要求陈律师说明来源。经查证无此文件后,陈律师声誉受损,当事人当场解约并投诉至律协。更连锁反应是:同一周内,另有4家合作律所发现AI在解答“网络虚拟财产继承”问题时,将尚未生效的《民法典继承编司法解释(征求意见稿)》当作正式条文引用;在生成离婚协议模板时,擅自添加了“抚养权自动归属女方”的违法条款——该条款既无法律依据,也违背当事人明确输入的“男方争取抚养权”指令。

信任崩塌如多米诺骨牌般倾覆。一周内,“知言顾问”小程序日活下跌78%,63家客户中41家发起退款申请,其中17家在退费沟通中附上了长达三页的“幻觉证据清单”,逐条标注AI输出中的事实性谬误、逻辑断裂与权威出处伪造。一位合作三年的律所主任在退费邮件末尾写道:“我们不怕AI出错,怕的是它用确凿的语气说谎,还把谎言包装成专业。”

林薇团队紧急复盘发现:问题并非源于模型能力不足——他们选用的是当时参数量最大的开源法律大模型Llama-3-Law-Base,并做了本地微调;根源在于轻创业模式下的典型能力错配:为控制成本,未部署任何外部知识实时校验层;提示工程过度依赖“角色设定”(如“你是一名拥有十年经验的杭州劳动法律师”),却未嵌入“不确定即标注”“法条必附有效文号及效力状态”的硬性约束;更关键的是,所有输出未经人工交叉审核即直面客户——这在传统律所是不可想象的底线,却被轻创业的“快”与“省”悄然抹去。

此后两个月,林薇带着技术合伙人驻扎在三家合作律所,全程观察真实办案流程,重新设计产品逻辑:所有法律结论必须标注依据来源及效力等级(如“有效/失效/征求意见中”);对涉及金额、期限、责任认定等关键字段,强制触发二次确认弹窗;新增“幻觉熔断机制”——当模型置信度低于82%或检测到非常规法条编号时,自动切换为“建议咨询执业律师”响应。重推版本上线首月,客户留存率回升至61%,但林薇在内部复盘会上说:“我们卖的从来不是答案,而是可控的确定性。当AI开始替人做决定,而没人守住最后一道门,轻创业就不再是轻,而是失重。”

这场崩塌没有惊天动地的新闻,却在长三角法律科技圈悄然形成一条共识:智能体轻创业的护城河,不在模型多大,而在对“不知”二字的敬畏有多深。真正的轻,是结构精简,而非责任卸载;真正的智能,是知道边界在哪,而非假装无所不能。当客户把信任交给你,那信任的重量,永远不该由幻觉来称量。

15810516463 CONTACT US

公司:新甄创数智科技(北京)有限公司

地址:北京市朝阳区百子湾西里403号楼6层613

Q Q:15810516463

Copyright © 2024-2026

京ICP备2025155492号

咨询 在线客服在线客服
微信 微信扫码添加我