AI产品版·扁鹊见蔡桓公
在M司,AI产品部和业务部都是大部门。
AI产品部有个产品经理叫扁鹊,负责给业务部做智能客服系统。业务部的负责人蔡总,管着公司最赚钱的业务线,说话很有分量。
项目刚启动的时候,扁鹊去业务部对接数据。他翻了一下业务方给的训练语料,发现问题不小——标注标准不统一,同一类问题有三种不同的分类方式,还有大量重复和矛盾的标注。扁鹊在对接会上说,这批数据得先花两周清洗一下,不然模型学出来的东西会很混乱。
蔡总听了,笑了一下说:"差不多就行了,先把demo跑出来,下周老板要看。"
扁鹊走后,蔡总跟手下说:"这些做AI的就喜欢小题大做,搞那么精细干嘛,又不是发论文。"
过了一个月,模型训练完了。扁鹊拿着评测报告去找蔡总,说模型在核心场景的准确率只有72%,主要原因就是标注不一致,同一个用户问题,模型有时候分到售前,有时候分到售后,自己都在打架。他建议暂缓上线,花两周统一标注规范,重新训练一版。
蔡总翻了翻报告,说:"72%够了,比外包客服强多了。你们AI团队不要老想着完美主义,业务有业务的节奏,这个季度必须上线。"
扁鹊说:"不是完美主义的问题,72%意味着每10个用户就有将近3个会被分错,到时候投诉量——"
蔡总打断他:"上了再说,有问题再优化嘛。"
系统上线了。
前两周风平浪静,因为刚上线流量还没切满。第三周开始全量,bad case像开了闸一样涌出来。用户问退款流程被引导到了产品咨询,问售后维修被踢到了销售那边,客服群里天天有人贴截图吐槽。
扁鹊紧急拉了个会,带着bad case分析报告去找蔡总。他说情况比预想的严重,建议先回滚到规则引擎兜底,同时重新梳理数据,别让问题继续扩大。
蔡总拍了下桌子:"上线之前你怎么不说?"
扁鹊说:"我说了,两次。"
蔡总愣了一下,然后说:"那你当时应该说得更严重一点。现在出了问题,你就想着回滚甩锅?回滚了怎么跟老板交代?"
会议不了了之。系统继续带病运行,扁鹊的团队每天手动处理bad case,相当于又回到了人工客服的状态,只不过多了一个"AI"的名头。
又过了一个月,扁鹊离职了。不是转岗,是直接走了,去了另一家公司。
前同事在群里说,蔡总那边终于扛不住了,几个大客户因为客服体验差威胁要降级合作,蔡总让人来找AI团队紧急修复。但扁鹊已经不在了,当时的数据方案和模型文档虽然都在,但没人能完整接住这套东西的上下文。新来的产品经理看了一眼数据,说这得从头治理,至少要两个月。
蔡总在季度复盘会上说:"AI技术还不成熟,这次是个教训,下个季度我们先用规则引擎过渡。"
没有人提起扁鹊说过三次的那句话。
半年后,M司决定重新采购一套智能客服方案。蔡总带着团队去了几家供应商考察,走进其中一家的会议室,对方的产品负责人站起来跟他握手。
是扁鹊。
扁鹊笑了笑,打开PPT第一页,上面写着——"项目启动前置条件:数据治理周期不少于四周。"
蔡总没吭声。