清华五道口金融科技研究院在《金融科技新动力——数字化劳动力的应用与前瞻》报告中提到，金融机构中，客户服务类（语音客服、外呼、综合柜员等）、运营管理类、市场营销类、内控合规类（财务审计、服务质检、舆情监控、内容审查、合规评估等）、风险管理类、投资交易类其替代程度和难度依次增加。
当前，金融科技在客服类应用中已逐渐成熟，但在以内控合规类业务应用中，还处于快速发展阶段。典型的以服务质检为例，行业在覆盖率、召回率和准确率上，依然有相当大的提升空间。
挖掘问题根源，攻坚克难
金融行业呼叫中心（Call Center）是一种集中式的、综合性的客户服务系统，通过电话、电子邮件、社交媒体等多种渠道与客户进行互动交流，不仅提供全周期的客户服务，如售前咨询、售后服务、投诉处理和客户关怀，而且能够进行客户数据分析、市场调研，为企业的市场和客户服务提供策略支撑。为确保呼叫中心高效合规的服务客户，金融机构需对通话内容进行严格质检，而实现全量精准质检一直是业界难题。
过去，传统人工质检负责每日随机抽检客服录音，并严格依照质检规则对样本进行评估打分，虽能保障100%准确率，但覆盖率常在3%以下，管理精细的同时伴随着检出效率低，全量覆盖成本高等挑战。作为每日处理大量客户咨询的枢纽，呼叫中心的客服人员经常面临巨大的工作压力和负面情绪，所以优化客户体验，确保服务质量显得尤为重要。
为突破人工质检困局，马上消费金融股份有限公司（简称：马上消费）率先引入智能质检系统。以实现覆盖率100%，召回率（Recall, 也称作“查全率”）和准确率（Precision, 也称作“查准率”）双目标均达到80%为理想目标，马上消费的研发团队展开了长达两年的不懈探索。然而，模型反复迭代，但双目标的验证结果仍差强人意，总和仅在40%-70%之间徘徊，似乎难以逾越。技术自身的局限性以及召回率与准确率之间的相互制约使得系统的表现仍与期望存在较大差距。主要原因包含四个方面：
一是AI技术发展存在一定局限性。一方面，语音识别技术（Automatic Speech Recognition, ASR）的转译准确率平均水平不到90%，且坐席语速过快、方言及口音各异、背景杂音难识别等难题也相伴左右。另一方面，自然语言处理（Natural Language Processing, NLP）的语义理解准确率仅为80%，在复杂语境、上下文理解、语音泛化理解等方面仍需攻坚克难。因此，双向因素叠加影响，智能质检的准确率和召回率难以达到100%。
二是召回率和准确率是一对动态平衡的矛盾。理想状态下，准确率和召回率可以同时达到高值，然而实践应用中，两者此消彼长，准确率高，则召回率低，反之亦然。
三是在复杂客服场景下，AI在伦理和安全层面能力有限。比如，基于ASR和NLP能力，智能质检系统需要对“减免”相关上下文进行意图识别并锁定人工坐席承诺的减免金额，比如“给你减免500、给你减免30%的剩余欠款或你只需要还7000元等”，此外，由于减免细则变化频率较高，对智能质检系统的挑战继续增加。而据统计，复杂客服场景的占比却高达1/3。
四是高危复杂场景可用存量不足，AI训练出现瓶颈。由于部分高危复杂场景，历史违规量少，甚至历年来无任何违规或仅有个位数违规，这导致模型训练语料稀少，且技术无法通过持续学习和训练快速实现模型准确率提升。
完成根因突破，难题解码
马上消费组建了智能质检攻坚小组，在日以继夜的脑暴后，决定从五方面解耦问题，寻找背后的解题思路。
一是客服一线现场调研：“攻坚小组”率先深入客服业务现场，在呼叫中心轮岗接听客户电话，了解到质检管理的愿景是能够真正做到强合规、抓体验、促效率。
二是数据分析研判重点：“攻坚小组”运用数据分析来系统性统筹违规情形分布情况。由于涉及不同情形下的处罚决策，因而现场违规数据表现对于智能策略实施显得尤为重要。从传统人工质检随机抽检数据多维分析对比发现，高危模型情形占比不足0.2‰，日机器检出量也少，准确率均不高。而非高危模型经过调优后，准确率均还不错。进一步思考发现，严重违规情形数量少，危害大，适合采用召回率指标，而一般违规情形数量大，危害小，更适合采用准确率指标来衡量。
三是访谈管理层探索业务本质：“攻坚小组”通过访谈管理团队，一方面是寻求管理方法革新，更重要的是了解管理者对于智能质检项目的核心期望与战略设想。在管理与业务之间，“攻坚小组”逐渐摸索到了技术逻辑与业务规律的平衡点，并顺势推动落地实施。
四是落实分类处置策略：“攻坚小组”在尽职调研后意识到过往“准召双抓”的实施策略需要做出适当调整。但由于风险程度不同，关注重心也应有所聚焦并保证差异。经过反复讨论，“攻坚小组”负责人决定针对严重违规情形，聚焦召回率，而针对一般违规情形，则聚焦准确率，从而达到消除高危项（强合规），降低一般违规发生量(抓体验)的效果。
五是推广质检作业新模式(人机协作):“攻坚小组”统筹考量了人工质检和智能质检的优势,最终决定引入人机协作的新模式。即由机器人负责全量智能质检及推送，而人工坐席负责复检与管理的跟进，复检结果可不断反哺给机器，以持续提升机器人检出效果，最终达到合作双赢的目的。
经过一年试点与实践，“攻坚小组”取得了阶段性成果：严重违规情形平均召回率83%，一般违规情形平均准确率85%，相较于传统人工质检，智能质检系统的违规检出率提升了近6倍。且随着违规检出率的不断提升，单通违规检出所消耗的人力成本也大幅下降至67%。
值得一提的是，马上消费智能质检攻坚小组研发的分类处置策略和人机协作相结合的极致方案最终实现了录音覆盖率100%、违规检出准确率85+%的行业领先水平，并因此荣获部委级一等奖的殊荣。
勇于打破界限，引领变革
市场多变、客户多元，技术也在推陈出新。金融业务对于智能质检的标准越来越高，智能质检的创新与突破下探到了深水区。
2023年进入大模型元年。马上消费于当年8月率先推出了金融大模型，并决定其应用于多类业务场景，包括智能质检。在该环节，大模型凭其卓越的上下文记忆和语义理解能力，有效减少了误召率。但由于大模型幻觉等特性，使得其在智能质检中的应用依然存在挑战。
于是，经过慎重思考，马上消费研发团队将“先验规则+NLP+大模型”进行“三模”融合，面对严重违规情形，采用三模并集，以提升召回率；而对一般违规情形，则采用三模交集，重在提升准确率。从而与时俱进，扬长避短，突破技术限制。攻坚小组通过技术的不断精进，再一次实现了召回率和准确率双指标的二次跃升，再度突破行业天花板。
结语：
作为一家以技术驱动的数字金融机构，马上消费历时4年分阶段完成了呼叫中心质检系统从“人工”到“智能”的转化。
马上消费利用前沿技术夯实自身核心竞争力，最终寻找到技术逻辑与业务规律的平衡点，实现了用户体验质的提升。这一过程，不仅仅是技术层面的突破，更是对组织结构、人才资源以及企业文化等管理要素的深刻回归与有机融合。
“工欲善其事，必先利其器”。 新一轮科技革命和产业变革正在重塑经济增长的新动能。未来，全球经济竞争的焦点集中体现在“对科技制高点的竞争”上。中国乃至全球金融业下一阶段的较量一定围绕战略性新兴技术的规模化应用。
文/金仁甫
编辑/范辉
