拦截率从 15%到 55%：快手智能 Oncall 系统演进与落地实践

📌 一句话摘要

本文详细复盘了快手智能 Oncall 系统 KOncall 的演进历程，通过从 NLP 到 RAG+大模型的技术架构升级、知识运营体系构建、核心链路优化及私域模型微调，将问题拦截率从 15% 提升至 55%，并实现了从被动响应到源头治理的转变。

📝 详细摘要

文章由快手研发效能团队撰写，系统性地分享了其智能 Oncall 系统 KOncall 的建设与演进实践。文章首先指出了传统 Oncall 体系面临的渠道碎片化和缺乏智能拦截两大挑战。随后，详细阐述了四个关键阶段的演进：1）通过引入 LLM+RAG 架构和基于 Redis Pub/Sub 的流式输出架构，将拦截率从 15% 提升至 25%；2）通过构建从历史工单中提炼 FAQ 的知识运营体系，将拦截率提升至 35%；3）通过优化问答核心链路，包括引入 OCR 多模态解析、基于责任链的相似问推荐与 Ranking 进化、意图分流与知识剪枝、以及引入动态知识查询 Tool 和 SOP 知识，将拦截率提升至 48%；4）通过微调 Qwen-Reranker 模型，使 FAQ 推荐更精准，将拦截率提升至 52%。最后，文章介绍了通过问题聚类与洞察流水线推动源头治理，将拦截率提升至 55%，并展望了将 Oncall 系统从“问题终点”变为“能力起点”的未来方向。

💡 主要观点

- 从 NLP 到 RAG+大模型是智能 Oncall 系统实现拦截率跃升的关键技术决策。 早期基于 NLP 分词和规则匹配的方案泛化能力差，拦截率仅 15%。引入 LLM+RAG 架构后，系统能够理解口语化表达和复杂语义，并通过检索增强生成更准确的答案，为后续的持续优化奠定了基础。

知识运营是提升智能问答系统效果的核心驱动力，尤其是从历史工单中提炼 FAQ。 企业内部文档往往滞后，而历史工单中的群聊记录包含了大量经过验证的、时效性强的“隐性知识”。通过构建从工单中自动提炼 FAQ 并经人工确认的闭环，FAQ 知识占比从 5% 提升到 67%，显著提升了拦截率。

优化问答核心链路需要解决多模态输入、意图模糊、知识噪音和动态知识缺失等实际问题。 通过引入 OCR 处理图片、基于责任链的相似问推荐与 Ranking 进化、意图分流与知识剪枝、以及引入动态知识查询 Tool 和 SOP 知识，系统能够更精准地理解用户意图，并在复杂场景下提供有效帮助。

私域模型微调是提升特定业务场景下推荐精准度的有效手段。 通用 Rerank 模型在处理“形似神不似”的业务意图时表现不佳。通过使用高质量、人工校准的业务数据微调 Qwen-Reranker 模型，FAQ 推荐变得更“克制”但更精准，点击后的拦截率从 50.38% 大幅跃升至 66.37%。

将 Oncall 数据用于源头治理，实现从被动响应到主动预防的转变。 通过自动聚类高频问题簇，识别背后的产品缺陷或易用性问题，并推送诊断报告至产研团队，系统能够推动问题从源头解决，从根本上减少 Oncall 量，将 Oncall 系统从“问题终点”变为“能力起点”。

💬 文章金句

- 让 Oncall 系统从 '问题终点' 变为 '能力起点'。

• 通过构建 'SOP 标准库+FAQ 自进化' 的双引擎体系，我们成功解决了 '没有知识' 的难题。
• 推荐系统表现呈现出 '更克制，但更精准' 的特征，不再强行推荐低置信度的答案，减少了对用户的无效打扰。
• Oncall 数据不再是 '运维记录'，而是 '产品改进的路标'。
• 我们的目标，不是做一个更聪明的客服机器人。而是让 Oncall 这件事，从 '人力黑洞' 变成 '能力沉淀'。

📊 文章信息

AI 初评：88

来源：快手技术

作者：快手技术

分类：软件编程

语言：中文

阅读时间：41 分钟

字数：10123

标签： 智能 Oncall, RAG, 大模型, 知识运营, 快手技术

阅读完整文章