本文系统介绍了阿里巴巴与蚂蚁集团联合推出的 LoongSuite GenAI 可观测语义规范,通过统一数据语言解决 GenAI 可观测标准化难题,并展示了在 Agent、Skill、Token 级推理等维度的创新建模与规模化落地实践。
📝 详细摘要
本文由蚂蚁技术团队发布,详细阐述了阿里巴巴与蚂蚁集团联合推出的 LoongSuite GenAI 可观测语义规范。文章首先指出,随着 AI Agent 系统快速发展,可观测领域面临标准缺失、口径混乱的问题。OpenTelemetry 虽已推动 GenAI 语义规范建设,但更新节奏较慢。为此,阿里与蚂蚁在 OTel 基础上进行厂商增强,推出了 LoongSuite GenAI SemConv。核心创新包括:新增 Entry/Step Span 以清晰展示 Agent 多轮 ReAct 过程;新增 Skill 语义以支持按功能域聚合分析;首创 Token 级推理观测,将可观测性从请求级别下沉到 Token 粒度,通过采集每个 Token 的生成耗时、调度时间及 Top-K 候选概率分布,实现慢 Token 定位和精度异常根因分析。文章还介绍了 GenAI Utils 工具,通过分层解耦的架构设计,将语义规范的复杂性封装成简洁 API,大幅降低插桩库开发者的接入成本。最后,文章展示了该规范在集团内多个核心场景的落地效果,包括引擎显微镜产品在年底大促中帮助定位多起稳定性问题,10 倍提速问题定界效率。
💡 主要观点
- LoongSuite GenAI SemConv 是 OTel GenAI 语义规范的厂商增强标准,旨在解决 GenAI 可观测数据标准化难题。 该规范在 OTel 基础上,针对阿里和蚂蚁内部大量真实场景中 OTel 尚未覆盖的内容进行语义建模,如 Agent Entry/Step Span、Skill 语义和 Token 级推理观测,并已开源至 LoongSuite 品牌下。
💬 文章金句
- OTel SemConv 是一套汇聚全球几十家头部可观测厂商、数百名领域专家共同设计并持续演进的可观测数据采集标准。
- 推理请求问题定位定界必须以 Token 级别可观测数据作为支撑。
- 首次将推理引擎内部许多原本'黑盒'的过程拆解到 Token 粒度,打造了一个可透视、可解释、可归因的白盒系统。
- 产品上线后,历经年底大促,在稳定性战场成功帮助引擎/SRE/业务同学定位多起稳定性问题,10 倍提速问题定界效率。
- GenAI 时代的可观测建设,已经从'为模型调用加日志埋点'演进到'为 Prompt、推理、检索、工具和 Agent 全链路建立统一语义'。
📊 文章信息
AI 初评:87
来源:蚂蚁技术 AntTech
作者:蚂蚁技术 AntTech
分类:人工智能
语言:中文
阅读时间:30 分钟
字数:7486
标签: GenAI 可观测, OpenTelemetry, 语义规范, AI Agent, Token 级观测