AI 驱动：从运营行为到自动化用例的智能化实践

📌 一句话摘要

本文详细介绍了得物技术团队如何利用 Midscene 和 Qwen-VL 等 AI 工具，构建一套从真实运营行为日志自动生成并执行 E2E 测试用例的智能化质量保障平台。

📝 详细摘要

文章系统阐述了得物技术团队为应对业务快速增长和技术栈迁移带来的质量挑战，所构建的一套自动化与智能化结合的 E2E 测试方案。该方案的核心创新在于，利用应用性能监控系统记录的线上真实运营行为日志作为输入，通过解析和转换，自动生成可执行的测试用例。在执行阶段，采用 Midscene 开源 AI 驱动工具结合 Qwen2.5-VL-72B 视觉大模型，实现基于视觉感知和意图理解的 UI 交互自动化。方案还集成了代码覆盖率采集，并构建了包含数据看板、用例管理和执行详情复盘在内的平台化运营闭环，旨在降低维护成本、提升测试覆盖率和效率，为业务快速迭代提供可靠质量支撑。

💡 主要观点

- 以真实运营行为日志为源头，实现 E2E 测试用例的自动化生成。 方案从应用性能监控系统获取内部运营的真实操作会话记录，通过解析、过滤和转换，自动生成结构化的 Midscene 测试脚本，使测试用例更贴近高频核心业务流，解决了传统手动编写或录制用例效率低、覆盖难的问题。

采用 Midscene + Qwen-VL 视觉模型实现 AI 驱动的智能执行与自适应交互。 执行引擎结合视觉模型对屏幕截图和 DOM 状态进行分析，理解测试步骤意图并定位元素执行操作，模拟人类“看到-理解-操作”的决策链。内置智能等待、多轮定位等策略，能自适应处理 UI 变化和异常场景，显著降低因 DOM 结构微调导致的用例维护成本。

构建平台化数据运营闭环，将测试结果转化为可指导行动的质量洞察。 通过集成代码覆盖率采集和构建多维数据看板，系统不仅能展示用例执行结果，还能识别高风险页面、评估用例价值、优化测试资产，并将失败步骤的截图、堆栈等信息白盒化，极大简化了问题定位和调试过程。

方案选型注重工程化落地，平衡 AI 能力与确定性控制。 团队在 AI 工具选型时，综合考虑了技术栈匹配（选择 JavaScript 系的 Midscene）、能力扩展性（支持 DOM 与视觉分析）以及工程定制空间（可结合 Playwright/Puppeteer 做兜底），确保了方案的可行性和可维护性。

💬 文章金句

- 基于真实业务流，用例生成更贴近线上高频、关键链路的典型走法，有助于缓解「回归范围难以收敛」的问题，并实现了测试用例从纯手工编排转为自动生成。

• AI 模型结合“当前屏幕画面”和“步骤指令”，理解运营意图，在屏幕上定位目标元素，并执行对应的原子操作。这个过程模拟了人类“看到-理解-操作”的决策链。
• 通过这四个阶段的闭环，系统实现了从真实运营行为到自动化测试用例的完整转化，并将执行结果转化为可运营的质量数据。
• 将人工复核确认的稳定用例标记为“核心回归用例”，变成自动化巡检，建立起一道质量防线。

📊 文章信息

AI 初评：88

来源：得物技术

作者：得物技术

分类：人工智能

语言：中文

阅读时间：22 分钟

字数：5459

标签： AI E2E 测试, Midscene, Qwen-VL, 自动化测试, 视觉 AI

阅读完整文章