← 回總覽

蚂蚁集团联合五所高校推出智能体安全评测平台

📅 2026-05-25 17:04 蚂蚁技术 AntTech 人工智能 2 分鐘 1447 字 評分: 85
AI Agent 智能体安全 安全评测 Agent3σ 蚂蚁集团
📌 一句话摘要 蚂蚁集团联合清华、北大等五所高校推出智能体安全评测平台 Agent3σ,从七大风险维度、三级评测体系全面评估 AI Agent 在真实环境中的安全风险。 📝 详细摘要 文章介绍了蚂蚁集团联合清华大学、北京大学、浙江大学、南京大学、杭州电子科技大学共同推出的智能体安全评测平台 Agent3σ。该平台针对 AI Agent 在调用工具、操控系统、执行真实业务时可能产生的安全风险,构建了多层次、可复现、贴近生产环境的安全评测能力。平台覆盖七大风险维度(本地环境破坏、数据信息安全、持久状态污染、权限管控、网络攻击、业务滥用、金融交易)和 30+ 典型场景,并设计了三级递进式评测体系

📌 一句话摘要

蚂蚁集团联合清华、北大等五所高校推出智能体安全评测平台 Agent3σ,从七大风险维度、三级评测体系全面评估 AI Agent 在真实环境中的安全风险。

📝 详细摘要

文章介绍了蚂蚁集团联合清华大学、北京大学、浙江大学、南京大学、杭州电子科技大学共同推出的智能体安全评测平台 Agent3σ。该平台针对 AI Agent 在调用工具、操控系统、执行真实业务时可能产生的安全风险,构建了多层次、可复现、贴近生产环境的安全评测能力。平台覆盖七大风险维度(本地环境破坏、数据信息安全、持久状态污染、权限管控、网络攻击、业务滥用、金融交易)和 30+ 典型场景,并设计了三级递进式评测体系:L1 静态数据评测(Sweep)、L2 仿真交互评测(Stage)、L3 真实环境评测(Canary)。首批榜单显示,Claude Opus 4.6 和 Qwen3.6-Plus 在多层次评测中表现突出,而部分模型在静态样本上表现尚可,进入仿真或真实环境后明显下滑,验证了多层次评测的必要性。项目已开源,旨在为模型厂商、应用开发者和监管合规提供安全基线。

💡 主要观点

- Agent 安全风险从模型输出合规扩展到执行链路安全。 传统大模型安全评测关注输出合规,但 Agent 的核心风险在于读取环境、规划任务、调用工具并对外部世界产生实际影响,需要系统级风险评测。

Agent3σ 覆盖七大风险维度和 30+ 典型场景。 从本地环境破坏、数据泄露、记忆污染到金融交易风险,全面覆盖 Agent 在真实使用中可能面临的安全攻击面。
三级递进式评测体系实现从信号级到环境级的完整安全画像。 L1 静态样本评测覆盖广、成本低;L2 仿真交互评测验证多轮交互流程;L3 真实环境评测评估端到端安全表现和实际风险后果。
多层次评测能揭示静态问答难以发现的真实安全差异。 部分模型在静态样本上表现尚可,但进入仿真或真实环境后安全能力明显下滑,验证了多层次评测对发现 Agent 风险的不可替代价值。

💬 文章金句

- 当智能体真正接入网页、邮件、文件、API 与业务系统后,安全风险也不再只是模型'说错话',而是可能演变为 Agent '做错事'。

  • Agent3σ 的评测视角因此从单点问答升级为系统级风险评测。
  • Agent3σ 的发布,推动 AI Agent 安全评测从单一 Prompt 攻防,进入全任务链路可观测、可量化、可比较的新阶段。

📊 文章信息

AI 初评:85

来源:蚂蚁技术 AntTech

作者:蚂蚁技术 AntTech

分类:人工智能

语言:中文

阅读时间:9 分钟

字数:2032

标签: AI Agent, 智能体安全, 安全评测, Agent3σ, 蚂蚁集团

阅读完整文章

查看原文 → 發佈: 2026-05-25 17:04:00 收錄: 2026-05-26 02:00:42

🤖 問 AI

針對這篇文章提問,AI 會根據文章內容回答。按 Ctrl+Enter 送出。