本文报道了一项多校联合实证研究，揭示了 AI 智能体（如 OpenClaw）面临媒介欺骗攻击时，用户感知能力极低（仅 8.6%），并分析了六类认知失效模式，提出体验式学习比传统警示更有效的防御新范式。
📝 详细摘要
文章报道了南洋理工大学、瑞典皇家理工学院和威廉与玛丽学院联合开展的一项大规模实证研究。该研究基于自建的 HAT-Lab 平台，招募 303 名参与者（含 39.3% IT 背景），在 9 个模拟 AI 智能体（如 OpenClaw）交互的场景中，测试用户对智能体媒介欺骗攻击的感知能力。结果显示，仅有 8.6% 的用户能察觉异常，能准确识别攻击机制的仅 2.7%。研究进一步发现，专业知识有时反而会降低风险感知（专家悖论），并总结了任务聚焦隧道、局部验证偏差等六类导致用户忽略异常的认知模式。文章对比了三种传统防护方式（静态声明、持续提醒、交互警报）的有限效果，并提出构建「安全飞行模拟器」进行体验式学习，以及引入「校准型摩擦」作为更有效的防御思路。
💡 主要观点
- 用户对 AI 智能体媒介欺骗攻击的感知能力极弱，实证显示察觉率仅 8.6%。 在 303 名参与者的研究中，绝大多数用户无法察觉智能体工作流被悄悄篡改，揭示了人机协作中严重的安全盲区。
💬 文章金句
- 仅 8.6% 的参与者在交互过程中察觉到风险迹象，而能准确识别其背后机制的比例仅为 2.7%。
- 在代码相关场景中，部分 IT 技术背景参与者的异常感知率低于普通用户，例如某些场景下专家组为 0.0% 或 9.1%，而普通用户则达到 8.1% 或 13.5%。
- 用户先因为智能体效率高而增强依赖，随后减少核查，最终逐步将判断权更多地交给系统。
- 在实验中成功识别攻击的用户，超过 90%表示将在后续交互中采取更谨慎的策略。这种「体验式学习」带来的行为修正效果，显著优于传统的理论警示。
- 真正的有效防御……是引入「校准型摩擦」这意味着在关键决策时刻，系统会适时介入打断用户的惯性操作，激发其进行批判性思考。
📊 文章信息
AI 初评：88
来源：新智元
作者：新智元
分类：人工智能
语言：中文
阅读时间：14 分钟
字数：3410
标签： AI 安全, AI Agent, 媒介欺骗, 用户研究, 人机交互