中国信通院与清华大学联合团队提出 FedRE 框架，通过表征纠缠技术，在模型异构联邦学习中兼顾模型性能、数据隐私与通信开销。
📝 详细摘要
本文介绍了由中国信通院泰尔英福公司与清华大学等高校联合提出的 FedRE 联邦学习框架。该框架旨在解决联邦学习中模型性能、数据隐私和通信开销三者之间的权衡难题，特别是在客户端采用不同模型架构（如 CNN 与 Transformer）的模型异构场景下。FedRE 的核心创新在于引入「纠缠表征」作为客户端知识表示方式：每个客户端通过随机加权将来自不同类别的本地表征融合为一个纠缠表征，并生成对应的纠缠标签编码，仅需上传这一组数据至服务器用于训练全局分类器。这种方法相比上传所有样本表征（FedAllRep）或仅上传类别原型（FedGH），在保持模型性能的同时，显著降低了通信开销并增强了隐私保护能力。实验结果表明，FedRE 在多个数据集上取得了优于 FedGH 的性能，其纠缠表征能有效抵御表征逆向攻击，且通信开销最低。该工作为数据要素安全流通提供了一种可行路径。
💡 主要观点
- FedRE 通过表征纠缠技术解决联邦学习三难困境。 在模型异构场景下，FedRE 将客户端不同类别的本地表征通过随机加权融合为一个纠缠表征，并生成对应的纠缠标签编码，仅需上传一组数据，在性能、隐私和通信开销之间取得平衡。
💬 文章金句
- 在联邦学习中，如何同时兼顾模型性能、数据隐私和通信开销，是一个亟需解决的挑战。
- FedRE 引入纠缠表征作为一种新的客户端知识表示方式。
- 由于纠缠标签包含跨类别的监督信号，且在每一轮通信中都会重新采样权重以增加多样性，全局分类器在训练过程中能够同时考虑多个类别，从而避免对单一类别过度自信，学习到更加平滑的决策边界。
- 纠缠表征重建结果几乎不可辨识，表明其通过多类别信息融合显著降低了样本可恢复性。
📊 文章信息
AI 初评：86
来源：量子位
作者：听雨
分类：人工智能
语言：中文
阅读时间：8 分钟
字数：1822
标签： 联邦学习, 表征纠缠, 模型异构, 隐私保护, FedRE