OpenAI 参与，重卷 ImageNet：终于把 FID 做成训练

📌 一句话摘要

USC、CMU、CUHK 和 OpenAI 联合提出 FD-loss，通过解耦统计样本池与梯度回传，首次将 FID 作为训练损失函数，实现单步生成器 FID 0.72，并揭示 FID 最低并非视觉最优，提出更鲁棒的综合指标 FDrk。

📝 详细摘要

本文报道了由 USC、CMU、CUHK 和 OpenAI 华人团队联合提出的 FD-loss 方法，首次将图像生成领域沿用近十年的评价指标 FID 直接作为训练损失函数。核心创新在于将计算统计量的样本池与计算梯度的 batch 彻底解耦，通过大容量缓存队列或指数移动平均机制稳定估算分布，仅对小批量数据回传梯度，解决了 FID 因需 5 万张图像统计而无法参与训练的难题。实验结果表明，FD-loss 作为后训练插件，可将已有单步生成器的 FID 从 2.29 刷至 0.72（ImageNet 256×256），且推理成本零增加；还能将多步扩散模型直接改造为高性能单步生成器，无需教师蒸馏或对抗训练。更重要的发现是，FID 数值最优的模型视觉观感未必最佳，基于 Inception 特征优化的模型在结构细节上弱于使用 DINOv2、MAE 等现代表征的模型。为此，团队提出跨 6 种表征空间的归一化平均指标 FDrk，真实验证集基准为 1.0，当前最强模型仍高达 1.89，表明 ImageNet 图像生成远未解决。

💡 主要观点

- FD-loss 通过解耦统计样本池与梯度回传，首次将 FID 作为可训练损失函数。 传统 FID 需 5 万张图像统计分布，无法用于训练。FD-loss 利用大容量缓存队列或 EMA 机制稳定估算分布，仅对小批量数据回传梯度，使 FID 可直接优化生成模型。

FD-loss 作为后训练插件，显著提升单步生成器质量，FID 达 0.72。 在 ImageNet 256×256 上，已有单步生成器经 FD-loss 微调后 FID 从 2.29 降至 0.72，推理成本不变，打破高质量必须多步的固有认知。

FID 最低的模型视觉观感未必最优，现有指标存在误导性。 基于 Inception 特征优化的模型 FID 最低，但视觉结构细节弱于使用 DINOv2、MAE 等现代表征的模型，表明 FID 可能引导模型走向错误优化方向。

团队提出跨 6 种表征空间的综合指标 FDrk，揭示 ImageNet 生成远未解决。 FDrk 通过对 Inception-v3、DINOv2 等 6 种表征计算归一化 FD 比值取平均，真实验证集基准为 1.0，当前最强模型仍高达 1.89，表明该领域距离技术成熟还有很大差距。

💬 文章金句

- 统治 AI 图像生成近 10 年的黄金标准，第一次被拉下场当了教练。

• FID 数值最优的模型，视觉观感未必出众。
• 按照这套新标准测算，真实验证集基准数值为 1.0，现阶段顶尖生成模型的数值依旧高达 1.89。
• 低成本、高回报，这正是 FD-loss 之于工业界的诱惑力所在。

📊 文章信息

AI 初评：90

来源：量子位

作者：衡宇

分类：人工智能

语言：中文

阅读时间：15 分钟

字数：3697

标签： FID, FD-loss, 图像生成, 扩散模型, 单步生成

阅读完整文章