深度原理发布材料基座模型 MPA,借鉴 LLM 三阶段训练方法并引入物理对齐和混合读出头,在 40 个真实工业任务上取得 SOTA,显著提升了对陌生材料结构的预测能力。
📝 详细摘要
本文报道了深度原理(Deep Principle)推出的材料基座模型 MPA(Materials Property Axiom)。该模型的核心创新在于借鉴了大语言模型(LLM)的预训练-中期训练-微调三阶段训练范式,并针对材料科学特性进行了两项关键设计:一是引入物理对齐(physics-guided alignment)的中期训练,利用大规模第一性原理计算数据,帮助模型建立对真实材料物理特性的直觉,而非仅停留在分子结构记忆;二是设计了混合读出头(Hybrid Readout),通过注意力池化和原子加和两条路径,分别处理与分子大小无关和相关的两类性质,并用可学习参数 α 动态平衡。实验结果显示,MPA 在 40 个真实工业实验数据集上全面超越 ChemBERTa、Uni-Mol2 等主流模型,尤其在更具挑战性的骨架划分(预测全新结构)场景下,平均误差降低 14.6%,拿下 35 个 SOTA。文章认为,MPA 将材料基础模型的适配问题重新定义为物理对齐问题,为 AI4S 领域提供了一条务实且可扩展的技术路线。
💡 主要观点
- MPA 借鉴 LLM 三阶段训练范式,引入中期训练进行物理对齐。 在预训练和微调之间增加中期训练,利用大规模第一性原理计算数据,帮助模型建立对材料物理特性的直觉,弥补理论计算与真实实验之间的鸿沟,这是模型性能提升的关键。
💬 文章金句
- MPA 做了一件很有意思的事:它把材料基础模型的「适配问题」,重新定义成了「物理对齐问题」。
- 让 AI 建立的,不是对材料长相的记忆,而是对真实材料的「物理直觉」。
- 模型在「没见过的骨架」上提升最明显,恰恰说明它学到的不是死记硬背的分子长相,而是真正可迁移的「物理直觉」。
- MPA 提供了一条相当务实的技术路线:把第一性原理计算、高质量实验数据,以及面向具体任务的微调训练整合到同一个可扩展框架中。
📊 文章信息
AI 初评:88
来源:量子位
作者:思邈
分类:人工智能
语言:中文
阅读时间:14 分钟
字数:3412
标签: MPA, 材料基座模型, AI4S, 物理对齐, Transformer