Nature子刊，EPFL与上海交大用多模态Transformer精准预测全局最低吸附能，助力催化剂设计
在大规模催化剂筛选中，快速评估催化剂表面与吸附质之间的全局最低吸附能（Global Minimum Adsorption Energy,GMAE）是一项关键任务。然而，由于每种表面/吸附质组合往往对应多个吸附位点与复杂构型，传统基于密度泛函理论（DFT）的计算方法面临高昂的时间和资源成本。
为应对这一挑战，来自洛桑联邦理工学院（EPFL）的Philippe Schwaller教授团队与上海交通大学（SJTU）贺玉莲教授团队联合提出了一种多模态Transformer框架AdsMT，该研究的共同一作为陈俊武（现EPFL博士生）和黄旭（现UC Berkeley博士生）。
在不依赖具体吸附位点信息的前提下，AdsMT可高效预测GMAE。该方法以催化剂表面的图结构和吸附质的特征向量为输入，通过引入跨模态注意力机制（cross-attention），有效捕捉吸附质与表面原子之间的复杂交互，从而避免了对所有可能吸附构型的穷举计算。
该研究以「A multi-modal transformer for predicting global minimum adsorption energy」为题，于2025年4月4日刊登于《Nature Communications》
AdsMT模型架构
AdsMT框架由三个模块组成：用于编码催化剂表面的图编码器、用于编码吸附质的向量编码器，以及用于融合表征并预测GMAE的跨模态编码器。
其中，跨模态编码器结合了跨注意力（cross-attention）与自注意力（self-attention）两种机制，精细建模吸附质与表面原子之间的复杂交互。
在第一个跨注意力层中，吸附质向量表征与表面图结构表征拼接形成查询矩阵（Q），而原子嵌入（atomic embeddings）与原子深度嵌入（depth embeddings）则作为键（K）和值（V）矩阵输入。其中，原子深度向量用于编码原子在表面结构中的相对层级位置（如顶层或底层原子），帮助模型理解吸附位点的空间分布。
随后在自注意力层中，吸附质、表面原子及其结构信息被统一堆叠输入，进一步通过自注意力机制（Q=K=V）整合为统一的多模态表征，用于最终的吸附能预测。
GMAE基准数据集
为系统评估模型在不同场景下的泛化能力，研究团队构建了三个具有代表性的用于预测全局最低吸附能（GMAE）的基准数据集，分别为OCD-GMAE、Alloy-GMAE和FG-GMAE。每个样本对应一个唯一的催化剂表面与吸附质组合，为AdsMT及后续研究提供了稳定、可靠的评测基础。
AdsMT模型表现及迁移学习
AdsMT融合了定制化图编码器与迁移学习策略，展现出优异的预测性能。研究团队专门设计了一种图神经网络Transformer编码器——AdsGT，用于高效提取表面原子间的结构信息。为系统评估其性能，团队将AdsGT与现有多种主流图编码器进行了对比，并在上述三个GMAE基准数据集上进行了统一评测。除了采用平均绝对误差（MAE）作为基本指标，研究还引入了一个更加严格的评价标准——成功率（Success Rate, SR），即预测值与DFT真值误差小于0.1 eV的比例。
结果显示，AdsMT结合AdsGT编码器后的表现相较于结合其他图编码器而言更加优异，在Alloy-GMAE数据集上，达到了0.143 eV的MAE和66.3%的SR，在FG-GMAE数据集中，取得的最低MAE为0.095 eV，SR达到71.9%。
为进一步提升模型在数据稀缺场景下的表现（如数据点小于一千且表面成分复杂，涉及54种元素的OCD-GMAE数据集），研究团队引入了迁移学习策略，先在包含局部最低吸附能（LMAE）的大型数据集上进行预训练。
为此，研究团队从OC20数据集中清洗构建了一个新数据集OC20-LMAE，涵盖36万余组表面/吸附质组合与其对应的LMAE值。在此基础上进行迁移学习后，AdsMT在OCD-GMAE上取得了显著提升，MAE降至0.389 eV，SR提高至22.0%。
模型可解释性：最优吸附位点识别
除了预测吸附能外，识别最优吸附位点在催化剂设计与反应机理研究中同样至关重要。对此，研究团队进一步探索了跨注意力层中的注意力分数，用于估计表面上最有可能发生吸附的位置。值得一提的是，AdsMT在训练时并未接收任何吸附位点或构型信息，但其预测结果与DFT基准数据具有较高一致性，展现出出色的可解释性和实际应用潜力。
不确定性量化评估
在虚拟筛选实际应用中，模型能否提供可靠的不确定性估计尤为关键，有助于科研人员判断预测可信度，从而更高效地分配实验资源。为此，研究团队训练了多个相互独立的AdsMT模型副本，通过预测结果的方差来估计不确定性。结果表明，AdsMT的不确定性估计与预测MAE高度相关，尤其在低不确定性区间具有极高的预测准确度。
进一步分析显示，AdsMT的不确定性估计具有良好的校准性和统计显著性，有效避免了高估或低估风险的问题，为其在实际高通量催化剂筛选中的应用打下了基础。
总结与展望
研究团队提出了一个通用的多模态Transformer框架AdsMT，可在无需吸附位点信息的情况下，直接预测表面-吸附质体系的最低吸附能（GMAE）。该模型融合了催化剂表面图与吸附质特征向量两种模态，在GMAE基准数据集上取得了优异表现，并具备良好的泛化能力。AdsMT对原子连接关系不变的几何扰动具有鲁棒性，并在预测效率上远超现有方法——比DFT快近8个数量级，比MLIP+启发式搜索快4个数量级。高效率及低成本使得AdsMT适用于大规模催化剂的虚拟筛选。
面对数据稀缺问题，研究显示迁移学习可有效提升性能。
未来可结合机器学习势函数（MLIP）获取粗略GMAE数据进行预训练，进一步引入主动学习策略，以扩展数据覆盖范围并增强模型可靠性。此外，AdsMT的跨注意力得分具备识别吸附位点的潜力。
另外，可尝试将吸附构型等领域知识融入训练过程，或将原子重要性作为预测目标纳入损失函数，以增强模型的结构感知能力。
进一步地，AdsMT可与MLIP和DFT联合应用于特定反应的催化剂筛选任务：先通过AdsMT快速锁定GMAE低且不确定性小的候选表面，随后使用DFT精细验证，从而在大幅降低计算成本的同时实现可靠的虚拟筛选流程。
论文链接：https://www.nature.com/articles/s41467-025-58499-7
(来源:机器之心)
关联资讯:
华尔街贸易公司 Jane Street 收购比特币矿企 Iris Energy 6% 的股份
Minimum Deposit Casinos 分析中美贸易战对全球在线博彩业的影响
港股异动 | 理士国际(00842)午后涨超10% 公司拟分拆海外业务上市 AI数据中心拉动备用电池需求
