AI预判了你的预判!人大高瓴团队发布TTR,教会AI一眼看穿你的下一步
(来源:机器之心)

-
论文标题:Think-Then-React: Towards Unconstrained Human Action-to-Reaction Generation -
论文链接:https://openreview.net/pdf?id=UxzKcIZedp -
项目链接:Think-Then-React.github.io





-
去除思考(w/o Think):FID 从 1.942 上升到 3.828,证明了思考阶段对反应生成的重要性。 -
去除预训练(w/o All PT.):模型性能大幅下降,表明预训练对于适应运动 - 语言模态至关重要。 -
去除不同预训练任务:三种预训练任务(动作 - 动作、空间 - 位姿、动作 - 文本)均有正向贡献,互为补充。 -
去除单人数据(w/o SP Data):仅依赖多人的数据仍可取得较好结果,单人数据的补充对模型表现提升不显著。


-
单人动作数据有效性
-
重新思考时间间隔
-
动作描述质量

-
思考 / 动作描述
