官方项目页报告了最高约 2.3M tetrahedra 的大变形接触测试。
从物理接触求解到语言条件 3D 运动预测
IPC 解决的是“如何稳定、无穿透地推进大变形接触仿真”;MolmoMotion 解决的是“如何根据视觉历史、物体点和语言目标预测未来 3D 轨迹”。两者都把复杂运动转化为可优化、可验证的几何量。
成果总览
以下数字来自官方项目页、arXiv 页面和论文 HTML 页面;页面生成日期为 2026-07-01。
高接触数量下仍保持无交叉、无反转的时间推进。
从公开视频自动标注得到动作描述、物体 grounding、3D 点轨迹。
人类验证 clips,覆盖 111 类物体与 61 种运动类型。
两篇论文对照
一个是物理仿真求解器,一个是视觉语言 3D 运动预测模型;它们的共同点是显式几何约束。
Incremental Potential Contact
用增量势能最小化来统一处理非线性弹性、接触、摩擦和几何可行性,使每个时间步的轨迹保持无交叉、无反转。
MolmoMotion
把未来运动预测定义为语言条件的物体附着 3D 点轨迹预测,用世界坐标中的点来统一刚体、关节体和可变形物体运动。
各自完整步骤
这里按“输入 - 核心求解 - 输出/验证”的方式重排论文流程,方便复现理解。
IPC 求解流程
contact solver准备场景与材料
输入四面体网格、边界条件、初速度、密度、杨氏模量、泊松比、摩擦系数和时间步长。
构造隐式时间步目标
把惯性项、弹性能、外力势能和接触项写入一个增量势能;每个时间步变成一个非线性优化问题。
检测候选接触并加入屏障
对点-三角形、边-边等接近对加入 barrier potential;距离越接近零,能量越高,从而阻止穿透。
处理摩擦与几何可行性
在接触法向之外更新切向摩擦项;用连续碰撞检测和过滤线搜索限制步长,保证沿线搜索路径不发生交叉或反转。
牛顿式迭代最小化
求解梯度与 Hessian,对候选位移反复做可行线搜索;达到动力学精度和几何贴合精度后接受该时间步。
输出并进入下一步
保存网格状态、能量、动量、迭代统计和动画帧;用当前无穿透状态作为下一时间步初值。
MolmoMotion 训练与推理流程
3D forecast收集带动作描述的视频
从 EgoDex、HD-EPIC、Xperience-10M、YT-VIS、Stereo4D 等公开视频来源构建大规模语义运动样本。
语义 grounding 与点采样
用语言模型抽取被操作/运动实体,用 MolmoPoint 定位,用 SAM3 得到 mask,再在物体内部采样 query points。
2D 跟踪并提升到 3D
用 AllTracker 跟踪密集 2D 点;用 ViPE 估计 metric depth、相机内参/位姿,把轨迹反投影到首帧相机锚定的世界坐标。
过滤、平滑与裁剪
用物体级空间/时间一致性去掉漂移点,用深度平滑降低抖动,并裁剪到真实发生明显运动的时间窗口。
训练两类预测器
MolmoMotion-AR 把毫米级坐标离散成文本序列自回归生成;MolmoMotion-FM 在连续坐标空间用 DiT decoder 学习 flow matching。
评测与下游迁移
在 PointMotionBench 上用 3D ADE/FDE/PWT 评估,再把 3D 运动先验迁移到机器人 pick-and-place 和轨迹引导视频生成。
方法差异
两篇论文都把“运动”显式化,但优化对象、监督来源和失败风险不同。
| 维度 | IPC | MolmoMotion |
|---|---|---|
| 核心问题 | 物理仿真中接触、大变形、摩擦和反转导致求解崩溃。 | 视觉系统需要预测物体未来 3D 运动,而不是只生成看起来合理的视频。 |
| 表示方式 | 有限元节点、表面距离、接触候选对、增量势能。 | 物体附着 query points,在 metric world frame 中的未来 3D 坐标序列。 |
| 关键机制 | barrier potential + interior-point style solver + CCD/filtered line search。 | Molmo2 grounding + 2D track 到 3D lifting + AR/FM 两种轨迹解码。 |
| 主要成果 | 在极端压缩、碰撞和大接触数量下保持 intersection-free 与 inversion-free。 | 建立 MolmoMotion-1M、PointMotionBench,并在 3D 轨迹预测、机器人规划、视频生成中提升性能。 |
| 适合场景 | 动画、工程仿真、软体/刚体接触、需要强几何可行性的离线模拟。 | 机器人操作先验、视频生成运动控制、跨类别物体运动预测。 |
实验结果与影响
下面抽取了最能体现论文价值的结果,不铺满所有表格。
IPC: 可行性保证
官方项目页强调 IPC 在材料参数、时间步、速度、变形程度和边界条件变化下仍保持无交叉、无反转轨迹。
MolmoMotion: 机器人迁移
在 MolmoSpaces Franka pick-and-place 中,MolmoMotion 初始化的策略最终平均成功率达到 76.3%,高于 Molmo2 初始化的 56.0%。
MolmoMotion: 视频生成控制
把预测 3D 轨迹作为 DaS 图像到视频模型的控制信号后,官方页面报告它相对基础模型提升全部五项运动相关指标。
一句话理解二者的关系
IPC 是“从物理定律和约束出发,可靠地算下一帧”;MolmoMotion 是“从视觉、语言和历史轨迹出发,预测物体会怎样运动”。如果把未来智能体放到真实物理世界里,前者提供强约束的仿真基座,后者提供可迁移的运动先验。
- IPC 的贡献是求解可靠性:用优化和屏障能量把接触可行性写进时间步。
- MolmoMotion 的贡献是数据与表示:用世界坐标 3D 点轨迹连接语言、视频和机器人。
- 二者都避免只看像素表象,转而使用显式几何状态来表达运动。
信息来源
所有链接为联网核对来源,未依赖本地 PDF。
IPC
官方项目页 开源实现 Quick StartMolmoMotion
官方项目页 arXiv 摘要 arXiv HTML 代码Prepared as a standalone HTML visualization. Last checked: 2026-07-01.