IPC × MolmoMotion 研究成果与完整步骤可视化
two research stacks

从物理接触求解到语言条件 3D 运动预测

IPC 解决的是“如何稳定、无穿透地推进大变形接触仿真”;MolmoMotion 解决的是“如何根据视觉历史、物体点和语言目标预测未来 3D 轨迹”。两者都把复杂运动转化为可优化、可验证的几何量。

IPC变形体 + 摩擦接触 + 屏障能量
MolmoMotion视觉语言输入 + 物体点未来轨迹

成果总览

以下数字来自官方项目页、arXiv 页面和论文 HTML 页面;页面生成日期为 2026-07-01。

IPC 规模验证
2.3M

官方项目页报告了最高约 2.3M tetrahedra 的大变形接触测试。

IPC 每步接触
498K

高接触数量下仍保持无交叉、无反转的时间推进。

MolmoMotion 训练数据
1.16M

从公开视频自动标注得到动作描述、物体 grounding、3D 点轨迹。

PointMotionBench
2.7K

人类验证 clips,覆盖 111 类物体与 61 种运动类型。

两篇论文对照

一个是物理仿真求解器,一个是视觉语言 3D 运动预测模型;它们的共同点是显式几何约束。

Incremental Potential Contact

ACM TOG / SIGGRAPH 2020 · Minchen Li 等
IPC

用增量势能最小化来统一处理非线性弹性、接触、摩擦和几何可行性,使每个时间步的轨迹保持无交叉、无反转。

变分隐式时间步进 接触屏障势能 过滤线搜索 大变形有限元 用户可控精度

MolmoMotion

arXiv 2606.18558 · 2026-06-17 · Jianing Zhang 等
Motion

把未来运动预测定义为语言条件的物体附着 3D 点轨迹预测,用世界坐标中的点来统一刚体、关节体和可变形物体运动。

Molmo2 视觉语言骨干 3D 世界坐标轨迹 AR 坐标文本解码 Flow matching 生成 机器人与视频生成迁移

各自完整步骤

这里按“输入 - 核心求解 - 输出/验证”的方式重排论文流程,方便复现理解。

IPC 求解流程

contact solver
1

准备场景与材料

输入四面体网格、边界条件、初速度、密度、杨氏模量、泊松比、摩擦系数和时间步长。

2

构造隐式时间步目标

把惯性项、弹性能、外力势能和接触项写入一个增量势能;每个时间步变成一个非线性优化问题。

3

检测候选接触并加入屏障

对点-三角形、边-边等接近对加入 barrier potential;距离越接近零,能量越高,从而阻止穿透。

4

处理摩擦与几何可行性

在接触法向之外更新切向摩擦项;用连续碰撞检测和过滤线搜索限制步长,保证沿线搜索路径不发生交叉或反转。

5

牛顿式迭代最小化

求解梯度与 Hessian,对候选位移反复做可行线搜索;达到动力学精度和几何贴合精度后接受该时间步。

6

输出并进入下一步

保存网格状态、能量、动量、迭代统计和动画帧;用当前无穿透状态作为下一时间步初值。

MolmoMotion 训练与推理流程

3D forecast
1

收集带动作描述的视频

从 EgoDex、HD-EPIC、Xperience-10M、YT-VIS、Stereo4D 等公开视频来源构建大规模语义运动样本。

2

语义 grounding 与点采样

用语言模型抽取被操作/运动实体,用 MolmoPoint 定位,用 SAM3 得到 mask,再在物体内部采样 query points。

3

2D 跟踪并提升到 3D

用 AllTracker 跟踪密集 2D 点;用 ViPE 估计 metric depth、相机内参/位姿,把轨迹反投影到首帧相机锚定的世界坐标。

4

过滤、平滑与裁剪

用物体级空间/时间一致性去掉漂移点,用深度平滑降低抖动,并裁剪到真实发生明显运动的时间窗口。

5

训练两类预测器

MolmoMotion-AR 把毫米级坐标离散成文本序列自回归生成;MolmoMotion-FM 在连续坐标空间用 DiT decoder 学习 flow matching。

6

评测与下游迁移

在 PointMotionBench 上用 3D ADE/FDE/PWT 评估,再把 3D 运动先验迁移到机器人 pick-and-place 和轨迹引导视频生成。

方法差异

两篇论文都把“运动”显式化,但优化对象、监督来源和失败风险不同。

维度 IPC MolmoMotion
核心问题 物理仿真中接触、大变形、摩擦和反转导致求解崩溃。 视觉系统需要预测物体未来 3D 运动,而不是只生成看起来合理的视频。
表示方式 有限元节点、表面距离、接触候选对、增量势能。 物体附着 query points,在 metric world frame 中的未来 3D 坐标序列。
关键机制 barrier potential + interior-point style solver + CCD/filtered line search。 Molmo2 grounding + 2D track 到 3D lifting + AR/FM 两种轨迹解码。
主要成果 在极端压缩、碰撞和大接触数量下保持 intersection-free 与 inversion-free。 建立 MolmoMotion-1M、PointMotionBench,并在 3D 轨迹预测、机器人规划、视频生成中提升性能。
适合场景 动画、工程仿真、软体/刚体接触、需要强几何可行性的离线模拟。 机器人操作先验、视频生成运动控制、跨类别物体运动预测。

实验结果与影响

下面抽取了最能体现论文价值的结果,不铺满所有表格。

IPC: 可行性保证

官方项目页强调 IPC 在材料参数、时间步、速度、变形程度和边界条件变化下仍保持无交叉、无反转轨迹。

几何约束
大变形

MolmoMotion: 机器人迁移

在 MolmoSpaces Franka pick-and-place 中,MolmoMotion 初始化的策略最终平均成功率达到 76.3%,高于 Molmo2 初始化的 56.0%。

MolmoMotion 76.3%
Molmo2 56.0%

MolmoMotion: 视频生成控制

把预测 3D 轨迹作为 DaS 图像到视频模型的控制信号后,官方页面报告它相对基础模型提升全部五项运动相关指标。

运动控制 提升
指令一致 提升

一句话理解二者的关系

IPC 是“从物理定律和约束出发,可靠地算下一帧”;MolmoMotion 是“从视觉、语言和历史轨迹出发,预测物体会怎样运动”。如果把未来智能体放到真实物理世界里,前者提供强约束的仿真基座,后者提供可迁移的运动先验。

  • IPC 的贡献是求解可靠性:用优化和屏障能量把接触可行性写进时间步。
  • MolmoMotion 的贡献是数据与表示:用世界坐标 3D 点轨迹连接语言、视频和机器人。
  • 二者都避免只看像素表象,转而使用显式几何状态来表达运动。

信息来源

所有链接为联网核对来源,未依赖本地 PDF。

Prepared as a standalone HTML visualization. Last checked: 2026-07-01.