GNN × XPBD：混合布料求解器的四种耦合架构

约 4456 字大约 15 分钟

2026-08-28

前置阅读：从 PBD 到 XPBD：布料约束求解的数学地基 · 从三角网格到图网络：布料动力学的可学习表示

纯 GNN 求解器擅长从数据中吸收复杂、难以显式建模的动力学，却可能在长序列中积累伸长、穿透和能量漂移；纯 XPBD 求解器有明确约束和稳定的运行时边界，但材料调参、未建模气动力与复杂接触往往代价高昂。一个自然的问题是：能否让 GNN 负责“猜得快”，再让 XPBD 负责“守住底线”？

需要先划清本文的学术边界：下面的混合架构是对已发表组件与匿名工程实验的综合归纳，不是对某一篇论文原方法的复述，更不应冒充新的论文算法。 MeshGraphNets 展示了图网络预测网格动力学的能力；XPBD 给出了带 compliance 与累计拉格朗日乘子的约束投影；C-GNS 则证明“学习约束，再迭代求解”是另一条可行路线。本文做的是工程设计空间的整理。

1. 先确定职责边界

混合求解器不应让两个模块同时争夺所有自由度。更容易训练和调试的分工是：

GNN 预测器估计未建模动力、低频形变趋势或经典积分器的残差；
积分器把速度与加速度转换为惯性位置；
XPBD 校正器执行拉伸、弯曲、固定点和接触等硬性或半硬性约束；
速度更新把校正后位置重新写回动力学状态。

也就是说，GNN 提供 proposal，XPBD 提供 admissible state。后者不是“给网络结果加一点平滑”，而是在质量加权的空间内寻找更满足约束的状态。对约束 $C_j(\mathbf{x})=0$ ，XPBD 的核心增量可写为：

\Delta\lambda_j = \frac{-C_j(\mathbf{x})-\widetilde\alpha_j\lambda_j} {\sum_i w_i\lVert\nabla_{\mathbf{x}_i}C_j\rVert^2+\widetilde\alpha_j}, \qquad \widetilde\alpha_j=\frac{\alpha_j}{\Delta t^2},

\Delta \mathbf{x}_i=w_i\nabla_{\mathbf{x}_i}C_j\Delta\lambda_j.

这里 $w_i$ 是逆质量， $\alpha_j$ 是 compliance（柔度，即刚度的倒数），但它的单位随约束定义而变化，并不是无量纲的通用“软硬度”。固定点的逆质量为零，或由独立运动学约束处理。累计的 $\lambda_j$ 在当前时间步内影响后续迭代，也可以构造约束作用强弱的诊断量。按 XPBD 论文的标度，标量约束力乘子可由 $\lambda_j/\Delta t^2$ 估计，再结合 $\nabla C_j$ 得到方向；不同实现可能存储不同标度。跨不同 $\Delta t$ 比较或输入 GNN 时，应使用一致的力估计/归一化约定，而不是直接比较裸 $\lambda_j$ 。

2. 四个可能的耦合位置

“GNN + XPBD”不是单一结构。网络输出放在哪里，会改变物理含义、梯度路径和失效方式。下面 A～D 的分类是本文的工程综合方案，不是所引论文共同提出的标准分类。

方案	GNN 输出	XPBD 的角色	优点	主要风险
A. 位置后投影	下一帧位置或位移	把预测位置拉回约束集	最直接，容易做出原型	网络绕过积分语义，校正量可能过大
B. 加速度/残差	加速度、力或积分残差	修正积分后的约束违例	状态含义清晰，适合长序列	对时间步、质量和归一化敏感
C. 材料参数	compliance、阻尼或其修正量	使用学习到的参数求解	状态推进仍由物理解算器完成	参数不可辨识，离散尺度变化时需重标定
D. 可微联合训练	预测量和/或材料参数	位于训练计算图内部	端到端优化最终校正结果	显存、非光滑接触与梯度稳定性困难

前三项回答的是“网络输出什么”；D 回答的是“梯度是否穿过 XPBD”，因此并非与 A～C 互斥。A、B、C 任一种都可以选择停梯度、有限步展开或在满足条件时使用隐式微分。

2.1 先预测位置，再做 XPBD 投影

最短路径是令网络直接输出 $\hat x_{t+1}$ 或 $\Delta x$ ，把它作为 XPBD 初值。它适合验证“图网络是否捕获了主要形变”，也适合教师数据只有位置轨迹的情况。

问题在于，位置输出没有天然区分惯性、外力与材料响应。如果网络把布料预测到约束集很远的位置，少量 XPBD 迭代只会留下明显伸长；大量迭代虽然能修形，却可能抹掉网络预测。此时最终结果看似稳定，实际每帧都由两个模块互相抵消。应持续记录

r_{\text{proj}}=\frac{\lVert x_{t+1}-\hat x_{t+1}\rVert} {\lVert \hat x_{t+1}-x_t\rVert+\varepsilon},

而不是只看最终顶点误差。投影残差长期偏大，说明职责划分失败。若网络输出的是“每帧位移”而不是有单位的速度/加速度，它还会天然绑定训练时间步；部署时改变子步数必须重新定义输出尺度或把 $\Delta t$ 显式作为条件。

2.2 预测加速度或经典模型残差

更推荐让 GNN 输出 $a_\theta$ ，或者输出相对基础模型 $a_{\text{base}}$ 的残差：

\tilde x = x_t+\Delta t\,v_t+ \Delta t^2(a_{\text{ext}}+a_{\text{base}}+a_\theta).

这种接口保留了二阶动力学语义：换时间步时，网络贡献仍通过 $\Delta t^2$ 缩放；速度来自相邻状态，而不是由网络凭空维护。GNN 可以专注于风、复杂阻尼、人体运动诱发的局部效应，XPBD 则继续约束不可伸长性和接触。

若输出力而非加速度，必须显式乘逆质量；若训练网格质量分布固定，却在运行时更换质量，二者不能混用。 $a_{\text{base}}$ 也必须定义清楚：若 XPBD 已负责拉伸与弯曲，基础加速度中就不应再次加入同一套弹性响应。工程上还应限制残差幅度，例如对标准化输出使用有界映射，并监控它相对重力和惯性项的比例。

2.3 预测材料参数或 compliance

另一种思路是不预测运动，而是让网络根据局部几何、材料标签和历史应变输出 $\alpha_j$ 、阻尼或基准参数的乘性修正。XPBD 仍然完成全部状态推进，因此结果更容易解释，也能直接观察每类约束的参数场。

compliance 必须非负。若已知可靠范围，可用平滑有界参数化

\alpha_j=\alpha_{\min}+ (\alpha_{\max}-\alpha_{\min})\operatorname{sigmoid}(z_j).

若参数跨越多个数量级，更适合预测 $\ell_j=\log\alpha_j$ ，再令 $\alpha_j=\exp(\ell_j)$ ；边界可通过先验损失或平滑映射施加。直接硬 clamp 会让越界区域梯度为零。真正的硬约束 $\alpha=0$ 应作为离散分支保留，不要交给对数参数化逼近。若参数本应代表材料，最好让它在一个序列或一个面片内保持稳定；逐帧自由变化的 compliance 很容易成为“隐藏控制力”，产生闪烁而不再具有材料意义。约束离散方式、网格面积和边长改变后，每约束 compliance 也未必保持同一宏观材料含义，必须单独做分辨率标定。

该方案的根本难点是不可辨识性：更软的拉伸、更强的阻尼和更小的外力可能形成相似轨迹。Differentiable XPBD 的实验确实展示了受控合成场景中的单参数估计，也报告了多参数优化的补偿与歧义；它不等于已经解决真实观测下的材料辨识。工程上应限制同时开放的参数族，并用独立激励序列打破退化解。

2.4 通过可微 XPBD 联合训练

前三种接口都可以把 XPBD 当作不可微的运行时后处理；也可以展开若干次 XPBD 迭代，把最终轨迹损失反传到 GNN。此时模型学到的不是“XPBD 前最像真值的 proposal”，而是“经过给定次数校正后最接近真值的 proposal”。

这条路线与 C-GNS 的思想相邻但并不相同：C-GNS 用 GNN 表示一个标量约束函数，再用梯度求解器寻找未来状态；手工约束可以在测试时加入，增加求解迭代也可能改善精度。本文的推荐结构保留显式 XPBD 约束，让 GNN 预测动力残差。两者都体现“学习模型提出目标，迭代求解器施加结构归纳偏置”，但目标函数、更新公式和训练对象不能混称。

完全展开的保存与反传成本会随“时间步数 × 子步数 × 约束迭代数”增长，具体内存开销取决于自动微分框架是否重算中间量。接触激活、摩擦裁剪和约束排序又会引入非光滑点。因此可微并不等于梯度一定可靠；停梯度的 XPBD 后处理也不能被称作“端到端可微”。

3. 推荐数据流

对于第一版可用系统，推荐采用方案 B，并把 XPBD 视为明确的安全层：

GNN predictor
    ↓  learned acceleration / residual
semi-implicit integrate
    ↓  inertial position
XPBD corrections × K
    ↓  constraint-satisfying position
velocity update (+ optional velocity contact/friction)

一次子步的伪代码如下：

function substep(state, static, colliders, dt, K):
    x0 = copy(state.x)
    v0 = copy(state.v)

    graph = build_features(
        x=x0, v=v0, rest=static.rest,
        mesh_edges=static.edges,
        inverse_mass=static.w,
        colliders=colliders, dt=dt)

    a_learned = bounded(gnn(graph))
    a_learned[static.kinematic] = 0

    # 等价于先 v* = v0 + dt * a_total，再 x~ = x0 + dt * v*
    a_total = external_accel + base_accel + a_learned
    x = x0 + dt * v0 + dt * dt * a_total

    kinematic_target = sample_kinematic_target_at_end_of_substep()
    x[static.kinematic] = kinematic_target

    contacts = build_active_contact_constraints(x0, x, colliders)
    constraints = static.elastic_constraints + contacts
    lambda = zeros_per_constraint(constraints)  # 本子步内累计

    for iteration in 1..K:
        x[static.kinematic] = kinematic_target
        for batch in color_non_conflicting(constraints):
            C, gradC = evaluate(batch, x, static.rest)
            dlambda = xpbd_delta(C, gradC, static.w,
                                 batch.compliance, lambda[batch], dt)
            dlambda = project_inequality_multiplier_if_needed(
                          dlambda, lambda[batch], batch.type)
            x += mass_weighted_delta(gradC, dlambda, static.w)
            lambda[batch] += dlambda

    x[static.kinematic] = kinematic_target

    v = (x - x0) / dt
    v = solve_velocity_friction_if_needed(v, x, contacts)
    return State(x=x, v=v), Diagnostics(lambda, x)

这里 base_accel 可以为零，也可以是明确不与 XPBD 重复的已知动力项。接触被写成与弹性约束一起迭代的不等式约束；以 $C\ge 0$ 、法向乘子非负为例，更新后还要投影累计乘子，而不只是“发现穿透就做一次位置偏移”。若接触集合只在子步开始构建，必须另外验证高速运动是否需要 swept contact 或更频繁刷新。

要特别避免在 XPBD 之前更新一次速度、校正位置后却不重算速度。那会让位置看似正确，下一帧的惯性状态却仍指向旧 proposal，形成周期性拉扯。运动学目标也必须采样在当前子步末端；只把网络输出清零，并不能阻止旧速度把固定点推进错误位置。

4. 状态接口必须显式

类别	建议字段	是否输入 GNN	说明
静态几何	静止位置、三角形、拉伸边、弯曲邻接	是	图拓扑与参考度量
质量与边界	逆质量、固定点/运动学掩码	是	固定点输出需清零
动态状态	当前位置、速度、历史应变或法线	是	全部在统一坐标系与尺度中
碰撞状态	最近点、距离、法线、碰撞体速度	视任务而定	不应只提供静态距离
求解参数	$\Delta t$ 、子步数、compliance、迭代数	至少提供 $\Delta t$	否则网络会绑定训练配置
XPBD 内部量	每约束 $\lambda$ 、违例与投影残差	可选	输入前需按时间步和约束类型归一化

不要让网络依赖数组索引或固定顶点数。归一化也应尊重单位：位置尺度、速度尺度、加速度尺度分别统计， $\Delta t$ 改变时不能继续套用“每帧位移”的旧标准差。

5. 梯度策略：分三阶段增加难度

阶段一：XPBD 停梯度

先用教师加速度、下一步惯性位置或残差训练 GNN，运行时再做 XPBD。它最省显存，也最容易判断网络本身是否学会动力学。损失可包含位置、速度与多步 rollout，但要另外记录最终约束违例。

阶段二：短展开联合微调

只展开少量 XPBD 迭代，让损失作用于校正后的 $x_{t+1}$ 。使用截断时间反传、梯度裁剪和 checkpointing；在一个训练片段边界 detach 动态状态。基线 XPBD 每个子步本来就把 $\lambda$ 重置为零，没有跨片段乘子可截断；只有明确采用跨时间步 warm start 或把旧乘子作为网络条件时，才需要同时 detach 并定义其缩放。建议组合：

L=w_xL_{pos}+w_vL_{vel}+w_sL_{strain} +w_cL_{constraint}+w_pL_{penetration}+w_rL_{projection}.

其中 $L_{projection}$ 衡量 XPBD 前后 proposal 的改变量，防止网络长期把工作全部推给校正器； $L_{constraint}$ 最好同时记录投影前与投影后的违例，否则硬约束求解后的近零值几乎不给网络训练信号。只有最终位置误差会鼓励“先预测穿透、再靠碰撞弹回”的投机解。

阶段三：可微材料反演

最后才开放 compliance 或阻尼。一次只开放少数参数组，使用正值参数化、先验范围和空间平滑正则。离散碰撞集合、撕裂和拓扑变化可以停梯度或固定事件序列；若必须对它们求导，应明确说明所用平滑近似改变了原物理问题。

隐式微分可以在求解器确实收敛到可微方程根、活动集固定且线性系统可解的前提下避免保存全部迭代状态；有限次局部 Gauss-Seidel、动态接触与未完全收敛会破坏这些前提。若部署时本来就只跑固定的 $K$ 次迭代，有限步展开通常更忠实于实际算法。实时布料的第一版没有必要从隐式微分起步。

6. 最容易误判的失效模式

XPBD 掩盖了坏预测。 最终画面稳定，但投影残差和约束冲量持续变大。
GNN 抵消物理。 网络学到与重力、阻尼或拉伸校正相反的残差，换时间步便崩溃。
校正速度不一致。 位置投影后未重算速度，能量在下一帧以错误方式回流。
材料参数退化。 多组 compliance、阻尼和外力互相补偿，训练损失下降但参数没有物理意义。
约束顺序泄漏。 训练固定使用某种 Gauss-Seidel 顺序，换并行着色或 Jacobi 后分布发生变化。
接触梯度不可信。 激活集合在临界点跳变，梯度尖峰并不代表可执行的优化方向。
只测一个求解预算。 网络把固定迭代数当作系统的一部分，增加或减少迭代反而恶化。

一次匿名工程实验中，早期视觉对照结论曾被完整的“子步数 × 引导强度”矩阵推翻，说明必须做全矩阵。它是工程观察，不是上述论文的实验结论。单独挑出最好看的一组，无法回答提升来自网络、更多物理预算，还是二者恰好互相抵消。

初步视觉结果

匿名原型的初步视觉对照，仅用于展示不同求解路径的直观差异；它不是最终 benchmark，也不能替代第 6 篇定义的长序列评测与完整消融。

建议至少横跨以下轴做笛卡尔积，而不是逐轴贪心：子步数、XPBD 迭代数、引导强度、rollout 长度、时间步扰动、碰撞强度。每格同时报告轨迹误差、应变分位数、穿透率、投影残差、能量趋势和耗时。

7. 如何选择第一版架构

只有位置轨迹、目标是快速原型：从“位置后投影”开始，但必须监控投影残差。
想要实时运行、长序列稳定和清晰接口：优先“加速度/残差 → 积分 → XPBD”。
目标是材料估计或可解释控制：预测受限的 compliance，减少同时可变参数。
目标是研究最终任务损失，且能承担训练成本：短展开可微 XPBD，再逐步增加求解深度。
想学习未知约束本身：进一步研究 C-GNS 一类隐式学习约束，但不要把它等同于 XPBD。

混合架构真正的价值，不是给神经网络加一个“物理”标签，而是为错误分配明确出口：预测器负责可学习的残差，积分器负责时间语义，XPBD 负责约束，诊断量负责告诉我们谁在替谁兜底。只有当这四件事都可测，混合系统才比两个黑盒串联更可靠。

参考资料

Macklin, Müller, Chentanez, XPBD: Position-Based Simulation of Compliant Constrained Dynamics, 2016.
Pfaff et al., Learning Mesh-Based Simulation with Graph Networks, ICLR 2021.
Rubanova et al., Constraint-based Graph Network Simulator, ICML 2022.
Drysch, Stotko, Klein, Differentiable XPBD for Gradient-Based Learning of Physical Parameters from Motion, VMV 2025.

下一篇：数据与训练：让混合求解器学到可泛化的动力学