【论文精读】MotionLM

1 背景

团队：Waymo
时间：2023.9
代码：
简介：采用自回归的方式做轨迹生成，能够更好地建模交互，且避免模态坍缩，在数据集达到了SOTA。

2 存在的问题

1. 轨迹回归方面：原本xy预测认为空间过大，有的xy很大（t大速度快的时候），有的xy很小（t小速度慢的时候）。

3 具体方案

Encoder采用了之前的论文Wayformer的Encoder。本文具体关注解码器Decoder。

轨迹转运动序列

该文章的一个主要创新点是把每一个时刻的位移认为是vocabulary运动序列的一个运动token（motion token）。由此把位移回归问题变成了运动序列的token分类问题。

1. 先做轨迹差分，落在-18到18m的范围内，然后分别对x和y划分成128个区间，那么xy都在0-127int的范围内。
2. 再对上述的xy进行差分，每个方向各13个，得到动作空间为169的verlet-wrapped action space。

该模型并不是直接输出轨迹，而是输出分类结果，从而滚动重建轨迹。

模型

给定context，模型输出13x13的分类分布，然后采样得到x和y方向的action。

轨迹去重和聚类

kmeans聚类成6条。

loss

采用teacher-force的方法，每个回归出来的点都是加在上一时刻的真值上，得到这个时刻的输出，模型收敛更快。
comment：可以前一段训练用teacher-force，后一段直接用自回归的累积结果。