英伟达最新发布！超越其它所有SOTA的3D目标检测

作者：王林 | 来源：3DCV

在公众号「3DCV」后台，回复「原论文」可获取论文pdf

添加微信：dddvision，备注：自动驾驶，拉你入群。文末附行业细分群

1、导读

现有的3D物体检测方法通常需要使用完全注释的数据进行训练，而使用预训练的语义特征可以带来一些优势。然而，目前还没有利用扩散特征进行3D感知任务的研究。因此，我们提出了一种新的框架，通过视图合成任务来增强预训练的2D扩散模型的3D感知能力。该方法利用已知相对姿态的图像对进行训练，并通过扩散过程生成目标输出。此外，文章还介绍了如何将这些增强的特征用于3D物体检测，并通过引入辅助网络来保持特征质量。最后，文章通过实验证明了该方法在点对应和3D检测性能上的优越性。

2、研究内容

一种名为3DiffTection的新框架，该框架利用预训练的2D扩散模型来进行3D物体检测任务。该方法通过视图合成任务，将2D扩散特征增强为具有3D感知能力的特征。作者利用已知相对姿态的图像对进行特征提取和特征扩散过程，从而生成目标输出。文章还介绍了如何将这些增强的特征