隐式人体表示生成虚拟视点+构建关节点的3D神经模型

《DD-NeRF: Double-Diffusion Neural Radiance Field as a Generalizable Implicit Body Representation》
作者提出了 DD-NeRF，一种新颖的可泛化隐式场可实现任意输入视图下生成人体几何形状和外观。核心贡献是双重扩散机制，它利用了稀疏卷积神经网络构建两个体，来表示不同层次的人身体：粗糙的人体体积利用裸露的可变形网格提供大尺度几何指导，细节特征量从局部图像特征中学习复杂的几何形状。我们利用了Transformer来聚合跨视图的图像特征和原始数据，用于计算最终的高保真辐射场。在各种数据集上的实验表明，提出的方法在几何重建和新颖的视图合成质量方面都优于以前的工作。

论文链接：https://arxiv.org/pdf/2112.12390.pdf
《BANMo: Building Animatable 3D Neural Models from Many Casual Videos》
Articulated 3D 形状重建的先前工作通常依赖于专门的传感器（例如，同步多相机系统）或预先构建的 3D 可变形模型（例如，SMAL 或 SMPL）。此类方法无法扩展到自然场景的不同对象集。我们提出了 BANMo，一种既不需要专用传感器也不需要预定义模板形状的方法。 BANMo 构建高保真、清晰的 3D“模型”（包括形状和动画蒙皮权重），利用可微渲染框架处理许多单目随意拍摄视频实现。虽然这些视频提供了较多覆盖范围的摄像机视图和对象关节点，但它们在建立具有不同背景、照明条件等的场景之间的对应关系方面带来了重大挑战。我们的主要观点是融合三种主流做法； (1) 利用关节骨骼和混合蒙皮的经典可变形形状模型，(2) 适合基于梯度优化的体积神经辐射场 (NeRF)， (3) 生成像素和关节之间对应关系的规范嵌入模型。我们引入了神经混合蒙皮模型，允许可微分和可逆的关节变形。当与规范嵌入相结合时，这些模型允许我们在视频之间建立密集的对应关系，可以通过循环一致性进行自我监督。在真实和合成数据集，BANMo 显示出比之前的人类和动物作品更高保真度的 3D 重建，具有从新颖的角度渲染逼真图像的能力和姿势。官方链接：https://banmo-www.github.io/

论文链接：https://arxiv.org/pdf/2112.12761.pdf

更多计算机视觉与图形学相关资料，请关注微信公众号：计算机视觉与图形学实战

如果您认为上面的内容对您有一定的价值，可以对我们进行小小的赞助，来支持我们的工作，因为后续打算构建自己的网站，谢谢：