针对 Sat-NeRF 的潜在改进方向研究

1. 引言

近年来，神经辐射场（Neural Radiance Fields, NeRFs）作为一种新兴的 3D 场景表示和新视角合成方法，在计算机视觉和摄影测量领域引起了广泛的关注 1。NeRFs 通过学习场景的连续体积表示，能够仅从一组 2D 图像及其相机姿态中渲染出高保真度的全新视角，这与传统的离散方法形成了鲜明对比 1。在此背景下，Sat-NeRF 作为 NeRF 的一种变体被提出，专门用于解决多视角卫星摄影测量中的独特挑战 5。卫星图像由于其获取方式和环境的特殊性，常常面临着与传统消费级照片不同的问题，例如不同日期图像之间的辐射不一致性、场景中存在的瞬态物体以及卫星相机特有的有理多项式系数（Rational Polynomial Coefficient, RPC）模型 5。Sat-NeRF 通过引入针对这些问题的特定模块和方法，实现了在复杂卫星图像条件下进行高质量三维重建和新视角合成的能力 5。本报告旨在探讨 Sat-NeRF 潜在的局限性，并结合最新的研究进展，提出可行的改进方案，以期进一步提升其在卫星摄影测量领域的性能。

2. Sat-NeRF 的核心原理与功能

Sat-NeRF 的核心思想是利用一个神经网络来表示场景的辐射场，该网络以空间坐标 (x)、太阳光线方向 (ω) 以及每张图像的瞬态嵌入 (tj) 作为输入 5。网络输出包括体密度 (σ)、反照率 RGB 颜色 (ca)、阴影感知着色标量 (s)、环境 RGB 颜色 (a) 和不确定性系数 (β) 5。这种对场景属性的显式建模，例如反照率、阴影和不确定性，是 Sat-NeRF 与原始 NeRF 的关键区别之一 5，使其能够更好地应对卫星图像的特有挑战。

Sat-NeRF 的关键组成部分及其作用如下：

• 阴影感知辐射模型： Sat-NeRF 将场景中物体的颜色建模为反照率、着色和受太阳方向影响的环境色调的组合 5。这种模型对于解决多日期卫星图像之间由于光照条件变化而引起的显著差异至关重要 6。通过显式地考虑太阳的位置和方向，Sat-NeRF 能够更准确地预测场景中的阴影效果，从而提高渲染的真实感。
• 瞬态物体的不确定性加权： 为了处理场景中存在的瞬态物体，如车辆和植被，Sat-NeRF 让网络学习一个不确定性系数 (β)，用于加权每个点对颜色损失的贡献 5。瞬态物体通常只出现在部分图像中，如果不加以处理，会干扰静态场景的重建。不确定性加权机制通过降低这些区域的权重，有效地减小了瞬态物体对学习模型的影响 5。
• RPC 相机模型的使用： Sat-NeRF 直接利用卫星图像固有的 RPC 函数进行光线投射和点采样 5。与许多 NeRF 应用中使用的标准针孔相机模型不同，RPC 模型能够更准确地描述卫星相机的成像几何。此外，Sat-NeRF 强调在训练前对 RPC 进行光束法平差（bundle adjustment）以进行优化 5，这对于获得精确的重建结果至关重要。

总而言之，Sat-NeRF 的优势在于其能够有效地处理多日期卫星图像中的辐射不一致性（阴影、颜色偏差）和瞬态物体，并且其重建质量与传统的先进立体匹配流程相当 6。这表明 Sat-NeRF 在将神经渲染技术应用于复杂的卫星摄影测量领域方面迈出了重要一步，提供了一种端到端的学习方法 6。

3. Sat-NeRF 的潜在局限性分析

尽管 Sat-NeRF 在卫星图像处理方面取得了显著进展，但根据最新的研究，它仍然存在一些潜在的局限性：

• 稀疏视角下的性能瓶颈： 虽然 Sat-NeRF 能够在一定数量的视角（约 10-20 个 8）下工作，但在视角数量较少的情况下，其性能可能会显著下降 11。由于云层遮挡或特定的重访频率，卫星数据采集常常面临视角稀疏的问题 12。标准的 NeRF 及其变体，包括 Sat-NeRF，通常需要大量的输入视角来消除场景几何和外观上的歧义 12。在数据稀疏的情况下，模型容易过拟合或者产生不准确的重建结果。
• 计算成本和训练时间： 原始的 NeRF 以其较长的训练时间而闻名 3。尽管 Sat-NeRF 针对卫星图像进行了调整，但它可能仍然继承了较高的计算需求，这可能会限制其在需要大规模或快速重建任务中的实际应用 17。NeRF 训练的计算密集性可能成为瓶颈，尤其是在处理大型数据集或需要快速周转的应用中 3。
• 精细几何细节和弱纹理区域的处理： 与一般的 NeRF 应用类似，Sat-NeRF 在重建具有均匀纹理或复杂、细薄结构的区域时可能会遇到困难，这主要是由于其依赖于多视角之间的光度一致性 12。弱纹理区域缺乏明显的光度梯度，使得 NeRF 难以准确推断其潜在的几何结构 12，这可能导致重建结果模糊或不准确 12。
• 对显著光照变化和季节性变化的鲁棒性： 尽管 Sat-NeRF 考虑了阴影，但超出简单阴影范围的剧烈光照变化（例如，一年中不同时间、天气条件）或显著的季节性变化（例如，植被的变化）可能会引入 Sat-NeRF 当前模型无法完全捕捉的不一致性 17。虽然 Sat-NeRF 基于太阳方向对阴影进行建模，但更广泛的光照变化和季节性变化仍然会以模型可能无法完全解释的方式影响场景的外观 17。
• 数字表面模型（DSM）生成的精度提升空间： 尽管 Sat-NeRF 能够推断表面模型 6，但与专门为 DSM 生成设计的方法相比，其生成的 DSM 的精度和分辨率可能仍有提升空间 11。生成精确的 DSM 是卫星摄影测量的一个主要目标。最近的研究已经关注于结合几何约束和其他技术来提高基于 NeRF 的 DSM 的质量 11。

4. 探索最新进展与潜在改进方向

针对 Sat-NeRF 的上述潜在局限性，最近的研究进展为我们提供了多种可借鉴的思路和方法：

• 解决稀疏视角问题：
  • 利用密集深度监督： SparseSat-NeRF 11 通过引入由传统半全局立体匹配（Semi-Global Matching, SGM）提供的交叉相关相似性度量引导的密集深度监督，扩展了 Sat-NeRF 的能力。即使在卫星视角稀疏的情况下，传统的 MVS 技术有时也能提供粗略的深度信息。SparseSat-NeRF 表明，当输入图像数量有限时，使用这些信息作为监督信号可以显著提高重建几何和新视角合成的质量 11。将深度监督损失集成到 Sat-NeRF 中是可行的，尤其是在包含使用 MVS 算法生成深度图的预处理步骤的情况下。Sat-NeRF 中的不确定性加权机制也可能被调整以处理 MVS 导出的深度信息中不同的可靠性。将传统 MVS 的初始深度估计能力与 NeRF 的精细化能力相结合，可以成为解决稀疏视角场景的强大方法 11。
  • 结合几何一致性约束： GC-NeRF 18 引入了一个几何损失项，通过使表面更薄来约束场景几何。GC-NeRF 的几何损失惩罚了沿光线的单个采样点与该光线的渲染深度之间的偏差，从而鼓励更紧凑和准确的表面表示。当可用视角较少时，这种方法尤其有益，因为它提供了除光度一致性之外的额外约束 18。GC-NeRF 中使用的几何损失项可以被调整并集成到 Sat-NeRF 的损失函数中。Sat-NeRF 现有的体渲染框架与这种类型的几何约束是兼容的。在 NeRF 训练过程中显式地强制执行几何约束可以减轻由稀疏视角引起的歧义，从而产生更鲁棒和准确的重建结果 18。
  • 探索特征跟踪和重投影一致性： TrackNeRF 14 利用跨多个视角的特征轨迹来强制执行重投影一致性，从而在稀疏和噪声视角下实现了性能的提升。TrackNeRF 显式地鼓励来自不同视角的对应像素投影到相同的 3D 点，从而增强了学习场景的几何一致性，尤其是在视角数量有限或相机姿态不确定的情况下 14。将特征跟踪机制和重投影一致性损失集成到 Sat-NeRF 中可以进行探索。这需要识别和跟踪卫星图像中的特征，由于光照和外观的变化，这可能具有