基于隐式神经表示的RGB图像连续谱重建（NeSR）

Continuous Spectral Reconstruction from RGB Images via Implicit Neural Representation（NeSR）

基于隐式神经表示的RGB图像连续谱重建

中国科学技术大学 、华为诺亚方舟实验室、北京理工大学

摘要：现有的光谱重建方法通常学习从RGB图像到多个光谱带的离散映射。然而，这种建模策略忽略了光谱特征的连续性。在本文中，通过引入一种新的连续光谱表示，提出了神经光谱重建(NeSR)来打破这一限制。为此，本文接受了隐函数的概念，并用神经网络实现了一个参数化的实施例。
具体来说，首先采用主干网络来提取RGB输入的空间特征。在此基础上，设计了光谱轮廓插值(SPI)模块和神经注意映射(NAM)模块来丰富深层特征，其中涉及空间-光谱相关性以获得更好的表示。然后，将采样光谱带的数量视为连续隐函数的坐标，从而学习从深层特征到光谱强度的投影。
大量的实验证明了NeSR在重建精度上明显优于基线方法。此外，通过允许任意数量的光谱带作为目标输出，NeSR扩展了光谱重建的灵活性