Lighting Every Darkness in Two Pairs: A Calibration-Free Pipeline for RAW Denoising_ICCV2023

论文地址

Amber：作者强调实现真值图和噪声图的对准是困难的，并且提出一个解决方案，这个方案的实现逻辑还没有完全看明白，继续加深
TBD：看以下内容，其他部分暂时不管
1、Introduction细读
2、使用的数据集&评价标准
3、和SOTA方法的对比方式&结果

Abstract

1、背景知识：基于 calibration 的方法在极低光照的 RAW 图像去噪中占主导地位，该方法有诸多不足（此处略）

2、作者提出一个 calibration-free 的性能不受数字增益和相机 sensor 影响的 pipleline LED

3、好处：不需要重复标定噪声参数和训练，只用使用较少的配对数据+微调就可以适配新 sensor

---

1、Introduction

1、用 RAW 图去噪比用 RGB 好：原始的易于处理的噪声分布&更大的比特位深，都有利于区分信号和噪声

2、不可能为每个相机模型分别构造真实RAW图数据集，要用合成的数据集&基于学习的方法

（a）基于校准/对齐的图像去噪方法

2、Related Work

2.1 用成对的真实数据训练

• SIDD：RAW数据图像去噪的先锋
• SID、ELD：可以处理极微光环境
• Noise2Noise、Noise2NoiseFlow：使用成对低质量raw图训练，避免了获取 noisy-clean 图像对的体力劳动。但无法应对强噪声场景，如非常黑暗的环境。
• LED：在极微光环境拍摄少量成对的图像，补充去除噪声的信息

2.2 基于标定去噪

• 合成噪声方法的局限：在极微光环境下合成噪声模型的泊松/高斯噪声和真实噪声分布偏差巨大
• 基于标定去噪的方法
  • 优点：模拟电子成像pipeline的每个噪声分量，写实向
  • 不足
    • a) 标定过程要稳定照明&复杂后处理，费力&耗时
      • 稳定照明：亮度和温度
      • 标定专用数据集：每个相机设置的数十张图
      • 复杂后处理：对齐、定位和统计
    • b) 不同 sensor 特性不同，去噪模型难迁移应用
    • c) 合成噪声和真实噪声之间存在差异，高数字增益会将这种差异放大
• LED： a calibration-free pipeline, a pre-training and fine-tuning framework, a proposed RepNR block

3、从合成噪声到真实噪声

• 在合成数据集上训练，在真实数据集上验证，数据的差异不可避免。如何弥补？
  • AdaIN、few-shot learning：使用迁移学习、域适应来缓解（TBD：是什么？）
  • 极暗场景，这些方法的信号重建失效，因为极端噪声&数字增益会导致数值不稳定
• LED（TBD：看不懂）
  • propose camera-specific alignment：避免了数值不稳定，解耦了 the camera-specific information & the noise model's common knowledge
  • 对齐步骤可以当作卷积的一部分？

---

3、Method