MTK平台ISP调试模块相关原理和理解

目录

DM的工作原理：

DM过程中包含：

EE的工作原理：

YNR的工作原理：

CNR的工作原理：

常见的噪声及处理方式：

平台去噪，ISP处理的本质工作就是滤波处理：

噪声的本质可以这样理解：

其他处理也会产生更明显的噪声：

---

DM的工作原理：

DM是RAW图转换为RGB后图像处理的第一步，主要作用是对图像的边缘进行增强，提高图像对比度。光信号在sensor中会被转换成电信号，而其存储图像色彩信息的方式就是使用拜尔阵列；在拜尔阵列中，色彩信息通过R,G,B三原色存储，因为一个阵列中G管占1/2，而R,B各占1/4，所以RAW图还原成RGB图时必然无法展现出真实颜色；因此我们对RGB需要进行DM（demosaic）处理；其作用就是：

1. 对插值算法中错误赋色的像素进行矫正

2. 对图像的边缘和纹理进行加强

3. 对图像进行第一次消噪

DM过程中包含：

1.颜色插值

2.使用方向滤波器进行边缘保留

3.使用低通滤波器(LPF)进行降噪

4.使用高通滤波器(HPF)进行边缘增强

详细内容为:

在第一次插值之后，是通过对G通道插值后的图与插值后进行LPF降噪处理的图混合（补偿G通道冗余信息带来的误差）再进行HPF，之后再对R/B通道进行第二次插值得到输出图像。第一次插值的图像混合过程中会经过方向滤波器进行方向和非方向插值，之后再两者混合。

EE的工作原理：

输入图像首先区分出方向性和非方向性图两部分，然后将其方向图层与非方向性图层通过高通滤波器进行HPF混合调制，同时从方向图层中进行一次Gain LUT加强操作，加强后的方向性图再与HPF混合的图像进行第二次混合，混合后再进行一次EE加强，在加强后还需要进行Overshoot/undershoot抑制，最后将原图像与抑制后的图像进行第三次混合得到输出图像。

YNR的工作原理：

YNR是基于YUV色彩空间的一种亮度降噪方法。可以去除图像中的亮度噪声，同时边缘也会变得更加平滑；即先经过LPF进行处理，再经过Adaptive LPF处理，处理完之后的图和原图进行混合得到最终图像。

CNR的工作原理：

一般情况下，色度噪点的大小（scale）是亮度噪点（Luma Noise）的数倍至数十倍，在暗部层次较为平整的部分会表现比较明显，而在明亮或是白色被摄物体占据大部分画面的图像中不是非常明显。彩噪产生原因：电信号杂讯，通常与ISO拍摄有关。

常见的噪声及处理方式：

噪声的类型也很多，常见的噪声主要有加性噪声和乘性噪声。加性噪声又包括高斯噪声(颗粒大且多)、椒盐噪声（颗粒大但稀疏，有点像坏点）、泊松噪声（颗粒小但密）等典型噪声；图像去噪的方法大致可以分为两类，一类是空域中采用各种平滑模板对图像进行卷积处理，另一类是频域中选择适当频率的带通滤波器进行滤波处理。

平台去噪，ISP处理的本质工作就是滤波处理：

去脉冲噪点和坏点可以用中值滤波，去平坦区的噪点可以用低通滤波，加强边缘可以用高通滤波，增加对比度可以用同态滤波；其中，小波域滤波是针对图像信号与噪声信号经小波变换后不同的分辨率呈现不同的规律，在不同的分辨率下，设定阈值门限，调整小波系数达到图像的去噪目的；自适应维纳滤波器能根据图象的局部方差来调整滤波器的输出,局部方差越大,滤波器的平滑作用越强，该方法的滤波效果比均值滤波器效果要好,对保留图像的边缘和其他高频部分很有用,不过计算量较大；维纳滤波器对具有白噪声的图象滤波效果最佳。

噪声的本质可以这样理解：

可以说噪点的本质也是色块信号。在YUV域，由中性色落在CrCb坐标系的原点，可知当R-Y不为零时就有可能时彩色噪点（这里的噪点就是亮度不同导致的，Cr=kr(R-Y)），再通过size的不同（频率不同）把有用的色块信号与彩噪区分开来对彩噪进行处理；而Y噪点则是图像中亮度与Y=krR+kbB+kgG的差别形成的luma噪点；所以YUV域能够区分出图像的噪点与有用信号；而在RAW域，sensor直接输出的RAW图的噪声模型可以用高斯-泊松模型来进行数学描述，可以建立起噪声域信号强度之间的对应关系，在此期间能够调节算法更好的去噪。综上，我们得出区分是否是噪点可以通过色块信号的尺寸、亮度、相似度和计算结果区分。  

其他处理也会产生更明显的噪声：

1、Lens shading在矫正时，四周的gain会相对较大，这会增加图像四周的噪声表现

2、demosaic过程对原始信号进行了插值，会导致图像的噪声变成结构性噪声，轮廓结构等pattern noise）

3、非线性变化导致噪声非线性变化，GAMMA可以理解为不同的亮度乘的Gain不一样，亮度越低的地方乘的gain就越大，这会使得噪点非线性的放大，DRC和Tone mapping也是非线性变换，会导致噪点出现非线性变化

4、如AWB和digital Gain这些线性运算会导致噪声线性变化

5、无论是色彩还原还是RGB域到sRGB域空间的转换，一般情况下是乘一个3*3的矩阵，这一步亦增加了噪声的相关性，而且还会增加视觉的彩色噪点的饱和度