海思ISP开发说明

1、概述

       ISP（Image Signal Processor）图像信号处理器是专门用于处理图像信号的硬件或处理单元，广泛应用于图像传感器（如 CMOS 或 CCD 传感器）与显示设备之间的信号转换过程中。ISP通过一系列数字图像处理算法完成对数字图像的效果处理。主要包括3A、坏点校正、去噪、强光抑制、背光补偿、色彩增强、镜头阴影校正等处理。ISP包括逻辑部分以及运行在其上firmware。

名词解释：

3A表示自动曝光(AE，Auto Exposure)、自动白平衡(AWB，Auto White Balance)、自动对焦(AF，Auto Focus)

1.1功能描述

镜头将光信号投射到sensor的感光区域后， sensor经过光电转换，将Bayer格式的原始图像送给ISP ，ISP经过算法处理，输出RGB空间域的图像给后端的视频采集单元。在这个过程中， ISP通过运行在其上的firmware对ISP逻辑， lens和sensor进行相应控制，进而完成自动光圈、自动曝光、自动白平衡等功能。其中， firmware的运转靠视频采集单元的中断驱动。

1.2基本概念

1）色温：不是色的温度，是表明白光光源光谱成分的标志。

2）白平衡AWB:就是摄像机对白色物体的还原。在不同色温的光源下，白色在传感器中的响应会偏蓝或偏红。白平衡算法通过调整R, G, B三个颜色通道的强度，使白色真实呈现。不通色温值对应的色温渐变如下图所示。

色温是一个被量化的数值，那么就也会存在高低之分，而且在我们的视觉感受上也会存在差异。低色温光源的特征是能量分布中，红辐射相对要多些，通常称为“暖光”；色温提高后，能量分布中，蓝辐射的比例增加，通常称为“冷光”。

二者关系：为了更好的理解白平衡，这边需要引入另外一个概念 —— 色温。色温是表示光线中包含颜色成分的一个计量单位。色温可以理解为以开尔文温度表示色彩。根据马克斯·普朗克的理论，将一个完全吸收与放射能力的标准黑体加热，温度逐渐升高，光度亦随之改变。CIE色度坐标中的黑色曲线显示黑体由红 -> 橙红 -> 黄 -> 黄白 -> 白 -> 蓝白的过程。

不同光线下色温相差十分悬殊，造成摄像机在不同的光线下彩色还原不同。为解决这个问题，现在的摄像机都具有白平衡校正功能，对不同的色温进行补偿，从而真实地还原拍摄物体的色彩。自动白平衡使得摄像机能够在一定色温范围内自动地进行白平衡校正，其能够自动校正的色温范围在2500K-7000K之间，超过此范围，摄像机将无法进行自动校正而造成拍摄画面色彩失真，此时就应当使用手动白平衡功能进行白平衡的校正。

AWB 算法通常包括的步骤如下：

(1)色温统计： 根据图像统计出色温；(2)