ISP学习(1)

文章目录

  • 一、什么是isp
  • 二、ISP的框架
  • 三、ISP的逻辑控制
  • 四、ISP上的Firmware包含三部分
  • 五、内置isp和外置isp
    • 5.1 内置ISP
    • 5.2外置ISP

参考博客: https://blog.csdn.net/tyfwin/article/details/90487890
参考网上的博客,过滤一遍对于ISP的理解

一、什么是isp

ISP是Image Signal Processor 的简称,也就是图像信号处理器。
ISP一般用来处理Image Sensor(图像传感器)的输出数据,如做AEC(自动曝光控制)、AGC(自动增益控制)、AWB(自动白平衡)、色彩校正、Lens Shading、Gamma 校正、祛除坏点、Auto Black Level、Auto White Level等等功能的处理。
说到ISP就一定得说说DSP。
DSP是Digital Signal Processor 的缩写,也就是数字信号处理器。
DSP功能相对较多,它可以做些拍照以及回显(JPEG的编解码)、录像以及回放(Video 的编解码)、H.264的编解码、还有很多其他方面的处理,总之是处理数字信号了。ISP是一类特殊的处理图像信号的DSP。

个人理解为:ISP可以是帮助图像成像之前的一些处理,比如曝光度,成像的清晰度,这种。DSP是图像成像之后的处理,在成像的图片后进行识别,添加文字这种,相对来说,DSP的功能比较多。

二、ISP的框架

ISP可以看作一个独立soc,因为他的内部也包含CPU、SUP IP、IF 等设备,可以运行各种算法程序,实时处理图像信号。这里借助网上的一张图片可以看到ISP的内部框架。
ISP学习(1)_第1张图片
1、 CPU:CPU 即中央处理器,可以运行 AF、LSC 等各种图像处理算法,控制外围设备。现代的 ISP 内部的 CPU 一般都是 ARM Cortex-A 系列的,例如 Cortex-A5、Cortex-A7。
2、 SUB IP:SUB IP 是各种功能模块的通称,对图像进行各自专业的处理。常见的 SUB IP 如 DIS、CSC、VRA 等。
3、 图像传输接口:图像传输接口主要分两种,并口 ITU 和串口 CSI。
4、 CSI 是 MIPI CSI 的简称,鉴于 MIPI CSI 的诸多优点,在手机相机领域,已经广泛使用 MIPI-CSI 接口传输图像数据和各种自定义数据。外置 ISP 一般包含 MIPI-CSIS 和 MIPI-CSIM 两个接口。内置 ISP 一般只需要 MIPI-CSIS 接口。
5、 通用外围设备:通用外围设备指 I2C、SPI、PWM、UART、WATCHDOG 等。ISP 中包含 I2C 控制器,用于读取 OTP 信息,控制 VCM 等。对于外置 ISP,ISP 本身还是 I2C 从设备。AP 可以通过 I2C 控制 ISP 的工作模式,获取其工作状态等。

三、ISP的逻辑控制

lens(透镜) 将光信号投射到sensor (传感器)的感光区域后,sensor 经过光电转换,将Bayer 格式的原始图像送给ISP,ISP 经过算法处理,输出RGB空间域的图像给后端的视频采集单元。在这个过程中,ISP通过运行在其上的firmware(固件)对ISP逻辑,从而对lens 和sensor 进行相应控制,进而完成自动光圈、自动曝光、自动白平衡等功能。其中,firmware的运转靠视频采集单元的中断驱动。
这里我绘制了一个简单的图片:ISP学习(1)_第2张图片

依旧借助网上的图片,可以更加完整的看出逻辑,但是具体的一些步骤还需要完善了解。ISP学习(1)_第3张图片PQ Tools 工具通过网口或者串口完成对ISP 的在线图像质量调节。 ISP 由ISP逻辑及运行在其上的Firmware组成,逻辑单元除了完成一部分算法处理外,还可以统计出当前图像的实时信息。Firmware 通过获取ISP 逻辑的图像统计信息,重新计算,反馈控制lens、sensor 和ISP 逻辑,以达到自动调节图像质量的目的。
图像中的I2C/SPI一般是外置 ISP 的做法。SPI 一般用于下载固件、I2C 一般用于寄存器控制。在内核的 ISP 驱动中,外置 ISP 一般是实现为 I2C 设备,然后封装成 V4L2-SUBDEV,也就是我们现在android底层的V4l2的框架。
MEM MAP:这一般是内置 ISP 的做法。将 ISP 内部的寄存器地址空间映射到内核地址空间,MEM SHARE:这也是内置 ISP 的做法。AP 这边分配内存,然后将内存地址传给 ISP,二者实际上共享同一块内存。因此 AP 对这段共享内存的操作会实时反馈到 ISP 端。

四、ISP上的Firmware包含三部分

ISP 的Firmware包含三部分,一部分是ISP 控制单元和基础算法库,一部分是AE/AWB/AF 算法库,一部分是sensor 库。Firmware 设计的基本思想是单独提供3A算法库,由ISP控制单元调度基础算法库和3A 算法库,同时sensor 库分别向ISP 基础算法库和3A 算法库注册函数回调,以实现差异化的sensor 适配。ISP firmware 架构如图所示。不同的sensor 都以回调函数的形式,向ISP 算法库注册控制函数。ISP 控制单元调度基础算法库和3A 算法库时,将通过这些回调函数获取初始化参数,并控制sensor,如调节曝光时间、模拟增益、数字增益,控制lens 步进聚焦或旋转光圈等。
这些对应的算法库我们暂时都不了解,我们可以先放着,先了解大概知识。
ISP学习(1)_第4张图片

五、内置isp和外置isp

就好像我们手机自己会带有音乐播放器,为啥我们还要去下载额外的播放器呢,因为其余的播放器做的更好,功能更多,对于我们的ISP也是,我们内置ISP可以满足需求,但是上限低,所以我们有时候会选择外置ISP.
当应用处理器(ap)处理ISP的时候,会对内置外置isp进行不同的处理。

5.1 内置ISP

ISP学习(1)_第5张图片内置ISP的优点:
内置 ISP 内嵌在 AP 内部,因此无需像外置 ISP 一样需要额外购买,且不占 PCB 空间,无需单独为其设计外围电路,这样就能节省 BOM,降低成本。鉴于大多数用户在选购手机时会将价格因素放在重要的位置,因此降低成本能有效的降低终端成品价格,有利于占领市场。
内置ISP的缺点:
上限低,可能没有外置iISP那么强悍。

5.2外置ISP

ISP学习(1)_第6张图片
外置ISP的优点:
与AP无关,可以单独选型,而且专业的ISP会又很好的效果,能够提供比内置 ISP 更优秀的性能和效果。因此,选用优质的外置 ISP 能提供专业而且优秀的图像质量。
缺点:
价格贵,需要进行额外的调试,需要时间,相对来说,研发周期长。

你可能感兴趣的:(音视频,接口隔离原则,学习,图像处理)