计算机视觉（北邮鲁鹏）学习笔记（一）

课程地址：https://www.bilibili.com/video/BV1nz4y197Qv

课件地址：https://github.com/CV-xueba/A01_cvclass_basic

卷积

定义

$f$是图像的矩阵，$g$是卷积核（一个$n\times n$的矩阵）。
卷积$f\ast g$的数学表达式为：

$$(f\ast g)[m,n]=\sum _{k,l}f[m-k,n-l]g[k,l]$$

其中m和n是中心点的坐标。

对图像卷积一次的结果，是一个实数

1. 将卷积核“翻转”
2. 图像与卷积核对应值相乘并求和
3. 循环直到图像卷积完成

卷积的性质

---

卷积的效果

1. 不变

2. 左移

3. 平滑（去燥）

4. 锐化

原理：

I是原图，e是脉冲模板（如1所示）
$$\begin{array}{c}I\ast e-I\ast g=I\ast (e-g)\\ I\ast (e-g)+I\ast e=I\ast (2e-g)\end{array}$$

---

高斯平滑核

用$\frac{1}{9}\left[\begin{array}{ccc}1& 1& 1\\ 1& 1& 1\\ 1& 1& 1\end{array}\right]$当卷积核去平滑图像会产生“振铃”效果，因为该卷积核将离中心距离不同的点按相同的权重对待（都是1），我们更希望它的权值模板能按照距离的远近处理，这就引入了高斯核（Gaussian Kernel）。

这里我们要求对每个元素加权后归一，即$\sum g=1$

注意，高斯核是一个对称阵。

重要性质

使用一个方差为${\sigma }_1^2$的高斯核与图像做卷积，再与一个方差为${\sigma }_2^2$的高斯核再一次卷积，等同于原图像与一个方差为$\sqrt{{\sigma }_1^2+{\sigma }_2^2}$的高斯核做一次 卷积。

高斯核分解

$$\begin{array}{rl}{G}_{\sigma }(x,y)& =\frac{1}{2\pi {\sigma }^2}{\exp }^{-\frac{x^2+y^2}{2{\sigma }^2}}\\ & =\left(\frac{1}{\sqrt{2\pi \sigma }}{\exp }^{-\frac{x^2}{2{\sigma }^2}}\right)\left(\frac{1}{\sqrt{2\pi \sigma }}{\exp }^{-\frac{y^2}{2{\sigma }^2}}\right)\end{array}$$

分解的主要应用是加速卷积的过程。

一个$n\times n$的图像用$m\times m$的核区卷积。暴力解法的时间复杂度：$O(n^2{m}^2)$

将高斯核分解后，时间复杂度：$O(n^{2}m)$

---

去噪

噪声分类

椒盐噪声（Salt-and-pepper）
脉冲噪声（Impulse noise）
高斯噪声（Gaussian noise）

滤波

高斯滤波器（Gaussian filtering）

第一行是灰度图分别叠加了不同大小$N(0,\sigma )$的高斯分布之后的噪声图像。

第二行和第三行是用不同$\sigma$的高斯核进行滤波的结果。

$\sigma =1$时，滤波模板的大小是$7\times 7$（根据$3\sigma$法则，左边3右边3加中间1），$\sigma =2$时，滤波模板大小是$13\times 13$（左边6右边6加中间1）

可以看到，对于噪声比较小的（例如$\sigma =0.05$），可以用一个小的滤波模板即可将其恢复为原来的灰度图；对于噪声大的，要用大的滤波模板才能恢复。但是大模板会造成边缘更加平滑，使轮廓信号衰减，造成图像“模糊”。

但是对于椒盐噪声，用高斯滤波器却无法得到好的效果。

中值滤波器（Median filtering）

中值滤波器：找中位数，是一个非线性的滤波器。

滤波的效果：对椒盐噪声特别有效。

即使是中值滤波，大模板也会导致图像“模糊”。

---

锐化

原理

数学描述：

$$\begin{array}{rl}f+\alpha (f-f\ast g)& =(1+\alpha )f-\alpha f\ast g\\ & =f\ast ((1+\alpha )e-\alpha g)\end{array}$$