OpenCV-Python教程:45.背景去除

基础

背景去除是在很多视觉应用里的主要预处理步骤。例如，摄像这样的场景。一个固定摄像头对顾客进行计数，或者交通摄像头对汽车信息进行提取。在所有这些情况下，首先你需要把人或者车辆单独提取出来。技术上你需要从静态背景里把移动的前景提取出来。

如果你有一个单独的背景的图像，比如没有顾客的房子的图像，或者没有汽车的路的图像，这就很简单了。值需要在新的图像里把背景去掉就行了。你得到的就是前景。但是在大多数情况下，你可能没有这种图像，所以我们需要从我们有的图像里把背景去掉。当车有影子的时候这个情况就很复杂了。因为影子也在动。简单的去除会把影子也作为前景。

一些算法来做这个，OpenCV实现了三个这样的算法，很易用，我们一个个看一下。

BackgroundSubtractorMOG

这是一个高斯混合背景/前景分割算法。它使用一个方法通过K高斯分布的混合来给每个背景像素建模（K=3到5）。混合的权重表示那些颜色留在场景中的时间规模。可能的背景颜色是那些留的时间更长更静止的。

写代码时，我们使用函数cv2.createBackgroundSubtractorMOG()创建一个背景对象.它有一些可选的参数，比如历史长度，高斯混合数量，阈值等。它们全都是默认值，然后在视频循环里，使用backgroundsubtractor.apply()方法来得到背景掩图

看一个简单例子：

import numpy as np
import cv2

cap = cv2.VideoCapture('vtest.avi')

fgbg = cv2.createBackgroundSubtractorMOG()

while(1):
    ret, frame = cap.read()

    fgmask = fgbg.apply(frame)

    cv2.imshow('frame',fgmask)
    k = cv2.waitKey(30) & 0xff
    if k == 27:
        break

cap.release()
cv2.destroyAllWindows()

BackgroundSubtractorMOG2

这也是高斯混合模型的前景/背景分割算法，这个算法的一个重要特点是它为每个像素选择一个合适的高斯分布数。（记住，在上个例子，我们用了一个K高斯分布）它提供了更好的由于光照变化因素导致场景变化的适应性。

在前面的例子里，我们得创建一个背景去除对象，这里，你可以选择是否检测影子。如果detectShadows = True（默认的），它会检测并标记影子，但是会减低速度，Shadows会被标记成灰色。

import numpy as np
import cv2

cap = cv2.VideoCapture('vtest.avi')

fgbg = cv2.createBackgroundSubtractorMOG2()

while(1):
    ret, frame = cap.read()

    fgmask = fgbg.apply(frame)

    cv2.imshow('frame',fgmask)
    k = cv2.waitKey(30) & 0xff
    if k == 27:
        break

cap.release()
cv2.destroyAllWindows()

BackgroundSubtractorGMG

这个算法合并了统计背景图像判断和每像素贝叶斯分割。

它使用最开始的一些帧（默认120）来对背景建模。它使用概率前景分割算法通过贝叶斯推论识别可能的前景物体。判断是能适应的。最新发现的权重更好，以适应光线变化。一些形态学过滤运算比如开和闭被使用来去掉不需要的噪点。你会在最开始的一些帧里得到一个黑色窗口

最好是通过形态学的开运算对结果使用，来移除噪点。

import numpy as np
import cv2

cap = cv2.VideoCapture('vtest.avi')

kernel = cv2.getStructuringElement(cv2.MORPH_ELLIPSE,(3,3))
fgbg = cv2.createBackgroundSubtractorGMG()

while(1):
    ret, frame = cap.read()
   
    fgmask = fgbg.apply(frame)
    fgmask = cv2.morphologyEx(fgmask, cv2.MORPH_OPEN, kernel)

    cv2.imshow('frame',fgmask)
    k = cv2.waitKey(30) & 0xff
    if k == 27:
        break

cap.release()
cv2.destroyAllWindows()

结果

原始帧：

BackgroundSubtractorMOG的结果

BackgroundSubtractorMOG2的结果

灰色区域显示了影子区域

BackgroundSubtractorGMG的结果

用形态学开运算去掉了噪点

END