OpenCV 自适应背景更新 cv2.accumulateWeighted

OpenCV 自适应背景更新 cv2.accumulateWeighted

flyfish

cv2.accumulateWeighted 主要用于实现自适应背景更新。

作用

在视频处理中，背景通常是相对稳定的部分，而前景则是在背景上移动或变化的物体。自适应背景更新的目的是根据视频帧的变化动态地更新背景模型，以适应光照变化、背景缓慢移动等情况。cv2.accumulateWeighted 函数可以帮助我们逐步更新背景模型，使得背景模型能够更好地反映当前的背景状态。

原理

cv2.accumulateWeighted 函数基于加权平均的方法来更新背景模型。对于每一帧视频图像，它会将当前帧与之前存储的背景模型进行加权平均，得到新的背景模型。具体的计算公式如下：

$$B_{new}=\alpha \times F+(1-\alpha )\times B_{old}$$

其中：

• $B_{new}$ 是更新后的背景模型。
• $\alpha$ 是加权系数，取值范围是 $0<\alpha \le 1$。$\alpha$ 越大，当前帧在新背景模型中所占的权重就越大，背景模型更新得就越快；反之，$\alpha$ 越小，背景模型更新得就越慢。
• $F$ 是当前帧的图像。
• $B_{old}$ 是之前的背景模型。

使用方法

下面是一个使用 cv2.accumulateWeighted 进行自适应背景更新的示例代码：

import cv2

# 打开视频文件
cap = cv2.VideoCapture('input_video.mp4')

# 读取第一帧作为初始背景
ret, frame = cap.read()
if not ret:
    print("无法读取视频帧")
    exit()

# 将第一帧转换为灰度图像
gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)

# 创建一个与帧大小相同的背景模型，初始化为第一帧
background = gray.copy().astype("float")

# 定义加权系数
alpha = 0.01

while True:
    # 读取下一帧
    ret, frame = cap.read()
    if not ret:
        break

    # 将当前帧转换为灰度图像
    gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)

    # 使用 cv2.accumulateWeighted 更新背景模型
    cv2.accumulateWeighted(gray, background, alpha)

    # 将背景模型转换为 8 位无符号整数类型
    background_vis = cv2.convertScaleAbs(background)

    # 计算当前帧与背景模型的差值
    diff = cv2.absdiff(gray, background_vis)

    # 对差值图像进行阈值处理，得到前景掩码
    _, thresh = cv2.threshold(diff, 25, 255, cv2.THRESH_BINARY)

    # 显示原始帧、背景模型和前景掩码
    cv2.imshow('Original Frame', frame)
    cv2.imshow('Background Model', background_vis)
    cv2.imshow('Foreground Mask', thresh)

    # 按 'q' 键退出循环
    if cv2.waitKey(1) & 0xFF == ord('q'):
        break

# 释放视频捕获对象并关闭所有窗口
cap.release()
cv2.destroyAllWindows()

简单写

import cv2
import numpy as np

video_path = 'input_video.mp4'
cap = cv2.VideoCapture(video_path)

# 初始化背景模型
ret, first_frame = cap.read()
background = np.zeros_like(first_frame[:, :, 0], dtype=np.float32)  # 初始化为全0或第一帧
alpha = 0.05  # 学习率

while True:
    ret, frame = cap.read()
    if not ret:
        break
    
    frame_gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)
    # 转为 float32 类型（与背景模型类型一致）
    frame_gray = frame_gray.astype(np.float32)
    
    # 自适应更新背景
    cv2.accumulateWeighted(frame_gray, background, alpha)
    background_uint8 = background.astype(np.uint8)
    
    # 显示背景模型
    cv2.imshow('Background', background_uint8)
    if cv2.waitKey(1) == ord('q'):
        break

cap.release()
cv2.destroyAllWindows()

1. cv2.accumulateWeighted(frame_gray, background, alpha)

作用

• 动态更新背景模型：
  通过加权平均的方式，将当前帧的灰度图像 frame_gray 与历史背景模型 background 结合，逐步更新背景，使其适应场景中的缓慢变化（如光线变化、轻微移动的物体等）。

参数说明

• frame_gray：当前帧的灰度图像（单通道，通常为 float32 类型）。
• background：背景模型（初始化为与 frame_gray 相同大小的 float32 数组）。
• alpha：学习率（取值范围 0 < alpha < 1），控制新帧与旧背景的权重：
  • alpha 越小：背景更新越慢，对缓慢变化（如光线）更鲁棒，但对快速变化（如新物体进入）反应较慢。
  • alpha 越大：背景更新越快，能更快适应新变化，但可能对噪声更敏感。

数学公式

cv2.accumulateWeighted 的计算公式为：

KaTeX parse error: Expected 'EOF', got '_' at position 47: …mes \text{frame_̲gray} + (1 - \a…

• 初始化时：background 需要先初始化为第一帧的灰度值（或全零）。
• 效果：
  每一帧的背景模型都会逐渐融合新帧的信息，但历史帧的贡献随时间衰减（呈指数衰减）。

2. background_uint8 = background.astype(np.uint8)

作用

• 数据类型转换：
  将背景模型 background（float32 类型）转换为 uint8 类型（0-255 的整数），以便后续显示或处理。

cv2.accumulateWeighted 函数是基于指数加权平均（Exponential Moving Average，EMA）的原理来更新背景模型，其核心公式如下：

公式表示

$$S_t=\alpha \times X_t+(1-\alpha )\times S_{t-1}$$

公式参数解释

• $S_t$：表示第 $t$ 时刻更新后的背景模型。在图像处理中，通常对应于经过加权平均后得到的新的背景图像。
• $\alpha$：是加权系数，也被称为学习率，取值范围为 $0<\alpha \le 1$。它控制着当前帧图像在更新背景模型时所占的权重。
  • 当 $\alpha$ 接近 1 时，意味着当前帧图像在新的背景模型中占比很大，背景模型会快速适应图像的变化，能快速跟上场景的动态变化，但也可能会过于敏感，将前景物体误当作背景的一部分进行更新。
  • 当 $\alpha$ 接近 0 时，当前帧图像在新背景模型中占比很小，背景模型更新缓慢，对场景变化的响应较为迟钝，不过这样可以减少因短期干扰（如快速移动的物体）对背景模型的影响。
• $X_t$：代表第 $t$ 时刻的当前帧图像。在处理视频时，就是每一帧的图像数据。
• $S_{t-1}$：是第 $t-1$ 时刻的背景模型，也就是上一次更新得到的背景图像。

cv2.accumulateWeighted(gray, background, alpha) 其中 gray 对应公式里的 $X_t$，background 对应 $S_{t-1}$ 和 $S_t$（更新前后的背景模型），alpha 就是公式中的 $\alpha$。每次调用该函数时，就会按照上述公式更新背景模型。

虽然在原始的递推公式 $S_t=\alpha \times X_t+(1-\alpha )\times S_{t-1}$ 里没有直接呈现指数，但通过展开公式就能发现 $(1-\alpha )$ 的指数形式。

指数加权的体现

从该公式出发，若持续迭代展开这个式子，就能清晰看到指数的存在。

对于第 $t$ 时刻的背景模型 $S_t$，通过不断代入前一时刻的公式进行展开：

• 当 $t=1$ 时，$S_1=\alpha \times X_1+(1-\alpha )\times S_0$。
• 当 $t=2$ 时，$S_2=\alpha \times X_2+(1-\alpha )\times S_1=\alpha \times X_2+(1-\alpha )(\alpha \times X_1+(1-\alpha )\times S_0)=\alpha \times X_2+\alpha (1-\alpha )\times X_1+(1-\alpha {)}^2\times S_0$。
• 当 $t=3$ 时，$S_3=\alpha \times X_3+(1-\alpha )\times S_2=\alpha \times X_3+\alpha (1-\alpha )\times X_2+\alpha (1-\alpha {)}^2\times X_1+(1-\alpha {)}^3\times S_0$。

以此类推，对于第 $t$ 时刻的 $S_t$，可以得到展开式：
$$S_t=\alpha \sum _{i=0}^{t-1}(1-\alpha {)}^i{X}_{t-i}+(1-\alpha {)}^t{S}_0$$

指数的体现及意义

• 指数形式：从展开式中能看出，权重 $(1-\alpha )$ 以指数 $i$ 的形式出现，也就是 $(1-\alpha {)}^i$。
• 意义：离当前时刻越远的帧（即 $i$ 越大），其对应的权重 $(1-\alpha {)}^i$ 就越小，呈指数级衰减。这表明在更新背景模型时，近期的帧对当前背景模型的影响更大，而较早的帧影响则会随着时间推移以指数形式快速减小。这种特性让算法能快速适应背景的变化，同时还能保留一定的历史信息。