H266/VVC环路滤波技术概述

环路滤波

环路滤波：是提高编码视频主客观质量的有效工具，不同于图像增强处理中的滤波技术，环路滤波是在视频编码过程进行滤波，滤波后的图像用于后续图像的编码，即位于“环路”中。

环路滤波的作用： 一方面提高了编码图像的质量，一方面为后续编码图像提供了高质量的参考图像。

常见的编码失真： 方块效应、振铃效应、颜色偏差、图像模糊等常见编码失真效应。

H266环路滤波技术：如下图，H266标准的环路滤波技术包括亮度映射与色度缩放（LMCS）、去方块滤波（DBF）、样点自适应补偿（SAO）、自适应环路滤波（ALF）。

亮度映射与色度缩放

LMSC： 亮度映射与色度缩放是H266新引入的编码工具。包括基于自适应分段线性模型的亮度映射和基于亮度的色度残差缩放。亮度映射应用于像素级，通过充分地利用亮度值范围及广电转换特性来提高视频的编码效率；色度缩放应用于色度块级，旨在补偿亮度信号映射对色度信号的影响。如下图。

去方块滤波

方块效应： 是指图像编码块边界的不连续性。造成方块效应的主要原因是各块的变换量化编码过程相互独立，因此，各块引入的量化误差及其分布特性相互独立，导致相邻块边界的不连续；此外，在运动补偿预测过程中，相邻块的预测值可能来自不同图像的不同位置，这样就会导致预测残差信号在块边界产生数值不连续的问题；另外，时域预测技术使得参考图像中存在的边界不连续可能会传递到后续编码图像。

去方块滤波的意义： 编码环路中的滤波模块不仅可以改善滤波后重建图像的质量，而且滤波后重建图像作为时域预测参考可以提升后续编码的质量。它自适应的根据不同的视频内容、不同的编码方式选择不同强度的滤波残花，然后对其进行平滑处理。

H266的去方块滤波： 在HEVC的去方块滤波基础上有少量变化，比如针对采用子块编码技术的子块边界进行滤波、针对大块亮度分量的长抽头滤波、针对色度分量的强滤波。

去块滤波的关键环节： 滤波决策、滤波操作；滤波决策得到滤波强度，滤波操作根据滤波强度进行像素修正。

样点自适应补偿

振铃效应：
H266采用基于块的变换，并在频域对变换系数进行量化。对于图像里的强边缘，由于高频交流系数的量化失真，解码后会在边缘周围产生波纹现象，这种失真被称为振铃效应。如下图，实线中的高频信息丢失后变成虚线。

SAO：
H266标准沿用了H265标准的SAO技术，H266的SAO以CTB为单位，通过选择一个合适的分类器将重建像素划分类别，然后对不同类别的像素使用不同的补偿值，可以有效提高视频的主客观质量。包括两大类补偿形式，分别是边界补偿（Edge Offset，EO）和边带补偿（Band Offset，BO），此外还引入了参数融合。

H266中SAO的流程：

自适应环路滤波

ALF： 在H266中，自适应换路滤波（Adaptive Loop Filter， ALF）技术包括亮度ALF、色度ALF和分量间ALF。ALF基于维纳滤波原理，通过原始图像信息和重建图像信息建立维纳-霍夫方程求解一系列具有最小均方误差的滤波器系数，达到减小解码误差、有效提升客观质量的目的。

参考

JVET输出文档： https://www.itu.int/wftp3/av-arch/jvet-site/
书籍： 新一代通用视频编码H266/VVC：原理、标准与实现[万帅 霍俊彦 马彦卓 杨付正/著]

备注

本系列博客主要是对《新一代通用视频编码H266/VVC：原理、标准与实现》的学习笔记。