《计算机科学与应用》遮挡人脸识别技术综述

作者信息

王晓彤, 韩金颖*, 王俊兴, 李振乾：北华航天工业学院计算机学院，河北 廊坊

基金信息

北华航天工业学院2023年硕士研究生科研创新项目(项目号：YKY-2023-32)

导读

人脸识别作为一种非接触、便捷的生物识别技术，在安防、金融、身份认证等领域得到广泛应用。然而，面部遮挡会导致关键特征丢失，严重影响识别性能，成为该领域的重要挑战。针对这一问题，当前研究主要从两个方向展开：一是改进人脸识别算法本身，使其对遮挡具有更强的鲁棒性；二是通过遮挡修复技术还原完整人脸，再执行识别。本文系统综述了遮挡人脸识别技术的最新进展，首先分析直接识别方法，接着探讨基于遮挡修复的方法，并对比两种策略的优缺点及适用场景。最后，本文展望了未来研究方向，为遮挡人脸识别技术的进一步发展提供参考。

正文

在本文中，本文将全面综述遮挡人脸识别技术的最新研究进展。首先介绍第一种思路，即直接进行遮挡人脸识别的相关方法，再介绍第二种思路，即基于遮挡修复的人脸识别方法，之后讨论两种方法的优缺点和适用场景，并对未来的研究方向进行展望，并总结全文。

PDSN由两个共享权重的子网络组成，用于提取面部特征，通过比较两个子网络的输出差异，PDSN可以学习到对遮挡鲁棒的面部表示。通过生成一个掩码表示遮挡区域，网络可以显式地学习如何关注未遮挡的面部区域，从而提高识别性能，掩码学习通过一个附加的分支网络实现，该分支网络与主干网络并行。并提出了一种新的损失函数，称为成对差分损失(Pairwise Differential Loss)，该损失函数鼓励PDSN对同一个体的面部特征具有较小的差异，而对不同个体的面部特征具有较大的差异，即使存在遮挡。为了增加训练数据的多样性，论文采用了遮挡数据合成的方法。通过在未遮挡的人脸图像上随机添加不同类型和位置的遮挡，可以生成大量的合成遮挡人脸数据。这有助于提高网络对各种遮挡模式的适应能力。上述方法总结及对比如表1所示。

通过表格我们可以清楚的看出，动态特征匹配方法通过预训练的CNN提取局部特征块，并采用动态权重策略降低遮挡区域的影响。该方法计算效率高，适用于小范围分散遮挡(如口罩、眼镜等)，但其性能依赖于分块精度，可能因遮挡边界不匹配而受限。相比之下，基于知识蒸馏的方法利用对比损失进行模板级知识迁移，能够在小规模数据集上快速适应新遮挡模式，但其性能受限于模型的泛化能力。

狄岚等人提出一种稀疏综合字典学习模型。该模型有效利用和生成人脸变化，以镜像原理及Fisher准则扩充训练样本多样性，包括类共享字典、类别特色字典、干扰字典以及低秩字典四项。通过学习这些字典，保留类间共性与类别特殊性的字典，并利用低秩字典保留增强模型对异常情况的处理能力。在实验中，为探究该算法对复杂变化人脸如墨镜遮挡、围巾遮挡等的处理能力，在相关数据库上进行了实验。上述方法总结及对比如表2所示。

根据对比可以看出，基于字典学习的遮挡人脸识别方法呈现出三个显著趋势：在稀疏表示方面，从全局表示向结构化局部表示演进；在字典设计方面，由单一字典发展为专用遮挡字典和多字典协同体系；在特征优化方面，实现了从原始像素到手工特征再到深度学习特征的跨越。这些方法虽然在结构化遮挡处理方面取得显著进展，但仍面临数据依赖性较强、计算复杂度较高、动态适应性不足等共性问题，特别是在处理非刚性遮挡和实时性要求高的场景时表现受限。

结论

尽管遮挡人脸识别取得了长足的进步，但仍面临诸多挑战。未来可以从以下几个方面展开深入研究，以提高算法的性能和实用性：

(1) 优化模型结构与计算效率：现有深度学习模型往往计算复杂度较高，难以在资源受限的设备上高效运行。未来可探索更精简的网络结构，例如通过模型压缩、量化或动态计算策略，在保证准确率的前提下减少参数量和计算量。同时，研究自适应推理机制，根据输入图像的遮挡程度动态调整计算资源，可进一步提升实时性。

(2) 增强数据集的多样性与泛化能力：未来可构建更全面的数据集，结合合成数据生成技术来扩充训练样本。构建涵盖更多遮挡类型、光照变化、种族和年龄差异的大规模高质量数据集，促进模型的泛化能力提升。此外，研究数据增强和域适应方法，以提升模型在未知场景下的适应能力。

(3) 跨模态融合：单一视觉模态在复杂环境下容易失效，未来可探索多源数据的协同分析方法，如结合3D人脸重建、红外成像等技术，建立更全面的识别模型。通过多模态信息的融合，可以提升模型在复杂场景下的识别性能。例如，3D人脸重建技术[15]可以提供更丰富的几何信息，红外成像则可以在低光照条件下提供补充信息。

(4) 提升安全性与隐私保护：随着人脸识别技术的广泛应用，隐私泄露和对抗攻击风险日益突出。一方面，需增强模型对对抗样本的鲁棒性，例如针对恶意设计的遮挡图案(如对抗性贴纸或特殊纹理干扰)开发有效的防御策略，防止识别系统被欺骗；另一方面，应探索隐私保护技术，如基于联邦学习的分布式训练框架或差分隐私算法，确保模型优化过程中不直接接触原始人脸数据，从而在提升识别性能的同时保障用户隐私安全。通过这两方面的协同改进，可推动遮挡人脸识别技术更可靠、合规地应用于实际场景。

原文链接：遮挡人脸识别技术综述