为了有效阻止新冠病毒的传播和感染,近两个多月来世界各国人民都带上了口罩。虽然口罩能够帮助我们抵御病毒 ,但先前已经广泛使用的人脸识别系统却无法正常工作了,包括乘坐交通工具认证、门禁、打卡、手机解锁和付款等功能都无法正常进行。因此研发出佩戴口罩的人脸识别系统对于复工复产和正常的社会经济活动具有十分重要的作用。

目前绝大多数的人脸识别系统都需要大规模的数据来训练深度学习。虽然很多公司提出了自己的口罩人脸识别方案,但目前却还没有开源的人脸佩戴口罩公开数据集。
为了有效助力疫情防控中的人脸识别,促进复工复产的顺利进行,来自武汉大学的研究人员提出了三种佩戴口罩的人脸数据集,包括1、口罩佩戴检测人脸数据集(Masked Face Detection Dataset,MFDD)2、真实世界的口罩佩戴人脸识别数据集(Real-world Masked Face Recognition Dataset, RMFRD)3、模拟口罩佩戴人脸识别数据(Simulated Masked Face Recognition Dataset, SMFRD)
其中RMFRD是目前世界上最大的公开人脸口罩佩戴数据集,可以广泛用于人脸识别、口罩佩戴检测和多种识别任务中。实验表明,这一数据和对应方法可以实现95%的佩戴口罩人脸识别准确率。

口罩抗疫,技术护航
我们周围的每个人几乎都在这次疫情中带起了口罩保护自己,为抗疫作出自己的贡献。然而在过去一段时间,人脸识别这一计算机视觉最为重要的应用在诸多场合失效了,除了日常生活不便外、在公共场所人脸识别的失效将会带来较大的安全风险。同时在疫情期间,非接触式的人脸识别与授权验证的优势也显现了出来,比人脸识别认证比指纹识别或输入密码更加安全。
人脸识别技术基本上依赖于面部关键点和特征的检测,绝大部分都是利用深度学习技术实现。在佩戴口罩的情况下只能漏出眉眼和额头,需要对算法进行重新训练,更重要的是需要庞大的佩戴口罩人脸数据对模型进行训练。目前需求最大的任务要数口罩佩戴检测和佩戴口罩人脸识别两个应用了。
目前进入公共场所都需要佩戴口罩,利用视觉检测进入场所的个人是否佩戴口罩对于疫情防控十分必要!而佩戴口罩者人脸身份识别则对于各类需要人脸识别认证、授权和支付的场合至关重要。这两类任务需要不同的数据集进行训练,前者只需要佩戴口罩的人脸样本而后者则需要同一主体佩戴口罩和正常状况下的多张照片,构建的难度更大。针对用途的不同,研究人员分类构建了口罩佩戴检测数据集MFDD,真实口罩人脸识别数据集RMFRD和模拟人脸口罩数据集SMFRD。

三种数据集,了解一下!

MFDD的数据主要来源于两部分:其中一部分数据来自于aizoo．com先前的研究,而另一部分则从互联网上爬取,并对其进行了口罩佩戴和位置标注,最终构建了包含2771张口罩佩戴图片。MFDD数据可用于训练精确的佩戴口罩的人脸检测模型,同时可以作为口罩人脸识别的预处理工具。此外还可用于判断图像中的个人是否按照规定佩戴口罩。
RMFRD则使用爬虫爬取公众人物的正面照和对应的口罩人脸照,并利用人工去除一系列不符合要求的人脸图像。随后利用LabelMe剪切了人物的头部从而得到了包含525个人的90000张头像。这是目前最大的公开人脸佩戴口罩数据集,下图显示了一些数据样本:

为了扩充数据的多样性,研究人员同时制作了合成数据集SMFRD,利用Dlib将口罩合成到现有的大规模人脸数据集上(包括LFW和Webface数据集),通过这样的方法研究人员构建了包含一万个人的五十万张合成口罩佩戴图像。下图显示了一系列合成的口罩佩戴图像。

口罩佩戴人脸识别
人脸识别基本分为两种场景:受控和非受控环境。
其中非受控环境主要是公共监控下,人脸的距离、光照、位姿、遮挡等带来的不确定性,这种场景下的识别精度较低,再加上口罩后会使得精度进一步下降。
而受控场景主要包括公司门禁、打卡、火车站人脸查验和手机解锁等场景,这些场景具有高质量的正面照使得佩戴口罩识别的难度有所下降。即使口罩遮挡了部分面部,上半部分的眉眼额等特征也可以被用于人脸识别。
在本研究中提出的人脸识别技术兼顾了两方面的因素,一方面是构建数据集,另一面则充分利用未被遮挡部分的人脸特征。研究人员充分利用了现有公开人脸数据集,并结合上文中提出的数据集来训练面部-眉眼多粒度口罩人脸识别模型。研究人员对人脸轮廓、眼部、眼周围、前额等面部可见区域的关键特征使用了不同的注意力权重,有效地解决了面部可识别特征的不平衡分布问题。在这些方法的提升下,研究人员最终将模型的识别精度从50%提升到了95%。

应用与展望

也许是疫情来势凶猛,只有少数机构实现了人脸口罩佩戴情况下的准确识别。据作者了解,商汤目前在50%鼻子暴露的情况下达到了85%的准确率,汉王科技也达到了85%的识别精度,小视科技则报道了90%的识别精度。而本文提出的面部-眉眼多粒度口罩人脸识别模型则达到了95%的识别精度,但与常规情况下达到99%的人脸识别相比还不是太可靠。
而在另一识别主体是否佩戴口罩的任务中,腾讯、百度和京东等公司都达到了超过99%的精度。本文提出的数据集和算法将有效提升口罩佩戴检测和佩戴口罩人脸识别的精度,为基于人脸的授权、验证等场景应用提供较好的解决方案,为疫情期间甚至冬季雾霾期间佩戴口罩情况下的各类人脸识别场景作出贡献。

山川异域,风月同天;共同战疫,全球加油!