CN113673448A - 一种云和端集成的人脸图像质量动态检测方法及*** - Google Patents

Abstract

本发明公开了一种云和端集成的人脸图像质量动态检测及***，所述方法包括：S1、云端接收人脸图片及人脸质量检测请求，并对人脸图片进行图像预处理；所述人脸质量检测请求中包括人脸终端机的信息；S2、通过预先训练好的多人脸融合模型计算人脸图片的融合质量分；S3、根据融合质量分和预先设定的人脸质量分判定标准进行人脸质量判断，获得人脸图片通过注册或不通过注册的结果；S4、将通过注册的人脸图片下发到相应的人脸终端机。本发明通过云端融合各种采集终端及人脸终端机的特性对采集的人脸图片进行预处理和质量判定，从而提升人脸采集注册性能，提高注册通过率，降低人脸的误识别率。

Description

一种云和端集成的人脸图像质量动态检测方法及***

技术领域

本发明涉及人脸识别技术领域，特别涉及一种云和端集成的人脸图像质量动态检测方法及***。

背景技术

人脸识别技术在视频监控、金融支付、智能家居、社会安全保障等方面广泛应用。由于不同的人脸具有内在的相似性，而同一人脸的不同图像常常因姿态、表情、角度、照度、遮挡等因素的影响，导致在实际的应用中识别的精度仍然不能满足一些特定应用场景的要求，因此，如何挑选出具有高质量的人脸注册图片非常重要。

目前大多数终端设备在进行人脸注册时，对人脸图像的质量判定标准都是采用在设备端进行过滤与检测。设备端的人脸检测方法存在以下缺点：

(1)采集方式单一：现有人脸图片采集方式非常多，如：app采集、微信小程序采集、平台采集、证照扫描等，但采用终端人脸检测无法做到图片采集方式的多样化；

(2)采集效率低：必须在安装好了人脸终端机才能进行人脸图片的采集注册，不能提前采集，对于大批量的工程项目的采集工作而言，效率低且难度大；

(3)不兼容：不同厂商、不同的型号的人脸设备所采用的终端人脸检测算法各有不同，导致一张人脸图片在某一厂商的某一型号的设备上能够注册，而在另一厂商另一型号的设备上又不能够注册，无法形成统一的人脸检测和注册标准，进而导致大量重复的人脸检测工作，资源利用率不高；

(4)应用场景局限：设备端人脸检测无法根据应用场景快速、动态地更新人脸检测与人脸识别模型，如：无法根据底图数量、业务变化(老人库、小孩库、模糊库、清晰库)、现场环境，年龄分布、性别比例等各种属性因素动态调整人脸检测模型和识别模型。

发明内容

为解决上述问题，本发明提供了一种云和端集成的人脸图像质量动态检测方法及***。

一方面，本发明采用以下技术方案：

一种云和端集成的人脸图像质量动态检测方法，所述方法包括如下步骤：

S1、云端接收人脸图片及人脸质量检测请求，并对人脸图片进行图像预处理；所述人脸质量检测请求中包括人脸终端机的信息；

S2、通过预先训练好的多人脸融合模型计算人脸图片的融合质量分；

S3、根据融合质量分和预先设定的人脸质量分判定标准进行人脸质量判断,获得人脸图片通过注册或不通过注册的结果；

S4、将通过注册的人脸图片下发到相应的人脸终端机。

进一步地，所述方法还包括：至少一采集终端通过通信协议向云端发送人脸图片并发起人脸质量检测请求；所述采集终端包括微信小程序、web端应用***、App和/或移动人脸采集终端中的一种或几种；所述人脸质量检测请求中包含有人脸终端机的厂商信息和设备型号。

进一步地，步骤S1中，在所述图像预处理之前，过滤图片字节大小和/或图片格式；所述图像预处理包括对人脸图片进行灰度化、几何变换、图像增强和/或图像叠加。

进一步地，所述图像预处理包括：改正采集终端的***误差及仪器位置的随机误差；和/或采用双线性插值使输出图像的像素被映射到输入图像的非整数坐标上；和/或采用点运算算法使图像成像均匀。

进一步地，所述图像预处理还包括：结合人脸终端机的信息判定人脸图片中人脸图像区域在人脸图片中的占比是否符合预设比例阈值，当不符合预设比例阈值时，建立背景图布，将人脸图片叠加至背景图布，所述人脸图像区域与背景图布的比例根据人脸终端机及人脸图像区域在人脸图片中的设置。

进一步地，所述方法还包括：获得若干人脸终端机的厂商信息、设备型号及对应的注册标准，通过AI模型训练平台对若干注册标准进行训练获得所述多人脸融合模型。

进一步地，所述多人脸融合模型包括人脸检测模型、人脸特征模型和人脸遮挡模型。

进一步地，所述计算人脸图片的融合质量分的流程为：

S21、通过人脸检测模型对人脸图片进行人脸区域检测，计算得到人脸检测的各属性得分；

S22、通过人脸特征模型对人脸图片进行关键点提取，抽取人脸特征值并计算得到人脸特征的各属性得分；

S23、通过人脸遮挡模型分析人脸图片中人脸的遮挡属性，计算得到人脸遮挡的各属性得分；

S24、将人脸检测模型、人脸特征模型和人脸遮挡模型所获得的各属性得分加权计算，得到人脸图片的融合质量分，所述融合质量分用于人脸质量判断。

进一步地，所述人脸质量分判定标准包括遮挡、模糊度、人脸照度标准差、姿态角度、人脸完整度、人脸大小的一种或多种。

另一方面，本发明还提供一种云和端集成的人脸图像质量动态检测***，所述***包括：

至少一采集终端，用于通过通信协议向云端服务器发送人脸图片并发起人脸质量检测请求；

云端服务器，用于通过如权利要求1所述的云和端集成的人脸图像质量动态检测方法获得及发送通过注册的人脸图片；

人脸终端机，用于用于接受通过注册的人脸图片。

采用上述技术方案后，本发明与背景技术相比，具有如下优点：

1、本发明通云端进行人脸检测，根据不同厂商、不同型号的人脸终端机训练出对应的各种型号的多人脸融合模型，对采集的人脸图片进行预处理和质量判定，然后下发给人脸终端机，从而提升人脸采集注册性能，提高注册通过率，降低人脸的误识别率；

2、各采集终端通过通信协议向云端发送人脸图片质量检测请求，在人脸终端机安装之前也可以进行人脸图片的质量检测，提高人脸采集效率，且采集的方式多样化；

3、通过在云端统一进行人脸质量检测，解决了人脸终端机的兼容问题，扩展了应用场景，例如：当社区更换不同厂商不同型号的人脸终端机时，用户无需重新提交人脸照片进行注册，只要云端统一检测和下发到新的人脸终端机即可。

附图说明

图1为本发明的方法流程图；

图2为本发明的多人脸融合模型的结构图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

实施例一

如图1所示，一种云和端集成的人脸图像质量动态检测方法，该方法包括如下步骤：

S1、云端接收人脸图片及人脸质量检测请求，并对人脸图片进行图像预处理；所述人脸质量检测请求中包括人脸终端机的信息；

云端接收的人脸图片及人脸质量检测请求可以来自采集终端，采集终端通过通信协议向云端发送人脸图片并发起人脸质量检测请求；所述采集终端包括微信小程序、web端应用***、App和/或移动人脸采集终端中的一种或几种；所述人脸质量检测请求中包含有人脸终端机的厂商信息和设备型号。其中通信协议可以是http、tcp等。

http即hyper text transferprotocol的缩写，是一种超文本传输协议，所述采集终端可以采用包括微信小程序、web端应用***、App或移动人脸采集终端等，通过http向云端发送人脸图片和人脸质量检测请求；所述人脸质量检测请求中包含有人脸终端机的厂商信息和设备型号。

在所述图像预处理之前，先对图片字节大小和图片格式进行过滤，所述图像预处理包括对人脸图片进行灰度化、几何变换、图像增强和图像叠加。

所述图像预处理还包括：改正采集终端的***误差及仪器位置的随机误差；和/或采用双线性插值使输出图像的像素被映射到输入图像的非整数坐标上；和/或采用点运算算法使图像成像均匀。

所述图像预处理的主要目的是消除图像中无关的信息，恢复有用的真实信息，增强有关信息的可检测性、最大限度地简化数据，改进特征提取、图像分割、匹配和识别的可靠性。

具体的图像预处理流程如下：

将人脸图片对RGB三分量进行加权平均得到较合理的灰度图像：f(i,j)＝a1*R(i,j)+a2*G(i,j)+a3*B(i,j)，其中a1+a2+a3＝1，再通过平移、转置、旋转、缩放等几何变换对采集的图像进行处理，主要用于改正图像采集***的***误差和仪器位置(成像角度、透视关系乃至镜头自身原因)的随机误差；

然后使用双线性插值，使输出图像的像素被映射到输入图像的非整数坐标上，再采用g(x,y)＝f(x,y)*h(x,y)，其中，f(x,y)是原图像，h(x,y)为空间转换函数，g(x,y)表示进行处理后的图像；

采用点运算算法即灰度级校正、灰度变换和直方图修正等使图像成像均匀，或扩大图像动态范围，扩展对比度。

优选地，所述图像预处理还包括：结合人脸终端机的信息判定人脸图片中人脸图像区域在人脸图片中的占比是否符合预设比例阈值，当不符合预设比例阈值时，建立背景图布，将人脸图片叠加至背景图布，所述人脸图像区域与背景图布的比例根据人脸终端机及人脸图像区域在人脸图片中的设置。

例如：人脸图像区域的像素高于640*480，而对应的人脸终端机确定的最优比例为1：1.4，则可以将人脸图片叠加在1:1.4的白色背景图上，其中，1:1.4的可以基于实际现场环境测试得到的，不同的实际应用场景可调，其数值根据结合不同的人脸终端机进行综合计算，也可以设置为不同的数值，例如：1：1.2、1：1.3、1：1.5等，通过对人脸区别比例的调节有利于提高图像检测到人脸的通过率，显著提高注册通过率。

S2、通过预先训练好的多人脸融合模型计算人脸图片的融合质量分；

优选地，所述方法还包括：获得若干人脸终端机的厂商信息、设备型号及对应的注册标准；通过AI模型训练平台对若干注册标准进行训练获得所述多人脸融合模型。其中所述AI模型训练平台为现有技术中的训练模型。

如图2所示，所述多人脸融合模型包括人脸检测模型、人脸特征模型和人脸遮挡模型。

所述计算人脸图片的融合质量分的流程为：

S21、通过人脸检测模型对人脸图片进行人脸区域检测，计算得到人脸检测的各属性得分；

具体为：加载人脸检测模型，获取人脸计算质量分计算句柄，进行人脸区域检测，判断是否只存在一张人脸，如果不满足条件，则提示人脸不存在，或人脸数不为1，流程结束。如条件成立，则计算人脸各质量分各属性得分，各属性如清晰度，光照度，人脸是否完整，人脸角度等。

S22、通过人脸特征模型对人脸图片进行关键点提取，抽取人脸特征值并计算得到人脸特征的各属性得分；

具体为：加载人脸特征模型，获取人脸计算质量分计算句柄，利用霍夫变换、方差投影和模型匹配相结合，通过虹膜中心、内眼角点、外眼角点、鼻尖点、鼻孔点、耳屏点、耳下点、口角点、头顶点、眉内点和眉外点等关键点，有效地确定出眼睛、嘴巴和鼻子等器官的位置。本实施例采用的人脸特征模型是参数可变的可变性模型。可变性模板是以器官的几何特征作为模型的参数，定义一个能量函数，通过改变参数使能量函数最小化，能量函数越小越接近提取目标，可变性型在环境发生变化时只需要改变相应的参数即可，因此灵活性和适应性都比较好。

S23、通过人脸遮挡模型分析人脸图片中人脸的遮挡属性，计算得到人脸遮挡的各属性得分；

具体为：加载遮挡模型模型，获取人脸计算质量分计算句柄，根据特征抽取获得的各个关键点的信息，计算人脸各个关键点部位的遮挡属性得分，如眼睛，鼻子，嘴巴，脸颊，下巴的遮挡得分。

S24、将人脸检测模型、人脸特征模型和人脸遮挡模型所获得的各属性得分加权计算，得到人脸图片的融合质量分，所述融合质量分用于人脸质量判断。

综合步骤S21、S22、S23的计算，人脸的各个属性得分都已经计算出来，再通过预先训练出来的不同厂商、不同设备的质量分加平均函数F(a，k)＝(k1*a1+k2*a2+k3*a3+....+kn*an)/(k1+k2+k3+...+kn)，其中k1...kn为加权系数，a1...an为人脸属性得分，将人脸质量的各个属性得分进行加权平均，计算出人脸质量的综合得分，再根据事先预设的人脸质量分判定标准来判定人脸质量是否通过。

S3、根据融合质量分和预先设定的人脸质量分判定标准进行人脸质量判断；获得人脸图片通过注册或不通过注册的结果；

所述人脸质量分判定标准包括遮挡、模糊度、人脸照度标准差、姿态角度、人脸完整度、人脸大小；

所述遮挡用0～1表示，0为无遮挡，1为完全遮挡；所述遮挡的阈值由左眼遮挡阈值0.8、右眼遮挡阈值0.8、鼻子遮挡的阈值0.75、嘴巴遮挡阈值0.75、左脸颊遮挡阈值0.8、右脸颊遮挡阈值0.8、下巴遮挡阈值0.75组成，若遮挡超过上述阈值则不符合质量标准；

所述模糊度用0～1表示，0为最清晰，1是最模糊；所述模糊度的阈值为0.75，若模糊度小于0.75则不符合质量标准；

所述人脸照度标准差用0～255表示，越大表示对比越强烈。所述人脸照度标准差的阈值为60；人脸照度标准差阈值范围的上限要合适，越高表示越宽松，意味着放行高对比度的图，比如阴阳脸之类的，引起识别困难；越低越严格，但是对图片质量就太苛刻，会降低检测的成功率和效率。

所述姿态角度的阈值由俯仰角度阈值-35°～35°、平面旋转角度阈值-35°～35°和三维左右旋转角度阈值-35°～35°组成；在姿态角度阈值范围内的图片均符合质量标准。

所述人脸完整度用0或1表示，0表示不完整，1表示完整，所述人脸完整度的一般阈值为0.6～0.8，当人脸终端机人脸完整度要求的阈值是0.8，则将0.8设置为1；

人脸图片的像素为640*480，而人脸图片中人脸大小的阈值为100*100像素，即人脸部分不小于100*100像素才符合质量标准。

S4、将通过注册的人脸图片下发到相应的人脸终端机。

实施例二

基于同一发明构思，本发明实施例还提供了一种云和端集成的人脸图像质量动态检测***，其所解决问题的原理与前述实施例的一种云和端集成的人脸图像质量动态检测方法相似，因此该一种云和端集成的人脸图像质量动态检测***的实施可以参见前述实施例的方法的实施，重复之处不再赘述。

本实施例提供一种云和端集成的人脸图像质量动态检测***，所述***包括：

至少一采集终端，用于通过通信协议向云端服务器发送人脸图片并发起人脸质量检测请求；

云端服务器，用于通过如上述实施例所述的云和端集成的人脸图像质量动态检测方法获得及发送通过注册的人脸图片；

人脸终端机，用于接受通过注册的人脸图片。

在本实施例中，云端服务器可以结合采集终端及人脸终端机的信息对图像进行预处理，并对预处理的人脸图片进行人脸融合质量分的计算，人脸融合质量分是用来判断人脸质量是否符合注册标准，最终下发到人脸终端机的是通过质量分判定的人脸图片。

人脸终端机可以是门禁、道闸等。人脸终端机用于在人预通过时，获取人脸图像后，根据云端下方的注册的人脸图片进行识别并判定是否开启，识别的结果通知云端。

通过本实施例的方案，能有效提高人脸图片在不同厂商、不同型号的人脸终端机的注册通过率，如：现有的同一用户的同一张照片，在A厂商的人脸终端机上能注册成功，但在B厂商的人脸终端机上很可能无法注册，本实施例通过云端对图片进行预处理，再根据预先训练好的对应厂商和型号的多人脸融合模型进行质量检测，从而使用户的该照片在A、B厂商的人脸终端机上均能注册成功，且准确识别，提高了注册通过率并降低误识别率。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (10)

1.一种云和端集成的人脸图像质量动态检测方法，其特征在于：所述方法包括如下步骤：

S1、云端接收人脸图片及人脸质量检测请求，并对人脸图片进行图像预处理；所述人脸质量检测请求中包括人脸终端机的信息；

S2、通过预先训练好的多人脸融合模型计算人脸图片的融合质量分；

S3、根据融合质量分和预先设定的人脸质量分判定标准进行人脸质量判断,获得人脸图片通过注册或不通过注册的结果；

S4、将通过注册的人脸图片下发到相应的人脸终端机。

2.如权利要求1所述的一种云和端集成的人脸图像质量动态检测方法，其特征在于：所述方法还包括：至少一采集终端通过通信协议向云端发送人脸图片并发起人脸质量检测请求；所述采集终端包括微信小程序、web端应用***、App和/或移动人脸采集终端中的一种或几种；所述人脸质量检测请求中包含有人脸终端机的厂商信息和设备型号。

3.如权利要求1所述的一种云和端集成的人脸图像质量动态检测方法，其特征在于：步骤S1中，在所述图像预处理之前，过滤图片字节大小和/或图片格式；所述图像预处理包括对人脸图片进行灰度化、几何变换、图像增强和/或图像叠加。

4.如权利要求3所述的一种云和端集成的人脸图像质量动态检测方法，其特征在于：所述图像预处理包括：改正采集终端的***误差及仪器位置的随机误差；和/或采用双线性插值使输出图像的像素被映射到输入图像的非整数坐标上；和/或采用点运算算法使图像成像均匀。

5.如权利要求4所述的一种云和端集成的人脸图像质量动态检测方法，其特征在于：所述图像预处理还包括：结合人脸终端机的信息判定人脸图片中人脸图像区域在人脸图片中的占比是否符合预设比例阈值，当不符合预设比例阈值时，建立背景图布，将人脸图片叠加至背景图布，所述人脸图像区域与背景图布的比例根据人脸终端机及人脸图像区域在人脸图片中的设置。

6.如权利要求2所述的一种云和端集成的人脸图像质量动态检测方法，其特征在于：所述方法还包括：获得若干人脸终端机的厂商信息、设备型号及对应的注册标准，通过AI模型训练平台对若干注册标准进行训练获得所述多人脸融合模型。

7.如权利要求6所述的一种云和端集成的人脸图像质量动态检测方法，其特征在于：所述多人脸融合模型包括人脸检测模型、人脸特征模型和人脸遮挡模型。

8.如权利要求7所述的一种云和端集成的人脸图像质量动态检测方法，其特征在于：所述计算人脸图片的融合质量分的流程为：

S21、通过人脸检测模型对人脸图片进行人脸区域检测，计算得到人脸检测的各属性得分；

S22、通过人脸特征模型对人脸图片进行关键点提取，抽取人脸特征值并计算得到人脸特征的各属性得分；

S23、通过人脸遮挡模型分析人脸图片中人脸的遮挡属性，计算得到人脸遮挡的各属性得分；

S24、将人脸检测模型、人脸特征模型和人脸遮挡模型所获得的各属性得分加权计算，得到人脸图片的融合质量分，所述融合质量分用于人脸质量判断。

9.如权利要求1所述的一种云和端集成的人脸图像质量动态检测方法，其特征在于：所述人脸质量分判定标准包括遮挡、模糊度、人脸照度标准差、姿态角度、人脸完整度、人脸大小的一种或多种。

10.一种云和端集成的人脸图像质量动态检测***，其特征在于：所述***包括：

至少一采集终端，用于通过通信协议向云端服务器发送人脸图片并发起人脸质量检测请求；

云端服务器，用于通过如权利要求1所述的云和端集成的人脸图像质量动态检测方法获得及发送通过注册的人脸图片；

人脸终端机，用于用于接受通过注册的人脸图片。

Images