CN112199530A - 多维度脸库图片自动更新方法、***、设备及介质 - Google Patents

Abstract

本发明提供了一种适用于人脸识别的多维度脸库图片自动更新方法，包括：将人脸识别场景分为静态识别、动态识别、认证对比三类，通过不同设备收集同一用户的前述三类的人脸图片，利用人脸识别技术中的图片质量计算和人脸属性计算，对每一张图片分别提取人脸的图片质量指标值和人脸属性指标值，并将图片及指标值按场景值分类存储；当同一用户的人脸再次被识别后，提取当前人脸样本图片的识场景值、图片质量指标和人脸属性指标，根据识别场景值获取人脸数据库中对应的脸库图片及其多项指标值，从多维度计算人脸样本图片的综合质量评估得分，若得分大于***阈值，样本人脸图片将替换原来的脸库图片，实现脸库图片的自动更新，提高人脸识别的准确率。

Description

多维度脸库图片自动更新方法、***、设备及介质

技术领域

本发明属于人脸图库更新技术领域，尤其是涉及一种适用于人脸识别的多维度脸库图片自动更新方法。

背景技术

近年来，随着人脸识别技术的普及推广，越来越多的业务场景包含了人脸识别，比如人证核对、人脸考勤、人脸开锁、人脸支付等等。这些包含人脸识别技术的业务***必然需要建立***用户人脸图片库，一般是用户注册时提供的人脸图片，业务***将其存储在人脸数据库中。从而在需要对用户进行人脸识别时，通过人脸数据采集设备可获取用户当前的人脸图片，将其与脸库图片进行查找比对。当两张图片的相似度不小于相似度阈值时，表示人脸识别成功，否则，表示人脸识别失败。

但随着时间流逝，用户由于年龄的增长、生活方式的改变、工作环境的需要等发生了生理上或穿戴上的样貌变化，然而其脸库图片并没有及时随着变化，于是在某一天对用户进行人脸识别时就可能发生多次识别失败导致无法用户办理业务或者通过检查等尴尬情况。

为解决这一问题，较为简单的方法是提醒用户经常自主更新脸库图片，或者***实现每隔一段时间自动将采集到的人脸样本图片替换原脸库图片。然而这两种方式有明显的缺点：一、对于用户个体来说，必须主动地及时地去上传近照，对记忆力和自律性是一种挑战，而且操作比较繁琐，服务体验并不好。二、更新标准不清晰，比如每隔多久更新一次比较合理，如何确保用户能及时更新，***自动替换图片会不会导致后续识别率降低等。

发明内容

有鉴于此，本发明旨在提出一种适用于人脸识别的多维度脸库图片自动更新方法，以实现脸库图片自动更新在周期和质量方面的正确性和科学性，同时保证了高识别率。

为达到上述目的，本发明的技术方案是这样实现的：

第一方面，本发明提供了一种适用于人脸识别的多维度脸库图片自动更新方法，包括如下步骤：

S1，建立脸库图片的多维度指标体系；

S2，用户注册时获取用户人脸图像和用户注册信息，通过计算得到对应指标体系的各指标值，将人脸图像以及指标值进行存储；

S3，当再次获得某用户的人脸样本图像后，计算对应的指标值并与之前存储的指标值进行比较，若满足阈值范围则更新对应用户的人脸图像及指标值，若未满足阈值范围则不作任何处理。

进一步的，步骤S1中的多维度指标体系包括人脸图片场景值FS、人脸图片质量FQ和人脸属性值FP；

所述人脸图片场景值FS包括动态识别FS_L、静态识别FS_M和人证对比FS_H，对应通过至少一种数据采集装置获取的三张人脸图片，记为人脸图片FS_L、人脸图片FS_M、人脸图片FS_H；

所述人脸图片质量FQ利用图片质量检测算法对人脸图片FS_L、人脸图片FS_M、人脸图片FS_H进行计算，得到FQ_L、FQ_M、FQ_H；

所述人脸属性值FP包括采集时间T、年龄A、性别S和活体值B，记为矩阵FPM。

进一步的，所述指标FQ包括人脸图片中人脸的光线L、模糊F、遮挡O、角度R、表情E、人脸占比P、背景C七个特征，这些特征的实际值通过线性变化标准化到[0,1]区间，设定各个特征值所占权重为w_i，0<w_i<1(1≤i≤7)。

进一步的，在步骤S2中，用户注册时，通过拍视频、照相、身份证读卡器三种方式获取用户的三张清晰人脸图片分别记为FS指标中的FS_L、FS_M、FS_H；

通过用户填写的出生日期转换为年龄记为A₀、性别S₀，同时自动将该次采集时间记为T₀和活体为B₀；将得到的FQ_L、FQ_M、FQ_H分别与FQ₀进行比较，若不满足条件则使用对应方式重新获取对应人脸图像；将得到的FPM_L、FPM_M、FPM_H与FPM₀进行比较，若不满足条件则使用对应方式重新获取用户人脸图像或者用户检查注册信息是否有误并修改正确。

进一步的，步骤S3中的计算对应的指标值并与之前存储的指标值进行比较的具体步骤如下：

获得某用户的人脸样本图像后，记录FS指标以及FP指标中的采集时间T；

计算出人脸样本图像的图片质量，记为FQ₂，计算人脸属性值，记为FPM₂；

根据FS指标值获取同一用户的之前存储的对应的FQ、FPM两个指标值，记为FQ₁、FPM₁；获取预设的人脸更新间隔最小间隔时长t、人脸采集时间T所占权重w_t以及人脸年龄A权重w_a，w_t+w_a＝1；用FPM₁减去FPM₂的计算结果为

根据公式计算人脸属性值FP，获取***设定的人脸图片质量FQ的评估权重w_q以及人脸属性FP的评估权重w_p，w_q+w_p＝1；则根据公式计算得到人脸样本图像的多维度综合质量指标MDQ；

判断得到的MDQ是否大于预设的质量阈值MDQ_t，若MDQ大于质量阈值MDQ_t，则将人脸样本图像替换对应FS值的人脸图片，同时用FQ₂、FPM₂替换FQ₁、FPM₁。

第二方面，本发明提供了一种适用于人脸识别的多维度脸库图片自动更新***，包括：

人脸图片采集模块，用于获取人脸图像；

人脸图片质量计算模块，用于根据人脸图像计算图片质量指标；

人脸图片属性计算模块，用于获取人脸图片的属性指标；

脸库图片更新模块，根据预设阈值，经过比较，判断是否更新脸库对应的人脸图片。

第三方面，本发明提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现上述适用于人脸识别的多维度脸库图片自动更新方法。

第四方面，本发明提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现上述适用于人脸识别的多维度脸库图片自动更新方法。

相对于现有技术，本发明所述的方法具有以下优势：

精准性：本方法建立了脸库图片的多维度指标体系，主要为人脸图片场景值FS、人脸图片质量FQ、人脸属性值FP三大指标，具体包含3大类和10多项特征值，实现脸库图片自动更新在周期和质量方面的正确性和科学性，同时保证了高识别率。

通用性：本方法未将特殊设备作为前置条件，覆盖了拍照、摄像、人证对比等常见的业务场景，适用于目前市场上大部分业务***中人脸识别模块对接使用。

可控性：本方法可设置脸库图片更新模块中人脸最小更新周期值t，或者选择关闭脸库图片更新模块且同时不会影响人脸的采集和识别功能，从而减少对业务***的性能消耗。

附图说明

构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是本发明实施例提供的多维度人脸图片自动更新***的示意性结构图。

图2是本发明实施例提供的多维度人脸图片自动更新方法的流程图。

具体实施方式

下面将结合附图和具体实施例对本发明实施例中的技术方案做进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明实施例提供的多维度人脸图片自动更新***可以至少包括：1个人脸图片采集模块、1个人脸图片质量计算模块、1个人脸图片属性计算模块、1个脸库图片更新模块。应当注意，图1所示的***功能模块和结构只是示例性的，而非限制性的，根据需要，所述***也可以具有其他功能模块和结构。

所述脸库图片更新模块可以进行设定人脸更新间隔最小间隔时长t(比如1月、1年的毫秒数)、是否开启自动更新、是否异步处理等多项参数配置。

下面以支持人脸的手机拍照识别、摄像头监控识别、身份证核验是否开启自动更新、是否异步处理等多项参数配置的业务***为例，将结合图2描述根据本发明实施例的多维度人脸图片自动更新方法。

在一个实施例中，首先，需要在***中建立脸库图片的多维度指标体系及数据结构，多维度指标体系主要分为人脸图片场景值FS、人脸图片质量FQ、人脸属性值FP三大指标。

1)建立指标FS的数据结构，在***中设定动态识别FS_L、静态识别FS_M、人证对比FS_H等三大分类。

动态识别FS_L(比如视频，质量要求等级为low)、静态识别FS_M(比如生活照，质量要求等级为middle)、人证对比FS_H(比如证件照，质量要求等级为high)

2)建立指标FQ数据结构，具体包括图片中人脸的光线L、模糊F、遮挡O、角度R、表情E、人脸占比P、背景C等七个特征，这些特征的实际值通过线性变化标准化到[0,1]区间，在***中设定各个特征值所占权重为w_i，0<w_i<1(1≤i≤7)，设定其标准最低值为FQ₀，则FQ的计算公式为：

FQ＝w₁L+w₂F+w₃O+w₄R+w₅E+w₆P+w₇C

标准最低值为FQ₀是由***设定的前述七个特征的标准值及权重计算得出；

3)建立指标FP数据结构，具体包括采集时间T(毫秒数)、年龄A(毫秒数)、性别

活体值

等4个特征，记为矩阵

4)基于上述指标数据结构，建立人脸数据库及其结构。

***通过人脸图片采集模块登记人初始状态的人脸图片及其场景值FS；具体方法为，例如，在一个实施例中，用户在***中首次进行人脸注册时，首先用户使用智能手机拍照向***上传场景值为静态识别的“人脸图片FS_L”；接着用户在智能监控摄像头下进行正常行走，***自动获取场景值为动态识别的“人脸图片FS_M”；然后用户使用身份证及其读卡器进行人证核验，核验成功后***自动将读取的身份证电子照片(含人脸)获取为“人脸图片FS_H”；最后用户在***中输入包括出生日期、性别等其他注册信息。

***将上述信息记录为“人脸图片FS_L”、“人脸图片FS_M”、“人脸图片FS_H”，依次分别对应FS指标中的FS_L、FS_M、FS_H，按FS分类保存三张人脸图片；

***将用户的出生日期转换为年龄记录为A₀、性别记录为S₀，同时***将本次采集的时间记录为T₀和活体记录为B₀，根据

计算出矩阵数据FPM₀并保存。

在一个实施例中，***通过人脸识别引擎和人脸图片质量计算模块获取指标FQ；利用图片质量检测算法及技术，对于“人脸图片FS_L”、“人脸图片FS_M”、“人脸图片FS_H”，分别计算出FQ_L、FQ_M、FQ_H；将FQ_L、FQ_M、FQ_H分别与FQ₀进行相减，若计算结果小于0，要求使用对应方式重新获取用户照片；若计算结果大于等于0，则按FS分类保存FQ_L、FQ_M、FQ_H；

再次，通过人脸识别引擎和人脸属性计算模块获取指标FPM；具体方法为，利用人脸识别算法及技术，对于“人脸图片FS_L”、“人脸图片FS_M”、“人脸图片FS_H”，分计算出FPM_L、FPM_M、FPM_H；将FPM_L、FPM_M、FPM_H分别与FPM₀进行相减，计算结果记为

根据公式

若FP等于0，要求使用对应方式重新获取用户照片或者要求用户检查注册信息是否有误并修改正确，即重新进行步骤2；若FP等于1，则按FS分类保存FPM_L、FPM_M、FPM_H。

例如将“人脸图片FS_L”进行计算获取FQ_L，判断FQ_L值是否合格，若FQ_L小于FQ_0，则提示用户重新使用智能手机拍照向***上传场景值为静态识别的“人脸图片FS_L”；反之，则由***进一步通过人脸识别引擎和人脸属性计算模块将“人脸图片FS_L”进行计算获取FPM_L，由FPM_L减去FPM₀计算得出FP_L，判断FP_L值是否合格，若FP_L等于0_，则提示用户重新使用智能手机拍照向***上传场景值为静态识别的“人脸图片FS_L”；若FP_L等于1，则在人脸数据库中保存该用户的“人脸图片FS_L”及其FQ_L、FPM_L。

在一个实施例中，***通过人脸识别引擎和人脸图片质量计算模块将“人脸图片FS_M”进行计算获取FQ_M，判断FQ_M值是否合格，若FQ_M小于FQ_0，则提示用户重新使用智能手机拍照向***上传场景值为静态识别的“人脸图片FS_M”；反之，则由***进一步通过人脸识别引擎和人脸属性计算模块将“人脸图片FS_M”进行计算获取FPM_M，由FPM_M减去FPM₀计算得出FP_M，判断FP_M值是否合格，若FQ_M等于0_，则提示用户重新使用智能手机拍照向***上传场景值为静态识别的“人脸图片FS_M”；若FQ_M等于1，则在人脸数据库中保存该用户的“人脸图片FS_M”及其FQ_M、FPM_M。

在一个实施例中，***通过人脸识别引擎和人脸图片质量计算模块将“人脸图片FS_H”进行计算获取FQ_H，判断FQ_H值是否合格，若FQ_H小于FQ_0，则提示用户重新使用智能手机拍照向***上传场景值为静态识别的“人脸图片FS_H”；反之，则由***进一步通过人脸识别引擎和人脸属性计算模块将“人脸图片FS_H”进行计算获取FPM_H，由FPM_H减去FPM₀计算得出FP_H，判断FP_H值是否合格，若FQ_H等于0_，则提示用户重新使用智能手机拍照向***上传场景值为静态识别的“人脸图片FS_H”；若FQ_H等于1，则在人脸数据库中保存该用户的“人脸图片FS_H”及其FQ_H、FPM_H。

在一个实施例中，***在之后的运行过程中，每当***的人脸图片采集模块通过录像或拍照或者人证对比获取了某用户的一张人脸图片(以下简称“样本图片”)，记录人脸图片场景值FS(录像场景则记为FS＝FS_L或拍照场景则记为FS＝FS_M或人证对比场景则记为FS＝FS_H)，记录采集时间为T，并将参数向下传递给其他功能模块(即脸库图片更新模块)。

***的脸库图片更新模块通过FS值获取对应根据FS的值(FS_L、FS_M或FS_H)，从***人脸数据库中获取同一用户的与前述FS等级对应的“脸库图片”集合，将样本图片进行1:N查找比对，若对比识别成功，***进一步获取被识别的脸库图片的对应的FQ、FPM两个指标值，记为FQ₁、FPM₁；

***的人脸图片质量计算模块和人脸属性计算模块将接收到的“样本图片”、FS数据后，利用图片质量检测算法及技术，计算出“样本图片”的图片质量，记为FQ₂；利用人脸识别技术，计算出“样本图片”的人脸属性值，记为FPM₂；

在一个实施例中，***获取设定的人脸更新间隔最小间隔时长t、人脸采集时间T所占权重w_t以及人脸年龄A权重w_a；用FPM₁减去FPM₂的计算结果为人脸属性值FP，即用FPM₁减去FPM₂的计算结果为

则人脸属性值

***获取设定的人脸图片质量FQ的评估权重w_q以及人脸属性FP的评估权重w_p；则根据公式

MDQ＝w_q×(FQ₂-FQ₁)+w_p×FP

计算得到人脸样本图片多维度综合质量指标MDQ。

若MDQ大于***设置的质量阈值MDQ_t，则脸库图片更新模块将“样本图片”替换对应FS值的“脸库图片”，同时用FQ₂、FPM₂替换FQ₁、FPM₁；反之，不做任何更新处理。

注意的是，所述人脸图片采集模在用户注册时若因用户自身原因或者设备条件不足等，导致无法完成动态识别、静态识别、人证对比全部三项数据的采集，则可以将其中任意一项采集值(包括图片、FQ值和FP值)同时存储为其他两项。

本发明实施例可实现适用于人脸识别的多维度脸库图片自动更新方法，为提升人脸识别结果的准确性提供基础。

具体实施时，所述脸库图片更新模块可以不运行；也可以选择在人脸属性计算模块之后同步执行，或者利用分布式架构或者定时任务形成异步执行；以此减少对业务***的性能消耗。

另一实施例公开了与上述公开的适用于人脸识别的多维度脸库图片自动更新方法的***，为该方法对应的虚拟装置结构，包括：

人脸图片采集模块，用于获取人脸图像；

人脸图片质量计算模块，用于根据人脸图像计算图片质量指标；

人脸图片属性计算模块，用于获取人脸图片的属性指标；

脸库图片更新模块，根据预设阈值，经过比较，判断是否更新脸库对应的人脸图片。

另一实施例公开了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述适用于人脸识别的多维度脸库图片自动更新方法。

另一实施例公开了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述适用于人脸识别的多维度脸库图片自动更新方法。

通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random AccessMemory，RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台电子设备(可以是手机，个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

值得注意的是，上述适用于人脸识别的多维度脸库图片自动更新方法***实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。

对于实施例公开的***而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明。在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

以上所述，仅为本发明的具体实施方式或对具体实施方式的说明，本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。本发明的保护范围应以权利要求的保护范围为准。

Claims (9)

1.适用于人脸识别的多维度脸库图片自动更新方法，其特征在于，包括如下步骤：

S1，建立脸库图片的多维度指标体系；

S2，用户注册时获取用户人脸图像和用户注册信息，通过计算得到对应指标体系的各指标值，将人脸图像以及指标值进行存储；

S3，当再次获得某用户的人脸样本图像后，计算对应的指标值并与之前存储的指标值进行比较，若满足阈值范围则更新对应用户的人脸图像及指标值，若未满足阈值范围则不作任何处理。

2.根据权利要求1所述的方法，其特征在于：步骤S1中的多维度指标体系包括人脸图片场景值FS、人脸图片质量FQ和人脸属性值FP；

所述人脸图片场景值FS包括动态识别FS_L、静态识别FS_M和人证对比FS_H，对应通过至少一种数据采集装置获取的三张人脸图片，记为人脸图片FS_L、人脸图片FS_M、人脸图片FS_H；

所述人脸图片质量FQ包括多个指标值，利用图片质量检测算法对人脸图片FS_L、人脸图片FS_M、人脸图片FS_H进行计算，得到FQ_L、FQ_M、FQ_H；

所述人脸属性值FP包括采集时间T、年龄A、性别S和活体值B，记为矩阵

3.根据权利要求2所述的方法，其特征在于：所述指标FQ包括人脸图片中人脸的光线L、模糊F、遮挡O、角度R、表情E、人脸占比P、背景C七个特征，这些特征的实际值通过线性变化标准化到[0,1]区间，设定各个特征值所占权重为w_i，0<w_i<1(1≤i≤7)，则FQ的计算公式为

FQ＝w₁L+w₂F+w₃O+w₄R+w₅E+w₆P+w₇B

设定其标准最低值为FQ₀，由***设定的前述七个特征的标准值及权重计算得出。

4.根据权利要求2所述的方法，其特征在于：在步骤S2中，用户注册时，通过拍视频、照相、身份证读卡器三种方式获取用户的三张清晰人脸图片分别记为FS指标中的FS_L、FS_M、FS_H；

通过用户填写的出生日期转换为年龄记为A₀、性别S₀，同时自动将该次采集时间记为T₀和活体为B₀，记为FPM₀；

将FQ_L、FQ_M、FQ_H分别与标准最低值FQ₀进行相减，若计算结果小于0，则使用对应方式重新获取对应人脸图像；若计算结果大于等于0，则按FS分类保存FQ_L、FQ_M、FQ_H；

将FPM_L、FPM_M、FPM_H分别与FPM₀进行相减，计算结果记为

根据公式

若FP等于0，要求使用对应方式重新获取用户人脸图像或者用户检查注册信息是否有误并修改正确；若FP等于1，则按FS分类保存FPM_L、FPM_M、FPM_H。

5.根据权利要求2所述的方法，其特征在于：步骤S3中的计算对应的指标值并与之前存储的指标值进行比较的具体步骤如下：

获得某用户的人脸样本图像后，记录FS指标以及FP指标中的采集时间T；

计算出人脸样本图像的图片质量，记为FQ₂，计算人脸属性值，记为FPM₂；

根据FS指标值获取同一用户的之前存储的对应的FQ、FPM两个指标值，记为FQ₁、FPM₁；获取预设的人脸更新间隔最小间隔时长t、人脸采集时间T所占权重w_t以及人脸年龄A权重w_a，w_t+w_a＝1；用FPM₁减去FPM₂的计算结果为

则人脸属性值

获取***设定的人脸图片质量FQ的评估权重w_q以及人脸属性FP的评估权重w_p，w_q+w_p＝1；则根据公式

MDQ＝w_q×(FQ₂-FQ₁)+w_p×FP

计算得到人脸样本图像的多维度综合质量指标MDQ；

判断得到的MDQ是否大于预设的质量阈值MDQ_t，若MDQ大于质量阈值MDQ_t，则将人脸样本图像替换对应FS值的人脸图片，同时用FQ₂、FPM₂替换FQ₁、FPM₁。

6.根据权利要求2所述的方法，其特征在于：若在用户注册时，无法完成动态识别、静态识别、人证对比全部三项数据的采集时，则可以将其中任意一项采集值同时存储为其他两项。

7.适用于人脸识别的多维度脸库图片自动更新***，其特征在于：

人脸图片采集模块，用于获取人脸图像；

人脸图片质量计算模块，用于根据人脸图像计算图片质量指标；

人脸图片属性计算模块，用于获取人脸图片的属性指标；

脸库图片更新模块，根据预设阈值，经过比较，判断是否更新脸库对应的人脸图片。

8.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1-6中任一项所述方法的步骤。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1至6中任一项所述方法的步骤。

Images