CN113255472A - 一种基于随机嵌入稳定性的人脸质量评价方法及*** - Google Patents

一种基于随机嵌入稳定性的人脸质量评价方法及*** Download PDF

Info

Publication number
CN113255472A
CN113255472A CN202110494692.XA CN202110494692A CN113255472A CN 113255472 A CN113255472 A CN 113255472A CN 202110494692 A CN202110494692 A CN 202110494692A CN 113255472 A CN113255472 A CN 113255472A
Authority
CN
China
Prior art keywords
face
neural network
layer
quality evaluation
face recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110494692.XA
Other languages
English (en)
Other versions
CN113255472B (zh
Inventor
李阳
罗鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Ruixin High Throughput Technology Co ltd
Original Assignee
Beijing Ruixin High Throughput Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Ruixin High Throughput Technology Co ltd filed Critical Beijing Ruixin High Throughput Technology Co ltd
Priority to CN202110494692.XA priority Critical patent/CN113255472B/zh
Publication of CN113255472A publication Critical patent/CN113255472A/zh
Application granted granted Critical
Publication of CN113255472B publication Critical patent/CN113255472B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • G06T3/147—Transformations for image registration, e.g. adjusting or mapping for alignment of images using affine transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种基于随机嵌入稳定性的人脸质量评价方法及***，其中方法是通过嵌入到人脸识别神经网络中，并在进行人脸识别过程的同时得到人脸质量评价分数，具体为：步骤1：将视频流中的每一图像帧按照预设规则进行抽帧；步骤2：对任一图像帧进行人脸检测并对检测到的人脸进行裁剪对齐，得到人脸图像；步骤3：将人脸图像输入到第一神经网络，得到对应的人脸特征；步骤4：将人脸特征输入到第二神经网络，得到n个随机特征；步骤5：将n个随机特征两两组合得到不同的随机特征对，根据特征对计算人脸质量评价分数；步骤6：将步骤3的人脸特征输入第三神经网络得到人脸识别特征，以用于后续人脸识别或比对的过程。

Description

一种基于随机嵌入稳定性的人脸质量评价方法及***
技术领域
本发明涉及人脸识别与评价领域，具体而言，涉及一种基于随机嵌入稳定性的人脸质量评价方法及***。
背景技术
人脸识别技术是安防监控领域的重要内容之一，图1为现有人脸识别***架构图，如图1所示，一般而言，人脸识别***主要由人脸检测、人脸对齐、人脸质量评价与人脸识别四部分组成。人脸质量评价是人脸识别***中的重要组成部分之一，用于评价一张人脸图像的成像质量以及该图像是否可以用于人脸识别，其意义在于：1)低质量的人脸图像会降低人脸识别***的识别率和可靠性，人脸识别***会受到光照、分辨率、模糊、姿态、遮挡等因素的干扰，算法和用户都很难从低质量的图像中有效辨识人脸图像的身份信息；2)人脸识别***的计算代价往往较大，大量的低质量的人脸图像会显著降低人脸识别***的运算性能，人脸质量评价***可以从视频流中筛选出最佳的人脸图像送入识别模块，从而提高人脸识别***的整体运行速度；3)人脸识别***需要为用户保留高质量的陌生人图像，人脸质量评价***能否得到清晰、可辨识的人脸图像，决定了***的可用性；4)人脸质量评价可以衡量人脸识别结果的可靠性。
目前，部分人脸质量评价采用基于监督学习的人脸质量评价方法，其通过构建一个人工标注的数据集，利用神经网络对人脸质量进行评价。其首先，需要采集大量的不同的人脸图像构建人脸质量评价的训练集；然后，需要多个标注人员对人脸图像的质量进行主观打分，打分的结果经过处理作为训练集的标签；再利用各种卷积神经网络或是其他的特征提取方法，对训练集中的人脸图像进行特征提取；最后，使用卷积神经网络的全连接层(FullyConnectedLayer)或者机器学习中的线性回归、逻辑回归等方法，获得连续的分数。但是，依靠人的主观判断对人脸图片进行评估会存在很大的偏差，很难找到统一的足够清晰明确的评价标准，让不同的人在评价人脸图像质量时给出相同的分数。因此，通过这样得到的标注不够可靠，不具有普适性，基于此数据集训练的算法也就不够稳定可靠。另外，人脸质量评价的训练集，需要包含各种情况下的不同的人脸图像，图像的采集和标注费时费力，同时，通过这种技术得到的图像质量分数往往符合人的主观判断，但是不一定满足人脸识别模型的判断标准，算法与人主观对人脸图像质量的评价标准可能不一致，人主观觉得高质量的人脸图像，识别算法的结果可能不一定认为稳定可靠。此外，为了保持识别模型与质量评价模型的数据分布一致，针对不同的人脸识别模型，需要训练不同的人脸质量评价模型，训练的耗时耗力。
还有一部分人脸质量评价采用基于人脸图像特征的人脸质量评价方法，其通过综合考虑人脸的多种不同特征，设计不同的算法分别为人脸图像的多种不同特征(如：欧拉角、模糊度、遮挡度等)打分，最后通过加权求和，得到人脸质量的最终评分。其中，人脸欧拉角可以通过人脸检测到的关键点得到，模糊度可以通过计算拉普拉斯算子计算，遮挡度可以通过神经网络判断，根据不同的需求，为上述多个特征设计不同的权重，加权求和得到最终的人脸质量得分，权重越高说明该因素对人脸质量评价的结果越重要。但是，人脸欧拉角的计算首先需要人脸检测模块得到的人脸关键点，若没有人脸关键点，则无法计算人脸欧拉角。而光照、模糊度、人脸姿态、人脸遮挡等分数需要多种图像算法对其进行计算，根据需求选择不同的算法，这些计算会带来大量的计算代价，并且如何选择合适的算法对其进行计算，也是一个难点。不同算法得到的不同人脸特征的量纲并不相同，如何对这些结果进行归一化及加权运算，也是一个难点。另外，通过该技术计算得到的人脸质量分数，与人脸识别模型的计算结果并不直接相关，人脸质量的分数的高低，并不意味这人脸识别的结果可靠与否。
发明内容
为了解决上述问题，本发明提供一种基于随机嵌入稳定性的人脸质量评价方法及***，用以覆盖遮挡、姿态、光照、分辨率、模糊度等干扰因素，获得稳定可靠的人脸质量评价分数，且无需构建需人工标注的训练集，避免了人工标注不准确、标注标准不明确的问题。另外，本发明的算法设计，可以减少人脸质量评价模型的训练过程，避免在计算人脸质量过程中的先验知识，同时，得到的最终结果能够较好地解释人脸质量评价与人脸识别结果的相关性。
为达到上述目的，本发明提供了一种基于随机嵌入稳定性的人脸质量评价方法，将其嵌入到人脸识别神经网络中，并在进行人脸识别过程的同时得到人脸质量评价分数，具体包括以下步骤：
步骤1：获取监控摄像机采集到的视频流，并将视频流中的每一图像帧按照预设规则进行抽帧；
步骤2：对抽取的任一图像帧进行人脸检测，并通过仿射变换的方式对检测到的人脸进行裁剪对齐，得到对齐后尺寸固定的人脸图像I；
步骤3：将得到的人脸图像I输入到第一神经网络，得到对应的人脸特征X(I)；
步骤4：将得到的人脸特征X(I)输入到第二神经网络，经过n次随机特性计算，得到n个随机特征xi(i＝1,2,……n)；
步骤5：将得到的n个随机特征xi(i＝1,2,……n)两两组合，得到
Figure BDA0003053792220000031
个不同的随机特征对(xi，xj)，并根据特征对(xi，xj)计算人脸质量评价分数，其中，i＝1,2,……n，j＝1,2,……n；
步骤6：将步骤3中得到的人脸特征X(I)输入第三神经网络，得到人脸识别特征，以用于后续人脸识别或比对的过程。
在本发明一实施例中，其中，步骤1所采取的抽帧规则具体为每10帧图像抽取一帧。
在本发明一实施例中，其中，步骤2中进行人脸检测所采用的算法为RetinaFace人脸检测算法。
在本发明一实施例中，其中，步骤5中根据特征对(xi，xj)计算人脸质量评价分数具体为按照如下公式计算：
Figure BDA0003053792220000041
式中，q为人脸质量评价分数，σ表示Sigmoid函数，d(·)表示欧氏距离。
在本发明一实施例中，其中，所述第一神经网络、所述第二神经网络和所述第三神经网络为所述人脸识别神经网络的子网络，所述人脸识别神经网络为残差网络，其包括第一层、第二层、第三层、第四层和归一化与全连接层，所述第一层、所述第二层、所述第三层与所述第四层均包括多个神经网络残差块，每个神经网络残差块包括卷积核、残差块归一化层与激活函数，其中：
所述第一神经网络由所述人脸识别神经网络的所述第一层、所述第二层、所述第三层和所述第四层组成，并且所述第一神经网络的权重参数与所述人脸识别神经网络的权重参数相同；
所述第二神经网络包括第一归一化层、Dropout层和第一全连接层，其中，所述第一归一化层和所述第一全连接层的权重参数继承自所述人脸识别神经网络，所述Dropout层包括一超参数，用于指定随机丢弃神经元的概率；
所述第三神经网络包括第二归一化层和第二全连接层，其中，所述第二归一化层和所述第二全连接层的权重参数继承自所述人脸识别神经网络。
为达到上述目的，本发明提供了一种基于随机嵌入稳定性的人脸质量评价***，其嵌入到人脸识别神经网络中，用于在进行人脸识别过程的同时得到人脸质量评价分数，其包括：
视频图像预处理模块，用于对输入的视频流进行预处理，所述预处理包括对视频流抽取图像帧、对图像帧进行人脸检测与裁剪对齐；
第一神经网络模块，与所述视频图像预处理模块连接，用于提取人脸特征；
第二神经网络模块，与所述第一神经网络模块连接，用于计算人脸质量评价分数；
第三神经网络模块，与所述第一神经网络模块连接，用于获取人脸识别特征。
在本发明一实施例中，其中，所述第一神经网络模块包括多个神经网络残差块，每个神经网络残差块包括卷积核、残差块归一化层、池化层与激活函数。
在本发明一实施例中，其中，所述第二神经网络模块包括第一归一化层、Dropout层和第一全连接层，其中，所述Dropout层包括一超参数，用于指定随机丢弃神经元的概率。
在本发明一实施例中，其中，所述第三神经网络模块包括第二归一化层和第二全连接层。
与现有技术相比，本发明具有以下优点：
1)本发明所采用的人脸质量评价方法和***可以嵌入到大部分的现有人脸识别模型中，能够在进行人脸识别的同时，得到人脸特征和人脸质量评价分数，节省整个人脸识别的计算用时，也不需要针对人脸质量评价任务重新训练神经网络；
2)本发明无需构建人脸质量评价训练集，也不需要对人脸图像进行人工主观标注，是一种无参考人脸质量评价方法；
3)本发明覆盖了光照、模糊度、姿态等多种人脸识别的常见干扰因素，不需要对这些因素分别设计算法进行抗干扰处理；
4)本发明计算得到的人脸质量评价分数，可视为对人脸识别结果可靠性的衡量标准，人脸质量评价的分数越高，则人脸识别结果越可靠，二者具有一定的相关性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为现有人脸识别***架构图；
图2为本发明一实施例人脸质量评价方法的流程图；
图3为本发明一实施例的神经网络示意图；
图4为本发明一实施例人脸质量评价***的架构图。
附图标记说明：Net 1-第一神经网络；Net 2-第二神经网络；Net 3-第三神经网络；ResNet 50-人脸识别神经网络；Layer1-第一层；Layer2-第二层；Layer3-第三层；Layer4-第四层；BatchNorm-归一化层；FullyConnected-全连接层401-视频图像预处理模块；402-第一神经网络模块；403-第二神经网络模块；404-第三神经网络模块。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
人脸图像质量评价(Image Quality Assessment，IQA)从方法上可以分为主观评价与客观评价。所谓主观评价就是从人的主观感知来评价图像的质量，其具体过程需首先给出原始参考图像和失真图像，让标注者给失真图像评分；所谓客观评价是通过使用数学模型给出量化值，其可以使用图像处理技术生成一批失真图像。另外，根据是否包含原始参考图像，又可以将客观评价分为全参考(Full Reference，FR)、部分参考(Reduced-reference/Partial-reference，RR)和无参考(No-Reference，NR)三种类型。其中，全参考的评价方法需要参考原始图像上的每个像素点，才能得出图像质量；无参考的评价方法则只需利用失真图像进行质量评价，其难度更高；而半参考的评价方法介于全参考与无参考两者之间，其需要原始参考图像的部分信息，或者从原始图像中提取的部分特征。本发明实施例所采用的评价方法与***均属于无参考人脸图像质量评价(No-Reference ImageQuality Assessment，NRIQA)，可普遍应用于视频监控场景下，对监控摄像头抓拍的人脸图像的质量进行评价打分，从而筛选出高质量的人脸图像，以用于后续对人脸进行识别或比对的过程。
实施例一
图2为本发明一实施例人脸质量评价方法的流程图，如图2所示，本实施例提供了一种基于随机嵌入稳定性的人脸质量评价方法，将其嵌入到人脸识别神经网络中，并在进行人脸识别过程的同时得到人脸质量评价分数，具体包括以下步骤：
步骤1：获取监控摄像机采集到的视频流，并将视频流中的每一图像帧按照预设规则进行抽帧；
在本实施例中，其中，步骤1所采取的抽帧规则具体为每10帧图像抽取一帧，在其他实施例中，也可以采取其他数量的抽帧间隔进行抽帧，本发明不对抽帧间隔数进行限定。
步骤2：对抽取的任一图像帧进行人脸检测，并通过仿射变换的方式对检测到的人脸进行裁剪对齐，得到对齐后尺寸固定的人脸图像I；本实施例中所说的固定尺寸为112像素×112像素，在其他实施例中也可以根据需求裁剪对齐为其他尺寸，本发明不对其进行限定。
在本实施例中，其中，步骤2中进行人脸检测所采用的算法为RetinaFace人脸检测算法。RetinaFace人脸检测算法是2019年5月份由insightFace算法的开发者开发的一款基于one-stage的开源人脸检测算法，相较于基于two-stage的检测算法，RetinaFace人脸检测算法最大的优点就是检测的速度不受人脸数量的限制。
步骤3：将得到的人脸图像I输入到第一神经网络，得到对应的人脸特征X(I)；
步骤4：将得到的人脸特征X(I)输入到第二神经网络，计算随机特性(stochasticembedding)，这一计算过程需要重复n次，从而得到n个随机特征xi(i＝1,2,……n)；
步骤5：将得到的n个随机特征xi(i＝1,2,……n)两两组合，得到
Figure BDA0003053792220000081
个不同的随机特征对(xi，xj)，并根据特征对(xi，xj)计算人脸质量评价分数，其中，i＝1,2,……n，j＝1,2,……n；
在本实施例中，其中，步骤5中根据特征对(xi，xj)计算人脸质量评价分数具体为按照如下公式计算：
Figure BDA0003053792220000082
式中，q为人脸质量评价分数，σ表示Sigmoid函数，d(·)表示欧氏距离。
步骤6：将步骤3中得到的人脸特征X(I)输入第三神经网络，得到人脸识别特征，以用于后续人脸识别或比对的过程。
图3为本发明一实施例的神经网络示意图，如图3所示，在本实施例中，其中，第一神经网络(Net 1)、第二神经网络(Net 2)和第三神经网络(Net 3)为人脸识别神经网络(ResNet 50)的子网络，本实施例的人脸识别神经网络(ResNet 50)为残差网络(ResidualNetwork)，其包括第一层(Layer1)、第二层(Layer2)、第三层(Layer3)、第四层(Layer4)和归一化与全连接层(BatchNorm FullyConnected)五部分，其中每个Layer即第一层(Layer1)、第二层(Layer2)、第三层(Layer3)与第四层(Layer4)均包括多个神经网络残差块(ResidualBlock)，每个神经网络残差块(ResidualBlock)包括卷积核(Convs)、残差块归一化层(BatchNorm)与激活函数(Relu)等，其中：
第一神经网络(Net 1)由人脸识别神经网络(ResNet 50)的前四层即第一层(Layer1)、第二层(Layer2)、第三层(Layer3)和第四层(Layer4)组成，并且第一神经网络(Net 1)的权重参数与人脸识别神经网络(ResNet 50)的权重参数相同；
第二神经网络(Net 2)是一个三层网络，其包括归一化层(BatchNorm)、Dropout层(Dropout，也就是被拿掉的意思，在神经网络层中实现拿掉部分神经元的功能)和全连接层(FullyConnected)，其中，归一化层(BatchNorm)和全连接层(FullyConnected)的权重参数继承自人脸识别神经网络(ResNet 50)，Dropout层(Dropout)包括一超参数，用于指定随机丢弃神经元的概率；在本实施例中，Dropout层(Dropout)无需权重参数，仅需要一超参数p，Dropout层的作用是随机丢弃神经网络中的一部分神经元，从而产生随机性。因此，在第二神经网络(Net 2)中引入Dropout层(Dropout)的目的就是为了测试神经网络对输出特征的鲁棒性，鲁棒性越高，则相应的输入图像质量就越佳。
第三神经网络(Net 3)与人脸识别神经网络(ResNet 50)的归一化与全连接层(BatchNorm FullyConnected)相同，其包括归一化层(BatchNorm)和全连接层(FullyConnected)，其中，第三神经网络(Net 3)的归一化层(BatchNorm)和全连接层(FullyConnected)的权重参数继承自人脸识别神经网络(ResNet 50)。
本实施例与使用一个独立的人脸质量评价神经网络来评价打分的方案相比，可以节约大量计算代价，减少***运行时间，并且本实施例属于无参考图像质量评价方案，在进行人脸质量评价打分时无需考虑分辨率、模糊度、遮挡、噪声、姿态、光照等干扰因素对评价结果的影响。另外，再如图1所示，本实施例所采用的评价方法与人脸识别模型存在一定的相关性，其可以通过设定阈值来判断人脸识别结果的可靠性，人脸质量评分越高说明图像质量越高，越有利于人脸识别模型判断人物的身份，也就是说人脸识别结果越可靠。
实施例二
图4为本发明一实施例人脸质量评价***的架构图，如图4所示，本实施例提供了一种基于随机嵌入稳定性的人脸质量评价***，其嵌入到人脸识别神经网络中，用于在进行人脸识别过程的同时得到人脸质量评价分数，其包括：
视频图像预处理模块(401)，用于对输入的视频流进行预处理，所述预处理包括对视频流抽取图像帧、对抽取的图像帧进行人脸检测及对检测到的人间进行裁剪对齐；
第一神经网络模块(402)，与视频图像预处理模块(401)连接，用于提取人脸特征；
第二神经网络模块(403)，与第一神经网络模块(402)连接，用于计算人脸质量评价分数；
第三神经网络模块(404)，与第一神经网络模块(402)连接，用于获取人脸识别特征。
在本实施例中，其中，第一神经网络模块(402)为人脸识别神经网络的一子网络，其包括多个神经网络残差块，每个神经网络残差块包括卷积核(Conv)、残差块归一化层(BatchNorm)、池化层(Pooling)与激活函数(Relu)等。
在本实施例中，其中，第二神经网络模块(403)为人脸识别神经网络的又一子网络，其包括归一化层(BatchNorm)、Dropout层(Dropout)和全连接层(FullyConnected)等，其中，Dropout层(Dropout)包括一超参数，用于指定随机丢弃神经元的概率。
在本实施例中，其中，第三神经网络模块(404)为人脸识别神经网络的另一子网络，其包括归一化层(BatchNorm)和全连接层(FullyConnected)等。
本发明各实施例所采用的基于随机嵌入稳定性的人脸质量评价方法及***与现有技术相比，具有以下优点：
1)本发明所采用的人脸质量评价方法和***可以嵌入到大部分的现有人脸识别模型中，能够在进行人脸识别的同时，得到人脸特征和人脸质量评价分数，节省整个人脸识别的计算用时，也不需要针对人脸质量评价任务重新训练神经网络；
2)本发明无需构建人脸质量评价训练集，也不需要对人脸图像进行人工主观标注，是一种无参考人脸质量评价方法；
3)本发明覆盖了光照、模糊度、姿态等多种人脸识别的常见干扰因素，不需要对这些因素分别设计算法进行抗干扰处理；
4)本发明计算得到的人脸质量评价分数，可视为对人脸识别结果可靠性的衡量标准，人脸质量评价的分数越高，则人脸识别结果越可靠，二者具有一定的相关性。
本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。
本领域普通技术人员可以理解：实施例中的装置中的模块可以按照实施例描述分布于实施例的装置中，也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。

Claims (9)

1.一种基于随机嵌入稳定性的人脸质量评价方法，其特征在于，将其嵌入到人脸识别神经网络中，并在进行人脸识别过程的同时得到人脸质量评价分数，具体包括以下步骤：
步骤1：获取监控摄像机采集到的视频流，并将视频流中的每一图像帧按照预设规则进行抽帧；
步骤2：对抽取的任一图像帧进行人脸检测，并通过仿射变换的方式对检测到的人脸进行裁剪对齐，得到对齐后尺寸固定的人脸图像I；
步骤3：将得到的人脸图像I输入到第一神经网络，得到对应的人脸特征X(I)；
步骤4：将得到的人脸特征X(I)输入到第二神经网络，经过n次随机特性计算，得到n个随机特征xi(i＝1,2,……n)；
步骤5：将得到的n个随机特征xi(i＝1,2,……n)两两组合，得到
Figure FDA0003053792210000011
个不同的随机特征对(xi，xj)，并根据特征对(xi，xj)计算人脸质量评价分数，其中，i＝1,2,……n，j＝1,2,……n；
步骤6：将步骤3中得到的人脸特征X(I)输入第三神经网络，得到人脸识别特征，以用于后续人脸识别或比对的过程。
2.根据权利要求1所述的人脸质量评价方法，其特征在于，步骤1所采取的抽帧规则具体为每10帧图像抽取一帧。
3.根据权利要求1所述的人脸质量评价方法，其特征在于，步骤2中进行人脸检测所采用的算法为RetinaFace人脸检测算法。
4.根据权利要求1所述的人脸质量评价方法，其特征在于，步骤5中根据特征对(xi，xj)计算人脸质量评价分数具体为按照如下公式计算：
Figure FDA0003053792210000012
式中，q为人脸质量评价分数，σ表示Sigmoid函数，d(·)表示欧氏距离。
5.根据权利要求1所述的人脸质量评价方法，其特征在于，所述第一神经网络、所述第二神经网络和所述第三神经网络为所述人脸识别神经网络的子网络，所述人脸识别神经网络为残差网络，其包括第一层、第二层、第三层、第四层和归一化与全连接层，所述第一层、所述第二层、所述第三层与所述第四层均包括多个神经网络残差块，每个神经网络残差块包括卷积核、残差块归一化层与激活函数，其中：
所述第一神经网络由所述人脸识别神经网络的所述第一层、所述第二层、所述第三层和所述第四层组成，并且所述第一神经网络的权重参数与所述人脸识别神经网络的权重参数相同；
所述第二神经网络包括第一归一化层、Dropout层和第一全连接层，其中，所述第一归一化层和所述第一全连接层的权重参数继承自所述人脸识别神经网络，所述Dropout层包括一超参数，用于指定随机丢弃神经元的概率；
所述第三神经网络包括第二归一化层和第二全连接层，其中，所述第二归一化层和所述第二全连接层的权重参数继承自所述人脸识别神经网络。
6.一种基于随机嵌入稳定性的人脸质量评价***，其特征在于，嵌入到人脸识别神经网络中，用于在进行人脸识别过程的同时得到人脸质量评价分数，其包括：
视频图像预处理模块，用于对输入的视频流进行预处理，所述预处理包括对视频流抽取图像帧、对图像帧进行人脸检测与裁剪对齐；
第一神经网络模块，与所述视频图像预处理模块连接，用于提取人脸特征；
第二神经网络模块，与所述第一神经网络模块连接，用于计算人脸质量评价分数；
第三神经网络模块，与所述第一神经网络模块连接，用于获取人脸识别特征。
7.根据权利要求6所述的人脸质量评价***，其特征在于，所述第一神经网络模块包括多个神经网络残差块，每个神经网络残差块包括卷积核、残差块归一化层、池化层与激活函数。
8.根据权利要求6所述的人脸质量评价***，其特征在于，所述第二神经网络模块包括第一归一化层、Dropout层和第一全连接层，其中，所述Dropout层包括一超参数，用于指定随机丢弃神经元的概率。
9.根据权利要求6所述的人脸质量评价***，其特征在于，所述第三神经网络模块包括第二归一化层和第二全连接层。
CN202110494692.XA 2021-05-07 2021-05-07 一种基于随机嵌入稳定性的人脸质量评价方法及*** Active CN113255472B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110494692.XA CN113255472B (zh) 2021-05-07 2021-05-07 一种基于随机嵌入稳定性的人脸质量评价方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110494692.XA CN113255472B (zh) 2021-05-07 2021-05-07 一种基于随机嵌入稳定性的人脸质量评价方法及***

Publications (2)

Publication Number Publication Date
CN113255472A true CN113255472A (zh) 2021-08-13
CN113255472B CN113255472B (zh) 2024-05-24

Family

ID=77223849

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110494692.XA Active CN113255472B (zh) 2021-05-07 2021-05-07 一种基于随机嵌入稳定性的人脸质量评价方法及***

Country Status (1)

Country Link
CN (1) CN113255472B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108960087A (zh) * 2018-06-20 2018-12-07 中国科学院重庆绿色智能技术研究院 一种基于多维度评估标准的人脸图像质量评估方法及***
CN110634116A (zh) * 2018-05-30 2019-12-31 杭州海康威视数字技术股份有限公司 一种面部图像评分方法及摄像机

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110634116A (zh) * 2018-05-30 2019-12-31 杭州海康威视数字技术股份有限公司 一种面部图像评分方法及摄像机
CN108960087A (zh) * 2018-06-20 2018-12-07 中国科学院重庆绿色智能技术研究院 一种基于多维度评估标准的人脸图像质量评估方法及***

Also Published As

Publication number Publication date
CN113255472B (zh) 2024-05-24

Similar Documents

Publication Publication Date Title
CN107423690B (zh) 一种人脸识别方法及装置
Khodabakhsh et al. Fake face detection methods: Can they be generalized?
JP6330385B2 (ja) 画像処理装置、画像処理方法およびプログラム
CN104077579B (zh) 基于专家***的人脸表情图像识别方法
CN107341463B (zh) 一种结合图像质量分析与度量学习的人脸特征识别方法
CN107944427B (zh) 动态人脸识别方法及计算机可读存储介质
CN107798279B (zh) 一种人脸活体检测方法及装置
CN111091109A (zh) 基于人脸图像进行年龄和性别预测的方法、***和设备
CN113095156B (zh) 一种基于逆灰度方式的双流网络签名鉴定方法及装置
Zhuang et al. Recognition oriented facial image quality assessment via deep convolutional neural network
CN111259815A (zh) 一种人脸图像质量评估方法、***、设备及介质
CN112633221A (zh) 一种人脸方向的检测方法及相关装置
CN112686258A (zh) 体检报告信息结构化方法、装置、可读存储介质和终端
CN115601807A (zh) 一种适用在线考试***的人脸识别方法及其工作方法
CN113807237B (zh) 活体检测模型的训练、活体检测方法、计算机设备及介质
CN111860056A (zh) 基于眨眼的活体检测方法、装置、可读存储介质及设备
Singh et al. Performance analysis of ELA-CNN model for image forgery detection
CN113255472B (zh) 一种基于随机嵌入稳定性的人脸质量评价方法及***
Méndez-Llanes et al. On the use of local fixations and quality measures for deep face recognition
CN105184244B (zh) 视频人脸检测方法及装置
CN115457620A (zh) 用户表情识别方法、装置、计算机设备及存储介质
CN114038045A (zh) 一种跨模态人脸识别模型构建方法、装置及电子设备
CN113435248A (zh) 口罩人脸识别底库增强方法、装置、设备及可读存储介质
Zhang et al. No-reference image quality assessment based on multi-order gradients statistics
CN114694196A (zh) 活体分类器建立方法、人脸活体检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: Room 711c, 7 / F, block a, building 1, yard 19, Ronghua Middle Road, Beijing Economic and Technological Development Zone, Daxing District, Beijing 102600

Applicant after: Beijing Zhongke Flux Technology Co.,Ltd.

Address before: Room 711c, 7 / F, block a, building 1, yard 19, Ronghua Middle Road, Beijing Economic and Technological Development Zone, Daxing District, Beijing 102600

Applicant before: Beijing Ruixin high throughput technology Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant