CN111862040A - 人像图片质量评价方法、装置、设备及存储介质 - Google Patents

人像图片质量评价方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN111862040A
CN111862040A CN202010698614.7A CN202010698614A CN111862040A CN 111862040 A CN111862040 A CN 111862040A CN 202010698614 A CN202010698614 A CN 202010698614A CN 111862040 A CN111862040 A CN 111862040A
Authority
CN
China
Prior art keywords
face
value
image
portrait picture
evaluated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010698614.7A
Other languages
English (en)
Other versions
CN111862040B (zh
Inventor
黄治移
梅铮
柯于皇
刘妍妍
杨猛
江勇
张媛
李元锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Communications Group Co Ltd
China Mobile Hangzhou Information Technology Co Ltd
China Mobile Information Technology Co Ltd
Original Assignee
China Mobile Communications Group Co Ltd
China Mobile Hangzhou Information Technology Co Ltd
China Mobile Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Communications Group Co Ltd, China Mobile Hangzhou Information Technology Co Ltd, China Mobile Information Technology Co Ltd filed Critical China Mobile Communications Group Co Ltd
Priority to CN202010698614.7A priority Critical patent/CN111862040B/zh
Publication of CN111862040A publication Critical patent/CN111862040A/zh
Application granted granted Critical
Publication of CN111862040B publication Critical patent/CN111862040B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明实施方式涉及图片处理技术领域，公开了一种人像图片质量评价方法、装置、设备及存储介质。本发明中，通过基于能够实现同时对人脸区域检测和人脸关键点检测的MTCNN检测算法，从而能够快速从待评价人像图片中确定人脸大小检测和人脸角度检测所需的人脸区域框，进而大大提高了处理速度；通过采用局部对比度归一化方法对得到的人脸区域框中的人脸图像进行局部归一化处理，从而可以将人脸图像中所有相同灰度的区域均丢弃掉，只突出边缘，并保留待评价人像图片的自然场景特征，使得目标深度卷积神经网络模型能够根据局部归一化处理后的人脸图像更加快速、准确的识别出待评价人像图片的清晰度值和曝光值。

Description

人像图片质量评价方法、装置、设备及存储介质
技术领域
本发明实施方式涉及图片处理技术领域，特别涉及一种人像图片质量评价方法、装置、设备及存储介质。
背景技术
随着各行各业对实名制的要求越来越严格，特别是通信行业的实名制照片稽核将是重中之重。但是，由于现有的图片质量评价方法主要是基于传统的机器学习方法或人为评价方法，这就导致通信行业的实名制照片稽核存在如下问题：
对于传统的机器学习方法，由于其实现是通过设计并提取图片特征，接着对特征进行降维，最后利用分类或回归算法对图片质量进行评价，即方案的实现依赖于特征的设计。因此，对特征设计者的要求较高，需要其本身对该领域有足够深的了解。此外，若特征设计过于复杂(特征设置比像素点还多)，则会面临训练时间长、硬件资源消耗多的问题；若特征设计简单，则会导致质量评价模型泛化能力不强，进而出现对大量数据效果增加不明显的问题。
对于人为评价方法，由于其实现是利用专家经验提取图片质量相关的特征值，然后通过设定阈值或归一化方法对图片质量进行评价。因此，导致图片质量评价结果完全依赖于专家经验，并且应用场景有限。
发明内容
本发明实施方式的目的在于提供一种人像图片质量评价方法、装置、设备及存储介质，旨在解决上述技术问题。
为解决上述技术问题，本发明的实施方式提供了一种人像图片质量评价方法，包括以下步骤：
获取待评价人像图片；
基于多任务卷积网络MTCNN检测算法，确定所述待评价人像图片中的人脸区域，得到人脸区域框；
基于所述人脸区域框对所述待评价人像图片进行人脸大小检测和人脸角度检测，得到人脸大小检测结果和人脸角度检测结果；
基于局部对比度归一化方法对所述人脸区域框中的人脸图像进行局部归一化处理；
将局部归一化处理后的所述人脸图像作为预先训练获得的目标深度卷积神经网络模型的输入参数，基于所述目标深度卷积神经网络模型确定所述待评价人像图片的清晰度值和曝光值；
基于所述人脸大小检测结果、所述人脸角度检测结果、所述清晰度值和所述曝光值，生成所述待评价人像图片的评价结果。
本发明的实施方式还提供了一种人像图片质量评价装置，包括：
获取模块，用于获取待评价人像图片；
第一确定模块，用于基于多任务卷积网络MTCNN检测算法，确定所述待评价人像图片中的人脸区域，得到人脸区域框；
检测模块，用于基于所述人脸区域框对所述待评价人像图片进行人脸大小检测和人脸角度检测，得到人脸大小检测结果和人脸角度检测结果；
处理模块，用于基于局部对比度归一化方法对所述人脸区域框中的人脸图像进行局部归一化处理；
第二确定模块，用于将局部归一化处理后的所述人脸图像作为预先训练获得的目标深度卷积神经网络模型的输入参数，基于所述目标深度卷积神经网络模型确定所述待评价人像图片的清晰度值和曝光值；
评价模块，用于基于所述人脸大小检测结果、所述人脸角度检测结果、所述清晰度值和所述曝光值，生成所述待评价人像图片的评价结果。
本发明的实施方式还提供了一种人像图片质量评价设备，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上文所述的人像图片质量评价方法。
本发明的实施方式还提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现如上文所述的人像图片质量评价方法。
本发明实施方式相对于现有技术而言，在对待评价人像图片进行质量评价时，通过基于能够实现同时对人脸区域检测和人脸关键点检测的MTCNN检测算法，从而能够快速从待评价人像图片中确定人脸大小检测和人脸角度检测所需的人脸区域框，进而大大提高了处理速度。
此外，在确定待评价人像图片的清晰度值和曝光值时，通过采用局部对比度归一化方法对得到的人脸区域框中的人脸图像进行局部归一化处理，基于局部对比度归一化的原理可以将人脸图像中所有相同灰度(也可以说为强度)的区域均丢弃掉，只突出边缘，并保留待评价人像图片的自然场景特征，从而使得目标深度卷积神经网络模型能够根据局部归一化处理后的人脸图像更加快速、准确的识别出待评价人像图片的清晰度值和曝光值。
通过这种方式，在无需设计过多特征的情况下，便可以实现对待评价人像图片的准确评价，同时也避免了传统方法由于评价特征不全面导致覆盖率不高，评价结果不准确的问题。
另外，在所述基于局部对比度归一化方法对所述人脸区域框中的人脸图像进行局部归一化处理之前，所述方法还包括：基于所述目标深度卷积神经网络模型的输入层确定所述人脸图像的缩放比例；按照所述缩放比例对所述人脸区域框中的人脸图像进行缩放。本实施方式通过将人脸图像缩放到目标深度卷积神经网络模型的输入层支持输入的大小，使得整个人脸图像中的全部特征都可以被目标深度卷积神经网络模型识别，从而保证了后续得出的清晰度值和曝光值的准确性。
另外，所述基于局部对比度归一化方法对所述人脸区域框中的人脸图像进行局部归一化处理，包括：对缩放后的所述人脸图像进行二值化处理，得到灰度人脸图像；基于局部对比度归一化方法，计算所述灰度人脸图像中各像素点的归一化值。本实施方式在基于局部对比度归一化方法对人脸区域框中的人脸图像进行局部归一化处理时，通过将人脸图像进行二值化处理，从而将多通道的人脸图像转换为了单通道的人脸图像，从而降低了数据处理量，简化了后续基于局部对比度归一化方法计算人脸图像中各像素点的归一化值的操作。
另外，所述基于局部对比度归一化方法，计算所述灰度人脸图像中各像素点的归一化值，包括：对于每一个像素点，确定所述像素点对应的灰度值；基于所述像素点的坐标值和预设的归一化窗口宽度值、归一化窗口高度值，确定所述灰度人脸图像中以所述像素点为中心，以所述像素点的坐标和所述归一化窗口宽度值、所述归一化窗口高度值确定的矩形框内所有像素点对应的灰度值的灰度值和；基于所述灰度值和所述灰度值和，确定所述像素点的归一化值。本实施方式给出了一种基于局部对比度归一化方法，计算所述灰度人脸图像中各像素点的归一化值的具体实现方式。
另外，在所述将局部归一化处理后的所述人脸图像作为预先训练获得的目标深度卷积神经网络模型的输入参数，基于所述目标深度卷积神经网络模型确定所述待评价人像图片的清晰度值和曝光值之前，所述方法还包括：获取样本人像图片，为所述样本人像图片分配对应的标识号，所述样本人像图片为已知清晰度值和曝光值的人像图片；基于局部对比度归一化方法对所述样本人像图片进行局部归一化处理；采用随机分层抽样，将局部归一化处理后的所述样本人像图片划分为训练图像和验证图像；基于所述训练图像对预先构建的初始深度卷积神经网络模型进行迭代训练，得到待验证深度卷积神经网络模型；基于所述验证图像对所述待验证深度卷积神经网络模型进行验证；在验证结果中的清晰度值、曝光值分别与所述验证图像的清晰度值、曝光值的匹配度大于预设阈值时，确定得到所述目标深度卷积神经网络模型。本实施方式给出了一种训练获得目标深度卷积神经网络的具体实现方式，在将局部归一化处理后的所述人脸图像作为预先训练获得的目标深度卷积神经网络模型的输入参数，基于所述目标深度卷积神经网络模型确定所述待评价人像图片的清晰度值和曝光值之前，通过基于该方式训练获得目标深度卷积神经网络模型，从而可以保证上述操作的顺利执行，并且由于目标深度卷积神经网络模型是基于局部对比度归一化方法处理后的人像图片训练获得的，因而也保证了目标深度卷积神经网络模型能够快速、准确的识别出待评价人像图片的清晰度值和曝光值。
另外，所述基于所述训练图像对预先构建的初始深度卷积神经网络模型进行迭代训练，得到待验证深度卷积神经网络模型，包括：将所述训练图像和所述训练图像对应的标识号作为输入参数，输入到所述初始深度卷积神经网络模型的输入层；经所述初始深度卷积神经网络模型的卷积层、池化层、第一全连接层、第二全连接层及输出层的前向传播计算得到清晰度输出值和曝光输出值；基于损失函数计算所述清晰度输出值与所述训练图像的清晰度值之间的清晰度误差值；基于所述损失函数计算所述曝光输出值与所述训练图像的曝光值之间的曝光误差值；采用Adam算法更新所述初始深度卷积神经网络模型的权重；重复执行上述步骤，直到所述清晰度误差值和所述曝光误差值的变化小于预设阈值，得到所述待验证深度卷积神经网络模型。本实施方式通过基于前向传播方式对初始深度卷积神经网络模型进行迭代选了，从而在不扩展输入层规模的情况下，通过不断的更新权重来实现对特征的优化便可以快速得到精确到较高的待验证深度卷积神经网络模型，提升了训练速度。
另外，所述人像图片质量评价方法应用于实名制人像稽核；在所述基于所述人脸区域框对所述待评价人像图片进行人脸大小检测和人脸角度检测，得到人脸大小检测结果和人脸角度检测结果之前，所述方法还包括：判断所述待评价人像图片是否满足预设的实名制人像稽核要求；若所述待评价人像图片满足所述实名制人像稽核要求，则执行所述基于所述人脸区域框对所述待评价人像图片进行人脸大小检测和人脸角度检测，得到人脸大小检测结果和人脸角度检测结果的步骤。在人像图片质量评价方法应用于实名制人像稽核场景时，通过预先判断待评价人像图片是否满足预设的实名制人像稽核要求，从而可以筛除不合格的待评价人像图片，避免了后续不必要的评价操作。
附图说明
一个或多个实施方式通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施方式的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。
图1是根据本发明第一实施方式的人像图片质量评价方法的具体流程图；
图2是根据本发明第二实施方式的人像图片质量评价方法的具体流程图；
图3是根据本发明第二实施方式的人像图片质量评价方法中训练获得目标深度卷积神经网络模型的具体流程图；
图4是根据本发明第三实施方式的人像图片质量评价装置的结结构示意图；
图5是根据本发明第四实施方式的人像图片质量评价设备的结构示意图。
具体实施方式
为使本发明实施方式的目的、技术方案和优点更加清楚，下面将结合附图对本发明的各实施方式进行详细的阐述。然而，本领域的普通技术人员可以理解，在本发明各实施方式中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请所要求保护的技术方案。
以下各个实施方式的划分是为了描述方便，不应对本发明的具体实现方式构成任何限定，各个实施方式在不矛盾的前提下可以相互结合相互引用。
本实施方式涉及一种人像图片质量评价方法，在对待评价人像图片进行质量评价时，通过基于只需提取双眼、鼻子、嘴巴左右两角这五个关键点的坐标位置，以及人脸矩形坐标位置、宽高便可以确定人脸区域的MTCNN检测算法，从待评价人像图片中裁剪出人脸区域框，进而基于得到的人脸区域框对待评价人像图片进行人脸大小检测和人脸角度检测，从而大大提高了处理速度；通过基于只需提取双眼、鼻子、嘴巴左右两角这五个关键点的坐标位置，以及人脸矩形坐标位置、宽高便可以确定人脸区域的MTCNN检测算法，从待评价人像图片中裁剪出人脸区域框，进而基于得到的人脸区域框对待评价人像图片进行人脸大小检测和人脸角度检测，从而大大提高了处理速度。
下面对本实施方式的人像图片质量评价方法的实现细节进行说明，以下内容仅为方便理解而提供的实现细节，并非实施本方案的必须。
本实施提供的人像图片质量评价方法具体是应用于能够执行该方法的任意终端设备，比如个人计算机、平板电脑、智能手机等，此处不再一一列举，本实施方式对此也不做限制。
此外，为了便于说明，本实施方式以人像图片质量评价方法应用于实名制人像稽核场景为例进行具体说明。
本实施方式的具体流程如图1所示，具体包括以下步骤：
步骤101，获取待评价人像图片。
具体的说，由于本实施方式是应用于实名制人像稽核场景的，因此获取的待评价人像图片具体可以是来自实名制稽核***的。
由于实名制人像稽核对人像图片的格式、大小、以及人脸数量均有要求，因此为了避免后续不必要的评价操作，在获取到待评价人像图片之后，执行步骤103的操作之前，可以判断一下当前获取到的待评价人像图片是否满足实名制人像稽核要求，从而筛除不合格的待评价人像图片。
关于上述所说的实名制人像稽核要求，在本实施方式中主要包括格式的要求、大小的要求，以及人脸数量的要求。
关于格式的要求，在本实施方式中规定待评价人像图片需要是PNG格式、JPG格式、JPEG格式中的一种。
关于大小的要求，在本实施方式中规定待评价人像图片不大于360×360像素。
关于人脸数量的要求，在本实施方式中规定待评价人像图片中的人脸数量只能为1，即一张待评价人像图片中只允许有一个对象的人脸。
相应的，在获取到待评价人像图片之后，执行步骤103中的操作之前，所执行的判断所述待评价人像图片是否满足上述实名制人像稽核要求的操作，具体如下：
首先，判断所述待评价人像图片的格式，是否为PNG格式、JPG格式、JPEG格式中的一种。
相应的，若所述待评价人像图片的格式是上述给出的格式中的任意一种，则进一步判断所述待评价人像图片的大小是否不大于360×360像素；否则，认为所述待评价人像图片不符合实名制人像稽核要求。
相应的，若所述待评价人像图片的大小不大于360×360像素，则进一步判断所述待评价人像图片中的人脸数量是否为1；否则，认为所述待评价人像图片不符合实名制人像稽核要求。
相应的，若所述待评价人像图片中的人脸数量为1，则认为所述待评价人像图片符合实名制人像稽核要求，可以对其进行人脸大小、人脸角度、清晰度、曝光的检测，即可以执行步骤103的操作；否则，认为所述待评价人像图片不符合实名制人像稽核要求。
关于上述所说的待评价人像图片的格式和大小，具体是通过获取待评价人像图片的属性信息，进而从属性信息中提取所述待评价人像图片的格式、宽度像素和高度像素。
关于上述所说的待评价人像图片中人脸数量的确定，具体可以是基于现有的人脸识别技术确定，也可以是基于本实施方式中所说的多任务卷积神经网络(Multi-taskconvolutional neural networks，MTCNN)检测算法确定。
具体的说，在基于MTCNN检测算法确定所述待评价人像图片中的人脸数量时，具体是通过获取所述待评价人像图片中双眼、鼻子、嘴巴左右两角这五个关键点的坐标位置，以及人脸矩形坐标位置和人脸矩形的宽度、高度，进而确定所述待评价人像图片中的人脸数量。
应当理解的是，以上给出的仅为一种具体的判断方式，对本实施方式的技术方案并不构成任何具体限定，在实际应用中，本领域技术人员可以根据需要设置实名制人像稽核要求，并设置判断过程的先后顺序，本实施方式对此不做限制。
步骤102，基于多任务卷积网络MTCNN检测算法，确定所述待评价人像图片中的人脸区域，得到人脸区域框。
应当理解的是，MTCNN检测算法是将人脸检测和关键点检测结合在一起的检测算法，因而上述得到人脸区域框中的人脸图像，不仅包括整张人脸，还包括该人脸区域框(即人脸矩形)在所述待评价人像图片中的具体坐标位置，人脸区域框的宽度、高度，以及人脸区域框中包括的整张人脸的双眼、鼻子、嘴巴左右两角这五个关键点的坐标。
关于上述所说的MTCNN检测算法的使用，本领域技术人员可以自行查阅相关资料实现，本实施方式不再赘述。
步骤103，基于所述人脸区域框对所述待评价人像图片进行人脸大小检测和人脸角度检测，得到人脸大小检测结果和人脸角度检测结果。
关于上述所说的人脸大小检测，在本实施方式中，具体是基于公式(1)实现：
Figure BDA0002592184770000071
其中，Fr为人脸占比，wf和hf分别为基于MTCNN检测算法确定的人脸区域框的宽和高，w和h分别为所述待评价人像图片的宽和高。
由于在实名制人像稽核中，要求待评价人像图片中的人脸大小占整张图片的四分之一以上。因而，在得到人脸占比Fr之后，可以判断Fr是否小于0.25，若Fr小于0.25，则得到的人脸大小检测结果可以为待评价人像图片的人脸大小不符合要求。
关于上述所说的人脸角度检测，在本实施方式中，具体是基于公式(2)实现：
Figure BDA0002592184770000081
其中，Fa为人脸角度，xer为右眼的横坐标，xel为左眼的横坐标，xn为鼻子的横坐标。
此外，值得一提的是，为了满足实名制人像稽核的对人脸图像为正脸的要求，人脸角度Fa需要大于3，或小于0.3。因而，在得到人脸角度Fa之后，可以判断Fa是否大于3或小于0.3，若Fa大于3或小于0.3，则得到的人脸角度检测结果为待评价人像图片的人脸为正脸，符合人脸角度要求。
进一步地，在实际应用中，还可以将人脸占比Fr的具体值添加在人脸大小检测结果中，将人脸角度Fa的具体值添加在人脸角度检测结果中，从而方便用户获知当前人脸大小与人脸角度与合格值的差异。
步骤104，基于局部对比度归一化方法对所述人脸区域框中的人脸图像进行局部归一化处理。
具体的说，在实际应用中，为了保证所述人脸区域框中的整个人脸图像中的全部特征都可以输入到步骤105中所说的目标深度卷积神经网络模型中，从而使得后续得出的清晰度值和曝光值更加准确，在执行步骤104之前，可以先基于所述目标深度卷积神经网络模型的输入层确定所述人脸图像的缩放比例，然后按照所述缩放比例对所述人脸区域框中的人脸图像进行缩放。
为了便于理解，以下进行举例说明：
比如说，在确定的人脸区域框中人脸图像的大小为90×90像素，而训练获得的目标深度卷积神经网络模型的输入层支持的像素大小为48×48像素时，需要对所述人脸图像进行的操作为：将所述人脸图像从90×90像素缩小到48×48像素。
还比如说，在确定的人脸区域框中人脸图像的大小为36×36像素，而训练获得的目标深度卷积神经网络模型的输入层支持的像素大小为48×48像素时，需要对所述人脸图像进行的操作为：将所述人脸图像从36×36像素放大到48×48像素。
应当理解的是，以上仅为举例说明，对本实施方式的技术方案并不构成任何限定，在实际应用中，本领域技术人员可以根据需要选择合适的缩放算法，根据训练获得的目标深度卷积神经网络模型输入层支持的像素大小确定所述人脸图像的缩放比例，然后基于确定的缩放比例对人脸图像进行缩放，本实施方式对此不做限制。
相应的，在完成上述缩放操作后，步骤104所进行的局部归一化操作具体为如下两步：
(1)对缩放后的所述人脸图像进行二值化处理，得到灰度人脸图像。
关于对人脸图像进行的二值化处理操作，本领域技术人员可以自行查阅相关资料实现，本实施方式不再赘述。
(2)基于局部对比度归一化方法，计算所述灰度人脸图像中各像素点的归一化值。
为了便于理解，以下针对一个像素点为例，对基于局部对比度归一化方法，计算该像素点的归一化值的过程进行说明。
具体而言，对于每一个像素点，在计算其对应的归一化值时，需要先确定该像素点对应的灰度值，也可以称为强度值；然后，基于所述像素点的坐标值和预设的归一化窗口宽度值、归一化窗口高度值，确定所述灰度人脸图像中以所述像素点为中心，以所述像素点的坐标和所述归一化窗口宽度值、所述归一化窗口高度值确定的矩形框内所有像素点对应的灰度值的灰度值和；最后，基于所述灰度值和所述灰度值和，确定所述像素点的归一化值。
为了更好的理解，以下结合公式(3)、公式(4)和公式(5)进行说明：
Figure BDA0002592184770000091
Figure BDA0002592184770000092
Figure BDA0002592184770000093
其中，
Figure BDA0002592184770000094
表示坐标为(i,j)的像素点的归一化值，I(i,j)表示坐标为(i,j)的像素点的灰度值，C为正常数，P为预设的归一化窗口宽度值，Q为预设的归一化窗口高度值，本实施方式中取P＝Q＝3。
值得一提的是，上述公式中P和Q的取值越小，计算时间会越长，计算结果会越精确。因而，在实际应用中，本领域技术人员可以根据需要设置P和Q的取值，做到既可以兼顾计算时长，又可以兼顾精确度。
μ(i,j)表示以坐标为(i,j)的像素点为中心，以所述像素点的坐标和所述归一化窗口宽度值P、所述归一化窗口高度值Q确定的矩形框内所有像素点对应的灰度值的灰度值和，上述公式中确定的矩形框的大小为(i+P)×(j+Q)。
σ(i,j)表示矩形框(i+P)×(j+Q)中所有像素点的灰度值与μ(i,j)差值的平方和的算术平方根。
需要说明的是，上述公式(4)和公式(5)具体是用于计算基于每个像素点确定的矩形框对应的边缘点的。
此外，在实际应用中，如果任一像素点对应的(i+P)×(j+Q)大小的矩形框超过人脸区域框大大小，则超出部分的像素点的灰度值用0表示。
通过对人脸区域框中的像素点进行遍历，然后基于上述公式(3)至公式(5)计算遍历到的当前像素点对应的归一化值，直到结束，便可以得到所述人脸区域框中各像素点的归一化值。
步骤105，将局部归一化处理后的所述人脸图像作为预先训练获得的目标深度卷积神经网络模型的输入参数，基于所述目标深度卷积神经网络模型确定所述待评价人像图片的清晰度值和曝光值。
应当理解的是，为了保证将局部归一化处理后的所述人脸图像作为预先训练获得的目标深度卷积神经网络模型的输入参数，所述目标深度卷积神经网络模型便可以输出所述待评价人像图片的清晰度值和曝光值，所述目标深度卷积神经网络模型需要基于采用局部对比度归一化方法处理后的训练图片训练获得。
步骤106，基于所述人脸大小检测结果、所述人脸角度检测结果、所述清晰度值和所述曝光值，生成所述待评价人像图片的评价结果。
具体的说，在实名制人像稽核中，对清晰度和曝光的要求是需要清晰度值和曝光值均在[0，1]区间内，并且规定在这一区间内，得到的值越大，对应的清晰度、曝光越好。
相应的，基于得到的所述人脸大小检测结果、所述人脸角度检测结果、所述清晰度值和所述曝光值，生成的针对所述待评价人像图片的评价结果。
关于上述所说的评价结果，在实际应用中，只要上述四项检测结果又一项存在问题，则可以说明所说待评价人像图片的质量不符合实名制人像稽核要求。
相应的，为了让用户获知哪项不合适，还可以对存在问题的检测结果进行标注，以便用户进行调整。
此外，值得一提的是，在实际应用中，对待评价人像图片的质量评价也可以是仅对上述一项进行检测，进而根据检测结果生成相应的评价结果。
比如，在业务需求仅要求评价结果为针对人脸大小的，则只需基于确定的人脸区域框包含的信息进行人脸大小检测。
还比如说，在业务需求仅要求评价结果为针对人脸角度的，则只需要基于确定的人脸区域框包含的信息进行人脸角度检测。
还比如说，在业务需求仅要求评价结果为针对清晰度值的，则训练获得的目标深度卷积神经网络模型则只需满足识别清晰度值这一要求。
还比如说，在业务需求仅要求评价结果为针对曝光值的，则训练获得的目标深度卷积神经网络模型则只需满足识别曝光值这一要求。
应当理解的是，以上仅为举例说明，对本实施方式的技术方案并不构成任何限定，在实际应用中，本领域技术人员可以根据业务需要进行设置，本实施方式对此不做限制。
通过上述描述不难发现，本实施方式提供的人像图片质量评价方法，在对待评价人像图片进行质量评价时，通过基于只需提取双眼、鼻子、嘴巴左右两角这五个关键点的坐标位置，以及人脸矩形坐标位置、宽高便可以确定人脸区域的MTCNN检测算法，从待评价人像图片中裁剪出人脸区域框，进而基于得到的人脸区域框对待评价人像图片进行人脸大小检测和人脸角度检测，从而大大提高了处理速度。
此外，在确定待评价人像图片的清晰度值和曝光值时，通过采用局部对比度归一化方法对得到的人脸区域框中的人脸图像进行局部归一化处理，基于局部对比度归一化的原理可以将人脸图像中所有相同灰度(也可以说为强度)的区域均丢弃掉，只突出边缘，并保留待评价人像图片的自然场景特征，从而使得目标深度卷积神经网络模型能够根据局部归一化处理后的人脸图像更加快速、准确的识别出待评价人像图片的清晰度值和曝光值。
通过这种方式，在无需设计过多特征的情况下，便可以实现对待评价人像图片的准确评价，同时也避免了传统方法由于评价特征不全面导致覆盖率不高，评价结果不准确的问题。
本发明的第二实施方式涉及一种人像图片质量评价方法。第二实施方式在第一实施方式的基础上做了进一步改进，主要改进之处为：在将局部归一化处理后的所述人脸图像作为预先训练获得的目标深度卷积神经网络模型的输入参数，基于所述目标深度卷积神经网络模型确定所述待评价人像图片的清晰度值和曝光值之前，先训练获得目标深度卷积神经网络模型，从而确保该操作的顺利执行，并给出了一种具体的训练方式。
如图2所示，第二实施方式涉及的人像图片质量评价方法，包括如下步骤：
步骤201，获取待评价人像图片。
步骤202，基于多任务卷积网络MTCNN检测算法，确定所述待评价人像图片中的人脸区域，得到人脸区域框。
步骤203，基于所述人脸区域框对所述待评价人像图片进行人脸大小检测和人脸角度检测，得到人脸大小检测结果和人脸角度检测结果。
步骤204，基于局部对比度归一化方法对所述人脸区域框中的人脸图像进行局部归一化处理。
不难发现，本实施方式中的步骤201至步骤204与第一实施方式中的步骤101至步骤104大致相同，在此就不再赘述。
步骤205，训练获得目标深度卷积神经网络模型。
为了便于理解步骤205中所说的操作，以下结合图3进行具体说明：
步骤2051，获取样本人像图片，为所述样本人像图片分配对应的标识号。
具体的说，在训练获得目标深度卷积神经网络模型时，需要先准备训练图片，即已知清晰度值和曝光值的人像图片作为样本人像图片。并且，为了在训练过程中能够定位样本人像图片，需要为每一张样本人像图片分配一个能够标识其唯一性的标识号。
步骤2052，基于局部对比度归一化方法对所述样本人像图片进行局部归一化处理。
基于第一实施方式的描述可知，本实施方式中在基于局部对比度归一化方法对所述样本人像图片进行局部归一化处理时，同样需要先基于MTCNN检测算法对所述样本人像图片进行人脸检测和关键点定位，进而确定每一张样本人像图片中的人脸所在位置，得到人脸区域框的位置坐标、宽度、高度，以及人脸区域框中双眼、鼻子、嘴巴左右两角这五个关键点的坐标。
相应的，上述基于局部对比度归一化方法对所述样本人像图片进行局部归一化处理，实质为对每一张样本人像图片中却的人脸区域框中的人脸图像进行局部归一化处理，即丢弃所有相同灰度的区域，突出边缘，并保留样本人像图片中的自然场景特征。
关于当前步骤中执行的基于局部对比度归一化方法对所述样本人像图片进行局部归一化处理的操作，详见第一实施方式中步骤104的说明，此处不再赘述。
此外，值得一提的是，为了保证基于这些样本人像图片训练获得的目标深度卷积神经网络模型能够识别出待评价人像图片的清晰度值和曝光值，需要保证训练获得目标深度卷积神经网络模型时对样本人像图片进行局部归一化处理时公式(3)至公式(5)中的参数P和Q的取值与对待评价人像图片进行局部归一化处理时的取值相同。
步骤2053，采用随机分层抽样，将局部归一化处理后的所述样本人像图片划分为训练图像和验证图像。
具体的说，为了保证训练图像的数量充足，本实施方式设置将局部归一化处理后的样本人像图片按照7：3的比例划分，即当样本人像图片有2000张时，按照这一比例划分后，得到的训练图像有1400张，验证图像有600张。
步骤2054，基于所述训练图像对预先构建的初始深度卷积神经网络模型进行迭代训练，得到待验证深度卷积神经网络模型。
具体的说，本实施方式中所说的初始深度卷积神经网络模型主要包括依次链接的输入层、卷积层、池化层、第一全连接层、第二全连接层和输出层。
其中，所述输入层为一张经局部归一化处理后的48×48像素大小的人脸图像图片。
所述卷积层为48维42×42像素大小的特征图(Feature maps)。
此外，需要说明的是，该Feature maps(初始深度卷积神经网络模型中出现的第一个Feature maps)由输入层用48个7×7卷积核，步长为1进行滤波得到。
所述池化层包含3个池化操作得到的Feature maps(初始深度卷积神经网络模型中出现的第二个Feature maps)，第一个池化操作由卷积层用12×12窗口大小、步长为10进行最大池化得到；第二个池化操作由卷积层用21×21窗口大小、步长为21进行最大池化得到；第三个池化操作同样由卷积层用42×42窗口大小、步长为42进行最大池化得到。
所述第一全连接层和第二全连接层均为1024个节点的全连接层，并且在本实施方式中使用线性整流函数(Rectified Linear Unit，ReLU)作为激活函数。
所述输出层包含两个节点，对应人脸图像图片的清晰度和曝光，使用归一化指数函数Softmax作为激活函数，从而保证输出值(清晰度值和曝光值)在[0，1]之间。
至此，关于初始深度卷积神经网络模型的构建完成，接下来基于训练图像对该初始深度卷积神经网络模型进行迭代训练，以获得待验证深度卷积神经网络模型。
关于基于训练图像对该初始深度卷积神经网络模型进行迭代训练的操作，具体如下：
(1)将所述训练图像和所述训练图像对应的标识号作为输入参数，输入到所述初始深度卷积神经网络模型的输入层。
应当理解的是，在实际应用中，为了保证训练结果的准确性，在执行步骤(1)之前，可以先对所述初始深度卷积神经网络模型进行初始化。
具体而言，对所述初始深度卷积神经网络模型的初始化，具体为采用随机数初始所述初始深度卷积神经网络模型的权重，并定义向前传播和向后传播中所有批次的单次训练迭代次数epochs，一次训练所选取的样本数batch_size，第一全连接层和第二全连接层的随机失活dropout值。
需要说明的是，由于本实施方式采用的是前向传播方式，故而在对所述初始深度卷积神经网络模型初始化时，具体是定义向前传播所有批次的单次训练迭代次数。
此外，在本实施方式中，对所述初始深度卷积神经网络模型的初始化，具体是将epochs值设定为40，batch_size值设定为64，dropout值设定为0.3。
(2)经所述初始深度卷积神经网络模型的卷积层、池化层、第一全连接层、第二全连接层及输出层的前向传播计算得到清晰度输出值和曝光输出值。
(3)基于损失函数计算所述清晰度输出值与所述训练图像的清晰度值之间的清晰度误差值，基于所述损失函数计算所述曝光输出值与所述训练图像的曝光值之间的曝光误差值。
Figure BDA0002592184770000141
其中，L为误差值，N为batch_size大小，f(xn；w)表示输入参数(输入输入层的训练图像)为xn、权重为w时所述初始深度卷积神经网络模型的输出值(清晰度输出值和曝光输出值)，l1表示采用L1范数正则化(L1 regularization或lasso)，yn为所述训练图像已知的清晰度值和曝光值。
(4)采用Adam算法更新所述初始深度卷积神经网络模型的权重。
具体的说，在本实施方式中，采用Adam算法更新所述初始深度卷积神经网络模型的权重的操作，具体为：设定Adam学习率alpha值为0.002，一阶矩估计的指数衰减率beta1值为0.9，二阶矩估计的指数衰减率beta2值为0.999，小常数epsilon值为10E-08。
重复执行步骤(1)至步骤(4)，直到所述清晰度误差值和所述曝光误差值的变化小于预设阈值，比如0.001时停止训练，将当前的深度卷积神经网络模型作为待验证深度卷积神经网络模型。
步骤2055，基于所述验证图像对所述待验证深度卷积神经网络模型进行验证。
应当理解的是，由于所述验证图像也为已知清晰度值和曝光值的人像图片，因而在基于所述验证图像对所述待验证深度卷积神经网络模型进行验证时，具体是将所述验证图像和所述验证图像对应的标识号作为输入参数，输入所述待验证深度卷积神经网络模型的输入层，然后根据标识号确定当前输出的清晰度值与曝光值需要与哪一个验证图像已知的清晰度值和曝光值进行比较。
步骤2056，在验证结果中的清晰度值、曝光值分别与所述验证图像的清晰度值、曝光值的匹配度大于预设阈值时，确定得到所述目标深度卷积神经网络模型。
步骤206，将局部归一化处理后的所述人脸图像作为预先训练获得的目标深度卷积神经网络模型的输入参数，基于所述目标深度卷积神经网络模型确定所述待评价人像图片的清晰度值和曝光值。
步骤207，基于所述人脸大小检测结果、所述人脸角度检测结果、所述清晰度值和所述曝光值，生成所述待评价人像图片的评价结果。
不难发现，本实施方式中的步骤206和步骤206与第一实施方式中的步骤105和步骤106大致相同，在此就不再赘述。
由此，本实施方式提供的人像图片质量评价方法，在执行步骤206中的操作之前，通过基于步骤205给出的方式训练获得目标深度卷积神经网络模型，从而可以保证步骤206的操作能够顺利执行，并且由于目标深度卷积神经网络模型是基于局部对比度归一化方法处理后的人像图片训练获得的，因而也保证了目标深度卷积神经网络模型能够快速、准确的识别出待评价人像图片的清晰度值和曝光值。
此外，应当理解的是，上面各种方法的步骤划分，只是为了描述清楚，实现时可以合并为一个步骤或者对某些步骤进行拆分，分解为多个步骤，只要包括相同的逻辑关系，都在本专利的保护范围内；对算法中或者流程中添加无关紧要的修改或者引入无关紧要的设计，但不改变其算法和流程的核心设计都在该专利的保护范围内。
本发明第三实施方式涉及一种人像图片质量评价装置，如图4所示，包括：获取模块401、第一确定模块402、检测模块403、处理模块404和第二确定模块405。
其中，获取模块401，用于获取待评价人像图片；第一确定模块402，用于基于多任务卷积网络MTCNN检测算法，确定所述待评价人像图片中的人脸区域，得到人脸区域框；检测模块403，用于基于所述人脸区域框对所述待评价人像图片进行人脸大小检测和人脸角度检测，得到人脸大小检测结果和人脸角度检测结果；处理模块404，用于基于局部对比度归一化方法对所述人脸区域框中的人脸图像进行局部归一化处理；第二确定模块405，用于将局部归一化处理后的所述人脸图像作为预先训练获得的目标深度卷积神经网络模型的输入参数，基于所述目标深度卷积神经网络模型确定所述待评价人像图片的清晰度值和曝光值；评价模块406，用于基于所述人脸大小检测结果、所述人脸角度检测结果、所述清晰度值和所述曝光值，生成所述待评价人像图片的评价结果。
此外，在另一个例子中，所述人像图片质量评价装置还包括图像缩放模块。
具体的，所述图像缩放模块，用于基于所述目标深度卷积神经网络模型的输入层确定所述人脸图像的缩放比例；按照所述缩放比例对所述人脸区域框中的人脸图像进行缩放。
相应的，所述处理模块404具体用于对缩放后的所述人脸图像进行二值化处理，得到灰度人脸图像；基于局部对比度归一化方法，计算所述灰度人脸图像中各像素点的归一化值。
此外，在另一个例子中，所述处理模块404在基于局部对比度归一化方法，计算所述灰度人脸图像中各像素点的归一化值时，具体处理过程如下：
对于每一个像素点，确定所述像素点对应的灰度值；
基于所述像素点的坐标值和预设的归一化窗口宽度值、归一化窗口高度值，确定所述灰度人脸图像中以所述像素点为中心，以所述像素点的坐标和所述归一化窗口宽度值、所述归一化窗口高度值确定的矩形框内所有像素点对应的灰度值的灰度值和；
基于所述灰度值和所述灰度值和，确定所述像素点的归一化值。
此外，在另一个例子中，所述人像图片质量评价装置还包括目标深度卷积神经网络模型训练模块。
具体的，所述目标深度卷积神经网络训练模块，用于获取样本人像图片，为所述样本人像图片分配对应的标识号，所述样本人像图片为已知清晰度值和曝光值的人像图片；基于局部对比度归一化方法对所述样本人像图片进行局部归一化处理；采用随机分层抽样，将局部归一化处理后的所述样本人像图片划分为训练图像和验证图像；基于所述训练图像对预先构建的初始深度卷积神经网络模型进行迭代训练，得到待验证深度卷积神经网络模型；基于所述验证图像对所述待验证深度卷积神经网络模型进行验证；在验证结果中的清晰度值、曝光值分别与所述验证图像的清晰度值、曝光值的匹配度大于预设阈值时，确定得到所述目标深度卷积神经网络模型。
此外，在另一个例子中，所述目标深度卷积神经网络模型训练模块，还用于将所述训练图像和所述训练图像对应的标识号作为输入参数，输入到所述初始深度卷积神经网络模型的输入层；经所述初始深度卷积神经网络模型的卷积层、池化层、第一全连接层、第二全连接层及输出层的前向传播计算得到清晰度输出值和曝光输出值；基于损失函数计算所述清晰度输出值与所述训练图像的清晰度值之间的清晰度误差值；基于所述损失函数计算所述曝光输出值与所述训练图像的曝光值之间的曝光误差值；采用Adam算法更新所述初始深度卷积神经网络模型的权重；重复执行上述步骤，直到所述清晰度误差值和所述曝光误差值的变化小于预设阈值，得到所述待验证深度卷积神经网络模型。
此外，在另一个例子中，当人像图片质量评价方法应用于实名制人像稽核时，所述人像图片质量评价装置还包括判断模块。
具体的，所述判断模块，用于判断所述待评价人像图片是否满足预设的实名制人像稽核要求。
相应的，若所述待评价人像图片满足所述实名制人像稽核要求，则通知检测模块403执行所述基于所述人脸区域框对所述待评价人像图片进行人脸大小检测和人脸角度检测，得到人脸大小检测结果和人脸角度检测结果的操作。
不难发现，本实施方式为与第一或第二实施方式相对应的装置实施方式，本实施方式可与第一或第二实施方式互相配合实施。第一或第二实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在第一或第二实施方式中。
值得一提的是，本实施方式中所涉及到的各模块均为逻辑模块，在实际应用中，一个逻辑单元可以是一个物理单元，也可以是一个物理单元的一部分，还可以以多个物理单元的组合实现。此外，为了突出本发明的创新部分，本实施方式中并没有将与解决本发明所提出的技术问题关系不太密切的单元引入，但这并不表明本实施方式中不存在其它的单元。
本发明第四实施方式涉及一种人像图片质量评价设备，如图5所示，包括至少一个处理器501；以及，与所述至少一个处理器501通信连接的存储器502；其中，所述存储器502存储有可被所述至少一个处理器501执行的指令，所述指令被所述至少一个处理器501执行，以使所述至少一个处理器501能够执行上述第一或第二实施方式所描述的人像图片质量评价方法。
其中，存储器502和处理器501采用总线方式连接，总线可以包括任意数量的互联的总线和桥，总线将一个或多个处理器501和存储器502的各种电路链接在一起。总线还可以将诸如***设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口在总线和收发机之间提供接口。收发机可以是一个元件，也可以是多个元件，比如多个接收器和发送器，提供用于在传输介质上与各种其他装置通信的单元。经处理器处理的数据通过天线在无线介质上进行传输，进一步，天线还接收数据并将数据传送给处理器。
处理器501负责管理总线和通常的处理，还可以提供各种功能，包括定时，***接口，电压调节、电源管理以及其他控制功能。而存储器502可以被用于存储处理器501在执行操作时所使用的数据。
本领域技术人员可以理解实现上述实施方式方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施方式所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本领域的普通技术人员可以理解，上述各实施方式是实现本发明的具体实施方式，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。

Claims (10)

1.一种人像图片质量评价方法，其特征在于，包括：
获取待评价人像图片；
基于多任务卷积网络MTCNN检测算法，确定所述待评价人像图片中的人脸区域，得到人脸区域框；
基于所述人脸区域框对所述待评价人像图片进行人脸大小检测和人脸角度检测，得到人脸大小检测结果和人脸角度检测结果；
基于局部对比度归一化方法对所述人脸区域框中的人脸图像进行局部归一化处理；
将局部归一化处理后的所述人脸图像作为预先训练获得的目标深度卷积神经网络模型的输入参数，基于所述目标深度卷积神经网络模型确定所述待评价人像图片的清晰度值和曝光值；
基于所述人脸大小检测结果、所述人脸角度检测结果、所述清晰度值和所述曝光值，生成所述待评价人像图片的评价结果。
2.根据权利要求1所述的人像图片质量评价方法，其特征在于，在所述基于局部对比度归一化方法对所述人脸区域框中的人脸图像进行局部归一化处理之前，所述方法还包括：
基于所述目标深度卷积神经网络模型的输入层确定所述人脸图像的缩放比例；
按照所述缩放比例对所述人脸区域框中的人脸图像进行缩放。
3.根据权利要求2所述的人像图片质量评价方法，其特征在于，所述基于局部对比度归一化方法对所述人脸区域框中的人脸图像进行局部归一化处理，包括：
对缩放后的所述人脸图像进行二值化处理，得到灰度人脸图像；
基于局部对比度归一化方法，计算所述灰度人脸图像中各像素点的归一化值。
4.根据权利要求3所述的人像图片质量评价方法，其特征在于，所述基于局部对比度归一化方法，计算所述灰度人脸图像中各像素点的归一化值，包括：
对于每一个像素点，确定所述像素点对应的灰度值；
基于所述像素点的坐标值和预设的归一化窗口宽度值、归一化窗口高度值，确定所述灰度人脸图像中以所述像素点为中心，以所述像素点的坐标和所述归一化窗口宽度值、所述归一化窗口高度值确定的矩形框内所有像素点对应的灰度值的灰度值和；
基于所述灰度值和所述灰度值和，确定所述像素点的归一化值。
5.根据权利要求1所述的人像图片质量评价方法，其特征在于，在所述将局部归一化处理后的所述人脸图像作为预先训练获得的目标深度卷积神经网络模型的输入参数，基于所述目标深度卷积神经网络模型确定所述待评价人像图片的清晰度值和曝光值之前，所述方法还包括：
获取样本人像图片，为所述样本人像图片分配对应的标识号，所述样本人像图片为已知清晰度值和曝光值的人像图片；
基于局部对比度归一化方法对所述样本人像图片进行局部归一化处理；
采用随机分层抽样，将局部归一化处理后的所述样本人像图片划分为训练图像和验证图像；
基于所述训练图像对预先构建的初始深度卷积神经网络模型进行迭代训练，得到待验证深度卷积神经网络模型；
基于所述验证图像对所述待验证深度卷积神经网络模型进行验证；
在验证结果中的清晰度值、曝光值分别与所述验证图像的清晰度值、曝光值的匹配度大于预设阈值时，确定得到所述目标深度卷积神经网络模型。
6.根据权利要求5所述的人像图片质量评价方法，其特征在于，所述基于所述训练图像对预先构建的初始深度卷积神经网络模型进行迭代训练，得到待验证深度卷积神经网络模型，包括：
将所述训练图像和所述训练图像对应的标识号作为输入参数，输入到所述初始深度卷积神经网络模型的输入层；
经所述初始深度卷积神经网络模型的卷积层、池化层、第一全连接层、第二全连接层及输出层的前向传播计算得到清晰度输出值和曝光输出值；
基于损失函数计算所述清晰度输出值与所述训练图像的清晰度值之间的清晰度误差值；
基于所述损失函数计算所述曝光输出值与所述训练图像的曝光值之间的曝光误差值；
采用Adam算法更新所述初始深度卷积神经网络模型的权重；
重复执行上述步骤，直到所述清晰度误差值和所述曝光误差值的变化小于预设阈值，得到所述待验证深度卷积神经网络模型。
7.根据权利要求1至6任一项所述的人像图片质量评价方法，其特征在于，所述人像图片质量评价方法应用于实名制人像稽核；
所述基于所述人脸区域框对所述待评价人像图片进行人脸大小检测和人脸角度检测，得到人脸大小检测结果和人脸角度检测结果之前，所述方法还包括：
判断所述待评价人像图片是否满足预设的实名制人像稽核要求；
若所述待评价人像图片满足所述实名制人像稽核要求，则执行所述基于所述人脸区域框对所述待评价人像图片进行人脸大小检测和人脸角度检测，得到人脸大小检测结果和人脸角度检测结果的步骤。
8.一种人像图片质量评价装置，其特征在于，包括：
获取模块，用于获取待评价人像图片；
第一确定模块，用于基于多任务卷积网络MTCNN检测算法，确定所述待评价人像图片中的人脸区域，得到人脸区域框；
检测模块，用于基于所述人脸区域框对所述待评价人像图片进行人脸大小检测和人脸角度检测，得到人脸大小检测结果和人脸角度检测结果；
处理模块，用于基于局部对比度归一化方法对所述人脸区域框中的人脸图像进行局部归一化处理；
第二确定模块，用于将局部归一化处理后的所述人脸图像作为预先训练获得的目标深度卷积神经网络模型的输入参数，基于所述目标深度卷积神经网络模型确定所述待评价人像图片的清晰度值和曝光值；
评价模块，用于基于所述人脸大小检测结果、所述人脸角度检测结果、所述清晰度值和所述曝光值，生成所述待评价人像图片的评价结果。
9.一种人脸图片质量评价设备，其特征在于，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至7任一所述的人像图片质量评价方法。
10.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7任一项所述的人像图片质量评价方法。
CN202010698614.7A 2020-07-20 2020-07-20 人像图片质量评价方法、装置、设备及存储介质 Active CN111862040B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010698614.7A CN111862040B (zh) 2020-07-20 2020-07-20 人像图片质量评价方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010698614.7A CN111862040B (zh) 2020-07-20 2020-07-20 人像图片质量评价方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN111862040A true CN111862040A (zh) 2020-10-30
CN111862040B CN111862040B (zh) 2023-10-31

Family

ID=73002431

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010698614.7A Active CN111862040B (zh) 2020-07-20 2020-07-20 人像图片质量评价方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN111862040B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112200176A (zh) * 2020-12-10 2021-01-08 长沙小钴科技有限公司 人脸图像的质量检测方法、***和计算机设备
CN113256620A (zh) * 2021-06-25 2021-08-13 南京思飞捷软件科技有限公司 基于差值卷积神经网络的车身焊接质量信息评判方法
CN115908260A (zh) * 2022-10-20 2023-04-04 北京的卢铭视科技有限公司 模型训练方法、人脸图像质量评价方法、设备及介质

Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104504365A (zh) * 2014-11-24 2015-04-08 闻泰通讯股份有限公司 视频序列中的笑脸识别***及方法
US20160035078A1 (en) * 2014-07-30 2016-02-04 Adobe Systems Incorporated Image assessment using deep convolutional neural networks
CN105760815A (zh) * 2016-01-26 2016-07-13 南京大学 基于第二代身份证人像和视频人像的异构人脸核实方法
CN107423690A (zh) * 2017-06-26 2017-12-01 广东工业大学 一种人脸识别方法及装置
US20180068198A1 (en) * 2016-09-06 2018-03-08 Carnegie Mellon University Methods and Software for Detecting Objects in an Image Using Contextual Multiscale Fast Region-Based Convolutional Neural Network
CN107944398A (zh) * 2017-11-27 2018-04-20 深圳大学 基于深度特征联合表示图像集人脸识别方法、装置和介质
CN108229381A (zh) * 2017-12-29 2018-06-29 湖南视觉伟业智能科技有限公司 人脸图像生成方法、装置、存储介质和计算机设备
CN108269250A (zh) * 2017-12-27 2018-07-10 武汉烽火众智数字技术有限责任公司 基于卷积神经网络评估人脸图像质量的方法和装置
CN108573243A (zh) * 2018-04-27 2018-09-25 上海敏识网络科技有限公司 一种基于深度卷积神经网络的低质量人脸的比对方法
CN109711309A (zh) * 2018-12-20 2019-05-03 北京邮电大学 一种自动识别人像图片是否闭眼的方法
CN110046652A (zh) * 2019-03-18 2019-07-23 深圳神目信息技术有限公司 人脸质量评估方法、装置、终端及可读介质
CN110069959A (zh) * 2018-01-22 2019-07-30 ***通信有限公司研究院 一种人脸检测方法、装置及用户设备
CN110309789A (zh) * 2019-07-04 2019-10-08 北京维联众诚科技有限公司 基于深度学习的视频监控下人脸清晰度评价方法及装置
CN110619628A (zh) * 2019-09-09 2019-12-27 博云视觉（北京）科技有限公司 一种人脸图像质量评估方法
CN110796618A (zh) * 2019-10-28 2020-02-14 公安部交通管理科学研究所 用于证卡激光签注的数字人像处理方法、存储介质和***
WO2020037898A1 (zh) * 2018-08-23 2020-02-27 平安科技（深圳）有限公司 人脸特征点检测方法、装置、计算机设备及存储介质
CN111368758A (zh) * 2020-03-09 2020-07-03 苏宁云计算有限公司 一种人脸模糊度检测方法、装置、计算机设备及存储介质
CN111368602A (zh) * 2018-12-26 2020-07-03 北京眼神智能科技有限公司 人脸图像模糊程度评价方法、装置、可读存储介质及设备

Patent Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160035078A1 (en) * 2014-07-30 2016-02-04 Adobe Systems Incorporated Image assessment using deep convolutional neural networks
CN104504365A (zh) * 2014-11-24 2015-04-08 闻泰通讯股份有限公司 视频序列中的笑脸识别***及方法
CN105760815A (zh) * 2016-01-26 2016-07-13 南京大学 基于第二代身份证人像和视频人像的异构人脸核实方法
US20180068198A1 (en) * 2016-09-06 2018-03-08 Carnegie Mellon University Methods and Software for Detecting Objects in an Image Using Contextual Multiscale Fast Region-Based Convolutional Neural Network
CN107423690A (zh) * 2017-06-26 2017-12-01 广东工业大学 一种人脸识别方法及装置
CN107944398A (zh) * 2017-11-27 2018-04-20 深圳大学 基于深度特征联合表示图像集人脸识别方法、装置和介质
CN108269250A (zh) * 2017-12-27 2018-07-10 武汉烽火众智数字技术有限责任公司 基于卷积神经网络评估人脸图像质量的方法和装置
CN108229381A (zh) * 2017-12-29 2018-06-29 湖南视觉伟业智能科技有限公司 人脸图像生成方法、装置、存储介质和计算机设备
CN110069959A (zh) * 2018-01-22 2019-07-30 ***通信有限公司研究院 一种人脸检测方法、装置及用户设备
CN108573243A (zh) * 2018-04-27 2018-09-25 上海敏识网络科技有限公司 一种基于深度卷积神经网络的低质量人脸的比对方法
WO2020037898A1 (zh) * 2018-08-23 2020-02-27 平安科技（深圳）有限公司 人脸特征点检测方法、装置、计算机设备及存储介质
CN109711309A (zh) * 2018-12-20 2019-05-03 北京邮电大学 一种自动识别人像图片是否闭眼的方法
CN111368602A (zh) * 2018-12-26 2020-07-03 北京眼神智能科技有限公司 人脸图像模糊程度评价方法、装置、可读存储介质及设备
CN110046652A (zh) * 2019-03-18 2019-07-23 深圳神目信息技术有限公司 人脸质量评估方法、装置、终端及可读介质
CN110309789A (zh) * 2019-07-04 2019-10-08 北京维联众诚科技有限公司 基于深度学习的视频监控下人脸清晰度评价方法及装置
CN110619628A (zh) * 2019-09-09 2019-12-27 博云视觉（北京）科技有限公司 一种人脸图像质量评估方法
CN110796618A (zh) * 2019-10-28 2020-02-14 公安部交通管理科学研究所 用于证卡激光签注的数字人像处理方法、存储介质和***
CN111368758A (zh) * 2020-03-09 2020-07-03 苏宁云计算有限公司 一种人脸模糊度检测方法、装置、计算机设备及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
井长兴;章东平;杨力;: "级联神经网络人脸关键点定位研究", 中国计量大学学报, no. 02, pages 187 - 193 *
谭周燚;黄自力;王雪梅;黄正中;陈立;: "基于结构自适应归一化卷积的超分辨率红外图像重建", 电子技术, no. 02, pages 13 - 20 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112200176A (zh) * 2020-12-10 2021-01-08 长沙小钴科技有限公司 人脸图像的质量检测方法、***和计算机设备
CN113256620A (zh) * 2021-06-25 2021-08-13 南京思飞捷软件科技有限公司 基于差值卷积神经网络的车身焊接质量信息评判方法
CN115908260A (zh) * 2022-10-20 2023-04-04 北京的卢铭视科技有限公司 模型训练方法、人脸图像质量评价方法、设备及介质
CN115908260B (zh) * 2022-10-20 2023-10-20 北京的卢铭视科技有限公司 模型训练方法、人脸图像质量评价方法、设备及介质

Also Published As

Publication number Publication date
CN111862040B (zh) 2023-10-31

Similar Documents

Publication Publication Date Title
KR102319177B1 (ko) 이미지 내의 객체 자세를 결정하는 방법 및 장치, 장비, 및 저장 매체
CN111754396B (zh) 脸部图像处理方法、装置、计算机设备和存储介质
CN111814902A (zh) 目标检测模型训练方法、目标识别方法、装置和介质
CN110276767A (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN111862040B (zh) 人像图片质量评价方法、装置、设备及存储介质
CN110930296B (zh) 图像处理方法、装置、设备及存储介质
CN110879982B (zh) 一种人群计数***及方法
US20210166015A1 (en) Certificate image extraction method and terminal device
CN114120176B (zh) 远红外与可见光视频图像融合的行为分析方法
CN110866872B (zh) 一种路面裂缝图片预处理智能选择方法、装置及电子设备
CN114332578A (zh) 图像异常检测模型训练方法、图像异常检测方法和装置
CN112836756B (zh) 图像识别模型训练方法、***和计算机设备
CN110910445B (zh) 一种物件尺寸检测方法、装置、检测设备及存储介质
CN108492301A (zh) 一种场景分割方法、终端及存储介质
CN112836625A (zh) 人脸活体检测方法、装置、电子设备
CN111507288A (zh) 图像检测方法、装置、计算机设备和存储介质
CN111382791B (zh) 深度学习任务处理方法、图像识别任务处理方法和装置
CN113449704A (zh) 人脸识别模型训练方法、装置、电子设备及存储介质
CN113065593A (zh) 模型训练方法、装置、计算机设备和存储介质
CN113837965B (zh) 图像清晰度识别方法、装置、电子设备及存储介质
CN109615620B (zh) 图像压缩度识别方法、装置、设备及计算机可读存储介质
CN113516697B (zh) 图像配准的方法、装置、电子设备及计算机可读存储介质
CN112734747B (zh) 一种目标检测方法、装置、电子设备和存储介质
CN115115552B (zh) 图像矫正模型训练及图像矫正方法、装置和计算机设备
CN113963428B (zh) 模型训练方法、遮挡检测方法、***、电子设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant