CN110197146A - 基于深度学习的人脸图像分析方法、电子装置及存储介质 - Google Patents

基于深度学习的人脸图像分析方法、电子装置及存储介质 Download PDF

Info

Publication number
CN110197146A
CN110197146A CN201910432222.3A CN201910432222A CN110197146A CN 110197146 A CN110197146 A CN 110197146A CN 201910432222 A CN201910432222 A CN 201910432222A CN 110197146 A CN110197146 A CN 110197146A
Authority
CN
China
Prior art keywords
face
facial image
picture
preset
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910432222.3A
Other languages
English (en)
Other versions
CN110197146B (zh
Inventor
张一帆
邢斌
张颖
万正勇
沈志勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Merchants Finance Technology Co Ltd
Original Assignee
China Merchants Finance Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Merchants Finance Technology Co Ltd filed Critical China Merchants Finance Technology Co Ltd
Priority to CN201910432222.3A priority Critical patent/CN110197146B/zh
Publication of CN110197146A publication Critical patent/CN110197146A/zh
Application granted granted Critical
Publication of CN110197146B publication Critical patent/CN110197146B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种基于深度学习的人脸图像分析方法、电子装置及可读存储介质，该方法包括：获取待分析的人脸图片，调用人脸多属性检测模型对人脸图片进行识别得到第一预设类型的人脸属性特征；调用人脸角度判别模型对人脸图片进行识别得到第二预设类型的人脸属性特征；利用预设的图像处理规则计算出人脸图片的第三预设类型的人脸图像特征；分别将识别出的各个第一预设类型的人脸属性特征、第二预设类型的人脸属性特征、第三预设类型的人脸图像特征转换成对应的图片质量参数值，并将各个图片质量参数值代入预先确定的图片质量综合参数计算公式中，以计算出人脸图片对应的图像质量综合参数值。本发明能够比较全面和准确的对人脸图像进行质量分析。

Description

基于深度学习的人脸图像分析方法、电子装置及存储介质
技术领域
本发明涉及人脸识别技术领域，尤其涉及一种基于深度学习的人脸图像分析方法、电子装置及可读存储介质。
背景技术
当前，人脸识别技术越来越广泛地应用到生活中的各个场景，包括在安全、贸易和经济等领域的应用，诸如刑侦破案、证件验证和视频监视等。
近几年，人脸识别技术取得了相当大的进展，但是在实际应用中，在人脸图像质量较差的情况下，人脸识别的识别率和准确率会明显降低。低质量的图像进入人脸识别***将增加***的计算负荷，降低人脸识别准确率。因此，急需提出一种方法来对进入人脸识别***的人脸图像进行准确的质量分析。
发明内容
本发明的目的在于提供一种基于深度学习的人脸图像分析方法、电子装置及可读存储介质，旨在对人脸图像进行准确的质量分析。
为实现上述目的，本发明提供一种基于深度学习的人脸图像分析方法，所述基于深度学习的人脸图像分析方法包括：
获取待分析的人脸图片，调用预先训练的人脸多属性检测模型对所述人脸图片进行识别，以识别出若干第一预设类型的人脸属性特征；
调用预先训练的人脸角度判别模型对所述人脸图片进行识别，以识别出若干第二预设类型的人脸属性特征；
利用预设的图像处理规则计算出所述人脸图片的若干第三预设类型的人脸图像特征；
根据预先确定的人脸属性特征、人脸图像特征、图片质量参数值之间的映射关系，分别将识别出的各个第一预设类型的人脸属性特征、第二预设类型的人脸属性特征、第三预设类型的人脸图像特征转换成对应的图片质量参数值，并将各个第一预设类型的人脸属性特征、第二预设类型的人脸属性特征、第三预设类型的人脸图像特征对应的图片质量参数值代入预先确定的图片质量综合参数计算公式中，以计算出所述人脸图片对应的图像质量综合参数值。
优选地，还包括：
若所述人脸图片对应的图像质量综合参数值大于或等于预设阈值，则确定所述人脸图片的质量合格，将所述人脸图片输入至预设人脸识别***进行人脸识别。
优选地，所述第一预设类型的人脸属性特征包括人脸的模糊、表情、光照、遮挡和/或姿态属性特征，所述人脸多属性检测模型为卷积神经网络模型，所述人脸多属性检测模型的训练步骤包括：
获取预设第一数据库中预设数量的人脸图像样本；
分别为每一个人脸图像样本标记对应的人脸的模糊、表情、光照、遮挡和/或姿态属性特征；
将标记后的人脸图像样本分为第一比例的训练集、第二比例的验证集；利用所述训练集中的人脸图像样本训练所述人脸多属性检测模型，以得到训练好的人脸多属性检测模型，利用所述验证集中的人脸图像样本验证训练好的人脸多属性检测模型的准确率；及
若准确率大于或者等于预设阈值，则训练结束，或者，若准确率小于预设阈值，则增加所述人脸图像样本的数量，并重新执行上述各步骤。
优选地，所述人脸多属性检测模型包括多任务卷积神经网络MTCNN及第一附加结构；其中，MTCNN包括PNet、RNet和ONet三层网络结构，所述第一附加结构包括两个全连接层，所述第一附加结构的各个所述全连接层分别对应一个激活函数；所述获取待分析的人脸图片，调用预先训练的人脸多属性检测模型对所述人脸图片进行识别，以识别出若干第一预设类型的人脸属性特征的步骤包括：
获取待分析的人脸图片，利用MTCNN中的PNet、RNet和ONet三层网络结构对所述人脸图片进行识别后输出人脸面部特征，所述人脸面部特征再经过所述第一附加结构的两个全连接层输出若干第一预设类型的人脸属性特征。
优选地，所述第二预设类型的人脸属性特征包括俯仰角、滚转角和/或巡航角，所述人脸角度判别模型为卷积神经网络模型，所述人脸角度判别模型的训练步骤包括：
获取预设第二数据库中预设数量的人脸图像样本；
分别为每一个人脸图像样本标记对应的人脸的俯仰角、滚转角和/或巡航角；
将标记后的人脸图像样本分为第一比例的训练集、第二比例的验证集；
利用所述训练集中的人脸图像样本训练所述人脸角度判别模型，以得到训练好的人脸角度判别模型，利用所述验证集中的人脸图像样本验证训练好的人脸角度判别模型的准确率；及
若准确率大于或者等于预设阈值，则训练结束，或者，若准确率小于预设阈值，则增加所述人脸图像样本的数量，并重新执行上述各步骤。
优选地，所述人脸角度判别模型包括MobileNet V2网络及第二附加结构，其中，所述第二附加结构包括一个卷积层、一个池化层及一个全连接层；所述调用预先训练的人脸角度判别模型对所述人脸图片进行识别，以识别出若干第二预设类型的人脸属性特征的步骤包括：
利用MobileNet V2网络对所述人脸图片进行识别后输出人脸关键点信息，所述人脸关键点信息经过所述第二附加结构的卷积层进行1*1卷积操作以改变输出维度，再经所述第二附加结构的池化层进行批正则及平均池化处理，最后再经过所述第二附加结构的全连接层输出若干第二预设类型的人脸属性特征。
优选地，所述第三预设类型的人脸图像特征包括所述人脸图片的光照值和模糊值，所述利用预设的图像处理规则计算出所述人脸图片的若干第三预设类型的人脸图像特征的步骤包括：
利用OpenCV将所述人脸图片转化为HSV图像，对转化的HSV图像中的V通道取平均值作为所述人脸图片的光照值；
利用Laplacian算法对所述人脸图片进行边界检测，计算得到边界参数，将得到的边界参数作为所述人脸图片的模糊值。
优选地，所述预先确定的图片质量综合参数计算公式为：
f(x)＝(A1B1+A2B2+A3B3+……+AnBn)/(B1+B2+B3+……+Bn)
其中，n为大于2的正整数，A1、A2……An为各个第一预设类型的人脸属性特征、第二预设类型的人脸属性特征、第三预设类型的人脸图像特征转换得到的图片质量参数值，B1、B2……Bn为预先设定的各个第一预设类型的人脸属性特征、第二预设类型的人脸属性特征、第三预设类型的人脸图像特征对应的权重，f(x)为计算得到的所述人脸图片对应的图像质量综合参数值。
此外，为实现上述目的，本发明还提供一种电子装置，所述电子装置包括存储器、处理器，所述存储器上存储有可在所述处理器上运行的基于深度学习的人脸图像分析***，所述基于深度学习的人脸图像分析***被所述处理器执行时实现如上述的基于深度学习的人脸图像分析方法的步骤。
进一步地，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有基于深度学习的人脸图像分析***，所述基于深度学习的人脸图像分析***可被至少一个处理器执行，以使所述至少一个处理器执行如上述的基于深度学习的人脸图像分析方法的步骤。
本发明提出的基于深度学习的人脸图像分析方法、电子装置及可读存储介质，通过调用预先训练的人脸多属性检测模型、人脸角度判别模型对待分析的人脸图片进行识别，以识别出若干第一预设类型及第二预设类型的人脸属性特征，并利用预设的图像处理规则计算出所述人脸图片的若干第三预设类型的人脸图像特征，将识别出的各个第一预设类型的人脸属性特征、第二预设类型的人脸属性特征、第三预设类型的人脸图像特征转换成对应的图片质量参数值并代入预先确定的图片质量综合参数计算公式中，以计算出所述人脸图片对应的图像质量综合参数值。由于能利用预先训练的人脸多属性检测模型、人脸角度判别模型来识别出人脸图片中若干第一预设类型及第二预设类型的人脸属性特征，并结合人脸图片的若干第三预设类型的人脸图像特征来综合进行计算以分析判断人脸图片的图像质量，综合了多种类型的人脸属性，判断指标更具多样性，从而能够比较全面和准确的对人脸图像进行质量分析。
附图说明
图1为本发明基于深度学习的人脸图像分析***较佳实施例的运行环境示意图；
图2为人脸多属性检测模型的模型结构示意图；
图3是人脸角度判别模型的运行示意图；
图4为本发明基于深度学习的人脸图像分析***较佳实施例的程序模块图；
图5为本发明基于深度学习的人脸图像分析方法较佳实施例的流程示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，在本发明中涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
本发明提供一种基于深度学习的人脸图像分析***。请参阅图1，是本发明基于深度学习的人脸图像分析***10较佳实施例的运行环境示意图。
在本实施例中，所述的基于深度学***板电脑、便携计算机、桌上型计算机等具有存储和运算功能的终端设备。在一个实施例中，当电子装置1为服务器时，该服务器可以是机架式服务器、刀片式服务器、塔式服务器或机柜式服务器等的一种或几种。
在本实施例中，电子装置1可包括，但不仅限于，可通过***总线相互通信连接的存储器11、处理器12、网络接口13，存储器11存储有可在处理器12上运行的基于深度学习的人脸图像分析***10。需要指出的是，图1仅示出了具有组件11-13的电子装置1，但是应当理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
其中，存储器11包括内存及至少一种类型的可读存储介质。内存为电子装置1的运行提供缓存；可读存储介质可为如闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等的非易失性存储介质。在一些实施例中，可读存储介质可以是电子装置1的内部存储单元，例如该电子装置1的硬盘；在另一些实施例中，该非易失性存储介质也可以是电子装置1的外部存储设备，例如电子装置1上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。本实施例中，存储器11的可读存储介质通常用于存储安装于电子装置1的操作***和各类应用软件，例如存储本发明一实施例中的基于深度学习的人脸图像分析***10等。此外，存储器11还可以用于暂时地存储已经输出或者将要输出的各类数据。
所述处理器12在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器12通常用于控制所述电子装置1的总体操作，例如执行与所述其他设备进行数据交互或者通信相关的控制和处理等。本实施例中，所述处理器12用于运行所述存储器11中存储的程序代码或者处理数据，例如基于深度学习的人脸图像分析***10等。
所述网络接口13可包括无线网络接口或有线网络接口，该网络接口13通常用于在所述电子装置1与其他电子设备之间建立通信连接。
基于深度学习的人脸图像分析***10包括至少一个存储在所述存储器11中的计算机可读指令，该至少一个计算机可读指令可被所述处理器12执行，以实现本申请各实施例。
其中，上述基于深度学习的人脸图像分析***10被所述处理器12执行时实现如下步骤：
步骤S1，获取待分析的人脸图片，调用预先训练的人脸多属性检测模型对所述人脸图片进行识别，以识别出若干第一预设类型的人脸属性特征。
本实施例中，所述人脸图片可以是接收终端发送的目标用户的待分析人脸图片，或者在收到终端发送的针对所述目标用户的人脸图片质量分析请求后，控制该终端拍摄所述目标用户的人脸照片作为所述待分析的人脸图片，或者根据所述人脸图片质量分析请求中所述目标用户的用户标识(如用户的身份证号码等)，从预先确定的数据库中提取所述待分析的人脸图片。其中，所述第一预设类型的人脸属性特征可包括但不限于人脸的模糊、表情、光照、遮挡和姿态属性特征等。
步骤S2，调用预先训练的人脸角度判别模型对所述人脸图片进行识别，以识别出若干第二预设类型的人脸属性特征。例如，所述第二预设类型的人脸属性特征包括但不限于俯仰角、滚转角和巡航角等人脸角度特征。
步骤S3，利用预设的图像处理规则计算出所述人脸图片的若干第三预设类型的人脸图像特征。例如，所述第三预设类型的人脸图像特征可包括图片本身的一些特性，如所述人脸图片的光照值、模糊值等。
步骤S4，根据预先确定的人脸属性特征、人脸图像特征、图片质量参数值之间的映射关系，分别将识别出的各个第一预设类型的人脸属性特征、第二预设类型的人脸属性特征、第三预设类型的人脸图像特征转换成对应的图片质量参数值，并将各个第一预设类型的人脸属性特征、第二预设类型的人脸属性特征、第三预设类型的人脸图像特征对应的图片质量参数值代入预先确定的图片质量综合参数计算公式中，以计算出所述人脸图片对应的图像质量综合参数值。
本实施例通过调用预先训练的人脸多属性检测模型、人脸角度判别模型对待分析的人脸图片进行识别，以识别出若干第一预设类型及第二预设类型的人脸属性特征，并利用预设的图像处理规则计算出所述人脸图片的若干第三预设类型的人脸图像特征，将识别出的各个第一预设类型的人脸属性特征、第二预设类型的人脸属性特征、第三预设类型的人脸图像特征转换成对应的图片质量参数值并代入预先确定的图片质量综合参数计算公式中，以计算出所述人脸图片对应的图像质量综合参数值。由于能利用预先训练的人脸多属性检测模型、人脸角度判别模型来识别出人脸图片中若干第一预设类型及第二预设类型的人脸属性特征，并结合人脸图片的若干第三预设类型的人脸图像特征来综合进行计算以分析判断人脸图片的图像质量，综合了多种类型的人脸属性，判断指标更具多样性，从而能够比较全面和准确的对人脸图像进行质量分析。
可选的，所述基于深度学习的人脸图像分析***10被所述处理器12执行时，还实现如下步骤：
若所述人脸图片对应的图像质量综合参数值大于或等于预设阈值，则确定所述人脸图片的质量合格，将所述人脸图片输入至预设人脸识别***进行人脸识别。若所述人脸图片对应的图像质量综合参数值小于预设阈值，说明所述人脸图片的图像质量较低，则向预设终端发送人脸图片质量低的提示信息，和/或，直接丢弃所述人脸图片，即所述人脸图片不会被输入至预设人脸识别***进行人脸识别。
本实施例中在人脸识别***进行人脸识别之前对人脸图片质量进行综合分析，只将经分析质量合格的人脸图片输入至人脸识别***进行人脸识别，对于图像质量较低的人脸图片则进行丢弃，从而有效改善由于输入人脸图像质量过低引起的人脸识别***识别错误，不仅可以提高人脸识别***的识别准确率，而且被剔除的低质量人脸图像无需再做复杂的特征提取，即减轻了人脸识别***的运算负荷，提升了人脸识别***的工作效率。
可选的，在调用预先训练的人脸多属性检测模型对所述人脸图片进行识别之前，先预先训练人脸多属性检测模型。本实施例中所述第一预设类型的人脸属性特征包括人脸的模糊、表情、光照、遮挡和/或姿态属性特征，所述人脸多属性检测模型为卷积神经网络模型，所述人脸多属性检测模型的训练步骤包括：
获取预设第一数据库(例如WiderFace数据集，该数据集是人脸检测基准数据集，包含32203个图片并标记393703个面部)中预设数量的人脸图像样本；为每一个人脸图像样本标记对应的人脸的模糊、表情、光照、遮挡和/或姿态属性特征；例如，人脸图像样本1对应的标记为“无遮挡”，人脸图像样本2对应的标记为“被遮挡”，等等。将标记后的人脸图像样本分为第一比例(70％)的训练集、第二比例(30％)的验证集；利用所述训练集中的人脸图像样本训练所述人脸多属性检测模型，以得到训练好的人脸多属性检测模型，利用所述验证集中的人脸图像样本验证训练好的人脸多属性检测模型的准确率；及，若准确率大于或者等于预设阈值，则训练结束，或者，若准确率小于预设阈值，则增加所述人脸图像样本的数量，并重新执行上述各步骤。
在一种可选的实施方式中，如图2所示，图2是人脸多属性检测模型的模型结构示意图。本实施例中的人脸多属性检测模型包括多任务卷积神经网络(Multi-taskconvolutional neural network，简称MTCNN)的主要结构及第一附加结构。其中，多任务卷积神经网络MTCNN包括PNet、RNet和ONet三层网络结构，所述第一附加结构包括两个全连接层，所述第一附加结构的各个所述全连接层分别对应一个激活函数。在获取到待分析的人脸图片后，利用多任务卷积神经网络MTCNN中的PNet、RNet和ONet三层网络结构对所述人脸图片进行识别后输出人脸面部特征，多任务卷积神经网络MTCNN输出的人脸面部特征再经过所述第一附加结构的两个全连接层，最后输出人脸属性特征，包括人脸的模糊、表情、光照、遮挡和姿态属性特征。
如图2所示，多任务卷积神经网络MTCNN的主要结构由3个神经网络组成，分别是P-Net、R-Net和O-Net。在使用这些网络之前，首先要将原始图片即获取到的待分析的人脸图片放缩到不同尺寸，形成一个“图像金字塔”，接着会对每个尺寸的图片通过神经网络P-Net计算一遍。这样做的原因在于：原始图片中的人脸存在不同的尺寸，如有的人脸比较大，有的人脸比较小。对于比较小的人脸，就可以在放大后的图片上进行检测；对于比较大的人脸，可以在缩小后的图片上进行检测。这样就可以在同一的尺度下检测人脸了。
第一个网络P-Net输入的是一个宽和高皆为12像素，同时是3通道的RGB图像，该网络要判断这个12×12的图像中是否包含有人脸，并且给出人脸框和关键点位置。在实际计算中P-Net会对图像中每一个12×12的区域都做一次人脸检测。人脸框的大小各有不同，除了框回归的影响外，主要是因为将图片金字塔中的各个尺度都使用了P-Net计算了一遍，因此形成了大小不同的人脸框。P-Net的计算结果还是比较粗糙的，所以接下来又使用R-Net进一步调优。
R-Net输入图像是24×24×3，也就是说R-Net判断24×24×3的图像是否含有人脸，以及预测关键点位置。R-Net和P-Net输出完全一样，同样由人脸判别、框回归、关键点位置预测三部分组成。在实际计算中，对每一个P-Net输出可能为人脸的区域都缩放到24×24的大小，再输入在R-Net中，进行进一步判定。显然R-Net消除了P-Net中很多误判的情况。
进一步把所有得到的区域缩放成48×48的大小，输入到最后的O-Net中，O-Net的结构同样与P-Net类似，不同点在于它的输入是48×48×3的图像，网络的通道数和层数也更多了。从P-Net到R-Net，最后再到O-Net，网络输入图片越来越大，卷积层的通道数越来越多，内部的层数也越来越多，因此识别人脸的准确率应该是越来越高的。同时，P-Net的运行速度是最快的，R-Net的运行速度其次，O-Net的运行速度最慢。之所以要使用三个网络，是因为如果一开始直接对原始图片即获取到的待分析的人脸图片中每个区域使用O-Net，速度会非常慢。实际上P-Net先做了一遍过滤，将过滤后的结果再交给R-Net进行过滤，最后将过滤后的结果交给效果最好但速度较慢的O-Net进行判别。这样在每一步都提前减少了需要判别的数量，有效降低处理时间。
如图2所示，本实施例中人脸多属性检测模型将MTCNN网络中O-Net最后提取出的特征取出，然后经过所述第一附加结构中的两个全连接层，最后输出若干第一预设类型的人脸属性特征，即预测概率结果：模糊、表情、光照、遮挡和姿态。
可选的，在调用预先训练的人脸角度判别模型对所述人脸图像进行识别之前，先预先训练人脸角度判别模型。本实施例中，所述第二预设类型的人脸属性特征包括俯仰角、滚转角和/或巡航角，所述人脸角度判别模型为卷积神经网络模型，所述人脸角度判别模型的训练步骤包括：
获取预设第二数据库(例如AFLW人脸数据集，该数据集是一个包含多姿态、多视角的大规模人脸数据库，而且每个人脸都被标注了21个特征点。该数据库信息量非常大，包括了各种姿态、表情、光照等信息。AFLW人脸数据集包含25000副手工标注的人脸图片，其中59％为女性，41％为男性)中预设数量的人脸图像样本；为每一个人脸图像样本标记对应的人脸角度，例如，人脸图像样本1对应的标记为“俯仰角”或“俯仰角20度”，人脸图像样本2对应的标记为“滚转角”或“滚转角45度”，人脸图像样本3对应的标记为“巡航角”或“巡航角60度”，等等。将标记后的人脸图像样本分为第一比例(70％)的训练集、第二比例(30％)的验证集；利用所述训练集中的人脸图像样本训练所述人脸角度判别模型，以得到训练好的人脸角度判别模型，利用所述验证集中的人脸图像样本验证训练好的人脸角度判别模型的准确率；及，若准确率大于或者等于预设阈值，则训练结束，或者，若准确率小于预设阈值，则增加所述人脸图像样本的数量，并重新执行上述各步骤。
在一种可选的实施方式中，本实施例中的人脸角度判别模型包括MobileNet V2网络的主要模型结构及第二附加结构，所述第二附加结构包括一个卷积层、池化层及一个全连接层。在获取到待分析的人脸图片后，利用MobileNet V2网络对所述人脸图片进行识别后输出人脸关键点信息，所述人脸关键点信息经过所述第二附加结构的卷积层进行1*1卷积操作以改变输出维度，再经所述第二附加结构的池化层进行批正则及平均池化处理，最后再经过所述第二附加结构的全连接层输出若干第二预设类型的人脸属性特征，例如，输出最后预测的三个角度：俯仰角、滚转角和巡航角。
其中，MobileNet是由Google首创，它是一个高效的网络架构，允许通过两个超参数直接构建非常小、低延迟、易满足嵌入式设备要求的模型。MobileNet V2是MobileNet V1的改进版，MobileNet V1主要是引入depthwise separable convolution代替传统的卷积操作，相当于实现了spatial和channel之间的解耦，达到模型加速的目的，整体网络结构还是延续了VGG网络直上直下的特点。和MobileNet V1相比，MobileNet V2主要的改进有两点：1.Linear Bottlenecks，也就是去掉了小维度输出层后面的非线性激活层，目的是为了保证模型的表达能力。2.Inverted Residual block，该结构和传统的residual block中维度先缩减再扩增正好相反，因此shortcut也就变成了连接的是维度缩减后的feature map。
如图3所示，图3是人脸角度判别模型的运行示意图。本实施例中使用MobileNetV2来预测人脸的俯仰角、滚转角和巡航角时，在MobileNet V2尾部进行1*1卷积操作改变输出维度，中间再经池化层进行批正则及平均池化处理，最后接一个全连接层直接预测三个角度。MobileNet V2网络每一层的学习率如图3所示，网络权重为预先训练过的权重。网络的训练集为AFLW人脸数据集，该数据集是一个包含多姿态、多视角的大规模人脸数据库，而且每个人脸都被标注了21个特征点。此数据库信息量非常大，包括了各种姿态、表情、光照等信息。AFLW人脸数据集包含25000副手工标注的人脸图片，其中59％为女性，41％为男性。训练完之后又在大量人脸数据集上进行测试，三个角度的预测误差分别为[9.7,9.3,8.5]。
可选的，所述第三预设类型的人脸图像特征包括所述人脸图片的光照值和模糊值，所述利用预设的图像处理规则计算出所述人脸图片的若干第三预设类型的人脸图像特征的步骤包括：
利用OpenCV将所述人脸图片转化为HSV图像，对转化的HSV图像中的V通道取平均值作为所述人脸图片的光照值；
利用Laplacian算法对所述人脸图片进行边界检测，计算得到边界参数，将得到的边界参数作为所述人脸图片的模糊值。
本实施例中利用OpenCV库来计算出所述人脸图像的光照值和模糊值，在计算亮度时，先使用OpenCV将RGB图像格式的所述人脸图像转为HSV图像，其中，转化的HSV图像中的V通道表明颜色明亮的程度，即对V通道取平均值就能够计算出图片的光照值。在计算模糊值时，使用Laplacian算法对所述人脸图像进行计算得到。Laplacian算法是用来衡量图片的二阶导，能够强调图片中密度快速变化的区域，也就是边界，故常用于边界检测。可利用Laplacian算法对所述人脸图片进行边界检测，计算得到边界参数，将得到的边界参数作为所述人脸图片的模糊值。例如，该边界参数可以为方差，在正常图片中边界会比较清晰，因此方差会比较大；而在模糊图片中包含的边界信息很少，所以方差会较小。其中，OpenCV的全称是：Open Source Computer Vision Library。OpenCV是一个基于(开源)发行的跨平台计算机视觉库，可以运行在Linux、Windows和Mac OS操作***上。它轻量级而且高效——由一系列C函数和少量C++类构成，同时提供了Python、Ruby、Matable等语言的接口，实现了图像处理和计算机视觉方面很多通用的算法。
可选的，在识别出所述人脸图片的所有属性(各个人脸属性特征以及人脸图像特征如光照值、模糊值)后，根据预先确定的人脸属性特征、人脸图像特征、图片质量参数值之间的映射关系，分别将识别出的各个第一预设类型的人脸属性特征、第二预设类型的人脸属性特征、第三预设类型的人脸图像特征转换成对应的图片质量参数值，并将转换的图片质量参数值代入预先确定的图片质量综合参数计算公式中进行计算。例如，在一种实施例中，图片质量综合参数计算公式如下：
f(x)＝(A1B1+A2B2+A3B3+……+AnBn)/(B1+B2+B3+……+Bn)
其中，n为大于2的正整数，A1、A2……An为各个属性转换得到的图片质量参数值，如各个第一预设类型的人脸属性特征、第二预设类型的人脸属性特征、第三预设类型的人脸图像特征转换成对应的图片质量参数值，B1、B2……Bn为预先设定的各个第一预设类型的人脸属性特征、第二预设类型的人脸属性特征、第三预设类型的人脸图像特征对应的权重，f(x)则为最终计算得到的加权平均值，也即所述人脸图片对应的图像质量综合参数值。
例如，在识别出所述人脸图片的所有属性(各个人脸属性特征、人脸角度特征以及光照值和模糊值)后，可根据预先确定的人脸属性特征、人脸图像特征、图片质量参数值之间的映射关系，分别将识别出的各个第一预设类型的人脸属性特征、第二预设类型的人脸属性特征、第三预设类型的人脸图像特征转换成对应的图片质量参数值，即将每个属性转换为对应的评分，最后将每个属性转换的评分进行加权平均后就计算得到了最终所述人脸图片的图像质量综合参数值也即综合评分。在将每个属性转换为对应的评分时，一般认为质量高的人脸图片应该是面部表情正常、无遮挡、头部姿态正常、光照适中和模糊度低等属性特征。因此可根据这些属性特征来对应设置评分标准，例如无遮挡的话，该项属性得分为100分，否则为0分。在一种实施例中，如下表1所示：
表1
将各项属性进行单独打分后，再进行加权平均，选择加权系数时，可根据实际应用需要进行设置，例如，由于考虑到三个角度对人脸识别***影响较大，所以可将三个角度(俯仰角、滚转角和巡航角)的加权系数设置为2，其他属性的加权系数设置为1。那么按照这个加权系数就能够得到最后所述人脸图片的综合评分(图像质量综合参数值)也即体现所述人脸图片的质量高低的质量分数。
参照图4所示，为图4中基于深度学习的人脸图像分析***10较佳实施例的功能模块图。所述基于深度学习的人脸图像分析***10被分割为一个或者多个功能模块，该一个或者多个功能模块被存储于存储器11中，并由处理器12执行以完成本发明。本发明所称的“模块”是指能够完成特定功能的一系列计算机程序指令集。在本实施例中，所述基于深度学习的人脸图像分析***10被分割为：第一识别模块100、第二识别模块110、第一计算模块120、第二计算模块130。应该理解的是：在本实施例中，将所述基于深度学习的人脸图像分析***10分割成第一识别模块100、第二识别模块110、第一计算模块120、第二计算模块130，仅仅是为了更清楚的表达出所述基于深度学习的人脸图像分析***10所能实现的功能，并不用于限定所述基于深度学习的人脸图像分析***10仅能或者必须分割成第一识别模块100、第二识别模块110、第一计算模块120、第二计算模块130，对本领域的技术人员来说，可以在其它实施例中，轻易将所述基于深度学习的人脸图像分析***10分割成与本实施例不同的功能模块，在此不做赘述。
所述第一识别模块100，用于：获取待分析的人脸图片，调用预先训练的人脸多属性检测模型对所述人脸图片进行识别，以识别出若干第一预设类型的人脸属性特征；
所述第二识别模块110，用于：调用预先训练的人脸角度判别模型对所述人脸图片进行识别，以识别出若干第二预设类型的人脸属性特征；
所述第一计算模块120，用于：利用预设的图像处理规则计算出所述人脸图片的若干第三预设类型的人脸图像特征；
所述第二计算模块130，用于：根据预先确定的人脸属性特征、人脸图像特征、图片质量参数值之间的映射关系，分别将识别出的各个第一预设类型的人脸属性特征、第二预设类型的人脸属性特征、第三预设类型的人脸图像特征转换成对应的图片质量参数值，并将各个第一预设类型的人脸属性特征、第二预设类型的人脸属性特征、第三预设类型的人脸图像特征对应的图片质量参数值代入预先确定的图片质量综合参数计算公式中，以计算出所述人脸图片对应的图像质量综合参数值。
上述第一识别模块100、第二识别模块110、第一计算模块120、第二计算模块130等程序模块被执行时所实现的功能或操作步骤与上述实施例大体相同，在此不再赘述。
如图5所示，图5为本发明基于深度学习的人脸图像分析方法较佳实施例的流程示意图，该基于深度学习的人脸图像分析方法包括以下步骤：
步骤S10，获取待分析的人脸图片，调用预先训练的人脸多属性检测模型对所述人脸图片进行识别，以识别出若干第一预设类型的人脸属性特征。
本实施例中，所述人脸图片可以是接收终端发送的目标用户的待分析人脸图片，或者在收到终端发送的针对所述目标用户的人脸图片质量分析请求后，控制该终端拍摄所述目标用户的人脸照片作为所述待分析的人脸图片，或者根据所述人脸图片质量分析请求中所述目标用户的用户标识(如用户的身份证号码等)，从预先确定的数据库中提取所述待分析的人脸图片。其中，所述第一预设类型的人脸属性特征可包括但不限于人脸的模糊、表情、光照、遮挡和姿态属性特征等。
步骤S20，调用预先训练的人脸角度判别模型对所述人脸图片进行识别，以识别出若干第二预设类型的人脸属性特征。例如，所述第二预设类型的人脸属性特征包括但不限于俯仰角、滚转角和巡航角等人脸角度特征。
步骤S30，利用预设的图像处理规则计算出所述人脸图片的若干第三预设类型的人脸图像特征。例如，所述第三预设类型的人脸图像特征可包括图片本身的一些特性，如所述人脸图片的光照值、模糊值等。
步骤S40，根据预先确定的人脸属性特征、人脸图像特征、图片质量参数值之间的映射关系，分别将识别出的各个第一预设类型的人脸属性特征、第二预设类型的人脸属性特征、第三预设类型的人脸图像特征转换成对应的图片质量参数值，并将各个第一预设类型的人脸属性特征、第二预设类型的人脸属性特征、第三预设类型的人脸图像特征对应的图片质量参数值代入预先确定的图片质量综合参数计算公式中，以计算出所述人脸图片对应的图像质量综合参数值。
本实施例通过调用预先训练的人脸多属性检测模型、人脸角度判别模型对待分析的人脸图片进行识别，以识别出若干第一预设类型及第二预设类型的人脸属性特征，并利用预设的图像处理规则计算出所述人脸图片的若干第三预设类型的人脸图像特征，将识别出的各个第一预设类型的人脸属性特征、第二预设类型的人脸属性特征、第三预设类型的人脸图像特征转换成对应的图片质量参数值并代入预先确定的图片质量综合参数计算公式中，以计算出所述人脸图片对应的图像质量综合参数值。由于能利用预先训练的人脸多属性检测模型、人脸角度判别模型来识别出人脸图片中若干第一预设类型及第二预设类型的人脸属性特征，并结合人脸图片的若干第三预设类型的人脸图像特征来综合进行计算以分析判断人脸图片的图像质量，综合了多种类型的人脸属性，判断指标更具多样性，从而能够比较全面和准确的对人脸图像进行质量分析。
可选的，所述基于深度学习的人脸图像分析***10被所述处理器12执行时，还实现如下步骤：
若所述人脸图片对应的图像质量综合参数值大于或等于预设阈值，则确定所述人脸图片的质量合格，将所述人脸图片输入至预设人脸识别***进行人脸识别。若所述人脸图片对应的图像质量综合参数值小于预设阈值，说明所述人脸图片的图像质量较低，则向预设终端发送人脸图片质量低的提示信息，和/或，直接丢弃所述人脸图片，即所述人脸图片不会被输入至预设人脸识别***进行人脸识别。
本实施例中在人脸识别***进行人脸识别之前对人脸图片质量进行综合分析，只将经分析质量合格的人脸图片输入至人脸识别***进行人脸识别，对于图像质量较低的人脸图片则进行丢弃，从而有效改善由于输入人脸图像质量过低引起的人脸识别***识别错误，不仅可以提高人脸识别***的识别准确率，而且被剔除的低质量人脸图像无需再做复杂的特征提取，即减轻了人脸识别***的运算负荷，提升了人脸识别***的工作效率。
可选的，在调用预先训练的人脸多属性检测模型对所述人脸图片进行识别之前，先预先训练人脸多属性检测模型。本实施例中所述第一预设类型的人脸属性特征包括人脸的模糊、表情、光照、遮挡和/或姿态属性特征，所述人脸多属性检测模型为卷积神经网络模型，所述人脸多属性检测模型的训练步骤包括：
获取预设第一数据库(例如WiderFace数据集，该数据集是人脸检测基准数据集，包含32203个图片并标记393703个面部)中预设数量的人脸图像样本；为每一个人脸图像样本标记对应的人脸的模糊、表情、光照、遮挡和/或姿态属性特征；例如，人脸图像样本1对应的标记为“无遮挡”，人脸图像样本2对应的标记为“被遮挡”，等等。将标记后的人脸图像样本分为第一比例(70％)的训练集、第二比例(30％)的验证集；利用所述训练集中的人脸图像样本训练所述人脸多属性检测模型，以得到训练好的人脸多属性检测模型，利用所述验证集中的人脸图像样本验证训练好的人脸多属性检测模型的准确率；及，若准确率大于或者等于预设阈值，则训练结束，或者，若准确率小于预设阈值，则增加所述人脸图像样本的数量，并重新执行上述各步骤。
在一种可选的实施方式中，如图2所示，图2是人脸多属性检测模型的模型结构示意图。本实施例中的人脸多属性检测模型包括多任务卷积神经网络(Multi-taskconvolutional neural network，简称MTCNN)的主要结构及第一附加结构。其中，多任务卷积神经网络MTCNN包括PNet、RNet和ONet三层网络结构，所述第一附加结构包括两个全连接层，所述第一附加结构的各个所述全连接层分别对应一个激活函数。在获取到待分析的人脸图片后，利用多任务卷积神经网络MTCNN中的PNet、RNet和ONet三层网络结构对所述人脸图片进行识别后输出人脸面部特征，多任务卷积神经网络MTCNN输出的人脸面部特征再经过所述第一附加结构的两个全连接层，最后输出人脸属性特征，包括人脸的模糊、表情、光照、遮挡和姿态属性特征。
如图2所示，多任务卷积神经网络MTCNN的主要结构由3个神经网络组成，分别是P-Net、R-Net和O-Net。在使用这些网络之前，首先要将原始图片即获取到的待分析的人脸图片放缩到不同尺寸，形成一个“图像金字塔”，接着会对每个尺寸的图片通过神经网络P-Net计算一遍。这样做的原因在于：原始图片中的人脸存在不同的尺寸，如有的人脸比较大，有的人脸比较小。对于比较小的人脸，就可以在放大后的图片上进行检测；对于比较大的人脸，可以在缩小后的图片上进行检测。这样就可以在同一的尺度下检测人脸了。
第一个网络P-Net输入的是一个宽和高皆为12像素，同时是3通道的RGB图像，该网络要判断这个12×12的图像中是否包含有人脸，并且给出人脸框和关键点位置。在实际计算中P-Net会对图像中每一个12×12的区域都做一次人脸检测。人脸框的大小各有不同，除了框回归的影响外，主要是因为将图片金字塔中的各个尺度都使用了P-Net计算了一遍，因此形成了大小不同的人脸框。P-Net的计算结果还是比较粗糙的，所以接下来又使用R-Net进一步调优。
R-Net输入图像是24×24×3，也就是说R-Net判断24×24×3的图像是否含有人脸，以及预测关键点位置。R-Net和P-Net输出完全一样，同样由人脸判别、框回归、关键点位置预测三部分组成。在实际计算中，对每一个P-Net输出可能为人脸的区域都缩放到24×24的大小，再输入在R-Net中，进行进一步判定。显然R-Net消除了P-Net中很多误判的情况。
进一步把所有得到的区域缩放成48×48的大小，输入到最后的O-Net中，O-Net的结构同样与P-Net类似，不同点在于它的输入是48×48×3的图像，网络的通道数和层数也更多了。从P-Net到R-Net，最后再到O-Net，网络输入图片越来越大，卷积层的通道数越来越多，内部的层数也越来越多，因此识别人脸的准确率应该是越来越高的。同时，P-Net的运行速度是最快的，R-Net的运行速度其次，O-Net的运行速度最慢。之所以要使用三个网络，是因为如果一开始直接对原始图片即获取到的待分析的人脸图片中每个区域使用O-Net，速度会非常慢。实际上P-Net先做了一遍过滤，将过滤后的结果再交给R-Net进行过滤，最后将过滤后的结果交给效果最好但速度较慢的O-Net进行判别。这样在每一步都提前减少了需要判别的数量，有效降低处理时间。
如图2所示，本实施例中人脸多属性检测模型将MTCNN网络中O-Net最后提取出的特征取出，然后经过所述第一附加结构中的两个全连接层，最后输出若干第一预设类型的人脸属性特征，即预测概率结果：模糊、表情、光照、遮挡和姿态。
可选的，在调用预先训练的人脸角度判别模型对所述人脸图像进行识别之前，先预先训练人脸角度判别模型。本实施例中，所述第二预设类型的人脸属性特征包括俯仰角、滚转角和/或巡航角，所述人脸角度判别模型为卷积神经网络模型，所述人脸角度判别模型的训练步骤包括：
获取预设第二数据库(例如AFLW人脸数据集，该数据集是一个包含多姿态、多视角的大规模人脸数据库，而且每个人脸都被标注了21个特征点。该数据库信息量非常大，包括了各种姿态、表情、光照等信息。AFLW人脸数据集包含25000副手工标注的人脸图片，其中59％为女性，41％为男性)中预设数量的人脸图像样本；为每一个人脸图像样本标记对应的人脸角度，例如，人脸图像样本1对应的标记为“俯仰角”或“俯仰角20度”，人脸图像样本2对应的标记为“滚转角”或“滚转角45度”，人脸图像样本3对应的标记为“巡航角”或“巡航角60度”，等等。将标记后的人脸图像样本分为第一比例(70％)的训练集、第二比例(30％)的验证集；利用所述训练集中的人脸图像样本训练所述人脸角度判别模型，以得到训练好的人脸角度判别模型，利用所述验证集中的人脸图像样本验证训练好的人脸角度判别模型的准确率；及，若准确率大于或者等于预设阈值，则训练结束，或者，若准确率小于预设阈值，则增加所述人脸图像样本的数量，并重新执行上述各步骤。
在一种可选的实施方式中，本实施例中的人脸角度判别模型包括MobileNet V2网络的主要模型结构及第二附加结构，所述第二附加结构包括一个卷积层、池化层及一个全连接层。在获取到待分析的人脸图片后，利用MobileNet V2网络对所述人脸图片进行识别后输出人脸关键点信息，所述人脸关键点信息经过所述第二附加结构的卷积层进行1*1卷积操作以改变输出维度，再经所述第二附加结构的池化层进行批正则及平均池化处理，最后再经过所述第二附加结构的全连接层输出若干第二预设类型的人脸属性特征，例如，输出最后预测的三个角度：俯仰角、滚转角和巡航角。
其中，MobileNet是由Google首创，它是一个高效的网络架构，允许通过两个超参数直接构建非常小、低延迟、易满足嵌入式设备要求的模型。MobileNet V2是MobileNet V1的改进版，MobileNet V1主要是引入depthwise separable convolution代替传统的卷积操作，相当于实现了spatial和channel之间的解耦，达到模型加速的目的，整体网络结构还是延续了VGG网络直上直下的特点。和MobileNet V1相比，MobileNet V2主要的改进有两点：1.Linear Bottlenecks，也就是去掉了小维度输出层后面的非线性激活层，目的是为了保证模型的表达能力。2.Inverted Residual block，该结构和传统的residual block中维度先缩减再扩增正好相反，因此shortcut也就变成了连接的是维度缩减后的feature map。
如图3所示，图3是人脸角度判别模型的运行示意图。本实施例中使用MobileNetV2来预测人脸的俯仰角、滚转角和巡航角时，在MobileNet V2尾部进行1*1卷积操作改变输出维度，中间再经池化层进行批正则及平均池化处理，最后接一个全连接层直接预测三个角度。MobileNet V2网络每一层的学习率如图3所示，网络权重为预先训练过的权重。网络的训练集为AFLW人脸数据集，该数据集是一个包含多姿态、多视角的大规模人脸数据库，而且每个人脸都被标注了21个特征点。此数据库信息量非常大，包括了各种姿态、表情、光照等信息。AFLW人脸数据集包含25000副手工标注的人脸图片，其中59％为女性，41％为男性。训练完之后又在大量人脸数据集上进行测试，三个角度的预测误差分别为[9.7,9.3,8.5]。
可选的，所述第三预设类型的人脸图像特征包括所述人脸图片的光照值和模糊值，所述利用预设的图像处理规则计算出所述人脸图片的若干第三预设类型的人脸图像特征的步骤包括：
利用OpenCV将所述人脸图片转化为HSV图像，对转化的HSV图像中的V通道取平均值作为所述人脸图片的光照值；
利用Laplacian算法对所述人脸图片进行边界检测，计算得到边界参数，将得到的边界参数作为所述人脸图片的模糊值。
本实施例中利用OpenCV库来计算出所述人脸图像的光照值和模糊值，在计算亮度时，先使用OpenCV将RGB图像格式的所述人脸图像转为HSV图像，其中，转化的HSV图像中的V通道表明颜色明亮的程度，即对V通道取平均值就能够计算出图片的光照值。在计算模糊值时，使用Laplacian算法对所述人脸图像进行计算得到。Laplacian算法是用来衡量图片的二阶导，能够强调图片中密度快速变化的区域，也就是边界，故常用于边界检测。可利用Laplacian算法对所述人脸图片进行边界检测，计算得到边界参数，将得到的边界参数作为所述人脸图片的模糊值。例如，该边界参数可以为方差，在正常图片中边界会比较清晰，因此方差会比较大；而在模糊图片中包含的边界信息很少，所以方差会较小。其中，OpenCV的全称是：Open Source Computer Vision Library。OpenCV是一个基于(开源)发行的跨平台计算机视觉库，可以运行在Linux、Windows和Mac OS操作***上。它轻量级而且高效——由一系列C函数和少量C++类构成，同时提供了Python、Ruby、Matable等语言的接口，实现了图像处理和计算机视觉方面很多通用的算法。
可选的，在识别出所述人脸图片的所有属性(各个人脸属性特征以及人脸图像特征如光照值、模糊值)后，根据预先确定的人脸属性特征、人脸图像特征、图片质量参数值之间的映射关系，分别将识别出的各个第一预设类型的人脸属性特征、第二预设类型的人脸属性特征、第三预设类型的人脸图像特征转换成对应的图片质量参数值，并将转换的图片质量参数值代入预先确定的图片质量综合参数计算公式中进行计算。例如，在一种实施例中，图片质量综合参数计算公式如下：
f(x)＝(A1B1+A2B2+A3B3+……+AnBn)/(B1+B2+B3+……+Bn)
其中，n为大于2的正整数，A1、A2……An为各个属性转换得到的图片质量参数值，如各个第一预设类型的人脸属性特征、第二预设类型的人脸属性特征、第三预设类型的人脸图像特征转换成对应的图片质量参数值，B1、B2……Bn为预先设定的各个第一预设类型的人脸属性特征、第二预设类型的人脸属性特征、第三预设类型的人脸图像特征对应的权重，f(x)则为最终计算得到的加权平均值，也即所述人脸图片对应的图像质量综合参数值。
例如，在识别出所述人脸图片的所有属性(各个人脸属性特征、人脸角度特征以及光照值和模糊值)后，可根据预先确定的人脸属性特征、人脸图像特征、图片质量参数值之间的映射关系，分别将识别出的各个第一预设类型的人脸属性特征、第二预设类型的人脸属性特征、第三预设类型的人脸图像特征转换成对应的图片质量参数值，即将每个属性转换为对应的评分，最后将每个属性转换的评分进行加权平均后就计算得到了最终所述人脸图片的图像质量综合参数值也即综合评分。在将每个属性转换为对应的评分时，一般认为质量高的人脸图片应该是面部表情正常、无遮挡、头部姿态正常、光照适中和模糊度低等属性特征。因此可根据这些属性特征来对应设置评分标准，例如无遮挡的话，该项属性得分为100分，否则为0分。在一种实施例中，如下表2所示：
表2
将各项属性进行单独打分后，再进行加权平均，选择加权系数时，可根据实际应用需要进行设置，例如，由于考虑到三个角度对人脸识别***影响较大，所以可将三个角度(俯仰角、滚转角和巡航角)的加权系数设置为2，其他属性的加权系数设置为1。那么按照这个加权系数就能够得到最后所述人脸图片的综合评分(图像质量综合参数值)也即体现所述人脸图片的质量高低的质量分数。
此外，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有基于深度学习的人脸图像分析***，所述基于深度学习的人脸图像分析***可被至少一个处理器执行，以使所述至少一个处理器执行如下步骤：
获取待分析的人脸图片，调用预先训练的人脸多属性检测模型对所述人脸图片进行识别，以识别出若干第一预设类型的人脸属性特征；
调用预先训练的人脸角度判别模型对所述人脸图片进行识别，以识别出若干第二预设类型的人脸属性特征；
利用预设的图像处理规则计算出所述人脸图片的若干第三预设类型的人脸图像特征；
根据预先确定的人脸属性特征、人脸图像特征、图片质量参数值之间的映射关系，分别将识别出的各个第一预设类型的人脸属性特征、第二预设类型的人脸属性特征、第三预设类型的人脸图像特征转换成对应的图片质量参数值，并将各个第一预设类型的人脸属性特征、第二预设类型的人脸属性特征、第三预设类型的人脸图像特征对应的图片质量参数值代入预先确定的图片质量综合参数计算公式中，以计算出所述人脸图片对应的图像质量综合参数值。
本发明计算机可读存储介质具体实施方式与上述电子装置1和方法各实施例基本相同，在此不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件来实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
以上参照附图说明了本发明的优选实施例，并非因此局限本发明的权利范围。上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。另外，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
本领域技术人员不脱离本发明的范围和实质，可以有多种变型方案实现本发明，比如作为一个实施例的特征可用于另一实施例而得到又一实施例。凡在运用本发明的技术构思之内所作的任何修改、等同替换和改进，均应在本发明的权利范围之内。

Claims (10)

1.一种基于深度学习的人脸图像分析方法，其特征在于，所述基于深度学习的人脸图像分析方法包括：
获取待分析的人脸图片，调用预先训练的人脸多属性检测模型对所述人脸图片进行识别，以识别出若干第一预设类型的人脸属性特征；
调用预先训练的人脸角度判别模型对所述人脸图片进行识别，以识别出若干第二预设类型的人脸属性特征；
利用预设的图像处理规则计算出所述人脸图片的若干第三预设类型的人脸图像特征；
根据预先确定的人脸属性特征、人脸图像特征、图片质量参数值之间的映射关系，分别将识别出的各个第一预设类型的人脸属性特征、第二预设类型的人脸属性特征、第三预设类型的人脸图像特征转换成对应的图片质量参数值，并将各个第一预设类型的人脸属性特征、第二预设类型的人脸属性特征、第三预设类型的人脸图像特征对应的图片质量参数值代入预先确定的图片质量综合参数计算公式中，以计算出所述人脸图片对应的图像质量综合参数值。
2.如权利要求1所述的基于深度学习的人脸图像分析方法，其特征在于，还包括：
若所述人脸图片对应的图像质量综合参数值大于或等于预设阈值，则确定所述人脸图片的质量合格，将所述人脸图片输入至预设人脸识别***进行人脸识别。
3.如权利要求1所述的基于深度学习的人脸图像分析方法，其特征在于，所述第一预设类型的人脸属性特征包括人脸的模糊、表情、光照、遮挡和/或姿态属性特征，所述人脸多属性检测模型为卷积神经网络模型，所述人脸多属性检测模型的训练步骤包括：
获取预设第一数据库中预设数量的人脸图像样本；
分别为每一个人脸图像样本标记对应的人脸的模糊、表情、光照、遮挡和/或姿态属性特征；
将标记后的人脸图像样本分为第一比例的训练集、第二比例的验证集；利用所述训练集中的人脸图像样本训练所述人脸多属性检测模型，以得到训练好的人脸多属性检测模型，利用所述验证集中的人脸图像样本验证训练好的人脸多属性检测模型的准确率；及
若准确率大于或者等于预设阈值，则训练结束，或者，若准确率小于预设阈值，则增加所述人脸图像样本的数量，并重新执行上述各步骤。
4.如权利要求1或3所述的基于深度学习的人脸图像分析方法，其特征在于，所述人脸多属性检测模型包括多任务卷积神经网络MTCNN及第一附加结构；其中，MTCNN包括PNet、RNet和ONet三层网络结构，所述第一附加结构包括两个全连接层，所述第一附加结构的各个所述全连接层分别对应一个激活函数；所述获取待分析的人脸图片，调用预先训练的人脸多属性检测模型对所述人脸图片进行识别，以识别出若干第一预设类型的人脸属性特征的步骤包括：
获取待分析的人脸图片，利用MTCNN中的PNet、RNet和ONet三层网络结构对所述人脸图片进行识别后输出人脸面部特征，所述人脸面部特征再经过所述第一附加结构的两个全连接层输出若干第一预设类型的人脸属性特征。
5.如权利要求1所述的基于深度学习的人脸图像分析方法，其特征在于，所述第二预设类型的人脸属性特征包括俯仰角、滚转角和/或巡航角，所述人脸角度判别模型为卷积神经网络模型，所述人脸角度判别模型的训练步骤包括：
获取预设第二数据库中预设数量的人脸图像样本；
分别为每一个人脸图像样本标记对应的人脸的俯仰角、滚转角和/或巡航角；
将标记后的人脸图像样本分为第一比例的训练集、第二比例的验证集；
利用所述训练集中的人脸图像样本训练所述人脸角度判别模型，以得到训练好的人脸角度判别模型，利用所述验证集中的人脸图像样本验证训练好的人脸角度判别模型的准确率；及
若准确率大于或者等于预设阈值，则训练结束，或者，若准确率小于预设阈值，则增加所述人脸图像样本的数量，并重新执行上述各步骤。
6.如权利要求1或5所述的基于深度学习的人脸图像分析方法，其特征在于，所述人脸角度判别模型包括MobileNet V2网络及第二附加结构，其中，所述第二附加结构包括一个卷积层、一个池化层及一个全连接层；所述调用预先训练的人脸角度判别模型对所述人脸图片进行识别，以识别出若干第二预设类型的人脸属性特征的步骤包括：
利用MobileNet V2网络对所述人脸图片进行识别后输出人脸关键点信息，所述人脸关键点信息经过所述第二附加结构的卷积层进行1*1卷积操作以改变输出维度，再经所述第二附加结构的池化层进行批正则及平均池化处理，最后再经过所述第二附加结构的全连接层输出若干第二预设类型的人脸属性特征。
7.如权利要求1所述的基于深度学习的人脸图像分析方法，其特征在于，所述第三预设类型的人脸图像特征包括所述人脸图片的光照值和模糊值，所述利用预设的图像处理规则计算出所述人脸图片的若干第三预设类型的人脸图像特征的步骤包括：
利用OpenCV将所述人脸图片转化为HSV图像，对转化的HSV图像中的V通道取平均值作为所述人脸图片的光照值；
利用Laplacian算法对所述人脸图片进行边界检测，计算得到边界参数，将得到的边界参数作为所述人脸图片的模糊值。
8.如权利要求1所述的基于深度学习的人脸图像分析方法，其特征在于，所述预先确定的图片质量综合参数计算公式为：
f(x)＝(A1B1+A2B2+A3B3+……+AnBn)/(B1+B2+B3+……+Bn)
其中，n为大于2的正整数，A1、A2……An为各个第一预设类型的人脸属性特征、第二预设类型的人脸属性特征、第三预设类型的人脸图像特征转换得到的图片质量参数值，B1、B2……Bn为预先设定的各个第一预设类型的人脸属性特征、第二预设类型的人脸属性特征、第三预设类型的人脸图像特征对应的权重，f(x)为计算得到的所述人脸图片对应的图像质量综合参数值。
9.一种电子装置，其特征在于，所述电子装置包括存储器、处理器，所述存储器上存储有可在所述处理器上运行的基于深度学习的人脸图像分析***，所述基于深度学习的人脸图像分析***被所述处理器执行时实现如权利要求1至8中任意一项所述的基于深度学习的人脸图像分析方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有基于深度学习的人脸图像分析***，所述基于深度学习的人脸图像分析***被处理器执行时实现如权利要求1至8中任意一项所述的基于深度学习的人脸图像分析方法的步骤。
CN201910432222.3A 2019-05-23 2019-05-23 基于深度学习的人脸图像分析方法、电子装置及存储介质 Active CN110197146B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910432222.3A CN110197146B (zh) 2019-05-23 2019-05-23 基于深度学习的人脸图像分析方法、电子装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910432222.3A CN110197146B (zh) 2019-05-23 2019-05-23 基于深度学习的人脸图像分析方法、电子装置及存储介质

Publications (2)

Publication Number Publication Date
CN110197146A true CN110197146A (zh) 2019-09-03
CN110197146B CN110197146B (zh) 2021-02-23

Family

ID=67751681

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910432222.3A Active CN110197146B (zh) 2019-05-23 2019-05-23 基于深度学习的人脸图像分析方法、电子装置及存储介质

Country Status (1)

Country Link
CN (1) CN110197146B (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110796101A (zh) * 2019-10-31 2020-02-14 广东光速智能设备有限公司 一种嵌入式平台的人脸识别方法及***
CN111339889A (zh) * 2020-02-20 2020-06-26 浙江大华技术股份有限公司 人脸优选方法、装置及存储介质
CN111382693A (zh) * 2020-03-05 2020-07-07 北京迈格威科技有限公司 图像质量的确定方法、装置、电子设备和计算机可读介质
CN111538344A (zh) * 2020-05-14 2020-08-14 重庆科技学院 基于面部关键点运动跟随的智能轮椅及其控制方法
CN111652242A (zh) * 2020-04-20 2020-09-11 北京迈格威科技有限公司 图像处理方法、装置、电子设备及存储介质
CN111861875A (zh) * 2020-07-30 2020-10-30 北京金山云网络技术有限公司 一种人脸美化的方法、装置、设备和介质
CN111931551A (zh) * 2020-05-26 2020-11-13 东南大学 一种基于轻量级级联网络的人脸检测方法
CN112200804A (zh) * 2020-11-09 2021-01-08 北京地平线信息技术有限公司 图像检测方法、装置、计算机可读存储介质及电子设备
CN112199530A (zh) * 2020-10-22 2021-01-08 天津众颐科技有限责任公司 多维度脸库图片自动更新方法、***、设备及介质
CN112766158A (zh) * 2021-01-20 2021-05-07 重庆邮电大学 基于多任务级联式人脸遮挡表情识别方法
CN112825120A (zh) * 2019-11-20 2021-05-21 北京眼神智能科技有限公司 人脸光照评价方法、装置、计算机可读存储介质及设备
CN113077265A (zh) * 2020-12-08 2021-07-06 泰州市朗嘉馨网络科技有限公司 直播客户信誉管理***
CN113642541A (zh) * 2021-10-14 2021-11-12 环球数科集团有限公司 一种基于深度学习的人脸属性识别***
CN113673448A (zh) * 2021-08-24 2021-11-19 厦门立林科技有限公司 一种云和端集成的人脸图像质量动态检测方法及***
CN114004779A (zh) * 2020-07-27 2022-02-01 中移物联网有限公司 一种基于深度学习的人脸质量评价方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070230823A1 (en) * 2006-02-22 2007-10-04 Altek Corporation Image evaluation system and method
US8441548B1 (en) * 2012-06-15 2013-05-14 Google Inc. Facial image quality assessment
CN109214406A (zh) * 2018-05-16 2019-01-15 长沙理工大学 基于D-MobileNet神经网络图像分类方法
CN109285149A (zh) * 2018-09-04 2019-01-29 杭州比智科技有限公司 人脸图像质量的评估方法、装置及计算设备
CN109325398A (zh) * 2018-06-30 2019-02-12 东南大学 一种基于迁移学习的人脸属性分析方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070230823A1 (en) * 2006-02-22 2007-10-04 Altek Corporation Image evaluation system and method
US8441548B1 (en) * 2012-06-15 2013-05-14 Google Inc. Facial image quality assessment
CN109214406A (zh) * 2018-05-16 2019-01-15 长沙理工大学 基于D-MobileNet神经网络图像分类方法
CN109325398A (zh) * 2018-06-30 2019-02-12 东南大学 一种基于迁移学习的人脸属性分析方法
CN109285149A (zh) * 2018-09-04 2019-01-29 杭州比智科技有限公司 人脸图像质量的评估方法、装置及计算设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
闫日亮 等: "基于信息熵和Harris算法的人脸图像质量评价", 《计算机安全》 *

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110796101A (zh) * 2019-10-31 2020-02-14 广东光速智能设备有限公司 一种嵌入式平台的人脸识别方法及***
CN112825120A (zh) * 2019-11-20 2021-05-21 北京眼神智能科技有限公司 人脸光照评价方法、装置、计算机可读存储介质及设备
CN112825120B (zh) * 2019-11-20 2024-04-23 北京眼神智能科技有限公司 人脸光照评价方法、装置、计算机可读存储介质及设备
CN111339889A (zh) * 2020-02-20 2020-06-26 浙江大华技术股份有限公司 人脸优选方法、装置及存储介质
CN111382693A (zh) * 2020-03-05 2020-07-07 北京迈格威科技有限公司 图像质量的确定方法、装置、电子设备和计算机可读介质
CN111652242A (zh) * 2020-04-20 2020-09-11 北京迈格威科技有限公司 图像处理方法、装置、电子设备及存储介质
CN111652242B (zh) * 2020-04-20 2023-07-04 北京迈格威科技有限公司 图像处理方法、装置、电子设备及存储介质
CN111538344A (zh) * 2020-05-14 2020-08-14 重庆科技学院 基于面部关键点运动跟随的智能轮椅及其控制方法
CN111931551B (zh) * 2020-05-26 2022-04-12 东南大学 一种基于轻量级级联网络的人脸检测方法
CN111931551A (zh) * 2020-05-26 2020-11-13 东南大学 一种基于轻量级级联网络的人脸检测方法
CN114004779A (zh) * 2020-07-27 2022-02-01 中移物联网有限公司 一种基于深度学习的人脸质量评价方法及装置
CN111861875A (zh) * 2020-07-30 2020-10-30 北京金山云网络技术有限公司 一种人脸美化的方法、装置、设备和介质
CN112199530A (zh) * 2020-10-22 2021-01-08 天津众颐科技有限责任公司 多维度脸库图片自动更新方法、***、设备及介质
CN112199530B (zh) * 2020-10-22 2023-04-07 天津众颐科技有限责任公司 多维度脸库图片自动更新方法、***、设备及介质
CN112200804A (zh) * 2020-11-09 2021-01-08 北京地平线信息技术有限公司 图像检测方法、装置、计算机可读存储介质及电子设备
CN113077265A (zh) * 2020-12-08 2021-07-06 泰州市朗嘉馨网络科技有限公司 直播客户信誉管理***
CN112766158A (zh) * 2021-01-20 2021-05-07 重庆邮电大学 基于多任务级联式人脸遮挡表情识别方法
CN112766158B (zh) * 2021-01-20 2022-06-03 重庆邮电大学 基于多任务级联式人脸遮挡表情识别方法
CN113673448A (zh) * 2021-08-24 2021-11-19 厦门立林科技有限公司 一种云和端集成的人脸图像质量动态检测方法及***
CN113642541A (zh) * 2021-10-14 2021-11-12 环球数科集团有限公司 一种基于深度学习的人脸属性识别***

Also Published As

Publication number Publication date
CN110197146B (zh) 2021-02-23

Similar Documents

Publication Publication Date Title
CN110197146A (zh) 基于深度学习的人脸图像分析方法、电子装置及存储介质
CN107358149B (zh) 一种人体姿态检测方法和装置
WO2018028546A1 (zh) 一种关键点的定位方法及终端、计算机存储介质
WO2021139324A1 (zh) 图像识别方法、装置、计算机可读存储介质及电子设备
CN111754396B (zh) 脸部图像处理方法、装置、计算机设备和存储介质
CN108229330A (zh) 人脸融合识别方法及装置、电子设备和存储介质
CN107194361A (zh) 二维姿势检测方法及装置
WO2021051547A1 (zh) 暴力行为检测方法及***
CN107967461B (zh) Svm差分模型训练及人脸验证方法、装置、终端及存储介质
CN110263712A (zh) 一种基于区域候选的粗精行人检测方法
CN107316029A (zh) 一种活体验证方法及设备
CN108021863B (zh) 电子装置、基于图像的年龄分类方法及存储介质
CN113887408B (zh) 活化人脸视频的检测方法、装置、设备及存储介质
Du High-precision portrait classification based on mtcnn and its application on similarity judgement
CN109784140A (zh) 驾驶员属性识别方法及相关产品
CN116662839A (zh) 基于多维智能采集的关联大数据聚类分析方法及装置
CN112528903B (zh) 人脸图像获取方法、装置、电子设备及介质
CN113591433A (zh) 一种文本排版方法、装置、存储介质及计算机设备
CN113052236A (zh) 一种基于NASNet的肺炎图像分类方法
CN110502961A (zh) 一种面部图像检测方法及装置
CN111753618A (zh) 图像识别方法、装置、计算机设备及计算机可读存储介质
CN113903074B (zh) 一种眼睛属性分类方法、装置及存储介质
Hassan et al. Facial image detection based on the Viola-Jones algorithm for gender recognition
CN114049676A (zh) 疲劳状态检测方法、装置、设备及存储介质
CN115311723A (zh) 活体检测方法、装置及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant