CN110866471A - 人脸图像质量评价方法及装置、计算机可读介质、通信终端 - Google Patents

人脸图像质量评价方法及装置、计算机可读介质、通信终端 Download PDF

Info

Publication number
CN110866471A
CN110866471A CN201911055879.9A CN201911055879A CN110866471A CN 110866471 A CN110866471 A CN 110866471A CN 201911055879 A CN201911055879 A CN 201911055879A CN 110866471 A CN110866471 A CN 110866471A
Authority
CN
China
Prior art keywords
face
convolution
image
layer
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911055879.9A
Other languages
English (en)
Inventor
颜波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201911055879.9A priority Critical patent/CN110866471A/zh
Publication of CN110866471A publication Critical patent/CN110866471A/zh
Priority to PCT/CN2020/124546 priority patent/WO2021083241A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本公开涉及图像识别技术领域，具体涉及一种人脸图像质量评价方法及装置、一种特征提取模型的训练方法及装置、一种图像处理***、一种计算机可读介质以及一种通信终端。所述方法包括：获取包含人脸的待处理图像；对所述待处理图像进行检测以获取对应的人脸图像；将人脸图像输入已训练的基于移动人脸识别网络的特征提取模型，对所述人脸图像进行特征提取以获取特征数据；将所述特征数据输入连续设置的第一全连接层和第二全连接层进行处理，以获取所述人脸图像的人脸质量评分。本公开能够实现在一个网络内进行人脸图像的特征提取和质量评分，从而有效的减轻模型的量级。并且，能够实现对人脸图像质量的快速评估，同时保证质量评估结果的准确性。

Description

人脸图像质量评价方法及装置、计算机可读介质、通信终端
技术领域
本公开涉及图像识别技术领域，具体涉及一种人脸图像质量评价方法、一种特征提取模型的训练方法、一种人脸图像质量评价装置、一种特征提取模型的训练装置、一种图像处理***、一种计算机可读介质以及一种无线通信终端。
背景技术
随着图像处理技术的快速发展，在监控、通关等领域中，人脸识别技术已成为不可或缺的技术。而低质量的人脸图像会大大降低人脸识别的成功率。
现有技术中存在基于特征工程的图像处理匹配方法和基于深度学习的方法，来对人脸质量进行评价。但现有技术也存在一定的问题和不足。例如，基于深度学习的人脸质量评价方法，人脸图像的评分标注需要依靠人工来完成，需要花费大量的时间和精力并且具有一定的主观性，而且影响人脸质量的因素较多，人工标注无法全面地考虑到多方面因素的影响，导致标注样本不准确，进而影响模型的准确性。另外，越来越多的模型需要应用在智能移动终端设备上，因此对模型大小和性能有着更高的要求，现有的人脸质量评估方法在模型大小和运行时间上都很难满足要求。
需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本公开的目的在于提供一种人脸图像质量评价方法及装置、一种特征提取模型的训练方法及装置、一种图像处理***、一种计算机可读介质、一种无线通信终端，能够实现快速对人脸质量进行评价，从而在一定程度上克服相关技术的限制和缺陷。
本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。
根据本公开的第一方面，提供一种人脸图像质量评价方法，包括：
获取包含人脸的待处理图像；
对所述待处理图像进行检测以获取对应的人脸图像；
将所述人脸图像输入已训练的基于移动人脸识别网络的特征提取模型，对所述人脸图像进行特征提取以获取特征数据；
将所述特征数据输入连续设置的第一全连接层和第二全连接层进行卷积处理，以获取所述人脸图像的人脸质量评分。
根据本公开的第二方面，提供一种特征提取模型的训练方法，包括：
响应于图像业务***的图像处理指令，获取包含人脸的样本图像；
将所述样本图像输入连续设置的卷积层和深度卷积层进行连续的卷积处理以获取第一卷积结果；
将所述第一卷积结果输入连续设置的n个瓶颈结构层中进行连续的卷积处理以获取第二卷积结果；其中，n>5，且为正整数；
利用连续设置的卷积层和线性全局深度卷积层对所述第二卷积结果进行卷积处理以获取第三卷积结果；
利用全连接层对所述第三卷积结果进行全连接处理以获取所述样本图像对应的人脸特征数据；
将所述人脸特征数据输入损失函数模型中以计算损失参数，并基于所述损失参数进行优化以迭代训练特征提取模型。
根据本公开的第三方面，提供一种人脸图像质量评价装置，包括：
待处理图像获取模块，用于获取包含人脸的待处理图像；
人脸图像提取模块，用于对所述待处理图像进行检测以获取对应的人脸图像；
人脸特征数据提取模块，用于将所述人脸图像输入已训练的基于移动人脸识别网络的特征提取模型，对所述人脸图像进行特征提取以获取特征数据；
人脸质量评分模块，用于将所述特征数据输入连续设置的第一全连接层和第二全连接层进行卷积处理，以获取所述人脸图像的人脸质量评分。
根据本公开的第四方面，提供一种特征提取模型的训练装置，包括：
样本数据获取模块，用于响应于图像业务***的图像处理指令，获取包含人脸的样本图像；
第一卷积结果生成模块，用于将所述样本图像输入连续设置的卷积层和深度卷积层进行连续的卷积处理以获取第一卷积结果；
第二卷积结果生成模块，用于将所述第一卷积结果输入连续设置的n个瓶颈结构层中进行连续的卷积处理以获取第二卷积结果；其中，n>5，且为正整数；
第三卷积结果生成模块，用于利用连续设置的卷积层和线性全局深度卷积层对所述第二卷积结果进行卷积处理以获取第三卷积结果；
人脸特征数据生成模块，用于利用全连接层对所述第三卷积结果进行全连接处理以获取所述样本图像对应的人脸特征数据；
迭代训练模块，用于将所述人脸特征数据输入损失函数模型中以计算损失参数，并基于所述损失参数进行优化以迭代训练特征提取模型。
根据本公开的第五方面，提供一种图像处理***，包括：
业务模块，用于获取待处理图像；
图像处理模块，用于响应所述业务模块发出的业务处理指令以执行如上述实施例中任一项所述的人脸图像质量评价方法，以获取所述待处理图像的评分结果。
根据本公开的第六方面，提供一种计算机可读介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的人脸图像质量评价方法；或者上述的特征提取模型的训练方法。
根据本公开的第七方面，提供一种无线通信终端，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现上述的人脸图像质量评价方法；或者上述的特征提取模型的训练方法。
本公开的一种实施例所提供的人脸图像质量评价方法中，通过利用已训练的基于移动人脸识别网络的特征提取模型对人脸图像进行特征提取，并利用两个全连接层来输出人脸图像的评分结果，实现在通过一个网络内进行人脸图像的特征提取和质量评分，从而有效的减轻模型的量级。并且，能够实现对人脸图像质量的快速评估，同时保证质量评估结果的准确性。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示意性示出本公开示例性实施例中一种人脸图像质量评价方法的示意图；
图2示意性示出本公开示例性实施例中一种基于移动人脸识别网络的特征提取模型的架构示意图；
图3示意性示出本公开示例性实施例中一种步长为1的瓶颈结构层的架构示意图；
图4示意性示出本公开示例性实施例中一种步长为2的瓶颈结构层的架构示意图；
图5示意性示出本公开示例性实施例中一种人脸图像质量评价模型的整体架构示意图；
图6示意性示出本公开示例性实施例中一种特征提取模型的训练方法的示意图；
图7示意性示出本公开示例性实施例中一种人脸图像质量评价装置的组成示意图；
图8示意性示出本公开示例性实施例中一种特征提取模型的训练装置的组成示意图；
图9示意性示出本公开示例性实施例中一种图像处理***的组成示意图；
图10示意性示出本公开示例性实施例中一种无线通信设备的计算机***的结构示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。
此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
现有技术在进行人脸图像质量评价时，现有技术中的基于深度学***板电脑等智能移动终端设备上，因此对模型大小和性能有着更高的要求，现有的人脸质量评估方法在模型大小和运行时间上都很难满足要求，需要一种更轻量的人脸质量评估模型。
针对上述的现有技术的缺点和不足，本示例实施方式中提供了一种人脸图像质量评价方法，模型具有更小的量级，可以应用于手机、平板电脑等智能终端设备。参考图1中所示，上述的人脸图像质量评价方法可以包括以下步骤：
S11，获取包含人脸的待处理图像；
S12，对所述待处理图像进行检测以获取对应的人脸图像；
S13，将所述人脸图像输入已训练的基于移动人脸识别网络的特征提取模型，对所述人脸图像进行特征提取以获取特征数据；
S14，将所述特征数据输入连续设置的第一全连接层和第二全连接层进行卷积处理，以获取所述人脸图像的人脸质量评分。
本示例实施方式所提供的人脸图像质量评价方法中，一方面，通过利用已训练的基于移动人脸识别网络的特征提取模型对人脸图像进行特征提取，并利用两个全连接层来输出人脸图像的评分结果，能够实现对人脸图像质量的快速评估，同时保证质量评估结果的准确性。另一方面，通过在特征提取模型后使用两个全连接层来输出人脸图像的评分结果，实现通过一个网络进行人脸图像的特征提取和质量评分，从而有效的减轻模型的量级。。
下面，将结合附图及实施例对本示例实施方式中的人脸图像质量评价方法的各个步骤进行更详细的说明。
步骤S11，获取包含人脸的待处理图像。
本示例实施方式中，上述的智能终端设备可以是配置有摄像模组的手机、平板电脑等智能终端。用户可以利用终端设备自带的摄像模组进行拍照，获取包含人脸的待处理图像。或者，用户也可以通过外接的摄像组件进行拍照来获取包含人脸的待处理图像。或者，也可以通过有线或无线网络接收其他设备发送的待处理图像。
步骤S12，对所述待处理图像进行检测以获取对应的人脸图像。
本示例实施方式中，在获取待处理图像后，由于图像中可能包含背景、噪声等，因此可以对待处理图像进行预处理来获取对应的人脸图像。具体来说，可以包括以下步骤：
步骤S121，对所述待处理图像进行人脸检测以获取人脸区域；
步骤S122，对所述人脸区域进行人脸关键点检测以获取所述人脸区域的关键点；
步骤S123，基于所述人脸区域的关键点对所述人脸区域进行对齐处理，以获取对齐处理后的人脸图像。
举例来说，可以利用已训练的人脸检测模型对对待处理图像进行人脸检测确定人脸区域，以及利用已训练的人脸关键点检测模型对人脸区域进行关键点检测来提取人脸的关键点信息。再利用预设的相似变换矩阵对人脸区域进行转换，变换到标准人脸。举例来说，相似变换矩阵可以包括下式：
Figure BDA0002256541640000071
其中，左上角2*2矩阵为旋转部分；tx和ty为平移因子，包括4个自由度，即旋转、x方向平移、y方向平移和缩放因子s。
对于人脸区域图像来说，相似变换前后长度比、夹角、圆心保持均保持不变。
此外，上述的人脸检测模型和人脸关键点检测模型使用常规技术即可以实现，本公开在此不做特殊限定。或者，在本公开的其他示例性实施方式中，也可以使用一个模型进行人脸检测以及人脸关键点信息的检测，例如，使用Hyper Face模型进行人脸检测和关键点定位和头部角度的估计。
步骤S13，将所述人脸图像输入已训练的基于移动人脸识别网络的特征提取模型，对所述人脸图像进行特征提取以获取特征数据。
本示例实施方式中，可以预先训练移动人脸识别网络(MobileFaceNets)模型。具体来说，可以包括以下步骤：
步骤S21，获取原始数据，并对所述原始数据进行预处理以获取样本数据。
本示例实施方式中，可以获取多个人在不同场景的人脸图像数据作为原始数据，例如，可以获取与人脸自身相关的不同状态下的图像作为原始数据，例如不同人脸姿态、遮挡以及表情等状态。或者，还可以获取在不同图像参数下的图像；例如，针对图像采集传感器来说，可以配置不同的对比度、分辨率或亮度等；针对图像采集环境来说，可以配置不同的光照、位置、背景等。
在获取原始数据后，可以利用训练好的人脸检测和人脸关键点检测模型，进行人脸检测和人脸关键点检测，然后根据相似变换将人脸变换到标准人脸。例如，使用如上述实施例中的方法对原始数据进行预处理，来获取样本数据。
步骤S22，将所述样本数据输入连续设置的卷积层和深度卷积层进行连续的卷积处理以获取第一卷积结果。
本示例实施方式中，参考图2所示，上述的卷积层的卷积核为3*3，步长s＝2；上述的深度卷积层的卷积核为3*3，步长s＝1。
步骤S23，将所述第一卷积结果输入连续设置的n个瓶颈结构层中进行连续的卷积处理以获取第二卷积结果；其中，n>5，且为正整数。
本示例实施方式中，可以将对其后的样本数据输入改进的移动人脸识别网络中。具体来说，本实施方式中的改进的移动人脸识别网络包括与现有技术不同数量的瓶颈结构(bottleneck)层，瓶颈结构包含不同的结构，以及改进的最后一层等。具体来说，参考图2所示，改进的移动人脸识别网络可以包括依次设置的：第一卷积层、深度卷积层、连续的六个瓶颈结构层、第二卷积层、线性全局深度卷积层以及全连接层。
其中，在连续的六个瓶颈结构层中，基于连续六层的瓶颈结构对各层中的步长以及执行的重复次数进行配置。例如，奇数层瓶颈结构层对应配置的预设步长为P，偶数层瓶颈结构层对应配置的预设步长为Q；其中，P>Q，且P、Q均为正整数。举例来说，可以配置P＝2，Q＝1。第一瓶颈结构层配置为步长s＝2，重复次数n＝1；第二瓶颈结构层配置为步长为s＝1，重复次数n＝4；第三瓶颈结构层配置为步长s＝2，重复次数n＝1；第四瓶颈结构层配置为步长s＝1，重复次数n＝6；第五瓶颈结构层配置为步长s＝2，重复次数n＝1；第六瓶颈结构层配置为步长s＝1，重复次数n＝2。
对于配置有不同预设步长的瓶颈结构层来说，被配置为步长s＝1时，参考图3所示，瓶颈结构包括依次设置的第一卷积层、深度卷积层、第二卷积层、积压激励网络(Squeeze and Excitation Network，SE-Net)层和求和计算(add)层。其中，第一卷积层的卷积核为1*1，使用PReLU(Parametric Rectified Linear Unit，参数校正线性单元)激活函数进行激活；深度卷积层的卷积核为3*3，使用PReLU激活函数进行激活；第二卷积层的卷积核为1*1，使用线性激活函数进行激活。初始输入参数输入第一卷积层进行卷积处理；第一卷积层的输出结果输入深度卷积层进行卷积处理；深度卷积层的输出结果输入第二卷积层进行卷积处理；第二卷积层的输出结果输入积压激励网络层对通道权重分配处理；积压激励网络层的输出结果和初始输入参数再输入求和计算层中进行计算，得到该瓶颈结构层的最终输出结果。
瓶颈结构层被配置为步长s＝2时，参考图4所示，瓶颈结构包括依次设置的第一卷积层、深度卷积层、第二卷积层和积压激励网络层。其中，第一卷积层的卷积核为1*1，使用PReLU激活函数进行激活；深度卷积层的卷积核为3*3，使用PReLU激活函数进行激活，并配置步长stride＝2；第二卷积层的卷积核为1*1，使用线性激活函数进行激活。
通过配置第一瓶颈结构层的步长s＝2，重复次数n＝1，以及配置第二瓶颈结构层的步长s＝1，重复次数n＝4；并且配置步长s＝1的瓶颈结构层采用残差结构，而步长s＝2的瓶颈结构层未使用残差结构。从而使得第二瓶颈结构层在多次重复操作时，重复使用残差结构，可以有效的缓解随着神经网络层数加深而带来的梯度弥散问题，从而更利于模型学习和收敛。
此外，通过修改瓶颈结构的结构，增加了积压激励(SE block)网络层，能够有效的考虑到每个通道的重要性可能不同。通过为每个通道添加一个重要性权重，然后再乘以每个通道原来的值，可以增加各个通道的特征表示能力。避免了现有技术方案中结构认为每个通道的重要性都是相同的缺陷。对于积压激励网络层来说，输入为初始的特征图谱，输出为1*1*C的向量作为每个通道的重要性权重，网络在训练过程中会自动学习各个通道的重要性，从而增强网络的特征提取和表达能力，提高模型的性能。
步骤S24，利用连续设置的卷积层和线性全局深度卷积层对所述第二卷积结果进行卷积处理以获取第三卷积结果；
步骤S25，利用全连接层对所述第三卷积结果进行全连接处理以获取所述样本数据对应的人脸特征数据。
本示例实施方式中，参考图2所示，步骤S24中的卷积层的卷积核为1*1。线性全局深度卷积层的卷积核为7*7。最后一层设置为全连接层，最终的输出为128维向量。通过将最后一层设置为全连接层，能够对线性全局深度卷积层的输出结果进行降维，并保持较小的运算量。并且，通过实际运行验证，有效的提升了模型的精度。
此外，本示例实施方式中，在上述的改进的基于移动人脸识别网络特征提取模型后还可以设置一标准化处理层。例如，使用基于L2范式的标准化处理层。
在利用上述的改进的特征提取模型对样本数据进行特征提取得到各样本数据对应的训练人脸特征数据后，利用L2范式对训练人脸特征数据进行标准化处理，从而得到标准化后的最终的人脸特征(embedding)。
举例来说，L2范式的公式可以包括：
Figure BDA0002256541640000101
其中，x为特征提取模型输出向量的元素，K为向量的长度，如上述实施例中所述，K＝128。
本示例实施方式中，在模型训练的过程中，在获取人脸特征后，可以将其输入ArcFace Loss函数模型中计算模型的损失。具体来说，ArcFace Loss函数的公式可以包括：
Figure BDA0002256541640000102
其中，L为总的损失，N为样本数量，n为类别数量，s和m为超参数，θ为人脸特征和各个类别权重之间的夹角。本示例性实施方式中，配置s＝64，m＝0.5。
获取总的损失后，根据反向传播算法，可将损失传递到embedding层，然后再传递到基于移动人脸识别网络的特征提取模型。再利用Adam优化算法对模型进行优化，设置初始学习率为0.1；然后根据训练数据和训练步数逐渐递减，最终获取可以对人脸进行实时、准确识别的改进的基于移动人脸识别网络的特征提取模型。该特征提取模型可以在智能移动终端设置中运行。
在对基于移动人脸识别网络的特征提取模型训练完成后，便可以将待处理图像对应的检测出的人脸图像输入该特征提取模型中，并提取对应的特征数据。
举例来说，在利用训练完成的特征提取模型对待处理图像对应的人脸图像进行特征提取时，可以将对齐后的人脸图像输入特征提取模型，由模型的卷积层、深度卷积层、连续设置的六个瓶颈结构层、卷积层、线性全局深度卷积层和全连接层依次进行处理，以及标准化处理，最终输出人脸图像的特征向量。
步骤S14，将所述特征数据输入连续设置的第一全连接层和第二全连接层进行卷积处理，以获取所述人脸图像的人脸质量评分。
本示例实施方式中，可以预先进行人脸图像质量评分的标注。具体来说，可以先选取每个对象的一张标准人脸图像作为参考图像，然后再计算该对象的其他人脸图像与参考对象的余弦相似度，将该相似度取值作为该人脸图像的质量评分。
当上述的特征提取模型的性能足够时，相似度与人脸质量评分成正比关系，参考图像作为高质量的图像，同一个人的其他人脸图像与参考图像做比较时，图像的质量越高相似度就会越高，相反，如果相似度越低则说明人脸图像的质量越差。
本示例实施方式中，在特征提取模型后，可以在上述的标准化处理层之后设置两层全连接层，作为质量评价模型。具体来说，可以配置第一全连接层的神经元个数为人脸特征(embedding)维度的二分之一，激活函数为relu激活函数；第二全连接层的神经元个数为1，激活函数为sigmoid激活函数，输出为0-1之间的人脸质量评分，从而将人脸特征空间映射到人脸质量评分空间。
基于上述的人脸图像评分标注结果，作为训练样本，对上述的质量评价模型进行有监督式的训练。质量评价模型的损失函数可以采用MSE(mean-square error，均方误差)损失函数，其公式可以包括：
Figure BDA0002256541640000111
其中，
Figure BDA0002256541640000112
为模型预测的人脸质量评分值，yi为标注的人脸质量评分值。
在计算MES损失后，根据反向传播算法可将损失函数传递到全连接层，并利用Adam算法优化质量评价模型的两层全连接层，初始学习率设置为0.01，然后根据训练数据和训练步数逐渐递减。优化完成后，对于任意的人脸图像，便可利用该质量评价模型获取对应人脸质量评分。
本示例实施方式中，对于上述的基于移动人脸识别网络的特征提取模型和质量评价模型，在训练过程中，可以固定特征提取模型的网络权重不变。
本公开实施例所提供的方法，参考图5所示，通过在特征提取模型后增加两个全连接层来形成一个完整的人脸图像质量评价模型，并利用该两个全连接层来进行人脸质量评分，使得对图像的人脸特征提取和人脸质量评分在同一个网络内完成，可以充分保证模型的性能和普适性。另外，特征提取模型基于移动人脸识别网络模型构建，通过修改模型的结构，修改瓶颈结构层的配置，以及修改瓶颈结构层的具体结构，进而改进特征提取的具体处理过程，使特征提取模型的量级更小、精度更高，速度更快；并能够保证模型的大小和运行时间能够满足在移动端部署的要求，实现在移动端对人脸图像质量进行实时、准确的评估。上述的模型可以应用于智能手机、平板电脑等移动设备的人脸系别***中，例如，从一段照片序列中挑选出人脸质量高的图像输入到人脸识别***中，可以显著提高人脸识别***的效率和性能；或者，应用于相机的抓拍和连拍等功能，利用人脸质量评估模型可以更方便地帮助用户挑选出满意的照片等。
进一步的，参考图6所示，本示例的实施方式中还提供一种特征提取模型的训练方法。参考图6中所示，上述的人脸图像质量评价方法可以包括以下步骤：
步骤S31，响应于图像业务***的图像处理指令，获取包含人脸的样本图像；
步骤S32，将所述样本图像输入连续设置的卷积层和深度卷积层进行连续的卷积处理以获取第一卷积结果；
步骤S33，将所述第一卷积结果输入连续设置的n个瓶颈结构层中进行连续的卷积处理以获取第二卷积结果；其中，n>5，且为正整数；
步骤S34，利用连续设置的卷积层和线性全局深度卷积层对所述第二卷积结果进行卷积处理以获取第三卷积结果；
步骤S35，利用全连接层对所述第三卷积结果进行全连接处理以获取所述样本图像对应的人脸特征数据；
步骤S36，将所述人脸特征数据输入损失函数模型中以计算损失参数，并基于所述损失参数进行优化以迭代训练特征提取模型。
举例来说，上述的图像业务***可以用于处理人脸识别任务的业务***；例如车站进站识别的业务***，或者是处理监控图像的业务***，或者是门禁***等等。本公开对业务***的具体内容不做特殊限定。
本示例实施方式中，所述获取所述样本图像对应的人脸特征数据后，所述方法还包括：输入评分模型以训练评分模型，包括：
步骤S41，将所述人脸特征数据输入连续设置的第一全连接层和第二全连接层进行处理，以获取所述样本图像的人脸质量评分；
步骤S42，将所述人脸质量评分输入评分损失函数以获取评分损失参数，并基于上述评分损失参数进行优化以迭代训练评分模型。
本示例实施方式中，所述特征提取模型中连续设置的n个瓶颈结构层中，奇数层瓶颈结构层对应的预设步长为P，偶数层瓶颈结构层对应的预设步长为Q；其中，P>Q，且P、Q均为正整数。
本示例实施方式中，所述方法还包括：基于各瓶颈结构层在所述连续n个瓶颈结构层中的所在层次，配置各所述瓶颈结构层的执行重复次数。
本示例实施方式中，将所述第一卷积结果输入所述瓶颈结构层后，所述方法包括：利用所述瓶颈结构层设置的第一卷积层、深度卷积层、第二卷积层、挤压激励网络层，对所述第一卷积结果依次进行卷积、深度度卷积、卷积以及通道权重分配处理，以获取第二卷积结果。
特征提取模型的训练方法的具体训练过程在上述的人脸图像质量评价方法中以做详细阐述，本实施例中不在复述。
需要注意的是，上述附图仅是根据本发明示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。
进一步的，参考图7所示，本示例的实施方式中还提供一种人脸图像质量评价装置70，包括：待处理图像获取模块701、人脸图像提取模块702、人脸特征数据提取模块703以及人脸质量评分模块704。其中：
所述待处理图像获取模块701可以用于获取包含人脸的待处理图像。
所述人脸图像提取模块702可以用于对所述待处理图像进行检测以获取对应的人脸图像。
所述人脸特征数据提取模块703可以用于将所述人脸图像输入已训练的基于移动人脸识别网络的特征提取模型，对所述人脸图像进行特征提取以获取特征数据。
所述人脸质量评分模块704可以用于将所述特征数据输入连续设置的第一全连接层和第二全连接层进行卷积处理，以获取所述人脸图像的人脸质量评分。
在本公开的一种示例中，所述待处理图像获取模块701可以包括：人脸区域识别模块、关键点检测模块以及对齐处理模块(图中未示出)。其中，
所述人脸区域识别模块可以用于对所述待处理图像进行人脸检测以获取人脸区域。
所述关键点检测模块可以用于对所述人脸区域进行人脸关键点检测以获取所述人脸区域的关键点。
所述对齐处理模块可以用于基于所述人脸区域的关键点对所述人脸区域进行对齐处理，以获取对齐处理后的人脸图像。
在本公开的一种示例中，所述装置还包括：标准化处理模块(图中未示出)。其中，
所述标准化处理模块可以用于对所述特征数据进行标准化处理以获取标准化处理后的特征数据。
在本公开的一种示例中，所述装置还包括：特征提取模型训练模块，包括：原始数据处理单元、第一卷积处理单元、瓶颈结构处理单元、第二卷积处理单元和全连接处理单元(图中未示出)。其中，
所述原始数据处理单元可以用于获取原始数据，并对所述原始数据进行预处理以获取样本数据。
所述第一卷积处理单元可以用于将所述样本数据输入连续设置的卷积层和深度卷积层进行连续的卷积处理以获取第一卷积结果。
所述瓶颈结构处理单元可以用于将所述第一卷积结果输入连续设置的n个瓶颈结构层中进行连续的卷积处理以获取第二卷积结果；其中，n>5，且为正整数。
所述第二卷积处理单元可以用于利用连续设置的卷积层和线性全局深度卷积层对所述第二卷积结果进行卷积处理以获取第三卷积结果。
所述全连接处理单元可以用于利用全连接层对所述第三卷积结果进行全连接处理以获取所述样本数据对应的人脸特征数据。
在本公开的一种示例中，所述装置还包括：步长配置模块。
所述步长配置模块可以用于对所述特征提取模型中连续设置的n个瓶颈结构层中，奇数层瓶颈结构层对应的预设步长为P，偶数层瓶颈结构层对应的预设步长为Q；其中，P>Q，且P、Q均为正整数。
在本公开的一种示例中，所述装置还包括：重复次数配置模块。
所述重复次数配置模块可以用于基于各瓶颈结构层在所述连续n个瓶颈结构层中的所在层次，配置各所述瓶颈结构层的执行重复次数。
在本公开的一种示例中，所述瓶颈结构层可以利用所述瓶颈结构层设置的第一卷积层、深度卷积层、第二卷积层、挤压激励网络层，对所述第一卷积结果依次进行卷积、深度度卷积、卷积以及通道权重分配处理，以获取第二卷积结果。
进一步的，参考图8所示，本示例的实施方式中还提供一种特征提取模型的训练装置80，包括：样本数据获取模块801、第一卷积结果生成模块802、第二卷积结果生成模块803、第三卷积结果生成模块804、人脸特征数据生成模块805以及迭代训练模块806。其中，
所述样本数据获取模块801可以用于响应于图像业务***的图像处理指令，获取包含人脸的样本图像。
所述第一卷积结果生成模块802可以用于将所述样本图像输入连续设置的卷积层和深度卷积层进行连续的卷积处理以获取第一卷积结果。
所述第二卷积结果生成模块803可以用于将所述第一卷积结果输入连续设置的n个瓶颈结构层中进行连续的卷积处理以获取第二卷积结果；其中，n>5，且为正整数。
所述第三卷积结果生成模块804可以用于利用连续设置的卷积层和线性全局深度卷积层对所述第二卷积结果进行卷积处理以获取第三卷积结果。
所述人脸特征数据生成模块805可以用于利用全连接层对所述第三卷积结果进行全连接处理以获取所述样本图像对应的人脸特征数据。
所述迭代训练模块806可以用于将所述人脸特征数据输入损失函数模型中以计算损失参数，并基于所述损失参数进行优化以迭代训练特征提取模型。
在本公开的一种示例中，所述的装置80还可以包括：评分模型训练模块，用于将样本图像对应的人脸特征数据输入评分模型以训练评分模。所述评分模型训练模块可以包括：评分单元和迭代训练模块。其中，
所述评分单元可以用于将所述人脸特征数据输入连续设置的第一全连接层和第二全连接层进行处理，以获取所述样本图像的人脸质量评分；
所述迭代训练单元可以用于将所述人脸质量评分输入评分损失函数以获取评分损失参数，并基于上述评分损失参数进行优化以迭代训练评分模型。
在本公开的一种示例中，所述特征提取模型中连续设置的n个瓶颈结构层中，奇数层瓶颈结构层对应的预设步长为P，偶数层瓶颈结构层对应的预设步长为Q；其中，P>Q，且P、Q均为正整数。
在本公开的一种示例中，所述装置80还可以包括：重复次数配置模块。
所述重复次数配置模块可以用于基于各瓶颈结构层在所述连续n个瓶颈结构层中的所在层次，配置各所述瓶颈结构层的执行重复次数。
在本公开的一种示例中，所述瓶颈结构层可以利用所述瓶颈结构层设置的第一卷积层、深度卷积层、第二卷积层、挤压激励网络层，对所述第一卷积结果依次进行卷积、深度度卷积、卷积以及通道权重分配处理，以获取第二卷积结果。
进一步的，参考图9所示，本示例的实施方式中还提供一种图像处理***900，包括：业务模块901、图像处理模块902和模型训练模块903。其中，
所述业务模块901可以用于获取待处理图像。
所述图像处理模块902可以用于响应所述业务模块发出的业务处理指令以执行人脸图像质量评价方法，以获取所述待处理图像的评分结果。
所述模型训练模块903可以用于响应所述业务模块发出的图像处理指令以执行特征提取模型的训练方法，以获取所述特征提取模型。
举例来说，上述的业务模块可以是监控***、安检***或者门禁***等应用场景的相关业务应用。业务模块可以实时的采集包含脸的待处理图像并进行存储。
上述的人脸图像质量评价装置、特征提取模型的训练装置中各模块的具体细节已经在对应的人脸图像质量评价方法、特征提取模型的训练方法中进行了详细的描述，因此此处不再赘述。
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
图10示出了适于用来实现本发明实施例的无线通信设备的计算机***的结构示意图。
需要说明的是，图10示出的电子设备的计算机***1000仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图10所示，计算机***1000包括中央处理单元(Central Processing Unit，CPU)1001，其可以根据存储在只读存储器(Read-Only Memory，ROM)1002中的程序或者从存储部分1008加载到随机访问存储器(Random Access Memory，RAM)1003中的程序而执行各种适当的动作和处理。在RAM 1003中，还存储有***操作所需的各种程序和数据。CPU1001、ROM 1002以及RAM 1003通过总线1004彼此相连。输入/输出(Input/Output，I/O)接口1005也连接至总线1004。
以下部件连接至I/O接口1005：包括键盘、鼠标等的输入部分1006；包括诸如阴极射线管(Cathode Ray Tube，CRT)、液晶显示器(Liquid Crystal Display，LCD)等以及扬声器等的输出部分1007；包括硬盘等的存储部分1004；以及包括诸如LAN(Local AreaNetwork，局域网)卡、调制解调器等的网络接口卡的通信部分1009。通信部分1009经由诸如因特网的网络执行通信处理。驱动器1010也根据需要连接至I/O接口1005。可拆卸介质1011，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1010上，以便于从其上读出的计算机程序根据需要被安装入存储部分1008。
特别地，根据本发明的实施例，下文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分1009从网络上被下载和安装，和/或从可拆卸介质1011被安装。在该计算机程序被中央处理单元(CPU)1001执行时，执行本申请的***中限定的各种功能。
需要说明的是，本发明实施例所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、闪存、光纤、便携式紧凑磁盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本发明各种实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本发明实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。
作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该电子设备执行时，使得该电子设备实现如下述实施例中所述的方法。例如，所述的电子设备可以实现如图1所示的各个步骤。
此外，上述附图仅是根据本发明示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其他实施例。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限。

Claims (18)

1.一种人脸图像质量评价方法，其特征在于，包括：
获取包含人脸的待处理图像；
对所述待处理图像进行检测以获取对应的人脸图像；
将所述人脸图像输入已训练的基于移动人脸识别网络的特征提取模型，对所述人脸图像进行特征提取以获取特征数据；
将所述特征数据输入连续设置的第一全连接层和第二全连接层进行处理，以获取所述人脸图像的人脸质量评分。
2.根据权利要求1所述的方法，其特征在于，所述对所述待处理图像进行预处理以获取对应的人脸图像，包括：
对所述待处理图像进行人脸检测以获取人脸区域；
对所述人脸区域进行人脸关键点检测以获取所述人脸区域的关键点；
基于所述人脸区域的关键点对所述人脸区域进行对齐处理，以获取对齐处理后的人脸图像。
3.根据权利要求1所述的方法，其特征在于，在获取所述特征数据后，方法还包括：
对所述特征数据进行标准化处理以获取标准化处理后的特征数据。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：预先训练所述基于移动人脸识别网络的特征提取模型，包括：
获取原始数据，并对所述原始数据进行预处理以获取样本数据；
将所述样本数据输入连续设置的卷积层和深度卷积层进行连续的卷积处理以获取第一卷积结果；
将所述第一卷积结果输入连续设置的n个瓶颈结构层中进行连续的卷积处理以获取第二卷积结果；其中，n>5，且为正整数；
利用连续设置的卷积层和线性全局深度卷积层对所述第二卷积结果进行卷积处理以获取第三卷积结果；
利用全连接层对所述第三卷积结果进行全连接处理以获取所述样本数据对应的人脸特征数据。
5.根据权利要求4所述的方法，其特征在于，所述特征提取模型中连续设置的n个瓶颈结构层中，奇数层瓶颈结构层对应的预设步长为P，偶数层瓶颈结构层对应的预设步长为Q；其中，P>Q，且P、Q均为正整数。
6.根据权利要求4或5所述的方法，其特征在于，所述方法还包括：
基于各瓶颈结构层在所述连续n个瓶颈结构层中的所在层次，配置各所述瓶颈结构层的执行重复次数。
7.根据权利要求4所述的方法，其特征在于，将所述第一卷积结果输入所述瓶颈结构层后，所述方法包括：
利用所述瓶颈结构层设置的第一卷积层、深度卷积层、第二卷积层、挤压激励网络层，对所述第一卷积结果依次进行卷积、深度度卷积、卷积以及通道权重分配处理，以获取第二卷积结果。
8.一种特征提取模型的训练方法，其特征在于，包括：
响应于图像业务***的图像处理指令，获取包含人脸的样本图像；
将所述样本图像输入连续设置的卷积层和深度卷积层进行连续的卷积处理以获取第一卷积结果；
将所述第一卷积结果输入连续设置的n个瓶颈结构层中进行连续的卷积处理以获取第二卷积结果；其中，n>5，且为正整数；
利用连续设置的卷积层和线性全局深度卷积层对所述第二卷积结果进行卷积处理以获取第三卷积结果；
利用全连接层对所述第三卷积结果进行全连接处理以获取所述样本图像对应的人脸特征数据；
将所述人脸特征数据输入损失函数模型中以计算损失参数，并基于所述损失参数进行优化以迭代训练特征提取模型。
9.根据权利要求8所述的方法，其特征在于，所述获取所述样本图像对应的人脸特征数据后，所述方法还包括：输入评分模型以训练评分模型，包括：
将所述人脸特征数据输入连续设置的第一全连接层和第二全连接层进行处理，以获取所述样本图像的人脸质量评分；
将所述人脸质量评分输入评分损失函数以获取评分损失参数，并基于上述评分损失参数进行优化以迭代训练评分模型。
10.根据权利要求8所述的方法，其特征在于，所述特征提取模型中连续设置的n个瓶颈结构层中，奇数层瓶颈结构层对应的预设步长为P，偶数层瓶颈结构层对应的预设步长为Q；其中，P>Q，且P、Q均为正整数。
11.根据权利要求8或9所述的方法，其特征在于，所述方法还包括：
基于各瓶颈结构层在所述连续n个瓶颈结构层中的所在层次，配置各所述瓶颈结构层的执行重复次数。
12.根据权利要求8所述的方法，其特征在于，将所述第一卷积结果输入所述瓶颈结构层后，所述方法包括：
利用所述瓶颈结构层设置的第一卷积层、深度卷积层、第二卷积层、挤压激励网络层，对所述第一卷积结果依次进行卷积、深度度卷积、卷积以及通道权重分配处理，以获取第二卷积结果。
13.一种人脸图像质量评价装置，其特征在于，包括：
待处理图像获取模块，用于获取包含人脸的待处理图像；
人脸图像获取模块，用于对所述待处理图像进行检测以获取对应的人脸图像；
人脸特征数据提取模块，用于将所述人脸图像输入已训练的基于移动人脸识别网络的特征提取模型，对所述人脸图像进行特征提取以获取特征数据；
人脸质量评分模块，用于将所述特征数据输入连续设置的第一全连接层和第二全连接层进行卷积处理，以获取所述人脸图像的人脸质量评分。
14.一种特征提取模型的训练装置，其特征在于，包括：
样本数据获取模块，用于响应于图像业务***的图像处理指令，获取包含人脸的样本图像；
第一卷积结果生成模块，用于将所述样本图像输入连续设置的卷积层和深度卷积层进行连续的卷积处理以获取第一卷积结果；
第二卷积结果生成模块，用于将所述第一卷积结果输入连续设置的n个瓶颈结构层中进行连续的卷积处理以获取第二卷积结果；其中，n>5，且为正整数；
第三卷积结果生成模块，用于利用连续设置的卷积层和线性全局深度卷积层对所述第二卷积结果进行卷积处理以获取第三卷积结果；
人脸特征数据生成模块，用于利用全连接层对所述第三卷积结果进行全连接处理以获取所述样本图像对应的人脸特征数据；
迭代训练模块，用于将所述人脸特征数据输入损失函数模型中以计算损失参数，并基于所述损失参数进行优化以迭代训练特征提取模型。
15.一种图像处理***，其特征在于，包括：
业务模块，用于获取待处理图像；
图像处理模块，用于响应所述业务模块发出的业务处理指令以执行如权利1至7中任一项所述的人脸图像质量评价方法，以获取所述待处理图像的评分结果。
16.根据权利要求15所述的***，其特征在于，所述***还包括：
模型训练模块，用于响应所述业务模块发出的图像处理指令以执行如权利8至12中任一项所述的特征提取模型的训练方法，以获取所述特征提取模型。
17.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的人脸图像质量评价方法；或者，如权利要求8至12中任一项所述的特征提取模型的训练方法。
18.一种无线通信终端，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1至7中任一项所述的人脸图像质量评价方法；或者，如权利要求8至12中任一项所述的特征提取模型的训练方法。
CN201911055879.9A 2019-10-31 2019-10-31 人脸图像质量评价方法及装置、计算机可读介质、通信终端 Pending CN110866471A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201911055879.9A CN110866471A (zh) 2019-10-31 2019-10-31 人脸图像质量评价方法及装置、计算机可读介质、通信终端
PCT/CN2020/124546 WO2021083241A1 (zh) 2019-10-31 2020-10-28 人脸图像质量评价方法、特征提取模型训练方法、图像处理***、计算机可读介质和无线通信终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911055879.9A CN110866471A (zh) 2019-10-31 2019-10-31 人脸图像质量评价方法及装置、计算机可读介质、通信终端

Publications (1)

Publication Number Publication Date
CN110866471A true CN110866471A (zh) 2020-03-06

Family

ID=69653584

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911055879.9A Pending CN110866471A (zh) 2019-10-31 2019-10-31 人脸图像质量评价方法及装置、计算机可读介质、通信终端

Country Status (2)

Country Link
CN (1) CN110866471A (zh)
WO (1) WO2021083241A1 (zh)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111401344A (zh) * 2020-06-04 2020-07-10 腾讯科技（深圳）有限公司 人脸识别方法和装置及人脸识别***的训练方法和装置
CN111401291A (zh) * 2020-03-24 2020-07-10 三一重工股份有限公司 陌生人的识别方法和装置
CN111753731A (zh) * 2020-06-24 2020-10-09 上海立可芯半导体科技有限公司 人脸质量评估方法、装置和***以及人脸质量评估模型的训练方法
CN111783622A (zh) * 2020-06-29 2020-10-16 北京百度网讯科技有限公司 人脸表情识别的方法、装置、设备和计算机可读存储介质
CN112365451A (zh) * 2020-10-23 2021-02-12 微民保险代理有限公司 图像质量等级的确定方法、装置、设备及计算机可读介质
CN112418098A (zh) * 2020-11-24 2021-02-26 深圳云天励飞技术股份有限公司 视频结构化模型的训练方法及相关设备
CN112465792A (zh) * 2020-12-04 2021-03-09 北京华捷艾米科技有限公司 一种人脸质量的评估方法及相关装置
CN112560783A (zh) * 2020-12-25 2021-03-26 京东数字科技控股股份有限公司 用于评估关注状态的方法、装置、***、介质及产品
WO2021083241A1 (zh) * 2019-10-31 2021-05-06 Oppo广东移动通信有限公司 人脸图像质量评价方法、特征提取模型训练方法、图像处理***、计算机可读介质和无线通信终端
CN113158777A (zh) * 2021-03-08 2021-07-23 佳都新太科技股份有限公司 质量评分方法、质量评分模型的训练方法及相关装置
CN113192028A (zh) * 2021-04-29 2021-07-30 北京的卢深视科技有限公司 人脸图像的质量评价方法、装置、电子设备及存储介质
CN113420806A (zh) * 2021-06-21 2021-09-21 西安电子科技大学 一种人脸检测质量评分方法及***
CN113781379A (zh) * 2020-05-20 2021-12-10 上海高德威智能交通***有限公司 图像质量确定方法、装置、电子设备及存储介质
WO2022100337A1 (zh) * 2020-11-11 2022-05-19 腾讯科技（深圳）有限公司 人脸图像质量评估方法、装置、计算机设备及存储介质
CN114596620A (zh) * 2022-05-10 2022-06-07 深圳市海清视讯科技有限公司 人脸识别设备补光控制方法、装置、设备及存储介质
CN114742779A (zh) * 2022-04-01 2022-07-12 中国科学院光电技术研究所 基于深度学习的高分辨力自适应光学图像质量评价方法
CN115908260A (zh) * 2022-10-20 2023-04-04 北京的卢铭视科技有限公司 模型训练方法、人脸图像质量评价方法、设备及介质

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113435488B (zh) * 2021-06-17 2023-11-07 深圳大学 一种图像采样概率提升方法及其应用
CN113361524B (zh) * 2021-06-29 2024-05-03 北京百度网讯科技有限公司 图像处理方法及装置
CN113420871B (zh) * 2021-07-28 2023-02-24 浙江大华技术股份有限公司 图像质量的评估方法、装置、存储介质及电子装置
CN113642452B (zh) * 2021-08-10 2023-11-21 汇纳科技股份有限公司 人体图像质量评价方法、装置、***及存储介质
CN113792682B (zh) * 2021-09-17 2024-05-10 平安科技（深圳）有限公司 基于人脸图像的人脸质量评估方法、装置、设备及介质
CN114511058B (zh) * 2022-01-27 2023-06-02 国网江苏省电力有限公司泰州供电分公司 一种用于电力用户画像的负荷元件构建方法及装置
CN116563193A (zh) * 2022-01-27 2023-08-08 华为技术有限公司 图像相似性度量方法及其装置
CN114494246B (zh) * 2022-03-31 2022-07-12 腾讯科技（深圳）有限公司 图像质量评估方法、装置、电子设备及存储介质
CN115294014B (zh) * 2022-06-07 2023-05-16 首都医科大学附属北京朝阳医院 一种头颈动脉图像处理方法、装置、存储介质及终端
CN115050081B (zh) * 2022-08-12 2022-11-25 平安银行股份有限公司 表情样本生成方法、表情识别方法、装置及终端设备
CN115049839B (zh) * 2022-08-15 2022-11-01 珠海翔翼航空技术有限公司 针对飞行模拟训练设备客观质量测试的质量检测方法
CN116740777A (zh) * 2022-09-28 2023-09-12 荣耀终端有限公司 人脸质量检测模型的训练方法及其相关设备
CN115830028B (zh) * 2023-02-20 2023-05-23 阿里巴巴达摩院(杭州)科技有限公司 图像评价方法、设备、***及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106951825A (zh) * 2017-02-13 2017-07-14 北京飞搜科技有限公司 一种人脸图像质量评估***以及实现方法
CN109102014A (zh) * 2018-08-01 2018-12-28 中国海洋大学 基于深度卷积神经网络的类别不平衡的图像分类方法
CN109117797A (zh) * 2018-08-17 2019-01-01 浙江捷尚视觉科技股份有限公司 一种基于人脸质量评价的人脸抓拍识别方法
CN109447990A (zh) * 2018-10-22 2019-03-08 北京旷视科技有限公司 图像语义分割方法、装置、电子设备和计算机可读介质
CN109886341A (zh) * 2019-02-25 2019-06-14 厦门美图之家科技有限公司 一种训练生成人脸检测模型的方法
WO2019128646A1 (zh) * 2017-12-28 2019-07-04 深圳励飞科技有限公司 人脸检测方法、卷积神经网络参数的训练方法、装置及介质
CN110287880A (zh) * 2019-06-26 2019-09-27 西安电子科技大学 一种基于深度学习的姿态鲁棒性人脸识别方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109800796A (zh) * 2018-12-29 2019-05-24 上海交通大学 基于迁移学习的船舶目标识别方法
CN110866471A (zh) * 2019-10-31 2020-03-06 Oppo广东移动通信有限公司 人脸图像质量评价方法及装置、计算机可读介质、通信终端

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106951825A (zh) * 2017-02-13 2017-07-14 北京飞搜科技有限公司 一种人脸图像质量评估***以及实现方法
WO2019128646A1 (zh) * 2017-12-28 2019-07-04 深圳励飞科技有限公司 人脸检测方法、卷积神经网络参数的训练方法、装置及介质
CN109102014A (zh) * 2018-08-01 2018-12-28 中国海洋大学 基于深度卷积神经网络的类别不平衡的图像分类方法
CN109117797A (zh) * 2018-08-17 2019-01-01 浙江捷尚视觉科技股份有限公司 一种基于人脸质量评价的人脸抓拍识别方法
CN109447990A (zh) * 2018-10-22 2019-03-08 北京旷视科技有限公司 图像语义分割方法、装置、电子设备和计算机可读介质
CN109886341A (zh) * 2019-02-25 2019-06-14 厦门美图之家科技有限公司 一种训练生成人脸检测模型的方法
CN110287880A (zh) * 2019-06-26 2019-09-27 西安电子科技大学 一种基于深度学习的姿态鲁棒性人脸识别方法

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021083241A1 (zh) * 2019-10-31 2021-05-06 Oppo广东移动通信有限公司 人脸图像质量评价方法、特征提取模型训练方法、图像处理***、计算机可读介质和无线通信终端
CN111401291A (zh) * 2020-03-24 2020-07-10 三一重工股份有限公司 陌生人的识别方法和装置
CN113781379A (zh) * 2020-05-20 2021-12-10 上海高德威智能交通***有限公司 图像质量确定方法、装置、电子设备及存储介质
CN113781379B (zh) * 2020-05-20 2024-03-19 上海高德威智能交通***有限公司 图像质量确定方法、装置、电子设备及存储介质
CN111401344A (zh) * 2020-06-04 2020-07-10 腾讯科技（深圳）有限公司 人脸识别方法和装置及人脸识别***的训练方法和装置
CN111753731A (zh) * 2020-06-24 2020-10-09 上海立可芯半导体科技有限公司 人脸质量评估方法、装置和***以及人脸质量评估模型的训练方法
CN111783622A (zh) * 2020-06-29 2020-10-16 北京百度网讯科技有限公司 人脸表情识别的方法、装置、设备和计算机可读存储介质
CN112365451A (zh) * 2020-10-23 2021-02-12 微民保险代理有限公司 图像质量等级的确定方法、装置、设备及计算机可读介质
WO2022100337A1 (zh) * 2020-11-11 2022-05-19 腾讯科技（深圳）有限公司 人脸图像质量评估方法、装置、计算机设备及存储介质
CN112418098A (zh) * 2020-11-24 2021-02-26 深圳云天励飞技术股份有限公司 视频结构化模型的训练方法及相关设备
CN112465792A (zh) * 2020-12-04 2021-03-09 北京华捷艾米科技有限公司 一种人脸质量的评估方法及相关装置
CN112560783A (zh) * 2020-12-25 2021-03-26 京东数字科技控股股份有限公司 用于评估关注状态的方法、装置、***、介质及产品
CN113158777A (zh) * 2021-03-08 2021-07-23 佳都新太科技股份有限公司 质量评分方法、质量评分模型的训练方法及相关装置
CN113192028A (zh) * 2021-04-29 2021-07-30 北京的卢深视科技有限公司 人脸图像的质量评价方法、装置、电子设备及存储介质
CN113420806B (zh) * 2021-06-21 2023-02-03 西安电子科技大学 一种人脸检测质量评分方法及***
CN113420806A (zh) * 2021-06-21 2021-09-21 西安电子科技大学 一种人脸检测质量评分方法及***
CN114742779A (zh) * 2022-04-01 2022-07-12 中国科学院光电技术研究所 基于深度学习的高分辨力自适应光学图像质量评价方法
CN114596620A (zh) * 2022-05-10 2022-06-07 深圳市海清视讯科技有限公司 人脸识别设备补光控制方法、装置、设备及存储介质
CN115908260A (zh) * 2022-10-20 2023-04-04 北京的卢铭视科技有限公司 模型训练方法、人脸图像质量评价方法、设备及介质
CN115908260B (zh) * 2022-10-20 2023-10-20 北京的卢铭视科技有限公司 模型训练方法、人脸图像质量评价方法、设备及介质

Also Published As

Publication number Publication date
WO2021083241A1 (zh) 2021-05-06

Similar Documents

Publication Publication Date Title
CN110866471A (zh) 人脸图像质量评价方法及装置、计算机可读介质、通信终端
TWI773189B (zh) 基於人工智慧的物體檢測方法、裝置、設備及儲存媒體
US11392792B2 (en) Method and apparatus for generating vehicle damage information
US11270099B2 (en) Method and apparatus for generating facial feature
CN112784778B (zh) 生成模型并识别年龄和性别的方法、装置、设备和介质
CN112801146B (zh) 一种目标检测方法及***
CN113822428A (zh) 神经网络训练方法及装置、图像分割方法
CN109977832B (zh) 一种图像处理方法、装置及存储介质
CN110738235A (zh) 肺结核判定方法、装置、计算机设备及存储介质
CN113239807B (zh) 训练票据识别模型和票据识别的方法和装置
CN112651333B (zh) 静默活体检测方法、装置、终端设备和存储介质
CN111950700A (zh) 一种神经网络的优化方法及相关设备
JP2023526899A (ja) 画像修復モデルを生成するための方法、デバイス、媒体及びプログラム製品
CN110909578A (zh) 一种低分辨率图像识别方法、装置和存储介质
KR101334858B1 (ko) 나비종 자동분류 시스템 및 방법, 이를 이용한 나비종 자동분류 기능이 구비된 휴대 단말기
CN115131291A (zh) 对象计数模型的训练方法、装置、设备以及存储介质
CN114332993A (zh) 人脸识别方法、装置、电子设备及计算机可读存储介质
CN113255819A (zh) 用于识别信息的方法和装置
Viriyavisuthisakul et al. Parametric loss-based super-resolution for scene text recognition
CN116168398B (zh) 基于图像识别的试卷审批方法、装置和设备
CN117274253B (zh) 基于多模态Transformer的零配件检测方法、装置及可读介质
CN117315516B (zh) 基于多尺度注意力相似化蒸馏的无人机检测方法及装置
CN115497112B (zh) 表单识别方法、装置、设备以及存储介质
CN113361336B (zh) 基于注意力机制的视频监控场景下行人视图属性的定位与识别方法
CN110909688B (zh) 人脸检测小模型优化训练方法、人脸检测方法及计算机***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination