CN111967381B - 一种人脸图像质量评分标注方法及装置 - Google Patents
一种人脸图像质量评分标注方法及装置 Download PDFInfo
- Publication number
- CN111967381B CN111967381B CN202010822252.8A CN202010822252A CN111967381B CN 111967381 B CN111967381 B CN 111967381B CN 202010822252 A CN202010822252 A CN 202010822252A CN 111967381 B CN111967381 B CN 111967381B
- Authority
- CN
- China
- Prior art keywords
- face
- ith
- face image
- quality
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提供了一种人脸图像质量评分标注方法及装置,该方法包括:将集内待测人脸图像和集外噪声人脸图像经过人脸识别网络,得到相应的人脸特征向量;其中,每个人至少包含一张参考图;根据第i个人的参考图特征和其他不同人的参考图特征,计算示性函数;基于所述示性函数,计算第i个人的第k张待测图的质量值;对所述质量值做线性变换,得到第i个人的第k张待测图的最终标签值;利用所述最终标签值进行人脸质量评估模型训练。该方法综合考虑了人脸特征的类内和类间距离,对用于质量评价任务的人脸图像训练样本进行打标签的任务。通过应用该方法可以得到更加准确的人脸图像质量标签值,为后续训练出更好的人脸质量评估网络奠定基础。
Description
技术领域
本发明书一个或多个实施例涉及图像处理技术领域,尤其涉及一种人脸图像质量评分标注方法及装置。
背景技术
本部分旨在为权利要求书中陈述的本发明的实施方式提供背景或上下文。此处的描述可包括可以探究的概念,但不一定是之前已经想到或者已经探究的概念。因此,除非在此指出,否则在本部分中描述的内容对于本申请的说明书和权利要求书而言不是现有技术,并且并不因为包括在本部分中就承认是现有技术。
随着社会和科技的快速发展,人脸识别技术得到了越来越广泛的应用和普及,如已逐渐应用在机场、火车站等重要的安防口岸,银行、社区等与人民生活息息相关的重要场所,这些应用对人脸识别算法的准确率和效率均有较高的要求。为了提高人脸识别等基于人脸的任务的准确度,通常会对人脸图像进行质量评估,进而将评估分数较高的人脸图像应用于任务中。现有人脸图像质量评分技术主要有:
1,根据人为的主观感受打分;
2,无参考评价,根据客观设计的统计值,比如先提取出光照强度,模糊度,人脸角度等,再计算综合指标作为标签值;
3,全参考评价,根据测试图与参考图像之间的差异打分:比如各种统计指标,比如结构相似性等;或者直接使用深度学习网络所提取出的特征向量相似度。
但上述技术均存在弊端:
1,人为打分成本高,效率低;
2,客观设计指标一方面很难顾及到所有可能的影响因素,另一方面综合指标的鲁棒性较差,质量评价不够准确;
3,一般只考虑了与同类参考图像之内的差异或(类内)距离,没有考虑与不同类之间的参考图像之间的差异或(类间)距离,导致评价标签不够准确,进而使得后续质量评价网络或模型的训练效果不佳;
4,利用深度特征进行质量评价时,未考虑深度网络本身的准确性。
有鉴于此,亟需一种更全面,质量评价高的评分方法。
发明内容
本说明书一个或多个实施例描述了一种人脸图像质量评分标注方法及装置,可解决目前技术中存在的效率低、成本高及评价不够全面、准确的问题。
本说明书一个或多个实施例提供的技术方案如下:
第一方面,本发明提供了一种人脸图像质量评分标注方法,该方法包括:
将集内待测人脸图像和集外噪声人脸图像经过人脸识别网络,得到相应的人脸特征向量;其中,每个人至少包含一张参考图;
根据第i个人的参考图特征和其他不同人的参考图特征,计算示性函数;
基于所述示性函数,计算第i个人的第k张待测图的质量值;
对所述质量值做线性变换,得到第i个人的第k张待测图的最终标签值;
利用所述最终标签值进行人脸质量评估模型训练。
在一种可能的实现方式中,集外人脸和集内人脸身份不重叠。
在一种可能的实现方式中,在计算示性函数前,对特征向量进行归一化处理。
在一种可能的实现方式中,根据如下公式,计算示性函数:
其中,为第i个人的参考图特征;为其他不同人的参考图特征;j=1,2,...,N+M-1;,N为集内待测人的数量,M为集外噪声人的数量;第i个人的参考图特征与其他不同人的参考图的向量内积记为t为阈值常量。
在一种可能的实现方式中,根据如下公式计算第i个人的第k张待测图的质量值q:
在一种可能的实现方式中,根据如下公式对质量值q做线性变换:Q(i,j)=w·q+b,其中w,b为常量。
第二方面,本发明提供了一种人脸图像质量评分标注装置,该装置包括:
处理单元,配置为将集内待测人脸图像和集外噪声人脸图像经过人脸识别网络,得到相应的人脸特征向量;其中,每个人至少包含一张参考图;
第一计算单元,配置为根据第i个人的参考图特征和其他不同人的参考图特征,计算示性函数;
第二计算单元,配置为基于所述示性函数,计算第i个人的第k张待测图的质量值;
线性变换单元,配置为对所述质量值做线性变换,得到第i个人的第k张待测图的最终标签值;
模型训练单元,配置为利用所述最终标签值进行人脸质量评估模型训练。
第三方面,本发明提供了一种人脸图像质量评分标注***,该***包括至少一个处理器和存储器;
所述存储器,用于存储一个或多个程序指令;
所述处理器,用于运行一个或多个程序指令,用以执行如第一方面中一个或多个所述的方法。
第四方面,本发明提供了一种芯片,所述芯片与***中的存储器耦合,使得所述芯片在运行时调用所述存储器中存储的程序指令,实现如第一方面中一个或多个所述的方法。
第五方面,本发明提供了一种计算机可读存储介质,所述计算机可读存储介质包括一个或多个程序指令,所述一个或多个程序指令可被如第三方面所述的***执行,以实现如第一方面中一个或多个所述的方法。
本发明实施例提供的方法综合考虑了人脸特征的类内和类间距离,对用于质量评价任务的人脸图像训练样本进行打标签的任务。通过应用该方法可以得到更加准确的人脸图像质量标签值,为后续训练出更好的人脸质量评估网络奠定基础。
附图说明
图1为本发明实施例提供的一种人脸图像质量评分标注方法流程示意图;
图2为本发明实施例提供的一种人脸图像质量评分标注装置结构示意图;
图3为本发明实施例提供的一种人脸图像质量评分标注***结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释相关发明,而非对该发明的限定。另外还需要说明的是,为便于描述,附图中仅示出了与有关发明相关的部分。
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
图1示出一个实施例的人脸图像质量评分标注方法流程图,所述方法的执行主体可以为任何具有计算、处理能力的装置、设备、平台、设备集群。
如图1所示,所述方法包括以下步骤:
步骤10,将集内待测人脸图像和集外噪声人脸图像经过人脸识别网络,得到相应的人脸特征向量;其中,每个人至少包含一张参考图。
首先建立集内待测人脸图像样本集合和集外噪声人脸图像样本集合,具体的,如下流程:
步骤20,根据第i个人的参考图特征和其他不同人的参考图特征,计算示性函数。
具体的,通过如下公式计算示性函数:
其中,为第i个人的参考图特征;为其他不同人的参考图特征;j=1,2,...,N+M-1;,N为集内待测人的数量,M为集外噪声人的数量;第i个人的参考图特征与其他不同人的参考图的向量内积记为t为阈值常量,一般可取0.5。
步骤30,基于所述示性函数,计算第i个人的第k张待测图的质量值。
具体的,根据如下公式计算第i个人的第k张待测图的质量值q:
步骤40,对所述质量值做线性变换,得到第i个人的第k张待测图的最终标签值。
具体的,根据如下公式对质量值q做线性变换:Q(i,j)=w·q+b,其中w,b为常量。
步骤50,利用最终标签值进行人脸质量评估模型训练。
利用步骤40中得到的最终标签值进行人脸质量评估模型训练。
由于标签值由深度学习网络提取出的特征得到,因此,本发明实施例提供的人脸图像质量评分标注方法效率高,成本低。同时该方法还存在以下优点:
(1)通过构建示性函数来控制引入松弛变量,可以排除人脸识别模型本身分类能力不足导致的类内相似度低的问题,也即纠正了非图片质量问题导致的评分低的情况。
(2)通过重新训练网络模型,直接使用人脸识别模型特征。
(3)同时考虑人脸图像的类间和类内距离影响,使得评价更加全面。
与上述实施例方法对应的,本发明还提供了一种人脸图像质量评分标注方法装置,如图2所示,该人脸图像质量评分标注方法装置包括:处理单元210、第一计算单元220、第二计算单元230、线性变换单元240和模型训练单元250。具体的,
处理单元210,配置为将集内待测人脸图像和集外噪声人脸图像经过人脸识别网络,得到相应的人脸特征向量;其中,每个人至少包含一张参考图;
第一计算单元220,配置为根据第i个人的参考图特征和其他不同人的参考图特征,计算示性函数;
第二计算单元230,配置为基于所述示性函数,计算第i个人的第k张待测图的质量值;
线性变换单元240,配置为对所述质量值做线性变换,得到第i个人的第k张待测图的最终标签值;
模型训练单元250,配置为利用所述最终标签值进行人脸质量评估模型训练
本发明实施例提供的一种人脸图像质量评分标注装置中各部件所执行的功能均已在上述方法中做了详细介绍,因此这里不做过多赘述。
与上述实施例相对应的,本发明实施例、还提供了一种人脸图像质量评分标注***,具体如图3所示,该***包括至少一个处理器310和存储器220;
存储器310,用于存储一个或多个程序指令;
处理器320,用于运行一个或多个程序指令,执行如上述实施例所介绍的一种人脸图像质量评分标注方法中的任一方法步骤。
与上述实施例相对应的,本发明实施例还提供了一种芯片,该芯片与上述***中的存储器耦合,使得所述芯片在运行时调用所述存储器中存储的程序指令,实现如上述实施例所介绍的人脸图像质量评分标注方法。
与上述实施例相对应的,本发明实施例还提供了一种计算机存储介质,该计算机存储介质中包括一个或多个程序,其中,一个或多个程序指令用于被一种语音识别***执行如上介绍的人脸图像质量评分标注方法。
本申请提供的人脸图像质量评分标注方法综合考虑了人脸特征的类内和类间距离,对用于质量评价任务的人脸图像训练样本进行打标签的任务。通过应用该方法可以得到更加准确的人脸图像质量标签值,为后续训练出更好的人脸质量评估网络奠定基础。由于标签值由深度学习网络提取出的特征得到,因此本发明中的方法效率高,成本低,同时考虑人脸图像的类间和类内距离影响,使得评价更加全面。
专业人员应该还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上的具体实施方式,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上仅为本发明的具体实施方式而已,并不用于限定本发明的保护范围,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (7)
1.一种人脸图像质量评分标注方法,其特征在于,所述方法包括:
将集内待测人脸图像和集外噪声人脸图像经过人脸识别网络,得到相应的人脸特征向量;其中,每个人至少包含一张参考图;
根据第i个人的参考图特征和其他不同人的参考图特征,计算示性函数;
基于所述示性函数,计算第i个人的第k张待测图的质量值;
对所述质量值做线性变换,得到第i个人的第k张待测图的最终标签值;
利用所述最终标签值进行人脸质量评估模型训练;
根据如下公式,计算示性函数:
其中,为第i个人的参考图特征;为其他不同人的参考图特征;j=1,2,...,N+M-1;N为集内待测人的数量,M为集外噪声人的数量;第i个人的参考图特征与其他不同人的参考图的向量内积记为t为阈值常量;
根据如下公式计算第i个人的第k张待测图的质量值q:
2.根据权利要求1所述的方法,其特征在于,集外人脸和集内人脸身份不重叠。
3.根据权利要求1所述的方法,其特征在于,在计算示性函数前,对特征向量进行归一化处理。
4.根据权利要求1所述的方法,其特征在于,根据如下公式对质量值q做线性变换:Q(i,j)=w·q+b,其中w,b为常量。
5.一种人脸图像质量评分标注装置,其特征在于,所述装置包括:
处理单元,配置为将集内待测人脸图像和集外噪声人脸图像经过人脸识别网络,得到相应的人脸特征向量;其中,每个人至少包含一张参考图;
第一计算单元,配置为根据第i个人的参考图特征和其他不同人的参考图特征,计算示性函数;
第二计算单元,配置为基于所述示性函数,计算第i个人的第k张待测图的质量值;
线性变换单元,配置为对所述质量值做线性变换,得到第i个人的第k张待测图的最终标签值;
模型训练单元,配置为利用所述最终标签值进行人脸质量评估模型训练;
根据如下公式,计算示性函数:
其中,为第i个人的参考图特征;为其他不同人的参考图特征;j=1,2,...,N+M-1;N为集内待测人的数量,M为集外噪声人的数量;第i个人的参考图特征与其他不同人的参考图的向量内积记为t为阈值常量;
根据如下公式计算第i个人的第k张待测图的质量值q:
6.一种人脸图像质量评分标注***,其特征在于,所述***包括至少一个处理器和存储器;
所述存储器,用于存储一个或多个程序指令;
所述处理器,用于运行一个或多个程序指令,用以执行如权利要求1至4任一所述的方法。
7.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至4任一所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010822252.8A CN111967381B (zh) | 2020-08-16 | 2020-08-16 | 一种人脸图像质量评分标注方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010822252.8A CN111967381B (zh) | 2020-08-16 | 2020-08-16 | 一种人脸图像质量评分标注方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111967381A CN111967381A (zh) | 2020-11-20 |
CN111967381B true CN111967381B (zh) | 2022-11-11 |
Family
ID=73388178
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010822252.8A Active CN111967381B (zh) | 2020-08-16 | 2020-08-16 | 一种人脸图像质量评分标注方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111967381B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113139462A (zh) * | 2021-04-23 | 2021-07-20 | 杭州魔点科技有限公司 | 无监督的人脸图像质量评估方法、电子设备和存储介质 |
CN113192028B (zh) * | 2021-04-29 | 2022-05-31 | 合肥的卢深视科技有限公司 | 人脸图像的质量评价方法、装置、电子设备及存储介质 |
CN117372405A (zh) * | 2023-10-31 | 2024-01-09 | 神州通立电梯有限公司 | 人脸图像质量评估方法、装置、存储介质及设备 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107330397A (zh) * | 2017-06-28 | 2017-11-07 | 苏州经贸职业技术学院 | 一种基于大间隔相对距离度量学习的行人重识别方法 |
CN108235770A (zh) * | 2017-12-29 | 2018-06-29 | 深圳前海达闼云端智能科技有限公司 | 图像识别方法及云端*** |
CN109003266A (zh) * | 2018-07-13 | 2018-12-14 | 中国科学院长春光学精密机械与物理研究所 | 一种基于模糊聚类统计图像质量主观评价结果的方法 |
CN109241880A (zh) * | 2018-08-22 | 2019-01-18 | 北京旷视科技有限公司 | 图像处理方法、图像处理装置、计算机可读存储介质 |
CN111241925A (zh) * | 2019-12-30 | 2020-06-05 | 新大陆数字技术股份有限公司 | 人脸质量评定方法、***、电子设备及可读存储介质 |
-
2020
- 2020-08-16 CN CN202010822252.8A patent/CN111967381B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107330397A (zh) * | 2017-06-28 | 2017-11-07 | 苏州经贸职业技术学院 | 一种基于大间隔相对距离度量学习的行人重识别方法 |
CN108235770A (zh) * | 2017-12-29 | 2018-06-29 | 深圳前海达闼云端智能科技有限公司 | 图像识别方法及云端*** |
CN109003266A (zh) * | 2018-07-13 | 2018-12-14 | 中国科学院长春光学精密机械与物理研究所 | 一种基于模糊聚类统计图像质量主观评价结果的方法 |
CN109241880A (zh) * | 2018-08-22 | 2019-01-18 | 北京旷视科技有限公司 | 图像处理方法、图像处理装置、计算机可读存储介质 |
CN111241925A (zh) * | 2019-12-30 | 2020-06-05 | 新大陆数字技术股份有限公司 | 人脸质量评定方法、***、电子设备及可读存储介质 |
Non-Patent Citations (2)
Title |
---|
Face Quality Estimation and Its Correlation to Demographic and Non-Demographic Bias in Face Recognition;Philipp Terhorst等;《arXiv:2004.01019v3[cs.CV]》;20200710;全文 * |
Philipp Terhörst等.SER-FIQ: Unsupervised Estimation of Face Image Quality Based on Stochastic Embedding Robustness.《2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)》.2020, * |
Also Published As
Publication number | Publication date |
---|---|
CN111967381A (zh) | 2020-11-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111967381B (zh) | 一种人脸图像质量评分标注方法及装置 | |
CN109065027B (zh) | 语音区分模型训练方法、装置、计算机设备及存储介质 | |
US20190026605A1 (en) | Neural network model training method and apparatus, living body detecting method and apparatus, device and storage medium | |
WO2020211339A1 (zh) | 指静脉识别方法、装置、计算机设备及存储介质 | |
EP3696566A1 (en) | System and method for identification of an airborne object | |
US7873189B2 (en) | Face recognition by dividing an image and evaluating a similarity vector with a support vector machine | |
CN108090857A (zh) | 一种多模态的学生课堂行为分析***和方法 | |
CN108304820A (zh) | 一种人脸检测方法、装置及终端设备 | |
CN102737633A (zh) | 一种基于张量子空间分析的说话人识别方法及其装置 | |
US10423817B2 (en) | Latent fingerprint ridge flow map improvement | |
CN111178252A (zh) | 多特征融合的身份识别方法 | |
CN114241505B (zh) | 化学结构图像的提取方法、装置、存储介质及电子设备 | |
CN111401105B (zh) | 一种视频表情识别方法、装置及设备 | |
Morrison | Vowel inherent spectral change in forensic voice comparison | |
CN116542912A (zh) | 一种多目标视觉跟踪的柔性体桥梁振动检测模型、应用 | |
CN110874576B (zh) | 一种基于典型相关分析融合特征的行人再识别方法 | |
CN114398611A (zh) | 一种双模态身份认证方法、装置以及存储介质 | |
CN116153337B (zh) | 合成语音溯源取证方法及装置、电子设备及存储介质 | |
Kumar et al. | Footprint recognition using modified sequential haar energy transform (MSHET) | |
RU2148274C1 (ru) | Способ идентификации личности по особенностям подписи | |
Kartik et al. | Multimodal biometric person authentication system using speech and signature features | |
CN107066943B (zh) | 一种人脸检测方法及装置 | |
CN109272262A (zh) | 一种自然语言特征的分析方法 | |
CN113327618B (zh) | 声纹判别方法、装置、计算机设备和存储介质 | |
CN113327617B (zh) | 声纹判别方法、装置、计算机设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |