CN113536947A - 一种人脸属性分析方法及装置 - Google Patents

一种人脸属性分析方法及装置 Download PDF

Info

Publication number
CN113536947A
CN113536947A CN202110687994.9A CN202110687994A CN113536947A CN 113536947 A CN113536947 A CN 113536947A CN 202110687994 A CN202110687994 A CN 202110687994A CN 113536947 A CN113536947 A CN 113536947A
Authority
CN
China
Prior art keywords
attribute
face
analysis
branch
attributes
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110687994.9A
Other languages
English (en)
Inventor
冯子钜
毛永雄
叶润源
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhongshan Xidao Technology Co ltd
Original Assignee
Zhongshan Xidao Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhongshan Xidao Technology Co ltd filed Critical Zhongshan Xidao Technology Co ltd
Priority to CN202110687994.9A priority Critical patent/CN113536947A/zh
Publication of CN113536947A publication Critical patent/CN113536947A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种人脸属性分析方法及装置,该方法包括:获取人脸图像,并对人脸图像进行条件检测以及人脸属性分析,获得条件检测结果以及人脸属性。若条件检测结果满足人脸属性对应的预设检测条件,且人脸属性的置信度达到置信度阈值,则根据人脸属性,确定属性分析结果。可见,本申请实施例考虑了图像质量对不同属性进行分析的影响,通过筛选属性,保证筛选出的人脸属性既满足可靠的检测条件又达到高置信度,从而优化属性分析结果,大大提高了人脸属性分析的准确性。

Description

一种人脸属性分析方法及装置
技术领域
本申请涉及计算机技术领域,特别涉及一种人脸属性分析方法及装置。
背景技术
人脸属性作为重要的生物特征,蕴含了大量便于人脸识别的属性信息,比如性别、种族和年龄等。因此,如何对这些属性信息进行检测,是人脸识别领域的研究热点之一。
现有的人脸属性分析方法主要是通过采集人脸视频信息,再对人脸视频信息中的每帧人脸图像进行属性分析,获得人脸属性分析结果。实践中发现,在复杂的拍摄情况(比如人群拥挤、人脸遮挡等)下,容易采集到图像质量较低的人脸图像,进而影响到人脸属性分析结果的准确性。
发明内容
本申请旨在至少解决现有技术中存在的技术问题之一。为此,本申请提出一种人脸属性分析方法及装置,能够提高人脸属性分析的准确性。
根据本申请的第一方面实施例的一种人脸属性分析方法,包括:
获取人脸图像;对所述人脸图像进行条件检测以及人脸属性分析,获得条件检测结果以及人脸属性;若所述条件检测结果满足所述人脸属性对应的预设检测条件,且所述人脸属性的置信度达到置信度阈值,则根据所述人脸属性,确定属性分析结果。
根据本申请实施例的一种人脸属性分析方法,至少具有如下有益效果:
在本申请实施例中,通过对获取到的人脸图像进行条件检测以及人脸属性分析,获得条件检测结果以及人脸属性。如果条件检测结果满足人脸属性对应的预设检测条件,说明人脸图像可以满足准确检测出该人脸属性的条件,基于此,如果人脸属性的置信度也达到置信度阈值,说明从人脸图像中分析出的人脸属性可信,此时便可以根据人脸属性确定出属性分析结果。可见,本申请实施例考虑了图像质量对不同属性进行分析的影响,通过筛选属性,保证筛选出的人脸属性既满足可靠的检测条件又达到高置信度,从而优化属性分析结果,大大提高了人脸属性分析的准确性。
根据本申请的一些实施例,所述对所述人脸图像进行条件检测以及人脸属性分析,获得条件检测结果以及人脸属性,包括:
将所述人脸图像输入到预先构建的人脸分析模型中进行条件检测以及人脸属性分析,其中,所述人脸分析模型包括主干网络、条件检测分支以及属性分析分支;获得通过所述条件检测分支输出的条件检测结果以及通过所述属性分析分支输出的人脸属性。
根据本申请的一些实施例,所述条件检测分支至少包括图像质量检测分支、人脸大角度检测分支、人脸关键点检测分支以及五官语义分割分支;所述属性分析分支至少包括性别属性分析分支、年龄属性分析分支、姿态属性分析分支以及配饰物属性分析分支。
根据本申请的一些实施例,所述人脸属性为数值属性,所述人脸分析模型还包括不同数值属性类别对应的数值分类分支;所述将所述人脸图像输入到预先构建的人脸分析模型中进行条件检测以及人脸属性分析之后,所述方法还包括:
通过所述数值分类分支,获得人脸属性的置信度。
根据本申请的一些实施例,所述通过所述数值分类分支,获得人脸属性的置信度,包括:
通过所述数值分类分支,根据人脸属性的数值属性类别,获取数值范围以及对所述数值范围划分的多个分类范围;根据所述人脸属性,从多个分类范围中确定出目标分类范围;其中,所述目标分类范围包括所述人脸属性所对应的分类范围,和/或,与所述人脸属性所对应的分类范围相邻的M个分类范围,M为正整数;根据所述目标分类范围的置信度,确定所述人脸属性的置信度。
根据本申请的一些实施例,所述根据所述人脸属性,确定属性分析结果,包括:
确定所述人脸属性所对应的统计队列;将所述人脸属性添加到所述统计队列中;根据所述统计队列中各属性对应的置信度进行计算,获得属性分析结果。
根据本申请的一些实施例,所述将所述人脸属性添加到所述统计队列中,包括:
若所述统计队列已满,则获取所述统计队列中满足删除条件的目标属性;其中,所述删除条件包括:所述目标属性为所述统计队列中置信度最低的属性,和/或,所述目标属性为所述统计队列中加入时间最长的属性;
若所述人脸属性的置信度大于或等于所述目标属性的置信度,则从所述统计队列中删除所述目标属性,获得更新的统计队列;将所述人脸属性添加到所述更新的统计队列中。
根据本申请的一些实施例,所述人脸属性为数值属性;所述根据所述统计队列中各属性对应的置信度进行计算,获得属性分析结果,包括:
根据所述统计队列中各属性对应的置信度或者置信度平方值,计算所述统计队列中各属性的归一化权重;根据所述统计队列中各属性的归一化权重以及各属性的取值进行加权平均计算,获得属性分析结果。
根据本申请的一些实施例,所述人脸属性为分类属性;所述根据所述统计队列中各属性对应的置信度进行计算,获得属性分析结果,包括:
将所述统计队列中属于同一属性类别的属性进行归类与计数,获得各属性类别对应的属性个数;根据各属性类别对应的属性个数,将属性个数最多的属性类别确定为属性分析结果;
或者,将所述统计队列中属于同一属性类别的属性进行置信度或置信度平方值的累加计算,获得各属性类别对应的累加值,并将累加值最大的属性类别确定为属性分析结果。
根据本申请第二方面实施例的一种人脸属性分析装置,所述装置包括:
获取模块,用于获取人脸图像;
检测分析模块,用于对所述人脸图像进行条件检测以及人脸属性分析,获得条件检测结果以及人脸属性;
确定模块,用于在所述条件检测结果满足所述人脸属性对应的预设检测条件,且所述人脸属性的置信度达到置信度阈值时,根据所述人脸属性,确定属性分析结果。
根据本申请第三方面实施例的一种人脸属性分析装置,包括:
一个或多个存储器;一个或多个处理器,用于执行存储在所述一个或多个存储器中的一个或多个计算机程序,还用于执行如本申请第一方面实施例所述的方法。
根据本申请第四方面实施例的一种计算机可读存储介质,包括指令,当其在计算机上运行时,使得计算机执行如本申请第一方面实施例所述的方法。
根据本申请第五方面实施例的一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行如本申请第一方面实施例所述的方法。
本申请的附加方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本申请的实践了解到。
附图说明
本申请的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解,其中:
图1为本申请实施例公开的一种人脸属性分析方法的流程示意图;
图2为本申请实施例中对人脸图像进行条件检测以及人脸属性分析的一种实施例示意图;
图3为本申请实施例中一种人脸分析模型的结构示意图;
图4为本申请实施例公开的另一种人脸属性分析方法的流程示意图;
图5为本申请实施例公开的一种人脸属性分析装置的结构示意图;
图6为本申请实施例公开的另一种人脸属性分析装置的结构示意图。
具体实施方式
下面详细描述本申请的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本申请,而不能理解为对本申请的限制。
在本申请的描述中,若干的含义是一个或者多个,多个的含义是两个以上,大于、小于、超过等理解为不包括本数,以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。
本申请实施例公开一种人脸属性分析方法及装置,能够提高人脸属性分析的准确性。该方法可适用于具有计算处理功能的终端,更具体的,还可适用于安装在终端上的软件或软件模块,而终端可以包括手机、平板电脑、笔记本电脑、个人计算机(personalcomputer,PC)、移动互联网设备以及服务器等,本申请实施例不做具体限定。以下结合附图进行详细描述。
请参阅图1,图1为本申请实施例公开的一种人脸属性分析方法的流程示意图。
110、获取人脸图像。
在本申请实施例中,可以通过调用拍摄设备进行视频拍摄,或者通过与其他用于视频采集的终端进行数据通讯连接,获取人脸视频信息,不做具体限定。基于此,对人脸视频信息进行逐帧分解,可以获得多帧人脸图像,从而对每帧人脸图像均执行如步骤110至步骤140所示的人脸属性分析方法。
120、对人脸图像进行条件检测以及人脸属性分析,获得条件检测结果以及人脸属性。
在本申请实施例中,对人脸图像进行条件检测可以指:对人脸图像的图像质量、人脸图像中的人脸大角度、人脸关键点、五官语义分割大小以及其他检测条件类型进行检测,对此不做具体限定。条件检测结果可用于判断从人脸图像中分析得到的人脸属性是否可靠。人脸属性的数目可以为一个或一个以上,且人脸属性的属性类型可以分为数值属性和分类属性,数值属性可以包括但不限于年龄属性和姿态属性(比如头部朝向角度),而分类属性可以包括但不限于性别属性、配饰物属性(比如是否佩戴眼镜等)、表情属性以及脸型属性等。对人脸属性的数目和属性类型亦不做具体限定。
130、若条件检测结果满足人脸属性对应的预设检测条件,且人脸属性的置信度达到置信度阈值,则根据人脸属性,确定属性分析结果。
在本申请实施例中,人脸属性对应的预设检测条件可以指:根据人脸属性的属性类型,对不同检测条件类型预设的检测条件阈值。因此,将条件检测结果中各检测条件类型的实际检测结果与相应的检测条件阈值进行对比,即可判断条件检测结果是否满足人脸属性对应的预设检测条件。比如,针对图像质量等级这一检测条件类型,假设图像质量等级分为4级,且相应的检测条件阈值为图像质量3级,当条件检测结果指示图像质量等级为2级(<3级)时,则说明条件检测结果不满足预设检测条件。
在本申请实施例中,可选的,如果条件检测结果中与该人脸属性相关的检测结果均满足相应的检测条件阈值,则判定条件检测结果满足预设检测条件;否则,判定条件检测结果不满足预设检测条件,则可以过滤掉该人脸属性,不做后续处理。
在本申请实施例中,置信度阈值用于判断从人脸图像分析得到的人脸属性是否可信,且置信度阈值可以是预先设定(或人为设置)的阈值,比如80%、85%或者90%,对此不做具体限定。
在本申请实施例中,另一种情况下,若人脸属性的置信度未达到置信度阈值,则判定人脸属性不可信,故可以将该人脸属性过滤,不再根据该人脸属性确定属性分析结果,实现了对不可信属性的筛选。
可见,实施上述方法实施例,考虑了人脸图像中检测条件以及人脸属性置信度对不同属性进行分析的影响,通过筛选属性,保证筛选出的人脸属性既满足可靠的检测条件又达到高置信度,从而优化属性分析结果,大大提高了人脸属性分析的准确性。
请参阅图2,图2为本申请实施例中对人脸图像进行条件检测以及人脸属性分析的一种实施例示意图。如图2所示,步骤120具体可以为:
121、将人脸图像输入到预先构建的人脸分析模型中进行条件检测以及人脸属性分析。
在本申请实施例中,人脸分析模型可以是预先构建的神经网络模型。具体的,人脸分析模型可以包括一体化的主干网络、条件检测分支和属性分析分支。主干网络用于对人脸图像进行特征提取,条件检测分支用于条件检测,而属性分析分支用于人脸属性分析。
在本申请实施例中,主干网络可以采用深度学习神经网络的各种主干网络,比如ResNet18网络和MobilenetV1网络等,不做具体限定。条件检测分支和属性分析分支均可以包括多个实现不同功能的任务分支,且每个任务分支可以采用卷积层、激励层、归一化层和全连接层的网络结构,或者通过神经网络结构搜索(neural architecture search,NAS)技术所构建,对此亦不做具体限定。
可选的,步骤120之前,可以以大量人脸样本图像为输入数据,并以从每张人脸样本图像中标注的条件检测标签和人脸属性标签为基准数据,对人脸分析模型进行训练及学习,以此提升人脸分析模型的多任务学习能力,改善条件检测和人脸属性分析的准确性。
122、获得通过条件检测分支输出的条件检测结果以及通过属性分析分支输出的人脸属性。
在本申请实施例中,条件检测分支至少可以包括图像质量检测分支、人脸大角度检测分支、人脸关键点检测分支以及五官语义分割分支,对此不做具体限定。属性分析分支至少可以包括性别属性分析分支、年龄属性分析分支、姿态属性分析分支以及配饰物属性分析分支,亦不做具体限定。以下针对条件检测分支包括的各任务分支进行说明。
图像质量检测分支,用于检测人脸图像的图像质量。作为一种可选的实施方式,可以设定多种图像质量等级,比如,设定图像质量等级1、2、3、4级,图像质量1级表示图像很模糊和/或噪点很大,图像质量2级表示图像模糊和/或噪点稍大,图像质量3级表示图像不模糊且含少量噪点,而图像质量4级表示图像清晰且几乎无噪点。基于此,可以基于主干网络从多张人脸样本图像中提取出的噪声特征数据和模糊特征数据,并以为每张人脸样本图像标注的图像质量等级为基准数据,对图像质量检测分支进行训练与学习,从而通过图像质量检测分支模拟人眼实现图像质量判断,并且适用于低照度环境下采集的人脸图像。
进一步的,如果条件检测分支包括图像质量检测分支,条件检测结果包括图像质量检测结果,步骤122具体可以为:
通过图像质量检测分支,基于质量评分算法对人脸图像进行质量检测,获得图像质量检测结果,质量评分算法为:
Figure BDA0003125278650000101
其中,Quality为图像质量检测结果,图像质量检测结果的评分越高,可以表示图像质量越高。N为图像质量等级的总数,且N为正整数,Pi为人脸图像的特征数据属于第i级图像质量等级的置信度,Qi为对第i级图像质量等级的归一化结果。可选的,Qi可以满足:
Figure BDA0003125278650000102
比如,如果图像质量等级分为3级,则
Figure BDA0003125278650000103
可见,采用图像质量检测分支,实现了自动对图像质量进行质量评分,从而为判断人脸图像质量是否符合要求提供了数值化标准。
人脸大角度检测分支,用于对人脸大角度和人脸小角度进行二分类,以判断人脸角度是否过大。其中,人脸大角度可以指人脸角度为90°或90°以上;人脸小角度可以指人脸角度属于0°至90°,或者可从人脸图像中定位出人脸五官的人脸角度,均不做具体限定。
人脸关键点检测分支,用于预测出人脸关键点。具体的,人脸关键点检测分支可以是联合多种人脸关键点数据集(比如300W、WFLW、JD_Landmark数据集等)进行训练后构建的检测分支。人脸关键点可以包括但不限于眼睛、嘴巴、鼻子以及眉毛的关键点。
在一种实现方式中,如果人脸关键点包括眼睛的关键点,具体可以有两个眼角关键点、上眼睑最高处关键点以及下眼睑最低处关键点。则,根据两个眼角关键点,可以识别出眼角宽度。根据上眼睑最高处关键点以及下眼睑最低处关键点,可以识别出眼睑高度。再结合眼角宽度和眼睑高度之比,可以确定眼睛的闭合度。示例性的,如果眼睛的闭合度小于预设检测条件中的闭合度阈值,则可以判定眼睛的闭合度不满足预设检测条件,从而过滤掉识别出闭眼人脸的人脸图像。
类似的,在另一种实现方式中,如果人脸关键点包括嘴巴的关键点,可以根据嘴角的关键点识别嘴角宽度,以及根据上下唇关键点识别上下唇宽度,并结合嘴角宽度与上下唇宽度之比确定嘴巴的张开程度。示例性的,如果嘴巴的张开程度大于预设检测条件中的张开程度阈值,则判定嘴巴的张开程度不满足预设检测条件,从而过滤掉识别出打哈欠动作的人脸图像。
五官语义分割分支,用于计算面部特征的语义分割大小。面部特征可以包括眉毛、眼睛、鼻子、左右脸和下巴等,对此不做具体限定。具体来说,可以采用增加不同遮挡效果的人脸五官分割数据集(比如CelebAMask-HQ数据集)或者基于人脸关键点数据集生成的五官分割模板对五官语义分割分支进行训练与学习。进一步的,在一些实现方式中,可以直接根据面部特征的语义分割大小确定对各面部特征的遮挡程度,或者,也可以根据面部特征的语义分割大小与该面部特征的标准分割大小之比,确定对面部特征的遮挡程度。可见,将面部特征的遮挡程度与遮挡程度阈值相对比,即可判定面部特征的遮挡程度是否满足预设检测条件,以便过滤掉存在遮挡干扰的人脸图像。
可以理解的是,条件检测分支和属性分析分支均可以按照实际需求添加其他任务分支,使得人脸分析模型的实现功能更加丰富,模型结构更加灵活化。
请参阅图3,图3为本申请实施例中一种人脸分析模型的结构示意图。如图3所示,实施上述步骤121和步骤122,只利用一个人脸分析模型即可输出对人脸图像的多个条件检测结果以及多个人脸属性。并且,在一个人脸分析模型中,条件检测分支和属性分析分支所包括的多个任务分支均共用了一个主干网络,而无需额外构建多个分析模型,能够大大减少计算量,更加适合部署在算力受限的设备上。
在本申请实施例中,如果人脸属性为分类属性,通过属性分析分支可以直接获得该人脸属性的置信度,即被归类于该人脸属性的概率。而在一些可选的实现方式中,人脸分析模型还可以包括不同数值属性类别对应的数值分类分支。具体来说,数值分类分支的输入端可以连接于相应数值属性分析分支的输出端,用于对该数值属性分析分支输出的数值属性进行置信度计算,比如,将年龄属性分析分支输出的年龄输入到年龄属性对应的数值分类分支中。基于此,如果人脸属性为数值属性,则还可以执行下述步骤123。
123、通过数值分类分支,获得人脸属性的置信度。
可见,人脸分析模型还能够通过专门的任务分支求得数值属性的置信度,以便对数值属性实现可信度分析。
进一步的,在一些可选的实现方式中,通过数值分类分支,获得人脸属性的置信度具体可以为:
通过数值分类分支,根据人脸属性的数值属性类别,获取数值范围以及对数值范围划分的多个分类范围。通过数值分类分支,根据人脸属性从多个分类范围中确定出目标分类范围。之后,通过数值分类分支,根据目标分类范围的置信度确定出人脸属性的置信度。
其中,在一些实现方式中,目标分类范围可以是多个分类范围中人脸属性所对应的分类范围,或者是与人脸属性所对应的分类范围相邻的M(M为正整数)个分类范围,又或者上述两者均满足。以年龄属性为例,年龄属性的数值范围为1岁至90岁,则可以以3岁为一个分类范围,将上述数值范围分为30个分类范围。假设年龄属性的取值为5岁,则可以将年龄属性对应的分类范围,即4至6岁,作为目标分类范围。
在另一些实现方式中,通过获取人脸属性被分为每个分类范围的置信度,目标分类范围还可以是多个分类范围中置信度最高的分类范围,或者是与置信度最高的分类范围相邻的W(W为正整数)个分类范围,又或者上述两者均满足。
进一步的,作为一种可选的实施方式,如果目标分类范围为单个分类范围,则可以将目标分类范围的置信度确定为人脸属性的置信度。或者,如果目标分类范围包括两个或两个以上的分类范围,则还可以将目标分类范围中各分类范围的置信度进行求和运算,获得人脸属性的置信度。
请参阅图4,图4为本申请实施例公开的另一种人脸属性分析方法的流程示意图。
410、获取人脸图像。
420、对人脸图像进行条件检测以及人脸属性分析,获得条件检测结果以及人脸属性。
步骤420之后,如果人脸属性属于恒定属性类型,且人脸属性的置信度达到置信度阈值,则可以直接将人脸属性确定为属性分析结果。如果人脸属性不属于恒定属性类型,则可以执行下述步骤430。其中,恒定属性类型可以指属性取值在一定时期内恒定不变的属性类型,比如性别属性和年龄属性等。
在本申请实施例中,步骤410和步骤420可以参照图1所示实施例中对步骤110至步骤120的描述,在此不再赘述。
430、若条件检测结果满足人脸属性对应的预设检测条件,且人脸属性的置信度达到置信度阈值,则确定人脸属性所对应的统计队列。
在本申请实施例中,根据人脸属性的属性类型,可以构建不同的统计队列。各人脸属性的统计队列中可添加的属性数也可以是人为设定,比如5个或10个,不做具体限定。
440、将人脸属性添加到统计队列中。
作为一种可选的实施方式,若统计队列已满,则可以获取统计队列中满足删除条件的目标属性。若人脸属性的置信度大于或等于目标属性的置信度,则从统计队列中删除目标属性,获得更新的统计队列,再将人脸属性添加到更新的统计队列中。
其中,删除条件可以为:目标属性为统计队列中置信度最低的属性;或者,目标属性为统计队列中加入时间最长的属性;或者,以上两项均满足,比如,当统计队列中存在两个或两个以上置信度最低的属性,则从这些属性中确定加入时间最长的属性作为目标属性。对删除条件不做具体限定。
进一步的,在另一种情况下,若人脸属性的置信度小于目标属性的置信度,则可以将该人脸属性丢弃。可见,当统计队列已满时,通过将人脸属性与统计队列中达到删除条件的属性进行置信度比对,丢弃置信度较低的属性,使得统计队列始终存有更高置信度的属性,能够保证统计队列的可靠性。
450、根据统计队列中各属性对应的置信度进行计算,获得属性分析结果。
如果人脸属性为数值属性,在一种实现方式中,步骤450具体可以为:根据统计队列中各属性对应的置信度或者置信度平方值,计算统计队列中各属性的归一化权重。根据统计队列中各属性的归一化权重以及各属性的取值进行加权平均计算,获得属性分析结果。具体的,加权平均计算公式可以为:
Figure BDA0003125278650000151
Figure BDA0003125278650000152
或者
Figure BDA0003125278650000153
其中,R为属性分析结果,S为统计队列中的属性数目,Ci'为统计队列中各属性的归一化权重,Qi为各属性的取值,Ci为各属性的置信度。
如果人脸属性为分类属性,在一种实现方式中,步骤450具体可以为:将统计队列中属于同一属性类别的属性进行归类与计数,获得各属性类别对应的属性个数;根据各属性类别对应的属性个数,将属性个数最多的属性类别确定为属性分析结果。示例性的,如果人脸属性为性别属性,假设统计队列中男性属性有3个,女性属性有5个,则可以将女性确定为属性分析结果,即人脸图像中的人脸性别为女性。
在其他实现方式中,还可以将统计队列中属于同一属性类别的属性进行置信度或置信度平方值的累加计算,获得各属性类别对应的累加值,并将累加值最大的属性类别确定为属性分析结果,从而确保属性分析结果满足最大置信度。
可见,实施上述步骤440和步骤450,随着人脸分析模型对人脸视频信息中的多帧人脸图像一一进行分析,可以利用越来越多高置信度的属性,不断更新各统计队列,使得基于统计队列计算出的属性分析结果越来越优化和可靠,从而大大提升人脸属性分析的准确性。
可见,实施上述方法实施例,考虑了图像质量对不同属性进行分析的影响,通过筛选属性,保证筛选出的人脸属性既满足可靠的检测条件又达到高置信度,从而优化属性分析结果,大大提高了人脸属性分析的准确性。
上述对本申请实施例中的人脸属性分析方法进行了说明,下面对本申请实施例中的人脸属性分析装置进行说明。
请参阅图5,图5为本申请实施例公开的一种人脸属性分析装置的结构示意图。如图5所示,该装置可以包括获取模块501、检测分析模块502以及确定模块503,其中:
获取模块501,用于获取人脸图像。
检测分析模块502,用于对所述人脸图像进行条件检测以及人脸属性分析,获得条件检测结果以及人脸属性。
确定模块503,用于在条件检测结果满足人脸属性对应的预设检测条件,且人脸属性的置信度达到置信度阈值时,根据人脸属性,确定属性分析结果。
在本申请实施例中,作为一种可选的实施方式,检测分析模块502,还用于将人脸图像输入到预先构建的人脸分析模型中进行条件检测以及人脸属性分析,人脸分析模型包括主干网络、条件检测分支以及属性分析分支;以及,获得通过条件检测分支输出的条件检测结果以及通过属性分析分支输出的人脸属性。
进一步的,作为一种可选的实施方式,条件检测分支至少包括图像质量检测分支、人脸大角度检测分支、人脸关键点检测分支以及五官语义分割分支;属性分析分支至少包括性别属性分析分支、年龄属性分析分支、姿态属性分析分支以及配饰物属性分析分支。
进一步的,作为一种可选的实施方式,人脸属性为数值属性,人脸分析模型还包括不同数值属性类别对应的数值分类分支;检测分析模块502,还用于在将人脸图像输入到预先构建的人脸分析模型中进行条件检测以及人脸属性分析之后,通过数值分类分支,获得人脸属性的置信度。
再进一步的,作为一种可选的实施方式,检测分析模块502,还用于通过数值分类分支,根据人脸属性的数值属性类别,获取数值范围以及对所述数值范围划分的多个分类范围;根据人脸属性,从多个分类范围中确定出目标分类范围;根据目标分类范围的置信度,确定人脸属性的置信度。其中,目标分类范围包括人脸属性所对应的分类范围,和/或,与人脸属性所对应的分类范围相邻的M个分类范围,M为正整数。
在本申请实施例中,作为一种可选的实施方式,确定模块503可以包括确定单元、添加单元以及计算单元,其中:确定单元,用于在条件检测结果满足人脸属性对应的预设检测条件,且人脸属性的置信度达到置信度阈值时,确定人脸属性所对应的统计队列。添加单元,用于将人脸属性添加到统计队列中。计算单元,用于根据统计队列中各属性对应的置信度进行计算,获得属性分析结果。
进一步的,作为一种可选的实施方式,添加单元,具体可以用于在统计队列已满时,获取统计队列中满足删除条件的目标属,删除条件包括:目标属性为所述统计队列中置信度最低的属性,和/或,目标属性为统计队列中加入时间最长的属性;以及在人脸属性的置信度大于或等于目标属性的置信度时,从统计队列中删除目标属性,获得更新的统计队列,再将人脸属性添加到更新的统计队列中。
在本申请实施例中,作为一种可选的实施方式,人脸属性为数值属性。上述计算单元,还用于根据统计队列中各属性对应的置信度或者置信度平方值,计算统计队列中各属性的归一化权重;根据统计队列中各属性的归一化权重以及各属性的取值进行加权平均计算,获得属性分析结果。
作为另一种可选的实施方式,人脸属性为分类属性。上述计算单元,还用于将统计队列中属于同一属性类别的属性进行归类与计数,获得各属性类别对应的属性个数;根据各属性类别对应的属性个数,将属性个数最多的属性类别确定为属性分析结果;或者,将统计队列中属于同一属性类别的属性进行置信度或置信度平方值的累加计算,获得各属性类别对应的累加值,并将累加值最大的属性类别确定为属性分析结果。
需要说明的是,本实施例的具体实现过程可参见上述方法实施例所述的具体实现过程,在此不再叙述。
请参阅图6,图6为本申请实施例公开的另一种人脸属性分析装置的结构示意图,包括:
一个或多个存储器601;
一个或多个处理器602,用于执行存储在一个或多个存储器601中的一个或多个计算机程序,以执行上述各实施例中描述的方法。
需要说明的是,本实施例的具体实现过程可参见上述方法实施例所述的具体实现过程,在此不再叙述。
本申请实施例提供一种计算机可读存储介质,其上存储有计算机指令,该计算机指令运行时使计算机执行上述方法实施例所描述的人脸属性分析方法。
本申请实施例还公开一种计算机程序产品,其中,当计算机程序产品在计算机上运行时,使得计算机执行如以上各方法实施例中的方法的部分或全部步骤。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质包括只读存储器(read-only memory,ROM)、随机存储器(random access memory,RAM)、可编程只读存储器(programmableread-only memory,PROM)、可擦除可编程只读存储器(erasableprogrammable read only memory,EPROM)、一次可编程只读存储器(one-timeprogrammable read only memory,OTPROM)、电子抹除式可复写只读存储器(electrically-erasableprogrammable read-only memory,EEPROM)、只读光盘(compactdisc read-only memory,CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。
以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
尽管已经示出和描述了本申请的实施例,本领域的普通技术人员可以理解:在不脱离本申请的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型,本申请的范围由权利要求及其等同物限定。

Claims (10)

1.一种人脸属性分析方法,其特征在于,所述方法包括:
获取人脸图像;
对所述人脸图像进行条件检测以及人脸属性分析,获得条件检测结果以及人脸属性;
若所述条件检测结果满足所述人脸属性对应的预设检测条件,且所述人脸属性的置信度达到置信度阈值,则根据所述人脸属性,确定属性分析结果。
2.根据权利要求1所述的方法,其特征在于,所述对所述人脸图像进行条件检测以及人脸属性分析,获得条件检测结果以及人脸属性,包括:
将所述人脸图像输入到预先构建的人脸分析模型中进行条件检测以及人脸属性分析,其中,所述人脸分析模型包括主干网络、条件检测分支以及属性分析分支;
获得通过所述条件检测分支输出的条件检测结果以及通过所述属性分析分支输出的人脸属性。
3.根据权利要求2所述的方法,其特征在于,所述条件检测分支至少包括图像质量检测分支、人脸大角度检测分支、人脸关键点检测分支以及五官语义分割分支;所述属性分析分支至少包括性别属性分析分支、年龄属性分析分支、姿态属性分析分支以及配饰物属性分析分支。
4.根据权利要求2所述的方法,其特征在于,所述人脸属性为数值属性,所述人脸分析模型还包括不同数值属性类别对应的数值分类分支;所述将所述人脸图像输入到预先构建的人脸分析模型中进行条件检测以及人脸属性分析之后,所述方法还包括:
通过所述数值分类分支,获得人脸属性的置信度。
5.根据权利要求4所述的方法,其特征在于,所述通过所述数值分类分支,获得人脸属性的置信度,包括:
通过所述数值分类分支,根据人脸属性的数值属性类别,获取数值范围以及对所述数值范围划分的多个分类范围;
根据所述人脸属性,从多个分类范围中确定出目标分类范围;其中,所述目标分类范围包括所述人脸属性所对应的分类范围,和/或,与所述人脸属性所对应的分类范围相邻的M个分类范围,M为正整数;
根据所述目标分类范围的置信度,确定所述人脸属性的置信度。
6.根据权利要求1至5任一项所述的方法,其特征在于,所述根据所述人脸属性,确定属性分析结果,包括:
确定所述人脸属性所对应的统计队列;
将所述人脸属性添加到所述统计队列中;
根据所述统计队列中各属性对应的置信度进行计算,获得属性分析结果。
7.根据权利要求6所述的方法,其特征在于,所述将所述人脸属性添加到所述统计队列中,包括:
若所述统计队列已满,则获取所述统计队列中满足删除条件的目标属性;其中,所述删除条件包括:所述目标属性为所述统计队列中置信度最低的属性,和/或,所述目标属性为所述统计队列中加入时间最长的属性;
若所述人脸属性的置信度大于或等于所述目标属性的置信度,则从所述统计队列中删除所述目标属性,获得更新的统计队列;
将所述人脸属性添加到所述更新的统计队列中。
8.根据权利要求6所述的方法,其特征在于,所述人脸属性为数值属性;所述根据所述统计队列中各属性对应的置信度进行计算,获得属性分析结果,包括:
根据所述统计队列中各属性对应的置信度或者置信度平方值,计算所述统计队列中各属性的归一化权重;
根据所述统计队列中各属性的归一化权重以及各属性的取值进行加权平均计算,获得属性分析结果。
9.根据权利要求6所述的方法,其特征在于,所述人脸属性为分类属性;所述根据所述统计队列中各属性对应的置信度进行计算,获得属性分析结果,包括:
将所述统计队列中属于同一属性类别的属性进行归类与计数,获得各属性类别对应的属性个数;根据各属性类别对应的属性个数,将属性个数最多的属性类别确定为属性分析结果;
或者,将所述统计队列中属于同一属性类别的属性进行置信度或置信度平方值的累加计算,获得各属性类别对应的累加值,并将累加值最大的属性类别确定为属性分析结果。
10.一种人脸属性分析装置,其特征在于,所述装置包括:
获取模块,用于获取人脸图像;
检测分析模块,用于对所述人脸图像进行条件检测以及人脸属性分析,获得条件检测结果以及人脸属性;
确定模块,用于在所述条件检测结果满足所述人脸属性对应的预设检测条件,且所述人脸属性的置信度达到置信度阈值时,根据所述人脸属性,确定属性分析结果。
CN202110687994.9A 2021-06-21 2021-06-21 一种人脸属性分析方法及装置 Pending CN113536947A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110687994.9A CN113536947A (zh) 2021-06-21 2021-06-21 一种人脸属性分析方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110687994.9A CN113536947A (zh) 2021-06-21 2021-06-21 一种人脸属性分析方法及装置

Publications (1)

Publication Number Publication Date
CN113536947A true CN113536947A (zh) 2021-10-22

Family

ID=78125414

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110687994.9A Pending CN113536947A (zh) 2021-06-21 2021-06-21 一种人脸属性分析方法及装置

Country Status (1)

Country Link
CN (1) CN113536947A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114882576A (zh) * 2022-07-07 2022-08-09 中关村科学城城市大脑股份有限公司 人脸识别方法、电子设备、计算机可读介质和程序产品

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104143079A (zh) * 2013-05-10 2014-11-12 腾讯科技(深圳)有限公司 人脸属性识别的方法和***
CN104298683A (zh) * 2013-07-18 2015-01-21 佳能株式会社 主题挖掘方法和设备、以及查询扩展方法和设备
CN107818335A (zh) * 2017-10-09 2018-03-20 南京航空航天大学 一种基于多分类器自适应加权的钢轨裂纹识别方法
CN109389135A (zh) * 2017-08-03 2019-02-26 杭州海康威视数字技术股份有限公司 一种图像筛选方法及装置
CN109542232A (zh) * 2018-11-29 2019-03-29 努比亚技术有限公司 终端横竖屏模式的切换方法、终端及计算机可读存储介质
CN109635680A (zh) * 2018-11-26 2019-04-16 深圳云天励飞技术有限公司 多任务属性识别方法、装置、电子设备及存储介质
CN109993102A (zh) * 2019-03-28 2019-07-09 北京达佳互联信息技术有限公司 相似人脸检索方法、装置及存储介质
CN110163171A (zh) * 2019-05-27 2019-08-23 北京字节跳动网络技术有限公司 用于识别人脸属性的方法和装置
CN111199491A (zh) * 2018-10-31 2020-05-26 百度在线网络技术(北京)有限公司 社交圈的推荐方法和装置
CN111354362A (zh) * 2020-02-14 2020-06-30 北京百度网讯科技有限公司 用于辅助听障者交流的方法和装置
CN111797653A (zh) * 2019-04-09 2020-10-20 华为技术有限公司 基于高维图像的图像标注方法和装置
CN112069885A (zh) * 2020-07-30 2020-12-11 深圳市优必选科技股份有限公司 人脸属性识别方法、装置及移动终端
CN112668455A (zh) * 2020-12-24 2021-04-16 平安科技(深圳)有限公司 人脸年龄识别方法、装置、终端设备及存储介质
CN112785495A (zh) * 2021-01-27 2021-05-11 驭势科技(南京)有限公司 图像处理模型训练方法、图像生成方法、装置和设备
CN112949693A (zh) * 2021-02-02 2021-06-11 北京嘀嘀无限科技发展有限公司 图像分类模型的训练方法、图像分类方法、装置和设备

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104143079A (zh) * 2013-05-10 2014-11-12 腾讯科技(深圳)有限公司 人脸属性识别的方法和***
CN104298683A (zh) * 2013-07-18 2015-01-21 佳能株式会社 主题挖掘方法和设备、以及查询扩展方法和设备
CN109389135A (zh) * 2017-08-03 2019-02-26 杭州海康威视数字技术股份有限公司 一种图像筛选方法及装置
CN107818335A (zh) * 2017-10-09 2018-03-20 南京航空航天大学 一种基于多分类器自适应加权的钢轨裂纹识别方法
CN111199491A (zh) * 2018-10-31 2020-05-26 百度在线网络技术(北京)有限公司 社交圈的推荐方法和装置
CN109635680A (zh) * 2018-11-26 2019-04-16 深圳云天励飞技术有限公司 多任务属性识别方法、装置、电子设备及存储介质
CN109542232A (zh) * 2018-11-29 2019-03-29 努比亚技术有限公司 终端横竖屏模式的切换方法、终端及计算机可读存储介质
CN109993102A (zh) * 2019-03-28 2019-07-09 北京达佳互联信息技术有限公司 相似人脸检索方法、装置及存储介质
CN111797653A (zh) * 2019-04-09 2020-10-20 华为技术有限公司 基于高维图像的图像标注方法和装置
CN110163171A (zh) * 2019-05-27 2019-08-23 北京字节跳动网络技术有限公司 用于识别人脸属性的方法和装置
CN111354362A (zh) * 2020-02-14 2020-06-30 北京百度网讯科技有限公司 用于辅助听障者交流的方法和装置
CN112069885A (zh) * 2020-07-30 2020-12-11 深圳市优必选科技股份有限公司 人脸属性识别方法、装置及移动终端
CN112668455A (zh) * 2020-12-24 2021-04-16 平安科技(深圳)有限公司 人脸年龄识别方法、装置、终端设备及存储介质
CN112785495A (zh) * 2021-01-27 2021-05-11 驭势科技(南京)有限公司 图像处理模型训练方法、图像生成方法、装置和设备
CN112949693A (zh) * 2021-02-02 2021-06-11 北京嘀嘀无限科技发展有限公司 图像分类模型的训练方法、图像分类方法、装置和设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114882576A (zh) * 2022-07-07 2022-08-09 中关村科学城城市大脑股份有限公司 人脸识别方法、电子设备、计算机可读介质和程序产品
CN114882576B (zh) * 2022-07-07 2022-09-20 中关村科学城城市大脑股份有限公司 人脸识别方法、电子设备、计算机可读介质和程序产品

Similar Documents

Publication Publication Date Title
WO2022033150A1 (zh) 图像识别方法、装置、电子设备及存储介质
CN108717663B (zh) 基于微表情的面签欺诈判断方法、装置、设备及介质
CN111767900B (zh) 人脸活体检测方法、装置、计算机设备及存储介质
CN110309799B (zh) 基于摄像头的说话判断方法
US20120141017A1 (en) Reducing false detection rate using local pattern based post-filter
CN112016527B (zh) 基于深度学习的大熊猫行为识别方法、***、终端及介质
CN113111690B (zh) 一种人脸表情分析方法和***及满意度分析方法和***
WO2022213396A1 (zh) 猫的面部个体识别装置、方法、计算机设备及存储介质
CN111326139B (zh) 一种语种识别方法、装置、设备及存储介质
CN109635643A (zh) 一种基于深度学习的快速人脸识别方法
CN105335691A (zh) 笑脸识别鼓励***
CN109543629B (zh) 一种眨眼识别方法、装置、设备及可读存储介质
CN110149531A (zh) 一种识别视频数据中视频场景的方法和装置
CN111401343B (zh) 识别图像中人的属性的方法、识别模型的训练方法和装置
CN112150692A (zh) 一种基于人工智能的门禁控制方法及***
US20150178544A1 (en) System for estimating gender from fingerprints
CN110674680A (zh) 活体识别的方法、装置、存储介质
CN116386120B (zh) 一种用于智慧校园宿舍的无感监控管理***
CN113536947A (zh) 一种人脸属性分析方法及装置
CN112906810B (zh) 目标检测方法、电子设备和存储介质
JP4708835B2 (ja) 顔検出装置、顔検出方法、及び顔検出プログラム
Chandran et al. Pedestrian crowd level estimation by Head detection using bio-inspired retina model
CN108024148A (zh) 基于行为特征的多媒体文件识别方法、处理方法及装置
CN111163332A (zh) 视频色情度检测方法、终端及介质
WO2023024417A1 (zh) 人脸图像的质量筛选方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20211022