CN111428671A - 人脸结构化信息识别方法、***、装置及存储介质 - Google Patents

人脸结构化信息识别方法、***、装置及存储介质 Download PDF

Info

Publication number
CN111428671A
CN111428671A CN202010245422.0A CN202010245422A CN111428671A CN 111428671 A CN111428671 A CN 111428671A CN 202010245422 A CN202010245422 A CN 202010245422A CN 111428671 A CN111428671 A CN 111428671A
Authority
CN
China
Prior art keywords
face
attribute
data set
structured data
face structured
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010245422.0A
Other languages
English (en)
Inventor
鞠蓉
施远银
邢卫国
孙超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Boya Hongtu Video Technology Co ltd
Original Assignee
Hangzhou Boya Hongtu Video Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Boya Hongtu Video Technology Co ltd filed Critical Hangzhou Boya Hongtu Video Technology Co ltd
Priority to CN202010245422.0A priority Critical patent/CN111428671A/zh
Publication of CN111428671A publication Critical patent/CN111428671A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出一种人脸结构化信息识别方法、***及装置，其中的方法包括：根据行人样本数据集建立相应的人脸结构化数据集；其中，人脸结构化数据集中具有行人样本的人脸结构化数据；根据预设属性划分类别对人脸结构化数据集内的人脸结构化数据进行属性统计；根据人脸结构化数据的属性统计结果，采用过采样和/或欠采样的方式对人脸结构化数据集进行平衡度调整，以使人脸结构化数据集的平衡度均衡；使用平衡度调整后的人脸结构化数据集对预设的人脸结构化网络模型进行训练；使用训练后的人脸结构化网络模型对待识别图像进行人脸结构化信息识别。本发明提供技术方案能够解决现有的人脸结构化信息识别的训练样本不均衡、特征提取精度低等问题。

Description

人脸结构化信息识别方法、***、装置及存储介质
技术领域
本发明涉及人脸识别技术领域，尤其涉及一种人脸结构化信息识别方法、***、装置及存储介质。
背景技术
目前，人脸结构化在图像检测、人脸识别、微表情识别等应用上都引起了极大关注。人脸结构化主要是根据给定的人脸面部图像或者行人头部图像进行人脸识别、人脸ReID以及属性识别等，例如性别识别、年龄估计、表情识别、发型识别、判别是否戴口罩等。然而，由于人脸角度、光照等变化引起的人脸面部变化，人脸结构化还存在很多挑战。
传统的卷积神经网络模型一般只能解决一个特定的任务，例如性别识别、年龄估计等。而一些多任务学习模型虽然能够一次性同时处理两个以上的任务，但没有考虑到人脸属性中很多属性具有其独特性和强相关性，例如是否有胡子和性别之间的关系。
此外，在行人头部的人脸结构化信息识别的数据中，训练集经常会出现标签不平衡的情况，例如发型识别中，“光头”属性相较于其他发型来说，正样本非常少，这种不平衡性容易导致正样本中较少的属性被其他属性覆盖，从而影响模型最终的识别准确率。目前虽已有的一些解决数据不平衡的方法，但主要是针对单任务多分类问题提出的，而人脸结构化识别采用的是多任务学***衡多标签数据非常困难，往往平衡其中一个属性就会影响到另一个属性的平衡，目前，也没有很好的方案能够解决人脸属性识别中的数据不平衡问题。
另外，在获取人脸结构化信息时，不同的属性依赖的图像信息不同，年龄和表情识别更依赖于人脸面部信息，而发型和帽子等属性更加依赖行人头部信息，因此，仅仅只依靠原始样本对预设的模型进行训练，模型的特征提取精度较差。
基于以上几个问题，亟需一种训练样本较均衡、模型特征提取精度高的多任务人脸结构化识别方法。
发明内容
本发明提供一种人脸结构化信息识别方法、***、电子装置以及计算机存储介质，其主要目的在于解决现有的人脸结构化方法具有训练样本不均衡、特征提取精度低等问题。
为实现上述目的，本发明提供一种人脸结构化信息识别方法，该方法包括如下步骤：
根据行人样本数据集建立相应的人脸结构化数据集；其中，所述人脸结构化数据集中具有行人样本的人脸结构化数据；
根据预设属性划分类别对所述人脸结构化数据集内的人脸结构化数据进行属性统计；
根据所述人脸结构化数据的属性统计结果，采用过采样和/或欠采样的方式对所述人脸结构化数据集进行平衡度调整，以使所述人脸结构化数据集的平衡度均衡；
使用平衡度调整后的人脸结构化数据集对预设的人脸结构化网络模型进行训练；
使用训练后的人脸结构化网络模型对待识别图像进行人脸结构化信息识别。
另外，本发明还提供一种人脸结构化信息识别***，所述人脸结构化信息识别***包括：
样本获取单元，用于根据行人样本数据集建立相应的人脸结构化数据集；其中，所述人脸结构化数据集中具有行人样本的人脸结构化数据；
属性统计单元，用于根据预设属性划分类别对所述人脸结构化数据集内的人脸结构化数据进行属性统计；
平衡度调整单元，用于根据所述人脸结构化数据的属性统计结果，采用过采样和/或欠采样的方式对所述人脸结构化数据集进行平衡度调整，以使所述人脸结构化数据集的平衡度均衡；
模型训练单元，用于使用平衡度调整后的人脸结构化数据集对预设的人脸结构化网络模型进行训练；
模型应用单元，用于使用训练后的人脸结构化网络模型对待识别图像进行人脸结构化信息识别。
另外，为实现上述目的，本发明还提供一种电子装置，该电子装置包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的人脸结构化信息识别程序，所述人脸结构化信息识别程序被所述处理器执行时实现如下步骤：
根据行人样本数据集建立相应的人脸结构化数据集；其中，所述人脸结构化数据集中具有行人样本的人脸结构化数据；
根据预设属性划分类别对所述人脸结构化数据集内的人脸结构化数据进行属性统计；
根据所述人脸结构化数据的属性统计结果，采用过采样和/或欠采样的方式对所述人脸结构化数据集进行平衡度调整，以使所述人脸结构化数据集的平衡度均衡；
使用平衡度调整后的人脸结构化数据集对预设的人脸结构化网络模型进行训练；
使用训练后的人脸结构化网络模型对待识别图像进行人脸结构化信息识别。
另外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有人脸结构化信息识别程序，所述人脸结构化信息识别程序被处理器执行时，实现如上述人脸结构化信息识别方法的步骤。
本发明提出的人脸结构化信息识别方法、***、电子装置及计算机可读存储介质，考虑到人脸属性中不同属性间的独特性和强相关性，将部分相关性强的属性进行合并，采用新的属性类别划分方式，从而解决现有的属性分类方式不准确的问题。此外，对于类别不平衡的样本，使用过采样和/或欠采样进行调整，可以有效提升样本的均衡度。另外，考虑到年龄、表情两个属性更多地关注人脸面部信息，而性别、发型、帽子等属性在依赖人脸面部信息的同时，会更依赖行人头部信息，因此将人脸结构化的信息分为行人头部属性和人脸属性，并分别采用多任务SE-BN-Inception卷积神经网络模型进行训练，能够显著提高模型的特征提取能力。
最后，多任务学***衡了不同的属性识别任务，同时有效提高每一个任务的准确率。
附图说明
图1为根据本发明实施例的人脸结构化信息识别方法的较佳实施例流程图；
图2为根据本发明实施例的电子装置的较佳实施例结构示意图；
图3为根据本发明实施例的人脸结构化信息识别程序的内部逻辑示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
在下面的描述中，出于说明的目的，为了提供对一个或多个实施例的全面理解，阐述了许多具体细节。然而，很明显，也可以在没有这些具体细节的情况下实现这些实施例。
以下将结合附图对本申请的具体实施例进行详细描述。
实施例1
为了说明本发明提供的人脸结构化信息识别方法，图1示出了根据本发明提供的人脸结构化信息识别方法的流程。
如图1所示，本发明提供的人脸结构化信息识别方法，包括：
S110：根据行人样本数据集建立相应的人脸结构化数据集；其中，人脸结构化数据集中具有行人样本的人脸结构化数据。
具体地，首先从监控或者视频中截取一定数量的包含行人脸部的图像，以建立行人样本数据集，采用RetinaFace人脸检测器对行人样本数据进行人脸检测和/或人脸对齐，得到检测到的未对齐的人脸图像和对齐后的人脸图像。当只进行人脸检测时得到未对齐的人脸图像，当即进行人脸检测又进行人脸对齐时，得到对齐后的人脸图像。然后由对齐后的人脸图像组成该人脸属性数据集；在这些未对齐的人脸图像对应的原始的行人样本数据上以得到的未对齐的人脸图像的中心点为中心，向上下左右各外扩人脸图像宽高的一半的长度进行截取，从而得到行人头部图像，由这些行人头部图形组成头部属性数据集。
需要说明的是，RetinaFace是一种现有的单步推理人脸检测器，通过它的人脸检测功能可以同时输出人脸框和5个人脸关键特征点(眉、眼、耳、鼻、口)。而人脸对齐的工作是对抠出的人脸图像进行操作的，根据得到的人脸面部关键特征点，对人脸进行矫正旋转，从而优化人脸面部图像，提高后期模型的训练精度。然而原始的图片是没有变化的，因此，未对齐的人脸图像和对齐后的人脸图像中心点并不是同一点，在实际应用过程中，除了年龄和表情属性是集中于人脸面部信息，其他属性更多集中于人头部全局信息以及头发等信息，因此为了方便，需要直接以未对齐的人脸图像的中心点为中心，在原始图片上截取相应的头部图像组成头部属性样本集，提高模型的训练精度。
此外，对于该RetinaFace人脸检测器，除了采用了传统的人脸分类损失函数和包围框回归损失函数外，还引入了人脸对齐的额外监督信息损失函数，从而集合更多监督信息和自监督信息，能够获得更高的检测准确；关于额外监督信息损失函数是一种现有的损失函数，此处只是该损失函数的直接应用，因此不再赘述。
S120：根据预设属性划分类别对所述人脸结构化数据集内的人脸结构化数据进行属性统计。
需要说明的是，在人脸结构化属性中，人脸属性一般设定有两种，头部属性一般设定有八种。具体地，当人脸属性为两种时，分别为年龄和表情，其中，年龄属性包括5类，分别为：儿童，少年，青年，中年以及老年。表情包括4类，分别为快乐、平静、愤怒以及其他。当行人头部属性数量为8时，属性包括：性别、发型、是否戴口罩、是否戴眼镜、帽子类型、帽子颜色、是否有胡须以及方向，其中，性别包括男性和女性2类，发型包括5类，分别为光头、短发、批发、马尾以及盘发；帽子类型包括6类，分别为不带帽子、鸭舌帽、遮阳帽、连衣帽、头盔以及其他；帽子颜色包括13类，分别为黑、蓝、棕、绿、灰、橙、粉、紫、红、白、黄、混色以及没有帽子；方向包括4类，分别为左侧面、正面、右侧面以及背面；而是否戴口罩、是否戴眼镜和是否有胡须则分别为二分类。
然而，在实际应用中，上述这些属性分类规则由于没有考虑到各属性之间的相关性以及独特性，经常会出现一些明显的属性分类错误，比如，女性识别出了胡须、未戴帽子的人识别出了帽子颜色等等。因此，在研究了现有的人脸结构化中不同属性之间的独特性和强相关性后，本申请根据不同属性之间的独特性和强相关性对现有的属性类别的划分方式进行重新组合，从而形成了一种新型的预设属性划分类别，该划分类别能够有效的避免现有属性在识别时出现明显错误的问题。
具体的，例如：考虑到部分属性之间的相关性，将“性别”属性和“是否有胡须”属性合并为“性别”属性，包括3个类别，分别为：无胡须的男性、有胡须的男性以及女性，这种划分方式有效避免了女性识别出有胡子的情况；将“帽子类型”和“帽子颜色”两个属性合并为一个属性，即“帽子”属性，包括61个类别，能够有效避免出现没有戴帽子却识别出帽子颜色的错误情况。
预设属性划分类别设定后，可以根据该预设属性划分类别对人脸结构化数据集内的人脸结构化数据进行属性统计，分别统计出人脸结构化数据集内的每一个数据(包括人脸属性数据和头部属性数据)的所有新划分属性类别，以便为后期的模型训练做准备。
S130：根据所述人脸结构化数据的属性统计结果，采用过采样和/或欠采样的方式对所述人脸结构化数据集进行平衡度调整，以使所述人脸结构化数据集的平衡度均衡。
需要提前说明的是，在现有的人脸结构化识别数据中(尤其是在行人的头部属性识别的数据中)，模型的训练集经常会出现标签不平衡的情况，例如，在发型识别中，“光头”属性相较于其他发型来说，正样本非常少，这种不平衡性很容易导致正样本少的属性被其他类型的属性覆盖，从而影响最终的识别准确率。
因此，本申请在使用人脸结构化数据集对模型进行训练之前，先根据人脸结构化数据集内的人脸结构化数据的属性统计结果，采用过采样和/或欠采样的方式对人脸结构化数据集进行调整，以使人脸结构化数据集的平衡度均衡。具体地，依次对人脸结构化数据集内的每一个类别随机复制占比很低的样本1％，舍弃占比很高的样本的1％，再次统计各个属性不同类别的比例，循环若干次，直至得到平衡度较为均衡的样本，即不同类别占比差距不超过15％，从而使不同属性的类别分布尽可能变好，以满足后期模型训练的平衡度要求。
S140：使用平衡度调整后的人脸结构化数据集对预设的人脸结构化网络模型进行训练。
需要说明的是，为提高人脸结构化网络模型的识别性能，该人脸结构化网络模型采用两个模型相互配合的方式进行识别。具体地，该人脸结构化网络模型包括人脸属性识别网络和头部属性识别网络，人脸属性识别网络用于识别与人脸属性对应的人脸结构化信息，头部属性识别网络用于识别与头部属性对应的人脸结构化信息。
更为具体的，人脸属性识别网络包括人脸属性通用特征提取网络和人脸属性学***衡度均衡的人脸结构化数据集对人脸结构化网络模型进行训练的过程中：
人脸属性通用特征提取网络用于提取人脸属性数据集内的人脸属性通用特征；
人脸属性学习网络用于对人脸属性通用特征进行深度学习以获取第一细分特征，并根据第一细分特征进行人脸属性信息识别。
人脸结构化网络模型包括头部属性识别网络，头部属性识别网络包括头部属性通用特征提取网络和头部属性学***衡度均衡的人脸结构化数据集对人脸结构化网络模型进行训练的过程中：
头部属性通用特征提取网络用于提取头部属性数据集内的头部属性通用特征；
头部属性学习网络用于对头部属性通用特征和人脸属性通用特征进行深度学习以获取第二细分特征，并根据第二细分特征进行头部属性信息识别。
需要强调的是，由于人脸属性识别网络的任务更依赖人脸面部信息，因此人脸属性学习网络仅接收人脸属性通用特征提取网络学习到的人脸属性通用特征，包括但不限于纹理特征、边缘特征或者色彩特征等，并对该人脸属性通用特征进行深度学习，以进行更细分的特征提取，根据获取的第一细分特征来进行人脸属性信息的识别，包括年龄估计和表情识别等。
不同的是，头部属性识别网络在依赖头部信息的同时也会依赖于人脸面部信息，因此，将人脸属性通用特征提取网络和头部属性通用特征提取网络获取的通用特征信息(人脸属性通用特征和头部属性通用特征)进行合并；例如，人脸属性通用特征提取网络获取的特征信息的张量为1024个通道，头部属性通用特征提取网络获取的特征信息的张量为1024个通道，合并后的特征信息的张量即为2048个通道；然后共同传送给头部属性学习网络进行深度学习，以进行更细分的特征提取，从而根据第二细分特征来进行头部属性信息的识别，包括性别识别和方向识别等。
优选地，人脸属性通用特征提取网络和头部属性通用特征提取网络均采用SE-BN-Inception卷积神经网络，通过SE-BN-Inception卷积神经网络提取相应的通用特征，SE-BN-Inception卷积神经网络模型主要是在BN-Inception卷积神经网络中嵌入了多个SE(Squeeze-and-Excitation)模块，该模块能够实现对各个通道进行权重的分配，帮助网络学习到重要的特征信息。
关于BN-Inception卷积神经网络，是一种现有的常用特征提取网络，关于其工作原理和具体使用过程，在此不再赘述。此外，为提高BN-Inception卷积神经网网络的通用特征提取能力，本发明在BN-Inception卷积神经网络中嵌入了多个SE模块，下面详细介绍该SE模块，SE模块主要通过3个操作重新标定得到的特征，分别是挤压(Squeeze)操作，激励(Excitation)操作以及比例(Scale)操作。Squeeze操作主要是让神经网络顺着空间维度进行特征压缩，使每个二维的特征通道变成一个标量，经过Squeeze操作后，神经网络得到了一个全局描述，但该描述并不能作为该通道的权重，因此接着采用了Excitation操作。Excitation操作包含两个全连接层和Sigmoid激活函数，全连接层能够很好地融合全部的输入特征信息，而Sigmoid函数能够很好地将输入映射到区间0-1之间。Excitation操作能够比较全面地获取通道级别的依赖，同时具有灵活和学***衡精度和速度等因素。
具体的，为提高人脸属性学习网络和头部属性学习网络的学习能力，这两个学习网络均采用多任务学习网络，即将这两个学习网络均分解成相应的多个任务去完成，例如，人脸属性学习网络主要包含年龄估计、表情识别等任务，头部属性学习网络主要包含性别识别、发型识别、口罩识别、眼镜识别、帽子识别以及方向识别等任务。
此外，人脸属性学习网络和头部属性学习网络的网络优化均是通过最小化一个多任务损失来完成，传统的softmax损失函数在尽可能最大化正确分类的概率的同时，会忽略掉一些比较难分辨的图片，因此考虑将特征强行归一化使得低范数的图片变得高范数，以获得更多的网络的注意力。具体地，每个任务的损失函数均采用Arcface损失函数(Additive Angular Margin Loss，加性角度间隔损失函数):
Figure BDA0002433850970000091
其中，t表示第t个任务，N是样本的数量，yi表示第i个样本所属的类别，j表示第j个类别，n表示属性的类别数量，s表示缩放参数，m默认取0.5。
多任务学习网络的总损失由各个子任务的损失加权相加得到，通过将总损失梯度回传训练网络直到收敛，公式如下：
Figure BDA0002433850970000092
其中xi表示训练样本，指示函数
Figure BDA0002433850970000093
用来表明训练样本xi是否用于计算任务t的损失，当样本用于任务t是为1，否则为0。λt表示第t个任务的损失权重，值可以根据每个任务在总损失中的重要程度来设定，例如在人脸属性学习网络中，年龄估计占0.6，表情识别占0.4。为了减小过拟合，在总损失中加入w正则项，α表示w正则化系数。
具体地，在本发明实施例中，为了平衡人脸结构化中每个属性识别任务，λt初始值根据不同任务用到的训练样本数目占总训练样本数目的比例来设定，为占比较低的样本设置较高的损失权重，能够使神经网络给与样本较少的属性更多的注意力。例如，“性别”属性的训练样本占总样本量的70％，“发型”属性的训练样本占总样本量的30％，“年龄”属性的训练样本占总样本量的50％，“表情”属性的训练样本占总样本量的30％，“口罩”属性的训练样本占总样本量的70％，“眼镜”属性的训练样本占总样本量的70％，“帽子”属性的训练样本占总样本量的60％，“方向”属性的训练样本占总样本量的30％，因此设置λgender＝0.07，λhair＝0.17，λage＝0.075，λemotion＝0.17，λmask＝0.07，λglasses＝0.07，λhat＝0.085，λdirection＝0.17。训练后根据不同属性的测试结果重新设置损失权重λt，精度越高的属性识别任务对应的损失权重越低，以此提高精度较低的任务的重要程度，设置完成后对之前训练好的模型进行微调(finetune)，经过几次微调训练后，获得最终训练好的模型，这种训练方式不需要每次都从零开始重新训练，能够显著降低训练成本。
S150使用训练后的人脸结构化网络模型对待识别图像进行人脸结构化信息识别。
具体地，获取一张待识别图像，然后采用RetinaFace人脸检测器进行人脸检测和人脸对齐，得到对齐后的人脸图像和行人头部图像，将该对齐后的人脸图像作为人脸属性识别数据，然后将其输入至人脸属性通用特征提取网络，得到待识别人脸属性通用特征；
在该未对齐的人脸图像对应的原始的待识别图像上以得到的未对齐的人脸图像的中心点为中心，向上下左右各外扩人脸图像宽高的一半的长度进行截取，从而得到待识别头部图像，并将其输入至头部属性通用特征提取网络，得到待识别头部属性通用特征；
将待识别人脸属性通用特征输入至人脸属性学习网络，以得到待识别人的人脸属性信息；将待识别头部属性通用特征和待识别人脸属性通用特征合并后输入至头部属性学习网络，以得到待识别人的头部属性信息；
将待识别人的人脸属性信息和头部属性信息合并，从而输出最终的人脸结构化信息。
实施例2
与上述方法相对应，本申请还提供一种人脸结构化信息识别***，该***包括：
样本获取单元，用于根据行人样本数据集建立相应的人脸结构化数据集；其中，所述人脸结构化数据集中具有行人样本的人脸结构化数据；
属性统计单元，用于根据预设属性划分类别对所述人脸结构化数据集内的人脸结构化数据进行属性统计；
平衡度调整单元，用于根据所述人脸结构化数据的属性统计结果，采用过采样和/或欠采样的方式对所述人脸结构化数据集进行平衡度调整，以使所述人脸结构化数据集的平衡度均衡；
模型训练单元，用于使用平衡度调整后的人脸结构化数据集对预设的人脸结构化网络模型进行训练；
模型应用单元，用于使用训练后的人脸结构化网络模型对待识别图像进行人脸结构化信息识别。
实施例3
本发明还提供一种电子装置70。参照图2所示，该图为本发明提供的电子装置70的较佳实施例结构示意图。
在本实施例中，电子装置70可以是服务器、智能手机、平板电脑、便携计算机、桌上型计算机等具有运算功能的终端设备。
该电子装置70包括：处理器71以及存储器72。
存储器72包括至少一种类型的可读存储介质。至少一种类型的可读存储介质可为如闪存、硬盘、多媒体卡、卡型存储器等的非易失性存储介质。在一些实施例中，可读存储介质可以是该电子装置70的内部存储单元，例如该电子装置70的硬盘。在另一些实施例中，可读存储介质也可以是电子装置1的外部存储器，例如电子装置70上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。
在本实施例中，存储器72的可读存储介质通常用于存储安装于电子装置70的人脸结构化信息识别程序73。存储器72还可以用于暂时地存储已经输出或者将要输出的数据。
处理器72在一些实施例中可以是一中央处理器(Central Processing Unit,CPU)，微处理器或其他数据处理芯片，用于运行存储器72中存储的程序代码或处理数据，例如人脸结构化信息识别程序73等。
在一些实施例中，电子装置70为智能手机、平板电脑、便携计算机等的终端设备。在其他实施例中，电子装置70可以为服务器。
图2仅示出了具有组件71-73的电子装置70，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
可选地，该电子装置70还可以包括用户接口，用户接口可以包括输入单元比如键盘(Keyboard)、语音输入装置比如麦克风(microphone)等具有语音识别功能的设备、语音输出装置比如音响、耳机等，可选地用户接口还可以包括标准的有线接口、无线接口。
可选地，该电子装置70还可以包括显示器，显示器也可以称为显示屏或显示单元。在一些实施例中可以是LED显示器、液晶显示器、触控式液晶显示器以及有机发光二极管(Organic Light-Emitting Diode，OLED)触摸器等。显示器用于显示在电子装置70中处理的信息以及用于显示可视化的用户界面。
可选地，该电子装置70还可以包括触摸传感器。触摸传感器所提供的供用户进行触摸操作的区域称为触控区域。此外，这里的触摸传感器可以为电阻式触摸传感器、电容式触摸传感器等。而且，触摸传感器不仅包括接触式的触摸传感器，也可包括接近式的触摸传感器等。此外，触摸传感器可以为单个传感器，也可以为例如阵列布置的多个传感器。
此外，该电子装置70的显示器的面积可以与触摸传感器的面积相同，也可以不同。可选地，将显示器与触摸传感器层叠设置，以形成触摸显示屏。该装置基于触摸显示屏侦测用户触发的触控操作。
可选地，该电子装置70还可以包括射频(Radio Frequency，RF)电路，传感器、音频电路等等，在此不再赘述。
在图2所示的装置实施例中，作为一种计算机存储介质的存储器72中可以包括操作***以及人脸结构化信息识别程序73；处理器71执行存储器72中存储人脸结构化信息识别程序73时实现如下步骤：
根据行人样本数据集建立相应的人脸结构化数据集；其中，所述人脸结构化数据集中具有行人样本的人脸结构化数据；
根据预设属性划分类别对所述人脸结构化数据集内的人脸结构化数据进行属性统计；
根据所述人脸结构化数据的属性统计结果，采用过采样和/或欠采样的方式对所述人脸结构化数据集进行平衡度调整，以使所述人脸结构化数据集的平衡度均衡；
使用平衡度调整后的人脸结构化数据集对预设的人脸结构化网络模型进行训练；
使用训练后的人脸结构化网络模型对待识别图像进行人脸结构化信息识别。
在该实施例中，图3为根据本发明实施例的人脸结构化信息识别程序的内部逻辑示意图，如图3所示，人脸结构化信息识别程序73还可以被分割为一个或者多个模块，一个或者多个模块被存储于存储器72中，并由处理器71执行，以完成本发明。本发明所称的模块是指能够完成特定功能的一系列计算机程序指令段。参照图3所示，为图2中人脸结构化信息识别程序73较佳实施例的程序模块图。人脸结构化信息识别程序73可以被分割为：样本获取模块74、属性统计及平衡度调整模块75、模型训练模块76以及模型应用模块77。模块74-77所实现的功能或操作步骤均与上文类似，此处不再详述，示例性地，例如，其中：
样本获取模块74，用于根据行人样本数据集建立相应的人脸结构化数据集；其中，所述人脸结构化数据集中具有行人样本的人脸结构化数据；
属性统计及平衡度调整模块75，用于根据预设属性划分类别对所述人脸结构化数据集内的人脸结构化数据进行属性统计；并根据所述人脸结构化数据的属性统计结果，采用过采样和/或欠采样的方式对所述人脸结构化数据集进行平衡度调整，以使所述人脸结构化数据集的平衡度均衡；
模型训练模块76，用于使用平衡度调整后的人脸结构化数据集对预设的人脸结构化网络模型进行训练；
模型应用模块77，用于使用训练后的人脸结构化网络模型对待识别图像进行人脸结构化信息识别。
实施例4
本发明还提供一种计算机可读存储介质，计算机可读存储介质中存储有人脸结构化信息识别程序73，人脸结构化信息识别程序73被处理器执行时实现如下操作：
根据行人样本数据集建立相应的人脸结构化数据集；其中，所述人脸结构化数据集中具有行人样本的人脸结构化数据；
根据预设属性划分类别对所述人脸结构化数据集内的人脸结构化数据进行属性统计；
根据所述人脸结构化数据的属性统计结果，采用过采样和/或欠采样的方式对所述人脸结构化数据集进行平衡度调整，以使所述人脸结构化数据集的平衡度均衡；
使用平衡度调整后的人脸结构化数据集对预设的人脸结构化网络模型进行训练；
使用训练后的人脸结构化网络模型对待识别图像进行人脸结构化信息识别。
本发明提供的计算机可读存储介质的具体实施方式与上述人脸结构化信息识别方法、电子装置的具体实施方式大致相同，在此不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种人脸结构化信息识别方法，应用于电子装置，其特征在于，所述方法包括：
根据行人样本数据集建立相应的人脸结构化数据集；其中，所述人脸结构化数据集中具有行人样本的人脸结构化数据；
根据预设属性划分类别对所述人脸结构化数据集内的人脸结构化数据进行属性统计；
根据所述人脸结构化数据的属性统计结果，采用过采样和/或欠采样的方式对所述人脸结构化数据集进行平衡度调整，以使所述人脸结构化数据集的平衡度均衡；
使用平衡度调整后的人脸结构化数据集对预设的人脸结构化网络模型进行训练；
使用训练后的人脸结构化网络模型对待识别图像进行人脸结构化信息识别。
2.根据权利要求1所述的人脸结构化信息识别方法，其特征在于，所述人脸结构化数据集包括人脸属性数据集和头部属性数据集，根据所述行人样本数据集建立人脸结构化数据集的过程包括：
通过RetinaFace人脸检测器对所述行人样本数据集内的行人样本数据进行人脸检测和/或人脸对齐，以获取对齐后的人脸图像和未对齐的人脸图像；
将所述对齐后的人脸图像组成所述人脸属性数据集；
在原始的所述行人样本数据上以所述未对齐的人脸图像的中心点为中心，向上下左右各外扩所述未对齐的人脸图像宽高的一半的长度并进行截取，以形成行人头部图像，由所述行人头部图像组成所述头部属性数据集。
3.根据权利要求1所述的人脸结构化信息识别方法，其特征在于，
根据人脸结构化中不同属性之间的独特性和强相关性确定所述预设属性划分类别。
4.根据权利要求2所述的人脸结构化信息识别方法，其特征在于，所述人脸结构化网络模型包括人脸属性识别网络，所述人脸属性识别网络包括人脸属性通用特征提取网络和人脸属性学***衡度调整后的人脸结构化数据集对所述人脸结构化网络模型进行训练的过程中，
所述人脸属性通用特征提取网络用于提取所述人脸属性数据集内的人脸属性通用特征；
所述人脸属性学习网络用于对所述人脸属性通用特征进行深度学习以获取第一细分特征，并根据所述第一细分特征进行人脸属性信息识别。
5.根据权利要求4所述的人脸结构化信息识别方法，其特征在于，所述人脸结构化网络模型包括头部属性识别网络，所述头部属性识别网络包括头部属性通用特征提取网络和头部属性学***衡度均衡的所述人脸结构化数据集对所述人脸结构化网络模型进行训练的过程中，
所述头部属性通用特征提取网络用于提取所述头部属性数据集内的头部属性通用特征；
所述头部属性学习网络用于对所述头部属性通用特征和所述人脸属性通用特征进行深度学习以获取第二细分特征，并根据所述第二细分特征进行头部属性信息识别。
6.根据权利要求5所述的人脸结构化信息识别方法，其特征在于，
所述人脸属性通用特征提取网络和所述头部属性通用特征提取网络均采用SE-BN-Inception卷积神经网络。
7.根据权利要求5或6所述的人脸结构化信息识别方法，其特征在于，
所述人脸属性学习网络和所述头部属性学习网络均为多任务学习网络；其中，所述多任务学习网络的每个任务的损失函数均采用Arcface损失函数；
所述多任务学习网络的总损失由各个子任务的损失加权相加得到。
8.一种人脸结构化信息识别***，其特征在于，所述人脸结构化信息识别方法***包括：
样本获取单元，用于根据行人样本数据集建立相应的人脸结构化数据集；其中，所述人脸结构化数据集中具有行人样本的人脸结构化数据；
属性统计单元，用于根据预设属性划分类别对所述人脸结构化数据集内的人脸结构化数据进行属性统计；
平衡度调整单元，用于根据所述人脸结构化数据的属性统计结果，采用过采样和/或欠采样的方式对所述人脸结构化数据集进行平衡度调整，以使所述人脸结构化数据集的平衡度均衡；
模型训练单元，用于使用平衡度调整后的人脸结构化数据集对预设的人脸结构化网络模型进行训练；
模型应用单元，用于使用训练后的人脸结构化网络模型对待识别图像进行人脸结构化信息识别。
9.一种电子装置，其特征在于，所述电子装置包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的人脸结构化信息识别程序，所述人脸结构化信息识别程序被所述处理器执行时实现如下步骤：
根据行人样本数据集建立相应的人脸结构化数据集；其中，所述人脸结构化数据集中具有行人样本的人脸结构化数据；
根据预设属性划分类别对所述人脸结构化数据集内的人脸结构化数据进行属性统计；
根据所述人脸结构化数据的属性统计结果，采用过采样和/或欠采样的方式对所述人脸结构化数据集进行平衡度调整，以使所述人脸结构化数据集的平衡度均衡；
使用平衡度调整后的人脸结构化数据集对预设的人脸结构化网络模型进行训练；
使用训练后的人脸结构化网络模型对待识别图像进行人脸结构化信息识别。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有人脸结构化信息识别程序，所述人脸结构化信息识别程序被处理器执行时，实现权利要求1至7任一项所述的人脸结构化信息识别方法的步骤。
CN202010245422.0A 2020-03-31 2020-03-31 人脸结构化信息识别方法、***、装置及存储介质 Pending CN111428671A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010245422.0A CN111428671A (zh) 2020-03-31 2020-03-31 人脸结构化信息识别方法、***、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010245422.0A CN111428671A (zh) 2020-03-31 2020-03-31 人脸结构化信息识别方法、***、装置及存储介质

Publications (1)

Publication Number Publication Date
CN111428671A true CN111428671A (zh) 2020-07-17

Family

ID=71550188

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010245422.0A Pending CN111428671A (zh) 2020-03-31 2020-03-31 人脸结构化信息识别方法、***、装置及存储介质

Country Status (1)

Country Link
CN (1) CN111428671A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112801066A (zh) * 2021-04-12 2021-05-14 北京圣点云信息技术有限公司 一种基于多姿态面部静脉的身份识别方法及装置
CN112800847A (zh) * 2020-12-30 2021-05-14 广州广电卓识智能科技有限公司 人脸采集源检测方法、装置、设备和介质
CN112883867A (zh) * 2021-02-09 2021-06-01 广州汇才创智科技有限公司 一种基于图像情感分析的学生在线学习评估方法及***
CN115620271A (zh) * 2022-09-09 2023-01-17 北京精英路通科技有限公司 图像处理、模型训练方法和装置

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130101224A1 (en) * 2010-06-30 2013-04-25 Nec Soft, Ltd. Attribute determining method, attribute determining apparatus, program, recording medium, and attribute determining system
CN103201763A (zh) * 2010-10-22 2013-07-10 Nec软件有限公司 属性确定方法、属性确定装置、程序、记录介质及属性确定***
JP2015001871A (ja) * 2013-06-17 2015-01-05 Ｎｅｃソリューションイノベータ株式会社 人物判定装置、人物判定方法、プログラム及び記録媒体
CN106503669A (zh) * 2016-11-02 2017-03-15 重庆中科云丛科技有限公司 一种基于多任务深度学习网络的训练、识别方法及***
CN107169455A (zh) * 2017-05-16 2017-09-15 中山大学 基于深度局部特征的人脸属性识别方法
CN107766850A (zh) * 2017-11-30 2018-03-06 电子科技大学 基于结合人脸属性信息的人脸识别方法
US20180121748A1 (en) * 2016-11-02 2018-05-03 Samsung Electronics Co., Ltd. Method and apparatus to recognize object based on attribute of object and train
WO2018121690A1 (zh) * 2016-12-29 2018-07-05 北京市商汤科技开发有限公司 对象属性检测、神经网络训练、区域检测方法和装置
WO2019109526A1 (zh) * 2017-12-06 2019-06-13 平安科技（深圳）有限公司 人脸图像的年龄识别方法、装置及存储介质
CN110287880A (zh) * 2019-06-26 2019-09-27 西安电子科技大学 一种基于深度学习的姿态鲁棒性人脸识别方法
CN110427795A (zh) * 2019-01-28 2019-11-08 厦门瑞为信息技术有限公司 一种基于头部照片的属性分析方法、***和计算机设备
CN110443286A (zh) * 2019-07-18 2019-11-12 广州华多网络科技有限公司 神经网络模型的训练方法、图像识别方法以及装置
CN110688888A (zh) * 2019-08-02 2020-01-14 浙江省北大信息技术高等研究院 一种基于深度学习的行人属性识别方法和***
CN110728255A (zh) * 2019-10-22 2020-01-24 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备及存储介质
WO2020024400A1 (zh) * 2018-08-02 2020-02-06 平安科技（深圳）有限公司 课堂监控方法、装置、计算机设备及存储介质
US20200057883A1 (en) * 2017-11-28 2020-02-20 Tencent Technology (Shenzhen) Company Limited Facial attribute recognition method, electronic device, and storage medium

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130101224A1 (en) * 2010-06-30 2013-04-25 Nec Soft, Ltd. Attribute determining method, attribute determining apparatus, program, recording medium, and attribute determining system
CN103201763A (zh) * 2010-10-22 2013-07-10 Nec软件有限公司 属性确定方法、属性确定装置、程序、记录介质及属性确定***
JP2015001871A (ja) * 2013-06-17 2015-01-05 Ｎｅｃソリューションイノベータ株式会社 人物判定装置、人物判定方法、プログラム及び記録媒体
CN106503669A (zh) * 2016-11-02 2017-03-15 重庆中科云丛科技有限公司 一种基于多任务深度学习网络的训练、识别方法及***
US20180121748A1 (en) * 2016-11-02 2018-05-03 Samsung Electronics Co., Ltd. Method and apparatus to recognize object based on attribute of object and train
WO2018121690A1 (zh) * 2016-12-29 2018-07-05 北京市商汤科技开发有限公司 对象属性检测、神经网络训练、区域检测方法和装置
CN107169455A (zh) * 2017-05-16 2017-09-15 中山大学 基于深度局部特征的人脸属性识别方法
US20200057883A1 (en) * 2017-11-28 2020-02-20 Tencent Technology (Shenzhen) Company Limited Facial attribute recognition method, electronic device, and storage medium
CN107766850A (zh) * 2017-11-30 2018-03-06 电子科技大学 基于结合人脸属性信息的人脸识别方法
WO2019109526A1 (zh) * 2017-12-06 2019-06-13 平安科技（深圳）有限公司 人脸图像的年龄识别方法、装置及存储介质
WO2020024400A1 (zh) * 2018-08-02 2020-02-06 平安科技（深圳）有限公司 课堂监控方法、装置、计算机设备及存储介质
CN110427795A (zh) * 2019-01-28 2019-11-08 厦门瑞为信息技术有限公司 一种基于头部照片的属性分析方法、***和计算机设备
CN110287880A (zh) * 2019-06-26 2019-09-27 西安电子科技大学 一种基于深度学习的姿态鲁棒性人脸识别方法
CN110443286A (zh) * 2019-07-18 2019-11-12 广州华多网络科技有限公司 神经网络模型的训练方法、图像识别方法以及装置
CN110688888A (zh) * 2019-08-02 2020-01-14 浙江省北大信息技术高等研究院 一种基于深度学习的行人属性识别方法和***
CN110728255A (zh) * 2019-10-22 2020-01-24 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备及存储介质

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
张文: "类别不平衡的多任务人脸属性识别", no. 06, pages 58 - 63 *
徐培超等: "多任务及Resnet网络在人脸多属性识别中的应用", 小型微型计算机***, vol. 39, no. 12, pages 2720 - 2724 *
李亚等: "基于多任务学习的人脸属性识别方法", 计算机工程, vol. 46, no. 03, pages 229 - 236 *
邵嘉琦等: "卷积神经网络对SAR目标识别性能分析", 雷达科学与技术, vol. 16, no. 05, pages 525 - 532 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112800847A (zh) * 2020-12-30 2021-05-14 广州广电卓识智能科技有限公司 人脸采集源检测方法、装置、设备和介质
CN112800847B (zh) * 2020-12-30 2023-03-24 广州广电卓识智能科技有限公司 人脸采集源检测方法、装置、设备和介质
CN112883867A (zh) * 2021-02-09 2021-06-01 广州汇才创智科技有限公司 一种基于图像情感分析的学生在线学习评估方法及***
CN112801066A (zh) * 2021-04-12 2021-05-14 北京圣点云信息技术有限公司 一种基于多姿态面部静脉的身份识别方法及装置
CN112801066B (zh) * 2021-04-12 2022-05-17 北京圣点云信息技术有限公司 一种基于多姿态面部静脉的身份识别方法及装置
CN115620271A (zh) * 2022-09-09 2023-01-17 北京精英路通科技有限公司 图像处理、模型训练方法和装置
CN115620271B (zh) * 2022-09-09 2023-08-04 北京精英路通科技有限公司 图像处理、模型训练方法和装置

Similar Documents

Publication Publication Date Title
US10366313B2 (en) Activation layers for deep learning networks
CN111428671A (zh) 人脸结构化信息识别方法、***、装置及存储介质
CN109284733B (zh) 一种基于yolo和多任务卷积神经网络的导购消极行为监控方法
WO2017193906A1 (zh) 一种图像处理方法及处理***
US10318797B2 (en) Image processing apparatus and image processing method
CN112052186B (zh) 目标检测方法、装置、设备以及存储介质
CN112464865A (zh) 一种基于像素和几何混合特征的人脸表情识别方法
US20210312523A1 (en) Analyzing facial features for augmented reality experiences of physical products in a messaging system
US11922661B2 (en) Augmented reality experiences of color palettes in a messaging system
CN105354248A (zh) 基于灰度的分布式图像底层特征识别方法及***
WO2013020247A1 (en) Parameterized 3d face generation
US11915305B2 (en) Identification of physical products for augmented reality experiences in a messaging system
CN109117760A (zh) 图像处理方法、装置、电子设备和计算机可读介质
KR102668172B1 (ko) 메시징 시스템에서의 증강 현실 경험을 위한 물리적 제품들의 식별
CN111738344A (zh) 一种基于多尺度融合的快速目标检测方法
Lui A least squares regression framework on manifolds and its application to gesture recognition
CN112380978B (zh) 基于关键点定位的多人脸检测方法、***及存储介质
CN112257808A (zh) 用于零样本分类的集成协同训练方法、装置及终端设备
CN112241789A (zh) 用于轻量化神经网络的结构化剪枝方法、装置、介质及设备
CN111325237A (zh) 一种基于注意力交互机制的图像识别方法
CN112651410A (zh) 用于鉴别的模型的训练、鉴别方法、***、设备及介质
CN111797862A (zh) 任务处理方法、装置、存储介质和电子设备
CN114782979A (zh) 一种行人重识别模型的训练方法、装置、存储介质及终端
Cambuim et al. An efficient static gesture recognizer embedded system based on ELM pattern recognition algorithm
CN112232890B (zh) 数据处理方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
AD01 Patent right deemed abandoned
AD01 Patent right deemed abandoned

Effective date of abandoning: 20240517