CN108596011A - 一种基于组合深度网络的人脸属性识别方法和装置 - Google Patents

一种基于组合深度网络的人脸属性识别方法和装置 Download PDF

Info

Publication number
CN108596011A
CN108596011A CN201711498120.9A CN201711498120A CN108596011A CN 108596011 A CN108596011 A CN 108596011A CN 201711498120 A CN201711498120 A CN 201711498120A CN 108596011 A CN108596011 A CN 108596011A
Authority
CN
China
Prior art keywords
face
attribute
probability
expression
wearing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711498120.9A
Other languages
English (en)
Inventor
熊荔
张峰
张德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CETC Information Science Research Institute
Original Assignee
CETC Information Science Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CETC Information Science Research Institute filed Critical CETC Information Science Research Institute
Priority to CN201711498120.9A priority Critical patent/CN108596011A/zh
Publication of CN108596011A publication Critical patent/CN108596011A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种基于组合深度神经网络的人脸属性识别方法，包括以下步骤：S1：对输入的人脸图像进行区域提取；S2：依据所述区域提取的结果，对人脸重要部位进行定位并提取相关区域，获取人脸区域特征以及人脸关键部位特征；S3：将所述区域提取的结果作为训练样本，标记每个人脸的真实年龄和性别，基于深度神经网络进行训练，输出年龄估计值和性别识别结果；S4：基于上述S2的输出的人脸区域特征以及眼睛与嘴唇局部区域特征，利用随机森林算法，分别输出表情与穿戴的预测概率，对于不同属性，将对应属性的概率相加，输出人脸表情与穿戴属性结果。此外本发明还提供了一种基于组合深度神经网络的人脸属性识别装置。

Description

一种基于组合深度网络的人脸属性识别方法和装置
技术领域
本发明属于人工智能的图像识别技术领域，涉及一种基于组合深度网络的人脸属性识别方法和装置。
背景技术
随着社会的发展以及科学技术的进步，人脸属性识别在金融、军队、医疗、公安等众多企事业单位的应用越来越广泛。生物特性为人的特定内在属性，由于其具有结构复杂、细节变化多等特点，并且具有一定的个体差异性与稳定性，因此可以作为人身份验证的可靠依据。人脸是一种非常重要的生物特征，它可以表征人的情绪、性别、年龄等属性，相比于其他的人体生物特征，人脸的特征获取较为直接且不易察觉，是进行身份验证和信息分析的最自然方便的手段。
目前主流的人脸属性识别内容主要包括：性别识别、种族识别、年龄估计、表情识别等。主要步骤包括：人脸识别、人脸提取、样本训练以及属性识别。人脸属性识别方法主要包括两类：第一类为基于传统主观局部特征提取，利用分类器进行识别，第二类为基于深度卷积神经网络提取全局特征进行分类。第一类方法过度依赖于经验，不适合多源大数据的处理，普适性较差，在深度学习技术出现后，已经很少使用。虽然深度卷积神经网络如今应用广泛，但其精度依赖于样本数据量，在样本不足的情况下很难获得理想的效果。
发明内容
本发明旨在提供一种基于组合深度神经网络的人脸属性识别方法和装置，用于检测用户的年龄、性别、表情以及穿戴。
本发明提供的一种基于组合深度神经网络的人脸属性识别方法，包括以下步骤：S1：对输入的人脸图像进行区域提取；S2：依据所述区域提取的结果，对人脸重要部位进行定位并提取相关区域，获取人脸区域特征以及人脸关键部位特征；S3：将所述区域提取的结果作为训练样本，标记每个人脸的真实年龄和性别，基于深度神经网络进行训练，输出年龄估计值和性别识别结果；S4：基于上述S2的输出的人脸区域特征以及眼睛与嘴唇局部区域特征，利用随机森林算法，分别输出表情与穿戴的预测概率，对于不同属性，将对应属性的概率相加，输出人脸表情与穿戴属性结果。
其中，所述S1包括：S11：基于三个级联深度卷积神经网络，对人脸进行识别和提取，得到人脸区域的回归矩形坐标；S12：以人脸回归矩形的中心坐标为中心，提取人脸区域，将人脸区域放大原回归矩形区域的15％；S13：对人脸进行切割，并统一至预定尺寸。
其中，所述级联深度卷积神经网络规模依次为12层、24层和48层。
其中，所述S2包括：S21：基于一个6层的深度卷积神经网络，对步骤S1所获得人脸区域提取结果中的五官进行定位，分别得到9个关键点坐标，即左右眼的眼角和中心坐标、鼻尖坐标以及两个嘴角坐标；S22：根据9个关键点坐标提取眼睛、鼻子与嘴唇区域；S23：提取每一卷积层的人脸区域特征以及人脸关键部位特征。
其中，在所述S22中，人脸眼睛区域的宽为左右眼眼角的距离，高为初始检测人脸矩形框高度的四分之一；人脸嘴部区域的宽为左右嘴角的宽度，宽为初始检测人脸矩形框高度的六分之一。
其中，在所述S3中，所述输出年龄估计值包括：S31：收集样本库，并标记每个样本的真实年龄；S32：基于16层深度卷积神经网络对样本进行训练，得到参数模型；S33：对输入人脸，输出各个年龄的概率，对年龄和对应的概率进行加权求和，得到的数值为最终的年龄估计值，并根据年龄区间将年龄分为幼年、少年、青年、中年以及老年。
其中，所述样本库中的年龄区间为1～100岁，样本库中的样本来自IMDB-WIKI数据库，在所述数据库中，图片的标题记录了拍摄时间与对应人物的出生年月。
其中，所述加权求和的公式为其中，yi为0～100岁的年龄预测概率，Oi为年龄。
其中，在所述S3中，所述输出性别识别结果包括：S41：收集样本库，并标记每个样本的真实性别；S42：基于16层深度卷积神经网络对样本进行训练，得到参数模型；S43：对输入人脸，输出性别识别的概率，概率高的即为性别识别结果。
其中，所述S4中对人脸表情进行分类并输出各个表情的预测概率包括：S51：收集样本库，并标记每个样本的表情属性，分别为不笑、微笑与大笑；S52：基于VGG深度神经网络对样本进行训练，得到参数模型；S53：输入人脸区域图片，输出各个表情属性的概率；S54：基于S2提取的每个卷积层的特征，提取眼睛部位和嘴部的局部卷积特征；S55：基于S2提取的每个卷积层的特征与眼睛嘴部卷积特征，利用随机森林算法对表情进行分类，输出各个表情的预测概率；S56：将深度网络和随机森林算法的输出预测概率相加，依据相加后的预测概率将表情属性分为不笑、微笑与大笑；
其中，所述S4中，所述对人脸的穿戴属性进行分类并输出人脸穿戴属性结果包括：S61：收集样本库，并标记每个样本的表穿戴属性为未佩戴眼镜、佩戴普通眼镜和佩戴墨镜；S62：基于VGG深度神经网络对样本进行训练，得到参数模型；S63：输入人脸区域图片，输出各个眼镜穿戴属性的概率；S64：基于步骤S2提取的每个卷积层的特征，提取眼睛部位的局部卷积特征；S65：基于步骤S2提取的每个卷积层的特征与眼睛卷积特征，基于随机森林算法对眼镜穿戴属性进行分类；S66：将深度网络和随机森林算法的输出预测概率相加，依据相加后预测概率将穿戴属性分为未佩戴眼镜、佩戴普通眼镜和佩戴墨镜。
此外本发明还提供了一种基于组合深度神经网络的人脸属性识别装置，包括：
提取单元，用于对输入的人脸图像进行区域提取；深度神经网络，用于基于提取的结果对人脸重要部位进行定位并提取相关区域，获取人脸区域特征以及人脸关键部位特征，以及用于基于样本库对所述提取装置提取出的结果进行训练，结合所述人脸区域特征以及人脸关键部位特征识别出人脸的性别、年龄、表情属性概率和穿戴属性概率；计算单元，基于所述深度神经网络获取的人脸关键部位特征、表情属性概率和穿戴属性概率计算所述人脸的表情属性和穿戴属性。
其中，所述深度神经网络包括五个子网络，分别执行人脸关键点的检测、获取表情属性概率、获取眼镜穿戴概率、识别人脸性别、识别人脸的功能。
其中，所述提取单元基于三个级联的深度卷积网络，对人脸进行识别和提取，得到人脸区域的回归矩形坐标，以人脸回归矩形的中心坐标为中心，提取人脸区域，将人脸区域放大原回归矩形区域的15％，并对人脸进行切割，并统一至预定尺寸。
其中，所述计算单元中包含两个随机森林算法模块，分别用于对表情和穿戴属性进行分类，输出表情的预测概率和穿戴属性的预测概率，其中，所述计算单元将表情属性的概率和表情属性的预测概率相加，依据相加后的概率，将表情属性分为不笑、微笑与大笑，所述计算单元将穿戴属性的概率和穿戴属性的预测概率相加，依据相加后的概率将穿戴属性分为未佩戴眼镜、佩戴普通眼镜和佩戴墨镜。
采用本发明的方法和装置能够实现多种人脸属性的同时识别，并且具有良好的鲁棒性，可适用于商业、安防等多个应用领域。本发明方法不过度依赖于大样本数据量，并能保持较高的正确率。本发明方法所采用的网络结构具有良好的可拓展性，较易进行其他人脸属性的识别与集成。
附图说明
附图，其被包括以提供本发明的进一步理解并且被并入并构成本说明书的一部分，所述附图示出本发明的实施例并且连同说明书用来解释本发明的原理，在附图中：
图1为本发明提供的基于组合深度神经网络的人脸属性识别方法流程图；
图2为本发明提供基于组合深度神经网络的人脸属性识别装置框图；
具体实施方式
以下结合附图说明本发明的具体实现方式。
本发明实施例提供了一种基于组合深度神经网络的人脸属性识别方法，用于检测用户的年龄、性别、表情以及穿戴。本发明根据人脸特征将年龄分为幼年(0～10岁)、少年(10～18岁)、青年(18～35岁)、中年(35～60岁)以及老年(60岁以上)五个阶段，将表情分为不笑、微笑以及大笑三种，并对是否佩戴眼镜以及眼镜类型(普通眼镜与墨镜)进行了识别。
图1为本发明实施例的人脸属性识别的流程示意图，具体包括如下步骤：
S1：对输入的人脸图像进行区域提取；
S2：依据所述区域提取的结果，通过图2中所示的子网络1对人脸重要部位进行定位并提取相关区域，获取人脸区域特征以及人脸关键部位特征；
S3：将所述区域提取的结果作为训练样本，标记每个人脸的真实年龄和性别，分别通过图2所示的子网络4和子网络5进行训练，对应输出年龄估计值和性别识别结果；
S4：基于上述S2通过图2中子网络1提取人脸区域特征以及眼睛与嘴唇局部区域特征，利用随机森林算法，输出各个表情以及穿戴属性的预测概率，通过图2中子网络2和子网络3分别输出表情与穿戴的预测概率，对于不同属性，将对应属性的概率相加，输出人脸表情与穿戴属性结果。
其中对于S1中的人脸区域的提取。对获取图片进行有效人脸的识别，并且截取人脸有效区域。
S11：基于三个级联深度卷积神经网络，对人脸进行识别和提取。经过三个级联深度卷积网络模型，得到人脸区域的回归矩形坐标。其中，级联深度卷积神经网络规模依次为12层、24层和48层。
S12：以人脸回归矩形的中心坐标为中心，提取人脸区域，将人脸区域放大原回归矩形区域的15％。
S13：对人脸进行切割，并统一尺寸至40×40像素大小。
对于S2中的人脸五官区域以及特征提取。基于人脸区域的提取结果，对人脸重要部位进行定位并提取相关区域，提取深度网络每层的人脸特征。
S21：基于一个6层的深度卷积网络(子网络1)，包括四个卷积层和两个全连接层，对步骤S1所获得人脸区域中的五官(眼睛、鼻子和嘴)进行定位，分别得到9个关键点坐标：左右眼的眼角和中心坐标、鼻尖坐标以及两个嘴角坐标。
S22：根据9个关键点坐标提取眼睛、鼻子与嘴唇区域，其中，人脸眼睛区域的宽为左右眼眼角的距离，高为初始检测人脸矩形框高度的四分之一；人脸嘴部区域的宽为左右嘴角的宽度，宽为初始检测人脸矩形框高度的六分之一。
S23：提取每一卷积层的人脸区域特征以及人脸关键部位特征。
对于S3中的人脸年龄的识别。将提取的有效人脸区域作为训练样本，标记每个人脸的真实年龄，对其进行训练，将输出的真实年龄根据年龄区间分为幼年、少年、青年、中年以及老年五个阶段。
S31：收集样本库，并标记每个样本的真实年龄。年龄区间为1～100岁，样本库中的样本来自IMDB-WIKI数据库，IMDB-WIKI数据库主要收集了名人的人脸图片，在数据库中，图片的标题记录了拍摄时间与对应人物的出生年月。
S32：基于16层深度神经网络(子网络4)对样本进行训练，得到参数模型。
S33：对输入人脸，输出各个年龄的概率，对年龄和对应的概率进行加权求和，得到的数值为最终的年龄估计值，并根据年龄区间将年龄分为幼年、少年、青年、中年以及老年。
加权求和的公式如式：
其中，yi为0～100岁的年龄预测概率，Oi为年龄。
对于S3的人脸性别的识别。将提取的有效人脸区域作为训练样本，标记每个人脸的性别，基于深度神经网络对其进行训练，并识别人脸性别。
S41：收集样本库，并标记每个样本的真实性别。从IMDB-WIKI数据库选了有效人脸图片20万张作为训练集。
S42：基于16层VGG深度神经网络(子网络5)对样本进行训练，得到参数模型。
S43：对输入人脸，输出性别识别的概率，概率高的即为性别识别结果。
对于S4中的人脸表情的识别。基于提取的有效人脸区域特征以及眼睛与嘴唇局部区域特征，利用随机森林算法，将人脸表情分为不笑、微笑与大笑。
S51：收集样本库，并标记每个样本的表情属性，分别为不笑、微笑与大笑。
S52：基于VGG深度神经网络(子网络2)对样本进行训练，得到参数模型。
S53：输入人脸区域图片，输出各个表情属性的概率。
S54：基于S2提取的每个卷积层的特征，提取眼睛部位和嘴部的局部卷积特征.
S55：基于步骤二提取的每个卷积层的特征与眼睛嘴部卷积特征，利用随机森林算法对表情进行分类，输出各个表情的预测概率。
S56：将深度网络和随机森林算法的输出预测概率相加，依据预测概率将表情属性分为不笑、微笑与大笑。
对于S4中的人脸穿戴的识别。基于提取的有效人脸区域特征以及眼睛局部区域特征，利用随机森林算法，将输入人脸区分为未佩戴眼镜、佩戴普通眼镜与佩戴墨镜。
S61：收集样本库，并标记每个样本的表穿戴属性为未佩戴眼镜、佩戴普通眼镜和佩戴墨镜。
S62：基于VGG深度神经网络(子网络3)对样本进行训练，得到参数模型。
S63：输入人脸区域图片，输出各个眼镜穿戴属性的概率。
S64：基于步骤S2提取的每个卷积层的特征，提取眼睛部位的局部卷积特征。
S65：基于步骤S2提取的每个卷积层的特征与眼睛卷积特征，基于随机森林算法对眼镜穿戴属性进行分类。
S66：将深度网络和随机森林算法的输出预测概率相加，依据预测概率将表情属性分为未佩戴眼镜、佩戴普通眼镜和佩戴墨镜。
对于本领域技术人员，显然可以在不脱离本发明精神或范围的情况下在发明中做出各种修改和变形。因此，本发明旨在如果本发明的修改和变形落入随附的权利要求和他们等同形式的范围内，那么本发明覆盖这些修改和变形。

Claims (15)

1.一种基于组合深度神经网络的人脸属性识别方法，包括以下步骤：
S1：对输入的人脸图像进行区域提取；
S2：依据所述区域提取的结果，对人脸重要部位进行定位并提取相关区域，获取人脸区域特征以及人脸关键部位特征；
S3：将所述区域提取的结果作为训练样本，标记每个人脸的真实年龄和性别，基于深度神经网络进行训练，输出年龄估计值和性别识别结果；
S4：基于上述S2的输出的人脸区域特征以及眼睛与嘴唇局部区域特征，利用随机森林算法，分别输出表情与穿戴的预测概率，对于不同属性，将对应属性的概率相加，输出人脸表情与穿戴属性结果。
2.如权利要求1所述的方法，所述S1包括：
S11：基于三个级联深度卷积神经网络，对人脸进行识别和提取，得到人脸区域的回归矩形坐标；
S12：以人脸回归矩形的中心坐标为中心，提取人脸区域，将人脸区域放大原回归矩形区域的15％；
S13：对人脸进行切割，并统一至预定尺寸。
3.如权利要求2所述的方法，所述级联深度卷积神经网络规模依次为12层、24层和48层。
4.如权利要求1所述的方法，所述S2包括：
S21：基于一个6层的深度卷积神经网络，对步骤S1所获得人脸区域提取结果中的五官进行定位，分别得到9个关键点坐标，即左右眼的眼角和中心坐标、鼻尖坐标以及两个嘴角坐标；
S22：根据9个关键点坐标提取眼睛、鼻子与嘴唇区域；
S23：提取每一卷积层的人脸区域特征以及人脸关键部位特征。
5.如权利要求4所述的方法，在所述S22中，人脸眼睛区域的宽为左右眼眼角的距离，高为初始检测人脸矩形框高度的四分之一；人脸嘴部区域的宽为左右嘴角的宽度，宽为初始检测人脸矩形框高度的六分之一。
6.如权利要求1所述的方法，在所述S3中，所述输出年龄估计值包括：
S31：收集样本库，并标记每个样本的真实年龄；
S32：基于16层深度卷积神经网络对样本进行训练，得到参数模型；
S33：对输入人脸，输出各个年龄的概率，对年龄和对应的概率进行加权求和，得到的数值为最终的年龄估计值，并根据年龄区间将年龄分为幼年、少年、青年、中年以及老年。
7.如权利要求6所述的方法，其中所述样本库中的年龄区间为1～100岁，样本库中的样本来自IMDB-WIKI数据库，在所述数据库中，图片的标题记录了拍摄时间与对应人物的出生年月。
8.如权利要求6所述的方法，所述加权求和的公式为其中，yi为0～100岁的年龄预测概率，Oi为年龄。
9.如权利要求1所述的方法，在所述S3中，所述输出性别识别结果包括：
S41：收集样本库，并标记每个样本的真实性别；
S42：基于16层深度卷积神经网络对样本进行训练，得到参数模型；
S43：对输入人脸，输出性别识别的概率，概率高的即为性别识别结果。
10.如权利要求1所述的方法，所述S4中对人脸表情进行分类并输出各个表情的预测概率包括：
S51：收集样本库，并标记每个样本的表情属性，分别为不笑、微笑与大笑；
S52：基于VGG深度神经网络对样本进行训练，得到参数模型；
S53：输入人脸区域图片，输出各个表情属性的概率；
S54：基于S2提取的每个卷积层的特征，提取眼睛部位和嘴部的局部卷积特征；
S55：基于S2提取的每个卷积层的特征与眼睛嘴部卷积特征，利用随机森林算法对表情进行分类，输出各个表情的预测概率；
S56：将深度网络和随机森林算法的输出预测概率相加，依据相加后的预测概率将表情属性分为不笑、微笑与大笑。
11.如权利要求1所述的方法，所述S4中，所述对人脸的穿戴属性进行分类并输出人脸穿戴属性结果包括：
S61：收集样本库，并标记每个样本的表穿戴属性为未佩戴眼镜、佩戴普通眼镜和佩戴墨镜；
S62：基于VGG深度神经网络对样本进行训练，得到参数模型；
S63：输入人脸区域图片，输出各个眼镜穿戴属性的概率；
S64：基于步骤S2提取的每个卷积层的特征，提取眼睛部位的局部卷积特征；
S65：基于步骤S2提取的每个卷积层的特征与眼睛卷积特征，基于随机森林算法对眼镜穿戴属性进行分类；
S66：将深度网络和随机森林算法的输出预测概率相加，依据相加后预测概率将穿戴属性分为未佩戴眼镜、佩戴普通眼镜和佩戴墨镜。
12.一种基于组合深度神经网络的人脸属性识别装置，包括：
提取单元，用于对输入的人脸图像进行区域提取；
深度神经网络，用于基于提取的结果对人脸重要部位进行定位并提取相关区域，获取人脸区域特征以及人脸关键部位特征，以及用于基于样本库对所述提取装置提取出的结果进行训练，结合所述人脸区域特征以及人脸关键部位特征识别出人脸的性别、年龄、表情属性概率和穿戴属性概率；
计算单元，基于所述深度神经网络获取的人脸关键部位特征、表情属性概率和穿戴属性概率计算所述人脸的表情属性和穿戴属性。
13.如权利要求12所述的装置，其中所述深度神经网络包括五个子网络，分别执行人脸关键点的检测、获取表情属性概率、获取眼镜穿戴概率、识别人脸性别、识别人脸的功能。
14.如权利要求1所述的装置，所述提取单元基于三个级联的深度卷积网络，对人脸进行识别和提取，得到人脸区域的回归矩形坐标，以人脸回归矩形的中心坐标为中心，提取人脸区域，将人脸区域放大原回归矩形区域的15％，并对人脸进行切割，并统一至预定尺寸。
15.如权利要求1所述的装置，所述计算单元中包含两个随机森林算法模块，分别用于对表情和穿戴属性进行分类，输出表情的预测概率和穿戴属性的预测概率，其中，所述计算单元将表情属性的概率和表情属性的预测概率相加，依据相加后的概率，将表情属性分为不笑、微笑与大笑，所述计算单元将穿戴属性的概率和穿戴属性的预测概率相加，依据相加后的概率将穿戴属性分为未佩戴眼镜、佩戴普通眼镜和佩戴墨镜。
CN201711498120.9A 2017-12-29 2017-12-29 一种基于组合深度网络的人脸属性识别方法和装置 Pending CN108596011A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711498120.9A CN108596011A (zh) 2017-12-29 2017-12-29 一种基于组合深度网络的人脸属性识别方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711498120.9A CN108596011A (zh) 2017-12-29 2017-12-29 一种基于组合深度网络的人脸属性识别方法和装置

Publications (1)

Publication Number Publication Date
CN108596011A true CN108596011A (zh) 2018-09-28

Family

ID=63633110

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711498120.9A Pending CN108596011A (zh) 2017-12-29 2017-12-29 一种基于组合深度网络的人脸属性识别方法和装置

Country Status (1)

Country Link
CN (1) CN108596011A (zh)

Cited By (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109492711A (zh) * 2018-12-07 2019-03-19 杭州电子科技大学 基于深度学习的恶性黑色素瘤及非恶性黑色素痣分类方法
CN109711356A (zh) * 2018-12-28 2019-05-03 广州海昇教育科技有限责任公司 一种表情识别方法和***
CN109803090A (zh) * 2019-01-25 2019-05-24 睿魔智能科技（深圳）有限公司 无人拍摄自动变焦方法及***、无人摄像机及存储介质
CN109902635A (zh) * 2019-03-04 2019-06-18 司法鉴定科学研究院 一种基于示例图形的人像特征标识方法
CN109919081A (zh) * 2019-03-04 2019-06-21 司法鉴定科学研究院 一种自动化辅助人像特征标识方法
CN110009059A (zh) * 2019-04-16 2019-07-12 北京字节跳动网络技术有限公司 用于生成模型的方法和装置
CN110008922A (zh) * 2019-04-12 2019-07-12 腾讯科技（深圳）有限公司 用于终端设备的图像处理方法、设备、装置、介质
CN110069994A (zh) * 2019-03-18 2019-07-30 中国科学院自动化研究所 基于人脸多区域的人脸属性识别***、方法
CN110378306A (zh) * 2019-07-25 2019-10-25 厦门美图之家科技有限公司 年龄预测方法、装置及图像处理设备
CN110414483A (zh) * 2019-08-13 2019-11-05 山东浪潮人工智能研究院有限公司 一种基于深度神经网络和随机森林的人脸识别方法及***
CN110427795A (zh) * 2019-01-28 2019-11-08 厦门瑞为信息技术有限公司 一种基于头部照片的属性分析方法、***和计算机设备
CN110472611A (zh) * 2019-08-21 2019-11-19 图谱未来(南京)人工智能研究院有限公司 人物属性识别的方法、装置、电子设备及可读存储介质
CN110532970A (zh) * 2019-09-02 2019-12-03 厦门瑞为信息技术有限公司 人脸2d图像的年龄性别属性分析方法、***、设备和介质
CN110532965A (zh) * 2019-08-30 2019-12-03 京东方科技集团股份有限公司 年龄识别方法、存储介质及电子设备
CN110909609A (zh) * 2019-10-26 2020-03-24 湖北讯獒信息工程有限公司 基于人工智能的表情识别方法
CN111105028A (zh) * 2018-10-26 2020-05-05 杭州海康威视数字技术股份有限公司 一种神经网络的训练方法、装置及序列预测方法
CN111144557A (zh) * 2019-12-31 2020-05-12 中国电子科技集团公司信息科学研究院 一种基于级联模式的动作策略方法
CN111209874A (zh) * 2020-01-09 2020-05-29 北京百目科技有限公司 一种对人头部穿戴属性的分析识别方法
WO2020134858A1 (zh) * 2018-12-29 2020-07-02 北京市商汤科技开发有限公司 人脸属性识别方法及装置、电子设备和存储介质
CN111401198A (zh) * 2020-03-10 2020-07-10 广东九联科技股份有限公司 观众情绪识别方法、装置及***
CN111428628A (zh) * 2020-03-23 2020-07-17 北京每日优鲜电子商务有限公司 人脸检测方法、装置、设备及存储介质
CN111444787A (zh) * 2020-03-12 2020-07-24 江西赣鄱云新型智慧城市技术研究有限公司 一种性别约束的全智能化人脸表情识别方法及***
CN111523367A (zh) * 2020-01-22 2020-08-11 湖北科技学院 基于人脸属性分析的智能化人脸表情识别方法与***
CN111582336A (zh) * 2020-04-23 2020-08-25 海信集团有限公司 一种基于图像识别垃圾种类的装置及方法
CN111723613A (zh) * 2019-03-20 2020-09-29 广州慧睿思通信息科技有限公司 人脸图像数据处理方法、装置、设备及存储介质
CN111723612A (zh) * 2019-03-20 2020-09-29 北京市商汤科技开发有限公司 人脸识别和人脸识别网络的训练方法和装置、存储介质
CN111860223A (zh) * 2019-07-03 2020-10-30 Ａｗｌ株式会社 属性识别***、学习服务器以及计算机可读记录介质
CN112163462A (zh) * 2020-09-08 2021-01-01 北京数美时代科技有限公司 基于人脸的未成年人识别方法、装置、计算机设备
CN112395908A (zh) * 2019-08-13 2021-02-23 天津大学青岛海洋技术研究院 一种基于三维卷积神经网络的活体人脸检测算法
CN112733570A (zh) * 2019-10-14 2021-04-30 北京眼神智能科技有限公司 眼镜检测的方法、装置、电子设备及存储介质
CN112825115A (zh) * 2019-11-20 2021-05-21 北京眼神智能科技有限公司 基于单目图像的眼镜检测方法、装置、存储介质及设备
CN113792718A (zh) * 2021-11-18 2021-12-14 北京的卢深视科技有限公司 深度图中人脸区域定位方法、电子设备及存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103824054A (zh) * 2014-02-17 2014-05-28 北京旷视科技有限公司 一种基于级联深度神经网络的人脸属性识别方法
CN105631398A (zh) * 2014-11-24 2016-06-01 三星电子株式会社 识别对象的方法和设备以及训练识别器的方法和设备
CN105760834A (zh) * 2016-02-14 2016-07-13 北京飞搜科技有限公司 一种人脸特征点定位方法
CN105809178A (zh) * 2014-12-31 2016-07-27 中国科学院深圳先进技术研究院 一种基于人脸属性的人群分析方法及装置
CN105844206A (zh) * 2015-01-15 2016-08-10 北京市商汤科技开发有限公司 身份认证方法及设备
CN106156702A (zh) * 2015-04-01 2016-11-23 北京市商汤科技开发有限公司 身份认证方法及设备
CN106203395A (zh) * 2016-07-26 2016-12-07 厦门大学 基于多任务深度学习的人脸属性识别方法
CN106909896A (zh) * 2017-02-17 2017-06-30 竹间智能科技（上海）有限公司 基于人物性格与人际关系识别的人机交互***及工作方法
CN107423663A (zh) * 2017-03-23 2017-12-01 深圳市金立通信设备有限公司 一种图像处理方法及终端

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103824054A (zh) * 2014-02-17 2014-05-28 北京旷视科技有限公司 一种基于级联深度神经网络的人脸属性识别方法
CN105631398A (zh) * 2014-11-24 2016-06-01 三星电子株式会社 识别对象的方法和设备以及训练识别器的方法和设备
CN105809178A (zh) * 2014-12-31 2016-07-27 中国科学院深圳先进技术研究院 一种基于人脸属性的人群分析方法及装置
CN105844206A (zh) * 2015-01-15 2016-08-10 北京市商汤科技开发有限公司 身份认证方法及设备
CN106156702A (zh) * 2015-04-01 2016-11-23 北京市商汤科技开发有限公司 身份认证方法及设备
CN105760834A (zh) * 2016-02-14 2016-07-13 北京飞搜科技有限公司 一种人脸特征点定位方法
CN106203395A (zh) * 2016-07-26 2016-12-07 厦门大学 基于多任务深度学习的人脸属性识别方法
CN106909896A (zh) * 2017-02-17 2017-06-30 竹间智能科技（上海）有限公司 基于人物性格与人际关系识别的人机交互***及工作方法
CN107423663A (zh) * 2017-03-23 2017-12-01 深圳市金立通信设备有限公司 一种图像处理方法及终端

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王振永: "《模式识别：算法及实现方法》", 31 October 2017 *

Cited By (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111105028B (zh) * 2018-10-26 2023-10-24 杭州海康威视数字技术股份有限公司 一种神经网络的训练方法、装置及序列预测方法
CN111105028A (zh) * 2018-10-26 2020-05-05 杭州海康威视数字技术股份有限公司 一种神经网络的训练方法、装置及序列预测方法
CN109492711A (zh) * 2018-12-07 2019-03-19 杭州电子科技大学 基于深度学习的恶性黑色素瘤及非恶性黑色素痣分类方法
CN109492711B (zh) * 2018-12-07 2020-08-25 杭州电子科技大学 基于深度学习的恶性黑色素瘤及非恶性黑色素痣分类***
CN109711356B (zh) * 2018-12-28 2023-11-10 广州海昇教育科技有限责任公司 一种表情识别方法和***
CN109711356A (zh) * 2018-12-28 2019-05-03 广州海昇教育科技有限责任公司 一种表情识别方法和***
CN111382642A (zh) * 2018-12-29 2020-07-07 北京市商汤科技开发有限公司 人脸属性识别方法及装置、电子设备和存储介质
WO2020134858A1 (zh) * 2018-12-29 2020-07-02 北京市商汤科技开发有限公司 人脸属性识别方法及装置、电子设备和存储介质
CN109803090A (zh) * 2019-01-25 2019-05-24 睿魔智能科技（深圳）有限公司 无人拍摄自动变焦方法及***、无人摄像机及存储介质
CN110427795A (zh) * 2019-01-28 2019-11-08 厦门瑞为信息技术有限公司 一种基于头部照片的属性分析方法、***和计算机设备
CN109902635A (zh) * 2019-03-04 2019-06-18 司法鉴定科学研究院 一种基于示例图形的人像特征标识方法
CN109919081A (zh) * 2019-03-04 2019-06-21 司法鉴定科学研究院 一种自动化辅助人像特征标识方法
CN110069994A (zh) * 2019-03-18 2019-07-30 中国科学院自动化研究所 基于人脸多区域的人脸属性识别***、方法
CN111723612A (zh) * 2019-03-20 2020-09-29 北京市商汤科技开发有限公司 人脸识别和人脸识别网络的训练方法和装置、存储介质
CN111723613A (zh) * 2019-03-20 2020-09-29 广州慧睿思通信息科技有限公司 人脸图像数据处理方法、装置、设备及存储介质
CN110008922A (zh) * 2019-04-12 2019-07-12 腾讯科技（深圳）有限公司 用于终端设备的图像处理方法、设备、装置、介质
CN110009059B (zh) * 2019-04-16 2022-03-29 北京字节跳动网络技术有限公司 用于生成模型的方法和装置
CN110009059A (zh) * 2019-04-16 2019-07-12 北京字节跳动网络技术有限公司 用于生成模型的方法和装置
CN111860223A (zh) * 2019-07-03 2020-10-30 Ａｗｌ株式会社 属性识别***、学习服务器以及计算机可读记录介质
CN110378306A (zh) * 2019-07-25 2019-10-25 厦门美图之家科技有限公司 年龄预测方法、装置及图像处理设备
CN112395908A (zh) * 2019-08-13 2021-02-23 天津大学青岛海洋技术研究院 一种基于三维卷积神经网络的活体人脸检测算法
CN110414483A (zh) * 2019-08-13 2019-11-05 山东浪潮人工智能研究院有限公司 一种基于深度神经网络和随机森林的人脸识别方法及***
CN110472611A (zh) * 2019-08-21 2019-11-19 图谱未来(南京)人工智能研究院有限公司 人物属性识别的方法、装置、电子设备及可读存储介质
US11361587B2 (en) 2019-08-30 2022-06-14 Boe Technology Group Co., Ltd. Age recognition method, storage medium and electronic device
CN110532965A (zh) * 2019-08-30 2019-12-03 京东方科技集团股份有限公司 年龄识别方法、存储介质及电子设备
CN110532965B (zh) * 2019-08-30 2022-07-26 京东方科技集团股份有限公司 年龄识别方法、存储介质及电子设备
CN110532970B (zh) * 2019-09-02 2022-06-24 厦门瑞为信息技术有限公司 人脸2d图像的年龄性别属性分析方法、***、设备和介质
CN110532970A (zh) * 2019-09-02 2019-12-03 厦门瑞为信息技术有限公司 人脸2d图像的年龄性别属性分析方法、***、设备和介质
CN112733570A (zh) * 2019-10-14 2021-04-30 北京眼神智能科技有限公司 眼镜检测的方法、装置、电子设备及存储介质
CN110909609A (zh) * 2019-10-26 2020-03-24 湖北讯獒信息工程有限公司 基于人工智能的表情识别方法
CN112825115A (zh) * 2019-11-20 2021-05-21 北京眼神智能科技有限公司 基于单目图像的眼镜检测方法、装置、存储介质及设备
CN111144557A (zh) * 2019-12-31 2020-05-12 中国电子科技集团公司信息科学研究院 一种基于级联模式的动作策略方法
CN111209874A (zh) * 2020-01-09 2020-05-29 北京百目科技有限公司 一种对人头部穿戴属性的分析识别方法
CN111523367B (zh) * 2020-01-22 2022-07-22 湖北科技学院 基于人脸属性分析的智能化人脸表情识别方法与***
CN111523367A (zh) * 2020-01-22 2020-08-11 湖北科技学院 基于人脸属性分析的智能化人脸表情识别方法与***
CN111401198A (zh) * 2020-03-10 2020-07-10 广东九联科技股份有限公司 观众情绪识别方法、装置及***
CN111401198B (zh) * 2020-03-10 2024-04-23 广东九联科技股份有限公司 观众情绪识别方法、装置及***
CN111444787A (zh) * 2020-03-12 2020-07-24 江西赣鄱云新型智慧城市技术研究有限公司 一种性别约束的全智能化人脸表情识别方法及***
CN111444787B (zh) * 2020-03-12 2023-04-07 江西赣鄱云新型智慧城市技术研究有限公司 一种性别约束的全智能化人脸表情识别方法及***
CN111428628A (zh) * 2020-03-23 2020-07-17 北京每日优鲜电子商务有限公司 人脸检测方法、装置、设备及存储介质
CN111582336B (zh) * 2020-04-23 2023-11-03 海信集团有限公司 一种基于图像识别垃圾种类的装置及方法
CN111582336A (zh) * 2020-04-23 2020-08-25 海信集团有限公司 一种基于图像识别垃圾种类的装置及方法
CN112163462A (zh) * 2020-09-08 2021-01-01 北京数美时代科技有限公司 基于人脸的未成年人识别方法、装置、计算机设备
CN113792718A (zh) * 2021-11-18 2021-12-14 北京的卢深视科技有限公司 深度图中人脸区域定位方法、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN108596011A (zh) 一种基于组合深度网络的人脸属性识别方法和装置
Yuan et al. Fingerprint liveness detection using an improved CNN with image scale equalization
CN107016370B (zh) 一种基于数据增强的部分遮挡人脸识别方法
CN105718873B (zh) 基于双目视觉的人流分析方法
CN108229330A (zh) 人脸融合识别方法及装置、电子设备和存储介质
CN108961675A (zh) 基于卷积神经网络的跌倒检测方法
CN106529499A (zh) 基于傅里叶描述子和步态能量图融合特征的步态识别方法
CN104143079A (zh) 人脸属性识别的方法和***
CN107423696A (zh) 人脸识别方法及***
CN110532970A (zh) 人脸2d图像的年龄性别属性分析方法、***、设备和介质
Rouhi et al. A review on feature extraction techniques in face recognition
CN106650619A (zh) 一种人体动作识别方法
CN104680545B (zh) 光学图像中存在显著目标的检测方法
CN106599785A (zh) 人体3d特征身份信息库的建立方法及设备
CN107025444A (zh) 分块协同表示嵌入核稀疏表示遮挡人脸识别方法和装置
KR20200012355A (ko) Clm과 가버 웨이블렛을 이용한 얼굴 인증 과정을 구비한 온라인 강의 모니터링 방법
CN109063643A (zh) 一种用于脸部信息部分隐藏条件下的面部表情痛苦度识别方法
Yang et al. Bird's-eye view social distancing analysis system
CN114863499A (zh) 一种基于联邦学习的指静脉与掌静脉识别方法
Jayalakshmi et al. A study of Iris segmentation methods using fuzzy C-means and K-means clustering algorithm
CN114639153A (zh) 一种具有动态捕捉功能的人脸识别方法
Krishna et al. Ear-Based Biometric System Using Artificial Intelligence
CN110751034B (zh) 行人行为识别方法及终端设备
Brkić et al. De-identifying people in videos using neural art
Yadappanavar et al. Machine learning approach for smile detection in real time images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180928