CN111507263A - 一种基于多源数据的人脸多属性识别方法 - Google Patents
一种基于多源数据的人脸多属性识别方法 Download PDFInfo
- Publication number
- CN111507263A CN111507263A CN202010305187.1A CN202010305187A CN111507263A CN 111507263 A CN111507263 A CN 111507263A CN 202010305187 A CN202010305187 A CN 202010305187A CN 111507263 A CN111507263 A CN 111507263A
- Authority
- CN
- China
- Prior art keywords
- face
- attribute
- attributes
- label
- recognition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
- G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Biology (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Biophysics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明属于人脸属性识别技术领域,具体涉及一种基于多源数据的人脸多属性识别方法。本发明是针对单一人脸属性数据集往往包含的属性标签有限,经常不能满足多属性识别任务中对所有属性的标注需求的问题,提出的基于多源数据的人脸多属性识别方法,根据任意人脸属性识别任务的具体需求,都可以通过组合多个现有数据集共同满足任务所需的多项属性标注需求,并通过联合训练的方式,多个数据集之间相互促进,对人脸属性识别网络进行有效训练,从而实现对输入人脸图像进行多种属性联合识别。本发明的有益效果为,在满足任务所有属性标注需求的同时,通过多个数据集相互合作实现多属性之间的信息交互,完成多项属性联合训练目标,并提高网络泛化效果。
Description
技术领域
本发明属于人脸属性识别技术领域,具体涉及一种基于多源数据的人脸多属性识别方法。
背景技术
随着人工智能的迅速崛起以及图像采集和处理技术的不断发展,对图像进行信息挖掘及利用的人工智能应用在人们生活中随处可见。而人脸作为一种重要的生物特征,包含许多重要的信息,又因为其细节丰富、易获取等特点越来越受到研究人员的青睐。
最开始对人脸数据的研究为人脸识别及人脸检测,这是对人脸信息最直接的应用。而随着人们物质文化需求的不断增长,研究人员也在不断开发对人脸信息的利用,人脸属性识别也就应运而生。不同于人们熟知的人脸检测、人脸验证、人脸对比等技术,人脸属性识别是从人脸数据上获取更加细致的特征信息,比如,给定一张人脸图像,通过算法自动计算出各种不同的人脸属性值,比如性别、种族、年龄值、表情,甚至是“是否佩戴眼镜”,“是否长得好看”等等。
人脸属性识别在金融、刑侦、安防、娱乐等多种领域都有着广泛应用,鉴于此,人脸多属性共同学习在工商业界的应用需求不断提升。
但之前的研究工作大多仅仅是对人脸单一属性识别,比如年龄估计,又或者尽管是多属性识别,也是多个模型并行学习,这样繁琐的模型不仅没有利用到不同属性之间的相关性,而且巨大的参数量和计算量也不利于模型的落地实现。因此,利用单一模型进行多属性识别成为新的研究热点。
另外随着人脸属性研究需求的不断扩大,目前的人脸属性数据集暴露出一些问题严重阻碍了该方向的研究进展。例如,数据集类别分布不平衡,又或者对于多属性识别任务,单一数据集无法提供全部属性标签等。
发明内容
本发明的目的是,针对上述问题,提出一种基于多源数据的人脸多属性识别方法。
本发明的技术方案为:
一种基于多源数据的人脸多属性识别方法,包括以下步骤:
S1、根据本次人脸多属性识别任务的k项目标人脸属性,k≥1,明确输入数据需要带有的属性标签:A={ai|i=1,...,k},其中ai表示第i项目标人脸属性的标签;
S2、根据S1确定的k项属性,基于多源数据选取n个不同的数据集Dj,j=1,2,...,n,n≥1,每个数据集要求至少包含A中的一项目标人脸属性标注,则Dj包含的目标人脸属性标注记作其中sj表示Dj包含的目标人脸属性标注的数量,且1≤sj≤k;
S4、按照k项目标人脸属性的特点,将其分为分类属性和回归属性,并为人脸回归属性的原数值标签添加衍生类别标签,构建人脸识别神经网络,包括所有属性共享的浅层网络以及独立提取一种属性特征的分支网络;
S6、若j=n,则模型学习完毕,通过该模型可以对输入人脸图片获得多项目标人脸属性识别结果;否则,令j=j+1,并回到S5。
本发明总的技术方案,是针对单一人脸属性数据集往往包含的属性标签有限,经常不能满足多属性识别任务中对所有属性的标注需求的问题,提出的基于多源数据的人脸多属性识别方法,根据任意识别任务的需求,通过选取现有的多个数据集共同满足任务所需的多项属性标注需求,并通过联合训练的方式,多个数据集之间相互促进,对人脸属性识别网络进行有效训练,从而实现对输入人脸图像进行多种属性联合识别,并提高网络泛化效果。
进一步的,所述步骤S4中构建的人脸属性识别网络,对于人脸属性中的分类属性,其分支网络直接添加全连接层,最后利用softmax函数对进行属性识别;对于人脸属性中的回归属性,由于数值描述的模糊性,如将年龄表述为20岁左右,为提高其识别准确率,模型设计为原数值标签增加衍生类别标签,并在训练时,采用级联的方式计算该类属性的损失,即对于原数值标签,利用MAE损失函数计算其误差,记作Lvalue,对于辅助衍生标签向量利用KL散度计算其损失,记作Lvector,对于该类属性,损失函数采用级联的方式计算:
L=Lvalue+aLvector (1)
其中α为值loss和向量loss的平衡因子;
进一步的,所述步骤S5中,采用数据集Dj对人脸多属性识别模型进行训练时,根据其原始目标属性标签集Aj依次设置对应第i项目标属性地损失函数权重λi,i=1,2,...,k:若则设置对应的λi=0;否则,根据其在数据集Dj中分布的平衡程度,在(0,1]区间内调整λi,原则是标签类别分布越不平衡,λi越小,则总的损失函数记作:
其中Li代表第i项属性任务的损失函数。
进一步地,根据数据集Dj包含的目标人脸属性数量sj,调整共享层的学习率,若j=1则共享层学习率与全局学习率相同;否则,根据其缺少的属性数量自适应地减小共享层的学习率。且对于数据集Dj的训练,若j=0,则参数随机初始化,否则用Wj-1初始化。
本发明的有益效果是:在人脸多属性识别任务中,克服了单一数据集无法包含所有属性标注的问题,不必为具体的多属性识别任务重新构建数据集,只需根据任务所涉及到的属性选取现有的数据集,进行组合训练即可,多个数据集联合训练模型促进了属性之间的信息交流,不仅完成了多属性的训练目标,而且提高了网络泛化能力,减少过拟合。
附图说明
图1为本发明的一种基于多源数据的人脸多属性识别方法的流程图;
图2为本发明所构建的人脸多属性识别神经网络模型逻辑结构示意图;
图3为模糊性数值标签生成的衍生辅助向量标签的示意图。
具体实施方式
在发明内容部分已经对本发明的技术方案做了详细描述,为了使本技术领域的人员更好地理解本发明方法,下面结合附图进行补充说明。
如图1所示,为本发明的总体实现流程,其中,对于输入的人脸图像,包含了预处理过程,具体方式是:
1)对输入图像进行人脸关键点检测;
2)按照人脸关键点对人脸进行对齐;
3)对对齐后的人脸进行裁剪,去除无用信息,仅保留包含有效信息的人脸部分;
4)将裁剪后的人脸图片进行缩放至模型对应输入的固定尺寸。
图2为本发明所提出的人脸属性识别网络模型,包括为所有属性任务设计的共享的浅层网络以及根据每项待识别的属性任务分别设计高层网络分支,用于独立提取其特有特征信息。
如图3所示,为本发明中对于人脸回归属性的衍生类别标签的一种生成方法,该方法为采用两点表示的方法,即将数据集标签的值域按照其固定间隔K平均划分,则对于某一数值标签y,其衍生则给定标签真实值y,计算其两点表示如下:
y=λ1z1+λ2z2 (3)
式(3)表示真实值在z1,z2之间,λ1,λ2表示真实值y靠近标记z1,z2的程度。则相应的衍生标签向量在对应z1,z2位置的值分别为λ1,λ2,而其余位置值为0。
根据上述衍生类别标签,在训练时,采用级联的方式计算该类属性的损失,即对于原数值标签,利用MAE损失函数计算其误差,记作
对于辅助衍生标签向量利用KL散度计算其损失,记作
则年龄和颜值损失函数分别记为:
Lage=La_value+aLa_vector (8)
Lbeauty=Lb_value+aLb_vector (9)
对于类别分布不平衡的属性,根据其类间比例为其设置类别权重,例如属性分别为年龄、性别、种族以及颜值时,模型总的损失记作式:
Ltotal=λageLage+λgenderLgender+λraceLrace+λbeautyLbeauty (10)
式中λage,λgender,λrace,λbeauty分别代表年龄、性别、种族以及颜值的损失函数权重,默认为1.0,权重越大,模型越倾向于学习该任务。
另外,当对第一个数据集进行训练时,模型采用随机初始化;否则,模型利用上一数据集训练得到的参数初始化。
Claims (5)
1.一种基于多源数据的人脸多属性识别方法,其特征在于,包括以下步骤:
S1、根据本次人脸多属性识别任务的k项目标人脸属性,k≥1,明确输入数据需要带有的属性标签:A={ai|i=1,...,k},其中ai表示第i项目标人脸属性的标签;
S2、根据S1确定的k项属性,基于多源数据选取n个不同的数据集Dj,j=1,2,...,n,n≥1,每个数据集要求至少包含A中的一项目标人脸属性标注,则Dj包含的目标人脸属性标注记作其中sj表示Dj包含的目标人脸属性标注的数量,且1≤sj≤k;
S4、按照k项目标人脸属性的特点,将其分为分类属性和回归属性,并为人脸回归属性的原数值标签添加衍生类别标签,构建人脸识别神经网络,包括所有属性共享的浅层网络以及独立提取一种属性特征的分支网络;
S6、若j=n,则模型学习完毕,通过该模型可以对输入人脸图片获得多项目标人脸属性识别结果;否则,令j=j+1,并回到S5。
2.根据权利要求1所述的一种基于多源数据的人脸多属性识别方法,其特征在于,所述步骤S4中构建的人脸属性识别网络,对于人脸属性中的分类属性,其分支网络直接添加全连接层,最后利用softmax函数对进行属性识别;对于人脸属性中的回归属性,由于数值描述的模糊性,(权利要求中不能使用“例如”、“大约”“等等”诸如此类的用语哈)将模型设计为原数值标签增加衍生类别标签,并在训练时,采用级联的方式计算该类属性的损失,即对于原数值标签,利用MAE损失函数计算其误差,记作Lvalue,对于辅助衍生标签向量利用KL散度计算其损失,记作Lvector,对于该类属性,损失函数采用级联的方式计算:
L=Lvalue+αLvector
其中α为两种损失的的平衡因子。
4.根据权利要求3所述的一种基于多源数据的人脸多属性识别方法,其特征在于,所述步骤S5中,根据数据集Dj包含的目标人脸属性数量sj,调整共享层的学习率,若j=1则共享层学习率与全局学习率相同;否则,根据其缺少的属性数量自适应地减小共享层的学习率。
5.根据权利要求4所述的一种基于多源数据的人脸多属性识别方法,其特征在于,所描述的S5中,恰当的参数初始化方法为:对于数据集Dj的训练,若j=0,则参数随机初始化,否则用Wj-1初始化。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010305187.1A CN111507263B (zh) | 2020-04-17 | 2020-04-17 | 一种基于多源数据的人脸多属性识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010305187.1A CN111507263B (zh) | 2020-04-17 | 2020-04-17 | 一种基于多源数据的人脸多属性识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111507263A true CN111507263A (zh) | 2020-08-07 |
CN111507263B CN111507263B (zh) | 2022-08-05 |
Family
ID=71874390
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010305187.1A Active CN111507263B (zh) | 2020-04-17 | 2020-04-17 | 一种基于多源数据的人脸多属性识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111507263B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112287966A (zh) * | 2020-09-21 | 2021-01-29 | 深圳市爱深盈通信息技术有限公司 | 一种人脸识别方法、装置及电子设备 |
CN117315445A (zh) * | 2023-11-28 | 2023-12-29 | 苏州元脑智能科技有限公司 | 目标识别方法、装置、电子设备及可读存储介质 |
Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106203395A (zh) * | 2016-07-26 | 2016-12-07 | 厦门大学 | 基于多任务深度学习的人脸属性识别方法 |
CN106529402A (zh) * | 2016-09-27 | 2017-03-22 | 中国科学院自动化研究所 | 基于多任务学习的卷积神经网络的人脸属性分析方法 |
CN107247947A (zh) * | 2017-07-07 | 2017-10-13 | 北京智慧眼科技股份有限公司 | 人脸属性识别方法及装置 |
CN107392118A (zh) * | 2017-07-04 | 2017-11-24 | 竹间智能科技(上海)有限公司 | 基于多任务对抗生成网络的强化人脸属性识别方法及*** |
CN107742168A (zh) * | 2017-10-20 | 2018-02-27 | 西北工业大学 | 一种基于物联技术的生产车间动态瓶颈预测方法 |
CN108197525A (zh) * | 2017-11-20 | 2018-06-22 | 中国科学院自动化研究所 | 人脸图像生成方法及装置 |
CN108564029A (zh) * | 2018-04-12 | 2018-09-21 | 厦门大学 | 基于级联多任务学习深度神经网络的人脸属性识别方法 |
CN108875932A (zh) * | 2018-02-27 | 2018-11-23 | 北京旷视科技有限公司 | 图像识别方法、装置和***及存储介质 |
CN109165601A (zh) * | 2018-08-27 | 2019-01-08 | 嘉兴市广电信息科技有限公司 | 基于神经网络的人脸识别方法和装置 |
CN109325443A (zh) * | 2018-09-19 | 2019-02-12 | 南京航空航天大学 | 一种基于多实例多标签深度迁移学习的人脸属性识别方法 |
WO2020001082A1 (zh) * | 2018-06-30 | 2020-01-02 | 东南大学 | 一种基于迁移学习的人脸属性分析方法 |
US20200019759A1 (en) * | 2018-07-11 | 2020-01-16 | Samsung Electronics Co., Ltd. | Simultaneous recognition of facial attributes and identity in organizing photo albums |
CN110728255A (zh) * | 2019-10-22 | 2020-01-24 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子设备及存储介质 |
WO2020047416A1 (en) * | 2018-08-30 | 2020-03-05 | Splashlight Holding Llc | Technologies for enabling analytics of computing events based on augmented canonicalization of classified images |
-
2020
- 2020-04-17 CN CN202010305187.1A patent/CN111507263B/zh active Active
Patent Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106203395A (zh) * | 2016-07-26 | 2016-12-07 | 厦门大学 | 基于多任务深度学习的人脸属性识别方法 |
CN106529402A (zh) * | 2016-09-27 | 2017-03-22 | 中国科学院自动化研究所 | 基于多任务学习的卷积神经网络的人脸属性分析方法 |
CN107392118A (zh) * | 2017-07-04 | 2017-11-24 | 竹间智能科技(上海)有限公司 | 基于多任务对抗生成网络的强化人脸属性识别方法及*** |
CN107247947A (zh) * | 2017-07-07 | 2017-10-13 | 北京智慧眼科技股份有限公司 | 人脸属性识别方法及装置 |
CN107742168A (zh) * | 2017-10-20 | 2018-02-27 | 西北工业大学 | 一种基于物联技术的生产车间动态瓶颈预测方法 |
CN108197525A (zh) * | 2017-11-20 | 2018-06-22 | 中国科学院自动化研究所 | 人脸图像生成方法及装置 |
CN108875932A (zh) * | 2018-02-27 | 2018-11-23 | 北京旷视科技有限公司 | 图像识别方法、装置和***及存储介质 |
CN108564029A (zh) * | 2018-04-12 | 2018-09-21 | 厦门大学 | 基于级联多任务学习深度神经网络的人脸属性识别方法 |
WO2020001082A1 (zh) * | 2018-06-30 | 2020-01-02 | 东南大学 | 一种基于迁移学习的人脸属性分析方法 |
US20200019759A1 (en) * | 2018-07-11 | 2020-01-16 | Samsung Electronics Co., Ltd. | Simultaneous recognition of facial attributes and identity in organizing photo albums |
CN109165601A (zh) * | 2018-08-27 | 2019-01-08 | 嘉兴市广电信息科技有限公司 | 基于神经网络的人脸识别方法和装置 |
WO2020047416A1 (en) * | 2018-08-30 | 2020-03-05 | Splashlight Holding Llc | Technologies for enabling analytics of computing events based on augmented canonicalization of classified images |
CN109325443A (zh) * | 2018-09-19 | 2019-02-12 | 南京航空航天大学 | 一种基于多实例多标签深度迁移学习的人脸属性识别方法 |
CN110728255A (zh) * | 2019-10-22 | 2020-01-24 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子设备及存储介质 |
Non-Patent Citations (3)
Title |
---|
C.ZHANG,S.LIU: "C3AE: Exploring the Limits of Compact Model for Age Estimation", 《IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 * |
刘三元: "基于深度学习的人脸属性识别", 《中国优秀硕士学位论文全文数据库》 * |
徐培超等: "多任务及Resnet网络在人脸多属性识别中的应用", 《小型微型计算机***》 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112287966A (zh) * | 2020-09-21 | 2021-01-29 | 深圳市爱深盈通信息技术有限公司 | 一种人脸识别方法、装置及电子设备 |
CN117315445A (zh) * | 2023-11-28 | 2023-12-29 | 苏州元脑智能科技有限公司 | 目标识别方法、装置、电子设备及可读存储介质 |
CN117315445B (zh) * | 2023-11-28 | 2024-03-22 | 苏州元脑智能科技有限公司 | 目标识别方法、装置、电子设备及可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN111507263B (zh) | 2022-08-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110321926B (zh) | 一种基于深度残差修正网络的迁移方法及*** | |
CN106296692A (zh) | 基于对抗网络的图像显著性检测方法 | |
CN106096557A (zh) | 一种基于模糊训练样本的半监督学习人脸表情识别方法 | |
CN111783521B (zh) | 基于低秩先验引导的域不变信息分离的行人重识别方法 | |
Wang et al. | Large scale automatic image annotation based on convolutional neural network | |
CN111832511A (zh) | 一种增强样本数据的无监督行人重识别方法 | |
CN111507263B (zh) | 一种基于多源数据的人脸多属性识别方法 | |
Zhao et al. | Joint face alignment and segmentation via deep multi-task learning | |
Ferreira et al. | On the role of multimodal learning in the recognition of sign language | |
CN110349229A (zh) | 一种图像描述方法及装置 | |
CN105809119A (zh) | 一种基于稀疏低秩结构多任务学习的行为识别方法 | |
CN115115969A (zh) | 视频检测方法、装置、设备、存储介质和程序产品 | |
Wang et al. | Graph-based safe support vector machine for multiple classes | |
Bai et al. | Semantic-sparse colorization network for deep exemplar-based colorization | |
Peng et al. | Dual contrastive learning network for graph clustering | |
Zhong et al. | Person reidentification based on pose-invariant feature and B-KNN reranking | |
Xiao et al. | Siamese block attention network for online update object tracking | |
Zheng et al. | BDLA: Bi-directional local alignment for few-shot learning | |
Huang et al. | Discriminative radial domain adaptation | |
Li et al. | Generalized zero shot learning via synthesis pseudo features | |
Ou et al. | Improving person re-identification by multi-task learning | |
Cui et al. | RGB-D face recognition: A comparative study of representative fusion schemes | |
Tran et al. | Memory augmented matching networks for few-shot learnings | |
Xu et al. | Cross-modal based person re-identification via channel exchange and adversarial learning | |
Xu et al. | Style transfer with adversarial learning for cross-dataset person re-identification |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |