CN117315445A - 目标识别方法、装置、电子设备及可读存储介质 - Google Patents
目标识别方法、装置、电子设备及可读存储介质 Download PDFInfo
- Publication number
- CN117315445A CN117315445A CN202311598731.6A CN202311598731A CN117315445A CN 117315445 A CN117315445 A CN 117315445A CN 202311598731 A CN202311598731 A CN 202311598731A CN 117315445 A CN117315445 A CN 117315445A
- Authority
- CN
- China
- Prior art keywords
- task
- attribute identification
- target
- attribute
- tasks
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 151
- 230000006870 function Effects 0.000 claims abstract description 162
- 238000012549 training Methods 0.000 claims abstract description 90
- 230000008569 process Effects 0.000 claims abstract description 51
- 238000000605 extraction Methods 0.000 claims description 35
- 238000004364 calculation method Methods 0.000 claims description 33
- 238000012545 processing Methods 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 10
- 230000014509 gene expression Effects 0.000 claims description 8
- 238000010606 normalization Methods 0.000 claims description 8
- 238000011176 pooling Methods 0.000 claims description 4
- 230000003247 decreasing effect Effects 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 abstract description 9
- 238000013473 artificial intelligence Methods 0.000 abstract description 6
- 230000000875 corresponding effect Effects 0.000 description 46
- 238000010586 diagram Methods 0.000 description 12
- 238000004422 calculation algorithm Methods 0.000 description 9
- 230000008859 change Effects 0.000 description 6
- 238000012360 testing method Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 3
- 210000004209 hair Anatomy 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 201000004384 Alopecia Diseases 0.000 description 1
- 241000272814 Anser sp. Species 0.000 description 1
- 241001252601 Blumea Species 0.000 description 1
- 241000167854 Bourreria succulenta Species 0.000 description 1
- 241000283707 Capra Species 0.000 description 1
- 235000002673 Dioscorea communis Nutrition 0.000 description 1
- 241000544230 Dioscorea communis Species 0.000 description 1
- 208000035753 Periorbital contusion Diseases 0.000 description 1
- 241001506047 Tremella Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 235000019693 cherries Nutrition 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 210000000744 eyelid Anatomy 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 230000003676 hair loss Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000013433 optimization analysis Methods 0.000 description 1
- 230000036544 posture Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 210000000216 zygoma Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- General Engineering & Computer Science (AREA)
- Molecular Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种目标识别方法、装置、电子设备及可读存储介质,应用于人工智能技术领域。其中,方法包括在初始多任务目标识别模型训练过程中,基于该模型的多任务损失函数计算不同属性识别任务之间的相关性信息;基于各相关性信息,以最大化所有属性识别任务间的相关性信息为目标,对各属性识别任务进行分组。将分组结果通过替换初始多任务目标识别模型的任务参数特征学习层进行部署,得到多任务目标识别模型;利用目标样本数据集训练多任务目标识别模型,得到用于同时执行多个属性识别任务的多任务目标识别模型。本发明可以解决相关技术无法简单且精准地确定不同属性识别任务之间的相关性的问题,能够有效提高目标识别的准确度。
Description
技术领域
本发明涉及人工智能技术领域,特别是涉及一种目标识别方法、装置、电子设备及可读存储介质。
背景技术
随着人工智能技术的发展,多个任务并行学习并输出多个预测结果的多任务学习应运而生。多任务学习占用更少的计算资源,能够挖掘不同任务之间隐藏的共有数据特征,从而有效提升模型预测精度。
由于多任务模型的预测精度受各任务之间相关性的影响,在多任务学习过程中,相关技术在基于多任务学习的目标识别过程中,通常采用先验知识强制模型按照一定规则分组,或者是通过多因子进化算法来同时对多个属性识别任务的相似性进行进化搜索,来确定不同任务之间的相关性。但是,利用先验知识人为进行任务相关性判断,准确度不高,随机性较大,而多因子进化方法计算复杂,且并不适用于任务数据量非常多的场景下。
鉴于此,简单并精准地确定不同属性识别任务之间的相关性,以提高目标识别的准确度,是所属领域技术人员需要解决的技术问题。
发明内容
本发明提供了一种目标识别方法、装置、电子设备及可读存储介质,能够简单并精准地确定不同属性识别任务之间的相关性,有效提高目标识别的准确度。
为解决上述技术问题,本发明提供以下技术方案:
本发明第一方面提供了一种目标识别方法,包括:
获取标记属性类别标签的第一目标样本数据集和第二目标样本数据集;
在利用所述第一目标样本数据集训练初始多任务目标识别模型的过程中,基于所述初始多任务目标识别模型对应的多任务损失函数,计算不同属性识别任务之间的相关性信息;所述初始多任务目标识别模型包括依次相连的输入层、共享参数特征学习层和任务参数特征学习层和输出层;
基于各相关性信息,以最大化所有属性识别任务间的相关性信息为目标,对各属性识别任务进行分组,得到分组结果;各组属性识别任务至少包括一个属性识别任务;
将所述分组结果通过替换所述任务参数特征学习层的方式,部署至所述初始多任务目标识别模型,得到多任务目标识别模型;
利用所述第二目标样本数据集训练所述多任务目标识别模型,得到用于同时执行多个属性识别任务的多任务目标识别模型。
在第一种示例性的实施方式中,所述基于所述初始多任务目标识别模型对应的多任务损失函数,计算不同属性识别任务之间的相关性信息,包括:
对每两个属性识别任务,根据第一属性识别任务对第二属性识别任务的损失影响程度,确定所述第一属性识别任务和所述第二属性识别任务的相关关系,以作为相关性信息;
其中,所述相关关系包括正相关关系和负相关关系,所述正相关关系用于表示所述第一属性识别任务与所述第二属性识别任务适合作为一个分组;所述负相关关系用于表示所述第一属性识别任务与所述第二属性识别任务不适合作为一个分组。
在第二种示例性的实施方式中,所述根据第一属性识别任务对第二属性识别任务的损失影响程度,确定所述第一属性识别任务和所述第二属性识别任务的相关关系,包括:
基于第一目标样本数据计算第一属性识别任务在当前时刻的第一损失函数值;
利用所述第一损失函数值对所述共享参数特征学习层进行梯度更新,得到新共享参数;
基于所述当前时刻的原共享参数和第二目标样本数据,计算第二属性识别任务的第二原损失函数值;
基于所述新共享参数和所述第二目标样本数据,计算所述第二属性识别任务的第二新损失函数值;
若所述第二原损失函数值大于所述第二新损失函数值,则所述第一属性识别任务与所述第二属性识别任务为正相关关系;若所述第二原损失函数值小于等于所述第二新损失函数,则所述第一属性识别任务与所述第二属性识别任务为负相关关系。
在第三种示例性的实施方式中,所述基于所述当前时刻的原共享参数和第二目标样本数据,计算第二属性识别任务的第二原损失函数值,包括:
调用原损失函数值计算关系式,计算第二属性识别任务的第二原损失函数值;所述原损失函数值计算关系式为:
;
式中,loss q-org 为第二原损失函数值,q表示第二属性识别任务,Y为第二目标样本数据X t 在t时刻对应的真值,K为第二目标样本数据X t 包含的目标数据总数,F(X t )为第二目标样本数据X t 对应的属性预测函数,为第二属性识别任务在t时刻的任务属性参数,/>为在t时刻的原共享参数,/>为第二目标样本数据X t 的第i个目标数据的第二属性识别任务的真实标签。
在第四种示例性的实施方式中,所述基于所述新共享参数和所述第二目标样本数据,计算所述第二属性识别任务的第二新损失函数值,包括:
调用新损失函数值计算关系式,计算所述第二属性识别任务的第二新损失函数值;所述新损失函数值计算关系式为:
;
式中,loss q-new 为第二新原损失函数值,为在t时刻的新共享参数集。
在第五种示例性的实施方式中,所述基于所述初始多任务目标识别模型对应的多任务损失函数,计算不同属性识别任务之间的相关性信息,包括:
对每两个属性识别任务,根据第二属性识别任务梯度沿着第一属性识别任务的损失函数下降方向更新后的新损失值与梯度更新前的原损失值,计算所述第一属性识别任务和所述第二属性识别任务的相关性分数;
根据所述相关性分数和预设值之间的数值关系,确定所述第一属性识别任务和所述第二属性识别任务的相关关系,以作为所述相关性信息;
其中,所述相关关系包括正相关关系和负相关关系,所述正相关关系用于表示所述第一属性识别任务与所述第二属性识别任务适合作为一个分组;所述负相关关系用于表示所述第一属性识别任务与所述第二属性识别任务不适合作为一个分组。
在第六种示例性的实施方式中,所述根据第二属性识别任务梯度沿着第一属性识别任务的损失函数下降方向更新后的新损失值与梯度更新前的原损失值,计算所述第一属性识别任务和所述第二属性识别任务的相关性分数,包括:
调用相关性分数计算关系式,计算所述第一属性识别任务和所述第二属性识别任务的相关性分数;所述相关性分数计算关系式为:
;
式中,R为相关性分数,loss Bnew 为更新后的新损失值,loss Borg 为梯度更新前的原损失值。
在第七种示例性的实施方式中,所述基于所述初始多任务目标识别模型对应的多任务损失函数,计算不同属性识别任务之间的相关性信息,包括:
按照预设频率多次计算每两个属性识别任务之间的相关性信息;
当训练总时长达到,对每两个属性识别任务,将多次相关性信息的平均处理结果作为相应属性识别任务之间的相关性信息。
在第八种示例性的实施方式中,所述初始多任务目标识别模型采用硬参数共享方式,所述共享参数特征学习层位于底层,所述任务参数特征学习层位于顶层,所述任务参数特征学习层包括多个子任务参数特征学习层,各子任务参数特征学习层对应一个属性识别任务,用于学习相应属性识别任务的参数特征。
在第九种示例性的实施方式中,所述共享参数特征学习层包括第一特征提取层、第二特征提取层、第三特征提取层、第四特征层、第五特征提取层、第一全连接层和第二全连接层;
其中,所述第一特征提取层、所述第二特征提取层和所述第五特征提取层包括依次相连的卷积层、批量归一化层和最大池化层;所述第三特征提取层和所述第四特征层包括依次相连的卷积层、批量归一化层。
在第十种示例性的实施方式中,所述多任务目标识别模型包括依次相连的所述输入层、所述共享参数特征学习层、分组参数特征学习层和所述输出层;
其中,所述分组参数特征学习层包括多个子组参数特征学习层,各子组参数特征学习层对应一个子组,用于学习相应子组的参数特征;各子组参数特征学习层包括第三全连接层和第四全连接层。
在第十一种示例性的实施方式中,所述基于各相关性信息,以最大化所有属性识别任务间的相关性信息为目标,对各属性识别任务进行分组,得到分组结果,包括:
对各属性识别任务,获取当前属性识别任务与其余各属性识别任务之间的相关性信息,基于各相关性信息,将属于正相关关系的候选属性识别任务与当前属性识别任务划分为第一子组;
根据所述第一子组包含的属性识别任务总数、各候选属性识别任务与所述当前属性识别任务的相关程度及各候选属性识别任务之间的相关性信息,删除所述第一子组中不满足条件的候选属性识别任务,以达到所有属性识别任务间的相关性信息最大。
在第十二种示例性的实施方式中,所述根据所述第一子组包含的属性识别任务总数、各候选属性识别任务与所述当前属性识别任务的相关程度及各候选属性识别任务之间的相关性信息,删除所述第一子组中不满足条件的候选属性识别任务,包括:
若第一子组包含的属性识别任务总数大于2个属性识别任务总数,则所述第一子组保留各候选目标属性识别任务对应的相关性信息大于预设相关阈值的初始目标属性识别任务;
计算所述第一子组中每两个初始目标属性识别任务的相关性信息;
对于属于负相关关系的第一初始目标属性识别任务和第二初始目标属性识别任务,获取所述第一初始目标属性识别任务和所述第二初始目标属性识别任务分别与所述当前属性识别任务之间的第一相关性分数和第二相关性分数;若第一相关性分数大于所述第二相关性分数,则将所述第二初始目标属性识别任务从所述第一子组中删除。
在第十三种示例性的实施方式中,所述相关性信息为相关性分数,所述第一子组保留各候选目标属性识别任务对应的相关性信息大于预设相关阈值的初始目标属性识别任务,包括:
从所述当前属性识别任务与各候选属性识别任务之间的各相关性分数中选择最大相关性分数,基于所述最大相关性分数和预设调节因子确定预设相关阈值,所述预设调节因子大于0且小于1;
将与当前属性识别任务的相关性分数大于所述预设相关阈值的候选目标属性识别任务作为初始目标属性识别任务;
删除所述第一子组中不为初始目标属性识别任务的候选目标属性识别任务。
在第十四种示例性的实施方式中,所述基于所述最大相关性分数和预设调节因子确定预设相关阈值,包括:
当接收到分组参数调节指令,根据所述分组参数调节指令中的新调节因子更新本地存储的预设调节因子。
在第十五种示例性的实施方式中,所述利用所述第二目标样本数据集训练所述多任务目标识别模型,包括:
根据预设总训练周期数,不断重复选取所述第二目标样本数据集中的目标样本数据,调用多任务目标识别损失函数关系式计算所述多任务目标识别模型的损失函数,直至达到预设训练周期数值结束迭代;所述多任务目标识别损失函数关系式为:
;
式中,为M个属性识别任务的任务属性参数集,/>为原共享参数集,/>为所述第二目标样本数据集X的第i个目标数据的第j个属性识别任务的真实标签,F(X i )为所述第二目标样本数据集的第i个目标数据对应的属性预测函数,N为所述第二目标样本数据集所包含的目标数据的总数。
本发明第二方面提供了一种目标识别方法,包括:
利用如前任意一项所述目标识别方法训练得到多任务目标识别模型;
获取待识别目标的待处理数据;所述待识别目标包括多个属性;
将所述待处理数据输入至所述多任务目标识别模型,得到所述待识别目标中至少一个属性的识别结果。
本发明第三方面提供了一种目标识别方法,包括:
获取标记属性类别标签的第一人脸图像数据集和第二人脸图像数据集;
在利用所述第一人脸图像数据集训练初始多任务人脸识别模型的过程中,基于所述初始多任务人脸识别模型对应的多任务损失函数,计算不同属性识别任务之间的相关性信息;所述初始多任务人脸识别模型包括依次相连的输入层、共享参数特征学习层和任务参数特征学习层和输出层;
基于各相关性信息,以最大化所有属性识别任务间的相关性信息为目标,对各属性识别任务进行分组,得到分组结果;各组属性识别任务至少包括一个属性识别任务;
将所述分组结果通过替换所述任务参数特征学习层的方式,部署至所述初始多任务人脸识别模型,得到多任务人脸识别模型;
利用所述第二人脸图像数据集训练所述多任务人脸识别模型,得到用于同时执行多个人脸属性识别任务的多任务人脸识别模型。
本发明第四方面提供了一种目标识别装置,包括:
图像样本获取模块,用于获取标记属性类别标签的第一目标样本数据集和第二目标样本数据集;
相关性确定模块,用于在利用所述第一目标样本数据集训练初始多任务目标识别模型的过程中,基于所述初始多任务目标识别模型对应的多任务损失函数,计算不同属性识别任务之间的相关性信息;所述初始多任务目标识别模型包括依次相连的输入层、共享参数特征学习层和任务参数特征学习层和输出层;
分组模块,用于基于各相关性信息,以最大化所有属性识别任务间的相关性信息为目标,对各属性识别任务进行分组,得到分组结果;各组属性识别任务至少包括一个属性识别任务;
目标识别模块,用于将所述分组结果通过替换所述任务参数特征学习层的方式,部署至所述初始多任务目标识别模型,得到多任务目标识别模型;利用所述第二目标样本数据集训练所述多任务目标识别模型,得到用于同时执行多个属性识别任务的多任务目标识别模型。
本发明第五方面提供了一种目标识别装置,包括:
模型训练模块,用于利用前任意一项所述目标识别方法训练得到多任务目标识别模型;
数据获取模块,用于获取待识别目标的待处理数据;所述待识别目标包括多个属性;
识别结果生成模块,用于将所述待处理数据输入至所述多任务目标识别模型,得到所述待识别目标中至少一个属性的识别结果。
本发明第六方面提供了一种目标识别装置,包括:
人脸样本获取模块,用于获取标记属性类别标签的第一人脸图像数据集和第二人脸图像数据集;
人脸属性相关性确定模块,用于在利用所述第一人脸图像数据集训练初始多任务人脸识别模型的过程中,基于所述初始多任务人脸识别模型对应的多任务损失函数,计算不同属性识别任务之间的相关性信息;所述初始多任务人脸识别模型包括依次相连的输入层、共享参数特征学习层和任务参数特征学习层和输出层;
人脸属性识别任务分组模块,用于基于各相关性信息,以最大化所有属性识别任务间的相关性信息为目标,对各属性识别任务进行分组,得到分组结果;各组属性识别任务至少包括一个属性识别任务;
人脸识别模块,用于将所述分组结果通过替换所述任务参数特征学习层的方式,部署至所述初始多任务人脸识别模型,得到多任务人脸识别模型;利用所述第二人脸图像数据集训练所述多任务人脸识别模型,得到用于同时执行多个人脸属性识别任务的多任务人脸识别模型。
本发明还提供了一种电子设备,包括处理器,所述处理器用于执行存储器中存储的计算机程序时实现如前任一项所述目标识别方法的步骤。
本发明最后还提供了一种可读存储介质,所述可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如前任一项所述目标识别方法的步骤。
本发明提供的技术方案的优点在于,利用损失函数的变化量化不同子任务的相关性,能够简单并精准地确定不同属性识别任务之间的相关性,使得每个属性识别任务与具有相似性的属性识别任务分成一组共享局部参数,不仅能够对多个相似任务的模型参数联合学习,挖掘共同信息,同时弥补小样本任务因样本不足无法提升训练精度的问题,有效提高目标识别精度;而且可以有效规避人为主观对多任务目标识别模型不合理分组而造成精度偏差的风险,通过合理分组,帮助多任务目标识别模型学习到更加通用、全局的特征,避免多任务目标识别模型因为过分关注某些局部特征产生过拟合,能够有效提高目标识别的精度和效率。
此外,本发明还针对目标识别方法提供了相应的实现装置、电子设备及可读存储介质,进一步使得所述方法更具有实用性,所述装置、电子设备及可读存储介质具有相应的优点。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性的,并不能限制本发明。
附图说明
为了更清楚的说明本发明或相关技术的技术方案,下面将对实施例或相关技术描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明提供的一种目标识别方法的流程示意图;
图2为本发明提供的另一种目标识别方法的流程示意图;
图3为本发明提供的初始多任务目标识别模型在一种示例性实施方式下的结构框架图;
图4为本发明提供的多任务目标识别模型在一种示例性实施方式下的结构框架图;
图5为本发明提供的再一种目标识别方法的流程示意图;
图6为本发明提供的最后一种目标识别方法的流程示意图;
图7为本发明提供的一个示例性应用场景的框架示意图;
图8为本发明提供的目标识别装置的一种具体实施方式结构图;
图9为本发明提供的目标识别装置的另一种具体实施方式结构图;
图10为本发明提供的目标识别装置的再一种具体实施方式结构图;
图11为本发明提供的电子设备的一种具体实施方式结构图。
具体实施方式
为了使本技术领域的人员更好地理解本发明的技术方案,下面结合附图和具体实施方式对本发明作进一步的详细说明。其中,说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等是用于区别不同的对象,而不是用于描述特定的顺序。此外术语“包括”和“具有”以及二者的任何变形,意图在于覆盖不排他的包含。术语“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。
随着人工智能技术的快速发展,机器学习方法模型由单任务学习发展到多任务联合学习,多任务学习由于其具有更多精度和占用更少资源,被广泛应用于各种计算机视觉技术的下游任务中。单任务学习为一次学习一个任务,将复杂的学习问题先被分解成理论上独立的子问题,然后分别对每个子问题进行学习,最后通过对子问题学习结果的组合建立复杂问题的数学模型。多任务学习为联合学习,一个模型会训练多个任务,输出多个预测结果,这多个任务并行学习,且任务之间的相似相关性相互影响。
在多任务学习中,一个模型通常具有多个损失函数也即loss,同时学习多个任务,网络模型参数统一共享相同的参数,每个任务对总损失函数的贡献相同。相比单任务学习,多任务可以共享一个模型,占用更少的计算资源。同时多任务学习可以考虑到任务之间的关联和约束,能够挖掘不同任务之间隐藏的共有数据特征,有利于提高模型的预测精度,尤其是对于样本较少的子任务,其他任务的共享参数可以帮助该子任务提升自身的预测精度。
由于多任务模型的预测精度受各任务之间相关性的影响,以人脸属性识别为例,单一人脸属性的识别已经取得很大成功,但是当需要一个模型同时识别多种人脸属性,并且多种人脸属性相互产生影响时,模型的识别精度就很难保证。在多任务学习过程中,相关技术在基于多任务学习的目标识别过程中,将多个子任务同时放在一起学习,不同子任务的数据分布、重要性不一样,子任务模型泛化能力和学习速度也各不相同。各种子任务的损失函数被组合成一个单一的集合损失函数,模型被训练以最小化该集合的损失函数为目标。该技术通过按照先验知识强制模型基于一定规则将各子任务分组,或者是对多子任务之间关系进行建模以实现对有相似、相关特征的任务进行分组,以期能够准确地将多个子任务损失函数组合,衡量不同子的贡献,并给各子任务的损失添加权重。但是,按照先验知识强制模型按照一定规则分组依赖人工经验,目标识别具有随机性,精度不高。另外一种相关技术针对任务分组进行优化分析,解决不同任务之间相关性及量化多个任务的分组聚类的问题。该方法通过MFEA(Multi-Factor Evolutionary Algorithm,多因子进化算法)同时对多个任务的相似性进行进化搜索,并且从最优解之间的距离、适应度等级相关和适应度值域分析这三个不同的角度研究了MFEA任务之间的相似性度量,通过对目标函数空间采样进行相关性的计算。但是,该方法并没有验证算法在多任务学习的通用性,并且计算复杂,当任务数量非常多时并不适合运用。
鉴于此,本发明在初始多任务目标识别模型训练过程中,基于该模型的多任务损失函数计算不同属性识别任务之间的相关性信息;根据各属性识别任务在模型训练过程中损失函数的变化趋势来判断各属性识别任务是否适合归为一类,计算方法简单,适用范围广泛,能够精准确定各属性识别任务之间的相关性。然后基于各相关性信息,以最大化所有属性识别任务间的相关性信息为目标,对各属性识别任务进行分组。将分组结果通过替换初始多任务目标识别模型的任务参数特征学习层进行部署,得到多任务目标识别模型;利用目标样本数据集训练多任务目标识别模型,得到同时执行多个属性识别任务的多任务目标识别模型,能够有效提高目标识别的准确度和识别效率。
在介绍了本发明的技术方案后,下面详细的说明本发明的各种非限制性实施方式。为了更好的说明本发明,在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解,没有这些具体细节,本发明同样可以实施。在另外一些实例中,对于所属领域技术人员熟知的方法、手段、元件和电路未作详细描述,以便于凸显本发明的主旨。
首先请参见图1,图1为本实施例提供的一种目标识别方法的流程示意图,本实施例可包括以下内容:
S101:获取标记属性类别标签的第一目标样本数据集和第二目标样本数据集。
在本实施例中,第一目标样本数据集和第二目标样本数据集作为训练模型的训练样本数据集,二者可为同一个数据集,也可为不同数据集,如第一目标样本数据集和第二目标样本数据集为对所有目标样本数据集按照一定比例如6:4分成的训练样本集和测试样本集。第一目标样本数据集用于训练初始多任务目标识别模型,第二目标样本数据集用于训练多任务目标识别模型,第一目标样本数据集和第二目标样本数据集均包含大量涵盖多种丰富场景的目标数据集,目标可为任何一种需要进行识别的实体,如人脸、车牌、汽车,属性类别是指待识别目标的属性,目标数据可为目标图像数据或目标音频数据或目标文本数据或目标视频数据,待识别目标具有多个属性,第一目标样本数据集和第二目标样本数据集中的每一张目标样本均预先进行属性标注,标注的信息即为属性类别标签。
以待识别目标为人脸为例,第一目标样本数据集和第二目标样本数据集包括一定量的人脸图像数据集,数据集图像可包含多种丰富场景,包括涵盖了不同姿势、面部表情、拍照角度、照明变化、遮挡、年龄变化、分辨率等信息,也应包含不同人种不同性别、不同年龄、不同高矮胖瘦、不同肤色等。一般情况,当第一目标样本数据集和第二目标样本数据集包含更多的训练数据的时候,利用其训练得到的模型的精度就更高。对人脸图像数据集标注人脸属性信息,属性包括但并不限制于:络腮胡、小胡子、山羊胡、短发、秃顶、发际线后移动、浓密粗眉、打领带、口红、眼妆、带项链、带耳环、长发、卷发、齐刘海、圆脸、鹅蛋脸、双下巴、尖下巴、高颧骨、鬓角、红脸颊、偏白皮肤、有皱纹、双眼皮、大眼睛、带美瞳、有黑眼圈、眼袋、戴眼镜、高鼻子、尖鼻子、招风耳、厚嘴唇,樱桃小嘴。依据上述属性对人脸图像数据集进行类别标签的标注的过程可为:若第一目标样本数据集或第二目标样本数据集包含N张人脸图像样本,M(M=35)个人脸属性类别。一种简单的类别标签分配方法就是从1到M;也可以采用其他类别标签分配方式,例如:0到M-1,者均不影响本发明的实现。为了训练出高精度的多任务人脸属性识别模型,第一目标样本数据集或第二目标样本数据集至少包含10万张人脸图像、1万个不同身份。将上述人脸属性从1~M进行标记序号。第一目标样本数据集或第二目标样本数据集有N张训练人脸图像和M种人脸属性标签,第一目标样本数据集或第二目标样本数据集的表示方式为:D={X,Y},X用来表示数据集的人脸图像,第i张人脸图像记作x i ,。Y用来表示人脸对应的人脸属性真值,/>表示第i张图片的第j个属性真值标签,表示形式可为:
;
式中,,/>表示第i张图片的1至M个属性,/>表示1~N张人脸图像的人脸属性标签。
S102:在利用第一目标样本数据集训练初始多任务目标识别模型的过程中,基于初始多任务目标识别模型对应的多任务损失函数,计算不同属性识别任务之间的相关性信息。
在本步骤中,初始多任务目标识别模型为初始的目标识别模型,其为一个或多个网络模型描述文件,训练算法加载第一目标样本数据集及网络模型描述文件,并依据网络模型描述文件构建输入的初始多任务目标识别模型,并对构建的初始多任务目标识别模型的权重参数进行初始化,再后续迭代计算损失函数中更新权重。初始多任务目标识别模型一起训练所有任务,所有任务底层网络参数统一共享,顶层每个子任务对应一个特定参数特征学习层,也即其可包括依次相连的输入层、共享参数特征学习层和任务参数特征学习层和输出层。输入层用于输入第一目标样本数据集中的目标样本数据,共享参数特征学习层可用于学习得到共享的网络参数,任务参数特征学习层用于学习每一个属性识别任务对应的特定参数,输出层可以输出识别结果。
本实施例在对初始多任务目标识别模型或多任务目标识别模型进行训练过程中,可先将第一目标样本数据集和第二目标样本数据集分成训练集和测试集,训练集和测试集中的单个目标样本数据不需要包含所有属性,但是训练集和测试集的目标样本数据要覆盖所有目标属性的标签,且测试集的每一种目标属性最小标记数量不得低于训练集的1/2,例如可使用60%的目标样本数据用于训练集,40%的目标样本数据用于测试集。可采用批量随机梯度下降方法训练初始多任务目标识别模型或多任务目标识别模型,在梯度更新迭代之前,模型需要初始化梯度下降算法,设定epoch(训练周期)、batch_size(批尺寸),权重更新周期t,迭代次数iteration。举例来说,训练集样本总数可为6万,初始多任务目标识别模型或多任务目标识别模型被训练至少100个训练周期,一个训练周期是指不重复的利用训练集中的全部训练样本更新神经网络的模型参数,每次取一个批次(batch)数据用于更新神经网络的模型参数,完成一次训练的过程。在梯度更新迭代过程中,每次迭代更新使用500个训练样本,这500个训练样本被称作一个批次(batch)数据,也就是batch_size个样本数量。迭代次数iteration是指使用batch_size个样本训练的次数,完成一个epoch的迭代次数iteration=60000/500=120。权重更新周期是指初始多任务目标识别模型或多任务目标识别模型训练时每迭代t次更新一次权重。
本步骤中,在对初始多任务目标识别模型训练过程中,需要定义一损失函数,初始多任务目标识别模型包括多个属性识别任务,每个属性识别任务可用于识别输入数据也即第一目标样本数据集中各目标样本数据的一种属性或多种属性,利用损失函数的变化量化不同属性识别任务的相关性信息,相关性信息用于表示不同属性识别任务之间相似程度,使得每个属性识别任务与具有相似性的属性识别任务分成一组共享局部参数,用于改进相关技术中多任务学习目标识别模型利用先验知识人为约束分组的算法所存在的问题。
S103:基于各相关性信息,以最大化所有属性识别任务间的相关性信息为目标,对各属性识别任务进行分组,得到分组结果。
如图2所示,在上个步骤得到每两个属性识别任务之间的相关性信息之后,遍历得到所有子任务两两之间的关系是有正相关还是负相关之后,需要对所有属性识别任务进行分组,达到整体相关性最优解。分组方式并不局限于两个属性识别任务分成一组,可以多个属性识别任务为一组,也可为一个属性识别任务单独成组,也即各组属性识别任务至少包括一个属性识别任务。
S104:将分组结果通过替换任务参数特征学习层的方式,部署至初始多任务目标识别模型,得到多任务目标识别模型。
在上个步骤得到分组结果之后,分组结果包括多个子组,每个子组对应一组相关性较强的属性识别任务,每个子组至少包括一个属性识别任务,将其作为一结构替换初始多任务目标识别模型中的任务参数特征学习层,替换之后的初始多任务目标识别模型被定义为多任务目标识别模型,也即多任务目标识别模型是指部署了分组结果的初始多任务目标识别模型。
S105:利用第二目标样本数据集训练多任务目标识别模型,得到用于同时执行多个属性识别任务的多任务目标识别模型。
在上个步骤通过部署分组结果得到多任务目标识别模型之后,利用第二目标样本数据集训练多任务目标识别模型,多任务目标识别模型局部共享参数,通过微调特征实现对单个属性识别任务的最佳估计,当满足多任务目标识别模型的模型迭代结束条件,得到多任务目标识别模型,该多任务目标识别模型可对待识别目标的数据进行多个属性的识别,得到待识别目标的每个属性的识别结果。
在本实施例提供的技术方案中,利用损失函数的变化量化不同子任务的相关性,能够简单并精准地确定不同属性识别任务之间的相关性,使得每个属性识别任务与具有相似性的属性识别任务分成一组共享局部参数,不仅能够对多个相似任务的模型参数联合学习,挖掘共同信息,同时弥补小样本任务因样本不足无法提升训练精度的问题,有效提高目标识别精度;而且可以有效规避人为主观对多任务目标识别模型不合理分组而造成精度偏差的风险,通过合理分组,帮助多任务目标识别模型学习到更加通用、全局的特征,避免多任务目标识别模型因为过分关注某些局部特征产生过拟合,能够有效提高目标识别的精度和效率。
在上述实施例中,对于如何计算不同属性识别任务之间的相关性信息并不做限定,本实施例中给出不同属性识别任务之间相关性信息的一种实际可行且简单易于实施的计算方式,可包括:
对每两个属性识别任务,根据第一属性识别任务对第二属性识别任务的损失影响程度,确定第一属性识别任务和第二属性识别任务的相关关系,以作为相关性信息。
在本实施例中,相关关系包括正相关关系和负相关关系,第一属性识别任务和第二属性识别任务是指各属性识别任务中的任意一个属性识别任务,在对所有属性识别任务一起训练过程中,各属性识别任务的共享参数一起训练,第一属性识别任务对第二属性识别任务的损失影响程度可用于判断两个属性识别任务是正相关关系还是负相关关系,正相关关系用于表示第一属性识别任务与第二属性识别任务适合作为一个分组;负相关关系用于表示第一属性识别任务与第二属性识别任务不适合作为一个分组。示例性的,第一属性识别任务对第二属性识别任务的损失影响程度可通过判断第一属性识别任务的梯度是否沿着第二属性识别任务的损失函数下降方向走的方式实现,如果梯度更新时,第一属性识别任务的loss、第二属性识别任务的loss都变小,则两者适合放在一起共享参数,反之,则两者不适合放在一起共享参数。该过程的实施方式可包括:
基于第一目标样本数据计算第一属性识别任务在当前时刻的第一损失函数值;利用第一损失函数值对共享参数特征学习层进行梯度更新,得到新共享参数;基于当前时刻的原共享参数和第二目标样本数据,计算第二属性识别任务的第二原损失函数值;基于新共享参数和第二目标样本数据,计算第二属性识别任务的第二新损失函数值;若第二原损失函数值大于第二新损失函数值,则第一属性识别任务与第二属性识别任务为正相关关系;若第二原损失函数值小于等于第二新损失函数,则第一属性识别任务与第二属性识别任务为负相关关系。
举例来说,用一个batch(批)的训练数据,计算t时刻第一属性识别任务的第一损失函数值,用第一属性识别任务的第一损失函数值对共享参数进行梯度更新,得到新的共享参数,用原来的共享参数和训练数据计算第二属性识别任务的第二原损失函数值,再用新的共享参数和同样的训练数据计算第二属性识别任务的第二新损失函数值,如果第二新损失函数值<第二原损失函数值,即第二属性识别任务的梯度是沿着第一属性识别任务的loss下降方向,说明基于第一属性识别任务产生的梯度更新参数对第二属性识别任务的影响是正向,视为两个任务是适合作为一个分组;反之对第二属性识别任务影响是负向的,则视为两个任务是互斥的,不适合作为一个分组。这样在初始多任务目标识别模型训练的过程中计算属性识别任务两两之间的关系是正相关还是负相关的。
进一步的,为了更加便捷快速的计算每两个属性识别任务之间的相关性信息,可预先在本地存储原损失函数值计算关系式和新损失函数值计算关系式,调用原损失函数值计算关系式,计算第二属性识别任务的第二原损失函数值;调用新损失函数值计算关系式,计算第二属性识别任务的第二新损失函数值。其中,原损失函数值计算关系式可表示为:
;/>
式中,loss q-org 为第二原损失函数值,q表示第二属性识别任务,Y为第二目标样本数据X t 在t时刻对应的真值,K为第二目标样本数据X t 包含的目标数据总数,F(X t )为第二目标样本数据X t 对应的属性预测函数,为第二属性识别任务在t时刻的任务属性参数,/>为在t时刻的原共享参数,/>为第二目标样本数据X t 的第i个目标数据的第二属性识别任务的真实标签。
其中,新损失函数值计算关系式可表示为:
;
式中,loss q-new 为第二新原损失函数值,为在t时刻的新共享参数集。
进一步的,本发明还提供了另一种相关性信息的计算方式,本实施例可将相关性信息进行量化表示,也即采用相关性分数表示属性识别任务之间的相关程度,可包括下述内容:
对每两个属性识别任务,根据第二属性识别任务梯度沿着第一属性识别任务的损失函数下降方向更新后的新损失值与梯度更新前的原损失值,计算第一属性识别任务和第二属性识别任务的相关性分数;
根据相关性分数和预设值之间的数值关系,确定第一属性识别任务和第二属性识别任务的相关关系,以作为相关性信息;
在本实施例中,相关关系包括正相关关系和负相关关系,通过相关性分数和预设值的比较来判断属于正相关还是负相关,预设值可根据实际应用场景灵活选择,同样的,正相关关系用于表示第一属性识别任务与第二属性识别任务适合作为一个分组;负相关关系用于表示第一属性识别任务与第二属性识别任务不适合作为一个分组。也即本实施例根据第二属性识别任务梯度沿着第一属性识别任务的loss下降方向更新后的第二新损失函数值与梯度更新前的第二原损失函数值来量化定义第一属性识别任务和第二属性识别任务的相关性,若预设值为0,如果第一属性识别任务和第二属性识别任务的相关性分数大于0,则两者是正相关,如果第一属性识别任务和第二属性识别任务的相关性分数小于0,则两者是负相关。
为了更加便捷快速的计算每两个属性识别任务之间的相关性信息,可预先在本地存储相关性分数计算关系式,然后通过调用相关性分数计算关系式,计算第一属性识别任务和第二属性识别任务的相关性分数;相关性分数计算关系式可表示为:
;
式中,R为相关性分数,loss Bnew 为更新后的新损失值,也即第二新损失函数值,loss Borg 为梯度更新前的原损失值,也即第二原损失函数值。
为了使所属领域技术人员更加清楚本发明不同属性识别任务的相关性信息计算方式,本发明以目标为人脸为例,给出一个示例性的实施方式,可包括下述内容:
可以理解的是,各属性识别任务的预测均对应一个二分类任务,以人脸为待识别目标为例,i表示第i张人脸图像,j表示第j个人脸属性标签。通过神经网络输出结果,函数表现形式可如下:
;
其中,为分类预测结果,每个属性识别任务为一个二分类任务,/>是1*2的向量,k是1~2索引号,/>是初始多任务识别模型的第i张目标样本数据的j个人脸属性在网络输出层的第k个结果。基于此,单一人脸属性识别任务的损失函数可定义为:
;
其中,为函数输出结果,/>为真实的样本标签。其中:
;
其中,反映第i张人脸图像的第j个属性的真实标签,/>是属性预测函数,F(X i )表示第i张人脸通过模型输出的预测值。第j个人脸属性对应的目标函数,也即单个人脸属性识别任务的目标函数的表现形式可为:
;
其中,是模型预测值和真值/>之间的损失函数,/>表示共享参数集,/>表示第j个属性特定属性参数集。argmin()用于表示使loss函数取得最小值的共享参数集/>和特定参数集/>。如果现在每个人脸属性独立一个目标函数,并行进行多任务学习。M个人脸属性对应了M个二分类任务,对应的函数表现形式可为:
;
对于一个batch的训练数据集合X,假设对应的真值集合为Y,一个batch有K个训练数据,则第j个人脸属性识别任务的总损失函数可表示为:
;
第j个属性在t时刻,用一个batch的训练数据,总损失函数可以表示为:
;
用第j个属性的损失函数对应共享参数 进行梯度更新后,得到新的共享参数,记作/> 。/>
用新的共享参数,训练数据X t 对另一个人脸识别任务q计算共享参数更新后的新损失函数为:
;
通过计算人脸属性q在共享参数变化前后的loss变化,确定任务j和q的相关性分数。t时刻原有共享参数是,t时刻人脸属性q的原始损失函数可表示为:
。
如果相关性分数大于0,则说明人脸属性识别任务j对共享参数的梯度更新会降低人脸属性识别任务q的损失函数,对人脸属性识别任务q是正向影响,两者适合放到一个分组;反之,如果相关性分数/>小于0,则说明人脸属性识别任务j对共享参数的梯度更新会提高人脸属性识别任务q的损失函数,对人脸属性识别任务q是负向影响,两者应该分开训练。
进一步的,为了提高后续分组结果的准确性,在对初始多任务目标识别模型的训练过程中,可按照预设频率多次计算每两个属性识别任务之间的相关性信息;当训练总时长达到,依次对每两个属性识别任务,将当前的这两个属性识别任务在整个训练过程中的多次相关性信息的平均处理结果作为其最终的相关性信息,以进行后续分组处理过程。举例来说,将训练总时长分成十等份,按照一定间隔多次计算所有任务的相关性分数,间隔方式可以按照将训练总时长分成十等份方式设置,取相关性分数的平均值作为最终的任务相关性分数。
上述实施例对初始多任务目标识别模型的模型结构并不做任何限定,基于上述实施例,本发明还给出初始多任务目标识别模型的一种简单且性能好的网络结构,请参阅图3所示,初始多任务目标识别模型采用硬参数共享方式,共享参数特征学习层位于底层,任务参数特征学习层位于顶层,任务参数特征学习层包括多个子任务参数特征学习层,各子任务参数特征学习层对应一个属性识别任务,也即顶层每个子任务对应一个特定的任务参数特征学习层,用于学习相应属性识别任务的参数特征。示例性的,共享参数特征学习层包括第一特征提取层、第二特征提取层、第三特征提取层、第四特征层、第五特征提取层、第一全连接层和第二全连接层;其中,第一特征提取层、第二特征提取层和第五特征提取层包括依次相连的卷积层、批量归一化层和最大池化层;第三特征提取层和第四特征层包括依次相连的卷积层、批量归一化层。
上述实施例对多任务目标识别模型的模型结构并不做任何限定,基于上述实施例,本发明还给出多任务目标识别模型的一种简单且性能好的网络结构,请参阅图4所示,多任务目标识别模型包括依次相连的输入层、共享参数特征学习层、分组参数特征学习层和输出层;其中,分组参数特征学习层包括多个子组参数特征学习层,各子组参数特征学习层对应一个子组,用于学习相应子组的参数特征;各子组参数特征学习层包括第三全连接层和第四全连接层。
在上述实施例中,对于如何得到分组结果并不做限定,本实施例中给出一种实际可行且简单易于实施的分组方式,可包括:
对各属性识别任务,获取当前属性识别任务与其余各属性识别任务之间的相关性信息,基于各相关性信息,将属于正相关关系的候选属性识别任务与当前属性识别任务划分为第一子组;
根据第一子组包含的属性识别任务总数、各候选属性识别任务与当前属性识别任务的相关程度及各候选属性识别任务之间的相关性信息,删除第一子组中不满足条件的候选属性识别任务,以达到所有属性识别任务间的相关性信息最大。
其中,以相关性信息为相关性分数,预设值为0为例,随机选择一属性识别任务定义为第一属性识别任务,获取第一属性识别任务与其他所有属性识别任务的相关性分数。如果第一属性识别任务与其他所有人脸属性的相关性分数均小于0,则独立分为一组,模型顶层单独对应一个特定的任务参数特征学习层。如果有且仅有1个属性识别任务与该第一属性识别任务的相关性分数大于0,则将该属性识别任务与第一属性识别任务分为一组,每个分组内局部共享参数,利用组内不同属性的相关性,使得存在共性的属性在一组内学习高级特征,从而实现每个属性任务精度进一步细化。如果存在2个及2个以上属性识别任务与第一属性识别任务的相关性分数大于0,则根据各候选属性识别任务与当前属性识别任务的相关程度及各候选属性识别任务之间的相关性信息,删除第一子组中不满足条件的候选属性识别任务。删除第一子组中不满足条件的候选属性识别任务的实现过程可包括:若第一子组包含的属性识别任务总数大于2个属性识别任务总数,则第一子组保留各候选目标属性识别任务对应的相关性信息大于预设相关阈值的初始目标属性识别任务;计算第一子组中每两个初始目标属性识别任务的相关性信息;对于属于负相关关系的第一初始目标属性识别任务和第二初始目标属性识别任务,获取第一初始目标属性识别任务和第二初始目标属性识别任务分别与当前属性识别任务之间的第一相关性分数和第二相关性分数;若第一相关性分数大于第二相关性分数,则将第二初始目标属性识别任务从第一子组中删除。
在本实施例中,预设相关阈值可根据实际情况灵活选择,示例性的,若相关性信息采用相关性分数表示,则第一子组保留各候选目标属性识别任务对应的相关性信息大于预设相关阈值的初始目标属性识别任务的过程可包括:
从当前属性识别任务与各候选属性识别任务之间的各相关性分数中选择最大相关性分数,基于最大相关性分数和预设调节因子确定预设相关阈值,预设调节因子大于0且小于1;将与当前属性识别任务的相关性分数大于预设相关阈值的候选目标属性识别任务作为初始目标属性识别任务;删除第一子组中不为初始目标属性识别任务的候选目标属性识别任务。
举例来说,若共有n个属性识别任务,以第一属性识别任务为例,计算第一属性识别任务与其他所有任务的相关性分数,对相关性分数值排序。如果存在大于1个属性识别任务与第一属性识别任务的相关性分数值大于0,则取最大值定义为Rmax,调节因子为0.5,取0.5Rmax为预设相关阈值,将与第一属性识别任务的相关性分数大于0.5Rmax的所有属性识别任务分为一个集合。再计算该集合两两属性识别任务的相关性,如果该集合中属性识别任务D和属性识别任务E的相关性小于0,则属性识别任务D与属性识别任务E互相排斥,不适合放在一个组内,比较属性识别任务D与属性识别任务E分别与第一属性识别任务的相关性分数,保留相关性较高的,排除相关性较弱的任务,直到比较完集合内所有的子任务,完成一次分组。再将集合外剩余的任务,选择属性识别任务H,按照上述操作过程再次计算H与其他所有属性识别任务的相关性分数,完成分下一轮组。
进一步的,为了提高实用性,基于上述实施例,本发明还支持对预设相关阈值进行调节,当接收到分组参数调节指令,根据分组参数调节指令中的新调节因子更新本地存储的预设调节因子。如果设定分组数量较多,可通过提高预设相关阈值,使得每个分组内的属性识别任务数量降低。如果设定分组数量较少,则通过降低预设相关阈值,使得每个分组内的属性识别任务的数量提高。
上述实施例对如何利用第二目标样本数据集训练多任务目标识别模型并不做任何限定,基于上述实施例,本发明还给出多任务目标识别模型的一种实际可行且简单易于实施的训练方式,可包括下述内容:
多任务目标识别模型将M个属性识别任务分成K组(K≤M),底层共享网络参数,顶层分组参数特征学习层划分为K个子组,每个子组内局部共享参数,利用组内不同属性的相关性,使得存在共性的属性在一组内学习高级特征,从而实现每个属性任务精度进一步细化。重新初始化多任务目标识别模型参数,并利用上述初始多任务目标识别模型相同的初始化梯度下降算法训练多任务目标识别模型,根据预设总训练周期数,不断重复选取第二目标样本数据集中的目标样本数据,调用多任务目标识别损失函数关系式计算多任务目标识别模型的损失函数,直至达到预设训练周期数值结束迭代,得到训练好的多任务目标识别模型。多任务目标识别损失函数关系式可表示为:
;
式中,为M个属性识别任务的任务属性参数集,/>为原共享参数集,/>为第二目标样本数据集X的第i个目标数据的第j个属性识别任务的真实标签,F(X i )为第二目标样本数据集的第i个目标数据对应的属性预测函数,N为第二目标样本数据集所包含的目标数据的总数。
基于上述实施例,在实际应用过程中,本发明还提供了另外一种目标识别方法,适用于任何一种目标识别场景下,请参阅图5,可包括下述内容:
S501:预先训练多任务目标识别模型。
本实施例可利用如前所述任意一个实施例所记载的目标识别方法步骤训练得到一多任务目标识别模型。
S502:获取待识别目标的待处理数据。
本实施例的待识别目标包括多个属性。
S503:将待识别目标数据输入至多任务目标识别模型,得到待识别目标中至少一个属性的识别结果。
其中,待识别目标数据也即为待识别目标对应的数据,也即待处理数据。
由上可知,本实施例可以简单且精准地确定不同属性识别任务之间的相关性的问题,能够有效提高目标识别的准确度。
基于上述实施例,本发明还提供了另外一种目标识别方法,适用于任何一种人脸属性识别场景下,请参阅图6,可包括下述内容:
S601:获取标记属性类别标签的第一人脸图像数据集和第二人脸图像数据集。
S602:在利用第一人脸图像数据集训练初始多任务人脸识别模型的过程中,基于初始多任务人脸识别模型对应的多任务损失函数,计算不同属性识别任务之间的相关性信息。
其中,初始多任务人脸识别模型包括依次相连的输入层、共享参数特征学习层和任务参数特征学习层和输出层。
S603:基于各相关性信息,以最大化所有属性识别任务间的相关性信息为目标,对各属性识别任务进行分组,得到分组结果;各组属性识别任务至少包括一个属性识别任务。
S604:将分组结果通过替换任务参数特征学习层的方式,部署至初始多任务人脸识别模型,得到多任务人脸识别模型。
S605:利用第二人脸图像数据集训练多任务人脸识别模型,得到用于同时执行多个人脸属性识别任务的多任务人脸识别模型。
在本实施例中,上述实施例的目标为本实施例的人脸,上述实施例的属性识别任务为本实施例的人脸属性识别任务,上述实施例的第一目标样本数据集为本实施例的第一人脸图像数据集,上述实施例的第二目标样本数据集为本实施例的第二人脸图像数据集,上述实施例的初始多任务目标识别模型为本实施例的初始多任务人脸识别模型,上述实施例的多任务目标识别模型为本实施例的多任务人脸识别模型,将本实施例的各概念对应替换上述实施例的相应概念,便可解决人脸属性识别应用场景下的多属性任务的人脸识别任务。
由上可知,本实施例基于分组方法设计并训练了一种多任务学习人脸属性分类模型,能够同时精准输出多种不同人脸属性。多任务学习如果架构采用硬参数共享,模型底层共享参数,顶层每个任务独立的特征参数层。在此基础上进行多任务分组,能够对多个相似任务的模型参数联合学习,以挖掘共同信息,同时弥补小样本任务因样本不足无法提升训练精度的问题,能够解决相关技术的多任务学习通常利用先验知识对子任务进行固定分组,如果强行将互斥的任务绑定在一起共享参数,会导致不同任务进行参数抢占,或者参会往其中一个任务的loss减小方向更新,但是会导致另一个任务的loss增加,顾此失彼的问题。可以有效规避人为主观对多任务模型不合理分组而造成偏差的风险,同时通过合理分组,帮助模型学习到更加通用、全局的特征,避免模型因为过分关注某些局部特征产生过拟合。可以简单且精准地确定不同人脸属性识别任务之间的相关性的问题,能够有效提高人脸识别的准确度。
需要说明的是,本发明中各步骤之间没有严格的先后执行顺序,只要符合逻辑上的顺序,则这些步骤可以同时执行,也可按照某种预设顺序执行,图1、图5和图6只是一种示意方式,并不代表只能是这样的执行顺序。
最后,基于上述本发明的技术方案,下面结合图7对本发明的技术方案涉及的一些可能的应用场景进行举例介绍,图7为本发明提供的一种目标识别方法所适用的硬件组成框架示意图,可包括下述内容:
该硬件组成框架可以包括第一电子设备71和第二电子设备72,第一电子设备71和第二电子设备72之间通过网络73连接。第一电子设备71部署用于执行上述任意一实施例所记载的目标识别方法的处理器,第二电子设备72部署用于提供人机交互界面的用户端。第一电子设备71可完成上述实施例所记载的目标识别方法中的全部或部分步骤。
基于上述本申请的技术方案,本发明实施例的应用场景之一,可以通过第二电子设备72与用户之间的交互来实现,在这一应用场景中,用户可通过第二电子设备72向第一电子设备71下发命令或请求如分组参数调节指令,还可通过第二电子设备72上传或选择第一目标样本数据集、第二目标样本数据集及待识别目标的待处理数据,还可下发访问信息请求,其中,访问信息可以是通过第二电子设备72与第一电子设备71之间进行交互来进行访问第一电子设备71上的信息,或者,是用于直接访问第二电子设备72自身的信息,本实施例对此不做限定。
需要注意的是,上述应用场景仅是为了便于理解本发明的思想和原理而示出,本发明的实施方式在此方面不受任何限制。相反,本发明的实施方式可以应用于适用的任何场景。
由上可知,本实施例可以简单且精准地确定不同属性识别任务之间的相关性的问题,能够有效提高目标识别的准确度。
本发明还针对目标识别方法提供了相应的装置,进一步使得方法更具有实用性。其中,装置可从功能模块的角度和硬件的角度分别说明。下面对本发明提供的目标识别装置进行介绍,该装置用以实现本发明提供的目标识别方法,在本实施例中,目标识别装置可以包括或被分割成一个或多个程序模块,该一个或多个程序模块被存储在存储介质中,并由一个或多个处理器所执行,已完成实施例一公开的目标识别方法。本实施例所称的程序模块是指能够完成特定功能的一系列计算机程序指令段,比程序本身更适合于描述目标识别装置在存储介质中的执行过程。以下描述将具体介绍本实施例各程序模块的功能,下文描述的目标识别装置与上文描述的目标识别方法可相互对应参照。
基于功能模块的角度,请参见图8,图8为本实施例提供的目标识别装置在一种具体实施方式下的结构图,该装置可包括:
图像样本获取模块801,用于获取标记属性类别标签的第一目标样本数据集和第二目标样本数据集。
相关性确定模块802,用于在利用第一目标样本数据集训练初始多任务目标识别模型的过程中,基于初始多任务目标识别模型对应的多任务损失函数,计算不同属性识别任务之间的相关性信息;初始多任务目标识别模型包括依次相连的输入层、共享参数特征学习层和任务参数特征学习层和输出层。
分组模块803,用于基于各相关性信息,以最大化所有属性识别任务间的相关性信息为目标,对各属性识别任务进行分组,得到分组结果;各组属性识别任务至少包括一个属性识别任务。
目标识别模块804,用于将分组结果通过替换任务参数特征学习层的方式,部署至初始多任务目标识别模型,得到多任务目标识别模型;利用第二目标样本数据集训练多任务目标识别模型,得到用于同时执行多个属性识别任务的多任务目标识别模型。
示例性的,在本实施例的一些实施方式中,上述相关性确定模块802还可用于:
对每两个属性识别任务,根据第一属性识别任务对第二属性识别任务的损失影响程度,确定第一属性识别任务和第二属性识别任务的相关关系,以作为相关性信息;其中,相关关系包括正相关关系和负相关关系,正相关关系用于表示第一属性识别任务与第二属性识别任务适合作为一个分组;负相关关系用于表示第一属性识别任务与第二属性识别任务不适合作为一个分组。
作为上述实施例的另一种示例性的实施方式,上述相关性确定模块802还可用于:
基于第一目标样本数据计算第一属性识别任务在当前时刻的第一损失函数值;利用第一损失函数值对共享参数特征学习层进行梯度更新,得到新共享参数;基于当前时刻的原共享参数和第二目标样本数据,计算第二属性识别任务的第二原损失函数值;基于新共享参数和第二目标样本数据,计算第二属性识别任务的第二新损失函数值;若第二原损失函数值大于第二新损失函数值,则第一属性识别任务与第二属性识别任务为正相关关系;若第二原损失函数值小于等于第二新损失函数,则第一属性识别任务与第二属性识别任务为负相关关系。
作为上述实施例的一种示例性的实施方式,上述相关性确定模块802还可用于:
调用原损失函数值计算关系式,计算第二属性识别任务的第二原损失函数值;原损失函数值计算关系式为:
;
式中,loss q-org 为第二原损失函数值,q表示第二属性识别任务,Y为第二目标样本数据X t 在t时刻对应的真值,K为第二目标样本数据X t 包含的目标数据总数,F(X t )为第二目标样本数据X t 对应的属性预测函数,为第二属性识别任务在t时刻的任务属性参数,/>为在t时刻的原共享参数,/>为第二目标样本数据X t 的第i个目标数据的第二属性识别任务的真实标签。
作为上述实施例的再一种示例性的实施方式,上述相关性确定模块802还可用于:
调用新损失函数值计算关系式,计算第二属性识别任务的第二新损失函数值;新损失函数值计算关系式为:
;
式中,loss q-new 为第二新原损失函数值,为在t时刻的新共享参数集。
示例性的,在本实施例的另一些实施方式中,上述相关性确定模块802还可用于:
对每两个属性识别任务,根据第二属性识别任务梯度沿着第一属性识别任务的损失函数下降方向更新后的新损失值与梯度更新前的原损失值,计算第一属性识别任务和第二属性识别任务的相关性分数;根据相关性分数和预设值之间的数值关系,确定第一属性识别任务和第二属性识别任务的相关关系,以作为相关性信息;其中,相关关系包括正相关关系和负相关关系,正相关关系用于表示第一属性识别任务与第二属性识别任务适合作为一个分组;负相关关系用于表示第一属性识别任务与第二属性识别任务不适合作为一个分组。
作为上述实施例的一种示例性的实施方式,上述相关性确定模块802还可用于:
调用相关性分数计算关系式,计算第一属性识别任务和第二属性识别任务的相关性分数;相关性分数计算关系式为:
;
式中,R为相关性分数,loss Bnew 为更新后的新损失值,loss Borg 为梯度更新前的原损失值。
示例性的,在本实施例的再一些实施方式中,上述相关性确定模块802还可用于:
按照预设频率多次计算每两个属性识别任务之间的相关性信息;当训练总时长达到,对每两个属性识别任务,将多次相关性信息的平均处理结果作为相应属性识别任务之间的相关性信息。
示例性的,在本实施例的再一些实施方式中,上述初始多任务目标识别模型采用硬参数共享方式,共享参数特征学习层位于底层,任务参数特征学习层位于顶层,任务参数特征学习层包括多个子任务参数特征学习层,各子任务参数特征学习层对应一个属性识别任务,用于学习相应属性识别任务的参数特征。
作为上述实施例的一种示例性的实施方式,上述共享参数特征学习层包括第一特征提取层、第二特征提取层、第三特征提取层、第四特征层、第五特征提取层、第一全连接层和第二全连接层;其中,第一特征提取层、第二特征提取层和第五特征提取层包括依次相连的卷积层、批量归一化层和最大池化层;第三特征提取层和第四特征层包括依次相连的卷积层、批量归一化层。
示例性的,在本实施例的再一些实施方式中,上述多任务目标识别模型包括依次相连的输入层、共享参数特征学习层、分组参数特征学习层和输出层;
其中,分组参数特征学习层包括多个子组参数特征学习层,各子组参数特征学习层对应一个子组,用于学习相应子组的参数特征;各子组参数特征学习层包括第三全连接层和第四全连接层。
示例性的,在本实施例的再一些实施方式中,上述分组模块803还可用于:
对各属性识别任务,获取当前属性识别任务与其余各属性识别任务之间的相关性信息,基于各相关性信息,将属于正相关关系的候选属性识别任务与当前属性识别任务划分为第一子组;根据第一子组包含的属性识别任务总数、各候选属性识别任务与当前属性识别任务的相关程度及各候选属性识别任务之间的相关性信息,删除第一子组中不满足条件的候选属性识别任务,以达到所有属性识别任务间的相关性信息最大。
作为上述实施例的一种示例性的实施方式,上述分组模块803还可用于:
若第一子组包含的属性识别任务总数大于2个属性识别任务总数,则第一子组保留各候选目标属性识别任务对应的相关性信息大于预设相关阈值的初始目标属性识别任务;计算第一子组中每两个初始目标属性识别任务的相关性信息;对于属于负相关关系的第一初始目标属性识别任务和第二初始目标属性识别任务,获取第一初始目标属性识别任务和第二初始目标属性识别任务分别与当前属性识别任务之间的第一相关性分数和第二相关性分数;若第一相关性分数大于第二相关性分数,则将第二初始目标属性识别任务从第一子组中删除。
作为上述实施例的另一种示例性的实施方式,上述分组模块803还可用于:
从当前属性识别任务与各候选属性识别任务之间的各相关性分数中选择最大相关性分数,基于最大相关性分数和预设调节因子确定预设相关阈值,预设调节因子大于0且小于1;将与当前属性识别任务的相关性分数大于预设相关阈值的候选目标属性识别任务作为初始目标属性识别任务;删除第一子组中不为初始目标属性识别任务的候选目标属性识别任务。
作为上述实施例的再一种示例性的实施方式,上述分组模块803还可用于:
当接收到分组参数调节指令,根据分组参数调节指令中的新调节因子更新本地存储的预设调节因子。
示例性的,在本实施例的再一些实施方式中,上述目标识别模块804还可用于:
根据预设总训练周期数,不断重复选取第二目标样本数据集中的目标样本数据,调用多任务目标识别损失函数关系式计算多任务目标识别模型的损失函数,直至达到预设训练周期数值结束迭代;多任务目标识别损失函数关系式为:
;
式中,为M个属性识别任务的任务属性参数集,/>为原共享参数集,/>为第二目标样本数据集X的第i个目标数据的第j个属性识别任务的真实标签,F(X i )为第二目标样本数据集的第i个目标数据对应的属性预测函数,N为第二目标样本数据集所包含的目标数据的总数。
最后,以目标为人脸为例,本发明还从功能模块的角度给出一种目标识别装置的实现方式,请参见图9,图9为本实施例提供的目标识别装置在另一种具体实施方式下的结构框架示意图,该装置可包括:
模型训练模块901,用于利用如上任意一个实施例所记载的目标识别方法训练得到多任务目标识别模型。
数据获取模块902,用于获取待识别目标的待处理数据;待识别目标包括多个属性。
识别结果生成模块903,用于将待处理数据输入至多任务目标识别模型,得到待识别目标中至少一个属性的识别结果。
基于功能模块的角度,请参见图10,图10为本实施例提供的目标识别装置在再一种具体实施方式下的结构框架示意图,该装置可包括:
人脸样本获取模块101,用于获取标记属性类别标签的第一人脸图像数据集和第二人脸图像数据集。
人脸属性相关性确定模块102,用于在利用第一人脸图像数据集训练初始多任务人脸识别模型的过程中,基于初始多任务人脸识别模型对应的多任务损失函数,计算不同属性识别任务之间的相关性信息;初始多任务人脸识别模型包括依次相连的输入层、共享参数特征学习层和任务参数特征学习层和输出层。
人脸属性识别任务分组模块103,用于基于各相关性信息,以最大化所有属性识别任务间的相关性信息为目标,对各属性识别任务进行分组,得到分组结果;各组属性识别任务至少包括一个属性识别任务。
人脸识别模块104,用于将分组结果通过替换任务参数特征学习层的方式,部署至初始多任务人脸识别模型,得到多任务人脸识别模型;利用第二人脸图像数据集训练多任务人脸识别模型,得到用于同时执行多个人脸属性识别任务的多任务人脸识别模型。
本实施例目标识别装置的各功能模块的功能可根据上述方法实施例中的方法具体实现,其具体实现过程可以参照上述方法实施例的相关描述,此处不再赘述。
由上可知,本实施例能够有效提高目标识别的准确度。
上文中提到的目标识别装置是从功能模块的角度描述,进一步的,本发明还提供一种电子设备,是从硬件角度描述。图11为本发明实施例提供的电子设备在一种实施方式下的结构示意图。如图11所示,该电子设备包括存储器110,用于存储计算机程序;处理器111,用于执行计算机程序时实现如上述任一实施例提到的目标识别方法的步骤。
其中,处理器111可以包括一个或多个处理核心,比如4核心处理器、8核心处理器,处理器111还可为控制器、微控制器、微处理器或其他数据处理芯片等。处理器111可以采用DSP(Digital Signal Processing,数字信号处理)、FPGA(Field-Programmable GateArray,现场可编程门阵列)、PLA(Programmable Logic Array,可编程逻辑阵列)中的至少一种硬件形式来实现。处理器111也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称CPU(Central Processing Unit,中央处理器);协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中,处理器111可以集成有GPU(Graphics Processing Unit,图形处理器),GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中,处理器111还可以包括AI(ArtificialIntelligence,人工智能)处理器,该AI处理器用于处理有关机器学习的计算操作。
存储器110可以包括一个或多个计算机可读存储介质,该计算机可读存储介质可以是非暂态的。存储器110还可包括高速随机存取存储器以及非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。存储器110在一些实施例中可以是电子设备的内部存储单元,例如服务器的硬盘。存储器110在另一些实施例中也可以是电子设备的外部存储设备,例如服务器上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。进一步地,存储器110还可以既包括电子设备的内部存储单元也包括外部存储设备。存储器110不仅可以用于存储安装于电子设备的应用软件及各类数据,例如:执行目标识别方法过程中的程序的代码等,还可以用于暂时地存储已经输出或者将要输出的数据。本实施例中,存储器110至少用于存储以下计算机程序1101,其中,该计算机程序被处理器111加载并执行之后,能够实现前述任一实施例公开的目标识别方法的相关步骤。另外,存储器110所存储的资源还可以包括操作***1102和数据1103等,存储方式可以是短暂存储或者永久存储。其中,操作***1102可以包括Windows、Unix、Linux等。数据1103可以包括但不限于目标识别结果对应的数据等。
在一些实施例中,上述电子设备还可包括有显示屏112、输入输出接口113、通信接口114或者称为网络接口、电源115以及通信总线116。其中,显示屏112、输入输出接口113比如键盘(Keyboard)属于用户接口,示例性的用户接口还可以包括标准的有线接口、无线接口等。可选地,在一些实施例中,显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode,有机发光二极管)触摸器等。显示器也可以适当的称为显示屏或显示单元,用于显示在电子设备中处理的信息以及用于显示可视化的用户界面。通信接口114示例性的可以包括有线接口和/或无线接口,如WI-FI接口、蓝牙接口等,通常用于在电子设备与其他电子设备之间建立通信连接。通信总线116可以是外设部件互连标准(peripheral component interconnect,简称PCI)总线或扩展工业标准结构(extended industry standard architecture,简称EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。为便于表示,图11中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
本领域技术人员可以理解,图11中示出的结构并不构成对该电子设备的限定,可以包括比图示更多或更少的组件,例如还可包括实现各类功能的传感器117。
本实施例所述电子设备的各功能模块的功能可根据上述方法实施例中的方法具体实现,其具体实现过程可以参照上述方法实施例的相关描述,此处不再赘述。
由上可知,本实施例能够有效提高目标识别的准确度。
可以理解的是,如果上述实施例中的目标识别方法以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对相关技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、电可擦除可编程ROM、寄存器、硬盘、多媒体卡、卡型存储器(例如SD或DX存储器等)、磁性存储器、可移动磁盘、CD-ROM、磁碟或者光盘等各种可以存储程序代码的介质。
基于此,本发明还提供了一种可读存储介质,存储有计算机程序,所述计算机程序被处理器执行时如上任意一实施例所述目标识别方法的步骤。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其它实施例的不同之处,各个实施例之间相同或相似部分互相参见即可。对于实施例公开的硬件包括装置及电子设备而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
以上对本发明所提供的一种目标识别方法、装置、电子设备及可读存储介质进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出,基于本发明中的实施例,对于本技术领域的普通技术人员来说,在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。在不脱离本发明原理的前提下,还可以对本发明进行若干改进和修饰,这些改进和修饰也落入本发明权利要求的保护范围内。
Claims (22)
1.一种目标识别方法,其特征在于,包括:
获取标记属性类别标签的第一目标样本数据集和第二目标样本数据集;
在利用所述第一目标样本数据集训练初始多任务目标识别模型的过程中,基于所述初始多任务目标识别模型对应的多任务损失函数,计算不同属性识别任务之间的相关性信息;所述初始多任务目标识别模型包括依次相连的输入层、共享参数特征学习层和任务参数特征学习层和输出层;
基于各相关性信息,以最大化所有属性识别任务间的相关性信息为目标,对各属性识别任务进行分组,得到分组结果;各组属性识别任务至少包括一个属性识别任务;
将所述分组结果通过替换所述任务参数特征学习层的方式,部署至所述初始多任务目标识别模型,得到多任务目标识别模型;
利用所述第二目标样本数据集训练所述多任务目标识别模型,得到用于同时执行多个属性识别任务的多任务目标识别模型。
2.根据权利要求1所述的目标识别方法,其特征在于,所述基于所述初始多任务目标识别模型对应的多任务损失函数,计算不同属性识别任务之间的相关性信息,包括:
对每两个属性识别任务,根据第一属性识别任务对第二属性识别任务的损失影响程度,确定所述第一属性识别任务和所述第二属性识别任务的相关关系,以作为相关性信息;
其中,所述相关关系包括正相关关系和负相关关系,所述正相关关系用于表示所述第一属性识别任务与所述第二属性识别任务适合作为一个分组;所述负相关关系用于表示所述第一属性识别任务与所述第二属性识别任务不适合作为一个分组。
3.根据权利要求2所述的目标识别方法,其特征在于,所述根据第一属性识别任务对第二属性识别任务的损失影响程度,确定所述第一属性识别任务和所述第二属性识别任务的相关关系,包括:
基于第一目标样本数据计算第一属性识别任务在当前时刻的第一损失函数值;
利用所述第一损失函数值对所述共享参数特征学习层进行梯度更新,得到新共享参数;
基于所述当前时刻的原共享参数和第二目标样本数据,计算第二属性识别任务的第二原损失函数值;
基于所述新共享参数和所述第二目标样本数据,计算所述第二属性识别任务的第二新损失函数值;
若所述第二原损失函数值大于所述第二新损失函数值,则所述第一属性识别任务与所述第二属性识别任务为正相关关系;若所述第二原损失函数值小于等于所述第二新损失函数,则所述第一属性识别任务与所述第二属性识别任务为负相关关系。
4.根据权利要求3所述的目标识别方法,其特征在于,所述基于所述当前时刻的原共享参数和第二目标样本数据,计算第二属性识别任务的第二原损失函数值,包括:
调用原损失函数值计算关系式,计算第二属性识别任务的第二原损失函数值;所述原损失函数值计算关系式为:
;
式中,loss q-org 为第二原损失函数值,q表示第二属性识别任务,Y为第二目标样本数据X t 在t时刻对应的真值,K为第二目标样本数据X t 包含的目标数据总数,F(X t )为第二目标样本数据X t 对应的属性预测函数,为第二属性识别任务在t时刻的任务属性参数,/>为在t时刻的原共享参数,/>为第二目标样本数据X t 的第i个目标数据的第二属性识别任务的真实标签。
5.根据权利要求4所述的目标识别方法,其特征在于,所述基于所述新共享参数和所述第二目标样本数据,计算所述第二属性识别任务的第二新损失函数值,包括:
调用新损失函数值计算关系式,计算所述第二属性识别任务的第二新损失函数值;所述新损失函数值计算关系式为:
;
式中,loss q-new 为第二新原损失函数值,为在t时刻的新共享参数集。
6.根据权利要求1所述的目标识别方法,其特征在于,所述基于所述初始多任务目标识别模型对应的多任务损失函数,计算不同属性识别任务之间的相关性信息,包括:
对每两个属性识别任务,根据第二属性识别任务梯度沿着第一属性识别任务的损失函数下降方向更新后的新损失值与梯度更新前的原损失值,计算所述第一属性识别任务和所述第二属性识别任务的相关性分数;
根据所述相关性分数和预设值之间的数值关系,确定所述第一属性识别任务和所述第二属性识别任务的相关关系,以作为所述相关性信息;
其中,所述相关关系包括正相关关系和负相关关系,所述正相关关系用于表示所述第一属性识别任务与所述第二属性识别任务适合作为一个分组;所述负相关关系用于表示所述第一属性识别任务与所述第二属性识别任务不适合作为一个分组。
7.根据权利要求6所述的目标识别方法,其特征在于,所述根据第二属性识别任务梯度沿着第一属性识别任务的损失函数下降方向更新后的新损失值与梯度更新前的原损失值,计算所述第一属性识别任务和所述第二属性识别任务的相关性分数,包括:
调用相关性分数计算关系式,计算所述第一属性识别任务和所述第二属性识别任务的相关性分数;所述相关性分数计算关系式为:
;
式中,R为相关性分数,loss Bnew 为更新后的新损失值,loss Borg 为梯度更新前的原损失值。
8.根据权利要求1所述的目标识别方法,其特征在于,所述基于所述初始多任务目标识别模型对应的多任务损失函数,计算不同属性识别任务之间的相关性信息,包括:
按照预设频率多次计算每两个属性识别任务之间的相关性信息;
当训练总时长达到,对每两个属性识别任务,将多次相关性信息的平均处理结果作为相应属性识别任务之间的相关性信息。
9.根据权利要求1所述的目标识别方法,其特征在于,所述初始多任务目标识别模型采用硬参数共享方式,所述共享参数特征学习层位于底层,所述任务参数特征学习层位于顶层,所述任务参数特征学习层包括多个子任务参数特征学习层,各子任务参数特征学习层对应一个属性识别任务,用于学习相应属性识别任务的参数特征。
10.根据权利要求9所述的目标识别方法,其特征在于,所述共享参数特征学习层包括第一特征提取层、第二特征提取层、第三特征提取层、第四特征层、第五特征提取层、第一全连接层和第二全连接层;
其中,所述第一特征提取层、所述第二特征提取层和所述第五特征提取层包括依次相连的卷积层、批量归一化层和最大池化层;所述第三特征提取层和所述第四特征层包括依次相连的卷积层、批量归一化层。
11.根据权利要求1所述的目标识别方法,其特征在于,所述多任务目标识别模型包括依次相连的所述输入层、所述共享参数特征学习层、分组参数特征学习层和所述输出层;
其中,所述分组参数特征学习层包括多个子组参数特征学习层,各子组参数特征学习层对应一个子组,用于学习相应子组的参数特征;各子组参数特征学习层包括第三全连接层和第四全连接层。
12.根据权利要求1所述的目标识别方法,其特征在于,所述基于各相关性信息,以最大化所有属性识别任务间的相关性信息为目标,对各属性识别任务进行分组,得到分组结果,包括:
对各属性识别任务,获取当前属性识别任务与其余各属性识别任务之间的相关性信息,基于各相关性信息,将属于正相关关系的候选属性识别任务与当前属性识别任务划分为第一子组;
根据所述第一子组包含的属性识别任务总数、各候选属性识别任务与所述当前属性识别任务的相关程度及各候选属性识别任务之间的相关性信息,删除所述第一子组中不满足条件的候选属性识别任务,以达到所有属性识别任务间的相关性信息最大。
13.根据权利要求12所述的目标识别方法,其特征在于,所述根据所述第一子组包含的属性识别任务总数、各候选属性识别任务与所述当前属性识别任务的相关程度及各候选属性识别任务之间的相关性信息,删除所述第一子组中不满足条件的候选属性识别任务,包括:
若第一子组包含的属性识别任务总数大于2个属性识别任务总数,则所述第一子组保留各候选目标属性识别任务对应的相关性信息大于预设相关阈值的初始目标属性识别任务;
计算所述第一子组中每两个初始目标属性识别任务的相关性信息;
对于属于负相关关系的第一初始目标属性识别任务和第二初始目标属性识别任务,获取所述第一初始目标属性识别任务和所述第二初始目标属性识别任务分别与所述当前属性识别任务之间的第一相关性分数和第二相关性分数;若所述第一相关性分数大于所述第二相关性分数,则将所述第二初始目标属性识别任务从所述第一子组中删除。
14.根据权利要求13所述的目标识别方法,其特征在于,所述相关性信息为相关性分数,所述第一子组保留各候选目标属性识别任务对应的相关性信息大于预设相关阈值的初始目标属性识别任务,包括:
从所述当前属性识别任务与各候选属性识别任务之间的各相关性分数中选择最大相关性分数,基于所述最大相关性分数和预设调节因子确定预设相关阈值,所述预设调节因子大于0且小于1;
将与当前属性识别任务的相关性分数大于所述预设相关阈值的候选目标属性识别任务作为初始目标属性识别任务;
删除所述第一子组中不为初始目标属性识别任务的候选目标属性识别任务。
15.根据权利要求14所述的目标识别方法,其特征在于,所述基于所述最大相关性分数和预设调节因子确定预设相关阈值,包括:
当接收到分组参数调节指令,根据所述分组参数调节指令中的新调节因子更新本地存储的预设调节因子。
16.根据权利要求1至15任意一项所述的目标识别方法,其特征在于,所述利用所述第二目标样本数据集训练所述多任务目标识别模型,包括:
根据预设总训练周期数,不断重复选取所述第二目标样本数据集中的目标样本数据,调用多任务目标识别损失函数关系式计算所述多任务目标识别模型的损失函数,直至达到预设训练周期数值结束迭代;所述多任务目标识别损失函数关系式为:
;
式中,为M个属性识别任务的任务属性参数集,/>为原共享参数集,/>为所述第二目标样本数据集X的第i个目标数据的第j个属性识别任务的真实标签,F(X i )为所述第二目标样本数据集的第i个目标数据对应的属性预测函数,N为所述第二目标样本数据集所包含的目标数据的总数。
17.一种目标识别方法,其特征在于,包括:
利用如权利要求1至16任意一项所述目标识别方法训练得到多任务目标识别模型;
获取待识别目标的待处理数据;所述待识别目标包括多个属性;
将所述待处理数据输入至所述多任务目标识别模型,得到所述待识别目标中至少一个属性的识别结果。
18.一种目标识别方法,其特征在于,包括:
获取标记属性类别标签的第一人脸图像数据集和第二人脸图像数据集;
在利用所述第一人脸图像数据集训练初始多任务人脸识别模型的过程中,基于所述初始多任务人脸识别模型对应的多任务损失函数,计算不同属性识别任务之间的相关性信息;所述初始多任务人脸识别模型包括依次相连的输入层、共享参数特征学习层和任务参数特征学习层和输出层;
基于各相关性信息,以最大化所有属性识别任务间的相关性信息为目标,对各属性识别任务进行分组,得到分组结果;各组属性识别任务至少包括一个属性识别任务;
将所述分组结果通过替换所述任务参数特征学习层的方式,部署至所述初始多任务人脸识别模型,得到多任务人脸识别模型;
利用所述第二人脸图像数据集训练所述多任务人脸识别模型,得到用于同时执行多个人脸属性识别任务的多任务人脸识别模型。
19.一种目标识别装置,其特征在于,包括:
图像样本获取模块,用于获取标记属性类别标签的第一目标样本数据集和第二目标样本数据集;
相关性确定模块,用于在利用所述第一目标样本数据集训练初始多任务目标识别模型的过程中,基于所述初始多任务目标识别模型对应的多任务损失函数,计算不同属性识别任务之间的相关性信息;所述初始多任务目标识别模型包括依次相连的输入层、共享参数特征学习层和任务参数特征学习层和输出层;
分组模块,用于基于各相关性信息,以最大化所有属性识别任务间的相关性信息为目标,对各属性识别任务进行分组,得到分组结果;各组属性识别任务至少包括一个属性识别任务;
目标识别模块,用于将所述分组结果通过替换所述任务参数特征学习层的方式,部署至所述初始多任务目标识别模型,得到多任务目标识别模型;利用所述第二目标样本数据集训练所述多任务目标识别模型,得到用于同时执行多个属性识别任务的多任务目标识别模型。
20.一种目标识别装置,其特征在于,包括:
模型训练模块,用于利用如权利要求1至16任意一项所述目标识别方法训练得到多任务目标识别模型;
数据获取模块,用于获取待识别目标的待处理数据;所述待识别目标包括多个属性;
识别结果生成模块,用于将所述待处理数据输入至所述多任务目标识别模型,得到所述待识别目标中至少一个属性的识别结果。
21.一种电子设备,其特征在于,包括处理器和存储器,所述处理器用于执行所述存储器中存储的计算机程序时实现如权利要求1至18任一项所述目标识别方法的步骤。
22.一种可读存储介质,其特征在于,所述可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至18任一项所述目标识别方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311598731.6A CN117315445B (zh) | 2023-11-28 | 2023-11-28 | 目标识别方法、装置、电子设备及可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311598731.6A CN117315445B (zh) | 2023-11-28 | 2023-11-28 | 目标识别方法、装置、电子设备及可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117315445A true CN117315445A (zh) | 2023-12-29 |
CN117315445B CN117315445B (zh) | 2024-03-22 |
Family
ID=89273947
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311598731.6A Active CN117315445B (zh) | 2023-11-28 | 2023-11-28 | 目标识别方法、装置、电子设备及可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117315445B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110765288A (zh) * | 2019-09-04 | 2020-02-07 | 北京旷视科技有限公司 | 一种图像信息同步方法、装置、***及存储介质 |
CN111459646A (zh) * | 2020-05-09 | 2020-07-28 | 南京大学 | 基于管道模型与任务合并的大数据质量管理任务调度方法 |
CN111507263A (zh) * | 2020-04-17 | 2020-08-07 | 电子科技大学 | 一种基于多源数据的人脸多属性识别方法 |
CN115146865A (zh) * | 2022-07-22 | 2022-10-04 | 中国平安财产保险股份有限公司 | 基于人工智能的任务优化方法及相关设备 |
CN116563932A (zh) * | 2023-05-15 | 2023-08-08 | 辽宁蜻蜓健康科技有限公司 | 基于多任务学习的眼部图像识别方法及相关设备 |
-
2023
- 2023-11-28 CN CN202311598731.6A patent/CN117315445B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110765288A (zh) * | 2019-09-04 | 2020-02-07 | 北京旷视科技有限公司 | 一种图像信息同步方法、装置、***及存储介质 |
CN111507263A (zh) * | 2020-04-17 | 2020-08-07 | 电子科技大学 | 一种基于多源数据的人脸多属性识别方法 |
CN111459646A (zh) * | 2020-05-09 | 2020-07-28 | 南京大学 | 基于管道模型与任务合并的大数据质量管理任务调度方法 |
CN115146865A (zh) * | 2022-07-22 | 2022-10-04 | 中国平安财产保险股份有限公司 | 基于人工智能的任务优化方法及相关设备 |
CN116563932A (zh) * | 2023-05-15 | 2023-08-08 | 辽宁蜻蜓健康科技有限公司 | 基于多任务学习的眼部图像识别方法及相关设备 |
Non-Patent Citations (1)
Title |
---|
CHRISTOPHER FIFTY等: "Efficiently Identifying Task Groupings for Multi-Task Learning", 《NEURIPS 2021》, pages 1 - 14 * |
Also Published As
Publication number | Publication date |
---|---|
CN117315445B (zh) | 2024-03-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11537884B2 (en) | Machine learning model training method and device, and expression image classification method and device | |
CN108701216B (zh) | 一种人脸脸型识别方法、装置和智能终端 | |
WO2020182121A1 (zh) | 表情识别方法及相关装置 | |
WO2020211398A1 (zh) | 人像属性模型构建方法、装置、计算机设备和存储介质 | |
CN107145857B (zh) | 人脸属性识别方法、装置和模型建立方法 | |
Rafique et al. | Age and gender prediction using deep convolutional neural networks | |
CN110210624A (zh) | 执行机器学习过程的方法、装置、设备以及存储介质 | |
CN108124486A (zh) | 基于云端的人脸活体检测方法、电子设备和程序产品 | |
CN106295591A (zh) | 基于人脸图像的性别识别方法及装置 | |
CN110414428A (zh) | 一种生成人脸属性信息识别模型的方法 | |
CN112889065B (zh) | 用于使用深度学习来提供个性化产品推荐的***和方法 | |
WO2022002961A1 (en) | Systems and methods for improved facial attribute classification and use thereof | |
CN109034090A (zh) | 一种基于肢体动作的情感识别***及方法 | |
CN113723513A (zh) | 多标签图像分类方法、装置及相关设备 | |
CN108492301A (zh) | 一种场景分割方法、终端及存储介质 | |
CN114913923A (zh) | 针对单细胞染色质开放性测序数据的细胞类型识别方法 | |
CN113569732A (zh) | 基于并行共享多任务网络的人脸属性识别方法及*** | |
CN113569627A (zh) | 人体姿态预测模型训练方法、人体姿态预测方法及装置 | |
Zhang et al. | Facial component-landmark detection with weakly-supervised lr-cnn | |
CN117315445B (zh) | 目标识别方法、装置、电子设备及可读存储介质 | |
CN113221695A (zh) | 训练肤色识别模型的方法、识别肤色的方法及相关装置 | |
CN113570286B (zh) | 基于人工智能的资源分配方法、装置、电子设备及介质 | |
Grd et al. | Transfer Learning with EfficientNetV2S for Automatic Face Shape Classification. | |
CN113643283A (zh) | 一种人体衰老状况的检测方法、装置、设备及存储介质 | |
CN116438586A (zh) | 行人属性识别***及其训练方法、行人属性识别方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |