CN110647938A - 图像处理方法及相关装置 - Google Patents
图像处理方法及相关装置 Download PDFInfo
- Publication number
- CN110647938A CN110647938A CN201910905445.7A CN201910905445A CN110647938A CN 110647938 A CN110647938 A CN 110647938A CN 201910905445 A CN201910905445 A CN 201910905445A CN 110647938 A CN110647938 A CN 110647938A
- Authority
- CN
- China
- Prior art keywords
- neural network
- similarity
- feature data
- image
- iteration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种图像处理方法及相关装置。该方法包括:获取待处理图像;使用目标神经网络对所述待处理图像进行特征提取处理,获得所述待处理图像的目标特征数据,所述目标神经网络的参数为第一神经网络的参数的时序平均值,所述第一神经网络在训练图像集和平均网络的监督下训练获得,所述平均网络的参数为第二神经网络的参数的时序平均值,所述第二神经网络在所述训练图像集和所述目标神经网络的监督下训练获得。还公开了相应的装置。以通过对待处理图像进行特征提取处理获得的待处理图像目标特征数据。
Description
技术领域
本申请涉及图像处理技术领域,尤其涉及一种图像处理方法及相关装置。
背景技术
得益于强大的性能,近几年神经网络被广泛应用于各种图像识别任务(如行人重识别、图像分类)。而训练神经网络需要大量标注数据,为减小对数据标注带来的人工成本,提升标注效率。人们采通过无监督学习的方式使用未标注的数据完成对神经网络的训练。
传统的无监督学习方法通过在源域上训练好的神经网络对目标域上的未标注图像进行识别,并给目标域上的未标注图像添加标签,再以该标签监督在源域上训练好的神经网络,并调整在源域上训练好的神经网络的参数,获得应用于目标域上的神经网络。但通过该种方法训练获得的应用神经网络在目标域上的特征提取效果不好。
发明内容
本申请提供一种图像处理方法及相关装置,以实现从图像中提取出特征数据。
第一方面,提供了一种图像处理方法,所述方法包括:获取待处理图像;使用目标神经网络对所述待处理图像进行特征提取处理,获得所述待处理图像的目标特征数据,所述目标神经网络的参数为第一神经网络的参数的时序平均值,所述第一神经网络在训练图像集和平均网络的监督下训练获得,所述平均网络的参数为第二神经网络的参数的时序平均值,所述第二神经网络在所述训练图像集和所述目标神经网络的监督下训练获得。
在该方面中,通过确定第一神经网络的参数的时序平均值和第二神经网络的时序平均值,分别获得目标神经网络的参数和平均网络的参数,再使用目标神经网络的输出监督第二神经网络,使用平均网络的输出监督第一神经网络对目标神经网络进行训练,可提升训练效果。进而使用目标神经网络在目标域上执行相关的识别任务时,可提取出信息更丰富的目标特征数据。
在一种可能实现的方式中,所述第一神经网络在训练图像集和平均网络的监督下训练获得,包括:获取所述训练图像集、第一待训练神经网络和第二待训练神经网络;对所述第一待训练神经网络和所述第二待训练神经网络执行x次第一迭代,获得所述第一神经网络和第二神经网络,所述x为正整数;所述x次第一迭代中的第i次第一迭代包括:以所述训练图像集和第i次第一迭代的所述平均网络的输出监督第i次第一迭代的所述第一待训练神经网络获得第i+1次第一迭代的所述第一待训练神经网络,以所述训练图像集和第i次第一迭代的所述目标神经网络的输出监督第i次第一迭代的所述第二待训练神经网络,获得第i+1次第一迭代的所述第二待训练神经网络;所述目标神经网络的参数为第一神经网络的参数的时序平均值,包括:依据第i-1次第一迭代的所述目标神经网络的参数和所述第i次第一迭代的所述第一待训练神经网络的参数确定所述第i次第一迭代的所述目标神经网络的参数,所述i为小于或等于所述x的正整数;在所述i=1的情况下,所述第i-1次第一迭代的所述目标神经网络的参数与所述第一待训练神经网络的参数相同。
在该种可能实现的方式中,在第i次第一迭代中,通过第i次第一迭代的平均网络监督第i次第一迭代的第一待训练神经网络,并通过第i次第一迭代的目标神经网络监督第i次第一迭代的第二待训练神经网络,可减小第i次第一迭代的第二待训练神经网络的输出与第i次第一迭代的第一待训练神经网络的输出之间存在的相关性对训练效果的影响,进而提升训练效果。
在另一种可能实现的方式中,所述以所述训练图像集和第i次平均网络的输出监督第i次第一迭代的所述第一待训练神经网络,获得第i+1次第一迭代的所述第一待训练神经网络,包括:经所述第i次第一迭代的所述第一待训练神经网络对所述训练图像集进行处理获得第一特征数据集,经所述第i次第一迭代的所述平均网络对所述训练图像集进行处理获得第二特征数据集;依据所述第一特征数据集和所述第二特征数据集获得第一软三元损失;以所述训练图像集和所述第一软三元损失监督所述第i次第一迭代的所述第一待训练神经网络,获得所述第i+1次第一迭代的所述第一待训练神经网络。
在该种可能实现的方式中,基于通过第一特征数据集和第二特征数据集确定第一软三元损失调整第i次第一迭代的第一待训练神经网络的参数可提升第i次第一迭代的第一待训练神经网络对目标域上的图像的特征提取效果,进而可提升目标神经网络对目标域上的图像的特征提取效果。
在又一种可能实现的方式中,所述依据所述第一特征数据集和所述第二特征数据集获得第一软三元损失,包括:确定所述训练图像集中的第一图像在所述第一特征数据集中的第一特征数据与所述第一特征数据集中的正样本特征数据子集中的特征数据之间的最小相似度,获得第一相似度;确定所述第一图像在所述第二特征数据集中的第二特征数据与所述第二特征数据集中的所述正样本特征数据子集中的特征数据之间的最小相似度,获得第二相似度,所述正样本特征数据子集包括具有与所述第一图像的第一标签相同的标签的图像的特征数据;确定所述第一特征数据与所述第一特征数据集中的负样本特征数据子集中的特征数据之间的最大相似度,获得第三相似度;确定所述第二特征数据与所述第二特征数据集中的所述负样本特征数据子集中的特征数据之间的最大相似度,获得第四相似度,所述负样本特征数据子集包括具有与所述第一标签不同的标签的图像的特征数据;分别对所述第一相似度、所述第二相似度、所述第三相似度和所述第四相似度进行归一化处理,获得第五相似度、第六相似度、第七相似度和第八相似度;依据所述第五相似度,所述第六相似度,所述第七相似度和所述第八相似度,获得所述第一软三元损失。
在该种可能实现的方式中,通过对第一相似度、第二相似度、第三相似度和第四相似度进行归一化处理,将第一相似度、第二相似度、第三相似度和第四相似度转化为0至1之间的数值,获得更符合数据的真实分布的第五相似度、第六相似度、第七相似度和第八相似度,进而提升对目标神经网络的训练效果。
在又一种可能实现的方式中,所述分别对所述第一相似度、所述第二相似度、所述第三相似度和所述第四相似度进行归一化处理,获得第五相似度、第六相似度、第七相似度和第八相似度,包括:确定所述第二相似度和所述第四相似度的和获得第一总相似度,确定所述第一相似度和所述第三相似度的和获得第二总相似度;确定所述第二相似度与所述第一总相似度的商获得所述第五相似度,确定所述第四相似度与所述第一总相似度的商获得所述第六相似度;确定所述第一相似度与所述第二总相似度的商获得所述第七相似度,确定所述第三相似度与所述第二总相似度的商获得所述第八相似度。
在又一种可能实现的方式中,所述以所述训练图像集和所述第一软三元损失监督所述第i次第一迭代的所述第一待训练神经网络,获得所述第i+1次第一迭代的所述第一待训练神经网络,包括:经所述第i次第一迭代的所述第一待训练神经网络对所述第一图像进行处理获得第一分类结果;依据所述第一分类结果、所述第一标签和所述第一软三元损失确定所述第i次第一迭代的所述第一待训练神经网络的第一损失;基于所述第一损失调整所述第i次第一迭代的所述第一待训练神经网络的参数获得所述第i+1次第一迭代的所述第一待训练神经网络。
在又一种可能实现的方式中,所述依据所述第一分类结果、所述第一标签和所述第一软三元损失确定所述第i次第一迭代的所述第一待训练神经网络的第一损失,包括:依据所述第一分类结果和所述第一标签之间的差异确定第一硬分类损失;依据所述第一硬分类损失和所述第一软三元损失确定所述第一损失。
在又一种可能实现的方式中,在所述依据所述第一硬分类损失和所述第一软三元损失确定所述第一损失之前,所述方法还包括:经所述第i次第一迭代的所述平均网络对所述第一图像进行处理获得第二分类结果;依据所述第一分类结果和所述第二分类结果之间的差异确定第一软分类损失;所述依据所述第一硬分类损失和所述第一软三元损失确定所述第一损失,包括:依据所述第一硬分类损失、所述第一软分类损失和所述第一软三元损失确定所述第一损失。
在又一种可能实现的方式中,在所述依据所述第一硬分类损失、所述第一软分类损失和所述第一软三元损失确定所述第一损失之前,所述方法还包括:依据所述第一相似度和所述第三相似度确定第一硬三元损失;所述依据所述第一硬分类损失、所述第一软分类损失和所述第一软三元损失确定所述第一损失,包括:依据所述第一硬分类损失、所述第一软分类损失、所述第一软三元损失和所述第一硬三元损失确定所述第一损失。
在又一种可能实现的方式中,所述经所述第i次第一迭代的所述第一待训练神经网络对所述训练图像集中的第一图像进行处理获得第一分类结果,包括:对所述训练图像集进行第一预处理,获得第一图像集,所述第一预处理包括擦除处理、剪裁处理、翻转处理中的任意一种;经所述第i次第一迭代的所述第一待训练神经网络对所述第一图像集中的第二图像进行处理获得所述第一分类结果,所述第二图像通过对所述第一图像进行所述第一预处理获得,所述第二图像在所述第一特征数据集中的特征数据与所述第一图像在所述第一特征数据集中的数据相同。
在该种可能实现的方式中,通过对训练图像集中的图像进行第一预处理获得第一图像集,再将第一图像集输入至第i次第一迭代的第一待训练神经网络和第i次第一迭代的目标神经网络,以减小训练过程中出现过拟合的概率。
在又一种可能实现的方式中,所述经第i次第一迭代的所述第一待训练神经网络对所述训练图像集进行处理获得第一特征数据集,包括:经所述第i次第一迭代的所述第一待训练神经网络对所述第一图像集进行处理获得所述第一特征数据集。
在又一种可能实现的方式中,所述获取所述训练图像集,包括:获取待处理图像集和第三神经网络;对所述第三神经网络执行y次第二迭代,获得所述训练图像集,所述y为正整数;所述y次第二迭代中的第t次第二迭代包括:从所述待处理图像集中采样获得第二图像集,经第t次第二迭代的第三神经网络对所述第二图像集中的图像进行处理,获得包含所述第二图像集中的图像的特征数据的第三特征数据集以及包含所述第二图像集中的图像的分类结果的分类结果集;对所述第三特征数据集中的特征数据进行聚类处理确定所述第三特征数据集中的特征数据的标签,将所述第三特征数据集中的特征数据的标签添加至所述第二图像集中对应的图像中,获得第三图像集;依据所述分类结果集中的分类结果与所述第三图像集中的图像的标签之间的差异,确定第三损失;基于所述第三损失调整所述第t次第二迭代的第三神经网络的参数,获得第t+1次第二迭代的第三神经网络的参数,所述t为小于所述y的正整数。
在又一种可能实现的方式中,所述方法还包括:使用所述目标特征数据检索数据库,获得具有与所述目标特征数据匹配的特征数据的图像,作为目标图像。
在又一种可能实现的方式中,所述待处理图像包含人物对象。
在又一种可能实现的方式中,所述以所述训练图像集和第i次第一迭代的所述目标神经网络的输出监督第i次第一迭代的所述第二待训练神经网络,获得第i+1次第一迭代的所述第二待训练神经网络,包括:
经所述第i次第一迭代的所述第二待训练神经网络对所述训练图像集进行处理获得第四特征数据集,经所述第i次第一迭代的所述目标神经网络对所述训练图像集进行处理获得第五特征数据集;
依据所述第四特征数据集和所述第五特征数据集获得第二软三元损失;
以所述训练图像集和所述第二软三元损失监督所述第i次第一迭代的所述第二待训练神经网络,获得所述第i+1次第一迭代的所述第二待训练神经网络。
在又一种可能实现的方式中,所述依据所述第四特征数据集和所述第五特征数据集获得第二软三元损失,包括:确定所述第一图像在所述第四特征数据集中的第三特征数据与所述第四特征数据集中的正样本特征数据子集中的特征数据之间的最小相似度,获得第九相似度;确定所述第一图像在所述第五特征数据集中的第四特征数据与所述第五特征数据集中的所述正样本特征数据子集中的特征数据之间的最小相似度,获得第十一相似度,所述正样本特征数据子集包括具有与所述第一标签相同的标签的图像的特征数据;确定所述第三特征数据与所述第四特征数据集中的负样本特征数据子集中的特征数据之间的最大相似度,获得第十相似度;确定所述第三特征数据与所述第四特征数据集中的所述负样本特征数据子集中的特征数据之间的最大相似度,获得第十二相似度,所述负样本特征数据子集包括具有与所述第一标签不同的标签的图像的特征数据;分别对所述第九相似度、所述第十相似度、所述第十一相似度和所述第十二相似度进行归一化处理,获得第十三相似度、第十四相似度、第十五相似度和第十六相似度;依据所述第十三相似度、所述第十四相似度、所述第十五相似度和所述第十六相似度,获得所述第二软三元损失。
在又一种可能实现的方式中,所述分别对所述第九相似度、所述第十相似度、所述第十一相似度和所述第十二相似度进行归一化处理,获得第十三相似度、第十四相似度、第十五相似度和第十六相似度,包括:确定所述第九相似度和所述第十相似度的和获得第三总相似度,确定所述第十一相似度和所述第十二相似度的和获得第四总相似度;确定所述第九相似度与所述第三总相似度的商获得所述第十三相似度,确定所述第十相似度与所述第三总相似度的商获得所述第十四相似度;确定所述第十一相似度与所述第四总相似度的商获得所述第十五相似度,确定所述第十二相似度与所述第四总相似度的商获得所述第十六相似度。
在又一种可能实现的方式中,所述以所述训练图像集和所述第二软三元损失监督所述第i次第一迭代的所述第二待训练神经网络,获得所述第i+1次第一迭代的所述第二待训练神经网络,包括:经所述第i次第一迭代的所述第二待训练神经网络对所述第一图像进行处理获得第三分类结果;依据所述第三分类结果、所述第一标签和所述第二软三元损失确定所述第i次第一迭代的所述第二待训练神经网络的第二损失;基于所述第二损失调整所述第i次第一迭代的所述第二待训练神经网络的参数获得所述第i+1次第一迭代的所述第二待训练神经网络。
在又一种可能实现的方式中,所述依据所述第三分类结果、所述第一标签和所述第二软三元损失确定所述第i次第一迭代的所述第二待训练神经网络的第二损失,包括:依据所述第三分类结果和所述第一标签之间的差异确定第二硬分类损失;依据所述第二硬分类损失和所述第二软三元损失确定所述第二损失。
在又一种可能实现的方式中,在所述依据所述第二硬分类损失和所述第二软三元损失确定所述第二损失之前,所述方法还包括:经第所述i次第一迭代的所述目标神经网络对所述第一图像进行处理获得第四分类结果;依据所述第三分类结果和所述第四分类结果之间的差异确定第二软分类损失;所述依据所述第二硬分类损失和所述第二软三元损失确定所述第二损失,包括:依据所述第二硬分类损失、所述第二软分类损失和所述第二软三元损失确定所述第二损失。
在又一种可能实现的方式中,在所述依据所述第二硬分类损失、所述第二软分类损失和所述第二软三元损失确定所述第二损失之前,所述方法还包括:依据所述第九相似度和所述第十相似度确定第二硬三元损失;所述依据所述第二硬分类损失、所述第二软分类损失和所述第二软三元损失确定所述第二损失,包括:依据所述第二硬分类损失、所述第二软分类损失、所述第二软三元损失和所述第二硬三元损失确定所述第二损失。
在又一种可能实现的方式中,所述经所述第i次第一迭代的所述第二待训练神经网络对所述训练图像集中的第一图像进行处理获得第三分类结果,包括:对所述训练图像集进行第二预处理,获得第四图像集,所述第二预处理包括擦除处理、剪裁处理、翻转处理中的任意一种;经所述第i次第一迭代的所述第二待训练神经网络对所述第四图像集中的第三图像进行处理获得所述第三分类结果,所述第三图像通过对所述第一图像进行所述第二预处理获得,所述第三图像在所述第四特征数据集中的特征数据与所述第一图像在所述第四特征数据集中的数据相同,所述第一预处理与所述第二预处理不同。
在又一种可能实现的方式中,所述经第i次第一迭代的所述第二待训练神经网络对所述训练图像集进行处理获得第四特征数据集,包括:经所述第i次第一迭代的所述第二待训练神经网络对所述第四图像集进行处理获得所述第四特征数据集。
第二方面,提供了一种图像处理装置,所述装置包括:获取单元,用于获取待处理图像;特征提取处理单元,用于使用目标神经网络对所述待处理图像进行特征提取处理,获得所述待处理图像的目标特征数据,所述目标神经网络的参数为第一神经网络的参数的时序平均值,所述第一神经网络在训练图像集和平均网络的监督下训练获得,所述平均网络的参数为第二神经网络的参数的时序平均值,所述第二神经网络在所述训练图像集和所述目标神经网络的监督下训练获得。
在一种可能实现的方式中,所述第一神经网络在训练图像集和平均网络的监督下训练获得,包括:获取所述训练图像集、第一待训练神经网络和第二待训练神经网络;对所述第一待训练神经网络和所述第二待训练神经网络执行x次第一迭代,获得所述第一神经网络和第二神经网络,所述x为正整数;所述x次第一迭代中的第i次第一迭代包括:以所述训练图像集和第i次第一迭代的所述平均网络的输出监督第i次第一迭代的所述第一待训练神经网络获得第i+1次第一迭代的所述第一待训练神经网络,以所述训练图像集和第i次第一迭代的所述目标神经网络的输出监督第i次第一迭代的所述第二待训练神经网络,获得第i+1次第一迭代的所述第二待训练神经网络;所述目标神经网络的参数为第一神经网络的参数的时序平均值,包括:依据第i-1次第一迭代的所述目标神经网络的参数和所述第i次第一迭代的所述第一待训练神经网络的参数确定所述第i次第一迭代的所述目标神经网络的参数,所述i为小于或等于所述x的正整数;在所述i=1的情况下,所述第i-1次第一迭代的所述目标神经网络的参数与所述第一待训练神经网络的参数相同。
在另一种可能实现的方式中,所述以所述训练图像集和第i次平均网络的输出监督第i次第一迭代的所述第一待训练神经网络,获得第i+1次第一迭代的所述第一待训练神经网络,包括:经所述第i次第一迭代的所述第一待训练神经网络对所述训练图像集进行处理获得第一特征数据集,经所述第i次第一迭代的所述平均网络对所述训练图像集进行处理获得第二特征数据集;依据所述第一特征数据集和所述第二特征数据集获得第一软三元损失;以所述训练图像集和所述第一软三元损失监督所述第i次第一迭代的所述第一待训练神经网络,获得所述第i+1次第一迭代的所述第一待训练神经网络。
在又一种可能实现的方式中,所述依据所述第一特征数据集和所述第二特征数据集获得第一软三元损失,包括:确定所述训练图像集中的第一图像在所述第一特征数据集中的第一特征数据与所述第一特征数据集中的正样本特征数据子集中的特征数据之间的最小相似度,获得第一相似度;确定所述第一图像在所述第二特征数据集中的第二特征数据与所述第二特征数据集中的所述正样本特征数据子集中的特征数据之间的最小相似度,获得第二相似度,所述正样本特征数据子集包括具有与所述第一图像的第一标签相同的标签的图像的特征数据;确定所述第一特征数据与所述第一特征数据集中的负样本特征数据子集中的特征数据之间的最大相似度,获得第三相似度;确定所述第二特征数据与所述第二特征数据集中的所述负样本特征数据子集中的特征数据之间的最大相似度,获得第四相似度,所述负样本特征数据子集包括具有与所述第一标签不同的标签的图像的特征数据;分别对所述第一相似度、所述第二相似度、所述第三相似度和所述第四相似度进行归一化处理,获得第五相似度、第六相似度、第七相似度和第八相似度;依据所述第五相似度,所述第六相似度,所述第七相似度和所述第八相似度,获得所述第一软三元损失。
在又一种可能实现的方式中,所述分别对所述第一相似度、所述第二相似度、所述第三相似度和所述第四相似度进行归一化处理,获得第五相似度、第六相似度、第七相似度和第八相似度,包括:确定所述第二相似度和所述第四相似度的和获得第一总相似度,确定所述第一相似度和所述第三相似度的和获得第二总相似度;确定所述第二相似度与所述第一总相似度的商获得所述第五相似度,确定所述第四相似度与所述第一总相似度的商获得所述第六相似度;确定所述第一相似度与所述第二总相似度的商获得所述第七相似度,确定所述第三相似度与所述第二总相似度的商获得所述第八相似度。
在又一种可能实现的方式中,所述以所述训练图像集和所述第一软三元损失监督所述第i次第一迭代的所述第一待训练神经网络,获得所述第i+1次第一迭代的所述第一待训练神经网络,包括:经所述第i次第一迭代的所述第一待训练神经网络对所述第一图像进行处理获得第一分类结果;依据所述第一分类结果、所述第一标签和所述第一软三元损失确定所述第i次第一迭代的所述第一待训练神经网络的第一损失;基于所述第一损失调整所述第i次第一迭代的所述第一待训练神经网络的参数获得所述第i+1次第一迭代的所述第一待训练神经网络。
在又一种可能实现的方式中,所述依据所述第一分类结果、所述第一标签和所述第一软三元损失确定所述第i次第一迭代的所述第一待训练神经网络的第一损失,包括:依据所述第一分类结果和所述第一标签之间的差异确定第一硬分类损失;依据所述第一硬分类损失和所述第一软三元损失确定所述第一损失。
在又一种可能实现的方式中,在所述依据所述第一硬分类损失和所述第一软三元损失确定所述第一损失之前,经所述第i次第一迭代的所述平均网络对所述第一图像进行处理获得第二分类结果;依据所述第一分类结果和所述第二分类结果之间的差异确定第一软分类损失;所述依据所述第一硬分类损失和所述第一软三元损失确定所述第一损失,包括:依据所述第一硬分类损失、所述第一软分类损失和所述第一软三元损失确定所述第一损失。
在又一种可能实现的方式中,在所述依据所述第一硬分类损失、所述第一软分类损失和所述第一软三元损失确定所述第一损失之前,依据所述第一相似度和所述第三相似度确定第一硬三元损失;所述依据所述第一硬分类损失、所述第一软分类损失和所述第一软三元损失确定所述第一损失,包括:依据所述第一硬分类损失、所述第一软分类损失、所述第一软三元损失和所述第一硬三元损失确定所述第一损失。
在又一种可能实现的方式中,所述经所述第i次第一迭代的所述第一待训练神经网络对所述训练图像集中的第一图像进行处理获得第一分类结果第一待训练神经网络,包括:对所述训练图像集进行第一预处理,获得第一图像集,所述第一预处理包括擦除处理、剪裁处理、翻转处理中的任意一种;经所述第i次第一迭代的所述第一待训练神经网络对所述第一图像集中的第二图像进行处理获得所述第一分类结果,所述第二图像通过对所述第一图像进行所述第一预处理获得,所述第二图像在所述第一特征数据集中的特征数据与所述第一图像在所述第一特征数据集中的数据相同。
在又一种可能实现的方式中,所述经第i次第一迭代的所述第一待训练神经网络对所述训练图像集进行处理获得第一特征数据集,包括:经所述第i次第一迭代的所述第一待训练神经网络对所述第一图像集进行处理获得所述第一特征数据集。
在又一种可能实现的方式中,所述获取单元具体用于:获取待处理图像集和第三神经网络;对所述第三神经网络执行y次第二迭代,获得所述训练图像集,所述y为正整数;所述y次第二迭代中的第t次第二迭代包括:从所述待处理图像集中采样获得第二图像集,经第t次第二迭代的第三神经网络对所述第二图像集中的图像进行处理,获得包含所述第二图像集中的图像的特征数据的第三特征数据集以及包含所述第二图像集中的图像的分类结果的分类结果集;对所述第三特征数据集中的特征数据进行聚类处理确定所述第三特征数据集中的特征数据的标签,将所述第三特征数据集中的特征数据的标签添加至所述第二图像集中对应的图像中,获得第三图像集;依据所述分类结果集中的分类结果与所述第三图像集中的图像的标签之间的差异,确定第三损失;基于所述第三损失调整所述第t次第二迭代的第三神经网络的参数,获得第t+1次第二迭代的第三神经网络的参数,所述t为小于所述y的正整数。
在又一种可能实现的方式中,所述装置还包括:检索单元,用于使用所述目标特征数据检索数据库,获得具有与所述目标特征数据匹配的特征数据的图像,作为目标图像。
在又一种可能实现的方式中,所述以所述训练图像集和第i次第一迭代的所述目标神经网络的输出监督第i次第一迭代的所述第二待训练神经网络,获得第i+1次第一迭代的所述第二待训练神经网络,包括:
经所述第i次第一迭代的所述第二待训练神经网络对所述训练图像集进行处理获得第四特征数据集,经所述第i次第一迭代的所述目标神经网络对所述训练图像集进行处理获得第五特征数据集;
依据所述第四特征数据集和所述第五特征数据集获得第二软三元损失;
以所述训练图像集和所述第二软三元损失监督所述第i次第一迭代的所述第二待训练神经网络,获得所述第i+1次第一迭代的所述第二待训练神经网络。
在又一种可能实现的方式中,所述依据所述第四特征数据集和所述第五特征数据集获得第二软三元损失,包括:确定所述第一图像在所述第四特征数据集中的第三特征数据与所述第四特征数据集中的正样本特征数据子集中的特征数据之间的最小相似度,获得第九相似度;确定所述第一图像在所述第五特征数据集中的第四特征数据与所述第五特征数据集中的所述正样本特征数据子集中的特征数据之间的最小相似度,获得第十一相似度,所述正样本特征数据子集包括具有与所述第一标签相同的标签的图像的特征数据;确定所述第三特征数据与所述第四特征数据集中的负样本特征数据子集中的特征数据之间的最大相似度,获得第十相似度;确定所述第三特征数据与所述第四特征数据集中的所述负样本特征数据子集中的特征数据之间的最大相似度,获得第十二相似度,所述负样本特征数据子集包括具有与所述第一标签不同的标签的图像的特征数据;分别对所述第九相似度、所述第十相似度、所述第十一相似度和所述第十二相似度进行归一化处理,获得第十三相似度、第十四相似度、第十五相似度和第十六相似度;依据所述第十三相似度、所述第十四相似度、所述第十五相似度和所述第十六相似度,获得所述第二软三元损失。
在又一种可能实现的方式中,所述分别对所述第九相似度、所述第十相似度、所述第十一相似度和所述第十二相似度进行归一化处理,获得第十三相似度、第十四相似度、第十五相似度和第十六相似度,包括:确定所述第九相似度和所述第十相似度的和获得第三总相似度,确定所述第十一相似度和所述第十二相似度的和获得第四总相似度;确定所述第九相似度与所述第三总相似度的商获得所述第十三相似度,确定所述第十相似度与所述第三总相似度的商获得所述第十四相似度;确定所述第十一相似度与所述第四总相似度的商获得所述第十五相似度,确定所述第十二相似度与所述第四总相似度的商获得所述第十六相似度。
在又一种可能实现的方式中,所述以所述训练图像集和所述第二软三元损失监督所述第i次第一迭代的所述第二待训练神经网络,获得所述第i+1次第一迭代的所述第二待训练神经网络,包括:经所述第i次第一迭代的所述第二待训练神经网络对所述第一图像进行处理获得第三分类结果;依据所述第三分类结果、所述第一标签和所述第二软三元损失确定所述第i次第一迭代的所述第二待训练神经网络的第二损失;基于所述第二损失调整所述第i次第一迭代的所述第二待训练神经网络的参数获得所述第i+1次第一迭代的所述第二待训练神经网络。
在又一种可能实现的方式中,所述依据所述第三分类结果、所述第一标签和所述第二软三元损失确定所述第i次第一迭代的所述第二待训练神经网络的第二损失,包括:依据所述第三分类结果和所述第一标签之间的差异确定第二硬分类损失;依据所述第二硬分类损失和所述第二软三元损失确定所述第二损失。
在又一种可能实现的方式中,在所述依据所述第二硬分类损失和所述第二软三元损失确定所述第二损失之前,经第所述i次第一迭代的所述目标神经网络对所述第一图像进行处理获得第四分类结果;依据所述第三分类结果和所述第四分类结果之间的差异确定第二软分类损失;所述依据所述第二硬分类损失和所述第二软三元损失确定所述第二损失,包括:依据所述第二硬分类损失、所述第二软分类损失和所述第二软三元损失确定所述第二损失。
在又一种可能实现的方式中,在所述依据所述第二硬分类损失、所述第二软分类损失和所述第二软三元损失确定所述第二损失之前,依据所述第九相似度和所述第十相似度确定第二硬三元损失;所述依据所述第二硬分类损失、所述第二软分类损失和所述第二软三元损失确定所述第二损失,包括:依据所述第二硬分类损失、所述第二软分类损失、所述第二软三元损失和所述第二硬三元损失确定所述第二损失。
在又一种可能实现的方式中,所述经所述第i次第一迭代的所述第二待训练神经网络对所述训练图像集中的第一图像进行处理获得第三分类结果,包括:对所述训练图像集进行第二预处理,获得第四图像集,所述第二预处理包括擦除处理、剪裁处理、翻转处理中的任意一种;经所述第i次第一迭代的所述第二待训练神经网络对所述第四图像集中的第三图像进行处理获得所述第三分类结果,所述第三图像通过对所述第一图像进行所述第二预处理获得,所述第三图像在所述第四特征数据集中的特征数据与所述第一图像在所述第四特征数据集中的数据相同,所述第一预处理与所述第二预处理不同。
在又一种可能实现的方式中,所述经第i次第一迭代的所述第二待训练神经网络对所述训练图像集进行处理获得第四特征数据集,包括:经所述第i次第一迭代的所述第二待训练神经网络对所述第四图像集进行处理获得所述第四特征数据集。
第三方面,提供了一种处理器,所述处理器用于执行如上述第一方面及其任意一种可能实现的方式的方法。
第四方面,提供了一种电子设备,包括:处理器、发送装置、输入装置、输出装置和存储器,所述存储器用于存储计算机程序代码,所述计算机程序代码包括计算机指令,当所述处理器执行所述计算机指令时,所述电子设备执行如上述第一方面及其任意一种可能实现的方式的方法。
第五方面,提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机程序,所述计算机程序包括程序指令,所述程序指令当被电子设备的处理器执行时,使所述处理器执行如上述第一方面及其任意一种可能实现的方式的方法。
第六方面,提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述第一方面及其任一种可能的实现方式的方法。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,而非限制本公开。
附图说明
为了更清楚地说明本申请实施例或背景技术中的技术方案,下面将对本申请实施例或背景技术中所需要使用的附图进行说明。
此处的附图被并入说明书中并构成本说明书的一部分,这些附图示出了符合本公开的实施例,并与说明书一起用于说明本公开的技术方案。
图1为本申请实施例提供的一种图像处理方法的流程示意图;
图2为本申请实施例提供的一种训练方法的示意图;
图3为本申请实施例提供的另一种图像处理方法的流程示意图;
图4为本申请实施例提供的另一种训练方法的示意图;
图5为本申请实施例提供的又一种训练方法的示意图;
图6为本申请实施例提供的另一种图像处理方法的流程示意图;
图7为本申请实施例提供的一种图像处理装置的结构示意图;
图8为本申请实施例提供的一种图像处理装置的硬件结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、***、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合,例如,包括A、B、C中的至少一种,可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或预备的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
得益于强大的性能,近几年神经网络被广泛应用于各种图像识别任务(如行人重识别、图像分类)。神经网络在这些任务中的表现效果很大程度取决于对神经网络的训练效果,而神经网络的训练效果又主要取决于训练神经网络的训练图像的数量,即训练图像的数量越多,神经网络的训练效果越好,进而应用训练后的神经网络执行相应图像识别的任务的效果也就越好。
训练图像指有标注信息(下文将称为标签)图像,例如,需要执行的任务为对图像中包含的内容进行分类,判断图像中包含的内容是苹果、香蕉、梨子、桃子、橙子、西瓜中的哪一种,那么上述标注信息包括苹果、香蕉、梨子、桃子、橙子、西瓜。又例如,需要执行的任务为行人重识别,即识别图像中包含的人物的身份,那么上述标注信息包括人物的身份(如张三、李四、王五、周六等)。
训练图像的标注信息越准确,神经网络的训练效果越好,因此,训练图像的标注图像与训练图像的真实内容的匹配度越高,训练效果就越好。例如,如果将包含梨子的图像标注为苹果就不正确。又例如,将包含张三的图像标注为李四也不正确。而标注信息不正确的训练图像会使训练效果变差,因此传统方法大多通过人工标注的方式完成对训练图像的标注。但是在训练图像的数量很大时,人工标注的方式效率低,人工成本高。因此,越来越多的人们通过无监督迁移学习的方式训练神经网络,即将通过已有的标注图像训练好的神经网络应用于未标注的图像上,以降低人工成本。
神经网络在上述标注图像上执行的任务和在上述未标注图像上执行的任务具有相关性,上述标注图像和上述未标注图像之间也存在相关性。举例来说(例1),通过A城市的监控摄像头采集大量阴天下包含行人的图像(下文将称为A地的图像),并通过对A地的图像中的行人的身份进行标注获得已标注数据,并使用已标注数据训练神经网络a,使训练后的神经网络a可以用于识别阴天在A地采集的图像中的行人的身份。现需要识别在B地采集的图像中的行人的身份,由于若通过使用对从B地采集的图像进行标注获得的图像训练一个新的神经网络(如神经网络b),需要耗费大量的人工成本,因此,可通过无监督迁移学习的方式调整训练后的神经网络a的参数,使训练后的神经网络a可用于识别从B地采集的图像中的行人的身份。神经网络a在已标注图像上执行的任务和在未标注图像(从B地采集的图像)上执行的任务均为行人身份的识别,而已标注图像和未标注图像均为包含行人的图像。
虽然已标注图像和未标注图像相关,但两者之间存在差异,这就导致无法将通过已标注图像训练获得的神经网络直接应用于未标注图像上。接着例1继续举例,已标注数据均为阴天采集的图像,从B地采集的图像包括阴天采集图像、晴天采集的图像、雨天采集的图像,而不同的天气采集的图像中的环境亮度不一样,不同的环境亮度对神经网络的识别准确率的影响较大,如通过在阴天采集的图像训练获得的神经网络对晴天采集的图像中的行人的身份的识别准确率低。此外,A地的监控摄像头的参数和B地的监控摄像头的参数也不一样(如拍摄的角度),这也将导致神经网络对不同摄像头采集到的图像中的行人的身份的识别的准确率不同,如,A地的监控摄像头的参数和B地的监控摄像头的参数也不一样,导致使用已标注数据训练获得的神经网络对从B地的采集的图像中的行人的身份的识别准确率低。
将包含上述标注图像的集合称为源域,将包含上述未标注图像的集合称为目标域,那么无监督迁移学习就是一种将在源域上训练好的神经网络应用于目标域上的神经网络的训练方式。
传统的无监督学习方法通过在源域上训练好的神经网络对目标域上的未标注图像进行识别,并给目标域上的未标注图像添加标签(下文将称为伪硬标签),再以伪硬标签监督在源域上训练好的神经网络,并调整在源域上训练好的神经网络的参数,获得应用于目标域上的神经网络(下文将称为应用神经网络)。由于伪硬标签存在误差,导致通过伪硬标签监督在源域上训练好的神经网络的效果不佳,进而导致应用神经网络在目标域上的特征提取效果不好,进一步导致在目标域上的应用效果差(如对行人的身份的识别准确率低)。应用本申请实施例提供的技术方案,可实现在上述传统方法的基础上,获得在目标域上的特征提取效果比应用神经网络在目标域上的特征提取效果更佳的神经网络,进而提升在目标域上的应用效果。
在对本申请实施例提供的技术方案进行详细阐述之前,首先定义几个概念。1.类内最难特征数据:标签相同的图像的特征数据中相似度最小的两个特征数据。2.类外最难特征数据:标签不同的图像的特征数据中相似度最大的两个特征数据。3.图像在特征数据集中的类内最难特征数据:该图像在该特征数据集中的特征数据的类内最难特征数据。4.图像在特征数据集中的类外最难特征数据:该图像在该特征数据集中的特征数据的类内最难特征数据。
举例来说,假定图像1的特征数据为特征数据1,图像2的特征数据为特征数据2,图像3的特征数据为特征数据3,图像4的特征数据为特征数据4,图像5的特征数据为特征数据5。图像1的标签与图像2的标签、图像3的标签相同,图像1的标签与图像4的标签、图像5的标签均不同。若特征数据1与特征数据2之间的相似度比特征数据1与特征数据3之间的相似度小,则特征数据3为特征数据1的类内最难特征数据。若特征数据1与特征数据4之间的相似度比特征数据1与特征数据5之间的相似度小,则特征数据5为特征数据1的类外最难特征数据。假定特征数据集1包含特征数据1、特征数据2、特征数据3、特征数据4、特征数据5,则图像1在特征数据集1中的类内最难特征数据为特征数据3,图像1在特征数据集1中的类外最难特征数据为特征数据5。
下面结合本申请实施例中的附图对本申请实施例进行描述。
请参阅图1,图1是本申请实施例(一)提供的一种图像处理方法的流程示意图。
101、获取待处理图像。
本实施例的执行主体可以是服务器、手机、电脑、平板电脑等终端。上述待处理图像可以是任意数字图像。例如,待处理图像可以包含人物对象,其中,待处理图像可以只包括人脸,并无躯干、四肢(下文将躯干和四肢称为人体),也可以只包括人体,不包括人体,还可以只包括下肢或上肢。本申请对待处理图像具体包含的人体区域不做限定。又例如,待处理图像可以包含动物。再例如,待处理图像可以包含植物。本申请对待处理图像中包含的内容不做限定。
获取待处理图像的方式可以是接收用户通过输入组件输入的待处理图像,其中,输入组件包括:键盘、鼠标、触控屏、触控板和音频输入器等。也可以是接收终端发送的待处理图像,其中,终端包括手机、计算机、平板电脑、服务器等。本申请对获取待处理图像的方式不做限定。
102、使用目标神经网络对上述待处理图像进行特征提取处理,获得上述待处理图像的目标特征数据。
上述目标神经网络为具备从图像中提取特征数据的功能的神经网络。例如,目标神经网络可以由卷积层、池化层、归一化层、全连接层、下采样层、上采样层、分类器等神经网络层按照一定方式堆叠或组成。本申请对目标神经网络的结构不做限定。
在一种可能实现的方式中,通过目标神经网络包括多层卷积层、归一化层,依次通过目标神经网络中的多层卷积层和归一化层对待处理图像进行卷积处理和归一化处理,可提取出待处理图像的特征数据,获得目标特征数据。
如上所述,由于传统方法中的伪硬标签是通过在源域上训练好的神经网络获得的,因此,通过伪硬标签监督在源域上训练好的神经网络,会使在源域上训练好的神经网络在训练过程中在学的不好的方向变得越来越差,进而导致应用神经网络在目标域上的应用效果差。
举例来说,在源域上训练好的神经网络对李四的识别准确率低,即将包含李四的图像识别为其他人的概率高。将包含李四的图像a输入至在源域上训练好的神经网络,获得的伪硬标签为王五,再以王五为监督数据监督在源域上训练好的神经网络的输出,并调整在源域上训练好的神经网络的参数。将使在源域上训练好的神经网络通过调整参数使从图像a中提取出的特征数据与王五的特征数据接近。这样,将导致使用最终获得的应用神经网络识别包含李四的图像时,提取出的特征数据均与王五的特征数据接近,进而导致将李四识别为王五。
鉴于传统方法中存在的上述缺陷,本申请考虑通过另一个在源域上训练好的神经网络(下文将称为监督神经网络)的输出监督应用神经网络的输出以提升应用神经网络在目标域上的应用效果。应用神经网络和监督神经网络虽然均为在源域上训练好的神经网络,但应用神经网络和监督神经网络的参数不同,也就是说,应用神经网络和监督神经网络对不同人的身份的识别的准确率不同。
举例来说(例2),应用神经网络对张三的识别准确率高,但对周六的识别准确率低。而监督神经网络对张三的识别准确率低,但对周六的识别准确率高。
因此,如果使用应用神经网络的输出和监督神经网络的输出进行相互监督,即使用应用神经网络的输出监督监督神经网络,使用监督神经网络的输出监督应用神经网络,可代替伪硬标签对应用神经网络的监督。但由于在相互监督的训练过程中,应用神经网络和监督神经网络的参数是同时更新的,这将导致应用神经网络的输出与监督神经网络的输出的相似度越来越高(下文将相互监督中存在的这个缺陷称为相关性缺陷)。进而在相互监督的训练过程中使监督神经网络学习到应用神经网络的“劣势”(如例2中应用神经网络对周六的身份的识别),并使应用神经网络学习到监督神经网络的“劣势”(如例2中监督神经网络对张三的身份的识别),即使应用神经网络的参数和第二神经网络的参数的相似度越来越高。这样将无法优化应用神经网络的参数,进而无法提升应用神经网络在目标域上的应用效果。
鉴于相互监督的训练过程中存在的相关性缺陷,本申请实施例提出了另一种训练方法,通过“隔离”应用神经网络和监督神经网络减小应用神经网络和监督神经网络之间的相关性,以减小相关性缺陷带来的影响,进而获得在目标域上效果比通过该种相互监督的方式训练获得的应用神经网络的效果好的目标神经网络。该种训练方法包括:通过第一神经网络的参数的时序平均值确定上述目标神经网络的参数,再通过目标神经网络的输出监督第二神经网络,同时通过第二神经网络的参数的时序平均值确定平均网络的参数,并以平均网络的输出监督第一神经网络,完成对上述目标神经网络的训练。其中,第一神经网络和第二神经网络均为在源域上训练好的神经网络,第一神经网络和第二神经网络均为具备从图像中提取特征数据的功能和依据特征数据进行分类的功能的神经网络,第一神经网络的结构和第二神经网络的结构可以相同,也可以不同,本申请对此不做限定。
如图2所示,目标神经网络的参数为第一神经网络的参数的时序平均值,该第一神经网络在训练图像集和平均网络的监督下训练获得,即以训练图像集中的图像的标签和平均网络的输出为监督数据监督第一神经网络的输出,并调整第一神经网络的参数。上述平均网络的参数为第二神经网络的参数的时序平均值,该第二神经网络在上述训练图像集和上述目标神经网络的监督下训练获得,即以训练图像集中的图像的标签和目标神经网络的输出为监督数据监督第二神经网络的输出,并调整第二神经网络的参数。
将训练图像集分别输入至第一神经网络、第二神经网络、目标神经网络和平均网络,依据图2所示的监督关系监督第一神经网络和第二神经网络完成多个周期的训练,可更新目标神经网络的参数,直到图2中的四个网络(包括第一神经网络、第二神经网络、目标神经网络和平均网络)均收敛停止训练。
在上述对图2中的四个网络进行训练的过程中,每完成一个训练周期,上述四个网络的参数均会更新。其中,目标神经网络的参数为第一神经网络的参数的时序平均值指目标神经网络的参数为不同训练周期的第一神经网络的参数的平均值,平均网络的参数为第二神经网络的参数的时序平均值指平均网络的参数为不同训练周期的第二神经网络的参数的平均值。
需要理解的是,不同训练周期的第一神经网络的参数的平均值用于反应第一神经网络在已完成的训练周期下获得的平均性能,具体确定目标神经网络的参数时,可以不局限于通过计算不同训练周期的第一神经网络的参数的平均值来确定。同理,具体确定平均网络的参数时,可以不局限于通过计算不同训练周期的第二神经网络的参数的平均值来确定。
在一种可能实现的方式中,通过下式可以确定目标神经网络的参数:
ET(γ1)=αET-1(γ1)+(1-α)γ1 T…公式(1)
其中,ET(θ1)为目标神经网络在第T个训练周期中的参数,ET-1(γ1)为目标神经网络在第T-1个训练周期中的参数,γ1 T为第一神经网络在第T个训练周期中的参数,α为大于或等于0且小于1的自然数,E0(γ1)=E1(γ1)=γ1 1。
在另一种可能实现的方式中,通过计算不同训练周期的第一神经网络的参数的平均值可确定目标神经网络的参数。
举例来说,假设进行第k个周期的训练前第一神网络的参数为Ek(θ),进行第k个周期的训练前第一神网络的参数为Ek+1(θ),则目标神经网络在第k+1个周期的训练前的参数为:Ek(σ)=(Ek(θ)+Ek(θ))/2。
同理,可通过上述两种可能实现的方式确定平均网络的参数。
在本申请实施例提供的训练方法的训练过程中,第一神经网络的参数通过监督训练获得,即通过监督数据的监督分别确定第一神经网络的损失和第二神经网络的损失,并基于第一神经网络的损失确定第一神经网络反向传播的梯度,再通过反向传播的方式传播该梯度,更新第一神经网络的参数。同理,第二神经网路的参数也是通过反向梯度传播的方式实现更新。而目标神经网络和平均网络的参数均不是通过反向梯度传播的方式更新,而是通过不同训练周期的第一神经网络的参数的平均值和不同训练周期的第二神经网络的参数的平均值分别确定目标神经网络的参数和平均网络的参数。因此,目标神经网络的参数和平均网络的参数的更新速度比第一神经网络的参数和第二神经网络的参数的更新速度慢,也就是说,目标神经网络的输出和第二神经网络的输出之间的相似度低,平均网络的输出和第一神经网络的输出之间的相似度低。这样,再通过目标神经网络的输出和平均网络的输出监督分别监督第二神经网络和第一神经网络,可使第二神经网络学***均网络的“优势”。而由于目标神经网络的参数可反应第一神经网络在已完成的训练周期下获得的平均性能,平均网络的参数可反应第二神经网络在已完成的训练周期下获得的平均性能,使第二神经网络学***均网络的“优势”就相当于使第一神经网络学***均值确定目标神经网络的参数,可使训练获得的目标神经网络在目标域上的效果比应用神经网络在目标域上的效果好。
上述“优势”指神经网络对某个类别或个体的识别准确率高。例如例2中应用神经网络对周六的身份的识别,以及监督神经网络对张三的身份的识别。
本实施通过确定第一神经网络的参数的时序平均值和第二神经网络的时序平均值,分别获得目标神经网络的参数和平均网络的参数,再使用目标神经网络的输出监督第二神经网络,使用平均网络的输出监督第一神经网络对目标神经网络进行训练,可提升训练效果。进而使用目标神经网络在目标域上执行相关的识别任务时,可提取出信息更丰富的目标特征数据,该信息可提高在目标域上的识别准确率。
下面将详细阐述实施例(一)中的训练方法的实现过程,请参阅图3,图3是本申请实施例(二)提供的102的一种可能实现的方法的流程示意图。
301、获取上述训练图像集、第一待训练神经网络和第二待训练神经网络。
本实施例的执行主体可以是服务器,电脑。本实施例的执行主体可以与实施例(一)的执行主体不同,也可以相同。
本实施例中,训练图像集可通过图4所示的传统方法获得。如图4所示,向在源域上训练好的第三神经网络输入多张未标注的目标域上的图像(下文将称为待处理图像集),通过第三神经网络对待处理图像集中的图像进行特征提取处理,获得包含待处理图像集中的图像的特征数据的第三特征数据集,再通过聚类算法将待处理图像集中的图像的特征数据进行区分,获得预定数量个集合,并给每个集合中的特征数据对应的图像添加伪硬标签。
在一种可能实现的方式中,对第三神经网络执行y次第二迭代,可获得上述训练图像集,其中,y为正整数。上述y次第二迭代中的第t次第二迭代包括:
从待处理图像集中采样获得第二图像集,经第t次第二迭代的第三神经网络对第二图像集中的图像进行处理,获得包含第二图像集中的图像的特征数据的第三特征数据集以及包含第二图像集中的图像的分类结果的分类结果集。对第三特征数据集中的特征数据进行聚类处理确定第三特征数据集中的特征数据的标签,将第三特征数据集中的特征数据的标签添加至所述第二图像集中对应的图像中,获得第三图像集。依据分类结果集中的分类结果与第三图像集中的图像的标签之间的差异,确定第三损失。基于第三损失调整第t次第二迭代的第三神经网络的参数,获得第t+1次第二迭代的第三神经网络的参数。
在第t+1次第二迭代中,再从待处理图像集中采样获得第三图像集,其中,第三图像集中的图像与第二图像集中的图像不同。再以第t次第二迭代的第三神经网络对第二图像集的处理获得第二图像集中的图像的标签以及第t+1次第二迭代的第三神经网络的参数的方法,使用第t+1次第二迭代的第三神经网络对第三图像集进行处理,获得第三图像集中的图像的标签,以及第t+2次第二迭代的第三神经网络。直到给待处理图像集中所有图像的添加上标签,获得训练图像集。其中,第1次第二迭代的第三神经网络即为第三神经网络。
以第1次第二迭代为例(例3),从待处理图像集中采样获得5张包含人物对象的图像,分别为图像a、图像b、图像c、图像d、图像e。将这5张图像输入至第三神经网络获得这5张图像的特征数据,并通过聚类算法按这5张图像的特征数据表征的人物对象的身份将这5张图像分为3类,获得3个集合。分别是由图像a和图像e组成的第一集合,由图像b组成的第二集合,由图像c和图像d组成的第三集合。确定第一集合中的图像包含的人物对象的身份为张三,给图像a和图像e分别添加的伪硬标签为[1,0,0],表征图像a中的人物对象的身份和图像e中的人物对象的身份均属于第一类(张三)。确定第二集合中的图像包含的人物对象的身份为李四,给图像b添加的伪硬标签为[0,1,0],表征图像b中的人物对象的身份均属于第二类(李四)。确定第三集合中的图像包含的人物对象的身份为王五,给图像c和图像d分别添加的伪硬标签为[0,0,1],表征图像c中的人物对象的身份和图像d中的人物对象的身份均属于第三类(王五)。
同时,第三神经网络中的分类器依据这些图像的特征数据,预测图像所属的类别(下文将称为预测结果),并将依据预测结果和伪硬标签之间的差异,确定总的预备硬分类损失。
在一种可能实现的方式中,通过分别计算待处理图像集中每张图像的预测结果与标签之间差异获得预备硬分类损失,并求待处理图像集中所有图像的预备硬分类损失的平均值可确定总的预备硬损失。接着例3继续举例(例4),第三神经网络的分类器输出的图像a的预测类别为[0.7,0.2,0.1],表征图像a中的人物对象的身份是张三的概率为0.7,图像a中的人物对象的身份是李四的概率为0.2,图像a中的人物对象的身份是王五的概率为0.1。通过计算预测类别([0.7,0.2,0.1])和伪硬标签([1,0,0])之间的交叉熵损失即可确定图像a的预备硬分类损失。再以同样的方式可确定图像b、图像c、图像d和图像e的硬分类损失,再计算图像a的预备硬分类损失、图像b的硬分类损失、图像c的预备硬分类损失、图像d的硬分类损失和图像e的预备硬分类损失的平均值获得总的预备硬分类损失。
同时还将依据待处理图像集中的图像的特征数据确定待处理图像集中每张图像的预备硬三元损失,并计算待处理图像集中每张图像的预备硬三元损失的平均值确定总的预备硬三元损失。接着例4继续举例,在计算图像a的预备硬三元损失时,首先分别计算与图像a属于同一类的图像的特征数据中与图像a的特征数据之间的相似度(下文将称为正相似度),分别计算与图像a属于不同类的图像的特征数据中与图像a的特征数据之间的相似度(下文将称为负相似度),并依据正相似度的最小值和负相似度的最大值确定预备硬三元损失。再以同样的方式可确定图像b、图像c、图像d和图像e的预备硬三元损失,再计算图像a的预备硬三元损失、图像b的硬三元损失、图像c的预备硬三元损失、图像d的硬三元损失和图像e的预备硬三元损失的平均值获得总的预备硬三元损失。
再对总的预备硬分类损失和总的预备硬三元损失进行加权求和,获得第三损失。基于第三损失调整第三神经网络的参数,获得第2次第二迭代的第三神经网络。直到给待处理图像集中的所有图像添加标签(即伪硬标签),获得训练图像集。
上述第一待训练神经网络和上述第二待训练神经网络均为在源域上训练好的神经网络,第一待训练神经网络和第二待训练神经网络均为具备从图像中提取特征数据的功能和依据特征数据进行分类的功能的神经网络,第一待训练神经网络的结构和第二待训练神经网络的结构可以相同,也可以不同,本申请对此不做限定。
302、对上述第一待训练神经网络和上述第二待训练神经网络执行x次第一迭代,获得目标神经网络。
请参与图5,图5为本实施例提供的上述x次第一迭代中的第i次第一迭代的训练示意图,第i次第一迭代包括:以上述训练图像集和第i次第一迭代的平均网络的输出监督第i次第一迭代的所述第一待训练神经网络获得第i+1次第一迭代的第一待训练神经网络,以上述训练图像集和第i次第一迭代的目标神经网络的输出监督第i次第一迭代的第二待训练神经网络,获得第i+1次第一迭代的第二待训练神经网络。
在一种可能实现的方式中,以训练图像集监督第i次第一迭代的第一待训练神经网络获得第i+1次第一迭代的第一待训练神经网络,以及以训练图像集监督第i次第一迭代的第二待训练神经网络获得第i+1次第一迭代的第二待训练神经网络可包括以下步骤:经第i次第一迭代的第一待训练神经网络对上述第一图像进行处理获得第一分类结果,经第i次第一迭代的平均网络对上述第一图像进行处理获得第二分类结果,经第i次第一迭代的第二待训练神经网络对上述第一图像进行处理获得第三分类结果,经第i次第一迭代的训练前的目标神经网络对上述第一图像进行处理获得第四分类结果。再依据第一分类结果和第一图像的第一标签(即步骤301中获得的伪硬标签)之间的差异,确定第i次第一迭代的第一待训练神经网络的第一硬分类损失,依据第三分类结果和第一标签之间的差异确定第i次第一迭代的第二待训练神经网络的第二硬分类损失。以第一硬分类损失监督第i次第一迭代的第一待训练神经网络和以第二硬分类损失监督第i次第一迭代的第二待训练神经网络,实现通过训练图像集监督第i次第一迭代的第一待训练神经网络和第i次第一迭代的第二待训练神经网络。依据第一分类结果和第二分类结果之间的差异,确定第i次第一迭代的第一待训练神经网络的第一软分类损失,依据第三分类结果和第四分类结果之间的差异,确定第i次第一迭代的训练前的第二神经网络的第二软分类损失。以第一软分类损失监督第i次第一迭代的第一待训练神经网络和以第二软分类损失监督第i次第一迭代的第二待训练神经网络,实现以第i次第一迭代的平均网络监督第i次第一迭代的第一待训练神经网络和以第i次第一迭代的目标神经网络监督第i次第一迭代的第二待训练神经网络。再对第一硬分类损失和第一软分类损失进行加权求和,获得第i次第一迭代的第一待训练神经网络的第一损失,对第二硬分类损失和第二软分类损失进行加权求和,获得第i次第一迭代的第二待训练神经网络的第二损失。再基于第一损失调整第i次第一迭代的第一待训练神经网络的参数,获得第i+1次第一迭代的第一待训练神经网络。基于第二损失调整第i次第一迭代的第二待训练神经网络的参数,获得第i+1次第一迭代的第二待训练神经网络。在执行第i次第一迭代之前,可依据第i-1次第一迭代的目标神经网络的参数和上述第i次第一迭代的第一待训练神经网络的参数确定上述第i次第一迭代的目标神经网络的参数,以及依据第i-1次第一迭代的平均网络的参数和上述第i次第一迭代的第二待训练神经网络的参数确定上述第i次第一迭代的平均网络的参数。在一种可能实现的方式中,在第i+1次第一迭代中,即可依据下面两个公式分别确定第i+1次第一迭代的目标神经网络的参数,以及第i+1次第一迭代的平均网络的参数:
Ei+1(θ1)=αEi(θ1)+(1-α)θ1 i+1…公式(2)
Ei+1(θ2)=αEi(θ2)+(1-α)θ2 i+1…公式(3)
其中,Ei+1(θ1)为第i+1次第一迭代的目标神经网络的参数,Ei(θ1)为第i次第一迭代的目标神经网络的参数,Ei+1(θ2)为第i+1次第一迭代的平均网络的参数,Ei(θ2)为第i次第一迭代的平均网络的参数。θ1 i+1为第i+1次第一迭代的第一待训练神经网络的参数,θ2 i+1为第i+1次第一迭代的第二待训练神经网络的参数。α为大于或等于0且小于1的自然数,E2(θ1)=E1(θ1)=θ1 1,E2(θ2)=E1(θ2)=θ2 1。上述x为正整数,上述i为小于或等于x的正整数。
在确定第i+1次第一迭代的第一待训练神经网络的参数,第i+1次第一迭代的第二待训练神经网络的参数,第i+1次第一迭代的目标神经网络的参数和第i+1次第一迭代的平均网络的参数后,执行第i+1次迭代。在执行完第x次迭代后,调整第x次第一迭代的目标神经网络的参数获得目标神经网络。
以第1次迭代为例,假设训练图像集包含图像1,图像2和图像3,其中,图像1的伪硬标签为[1,0],经第1次第一迭代的第一待训练神经网络(即第一待训练神经网络)对上述训练图像集中的图像1(即第一图像)进行处理获得的分类结果为[0.7,0.3],经第1次第一迭代的第二待训练神经网络(即第二待训练神经网络)对上述图像1进行处理获得的分类结果为[0.8,0.2],经第1次第一迭代的目标神经网络(即第一待训练神经网络)对图像1进行处理获得的分类结果为[0.7,0.3],经第1次第一迭代的平均网络(即第二待训练神经网络)对图像1进行处理获得的分类结果为[0.8,0.2]。计算[1,0]和[0.7,0.3]之间的交叉熵损失获得第一硬分类损失,计算[1,0]和[0.8,0.2]之间的交叉熵损失获得第二硬分类损失,计算[0.7,0.3]和[0.7,0.3]之间的差异获得第一软分类损失,计算[0.8,0.2]和[0.8,0.2]之间的差异获得第二软分类损失。再对第一硬分类损失和第一软分类损失加权求和,获得第一损失,对第二硬分类损失和第二软分类损失加权求和,获得第二损失。基于第一损失调整第一待训练神经网络的参数,获得第2次迭代的第一待训练神经网络,基于第二损失调整第二待训练神经网络的参数,获得第2次迭代的第二待训练神经网络。
可选的,在第i次迭代中,在对第一硬分类损失和第一软分类损失进行加权求和获得第一损失以及对第二硬分类损失和第二软分类损失进行加权求和获得第二损失之前,还可确定i次第一迭代的第一待训练神经网络的第一硬三元损失,以及i次第一迭代的第二待训练神经网络的第二硬三元损失。再对第一硬分类损失、第一软分类损失和第一硬三元损失进行加权求和获得第一损失,对第二硬分类损失、第二软分类损失和第二硬三元损失进行加权求和获得第二损失。
在一种可能实现的方式中,经第i次第一迭代的第一待训练神经网络对上述训练图像集进行处理获得第一特征数据集,经第i次第一迭代的第二待训练神经网络对上述训练图像集进行处理获得第四特征数据集。确定上述第一图像在上述第一特征数据集中的第一特征数据与上述第一特征数据集中的正样本特征数据子集中的特征数据之间的最小相似度,获得第一相似度,确定上述第一图像在上述第四特征数据集中的第三特征数据与上述第四特征数据集中的正样本特征数据子集中的特征数据之间的最小相似度,获得第九相似度。确定第一特征数据与第一特征数据集中的负样本特征数据子集中的特征数据之间的最大相似度,获得第三相似度,确定第三特征数据与第四特征数据集中的负样本特征数据子集中的特征数据之间的最大相似度,获得第十相似度。再依据第一相似度和第三相似度可确定第一硬三元损失,依据第九相似度和第十相似度可确定第二硬三元损失。其中,负样本特征数据子集包括具有与上述第一标签不同的标签的图像的特征数据,正样本特征数据子集包括具有与上述第一标签相同的标签的图像的特征数据。
举例来说(例5),训练图像集包含图像1,图像2,图像3,图像4,图像5。其中,图像1,图像3和图像5中的标签均为张三,图像2和图像4中的标签均为李四。第一特征数据集包括图像1的特征数据(第一特征数据),图像2的特征数据(下文将称为特征数据2),图像3的特征数据(下文将称为特征数据3),图像4的特征数据(下文将称为特征数据4),图像5的特征数据(下文将称为特征数据5)。第四特征数据集包括图像1的特征数据(第三特征数据),图像2的特征数据(下文将称为特征数据6),图像3的特征数据(下文将称为特征数据7),图像4的特征数据(下文将称为特征数据8),图像5的特征数据(下文将称为特征数据9)。第一特征数据集中的正样本特征数据子集包括特征数据3和特征数据5,第一特征数据集中的负样本特征数据子集包括特征数据2和特征数据4。第四特征数据集中的正样本特征数据子集包括特征数据7和特征数据9,第四特征数据集中的负样本特征数据子集包括特征数据6和特征数据8。分别计算第一特征数据与特征数据2、特征数据3、特征数据4和特征数据5之间的相似度,假设第一特征数据与特征数据3之间的相似度小于第一特征数据与特征数据5之间的相似度,则第一特征数据与特征数据3之间的相似度为第一相似度。假设第一特征数据与特征数据2之间的相似度小于第一特征数据与特征数据4之间的相似度,则第一特征数据与特征数据4之间的相似度为第三相似度。分别计算第三特征数据与特征数据6、特征数据7、特征数据8和特征数据9之间的相似度,假设第三特征数据与特征数据7之间的相似度小于第二特征数据与特征数据9之间的相似度,则第三特征数据与特征数据7之间的相似度为第九相似度。假设第三特征数据与特征数据6之间的相似度小于第三特征数据与特征数据8之间的相似度,则第三特征数据与特征数据8之间的相似度为第十相似度。再依据公式(4)可确定第一特征数据、特征数据3和特征数据4之间的第一硬三元损失,根据公式(5)确定第二特征数据、特征数据7和特征数据8之间的第二硬三元损失:
L1=max(0,d1+m-d3)…公式(4)
L2=max(0,d9+m-d10)…公式(5)
其中,max(A,B)为A和B中的最大值,d1为第一相似度,d3为第三相似度,d9为第九相似度,d10为第十相似度,m为大于0且小于1的自然数。
将正样本特征数据子集中与第一特征数据之间的相似度最小的特征数据称为第一特征数据的类内最难特征数据,将负样本特征数据子集中与第一特征数据之间的相似度最大的特征数据称为第一特征数据的类外最难特征数据。同理,可确定训练图像集中的其他图像(包括图像2,图像3,图像4,图像5)在第一特征数据集中的特征数据在第一特征数据子集中的正样本特征数据子集中的类内最难特征数据和类外最难特征数据,进而可根据每张图像在第一特征数据集中的特征数据,类内最难特征数据和类外最难特征数据确定每张图像的第一待训练神经网络的硬三元损失。同理,可根据训练图像集中每张图像在第四特征数据集中的特征数据,类内最难特征数据和类外最难特征数据确定每张图像的第二待训练神经网络的硬三元损失。
可选的,在确定训练图像集中的每张图像的第一待训练神经网络的硬三元损失和第二待训练神经网络的硬三元损失后,将训练图像集中所有的第一待训练神经网络的硬三元损失的平均值作为第一硬三元损失,将训练图像集中所有图像的第二待训练神经网络的硬三元损失的平均值作为第二硬三元损失。
通过第一硬三元损失监督第i次第一迭代的第一待训练神经网络,可使第i次第一迭代的第一待训练神经网络将提高属于同一类的图像的特征数据之间的相似度,并降低属于不同类的图像的特征数据之间的相似度。以更好的区分不同类别的图像,提高对图像类别的识别准确率。同理,通过第二硬三元损失监督第i次第一迭代的第二待训练神经网络,可提高第i次第一迭代的第二待训练神经网络从图像中提取特征的效果,获得包含更丰富的图像信息的特征数据。
本实施例依据第一硬分类损失、第一软分类损失和第一硬三元确定第一损失,依据第二硬分类损失、第二软分类损失和第二硬三元确定第二损失。再基于第一损失调整第i次第一迭代的第一待训练神经网络,基于第二损失调整第i次第一迭代的第二待训练神经网络,实现通过训练图像和第i次第一迭代的平均网络监督第i次第一迭代的第一待训练神经网络,以及通过训练图像和第i次第一迭代的训练前的目标网络监督第i次第一迭代的第二待训练神经网络。
实施例(二)中的第i次迭代通过训练图像集中的图像的标签确定正样本特征数据子集和负样本特征数据子集,而该标签为通过步骤301中的传统方法获得的伪硬标签。由于伪硬标签为独热编码(one-hot)处理后的数据,即伪硬标签中的数值非0即1,因此伪硬标签存在较大误差,因此通过伪硬标签确定的正样本子集和负样本子集也存在较大误差,进而导致第i次第一迭代后获得的第i+1次第一迭代的第一待训练神经网络在目标域上的特征提取效果不佳,进而导致在目标域上的识别准确率低。
举例来说(例6),训练图像集中图像的标签包含两个类别(张三和李四),由于伪硬标签中的数值非0即1,因此训练图像集中的图像中的人物对象要么是张三,要么是李四。假设训练图像集中的图像1中的人物对象为张三,图像1的伪硬标签表征的类别为张三,图像2中的人物对象为李四,但图像2的伪硬标签表征的类别为张三,图像3中的人物对象为张三,但图像3的伪硬标签表征的类别为李四。图像1在第一特征数据集中的特征数据为特征数据a,图像2在第一特征数据集中的特征数据为特征数据b,图像3在第一特征数据集中的特征数据为特征数据c。特征数据a的类内最难特征数据为特征数据b,特征数据a的类外最难特征数据为特征数据c。通过特征数据a、特征数据b和特征数据c确定的第一硬三元损失监督第i次第一迭代的第一待训练神经网络调整第i次第一迭代的第一待训练神经网络,使第i次第一迭代的第一待训练神经网络提高从图像1中提取出的特征数据和从图像2中提取出的特征数据之间的相似度,并降低从图像1中提取出的特征数据和从图像2中提取出的特征数据之间的相似度,获得第i+1次第一迭代的第一待训练神经网络。而图像1中的人物对象(张三)和图像2中的人物对象(李四)不是同一个人,若提高图像1的特征数据与图像2的特征数据之间的相似度显然会导致第i+1次第一迭代的第一待训练神经网络对张三或李四的识别准确率低。同理,图像1中的人物对象(张三)和图像3中的人物对象(张三)是同一个人,若降低图像1的特征数据与图像3的特征数据之间的相似度显然会导致第i+1次第一迭代的第一待训练神经网络对张三或李四的识别准确率低。
为减小如例6中伪硬标签带来的影响,本申请实施例提供了一种通过软标签监督第i次第一迭代的第一待训练神经网络,获得第一软三元损失的方法。通过第一软三元损失监督第i次第一迭代的第一待训练神经网络以提高第i+1次第一迭代的第一待训练神经网络的识别准确率,进而提高目标神经网络的识别准确率。
请参阅图6,图6为本申请实施例(三)提供另一种图像处理方法的流程图。
601、经第i次第一迭代的平均网络对上述训练图像集进行处理获得第二特征数据集,经第i次第一迭代的训练前的目标网络对上述训练图像集进行处理获得第五特征数据集。
602、依据上述第一特征数据集、上述第二特征数据集、上述第四特征数据集和上述第五特征数据集获得第一软三元损失和第二软三元损失。
确定上述第一图像在第二特征数据集中的第二特征数据与第二特征数据集中的正样本特征数据子集中的特征数据之间的最小相似度,获得第二相似度,确定第二特征数据与第二特征数据集中的负样本特征数据子集中的特征数据之间的最大相似度,获得第四相似度。确定上述第一图像在第五特征数据集中的第四特征数据与第五特征数据集中的正样本特征数据子集中的特征数据之间的最小相似度,获得第十一相似度,确定第四特征数据与第五特征数据集中的负样本特征数据子集中的特征数据之间的最大相似度,获得第十二相似度。
需要理解的是,本申请实施例中不同特征数据集中的正样本特征数据子集包含的特征数据不同,不同特征数据集中的负样本特征数据子集包含的特征数据也不同。
由于伪硬标签中的数值非0即1导致对训练图像集中的图像的类别的划分“太绝对”,进而导致第i+1次第一迭代的第一待训练神经网络在目标域上的特征提取效果不佳。本实施例通过分别对第一相似度、第二相似度、第三相似度、第四相似度、第九相似度、第十相似度、第十一相似度和第十二相似度进行归一化处理,将第一相似度、第二相似度、第三相似度、第四相似度、第九相似度、第十相似度、第十一相似度和第十二相似度转化为0至1之间的数值,并通过归一化处理后获得的相似度之间的差异确定第i次第一迭代的第一待训练神经网络的第一软三元损失和第i次第一迭代的第二待训练神经网络的第二软三元损失,以提高第i+1次第一迭代的第一待训练神经网络在目标域上的特征提取效果。
在一种可能实现的方式中,通过确定第二相似度和第四相似度的和获得第一总相似度,确定第一相似度和第三相似度的和获得第二总相似度,确定第九相似度和第十相似度的和获得第三总相似度,确定第十一相似度和第十二相似度的和获得第四总相似度。计算第二相似度与第一总相似度的商获得第五相似度,计算第四相似度与第一总相似度的商获得第六相似度,计算第一相似度与第二总相似度的商获得第七相似度,计算第三相似度与第二总相似度的商获得第八相似度,计算第九相似度与第三总相似度的商获得第十三相似度,计算第十相似度与第二总相似度的商获得第十四相似度,计算第十一相似度与第四总相似度的商获得第十五相似度,计算第十二相似度与第四总相似度的商获得第十六相似度。完成对第一相似度、第二相似度、第三相似度、第四相似度、第九相似度、第十相似度、第十一相似度和第十二相似度的归一化处理。再将第五相似度和第六相似度作为第i次第一迭代的第一待训练神经网络的监督数据(即软标签)调整第i次第一迭代的第一待训练神经网络的参数,将第十五相似度和第十六相似度作为第i次第一迭代的第二待训练神经网络的监督数据(即软标签)调整第i次第一迭代的第二待训练神经网络的参数。即依据第五相似度与第七相似度之间的差异以及第六相似度与第八相似度之间的差异确定第一软三元损失,依据第十三相似度与第十五相似度之间的差异以及第十四相似度与第十六相似度之间的差异确定第二软三元损失。
可选的,依据训练图像集中的每张图像在第二特征数据集中的类内最难特征数据与每张图像在第二特征数据集中的特征数据之间的相似度,以及在第二特征数据集中的类外最难特征数据与每张图像在第二特征数据集中的特征数据之间的相似度,确定每张图像的第i次第一迭代的平均网络的软三元损失。依据训练图像集中的每张图像在第五特征数据集中的类内最难特征数据与每张图像在第五特征数据集中的特征数据之间的相似度,以及在第五特征数据集中的类外最难特征数据与每张图像在第五特征数据集中的特征数据之间的相似度,确定每张图像的第i次第一迭代的目标神经网络的软三元损失。再计算训练图像集中的所有图像的第i次第一迭代的平均网络的软三元损失的平均值获得第一软三元损失,计算训练图像集中的所有图像的第i次第一迭代的目标神经网络的软三元损失的平均值获得第二软三元损失。
通过对第一相似度、第二相似度、第三相似度、第四相似度、第九相似度、第十相似度、第十一相似度和第十二相似度进行归一化处理获得的大小在0至1之间的相似度比伪硬标签更接近于真实的数据分布,因此将归一化处理后的相似度作为监督数据可提高目标神经网络的识别准确率。
例如,待处理图像集中包含10张图像,经步骤401的处理,按待处理图像集中的图像中的人物对象的身份将待处理图像集中的图像分为张三和李四,其中,包含的人物对象的身份的伪硬标签为张三的图像(下文将称为第一类图像)和包含的人物对象的身份的伪硬标签为李四的图像(下文将称为第二类图像)各有5张图像。但第一类图像中的图像1的人物对象的真实身份为李四,第二类图像中的图像2的人物对象的真实身份为张三。也就是说第一类图像中包含4张人物对象的身份为张三的图像,1张人物对象的身份为李四的图像,对于第一类图像而言真实标签的分布应该是[0.8,0.2]。其中,[0.8,0.2]表征第一类图像中包含的人物对象的身份为张三的图像的数量在第一类图像的总数量的占比为0.8,第一类图像中包含的人物对象的身份为李四的图像的数量在第一类图像的总数量的占比为0.2。同理,对第二类图像而言真实标签的分布应该是[0.2,0.8]。其中,[0.2,0.8]表征第二类图像中包含的人物对象的身份为张三的图像的数量在第二类图像的总数量的占比为0.2,第二类图像中包含的人物对象的身份为李四的图像的数量在第二类图像的总数量的占比为0.8。但第一类图像的伪硬标签为[1,0],第二类图像的伪硬标签为[0,1],这显然不符合第一类图像的真实标签的分布和第二类图像的真实标签的分布。而通过本实施例提供的方法获得的软标签是0至1之间的数值,更符合第一类图像的真实标签的分布和第二类图像的真实标签的分布,因此以软标签为监督数据监督第i次迭代的第一待训练神经网络和第i次迭代的第二待训练神经网络,可提高最终获得的目标神经网络的在目标域上的特征提取效果。
可选的,本申请实施例中的相似度可以是欧式距离,也可以是余弦相似度,本申请对此不做限定。
可选的,在将训练图像集输入至第i次第一迭代的第一待训练神经网络,第i次第一迭代的第二待训练神经网络,第i次第一迭代的目标神经网络和第i次第一迭代的平均神经网络之前,可对训练图像集中的图像进行第一预处理获得第一图像集,再将第一图像集输入至第i次第一迭代的第一待训练神经网络获得第一特征数据集,将第一图像集输入至第i次第一迭代的目标神经网络获得第五特征数据集。其中,第一预处理包括擦除处理、剪裁处理、翻转处理中的任意一种。
通过对训练图像集进行第一预处理可减小在训练过程中,第i次第一迭代的第一待训练神经网络,第i次第一迭代的第二待训练神经网络第二待训练神经网络,第i次第一迭代的目标神经网络和第i次第一迭代的平均网络出现过拟合的概率。
可选的,在对训练图像集进行第一预处理的同时,还可对训练图像集进行第二预处理获得第四图像集。其中,第二预处理包括擦除处理、剪裁处理、翻转处理中的任意一种,且第一预处理和第二预处理不同。将第四图像集输入至第i次第一迭代的第二待训练神经网络获得第四特征数据集,将第四图像集输入至第i次第一迭代的平均网络获得第二特征数据集。
通过对训练图像集同时进行第一预处理和第二预处理可进一步减小在训练过程中,第i次第一迭代的第一待训练神经网络,第i次第一迭代的第二待训练神经网络第二待训练神经网络,第i次第一迭代的目标神经网络和第i次第一迭代的平均网络出现过拟合的概率。
举例来说(例7),训练图像集包含图像1和图像2,对图像1进行剪裁处理获得图像3,对图像2进行擦除处理(擦除图像2中的任意一块区域)获得图像4,并将图像3和图像4作为第一图像集。对图像1进行翻转处理获得图像5,对图像2进行剪裁处理获得图像6,并将图像5和图像6作为第四图像集。将图像3和图像4输入至第i次第一迭代的第一待训练神经网络获得包含图像3的特征数据和图像4的特征数据的第一特征数据集,将图像3和图像4输入至第i次第一迭代的目标神经网络分别获得包含图像3的特征数据和图像4的特征数据的第五特征数据集,将图像5和图像6输入至第i次第一迭代的第二待训练神经网络分别包含图像5的特征数据和图像6的特征数据的第四特征数据集,将图像5和图像6输入至第i次第一迭代的平均网络获得包含图像5的特征数据和图像6的特征数据的第二特征数据集。
对训练图像集中的第一图像进行第一预处理获得第二图像,对第一图像进行第二预处理获得第四图像,第二图像和第四图像的图像内容不同,但第二图像和第四图像的标签相同。接着例7继续举例,图像1的标签,图像3的标签和图像5的标签均相同,图像2的标签,图像4的标签和图像6的标签均相同。
再经第i次第一迭代的第一待训练神经网络对第二图像进行处理可获得第一分类结果,经第i次第一迭代的目标神经网络对第二图像进行处理可获得第四分类结果,经第i次第一迭代的第二待训练神经网络对第四图像进行处理可获得第三分类结果,经第i次第一迭代的平均网络对第二图像进行处理可获得第二分类结果。
经第i次第一迭代的第一待训练神经网络对第一图像集的处理获得的第一特征数据集中的特征数据与经第i次第一迭代的第一待训练神经网络对训练图像集的处理获得的第一特征数据集中的特征数据不同。此时,前文所提到的训练图像集中的图像在第一特征数据集(或第二特征数据集或第四特征数据集或第五特征数据集)中的类内最难特征数据指经过第一预处理或第二预处理后的图像在第一特征数据集(或第二特征数据集或第四特征数据集或第五特征数据集)中的类内最难特征数据,训练图像集中的图像在第一特征数据集(或第二特征数据集或第四特征数据集或第五特征数据集)中的类外最难特征数据指经过第一预处理或第二预处理后的图像在第一特征数据集(或第二特征数据集或第四特征数据集或第五特征数据集)中的类外最难特征数据。
需要理解的是,本申请实施例中的第一待训练神经网络、第一神经网络和第i次第一迭代的第一待训练神经网络的结构相同,但参数不同。第二待训练神经网络、第二神经网络和第i次第一迭代的第二待训练神经网络的结构相同,但参数不同。目标网络和第i次第一迭代的目标神经网络的结构相同,但参数不同。平均网络和第i次第一迭代的训练前的平均神经网络的结构相同,但参数不同。图4中所示的第i次第一迭代的第一待训练神经网络的输出包括第一分类结果和第一特征数据集,第i次第一迭代的目标神经网络的输出包括第四分类结果和第五特征数据集,第i次第一迭代的第二待训练神经网络的输出包括第三分类结果和第四特征数据集,第i次第一迭代的平均网络的输出包括第二分类结果和第二特征数据集。
可选的,若由于执行本申请所提供的技术方案的设备的硬件资源不足,无法在一次第一迭代或第二迭代中处理完训练图像集中所有的图像,可从训练图像集中采样获得样本图像集,并将样本图像集作为一次第一迭代或一次第二迭代的训练数据。
603、依据上述第一硬分类损失、上述第一软分类损失、上述第一软三元损失和上述第一硬三元损失确定第一损失,依据上述第二硬分类损失、上述第二软分类损失、上述第二软三元损失和上述第二硬三元损失确定第二损失。
对第一硬三元损失、第一硬分类损失、第一软三元损失和第一软分类损失进行加权求和获得第一损失,对第二硬三元损失、第二硬分类损失、第二软三元损失和第二软分类损失进行加权求和获得第二损失。其中,加权求和的权重可根据实际使用情况进行调整,本申请对此不做限定。
应用本实施例提供的技术方案可依据第一特征数据集、第二特征数据集、第四特征数据集和第五特征数据集获得软标签,以软标签监督第i次迭代的第一待训练神经网络和第i次迭代的第二待训练神经网络可获得第一软三元损失和第二软三元损失。基于第一软三元损失调整第i次迭代的第一待训练神经网络的参数获得第i+1次迭代的第一待训练神经网络,基于第二软三元损失调整第i次迭代的第二待训练神经网络,可提高第i+1次迭代的第一待训练神经网络在目标域上的识别准确率和第i+1次迭代的第二待训练神经网络在目标域上的特征提取的效果,进而可提高目标神经网络在目标域上的识别准确率。
本申请实施例还提供了基于实施例(一)获得的待处理图像的目标特征数据进行图像检索的应用场景。即使用上述目标特征数据检索数据库,获得具有与上述目标特征数据匹配的特征数据的图像,作为目标图像。
上述数据库可以在获取待处理图像之前建立,数据库包括图像和图像的特征数据,其中,图像的特征数据与目标神经网络在目标域上执行的任务有关。例如,使用目标神经网络识别目标域内的图像中的人物对象的身份,图像的特征数据包括图像中的人物对象的特征包括人物对象的服饰属性、外貌特征和其他可用于识别人物对象的身份的特征。服饰属性包括所有装饰人体的物品的特征中的至少一种(如上衣颜色、裤子颜色、裤子长度、帽子款式、鞋子颜色、打不打伞、箱包类别、有无口罩、口罩颜色)。外貌特征包括体型、性别、发型、发色、年龄段、是否戴眼镜、胸前是否抱东西。其他可用于识别人物对象的身份的特征包括:姿态、视角、步幅、环境亮度。又例如,使用目标神经网络识别目标域内的图像中包含苹果、梨子、桃子中的哪一种水果,图像的特征数据包括可苹果的特征信息或梨子的特征信息或桃子的特征信息。
由于数据库中的每张图像均具有特征数据,因此,使用目标特征数据检索数据库,从数据库中确定与目标特征数据匹配的特征数据,即确定目标特征数据与数据库中的图像的特征数据的相似度,并将相似度达到阈值的图像的特征数据作为与目标特征数据匹配的特征数据,进而确定目标图像。需要理解的是,目标图像的数量可以是一张,也可以是多张。
本领域技术人员可以理解,在具体实施方式的上述方法中,各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定,各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
上述详细阐述了本申请实施例的方法,下面提供了本申请实施例的装置。
请参阅图7,图7为本申请实施例提供的一种图像处理装置的结构示意图,该装置1包括:获取单元11、处理单元12以及检索单元13,其中:
获取单元11,用于获取待处理图像;
特征提取处理单元12,用于使用目标神经网络对所述待处理图像进行特征提取处理,获得所述待处理图像的目标特征数据,所述目标神经网络的参数为第一神经网络的参数的时序平均值,所述第一神经网络在训练图像集和平均网络的监督下训练获得,所述平均网络的参数为第二神经网络的参数的时序平均值,所述第二神经网络在所述训练图像集和所述目标神经网络的监督下训练获得。
在一种可能实现的方式中,所述第一神经网络在训练图像集和平均网络的监督下训练获得,包括:获取所述训练图像集、第一待训练神经网络和第二待训练神经网络;对所述第一待训练神经网络和所述第二待训练神经网络执行x次第一迭代,获得所述第一神经网络和第二神经网络,所述x为正整数;所述x次第一迭代中的第i次第一迭代包括:以所述训练图像集和第i次第一迭代的所述平均网络的输出监督第i次第一迭代的所述第一待训练神经网络获得第i+1次第一迭代的所述第一待训练神经网络,以所述训练图像集和第i次第一迭代的所述目标神经网络的输出监督第i次第一迭代的所述第二待训练神经网络,获得第i+1次第一迭代的所述第二待训练神经网络;所述目标神经网络的参数为第一神经网络的参数的时序平均值,包括:依据第i-1次第一迭代的所述目标神经网络的参数和所述第i次第一迭代的所述第一待训练神经网络的参数确定所述第i次第一迭代的所述目标神经网络的参数,所述i为小于或等于所述x的正整数;在所述i=1的情况下,所述第i-1次第一迭代的所述目标神经网络的参数与所述第一待训练神经网络的参数相同。
在另一种可能实现的方式中,所述以所述训练图像集和第i次平均网络的输出监督第i次第一迭代的所述第一待训练神经网络,获得第i+1次第一迭代的所述第一待训练神经网络,包括:经所述第i次第一迭代的所述第一待训练神经网络对所述训练图像集进行处理获得第一特征数据集,经所述第i次第一迭代的所述平均网络对所述训练图像集进行处理获得第二特征数据集;依据所述第一特征数据集和所述第二特征数据集获得第一软三元损失;以所述训练图像集和所述第一软三元损失监督所述第i次第一迭代的所述第一待训练神经网络,获得所述第i+1次第一迭代的所述第一待训练神经网络。
在又一种可能实现的方式中,所述依据所述第一特征数据集和所述第二特征数据集获得第一软三元损失,包括:确定所述训练图像集中的第一图像在所述第一特征数据集中的第一特征数据与所述第一特征数据集中的正样本特征数据子集中的特征数据之间的最小相似度,获得第一相似度;确定所述第一图像在所述第二特征数据集中的第二特征数据与所述第二特征数据集中的所述正样本特征数据子集中的特征数据之间的最小相似度,获得第二相似度,所述正样本特征数据子集包括具有与所述第一图像的第一标签相同的标签的图像的特征数据;确定所述第一特征数据与所述第一特征数据集中的负样本特征数据子集中的特征数据之间的最大相似度,获得第三相似度;确定所述第二特征数据与所述第二特征数据集中的所述负样本特征数据子集中的特征数据之间的最大相似度,获得第四相似度,所述负样本特征数据子集包括具有与所述第一标签不同的标签的图像的特征数据;分别对所述第一相似度、所述第二相似度、所述第三相似度和所述第四相似度进行归一化处理,获得第五相似度、第六相似度、第七相似度和第八相似度;依据所述第五相似度,所述第六相似度,所述第七相似度和所述第八相似度,获得所述第一软三元损失。
在又一种可能实现的方式中,所述分别对所述第一相似度、所述第二相似度、所述第三相似度和所述第四相似度进行归一化处理,获得第五相似度、第六相似度、第七相似度和第八相似度,包括:确定所述第二相似度和所述第四相似度的和获得第一总相似度,确定所述第一相似度和所述第三相似度的和获得第二总相似度;确定所述第二相似度与所述第一总相似度的商获得所述第五相似度,确定所述第四相似度与所述第一总相似度的商获得所述第六相似度;确定所述第一相似度与所述第二总相似度的商获得所述第七相似度,确定所述第三相似度与所述第二总相似度的商获得所述第八相似度。
在又一种可能实现的方式中,所述以所述训练图像集和所述第一软三元损失监督所述第i次第一迭代的所述第一待训练神经网络,获得所述第i+1次第一迭代的所述第一待训练神经网络,包括:经所述第i次第一迭代的所述第一待训练神经网络对所述第一图像进行处理获得第一分类结果;依据所述第一分类结果、所述第一标签和所述第一软三元损失确定所述第i次第一迭代的所述第一待训练神经网络的第一损失;基于所述第一损失调整所述第i次第一迭代的所述第一待训练神经网络的参数获得所述第i+1次第一迭代的所述第一待训练神经网络。
在又一种可能实现的方式中,所述依据所述第一分类结果、所述第一标签和所述第一软三元损失确定所述第i次第一迭代的所述第一待训练神经网络的第一损失,包括:依据所述第一分类结果和所述第一标签之间的差异确定第一硬分类损失;依据所述第一硬分类损失和所述第一软三元损失确定所述第一损失。
在又一种可能实现的方式中,在所述依据所述第一硬分类损失和所述第一软三元损失确定所述第一损失之前,经所述第i次第一迭代的所述平均网络对所述第一图像进行处理获得第二分类结果;依据所述第一分类结果和所述第二分类结果之间的差异确定第一软分类损失;所述依据所述第一硬分类损失和所述第一软三元损失确定所述第一损失,包括:依据所述第一硬分类损失、所述第一软分类损失和所述第一软三元损失确定所述第一损失。
在又一种可能实现的方式中,在所述依据所述第一硬分类损失、所述第一软分类损失和所述第一软三元损失确定所述第一损失之前,依据所述第一相似度和所述第三相似度确定第一硬三元损失;所述依据所述第一硬分类损失、所述第一软分类损失和所述第一软三元损失确定所述第一损失,包括:依据所述第一硬分类损失、所述第一软分类损失、所述第一软三元损失和所述第一硬三元损失确定所述第一损失。
在又一种可能实现的方式中,所述经所述第i次第一迭代的所述第一待训练神经网络对所述训练图像集中的第一图像进行处理获得第一分类结果第一待训练神经网络,包括:对所述训练图像集进行第一预处理,获得第一图像集,所述第一预处理包括擦除处理、剪裁处理、翻转处理中的任意一种;经所述第i次第一迭代的所述第一待训练神经网络对所述第一图像集中的第二图像进行处理获得所述第一分类结果,所述第二图像通过对所述第一图像进行所述第一预处理获得,所述第二图像在所述第一特征数据集中的特征数据与所述第一图像在所述第一特征数据集中的数据相同。
在又一种可能实现的方式中,所述经第i次第一迭代的所述第一待训练神经网络对所述训练图像集进行处理获得第一特征数据集,包括:经所述第i次第一迭代的所述第一待训练神经网络对所述第一图像集进行处理获得所述第一特征数据集。
在又一种可能实现的方式中,所述获取单元11具体用于:获取待处理图像集和第三神经网络;对所述第三神经网络执行y次第二迭代,获得所述训练图像集,所述y为正整数;所述y次第二迭代中的第t次第二迭代包括:从所述待处理图像集中采样获得第二图像集,经第t次第二迭代的第三神经网络对所述第二图像集中的图像进行处理,获得包含所述第二图像集中的图像的特征数据的第三特征数据集以及包含所述第二图像集中的图像的分类结果的分类结果集;对所述第三特征数据集中的特征数据进行聚类处理确定所述第三特征数据集中的特征数据的标签,将所述第三特征数据集中的特征数据的标签添加至所述第二图像集中对应的图像中,获得第三图像集;依据所述分类结果集中的分类结果与所述第三图像集中的图像的标签之间的差异,确定第三损失;基于所述第三损失调整所述第t次第二迭代的第三神经网络的参数,获得第t+1次第二迭代的第三神经网络的参数,所述t为小于所述y的正整数。
在又一种可能实现的方式中,所述装置还包括:检索单元13,用于使用所述目标特征数据检索数据库,获得具有与所述目标特征数据匹配的特征数据的图像,作为目标图像。
本实施通过确定第一神经网络的参数的时序平均值和第二神经网络的时序平均值,分别获得目标神经网络的参数和平均网络的参数,再使用目标神经网络的输出监督第二神经网络,使用平均网络的输出监督第一神经网络对目标神经网络进行训练,可提升训练效果。进而使用目标神经网络在目标域上执行相关的识别任务时,可提取出信息更丰富的目标特征数据,该信息可提高在目标域上的识别准确率。
在一些实施例中,本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法,其具体实现可以参照上文方法实施例的描述,为了简洁,这里不再赘述。
图8为本申请实施例提供的一种图像处理装置的硬件结构示意图。该图像处理装置2包括处理器21,存储器22,输入装置23,输出装置24。该处理器21、存储器22、输入装置23和输出装置24通过连接器相耦合,该连接器包括各类接口、传输线或总线等等,本申请实施例对此不作限定。应当理解,本申请的各个实施例中,耦合是指通过特定方式的相互联系,包括直接相连或者通过其他设备间接相连,例如可以通过各类接口、传输线、总线等相连。
处理器21可以是一个或多个图形处理器(graphics processing unit,GPU),在处理器21是一个GPU的情况下,该GPU可以是单核GPU,也可以是多核GPU。可选的,处理器21可以是多个GPU构成的处理器组,多个处理器之间通过一个或多个总线彼此耦合。可选的,该处理器还可以为其他类型的处理器等等,本申请实施例不作限定。
存储器22可用于存储计算机程序指令,以及用于执行本申请方案的程序代码在内的各类计算机程序代码。可选地,存储器包括但不限于是随机存储记忆体(random accessmemory,RAM)、只读存储器(read-only memory,ROM)、可擦除可编程只读存储器(erasableprogrammable read only memory,EPROM)、或便携式只读存储器(compact disc read-only memory,CD-ROM),该存储器用于相关指令及数据。
输入装置23用于输入数据和/或信号,以及输出装置24用于输出数据和/或信号。输出装置23和输入装置24可以是独立的器件,也可以是一个整体的器件。
可理解,本申请实施例中,存储器22不仅可用于存储相关指令,还可用于存储相关图像,如该存储器22可用于存储通过输入装置23获取的待搜索神经网络,又或者该存储器22还可用于存储通过处理器21搜索获得的目标神经网络等等,本申请实施例对于该存储器中具体所存储的数据不作限定。
可以理解的是,图8仅仅示出了一种图像处理装置的简化设计。在实际应用中,图像处理装置还可以分别包含必要的其他元件,包含但不限于任意数量的输入/输出装置、处理器、存储器等,而所有可以实现本申请实施例的图像处理装置都在本申请的保护范围之内。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的***、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。所属领域的技术人员还可以清楚地了解到,本申请各个实施例描述各有侧重,为描述的方便和简洁,相同或类似的部分在不同实施例中可能没有赘述,因此,在某一实施例未描述或未详细描述的部分可以参见其他实施例的记载。
在本申请所提供的几个实施例中,应该理解到,所揭露的***、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者通过所述计算机可读存储介质进行传输。所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriberline,DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,数字通用光盘(digital versatiledisc,DVD))、或者半导体介质(例如固态硬盘(solid state disk,SSD))等。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,该流程可以由计算机程序来指令相关的硬件完成,该程序可存储于计算机可读取存储介质中,该程序在执行时,可包括如上述各方法实施例的流程。而前述的存储介质包括:只读存储器(read-only memory,ROM)或随机存储存储器(random access memory,RAM)、磁碟或者光盘等各种可存储程序代码的介质。
Claims (10)
1.一种图像处理方法,其特征在于,所述方法包括:
获取待处理图像;
使用目标神经网络对所述待处理图像进行特征提取处理,获得所述待处理图像的目标特征数据,所述目标神经网络的参数为第一神经网络的参数的时序平均值,所述第一神经网络在训练图像集和平均网络的监督下训练获得,所述平均网络的参数为第二神经网络的参数的时序平均值,所述第二神经网络在所述训练图像集和所述目标神经网络的监督下训练获得。
2.根据权利要求1所述的方法,其特征在于,所述第一神经网络在训练图像集和平均网络的监督下训练获得,包括:
获取所述训练图像集、第一待训练神经网络和第二待训练神经网络;
对所述第一待训练神经网络和所述第二待训练神经网络执行x次第一迭代,获得所述第一神经网络和第二神经网络,所述x为正整数;
所述x次第一迭代中的第i次第一迭代包括:
以所述训练图像集和第i次第一迭代的所述平均网络的输出监督第i次第一迭代的所述第一待训练神经网络获得第i+1次第一迭代的所述第一待训练神经网络,以所述训练图像集和第i次第一迭代的所述目标神经网络的输出监督第i次第一迭代的所述第二待训练神经网络,获得第i+1次第一迭代的所述第二待训练神经网络;
所述目标神经网络的参数为第一神经网络的参数的时序平均值,包括:
依据第i-1次第一迭代的所述目标神经网络的参数和所述第i次第一迭代的所述第一待训练神经网络的参数确定所述第i次第一迭代的所述目标神经网络的参数,所述i为小于或等于所述x的正整数;
在所述i=1的情况下,所述第i-1次第一迭代的所述目标神经网络的参数与所述第一待训练神经网络的参数相同。
3.根据权利要求2所述的方法,其特征在于,所述以所述训练图像集和第i次平均网络的输出监督第i次第一迭代的所述第一待训练神经网络,获得第i+1次第一迭代的所述第一待训练神经网络,包括:
经所述第i次第一迭代的所述第一待训练神经网络对所述训练图像集进行处理获得第一特征数据集,经所述第i次第一迭代的所述平均网络对所述训练图像集进行处理获得第二特征数据集;
依据所述第一特征数据集和所述第二特征数据集获得第一软三元损失;
以所述训练图像集和所述第一软三元损失监督所述第i次第一迭代的所述第一待训练神经网络,获得所述第i+1次第一迭代的所述第一待训练神经网络。
4.根据权利要求3所述的方法,其特征在于,所述依据所述第一特征数据集和所述第二特征数据集获得第一软三元损失,包括:
确定所述训练图像集中的第一图像在所述第一特征数据集中的第一特征数据与所述第一特征数据集中的正样本特征数据子集中的特征数据之间的最小相似度,获得第一相似度;确定所述第一图像在所述第二特征数据集中的第二特征数据与所述第二特征数据集中的所述正样本特征数据子集中的特征数据之间的最小相似度,获得第二相似度,所述正样本特征数据子集包括具有与所述第一图像的第一标签相同的标签的图像的特征数据;
确定所述第一特征数据与所述第一特征数据集中的负样本特征数据子集中的特征数据之间的最大相似度,获得第三相似度;确定所述第二特征数据与所述第二特征数据集中的所述负样本特征数据子集中的特征数据之间的最大相似度,获得第四相似度,所述负样本特征数据子集包括具有与所述第一标签不同的标签的图像的特征数据;
分别对所述第一相似度、所述第二相似度、所述第三相似度和所述第四相似度进行归一化处理,获得第五相似度、第六相似度、第七相似度和第八相似度;
依据所述第五相似度,所述第六相似度,所述第七相似度和所述第八相似度,获得所述第一软三元损失。
5.根据权利要求4所述的方法,其特征在于,所述分别对所述第一相似度、所述第二相似度、所述第三相似度和所述第四相似度进行归一化处理,获得第五相似度、第六相似度、第七相似度和第八相似度,包括:
确定所述第二相似度和所述第四相似度的和获得第一总相似度,确定所述第一相似度和所述第三相似度的和获得第二总相似度;
确定所述第二相似度与所述第一总相似度的商获得所述第五相似度,确定所述第四相似度与所述第一总相似度的商获得所述第六相似度;
确定所述第一相似度与所述第二总相似度的商获得所述第七相似度,确定所述第三相似度与所述第二总相似度的商获得所述第八相似度。
6.根据权利要求5所述的方法,其特征在于,所述以所述训练图像集和所述第一软三元损失监督所述第i次第一迭代的所述第一待训练神经网络,获得所述第i+1次第一迭代的所述第一待训练神经网络,包括:
经所述第i次第一迭代的所述第一待训练神经网络对所述第一图像进行处理获得第一分类结果;
依据所述第一分类结果、所述第一标签和所述第一软三元损失确定所述第i次第一迭代的所述第一待训练神经网络的第一损失;
基于所述第一损失调整所述第i次第一迭代的所述第一待训练神经网络的参数获得所述第i+1次第一迭代的所述第一待训练神经网络。
7.一种图像处理装置,其特征在于,所述装置包括:
获取单元,用于获取待处理图像;
特征提取处理单元,用于使用目标神经网络对所述待处理图像进行特征提取处理,获得所述待处理图像的目标特征数据,所述目标神经网络的参数为第一神经网络的参数的时序平均值,所述第一神经网络在训练图像集和平均网络的监督下训练获得,所述平均网络的参数为第二神经网络的参数的时序平均值,所述第二神经网络在所述训练图像集和所述目标神经网络的监督下训练获得。
8.一种处理器,其特征在于,所述处理器用于执行如权利要求1至6中任意一项所述的方法。
9.一种电子设备,其特征在于,包括:处理器、发送装置、输入装置、输出装置和存储器,所述存储器用于存储计算机程序代码,所述计算机程序代码包括计算机指令,当所述处理器执行所述计算机指令时,所述电子设备执行如权利要求1至6中任一项所述的方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机程序,所述计算机程序包括程序指令,所述程序指令当被电子设备的处理器执行时,使所述处理器执行权利要求1至6中任意一项所述的方法。
Priority Applications (7)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910905445.7A CN110647938B (zh) | 2019-09-24 | 2019-09-24 | 图像处理方法及相关装置 |
SG11202010487PA SG11202010487PA (en) | 2019-09-24 | 2019-11-18 | Image processing method and related device |
JP2021500683A JP7108123B2 (ja) | 2019-09-24 | 2019-11-18 | 画像処理方法、画像処理装置、プロセッサ、電子機器、記憶媒体及びコンピュータプログラム |
PCT/CN2019/119180 WO2021056765A1 (zh) | 2019-09-24 | 2019-11-18 | 图像处理方法及相关装置 |
KR1020217019630A KR20210095671A (ko) | 2019-09-24 | 2019-11-18 | 이미지 처리 방법 및 관련 장치 |
TW108147607A TW202113692A (zh) | 2019-09-24 | 2019-12-25 | 圖像處理方法及其裝置、處理器、電子設備及電腦可讀儲存媒體 |
US17/077,251 US11429809B2 (en) | 2019-09-24 | 2020-10-22 | Image processing method, image processing device, and storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910905445.7A CN110647938B (zh) | 2019-09-24 | 2019-09-24 | 图像处理方法及相关装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110647938A true CN110647938A (zh) | 2020-01-03 |
CN110647938B CN110647938B (zh) | 2022-07-15 |
Family
ID=68992555
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910905445.7A Active CN110647938B (zh) | 2019-09-24 | 2019-09-24 | 图像处理方法及相关装置 |
Country Status (6)
Country | Link |
---|---|
JP (1) | JP7108123B2 (zh) |
KR (1) | KR20210095671A (zh) |
CN (1) | CN110647938B (zh) |
SG (1) | SG11202010487PA (zh) |
TW (1) | TW202113692A (zh) |
WO (1) | WO2021056765A1 (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111598124A (zh) * | 2020-04-07 | 2020-08-28 | 深圳市商汤科技有限公司 | 图像处理及装置、处理器、电子设备、存储介质 |
WO2021056765A1 (zh) * | 2019-09-24 | 2021-04-01 | 北京市商汤科技开发有限公司 | 图像处理方法及相关装置 |
US11429809B2 (en) | 2019-09-24 | 2022-08-30 | Beijing Sensetime Technology Development Co., Ltd | Image processing method, image processing device, and storage medium |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113222139B (zh) * | 2021-04-27 | 2024-06-14 | 商汤集团有限公司 | 神经网络训练方法和装置、设备,及计算机存储介质 |
CN113850826B (zh) * | 2021-09-27 | 2024-07-19 | 平安科技(深圳)有限公司 | 基于图像分割的心脏图像处理方法、装置、设备及介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019128367A1 (zh) * | 2017-12-26 | 2019-07-04 | 广州广电运通金融电子股份有限公司 | 基于Triplet Loss的人脸认证方法、装置、计算机设备和存储介质 |
CN110188829A (zh) * | 2019-05-31 | 2019-08-30 | 北京市商汤科技开发有限公司 | 神经网络的训练方法、目标识别的方法及相关产品 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6128609A (en) * | 1997-10-14 | 2000-10-03 | Ralph E. Rose | Training a neural network using differential input |
JP4599509B2 (ja) * | 2004-09-08 | 2010-12-15 | 独立行政法人理化学研究所 | 自己進化型パターン認識システム |
CN105894046B (zh) * | 2016-06-16 | 2019-07-02 | 北京市商汤科技开发有限公司 | 卷积神经网络训练及图像处理的方法和***、计算机设备 |
CN108229468B (zh) * | 2017-06-28 | 2020-02-21 | 北京市商汤科技开发有限公司 | 车辆外观特征识别及车辆检索方法、装置、存储介质、电子设备 |
CN108230359B (zh) * | 2017-11-12 | 2021-01-26 | 北京市商汤科技开发有限公司 | 目标检测方法和装置、训练方法、电子设备、程序和介质 |
US11216719B2 (en) * | 2017-12-12 | 2022-01-04 | Intel Corporation | Methods and arrangements to quantize a neural network with machine learning |
CN108197670B (zh) * | 2018-01-31 | 2021-06-15 | 国信优易数据股份有限公司 | 伪标签生成模型训练方法、装置及伪标签生成方法及装置 |
CN113743535B (zh) * | 2019-05-21 | 2024-05-24 | 北京市商汤科技开发有限公司 | 神经网络训练方法及装置以及图像处理方法及装置 |
CN110647938B (zh) * | 2019-09-24 | 2022-07-15 | 北京市商汤科技开发有限公司 | 图像处理方法及相关装置 |
-
2019
- 2019-09-24 CN CN201910905445.7A patent/CN110647938B/zh active Active
- 2019-11-18 SG SG11202010487PA patent/SG11202010487PA/en unknown
- 2019-11-18 WO PCT/CN2019/119180 patent/WO2021056765A1/zh active Application Filing
- 2019-11-18 KR KR1020217019630A patent/KR20210095671A/ko not_active Application Discontinuation
- 2019-11-18 JP JP2021500683A patent/JP7108123B2/ja active Active
- 2019-12-25 TW TW108147607A patent/TW202113692A/zh unknown
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019128367A1 (zh) * | 2017-12-26 | 2019-07-04 | 广州广电运通金融电子股份有限公司 | 基于Triplet Loss的人脸认证方法、装置、计算机设备和存储介质 |
CN110188829A (zh) * | 2019-05-31 | 2019-08-30 | 北京市商汤科技开发有限公司 | 神经网络的训练方法、目标识别的方法及相关产品 |
Non-Patent Citations (1)
Title |
---|
ZHONG ZHANG ET AL.: "Integration Convolutional Neural Network for Person Re-Identification in Camera Networks", 《SPECIAL SECTION ON MISSION CRITICAL SENSORS AND SENSOR NETWORKS(MC-SSN)》 * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021056765A1 (zh) * | 2019-09-24 | 2021-04-01 | 北京市商汤科技开发有限公司 | 图像处理方法及相关装置 |
US11429809B2 (en) | 2019-09-24 | 2022-08-30 | Beijing Sensetime Technology Development Co., Ltd | Image processing method, image processing device, and storage medium |
CN111598124A (zh) * | 2020-04-07 | 2020-08-28 | 深圳市商汤科技有限公司 | 图像处理及装置、处理器、电子设备、存储介质 |
WO2021203882A1 (zh) * | 2020-04-07 | 2021-10-14 | 深圳市商汤科技有限公司 | 姿态检测及视频处理方法、装置、电子设备和存储介质 |
CN111598124B (zh) * | 2020-04-07 | 2022-11-11 | 深圳市商汤科技有限公司 | 图像处理及装置、处理器、电子设备、存储介质 |
Also Published As
Publication number | Publication date |
---|---|
JP2022511221A (ja) | 2022-01-31 |
JP7108123B2 (ja) | 2022-07-27 |
TW202113692A (zh) | 2021-04-01 |
SG11202010487PA (en) | 2021-04-29 |
CN110647938B (zh) | 2022-07-15 |
WO2021056765A1 (zh) | 2021-04-01 |
KR20210095671A (ko) | 2021-08-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110647938B (zh) | 图像处理方法及相关装置 | |
US11429809B2 (en) | Image processing method, image processing device, and storage medium | |
CN111523621B (zh) | 图像识别方法、装置、计算机设备和存储介质 | |
Mou et al. | Vehicle instance segmentation from aerial image and video using a multitask learning residual fully convolutional network | |
CN110175527B (zh) | 行人再识别方法及装置、计算机设备及可读介质 | |
CN107633207B (zh) | Au特征识别方法、装置及存储介质 | |
Zhao et al. | Recurrent attention model for pedestrian attribute recognition | |
CN110458107B (zh) | 用于图像识别的方法和装置 | |
CN111709311B (zh) | 一种基于多尺度卷积特征融合的行人重识别方法 | |
CN107818314B (zh) | 脸部图像处理方法、装置及服务器 | |
CN109934198B (zh) | 人脸识别方法及装置 | |
CN108288051B (zh) | 行人再识别模型训练方法及装置、电子设备和存储介质 | |
CN109117777A (zh) | 生成信息的方法和装置 | |
CN110097000A (zh) | 基于局部特征聚合描述符和时序关系网络的视频行为识别方法 | |
CN112784763A (zh) | 基于局部与整体特征自适应融合的表情识别方法及*** | |
CN111950596A (zh) | 一种用于神经网络的训练方法以及相关设备 | |
US20210117687A1 (en) | Image processing method, image processing device, and storage medium | |
KR20210137213A (ko) | 이미지 처리 방법 및 장치, 프로세서, 전자 기기, 저장 매체 | |
CN111108508A (zh) | 脸部情感识别方法、智能装置和计算机可读存储介质 | |
CN115909407A (zh) | 一种基于人物属性辅助的跨模态行人重识别方法 | |
CN115169386A (zh) | 一种基于元注意力机制的弱监督增类活动识别方法 | |
CN117194652B (zh) | 一种基于深度学习的信息推荐*** | |
CN115240647A (zh) | 声音事件检测方法、装置、电子设备及存储介质 | |
CN111401519A (zh) | 一种基于物体内和物体间相似性距离的深层神经网络无监督学习方法 | |
Mao et al. | A Transfer Learning Method with Multi-feature Calibration for Building Identification |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40017529 Country of ref document: HK |
|
GR01 | Patent grant | ||
GR01 | Patent grant |