CN113486804B - 一种对象识别方法、装置、设备及存储介质 - Google Patents

一种对象识别方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN113486804B
CN113486804B CN202110769197.5A CN202110769197A CN113486804B CN 113486804 B CN113486804 B CN 113486804B CN 202110769197 A CN202110769197 A CN 202110769197A CN 113486804 B CN113486804 B CN 113486804B
Authority
CN
China
Prior art keywords
recognition model
sample
target
training sample
recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110769197.5A
Other languages
English (en)
Other versions
CN113486804A (zh
Inventor
奚昌凤
吴子扬
沙文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
iFlytek Co Ltd
Original Assignee
iFlytek Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by iFlytek Co Ltd filed Critical iFlytek Co Ltd
Priority to CN202110769197.5A priority Critical patent/CN113486804B/zh
Publication of CN113486804A publication Critical patent/CN113486804A/zh
Application granted granted Critical
Publication of CN113486804B publication Critical patent/CN113486804B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供了一种对象识别方法、装置、设备及存储介质，其中，识别方法包括：获取目标异质场景中的待识别图像；基于预先建立的多个识别模型中的一个，对待识别图像中的待识别对象进行识别，多个识别模型采用目标异质场景中的训练样本集训练得到，每个识别模型根据对应的预测损失进行参数更新，每个识别模型对应的预测损失根据训练样本集的目标分类结果确定，训练样本集的目标分类结果通过对训练样本集分别在多个识别模型上的分类结果融合得到，训练样本集在一识别模型上的分类结果根据从该识别模型针对训练样本集中每个样本确定的特征表示向量中提取的唯一性特征向量确定。本申请提供的对象识别方法对目标异质场景中的图像具有较好的识别效果。

Description

一种对象识别方法、装置、设备及存储介质
技术领域
本申请涉及数据处理技术领域，尤其涉及一种对象识别方法、装置、设备及存储介质。
背景技术
目前的对象识别技术主要聚焦于同质场景，即目前的对象识别方案主要为针对相同模态图像的识别方案，当应用该方案对异质场景中不同模态的图像进行识别时，由于异质场景中不同模态之间的差异性，导致目前的对象识别方案的识别效果不佳。
比如，目前的人脸识别方案关注的是同质场景中人脸图像(即相同模态的人脸图像)的识别，并未关注异质场景中不同模态之间的差异性，这导致利用目前的人脸识别方案对异质场景中的人脸图像进行识别时，相比于同质场景，识别效果明显下降。
发明内容
有鉴于此，本申请提供了一种对象识别方法、装置、设备及存储介质，用以解决目前的对象识别方案对于异质场景中的图像识别效果不佳的问题，其技术方案如下：
一种对象识别方法，包括：
获取目标异质场景中的待识别图像；
基于预先建立的多个识别模型中的一个，对所述待识别图像中的待识别对象进行识别；
其中，所述多个识别模型采用目标异质场景中的训练样本集以及所述训练样本集的目标分类结果训练得到，所述训练样本集的目标分类结果通过对所述训练样本集分别在所述多个识别模型上的分类结果融合得到，所述训练样本集在一识别模型上的分类结果根据从该识别模型针对所述训练样本集中每个样本确定的特征表示向量中提取的唯一性特征向量确定，所述唯一性特征向量为能够唯一表征对应样本中对象的特征向量。
可选的，所述基于预先建立的多个识别模型中的一个，对所述待识别图像中的待识别对象进行识别，包括：
基于所述多个识别模型中最优的识别模型，对所述待识别图像进行识别；
从所述多个识别模型中确定最优识别模型，包括：
将所述目标异质场景中的测试样本对输入每个识别模型，以得到每个识别模型针对所述测试样本对确定的两个特征表示向量，其中，所述测试样本对为同一对象的两个不同模态的图像；
计算每个识别模型针对所述测试样本对确定的两个特征表示向量的相似度，以得到分别对应于各识别模型的相似度；
根据分别对应于各识别模型的相似度，从所述多个识别模型中确定最优的识别模型。
可选的，建立所述多个识别模型的过程包括：
基于每个识别模型确定所述训练样本集中各样本分别对应的特征表示向量，以得到每个识别模型对应的特征表示向量集；
从每个识别模型对应的特征表示向量集中的每个特征表示向量中提取唯一性特征向量，以得到每个识别模型对应的唯一性特征向量集；
根据每个识别模型对应的唯一性特征向量集，对所述训练样本集中的样本进行分类，以得到所述训练样本集在每个识别模型上的分类结果；
将所述训练样本集分别在各识别模型上的分类结果进行融合，融合结果作为所述训练样本集的目标分类结果；
以所述训练样本集的目标分类结果为依据，确定每个识别模型的预测损失，并根据确定出的预测损失对对应的识别模型进行参数更新。
可选的，所述将所述训练样本集分别在各识别模型上的分类结果进行融合，包括：
对于由所述训练样本集中的样本组成的多个样本对中的每个样本对：
若所述训练样本集分别在各识别模型上的分类结果中，该样本对中的两个样本均属于同一类，则确定该样本对中的两个样本属于同一类，否则，确定该样本对中的两个样本属于不同类。
可选的，针对一待确定预测损失的目标识别模型，以所述训练样本集的目标分类结果为依据，确定所述目标识别模型的预测损失，包括：
获取所述训练样本集中各样本分别对应的三元组，其中，所述训练样本集中每个样本对应的三元组根据所述训练样本集的目标分类结果构建，一个样本对应的三元组包括该样本、与该样本属于同一类的样本以及与该样本属于不同类的样本；
根据所述训练样本集中各样本分别对应的三元组以及所述目标识别模型对应的唯一性特征向量集，确定所述目标识别模型的第一预测损失。
可选的，所述根据所述训练样本集中各样本分别对应的三元组以及所述目标识别模型对应的唯一性特征向量集，确定所述目标识别模型的第一预测损失，包括：
对于所述训练样本集中的每个样本：计算位于所述目标识别模型对应的唯一性特征向量集中，且与该样本对应的正例对对应的两个唯一性特征向量之间的距离，作为该样本在所述目标识别模型上对应的第一距离，并计算位于所述目标识别模型对应的唯一性特征向量集中，且与该样本对应的负例对对应的两个唯一性特征向量之间的距离，作为该样本在所述目标识别模型上对应的第二距离，其中，该样本对应的正例对由该样本和该样本对应的三元组中与该样本属于同一类的样本组成，该样本对应的负例对由该样本和该样本对应的三元组中与该样本属于不同类的样本组成；
根据所述训练样本集中各样本分别在所述目标识别模型上对应的第一距离、第二距离和距离阈值，确定所述目标识别模型的第一预测损失。
可选的，确定一样本在所述目标识别模型上对应的距离阈值的过程包括：
将除所述目标识别模型之外的其他每个识别模型均作为非目标识别模型，执行：
计算位于所述非目标识别模型对应的唯一性特征向量集中，且与该样本对应的正例对对应的两个唯一性特征向量之间的距离，作为该样本在所述非目标识别模型上对应的第一距离，并计算位于所述非目标识别模型对应的唯一性特征向量集中，且与该样本对应的负例对对应的两个唯一性特征向量之间的距离，作为该样本在所述非目标识别模型上对应的第二距离；
将该样本在所述非目标识别模型上对应的第二距离与该样本在所述非目标识别模型上对应的第一距离作差，计算得到的差值作为该样本在所述非目标识别模型上对应的距离差；
计算该样本分别在各非目标识别识别模型上对应的距离差的均值，并根据计算得到的均值，确定该样本在所述目标识别模型上对应的距离阈值。
可选的，所述以所述训练样本集的目标分类结果为依据，确定所述目标识别模型的预测损失，还包括：
根据所述训练样本集的目标分类结果以及所述目标识别模型对应的唯一性特征向量，确定所述训练样本集中各类样本的类中心；
根据所述目标识别模型对应的唯一性特征向量集和所述训练样本集中各类样本的类中心，确定所述目标识别模型的第二预测损失。
可选的，所述根据所述目标识别模型对应的唯一性特征向量集和所述训练样本集中各类样本的类中心，确定所述目标识别模型的第二预测损失，包括：
对于所述训练样本集中的每个样本：根据该样本对应的唯一性特征向量、该样本所属类的类中心以及与该样本所属类不同的类的类中心，确定所述目标识别模型在该样本上的预测损失；
根据所述目标识别模型分别在所述训练样本集中各样本上的预测损失，确定所述目标识别模型的第二预测损失。
可选的，所述根据该样本对应的唯一性特征向量、该样本所属类的类中心以及与该样本所属类不同的类的类中心，确定所述目标识别模型在该样本上的预测损失，包括：
根据该样本所属类的类中心重构图像，重构出的图像作为第一图像，并根据与该样本所属类不同的类的类中心重构图像，重构出的图像作为第二图像；
分别根据所述第一图像和所述第二图像获取唯一性特征向量；
根据该样本对应的唯一性特征向量，以及分别根据所述第一图像和所述第二图像获取的唯一性特征向量，确定所述目标识别模型在该样本上的预测损失。
可选的，所述待识别图像为异质人脸识别场景中的待识别人脸图像；
所述多个识别模型为多个人脸识别模型；所述目标异质场景中的训练样本集为异质人脸识别场景中的训练人脸图像集；从每个识别模型针对所述训练样本集中每个样本确定的特征表示向量中提取的唯一性特征向量为身份特征向量。
一种对象识别装置，包括：图像获取模块和图像识别模块；
所述图像获取模块，用于获取目标异质场景中的待识别图像；
所述图像识别模块，用于基于预先建立的多个识别模型中的一个，对所述待识别图像中的待识别对象进行识别；
其中，所述多个识别模型采用目标异质场景中的训练样本集训练得到，每个识别模型根据对应的预测损失进行参数更新，每个识别模型对应的预测损失根据所述训练样本集的目标分类结果确定，所述训练样本集的目标分类结果通过对所述训练样本集分别在所述多个识别模型上的分类结果融合得到，所述训练样本集在一识别模型上的分类结果根据从该识别模型针对所述训练样本集中每个样本确定的特征表示向量中提取的唯一性特征向量确定，所述唯一性特征向量为能够唯一表征对应样本中对象的特征向量。
一种对象识别设备，包括：存储器和处理器；
所述存储器，用于存储程序；
所述处理器，用于执行所述程序，实现上述任一项所述的对象识别方法的各个步骤。
一种可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现上述任一项所述的对象识别方法的各个步骤。
经由上述方案可知，本申请提供的对象识别方法、装置、设备及存储介质，在获得目标异质场景中的待识别图像后，可基于预先建立的多个识别模型中的一个，对待识别图像中的待识别对象进行识别，由于多个识别模型采用目标异质场景中的训练样本集以及训练样本集的目标分类结果训练得到，而训练样本集的目标分类结果通过对训练样本集分别在各识别模型上的分类结果融合得到，且训练样本集在每个识别模型上的分类结果根据从识别模型针对训练样本集中每个样本确定的特征表示向量中提取的唯一性特征向量确定，这意味着训练样本集的目标分类结果为比较准确的分类结果，因此，基于目标异质场景中的训练样本集的目标分类结果对多个识别模型进行训练，可以获得适用于目标异质场景且性能较佳的多个识别模型，基于训练得到的多个识别模型中的一个对目标异质场景中的待识别图像进行识别，可以获得较好的识别效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请实施例提供的对象识别方法的流程示意图；
图2为本申请实施例提供的建立多个识别模型的流程示意图；
图3为本申请实施例提供的多个识别模型的训练过程示意图；
图4为本申请实施例提供的对象识别装置的结构示意图；
图5为本申请实施例提供的对象识别设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
鉴于目前的对象识别方案对异质场景中的图像识别效果不佳，本案发明人试图提出一种对异质场景中的图像具有较好识别效果的方案，并为此进行了研究，起初的思路是：
获取目标异质场景中的无标签样本，基于聚类算法或分类模型对目标异质场景中的无标签样本进行分类，以得到目标异质场景中样本的伪标签，基于目标异质场景中的样本和目标异质场景中样本的伪标签对识别模型进行训练，利用训练得到的识别模型对目标异质场景中的待识别图像进行识别。
本案发明人通过研究发现，上述思路存在缺陷：聚类算法或分类模型自身的局限性，导致产生的伪标签中存在噪声，这使得最终的模型训练产生偏差。鉴于上述思路存在缺陷，本案发明人继续进行研究，通过不断研究，最终提出了一种效果较好的对象识别方案，该方案的基本思路是：
采用目标异质场景中的训练样本集(包含多个无标注图像)训练多个识别模型，在训练时，首先基于多个识别模型对训练样本集中的样本进行分类，以得到训练样本集分别在各识别模型上的分类结果，然后将各分类结果融合，利用融合结果，通过多个识别模型之间的相互学习，最终训练得到多个性能较佳的识别模型，训练结束后，利用训练得到的多个识别模型中的一个(比如最优的识别模型)对目标异质场景中的待识别图像进行识别。
本申请提供的对象识别方法适用于任何需要进行对象识别的异质场景(比如异质人脸识别场景)，其可应用于具有数据处理能力的电子设备，该电子设备可以为网络侧的服务器，也可以为用户侧使用的终端，比如PC、笔记本、PAD等。接下来通过下述实施例对本申请提供的对象识别方法进行介绍。
第一实施例
请参阅图1，示出了本申请实施例提供的对象识别方法的流程示意图，该方法可以包括：
步骤S101：获取目标异质场景中的待识别图像。
本实施例中的目标异质场景可以为异质人脸识别场景，相应的，待识别图像为人脸图像，当然，本实施例并不限定于此，比如，目标异质场景还可以为异质行人重识别场景、异质车牌识别场景等等。需要说明的是，本实施例中的目标异质场景为需要对多种不同模态的图像进行识别的场景，本实施例中不同模态的图像指的是不同视觉域的图像，比如，异质行人重识别场景中的图像包括可见光域的图像和红外域的图像，可见光域和红外域为不同的视觉域，可见光域的图像和红外域的图像即为不同模态的图像。
步骤S102：基于预先建立的多个识别模型中的一个，对待识别图像中的待识别对象进行识别。
其中，多个识别模型采用目标异质场景中的训练样本集以及训练样本集的目标分类结果训练得到，训练样本集的目标分类结果通过对训练样本集分别在多个识别模型上的分类结果融合得到，训练样本集在一识别模型上的分类结果根据从该识别模型针对训练样本集中每个样本确定的特征表示向量中提取的唯一性特征向量确定，唯一性特征向量为能够唯一表征对应样本中对象的特征向量。
若目标异质场景为异质人脸识别场景，则上述的多个识别模型为多个人脸识别模型，训练样本集为由多个无标注人脸图像组成的训练人脸图像集，从识别模型针对训练样本集中每个样本确定的特征表示向量中提取的唯一性特征向量为身份表征向量。
需要说明的是，初始的多个识别模型(即采用目标异质场景中的训练样本集以及训练样本集的目标分类结果训练之前的模型)为通过多个场景的训练样本训练得到的复杂识别模型，且具有较高的识别精度以及较好的泛化能力，另外，初始的多个识别模型的结构相同，即经由各识别模型确定的特征的维度相同。
在一种可能的实现方式中，可基于预先建立的多个识别模型中的任意一个，对待识别图像中的待识别对象进行识别，在另一种可能的实现方式中，可基于预先建立的多个识别模型中最优的识别模型，对待识别图像中的待识别对象进行识别。
其中，从多个识别模型中确定最优识别模型的过程包括：利用目标异质场景中的测试样本对测试每个识别模型的性能，将性能最好的识别模型确定为最优识别模型。具体的，将目标异质场景中的测试样本对输入每个识别模型，以得到每个识别模型针对测试样本对确定的两个特征表示向量；计算每个识别模型针对测试样本对确定的两个特征表示向量的相似度，以得到各识别模型分别对应的相似度；根据各识别模型分别对应的相似度，从多个识别模型中确定最优的识别模型。可选的，测试样本对可以为一个，也可以为多个，若测试样本对为一个，则每个识别模型对应的相似度为一个，最终将最大相似度对应的识别模型确定为最优的识别模型，若测试样本对为多个，比如为N个，则每个识别模型对应的相似度为N个，在一种可能的实现方式中，可将每个识别模型对应的相似度求均值，以得到每个识别模型对应的相似度均值，最终将相似度均值最大的识别模型确定为最优的识别模型，在另一种可能的实现方式中，针对每个测试样本对，根据各识别模型分别在该测试样本上对应的相似度确定最优的识别模型(在该测试样本上的最大相似度对应的识别模型确定为最优的识别模型)，以得到N个最优识别模型确定结果，最终将被确定为最优识别模型的次数最多的识别模型确定为最终的最优识别模型，比如，有5个测试样本对，3个识别模型，根据3个识别模型分别在第1个测试样本对上对应的相似度确定的最优识别模型为识别模型1，根据3个识别模型分别在第2个测试样本对上对应的相似度确定的最优识别模型为识别模型2，根据3个识别模型分别在第3个测试样本对上对应的相似度确定的最优识别模型为识别模型1，根据3个识别模型分别在第4个测试样本对上对应的相似度确定的最优识别模型为识别模型3，根据3个识别模型分别在第5个测试样本上对应的相似度确定的最优识别模型为识别模型1，由于识别模型1被确定为最优识别模型的次数最多，因此，最终将识别模型1确定为最优的识别模型。需要说明的是，测试样本对为同一对象的不同模态(即不同视觉域)的两幅图像，比如，测试样本对可以为同一对象的可见光域的人脸图像和红外域的人脸图像。
需要说明的，测试样本对也可以为不同对象的不同模态的两幅图像，这种情况下，需要将上述的“最大相似度”、“相似度均值最大”等替换为“最小相似度”、“相似度均值最小”。
本申请提供的对象识别方法，在获得目标异质场景中的待识别图像后，可基于预先建立的多个识别模型中的一个，对待识别图像中的待识别对象进行识别，由于多个识别模型采用目标异质场景中的训练样本集以及训练样本集的目标分类结果训练得到，而训练样本集的目标分类结果通过对训练样本集分别在各识别模型上的分类结果融合得到，且训练样本集在每个识别模型上的分类结果根据从识别模型针对训练样本集中每个样本确定的特征表示向量中提取的唯一性特征向量确定，这意味着训练样本集的目标分类结果为比较准确的分类结果，因此，基于目标异质场景中的训练样本集的目标分类结果对多个识别模型进行训练，可以获得适用于目标异质场景且性能较佳的多个识别模型，基于训练得到的多个识别模型中的一个对目标异质场景中的待识别图像进行识别，可以获得较好的识别效果。
第二实施例
经由上述实施例可知，待识别图像基于预先建立的多个识别模型中的一个进行识别，本实施例重点对建立多个识别模型的过程进行介绍。
请参阅图2，示出了建立多个识别模型的流程示意图，可以包括：
步骤S201：从训练样本总集中获取预设个训练样本组成训练样本集。
其中，训练样本总集中包括目标异质场景中的多幅无标注图像。
步骤S202：分别基于各识别模型对训练样本集中的样本进行分类，以得到训练样本集分别在各识别模型上的分类结果。
由于基于各识别模型对训练样本集中的样本进行分类的过程相同，本实施例以一个模型Mk(K个识别模型中的第k个识别模型)为例，对基于识别模型Mk对训练样本集中的样本进行分类的过程进行介绍。
基于识别模型Mk对训练样本集中的样本进行分类的过程包括：
步骤S2021：基于识别模型Mk确定训练样本集中各样本分别对应的特征表示向量，由确定出的特征表示向量组成识别模型Mk对应的特征表示向量集。
对于训练样本集中的第i个样本xi，将xi输入识别模型Mk，可获得xi对应的特征表示向量fi，xi对应的特征表示向量fi为xi中待识别对象的特征表示向量，比如，xi为人脸图像，则xi对应的特征表示向量fi为xi中人脸的特征表示向量。
步骤S2022：从识别模型Mk对应的特征表示向量集中的每个特征表示向量中提取唯一性特征向量，由提取的唯一性特征向量组成识别模型Mk对应的唯一性特征向量集。
具体的，对于训练样本集中的第i个样本xi，可按下式提取唯一性特征向量fi：
fi＝αk*feai (1)
其中，αk为与feai维度相等的幅值向量，其所有的值处于[0,1]之间。需要说明的是，每个识别模型有一个对应的α，αk为识别模型Mk对应的幅值向量，在对每个识别模型开始训练时，对α进行随机初始化赋值，之后的α值通过梯度反传学习得到。
步骤S2023：根据识别模型Mk对应的唯一性特征向量集，对训练样本集中的样本进行分类，以得到训练样本集在识别模型Mk上的分类结果。
具体的，根据识别模型Mk对应的唯一性特征向量集，对训练样本集中的样本进行分类的过程包括：获取训练样本集中所有可能的样本对，基于识别模型Mk对应的唯一性特征向量集判断每个样本对中的两个样本是否属于同一类，以得到每个样本对的判断结果，根据所有样本对的判断结果获得训练样本集在识别模型Mk上的分类结果。
针对任一样本对(xi,xj)，可按如下方式判断该样本对中的两个样本是否属于同一类：
计算识别模型Mk对应的唯一性特征向量集中xi对应的唯一性特征向量fi与xj对应的唯一性特征向量fj的相似度得分scoreij：
scoreij＝similarity(fi,fj) (2)
在获得fi与fj的相似度得分scoreij后，基于设定的相似度阈值thre，判断样本xi与样本xj是否属于同一类，具体的，若scoreij大于或等于相似度阈值thre，则判定样本xi与样本xj属于同一类，若scoreij小于相似度阈值thre，则判定样本xi与样本xj属于不同类，即：
通过上述方式获得训练样本集在每个识别模型上的分类结果，即训练样本集分别在各识别模型上的分类结果。
步骤S203：将训练样本集分别在各识别模型上的分类结果进行融合，融合结果作为训练样本集的目标分类结果。
考虑到训练样本集在一个识别模型上的分类结果可能不准确，为了能够获得比较准确的分类结果，本实施例将训练样本集分别在各识别模型上的分类结果进行融合，将融合后分类结果作为训练样本集的最终分类结果，即目标分类结果。请参阅图3，示出了获得训练样本集分别在K个识别模型上的分类结果，并将K个分类结果进行融合得到训练样本集的目标分类结果的过程。
具体的，将训练样本集分别在各识别模型上的分类结果进行融合的过程可包括：针对由训练样本集中的样本组成的多个样本对(可将训练样本集中的训练样本进行两两组合，以得到所有可能的样本对)中的每个样本对，若训练样本集分别在各识别模型上的分类结果中，该样本对中的两个样本均属于同一类，则确定该样本对中的两个样本属于同一类，否则，确定该样本对中的两个样本属于不同类，上述的融合方式可通过下式表征：
其中，K表示识别模型的个数，相应的，经由步骤S201可获得K个分类结果，式(4)中的表示将σ(class(xi)＝class(xj))1～σ(class(xi)＝class(xj))K连乘，式(4)表示：如果σ(class(xi)＝class(xj))1～σ(class(xi)＝class(xj))K的连乘结果为1，则最终确定样本xi与样本xj属于同一类，若σ(class(xi)＝class(xj))1～σ(class(xi)＝class(xj))K的连乘结果为0，则最终确定样本xi与样本xj不属于同一类。
需要说明的是，针对一样本对(xi,xj)，可能出现如下情况：其一：基于训练样本集分别在各识别模型上的分类结果中，xi与xj均属于同一类，当出现这种情况时，说明xi与xj确实属于同一类；其二：训练样本集在一部分识别模型上的分类结果中，xi与xj属于同一类，训练样本集在另一部分识别模型上的分类结果中，xi与xj属于不同类，当出现这种情况时，说明xi与xj可能属于不同类，可以理解的是，在xi与xj属于不同类时，若将xi与xj划到一类中，会导致最终xi与xj所在的类中存在不属于该类的样本，后续基于这样的分类结果进行训练，必然影响模型的训练效果，为此，本申请提出在出现上述第二种情况时，将xi与xj划分至不同类，需要说明的是，当出现上述第二种情况时，并不能说明xi与xj一定属于不同类，只能说明xi与xj可能属于不同类，这意味着xi与xj也可能属于同类，在xi与xj属于同类时，按本申请的融合策略，会将xi与xj划分至不同类，需要说明的是，按照本申请的融合策略虽然可能出现某个样本未被划分至其所属的类中的情况(比如某个样本单独成类，而没有被划到其所属类中)，但是其能保证最终获得的每个类内部都不存在错误划分的样本，对于没有被划至其所属类中的样本，通过模型的不断学习和训练，最终会将其划分至所属类中。
式(4)中的σ(class(xi)＝class(xj))k表示训练样本集在第k个模型上的分类结果中样本xi与xj的类别关系，其服从以下分布：
式(5)表示：训练样本集在第k个模型上的分类结果中，若xi与样本xj属于同一类，则σ(class(xi)＝class(xj))＝1，若xi与样本xj不属于同一类，则σ(class(xi)＝class(xj))＝0。
示例性的，识别模型为3个，经由步骤S201可获得3个分类结果，分别为分类结果1、分类结果2和分类结果3，对于任一样本对(xi,xj)，若分类结果1中xi与xj属于同一类(σ(class(xi)＝class(xj))1＝1)，分类结果2中xi与xj属于同一类(σ(class(xi)＝class(xj))2＝1)，分类结果3中xi与xj也属于同一类(σ(class(xi)＝class(xj))2＝1)，即则最终确定xi与xj属于同一类，若分类结果1中xi与xj属于同一类，分类结果2中xi与xj属于不同类(σ(class(xi)＝class(xj))2＝0)，分类结果3中xi与xj属于同一类，即/>则最终确定xi与xj属于不同类。
需要说明的是，并非所有的样本都会找到同类样本，对于没有找到同类样本的样本，将其单独归为一个类。
步骤S204：以训练样本集的目标分类结果为依据，确定每个识别模型的预测损失，并根据确定出的预测损失对对应的识别模型的参数进行更新。
按上述步骤S201～步骤S204示出的方式进行多次迭代训练，直至满足训练结束条件。训练结束后的即为建立的识别模型。
第二实施例
本实施例重点对上述实施例中的步骤S204中“以训练样本集的目标分类结果为依据，确定每个识别模型的预测损失”的过程进行介绍。
由于以训练样本集的目标分类结果为依据，确定各识别模型分别对应的预测损失的方式相同，本实施例以识别模型Mk为例，对以训练样本集的目标分类结果为依据，确定识别模型Mk对应的预测损失的过程进行介绍。
以训练样本集的目标分类结果为依据，确定识别模型Mk对应的预测损失的流程示意图，可以包括：
步骤a1、获取训练样本集中各样本分别对应的三元组。
其中，训练样本集中每个样本对应的三元组根据训练样本集的目标分类结果构建，一个样本对应的三元组包括该样本、从训练样本集中与该样本属于同一类的样本中随机选取的一个样本、从训练样本集中与该样本属于不同类的样本中随机选取的一个样本。
步骤a2、根据训练样本集中各样本分别对应的三元组，以及识别模型Mk对应的唯一性特征向量集，确定识别模型Mk的第一预测损失。
具体的，根据训练样本集中各样本分别对应的三元组，以及识别模型Mk对应的唯一性特征向量集，确定识别模型Mk的第一预测损失的过程包括：
步骤a21、针对训练样本集中的每个样本，执行：
步骤a21-1a、计算位于识别模型Mk对应的唯一性特征向量集中，且与该样本对应的正例对对应的两个唯一性特征向量之间的距离，作为该样本在该识别模型上对应的第一距离。
其中，该样本对应的正例对由该样本和该样本对应的三元组中与该样本属于同一类的样本组成。
步骤a21-1b、计算位于识别模型Mk对应的唯一性特征向量集中，且与该样本对应的负例对对应的两个唯一性特征向量之间的距离，作为该样本在该识别模型上对应的第二距离。
其中，该样本对应的负例对由该样本和该样本对应的该三元组中与该样本属于不同类的样本组成。
示例性的，一个样本xa对应三元组为(xa,xp,xn)，其中，xp为从训练样本集中与样本xa属于同一类的所有样本中随机选取的一个样本，xn为从训练样本集中与样本xa属于不同类的所有样本中随机选取的一个样本，样本x对应的正例对由xa与其对应的三元组中的xp组成，即样本x对应的正例对为(xa,xp)，样本xa对应的负例对由xa与其对应的三元组中的xn组成，即样本x对应的负例对为(xa,xn)，针对样本xa，步骤a21-1a所要计算的是正例对(xa,xp)对应的两个唯一性特征向量之间的距离，以及负例对(xa,xn)对应的两个唯一性特征向量之间的距离。
经由步骤a21可获得训练样本集中各样本在识别模型Mk上分别对应的第一距离和第二距离。
步骤a22、根据训练样本集中各样本在识别模型Mk上分别对应的第一距离、第二距离和距离阈值，确定识别模型Mk的第一预测损失。
识别模型Mk的第一预测损失可以为图3中的距离度量损失，具体的，识别模型Mk的第一预测损失可通过下式计算：
其中，B表示训练样本集中样本的总数量，表示训练样本集中第i个样本对应的三元组，/>表示训练样本集中与样本/>属于同一类的一个样本，/>表示训练样本集中与样本/>属于不同类的一个样本，/>表示样本/>对应的正例对，/>表示样本对应的负例对，/>表示识别模型Mk对应的唯一性特征向量集中/>对应的唯一性特征向量与/>对应的唯一性特征向量之间的距离，/>表示Mk对应的唯一性特征向量集中/>对应的唯一性特征向量与样本/>对应的唯一性特征向量之间的距离，m是距离阈值，其为一个超参，其目的是强制使得/>比/>大m。
在一种可能的实现方式，可将m设为一个固定的常数(即训练样本集中所有样本在识别模型Mk上分别对应的距离阈值相同)，若将m设为固定常数，其具体取值一般需经过多次调整来确定，需要说明的是，将m设为一个固定的常数表示，在整个训练过程中，对于训练样本集中所有样本对应的正负例对的约束是一样的。
发明人在实现本案的过程中发现，不同样本对应的正负例对之间具有差异性，若采用同样的距离约束进行训练不太合理，有鉴于此，本申请提供了另外一种较为优选的实现方式：
在训练识别模型Mk时，可为训练样本集中每个样本对应的正负例对计算相适应的距离阈值，用计算出的距离阈值对对应的正负例对进行约束，比如，针对训练样本集中的第一个样本x1对应的正负例对计算距离阈值m1，在训练时，利用距离阈值m1对第一个样本x1对应的正负例对进行约束，针对训练样本集中的第一个样本x2对应的正负例对计算距离阈值m2，在训练时，利用距离阈值m2对第二个样本x2对应的正负例对进行约束，以此类推。
具体的，为样本对应的正例对/>和负例对/>计算距离阈值(即计算样本/>在Mk上对应的距离阈值)的过程包括：
步骤b1、将除识别模型Mk之外的其他每个识别模型(即M1、…、Mk-1、Mk+1..MK)均作为非目标识别模型，执行：
步骤b11、计算位于非目标识别模型对应的唯一性特征向量集中，且与样本对应的正例对/>对应的两个唯一性特征向量之间的距离，作为样本/>在非目标识别模型上对应的第一距离，并计算位于非目标识别模型对应的唯一性特征向量集中，且与样本/>对应的负例对/>对应的两个唯一性特征向量之间的距离，作为样本/>在非目标识别模型上对应的第二距离。
步骤b12、将样本在非目标识别模型上对应的第二距离与样本/>在非目标识别模型上对应的第一距离作差，计算得到的差值作为样本/>在非目标识别模型上对应的距离差。
经由上述步骤可获得样本分别在除识别模型Mk之外的其他各识别模型上分别对应的距离差。
步骤b2、计算样本分别在除识别模型Mk之外的其他各识别模型上分别对应的距离差的均值，作为样本/>在识别模型Mk上对应的距离差均值。
假设总共有K个识别模型，若将样本在第t(t≠k)个识别模型上对的第一距离表示为/>将样本/>在第t个识别模型上对的第二距离表示为/>则样本/>在识别模型Mk上对应的距离差均值可表示为：
需要说明的是，样本在识别模型Mk上对应的距离均值dk较大，说明负例对之间的距离大于正例对/>之间的距离，这意味着样本/>对应的正负例对较易区分，反之，若样本/>在识别模型Mk上对应的距离均值dk较小，说明负例对/>之间的距离接近或者小于正例对/>之间的距离，这意味着样本/>对应的正负例对不易区分。
步骤b3、根据样本在识别模型Mk上对应的距离差均值，确定样本/>在识别模型Mk上对应的距离阈值。
在获得样本在识别模型Mk上对应的距离差均值dk后，可根据dk确定样本/>在识别模型Mk上对应的距离阈值mk，具体的，当dk较大时，由于样本/>对应的正负例对较易区分，因此，需要将mk设置的相对大些，反之，当dk较小时，由于样本/>对应的正负例对不易区分，因此，需要将mk设置的相对小些，可见，mk是一个与dk有关的函数，其可表示为：
mk＝F(dk,m’) (8)
其中，m’是一个常数。
有鉴于此，识别模型Mk的第一预测损失可表示为：
考虑到在识别模型的训练过程中，正负例对之间的距离约束是逐渐增强的，在训练前期，距离阈值可设为较小的值，而随着识别模型训练的越来越好，可逐步使距离阈值增大，这一过程是通过函数F(dk,m’)实现的，因此，可将F(dk,m’)函数设计为如下形式：
其中，E表示整个训练过程中总的迭代次数，e表示当前迭代的次数。
将式(10)代入式(9)后得到：
基于第一预测损失对识别模型Mk进行参数更新使得，识别模型Mk对于输入图像能够进行较好的表达，从而使得不同类别的图像之间具有较好的区分性。
优选的，为了进一步增强识别模型Mk的表达能力，从而使得不同类别的图像之间具有更好的区分性，“以训练样本集的目标分类结果为依据，确定识别模型Mk对应的预测损失的过程”的过程还可以包括：
步骤c1：根据训练样本集的目标分类结果以及识别模型Mk对应的唯一性特征向量，确定训练样本集中各类样本的类中心。
具体的，针对训练样本集中的每类样本，可将识别模型Mk对应的唯一性特征向量中该类样本对应的唯一性特征向量求均值，求得的均值作为该类样本的类中心。
假设训练样本集中包括P类样本，则P类样本中第p类样本的类中心可通过下式计算：
/>
其中，Xp表示训练样本集中第p类样本组成的集合，|Xp|表示Xp中样本的总数量，xq表示Xp中的第q个样本，表示将识别模型Mk对应的唯一性特征向量中第p类样本中各样本分别对应的唯一性特征向量求和。
步骤c2：根据识别模型Mk对应的唯一性特征向量集和训练样本集中各类样本的类中心，确定识别模型Mk的第二预测损失。
具体的，根据识别模型Mk对应的唯一性特征向量集和训练样本集中各类样本的类中心，确定识别模型Mk的第二预测损失的过程包括：
步骤c21：针对训练样本集中的每个样本，根据该样本对应的唯一性特征向量、该样本所属类的类中心以及与该样本所属类不同的类的类中心，确定识别模型Mk在该样本上的预测损失，以得到识别模型Mk分别在训练样本集中各样本上的预测损失。
根据该样本对应的唯一性特征向量、该样本所属类的类中心以及与该样本所属类不同的类的类中心，确定识别模型Mk在该样本上的预测损失的过程包括：根据该样本所属类的类中心重构图像，重构出的图像作为第一图像，并根据与该样本所属类不同的类的类中心重构图像，重构出的图像作为第二图像；根据第一图像获取唯一性特征向量，并根据第二图像获取唯一性特征向量；
根据该样本对应的唯一性特征向量，以及分别根据第一图像和第二图像获取的唯一性特征向量，确定识别模型Mk在该样本上的预测损失。
步骤c22：根据识别模型Mk分别在训练样本集中各样本上的预测损失，确定识别模型Mk的第二预测损失。
识别模型Mk的第二预测损失实质为类中心重建损失，其确定方式可表示为：
其中，上式中的ci表示样本xi对应的类中心，表示与样本xi所属类不同的P-1个类的类中心中的第p个类中心，/>表示重建网络根据/>重建出的图像，类似的，/>表示重建网络根据/>重建出的图像，/>表示xi对应的唯一性特征向量与基于重建出的图像对应的唯一性特征向量的相似度，/>表示xi对应的唯一性特征向量与基于/>重建出的图像对应的唯一性特征向量的相似度，m1是需要调节的超参。
考虑到基于各识别模型针对训练数据集确定的分类结果差异不应过大，为了避免各识别模型在训练过程中彼此之间差异过大，导致分类结果偏差较大，同时，考虑到如果让所有的模型都相互学到统一的程度，则失去了多模型融合的意义，要使各模型之间存在差异，且差异不宜过大，为了使各模型之间存在差异，且差异不宜过大，本实施例提供如下策略：
根据识别模型Mk对应的唯一性特征向量集、其它识别模型对应的唯一性特征向量集以及其它识别模型对应的二值化掩膜向量，确定识别模型Mk对应的模型差异情况表征值，作为识别模型Mk的第三预测损失(图3中的互学损失)，其中，二值化掩膜向量为可训练参数。
识别模型Mk的第三预测损失本质上为模型的互学损失，该损失可通过下式计算：
其中，maskt表示第t个识别模型的二值化掩膜向量，在整个训练过程中，每一次迭代maskt是随机生成的，其维度等于基于识别模型Mt获得的唯一性特征向量的维度，通过将二值化掩膜向量maskt与基于识别模型Mt获得的唯一性特征向量做对应位置相乘，来使得唯一性特征向量的一部分被置0，优选的，唯一性特征向量中被置0的比例不超过50％。需要说明的是，二值化掩膜向量为由0和1组成的向量，将二值化掩膜向量与唯一性特征向量做对应位置相乘会使得唯一性特征向量中，与二值化掩膜向量中0对应的位置被置0(相当于将唯一性特征向量中的部分屏蔽掉)，这使得模型之间只做唯一性特征向量中部分特征(即未屏蔽掉的部分特征)的学习，进而使不同模型之间差异化。
基于第三预测损失对识别模型Mk模型训练，既保证了识别模型Mk与其它识别模型之间相互逼近，同时也保证了识别模型Mk与其它识别模型之间的差异化。
可选的，为了提升识别模型Mk的训练效果，本实施例还可针对训练样本的模态信息确定识别模型Mk的第四预测损失，具体的：
从识别模型Mk对应的特征表示向量集中的每个特征表示向量中提取模态特征向量，由提取的模态特征向量组成识别模型Mk对应的模态特征向量集，根据识别模型Mk对应的模态特征向量集，确定识别模型Mk的第四预测损失。
其中，从特征表示向量fi中提取模态特征向量modi的方式如下所示：
modi＝(1-αk)*feai (15)
上式中的αk即为式(1)中的αk，在从特征表示向量fi中提取唯一特征向量feai时，可一并提取出模态特征向量modi。
在本实施例中，可根据识别模型Mk对应的模态特征向量集和下式确定识别模型Mk的第四预测损失：
其中，yi表示样本xi对应的标签向量，S(modi)表示对样本xi对应的模态特征向量进行分类操作，会得到相应的分类概率向量。通过上式可约束相同的模态特征向量被分为同一类别。
在获得上述的四个预测损失后，可将/> 融合，基于融合结果对识别模型Mk进行参数更新。可选的，可按下式将融合：
其中，λ1、λ2和λ3是三个需要调节的超参，由于在模型训练初期，多个模型之间的差异较大，因此，在训练初期，可将λ2设的较大，随着多个模型之间不断靠近，可逐步减小λ2的值至0。在整个训练过程中，其他K-1个识别模型也是利用与第k个识别模型的方式进行训练。
经由上述介绍可知，在识别模型的整个训练过程中，无需样本的具体类别标签指导训练，即无需对训练样本进行类别标注，因此，该方案可很好地应用于异质场景中的无监督识别任务中。
第四实施例
本申请实施例还提供了一种对象识别装置，下面对本申请实施例提供的对象识别装置进行描述，下文描述的对象识别装置与上文描述的对象识别方法可相互对应参照。
请参阅图4，示出了本申请实施例提供的对象识别装置的结构示意图，可以包括：图像获取模块401和图像识别模块402。
图像获取模块401，用于获取目标异质场景中的待识别图像。
图像识别模块402，用于基于预先建立的多个识别模型中的一个，对所述待识别图像中的待识别对象进行识别。
其中，所述多个识别模型采用目标异质场景中的训练样本集训练得到，每个识别模型根据对应的预测损失进行参数更新，每个识别模型对应的预测损失根据所述训练样本集的目标分类结果确定，所述训练样本集的目标分类结果通过对所述训练样本集分别在所述多个识别模型上的分类结果融合得到，所述训练样本集在一识别模型上的分类结果根据从该识别模型针对所述训练样本集中每个样本确定的特征表示向量中提取的唯一性特征向量确定，所述唯一性特征向量为能够唯一表征对应样本中对象的特征向量。
可选的，图像识别模块402，具体用于基于所述多个识别模型中的最优识别模型，对所述待识别图像进行识别。
可选的，本申请实施例提供的对象识别装置还可以包括：最优识别模型确定模块。
最优识别模型确定模块，用于将所述目标异质场景中的测试样本对输入每个识别模型，以得到每个识别模型针对所述测试样本对确定的两个特征表示向量，计算每个识别模型针对所述测试样本对确定的两个特征表示向量的相似度，以得到分别对应于各识别模型的相似度，根据分别对应于各识别模型的相似度，从所述多个识别模型中确定最优的识别模型。其中，所述测试样本对为同一对象的两个不同模态的图像。
可选的，本申请实施例提供的对象识别装置还可以包括：模型构建模块。
模型构建模块，用于基于每个识别模型确定所述训练样本集中各样本分别对应的特征表示向量，以得到每个识别模型对应的特征表示向量集，从每个识别模型对应的特征表示向量集中的每个特征表示向量中提取唯一性特征向量，以得到每个识别模型对应的唯一性特征向量集，根据每个识别模型对应的唯一性特征向量集，对所述训练样本集中的样本进行分类，以得到所述训练样本集在每个识别模型上的分类结果，将所述训练样本集分别在各识别模型上的分类结果进行融合，融合结果作为所述训练样本集的目标分类结果，以所述训练样本集的目标分类结果为依据，确定每个识别模型的预测损失，并根据确定出的预测损失对对应的识别模型进行参数更新。
可选的，模型构建模块将所述训练样本集分别在各识别模型上的分类结果进行融合时，具体用于：
对于由所述训练样本集中的样本组成的多个样本对中的每个样本对：若所述训练样本集分别在各识别模型上的分类结果中，该样本对中的两个样本均属于同一类，则确定该样本对中的两个样本属于同一类，否则，确定该样本对中的两个样本属于不同类。
可选的，模型构建模块针对一待确定预测损失的目标识别模型，以所述训练样本集的目标分类结果为依据，确定所述目标识别模型的预测损失时，具体用于：
获取所述训练样本集中各样本分别对应的三元组，其中，所述训练样本集中每个样本对应的三元组根据所述训练样本集的目标分类结果构建，一个样本对应的三元组包括该样本、与该样本属于同一类的样本以及与该样本属于不同类的样本；根据所述训练样本集中各样本分别对应的三元组以及所述目标识别模型对应的唯一性特征向量集，确定所述目标识别模型的第一预测损失。
可选的，模型构建模块在根据所述训练样本集中各样本分别对应的三元组以及所述目标识别模型对应的唯一性特征向量集，确定所述目标识别模型的第一预测损失时，具体用于：
对于所述训练样本集中的每个样本：计算位于所述目标识别模型对应的唯一性特征向量集中，且与该样本对应的正例对对应的两个唯一性特征向量之间的距离，作为该样本在所述目标识别模型上对应的第一距离，并计算位于所述目标识别模型对应的唯一性特征向量集中，且与该样本对应的负例对对应的两个唯一性特征向量之间的距离，作为该样本在所述目标识别模型上对应的第二距离，其中，该样本对应的正例对由该样本和该样本对应的三元组中与该样本属于同一类的样本组成，该样本对应的负例对由该样本和该样本对应的三元组中与该样本属于不同类的样本组成；根据所述训练样本集中各样本分别在所述目标识别模型上对应的第一距离、第二距离和距离阈值，确定所述目标识别模型的第一预测损失。
可选的，模型构建模块，还用于确定训练样本集中各样本分别在所述目标识别模型上对应的距离阈值。
模型构建模块在确定一样本在所述目标识别模型上对应的距离阈值时，具体用于：
将除所述目标识别模型之外的其他每个识别模型均作为非目标识别模型，执行：
计算位于所述非目标识别模型对应的唯一性特征向量集中，且与该样本对应的正例对对应的两个唯一性特征向量之间的距离，作为该样本在所述非目标识别模型上对应的第一距离，并计算位于所述非目标识别模型对应的唯一性特征向量集中，且与该样本对应的负例对对应的两个唯一性特征向量之间的距离，作为该样本在所述非目标识别模型上对应的第二距离；将该样本在所述非目标识别模型上对应的第二距离与该样本在所述非目标识别模型上对应的第一距离作差，计算得到的差值作为该样本在所述非目标识别模型上对应的距离差；计算该样本分别在各非目标识别识别模型上对应的距离差的均值，作为该样本在所述目标识别模型上对应的距离差均值；根据该样本在所述目标识别模型上对应的距离差均值，确定该样本在所述目标识别模型上对应的距离阈值。
可选的，模型构建模块在以所述训练样本集的目标分类结果为依据，确定所述目标识别模型的预测损失时，还用于：
根据所述训练样本集的目标分类结果以及所述目标识别模型对应的唯一性特征向量，确定所述训练样本集中各类样本的类中心；根据所述目标识别模型对应的唯一性特征向量集和所述训练样本集中各类样本的类中心，确定所述目标识别模型的第二预测损失。
可选的，模型构建模块在根据所述目标识别模型对应的唯一性特征向量集和所述训练样本集中各类样本的类中心，确定所述目标识别模型的第二预测损失，具体用于：
对于所述训练样本集中的每个样本：根据该样本对应的唯一性特征向量、该样本所属类的类中心以及与该样本所属类不同的类的类中心，确定所述目标识别模型在该样本上的预测损失；根据所述目标识别模型分别在所述训练样本集中各样本上的预测损失，确定所述目标识别模型的第二预测损失。
可选的，模型构建模块在根据该样本对应的唯一性特征向量、该样本所属类的类中心以及与该样本所属类不同的类的类中心，确定所述目标识别模型在该样本上的预测损失时，具体用于：
根据该样本所属类的类中心重构图像，重构出的图像作为第一图像，并根据与该样本所属类不同的类的类中心重构图像，重构出的图像作为第二图像；
分别根据所述第一图像和所述第二图像获取唯一性特征向量；
根据该样本对应的唯一性特征向量，以及分别根据所述第一图像和所述第二图像获取的唯一性特征向量，确定所述目标识别模型在该样本上的预测损失。
可选的，模型构建模块还用于：
对于每个识别模型，根据该识别模型对应的唯一性特征向量集、其它识别模型对应的唯一性特征向量集以及其它识别模型对应的二值化掩膜向量，确定模型差异情况表征值，作为该识别模型的第三预测损失，其中，所述二值化掩膜向量为可训练参数，所述二值化掩膜向量用于将基于对应的识别模型获得的唯一性特征向量中的部分元素置0。
可选的，模型构建模块还用于：
对于每个识别模型，从该识别模型对应的特征表示向量集中的每个特征表示向量中提取模态特征向量，由提取的模态特征向量组成该识别模型对应的模态特征向量集；根据该识别模型对应的模态特征向量集，确定该识别模型的第四预测损失。
可选的，所述待识别图像为异质人脸识别场景中的待识别人脸图像；
所述多个识别模型为多个人脸识别模型；所述目标异质场景中的训练样本集为异质人脸识别场景中的训练人脸图像集；从每个识别模型针对所述训练样本集中每个样本确定的特征表示向量中提取的唯一性特征向量为身份特征向量。
本申请提供的对象识别装置，在获得目标异质场景中的待识别图像后，可基于预先建立的多个识别模型中的一个，对待识别图像中的待识别对象进行识别，由于多个识别模型采用目标异质场景中的训练样本集以及训练样本集的目标分类结果训练得到，而训练样本集的目标分类结果通过对训练样本集分别在各识别模型上的分类结果融合得到，且训练样本集在每个识别模型上的分类结果根据从识别模型针对训练样本集中每个样本确定的特征表示向量中提取的唯一性特征向量确定，这意味着训练样本集的目标分类结果为比较准确的分类结果，因此，基于目标异质场景中的训练样本集的目标分类结果对多个识别模型进行训练，可以获得适用于目标异质场景且性能较佳的多个识别模型，基于训练得到的多个识别模型中的一个对目标异质场景中的待识别图像进行识别，可以获得较好的识别效果。
第五实施例
本申请实施例还提供了一种对象识别设备，请参阅图5，示出了该对象识别设备的结构示意图，该对象识别设备可以包括：至少一个处理器501，至少一个通信接口502，至少一个存储器503和至少一个通信总线504；
在本申请实施例中，处理器501、通信接口502、存储器503、通信总线504的数量为至少一个，且处理器501、通信接口502、存储器503通过通信总线504完成相互间的通信；
处理器501可能是一个中央处理器CPU，或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路等；
存储器503可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)等，例如至少一个磁盘存储器；
其中，存储器存储有程序，处理器可调用存储器存储的程序，所述程序用于：
获取目标异质场景中的待识别图像；
基于预先建立的多个识别模型中的一个，对所述待识别图像中的待识别对象进行识别；
其中，所述多个识别模型采用目标异质场景中的训练样本集以及所述训练样本集的目标分类结果训练得到，所述训练样本集的目标分类结果通过对所述训练样本集分别在所述多个识别模型上的分类结果融合得到，所述训练样本集在一识别模型上的分类结果根据从该识别模型针对所述训练样本集中每个样本确定的特征表示向量中提取的唯一性特征向量确定，所述唯一性特征向量为能够唯一表征对应样本中对象的特征向量。
可选的，所述程序的细化功能和扩展功能可参照上文描述。
第六实施例
本申请实施例还提供一种可读存储介质，该可读存储介质可存储有适于处理器执行的程序，所述程序用于：
获取目标异质场景中的待识别图像；
基于预先建立的多个识别模型中的一个，对所述待识别图像中的待识别对象进行识别；
其中，所述多个识别模型采用目标异质场景中的训练样本集以及所述训练样本集的目标分类结果训练得到，所述训练样本集的目标分类结果通过对所述训练样本集分别在所述多个识别模型上的分类结果融合得到，所述训练样本集在一识别模型上的分类结果根据从该识别模型针对所述训练样本集中每个样本确定的特征表示向量中提取的唯一性特征向量确定，所述唯一性特征向量为能够唯一表征对应样本中对象的特征向量。
可选的，所述程序的细化功能和扩展功能可参照上文描述。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (14)

1.一种对象识别方法，其特征在于，包括：
获取目标异质场景中的待识别图像；
基于预先建立的多个识别模型中的一个，对所述待识别图像中的待识别对象进行识别；
其中，所述多个识别模型采用目标异质场景中的训练样本集以及所述训练样本集的目标分类结果训练得到，所述训练样本集的目标分类结果通过对所述训练样本集分别在所述多个识别模型上的分类结果融合得到，所述训练样本集在一识别模型上的分类结果根据从该识别模型针对所述训练样本集中每个样本确定的特征表示向量中提取的唯一性特征向量确定，所述唯一性特征向量为能够唯一表征对应样本中对象的特征向量；
其中，每个识别模型均包括第一预测损失、第二预测损失和第三预测损失，每个识别模型的训练包括基于第一预测损失、第二预测损失和第三预测损失对每个识别模型进行训练；
其中，针对任一识别模型，根据所述识别模型对应的唯一性特征向量集、其它识别模型对应的唯一性特征向量集以及其它识别模型对应的二值化掩膜向量，确定所述识别模型对应的模型差异情况表征值，作为所述识别模型的第三预测损失。
2.根据权利要求1所述的对象识别方法，其特征在于，所述基于预先建立的多个识别模型中的一个，对所述待识别图像中的待识别对象进行识别，包括：
基于所述多个识别模型中最优的识别模型，对所述待识别图像进行识别；
从所述多个识别模型中确定最优识别模型，包括：
将所述目标异质场景中的测试样本对输入每个识别模型，以得到每个识别模型针对所述测试样本对确定的两个特征表示向量，其中，所述测试样本对为同一对象的两个不同模态的图像；
计算每个识别模型针对所述测试样本对确定的两个特征表示向量的相似度，以得到分别对应于各识别模型的相似度；
根据分别对应于各识别模型的相似度，从所述多个识别模型中确定最优的识别模型。
3.根据权利要求1所述的对象识别方法，其特征在于，建立所述多个识别模型的过程包括：
基于每个识别模型确定所述训练样本集中各样本分别对应的特征表示向量，以得到每个识别模型对应的特征表示向量集；
从每个识别模型对应的特征表示向量集中的每个特征表示向量中提取唯一性特征向量，以得到每个识别模型对应的唯一性特征向量集；
根据每个识别模型对应的唯一性特征向量集，对所述训练样本集中的样本进行分类，以得到所述训练样本集在每个识别模型上的分类结果；
将所述训练样本集分别在各识别模型上的分类结果进行融合，融合结果作为所述训练样本集的目标分类结果；
以所述训练样本集的目标分类结果为依据，确定每个识别模型的预测损失，并根据确定出的预测损失对对应的识别模型进行参数更新。
4.根据权利要求3所述的对象识别方法，其特征在于，所述将所述训练样本集分别在各识别模型上的分类结果进行融合，包括：
对于由所述训练样本集中的样本组成的多个样本对中的每个样本对：
若所述训练样本集分别在各识别模型上的分类结果中，该样本对中的两个样本均属于同一类，则确定该样本对中的两个样本属于同一类，否则，确定该样本对中的两个样本属于不同类。
5.根据权利要求3所述的对象识别方法，其特征在于，针对一待确定预测损失的目标识别模型，以所述训练样本集的目标分类结果为依据，确定所述目标识别模型的预测损失，包括：
获取所述训练样本集中各样本分别对应的三元组，其中，所述训练样本集中每个样本对应的三元组根据所述训练样本集的目标分类结果构建，一个样本对应的三元组包括该样本、与该样本属于同一类的样本以及与该样本属于不同类的样本；
根据所述训练样本集中各样本分别对应的三元组以及所述目标识别模型对应的唯一性特征向量集，确定所述目标识别模型的第一预测损失。
6.根据权利要求5所述的对象识别方法，其特征在于，所述根据所述训练样本集中各样本分别对应的三元组以及所述目标识别模型对应的唯一性特征向量集，确定所述目标识别模型的第一预测损失，包括：
对于所述训练样本集中的每个样本：计算位于所述目标识别模型对应的唯一性特征向量集中，且与该样本对应的正例对对应的两个唯一性特征向量之间的距离，作为该样本在所述目标识别模型上对应的第一距离，并计算位于所述目标识别模型对应的唯一性特征向量集中，且与该样本对应的负例对对应的两个唯一性特征向量之间的距离，作为该样本在所述目标识别模型上对应的第二距离，其中，该样本对应的正例对由该样本和该样本对应的三元组中与该样本属于同一类的样本组成，该样本对应的负例对由该样本和该样本对应的三元组中与该样本属于不同类的样本组成；
根据所述训练样本集中各样本分别在所述目标识别模型上对应的第一距离、第二距离和距离阈值，确定所述目标识别模型的第一预测损失。
7.根据权利要求6所述的对象识别方法，其特征在于，确定一样本在所述目标识别模型上对应的距离阈值的过程包括：
将除所述目标识别模型之外的其他每个识别模型均作为非目标识别模型，执行：
计算位于所述非目标识别模型对应的唯一性特征向量集中，且与该样本对应的正例对对应的两个唯一性特征向量之间的距离，作为该样本在所述非目标识别模型上对应的第一距离，并计算位于所述非目标识别模型对应的唯一性特征向量集中，且与该样本对应的负例对对应的两个唯一性特征向量之间的距离，作为该样本在所述非目标识别模型上对应的第二距离；
将该样本在所述非目标识别模型上对应的第二距离与该样本在所述非目标识别模型上对应的第一距离作差，计算得到的差值作为该样本在所述非目标识别模型上对应的距离差；
计算该样本分别在各非目标识别模型上对应的距离差的均值，并根据计算得到的均值，确定该样本在所述目标识别模型上对应的距离阈值。
8.根据权利要求5所述的对象识别方法，其特征在于，所述以所述训练样本集的目标分类结果为依据，确定所述目标识别模型的预测损失，还包括：
根据所述训练样本集的目标分类结果以及所述目标识别模型对应的唯一性特征向量，确定所述训练样本集中各类样本的类中心；
根据所述目标识别模型对应的唯一性特征向量集和所述训练样本集中各类样本的类中心，确定所述目标识别模型的第二预测损失。
9.根据权利要求8所述的对象识别方法，其特征在于，所述根据所述目标识别模型对应的唯一性特征向量集和所述训练样本集中各类样本的类中心，确定所述目标识别模型的第二预测损失，包括：
对于所述训练样本集中的每个样本：根据该样本对应的唯一性特征向量、该样本所属类的类中心以及与该样本所属类不同的类的类中心，确定所述目标识别模型在该样本上的预测损失；
根据所述目标识别模型分别在所述训练样本集中各样本上的预测损失，确定所述目标识别模型的第二预测损失。
10.根据权利要求9所述的对象识别方法，其特征在于，所述根据该样本对应的唯一性特征向量、该样本所属类的类中心以及与该样本所属类不同的类的类中心，确定所述目标识别模型在该样本上的预测损失，包括：
根据该样本所属类的类中心重构图像，重构出的图像作为第一图像，并根据与该样本所属类不同的类的类中心重构图像，重构出的图像作为第二图像；
分别根据所述第一图像和所述第二图像获取唯一性特征向量；
根据该样本对应的唯一性特征向量，以及分别根据所述第一图像和所述第二图像获取的唯一性特征向量，确定所述目标识别模型在该样本上的预测损失。
11.根据权利要求1~ 10中任一项所述的对象识别方法，其特征在于，所述待识别图像为异质人脸识别场景中的待识别人脸图像；
所述多个识别模型为多个人脸识别模型；所述目标异质场景中的训练样本集为异质人脸识别场景中的训练人脸图像集；从每个识别模型针对所述训练样本集中每个样本确定的特征表示向量中提取的唯一性特征向量为身份特征向量。
12.一种对象识别装置，其特征在于，包括：图像获取模块和图像识别模块；
所述图像获取模块，用于获取目标异质场景中的待识别图像；
所述图像识别模块，用于基于预先建立的多个识别模型中的一个，对所述待识别图像中的待识别对象进行识别；
其中，所述多个识别模型采用目标异质场景中的训练样本集训练得到，每个识别模型根据对应的预测损失进行参数更新，每个识别模型对应的预测损失根据所述训练样本集的目标分类结果确定，所述训练样本集的目标分类结果通过对所述训练样本集分别在所述多个识别模型上的分类结果融合得到，所述训练样本集在一识别模型上的分类结果根据从该识别模型针对所述训练样本集中每个样本确定的特征表示向量中提取的唯一性特征向量确定，所述唯一性特征向量为能够唯一表征对应样本中对象的特征向量；
其中，每个识别模型均包括第一预测损失、第二预测损失和第三预测损失，每个识别模型的训练包括基于第一预测损失、第二预测损失和第三预测损失对每个识别模型进行训练；
其中，针对任一识别模型，根据所述识别模型对应的唯一性特征向量集、其它识别模型对应的唯一性特征向量集以及其它识别模型对应的二值化掩膜向量，确定所述识别模型对应的模型差异情况表征值，作为所述识别模型的第三预测损失。
13.一种对象识别设备，其特征在于，包括：存储器和处理器；
所述存储器，用于存储程序；
所述处理器，用于执行所述程序，实现如权利要求1~11中任一项所述的对象识别方法的各个步骤。
14.一种可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现如权利要求1~11中任一项所述的对象识别方法的各个步骤。
CN202110769197.5A 2021-07-07 2021-07-07 一种对象识别方法、装置、设备及存储介质 Active CN113486804B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110769197.5A CN113486804B (zh) 2021-07-07 2021-07-07 一种对象识别方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110769197.5A CN113486804B (zh) 2021-07-07 2021-07-07 一种对象识别方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN113486804A CN113486804A (zh) 2021-10-08
CN113486804B true CN113486804B (zh) 2024-02-20

Family

ID=77941785

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110769197.5A Active CN113486804B (zh) 2021-07-07 2021-07-07 一种对象识别方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN113486804B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113971761A (zh) * 2021-11-05 2022-01-25 南昌黑鲨科技有限公司 多输入场景识别方法、终端设备及可读存储介质

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102945280A (zh) * 2012-11-15 2013-02-27 翟云 一种基于非平衡数据分布的多异质基分类器融合分类方法
CN106326874A (zh) * 2016-08-30 2017-01-11 天津中科智能识别产业技术研究院有限公司 一种人眼图像中的虹膜识别方法及其装置
CN108009528A (zh) * 2017-12-26 2018-05-08 广州广电运通金融电子股份有限公司 基于Triplet Loss的人脸认证方法、装置、计算机设备和存储介质
CN109272044A (zh) * 2018-09-19 2019-01-25 郑州云海信息技术有限公司 一种图像相似度确定方法、装置、设备及存储介质
CN110781856A (zh) * 2019-11-04 2020-02-11 浙江大华技术股份有限公司 异质人脸识别模型训练方法、人脸识别方法及相关装置
CN111241992A (zh) * 2020-01-08 2020-06-05 科大讯飞股份有限公司 人脸识别模型构建方法、识别方法、装置、设备及存储介质
CN111444334A (zh) * 2019-01-16 2020-07-24 阿里巴巴集团控股有限公司 数据处理方法、文本识别方法、装置及计算机设备
CN112215296A (zh) * 2020-10-21 2021-01-12 红相股份有限公司 基于迁移学习的红外图像识别方法及存储介质
CN112329619A (zh) * 2020-11-04 2021-02-05 济南博观智能科技有限公司 一种人脸识别方法、装置、电子设备及可读存储介质
CN112446317A (zh) * 2020-11-23 2021-03-05 四川大学 一种基于特征解耦的异质人脸识别方法及装置
CN112488218A (zh) * 2020-12-04 2021-03-12 北京金山云网络技术有限公司 图像分类方法、图像分类模型的训练方法和装置
CN112990312A (zh) * 2021-03-15 2021-06-18 平安科技（深圳）有限公司 模型训练方法、图像识别方法、装置、设备及存储介质
CN112990432A (zh) * 2021-03-04 2021-06-18 北京金山云网络技术有限公司 目标识别模型训练方法、装置及电子设备

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102945280A (zh) * 2012-11-15 2013-02-27 翟云 一种基于非平衡数据分布的多异质基分类器融合分类方法
CN106326874A (zh) * 2016-08-30 2017-01-11 天津中科智能识别产业技术研究院有限公司 一种人眼图像中的虹膜识别方法及其装置
CN108009528A (zh) * 2017-12-26 2018-05-08 广州广电运通金融电子股份有限公司 基于Triplet Loss的人脸认证方法、装置、计算机设备和存储介质
WO2019128367A1 (zh) * 2017-12-26 2019-07-04 广州广电运通金融电子股份有限公司 基于Triplet Loss的人脸认证方法、装置、计算机设备和存储介质
CN109272044A (zh) * 2018-09-19 2019-01-25 郑州云海信息技术有限公司 一种图像相似度确定方法、装置、设备及存储介质
CN111444334A (zh) * 2019-01-16 2020-07-24 阿里巴巴集团控股有限公司 数据处理方法、文本识别方法、装置及计算机设备
CN110781856A (zh) * 2019-11-04 2020-02-11 浙江大华技术股份有限公司 异质人脸识别模型训练方法、人脸识别方法及相关装置
CN111241992A (zh) * 2020-01-08 2020-06-05 科大讯飞股份有限公司 人脸识别模型构建方法、识别方法、装置、设备及存储介质
CN112215296A (zh) * 2020-10-21 2021-01-12 红相股份有限公司 基于迁移学习的红外图像识别方法及存储介质
CN112329619A (zh) * 2020-11-04 2021-02-05 济南博观智能科技有限公司 一种人脸识别方法、装置、电子设备及可读存储介质
CN112446317A (zh) * 2020-11-23 2021-03-05 四川大学 一种基于特征解耦的异质人脸识别方法及装置
CN112488218A (zh) * 2020-12-04 2021-03-12 北京金山云网络技术有限公司 图像分类方法、图像分类模型的训练方法和装置
CN112990432A (zh) * 2021-03-04 2021-06-18 北京金山云网络技术有限公司 目标识别模型训练方法、装置及电子设备
CN112990312A (zh) * 2021-03-15 2021-06-18 平安科技（深圳）有限公司 模型训练方法、图像识别方法、装置、设备及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Multi-model classification method in heterogeneous image databases;Rostom Kachouri et.al;《Pattern Recognition》;第第43卷卷(第第12期期);第4077-4088页 *
基于样本融合的核稀疏人脸识别方法;沈学华;詹永照;程显毅;丁卫平;;南京师大学报(自然科学版)(04);第37-43页 *

Also Published As

Publication number Publication date
CN113486804A (zh) 2021-10-08

Similar Documents

Publication Publication Date Title
Veluchamy et al. System for multimodal biometric recognition based on finger knuckle and finger vein using feature‐level fusion and k‐support vector machine classifier
Huang et al. A new image thresholding method based on Gaussian mixture model
CN109117879B (zh) 图像分类方法、装置及***
CN109145766B (zh) 模型训练方法、装置、识别方法、电子设备及存储介质
TW201909112A (zh) 圖像特徵獲取
Ashok Kumar et al. Enhanced facial emotion recognition by optimal descriptor selection with neural network
JP2004523840A (ja) モデル集合によるオブジェクトの分類
CN110414550B (zh) 人脸识别模型的训练方法、装置、***和计算机可读介质
CN111126396A (zh) 图像识别方法、装置、计算机设备以及存储介质
JP6892606B2 (ja) 位置特定装置、位置特定方法及びコンピュータプログラム
Liu et al. 3D object retrieval based on multi-view latent variable model
CN110427835B (zh) 图卷积网络与迁移学习的电磁信号识别方法和装置
CN111241992B (zh) 人脸识别模型构建方法、识别方法、装置、设备及存储介质
CN111079648A (zh) 数据集清洗方法、装置和电子***
Costa et al. Estimating the number of clusters in multivariate data by self-organizing maps
CN113486804B (zh) 一种对象识别方法、装置、设备及存储介质
Lejbølle et al. Enhancing person re‐identification by late fusion of low‐, mid‐and high‐level features
CN113076963B (zh) 一种图像识别方法、装置和计算机可读存储介质
Sathyavathi et al. An intelligent human age prediction from face image framework based on deep learning algorithms
Saha et al. Topomorphological approach to automatic posture recognition in ballet dance
Anand et al. Cross-sensor pore detection in high-resolution fingerprint images
CN111626098A (zh) 模型的参数值更新方法、装置、设备及介质
Perez et al. Face Patches Designed through Neuroevolution for Face Recognition with Large Pose Variation
CN112380369B (zh) 图像检索模型的训练方法、装置、设备和存储介质
CN114220078A (zh) 一种目标重识别方法、装置和计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant