CN109948674A - 基于深度元学习的相似性度量方法及*** - Google Patents

Abstract

本发明公开了一种基于深度元学习的相似性度量方法及***，其中，该方法包括：获取待学习任务，并将学习任务划分为多个子任务；通过元学习的方式学习一个适用于所有子任务的元度量。该方法通过将原有的度量学习任务分解成多个子任务，基于子任务的分布进行元度量学习，进而增加模型的泛化能力。

Description

基于深度元学习的相似性度量方法及***

技术领域

本发明涉及视觉认知中度量学习技术领域，特别涉及一种基于深度元学习的相似性度量方法及***。

背景技术

随着信息技术的不断发展以及监控***的迅速普及，利用计算机对监控图像的内容进行识别与认知在城市安防***中具有非常重要的作用。视觉识别任务要求在大范围的数据库中识别出给定的测试样本。常见的视觉识别任务包括人脸识别，行人再识别，车辆再识别以及细粒度识别等。在这些视觉识别任务中，度量学习方法在近几年来受到了广泛的关注。度量学习方法旨在根据数据学习一个映射空间，从而保证在学到的空间里同类的样本距离相近而不同类的样本之间的距离变远。

传统的度量学习通过线性的马氏距离来学习映射空间。因为大部分这种类型的方法不能解决数据的非线性问题，最近有学者提出了深度度量学习的方法，通过深度神经网络来学习非线性的有判别力的度量空间。虽然这些深度量学习的方法的判别能力强，并且能够取得很好的效果，但是模型的泛化能力还很欠缺，因为在视觉识别任务中，训练数据和测试数据的分布存在固有的差异，用训练数据学习到的度量空间往往会过拟合在训练数据上。虽然，通过增加有标注的训练样本，可以一定程度的减小模型的过拟合，不过样本的标注和收集需要很高的代价。以行人在识别为例，训练和测试时的行人是没有交叉的，因此在训练的行人样本上具有很强判别能力的度量空间，对于测试的行人样本不一定完全适用。所以，如何利用有限的训练样本学习到尽可能泛化能力强的度量空间，成为了深度度量学习领域一个非常重要的问题。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的一个目的在于提出一种基于深度元学习的相似性度量方法，该方法通过将原有的度量学习任务分解成多个子任务，基于子任务的分布进行元度量学习，进而增加模型的泛化能力。

本发明的另一个目的在于提出一种基于深度元学习的相似性度量***。

为达到上述目的，本发明一方面实施例提出了一种基于深度元学习的相似性度量方法，包括：获取待学习任务，并将所述学习任务划分为多个子任务；通过元学习的方式学习一个适用于所有子任务的元度量。

本发明实施例的基于深度元学习的相似性度量方法，通过将原度量问题分解分多个子问题，然后通过蒙特卡洛采样的方式估计子问题的分布，并假设测试问题也服从于该分布，通过学习到一个可以适用于所有子问题的元度量，来解决没有见过的测试问题。

另外，根据本发明上述实施例的基于深度元学习的相似性度量方法还可以具有以下附加的技术特征：

进一步地，在本发明的一个实施例中，所述通过元学习的方式学习一个适用于所有子任务的元度量，包括：针对每一个子任务的训练数据划分为支撑集和验证集；基于所述支撑集学习一个元度量，以使所述验证集中的测试样本被正确识别。

进一步地，在本发明的一个实施例中，所述基于所述支撑集学习一个元度量包括：将所述支撑集中的所有同类数据设置为一个元胞；计算所述验证集中所述测试样本和所述元胞的距离；获取所述距离大于预设距离阈值的元胞学习生成所述元度量。

进一步地，在本发明的一个实施例中，所述计算所述验证集中所述测试样本和所述元胞的距离的公式为：

其中，为测试样本和元胞的距离，是第m′类中第j个样本，表示第m类的元胞，f(.)表示映射函数，函数d(x,y)表示x和y之间的距离，系数是0到1之间实数，为支撑集中的元素。

进一步地，在本发明的一个实施例中，还包括：

获取多个所述元胞的均值；

所述计算所述验证集中所述测试样本和所述元胞的距离，包括：

计算所述验证集中所述测试样本和所述元胞的均值的距离。

为达到上述目的，本发明另一方面实施例提出了一种基于深度元学习的相似性度量***，包括：分解模块，用于获取待学习任务，并将所述学习任务划分为多个子任务；学习模块，用于通过元学习的方式学习一个适用于所有子任务的元度量。

本发明实施例的基于深度元学习的相似性度量***，通过将原度量问题分解分多个子问题，然后通过蒙特卡洛采样的方式估计子问题的分布，并假设测试问题也服从于该分布，通过学习到一个可以适用于所有子问题的元度量，来解决没有见过的测试问题。

另外，根据本发明上述实施例的基于深度元学习的相似性度量***还可以具有以下附加的技术特征：

进一步地，在本发明的一个实施例中，所述学习模块，包括：划分单元和学习单元。

其中，所述划分单元，用于针对每一个子任务的训练数据划分为支撑集和验证集；所述学习单元，用于基于所述支撑集学习一个元度量，以使所述验证集中的测试样本被正确识别。

进一步地，在本发明的一个实施例中，所述学习单元具体用于，将所述支撑集中的所有同类数据设置为一个元胞；计算所述验证集中所述测试样本和所述元胞的距离；获取所述距离大于预设距离阈值的元胞学习生成所述元度量。

进一步地，在本发明的一个实施例中，所述计算所述验证集中所述测试样本和所述元胞的距离的公式为：

其中，为测试样本和元胞的距离，是第m′类中第j个样本，表示第m类的元胞，f(.)表示映射函数，函数d(x,y)表示x和y之间的距离，系数是0到1之间实数，为支撑集中的元素。

进一步地，在本发明的一个实施例中，所述学习单元，还用于获取多个所述元胞的均值；

所述计算所述验证集中所述测试样本和所述元胞的距离，包括：

计算所述验证集中所述测试样本和所述元胞的均值的距离。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为根据本发明一个实施例的基于深度元学习的相似性度量方法流程图；

图2为根据本发明一个具体实施例的基于深度元学习的相似性度量方法示意图；

图3为根据本发明一个实施例的中心支撑距离和困难样本挖掘距离的比较图；

图4为根据本发明一个实施例的阈值策略示意图；

图5为根据本发明一个实施例的基于深度元学习的相似性度量***结构示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

下面参照附图描述根据本发明实施例提出的基于深度元学习的相似性度量方法及***。

首先将参照附图描述根据本发明实施例提出的基于深度元学习的相似性度量方法。

图1为根据本发明一个实施例的基于深度元学习的相似性度量方法流程图。

如图1所示，该基于深度元学习的相似性度量方法包括以下步骤：

在步骤S101中，获取待学习任务，并将学习任务划分为多个子任务。

具体地，将原有的度量学习任务分解成多个子任务，并通过采样的形式估计所有子任务的分布。然后通过蒙特卡洛采样的方式估计子任务的分布，并假设测试任务也服从于该分布。

在步骤S102中，通过元学习的方式学习一个适用于所有子任务的元度量。

具体地，通过学习到一个可以适用于所有子任务的元度量，来解决没有见过的测试任务。

进一步地，通过元学习的方式，学习一个能够适应于所有子任务的元度量，假设测试任务和分解的子任务服从同一个分布，则学习到的元度量可以很好的泛化到测试任务上。

为了得到更有判别力的度量空间，在元度量的学习过程中增加了困难样本挖掘的过程并且设立阈值来保证正样本对和负样本对之间有足够的距离差。

进一步地，在本发明的一个实施例中，通过元学习的方式学习一个适用于所有子任务的元度量，包括：针对每一个子任务的训练数据划分为支撑集和验证集；基于支撑集学习一个元度量，以使验证集中的测试样本被正确识别。

进一步地，基于支撑集学习一个元度量包括：将支撑集中的所有同类数据设置为一个元胞；计算验证集中测试样本和元胞的距离；获取距离大于预设距离阈值的元胞学习生成元度量。

其中，计算验证集中测试样本和元胞的距离的公式为：

其中，是第m′类中第j个样本，表示第m类的元胞，f(.)表示映射函数，函数d(x,y)表示x和y之间的距离。

进一步地，在本发明的一个实施例中，还包括：获取多个元胞的均值；

计算验证集中测试样本和元胞的距离，包括：

计算验证集中测试样本和元胞的均值的距离。

如图2所示，以行人识别任务为例，比较传统深度度量学习方法和本发明实施例方法的异同。假设训练集中大多数人穿着彩色的T恤和类似的裤子，而只有很少的人穿着鲜艳颜色的裤子。传统的深度度量学习的算法倾向于利用衣服的颜色来区分不同的人，从而忽略了裤子可能包含的潜在的身份信息。对于穿着相似T恤和不同裤子的测试样本，模型很可能得到错误的结果。相反，没有了全局优化的限制，从单一任务分解得到的子任务，更有利于学习到可迁移的，已被忽略的信息。

具体地，在每一个任务片段中，采样一个分解得到的子任务，并且将子任务的训练数据分为支持集和验证集。定义支撑集中个一类样本为一个“元胞”，并且优化模型使其能够匹配测试样本和相应的正“元胞”。此外，设计一个新的困难样本挖掘策略来加快算法的收敛速度并且提高识别准确率，同时引入阈值保障策略，用来保障正负样本对的距离的差距，从而获得更有判别力的度量空间。

下面将通过托附图及具体实施例详细介绍本发明实施例的方法。

(1)方法的形式化定义

传统的深度度量学习方法通过使用全部训练数据的单一的整体的观测来优化一个目标函数从而学习深度网络的参数其中表示所有的观测数据而表示相应的数据标签。

在本发明的实施例中，不用单一整体的观测来学习度量，相反地，将单独的优化目标分解成若干个子任务并且学习一个适用于所有子任务的元度量。形式化本发明实施例的优化目标为：

其中，表示采样到的子任务的优化目标。

具体而言，给定一个N分类的训练集，随机地从原任务中采样M(M<N)个类别来构成一个新的问题。和大多数的元学习的方法类似，对于某个子任务，随机采样得到一个支撑集和一个验证集其中，m表示不同的类别。设每个子任务的训练阶段为一个片段，那么，在每个片段中，会基于支撑集学习一个元度量使中的测试样本可以被正确地识别。此时方法形式化为：

(2)每个片段的学习过程

为了在每个片段内学习元度量，假设支撑集中所有的同类数据属于同一个流形，并且定义为一个“元胞”：

其中，系数是0到1之间实数，从而确保元胞的凸性，而f(.)表示映射函数，其形式是一个以θ为参数的深度神经网络。然后，计算测试样本和元胞之间的距离为：

其中，是第m′类中第j个样本，表示第m类的元胞，而函数d(x,y)表示x和y之间的距离。

对于每个测试集中的样本，通过优化模型使其最小化与同类元胞的的距离而拉大与非同类元胞的距离。通过引入阈值策略，可以仿照传统的三元组损失函数来定义在一个片段内我们方法的函数：

其中，以及分别表示正样本距离和负样本距离，而τ则表示用来保证正负样本对距离差的阈值。

进一步地，利用连续的指数函数和对数函数将上式进行等价转换，可以得到本发明在一个片段内的优化目标：

为了距离大于0，约束如图3所示，为了正样本之间的距离比负样本之间的距离至少小一个阈值，给定给个片段内的损失函数，可以优化任务分布上的期望损失。本发明实施例的优化目标的最终表示为：

(3)困难样本挖掘

在度量学习的优化过程中，困难样本以很少量的数据提供了很充分的梯度。因此，困难样本挖掘策略成为了度量学习过程的一个基本元素。传统的苦难样本挖掘算法选择造成了识别错误的样本来改进模型。

在本发明实施例中，直接计算并优化了测试样本到所有元胞的距离，所以不需要挖掘出困难的元胞。取而代之的是，引入困难样本挖掘算法在元胞的内部。在提出困难样本挖掘策略之前，先提出一种简单的距离形式用来减轻计算量，这种替代的距离形式可以称之为中心支撑距离。它利用元胞中样本的均值来代替整个元胞，从而计算点到点的距离。

进一步地，提出一种苦难挖掘距离，用来找到难以识别的离群点。

具体而言，分别用正元胞中最远距离和负元胞中的最近距离来简化原有的距离：

困难样本挖掘过程增强了方法的判别能力通过找到并惩罚元胞中的离群点。如图4所示，中心支撑距离对负元胞中的样本点等同对待，而困难样本挖掘距离可以更多地惩罚离群点，从而得到类内方差更小的映射空间。

(4)方法实现细节

利用PyTorch工具包来实现本发明实施例的方法，使用ResNet-50作为主干网络，并采用欧式距离作为基本距离度量。

具体而言，设定每个子任务有32个类别(M＝32)，每个元胞中有5个支撑样本(n_s＝5)，并固定阈值τ＝0.4。在训练过程中，使用Adam优化器并设定初始学习率为0.0002。学习率在前一半训练过程中保持不变，在后一半训练过程中开始指数衰减，直至原学习率的0.005。此外还采用了0.0001的二范数权重衰减。

根据本发明实施例提出的基于深度元学习的相似性度量方法，通过将原度量问题分解分多个子问题，然后通过蒙特卡洛采样的方式估计子问题的分布，并假设测试问题也服从于该分布，通过学习到一个可以适用于所有子问题的元度量，来解决没有见过的测试问题。

其次参照附图描述根据本发明实施例提出的基于深度元学习的相似性度量***。

图5为根据本发明一个实施例的基于深度元学习的相似性度量***结构示意图。

如图5所示，该***包括：分解模块100和学习模块200。

其中，分解模块100用于获取待学习任务，并将学习任务划分为多个子任务。学习模块200用于通过元学习的方式学习一个适用于所有子任务的元度量。该***通过将原有的度量学习任务分解成多个子任务，基于子任务的分布进行元度量学习，进而增加模型的泛化能力。

进一步地，在本发明的一个实施例中，学习模块，包括：划分单元和学习单元。

其中，划分单元，用于针对每一个子任务的训练数据划分为支撑集和验证集；学习单元，用于基于支撑集学习一个元度量，以使验证集中的测试样本被正确识别。

进一步地，在本发明的一个实施例中，学习单元具体用于，将支撑集中的所有同类数据设置为一个元胞；计算验证集中测试样本和元胞的距离；获取距离大于预设距离阈值的元胞学习生成元度量。

进一步地，在本发明的一个实施例中，计算验证集中测试样本和元胞的距离的公式为：

其中，为测试样本和元胞的距离，是第m′类中第j个样本，表示第m类的元胞，f(.)表示映射函数，函数d(x,y)表示x和y之间的距离，系数是0到1之间实数，为支撑集中的元素。

进一步地，在本发明的一个实施例中，学习单元，还用于获取多个元胞的均值；

计算验证集中测试样本和元胞的距离，包括：

计算验证集中测试样本和元胞的均值的距离。

需要说明的是，前述对基于深度元学习的相似性度量方法实施例的解释说明也适用于该实施例的***，此处不再赘述。

根据本发明实施例提出的基于深度元学习的相似性度量***，通过将原度量问题分解分多个子问题，然后通过蒙特卡洛采样的方式估计子问题的分布，并假设测试问题也服从于该分布，通过学习到一个可以适用于所有子问题的元度量，来解决没有见过的测试问题。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种基于深度元学习的相似性度量方法，其特征在于，包括以下步骤：

获取待学习任务，并将所述学习任务划分为多个子任务；

通过元学习的方式学习一个适用于所有子任务的元度量。

2.根据权利要求1所述的基于深度元学习的相似性度量方法，其特征在，所述通过元学习的方式学习一个适用于所有子任务的元度量，包括：

针对每一个子任务的训练数据划分为支撑集和验证集；

基于所述支撑集学习一个元度量，以使所述验证集中的测试样本被正确识别。

3.根据权利要求2所述的基于深度元学习的相似性度量方法，其特征在，所述基于所述支撑集学习一个元度量包括：

将所述支撑集中的所有同类数据设置为一个元胞；

计算所述验证集中所述测试样本和所述元胞的距离；

获取所述距离大于预设距离阈值的元胞学习生成所述元度量。

4.根据权利要求3所述的基于深度元学习的相似性度量方法，其特征在，所述计算所述验证集中所述测试样本和所述元胞的距离的公式为：

其中，为测试样本和元胞的距离，是第m′类中第j个样本，表示第m类的元胞，f(.)表示映射函数，函数d(x，y)表示x和y之间的距离，系数是0到1之间实数，为支撑集中的元素。

5.根据权利要求3所述的基于深度元学习的相似性度量方法，其特征在，还包括：

获取多个所述元胞的均值；

所述计算所述验证集中所述测试样本和所述元胞的距离，包括：

计算所述验证集中所述测试样本和所述元胞的均值的距离。

6.一种基于深度元学习的相似性度量***，其特征在于，包括：

分解模块，用于获取待学习任务，并将所述学习任务划分为多个子任务；

学习模块，用于通过元学习的方式学习一个适用于所有子任务的元度量。

7.根据权利要求6所述的基于深度元学习的相似性度量***，其特征在于，所述学习模块，包括：划分单元和学习单元；

所述划分单元，用于针对每一个子任务的训练数据划分为支撑集和验证集；

所述学习单元，用于基于所述支撑集学习一个元度量，以使所述验证集中的测试样本被正确识别。

8.根据权利要求7所述的基于深度元学习的相似性度量***，其特征在于，所述学习单元具体用于，

将所述支撑集中的所有同类数据设置为一个元胞；

计算所述验证集中所述测试样本和所述元胞的距离；

获取所述距离大于预设距离阈值的元胞学习生成所述元度量。

9.根据权利要求8所述的基于深度元学习的相似性度量***，其特征在于，所述计算所述验证集中所述测试样本和所述元胞的距离的公式为：

其中，为测试样本和元胞的距离，是第m′类中第j个样本，表示第m类的元胞，f(.)表示映射函数，函数d(x，y)表示x和y之间的距离，系数是0到1之间实数，为支撑集中的元素。

10.根据权利要求8所述的基于深度元学习的相似性度量***，其特征在于，所述学习单元，还用于获取多个所述元胞的均值；

所述计算所述验证集中所述测试样本和所述元胞的距离，包括：

计算所述验证集中所述测试样本和所述元胞的均值的距离。