CN109934261B - 一种知识驱动参数传播模型及其少样本学习方法 - Google Patents

Abstract

本发明公开了一种知识驱动参数传播模型及其少样本学习方法，该模型包括：特征提取模块，用于在基础类别样本组成的数据集上对特征提取器进行训练，并利用训练好的特征提取器提取基础类别和只有少量样本的新类别的样本的特征；图神经网络模块，用于引入类别之间的关系作为先验知识，利用知识图表示类别之间的先验关系，并集成该知识图利用图神经网络通过图形式传播迭代更新分类器参数；分类预测模块，用于利用提取出的特征和更新后的分类器参数得到分类结果，本发明可提供提高少样本分类的精度及泛化能力。

Description

一种知识驱动参数传播模型及其少样本学习方法

技术领域

本发明涉及计算机视觉领域，特别是涉及一种知识驱动参数传播模型及其少样本学习方法。

背景技术

目前卷积神经网络在多种视觉任务上得到了显著的成功，如物体识别和场景分割。为了很好地训练深的卷积神经网络识别***，需要固定类别，且每个类别需要大量已标注的样本。如果这个识别***需要识别一些新的类别，就需要对新的类别搜集大量的已标注数据来避免过拟合，同时开始代价巨大的训练过程。得益于日常积累的识别，人们可以从少量样本中学习新的类别，目前模仿这种从少样本中学习新类别的能力(即少样本学习)是计算机视觉领域一项重要且实际的任务。

现有的少样本学习有如下三种方法：

1、基于度量学习(metric learning)的方法：这种方法假设同类样本具有相似的特征表示，旨在学习一个用于估计基础类别样本相似性的距离度量，然后泛化到新的类别上，比如给定一个测试图像，计算该图像与不同类别样本的相似度数，该测试图像的类别即为与其相似度最高的样本的对应类别。然而，度量学习基于样本之间的相似性，难以很好地泛化到大规模的少样本学习。

2、基于生成样本(sample generation)的方法：利用生成对抗网络(GenerativeAdversarial Network，GAN)来给新的类别生成更多的样本，比如利用生成对抗网络学习基础类别中不同样本之间的变换，将这种变换用于生成新颖类别的新的样本。然而，这种方法的缺点是较大依赖于生成样本的质量。

3、基于权值预测(weight prediction)的方法：直接学习分类器参数。这种方法一般先学习基础类别的分类器，然后利用基础样本的分类器来生成新类别的分类器。比如在基础类别上学习一个分类器参数回归器，然后直接用这个分类器参数回归器得到新类别的分类器参数。这种方法的缺点是由于没有很好利用新类别的样本来构建新类别的分类器，使得泛化能力还有提升空间。

发明内容

为克服上述现有技术存在的不足，本发明之目的在于一种知识驱动参数传播模型及其少样本学习方法，其引入类别之间的相关性作为先验知识，以提高少样本分类的精度和泛化能力。

为达上述目的，本发明提出一种知识驱动参数传播模型，包括：

特征提取模块，用于在基础类别样本组成的数据集上对特征提取器进行训练，并利用训练好的特征提取器提取基础类别和只有少量样本的新类别的样本的特征；

图神经网络模块，用于引入类别之间的关系作为先验知识，利用知识图表示类别之间的先验关系，并集成该知识图利用图神经网络通过图形式传播迭代更新分类器参数。

分类预测模块，用于利用提取出的特征和更新后的分类器参数得到分类结果。

优选地，所述知识图基于语义相似性编码不同类别之间的关系，具体实现为：给定类别i和类别j的语义单词为w_i和w_j，首先利用GloVe模型抽取他们的语义特征向量

和

并计算他们的距离d_ij，然后应用一个单调递减函数来将距离映射为相关关系

优选地，所述知识图还可基于类别层次关系编码不同类别之间的关系，具体实现为：给定类别i和类别j，计算从节点i到节点j的最短距离d_ij，然后应用一个单调递减函数来将距离映射为相关关系

优选地，所述图神经网络根据如下公式在类别先验关系的指导下迭代更新分类器参数W:

其中，φ(·)为在基础类别样本组成的数据集上训练好的特征提取器，它用于提取基础类别和新类别样本的特征，f(·)为参数传播和更新函数，在时间t，用上个时间t-1的参数W^t-1和图

作为输入来计算得到精修的参数W^t。

优选地，所述图神经网络根据要解决的问题先初始化图节点，然后基于过去节点的状态和从他相邻节点集成的信息来更新自己的状态。

优选地，假设图

编码了所有类别的相关关系，其中节点表示类别，边缘表示类别之间的关系，给定一个K＝K_base+K_novel类的数据集，V表示为

其中节点v_k表示第k类，新的类别记做{K_base+1,K_base+2,…,K}，A是邻接矩阵，a_ij表示类别i和类别j的相关关系，对每次相互作用t，每个节点v_k都有个隐含状态

在相互作用t＝0时，隐含状态

由对应类别的参数向量初始化，形式化表示为：

其中，W_b和W′_n重组为

在每次相互作用t，每个结点k集成与它有关的结点的信息，使得这些结点的参数向量帮助精修其自身的参数向量，该过程形式化表示为：

通过该方式，如果结点k和k′高相关，则鼓励信息从k′传播到k，否则抑制信息从k′传播到k，然后通过门机制，用集成好的特征向量和前一次相互作用后的隐含状态作为输入来更新自己的隐含状态；

传播T次后，得到最终的隐含状态

最后利用简单的输出网络o(·)来预测每个类别的参数向量。

优选地，所述模型采用两阶段的训练过程进行训练：

第一阶段：利用基础类别数据集

来训练特征提取器φ(·)；

第二阶段：固定特征提取器的参数，用基础数据集和包含少量样本的新数据集来训练其他部分。

优选地，对于第一阶段训练过程，给定一张图片I_i，先计算其特征

得到分数向量

并用softmax函数将其正则化为一个概率向量

采用交叉熵损失函数作为目标函数，并引入平方渐变幅度损失来正规化表示学习。

优选地，对于第一阶段训练过程，给定图片I_i，用第一阶段类似的过程得到概率向量

定义交叉熵作为目标函数，并在分类参数上引入一个正则项以避免过拟合。

为达到上述目的，本发明还提供的一种知识驱动参数传播的少样本学习方法，包括如下步骤：

步骤S1，建立包括特征提取模块、图神经网络模块和分类预测模块的知识驱动参数传播模型；

步骤S2，进行模型训练，在基础类别样本组成的数据集上对特征提取器进行训练，并利用训练好的特征提取器提取基础类别和只有少量样本的新类别的样本的特征，引入类别之间的关系作为先验知识，利用知识图表示类别之间的先验关系，并集成该知识图利用图神经网络通过图形式传播迭代更新分类器参数；

步骤S3，利用提取出的特征和更新后的分类器参数得到分类结果。

与现有技术相比，本发明一种知识驱动参数传播模型及其少样本学习方法通过引入类别之间的关系(语义关系或层次关系)作为先验知识来辅助小样本分类，将这种先验知识以图神经网络的形式集成到原来的分类网络中，通过图形式传播这些参数来探索类别之间的相互作用，可以更好地利用基础类别的知识，在显式的类别相关性的指导下学习新类别的分类器参数，提高了少样本分类的精度和泛化能力。

附图说明

图1为本发明一种知识驱动参数传播模型模型的结构示意图；

图2为本发明具体实施例中图神经网络的参数更新过程示意图；

图3为本发明一种知识驱动参数传播的少样本学习方法的步骤流程图。

具体实施方式

以下通过特定的具体实例并结合附图说明本发明的实施方式，本领域技术人员可由本说明书所揭示的内容轻易地了解本发明的其它优点与功效。本发明亦可通过其它不同的具体实例加以施行或应用，本说明书中的各项细节亦可基于不同观点与应用，在不背离本发明的精神下进行各种修饰与变更。

少样本学习***一般给定基础类别和相应的充足的样本，要求从非常少的样本中学习识别新的类别。在此定义完整的数据集为：

其中：

基础类别有K_base类，新的类别有K_novel类，N_b为基础类别每类要采样出的样本数，N′_n为新类别每类要采样出的样本数。

一般，基础类别有很多的样本，因此本发明用基础类别的样本直接训练，得到特征提取器φ(·)和基础类别分类器参数

但是新的类别只有很少的几个样本，直接训练得到新的类别的分类器参数

是不可能的。因此，挖掘基础类别和新的类别之间的相关性对于迁移基础类别的知识来帮助学习新的类别的分类器参数W′_n是很重要的。幸运的是，不同类别之间存在很强的先验关系，比如语义相似性，这种先验关系可以有效地辅助小样本分类。

图1为本发明一种知识驱动参数传播模型的结构示意图。如图1所示，本发明一种知识驱动参数传播模型，包括：

特征提取模块101，用于在基础类别样本组成的数据集上对特征提取器进行训练，并利用训练好的特征提取器提取基础类别和只有少量样本的新类别的样本的特征。

图神经网络模块102，用于引入类别之间的关系作为先验知识，利用知识图(Knowledge Graph)表示类别之间的先验关系，并集成该知识图利用图神经网络通过图形式传播迭代更新分类器参数。

分类预测模块103，用于利用提取出的特征和更新后的分类器参数得到分类结果。

具体地说，知识图编码了不同类别之间的关系，不同知识可以构建不同的知识图。在本发明具体实施例中，尝试使用了两种知识：语义相似性和类别层次关系。

语义相似性：每种类别的类别名本身就带有语义信息，两种类别的语义距离编码了他们之间的关系。换句话说，如果两个类别的语音距离小，则他们之间高度相关，否则不相关。因此，首先采用这种知识来构建知识图。具体的，给定类别i和类别j的语义单词(类别名)为w_i和w_j，首先利用GloVe模型抽取他们的语义特征向量

和

并计算他们的距离d_ij。然后应用一个单调递减函数来将距离映射为相关关系

类别层次关系：类别层级关系通过不同概念抽象来编码类别之间的关系。通常，一类到另一类的距离暗示着他们的相关关系，距离约小意味着高度相关，距离越大意味着不太相关。在本发明具体实施例中，可基于WordNet来构建类别层级图，具体的，给定类别i和类别j，计算从节点i到节点j的最短距离d_ij，然后同样应用一个单调递减函数来将距离映射为相关关系

如上所述，由于不同类别之间存在很强的先验关系，比如语义相似性，这种先验关系可以有效地辅助小样本分类。因此，在本发明中，以知识图

的形式表示这种类别之间的先验关系，并集成这个图来指导类别之间的交互，即在类别先验关系的指导下迭代更新参数W:

其中，φ(·)是在基础类别样本组成的数据集上训练好的特征提取器，它用于提取基础类别和新类别样本的特征，f(·)是参数传播和更新函数。在时间t，用上个时间t-1的参数W^t-1和图

作为输入来计算得到精修的参数W^t。

在本发明具体实施例中，图神经网络模块102采用图神经网络(Graph NeuralNetwork，GNN)来实现f(·)。图神经网络是全微分网络，他可以通过迭代传播更新节点信息来处理图结构的数据。形式化地，图神经网络根据要解决的问题先初始化图节点，然后基于过去节点的状态和从他相邻节点集成的信息来更新自己的状态。

具体地说，本发明基于GNN来迭代更新参数，假设图

编码了所有类别的相关关系，其中节点表示类别，边缘表示类别之间的关系。给定一个K＝K_base+K_novel类的数据集，V表示为

其中节点v_k表示第k类。为了便于说明，将新的类别记做{K_base+1,K_base+2,…,K}，A是邻接矩阵，a_ij表示类别i和类别j的相关关系。对每次相互作用t，每个节点v_k都有个隐含状态

在相互作用t＝0时，隐含状态

由对应类别的参数向量初始化，形式化表示为：

其中，W_b和W′_n重组为

W_b和W′_n所有的参数都是随机初始化的，因此基础类别和新类别的分类器参数是从头更新的。在每次相互作用t，每个结点k集成与它有关的结点的信息，使得这些结点的参数向量可以帮助精修它自己的参数向量。这个过程形式化表示为：

通过这种方式，如果结点k和k′高相关，则鼓励信息从k′传播到k，否则抑制信息从k′传播到k，然后框架通过门机制，用集成好的特征向量和前一次相互作用后的隐含状态作为输入来更新自己的隐含状态，具体过程如下：

其中，σ(·)和tanh(·)分别是逻辑sigmoid函数和双曲正切函数，⊙是逐元乘法运算。通过这种方式，模型趋向于采用相关的信息来更新当前节点的参数，参数传播过程如图2所示：

传播T次后，可以得到最终的隐含状态

最后，利用简单的输出网络o(·)来预测每个类别的参数向量:

图神经网络很适合上述提到的需求：第一，它可以自然地集成先验知识来正则化参数传播，从而更好地从基础类别中挖掘知识来学习新类别的分类器参数。第二，基础类别和新颖类别共享参数传播和更新机制，因此可以用大量的基础类别的样本来训练这个机制，然后泛化到更新新颖类别的参数。

以下将通过一具体实施例来说明本发明的训练过程：

在本发明具体实施例中，特征提取模块101采用ResNet-50来实现特征提取器，具体地，去除最后一层全连接层，然后对每张图片提取2048维的特征向量。每个参数向量和图神经网络隐含状态的维度也设置为2048维。输出网络o(·)为一个全连接网络，它将4096个神经元映射到2048维。

本发明采用两阶段的训练过程来训练所提出的模型：

第一阶段：利用基础类别数据集

来训练特征提取器φ(·)。为了便于说明，基础数据集表示为：

其中I_i为第i张图片，y_i是对应的类别标签。给定一张图片I_i，我们先计算它的特征

得到分数向量

并用softmax函数将它正则化为一个概率向量

本发明采用交叉熵损失函数(cross entropy loss)作为目标函数，为了让学到的特征更好地泛化到新颖类别，引入平方渐变幅度损失(SquaredGradient Magnitude loss)来正规化表示学习。因此，本阶段的目标函数定义为：

其中：

其中，λ是平衡两种损失的参数，设为0.005。本阶段，模型用随机梯度下降法(SGD)进行训练，批大小(batch size)为256，动量(momentum)为0.9，权值衰减(weight decay)为0.0005。学习率设置为0.1，每30个epoches除以10。

第二阶段，固定特征提取器的参数，用基础数据集和新数据集来训练其他部分。类似的，将整个数据集

表示成

其中I_i是第i张图片，y_i是对应的类别。

给定图片I_i，用类似的过程得到概率向量

这里也定义交叉熵作为目标函数。为了避免过拟合，在分类参数上引入一个正则项，因此整个目标函数定义为

其中η设置为0.001，用于平衡两个损失项，也用SGD训练，批大小(batch size)为1000，动量(momentum)为0.9，权值衰减(weight decay)为0.0001。学习率设置为0.01。

图3为本发明一种知识驱动参数传播的少样本学习方法的步骤流程图。如图3所示，本发明一种知识驱动参数传播的少样本学习方法，包括如下步骤：

步骤S1，建立包括特征提取模块、图神经网络模块和分类预测模块的知识驱动参数传播模型；

步骤S2，进行模型训练，在基础类别样本组成的数据集上对特征提取器进行训练，并利用训练好的特征提取器提取基础类别和只有少量样本的新类别的样本的特征，引入类别之间的关系作为先验知识，利用知识图表示类别之间的先验关系，并集成该知识图利用图神经网络通过图形式传播迭代更新分类器参数。

步骤S3，利用提取出的特征和更新后的分类器参数得到分类结果。

在本发明具体实施例中，采用两阶段的训练过程来训练所提出的知识参数驱动模型：

第一阶段：利用基础类别数据集

来训练特征提取器φ(·)。为了便于说明，基础数据集表示为：

其中I_i为第i张图片，y_i是对应的类别标签。给定一张图片I_i，我们先计算它的特征

得到分数向量

并用softmax函数将它正则化为一个概率向量

本发明采用交叉熵损失函数(cross entropy loss)作为目标函数，为了让学到的特征更好地泛化到新颖类别，引入平方渐变幅度损失(SquaredGradient Magnitude loss)来正规化表示学习。因此，本阶段的目标函数定义为：

其中：

其中，λ是平衡两种损失的参数，设为0.005。本阶段，模型用随机梯度下降法(SGD)进行训练，批大小(batch size)为256，动量(momentum)为0.9，权值衰减(weight decay)为0.0005。学习率设置为0.1，每30个epoches除以10。

第二阶段，固定特征提取器的参数，用基础数据集和新数据集来训练其他部分。类似的，将整个数据集

表示成

其中I_i是第i张图片，y_i是对应的类别。

给定图片I_i，用类似的过程得到概率向量

这里也定义交叉熵作为目标函数。为了避免过拟合，在分类参数上引入一个正则项，因此整个目标函数定义为

其中η设置为0.001，用于平衡两个损失项，也用SGD训练，批大小(batch size)为1000，动量(momentum)为0.9，权值衰减(weight decay)为0.0001。学习率设置为0.01。

当模型训练好后，给定一个输入图像I，先用特征提取模块的特征提取器φ(·)提取其特征，然后乘以参数向量

得到类别的置信度，

所有类别都是这样，最终得到置信度分数向量s＝{s₁,s₂,…,s_K}。

综上所述，本发明一种知识驱动参数传播模型及其少样本学习方法通过引入类别之间的关系(语义关系或层次关系)作为先验知识来辅助小样本分类，将这种先验知识以图神经网络的形式集成到原来的分类网络中，通过图形式传播这些参数来探索类别之间的相互作用，可以更好地利用基础类别的知识，在显式的类别相关性的指导下学习新类别的分类器参数，提高了少样本分类的精度和泛化能力。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何本领域技术人员均可在不违背本发明的精神及范畴下，对上述实施例进行修饰与改变。因此，本发明的权利保护范围，应如权利要求书所列。

Claims (9)

1.一种知识驱动参数传播模型，包括：

特征提取模块，用于在基础类别样本组成的数据集上对特征提取器进行训练，并利用训练好的特征提取器提取基础类别和只有少量样本的新类别的样本的特征；

图神经网络模块，用于引入类别之间的关系作为先验知识，利用知识图表示类别之间的先验关系，并集成该知识图利用图神经网络通过图形式传播迭代更新分类器参数。

分类预测模块，用于利用提取出的特征和更新后的分类器参数得到分类结果；

所述图神经网络根据如下公式在类别先验关系的指导下迭代更新分类器参数W:

其中，

表示类别之间的先验关系的知识图，φ(·)为在基础类别样本组成的数据集上训练好的特征提取器，用于提取基础类别和新类别样本的特征，f(·)为参数传播和更新函数，在时间t，用上个时间t-1的参数W^t-1和图

作为输入来计算得到精修的参数W^t。

2.如权利要求1所述的一种知识驱动参数传播模型，其特征在于：在所述图神经网络模块，所述知识图基于语义相似性编码不同类别之间的关系，具体实现为：给定类别i和类别j的语义单词为w_i和w_j，首先利用GloVe模型抽取他们的语义特征向量

和

并计算他们的距离d_ij，然后应用一个单调递减函数来将距离映射为相关关系

3.如权利要求1所述的一种知识驱动参数传播模型，其特征在于：所述知识图还可基于类别层次关系编码不同类别之间的关系，具体实现为：给定类别i和类别j，计算从节点i到节点j的最短距离d_ij，然后应用一个单调递减函数来将距离映射为相关关系

4.如权利要求1所述的一种知识驱动参数传播模型，其特征在于：所述图神经网络根据要解决的问题先初始化图节点，然后基于过去节点的状态和从他相邻节点集成的信息来更新自己的状态。

5.如权利要求1所述的一种知识驱动参数传播模型，其特征在于：假设图

编码了所有类别的相关关系，其中节点表示类别，边缘表示类别之间的关系，给定一个K＝K_base+K_novel类的数据集，V表示为

其中节点v_k表示第k类，新的类别记做{K_base+1,K_base+2,…,K}，A是邻接矩阵，a_ij表示类别i和类别j的相关关系，对每次相互作用t，每个节点v_k都有个隐含状态

在相互作用t＝0时，隐含状态

由对应类别的参数向量初始化，形式化表示为：

其中，W_b和W′_n重组为

W_b为基础类别分类器参数，W′_n为新的类别的分类器参数；

在每次相互作用t，每个结点k集成与它有关的结点的信息，使得这些结点的参数向量帮助精修其自身的参数向量，该过程形式化表示为：

通过该方式，如果结点k和k′高相关，则鼓励信息从k′传播到k，否则抑制信息从k′传播到k，然后通过门机制，用集成好的特征向量和前一次相互作用后的隐含状态作为输入来更新自己的隐含状态；

传播T次后，得到最终的隐含状态

最后利用简单的输出网络o(·)来预测每个类别的参数向量。

6.如权利要求1所述的一种知识驱动参数传播模型，其特征在于：所述模型采用两阶段的训练过程进行训练：

第一阶段：利用基础类别数据集

来训练特征提取器φ(·)；

第二阶段：固定特征提取器的参数，用基础数据集和包含少量样本的新数据集来训练其他部分。

7.如权利要求6所述的一种知识驱动参数传播模型，其特征在于：对于第一阶段训练过程，给定一张图片I_i，先计算其特征

得到分数向量

并用softmax函数将其正则化为一个概率向量

采用交叉熵损失函数作为目标函数，并引入平方渐变幅度损失来正规化表示学习。

8.如权利要求6所述的一种知识驱动参数传播模型，其特征在于：对于第一阶段训练过程，给定图片I_i，得到概率向量

定义交叉熵作为目标函数，并在分类参数上引入一个正则项来避免过拟合。

9.一种基于权利要求1至8任一所述的知识驱动参数传播模型的少样本学习方法，包括如下步骤：

步骤S1，建立包括特征提取模块、图神经网络模块和分类预测模块的知识驱动参数传播模型；

步骤S2，进行模型训练，在基础类别样本组成的数据集上对特征提取器进行训练，并利用训练好的特征提取器提取基础类别和只有少量样本的新类别的样本的特征，引入类别之间的关系作为先验知识，利用知识图表示类别之间的先验关系，并集成该知识图利用图神经网络通过图形式传播迭代更新分类器参数；

步骤S3，利用提取出的特征和更新后的分类器参数得到分类结果。

Images