CN113326892A - 一种基于关系网络的少样本图像分类方法 - Google Patents

Abstract

本发明公开了一种基于关系网络的少样本图像分类方法，包括：(1)神经网络模型前向推导查询图像和支持图像的局部视觉特征表示；(2)构建双向附属关系网络挖掘查询图像和支持图像集中的局部特征的深层关联性；(3)根据关系网络的图网络中心性进行查询图像的分类概率预测；(4)使用带有标签的图像数据集进行少样本任务划分后训练神经网络模型(5)根据与支持图像集中各类之间的分类概率进行排序，选取最大分类概率的类作为该图像的类预测。利用本发明，可以使得少样本图像分类在训练过程中的局部特征的关联性得到充分挖掘，使得分类的结果更加准确。

Description

一种基于关系网络的少样本图像分类方法

技术领域

本发明属于图像分类技术领域，尤其是涉及一种基于关系网络的少样本图像分类方法。

背景技术

近年来，目标分类作为计算机视觉领域中一个重要的分支，受到广大来自工业界和学术界研究者的关注。受益于深度学习技术的快速发展，有监督的目标分类任务取得了很大的进展，但同时，这种监督条件下的训练方法存在一些限制，即在有监督分类中，每个类都需要足够的带有标签的训练样本。然而，在实际应用中，每个类可能没有足够的训练样本，标注图片数据需要一定的专业知识且往往会花费大量的人力。

少样本图像分类的目标是学习一种关于图像分类机器学习模型，使得其在学习了一定类别的大量数据的图像分类任务后，对于新的图像类别，只需要少量的样本就能进行快速分类的方法。少样本图像分类方法已经成为机器学习领域中一个快速发展的方向，并已经在医学影像、卫星图片和一些稀有物种的分类问题上获得一定成果。

目前最新进展的少样本图像分类方法，不再用一个单一的特征向量对整张图像进行全局的特征表示，而是学***均得到整个图像的分类预测结果。2020年国际计算机视觉与模式识别会议(The Conference onComputer Vision and Pattern Recognition)上收录的《DeepEMD:Few-Shot ImageClassification with Differentiable Earth Mover’s Distance》文章提出将图像拆分成多个图块，引入一种推土机距离作为图块间的距离度量方法，计算查询图像和支持图像的各个图块之间的最佳匹配代价来表示两者之间的相似度。

少样本图像分类除了使用图像的局部特征表示之外，近年来的一些最新工作往往也涉及到子空间学习方法。例如，2019年国际机器学习大会(Internation Conference onMachine Learning)上的一篇名为《Tapnet:Neural network augmented with task-adaptive projection for few-shot learning》的文章提出的TapNet模型学习特定于任务的子空间投影，并使用基于子空间映射后查询图像特征及支持图像特征之间的距离投影进行分类。2020年国际计算机视觉与模式识别会议(The Conference on Computer Visionand Pattern Recognition)上，一篇名为《Adaptive subspaces for few-shot learning》的文章提出了一种基于每个类中的几个少学习特定于类的子空间，并使用查询图像到各个类子空间的投影的距离进行分类。

发明内容

本发明提供了一种基于关系网络的少样本图像分类方法，可以理解为对查询图像的局部特征集合与支持图像的局部特征集合建立一个双向附属的关系网络，着重考虑查询图像和支持图像的局部特征之间的深层关联性，从而实现更好的少样本图像分类。

一种基于关系网络的少样本图像分类方法，包括以下步骤：

(1)构建深层神经网络模型，使查询图像和支持图像在进行前向推导时，得到局部特征集合表示；

(2)构建查询图像的局部特征集合q和支持图像所有类的局部特征集合S的双向附属关系网络；

(3)利用双向附属关系网络的图中心性计算查询图像和各支持图像之间的关联程度；

(4)训练时，将少样本训练数据集划分成多个少样本图像分类任务，对于每个少样本分类任务中的查询图像和支持图像集，重复步骤(2)-(3)，

根据与各个支持图像的类别之间的关联性计算少样本图像分类的概率，使用负对数似然函数作为损失函数进行深层神经网络模型的参数训练；

(5)测试时，对于每一个少样本分类任务中的查询图像和支持图像集，按照步骤(2)-(3)，计算查询图像集中的图像分类成各个支持图像所属的类别的概率，选取概率最大的类作为图像的分类预测。

本发明所提出的基于关系网络的少样本图像分类方法，是一种新颖的根据关系网络中心性进行分类的算法。相比之前的方法，本方法考虑了关系网络中查询图像特征与支持图像局部特征之间的深层的双向关联性，而不仅仅是简单地单向使用查询图像的局部特征在支持图像集中找最接近的局部特征，或是单独对每个局部特征进行概率预测。

步骤(1)的具体过程为：

使用预训练的深层神经网络模型提取查询图像输入x的深层视觉特征θ∈R^C×H×W，将其转化为图像的局部特征的集合表示q＝{q₁,…,q_M}，其中，M＝H×W表示单个图像的局部特征集的数量，q∈R^C表示其中一个局部特征符向量；

使用同一个深层神经网络模型提取来自类c第k张支持图像输入

的深层特征

将所有来自同一类c的共K张支持图像的局部特征使用取平均得到类的平均局部特征图

将其转化为类的局部特征集合表示

步骤(2)的具体过程如下：

(2-1)首先构建支持图像集中所有类的局部特征集合S：

其中，N是一个少样本分类任务中所有类的数量；

(2-2)对于查询图像的任一局部特征q∈q，计算它到集合S中的每个局部特征的随机游走概率函数：

其中，exp(·)表示指数函数，

表示参数γ比例放大的两个特征向量v₁,v₂之间的余弦相似度；

(2-3)将(2-2)中每个q∈q与每个s∈S之间的关系使用矩阵形式表示：

P_Sq＝Φ_γD^-1

其中，P_Sq的每一列对应从q中的一个局部特征到S中的每一个局部特征的随机游走概率；Φ_γ中任一q和s的关系反映在[Φ_γ]_sq＝exp(φ_γ(s,q))里；D是一个对角矩阵，其中第j行第j列的元素等于Φ_γ中第j列的所有元素之和；

(2-4)对于支持图像的任一局部特征s∈S，计算它到集合q中的每个局部特征的随机游走概率函数：

其中，exp(·)表示指数函数，

表示参数τ比例放大的两个特征向量v₁,v₂之间的余弦相似度；

(2-5)将(2-4)中每个s∈S与每个q∈q之间的关系使用矩阵形式表示：

P_qS＝Φ_τW^-1

其中，P_qS的每一列对应从S中的一个局部特征到q中的每一个局部特征的随机游走概率；Φ_τ中任一s和q的关系反映在[Φ_τ]_qs＝exp(φ_τ(s,q))里；W是一个对角矩阵，其中第j行第j列的元素等于Φ_τ中第j列的所有元素和；

(2-6)构建双向附属关系网络，节点和节点间的连接矩阵可以表示为

其中，连接矩阵P的大小为(NM+M)×(NM+M)；局部特征集S中的节点与局部特征集S中的节点互相之间没有连接，局部特征集q中的节点与局部特征集q中的节点互相之间没有连接，使用零矩阵表示；局部特征集q中的节点连接到局部特征集S的有向连接边上的权值反映在子矩阵P_Sq中,局部特征集S中的节点连接到局部特征集q的有向连接边上的权值反映在子矩阵P_qS中。

步骤(3)的具体过程为：

(3-1)对于步骤(2)构建的双向附属关系网络，计算该图网络的Katz中心性：

x^Katz＝((I-αP)^-1-I)e

其中，I是大小为(NM+M)×(NM+M)的单位矩阵，e是长度为NM+M的每个元素均为1的列向量；计算得到的Katz中心性向量x^Katz的长度同样也为NM+M，表示各个节点在双向附属关系网络中的重要程度；

(3-2)根据Katz中心性向量x^Katz计算查询图像分类为各个支持图像所属类别的概率：

其中，

表示关于局部特征s的节点中心性标量，x表示查询图像输入，

表示输入查询图像为x时少样本分类算法的预测类别

为c的概率。

步骤(4)的具体过程为：

(4-1)数据准备过程中，对于N类每个类有K个样本的少样本分类任务，将训练数据集随机采样成E个少样本任务组成的集合

其中

表示第i个少样本任务中来自第j类的支持集图像集中的第k张图像，x⁽ⁱ⁾表示第i个少样本任务中的查询图像，y⁽ⁱ⁾表示该查询图像的类别；

网络训练过程中，每一个少样本任务包括N×K个支持图像集

和一个查询图像(x⁽ⁱ⁾,y⁽ⁱ⁾)共同参与；

(4-2)训练过程中，对于每一个少样本任务中的图像

及查询图像标签y⁽ⁱ⁾，根据(3-2)的公式计算

使用负对数似然损失函数L来训练神经网络，具体的损失函数L的计算公式为：

其中，δ(y⁽ⁱ⁾＝c)是一个指示函数，即当y⁽ⁱ⁾＝c条件满足时，其值为1，条件不满足时，值为0。

步骤(5)的具体过程为：

(5-1)测试数据准备过程中，将测试数据集按照类似步骤(4-1)随机采样成E′个少样本测试任务组成的集合

其中，D_test与步骤(4-1)中提到的D_train存在两个不同点：(a)图像数据来源不同，即训练集与测试集的类别不相交；(b)D_test中不包括查询图像x⁽ⁱ⁾的类别信息，即该信息只用来作为标准衡量少样本分类神经网络模型的好坏，而不参与计算；

(5-2)测试预测阶段，对于每一个少样本任务中的图像

首先根据(3-2)的公式计算

得到查询图像x⁽ⁱ⁾的预测输出类

(5-3)测试评估阶段，如果步骤(5-3)中计算得到的

等于y⁽ⁱ⁾，则认为这个少样本任务预测成功；对于由E′个少样本任务组成的测试集D_test，使用平均预测准确率来衡量步骤(4)中训练的少样本神经网络模型的鲁棒性。

本发明所提出的基于关系网络的少样本图像分类方法，具有少样本图像分类方法的所有优点，并且充分考虑了查询图像的局部特征与支持图像集的局部特征的深层关系，使得基于局部特征分类的少样本分类方法的准确率大大提高。

本发明还构建了一种基于关系网络的少样本图像分类***，包括计算机***，所述计算机***包括：

视觉特征模块，利用卷积神经网络，捕捉输入图像的深度视觉特征；

关系网络模块，基于局部视觉特征构建双向附属关系网络；

分类预测模块，利用关系网络的图网络中心性进行少样本图像分类；

分类生成模块，用于在模型分类完毕之后，对外输出分类结果。

与现有技术相比，本发明具有以下有益效果：

1、本发明提出的双向附属关系网络算法，通过挖掘查询图像的局部特征与支持图像集的局部特征的深层关系，提高基于局部特征分类的少样本图像分类方法的准确性。

2、本发明通过大量实验证明，展示了优于其他基准线算法的模型性能。从实验证明了模型的优越性。

附图说明

图1为本发明方法的整体框架示意图；

图2位本发明***的具体模块流程示意图；

图3位本发明实施例中可视化一组少样本分类任务局部特征的中心性的热度图。

具体实施方式

下面结合附图和实施例对本发明做进一步详细描述，需要指出的是，以下所述实施例旨在便于对本发明的理解，而对其不起任何限定作用。

如图1所示，本发明的主模型分为视觉特征模块、关系网络模块、分类预测模块，并将最后的概率预测用于整个模块的优化过程。具体步骤如下：

(a)视觉特征模块为少样本图像分类训练过程中学习输入图像x的深度视觉特征θ,基本步骤如下：

(a-1)少样本图像分类任务中的第i个任务中的查询图像首先裁剪缩放为84×84大小的图像x⁽ⁱ⁾作为网络的查询输入；支持图像集也同时采用同样裁剪缩放为84×84大小的图像

作为网络的支持输入。

(a-2)对于查询图像x⁽ⁱ⁾,提取神经网络的最后一层非分类层的特征图作为图像的深度视觉特征θ⁽ⁱ⁾∈R^C×H×W,其中C表示特征图的通道数，H和W分别表示特征图的高和宽。在基于局部特征符的少样本图像分类方法表示中，将查询图像的特征图θ⁽ⁱ⁾转化为查询图像的局部特征符集合表示q＝{q₁,…,q_M}，其中M＝H×W表示单个图像的局部特征符的数量，q∈R^C表示其中一个局部特征符向量。

(a-3)对来自支持集中类别为c的第k张支持的图像输入

提取同一个神经网络的最后一层非分类层的特征图

将所有来自同一类c的共K张支持图像的局部特征进行平均，得到类的平均局部特征图

将其转化为类的局部特征集合表示

(b)关系网络模块根据图像的局部特征构建双向的附属关系网络，挖掘局部特征之间的关联性，基本步骤如下：

(b-1)构建支持图像集中所有类的局部特征集合S：

其中，N是一个少样本分类任务中的支持图像集的类别数。

(b-2)对于查询图像局部特征集q中的每一局部特征q，计算它到集合S中的每个局部特征的随机游走概率函数：

其中exp(·)表示指数函数，

表示参数γ比例放大的两个特征向量v₁,v₂之间的余弦相似度。

(b-3)将步骤(b-2)中每个q∈q与每个s∈S之间的关系使用矩阵形式表示：

P_Sq＝Φ_γD^-1

其中，P_Sq的每一列对应从q中的一个局部特征到S中的每一个局部特征的随机游走概率；Φ_γ中任一q和s的随机游走关系反映在[Φ_γ]_sq＝exp(φ_γ(s,q))里；D是一个对角矩阵，其中第j行第j列的元素等于Φ_γ中第j列的所有元素之和。

(b-4)对于支持图像局部特征集S的每一局部特征s，计算它到集合q中的每个局部特征的随机游走概率函数：

其中，exp(·)表示指数函数，

表示参数τ比例放大的两个特征向量v₁,v₂之间的余弦相似度。

(b-5)将步骤(b-4)中每个s∈S与每个q∈q之间的关系使用矩阵形式表示：

P_qs＝Φ_τW^-1

其中，P_qS的每一列对应从S中的一个局部特征到q中的每一个局部特征的随机游走概率；Φ_τ中任一s和q的关系反映在[Φ_τ]_qs＝exp(φ_τ(s,q))里；W是一个对角矩阵，其中第j行第j列的元素等于Φ_τ中第j列的所有元素和。

(b-6)构建双向附属关系网络，网络由NM+M个局部特征节点组成，节点和节点间的连接矩阵可以表示为

其中，连接矩阵P的大小为(NM+M)×(NM+M)；局部特征集S中的节点与局部特征集S中的节点互相之间没有连接，局部特征集q中的节点与局部特征集q中的节点互相之间没有连接，使用零矩阵表示；局部特征集q中的节点连接到局部特征集S的有向连接边上的权值反映在子矩阵P_Sq中,局部特征集S中的节点连接到局部特征集q的有向连接边上的权值反映在子矩阵P_qS中。

(c)分类预测模块为少样本图像分类过程提供分类概率计算功能，基本步骤如下：

(c-1)对于步骤(b-6)构建的双向附属关系网络，计算该图网络的Katz中心性(其中Katz中心性的衰减可调节参数为α)：

X^Katz＝((I-αP)^-1-I)e

其中I是大小为(NM+M)×(NM+M)的单位矩阵，e是长度为NM+M的每个元素均为1的列向量。计算得到的Katz中心性向量x^Katz的长度同样也为NM+M，表示各个节点在双向附属关系网络中的重要程度。

(c-2)根据关系图网络的Katz中心性向量x^Katz计算查询图像分类为各个支持图像所属类别的概率：

其中，

表示关于局部特征s的节点中心性标量，x表示查询图像输入，

表示输入查询图像为x时少样本分类算法的预测类别

为c的概率。

基于关系网络的少样本图像分类方法的训练步骤如下：

1.关于N类K支持样本的少样本图像分类任务，以随机采样的方式在标准分类训练数据集中初始化E个少样本任务组成的训练数据集

其中

表示第i个少样本任务中来自第j类的支持集图像集中的第k张图像，x⁽ⁱ⁾表示第i个少样本任务中的查询图像，y⁽ⁱ⁾表示第i个少样本任务中的查询图像的类别。每一个少样本任务的网络训练过程中，包括N×K个支持图像集

和一个查询图像(x⁽ⁱ⁾,y⁽ⁱ⁾)共同参与。

2.选取一个少样本任务中的图像

作为网络模型的输入，用查询图像标签y⁽ⁱ⁾作为该任务的正确分类结果。通过视觉特征模块提取图像的局部特征；通过关系网络模块挖掘局部特征的深层相关性；使用分类预测模块计算查询图像分类成支持图像集中各类别的概率。

3.使用基于负对数似然函数来最大化分类概率，具体的损失函数L的计算公式为：

其中，δ(y⁽ⁱ⁾＝c)是一个指示函数，即当y⁽ⁱ⁾＝c条件满足时，其值为1，条件不满足时，值为0。

4.采用梯度下降法重复上述第2-3步骤，训练视觉特征模块的参数。

基于关系网络的少样本图像分类方法的样本分类步骤如下：

1.对于输入查询图像x⁽ⁱ⁾，使用训练好的模型计算其与支持图像集中各个类的分类概率

2.将各类别的概率进行排序，选择支持图像集中分类概率最高的类作为该查询图像的预测类。

如图2所示，一种基于关系网络的少样本分类***，共分为四大模块，分别是视觉特征模块，关系网络模块，分类预测模块，以及分类生成模块。

下面将上述方法应用于下列实施例中，以体现本发明的技术效果，实施例中具体步骤不再赘述。

本实施例在两个大型公开数据集miniImageNet，tieredImageNet上与其他目前最前沿的少样本图像分类方法进行对比。miniImageNet是少样本图像分类任务中最著名的评估数据集，包含来自大规模图像数据集ImageNet中随机选择的100个类别，每个类别600张图像；在miniImageNet上，64个类别用来训练少样本分类神经网络，16个类用来交叉验证网络的鲁棒性，20个类用来评估网络的泛化能力。tieredImageNet同miniImageNet一样，也是大规模图像数据集ImageNet的一个子集，同miniImageNet相比，它包含了更广泛的类别；其中来自20个大类的351个自类用于训练，来自6个大类的97个子类用于交叉验证，来自8个大类的160个子类的图片用于测试；在tieredImageNet这个具有挑战性的数据集中，训练、交叉验证、测试集之间的信息重叠部分非常小。本实施例的评判指标为在测试集中随机采样10000个N类每个类K个样本下的少样本分类任务(包括N＝5,K＝1和N＝5,K＝5两种情况)的平均分类准确率，总共比较了在视觉特征模块中分别使用两大少样本分类主流神经网络(Conv4和ResNet12)下5个目前主流的少样本图像分类算法，整体对比结果如表1和表2所示。

表1视觉特征模块中以Conv4为骨架网络的分类结果(N＝5)

表2视觉特征模块中以ResNet12为骨架网络的分类结果(N＝5)

从表1和表2可以看出，本发明提出的基于关系网络的少样本图像分类框架，在各大评判指标下均获得最优效果，充分展示了本发明算法的优越性。

为了进一步说明本发明所提出的算法的确是通过根据关系网络的中心性进行分类，即越处于关系网络中心的局部视觉特征所属的类越有可能是正确的查询图像的类别，本发明可视化了一组少样本分类任务局部特征的中心性的热度图，结果见图3。可以看到查询图像的正确预测类别的局部特征往往有较高的热度图。

以上所述的实施例对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的具体实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于关系网络的少样本图像分类方法，其特征在于，包括以下步骤：

(1)构建深层神经网络模型，使查询图像和支持图像在进行前向推导时，得到局部特征集合表示；

(2)构建查询图像的局部特征集合q和支持图像所有类的局部特征集合S的双向附属关系网络；

(3)利用双向附属关系网络的图中心性计算查询图像和各支持图像之间的关联程度；

(4)训练时，将少样本训练数据集划分成多个少样本图像分类任务，对于每个少样本分类任务中的查询图像和支持图像集，重复步骤(2)-(3)，

根据与各个支持图像的类别之间的关联性计算少样本图像分类的概率，使用负对数似然函数作为损失函数进行深层神经网络模型的参数训练；

(5)测试时，对于每一个少样本分类任务中的查询图像和支持图像集，按照步骤(2)-(3)，计算查询图像集中的图像分类成各个支持图像所属的类别的概率，选取概率最大的类作为图像的分类预测。

2.根据权利要求1所述的基于关系网络的少样本图像分类方法，其特征在于，步骤(1)的具体过程为：

使用预训练的深层神经网络模型提取查询图像输入x的深层视觉特征θ∈R^C×H×W，将其转化为图像的局部特征的集合表示q＝{q₁，...，q_M}，其中，M＝H×W表示单个图像的局部特征集的数量，q∈R^C表示其中一个局部特征符向量；

使用同一个深层神经网络模型提取来自类c第k张支持图像输入

的深层特征

将所有来自同一类c的共K张支持图像的局部特征使用取平均得到类的平均局部特征图

将其转化为类的局部特征集合表示

3.根据权利要求2所述的基于关系网络的少样本图像分类方法，其特征在于，步骤(2)的具体过程如下：

(2-1)首先构建支持图像集中所有类的局部特征集合S：

其中，N是一个少样本分类任务中所有类的数量；

(2-2)对于查询图像的任一局部特征q∈q，计算它到集合S中的每个局部特征的随机游走概率函数：

其中，exp(·)表示指数函数，

表示参数γ比例放大的两个特征向量v₁，v₂之间的余弦相似度；

(2-3)将(2-2)中每个q∈q与每个s∈S之间的关系使用矩阵形式表示：

P_Sq＝Φ_γD^-1

其中，P_Sq的每一列对应从q中的一个局部特征到S中的每一个局部特征的随机游走概率；Φ_γ中任一q和s的关系反映在[Φ_γ]_sq＝exp(φ_γ(s，q))里；D是一个对角矩阵，其中第j行第j列的元素等于Φ_γ中第j列的所有元素之和；

(2-4)对于支持图像的任一局部特征s∈S，计算它到集合q中的每个局部特征的随机游走概率函数：

其中，exp(·)表示指数函数，

表示参数τ比例放大的两个特征向量v₁，v₂之间的余弦相似度；

(2-5)将(2-4)中每个s∈S与每个q∈q之间的关系使用矩阵形式表示：

P_qS＝Φ_τW^-1

其中，P_qS的每一列对应从S中的一个局部特征到q中的每一个局部特征的随机游走概率；Φ_τ中任一s和q的关系反映在[Φ_τ]_qs＝exp(φ_τ(s，q))里；W是一个对角矩阵，其中第j行第j列的元素等于Φ_τ中第j列的所有元素和；

(2-6)构建双向附属关系网络，节点和节点间的连接矩阵可以表示为

其中，连接矩阵P的大小为(NM+M)×(NM+M)；局部特征集S中的节点与局部特征集S中的节点互相之间没有连接，局部特征集q中的节点与局部特征集q中的节点互相之间没有连接，使用零矩阵表示；局部特征集q中的节点连接到局部特征集S的有向连接边上的权值反映在子矩阵P_Sq中，局部特征集S中的节点连接到局部特征集q的有向连接边上的权值反映在子矩阵P_qS中。

4.根据权利要求1所述的基于关系网络的少样本图像分类方法，其特征在于，步骤(3)的具体过程为：

(3-1)对于步骤(2)构建的双向附属关系网络，计算该图网络的Katz中心性：

x^Katz＝((U-αP)^-1-U)e

其中，U是大小为(NM+M)×(NM+M)的单位矩阵，e是长度为NM+M的每个元素均为1的列向量；计算得到的Katz中心性向量x^Katz的长度同样也为NM+M，表示各个节点在双向附属关系网络中的重要程度；

(3-2)根据Katz中心性向量x^Katz计算查询图像分类为各个支持图像所属类别的概率：

其中，

表示关于局部特征s的节点中心性标量，x表示查询图像输入，

表示输入查询图像为x时少样本分类算法的预测类别

为c的概率。

5.根据权利要求4所述的基于关系网络的少样本图像分类方法，其特征在于，步骤(4)的具体过程为：

(4-1)数据准备过程中，对于N类每个类有K个样本的少样本分类任务，将训练数据集随机采样成E个少样本任务组成的集合

其中

表示第i个少样本任务中来自第j类的支持集图像集中的第k张图像，x⁽ⁱ⁾表示第i个少样本任务中的查询图像，y⁽ⁱ⁾表示该查询图像的类别；

网络训练过程中，每一个少样本任务包括N×K个支持图像集

和一个查询图像(x⁽ⁱ⁾，y⁽ⁱ⁾)共同参与；

(4-2)训练过程中，对于每一个少样本任务中的图像

及查询图像标签y⁽ⁱ⁾，根据(3-2)的公式计算

使用负对数似然损失函数L来训练神经网络，具体的损失函数L的计算公式为：

其中，δ(y⁽ⁱ⁾＝c)是一个指示函数，即当y⁽ⁱ⁾＝c条件满足时，其值为1，条件不满足时，值为0。

6.根据权利要求5所述的基于关系网络的少样本图像分类方法，其特征在于，步骤(5)的具体过程为：

(5-1)测试数据准备过程中，将测试数据集按照类似步骤(4-1)随机采样成E′个少样本测试任务组成的集合

其中，D_test与步骤(4-1)中提到的D_train存在两个不同点：(a)图像数据来源不同，即训练集与测试集的类别不相交；(b)D_test中不包括查询图像x⁽ⁱ⁾的类别信息，即该信息只用来作为标准衡量少样本分类神经网络模型的好坏，而不参与计算；

(5-2)测试预测阶段，对于每一个少样本任务中的图像

首先根据(3-2)的公式计算

得到查询图像x⁽ⁱ⁾的预测输出类

(5-3)测试评估阶段，如果步骤(5-3)中计算得到的

等于y⁽ⁱ⁾，则认为这个少样本任务预测成功；对于由E′个少样本任务组成的测试集D_test，使用平均预测准确率来衡量步骤(4)中训练的少样本神经网络模型的鲁棒性。

Images