CN111738301A - 一种基于双通道学习的长尾分布图像数据识别方法 - Google Patents

Abstract

本发明公开了一种基于双通道学***衡学***衡学***衡学***衡数据集的识别准确率，小样本学***衡学习通道，训练后期侧重于小样本学习通道，从而在整体上提升长尾分布图像数据的识别准确率。

Description

一种基于双通道学习的长尾分布图像数据识别方法

技术领域

本发明涉及机器学***衡分类、小样本学习、长尾分布图像数据识别的技术领域，尤其是指一种基于双通道学习的长尾分布图像数据识别方法。

背景技术

长尾分布图像数据识别通常采用不平衡学习相关的技术，这类技术主要分为数据层面和算法层面。数据层面的技术主要包括下采样多数类样本、上采样少数类样本或结合两者的混合采样方法。然而，重采样后的数据不能反映真实的数据分布特征，比如下采样方法会丢弃绝大部分样本，从而损失数据集中许多有价值的信息，上采样方法会导致过拟合问题，同时会带来极大的算力消耗。算法层面的技术主要通过代价敏感方法来重新调整各个类别的权重，这类方法一定程度上缓和了长尾分布图像数据识别问题，但并没有综合考虑到大量尾部类别仅有极少数样本的情况，导致尾部类别的识别准确率仍然较低。此外，可行的解决思路还有从头部类别丰富数据中学习知识往尾部类别进行迁移、设计适合长尾分布图像数据识别的损失函数以及构建更加合理的长尾分布图像数据识别模型。

现实生活中的数据常常以长尾分布的形式呈现，然而当下对长尾分布图像数据识别的研究仍处于初步阶段，所有的长尾分布图像数据识别方法都存在局限性，不能很好地提高尾部类别的识别准确率。

发明内容

本发明的目的在于克服现有技术的缺点与不足，提出了一种行之有效、科学合理的基于双通道学***衡学***衡学***衡数据集的识别准确率，小样本学***衡学***衡多分类和长尾分布图像数据识别问题中均适用，是一个具有较强鲁棒性的通用方法。

为实现上述目的，本发明所提供的技术方案为：一种基于双通道学习的长尾分布图像数据识别方法，包括以下步骤：

1)构建由不平衡学***衡学***衡学***衡学***衡学***衡学习通道损失和小样本学习通道损失进行加权求和，得到双通道学习总损失；

2)利用双通道学习总损失，反向传播更新双通道学习模型中的所有参数，即训练双通道学习模型，并保存最优的双通道学习模型参数，得到最优的双通道学习模型；

3)输入测试集的图像数据到最优的双通道学习模型，获取图像的预测标签，即预测结果。

在步骤1)中，所述不平衡学习通道采样器的情况如下：

不平衡学***衡学习通道，(x_i ^imb,y_i ^imb)表示第i个样本的图像数据和标签数据，1≤i≤B；

所述不平衡学习通道网络的情况如下：

不平衡学***衡分类算法，将不平衡分类算法的网络模型移植过来，其包括特征提取器f_φ、分类器

和不平衡损失函数L_imb三个部分，所述特征提取器f_φ用于提取输入数据(x_i ^imb,y_i ^imb)的特征表示

然后将特征表示

输入给分类器

得到预测标签

最后结合定义好的不平衡损失函数L_imb计算相应批次样本的不平衡学习通道损失

所述小样本学习通道采样器的情况如下：

小样本学习通道的输入数据采样自一个元采样器，在每个训练回合T，元采样器首先在训练集的所有类别中随机采样N个类别，然后在这N个类别中的每个类别随机采样K_S个样本和K_Q个样本分别作为小样本学习通道的支撑集

和查询集

其中，上标sup和上标qry分别用于标识支撑集和查询集；

表示支撑集的第i个样本的图像数据和标签数据，1≤i≤N×K_S；

表示查询集的第i个样本的图像数据和标签数据，1≤i≤N×K_Q；每个批次的数据由支撑集S和查询集Q组成；

所述小样本学习通道网络的情况如下：

小样本学***衡学习通道网络采用的特征提取器使用相同的网络架构，并且共享权重参数；输入的支撑集样本数据(x_i ^sup,y_i ^sup)和查询集样本数据(x_i ^qry,y_i ^qry)先经特征提取器f_φ提取特征z_i ^sup＝f_φ(x_i ^sup)和z_i ^qry＝f_φ(x_i ^qry)，然后根据距离度规d，计算查询集样本特征和支撑集样本特征的距离d(x_i ^qry,y_i ^sup)，与查询集样本距离最近的支撑集样本的标签即为查询集样本的预测标签

最后根据定义好的小样本损失函数L_fs计算小样本学习通道损失

所述双通道学习总损失函数的情况如下：

双通道学***衡学习通道损失和小样本学习通道损失的加权求和，如下式：

式中，α是与训练回合T相关的超参数，α与训练回合数T呈抛物线递减关系，在训练开始时取值为1，并且随着训练回合数T增加而逐渐减小到0，使得双通道学***衡学习通道，而在训练后期侧重于小样本学习通道。

在步骤2)中，训练双通道学***衡学***衡学***衡学***衡学***衡学习通道，而在训练后期侧重于小样本学习通道；

使用长尾分布图像数据集的验证集中的Many-shot类别、Medium-shot类别、Few-shot类别和Overall类别的精确率和召回率评估双通道模型的性能，其中，Many-shot类别的样本数量大于100，Medium-shot类别的样本数量在20～100之间，Few-shot类别的样本数量少于20，Overall类别是指验证集的所有类别，当训练回合数达到设定的最大回合数T_max时，终止训练，保存最优的双通道学习模型参数。

在步骤3)中，将测试集的图像数据输入到最优的双通道学***衡学习通道网络的最后一层分类器的输出即为最终对该测试集的图像数据的预测结果。

本发明与现有技术相比，具有如下优点与有益效果：

1、本发明采用了不平衡学***衡学习方法相比，增加的小样本学习通道能够改善特征表示，增强类内紧凑性，提高双通道学习模型对数据稀少的尾部类图像数据的识别能力。

2、不平衡学习通道采用的均匀采样器能够保持长尾分布图像数据集的原始分布，有利于特征的表示学习。

3、小样本学习通道采用的元采样器是对长尾分布图像数据集的训练集的所有类别进行元采样，在不同回合采样不同类别的少量数据作为元任务进行学习，因此双通道学习模型能够学习到对少量样本识别任务的自适应能力，并且能够充分利用数据集。

4、本发明构建的双通道学***衡学***衡学***衡学***衡学习通道所学习的决策边界不受损伤，整体上提升了双通道学习模型对长尾分布图像数据的识别准确率。

5、本发明提出的基于双通道学***衡学习通道网络的最后一层分类器的输出作为最终的预测结果。在训练双通道学习模型时使用长尾分布图像数据集的验证集中的Many-shot类别、Medium-shot类别和Few-shot类别的精确率和召回率评估双通道学习模型的性能，能够较好的追踪模型真实性能的变化，训练出的模型更加可靠。

附图说明

图1为本发明的实施例的输入数据的实例图。

图2为本发明的双通道学习模型结构示意图。

具体实施方式

下面结合具体实施例对本发明作进一步说明。

Places365数据集是一个涵盖365个场景类别的大型图像数据集，每个类别含有不超过5000张训练图片、50张验证图片以及900张测试图片。对Places365原始数据集按幂指数参数为6的帕累托分布进行下采样，得到的长尾分布图像数据集的训练集总共包含62500张图片，其中每类最多含有4980张图片，最少含有5张图片，构造的长尾分布图像数据集的训练集Places-LT如图1所示。长尾分布图像数据集的验证集每类采样20张图片，用于追踪和评估双通道学习模型的性能。长尾分布图像数据集的测试集每类采样50张图片，用于评估和比较双通道学习模型与其他图像数据识别模型的性能。

对构造的长尾分布图像数据集，数据预处理操作如下：首先把所有图片调整为256×256，在训练过程中，将图片随机裁剪到224×224，然后以50％的概率进行水平翻转，并在图片的亮度、对比度和饱和度上进行随机抖动以增强图片，在验证和测试过程中，图像被中心裁剪到224×224而没有进一步的增强。

如图2所示，本实施例所提供的基于双通道学习的长尾分布图像数据识别方法，包括以下步骤：

1)构建由不平衡学***衡学习通道网络、小样本学习通道采样器、小样本学习通道网络和双通道学习总损失函数组成的双通道学习模型，其中：

不平衡学***衡学***衡学习通道，(x_i ^imb,y_i ^imb)分别表示第i(1≤i≤B)个样本的图像数据和标签数据。

不平衡学***衡分类算法，可以将不平衡分类算法的网络模型移植过来，在本实施例中，不平衡学***衡分类网络，其中特征提取器f_φ采用ResNet10残差网络、分类器

采用全连接层网络，不平衡损失函数L_imb采用LDAM损失。特征提取器f_φ首先提取输入数据(x_i ^imb,y_i ^imb)的特征表示

然后将特征表示

输入给分类器

得到预测标签

最后利用LDAM损失函数计算该批次样本的不平衡学习通道损失

记类别为y_i ^imb的样本x_i ^imb的特征表示为

训练集第y_i ^imb类样本的数量为

超参数C设置为0.5，LDAM损失函数如下式：

其中：

小样本学习通道采样器：小样本学习通道的输入数据采样自一个元采样器。在每个训练回合T，元采样器首先在长尾分布图像数据集的训练集的所有类别中随机采样N＝5个类别，然后在这5个类别中的每个类别随机采样K_S＝1个样本和K_Q＝1个样本分别作为小样本学习通道的支撑集

和查询集

其中上标sup和上标qry分别用于标识支撑集和查询集，

表示支撑集的第i(1≤i≤N×K_S)个样本的图像数据和标签数据，

表示查询集的第i(1≤i≤N×K_Q)个样本的图像数据和标签数据。每个批次的数据由支撑集S和查询集Q组成。

小样本学***衡学习通道采用的特征提取器f_φ使用相同的ResNet10网络架构，并且共享权重参数。小样本损失函数L_fs采用交叉熵损失。输入的支撑集样本数据(x_i ^sup,y_i ^sup)和查询集样本数据(x_i ^qry,y_i ^qry)先经特征提取器f_φ提取特征表示z_i ^sup＝f_φ(x_i ^sup)和z_i ^qry＝f_φ(x_i ^qry)，特征提取器f_φ提取输入批次数据特征之后，先计算支撑集每类样本集合S_k的特征中心c_k，然后根据查询集样本特征z_i ^qry与类特征中心c_k的欧式距离d(z_i ^qry,c_k)，计算查询集样本x_i ^qry属于类别k的概率

其中：

最后，根据小样本损失函数L_fs计算小样本学习通道损失

小样本学习通道损失如下式：

双通道学***衡学习通道损失和小样本学习通道损失的加权求和。双通道学习总损失函数如下式：

式中，α是训练回合T相关的超参数，定义训练的总回合数为T_max，α与训练回合T的关系如下式：

2)利用双通道学习总损失，反向传播更新双通道学习模型中的所有参数，即训练双通道学习模型，并保存最优的双通道学习模型参数，得到最优的双通道学习模型。

在训练双通道学***衡学习通道，而在训练后期侧重于小样本学习通道。

在训练双通道学习模型时，使用长尾分布图像数据集的验证集中的Many-shot类别、Medium-shot类别、Few-shot类别和Overall类别的精确率和召回率评估双通道模型的性能。其中，Many-shot类别的样本数量大于100，Medium-shot类别的样本数量在20～100之间，Few-shot类别的样本数量少于20，Overall类别是指验证集的所有类别。当训练回合数T达到设定的最大回合数T_max时，终止训练，保存最优的双通道学习模型参数。

3)将长尾分布图像数据集的测试集的图像数据输入到上一步保存的最优的双通道学***衡学习通道网络的最后一层分类器的输出即为最终对该测试集的图像数据的预测结果。

下表是双通道学***衡图像数据集或长尾分布图像数据集的模型。为了公平比较，所有的对比模型都使用Places-LT的训练集和Resnet10网络结构进行训练，然后在Places-LT的测试集上计算Many-shot类别、Medium-shot类别、Few-shot类别和Overall类别的Class-Balanced Accuracy和Macro F-measure，其中Class-Balanced Accuracy代表每类平均召回率，Macro F-measure代表每类平均精确率。

表1 Places-LT数据集上的对比实验结果

从实验结果来看，双通道学***衡算法的模型或长尾分布图像数据识别模型相当，说明双通道学习模型在提升数据稀少的尾部类图像数据识别准确率的同时，不会对数据丰富的头部类图像数据识别准确率造成损害。通过不同模型的对比，由此验证了本发明的双通道学习模型的有效性与优越性。

本发明模型使用Python3.7编写，基于深度学习框架PyTorch，实验运行的GPU型号为2块NVIDIA GeForce GTX 1080Ti，一共22GB显存。

其它数据集的长尾识别方法类似此方法。

综上所述，本发明将不平衡学***衡学***衡数据集的识别准确率；小样本学***衡学***衡学习通道，而在训练后期侧重于小样本学习通道，从而在整体上提升双通道学习模型对长尾分布图像数据的识别准确率。因而本发明具有实际应用价值，值得推广。

以上所述实施例只为本发明之较佳实施例，并非以此限制本发明的实施范围，故凡依本发明之形状、原理所作的变化，均应涵盖在本发明的保护范围内。

Claims (4)

1.一种基于双通道学习的长尾分布图像数据识别方法，其特征在于，包括以下步骤：

1)构建由不平衡学***衡学***衡学***衡学***衡学***衡学习通道损失和小样本学习通道损失进行加权求和，得到双通道学习总损失；

2)利用双通道学习总损失，反向传播更新双通道学习模型中的所有参数，即训练双通道学习模型，并保存最优的双通道学习模型参数，得到最优的双通道学习模型；

3)输入测试集的图像数据到最优的双通道学习模型，获取图像的预测标签，即预测结果。

2.根据权利要求1所述的一种基于双通道学***衡学习通道采样器的情况如下：

不平衡学***衡学习通道，(x_i ^imb,y_i ^imb)表示第i个样本的图像数据和标签数据，1≤i≤B；

所述不平衡学习通道网络的情况如下：

不平衡学***衡分类算法，将不平衡分类算法的网络模型移植过来，其包括特征提取器f_φ、分类器

和不平衡损失函数L_imb三个部分，所述特征提取器f_φ用于提取输入数据(x_i ^imb,y_i ^imb)的特征表示

然后将特征表示

输入给分类器

得到预测标签

最后结合定义好的不平衡损失函数L_imb计算相应批次样本的不平衡学习通道损失

所述小样本学习通道采样器的情况如下：

小样本学习通道的输入数据采样自一个元采样器，在每个训练回合T，元采样器首先在训练集的所有类别中随机采样N个类别，然后在这N个类别中的每个类别随机采样K_S个样本和K_Q个样本分别作为小样本学习通道的支撑集

和查询集

其中，上标sup和上标qry分别用于标识支撑集和查询集；

表示支撑集的第i个样本的图像数据和标签数据，1≤i≤N×K_S；

表示查询集的第i个样本的图像数据和标签数据，1≤i≤N×K_Q；每个批次的数据由支撑集S和查询集Q组成；

所述小样本学习通道网络的情况如下：

小样本学***衡学习通道网络采用的特征提取器使用相同的网络架构，并且共享权重参数；输入的支撑集样本数据(x_i ^sup,y_i ^sup)和查询集样本数据(x_i ^qry,y_i ^qry)先经特征提取器f_φ提取特征z_i ^sup＝f_φ(x_i ^sup)和z_i ^qry＝f_φ(x_i ^qry)，然后根据距离度规d，计算查询集样本特征和支撑集样本特征的距离d(x_i ^qry,y_i ^sup)，与查询集样本距离最近的支撑集样本的标签即为查询集样本的预测标签

最后根据定义好的小样本损失函数L_fs计算小样本学习通道损失

所述双通道学习总损失函数的情况如下：

双通道学***衡学习通道损失和小样本学习通道损失的加权求和，如下式：

式中，α是与训练回合T相关的超参数，α与训练回合数T呈抛物线递减关系，在训练开始时取值为1，并且随着训练回合数T增加而逐渐减小到0，使得双通道学***衡学习通道，而在训练后期侧重于小样本学习通道。

3.根据权利要求1所述的一种基于双通道学***衡学***衡学***衡学***衡学***衡学习通道，而在训练后期侧重于小样本学习通道；

使用长尾分布图像数据集的验证集中的Many-shot类别、Medium-shot类别、Few-shot类别和Overall类别的精确率和召回率评估双通道模型的性能，其中，Many-shot类别的样本数量大于100，Medium-shot类别的样本数量在20～100之间，Few-shot类别的样本数量少于20，Overall类别是指验证集的所有类别，当训练回合数达到设定的最大回合数T_max时，终止训练，保存最优的双通道学习模型参数。

4.根据权利要求1所述的一种基于双通道学***衡学习通道网络的最后一层分类器的输出即为最终对该测试集的图像数据的预测结果。

Images