CN110188816A - 基于多流多尺度交叉双线性特征的图像细粒度识别方法 - Google Patents

Abstract

本发明提出了一种基于多流多尺度交叉双线性特征的图像细粒度识别方法。针对图像细粒度特征提取不充分、特征利用不充分的问题，该方法利用多流网络提取交叉双线性特征，此特征可以表征图像更加细腻的局部特征，解决了特征提取不充分的问题；使用图像随机混合增强和融合多尺度底层双线性特征的方法，解决了特征利用不充分的问题。经实验验证，本发明提出的基于多流网络融合多尺度交叉双线性特征的细粒度识别方法在CUB‑200‑2011公开数据集上的识别准确率比目前已有方法有显著的提高，分别达到了最优的细粒度识别准确率。

Description

基于多流多尺度交叉双线性特征的图像细粒度识别方法

技术领域

本发明涉及计算机视觉与人工智能、多媒体信号处理领域，特别是涉及基于多流多尺度交叉双线性特征的图像细粒度识别方法。

背景技术

随着城市随着深度卷积神经网络的不断发展，深度学***，而图像细粒度识别任务因其识别子类相对困难则拥有一个更广阔的发展空间和更有价值的应用空间要求。

图像的细粒度识别是相对于粗粒度识别而言，一般来说，图像的粗粒度识别是指完成具有较大差别类的识别，诸如人、椅子、车、猫等不同种类的分类；而细粒度识别的任务是要识别目标大类中的子类，比如加利福尼亚理工学院鸟类数据库(CUB-200-2011，Caltech-UCSD Birds-200-2011)数据集中的200种鸟类识别，斯坦福大学提出的汽车数据集(Stanford Cars)中196类汽车等。因此细粒度识别任务具有子类之间方差小，子类之内方差大的特点，这与图像粗粒度识别相比，细粒度图像子类容易混淆，可以区分的信息区域点少，子类之间相似特征多等，因此图像细粒度识别难度增大。

发明内容

针对图像目标子类的细粒度识别任务，本发明提供基于多流多尺度交叉双线性特征的图像细粒度识别方法，使用多流网络提取细粒度图像特征，计算交叉双线性特征，利用融合后交叉特征进行预测细粒度类别，为达此目的，本发明提供基于多流多尺度交叉双线性特征的图像细粒度识别方法，使用多流网络提取细粒度图像特征，计算交叉双线性特征，利用融合后交叉特征进行预测细粒度类别，该方法包括如下步骤：

(1)对输入图像进行数据增广；

(2)利用多流基础网络提取图像特征，计算交叉双线性特征和底层双线性特征；

(3)利用融合后的特征预测细粒度类别。

作为本发明进一步改进，所述步骤(1)中对图像进行增广，具体步骤为：

步骤2.1：使用离线旋转和在线旋转来增强数据，离线旋转是将数据集在[0,359]每隔10°进行旋转，在线旋转是对输入网络的图片随机进行一定角度旋转，除此外，还使用了亮度增强，随机裁剪方式进行数据增强；

步骤2.2：通过随机图像混合增强进行数据增广，设U(ε)为[0,1]上的随机概率分布，每一次随机采样ε～U(ε),对于两组训练样本x₁和x₂按照概率分布进行随机组合得到εx₁+(1-ε)x₂,其对应的标签为εh₁+(1-ε)h₂，这便完成了随机图像混合增强。

作为本发明进一步改进，所述步骤(2)中利用多流基础网络提取图像特征并计算交叉双线性特征：

步骤3.1：利用多流网络提取数据增广后图像的特征。将增广后的图片喂入K路卷积神经网络，这里的K路卷积神经网络Stream 1、Stream 2和Stream 3分别采用ResNet-34网络、ResNet-50网络和VGG-16网络，利用他们作为基础特征的提取网络，这样获得了细粒度图像的特征；

步骤3.2：计算多流网络的交叉双线性特征，分别提取Stream 1和Stream 2的双线性特征、Stream 1与Stream 3的双线性特征以及Stream 2与Stream 3的双线性特征，到这里便获得了K路卷积神经网络的交叉双线性特征，双线性特征的计算方法为：输入为两路卷积神经网络特征图，分别为A，B，将A进行转置然后与B相乘，将上述结果进行归一化操作，并进行L2正则化；

步骤3.3：计算底层的双线性特征，这里底层双线性特征是利用自身与自身进行二阶双线性池化所得，这里的底层选取分别为Stream 1的ResNet-5a层即第五个bottleneck块的第一层、Stream 2的ResNet-5a层即第五个bottleneck块的第一层以及Stream 3的Conv5_1层即第五个卷积块的第一层，将这些底层的双线性特征与高层的交叉双线性特征进行融合。

作为本发明进一步改进，所述步骤(3)中利用融合后的特征预测细粒度类别：

步骤4.1：将交叉双线性特征和底层双线性特征进行融合，这里采用两种特征融合方式——拼接方式和元素相加方式，最后，将融合的特征送入到全连接层进行分类，计算softmax向量，得到预测的结果；

其中损失函数为交叉熵损失函数来指导训练和学习过程；

式中，y_i表示真实的类别标签，表示网络预测的类别标签信息。C是训练数据集上的类别总数。

至此，基于多流多尺度交叉双线性特征的图像细粒度识别方法便分析完毕。

本发明提出了一种基于多流多尺度交叉双线性特征的图像细粒度识别方法。针对图像细粒度特征提取不充分、特征利用不充分的问题，该方法利用多流网络提取交叉双线性特征，此特征可以表征图像更加细腻的局部特征，解决了特征提取不充分的问题；使用图像随机混合增强和融合多尺度底层双线性特征的方法，解决了特征利用不充分的问题。经实验验证，本发明提出的基于多流网络融合多尺度交叉双线性特征的细粒度识别方法在CUB-200-2011公开数据集上的识别准确率比目前已有方法有显著的提高，分别达到了最优的细粒度识别准确率。

附图说明

图1为本发明细粒度数据增广示意图。

图2为本发明基于多流多尺度交叉双线性特征的图像细粒度识别方法。

图3为本发明在CUB-200-2011测试数据集上准确率随训练轮数变化示意图

图4本发明在CUB-200-2011公开数据集上部分测试样本(左上角为本发明预测类别)。

具体实施方式

下面结合附图与具体实施方式对本发明作进一步详细描述：

本发明提供基于多流多尺度交叉双线性特征的图像细粒度识别方法，使用多流网络提取细粒度图像特征，计算交叉双线性特征，利用融合后交叉特征进行预测细粒度类别。

下面以细粒度公开数据集为例，结合附图对本发明一种基于多流多尺度交叉双线性特征的图像细粒度识别方法具体实施方式作进一步详细说明。本发明使用多流网络提取细粒度图像特征，计算交叉双线性特征，利用融合后交叉特征进行预测细粒度类别。该方法包括如下步骤：

(1)先对输入图像进行数据增广。

步骤1.1：使用离线旋转和在线旋转来增强数据，离线旋转是将数据集在[0,359]每隔10°进行旋转，在线旋转是对输入网络的图片随机进行一定角度旋转，除此外，还使用了亮度增强，随机裁剪方式进行数据增强。

步骤1.2：通过随机图像混合增强进行数据增广，如图1所示，设U(ε)为[0,1]上的随机概率分布，每一次随机采样ε～U(ε),对于两组训练样本x₁和x₂按照概率分布进行随机组合得到εx₁+(1-ε)x₂,其对应的标签为εh₁+(1-ε)h₂，这便完成了随机图像混合增强。

(2)利用多流基础网络提取图像特征，计算交叉双线性特征和底层双线性特征。具体步骤为：

步骤2.1：利用多流网络提取数据增广后图像的特征。将增广后的图片喂入K路卷积神经网络，这里的K路卷积神经网络Stream 1、Stream 2和Stream 3分别采用ResNet-34网络、ResNet-50网络和VGG-16网络，利用他们作为基础特征的提取网络。如图2所示，这样获得了细粒度图像的特征。这里K取值为3。

步骤2.2：计算多流网络的交叉双线性特征。分别提取Stream 1和Stream 2的双线性特征、Stream 1与Stream 3的双线性特征以及Stream 2与Stream 3的双线性特征，到这里便获得了K路卷积神经网络的交叉双线性特征。双线性特征的计算方法为：输入为两路卷积神经网络特征图，分别为A，B，将A进行转置然后与B相乘。将上述结果进行归一化操作，并进行L2正则化。

步骤2.3：计算底层的双线性特征。这里底层双线性特征是利用自身与自身进行二阶双线性池化所得，这里的底层选取分别为Stream 1的ResNet-5a层(第五个bottleneck块的第一层)、Stream 2的ResNet-5a层(第五个bottleneck块的第一层)以及Stream 3的Conv5_1层(第五个卷积块的第一层)。将这些底层的双线性特征与高层的交叉双线性特征进行融合。

(3)利用融合后的特征预测细粒度类别。具体步骤为：

步骤3.1：将交叉双线性特征和底层双线性特征进行融合，这里采用两种特征融合方式——拼接方式和元素相加方式。最后，将融合的特征送入到全连接层进行分类，计算softmax向量，得到预测的结果。整体的算法流程图如算法2所示。

本发明的损失函数为交叉熵损失函数来指导训练和学习过程。

本发明所建立模型的实验平台如下：centos 7***，配置E5处理器，一块NVIDIATesla P100显卡。本发明训练过程采用联合交叉熵损失函数与排序一致性损失函数进行训练，优化器采用随机梯度下降优化器SGD，初始学习率设置为lr＝0.01,batch_size＝16,迭代100个epoch后，得到训练好的模型，并进行在加利福尼亚理工学院提出的数据集CUB200-2011数据集上进行测试。本发明中模型训练的超参数不限于如下参数

本发明在数据集上的测试曲线如图3所示，在数据集上的测试结果如说明书下表所示。

图4展示了CUB-200-2011数据集部分测试样本的预测结果情况，可以看出本发明较好的预测出了图像的细粒度类别。

以上所述，仅是本发明的较佳实施例而已，并非是对本发明作任何其他形式的限制，而依据本发明的技术实质所作的任何修改或等同变化，仍属于本发明所要求保护的范围。

Claims (4)

1.基于多流多尺度交叉双线性特征的图像细粒度识别方法，其特征在于，使用多流网络提取细粒度图像特征，计算交叉双线性特征，利用融合后交叉特征进行预测细粒度类别，该方法包括如下步骤：

(1)对输入图像进行数据增广；

(2)利用多流基础网络提取图像特征，计算交叉双线性特征和底层双线性特征；

(3)利用融合后的特征预测细粒度类别。

2.根据权利要求1所述的基于多流多尺度交叉双线性特征的图像细粒度识别方法，其特征在于：所述步骤(1)中对图像进行增广，具体步骤为：

步骤2.1：使用离线旋转和在线旋转来增强数据，离线旋转是将数据集在[0,359]每隔10°进行旋转，在线旋转是对输入网络的图片随机进行一定角度旋转，除此外，还使用了亮度增强，随机裁剪方式进行数据增强；

步骤2.2：通过随机图像混合增强进行数据增广，设U(ε)为[0,1]上的随机概率分布，每一次随机采样ε～U(ε),对于两组训练样本x₁和x₂按照概率分布进行随机组合得到εx₁+(1-ε)x₂,其对应的标签为εh₁+(1-ε)h₂，这便完成了随机图像混合增强。

3.根据权利要求1所述的基于多流多尺度交叉双线性特征的图像细粒度识别方法，其特征在于：所述步骤(2)中利用多流基础网络提取图像特征并计算交叉双线性特征：

步骤3.1：利用多流网络提取数据增广后图像的特征，将增广后的图片喂入K路卷积神经网络，这里的K路卷积神经网络Stream1、Stream2和Stream3分别采用ResNet-34网络、ResNet-50网络和VGG-16网络，利用他们作为基础特征的提取网络，这样获得了细粒度图像的特征；

步骤3.2：计算多流网络的交叉双线性特征，分别提取Stream1和Stream2的双线性特征、Stream1与Stream3的双线性特征以及Stream2与Stream3的双线性特征，到这里便获得了K路卷积神经网络的交叉双线性特征，双线性特征的计算方法为：输入为两路卷积神经网络特征图，分别为A，B，将A进行转置然后与B相乘，将上述结果进行归一化操作，并进行L2正则化；

步骤3.3：计算底层的双线性特征，这里底层双线性特征是利用自身与自身进行二阶双线性池化所得，这里的底层选取分别为Stream1的ResNet-5a层即第五个bottleneck块的第一层、Stream2的ResNet-5a层即第五个bottleneck块的第一层以及Stream3的Conv5_1层即第五个卷积块的第一层，将这些底层的双线性特征与高层的交叉双线性特征进行融合。

4.根据权利要求1所述的基于多流多尺度交叉双线性特征的图像细粒度识别方法，其特征在于：所述步骤(3)中利用融合后的特征预测细粒度类别：

步骤4.1：将交叉双线性特征和底层双线性特征进行融合，这里采用两种特征融合方式——拼接方式和元素相加方式，最后，将融合的特征送入到全连接层进行分类，计算softmax向量，得到预测的结果；

其中损失函数为交叉熵损失函数来指导训练和学习过程；

式中，y_i表示真实的类别标签，表示网络预测的类别标签信息，C是训练数据集上的类别总数；

至此，基于多流多尺度交叉双线性特征的图像细粒度识别方法便分析完毕。