CN109858496A - 一种基于加权深度特征的图像特征提取方法 - Google Patents

Abstract

本发明公开了一种基于加权深度特征的图像特征提取方法，所述方法包括以下步骤：选取现有的网络模型在图像数据集上进行预训练，然后去除网络模型中的网络预测层得到最终网络模型；将待提取图像输入至最终网络模型中进行前向计算，提取最终网络模型中所有池化层前面的卷积层作为图像的深度特征图；对每个卷积层计算特征聚合向量，并将每个特征聚合向量进行开方、零均值归一化处理后得到深度特征向量；对所有深度特征向量进行降维，并对降维后的深度特征向量分配对应的权重参数作为每个卷积层的指标；将带有权重参数的深度特征向量进行融合，得到深度图像特征。本发明通用性强，获取的特征鲁棒性好、表达能力强、语义信息丰富、计算简便。

Description

一种基于加权深度特征的图像特征提取方法

技术领域

本发明涉及图像处理领域，更具体地，涉及一种基于加权深度特征的图像特征提取方法。

背景技术

近年来，随着图像大数据的爆发，图像识别、检索、分类、定位和检测等技术得到了长足发展，而这些常用技术中，图像特征提取是关键所在。最终图像任务的优劣很大程度上取决于图像特征提取的好坏。因此如何提取一种更好的图像特征是该领域主要的研究方向。在传统的图像分类、定位和检索等任务中，一般都是基于图像的一些基本特征，如颜色、纹理等，这些特征无法解决尺度变化、遮挡、光照、仿射变换等问题，随后shift等相关图像特征提取算法的出现解决了该问题，这些算法在一些小数据集上取得了非常不错的成绩。在目前的大数据时代，一些传统的基于shift特征提取的图像检索方法(如vald、fv、bag-of-words)变得难以进行。而基于深度学习的方法的优势便突显出来，能够取得极好的效果。

近些年，深度学习在各种计算机视觉任务上都取得了重大的突破，其中一个重要因素就是其强大的非线性表示能力，能够理解图像更深层次的信息，因而在图像特征提取领域发展得尤为迅速。当前随着各种网络结构的不断变化和各种数据集的出现，提取特征方法呈现多样化的态势，这些方法通常需要针对某一数据集进行fine-tune，训练完成后利用训练完成的网络直接进行特征提取。在这种情况下，需要研究人员具备非常好的优化网络结构、调参等能力。而且对于图像大数据，通常情况下无法对其进行标注，需要直接对其进行提取。

目前在基于图像大数据的特征提取方面，提取方法通用性差、计算复杂，提取的特征鲁棒性低，因此，如何找到一种基于深度学习的通用图像特征提取方法是本领域技术人员需要解决的主要问题。

发明内容

本发明为克服上述现有技术中图像大数据特征提取方法通用性差、计算复杂，提取的特征鲁棒性低的缺陷，提供一种基于加权深度特征的图像特征提取方法。

本发明旨在至少在一定程度上解决上述技术问题。

本发明的首要目的是提供一种基于加权深度特征的图像特征提取方法。

为解决上述技术问题，本发明的技术方案如下：

一种基于加权深度特征的图像特征提取方法，所述方法包括以下步骤：

S1：选取现有的网络模型在图像数据集上进行预训练，并将预训练完成后的网络模型中的网络预测层去除后得到最终网络模型

S2：首先将待提取图像直接输入至所述的最终网络模型中进行前向计算，然后提取最终网络模型中所有池化层前面的卷积层作为图像的深度特征图；每一池化层前面的卷积层对应若干单层特征图，所述深度特征图包含所有池化层前面的卷积层中的单层特征图；

S3：利用双通道分量分别对深度特征图中的每个卷积层计算特征聚合向量，并将每个卷积层对应的特征聚合向量进行归一化处理后得到对应卷积层的深度特征向量；

S4：对所有卷积层的深度特征向量分别进行降维处理，并对降维后的深度特征向量分别分配对应的权重参数，将所述权重参数作为每个卷积层的指标；

S5：将降维后且带有权重参数的图像深度特征向量进行融合，作为最终的深度图像特征。

进一步地，步骤S1中用于预训练的图像数据集为现有数据集或基于待提取图像数据集。所述现有数据集为ImageNet图像数据集或coco图像数据集或voc图像数据集。

进一步地，所述现有模型为分类网络模型或定位检测网络模型。

进一步地，步骤S2中将待提取图像直接输入至所述的网络模型中进行前向计算，所述待提取图像为原始待提取图像，所述原始待提取图像未经过图像处理。

进一步地，步骤S3中所述利用双通道分量分别对深度特征图中的每个卷积层计算特征聚合向量具体过程如下：

S3.1：计算图像的深度特征图的横向响应图，横向响应图的大小为(n,n)，n表示单层特征图长和宽，所述横向响应将深度特征图中的所有单层特征图对应叠加，得到横向聚合特征图，然后根据横向响应权重公式计算横向响应图；

所述横向响应权重计算公式如下：

其中，L_ij是横向响应权重，L′_ij是所有卷积层中所有单层特征图的总和，(i，j)和(m，n)是卷积层中数据点的位置坐标；

S3.2：计算图像的深度特征图的纵向响应图，纵向响应图的大小(1，k)，纵向响应将深度特征图的通道特征层展开，并根据纵向响应权重公式计算纵向响应图；

纵向响应权重的计算公式如下：

其中P_j是第j个通道的纵向响应权重，i是通道的标号，k是通道的总个数；x_j是深度特征图中非零部分个数的总和，y_j是深度特征图中为零部分个数的总和；

S3.3：深度特征图与横向响应图和纵向响应图对应相乘，具体为：

将(n，n，k)的深度特征图点乘(n，n)的横向响应图得到(1，k)的横向特征向量，然后与(1，k)的纵向响应图对应点乘，得到大小为(1，k)的特征聚合向量。

进一步地，步骤S3中所述的归一化处理为零均值归一化处理，具体公式如下：

其中，μ为所有特征聚合向量均值，X为所要处理的特征聚合向量，V为零均值归一化处理后的数据，N表示总样本量、x_i表示待处理样本。

进一步地，步骤S3中归一化处理之前对每个卷积层对应的特征聚合向量先进行开方处理。

进一步地，步骤S4所述对所有卷积层的深度特征向量分别进行降维处理，采用的降维处理方法为主成分分析法或线性判别分析法。

进一步地，步骤S4所述降维后的深度特征向量分别分配对应的权重参数，所述权重顺序上靠后的卷积层权重参数大于前面的卷积层权重参数；

权重参数的具体关系如下：

w₁≤w₂≤...≤w_n

其中，w代表权重参数，n代表卷积层序号。

进一步地，所述卷积层权重参数在图像识别的过程中，能够根据图像任务确定权重值，且所有的权重值之和等于1。

与现有技术相比，本发明技术方案的有益效果是：

1本发明方法将待处理原图直接输入至训练完毕的网络模型中，获取的图像特征语义丰富鲁棒性好；本发明方法无须对待提取图像预处理，图像特征可直接提取，通用性好；计算方便，易于实现。

附图说明

图1为本发明方法流程图。

图2为双通道分量聚合得到的特征聚合向量的示意图。

图3为本发明中图像特征向量的表征示意图。

具体实施方式

附图仅用于示例性说明，不能理解为对本专利的限制；

为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；

对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。

下面结合附图和实施例对本发明的技术方案做进一步的说明。

实施例1

如图1所示，一种基于加权深度特征的图像特征提取方法，所述方法包括以下步骤：

S1：选取现有的网络模型VGG16图像分类网络在ImageNet图像数据集上进行预训练，并将预训练完成后的网络模型中的softmax层和全连接层去除，得到最终的VGG16图像分类网络模型；(所述现有模型为分类网络模型或定位检测网络模型，根据具体的图像任务选择。用于预训练的图像数据集为现有常用数据集或基于待提取图像数据集。)

S2：首先将待提取图像直接输入至所述的去除了softmax层和全连接层的VGG16图像分类网络模型中进行前向计算，然后提取VGG16图像分类网络模型中所有池化层前面的卷积层作为图像的深度特征图；每一池化层前面的卷积层对应若干单层特征图，所述深度特征图包含所有池化层前面的卷积层中的单层特征图；

S3：利用双通道分量分别对深度特征图中的每个卷积层计算特征聚合向量，并将每个卷积层对应的特征聚合向量依次进行开方、零均值归一化处理后得到对应卷积层的深度特征向量；

如图2所示，每个卷积层计算特征聚合向量的过程如下：

深度特征图的大小(n,n,k)

S3.1：计算图像的深度特征图的横向响应图，横向响应图的大小为(n,n)，n表示单层特征图长和宽，所述横向响应将深度特征图中的所有单层特征图对应叠加，得到横向聚合特征图，然后根据横向响应权重公式计算横向响应图；

所述横向响应权重计算公式如下：

其中，L_ij是横向响应权重，L′_ij是所有卷积层中所有单层特征图的总和，(i，j)和(m，n)是卷积层中数据点的位置坐标；

S3.2：计算图像的深度特征图的纵向响应图，纵向响应图的大小(1，k)，纵向响应将深度特征图的通道特征层展开，并根据纵向响应权重公式计算纵向响应图；

纵向响应权重的计算公式如下：

其中P_j是第j个通道的纵向响应权重，i是通道的标号，k是通道的总个数；x_j是深度特征图中非零部分个数的总和，y_j是深度特征图中为零部分个数的总和；

S3.3：深度特征图与横向响应图和纵向响应图对应相乘，具体为：

将(n，n，k)的深度特征图点乘(n，n)的横向响应图得到(1，k)的横向特征向量，然后与(1，k)的纵向响应图对应点乘，得到大小为(1，k)的特征聚合向量。

按照步骤S3.1-S3.3得到每个卷积层特征聚合向量记为{f1,f2,…fn}，其中每个特征聚合向量的维度与原卷积层通道大小相关。

S4：利用主成分分析法(或线性判别分析法)对所有卷积层的深度特征向量分别进行降维，并对降维后的深度特征向量分别分配对应的权重参数，将所述权重参数作为每个卷积层的指标；

对特征聚合向量记为{f1,f2,…fn}进行开方处理，并对其进行归一化处理，获取得到待降维的特征聚合向量{v1,v2,…vn}，处理公式为：

其中，μ为所有特征聚合向量均值，X为所要处理的特征聚合向量，V为零均值归一化处理后的数据，N表示总样本量、x_i表示待处理样本。

PCA降维处理计算过程如下：

以v1为例，v1＝(k1，k2，...，kn)，降维后得到的向量为P：

第一步对v1求均值计算特征聚合向量的偏移量

第二步，计算特征聚合向量的主要成分，即求协方差矩阵C:

第三部，计算协方差矩阵的特征值μ₁μ₂...μ_n和特征向量β₁β₂...β_n。

第四部，降维后的向量P1＝(μ₁μ₂...μ_n)*V1

按照步骤第一步至第四步的顺序求出v1到vn的降维后的特征聚合向量，记为P＝(P1，P2，...，Pn)。

对降维后的特征聚合向量分配对应的权重{w₁，w₂，…w_n}，通常所述权重顺序上靠后的卷积层权重参数大于前面的卷积层权重参数；

权重参数的具体关系如下：

w₁≤w₂≤...≤w_n

其中，w代表权重参数，n代表卷积层序号，且权重满足下列条件：

w₁+w₂+...+w_n＝1

则最终的特征向量可表示为(w₁*P1，w₂*P2，...，w_n*Pn)。

如图3所示，S5：将降维后且带有权重参数的图像深度特征向量进行融合，作为最终的深度图像特征。

根据具体的图像任务分配权重值，以图像检索任务为例，求取权重的具体范围:

当进行图像查询时，图像数据库中每一幅图像的特征表示为{P₁，P₂，…P_n}_num(num为数据库个数),一幅待查询图像的特征表示可以为：{Q1，Q2...Qn}_q,在查询的过程中，计算出查询图像相对于数据库中每一幅图像的距离，通常采用余弦距离：

S＝P*Q/|P||Q|

对于查询图像和数据库中的一幅图，每个特征层Qn和Pn的距离均可计算，

Sn＝Pn*Qn/|Pn||Qn|

设所求每个特征层距离为{s1，s2，...，sn},此时为每个距离分配权重：

{w₁，w₂，…w_n}，满足w₁+w₂+…+w_n＝1,总距离S＝w1*s1+w2*s2...+wn*sn。

查询的结果由所有的总距离S排序决定，这种分配权重K可理解为每一层在查询的过程中所占权重分配，而分配的权重不同则会影响查询的结果。理论上{w₁，w₂，…w_n}之间有无穷多的比例，无法确定那个比例能够达到最好的效果。

根据实际经验，给出{w₁，w₂，…w_n}之间的约束条件:

w_n*s_n≥w_n-1*s_n-1≥…≥w₂*s₂≥w₁*s₁,

在实际根据数据集求取最后结果时，根据该约束条件，极大的缩小权值空间。

实施例2

一种基于加权深度特征的图像特征提取方法，所述方法包括以下步骤：

S1：本实施例选取网络模型ResNet在coco图像数据集上进行预训练，并将预训练完成后的网络模型中的softmax层和全连接层去除，得到最终的ResNet图像分类网络模型；(所述现有模型为分类网络模型或定位检测网络模型，根据具体的图像任务选择。用于预训练的图像数据集为现有常用数据集或基于待提取图像数据集。)

S2：首先将待提取图像直接输入至所述的去除了softmax层和全连接层的ResNet图像分类网络模型中进行前向计算，然后提取ResNet图像分类网络模型中所有池化层前面的卷积层作为图像的深度特征图；每一池化层前面的卷积层对应若干单层特征图，所述深度特征图包含所有池化层前面的卷积层中的单层特征图；

S3：利用双通道分量分别对深度特征图中的每个卷积层计算特征聚合向量，并将每个卷积层对应的特征聚合向量依次进行开方、零均值归一化处理后得到对应卷积层的深度特征向量；

如图2所示，每个卷积层计算特征聚合向量的过程如下：

深度特征图的大小(n,n,k)

S3.1：计算图像的深度特征图的横向响应图，横向响应图的大小为(n,n)，n表示单层特征图长和宽，所述横向响应将深度特征图中的所有单层特征图对应叠加，得到横向聚合特征图，然后根据横向响应权重公式计算横向响应图；

所述横向响应权重计算公式如下：

其中，L_ij是横向响应权重，L′_ij是所有卷积层中所有单层特征图的总和，(i，j)和(m，n)是卷积层中数据点的位置坐标；

S3.2：计算图像的深度特征图的纵向响应图，纵向响应图的大小(1，k)，纵向响应将深度特征图的通道特征层展开，并根据纵向响应权重公式计算纵向响应图；

纵向响应权重的计算公式如下：

其中P_j是第j个通道的纵向响应权重，i是通道的标号，k是通道的总个数；x_j是深度特征图中非零部分个数的总和，y_j是深度特征图中为零部分个数的总和；

S3.3：深度特征图与横向响应图和纵向响应图对应相乘，具体为：

将(n，n，k)的深度特征图点乘(n，n)的横向响应图得到(1，k)的横向特征向量，然后与(1，k)的纵向响应图对应点乘，得到大小为(1，k)的特征聚合向量。

按照步骤S3.1-S3.3得到每个卷积层特征聚合向量记为{f1,f2,…fn}，其中每个特征聚合向量的维度与原卷积层通道大小相关。

S4：本实施例利用主成分分析法(或使用线性判别分析法)对所有卷积层的深度特征向量分别进行降维处理，并对降维后的深度特征向量分别分配对应的权重参数，将所述权重参数作为每个卷积层的指标；

对特征聚合向量记为{f1,f2,…fn}进行开方处理，并对其进行归一化处理，获取得到待降维的特征聚合向量{v1,v2,…vn}，处理公式为：

其中，μ为所有特征聚合向量均值，X为所要处理的特征聚合向量，V为零均值归一化处理后的数据，N表示总样本量、x_i表示待处理样本。

PCA降维处理计算过程如下：

以v1为例，v1＝(k1，k2，...，kn)，降维后得到的向量为P：

第一步对v1求均值计算特征聚合向量的偏移量

第二步，计算特征聚合向量的主要成分，即求协方差矩阵C:

第三部，计算协方差矩阵的特征值μ₁μ₂...μ_n和特征向量β₁β₂...β_n。

第四部，降维后的向量P1＝(μ₁μ₂...μ_n)*V1

按照步骤第一步至第四步的顺序求出v1到vn的降维后的特征聚合向量，记为P＝(P1，P2，...，Pn)。

对降维后的特征聚合向量分配对应的权重{w₁，w₂，…w_n}，通常所述权重顺序上靠后的卷积层权重参数大于前面的卷积层权重参数；

权重参数的具体关系如下：

w₁≤w₂≤...≤w_n

其中，w代表权重参数，n代表卷积层序号，且权重满足下列条件：

w₁+w₂+...+w_n＝1

则最终的特征向量可表示为(w₁*P1，w₂*P2，...，w_n*Pn)。

如图3所示，S5：将降维后且带有权重参数的图像深度特征向量进行融合，作为最终的深度图像特征。

根据具体的图像任务分配权重值，以图像检索任务为例，求取权重的具体范围:

当进行图像查询时，图像数据库中每一幅图像的特征表示为{P₁，P₂，…P_n}_num(num为数据库个数),一幅待查询图像的特征表示可以为：{Q1，Q2…Qn}_q,在查询的过程中，计算出查询图像相对于数据库中每一幅图像的距离，通常采用余弦距离：

S＝P*Q/|P||Q|

对于查询图像和数据库中的一幅图，每个特征层Qn和Pn的距离均可计算，

Sn＝Pn*Qn/|Pn||Qn|

设所求每个特征层距离为{s1，s2，…，sn},此时为每个距离分配权重：

{w₁，w₂，…w_n}，满足w₁+w₂+...+w_n＝1,总距离S＝w1*s1+w2*s2...+wn*sn。

查询的结果由所有的总距离S排序决定，这种分配权重K可理解为每一层在查询的过程中所占权重分配，而分配的权重不同则会影响查询的结果。理论上{w₁，w₂，…w_n}之间有无穷多的比例，无法确定那个比例能够达到最好的效果。

根据实际经验，给出{w₁，w₂，…w_n}之间的约束条件:

w_n*s_n≥w_n-1*s_n-1≥…≥w₂*s₂≥w₁*s₁,

在实际根据数据集求取最后结果时，根据该约束条件，极大的缩小权值空间。

本实施例给出了一整套基于深度特征的图像特征提取的方法，更够有效的应对各种图像特征识别问题，且提取的特征向量包含卷积神经网络各个部分的特征，既包含前端的局部特征，有包含后端的全局特征，具有丰富的抽象语言信息，在相应权重的分配下，能够有效的处理各种图像识别类问题。

相同或相似的标号对应相同或相似的部件；

附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制；

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (10)

1.一种基于加权深度特征的图像特征提取方法，其特征在于，所述方法包括以下步骤：

S1：选取网络模型在图像数据集上进行预训练，并将预训练完毕的网络模型中的网络预测层去除；

S2：将待提取图像直接输入至所述的网络模型中进行前向计算，提取网络模型中所有池化层前面的卷积层作为待提取图像的深度特征图；每一池化层前面的卷积层对应若干单层特征图，所述深度特征图包含所有池化层前面的卷积层中的单层特征图；

S3：利用双通道分量分别对深度特征图中的每个卷积层计算特征聚合向量，并将每个卷积层对应的特征聚合向量进行归一化处理后得到对应卷积层的深度特征向量；

S4：对所有卷积层的深度特征向量分别进行降维处理，并对降维后的深度特征向量分别分配对应的权重参数，将所述权重参数作为每个卷积层的指标；

S5：将降维后且带有权重参数的图像深度特征向量进行融合，作为最终的深度图像特征。

2.根据权利要求1所述的一种基于加权深度特征的图像特征提取方法，其特征在于，步骤S1中用于预训练的图像数据集为现有数据集或基于待提取图像数据集；所述现有数据集为ImageNet图像数据集或coco图像数据集或voc图像数据集。

3.根据权利要求1所述的一种基于加权深度特征的图像特征提取方法，其特征在于，所述网络模型为分类网络模型或定位检测网络模型。

4.根据权利要求1所述的一种基于加权深度特征的图像特征提取方法，其特征在于，步骤S2中将待提取图像直接输入至所述的网络模型中进行前向计算，所述待提取图像为原始待提取图像，所述原始待提取图像未经过图像处理。

5.根据权利要求1-4任一项所述的一种基于加权深度特征的图像特征提取方法，其特征在于，步骤S3中所述利用双通道分量分别对深度特征图中的每个卷积层计算特征聚合向量具体过程如下：

S3.1：计算图像的深度特征图的横向响应图：

横向响应图的大小为(n,n)，n表示单层特征图长和宽，所述横向响应图将深度特征图中的所有单层特征图对应叠加，得到横向聚合特征图，然后根据横向响应权重公式计算横向响应图；

所述横向响应权重计算公式如下：

其中，L_ij是横向响应权重，L′_ij是所有卷积层中所有单层特征图的总和，(i，j)和(m，n)是卷积层中数据点的位置坐标；

S3.2：计算图像的深度特征图的纵向响应图：

纵向响应图的大小(1，k)，纵向响应将深度特征图的通道特征层展开，并根据纵向响应权重公式计算纵向响应图；

纵向响应权重的计算公式如下：

其中P_j是第j个通道的纵向响应权重，i是通道的标号，k是通道的总个数；x_j是深度特征图中非零部分个数的总和，y_j是深度特征图中为零部分个数的总和；

S3.3：深度特征图与横向响应图和纵向响应图对应相乘，具体为：

将(n，n，k)的深度特征图点乘(n，n)的横向响应图得到(1，k)的横向特征向量，然后与(1，k)的纵向响应图对应点乘，得到大小为(1，k)的特征聚合向量。

6.根据权利要求5所述的一种基于加权深度特征的图像特征提取方法，其特征在于，步骤S3中所述的归一化处理为零均值归一化处理，具体公式如下：

其中，μ为所有特征聚合向量均值，X为所要处理的特征聚合向量，V为零均值归一化处理后的数据，N表示总样本量、x_i表示待处理样本。

7.根据权利要求6所述的一种基于加权深度特征的图像特征提取方法，其特征在于，步骤S3中归一化处理之前对每个卷积层对应的特征聚合向量先进行开方处理。

8.根据权利要求1-4任一项所述的一种基于加权深度特征的图像特征提取方法，其特征在于，步骤S4所述对所有卷积层的深度特征向量分别进行降维处理，采用的降维处理方法为主成分分析法或线性判别分析法。

9.根据权利要求8所述的一种基于加权深度特征的图像特征提取方法，其特征在于，步骤S4所述降维后的深度特征向量分别分配对应的权重参数，顺序上靠后的卷积层权重参数大于前面的卷积层权重参数；

权重参数的具体关系如下：

w₁≤w₂≤...≤w_n

其中，w代表权重参数，n代表卷积层序号。

10.根据权利要求9所述的一种基于加权深度特征的图像特征提取方法，其特征在于，所述卷积层权重参数在图像识别的过程中，能够根据图像任务确定权重值，且所有的权重值之和等于1。