CN109858496A - 一种基于加权深度特征的图像特征提取方法 - Google Patents
一种基于加权深度特征的图像特征提取方法 Download PDFInfo
- Publication number
- CN109858496A CN109858496A CN201910045648.3A CN201910045648A CN109858496A CN 109858496 A CN109858496 A CN 109858496A CN 201910045648 A CN201910045648 A CN 201910045648A CN 109858496 A CN109858496 A CN 109858496A
- Authority
- CN
- China
- Prior art keywords
- characteristic
- image
- depth
- depth characteristic
- vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 239000013598 vector Substances 0.000 claims abstract description 81
- 230000002776 aggregation Effects 0.000 claims abstract description 46
- 238000004220 aggregation Methods 0.000 claims abstract description 46
- 230000009467 reduction Effects 0.000 claims abstract description 19
- 238000004364 calculation method Methods 0.000 claims abstract description 16
- 238000012549 training Methods 0.000 claims abstract description 14
- 239000000284 extract Substances 0.000 claims abstract description 4
- 239000010410 layer Substances 0.000 claims description 91
- 230000004044 response Effects 0.000 claims description 72
- 239000002356 single layer Substances 0.000 claims description 19
- 230000008569 process Effects 0.000 claims description 8
- 238000013480 data collection Methods 0.000 claims description 5
- 238000001514 detection method Methods 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 5
- 230000004807 localization Effects 0.000 claims description 4
- 238000000513 principal component analysis Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims 1
- 238000013528 artificial neural network Methods 0.000 abstract description 2
- 238000000605 extraction Methods 0.000 description 9
- 238000009826 distribution Methods 0.000 description 7
- 239000011159 matrix material Substances 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000003475 lamination Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 241000208340 Araliaceae Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种基于加权深度特征的图像特征提取方法,所述方法包括以下步骤:选取现有的网络模型在图像数据集上进行预训练,然后去除网络模型中的网络预测层得到最终网络模型;将待提取图像输入至最终网络模型中进行前向计算,提取最终网络模型中所有池化层前面的卷积层作为图像的深度特征图;对每个卷积层计算特征聚合向量,并将每个特征聚合向量进行开方、零均值归一化处理后得到深度特征向量;对所有深度特征向量进行降维,并对降维后的深度特征向量分配对应的权重参数作为每个卷积层的指标;将带有权重参数的深度特征向量进行融合,得到深度图像特征。本发明通用性强,获取的特征鲁棒性好、表达能力强、语义信息丰富、计算简便。
Description
技术领域
本发明涉及图像处理领域,更具体地,涉及一种基于加权深度特征的图像特征提取方法。
背景技术
近年来,随着图像大数据的爆发,图像识别、检索、分类、定位和检测等技术得到了长足发展,而这些常用技术中,图像特征提取是关键所在。最终图像任务的优劣很大程度上取决于图像特征提取的好坏。因此如何提取一种更好的图像特征是该领域主要的研究方向。在传统的图像分类、定位和检索等任务中,一般都是基于图像的一些基本特征,如颜色、纹理等,这些特征无法解决尺度变化、遮挡、光照、仿射变换等问题,随后shift等相关图像特征提取算法的出现解决了该问题,这些算法在一些小数据集上取得了非常不错的成绩。在目前的大数据时代,一些传统的基于shift特征提取的图像检索方法(如vald、fv、bag-of-words)变得难以进行。而基于深度学习的方法的优势便突显出来,能够取得极好的效果。
近些年,深度学习在各种计算机视觉任务上都取得了重大的突破,其中一个重要因素就是其强大的非线性表示能力,能够理解图像更深层次的信息,因而在图像特征提取领域发展得尤为迅速。当前随着各种网络结构的不断变化和各种数据集的出现,提取特征方法呈现多样化的态势,这些方法通常需要针对某一数据集进行fine-tune,训练完成后利用训练完成的网络直接进行特征提取。在这种情况下,需要研究人员具备非常好的优化网络结构、调参等能力。而且对于图像大数据,通常情况下无法对其进行标注,需要直接对其进行提取。
目前在基于图像大数据的特征提取方面,提取方法通用性差、计算复杂,提取的特征鲁棒性低,因此,如何找到一种基于深度学习的通用图像特征提取方法是本领域技术人员需要解决的主要问题。
发明内容
本发明为克服上述现有技术中图像大数据特征提取方法通用性差、计算复杂,提取的特征鲁棒性低的缺陷,提供一种基于加权深度特征的图像特征提取方法。
本发明旨在至少在一定程度上解决上述技术问题。
本发明的首要目的是提供一种基于加权深度特征的图像特征提取方法。
为解决上述技术问题,本发明的技术方案如下:
一种基于加权深度特征的图像特征提取方法,所述方法包括以下步骤:
S1:选取现有的网络模型在图像数据集上进行预训练,并将预训练完成后的网络模型中的网络预测层去除后得到最终网络模型
S2:首先将待提取图像直接输入至所述的最终网络模型中进行前向计算,然后提取最终网络模型中所有池化层前面的卷积层作为图像的深度特征图;每一池化层前面的卷积层对应若干单层特征图,所述深度特征图包含所有池化层前面的卷积层中的单层特征图;
S3:利用双通道分量分别对深度特征图中的每个卷积层计算特征聚合向量,并将每个卷积层对应的特征聚合向量进行归一化处理后得到对应卷积层的深度特征向量;
S4:对所有卷积层的深度特征向量分别进行降维处理,并对降维后的深度特征向量分别分配对应的权重参数,将所述权重参数作为每个卷积层的指标;
S5:将降维后且带有权重参数的图像深度特征向量进行融合,作为最终的深度图像特征。
进一步地,步骤S1中用于预训练的图像数据集为现有数据集或基于待提取图像数据集。所述现有数据集为ImageNet图像数据集或coco图像数据集或voc图像数据集。
进一步地,所述现有模型为分类网络模型或定位检测网络模型。
进一步地,步骤S2中将待提取图像直接输入至所述的网络模型中进行前向计算,所述待提取图像为原始待提取图像,所述原始待提取图像未经过图像处理。
进一步地,步骤S3中所述利用双通道分量分别对深度特征图中的每个卷积层计算特征聚合向量具体过程如下:
S3.1:计算图像的深度特征图的横向响应图,横向响应图的大小为(n,n),n表示单层特征图长和宽,所述横向响应将深度特征图中的所有单层特征图对应叠加,得到横向聚合特征图,然后根据横向响应权重公式计算横向响应图;
所述横向响应权重计算公式如下:
其中,Lij是横向响应权重,L′ij是所有卷积层中所有单层特征图的总和,(i,j)和(m,n)是卷积层中数据点的位置坐标;
S3.2:计算图像的深度特征图的纵向响应图,纵向响应图的大小(1,k),纵向响应将深度特征图的通道特征层展开,并根据纵向响应权重公式计算纵向响应图;
纵向响应权重的计算公式如下:
其中Pj是第j个通道的纵向响应权重,i是通道的标号,k是通道的总个数;xj是深度特征图中非零部分个数的总和,yj是深度特征图中为零部分个数的总和;
S3.3:深度特征图与横向响应图和纵向响应图对应相乘,具体为:
将(n,n,k)的深度特征图点乘(n,n)的横向响应图得到(1,k)的横向特征向量,然后与(1,k)的纵向响应图对应点乘,得到大小为(1,k)的特征聚合向量。
进一步地,步骤S3中所述的归一化处理为零均值归一化处理,具体公式如下:
其中,μ为所有特征聚合向量均值,X为所要处理的特征聚合向量,V为零均值归一化处理后的数据,N表示总样本量、xi表示待处理样本。
进一步地,步骤S3中归一化处理之前对每个卷积层对应的特征聚合向量先进行开方处理。
进一步地,步骤S4所述对所有卷积层的深度特征向量分别进行降维处理,采用的降维处理方法为主成分分析法或线性判别分析法。
进一步地,步骤S4所述降维后的深度特征向量分别分配对应的权重参数,所述权重顺序上靠后的卷积层权重参数大于前面的卷积层权重参数;
权重参数的具体关系如下:
w1≤w2≤...≤wn
其中,w代表权重参数,n代表卷积层序号。
进一步地,所述卷积层权重参数在图像识别的过程中,能够根据图像任务确定权重值,且所有的权重值之和等于1。
与现有技术相比,本发明技术方案的有益效果是:
1本发明方法将待处理原图直接输入至训练完毕的网络模型中,获取的图像特征语义丰富鲁棒性好;本发明方法无须对待提取图像预处理,图像特征可直接提取,通用性好;计算方便,易于实现。
附图说明
图1为本发明方法流程图。
图2为双通道分量聚合得到的特征聚合向量的示意图。
图3为本发明中图像特征向量的表征示意图。
具体实施方式
附图仅用于示例性说明,不能理解为对本专利的限制;
为了更好说明本实施例,附图某些部件会有省略、放大或缩小,并不代表实际产品的尺寸;
对于本领域技术人员来说,附图中某些公知结构及其说明可能省略是可以理解的。
下面结合附图和实施例对本发明的技术方案做进一步的说明。
实施例1
如图1所示,一种基于加权深度特征的图像特征提取方法,所述方法包括以下步骤:
S1:选取现有的网络模型VGG16图像分类网络在ImageNet图像数据集上进行预训练,并将预训练完成后的网络模型中的softmax层和全连接层去除,得到最终的VGG16图像分类网络模型;(所述现有模型为分类网络模型或定位检测网络模型,根据具体的图像任务选择。用于预训练的图像数据集为现有常用数据集或基于待提取图像数据集。)
S2:首先将待提取图像直接输入至所述的去除了softmax层和全连接层的VGG16图像分类网络模型中进行前向计算,然后提取VGG16图像分类网络模型中所有池化层前面的卷积层作为图像的深度特征图;每一池化层前面的卷积层对应若干单层特征图,所述深度特征图包含所有池化层前面的卷积层中的单层特征图;
S3:利用双通道分量分别对深度特征图中的每个卷积层计算特征聚合向量,并将每个卷积层对应的特征聚合向量依次进行开方、零均值归一化处理后得到对应卷积层的深度特征向量;
如图2所示,每个卷积层计算特征聚合向量的过程如下:
深度特征图的大小(n,n,k)
S3.1:计算图像的深度特征图的横向响应图,横向响应图的大小为(n,n),n表示单层特征图长和宽,所述横向响应将深度特征图中的所有单层特征图对应叠加,得到横向聚合特征图,然后根据横向响应权重公式计算横向响应图;
所述横向响应权重计算公式如下:
其中,Lij是横向响应权重,L′ij是所有卷积层中所有单层特征图的总和,(i,j)和(m,n)是卷积层中数据点的位置坐标;
S3.2:计算图像的深度特征图的纵向响应图,纵向响应图的大小(1,k),纵向响应将深度特征图的通道特征层展开,并根据纵向响应权重公式计算纵向响应图;
纵向响应权重的计算公式如下:
其中Pj是第j个通道的纵向响应权重,i是通道的标号,k是通道的总个数;xj是深度特征图中非零部分个数的总和,yj是深度特征图中为零部分个数的总和;
S3.3:深度特征图与横向响应图和纵向响应图对应相乘,具体为:
将(n,n,k)的深度特征图点乘(n,n)的横向响应图得到(1,k)的横向特征向量,然后与(1,k)的纵向响应图对应点乘,得到大小为(1,k)的特征聚合向量。
按照步骤S3.1-S3.3得到每个卷积层特征聚合向量记为{f1,f2,…fn},其中每个特征聚合向量的维度与原卷积层通道大小相关。
S4:利用主成分分析法(或线性判别分析法)对所有卷积层的深度特征向量分别进行降维,并对降维后的深度特征向量分别分配对应的权重参数,将所述权重参数作为每个卷积层的指标;
对特征聚合向量记为{f1,f2,…fn}进行开方处理,并对其进行归一化处理,获取得到待降维的特征聚合向量{v1,v2,…vn},处理公式为:
其中,μ为所有特征聚合向量均值,X为所要处理的特征聚合向量,V为零均值归一化处理后的数据,N表示总样本量、xi表示待处理样本。
PCA降维处理计算过程如下:
以v1为例,v1=(k1,k2,...,kn),降维后得到的向量为P:
第一步对v1求均值计算特征聚合向量的偏移量
第二步,计算特征聚合向量的主要成分,即求协方差矩阵C:
第三部,计算协方差矩阵的特征值μ1μ2...μn和特征向量β1β2...βn。
第四部,降维后的向量P1=(μ1μ2...μn)*V1
按照步骤第一步至第四步的顺序求出v1到vn的降维后的特征聚合向量,记为P=(P1,P2,...,Pn)。
对降维后的特征聚合向量分配对应的权重{w1,w2,…wn},通常所述权重顺序上靠后的卷积层权重参数大于前面的卷积层权重参数;
权重参数的具体关系如下:
w1≤w2≤...≤wn
其中,w代表权重参数,n代表卷积层序号,且权重满足下列条件:
w1+w2+...+wn=1
则最终的特征向量可表示为(w1*P1,w2*P2,...,wn*Pn)。
如图3所示,S5:将降维后且带有权重参数的图像深度特征向量进行融合,作为最终的深度图像特征。
根据具体的图像任务分配权重值,以图像检索任务为例,求取权重的具体范围:
当进行图像查询时,图像数据库中每一幅图像的特征表示为{P1,P2,…Pn}num(num为数据库个数),一幅待查询图像的特征表示可以为:{Q1,Q2...Qn}q,在查询的过程中,计算出查询图像相对于数据库中每一幅图像的距离,通常采用余弦距离:
S=P*Q/|P||Q|
对于查询图像和数据库中的一幅图,每个特征层Qn和Pn的距离均可计算,
Sn=Pn*Qn/|Pn||Qn|
设所求每个特征层距离为{s1,s2,...,sn},此时为每个距离分配权重:
{w1,w2,…wn},满足w1+w2+…+wn=1,总距离S=w1*s1+w2*s2...+wn*sn。
查询的结果由所有的总距离S排序决定,这种分配权重K可理解为每一层在查询的过程中所占权重分配,而分配的权重不同则会影响查询的结果。理论上{w1,w2,…wn}之间有无穷多的比例,无法确定那个比例能够达到最好的效果。
根据实际经验,给出{w1,w2,…wn}之间的约束条件:
wn*sn≥wn-1*sn-1≥…≥w2*s2≥w1*s1,
在实际根据数据集求取最后结果时,根据该约束条件,极大的缩小权值空间。
实施例2
一种基于加权深度特征的图像特征提取方法,所述方法包括以下步骤:
S1:本实施例选取网络模型ResNet在coco图像数据集上进行预训练,并将预训练完成后的网络模型中的softmax层和全连接层去除,得到最终的ResNet图像分类网络模型;(所述现有模型为分类网络模型或定位检测网络模型,根据具体的图像任务选择。用于预训练的图像数据集为现有常用数据集或基于待提取图像数据集。)
S2:首先将待提取图像直接输入至所述的去除了softmax层和全连接层的ResNet图像分类网络模型中进行前向计算,然后提取ResNet图像分类网络模型中所有池化层前面的卷积层作为图像的深度特征图;每一池化层前面的卷积层对应若干单层特征图,所述深度特征图包含所有池化层前面的卷积层中的单层特征图;
S3:利用双通道分量分别对深度特征图中的每个卷积层计算特征聚合向量,并将每个卷积层对应的特征聚合向量依次进行开方、零均值归一化处理后得到对应卷积层的深度特征向量;
如图2所示,每个卷积层计算特征聚合向量的过程如下:
深度特征图的大小(n,n,k)
S3.1:计算图像的深度特征图的横向响应图,横向响应图的大小为(n,n),n表示单层特征图长和宽,所述横向响应将深度特征图中的所有单层特征图对应叠加,得到横向聚合特征图,然后根据横向响应权重公式计算横向响应图;
所述横向响应权重计算公式如下:
其中,Lij是横向响应权重,L′ij是所有卷积层中所有单层特征图的总和,(i,j)和(m,n)是卷积层中数据点的位置坐标;
S3.2:计算图像的深度特征图的纵向响应图,纵向响应图的大小(1,k),纵向响应将深度特征图的通道特征层展开,并根据纵向响应权重公式计算纵向响应图;
纵向响应权重的计算公式如下:
其中Pj是第j个通道的纵向响应权重,i是通道的标号,k是通道的总个数;xj是深度特征图中非零部分个数的总和,yj是深度特征图中为零部分个数的总和;
S3.3:深度特征图与横向响应图和纵向响应图对应相乘,具体为:
将(n,n,k)的深度特征图点乘(n,n)的横向响应图得到(1,k)的横向特征向量,然后与(1,k)的纵向响应图对应点乘,得到大小为(1,k)的特征聚合向量。
按照步骤S3.1-S3.3得到每个卷积层特征聚合向量记为{f1,f2,…fn},其中每个特征聚合向量的维度与原卷积层通道大小相关。
S4:本实施例利用主成分分析法(或使用线性判别分析法)对所有卷积层的深度特征向量分别进行降维处理,并对降维后的深度特征向量分别分配对应的权重参数,将所述权重参数作为每个卷积层的指标;
对特征聚合向量记为{f1,f2,…fn}进行开方处理,并对其进行归一化处理,获取得到待降维的特征聚合向量{v1,v2,…vn},处理公式为:
其中,μ为所有特征聚合向量均值,X为所要处理的特征聚合向量,V为零均值归一化处理后的数据,N表示总样本量、xi表示待处理样本。
PCA降维处理计算过程如下:
以v1为例,v1=(k1,k2,...,kn),降维后得到的向量为P:
第一步对v1求均值计算特征聚合向量的偏移量
第二步,计算特征聚合向量的主要成分,即求协方差矩阵C:
第三部,计算协方差矩阵的特征值μ1μ2...μn和特征向量β1β2...βn。
第四部,降维后的向量P1=(μ1μ2...μn)*V1
按照步骤第一步至第四步的顺序求出v1到vn的降维后的特征聚合向量,记为P=(P1,P2,...,Pn)。
对降维后的特征聚合向量分配对应的权重{w1,w2,…wn},通常所述权重顺序上靠后的卷积层权重参数大于前面的卷积层权重参数;
权重参数的具体关系如下:
w1≤w2≤...≤wn
其中,w代表权重参数,n代表卷积层序号,且权重满足下列条件:
w1+w2+...+wn=1
则最终的特征向量可表示为(w1*P1,w2*P2,...,wn*Pn)。
如图3所示,S5:将降维后且带有权重参数的图像深度特征向量进行融合,作为最终的深度图像特征。
根据具体的图像任务分配权重值,以图像检索任务为例,求取权重的具体范围:
当进行图像查询时,图像数据库中每一幅图像的特征表示为{P1,P2,…Pn}num(num为数据库个数),一幅待查询图像的特征表示可以为:{Q1,Q2…Qn}q,在查询的过程中,计算出查询图像相对于数据库中每一幅图像的距离,通常采用余弦距离:
S=P*Q/|P||Q|
对于查询图像和数据库中的一幅图,每个特征层Qn和Pn的距离均可计算,
Sn=Pn*Qn/|Pn||Qn|
设所求每个特征层距离为{s1,s2,…,sn},此时为每个距离分配权重:
{w1,w2,…wn},满足w1+w2+...+wn=1,总距离S=w1*s1+w2*s2...+wn*sn。
查询的结果由所有的总距离S排序决定,这种分配权重K可理解为每一层在查询的过程中所占权重分配,而分配的权重不同则会影响查询的结果。理论上{w1,w2,…wn}之间有无穷多的比例,无法确定那个比例能够达到最好的效果。
根据实际经验,给出{w1,w2,…wn}之间的约束条件:
wn*sn≥wn-1*sn-1≥…≥w2*s2≥w1*s1,
在实际根据数据集求取最后结果时,根据该约束条件,极大的缩小权值空间。
本实施例给出了一整套基于深度特征的图像特征提取的方法,更够有效的应对各种图像特征识别问题,且提取的特征向量包含卷积神经网络各个部分的特征,既包含前端的局部特征,有包含后端的全局特征,具有丰富的抽象语言信息,在相应权重的分配下,能够有效的处理各种图像识别类问题。
相同或相似的标号对应相同或相似的部件;
附图中描述位置关系的用语仅用于示例性说明,不能理解为对本专利的限制;
显然,本发明的上述实施例仅仅是为清楚地说明本发明所作的举例,而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说,在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明权利要求的保护范围之内。
Claims (10)
1.一种基于加权深度特征的图像特征提取方法,其特征在于,所述方法包括以下步骤:
S1:选取网络模型在图像数据集上进行预训练,并将预训练完毕的网络模型中的网络预测层去除;
S2:将待提取图像直接输入至所述的网络模型中进行前向计算,提取网络模型中所有池化层前面的卷积层作为待提取图像的深度特征图;每一池化层前面的卷积层对应若干单层特征图,所述深度特征图包含所有池化层前面的卷积层中的单层特征图;
S3:利用双通道分量分别对深度特征图中的每个卷积层计算特征聚合向量,并将每个卷积层对应的特征聚合向量进行归一化处理后得到对应卷积层的深度特征向量;
S4:对所有卷积层的深度特征向量分别进行降维处理,并对降维后的深度特征向量分别分配对应的权重参数,将所述权重参数作为每个卷积层的指标;
S5:将降维后且带有权重参数的图像深度特征向量进行融合,作为最终的深度图像特征。
2.根据权利要求1所述的一种基于加权深度特征的图像特征提取方法,其特征在于,步骤S1中用于预训练的图像数据集为现有数据集或基于待提取图像数据集;所述现有数据集为ImageNet图像数据集或coco图像数据集或voc图像数据集。
3.根据权利要求1所述的一种基于加权深度特征的图像特征提取方法,其特征在于,所述网络模型为分类网络模型或定位检测网络模型。
4.根据权利要求1所述的一种基于加权深度特征的图像特征提取方法,其特征在于,步骤S2中将待提取图像直接输入至所述的网络模型中进行前向计算,所述待提取图像为原始待提取图像,所述原始待提取图像未经过图像处理。
5.根据权利要求1-4任一项所述的一种基于加权深度特征的图像特征提取方法,其特征在于,步骤S3中所述利用双通道分量分别对深度特征图中的每个卷积层计算特征聚合向量具体过程如下:
S3.1:计算图像的深度特征图的横向响应图:
横向响应图的大小为(n,n),n表示单层特征图长和宽,所述横向响应图将深度特征图中的所有单层特征图对应叠加,得到横向聚合特征图,然后根据横向响应权重公式计算横向响应图;
所述横向响应权重计算公式如下:
其中,Lij是横向响应权重,L′ij是所有卷积层中所有单层特征图的总和,(i,j)和(m,n)是卷积层中数据点的位置坐标;
S3.2:计算图像的深度特征图的纵向响应图:
纵向响应图的大小(1,k),纵向响应将深度特征图的通道特征层展开,并根据纵向响应权重公式计算纵向响应图;
纵向响应权重的计算公式如下:
其中Pj是第j个通道的纵向响应权重,i是通道的标号,k是通道的总个数;xj是深度特征图中非零部分个数的总和,yj是深度特征图中为零部分个数的总和;
S3.3:深度特征图与横向响应图和纵向响应图对应相乘,具体为:
将(n,n,k)的深度特征图点乘(n,n)的横向响应图得到(1,k)的横向特征向量,然后与(1,k)的纵向响应图对应点乘,得到大小为(1,k)的特征聚合向量。
6.根据权利要求5所述的一种基于加权深度特征的图像特征提取方法,其特征在于,步骤S3中所述的归一化处理为零均值归一化处理,具体公式如下:
其中,μ为所有特征聚合向量均值,X为所要处理的特征聚合向量,V为零均值归一化处理后的数据,N表示总样本量、xi表示待处理样本。
7.根据权利要求6所述的一种基于加权深度特征的图像特征提取方法,其特征在于,步骤S3中归一化处理之前对每个卷积层对应的特征聚合向量先进行开方处理。
8.根据权利要求1-4任一项所述的一种基于加权深度特征的图像特征提取方法,其特征在于,步骤S4所述对所有卷积层的深度特征向量分别进行降维处理,采用的降维处理方法为主成分分析法或线性判别分析法。
9.根据权利要求8所述的一种基于加权深度特征的图像特征提取方法,其特征在于,步骤S4所述降维后的深度特征向量分别分配对应的权重参数,顺序上靠后的卷积层权重参数大于前面的卷积层权重参数;
权重参数的具体关系如下:
w1≤w2≤...≤wn
其中,w代表权重参数,n代表卷积层序号。
10.根据权利要求9所述的一种基于加权深度特征的图像特征提取方法,其特征在于,所述卷积层权重参数在图像识别的过程中,能够根据图像任务确定权重值,且所有的权重值之和等于1。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910045648.3A CN109858496A (zh) | 2019-01-17 | 2019-01-17 | 一种基于加权深度特征的图像特征提取方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910045648.3A CN109858496A (zh) | 2019-01-17 | 2019-01-17 | 一种基于加权深度特征的图像特征提取方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109858496A true CN109858496A (zh) | 2019-06-07 |
Family
ID=66895203
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910045648.3A Pending CN109858496A (zh) | 2019-01-17 | 2019-01-17 | 一种基于加权深度特征的图像特征提取方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109858496A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111753847A (zh) * | 2020-06-28 | 2020-10-09 | 浙江大华技术股份有限公司 | 图像预处理方法及装置、存储介质、电子装置 |
CN112138394A (zh) * | 2020-10-16 | 2020-12-29 | 腾讯科技(深圳)有限公司 | 图像处理方法、装置、电子设备及计算机可读存储介质 |
CN112990359A (zh) * | 2021-04-19 | 2021-06-18 | 深圳市深光粟科技有限公司 | 一种影像数据处理方法、装置、计算机及存储介质 |
CN113515661A (zh) * | 2021-07-16 | 2021-10-19 | 广西师范大学 | 一种基于过滤深度卷积特征的图像检索方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008217521A (ja) * | 2007-03-06 | 2008-09-18 | Nippon Telegr & Teleph Corp <Ntt> | パラメータ推定装置,パラメータ推定方法,その方法を実装したプログラム及びそのプログラムを記録した記録媒体 |
CN107194404A (zh) * | 2017-04-13 | 2017-09-22 | 哈尔滨工程大学 | 基于卷积神经网络的水下目标特征提取方法 |
CN107844795A (zh) * | 2017-11-18 | 2018-03-27 | 中国人民解放军陆军工程大学 | 基于主成分分析的卷积神经网络特征提取方法 |
CN108491835A (zh) * | 2018-06-12 | 2018-09-04 | 常州大学 | 面向面部表情识别的双通道卷积神经网络 |
-
2019
- 2019-01-17 CN CN201910045648.3A patent/CN109858496A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008217521A (ja) * | 2007-03-06 | 2008-09-18 | Nippon Telegr & Teleph Corp <Ntt> | パラメータ推定装置,パラメータ推定方法,その方法を実装したプログラム及びそのプログラムを記録した記録媒体 |
CN107194404A (zh) * | 2017-04-13 | 2017-09-22 | 哈尔滨工程大学 | 基于卷积神经网络的水下目标特征提取方法 |
CN107844795A (zh) * | 2017-11-18 | 2018-03-27 | 中国人民解放军陆军工程大学 | 基于主成分分析的卷积神经网络特征提取方法 |
CN108491835A (zh) * | 2018-06-12 | 2018-09-04 | 常州大学 | 面向面部表情识别的双通道卷积神经网络 |
Non-Patent Citations (1)
Title |
---|
董荣胜等: "用于图像检索的多区域交叉加权聚合深度卷积特征", 《计算机辅助设计与图形学学报》 * |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111753847A (zh) * | 2020-06-28 | 2020-10-09 | 浙江大华技术股份有限公司 | 图像预处理方法及装置、存储介质、电子装置 |
CN112138394A (zh) * | 2020-10-16 | 2020-12-29 | 腾讯科技(深圳)有限公司 | 图像处理方法、装置、电子设备及计算机可读存储介质 |
CN112138394B (zh) * | 2020-10-16 | 2022-05-03 | 腾讯科技(深圳)有限公司 | 图像处理方法、装置、电子设备及计算机可读存储介质 |
CN112990359A (zh) * | 2021-04-19 | 2021-06-18 | 深圳市深光粟科技有限公司 | 一种影像数据处理方法、装置、计算机及存储介质 |
CN112990359B (zh) * | 2021-04-19 | 2024-01-26 | 深圳市深光粟科技有限公司 | 一种影像数据处理方法、装置、计算机及存储介质 |
CN113515661A (zh) * | 2021-07-16 | 2021-10-19 | 广西师范大学 | 一种基于过滤深度卷积特征的图像检索方法 |
CN113515661B (zh) * | 2021-07-16 | 2022-03-11 | 广西师范大学 | 一种基于过滤深度卷积特征的图像检索方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109858496A (zh) | 一种基于加权深度特征的图像特征提取方法 | |
CN110532920B (zh) | 基于FaceNet方法的小数量数据集人脸识别方法 | |
CN108711141B (zh) | 利用改进的生成式对抗网络的运动模糊图像盲复原方法 | |
CN104217214B (zh) | 基于可配置卷积神经网络的rgb‑d人物行为识别方法 | |
CN108921054B (zh) | 一种基于语义分割的行人多属性识别方法 | |
CN110188611A (zh) | 一种引入视觉注意力机制的行人重识别方法及*** | |
CN113221625B (zh) | 一种利用深度学习的局部特征对齐行人重识别方法 | |
CN110298404A (zh) | 一种基于三重孪生哈希网络学习的目标跟踪方法 | |
CN110033440A (zh) | 基于卷积神经网络与特征融合的生物细胞计数方法 | |
CN109325589A (zh) | 卷积计算方法及装置 | |
CN108596211A (zh) | 一种基于集中学习与深度网络学习的遮挡行人再识别方法 | |
CN109993100A (zh) | 基于深层特征聚类的人脸表情识别的实现方法 | |
CN109711401A (zh) | 一种基于Faster Rcnn的自然场景图像中的文本检测方法 | |
CN110334584A (zh) | 一种基于区域全卷积网络的手势识别方法 | |
CN107704924A (zh) | 同步自适应时空特征表达学习模型的构建方法及相关方法 | |
CN108446589A (zh) | 复杂环境下基于低秩分解和辅助字典的人脸识别方法 | |
CN109255382A (zh) | 用于图片匹配定位的神经网络***,方法及装置 | |
CN110222636A (zh) | 基于背景抑制的行人属性识别方法 | |
CN108268890A (zh) | 一种高光谱图像分类方法 | |
CN107577983A (zh) | 一种循环发现关注区域识别多标签图像的方法 | |
Song et al. | A joint siamese attention-aware network for vehicle object tracking in satellite videos | |
CN115661754B (zh) | 一种基于维度融合注意力的行人重识别方法 | |
Dasari et al. | IOU–Siamtrack: IOU Guided Siamese Network for Visual Object Tracking | |
CN110070044A (zh) | 基于深度学习的行人属性识别方法 | |
CN114170657A (zh) | 融合注意力机制与高阶特征表示的面部情感识别方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190607 |