CN109871806A - 基于深度残差纹理网络的地形识别方法及*** - Google Patents

基于深度残差纹理网络的地形识别方法及*** Download PDF

Info

Publication number
CN109871806A
CN109871806A CN201910130247.8A CN201910130247A CN109871806A CN 109871806 A CN109871806 A CN 109871806A CN 201910130247 A CN201910130247 A CN 201910130247A CN 109871806 A CN109871806 A CN 109871806A
Authority
CN
China
Prior art keywords
layer
network
feature
depth residual
texture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910130247.8A
Other languages
English (en)
Inventor
马昕
宋鹏
宋锐
荣学文
田国会
李贻斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University
Original Assignee
Shandong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University filed Critical Shandong University
Priority to CN201910130247.8A priority Critical patent/CN109871806A/zh
Publication of CN109871806A publication Critical patent/CN109871806A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度残差纹理网络的地形识别方法及***,包括:提出了深度残差纹理网络,在残差卷积网络中搭建一个纹理细节层,并且形成端到端的学习网络,使得DrtNet不仅可以提取地形图像的空间几何特征,还可以提取地形图像的纹理细节特征,成功地将传统描述子与卷积神经网络结合到一起,从而使得DrtNet具有更好的分类效果。实验结果证明,DrtNet在创建的SDU_Terrain dataset上的识别率和性能超过传统的方法和目前流行的CNNs,此外DrtNet在其他两个材料/纹理数据集上也取得不错的效果。

Description

基于深度残差纹理网络的地形识别方法及***
技术领域
本发明属于地形识别技术领域,具体涉及一种基于深度残差纹理网络的地形识别方法及***。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息,必然构成在先技术。
地形识别是户外机器人导航中应用的计算机视觉研究的重要领域。在室外环境中,不同的地形对机器人的移动性有很大的影响,机器人需要对当前地形的摩擦力和土壤深陷度做出准确的判断,从而调整机器人的姿态和速度满足当前的地形要求。
在CNN模型出现之前,传统的地形识别的解决方法是一般是通过提取地形图像的颜色,纹理等基本的视觉特征来进行分类。在野外的环境,颜色这一特征受光线影响比较大,所以提出基于颜色的光照估计与补偿等方法来减少光照的影响。同时一些纹理特征越来越受到重视,比如局部二元特征LBP,局部三元特征LTP。但是颜色和纹理特征的鲁棒性都不强,还是容易受环境因素的影响。随着SURF这一具有不错的鲁棒性的特征被提出,对SURF特征被不断的进行改进,在地形识别得到很好的应用。但是,发明人发现,传统方法跟现在的深度学习网络相比存在一些不足,第一随着数据集的越来越复杂,使得传统方法的识别率不够优秀;第二传统方法的泛化性比较差;第三传统的方法是分步进行的,没有形成端到端的网络。
最近卷积神经网络(CNN)在物体识别方面取得了成功,并且CNN架构平衡了相对空间信息(卷积层)的保存和空间信息(池化层)的聚合。然而地形识别不同于普通的物体识别,例如场景理解,人脸识别,以及空间顺序对于分类至关重要的应用。因为除了空间信息的存在,纹理信息对于地形识别也是非常重要的。
2012年,Hinton和他的学生Alex Krizhevsky等人提出了深度卷积神经网络AlexNet,它取得了ILSVRC 2012视野竞赛的冠军,并且ImageNet竞争中的识别率远远高于传统方法,从传统的70%提高到80%以上。从那之后,各种CNNs模型被提出,比如VGG,GoogleNet,ResNet等等,使得CNNs被应用到各个领域中。
在地形识别中,直接使用CNNs进行端到端的学习,效果不如普通的物体识别。主要是因为CNN提取的是图像的空间几何特征,而且CNN中卷积层后都会加一个池化层,目的是保留主要特征的基础上对图像进行降维处理,但是损失了图像很多的细节信息。这种处理方法在普通的物体识别中取得显著效果,但是在地形识别中这种处理方法并不是很恰当,因为在地形识别中不仅存在空间几何特征,还存在不同于其他物体识别的纹理特征。所以CNN由于池化层的存在损失掉了大量的细节信息,不能很好的将地形图像中纹理特征表达出来。而且纹理特征是比较匀称的,比如碎石,草地,泥地,地形的特征遍布整个图像,而不是只存在于图像的某一部分。由此可以知道纹理细节特征在地形识别中现的尤为重要,但是在普通的CNN中并没有很好的体现出来。
因此,近些年来,在地形识别方面虽然进行了很多研究,但目前仍然存在一些问题,主要表现在以下两个方面:
(1)部分研究人员仍然在用传统的方法不断寻找各种描述子来提取地形识别中的纹理特征,但是却忽略了地形识别中的空间几何特征。
(2)如果直接将CNNs应用到地形识别中,但CNN主要提取图像的空间几何特征,并不能很好把地形图像的纹理特征表现出来。
另外,现有技术尝试将CNN提取出的卷积特征与传统特征相融合,然后输入到分类器中进行分类,但是他们是把卷积特征和传统特征依次提取出来,然后再进行分类,没有形成一个端到端的学习网络,不仅使得整个网络的训练难度加大,而且整个网络无法进行反向传播,使得网络的权值无法训练到最优,导致卷积的特征和传统特征无法很好的融合到一起。
发明内容
为了解决上述问题,本发明提出了一种基于深度残差纹理网络的地形识别方法及***,提出了深度残差纹理网络DrtNet(Deep residual texture Network),在残差卷积网络中搭建一个纹理细节层,并且形成端到端的学习网络,使得DrtNet可以同时提取出地形图像的纹理细节特征和空间几何特征。
为了实现上述目的,本发明采用如下技术方案:
在一个或多个实施方式中公开的一种深度残差纹理网络模型,包括:卷积层、全局池化层、纹理细节层和分类器;所述卷积层的输出端分别连接全局池化层和纹理细节层,所述全局池化层和纹理细节层和输出端均连接分类器;
卷积层提取图像的空间特征,并分别输入到全局池化层和纹理细节层,所述全局池化层输出图像的整体空间几何特征,所述纹理细节层输出图像的纹理细节特征,将这两种特征拼接在一起输入到分类器。
进一步地,所述卷积层包括:残差卷积模块以及与其连接的用于增加网络深度的卷积模块;所述残差卷积模块包括依次连接的1*1卷积层、BN层、3*3卷积层、BN层、1*1卷积层和ReLU激活函数层,所述残差卷积模块拟合的是输出信号与输入信号的差值。
进一步地,所述全局池化层对卷积层的输出特征做降维处理,将降维处理之后的到的特征作为图像的空间几何特征。
进一步地,所述纹理细节层对卷积层的输出特征做相邻像素点的差值处理,将差值作为每个卷积特征的细节信息。
进一步地,所述分类器包括两层全连接层,在第一层全连接层后进行L2标准化处理,在L2标准化后加入Dropout层,所述Dropout层在每一次迭代随机将上一层全连接层的输出节点以概率P置0,使得网络每一次训练中全连接层中处于工作状态的神经元都不一样。
在一个或多个实施方式中公开的一种基于深度残差纹理网络的地形识别方法,包括:获取地形图像的特征;基于上述的深度残差纹理网络模型,分别提取地形图像的整体空间几何特征和纹理细节特征;将上述提取的两种图像特征拼接在一起,进行地形分类识别。
进一步地,通过纹理细节层提取地形图像的纹理细节特征,具体为:对卷积层的输出特征做相邻像素点的差值处理,将差值作为每个卷积特征的细节信息。
进一步地,假设每个卷积特征为I,尺寸为n*n;取卷积特征的前n-1列作为X,取卷积特征的1到n-1列为Y,得到的相邻像素点的差值矩阵为:D=Xij-Ypq;其中,i={0,...n-2},p={1,...n-1},j,p={0,...n-1},差值矩阵D的尺寸为n*n-1;对得到的差值矩阵D进行填充处理,将第n-2列的数据填充到第n-1列,得到D_out,D_out的尺寸也是n*n;对D_out进行平均池化处理,得到纹理细节层的输出R;对纹理细节层的输出R进行标准化处理,得到地形图像的纹理细节特征。
进一步地,由卷积层的输出G直接输入池化层得到地形图像的空间几何特征。
在一个或多个实施方式中公开的一种基于深度残差纹理网络的地形识别***,包括服务器,所述服务器包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现上述的基于深度残差纹理网络的地形识别方法。
在一个或多个实施方式中公开的一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时执行上述的基于深度残差纹理网络的地形识别方法。
与现有技术相比,本发明的有益效果是:
把CNN提取的卷积特征当成整体信息,把纹理特征当成细节信息,从而获得图像的整体信息和细节信息,可以更好更完整将地形特征表达出来,使的最后得到的特征更能代表原图像,更易于分类。
将纹理细节层嵌入到CNN中形成一个新的端到端的网络,不仅使的网络的训练难度跟之前相比大大降低,而且使得整个网络都可以在反向传播中进行梯度计算,从而可以将权值调整到最优。
附图说明
构成本申请的一部分的说明书附图用来提供对本申请的进一步理解,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。
图1是实施例一中深度残差纹理网络的网络结构图;
图2是实施例一中残差神经网络中的跨层连接示意图;
图3是实施例一中DerNet中卷积层结构示意图;
图4为实施例一中分类器结构示意图;
图5为实施例一中SDU_Terrain dataset中的16种样本;
图6(a)-(b)分别为实施例一中验证集在训练过程中loss和accuracy的变化曲线;
图7为实施例一中测试集的混淆矩阵;
图8(a)-(b)分别为实施例一中训练过程中不同模型的验证集的准确率和Loss。
具体实施方式
应该指出,以下详细说明都是示例性的,旨在对本申请提供进一步的说明。除非另有指明,本发明使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是,这里所使用的术语仅是为了描述具体实施方式,而非意图限制根据本申请的示例性实施方式。如在这里所使用的,除非上下文另外明确指出,否则单数形式也意图包括复数形式,此外,还应当理解的是,当在本说明书中使用术语“包含”和/或“包括”时,其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
实施例一
图像可以解释为不同分辨率出现的信息总和,每个分辨率对应于图像中不同的特征类型。所以在地形图像中,在粗分辨率下的信息对应于图像中边缘特征,而在更精细分辨率下的信息对应于图像的纹理特征。众所周知,普通的CNN主要是提取图像的空间几何特征,即图像的整体信息,但却恰恰忽略图像的细节信息。在地形识别中,如何更好的提取地形的纹理特征至关重要,而图像的细节信息能很好的表达出地形的纹理特征。
在一个或多个实施方式中,公开了一种深度残差纹理网络DrtNet(Deep residualtexture Network),如图1所示,包括:卷积层、全局池化层、纹理细节层和分类器;卷积层的输出端分别连接全局池化层和纹理细节层,全局池化层和纹理细节层和输出端均连接分类器;
在残差卷积网络中搭建一个纹理细节层,并且形成端到端的学习网络,使得DrtNet这样可以同时提取出地形图像的纹理细节特征和空间几何特征。
卷积层的输出分别输入到全局池化层和纹理细节层,全局池化层输出图像的整体空间几何特征,纹理细节层输出图像的纹理细节特征,将这两种特征拼接在一起输入到分类器。
DrtNet如图1所示,采用残差卷积层作为特征提取器,将卷积层的输出同时输入到全局池化层和纹理细节层,全局池化层的输出作为图像的整体空间几何特征,纹理细节层的输出作为图像的纹理细节特征。将这两种特征拼接在一起输入到分类器中。
整个深度残差纹理网络是一个端到端(从输入直接到输出)的网络,而且纹理细节层是可微的,使得网络中所有参数都可以通过反向传播训练的得到。
一、卷积层
普通的卷积神经网络在收敛过程中容易陷入局部最小值,而且在反向传播时容易出现梯度消失的问题,这是因为搭建网络的目的是为了拟合非线性函数F(x),而在ResNet模型中,拟合不是F(x)而是残差,如图2所示。
假设残差卷积模块的输出为H(x),那么H(x)和F(x)的关系如公式(1)所示,此时ResNet学习的目标不是完整的输出H(x),而是输出与输入的差值F(x)。拟合残差F(x)比输出H(x)要容易的多,所以ResNet有效的解决网络陷入局部最优的问题和梯度消失的问题,同时可以收敛速度大大加快,而且在准确率方面也比之前有不错的提高。
F(x)=H(x)-x (1)
DrtNet主要采用的卷积模块如图3所示,输入图像尺寸为224*224,残差卷积模块包括依次连接的1*1卷积层、BN(Batch Normalization)层、3*3卷积层、BN层、1*1卷积层和ReLU激活函数层;
1*1的卷积层可以调整卷积特征的维度,从而有效的减少整个网络的参数量。BN层是位于卷积层之后,它是用来解决Internal Covariate Shift问题的,可以使卷积层的输出保持相同的分布,从而加快网络的收敛速度。在激活函数层中,我们选用ReLU函数来代替sigmoid函数和tanh函数,ReLU函数可以避免卷积层的输出进入饱和区如公式(2)所示,所以有效的解决在反向传播中梯度消失问题。
在搭建深度学习网络时为了提高网络的识别率,通常会增加网络深度,所以我们在残差卷积模块之后加上普通的3*3卷积层。将残差卷积模块和普通的卷积模块结合,这样不仅有效解决梯度消失和收敛缓慢的问题,而且增加了网络深度。DrtNet通过卷积模块提取出512个7*7卷积特征作为纹理细节层和全局池化层的输入。
二、纹理细节层
在深度残差纹理网络中,卷积层的输出为512个7*7的卷积特征,为了满足全连接的输入要求和降低网络的参数量,会对卷积层的输出进行全局池化,得到512个特征。这样虽然保留图像的整体信息,但是却牺牲了图像的细节信息。所以,我们在卷积层的后面加一层纹理细节层与全局池化层并行连接,卷积层的输出不仅要进行全局池化操作,还要输入到纹理细节层提取图像的细节信息。这样处理方法不仅可以保留图像的空间几何特征,还可以提取出图像的纹理细节特征。
在纹理细节层中,我们对卷积层的输出特征做相邻像素点的差值处理,将差值作为每个卷积特征的细节信息。假设每个卷积特征为I,尺寸为n*n,我们取卷积特征的前n-1列作为X,那么X={I0,I1,...In-2},取卷积特征的1到n-1列为Y,那么Y={I1,I2,...In-1},得到的相邻像素点的差值矩阵为D={d0,d1,...dn-2},如公式(3)所示。
D=Xij-Ypq (3)
在公式(3)中,i={0,...n-2},p={1,...n-1},j,p={0,...n-1},得到差值矩阵D的尺寸为n*n-1,为了保持纹理细节层前后的尺寸不变,我们对得到的差值矩阵D进行填充处理,将第n-2列的数据填充到第n-1列,得到D_out={d0,d1,...dn-2,dn-1}如公式(4)所示,最后使得D_out的尺寸也是n*n。
dn-1=dn-2 (4)
为了降低特征维度和网路的参数量,并且与全局池化层的输出尺寸相对应,我们在纹理细节层中对D_out进行平均池化处理如公式(5)所示,使得纹理细节层的输出R={r0,r1,...r511}为512个1*1的特征。
为了提高整个网络的训练速度,我们对纹理细节层的输出R进行标准化处理,我们选用的是L2 Normalition,它是对R计算其2范数,如公式(6)所示,然后对特征中每个元素除以该范数如公式(7)所示,n=0,1,...511,这样处理方法可以使R的2范数等于1。
三、全局池化层
图像的整体空间几何特征是由卷积层的输出G直接输入池化层得到的,同样经过上述L2Normalition处理后得到G={g0,g1,...g511}为512个1*1特征。为了降低分类器的训练难度,我们对从纹理细节层和全局池化层的输出进行预分类,将每一路的特征压缩到1*64维,即再将二者拼接起来得到1*128维特征,即图像的总体特征输入到分类器中。
四、分类器
分类器中包括两层全连接层(不包括输入层),如图4所示,第一层的全连接层中神经元的个数设为128,第二层为数据集标签的长度。第一层全连接层的激活函数选择为ReLU函数,可以有效的解决在反向传播的过程中出现的梯度消失的问题,在第一层全连接层后会进行L2Normalition处理,使得网络得到更快的收敛。在L2标准化后加入Dropout层,Dropout层是每一次迭代随机将上一层全连接层的输出节点以概率P置0,导致网络每一次训练中全连接层中处于工作状态的神经元都不一样。这样的处理方法会有效的解决在训练过程中出现的过拟合的问题,使网络的泛化性得到提高。
实验结果及分析
深度残差纹理网络是用深度学习框架pytorch(0.4.0)实现的,我们的实验设备为一台搭载3路GeForce GTX 1080Ti显卡的服务器,每一路的显卡的显存为11GB。
A.数据集
采用的数据集为SDU_Terrain dataset,其共包含16,000张图像,包括16种类别,每一类别1000张图片,依次为骨料石,混凝土,干死植物,扁石,砾石,大理石,苔藓和地衣,泥地,覆盖,其他木材,铺路石,植物纹理,岩石,沙子,土地,瓷砖,如图5所示。该数据集由我们实验室人员拿相机在野外现场随机收集,为了使结果更具说服力并提高模型的实用性,数据集中的图像没有经过任何处理,同时训练集和测试集按照7比3的比例进行划分。
B.网络训练
本实施方式中,深度残差纹理网络被迭代40次,其中batch_size设为128,选择交叉熵作为损失函数和Adam作为优化器。在学习率上我们采用自适应学习率的策略,因为网络在开始训练时损失很大,这时候让学习率设置的大一点,可以在反向传播的过程中梯度快速下降,随着训练过程的不断深入,让学习率不断减少。我们设置了三个阶段,初始的学习率为1*10^(-4),每到下一个阶段学习率除以5。这样的处理方法可以使网络中的权值更快的收敛到最小值,使得网络的训练时间大大缩短。
在深度神经网络的训练过程中非常容易出现过拟合现象,我们通过加入EarlyStopping和Dropout操作来避免过拟合现象的发生。将训练集的0.12倍划分出来作为验证集,在网络每进行一次迭代,都会通过验证集对网络进行评估。当验证集的损失连续5次不再降低,我们就让网络的训练提前终止。Dropout让分类器中神经元的输出以概率P置0,在网络中将P设置为0.3,这样可以让每一次的参与训练的神经元不同。
在网络的训练过程中,网络的损失迅速降低,准确率迅速提高,在迭代20次后,损失和准确率趋于稳定在0.15左右振荡,准确率在0.978左右震荡,验证集的loss和accuracy如图6(a)和图6(b)所示。为了能够详细了解测试集中每一类别的准确率,将分类器最后一层softmax的输出保存下来,并绘制成混淆助阵,测试集的混淆矩阵如图7所示。
C.评估数据增强对结果的影响
Data Augmentation是通过对图片做各种变换,从而达到增加数据集规模的目的。
SDU_Terrain dataset中每一个类别有1000张图片,为了增加数据集的规模,对数据集进行数据增强的操作。如表1所示,通过数据增强来增加数据集的规模可以提高网络的识别率。在实验中,我们先将图片的尺寸裁剪为280*280,对图片的色泽进行调节,然后对图片随机进行翻转和以一任意角度旋转,最后以图片的中心裁剪为224*224。
表1数据增强对准确率的提升情况
通过表中索引1,2可以发现,对任意图片以某一角度进行旋转,对准确率有明显的提升,而对任意图片进行翻转却对准确率的提升不大,因为地形图像中的特征充满整个图像,所以对图片以某一角度旋转可以提高图像的多样性,而对图片进行反转却不能达到这样的效果。
通过索引3可以发现对图片的色泽进行调节可以有效的提高准确率,ColorJitter中的四个参数分别为亮度,对比度,饱和度和色调。对图片的色泽进行调整可以模拟为在不同光照条件对地形进行拍摄,也说明颜色特征在地形识别中很重要。在索引5中,我们看到对图片进行裁剪也会略微提到准确率。
D.DrtNet与其他网络的性能对比
下面通过与传统方法和目前流行的网络的性能比较来验证提出的DrtNet的有效性。
表2是与目前流行的网络的对比,选用了五个在Imagenet数据集上表现非常出色的网络,为VGG16,Resnet50,InceptionV3,用这3个模型分别在SDU_Terrain dataset上进行测试,具体性能比较如表2所示,训练过程中不同模型的验证集的准确率和Loss如图8(a)-(b)所示。VGG16网络是简单3*3卷积层堆叠,Resnet50网络是跨层连接模块和普通的3*3的卷积模块的堆叠,Inceptionv3网络是由1*1,3*3,5*5卷积层并联组成的,其中Resnet50和InceptionV3中存在很多1*1卷积层,可以大大较少网络的参数。而本文提出的DrtNet网络同样存在跨层连接和1*1的卷积层,使得DrtNet的在参数量方面表现很出色。通过表2可以看出DrtNet在参数量和层数都较少情况下,准确率有明显的提升,说明DrtNet在地形识别中多种性能和准确率都优于目前流行的CNNs。
表2 DrtNet与CNN的准确率对比情况
Network VGG16 Resnet50 InceptionV3 DrtNet(our)
Parameters 138.36M 25.64M 23.85M 12.28M
Depth 23 168 159 55
Accuracy 0.9386 0.9421 0.9527 0.9785
DrtNet与传统方法的比较如表3所示。传统方法主要使用地形的颜色和LBP特征并用ELM分类,这里使用的数据集包含六个类别,即沥青,覆盖,草,泥,沙和砾石。为了使结果令人信服,DrtNet也在这个数据集进行了实验,取得了非常好的结果。从表3可以看出,传统方法的精度相对较低,即使同时提取颜色和纹理特征,精度也远低于DrtNet。
表3 DrtNet与传统方法的准确率对比情况
Method RGB+ELM LBP+ELM RGB+LBP+ELM DrtNet(our)
Accuracy 72.93% 72.58% 80.53% 98.74%
E.DrtNet在GTOS和DTD数据集上的表现
为了证明深度残差纹理网络的泛化性比较好,在其他两个更复杂数据集GTOS和DTD上做了对比实验,GTOS和DTD分别包括31和47个类别。跟Resnet50,FV-CNN,Deep-TEN,DEP这四种方法对比,其中Resnet50代表了目前流行的卷积神经网络,而FV-CNN和Deep-TEN这两种方法是将卷积层和编码层的结合,DEP是将CNN特征与纹理特征进行结合,并且DEP对纹理特征的表达形式与本实施方式有根本的区别。通过表4可以表明,本实施方式提出的DrtNet在GTOS和DTD数据集的准确率超过上述几种方法,表明DerNet不仅在其他更复杂的数据集DetNet仍然有很好的泛化性。
表4 DrtNet在GTOS和DTD数据集上与目前效果比较好的模型的对比情况
Method Resnet50 FV-CNN Deep-TEN DEP DrtNet(our)
GTOS 0.7082 0.7710 0.7422 0.7607 0.7865
DTD 0.6837 0.7235 0.6964 0.7328 0.7489
综上,本实施方式针对于地形识别提出了深度残差纹理网络(DrtNet),将纹理细节层嵌入到残差卷积网络中,这样使得DrtNet不仅可以提取地形图像的空间几何特征,还可以提取地形图像的纹理细节特征。此外,DrtNet是一个端到端的学习网络,这样不仅减少网络的训练难度,而且网络中的权值都可以在反向传播中通过梯度计算寻找到最优值。通过实验证明,DrtNet在SDU_Terrain dataset中准确率达到了0.9785,其中各种性能和准确率都超过了目前流行的CNNs,在GTIOS和DTD上也表现不错。
上述虽然结合附图对本发明的具体实施方式进行了描述,但并非对本发明保护范围的限制,所属领域技术人员应该明白,在本发明的技术方案的基础上,本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (10)

1.一种深度残差纹理网络模型,其特征在于,包括:卷积层、全局池化层、纹理细节层和分类器;所述卷积层的输出端分别连接全局池化层和纹理细节层,所述全局池化层和纹理细节层和输出端均连接分类器;
卷积层提取图像的空间特征,分别输入到全局池化层和纹理细节层,所述全局池化层输出图像的整体空间几何特征,所述纹理细节层输出图像的纹理细节特征,将这两种特征拼接在一起输入到分类器。
2.如权利要求1所述的一种深度残差纹理网络模型,其特征在于,所述卷积层包括:残差卷积模块以及与其连接的用于增加网络深度的卷积模块;所述残差卷积模块包括依次连接的1*1卷积层、BN层、3*3卷积层、BN层、1*1卷积层和ReLU激活函数层,所述残差卷积模块拟合的是输出信号与输入信号的差值。
3.如权利要求1所述的一种深度残差纹理网络模型,其特征在于,所述全局池化层对卷积层的输出特征做降维处理,将降维处理之后的到的特征作为图像的空间几何特征。
4.如权利要求1所述的一种深度残差纹理网络模型,其特征在于,所述纹理细节层对卷积层的输出特征做相邻像素点的差值处理,将差值作为每个卷积特征的细节信息。
5.如权利要求1所述的一种深度残差纹理网络模型,其特征在于,所述分类器包括两层全连接层,在第一层全连接层后进行L2标准化处理,在L2标准化后加入Dropout层,所述Dropout层在每一次迭代随机将上一层全连接层的输出节点以概率P置0,使得网络每一次训练中全连接层中处于工作状态的神经元都不一样。
6.一种基于深度残差纹理网络的地形识别方法,其特征在于,包括:
获取地形图像的特征;
基于权利要求1-5任一项所述的深度残差纹理网络模型,分别提取地形图像的整体空间几何特征和纹理细节特征;将上述提取的两种图像特征拼接在一起,进行地形分类识别。
7.如权利要求6所述的一种基于深度残差纹理网络的地形识别方法,其特征在于,通过纹理细节层提取地形图像的纹理细节特征,具体为:对卷积层的输出特征做相邻像素点的差值处理,将差值作为每个卷积特征的细节信息。
8.如权利要求7所述的一种基于深度残差纹理网络的地形识别方法,其特征在于,
假设每个卷积特征为I,尺寸为n*n;取卷积特征的前n-1列作为X,取卷积特征的1到n-1列为Y,得到的相邻像素点的差值矩阵为:D=Xij-Ypq;其中,i={0,...n-2},p={1,...n-1},j,p={0,...n-1},差值矩阵D的尺寸为n*n-1;
对得到的差值矩阵D进行填充处理,将第n-2列的数据填充到第n-1列,得到D_out,D_out的尺寸也是n*n;
对D_out进行平均池化处理,得到纹理细节层的输出R;
对纹理细节层的输出R进行标准化处理,得到地形图像的纹理细节特征。
9.一种基于深度残差纹理网络的地形识别***,其特征在于,包括服务器,所述服务器包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现权利要求6-8任一项所述的基于深度残差纹理网络的地形识别方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时执行权利要求6-8任一项所述的基于深度残差纹理网络的地形识别方法。
CN201910130247.8A 2019-02-21 2019-02-21 基于深度残差纹理网络的地形识别方法及*** Pending CN109871806A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910130247.8A CN109871806A (zh) 2019-02-21 2019-02-21 基于深度残差纹理网络的地形识别方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910130247.8A CN109871806A (zh) 2019-02-21 2019-02-21 基于深度残差纹理网络的地形识别方法及***

Publications (1)

Publication Number Publication Date
CN109871806A true CN109871806A (zh) 2019-06-11

Family

ID=66919057

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910130247.8A Pending CN109871806A (zh) 2019-02-21 2019-02-21 基于深度残差纹理网络的地形识别方法及***

Country Status (1)

Country Link
CN (1) CN109871806A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110443788A (zh) * 2019-07-31 2019-11-12 天津大学 一种图像美学质量评价方法
CN110503051A (zh) * 2019-08-27 2019-11-26 西南林业大学 一种基于图像识别技术的珍贵木材识别***及方法
CN110738213A (zh) * 2019-09-20 2020-01-31 成都芯云微电子有限公司 一种包括周边环境的图像识别方法及装置
CN112115977A (zh) * 2020-08-24 2020-12-22 重庆大学 基于尺度不变性与特征融合的目标检测算法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101154295A (zh) * 2006-09-28 2008-04-02 长江航道规划设计研究院 航道三维仿真电子图
CN102236798A (zh) * 2011-08-01 2011-11-09 清华大学 一种图像匹配方法及其装置
CN107273502A (zh) * 2017-06-19 2017-10-20 重庆邮电大学 一种基于空间认知学习的图像地理标注方法
CN107766828A (zh) * 2017-10-29 2018-03-06 北京工业大学 基于小波卷积神经网络的无人机着陆地貌分类方法
CN107844970A (zh) * 2017-11-15 2018-03-27 上海中信信息发展股份有限公司 图像识别方法及追溯秤终端
CN107918776A (zh) * 2017-11-01 2018-04-17 中国科学院深圳先进技术研究院 一种基于机器视觉的用地规划方法、***及电子设备
CN108428229A (zh) * 2018-03-14 2018-08-21 大连理工大学 一种基于深度神经网络提取表观和几何特征的肺部纹理识别方法
US20180253980A1 (en) * 2017-03-03 2018-09-06 Farrokh Mohamadi Drone Terrain Surveillance with Camera and Radar Sensor Fusion for Collision Avoidance
CN109344878A (zh) * 2018-09-06 2019-02-15 北京航空航天大学 一种基于ResNet的仿鹰脑特征整合小目标识别方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101154295A (zh) * 2006-09-28 2008-04-02 长江航道规划设计研究院 航道三维仿真电子图
CN102236798A (zh) * 2011-08-01 2011-11-09 清华大学 一种图像匹配方法及其装置
US20180253980A1 (en) * 2017-03-03 2018-09-06 Farrokh Mohamadi Drone Terrain Surveillance with Camera and Radar Sensor Fusion for Collision Avoidance
CN107273502A (zh) * 2017-06-19 2017-10-20 重庆邮电大学 一种基于空间认知学习的图像地理标注方法
CN107766828A (zh) * 2017-10-29 2018-03-06 北京工业大学 基于小波卷积神经网络的无人机着陆地貌分类方法
CN107918776A (zh) * 2017-11-01 2018-04-17 中国科学院深圳先进技术研究院 一种基于机器视觉的用地规划方法、***及电子设备
CN107844970A (zh) * 2017-11-15 2018-03-27 上海中信信息发展股份有限公司 图像识别方法及追溯秤终端
CN108428229A (zh) * 2018-03-14 2018-08-21 大连理工大学 一种基于深度神经网络提取表观和几何特征的肺部纹理识别方法
CN109344878A (zh) * 2018-09-06 2019-02-15 北京航空航天大学 一种基于ResNet的仿鹰脑特征整合小目标识别方法

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
HANG ZHANG 等: "Deep TEN: Texture Encoding Network", 《2017 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *
JIA XUE 等: "Deep texture manifold for ground terrain recognition", 《2018 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *
JITENDRA MALIK 等: "Contour and Texture Analysis for Image Segmentation", 《INTERNATIONAL JOURNAL OF COMPUTER VISION》 *
刘哲 等: "织物纹理均匀度的计算机评价", 《纺织学报》 *
宋锐 等: "基于深度残差学习的自动驾驶道路场景理解", 《计算机应用研究》 *
苏欣 等编著: "《Android手机应用网络流量分析与恶意行为检测研究》", 31 October 2016 *
陈波 等: "基于纹理和地形辅助的山区土地利用信息提取研究", 《地理与地理信息科学》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110443788A (zh) * 2019-07-31 2019-11-12 天津大学 一种图像美学质量评价方法
CN110443788B (zh) * 2019-07-31 2023-04-18 天津大学 一种图像美学质量评价方法
CN110503051A (zh) * 2019-08-27 2019-11-26 西南林业大学 一种基于图像识别技术的珍贵木材识别***及方法
CN110503051B (zh) * 2019-08-27 2023-04-07 西南林业大学 一种基于图像识别技术的珍贵木材识别***及方法
CN110738213A (zh) * 2019-09-20 2020-01-31 成都芯云微电子有限公司 一种包括周边环境的图像识别方法及装置
CN110738213B (zh) * 2019-09-20 2022-07-01 成都芯云微电子有限公司 一种包括周边环境的图像识别方法及装置
CN112115977A (zh) * 2020-08-24 2020-12-22 重庆大学 基于尺度不变性与特征融合的目标检测算法
CN112115977B (zh) * 2020-08-24 2024-04-02 重庆大学 基于尺度不变性与特征融合的目标检测算法

Similar Documents

Publication Publication Date Title
CN113011499B (zh) 一种基于双注意力机制的高光谱遥感图像分类方法
CN109871806A (zh) 基于深度残差纹理网络的地形识别方法及***
Wang et al. RSNet: The search for remote sensing deep neural networks in recognition tasks
CN114220124B (zh) 一种近红外-可见光跨模态双流行人重识别方法及***
CN109919108B (zh) 基于深度哈希辅助网络的遥感图像快速目标检测方法
Negrel et al. Evaluation of second-order visual features for land-use classification
CN112308158A (zh) 一种基于部分特征对齐的多源领域自适应模型及方法
CN110111335A (zh) 一种自适应对抗学习的城市交通场景语义分割方法及***
Varga et al. Fully automatic image colorization based on Convolutional Neural Network
CN106446015A (zh) 一种基于用户行为偏好的视频内容访问预测与推荐方法
CN106126581A (zh) 基于深度学习的手绘草图图像检索方法
CN109543632A (zh) 一种基于浅层特征融合引导的深层网络行人检测方法
CN107292259A (zh) 基于AdaRank的深度特征和传统特征的集成方法
CN111639719A (zh) 基于时空运动和特征融合的足迹图像检索方法
CN109741341A (zh) 一种基于超像素和长短时记忆网络的图像分割方法
CN110245587B (zh) 一种基于贝叶斯迁移学习的光学遥感图像目标检测方法
CN111027630B (zh) 一种基于卷积神经网络的图像分类方法
CN106651915A (zh) 基于卷积神经网络的多尺度表达的目标跟踪方法
CN109919246A (zh) 基于自适应特征聚类和多重损失融合的行人重识别方法
CN116051683B (zh) 一种基于风格自组的遥感图像生成方法、存储介质及设备
CN112364791A (zh) 一种基于生成对抗网络的行人重识别方法和***
CN117011883A (zh) 一种基于金字塔卷积和Transformer双分支的行人重识别方法
Zhang et al. A multiple feature fully convolutional network for road extraction from high-resolution remote sensing image over mountainous areas
Thirumaladevi et al. Remote sensing image scene classification by transfer learning to augment the accuracy
CN112884893A (zh) 基于非对称卷积网络和注意力机制的跨视角图像生成方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190611

RJ01 Rejection of invention patent application after publication