CN109522807B - 基于自生成特征的卫星影像识别***、方法及电子设备 - Google Patents

基于自生成特征的卫星影像识别***、方法及电子设备 Download PDF

Info

Publication number
CN109522807B
CN109522807B CN201811227460.2A CN201811227460A CN109522807B CN 109522807 B CN109522807 B CN 109522807B CN 201811227460 A CN201811227460 A CN 201811227460A CN 109522807 B CN109522807 B CN 109522807B
Authority
CN
China
Prior art keywords
layer
network
self
feature
generated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811227460.2A
Other languages
English (en)
Other versions
CN109522807A (zh
Inventor
张昱航
阳文斯
叶可江
须成忠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Institute of Advanced Technology of CAS
Original Assignee
Shenzhen Institute of Advanced Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Advanced Technology of CAS filed Critical Shenzhen Institute of Advanced Technology of CAS
Priority to CN201811227460.2A priority Critical patent/CN109522807B/zh
Publication of CN109522807A publication Critical patent/CN109522807A/zh
Application granted granted Critical
Publication of CN109522807B publication Critical patent/CN109522807B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/469—Contour-based spatial representations, e.g. vector-coding
    • G06V10/473—Contour-based spatial representations, e.g. vector-coding using gradient analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Remote Sensing (AREA)
  • Astronomy & Astrophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种基于自生成特征的卫星影像识别***、方法及电子设备。所述***包括：FCN网络构建模块：用于将VGG网络的第一个全连接层和第二个全连接层分别变为第一层卷积层和第二层卷积层，构建新的FCN网络；自生成特征网络构建模块：用于基于GAN网络构建自生成特征网络；自生成特征计算模块：用于将所述自生成特征网络嵌入所述FCN网络中，通过所述自生成特征网络生成输入影像的特征图，将所述特征图传送给所述第一层卷积层和第二层卷积层，所述第一层卷积层和第二层卷积层利用所述特征图得到所述输入影像的识别结果。本申请通过自动生成特征网络不断计算和更新最新的影像特征，实现数据特征的增强以及像素对像素的识别。

Description

基于自生成特征的卫星影像识别***、方法及电子设备
技术领域
本申请属于影像识别技术领域，特别涉及一种基于自生成特征的卫星影像识别***、方法及电子设备。
背景技术
随着国民经济的不断发展，我国国土资源的利用日益急切，但要准确掌握国土资源的土地状态，基于传统的特征提取方法和传统机器学习的算法已经不能为大规模复杂化的国土资源影像做出准确判断。
卫星影像识别中，需要准确分割出图中的物体，例如：农用土地、森林植被、建筑物、河流、道路，山体等。准确描绘其边界，能够为下一步的勘测提供准确的技术参数。现有技术利用传统的主成分分析法、尺度不变特征变换(Scale-invariant featuretransform，SIFT)方法、Haar-like特征方法等提取卫星影像的边缘特征，以达到识别效果。但是在深度学习下这些特征都可以看做是浅层特征，无法捕捉到更有效的高层特征，这也就丢失了很多有用的信息，在识别阶段不能加以利用。
与此同时，已有文献1[Lin M,Chen Q,Yan S.Network in network[J].arXivpreprint arXiv:1312.4400,2013.]已证明将目前的卷积神经网络(Convolution NeuralNetwork，下文简称CNN)的最后两层全连接层转换为卷积层不仅能实现减少更多的参数以优化网络，也能实现像素对像素(Pixel to Pixel，下文简称PTP)的识别效果，这在卫星影像精确识别中具有十分重要的意义。
另外一部分技术利用到了CNN网络来做识别，但是CNN网络更多适用于物体类别的识别，不适合这种密集识别，也就是PTP级别的识别，效果会比较差。而且运行网络占用GPU时间长，精度不高等。故而使用了FCN(Fully Convolutional Network，全卷积网络)网络，但即便是FCN网络可以进行密集像素识别，由于其并没有对卫星影像做过优化，并不能适应于卫星影像的识别。
此外，地理数据面临的一大难点就是由于卫星影像要求针对像素的识别，因为要准确划分出轮廓，所以在图片预处理之前要进行一番人工像素标记，这是非常花费时间的，久而久之，这种被标记的图片就很稀少，真正能用到的标记好的图片非常有限。为此很多工业界人士利用传统数据扩充的办法，来对已有影像进行增容。但很遗憾，这种数据扩充带来的性能提升是很有限的，甚至在有些场景下，数据增容的影响微乎其微。
发明内容
本申请提供了一种基于自生成特征的卫星影像识别***、方法及电子设备，旨在至少在一定程度上解决现有技术中的上述技术问题之一。
为了解决上述问题，本申请提供了如下技术方案：
一种基于自生成特征的卫星影像识别***，包括：
FCN网络构建模块：用于将VGG网络的第一个全连接层和第二个全连接层分别变为第一层卷积层和第二层卷积层，构建新的FCN网络；
自生成特征网络构建模块：用于基于GAN网络构建自生成特征网络；
自生成特征计算模块：用于将所述自生成特征网络嵌入所述FCN网络中，通过所述自生成特征网络生成输入影像的特征图，将所述特征图传送给所述第一层卷积层和第二层卷积层，所述第一层卷积层和第二层卷积层利用所述特征图得到所述输入影像的识别结果。
本申请实施例采取的技术方案还包括算子替换模块，所述算子替换模块用于将FCN网络中原有的第一个卷积层的卷积核特征提取算子替换为HOG算子，通过所述HOG算子进行所述输入影像的边界特征提取。
本申请实施例采取的技术方案还包括：所述HOG算子提取边界特征的方式为：
首先计算在不同方向上的梯度：
Gx(x,y)＝H(x+1,y)-H(x-1,y)
Gy(x,y)＝H(x,y+1)-H(x,y-1)
上述公式中，Gx(x,y)表示水平方向的梯度值，Gy(x,y)表示竖直方向的梯度值，H(x,y)表示像素点(x,y)的灰度值；
计算影像当前像素点的梯度幅值：
Figure GDA0002631573290000031
计算当前像素点的梯度方向：
Figure GDA0002631573290000032
本申请实施例采取的技术方案还包括：所述自生成特征网络生成卫星影像特征图的计算方式为：输入影像后，通过FCN网络中原有的五个卷积层进行影像的边界特征提取，并将边界特征传输到自生成特征网络，所述自生成特征网络经过一次全卷积层学习特征，然后将学习到的特征形成一个单通道的特征传输给所述第二层卷积层；所述第二层卷积层的特征和第一层卷积层的特征共同传输给判别器，在判别器中进行最小最大化过程，所述判别器将结果再次反馈给自生成特征网络，使所述自生成特征网络不断生成新的特征，在达到设定的迭代步数后，将最新一次生成的特征传送给所述第二层卷积层，并直接传送给全连接层，所述全连接层根据特征进行属性投票，最终得到输入影像的识别结果。
本申请实施例采取的技术方案还包括：所述自生成特征网络嵌入到FCN网络中的嵌入点包括：
第五层卷积之后的特征一方面传送给第一层卷积层和第二层卷积层，同时将该特征传输给特征生成器，此为第一个嵌入点；
所述特征生成器形成的特征传输给第二层卷积层，此为第二个嵌入点；
在未达到设定阈值的情况下，所述第二层卷积层的输出结果只传输给判别器，此为第三个嵌入点。
本申请实施例采取的另一技术方案为：一种基于自生成特征的卫星影像识别方法，包括以下步骤：
步骤a：将VGG网络的第一个全连接层和第二个全连接层分别变为第一层卷积层和第二层卷积层，构建新的FCN网络；
步骤b：基于GAN网络构建自生成特征网络；
步骤c：将所述自生成特征网络嵌入所述FCN网络中，通过所述自生成特征网络生成输入影像的特征图，将所述特征图传送给所述第一层卷积层和第二层卷积层，所述第一层卷积层和第二层卷积层利用所述特征图得到所述输入影像的识别结果。
本申请实施例采取的技术方案还包括：步骤a还包括：将FCN网络中原有的第一个卷积层的卷积核特征提取算子替换为HOG算子，通过所述HOG算子进行所述输入影像的边界特征提取。
本申请实施例采取的技术方案还包括：所述HOG算子提取边界特征的方式为：
首先计算在不同方向上的梯度：
Gx(x,y)＝H(x+1,y)-H(x-1,y)
Gy(x,y)＝H(x,y+1)-H(x,y-1)
上述公式中，Gx(x,y)表示水平方向的梯度值，Gy(x,y)表示竖直方向的梯度值，H(x,y)表示像素点(x,y)的灰度值；
计算影像当前像素点的梯度幅值：
Figure GDA0002631573290000051
计算当前像素点的梯度方向：
Figure GDA0002631573290000052
本申请实施例采取的技术方案还包括：在所述步骤c中，所述自生成特征网络生成卫星影像特征图的计算方式为：输入影像后，通过FCN网络中原有的五个卷积层进行影像的边界特征提取，并将边界特征传输到自生成特征网络，所述自生成特征网络经过一次全卷积层学习特征，然后将学习到的特征形成一个单通道的特征传输给所述第二层卷积层；所述第二层卷积层的特征和第一层卷积层的特征共同传输给判别器，在判别器中进行最小最大化过程，所述判别器将结果再次反馈给自生成特征网络，使所述自生成特征网络不断生成新的特征，在达到设定的迭代步数后，将最新一次生成的特征传送给所述第二层卷积层，并直接传送给全连接层，所述全连接层根据特征进行属性投票，最终得到输入影像的识别结果。
本申请实施例采取的技术方案还包括：在所述步骤c中，所述自生成特征网络嵌入到FCN网络中的嵌入点包括：
第五层卷积之后的特征一方面传送给第一层卷积层和第二层卷积层，同时将该特征传输给特征生成器，此为第一个嵌入点；
所述特征生成器形成的特征传输给第二层卷积层，此为第二个嵌入点；
在未达到设定阈值的情况下，所述第二层卷积层的输出结果只传输给判别器，此为第三个嵌入点。
本申请实施例采取的又一技术方案为：一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述的基于自生成特征的卫星影像识别方法的以下操作：
步骤a：将VGG网络的第一个全连接层和第二个全连接层分别变为第一层卷积层和第二层卷积层，构建新的FCN网络；
步骤b：基于GAN网络构建自生成特征网络；
步骤c：将所述自生成特征网络嵌入所述FCN网络中，通过所述自生成特征网络生成输入影像的特征图，将所述特征图传送给所述第一层卷积层和第二层卷积层，所述第一层卷积层和第二层卷积层利用所述特征图得到所述输入影像的识别结果。
相对于现有技术，本申请实施例产生的有益效果在于：本申请实施例的基于自生成特征的卫星影像识别***、方法及电子设备通过将FCN网络中的基本卷积核算子替换为多通道HOG算子，使其能够在四个大方向即上下左右对角线共计八个方向上产生更灵敏的检测效果。通过将VGG网络的第一、第二层全连接层修改为卫星影像检测而专门设计的全卷积网络，同时增添了一个自生成特征网络，将自动生成特征网络嵌入到新的全卷积网络中，从而不断计算和更新最新的影像特征，而不用去产生诸多无用的冗余数据来拖累全卷积网络。不仅能够实现数据特征的增强(这也是变相的扩充的数据的内容)，还能实现像素对像素的识别，以达到精确识别的要求。本申请避免耗费大量的计算机资源来实现数据扩充，能够很好解决数据冗余和精确边界的要求，同时还特别针对在之前影像中较少出现的或者从未出现的卫星图做了优化，使得识别算法更具鲁棒性。
附图说明
图1是本申请实施例的基于自生成特征的卫星影像识别***的结构示意图；
图2是本申请实施例的FCN网络框架图；
图3是本申请实施例的基于自生成特征的卫星影像识别***的网络框架图；
图4是本申请实施例的基于自生成特征的卫星影像识别方法的流程图；
图5是本申请实施例提供的基于自生成特征的卫星影像识别方法的硬件设备结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。
针对现有技术中存在的问题，本申请借助对抗生成网络(GenerativeAdversarial Nets，下文简称GAN)[Goodfellow I,Pouget-Abadie J,Mirza M,etal.Generative adversarial nets[C]//Advances in neural information processingsystems.2014:2672-2680.]思想，构建一种基于自生成特征的卫星影像识别***，自动生成卫星影像中的特征然后利用新构造的神经网络，将自动生成特征的神经网络嵌入到新的全卷积网络中，使其用于检测卫星影像中各种地面物体的类别，不仅能够实现数据特征的增强(这也是变相的扩充的数据的内容)，还能实现像素对像素的识别，以达到精确识别的要求。
具体地，请参阅图1，是本申请实施例的基于自生成特征的卫星影像识别***的结构示意图。本申请实施例的基于自生成特征的卫星影像识别***包括算子替换模块、FCN网络构建模块、自生成特征网络构建模块和自生成特征计算模块。
算子替换模块：用于将原有FCN网络中的第一层卷积层的SOBEL算子(索贝尔算子)和SIFT(Scale Invariant Feature Transform，尺度不变特征转换)算子替换为HOG(Histogram of Oriented Gradient，方向梯度直方图)算子，其余层特征提取点不变；其中，SOBEL算子只能计算水平和竖直两个方向，在面对一些非水平和竖直方向时表现不佳；SIFT算子主要是用来处理尺度不变的，而在卫星影像识别中并没有牵涉太多的尺度变化，只需要考虑影像边界的检测。本申请中使用了水平、竖直、北偏东45°和北偏西45°四个方向，因为上下左右对称的原因，即共八个方向。由于HOG算子可以扩充到多个方向，因此本申请将第一层卷积层的卷积核特征提取算子替换为HOG算子，使其更加符合卫星影像的边缘特征检测，可以较全面的完成卫星影像多个方向的边界特征提取。
本申请实施例中，HOG算子的方向由一个3*3大小的矩阵决定，其中，HOG算子计算特征的方式为：
1、首先计算在不同方向上的梯度：
Gx(x,y)＝H(x+1,y)-H(x-1,y) (1)
Gy(x,y)＝H(x,y+1)-H(x,y-1) (2)
公式(1)、(2)中，Gx(x,y)表示水平方向的梯度值，Gy(x,y)表示竖直方向的梯度值，H(x,y)表示该像素点(x,y)的灰度值，在影像处理中，灰度值范围都在(0,255)，其中0代表黑色，255表示白色。
(2)计算影像当前像素点的梯度幅值：
Figure GDA0002631573290000091
(3)计算当前像素点的梯度方向：
Figure GDA0002631573290000092
FCN网络构建模块：用于使用VGG16网络作为底层框架，在该底层框架下将VGG网络的第一个全连接层和第二个全连接层全部变为卷积层(即新增两个卷积层)，构建新的密集像素识别的FCN网络；其中，新增两个卷积层的优势在于：如果仅仅使用一个卷积层进行上采样，那么上采样的结果有可能是不充分的，在卫星影像复杂的情况下很难做到精准识别，因此多加了一层连接，使其能够更好表征特征，进而准确表示最后像素点的属性。本申请实施例的FCN网络结构说明如下表1所示(表1中CONV#代表卷积层层数)：
Figure GDA0002631573290000093
表中通道数即代表卷积核的数目，这是网络的重要参数，和现有VGG网络相比，本申请将原有的两层全连接层全部改为卷积层，通过两个新增的卷积层执行影像上采样操作，逐步完善影像。最后的SOFT-MAX代表的是影像中常见的一种分类方法。具体请一并参阅图2，是本申请实施例的FCN网络框架图，图中的虚线框部分表示本申请新增结构。
自生成特征网络构建模块：用于基于GAN网络构建自生成特征网络。其中，GAN网络分为生成器和判别器两个部分，GAN网络的基本原理为：生成器的作用是从提取到的特征中学习，进而制造很多和既有影像相似的新影像，然后将制造的新影像传送给判别器，判别器判断影像是否是一张制造出来的图片，在两方的不断博弈之下，判别器将结果反馈给生成器，生成器再根据结果不断调整自己的学习，进而制造出更为逼真的影像直到骗过判别器。本申请基于GAN网络，但与之不同的是不去制造假图片，而是借助GAN构建自生成特征网络，生成更逼真的特征，训练出更为鲁棒的特征图，将这些特征图传送给上采样层，上采样层将会利用这些特征图识别出更为准确的卫星影像。
自生成特征网络构建方式具体包括：
在既有的x中，生成器学习一种数据分布Pg,同时因为数据分布中存在噪声，定义一个噪声分布函数：PZ(Z)保证函数鲁棒。加上网络中原有的参数θg,故而定义出了G(Z,θg)为原有数据的一个映射。判别器D(x)用来表示数据来自于x的概率，训练D(x)使其能够最大能力即最大概率识别出数据是来自于自身训练数据集还是G(x)。同时也使得G所表示的log(1-D(G(z)))最小，这个公式最内层嵌套的是生成器，若要使得该公式最小，则内层的D(G(z))必须最大，这样的含义是判别器最大化概率准确识别来自于生成器的内容。将以上两个内容结合，得到：
Figure GDA0002631573290000101
将数据分布变成了特征分布，定义原有特征为Of，生成器生成特征为Nf，将公式(5)变更为：
Figure GDA0002631573290000111
公式(6)中，特征Of、Nf均为单通道即一层网络特征。
自生成特征计算模块：用于将自生成特征网络嵌入到密集像素识别的FCN网络中，生成基于自生成特征的卫星影像识别***。
具体请一并参阅图3，是本申请实施例的基于自生成特征的卫星影像识别***的网络框架图。基于自生成特征的卫星影像识别***的卫星影像识别方式具体为：输入卫星影像后，首先，通过FCN网络中原有的5个卷积层(CONV1至CONV5)进行卫星影像多个方向的边界特征提取，然后传输到自生成特征网络，通过自生成特征网络生成卫星影像的特征图，将特征图传送给上采样层(即新增的NEWCONV1和NEWCONV2)，上采样层利用这些特征图得到卫星影像识别结果；其中，自生成特征网络生成卫星影像特征图的计算方式为：原有卫星影像的特征在第五层卷积后(CONV5)传给自生成特征网络，自生成特征网络经过一次全卷积层
Figure GDA0002631573290000112
学习特征，然后将学习到的特征形成一个单通道的特征(FEATUREMAP)传输给新增的第二层卷积层(NEWCONV2)。第二层卷积层(NEWCONV2)的特征和第一层卷积层(NEWCONV1)的特征共同传输给判别器，然后在判别器中进行最小最大化过程，判别器将结果再次反馈给自生成特征网络，让其不断生成更能以假乱真的特征。在达到设定的迭代步数(即损失函数小于设定阈值)后，将最新一次的特征传送给新增的第二层卷积层(NEWCONV2)，继而直接传送给全连接层，全连接层根据特征进行属性投票，继而得到卫星影像识别结果。
本申请实施例中，自生成特征网络嵌入到密集像素识别的FCN网络中的嵌入点包括：
(1)、第五层卷积之后的特征一方面传送给原有路径上的新增的第一层卷积层(NEWCONV1)和第二层卷积层(NEWCONV2)，同时将该特征传输给特征生成器，此为第一个嵌入点。
(2)特征生成器形成的特征传输给新增的第二层卷积层(NEWCONV2)，此为第二个嵌入点。
(3)将第二层卷积层(NEWCONV2)的输出结果在未达到设定阈值的情况下，只传输给判别器此为第三嵌入点。
这三个嵌入点兼顾了每层特征的不同，也兼顾了判别器和生成器相互博弈下的作用机制。
请参阅图4，是本申请实施例的基于自生成特征的卫星影像识别方法的流程图。本申请实施例的基于自生成特征的卫星影像识别方法包括以下步骤：
步骤100：将FCN网络中原有的第一层卷积层(CONV1)的SOBEL算子和SIFT算子替换为HOG算子，其余层特征提取点不变；
步骤100中，SOBEL算子只能计算水平和竖直两个方向，在面对一些非水平和竖直方向时表现不佳；SIFT算子主要是用来处理尺度不变的，而在卫星影像识别中并没有牵涉太多的尺度变化，只需要考虑影像边界的检测。本申请中使用了水平、竖直、北偏东45°和北偏西45°四个方向，因为上下左右对称的原因，即共八个方向。由于HOG算子可以扩充到多个方向，因此本申请将第一层卷积层的卷积核特征提取算子替换为HOG算子，使其更加符合卫星影像的边缘特征检测，可以较全面的完成卫星影像多个方向的边界特征提取。
本申请实施例中，HOG算子的方向由一个3*3大小的矩阵决定，其中，HOG算子计算特征的方式为：
1、首先计算在不同方向上的梯度：
Gx(x,y)＝H(x+1,y)-H(x-1,y) (1)
Gy(x,y)＝H(x,y+1)-H(x,y-1) (2)
公式(1)、(2)中，Gx(x,y)表示水平方向的梯度值，Gy(x,y)表示竖直方向的梯度值，H(x,y)表示该像素点(x,y)的灰度值，在影像处理中，灰度值范围都在(0,255)，其中0代表黑色，255表示白色。
(2)计算影像当前像素点的梯度幅值：
Figure GDA0002631573290000131
(3)计算当前像素点的梯度方向：
Figure GDA0002631573290000132
步骤200：使用VGG16网络作为底层框架，在该底层框架下将VGG网络的第一个全连接层和第二个全连接层全部变为卷积层(即新增两个卷积层)，构建新的密集像素识别的FCN网络；
步骤200中，新增两个卷积层的优势在于：如果仅仅使用一个卷积层进行上采样，那么上采样的结果有可能是不充分的，在卫星影像复杂的情况下很难做到精准识别，因此多加了一层连接，使其能够更好表征特征，进而准确表示最后像素点的属性。本申请实施例的FCN网络结构说明如下表1所示(表1中CONV#代表卷积层层数)：
Figure GDA0002631573290000133
Figure GDA0002631573290000141
表中通道数即代表卷积核的数目，这是网络的重要参数，和现有VGG网络相比，本申请将原有的两层全连接层全部改为卷积层，通过两个新增的卷积层执行影像上采样操作，逐步完善影像。最后的SOFT-MAX代表的是影像中常见的一种分类方法。
步骤300：基于GAN网络构建自生成特征网络；
步骤300中，GAN网络分为生成器和判别器两个部分，GAN网络的基本原理为：生成器的作用是从提取到的特征中学习，进而制造很多和既有影像相似的新影像，然后将制造的新影像传送给判别器，判别器判断影像是否是一张制造出来的图片，在两方的不断博弈之下，判别器将结果反馈给生成器，生成器再根据结果不断调整自己的学习，进而制造出更为逼真的影像直到骗过判别器。本申请基于GAN网络，但与之不同的是不去制造假图片，而是借助GAN构建自生成特征网络，生成更逼真的特征，训练出更为鲁棒的特征图，将这些特征图传送给上采样层，上采样层将会利用这些特征图识别出更为准确的卫星影像。
自生成特征网络构建方式具体包括：
在既有的x中，生成器学习一种数据分布Pg,同时因为数据分布中存在噪声，定义一个噪声分布函数：PZ(Z)保证函数鲁棒。加上网络中原有的参数θg,故而定义出了G(z,θg)为原有数据的一个映射。判别器D(x)用来表示数据来自于x的概率，训练D(x)使其能够最大能力即最大概率识别出数据是来自于自身训练数据集还是G(x)。同时也使得G所表示的log(1-D(G(z)))最小，这个公式最内层嵌套的是生成器，若要使得该公式最小，则内层的D(G(z))必须最大，这样的含义是判别器最大化概率准确识别来自于生成器的内容。将以上两个内容结合，得到：
Figure GDA0002631573290000151
将数据分布变成了特征分布，定义原有特征为Of，生成器生成特征为Nf，将公式(5)变更为：
Figure GDA0002631573290000152
公式(6)中，特征Of、Nf均为单通道即一层网络特征。
步骤400：将自生成特征网络嵌入到密集像素识别的FCN网络中，生成基于自生成特征的卫星影像识别***，通过基于自生成特征的卫星影像识别***进行卫星影像识别；
步骤400中，基于自生成特征的卫星影像识别***的卫星影像识别方式具体为：基于自生成特征的卫星影像识别***的卫星影像识别方式具体为：输入卫星影像后，首先，通过FCN网络中原有的5个卷积层(CONV1至CONV5)进行卫星影像多个方向的边界特征提取，然后传输到自生成特征网络，通过自生成特征网络生成卫星影像的特征图，将特征图传送给上采样层(即新增的NEWCONV1和NEWCONV2)，上采样层利用这些特征图得到卫星影像识别结果；其中，自生成特征网络生成卫星影像特征图的计算方式为：原有卫星影像的特征在第五层卷积后(CONV5)传给自生成特征网络，自生成特征网络经过一次全卷积层
Figure GDA0002631573290000161
学习特征，然后将学习到的特征形成一个单通道的特征(FEATUREMAP)传输给新增的第二层卷积层(NEWCONV2)。第二层卷积层(NEWCONV2)的特征和第一层卷积层(NEWCONV1)的特征共同传输给判别器，然后在判别器中进行最小最大化过程，判别器将结果再次反馈给自生成特征网络，让其不断生成更能以假乱真的特征。在达到设定的迭代步数(即损失函数小于设定阈值)后，将最新一次的特征传送给新增的第二层卷积层(NEWCONV2)，继而直接传送给全连接层，全连接层根据特征进行属性投票，继而得到卫星影像识别结果。
图5是本申请实施例提供的基于自生成特征的卫星影像识别方法的硬件设备结构示意图。如图5所示，该设备包括一个或多个处理器以及存储器。以一个处理器为例，该设备还可以包括：输入***和输出***。
处理器、存储器、输入***和输出***可以通过总线或者其他方式连接，图5中以通过总线连接为例。
存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块。处理器通过运行存储在存储器中的非暂态软件程序、指令以及模块，从而执行电子设备的各种功能应用以及数据处理，即实现上述方法实施例的处理方法。
存储器可以包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需要的应用程序；存储数据区可存储数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至处理***。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入***可接收输入的数字或字符信息，以及产生信号输入。输出***可包括显示屏等显示设备。
所述一个或者多个模块存储在所述存储器中，当被所述一个或者多个处理器执行时，执行上述任一方法实施例的以下操作：
步骤a：将VGG网络的第一个全连接层和第二个全连接层分别变为第一层卷积层和第二层卷积层，构建新的FCN网络；
步骤b：基于GAN网络构建自生成特征网络；
步骤c：将所述自生成特征网络嵌入所述FCN网络中，通过所述自生成特征网络生成输入影像的特征图，将所述特征图传送给所述第一层卷积层和第二层卷积层，所述第一层卷积层和第二层卷积层利用所述特征图得到所述输入影像的识别结果。
上述产品可执行本申请实施例所提供的方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本申请实施例提供的方法。
本申请实施例提供了一种非暂态(非易失性)计算机存储介质，所述计算机存储介质存储有计算机可执行指令，该计算机可执行指令可执行以下操作：
步骤a：将VGG网络的第一个全连接层和第二个全连接层分别变为第一层卷积层和第二层卷积层，构建新的FCN网络；
步骤b：基于GAN网络构建自生成特征网络；
步骤c：将所述自生成特征网络嵌入所述FCN网络中，通过所述自生成特征网络生成输入影像的特征图，将所述特征图传送给所述第一层卷积层和第二层卷积层，所述第一层卷积层和第二层卷积层利用所述特征图得到所述输入影像的识别结果。
本申请实施例提供了一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行以下操作：
步骤a：将VGG网络的第一个全连接层和第二个全连接层分别变为第一层卷积层和第二层卷积层，构建新的FCN网络；
步骤b：基于GAN网络构建自生成特征网络；
步骤c：将所述自生成特征网络嵌入所述FCN网络中，通过所述自生成特征网络生成输入影像的特征图，将所述特征图传送给所述第一层卷积层和第二层卷积层，所述第一层卷积层和第二层卷积层利用所述特征图得到所述输入影像的识别结果。
本申请实施例的基于自生成特征的卫星影像识别***、方法及电子设备通过将FCN网络中的基本卷积核算子替换为多通道HOG算子，使其能够在四个大方向即上下左右对角线共计八个方向上产生更灵敏的检测效果。通过将VGG网络的第一、第二层全连接层修改为卫星影像检测而专门设计的全卷积网络，同时增添了一个自生成特征网络，将自动生成特征网络嵌入到新的全卷积网络中，从而不断计算和更新最新的影像特征，而不用去产生诸多无用的冗余数据来拖累全卷积网络。不仅能够实现数据特征的增强(这也是变相的扩充的数据的内容)，还能实现像素对像素的识别，以达到精确识别的要求。本申请避免耗费大量的计算机资源来实现数据扩充，能够很好解决数据冗余和精确边界的要求，同时还特别针对在之前影像中较少出现的或者从未出现的卫星图做了优化，使得识别算法更具鲁棒性。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本申请中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本申请所示的这些实施例，而是要符合与本申请所公开的原理和新颖特点相一致的最宽的范围。

Claims (11)

1.一种基于自生成特征的卫星影像识别***，其特征在于，包括：
FCN网络构建模块：用于将VGG网络的第一个全连接层和第二个全连接层分别变为第一层卷积层和第二层卷积层，构建新的FCN网络；
自生成特征网络构建模块：用于基于GAN网络构建自生成特征网络；
自生成特征计算模块：用于将所述自生成特征网络嵌入所述FCN网络中，通过所述自生成特征网络生成输入影像的特征图，将所述特征图传送给所述第一层卷积层和第二层卷积层，所述第一层卷积层和第二层卷积层利用所述特征图得到所述输入影像的识别结果。
2.根据权利要求1所述的基于自生成特征的卫星影像识别***，其特征在于，还包括算子替换模块，所述算子替换模块用于将FCN网络中原有的第一个卷积层的卷积核特征提取算子替换为HOG算子，通过所述HOG算子进行所述输入影像的边界特征提取。
3.根据权利要求2所述的基于自生成特征的卫星影像识别***，其特征在于，所述HOG算子提取边界特征的方式为：
首先计算在不同方向上的梯度：
Gx(x，y)＝H(x+1，y)-H(x-1，y)
Gy(x，y)＝H(x，y+1)-H(x，y-1)
上述公式中，Gx(x，y)表示水平方向的梯度值，Gy(x，y)表示竖直方向的梯度值，H(x，y)表示像素点(x，y)的灰度值；
计算影像当前像素点的梯度幅值：
Figure FDA0002631573280000011
计算当前像素点的梯度方向：
Figure FDA0002631573280000021
4.根据权利要求3所述的基于自生成特征的卫星影像识别***，其特征在于，所述自生成特征网络生成卫星影像特征图的计算方式为：输入影像后，通过FCN网络中原有的五个卷积层进行影像的边界特征提取，并将边界特征传输到自生成特征网络，所述自生成特征网络经过一次全卷积层学习特征，然后将学习到的特征形成一个单通道的特征传输给所述第二层卷积层；所述第二层卷积层的特征和第一层卷积层的特征共同传输给判别器，在判别器中进行最小最大化过程，所述判别器将结果再次反馈给自生成特征网络，使所述自生成特征网络不断生成新的特征，在达到设定的迭代步数后，将最新一次生成的特征传送给所述第二层卷积层，并直接传送给全连接层，所述全连接层根据特征进行属性投票，最终得到输入影像的识别结果。
5.根据权利要求4所述的基于自生成特征的卫星影像识别***，其特征在于，所述自生成特征网络嵌入到FCN网络中的嵌入点包括：
第五层卷积之后的特征一方面传送给第一层卷积层和第二层卷积层，同时将该特征传输给特征生成器，此为第一个嵌入点；
所述特征生成器形成的特征传输给第二层卷积层，此为第二个嵌入点；
在未达到设定阈值的情况下，所述第二层卷积层的输出结果只传输给判别器，此为第三个嵌入点。
6.一种基于自生成特征的卫星影像识别方法，其特征在于，包括以下步骤：
步骤a：将VGG网络的第一个全连接层和第二个全连接层分别变为第一层卷积层和第二层卷积层，构建新的FCN网络；
步骤b：基于GAN网络构建自生成特征网络；
步骤c：将所述自生成特征网络嵌入所述FCN网络中，通过所述自生成特征网络生成输入影像的特征图，将所述特征图传送给所述第一层卷积层和第二层卷积层，所述第一层卷积层和第二层卷积层利用所述特征图得到所述输入影像的识别结果。
7.根据权利要求6所述的基于自生成特征的卫星影像识别方法，其特征在于，步骤a还包括：将FCN网络中原有的第一个卷积层的卷积核特征提取算子替换为HOG算子，通过所述HOG算子进行所述输入影像的边界特征提取。
8.根据权利要求7所述的基于自生成特征的卫星影像识别方法，其特征在于，所述HOG算子提取边界特征的方式为：
首先计算在不同方向上的梯度：
Gx(x，y)＝H(x+1，y)-H(x-1，y)
Gy(x，y)＝H(x，y+1)-H(x，y-1)
上述公式中，Gx(x，y)表示水平方向的梯度值，Gy(x，y)表示竖直方向的梯度值，H(x，y)表示像素点(x，y)的灰度值；
计算影像当前像素点的梯度幅值：
Figure FDA0002631573280000031
计算当前像素点的梯度方向：
Figure FDA0002631573280000032
9.根据权利要求8所述的基于自生成特征的卫星影像识别方法，其特征在于，在所述步骤c中，所述自生成特征网络生成卫星影像特征图的计算方式为：输入影像后，通过FCN网络中原有的五个卷积层进行影像的边界特征提取，并将边界特征传输到自生成特征网络，所述自生成特征网络经过一次全卷积层学习特征，然后将学习到的特征形成一个单通道的特征传输给所述第二层卷积层；所述第二层卷积层的特征和第一层卷积层的特征共同传输给判别器，在判别器中进行最小最大化过程，所述判别器将结果再次反馈给自生成特征网络，使所述自生成特征网络不断生成新的特征，在达到设定的迭代步数后，将最新一次生成的特征传送给所述第二层卷积层，并直接传送给全连接层，所述全连接层根据特征进行属性投票，最终得到输入影像的识别结果。
10.根据权利要求9所述的基于自生成特征的卫星影像识别方法，其特征在于，在所述步骤c中，所述自生成特征网络嵌入到FCN网络中的嵌入点包括：
第五层卷积之后的特征一方面传送给第一层卷积层和第二层卷积层，同时将该特征传输给特征生成器，此为第一个嵌入点；
所述特征生成器形成的特征传输给第二层卷积层，此为第二个嵌入点；
在未达到设定阈值的情况下，所述第二层卷积层的输出结果只传输给判别器，此为第三个嵌入点。
11.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述6至10任一项所述的基于自生成特征的卫星影像识别方法的以下操作：
步骤a：将VGG网络的第一个全连接层和第二个全连接层分别变为第一层卷积层和第二层卷积层，构建新的FCN网络；
步骤b：基于GAN网络构建自生成特征网络；
步骤c：将所述自生成特征网络嵌入所述FCN网络中，通过所述自生成特征网络生成输入影像的特征图，将所述特征图传送给所述第一层卷积层和第二层卷积层，所述第一层卷积层和第二层卷积层利用所述特征图得到所述输入影像的识别结果。
CN201811227460.2A 2018-10-22 2018-10-22 基于自生成特征的卫星影像识别***、方法及电子设备 Active CN109522807B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811227460.2A CN109522807B (zh) 2018-10-22 2018-10-22 基于自生成特征的卫星影像识别***、方法及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811227460.2A CN109522807B (zh) 2018-10-22 2018-10-22 基于自生成特征的卫星影像识别***、方法及电子设备

Publications (2)

Publication Number Publication Date
CN109522807A CN109522807A (zh) 2019-03-26
CN109522807B true CN109522807B (zh) 2020-11-27

Family

ID=65772178

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811227460.2A Active CN109522807B (zh) 2018-10-22 2018-10-22 基于自生成特征的卫星影像识别***、方法及电子设备

Country Status (1)

Country Link
CN (1) CN109522807B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3742346A3 (en) 2019-05-23 2021-06-16 HTC Corporation Method for training generative adversarial network (gan), method for generating images by using gan, and computer readable storage medium
CN112132155B (zh) * 2019-06-25 2022-06-14 珠海一微半导体股份有限公司 基于硬件电路的sift算法图像边界扩充方法和处理方法
CN112446266B (zh) * 2019-09-04 2024-03-29 北京君正集成电路股份有限公司 一种适合前端的人脸识别网络结构
CN110866908B (zh) * 2019-11-12 2021-03-26 腾讯科技（深圳）有限公司 图像处理方法、装置、服务器及存储介质
CN114648706B (zh) * 2022-05-23 2022-07-29 四川嘉普信工程技术咨询有限公司 基于卫星遥感影像的森林树种识别方法、装置及设备

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105631415A (zh) * 2015-12-25 2016-06-01 中通服公众信息产业股份有限公司 一种基于卷积神经网络的视频行人识别方法
CN108537807B (zh) * 2017-03-02 2021-07-13 中国科学院遥感与数字地球研究所 一种基于高分四号卫星影像改进的边缘增强检测方法
CN107016677B (zh) * 2017-03-24 2020-01-17 北京工业大学 一种基于fcn和cnn的云图分割方法
CN108009472B (zh) * 2017-10-25 2020-07-21 五邑大学 一种基于卷积神经网络和贝叶斯分类器的指背关节纹识别方法

Also Published As

Publication number Publication date
CN109522807A (zh) 2019-03-26

Similar Documents

Publication Publication Date Title
CN109522807B (zh) 基于自生成特征的卫星影像识别***、方法及电子设备
Kong et al. A federated learning-based license plate recognition scheme for 5G-enabled internet of vehicles
US11328401B2 (en) Stationary object detecting method, apparatus and electronic device
CN108734210B (zh) 一种基于跨模态多尺度特征融合的对象检测方法
US10410354B1 (en) Method and apparatus for multi-model primitive fitting based on deep geometric boundary and instance aware segmentation
Iqbal et al. Coconut trees detection and segmentation in aerial imagery using mask region‐based convolution neural network
US11830103B2 (en) Method, apparatus, and computer program product for training a signature encoding module and a query processing module using augmented data
CN109919002B (zh) 黄色禁停线识别方法、装置、计算机设备及存储介质
CN112101386B (zh) 文本检测方法、装置、计算机设备和存储介质
CN114746898A (zh) 用于生成图像抠图的三分图的方法和***
CN103632153A (zh) 一种基于区域的图像显著图提取方法
CN114677596A (zh) 一种基于注意力模型的遥感图像船舶检测方法和装置
CN104217459A (zh) 一种球面特征提取方法
WO2020061648A1 (en) Apparatus and method for three-dimensional object recognition
US20160125253A1 (en) Method and apparatus for image matching
WO2022247126A1 (zh) 视觉定位方法、装置、设备、介质及程序
CN115345895B (zh) 用于视觉检测的图像分割方法、装置、计算机设备及介质
CN109493279B (zh) 一种大规模无人机图像并行拼接方法
Pang et al. PTRSegNet: A Patch-to-Region Bottom-Up Pyramid Framework for the Semantic Segmentation of Large-Format Remote Sensing Images
Das et al. Object Detection on Scene Images: A Novel Approach
WO2024000728A1 (zh) 单目三维平面恢复方法、设备及存储介质
Shumeng et al. A semantic segmentation method for remote sensing images based on multiple contextual feature extraction
CN113569636B (zh) 基于球面特征的鱼眼图像特征处理方法、***及电子设备
CN115311573B (zh) 一种场地线检测和目标定位方法、电子设备及存储介质
CN116030272B (zh) 一种基于信息抽取的目标检测方法、***和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant