CN109359598B - 一种识别光学遥感图像道路的y型神经网络***及方法 - Google Patents

一种识别光学遥感图像道路的y型神经网络***及方法 Download PDF

Info

Publication number
CN109359598B
CN109359598B CN201811215645.1A CN201811215645A CN109359598B CN 109359598 B CN109359598 B CN 109359598B CN 201811215645 A CN201811215645 A CN 201811215645A CN 109359598 B CN109359598 B CN 109359598B
Authority
CN
China
Prior art keywords
network
remote sensing
road
sub
arm sub
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811215645.1A
Other languages
English (en)
Other versions
CN109359598A (zh
Inventor
李叶
许乐乐
郭丽丽
王先锋
阎镇
饶骏
金山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Technology and Engineering Center for Space Utilization of CAS
Original Assignee
Technology and Engineering Center for Space Utilization of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Technology and Engineering Center for Space Utilization of CAS filed Critical Technology and Engineering Center for Space Utilization of CAS
Priority to CN201811215645.1A priority Critical patent/CN109359598B/zh
Publication of CN109359598A publication Critical patent/CN109359598A/zh
Application granted granted Critical
Publication of CN109359598B publication Critical patent/CN109359598B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/182—Network patterns, e.g. roads or rivers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种识别光学遥感图像道路的Y型神经网络***及方法，其Y型神经网络***包括左臂子网络Y1、右臂子网络Y2和融合子网络Y3；左臂子网络Y1用于对遥感图像中的环境背景细节进行抑制并识别出遥感图像中的宽道路；右臂子网络Y2用于对遥感图像中的深层细节信息进行分析并识别出遥感图像中的窄道路和精细道路边缘；融合子网络Y3用于将左臂子网络Y1识别出的遥感图像中的宽道路以及右臂子网络Y2识别出的遥感图像中的窄道路和精细道路边缘进行无损深度融合，得出遥感图像中的道路识别结果。本发明提出的Y型神经网络可以同时改善光学遥感图像中宽道路和窄道路的识别精度，并对图像环境背景有较强的抑制能力，具有较低的误检和漏检风险。

Description

一种识别光学遥感图像道路的Y型神经网络***及方法
技术领域
本发明涉及光学遥感图像识别的技术领域，尤其涉及一种识别光学遥感图像道路的Y型神经网络***及方法。
背景技术
随着遥感技术的发展和成熟，其被广泛应用于各个领域，如城市规划和灾害监测等领域。目前随着光学遥感相机的更新换代，光学遥感图像空间分辨率越来越高，出现了高清遥感图像，并已经进入商用化阶段。与常规遥感图像相比，高清遥感图像可以获得更高的空间分辨率，使得大量原来无法检测到的细节也得以呈现出来，但是高分辨率引入了大量的环境细节，给遥感图像分析技术带来了新的挑战。特别是在道路识别领域，由于道路存在宽道路和窄道路等不同的情况，高清遥感图像中的大量植被、建筑等环境背景给道路识别带来很大的挑战。目前已经有一些深度学习方法应用于遥感图像的道路识别中，常见的深度学习方法有卷积神经网络，其包含fully convolutional network(FCN)、U-Net等网络。针对高清光学遥感图像，U-Net已经采取一些技巧对丰富的环境细节进行了抑制，U-Net通常融合浅层网络的细节信息和深层网络的语义信息，细节信息可以一定程度上识别到窄道路，而语义信息对图像背景细节有一定的抑制能力，U-Net将两者进行结合，取得一个在背景细节抑制和窄道路识别的一个折中，但是在真实高清遥感图像应用中，其仍然存在窄道路漏检和环境背景误检的情况。因此，为了实现高清光学遥感图像中道路的精细识别，现有卷积神经网络仍有待改进。
发明内容
本发明所要解决的技术问题是提供一种识别光学遥感图像道路的Y型神经网络***及方法，可以解决高清光学遥感图像中常规道路识别方法难以同时实现高精度宽道路和窄道路的识别以及对环境背景的抑制的问题。
本发明解决上述技术问题的技术方案如下：一种识别光学遥感图像道路的Y型神经网络***，包括左臂子网络Y1、右臂子网络Y2和融合子网络Y3，所述左臂子网络Y1的输出端和所述右臂子网络Y2的输出端均与所述融合子网络Y3的输入端连接，并组成Y字型结构；
所述左臂子网络Y1，其用于对遥感图像中的环境背景细节进行抑制，并识别出遥感图像中的宽道路；
所述右臂子网络Y2，其用于对遥感图像中的深层细节信息进行分析，并识别出遥感图像中的窄道路和精细道路边缘；
所述融合子网络Y3，其用于将所述左臂子网络Y1识别出的遥感图像中的宽道路以及所述右臂子网络Y2识别出的遥感图像中的窄道路和精细道路边缘进行无损深度融合，得出遥感图像中的道路识别结果。
本发明的有益效果是：本发明提出的Y型神经网络可以同时改善光学遥感图像中宽道路和窄道路的识别精度，并对图像环境背景有较强的抑制能力，具有较低的误检和漏检风险。
在上述技术方案的基础上，本发明还可以做如下改进。
进一步，所述左臂子网络Y1包括至少1个卷积层、至少1个下采样层和至少1个上采样层。
进一步，所述左臂子网络Y1中的卷积层用于提取光学遥感图像的图像特征；所述左臂子网络Y1中的下采样层用于采用最大化池化操作对光学遥感图像的图像特征进行降维处理；所述左臂子网络Y1中的上采样层用于对光学遥感图像的图像特征进行升维处理，并输出光学遥感图像中的宽道路识别结果。
进一步，所述右臂子网络Y2包括至少2个卷积层。
进一步，在所述右臂子网络Y2中，至少有1个卷积层的卷积核大于3×3。
进一步，所述右臂子网络Y2具体用于，通过多个卷积层从输入的光学遥感图像中识别出窄道路和精细道路边缘。
采用上述进一步方案的有益效果是：整个右臂子网络Y2不包含下采样层，这样可以避免细节信息的丢失，获得丰富的道路细节信息；此外，右臂子网络Y2有一个较深的网络结构且设置具有较大核尺寸的卷积层，这样可以获得更稳定的道路细节特征。
进一步，所述融合子网络Y3包含至少1个拼接层和至少1个卷积层。
进一步，所述融合子网络Y3具体用于，利用拼接层将所述左臂子网络Y1识别出的遥感图像中的宽道路以及所述右臂子网络Y2识别出的遥感图像中的窄道路和精细道路边缘无损拼接在一起，并通过卷积层进行最终道路识别。
采用上述进一步方案的有益效果是：融合子网络Y3中的拼接层没有将左臂子网络Y1识别出的遥感图像中的宽道路以及右臂子网络Y2识别出的遥感图像中的窄道路和精细道路边缘进行累加等有损操作，而是将两个输出结果进行相连接，这样保证两个结果无损的传递给下面的卷积层，最后由卷积层实现最终的道路识别。
基于上述一种识别光学遥感图像道路的Y型神经网络***，本发明还提供一种识别光学遥感图像道路的方法。
一种识别光学遥感图像道路的方法，利用上述所述的一种识别光学遥感图像道路的Y型神经网络***进行光学遥感图像道路识别，包括以下步骤，
左臂子网络Y1对遥感图像中的环境背景细节进行抑制，并识别出遥感图像中的宽道路；
右臂子网络Y2对遥感图像中的深层细节信息进行分析，并识别出遥感图像中的窄道路和精细道路边缘；
融合子网络Y3将所述左臂子网络Y1识别出的遥感图像中的宽道路以及所述右臂子网络Y2识别出的遥感图像中的窄道路和精细道路边缘进行无损深度融合，得出遥感图像中的道路识别结果。
本发明的有益效果是：本发明利用Y型神经网络进行遥感图像道路识别，可以同时改善光学遥感图像中宽道路和窄道路的识别精度，并对图像环境背景有较强的抑制能力，具有较低的误检和漏检风险。
附图说明
图1为本发明一种识别光学遥感图像道路的Y型神经网络***的整体结构框图；
图2为本发明一种识别光学遥感图像道路的Y型神经网络***的具体结构示意图；
图3为利用本发明一种识别光学遥感图像道路的Y型神经网络***进行光学遥感图像道路识别的结果示意图；
图4为本发明一种识别光学遥感图像道路的方法的流程图。
具体实施方式
以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
如图1所示，一种识别光学遥感图像道路的Y型神经网络***，包括左臂子网络Y1、右臂子网络Y2和融合子网络Y3，所述左臂子网络Y1的输出端和所述右臂子网络Y2的输出端均与所述融合子网络Y3的输入端连接，并组成Y字型结构；
所述左臂子网络Y1，其用于对遥感图像中的环境背景细节进行抑制，并识别出遥感图像中的宽道路；
所述右臂子网络Y2，其用于对遥感图像中的深层细节信息进行分析，并识别出遥感图像中的窄道路和精细道路边缘；
所述融合子网络Y3，其用于将所述左臂子网络Y1识别出的遥感图像中的宽道路以及所述右臂子网络Y2识别出的遥感图像中的窄道路和精细道路边缘进行无损深度融合，得出遥感图像中的道路识别结果。
在本具体实施例中：所述左臂子网络Y1包括至少1个卷积层、至少1个下采样层和至少1个上采样层。所述左臂子网络Y1中的卷积层用于提取光学遥感图像的图像特征；所述左臂子网络Y1中的下采样层用于采用最大化池化操作对光学遥感图像的图像特征进行降维处理；所述左臂子网络Y1中的上采样层用于对光学遥感图像的图像特征进行升维处理，并输出光学遥感图像中的宽道路识别结果。所述右臂子网络Y2包括至少2个卷积层。在所述右臂子网络Y2中，至少有1个卷积层的卷积核大于3×3。所述右臂子网络Y2具体用于，通过多个卷积层从输入的光学遥感图像中识别出窄道路和精细道路边缘。所述融合子网络Y3包含至少1个拼接层和至少1个卷积层。所述融合子网络Y3具体用于，利用拼接层将所述左臂子网络Y1识别出的遥感图像中的宽道路以及所述右臂子网络Y2识别出的遥感图像中的窄道路和精细道路边缘无损拼接在一起，并通过卷积层进行最终道路识别。
本发明一种识别光学遥感图像道路的Y型神经网络***的具体结构如图2所示：
左臂子网络Y1：包括16个卷积层(C11～C161)、5个下采样层(P11～P51)、5个上采样层(D11～D51)。每一个卷积层左侧的数字为该层卷积核的个数。卷积层的卷积核大小都为3×3，下采样层采用最大化池化操作实现下采样。左臂子网络Y1首先利用卷积层提取光学遥感图像中的图像特征；接着利用下采样层中最大化池化操作对光学遥感图像中的图像特征降维，降维会抛去部分细节信息，减少复杂环境背景的干扰，同时最大化池化操作能够提取更稳定的图像特征；最后利用上采样层升维光学遥感图像中的图像特征，并最终输出粗的道路识别结果，其可以识别大部分宽道路，也对环境背景有很好的抑制能力。
右臂子网络Y2：包含13个卷积层(C12～C132)。C12～C62中每个卷积层都包含16个3×3大小的卷积核，C72～C92中每个卷积层包含32个5×5大小的卷积核，C102～C122中包含64个5×5大小的卷积核，卷积层C132包含2个1×1大小的卷积核。整个右臂子网络Y2中不包含下采样层，这样可以避免细节信息的丢失，获得丰富的道路细节信息。此外，右臂子网络Y2有一个较深的网络结构且设置具有较大核尺寸的卷积层，这样可以获得更稳定的道路细节特征，最终实现对窄道路和道路边缘的精细识别。
融合子网络Y3：包括1个拼接层(A13)和5个卷积层(C13～C53)。A13接收左臂子网络Y1和右臂子网络Y2的输出作为输入，并将两个输入无损拼接在一起，拼接层没有将左臂子网络Y1和右臂子网络Y2的输出进行累加等有损操作，而是将两个输出结果进行相连接，这样保证两个结果无损的传递给下面的卷积层C13～C53。卷积层C13～C43进一步从拼接结果中提取融合特征，最后由卷积层C53输出最终的道路识别结果。
本发明利用一个Y字型结构将两个实现不同道路识别功能的网络连在一起，其中左臂子网络Y1实现宽道路识别和背景抑制，右臂子网络Y2提取道路细节，实现窄道路和道路精细边缘的识别，最后通过融合子网络Y3的无损拼接结构，实现左臂子网络Y1和右臂子网络Y2优势的互补融合，不仅同时识别宽道路和窄道路，还具有较强的环境背景抑制能力，误检和漏检都较低。
图3为利用本发明一种识别光学遥感图像道路的Y型神经网络***进行光学遥感图像道路识别的结果示意图，其中左边一列为原始光学遥感图像，右边一列为本发明实施例的道路识别结果；从图3中可以看出，本发明实施例能够识别出大部分宽道路和窄道路，并且对复杂环境背景的误检也比较少，这也说明本发明实施例的Y型神经网络在道路识别上的巨大优势。
基于上述一种识别光学遥感图像道路的Y型神经网络***，本发明还提供一种识别光学遥感图像道路的方法。
如图4所示，一种识别光学遥感图像道路的方法，利用上述所述的一种识别光学遥感图像道路的Y型神经网络***进行光学遥感图像道路识别，包括以下步骤，
左臂子网络Y1对遥感图像中的环境背景细节进行抑制，并识别出遥感图像中的宽道路；
右臂子网络Y2对遥感图像中的深层细节信息进行分析，并识别出遥感图像中的窄道路和精细道路边缘；
融合子网络Y3将所述左臂子网络Y1识别出的遥感图像中的宽道路以及所述右臂子网络Y2识别出的遥感图像中的窄道路和精细道路边缘进行无损深度融合，得出遥感图像中的道路识别结果。
本发明利用Y型神经网络进行遥感图像道路识别，可以同时改善光学遥感图像中宽道路和窄道路的识别精度，并对图像环境背景有较强的抑制能力，具有较低的误检和漏检风险。
在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种识别光学遥感图像道路的Y型神经网络***，其特征在于：包括左臂子网络Y1、右臂子网络Y2和融合子网络Y3，所述左臂子网络Y1的输出端和所述右臂子网络Y2的输出端均与所述融合子网络Y3的输入端连接，并组成Y字型结构；
所述左臂子网络Y1，其用于对遥感图像中的环境背景细节进行抑制，并识别出遥感图像中的宽道路；
所述右臂子网络Y2，其用于对遥感图像中的深层细节信息进行分析，并识别出遥感图像中的窄道路和精细道路边缘；
所述融合子网络Y3，其用于将所述左臂子网络Y1识别出的遥感图像中的宽道路以及所述右臂子网络Y2识别出的遥感图像中的窄道路和精细道路边缘进行无损深度融合，得出遥感图像中的道路识别结果；
所述左臂子网络Y1包括至少1个卷积层、至少1个下采样层和至少1个上采样层；
所述右臂子网络Y2包括至少2个卷积层；
所述融合子网络Y3包含至少1个拼接层和至少1个卷积层；
所述左臂子网络Y1中的卷积层用于提取光学遥感图像的图像特征；所述左臂子网络Y1中的下采样层用于采用最大化池化操作对光学遥感图像的图像特征进行降维处理；所述左臂子网络Y1中的上采样层用于对光学遥感图像的图像特征进行升维处理，并输出光学遥感图像中的宽道路识别结果；
所述右臂子网络Y2具体用于，通过多个卷积层从输入的光学遥感图像中识别出窄道路和精细道路边缘；
所述融合子网络Y3具体用于，利用拼接层将所述左臂子网络Y1识别出的遥感图像中的宽道路以及所述右臂子网络Y2识别出的遥感图像中的窄道路和精细道路边缘无损拼接在一起，并通过卷积层进行最终道路识别。
2.根据权利要求1所述的一种识别光学遥感图像道路的Y型神经网络***，其特征在于：在所述右臂子网络Y2中，至少有1个卷积层的卷积核大于3×3。
3.一种识别光学遥感图像道路的方法，其特征在于：利用上述权利要求1或2所述的一种识别光学遥感图像道路的Y型神经网络***进行光学遥感图像道路识别，包括以下步骤，
左臂子网络Y1对遥感图像中的环境背景细节进行抑制，并识别出遥感图像中的宽道路；
右臂子网络Y2对遥感图像中的深层细节信息进行分析，并识别出遥感图像中的窄道路和精细道路边缘；
融合子网络Y3将所述左臂子网络Y1识别出的遥感图像中的宽道路以及所述右臂子网络Y2识别出的遥感图像中的窄道路和精细道路边缘进行无损深度融合，得出遥感图像中的道路识别结果。
CN201811215645.1A 2018-10-18 2018-10-18 一种识别光学遥感图像道路的y型神经网络***及方法 Active CN109359598B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811215645.1A CN109359598B (zh) 2018-10-18 2018-10-18 一种识别光学遥感图像道路的y型神经网络***及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811215645.1A CN109359598B (zh) 2018-10-18 2018-10-18 一种识别光学遥感图像道路的y型神经网络***及方法

Publications (2)

Publication Number Publication Date
CN109359598A CN109359598A (zh) 2019-02-19
CN109359598B true CN109359598B (zh) 2019-09-24

Family

ID=65345824

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811215645.1A Active CN109359598B (zh) 2018-10-18 2018-10-18 一种识别光学遥感图像道路的y型神经网络***及方法

Country Status (1)

Country Link
CN (1) CN109359598B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111008604A (zh) * 2019-12-09 2020-04-14 上海眼控科技股份有限公司 预测图像获取方法、装置、计算机设备和存储介质
CN113449813A (zh) * 2021-07-20 2021-09-28 东南大学 一种基于双子网络的红外弱小目标检测方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108230421A (zh) * 2017-09-19 2018-06-29 北京市商汤科技开发有限公司 一种道路图生成方法、装置、电子设备和计算机存储介质
CN108229680A (zh) * 2017-12-15 2018-06-29 北京市商汤科技开发有限公司 神经网络***、遥感图像识别方法、装置、设备及介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105512661B (zh) * 2015-11-25 2019-02-26 中国人民解放军信息工程大学 一种基于多模态特征融合的遥感影像分类方法
CN107862376A (zh) * 2017-10-30 2018-03-30 中山大学 一种基于双流神经网络的人体图像动作识别方法
CN108256424A (zh) * 2017-12-11 2018-07-06 中交信息技术国家工程实验室有限公司 一种基于深度学习的高分辨率遥感图像道路提取方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108230421A (zh) * 2017-09-19 2018-06-29 北京市商汤科技开发有限公司 一种道路图生成方法、装置、电子设备和计算机存储介质
CN108229680A (zh) * 2017-12-15 2018-06-29 北京市商汤科技开发有限公司 神经网络***、遥感图像识别方法、装置、设备及介质

Also Published As

Publication number Publication date
CN109359598A (zh) 2019-02-19

Similar Documents

Publication Publication Date Title
CN110414387A (zh) 一种基于道路分割的车道线多任务学习检测方法
CN108846835B (zh) 基于深度可分离卷积网络的图像变化检测方法
CN102507592B (zh) 表面缺陷仿蝇视觉在线检测装置及检测方法
CN106897681B (zh) 一种遥感图像对比分析方法及***
CN109948707B (zh) 模型训练方法、装置、终端及存储介质
CN109086668A (zh) 基于多尺度生成对抗网络的无人机遥感影像道路信息提取方法
CN109359598B (zh) 一种识别光学遥感图像道路的y型神经网络***及方法
CN110232304A (zh) 用于多问题求解的异构卷积神经网络
CN109376753A (zh) 一种稠密连接的三维空谱分离卷积深度网络及构建方法
CN107705254A (zh) 一种基于街景图的城市环境评估方法
CN102749034B (zh) 基于图像处理的铁路道岔缺口偏移量检测方法
CN114120272A (zh) 一种融合边缘检测的多监督智能车道线语义分割方法
CN111209894A (zh) 道路航拍图像的路边违章建筑识别方法
Zhu et al. Towards automatic wild animal detection in low quality camera-trap images using two-channeled perceiving residual pyramid networks
CN114998744A (zh) 基于运动与视觉双特征融合的农机轨迹田路分割方法
CN110211064B (zh) 一种基于边缘引导的混合退化文本图像恢复方法
Qian et al. FAOD‐Net: a fast AOD‐Net for dehazing single image
CN114612741A (zh) 缺陷识别模型的训练方法、装置、电子设备及存储介质
CN113012107B (zh) 电网缺陷检测方法及***
CN112732860B (zh) 道路提取方法、装置、可读存储介质及设备
CN110826564A (zh) 一种复杂场景图像中的小目标语义分割方法及***
CN102682291A (zh) 一种场景人数统计方法、装置和***
Zhang et al. Research on lane identification based on deep learning
CN113920317A (zh) 基于可见光图像和低分辨率深度图像的语义分割方法
Krishnamoorthy et al. Splicing Image Forgery Detection by Deploying Deep Learning Model

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant