CN110807376A - 基于遥感图像的城外道路提取方法及装置 - Google Patents

基于遥感图像的城外道路提取方法及装置 Download PDF

Info

Publication number
CN110807376A
CN110807376A CN201910988983.7A CN201910988983A CN110807376A CN 110807376 A CN110807376 A CN 110807376A CN 201910988983 A CN201910988983 A CN 201910988983A CN 110807376 A CN110807376 A CN 110807376A
Authority
CN
China
Prior art keywords
road
image
remote sensing
road extraction
sensing image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910988983.7A
Other languages
English (en)
Inventor
徐其志
郭梦瑶
张帆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Chemical Technology
Original Assignee
Beijing University of Chemical Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Chemical Technology filed Critical Beijing University of Chemical Technology
Priority to CN201910988983.7A priority Critical patent/CN110807376A/zh
Publication of CN110807376A publication Critical patent/CN110807376A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/182Network patterns, e.g. roads or rivers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)

Abstract

本申请提供一种基于遥感图像的城外道路提取方法及装置,该方法包括利用从数字地图中获取GIS图像信息,并生成标记数据和训练/测试数据;构建基于U‑Net网络的初始道路提取网络模型;使用上述标记数据和训练/测试数据对所述初始网络模型进行训练,得到具有道路识别能力的道路提取模型;以及利用该道路提取模型检测遥感图像,自动提取道路目标。本申请通过构建改进的U‑Net网络,提高利用遥感图像进行城外道路提取的精确度。

Description

基于遥感图像的城外道路提取方法及装置
技术领域
本申请涉及遥感信息处理技术领域,具体涉及遥感图像处理技术,尤其是涉及一种基于遥感图像的城外道路信息提取方法及装置。
背景技术
近些年来我国遥感技术发展迅速,并且在城外和规划、资源开采、军事、水利、污染治理、应急救灾等领域都有很广泛的应用。例如在战时,一些高速公路的路段可作为公路机场使用,掌握公路机场对空军作战具有重要意义。再如,在应急救灾时,尤其是在乡村地区,寻找一条合适的道路能够提高搜救的效率减少资源浪费。
尽管目前我国的导航及数字地图技术已经发展得比较成熟了,但是,由于地图更新的速度往往滞后于城镇和乡村的发展进度,精准地提取道路信息就显得尤为重要。
根据公路的使用任务、功能和流量进行划分,中国大陆将公路划分为五个等级,按照行政级别划分可以分为国道,省道,县道等。此外,除了以上提到的分级道路,还存在很多的乡间小道、林间小道,以及农村自然形成的小路等没有经过严格的国家等级划分的道路,为了区分于城外道路,将这些道路统称为城外道路。
城外道路和城市道路相比,由于道路的等级更多以及尺度的不同,会导致道路提取出现漏检的问题。山区的部分道路由于会穿过隧道会导致提取结果不完整,在林区的道路可能会因为树木或者阴影的遮挡导致检测结果断断续续。乡村地区的部分“土路”由于其形状长而窄,其特征会随着网络深度的逐步加深而受到严重损失;较为偏远的地区由于道路的比例比较小,会导致网络陷入局部最佳而影响检测结果。
迄今为止已经有很多研究者提出了大量的道路提取算法,其中研究较为广泛的是通过提取纹理、边界、像素等信息作为图像分割的依据。但是这些方法会受到图像分辨率以及尺度的影响。随着近些年人工智能的兴起,U-net模型开始被用于图像分割,甚至通过将U-net与Res-net结合加深原有U-net网络的深度,获得了较好的提取效果。然而,总体来说,这些技术针对城外道路进行提取时,还不能达到完全令人满意的效果。
发明内容
有鉴于此,本申请提供一种基于遥感图像的城外道路提取方法及装置,以提高道路提取准确度。
为实现上述的发明目的,本申请采用下述的技术方案:
根据本申请的第一方面,一种道路提取模型构建方法,包括:
从数字地图中获取GIS图像信息,该GIS图像信息包括反映真实地物情况的遥感图像和标注地物信息的道路纯图;
将同一地理位置的遥感图像和道路纯图裁切成正方形的小图,并进行筛选,删除道路纯图与遥感图像对应错误的图片;
基于筛选的道路纯图,获取标注数据;基于筛选的遥感图像,获取道路经验知识,作为训练/测试数据;
构建基于U-Net网络的初始道路提取网络模型;
使用所述标记数据和训练/测试数据对该初始道路提取模型进行训练,保存模型参数,得到具有道路识别能力的道路提取模型。
在另外的实施方式中,所述遥感图像为谷歌影像,所述道路纯图为百度道路纯图。
在另外的实施方式中,基于筛选的遥感图像,获取道路经验知识的方法包括:
提取原图像LBP特征,得到第一特征图;
将原图像通过滤波,再使用sobel算子提取图像特征,然后通过闭运算,得到第二特征图;以及
将所述第一特征图、第二特征图与原图像叠加,得到训练/测试数据。
在另外的实施方式中,所述初始道路提取网络模型包括依次连接的第一卷积模块、编码部分、解码部分以及分类器,其中所述编码部分包括四级残差网络模块,解码部分包括三级卷积模块。
在另外的实施方式中,所述第一卷积模块、编码部分与解码部分之间包括桥接结构、斜向下连接结构以及斜向上连接结构,解码部分的所述三级卷积模块分别通过所述桥接结构、斜向下连接结构以及斜向上连接结构从所述第一卷积模块、编码部分接收不同尺度的图像。
在另外的实施方式中,所述三级卷积模块得到的特征图分别输入到金字塔池化模块中,各金字塔池化模块输出的特征图上采样到原图大小,并与原图叠加后输出到分类器中。
在另外的实施方式中,在进行模型训练时采用Focalloss函数计算loss值。
根据本申请的第二方面,一种基于遥感图像的道路提取方法,包括:
获取待检测遥感图像;
利用根据第一方面任一项所述的道路提取模型构建方法获得的道路提取模型检测遥感图像,自动提取道路目标。
根据本申请的第三方面,一种基于遥感图像的道路提取装置,包括:
图像获取设备,用以采集待检测的遥感图像;
存储器,该存储器中存储有计算机指令;
处理器,该处理器与所述图像获取设备、存储器数据连接,其通过执行所述计算机指令,从而执行如第二方面所述的道路提取方法,自动提取所述遥感图像中的道路目标。
根据本申请的第四方面,一种计算机可读存储介质,所述计算机可读存储介质存储有计算机指令,所述计算机指令在被处理器执行时实现如第一方面所述的道路提取模型构建方法,或者如第二方面所述的道路提取方法。
由于采用上述方案,本申请具有如下技术效果:
(1)本申请采用知识驱动与U-net模型结合进行城外道路提取,融合了U-net和Resnet模型的思想,加深网络深度,提高了城外道路提取精度;
(2)本申请充分利用多尺度的上下文信息,有效的避免了细节信息的损失,可用于提取不同宽度的城外道路;
(3)本申请充分利用纹理、像素值等信息,算法简单,易于工程应用。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本申请的其他特征、目的和优点将会变得更明显:
图1为根据本申请第一实施例的道路提取模型构建方法的示意性流程图;
图2为根据本申请实施例的数据标注和经验知识提取的示意性流程图;
图3为根据本申请实施例的改进的U-Net网络模型结构;
图4为根据本申请实施例的残差模块及卷积模块结构;
图5为根据本申请实施例的池化金字塔池化模块结构;
图6为采用本申请实施例提供的方法进行城外道路提取的一个示例;其中,(a)为遥感图像,(b)为道路纯图,(c)为提取到的道路图像;
图7是根据本申请第二实施例的基于遥感图像的道路提取方法的示意性流程图;
图8是根据本申请第三实施例的基于遥感图像的道路提取装置结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释相关发明,而非对该发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与有关发明相关的部分。
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
参照图1,图1示出了根据本申请第一实施例的道路提取模型构建方法的示意性流程,该道路提取模型尤其是用于城外道路,例如市郊、乡村、山区等区域的道路提取。如图所示,所述道路提取模型构建方法包括以下步骤:
步骤101、从数字地图中获取GIS图像信息。
根据本申请可选的实施方式,例如可以从图新地球(Loca Space Viewer)软件中下载GIS图像信息,该GIS图像信息包括反映真实地物情况的遥感影像,例如谷歌影像,以及标注地物信息的道路纯图,例如百度道路纯图。其中,乡村地区数据分辨率可以选取1.022m/像素。
本申请通过从数字地图获取GIS图像信息作为模型训练数据,能够快速生成大量的高质量标注样本,解决了人工标注费时费力以及高质量标注样本少的问题,为模型训练提供了可靠的样本。
步骤102、将同一地理位置的遥感影像和道路纯图裁切成正方形的小图,并进行筛选。
根据本申请可选的实施方式,例如可以使用Matlab软件将下载好的同一地理位置的谷歌影像(如图6(a)所示)和道路纯图(如图6(b)所示)裁切成n×n的正方形小图。并对上述裁切后的小图进行筛选,删除道路纯图与谷歌影像对应错误的图片,保证样本的准确性。
步骤103、基于筛选的道路纯图,获取标注数据
参照图2,对于道路纯图,根据阈值范围设定合适的阈值,将满足阈值条件的像素以及其周边四邻域像素标记为道路,提取出条带状的特征,制成二值化的道路标注图(其样式如图6(c)所示),快速生成高质量的标注样本。
步骤104、基于筛选的遥感影像,获取道路经验知识,作为训练/测试数据所述道路经验知识包括图像的纹理信息、像素值信息、拓扑信息等。
继续参照图2,基于筛选的谷歌影像,执行以下步骤,获取所述道路经验知识:
步骤1041、提取原图像LBP特征,得到第一特征图;
所述LBP算子是一种局部纹理提取方法,以窗口中心像素为阈值,若周围像素大于中心像素被标记为1,否则为0。将相邻的8个像素经比较,按照顺时针方向的顺序,产生8位二进制码,将二进制码转换成十进制码即得到了中心像素点的LBP值,来反映纹理信息。
通过LBP变换产生的第一特征图能够很好的反映提取出道路这一条带状的目标的纹理信息,对于网络中进一步挖掘道路特征提供保障。
步骤1042、将原图像通过滤波,再使用sobel算子提取图像特征,然后通过闭运算,得到第二特征图;
根据本申请可选的实施方式,所述滤波算法为meanshift均值漂移滤波,该方法在色彩层面上对图像做了平滑滤波,但是保留了突出的纹理信息。
所述sobel算子是图像边缘检测算子。该算子包含两组3×3的矩阵,分别为横向和纵向,将这两个矩阵分别与图像卷积,可以分别得到横向和纵向的亮度差分近似值。卷积公式为:
Figure BDA0002237622830000071
Figure BDA0002237622830000072
其中,Gx和Gy分别代表横向和纵向边缘检测的图片。
图像的每一个像素的梯度值可以用以下公式计算:
上式也可以简化为:
|G|=|Gx|+|Gy|
所述闭运算是一种形态学运算,包括两个步骤,即先做膨胀运算再做腐蚀运算。和它相对的还有开运算,其步骤为先做腐蚀运算再做膨胀运算。
膨胀运算将目标区域接触的背景点合并到该目标当中,将该目标向外部扩张,其计算公式为:
Figure BDA0002237622830000081
该式表示用结构B膨胀A,将结构元素B的原点平移到图像像元(x,y)位置。如果B在图像像元(x,y)处与A的交集不为空(也就是B中为1的元素位置上对应A的图像值至少有一个为1),则输出图像对应的像元(x,y)赋值为1,否则赋值为0。
腐蚀运算造成目标边界的收缩,可以消除无意义的目标物。该算法的式子表达为:
Figure BDA0002237622830000082
该式表示用结构B腐蚀A。如果B在(x,y)处,完全被包含在图像A重叠的区域,(也就是B中为1的元素位置上对应的A图像值全部也为1)则将输出图像对应的像元(x,y)赋值为1,否则赋值为0。
经过滤波和sobel算子运算得到的第二特征图在弱化了树木纹理等不明显的纹理,突出反映出道路的边缘信息,作为辅助信息,有助于降低一些次要的纹理信息被误认为是道路的概率,提高分割精度。
步骤1043、将所述第一特征图、第二特征图与原图像叠加,得到训练/测试数据。
本申请将所述第一特征图、第二特征图与原图像的RGB三个通道进行叠加,得到道路经验知识,作为训练/测试数据。
通过叠加原图与第一、二特征图能够融合原始图像和纹理、边缘等信息,可以进一步提升模型的性能。
根据本申请可选的实施方式,还对上述标注数据、训练/测试数据进行数据扩充,例如对图像以及其标注图依次做顺时针90°、180°、270°旋转,一次水平和垂直方向旋转。通过数据扩充能够进一步扩大数据量,同时还能有效防止训练过拟合的问题。
本领域技术可以理解,上述步骤103和步骤104不限定执行的先后顺序,步骤103和步骤可以先后执行,例如先执行步骤103,在执行步骤104,也可以变换上述顺序,或者也可以步骤103与步骤104同步执行。
步骤105、构建基于U-net网络的道路提取模型
传统的U-net网络包括两部分,即特征提取部分和上采样部分。其中,特征提取部分中每经过一个池化层就一个尺度,包括原图尺度共有5个尺度。上采样部分中,每上采样一次,就与特征提取部分对应通道的相同尺度拼接。
如图3所示,本申请中的道路提取模型采用改进的U-net网络,该网络保留了传统U-net模型的编码部分C、解码部分D、编码部分与解码部分之间的中间桥接结构L0以及分类器。输入到网络的图像首先经过一个卷积模块X1,然后输入到编码部分C进行图像特征提取,再经过解码部分D逐步恢复图像尺寸。桥接结构L0将同一尺度的编码部分和解码部分信息进行融合,以减少信息损失。
如图4所示,本申请的编码和解码部分都是由BN(批量归一化)、ReLU(激活函数)、Conv(卷积操作)组成的。
在改进的U-Net网络中,编码部分C采用残差网络替代了传统U-net网络中的特征提取部分,每一个残差网络模块构成了改进的U-net下采样的主要部分。根据在本申请的实施例,编码部分C包括四级残差网络X2-X5,所述残差网络例如可以是Resnet残差网络。通过采用残差网络可以减少编码过程中信息的损耗,增加网络深度。
如图4(a)所示,本申请使用的各残差网络模块由两条支路构成,第一条支路为主支路,由BN、ReLU、Conv组成,执行两次卷积;第二条支路是残差支路,两条支路在输出端叠加。假设输出为xl+1,输入为xl,F是第一条支路的函数,则其表达式为Xl+1=F(xl)+xl。这种起源于Resnet的跳接的模式能够减缓衰减速度,提高学习率。
解码部分D包括三级卷积模块Y1-Y3。图4(b)为本申请的各上采样卷积模块结构。
进一步地,该改进的U-net网络在传统的U-net网络基础上增加斜连接结构,包括斜向下连接结构L1和斜向上连接结构L2,使得该网络能够充分利用不同尺度图像的上下文信息。
参照图3,卷积模块Y3除与残差网络X2通过桥接结构L0连接外,还通过下连接结构L1与卷积模块X1连接,以及通过上连接结构L2与残差网络X3连接。同样的,卷积模块Y2除与残差网络X3通过桥接结构L0连接外,还通过下连接结构L1与卷积模块X2连接,以及通过上连接结构L2与残差网络X4连接,卷积模块Y1除与残差网络X4通过桥接结构L0连接外,还通过下连接结构L1与卷积模块X3连接,以及通过上连接结构L2与残差网络X5连接。
斜向上连接结构包括图像上采样和图像融合,其目的是将尺寸小于对应尺度图片尺寸大小的图片采样到同样的尺寸,再进行图像融合。
上采样例如可以通过以下方法实现:
Ik(x+u,y+v)=(1-u)(1-v)Ik(x,y)+uvIk(x+1,y+1)+v(1-u)Ik(x,y+1)+u(1-v)Ik(x+1,y)
其中,像素点Ik(x+u,y+v)是图片第k个通道像素点Ik(x,y)、Ik(x+1,y)、Ik(x,y+1)和Ik(x+1,y+1)之间的一个插值点,0<u<1,0<v<1,x为图像的行号,y为图像的列号。
斜向下连接结构包括图像下采样和图像融合,其目的是将尺寸大于对应尺度图片尺寸大小的图片采样到同样的尺寸,再进行图像融合。例如,对于尺寸为
进一步地,该改进的U-net网络在传统的U-net网络基础上增加金字塔池化部分P。根据本申请的实施例,该金字塔M*N的图像,对其做s倍下采样,即得到大小为(M/s)*(N/s)的图像。
本申请通过在模型中增加所述上连接结构和下连接结构,可以实现特征重用,加强了不同层之间特征的传播,避免一些细小乡村道路的信息随着网络的加深而消失,并缓解梯度消失问题。
池化部分P包括分别与构成解码部分D的各级卷积模块Y1-Y3对应的金字塔池化模块Z1-Z3,各级卷积模块Y1-Y3得到的特征图分别输入到各金字塔池化模块Z1-Z3中。并且,各池化金字塔模块输出的特征图上采样到原图大小,并与输入原图叠加后输出到分类器中,进而通过分类器得到每个像素的预测结果。
如图5所示,金字塔池化模块首先将图像平均池化操作缩小到5个不同的尺度(包含1*1,2*2,3*3,5*5,7*7),然后对得到的多个尺度特征图做卷积操作,将他们压缩为单通道特征图,最后将这些特征图上采样到和输入原图同样的尺寸,并和原图叠加。
由于多种不同尺度的特征图包含了不同感受野(特征图中的一个像素在输入图像上映射的区域大小)的信息,通过增加金字塔池化部分,能够充分获取丰富的上下文信息,去除固定大小的图像分类约束。与城市道路不同,城外道路的特点是分布稀疏,并且同一片区域可能包含不同级别的道路。所述金字塔池化模块使用不同大小的池化窗口将特征图划分为不同大小的子区域,从不同大小的子区域可以提取到不同感受野下面的信息,再通过上采样到统一尺寸对信息进行叠加融合,从而可以有效的避免道路提取结果出现碎片化,以及解决稀疏细小的道路无法准确提取的问题。
步骤106、使用所述标记数据和训练/测试数据对该道路提取模型进行训练,得到具有道路识别能力的模型。
从上述步骤获得的标记数据和训练/测试数据(如图6(a)、(b))中选择样本作为训练集输入到图3所示的网络模型中,供该网络模型进行学习,得到初始化参数的网络模型。使用该网络模型对验证集图像进行道路提取预测,得到道路提取预测图像。通过对比预测结果(如图6(c))与道路真值图像(如图6(b))之间的区别,通过损失函数计算loss值,并将预测误差loss值回传到网络中,进行梯度反馈,修正网络中各个模块单元参数。通过预定次数的循环计算,使得最终预测误差在设定阈值范围内,预测结果准确度在期望范围内,得到具有准确提取道路能力的网络模型。
经过训练后,计算机将模型参数保存起来,之后可以下载模型做进一步训练,也可以下载模型参数来预测图像中的道路信息。
由先验知识可知,道路目标是一种稀疏目标,尤其是对于乡村,道路目标更加的稀少。道路目标作为一种正样本,面积远远小于背景目标,也就是负样本。数量多的样本的损失值对最终函数的影响会淹没数量少的样本产生的影响,此时的损失函数在大量简单样本的迭代过程中比较缓慢且可能无法优化至最优。为此,本申请引入Focalloss函数来计算loss值。Focalloss的计算公式如下:
Figure BDA0002237622830000122
其中,L为loss函数值,y表示类别标签,y’是经过激活函数的输出。调制因子γ是一个大于0的数,能够降低易分类样本对计算loss值的影响,当γ为0时即为交叉熵损失函数,当γ增加时,调整因子的影响也在增加;平衡变量α是一个0-1之间的数,平衡正负样本比例不均。
所述Focalloss函数在交叉熵的基础上通过添加参数的方法,采用该函数计算loss值能够降低易分类样本(即背景目标)的损失,帮助模型集中于训练更加困难的样本,即稀疏的城外道路目标。
尽管上述实施例以步骤先后顺序描述了道路提取模型构建方法,然而本领域技术人员可以理解,上述步骤并非严格按照上述先后顺序执行。例如构建基于U-Net网络的城外道路提取初始网络模型的步骤可以在该方法中最先执行,或者在步骤101-104中、前、后的任何时刻进行。
根据本申请的第二实施例,本发明还提供了一种基于遥感图像的道路提取方法,尤其是基于城外遥感图像,例如例如市郊、乡村、山区等区域的遥感图像,采用知识驱动与U-net模型结合的构思实现对城外道路信息进行自动提取。如图所示,该道路提取方法包括如下步骤:
步骤201、获取待检测遥感图像。所述遥感图像例如可以卫星遥感图像、航拍图像等。
步骤202、利用训练好的道路提取模型检测遥感图像,自动提取城外道路目标。
将待预测的遥感图像输入到网络中;
正式预测遥感图像之前需要重新搭建网络并加载之前经过训练保存的最佳网络模型参数,将训练好的参数迁移到正式的道路提取网络中。
将待预测的遥感图像输入到网络中,待预测遥感图像经过网络运算,输出是二值化的预测图像,从预测图像中可以很直观的看到经过网络划分的道路区域。每张尺寸为512*512的遥感影像的预测时间在1秒之内。
生成的模型参数文件可以作为下一次训练的初始参数,这样也很好的避免了从头开始训练参数造成时间的浪费。通过海量的数据最终可以训练出具有高性能的道路提取模型。
根据本申请的第三实施例,本发明还提供了一种基于遥感图像的道路提取装置,尤其是基于城外遥感图像,实现对城外道路信息进行自动提取。该道路提取装置可以由软件和/或硬件实现,并一般集成在能够进行即时定位与地图构建的计算机设备中。如图所示,该装置300包括图像获取设备301、存储器302以及处理器303。其中,图像获取设备301、存储器302以及处理器303可以通过总线或者其他方式连接。
其中,图像获取设备301用以采集待检测的遥感图像,并将该待检测的遥感图像发送至处理器303。
处理器303可以为中央处理器(Central Processing Unit,CPU),或者其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(ApplicationSpecific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable GateArray,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片,或者上述各类芯片的组合。
存储器302作为一种非暂态计算机可读存储介质,可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块,如本申请第一实施例中的道路提取模型构建方法或本申请第二实施例中的道路提取方法对应的程序或指令。处理器303通过运行存储在存储器302中的非暂态软件程序或指令,从而执行处理器的各种功能应用以及数据处理,即实现上述方法实施例中的道路模型构建方法或基于遥感图像的道路提取方法。
存储器302可以包括程序存储区和数据存储区,其中,程序存储区可存储操作***、至少一个功能所需要的应用程序;数据存储区可存储处理器302所创建的数据等。此外,存储器302可以包括高速随机存取存储器,还可以包括非暂态存储器,例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些方面中,存储器302可选地包括相对于处理器303远程设置的存储器,这些远程存储器可以通过网络连接至处理器303。可选地,上述网络包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
虽然通过以上实施例对本申请进行了较为详细的说明,但是本申请不仅仅限于以上实施例,在不脱离本申请发明构思的情况下,可以对本本申请实施例的技术方案进行修改或等同替换都不应脱离本申请实施例的技术方案的精神和范围。

Claims (10)

1.一种道路提取模型构建方法,其特征在于,包括:
从数字地图中获取GIS图像信息,该GIS图像信息包括反映真实地物情况的遥感图像和标注地物信息的道路纯图;
将同一地理位置的遥感图像和道路纯图裁切成正方形的小图,并进行筛选,删除道路纯图与遥感图像对应错误的图片;
基于筛选的道路纯图,获取标注数据;基于筛选的遥感图像,获取道路经验知识,作为训练/测试数据;
构建基于U-Net网络的初始道路提取网络模型;
使用所述标记数据和训练/测试数据对该初始道路提取模型进行训练,保存模型参数,得到具有道路识别能力的道路提取模型。
2.根据权利要求1所述的道路提取模型构建方法,其特征在于,所述遥感图像为谷歌影像,所述道路纯图为百度道路纯图。
3.根据权利要求1所述的道路提取模型构建方法,其特征在于,基于筛选的遥感图像,获取道路经验知识的方法包括:
提取原图像LBP特征,得到第一特征图;
将原图像通过滤波,再使用sobel算子提取图像特征,然后通过闭运算,得到第二特征图;以及
将所述第一特征图、第二特征图与原图像叠加,得到训练/测试数据。
4.根据权利要求1所述的道路提取模型构建方法,其特征在于,所述初始道路提取网络模型包括依次连接的第一卷积模块、编码部分、解码部分以及分类器,其中所述编码部分包括四级残差网络模块,解码部分包括三级卷积模块。
5.根据权利要求5所述的道路提取模型构建方法,其特征在于,所述第一卷积模块、编码部分与解码部分之间包括桥接结构、斜向下连接结构以及斜向上连接结构,解码部分的所述三级卷积模块分别通过所述桥接结构、斜向下连接结构以及斜向上连接结构从所述第一卷积模块、编码部分接收不同尺度的图像。
6.根据权利要求4或5所述的道路提取模型构建方法,其特征在于,所述三级卷积模块得到的特征图分别输入到金字塔池化模块中,各金字塔池化模块输出的特征图上采样到原图大小,并与原图叠加后输出到分类器中。
7.根据权利要求1-6任一项所述的道路提取模型构建方法,其特征在于,在进行模型训练时采用Focalloss函数计算loss值。
8.一种基于遥感图像的道路提取方法,其特征在于,包括:
获取待检测遥感图像;
利用根据权利要求1-7任一项所述的道路提取模型构建方法获得的道路提取模型检测遥感图像,自动提取道路目标。
9.一种基于遥感图像的道路提取装置,其特征在于,包括:
图像获取设备,用以采集待检测的遥感图像;
存储器,该存储器中存储有计算机指令;
处理器,该处理器与所述图像获取设备、存储器数据连接,其通过执行所述计算机指令,从而执行如权利要求8所述的道路提取方法,自动提取所述遥感图像中的道路目标。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机指令,所述计算机指令在被处理器执行时实现如权利要求1-7任一项所述的道路提取模型构建方法,或者如权利要求8所述的道路提取方法。
CN201910988983.7A 2019-10-17 2019-10-17 基于遥感图像的城外道路提取方法及装置 Pending CN110807376A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910988983.7A CN110807376A (zh) 2019-10-17 2019-10-17 基于遥感图像的城外道路提取方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910988983.7A CN110807376A (zh) 2019-10-17 2019-10-17 基于遥感图像的城外道路提取方法及装置

Publications (1)

Publication Number Publication Date
CN110807376A true CN110807376A (zh) 2020-02-18

Family

ID=69488571

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910988983.7A Pending CN110807376A (zh) 2019-10-17 2019-10-17 基于遥感图像的城外道路提取方法及装置

Country Status (1)

Country Link
CN (1) CN110807376A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112184554A (zh) * 2020-10-13 2021-01-05 重庆邮电大学 一种基于残差混合膨胀卷积的遥感图像融合方法
CN112733702A (zh) * 2021-01-07 2021-04-30 华侨大学 基于遥感图像的人行道检测方法、装置、设备及存储介质
CN113516069A (zh) * 2021-07-08 2021-10-19 北京华创智芯科技有限公司 基于尺寸鲁棒的道路标识实时检测方法及装置
CN113569596A (zh) * 2020-04-28 2021-10-29 千寻位置网络有限公司 卫星图像道路印刷物识别方法及其装置
CN113610061A (zh) * 2021-09-30 2021-11-05 国网浙江省电力有限公司电力科学研究院 基于目标检测和残差网络的导电线不受力识别方法及***
CN113724172A (zh) * 2021-08-04 2021-11-30 北京大学 基于景观功能数据的城镇边界提取方法及***
CN113837193A (zh) * 2021-09-23 2021-12-24 中南大学 一种基于改进U-Net网络的锌浮选泡沫图像分割算法
CN114694031A (zh) * 2022-04-24 2022-07-01 电子科技大学 一种基于多任务注意力机制的遥感图像典型地物提取方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150347867A1 (en) * 2014-06-03 2015-12-03 Digitalglobe, Inc. Some automated and semi-automated tools for linear feature extraction in two and three dimensions
CN109118491A (zh) * 2018-07-30 2019-01-01 深圳先进技术研究院 一种基于深度学习的图像分割方法、***及电子设备
CN109190481A (zh) * 2018-08-06 2019-01-11 中国交通通信信息中心 一种遥感影像道路材质提取方法和***
CN109344778A (zh) * 2018-10-10 2019-02-15 成都信息工程大学 基于生成对抗网络的无人机影像道路信息提取方法
CN109447994A (zh) * 2018-11-05 2019-03-08 陕西师范大学 结合完全残差与特征融合的遥感图像分割方法
CN109785344A (zh) * 2019-01-22 2019-05-21 成都大学 基于特征重标定的双通路残差网络的遥感图像分割方法
CN109800736A (zh) * 2019-02-01 2019-05-24 东北大学 一种基于遥感影像和深度学习的道路提取方法
EP3534295A1 (en) * 2018-03-02 2019-09-04 Parkbob GmbH System and method for identifying parking spaces and parking occupancy based on satellite and/or aerial images

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150347867A1 (en) * 2014-06-03 2015-12-03 Digitalglobe, Inc. Some automated and semi-automated tools for linear feature extraction in two and three dimensions
EP3534295A1 (en) * 2018-03-02 2019-09-04 Parkbob GmbH System and method for identifying parking spaces and parking occupancy based on satellite and/or aerial images
CN109118491A (zh) * 2018-07-30 2019-01-01 深圳先进技术研究院 一种基于深度学习的图像分割方法、***及电子设备
CN109190481A (zh) * 2018-08-06 2019-01-11 中国交通通信信息中心 一种遥感影像道路材质提取方法和***
CN109344778A (zh) * 2018-10-10 2019-02-15 成都信息工程大学 基于生成对抗网络的无人机影像道路信息提取方法
CN109447994A (zh) * 2018-11-05 2019-03-08 陕西师范大学 结合完全残差与特征融合的遥感图像分割方法
CN109785344A (zh) * 2019-01-22 2019-05-21 成都大学 基于特征重标定的双通路残差网络的遥感图像分割方法
CN109800736A (zh) * 2019-02-01 2019-05-24 东北大学 一种基于遥感影像和深度学习的道路提取方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
马玥: "基于多源遥感信息综合的湿地土地覆被分类研究", 《中国优秀博硕士学位论文全文数据库(博士)基础科学辑》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113569596A (zh) * 2020-04-28 2021-10-29 千寻位置网络有限公司 卫星图像道路印刷物识别方法及其装置
CN112184554A (zh) * 2020-10-13 2021-01-05 重庆邮电大学 一种基于残差混合膨胀卷积的遥感图像融合方法
CN112733702A (zh) * 2021-01-07 2021-04-30 华侨大学 基于遥感图像的人行道检测方法、装置、设备及存储介质
CN113516069A (zh) * 2021-07-08 2021-10-19 北京华创智芯科技有限公司 基于尺寸鲁棒的道路标识实时检测方法及装置
CN113724172A (zh) * 2021-08-04 2021-11-30 北京大学 基于景观功能数据的城镇边界提取方法及***
CN113724172B (zh) * 2021-08-04 2023-09-26 北京大学 基于景观功能数据的城镇边界提取方法及***
CN113837193A (zh) * 2021-09-23 2021-12-24 中南大学 一种基于改进U-Net网络的锌浮选泡沫图像分割算法
CN113837193B (zh) * 2021-09-23 2023-09-01 中南大学 一种基于改进U-Net网络的锌浮选泡沫图像分割方法
CN113610061A (zh) * 2021-09-30 2021-11-05 国网浙江省电力有限公司电力科学研究院 基于目标检测和残差网络的导电线不受力识别方法及***
CN114694031A (zh) * 2022-04-24 2022-07-01 电子科技大学 一种基于多任务注意力机制的遥感图像典型地物提取方法
CN114694031B (zh) * 2022-04-24 2023-05-02 电子科技大学 一种基于多任务注意力机制的遥感图像典型地物提取方法

Similar Documents

Publication Publication Date Title
CN110807376A (zh) 基于遥感图像的城外道路提取方法及装置
CN111598174B (zh) 基于半监督对抗学习的模型训练方法及图像变化分析方法
CN111640159B (zh) 一种基于孪生卷积神经网络的遥感影像变化检测方法
CN111582175B (zh) 一种共享多尺度对抗特征的高分遥感影像语义分割方法
CN111046768B (zh) 一种同时提取遥感影像道路路面和中心线的深度学习方法
CN113343789A (zh) 一种基于局部细节增强与边缘约束的高分辨率遥感影像土地覆盖分类方法
CN110781756A (zh) 基于遥感图像的城市道路提取方法及装置
CN114494821B (zh) 基于特征多尺度感知与自适应聚合的遥感影像云检测方法
CN113591617B (zh) 基于深度学习的水面小目标检测与分类方法
Dang et al. Application of deep learning models to detect coastlines and shorelines
CN113052106A (zh) 一种基于PSPNet网络的飞机起降跑道识别方法
Yang et al. Towards better classification of land cover and land use based on convolutional neural networks
CN113313094A (zh) 一种基于卷积神经网络的车载图像目标检测方法和***
Thati et al. A systematic extraction of glacial lakes for satellite imagery using deep learning based technique
CN115115915A (zh) 基于智能路口的斑马线检测方法以及***
CN117726954A (zh) 一种遥感图像海陆分割方法及***
CN117788811A (zh) 矿山地表损伤裂缝的提取方法、装置、电子设备及介质
Ruiz-Lendínez et al. Deep learning methods applied to digital elevation models: state of the art
Mangala et al. A new automatic road extraction technique using gradient operation and skeletal ray formation
CN116503755A (zh) 一种基于云平台和深度学习的岸线遥感自动识别分析方法
CN115546629A (zh) 基于深度学习的遥感影像厂房识别方法和***
CN115512325A (zh) 一种端到端的基于实例分割的车道检测方法
Schuegraf et al. Deep learning for the automatic division of building constructions into sections on remote sensing images
CN111353441B (zh) 基于位置数据融合的道路提取方法和***
CN115187775A (zh) 一种遥感图像语义分割方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
AD01 Patent right deemed abandoned

Effective date of abandoning: 20230228

AD01 Patent right deemed abandoned