CN110619283B - 一种无人机正射影像道路自动提取方法 - Google Patents

一种无人机正射影像道路自动提取方法 Download PDF

Info

Publication number
CN110619283B
CN110619283B CN201910790257.4A CN201910790257A CN110619283B CN 110619283 B CN110619283 B CN 110619283B CN 201910790257 A CN201910790257 A CN 201910790257A CN 110619283 B CN110619283 B CN 110619283B
Authority
CN
China
Prior art keywords
model
aerial vehicle
unmanned aerial
data
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910790257.4A
Other languages
English (en)
Other versions
CN110619283A (zh
Inventor
林勇
刘持越
吴崧源
李剑霖
王启生
符金弼
苏世萍
苏城云
蔡小霞
陈有博
吴钟明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hainan Zhuangyun Space Information Technology Co ltd
Original Assignee
Hainan Zhuangyun Space Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hainan Zhuangyun Space Information Technology Co ltd filed Critical Hainan Zhuangyun Space Information Technology Co ltd
Priority to CN201910790257.4A priority Critical patent/CN110619283B/zh
Publication of CN110619283A publication Critical patent/CN110619283A/zh
Application granted granted Critical
Publication of CN110619283B publication Critical patent/CN110619283B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/182—Network patterns, e.g. roads or rivers

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种无人机正射影像道路自动提取方法，其具体步骤如下步骤S1：对原始的高分辨率卫星影像训练数据进行数据增强得到数量扩大后的高分辨率卫星影像训练数据；步骤S2：在keras中搭建deeplab模型；步骤S3：对原始的无人机正射影像数据进行数据增强得到数量扩大后的影像数据；步骤S4：利用步骤S2中建立的deeplab模型，得到最终的深度学习模型；步骤S5：对测试图片做测试增强，得到最终的预测结果。本发明能够用于从大量的无人机正射影像中自动分割出属于道路目标的像素点，大大提升测绘领域提取道路这类地图要素的速度。

Description

一种无人机正射影像道路自动提取方法
技术领域
本发明属于航空图像处理技术领域，具体是指一种无人机正射影像道路自动提取方法。
背景技术
随着测绘技术发展，从二维到三维，从慢速到快速。传统技术利用全站仪进行全野外数据采集测绘，越来越不能满足现实需求。利用无人机倾斜摄影及三维激光扫描技术已成为大比例尺地形图测绘的发展方向。它大大压缩野外工作时间，降低劳动强度。但是，并没有实现快速测绘，生产周期依然较长，缺乏时效性，综合效率没有几何级的提高。快速测绘的瓶颈在于人工数据处理的低效率。
倾斜摄影三维实景数据有着非常丰富的信息，包含几何形状、几何关系、纹理、色彩等，如房屋、桥梁、道路、沟渠等有非常明确的几何特征，植被、土地等有丰富的纹理及色彩信息。随着人工智能，计算机技术的发展，利用人工智能实现对这些关键要素的自动提取是可行的，也是意义巨大的。
发明内容
本发明所要解决的技术问题是提供一种利用训练好的深度学习模型，对无人机正射影像测试图进行道路自动提取方法。
为解决上述技术问题，本发明为一种无人机正射影像道路自动提取方法，包括无人机正射影像数据、高分辨率卫星影像、模型预训练、模型迁移学习、数据增强、测试时增强方法(TTA)，其具体步骤如下：
步骤S1：对原始的高分辨率卫星影像训练数据进行数据增强得到数量扩大后的高分辨率卫星影像训练数据，将分辨率高的影像数据及其二值标注影像切割成512*512像素的图片，得到训练集与验证集，包括遥感影像及其对应的二值标注；
步骤S2：在keras中搭建deeplab模型，利用空洞卷积的概念扩大网络的感受野，不降低特征图的尺度，减小目标提取的位置误差，设计新的损失函数为bce_loss与dice_loss的加权和，Loss＝a1lossbce+a2lossdice，其中a1、a2为两项误差的权重，利用keras中的fit_generator函数批量获取训练数据输入模型进行训练；
步骤S3：对原始的无人机正射影像数据进行数据增强得到数量扩大后的影像数据，将分辨率高的影像数据及其二值标注影像切割成512*512像素的图片，得到训练集与验证集，包括无人机正射影像及其对应的二值标注；
步骤S4：利用步骤S2中建立的deeplab模型，加载步骤S2中训练得到的模型权重，加载利用步骤S3 得到的无人机影像训练数据进行迁移学习，当验证集上的损失函数连续5个回合不再下降后，认为模型收敛，得到最终的深度学习模型；
步骤S5：对测试图片做测试增强，其包括对测试图片I1水平翻转、垂直翻转、对角线翻转得到水平翻转增强图片I2，垂直翻转增强图片I3，对角线翻转增强图片I4，用训练好的模型测试图片I1、水平翻转增强图片I2，垂直翻转增强图片I3，对角线翻转增强图片I4，分别进行预测得到各预测结果P1，P2，P3，P4转换到原图位置后求平均值得到最终的预测结果。
优选的，所述无人机正射影像是深度学习模型迁移学习的原始数据以及标注数据，用于进一步训练深度模型的权重；
优选的，所述高分辨率卫星影像是预训练深度学习模型的原始数据以及标注数据，用于预训练深度模型的权重；
优选的，所述模型预训练指的是采用经典的语义分割模型deeplab作为道路提取的基础模型，对该模型，采用高分辨率卫星影像作为输入，训练得到一个初步的权重；
优选的，所述模型迁移学习指的是利用无人机正射影像对预训练得到的模型进一步训练，用于得到一个对无人机正射影像泛化能力好的模型；
优选的，所述数据增强，其包括旋转、添加噪声、尺度变换、亮度变换和随机模糊处理方法，用于提升数据的数量以提升所训练的模型的泛化能力；
优选的，所述测试时增强方法(TTA)是在对图片进行预测时，对图片进行水平、垂直、对角线翻折得到四张图片，分别进行预测后，再变换回去，求均值后得到最终的测试结果，用于去除预测时的随机误差。
本发明的有益效果：本发明在无人机正射影像的后处理过程中能够大大提高处理的效率，缩短测绘制图周期；本发明无需手动设计特征，特征提取由神经网络自学习得到，不存在人工设计特征的适应性差的问题；本发明采用迁移学习，可以解决无人机正射影像训练样本偏少的问题。
附图说明
图1一种无人机正射影像道路自动提取方法的模型预训练示意图；
图2一种无人机正射影像道路自动提取方法的模型迁移学习示意图；
图3一种无人机正射影像道路自动提取方法的测试流程图。
具体实施方式
结合附图，一种无人机正射影像道路自动提取方法，包括无人机正射影像数据、高分辨率卫星影像、模型预训练、模型迁移学习、数据增强、测试时增强方法(TTA)，其具体步骤如下：
步骤S1：对原始的高分辨率卫星影像训练数据进行数据增强得到数量扩大后的高分辨率卫星影像训练数据，将分辨率高的影像数据及其二值标注影像切割成512*512像素的图片，得到训练集与验证集，包括遥感影像及其对应的二值标注；
步骤S2：在keras中搭建deeplab模型，利用空洞卷积的概念扩大网络的感受野，不降低特征图的尺度，减小目标提取的位置误差，设计新的损失函数为bce_loss与dice_loss的加权和，Loss＝a1lossbce+a2lossdice，其中a1、a2为两项误差的权重，利用keras中的fit_generator函数批量获取训练数据输入模型进行训练；
步骤S3：对原始的无人机正射影像数据进行数据增强得到数量扩大后的影像数据，将分辨率高的影像数据及其二值标注影像切割成512*512像素的图片，得到训练集与验证集，包括无人机正射影像及其对应的二值标注；
步骤S4：利用步骤S2中建立的deeplab模型，加载步骤S2中训练得到的模型权重，加载利用步骤S3 得到的无人机影像训练数据进行迁移学习，当验证集上的损失函数连续5个回合不再下降后，认为模型收敛，得到最终的深度学习模型；
步骤S5：对测试图片做测试增强，其包括对测试图片I1水平翻转、垂直翻转、对角线翻转得到水平翻转增强图片I2，垂直翻转增强图片I3，对角线翻转增强图片I4，用训练好的模型测试图片I1、水平翻转增强图片I2，垂直翻转增强图片I3，对角线翻转增强图片I4，分别进行预测得到各预测结果P1，P2，P3，P4转换到原图位置后求平均值得到最终的预测结果。
优选的，所述无人机正射影像是深度学习模型迁移学习的原始数据以及标注数据，用于进一步训练深度模型的权重；
优选的，所述高分辨率卫星影像是预训练深度学习模型的原始数据以及标注数据，用于预训练深度模型的权重；
优选的，所述模型预训练指的是采用经典的语义分割模型deeplab作为道路提取的基础模型，对该模型，采用高分辨率卫星影像作为输入，训练得到一个初步的权重；
优选的，所述模型迁移学习指的是利用无人机正射影像对预训练得到的模型进一步训练，用于得到一个对无人机正射影像泛化能力好的模型；
优选的，所述数据增强，其包括旋转、添加噪声、尺度变换、亮度变换和随机模糊处理方法，用于提升数据的数量以提升所训练的模型的泛化能力；
优选的，所述测试时增强方法(TTA)是在对图片进行预测时，对图片进行水平、垂直、对角线翻折得到四张图片，分别进行预测后，再变换回去，求均值后得到最终的测试结果，用于去除预测时的随机误差。
如图1所示：载有预训练深度学习模型的原始数据以及标注数据的高分辨率卫星影像通过两种路径进入数据切割模块即语义分割：一路直接进入数据切割模块，另一路是通过数据增强后在进入切割模块，最后经过切割处理的数据进入Deeplab模型预训练。
如图2所示：载有深度学习模型迁移学习的原始数据以及标注数据无人机正射影像，同样通过两种路径进入数据切割模块即语义分割：一路直接进入数据切割模块，另一路是通过数据增强后在进入切割模块，最后经过切割处理的数据进入Deeplab模型迁移学习。
如图3所示：一种无人机正射影像道路自动提取方法的测试流程包括5个模块：无人机正射影像、测试时增强方法(TTA)、数据切割、Deeplab模型预测、最后是输出数据，无人机正射影像载有所述测试图片经过使用TTA使得测试增强，再依次经过数据切割和Deeplab模型预测的处理，获得最终的预测结果。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均包含在本发明的保护范围之内。

Claims (7)

1.一种无人机正射影像道路自动提取方法，其特征在于，包括无人机正射影像数据、高分辨率卫星影像、模型预训练、模型迁移学习、数据增强、测试时增强方法(TTA)，其具体步骤如下：
步骤S1：对原始的高分辨率卫星影像训练数据进行数据增强得到数量扩大后的高分辨率卫星影像训练数据，将分辨率高的影像数据及其二值标注影像切割成512*512像素的图片，得到训练集与验证集，包括遥感影像及其对应的二值标注；
步骤S2：在keras中搭建deeplab模型，利用空洞卷积的概念扩大网络的感受野，不降低特征图的尺度，减小目标提取的位置误差，设计新的损失函数为bce_loss与dice_loss的加权和，Loss＝a1lossbce+a2lossdice，其中a1、a2为两项误差的权重，利用keras中的fit_generator函数批量获取训练数据输入模型进行训练；
步骤S3：对原始的无人机正射影像数据进行数据增强得到数量扩大后的影像数据，将分辨率高的影像数据及其二值标注影像切割成512*512像素的图片，得到训练集与验证集，包括无人机正射影像及其对应的二值标注；
步骤S4：利用步骤S2中建立的deeplab模型，加载步骤S2中训练得到的模型权重，加载利用步骤S3得到的无人机影像训练数据进行迁移学习，当验证集上的损失函数连续5个回合不再下降后，认为模型收敛，得到最终的深度学习模型；
步骤S5：对测试图片做测试增强，其包括对测试图片I1水平翻转、垂直翻转、对角线翻转得到水平翻转增强图片I2，垂直翻转增强图片I3，对角线翻转增强图片I4，用训练好的模型测试图片I1、水平翻转增强图片I2，垂直翻转增强图片I3，对角线翻转增强图片I4，分别进行预测得到各预测结果P1，P2，P3，P4转换到原图位置后求平均值得到最终的预测结果。
2.根据权利要求1所述的一种无人机正射影像道路自动提取方法，其特征在于：所述无人机正射影像是深度学习模型迁移学习的原始数据以及标注数据，用于进一步训练深度模型的权重。
3.根据权利要求1所述的一种无人机正射影像道路自动提取方法，其特征在于：所述高分辨率卫星影像是预训练深度学习模型的原始数据以及标注数据，用于预训练深度模型的权重。
4.根据权利要求1所述的一种无人机正射影像道路自动提取方法，其特征在于：所述模型预训练指的是采用经典的语义分割模型deeplab作为道路提取的基础模型，对该模型，采用高分辨率卫星影像作为输入，训练得到一个初步的权重。
5.根据权利要求1所述的一种无人机正射影像道路自动提取方法，其特征在于：所述模型迁移学习指的是利用无人机正射影像对预训练得到的模型进一步训练，用于得到一个对无人机正射影像泛化能力好的模型。
6.根据权利要求1所述的一种无人机正射影像道路自动提取方法，其特征在于：所述数据增强，其包括旋转、添加噪声、尺度变换、亮度变换和随机模糊处理方法，用于提升数据的数量以提升所训练的模型的泛化能力。
7.根据权利要求1所述的一种无人机正射影像道路自动提取方法，其特征在于：所述测试时增强方法(TTA)是在对图片进行预测时，对图片进行水平、垂直、对角线翻折得到四张图片，分别进行预测后，再变换回去，求均值后得到最终的测试结果，用于去除预测时的随机误差。
CN201910790257.4A 2019-08-26 2019-08-26 一种无人机正射影像道路自动提取方法 Active CN110619283B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910790257.4A CN110619283B (zh) 2019-08-26 2019-08-26 一种无人机正射影像道路自动提取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910790257.4A CN110619283B (zh) 2019-08-26 2019-08-26 一种无人机正射影像道路自动提取方法

Publications (2)

Publication Number Publication Date
CN110619283A CN110619283A (zh) 2019-12-27
CN110619283B true CN110619283B (zh) 2023-01-10

Family

ID=68921967

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910790257.4A Active CN110619283B (zh) 2019-08-26 2019-08-26 一种无人机正射影像道路自动提取方法

Country Status (1)

Country Link
CN (1) CN110619283B (zh)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10678244B2 (en) 2017-03-23 2020-06-09 Tesla, Inc. Data synthesis for autonomous control systems
US11157441B2 (en) 2017-07-24 2021-10-26 Tesla, Inc. Computational array microprocessor system using non-consecutive data formatting
US11893393B2 (en) 2017-07-24 2024-02-06 Tesla, Inc. Computational array microprocessor system with hardware arbiter managing memory requests
US10671349B2 (en) 2017-07-24 2020-06-02 Tesla, Inc. Accelerated mathematical engine
US11409692B2 (en) 2017-07-24 2022-08-09 Tesla, Inc. Vector computational unit
US11561791B2 (en) 2018-02-01 2023-01-24 Tesla, Inc. Vector computational unit receiving data elements in parallel from a last row of a computational array
US11215999B2 (en) 2018-06-20 2022-01-04 Tesla, Inc. Data pipeline and deep learning system for autonomous driving
US11361457B2 (en) 2018-07-20 2022-06-14 Tesla, Inc. Annotation cross-labeling for autonomous control systems
US11636333B2 (en) 2018-07-26 2023-04-25 Tesla, Inc. Optimizing neural network structures for embedded systems
US11562231B2 (en) 2018-09-03 2023-01-24 Tesla, Inc. Neural networks for embedded devices
SG11202103493QA (en) 2018-10-11 2021-05-28 Tesla Inc Systems and methods for training machine models with augmented data
US11196678B2 (en) 2018-10-25 2021-12-07 Tesla, Inc. QOS manager for system on a chip communications
US11816585B2 (en) 2018-12-03 2023-11-14 Tesla, Inc. Machine learning models operating at different frequencies for autonomous vehicles
US11537811B2 (en) 2018-12-04 2022-12-27 Tesla, Inc. Enhanced object detection for autonomous vehicles based on field view
US11610117B2 (en) 2018-12-27 2023-03-21 Tesla, Inc. System and method for adapting a neural network model on a hardware platform
US10997461B2 (en) 2019-02-01 2021-05-04 Tesla, Inc. Generating ground truth for machine learning from time series elements
US11150664B2 (en) 2019-02-01 2021-10-19 Tesla, Inc. Predicting three-dimensional features for autonomous driving
US11567514B2 (en) 2019-02-11 2023-01-31 Tesla, Inc. Autonomous and user controlled vehicle summon to a target
US10956755B2 (en) 2019-02-19 2021-03-23 Tesla, Inc. Estimating object properties using visual image data
CN111652075B (zh) * 2020-05-09 2023-09-05 中国科学院空天信息创新研究院 结合迁移学习的高分辨率卫星影像道路快速提取方法、***
CN111639625B (zh) * 2020-06-11 2022-09-27 中国人民解放军32023部队 一种无人机正射影像道路自动提取方法
CN112686261A (zh) * 2020-12-24 2021-04-20 广西慧云信息技术有限公司 一种基于改进U-Net的葡萄根系图像分割方法
CN112991487B (zh) * 2021-03-11 2023-10-17 中国兵器装备集团自动化研究所有限公司 一种多线程实时构建正射影像语义地图的***
CN113284093A (zh) * 2021-04-29 2021-08-20 安徽省皖北煤电集团有限责任公司 一种基于改进D-LinkNet的卫星影像云检测方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109934166A (zh) * 2019-03-12 2019-06-25 中山大学 基于语义分割和孪生神经网络的无人机图像变化检测方法
CN110008854A (zh) * 2019-03-18 2019-07-12 中交第二公路勘察设计研究院有限公司 基于预训练dcnn的无人机影像公路地质灾害识别方法
CN110163234A (zh) * 2018-10-10 2019-08-23 腾讯科技（深圳）有限公司 一种模型训练方法、装置和存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107067003B (zh) * 2017-03-09 2021-09-21 百度在线网络技术（北京）有限公司 感兴趣区域边界的提取方法、装置、设备和计算机存储介质
CN109493347B (zh) * 2017-09-12 2021-03-23 深圳科亚医疗科技有限公司 在图像中对稀疏分布的对象进行分割的方法和***

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110163234A (zh) * 2018-10-10 2019-08-23 腾讯科技（深圳）有限公司 一种模型训练方法、装置和存储介质
CN109934166A (zh) * 2019-03-12 2019-06-25 中山大学 基于语义分割和孪生神经网络的无人机图像变化检测方法
CN110008854A (zh) * 2019-03-18 2019-07-12 中交第二公路勘察设计研究院有限公司 基于预训练dcnn的无人机影像公路地质灾害识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于融合分层条件随机场的道路分割模型;杨飞等;《机器人》;20181130;第40卷(第6期);第803-816页 *

Also Published As

Publication number Publication date
CN110619283A (zh) 2019-12-27

Similar Documents

Publication Publication Date Title
CN110619283B (zh) 一种无人机正射影像道路自动提取方法
CN110619282B (zh) 一种无人机正射影像建筑物自动提取方法
CN109409263B (zh) 一种基于Siamese卷积网络的遥感影像城市地物变化检测方法
CN113160234B (zh) 基于超分辨率和域自适应的无监督遥感图像语义分割方法
US20190377981A1 (en) System and Method for Generating Simulated Scenes from Open Map Data for Machine Learning
CN109635748B (zh) 高分辨率影像中道路特征的提取方法
CN112381060B (zh) 一种基于深度学习的建筑物地震破坏等级分类方法
CN112347970B (zh) 一种基于图卷积神经网络的遥感影像地物识别方法
CN110084304A (zh) 一种基于合成数据集的目标检测方法
CN111598101A (zh) 基于遥感影像场景分割的城区智能提取方法、***及设备
CN110619605B (zh) 并行气象要素降尺度方法、装置、电子设备及存储介质
CN110334719B (zh) 一种提取遥感影像中建筑物图像的方法及***
CN111178304B (zh) 基于全卷积神经网络的高分辨率遥感影像像素级解译方法
CN112836614B (zh) 一种基于残差网络和迁移学习的高分遥感图像分类方法
CN110992366A (zh) 一种图像语义分割方法、装置及存储介质
CN116343053B (zh) 基于光学遥感影像和sar遥感影像融合的固废自动提取方法
CN111090717A (zh) 一种基于cga规则的自动化建筑模型
CN111191704B (zh) 一种基于任务图卷积网络的地基云分类方法
CN113628180B (zh) 一种基于语义分割网络的遥感建筑物检测方法及***
CN113011295B (zh) 基于遥感影像识别光伏发电站的方法、计算机设备和介质
CN115147597A (zh) 光伏组件的定位方法、装置及电子设备
CN110174714B (zh) 基于机器学习的街道空间日照时数批量化测量方法及***
CN114972934A (zh) 一种面向遥感图像表征的对比自监督学习方法
CN110321889A (zh) 一种图片文件中插图定位提取方法及***
US11170568B2 (en) Photo-realistic image generation using geo-specific data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant