CN115527128A - 基于语义分割的航拍图像快速定位方法 - Google Patents

基于语义分割的航拍图像快速定位方法 Download PDF

Info

Publication number
CN115527128A
CN115527128A CN202210870382.8A CN202210870382A CN115527128A CN 115527128 A CN115527128 A CN 115527128A CN 202210870382 A CN202210870382 A CN 202210870382A CN 115527128 A CN115527128 A CN 115527128A
Authority
CN
China
Prior art keywords
image
remote sensing
aerial
semantic segmentation
aerial image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210870382.8A
Other languages
English (en)
Inventor
姚雨
孙林
宋春林
王均波
程彬
何军
张志虎
王新萌
于裕
雷松强
刘杨琳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
North Information Control Institute Group Co ltd
Original Assignee
North Information Control Institute Group Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by North Information Control Institute Group Co ltd filed Critical North Information Control Institute Group Co ltd
Priority to CN202210870382.8A priority Critical patent/CN115527128A/zh
Publication of CN115527128A publication Critical patent/CN115527128A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提出了一种基于语义分割的航拍图像快速定位方法，包括以下步骤：语义分割阶段：对航拍图像数据集中的建筑和道路等特征显著的物体进行人工标注，再选择语义分割模型进行调整并将其训练至收敛，完成对无人机航拍图像的语义分割；快速搜索阶段：将卫星遥感图像按照相同的方法进行标注并生成遥感标签地图，再以最小归一化总误差为依据将分割后的航拍图像在遥感标签地图上进行快速搜索，确定出航拍图像在遥感图像上的大致区域；精准匹配阶段：使用基于特征点的图像匹配算法将航拍图像与确定区域的遥感图像进行特征点匹配，实现精准定位。本发明极大地简化了匹配过程的复杂度，提高了定位效率，对含有旋转变化的航拍图像同样适用。

Description

基于语义分割的航拍图像快速定位方法
技术领域
本发明涉及图像匹配、深度学习和计算机视觉领域，具体涉及一种基于语义分割的航拍图像快速定位方法。
背景技术
随着技术的不断发展，无人机在多个应用领域都发挥着重要作用。无人机航拍图像定位技术是利用航拍图像与具有位置信息的卫星遥感图像进行匹配，以实现航拍图像的定位技术，该技术不依赖于卫星定位信号，仅凭视觉图像即可获取无人机的位置信息，具有很高的研究和实用价值。
由于遥感图像的覆盖范围极广，场景复杂且包含大量特征信息，其分辨率远大于无人机航拍图像，若直接使用航拍图像与遥感图像进行匹配，则会出现大量的错匹配和冗余计算情况，导致匹配准确率和匹配效率低下。
为解决上述匹配难题，科研人员进行了大量研究。郑明国在博士论文“面向无人机视觉辅助定位的图像匹配算法研究”中提出了基于全局特征融合的粗略定位，再利用局部特征的主方向性进行自适应阈值的逐点配对，最后使用ORSA算法实现精准定位，但实时性较差。罗锐在论文“基于图像匹配的航拍图像定位研究”中提出基于区域特征的粗匹配算法，以归一化系数相关作为相似性度量函数，在预处理后的遥感瓦片图像上进行粗略定位，提高了匹配效率，但不适用于有旋转变换的航拍图像。目前，在海量数据和计算机运算性能的支撑下，深度学习算法凭借其良好的非线性学习能力，成为图像匹配的常用方法。廖明哲在论文“基于深度学习的遥感图像匹配方法研究中”中使用RF-Net生成图像的特征描述子再进行匹配，将图像匹配转化为分类问题，难以精准确定航拍图像的位置信息。
研究表明，以上方法在航拍图像匹配定位中存在着不同的问题，都具有一定的局限性。航拍图像和遥感图像由于拍摄时间、角度和云雾干扰等其他各种因素的影响，在图像质量上存在很大的差异，但不管外界环境如何变换，图像中的道路、建筑、桥梁和水流总是具有相对的稳定特征。因此，可构建基于深度学习的语义分割模型，先将图像简化为只包含道路、建筑、桥梁、水流和背景的五值图像，再进行之后的匹配。
综上所述，针对无人机航拍图像匹配定位中出现的匹配速度慢、定位不准确的问题，亟需一种基于语义分割的航拍图像快速定位方法，以实现对航拍图像位置信息的快速精准确定。
发明内容
本发明的目的在于提供一种基于语义分割的航拍图像快速定位方法，该方法先通过语义分割算法将图像简化为只包含道路、建筑、桥梁、水流和背景五类像素值的五值图像进行快速搜索，再利用特征点匹配算法进行精准定位。
实现本发明目的的技术解决方案为：
一种基于语义分割的航拍图像快速定位方法，包括以下步骤：
语义分割阶段：对航拍图像数据集中的建筑和道路等特征显著的物体进行人工标注，再选择语义分割模型进行调整并将其训练至收敛，完成对无人机航拍图像的语义分割；
快速搜索阶段：将卫星遥感图像按照相同的方法进行标注并生成遥感标签地图，再以最小归一化总误差为依据将分割后的航拍图像在遥感标签地图上进行快速搜索，确定出航拍图像在遥感图像上的大致区域；
精准匹配阶段：使用基于特征点的图像匹配算法将航拍图像与确定区域的遥感图像进行特征点匹配，实现精准定位。
本发明与现有技术相比，其显著优点是：
创新性地将基于深度学习的语义分割算法应用到航拍图像与卫星遥感图像的匹配中，可解决大幅图像匹配过慢的问题，提高大幅图像匹配的效率。通过语义分割算法能够实现航拍图像的简化表示，将复杂的RGB图像简化为只包含5种灰度值的灰度图像，降低了后续计算的复杂度。通过基于灰度值的均值误差和各灰度值个数误差能够快速搜索到航拍图像在卫星遥感图像上的位置。
附图说明
图1为基于语义分割的航拍图像快速定位方法流程图；
图2为无人机航拍图像；
图3为标注完成后的无人机航拍图像标签；
图4为某地区卫星图像；
图5为标注完成后的卫星图像；
图6为快速搜索阶段选定的区域图；
图7为SIFT算法实现精准匹配图。
具体实施方式
下面结合附图及具体实施例对本发明做进一步的介绍。
本实施例的一种基于语义分割的航拍图像快速定位方法，包括以下步骤：
步骤1、语义分割阶段：对航拍图像数据集中的建筑和道路等特征显著的物体进行人工标注，再选择语义分割模型进行调整并将其训练至收敛，完成对无人机航拍图像的语义分割；具体包括以下步骤：
1.1、收集无人机航拍的图像或视频帧作为航拍图像数据，图像大小通过裁剪或放缩等方法统一为608*608。使用labelme软件对图像中的道路、建筑、桥梁和水流这4类特征明显的物体及其背景进行标注，标签分别记为[_background_,building,road,river,bridge]，分别代表背景、建筑、道路、河流和桥梁，标注完成后每张图像得到一个同名称的json文件，再运行labelme2voc脚本文件将标注好的文件批量转化为voc格式。无人机航拍图像如图2所示，转化完成后的无人机航拍图像标签如图3所示，其中不同的灰度值表示不同的物体。
1.2、使用百度飞桨PaddlePaddl深度学习框架进行训练和推理，百度飞桨提供完整的图像分割开发套件，只需要按需选择相应的图像分割模型并调整相应模型的配置文件即可实现从训练到预测推理的全过程图像分割应用，其代码见https://github.com/PaddlePaddle/PaddleSeg/tree/release/2.5。本发明选取深度神经网络Deeplabv3p作为语义分割模型来实现航拍图像的像素级分类，其主干网络结构选用Resnet50。为使语义分割模型与步骤1.1中标注的数据集格式相匹配，并对配置文件中的相应参数进行调整，num_class改为5，bach_size改为4，iters改为60000，crop_size改为[608,608]，learning_rate改为0.01，loss改为CrossEntryLoss，optimize_type改为sgd，其他参数默认保持不变。
1.3、使用步骤1.2中的调整完成的语义分割模型Deeplabv3p对步骤1.1中的数据集进行训练，训练100个周期至模型损失基本不变后停止训练，保存训练后的产生的模型权重文件，语义分割模型可通过加载训练好的模型权重文件即可对输入航拍图像进行分割，得到分割后的图像，如图3所示。
步骤2、快速搜索阶段：将卫星遥感图像按照相同的方法进行标注并生成遥感标签地图，再以最小归一化总误差为依据将分割后的航拍图像在遥感标签地图上进行快速搜索，确定出航拍图像在遥感图像上的大致区域；具体步骤如下：
2.1、将卫星遥感图像按照步骤1.1中相同的标注方式进行标注，生成遥感标签地图。本发明选用卫星遥感图像的是某地区19级卫星图像·，如图4所示，分辨率为6000*3600，生成的遥感标签地图如图5所示。
将分割后的航拍图像和遥感标签地图先转化为灰度图像，降低计算复杂度，此时各灰度值分别为[0,14,38,75,113]，其中灰度值0表示背景、灰度值14表示建筑、灰度值38表示水流、灰度值75表示桥梁、灰度值113表示道路。再将转化后的灰度航拍图像在转化后的灰度遥感上以窗口的形式进行滑动，每滑动一次，计算一次灰度遥感标签地图相应区域的灰度均值及各灰度值的个数。
2.2、计算灰度航拍图像与灰度遥感标签图像的均值误差的绝对值，表示如下：
Mean_error＝|Mean(UAV)-Mean(Temp)|
其中，UVA表示航拍图像，Temp表示遥感标签图像，Mean表示均值。
2.3、计算灰度航拍图像与灰度遥感标签图像的各灰度值个数的绝对误差和：
Figure BDA0003760844650000041
其中，i表示各灰度值，UVAi表示灰度航拍图像中灰度值为i的像素个数，Tempi表示灰度遥感标签图像中灰度值为i的像素个数。
2.4、灰度航拍图像与灰度遥感标签图像之间的总误差为归一化均值误差与归一化绝对误差和之和：
Total_error＝norm(Mean_error)+norm(Num_error)
其中，norm()表示归一化操作。
2.5、先判断灰度遥感标签图像是否包含灰度航拍图像所有的灰度值，若不包含，直接跳过该区域；若包含，则以最小化灰度航拍图像与灰度遥感标签图像之间的总误差为依据，选取总误差最小的区域作为快速搜索阶段确定的待精准匹配区域，如图6所示，其中白色方框表示快速搜索阶段选定的区域。
步骤3、精准匹配阶段：使用基于特征点的图像匹配算法将航拍图像与确定区域的遥感图像进行特征点匹配，实现精准定位。
3.1、在原卫星遥感图像中裁剪出步骤2.5中确定的待精准匹配区域。为确保航拍图像完全包含在裁剪出的匹配区域中，可适当扩大裁剪区域。
3.2、使用基于特征点的尺度不变特征变换SIFT(Scale Invariant FeatureTransform)匹配算法将分别计算出航拍图像与确定区域的遥感图像的关键特征点，再将两幅图像中相似的关键特征点进行匹配，关键特征点匹配成功后通过透视变换确定出航拍图像在遥感图像中的具***置。如图7所示，连接线表示SIFT算法匹配成功的一对关键特征点，四边形框表示航拍图像最终在遥感图像上精准匹配的区域。
3.3、根据遥感图像的像素点坐标与经纬度的对应关系，定位出航拍图像的精准位置信息。

Claims (7)

1.一种基于语义分割的航拍图像快速定位方法，其特征在于，包括以下步骤：
语义分割阶段：对航拍图像数据集中的建筑和道路等特征显著的物体进行人工标注，再选择语义分割模型进行调整并将其训练至收敛，完成对无人机航拍图像的语义分割；
快速搜索阶段：将卫星遥感图像按照相同的方法进行标注并生成遥感标签地图，再以最小归一化总误差为依据将分割后的航拍图像在遥感标签地图上进行快速搜索，确定出航拍图像在遥感图像上的大致区域；
精准匹配阶段：使用基于特征点的图像匹配算法将航拍图像与确定区域的遥感图像进行特征点匹配，实现精准定位。
2.根据权利要求1所述的基于语义分割的航拍图像快速定位方法，其特征在于，语义分割阶段，具体步骤如下：
1.1、选取无人机航拍的图像或视频帧作为航拍图像数据，使用labelme软件对图像中的特征物理及其背景进行标注，标注完成后每张图像得到一个同名称的json文件，再运行labelme2voc脚本文件将标注好的文件转化为voc格式；
1.2、选取深度神经网络Deeplabv3p作为语义分割模型来实现航拍图像的像素级分类，其主干网络结构为Resnet50，并对其中类别名称和数量、学习率等参数进行调整，使其与步骤1.1中标注的数据集格式相匹配；
1.3、使用步骤1.2中的语义分割模型对步骤1.1中的数据集进行训练，训练至收敛后保存相应的权重文件，语义分割模型通过加载训练好的权重即可对输入航拍图像进行分割，得到分割后的图像。
3.根据权利要求1所述的基于语义分割的航拍图像快速定位方法，其特征在于，语义分割阶段，快速搜索阶段，具体步骤如下：
2.1、将分割后的航拍图像和遥感标签地图先转化为灰度图像，降低计算复杂度，再将转化后的灰度航拍图像在转化后的灰度遥感上以窗口的形式进行滑动，每滑动一次，计算一次灰度遥感标签图相应区域的灰度均值及各灰度值的个数；
2.2、计算灰度航拍图像与灰度遥感标签图像的均值误差的绝对值；
2.3、计算灰度航拍图像与灰度遥感标签图像的各灰度值个数的绝对误差和；
2.4、灰度航拍图像与灰度遥感标签图像之间的总误差为归一化均值误差与归一化绝对误差和之和；
2.5、以最小化灰度航拍图像与灰度遥感标签图像之间的总误差为依据，选取总误差最小的区域作为快速搜索阶段确定的待精准匹配区域。
4.根据权利要求3所述的基于语义分割的航拍图像快速定位方法，其特征在于，计算灰度航拍图像与灰度遥感标签图像的均值误差的绝对值：
Mean_error＝|Mean(UAV)-Mean(Temp)|
其中，UVA表示航拍图像，Temp表示遥感标签图像，Mean表示均值。
5.根据权利要求3所述的基于语义分割的航拍图像快速定位方法，其特征在于，计算灰度航拍图像与灰度遥感标签图像的各灰度值个数的绝对误差和：
Figure FDA0003760844640000021
其中，i表示各灰度值，UVAi表示灰度航拍图像中灰度值为i的像素个数，Tempi表示灰度遥感标签图像中灰度值为i的像素个数。
6.根据权利要求3所述的基于语义分割的航拍图像快速定位方法，其特征在于，灰度航拍图像与灰度遥感标签图像之间的总误差为归一化均值误差与归一化绝对误差和之和：
Total_error＝norm(Mean_error)+norm(Num_error)
其中，norm()表示归一化操作，Mean_error表示灰度航拍图像与灰度遥感标签图像的均值误差的绝对值，Num_error表示灰度航拍图像与灰度遥感标签图像的各灰度值个数的绝对误差和。
7.根据权利要求1所述的基于语义分割的航拍图像快速定位方法，其特征在于，精准匹配阶段，具体步骤如下：
3.1、在原卫星遥感图像中裁剪出待精准匹配区域。
3.2、使用基于特征点的尺度不变特征变换匹配算法将航拍图像与确定区域的遥感图像进行特征点的精准匹配，并确定出航拍图像在遥感图像中的具***置。
3.3、根据遥感图像的像素点坐标与经纬度的对应关系，定位出航拍图像的精准位置信息。
CN202210870382.8A 2022-07-22 2022-07-22 基于语义分割的航拍图像快速定位方法 Pending CN115527128A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210870382.8A CN115527128A (zh) 2022-07-22 2022-07-22 基于语义分割的航拍图像快速定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210870382.8A CN115527128A (zh) 2022-07-22 2022-07-22 基于语义分割的航拍图像快速定位方法

Publications (1)

Publication Number Publication Date
CN115527128A true CN115527128A (zh) 2022-12-27

Family

ID=84696259

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210870382.8A Pending CN115527128A (zh) 2022-07-22 2022-07-22 基于语义分割的航拍图像快速定位方法

Country Status (1)

Country Link
CN (1) CN115527128A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117274391A (zh) * 2023-11-23 2023-12-22 长春通视光电技术股份有限公司 一种基于图神经网络的数字地图匹配目标定位方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117274391A (zh) * 2023-11-23 2023-12-22 长春通视光电技术股份有限公司 一种基于图神经网络的数字地图匹配目标定位方法
CN117274391B (zh) * 2023-11-23 2024-02-06 长春通视光电技术股份有限公司 一种基于图神经网络的数字地图匹配目标定位方法

Similar Documents

Publication Publication Date Title
CN115439424B (zh) 一种无人机航拍视频图像智能检测方法
CN109598241B (zh) 基于Faster R-CNN的卫星图像海上舰船识别方法
CN112633277A (zh) 基于深度学习的航道船牌检测、定位及识别方法
CN112580512B (zh) 一种基于通道裁剪的轻量级无人机目标检测方法
CN113269040A (zh) 结合图象识别与激光雷达点云分割的驾驶环境感知方法
CN115205633A (zh) 基于鸟瞰图对比学习的自动驾驶多模态自监督预训练方法
CN108711172B (zh) 基于细粒度分类的无人机识别与定位方法
CN114266977B (zh) 基于超分辨可选择网络的多auv的水下目标识别方法
CN112861700B (zh) 基于DeepLabv3+的车道线网络识别模型建立及车辆速度检测方法
CN114612835A (zh) 一种基于YOLOv5网络的无人机目标检测模型
CN111104850B (zh) 一种基于残差网络的遥感影像建筑物自动提取方法和***
CN112203018A (zh) 一种基于人工智能的相机防抖动自适应调节方法及***
CN111723660A (zh) 一种用于长形地面目标检测网络的检测方法
CN114821326A (zh) 一种宽幅遥感影像中密集弱小目标检测识别方法
CN115761513A (zh) 一种半监督深度学习的山区大型滑坡智能遥感识别方法
CN115240089A (zh) 一种航空遥感图像的车辆检测方法
CN113139896A (zh) 基于超分辨重建的目标检测***及方法
CN115527128A (zh) 基于语义分割的航拍图像快速定位方法
CN115690627A (zh) 一种航拍图像旋转目标的检测方法及***
CN115619718A (zh) 基于嵌入式边缘平台的钢板缺陷实时检测***与方法
CN117036993A (zh) 一种基于无人机的船舶水尺远程测量方法
CN116935332A (zh) 一种基于动态视频的渔船目标检测与跟踪方法
CN116994068A (zh) 一种基于知识蒸馏的目标检测方法及装置
CN115661694A (zh) 一种聚焦关键特征的轻量型主变压器智能检测方法、***、存储介质及电子设备
CN114758135A (zh) 一种基于注意力机制的无监督图像语义分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination