CN112862678A - 一种无人机图像拼接方法、装置及存储介质 - Google Patents

一种无人机图像拼接方法、装置及存储介质 Download PDF

Info

Publication number
CN112862678A
CN112862678A CN202110103209.0A CN202110103209A CN112862678A CN 112862678 A CN112862678 A CN 112862678A CN 202110103209 A CN202110103209 A CN 202110103209A CN 112862678 A CN112862678 A CN 112862678A
Authority
CN
China
Prior art keywords
image
shooting
unmanned aerial
aerial vehicle
splicing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110103209.0A
Other languages
English (en)
Inventor
柴雪松
马学志
时佳斌
李健超
王宁
袁磊
薛峰
苏永华
金花
付峥锐
刘艳芬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Academy of Railway Sciences Corp Ltd CARS
Railway Engineering Research Institute of CARS
China Railway Science and Technology Development Co
Original Assignee
China Academy of Railway Sciences Corp Ltd CARS
Railway Engineering Research Institute of CARS
China Railway Science and Technology Development Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Academy of Railway Sciences Corp Ltd CARS, Railway Engineering Research Institute of CARS, China Railway Science and Technology Development Co filed Critical China Academy of Railway Sciences Corp Ltd CARS
Priority to CN202110103209.0A priority Critical patent/CN112862678A/zh
Publication of CN112862678A publication Critical patent/CN112862678A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本方案公开了一种无人机图像拼接方法，该方法包括基于无人机拍摄图像序列，确定首个符合预设标准的图像为第一幅图像；间隔一定时间，获取与第一幅图像的有效图像区域有部分重合的第二幅图像；基于拍摄第二幅图像与第一幅图像时，无人机与拍摄目标之间的拍摄距离信息和拍摄角度信息，以及无人机的飞行速度信息，获得表示第二幅图像与第一幅图像变化关系的仿射变换矩阵；基于所述变换矩阵，完成所述第二幅图像与所述第一幅图像的拼接；重复上述步骤，完成第三幅图像与上述拼接后图像的再次拼接，通过多幅图像的拼接获得包含目标区域的完整图像。本方法涉及的图像处理原理简单，计算量小，对处理设备配置要求低，处理速度快。

Description

一种无人机图像拼接方法、装置及存储介质
技术领域
本发明涉及图像数据处理领域，特别涉及一种无人机图像拼接方法、装置及存储介质。
背景技术
在铁路科技创新的引领和驱动下，中国铁路建设发展取得了巨大成果，总体运营状态良好，但随着铁路运营时间、频次的增加，各铁路设施都会出现一定程度的伤损劣化，相比于其他基础设施，混凝土桥梁由于其特殊的地理位置，检测难度更大。近年来随着无人机技术的迅猛发展，使得铁路混凝土桥梁的快速检测、精准养护维修成为可能，开发无人机图像中铁路混凝土桥梁表面伤损的智能识别成为铁路领域的一大研究方向。
无人机采集的图像数据通常是视频，由于无人机的特殊工作原理，致使其图像的稳定性较差，各帧图像的尺度难以统一，这会对后期识别过程中病害的长、宽、面积、形态等几何特征信息的自动计算以及其精确定位产生很大影响，因此在进行智能识别之前，必须对无人机图像进行统一尺度工作，使得各图像中像素精度一致，将统一尺度后的图像重构成一幅反映整个混凝土桥梁的大图像，对大图像进行智能识别，这样测量、计算得到的表面伤损的几何特征信息及其在混凝土桥梁上的位置信息才是真实有效的。
目前常用的图像重构方法的基本原理都是特征点匹配，即寻找两幅图像中的特征点，根据特征点的多维特征信息的匹配程度在两幅图像中确定一定数量的匹配点对，利用这些匹配点对得到两幅图像的变换矩阵，进而完成图像的拼接重构。这种方法要遍历图像中的每个像素点，计算每个像素的特征信息，耗时严重，且混凝土桥梁局部表面相对平滑，可能难以找到足够数量的特征点，导致无法完成匹配或匹配错误，严重影响后续识别工作。
发明内容
本方案的一个目的在于提供一种无人机图像拼接方法，该方法涉及的图像处理原理简单，计算量小，对处理设备配置要求低，处理速度快；在获取拍摄的图像后能尽快完成图像拼接，便于铁路混凝土桥梁养护单位第一时间掌握桥梁表面的伤损情况。
本方案的另一个目的在于提供一种执行上述方法的装置。
为达到上述目的，本方案如下：
一种无人机图像拼接方法，该方法包括：
基于无人机拍摄图像序列，确定首个符合预设标准的图像为第一幅图像；
间隔一定时间，获取与第一幅图像的有效图像区域有部分重合的第二幅图像；
基于拍摄第二幅图像与第一幅图像时，无人机与拍摄目标之间的拍摄距离信息和拍摄角度信息，以及无人机的飞行速度信息，获得表示第二幅图像与第一幅图像变化关系的仿射变换矩阵；
基于所述仿射变换矩阵，完成所述第二幅图像与所述第一幅图像的拼接；
重复上述步骤，完成第三幅图像与上述拼接后图像的再次拼接，通过多幅图像的拼接获得包含目标区域的完整图像。
优选的，该方法进一步包括：
若选取的第二幅图像所对应的无人机拍摄时的距离值或角度值为无效值，则取拍摄所述第二幅图像时的前后相隔预设时段的图像作为第二幅图像。
优选的，所述符合预设标准的图像包括该图像的中部区域为欲拍摄的目标区域，拍摄时的拍摄设备的光轴与欲拍摄的目标区域的平面基本垂直，且拍摄时刻的距离值和拍摄角度值不属于无效值。
优选的，所述拍摄时刻的距离值的无效值是基于拍摄时刻的距离标准差与第一阈值的比较，如拍摄时刻的距离标准差大于第一阈值则该时刻的距离值为无效值；
所示拍摄时刻的拍摄角度值的无效值是基于拍摄时刻的拍摄角度标准差与第二阈值的比较，如拍摄时刻的拍摄角度标准差大于第二阈值则该时刻的拍摄角度值为无效值。
优选的，所述基于仿射变换矩阵，完成所述第二幅图像与所述第一幅图像的拼接包括：
对所述第二幅图像中的每个像素点的坐标进行仿射变换获得每个像素点在所述第一幅图像上的坐标；
基于每个像素点在第一幅图像上的坐标，完成所述第二幅图像和所述第一幅图像的拼接。
优选的，所述距离信息包括拍摄时拍摄镜头距离目标的物距、拍摄时的镜头焦距、拍摄设备分辨率。
优选的，所述目标区域为铁路混凝土桥梁梁体表面的伤损区域。
第二方面，本方案提供一种无人机图像拼接装置，该装置包括：
图像获取单元，用于拍摄图像；
图像处理单元，用于基于图像获取单元拍摄的图像序列，确定首幅有效图像为第一幅图像；
获取与首幅有效图像有重合区域的在图像序列上位于首幅有效图像之后的一幅图像为第二幅图像；
基于拍摄第二幅图像与第一幅图像时，无人机与拍摄目标之间的拍摄距离信息和拍摄角度信息，以及无人机的飞行速度信息，获得表示第二幅图像与第一幅图像变化关系的仿射变换矩阵；
基于仿射变换矩阵，完成第二幅图像与第一幅图像的拼接；
重复上述步骤，完成第三幅图像与上述拼接后图像的再次拼接，通过多福图像的拼接获得包含目标区域的完整图像。
第三方面，本方案提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现上述任一项所述方法的步骤。
本方案的有益效果如下：
1.本方案使用的算法原理简单，计算量小，对处理设备配置要求低；
2.本方案使用的方法处理速度快，拍摄完成后能够尽快给出拼接图像，便于铁路混凝土桥梁养护单位第一时间掌握桥梁表面的伤损情况；
3.本方案使用的算法准确性高，针对混凝土桥梁局部特征不明显的特点，采用多源信息融合技术，比单纯依靠图像单一数据具有明显优势，准确性极大提升，避免错误拼接。
4.本方案使用的算法灵活性、稳定性较高，图像、距离、角度等信息都是连续采集的，若某一时刻某一变量存在问题，属于不可用的坏值，可适当更换前、后某时刻的数据进行处理，不至于影响最终结果。
附图说明
为了更清楚地说明本方案的实施，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本方案的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为无人机图像拼接方法流程图；
图2为无人机检测过程示意图；
图3为镜头焦距与视角对应情况示意图。
具体实施方式
下面将结合附图对本方案的实施方式作进一步地详细描述。显然，所描述的实施例仅是本方案的一部分实施例，而不是所有实施例的穷举。需要说明的是，在不冲突的情况下，本方案中的实施例及实施例中的特征可以相互组合。
说明书和权利要求书及上述附图中的术语“第一”、“第二”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备，不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。
由于无人机可以在较短的时间获取目标区域内大量的航拍图像数据，通过对这些数据的适当处理，可以从中得到需要的信息。相较于其他***，无人机遥感***具有机动灵活，费用低，数据处理速度快，实用性强等独到优势，因而目前被广泛应用在各个领域。由于无人机拍摄的视频流单帧图像画幅有限，在对拍摄图像进行识别时，无法定位出现伤损的桥梁表面的准确位置，因此需要将无人机拍摄的图像通过拼接重构成显示混凝土桥梁某个完整平面的静态二维图像。
本方案通过提供一种无人机图像拼接方法，可将无人机拍摄到的铁路混凝土桥梁图像视频快速、精准的拼接重构成一幅完整的大图像，该图像各位置尺度统一，各部件不变形，能够反应混凝土桥梁的各部分之间的真实比例情况，为图像中存在伤损桥梁表面的智能识别做好准备工作。
本方案中的尺度统一指对于同一处伤损，若无人机距离混凝土桥梁近，计算的伤损尺寸就大，离得远，伤损尺寸就小，故需要统一图像尺度，才能计算得到准确的伤损尺寸。
本方案的技术构思是用无人机搭载高精度面阵相机、测距传感器和倾角传感器，相机用于采集混凝土桥梁梁体表面高清图像，测距传感器用于精确测量无人机与所拍摄梁体表面的距离，倾角传感器用于测量无人机相机光轴与水平方向的夹角。检测时，每次检测梁体的一个平面，如附图2，每次完成桥梁一个平面的检测，例如腹板左侧或底板整个平面的检测，光轴尽量垂直于采集平面，检测过程中按照从左向右的顺序同时采集相机、测距传感器、倾角传感器的数据，每帧数据附当前精确时间，后期处理过程中以时间作为三组数据之间的联系。
本方案对于由无人机拍摄的图像的拼接方法包括如下步骤：
S100，基于无人机拍摄图像序列，确定首个符合预设标准的图像为第一幅图像；
S200，间隔一定时间，获取与第一幅图像的有效图像区域有部分重合的第二幅图像；
S300，基于拍摄第二幅图像与第一幅图像时，无人机与拍摄目标之间的拍摄距离信息和拍摄角度信息，以及无人机的飞行速度信息，获得表示第二幅图像与第一幅图像变化关系的仿射变换矩阵；
S400，基于所述仿射变换矩阵，完成所述第二幅图像与所述第一幅图像的拼接；
S500，重复上述步骤，完成第三幅图像与上述拼接后图像的再次拼接，通过多幅图像的拼接获得包含目标区域的完整图像。
本方案的方法还包括：
若选取的第二幅图像所对应的无人机拍摄时的距离值或角度值为无效值，则取拍摄所述第二幅图像时的前后相隔预设时段的图像作为第二幅图像。
在一个实施例中，所述符合预设标准的图像包括该图像的中部区域为欲拍摄的目标区域，拍摄时的拍摄设备的光轴与欲拍摄的目标区域的平面基本垂直，且拍摄时刻的距离值和拍摄角度值不属于无效值。
在一个实施例中，所述拍摄时刻的距离值的无效值是基于拍摄时刻的距离标准差与第一阈值的比较，如拍摄时刻的距离标准差大于第一阈值则该时刻的距离值为无效值；
所示拍摄时刻的拍摄角度值的无效值是基于拍摄时刻的拍摄角度标准差与第二阈值的比较，如拍摄时刻的拍摄角度标准差大于第二阈值则该时刻的拍摄角度值为无效值。
拍摄时刻的距离标准差如式(1)所示，
Figure BDA0002916785730000071
其中：σ是拍摄时刻的距离标准差，xi是拍摄时刻的拍摄距离值，
Figure BDA0002916785730000072
是平均距离值，n是参与计算的距离值的个数。
本方案利用标准差表示拍摄时刻的当前值与拍摄前后几个时刻的平均值之间的变化情况，即选取拍摄时刻前后各m个距离值，利用这(2m+1)个值的采集时间很近，正常情况下距离值不会出现突变的原理来判断当前值的有效性，所以如果拍摄时候的当前距离值相比于其前后时刻的距离值明显大或明显小，即通过计算得到当前距离值标准差比较大，即大于第一阈值时，则当前距离值即为无效值，不能采用。
同理，可以计算得到拍摄时刻的拍摄角度标准差，从而判断拍摄时刻的拍摄角度值是否为无效值。
在另一个实施例中，基于仿射变换矩阵，完成所述第二幅图像与所述第一幅图像的拼接：根据式(2)所示，对所述第二幅图像中的每个像素点的坐标进行仿射变换获得每个像素点在所述第一幅图像上的坐标；
基于每个像素点在第一幅图像上的坐标，完成所述第二幅图像和所述第一幅图像的拼接；
两幅图像之间的仿射变换一般包括平移(无人机沿梁体飞行)、缩放(无人机与梁体垂直距离改变)、旋转(无人机抖动)，其中平移变换如式(a)所示：
Figure BDA0002916785730000081
tx，ty分别为x，y方向的移动量，
缩放变换如式(b)所示：
Figure BDA0002916785730000082
sx，sy分别为x，y方向缩放倍数，
旋转变换如式(c)所示：
Figure BDA0002916785730000083
theta为旋转角度。
故，两幅图像之间的仿射变换关系如式(1)所示:
Figure BDA0002916785730000084
式(1)中的矩阵进行运算得到式(2)所示的矩阵:
Figure BDA0002916785730000085
式(2)中，u和v是第二幅图像上每个像素点经仿射变换后获得的在第一幅图像上的横坐标和纵坐标，x和y是第二幅图像上每个像素点在仿射变换前在第二幅图像上的横坐标和纵坐标，a，b，c表示矩阵参数。因为仿射变换是一种二维坐标(x，y)到二维坐标(u，v)的线性变换，其特点在于保持了二维图形的“平直性”(直线经仿射变换后依然为直线)和“平行性”(直线之间的相对位置关系保持不变，平行线经仿射变换后依然为平行线，且直线上点的位置顺序不会发生变化)。
所以，对第二图像中的每个像素点的坐标(x，y)经过仿射变换矩阵进行变换之后即可得到每个像素点在第一幅图像上的坐标，进而完成两幅图像的拼接。
在一个实施例中，优选距离信息包括拍摄时拍摄镜头距离目标的物距、拍摄时的镜头焦距、拍摄设备分辨率；目标区域为铁路混凝土桥梁梁体表面的伤损区域。
本方案还提供一种无人机图像拼接装置，该装置包括：
图像获取单元，用于拍摄图像；
图像处理单元，用于基于图像获取单元拍摄的图像序列，确定首幅有效图像为第一幅图像；
获取与首幅有效图像有重合区域的在图像序列上位于首幅有效图像之后的一幅图像为第二幅图像；
基于拍摄第二幅图像与第一幅图像时，无人机与拍摄目标之间的拍摄距离信息和拍摄角度信息，以及无人机的飞行速度信息，获得表示第二幅图像与第一幅图像变化关系的仿射变换矩阵；
基于仿射变换矩阵，完成第二幅图像与第一幅图像的拼接；
重复上述步骤，完成第三幅图像与上述拼接后图像的再次拼接，通过多幅图像的拼接获得包含目标区域的完整图像。
本方案进一步提供一种计算机可读存储介质。该计算机可读存储介质用于实现上述数据采集方法的程序产品，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。
所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。
计算机可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本方案操作的程序代码，所述程序设计语言包括面向对象的程序设计语言-诸如JAvA、C++等，还包括常规的过程式程序设计语言-诸如"C"语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
下面结合图2和图3，通过实施例对本方案进行说明。
一种无人机图像拼接方法，包括如下步骤：
1.为防止采集到的距离和角度数据中存在坏值，依据拍摄时刻的距离值及与拍摄时刻前后几个时刻的拍摄距离值，求得这几个距离值的标准差σ，同理，计算得到拍摄时刻前后几个拍摄角度值的标准差，依据距离值和角度值的标准差判断拍摄时刻距离值和角度值是否有效可用，如果拍摄时刻距离值偏差的绝对值大于第一阈值σ，则该距离值无效，同理，如果拍摄时刻的拍摄角度值偏差的绝对值大于第二阈值σ，则该拍摄角度值无效，记录出现无效距离值或无效角度值时的采集时间；
拍摄时刻的距离值标准差如式(1)所示，
Figure BDA0002916785730000111
其中：σ是拍摄时刻的距离标准差，xi是拍摄时刻的拍摄距离值，
Figure BDA0002916785730000114
是平均距离值，n是参与计算的距离值的个数。
本实施例中，优选n取值为5，即分别取拍摄时刻前后各5个距离值，利用这11个值计算拍摄时刻的拍摄距离值的标准差和拍摄时刻的拍摄角度值的标准差，经计算，如果拍摄时刻的拍摄距离值偏差绝对值
Figure BDA0002916785730000112
小于标准差，则该拍摄距离值为有效值，同理，如果拍摄时刻的拍摄角度值偏差绝对值
Figure BDA0002916785730000113
小于标准差，则该拍摄角度值为有效值；
例如，某次测得距离值为1003mm，前后各5个距离值分别为1543、1541、1538、1540、1542、1541、1539、1542、1540、1537，计算得到平均距离值为1491.4，计算得到的标准差为162.012，拍摄时刻偏差绝对值为|1003-1491.4|＝488.4，大于标准差，故此拍摄时刻距离值为无效值。
2.选择首幅“有效”图像，记为第一幅图像Im0。后面所有图像以此为基准，不断拼接重构，完成图像画幅的“自增长”。这里的“有效”图像是指混凝土桥梁待检测区域位于该第一幅图像的中央附近、且拍摄该第一幅图像时的相机光轴与待检测平面基本垂直、画面清晰，同时这一时刻的拍摄距离值和拍摄倾角值是有效值，不是无效值；
本步骤中的相机光轴指相机镜头所示方向；
无效值指异常值，即某些原因导致的不可用的突变值；
3.依据采集Im0时的时间，寻找测距传感器和倾角传感器在同一时刻的数据，分别记为L0和Ф0；
4.间隔一定时间t，再次获取一幅图像及与该图像对应的测距传感器和倾角传感器数据，获取的此次图像需与第一幅图像Im0之间有重合区域，若此时刻测距传感器和倾角传感器数据为无效数据，则取此时刻之前0.1s的图像或此时刻之后0.1s的图像作为第二幅图像，要确保所获取的与第二幅图像对应的测距传感器和倾角传感器数据为有效数据，则将第二幅图像记为Im1，与第二幅图像对应的测距传感器数据记为L1，倾角传感器数据记为Ф1；
5.如图2所示，由于无人机姿态的改变，Im0与Im1之间会存在一定的错位或角度的改变，(L1-L0)与(Ф1-Ф0)，再辅以无人机的速度信息则恰好可以反映Im0与Im1之间的变化关系，此变化关系可由一个仿射变换矩阵T1来表示，即Im1＝Im0*T1；
矩阵T1如式(2)所示，
Figure BDA0002916785730000121
式(2)中，u和v是第二幅图像上每个像素点经仿射变换后获得的在第一幅图像上的横坐标和纵坐标，x和y是第二幅图像上每个像素点在仿射变换前在第二幅图像上的横坐标和纵坐标，a1，b1，c1，a2，b2和c2表示矩阵参数；根据式(2)所示，对第二幅图像中的每个像素点的坐标进行仿射变换获得每个像素点在第一幅图像上的坐标；基于每个像素点在第一幅图像上的坐标，完成第二幅图像和第一幅图像的拼接；
6.依据变换矩阵T1可完成Im0与Im1的拼接重构，重复此操作即可得到整个混凝土桥梁拼接重构后完整的大图像，拼接重构的图像将直接用于后续桥梁表面的伤损智能识别工作；
7.计算拼接重构图像的像素精度，获得伤损处的几何信息；因为测距传感器得到的距离值即无人机相机的成像物距，又因为镜头焦距、相机分辨率均为已知量，因此可计算图像的像素精度，根据计算获得像素精度可以获得拍摄图像上伤损处的真实几何特征信息；
如图3所示，如使用的相机焦距为f，可知拍摄时的视角，依据测量得到的距离值(物距)，即可得到当前物宽L，即图3中可视范围内的实际距离，若使用4k相机(相机分辨率4096*2160)，则像素精度为L/4096。
在获得像素精度后，根据像素精度计算伤损处的几何信息，如果拍摄后经计算图像的像素精度是0.1mm，桥梁表面的伤损为裂缝，如该条裂缝在图像的宽度方向占8个像素，则可得知裂缝的实际宽度是0.8mm。无人机距离桥梁距离不一样，拍摄的图像像素精度随无人机拍摄时的具体情况变化，而像素精度的计算则可根据上述方法进行。
本方案通过在无人机上搭载高清相机、测距、倾角等多传感器的方法对铁路混凝土桥梁进行检测，每次检测时检测铁路混凝土桥梁的一个侧面或底面的数，将采集的数据采用多源信息融合技术将无人机图像拼接重构成尺度统一的完整图像；且本方案还使用了无人机搭载测距、倾角传感器，结合镜头焦距的像素精度实时计算方法。
本实施例的有益效果：
1.本方案使用的算法原理简单，计算量小，对处理设备配置要求低；
2.本方案使用的方法处理速度快，拍摄完成后能够尽快给出拼接图像，便于铁路混凝土桥梁养护单位第一时间掌握桥梁表面的伤损情况；
3.本方案使用的算法准确性高，针对混凝土桥梁局部特征不明显的特点，采用多源信息融合技术，比单纯依靠图像单一数据具有明显优势，准确性极大提升，避免错误拼接。
4.本方案使用的算法灵活性、稳定性较高，图像、距离、角度等信息都是连续采集的，若某一时刻某一变量存在问题，属于不可用的坏值，可适当更换前、后某时刻的数据进行处理，不至于影响最终结果。
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定，对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动，这里无法对所有的实施方式予以穷举，凡是属于本发明的技术方案所引伸出的显而易见的变化或变动仍处于本发明的保护范围之列。

Claims (9)

1.一种无人机图像拼接方法，其特征在于，该方法包括：
基于无人机拍摄图像序列，确定首个符合预设标准的图像为第一幅图像；
间隔一定时间，获取与第一幅图像的有效图像区域有部分重合的第二幅图像；
基于拍摄第二幅图像与第一幅图像时，无人机与拍摄目标之间的拍摄距离信息和拍摄角度信息，以及无人机的飞行速度信息，获得表示第二幅图像与第一幅图像变化关系的仿射变换矩阵；
基于所述仿射变换矩阵，完成所述第二幅图像与所述第一幅图像的拼接；
重复上述步骤，完成第三幅图像与上述拼接后图像的再次拼接，通过多幅图像的拼接获得包含目标区域的完整图像。
2.根据权利要求1所述的方法，其特征在于，该方法进一步包括：
若选取的第二幅图像所对应的无人机拍摄时的距离值或角度值为无效值，则取拍摄所述第二幅图像时的前后相隔预设时段的图像作为第二幅图像。
3.根据权利要求1所述的方法，其特征在于，所述符合预设标准的图像包括该图像的中部区域为欲拍摄的目标区域，拍摄时的拍摄设备的光轴与欲拍摄的目标区域的平面基本垂直，且拍摄时刻的距离值和拍摄角度值不属于无效值。
4.根据权利要求3所述的方法，其特征在于，所述拍摄时刻的距离值的无效值是基于拍摄时刻的距离标准差与第一阈值的比较，如拍摄时刻的距离标准差大于第一阈值则该时刻的距离值为无效值；
所示拍摄时刻的拍摄角度值的无效值是基于拍摄时刻的拍摄角度标准差与第二阈值的比较，如拍摄时刻的拍摄角度标准差大于第二阈值则该时刻的拍摄角度值为无效值。
5.根据权利要求1所述的方法，其特征在于，所述基于仿射变换矩阵，完成所述第二幅图像与所述第一幅图像的拼接包括：
对所述第二幅图像中的每个像素点的坐标进行仿射变换获得每个像素点在所述第一幅图像上的坐标；
基于每个像素点在第一幅图像上的坐标，完成所述第二幅图像和所述第一幅图像的拼接。
6.根据权利要求1所述的方法，其特征在于，所述距离信息包括拍摄时拍摄镜头距离目标的物距、拍摄时的镜头焦距、拍摄设备分辨率。
7.根据权利要求1所述的方法，其特征在于，所述目标区域为铁路混凝土桥梁梁体表面的伤损区域。
8.一种无人机图像拼接装置，其特征在于，该装置包括：
图像获取单元，用于拍摄图像；
图像处理单元，用于基于图像获取单元拍摄的图像序列，确定首幅有效图像为第一幅图像；
获取与首幅有效图像有重合区域的在图像序列上位于首幅有效图像之后的一幅图像为第二幅图像；
基于拍摄第二幅图像与第一幅图像时，无人机与拍摄目标之间的拍摄距离信息和拍摄角度信息，以及无人机的飞行速度信息，获得表示第二幅图像与第一幅图像变化的三维矩阵；
基于三维矩阵，完成第二幅图像与第一幅图像的拼接；
重复上述步骤，完成第三幅图像与上述拼接后图像的再次拼接，通过多幅图像的拼接获得包含目标区域的完整图像。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至7任一项所述方法的步骤。
CN202110103209.0A 2021-01-26 2021-01-26 一种无人机图像拼接方法、装置及存储介质 Pending CN112862678A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110103209.0A CN112862678A (zh) 2021-01-26 2021-01-26 一种无人机图像拼接方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110103209.0A CN112862678A (zh) 2021-01-26 2021-01-26 一种无人机图像拼接方法、装置及存储介质

Publications (1)

Publication Number Publication Date
CN112862678A true CN112862678A (zh) 2021-05-28

Family

ID=76009178

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110103209.0A Pending CN112862678A (zh) 2021-01-26 2021-01-26 一种无人机图像拼接方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN112862678A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118014832A (zh) * 2024-04-09 2024-05-10 深圳精智达技术股份有限公司 一种基于线性特征不变性的图像拼接方法及相关装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102982515A (zh) * 2012-10-23 2013-03-20 中国电子科技集团公司第二十七研究所 一种无人机图像实时拼接的方法
US20140168420A1 (en) * 2011-04-26 2014-06-19 Eads Deutschland Gmbh Method and System for Inspecting a Surface Area for Material Defects
CN107277346A (zh) * 2017-05-27 2017-10-20 深圳市金立通信设备有限公司 一种图像处理方法及终端
CN109829856A (zh) * 2019-01-30 2019-05-31 西安电子科技大学 一种桥梁裂缝信息融合方法
US20200027222A1 (en) * 2017-12-06 2020-01-23 Generalplus Technology Inc. Panoramic photographing method for unmanned aerial vehicle and unmanned aerial vehicle using the same
CN111507901A (zh) * 2020-04-15 2020-08-07 中国电子科技集团公司第五十四研究所 基于航带gps及尺度不变约束的航拍图像拼接定位方法
CN111830547A (zh) * 2020-06-19 2020-10-27 深圳大学 一种基于多源传感器融合的桥梁无人机检测方法及***
CN112163995A (zh) * 2020-09-07 2021-01-01 中山大学 一种超大航拍条带图像的拼接生成方法及装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140168420A1 (en) * 2011-04-26 2014-06-19 Eads Deutschland Gmbh Method and System for Inspecting a Surface Area for Material Defects
CN102982515A (zh) * 2012-10-23 2013-03-20 中国电子科技集团公司第二十七研究所 一种无人机图像实时拼接的方法
CN107277346A (zh) * 2017-05-27 2017-10-20 深圳市金立通信设备有限公司 一种图像处理方法及终端
US20200027222A1 (en) * 2017-12-06 2020-01-23 Generalplus Technology Inc. Panoramic photographing method for unmanned aerial vehicle and unmanned aerial vehicle using the same
CN109829856A (zh) * 2019-01-30 2019-05-31 西安电子科技大学 一种桥梁裂缝信息融合方法
CN111507901A (zh) * 2020-04-15 2020-08-07 中国电子科技集团公司第五十四研究所 基于航带gps及尺度不变约束的航拍图像拼接定位方法
CN111830547A (zh) * 2020-06-19 2020-10-27 深圳大学 一种基于多源传感器融合的桥梁无人机检测方法及***
CN112163995A (zh) * 2020-09-07 2021-01-01 中山大学 一种超大航拍条带图像的拼接生成方法及装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118014832A (zh) * 2024-04-09 2024-05-10 深圳精智达技术股份有限公司 一种基于线性特征不变性的图像拼接方法及相关装置

Similar Documents

Publication Publication Date Title
CN110415342B (zh) 一种基于多融合传感器的三维点云重建装置与方法
US9965870B2 (en) Camera calibration method using a calibration target
CN105469405B (zh) 基于视觉测程的同时定位与地图构建方法
CN106529538A (zh) 一种飞行器的定位方法和装置
CN109341668B (zh) 基于折射投影模型和光束追踪法的多相机测量方法
US7747106B2 (en) Method and system for filtering, registering, and matching 2.5D normal maps
CN113850126A (zh) 一种基于无人机的目标检测和三维定位方法和***
CN109900274B (zh) 一种图像匹配方法及***
US6175648B1 (en) Process for producing cartographic data by stereo vision
CN109871739B (zh) 基于yolo-sioctl的机动站自动目标检测与空间定位方法
CN104036542A (zh) 一种基于空间光线聚集性的像面特征点匹配方法
AliAkbarpour et al. Fast structure from motion for sequential and wide area motion imagery
AliAkbarpour et al. Parallax-tolerant aerial image georegistration and efficient camera pose refinement—without piecewise homographies
CN111583342B (zh) 一种基于双目视觉的目标快速定位方法及装置
CN113256731A (zh) 基于单目视觉的目标检测方法及装置
Bergström et al. Virtual projective shape matching in targetless CAD-based close-range photogrammetry for efficient estimation of specific deviations
Jafarzadeh et al. Crowddriven: A new challenging dataset for outdoor visual localization
CN116518864A (zh) 一种基于三维点云对比分析的工程结构全场变形检测方法
Fasiolo et al. Comparing LiDAR and IMU-based SLAM approaches for 3D robotic mapping
CN112862678A (zh) 一种无人机图像拼接方法、装置及存储介质
Jiang et al. A ball-shaped target development and pose estimation strategy for a tracking-based scanning system
CN116202487A (zh) 一种基于三维建模的实时目标姿态测量方法
CN114170281A (zh) 一种三维点云数据获取处理方法
CN112489240B (zh) 一种商品陈列巡检方法、巡检机器人以及存储介质
Neves et al. A calibration algorithm for multi-camera visual surveillance systems based on single-view metrology

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination