CN112435163A - 一种直线特征保护与网格优化的无人机航拍图像拼接方法 - Google Patents

一种直线特征保护与网格优化的无人机航拍图像拼接方法 Download PDF

Info

Publication number
CN112435163A
CN112435163A CN202011292721.6A CN202011292721A CN112435163A CN 112435163 A CN112435163 A CN 112435163A CN 202011292721 A CN202011292721 A CN 202011292721A CN 112435163 A CN112435163 A CN 112435163A
Authority
CN
China
Prior art keywords
grid
constraint
image
vertex
linear
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011292721.6A
Other languages
English (en)
Other versions
CN112435163B (zh
Inventor
刘强
王钧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dalian University of Technology
Original Assignee
Dalian University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dalian University of Technology filed Critical Dalian University of Technology
Priority to CN202011292721.6A priority Critical patent/CN112435163B/zh
Publication of CN112435163A publication Critical patent/CN112435163A/zh
Application granted granted Critical
Publication of CN112435163B publication Critical patent/CN112435163B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/18—Image warping, e.g. rearranging pixels individually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/35—Determination of transform parameters for the alignment of images, i.e. image registration using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Processing (AREA)

Abstract

一种直线特征保护与网格优化的无人机航拍图像拼接方法，属于图像处理技术领域。步骤为：S1输入两幅具有视差的无人机航拍图像，使用尽可能一致APAP算法预配准航拍图像，并获得全局单应性矩阵。S2对航拍图像进行网格划分获得局部单应性约束项。S3构建网格优化模型的总能量函数，在APAP算法中加入全局相似项约束项、全局单应性约束项、直线约束项对网格模型进行优化。S4在稀疏线性***中采用迭代优化的方法求解总能量函数，指导网格变形。S5将变形之后的图像映射到画布上，与参考图像进行像素融合，完成航拍图像拼接工作。本发明的拼接效果良好，具有一定视差容忍度，不仅解决航拍图像拼接的鬼影和失真问题，能够保护原先场景中的直线结构，可满足航拍图像拼接的实际要求。

Description

一种直线特征保护与网格优化的无人机航拍图像拼接方法
技术领域
本发明涉及图像处理技术领域，具体涉及到一种直线特征保护与网格优化的无人机航拍 图像拼接方法。
背景技术
无人机航拍技术具有轻便灵巧、不受时空地域限制等优点，可以在恶劣、危险的环境进 行信息获取，因此在各个领域得到了广泛应用。但是考虑到单张航拍图像涵盖的场景不能满 足研究人员对信息获取的要求，需要对其进行后期处理，将两幅或多幅具有重叠区域的图像 进行拼接得到范围更广、包含信息更多的高分辨率全景图像。
目前航拍图像拼接主要是基于单应性变换的方法，通过一个简单的全局变换将待拼接图 像与参考图像变换到同一平面，算法速度快，但是只适用于图像在同一视角的情况，航拍图 像之间往往存在视差，拼接后的图像会产生鬼影和明显的畸变，因此使用网格优化的方法来 解决单应性变换的问题。基于网格优化的航拍图像是指将待拼接图像换分为多个网格，分别 计算每个网格的变换矩阵指导网格变形，使图像更好的对齐并减少非重叠区域失真，主要算 法包括APAP、SPHP、AANAP、NISwGSP等。尽管这些算法各有优点，但是并不适用于实 际的航拍图像拼接工作。例如APAP算法最早提出网格的思想，图像对齐良好，但是会产生 严重的失真；SPHP和AANAP算法拼接速度较快，解决了图像的失真问题，但是造成原先场 景的直线的集合结构发生弯曲；NISwGSP算法同样没有解决好图像弯曲变形的问题。使用无 人机获得的航拍图像序列往往存在一定视差，要在保证拼接图像对齐的前提下，解决失真问 题并提高图像自然度，提高航拍图像拼接算法的性能显得尤为重要。
发明内容
本发明的目的是针对当前主流的无人机航拍图像拼接方法出现的鬼影、失真、结构变形 等问题，在APAP算法中加入全局相似性和直线特征保护两个约束项，对其进行改进，提供 了一种直线特征保护与网格优化的无人机航拍图像拼接方法。
为了达到上述目的，本发明采用的技术方案为：
一种直线特征保护与网格优化的无人机航拍图像拼接方法，包括如下步骤：
S1：输入两幅具有一定视差的航拍图像I1、I2，I1为参考图像、I2为待拼接图像，并采 用尽可能一致算法APAP(As-Projective-As-Possible)对航拍图像进行预配准。预配准具体为， 首先使用SIFT算法进行特征点提取与匹配，然后采用RANSAC算法筛除错误特征点，并计 算得到全局变换矩阵。
S2：对步骤S1中的航拍图像进行网格划分，得到网格顶点集。
S3：通过步骤S2得到的网格顶点集，构建网格优化模型的总能量函数，在APAP算法提 供的局部单应性约束项的基础上，加入全局相似性、局部相似性、直线保护三个约束项对网 格模型进行优化。
S4：在稀疏线性***中，采用迭代优化的方法求解总能量函数，指导网格变形。
S5：将变形之后的图像映射到画布上，与参考图像进行像素融合，完成航拍图像拼接工 作。
进一步的，所述S2对所述S1中航拍图像进行网格划分，得到网格顶点集。具体的，将 参考图像I1和待拼接图像I2，经过网格划分之后，使用2n维向量：
V2＝[x1 y1 x2 y2 … xn yn]T
来表示I2待优化的网格顶点坐标集，式中n为划分的顶点个数，x、y为网格顶点的横纵坐标。 同时使用向量：
V2′＝[x′1 y′1 x′2 y′2 … x′n y′n]T
来表示变形之后的网格顶点坐标集，式中x′、y′为待优化网格顶点的横纵坐标。V2′的求解过 程会在后面步骤中给出。
进一步的，所述S3中通过S2得到的网格顶点集，构建网格优化模型的总能量函数，在 原APAP算法提供的局部单应性约束项的基础上加入全局相似性、局部相似性、直线保护三 个约束项优化网格模型，以保护图像非重叠区域失真和直线几何结构弯曲的问题。具体步骤 为：
S3.1：定义网格能量函数。对于参考图像中任意一个采样点p(x,y)，可以使用它所在网 格顶点坐标的双线性插值来表示，即：
v(p)＝w1v1+w2v2+w3v3+w4v4
式中，w为采样点到网格顶点v的距离权重；这样一来对采样点施加的约束就相当于对其所 在网格顶点施加约束。则网格优化的总能量函数可定义为：
E′(V′2)＝λlhElh(V′2)+λlsEls(V′2)+λgsEgs(V′2)+λlEl(V′2)
式中，Elh(V′2)为局部单应性约束项、Els(V′2)为局部相似性约束，Egs(V′2)为全局相似性约 束，El(V′2)为直线保护约束，λ为各约束项的调节权重，λ越大对应的约束越强。四个约束 项的具体形式如步骤3.2-3.5。
S3.2：定义局部相似性约束。局部相似性约束项有助于保持网格之间变换的连续性，具 体表达式为：
Figure BDA0002784278360000031
其中，E′(j,k)为待拼接图像I2的边集合，vj和vk是网格边缘的两个端点，v′j和vk′为映射 到画布上的网格边缘顶点，Sjk表示网格边缘经历的相似变换。
S3.3：定义全局相似性约束。全局相似项可以减少图像配准的失真问题，本发明在重叠 区域以局部单应性和局部相似性为主保证充分对齐，在非重叠区域，借鉴NISwGSP算法的 思想以全局相似性为主增强保持性，减少Moving DLT方法对齐过程中造成的大视差场景的 图像畸变。具体表达式为：
Figure BDA0002784278360000032
wjk＝djk+β
Figure BDA0002784278360000033
式中，djk为网格边缘与重叠区域的距离，β为调节量，sI′和θI′分别为I′全局相似的尺度因 子和2D旋转角，vj和vk是网格边缘的两个端点，v′j和vk′为映射到画布上的网格边缘顶点。
S3.4：定义局部单应性约束项。局部单应项通过增强点对应解决对齐问题，具体表达式 为：
Figure BDA0002784278360000034
式中，M(p,q)为APAP算法得到的I和I2特征点集，p、q分别为I和I2上的特征点，WI和WI2分别为p、q所在网格的权值矩阵：
Figure BDA0002784278360000035
式中w′为前面提到的网格顶点的权重。
S3.5：定义直线保护约束项。尽管相似性变换在一定会程度上减弱了图像失真，但对于 图像存在视差的情况，加入相似性约束之后，场景直线结构的线条方向会发生明显弯曲，导 致拼接结果不自然。原因是在图像映射时，每个网格中的场景都是随着网格变换独立变换的， 若场景跨越两个及以上网格，就无法保证原先场景中的直线几何结构在变换之后仍在一条直 线上。直线保护约束项可以使单应性变换更加接近相机运动，保护场景中的直线结构，具体 表达式为：
Figure BDA0002784278360000041
式中，L为采集到的线段集合，m0和m1为采样线段的两个端点坐标，Si为当前点与m1形成 的四边形面积。
进一步的，所述S4在稀疏***中求解S3得到的总能量函数指导网格变形。具体的，将 约束项带入稀疏矩阵中得到：
Figure BDA0002784278360000042
式中，Jlj为约束项Elh(V′2)、Jls为约束项Els(V′2)、Jgs为约束项Egs(V′2)、Jl为约束项 El(V′2)在网格顶点集V2′对应的Jacob矩阵，ags为全局相似项的残差向量、al为直线约束项 的残差向量。求解上述方程组就可以求得最优顶点集V2′。
进一步的，所述S5中对航拍图像进行图像映射和像素融合。具体的，首先将参考图像I 映射到画布上，然后以其端点作为坐标原点，将得到的待拼接图像I2的网格顶点坐标减掉偏 移量也映射到画布上完成图像映射，最后通过简单线性加权融合得到全景航拍图像。
本发明的有益效果为：
本发明针对当前主流算法在拼接具有视差的航拍图像过程中出现的鬼影、失真、不自然 的问题，提出了一种直线结构保护与网格优化的无人机航拍图像拼接算法。首先使用APAP 算法进行预配准，经过网格划分，计算局部单应性约束性；接下来构架网格优化模型，定义 并求解包含全局相似项、局部相似项、局部单应项、直线保护项的总能量函数，得到变形后 的网格顶点集；最后根据求得的网格顶点将图像映射到画布中，并通过加权融合方法完成航 拍图像拼接工作。实验证明，本发明的拼接效果良好，具有一定的视差容忍度，不仅解决了 航拍图像拼接的鬼影和失真问题，同时能够保护原先场景中的直线结构，可以满足航拍图像 拼接的实际要求。
附图说明
图1是本发明的方法流程图。
图2是本发明实施例的参考图像与待拼接图像，其中(a)(b)(c)分别为三组具有重叠 区域航拍图像；
图3是本发明实施例中使用SIFT算法提取两幅图像特征后得到的图像，其中(a)为参 考图像提取特征点，(b)为待拼接图像提取的特征点；
图4是本发明实施例中改进APAP算法，加入直线特征约束后得到的图像，其中(a)为 参考图像提取直线特征，(b)为待拼接图像提取的直线特征；
图5是使用本发明所提算法与APAP算法拼接后得到的全景图像对比。其中(a)(b)(c) 分别为图2中三组航拍图像的拼接结果。
具体实施方式
为了本技术领域的人员更好的理解本发明，下面结合附图和以下实施例对本发明作进一 步详细描述。
参阅图1，本实施例提供一种直线特征保护与网格优化的无人机航拍图像拼接方法，包 括如下步骤：
S1：输入两幅具有一定视差的航拍图像I1、I2，如图2所示。采用As-Projective-As-Possible (APAP)算法进行预配准。预配准具体为，首先使用SIFT算法进行特征点提取与匹配，然 后采用RANSAC算法筛除错误特征点，并计算得到全局变换矩阵，如图3所示。
S2：对步骤S1中的航拍图像进行网格划分，得到网格顶点集。
S3：通过步骤S2得到的的网格顶点集，构建网格优化模型的总能量函数，在APAP算法 提供的局部单应性约束项的基础上，加入全局相似性、局部相似性、直线保护三个约束项对 网格模型进行优化，如图4所示。
S4：在稀疏线性***中，采用迭代优化的方法求解总能量函数，指导网格变形。
S5：将变形之后的图像映射到画布上，与参考图像进行像素融合，完成航拍图像拼接工 作，如图5所示。
具体的，所述S1中，使用As-Projective-As-Possible(APAP)算法预配准航拍图像。APAP 算法预配准具体为，首先使用SIFT算法进行特征点提取与匹配，然后采用RANSAC算法筛 除错误特征点，并计算得到全局变换矩阵。
进一步的，所述S2对所述S1中航拍图像进行网格划分，本实施例中设置网格尺寸为 80*80，并计算局部单应性约束项。具体的，
具体的，将参考图像I1和待拼接图像I2，经过网格划分之后，使用2n维向量：
V2＝[x1 y1 x2 y2 … xn yn]T
来表示I2待优化的网格顶点坐标集，式中n为划分的顶点个数，x、y为网格顶点的横纵坐标。 同时使用向量：
V2′＝[x′1 y′1 x′2 y′2 … x′n y′n]T
来表示变形之后的网格顶点坐标集，式中x′、y′为待优化网格顶点的横纵坐标。V2′的求 解过程会在后面步骤中给出。
进一步的，所述S3中通过S2得到的网格顶点集，构建网格优化模型的总能量函数，在 原APAP算法局部单应性约束项的基础上加入全局、局部相似性，直线保护约束项，以保护 图像非重叠区域失真和直线几何结构弯曲的问题。具体步骤为
S3.1：定义网格能量函数。对于参考图像中任意一个采样点p(x,y)，可以使用它所在网 格顶点坐标的双线性插值来表示，即：
v(p)＝w1v1+w2v2+w3v3+w4v4
式中，w为采样点到网格顶点v的距离权重；这样一来对采样点施加的约束就相当于对其所 在网格顶点施加约束。则网格优化的总能量函数可定义为：
E′(V′2)＝λlhElh(V′2)+λlsEls(V′2)+λgsEgs(V′2)+λlEl(V′2)
式中，Elh(V′2)为局部单应性约束项、Els(V′2)为局部相似性约束，Egs(V′2)为全局相似性约 束，El(V′2)为直线保护约束，λ为各约束项的调节权重，λ越大对应的约束越强。四个约束 项的具体形式如步骤3.2-3.5。本实施例中参数设置为λlh＝5、λls＝5、λgs＝100、λl＝5。
S3.2：定义局部相似性约束。局部相似性约束项有助于保持网格之间变换的连续性，具 体表达式为：
Figure BDA0002784278360000061
其中，E′(j,k)为待拼接图像I2的边集合，vj和vk是网格边缘的两个端点，v′j和vk′为映射 到画布上的网格边缘顶点，Sjk表示网格边缘经历的相似变换。
S3.3：定义全局相似性约束。全局相似项可以减少图像配准的失真问题，本发明在重叠 区域以局部单应性和局部相似性为主保证充分对齐，在非重叠区域，借鉴NISwGSP算法的 思想以全局相似性为主增强保持性，减少Moving DLT方法对齐过程中造成的大视差场景的 图像畸变。具体表达式为：
Figure BDA0002784278360000071
wjk＝djk+β
Figure BDA0002784278360000072
式中，djk为网格边缘与重叠区域的距离，β为调节量，sI′和θI′分别为I′全局相似的尺度因 子和2D旋转角，vj和vk是网格边缘的两个端点，v′j和vk′为映射到画布上的网格边缘顶点。
S3.4：定义局部单应性约束项。局部单应项通过增强点对应解决对齐问题，具体表达式 为：
Figure BDA0002784278360000073
式中，M(p,q)为APAP算法得到的I和I2特征点集，p、q分别为I和I2上的特征点，WI和WI2分别为p、q所在网格的权值矩阵：
Figure BDA0002784278360000074
式中w′为前面提到的网格顶点的权重。
S3.5：定义直线保护约束项。尽管相似性变换在一定会程度上减弱了图像失真，但对于 图像存在视差的情况，加入相似性约束之后，场景直线结构的线条方向会发生明显弯曲，导 致拼接结果不自然。原因是在图像映射时，每个网格中的场景都是随着网格变换独立变换的， 若场景跨越两个及以上网格，就无法保证原先场景中的直线几何结构在变换之后仍在一条直 线上。直线保护约束项可以使单应性变换更加接近相机运动，保护场景中的直线结构，本实 施例中直线匹配长度阈值为100，提取直线特征如图4所示，具体表达式为：
Figure BDA0002784278360000075
式中，L为采集到的线段集合，m0和m1为采样线段的两个端点坐标，Si为当前点与m1形成的四边形面积。
进一步的，所述S4在稀疏***中求解S3得到的总能量函数指导网格变形。具体的，将 约束项带入稀疏矩阵中得到：
Figure BDA0002784278360000081
式中，Jlj为约束项Elh(V′2)、Jls为约束项Els(V′2)、Jgs为约束项Egs(V′2)、Jl为约束项 El(V′2)在网格顶点集V′2对应的Jacob矩阵，ags为全局相似项的残差向量、al为直线约束项 的残差向量。求解上述方程组就可以求得最优顶点集V′2。
进一步的，所述S5中对航拍图像进行图像映射和像素融合。具体的，首先将参考图像I 映射到画布上，然后以其端点作为坐标原点，将得到的待拼接图像I2的网格顶点坐标减掉偏 移量也映射到画布上完成图像映射，最后通过简单线性加权融合得到全景航拍图像，如图5 所示。
仿真实验中使用的图片均为无人机实际拍摄图像，分辨率为4000*3000，如图2所示， 每组两幅图像之间存在重叠场景和一定的视差。图5为使用本发明所提算法与原APAP算法 拼接得到的全景图片对比，可以看出本发明较好的完成了拼接任务，既保证了原APAP算法 的对齐效果，又改善了重叠区域的失真和直线几何结构弯曲的问题，得到的全景图像更加自 然。
本发明与基于APAP算法的航拍图像拼接时间复杂度对比表如表1所示，可以看出本发 明能够在时间复杂度与原算法基本持平的前提下，图像拼接效果大大提高，算法的综合性能 更强。
表1算法时间复杂度对比(s)
Figure RE-GDA0002899253470000082
以上所述，仅为本发明的较佳实施例，并不用以限制本发明，本发明的专利保护范围以 权利要求书为准，凡是运用本发明的说明书及附图内容所作的等同结构变化，同理均应包含 在本发明的保护范围内。

Claims (4)

1.一种直线特征保护与网格优化的无人机航拍图像拼接方法，其特征在于，包括如下步骤：
S1：输入两幅具有一定视差的航拍图像I1、I2，I1为参考图像、I2为待拼接图像，并采用尽可能一致算法APAP进行预配准；
S2：对步骤S1中的航拍图像进行网格划分，得到网格顶点集；
S3：通过步骤S2得到的网格顶点集，构建网格优化模型的总能量函数，在APAP算法提供的局部单应性约束项的基础上，加入全局相似性、局部相似性、直线保护三个约束项对网格模型进行优化，具体步骤如下：
S3.1：定义网格能量函数；对于参考图像中任意一个采样点p(x,y)，采用其所在网格顶点坐标的双线性插值来表示，即：
v(p)＝w1v1+w2v2+w3v3+w4v4
式中，w为采样点到网格顶点v的距离权重；
对采样点施加的约束相当于对其所在网格顶点施加约束；则网格优化的总能量函数定义为：
E′(V′2)＝λlhElh(V′2)+λlsEls(V′2)+λgsEgs(V′2)+λlEl(V′2)
式中，Elh(V′2)为局部单应性约束项、Els(V′2)为局部相似性约束，Egs(V′2)为全局相似性约束，El(V′2)为直线保护约束，λ为各约束项的调节权重，λ越大对应的约束越强；
S3.2：定义局部相似性约束；局部相似性约束项有助于保持网格之间变换的连续性，其表达式为：
Figure FDA0002784278350000011
其中，E′(j,k)为待拼接图像I2的边集合，vj和vk是网格边缘的两个端点，v′j和vk′为映射到画布上的网格边缘顶点，Sjk表示网格边缘经历的相似变换；
S3.3：定义全局相似性约束；在重叠区域以局部单应性和局部相似性为主保证充分对齐，在非重叠区域，借鉴NISwGSP算法的思想以全局相似性为主增强保持性，减少MovingDLT方法对齐过程中造成的大视差场景的图像畸变；具体表达式为：
Figure FDA0002784278350000021
wjk＝djk+β
Figure FDA0002784278350000022
式中，djk为网格边缘与重叠区域的距离，β为调节量，sI′和θI′分别为I′全局相似的尺度因子和2D旋转角，vj和vk是网格边缘的两个端点，v′j和vk′为映射到画布上的网格边缘顶点；
S3.4：定义局部单应性约束项；局部单应项通过增强点对应解决对齐问题，具体表达式为：
Figure FDA0002784278350000023
式中，M(p,q)为APAP算法得到的I和I2特征点集，p、q分别为I和I2上的特征点，WI和
Figure FDA0002784278350000024
分别为p、q所在网格的权值矩阵：
Figure FDA0002784278350000025
式中，w′为前面提到的网格顶点的权重；
S3.5：定义直线保护约束项；直线保护约束项可以使单应性变换更加接近相机运动，保护场景中的直线结构，具体表达式为：
Figure FDA0002784278350000026
式中，L为采集到的线段集合，m0和m1为采样线段的两个端点坐标，Si为当前点与m1形成的四边形面积；
S4：在稀疏***中求解S3得到的总能量函数指导网格变形；
S5：对航拍图像进行图像映射和像素融合；具体的，首先将参考图像I映射到画布上，然后以其端点作为坐标原点，将得到的待拼接图像I2的网格顶点坐标减掉偏移量也映射到画布上完成图像映射，最后通过简单线性加权融合得到全景航拍图像。
2.根据权利要求1所述的一种直线特征保护与网格优化的无人机航拍图像拼接方法，其特征在于，所述步骤S1中预配准方式为：首先使用SIFT算法进行特征点提取与匹配，然后采用RANSAC算法筛除错误特征点，并计算得到全局变换矩阵。
3.根据权利要求1所述的一种直线特征保护与网格优化的无人机航拍图像拼接方法，其特征在于，所述S2中对所述S1中航拍图像进行网格划分，得到网格顶点集；具体的，将参考图像I1和待拼接图像I2，经过网格划分之后，得到2n维向量：
V2＝[x1 y1 x2 y2…xn yn]T
采用2n维向量表示I2待优化的网格顶点坐标集，式中n为划分的顶点个数，x、y为网格顶点的横纵坐标；
采用使用向量表示变形之后的网格顶点坐标集，式中x′、y′为待优化网格顶点的横纵坐标，使用向量为：
V2′＝[x′1 y′1 x′2 y′2…x′n y′n]T。
4.根据权利要求1所述的一种直线特征保护与网格优化的无人机航拍图像拼接方法，其特征在于，所述S4在稀疏***中求解S3得到的总能量函数指导网格变形；具体的，将约束项带入稀疏矩阵中得到：
Figure FDA0002784278350000031
式中，Jlj为约束项Elh(V′2)、Jls为约束项Els(V′2)、Jgs为约束项Egs(V′2)、Jl为约束项El(V′2)在网格顶点集V′2对应的Jacob矩阵，ags为全局相似项的残差向量、al为直线约束项的残差向量；求解上述方程组就可以求得最优顶点集V′2。
CN202011292721.6A 2020-11-18 2020-11-18 一种直线特征保护与网格优化的无人机航拍图像拼接方法 Active CN112435163B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011292721.6A CN112435163B (zh) 2020-11-18 2020-11-18 一种直线特征保护与网格优化的无人机航拍图像拼接方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011292721.6A CN112435163B (zh) 2020-11-18 2020-11-18 一种直线特征保护与网格优化的无人机航拍图像拼接方法

Publications (2)

Publication Number Publication Date
CN112435163A true CN112435163A (zh) 2021-03-02
CN112435163B CN112435163B (zh) 2022-10-18

Family

ID=74693183

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011292721.6A Active CN112435163B (zh) 2020-11-18 2020-11-18 一种直线特征保护与网格优化的无人机航拍图像拼接方法

Country Status (1)

Country Link
CN (1) CN112435163B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112967217A (zh) * 2021-03-11 2021-06-15 大连理工大学 一种基于直线特征匹配及约束的图像拼接方法
CN113313659A (zh) * 2021-04-25 2021-08-27 中国人民解放***箭军工程大学 一种多机协同约束下高精度图像拼接方法
CN114820314A (zh) * 2022-04-27 2022-07-29 Oppo广东移动通信有限公司 图像处理方法及装置、计算机可读存储介质和电子设备
CN116645496A (zh) * 2023-05-23 2023-08-25 北京理工大学 一种基于网格变形的拖挂车动态环视拼接与稳定方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109961398A (zh) * 2019-02-18 2019-07-02 鲁能新能源(集团)有限公司 风机叶片图像分割与网格优化拼接方法
CN110211043A (zh) * 2019-05-11 2019-09-06 复旦大学 一种用于全景图像拼接的基于网格优化的配准方法
CN110781903A (zh) * 2019-10-12 2020-02-11 中国地质大学（武汉） 基于网格优化和全局相似性约束的无人机图像拼接方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109961398A (zh) * 2019-02-18 2019-07-02 鲁能新能源(集团)有限公司 风机叶片图像分割与网格优化拼接方法
CN110211043A (zh) * 2019-05-11 2019-09-06 复旦大学 一种用于全景图像拼接的基于网格优化的配准方法
CN110781903A (zh) * 2019-10-12 2020-02-11 中国地质大学（武汉） 基于网格优化和全局相似性约束的无人机图像拼接方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
何川等: "具有直线结构保护的网格化图像拼接", 《中国图象图形学报》 *
石祥滨等: "基于控制点网格优化的航拍图像拼接算法", 《计算机应用与软件》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112967217A (zh) * 2021-03-11 2021-06-15 大连理工大学 一种基于直线特征匹配及约束的图像拼接方法
CN112967217B (zh) * 2021-03-11 2024-02-06 大连理工大学 一种基于直线特征匹配及约束的图像拼接方法
CN113313659A (zh) * 2021-04-25 2021-08-27 中国人民解放***箭军工程大学 一种多机协同约束下高精度图像拼接方法
CN113313659B (zh) * 2021-04-25 2024-01-26 中国人民解放***箭军工程大学 一种多机协同约束下高精度图像拼接方法
CN114820314A (zh) * 2022-04-27 2022-07-29 Oppo广东移动通信有限公司 图像处理方法及装置、计算机可读存储介质和电子设备
CN116645496A (zh) * 2023-05-23 2023-08-25 北京理工大学 一种基于网格变形的拖挂车动态环视拼接与稳定方法

Also Published As

Publication number Publication date
CN112435163B (zh) 2022-10-18

Similar Documents

Publication Publication Date Title
CN112435163B (zh) 一种直线特征保护与网格优化的无人机航拍图像拼接方法
Ji et al. Deep view morphing
CN107274337B (zh) 一种基于改进光流的图像拼接方法
CN107451952B (zh) 一种全景视频的拼接融合方法、设备以及***
CN110246161B (zh) 一种360度全景图像无缝拼接的方法
CN107767339B (zh) 一种双目立体图像拼接方法
CN109934772B (zh) 一种图像融合方法、装置及便携式终端
CN111553841B (zh) 一种基于最佳缝合线更新的实时视频拼接方法
CN111242848B (zh) 基于区域特征配准的双目相机图像缝合线拼接方法及***
CN112862683B (zh) 一种基于弹性配准和网格优化的邻接图像拼接方法
Li et al. A unified framework for street-view panorama stitching
CN108280805B (zh) 一种基于流形优化的图像拼接方法
CN116958437A (zh) 融合注意力机制的多视图重建方法及***
CN110580715B (zh) 一种基于照度约束和格网变形的图像对齐方法
Wan et al. Drone image stitching using local mesh-based bundle adjustment and shape-preserving transform
Lu et al. Multiperspective image stitching and regularization via hybrid structure warping
Meng et al. High-quality panorama stitching based on asymmetric bidirectional optical flow
CN112365589B (zh) 一种虚拟三维场景展示方法、装置及***
Rui et al. Research on fast natural aerial image mosaic
CN109087250B (zh) 基于规则边界约束的图像拼接方法
Shibayama et al. Reconstruction of 3D surface and restoration of flat document image from monocular image sequence
CN114118367B (zh) 增量式神经辐射场构建的方法及设备
Sun et al. Image stitching with weighted elastic registration
Kawasaki et al. Super‐resolution omnidirectional camera images using spatio‐temporal analysis
JPH0223473A (ja) ３次元形状モデルへの濃淡付与方法及び装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant