CN111008932B - 一种基于图像筛选的全景图像拼接方法 - Google Patents

一种基于图像筛选的全景图像拼接方法 Download PDF

Info

Publication number
CN111008932B
CN111008932B CN201911245280.1A CN201911245280A CN111008932B CN 111008932 B CN111008932 B CN 111008932B CN 201911245280 A CN201911245280 A CN 201911245280A CN 111008932 B CN111008932 B CN 111008932B
Authority
CN
China
Prior art keywords
image
images
image group
similarity
group
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201911245280.1A
Other languages
English (en)
Other versions
CN111008932A (zh
Inventor
阎维青
魏鑫
顾美琪
苏凯祺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yantai University
Original Assignee
Yantai University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yantai University filed Critical Yantai University
Priority to CN201911245280.1A priority Critical patent/CN111008932B/zh
Publication of CN111008932A publication Critical patent/CN111008932A/zh
Application granted granted Critical
Publication of CN111008932B publication Critical patent/CN111008932B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于图像筛选的全景图像拼接方法，该方法包括以下步骤：根据图像间的相似度矩阵提出图像筛选算法，将冗余图像移除出原始图像组；基于筛选后的图像组的权重矩阵，求出最优基准图像，确定拼接序列并对筛选后的图像组进行分组，分为多个小图像组；小图像组与小图像组之间先进行相似变换，获取初始化的配准参数，然后根据拼接序列，相邻图像间在透视约束下通过单应性模型对初始化的配准参数进行细化。本发明通过无人机对目标区域采集到的多幅具有重叠区域的图像进行筛选，将冗余图像移除出图像组，最终通过筛选的图像组拼接出目标区域的全景图像。

Description

一种基于图像筛选的全景图像拼接方法
技术领域
本发明涉及全景图像拼接领域，尤其涉及一种基于无人机对目标区域采集多幅具有重叠区域图像，进行基于图像筛选的全景图像拼接技术。
背景技术
无人机遥感是一种新的遥感手段，因其具有高效，灵活，快速，低成本以及高分辨率等特点，近年来呈现出了良好的发展势头。但是，由于无人机遥感平台在航拍过程中，受到飞行高度以及相机焦距等限制，所获取的单幅图像范围较小，往往无法覆盖整个所需区域，因此将获取的多幅小视角的遥感图像拼接成一副大视角的全景图像成为一门重要的技术。
全景图像拼接可以将多幅相邻的小视角图像拼接成大视角的全景图像。图像拼接是通过投影扭曲(例如圆柱、球面或透视)将所有图像映射到一个公共坐标系上。由于镜头的不规则移动，图像间存在一定的视差，拼接后的全景图片几乎不可避免地存在局部拼接精度不够(图1(a))和全局形变积累严重等问题(图1(b))。
为了提升拼接质量，Konolige et al[1]提出使用光束平差法来进行全局优化，该算法可以使全局重投影误差降至最小。为了避免非线性优化，Kekec et al[2]采用仿射模型来初始化对齐并且采用单应性模型来进行全局优化。随着拼接图像的增多，透视形变的积累会越来越多，为了避免这个问题，Caballero et al[3]提出根据图像的配准质量对图像采用分层模型进行配准，该模型对大视差图像配准具有较小的自由度，该算法的本质是在提高配准精度和降低形变积累之间获得一个权衡。
对于大视角图像拼接问题，利用图像间的拓扑关系来提高图像的拼接质量也是一种非常高效的方案。为了高效的估算图像间的拓扑关系，Elibol et al[4]采用了粗略的特征点匹配结合最小生成树的算法来检测图像间的重叠关系。关于基准图像的选择，Richardet al[5]表明最合适的选择是最靠近全景图像中心的图像，因为中心图像到达其他所有图像的平均最短路径最短，这样可以使形变积累达到最少。为了实现这一算法，Choe et al[6]通过图论的算法选出了最优基准图像，但前提是需要提前计算每一对图像间的形变误差。M.Xia et al [7]提出了一个配准模型，先通过仿射模型进行初始化配准，然后相邻图像间再通过单应性模型对参数进行细化。
上述方法可以将多幅图像拼接成一幅完整的全景图像，但是随着拼接数量的增多，数据会出现冗余，产生很多不必要的计算。
发明内容
本发明提供了一种基于图像筛选的全景图像拼接方法，本发明通过无人机对目标区域采集到的多幅具有重叠区域的图像进行筛选，将冗余图像移除出图像组，最终通过筛选的图像组拼接出目标区域的全景图像，详见下文描述：
一种基于图像筛选的全景图像拼接方法，所述方法包括以下步骤：
根据图像间的相似度矩阵提出图像筛选算法，将冗余图像移除出原始图像组；
基于筛选后的图像组的权重矩阵，求出最优基准图像，确定拼接序列并对筛选后的图像组进行分组，分为多个小图像组；
小图像组与小图像组之间先进行相似变换[9]，获取初始化的配准参数，然后根据拼接序列，相邻图像间在透视约束下通过单应性模型[10]对初始化的配准参数进行细化。
进一步地，所述根据图像筛选、相似度矩阵将冗余图像移除出原始图像组具体为：
1)基于原始图像组的相似度矩阵，设定相似度阈值；
2)判断当前图像组相似度矩阵中的最大值是否大于相似度阈值，如果是，选出当前图像组中相似度最高的两幅图像，将其中一幅图像判定为冗余图像，移除出图像组；
3)重复步骤2)的操作，直至当前图像组的相似度矩阵中的最大值小于相似度阈值。
其中，所述将其中一幅图像判定为冗余图像具体为：分别计算删除每张图像后，剩余图像组中所有图像之间的相似度之和，然后将删除后使相似度之和最小的图像定为冗余图像。
所述基于筛选后的图像组的权重矩阵，求出最优基准图像具体为：
基于图像的相似度矩阵，建立筛选后所有图像之间的权重矩阵，基于权重矩阵运行最短路径算法，计算每个点到达其他所有点的最短路径的权重之和；将最短路径权重之和最小的点所代表的图像作为最优基准图。
所述确定拼接序列具体为：
基于图像组的权重矩阵，以代表最优基准图的点为起点，运用广度优先遍历算法，将所得点的序列作为图像的拼接序列。
所述方法还包括：
小图像组与小图像组之间先进行相似变换，获取初始化的配准参数，然后根据拼接序列，相邻图像间在透视约束下通过单应性模型对初始化的配准参数进行细化；通过最小化总能量函数来获得最优解。
本发明提供的技术方案的有益效果是：
1、本方法在保证最终拼接结果的完整性以及质量的前提下，对采集的小视角图像组中的冗余图像进行筛选，大大提高了拼接速率；
2、本发明克服了大数据集下透视形变的积累，对图像进行分组，图像组与图像组之间通过相似变换模型进行初始化配准，获得良好的全局一致性；
3、本方法基于图像间的拓扑结构，在相邻图像间进行单应性配准，在局部获得了良好的拼接效果；
4、实验结果表明，本方法能有效地将冗余图像移除出图像组，生成的大视角全景图的质量和完整性与全部图像拼接所得的效果相差不大。
附图说明
图1为全景图像拼接过程中遇到的问题；
其中，(a)为局部拼接精度不高，出现重影或错位；(b)为形变积累严重，最终的拼接效果缺乏全局一致性。
图2为基于图像筛选的全景图像拼接方法的流程图；
图3为对61幅图像选取最优基准图，并以最优基准图为起点，运行广度优先遍历，得到的拼接序列在空间上的表示图；
图4为对61幅图像以及筛选后图像的拓扑结构分析示意图；
其中，(a)为原图像组的拓扑结构；(b)为经过筛选后的图像组(包含31幅图像)的拓扑结构。
图5为对61幅图像以及筛选后图像拼接的结果示意图；
其中，(a)为原图像组拼接成的全景图像；(b)为经过筛选后的图像组(包含31幅图像) 拼接成的全景图像。
图6为对744幅图像以及筛选后的图像的拓扑结构分析示意图；
其中，(a)为原图像组的拓扑结构；(b)为经过筛选后的图像组(包含375幅图像)的拓扑结构。
图7为对744幅图像以及筛选后的图像拼接的结果示意图。
其中，(a)为原图像组拼接成的全景图像；(b)为经过筛选后的图像组(包含375幅图像) 拼接成的全景图像。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。
实施例1
参见图1，在全景图像拼接过程中，随着图像拼接数量的增多，数据会出现冗余现象，产生不必要的计算，降低了拼接速率。为了解决上述问题，本发明实施例提出了一种基于图像筛选的全景图像拼接方法，参见图2，该方法包括以下步骤：
101：快速获取图像组的相似度矩阵，提出图像筛选算法，从而将冗余图像移除出原始图像组；
102：基于筛选后的图像组的权重矩阵，求出最优基准图像，确定拼接序列并对筛选后的图像组进行分组，分为多个小图像组；
103：小图像组与小图像组之间先进行相似变换，获取初始化的配准参数，然后根据拼接序列，相邻图像间在反透视约束下通过单应性模型对初始化的配准参数进行细化。
实施例2
下面结合具体的实例对实施例1中的方案进行进一步地介绍，详见下文描述：
201：基于无人机对目标区域进行拍摄，获取多幅连续的具有重叠区域的图像，作为原始图像组；
其中，通过本步骤的操作可以获取目标区域的图像信息。
202：对原始图像组进行粗略的特征点匹配，求出图像间的相似度矩阵；
其中，该步骤202具体为：
根据两幅图像特征点匹配的个数，建立所有图像(Ii i＝1,....,N，N表示原始图像个数)之间的相似度矩阵M，其中第i幅图像和第j幅图像之间的相似度M(i,j)可表示为：
Figure GDA0002979280250000041
其中，p为图像i中特征点的个数，q表示图像j中特征点的个数。m和n表示图像i和图像j中的特征点序号，特征点m和n如果匹配，vmn记为1，否则记为0。
上述计算特征点匹配的方法是通过SURF(Speeded up robust features)[8-10]算法进行特征点的提取，然后对每幅图像提取的特征点进行筛选，每幅图像只保留从高斯金字塔第一层中提取的特征点，最后每幅图像用筛选后的特征点与剩余其他的图像一一进行特征点匹配。
203：基于图像间的相似度矩阵，提出图像筛选算法，将冗余图像移除出原始图像组；
其中，该步骤203包括：
基于前一步得到的原始图像组的相似度矩阵M，(1)设定相似度阈值；(2)判断当前图像组相似度矩阵中的最大值是否大于相似度阈值，如果大于相似度阈值，选出当前图像组中相似度最高的两幅图像，将其中一张图像判定为冗余图像，移除出图像组；(3)重复步骤(2) 的操作，直到当前图像组的相似度矩阵中的最大值小于相似度阈值。
进一步地，判定其中一张图像是否为冗余图像的公式为：
Figure GDA0002979280250000051
其中，a,b表示相似度最高的两幅图像的编号，n表示当前图像组中图像的个数，分别计算删除每张图像后，剩余图像组中所有图像之间的相似度之和，然后将删除后使相似度之和最小的图像定为冗余图像。
例如，有5张图像A-E，其中图像A和图像B是相似度最高的两幅图像。删除图像A，计算剩下B-E这四幅图像两两之间的相似度之和，删除图像B，计算A，C-E 这四幅图像两两之间的相似度之和。如果删除图像A所得的相似度之和小于删除图像
B所得的相似度之和，则将图像A定为冗余图像，将其从图像组中移除，对图像B不作操作。反之，将图像B定为冗余图像，将其从图像组中移除，对图像A不作操作。
204：基于筛选后图像组的权重矩阵，找到最优基准图，确定拼接序列并对图像进行分组；
其中，该步骤204包括：
寻找最优基准图的方法如下：首先基于图像的相似度矩阵M，建立筛选后所有图像之间的权重矩阵W，其中图像i和图像j之间的权重定义如下：
Figure GDA0002979280250000061
其中，ε为平衡权重，inf为无穷大，In为求自然对数。
然后基于权重矩阵W，运行最短路径算法，计算每个点到达其他所有点的最短路径的权重之和，将最短路径权重之和最小的点所代表的图像作为最优基准图，用字母 O来表示。
例如，有5张图像A-E以及它们的权重矩阵，运行最短路径算法，计算图像A分别到达B-E四副图像的最短路径，然后求得四条最短路径的权重之和，以此类推，计算出每幅图像到达剩余四幅图像的最短路径，求得每幅图像对应的四条最短路径的权重之和。如果图像A到达其余四副图像的最短路径的权重之和最小，则将图像A设置为最优基准图。
确定拼接顺序的方法如下：基于图像组的权重矩阵W，以代表最优基准图的点O 为起点，运用广度优先遍历算法，将所得点的序列作为图像的拼接序列。如图3所示，图3为61幅图像在空间上的关系图，每个点代表一幅图像，点与点之间的连线表示图像有重叠关系，点上的数字代表了图像的拼接次序，点0代表最优基准图，其他点上的数字表示基于权重矩阵W，以点0为起点，运行广度优先遍历算法，依次得到点的顺序，并将此作为全景图像进行拼接的顺序。
对图像进行分组的方法如下：设定每组图像组包含图像的个数s(s小于图像组中图像的个数n)，将图像序列中第1到s幅图像设定为第一组G1＝{Ii i＝1,2,...,s}，第s+1到2s幅图像设定为第二组G2＝{Ii i＝s+1,s+2,...,2s},……，直到剩余图像数量小于s，将剩余图像设置为最后一组图像Gm＝{Ii i＝(m-1)s+1,i＝(m-1)s+2,...,n}。
205：图像全局相似变换与局部透视变换相结合的图像配准方法；
其中，该步骤205具体为：
为了获得良好的全局一致性，防止形变误差的积累，通过相似变换模型进行图像组与图像组之间的初始化配准。
将图像组Gm的相似变换模型的参数集合设为
Figure GDA0002979280250000079
，
Figure GDA0002979280250000078
表示图像组Gm中第i幅图像变换到最优基准图O的相似变换矩阵，n1为图像组Gm中图像的个数；与图像组Gm相邻的图像组Gm+的相似变换模型的参数集合设为
Figure GDA00029792802500000710
，
Figure GDA0002979280250000071
表示图像组Gm+1中第j幅图像变换到最优基准图O的相似变换矩阵，n2为图像组Gm+1中图像的个数，其中初始化配准的能量函数是：
E(S)＝E1(S|Gm,Gm+1)+E2(Sm|Gm) (4)
其中，E1(S|Gm,Gm+1)代表图像组Gm和它相邻图像组Gm+1配准误差之和， S＝SmUSm+1，代表图像组Gm和图像组Gm+1的相似变换模型的参数集合的并集。
Figure GDA0002979280250000072
E2(Sm|Gm)代表图像组Gm内部具有重叠区域的图像之间的配准误差之和，它的定义为：
Figure GDA0002979280250000073
其中，
Figure GDA0002979280250000074
t(x)代表对非齐次坐标x的变换，
Figure GDA0002979280250000075
代表图像i变换到最优基准图O的相似变换矩阵，
Figure GDA0002979280250000076
为图像i与图像j的第k 个匹配点在图像i上的二维坐标，Mi,j代表图像i和图像j匹配点的个数。
为了获得最优的全局一致性效果，通过最小化总能量函数来获得最优解。通过上述操作，获得了所有图像变换到最优基准图O的相似变换矩阵的集合：
X＝{SIi,i＝1,2,...n}，其中
Figure GDA0002979280250000077
为图像i变换到最优基准图O的相似变换矩阵，n为图像组的图像总个数。为了提高全景图像局部重叠区域的配准精度，接下来通过单应性模型进行优化。
单应性变换矩阵优化过程如下：将相似变换矩阵
Figure GDA0002979280250000088
的参数设置为单应性变换矩阵
Figure GDA00029792802500000810
的初始化参数，对变换矩阵
Figure GDA0002979280250000089
的优化公式如下：
E(H)＝E1(H)+λE2(H) (7)
其中，λ是平衡E1(H)和E2(H)的权重系数；E1(H)的目的是使图像间特征点配准误差的平方和最小，获得良好的局部配准效果，定义如下：
Figure GDA0002979280250000081
其中，
Figure GDA0002979280250000082
Figure GDA0002979280250000083
代表图像i变换到最优基准图O的单应性变换矩阵，
Figure GDA0002979280250000084
为图像j变换到最优基准图O的单应性变换矩阵，
Figure GDA0002979280250000085
为图像i和图像j的第k对匹配点在图像i上的二维点坐标，
Figure GDA0002979280250000086
为图像j和图像i的第k对匹配点在图像i上的二维点坐标。
E2(H)的目的是保持全局一致性，防止透视形变的严重积累。因此在用单应性模型进行优化时，单应性模型参数应该接近初始化的相似变换模型参数，防止在特征点变换过程中点的位移过大，定义如下：
Figure GDA0002979280250000087
通过对每幅图像单应性变换矩阵
Figure GDA00029792802500000811
的参数进行细化，将优化的结果作为每幅图像最后进行拼接的变换矩阵。
实施例3
为了验证该方法的有效性，在本节中对两组由无人机采集的图像集进行了实验，将用原图像组生成的全景图像与筛选后的图像组生成的全景图像进行比较。图4是61幅图像筛选前以及筛选后的拓扑结构对比，图4(a)是原始图像组的拓扑结构，图4(b)是经过筛选后图像组的拓扑结构，图5是对61幅图像筛选前以及筛选后的拼接结果对比，图5(a)是原始图像组的拼接结果，图5(b)是经过筛选后图像组的拼接结果；图6是对744幅图像筛选前以及筛选后的拓扑结构对比，图6(a)是原始图像组的拓扑结构，图6(b)是经过筛选后图像组的拓扑结构，图7是744幅图像筛选前以及筛选后的拼接结果对比，图7(a)是原始图像组的拼接结果，图7(b)是经过筛选后图像组的拼接结果。
实验结果表明了该方法的有效性，该方法可以在保证最终拼接结果的完整性和质量的前提下，将冗余图像移除出图像组，提高了拼接速率。
参考文献
[1]K.Konolige,Sparse sparse bundle adjustment,in:British MachineVision Conference,2010, pp.1–10.
[2]A.Y.Taygun Kekec,M.Unel,A new approach to real-time mosaicing ofaerialimages,Robot. Auton.Syst.62(12)(2014)1755–1767.
[3]F.Caballero,L.Merino,J.Ferruz,A.Ollero,Homography based Kalmanfilter for mosaic building.applications to UAV position estimation,in:Proceedings of the IEEE International Conference on Robotics and Automation,2007,pp.2004–2009
[4]A.Elibol,N.Gracias,R.Garcia,Fast topology estimation for imagemosaicing using adaptive information thresholding,Robot.Auton.Syst.61(2)(2013)125–136.
[5]R.Szeliski,Image alignment and stitching:a tutorial,Found.TrendsComput.Graph.Vis.2(1) (2006)1–104.
[6]T.E.Choe,I.Cohen,M.Lee,G.Medioni,Optimal global mosaic generationfrom retinal images,in:Proceedings of the IEEE International Conference onPattern Recognition,Vol.3, 2006,pp.681–684
[7]M.Xia,J.Yao,R.Xie,L.Li,and W.Zhang.Globally consistent alignmentfor planar mosaicking via topology analysis.Pattern Recognition,66:239–252,2017.
[8]Bay,Herbert,Tinne Tuytelaars,and Luc Van Gool."Surf:Speeded uprobust features."European conference on computer vision.Springer,Berlin,Heidelberg,2006.
[9]Taussky O,Zassenhaus H.On the similarity transformation between amatirx and its transpose[J].Pacific Journal of Mathematics,1959,9(3):893-896.
[10]Dubrofsky E.Homography Estimation[D].UNIVERSITY OF BRITISHCOLUMBIA (Vancouver,2009.
本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种基于图像筛选的全景图像拼接方法，其特征在于，所述方法包括以下步骤：
根据图像间的相似度矩阵提出图像筛选算法，将冗余图像移除出原始图像组；
基于筛选后的图像组的权重矩阵，求出最优基准图像，确定拼接序列并对筛选后的图像组进行分组，分为多个小图像组；
小图像组与小图像组之间先进行相似变换，获取初始化的配准参数，然后根据拼接序列，相邻图像间在反透视约束下通过单应性模型对初始化的配准参数进行细化；
其中，所述根据图像组根据相似度矩阵提出图像筛选算法，将冗余图像移除出原始图像组具体为：
1)基于原始图像组的相似度矩阵，设定相似度阈值；
2)判断当前图像组相似度矩阵中的最大值是否大于相似度阈值，如果是，选出当前图像组中相似度最高的两幅图像，将其中一幅图像判定为冗余图像，移除出图像组；
3)重复步骤2)的操作，直至当前图像组的相似度矩阵中的最大值小于相似度阈值；
所述将其中一幅图像判定为冗余图像具体为：分别计算删除每张图像后，剩余图像组中所有图像之间的相似度之和，然后将删除后使相似度之和最小的图像定为冗余图像。
2.根据权利要求1所述的一种基于图像筛选的全景图像拼接方法，其特征在于，所述基于筛选后的图像组的权重矩阵，求出最优基准图像具体为：
基于图像的相似度矩阵，建立筛选后所有图像之间的权重矩阵，基于权重矩阵运行最短路径算法，计算当前图像上的某个点到达其他图像上的某个点的最短路径的权重之和；将最短路径权重之和最小的点所代表的图像作为最优基准图。
3.根据权利要求1所述的一种基于图像筛选的全景图像拼接方法，其特征在于，所述确定拼接序列具体为：
基于图像组的权重矩阵，以代表最优基准图的点为起点，运用广度优先遍历算法，将所得点的序列作为图像的拼接序列。
4.根据权利要求1所述的一种基于图像筛选的全景图像拼接方法，其特征在于，所述小图像组与小图像组之间先进行相似变换，获取初始化的配准参数，然后根据拼接序列，相邻图像间在反透视约束下通过单应性模型对初始化的配准参数进行细化具体为：
小图像组与小图像组之间先进行相似变换，获取初始化的配准参数，然后根据拼接序列，相邻图像间在透视约束下通过单应性模型对初始化的配准参数进行细化；通过最小化总能量函数来获得最优解。
CN201911245280.1A 2019-12-06 2019-12-06 一种基于图像筛选的全景图像拼接方法 Expired - Fee Related CN111008932B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911245280.1A CN111008932B (zh) 2019-12-06 2019-12-06 一种基于图像筛选的全景图像拼接方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911245280.1A CN111008932B (zh) 2019-12-06 2019-12-06 一种基于图像筛选的全景图像拼接方法

Publications (2)

Publication Number Publication Date
CN111008932A CN111008932A (zh) 2020-04-14
CN111008932B true CN111008932B (zh) 2021-05-25

Family

ID=70115500

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911245280.1A Expired - Fee Related CN111008932B (zh) 2019-12-06 2019-12-06 一种基于图像筛选的全景图像拼接方法

Country Status (1)

Country Link
CN (1) CN111008932B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113222817A (zh) * 2021-05-13 2021-08-06 哈尔滨工程大学 基于图像特征提取的12路视频图像拼接以及图像配准方法
CN115713700B (zh) * 2022-11-23 2023-07-28 广东省国土资源测绘院 一种空地协同的典型农作物种植样本采集方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101950426A (zh) * 2010-09-29 2011-01-19 北京航空航天大学 一种多摄像机场景下车辆接力跟踪方法
CN102169576A (zh) * 2011-04-02 2011-08-31 北京理工大学 一种图像拼接算法定量评价方法
KR101464218B1 (ko) * 2014-04-25 2014-11-24 주식회사 이오씨 파노라마 카메라 영상 처리 장치 및 방법
CN109658370A (zh) * 2018-11-29 2019-04-19 天津大学 基于混合变换的图像拼接方法
CN109741240A (zh) * 2018-12-25 2019-05-10 常熟理工学院 一种基于层次聚类的多平面图像拼接方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107274346A (zh) * 2017-06-23 2017-10-20 中国科学技术大学 实时全景视频拼接***

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101950426A (zh) * 2010-09-29 2011-01-19 北京航空航天大学 一种多摄像机场景下车辆接力跟踪方法
CN102169576A (zh) * 2011-04-02 2011-08-31 北京理工大学 一种图像拼接算法定量评价方法
KR101464218B1 (ko) * 2014-04-25 2014-11-24 주식회사 이오씨 파노라마 카메라 영상 처리 장치 및 방법
CN109658370A (zh) * 2018-11-29 2019-04-19 天津大学 基于混合变换的图像拼接方法
CN109741240A (zh) * 2018-12-25 2019-05-10 常熟理工学院 一种基于层次聚类的多平面图像拼接方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Globally consistent alignment for planar mosaicking via topology analysis;Xia menghan，et al;《Pattern Recognition》;20171231(第66期);参见第1-14页 *
On the similarity transformation between a matrix and its transpose;Taussky O,Zassenhaus H.;《Pacific Journal of Mathematics》;19591231;第9卷(第3期);第893-896页 *
一种改进的快速全景图像拼接算法;常伟等;《电子测量技术》;20170731;第40卷(第7期);第90-94、99页 *

Also Published As

Publication number Publication date
CN111008932A (zh) 2020-04-14

Similar Documents

Publication Publication Date Title
CN110853075B (zh) 一种基于稠密点云与合成视图的视觉跟踪定位方法
CN112233181B (zh) 6d位姿识别的方法、装置及计算机存储介质
CN108198230A (zh) 一种基于散乱图像的作物果实三维点云提取***
CN107767339B (zh) 一种双目立体图像拼接方法
CN109118544B (zh) 基于透视变换的合成孔径成像方法
CN110717936B (zh) 一种基于相机姿态估计的图像拼接方法
Elibol et al. Fast topology estimation for image mosaicing using adaptive information thresholding
CN108171249B (zh) 一种基于rgbd数据的局部描述子学习方法
CN111008932B (zh) 一种基于图像筛选的全景图像拼接方法
Elibol et al. Efficient image mosaicing for multi-robot visual underwater mapping
WO2021035627A1 (zh) 获取深度图的方法、装置及计算机存储介质
CN113706619A (zh) 一种基于空间映射学习的非合作目标姿态估计方法
CN106204507B (zh) 一种无人机图像拼接方法
CN113793266A (zh) 一种多目机器视觉图像拼接方法、***及存储介质
Holzer et al. Multilayer adaptive linear predictors for real-time tracking
CN114663880A (zh) 基于多层级跨模态自注意力机制的三维目标检测方法
CN114022525A (zh) 基于深度学习的点云配准方法、装置、终端设备及介质
Elibol et al. Fast underwater image mosaicing through submapping
CN117848234A (zh) 物体扫描机构、方法及相关设备
CN116051658B (zh) 基于双目视觉进行目标检测的相机手眼标定方法及装置
RU2384882C1 (ru) Способ автоматической компоновки ландшафтных панорамных изображений
CN115456870A (zh) 基于外参估计的多图像拼接方法
CN116664622A (zh) 一种视觉运动控制方法和装置
JP2007280032A (ja) 画像処理装置および方法、プログラム
JP2005063012A (ja) 全方位カメラ運動と３次元情報の復元方法とその装置及びプログラム並びにこれを記録した記録媒体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20210525

Termination date: 20211206

CF01 Termination of patent right due to non-payment of annual fee