CN113052765A - 基于最优栅格密度模型的全景图像拼接方法 - Google Patents

Abstract

本发明公开了基于最优栅格密度模型的全景图像拼接方法，用于满足军民领域在大视场监视的用户需求，包括以下步骤：1)获取待拼接的多帧图像；2)根据图像类型进行RGB到YUV空间转换，得到亮度矩阵Y；3)采用特征描述算子提取多帧图像的特征点；4)特征点筛选，剔除不理想特征点；5)建立栅格密度模型，计算多特征最优栅格密度；6)按栅格选取最优特征点；7)计算相邻图像配准的单应性变换矩阵；8)通过单应性矩阵对多帧图像进行拼接处理，并利用渐入渐出方法对相邻图像进行融合，消除拼接缝隙。本发明提供的方法拼接形成的全景图像更加真实地反映了现实场景，避免了拼接错位、锯齿现象明显的问题，拼接图像无缝隙。

Description

基于最优栅格密度模型的全景图像拼接方法

技术领域

本发明属于光电图像处理技术领域，尤其涉及基于最优栅格密度模型的全景图像拼接方法。

背景技术

图像拼接将一组具有重叠区域的低分辨率或小视角图像，经过畸变校正、拼接、融合处理，组合成一幅高分辨率、大视角的全景图像，在军民监视领域得到越来越广泛的应用。在民用领域：典型应用包括大面积、高精度、真实场景地图测绘，医学影像合成，虚拟现实场景的构建，汽车全景驾驶辅助***等；在军用领域：典型应用包括坦克全景巡视***；潜艇全景支持***等。图像拼接根据配准方法主要可以分为三类：第一类是基于相位相关的图像拼接，该类算法将输入图像序列先进行傅立叶变换，利用图像变换后的互功率谱中的相位信息计算图像间的相对位移；第二类是基于几何区域相关的图像拼接，该类算法是通过在图像像素点灰度级上，对输入图像的部分几何子区域进行相关运算来进行匹配，从而完成图像拼接；第三类是基于特征的图像拼接，该类算法首先提取输入图像的特征，然后通过特征匹配，来完成图像配准，从而完成图像拼接。现有全景图像拼接技术存在以下缺点：(1)大视场拼接时，全景图像失真严重；(2)全景图像局部区域拼接错位，锯齿现象明显；(3)相邻图像存在拼接缝隙，图像色差突出。

发明内容

发明目的：本发明所要解决的技术问题是针对现有技术的不足，提供基于最优栅格密度模型的全景图像拼接方法，有效提升图像拼接的成功率。

为了解决上述技术问题，本发明公开了一种基于最优栅格密度模型的全景图像拼接方法，具体步骤如下：

步骤1，获取待拼接的多帧图像，相邻帧图像间具有重合区，将具有重合区域的相邻两张图像划分为一组，标记为图像I₁和图像I₂，对每组中的两张图像进行步骤2～步骤8操作。

步骤2，根据图像类型对每组中的两幅图像进行RGB到YUV空间转换，得到亮度矩阵Y；常见图像类型包括彩色或灰度类型，根据图像类型采用不同方法获取图像亮度矩阵；

步骤3：选取N种特征提取算子，分别对图像I₁和图像I₂的亮度矩阵Y进行特征点提取，并对两幅图像中得到的所有特征点进行合并，分别作为各图像特征点总集P₁、P₂；

步骤4：选取一种具备缩放、旋转、扭曲不变性的特征描述子，对特征点集合中所有点进行描述，每个特征点表征为一个特征向量，利用最近邻匹配法为P₁中每个特征点找出P₂中最优匹配点和次优匹配点，计算最优匹配和次优匹配间的距离比率R，根据距离比率阈值R_T进行匹配点对筛选，剔除所有不满足最优匹配规则的特征点，得到新特征点集P′₁、P′₂；

步骤5：建立栅格密度模型，栅格数量为M，统计P′₁、P′₂落入各栅格中特征点数，并通过特征点数获取该栅格质量，根据栅格质量计算栅格密度，当栅格密度不满足最优分布时，调整距离比率阈值R_T，重复执行步骤4；

步骤6：制定特征点提取策略，对每个栅格内特征点进行二次筛选，获得相邻图像的特征点集合；

步骤7：利用相邻图像匹配点对，计算相邻图像配准的单应性变换矩阵H；

步骤8：通过单应性变换矩阵H将待匹配图像的像素投射到参考图像，完成图像拼接，并利用渐入渐出的图像融合算法对相邻图像进行融合，消除拼接缝隙。

在一种实现方式中，步骤1包括：

获取待拼接的多帧图像，相邻帧图像间具有重合区，将具有重合区域的相邻两张图像划分为一组，对各组图像进行后续图像拼接操作。

在一种实现方式中，步骤2包括：

步骤2-1：图像类型是指彩色或灰度，判断是否为彩色图像；

步骤2-2：如果是灰度图像，直接将灰度值赋值给亮度矩阵Y；

步骤2-3：如果是彩色图像，进行RGB到YUV空间转换，亮度矩阵Y的转换方程为，

其中，Y是YUV空间的亮度分量，R、G、B分别为RGB空间的红色、蓝色和绿色分量。

在一种实现方式中，步骤3包括：

步骤3-1：选取N种特征提取算子，N≥3。

步骤3-2：分别利用已选取的N种特征提取算子对同组内两幅图像的Y通道(亮度矩阵Y)进行特征点提取，图像I₁的N种特征提取算子提取的特征点集合进行分别标记为

图像I₂的N种特征提取算子提取的特征点集合进行分别标记为

步骤3-3：对同一图像的所有特征点集合进行合并，得到两幅图像的特征点总集合P₁和P₂，其中

各类特征提取算子的图像旋转、模糊、尺度变换等鲁棒性不同，选用N种鲁棒性互补的算子进行特征点提取能够更好应对不同场景图像拼接需求，提取更多有效的特征点，为实现较好的拼接效果提供基础。

在一种实现方式中，步骤4包括：

步骤4-1：选取一种具备缩放、旋转、扭曲不变性的特征描述子，分别对两幅图像的特征点总集合P₁和P₂所有特征点进行描述，每个特征点描述为一个特征向量；

步骤4-2：采用最近邻匹配法，通过步骤4-1中将特征点描述为特征向量的方式计算P₁中每一个特征点和P₂中所有特征点的匹配距离，并返回P₂中两个最近邻的匹配点，记为最优匹配点和次优匹配点，P₁中该特征点和P₂中最优匹配点组成匹配点对，记P₁中特征点与最优匹配点特征距离为d₁，P₁中特征点与次优匹配点特征距离为d₂，计算最优匹配点和次优匹配间的的距离比率R＝d₁/d₂；

步骤4-3：设定匹配阈值R_T，将R≥R_T的匹配点对剔除，保留下的匹配点对中原特征点总集合P₁中的特征点组成特征点集合P₁′，原特征点总集合P₂中的特征点组成特征点集合P₂′。

选用多种算子的特征点提取方法需要配合有效的特征点筛选方法，否则会因为无效特征点过多导致单应性变换矩阵计算过程收敛性差，无法得到较好的图像间对应关系。本步骤中采用最优匹配点和次优匹配间的的距离比率的方法筛选匹配点对的方法能够有效筛选出匹配程度较高的特征点对。

在一种实现方式中，步骤5包括：

步骤5-1：将每组内的两幅图像重叠区域划分为M个W×H的栅格，W、H分别是栅格的宽度和高度；

步骤5-2：统计每组内图像I₁的每个栅格中的特征点，记为栅格中特征点，对应的特征点数量记为k_m，1≤m≤M，当k_m大于等于X时，该栅格质量为1，否则为0；

步骤5-3：统计M个栅格的总质量Q，当Q>M×t时，特征点分布满足最优栅格密度要求，执行步骤6，其中t为质量阈值，否则，调整匹配阈值R_T，重复执行步骤4；

本步骤中采用栅格方式来统计特征点的区域分布，设计栅格质量来量化表达该区域被表述的充分程度，总质量能够有效反映出特征点在图像重合区内的分布情况；采用调整匹配阈值R_T的方式，能够根据筛选结果进行反馈，达到特征点分布充分覆盖重合区的效果。

在一种实现方式中，步骤6包括：

步骤6-1：遍历所有栅格，当栅格中特征点数量k_m有X个以上时，将栅格中特征点按步骤4-2中距离比率R由小到大排序，提取该栅格中前X个特征点，当栅格中的特征点数量不足X时，提取该栅格中所有特征点；

步骤6-2：对图像I₁提取的栅格特征点及图像I₂中与其匹配的特征点分别组成匹配点集合P₁″和P₂″。

本步骤中设计的栅格中特征点选择方法，能够在保证特征点有效的前提下最大程度实现特征点在图像重合区内均匀分布，使各个栅格区域在图像匹配过程中占有足够的权重。

在一种实现方式中，步骤7中所述相邻图像配准的单应性变换矩阵根据匹配点集合P₁″和P₂″中的匹配点对进行计算，记每组内的两幅图像中的任一图像为参考图像，则另一图像为待匹配图像，待匹配图像对应的单应性变换矩阵H表达式如下：

其中，h₁₁是单应性变换矩阵H中第1行第1列的元素，h₁₂、h₁₃、h₂₁、h₂₂、h₂₃、h₃₁、h₃₂、h₃₃分别是单应性变换矩阵H中第1行第2列、第1行第3列、第2行第1列、第2行第2列、第2行第3列、第3行第1列、第3行第2列、第3行第3列的元素。

在一种实现方式中，步骤8包括：

步骤8-1：通过单应性变换矩阵H将待匹配图像的像素投射到参考图像，完成图像拼接，参考图像和待匹配图像像素点满足如下公式：

其中，(x_i,y_i)是待匹配图像中的像素坐标，(x′_i,y′_i)是参考图像中的像素坐标；

步骤8-2：根据渐入渐出的图像融合算法对相邻图像重合区域进行融合，渐入渐出权值Coe表达式如下所示：

其中，L是重合区最左侧一列像素在原图中的列数，R是重合区最右侧一列像素在原图中的列数，j是重合区像素点在原图像中的列数，所述原图指相邻两幅图像中的任一幅图像。

采用像素点在重合区域的相对位置计算在融合过程中的权重能够平衡左右图像间的色彩差异和图像过渡区域的色彩变化，使拼接图像最大程度保持平滑，符合人眼观感。

有益效果：

(1)利用多帧图像进行180度甚至360度拼接时，有效抑制单特征点匹配不准引起的图像失真问题，拼接形成的全景图像更加真实地反映了现实场景；(2)采用最优栅格密度模型合理选择图像区域特征点，避免局部区域特征点少甚至不存在引起的拼接错位、锯齿现象明显的问题，解决了现有技术图像拼接过程存在的匹配点分布不均匀影响特征信息准确度而造成拼接成功率低的问题；(3)利用渐入渐出方法对相邻图像进行色差消除，达到拼接图像无缝隙，自然过渡的目的。本申请实施例提供的方法能够满足军民领域在大视场监视的用户需求

附图说明

下面结合附图和具体实施方式对本发明做更进一步的具体说明，本发明的上述或其他方面的优点将会变得更加清楚。

图1为本申请实施例提供的方法的流程示意图。

图2为通过本申请实施例提供的方法获得的某民航机场全景图像拼接效果图。

具体实施方式

下面结合附图及实施例对本发明做进一步说明。

如图1所示，本发明公开了基于最优栅格密度模型的全景图像拼接方法，以机场塔台全景为例，具体实施过程如下：

步骤1：获取待拼接的多帧图像

采用可见光高清相机获取待拼接的8幅3840×2160分辨率图像，相邻帧图像间具有重合区约300×2160像素，将具有重合区域的相邻两张图像划分为一组，对各组图像进行后续图像拼接操作，以一组图像为例，图像记为I₁、I₂。

步骤2：获取图像亮度图Y₁、Y₂

判断图像类型为彩色图像或灰度图像，若为灰度图像，则Y₁＝I₁，Y₂＝I₂；

如果是彩色图像，进行RGB到YUV空间转换，转换方程为，

其中，R、G、B分别为彩色图像空间的红色、蓝色和绿色分量。

步骤3：获取图像特征点集合P₁、P₂

选取Surf、Fast、Harris三种特征提取算子作为特征点提取算法，Surf提取算子对尺度、角度旋转等变化不敏感，Fast提取算子对角点检测具有出众的优势，Harris提取算子对亮度和对比度的变化不敏感，三者的结合能够有效应对拼接场景中常见的拍摄角度变化、光照色差大、标志物缺少等问题；

利用Surf算子对Y₁、Y₂进行特征点提取，特征点集合分别记为

利用Fast算子对Y₁、Y₂进行特征点提取，特征点集合分别记为

利用Harris算子对Y₁、Y₂进行特征点提取，特征点集合分别记为

对同一图像的所有特征点集合进行合并，得到两幅图像的特征点总集合P₁、P₂，其中

步骤4：筛选特征点，获取筛选后特征点集合P₁′、P₂′

选择BRIEF的算子作为特征描述子，对P₁、P₂所有特征点进行描述，每个点描述为一个256维特征向量；

采用最近邻匹配法，通过步骤4-1中将特征点描述为特征向量的方式计算P₁中每一个特征点和P₂中所有特征点的匹配距离，并返回P₂中两个最近邻的匹配点，记为最优匹配点和次优匹配点，P₁中该特征点和P₂中最优匹配点组成匹配点对，记P₁中特征点与最优匹配点特征距离为d₁，P₁中特征点与次优匹配点特征距离为d₂，计算最优匹配点和次优匹配点的的距离比率R＝d₁/d₂；

根据已设定匹配阈值R_T，初始设置时R_T＝0.5，将R≥R_T的匹配点对剔除，保留下的匹配点对中原特征点总集合P₁中的特征点组成特征点集合P₁′，原特征点总集合P₂中的特征点组成特征点集合P₂′。

步骤5，建立栅格密度模型，判定特征点是否满足最优分布。

步骤5-1：将相邻图像重叠区域划分为10个大小相同的W×H的栅格，W、H分别是栅格的宽度和高度，本实施例中，W取300列，H取216行；

步骤5-2：统计每组内图像I₁的每个栅格中包含的特征点集合P₁′中的特征点，记为栅格中特征点，对应的特征点数量记为k_m，1≤m≤10,当k_m大于等于X时，该栅格质量为1，否则为0，本实施例中，X＝8；

步骤5-3：统计10个栅格的总质量Q，当Q>10×t时，特征点分布满足最优栅格密度要求，本实施例中，t＝0.8，执行步骤6，否则，调整匹配阈值最R_T＝R_T×1.1，重复执行步骤4；

步骤6：按栅格选取最优特征点。

步骤6-1：遍历所有栅格，当栅格中特征点数量有X个以上时，将栅格中特征点按步骤4-2中距离比率R由小到大排序，提取该栅格中前X个特征点，当栅格中特征点数量不足X时，提取该栅格中所有特征点；本实施例中，X＝8。

步骤6-2：对图像I₁提取的栅格特征点及图像I₂中与其匹配的特征点分别组成匹配点集合P₁″和P₂″。

步骤7：利用匹配点集计算变换单应变换矩阵，相邻图像配准的单应性变换矩阵根据匹配点集合P₁″和P₂″中的匹配点对进行计算，记每组内的两幅图像中的任一图像为参考图像，则另一图像为待匹配图像，待匹配图像对应的单应性变换矩阵H表达式如下：

步骤8：通过单应性变换矩阵完成图像拼接，并消除拼接缝隙。

步骤8-1：通过单应性变换矩阵H将待匹配图像的像素投射到参考图像，完成图像拼接，参考图像和待匹配图像像素点满足如下公式：

其中，(x_i,y_i)是待匹配图像中的像素坐标，(x′_i,y′_i)是参考图像中的像素坐标；

步骤8-2：根据渐入渐出的图像融合算法对相邻图像重合区域进行融合，渐入渐出权值Coe表达式如下所示：

其中，L是重合区最左侧一列像素在原图中的列数，R是重合区最右侧一列像素在原图中的列数，j是重合区像素点在原图像中的列数，所述原图指相邻两幅图像中的任一幅图像。

如图2所示为采用本实施例提供的方法获得的某民航机场全景图像拼接效果图，由图可以看出拼接形成的全景图像更加真实地反映了现实场景，避免了拼接错位、锯齿现象明显的问题，拼接图像无缝隙。

本发明提供了基于最优栅格密度模型的全景图像拼接方法，具体实现该技术和***方案的方法和途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。

Claims (9)

1.基于最优栅格密度模型的全景图像拼接方法，其特征在于，包括如下步骤：

步骤1：获取待拼接的多帧图像，相邻两帧图像为一组；

步骤2：根据图像类型对每组中的两幅图像进行RGB到YUV空间转换，得到亮度矩阵Y；

步骤3：采用N种特征提取算子提取每组中的两幅图像亮度矩阵Y的特征点；

步骤4：筛选特征点，剔除不理想特征点；

步骤5：建立栅格密度模型，计算特征点分布最优栅格密度；

步骤6：按栅格选取最优特征点；

步骤7：计算相邻图像配准的单应性变换矩阵；

步骤8：通过单应性矩阵对多帧图像进行拼接处理，并利用渐入渐出的图像融合算法对相邻图像进行融合，消除拼接缝隙。

2.根据权利要求1所述的方法，其特征在于，步骤1中待拼接的多帧图像的相邻两幅图像之间存在重合区，取具有重合区域的相邻两幅图像为一组，对每组内的两幅图像执行步骤2～7。

3.根据权利要求2所述的方法，其特征在于，步骤2包括如下步骤：

步骤2-1：所述图像类型是指彩色或灰度，判断是否为彩色图像；

步骤2-2：如果是灰度图像，直接将灰度值赋值给亮度矩阵Y；

步骤2-3：如果是彩色图像，进行RGB到YUV空间转换，亮度矩阵Y的转换方程为：

其中，Y是YUV空间的亮度分量，R、G、B分别为RGB空间的红色、蓝色和绿色分量。

4.根据权利要求3所述的方法，其特征在于，步骤3包括如下步骤：

步骤3-1：选取N种特征提取算子用于图像特征点提取，记同组内两幅图像分别为图像I₁和图像I₂；

步骤3-2：分别利用已选取的N种特征提取算子对同组内两幅图像I₁和I₂的亮度矩阵Y进行特征点提取，图像I₁的N种特征提取算子提取的特征点集合分别标记为

图像I₂的N种特征提取算子提取的特征点集合分别标记为

步骤3-3：对同一图像的所有特征点集合进行合并，得到两幅图像的特征点总集合P₁和P₂：

5.根据权利要求4所述的方法，其特征在于，步骤4包括如下步骤：

步骤4-1：选取一种具备缩放、旋转和扭曲不变性的特征描述子，分别对两幅图像的特征点总集合P₁和P₂中的所有特征点进行描述，每个特征点描述为一个特征向量；

步骤4-2：采用最近邻匹配法，通过步骤4-1中将特征点描述为特征向量的方式计算P₁中每一个特征点和P₂中所有特征点的匹配距离，并返回P₂中两个最近邻的匹配点，记为最优匹配点和次优匹配点，P₁中该特征点和P₂中最优匹配点组成匹配点对，记P₁中特征点与最优匹配点的匹配距离为d₁，P₁中特征点与次优匹配点的匹配距离为d₂，计算最优匹配点和次优匹配点间的距离比率R＝d₁/d₂；

步骤4-3：设定匹配阈值R_T，将R≥R_T的匹配点对剔除，保留下的匹配点对中原特征点总集合P₁中的特征点组成特征点集合P₁′，原特征点总集合P₂中的特征点组成特征点集合P₂′。

6.根据权利要求5所述的方法，其特征在于，步骤5包括如下步骤：

步骤5-1：将每组内的两幅图像重合区域划分为M个W×H的栅格，W、H分别是栅格的宽度和高度；

步骤5-2：统计每组内图像I₁的每个栅格中包含的特征点集合P₁′中的特征点，记为栅格中特征点，对应的特征点数量记为k_m，1≤m≤M，当k_m大于等于X时，该栅格质量为1，否则为0；

步骤5-3：统计M个栅格的总质量Q，当Q>M×t时，特征点分布满足最优栅格密度要求，执行步骤6，t为质量阈值，否则，调整匹配阈值R_T，重复执行步骤4。

7.根据权利要求6所述的方法，其特征在于，步骤6包括如下步骤：

步骤6-1：遍历所有栅格，当栅格中特征点数量k_m有X个以上时，将栅格中特征点按步骤4-2中距离比率R由小到大排序，提取该栅格中前X个特征点，当栅格中特征点数量不足X时，提取该栅格中所有特征点；

步骤6-2：对图像I₁提取的栅格特征点及图像I₂中与其匹配的特征点分别组成匹配点集合P₁″和P₂″。

8.根据权利要求7所述的方法，其特征在于，步骤7中所述相邻图像配准的单应性变换矩阵根据匹配点集合P₁″和P₂″中的匹配点对进行计算，记每组内的两幅图像中的任一图像为参考图像，则另一图像为待匹配图像，待匹配图像对应的单应性变换矩阵记为H。

9.根据权利要求8所述的方法，其特征在于，步骤8包括如下步骤：

步骤8-1：通过单应性变换矩阵H将待匹配图像的像素投射到参考图像，完成图像拼接，参考图像和待匹配图像像素点满足如下公式：

其中，(x_i,y_i)是待匹配图像中的像素坐标，(x′_i,y′_i)是参考图像中的像素坐标；

步骤8-2：根据渐入渐出的图像融合算法对相邻图像重合区域进行融合，渐入渐出权值Coe表达式如下所示：

其中，L是重合区最左侧一列像素在原图中的列数，R是重合区最右侧一列像素在原图中的列数，j是重合区像素点在原图像中的列数，所述原图指相邻两幅图像中的任一幅图像。

Images