CN109308715A - 一种基于点特征和线特征结合的光学图像配准方法 - Google Patents

Abstract

该发明公开了一种基于点特征和线特征结合的光学图像配准方法，属于图像处理领域，是基于点特征和线特征结合的一种有效的图像配准方法。本发明首先采用LSD算法，对图像进行直线段信息的检测，然后利用线特征结合高斯混合模型算法估算粗配准的仿射变换参数，并对待配准图像进行变化；然后在参考图像和经过几何变换后的待配准图像之间进行点的精确匹配，完成配准工作。针对普通光学图像中存在较大视角差图像的配准问题，使用了一种利用点特征和线特征结合的方法对图片进行配准。采用此方法，一方面利用了直线特征提取的稳定性，另一方面利用点特征匹配的准确性，可以更加准确的对图像进行配准。

Description

一种基于点特征和线特征结合的光学图像配准方法

技术领域

本发明属于图像处理领域，是基于点特征和线特征结合的一种有效的图像配准方法。

技术背景

现阶段随着传感器和算法的不断发展，可以获得的图像种类也越来越多。图像的应用领域也变得非常广泛，主要应用在虚拟现实和增强现实、医学病理分析、卫星遥感等方面；其中图像拼接、图像融合、目标识别等技术的发展尤为迅速。而作为处理的基础工作图像配准，其性能的优劣也直接影响了后续的功能实现。Dellinger等学者针对SAR图像的特点，改进了SIFT算法，使其在SAR图像的配准上具有更好的表现；另外一种直线匹配的鲁棒描述符(MSLD)被提出，该算法对旋转、光照变化、图像模糊、视点变化等均具有不错的鲁棒性，等等。这些方法有着各自的优势也有着不同的缺点，应用的领域也不尽相同，所以图像配准技术的研究有着重要的意义。

发明内容

本发明针对普通光学图像中存在较大视角差图像的配准问题，使用了一种利用点特征和线特征结合的方法对图片进行配准。采用此方法，一方面利用了直线特征提取的稳定性，另一方面利用点特征匹配的准确性，可以更加准确的对图像进行配准。

本文以数码相机获取的图像为例，对一般的光学图像进行配准，并针对视角差变大图像形状信息更加丰富的情况，使用点特征和直线特征结合的方法进行配准。首先介绍了LSD算法，对图像进行直线段信息的检测，然后利用线特征结合高斯混合模型算法估算粗配准的仿射变换参数，并对待配准图像进行变化。然后在参考图像和经过几何变换后的待配准图像之间进行点的精确匹配，完成配准工作。

本发明技术方案为一种基于点特征和线特征结合的光学图像配准方法，该方法包括：

步骤1：获取同一景物的多个不同角度的图像，用于图像配准；

步骤2：对步骤1获得不同图像中进行直线匹配；

步骤2.1：从步骤1获得图像中选取一幅图像为参考图像，其余图像为待配准图像；利用LSD算法对参考图像和待配准图像进行直线特征提取；

步骤2.2：利用直线特征对图像进行粗配准；

步骤2.3：首先将匹配的问题化为求解高斯混合模型，估计每幅待配准图像间的直线段相匹配的概率密度函数，最大化密度函数的加权和；参考图像中的线段是高斯混合模型的质心，带配准图像中的线段是观测数据，不同图像中的线段的对应关系为隐藏变量，计算出图像的变换的参数；根据得到的变换参数对带配准图像进行放射变换；

步骤3：对参考图像和步骤2中放射变换后的待配准图像进行点配准；

步骤3.1：对参考图像和待配准图像进行Harris角点检测，检测出的角点为特征点，并且使用SIFT算子描述这些特征点；

步骤3.2：利用K-D树对特征点进行组织结构，利用BBF搜索策略与最近邻/次近邻比率法进行特征点的匹配；

步骤3.3：由于参与配准的图像间存在较大的视角差，所以图像的变换模型这里选择投影变换；最后利用基于RANSAC的算法剔除误匹配点并且得到最优投影变换矩阵参数；

步骤4：利用双线性插值方法得到拼接图像。

进一步的，步骤2.1的具体方法为：

步骤2.1.1：检测直线的候选区域；

首先要对图像做模糊处理，即先对图像做高斯降采样，尺度缩小为原来的80％，之后在2×2的像素区域计算图像中每一点的像素梯度，梯度幅值代表图像中灰度的变化程度，值越大表示相邻像素的灰度跨度越大，值越小说明该像素和其相邻区域大概率是属于同一区域，所以为了有效的提取直线区域根据阈值删除梯度幅值小的点；

步骤2.1.2：生成直线候选区域的过程；

直线候选区域的确定通过迭代实现；在迭代的开始，候选区域是一个点，这个点是具有最大的梯度幅值的点，同时区域的方向是该点的梯度方向；接下来，对候选区域的上下、左右、斜向的相邻像素点的梯度进行计算，当这些像素点的梯度方向与区域的方向的夹角小于预设阈值时，则将他们标记为区域内的点；再对这片区域进行矩形近似；通过计算该候选区域的估计矩阵方向，矩阵的宽和高以及矩阵的中心，通过这些信息来表征直线；

步骤2.1.3：直线的验证；

这里需要对直线进行验证，避免错误检测，其中验证函数为：

其中M和N是图像的分辨率，j表示二项式指数，r表示直线区域，对于每一个候选矩形区域预设一个精度p，对于区域内所包含的像素点的数目n，和图像中与直线域方向相同的点的数目k，通过上面的公式就可以得到NFA值；

其中ε为阈值，q表示量化噪声梯度值，τ表示像素角度误差；

当NFA(r)＜ε认定该条直线是被正确检测到的。

进一步的，所述步骤2.2的具体方法为：

首先定义参考图像为I，带配准图像为J；N是I中的直线段特征数，M是J中的直线段特征数；X＝{x₁,x₂,...,x_N}是I中的线段集，Y＝{y₁,y₂,...,y_M}是J中的线段集；x在参数方程下的变化为T(x,Θ)，其中Θ是模型参数；||x,y||是线段x到y的距离；P＝{p_mn}_{1≤m≤M,1≤n≤N+1}是响应矩阵，由高斯混合模型的隐藏变量组成，当n≤N时p_mn是线段y_m属于x_n的概率，n＝N+1时，y_m则是局外值；线段匹配问题，表述为似然方程：

其中P(y_m)是高斯混合模型中m的边缘概率分布，Θ是变换模型的参数；线段间的关系未知所以直接最大化L有难度，将该问题转化为期望最大化算法，通过迭代实现寻优；具体的实现步骤如下：

a)初始化：首先初始化变换模型参数Θ为Θ⁽¹⁾，然后在第k次迭代中，高斯混合模型中的后验概率在E步骤中计算，新的参数Θ^(k+1)在M步骤中计算并用于下一次的迭代中；

b)E步骤：对于高斯混合模型的质心n，有那么似然方程中的P(y_m)通过下式计算：

P(n)表示质心在n点的概率，P(y_m|n)是m属于n或者局外值的概率，那么根据贝叶斯公式计算得到：

P(n|y_m)n属于m或者局外值的概率，这里P是高斯分布的概率，则表示为：

式中T(x_n,Θ^(k))表示均值，x_n表示图像I中的线段，y_m表示图像J中的线段，σ^(k)表示标准差，q表示极大似然指数；

c＝2π(σ^(k))²/(πr²)＝2(σ^(k)/r)²，并且r＝3σ^(k)时就可以表示高斯混合模型中的99.7％的数据；所以这里c＝2/9；那么m属于局外值的概率是：

极大似然可以表示为：

c)M步骤：根据公式得到：

T(x_n,Θ)表示整体均值，最小化公式并且其中的Θ^(k+1)和用于下一次的迭代；

d)迭代终止条件：当满足以下任意一个条件，迭代将终止；

||Θ^(k)-Θ^(k-1)||₂＜ε₁

(σ^(k))²＜ε₂

|(σ^(k))²-(σ^(k-1))²|＜ε₃

其中ε₁，ε₂，ε₃，为实现根据实际情况设定的阈值；

e)线段匹配：当EM算法结束后，会得到对应矩阵P＝{p_mn}，然后根据下式对线段匹配：

z_m是m和n的对应索引。

进一步的，所述步骤3.2的具体方法为：

步骤3.2.1：构造K-D树；

首先将所有的数据按空间位置分为左子树和右子树，然后对划分的子树中的数据进行同样的操作，接着将它们划分左子树和右子树，直到所有的点有划分完成有自己的位置；同时在划分的过程中，需要注意尽量保持左右子树中的数据的均衡，否则会降低搜索的效率；

步骤3.2.2：BBF搜索策略；

BBF算法是在K-D树结构的基础上发展出来的一种搜索算法，并且相较于K-D树搜索算法，在高维特征的表现更好；它通过将可能会回溯到的点压入队列，同时将这些点按照距离搜索点的超平面距离来进行排序，距离最近的点具有最高的优先级，然后按照优先级对这些序列中的点进行遍历，直到序列为空；

步骤3.2.3：近邻/次近邻比率法；

首先需要寻找到待配准图像中与参考图像中的搜索点距离最近的点，其距离记为Dis1；同时还需要找到待配准图像中与搜索点距离次近的点，其距离记为Dis2；那么将Dis1/Dis2与给定的一个阈值比较，当该比值小于阈值时，就可以认为匹配点对是可能的真实匹配对。

首先使用直线检测(Line Segment Detector，LSD)算法提取图像的线特征，结合视觉显著性算法剔除长度小于阈值的线段；利用高斯混合模型(Gaussian Mixed Model，GMM)进行参数的优化。针对存在一定视角差的普通光学图像，为了弥补传统点配准的缺陷，本文使用点线结合的方法进行配准。首先利用直线配准获得的变换模型参数对待配准图像进行变换后，在参考图像和变换后的待配准图像上提取Harris点特征，并完成配准。本文的算法较传统的点配准算法具有更好的配准精度。

附图说明

图1为本发明一种基于点特征和线特征结合的光学图像配准方法结构框图；

图2为获取的原始图像，其中(a)为参考图像是0°，(b)是15°，(c)是35°；

图3为直线候选域矩形近似构造图；

图4为直线段特征示意图；其中(a)为参考图像的直线提取结果，(b)为15°图像的直线提取结果，(c)为35°图像的直线提取结果；

图5为直线粗匹配结果示意图；(a)是0°图像和15°图像的匹配示意图，(b)是0°图像和35°图像的匹配示意图；

图6为点精匹配结果示意图；(a)是0°图像和15°图像的匹配示意图，(b)是0°图像和35°图像的匹配示意图；

图7为拼接结果示意图；(a)是0°图像和15°图像拼接结果，(b)是0°图像和35°图像拼接结果；

具体实施步骤

一、多视角图像的获取

首先需要用普通数码相机对目标进行不同角度的拍摄，本文以图2为例，对算法的实施进行解释。其中三幅图像的角度分别是0°、15°、35°。

二、直线粗匹配

对图像进行LSD直线特征的提取，并利用这些特征进行匹配，然后对待配准图像进行仿射变换；

(1)LSD直线特征的提取

LSD算法主要包含三个步骤：检测直线的候选区域、直线候选区域的矩形近似和直线验证。

检测直线的候选区域：首先要对图像做模糊处理，即先对图像做高斯降采样，尺度缩小为原来的80％，之后在2×2的像素区域计算图像中每一点的像素梯度，梯度幅值代表图像中灰度的变化程度，值越大表示相邻像素的灰度跨度越大，值越小说明该像素和其相邻区域大概率是属于同一区域，所以为了有效的提取直线区域根据阈值删除梯度幅值小的点；

生成直线候选区域的过程：直线候选区域的确定通过迭代实现；在迭代的开始，候选区域是一个点，这个点是具有最大的梯度幅值的点，同时区域的方向是该点的梯度方向；接下来，对候选区域的上下、左右、斜向的相邻像素点的梯度进行计算，当这些像素点的梯度方向与区域的方向的夹角小于预设阈值时，则将他们标记为区域内的点；这时候选区域是一个不规则的区域，无法利用它来表示直线段，于是还需要对这片区域进行矩形近似；通过计算该候选区域的估计矩阵方向，矩阵的宽和高以及矩阵的中心，通过这些信息来表征直线，示意图如图3。

直线的验证：这里需要对直线进行验证，尽量避免错误检测的情况，其中错误预警数(Number of False Alarms，NFA)是验证函数。

NFA(r)＝(MN)^5/2*B(n,k,p) (1)

其中M和N是图像的分辨率，B(n,k,p)为二项式模型。对于每一个候选矩形区域，预设一个精度p，对于区域内所包含的像素点的数目n，和图像中与直线域方向相同的点的数目k，通过下面的公式就可以得到NFA值：

通过上式的计算，当一个直线候选域的ε小于阈值，就认为该条直线是被正确检测到的。图4为直线检测示意图。

(2)利用高斯混合模型进行直线特征的匹配

首先定义参考图像为I，带配准图像为J；N是I中的直线段特征数，M是J中的直线段特征数；X＝{x₁,x₂,...,x_N}是I中的线段集，Y＝{y₁,y₂,...,y_M}是J中的线段集；x在参数方程下的变化为T(x,Θ)，其中Θ是模型参数；||x,y||是线段x到y的距离；P＝{p_mn}_{1≤m≤M,1≤n≤N+1}是响应矩阵，由高斯混合模型的隐藏变量组成，当n≤N时p_mn是线段y_m属于x_n的概率，n＝N+1时，y_m则是局外值。线段匹配问题，可以表述为似然方程：

其中P(y_m)是高斯混合模型中m的边缘概率分布，Θ是变换模型的参数。线段间的关系未知所以直接最大化L有难度，所以可以将该问题转化为期望最大化(Expectation-Maximization，EM)算法，通过迭代实现寻优。具体的实现步骤如下：

a)初始化：首先初始化变换模型参数Θ为Θ⁽¹⁾，然后在第k次迭代中，高斯混合模型中的后验概率在E步骤中计算，新的参数Θ^(k+1)在M步骤中计算并用于下一次的迭代中。

b)E步骤：对于高斯混合模型的质心n，有那么式(3)中的P(y_m)可以通过下式计算：

那么根据贝叶斯公式计算可以得到：

这里P是高斯分布的概率，则可以表示为：

式中，c＝2π(σ^(k))²/(πr²)＝2(σ^(k)/r)²，并且r＝3σ^(k)时就可以表示高斯混合模型中的99.7％的数据。所以这里c＝2/9。那么m属于局外值的概率是：

那么极大似然可以表示为：

c)M步骤：根据公式(8)可以得到：

最大化(8)等价于最小化公式(9)，并且其中的Θ^(k+1)和用于下一次的迭代。

d)迭代终止条件：当满足以下任意一个条件，迭代将终止。

||Θ^(k)-Θ^(k-1)||₂＜ε₁

(σ^(k))²＜ε₂

|(σ^(k))²-(σ^(k-1))²|＜ε₃

(10)

其中ε₁＝10^-3，ε₂＝1，ε₃＝5。

e)线段匹配：当EM算法结束后，会得到对应矩阵P＝{p_mn}，然后根据下式对线段匹配：

z_m是m和n的对应索引。图像匹配后的结果如图5所示。

(3)对待配准图像进行仿射变换。

三、点配准过程

由于视角变化大，匹配直线段中存在一定的误匹配情况，这些直线段匹配对会影像参数的估计，所以接下来还进一步通过点特征来进行精匹配。

(1)点特征的提取与表示

首先对参考图像和待配准图像进行Harris角点检测，并且使用SIFT算子描述这些特征点。

(2)点特征匹配

构造K-D树：首先将所有的数据按空间位置分为左子树和右子树，然后对划分的子树中的数据进行同样的操作，接着将它们划分左子树和右子树，直到所有的点有划分完成有自己的位置。同时在划分的过程中，需要注意尽量保持左右子树中的数据的均衡，否则会降低搜索的效率。

BBF搜索策略：BBF算法是在K-D树结构的基础上发展出来的一种搜索算法，并且相较于K-D树搜索算法，在高维特征的表现更好。它通过将可能会回溯到的点压入队列，同时将这些点按照距离搜索点的超平面距离来进行排序，距离最近的点具有最高的优先级，然后按照优先级对这些序列中的点进行遍历，直到序列为空。

近邻/次近邻比率法：首先需要寻找到待配准图像中与参考图像中的搜索点距离最近的点，其距离记为Dis1；同时还需要找到待配准图像中与搜索点距离次近的点，其距离记为Dis2。那么将Dis1/Dis2与给定的一个阈值比较，当该比值小于阈值时，就可以认为匹配点对是可能的真实匹配对。

(3)误匹配点的剔除

利用基于RANSAC的算法剔除误匹配点并且得到最优投影变换矩阵参数。点匹配的示意图如图6所示。

四、图像拼接

利用双线性插值法进行图像的变换和拼接。该算法由内插点p被包围的上、下、左、右四个点参与运算，在计算过程中将该邻域中的灰度差异假定为是均匀变化的，那么内插点p的灰度值可以通过点p与其他几个点的距离关系计算出来。根据图中的表示，我们假设点p的灰度值是I_p，p的四个相邻的像素点的灰度值分别是I_m11,I_m12,I_m21,I_m22，而Δx、Δy分别表示点p和点m11的距离在图像的行方向和列方向上的投影，于是有：

I_p＝(1-Δx)(1-Δy)I_m11+(1-Δx)ΔyI_m12+Δx(1-Δy)I_m21+ΔxΔyI_m22 (12)

根据上面的公式完成图像的拼接，截图如图7所示。

Claims (4)

1.一种基于点特征和线特征结合的光学图像配准方法，该方法包括：

步骤1：获取同一景物的多个不同角度的图像，用于图像配准；

步骤2：对步骤1获得不同图像中进行直线匹配；

步骤2.1：从步骤1获得图像中选取一幅图像为参考图像，其余图像为待配准图像；利用LSD算法对参考图像和待配准图像进行直线特征提取；

步骤2.2：利用直线特征对图像进行粗配准；

步骤2.3：首先将匹配的问题化为求解高斯混合模型，估计每幅待配准图像间的直线段相匹配的概率密度函数，最大化密度函数的加权和；参考图像中的线段是高斯混合模型的质心，带配准图像中的线段是观测数据，不同图像中的线段的对应关系为隐藏变量，计算出图像的变换的参数；根据得到的变换参数对带配准图像进行放射变换；

步骤3：对参考图像和步骤2中放射变换后的待配准图像进行点配准；

步骤3.1：对参考图像和待配准图像进行Harris角点检测，检测出的角点为特征点，并且使用SIFT算子描述这些特征点；

步骤3.2：利用K-D树对特征点进行组织结构，利用BBF搜索策略与最近邻/次近邻比率法进行特征点的匹配；

步骤3.3：由于参与配准的图像间存在较大的视角差，所以图像的变换模型这里选择投影变换；最后利用基于RANSAC的算法剔除误匹配点并且得到最优投影变换矩阵参数；

步骤4：利用双线性插值方法得到拼接图像。

2.如权利要求1所述的一种基于点特征和线特征结合的光学图像配准方法，其特征在于所述步骤2.1的具体方法为：

步骤2.1.1：检测直线的候选区域；

首先要对图像做模糊处理，即先对图像做高斯降采样，尺度缩小为原来的80％，之后在2×2的像素区域计算图像中每一点的像素梯度，梯度幅值代表图像中灰度的变化程度，值越大表示相邻像素的灰度跨度越大，值越小说明该像素和其相邻区域大概率是属于同一区域，所以为了有效的提取直线区域根据阈值删除梯度幅值小的点；

步骤2.1.2：生成直线候选区域的过程；

直线候选区域的确定通过迭代实现；在迭代的开始，候选区域是一个点，这个点是具有最大的梯度幅值的点，同时区域的方向是该点的梯度方向；接下来，对候选区域的上下、左右、斜向的相邻像素点的梯度进行计算，当这些像素点的梯度方向与区域的方向的夹角小于预设阈值时，则将他们标记为区域内的点；再对这片区域进行矩形近似；通过计算该候选区域的估计矩阵方向，矩阵的宽和高以及矩阵的中心，通过这些信息来表征直线；

步骤2.1.3：直线的验证；

这里需要对直线进行验证，避免错误检测，其中验证函数为：

其中M和N是图像的分辨率，j表示二项式指数，r表示直线区域，对于每一个候选矩形区域预设一个精度p，对于区域内所包含的像素点的数目n，和图像中与直线域方向相同的点的数目k，通过上面的公式就可以得到NFA值；

其中ε为阈值，q表示量化噪声梯度值，τ表示像素角度误差；

当NFA(r)＜ε认定该条直线是被正确检测到的。

3.如权利要求1所述的一种基于点特征和线特征结合的光学图像配准方法，其特征在于所述步骤2.2的具体方法为：

首先定义参考图像为I，带配准图像为J；N是I中的直线段特征数，M是J中的直线段特征数；X＝{x₁,x₂,...,x_N}是I中的线段集，Y＝{y₁,y₂,...,y_M}是J中的线段集；x在参数方程下的变化为T(x,Θ)，其中Θ是模型参数；||x,y||是线段x到y的距离；P＝{p_mn}_{1≤m≤M,1≤n≤N+1}是响应矩阵，由高斯混合模型的隐藏变量组成，当n≤N时p_mn是线段y_m属于x_n的概率，n＝N+1时，y_m则是局外值；线段匹配问题，表述为似然方程：

其中P(y_m)是高斯混合模型中m的边缘概率分布，Θ是变换模型的参数；线段间的关系未知所以直接最大化L有难度，将该问题转化为期望最大化算法，通过迭代实现寻优；具体的实现步骤如下：

a)初始化：首先初始化变换模型参数Θ为Θ⁽¹⁾，然后在第k次迭代中，高斯混合模型中的后验概率在E步骤中计算，新的参数Θ^(k+1)在M步骤中计算并用于下一次的迭代中；

b)E步骤：对于高斯混合模型的质心n，有那么似然方程中的P(y_m)通过下式计算：

P(n)表示质心在n点的概率，P(y_m|n)是m属于n或者局外值的概率，那么根据贝叶斯公式计算得到：

P(n|y_m)n属于m或者局外值的概率，这里P是高斯分布的概率，则表示为：

式中T(x_n,Θ^(k))表示均值，x_n表示图像I中的线段，y_m表示图像J中的线段，σ^(k)表示标准差，q表示极大似然指数；

c＝2π(σ^(k))²/(πr²)＝2(σ^(k)/r)²，并且r＝3σ^(k)时就可以表示高斯混合模型中的99.7％的数据；所以这里c＝2/9；那么m属于局外值的概率是：

极大似然可以表示为：

c)M步骤：根据公式得到：

T(x_n,Θ)表示整体均值，最小化公式并且其中的Θ(k+1)和用于下一次的迭代；

d)迭代终止条件：当满足以下任意一个条件，迭代将终止；

||Θ^(k)-Θ^(k-1)||₂＜ε₁

(σ^(k))²＜ε₂

|(σ^(k))²-(σ^(k-1))²|＜ε₃

其中ε₁，ε₂，ε₃，为实现根据实际情况设定的阈值；

e)线段匹配：当EM算法结束后，会得到对应矩阵P＝{p_mn}，然后根据下式对线段匹配：

z_m是m和n的对应索引。

4.如权利要求1所述的一种基于点特征和线特征结合的光学图像配准方法，其特征在于所述步骤3.2的具体方法为：

步骤3.2.1：构造K-D树；

首先将所有的数据按空间位置分为左子树和右子树，然后对划分的子树中的数据进行同样的操作，接着将它们划分左子树和右子树，直到所有的点有划分完成有自己的位置；同时在划分的过程中，需要注意尽量保持左右子树中的数据的均衡，否则会降低搜索的效率；

步骤3.2.2：BBF搜索策略；

BBF算法是在K-D树结构的基础上发展出来的一种搜索算法，并且相较于K-D树搜索算法，在高维特征的表现更好；它通过将可能会回溯到的点压入队列，同时将这些点按照距离搜索点的超平面距离来进行排序，距离最近的点具有最高的优先级，然后按照优先级对这些序列中的点进行遍历，直到序列为空；

步骤3.2.3：近邻/次近邻比率法；

首先需要寻找到待配准图像中与参考图像中的搜索点距离最近的点，其距离记为Dis1；同时还需要找到待配准图像中与搜索点距离次近的点，其距离记为Dis2；那么将Dis1/Dis2与给定的一个阈值比较，当该比值小于阈值时，就可以认为匹配点对是可能的真实匹配对。