CN106683046A - 用于警用无人机侦察取证的图像实时拼接方法 - Google Patents

Abstract

本发明公开了一种用于警用无人机侦察取证的图像实时拼接方法，包含改进的ORB算法、图像配准以及图像融合三个步骤；首先构建多尺度空间，利用显著性分析模型得到最佳角点检测阈值，提取特征点，然后利用ORB描述子对特征点描述，最后利用Hamming距离结合RANSAC方法实现快速匹配，结果表明，改进的ORB算法保持了速度的优越性，对存在尺度、旋转、视角及光照等变化的图像，其匹配率均有提高。

Description

用于警用无人机侦察取证的图像实时拼接方法

技术领域

本发明属于警用无人机拍摄取证技术领域，尤其涉及一种用于警用无人机侦察取证的图像实时拼接方法。

背景技术

近年来，国内外计算机犯罪率的不断提高，对国家安全和社会治安造成了严重威胁，对合法公私财产造成了严重损失，也对计算机取证技术提出了新的挑战和要求。计算机取证作为一个较新的研究领域，对打击犯罪、维护社会稳定具有重大的意义。将旋翼式无人机应用于侦察取证，具有响应快、实时性高和图像真实可靠等优点，也可有效缓解侦察取证手段不足、效率低下的问题。但是由于无人机的航拍图像信息量大、视角多，对后续的信息分析带来了一定的挑战。

利用无人机侦察取证，为了及时、准确的反映现场情况，需要将获得的图像进行实时拼接。图像特征点匹配的准确率和效率影响着图像拼接的质量。目前，应用于图像特征点匹配的算法很多。SIFT算法作为经典的特征点匹配算法，虽然匹配准确率较高，但是计算复杂度较高，无法达到实时的要求。之后Bay等人对其改进，提出了SURF特征点提取的算法。近年来，也涌现出了很多新的特征点匹配算法，如BRIEF、ORB、BRISK、FREAK等算法。

ORB是基于FAST特征提取和BRIEF特征描述的算法，具有速度快的优点，但并不具备尺度不变性，而且特征提取阶段，算法阈值选取固定， 没有考虑到图像之间显著特征的不同。因此对ORB算法的改进具有极强的应用价值。

发明内容

本发明就是针对上述问题，提出一种用于警用无人机侦察取证的图像实时拼接方法，该方法将一种基于空频域分析的显著性模型应用于特征提取阶段最优阈值的选取，利用高斯金字塔结构构建多尺度空间，在保持速度快的基础上，提高了匹配准确率。

为达到上述技术目的，本发明采用了一种用于警用无人机侦察取证的图像实时拼接方法，包含改进的ORB算法、图像配准以及图像拼接三个步骤；

所述改进的ORB算法包括：对ORB进行了改进，将一种基于空频域分析的显著性模型结合KSW熵方法应用于特征提取阶段最优阈值的选取，利用高斯金字塔构建多尺度空间；

输入图像I，首先将其从RGB颜色空间转变到CIE Lab颜色空间，图像在Lab颜色空间包含三个通道：一个亮度通道(L通道)和两个颜色通道(a通道和b通道)，对于颜色通道，在时域采用高斯模糊消除细小的纹理细节，得到相应通道的特征图；对于亮度通道，采用一个高频增强巴特沃斯高通滤波器计算得到L通道的特征图，最后将各个通道的特征图组合在一起形成原始图像的显著图；

任意输入图像都可以用幅度谱和相位谱来表示，其中相位谱包含的是图像的纹理细节信息，幅度谱包含明暗对比信息，如果只保留相位谱，得到的图像显著特征将会包含部分背景信息，干扰图像特征点的检测，导致误匹配现象，高通滤波器可以通过衰减和抑制低频分量，实现锐化目标边 缘的同时最大程度的保留边缘信息，为了增强图像细节信息、锐化目标边缘、减少噪声干扰，采用了一个高频增强巴特沃斯高通滤波器；

截止频率为D₀的n阶巴特沃斯高通滤波器定义为：

其中，表示频率中点(u,v)与频率矩形中心的距离；

输入图像I，将L,a和b三个通道的特征图组合在一起，得到最终显著特征SM为：

SM(x,y)＝||I_L-I_L(x,y)||+||I_a-I_a(x,y)||+||I_b-I_b(x,y)||

其中，I_L(x,y)为原始图像的亮度通道经过高频增强巴特沃斯高通滤波器后的相应特征图像素值，I_a(x,y),I_b(x,y)分别为颜色通道相应的特征图像素值，I_L,I_a,I_b分别为相应通道图像平均特征向量，为二范数欧式距离；

阈值的选取应该随着图像灰度特征的变化而合理的变化，根据图像显著特征，结合KSW熵方法，来确定最佳阈值的选取，具体步骤如下：

设图像灰度范围为[0,L-1]，阈值t将其分为A、B两类，对应的概率分布分别为{p₀,p₁,p₂,...,p_t},{p_t+1,p_t+2,p₂,...,p_L-1}，其中p_i为相应灰度级出现的频率，令则A、B类对应的熵分别为：

图像的总熵为H＝H_A+H_B。则最佳阈值T为

其中，k为比例系数，由于特征点阈值与图像的像素对比度相关，因此

通过图像显著特征以及熵方法确定图像灰度级差，即最佳阈值；

利用Fast角点检测算法结合得到的最佳阈值，提取特征点，并利用rBRIEF描述子对特征点进行描述，用于后续的图像配准；

所述图像配准包括利用特征点匹配和利用RANSAC算法筛选匹配点；

所述利用特征点匹配就是利用一个距离函数在两组特征点集合中寻找距离最近的两个特征点，对于两个二进制描述子的距离可以使用汉明距离来表示，汉明距离是指两个长度相同的字符串之间对应位置不同字符的个数。汉明距离越小，表明两个二进制描述子越相似；

对每个特征点计算其最短和次最短汉明距离，得到一组特征点匹配对，当最短与次最短距离的比例小于一个阈值时，认为两个特征点是匹配的；

所述利用RANSAC算法筛选匹配点是指通过随机抽取一定数量的样本对模型参数进行估计，再根据估计的参数对其余数据进行分类，一部分数据在允许的误差范围之内，则为内点，否则为外点，经过多次假设验证，去除错误的匹配点对；

RANSAC算法需要用到单应性矩阵H，它描述了两幅图像点坐标之间的变换关系，包括平移、旋转和缩放等关系，通过矩阵H能够找到一幅图像中的点在另一幅图像中的位置，假设图像1和图像2中的一对匹配点p₁(x,y)，p₂(x′,y′)之间的变换关系为：

由4对匹配点即可计算出矩阵H的8个参数，RANSAC算法步骤如下：

(1)设置迭代次数初值为0，最大迭代次数N，内点数目阈值T1，误差阈值T2；

(2)从n对待匹配点对中随机选取4对，计算两图像间的变换矩阵H 的参数；

(3)计算其余特征点经过H变换后的坐标值与它的匹配点之间的距离，若小于误差阈值T2，则认为该匹配点对为内点，否则为外点，计算内点的数量；

(4)如果内点数量大于内点数目阈值T1，则将当前的模型保存为最优模型。否则，迭代次数加一，转到步骤(2)继续下一轮迭代；

(5)如果达到最大迭代次数N，则返回对应内点数量最多的一组内点，并得到变换矩阵H；

所述图像拼接是指：图像经过配准之后，再通过图像融合，完成图像的拼接，图像融合是图像拼接的最后一步，主要分为两部分：图像的合并和消除图像拼接线，图像的合并即根据图像配准结果，将重合区域内冗余像素信息剔除并将待拼接图像对准；消除图像拼接线需要在拼接线附近进行加权平均融合处理；加权平均的权重函数可以使用渐入渐出法，复杂度低，速度快，在重合区域内可以实现图像的平滑过渡。渐入渐出法是根据待融合像素到重合区域边界的距离计算权值，权值呈线性变化，融合公式为：

式中，d₁、d₂表示像素点(x,y)在重合部分所对应的图像上的权重，且要求满足条件：d₁+d₂＝1,0＜d₁,d₂＜1；

d₁、d₂的计算公式为：

其中x_i为待融合像素点的横坐标，x_i、x_r分别为图像重合区域左右边 界的横坐标；

本发明首先构建多尺度空间，利用显著性分析模型得到最佳角点检测阈值，提取特征点，然后利用ORB描述子对特征点描述，最后利用Hamming距离结合RANSAC方法实现快速匹配，改进的ORB算法保持了速度的优越性，对存在尺度、旋转、视角及光照等变化的图像，其匹配率均有提高。

附图说明

图1所示的是本发明的算法流程图；

图2所示的是渐入渐出权值变化图；

具体实施方式

下面结合附图和具体实施方式，对本发明作进一步的阐述。

结合图1，首先来了解一下什么是ORB算法，ORB算法是将FAST特征点的检测方法与BRIEF特征描述子结合起来，并做了改进与优化，本发明主要介绍该算法的特征点检测和特征点描述两部分。

1)特征点检测

ORB算法使用了高斯金字塔结构，并为每个特征点计算其主方向，使得检测的特征点具有尺度不变性和旋转不变性。

(1)首先建立尺度空间，构造图像金字塔，与SIFT不同，每层只有一副图像。

(2)根据公式计算每一层需要提取的特征点数n，在不同尺度图像上使用FAST算法检测特征点，并根据FAST角点响应值排序，保留前2n个点，然后计算特征点的Harris角点响应值并排序，保留前n个点，作为该层的特征点。

(3)计算特征点的主方向。ORB提出了一种灰度质心法，即角点的灰度与其邻域内的质心之间存在一个偏移量，把这个向量作为特征点的方向。

定义任意一个特征点p的邻域S的矩为：

其中I(x,y)为点(x,y)处的灰度值。

邻域S的质心为：

特征点与质心的夹角定义为该特征点的主方向：θ＝arctan(M_0,1/M_1,0)

2)特征点描述

ORB算法对BRIEF描述子做了改进，即rBRIEF描述方法，使描述子具有旋转不变性。BRIEF描述子实质是一个长度为m的二值码串，在特征点周围选择m个点对，比较每个点对的灰度值，编码成二进制形式的描述子。

一个二进制比较准则函数τ定义为：

式中p(x)为邻域内x处的灰度值。ORB算法为了去除噪声干扰，在特征点处选择一个5×5的图像块，经过平滑处理后，用图像块的平均灰度值代替该特征点的灰度值。

在特征点附近选取m个点对，进行比较，即可得到长度为m的二进制串，作为特征描述子：

ORB算法为了使描述子具有旋转不变性，使用上述计算得到的特征点主方向来确定特征描述子的方向。将特征点周围的m个点对组成一个矩阵S：

定义特征点方向θ对应的旋转矩阵为R_θ，与方向θ对应的特征点对矩阵S_θ＝R_θS。其中，θ为特征点的主方向。

确定方向后的特征描述子为：g_m(p,θ)＝f_m(p)|(x_i,y_i)∈S_θ

为了提高描述子的判别性能，ORB采用贪婪搜索，从全部可能的二进制测试中选出256个方差最大，相关性最低的测试点对，构成所需的特征描述子。

在上述基础上，本发明公开了一种用于警用无人机侦察取证的图像实时拼接方法，包含改进的ORB算法、图像配准以及图像融合三个步骤；

所述改进的ORB算法包括：对ORB进行了改进，将一种基于空频域分析的显著性模型结合KSW熵方法应用于特征提取阶段最优阈值的选取，利用高斯金字塔构建多尺度空间；

输入图像I，首先将其从RGB颜色空间转变到CIE Lab颜色空间，图像在Lab颜色空间包含三个通道：一个亮度通道(L通道)和两个颜色通道(a通道和b通道)，对于颜色通道，在时域采用高斯模糊消除细小的纹理细节，得到相应通道的特征图；对于亮度通道，采用一个高频增强巴特沃斯高通滤波器计算得到L通道的特征图，最后将各个通道的特征图组合在一起形成原始图像的显著图；

任意输入图像都可以用幅度谱和相位谱来表示，其中相位谱包含的是图像的纹理细节信息，幅度谱包含明暗对比信息，如果只保留相位谱，得到的图像显著特征将会包含部分背景信息，干扰图像特征点的检测，导致误匹配现象，高通滤波器可以通过衰减和抑制低频分量，实现锐化目标边 缘的同时最大程度的保留边缘信息，为了增强图像细节信息、锐化目标边缘、减少噪声干扰，采用了一个高频增强巴特沃斯高通滤波器；

截止频率为D₀的n阶巴特沃斯高通滤波器定义为：

其中，表示频率中点(u,v)与频率矩形中心的距离；

输入图像I，将L,a和b三个通道的特征图组合在一起，得到最终显著特征SM为：

SM(x,y)＝||I_L-I_L(x,y)||+||I_a-I_a(x,y)||+||I_b-I_b(x,y)||

其中，I_L(x,y)为原始图像的亮度通道经过高频增强巴特沃斯高通滤波器后的相应特征图像素值，I_a(x,y),I_b(x,y)分别为颜色通道相应的特征图像素值，I_L,I_a,I_b分别为相应通道图像平均特征向量，为二范数欧式距离；

阈值的选取应该随着图像灰度特征的变化而合理的变化，根据图像显著特征，结合KSW熵方法，来确定最佳阈值的选取，具体步骤如下：

设图像灰度范围为[0,L-1]，阈值t将其分为A、B两类，对应的概率分布分别为{p₀,p₁,p₂,...,p_t},{p_t+1,p_t+2,p₂,...,p_L-1}，其中p_i为相应灰度级出现的频率，令则A、B类对应的熵分别为：

图像的总熵为H＝H_A+H_B。则最佳阈值T为

其中，k为比例系数，由于特征点阈值与图像的像素对比度相关，因此通过图像显著特征以及熵方法确定图像灰度级差，即最佳阈值；

利用Fast角点检测算法结合得到的最佳阈值，提取特征点，并利用rBRIEF描述子对特征点进行描述，用于后续的图像配准；

所述图像配准包括利用特征点匹配和利用RANSAC算法筛选匹配点；

所述利用特征点匹配就是利用一个距离函数在两组特征点集合中寻找距离最近的两个特征点，对于两个二进制描述子的距离可以使用汉明距离来表示，汉明距离是指两个长度相同的字符串之间对应位置不同字符的个数。汉明距离越小，表明两个二进制描述子越相似；

对每个特征点计算其最短和次最短汉明距离，得到一组特征点匹配对，当最短与次最短距离的比例小于一个阈值时，认为两个特征点是匹配的；

所述利用RANSAC算法筛选匹配点是指通过随机抽取一定数量的样本对模型参数进行估计，再根据估计的参数对其余数据进行分类，一部分数据在允许的误差范围之内，则为内点，否则为外点，经过多次假设验证，去除错误的匹配点对；

RANSAC算法需要用到单应性矩阵H，它描述了两幅图像点坐标之间的变换关系，包括平移、旋转和缩放等关系，通过矩阵H能够找到一幅图像中的点在另一幅图像中的位置，假设图像1和图像2中的一对匹配点p₁(x,y)，p₂(x′,y′)之间的变换关系为：

由4对匹配点即可计算出矩阵H的8个参数，RANSAC算法步骤如下：

(1)设置迭代次数初值为0，最大迭代次数N，内点数目阈值T1，误差阈值T2；

(2)从n对待匹配点对中随机选取4对，计算两图像间的变换矩阵H 的参数；

(3)计算其余特征点经过H变换后的坐标值与它的匹配点之间的距离，若小于误差阈值T2，则认为该匹配点对为内点，否则为外点，计算内点的数量；

(4)如果内点数量大于内点数目阈值T1，则将当前的模型保存为最优模型。否则，迭代次数加一，转到步骤(2)继续下一轮迭代；

(5)如果达到最大迭代次数N，则返回对应内点数量最多的一组内点，并得到变换矩阵H；

所述图像拼接是指：图像经过配准之后，再通过图像融合，完成图像的拼接，图像融合是图像拼接的最后一步，主要分为两部分：图像的合并和消除图像拼接线，图像的合并即根据图像配准结果，将重合区域内冗余像素信息剔除并将待拼接图像对准；消除图像拼接线需要在拼接线附近进行加权平均融合处理；加权平均的权重函数可以使用渐入渐出法，复杂度低，速度快，在重合区域内可以实现图像的平滑过渡。渐入渐出法是根据待融合像素到重合区域边界的距离计算权值，权值呈线性变化，融合公式为：

式中，d₁、d₂表示像素点(x,y)在重合部分所对应的图像上的权重，且要求满足条件：d₁+d₂＝1,0＜d₁,d₂＜1；

d₁、d₂的计算公式为：

其中x_i为待融合像素点的横坐标，x_i、x_r分别为图像重合区域左右边 界的横坐标。

如图2所示，d1由1逐渐变为0，相应的d2由0变为1，从而在图像的重合区域内实现平滑过渡。

本发明首先构建多尺度空间，利用显著性分析模型得到最佳角点检测阈值，提取特征点，然后利用ORB描述子对特征点描述，最后利用Hamming距离结合RANSAC方法实现快速匹配，改进的ORB算法保持了速度的优越性，对存在尺度、旋转、视角及光照等变化的图像，其匹配率均有提高。

表1和表2分别给出了本文改进ORB算法与BRISK算法、FAST-ORB算法的配准率和配准时间的对比结果。其中，FAST-ORB算法指由FAST算法进行特征提取和由ORB描述子进行描述的图像特征点匹配算法。本文改进ORB算法相比于其他算法具有高配准率的优点。展示了各个算法所用时间的比较结果，可以看出来由于本文算法加入了显著性分析的步骤，配准时间稍高于其他两种算法，但是相差不多，保持了高速度的优点。实验结果表明本文改进的ORB算法保持了速度的优越性，对存在尺度、旋转、视角及光照等变化的图像，其匹配率均有提高。

表1图像配准率比较结果

表2图像配准时间比较结果

Claims (1)

1.用于警用无人机侦察取证的图像实时拼接方法，其特征在于，包含改进的ORB算法、图像配准以及图像融合三个步骤；

所述改进的ORB算法包括：对ORB进行了改进，将一种基于空频域分析的显著性模型结合KSW熵方法应用于特征提取阶段最优阈值的选取，利用高斯金字塔构建多尺度空间；

输入图像I，首先将其从RGB颜色空间转变到CIE Lab颜色空间，图像在Lab颜色空间包含三个通道：一个亮度通道(L通道)和两个颜色通道(a通道和b通道)，对于颜色通道，在时域采用高斯模糊消除细小的纹理细节，得到相应通道的特征图；对于亮度通道，采用一个高频增强巴特沃斯高通滤波器计算得到L通道的特征图，最后将各个通道的特征图组合在一起形成原始图像的显著图；

任意输入图像都可以用幅度谱和相位谱来表示，其中相位谱包含的是图像的纹理细节信息，幅度谱包含明暗对比信息，如果只保留相位谱，得到的图像显著特征将会包含部分背景信息，干扰图像特征点的检测，导致误匹配现象，高通滤波器可以通过衰减和抑制低频分量，实现锐化目标边缘的同时最大程度的保留边缘信息，为了增强图像细节信息、锐化目标边缘、减少噪声干扰，采用了一个高频增强巴特沃斯高通滤波器；

截止频率为D₀的n阶巴特沃斯高通滤波器定义为：

$H(u,v)=\frac{1}{1+{\[D_0/D(u,v)\]}^{2n}}$

其中，表示频率中点(u,v)与频率矩形中心的距离；

输入图像I，将L,a和b三个通道的特征图组合在一起，得到最终显著特征SM为：

SM(x,y)＝||I_L-I_L(x,y)||+||I_a-I_a(x,y)||+||I_b-I_b(x,y)||

其中，I_L(x,y)为原始图像的亮度通道经过高频增强巴特沃斯高通滤波器后的相应特征图像素值，I_a(x,y),I_b(x,y)分别为颜色通道相应的特征图像素值，I_L,I_a,I_b分别为相应通道图像平均特征向量，为二范数欧式距离；

阈值的选取应该随着图像灰度特征的变化而合理的变化，根据图像显著特征，结合KSW熵方法，来确定最佳阈值的选取，具体步骤如下：

设图像灰度范围为[0,L-1]，阈值t将其分为A、B两类，对应的概率分布分别为{p₀,p₁,p₂,...,p_t},{p_t+1,p_t+2,p₂,...,p_L-1}，其中p_i为相应灰度级出现的频率，令则A、B类对应的熵分别为：

$H_A=-\underset{i=0}{\overset{t}{\Σ}}\frac{p_i}{P_i}ln\frac{p_i}{P_i}$

$H_B=-\underset{i=t+1}{\overset{L-1}{\Σ}}\frac{p_i}{1-P_i}ln\frac{p_i}{1-P_i}$

图像的总熵为H＝H_A+H_B。则最佳阈值T为

$T=\frac{1}{k}*|Arg\underset{0\≤t\≤L-1}{max}H-Arg\underset{0\≤t\≤L-1}{\min }H|$

其中，k为比例系数，由于特征点阈值与图像的像素对比度相关，因此通过图像显著特征以及熵方法确定图像灰度级差，即最佳阈值；

利用Fast角点检测算法结合得到的最佳阈值，提取特征点，并利用rBRIEF描述子对特征点进行描述，用于后续的图像配准；

所述图像配准包括利用特征点匹配和利用RANSAC算法筛选匹配点；

所述利用特征点匹配就是利用一个距离函数在两组特征点集合中寻找距离最近的两个特征点，对于两个二进制描述子的距离可以使用汉明距离来表示，汉明距离是指两个长度相同的字符串之间对应位置不同字符的个数。汉明距离越小，表明两个二进制描述子越相似；

对每个特征点计算其最短和次最短汉明距离，得到一组特征点匹配对，当最短与次最短距离的比例小于一个阈值时，认为两个特征点是匹配的；

所述利用RANSAC算法筛选匹配点是指通过随机抽取一定数量的样本对模型参数进行估计，再根据估计的参数对其余数据进行分类，一部分数据在允许的误差范围之内，则为内点，否则为外点，经过多次假设验证，去除错误的匹配点对；

RANSAC算法需要用到单应性矩阵H，它描述了两幅图像点坐标之间的变换关系，包括平移、旋转和缩放等关系，通过矩阵H能够找到一幅图像中的点在另一幅图像中的位置，假设图像1和图像2中的一对匹配点p₁(x,y)，p₂(x′,y′)之间的变换关系为：

$\left[\begin{array}{c}{x}^{\′}\\ y^{\′}\\ 1\end{array}\right]=H\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]=\left[\begin{array}{ccc}{a}_0& a_1& a_2\\ a_3& a_4& a_5\\ a_6& a_7& 1\end{array}\right]\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]$

由4对匹配点即可计算出矩阵H的8个参数，RANSAC算法步骤如下：

(1)设置迭代次数初值为0，最大迭代次数N，内点数目阈值T1，误差阈值T2；

(2)从n对待匹配点对中随机选取4对，计算两图像间的变换矩阵H的参数；

(3)计算其余特征点经过H变换后的坐标值与它的匹配点之间的距离，若小于误差阈值T2，则认为该匹配点对为内点，否则为外点，计算内点的数量；

(4)如果内点数量大于内点数目阈值T1，则将当前的模型保存为最优模型。否则，迭代次数加一，转到步骤(2)继续下一轮迭代；

(5)如果达到最大迭代次数N，则返回对应内点数量最多的一组内点，并得到变换矩阵H；

所述图像拼接是指：图像经过配准之后，再通过图像融合，完成图像的拼接，图像融合是图像拼接的最后一步，主要分为两部分：图像的合并和消除图像拼接线，图像的合并即根据图像配准结果，将重合区域内冗余像素信息剔除并将待拼接图像对准；消除图像拼接线需要在拼接线附近进行加权平均融合处理；加权平均的权重函数可以使用渐入渐出法，复杂度低，速度快，在重合区域内可以实现图像的平滑过渡。渐入渐出法是根据待融合像素到重合区域边界的距离计算权值，权值呈线性变化，融合公式为：

$f(x,y)=\left\{\begin{array}{cc}{f}_1(x,y)& (x,y)\∈f_1\\ d_1(x,y)f_1(x,y)+d_2(x,y)f_2(x,y)& (x,y)\∈(f_1\∩f_2)\\ f_2(x,y)& (x,y)\∈f_2\end{array}\right.$

式中，d₁、d₂表示像素点(x,y)在重合部分所对应的图像上的权重，且要求满足条件：d₁+d₂＝1,0＜d₁,d₂＜1；

d₁、d₂的计算公式为：

其中x_i为待融合像素点的横坐标，x_i、x_r分别为图像重合区域左右边界的横坐标。