CN101833767A - 数字图像中基于梯度与颜色特征的直线自动匹配方法 - Google Patents

Abstract

本发明涉及一种数字图像中直线自动匹配方法，包括：采集图像并输入计算机；提取图像中的直线段；确定直线邻域并划分子区域；将各点高斯梯度与其所在子区域的平均高斯梯度分别进行内积与外积运算获得梯度特征；将各点颜色对其所在子区域的平均颜色进行归一化获得颜色特征；基于梯度特征计算直线的梯度均值描述向量与梯度标准差描述向量；基于颜色特征计算直线的颜色均值描述向量与颜色标准差描述向量；计算直线的描述向量之间的欧式距离，分别赋予不同权重系数后求和，获得直线之间的相似度；进行匹配并输出结果。本发明提供的方法不需要借助任何先验条件，同时利用了梯度与颜色两种图像特征，能够适用于不同类型的图像，具有更加广泛的适应性。

Description

数字图像中基于梯度与颜色特征的直线自动匹配方法

技术领域

本发明涉及计算机视觉中的图像特征自动匹配领域，特别是数字图像中直线自动匹配方法。

背景技术

特征匹配技术在图像检索、物体识别、视频跟踪以及增强现实等领域有重要应用。近年来，以尺度不变特征转换(Scale-invariant featuretransform，简称SIFT)技术的提出为标志，图像特征点自动匹配技术取得了较大进展。但是，由于直线长度不易统一描述，并且直线附近纹理一般不丰富，直线自动匹配技术提出的较少。

目前已有的主要直线匹配方法主要有如下几种，第一种是基于颜色直方图的方法，该方法仅利用直线附近的颜色信息构造直方图并进行匹配，无法适用于颜色特征不明显的灰度图像、遥感图像等；第二种是均值标准差直线描述子(MSLD)的方法，这种方法在进行直线匹配时，仅利用了图像中的梯度信息构造直线描述子进行匹配，没有使用颜色信息，对颜色特征显著的图像类型匹配性能不佳；第三种是直线聚类(Line Signatures)方法，该方法利用直线夹角与长度比值来进行直线匹配，依赖于直线端点的准确提取，但对于纹理丰富图像的图像类型，一般直线检测算法很难获得端点的准确位置，该方法在仅适用于场景简单的图像类型；第四种是基于特征点匹配的方法，该方法需要首先进行特征点匹配，然后利用特征点提供的位置约束进行直线匹配，但对于纹理简单的图像类型，特征点匹配算法能够获得的匹配对数较少，导致算法最终的性能较差。

在图像识别等具体应用中，一般无法提前确定图像类型，并且一些任务场景需同时处理多种类型的图像，这就要求直线匹配算法能够应用于各种图像类型。而现有的直线匹配方法只局限于特定的图像类型，不具有通用性。

发明内容

本发明针对现有技术中存在的问题提供一种数字图像中基于梯度与颜色特征的直线自动匹配方法，该方法能够适用多种图像类型的直线自动匹配，而不限于特定的图像类型。

为了实现本目的，本发明提供了一种数字图像中基于梯度与颜色特征的直线自动匹配方法，包括以下步骤：

步骤S1：采集图像并输入计算机；

步骤S2：利用已有直线提取技术提取图像中的直线段；

步骤S3：将所述直线为中轴线的矩形区域确定为直线邻域，并其划分为7个矩形子区域；

步骤S4：将直线邻域内各点的高斯梯度与其所在矩形子区域的平均梯度分别进行内积玉外积运算，获得各点的梯度特征；

步骤S5：将直线邻域内各点的颜色对其所在矩形子区域的平均颜色进行归一化，获得各点的颜色特征；

步骤S6：计算各子区域的梯度均值与标准差向量，将各子区域的梯度均值向量组成一个向量并归一化获得直线的梯度均值描述向量，将各子区域的梯度标准差向量组成一个向量并归一化获得直线的梯度标准差描述向量；

步骤S7：计算各子区域的颜色均值与标准差向量，将各子区域的颜色均值向量组成一个向量并归一化获得直线的颜色均值描述向量，将各子区域的颜色标准差向量组成一个向量并归一化获得直线的颜色标准差描述向量；

步骤S8：分别计算直线四个描述向量之间的欧式距离，然后赋予不同的权重系数后求和，获得直线之间的相似度；

步骤S9：基于预先设置的匹配准则，利用直线之间的相似度进行直线匹配，将相似度数值大于0.3的匹配作为错误匹配去除，输出结果。

本发明提供的数字图像中直线自动匹配方法，不需要已知任何其它先验条件，同时利用直线邻域内各点的梯度与颜色两种特征，提取子区域特征的均值和标准差来构造直线的描述向量，然后通过计算描述向量之间的距离并加权求和后获得直线的相似性，最后基于预先设置的匹配准则准则进行直线匹配。匹配过程中能够通过调整描述向量的加权系数使该方法适用于不同类型的图像，与借助先验条件或仅基于一种图像特征的已有方法相比，本发明提供的方法具有更加广泛的适用范围，具备通用性。

附图说明

图1所示为本发明数字图像中基于梯度与颜色特征的直线自动匹配方法的流程图。

具体实施方式

如图1所示为本发明数字图像中基于梯度与颜色特征的直线自动匹配方法的流程图，包括：采集图像并输入计算机，提取图像中的直线段，确定直线邻域并划分子区域，计算邻域内各点的梯度特征，计算邻域内各点的颜色特征，基于梯度特征获得直线的均值与标准差描述向量，基于颜色特征获得直线的均值与标准差描述向量，计算直线之间的相似度，进行直线匹配并输出结果。

各步骤的具体实施细节如下：

步骤S1：采集图像并输入计算机。利用数码相机拍摄同一场景不同视角下的两幅或多幅图像，输入计算机。

步骤S2：提取图像中的直线段。首先利用已有边缘检测技术(如Canny算子)检测图像边缘，然后去除图像中的连结点和曲率较大的点，接着仅保留图像中长度大于20像素的直线段，最后利用Hough变换拟合直线。

步骤S3：确定直线邻域并划分子区域。假设直线L的长度为N，将直线L为中轴线，大小为N×35的矩形区域确定为直线邻域，记为G(L)；沿垂直于直线L的方向，将直线邻域划分为7个大小为N×5的矩形子区域G₁，G₂，...，G₇，记7个矩形子区域包含的像素个数分别为#G₁，#G₂，...，#G₇。

步骤S4：计算直线邻域内各点的梯度特征。记点X_k的梯度为▽f(X_k)＝[f_x(X_k)，f_y(X_k)]，其所在矩形子区域G_i内各点的平均梯度为

将X_k的梯度▽fCX_k)与平均梯度

分别作内积与外积运算，获得点X_k的梯度特征g(X_k)＝[g₁(X_k)，g₂(X_k)]，其中

$g_2\left(X_k\right)=f_x\left(X_k\right)\·{\stackrel{\‾}{f}}_{\mathrm{yi}}-f_y\left(X_k\right)\·{\stackrel{\‾}{f}}_{\mathrm{xi}}.$

步骤S5：计算直线邻域内各点的颜色特征。记点X_k的颜色为Color(X_k)＝[R_k，G_k，B_k]，其所在矩形子区域G_i内各点的平均颜色为Color(G_i)＝[R_mi，G_mi，B_mi]，将点X_k处的颜色Color(X_k)对平均颜色Color(G_i)进行归一化，获得点X_k的颜色特征c(X_k)＝[c₁(X_k)，c₂(X_k)，c₃(X_k)]，其中 $c_2\left(X_k\right)=\frac{R_{\mathrm{mi}}{B}_k}{R_k{B}_{\mathrm{mi}}},$ $c_3\left(X_k\right)=\frac{G_{\mathrm{mi}}{B}_i}{G_i{B}_{\mathrm{mi}}}.$

步骤S6：计算直线的梯度均值与标准差描述向量。记矩形子区域G_i中像素点X_k的梯度特征为g(X_k)＝[g₁(X_k)，g₂(X_k)]，计算G_i内各点梯度特征的均值向量 $V_{\mathrm{gmi}}=[V_{\mathrm{gmi}}^1,V_{\mathrm{gmi}}^2,V_{\mathrm{gmi}}^3,V_{\mathrm{gmi}}^4],$ 其中 $V_{\mathrm{gmi}}^1=\frac{1}{\#G_i}\underset{g_1\left(X_k\right)>0}{\mathrm{\&Sigma;}}{g}_1\left(X_k\right),$ $V_{\mathrm{gmi}}^2=\frac{1}{\#G_i}\underset{g_1\left(X_k\right)>0}{\mathrm{\&Sigma;}}{|g}_1\left(X_k\right)|,$ 计算G_i内各点梯度特征的标准差向量 $V_{\mathrm{gsi}}=[V_{\mathrm{gsi}}^1,V_{\mathrm{gsi}}^2,V_{\mathrm{gsi}}^3,V_{\mathrm{gsi}}^4],$ 其中 $V_{\mathrm{gsi}}^1=\frac{1}{\#G_i}\sqrt{\underset{g_1\left(X_k\right)>0}{\mathrm{\&Sigma;}}{(g_1\left(X_k\right)-V_{\mathrm{gmi}}^1)}^2},$ $V_{\mathrm{gsi}}^2=\frac{1}{\#G_i}\sqrt{\underset{g_1\left(X_k\right)<0}{\mathrm{\&Sigma;}}{\left(\right|g_1\left(X_k\right)|-V_{\mathrm{gmi}}^2)}^2},$ $V_{\mathrm{gsi}}^3=\frac{1}{\#G_i}\sqrt{\underset{g_2\left(X_k\right)>0}{\mathrm{\&Sigma;}}{(g_2\left(X_k\right)-V_{\mathrm{gmi}}^3)}^2},$

将子区域G₁，G₂，...，G₇对应的梯度均值向量组成一个向量并归一化，获得直线的梯度均值描述向量

将子区域G₁，G₂，...，G₇对应的梯度标准差向量组成一个向量并归一化，获得直线的梯度标准差描述向量 $V_{\mathrm{gs}}=\frac{[V_{\mathrm{gs}1},V_{\mathrm{gs}2},...,V_{\mathrm{gs}7}]}{\left|\right|[V_{\mathrm{gs}1},V_{\mathrm{gs}2},...,V_{\mathrm{gs}7}]\left|\right|}.$

步骤S7：计算直线的颜色均值与标准差描述向量。记矩形子区域G_i中像素点X_k的颜色特征为c(X_k)＝[c₁(X_k)，c₂(X_k)，c₃(X_k)]，计算G_i内各点颜色特征的均值向量 $V_{\mathrm{cmi}}=[V_{\mathrm{cmi}}^1,V_{\mathrm{cmi}}^2,V_{\mathrm{cmi}}^3],$ 其中， $V_{\mathrm{cmi}}^1=\frac{1}{\#G_i}\underset{X_k\&Element;G_i}{\mathrm{\&Sigma;}}{c}_1\left(X_k\right),$ $V_{\mathrm{cmi}}^2=\frac{1}{\#G_i}\underset{X_k\&Element;G_i}{\mathrm{\&Sigma;}}{c}_2\left(X_k\right),$

计算G_i内各点颜色特征标准差向量其中 $V_{\mathrm{csi}}^1=\frac{1}{\#G_i}\sqrt{\underset{X_k\&Element;G_i}{\mathrm{\&Sigma;}}{(c_1\left(X_i\right)-V_{\mathrm{cmi}}^1)}^2},$ $V_{\mathrm{csi}}^2=\frac{1}{\#G_i}\sqrt{\underset{X_k\&Element;G_i}{\mathrm{\&Sigma;}}{(c_2\left(X_i\right)-V_{\mathrm{cmi}}^1)}^2},$ $V_{\mathrm{csi}}^3=\frac{1}{\#G_i}\sqrt{\underset{X_k\&Element;G_i}{\mathrm{\&Sigma;}}{(c_3\left(X_i\right)-V_{\mathrm{cmi}}^3)}^2};$ 将子区域G₁，G₂，...，G₇对应的颜色均值向量组成一个向量并归一化，获得直线的颜色均值描述向量

将子区域G₁，G₂，...，G₇对应的颜色标准差向量组成一个向量并归一化，获得直线的颜色标准差描述向量 $V_{\mathrm{cs}}=\frac{[V_{\mathrm{cs}1},V_{\mathrm{cs}2},....,V_{\mathrm{cs}7}]}{\left|\right|[V_{\mathrm{cs}1},V_{\mathrm{cs}2},....,V_{\mathrm{cs}7}]\left|\right|}.$

步骤S8：分别计算直线的四个描述向量之间的欧式距离，分别赋予不同加权系数后求和获得直线间的相似度。记两条直线L₁，L₂对应的四个描述向量分别为V_gm1、V_gs1、V_gs1、V_cs1与V_gm2、V_gs2、V_cm2、V_cs2，计算L₁，L₂之间的相似性S(L₁，L₂)＝αβ·S₁+α(1-β)·S₂+(1-α)β·S₃+(1-α)(1-β)S₄，其中S₁＝‖V_gm1-V_gm2‖，S₂＝‖V_gs1-V_gs2‖，S₃＝‖V_cm1-V_cm2‖，S₄＝‖V_cs1-V_cs2‖，α为梯度颜色系数，其取值范围为0.3～0.7，β为均值标准差系数，其取值范围为0.3～0.7。α取值越大，则梯度特征在匹配过程中的重要性越大，反之，颜色特征在匹配过程中的重要性越大；系数β与图像场景中的纹理丰富程度有关：图像纹理越简单，系数β取值应越大；图像纹理越复杂，系数β取值应越小。

步骤S9：采用预先设置的准则进行直线匹配并输出匹配结果。主要可以采用左右一致性准则进行直线匹配：例如，对于第1幅图像中一条直线段l，记第2幅图像中与l最匹配(对应的相似度数值最小)的直线段为l′，如果l同时也是第1幅图像中与l′最匹配的直线段，则l、l′为一对匹配直线段。利用左右一致性准则获得初始匹配后，通过去除相似度小于0.3的匹配来去除其中的错误匹配，获得最终的匹配结果并输出。

本发明提供的数字图像中直线自动匹配方法，不需要已知任何其它先验条件，同时利用直线邻域内各点的梯度与颜色两种特征，提取子区域特征的均值和标准差来构造直线的描述向量，然后通过计算描述向量之间的距离并加权求和后获得直线的相似性，最后基于左右一致性准则进行直线匹配。匹配过程中能够通过调整描述向量的加权系数使该方法适用于不同类型的图像，与借助其它先验条件或仅基于一种图像特征的已有方法相比，本发明提供的方法具有更加广泛的适用范围。

Claims (6)

1.一种数字图像中基于梯度与颜色特征的直线自动匹配方法，其特征在于，包括：

步骤S1：采集图像并输入计算机；

步骤S2：利用直线提取技术提取图像中的直线段；

步骤S3：将所述直线为中轴线的矩形区域确定为直线邻域，并将其划分为7个矩形子区域；

步骤S4：将直线邻域内各点的高斯梯度与其所在矩形子区域的平均梯度分别进行内积与外积运算，获得各点的梯度特征；

步骤S5：将直线邻域内各点的颜色对其所在矩形子区域的平均颜色进行归一化，获得各点的颜色特征；

步骤S6：计算各子区域的梯度均值与标准差向量，将各子区域的梯度均值向量组成一个向量并归一化获得直线的梯度均值描述向量，将各子区域的梯度标准差向量组成一个向量并归一化获得直线的梯度标准差描述向量；

步骤S7：计算各子区域的颜色均值与标准差向量，将各子区域的颜色均值向量组成一个向量并归一化获得直线的颜色均值描述向量，将各子区域的颜色标准差向量组成一个向量并归一化获得直线的颜色标准差描述向量；

步骤S8：分别计算直线的梯度均值描述向量、梯度标准差描述向量、颜色均值描述向量和梯度标准差描述向量这四个描述向量之间的欧式距离，然后赋予不同的权重系数后求和，获得直线之间的相似度；

步骤S9：基于预先设置的匹配准则，利用直线之间的相似度进行直线匹配，将相似度数值大于0.3的匹配作为错误匹配去除，输出结果。

2.根据权利要求1所述的数字图像中基于梯度与颜色特征的直线自动匹配方法，其特征在于，所述步骤S3包括：记直线的长度为N，将所述直线为中轴线，大小为N×35的矩形区域确定为直线邻域；沿垂直于直线方向，将该矩形邻域划分为7个大小为N×5的矩形子区域G₁，G₂，...，G₇，记7个矩形子区域包含的像素个数分别为#G₁，#G₂，...，#G₇。

3.根据权利要求2所述的数字图像中基于梯度与颜色特征的直线自动匹配方法，其特征在于，所述步骤S4包括：记直线邻域内各点为{X_k|X_k∈G_i}，点X_k的高斯梯度为▽f(X_k)＝[f_x(X_k)，f_y(X_k)](f_x(X_k)，f_y(X_k)分别表示水平竖直方向上的梯度)，其所在矩形子区域G_i内各点的平均梯度为

将X_k的高斯梯度▽f(X_k)与平均梯度

分别作内积与外积运算，获得点X_k的梯度特征g(X_k)＝[g₁(X_k)，g₂(X_k)]，其中

$g_2\left(X_k\right)=f_x\left(X_k\right)\&CenterDot;{\stackrel{\&OverBar;}{f}}_{\mathrm{yi}}-f_y\left(X_k\right)\&CenterDot;{\stackrel{\&OverBar;}{f}}_{\mathrm{xi}}.$

4.根据权利要求3所述的数字图像中基于梯度与颜色特征的直线自动匹配方法，其特征在于，所述步骤S5包括：记直线邻域内各点X_k的颜色为Color(X_k)＝[R_k，G_k，B_k](R_k，G_k，B_k分别表示红、绿、蓝三个颜色分量)，其所在矩形子区域G_i内各点的平均颜色为Color(G_i)＝[R_mi，G_mi，B_mi]，将点X_k处的颜色Color(X_k)对平均颜色Color(G_i)进行归一化，获得点X_k的颜色特征c(X_k)＝[c₁(X_k)，c₂(X_k)，c₃(X_k)]，其中c₁(X_k)＝R_miG_k/R_kG_mi，c₂(X_k)＝R_miB_k/R_kB_mi，c₃(X_k)＝G_miB_i/G_iB_mi。

5.根据权利要求4所述的数字图像中基于梯度与颜色特征的直线自动匹配方法，其特征在于，所述步骤S6包括：记矩形子区域G_i中步骤S4获得的点X_k的梯度特征为g(X_k)＝[g₁(X_k)，g₂(X_k)]，计算G_i内各点梯度特征的均值向量 $V_{\mathrm{gmi}}=[V_{\mathrm{gmi}}^1,V_{\mathrm{gmi}}^2,V_{\mathrm{gmi}}^3,V_{\mathrm{gmi}}^4],$ 其中 $V_{\mathrm{gmi}}^1=\frac{1}{\#G_i}\underset{g_1\left(X_k\right)>0}{\mathrm{\&Sigma;}}{g}_1\left(X_k\right),$ $V_{\mathrm{gmi}}^2=\frac{1}{\#G_i}\underset{g_1\left(X_k\right)<0}{\mathrm{\&Sigma;}}\left|g_1\left(X_k\right)\right|,$

计算G_i内各点梯度特征的标准差向量 $V_{\mathrm{gsi}}=[V_{\mathrm{gsi}}^1,V_{\mathrm{gsi}}^2,V_{\mathrm{gsi}}^3,V_{\mathrm{gsi}}^4],$ 其中 $V_{\mathrm{gsi}}^1=\frac{1}{\#G_i}\sqrt{\underset{g_i\left(X_k\right)>0}{\mathrm{\&Sigma;}}{(g_1\left(X_k\right)-V_{\mathrm{gmi}}^1)}^2},$ $V_{\mathrm{gsi}}^2=\frac{1}{\#G_i}\sqrt{\underset{g_1\left(X_k\right)<0}{\mathrm{\&Sigma;}}{\left(\right|g_1\left(X_k\right)|-V_{\mathrm{gmi}}^2)}^2},$ $V_{\mathrm{gsi}}^3=\frac{1}{\#G_i}\sqrt{\underset{g_2\left(X_k\right)>0}{\mathrm{\&Sigma;}}{(g_2\left(X_k\right)-V_{\mathrm{gmi}}^3)}^2},$

将子区域G₁，G₂，...，G₇对应的梯度均值向量组成一个向量并归一化，获得直线的梯度均值描述向量V_gm＝[V_gm1，V_gm2，...，V_gm7]/‖[V_gm1，V_gm2，...，V_gm7]‖(其中‖□‖表示向量的取模运算)；将子区域G₁，G₂，...，G₇对应的梯度标准差向量组成一个向量并归一化，获得直线的梯度标准差描述向量V_gs＝[V_gs1，V_gs2，...，V_gs7]/‖[V_gs1，V_gs2，...，V_gs7]‖。

6.根据权利要求5所述的数字图像中基于梯度与颜色特征的直线自动匹配方法，其特征在于，所述步骤S7包括：记矩形子区域G_i中步骤S5获得的点X_k的颜色特征为c(X_k)＝[c₁(X_k)，c₂(X_k)，c₃(X_k)]，计算G_i内各点颜色特征的均值向量 $V_{\mathrm{cmi}}=[V_{\mathrm{cmi}}^1,V_{\mathrm{cmi}}^2,V_{\mathrm{cmi}}^3],$ 其中， $V_{\mathrm{cmi}}^1=\frac{1}{\#G_i}\underset{X_k\&Element;G_i}{\mathrm{\&Sigma;}}{c}_1\left(X_k\right),$ $V_{\mathrm{cmi}}^2=\frac{1}{\#G_i}\underset{X_k\&Element;G_i}{\mathrm{\&Sigma;}}{c}_2\left(X_k\right),$

计算G_i内各点颜色特征标准差向量

其中 $V_{\mathrm{csi}}^1=\frac{1}{\#G_i}\sqrt{\underset{X_k\&Element;G_i}{\mathrm{\&Sigma;}}{(c_1\left(X_i\right)-V_{\mathrm{cmi}}^1)}^2},$ $V_{\mathrm{csi}}^2=\frac{1}{\#G_i}\sqrt{\underset{X_k\&Element;G_i}{\mathrm{\&Sigma;}}{(c_2\left(X_i\right)-V_{\mathrm{cmi}}^2)}^2},$ $V_{\mathrm{csi}}^3=\frac{1}{\#G_i}\sqrt{\underset{X_k\&Element;G_i}{\mathrm{\&Sigma;}}{(c_3\left(X_i\right)-V_{\mathrm{cmi}}^3)}^2};$ 将子区域C₁，G₂，...，G₇对应的颜色均值向量组成一个向量并归一化，获得直线的颜色均值描述向量V_cm＝[V_cm1，V_cm2，...，V_cm7]/‖[V_cm1，V_cm2，...，V_cm7]‖；将子区域G₁，G₂，...，G₇对应的颜色标准差向量组成一个向量并归一化，获得直线的颜色标准差描述向量V_cs＝[V_cs1，V_cs2，...，V_cs7]/‖[V_cs1，V_cs2，...，V_cs7]‖。

Images