CN108256531A - 一种基于图像彩色信息的局部特征描述子构造方法及*** - Google Patents

Abstract

本发明提供了一种基于图像彩色信息的局部特征描述子构造方法及***，包括确定特征区域形状与尺寸；确定特征点的主方向；特征区域的划分与编号；特征区域内像素点的加权正交对称的二值模式编码；以子区域为单位，计算每个子区域的加权正交对称的二值编码特征向量；按照子区域划分编号和颜色分量次序，将子区域特征向量进行排列构造特征点的局部特征描述子。上述方法利用了图像的彩色信息，提高了对特征点的描述能力，降低的特征向量维数，具有更强的判别能力与鲁棒性。

Description

一种基于图像彩色信息的局部特征描述子构造方法及***

技术领域

本发明涉及数字图像处理技术，具体地，涉及一种基于图像彩色信息的局部特征描述子构造方法及***。

背景技术

近年来，局部特征作为计算机视觉中图像特征提取的一种方法，由于其对于遮挡、重叠等情况的良好的鲁棒性，常被用于特征识别、图像检索、宽基线匹配和目标识别等领域。性能良好的局部特征描述子必须具有高的辨识度，以对不同的特征点进行区分与匹配，同时，良好的特征描述子还必须对图像变换，比如尺度改变、图像旋转、光照变化、视角改变等，具有良好的鲁棒性。

目前，局部特征描述子可以分为四类，分别是基于分布的描述子、基于滤波器的描述子、基于矩的描述子和二值描述子。其中，David Lowe于2004年提出的基于分布的SIFT描述子得到广泛的关注和应用，具体详见David Lowe.Distinctive image features fromscale invariant keypoints.IJCV 2004。SIFT描述子将特征区域划分为4×4共16个子区域，在每个子区域中统计8个方向的梯度方向的直方图，最后将每个子区域的直方图结合构建成一组128维的特征向量，该特征描述子对于旋转、尺度变换和光照变换具有良好的鲁棒性，但由于其需要进行多次图像的卷积操作以及直方图统计，使得图像的复杂性较高，实时性差，并且SIFT特征描述子是基于图像灰度信息的，并没有充分利用图像的彩色信息。

特征描述子的维度、描述能力与提取速度这三者之间的权衡一直是具有挑战性的课题。特征点描述子的维度越高，其描述能力与对特征点进行区分的能力自然也就越强，但是，高维度的描述子意味着需要对特征点邻域进行深层次、多尺度以及大范围的分析与描述，这些过程会增加算法的复杂性和耗费大量的时间，因而实时性就不能得以体现。而且，目前所提出的很多局部特征描述子只利用了图像的灰度信息，舍弃了图像更具识别度的彩色信息，这在一定程度上导致了描述子描述能力的降低。因此，构造一种紧凑的、低维度的、基于图像彩色信息的，并且具有良好的描述能力与区分能力的局部特征描述子是具有重要意义的。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种基于图像彩色信息的局部特征描述子构造方法及***。

根据本发明提供的一种基于图像彩色信息的局部特征描述子构造方法，包括：

步骤1：确定特征区域形状与尺寸；

步骤2：统计特征区域中特征点邻域内像素点的梯度方向与幅值，构造梯度方向的直方图，获取特征点的主方向；

步骤3：将特征区域划分为K个子区域，最内层为圆形，外层为圆环，尽量保证每个区域内的像素点个数相近，对子区域由内向外进行编号；

步骤4：提取特征区域彩色信息的R、G、B三个颜色分量，对每个颜色分量进行加权正交对称的局部二值模式编码；

步骤5：以子区域为单位，构造子区域的加权正交对称的局部二值模式编码的特征向量；

步骤6：按照子区域划分顺序与颜色分量通道次序，将子区域的特征向量进行排列，构成特征点最终的局部特征描述子。

较佳的，所述步骤1具体包括：

步骤101：采用圆形划分特征区域，以增强对图像旋转的鲁棒性；

步骤102：确定圆形特征区域的半径大小。

较佳的，所述步骤2具体包括：

步骤201：计算特征区域内所有像素点的梯度方向与梯度幅值；

步骤202：使用直方图统计特征区域内像素的梯度方向和幅值，直方图将0°～360°范围分为36个柱，每10°为一个柱作为直方图横轴，纵轴是梯度方向角对应的带高斯加权的梯度幅值的累加；

步骤203：求取直方图的峰值，该峰值对应横坐标值即为特征点的主方向。

较佳的，所述步骤3具体包括：

步骤301：确定子区域的数量K；

步骤302：将圆形区域由内到外依次划分为K个子区域并依次编号，最内层为圆，其他层为以特征点为中心的圆环，每个子区域像素点个数差在预定范围内。

较佳的，所述步骤4具体包括：

步骤401：特征点邻域内的任意一像素点X_i,j，i、j为像素点X_i,j相对于特征点的相对偏移，以X_i,j为中心，以1个像素为半径构造八像素邻域，为满足二值编码模式的旋转不变性，分别计算邻域内八个像素点与X_i,j连线构成的直线与特征点主方向的夹角，建立该点的方向坐标系，取与特征点主方向相近的方向的邻域像素点n₁为开始点，顺时针编码领域内剩下的七个点为n₂、n₃、n₄、n₅、n₆、n₇、n₈；

步骤402：将X_i,j邻域像素点中关于中心像素点具有正交对称关系的四个像素点划分为一组，则一个点得到两组4-正交对称的算子，分别为[n₁，n₃，n₅，n₇]和[n₂，n₄，n₆，n₈]，然后分别对每组的算子进行编码，编码公式如下：

WOS-LBP^(m) _1,8(X_i,j)＝s(n_i-n_i+4)2⁰+s(n_i+2-n_i+6)2¹

其中，

m＝1,2

其中，n₁至n₈为像素点X_i,j周围八邻域的像素点根据步骤401中规定顺序进行排序的编号，sign(x)表示若关于中心对称的两像素的像素值之差x大于预先设定值T，则返回1，否则返回0，对两组算子分别利用上式进行编码，每一组编得00、01、10、11四种结果，构成一组4维的特征向量，将两组算子编码得到的特征向量串联在一起，那么WOS-LBP提供8维的特征向量。

较佳的，所述步骤5具体包括：

步骤501：对于子区域K_l内的任意像素点X_i,j，生成关于X_i,j的正交对称的局部二值编码，统计子区域K_l内所有像素点生成的编码的分布直方图，直方图的每一柱的值作为特征向量的分量，直方图统计公式如下：

其中，

m＝1,2

其中，H^m(k)为子区域内两组特征向量的直方图统计，f(x,y)为加权函数，k为WOS-LBP算子的取值，i、j为像素点X_i,j相对于特征点的相对偏移，σ为常数；

步骤502：每个子区域形成的统计直方图的每一柱的量值作为该子区域特征向量的分量，则每个子区域形成一个8维的加权正交对称的局部二值模式特征向量。

较佳的，所述步骤6具体包括：

步骤601：将单个颜色分量的每个子区域的特征向量按照子区域划分顺序进行排列，构成单一颜色分量特征向量；

步骤602：将单一颜色分量的特征向量按照颜色通道划分次序进行排列，构造特征点的局部特征描述子，局部特征描述子维数为8×3×K维。

较佳的，所述步骤302具体包括：

步骤701：计算每个子区域的像素点个数N，N＝特征区域像素点总数/子区域的个数K；

步骤702：定义变量，r为特征区域半径，subarea_r为子区域半径，inner_subarea为上一层圆或圆环半径大小，subarea_num为子区域像素点个数，threshold为每个子区域像素点个数与N的容差范围，gap表示子区域半径增长步长，t表示当前划分子区域的序号，设置初始值，subarea_r＝0，inner_subarea＝0，subarea_num＝0，t＝0；

步骤703：令subarea_r以gap为间隙增大，每增大一次，统计与特征点距离介于inner_subarea与subarea_r之间像素点的个数subarea_num，直到|subarea_num-N|<＝threshold，则记录此时subarea_r的值，并令inner_subarea＝subarea_r，令t自增1；

步骤704：重复步骤703，直至t＝K或者subarea_r＝r终止，输出每个子区域及其半径值。

根据本发明提供的一种基于图像彩色信息的局部特征描述子构造***，包括：

特征区域确定模块：确定特征区域形状与尺寸；

特征点主方向确定模块：统计特征区域中特征点邻域内像素点的梯度方向与幅值，构造梯度方向的直方图，获取特征点的主方向；

特征区域划分模块：将特征区域划分为K个子区域，最内层为圆形，外层为圆环，尽量保证每个区域内的像素点个数相近，对子区域由内向外进行编号；

颜色分量编码模块：提取特征区域彩色信息的R、G、B三个颜色分量，对每个颜色分量进行加权正交对称的局部二值模式编码；

特征向量构造模块：以子区域为单位，构造子区域的加权正交对称的局部二值模式编码的特征向量；

局部特征描述子构建模块：按照子区域划分顺序与颜色分量通道次序，将子区域的特征向量进行排列，构成特征点最终的局部特征描述子。

与现有技术相比，本发明具有如下的有益效果：

本发明利用二值编码模式构造的描述子，融合了特征点邻域的像素与像素差信息，还采用基于距离的权重对描述子进行优化，增强了对于光照变化的鲁棒性；另一方面，采用圆形区域的特征区域划分增强了描述子对于图像旋转变化的鲁棒性。所以，本发明的局部特征描述子具有快速构造、低维度、高描述能力的特点，并对图像的旋转变化和光照变化具有强的鲁棒性，在特征识别、图像检索、宽基线匹配和目标识别等领域具有实际的应用价值。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明的流程图；

图2为本发明方向坐标系的构建示意图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。

如图1所示，本发明提供的一种基于图像彩色信息的局部特征描述子构造方法，包括：

步骤1：确定特征区域形状与尺寸：

根据不同的应用场景，可选择不同特征区域形状，传统的特征区域是基于笛卡尔网格法划分的，该方法划分的特征区域为矩形，不具有旋转不变性，因此本发明采用圆形划分特征区域，以增强对图像旋转的鲁棒性，并设置圆形区域半径大小为8个像素。

步骤2：统计特征区域中特征点邻域内像素点的梯度方向与幅值，构造梯度方向的直方图，获取特征点的主方向。包括：

步骤201：计算特征区域内所有像素点的梯度方向与梯度幅值；

步骤202：使用直方图统计特征区域内像素的梯度方向和幅值，直方图将0°～360°范围分为36个柱，每10°为一个柱作为直方图横轴，纵轴是梯度方向角对应的带高斯加权的梯度幅值的累加；

步骤203：求取直方图的峰值，该峰值对应横坐标值即为特征点的主方向。

步骤3：将特征区域划分为K个子区域，最内层为圆形，外层为圆环，尽量保证每个区域内的像素点个数相近，对子区域由内向外进行编号。包括：

步骤301：确定子区域的数量K，子区域的数量需要考虑特征区域的大小，并且影响特征向量的维数，通常K可取2-5之间的整数；

步骤302：将圆形区域由内到外依次划分为K个子区域并依次编号，最内层为圆，其他层为以特征点为中心的圆环，每个子区域像素点个数差在预定范围内，尽量保证每个子区域像素点个数相近。具体包括：

步骤701：计算每个子区域的像素点个数N，N＝特征区域像素点总数/子区域的个数K；

步骤702：定义变量，r为特征区域半径，subarea_r为子区域半径，inner_subarea为上一层圆或圆环半径大小，subarea_num为子区域像素点个数，threshold为每个子区域像素点个数与N的容差范围，gap表示子区域半径增长步长，t表示当前划分子区域的序号，设置初始值，subarea_r＝0，inner_subarea＝0，subarea_num＝0，t＝0；

步骤703：令subarea_r以gap为间隙增大，每增大一次，统计与特征点距离介于inner_subarea与subarea_r之间像素点的个数subarea_num，直到|subarea_num-N|<＝threshold，则记录此时subarea_r的值，并令inner_subarea＝subarea_r，t＝t+1；

步骤704：重复步骤703，直至t＝K或者subarea_r＝r终止，输出每个子区域及其半径值。

表一是对图像某一半径为8像素的圆形区域进行K个子区域划分的结果。

表一

步骤4：提取特征区域彩色信息的R(红)、G(绿)、B(蓝)三个颜色分量，对每个颜色分量进行加权正交对称的局部二值模式编码。包括：

步骤401：特征点邻域内的任意一点X_i,j，以其为中心，以1个像素为半径构造八像素邻域，为满足二值编码模式的旋转不变性，分别计算邻域内八个像素点与点X_i,j连线构成的直线与特征点主方向的夹角，建立该点的方向坐标系，取与特征点主方向相近的方向的邻域像素点n₁为开始点，顺时针编码领域内剩下的七个点为n₂、n₃、n₄、n₅、n₆、n₇、n₈，如图2所示。

步骤402：将X_i,j邻域像素点中关于中心像素点具有正交对称关系的四个像素点划分为一组，则一个点得到两组4-正交对称的算子，分别为[n1,n3,n5,n7]和[n2,n4,n6,n8]，然后分别对每组的算子进行编码，编码公式如下：

WOS-LBP^(m) _1,8(X_i,j)＝s(n_i-n_i+4)2⁰+s(n_i+2-n_i+6)2¹

其中，

m＝1,2

其中，n₁至n₈为像素点X_i,j周围八邻域的像素点根据步骤401中规定顺序进行排序的编号，对两组算子分别利用上式进行编码，每一组编可得00、01、10、11四种结果，构成一组4维的特征向量，将两组算子编码得到的特征向量串联在一起，那么WOS-LBP可提供8维的特征向量，相比于LBP(256维)、CS-LBP(16维)等二值编码模式，降低了特征向量维数。

步骤5：以子区域为单位，构造子区域的加权正交对称的局部二值模式编码的特征向量。包括：

步骤501：对于子区域K_l内的任意像素点X_i,j，生成关于X_i,j的正交对称的局部二值编码，统计子区域K_l内所有像素点生成的编码的分布直方图，直方图的每一柱的值作为特征向量的分量，直方图统计公式如下：

其中，

m＝1,2

其中，H^m(k)为子区域内两组特征向量的直方图统计，f(x,y)为加权函数，k为WOS-LBP算子的取值，k取0至3，i、j为像素点X_i,j相对于特征点的相对偏移，σ为常数；

步骤502：每个子区域形成的统计直方图的每一柱的量值作为该子区域特征向量的分量，则每个子区域形成一个8维的加权正交对称的局部二值模式特征向量。

步骤6：按照子区域划分顺序与颜色分量通道次序，将子区域的特征向量进行排列，构成特征点最终的局部特征描述子。包括：

步骤601：将单个颜色分量的每个子区域的特征向量按照子区域划分顺序进行排列，构成单一颜色分量特征向量；

步骤602：将单一颜色分量的特征向量按照颜色通道划分次序进行排列，构造特征点的局部特征描述子，局部特征描述子维数为8×3×K维。

在上述一种基于图像彩色信息的局部特征描述子构造方法的基础上，本发明还提供一种基于图像彩色信息的局部特征描述子构造***，包括：

特征区域确定模块：确定特征区域形状与尺寸；

特征点主方向确定模块：统计特征区域中特征点邻域内像素点的梯度方向与幅值，构造梯度方向的直方图，获取特征点的主方向；

特征区域划分模块：将特征区域划分为K个子区域，最内层为圆形，外层为圆环，尽量保证每个区域内的像素点个数相近，对子区域由内向外进行编号；

颜色分量编码模块：提取特征区域彩色信息的R、G、B三个颜色分量，对每个颜色分量进行加权正交对称的局部二值模式编码；

特征向量构造模块：以子区域为单位，构造子区域的加权正交对称的局部二值模式编码的特征向量；

局部特征描述子构建模块：按照子区域划分顺序与颜色分量通道次序，将子区域的特征向量进行排列，构成特征点最终的局部特征描述子。

本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的***及其各个装置、模块、单元以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的***及其各个装置、模块、单元以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以，本发明提供的***及其各项装置、模块、单元可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置、模块、单元也可以视为硬件部件内的结构；也可以将用于实现各种功能的装置、模块、单元视为既可以是实现方法的软件模块又可以是硬件部件内的结构。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (9)

1.一种基于图像彩色信息的局部特征描述子构造方法，其特征在于，包括：

步骤1：确定特征区域形状与尺寸；

步骤2：统计特征区域中特征点邻域内像素点的梯度方向与幅值，构造梯度方向的直方图，获取特征点的主方向；

步骤3：将特征区域划分为K个子区域，最内层为圆形，外层为圆环，尽量保证每个区域内的像素点个数相近，对子区域由内向外进行编号；

步骤4：提取特征区域彩色信息的R、G、B三个颜色分量，对每个颜色分量进行加权正交对称的局部二值模式编码；

步骤5：以子区域为单位，构造子区域的加权正交对称的局部二值模式编码的特征向量；

步骤6：按照子区域划分顺序与颜色分量通道次序，将子区域的特征向量进行排列，构成特征点最终的局部特征描述子。

2.根据权利要求1所述的基于图像彩色信息的局部特征描述子构造方法，其特征在于，所述步骤1具体包括：

步骤101：采用圆形划分特征区域，以增强对图像旋转的鲁棒性；

步骤102：确定圆形特征区域的半径大小。

3.根据权利要求2所述的基于图像彩色信息的局部特征描述子构造方法，其特征在于，所述步骤2具体包括：

步骤201：计算特征区域内所有像素点的梯度方向与梯度幅值；

步骤202：使用直方图统计特征区域内像素的梯度方向和幅值，直方图将0°～360°范围分为36个柱，每10°为一个柱作为直方图横轴，纵轴是梯度方向角对应的带高斯加权的梯度幅值的累加；

步骤203：求取直方图的峰值，该峰值对应横坐标值即为特征点的主方向。

4.根据权利要求3所述的基于图像彩色信息的局部特征描述子构造方法，其特征在于，所述步骤3具体包括：

步骤301：确定子区域的数量K；

步骤302：将圆形区域由内到外依次划分为K个子区域并依次编号，最内层为圆，其他层为以特征点为中心的圆环，每个子区域像素点个数差在预定范围内。

5.根据权利要求4所述的基于图像彩色信息的局部特征描述子构造方法，其特征在于，所述步骤4具体包括：

步骤401：特征点邻域内的任意一像素点X_i,j，i、j为像素点X_i,j相对于特征点的相对偏移，以X_i,j为中心，以1个像素为半径构造八像素邻域，为满足二值编码模式的旋转不变性，分别计算邻域内八个像素点与X_i,j连线构成的直线与特征点主方向的夹角，建立该点的方向坐标系，取与特征点主方向相近的方向的邻域像素点n₁为开始点，顺时针编码领域内剩下的七个点为n₂、n₃、n₄、n₅、n₆、n₇、n₈；

步骤402：将X_i,j邻域像素点中关于中心像素点具有正交对称关系的四个像素点划分为一组，则一个点得到两组4-正交对称的算子，分别为[n₁，n₃，n₅，n₇]和[n₂，n₄，n₆，n₈]，然后分别对每组的算子进行编码，编码公式如下：

WOS-LBP^(m) _1,8(X_i,j)＝s(n_i-n_i+4)2⁰+s(n_i+2-n_i+6)2¹

其中，

m＝1,2

其中，n₁至n₈为像素点X_i,j周围八邻域的像素点根据步骤401中规定顺序进行排序的编号，sign(x)表示若关于中心对称的两像素的像素值之差x大于预先设定值T，则返回1，否则返回0，对两组算子分别利用上式进行编码，每一组编得00、01、10、11四种结果，构成一组4维的特征向量，将两组算子编码得到的特征向量串联在一起，那么WOS-LBP提供8维的特征向量。

6.根据权利要求5所述的基于图像彩色信息的局部特征描述子构造方法，其特征在于，所述步骤5具体包括：

步骤501：对于子区域K_l内的任意像素点X_i,j，生成关于X_i,j的正交对称的局部二值编码，统计子区域K_l内所有像素点生成的编码的分布直方图，直方图的每一柱的值作为特征向量的分量，直方图统计公式如下：

其中，

m＝1,2

其中，H^m(k)为子区域内两组特征向量的直方图统计，f(x,y)为加权函数，k为WOS-LBP算子的取值，i、j为像素点X_i,j相对于特征点的相对偏移，σ为常数；

步骤502：每个子区域形成的统计直方图的每一柱的量值作为该子区域特征向量的分量，则每个子区域形成一个8维的加权正交对称的局部二值模式特征向量。

7.根据权利要求6所述的基于图像彩色信息的局部特征描述子构造方法，其特征在于，所述步骤6具体包括：

步骤601：将单个颜色分量的每个子区域的特征向量按照子区域划分顺序进行排列，构成单一颜色分量特征向量；

步骤602：将单一颜色分量的特征向量按照颜色通道划分次序进行排列，构造特征点的局部特征描述子，局部特征描述子维数为8×3×K维。

8.根据权利要求4所述的基于图像彩色信息的局部特征描述子构造方法，其特征在于，所述步骤302具体包括：

步骤701：计算每个子区域的像素点个数N，N＝特征区域像素点总数/子区域的个数K；

步骤702：定义变量，r为特征区域半径，subarea_r为子区域半径，inner_subarea为上一层圆或圆环半径大小，subarea_num为子区域像素点个数，threshold为每个子区域像素点个数与N的容差范围，gap表示子区域半径增长步长，t表示当前划分子区域的序号，设置初始值，subarea_r＝0，inner_subarea＝0，subarea_num＝0，t＝0；

步骤703：令subarea_r以gap为间隙增大，每增大一次，统计与特征点距离介于inner_subarea与subarea_r之间像素点的个数subarea_num，直到|subarea_num-N|<＝threshold，则记录此时subarea_r的值，并令inner_subarea＝subarea_r，令t自增1；

步骤704：重复步骤703，直至t＝K或者subarea_r＝r终止，输出每个子区域及其半径值。

9.一种基于图像彩色信息的局部特征描述子构造***，其特征在于，包括：

特征区域确定模块：确定特征区域形状与尺寸；

特征点主方向确定模块：统计特征区域中特征点邻域内像素点的梯度方向与幅值，构造梯度方向的直方图，获取特征点的主方向；

特征区域划分模块：将特征区域划分为K个子区域，最内层为圆形，外层为圆环，尽量保证每个区域内的像素点个数相近，对子区域由内向外进行编号；

颜色分量编码模块：提取特征区域彩色信息的R、G、B三个颜色分量，对每个颜色分量进行加权正交对称的局部二值模式编码；

特征向量构造模块：以子区域为单位，构造子区域的加权正交对称的局部二值模式编码的特征向量；

局部特征描述子构建模块：按照子区域划分顺序与颜色分量通道次序，将子区域的特征向量进行排列，构成特征点最终的局部特征描述子。