CN107886100B - 一种基于阶阵列的brief特征描述子 - Google Patents

Abstract

本发明在BRIEF特征描述子的基础上，选择多个特征点，并引入阶排列方法，提出一种改进的特征描述子OPoBRIEF。相对于传统的特征描述子，OPoBRIEF能够包含更多的局部特征信息，并且计算复杂性较低。通过特征描述子稳定性实验，表明OPoBRIEF比BRRIEF特征描述子具有更高的匹配正确率和更好的稳定性。而特征描述子旋转不变性的实验则表明，在旋转角度为10‑12°区间中，OPoBRIEF与SIFT效果相当，但明显优于ORB算法。

Description

一种基于阶阵列的BRIEF特征描述子

技术领域

本发明涉及机器视觉研究领域，具体涉及一种基于阶阵列的BRIEF特征描述子。

背景技术

在图像处理领域，特征描述子对目标物的不变性研究具有重要意义。一个好的描述子应该能够抵抗目标物的尺度变化、光线变化、旋转变化、仿射变化和噪声干扰。一般而言，一个描述子的构成首先是从图像中提取一些特征点，然后根据特征点周围的区域形成描述子，最后，采用适当的距离度量方法来比对描述子的相似程度，判定描述子与目标物之间是否同一。对于视觉分类问题而言，常用的方法是通过特征向量来描述一类具有共同点的物体，然后形成可查找的视觉关键字。假定关键点是已知的，理想的描述子应该是能够包含关键点周围区域的绝大多数重要且惟一的信息内容。

在实时性和稳定性要求严格的应用领域，描述子必须能够提供快速的计算和比对结果，这就需要设计一个稳定而高效的描述子，人们为此开展了大量的实验和研究。其中，为了满足描述子的抗尺度不变性，Lowe提出了基于直方图计算梯度主方向的方，这一方法是在一系列尺度下，对经过高斯滤波的特征点周围区域的灰度值进行采样，计算出图像主方向。该方法被广泛用于描述关键点的方向性。类似的计算主方向的方法还有GLOH[3]和HOG。虽然这些方法并不能很直观的反映图像空间频率关系，但他们拥有很准确的方向判断性。此外，SURF描述子主要利用特征点周围像素点对HAAR滤波的响应来提高运算速度，其性能不亚于SIFT描述子。即使如此，SIFT和SURF描述子的计算代价依然很高，不能很好的应用于实时图像处理。为此，KE和Skthankar提出在计算SIFT描述子主元时，采用PCA方法对特征点周围41×41的像斑区域进行计算，从而将原有的2×39×39维的向量降低成20维向量，形成更为精准的PCA-SIFT描述子。PCA-SIFT描述子保留了SIFT描述子的尺度不变性，同时降低了特征向量维数，但在计算描述子过程中会增加一定的计算量和损失少量的差异性。Bin基于阶序组合池提出了两种抗旋转不变的描述子[8]：一种是MROGH(Multi-supportRegion Order-based Gradient Histogram)，主要是对特征汇聚策略进行了改进；另一种是MRRID(Multi-support Region Rotation and Intensity Monotonic InvariantDescriptor)。Miksik和Mikolajczyk通过实验验证了基于阶排列的描述子的计算复杂度要低于SIFT和SURF。LIOP(Local Intensity Order Pattern)方法进一步证实这一观点，LIOP是一种用来刻画图像局部亮度顺序信息的特征描述方法。该特征描述方法利用图像(块)整体的亮度顺序信息将图像块分割为若干个局部子区域，以此来加快LIOP的计算速度。整个图像块的整体和局部亮度顺序信息被提取出来，构成LIOP特征。这种特征不仅对光照变换不敏感，对视角变化，图像模糊，图像有损压缩等也同样不敏感。

除了实时应用需求，在大规模数据运算和移动设备上，计算量也是一个至关重要的约束条件。计算量小的描述子主要有Calonder提出的二值特征描述子BRIEF，以及基于BRIEF的抗尺度变化和旋转变化的改进特征描述子BRISK。此外，ORB也是一种具有抗旋转不变性、计算高效的描述，它采用了基于FAST算子的特征点检测方法。Ziegler也提出了一种线性时间复杂度的描述子，该描述子通过对两张图片的RGB分块值进行排序，结合排序后序列的距离，实现对图片的特征描述。

发明内容

为解决上述问题，本发明提供了一种基于阶阵列的BRIEF特征描述子。

为实现上述目的，本发明采取的技术方案为：

一种基于阶阵列的BRIEF特征描述子，其特征在于，

定义一个经过高斯平滑后的图像块P，图像块的大小为S×S，随机在块中采样一对像素点进行比较，比较结果由下式决定。

式(1)中，I(p,x)代表了第p个图像块中的像素点x＝(u,v)^T的灰度值，I(p,y)则代表了第p个图像块中的像素点y＝(uy,vy)的灰度值

通过对局部图像块进行多次采样形成一个采样组，组内采样点数为n(n>2)，进而引入采样点的阶排列的概念，提出OPoBRIEF描述子；

首先对式(1)进行扩展，给定从基准图和测试图中提取特征关键点的集合为χ，

且采样图像的分块区域都经过平滑处理，降低图像灰度值的噪声影响后，获得描述子；通过计算不同集合下采样组的相似关系来进行特征匹配，每组采样点中组内采样点的二值测试序列可以描述为

其中，x∈χ,

代表在经过平滑处理后的图像分块p上获得的采样组；n^s代表采样组内用于进行二值测试的采样点的个数；n_d代表了形成的二值序列的维度；

代表了组内每对采样点的对比对；I(x)代表了采样点x的灰度像素值；

Calonder所介绍的二值序列BRIEF特征描述子是n^s＝2时的情况，即式(1)替换表示为

用来形成二值序列串的描述子式也可以扩展到n_d维，表示为

在OPoBRIEF中，阶排列是用在有多个采样点的情况；

通过计算得到的阶排列来替换BRIEF描述子中的二值测试序列，则OPoBRIEF描述子对每个特征点的维度变化为n_d×n^s。

相对于传统的特征描述子，OPoBRIEF能够包含更多的局部特征信息，并且计算复杂性较低。通过特征描述子稳定性实验，表明OPoBRIEF比BRRIEF特征描述子具有更高的匹配正确率和更好的稳定性。而特征描述子旋转不变性的实验则表明，在旋转角度为10-12°区间中，OPoBRIEF与SIFT效果相当，但明显优于ORB算法。

附图说明

图1为本发明实施例中BRIEF相关的空间采样。

图2为本发明实施例ORB相关的空间采样。

图3为本发明实施例BRISK相关的空间采样。

图4为本发明实施例构造阶排列的过程。

图5为本发明实施例不同窗口大小Boxing滤波后描述子的正确匹配率。

图6为本发明实施例OPoBRIEF与SIFT特征描述子旋转不变性比较。

具体实施方式

为了使本发明的目的及优点更加清楚明白，以下结合实施例对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

BRIEF描述子

定义一个经过高斯平滑后的图像块P，图像块的大小为S×S，随机在块中采样一对像素点进行比较，比较结果由下式决定。

式(1)中，I(p,x)代表了第p个图像块中的像素点x＝(u,v)^T的灰度值，I(p,y)则代表了第p个图像块中的像素点y＝(uy,vy)的灰度值。在块p中随机采样n对对比对，形成一个n维的二进制描述串，也就是BRIEF描述子，如下

在选取采样点时，采样点的空间分布应服从高斯分布，保证采样更为全局化。描述子向量之间的距离可以采用汉明距离，通过异或操作实现快速计算。通常，n_d取值可以为128、256、512。BRIEF描述子的一个采样实例如图1。

ORB描述子

BRIEF描述子本身仅考虑了单个像素，不具备方向，也就不具有旋转不变性。ORB描述子尝试给BRIEF添加一个方向，特征点的主方向是通过矩(moment)和图像矩心计算而来，然后，通过贪心算法寻找二值准则特征集中相关性最低的对比对集合，作为ORB描述子。图2显示了在大小为31×31的图像块上，采用5×5大小的子窗口进行处理后获得的ORB描述子。

BRISK描述子

BRISK描述子采用领域采样模式，即在以特征点为中心的每个离散化同心圆上，取均匀分布的N个点，如图3所示。BRISK描述子具有旋转不变性和尺度不变性的特点。文献[8]中BRISK采用了不同尺度高斯平滑去噪技术，并使用FAST算子值作为度量局部的最大性指标，在多尺度空间上寻找最值，使其具有尺度不变性；为了适应旋转不变性，在建立描述子的过程中，利用长距离点对的梯度累加从而估计特征点角点的主方向。

OPoBRIEF描述子

Ziegler通过随机提取图像局部的像素对，比对灰度值形成二值序列，然后计算汉明距离(hamming distance)进行相似匹配[15]。考虑到灰度对比对的不稳定性，我们首先增加采样点数量，然后引入阶排列的概念，加强对二值对比对的条件约束，最后形成更为稳定的阶排列BRIEF描述子。

N维BRIEF描述子

Calonder提出的BRIEF描述子只是利用局部图像邻域内两个随机点的灰度关系来建立局部图像特征描述子，得到是二值特征描述子。这种方法结构简单，计算速度快。但是，由于只选取了两个采样点，所构成的对比对的关系比较简单，使得描述子不够稳定。我们

通过对局部图像块进行多次采样形成一个采样组，组内采样点数为n(n>2)，进而引入采样点的阶排列的概念，提出OPoBRIEF描述子；

由于有多个采样点需要进行比对，首先对式(1)进行扩展，给定从基准图和测试图中提取特征关键点的集合为χ，

且采样图像的分块区域都经过平滑处理，降低了图像灰度值的一些噪声影响，获得描述子后，通过计算不同集合下采样组的相似关系来进行特征匹配，每组采样点中组内采样点的二值测试序列可以描述为

其中，x∈χ,

代表在经过平滑处理后的图像分块p上获得的采样组；n^s代表采样组内用于进行二值测试的采样点的个数；n_d代表了形成的二值序列的维度；

代表了组内每对采样点的对比对；I(x)代表了采样点x的灰度像素值；

Calonder所介绍的二值序列BRIEF特征描述子是n^s＝2时的情况，即式(1)替换表示为

用来形成二值序列串的描述子式也可以扩展到n_d维，表示为

在OPoBRIEF中，阶排列是用在有多个采样点的情况。例如图4情况，在平滑过的子块上随机抽取4个采样点：I(x^(j,1))＝60，I(x^(j,2))＝160，I(x^(j,3))＝15，I(x^(j,4))＝200，该组采样点的阶排列字串为4213。

通过计算得到的阶排列来替换BRIEF描述子中的二值测试序列，则OPoBRIEF描述子对每个特征点的维度变化为n_d×n^s。显然，n^s值过大会造成阶排列字串过于复杂，通常n^s取值为3和4较为合适，两者的阶排列模式只有6和24，计算开销较小。

BRIEF描述子只选取了两个采样点，构成的对比对关系比较简单，而OPoBRIEF选取了多个采样点进行比对，包含更多的局部信息，具有更强的代表性和稳定性。以图4所示为例，

经过了6次比对，形成阶排列串(4213)，获得

能够包含更多的信息。

平滑核的选择

高斯噪声可能损坏阶排列的稳定性，主要原因是噪声会引起像素值局部极大值或者极小值突变，从而改变灰度值在特征向量里的排列顺序。为此，我们采用不同大小的高斯核滤波和不同窗口的Boxing滤波，研究测试OPoBRIEF的稳定性。

通常来说，Boxing滤波的窗口尺寸越大，阶排列得到的结果就越稳定。但是，这会导致同样的阶排列生成不同的排列串。为避免这一问题，本申请尝试通过在一些公共图像测试集上进行实验，寻找一个窗口大小合适的Boxing滤波。图5给出在测试图像集合Benchmark上，采用不同窗口大小的Boxing滤波算法，对不同的种类的图像集合进行平滑后，描述子的正确匹配率实验结果。其中，分块大小p＝48、维度n_d＝256，每一组实验包含了8个不同大小窗口的Boxing滤波测试的结果。由图可见，当k值在13附件时，Boxing滤波能够达到较高正确匹配率。

[1]Calonder建议采用48×48的分块、7×7的窗口和σ＝2高斯核进行滤波处理，能够获得较为稳定的效果。本申请实验结果表明采用boxing滤波效果比高斯滤波效果更好，这一结论与文献O.Miksik,K.Mikolajczyk.“Evaluation of local detectors anddescriptors for fast feature matching”.ICPR,2681–2684,2012.一致。另一方面，考虑到构造一个Boxing滤波只需要四个点和三次加法运算，算法更为简单有效，更适用于进行区域分块平滑滤波。

阶排列距离度量

Ziegler介绍了三种不同的高效的距离计算方法[15]：Hamming距离、Cayley距离和Kendall's tau距离。其中Kendall's tau距离已经被证明在计算阶排列的距离上要比其他两种计算方法好，虽然他的计算复杂度为O(m2)，高于汉明距离和Cayley距离的计算复杂度O(m)。

为使结果更为精准，本申请选择Kendall's tau距离来进行匹配距离的计算。π被定义为

中元素的排列组合。选取两个描述子π₁和π₂作为匹配描述子，Kendall’stau距离计算公式如下

K_d(π₁,π₂)＝|{(i,j)|(π₁(i)＜π₁(j)∧π₂(i)>π₂(j))∨(π₁(i)>π₁(j)∧π₂(i)＜π₂(j)),1≤i,j≤n^s}|

实验与结果

我们在公共图像数据集上进行了不同采样大小的测试。首先计算了n^s＝3和n^s＝4情况下提取的OPoBRIEF描述子，并与BRIEF进行对比；而后又对OPoBRIEF的旋转不变性进行了实验和分析。实验硬件环境：Intel(R)双核CPU-E7500，主频2.9Ghz，6.0GB内存，软件环境：Linux***，基于openCV类库采用C语言编程。

描述子稳定性实验

实验选取五个不同的图片数据集wall，ubc，leuve，trees和bikes进行测试，如图6。这五个不同的数据集可用来测试不同情况下，图像变换对描述子稳定性的影响。其中，wall主要针对的是相机的镜头视点的改变；ubc主要针对的是图像压缩率的变化；leuve主要针对了图像的光照变化；trees和bikes主要针对了图像的模糊变化。

Surf算法是OPENCV中一个快速和高效的特征点检测算法，因此，本申请主要采用Surf进行关键点提取。表1是每组图片比对结果，我们将匹配率最高的前两位进行了加粗表示，并在最高匹配率前面加上了星号做标记。表1记录了在n_d＝256的情况下，3采样点OPoB-3，4采样点OPoB-4和BRIEF(B-256)三种方法的实验结果。

通过分析表1的实验结果，可以发现除了第一组实验，OPoBRIEF比BRIEF的整体匹配效果好，其中，OPoB-4比OPoB-3的整体匹配效果更好，OPoB-4的正确匹配率高于BRIEF。实验结果同时说明选择的采样点数量越多，描述子包含的信息量越多，匹配的正确性也就越高。在测试描述子对旋转不变性的实验中，描述子OPoBRIEF的匹配效果并不比BRIEF描述子效果好很多。在Trees和Bikes测试集上的实验结果表明OPoB-4的匹配效果明显优于OPOB-3和BRIEF。尤其是在Trees的数据集上，描述子OPOB-4要比描述子BRIEF平均要多出21对以上的正确匹配对，这说明描述子OPoBRIEF对图像的模糊有较强的抵抗性。而在用来测试光照变化对描述子影响的数据集Leuve上，OPOB-4的效果也明显优于OPOB-3和BRIEF。最后在不同压缩率比图像的测试中，BRIEF的性能大多数情况会好过OPoBRIEF，但两者的差距并不是十分巨大。

表1:不同数据集的正确匹配率

OPoBRIEF的旋转不变性实验

为了检验OPoBRIEF的旋转不变性，我们设计了一组实验。实验所用的数据集是newyork图片序列，该图片序列包含了35张图片，覆盖了从0到170和170到350度旋转的图片。特征点的提取算法使用的是最新版openCV中的SIFT和ORB算法，其中使用SIFT特征点提取法获得26235对匹配对，使用ORB算法获得26430对匹配对。如果我们考虑每10度作为一个错误区间，则有26200对匹配对被衡量。实验结果如表2，表中提供了错误区间为10到50的实验结果。从实验结果可以发现，，SIFT算法的主方向的准确率为69.03％，要远高于ORB算法的主方向的准确率57.95％，但在其他旋转度SIFT算法不及ORB。通常算法中都会选用10度到12度来作为偏移区间，因此，SIFT主方向计算方法更能满足我们的主方向计算需求。SIFT与OPoBRIEF的对比结果如图6，表明OPoBRIEF的旋转不变性不亚于SIFT特征描述子的效果。

表2不同旋转度的匹配率

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (1)

1.一种基于阶阵列的BRIEF特征描述子，其特征在于，

定义一个经过高斯平滑后的图像块P，图像块的大小为S×S，随机在块中采样一对像素点进行比较，比较结果由下式决定；

式(1)中，I(p,x)代表了第p个图像块中的像素点x＝(u，v)^T的灰度值，I(p,y)则代表了第p个图像块中的像素点y＝(uy,vy)^T的灰度值；

在块p中随机采样n对对比对，形成一个n维的二进制描述串，也就是BRIEF描述子，如下：

在选取采样点时，采样点的空间分布应服从高斯分布，保证采样更为全局化；描述子向量之间的距离采用汉明距离，通过异或操作实现快速及时；

通过对局部图像块进行多次采样形成一个采样组，组内采样点数为n，n>2，进而引入采样点的阶排列的概念，提出OPoBRIEF描述子；

先对式(1)进行扩展，给定从基准图和测试图中提取特征关键点的集合为χ，

且采样图像的分块区域都经过平滑处理，降低图像灰度值的噪声影响后，获得描述子；通过计算不同集合下采样组的相似关系来进行特征匹配，每组采样点中组内采样点的二值测试序列描述为

其中，x∈χ,

代表在经过平滑处理后的图像分块p上获得的采样组；b^s代表采样组内用于进行二值测试的采样点的个数；n_d代表了形成的二值序列的维度；

代表了组内每对采样点的对比对；I(x)代表了采样点x的灰度像素值；L代表图像描述子；R^d代表采样组的最大值；

Calonder所介绍的二值序列BRIEF特征描述子是n^s＝2时的情况，即式(1)替换表示为

用来形成二值序列串的描述子式扩展到n_d维，表示为

在OPoBRIEF中，阶排列是用在有多个采样点的情况；

通过计算得到的阶排列来替换BRIEF描述子中的二值测试序列，则OPoBRIEF描述子对每个特征点的维度变化为n_d×n^s。

Images