CN104978709A - 描述符生成方法及装置 - Google Patents

Abstract

本发明提供一种描述符生成方法及装置，该方法包括：对输入图像提取轮廓，并根据轮廓提取至少一条线段，然后根据线段的方向确定检测出的特征点的主方向，根据主方向对特征点的邻域进行旋转，并根据旋转后的邻域对特征点进行描述，从而生成特征点的描述符。该过程中，主方向的确定主要依赖于特征点邻域的线段的方向，而多模图像中，线段相对于点更加稳定，使得各幅图像对应的特征点的描述符具有可重复性，提高描述符的准确性，进而提高多模图像配准精度。

Description

描述符生成方法及装置

技术领域

本发明涉及图像配准技术，尤其涉及一种描述符生成方法及装置。

背景技术

图像配准指将不同时间、不同成像传感器或不同条件下获取的至少两幅图像进行匹配、叠加的过程。该过程中，若被配准的图像来自同一类型的成像传感器，如同为可见光成像传感器或同为红外成像传感器，则该配准过程称之为单模图像配准；否则，若被配准的图像分别来自不同类型的成像传感器，则该配准过程称之为多模图像配准。

现有技术基于特征点的图像配准中，对每幅图像提取特征点，并确定特征点的主方向，将坐标轴旋转为特征点的主方向，以确保旋转不变性，然后再基于尺度不变特征转换(Scale-invariant Feature Transform，SIFT)描述子对旋转后的特征点进行描述，从而生成描述符，最后通过描述符，根据一定的相似性准则对各幅图像的对应特征点进行配准。其中，特征点是图像中一些稳定点，如角点、边缘点、暗区中的亮点、亮区中的暗点等。描述符用来描述特征点，其一般是一组向量，包括特征点的位置、方向、尺度等信息，一个良好的描述符应该具有独立性和重复性，独立性是指对于一幅图像中的一个具体的特征点，该特征点的描述符是唯一的；重复性是指对于待配准的两幅图像或多幅图像，对应特征点的描述符是可重复的，即是相同的；主方向与描述符的可重复性具有直接关系，使得描述符具有旋转不变性，实现具有旋转、仿射变换、投影变化的图像配准。

上述图像配准中，对于一个具体的特征点，根据其邻域的梯度信息得到梯度方向，进而将该梯度方向作为该特征点的主方向。若图像配准为单模图像配准，则由于被配准的图像的局部区域的纹理结构相似，根据梯度信息得到的各幅图像对应的特征点的主方向较为一致，各幅图像对应特征点的描述符具有可重复性，使得图像的配准精度较高。然而，若图像配准为多模图像配准，则由于被配准的图像的局部区域纹理结构相差较大，根据梯度信息得到的各幅图像对应的特征点的主方向相差较大，而描述符是在特征点的邻域根据主方向旋转后生成的，导致各幅图像对应特征点的描述符不具可重复性，描述符的准确性较差，进而使得多模图像配准精度低。

发明内容

本发明提供一种描述符生成方法及装置，以提高描述符的准确性，进而提升多模图像的配准精度。

第一个方面，本发明实施例提供一种描述符生成方法，包括：

提取图像中的特征点；

提取所述图像的轮廓；

将形成所述轮廓的各子线段中，具有相近斜率且相邻的至少一条子线段在长度方向上合并，以形成至少一条线段，所述具有相近斜率的子线段为斜率差小于预设阈值的子线段；

根据所述至少一条线段的方向，确定所述特征点的主方向；

根据所述主方向旋转所述特征点的邻域，并根据旋转后的邻域对所述特征点进行描述，从而生成所述特征点的描述符。

在第一个方面的第一种可能的实现方式中，所述根据所述至少一条线段的方向，确定所述特征点的主方向，具体为：

从所述至少一条线段中，确定所述特征点的邻域内长度最长的线段，将所述长度最长的线段的方向作为所述特征点的主方向。

在第一个方面的第二种可能的实现方式中，所述根据所述至少一条线段的方向，确定所述特征点的主方向，具体为：

确定所述特征点的邻域内各所述线段的平均梯度，对于每一条所述线段，所述平均梯度为所述线段包括的至少两个点沿所述线段方向的梯度的平均值；

确定所述特征点的邻域内所述平均梯度最大的线段，将所述平均梯度最大的线段的方向作为所述特征点的主方向。

结合第一个方面、第一个方面的第一种或第二种可能的实现方式，在第一个方面的第三种可能的实现方式中，所述根据旋转后的邻域对所述特征点进行描述，从而生成所述特征点的描述符，具体为：

将所述旋转后的邻域划分为N×N个子区域，N≥1；

在各子区域内将0～360°划分为4个方向；

对于每一子区域，确定子区域的各方向的梯度幅值；

对各子区域的各方向的梯度幅值进行累加，归一化生成所述特征点的描述符。

结合第一个方面、第一个方面的第一种或第二种可能的实现方式，在第一个方面的第四种可能的实现方式中，所述根据旋转后的邻域对所述特征点进行描述，从而生成所述特征点的描述符，具体为：

基于边缘方向直方图描述子对所述旋转后的特征点进行描述，从而生成所述特征点的描述符。

第二个方面，本发明实施例提供一种描述符生成装置，包括：

第一提取模块，用于提取图像中的特征点；

第二提取模块，用于提取所述图像的轮廓；

合并模块，用于将所述第二提取模块提取出的形成所述轮廓的各子线段中，具有相近斜率且相邻的至少一条子线段在长度方向上合并，以形成至少一条线段，所述具有相近斜率的子线段为斜率差小于预设阈值的子线段；

确定模块，用于根据所述合并模块合并得到的所述至少一条线段的方向，确定所述第一提取模块提取出的所述特征点的主方向；

处理模块，用于根据所述确定模块确定出的所述主方向旋转所述特征点的邻域，并根据旋转后的邻域对所述特征点进行描述，从而生成所述特征点的描述符。

在第二个方面的第一种可能的实现方式中，所述确定模块，具体用于从所述至少一条线段中，确定所述特征点的邻域内长度最长的线段，将所述长度最长的线段的方向作为所述特征点的主方向。

在第二个方面的第二种可能的实现方式中，所述确定模块，具体用于确定所述特征点的邻域内各所述线段的平均梯度，对于每一条所述线段，所述平均梯度为所述线段包括的至少两个点沿所述线段方向的梯度的平均值；确定所述特征点的邻域内所述平均梯度最大的线段，将所述平均梯度最大的线段的方向作为所述特征点的主方向。

结合第二个方面、第二个方面的第一种或第二种可能的实现方式，在第二个方面的第三种可能的实现方式中，所述处理模块，具体用于将所述旋转后的邻域划分为N×N个子区域，N≥1；

在各子区域内将0～360°划分为4个方向；

对于每一子区域，确定子区域的各方向的梯度幅值；

对各子区域的各方向的梯度幅值进行累加，归一化生成所述特征点的描述符。

结合第二个方面、第二个方面的第一种或第二种可能的实现方式，在第二个方面的第四种可能的实现方式中，所述处理模块，具体用于基于边缘方向直方图描述子，根据旋转后的邻域对所述特征点进行描述，从而生成所述特征点的描述符。

本发明实施例提供的描述符生成方法及装置，对输入图像提取轮廓，并根据轮廓提取至少一条线段，然后根据线段的方向确定检测出的特征点的主方向，根据主方向对特征点的邻域进行旋转，并根据旋转后的邻域对特征点进行描述，从而生成特征点的描述符。该过程中，主方向的确定主要依赖于特征点邻域的线段的方向，而多模图像中，线段相对于点更加稳定，使得各幅图像对应的特征点的描述符具有可重复性，提高描述符的准确性，进而提高多模图像配准精度。

附图说明

图1为本发明描述符生成方法实施例一的流程图；

图2为本发明描述符生成过程中特征点的邻域的旋转示意图；

图3为本发明描述符生成装置的结构示意图。

具体实施方式

图1为本发明描述符生成方法实施例一的流程图。本实施例的执行主体为描述符生成装置，适用于多模图像配准中需要生成描述符的场景。具体的，本实施例包括如下步骤：

101、提取图像中的特征点。

本步骤中，使用特征点检测器检测出图像中的特征点，特征点检测器例如可以为快速特征检测器(Fast Feature Detector，FAST)、快速视网膜(FastRetina Key，FREAK)检测器、SIFT检测器等。

102、提取所述图像的轮廓。

本发明实施例中的图像，指待配准的图像，对每幅图像执行步骤101～105以生成描述符，然后在多模图像配准中，通过描述符，根据一定的相似性准则对各幅图像的对应特征点进行匹配、叠加。该过程中，待配准的图像至少为两幅，该至少两幅图像来自不同类型的成像传感器，如红外成像传感器、可见光成像传感器等。

图像的轮廓，即图像的边缘线，本步骤中，可采用Canny边缘检测算法等提取出待配准图像的轮廓。

103、将形成所述轮廓的各子线段中，具有相近斜率且相邻的至少一条子线段在长度方向上合并，以形成至少一条线段，所述具有相近斜率的子线段为斜率差小于预设阈值的子线段。

图像的轮廓可视为由很多个子线段组成，这些子线段依次首尾相接形成图像的轮廓。本步骤中，将该些子线段中斜率相近且相邻的子线段在长度方向上进行合并，合并成一条线段。该子线段的合并过程中，合并的子线段至少为两条斜率相近的子线段，例如，三条子线段斜率相近且依次相邻，则对该三条子线段进行合并。其中，由于轮廓中很少存在斜率相同，即完全平行的子线段，因此将斜率差小于一定预设阈值的子线段作为斜率相近的子线段。

104、根据所述至少一条线段的方向，确定所述特征点的主方向。

一般来说，线段是点的集合，其在多模图像中比点更加稳定。本步骤中，对于每一个特征点，根据其周围至少一条线段的方向确定出主方向。

105、根据所述主方向旋转所述特征点的邻域，并根据旋转后的邻域对所述特征点进行描述，从而生成所述特征点的描述符。

特征点的邻域指图像内，特征点周围一定大小的区域。平面内，每个点相对于坐标原点，都可用坐标描述，具体可参见图2，图2为本发明描述符生成过程中特征点的邻域的旋转示意图。如图2所示，特征点A的原始坐标例如为A(x，y)，对邻域旋转后，坐标例如为A′(x′，y′)，则 $\left[\begin{array}{c}{x}^{\′}\\ y^{\′}\end{array}\right]=\left[\begin{array}{cc}cos\mathrm{\θ}& -sin\mathrm{\θ}\\ sin\mathrm{\θ}& cos\mathrm{\θ}\end{array}\right]\left[\begin{array}{c}x\\ y\end{array}\right].$ 本步骤中，根据主方向旋转特征点的邻域，即旋转坐标系，将坐标系的水平轴旋转到原点和点A形成的线段方向，从而确保旋转不变性。然后，基于SIFT描述子对特征点进行描述，从而生成特征点的描述符。当然，也可以基于边缘直方图(Edge Oriented Histogram，EOH)描述子、部分灰度不变特征(Partial Intensity Invariant Feature Descriptor，PIIFD)描述子等对特征点进行描述，从而生成特征点的描述符，本发明并不以此为限。

本发明实施例提供的描述符生成方法，对输入图像提取轮廓，并根据轮廓提取至少一条线段，然后根据线段的方向确定检测出的特征点的主方向，根据主方向对特征点的邻域进行旋转，并根据旋转后的邻域对特征点进行描述，从而生成特征点的描述符。该过程中，主方向的确定主要依赖于特征点邻域的线段的方向，而多模图像中，线段相对于点更加稳定，使得各幅图像对应的特征点的描述符具有可重复性，提高描述符的准确性，进而提高多模图像配准精度。

上述实施例中，对于一个具体的特征点，可根据该特征点的邻域内各线段的长度或各线段的平均梯度确定出主方向。下面，对如何确定特征点的主方向进行详细说明。

在一种可行的实现方式中，对于一个具体的特征点，可根据该特征点的邻域内长度最长的线段确定出主方向。具体的，从至少一条线段中，确定特征点的邻域内长度最长的线段，将长度最长的线段的方向作为特征点的主方向。

在另一种可行的实现方式中，对于一个具体的特征点，可根据该特征点的邻域内平均梯度最大的线段确定出主方向。具体的，确定特征点的邻域内各线段的平均梯度，其中，对于每一条线段，平均梯度为该线段包括的至少两个点沿线段方向的梯度的平均值。然后，确定特征点的邻域内平均梯度最大的线段，将该平均梯度最大的线段的方向作为特征点的主方向。

上述实施例中，对于一个具体的特征点，在确定出主方向并根据该主方向对特征点的邻域进行旋转后，可基于SIFT描述子、EOH描述子等对特征点进行描述，从而生成特征点的描述符。下面，对如何对特征点进行描述从而生成描述符的过程进行详细说明。

在一种可行的实现方式中，对于一个具体的特征点，可基于SIFT描述子对其进行描述。具体的，在确定出主方向并根据该主方向对特征点的邻域进行旋转后，将旋转后的邻域划分为N×N个子区域，N≥1；在各子区域内将0～360°划分为4个方向；对于每一子区域，确定子区域的各方向的梯度幅值；对各子区域的各方向的梯度幅值进行累加，归一化生成特征点的描述符。该过程中，4个方向中的第一方向为：337.5°～0、0～22.5°、157.5°～202.5°；第二方向为：22.5°～67.5°、202.5°～247.5°；第三方向为：67.5°～112.5°，247.5°～292.5°；第四方向为：112.5°～157.5°，292.5°～337.5°。

需要说明的是，上述的基于SIFT描述子对特征点的描述，与现有技术中的基于SIFT描述子对特征点的描述是不同的。现有技术中基于SIFT描述子对特征点的描述为：将旋转后的特征点的邻域划分为N×N个子区域；在各子区域内将0°～360°按照0～45°、45°～90°，……，315°～360°分为8个方向，再计算8个方向的梯度直方图，绘制每个方向梯度幅值的累加值，最后归一化得到特征点的描述符。之所以不同，是因为发明人发现：多模图像配准中，经常会出现梯度方向反转的情况，此时，0°～45°和180°～225°、45°～90°和225°～270°，……，的梯度方向是一致的，因此可将8个方向合并成四个方向。

在另一种可行的实现方式中，对于一个具体的特征点，可基于EOH描述子对其进行描述，从而生成特征点的描述符。具体的，在确定出主方向并根据该主方向对特征点的邻域进行旋转后，由于旋转后，特征点的坐标不一定准确落在像素上，因此使用双线性插值得到旋转后的图像。然后，对于每一个特征点，将该特征点周围N×N的区域等分成16块，对每一块计算出一个边缘方向直方图，每个直方图代表了对应块内轮廓的方向分布。采用5个柱(bins)的直方图，其中的4个bins代表不同的方向，分布对应0°，90°，45°，135°，另一个bin代表没有方向，意味着周围没有轮廓，每个bin的数值为块内相应方向的线段的数目。对该N×N区域内的每个像素点都根据其周围3×3区域的像素点使用5个滤波器计算出一个响应，该5个滤波器分别为{1,2,1；0,0,0；-1,-2,-1}，{-1,0,1；-2,0,2；-1,0,1}，{2,2,-1；2,-1,-1；-1,-1,-1}，{-1,2,2；-1,-1,2；-1,-1,-1}，{-1,0,1；0,0,0；1,0,-1}，分别对应五个bin，经过其中一个滤波器响应最大的，则对应特征点的方向就落在该bin中，从而得到一个16×5的矢量，再用该矢量中的每一个元素除以这个矢量的欧几里得范数，从而得到归一化后的矢量，即为特征点的描述符。

图3为本发明描述符生成装置的结构示意图。本实施例提供的描述符生成装置是与本发明图1实施例对应的装置实施例，具体实现过程在此不再赘述。具体的，本实施例提供的描述符生成装置包括：

第一提取模块11，用于提取图像中的特征点；

第二提取模块12，用于提取所述图像的轮廓；

合并模块13，用于将所述第二提取模块12提取出的形成所述轮廓的各子线段中，具有相近斜率且相邻的至少一条子线段在长度方向上合并，以形成至少一条线段，所述具有相近斜率的子线段为斜率差小于预设阈值的子线段；

确定模块14，用于根据所述合并模块13合并得到的所述至少一条线段的方向，确定所述第一提取模块11提取出的所述特征点的主方向；

处理模块15，用于根据所述确定模块14确定出的所述主方向旋转所述特征点的邻域，并根据旋转后的邻域对所述特征点进行描述，从而生成所述特征点的描述符。

本发明实施例提供的描述符生成装置，对输入图像提取轮廓，并根据轮廓提取至少一条线段，然后根据线段的方向确定检测出的特征点的主方向，根据主方向对特征点的邻域进行旋转，并根据旋转后的邻域对特征点进行描述，从而生成特征点的描述符。该过程中，主方向的确定主要依赖于特征点邻域的线段的方向，而多模图像中，线段相对于点更加稳定，使得各幅图像对应的特征点的描述符具有可重复性，提高描述符的准确性，进而提高多模图像配准精度。

可选的，在本发明一实施例中，所述确定模块14，具体用于从所述至少一条线段中，确定所述特征点的邻域内长度最长的线段，将所述长度最长的线段的方向作为所述特征点的主方向。

可选的，在本发明一实施例中，所述确定模块14，具体用于确定所述特征点的邻域内各所述线段的平均梯度，对于每一条所述线段，所述平均梯度为所述线段包括的至少两个点沿所述线段方向的梯度的平均值；确定所述特征点的邻域内所述平均梯度最大的线段，将所述平均梯度最大的线段的方向作为所述特征点的主方向。

可选的，在本发明一实施例中，所述处理模块15，具体用于将所述旋转后的邻域划分为N×N个子区域，N≥1；

在各子区域内将0～360°划分为4个方向；

对于每一子区域，确定子区域的各方向的梯度幅值；

对各子区域的各方向的梯度幅值进行累加，归一化生成所述特征点的描述符。

可选的，在本发明一实施例中，所述处理模块15，具体用于基于边缘方向直方图描述子，根据旋转后的邻域对所述特征点进行描述，从而生成所述特征点的描述符。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种描述符生成方法，其特征在于，包括：

提取图像中的特征点；

提取所述图像的轮廓；

将形成所述轮廓的各子线段中，具有相近斜率且相邻的至少一条子线段在长度方向上合并，以形成至少一条线段，所述具有相近斜率的子线段为斜率差小于预设阈值的子线段；

根据所述至少一条线段的方向，确定所述特征点的主方向；

根据所述主方向旋转所述特征点的邻域，并根据旋转后的邻域对所述特征点进行描述，从而生成所述特征点的描述符。

2.根据权利要求1所述的方法，其特征在于，所述根据所述至少一条线段的方向，确定所述特征点的主方向，具体为：

从所述至少一条线段中，确定所述特征点的邻域内长度最长的线段，将所述长度最长的线段的方向作为所述特征点的主方向。

3.根据权利要求1所述的方法，其特征在于，所述根据所述至少一条线段的方向，确定所述特征点的主方向，具体为：

确定所述特征点的邻域内各所述线段的平均梯度，对于每一条所述线段，所述平均梯度为所述线段包括的至少两个点沿所述线段方向的梯度的平均值；

确定所述特征点的邻域内所述平均梯度最大的线段，将所述平均梯度最大的线段的方向作为所述特征点的主方向。

4.根据权利要求1～3任一项所述的方法，其特征在于，所述根据旋转后的邻域对所述特征点进行描述，从而生成所述特征点的描述符，具体为：

将所述旋转后的邻域划分为N×N个子区域，N≥1；

在各子区域内将0～360°划分为4个方向；

对于每一子区域，确定子区域的各方向的梯度幅值；

对各子区域的各方向的梯度幅值进行累加，归一化生成所述特征点的描述符。

5.根据权利要求1～3任一项所述的方法，其特征在于，所述根据旋转后的邻域对所述特征点进行描述，从而生成所述特征点的描述符，具体为：

基于边缘方向直方图描述子对所述旋转后的特征点进行描述，从而生成所述特征点的描述符。

6.一种描述符生成装置，其特征在于，包括：

第一提取模块，用于提取图像中的特征点；

第二提取模块，用于提取所述图像的轮廓；

合并模块，用于将所述第二提取模块提取出的形成所述轮廓的各子线段中，具有相近斜率且相邻的至少一条子线段在长度方向上合并，以形成至少一条线段，所述具有相近斜率的子线段为斜率差小于预设阈值的子线段；

确定模块，用于根据所述合并模块合并得到的所述至少一条线段的方向，确定所述第一提取模块提取出的所述特征点的主方向；

处理模块，用于根据所述确定模块确定出的所述主方向旋转所述特征点的邻域，并根据旋转后的邻域对所述特征点进行描述，从而生成所述特征点的描述符。

7.根据权利要求6所述的装置，其特征在于，所述确定模块，具体用于从所述至少一条线段中，确定所述特征点的邻域内长度最长的线段，将所述长度最长的线段的方向作为所述特征点的主方向。

8.根据权利要求6所述的装置，其特征在于，所述确定模块，具体用于确定所述特征点的邻域内各所述线段的平均梯度，对于每一条所述线段，所述平均梯度为所述线段包括的至少两个点沿所述线段方向的梯度的平均值；确定所述特征点的邻域内所述平均梯度最大的线段，将所述平均梯度最大的线段的方向作为所述特征点的主方向。

9.根据权利要求6～8任一项所述的装置，其特征在于，所述处理模块，具体用于将所述旋转后的邻域划分为N×N个子区域，N≥1；

在各子区域内将0～360°划分为4个方向；

对于每一子区域，确定子区域的各方向的梯度幅值；

对各子区域的各方向的梯度幅值进行累加，归一化生成所述特征点的描述符。

10.根据权利要求6～8任一项所述的装置，其特征在于，所述处理模块，具体用于基于边缘方向直方图描述子，根据旋转后的邻域对所述特征点进行描述，从而生成所述特征点的描述符。