CN109816639B - 一种基于lsd算法的实时直线段检测***及方法 - Google Patents

Abstract

本发明公开一种基于LSD算法的实时直线段检测***及方法，***包括：彩色图像转灰度模块、梯度计算模块、像素数据重构模块、梯度伪排序模块、梯度阈值模块、若干区域增长模块及外部时钟复位模块；色图像转灰度模块的输出端连接梯度计算模块的第一输入端，梯度计算模块的第二输入端连接外部时钟复位模块的输出端；梯度计算模块的输出端连接像素数据重构模块的输入端；像素数据重构模块的输出端依次连接梯度伪排序模块、梯度阈值模块、若干区域增长模块。本发明采用硬件电路在FPGA硬件平台上实现基于LSD算法的实时图像直线段检测，并对LSD直线检测算法进行了优化，得到高质量的检测结果。

Description

一种基于LSD算法的实时直线段检测***及方法

技术领域

本发明属于图像处理技术领域，特别涉及一种具体公开了一种基于LSD算法的实时直线段检测***及方法。

背景技术

随着科技的进步，我们进入人工智能时代。体感交互技术、增强现实技术、自动驾驶技术等一系列智能技术给我们的生活体验带来了质的飞跃。这些新技术无一例外对计算机图像处理提出新的要求。要更快速，更高清，更精准的图像目标检测和识别技术。图像处理的实时性在这些应用中显得格外重要。

在众多的图像处理技术中，直线检测是最基础、最重要的内容之一，也是机器视觉必须解决的重要问题。直线特征是物体轮廓识别、图像分割的基础。如：自动驾驶技术中的道路识别，建筑物识别，工业自动化中的焊点识别。直线检测和分析在航空和卫星图像等方面也有着广泛的运用。总之，直线检测对于数字图像处理和模式识别有着重要意义。因此解决对高速实时图像进行直线检测的问题显得十分有意义。

常规的计算机平台中，使用的是通用处理器，对于图像处理数据量大、运算量大的操作，往往耗费较多的时间，导致算法处理的实时性得不到保证。而FPGA具有灵活的可定制处理结构，能够并行处理数据，在图像处理领域拥有得天独厚的优势。通过合理设计电路结构，利用FPGA能够显著加快图像处理速度，保证算法实时性。

常见的直线检测方法有霍夫变换法、最小二乘法以及LSD(a Line SegmentDetector)直线段检测算法等。LSD算法的显著优点是运算速度快，因此，适合应用在需要高速实时检测直线的场合，但是现有LSD算法无法直接嵌入硬件***进行实时直线段检测。

发明内容

本发明的目的在于提供一种基于LSD算法的实时直线段检测***及方法，能够实现图像内直线段的实时检测。

为解决上述问题，本发明采用如下技术方案：

一种基于LSD算法的实时直线段检测***，包括：彩色图像转灰度模块、梯度计算模块、像素数据重构模块、梯度伪排序模块、梯度阈值模块、若干区域增长模块及外部时钟复位模块；

色图像转灰度模块的输出端连接梯度计算模块的第一输入端，梯度计算模块的第二输入端连接外部时钟复位模块的输出端；

梯度计算模块的输出端连接像素数据重构模块的输入端；

像素数据重构模块的输出端依次连接梯度伪排序模块、梯度阈值模块、若干区域增长模块。

进一步的，外部时钟复位模块的输出端还连接梯度伪排序模块、梯度阈值模块、若干区域增长模块；外部时钟复位模块为梯度计算模块、梯度伪排序模块、梯度阈值模块和区域增长模块提供时钟和复位功能。

进一步的，彩色图像转灰度模块，转换公式为：

进一步的，梯度计算模块由行存模块及CORDIC模块组成；

行存模块用于产生梯度计算所需2x2模板数据，分别为(X,Y)，(X,Y+1)，(X+1,Y)和(X+1,Y+1)；

通过2x2模板数据计算x轴、y轴方向梯度g_x(x,y)、g_y(x,y)，作为CORDIC模块输入信号，计算公式为：

其中，i(x+1,y)，i(x,y+1)，i(x+1,y+1)，i(x,y)为相应像素点的像素值；

CORDIC模块用于计算像素梯度幅值与梯度水平线角度。

进一步的，像素数据重构模块共使用61位二进制数表示像素点值，共分为5段；其中，[60,49]位为像素点梯度幅值，[48,36]位为梯度水平线角度，[35,26]位为梯度伪排序值，[25,10]位为直线段编号，[9,0]位为当前直线像素数。

进一步的，梯度伪排序模块由像素计数器、梯度幅值最大值统计模块和分级运算模块组成；

像素计数器用于实现一帧图像的分割操作；

梯度幅值最大值统计模块，用于记录上帧图像梯度幅值最大值；

分级运算模块，分级值范围为[0,1023]，由10位二进制数表示；分级值计算如公式(4)所示：

其中，mMAX为当前帧图像梯度幅值最大值；分级运算中，使用上帧图像梯度幅值最大值作为当前帧图像梯度幅值最大值；mMag为当前像素点的梯度幅值，mDiv为梯度分度值，梯度分度值计算如公式(5)所示：

进一步的，梯度阈值模块由阈值判断模块、伪排序值标记模块和数据拼接模块组成；

阈值判断模块，阈值设置为44；用于判断像素点在直线检测操作中是否为有效像素点；

伪排序值标记模块，用于根据像素点是否有效标记伪排序值；

数据拼接模块，用于将像素点梯度幅值、梯度水平线角度以及伪排序值进行拼接。

进一步的，若干区域增长模块由第一区域增长模块、第二区域增长模块、第三区域增长模块串联构成；

第一区域增长模块、第二区域增长模块、第三区域增长模块，除分割阈值设置不同外，其余部分完全相同。

进一步的，区域增长模块，由种子点判断模块、行存模块、直线支持域判断模块、区域角度融合模块、角度差值判断模块、生长操作模块、全新生长模块及数据拼接模块组成；

种子点判断模块用于判断是否对该像素点执行区域增长操作；

行存模块用于产生区域增长所需当前像素点正上方、右上方、左上方以及正左方的4邻域像素值；

直线支持域判断模块，用于判断当前像素点的4邻域像素是否在直线支持域内；

区域角度融合模块，用于计算直线支持域水平线角度；

角度差值判断模块，用于根据角度容忍差值τ，判断当前像素点是否满足生长条件；τ的取值为22.5°；

生长操作模块，用于执行直线支持域生长工作；更新相同直线支持域像素点的梯度幅值、梯度水平线角度及梯度伪排序值，标记当前像素点所在直线段编号及所在直线段像素数；

全新生长模块，用于产生新的直线支持域，进行新一轮直线支持域的生长；

数据拼接模块，用于对梯度幅值、梯度水平线角度、梯度伪排序值、直线段编号及直线段像素数进行拼接。

一种基于LSD算法的实时直线段检测方法，包括以下步骤：

1)输入图像通过彩色图像转灰度模块进行灰度转换，作为梯度计算模块输入信号；

2)梯度计算模块计算当前像素点梯度幅值与梯度水平线角度，作为像素数据重构模块输入信号；

3)像素数据重构模块，重构图像像素点数据结构，作为梯度伪排序模块输入信号；

4)梯度伪排序模块对像素点梯度幅值进行分级运算，所处等级为当前像素点伪排序值；

5)梯度阈值模块标记直线检测无效像素点，拼接像素点梯度幅值、梯度水平线角度与梯度伪排序值，作为区域增长模块输入信号；

6)第一区域增长模块对梯度伪排序值在[0,640]范围的像素点进行区域增长，标记像素点所在直线段编号及所在直线段像素数，更新像素点梯度幅值、水平线角度及伪排序值，拼接数据，作为第二区域增长模块输入信号；

7)第二区域增长模块对梯度伪排序值在[641,896]范围的像素点进行区域增长，标记像素点所在直线段编号及所在直线段像素数，更新像素点梯度幅值、水平线角度及伪排序值，拼接数据，作为第三区域增长模块输入信号；

8)第三区域增长模块对梯度伪排序值在[897,1023]范围的像素点进行区域增长，标记像素点所在直线段编号及所在直线段像素数，更新像素点梯度幅值、水平线角度及伪排序值，拼接数据，作为最终输出信号。

相对于现有技术，本发明具有以下有益效果：

(1)LSD直线段检测是一种局部检测分割提取直线的算法，它能够在线性的时间内得到亚像素级精度的检测结果，因此将其嵌入硬件电路中实现，可充分发挥其局部检测的特点，以适应高速、实时检测直线的需求。

(2)采用硬件电路在FPGA硬件平台上实现基于LSD算法的实时图像直线段检测，并对LSD直线检测算法进行了优化，得到高质量的检测结果；通过将硬件电路与原软件算法实现结果进行对比，可以得到，两者在直线段检测结果上相似，硬件电路检测的直线段更符合原图纹理，更加贴合原图变化缓慢的边缘。

(3)采用并行流水线的架构设计，提高性能，实现直线段检测在实时***中的应用。本发明硬件电路实现的最大工作频率可达到143MHz，在处理分辨率为640×480的图像时，所需时间仅为2.15ms，而原软件算法处理相同分辨率图像时，所需时间在70～90ms。实现了40倍左右的加速比。

附图说明

构成本申请的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是本发明一种基于LSD算法的实时直线段检测***的结构图；

图2是梯度计算模块的结构图。

图3是像素点重构之后数据结构。

图4是梯度伪排序模块结构图。

图5是梯度阈值模块结构图。

图6是区域增长操作总体架构图。

图7是区域增长模块结构图。

具体实施方式

下面将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

以下详细说明均是示例性的说明，旨在对本发明提供进一步的详细说明。除非另有指明，本发明所采用的所有技术术语与本申请所属领域的一般技术人员的通常理解的含义相同。本发明所使用的术语仅是为了描述具体实施方式，而并非意图限制根据本发明的示例性实施方式。

请参阅图1至图6，本发明主要解决的技术问题是提供一种基于LSD算法的实时直线段检测***及方法，能够实现图像内直线段检测功能，能够使用硬件电路实现LSD算法的功能，能够实现直线检测的并行流水线架构设计，从而实现直线检测在实时***中的应用。

本发明基于LSD直线检测算法，对该算法进行优化并设计了基于LSD算法的实时直线段检测***。基于LSD算法的实时直线段检测***如图1所示。它由彩色图像转灰度模块、梯度计算模块、像素数据重构模块、梯度伪排序模块、梯度阈值模块、若干区域增长模块及外部时钟复位模块组成。

输入数据连接彩色图像转灰度模块的输入端，彩色图像转灰度模块的输出端连接梯度计算模块的第一输入端，梯度计算模块的第二输入端连接外部时钟复位模块的输出端；梯度计算模块的输出端连接像素数据重构模块的输入端；像素数据重构模块的输出端依次连接梯度伪排序模块、梯度阈值模块、区域增长模块1、区域增长模块2个区域增长模块3。梯度伪排序分割阈值1、2分别设置为640和896，实现区域增长模块1、2、3分别对梯度伪排序值在[0,640]、[641,896]和[897,1023]范围的像素点进行区域增长操作。外部时钟复位模块的输出端还连接梯度伪排序模块、梯度阈值模块、区域增长模块1、区域增长模块2个区域增长模块3。外部时钟复位模块为梯度计算模块、梯度伪排序模块、梯度阈值模块和区域增长模块提供时钟和复位功能。

彩色图像转灰度模块，转换公式为：

请参阅图2所示，梯度计算模块由行存模块及CORDIC模块组成。

行存模块产生梯度计算所需2x2模板数据，分别为当前像素点(X,Y)和相对于当前像素点的正上像素点(X,Y+1)，正左像素点(X+1,Y)以及左上像素点(X+1,Y+1)。

通过2x2模板数据计算x轴、y轴方向梯度g_x(x,y)、g_y(x,y)，作为CORDIC模块输入信号，计算公式为：

其中，i(x+1,y)，i(x,y+1)，i(x+1,y+1)，i(x,y)为相应像素点的像素值。

CORDIC模块用于计算像素梯度幅值与梯度水平线角度。

请参阅图3所示，像素数据重构模块共使用61位二进制数表示像素点值，共分为5段。其中，[60,49]位为像素点梯度幅值，[48,36]位为梯度水平线角度，[35,26]位为梯度伪排序值，[25,10]位为直线段编号，[9,0]位为当前直线像素数。

请参阅图4所示，梯度伪排序模块由像素计数器、梯度幅值最大值统计模块和分级运算模块组成。

像素计数器用于实现一帧图像的分割操作；

梯度幅值最大值统计模块，用于记录上帧图像梯度幅值最大值。

分级运算模块，分级值范围为[0,1023]，由10位二进制数表示。分级值计算如公式(4)所示：

其中，mMAX为当前帧图像梯度幅值最大值。由于相邻两帧变化程度不大，分级运算中，使用上帧图像梯度幅值最大值作为当前帧图像梯度幅值最大值。mMag为当前像素点的梯度幅值，mDiv为梯度分度值，梯度分度值计算如公式(5)所示：

请参阅图5所示，梯度阈值模块由阈值判断模块、伪排序值标记模块和数据拼接模块组成。

阈值判断模块，阈值设置为44。该模块判断像素点在直线检测操作中是否为有效像素点。

伪排序值标记模块，根据像素点是否有效标记伪排序值；

数据拼接模块，将像素点梯度幅值、梯度水平线角度以及伪排序值进行拼接。

请参阅图6所示，区域增长操作由区域增长模块1、区域增长模块2、区域增长模块3串联构成。

区域增长模块1、区域增长模块2、区域增长模块3，除分割阈值设置不同外，其余部分完全相同。

区域增长模块，将原LSD算法的8邻域增长法改进为4邻域被动区域增长，便于在硬件电路中实现。

4邻域被动区域增长算法步骤如下：

a)判断当前像素点梯度伪排序值是否在阈值范围内，即是否是种子点；

b)判断当前像素点是否未使用；

c)检查左上的像素点是否是直线支持域中的点，与当前点是否满足生长条件；

d)检查正上的像素点是否是直线支持域中的点，与当前点是否满足生长条件；

e)检查右上的像素点是否是直线支持域中的点，与当前点是否满足生长条件；

f)检查正左的像素点是否是直线支持域中的点，与当前点是否满足生长条件；

g)如果之前都不满足则以当前点开始一个新的直线支持域。

请参阅图7所示，区域增长模块，由种子点判断模块、行存模块、直线支持域判断模块、区域角度融合模块、角度差值判断模块、生长操作模块、全新生长模块及数据拼接模块组成。

种子点判断模块用于判断是否对该像素点执行区域增长操作。

行存模块用于产生区域增长所需当前像素点正上方、右上方、左上方以及正左方的4邻域像素值。

直线支持域判断模块，用于判断当前像素点的4邻域像素是否在直线支持域内。

区域角度融合模块，用于计算直线支持域水平线角度。

角度差值判断模块，用于根据角度容忍差值τ，判断当前像素点是否满足生长条件。τ的取值为22.5°。

生长操作模块，用于执行直线支持域生长工作。更新相同直线支持域像素点的梯度幅值、梯度水平线角度及梯度伪排序值，标记当前像素点所在直线段编号及所在直线段像素数。

全新生长模块，用于产生新的直线支持域，进行新一轮直线支持域的生长。

数据拼接模块，用于对梯度幅值、梯度水平线角度、梯度伪排序值、直线段编号及直线段像素数进行拼接。

本发明一种基于LSD算法的实时直线段检测方法，包括以下步骤：

1)输入图像通过彩色图像转灰度模块进行灰度转换，作为梯度计算模块输入信号；

2)梯度计算模块计算当前像素点梯度幅值与梯度水平线角度，作为像素数据重构模块输入信号；

3)像素数据重构模块，重构图像像素点数据结构，作为梯度伪排序模块输入信号；

4)梯度伪排序模块对像素点梯度幅值进行分级运算，所处等级为当前像素点伪排序值；

5)梯度阈值模块标记直线检测无效像素点，拼接像素点梯度幅值、梯度水平线角度与梯度伪排序值，作为区域增长模块输入信号；

6)区域增长模块1对梯度伪排序值在[0,640]范围的像素点进行区域增长，标记像素点所在直线段编号及所在直线段像素数，更新像素点梯度幅值、水平线角度及伪排序值，拼接数据，作为区域增长模块2输入信号；

7)区域增长模块2对梯度伪排序值在[641,896]范围的像素点进行区域增长，标记像素点所在直线段编号及所在直线段像素数，更新像素点梯度幅值、水平线角度及伪排序值，拼接数据，作为区域增长模块3输入信号；

8)区域增长模块3对梯度伪排序值在[897,1023]范围的像素点进行区域增长，标记像素点所在直线段编号及所在直线段像素数，更新像素点梯度幅值、水平线角度及伪排序值，拼接数据，作为基于LSD算法的实时直线段检测***的最终输出信号。

由技术常识可知，本发明可以通过其它的不脱离其精神实质或必要特征的实施方案来实现。因此，上述公开的实施方案，就各方面而言，都只是举例说明，并不是仅有的。所有在本发明范围内或在等同于本发明的范围内的改变均被本发明包含。

Claims (6)

1.一种基于LSD算法的实时直线段检测***，其特征在于，包括：彩色图像转灰度模块、梯度计算模块、像素数据重构模块、梯度伪排序模块、梯度阈值模块、若干区域增长模块及外部时钟复位模块；

彩 色图像转灰度模块的输出端连接梯度计算模块的第一输入端，梯度计算模块的第二输入端连接外部时钟复位模块的输出端；

梯度计算模块的输出端连接像素数据重构模块的输入端；

像素数据重构模块的输出端依次连接梯度伪排序模块、梯度阈值模块、若干区域增长模块；

外部时钟复位模块的输出端还连接梯度伪排序模块、梯度阈值模块、若干区域增长模块；外部时钟复位模块为梯度计算模块、梯度伪排序模块、梯度阈值模块和区域增长模块提供时钟和复位功能；

梯度阈值模块由阈值判断模块、伪排序值标记模块和数据拼接模块组成；

阈值判断模块，阈值设置为44；用于判断像素点在直线检测操作中是否为有效像素点；

伪排序值标记模块，用于根据像素点是否有效标记伪排序值；

数据拼接模块，用于将像素点梯度幅值、梯度水平线角度以及伪排序值进行拼接；

若干区域增长模块由第一区域增长模块、第二区域增长模块、第三区域增长模块串联构成；

第一区域增长模块、第二区域增长模块、第三区域增长模块，除分割阈值设置不同外，其余部分完全相同；

区域增长模块，由种子点判断模块、行存模块、直线支持域判断模块、区域角度融合模块、角度差值判断模块、生长操作模块、全新生长模块及数据拼接模块组成；

种子点判断模块用于判断是否对该像素点执行区域增长操作；

行存模块用于产生区域增长所需当前像素点正上方、右上方、左上方以及正左方的4邻域像素值；

直线支持域判断模块，用于判断当前像素点的4邻域像素是否在直线支持域内；

区域角度融合模块，用于计算直线支持域水平线角度；

角度差值判断模块，用于根据角度容忍差值τ，判断当前像素点是否满足生长条件；τ的取值为22.5°；

生长操作模块，用于执行直线支持域生长工作；更新相同直线支持域像素点的梯度幅值、梯度水平线角度及梯度伪排序值，标记当前像素点所在直线段编号及所在直线段像素数；

全新生长模块，用于产生新的直线支持域，进行新一轮直线支持域的生长；

数据拼接模块，用于对梯度幅值、梯度水平线角度、梯度伪排序值、直线段编号及直线段像素数进行拼接。

2.根据权利要求1所述的一种基于LSD算法的实时直线段检测***，其特征在于，彩色图像转灰度模块，转换公式为：

3.根据权利要求1所述的一种基于LSD算法的实时直线段检测***，其特征在于，

梯度计算模块由行存模块及CORDIC模块组成；

行存模块用于产生梯度计算所需2x2模板数据，分别为(X,Y)，(X,Y+1)，(X+1,Y)和(X+1,Y+1)；

通过2x2模板数据计算x轴、y轴方向梯度g_x(x,y)、g_y(x,y)，作为CORDIC模块输入信号，计算公式为：

其中，i(x+1,y)，i(x,y+1)，i(x+1,y+1)，i(x,y)为相应像素点的像素值；

CORDIC模块用于计算像素梯度幅值与梯度水平线角度。

4.根据权利要求1所述的一种基于LSD算法的实时直线段检测***，其特征在于，

像素数据重构模块共使用61位二进制数表示像素点值，共分为5段；其中，[60,49]位为像素点梯度幅值，[48,36]位为梯度水平线角度，[35,26]位为梯度伪排序值，[25,10]位为直线段编号，[9,0]位为当前直线像素数。

5.根据权利要求1所述的一种基于LSD算法的实时直线段检测***，其特征在于，

梯度伪排序模块由像素计数器、梯度幅值最大值统计模块和分级运算模块组成；

像素计数器用于实现一帧图像的分割操作；

梯度幅值最大值统计模块，用于记录上帧图像梯度幅值最大值；

分级运算模块，分级值范围为[0,1023]，由10位二进制数表示；分级值计算如公式(4)所示：

其中，mMAX为当前帧图像梯度幅值最大值；分级运算中，使用上帧图像梯度幅值最大值作为当前帧图像梯度幅值最大值；mMag为当前像素点的梯度幅值，mDiv为梯度分度值，梯度分度值计算如公式(5)所示：

6.一种基于LSD算法的实时直线段检测方法，其特征在于，基于权利要求1至5中任一项所述的一种基于LSD算法的实时直线段检测***，包括以下步骤：

1)输入图像通过彩色图像转灰度模块进行灰度转换，作为梯度计算模块输入信号；

2)梯度计算模块计算当前像素点梯度幅值与梯度水平线角度，作为像素数据重构模块输入信号；

3)像素数据重构模块，重构图像像素点数据结构，作为梯度伪排序模块输入信号；

4)梯度伪排序模块对像素点梯度幅值进行分级运算，所处等级为当前像素点伪排序值；

5)梯度阈值模块标记直线检测无效像素点，拼接像素点梯度幅值、梯度水平线角度与梯度伪排序值，作为区域增长模块输入信号；

6)第一区域增长模块对梯度伪排序值在[0,640]范围的像素点进行区域增长，标记像素点所在直线段编号及所在直线段像素数，更新像素点梯度幅值、水平线角度及伪排序值，拼接数据，作为第二区域增长模块输入信号；

7)第二区域增长模块对梯度伪排序值在[641,896]范围的像素点进行区域增长，标记像素点所在直线段编号及所在直线段像素数，更新像素点梯度幅值、水平线角度及伪排序值，拼接数据，作为第三区域增长模块输入信号；

8)点区域增长模块对梯度伪排序值在[897,1023]范围的像素点进行区域增长，标记像素点所在直线段编号及所在直线段像素数，更新像素点梯度幅值、水平线角度及伪排序值，拼接数据，作为最终输出信号。

Images