CN103136341A - 一种基于Bézier曲线的车道线重构装置 - Google Patents

Abstract

本发明提供了一种基于Bézier曲线的车道线重构装置，该装置中，起始点搜索模块接收车辆前方道路环境图像，搜索左、右车道线的起始点所在块，正向搜索模块搜索出所有车道线外侧边缘线所在块，间断搜索模块搜索发生间断后的车道线起始点所在块，变向搜索模块搜索发生转弯后的车道线外侧边缘线所在块，所有块经自适应二值化模块进行处理，得到若干车道线外侧边缘线上的点，车道分类模块将车道进行分类，Bézier曲线拟合模块使用二次Bézier曲线拟合构造车道线。本发明的车道线重构装置能够较好地适应光照变化、道路阴影、车道线间断以及障碍物等复杂环境，而且不用对图像进行预处理，提高了实时性以及对变曲率弯道重构的准确性。

Description

一种基于Bézier曲线的车道线重构装置

技术领域

本发明属于智能车辆安全辅助驾驶领域，涉及一种能够快速准确地重构出车道线的装置。

背景技术

纵观汽车发展的历史，对安全性问题的研究始终是重中之重。尤其是近年来，如何提高交通安全已经成为急需解决的社会性问题。汽车安全研究热点已经从以碰撞安全为核心的被动安全发展到以预防碰撞为核心的主动安全，很多国家和国际汽车电子公司早已启动了多项研究计划来寻找提高安全性、减少事故的新技术。于是，智能车辆(Intelligent Vehicle)的概念应运而生，成为了智能交通***(Intelligent Transportation System)的关键技术之一。而车辆安全辅助驾驶作为智能车辆研究领域的一个重要分支在近一二十年也得到迅速的发展。

计算机视觉作为车辆安全辅助驾驶***获得行驶环境信息最有效的感知方式在近些年得到了广泛研究。它是将单个或多个摄像头安装在车体上，通过图像采集装置获得车辆周围环境图像，然后经过智能图像处理装置为后续决策装置提供所需信息。其中，车道线识别对于安全辅助驾驶至关重要，是车道保持、车道偏离预警及自主导航等技术的基础之一，而车道线的重构不仅是在图像中识别出车道线位置，还用具体数学模型准确拟合出车道线，以便为后续决策装置提供道路曲率等重要参数支持。

车辆的行驶环境一般比较复杂，为应对光照变化、道路阴影、车道线间断以及障碍物等噪声干扰，车道线识别应具有较强适应性，而现有的基于边缘提取的车道标识线识别装置，由于对图像进行了全局二值化处理造成道路位置信息丢失，从而使其对于一些复杂环境的识别难以适应，而且普遍需要对图像进行预处理，降低了实时性；而单纯利用提取局部高像素值点的车道标识线识别装置在光线变化及路面存在其他标志时准确性较低。从道路的弯曲程度看，在结构化道路中，车辆可能行驶于直道，小弯道或者大弯道，现有的基于局部直线提取、Hough变换以及模板匹配等识别装置无法满足弯道识别的需求；已提出的分段直线拟合及抛物线模型拟合一定程度上实现了弯道的重构，但对于大弯道准确性不高；已有的基于高次曲线或者多曲线模型结合的拟合方法虽然准确性较强，可计算量大，难以满足实时性要求。

发明内容

本发明主要针对车道线重构中对复杂环境适应性和弯道拟合准确性及实时性问题，提出了一种基于Bézier曲线的车道线重构装置。

一种基于Bézier曲线的车道线重构装置，包括如下模块：起始点搜索模块、正向搜索模块、间断搜索模块、变向搜索模块、自适应二值化模块、车道分类模块、Bézier曲线拟合模块。

起始点搜索模块接收由图像采集模块输出的车辆前方道路环境图像，在图像的感兴趣区内，利用灰度特征和梯度特征1，搜索左车道线和右车道线的起始点所在块，将搜索到的起始点所在块输出至自适应二值化模块，将搜到的起始点所在块的搜索点输出给正向搜索模块。正向搜索模块在图像感兴趣区中，根据起始点所在块的搜索点，利用灰度特征和梯度特征1，从下至上逐个搜索出车道线外侧边缘线所在块，并将每次搜索到的块输出给自适应二值化模块，当车道线发生转弯时将搜索到的块的搜索点输入变向搜索模块，当车道线发生了间断时将搜索到的块的搜索点输入间断搜索模块。变向搜索模块利用利用灰度特征和梯度特征2搜索发生转弯后的车道线外侧边缘线所在块，并输出标记为转弯的块给自适应二值化模块。间断搜索模块利用灰度特征和梯度特征1，搜索出发生间断后的车道线起始点所在块，并输出给自适应二值化模块，将起始点所在块的搜索点输入正向搜索模块继续进行车道线搜索。自适应二值化模块是对搜索到的块进行自适应二值化处理，得到块中车道线外侧边缘线上的点P_i（i=0,2,3,…,m-1），m代表块总数，对于标记为转弯的块，得到对应的变向点P_s，将所有车道线外侧边缘线上的点输出给车道分类模块。车道分类模块将车道进行分类，当变向点P_s不存在或者s>m-3且s>2×(m-1)/3时，车道为直道或者小弯道，其它情况下车道为大弯道。Bézier曲线拟合模块针对直道或者小弯道，使用一条二次Bézier曲线构造车道线，针对大弯道，使用两条二次Bézier曲线构造车道线，重构结果可以通过可视化模块显示给用户。

利用梯度特征1搜索左侧车道线时，搜索点为左侧最低点，扩展得到n×n的块，n为像素个数，并设第i（1≤i<n）行中从左到右的第1个至第n-i个像素点位于道路上，块中剩余像素点位于左车道线上，根据式（1）确定梯度特征1值；采用梯度特征1搜索右侧车道线时，搜索点作为右侧最低点，扩展得到n×n的块，并设第i（1≤i<n）行中从右到左的第1个至第n-i个像素点位于道路上，块中剩余像素点位于右车道线上，根据式（1）确定梯度特征1值。

利用梯度特征2搜索左车道线时，搜索点作为右侧最低点，扩展得到n×n的块，并设第i（1<i≤n）行中从左到右的第1个至第i-1个像素点位于道路上，块中剩余像素点位于左车道线上，根据式（1）确定梯度特征2值；利用梯度特征2搜索右车道线时，搜索点作为左侧最低点，扩展得到n×n的块，并设第i（1<i≤n）行中从右到左的第1个至第i-1个像素点位于道路上，块中剩余像素点位于右车道线上，根据式（1）确定梯度特征2值。

T＝M₁-M₂   （1）

T表示梯度特征值，M₁表示车道线上的像素点和搜索点的灰度均值；M₂表示道路上的像素点的灰度均值。

根据搜索点的y值确定像素个数n的值：y∈[0,45]时，n取9；当y∈(45,90]时，n取5；当y∈(90,150]时，n取3。定义n为块的大小。

本发明基于Bézier曲线的车道线重构装置的优点在于：

（1）本发明装置中的正向搜索模块、间断搜索模块以及变向搜索模块，以块的形式提取局部梯度和灰度特征，提高了复杂环境的适应性；

（2）本发明装置中的正向搜索模块、间断搜索模块以及变向搜索模块，以块从下到上延伸搜索的方式避免了对不必要的区域进行处理，提高了识别的实时性及准确性；

（3）本发明装置中的变向搜索模块采用变向搜索实现了对弯道车道线的识别；

（4）本发明装置中的间断搜索模块采用间断搜索实现了对间断或者部分遮挡的车道线的识别；

（5）本发明装置中的车道分类模块将车道分为直道、小弯道和大弯道三种路况，然后分别不同方式拟合，提高了重构的准确性；

（6）本发明装置中的Bézier曲线拟合模块中使用的二阶Bézier曲线只取决于它的三个控制点，构造简单且容易实现，对大弯道采用两条二阶Bézier曲线拟合，弥补了一条二阶Bézier曲线造型单一的不足，提高了对曲率存在变化的大弯道重构的准确性。

附图说明

图1为本发明的一种基于Bézier曲线的车道线重构装置的体系结构图；

图2为本发明中起始点搜索模块的执行流程图；

图3为本发明中变向搜索模块的执行流程图；

图4为本发明中间断搜索模块的执行流程图；

图5为本发明中图像坐标系及有效处理区域图；

图6为本发明中3×3、5×5和9×9小块的梯度特征1示意图；

图7为本发明中3×3、5×5和9×9小块的梯度特征2示意图；

图8为本发明中自适应二值化模块执行完的结果图；

图9为本发明中Bézier曲线拟合模块执行完的结果图。

具体实施方式

下面将结合附图对本发明做进一步的详细说明。

本发明在于提供一种基于Bézier曲线的车道线重构装置，用于基于视觉的安全辅助驾驶***中，重构的车道线信息为决策单元提供参数支持。本发明能够较好地适应光照变化、道路阴影、车道线间断以及障碍物等复杂环境，而且不用对图像进行预处理，提高了实时性，通过车道分类模块和Bézier曲线拟合模块提高了对变曲率弯道重构的准确性。

首先说明，本发明中将涉及到的梯度特征和灰度特征。

所述的灰度特征是指车道线边缘处的局部灰度均值与路面灰度均值间存在明显差值。灰度特征值通过块的平均灰度值减去路面平均灰度值得到，路面平均灰度值的获取方法是：在处理某幅图片时，在该图片的处理区域的y=0，x∈[110,210]的范围内取最小的三个像素值的平均值。

所述的梯度特征是指路面与道路边缘的交界线处存在明显的灰度梯度。

梯度特征和灰度特征都是以块的形式统计，由于车道线的宽度变化，块的大小是随着y所在区域不同而不同，本发明的车道线重构装置中，当搜索点的y∈[0,45]时，取9×9的块；当y∈(45,90]时，取5×5的块；y∈(90,150]时，取3×3的块。如图6和图7所示分别为本发明的车道线重构装置中所采用的梯度特征1和梯度特征2。图中填充白色或斜线的像素点代表着车道线上的点，填充灰色的像素点代表着道路上的点，填充斜线的像素点是搜索点，车道转弯时由梯度特征1变为梯度特征2。令M₁表示车道线上的像素点和搜索点的灰度均值，等于块中m₁个填充白色的像素点和填充斜线的像素点的像素值之和除以其像素点的个数（m₁+1），M₂表示道路上的像素点的灰度均值，等于块中m₂个填充灰色像素点的像素值之和除以其像素点的个数m₂，则梯度特征1和2的值可由公式（1）求得，公式如下：

T＝M₁-M₂   （1）

如图6-1～图6-3所示，采用梯度特征1搜索左车道线时，搜索点作为左侧最低点，扩展得到n×n的块，n为像素个数，取3、5或9，并设第i（1≤i<n）行中从左到右的第1个至第n-i个像素点位于道路上，块中剩余像素点位于左车道线上，根据式（1）确定梯度特征值。

如图6-4～图6-6所示，采用梯度特征1搜索右车道线时，搜索点作为右侧最低点，扩展得到n×n的块，n为像素个数，取3、5或9，并设第i（1≤i<n）行中从右到左的第1个至第n-i个像素点位于道路上，块中剩余像素位于右车道线上，根据式（1）确定梯度特征值。

如图7-1～图7-3所示，采用梯度特征2搜索左车道线时，搜索点作为右侧最低点，扩展得到n×n的块，n为像素个数，取3、5或9，并设第i（1<i≤n）行中从左到右的第1个至第i-1个像素点位于道路上，块中剩余像素点位于左车道线上，根据式（1）确定梯度特征值。

如图7-4～图7-6所示，采用梯度特征2搜索右车道线时，搜索点作为左侧最低点，扩展得到n×n的块，n为像素个数，取3、5或9，并设第i（1<i≤n）行中从右到左的第1个至第i-1个像素点位于道路上，块中剩余像素点位于右车道线上，进而确定梯度特征值。

如图1所示，本发明的车道线重构装置包括七个基本功能模块：起始点搜索模块1、正向搜索模块2、间断搜索模块3、变向搜索模块4、自适应二值化模块5、车道分类模块6、Bézier曲线拟合模块7。

行驶车辆前方道路环境图像是由安装在车辆前挡风玻璃上的灰度摄像头通过图像采集模块8获得，原始图像输入至起始点搜索模块1，起始点搜索模块1在当前图像设置的感兴趣区内搜索左车道线起始点所在块和右车道线起始点的所在块。设置的图像感兴趣区域可由用户设定，如图5所示为给出的一个实施例，以图像左下角点为坐标原点，水平向右为x轴的正向，垂直向上为y轴的正向，建立坐标系，设定感兴趣区域的尺寸为320像素×240像素，深度为8bit。将搜索到的起始点所在块输出至自适应二值化模块5，将搜到的起始点所在块的搜索点位置输出给正向搜索模块2。

正向搜索模块2在图像的感兴趣区中，根据起始点所在块的搜索点，利用灰度特征和梯度特征1，从下至上逐个搜索出车道线外侧边缘线所在的块，并将每次搜索到的块输出给自适应二值化模块5；当车道线发生转弯时，将将搜索到的块的搜索点输入变向搜索模块4中；当车道线发生了间断时，将搜索到的块的搜索点输入间断搜索模块3中。

变向搜索模块4利用灰度特征和梯度特征2，搜索发生转弯后的车道线外侧边缘线所在块，并输出标记为转弯的块给自适应二值化模块5。

间断搜索模块3利用灰度特征和梯度特征1，搜索发生间断后的车道线起始点所在块，并输出给自适应二值化模块5，将起始点所在块的搜索点输入正向搜索模块2继续进行车道线搜索。

自适应二值化模块5是对搜索到的块进行自适应二值化处理，从而得到块中车道线外侧边缘线上的点P_i（i=0,2,3,…,m-1），m代表块总数，特别是块中车道线外侧边缘线最低点，对于标记为转弯的块，得到对应的变向点P_s，将所有车道线外侧边缘线上的点输出给车道分类模块6。车道分类模块6将车道进行分类，当变向点P_s不存在或者s>m-3且s>2×(m-1)/3时，车道为直道或者小弯道，其它情况下车道为大弯道。Bézier曲线拟合模块针对直道或者小弯道，使用一条二次Bézier曲线构造车道线，针对大弯道，使用两条二次Bézier曲线构造车道线。重构结果可以通过可视化模块9显示给用户。

起始点搜索模块1是整个车道线重构装置的基础，它负责搜索出左车道和右车道线外侧边缘线在图像上最低点位置，为后续各搜索模块提供起点坐标设置搜索范围。起始点搜索模块1首先在y=0，x∈[0,159]范围内搜索是否存在满足起始点条件的像素点，如果不存在，在x=0，y∈[1,90]范围内搜索是否存在满足起始点条件的像素点，如果不存在，在x∈(0,90)，y∈(0,90)内搜索是否存在满足起始点条件的像素点，若不存在，则图片中不存在左车道线；如果存在，找到左车道线起始点所在块。由于结构化道路车道宽度一般在2.5-3.75m，根据左车道线起始点设置右车道线起始点的搜索区域，并在设置的搜索区域内寻找满足起始点条件的像素点，如果存在，则找到右车道线起始点所在块，否则图片中不存在右车道线。所述的起始点条件包括：（1）利用梯度特征1扩展的像素点对应的块的灰度特征值大于灰度特征的阈值，且该块的梯度特征1值大于梯度特征1的阈值；（2）存在连续不间断的两个块都满足条件（1），条件(2)是为了降低起始点误判断的概率，利用正向搜索模块2来搜索判断。

图2展示了起始点搜索模块1的执行流程；具体执行步骤如下：

步骤101：在y=0，x∈[0,159]内，将每个像素点作为搜索点，依据图6所示的梯度特征1扩展为相应的块，确定该块的梯度特征1的值，保存其中最大的梯度特征1值所对应的块和搜索点，并确定该块的灰度特征值；

步骤102：判断是否满足起始点条件：（1）所保存的块的灰度特征值大于灰度特征阈值，且该块的梯度特征1值大于梯度特征1的阈值；（2）存在连续不间断的两个块都满足条件（1）；其中，灰度特征阈值为10，梯度特征1的阈值分14。如果满足条件，找到左车道线起始点的所在块，执行步骤106，否则，执行步骤103；

步骤103：在x=0，y∈[1,90]内，逐点依据图6所示的梯度特征1扩展为相应的块，确定梯度特征1值，保存其中最大的梯度特征1值所对应的块和搜索点，并确定该块的灰度特征值；

步骤104：判断是否满足步骤102中的起始点条件，如果满足条件，找到左车道线起始点的所在块，执行步骤106，否则，执行步骤105；

步骤105：在区域：x∈(0,90)，y∈(0,90)内，按照从左至右、从下至上的顺序，逐点依据如图6所示的梯度特征1扩展为相应的块，确定梯度特征1值及灰度特征值，对每个搜索点判断是否满足步骤102中的起始点条件，若满足，结束搜索，找到左车道线起始点的所在块，执行步骤106，若所有搜索点均不满足起始点条件，则该范围内不存在左车道线，继续执行步骤108；

步骤106：根据左车道线起始点设置右车道起始点的搜索区域，具体是：设左车道线的起始点坐标为(x_z，y_z)，当y_z=0且x_z<80时，右车道起始点的搜索区域为x∈(230,319]，y∈[20,60]；当y_z=0且x_z≥80时，右车道起始点的搜索区域为x∈(230,319]，y∈[50,90]；当x_z=0且y_z<50时，右车道起始点的搜索区域为x∈(230,319]，y∈[0,90]；当x_z＝0且y_z≥50时，右车道起始点的搜索区域为x∈(160,240]，y∈[0,90]；当(x_z，y_z）没有搜索到，右车道起始点的搜索区域为x∈(230,319]，y∈(0,90)；

步骤107：在步骤106设置的右车道起始点的搜索区域的下边缘线和右边缘线上，分别逐点依据如图7所示的梯度特征1扩展为相应的块，确定梯度特征1值，保存其中最大梯度特征1值的所对应的块和搜索点，并确定该块对应的灰度特征值；

右车道线起始点在两个边缘线上的几率比较大，首先搜索两条边缘线，提高了实时性。

步骤108：判断所保存的块是否满足步骤102中的起始点条件；如果满足条件，得到右车道线的起始点的所在块，结束搜索，否则，执行步骤109；

步骤109：除去下边缘线和右边缘线，在步骤106设置的右车道起始点的搜索区域内，采用梯度特征1按照从右至左、从下至上的顺序进行搜索，确定搜索点的梯度特征1值及灰度特征值，对每个搜索点判断是否满足步骤102中的起始点条件，若满足，结束搜索，得到右车道线的起始点的所在块，若所有搜索点均不满足起始点条件，则该范围内不存在右车道线。

对于左车道线或右车道线，在寻找到满足起始点条件的块时，因为起始点条件（2），因此起始点搜索模块1在确定起始点所在块时，同样检测到与起始点所在块连续不间断的两个块，在确定起始点所在块后，将起始点所在块以及连续不间断的两个块的大小以及对应的搜索点输入给正向搜索模块2。

正向搜索模块2根据中首先设置下一个包含有车道线外侧边缘线块的搜索范围，在范围内逐点搜索梯度特征1值最大的块，并计算此块的灰度特征，如果该块的灰度特征值大于灰度特征的阈值，且该块的梯度特征1值大于梯度特征1的阈值，在正向搜索模块2中灰度特征的阈值为10，梯度特征1的阈值为14，则得到一个包含有车道线外侧边缘线的块，然后更新搜索点y的值，判断是否满足结束条件，如果不满足，继续搜索下一个满足条件的块；如果满足结束条件，图像信息、所有搜索到的块的搜索点坐标及各块的大小作为输入传送至自适应二值化模块中。当搜索到的梯度特征1值最大的块不能同时满足灰度特征和梯度特征1的阈值条件，则将所有搜索出的块的搜索点坐标及各块的大小传送至变向搜索模块4。

为了使包含有车道线外侧边缘线的块既在所设置的搜索范围内，又尽可能的缩小搜索范围保证实时性，在正向搜索模块中设置x的搜索范围时是以前一个块的搜索点横坐标x₁加上它与再前一个块的搜索点横坐标x₂的差值为基准，左右各设置e个像素点总共2×e个像素点作为此块搜索点的搜索范围，即：[x₁+(x₁-x₂)-e,x₁+(x₁-x₂)+e]，x₁和y₁分别为前一个车道线外侧边缘线所在块的搜索点横坐标和纵坐标，x₂为再前一个车道线外侧边缘线所在块的搜索点横坐标，当没有再前一个车道线外侧边缘线所在块时，x₂=0，在间断搜索模块执行后第一个正向搜索时，需要对x₁-x₂取平均值，即除以间隔的块数。而y值是以前一个块的搜索点纵坐标y₁加上前一个车道线所在块的大小值n（n=3,5或9）所得，即y＝y₁+n。e为调节常数，其中当y首次大于或等于45时e=13，当y首次大于或等于90时e=9，其它情况下e=7。

正向搜索模块2还用于判断起始点搜索模块1找到的符合起始点条件（1）的像素点是否符合起始点条件（2），具体是：设当前起始点搜索模块1找到的符合起始点条件（1）的像素点为（x_t,y_t），块大小为n₁，根据正向搜索模块2设置的搜索范围｛x∈[x₁+(x₁-x₂)-e,x₁+(x₁-x₂)+e]，y＝y₁+n｝，初始不存在再前一个车道线外侧边缘线所在块，即x₂＝0，因此设置下一个搜索点的搜索范围：｛x∈[2x_t-e,2x_t+e]，y＝y_t+n₁｝，利用梯度特征1在该范围内逐点搜索是否存在符合起始点条件（1）的像素点，若搜索到，设像素点为（x_t+1,y_t+1），对应根据梯度特征1扩展的块大小为n₂，正向搜索模块2继续利用梯度特征1在范围｛x∈[2x_t+1-x_t-e,2x_t+1-x_t+e]，y＝y_t+n₂｝来搜索是否符合起始点条件（1）的像素点，若存在，则像素点为（x_t,y_t）根据梯度特征1扩展得到的块就是起始点所在块。

正向搜索模块2中设置的结束条件为：（1）当前搜索点y值大于150；或者（2）x值小于0或大于319；或者（3）右车道线搜索点进入左车道线终点切线的左侧。

正向搜索模块2当检测到如下条件时，判定车道线发生转弯：当搜索左车道线时，当前搜索点的y>=60；当搜索右车道线时，需搜索到的左车道线没有出现变向，并且左车道线的起点斜率和终点斜率之差大于0.4。

图3展示了本发明的变向搜索模块4搜索发生转弯后的车道线外侧边缘线所在块的执行流程，具体执行步骤如下：

步骤301：设置变向搜索范围，方法与同向搜索模块相同；变向搜索范围为：x∈[x₁+(x₁-x₂)-e,x₁+(x₁-x₂)+e]，y＝y₁+n；其中，x₁和y₁分别为前一个车道线外侧边缘线所在块的搜索点横坐标和纵坐标，x₂为再前一个车道线外侧边缘线所在块的搜索点横坐标，当出现间断时，x₁-x₂取平均值；n为前一个车道线所在块的大小；e为调节常数，当y首次大于或等于45时e=13，当y首次大于或等于90时e=9，其它情况下e=7；

步骤302：在搜索范围内逐点计算梯度特征2值T，保存其中最大梯度特征2值的块和搜索点；

步骤303：计算保存下来的块的灰度特征值M；

步骤304：判断所保存的块的M大于灰度特征的阈值，且该块的梯度特征2值大于梯度特征2的阈值，在变向搜索模块4中灰度特征的阈值为10，梯度特征2的阈值为11。如果同时大于阈值，则得到一个标记为转弯的包含有车道线外侧边缘线的块，转入步骤305，否则结束搜索；

步骤305：更新下一个搜索点的y值，即y＝y₁+n，y₁代表前一搜索点的纵坐标，n代表了前一个块的大小；

步骤306：判断此时是否满足结束条件：（1）当前搜索点y值大于150；（2）x值小于0或大于319；（3）右车道搜索点进入左车道线终点切线的左侧，只需满足其一即可，如果满足条件，结束搜索，否则，转入步骤301。

如果变向搜索模块4是在步骤304结束则认为车道线有可能发生了间断，正向搜索模块2输出至变向搜索模块4的信息同样传送至间断搜索模块3。如果变向搜索模块4是在步骤306结束则认为总的车道线搜索过程已经结束，将图像信息、所有搜索出的块的搜索点坐标、各块的大小及发生变向搜索的块坐标作为输入传送至自适应二值化模块5。

图4展示了本发明的间断搜索模块3搜索发生间断后的车道线起始点所在块的执行流程，具体执行步骤如下：

步骤401：确定当前此段车道线首末点连线的直线方程：

$x=\frac{x_m-x_q}{y_m-y_q}\&times;(y-y_q)+x_q---\left(2\right)$

其中（x_q，y_q）和（x_m，y_m）分别代表首末两个包含有车道线外侧边缘线的块的搜索点的坐标；所述当前此段车道线是指进入间断搜索模块3时已经搜索到的离间断点最近的连续的那段车道线。

步骤402：确定当前搜索点的y值：y＝y₁+n，将得到的y值代入步骤401的直线方程，得到直线上x的值x_A；

步骤403：根据得到的x值设置搜索范围中的x∈[x_A-7,x_A+7]；

步骤404：在搜索范围内逐点计算梯度特征1值T，保存其中最大梯度特征1值所对应的搜索点和块；

步骤405：确定保存下来的搜索点的块的灰度特征值M；

步骤406：判断保存的块的灰度特征值大于灰度特征的阈值，且梯度特征1值大于梯度特征1的阈值，在间断搜索模块3中灰度特征的阈值为10，梯度特征的阈值为14。如果同时大于阈值，则找到包含车道线的块，转入步骤407，否则，转入步骤408；

步骤407：将满足条件的点更新为下一段车道线的起始点，并结束间断搜索；

步骤408：更新搜索点的y值：计算下一个块搜索的y值：y=y₁+n；

步骤409：判断此时是否满足结束条件：（1）当前搜索点y值大于150；（2）x值小于0或大于319；（3）右车道搜索点进入左车道线终点切线的左侧，（4）y方向连续9个块都没有满足条件的块。只需满足其一即可，如果满足其中一个条件，结束搜索，否则，转入步骤402。

如果间断搜索模块3是在步骤407结束则认为已经搜索到间断后车道线的起始块，将此间断后车道线起始块信息传回至正向搜索模块2继续搜索。

自适应二值化模块5采用的二值化方法为最大类间方差法。经过处理后，得到了部分车道线像素，及外侧边缘线上的最低点P_i（i=0,2,3,…,m-1），如果有转弯，还可得到变向点P_s，其中m表示块的个数。如图8所示，为经过自适应二值化模块5进行处理的两幅图，图8的a为直道，b为弯道。车道分类模块6接收原始图像信息、二值化后的图像信息、外侧最低点P_i、块的个数m及变向点P_s。

车道分类模块6根据变向点P_s是否存在或变向点P_s的位置将车道分为直道、小弯道和大弯道三种路况，即：当P_s不存在或者其下角标s>m-3且s>2×(m-1)/3时，认为此车道为直道或者小弯道，否则，认为车道为大弯道；将是否为大弯道信息、原始图像信息、二值化后的图像信息、外侧最低点P_i及变向点P_s作为输入传送至Bézier曲线拟合模块7。

为了使构造的车道线准确性高，弥补一条二阶Bézier曲线造型单一及高阶Bézier曲线计算量大的不足，在大弯道时采用两条0阶连续的二阶Bézier曲线拟合。Bézier曲线拟合模块7针对直道或者小弯道，使用一条二次Bézier曲线构造车道线，针对大弯道，使用两条二次Bézier曲线构造车道线。在使用一条二次Bézier曲线构造车道线时，将起点P₀和终点P_m-1作为曲线的第一个和第三个控制点，在使用两条二次Bézier曲线构造车道线时，将起点P₀和变向点P_s的前一个点P_s-1作为第一条曲线的第一个和第三个控制点，将点P_s-1和终点P_m-1作为第二条曲线的第一个和第三个控制点；对于每条曲线的第二个控制点，设置曲线第二个控制点的搜索区域，并搜索最优控制点，然后得到二次Bézier曲线。

Bézier曲线拟合模块7设置曲线第二个控制点的搜索区域，并搜索最优控制点，进而构造二次Bézier曲线，具体过程是：

步骤501：将第一个控制点及其相邻点的连线作为第一个控制点的近似切线，第三个控制点及其相邻点的连线作为第三个控制点的近似切线，将两个近似切线的直线方程联立，得到交点PP坐标值（x_p,y_p）。

例如，在二值化后已经已知了车道线外侧边缘线的起点P₀和终点P_m-1，为了获得第二个控制点，将P₀和P₁的连线作为P₀点的近似切线，P_m-1和P_m-2的连线作为P_m-1点的近似切线。分别利用公式（2）得到两条直线方程，联立后算得交点PP坐标值（x_p,y_p）。

由于一条二阶Bézier曲线是由三个控制点决定，第一和第三个控制点为Bézier曲线的起点和终点，第二个控制点为起点和终点的两个近似切线的交点。交点的位置有以下几种情况：（1）y_p值在起点和终点的y值之间；（2）y_p值不在起点和终点的y值之间；（3）PP点不存在，此时两切线平行。

步骤502：设置第二个控制点的搜索范围。当y_p值在第一个控制点和第三个控制点的y值之间时，设置第二个控制点的搜索范围为：x∈[x_p-5,x_p+5]，y∈[y_p-5,y_p+5]；当y_p值不在第一个控制点和第三个控制点的y值之间时，计算用于拟合当前曲线的各相邻两点间连线的斜率，得到前后斜率相差最大的点P_k（x_k,y_k），设置第二个控制点的搜索范围为：x∈[x_k-5,x_k+5]，y∈[y_k-5,y_k+5]；当PP点不存在，设置第二个控制点的搜索范围为：x∈[x_k-2,x_k+2]，y∈[y_k-2,y_k+2]。

步骤503：搜索使目标函数值最大的Bézier曲线，目标函数F(t)为：

$F\left(t\right)=\underset{t=0}{\overset{1}{\mathrm{\&Sigma;}}}(g_t-{\mathrm{gg}}_t)---\left(3\right)$

其中，g_t表示曲线参数t从0取到1时曲线上点p的像素值，gg_t表示点p外侧相邻点的像素值。

二次Bézier曲线p(t)为：

$p\left(t\right)=\underset{j=0}{\overset{2}{\mathrm{\&Sigma;}}}{b}_j{C}_2^j{t}^j{(1-t)}^{2-j},0\&le;t\&le;1---\left(4\right)$

其中，b_j表示第j+1个控制点。

g_t-gg_t表示了曲线上左右相邻点的像素值之差。由于将各块进行了二值化处理，车道线为白色255，路面为黑色0，所以在二值化后图像中拟合车道线外侧边缘线最准确的Bézier曲线的目标函数值最大。

最后在原始图像中绘制出最优Bézier曲线，并可通过可视化模块9将重构的车道线显示给用户，如图9中的a～f所示，为识别出来的车道线的示意图。

从图9可以看出，本发明基于Bézier曲线的车道线重构装置能够较好的适应路面存在阴影、前方存在车辆、路面存在其他标志以及车道线存在间断等复杂环境，能够准确的构造出直道、小弯道和大弯道不同路况下的车道线。

Claims (10)

1.一种基于Bézier曲线的车道线重构装置，其特征在于，包括如下模块：起始点搜索模块、正向搜索模块、间断搜索模块、变向搜索模块、自适应二值化模块、车道分类模块、Bézier曲线拟合模块；

起始点搜索模块接收由图像采集模块输出的车辆前方道路环境图像，在图像的感兴趣区内，利用灰度特征和梯度特征1，搜索左车道线和右车道线的起始点所在块，将搜索到的起始点所在块输出至自适应二值化模块，将搜到的起始点所在块的搜索点输出给正向搜索模块；

正向搜索模块在图像感兴趣区中，根据起始点所在块的搜索点，利用灰度特征和梯度特征1，从下至上逐个搜索出车道线外侧边缘线所在块，并将每次搜索到的块输出给自适应二值化模块，当车道线发生转弯时将搜索到的块的搜索点输入变向搜索模块，当车道线发生了间断时将搜索到的块的搜索点输入间断搜索模块；

变向搜索模块利用灰度特征和梯度特征2，搜索发生转弯后的车道线外侧边缘线所在块，并输出标记为转弯的块给自适应二值化模块；

间断搜索模块利用灰度特征和梯度特征1，搜索发生间断后的车道线起始点所在块，并输出给自适应二值化模块，将起始点所在块的搜索点输入正向搜索模块继续进行车道线搜索；

自适应二值化模块是对搜索到的块进行自适应二值化处理，得到块中车道线外侧边缘线上的点P_i（i=0,2,3,…,m-1），m代表块总数，对于标记为转弯的块，得到对应的变向点P_s，将所有车道线外侧边缘线上的点输出给车道分类模块；

车道分类模块将车道进行分类，当变向点P_s不存在或者s>m-3且s>2×(m-1)/3时，车道为直道或者小弯道，其它情况下车道为大弯道；

Bézier曲线拟合模块针对直道或者小弯道，使用一条二次Bézier曲线构造车道线，针对大弯道，使用两条二次Bézier曲线构造车道线；

所述的起始点搜索模块、正向搜索模块以及间断搜索模块，在利用梯度特征1搜索左车道线时，搜索点为左侧最低点，扩展得到n×n的块，像素个数n定义为块的大小，并设第i（1≤i<n）行中从左到右的第1个至第n-i个像素点位于道路上，块中剩余像素点位于左车道线上，根据式（1）确定梯度特征1值；采用梯度特征1搜索右侧车道线时，搜索点作为右侧最低点，扩展得到n×n的块，并设第i（1≤i<n）行中从右到左的第1个至第n-i个像素点位于道路上，块中剩余像素点位于右车道线上，根据式（1）确定梯度特征1值；

所述的变向搜索模块利用梯度特征2搜索左车道线时，搜索点作为右侧最低点，扩展得到n×n的块，并设第i（1<i≤n）行中从左到右的第1个至第i-1个像素点位于道路上，块中剩余像素点位于左车道线上，根据式（1）确定梯度特征2值；利用梯度特征2搜索右车道线时，搜索点作为左侧最低点，扩展得到n×n的块，并设第i（1<i≤n）行中从右到左的第1个至第i-1个像素点位于道路上，块中剩余像素点位于右车道线上，根据式（1）确定梯度特征2值；

T＝M₁-M₂   （1）

T表示梯度特征值，M₁表示车道线上的像素点和搜索点的灰度均值；M₂表示道路上的像素点的灰度均值；

根据搜索点的y值确定n：y∈[0,45]时，n取9；当y∈(45,90]时，n取5；当y∈(90,150]时，n取3。

2.根据权利要求1所述的一种基于Bézier曲线的车道线重构装置，其特征在于，所述的起始点搜索模块，首先在y=0，x∈[0,159]范围内搜索是否存在满足起始点条件的像素点，如果不存在，继续在x=0，y∈[1,90]范围内搜索是否存在满足起始点条件的像素点，如果不存在，继续在x∈(0,90)，y∈(0,90)内搜索是否存在满足起始点条件的像素点，若不存在，则图片中不存在左车道线；如果存在，找到左车道线起始点所在块，根据左车道线起始点设置右车道线起始点的搜索区域，并寻找满足起始点条件的像素点，如果存在，则找到右车道线起始点所在块，否则图片中不存在右车道线；

所述的起始点条件包括：（1）利用梯度特征1扩展的像素点对应的块的灰度特征值大于灰度特征的阈值，且该块的梯度特征1值大于梯度特征1的阈值；（2）存在连续不间断的两个块都满足条件（1）；

根据左车道起始点设置右车道起始点的搜索区域，具体是：设左车道线的起始点坐标为(x_z，y_z)，当y_z=0且x_z<80时，右车道起始点的搜索区域为x∈(230,319]，y∈[20,60]；当y_z=0且x_z≥80时，右车道起始点的搜索区域为x∈(230,319]，y∈[50,90]；当x_z＝0且y_z<50时，右车道起始点的搜索区域为x∈(230,319]，y∈[0,90]；当x_z＝0且y_z≥50时，右车道起始点的搜索区域为x∈(160,240]，y∈[0,90]；当(x_z，y_z）没有搜索到，右车道起始点的搜索区域为x∈(230,319]，y∈(0,90)。

3.根据权利要求1所述的一种基于Bézier曲线的车道线重构装置，其特征在于，所述的正向搜索模块，首先根据起始点所在块的搜索点设置下一个包含有车道线外侧边缘线块的搜索范围，搜索范围的设置方法是：设置x∈[x₁+(x₁-x₂)-e,x₁+(x₁-x₂)+e]，y＝y₁+n；其中，x₁和y₁分别为前一个车道线外侧边缘线所在块的搜索点横坐标和纵坐标，x₂为再前一个车道线外侧边缘线所在块的搜索点横坐标，当出现间断时，x₁-x₂取平均值，当没有再前一个车道线外侧边缘线所在块时，x₂=0；n为前一个车道线所在块的大小；e为调节常数，当y首次大于或等于45时e=13，当y首次大于或等于90时e=9，其它情况下e=7；然后在设置的搜索范围内搜索梯度特征1值最大的块，如果搜索到的块的灰度特征值大于灰度特征的阈值，且梯度特征1值大于梯度特征1的阈值，则得到一个包含有车道线外侧边缘线的块。

4.根据权利要求1所述的一种基于Bézier曲线的车道线重构装置，其特征在于，所述的正向搜索模块，检测车道线发生转弯的条件为：当搜索左车道线时，当前搜索点的y>=60；当搜索右车道线时，需搜索到的左车道线没有出现变向，并且左车道线的起点斜率和终点斜率之差大于0.4。

5.根据权利要求1所述的一种基于Bézier曲线的车道线重构装置，其特征在于，所述的变向搜索模块，首先设置搜索范围：x∈[x₁+(x₁-x₂)-e,x₁+(x₁-x₂)+e]，y＝y₁+n；其中，x₁和y₁分别为前一个车道线外侧边缘线所在块的搜索点横坐标和纵坐标，x₂为再前一个车道线外侧边缘线所在块的搜索点横坐标，当出现间断时，x₁-x₂取平均值；n为前一个车道线外侧边缘线所在块的大小；e为调节常数，当y首次大于或等于45时e=13，当y首次大于或等于90时e=9，其它情况下e=7；然后在设置的搜索范围内搜索梯度特征2值最大的块，如果搜索到的块的灰度特征值大于灰度特征的阈值，且梯度特征2值大于梯度特征1的阈值，则得到一个标记为转弯的包含有车道线外侧边缘线的块。

6.根据权利要求1所述的一种基于Bézier曲线的车道线重构装置，其特征在于，所述的间断搜索模块，根据前一个车道线外侧边缘线所在块的大小n及对应的搜索点的纵坐标y₁，更新当前搜索点的y值：y＝y₁+n，将更新的y值代入下面直线方程得到x的值x_A：

$x=\frac{x_m-x_q}{y_m-y_q}\&times;(y-y_q)+x_q$

其中，（x_q,y_q）和（x_m,y_m）分别代表首末两个包含有车道线外侧边缘线的块的搜索点的坐标；根据得到的x₀设置x的搜索范围：[x_A-7,x_A+7]；在搜索范围内搜索梯度特征1值最大的搜索点及块，并确定该块的灰度特征值，若该块的灰度特征值大于灰度特征的阈值，且梯度特征1值大于梯度特征1的阈值，则找到包含车道线的块。

7.根据权利要求1或2或3或6所述的一种基于Bézier曲线的车道线重构装置，其特征在于，所述的灰度特征阈值为10，梯度特征1的阈值分14。

8.根据权利要求1或5所述的一种基于Bézier曲线的车道线重构装置，其特征在于，所述的灰度特征阈值为10，梯度特征2的阈值为11。

9.根据权利要求1所述的一种基于Bézier曲线的车道线重构装置，其特征在于，所述的Bézier曲线拟合模块，在使用一条二次Bézier曲线构造车道线时，将起点P₀和终点P_m-1作为曲线的第一个和第三个控制点，在使用两条二次Bézier曲线构造车道线时，将起点P₀和变向点P_s的前一个点P_s-1作为第一条曲线的第一个和第三个控制点，将点P_s-1和终点P_m-1作为第二条曲线的第一个和第三个控制点；对于每条曲线的第二个控制点，设置曲线第二个控制点的搜索区域，并搜索最优控制点，然后得到二次Bézier曲线。

10.根据权利要求9所述的一种基于Bézier曲线的车道线重构装置，其特征在于，所述的Bézier曲线拟合模块，设置曲线第二个控制点的搜索区域，并搜索最优控制点，具体是：

首先，将第一个控制点及其相邻点的连线作为第一个控制点的近似切线，第三个控制点及其相邻点的连线作为第三个控制点的近似切线，将两个近似切线的直线方程联立，得到交点PP坐标值（x_p,y_p）；

然后，设置第二个控制点的搜索范围：当y_p值在第一个控制点和第三个控制点的y值之间时，第二个控制点的搜索范围为：x∈[x_p-5,x_p+5]，y∈[y_p-5,y_p+5]；当y_p值不在第一个控制点和第三个控制点的y值之间时，计算用于拟合当前曲线的各相邻两点间连线的斜率，得到前后斜率相差最大的点P_k（x_k,y_k），第二个控制点的搜索范围为：x∈[x_k-5,x_k+5]，y∈[y_k-5,y_k+5]；当PP点不存在，第二个控制点的搜索范围为：x∈[x_k-2,x_k+2]，y∈[y_k-2,y_k+2]；

最后，搜索使目标函数值最大的Bézier曲线，目标函数F(t)为：

二次Bézier曲线p(t)为：0≤t≤1；其中，g_t表示曲线参数t从0取到1时曲线上点p的像素值，gg_t表示点p外侧相邻点的像素值，b_j表示第j+1个控制点。

Images