CN103192830B - 一种自适应视觉车道偏离预警装置 - Google Patents

Abstract

一种自适应视觉车道偏离预警装置，涉及车辆安全***。设有车载电源、降压稳压电路、警示器、FPGA核心板、数字摄像机和转向角感应器；降压稳压电路的输入端接车载电源的输出端，降压稳压电路的输出端分别接FPGA核心板的电源模块输入端和数字摄像机的输入端，FPGA核心板的输出接口接警示器的输入端，数字摄像机的输出端接FPGA核心板的输入接口，数字摄像机的输出端接FPGA核心板的输入接口，转向角感应器的输出端接FPGA核心板的输入接口。提高视觉车道偏离预警装置在复杂光照和复杂路面情况下的车道线识别能力。提高视觉车道偏离预警装置对弯道的偏离预警能力。提高现有视觉车道偏离预警装置的图像处理和预警反应速度。

Description

一种自适应视觉车道偏离预警装置

技术领域

本发明涉及车辆安全***，尤其是涉及一种自适应视觉车道偏离预警装置。

技术背景

随着信息和自动控制技术的快速发展，汽车驾驶辅助技术逐渐被汽车厂家和用户所接受。车道偏离预警装置可以防止或者减少驾驶员由于驾驶疲劳而导致的交通事故，并已经逐渐成为高端汽车品牌的标准配置。基于视觉的车道线跟踪预警装置是车道偏离预警产品的主流技术路线。

视觉车道线跟踪及偏离预警装置一般包含3个主要模块：(1)视频采集模块；(2)图像分析模块；(3)用户警告模块。其中图像分析模块担负着识别车道线的任务，是视觉车道偏离预警装置的核心技术。目前采用的车道线识别方法主要有四种：(1)采用Sobel算子、Canny算子等边缘检测算子对原始图像进行处理，在车道线边界处给出较高的处理值，从而判断出边界的位置，并从边界信息得到车道线的位置(参见中国专利CN102303609A和美国专利US4970653)；(2)直接或者在应用边缘检测算子之后采用霍夫变换(HoughTransform)，计算出图像中存在的直线，并由此得到车道线的位置(参见中国专利CN102303609A和CN201712600U，美国专利US5790403)；(3)采用模板匹配的方法，沿着不同角度寻找边界，并由此得到车道线的位置(参见中国专利CN101804813A和美国专利US5398292)。(4)先对灰度图像进行二值化处理，通过选择恰当的二值化阈值，使车道线和路面图像分离成二值图像，进而搜索车道线的位置(参见中国专利CN101016052A和CN101016052A)。

边缘检测是图像识别的基础性问题，有着很长的研究历史(参见文献：章毓晋，《图像工程(中册)图像分析》第二版)。在复杂环境下的稳定和准确图像识别是图像识别技术的终极目标。实践证明，单纯的图像二值化和边缘检测方法很难适应各种复杂环境，而基于模型的图像分割方法结合识别目标的特征对图像二值化和边缘检测过程进行约束，在很多应用上取得了很好的效果(RobertHanek，Model-BasedImageSegmentationUsinglocalSelf-AdaptingSeparationCriteria，LectureNotesinComputerScienceVolume2191,2001：1-8)。基于模型的图像分割方法虽然图像分割效果较好，但是计算量很大，不适于实时视频的图像分析，特别是在计算资源严重受限制的车载平台上。

郑新钱等人(郑新钱等，基于FPGA的视觉导航小车设计与实现，厦门大学学报自然科学版，2012，2)提出了一种新颖的自适应图像二值化与轨道识别方法；把图像二值化与轨道识别宽度结合起来，通过轨道识别宽度反馈二值化阈值。基于这种自适应识别方法的单轨道视觉导航模型小车，在多种光照和路面情况下取得了较好的导航效果。

对图像进行矩形波卷积，形成坡形导航线边界，以形成二值化的导航线宽度与二值化阈值之间的关联是郑新钱等人提出的算法的关键。该算法只能在一条宽度在30个像素以上的导航线上实现，而车道偏离预警装置需要识别两条很细的车道线(一般只有3～5个像素宽)。所以，郑新钱等人提出的自适应轨道识别算法无法直接在车道偏离预警装置上应用。

除了复杂光照和复杂路面条件下的工作不稳定，现有视觉车道偏离预警装置对弯道的预警效果也不理想。公布的车道偏离预警装置很多采用霍夫直线变换，故只能对直车道或者弯道中的直线部分的偏离进行预警(参见中国专利CN102303609A和CN201712600U，美国专利US5790403)，有些车道偏离预警装置只能对近场的车道线进行识别(参见中国专利CN102951159A和CN101704367A)，故无法识别远场的弯道可能对驾驶产生的影响。中国专利CN102295004A公开了一种车道偏离预警方法，通过测量运行速度和事先设置的相应最大侧向加速度和最小转弯半径，假设汽车按圆弧轨迹行驶，预测可能越过车道线的最短时间，并以此判断是否发出警告。整个方法过于复杂，运算量较大，不易实现。同时，由于最大侧向加速度受路面情况影响，所以无法事先准确测量，使得整个方法很难实现。

现有车道偏离预警装置的图像处理基本上采用单片机(参见中国专利CN202686122U)，数字信号处理器(中国专利CN201712600U)，计算机(中国专利CN101016052A)，或者计算机加上专门的图像分析电路(美国专利US5430810)。这些图像分析设备的共同点是采用串行处理方式，在处理大量视频信息时，运算速度受到限制。

发明内容

本发明的目的是提供一种自适应视觉车道偏离预警装置。

本发明设有车载电源、降压稳压电路、警示器、现场可编程门阵列(FieldProgrammableGateArray,FPGA)核心板(以下简称为FPGA核心板)、数字摄像机和转向角感应器；所述FPGA核心板设有电源模块、晶振、FPGA芯片和输入输出接口；

所述降压稳压电路的输入端接车载电源的输出端，降压稳压电路的输出端分别接FPGA核心板的电源模块输入端和数字摄像机的输入端，FPGA核心板的输出接口接警示器的输入端，所述数字摄像机的输出端接FPGA核心板的输入接口，数字摄像机的输出端接FPGA核心板的输入接口，转向角感应器的输出端接FPGA核心板的输入接口。

与现有的主要采用单片机、数字处理器、计算机或者计算机与专用电路结合的串行计算方案进行图像处理相比，本发明采用现场可编程门阵列芯片，对图像进行并行逐行处理，显著提高了图像处理速度和预警反应速度。本发明通过灰度膨胀和矩形波卷积等图像处理算法，使车道线变宽并且形成坡形边界，从而在车道线的二值化宽度与二值化阈值之间形成关联；把车道宽度的测量值反馈给图像二值化阈值，并做出相应调整，从而使图像二值化阈值自动适应各种复杂光照和路面情况。

本发明通过假设圆弧行车路线计算出与车道线相匹配的合理转向角，并与车载转向角感应器的读数进行比较和判断。当二者的差别超出一定范围的时候，通过警示器模块发出偏离预警信号。相对于只能对直线车道或者弯道的直线部分进行预警的装置，本发明可以对远场弯道偏离发出更早的预警，增强安全防范的效果。

本发明具有以下突出优点：

1)提高视觉车道偏离预警装置在复杂光照和复杂路面情况下的车道线识别能力。

2)提高视觉车道偏离预警装置对弯道的偏离预警能力。

3)提高现有视觉车道偏离预警装置的图像处理和预警反应速度。

附图说明

图1为本发明实施例的结构示意图。

图2为本发明实施例的降压稳压电路原理图。

图3为本发明实施例的自适应车道线识别算法的示意图。

图4为本发明实施例的灰度膨胀和矩形波卷积滤波之后效果的示意图。

图5为本发明实施例的规划行车路线的示意图。

具体实施方式

以下实施例将结合附图对本发明作进一步的说明。

参见图1～5，本发明实施例设有车载电源1、降压稳压电路2、警示器3、FPGA核心板4、数字摄像机5和转向角感应器6；所述FPGA核心板4设有电源模块、晶振、FPGA芯片和输入输出接口；所述降压稳压电路2的输入端接车载电源1的输出端，降压稳压电路2的输出端分别接FPGA核心板4的电源模块输入端和数字摄像机5的输入端，FPGA核心板4的输出接口接警示器3的输入端，所述数字摄像机5的输出端接FPGA核心板4的输入接口，数字摄像机5的输出端接FPGA核心板4的输入接口，转向角感应器6的输出端接FPGA核心板4的输入接口。

所述现场可编程门阵列(FPGA)核心板作为核心处理部件，通过对车道线图像的分析，来确定汽车和车道线的相对位置和取向，并在汽车即将偏离车道线时，发出预警信号；

车载电源1通过降压稳压电路2给FPGA核心板4以及数字摄像机5供电。数字摄像机5接收图像并将数据信息传输给FPGA核心板4。FPGA核心板4对图像进行采集和分析，结合从转向角感应器6读取的信号判断车辆运行状态，并在车辆即将偏离车道时向警示器3发出预警信号。

本发明的核心功能和关键技术环节是车道线的识别和合理转向角的计算。结合图3，实现本发明的核心环节的具体步骤如下：

1)数字摄像机5上电后，以固定的帧率，采集道路图像，并逐行向现场可编程门阵列核心板4传输。

2)现场可编程门阵列核心板4接收步骤1)所述的一行图像信息，并按照图3所示的步骤进行分析处理。

3)首先按照方程(1)对步骤2)所述的一行图像进行灰度膨胀运算，增加车道线的宽度。

p_i＝max{p_k},i-7≤k≤i+8(1)

其中p_i和p_k为第i个和k个像素的灰度值，max为求最大值的函数。

4)按照方程(2)对步骤3)所述的一行图像进行矩形波卷积，在消除噪声的同时，形成如图4所示的图形。

$p_i={\Σ}_{k=i-7}^{i+8}{p}_k\⊕1---\left(2\right)$

其中p_i和p_k为第i个和k个像素的灰度值，⊕为逻辑异或运算。图4中的W₀，W₁和W₂分别为理想二值化阈值，过高二值化阈值和过低二值化阈值下计算获得的车道宽度。通过矩形波卷积处理，使得计算获得的车道宽度与二值化阈值直接产生关联，从而可以对二值化阈值进行自适应调整。我们称理想二值化阈值下计算获得的车道宽度W₀为标准车道宽度。标准车道宽度W₀在辅助驾驶装置启动后的路面情况学习时获得，并在二值化阈值自适应调整中使用。详见步骤12)。

5)采用上一行图像传下来的二值化阈值，对步骤4)所得到的灰度图像进行二值化处理。

6)在步骤5)所得到的二值化的一行图像中，以上一行传下来的车道中心位置M₀为中心，分别向左右两边搜索轨道线边界。搜索的方法是对图像做如方程(3)和(4)所示的向左或者向右的阶跃函数卷积。

$E_L\left(i\right)={\mathrm{\Σ}}_{k=i-7}^i{p}_k\⊕0+{\mathrm{\Σ}}_{k=i+1}^{i+8}{p}_k\⊕1---\left(3\right)$

$E_R\left(i\right)={\mathrm{\Σ}}_{k=i-8}^{i-1}{p}_k\⊕1+{\mathrm{\Σ}}_{k=i}^{i+7}{p}_k\⊕0---\left(4\right)$

其中E_L(i)和E_R(i)为第i个像素的左边界值和右边界值，p_k为第k个像素的图像值，⊕为逻辑异或运算。分别向左右方向搜索E_L(i)和E_R(i)值大于12的像素点，并标定为左车道线边界LB和右车道线边界RB。

7)搜索到左边或者右边车道线的边界后，对车道线进行模板匹配识别，以确认车道线的识别可靠性。具体匹配方法如下：

$V_L={\mathrm{\Σ}}_{k=LB-2\×WD+1}^{LB-WD}{p}_k\⊕0+{\mathrm{\Σ}}_{k=LB-WD+1}^{LB}{p}_k\⊕1+{\mathrm{\Σ}}_{k=LB+1}^{LB+WD}{p}_k\⊕0---\left(5\right)$

$V_R={\mathrm{\Σ}}_{k=RB-WD}^{RB-1}{p}_k\⊕0+{\mathrm{\Σ}}_{RB}^{RB+WD-1}{p}_k\⊕1+{\mathrm{\Σ}}_{k=RB+WD}^{RB+2\×WD-1}{p}_k\⊕0---\left(6\right)$

其中V_L和V_R为左车道线和有车道线的模板匹配值，LB和RB为步骤6)中搜索到的左车道线边界和右车道线边界，WD为车道线的宽度，在路面学习阶段获得，详见步骤13)。获得的V_L和V_R如果大于事先设定的阈值，则确定获得的左车道线边界LB和右车道线边界RB可以使用，否则取消LB或者RB的值。

8)根据步骤6)和7)搜索和确认的左车道线边界LB和右车道线边界RB计算车道的宽度和中心位置M。由于车道线的中断，或者由于光线、路面情况暂时无法找到左边界或者右边界时，以如下公式计算车道宽度：

其中RB和LB为步骤6)中搜索到的左车道线边界和右车道线边界，M₀是上一行找到的车道中点，W₀是标准轨道宽度。

9)根据计算所得到的宽度，与标准宽度W₀进行比较，若大于标准宽度，并且超出一定范围，则在下一行二值化时，降低阈值1-2灰度值；反之则提高阈值1-2灰度值。标准车道宽度W₀在学习阶段获得，详见步骤12)。

10)处理到最后一行时，可根据得到的车道中心位置M来计算合理行车路线的曲率半径R7。根据图5，可以得出以下计算曲率半径R7的公式为。

$R=\frac{a^2+b^2}{2b}---\left(8\right)$

其中a8为车道中心偏离汽车中心线的距离，b9为视场末端到前车轮的距离。b9可以事先实际测量获得。a8可由车道中心位置M计算获得，见方程(9)

$a=(M-\frac{D}{2})\×\mathrm{\λ}---\left(9\right)$

其中D为视场图像的宽度，M为车道中心位置，λ为透射畸变的比例常数，可事先测量获得。图5展示的是消除透视畸变之后的视场。

11)根据步骤10)计算得到的规划弧线的曲率半径R7，以及事先测得的汽车前后车轮间距S，可以近似计算出对于规划弧线的合理汽车转向角α的公式：

$\mathrm{\α}=\frac{S}{R}---\left(10\right)$

通过转向角感应器读取汽车实际转向角，并与计算获得的合理汽车转向角α进行比较。当二者的差异超出一定限度时，通过警示器模块发出预警信号。

根据方程(8)，(9)和(10)计算合理汽车转向角α值时，唯一改变的变量是参数a8。因为a8的取值范围小于图像的宽度，所以可事先计算出相应的合理汽车转向角α值，并建立查找表。在装置运行时，只需查找相关数值，无需进行实时计算，可以降低运算时间和节约逻辑资源。

12)启动车道偏离预警装置后，开始学***均的轨道宽度值作为标准轨道宽度参数W₀。

$W_0=\frac{1}{N}{\mathrm{\Σ}}_{i=1}^N({\mathrm{RB}}_i-{\mathrm{LB}}_i)---\left(10\right)$

其中N为采集的图像帧数。LB_i和RB_i为第i帧中某行图像的左车道线边界和右车道线边界。

13)在步骤12)的基础上，学***均得出标准轨道线宽度参数WD。

WD_i＝argmax{V_L(WD_i)+V_R(WD_i))

$WD=\frac{1}{N}{\mathrm{\Σ}}_{i=1}^N{\mathrm{WD}}_i---\left(11\right)$

其中V_L和V_R是方程(5)和(6)中定义的模板匹配值，argmax是使得V_L(WD_i)+V_R(WD_i)取最大值时的参数WD_i的取值，N是计算的帧数。

本发明公开一种自适应视觉车道偏离预警装置。在存在清晰车道线标识的情况下，配合车载转向角感应装置，实现对轨道线的摄像，识别，和车道偏离预警。采用自适应的二值化车道线识别方法，使得本装置可以在更加复杂的光线和路面情况下正常工作。假设圆弧行车路线，直接测量与车道线相匹配的合理转向角，提高装置对弯道偏离的预警能力。采用FPGA(FieldProgrammableGateArray,现场可编程门阵列)芯片作为主处理器，可以对图像进行并行处理，使得本装置比普通基于计算机或者微处理器等串行处理器的偏离预警装置具有更快的图像处理和预警反应速度。

本发明根据汽车和车道线之间的相对位置和取向，计算合理的汽车转向角；当汽车的实际转向与合理转向角之间的偏离超出一定程度后，向驾驶员发出车道偏离警告信号。

在车道线识别过程中，通过灰度膨胀和矩形波卷积等图像处理算法，使车道线变宽并且形成坡形边界，从而在车道线的二值化宽度与二值化阈值之间形成关联；把车道宽度的测量值反馈给二值化阈值，并做出相应调整，从而使二值化阈值自动适应各种复杂的光照和路面情况。

FPGA核心板作为核心处理部件，负责进行图象采集、图像分析、接收感应器信号并发出预警信号。

图像前期处理，图像二值化、车道线识别,以及阈值反馈等图像处理过程所需要的时间小于数字摄像机采集和传输一行图像的时间。图像处理过程是逐行实时进行的。

在弯道行驶时，能准确识别转向角的偏离，并及时实施预警。具体实施方法是根据车道中心在视场末端的位置，计算合理行车路线的转向角，并与汽车的实际转向角比较。当转向角偏离超出一定限度时，通过警示器报警。

根据车道中心在视场末端的位置计算合理转向角时，采用查找表的方法，直接给出对应车道线远端位置的转向角，从而节省计算时间和逻辑资源。

本发明自动学***均值作为自适应识别中的标准车道宽度和标准车道线宽度。

识别车道线的功能分以下6个步骤完成：

(1)对图像进行灰度膨胀或其他图像处理方法，加宽车道线。

(2)对图像进行矩形波卷积或其他图像处理方法，使车道线形成坡形边界。

(3)对图像进行二值化。

(4)对图像进行向左和向右的阶跃函数卷积，并搜索车道线边界。

(5)对找到的车道线进行模板匹配，以确认识别的可靠性。

(6)把获得的车道宽度与学习过程中获得的标准车道宽度进行比较，并根据比较结果对二值化阈值进行调整。

Claims (3)

1.一种基于FPGA的自适应视觉车道偏离预警装置，其特征在于设有车载电源、降压稳压电路、警示器、FPGA核心板、数字摄像机和转向角感应器；所述FPGA核心板设有电源模块、晶振、FPGA芯片和输入输出接口；所述降压稳压电路的输入端接车载电源的输出端，降压稳压电路的输出端分别接FPGA核心板的电源模块输入端和数字摄像机的输入端，FPGA核心板的输出接口接警示器的输入端，所述数字摄像机的输出端接FPGA核心板的输入接口，转向角感应器的输出端接FPGA核心板的输入接口；

所述FPGA芯片作为核心处理部件，用于进行图像采集、图像分析、接受感应信号并发出预警信号；

所述核心处理部件在车道线识别过程中，通过灰度膨胀和矩形波卷积图像处理算法，使车道线变宽并且形成坡形边界，从而在车道线的二值化宽度与二值化阈值之间形成关联；把车道宽度的测量值反馈给二值化阈值，并做出相应调整，从而使二值化阈值自动适应各种复杂的光照和路面情况；

所述核心处理部件识别车道线的功能分以下6个步骤完成：(1)对图像进行灰度膨胀，加宽车道线；(2)对图像进行矩形波卷积，使车道线形成坡形边界；(3)对图像进行二值化；(4)对图像进行向左和向右的阶跃函数卷积，并搜索车道线边界；(5)对找到的车道线进行模板匹配，以确认识别的可靠性；(6)把获得的车道宽度与学习过程中获得的标准车道宽度进行比较，并根据比较结果对二值化阈值进行调整。

2.如权利要求1所述一种基于FPGA的自适应视觉车道偏离预警装置，其特征在于所述核心处理部件自动学习自适应识别车道线所需的动态车道参数。

3.如权利要求1所述一种基于FPGA的自适应视觉车道偏离预警装置，其特征在于所述核心处理部件在根据车道中心在视场末端的位置计算合理转向角时，采用查找表的方法，直接给出对应车道线远端位置的转向角。