CN101630412A - 基于相机的车道标志检测 - Google Patents

Abstract

本发明涉及基于相机的车道标志检测。提供了一种使用图像装置检测车辆道路中车道标志的方法。使用所述图像装置捕获道路输入数据。向所述道路输入数据应用亮度标准化。所述方法检测所述标准化数据中几个主要方向中的道路车道标志。在每个主要方向中，将所述标准化的输入数据与定向边缘检测滤波器作卷积，以产生定向边缘基滤波器响应。将所述标准化的输入数据与定向线检测滤波器作卷积，以产生定向线基滤波器响应。响应于每个主要方向中的所述边缘基滤波器响应和所述线基滤波器响应来选择候选车道标志。向所述候选车道标志应用变换技术，以识别各主要方向的车道标志。

Description

基于相机的车道标志检测

技术领域

[0001]本发明总的涉及使用图像捕获装置的道路的车道标志检测。

背景技术

[0002]基于相机的车道标志检测***用于检测道路或车道的道路片断。大多数***在高速情形下都工作地相当好，但无法解决慢车情形下的复杂环境。这种基于相机的***容易不能正确地将道路目标(例如路边和车道标志)与树木、建筑物的影子和其它环境条件区分开。另外，基于相机的***通常受到某些情形的挑战，例如道路中的急弯或天气/低的太阳角。由于与直线相比，道路中的转弯更加难以检测，所以这种***具有为精确地检测车道标志而运行处理时间更慢的缺点。

发明内容

[0003]本发明的优点提供了一种低成本和可靠的使用图像捕获装置在道路中车道标志的检测。本发明使用低成本的图像捕获装置，如相机，用于沿着弯道或直路可靠检测车道标志。除了漆涂得差的车道标志之外，急弯的车道标志被从扰乱的因素(例如建筑物或树木的各种阴影)区分开。

[0004]实施例提出了一种使用图像装置检测车辆道路中车道标志的方法。使用所述图像装置捕获道路输入图像数据。向所述道路输入图像数据应用亮度标准化。所述方法检测所述输入图像中几个主要方向中的车道标志。在每个主要方向中，将所述标准化的输入数据与定向边缘检测滤波器作卷积，以产生基于定向边缘的滤波器响应。将所述标准化的输入数据与定向线检测滤波器作卷积，以产生基于定向线的滤波器响应。响应于每个主要方向的相邻角度中的所述边缘基(基于边缘的)滤波器响应和所述线基(基于线的)滤波器响应来选择候选车道标志。向所述候选车道标志应用变换技术，以识别各主要方向的相邻角度中的车道标志。

[0005]实施例提出了一种车道标志检测***。图像装置用于捕获道路输入数据。处理器接收通过图像装置接收的捕获的道路输入数据。所述处理器向所述道路输入数据应用亮度标准化。所述处理器处理几个主要方向中的标准化输入数据。在各主要方向中，所述处理器将所述标准化输入数据与定向边缘检测滤波器作卷积以产生基于定向边缘的滤波器响应。所述处理器将所述标准化输入数据与定向线检测滤波器作卷积以产生基于定向线的滤波器响应。所述处理器从所述边缘基滤波器响应和所述线基滤波器响应选择候选车道标志。在每个主要方向中所述处理器向所选择的候选车道标志应用变换技术以识别所述车道标志的线段。输出装置用于识别各车道标志的位置。

附图说明

[0006]图1为基于图像的车道标志检测***的示意图；

[0007]图2为用于检测道路中车道标志的方法的框图；

[0008]图3为捕获的图像的显示；

[0009]图4为定向检测滤波器的图像显示；

[0010]图5a为定向线滤波处理的图像显示；

[0011]图5b为定向线滤波处理的图线显示；

[0012]图6a为定向边缘滤波处理的图像显示；

[0013]图6b为定向边缘滤波处理的图线显示；

[0014]图7a为组合的定向边缘和线的滤波处理的图线显示；

[0015]图7b为组合的定向边缘和线的滤波处理的图像显示；

[0016]图8为虚假警报缓解处理的图像显示；

[0017]图9为捕获图像中高亮车道标志的显示；

[0018]图10为用于检测道路中车道标志的方法的流程图；

[0019]图11为根据第一实施例的虚假警报缓解分析的方法的流程图；

[0020]图12为根据第二实施例的虚假警报缓解分析的方法的流程图。

具体实施方式

[0021]图1中示出了用于检测驱动车的道路中的车道标志的车道标志检测***10。车道标志检测***10可用在自主转向***中用于道路检测，或者车道标志检测***10可用作由驾驶员驾驶的车辆的驾驶员警示，以在白天或夜间道路或车道标志可见性差期间或者要保证提高可见性时的其它情形期间提高可见性。

[0022]车道标志检测***10包括图像捕获装置12，该装置包括但不限于相机。图像捕获装置12捕获道路的图像，通常为车辆前方的区域。捕获的图像被处理，以识别车道标志的两边以及车道标志的线(即，主体)。

[0023]车道标志检测***10还包括用于接收和处理由图像捕获装置12捕获的图像数据的处理器16。还可设置存储装置18，以存储和找回捕获的数据。

[0024]处理器16执行捕获的图像数据的实时滤波的程序，以确定车道中一个或多个车道标志的存在和位置。检测出的车道标志被提供给输出装置14，例如自主转向模块或图像显示装置。自主转向模块可使用处理的信息，以将车辆位置自主地保持在检测出的车道标志之间的道路内。图像显示装置可包括，但不限于，监测器式显示器、投影式成像、全息式成像或类似的成像显示器，该图像显示装置可使用处理的信息来在图像显示装置中高亮(突出)显示车道标志，以给车辆驾驶员提供道路的可视性提高。术语“高亮(突出)显示”指的是识别图像数据中车道标志或道路片段的位置，并可通过任何比较的方法执行以识别捕获的图像数据中车道标志的位置。

[0025]图2示出了用于从捕获的图像数据检测车道标志的框图。车道标志检测***10使用基于相机的感测技术。车道标志检测***10采用并行处理方法，包括：(1)亮度标准化步骤；(2)线检测步骤；(3)霍夫变换步骤和(4)虚假警报缓解步骤。

[0026]在块20中，图像捕获装置捕获车外候选道路片段的图像，如图3中所示。在捕获的图像中确定所关心的区域。捕获的图像数据中的所关心的区域由像素阵列表示。在块21中，向捕获的图像数据应用亮度标准化。标准化为改变像素强度值范围的过程。标准化的目的是使图像达到更加适于机器处理的范围以提高可靠性。例如，每个像素值都标准化为零平均值和方差为一，以提高图像对比度，尤其是，在低照明环境中或当由于眩目的光而对比度差时提高图像对比度。

[0027]标准化的捕获图像数据被分为用于车道标志检测的沿几个主定向角的多个并行处理路径。在块22中，在每个主定向角α中，标准化的捕获图像数据与具有角度α的定向线检测滤波器作卷积，用以检测车道标志的角度接近于α的线(即，主体部分)。另外，标准化的捕获图像数据与具有角度α的定向边缘检测滤波器作卷积，用以检测角度接近于α的界定车道标志线的边缘。图4示出了可应用至标准化捕获图像数据的多个定向线和边缘检测滤波器。定向线检测滤波器被定向成各种角度，以识别候选车道标志的各自的定向(例如，α＝30、α＝60、α＝90...α＝150)。例如，通过将选择的一组定向滤波器与车道标志来匹配，以识别弯曲车道标志的各自的片段及其各自的定向角，从而识别弯曲车道标志的捕获图像数据。所述弯曲通过将定向成不同角度的直线拼接在一起来检测。各定向为不同角度的直线的连接确定了车道标志的曲率。也就是说，对于弯曲的车道标志，多个定向车道检测滤波器被应用于车道标志的片段，以产生识别车道标志各片段的定向的滤波器响应。上述定向检测滤波器可为高斯滤波器的第一阶和第二阶导数。

[0028]图5a和5b分别示出了向捕获图像数据应用各自的定向线检测滤波器以产生线基滤波器响应的图像显示和图线显示。如图5a中图像显示的滤波器响应所示，从滤波器响应提取表示潜在车道标志候选的多条线。

[0029]图6a和6b分别示出了向捕获图像数据应用各自的定向边缘检测滤波器以产生边缘基滤波器响应的图像显示和图线显示。如图6b的滤波器响应所示，向捕获图像数据应用边缘基滤波通过产生负响应和正响应增强了用来检测各自车道标志的边缘的边。正响应通过滤波器响应曲线中的正峰值来识别，而负响应通过滤波器响应曲线中的负峰值来识别。正负峰值表示潜在车道标志的各自边缘。如图6a中所示，从滤波器响应提取表示潜在车道标志候选的多个边缘。

[0030]图7a和7b分别示出了向标准化的捕获图像数据应用组合的边缘与线定向滤波处理的图像显示和图线显示。采用使用定向边缘检测滤波器和定向线检测滤波器的图线显示和图像显示以共同地检测车道中车道标志的线和边缘，从而识别图像中车道标志的候选点。

[0031]在块23中，采用霍夫变换技术以从车道标志的候选点识别车道标志的线片段。霍夫变换为用于在要分析的候选点的形状等级中找出有缺陷的目标实例的特征提取技术。霍夫变换涉及图像候选点中线的识别，更具体地，涉及图像候选点中线的位置和角度的识别。例如，块22中具有角度α的定向边缘检测滤波器和线检测滤波器用作预处理器以获得在标准化图像中具有接近于α的期望线上(沿着α的垂直方向具有大的正的线滤波器响应及大的正的和大的负的边缘滤波器响应)的候选点。由于定向边缘检测滤波器、定向线检测滤波器的缺陷或标准化捕获图像数据中的噪声，可能会在期望的直线/曲线上有缺失像素或由滤波结果产生的噪声。因此，通过基于图像中的候选点来参数化所述直线，可执行将候选点分组为候选线段。霍夫变换技术主要基于候选点确定是否具有线的足够的证明。如果具有足够的证明，那么计算线的参数。霍夫技术通过两个参数ρ和θ来参数化霍夫域中的线，其中ρ表示线与原点之间的距离，θ为线的角度。使用该参数化，其公式如下：

ρ_i＝xcosθ_i+ysinθ_i

对于图像平面中具有参数(ρ，θ)的线，通过该线的所有点都遵循上面的公式。结果，对于候选图像点，霍夫变换运算确定了哪些线可被提取和哪些线被可消除。

[0032]在块24中，应用虚假警报缓解分析测试，以验证通过霍夫技术提取的识别出的车道标志是车道标志。为了执行虚假警报缓解分析测试，在相对于地平面通过相机标定的世界坐标中确定各识别的车道标志的长度(l)。预定的长度表示各车道标志适宜被认为是车道标志所必须的最小长度。如果长度(l)大于预定长度，那么识别的车道标志被认为是车道标志。如果长度(l)小于预定长度，那么识别的车道标志被认为不是车道标志。

[0033]在上述虚假警报缓解分析测试之外或作为上述虚假警报缓解分析测试的替代，可应用第二虚假缓解分析测试，如图8所示。在相对于地平面通过相机标定的世界坐标中确定第一识别车道标志与平行于第一识别车道标志的第二识别车道标志之间的距离。将该距离与预定宽度进行比较。所述宽度表示至少是道路车道的最小宽度。然后响应于宽度是否小于预定宽度来确定第一和第二识别车道标志是否是车道标志。如果第一和第二识别车道标志之间的宽度小于预定宽度，那么确定第一和第二识别车道标志不是车道标志，或者至少一个识别车道标志不是车道标志。这各自的虚假警报缓解测试有助于将由树木造成的阴影和其它物体在道路上的投影产生的阴影与车道标志区分开。

[0034]在块25中，将车道标志检测应用到输出装置，如图9中所示。前面所述输出装置可包括，但不限于，自主转向模块或图像显示装置。自主转向模块使用检测的车道标志来自主地保持车辆位置在检测的车道标志之间。图像显示装置高亮或突出显示检测出的车道标志，以向车辆驾驶员可视地增强车道，如图9中所示。如前所述，“高亮(突出)显示”指的是识别车道标志或道路片段在图像数据中的位置，可通过任何比较性的方法来执行，以示出车道标志或道路片段在图像数据中的位置。

[0035]图10为用于检测车道标志的方法的流程图。在步骤30中，道路输入数据被图像装置捕获，该图像装置包括，但不限于，相机。在步骤31中，向捕获的输入数据应用亮度标准化。

[0036]在步骤32中，对于每个主要定向角α，标准化的输入数据都用定向边缘检测滤波器作卷积，以检测在捕获的输入数据中具有接近于角度α的定向的车道标志的边缘响应。在步骤33中，标准化的亮度输入数据与定向线检测滤波器作卷积，以检测在捕获的输入数据中具有接近于角度α的定向的车道标志的线响应。同时执行使用定向边缘和线检测滤波器的滤波。

[0037]在步骤34中，从滤波器响应中检测出候选车道标志。从车道标志的线和车道标志的边缘的共同滤波中检测出候选车道标志。对于每个主要定向角α，具有角度α的定向边缘检测滤波器和线检测滤波器都用于获得在具有接近于α的角度的期望线上的候选点。选择的候选点在标准化图像中的预定距离(例如，几个像素)沿着α的垂直方向具有大于预定阈值的大的正的线滤波器响应，和大于预定阈值的大的正的边缘滤波器响应以及小于负预定阈值的大的负的边缘滤波器响应。在步骤35中，向在线基滤波器响应和边缘基滤波器响应中检测出的候选车道标志应用霍夫变换技术。霍夫变换技术提取出识别的车道标志，并消除了滤波器响应中的任何界外值。

[0038]在步骤36中，向从霍夫变换技术提取的识别车道标志应用虚假警报缓解分析。在步骤37中，确定是否满足虚假警报缓解分析。如果满足了虚假警报缓解分析，那么在步骤38中于输出装置中识别车道标志的位置。

[0039]在步骤37中，如果确定虚假警报缓解分析未满足，那么确定识别的车道标志或者至少一个识别的车道标志不是车道标志，程序进行至该程序结束的步骤39。

[0040]图11示出了执行用于确定识别的车道标志是否被正确地识别为车道标志的虚假警报缓解分析的方法的实施例。

[0041]在步骤40中，通过相对于地平面的相机标定在世界坐标中确定各识别的车道标志的长度(l)。在步骤41中，将确定的长度(l)与预定长度作比较。在步骤42中，确定长度(l)是否大于预定长度。如果长度(l)小于预定长度，那么程序进行至终止程序的步骤39。如果长度(l)大于预定距离，那么程序进行至步骤38。

[0042]在步骤38中，在输出装置(例如图像显示装置)中高亮显示道路的车道标志，用于向车辆驾驶员增强车道标志的位置的可视性。替代地，可将车道标志的位置提供给输出装置，例如自主转向模块，用于将车辆位置自主地保持在车辆标记之间。

[0043]图12示出了用于确定识别的车道标志是否被正确地识别为车道标志而执行的虚假警报缓解分析方法的实施例。图12中所示实施例可为除图10中所示分析之外执行的第二虚假警报缓解分析，或者可执行作为图10中所示分析的替代分析。

[0044]在步骤50中，通过相对于地平面的相机标定在世界坐标中确定一对平行车道标志之间的距离(d)。在步骤51中，比较距离(d)是否大于预定距离。在步骤52中，确定距离(d)是否大于预定距离。如果距离(d)小于预定距离，那么程序进行至程序终止的步骤39。如果距离(d)大于预定距离，那么程序进行至步骤38。

[0045]在步骤38中，在图像显示装置中高亮显示道路的车道标志以向车辆驾驶员可视地增强车辆标记位置。替代地，可将车道标志的位置提供给自主转向模块，以将车辆位置自主地保持在车道标志之间。

[0046]尽管已经详细描述了本发明的特定实施例，但是本发明所属领域的技术人员会认识到实施由所附权利要求限定的本发明的各种替代设计和实施方式。

Claims (20)

1.一种使用图像装置检测车辆道路中车道标志的方法，该方法包括如下步骤：

使用所述图像装置捕获道路输入数据；

向所述道路输入数据应用亮度标准化；

将所述标准化的输入数据与边缘检测滤波器作卷积，以产生边缘基滤波器响应；

将所述标准化的输入数据与线检测滤波器作卷积，以产生线基滤波器响应；

响应于所述边缘基滤波器响应和所述线基滤波器响应来选择候选车道标志；以及

向所述候选车道标志应用变换技术，以识别所述车道标志。

2.如权利要求1所述的方法，还包括应用虚假警报缓解分析以验证识别的车道标志是否是车道标志的步骤，其中所述虚假警报缓解分析包括下列步骤：

确定所述识别的车道标志的长度；

将所述长度与预定长度作比较；以及

响应于所述长度大于所述预定长度而确定所述识别的车道标志是车道标志，否则确定所述识别的车道标志不是车道标志。

3.如权利要求1所述的方法，还包括应用虚假警报缓解分析以验证识别的车道标志是否是车道标志的步骤，其中所述虚假警报缓解分析包括下列步骤：

确定第一识别车道标志与第二识别车道标志之间的距离；

将所述距离与预定宽度作比较，所述预定宽度表示至少是道路车道的宽度；以及

响应于所述宽度大于所述预定宽度而确定所述第一车道标志和所述第二车道标志是车道标志，否则确定所述第一车道标志和第二车道标志不是车道标志。

4.如权利要求3所述的方法，其中所述第一车道标志和所述第二车道标志必须彼此平行。

5.如权利要求1所述的方法，其中所述图像装置包括相机。

6.如权利要求1所述的方法，其中处理捕获的数据以验证所述车道标志是实时进行的。

7.如权利要求1所述的方法，其中所述捕获的道路输入数据被分段为以不同角度定向的多条直线，用来表示车辆道路中潜在的车道标志的曲率。

8.如权利要求7所述的方法，其中所述边缘检测滤波器包括多个定向边缘基滤波器，其中每个定向边缘基滤波器被应用到相应的各段直线上。

9.如权利要求8所述的方法，其中向各段直线应用各定向边缘基滤波器基本上是同时进行的。

10.如权利要求7所述的方法，其中所述边缘检测滤波器在候选车道标志的每侧上输出增强的边缘基滤波器响应。

11.如权利要求10所述的方法，其中所述增强的边缘基滤波器响应包括所述候选车道标志的第一边缘和第二边缘，所述第一边缘通过所述边缘基滤波器响应中的负峰值来识别，所述第二边缘通过所述边缘基滤波器响应中的正峰值来识别。

12.如权利要求1所述的方法，其中所述线检测滤波器包括多个定向线基滤波器，其中每个定向线基滤波器被应用到相应的各段直线上。

13.如权利要求12所述的方法，其中各定向线基滤波器的滤波器响应的处理基本上是同时进行的。

14.如权利要求12所述的方法，其中所述边缘基滤波器响应包括正的线响应，所述正的线响应仅通过单一的正峰值来识别。

15.如权利要求1所述的方法，还包括在输出装置中识别各车辆标记的位置的步骤，其中所述输出装置包括图像显示装置。

16.如权利要求1所述的方法，还包括在输出装置中识别各车道标志的位置的步骤，其中所述输出装置包括自主转向模块。

17.一种车道标志检测***，包括：

图像装置，用于捕获道路输入数据；

处理器，用于接收通过图像装置接收的捕获的道路输入数据，所述处理器向所述道路输入数据应用亮度标准化，所述处理器将所述标准化输入数据与定向边缘检测滤波器作卷积以产生边缘基滤波器响应，所述处理器将所述标准化输入数据与定向线检测滤波器作卷积以产生线基滤波器响应，所述处理器向所述边缘基滤波器响应和所述线基滤波器响应应用变换技术以识别所述车道标志；以及

输出装置，用于识别各车道标志的位置。

18.如权利要求17所述的车道标志检测***，还包括虚假警报缓解模块，该模块用于验证由应用的变换技术产生的识别的车道标志是否是车道标志。

19.如权利要求18所述的车道标志检测***，其中所述图像装置为相机。

20.如权利要求17所述的车道标志检测***，其中所述变换技术包括霍夫变换技术。

Images