CN101911122A - 车道识别***、车道识别方法和车道识别程序 - Google Patents

Abstract

提供了一种车道识别***，其能够通过抑制很可能分别在原始图像和鸟瞰图像中产生的噪声来改进车道识别准确度。该车道识别***基于图像识别车道。该***包括：合成鸟瞰图像创建模块，该合成鸟瞰图像创建模块通过连接通过将在多个不同的时间拍摄的原始图像的对应局部区域转换成鸟瞰图像而获得的多个鸟瞰图像，创建合成鸟瞰图像；候选车道线提取模块，该候选车道线提取模块通过使用原始图像或者由原始图像创建的鸟瞰图像以及合成鸟瞰图像的信息来检测候选车道线；以及车道线位置估计模块，该车道线位置估计模块基于候选车道线的信息估计车道线位置。

Description

车道识别***、车道识别方法和车道识别程序

技术领域

本发明涉及车道线的识别，并且更加具体地，涉及通过执行图像处理来对车道线的位置进行估计。

背景技术

作为用于通过应用IT技术改进交通效率和道路交通舒适度的ITS(智能交通***)的研究主题之一，存在一种LKS(车道保持支持)***。这是一种利用传感器识别道路上的车道，并且基于此而控制转向器、加速器、制动器等，使得车辆能够总是在车道中心上运行的***。

为了实现LKS***，车道识别技术是重要的。特别地，积极研究的是如下的这样一项技术，利用该技术，诸如照相机的图像输入装置被置于运行车辆的前侧或者后侧中，并且图像输入装置处理在道路上运行时拍摄的图像，以识别以诸如白色或者黄色的高亮度颜色绘制在道路上的车道线。

图18是示出在专利文献1中描绘的、广泛使用的车道识别装置1800的结构的一个示例的概念示意图。该广泛使用的车道识别装置1800配置有图像输入装置1810、鸟瞰图像创建模块1820、亮度分布图创建模块1830和车道线检测模块1840。

图19是示出图18中所示的车道识别装置1800的行为的概念示意图。图19A是在道路上运行时由图像输入装置1810拍摄的道路图像。这被称为原始图像1910。原始图像1910被输入到的鸟瞰图像创建模块1820从原始图像1910创建图19B中所示的鸟瞰图像。

亮度分布图创建模块1830通过对沿着与鸟瞰图像1920所示的道路表面的道路宽度方向垂直的方向的坐标亮度进行积分，而为沿着道路宽度方向的每一个坐标检测图19C所示的积分亮度。最后，车道线检测模块1840获得与示出比积分亮度分布更高的积分亮度的道路宽度方向坐标相对应的位置，以检测车道线1930。

除了专利文献1之外，关于车道识别还有以下文献。专利文献2公开了从原始图像检测车道的技术的一个示例。专利文献3公开了基于平面上的移位量从鸟瞰图像创建合成鸟瞰图像的技术的一个示例。专利文献4公开了从原始图像检测车道的位置和类型的技术的一个示例。专利文献5公开了判断从原始图像检测的车道是实线还是虚线的技术的一个示例。

专利文献6公开了通过使用不同的时间点的多个图像而改进车道检测准确度的技术的一个示例。专利文献7公开了基于亮度总值的波动来改进车道检测准确度的技术的一个示例。专利文献8公开了通过向车辆提供各种传感器而判断道路表面状态从而改进车道检测准确度的技术的一个示例。

专利文献9公开了一种通过连接不同时间点的多个图像而获取车辆周围的鸟瞰图像的技术。专利文献10公开了当从原始图像获取鸟瞰图像时改进图像质量的技术的一个示例。专利文献11公开了通过从短距离和长距离分开地识别车道而改进车道检测准确度的技术的一个示例。

专利文献1：日本未审定专利公开2004-145852

专利文献2：日本未审定专利公开2000-242769

专利文献3：日本未审定专利公开2002-120675

专利文献4：日本未审定专利公开2002-175534

专利文献5：日本未审定专利公开2003-067755

专利文献6：日本未审定专利公开2003-346163

专利文献7：日本未审定专利公开2004-246641

专利文献8：日本未审定专利公开2005-276041

专利文献9：日本未审定专利公开2007-096497

专利文献10：日本未审定专利公开2007-249392

专利文献11：日本未审定专利公开Hei 09-167239

发明内容

本发明所要解决的问题

图18和图19中所示的、广泛使用的车道识别装置1800面对如下问题，即很可能发生误识别。例如，在其中雨滴或者异物附着到图像输入装置1810的情形中，由于这样的雨滴和异物，在原始图像1910上产生点状噪声。当其被鸟瞰图像创建模块1820转换成鸟瞰图像1920时，产生沿着纵向方向的白线噪声。不能将那些噪声与车道相区别，从而可能发生误识别。

同时，在其中未将原始图像1910转换成鸟瞰图像1920的情况下直接地从亮度分布图检测车道的情形中，在距图像输入装置1810远的距离处的视频可能变得不清楚。因此，难以准确地识别车道。

如所描述地，在其中从原始图像1910直接地检测车道和其中在将原始图像1910转换成鸟瞰图像1920之后检测车道的每一种情形中，很可能有噪声产生，并且那些噪声是产生误识别的原因。然而，不仅专利文献1而且专利文献2-11均无提及能够抑制在那些情形的每一个中很可能产生的噪声的结构。

本发明的一个目的在于提供能够通过抑制分别地在原始图像和鸟瞰图像中很可能产生的噪声而改进车道识别准确度的一种车道识别装置、一种车道识别方法和一种车道识别程序。

用于解决问题的手段

为了实现前面的目的，根据本发明的车道识别装置是基于图像识别车道的车道识别***。该***包括：合成鸟瞰图像创建模块，该合成鸟瞰图像创建模块通过连接通过将在多个不同的时间拍摄的原始图像的相应的局部区域转换成鸟瞰图像而获得的多个鸟瞰图像，创建合成鸟瞰图像；候选车道线提取模块，该候选车道线提取模块通过使用原始图像或者从原始图像创建的鸟瞰图像以及合成鸟瞰图像的信息而检测候选车道线；以及车道线位置估计模块，该车道线位置估计模块基于候选车道线的信息估计车道线位置。

此外，通过将本发明设计作为一种方法而获得的车道识别方法是一种基于图像识别车道的车道识别方法。该方法包括：通过连接通过将在多个不同的时间拍摄的原始图像的对应的局部区域转换成鸟瞰图像而获得的多个鸟瞰图像，创建合成鸟瞰图像；通过使用原始图像或者从原始图像创建的鸟瞰图像以及合成鸟瞰图像的信息而检测候选车道线；以及基于候选车道线的信息估计车道线位置。

此外，通过将本发明设计作为一种程序而获得的车道识别程序是一种用于基于图像控制对车道的识别的车道识别程序，该车道识别程序使得计算机执行：合成鸟瞰图像创建处理，该合成鸟瞰图像创建处理通过连接通过将在多个不同的时间拍摄的原始图像的相应的局部区域转换成鸟瞰图像而获得的多个鸟瞰图像进行连接，创建合成鸟瞰图像；候选车道线提取处理，该候选车道线提取处理通过使用原始图像或者从原始图像创建的鸟瞰图像以及合成鸟瞰图像的信息而检测候选车道线；以及车道线位置估计处理，该车道线位置估计处理基于候选车道线的信息估计车道线位置。

本发明的效果

本发明被设计成能够通过利用原始图像和合成鸟瞰图像两者而检测作为用于车道线的候选的车道线的位置，从而很可能分别在原始图像和合成鸟瞰图像中产生的噪声能够得以抵消。这使得通过抑制噪声而改进车道识别准确度成为可能。

具体实施方式

(第一示例性实施例)

图1是示出根据本发明第一示例性实施例的车道识别装置10的基础结构的框图。车道识别装置10配置有控制单元100和图像输入装置110。控制单元100是由CPU、RAM、OS等形成的计算机装置的主要部分，并且执行例如候选车道线检测模块120、合成鸟瞰图像创建模块130、候选车道线验证模块140、车道线位置估计模块150和车道线位置输出模块160的功能中的每一种功能。

图像输入装置110是诸如照相机的装置，其输入将被作为目标的图像，从所述图像中检测车道线。在下文中，从图像输入装置110输入的图像被称为原始图像。图像输入装置110被连附到诸如汽车的车辆上。在下文中，图像输入装置110被连附到的车辆被称为持有(own)车。可以在持有车上装载控制单元100，并且图像输入装置110和控制单元100可以通过有线连接而被连接。此外，控制单元100可以不装载在持有车上，并且图像输入装置110和控制单元100可以通过无线电连接而被连接。

合成鸟瞰图像创建模块130创建基于在多个不同的时间拍摄的原始图像合成的鸟瞰图像。候选车道线检测模块120从原始图像检测将成为用于车道线的候选的车道线。

候选车道线验证模块140基于与在由合成鸟瞰图像创建模块130创建的合成鸟瞰图像内的候选车道线位置的周围有关的信息，验证由候选车道线检测模块120检测的候选车道线是否适合用于车道线。

车道线位置估计模块150基于被候选车道线验证模块140验证为适合于车道线的候选车道线的位置，估计在当前时间的车道线的位置。车道线位置输出模块160输出由车道线位置估计模块150估计的、当前时间的车道线位置。

从原始图像、由原始图像创建的鸟瞰图像、或者合成鸟瞰图像中检测候选车道线的候选车道线检测模块120；和通过使用合成鸟瞰图像、原始图像、或者从原始图像创建的鸟瞰图像的信息来验证所检测的候选车道线是否适合于车道线的车道线检测模块140构造候选车道线提取模块，所述候选车道线提取模块通过使用原始图像或者从原始图像创建的鸟瞰图像以及合成鸟瞰图像的信息而检测候选车道线。

此外，虽然在图1所示的第一示例性实施例中的候选车道线检测模块120、合成鸟瞰图像创建模块130、候选车道线验证模块140、车道线位置估计模块150、车道线位置输出模块160被构造为硬件，但是可以将其构造为车道识别程序，通过被在计算机的CPU上执行，所述车道识别程序实现候选车道线检测模块120、合成鸟瞰图像创建模块130、候选车道线验证模块140、车道线位置估计模块150、车道线位置输出模块160。

图2是示出由图1所示的合成鸟瞰图像创建模块130执行的、合成鸟瞰图像的创建的概念示意图。鸟瞰图像在这里意味着通过将在原始图像中拍摄的情景转换成朝向真实世界中的竖直方向向下观看时观察到的图像而获得的图像。鸟瞰图像的创建意味着将原始图像转换成该种图像。

通过使用在多个不同的时间拍摄的原始图像，并且通过连接通过分别地转换原始图像的局部区域而获得的局部鸟瞰图像，创建合成鸟瞰图像。在图2所示的情形中，图像输入装置110被放置成面向与持有车的行进方向相反的方向，以拍摄持有车的向后方向的图像。图2A是在时间点T-1的原始图像，并且图2B是在时间点T的原始图像。在图2B的底部中，未在时间T-1拍摄并且落入在时间T的原始图像的拍摄范围内的部分被示为切断(slashed)部分(这被称为前区域21)。图2A和2C中的箭头示意持有车的行进方向。

图2C示出在时间点T-1从图2A的原始图像创建的鸟瞰图像。图2D是通过将图2C的鸟瞰图像的像素朝着竖直方向移位持有车从时间T-1到时间T已经行进的距离量而获得的图像。相应于图2B的前区域21的部分未被包括于图2C的鸟瞰图像中。因此，那个部分在图2D的图像中作为空白部分22出现。

这里，合成鸟瞰图像创建模块130通过将通过把图2B转换成鸟瞰图像而获得的图像合成到图2D的图像中，从而通过填充图2D的空白部分22(对应于图2B的前区域21)创建图2E的合成鸟瞰图像。

图3是示出由图1所示车道识别装置10执行的处理的概况的流程图。当处理开始时，首先，图像输入装置110输入原始图像，其将作为车道线检测的目标(步骤S2001)。然后，候选车道线检测模块120检测候选车道线(步骤S2002)，并且合成鸟瞰图像创建模块130创建合成鸟瞰图像(步骤S2003)。

此外，当仍然存在尚未被验证的候选车道线时重复步骤S2005-2007，直至不再存在尚未被验证的车道线(步骤S2004)。在步骤S2005中，候选车道线验证模块140从与在合成鸟瞰图像内的验证目标候选车道线的周围相关的信息中，验证所述验证目标车道线是否适合作为车道线。将在以后描述在步骤S2005中的“验证”的细节。

在步骤S2006中，当候选已经通过验证时，候选车道线验证模块140将验证目标候选车道线添加到验证通过候选中(步骤S2007)。当没有成功时，该手续返回步骤S2004。此外，车道线位置估计模块150基于已经通过验证的候选车道线的位置来估计在当前时间的车道线位置(步骤S2008)。最后，车道线位置输出模块160输出在步骤S2008中估计的车道线位置(步骤S2009)。

该示例性实施例被构造成用于从原始图像检测候选车道线并且基于在合成鸟瞰图像内的信息来对其进行验证。然而，相反地，可以从合成鸟瞰图像检测候选车道线，并且可以从在原始图像或者由原始图像创建的鸟瞰图像内的信息来验证该候选车道线。此外，替代该示例性实施例的原始图像和合成鸟瞰图像，还可以使用通过对那些图像应用诸如滤波的处理而获得的处理图像。

图4是示出在创建图2所示的鸟瞰图像时在原始图像中包含的噪声的一个示例的概念示意图。在图4A所示的原始图像410中，除了实际车道线411之外，诸如雨滴的异物412在原始图像内的同一位置处停留超过规定时间。当这个图像被合成鸟瞰图像创建模块130转换成图4B所示的合成鸟瞰图像420时，除了从原始图像410的车道线411转换的实际车道线421之外，还创建了类似于车道线411的纵向白线噪声422。

因此，如果仅仅从合成鸟瞰图像420识别车道线，则存在将噪声422误识别成候选车道线的风险。然而，作为产生噪声422的原因的异物412在原始图像410中仅仅作为点状局部噪声出现，使得其不太可能被识别为候选车道线。

相反地，因为距离远，所以持有车在原始图像410中的远处部分413并不能作为清楚视频出现。因此，当仅从原始图像410识别车道线时，存在远处部分413的视频可能变成用于引起误识别的因素的风险。然而，远处部分413的视频未被包含于由合成鸟瞰图像创建模块130创建的合成鸟瞰图像420中，从而其不能成为用于引起候选车道线的误识别的因素。

即，该示例性实施例被构造成用于分别地从原始图像410和合成鸟瞰图像420检测并且验证候选车道线。因此，在每一个图像中出现的噪声能够得以抵消以抑制那些噪声的影响，从而能够以高的精度识别车道线。

图5是示出其中图1所示的车道识别装置10被实际地安装到车辆的示例的概念图表。照相机510被连附到在道路上行进的持有车520的后部。照相机510用作图像输入装置110。照相机510的拍摄范围511面向与持有车的行进方向530相反的方向。车道识别装置10从由照相机510拍摄的图像中识别车道线540和550。

图6是示出图1所示的候选车道线检测模块120、合成鸟瞰图像创建模块130、候选车道线验证模块140、和车道线位置估计模块150的更加详细的结构的框图。候选车道线检测模块120包括原始图像二值化模块621和霍夫(Hough)转换模块622。然而，候选车道线检测模块120不仅限于这种结构，只要它是能够对很可能是车道线的高亮度线段或者直线进行检测的装置。构成候选车道线检测模块120的二值化模块621和Hough转换模块622可以通过使得计算机的CPU执行程序而实现。

合成鸟瞰图像创建模块130包括像素移位模块631、原始图像到鸟瞰图像转换模块632和前区域添加模块633。候选车道线验证模块140包括车道线位置转换模块641、合成鸟瞰图像内车道线位置计算模块642和车道线上像素验证模块643。车道线位置估计模块150包括左右候选车道线选择模块651和左右车道线位置估计模块652。可以通过使得计算机的CPU执行程序而实现构成合成鸟瞰图像创建模块130的像素移位模块631、原始图像到鸟瞰图像转换模块632和前区域添加模块633。此外，可以通过使得计算机的CPU执行程序而实现构成候选车道线验证模块140的车道线位置转换模块641、合成鸟瞰图像内车道线位置计算模块642和车道线上像素验证模块643。此外，可以通过使得计算机的CPU执行程序而实现构成车道线位置估计模块150的左右候选车道线选择模块651和左右车道线位置估计模块652。

原始图像二值化模块621通过例如当原始图像的灰阶数为256时，将具有200或者更大的亮度数值的像素分离作为前景，并且将其它像素作为背景，从而将原始图像二值化成前景和背景。Hough转换模块622利用已知的Hough转换，而基于在原始图像中被取作前景的像素检测直线，并且将所述直线取作候选车道线。

像素移位模块631如在图2中所示地根据持有车与先前时间的移位量，而将合成鸟瞰图像的每一个像素移位到远处的片段。例如，在其中从图2A的原始图像创建的图2C的合成鸟瞰图像的最下行被限定为处于距图像输入装置110的顶端1m的位置，并且以使得合成鸟瞰图像的每一个像素纵向地和侧向地对应于5cm乘5cm的道路表面的方式来创建合成鸟瞰图像的情形中，如果持有车的移位量是50cm，则合成鸟瞰图像的每一个像素被以10个像素地移向远处。由此，能够获得在图2D所示状态中的图像。

原始图像到鸟瞰图像转换模块632将图2B的原始图像的前区域21转换成鸟瞰图像。然而，注意到，前区域21的范围需要包含在原始图像中的相应于等价于持有车在实际世界中的移位量的距离范围的区域。前区域添加模块633将由原始图像到鸟瞰图像转换模块632转换成鸟瞰图像的原始图像的前区域21添加到合成鸟瞰图像的空白部分22，以创建图2E所示的合成鸟瞰图像。

图7是用于描述由图6所示原始图像到鸟瞰图像转换模块632执行的原始图像到鸟瞰图像转换原理的图像图表。原始图像在由图像输入装置110拍摄的图像平面720中的坐标***被定义为xy，并且真实世界的坐标***被定义为XYZ。在拍摄时从真实世界到原始图像的转换被定义为透视转换，并且假设由于透镜等的扭曲等而引起的其它转换因素能够被忽略。还假设X轴和x轴以及Y轴和y轴相互平行，并且道路表面710形成垂直于Y轴的平坦表面。从真实世界坐标***的原点到道路表面710的距离730被定义为H，并且在两个坐标***的原点之间的距离740被定义为f。

在此情形中，相应于在道路表面上的点(Xi，H，Xi)的、在原始图像内的像素(xi，yi)能够被表达为以下表达式1。

[表达式1]

$\left\{\begin{array}{c}{x}_i=f\frac{X_i}{Z_i}\\ y_i=f\frac{H}{Z_i}\end{array}\right.$

鸟瞰图像是当朝向真实世界中的竖直方向向下地观察道路表面时创建的图像。能够通过将鸟瞰图像中的每一个像素的亮度改变为在原始图像内的利用表达式1示出的相应像素的亮度而实现原始图像到鸟瞰图像的转换。因此，通过利用表达式1将道路表面上的点转换成在原始图像内的像素而获得的图像能够被视为在其中在道路表面上的真实世界坐标纵向地和侧向地被以例如5cmx5cm的适当间隔而量化的图像。

当在图像拍摄***中存在除了透视转换之外的转换因素时，例如，存在透镜的扭曲，或者在道路表面710和x轴之间的倾斜移位时，还能够使用对那些转换因素加以考虑的转换公式来替代表达式1，从而通过校正图像而将原始图像转换成鸟瞰图像。这是本领域技术人员能够任意地采用的方法，从而省略其详细解释。

车道线转换模块641以上述方式将候选车道线的位置转换成在合成鸟瞰图像内的位置。合成鸟瞰图像内车道线位置计算模块642计算候选车道线在合成鸟瞰图像内的详细位置。车道线上像素验证模块643通过使用合成鸟瞰图像的信息而验证每一个候选车道线是否适合作为车道线。

图8是示出由图6所示合成鸟瞰图像内车道线位置计算模块642执行的候选车道线的位置计算的概念示意图。初始图像候选车道线位置820是候选车道线在被车道线位置转换模块641转换的合成鸟瞰图像810中的位置。合成鸟瞰图像内车道线位置计算模块642通过将初始图像候选车道线位置820取作合成鸟瞰图像的前部，并且将角度取作在车道线角度范围830内，来表达在合成鸟瞰图像内的合成鸟瞰图像候选车道线位置。

为了确定该角度，将该角度确定为使得在合成鸟瞰图像候选车道线位置处的像素值的总和，或者在其周围中的合成鸟瞰图像内的像素值的总和变成最大值的角度。例如，车道线角度范围830被定义为±30度，并且分别地计算在合成鸟瞰图像候选车道线位置处的像素值的总和和在其周围的合成鸟瞰图像内的像素值的总和，例如当以1度的节距改变角度时相对于合成鸟瞰图像候选车道线位置的中心线在左侧和右侧上每一个均为20cm的范围中，并且选择使得像素值的总和变成最大值的角度。

这里注意当确定合成鸟瞰图像候选车道线位置时，评价数值不仅限于像素值的总和。可以使用与在合成鸟瞰图像候选车道线位置处或者在其周围中的像素布局有关的、表达作为车道线的某种可能性的任何数值。

车道线上像素验证模块643基于在合成鸟瞰图像候选车道线位置处或者在其周围中的像素来验证每一个候选车道线是否适合作为车道线。作为评价数值，例如能够使用被用于确定由合成鸟瞰图像内车道线位置计算模块642计算的合成鸟瞰图像候选车道线位置的像素值的总和。

即，当像素值总和等于或者大于预先设定的阈值时，每一个目标候选车道线均被视为适合用于车道线，由此通过验证。这里注意用于验证的评价数值不仅限于像素值的总和。可以使用与在合成鸟瞰图像候选车道线位置处或者在其周围中的像素布局相关的表达作为车道线的某种可能性的任何数值。此外，同样可以使用与由合成鸟瞰图像内车道线位置计算模块642计算的评价数值不相同的评价数值。

关于持有车车道的左和右车道线，左右候选车道线选择模块651从已经通过由车道线上像素验证模块643执行的验证的候选车道线中，为左和右车道线中的每一个选择最适当的候选车道线。作为用于选择的基础，例如，可以选择在先前时间处的左和右车道线位置本身或者可以选择最靠近预测位置的那些位置。可替代地，还能够选择在靠近左和右车道线的位置的范围内的，例如，在先前的时间处1m内的、具有用于验证的最高评价数值的候选。此外，可以组合地使用那些基础。

左右车道线位置估计模块652从在先前时间的左和右车道线的位置等中，估计分别地为左和右车道线选择的候选车道线的位置和在当前时间处的左和右车道线的位置。可以通过将分别地为左和右车道线选择的候选车道线的位置直接地取作在当前时间的左和右车道线的位置，从而执行这个估计。此外，关于左和右车道线的位置，可以采用诸如使用卡尔曼(Kalman)滤波器等的方法的时间序列滤波方法。

图9是示出图1和图6所示车道识别装置10的更加详细的行为的流程图。相同的引用标号被应用于与图3的流程图所示的那些相同的行为上。当图3所示的行为在图9中被划分成多个步骤时，副标号被进一步添加到图3的引用标号上。例如，当图3的步骤S2002在图9中被划分成两个步骤时，每一个步骤被表达成步骤S2002a和步骤S2002b。

当开始处理时，首先，图像输入装置110输入原始图像，其将作为车道线检测目标(步骤S2001)。然后，原始图像二值化模块621二值化原始图像，以将每一个像素分类成前景和背景(步骤S2002a)。随后，通过由Hough转换模块622将在步骤S2002a中分类的前景的像素作为特征点，而通过执行Hough转换将直线检测为候选车道线(步骤S2002b)。

像素移位模块631根据持有车从先前时间的移位量来移位先前时间的合成鸟瞰图像的像素，以在底部中创建空白部分22(步骤S2003a)。原始图像到鸟瞰图像转换模块632将原始图像的前部21转换成鸟瞰图像(步骤S2003b)。前区域添加模块633将已被转换成鸟瞰图像的原始图像前部21添加到鸟瞰图像的底部中的空白部分22(步骤S2003c)。

此外，在仍然存在尚未被验证的候选车道线时重复步骤S2005a-2007，直至不再存在尚未被验证的车道线(步骤S2004)。在步骤S2005a中，车道线位置转换模块641将原始图像的验证目标候选车道线位置转换成合成鸟瞰图像的前部位置。在步骤S2005b中，合成鸟瞰图像内车道线位置计算模块642计算验证目标车道线位置在合成鸟瞰图像内的角度，以获得在合成鸟瞰图像内的候选车道线位置。

在步骤S2005c中，车道线上像素验证模块643计算示出验证目标候选车道线是否适合作为车道线的验证评价数值。在步骤S2006中，将验证评价数值与预先设定的阈值相比较。当验证评价数值等于或者大于阈值时，该过程前进到步骤S2007。当它小于阈值时，该过程返回步骤S2004。在步骤S2006中，验证目标候选车道线被添加到验证通过候选中。

此外，左右候选车道线选择模块651从验证通过候选中分别地为左和右车道线选择最适当的候选车道线(步骤S2008a)。随后，左右车道线位置估计模块652基于所选择的候选车道线估计在当前时间的左和右车道线的位置(步骤S2008b)。最后，车道线位置输出模块160输出在步骤S2008中估计的车道线位置(步骤S2009)。

(第二示例性实施例)

图10是示出根据本发明第二示例性实施例的车道识别装置11的基础结构的框图。车道识别装置11配置有控制单元1000和图像输入装置110。控制单元1000是由CPU、RAM、OS等形成的计算机装置的主要部分，并且执行诸如鸟瞰图像创建模块1020、合成鸟瞰图像创建模块1030、第二合成鸟瞰图像创建模块1040、候选车道线检测模块1050、车道线位置估计模块1060和车道线位置输出模块160的功能中的每一个功能。

图像输入装置110是诸如照相机的装置，其与本发明第一示例性实施例的相同。鸟瞰图像创建模块120利用例如纵向地和侧向地5cm乘5cm的预设精度，在预先设定的真实世界范围中，诸如分别地在前侧和后侧距离持有车1m到8m和在左侧和右侧距离4m的范围中，根据当前时间的原始图像来创建鸟瞰图像。

合成鸟瞰图像创建模块1030创建基于在多个不同的时间拍摄的原始图像而合成的鸟瞰图像。第二鸟瞰图像创建模块1040基于鸟瞰图像和合成的鸟瞰图像创建第二合成鸟瞰图像。

候选车道线检测模块1050从第二合成鸟瞰图像检测成为用于车道线的候选的车道线的位置。车道线位置估计模块1060基于候选车道线的位置估计车道线的当前时间位置。如在第一示例性实施例的情形中一样，车道线位置输出模块160输出由车道线位置估计模块1060估计的、当前时间的车道线位置。

这里第二合成鸟瞰图像是从鸟瞰图像和合成鸟瞰图像新创建的鸟瞰图像，并且创建第二合成鸟瞰图像以消除在鸟瞰图像和合成鸟瞰图像的每一个中产生的噪声。如上所述，合成鸟瞰图像并不包含被视为主要地在鸟瞰图像中包含的远处部分413中的噪声。此外，鸟瞰图像并不包含可能由于在合成鸟瞰图像中包含的异物412等而引起的白线噪声422。因此，可以创建第二合成鸟瞰图像，从而利用鸟瞰图像和合成鸟瞰图像互助地抵消这种噪声。

还可以使用对其应用诸如滤波的处理的处理图像来替代这个示例性实施例的第二合成鸟瞰图像。

创建第二合成鸟瞰图像的第二鸟瞰图像创建模块1040和从第二合成鸟瞰图像检测候选车道线的候选车道线检测模块1050构成了通过使用原始图像或者从原始图像创建的鸟瞰图像以及合成鸟瞰图像的信息来检测候选车道线的候选车道线提取模块，其中，所述第二合成鸟瞰图像的在相同位置处的像素的像素值是从原始图像或者由原始图像创建的鸟瞰图像以及合成鸟瞰图像中基于两个图像的在相同位置处的像素或者其周围的像素的像素值而计算的数值。

此外，可以通过使得计算机的CPU执行程序而实现鸟瞰图像创建模块1020、合成鸟瞰图像创建模块1030、第二合成鸟瞰图像创建模块1040、候选车道线检测模块1050、车道线位置估计模块1060和车道线位置输出模块160。

图11是示意由图10所示车道识别装置11执行的处理的概况的流程图。首先，图像输入装置110输入原始图像，其将作为车道线检测目标(步骤S2101)。然后，鸟瞰图像创建模块1020从原始图像创建鸟瞰图像(步骤S2102)，并且合成鸟瞰图像创建模块1030创建合成鸟瞰图像(步骤S2103)。

此外，第二鸟瞰图像创建模块1040创建第二合成鸟瞰图像(步骤S2104)，候选车道线检测模块1050从第二鸟瞰图像检测候选车道线(步骤S2105)，并且车道线位置估计模块1060基于候选车道线的位置估计车道线位置(步骤S2106)。最后，车道线位置输出模块160输出在步骤S2106中估计的车道线位置(步骤S2107)。

该示例性实施例被构造成从通过消除分别地在鸟瞰图像和合成鸟瞰图像中产生的噪声而创建的第二合成鸟瞰图像中，检测候选车道线，从而能够通过抑制噪声的影响而以高的精度识别车道线。

在图1所示车道识别装置11中，被以在图5中描述的方式连附到持有车520的后部的照相机510用作图像输入装置110的功能。

图12是示出图10所示合成鸟瞰图像创建模块1030、候选车道线检测模块1050和车道线位置估计模块1060的更加详细的结构的框图。合成鸟瞰图像创建模块1030包括像素移位模块1231、原始图像到鸟瞰图像转换模块1232和前区域添加模块1233。候选车道线检测模块1050包括第二合成鸟瞰图像二值化模块1251和Hough转换模块1252。车道线位置估计模块1060包括左右候选车道线选择模块1261和左右车道线位置估计模块1262。可以通过使得计算机的CPU执行程序而实现构成合成鸟瞰图像创建模块1030的像素移位模块1231、原始图像到鸟瞰图像转换模块1232和前区域添加模块1233。此外，可以通过使得计算机的CPU执行程序而实现构成候选车道线检测模块1050的第二合成鸟瞰图像二值化模块1251和Hough转换模块1252。进而，可以通过使得计算机的CPU执行程序而实现构成车道线位置估计模块1060的左右候选车道线选择模块1261和左右车道线位置估计模块1262。

像素移位模块1231、原始图像到鸟瞰图像转换模块1232和前区域添加模块1233分别地与图6所示本发明第一示例性实施例的像素移位模块631、原始图像到鸟瞰图像转换模块632和前区域添加模块633相同。因此，省略了其详细解释。

第二合成鸟瞰图像创建模块1240基于鸟瞰图像和合成鸟瞰图像创建第二合成鸟瞰图像。第二鸟瞰图像的创建能够例如以以下方式进行。例如，利用纵向地和侧向地5cm乘5cm的精度，在预先设定的相同的真实世界范围，例如分别地在前侧和后侧距离持有车离开1m到8m以及在左侧和右侧距离4m的范围中，由原始图像到鸟瞰图像转换模块1220和合成鸟瞰图像创建模块1230从鸟瞰图像和合成鸟瞰图像创建第二合成鸟瞰图像。

此时，还在相同的真实世界范围中和利用相同的精度创建第二合成鸟瞰图像，并且第二合成鸟瞰图像创建模块1240对于第二合成鸟瞰图像的每一个像素值，在相应的鸟瞰图像和合成鸟瞰图像的像素值之间选择较暗的数值。这使得可以相互抵消分离地出现在鸟瞰图像和合成鸟瞰图像中并且很可能被误判断为车道线的、具有高亮度的噪声，从而能够获取具有较小噪声的鸟瞰图像作为第二合成鸟瞰图像。

用于创建第二鸟瞰图像的方法不仅限于上述的一种方法，而是能够采用任何方法，只要能够抵消分离地出现在鸟瞰图像和合成鸟瞰图像中并且很可能被误判断为车道线的噪声，从而可以获取具有较小噪声的鸟瞰图像作为第二合成鸟瞰图像。

第二合成鸟瞰图像二值化模块1251通过例如当第二合成鸟瞰图像的灰阶数为256时将具有200或者更大的亮度数值的像素分离作为前景，和将其它像素作为背景，从而将第二合成鸟瞰图像二值化成前景和背景。Hough转换模块1252利用已知的Hough转换而基于在第二合成鸟瞰图像中被取作前景的像素来检测直线，并且将那些直线取作候选车道线。

关于持有车车道的左和右车道线，左右候选车道线选择模块1261从由候选车道线检测模块1250检测的候选车道线中，为左和右车道线中的每一个选择最适当的候选车道线。用于选择的基础及其方法与图6所示本发明的第一示例性实施例的左右候选车道线选择模块651的那些相同，从而省略了其详细解释。

此外，左右车道线位置估计模块1262能够被构造成用于执行与图6所示本发明第一示例性实施例的左右车道线位置估计模块652的那些行为相同的行为，从而省略了其详细解释。

图13是示出图10和图12所示车道识别装置11的更加详细的行为的流程图。相同的引用标号被应用于与图11的流程图所示的那些相同的行为上。如在根据本发明第一示例性实施例的图9中的详细流程图的情形中，当图11所示的行为在图13中被划分成多个步骤时，副标号被进一步添加到图11的引用标号上。

首先，图像输入装置110输入原始图像，其将作为车道线检测目标(步骤S2101)。然后，鸟瞰图像创建模块1020从原始图像中创建鸟瞰图像(步骤S2102)。

像素移位模块1231将在先前时间的合成鸟瞰图像的像素移位(步骤S2103a)，原始图像到鸟瞰图像转换模块1232将原始图像的前部转换成鸟瞰图像(步骤S2103b)，并且前区域添加模块1233将已经被转换成鸟瞰图像的原始图像前部21添加到鸟瞰图像的底部中的空白部分22(步骤S2103c)。

此外，第二鸟瞰图像创建模块1240从鸟瞰图像和合成鸟瞰图像创建第二合成鸟瞰图像(步骤S2104)。当第二合成鸟瞰图像二值化模块1251二值化第二合成鸟瞰图像以将第二合成鸟瞰图像的每一个像素分类成前景和背景时(步骤S2105a)，Hough转换模块1252通过将前景的像素用作特征点而检测将作为候选车道线的直线(步骤S2105b)。此外，左右候选车道线选择模块1261从候选车道线中分别地为左和右车道线选择最适当的候选车道线(步骤S2105c)。

进而，左右车道线位置估计模块1262估计在当前时间的左和右车道线的位置(步骤S2106)。最后，车道线位置输出模块160输出左和右车道线位置的估计位置(步骤S2107)。

(第三示例性实施例)

图14是示出根据本发明第三示例性实施例的车道识别装置12的基础结构的框图。车道识别装置12配置有控制单元1400和图像输入装置110。控制单元1400是由CPU、RAM、OS等构成的计算机装置的主要部分，并且执行例如候选车道线检测模块1420、合成鸟瞰图像创建模块1430、候选车道线验证模块1440、车道线位置估计模块1450、车道线类型判断模块1460和车道线位置输出模块160的功能中的每一种功能。

图像输入装置110是诸如照相机的装置，其与本发明的第一和第二示例性实施例的相同。候选车道线检测模块1420从原始图像或者由原始图像创建的鸟瞰图像中，检测将作为用于车道线的候选的车道线的位置。合成鸟瞰图像创建模块1430创建基于在多个不同的时间拍摄的原始图像而合成的鸟瞰图像。

候选车道线验证模块1440基于与在由合成鸟瞰图像创建模块1430创建的合成鸟瞰图像内的候选车道线位置的周围有关的信息，来验证由候选车道线检测模块1420检测的候选车道线是否适合于车道线。

车道线位置估计模块1450基于被候选车道线验证模块1440验证为适合用于车道线的候选车道线的位置，来估计在当前时间的车道线位置。车道线类型判断模块1460基于在由车道线位置估计模块1450估计的车道线位置的周围中的合成图像、原始图像、或者从原始图像创建的鸟瞰图像的信息，对车道线的车道线类型-例如实线或者虚线进行判断。

如在本发明的第一和第二示例性实施例的情形中，车道线位置输出模块160输出由车道线估计模块1450估计的当前时间的车道线位置和由车道线类型判断模块1460判定的车道线类型。

如根据以上解释而明显地，图14所示车道识别装置12能够被视为是通过将车道线类型判断模块1460添加到图1所示的根据本发明第一示例性实施例的车道识别装置10而获得的装置。候选车道线检测模块1420、合成鸟瞰图像创建模块1430、候选车道线验证模块1440和车道线位置估计模块1450分别地与根据本发明第一示例性实施例的候选车道线检测模块120、合成鸟瞰图像创建模块130、候选车道线验证模块140和车道线位置估计模块150相同。

从原始图像、由原始图像创建的鸟瞰图像或者合成鸟瞰图像检测候选车道线的候选车道线检测模块1420和通过使用合成鸟瞰图像、原始图像或者从原始图像创建的鸟瞰图像的信息来验证所检测到的候选车道线是否适合用于车道线的车道线检测模块1440构成候选车道线提取模块，所述候选车道线提取模块通过使用原始图像或者由原始图像创建的鸟瞰图像以及合成鸟瞰图像的信息来检测候选车道线。

此外，可以通过使得计算机的CPU执行程序而实现候选车道线检测模块1420、合成鸟瞰图像创建模块1430、候选车道线验证模块1440、车道线位置估计模块1450、车道线类型判断模块1460和车道线位置输出模块160。

图15是示出由图14所示的车道识别装置12执行的处理的概况的流程图。当处理开始时，首先，图像输入装置110输入原始图像，其将作为车道线检测目标(步骤S2201)。然后，候选车道线检测模块1420检测候选车道线(步骤S2202)，并且合成鸟瞰图像创建模块1430创建合成鸟瞰图像(步骤S2203)。

此外，当仍然存在尚未被验证的候选车道线时重复步骤S2205-2207，直至不再存在尚未被验证的车道线(步骤S2204)。在步骤S2205中，候选车道线验证模块1440根据与在合成鸟瞰图像内的验证目标候选车道线的周围有关的信息来验证验证目标车道线是否适合作为车道线。将在以后描述在步骤S2205中的“验证”的细节。

在步骤S2206中，当候选已经通过验证时，候选车道线验证模块1440将验证目标候选车道线添加到验证成功候选中(步骤S2207)。当没有成功时，过程返回步骤S2204。此外，车道线位置估计模块1450基于已经通过验证的候选车道线的位置来估计在当前时间的车道线位置(步骤S2208)，并且车道线类型判断模块1460基于估计的车道线位置来判断车道线的车道线类型(步骤S2209)。最后，车道线位置输出模块160输出在步骤A8中估计的车道线位置和车道线类型(步骤S2210)。

如根据以上解释而明显地，图15所示流程图的步骤S2201-2208与图3所示的根据本发明第一示例性实施例的流程图的步骤S2001-2008相同。可以说在此后添加了用于判断车道线的车道线类型的步骤S2209。

该示例性实施例不仅能够如在本发明第一示例性实施例的情形中以高的精度识别车道线，而且还能够基于车道线位置以高的精度判断车道线类型。

图16是示出图14所示车道线类型判断模块1460的更加详细的结构的框图。车道线类型判断模块1460包括合成鸟瞰图像二值化模块1661、车道线上连接前景长度计算模块1662和实线/虚线判断模块1663。图14所示候选车道线检测模块1420、合成鸟瞰图像创建模块1430、候选车道线验证模块1440和车道线位置估计模块1450的详细结构分别地与图6所示候选车道线检测模块120、合成鸟瞰图像创建模块130、候选车道线验证模块140和车道线位置估计模块150相同，从而省略了其解释。此外，可以通过使得计算机的CPU执行程序而实现构成车道线类型判断模块1460的合成鸟瞰图像二值化模块1661、车道线上连接前景长度计算模块1662和实线/虚线判断模块1663。

合成鸟瞰图像二值化模块1661例如通过当合成鸟瞰图像的灰阶数是256时将具有200或者更大的亮度数值的像素作为前景，和将其它像素作为背景而将在至步骤S2208的步骤中获取的合成鸟瞰图像二值化成前景和背景。

车道线上连接前景长度计算模块1662以例如8左右的大小来将在其位置由左右车道线位置估计模块1652估计的左和右车道线上存在的合成鸟瞰图像的前景像素分割成连接集，并且计算在那些连通集中的最大像素数来作为车道线上连接前景长度。

实线/虚线判断模块1663当在车道线上连接前景长度等于或者大于预设阈值，例如200或者更多个像素时判断车道线是实线，并且当它小于阈值时判断车道线是虚线。

图17是示出图14和图16所示车道识别装置12的更加详细的行为的流程图。如上所述，步骤S2201-2208与图3所示的根据本发明第一示例性实施例的流程图的步骤S2001-2008相同。因此，省略了其详细解释。

此外，相同的引用标号被应用于与图15的流程图所示的那些相同的行为。如在本发明的第一和第二示例性实施例的情形中，当图15所示的行为在图17中被划分成多个步骤时，副标号被进一步添加到图15的引用标号上。

合成鸟瞰图像二值化模块1661二值化在至步骤S2208的步骤中获取的合成鸟瞰图像，以将每一个像素分类成前景和背景(步骤S2209a)。随后，车道线上连接前景长度计算模块1662计算在左和右车道线上的前景的连通集中的最大像素数，来作为车道线上连接前景长度(步骤S2209b)。

此外，实线/虚线判断模块1663比较在车道线上连接前景长度与预设阈值，并且当在车道线上连接前景长度等于或者大于预设阈值时判断车道线是实线，而当它小于阈值时判断车道线是虚线(步骤S2209c)。最后，车道线位置输出模块160输出所估计的车道线位置和所判定的车道线类型(步骤S2210)。

图14所示的车道识别装置12是通过将车道线类型判断模块1460添加到根据本发明第一示例性实施例的车道识别装置10而形成的。类似地，车道线类型判断模块1460也能够被添加到图10所示的根据本发明第二示例性实施例的车道识别装置11。

虽然已经通过参考在图中所示的具体实施例描述了本发明，但是本发明不仅限于在图中所示的那些实施例。应该理解，能够采用任何已知的结构，只要能够由此实现本发明的效果。

该申请要求基于在2008年1月11日提交的日本专利申请No.2008-004275的优先权，并且通过引用，将其全部公开内容合并于此。

工业适用性

本发明能够被应用于例如根据图像估计车道线位置和判断车道线类型的用途上。

附图说明

图1是示出根据本发明第一示例性实施例的车道识别装置的基础结构的框图；

图2是示出由图1所示的合成鸟瞰图像创建模块所执行的、合成鸟瞰图像的创建的概念示意图；

图3是示意由图1所示的车道识别装置执行的处理的概况的流程图；

图4是示出当创建图2所示合成鸟瞰图像时在原始图像中包含的噪声的一个示例的概念示意图；

图5是示出其中图1所示车道识别装置被实际地装载到车辆的示例的概念示意图；

图6是示出图1所示的候选车道线检测模块、合成鸟瞰图像创建模块、候选车道线验证模块、车道线位置估计模块、和车道线位置输出模块的更加详细的结构的框图；

图7是用于描述由图6所示的原始图像到鸟瞰图像转换模块执行的、原始图像到鸟瞰图像转换原理的图像图表；

图8是示出由图6所示的合成鸟瞰图像内车道线位置计算模块执行的、候选车道线位置的计算的概念示意图；

图9是示出图1和图6所示的车道识别装置的更加详细的行为的流程图；

图10是示出根据本发明第二示例性实施例的车道识别装置的基础结构的框图；

图11是示意由图10所示的车道识别装置执行的处理的概况的流程图；

图12是示出图10所示的合成鸟瞰图像创建模块、候选车道线检测模块、和车道线位置估计模块的更加详细的结构的框图；

图13是示出图10和图12所示的车道识别装置的更加详细的行为的流程图；

图14是示出根据本发明第三示例性实施例的车道识别装置的基础结构的框图；

图15是示意由图14所示的车道识别装置12执行的处理的概况的流程图；

图16是示出图14所示的车道线类型判断模块的更加详细的结构的框图；

图17是示出图14和图16所示的车道识别装置的更加详细的行为的流程图；

图18是示出在专利文献1中描绘的、广泛使用的车道识别装置的结构的一个示例的概念示意图；以及

图19是示出图18所示车道识别装置的行为的概念示意图。

引用标号

10，11，12车道识别装置

100，1000，1400控制单元

110图像输入装置

120，1420候选车道线检测模块

130，1340合成鸟瞰图像创建模块

140，1440候选车道线验证模块

150，1450车道线位置估计模块

160车道线位置输出模块

621原始图像二值化模块

622Hough转换模块

631像素移位模块

632原始图像到鸟瞰图像转换模块

633前区域添加模块

641车道线位置转换模块

642合成鸟瞰图像内车道线位置计算模块

643车道线上像素验证模块

651左右候选车道线选择模块

652左右车道线位置估计模块

1020鸟瞰图像创建模块

1030合成鸟瞰图像创建模块

1040第二合成鸟瞰图像创建模块

1050候选车道线检测模块

1060车道线位置估计模块

1231像素移位模块

1232原始图像到鸟瞰图像转换模块

1233前区域添加模块

1251第二合成鸟瞰图像二值化模块

1251Hough转换模块

1261左右候选车道线选择模块

1262左右车道线位置估计模块

1460车道线类型判断模块

1661合成鸟瞰图像二值化模块

1662车道线上连接前景长度计算模块

1663实线/虚线判断模块

权利要求书(按照条约第19条的修改)

1.一种基于图像来识别车道的车道识别***，包括：

合成鸟瞰图像创建模块，所述合成鸟瞰图像创建模块通过连接通过将在多个不同的时间拍摄的原始图像的对应局部区域转换成鸟瞰图像而获得的多个鸟瞰图像，创建合成鸟瞰图像；

候选车道线提取模块，所述候选车道线提取模块通过使用所述原始图像或者由所述原始图像创建的所述鸟瞰图像以及所述合成鸟瞰图像的信息来检测候选车道线；以及

车道线位置估计模块，所述车道线位置估计模块基于所述候选车道线的信息来估计车道线位置。

2.根据权利要求1的车道识别***，其中，所述车道线提取模块包括：

候选车道线检测模块，所述候选车道线检测模块通过使用所述原始图像或者由所述原始图像创建的所述鸟瞰图像、或者通过使用所述合成鸟瞰图像来检测所述候选车道线；以及

车道线验证模块，所述车道线验证模块在其中所述候选车道线检测模块使用所述原始图像或者从所述原始图像创建的所述鸟瞰图像的情形下通过使用所述合成鸟瞰图像以及在其中所述候选车道线检测模块使用所述合成鸟瞰图像的情形下通过使用所述原始图像、或者由所述原始图像创建的所述鸟瞰图像来验证所检测到的候选车道线是否适合用于车道线。

3.根据权利要求1所述的车道识别***，其中，所述候选车道线提取模块包括：

第二合成鸟瞰图像创建模块，所述第二合成鸟瞰图像创建模块从所述原始图像或者由所述原始图像创建的所述鸟瞰图像、以及所述合成鸟瞰图像创建第二合成鸟瞰图像，所述第二合成鸟瞰图像的在相同位置处的像素的像素值是基于在所述两个图像的相同位置处的像素的像素值或者其周围的像素的像素值计算的数值；以及

候选车道线检测模块，所述候选车道线检测模块从所述第二合成鸟瞰图像检测所述候选车道线。

4.根据权利要求1、2或者3所述的车道识别***，进一步包括：

车道线判断模块，所述车道线判断模块从所述原始图像、由所述原始图像创建的所述鸟瞰图像、所述合成鸟瞰图像、或者所述第二合成鸟瞰图像的信息来判断所述车道线的车道线类型。

5.根据权利要求2或者4所述的车道识别***，其中

所述车道线验证模块基于在所述合成鸟瞰图像内的所述候选车道线上的白色或者黄色涂料部分的布局来验证作为车道线的适合性。

6.根据权利要求5所述的车道识别***，其中

在所述合成鸟瞰图像内的所述候选车道线上存在白色或者黄色涂料部分的、多于特定数目的像素的情形下，所述车道线检测模块决定其适合用于车道线。

7.根据权利要求1、3或者4所述的车道识别***，其中

所述第二合成鸟瞰图像创建模块对于在所述第二合成鸟瞰图像中的每一个像素的像素值，在从所述原始图像创建的所述鸟瞰图像和所述合成鸟瞰图像的对应的像素中选择具有较低内部亮度的像素值。

8.根据权利要求1、2、3、4、5、6或者7所述的车道识别***，所述车道识别***涉及从在持有车的后部上装载的照相机的图像执行车道识别。

9.一种基于图像来识别车道的车道识别方法，包括：

通过连接通过将在多个不同的时间拍摄的原始图像的对应局部区域转换成鸟瞰图像而获得的多个鸟瞰图像，创建合成鸟瞰图像；

通过使用所述原始图像或者由所述原始图像创建的所述鸟瞰图像以及所述合成鸟瞰图像的信息来检测候选车道线；以及

基于所述候选车道线的信息估计车道线位置。

10.根据权利要求9所述的车道识别方法，包括：

当检测所述候选车道线时，通过使用所述原始图像或者由所述原始图像创建的所述鸟瞰图像、或者通过使用所述合成鸟瞰图像来检测所述候选车道线；以及

在其中当检测所述候选车道线时使用所述原始图像或者从所述原始图像创建的所述鸟瞰图像作为所述图像的情形下通过使用所述合成鸟瞰图像以及在其中当检测所述候选车道线时使用所述合成鸟瞰图像作为所述图像的情形下通过使用所述原始图像、或者由所述原始图像创建的所述鸟瞰图像来验证所检测到的候选车道线是否适合用于车道线。

11.根据权利要求9所述的车道识别方法，包括：

当检测所述候选车道线时，从所述原始图像或者由所述原始图像创建的所述鸟瞰图像以及所述合成鸟瞰图像创建第二合成鸟瞰图像，所述第二合成鸟瞰图像的在相同位置处的像素的像素值是基于在所述两个图像的相同位置处的像素的像素值或者其周围的像素的像素值计算的数值；以及

从所述第二合成鸟瞰图像检测所述候选车道线。

12.根据权利要求9、10或者11所述的车道识别方法，进一步包括

从所述原始图像、由所述原始图像创建的所述鸟瞰图像、所述合成鸟瞰图像、或者所述第二合成鸟瞰图像的信息来判断所述车道线的车道线类型。

13.根据权利要求10或者12所述的车道识别方法，包括

当检测所述候选车道线时，基于在所述合成鸟瞰图像内的所述候选车道线上的白色或者黄色涂料部分的布局，验证作为车道线的适合性。

14.根据权利要求13所述的车道识别方法，包括

当检测所述候选车道线时，在其中在所述合成鸟瞰图像内的所述候选车道线上存在白色或者黄色涂料部分的、多于特定数目的像素的情形下，决定其是适合的。

15.根据权利要求9、11或者12所述的车道识别方法，包括

当创建所述第二合成鸟瞰图像时，对于在所述第二合成鸟瞰图像中的每一个像素的像素值，在从所述原始图像创建的所述鸟瞰图像和所述合成鸟瞰图像的相应的像素中选择具有较低内部亮度的像素值。

16.根据权利要求9、10、11、12、13、14或者15所述的车道识别方法，所述车道识别方法涉及从在持有车的后部上装载的照相机的图像执行车道识别。

17.一种用于基于图像控制车道识别的车道识别程序，所述车道识别程序使得计算机执行：

合成鸟瞰图像创建处理，所述合成鸟瞰图像创建处理通过连接通过将在多个不同的时间拍摄的原始图像的对应局部区域转换成鸟瞰图像而获得的多个鸟瞰图像，创建合成鸟瞰图像；

候选车道线提取处理，所述候选车道线提取处理通过使用所述原始图像或者由所述原始图像创建的所述鸟瞰图像以及所述合成鸟瞰图像的信息来检测候选车道线；以及

车道线位置估计处理，所述车道线位置估计处理基于所述候选车道线的信息来估计车道线位置。

18.根据权利要求17所述的车道识别程序，所述车道识别程序作为所述候选车道线提取处理使得所述计算机执行：

候选车道线检测处理，所述候选车道线检测处理通过使用所述原始图像或者由所述原始图像创建的所述鸟瞰图像、或者通过使用所述合成鸟瞰图像来检测所述候选车道线；以及

车道线验证处理，所述车道线验证处理在其中当创建所述候选车道线时所述候选车道线检测处理使用所述原始图像或者从所述原始图像创建的所述鸟瞰图像作为所述图像的情形下通过使用所述合成鸟瞰图像以及在其中当检测所述候选车道线时所述候选车道线检测处理使用所述合成鸟瞰图像作为所述图像的情形下通过使用所述原始图像、或者由所述原始图像创建的所述鸟瞰图像来验证所检测到的候选车道线是否适合用于车道线。

19.根据权利要求17所述的车道识别程序，所述车道识别程序作为所述候选车道线提取处理使得所述计算机执行：

第二合成鸟瞰图像创建处理，所述第二合成鸟瞰图像创建处理从所述原始图像或者由所述原始图像创建的所述鸟瞰图像以及所述合成鸟瞰图像创建第二合成鸟瞰图像，所述第二合成鸟瞰图像的在相同位置处的像素的像素值是基于在所述两个图像的相同位置处的像素或者其周围的像素的像素值而计算的数值；和

第二候选车道线检测处理，所述第二候选车道线检测处理从所述第二合成鸟瞰图像检测所述候选车道线。

20.根据权利要求17、18或者19所述的车道识别程序，所述车道识别程序使得所述计算机进一步执行：

从所述原始图像、由所述原始图像创建的所述鸟瞰图像、所述合成鸟瞰图像、或者所述第二合成鸟瞰图像的信息来判断所述车道线的车道线类型的处理。

21.根据权利要求18或者20所述的车道识别程序，所述车道识别程序使得所述计算机执行：

作为所述车道线验证处理，基于在所述合成鸟瞰图像内的所述候选车道线上的白色或者黄色涂料部分的布局来验证作为车道线的适合性的处理。

22.根据权利要求21所述的车道识别程序，所述车道识别程序使得所述计算机执行：

作为所述车道线验证处理，在其中在所述合成鸟瞰图像内的所述候选车道线上存在白色或者黄色涂料部分的、多于特定数目的像素的情形下决定其适合用于车道线的处理。

23.根据权利要求17、19或者20所述的车道识别程序，所述车道识别程序使得所述计算机执行：

作为所述第二合成鸟瞰图像创建处理，对于在所述第二合成鸟瞰图像中的每一个像素的像素值在从所述原始图像创建的所述鸟瞰图像和所述合成鸟瞰图像的相应的像素中选择具有较低内部亮度的像素值的处理。

Claims (23)

1.一种基于图像来识别车道的车道识别***，包括：

合成鸟瞰图像创建模块，所述合成鸟瞰图像创建模块通过连接通过将在多个不同的时间拍摄的原始图像的对应局部区域转换成鸟瞰图像而获得的多个鸟瞰图像，创建合成鸟瞰图像；

候选车道线提取模块，所述候选车道线提取模块通过使用所述原始图像或者由所述原始图像创建的所述鸟瞰图像以及所述合成鸟瞰图像的信息来检测候选车道线；以及

车道线位置估计模块，所述车道线位置估计模块基于所述候选车道线的信息来估计车道线位置。

2.根据权利要求1的车道识别***，其中，所述车道线提取模块包括：

候选车道线检测模块，所述候选车道线检测模块从所述原始图像、由所述原始图像创建的所述鸟瞰图像、或者所述合成鸟瞰图像检测所述候选车道线；以及

车道线验证模块，所述车道线验证模块通过使用所述合成鸟瞰图像、所述原始图像、或者由所述原始图像创建的所述鸟瞰图像的信息来验证所检测到的候选车道线是否适合用于车道线。

3.根据权利要求1所述的车道识别***，其中，所述候选车道线提取模块包括：

第二合成鸟瞰图像创建模块，所述第二合成鸟瞰图像创建模块从所述原始图像或者由所述原始图像创建的所述鸟瞰图像、以及所述合成鸟瞰图像创建第二合成鸟瞰图像，所述第二合成鸟瞰图像的在相同位置处的像素的像素值是基于在所述两个图像的相同位置处的像素的像素值或者其周围的像素的像素值计算的数值；以及

候选车道线检测模块，所述候选车道线检测模块从所述第二合成鸟瞰图像检测所述候选车道线。

4.根据权利要求1、2或者3所述的车道识别***，进一步包括：

车道线判断模块，所述车道线判断模块从所述原始图像、由所述原始图像创建的所述鸟瞰图像、所述合成鸟瞰图像、或者所述第二合成鸟瞰图像的信息来判断所述车道线的车道线类型。

5.根据权利要求1、2或者4所述的车道识别***，其中

所述车道线验证模块基于在所述合成鸟瞰图像内的所述候选车道线上的白色或者黄色涂料部分的布局来验证作为车道线的适合性。

6.根据权利要求5所述的车道识别***，其中

在所述合成鸟瞰图像内的所述候选车道线上存在白色或者黄色涂料部分的、多于特定数目的像素的情形下，所述车道线检测模块决定其适合用于车道线。

7.根据权利要求1、3或者4所述的车道识别***，其中

所述第二合成鸟瞰图像创建模块对于在所述第二合成鸟瞰图像中的每一个像素的像素值，在从所述原始图像创建的所述鸟瞰图像和所述合成鸟瞰图像的对应的像素中选择具有较低内部亮度的像素值。

8.根据权利要求1、2、3、4、5、6或者7所述的车道识别***，所述车道识别***涉及从在持有车的后部上装载的照相机的图像执行车道识别。

9.一种基于图像来识别车道的车道识别方法，包括：

通过连接通过将在多个不同的时间拍摄的原始图像的对应局部区域转换成鸟瞰图像而获得的多个鸟瞰图像，创建合成鸟瞰图像；

通过使用所述原始图像或者由所述原始图像创建的所述鸟瞰图像以及所述合成鸟瞰图像的信息来检测候选车道线；以及

基于所述候选车道线的信息估计车道线位置。

10.根据权利要求9所述的车道识别方法，包括：

当检测所述候选车道线时，从所述原始图像、由所述原始图像创建的所述鸟瞰图像、或者所述合成鸟瞰图像来检测候选车道线；以及

通过使用所述合成鸟瞰图像、所述原始图像、或者由所述原始图像创建的所述鸟瞰图像的信息来验证所检测到的候选车道线是否适合用于车道线。

11.根据权利要求9所述的车道识别方法，包括：

当检测所述候选车道线时，从所述原始图像或者由所述原始图像创建的所述鸟瞰图像以及所述合成鸟瞰图像创建第二合成鸟瞰图像，所述第二合成鸟瞰图像的在相同位置处的像素的像素值是基于在所述两个图像的相同位置处的像素的像素值或者其周围的像素的像素值计算的数值；以及

从所述第二合成鸟瞰图像检测所述候选车道线。

12.根据权利要求9、10或者11所述的车道识别方法，进一步包括

从所述原始图像、由所述原始图像创建的所述鸟瞰图像、所述合成鸟瞰图像、或者所述第二合成鸟瞰图像的信息来判断所述车道线的车道线类型。

13.根据权利要求9、10或者12所述的车道识别方法，包括

当检测所述候选车道线时，基于在所述合成鸟瞰图像内的所述候选车道线上的白色或者黄色涂料部分的布局，验证作为车道线的适合性。

14.根据权利要求13所述的车道识别方法，包括

当检测所述候选车道线时，在其中在所述合成鸟瞰图像内的所述候选车道线上存在白色或者黄色涂料部分的、多于特定数目的像素的情形下，决定其是适合的。

15.根据权利要求9、11或者12所述的车道识别方法，包括

当创建所述第二合成鸟瞰图像时，对于在所述第二合成鸟瞰图像中的每一个像素的像素值，在从所述原始图像创建的所述鸟瞰图像和所述合成鸟瞰图像的相应的像素中选择具有较低内部亮度的像素值。

16.根据权利要求9、10、11、12、13、14或者15所述的车道识别方法，所述车道识别方法涉及从在持有车的后部上装载的照相机的图像执行车道识别。

17.一种用于基于图像控制车道识别的车道识别程序，所述车道识别程序使得计算机执行：

合成鸟瞰图像创建处理，所述合成鸟瞰图像创建处理通过连接通过将在多个不同的时间拍摄的原始图像的对应局部区域转换成鸟瞰图像而获得的多个鸟瞰图像，创建合成鸟瞰图像；

候选车道线提取处理，所述候选车道线提取处理通过使用所述原始图像或者由所述原始图像创建的所述鸟瞰图像以及所述合成鸟瞰图像的信息来检测候选车道线；以及

车道线位置估计处理，所述车道线位置估计处理基于所述候选车道线的信息来估计车道线位置。

18.根据权利要求17的车道识别程序，所述车道识别程序作为所述候选车道线提取处理使得所述计算机执行：

候选车道线检测处理，所述候选车道线检测处理从所述原始图像、由所述原始图像创建的所述鸟瞰图像、或者所述合成鸟瞰图像检测候选车道线；以及

车道线验证处理，所述车道线验证处理通过使用所述合成鸟瞰图像、所述原始图像、或者由所述原始图像创建的所述鸟瞰图像的信息来验证所检测到的候选车道线是否适合用于车道线。

19.根据权利要求17所述的车道识别程序，所述车道识别程序作为所述候选车道线提取处理使得所述计算机执行：

第二合成鸟瞰图像创建处理，所述第二合成鸟瞰图像创建处理从所述原始图像或者由所述原始图像创建的所述鸟瞰图像以及所述合成鸟瞰图像创建第二合成鸟瞰图像，所述第二合成鸟瞰图像的在相同位置处的像素的像素值是基于在所述两个图像的相同位置处的像素或者其周围的像素的像素值而计算的数值；和

第二候选车道线检测处理，所述第二候选车道线检测处理从所述第二合成鸟瞰图像检测所述候选车道线。

20.根据权利要求17、18或者19所述的车道识别程序，所述车道识别程序使得所述计算机进一步执行：

从所述原始图像、由所述原始图像创建的所述鸟瞰图像、所述合成鸟瞰图像、或者所述第二合成鸟瞰图像的信息来判断所述车道线的车道线类型的处理。

21.根据权利要求17、18或者20所述的车道识别程序，所述车道识别程序使得所述计算机执行：

作为所述车道线验证处理，基于在所述合成鸟瞰图像内的所述候选车道线上的白色或者黄色涂料部分的布局来验证作为车道线的适合性的处理。

22.根据权利要求21所述的车道识别程序，所述车道识别程序使得所述计算机执行：

作为所述车道线验证处理，在其中在所述合成鸟瞰图像内的所述候选车道线上存在白色或者黄色涂料部分的、多于特定数目的像素的情形下决定其适合用于车道线的处理。

23.根据权利要求17、19或者20所述的车道识别程序，所述车道识别程序使得所述计算机执行：

作为所述第二合成鸟瞰图像创建处理，对于在所述第二合成鸟瞰图像中的每一个像素的像素值在从所述原始图像创建的所述鸟瞰图像和所述合成鸟瞰图像的相应的像素中选择具有较低内部亮度的像素值的处理。

Images