CN101929867A

CN101929867A - 使用道路模型的畅通路径检测

Info

Publication number: CN101929867A
Application number: CN2009102468551A
Authority: CN
Inventors: W·张; S·M·奈克
Original assignee: GM Global Technology Operations LLC
Current assignee: GM Global Technology Operations LLC
Priority date: 2009-05-08
Filing date: 2009-10-23
Publication date: 2010-12-29
Anticipated expiration: 2029-10-23
Also published as: US20100098295A1; DE102009050505A1; US8699754B2; CN101929867B

Abstract

本发明涉及使用道路模型的畅通路径检测。用于检测车辆行驶的畅通路径的方法，该检测包括通过图像分析进行的畅通路径检测与描述道路几何形状的道路几何形状数据的融合，该方法包括：监测来自车辆上的摄像机装置的图像；通过畅通路径检测分析来分析图像，以确定图像中的行驶畅通路径；监测道路几何形状数据；分析道路几何形状数据，以确定道路几何形状数据对畅通路径的影响；基于道路几何形状数据的分析来修正畅通路径；以及在车辆导航中使用修正后的畅通路径。

Description

使用道路模型的畅通路径检测

相关申请的交叉引用

本申请是2009年10月19日提交的申请号为12/581,659的美国申请的部分继续申请，该在先申请是2009年5月29日提交的申请号为12/474,594的美国申请的部分继续申请，而前述在先申请是2008年4月24日提交的申请号为12/108,581的美国申请的部分继续申请。2009年10月19日提交的申请号为12/581,659的美国申请要求2009年5月8日提交的申请号为61/215,745的美国临时申请的优先权。申请号为12/581,659的美国申请、申请号为12/474,594的美国申请、申请号为12/108,581的美国申请以及申请号为61/215,745的美国临时申请通过引用并入本申请中。

技术领域

本发明涉及机动车辆的自动或半自动控制。

背景技术

本部分的陈述仅仅提供与本发明相关的背景信息，可能不构成现有技术。

自主驾驶***和半自主驾驶***利用与路况和其它驾驶情况相关的输入来自动控制节气门和转向机构。精确地估计并识别机动车辆所能行驶的畅通路径，对于成功取代以人脑作为控制机构的车辆操作来说是至关重要的。

路况可能会很复杂。在车辆正常操作的情况下，驾驶员每分钟进行数百次观察并根据所感知的路况来调整车辆操作。感知路况的一个方面是感知车道上和周边的物体并在物体中间导航出畅通路径。用科技来取代人类的感知首先包括精确感知物体的手段；还包括继而在这些物体周围有效地进行导航。

感知物体或路况的科技手段包括从视频摄像机、雷达成像、激光雷达、车辆之间的通信、车辆与基础设施之间的通信所得到的数据以及使用由数字地图得到的全球定位数据。摄像机将辐射形式的视觉图像-如光图案或红外特征转换成可读数据格式。一种这类数据格式包括像素图像，在像素图像中，感知到的场景被分割成一系列像素。雷达成像利用发射器产生的无线电波来估计出现在发射器前方的形状和物体。由这些形状和物体反射回来的电波图案能够被分析，从而估计物体的位置。

有关车辆前方地面的数据一旦产生，这些数据必须经过分析以便从数据中估计出物体的存在。通过使用摄像机和雷达成像***，可以分析车辆前方的地面或道路，从而得到可能需要避开的物体的存在。然而，仅仅识别那些需要避免的潜在物体并没有完成分析过程。任何自主***的一个重要元素都包括如何处理并操纵在所感知的地面数据中识别出的潜在物体以便识别操作车辆的畅通路径。

一种已知的识别操作车辆的畅通路径的方法是将所有感知到的物体进行分类并临时性地识别所有感知到的导航因素，并且根据所识别的物体的位置和特性来识别畅通路径。可根据图像的形式以及图像与道路的关系来处理这些图像，从而识别并分类物体。尽管在识别畅通路径时该方法是有效的，但是其需要大量的处理能力，例如，在视觉图像中辨别不同的物体并对其进行分类，比如区分路边的树以及走向路缘的行人。这些方法在处理复杂情况时的速度慢或者有效性差，或者需要笨重且昂贵的设备来提供必须的处理能力。

发明内容

一种用于检测车辆行驶的畅通路径的方法，该检测包括通过图像分析进行的畅通路径检测与描述道路几何形状的道路几何形状数据的融合，该方法包括：监测来自车辆上的摄像机装置的图像；通过畅通路径分析来分析图像，以确定图像中的行驶畅通路径；监测道路几何形状数据；分析道路几何形状数据以确定道路几何形状数据对畅通路径的影响；基于对道路几何形状数据的分析来修正畅通路径；以及在车辆导航中使用修正后的畅通路径。

附图说明

现在将参考附图通过示例来描述一个或多个实施方式，附图中：

图1示出了配备有根据本发明的摄像机和雷达成像***的车辆的示例性设置；

图2示出了根据本发明的一种在自主行驶中确定畅通路径的已知方法；

图3示出了根据本发明的一种使用图像几率分析来确定畅通路径的示例性方法；

图4示出了根据本发明的一种分析图像的示例性方法；

图5示出了根据本发明的一种通过调整单个阈值来确定分类误差的示例性方法；

图6A、6B和6C示出了根据本发明的一种通过计算绝对图像强度差别来确定图像差别的示例性方法；

图7示出了根据本发明的、将一个特征同时分类为畅通路径的一部分和被检测物体的、作为图像分析方法的一种示例性方法；

图8示出了根据本发明的、将一个特征同时分类为畅通路径的一部分和被检测物体的、作为图像分析方法的另一种示例性方法；

图9示出了根据本发明的通过几率分析来分析图像的一个示例性过程；

图10示出了根据本发明的用于检测畅通路径的第一处理方案；

图11示出了根据本发明的一个示例性当前图像，该当前图像包含在当前图像上识别出的一组示例性的关切点；

图12示出了根据本发明的在图11所示图像之后捕获的示例性当前图像；

图13A和13B示出了根据本发明的示例性的匹配点对，该匹配点对包括当前图像中的关切点和与其对应的先前图像中的关切点，并且示例性的像素区域环绕这些点；

图13A示出了当前图像中的关切点和环绕该关切点的像素区域；

图13B示出了先前图像中的关切点和环绕该关切点的像素区域；

图14以绘图形式示出了根据本发明的、使用示例性当前图像、示例性先前图像、以及宿主车辆的操作来确定观察到的特征的位置；

图15以绘图形式示出了根据本发明的一个示例性的上方地图，其描述了在宿主车辆前方的x和y坐标内关切点的垂直位置；

图16示出了根据本发明的用于检测畅通路径的第二处理方案；

图17示出了根据本发明的基于像素颜色强度的一个示例性的滤波图像；

图18示出了根据本发明的采用边缘识别方法的一个示例性的滤波图像；

图19示出了根据本发明的用于第二处理方案的可替换的示例性过程；

图20示出了根据本发明的车辆外部的视场；

图21示出了根据本发明的检测更优畅通路径的示例性过程；

图22示出了根据本发明的确定车道标记的示例性处理方案；以及

图23示出了根据本发明的示例性畅通路径与示例性道路模型的示例性互利改良。

具体实施方式

现在参考附图，附图的目的仅在于示出某些示例性实施方式，而并非用于限制本发明，图1示出了根据本发明的摄像机110的示例性设置，摄像机110定位在车辆100前部并指向车辆100前方的地面。摄像机110与处理模块120进行通讯，处理模块120包含处理来自摄像机110的输入的逻辑算法。车辆100也可以配备雷达成像***130，当配备雷达成像***130时该***同样也与处理模块120进行通信。本领域技术人员应该理解的是，车辆100能够利用多种方法来识别路面状况，这些方法可与摄像机110和雷达成像***130同时使用或者选择使用，包括GPS信息、来自与车辆100通信的其他车辆的信息、特定道路的历史数据、生物检测信息-例如读取驾驶员视觉焦点的***信息、雷达成像***或者其他类似***。本发明可应用于各种设备，因此不局限于此。

摄像机110是本领域公知的，其能够将光辐射、红外辐射或其他电磁(EM)辐射形式的视觉输入转换成易于分析的数据格式，例如数字图像、像素图像。在一个实施方式中，摄像机110使用电荷耦合装置(CCD)传感器来产生表示视场的图像。优选地，摄像机110被配置成连续产生图像，例如，每秒钟产生30幅图像。由摄像机110产生的图像可以存储在摄像机110内的存储器中或者传给处理模块120来存储和/或分析。优选地，摄像机110所产生的每幅图像都是由多个可识别像素构成的、已知像素维度的二维图像。多个可识别像素能够以阵列方式来存储和分析。每个像素可以在阵列中表示为一组比特(bit)或多组比特，其中，比特对应于预定调色板或色彩图中的颜色。例如在红-绿-蓝(RGB)颜色模式或青-品红-黄-黑(CMYK)颜色模式中，每个像素能够表示成多个颜色强度值的函数。优选地，每个像素包括多组比特，其中每组比特对应于一个颜色强度和一个颜色强度值，例如，在RGB颜色模式中，第一组比特对应于红色强度值，第二组比特对应于绿色强度值，第三组比特对应于蓝色强度值。

雷达成像装置130是本领域公知的装置，其包含如下设备：发射器，其能够发射无线电波或其他电磁辐射；接收器，其能够感测被发射器前的物体反射而回到接收器的发射波；以及将感测到的波转换成能够分析的数据格式的装置，这些数据表示出从物体反射回的波的范围和角度等信息。替代性地，可使用光检测和测距(LIDAR)***来取代雷达成像装置130或者作为其补充，光检测和测距***被构造成发射并接收光能量。接收到的光能量可以用来确定车辆100附近的物体的尺寸和/或几何参数。需注意的是，对于执行这里公开的很多方法而言，雷达成像装置130是可选的而不是必须的，其中，处理视觉图像能够实现畅通路径检测。

图1示出了处理模块120，这里将处理模块120描述成一个分立元件。这种图示是为了描述方便，应该认识到这个元件所实现的功能可以由一个或多个装置组合完成，例如在软件、硬件和/或专用集成电路中执行。处理模块120可以是一个通用数字计算机，其包括：微处理器或中央处理单元；由包括只读存储器的非易失性存储器和电子可编程只读存储器组成的存储介质；随机存取存储器；高速时钟；模-数和数-模转换电路；输入/输出电路和装置以及适当的信号调节和缓冲电路。可替换地，处理模块120可以是一个数字信号处理(DSP)单元，例如现场可编程门阵列的定制集成电路。处理模块120具有一组处理算法，这些算法包括在非易失性存储器中存储并且被执行以提供所需功能的常驻程序指令和校准值。算法优选在预设环路循环中执行。算法由中央处理单元执行，并能够监测来自上述检测装置的输入，并且这些算法通过使用预设的校准值来执行控制和诊断程序以便控制致动器的操作。环路循环可以规则性间隔执行，例如，在发动机运行和车辆操作中，每3.125、6.25、12.5、25和100毫秒执行一次。可替换地，算法可以响应于事件的发生来执行。

处理模块120处理在其中存储的算法代码，以便监测相关仪器，如摄像机110、雷达成像***130，并执行在处理模块内进行的分析所指示的命令或数据传输。处理模块120可包括算法和机构来实现自主驾驶控制，其实现方式在本领域中是已知的，在此不再详述；或者，处理模块120可以仅仅为一个独立的自主驾驶***提供信息。处理模块120适于在必要的时候接收来自其他***和操作者的输入信号，这取决于与控制模块结合使用的具体实施方式。

图2示出了根据本发明的一种在自主行驶中确定畅通路径的已知方法。对应于车辆100前方的道路产生图像10。通过多种方法中的一种，物体40A、40B和40C在图像10内被识别，且每个物体根据过滤和训练的物体特性来进行分类。每个物体的单独处理在计算量方面的强度较大，需要昂贵且笨重的仪器才能承受这种计算负荷。一种算法处理所有与道路和物体40有关的可用信息，以便估计对车辆100来说可行的畅通路径。畅通路径的确定取决于被识别物体40的特定分类和特性。

图3示出了根据本发明的一种为自主或半自主行驶确定畅通路径的示例性方法。图像10示出为包括地面20、水平线30以及物体40。图像10由摄像机110收集，并表示车辆100前方的道路环境。地面20代表了在不基于可能存在的物体进行区分的情况下可供车辆行驶的所有路径。图3所示的基于路面20确定畅通路径的方法首先假设所有地面20都是畅通的，然后利用可用数据来确定地面20的某些部分是不畅通的。图2是将每个物体40进行分类，与图2的方法不同，图3的方法分析地面20，并从可用数据中限定出一个几率，其中，可用数据指的是因为一些异常而限制通行或不畅通的那部分地面20的数据，这些异常是可检测的且可能代表物体40。关注地面20而不是物体40就避免了检测物体所带来的复杂的计算任务。单独分类和对每个物体进行追踪就不是必须的了，因为独立的物体40都被简单地统一为地面20上的整体均匀阻碍的一部分。上述地面20-也即在不进行区分的情况下都能够行驶的路径减去地面20 上被发现不畅通的不畅通区域，就可定义出畅通路径50，也即图3中虚线内的区域，或者具有允许车辆100行驶的某个阈值几率的区域。

在地面20上产生不畅通限制的物体40有多种形式。例如，物体40可以代表一个独立的物体，如：停着的汽车、行人或者道路障碍；物体40还可以代表不太明显的表面图案变化，这些变化指示诸如路侧缘的路边缘、草的轮廓线或者道路上的水。物体40还可以包括与地面20相联系的平坦路面的缺失，例如，路面上的大坑。物体40还可以包括相对于路面在高度上没有任何明显变化的指示牌，但对于该路段来说是明显的畅通路径提示，例如道路上的指示车道标记的图案。这里公开的方法并没有试图去识别物体40，而是通过仅仅提取地面20上的视觉线索以及所有在图像10中的地面附近的物体，从而评估不畅通路径和畅通路径的几率，并在任何物体40存在时调整车辆100的控制。

二维(2D)图像的自动分析有多种可行的方法。由处理模块120内的算法对图像10进行分析。图4示出了根据本发明的一种可用于分析图像10的示例性方法。该方法将图像10细分，识别地面20上的子图像或补片60来进行分析，从补片60中提取特征或分析可用的视觉信息，以识别出其中的任何关切特征(interesting features)或区别特征，并依据对特征的分析、根据畅通路径的几率来对补片进行分类。大于特定几率阈值的补片被归类为畅通的，对这类补片的汇编能够用来构成图像内的畅通路径。

作为图像10的子图像，补片60能够通过多种已知方法来识别，例如，图像10的随机搜索或密集搜索。可替换地，从其他信息源-例如雷达成像***130得到的有关物体40存在的信息能够用来识别补片，以分析能够描述物体40的那部分图像10。图像10需要很多补片60来分析整个图像。另外，多个叠层补片或不同大小的补片能够用来全面分析包含关切信息的图像10的区域。例如，一个小的补片60能够用来分析路上的一个小点；然而，一个大的补片60需要用来分析一系列的点，这些点独自看来都不是关切点，但是对于整个系列来说，其能够指示出关切物体40。另外，应用到某特定区域的补片的分辨率可以基于可用信息进行调制，例如，可应用更多的补片到图像10中的物体40可能存在的区域。多种手段或策略可以用来确定用于分析的补片60，本发明不限于这里所述的具体实施方式。

一旦补片60已被识别而用于分析，处理模块120就通过应用滤波器从补片中提取特征而对该补片进行处理。此外，处理模块120可以对补片位置执行相对于车辆位置的分析。所使用的滤波器可以采用多种形式。用于提取特征的滤波算法经常搜索可用的视觉信息，以便找到与物体相关的图像中的特征性图案，这些图案通过线的方向、线的位置、颜色、角落特点、其他视觉属性和学习属性来定义的特征。学习属性可通过车辆内的机器学习算法来学得，但学习属性通常进行离线编程，且能够通过足以精确地训练区别属性的建模或其他技术以实验方式、经验方式、预测方式来得出。

一旦补片60中的特征被提取，补片就基于特征被分类以确定路径是畅通路径的几率。几率分析在本领域是已知的，在这种分析中存在某特定条件的几率值或信心被导出。应用到本发明中，分类包括几率分析以确定补片是否代表畅通路径、或者该补片中的地面20是否被物体40所限制。在一个示例性实施方式中，分类通过应用分类器或算法来实施，其中，所述算法因被训练而含有数据库，该数据库包括示例性路况以及与被检测物体的相互作用。这些分类器允许处理模块120导出补片60的分数型式的畅通路径几率值，该几率值将信心值量化在0与1之间，在该区间中，在补片内识别出的特征并不代表一个将会限制车辆100自由行驶的限制物体40。阈值信心限定确定该补片是畅通路径的畅通路径几率，例如可通过如下逻辑来设定阈值信心：信心＝畅通路径几率(i)如果_信心＞0.5，那么_补片＝畅通路径 (1)在这个特定的示例性实施方式中，50％或者0.5的信心被选定为阈值信心。该数字能够通过足以精确评估用于畅通路径特征的补片的建模或其他技术而实验方式、经验方式、预测方式来得出。

在一个示例性实施方式中，如上所述的几率分析能够通过将训练过的分类器应用到从补片提取的特征来实现。一种方法通过使用一组训练图像来分析假定的特征。在该训练阶段，从一个原始特征组中来选择区别特征，区别特征由本领域的已知方法定义，例如Harr小波、Gabor小波以及Leung和Malik滤波器组。另外，基于每个特征的最小分类误差并且计算为错误接受率(FAR)和错误拒绝率(FRR)的总和的二维图像位置信息能够通过调制图5所示的单一阈值而被使用。这种分类误差能用下面的表达式来描述：分类误差(i)＝FAR_i+FRR_i (2)从训练过的分类器中得到的信息用来分类或加权特征，作为指示畅通路径或不畅通路径的特征。该特定分类取决于与训练数据的比较强度。如果该特征是补片内的唯一特征，那么该特征的分类能够直接应用到该补片。有多个识别特征的补片的分类可能有多种形式，包括由最能代表补片是不畅通的包含特征来定义补片，或者由所有包含特征的加权和来定义补片。

上述方法能够用来检查单一图像10，并基于图像10内所包含的视觉信息来估计畅通路径50。该方法可以随着车辆沿道路行驶而以某种间隔重复，从而考虑新的信息并将确定的畅通路径扩展至车辆的新位置前方的某些范围。间隔的选择必须能够以足量频率来更新图像10，以便准确地为车辆100提供行驶的畅通路径。然而，该间隔也可以选择为足以控制车辆同时不会对处理模块120施加过度的计算负荷的某个最小值。

如上所述，畅通路径检测能够通过单一图像10来完成。但是，补充使用与原始图像的时间间隔非常近的第二幅图像，例如从连续视频补片得到的一系列图像，则能够提高处理速度和精确度。第二幅图像能够与第一幅图像直接比较，并提供有关车辆行进和被检测物体运动的最新信息。同时，摄像机110视角的改变允许对第一幅图像中的特征进行不同的分析：在第一幅图像中没有清晰地显现的或者不清楚的特征可能在不同的摄像角度中出现、更加清楚，或者与第一幅图像相比已经移动的特征，也能够使得分类算法有额外的机会来定义该特征。

处理与原始图像10相关的第二幅图像能通过计算图像差异来进行。如果关切点的图像差异-例如由雷达识别出的特征不是0，那么该点能够被识别为体现新的信息。图像差别为0的点能够从分析中排除，且计算资源能够保留。确定图像差异的方法包括绝对图像强度差异和车辆运动补偿的图像差异。

通过计算绝对图像强度差异而确定图像差异能够用来收集两幅图像之间的信息。一种绝对图像强度差异方法包括如下步骤：确定原始图像与第二幅图像之间的等效图像特征，以便补偿图像之间的车辆运动；重叠图像；并标注出图像强度之间的任何的显著变化。表示图像强度在某个特定区域的变化的图像之间的比较包含新的信息。强度上显示出无变化的区域或补片在分析中不再被强调，而在强度上显示出明显变化的区域被重点关注，使用上述方法来分析任一或两个所获取的图像上的补片。

图6A、6B和6C示出根据本发明的一种通过计算绝对图像强度差异来确定图像差异的示例性方法。图6A示出了原始图像。图6B示出了比原始图像有所变化的第二幅图像。特别是圆圈向左移动了。图6C示出了两幅图像的比较，所得结论代表了绝对图像强度差异比较的结果，从第一幅图像到第二幅图像识别出一个区域的亮度变深、另一个区域的亮度变浅。这种方法能够描述为区别。这种比较分析产生某种信息，该信息表明由运动或视角变化引起的某种变化可能存在于图像区域中。这样，绝对图像强度差异能够用来分析一对连续图像以识别潜在的不畅通路径。

同样，通过计算车辆运动补偿的图像差异来确定图像差异能够用来收集两幅图像之间的信息。计算车辆补偿的图像差异的很多方法是已知的。一种计算车辆补偿的图像差异的示例性方法包括分析一个潜在物体，将其同时作为畅通路径的静态部分以及被检测物体。对特征实施几率分析，其中，该特征是根据同时对两种分类的潜在物体进行识别所得到的，分类可以被比较，例如可通过以下逻辑进行这种比较：信心(i)＝畅通路径几率(i)-被检测物体几率(i)如果_信心＞0，那么_补片＝畅通路径 (3)在这种示例性的比较中，如果信心(i)大于0，那么包含该特征的补片被分类为畅通路径。如果信心(i)等于或小于0，那么包含该特征的补片被分类为不畅通路径或受限制路径。然而，可以选择不同的信心水平数值来将路径分类为畅通路径。例如，测试可能会表明错误正值比错误负值更有可能出现，因此可能会引入一些因数或偏差。

图7示出了根据本发明的一种将特征进行分类的方法，如上所述，该特征同时作为畅通路径的一部分和被检测物体被分类。图像10包括物体40、梯形投影70和矩形投影80。这种方法假定投影物体40作为地面上投影70内的平面物体，以测试作为畅通路径的一部分的特征的分类。该方法还假设投影物体40作为一个在矩形投影80内的垂直物体，来测试特征作为被检测物体的分类。图8示出了根据本发明对在两幅图像之间收集的数据进行比较以评价本发明的物体40的属性的方法。摄像机110在t₁时刻发现并以第一幅图像的形式获取了来自物体40的数据。如果物体40是一个实际检测到的物体，那么在t₁时刻摄像机110观测到的物体40的轮廓将与点90A相对应。如果物体40是一个与地面20在同一平面上的平坦物体，那么摄像机110在t₁时刻观测到的物体40的轮廓将与点90B相对应。在时刻t₁和t₂之间，摄像机110行驶了一定的距离。在t₂时刻获取第二幅图像，关于物体40的信息能用算法来进行测试，该算法着眼于第二幅图像相对于第一幅图像的可见属性。如果物体40是一个实际检测到的物体，且从地面20向上延伸，那么在时刻t₂物体40的轮廓将在点90C处被观察到。如果物体40是一个与地面20在同一平面上的平坦物体，那么物体40在时刻t₂的轮廓将在点90B处被观察到。通过车辆运动补偿的图像差异所得到的比较能够通过使用基于对点90进行观察的分类器直接设定一个信心值；或者，该比较可以简单地指向显示变化的区域，作为关切点。对被作为平坦物体和实际检测到的物体分类的物体进行的测试使得要么能够识别包含物体40的区域以便通过如上所述的补片分析进行进一步分析；要么能够直接得出畅通路径几率和被检测物体几率值以便例如在上述逻辑表达式3中进行比较。

从对第二幅图像的分析所得到的可用信息能够通过结合与车辆运动有关的信息而被额外改善，所述信息例如是速度和偏航率。与车辆运动有关的信息可以有很多来源，包括车辆测速仪、车辆动力传感器或车轮速度传感器、防抱死制动机构和GPS定位***。可在算法中利用这种车辆运动信息，例如结合图7和图8所示的投影，以便基于从第一幅图像得到的数据和车辆在两幅图像之间的测得运动来投影某些角度，所述角度应当出现在第二幅图像的地面上的平坦特征中。

比较所用的图像数量不一定限制为两个。多个图像分析可在多重迭代中实现，物体在多个循环中被追踪和比较。如上所述，计算效率能够通过图像差异分析而得以提高，其中，图像差异分析识别关切点并剔除与后续分析具有0差异的区域。这种效率能够用在多重迭代中，例如，也就是说只有在第一幅图像和第二幅图像之间识别出的关切点在第三和第四幅图像中被分析。有时候，一组新图像需要被比较，以保证显示0差异的区域均没有任何变化，例如，一个移动物体撞击到之前识别出的畅通路径上。图像差异分析和聚焦分析的使用剔除了识别出零变化的区域，图像差异分析和聚焦分析的使用对于不同的应用和不同的操作条件而言是不同的，这些操作条件例如是车辆速度或所观察到的操作环境。图像差异分析和聚焦分析的特定应用可能有多种不同的实施方式，本发明不局限于此处提及的具体实施方式。

图9示出了根据本发明的一个示例性过程200，其中分析来自摄像机的输入以确定畅通路径的几率。摄像机的输入以图像形式在步骤202中生成。在步骤204中，从图像中选取补片用于分析。步骤206示出了用于处理补片的一个滤波器或一组滤波器。在步骤208中，对所选取的补片应用来自步骤206的滤波器和其它算法以便进行特征提取。应该理解，某些特征具有意义而另一些特征则没有意义，并且选择特征的过程可以用于确定用于分析的一组最佳特征。步骤210包括分类器训练过程。如上文提到的，用于得出几率值的分类器或逻辑最初是离线训练的。训练可以基于模糊逻辑、神经网络或其它本领域已知的学习机构在车辆中选择性地继续进行。这些经过训练的分类器被用于步骤212中从而在通过步骤208提取的特征上执行几率分析，并且得出补片的几率值。这种几率值表示被选取的补片是畅通的信心。在步骤214中，比较在步骤212中获得的几率值与阈值。如果几率值大于该阈值，那么在步骤218中该补片被确定为畅通路径。如果几率值不大于该阈值，那么该补片被确定为非畅通路径。如上所述，通过选择和分析不同的补片来对相同的图像进行反复分析，过程200可以多种方式被重复或迭代，并且可以追踪一个被识别的补片并分析其在多个连续图像间的变化。

如上所述，处理模块120可包括通过此处未描述但本领域已知的方法来实现自主驾驶控制的算法和机构，或者处理模块120可仅仅为独立的自主驾驶***提供信息。对观察到的物体的反应也可有所不同，包括但不局限于转向变化、节气门变化、刹车响应、警告和将车辆控制交给操作者。

上述对补片进行分析的方法是为车辆建立一个行驶畅通路径的方法中的一种。两个额外的相关处理方案也被公开，其采用类似的方法对像素进行分析而不是对补片进行分析。所公开的第一个处理方案是采用富含纹理的方法来分析图像以确定畅通路径。图10示出了用于检测畅通路径的第一处理方案101，其在此处被描述为包括离散元件。这样的图示是为了便于描述，并且应该理解由这些元件执行的功能可以组合在一个或多个装置中实现，例如在软件、硬件和/或专用集成电路中执行。

处理方案101是采用富含纹理的图像来分析宿主车辆前方视场的示例性方法，并且开始于步骤103，在该步骤中产生车辆前方的视场的图像。在步骤106中，检查被监测到的图像中是否有关切点，例如，检查上面描述的像素颜色强度以及将该像素或一组像素与周围像素进行比较。通过本领域已知的方法，可以识别出关切点并且利用这些关切点来实现上述方法。在步骤109中，当车辆在运动时，比较车辆前方视场中的连续图像，并且在可能的情况下将从每个图像中提取的关切点与连续图像中的相应的点进行匹配，这些点对应于视场中的相同点。匹配包括通过模板匹配或者在连续图像上对关切点进行比较而定位对应的点，同时考虑宿主车辆的运动，并作出两个点是否代表视场中相同的可视物体或可视特征的最佳估计。虽然可以匹配关切点，但不是所有匹配的对应点对都代表高质量的对应点对，高质量的对应点对允许识别它们在视场中的三维位置以便分类为能使车辆通过的畅通路径。在步骤112中，滤波器被应用于匹配的对应点对，以便识别出高质量的对应点对，高质量的对应点对可以高信心水平用于三维位置识别。在步骤115中，分析高质量的对应点对，从而确定所述对应点对代表的物体的三维位置。可以理解的是，在连续的图像中与地面相比具有不同高度的对应点对的移动是不相同的。分析关切点的运动可以得出这些关切点的三维坐标。在步骤118中，所确定的物***置被用于绘制宿主车辆前方的物***置的地图。在步骤121中，该地图被用于确定宿主车辆前方的畅通路径。

图11示出了一个示例性的当前图像(k)500，其包括在当前图像(k)上被识别的一组关切点501，每个关切点501对应于一个像素。处理模块120优选地在所生成的包括当前图像(k)500和先前图像(k-1)的每个图像上识别关切点501。关切点501是图像上的可识别像素，并且与一组视觉信息-即富含纹理的特征相关联，而且还与位于视场中的物体相关联。图11所示的示例性的视场或视图包括路面510、路面部分515、路缘520和521、车道标记522、交叉车道526和建筑物524和525。候选关切点501通过关切点提取程序在视图中被识别出来，通过关切点提取程序可以选出一组关切点501。关切点提取程序可以通过很多已知方法中的一种在多个图像上执行，例如，比例不变特征变换(SIFT)，采用拐角检测或其它形状检测的方法，或Sobel滤波器。关切点提取程序优选地在处理模块120中执行，但是也可以组合在一个或多个装置中执行，例如在软件、硬件和/或专用集成电路中执行。关切点提取程序在每个图像中定位与预定的富含纹理的可识别特征对应的候选关切点501，这些特征例如是指示边缘的像素、指示视觉数据中的转变的像素，其中可在视图中识别出潜在的重要特征。在图11的示例性视图中，在多个被识别出的关切点501中，点501A在路缘520中的部分505的拐角处被识别。

在识别出候选关切点501后，关切点提取程序可通过除去多余的候选关切点来过滤这些候选关切点，多余的候选关切点就是对应于同一特征的候选关切点。例如，该关切点提取程序可过滤多个对应于边缘的候选关切点，从而得到对应于边缘的更少的候选关切点。剩余的候选关切点组即是该图像的关切点。在一个实施方式中，过滤多余的候选关切点是为了提高计算效率。

一旦在当前图像(k)500中识别出关切点501，处理模块120便对来自当前图像(k)的关切点组与来自先前图像(k-1)的关切点组进行匹配，从而确定一组匹配的点对，这对应于过程101中的步骤109。

第一种确定一组匹配点对的方法包括采用对应匹配程序来匹配当前图像(k)和先前图像(k-1)中的关切点。处理模块120对来自当前图像(k)的一组关切点与在先前图像(k-1)中识别出的一组关切点进行匹配，从而确定一组匹配的关切点对。图12示出了一个在图11所示的图像之后捕获到的示例性的当前图像(k)。该示例性的当前图像(k)530表示一个在图11所示的图像之后捕获的图像，其中在两个图像之间观察者的视角已沿着被观察的道路稍微前进。在这种示例性的情况下，虽然当时是作为当前图像(k)捕获的，但是此时图11中的图像500可作为当前图像(k)530的先前图像(k-1)。图12中示出的示例性视图包括如图11所示的路面510、路面部分515、路缘520和521、车道标记522、交叉车道526和建筑物524和525，只是在视图中每个特征的视角略有不同。在图12的示例性视图中，多个识别出的关切点531根据上述方法被识别，点531A被识别为在路缘520中的部分505的拐角处。应该注意到，在图像530中识别出的关切点531不一定直接对应于在图像500中的识别出的关切点501。在图像530中识别出的点531被处理并过滤，如上文结合图11描述的点501的处理和过滤一样。优选地，来自当前图像(k)530的关切点组中的多个关切点531与来自先前图像(k-1)500的关切点组中的多个关切点501进行匹配，以确定多个匹配的点对。包含一个匹配点对的每个关切点被期望与同一特征对应，该同一特征与视图中的物体相关联。为了确定一组匹配的点对，通过多个已知的对应匹配程序中的一种-例如比例不变特征变换(SIFT)特征匹配程序和光流程序对来自当前图像(k)的关切点组531与在先前图像(k-1)中识别出的关切点组501进行比较。该对应匹配程序优选在处理模块120中执行，但是也可以组合在一个或多个装置中执行，例如在软件、硬件和/或专用集成电路中执行。所产生的匹配点对与既位于当前图像(k)上又位于先前图像(k-1)上的同一特征相对应，其中该同一特征与视图中的同一物体相关联。

第二种确定一组匹配点对的方法包括采用模板匹配程序来匹配当前图像(k)和先前图像(k-1)中的关切点。在一个实施方式中，采用关切点周围的预定像素区域来产生模板。一个示例性的区域535在图12中被示出为与关切点531A相关联。模板匹配可通过多个方法中的一个来确定，包括采用多个已知模板匹配程序方法中的一个来找到先前图像中的对应的关切点，例如采用Lucas-Kanade或Horn-Schunck。优选地，将当前图像中的邻近关切点的模板与光前图像中的邻近关切点的模板进行比较。当模板匹配程序确定所述模板彼此匹配时，这些关切点便被包含在匹配点对的组中。所产生的匹配点对与既位于当前图像(k)上又位于先前图像(k-1)上的同特征相对应，其中该同一特征与视图中的同一物体相关联。

图13A和13B示出了一个示例性的匹配点对，该匹配点对包括当前图像(k)530中的关切点531A和先前图像(k-1)500中的第二关切点501A以及一个环绕这些点的示例性的像素区域。根据上述方法，在图13A中示出了环绕关切点531A的像素区域535。如上所述，关切点531A被识别为位于路缘520的若干部分之间的部分505的拐角处。像素区域535环绕点531A选出并且优选地包括能用于充分识别该区域的可识别特征、纹理或图案。图13B类似地示出了关切点501A和环绕该关切点的像素区域540。由于图像500和图像530的视角发生改变，可能就使像素区域535和像素区域540包含一些不同之处，但是采用上述方法，通过比较所述像素区域并识别其中特征的方式，可以某种信心水平确认关切点531A和501A代表在图像500和530中捕获的相同特征并且可以被看作是一个匹配点对。

如上述的示例性步骤112，当确定匹配点对后，通过应用滤波器以除去代表匹配不佳或错误匹配的点对的低质量的匹配点对，处理模块120从匹配点对的组中选择出高质量的优选的匹配点对。优选的匹配点对可基于质量控制标准来选择。在一个实施方式中，匹配点对被分析并且在满足每个标准之后被识别为优选的匹配点对。

当匹配点对的点之间的距离小于一个阈值时，第一个标准被满足。该距离基于这些点在相同的二维图像坐标中的位置来确定。该阈值可以是预设的，并且由位置决定或基于车速来动态决定。当匹配点对中的两个点与图像边界的距离为预定的阈值距离时，第二标准得以满足。由于摄像机对图像边界的边缘处的物体的视角以及车辆运动的原因，太接近边缘的点不能定位出对应的点，该对应的点可能位于摄像机的视角之外或者会产生对物***置的错误估计。此外，在车辆正常向前行驶的过程中，车辆需要视图最边缘处的畅通路径的信息的可能性很小。当匹配点对中的每个点附近的预定区域的色差小于色差阈值时，第三标准得以满足。通过采用图13中定义的示例性像素区域，像素区域535和540之间的色差则可用于增大匹配点对的信心水平。每个区域内的每个像素基于它相应的颜色被分配一个数值。所分配的数值可以基于捕获图像时确定的比特值或者可以基于参考预定调色板的索引颜色。处理模块120一个像素接着一个像素地计算第一区域501和第二区域502内被分配的数值之间的绝对差值，并且对这些差值求和，所得结果即是色差。将该色差与阈值色差进行比较。如果该色差小于阈值色差，则第三标准得以满足。该阈值色差可以通过任何足以校准精确路况存在或畅通路径估计的方法来选取。基于车辆外部的亮度水平、天气、车速或其它任何基于色差而影响畅通路径存在的精确评估的因素，可采用不同的阈值色差。通过判断环绕关切点的区域是否相似，可以判断包含由所述关切点代表的特征的相同区域是否在两个图像中均被分析。

可以理解的是，上述三个标准只是用于判断匹配点对的示例性标准，这些标准中的某些部分或其它没有名称但相似的标准也可以用于判断匹配点对的有效性。此外，可基于下述条件来选择判断匹配点对的标准，例如，车辆外部的亮度水平、天气、车速和任何其它影响判断匹配点对的能力的因素或快速准确地定义畅通路径的紧迫性。

在选取优选的匹配点对之后，如上述的示例性步骤115，处理模块120确定多个点相对于车辆100的位置，这些点与视图中的物体的特征相关联。图14以绘图形式示出了使用一个示例性的当前图像、一个示例性的先前图像以及宿主车辆的运动来确定观测到的特征的位置。可以基于连续图像317和327内的匹配点对(这些匹配点对在该图中用点1和2表示)的优选组、车辆100从第一位置310到第二位置320的行驶距离(d)以及车辆偏航(θ)来确定物体在参考水平框架中的位置和相对于地平面的物体高度。该处理模块120执行多种已知的三角测量方法中的一种来确定相对于车辆100的点的位置和该点的高度。在图14中，示出了来自310的包含图像k-1317的视场315和来自320的包含图像k 327的视场325。所示的距离d表示观测者在点310和320之间的移动距离。线312和322分别表示与视场315和325沿纵向垂直相交的线。方向的角度改变或偏航(θ)示出为表示线312和322之间的角度。通过在点310的时间和点320的时间之间的样本时间内追踪车速，可以为示例性车辆确定距离d。类似地，通过在样本时间内追踪车辆的偏航率可以确定θ。示出了被观察到的物体305，所示出的线318和328分别表示从点310和320到物体305的观察线。点1和2示出为在图像317和327上，分别位于线318和328与图像317和327相交的位置。距离(a)可定义为表示点1在图像317上的位置，距离(b)可定义为表示点2在图像327上的位置。可以理解的是，图14代表一个上方地图，其中物体305的位置可以被定义在一个水平面内，并且在相同物体的侧视图中进行的类似运算可用于确定物体的垂直位置，该垂直位置是相对于观察者所在的已知地平面的。通过应用已知的三角测量方法，来自连续图像的位置数据-例如距离a和b以及车辆数据-例如车速、车辆偏航率和样本时间可用于确定观察到的物体相对于车辆的位置以及确定物体相对于车辆的相对运动。这些三角测量方法可以得出物体在水平面中的位置和相对于地平面的高度。

一旦位置和高度被确定，如上述的示例性步骤118，处理模块120可在上方地图上绘出这些点。图15以绘图形式示出了一个示例性的上方地图，该地图示出了宿主车辆前方的x和y坐标系内的关切点的垂直位置。在x轴和y轴上的位置<0、0>对应于上述车辆100的第二位置320，或车辆100的当前位置。优选地，物体的高度被分类到预定类别中。例如，具有最小高度的物体-例如低于预定阈值的物体可以被分类为地面，超过地面高度但是小于第二预定阈值的物体可以被分到第二类别中，该类别接近并且优选地小于车辆高度，大于第二预定阈值的物体被分到第三类别中。如图15所示，具有最小高度的物体被分类为地面(地面)，超过地面高度但是小于2米阈值的物体被分到第二类别中(小于2m)，大于2m阈值的物体被分到第三类别中(大于2m)。

在地图上绘出这些物体后，如上述的示例性步骤121，处理模块120基于地图上绘出的特征检测畅通路径。用于此处的术语“畅通路径”对于本领域普通技术人员来说采用的是它的通常和习惯性含义(并且不局限于某种特殊或特定的含义)，并且该术语不加限制地意指不存在超过一定阈值的物体的路径，例如，不存在被分到上述第二和第三类别中的物体的路径。被分到预定类别-例如上述第二和第三类别中的物体的特征由处理模块120识别为不畅通的区域，也就是不希望车辆通行的区域。优选地，被分到预定类别中的每个物体附近的预定区域也由处理模块120识别为不畅通的区域。该处理模块120可采用多种方法中的一种来确定地图上存在畅通路径。用于确定畅通路径的第一种方法包括对预期路径与包含非畅通区域的地图进行比较。如果预期路径没有与任何非畅通区域相交，那么处理模块120确定该预期路径是畅通路径。然而，如果预期路径与非畅通区域相交，那么处理模块120确定没有畅通路径。用于确定畅通路径的第二种方法包括使用地图上的非畅通区域来确定畅通路径。任何没有与非畅通区域相交的路径均可作为畅通路径。

上述方法采用连续图像来建立车辆前方的物体的位置和垂直高度的地图，从而得以确定畅通路径。可以理解的是，在任何两个给定的图像中，一个特定物体可能不会被分类为包含足以在地图上绘制而用于特定分析的两个高质量的关切点。然而，上述分析在车辆行驶过程中每秒发生多次。当车辆通过畅通路径向前行驶时，将获得一个物体的不同视角，并且将对大量的图像进行分析。在路径上行驶和对通过该路径的多个重复图像的分析可以通过分析建立一个信心水平，该信心水平表明没有限制畅通路径的物体存在于识别出的畅通路径上。

图16示出了用于检测畅通路径的第二处理方案。此处描述的第一处理方案采用了富含纹理的方法，其基于图像内的环境视图分析描述不同关切点的像素特征，所公开的第二处理方案可以被描述为示例性的无纹理图分析方法，其从图像中过滤不一致的区域图像，该不一致的区域图像不属于与平坦一致的路面。通过从图像中过滤不一致的区域，可以从剩余图像部分中识别出畅通表面，该畅通表面作为车辆行驶的潜在畅通路径。图16中示出了过程250，过程250在此被描述为具有离散元件。这样的描述是为了便于说明，并且应该意识到，由这些元件执行的功能可以组合在一个或多个装置中执行，例如在软件、硬件和/或专用集成电路中执行。例如，过程250可以作为处理模块120中的一个或多个算法来执行。用于检测畅通路径的过程250包括产生多个滤波图像和将这些滤波图像融合在一起从而确定畅通路径。

所公开的示例性过程250包括采用一个示例性的无纹理畅通路径检测方法的步骤。过程250开始于产生图像的步骤253。步骤256、259、262和265描述了对图像进行滤波从而识别包括路面的畅通路径位置的替代性的示例性方法。可以理解的是，每种方法以某种方式处理图像以便有助于识别畅通路径。一个过程可以采用四个示例性方法的某些部分或者一个过程可以采用包含未命名但是相似的方法来处理图像。可以采用在图像内过滤出畅通表面的任何方法，在该畅通表面上可以从不能表示潜在路面的其它部分中估计出路面。步骤256采用一种示例性方法来过滤出在地平线或消失点以下的区域，该区域包括车辆能够行驶的路面，上述区域从地平线或消失点以上的区域中过滤出来，该区域包括天空和不能为路面的一部分的其它垂直特征。基于路面是一个视觉强度大致相同的大表面的假设前提，步骤259在像素强度变化的基础上应用滤波器。在区别连续图像的基础上，步骤262应用一个滤波器来分析图像之间的变化。步骤265在识别视觉数据中的代表边缘或转变的像素的基础上应用一个滤波器。并行应用所述多种方法，所得结果将在步骤268中被融合到一个图像的地图上，并且在步骤271中所述结果被分析以便得到指示行驶畅通路径的视觉数据。

在上述的示例性步骤256中，采用消失点来生成第一滤波图像。在此处采用的术语“消失点”是一个广义术语，并且对于本领域技术人员来说其使用的是普通且惯用的含义，并且该术语表示的是在视图中与地面上的多条平行线相交的无穷远的点。识别路面所生成的行驶畅通路径必然位于消失点或地平线以下。对图像进行滤波以便仅分析地平线以下的区域有助于区别用于识别路面的像素和不相关的像素。本领域技术人员应该理解的是，存在很多种用于确定消失点或相应的地平线的已知方法。一种已知的方法包括基于宿主车辆左边和右边的车道标记的交叉点来确定消失点。基于消失点来确定地平线。第一滤波图像包括当前图像上的位于地平线以下的像素。

如在上述的示例性步骤259中，处理模块120基于包含在当前图像(k)中多个像素的像素颜色强度来生成第二滤波图像。图17示出了基于像素颜色强度的示例性的第二滤波图像。该第二滤波图像包含从多个像素中选取的像素。可以预想出多个对像素进行滤波的方法。处理模块120将像素的每个颜色强度值与相关的颜色分布均值-例如红、绿、蓝颜色强度分布均值进行比较。这些颜色分布均值是相关颜色强度的平均颜色强度分布，所述相关颜色强度与先前在畅通路径中识别出的像素相关。这些颜色分布均值还可以基于历史性收集的相关颜色的畅通路径像素的颜色分布均值来确定。当某个像素的每个颜色强度值均小于相关颜色分布均值的颜色强度阈值时，将选择该像素用于第二滤波图像。当某个像素的一个颜色强度值大于相关颜色分布均值的颜色强度阈值时，该像素将从第二滤波图像中排除。用于相关颜色强度的颜色分布均值是分布在图像中的平均颜色强度值。这些颜色分布均值最初是预定的。在一个实施方式中，处理模块120基于预定数量的图像中的颜色强度分布来调整每个相关颜色强度的颜色分布均值。

如上所述，每个像素包括多个颜色强度值。优选地，将该颜色强度值与相关颜色分布均值进行比较。例如，对于采用RGB颜色模式生成的像素，对和红颜色强度相关联的第一比特组与和红颜色强度相关联的颜色分布均值进行比较，对和绿颜色强度相关的比特组与和绿颜色强度相关的颜色分布均值进行比较，并且对和蓝颜色强度相关的比特组与和蓝颜色强度相关的颜色分布均值进行比较。如果包含在该像素中的每个颜色强度与相关颜色分布均值之间的差值小于颜色强度阈值，那么该像素被用于第二滤波图像。

通过采用RGB颜色模式，每个像素包括第一、第二和第三颜色强度值。第一颜色强度是红色强度，第二颜色强度是绿色强度，而第三颜色强度是蓝色强度。当该像素的红色强度与红色分布均值之间的差值小于红色强度阈值、该像素的绿色强度与绿色分布均值之间的差值小于绿色强度阈值、并且该像素的蓝色强度与蓝色分布均值之间的差值小于蓝色强度阈值时，便从包含在当前图像(k)中的多个像素中选出该像素用于第二滤波图像。下面的表达式表示采用RGB颜色模式的这种过程：|R-R_M|＜阈值_R 并且|G-G_M|＜阈值_G并且|B-B_M |＜阈值_B (4)其中R表示红色，G表示绿色，B表示蓝色，R_M是红色的颜色分布均值，G_M是绿色的颜色分布均值，B_M是蓝色的颜色分布均值，阈值_R是红色强度阈值，阈值_G是绿色强度阈值，阈值_B是蓝色强度阈值。

本领域技术人员应该理解的是，上面的表达式4可配置成与包括CMYK、YUV和LAB在内的多个其它颜色模式结合使用。

如在上述的示例性步骤262中，处理模块120通过区别当前图像(k)和先前图像(k-1)来产生第三滤波图像。在一个示例性的产生差别图像的过程中，第三滤波图像作为当前图像(k)和先前图像(k-1)的图像差别而产生，开且包括对代表当前图像(k)和先前图像(k-1)的差别的像素一个一个地进行比较。这样的过程在上文中结合图6A-6C进行了描述。用于确定第三滤波图像的第一种方法包括确定当前图像(k)上的每个像素与先前图像(k-1)上的每个对应像素的差别。通过从对应的颜色强度值中减去与一个像素相关联的颜色强度值从而确定个颜色强度差值，可以确定该差值，例如，从先前图像(k-1)上的第一像素的红色强度值中减去当前图像(k)上的第一像素的红色强度值。所得到的颜色强度差值包括该像素的值并且对应于当前图像(k)和先前图像(k-1)上的该像素之间的差别。每个像素值可存储对应于第三滤波图像的阵列中。在一个实施方式中，该差值的绝对值被确定并且被存储在阵列中。所得到的阵列包括代表两个图像之间差值的数值并且包括图像差异。在确定该阵列后，处理模块120除去代表变化小于预定阈值的像素的数值。在一个实施方式中，所得到的数值可以用预定数值一例如1来代替，该预定阈值在所得到的图像上代表识别出的所使用的两个图像之间的差别的清楚地图。

此处描述了基于区别图像来确定第三滤波图像的第二种示例性方法。通过比较当前图像(k)和运动调整的先前图像(k-1)可以作出一个决定，并且这些图像之间的差别可用于绘制与用于产生运动调整图像的特定模型不匹配的物体。一个产生运动调整图像的示例性模型包括使用三角测量方法-例如结合图14描述的方法、关于车辆运动的信息、以及所有被检测的点都位于地平面上的假设来预测先前图像(k-1)中的物体的运动。通过采用图像中的所有物体都位于地平面的假设，对合成图像中的物体的运动的预测与先前图像一致，其中先前图像作为存在于地平面处的整体平坦的图像而存在。对所得到的经运动调整的先前图像(k-1)与实际当前图像(k)进行比较一包括不在地平面上的物体的视角变化，使得能够识别出图像中的不在地平面上的所有物体或特征。通过减去被比较图像中的像素，例如根据上述用于确定第三滤波图像的第一示例性过程，代表没有在地平面上的物体的像素可以通过非零值或超过预定阈值的数字而被识别出来。这样，采用当前图像(k)和代替先前图像(k-1)的经运动调整的先前图像，处理模块120可以如上所述地确定第三滤波图像。

如在上述的示例性步骤256中，处理模块120基于包含在当前图像(k)中的多个像素的颜色强度值生成第四滤波图像。图18示出了采用边缘识别方法的第四滤波图像。该第四滤波图像包括当前图像(k)的边缘。为了生成第四滤波图像，处理模块120基于与边缘对应的颜色强度值、采用一个已知的边缘检测滤波器-例如Sobel滤波器从图像中提取像素。该边缘检测滤波器优选地在处理模块120中执行，但是也可以组合在一个或多个装置中执行，例如在软件、硬件和/或专用集成电路中执行。在一个实施方式中，采用Sobel运算器分析每个像素。该Sobel运算器计算每个像素处的颜色强度的梯度向量，从而得出从亮到暗的最大可能增大方向以及在该方向上的变化率。与超过一定阈值的变化率和附近像素的梯度向量对应的点表示边缘并且被包含在第四滤波图像中。这些像素将被预定的像素颜色-例如黑色替代。

如在示例性步骤268中所述的，在生成多个滤波图像后，处理模块120将这些滤波图像进行融合从而确定对应于畅通路径的像素位置。融合而成的滤波图像包括一个图像，该图像仅包含在所有滤波图像中都包含的像素，也就是说，只有包含在多个滤波图像中的每个滤波图像的特定像素位置的像素被包含在融合而成的滤波图像中。融合这些滤波图像包括确定包含在多个滤波图像中的每个图像上的像素的位置。将每个像素位置与每个滤波图像中的对应的像素位置进行比较。当多个滤波图像中的每个都包含位于对应像素位置处的一个像素时，该像素便被包含在代表畅通路面的融合而成的畅通路径地图上。该融合而成的畅通路径被用于检测车辆100的畅通路径。融合畅通路径地图上的像素对应于视图中的期望驾驶位置。融合畅通路径地图上没有像素的位置对应于视图中的非期望驾驶位置。

图16所示的过程250并行应用多种不同方法从视图中识别与定义畅通路径相关的特征。然而，应该理解的是，这些方法并非必须并行执行，相反这些方法可以被用于连续地按步骤处理图像从而识别出视图中的与定义畅通路径相关的特征。图19中示出了用于第二处理方案的示例性过程600。过程600开始于步骤603，在步骤603中生成了一系列图像。每个图像被平行地输送到两个步骤中，并且从这两个步骤中输出的结果被融合并用于该过程中的后续步骤。所述平行步骤包括步骤606和步骤609，在步骤606中第一滤波图像根据上述的消失点方法对像素进行滤波，以便从图像中滤除不能代表路面的图像部分，在中步骤609根据强度对像素进行滤波而得到的第二滤波图像被用于从图像中滤除表示与路面不一致的特征的图像部分。在步骤612中，融合第一滤波图像和第二滤波图像，融合而成的图像包括仅仅位于消失点以下的图像部分和与路面强度一致的像素。在步骤615中，通过采用上述的一种区别方法，用连续的融合图像来生成第三滤波图像。在步骤618中，通过采用上述的边缘提取方法，用第三滤波图像来生成一第四滤波图像。过程600的结果然后可被分析，以便得到指示行驶畅通路径的视觉数据。

过程250和600示出了两种示例性布置，其中组合使用各种滤波方法以处理一系列连续图像从而识别畅通路径。然而，应该理解的是，这样的组合可以采用多种形式，不同的步骤可以不同的顺序应用，并且更少或额外的滤波器可以不同的组合使用。此外，可选择性地采用滤波器或者可选择性地采用各过程的结构，例如在白天使用不同的组合，而在夜晚采用其它组合。例如，某些组合可继续用于分析前灯照亮的路面，而在没有完全照亮的视图中其它方法可能无法使用。在另一个示例中，当路面上有雨或雪时，可以采用不同的组合。例如，某些方法和分析方法在只有薄雪的情况下仍然有用，例如可以将雪中的轮胎路径确定为潜在畅通路径，而当白雪隐藏了大多数可识别特征时，其它方法可能就不再有用。在另一个示例中，当提供有额外的信息时，可以采用不同的组合从而基于这些额外信息来扩充或帮助图像滤波，这些信息例如是红外线、雷达、或GPS数据。可以预想出滤波方法的多种组合，并且本发明不限于此处描述的特定实施方式。

如上所述，描述了采用富含纹理方法的第一处理方案和采用无纹理方法的第二处理方案，每个方案都能识别出用于描述车辆视图中的畅通路径的道路特征。然而，应该理解的是，基于任一方案的单独分析会产生模糊的结果，例如，其中特定照明条件、其它车辆的影子、热量所致的路面变形、或其它类似因素都会使路面的某些部分不能被识别为与路面的其余部分一致。一种去除模糊结果的方法是通过在车辆沿着道路行进的同时分析多个迭代图像。应该理解的是，当车辆沿着道路行进时，可以对特定路段的快速连续地获得的成千上百个图像进行分析。当车辆向前行进时，由于观察视角不同，将会观察到不同的路面照明和暴露部分。在路径上的行驶以及对通过该路径的多个迭代图像的分析可通过分析而建立一个信心水平，该信心水平表明路面的特定部分被正确地估计为畅通路径。

解决任一方案的模糊结果的另一种方法是同时利用两种方案并融合其结果，采用两种方案的组合来增大识别畅通路径的信心水平。每种方案在检测畅通路径的不同方面都具有相对于另一种方案的优点。例如，示例性的富含纹理方法的优点在于检测富含纹理的从地平面明显竖立的物体。该方法主动识别处于不同高度的可检测的物体并且生成一个车辆不应在其上行驶否则可能会导致车辆与物体发生碰撞的区域的地图。在另一个示例中，该示例性的无纹理方法的优点在于识别其中的像素具有共同外表面的区域。该方法主动识别一个很可能存在路面的区域，并且绘制出该路面的边界。

第一种方案和第二种方案可以多种方式融合。带有被识别点和所确定的高度的、通过富含纹理方法识别出的图像能够由无纹理方法产生的滤波图像覆盖，并且两种方法的一致性能用来通过重叠图像定义畅通路径。在另一种融合两种方案的方法中，来自每个方案的数据都能用来将信息投影在车辆前方区域的编程上方地图上，包含从两个方案的分析中得到的数据的该上方地图可包含建立该地图的各个区域的信心指示。在另一种融合两种方案的方法中，一个方案可作为主要或主导方案使用，第二个方案可用来分析或者被激活以便分析在视场中被识别为不清晰或不清楚的区域。在融合两个方案的任何方法中，一个处理方案的长处能用来弥补另一个处理方案的弱点。如果两个方案同时认定路径是畅通的，那么应用这些方案的处理模块可通过更高的信心水平来确定车辆适于通过该路径。融合这些识别方案的多种方法都已被考虑到，本发明并不局限于此处所描述的特定实施方式。另外，其中一个或两个方案可与上述利用补片分析的方法进行组合。

本领域技术人员能够认识到，亮度规范化(lighting normalization)可应用于所获取的图像数据。规范化是改变像素强度值的范围的一种过程。规范化的目的是将图像的范围改变为更适合机器处理的范围，以提高可靠度。例如，每个像素值被规范化为零均值和单位方差，以提高图像的对比度，特别是在光照较暗的环境中或对比度因为反光而较低的情况下。

上述滤波器和算法可以采用多种形式。用于提取特征的滤波算法经常搜索可用的视觉信息，以便在数据中找到特征性图案，这些图案通过线的方向、线的位置、颜色、角落特点、其他视觉属性和学习属性来定义特征。属性可通过通过足以精确地训练区别属性的建模或其他技术以实验方式、经验方式、预测方式来获得。学习属性可以由车辆内的随时间而调整的机器学习算法或模糊逻辑而学得。此外，可以通过车辆在一个路径上的重复行驶来收集学习特性或学习标记，并且在畅通路径识别中采用这些学习特性或学习标记。

以上描述的实施方式用于通过摄像机数据分析来检测车辆行驶的畅通路径。此外，此处论述的示例性实施方式包括一种方法，该方法基于描述道路几何形状的监测数据来确定道路模型从而优化畅通路径的确定。监测描述道路几何形状的数据可以包括监测来自摄像机装置的图像或监测来自配置成发送并接收光能的激光雷达(LIDAR)***的返回数据。值得注意的是，LIDAR***是可选的，而不是执行此处公开的多种方法所必需的，在这些方法中，视觉图像的处理便能够实现畅通路径确定以及道路模型确定。道路模型确定描述包括车道标记的位置和道路边缘的位置的道路几何形状。应该知道的是，可以由处理模块来分析描绘地平线以下的车道标记位置和道路边缘位置的道路模型，其中，可以额外地确定和分析车辆道路中的车道。从而能够通过互利改良、用畅通路径确定来扩充所分析的道路模型，以修正或优化畅通路径确定，其中，在车辆导航中使用优化的畅通路径。例如，行驶畅通路径最可能与道路上检测到的车道相一致，如由车道标记和道路边缘确定的车道。可以将与检测到的车道标记不一致的畅通路径结果标记为不可靠的，或者可以调用额外的处理资源来确定道路模型是错误的还是检测到的畅通路径是错误的。同样地，限定不包括畅通路径的区域的畅通路径边界可以用于加强道路模型确定中的道路边缘。

在本发明的示例性实施方式中，图21示出了用于基于道路模型分析与检测到的畅通路径的地图融合之间的互利改良来确定更优的畅通路径的处理方案800。示例性过程800开始于步骤802，在步骤802中生成图像。应该知道的是，在步骤806处，根据上述方法，可以通过基于摄像机的畅通路径分析检测出畅通路径。在步骤810处，执行在步骤806中使用的任意多种方法的融合，以通过多种方法产生行驶畅通路径。上文已经论述了这些方法及其组合。在步骤804处，检测道路几何形状的道路模型可以被确定并且在步骤808处被分析。道路模型包括确定道路几何形状，确定道路几何形状可以包括检测车道标记的位置和/或道路边缘的位置。步骤804的输入可以包括图中示出的图像输入、独立的LIDAR输入、或任何其他足以准确检测车道标记和/或道路边缘的方法。可以在步骤804中使用多种方法来确定道路模型。在步骤812处，所分析的道路模型可以通过检测到并融合了的畅通路径来扩充，或者与检测到并融合了的畅通路径相融合，以便实现互利改良。互利改良为检测到的畅通路径提供信心，并且额外地可以使用互利改良来推断车道标记和/或沿道路的道路边缘的位置。在步骤814处，可以基于在步骤812处确定的互利改良来确定更优的畅通路径。

如上所述，通过处理模块监测并分析由摄像机装置生成的一个图像或多个图像。基于来自摄像机***的分析图像，可以确定畅通路径，在该畅通路径上，可以从图像中的不表示潜在道路表面其他部分估计出潜在的道路表面。例如，参照图9，第一方案使用车辆前方的视场中的富含纹理的图像分析，其中，基于图像内的环境视图描述不同关切点的被分析的像素特征被绘图，并且被用于确定宿主车辆前方的畅通路径。在另一个示例中，参照图16和19，第二方案使用无纹理图像分析来滤除图像中的不属于平坦一致的道路表面的不一致区域，其中，多个滤波图像被融合在一起以确定畅通路径。

以上方法描述了基于摄像机的方法，通过这些方法可以估计畅通路径。如上所述，LIDAR可以作为额外的或可替换的输入而使用，以检测车道标记和道路边缘。用于这种检测的LIDAR的使用在同时待审且共同转让的美国专利申请NO.12/175634中公开，该专利申请的名称为基于LIDAR的几何道路曲线检测，并且该申请通过引用并入本文。LIDAR发射光并且检测返回的光。返回的光的大小描述被检测表面的反射率。例如，道路表面与在道路标记中使用的反射性涂料在返回光方面存在明显差别，因此可以用于检测表示车道标记的位置的图案。此外，返回光可以描述与被检测表面之间的距离。这种横跨表面的距离可以描述该表面的纹理，并且在道路与中间分隔带、路肩、或覆盖道路侧边的草之间检测到的纹理差异可以用于检测道路边缘。LIDAR返回光的使用可以采用多种实施方式，并且本发明不限制于此处描述的特定的示例性实施方式。

在本发明的示例性实施方式中，用于确定道路模型的示例性过程900在图22中示出。道路模型包括确定道路几何形状，确定道路几何形状包括检测车道标记的位置并且来自所获取的图像数据。过程900使用以上论述的基于摄像机的感测技术。过程900使用并行处理方法，这些处理方法包括：(1)亮度规范化(lighting normalization)步骤，(2)线检测步骤，(3)哈夫变换(Houghtransformation)步骤以及(4)错误警报阻止步骤。

如图20所示，参照步骤902，由摄像机装置生成描述车辆外部的视场的图像。图20示出了包括道路边缘702、车道标记704、车道706和地平线708的示例性视场700。示出了视场的图像包括像素阵列。在步骤904中，对来自摄像机装置的图像应用亮度规范化。如上所述，规范化是改变像素强度值的范围的过程。规范化的目的在于使图像处于更适合机器处理的范围内，以提高可靠性。例如，将每个像素值规范化为零均值和单位方差，以增强图像对比度，尤其在低亮度环境中或者当由于反光而对比度弱时。

将规范化的图像分成多个平行处理路径，用于几个主要定向角度中的道路几何形状检测。参照方块906a-f，在每个主要定向角度α中，用具有α角度的定向线检测滤波器对规范化的图像数据求卷积，用于检测道路几何形状的具有接近α的角度(即主体部分)的线。此外，用具有α角度的定向边缘检测滤波器对规范化的被捕获图像数据求卷积，用于检测具有接近α的角度的、限定道路几何形状线的边界的边缘。定向线检测滤波器以不同的角度定向，用于识别车道标记的各个方向(例如，α＝0，α＝30，α＝60，α＝90，α＝120以及α＝150)。例如，通过选择性地将一组定向滤波器与弯曲的车道标记进行匹配，以便识别出该弯曲的车道标记的各个区段以及各个区段的定向角，用于该弯曲的车道标记的被捕获图像数据便会被识别出来。通过将以不同角度定向的直线连接在一起来检测曲线。联接每个都以不同角度定向的直线便能够识别出车道标记的曲率。也就是说，对于弯曲的车道标记而言，多个定向车道检测滤波器被应用于车道标记的多个区段，以生成识别出该车道标记的每个区段的方向的滤波响应。上述定向检测滤波器可以是高斯滤波器(Gaussian filter)的一阶和二阶导数(firstand second derivatives)。

参照步骤908a-f，哈夫变换(Hough transform)技术被用于识别道路几何形状的线段，以得到道路几何形状的候选点。哈夫变换是用于得到正被分析的候选点的形状类别中的物体的有瑕疵情形的特征提取技术。哈夫变换涉及图像的候选点中的线的识别，并且更具体地涉及图像中的候选点内的线的位置和角度的识别。例如，步骤906a中的具有α＝0角度的定向边缘检测滤波器和定向线检测滤波器用作预处理器，以获得规范化图像中的具有接近α＝0的角度(具有沿α的垂直方向的大的正性线滤波器响应以及大的正性和大的负性边缘滤波器响应)的期望线条上的候选点。由于定向边缘检测滤波器、定向线检测滤波器、或者规范化的被捕获图像数据中的噪声中的缺陷，在期望直线/曲线上可能会丢失像素或存在由滤波结果生成的噪声。因此，可以通过基于图像中的候选点来参数化这些线而实现将候选点分组到候选线段中。哈夫变换技术主要基于候选点来确定是否存在足够的线的证据。如果存在足够的证据，则计算出该线的参数。哈夫技术用两个参数ρ和θ参数化哈夫域中的线，其中ρ表示线与原点之间的距离，而θ为线的角度。通过这种参数化，编写等式如下：ρ_i＝xcosθ_i+ysinθ_i (5)对于图像平面中的具有参数(ρ，θ)的线，穿越该线的所有点都遵循以上等式。结果，对于候选图像点，哈夫变换算法确定提取哪些线以及去除哪些线。

参照方块910a-f，将错误警报阻止分析同于验证通过哈夫技术提取的识别出的车道标记是车道标记。为了执行错误警报阻止分析测试，在全局坐标(world coordinates)中，通过相对于地平面的摄像机校准来确定每个识别出的车道标记的长度。接下来，将每个识别出的车道标记的长度与预定长度相比较。预定长度代表相应的车道标记必须具有以便被认为是车道标记的最小长度。如果长度大于预定长度，则识别出车道标记被认为是车道标记。如果长度(1)小于预定长度，则识别出的车道标记不被认为是车道标记。

第二错误阻止分析测试可以额外地或代替上述错误警报阻止分析测试而使用。在全局坐标中，通过相对于地平面的摄像机校准来确定介于第一个识别出的车道标记与第二个识别出的车道标记之间的距离，该第二个识别出的车道标记平行于第一个识别出的车道标记。将该距离与预定宽度相比较。该宽度代表车道的至少最小宽度。然后，响应于小于预定宽度的宽度而作出第一个和第二个识别出的车道标记是否为车道标记的确定。如果第一个与第二个识别出的车道标记之间的宽度小于预定宽度，则作出第一个和第二个识别出的车道标记不是车道标记的确定，或者各识别出的车道标记中至少一个不是车道标记。这个相应的错误警报阻止测试帮助辨别车道标记和阴影，这些阴影来自树和在道路上留***影的其它物体。

参照步骤912，执行道路模型调试和追踪。如上所述，将并列过程应用于规范化的图像，这些过程包括线检测步骤906、哈夫变换步骤908和错误警报阻止步骤910。规范化的图像数据通过具有α角度的定向线检测滤波器被求卷积，用于检测车道标记的具有接近α的角度的线。应该知道的是，步骤906a-910a对应于具有α＝0角度的定向线检测滤波器，步骤906b-910b对应于具有α＝30角度的定向线检测滤波器，而步骤906f-910f对应于具有α＝150角度的定向线检测滤波器。调试并追踪具有α角度的每个定向线检测滤波器的检测到的线，以检测车道标记的位置，如步骤914中所示。

如上所述，道路几何形状还可以包括道路边缘的位置。道路边缘可以由路缘、路肩、自行车道或中间分隔带限定，但不局限于此。道路边缘的位置可以通过多种方法确定。例如，可以基于来自摄像机***的被分析图像来检测道路边缘，所述图像对应于预定的可识别的富含纹理特征，例如表示道路边缘的像素。在另一个示例中，可以利用无纹理图像分析来检测道路边缘，以便从图像中滤除不属于平坦一致的道路表面的非一致性图像区域，其中，将多个滤波图像融合在一起以检测道路边缘。在另一个示例中，可以利用来自LIDAR***的监测数据来检测道路边缘。

应该知道的是，通过上述任意方法检测到的包括车道标记和道路边缘的道路几何形状可以融合到一起，以生成确定的道路模型。从而分析确定的道路模型，并且通过互利改良、用所确定的畅通路径来扩充该道路模型或者使该道路模型与所确定的畅通路径相融合，以确定更优的畅通路径。从而可以在车辆导航中使用该更优的畅通路径。例如，车辆中的自主转向模块可以包括图像显示装置，其中，自主转向模块使用更优的畅通路径，从而自主地使车辆位置维持在检测到的车道标记之间。在另一个示例中，车辆中的速度控制装置可以利用更优的畅通路径，从而在检测到的车道标记之间自主地维持车速。此外，图像显示装置可以突出显示例如检测到的车道标记和检测到的道路边缘的道路几何形状，用于为车辆驾驶员在视觉上增强车道，如图20中所示。突出显示是本领域公知的，其指的是识别图像数据中的车道标记或路段的位置，并且可以通过用于显示图像数据中的车道标记或路段的位置的任何相当的方法来实现。

图21的步骤812示出了互利改良，输入畅通路径和物***置或追踪信息，输出更优的畅通路径。从以上描述的方法应该知道的是，畅通路径可以从道路模型中受益，扩充了对何种区域可能是畅通路径的理解。应该知道的是，可以通过识别畅通路径的分析来类似地实现更优的道路模型。例如，将通过限定行驶车道的可视属性来频繁地限定畅通路径的边界。确定道路模型的计算资源可以专用于畅通路径的边界，以便最有效地确定需要的标记和道路模型所需的边缘。这种分析能够通过连续图像而反复加强，从而沿畅通路径和道路模型的行驶路径建立信心。此外，可以通过畅通路径分析和加强单个图像的道路模型属性的多种迭代来反复核查单个图像。这种分析循环可以有利地改进初始假定和分析结果。图23以绘图方式示出了根据本发明的这种迭代分析。步骤812被示出为包括步骤809中的道路模型改良和步骤811中的畅通路径改良。如上所述，步骤812输出更优的畅通路径，并额外地输出更优的道路模型。

如上所述的互利改良可以采用几种不同的实施方式。一个特定的实施方式包括使用道路模型来限定可能是畅通路径的区域和不可能是畅通路径的区域。沿当前行驶车道的右侧的道路边缘使得当前车道的右侧不可能为畅通路径。类似地，描述车辆不可能行驶的区域的限定的畅通路径可用于将车道标记和道路边缘检测技术集中在畅通路径描述为可能包括道路表面的区域上。

本发明已经描述了某些优选实施方式及其改型。在阅读并理解说明书的情况下可以对这些实施方式作出进一步改型和变型。因此，可以预期的是，本发明不限于作为实施本发明的预期最佳模式而公开的特定实施方式，而是包括落入所附权利要求的范围之内的所有实施方式。

Claims

1.一种用于检测车辆行驶的畅通路径的方法，该检测包括通过图像分析进行的畅通路径检测与描述道路几何形状的道路几何形状数据的融合，所述方法包括：

监测来自车辆上的摄像机装置的图像；

通过畅通路径检测分析来分析图像，以确定图像内的行驶畅通路径；

监测道路几何形状数据；

分析道路几何形状数据，以确定道路几何形状数据对畅通路径的影响；

基于对道路几何形状数据的上述分析来修正畅通路径；以及

在车辆导航中使用修正后的畅通路径。

2.根据权利要求1的方法，其中，分析道路几何形状数据以确定道路几何形状数据对畅通路径的影响包括检测当前行驶道路的车道标记。

3.根据权利要求2的方法，其中，监测道路几何形状数据包括监测来自所述摄像机装置的图像。

4.根据权利要求3的方法，其中，检测当前行驶道路的车道标记包括：

对道路几何形状数据应用亮度规范化，以生成规范化的道路几何形状数据；

用边缘检测滤波器对所述规范化的道路几何形状数据求卷积，以便生成基于边缘的滤波响应；

用线检测滤波器对所述规范化的道路几何形状数据求卷积，以便生成基于线的滤波响应；

响应于基于边缘的滤波响应和基于线的滤波响应来选择候选的车道标记；以及

将变换技术应用于所述候选的车道标记，以便识别车道标记。

5.根据权利要求4的方法，进一步包括应用错误警报阻止分析，该错误警报阻止分析用于验证识别出的车道标记是否为车道标记，其中，所述错误警报阻止分析包括：

确定识别出的车道标记的长度；

将所述长度与预定长度相比较；以及

响应于所述长度大于所述预定长度而确定识别出的车道标记为车道标记，否则，确定识别出的车道标记不是车道标记。

6.根据权利要求4的方法，进一步包括应用错误警报阻止分析，该错误警报阻止分析用于验证识别出的车道标记是否为车道标记，其中，所述错误警报阻止分析包括：

确定第一个识别出的车道标记与第二个识别出的车道标记之间的距离；

将所述距离与预定宽度相比较，所述预定宽度至少代表车道的宽度；以及

基于小于所述预定宽度的宽度而确定所述第一个车道标记和所述第二个车道标记为车道标记，否则，确定所述第一个车道标记和所述第二个车道标记不是车道标记。

7.根据权利要求6的方法，其中，确定所述第一个车道标记和所述第二个车道标记为车道标记进一步基于确定所述第一个车道标记和所述第二个车道标记彼此平行，否则，确定所述第一个车道标记和所述第二个车道标记不是车道标记。

8.根据权利要求4的方法，其中，检测当前道路的车道标记被实时执行。

9.根据权利要求4的方法，其中，道路几何形状数据被分割为以不同角度定向的、代表车辆道路中的潜在车道标记的曲率的多条直线。

10.根据权利要求9的方法，其中，所述边缘检测滤波器包括多个基于边缘的定向滤波器，其中，每个基于边缘的定向滤波器被应用于每条被分割的直线。

11.根据权利要求9的方法，其中，所述线检测滤波器包括多个基于线的定向滤波器，其中，每个基于线的定向滤波器被应用于每条相应的被分割的直线。

12.根据权利要求2的方法，其中，监测道路几何形状数据包括监测来自LIDAR***的返回数据。

13.根据权利要求1的方法，其中，分析道路几何形状数据以确定道路几何形状数据对畅通路径的影响包括检测当前行驶道路的道路边缘。

14.根据权利要求13的方法，其中，检测当前行驶道路的道路边缘包括：

监测来自所述摄像机装置的图像，所述图像包含多个像素；

将富含纹理的分析用于分析所述像素；以及

基于表示道路边缘的像素图案来识别道路边缘。

15.根据权利要求13的方法，其中，检测当前行驶道路的道路边缘包括：

监测来自所述摄像机装置的图像；以及

将无纹理分析用于分析所述图像，这种分析包括：

对所述图像进行滤波，以便从所述图像的不表示潜在道路边缘的其它部分中分离出所述图像的能够估计出道路边缘的部分，以及

基于所述滤波来确定道路边缘。

16.根据权利要求13的方法，其中，监测道路几何形状数据包括监测来自LIDAR***的返回数据。

17.一种用于确定车辆行驶的更优的畅通路径的方法，所述方法利用对位于车辆上的摄像机装置生成的多个图像的分析，所述方法包括：

监测来自所述摄像机装置的图像；

分析来自所述摄像机装置的图像，这种分析包括：

通过基于摄像机的畅通路径分析来确定畅通路径，在所述畅通路径上，可以从所述图像的不表示潜在道路表面的其他部分中估计出潜在道路表面，

确定描述道路几何形状的道路模型，所述道路几何形状包括：

检测车道标记，以及

检测道路边缘，

分析所述道路模型和所述畅通路径；

扩充所述道路模型和所述畅通路径，以确定更优的畅通路径；以及

在车辆导航中使用所述更优的畅通路径。

18.一种用于检测车辆行驶的畅通路径的***，该检测利用来自位于车辆上的摄像机装置的多个图像的分析，所述***包括：

所述摄像机装置；以及

处理模块，所述处理模块执行下列操作：

监测所述图像，并且

分析所述图像，这种分析包括

从所述图像的不表示行驶畅通路径的其他部分中确定出行驶畅通路径，以及

基于所述分析确定道路模型，

分析所述畅通路径和所述道路模型，

基于所述畅通路径和所述道路模型的分析来修正所述畅通路径，以及

基于修正后的畅通路径帮助所述车辆导航。

19.根据权利要求18的***，进一步包括自主转向***和速度控制装置，其中，所述自主转向***和速度控制装置能够基于对来自摄像机***的图像的分析进行操作。