CN101963509A

CN101963509A - 通过地形变化分析来检测畅通路径的方法

Info

Publication number: CN101963509A
Application number: CN2009102468231A
Authority: CN
Inventors: W·张; S·M·奈克
Original assignee: GM Global Technology Operations LLC
Current assignee: GM Global Technology Operations LLC
Priority date: 2009-05-08
Filing date: 2009-10-23
Publication date: 2011-02-02
Anticipated expiration: 2029-10-23
Also published as: CN101963509B; US20100098290A1; US8428305B2; DE102009050504A1

Abstract

本发明涉及通过地形变化分析来检测畅通路径的方法。一种检测车辆行驶的畅通路径的方法，其中，检测包括多种分析的融合，该方法包括：监测来自摄像机装置的图像；通过畅通路径检测分析来分析图像，以确定图像内的行驶畅通路径；利用地形变化分析来分析车辆前方的区域，以确定车辆能够行驶的平坦表面；将行驶畅通路径以及所确定的平坦表面进行组合，以描述更优的行驶畅通路径；以及利用更优的行驶畅通路径对车辆进行导航。

Description

通过地形变化分析来检测畅通路径的方法

本申请是2009年10月19日提交的申请号为12/581,659的美国申请的部分继续申请，该在先申请是2009年5月29日提交的申请号为12/474,594的美国申请的部分继续申请，而前述在先申请是2008年4月24日提交的申请号为12/108,581的美国申请的部分继续申请。2009年10月19日提交的申请号为12/581,659的美国申请要求2009年5月8日提交的申请号为61/215,745的美国临时申请的优先权。申请号为12/581,659的美国申请、申请号为12/474,594的美国申请、申请号为12/108,581的美国申请以及申请号为61/215,745的美国临时申请通过引用并入本申请中。

技术领域

本发明涉及机动车辆的自动或半自动控制。

背景技术

本部分的陈述仅仅提供与本发明相关的背景信息，可能不构成现有技术。

自主驾驶***和半自主驾驶***利用与路况和其它驾驶情况相关的输入来自动控制节气门和转向机构。精确地估计并识别机动车辆所能行驶的畅通路径，对于成功取代以人脑作为控制机构的车辆操作来说是至关重要的。

路况可能会很复杂。在车辆正常操作的情况下，驾驶员每分钟进行数百次观察并根据所感知的路况来调整车辆操作。感知路况的一个方面是感知车道上和周边的物体并在物体中间导航出畅通路径。用科技来取代人类的感知首先包括精确感知物体的手段，例如，包括静态物体(如路缘等)、移动物体(如其他车辆)以及路面情况(如车道标记、凹坑或者车道上的结冰区域)；还包括继而根据这些与导航相关的信息进行有效地驾驶。

感知物体或路况的科技手段包括从视频摄像机、雷达成像、激光雷达、车辆之间的通信、车辆与基础设施之间的通信所得到的数据以及使用由数字地图得到的全球定位数据。摄像机将辐射形式的视觉图像-如光图案或红外特征转换成可读数据格式。一种这类数据格式包括像素图像，在像素图像中，感知到的场景被分割成一系列像素。雷达成像利用发射器产生的无线电波来估计出现在发射器前方的形状和物体。由这些形状和物体反射回来的电波图案能够被分析，从而估计物体的位置。

有关车辆前方地面的数据一旦产生，这些数据必须经过分析来估计物体或者路况的存在。通过使用摄像机和雷达成像***，可以分析车辆前方的地面或道路，从而得到可能需要避开的物体或路况。然而，仅仅识别那些需要避免的潜在导航因素并没有完成分析过程。任何自主***的一个重要元素都包括如何处理并操纵在所感知的地面数据中识别出的潜在导航因素以便识别操作车辆的畅通路径。

一种已知的识别操作车辆的畅通路径的方法是将所有感知到的导航因素进行分类并临时性地识别所有感知到的导航因素，并且根据所识别的导航因素的位置和特性来识别畅通路径。可根据图像的形式以及图像与道路的关系来处理这些图像，从而识别并分类导航因素。尽管在识别畅通路径时该方法是有效的，但是其需要大量的处理能力，例如，在视觉图像中辨别不同的物体并对其进行分类，比如区分路边的树以及走向路缘的行人。这些方法在处理复杂情况时的速度慢或者有效性差，或者需要笨重且昂贵的设备来提供必须的处理能力。

发明内容

一种检测车辆行驶的畅通路径的方法，其中，检测包括多种分析的融合，所述方法包括：监测来自摄像机装置的图像；通过畅通路径检测分析来分析图像，以确定图像内的行驶畅通路径；利用地形变化分析来分析车辆前方的区域，以确定车辆能够行驶的平坦表面；将行驶畅通路径以及所确定的平坦表面进行组合，以描述更优的行驶畅通路径；以及利用更优的畅通行驶路径对车辆进行导航。

附图说明

现在将参考附图通过示例来描述一个或多个实施方式，附图中：

图1所示的是配备有根据本发明的摄像机和雷达成像***的车辆的示例性设置；

图2所示的是根据本发明的一种在自主行驶中确定畅通路径的已知方法；

图3所示的是根据本发明的一种使用图像几率分析来确定畅通路径的示例性方法；

图4所示的是根据本发明的一种分析图像的示例性方法；

图5所示的是根据本发明的一种通过调整单个阈值来确定分类误差的示例性方法；

图6A、6B和6C所示的是根据本发明的一种通过计算绝对图像强度差别来确定图像差别的示例性方法；

图7所示的是根据本发明的、将一个特征同时分类为畅通路径的一部分和被检测物体的、作为图像分析方法的一种示例性方法；

图8所示的是根据本发明的、将一个特征同时分类为畅通路径的一部分和被检测物体的、作为图像分析方法的另一种示例性方法；

图9所示的是根据本发明的一种基于补片来检测畅通路径的示例性方法的流程图；

图10所示的是根据本发明的一种基于纹理像素来检测畅通路径的示例性方法的流程图；

图11所示的是根据本发明的一种基于无纹理像素来检测畅通路径的示例性方法的流程图；

图12所示的是根据本发明的在车辆行驶过程中相对于地面的车辆，其中包括被识别特征的不同摄像机视角；

图13所示的是根据本发明的相对于地平面的摄像机；

图14以图表方式示出了根据本发明的畅通路径分析、雪高度检测以及地面估计的示例性操作；

图15A和15B所示的是根据本发明的示例性图像，所述图像包括通过雪高度变化检测分析来分析的示例性图像区域；

图16所示的是根据本发明的一种通过检测到的雪高度变化和估计出的地平面来增加畅通路径检测分析的示例性方法的流程图；

图17以图表方式示出了根据本发明的一种示例性的迭代分析。

具体实施方式

现在参考附图，附图的目的仅在于示出某些示例性实施方式，而并非用于限制本发明，图1所示的是根据本发明的摄像机110的示例性设置，摄像机110定位在车辆100前部并指向车辆100前方的地面。摄像机110与处理模块120进行通讯，处理模块120包含处理来自摄像机110的输入的逻辑算法。车辆100也可以配备雷达成像***130，当配备雷达成像***130时该***同样也与处理模块120进行通信。本领域技术人员应该理解的是，车辆100能够利用多种方法来识别路面状况，这些方法可与摄像机110和雷达成像***130同时使用或者选择使用，包括GPS信息、来自与车辆100通信的其他车辆的信息、特定道路的历史数据、生物检测信息-例如读取驾驶员视觉焦点的***信息、雷达成像***或者其他类似***。本发明可应用于各种设备，因此不局限于此。

摄像机110是本领域公知的，其能够将光辐射、红外辐射或其他电磁(EM)辐射形式的视觉输入转换成易于分析的数据格式，例如数字图像、像素图像。在一个实施方式中，摄像机110使用电荷耦合装置(CCD)传感器来产生表示视场的图像。优选地，摄像机110被配置成连续产生图像，例如，每秒钟产生30幅图像。由摄像机110产生的图像可以存储在摄像机110内的存储器中或者传给处理模块120来存储和/或分析。优选地，摄像机110所产生的每幅图像都是由多个可识别像素构成的、已知像素维度的二维图像。多个可识别像素能够以阵列方式来存储和分析。每个像素可以在阵列中表示为一组比特(bit)或多组比特，其中，比特对应于预定调色板或色彩图中的颜色。例如在红-绿-蓝(RGB)颜色模式或青-品红-黄-黑(CMYK)颜色模式中，每个像素能够表示成多个颜色强度值的函数。优选地，每个像素包括多组比特，其中每组比特对应于一个颜色强度和一个颜色强度值，例如，在RGB颜色模式中，第一组比特对应于红色强度值，第二组比特对应于绿色强度值，第三组比特对应于蓝色强度值。

雷达成像装置130是本领域公知的装置，其包含如下设备：发射器，其能够发射无线电波或其他电磁辐射；接收器，其能够感测被发射器前的物体反射而回到接收器的发射波；以及将感测到的波转换成能够分析的数据格式的装置，这些数据表示出从物体反射回的波的范围和角度等信息。替代性地，可使用光检测和测距(LIDAR)***来取代雷达成像装置130或者作为期补充，光检测和测距***被构造成发射并接收光能量。接收到的光能量可以用来确定车辆100附近的物体的尺寸和/或几何参数。需注意的是，对于执行这里公开的很多方法而言，雷达成像装置130是可选的而不是必须的，其中，处理视觉图像能够实现畅通路径检测。此处所用的术语“畅通路径(clear path)”的含义对本领域普通技术人员来说是普通的、常规的含义(并且不限定于特殊的或专用的含义)，其指的是-但不局限于不存在超过阈值的物体的路径，例如，不存在被分入上述第二和第三类的物体的路径。

图1示出了处理模块120，这里将处理模块120描述成一个分立元件。这种图示是为了描述方便，应该认识到这个元件所实现的功能可以由一个或多个装置组合完成，例如在软件、硬件和/或专用集成电路中执行。处理模块120可以是一个通用数字计算机，其包括：微处理器或中央处理单元；由包括只读存储器的非易失性存储器和电子可编程只读存储器组成的存储介质；随机存取存储器；高速时钟；模-数和数-模转换电路；输入/输出电路和装置以及适当的信号调节和缓冲电路。可替换地，处理模块120可以是一个数字信号处理(DSP)单元，例如现场可编程门阵列的定制集成电路。处理模块120具有一组处理算法，这些算法包括在非易失性存储器中存储并且被执行以提供所需功能的常驻程序指令和校准值。算法优选在预设环路循环中执行。算法由中央处理单元执行，并能够监测来自上述检测装置的输入，并且这些算法通过使用预设的校准值来执行控制和诊断程序以便控制致动器的操作。环路循环可以规则性间隔执行，例如，在发动机运行和车辆操作中，每3.125、6.25、12.5、25和100毫秒执行一次。可替换地，算法可以响应于事件的发生来执行。

处理模块120处理在其中存储的算法代码，以便监测相关仪器，如摄像机110、雷达成像***130，并执行在处理模块内进行的分析所指示的命令或数据传输。处理模块120可包括算法和机构来实现自主驾驶控制，其实现方式在本领域中是已知的，在此不再详述；或者，处理模块120可以仅仅为一个独立的自主驾驶***提供信息。处理模块120适于在必要的时候接收来自其他***和操作者的输入信号，这取决于与控制模块结合使用的具体实施方式。

图2所示的是根据本发明的一种在自主行驶中确定畅通路径的已知方法。对应于车辆100前方的道路产生图像10。通过多种方法中的一种，物体 40A、40B和40C在图像10内被识别，且每个物体根据过滤和训练的物体特性来进行分类。每个物体的单独处理在计算量方面的强度较大，需要昂贵且笨重的仪器才能承受这种计算负荷。一种算法处理所有与道路和物体40有关的可用信息，以便估计对车辆100来说可行的畅通路径。畅通路径的确定取决于被识别物体40的特定分类和特性。

图3所示的是根据本发明的一种为自主或半自主行驶确定畅通路径的示例性方法。图像10示出为包括地面20、水平线30以及物体40。图像10由摄像机110收集，并表示车辆100前方的道路环境。地面20代表了在不考虑任何潜在物体的情况下所有可供车辆行驶的路径。图3所示的基于路面20确定畅通路径的方法首先假设所有地面20都是畅通的，然后利用可用数据来确定地面20的某些部分是不畅通的。图2是将每个物体40进行分类，与图2的方法不同，图3的方法分析地面20，并从可用数据中限定出畅通路径信心几率，其中，可用数据指的是因为一些异常而限制通行或不畅通的那部分地面20的数据，这些异常是可检测的且可能代表物体40。关注地面20而不是物体40就避免了检测物体所带来的复杂的计算任务。单独分类和对每个物体进行追踪就不是必须的了，因为独立的物体40都被简单地统一为地面20上的整体均匀阻碍的一部分。上述地面20-也即在不进行区分的情况下都能够行驶的路径减去地面20上被发现不畅通的不畅通区域，就可定义出畅通路径50，也即图3中虚线内的区域，或者具有允许车辆100行驶的某个阈值信心几率的区域。

在地面20上产生不畅通限制的物体40有多种形式。例如，物体40可以代表一个独立的物体，如：停着的汽车、行人或者道路障碍；物体40还可以代表不太明显的表面图案变化，这些变化指示诸如路侧缘的路边缘、草的轮廓线或者道路上的水。物体40还可以包括与地面20相联系的平坦路面的缺失，例如，路面上的大坑。物体40还可以包括相对于路面在高度上没有任何明显变化的指示牌，但对于该路段来说是明显的畅通路径提示，例如道路上的指示车道标记的图案。这里公开的方法并没有试图去识别物体40，而是通过提取地面20上的视觉线索以及所有在图像10中的地面附近的物体，从而评估不畅通路径和畅通路径的畅通路径信心几率，并在任何物体40存在时调整车辆100的控制。

二维(2D)图像的自动分析有多种可行的方法。由处理模块120内的算法对图像10进行分析。图4所示的是根据本发明的一种可用于分析图像10 的示例性方法。该方法将图像10细分，识别地面20上的子图像或补片60来进行分析，从补片60中提取特征或分析可用的视觉信息，以识别出其中的任何关切特征(interesting features)或区别特征，并依据对特征的分析、根据畅通路径的信心几率来对补片进行分类。大于特定几率阈值的补片被归类为畅通的，对这类补片的汇编能够用来构成图像内的畅通路径。

作为图像10的子图像，补片60能够通过多种已知方法来识别，例如，图像10的随机搜索或密集搜索。可替换地，从其他信息源-例如雷达成像***130得到的有关物体40存在的信息能够用来识别补片，以分析能够描述物体40的那部分图像10。图像10需要很多补片60来分析整个图像。另外，多个叠层补片或不同大小的补片能够用来全面分析包含关切信息的图像10的区域。例如，一个小的补片60能够用来分析路上的一个小点；然而，一个大的补片60需要用来分析一系列的点，这些点独自看来都不是关切点，但是对于整个系列来说，其能够指示出关切物体40。另外，应用到某特定区域的补片的分辨率可以基于可用信息进行调制，例如，可应用更多的补片到图像10中的物体40可能存在的区域。多种手段或策略可以用来确定用于分析的补片60，本发明不限于这里所述的具体实施方式。

一旦补片60已被识别而用于分析，处理模块120就通过将已知的特征识别算法应用到该补片而对该补片进行处理。另外，处理模块120能够对补片相对于车辆位置的位置进行分析。特征识别算法寻找可用的视觉信息，以便找到与物体相关的图像中的特征性图案，包括由线的方向、线的位置、颜色、角落特点、其他视觉属性和学习属性所定义的特征。特征识别算法可以被应用到连续图像中以识别与车辆运动对应的变化，其中，与地面运动不相关的变化可能被识别为不畅通路径。学习属性可通过车辆内的机器学习算法来学得，但学习属性通常进行离线编程，且能够通过足以精确地训练区别属性的建模或其他技术以实验方式、经验方式、预测方式来开发。

一旦补片60中的特征被提取，补片就基于特征被分类以确定路径是否为畅通路径的信心几率。几率分析在本领域是已知的，在这种分析中存在某特定条件的几率值或信心被导出。应用到本发明中，分类包括几率分析以确定补片是否代表畅通路径、或者该补片中的地面20是否被物体40所限制。在一个示例性实施方式中，分类通过应用分类器或算法来实施，其中，所述算法因被训练而含有数据库，该数据库包括示例性路况以及与被检测物体的相互作用。这些分类器允许处理模块120导出补片60的分数型式的畅通路径几率值，该几率值将信心值量化在0与1之间，在该区间中，在补片内识别出的特征并不代表一个将会限制车辆100自由行驶的限制物体40。阈值信心限定确定该补片是畅通路径的畅通路径几率，例如可通过如下逻辑来设定阈值信心：信心＝畅通路径几率(i)如果_信心＞0.5，那么_补片＝畅通路径 (1)在这个特定的示例性实施方式中，50％或者0.5的信心被选定为阈值信心。该数字能够通过足以精确评估用于畅通路径特征的补片的建模或其他技术而实验方式、经验方式、预测方式来得出。

在一个示例性实施方式中，如上所述的几率分析能够通过将训练过的分类器应用到从补片提取的特征来实现。一种方法通过使用一组训练图像来分析假定的特征。在该训练阶段，从一个原始特征组中来选择区别特征，区别特征由本领域的已知方法定义，例如Harr小波、Gabor小波以及Leung和Malik滤波器组。另外，基于每个特征的最小分类误差并且计算为错误接受率(FAR)和错误拒绝率(FRR)的总和的二维图像位置信息能够通过调制图5所示的单一阈值而被使用。这种分类误差能用下面的表达式来描述：分类误差(i)＝FAR_i+FRR_i (2)从训练过的分类器中得到的信息用来分类或加权特征，作为指示畅通路径或不畅通路径的特征。该特定分类取决于与训练数据的比较强度。如果该特征是补片内的唯一特征，那么该特征的分类能够直接应用到该补片。有多个识别特征的补片的分类可能有多种形式，包括由最能代表补片是不畅通的包含特征来定义补片，或者由所有包含特征的加权和来定义补片。

上述方法能够用来检查单一图像10，并基于图像10内所包含的视觉信息来估计畅通路径50。该方法可以随着车辆沿道路行驶而以某种间隔重复，从而考虑新的信息并将确定的畅通路径扩展至车辆的新位置前方的某些范围。间隔的选择必须能够以足量频率来更新图像10，以便准确地为车辆100提供行驶的畅通路径。然而，该间隔也可以选择为足以控制车辆同时不会对处理模块120施加过度的计算负荷的某个最小值。

如上所述，畅通路径检测能够通过单一图像10来完成。但是，补充使用与原始图像的时间间隔非常近的第二幅图像，例如从连续视频补片得到的一系列图像，则能够提高处理速度和精确度。第二幅图像能够与第一幅图像直接比较，并提供有关车辆行进和被检测物体运动的最新信息。同时，摄像机110视角的改变允许对第一幅图像中的特征进行不同的分析：在第一幅图像中没有清晰地显现的或者不清楚的特征可能在不同的摄像角度中出现、更加清楚，或者与第一幅图像相比已经移动的特征，也能够使得分类算法有额外的机会来定义该特征。

处理与原始图像10相关的第二幅图像能通过计算图像差异来进行。如果关切点的图像差异-例如由雷达识别出的特征不是0，那么该点能够被识别为体现新的信息。图像差别为0的点能够从分析中排除，且计算资源能够保留。确定图像差异的方法包括绝对图像强度差异和车辆运动补偿的图像差异。

通过计算绝对图像强度差异而确定图像差异能够用来收集两幅图像之间的信息。一种绝对图像强度差异方法包括如下步骤：确定原始图像与第二幅图像之间的等效图像特征，以便补偿图像之间的车辆运动；重叠图像；并标注出图像强度之间的任何的显著变化。表示图像强度在某个特定区域的变化的图像之间的比较包含新的信息。强度上显示出无变化的区域或补片在分析中不再被强调，而在强度上显示出明显变化的区域被重点关注，使用上述方法来分析任一或两个所获取的图像上的补片。

图6A、6B和6C示出根据本发明的一种通过计算绝对图像强度差异来确定图像差异的示例性方法。图6A示出了原始图像。图6B示出了比原始图像有所变化的第二幅图像。特别是圆圈向左移动了。图6C示出了两幅图像的比较，所得结论代表了绝对图像强度差异比较的结果，从第一幅图像到第二幅图像识别出一个区域的亮度变深、另一个区域的亮度变浅。这种方法能够描述为区别。这种比较分析产生某种信息，该信息表明由运动或视角变化引起的某种变化可能存在于图像区域中。这样，绝对图像强度差异能够用来分析一对连续图像以识别潜在的不畅通路径。

同样，通过计算车辆运动补偿的图像差异来确定图像差异能够用来收集两幅图像之间的信息。计算车辆补偿的图像差异的很多方法是已知的。一种计算车辆补偿的图像差异的示例性方法包括分析一个潜在物体，将其同时作为畅通路径的静态部分以及被检测物体。对特征实施几率分析，其中，该特征是根据同时对两种分类的潜在物体进行识别所得到的，分类可以被比较，例如可通过以下逻辑进行这种比较：信心(i)＝畅通路径几率(i)-被检测物体几率(i)如果_信心＞0，那么_补片＝畅通路径 (3)在这种示例性的比较中，如果信心(i)大于0，那么包含该特征的补片被分类为畅通路径。如果信心(i)等于或小于0，那么包含该特征的补片被分类为不畅通路径或受限制路径。然而，可以选择不同的信心水平数值来将路径分类为畅通路径。例如，测试可能会表明错误正值比错误负值更有可能出现，因此可能会引入一些因数或偏差。

图7所示的是根据本发明的一种将特征进行分类的方法，如上所述，该特征同时作为畅通路径的一部分和被检测物体被分类。图像10包括物体40、梯形投影70和矩形投影80。这种方法假定投影物体40作为地面上投影70内的平面物体，以测试作为畅通路径的一部分的特征的分类。该方法还假设投影物体40作为一个在矩形投影80内的垂直物体，来测试特征作为被检测物体的分类。图8所示的是根据本发明对在两幅图像之间收集的数据进行比较以评价本发明的物体40的属性的方法。摄像机110在t₁时刻发现并以第一幅图像的形式获取了来自物体40的数据。如果物体40是一个实际检测到的物体，那么在t₁时刻摄像机110观测到的物体40的轮廓将与点90A相对应。如果物体40是一个与地面20在同一平面上的平坦物体，那么摄像机110在t₁时刻观测到的物体40的轮廓将与点90B相对应。在时刻t₁和t2之间，摄像机110行驶了一定的距离。在t2时刻获取第二幅图像，关于物体40的信息能用算法来进行测试，该算法着眼于第二幅图像相对于第一幅图像的可见属性。如果物体40是一个实际检测到的物体，且从地面20向上延伸，那么在时刻t2物体40的轮廓将在点90C处被观察到。如果物体40是一个与地面20在同一平面上的平坦物体，那么物体40在时刻t2的轮廓将在点90B处被观察到。通过车辆运动补偿的图像差异所得到的比较能够通过使用基于对点90进行观察的分类器直接设定一个信心值；或者，该比较可以简单地指向显示变化的区域，作为关切点。对被作为平坦物体和实际检测到的物体分类的物体进行的测试使得要么能够识别包含物体40的区域以便通过如上所述的补片分析进行进一步分析；要么能够直接得出畅通路径几率和被检测物体几率值以便例如在上述逻辑表达式3中进行比较。

从对第二幅图像的分析所得到的可用信息能够通过结合与车辆运动有关的信息而被额外改善，所述信息例如是速度和偏航率。与车辆运动有关的信息可以有很多来源，包括车辆测速仪、车辆动力传感器或车轮速度传感器、防抱死制动机构和GPS定位***。可在算法中利用这种车辆运动信息，例如结合图7和图8所示的投影，以便基于从第一幅图像得到的数据和车辆在两幅图像之间的测得运动来投影某些角度，所述角度应当出现在第二幅图像的地面上的平坦特征中。

比较所用的图像数量不一定限制为两个。多个图像分析可在多重迭代中实现，物体在多个循环中被跟踪和比较。如上所述，计算效率能够通过图像差异分析而得以提高，其中，图像差异分析识别关切点并剔除与后续分析具有0差异的区域。这种效率能够用在多重迭代中，例如，也就是说只有在第一幅图像和第二幅图像之间识别出的关切点在第三和第四幅图像中被分析。有时候，一组新图像需要被比较，以保证显示0差异的区域均没有任何变化，例如，一个移动物体撞击到之前识别出的畅通路径上。图像差异分析和聚焦分析的使用剔除了识别出零变化的区域，图像差异分析和聚焦分析的使用对于不同的应用和不同的操作条件而言是不同的，这些操作条件例如是车辆速度或所观察到的操作环境。图像差异分析和聚焦分析的特定应用可能有不同的实施方式，本发明不局限于此处提及的具体实施方式。

此处公开了使用畅通路径检测分析来识别畅通路径的多种方法，这些方法包括：基于补片的方法、基于像素的方法和基于示例的方法。这些方法优选地在处理模块120中执行，但是也可以组合在一个或多个装置中执行，例如，在软件、硬件和/或专用集成电路中执行。基于补片的方法在上文中以及此处参考图9进行描述。基于像素的方法在此参考图11和图12进行描述。应当理解，基于像素的方法根据像素或一组像素作出决定。被分析的组成补片的这种决定可基于补片内包含的像素来作出，例如，如果补片内的任何数量或某一最小数量的像素被确定为不畅通的，那么该补片就被确定为不畅通的。基于像素的示例性方法包括无纹理方法和富含纹理方法。富含纹理方法基于图像内前后视图的关系来分析图像中与像素相关的特征以确定明显的关切点。这些关切点与车辆100前方的视场相对应地被绘图，并基于地图上的关切点的地形来确定畅通路径。图像上的不一致区域不属于平坦连续路面的一部分，无纹理方法将这些区域进行过滤，剩下的像素就对应于畅通路径。通过比较，基于补片的方法在计算上相对较快，基于像素的方法在计算上相对较慢，而基于示例的方法在计算上更慢。

图9示出了根据本发明的一种基于补片的示例性方法200，其中，分析来自摄像机的输入以确定畅通路径几率。基于补片的方法200如图9所示，该方法在这里被描述为包含若干分立元件。这种图示是为了描述方便，这些元件所实现的功能可以组合在一个或多个装置中完成，如在软件、硬件和/或专用集成电路中执行。例如，基于补片的方法200可作为处理模块120中的一个或多个算法来执行。

在操作过程中，摄像机110产生用于处理模块120中的分析的图像(202)。处理模块120识别图像中的补片，并选择分析用的补片(204)。为了足以充分分析图像而定义多个补片的多种方法都在本发明中考虑了。如上所述，补片可以根据随机搜索方法或者密集搜索方法来定义。可替换地，从其他信息源-例如雷达成像***所得到的信息能够用来定义补片，以便分析图像的一部分。此外，多个重叠补片可以基于被分析图像中的关切区域而被利用。另外，可以使用多种方法来根据车辆前方的预期路面定义补片并得到畅通路径图案，例如：固定网格补片方法，将一些或所有图像根据规则补片图案进行划分；视角补片方法，与固定网格补片方法类似，不同点在于，其基于道路的视图并且在考虑每个补片中所包含的路面的量的情况下对补片大小和/或形状进行调制。这种车辆前方的预期路面能够通过输入图像的最初复查来判定，例如，使用能够定义车道边界的清晰可见的线来作为定义补片图案的最初参考。再例如，能够使用由畅通路径方法的最近一次迭代所得到的补片图案，并且基于反复定义的畅通路径和其他能在被分析图像中识别出的标识、通过迭代对其进行缓慢调制。

固定网格补片方法基于关切区域将图像识别并分割成多个补片，并将固定网格图案应用到关切区域。固定网格图案将整个关切区域充分分割为多个部分。关切区域优选环绕紧邻车辆前方的视场，然而，该区域可定义为环绕更窄的视场。在一个实施方式中，关切区域环绕紧邻车辆前方的视场，并由道路的水平线或消失点来限定边界。固定网格补片方法可包括通过矩阵进行补片追踪、识别和分析，其中，每个补片可通过一个数字序列的数字来识别。

固定网格补片能通过多种方法应用到图像上。第一种方法是使用相同的图像坐标将固定网格补片应用到连续图像。第二种方法是使用在图像上识别出的关切点-例如水平线将固定网格补片应用到图像。第三种方法是将固定网格补片应用到补偿车辆运动-例如车辆偏航的图像。

视角补片方法基于视场坐标而不是图像坐标来识别图像、并将图像分割成多个补片。关切区域的识别已在之前进行了描述，其中，视角补片图案基于估计出的视场坐标被应用到关切区域，从而相对于由每个补片覆盖的地面的近似面积对补片大小进行分配。这种视角补片定义使得：描述更接近车辆的地面的补片被更详细地复查，而描述离车辆较远的地面的补片不会被过多地复查。补片能够根据所获取的道路上的行车道进行排列，例如，由车道标志和/或路缘限定的车道。这些补片定义经常是梯形的，梯形的两个平行边与地平线或车辆的水平轴相平行，梯形的其余边取决于限定在图像视图中的路面。这种补片排列对定义路面是高效的。然而，多种不同的补片形状使得补片网格的计算以及补片的分析很复杂。补片可以被规范为矩形(或方形)，仍然平行于地平线或车辆的水平轴。这种矩形补片在覆盖路面方面效率较低，例如，与补片相重叠的若干路面部分包括实际上畅通的道路，但是补片的足够的分辨率以及计算效率的提高能够使得这种规范化的视角补片变得有利。

一个滤波器或一组滤波器能被应用到被选择的补片上(206)，例如，亮度规范化滤波器(lighting normalization filter)。一个示例性的规范化滤波器改变补片内的像素强度值的范围，因此使得补片的范围更适合机器处理。例如，将每个像素值规范化为零均值和单位方差能够增强图像的对比度，特别是在光线较暗的环境下或者因为反光而造成对比度较低的情况下。多种示例性滤波器和滤波方法对图像分析都有用，本发明不局限于此处描述的特定的示例性实施方式。

经过滤波之后，在被选择的补片上用特征提取算法进行特征提取(208)。特征提取算法可对所选的补片进行分析以得到预定的特征和/或形状，其中，预定的特征包括例如边缘、角落和污点；形状包括例如圆、椭圆和线。应当认识到，一些特征有意义，而另一些没有，选择特征的过程能用来识别出一组最好的特征用于进行分析。分类器训练算法分析每个特征，并分配一个几率值(210)。如上所述，在几率值推导时所使用的分类器或逻辑最初是离线训练的。基于模糊逻辑、神经网络或本领域已知的其他学习机构，训练可选择性地在车辆中继续进行。这些训练过的分类器基于所提取的特征进行几率分析，并确定补片的几率值。这种几率值表示被选补片为畅通的信心。

几率分析可通过使用空间和/或时间上相关的补片来扩充，以评估在车辆操作过程中识别出的特征。当特征提取算法识别出一个特征时，处理模块120可以从空间方面分析该识别出的特征在邻近或附近的补片中的一致性。在一个补片中识别出的特征可以与其他相邻的补片进行比较，以确定其与相邻补片之间是否有偏差或者是否一致。与相邻补片一致的特征可以被分配一个与相邻补片近似的几率值，而与相邻补片不一致的特征需被分配一个不同的几率值。与空间分析类似，当特征提取算法识别出一个特征时，处理模块120可以从时间方面分析被识别特征在时间相关的补片中的一致性，从而对车辆运动进行补偿。例如，在若干帧中分析并被确定为在图像的各帧中具有高几率值的特征，能够与后续帧中的收到低几率值的相同特征从时间方面进行比较。如果该特征的时间分析揭示了新信息，例如相对于道路的特征运动；或者增加的视角表明该特征代表了位于路面上的一个物体，那么该特征的较低几率值能够被确定。如果没有得到新信息，那么当前帧中的特征的较低几率值可以被中止，因为其不一定表示不畅通路径。可用类似的方法来分析后续帧，以确定该特征是显著的还是非显著的。类似地，根据此处描述的方法，有问题的特征能够在当前的或者后续的图像中、通过增加计算侧重点来进行分析。

处理模块120将几率值与几率阈值进行比较(214)。如果几率值比几率阈值大，那么该补片被识别为畅通路径(218)。如果几率值不比几率阈值大，那么该补片就被识别为不畅通路径。

如上所述，基于补片的方法200可以通过多种方式进行重复或迭代，通过不同补片的选择和分析对同一图像进行反复分析，并且能够在多个连续图像中追踪被识别的补片并分析其变化。

图10所示的是根据本发明的一种示例性的基于富含纹理的像素的方法300，其中，对摄像机的输入进行分析以确定畅通路径几率。图10中示出了基于富含纹理的像素的方法300，并且在此处描述为包含若干分立元件。这种图示是为了描述方便，应该认识到，这些元件所实现的功能可以组合在一个或多个装置中完成，例如在软件、硬件和/或专用集成电路中执行。例如，基于像素的方法300可作为处理模块120中的一个或多个算法来执行。

在操作过程中，摄像机110产生图像以便在处理模块120中对其进行分析(302)。处理模块120分析图像以找到关切点，例如，如上所述地检查像素颜色强度，并将像素或一组像素与周围像素进行比较。关切点是图像上的可识别像素，并与一系列视觉信息-即富含纹理的特征相联系，并且与位于视场中的物体相联系。通过本领域已知的方法，例如，比例不变特征变换(SIFT)，利用角落检测或其他形状检测的方法；或者Sobel滤波器，关切点可被识别并用以完成此处所述的方法(306)。在一个实施方式中，多余关切点-例如与同一特征相对应的多个关切点将被剔除，以便提高计算效率。

一旦识别出关切点，在可能的情况下，处理模块120比较车辆运动时的连续图像，以便对来自每个图像的关切点与连续图像中的对应点进行匹配(310)，这些对应点在视场中对应于相同的点。匹配包括使用对应匹配程序，例如，比例不变特征变换(SIFT)特征匹配程序和光流程序；并且可进一步包括通过模版匹配来定位对应点，从而考虑宿主车辆的运动，并且对两个点是否代表视场中的同一可见物体或可见特征作出最佳估计。模板匹配可通过多种方法中的一种来确定以便找到对应的关切点，包括若干已知模板匹配程序方法中的一个，例如Lucas-Kanade或者Horn-Schunck。匹配后的点对与位于两幅图像中的同一特征相对应，其中，该同一特征与视场中的同一物体相关联。虽然可以匹配关切点，但不是所有匹配的对应点对都代表高质量的对应点对，高质量的对应点对允许识别它们在视场中的三维位置以便分类为能使车辆通过的畅通路径。

处理模块120对匹配的对应点对进行滤波，以便识别出高质量的、能够在三维位置识别中以高信心水平被应用的对应点对(314)。优选的匹配点对可以基于质量控制标准进行选择，例如，两个点之间的距离，与图像边界之间的距离以及各相邻像素之间的颜色相似度等。判断匹配点对的标准的选择还可基于如下条件，例如：当前车外亮度、天气、车辆速度和其他任何影响判断匹配点对的能力的因素，或者快速、精确地定义畅通路径的紧迫性。

高质量的对应点对被分析以确定视场中的由对应点对所代表的物体的三维位置(318)。应当理解的是，与地面相比具有不同高度的对应点在连续图像中会有不同的运动。在连续图像之间分析关切点的运动能够产生关切点的估计出的三维坐标。基于高质量的对应点对、连续图像之间的样本时间以及诸如车速、车辆偏航率等的车辆数据，能够确定物***置。通过这些三角测量方法能够得到物体在水平面中的位置以及物体相对于地面的高度。

所确定的物***置用来对宿主车辆前方的物***置进行绘图(322)，所绘地图包括视场的估计地形。地形可通过指定物体周围的预定空间维度来估计。优选地，预定空间维度在高度方面相对于距物体的距离以预定速度减小。通过使用地图和估计地形，处理模块120能够确定宿主车辆前方的畅通路径(326)。

上面的方法应用连续图像来建立有关车辆前方的物***置和垂直高度的地图，从而可以确定一条畅通路径。应当理解的是，在任意两个给定的图像中，一个特定物体可能不会被分类为包含两个足够在该特定分析中被绘图的、高质量的关切点。然而，上述分析在车辆行驶过程中每秒钟发生多次。当车辆在畅通路径上向前行驶时，将得到物体的不同视角，并将分析大量的图像。在路径上行驶并分析该路径上的多个迭代图像，可通过所述分析建立一个信心值，该信心值表明在被识别的畅通路径上不存在阻碍畅通路径的物体。

图11示出的是根据本发明的一种示例性的基于无纹理像素的方法400，其中，分析摄像机的输入以确定畅通路径的几率。基于无纹理像素的方法400在图11中示出，并在此处被描述为包含若干分立元件。这种图示是为了描述方便，应该认识到，这些元件所实现的功能可以组合在一个或多个装置中完成，例如在软件、硬件和/或专用集成电路中执行。例如，基于无纹理像素的方法400可作为处理模块120中的一个或多个算法来执行。

在操作过程中，摄像机110产生图像以便在处理模块120中对其进行分析(453)。处理模块120通过多种滤波方法来分析图像以识别并剔除图像中不一致的像素。剩余的像素代表了车辆可以行驶的潜在的畅通路径。图11示出的基于无纹理像素的方法400包括识别并剔除图像中的不一致像素的4种示例性滤波方法。无纹理的方法能与四种示例性方法的某些部分结合应用，并且/或者可用未命名的类似方法来处理图像。

第一种示例性滤波方法剔除在地平线或者消失点以上的像素(456)，包括天空和其他不能构成路面的一部分的垂直特征。术语“消失点”是一个广义的术语，此处采用对本领域普通技术人员而言常用和常规的含义，指的是地平线上的无穷远的、与视野中地面上的多个平行线交叉的点。识别路面从而建立车辆行驶的畅通路径必然在消失点或地平线以下。滤波图像以便仅分析地平线以下的区域有助于使被分析以识别路面的像素与不相关的像素区分开。本领域技术人员可以理解，确定消失点和对应的地平线有很多已知的方法。

第二种示例性滤波方法应用基于像素颜色强度差异的滤波器(459)，其前提是路面将包括一个大的表面，该整个表面上的视觉强度都相同。当相关像素颜色强度变化大于预设的阈值时，从图像中剔除这些像素。对于与多种颜色相关联的像素，当任何特定颜色的像素颜色强度变化大于预设的阈值时，从图像中剔除这些像素。基于被识别为畅通路径的像素的历史颜色强度，预设的阈值能够被更新。

第三种示例性滤波方法应用基于连续图像的差异的滤波器，其能够分析图像之间的变化(462)。某些像素与一种像素颜色强度相关联，当该像素颜色强度变化大于预设的阈值时，从图像中剔除这些像素。在一个实施方式中，基于车辆的运动来调整图像，从而对像素进行区别和比较，就像所有像素都与地平面上的点相对应一样。已知的三角测量方法能用来确定对图像的运动调整。通过假设图像上的所有物体都在地平面上，同与地平面关联的像素不一致的变化能够用来识别那些不在地平面上的点。例如，地平面上方的像素在连续图像之间的运动可能比预料的更快，这种运动能够通过在连续图像之间检查像素颜色强度之间的差异来进行识别。

第四种示例性滤波方法应用基于视觉数据中的代表边缘或过渡的像素识别的滤波器(465)。为了产生第四个滤波图像，基于与边缘相对应的颜色强度值，通过使用几种已知边缘检测滤波器中的一种-例如Sobel滤波器，处理模块120从图像中提取像素。边缘检测滤波器优选在处理模块120中执行，但也可以组合在一个或多个装置中执行，例如在软件、硬件和/或专用集成电路中执行。在一个实施方式中，每个像素都使用Sobel算子来进行分析。Sobel算子计算每个像素颜色强度的梯度矢量，从而生成从亮到暗的最大可能增加的方向以及该方向上的变化率。与超过阈值的变化率相对应的点以及与附近像素的梯度矢量相对应的点代表了边缘，并被包含在第四个滤波图像中。当其他像素从图像中剔除时，这些像素仍被保留。

通过并行应用各种方法，结果能够融合到图像的单个地图中(468)。融合包括在每种不同的滤波方法中被识别的像素。融合的畅通路径地图上的像素与视场中期望的驾驶位置相对应。融合的畅通路径地图上的没有像素的位置与视场中不期望的驾驶位置相对应。处理模块120能够分析地图，以得到指示用于驾驶的畅通路径的视觉数据(471)。

如图11所示的基于无纹理像素的方法400将不同方法并行应用到图像，以识别视场中与定义畅通路径有关的特征。然而，应当理解的是，这些方法并非必须并行执行，也可以在各个步骤中连续地或者有选择地用这些方法处理图像，以识别视场中与定义畅通路径相关的特征。

基于像素的畅通路径的另一个检测方法包括应用融合的富含纹理方法和无纹理方法。

富含纹理方法和无纹理方法能够通过多种方式进行融合。带有被识别点和所确定的高度的、通过富含纹理方法识别出的图像能够由无纹理方法产生的滤波图像覆盖，并且两种方法的一致性能用来通过重叠图像定义畅通路径。在另一种融合两种方案的方法中，来自每个方案的数据都能用来将信息投影在车辆前方区域的的编程上方地图上，包含从两个方案的分析中得到的数据的该上方地图可包含建立该地图的各个区域的信心指示。在另一种融合两种方案的方法中，一个方案可作为主要或主导方案使用，第二个方案可用来分析或者被激活以便分析在视场中被识别为不清晰或不清楚的区域。在融合两个方案的任何方法中，一个处理方案的长处能用来弥补另一个处理方案的弱点。如果两个方案同时认定路径是畅通的，那么应用这些方案的处理模块可通过更高的信心水平来确定车辆适于通过该路径。融合这些识别方案的多种方法都已被考虑到，本发明并不局限于此处所描述的特定实施方式。另外，其中一个或两个方案可与上述利用补片分析的方法进行组合。

如上所述，基于示例的方法能够替换其他方法或者作为补充来基于输入图像定义畅通路径。基于示例的一种示例性方法收集视图的多个图像样本从而定义每个样本图像的畅通路径，将当前图像与一个或多个样本图像进行匹配，并基于上述匹配来确定畅通路径。将当前图像与一个或多个样本图像进行匹配可通过如下方法实现：例如从每个样本图像中提取特征，从当前图像中提取特征，将从当前图像中提取的特征与从样本图像所提取特征的数据库进行比较，并为当前图像选择匹配的样本图像。畅通路径可从最佳匹配样本图像中选出或者基于与当前图像最接近的匹配的组合来确定。

还公开了检测车辆行驶的畅通路径的另一种方法，该方法通过分割由车辆上设置的摄像机装置产生的图像来定义畅通路径。这种基于分割的方法包括：监测图像；分析图像以便将不能代表畅通行驶路径的区域从能够代表畅通行驶路径的区域中分割出来；基于上述分析定义畅通行驶路径；以及利用该畅通行驶路径来对车辆进行导航。用于分割图像的分析方法包括但不局限于：在多个连续图像之间进行运动分析，以识别不可能是畅通路径的图像区域；对图像进行纹理分析以识别不可能是畅通路径的图像区域；对图像进行颜色分析以识别不可能是畅通路径的图像区域；以及对图像进行几何分析以识别不可能是畅通路径的图像区域。

多种畅通路径检测算法的等级结构可结合到本发明中，包括基于计算强度来布置算法。计算强度较小的检测方法可用来识别图像中的畅通路径，将图像中不被识别为畅通路径的其他部分留给计算强度较大的分析方法，从而提高了畅通路径识别的计算效率。所应用的具体方法以及所使用的具体等级方法的等级结构可有所不同或发生改变。在一种示例性的等级结构中，基于补片的畅通路径检测方法分析图像中的畅通路径，之后图像中没有被基于补片的方法识别为畅通路径的剩余部分由基于像素的畅通路径检测方法来分析。在一个实施方式中，使用基于示例的方法的第二种示例性等级层进一步分析在基于像素的方法中未被识别为畅通路径的那些部分。然而，多种不同的等级结构都已被考虑到，本发明并不局限于此处所描述的特定实施方式。

本领域技术人员能够认识到，亮度规范化(lighting normalization)可应用于所获取的图像数据。规范化是改变像素强度值的范围的一种过程。规范化的以便将图像的范围改变为更适合机器处理的范围，以提高可靠度。例如，每个像素值被规范化为零均值和单位方差，以提高图像的对比度，特别是在光照较暗的环境中或对比度因为反光而较低的情况下。

本文还公开了检测车辆100行驶的畅通路径的其他额外方法，包括基于车辆前方道路区域的地形变化的方法。估计车辆前方地形变化的两种示例性方法包括地平面估计分析和雪高度变化检测分析。如上所述的畅通路径检测方法-包括基于补片的方法、基于像素的方法和基于示例的方法可使用地平面估计分析和雪高度变化检测分析来进行扩充。地平面估计分析和雪高度变化检测分析对表面地形进行估计以确定车辆100行驶的畅通路径。分析道路的这两种方法都能用来加强视场中被识别为畅通路径的信心水平。类似地，畅通路径检测分析能用来扩充如下文所述的地平面估计分析和雪高度变化检测分析。

地平面估计分析或者说汇编描述车辆前方地面高度变化的地图对描述车辆可以行驶的平坦路面来说是有用的。应当理解，平坦并不排除在山上或弯曲路面上行驶，更确切地指的是允许车辆正常行驶的可接受的均匀路面。在一个实施方式中，估计出的地平面与图像坐标相对应，该图像坐标与估计出的地平面相关联。地平面估计分析可以基于摄像机或光检测和测距(基于LIDAR)。在一个示例性实施方式中，基于摄像机的地平面估计分析包括在两个或更多图像之间追踪特征或可识别的点，并根据所述特征相对于摄像机的相对运动来确定特征的高度。在另一个示例性实施方式中，基于LIDAR的地平面估计包括光能的发射和返回信号的分析，以估计车辆前方的地面。

雪高度变化分析类似地对描述车辆行驶的平坦路面同样是有用的。当车上设置有LIDAR时，雪的高度和高度变化能够直接被测量。然而，应当理解的是，覆盖路面或驾驶环境的雪用典型的摄像机检测方法进行分析可能会有困难。由于被雪覆盖的表面的对比度低或者由于可能收集到的覆盖道路的雪的瞬态图像和噪声图像，使得从一帧图像到另一帧图像所进行的特征追踪变得复杂。然而，精确估计车辆前方的雪高度的显著变化或转变的方法能用来识别供行驶的路面。

其他示例性实施方式也被考虑到。例如，车辆可能具备车辆间通信能力，从而根据来自行驶在车辆前方的其他车辆的数据对地平面估计进行改良和扩充，这些数据包括但不局限于其他车辆的地平面估计、中止数据、加速度计数据以及其他车辆的位置数据。类似地，使用全球定位数据和数字地图数据库的车辆能够追踪靠近车辆的道路的地平面数据。估计或确定车辆前方道路区域的地形变化的多种方法都已被考虑到，本发明并不局限于此处描述的特定实施方式。

基于摄像机的地平面估计分析在此参考图12和13进行描述。该分析在车辆操作过程中在连续图像上执行。

图12示出了在车辆行驶期间相对于地面20的车辆100，其中包括识别出的特征的不同摄像机视角。如图12所示，车辆100从第一个位置行驶到第二个相距为|t₁|的位置。在第一个位置摄像机110的中心用点O₁表示，在第二位置摄像机110的中心用点O₂表示。还示出了示例性的特征点P和Q以及特征点P在摄像机110的用线136表示的规格化图像平面中的投影位置p₁和p₂。

处理模块120基于地面上的点和摄像机平移方向t₁确定地理坐标中的地平面41。图像上示例性的特征点P和Q使用如上所述的已知的特征识别算法被识别。连续图像中的对应特征点P和Q可使用已知的光流估计算法来识别，例如，金字塔Lucas-Kanade光流估计算法。本领域技术人员将会认识到，车辆平移方向t1可基于连续图像间的车辆运动来确定。一旦摄像机平移方向t₁被确定，地平面便能够根据特征点-例如示例性点P和Q和车辆平移方向t₁来确定。

图13示出了相对于地平面41在点O₁和O₂位置的摄像机110。地平面41是图像中的与视场中的地面32相对应的几何区域，并且用地理坐标定义。地平面41基于图像中的与地面32相对应的识别特征来确定。根据平移方向t₁和用已知三角测量方法、基于对应投影位置确定的每个特征点P的三维位置，处理模块120分析图像中的被识别特征，以得出视场中对应的地平面。被识别为与地平面相对应的特征点被包括在地平面41中。基于与地面32相关联的对应特征点对地平面41进行估计。本领域技术人员将会认识到，与地面32相对应的在图像中识别出的特征用来确定地平面41的形状并对地平面41进行定义。地平面估计分析可用多种方法进行重复和迭代，对同一图像区域进行反复分析并且对不同的图像区域进行选择和分析，追踪并分析被识别特征以便在多个连续图像中寻找变化。此处所描述的基于LIDAR的地平面估计分析用来对车辆前方的地平面进行估计。优选地，在车辆行驶过程中在连续图像上执行该分析。在这种检测中对LIDAR的使用已经在申请号为12/175,634的共同待审且共同转让的美国专利申请中公开，其发明名称为“基于LIDAR的几何道路曲线检测”，该申请在此通过引用并入本文。如上所述，基于LIDAR的***发送并接收光能以确定物体的几何尺寸和/或与车辆100的几何接近度。可对车辆所反射的光波的图案进行分析，并能够估计出地面位置。与地面相对应的图案可通过实验开发出来或通过任何足以为车辆估计图案的方法来得出。所返回的光能的大小描述了被检测路面的反射率。例如，路面和路标的反射漆在返回光方面存在显著的差别，它们能用来检测代表路标位置的图案。另外，返回光能够描述与被检测路面之间的距离。表面上的这种距离能描述由LIDAR检测到的三维坐标点。这种三维坐标能用来测量车辆前方的地面或地平面的高度轮廓。如这里所述的，这种地平面估计可用来描绘车辆前方的安全行驶路径，并且能够类似地用来创建更优的畅通行驶路径。另外，LIDAR返回光能估计表面的纹理，并且所检测到的道路与路中间、路肩或路边覆盖的草之间的纹理差异能用来检测路缘。LIDAR返回光的使用有多种实施方式，本发明并不局限于此处所描述的特定实施方式。

雪高度变化分析能用来估计车辆能够行驶的路面或者平坦区域。一个示例性方法包括使用图像识别来估计在雪覆盖的区域、由车辆前方的交通所带来的车胎痕迹或凹痕。另一个示例性方法包括对图像中的像素颜色和/或强度的变化进行分析，以确定与预先定义的雪高度种类之间的对应性。基于在典型驾驶环境中对雪的外观的观察，可对图像中像素的变化进行分析。例如，没被扰动过的雪在像素颜色或强度上倾向于呈现出没有变化或变化很小的表面。行车道上的雪-特别是被翻动过、用融雪物质处理过或者被来往车辆反复碾压过的雪，在像素颜色和强度上倾向于呈现出缓和的变化。在行车道和未被扰动过的区域之间的雪，其中雪已被转移到路边，在像素颜色和强度上倾向于呈现出大的变化。根据对图像的分析，雪高度变化分析可以是决定性的或者非决定性的。例如，在还未被行驶或翻动过的路面上行驶的车辆不会呈现出所述的像素变化。某些道路上的雪不是新的并且这些道路表面以及道路周围的雪面上都被挖出颗粒状物质，那么在这种道路上行驶的车辆也不会呈现出所述的像素变化。然而，显示不同像素变化图案的一种可接受的图案能用来定义畅通路径。一种可接受的示例性图案可包括在具有缓和像素变化的区域的任一侧的、具有大的像素变化的图像区域。这样，可基于从摄像机的图像中得到的雪的外观的可识别纹理来估计雪的高度的显著变化。

雪高度变化分析可以结合车辆间的通信能力来改良并扩充雪高度变化检测分析。车辆间的通信能够改良车辆间共享的雪高度变化检测，并可包含所分析路面的不同视角。在后方车辆前方行驶的车能够为后方车辆确定雪的高度变化。后方车辆将从在前方行驶的车辆所提供的道路分析的附加计算循环中受益。

雪高度变化分析在此将参照图15A和15B进行描述。优选地，在车辆操作过程中在连续图像上进行这种分析。

图15A和15B示出了降雪之后的示例性道路情况的示例性视场，其中包括示例性图像600，图像600示出了通过雪高度变化检测分析来分析的区域602、604和606。图像中的图像区域包括为分析而选取的、能被图像坐标所识别的、多个空间关联的像素。这些图像区域能够用多种方法中的一种来定义，包括用一组像素来定义或使用在畅通路径检测分析中所使用的组成补片来定义。雪高度变化分析基于降雪之后预期的、与上述雪高度种类相对应的车道情况。雪在地形上通常以一致分布的方式降落，结果是与未被扰动的雪相对应的图像区域的颜色强度分布变化相对较低。示例性图像600中的第一个示例性图像区域602描绘的是具有相对较低的颜色强度分布变化的区域。当车辆在道路上通过并且/或者用犁除去雪和其他的碎片，在视场中的不同区域中雪可能具有不同的分布，结果是与畅通路径相对应的图像区域的颜色强度分布变化较平缓，而与雪高度变化相对应的图像区域的颜色强度分布变化较高。示例性图像600中的第二个图像区域606描绘的是这种较缓和的颜色强度分布变化。示例性图像600中的第三个图像区域604描绘的是与显著转变区域、雪高度变化区域或者平坦区域或行驶路面的可能边界线相对应的区域。如之前对道路的使用以及对道路的面貌的影响所指示的一样，这种雪高度变化能够指示畅通路径和不畅通路径之间的边界。

还公开了上述雪高度变化分析的示例性实现方式。在车辆操作过程中，处理模块120在图像中识别图像区域以便进行分析。处理模块120通过对包含在图像区域中的多个像素的频率分析来确定被选择图像区域中的颜色强度分布变化。如上所述，这种分析可以包括对显示出可接受图案的覆盖道路的雪的识别，其中，该图案有可能精确表示畅通路径。像素改变分布变化能够利用在图像区域中代表预设像素变化的频率来求近似值。与预设像素变化的低频率相对应的-即低于第一预设像素变化阈值的图像区域代表了不畅通路径。与预设像素变化的高频率相对应的-即高于第二预设像素变化阈值的图像区域代表了雪高度变化，并可能包括两个图像坐标的边界或畅通路径上的车辆轨迹，其中，这两个图像坐标与畅通路径以及不畅通路径相对应。与预设像素变化的中间频率相对应的-即介于第一和第二预设像素变化阈值中间的图像区域代表了畅通路径。

如上所述，所涉及的不同阈值和频率对于求出高度上有显著变化的位置的近似值是有用的。然而，应当理解的是，一堆孤立的被扰动的雪显示出落在其自身所需阈值之内的外观，但其不能代表一种可接受的、有可能精确指示畅通路径的图案。相反，这种在一组被分析区域中的可见图案必须共同描述车辆能够行驶的畅通路径。例如，定义畅通路径的一个条件是，图像区域604的图案必须构成指明行车道边界的线。另一个示例性条件是，被检测到的线必须与其他被检测到的线平行以构成明显的道路，在该道路上能够估计出畅通路径。应当理解的是，雪堆不一定是统一的，对图像区域604的一条或多条线的确定必须包括一个与理想线的偏离程度的阈值公差，以便在该范围内仍然能够建立一个描述道路的倾向性边界的方向的可接受图案。

可替换地，与预定像素变化的预定范围相对应的图像区域代表了畅通路径。预定像素变化的精确的像素变化能够通过实验得出或者通过其他任何足以估计或评估图像区域的像素改变分布变化的方法来得出。精确的像素变化阈值能够通过实验得出或者通过其他任何足以估计或评估代表一个雪高度种类的像素改变分布变化的方法来得出。在一个示例性实施方式中，像素变化阈值可进行动态设定。因为光亮等级和其他因素能够显著地改变特定图像中的像素的外观，一种对给定图像的不同阈值进行扫描的方法对于进行校准以找到有用信息是有用的。这种示例性***能够对一幅图像进行多种分析，并利用图案识别来确定一组阈值，这些阈值能够最好地识别与路面有关的有用信息。这样，像素颜色或强度的变化便能够用于在有雪的路面上估计畅通路径。

如上所述，图像中的像素的变化能用来描述能够代表畅通路径或不畅通路径的雪高度的显著变化。这种分析能够在局部区域内完成，例如，利用补片对图像的不同区域进行分类。如上所述，可限定一个条件，即需要各局部区域一起来揭示预期边界的方位。这种整体图像的分析能够被扩充，例如，通过与数字地图和基于全球定位的位置进行比较来进行扩充。这种方法能够将一些特征-例如车辆轨迹或检测到的雪高度转变覆盖到已知的道路几何形状上，以便提高检测到的畅通路径的信心水平。如上所述，可通过地平面估计分析和雪高度变化检测分析来扩充通过例如基于补片的、基于像素的、基于分割的或基于示例的方法来实现的畅通路径检测分析。本发明还构想到扩充畅通路径检测分析的多种方法，包括用地平面估计和雪高度变化检测分析来扩充畅通路径检测分析。可引入几率分析与信心值组合使用，其中，所述信心值被分配给估计出的地平面和通过雪高度变化检测分析识别出的特征。然而，所使用的方法的顺序或某一种方法的剔除或替代可基于所获取的因素来执行，所述因素例如是在道路上检测到的雪。类似地，具有快速变化的交通条件或者行人交通的城市环境对某一种方法来说所产生的结果可能会较差。由摄像机镜头上的污点所导致的图像的污染也可能使某种方法的结果较差。车辆速度可能会影响某种方法的结果的质量。这些因素可以通过实验方式、计算方式来确定，或者基于建模或者其他任何足以精确估计根据输入图像来确定畅通路径的不同畅通路径方法的有效性的方法来判定。另外，基于车辆内使用的多种畅通路径方法和车辆的合成操作，可以执行例如机器学习算法或者模糊逻辑的方法以便适应所选择的方法。车辆的这种操作能够用本领域已知的很多方法来判断，例如，在车辆控制中监测操作员介入的发生或者通过监测图像中的、描述车辆在车道上的后续控制的车道标记的位置。在这些方法中进行选择以及对各种畅通路径方法的选择进行调整的多种方法都已被考虑到，本发明并不局限于此处的公开的特定的示例性实施方式。

图16所示的是根据本发明的一种示例性方法800，该方法通过地形变化分析来扩充畅通路径检测分析。图16所示的方法800被描述为包含若干分立元件。这种图示是为了描述方便，应当认识到，这些元件所实现的功能可以组合在一个或多个装置中完成，例如在软件、硬件和/或专用集成电路中执行。例如，方法800可作为处理模块120中的一个或多个算法来执行。

在操作中，摄像机110产生图像(802)，在处理模块120中对图像进行分析。处理模块120应用平行的处理方法，该方法对图像的分析同时采用了畅通路径检测分析以及示例性的雪高度变化分析或地平面检测分析方法中的一种。在一个示例性实施方式中，地平面估计分析产生地平面估计(804)。应当理解的是，类似的实施方式也可以使用LIDAR方法，在LIDAR方法中，LIDAR 装置在步骤804中描述的结构处进行输入。一种示例性畅通路径检测分析-例如使用富含纹理和无纹理方法的融合的分析被用来识别与畅通路径相对应的图像区域(806)。步骤804和806的输出在步骤808中被比较并用来形成更优的畅通路径。

估计出的地平面被用在畅通检测分析中以优化或改良与畅通路径相对应的图像区域。估计出的地平面能以多种方法应用。在一个实施方式中，估计出的地平面与对应于畅通路径的图像区域被相互重叠。与畅通路径相对应的图像坐标以及与估计出的地平面中的地平面相对应的图像坐标被用来定义畅通路径。在畅通路径检测分析的一个实施方式中，估计出的地平面可用在上述几率分析中。每个图像区域的畅通路径信心几率都部分地基于与估计出的地平面之间的关联性。几率分析对图像区域进行评估，以便分配一个畅通路径信心几率值。基于在图像区域中识别出的特征，分类器能用来增大或者减小畅通路径信心几率值。当图像区域与估计出的地平面相对应时，根据上面所述的几率分析，估计出的地平面可用作附加的分类器，以提高该图像区域的畅通路径信心几率值。畅通路径信心几率值大于信心几率阈值的图像区域被定义为畅通路径。

畅通路径检测分析也可以用来扩充和改良地平面估计分析。由畅通路径检测分析定义为畅通的图像坐标能用来与估计出的地平面相结合。在畅通路径检测中被定义为畅通但没有包含在估计出的地平面中的图像坐标也被结合到估计出的地平面中，从而扩大估计出的地平面。

被分类为某些雪高度种类的图像区域可用来扩充或者改良下述图像区域，这些图像区域是在畅通检测分析中被识别为畅通路径的图像区域。这些图像区域能以多种方式被利用。在一个实施方式中，被雪高度变化分析定义为畅通的图像区域与在畅通路径检测分析中被定义为畅通的图像坐标进行结合。可以从被畅通路径检测分析定义为畅通的图像坐标中排除或去除被雪高度变化分析识别为不畅通的图像区域。

在另一个实施方式中，被雪高度变化分析识别为畅通以及不畅通的图像区域均可通过上述几率分析来进行评估。被雪高度变化分析识别为畅通的图像区域能够增大该图像区域的畅通路径信心几率值。类似地，被雪高度变化分析识别为不畅通的图像区域能够减小该图像区域的畅通路径信心几率值。

与雪高度变化种类相关联的图像区域能用在畅通路径检测分析中。在一个实施方式中，由雪高度变化分析识别为两个转变区域之间的路面的图像区域会增大下述畅通路径信心几率值，该畅通路径信心几率值与使用畅通路径检测分析的对应的图像区域相关联。另外，检测到的车辆轨迹可结合或者覆盖基于富含纹理和无纹理像素的畅通路径检测方法，并用来分析以加强畅通路径的位置。类似地，车辆轨迹能用来增强富含纹理的地图中的地平面。在将能代表畅通路径的图像区域与不能代表畅通路径的图像区域分割开的实施方式中，被雪高度变化分析识别为边界的图像区域用于使畅通路径检测分析聚焦在识别出的边界之间的图像区域，从而提高计算效率。

应当理解的是，当车辆行驶在道路上时，地平面估计和雪高度变化分析被迭代执行。道路的一部分或者所建议的畅通路径将在车辆前进的时候被多次分析。车道的该部分的信心值可通过迭代分析建立，并通过一次分析而得以提高。然而，应当理解的是，当车辆行驶时，交通流动和其他因素也可能改变道路的情况。本领域已知的方法能用来对在分析中的错误地指示不畅通路径的噪音与道路上真正指示不畅通路径的变化状况进行区分。

图16的步骤808示出了互利改良，输入畅通路径和被描述为示例性地平面估计的地形变化分析信息，输出更优的畅通路径。从上述方法中可知，畅通路径能够从地形变化分析中得到益处，即扩充对可能是畅通路径的区域的理解。应当理解的是，类似地，更优的地形变化分析也可通过识别出的畅通路径的分析来实现。例如，在被雪覆盖的道路上，由畅通路径检测描述的边界能用来调整上述雪高度估计中的阈值。这种分析可通过连续图像来迭代增强，从而沿行驶路径建立畅通路径的信心以及影响雪检测的属性或因素的信心。另外，通过畅通路径分析和雪高度分析的多重迭代来加强单一图像的使用，一幅图像可被反复检查。这种分析循环能够改良初始假设和分析结果。类似地，通过使用畅通路径分析，将畅通路径用于加强或用作地平面的LIDAR反射光的开始点，地平面估计能够从中受益。在路面被雪覆盖的环境下，在定义地平面时可以考虑到雪的其他额外变化，并且通过叠加检测到的畅通路径以表明地平面被正确地识别，地平面的存在便能够被加强。图17以图表方式示出了根据本发明的这种迭代分析。步骤808示出为包括步骤805中的地形变化分析改良和步骤807中的畅通路径改良。如上所述，步骤808输出更优的畅通路径，并且额外地输出示例性的更优的地平面估计信息。

地平面估计和雪高度检测能够同时操作，并且每个都可以用来共同增强畅通路径。图14以图表方式示出了根据本发明的畅通路径分析、雪高度检测以及地平面估计的示例性操作。方法900开始于步骤902，在步骤902中图像被产生并根据本文所述的方法被分析，即在步骤904中通过雪高度检测来分析，在步骤906中通过畅通路径方法来分析。类似地，在步骤908中，LIDAR被用来进行地平面估计。步骤904、906和908中的三种分析方法的输出在步骤910中被组合，以便进行互利分析，步骤910中输出的是更优的雪高度、更优的地平面估计和更优的畅通路径。应当理解的是，与上述方法类似的方法或者本领域已知的其他方法也能用来进一步或者可替换地进行互利改良，以便优化这些相关方法。

上述方法描述了利用来自摄像机的一幅或多幅图像来执行畅通路径检测分析，例如，通过基于补片的方法。其他方法描述了利用来自摄像机的一幅或多幅图像通过地形变化分析方法来扩充或优化畅通路径。应当理解的是，对两种示例性方法来说，一个摄像机也能产生两方法同时使用的一幅或多幅图像。然而，还应当理解的是，基于所用的每个方法选出的多个摄像机能够为每个方法提供专用的或更优的图像。另外，应当理解的是，一个或多个摄像机能够与雷达、LIDAR、超声波、数字的图、通信装置以及其他装置进行组合。

如上所述，处理模块120可包括通过此处未描述但本领域已知的方法来实现自主驾驶控制的算法和机构，或者处理模块120可仅仅为独立的自主驾驶***提供信息。对观察到的物体的反应也可所不同，包括但不局限于转向变化、节气门变化、刹车响应、警告和将车辆控制交给操作者。

已经描述了本发明的某些优选实施方式及其改型。通过阅读并理解说明书可以想到进一步的改型和变型。因此，本发明并不局限于作为最佳实施方式而公开的特定实施方式，相反本发明包括落入所附权利要求书的范围内的所有实施方式。

Claims

1.一种检测车辆行驶的畅通路径的方法，所述检测包括多种分析的融合，所述方法包括：

监测来自摄像机装置的图像；

通过畅通路径检测分析来分析图像，以确定图像内的行驶畅通路径；

利用地形变化分析来分析车辆前方的区域，以确定车辆能够行驶的平坦表面；

将所述行驶畅通路径以及所确定的平坦表面进行组合，以描述更优的行驶畅通路径；以及

利用所述更优的行驶畅通路径对车辆进行导航。

2.如权利要求1所述的方法，其中，分析车辆前方的区域包括利用地平面估计分析。

3.如权利要求2所述的方法，其中，利用地平面估计分析包括利用多个图像以便基于所述多个图像之间的特征的相对运动来估计车辆前方的可见特征的高度。

4.如权利要求2所述的方法，其中，利用地平面估计分析包括利用LIDAR装置来确定车辆前方的地平面状况。

5.如权利要求1所述的方法，其中，分析车辆前方的区域包括利用雪高度变化分析。

6.如权利要求5所述的方法，其中，所述雪高度变化分析包括基于像素变化的频率来分析图像以便估计出所述平坦表面。

7.如权利要求6所述的方法，其中，基于像素变化的频率来分析图像以便估计出所述平坦表面包括分析像素强度的变化。

8.如权利要求6所述的方法，其中，基于像素变化的频率来分析图像以便估计出所述平坦表面包括分析像素颜色的变化。

9.如权利要求6所述的方法，其中，基于像素变化的频率来分析图像以便估计出所述平坦表面包括：基于对超过阈值的大像素变化的区域的识别来识别所述平坦表面的边界。

10.如权利要求9所述的方法，其中，基于像素变化的频率来分析图像以便估计出所述平坦表面还包括：基于对位于缓和像素变化的边界附近的区域的识别来识别所述平坦表面；其中，所述缓和像素变化小于所述阈值但大于一个较低的阈值。

11.如权利要求6所述的方法，其中，基于像素变化的频率来分析图像以便估计出所述平坦表面包括：基于对超过阈值的大像素变化的区域的识别来识别所述平坦表面两侧的边界。

12.如权利要求11所述的方法，其中，基于像素变化的频率来分析图像以便估计出所述平坦表面还包括：基于对位于缓和像素变化的边界之间的区域的识别来识别所述平坦表面；其中，所述缓和像素变化小于所述阈值但大于一个较低的阈值。

13.如权利要求1所述的方法，其中，通过畅通路径检测分析来分析图像包括利用从下列各项组成的集合中选出的分析：基于补片的分析、基于像素的分析、基于分割的分析和基于示例的分析。

14.如权利要求1所述的方法，其中，通过畅通路径检测分析来分析图像包括利用从下列各项组成的集合中选出的分析的融合：基于补片的分析、基于像素的分析、基于分割的分析和基于示例的分析。

15.如权利要求1所述的方法，进一步包括：利用所述地形变化分析对车辆前方的区域进行迭代分析，以建立所述平坦表面的信心水平。

16.如权利要求1所述的方法，其中，将所述行驶畅通路径以及所确定的平坦表面进行组合以描述更优的行驶畅通路径包括：仅将被所述行驶畅通路径和所确定的平坦表面都包含的区域作为更优的畅通路径。

17.如权利要求1所述的方法，其中，将所述行驶畅通路径以及所确定的平坦表面进行组合还描述了更优的地形变化分析；并且

利用所述更优的地形变化分析对车辆进行导航。

18.如权利要求1所述的方法，其中，所述地形变化分析包括地平面估计和雪高度检测。

19.一种检测车辆行驶的畅通路径的***，所述检测包括多种分析的融合，该***包括：

摄像机装置；和

处理模块，该处理模块执行下列操作：

监测来自所述摄像机装置的图像，以及

分析图像，分析图像包括从图像中的不表示行驶畅通路径的其他部分确定出行驶畅通路径，以及

监测描述车辆前方地形的数据，

分析描述车辆前方地形的数据，

分析畅通路径并分析描述车辆前方地形的数据，

基于畅通路径的分析和描述车辆前方地形的数据的分析，对畅通路径进行修正，以及

基于修正后的畅通路径帮助车辆导航。

20.如权利要求19所述的***，进一步包括自主转向***，其中，所述自主转向***利用来自所述处理模块的导航帮助。