CN101966846A - 通过物体检测优化的检测车辆行驶的畅通路径的方法 - Google Patents

Abstract

本发明涉及通过物体检测优化的检测车辆行驶的畅通路径的方法。一种用于检测宿主车辆行驶的畅通路径的方法，该检测包括通过图像分析进行的畅通路径检测与宿主车辆的操作环境内的物体检测的融合，所述方法包括：监测来自摄像机装置的图像；通过畅通路径检测分析来分析图像以确定图像内的行驶畅通路径；监测描述物体的传感器数据；分析传感器数据以确定物体对畅通路径的影响；利用所确定的物体影响来描述更优的行驶畅通路径；以及利用所述更优的行驶畅通路径对宿主车辆进行导航。

Description

通过物体检测优化的检测车辆行驶的畅通路径的方法

相关申请的交叉引用

本申请是2009年10月19日提交的申请号为12/581,659的美国申请的部分继续申请，该在先申请是2009年5月29日提交的申请号为12/474,594的美国申请的部分继续申请，而前述在先申请是2008年4月24日提交的申请号为12/108,581的美国申请的部分继续申请。2009年10月19日提交的申请号为12/581,659的美国申请要求2009年5月8日提交的申请号为61/215,745的美国临时申请的优先权。申请号为12/581,659的美国申请、申请号为12/474,594的美国申请、申请号为12/108,581的美国申请以及申请号为61/215,745的美国临时申请通过引用并入本申请中。

技术领域

本发明涉及机动车辆的自动或半自动控制。

背景技术

本部分的陈述仅仅提供与本发明相关的背景信息，可能不构成现有技术。

自主驾驶***和半自主驾驶***利用与路况和其它驾驶情况相关的输入来自动控制节气门和转向机构。精确地估计并识别机动车辆所能行驶的畅通路径，对于成功取代以人脑作为控制机构的车辆操作来说是至关重要的。

路况可能会很复杂。在车辆正常操作的情况下，驾驶员每分钟进行数百次观察并根据所感知的路况来调整车辆操作。感知路况的一个方面是感知车道上和周边的物体并在物体中间导航出畅通路径。用科技来取代人类的感知首先包括精确感知物体的手段，例如，包括静态物体(如路缘等)、移动物体(如其他车辆)以及路面情况(如车道标记、凹坑或者车道上的结冰区域)；还包括继而根据这些与导航相关的信息进行有效地驾驶。

感知物体或路况的科技手段包括从视频摄像机、雷达成像、激光雷达(LIDAR)、超声波传感器、车辆之间的通信、车辆与基础设施之间的通信所得到的数据以及使用由数字地图得到的全球定位数据。摄像机将辐射形式的视觉图像-如光图案或红外特征转换成可读数据格式。一种这类数据格式包括像素图像，在像素图像中，感知到的场景被分割成一系列像素。雷达成像利用发射器产生的无线电波来估计出现在发射器前方的形状和物体。由这些形状和物体反射回来的电波图案能够被分析，从而估计物体的位置。

有关车辆前方地面的数据一旦产生，这些数据必须经过分析来估计物体或者路况的存在。通过使用摄像机、雷达成像***、LIDAR以及其它方法，可以分析车辆前方的地面或道路，从而得到可能需要避开的物体或路况。然而，仅仅识别那些需要避免的潜在导航因素并没有完成分析过程。任何自主***的一个重要元素都包括如何处理并操纵在所感知的地面数据中识别出的潜在导航因素以便识别操作车辆的畅通路径。

一种已知的识别操作车辆的畅通路径的方法是将所有感知到的导航因素进行分类并临时性地识别所有感知到的导航因素，并且根据所识别的导航因素的位置和特性来识别畅通路径。可根据图像的形式以及图像与道路的关系来处理这些图像，从而识别并分类导航因素。尽管在识别畅通路径时该方法是有效的，但是其需要大量的处理能力，例如，在视觉图像中辨别不同的物体并对其进行分类，比如区分路边的树以及走向路缘的行人。这些方法在处理复杂情况时的速度慢或者有效性差，或者需要笨重且昂贵的设备来提供必须的处理能力。

发明内容

一种用于检测宿主车辆行驶的畅通路径的方法，该检测包括通过图像分析进行的畅通路径检测与宿主车辆的操作环境内的物体检测的融合，该方法包括：监测来自摄像机装置的图像；通过畅通路径检测分析来分析图像以确定图像内的行驶畅通路径；监测描述物体的传感器数据；分析传感器数据以确定物体对畅通路径的影响；利用所确定的物体影响来描述更优的行驶畅通路径；以及利用更优的行驶畅通路径对宿主车辆进行导航。

附图说明

现在将参考附图通过示例来描述一个或多个实施方式，附图中：

图1示出了配备有根据本发明的摄像机和雷达成像***的车辆的示例性设置；

图2示出了根据本发明的一种在自主行驶中确定畅通路径的已知方法；

图3示出了根据本发明的一种使用图像几率分析来确定畅通路径的示例性方法；

图4示出了根据本发明的一种分析图像的示例性方法；

图5示出了根据本发明的一种通过调整单个阈值来确定分类误差的示例性方法；

图6A、6B和6C示出了根据本发明的一种通过计算绝对图像强度差别来确定图像差别的示例性方法；

图7示出了根据本发明的、将一个特征同时分类为畅通路径的一部分和被检测物体的、作为图像分析方法的一种示例性方法；

图8示出了根据本发明的、将一个特征同时分类为畅通路径的一部分和被检测物体的、作为图像分析方法的另一种示例性方法；

图9示出了根据本发明的一种基于补片来检测畅通路径的示例性方法的流程图；

图10示出了根据本发明的一种基于纹理像素来检测畅通路径的示例性方法的流程图；

图11示出了根据本发明的一种基于无纹理像素来检测畅通路径的示例性方法的流程图；

图12示出了根据本发明的用于说明车辆检测分析的示例性图像；

图13示出了根据本发明的用于说明建筑区域检测分析的示例性图像；

图14是根据本发明的通过对车辆周围物体的检测来扩充畅通路径检测分析的示例性方法的流程图；

图15示出了根据本发明的配备有目标追踪***的示例性车辆***的示意图；

图16示出了根据本发明的用于生成追踪列表的信息流的控制***；

图17示出了根据本发明的示例性数据融合过程；

图18示出了根据本发明的能够实现追踪和传感器记录(sensorregistration)的结合的示例性数据流；

图19示意性地示出了根据本发明的示例性***，其中传感器输入被融合到用于碰撞准备***中的物体轨迹中；

图20示意性地示出了根据本发明的示例性图像融合模块；

图21示意性地示出了根据本发明的用于估计一组物体的位置和速度的示例性卡尔曼滤波器(Kalman filter)组；

图22示出了根据本发明的叠加到对应图像平面上的距离数据，该数据用于各目标物体的***内部分析；

图23以绘图方式示出了根据本发明的示例性迭代分析。

具体实施方式

现在参考附图，附图的目的仅在于示出某些示例性实施方式，而并非用于限制本发明，图1所示的是根据本发明的摄像机110的示例性设置，摄像机110定位在车辆100前部并指向车辆100前方的地面。摄像机110与处理模块120进行通讯，处理模块120包含处理来自摄像机110的输入的逻辑算法。车辆100也可以配备雷达成像***130，当配备雷达成像***130时该***同样也与处理模块120进行通信。本领域技术人员应该理解的是，车辆100能够利用多种方法来识别路面状况，这些方法可与摄像机110和雷达成像***130同时使用或者选择使用，包括GPS信息、来自与车辆100通信的其他车辆的信息、特定道路的历史数据、生物检测信息-例如读取驾驶员视觉焦点的***信息、雷达成像***或者其他类似***。本发明可应用于各种设备，因此不局限于此。

摄像机110是本领域公知的，其能够将光辐射、红外辐射或其他电磁(EM)辐射形式的视觉输入转换成易于分析的数据格式，例如数字图像、像素图像。在个实施方式中，摄像机110使用电荷耦合装置(CCD)传感器来产生表示视场的图像。优选地，摄像机110被配置成连续产生图像，例如，每秒钟产生30幅图像。由摄像机110产生的图像可以存储在摄像机110内的存储器中或者传给处理模块120来存储和/或分析。优选地，摄像机110所产生的每幅图像都是由多个可识别像素构成的、已知像素维度的二维图像。多个可识别像素能够以阵列方式来存储和分析。每个像素可以在阵列中表示为一组比特(bit)或多组比特，其中，比特对应于预定调色板或色彩图中的颜色。例如在红-绿-蓝(RGB)颜色模式或青-品红-黄-黑(CMYK)颜色模式中，每个像素能够表示成多个颜色强度值的函数。优选地，每个像素包括多组比特，其中每组比特对应于一个颜色强度和一个颜色强度值，例如，在RGB颜色模式中，第一组比特对应于红色强度值，第二组比特对应于绿色强度值，第三组比特对应于蓝色强度值。

雷达成像装置130是本领域公知的装置，其包含如下设备：发射器，其能够发射无线电波或其他电磁辐射；接收器，其能够感测被发射器前的物体反射而回到接收器的发射波；以及将感测到的波转换成能够分析的数据格式的装置，这些数据表示出从物体反射回的波的范围和角度等信息。替代性地，可使用光检测和测距(LIDAR)***来取代雷达成像装置130或者作为其补充，光检测和测距***被构造成发射并接收光能量。接收到的光能量可以用来确定车辆100附近的物体的尺寸和/或几何参数。需注意的是，对于执行这里公开的很多方法而言，雷达成像装置130是可选的而不是必须的，其中，处理视觉图像能够实现畅通路径检测。此处所用的术语“畅通路径(clear path)”的含义对本领域普通技术人员来说是普通的、常规的含义(并且不限定于特殊的或专用的含义)，其指的是-但不局限于不存在超过一定阈值的物体的路径。

图1示出了处理模块120，这里将处理模块120描述成一个分立元件。这种图示是为了描述方便，应该认识到这个元件所实现的功能可以由一个或多个装置组合完成，例如在软件、硬件和/或专用集成电路中执行。处理模块120可以是一个通用数字计算机，其包括：微处理器或中央处理单元；由包括只读存储器的非易失性存储器和电子可编程只读存储器组成的存储介质；随机存取存储器；高速时钟；模-数和数-模转换电路；输入/输出电路和装置以及适当的信号调节和缓冲电路。可替换地，处理模块120可以是一个数字信号处理(DSP)单元，例如现场可编程门阵列的定制集成电路。处理模块120具有一组处理算法，这些算法包括在非易失性存储器中存储并且被执行以提供所需功能的常驻程序指令和校准值。算法优选在预设环路循环中执行。算法由中央处理单元执行，并能够监测来自上述检测装置的输入，并且这些算法通过使用预设的校准值来执行控制和诊断程序以便控制致动器的操作。环路循环可以规则性间隔执行，例如，在发动机运行和车辆操作中，每3.125、6.25、12.5、25和100毫秒执行一次。可替换地，算法可以响应于事件的发生来执行。

处理模块120处理在其中存储的算法代码，以便监测相关仪器，如摄像机110、雷达成像***130，并执行在处理模块内进行的分析所指示的命令或数据传输。处理模块120可包括算法和机构来实现自主驾驶控制，其实现方式在本领域中是已知的，在此不再详述；或者，处理模块120可以仅仅为一个独立的自主驾驶***提供信息。处理模块120适于在必要的时候接收来自其他***和操作者的输入信号，这取决于与控制模块结合使用的具体实施方式。

图2所示的是根据本发明的一种在自主行驶中确定畅通路径的已知方法。对应于车辆100前方的道路产生图像10。通过多种方法中的一种，物体40A、40B和40C在图像10内被识别，且每个物体根据过滤和训练的物体特性来进行分类。每个物体的单独处理在计算量方面的强度较大，需要昂贵且笨重的仪器才能承受这种计算负荷。一种算法处理所有与道路和物体40有关的可用信息，以便估计对车辆100来说可行的畅通路径。畅通路径的确定取决于被识别物体40的特定分类和特性。

图3所示的是根据本发明的一种为自主或半自主行驶确定畅通路径的示例性方法。图像10示出为包括地面20、水平线30以及物体40。图像10由摄像机110收集，并表示车辆100前方的道路环境。地面20代表了在不考虑任何潜在物体的情况下所有可供车辆行驶的路径。图3所示的基于路面20确定畅通路径的方法首先假设所有地面20都是畅通的，然后利用可用数据来确定地面20的某些部分是不畅通的。图2是将每个物体40进行分类，与图2的方法不同，图3的方法分析地面20，并从可用数据中限定出畅通路径信心几率，其中，可用数据指的是因为一些异常而限制通行或不畅通的那部分地面20的数据，这些异常是可检测的且可能代表物体40。关注地面20而不是物体40就避免了检测物体所带来的复杂的计算任务。单独分类和对每个物体进行追踪就不是必须的了，因为独立的物体40都被简单地统一为地面20上的整体均匀阻碍的一部分。上述地面20-也即在不进行区分的情况下都能够行驶的路径减去地面20上被发现不畅通的不畅通区域，就可定义出畅通路径50，也即图3中虚线内的区域，或者具有允许车辆100行驶的某个阈值信心几率的区域。

在地面20上产生不畅通限制的物体40有多种形式。例如，物体40可以代表一个独立的物体，如：停着的汽车、行人或者道路障碍；物体40还可以代表不太明显的表面图案变化，这些变化指示诸如路侧缘的路边缘、草的轮廓线或者道路上的水。物体40还可以包括与地面20相联系的平坦路面的缺失，例如，路面上的大坑。物体40还可以包括相对于路面在高度上没有任何明显变化的指示牌，但对于该路段来说是明显的畅通路径提示，例如道路上的指示车道标记的图案。这里公开的方法并没有试图去识别物体40，而是通过提取地面20上的视觉线索以及所有在图像10中的地面附近的物体，从而评估不畅通路径和畅通路径的畅通路径信心几率，并在任何物体40存在时调整车辆100的控制。

二维(2D)图像的自动分析有多种可行的方法。由处理模块120内的算法对图像10进行分析。图4所示的是根据本发明的一种可用于分析图像10的示例性方法。该方法将图像10细分，识别地面20上的子图像或补片60来进行分析，从补片60中提取特征或分析可用的视觉信息，以识别出其中的任何关切特征(interesting features)或区别特征，并依据对特征的分析、根据畅通路径的信心几率来对补片进行分类。大于特定几率阈值的补片被归类为畅通的，对这类补片的汇编能够用来构成图像内的畅通路径。

作为图像10的子图像，补片60能够通过多种已知方法来识别，例如，图像10的随机搜索或密集搜索。可替换地，从其他信息源-例如雷达成像***130得到的有关物体40存在的信息能够用来识别补片，以分析能够描述物体40的那部分图像10。图像10需要很多补片60来分析整个图像。另外，多个叠层补片或不同大小的补片能够用来全面分析包含关切信息的图像10的区域。例如，一个小的补片60能够用来分析路上的一个小点；然而，一个大的补片60需要用来分析一系列的点，这些点独自看来都不是关切点，但是对于整个系列来说，其能够指示出关切物体40。另外，应用到某特定区域的补片的分辨率可以基于可用信息进行调制，例如，可应用更多的补片到图像10中的物体40可能存在的区域。多种手段或策略可以用来确定用于分析的补片60，本发明不限于这里所述的具体实施方式。

一旦补片60已被识别而用于分析，处理模块120就通过将已知的特征识别算法应用到该补片而对该补片进行处理。另外，处理模块120能够对补片相对于车辆位置的位置进行分析。特征识别算法寻找可用的视觉信息，以便找到与物体相关的图像中的特征性图案，包括由线的方向、线的位置、颜色、角落特点、其他视觉属性和学习属性所定义的特征。特征识别算法可以被应用到连续图像中以识别与车辆运动对应的变化，其中，与地面运动不相关的变化可能被识别为不畅通路径。学习属性可通过车辆内的机器学习算法来学得，但学习属性通常进行离线编程，且能够通过足以精确地训练区别属性的建模或其他技术以实验方式、经验方式、预测方式来开发。

一旦补片60中的特征被提取，补片就基于特征被分类以确定路径是否为畅通路径的信心几率。几率分析在本领域是已知的，在这种分析中存在某特定条件的几率值或信心被导出。应用到本发明中，分类包括几率分析以确定补片是否代表畅通路径、或者该补片中的地面20是否被物体40所限制。在一个示例性实施方式中，分类通过应用分类器或算法来实施，其中，所述算法因被训练而含有数据库，该数据库包括示例性路况以及与被检测物体的相互作用。这些分类器允许处理模块120导出补片60的分数型式的畅通路径几率值，该几率值将信心值量化在0与1之间，在该区间中，在补片内识别出的特征并不代表一个将会限制车辆100自由行驶的限制物体40。阈值信心限定确定该补片是畅通路径的畅通路径几率，例如可通过如下逻辑来设定阈值信心：信心＝畅通路径几率(i)如果_信心＞0.5，那么_补片＝畅通路径    (1)在这个特定的示例性实施方式中，50％或者0.5的信心被选定为阈值信心。该数字能够通过足以精确评估用于畅通路径特征的补片的建模或其他技术而实验方式、经验方式、预测方式来得出。

在一个示例性实施方式中，如上所述的几率分析能够通过将训练过的分类器应用到从补片提取的特征来实现。一种方法通过使用一组训练图像来分析假定的特征。在该训练阶段，从一个原始特征组中来选择区别特征，区别特征由本领域的已知方法定义，例如Harr小波、Gabor小波以及Leung和Malik滤波器组。另外，基于每个特征的最小分类误差并且计算为错误接受率(FAR)和错误拒绝率(FRR)的总和的二维图像位置信息能够通过调制图5所示的单一阈值而被使用。这种分类误差能用下面的表达式来描述：分类误差(i)＝FAR_i+FRR_i    (2)从训练过的分类器中得到的信息用来分类或加权特征，作为指示畅通路径或不畅通路径的特征。该特定分类取决于与训练数据的比较强度。如果该特征是补片内的唯一特征，那么该特征的分类能够直接应用到该补片。有多个识别特征的补片的分类可能有多种形式，包括由最能代表补片是不畅通的包含特征来定义补片，或者由所有包含特征的加权和来定义补片。

上述方法能够用来检查单一图像10，并基于图像10内所包含的视觉信息来估计畅通路径50。该方法可以随着车辆沿道路行驶而以某种间隔重复，从而考虑新的信息并将确定的畅通路径扩展至车辆的新位置前方的某些范围。间隔的选择必须能够以足量频率来更新图像10，以便准确地为车辆100提供行驶的畅通路径。然而，该间隔也可以选择为足以控制车辆同时不会对处理模块120施加过度的计算负荷的某个最小值。

如上所述，畅通路径检测能够通过单一图像10来完成。但是，补充使用与原始图像的时间间隔非常近的第二幅图像，例如从连续视频补片得到的一系列图像，则能够提高处理速度和精确度。第二幅图像能够与第一幅图像直接比较，并提供有关车辆行进和被检测物体运动的最新信息。同时，摄像机110视角的改变允许对第一幅图像中的特征进行不同的分析：在第一幅图像中没有清晰地显现的或者不清楚的特征可能在不同的摄像角度中出现、更加清楚，或者与第一幅图像相比已经移动的特征，也能够使得分类算法有额外的机会来定义该特征。

处理与原始图像10相关的第二幅图像能通过计算图像差异来进行。如果关切点的图像差异-例如由雷达识别出的特征不是0，那么该点能够被识别为体现新的信息。图像差别为0的点能够从分析中排除，且计算资源能够保留。确定图像差异的方法包括绝对图像强度差异和车辆运动补偿的图像差异。

通过计算绝对图像强度差异而确定图像差异能够用来收集两幅图像之间的信息。一种绝对图像强度差异方法包括如下步骤：确定原始图像与第二幅图像之间的等效图像特征，以便补偿图像之间的车辆运动；重叠图像；并标注出图像强度之间的任何的显著变化。表示图像强度在某个特定区域的变化的图像之间的比较包含新的信息。强度上显示出无变化的区域或补片在分析中不再被强调，而在强度上显示出明显变化的区域被重点关注，使用上述方法来分析任一或两个所获取的图像上的补片。

图6A、6B和6C示出根据本发明的一种通过计算绝对图像强度差异来确定图像差异的示例性方法。图6A示出了原始图像。图6B示出了比原始图像有所变化的第二幅图像。特别是圆圈向左移动了。图6C示出了两幅图像的比较，所得结论代表了绝对图像强度差异比较的结果，从第一幅图像到第二幅图像识别出一个区域的亮度变深、另一个区域的亮度变浅。这种方法能够描述为区别。这种比较分析产生某种信息，该信息表明由运动或视角变化引起的某种变化可能存在于图像区域中。这样，绝对图像强度差异能够用来分析一对连续图像以识别潜在的不畅通路径。

同样，通过计算车辆运动补偿的图像差异来确定图像差异能够用来收集两幅图像之间的信息。计算车辆补偿的图像差异的很多方法是已知的。一种计算车辆补偿的图像差异的示例性方法包括分析一个潜在物体，将其同时作为畅通路径的静态部分以及被检测物体。对特征实施几率分析，其中，该特征是根据同时对两种分类的潜在物体进行识别所得到的，分类可以被比较，例如可通过以下逻辑进行这种比较：信心(i)＝畅通路径几率(i)-被检测物体几率(i)如果_信心＞0，那么_补片＝畅通路径    (3)在这种示例性的比较中，如果信心(i)大于0，那么包含该特征的补片被分类为畅通路径。如果信心(i)等于或小于0，那么包含该特征的补片被分类为不畅通路径或受限制路径。然而，可以选择不同的信心水平数值来将路径分类为畅通路径。例如，测试可能会表明错误正值比错误负值更有可能出现，因此可能会引入一些因数或偏差。

图7所示的是根据本发明的一种将特征进行分类的方法，如上所述，该特征同时作为畅通路径的一部分和被检测物体被分类。图像10包括物体40、梯形投影70和矩形投影80。这种方法假定投影物体40作为地面上投影70内的平面物体，以测试作为畅通路径的一部分的特征的分类。该方法还假设投影物体40作为一个在矩形投影80内的垂直物体，来测试特征作为被检测物体的分类。图8所示的是根据本发明对在两幅图像之间收集的数据进行比较以评价本发明的物体40的属性的方法。摄像机110在t₁时刻发现并以第一幅图像的形式获取了来自物体40的数据。如果物体40是一个实际检测到的物体，那么在t₁时刻摄像机110观测到的物体40的轮廓将与点90A相对应。如果物体40是一个与地面20在同一平面上的平坦物体，那么摄像机110在t₁时刻观测到的物体40的轮廓将与点90B相对应。在时刻t₁和t2之间，摄像机110行驶了一定的距离。在t2时刻获取第二幅图像，关于物体40的信息能用算法来进行测试，该算法着眼于第二幅图像相对于第一幅图像的可见属性。如果物体40是一个实际检测到的物体，且从地面20向上延伸，那么在时刻t2物体40的轮廓将在点90C处被观察到。如果物体40是一个与地面20在同一平面上的平坦物体，那么物体40在时刻t2的轮廓将在点90B处被观察到。通过车辆运动补偿的图像差异所得到的比较能够通过使用基于对点90进行观察的分类器直接设定一个信心值；或者，该比较可以简单地指向显示变化的区域，作为关切点。对被作为平坦物体和实际检测到的物体分类的物体进行的测试使得要么能够识别包含物体40的区域以便通过如上所述的补片分析进行进一步分析；要么能够直接得出畅通路径几率和被检测物体几率值以便例如在上述逻辑表达式3中进行比较。

从对第二幅图像的分析所得到的可用信息能够通过结合与车辆运动有关的信息而被额外改善，所述信息例如是速度和偏航率。与车辆运动有关的信息可以有很多来源，包括车辆测速仪、车辆动力传感器或车轮速度传感器、防抱死制动机构和GPS定位***。可在算法中利用这种车辆运动信息，例如结合图7和图8所示的投影，以便基于从第一幅图像得到的数据和车辆在两幅图像之间的测得运动来投影某些角度，所述角度应当出现在第二幅图像的地面上的平坦特征中。

比较所用的图像数量不一定限制为两个。多个图像分析可在多重迭代中实现，物体在多个循环中被跟踪和比较。如上所述，计算效率能够通过图像差异分析而得以提高，其中，图像差异分析识别关切点并剔除与后续分析具有0差异的区域。这种效率能够用在多重迭代中，例如，也就是说只有在第一幅图像和第二幅图像之间识别出的关切点在第三和第四幅图像中被分析。有时候，一组新图像需要被比较，以保证显示0差异的区域均没有任何变化，例如，一个移动物体撞击到之前识别出的畅通路径上。图像差异分析和聚焦分析的使用剔除了识别出零变化的区域，图像差异分析和聚焦分析的使用对于不同的应用和不同的操作条件而言是不同的，这些操作条件例如是车辆速度或所观察到的操作环境。图像差异分析和聚焦分析的特定应用可能有不同的实施方式，本发明不局限于此处提及的具体实施方式。

此处公开了使用畅通路径检测分析来识别畅通路径的多种方法，这些方法包括：基于补片的方法和基于像素的方法。这些方法优选地在处理模块120中执行，但是也可以组合在一个或多个装置中执行，例如，在软件、硬件和/或专用集成电路中执行。基于补片的方法在上文中以及此处参考图9进行描述。基于像素的方法在此参考图11和图12进行描述。应当理解，基于像素的方法根据像素或一组像素作出决定。被分析的组成补片的这种决定可基于补片内包含的像素来作出，例如，如果补片内的任何数量或某一最小数量的像素被确定为不畅通的，那么该补片就被确定为不畅通的。基于像素的示例性方法包括无纹理方法和富含纹理方法。富含纹理方法基于图像内前后视图的关系来分析图像中与像素相关的特征以确定明显的关切点。这些关切点与车辆100前方的视场相对应地被绘图，并基于地图上的关切点的地形来确定畅通路径。图像上的不一致区域不属于平坦连续路面的一部分，无纹理方法将这些区域进行过滤，剩下的像素就对应于畅通路径。如上所述，基于补片的方法在计算上相对较快，而基于像素的方法在计算上相对较慢。

图9示出了根据本发明的一种基于补片的示例性方法200，其中，分析来自摄像机的输入以确定畅通路径几率。基于补片的方法200如图9所示，该方法在这里被描述为包含若干分立元件。这种图示是为了描述方便，这些元件所实现的功能可以组合在一个或多个装置中完成，如在软件、硬件和/或专用集成电路中执行。例如，基于补片的方法200可作为处理模块120中的一个或多个算法来执行。

在操作过程中，摄像机110产生用于处理模块120中的分析的图像(202)。处理模块120识别图像中的补片，并选择分析用的补片(204)。为了足以充分分析图像而定义多个补片的多种方法都在本发明中考虑了。如上所述，补片可以根据随机搜索方法或者密集搜索方法来定义。可替换地，从其他信息源-例如雷达成像***所得到的信息能够用来定义补片，以便分析图像的一部分。此外，多个重叠补片可以基于被分析图像中的关切区域而被利用。另外，可以使用多种方法来根据车辆前方的预期路面定义补片并得到畅通路径图案，例如：固定网格补片方法，将一些或所有图像根据规则补片图案进行划分；视角补片方法，与固定网格补片方法类似，不同点在于，其基于道路的视图并且在考虑每个补片中所包含的路面的量的情况下对补片大小和/或形状进行调制。这种车辆前方的预期路面能够通过输入图像的最初复查来判定，例如，使用能够定义车道边界的清晰可见的线来作为定义补片图案的最初参考。再例如，能够使用由畅通路径方法的最近一次迭代所得到的补片图案，并且基于反复定义的畅通路径和其他能在被分析图像中识别出的标识、通过迭代对其进行缓慢调制。

固定网格补片方法基于关切区域将图像识别并分割成多个补片，并将固定网格图案应用到关切区域。固定网格图案将整个关切区域充分分割为多个部分。关切区域优选环绕紧邻车辆前方的视场，然而，该区域可定义为环绕更窄的视场。在一个实施方式中，关切区域环绕紧邻车辆前方的视场，并由道路的水平线或消失点来限定边界。固定网格补片方法可包括通过矩阵进行补片追踪、识别和分析，其中，每个补片可通过一个数字序列的数字来识别。

固定网格补片能通过多种方法应用到图像上。第一种方法是使用相同的图像坐标将固定网格补片应用到连续图像。第二种方法是使用在图像上识别出的关切点-例如水平线将固定网格补片应用到图像。第三种方法是将固定网格补片应用到补偿车辆运动-例如车辆偏航的图像。

视角补片方法基于视场坐标而不是图像坐标来识别图像、并将图像分割成多个补片。关切区域的识别已在之前进行了描述，其中，视角补片图案基于估计出的视场坐标被应用到关切区域，从而相对于由每个补片覆盖的地面的近似面积对补片大小进行分配。这种视角补片定义使得：描述更接近车辆的地面的补片被更详细地复查，而描述离车辆较远的地面的补片不会被过多地复查。补片能够根据所获取的道路上的行车道进行排列，例如，由车道标志和/或路缘限定的车道。这些补片定义经常是梯形的，梯形的两个平行边与地平线或车辆的水平轴相平行，梯形的其余边取决于限定在图像视图中的路面。这种补片排列对定义路面是高效的。然而，多种不同的补片形状使得补片网格的计算以及补片的分析很复杂。补片可以被规范为矩形(或方形)，仍然平行于地平线或车辆的水平轴。这种矩形补片在覆盖路面方面效率较低，例如，与补片相重叠的若干路面部分包括实际上畅通的道路，但是补片的足够的分辨率以及计算效率的提高能够使得这种规范化的视角补片变得有利。

一个滤波器或一组滤波器能被应用到被选择的补片上(206)，例如，亮度规范化滤波器(lighting normalization filter)。一个示例性的规范化滤波器改变补片内的像素强度值的范围，因此使得补片的范围更适合机器处理。例如，将每个像素值规范化为零均值和单位方差能够增强图像的对比度，特别是在光线较暗的环境下或者因为反光而造成对比度较低的情况下。多种示例性滤波器和滤波方法对图像分析都有用，本发明不局限于此处描述的特定的示例性实施方式。

经过滤波之后，在被选择的补片上用特征提取算法进行特征提取(208)。特征提取算法可对所选的补片进行分析以得到预定的特征和/或形状，其中，预定的特征包括例如边缘、角落和污点；形状包括例如圆、椭圆和线。应当认识到，一些特征有意义，而另一些没有，选择特征的过程能用来识别出一组最好的特征用于进行分析。分类器训练算法分析每个特征，并分配一个几率值(210)。如上所述，在几率值推导时所使用的分类器或逻辑最初是离线训练的。基于模糊逻辑、神经网络或本领域已知的其他学习机构，训练可选择性地在车辆中继续进行。这些训练过的分类器基于所提取的特征进行几率分析，并确定补片的几率值。这种几率值表示被选补片为畅通的信心。

几率分析可通过使用空间和/或时间上相关的补片来扩充，以评估在车辆操作过程中识别出的特征。当特征提取算法识别出一个特征时，处理模块120可以从空间方面分析该识别出的特征在邻近或附近的补片中的一致性。在一个补片中识别出的特征可以与其他相邻的补片进行比较，以确定其与相邻补片之间是否有偏差或者是否一致。与相邻补片一致的特征可以被分配一个与相邻补片近似的几率值，而与相邻补片不一致的特征需被分配一个不同的几率值。与空间分析类似，当特征提取算法识别出一个特征时，处理模块120可以从时间方面分析被识别特征在时间相关的补片中的一致性，从而对车辆运动进行补偿。例如，在若干帧中分析并被确定为在图像的各帧中具有高几率值的特征，能够与后续帧中的收到低几率值的相同特征从时间方面进行比较。如果该特征的时间分析揭示了新信息，例如相对于道路的特征运动；或者增加的视角表明该特征代表了位于路面上的一个物体，那么该特征的较低几率值能够被确定。如果没有得到新信息，那么当前帧中的特征的较低几率值可以被中止，因为其不一定表示不畅通路径。可用类似的方法来分析后续帧，以确定该特征是显著的还是非显著的。类似地，根据此处描述的方法，有问题的特征能够在当前的或者后续的图像中、通过增加计算侧重点来进行分析。

处理模块120将几率值与几率阈值进行比较(214)。如果几率值比几率阈值大，那么该补片被识别为畅通路径(218)。如果几率值不比几率阈值大，那么该补片就被识别为不畅通路径。

如上所述，基于补片的方法200可以通过多种方式进行重复或迭代，通过不同补片的选择和分析对同一图像进行反复分析，并且能够在多个连续图像中追踪被识别的补片并分析其变化。

图10所示的是根据本发明的一种示例性的基于富含纹理的像素的方法300，其中，对摄像机的输入进行分析以确定畅通路径几率。图10中示出了基于富含纹理的像素的方法300，并且在此处描述为包含若干分立元件。这种图示是为了描述方便，应该认识到，这些元件所实现的功能可以组合在一个或多个装置中完成，例如在软件、硬件和/或专用集成电路中执行。例如，基于像素的方法300可作为处理模块120中的一个或多个算法来执行。

在操作过程中，摄像机110产生图像以便在处理模块120中对其进行分析(302)。处理模块120分析图像以找到关切点，例如，如上所述地检查像素颜色强度，并将像素或一组像素与周围像素进行比较。关切点是图像上的可识别像素，并与一系列视觉信息-即富含纹理的特征相联系，并且与位于视场中的物体相联系。通过本领域已知的方法，例如，比例不变特征变换(SIFT)，利用角落检测或其他形状检测的方法；或者Sobel滤波器，关切点可被识别并用以完成此处所述的方法(306)。在一个实施方式中，多余关切点-例如与同一特征相对应的多个关切点将被剔除，以便提高计算效率。

一旦识别出关切点，在可能的情况下，处理模块120比较车辆运动时的连续图像，以便对来自每个图像的关切点与连续图像中的对应点进行匹配(310)，这些对应点在视场中对应于相同的点。匹配包括使用对应匹配程序，例如，比例不变特征变换(SIFT)特征匹配程序和光流程序；并且可进一步包括通过模版匹配来定位对应点，从而考虑宿主车辆的运动，并且对两个点是否代表视场中的同一可见物体或可见特征作出最佳估计。模板匹配可通过多种方法中的一种来确定以便找到对应的关切点，包括若干已知模板匹配程序方法中的一个，例如Lucas-Kanade或者Horn-Schunck。匹配后的点对与位于两幅图像中的同一特征相对应，其中，该同一特征与视场中的同一物体相关联。虽然可以匹配关切点，但不是所有匹配的对应点对都代表高质量的对应点对，高质量的对应点对允许识别它们在视场中的三维位置以便分类为能使车辆通过的畅通路径。

处理模块120对匹配的对应点对进行滤波，以便识别出高质量的、能够在三维位置识别中以高信心水平被应用的对应点对(314)。优选的匹配点对可以基于质量控制标准进行选择，例如，两个点之间的距离，与图像边界之间的距离以及各相邻像素之间的颜色相似度等。判断匹配点对的标准的选择还可基于如下条件，例如：当前车外亮度、天气、车辆速度和其他任何影响判断匹配点对的能力的因素，或者快速、精确地定义畅通路径的紧迫性。

高质量的对应点对被分析以确定视场中的由对应点对所代表的物体的三维位置(318)。应当理解的是，与地面相比具有不同高度的对应点在连续图像中会有不同的运动。在连续图像之间分析关切点的运动能够产生关切点的估计出的三维坐标。基于高质量的对应点对、连续图像之间的样本时间以及诸如车速、车辆偏航率等的车辆数据，能够确定物***置。通过这些三角测量方法能够得到物体在水平面中的位置以及物体相对于地面的高度。

所确定的物***置用来对宿主车辆前方的物***置进行绘图(322)，所绘地图包括视场的估计地形。地形可通过指定物体周围的预定空间维度来估计。优选地，预定空间维度在高度方面相对于距物体的距离以预定速度减小。通过使用地图和估计地形，处理模块120能够确定宿主车辆前方的畅通路径(326)。

上面的方法应用连续图像来建立有关车辆前方的物***置和垂直高度的地图，从而可以确定一条畅通路径。应当理解的是，在任意两个给定的图像中，一个特定物体可能不会被分类为包含两个足够在该特定分析中被绘图的、高质量的关切点。然而，上述分析在车辆行驶过程中每秒钟发生多次。当车辆在畅通路径上向前行驶时，将得到物体的不同视角，并将分析大量的图像。在路径上行驶并分析该路径上的多个迭代图像，可通过所述分析建立一个信心值，该信心值表明在被识别的畅通路径上不存在阻碍畅通路径的物体。

图11示出的是根据本发明的一种示例性的基于无纹理像素的方法400，其中，分析摄像机的输入以确定畅通路径的几率。基于无纹理像素的方法400在图11中示出，并在此处被描述为包含若干分立元件。这种图示是为了描述方便，应该认识到，这些元件所实现的功能可以组合在一个或多个装置中完成，例如在软件、硬件和/或专用集成电路中执行。例如，基于无纹理像素的方法400可作为处理模块120中的一个或多个算法来执行。

在操作过程中，摄像机110产生图像以便在处理模块120中对其进行分析(453)。处理模块120通过多种滤波方法来分析图像以识别并剔除图像中不一致的像素。剩余的像素代表了车辆可以行驶的潜在的畅通路径。图11示出的基于无纹理像素的方法400包括识别并剔除图像中的不一致像素的4种示例性滤波方法。无纹理的方法能与四种示例性方法的某些部分结合应用，并且/或者可用未命名的类似方法来处理图像。

第一种示例性滤波方法剔除在地平线或者消失点以上的像素(456)，包括天空和其他不能构成路面的一部分的垂直特征。术语“消失点”是一个广义的术语，此处采用对本领域普通技术人员而言常用和常规的含义，指的是地平线上的无穷远的、与视场中地面上的多个平行线交叉的点。识别路面从而建立车辆行驶的畅通路径必然在消失点或地平线以下。滤波图像以便仅分析地平线以下的区域有助于使被分析以识别路面的像素与不相关的像素区分开。本领域技术人员可以理解，确定消失点和对应的地平线有很多已知的方法。

第二种示例性滤波方法应用基于像素颜色强度差异的滤波器(459)，其前提是路面将包括一个大的表面，该整个表面上的视觉强度都相同。当相关像素颜色强度变化大于预设的阈值时，从图像中剔除这些像素。对于与多种颜色相关联的像素，当任何特定颜色的像素颜色强度变化大于预设的阈值时，从图像中剔除这些像素。基于被识别为畅通路径的像素的历史颜色强度，预设的阈值能够被更新。

第三种示例性滤波方法应用基于连续图像的差异的滤波器，其能够分析图像之间的变化(462)。某些像素与一种像素颜色强度相关联，当该像素颜色强度变化大于预设的阈值时，从图像中剔除这些像素。在一个实施方式中，基于车辆的运动来调整图像，从而对像素进行区别和比较，就像所有像素都与地平面上的点相对应一样。已知的三角测量方法能用来确定对图像的运动调整。通过假设图像上的所有物体都在地平面上，同与地平面关联的像素不一致的变化能够用来识别那些不在地平面上的点。例如，地平面上方的像素在连续图像之间的运动可能比预料的更快，这种运动能够通过在连续图像之间检查像素颜色强度之间的差异来进行识别。

第四种示例性滤波方法应用基于视觉数据中的代表边缘或过渡的像素识别的滤波器(465)。为了产生第四个滤波图像，基于与边缘相对应的颜色强度值，通过使用几种已知边缘检测滤波器中的一种-例如Sobel滤波器，处理模块120从图像中提取像素。边缘检测滤波器优选在处理模块120中执行，但也可以组合在一个或多个装置中执行，例如在软件、硬件和/或专用集成电路中执行。在一个实施方式中，每个像素都使用Sobel算子来进行分析。Sobel算子计算每个像素颜色强度的梯度矢量，从而生成从亮到暗的最大可能增加的方向以及该方向上的变化率。与超过阈值的变化率相对应的点以及与附近像素的梯度矢量相对应的点代表了边缘，并被包含在第四个滤波图像中。当其他像素从图像中剔除时，这些像素仍被保留。

通过并行应用各种方法，结果能够融合到图像的单个地图中(468)。融合包括在每种不同的滤波方法中被识别的像素。融合的畅通路径地图上的像素与视场中期望的驾驶位置相对应。融合的畅通路径地图上的没有像素的位置与视场中不期望的驾驶位置相对应。处理模块120能够分析地图，以得到指示用于驾驶的畅通路径的视觉数据(471)。

如图11所示的基于无纹理像素的方法400将不同方法并行应用到图像，以识别视场中与定义畅通路径有关的特征。然而，应当理解的是，这些方法并非必须并行执行，也可以在各个步骤中连续地或者有选择地用这些方法处理图像，以识别视场中与定义畅通路径相关的特征。

基于像素的畅通路径的另一个检测方法包括应用融合的富含纹理方法和无纹理方法。

富含纹理方法和无纹理方法能够通过多种方式进行融合。带有被识别点和所确定的高度的、通过富含纹理方法识别出的图像能够由无纹理方法产生的滤波图像覆盖，并且两种方法的一致性能用来通过重叠图像定义畅通路径。在另一种融合两种方案的方法中，来自每个方案的数据都能用来将信息投影在车辆前方区域的的编程上方地图上，包含从两个方案的分析中得到的数据的该上方地图可包含建立该地图的各个区域的信心指示。在另一种融合两种方案的方法中，一个方案可作为主要或主导方案使用，第二个方案可用来分析或者被激活以便分析在视场中被识别为不清晰或不清楚的区域。在融合两个方案的任何方法中，一个处理方案的长处能用来弥补另一个处理方案的弱点。如果两个方案同时认定路径是畅通的，那么应用这些方案的处理模块可通过更高的信心水平来确定车辆适于通过该路径。融合这些识别方案的多种方法都已被考虑到，本发明并不局限于此处所描述的特定实施方式。另外，其中一个或两个方案可与上述利用补片分析的方法进行组合。

基于示例的方法能够替换其他方法或者作为补充来基于输入图像定义畅通路径。基于示例的一种示例性方法收集视图的多个图像样本从而定义每个样本图像的畅通路径，将当前图像与一个或多个样本图像进行匹配，并基于上述匹配来确定畅通路径。将当前图像与一个或多个样本图像进行匹配可通过如下方法实现：例如从每个样本图像中提取特征，从当前图像中提取特征，将从当前图像中提取的特征与从样本图像所提取特征的数据库进行比较，并为当前图像选择匹配的样本图像。畅通路径可从最佳匹配样本图像中选出或者基于与当前图像最接近的匹配的组合来确定。

多种畅通路径检测算法的等级结构可结合到本发明中，包括基于计算强度来布置算法。计算强度较小的检测方法可用来识别图像中的畅通路径，将图像中不被识别为畅通路径的其他部分留给计算强度较大的分析方法，从而提高了畅通路径识别的计算效率。所应用的具体方法以及所使用的具体等级方法的等级结构可有所不同或发生改变。在一种示例性的等级结构中，基于补片的畅通路径检测方法分析图像中的畅通路径，之后图像中没有被基于补片的方法识别为畅通路径的剩余部分由基于像素的畅通路径检测方法来分析。在一个实施方式中，使用基于示例的方法的第二种示例性等级层进一步分析在基于像素的方法中未被识别为畅通路径的那些部分。然而，多种不同的等级结构都已被考虑到，本发明并不局限于此处所描述的特定实施方式。

上文所述的无纹理图像分析方法将不属于平坦一致的道路表面的不一致的图像区域从图像中过滤掉。这种方法利用平行应用到图像上的各种滤波器来去除不可能是畅通路径的图像区域，剩下的是指定为畅通路径的候选区域。一种可替换的方法-即基于分割的畅通路径方法类似地通过几个平行的分析方法来分析图像以识别畅通路径。但是，并非过滤掉图像的若干部分，所述示例性的基于分割的方法首先根据图像内可辨识的边界来细分或分割图像，然后对这些分割区段进行评判以识别畅通路径。

基于分割的方法利用各种分析方法来细分图像。一种示例性的构造利用运动分析、纹理分析、颜色分析、以及几何形状分析来分割图像。

可以采用多种形式进行运动分析。如图6A-6C所示，两个图像或一系列图像之间的差别可以用于区别物体相对于背景的运动。在另一个示例中，图像中的特征识别可以用于评估一个可视物体是否与倾向于运动的已知形状相一致，该已知形状例如是位于车辆的特定相对方向的另一车辆或行人。在另一个示例中，其中可以采用除了图像之外的另一车辆***，例如雷达***，其提供从物体返回的雷达数据，或车辆-车辆(V2V)通讯，其提供来自追踪和通讯车辆的位置和运动信息，物体的运动可以被辨别出来并且与该图像重叠从而对图像进行细分。一个这样的示例包括在双向街道上的对向交通工具。对该交通工具的运动的感测可以用于从当前车道中分割出对向车道。运动分析的其它方式也是本领域已知的。应该理解的是，在判断图像中的物体或特征的运动时，可以考虑车辆的运动。

一旦执行了运动分析，相对于静止地平面运动的图像中的物体或区域便可以从图像的剩余部分中被分割或分离出来，作为不能用作候选畅通路径的图像区域。这种示例性操作从识别出存在运动的区域中分割出作为可能含有畅通路径的静止区域的图像部分。进一步，可以利用检测到的运动所暗示的信息，以便例如将移动物体前方的一部分作为一个潜在碰撞区域-即不畅通路径从图像中的代表畅通路径的其它部分中分割出来。可以预想利用可通过运动分析辨别的信息的多个方法，并且本发明不限于此处描述的特定实施方式。

上面已经结合富含纹理和无纹理的方法讨论了纹理分析。根据示例性的富含纹理方法，可根据上述方法以及其它本领域已知的方法在图像中识别和分析像素强度对比、颜色对比、可识别线、拐角和其它特征。根据示例性的无纹理方法，可以基于图像中的可识别图案将不同滤波器应用于图像，从而确定图像中的更可能包括畅通路径的区域。

一旦执行了纹理分析，对图像中的特征和/或图像的像素中的无纹理区域的分析可以提供对于分割图像有用的图像部分的定义。这种示例性操作基于检测到的性质和对潜在畅通路径的潜在影响分割了图像的若干部分。特定纹理或像素特征的存在对于分析是有用的。例如，车道标记可被辨别出来，并且可用于限定图像中的代表路面并且与确定畅通路径相关的区段或部分。类似地，路侧、路肩和路边栅栏可以用于从图像的其它区域中分割出代表路面的图像部分。类似地，如上所述，车道的几何形状或可通过纹理分析确定的其它标识对于确定地平线或消失点是有用的。该地平线或消失点可用于将可能存在畅通路径的地面从不可能存在畅通路径的地平线以上的天空和其它背景中分割出来。此外，可通过富含纹理分析辨别出的物体可根据它们相对于地面的高度而被分析。通过这种分析，表示道路中央、雪层或停车线的纹理可以被用于从可能存在畅通路径的区域中分割出不可能存在畅通路径的区域。在另一个示例中，识别出的缺乏纹理或无纹理的图像区域，例如可能出现的道路的平坦表面，对于将作为畅通路径的图像区段从具有可辨别纹理的其它区域中分割出来是有用的。可以预想出利用可通过纹理分析辨别出的信息的多种方法，并且本发明不限于此处描述的特定实施方式。

在与上述无纹理方法类似的方法中，可以采用颜色分析来从不能代表路面的区域中分割出能代表存在畅通路径的路面的图像部分。无纹理方法基于纹理过滤或去除图像部分，而颜色分析基于颜色分割图像中的若干部分，具体地从具有不能代表路面的颜色的图像部分中分割出具有能代表路面的颜色的图像部分。

一旦执行了颜色分析，具有能代表路面的颜色的图像区域便可以从不能代表路面的道路区域中被区别出来。颜色分析能通过颜色分割出图像的若干部分，例如，从图像中的灰色区域中分割出绿色区域。在这个示例中，道路可以是灰色的，而不太可能是绿色的。颜色分析可以类似地用于确定车道标记、建设区域标志、学校区域标志、路面上的表示不能通行的阴影图案以及其它标识，所述其它标识可以根据道路上或道路附近的标志的颜色来判断。可以预想出利用可通过颜色分析辨别出的信息的多种方法，并且本发明不限于此处描述的特定实施方式。

通过上述示例性方法可将图像分割成多个部分，并且/或者对图像内的明显形状的识别允许识别出图像中的明显的几何图案。这样的几何图案一旦被识别出来，便可被分析以确定畅通路径的存在。

几何形状可用于识别图像中的某些区域，这些区域代表能够为畅通路径的路面。例如，底部较宽顶部较窄的基于平行四边形的形状，该形状具有包括图像底部和所确定的地平线的大体平行的线，这种形状可用于表示道路上的当前行驶车道。基于平行四边形的类似形状，或者如果延伸过图像的中间垂直边缘则构成平行四边形的与当前行驶车道相邻的形状，或者具有看似平行于当前行驶车道的线的形状，根据其它标识上述形状可能表示相邻的行驶车道和潜在的畅通路径。没有从行驶车道中分割出来的、与当前行驶车道或识别出的相邻行驶车道邻接的形状可能是连接道路和潜在的畅通路径。进一步，可以逻辑地组合这些形状从而指示路面或行驶车道。例如，从道路到桥面的转变常常包含明显的转变部。通过上述方法识别出的这种转变部可产生在该转变部处终止的几何形状。然而，对几何形状的分析可以表示两个形状或许一起表示相邻的行驶车道。

类似地，几何形状可被识别为不指示能够为畅通路径的道路或行驶车道。行驶车道要求车辆能通过该车道行驶。突然终止的形状、与其它识别出的行驶车道中清楚分开的形状、被指示表面高度突然变化的形状或其它指示行车障碍的形状分开的形状可用于从能够为畅通路径的其它区域中分割出图像的若干部分。表示高度突然变化的示例性形状包括具有与墙壁或陡峭路缘一致的垂直线的形状。

此外，识别出的几何形状的尺寸可以描述该形状是否代表道路或畅通路径。靠近车辆的行驶车道必须具有一定尺寸以便构成车辆能在其上行驶的畅通路径。由于几何形状所指示的路面的潜在尺寸，几何形状或几何形状的图案可以被确定为支持或不支持畅通路径。随着被分析的表面进一步远离车辆，由于视角的原因，支持畅通路径的行驶车道可能看起来较小。可以预想出利用可通过形状分析辨别出的信息的多种方法，并且本发明不限于此处描述的特定实施方式。

应该理解的是，上述方法只是示例性的。可以组合更少的分析来描述畅通路径，并且可以根据任何足以评估不同分析方法的选择方法、基于监测到的影响每种方法的精确度或效率的因素来选择性地利用特定的分析方法。这些因素可包括天气、光亮度、交通密度、车速和其它因素。

另外还可以采用不同的方法。例如，可以预想到简单阈值方法(simplethresholding method)。一个示例采用了柱状图阈值分割法(histogram thresholdingsegmentation)。这样的一个示例性方法找出柱状图谷底或谷底位置并采用这些位置作为阈值来分割图像。在另一个示例中，可以采用自动阈值分割法或ostu分割方法(ostu-segmentation method)。没有采用预定的固定阈值，ostu分割法采用足以完成图像识别的方法或采用分割技术来确定分割图像的最佳阈值。可通过一种方法找到这些阈值从而基于组类方差(inter-class variance)和类内方差(inner-class variance)来找到最佳阈值。

另一个示例采用区域生长分割法(region growth segmentation)。从一个种子(seed)开始并传播到整个图像，当相邻像素被调查时，从先前确定的区域均值计算出差值。如果该差值小于一个阈值，那么该像素被融合到该区域中。否则，这个像素就形成一个新的种子并且开始另一个区域。

另一个示例采用分水线方法(watershed method)来分割图像。在一个类似于循着地形图上的水流的方法中，从局部最低位置限定起始划分区，并且所述划分区被增大，直到每个被划分的区域达到分水脊(watershed ridge)并且在此处停止。这些分水脊变成分割补片的边界。可以在初始图像或梯度图像上使用这种分水线方法。

另一种示例包括聚类方法(clustering method)。例如，K均值方法(K-mean method)是已知的。在特征空间中，从随机选择的k或预定中心点开始。接着对所有像素进行聚类。通过一组迭代，更新个均值(通过特征空间中的中心点)并更新一个方差，并且在下一个迭代中重新执行聚类。当类内方差到达一个阈值时或者在类内方差的最大迭代数达到一个阈值后并且在聚类结果在一个迭代与下一个迭代之间不发生变化后，停止反复。在另一个示例中，ISODATA分割法是已知的。ISODATA分割法是对k均值方法的改进：不是使用固定的k划分区，ISODATA方法在聚类过程中引入了本领域已知的“***和合并”方法。当组类方差小于一个阈值时，那么该类便被合并。当类内方差大于一个阈值时，那么该类便被***。最后的划分区可具有各种不同的补片数目。

另一个示例包括基于图表的分割。可在网格图表或图像空间或特征空间中最相邻的图表上执行该方法。当在特征空间中执行该方法时，其结果类似于K均值方法或ISODATA方法。当在网格图表上执行该方法时，该方法将图像看作一个图表G＝(V，E)，其中V中的每个节点v_i对应于一个像素，并且E包含连接一对“邻近”像素(在图像空间或特征空间中)的边缘。该方法的原理是在调整公差函数的同时比较组分的内部差异和两个组分之间的差异。该方法从最小组分开始(例如从每个像素开始)并且合并组分，直到组分之间的差别大于组分内部的差别。该公差函数控制期望的分割尺寸。

在另一个示例中，雷达、LIDAR、与数字地图相结合的全球定位数据、车辆间的通讯、车辆与基础设施之间的通讯或其它表示车辆操作环境的输入可以用于提供不同的分析，这些分析可在输入图像上重叠并且用于分割输入图像。在图20中所给出的示例的基础上或者作为其替代方案，可以采用其它图像处理或分析方法或者采用关于车辆操作环境的其它信息源，从而将图像中的支持畅通路径的若干部分从不支持畅通路径的其它部分中分割出来，并且本发明不限于此处描述的示例性实施方式。

本发明公开了额外的用于检测车辆100行驶的畅通路径的方法，包括检测车辆周围的物体并将这些物体放入畅通路径确定的情境中的方法。对所述物体或多个物体以及任何可以被确定的情境信息的检测都可在物体对畅通路径存在影响的情况下用来优化行驶畅通路径。与车辆操作环境相关的信息-包括对车辆周围的物体的检测可被用于定义或优化畅通路径。例如，所述畅通路径检测分析可以利用车辆检测分析和建筑区域检测分析来扩充。检测到的物体-例如另一辆车或建筑障碍物可能限制车辆的安全行驶和/或指示限制车辆行驶的状况或约束条件。所述车辆检测分析检测视场中的车辆。所述建筑区域检测分析检测建筑区域和其他与限制车辆行驶相关的地带。用于分析道路的独立方法可以用于增强在视场中识别出的畅通路径的信心。类似地，畅通路径检测分析可用于扩充车辆检测分析和建筑区域检测分析。

车辆检测分析包括利用一个或多个检测***分析车辆周围的环境以检测其它车辆。所述检测***可以包括但不仅限于基于摄像机的***、基于雷达的***、基于LIDAR的***、以及基于超声波传感器的***。还应当理解的是，检测信息或相对位置信息可以通过V2V通信或车辆与基础设施(V2I)通信而远程地通信。车辆检测可包括车辆追踪以确定作为需要避让的物体的车辆。此外，车辆追踪可用于描述示例性畅通路径并将其与其他可用信息进行比较。此外，车辆与车辆之间的位置-例如如所描述的相对于宿主车辆的纵向轴线的位置可以基于单个图像描述畅通路径的潜在行为。例如，与宿主车辆相距一段距离、向远离宿主车辆的方向行驶并位于宿主车辆左方5度的位置上的车辆可用于在前方道路中在定义畅通路径的预测中估计向左的曲率。

本文中结合图12公开了利用基于摄像机的车辆检测***在图像中检测车辆的方法。图12示出了示例性图像500。所述基于摄像机的车辆检测***以多种方式分析图像500以识别与车辆相对应的图像坐标。可以利用富含纹理的方法，其中利用三角测量法分析连续图像的对应的匹配关切点，以确定与对应的匹配关切点相关的物体运动。可估计所述运动以便获得可识别行为特征从而确定所述物体是否与车辆对应。所述可识别行为特征与车辆特有的行为相对应，并且其可被赋予一个信心几率值，其中与超过阈值的信心几率值对应的物体被定义为车辆。所述可识别行为特征可根据图像位置和车辆100的速度进行评估。例如，相比于随后监测到的图像，与车辆紧前方的区域相对应的物体将很可能具有与车辆100类似的速度。额外的检测到的静态物体或瞬态物体可帮助完成所述估计，包括检测到的车道边界505和/或车道标记506。与车辆对应的物体更可能在车道标记内行驶并且避免跨越车道边界。显示出可识别行为的物体增加物体对应于一个车辆或多个车辆的信心几率值。

显示出运动并通过富含纹理方法识别出的物体可与模板匹配程序一起使用。模版匹配包括将预定模版与在图像中选定的图像区域504进行比较。图像内的图像区域包括多个为分析而被选择并通过图像坐标被识别的空间上相关的像素。模板匹配可利用多种方法中的一个来执行，包括在灰度图像和亮度规范化图像上执行。多个车辆模板构造成与车辆的多个视图相对应，包括与纵向车辆行驶相关联的模板和与基本垂直交叉的车辆行驶相关联的模板。将所述模板与对应于显示运动的特征的图像区域进行比较。在一个实施方式中，模板匹配可包括利用绝对差测量值总和将图像的像素强度与模板进行比较。可在图像区域上执行线性空间滤波，以确定与模版具有最高对应性的图像区域。与预定阈值对应性相关联的图像区域被认为与模板相匹配。

检测车辆周围的物体常常包括车辆追踪。本发明公开了用于实现车辆追踪的一种示例性方法。基于雷达的车辆检测***利用雷达成像***130来估计车辆100前方的车辆尺寸和车辆运动。可根据本领域已知的方法对返回结果进行分析并估计相对于车辆100的车辆位置。

参见图15-17，所述车辆100包括具有目标追踪***的雷达成像***130，所述目标追踪***包括感测装置714和716以估计车辆100前方的车辆尺寸和车辆运动。图15示出了根据本发明的配备有目标追踪***的车辆100***的示意图。所述示例性的目标追踪***优选地包括物体定位传感器，这些物体定位传感器包括至少两个前视距离感测装置714和716。物体定位传感器可以包括短程雷达子***、远程雷达子***、以及前视子***。所述物体定位感测装置可包括任何距离传感器，例如FM-CW(调频连续波)雷达、脉冲和FSK(频移键控)雷达、LIDAR(激光雷达)装置、以及依赖于多普勒效应测量来定位前方物体的超声波装置。

这些传感器优选地定位在车辆100内，位于相对而言不阻碍车辆前方视场的位置。同时应当理解的是，这些传感器中的每个都提供了目标物体的实际位置或状态的估计，所述估计包括估计位置和标准偏差。如所述的，物***置和状态的传感器检测和测量通常被称为“估计”。还应当理解的是，这些传感器的特性是互补的，因为一些传感器在估计特定参数时会比另一些传感器更可靠。常规的传感器具有不同的操作范围和覆盖角，并且能够在它们的操作范围内估计不同参数。例如，雷达传感器通常可以估计物体的距离、距变率、以及方位角位置，但是正常情况下其不擅长估计被检测物体的长度。具有视觉处理器的摄像机在估计物体的形状和方位角位置方面更擅长，但是在估计物体的位置和距变率方面效率较低。在估计物体距离和方位角位置方面，扫描型LIDAR可以有效并精确地操作，但是其通常不能估计距变率，并且因此其在新物体捕获/识别方面不太精确。超声波传感器能够估计距离但是其通常不能估计或计算距变率和方位角位置。此外，应当理解的是，每个传感器技术的性能都会受到不同环境条件的影响。因此，常规的传感器呈现出参数差异，但是更重要的是，这些传感器的操作重叠为传感器融合创造了机会。

每个物体定位传感器和子***提供输出，这些输出包括距离R、基于时间的距离变化R_dot、以及角度Θ，这些输出优选地是相对于车辆的纵轴线的，其可被写作测量矢量(°)，即传感器数据。示例性的短程雷达子***具有160度的视场(FOV)和30米的最大距离。示例性远程雷达子***具有17度的视场和220米的最大距离。一种示例性前视子***具有45度的视场和五十(50)米的最大距离。对每个子***来说，视场优选地围绕车辆100的纵向轴线定位。车辆100优选地定位于坐标***中，该坐标***被称为XY-坐标***720，其中车辆100的纵向轴线形成X轴，其原点位于便于车辆和信息处理的点处，并且Y-轴由与车辆100的纵向轴线的垂直的轴线形成，该轴线因此平行于地面。

图16示出了根据本发明的用于信息流的控制***，其中所述信息流被用于生成轨迹列表。所述控制***包括观测模块722、进一步包括卡尔曼滤波器724A的数据关联和聚类(data association and clustering)(DAC)模块724、以及记录包括多个物体轨迹的轨迹列表726A的轨迹寿命管理(track lifemanagement)(TLM)模块726。更特别地，所述观测模块722操作传感器714和716、它们各自的传感器处理器、以及传感器、传感器处理器和DAC模块724之间的相互连接。

图17示出了根据本发明的示例性的数据融合过程。如图17中所示，被示出的观测模块包括定位并定向在车辆上的离散点A处的第一传感器714、第一信号处理器714A、定位并被定向在车辆上的离散点B处的第二传感器716、以及第二信号处理器716A。所述第一处理器714A转换从第一传感器714接收的信号(表示为测量值0A)以确定针对目标物体730出现时估计的每个测量值的距离(RA)、距离随时间的变化率(R_dotA)、以及方位角(ΘA)。类似地，第二传感器716A转换从第二传感器716接收的信号(表示为测量0_B)以确定针对物体730估计的第二组距离(RB)、距变率(R_dotB)、以及方位角(ΘB)。

所述示例性DAC模块724包括控制器728，其中储存了算法和相关校准值，并配置成接收来自传感器714和716中的每个的估计数据，以便将数据聚类到相似观测轨迹中(即经过一系列离散时间事件后由传感器714和716对物体730的重合时间的观测)，并且将被聚类的观测结果融合以确定真实的轨迹状态。应当理解的是，利用不同的感测***和技术融合数据能够获得可靠的结果。同样，还应当理解的是，可在这个技术中使用任何数量的传感器。但是，同时应当意识到，传感器数量的增加会导致算法的复杂性增加，并且会导致更大的计算能力需求，以便在相同的时间帧中产生结果。所述控制器728封装在宿主车辆100内，但是也可定位于远程位置。关于这点，控制器728被电联接到传感器处理器714A、716A上，但是也可通过RF、LAN、红外线、或其他常规无线技术无线地联接。所述TLM模块726配置成接收并将被融合观测结果储存在轨迹列表726A中。

多目标追踪(“MTT”)融合中的传感器记录或传感器的“对准”涉及确定传感器的位置、定位、***偏差以及目标状态变量。在具有传感器记录的常用MTT***中，在车辆操作过程中生成目标轨迹。轨迹代表实体物体并且包括多个***状态变量，这些变量包括例如位置和速度。从每个传感器获得的测量结果通常与特定的目标轨迹相关。多种传感器记录技术是本领域已知的，因此在此不再详述。

图15的示意图包括前面提到的在位置A和B处安装在车辆上-优选地安装在车辆100前部的物体定位传感器714和716。所述目标物体730从车辆移动离开，其中t1、t2、t3表示三个连续的时间帧。直线ra1-ra2-ra3，、rf1-rf2-rf3，、rb1-rb2-rb3分别代表第一传感器714、融合处理器以及第二传感器716在时间t1、t2、t3根据O_A＝(RA，R_dotA，ΘA)和O_B＝(RB，R_dotB，ΘB)利用位于点A、B处的传感器714和716测得的目标位置。

一种已知的示例性轨道融合过程允许相对于车辆在XY-坐标***中确定装置的位置。所述融合过程包括根据O_A＝(RA，R_dotA，ΘA)和O_B＝(RB，R_dotB，ΘB)利用传感器714和716在点A、B处测量目标物体730。确定目标物体730的融合位置，该位置由x＝(RF，R_dotF，ΘF，ΘF_dot)表示，其由前文所描述的距离R和角度Θ描述。前向物体730的位置随后被转换为相对于车辆的XY-坐标***的参数坐标。所述控制***优选地利用融合的轨迹轨道(线rf1，rf2，rf3)-包括多个融合物体作为基准(即地面实况)来估计传感器714和716的真实传感器位置。如图15中所示，融合的轨迹轨道由时间序列t1、t2和t3处的目标物体730给出。利用大量的相关物体对应参数，如{(ra1，rf1，rb1)，(ra2，rf2，rb2)，(ra3，rf3，rb3)}，可以分别计算出点A和B处的传感器714和716的真实位置以使剩余值最小化，优选地利用已知的最小二乘计算法进行计算。在图15中，被指定为ra1、ra2、和ra3的项表示由第一传感器714测量出的物体地图。被指定为rb1、rb2、和rb3的项表示由第二传感器716观测到的物体地图。

在图16中，所引用的轨迹优选地被计算，并在前文所述的图17的传感器融合块728中被确定。传感器记录过程包括确定传感器714和716的相对位置和它们的坐标***与由XY-坐标***识别出的车辆框架之间的关系。现在将对单个物体传感器716的记录进行描述。所有物体传感器优选地可类似地***作。对于物体地图补偿，可优选地使用传感器坐标***或框架(即UV-坐标***)和车辆坐标框架(即XY-坐标***)。所述传感器坐标***(u，v)优选地由下列各项定义：(1)位于传感器中心处的原点；(2)所述V-轴沿纵向方向(视轴)；以及(3)u-轴垂直于v-轴并指向右侧。如前所述的车辆坐标***表示为(x，y)，其中x-轴线表示车辆的纵轴线，而y-轴线表示车辆的横轴线。

轨迹位置(x)可以在XY-坐标***中表示为(r)。传感器测量值(o)可以在UV-坐标中表示为(q)。传感器记录参数(a)通过UV坐标***的旋转(R)和平移(r0)构成。

图18示出了根据本发明的结合追踪和传感器记录的示例性数据流。所述方法在接收到传感器数据时开始。数据关联模块将传感器数据与目标预测位置相匹配。结合追踪和记录模块将先前的估计(即先验值)和新数据(即匹配的测量轨迹对)结合起来，并更新数据库中的目标轨迹估计数据和传感器记录数据。时间延续过程模块通过动态模型基于历史传感器记录、轨迹、和当前车辆运动来预测下一时间循环中的目标轨迹或传感器记录参数。所述传感器记录参数通常被假定为不随时间发生变化的常量。记录参数的信心随时间变化而累积。但是，当检测到重大的传感器记录变化时(例如车辆碰撞时)，关于记录的先验值信息将被重置为0。

物体轨迹可用于多种目的，包括自适应巡航控制，其中如前所述的，车辆调节车速以便与当前路径中的车辆保持最小距离。可以利用物体轨迹的另一个相似的***是碰撞准备***(CPS)，其中对识别出的物体轨迹进行分析以基于相对于所述车辆的轨迹运动来识别可能发生或即将到来的碰撞。CPS警告驾驶者即将到来的碰撞，并且当认为碰撞不可避免的时候通过自动制动来减小碰撞的严重性。当确定碰撞即将来临时，所公开的用于通过CPS利用多物体融合模块的方法提供了防范/应对措施，如安全带张紧、节气门停用、自动制动、气囊准备、头枕(head restraints)调节、喇叭和前灯激活、踏板或转向柱调节、悬架控制调节、以及稳定控制***调节。

图19示意性地示出了根据本发明的示例性***，其中传感器输入被融合到用于碰撞准备***的物体轨迹中。与车辆周围的环境中的物体相关的输入由数据融合模块监测。数据融合模块分析、过滤、或对相对于各种输入的可靠性来区分优先次序，并且被优先的或衡量过的输入被加权(summed)以生成车辆前方物体的轨迹估计。这些物体轨迹随后被输入到碰撞威胁估计模块中，其中为了获取碰撞几率而评估每个轨迹。可对碰撞几率进行评估，例如相对于阈值碰撞几率，并且如果确定碰撞很可能发生，则启动碰撞应对措施。

如图19中所示，CPS利用其距离传感器(例如雷达、LIDAR、超声波传感器)和摄像机持续地监测周围环境，并且采取适当的应对措施以避免事故或可发展为碰撞的情况。碰撞威胁估计模块生成***致动器响应的输出。

如图19所示，融合模块用于整合来自各个感测装置的输入并产生车辆前方物体的融合轨迹。在图19中生成的融合轨迹包括物体相对于所述车辆的相对位置和轨道的数据估计。这种基于雷达或其他测距传感器输入的数据估计是有用的，但是包括用于生成轨迹的传感器装置的不准确性和不精确性。如前所述，可以联合使用不同传感器输入以提高所产生的轨迹中涉及到的估计值的精确度。特别地，具有侵入式结果的应用-如自动制动和潜在气囊展开在预测即将来临的碰撞方面要求具有很高的精确度，因为错误的决定可能对车辆的驾驶性能产生很大影响，而失败的指示可能会导致安全***失效。

视觉***提供可用于车辆控制***的传感器输入的替代性来源。用于分析视觉信息的方法是本领域已知的，其包括图案识别、弯角检测、垂直边缘检测、垂直物体识别、以及其他方法。但是，应当理解的是，那些预测实时运动所需的高速刷新的车辆前方区域的高分辨率的视觉场景包括大量需要被分析的信息。对视觉信息的实时分析可以是被禁止的。本发明公开了一种将来自视觉***的输入与融合轨迹相融合的方法，其中所述融合轨迹可通过例如前面所述的示例性轨迹融合方法生成，从而将视觉分析集中到最可能产生碰撞威胁的那部分视觉信息上并利用所集中的分析来警告可能即将来临的碰撞事件。

图20示意性地示出了根据本发明的示例性图像融合模块。图20的融合模块监测作为输入的、包括物体轨迹和摄像机数据的距离传感器数据。物体轨迹信息被用于在与物体轨迹信息相对应的视觉数据中提取图像补片或限定的关切区域。接下来，分析图像补片中的区域并提取补片中指示物体的数据中的特征或图案。被提取的特征随后根据任何数目的分类器被分类。示例性分类可以包括快速运动物体(如运动中的车辆)、慢速运动的物体(如行人)和静止的物体(如路标)。包括分类的数据随后根据数据关联被分析以形成基于视觉融合的轨迹。关于该补片的这些轨迹和相关数据随后被储存以用于与新数据的迭代比较和用于预测那些表示可能或即将来临的碰撞事件的车辆相对运动。此外，反映之前选择的图像补片的关切区域可被传送到执行图像补片提取的模块中，以提供迭代视觉分析的连续性。以这种方式，距离数据或距离轨迹信息被叠加到图像平面上以提高碰撞事件预测或几率分析。

图22示出了根据本发明的叠加到对应图像平面上的示例性距离数据，其用于各种目标物体的***内部分析。图中的阴影条为叠加在前视摄像机的图像中的雷达轨迹。位置和图像提取模块提取包含距离传感器轨迹的图像补片。所述特征提取模块利用以下变换来计算图像补片的特征：边缘、梯度方位的柱状图(HOG)、比例不变特征变换(SIFT)、Harris角落检测器(Harris comerdetector)、或投影到线性子空间上的补片。所述分类模块将所提取的特征作为输入并将其供应给分类器以确定图像补片是否包含物体。分类操作确定每个图像补片的标记。例如，在图22中，方框A和B被识别为车辆，而未标记的方框被识别为路旁的物体。预测过程模块利用物体的历史信息(即先前循环的位置、图像补片、标记)并预测当前值。数据关联操作将当前测量结果与预测物体相连接，或确定测量结果的源(即位置、图像补片、标记)是来自特定的物体。最后，物体追踪器被激活以生成更新的位置并返回保存到物体轨迹文件中。

图21示意性地示出了根据本发明的用于估计一组物体的位置和速度的示例性的Kalman滤波器组。不同的滤波器用于不同的恒速滑行目标、高纵向运行目标、以及静态目标。Markov决策过程(MDP)模块被用于基于观测结果和目标的先前速度曲线选择具有最大几率测量结果的滤波器。该多模型滤波方案减少了对CPS功能而言非常重要的追踪延迟。

对可能发生的碰撞事件的反应可以基于增大的几率而被比例方法。例如，平和的自动制动可用于所确定的低阈值几率的那些事件中，并且可响应于所确定的高阈值几率采取更加激进的措施。

此外，应当注意到，可通过警报模型的反复训练来获得判断几率的更高的精度。例如，如果警报被发出，则将检查选项通过声音提示和屏幕询问或任何其他输入方法提供给驾驶者，请求驾驶者确认即将来临的碰撞警报是否适当。本领域中存在多种适用于对警报、错误警报、或遗漏警报进行校正的已知方法。例如，机器学习算法是本领域中已知的，并且可用于适应性地根据反馈的性质将编程、分配权重和重点应用于可选的计算。此外，模糊逻辑可用于根据基于反馈的可衡量因素调整对***的输入。以这种方式，***的精度可随着时间并基于操作者的特定驾驶习惯而提高。

应当理解的是，由CPS采用的类似方法可用在碰撞避免***中。通常这些***包括对操作者的报警、自动制动激活、自动横向车辆控制、悬架控制***的变化、或用于帮助车辆避免所察觉到的潜在碰撞的其他动作。

此外，已知有多种方法可以保持车道或通过传感器输入将车辆置于车道之中。例如，一种方法可以对包括道路表面上的油漆线的视觉信息进行分析，并利用那些标记将车辆置于车道中。一些方法利用其他车辆的轨迹来合成或辅助建立相对于所述车辆的车道几何形状。与3D地图数据库一起使用的GPS装置可根据全球GPS坐标估计车辆的位置，并且通过已知的道路几何形状来覆盖那个位置。

本发明公开了一种用于生成车辆行驶的车道的几何形状的示例性方法。所述方法包括下列操作：监测来自全球定位装置的数据；监测基于起始点和目的地描述被投影的行驶路线的地图站点数据；监测来自视觉子***的摄像机数据；监测车辆动力学数据，这些数据包括车辆速度、和车辆偏航率；基于地图站点数据和地图数据库确定车辆区域中的车道几何形状；基于所述车道几何形状、来自全球定位装置的数据、摄像机数据来确定相对于车道几何形状的车辆位置；基于车辆位置、摄像机数据、和车辆动力学数据确定车辆位置处的道路曲率；基于道路曲率、摄像机数据和车辆动力学数据确定车辆方位和车辆从行驶车道中心的横向偏移；以及在车辆的控制方案中利用所述车辆位置、道路曲率、车辆方位、和车辆横向偏移。

可额外地或可替换地使用基于LIDAR的车辆检测***，该***发送和接收光学能量以估计车辆100前方的车辆尺寸和车辆运动。与前面所描述的基于雷达的车辆检测***相似，可以对从这些车辆反射的光波图案进行分析，并且可估计相对于车辆100的车辆位置。

车辆检测分析优选地利用车道几何形状检测分析进行扩充，以识别视场中的车道标记和/或道路边缘。所述车道标记506可用于定义车道边界并显示与道路上相应检测到的车辆的更大几率相对应的图像坐标。所述车道标记506可用于预测道路上的车辆行驶，因此辅助畅通路径检测分析。车道标记检测分析可通过各种方式重复或迭代执行，其中通过对不同图像区域的选择和分析来反复分析相同的图像区域，并且在多个连续图像中追踪和分析识别出特征以发现其变化。

可以利用多种方法中的一种来检测车道标记。基于摄像机的检测包括利用多个线方位滤波器对图像数据求卷积以生成识别车道标记的每个区段的方位的滤波响应。在一个实施方式中，应用哈夫(Hough)变换技术通过车道标记上的点来识别车道标记的线段。所述Hough变换技术对线段进行评估以确定这些线段对应于车道标记的信心。与大于阈值的信心相对应的线段被限定为车道标记。所述车道标记基于在视场(包括地面20)中的识别出的物体的对应性被进行误差测试，并且为了得到与先前识别出的车道标记的关联性而被进行误差测试。

另一种用于检测车道标记或道路边缘的方法包括使用LIDAR装置。LIDAR利用光的辐射从而基于光的返回信号而产生传感器读数。应当理解的是，LIDAR可用于检测被检测物体的距离，并且在某些结构中可以返回描述车辆周围环境的三维读数。此外还应当理解的是，LIDAR可用于分析描述车辆周围环境的返回光的强度。来自LIDAR***的传感器读数可用于根据描述道路边缘的草地或其他特性的三维读数的纹理来定义道路边缘。同时来自LIDAR***的传感器读数可用于定义车道标记，例如由道路表面与用于车道标记的反光漆之间的明显强度差异描述的车道标记。

建筑区域检测分析包括检测建筑区域以及与限制车辆行驶相关的其他地带。车辆行驶可能会受到建筑地带的建筑物体的限制，如建筑圆筒、栅栏、围墙和栅格、移动单元、散落的碎片、以及工人。此外，车辆行驶还可能会受到建筑地带的行驶约束(例如限速地带和并道要求)的限制。建筑区域的检测可用于以多种方式改变车辆控制和操作。在检测到建筑区域时，车辆程序可启动或停止某些自主的或半自主的车辆控制。车辆操作被限制于标明的车辆速度，并且行驶可被限制于某些区域或车道。建筑地带的检测还可以启动某些编程算法或检测方案，包括例如在有建筑工人出现从而必须减慢车辆100的速度的区域中有用的建筑工人检测算法。

本发明结合图13公开了用于检测图像中的建筑区域的方法。建筑区域检测分析可利用物体检测方法，这与前面描述的那些车辆检测方法相似，包括利用基于摄像机的***、基于雷达的***、和基于LIDAR的***中的一个或多个的方法。建筑区域检测分析可包括分析车辆操作环境以得到与预定模板的对应程度。所述模板与指示车辆100处于建筑区域的视场中的建筑物体相关。

图13示出了对应于建筑圆筒604的示例性建筑物体。所述预定模板可以包括例如建筑圆筒、建筑圆锥、路旁的混凝土槽、移动单元警告、车道转换指示、车道变化禁令、以及其他类似的建筑区域标识。包括特征或图案识别和交通标识识别的图案识别程序可用于理解来自建筑区域标识的可用的情境信息。可利用这些情境信息例如确定车道几何形状和限制以用于优化畅通路径。在车辆操作过程中，处理模块120可以分析图像区域，例如图13中示出的示例性图像区域602，以便利用如前面所述的类型的模板匹配程序来得出与预定建筑模板对应程度。处理模块120可以在启动某些计算强度更大的程序之前扫描特定模板的大致外形。例如，处理模块120可以在分析图像的标识类型之前分析图像的标识轮廓。对视场中的建筑模板的识别表明车辆处于建筑区域。

建筑区域检测分析可进一步包括分析图像以确定与畅通路径相对应的图像坐标。如前所述的建筑区域模板可用于识别与畅通路径和非畅通路径之间的畅通路径边界相对应的建筑区域指示。分散在道路上的间断的建筑物体-包括例如建筑圆筒604可表示畅通路径边界610。处理模块120识别由间断的建筑物体所指示的轨道线以识别边界。在一个实施方式中，连接与检测到的建筑物体角落(comer)相对应的点以确定轨迹。所述畅通路径边界610代表畅通路径和非畅通路径之间的分界线。所述建筑区域检测分析将由所述边界包围的图像区域识别为与畅通路径615相对应。在一个实施方式中，畅通路径边界的识别可用于将分析集中在识别出的边界之间的图像区域以提高计算效率。

如上所述，畅通路径检测分析可通过车辆检测分析和建筑区域检测分析来扩充。用于扩充畅通路径检测分析的多种方法都已被本发明预期到，所述方法包括同时通过车辆检测分析和建筑区域检测分析进行扩充。几率分析可被采用从而结合赋予检测到的车辆和通过建筑区域检测分析识别出的特征的信心值。但是，所用方法的顺序或者一种方法的去除或替换可基于察觉到的影响这些方法的效率和性能的因素来实施。例如，交通条件或行人交通急剧变化的城市环境对所述方法中的一种可能会产生特别差的结果。过多的道路碎片是另一种对一种方法的影响多于对其他方法的影响的示例。由摄像机镜头上的污点引起的摄像机图像的污染同样会导致从一种方法获得较差的结果。车辆速度可能影响来自所述方法中的一种方法的结果质量。这些因素可以通过实验方式、计算方式确定，或者可基于建模或其他足以精确估计各种畅通路径方法的有效性的方法进行判定，从而基于输入图像确定畅通路径。此外，例如机器学习算法或模糊逻辑的方法都可被实施以用于基于各种畅通路径方法在车内的使用和车辆操作结果来调整方法的选择。车辆的这种操作可以通过多种本领域已知的方式进行判定，如监测操作者介入车辆控制的情形的出现，或者通过在描述道路上的车辆的随后控制的图像中监测车道标记的位置来实现所述判定。用于在所述方法之间进行选择并且调整各种畅通路径方法的选择的多种方法都是可预想到的，并且本发明并非意在限制于这里所公开的特定的示例性实施方式。

上文描述了检测车辆周围物体并将那些物体置于畅通路径确定的情境中的方法，畅通路径确定包括车辆检测分析和建筑区域检测分析。应当理解的是，相似的方法可用于基于对车辆操作环境中的其他物体的检测来确定畅通路径或优化畅通路径。例如，可基于即将到达的收费站的警告标识和收费站的可识别几何形状以及所述收费站的车辆流来检测高速路上的收费站。在这种情形下，畅通路径可以可选择地定义为通往经过收费站的车辆的一个线条的后方，并限制为收费站区域，直到被检测的收费公路或来自收费站的电子信号表明车辆可以前进。在另一个示例中，一旦燃料箱被耗尽到预定水平，则操作自主或半自主车辆的驾驶员可以做出选择以停住车辆来补给燃料。在这种情形下，随着加油站的靠近，可基于车辆附近的可察觉到的加油站和可识别的加油站的几何形状(包括加油站内在不同泵站处的其他车辆的存在)来定义畅通路径。用于检测车辆周围的物体并将那些物体置于畅通路径确定的情境中的多种方法的示例性应用都是可预想到的，并且本发明并非意在限制于这里公开的特定实施方式。

图14示出了根据本发明的用于扩充的畅通路径检测分析的示例性方法800。方法800在图14中示出，并且在此被描述为包括离散的元件。这种表示方法是为便于描述，并且应当意识到，这些元件所执行的功能可以组合到一个或多个装置中执行，例如在软件、硬件、和/或专用集成电路中实施。例如，方法800可以作为一个或多个算法在处理模块120中执行。

在操作过程中，摄像机110生成用于处理模块120中的分析的图像(802)。所述处理模块120应用平行处理方法，包括利用畅通路径检测分析以及一种本发明所描述的检测车辆周围物体的方法来同时分析图像，该方法包括车辆检测分析。所述车辆检测分析检测道路中的物体(804)。所述畅通路径检测分析识别与畅通路径相对应的图像区域(806)。通过步骤808中的互利改良(mutual benefits refinement)比较步骤804和806的输出，并利用该输出来形成更优的畅通路径。步骤804中的物体检测可简单地包括用于稍后与步骤806中得出的畅通路径进行比较的物***置或轨迹。额外地或可替换地，检测到的物体的情境分析可以在所示步骤中的一个中被执行，例如，允许基于检测到的车辆的行为来投影检测到的车辆的未来位置或未检测到的车道几何形状。检测到的物体可以用于畅通路径检测分析中以优化或改良与畅通路径相对应的图像区域。在一个示例性实施方式中，可以利用车辆运动来推断与畅通路径对应的图像坐标。回到图12中，基于检测到的车辆运动推断示例性的推断图像坐标502。可利用多种方法中的一种来确定车辆运动。可以在连续图像中追踪车辆所对应的关切点。本领域中已知的三角测量方法可用于基于车辆100的运动和关切点的图像坐标中的变化来确定车辆轨迹。基于LIDAR的方法和基于雷达的方法也可用于确定车辆运动。车辆轨迹可以被反向追随以确定检测到的车辆最近横穿过的图像区域。检测到的车辆最近横穿过其中的图像区域对车辆的行驶来说很可能是安全的，并且因此可以适当地被定义为与畅通路径相对应。车辆轨迹可通过跟随其他车辆被用于定义或扩充畅通路径，或者描述其他车辆的投影未来位置的车辆轨迹可用于从畅通路径中去除，以避免与其他车辆的潜在碰撞。

图14的步骤808示出了互利改良，输入畅通路径和物***置或追踪信息以输出更优的畅通路径。从上文描述的方法中可知，畅通路径可受益于车辆周围物体的检测，扩充对什么区域可能是畅通路径的理解。应当理解的是，优化的物***置和追踪可相似地通过识别畅通路径的分析来完成。例如，在建筑区域中，沿畅通路径的边界每隔一定规则性间距检测到的形状可以假设为建筑圆筒或其他障碍物，并且用于识别建筑圆筒的方法可集中在由畅通路径检测描述的位置上。这种分析可以通过随后的图像而反复增强，建立沿畅通路径和位置的行驶路线以及被追踪物体的识别信心。此外，通过增强单个物体的分析的畅通路径分析和物体检测的多次迭代可以对单个图像进行反复检查。这种分析循环可有利地改良初始假设和分析结果。图23以绘图形式示出了根据本发明的这种迭代分析。所示出的步骤808包括步骤805中的物体追踪改良和步骤807中的畅通路径改良。如上所述，步骤808输出优化的畅通路径并额外地输出示例性的优化的物体追踪信息。

在畅通路径检测分析的一个实施方式中，检测到的物体可用于前面所描述的几率分析。每个图像区域的畅通路径信心几率部分地基于与检测到的物体的关联性。如前所述，所述几率分析对图像区域进行评估以赋予一个畅通路径信心几率值。分类器可用于基于在图像区域中识别出的特征来增加或减小畅通路径信心几率值。例如，检测到的建筑障碍物或标记可根据之前描述的几率分析被用作额外的分类器，以减小对应图像区域的畅通路径信心几率。追踪检测到的车辆经过检测到的建筑障碍物的行驶可增加与车辆被追踪区域相对应的图像区域的畅通路径信心几率。畅通路径信心几率大于阈值信心几率的图像区域被定义为畅通路径。

畅通路径检测分析还可以用于扩充和改良示例性的车辆检测分析。对应于畅通路径的图像区域定义缺少可检测车辆的图像坐标，并且因此可以适当地从车辆检测分析中被排除，因此提高了计算效率。类似地，足够大从而能将车辆包含在更大的畅通路径图像区域中的一组非畅通路径可能包含车辆，并且用于车辆检测或追踪的计算资源可以集中在那个区域上。

建筑区域标识可用于畅通路径检测分析中以根据额外的示例性实施方式优化或改良与畅通路径相对应的图像区域。在一个实施方式中，建筑区域标识可用于确定与畅通路径对应的图像坐标。建筑区域标识通过模板匹配程序识别。所述处理模块120识别由间断的建筑物体指示的轨迹线以识别畅通路径边界。所述畅通路径边界被用于确定与畅通路径对应的图像坐标。由所述边界包围的图像坐标被定义为与畅通路径相对应。由建筑区域检测分析识别为与畅通路径相对应的图像坐标可由畅通路径检测分析用来限定对应于畅通路径的潜在图像坐标。在一个实施方式中，畅通路径分析仅对由建筑区域检测分析识别出的图像坐标进行分析，以便将其包含于畅通路径地图中。

所述畅通路径检测分析还可以用于扩充和改良建筑区域检测分析。在一个实施方式中，被畅通路径检测分析识别为对应于畅通路径的图像坐标可以从建筑区域检测分析中被排除。

应当理解的是，可以利用多种检测车辆周围物体的方法来同时扩充或优化畅通路径。根据一种示例性方法，优化的畅通路径将仅包括道路上的基于所有可用方法指示为畅通的区域。在另一个示例性方法中，将根据对图像不同区域的几率分析来决定优化的畅通路径，并且所述方法中的每个都可用于修正每个图像区域的结果几率值。用于将检测车辆周围物体的多种方法与畅通路径分析进行结合的多种方法都是可预见到的，并且本发明并非意在限制于这里所描述的特定的示例性实施方式。

前面描述的畅通路径分析方法-包括基于补片、基于像素、基于示例的方法以及基于分割的方法利用摄像机装置来分析一个图像或一系列图像。此外，所描述的用于检测车辆周围物体的方法可以包括对一个图像或一系列图像的分析。应当理解的是，用于畅通路径分析中的图像可以是但是并非必须是与用于检测车辆周围物体相同的图像。例如，可以基于不同分析的特定要求来使用不同的摄像机。

如上所述，处理模块120可包括通过此处未描述但本领域已知的方法来实现自主驾驶控制的算法和机构，或者处理模块120可仅仅为独立的自主驾驶***提供信息。对观察到的物体的反应也可有所不同，包括但不局限于转向变化、节气门变化、刹车响应、警告和将车辆控制交给操作者。

已经描述了本发明的某些优选实施方式及其改型。通过阅读并理解说明书可以想到进一步的改型和变型。因此，本发明并不局限于作为最佳实施方式而公开的特定实施方式，相反本发明包括落入所附权利要求书的范围内的所有实施方式。

Claims (22)

1.一种用于检测宿主车辆行驶的畅通路径的方法，该检测包括通过图像分析进行的畅通路径检测与宿主车辆的操作环境内的物体检测的融合，所述方法包括：

监测来自摄像机装置的图像；

通过畅通路径检测分析来分析图像以确定图像内的行驶畅通路径；

监测描述物体的传感器数据；

分析传感器数据以确定物体对畅通路径的影响；

利用所确定的物体影响来描述更优的行驶畅通路径；以及

利用所述更优的行驶畅通路径对宿主车辆进行导航。

2.如权利要求1所述的方法，其中，监测描述物体的传感器数据包括监测描述另一车辆的位置的传感器数据。

3.如权利要求2所述的方法，其中，利用所确定的物体影响来描述更优的行驶畅通路径包括从行驶畅通路径中去除另一车辆的位置。

4.如权利要求2所述的方法，其中，利用所确定的物体影响来描述更优的行驶畅通路径包括从行驶畅通路径中去除另一车辆的投影未来位置。

5.如权利要求2所述的方法，其中，利用所确定的物体影响来描述更优的行驶畅通路径包括利用另一车辆行驶的路径来扩充行驶畅通路径。

6.如权利要求2所述的方法，其中，利用所确定的物体影响来描述更优的行驶畅通路径包括基于描绘另一车辆的位置的传感器数据来影响不同图像区域的畅通路径信心几率。

7.如权利要求1所述的方法，其中，监测描述物体的传感器数据包括监测描述建筑区域的传感器数据，其中所述建筑区域包括位于该建筑区域内的结构。

8.如权利要求7所述的方法，其中，利用所确定的物体影响来描述更优的行驶畅通路径包括从行驶畅通路径中去除建筑区域内的结构。

9.如权利要求7所述的方法，其中，分析传感器数据以确定物体对畅通路径的影响包括基于描述建筑区域的传感器数据定义建筑区域边界。

10.如权利要求7所述的方法，其中，监测描述建筑区域的传感器数据包括利用图案识别来确定车道指示；并且，

其中，分析传感器数据以确定物体对畅通路径的影响包括基于所述车道指示确定车道几何形状限制。

11.如权利要求7所述的方法，其中，利用所确定的物体影响来描述更优的行驶畅通路径包括基于描述建筑区域的传感器数据影响不同图像区域的畅通路径信心几率。

12.如权利要求7所述的方法，其中，监测描述物体的传感器数据还包括监测描述另一车辆的轨迹的传感器数据；并且

其中，分析传感器数据以确定物体对畅通路径的影响包括利用另一车辆的轨迹扩充在建筑区域内定义的畅通路径。

13.如权利要求1所述的方法，其中，监测描述物体的传感器数据包括监测来自摄像机***的数据。

14.如权利要求1所述的方法，其中，监测描述物体的传感器数据包括监测从以下***组成的集合中选出的***的数据：雷达***、LIDAR***、车辆与车辆间通信***、车辆与基础设施间通信***、和超声波检测***。

15.如权利要求1所述的方法，进一步包括监测描述车道几何形状的传感器数据；并且

其中，分析传感器数据以确定物体对畅通路径的影响是基于车道几何形状进行的。

16.如权利要求1所述的方法，进一步包括利用所述更优的行驶畅通路径来扩充对描述物体的传感器数据的后续监测。

17.如权利要求1所述的方法，进一步包括利用畅通路径检测分析来描述更优的物***置。

18.如权利要求17所述的方法，其中，利用畅通路径检测分析来描述更优的物***置包括描述靠近宿主车辆的另一车辆的更优的位置。

19.如权利要求17所述的方法，其中，利用畅通路径检测分析来描述更优的物***置包括描述建筑区域物体的更优的位置。

20.一种用于检测宿主车辆行驶的畅通路径的方法，该检测包括通过图像分析进行的畅通路径检测与宿主车辆的操作环境内的物体检测的融合，所述方法包括：

监测来自摄像机装置的图像；

通过基于分割的畅通路径检测分析来分析图像以确定图像内的行驶畅通路径；

监测描述物体的传感器数据；

分析传感器数据以确定物体对畅通路径的影响；

利用所确定的物体影响来描述更优的行驶畅通路径；以及

利用所述更优的行驶畅通路径对车辆进行导航。

21.一种用于检测宿主车辆行驶的畅通路径的***，该检测包括通过图像分析进行的畅通路径检测与宿主车辆的操作环境内的物体检测的融合，所述***包括：

摄像机装置，其用于监测车辆前方的视场；以及

处理模块，该处理模块用于：

监测来自所述摄像机装置的图像，

通过畅通路径检测分析来分析图像以确定图像内的行驶畅通路径，

监测描述物体的传感器数据，

分析传感器数据以确定物体对畅通路径的影响，

利用所确定的物体影响来描述更优的行驶畅通路径，以及

利用所述更优的行驶畅通路径对车辆进行导航。

22.如权利要求21所述的***，进一步包括雷达成像***；并且其中，描述物体的传感器数据包括来自所述雷达成像***的、描述物体的数据。

Images