CN106463060A - 处理装置、处理***、处理程序和处理方法 - Google Patents

Abstract

一种处理装置包括距离图像获取器、移动对象检测器以及背景识别器。距离图像获取器获取包含每个像素的距离信息的距离图像。移动对象检测器从距离对象来检测移动对象。背景识别器从通过所述距离图像获取器所获取的距离图像来生成背景模型，在该背景模型中将作为移动对象的背景被识别出的静止对象进行建模。移动对象检测器基于所述移动对象与所述背景模型之间的相对位置关系，改变用于检测所述移动对象的方法。

Description

处理装置、处理***、处理程序和处理方法

技术领域

本发明涉及处理装置、处理***、处理程序和处理方法。

背景技术

近年来，已开发如下移动对象识别装置：该装置识别移动对象(诸如在用户的车辆前方行驶的车辆或行人)移动的速度和改变，检测早期阶段的危险情况，并且向驾驶员通知该危险情况从而避免危险。危险情况的示例包括：前方行驶车辆的紧急刹车、另一辆车进入用户的车辆与前方行驶车辆之间、以及行人跑入道路。

例如，存在一种方法，该方法包括：为了识别前方的移动对象，通过利用相机的焦距和二维图像的各个图像帧之间对象尺寸的改变，获得到前方对象的距离的改变。但是，该方法的一个不足之处在于，该方法对于到对象的距离的测量精度，更具体地，例如对于移动对象的移动的改变的检测精度不高。

为了应对这一不足之处，专利文献1(日本特开专利公开No.2000-266539)公开了一种车辆间距离测量装置，该装置通过计算通过立体相机装置所获得的立体图像的视差来获得视差图像(也称作距离图像)。需要注意的是，视差图像指的是通过将视差转换为亮度所获得的图像。

本公开文本所引用的专利文献1中所公开的这种车辆间距离测量装置，通过利用视差图像来检测前方的车辆，并且通过利用所检测车辆的边缘的移动矢量的大小和方向，测量车辆之间的距离以及距离的改变。

但是，专利文献1中所公开的该车辆间距离测量装置的不便之处在于，该装置从通过立体相机装置所获得的视差图像直接识别移动对象，因此提供的移动对象识别的精度不高。

发明内容

基于上述问题做出本发明，本发明的目的在于提供能够提供更高准确度的移动对象识别的处理装置、处理***、处理程序和处理方法。

根据实施例，一种处理装置包括距离图像获取器、移动对象检测器以及背景识别器。距离图像获取器获取包含每个像素的距离信息的距离图像。移动对象检测器从距离对象来检测移动对象。背景识别器从通过所述距离图像获取器所获取的距离图像来生成背景模型，在该背景模型中将作为移动对象的背景被识别出的静止对象进行建模。移动对象检测器基于所述移动对象与所述背景模型之间的相对位置关系，改变用于检测所述移动对象的方法。

附图说明

图1是表示三维对象识别处理的普通情况的过程的示意图。

图2是表示一个实施例的三维对象识别装置的主要部分的硬件配置示意图。

图3是用于解释场景图的示意图。

图4是用于解释车辆场景图的示意图。

图5是表示实施例的三维对象识别装置所描述的场景情况模型的场景图的示意图。

图6是表示实施例的三维对象识别装置所描述的三维对象模型的场景图的示意图。

图7是实施例的三维对象识别装置的功能方框图。

图8是用于解释改变的操作的流程图，例如根据来自实施例的三维对象识别装置的情况预测结果来改变针对识别目标的识别方法的操作。

图9是用于解释改变操作的整个流程的流程图，例如根据来自实施例的三维对象识别装置的情况预测结果来改变针对识别目标的识别方法的操作。

图10A和图10B是表示示出识别目标的跟踪的屏幕的一个示例的示意图。

图11是表示道路情况模型的一个示例的示意图。

图12是用于解释道路情况模型中针对左右马路边缘处的倾斜的近似曲线的参数的示意图。

图13A和图13B是表示背景模型的一个示例的示意图。

图14是第二实施例的三维对象识别装置的功能方框图。

图15A和图15B是用于解释第二实施例的三维对象识别装置所执行的检测移动对象的操作的一个示例的示意图。

图16A至图16C是用于解释第二实施例的三维对象识别装置所执行的检测移动对象的操作的另一个示例的示意图。

图17是第三实施例的三维对象识别装置的功能方框图。

图18A至图18F是用于解释第三实施例的三维对象识别装置所执行的图像处理和移动对象识别的操作的示意图。

图19是用于解释第三实施例的三维对象识别装置所执行的计算危险等级的操作的示意图。

图20是用于解释第三实施例的三维对象识别装置所执行的计算危险等级的操作的另一个示例的示意图。

图21是第四实施例的三维对象识别装置的硬件配置示意图。

图22是表示第四实施例的三维对象识别装置中所包括的平视显示器的结构的配置示意图。

图23是表示通过第四实施例的三维对象识别装置中所包括的平视显示器来显示道路信息的操作流程的流程图。

图24是用于解释通过第四实施例的三维对象识别装置中所包括的平视显示器来显示道路信息的第一示例的示意图。

图25是用于解释通过第四实施例的三维对象识别装置中所包括的平视显示器来显示道路信息的第二示例的示意图。

图26是用于解释通过第四实施例的三维对象识别装置中所包括的平视显示器来显示道路信息的第三示例的示意图。

图27A和图27B是用于解释通过第四实施例的三维对象识别装置中所包括的平视显示器来显示道路信息的另一种第三示例的示意图。

图28是用于解释通过第四实施例的三维对象识别装置中所包括的平视显示器来显示道路信息的第四示例的示意图。

图29是用于解释通过第四实施例的三维对象识别装置中所包括的平视显示器来显示道路信息的第五示例的示意图。

图30是第五实施例的三维对象识别装置的硬件配置的示例图。

图31是用于解释第五实施例的三维对象识别装置中的导航器所执行的重新规划路线操作的流程的流程图。

具体实施方式

以下参考附图详细描述的是应用根据本发明的处理装置、处理***、处理程序和处理方法的三维对象识别装置的各个实施例。下面的描述使用术语“控制主体”，指的是通过利用来自各个实施例的任何三维对象识别装置的识别结果待控制的主体，诸如用户的车辆。另外，描述使用术语“识别目标”是为了指代在各个实施例的任何三维对象识别装置所识别的对象当中需要对控制主体进行控制的对象，诸如前方行驶车辆。

第一实施例

图1中首先示出的是三维对象识别处理的普通情况的过程。如图1中所示，三维对象识别处理的普通情况包括：在步骤S1中获取通过例如相机装置所捕获的图像，在步骤S2中从所获取的图像提取特征点。处理进一步包括：在步骤S3中从各个特征点识别各个对象，在步骤S4中跟踪每个对象，同时检查识别目标对象的中心与至今的识别对象的中心的识别历史之间的对应关系。例如，当利用识别结果待控制的控制主体是自动刹车***时，处理进一步包括在步骤S5中，依据针对各个对象的识别结果，执行诸如自动刹车的控制。

当这样的三维对象识别处理包括各帧之间对象的识别从识别状态到未识别状态的改变以及从未识别状态到识别状态的改变时，发生下面的不便(摆动，hunting)。例如，在车辆的情况下，当车辆在曾经变为未识别之后变为已识别时导致如下情况：用户车辆与前方行驶车辆之间的距离比预期更远，或者相反，由于前方车辆刹车，发现前方车辆位于用户车辆的前方非常近的位置。因此，稳定地连续识别出识别目标从而避免这种不便是重要的。

但是，当基于对象的边缘信息对于识别目标进行识别时，即使在相同识别目标的成像中，由于传感器的灵敏度性质、光线条件或类似改变，边缘信息的识别也会从识别状态变为未识别状态或者从未识别状态变为识别状态。例如，在行驶期间，当发生如下情况时识别对象变为未识别：当太阳的位置或背光状态发生改变时，当识别对象消失在另一个对象的远端后面时，或者当用户的车辆被诸如建筑物的对象隐藏时。而且，当由于识别目标处于昏暗条件导致识别目标的边缘信息的值接近识别算法的阈值时，由于传感器灵敏度的变化，识别目标会变为未识别。避免这些不便之处需要在识别算法中进行参数的调整，诸如针对一个帧的识别逻辑中的阈值的调整。

在此，将旨在“对于对象进行识别”的对象识别算法应用于三维对象识别处理的普通情况。已开发这种旨在“对于对象进行识别”的对象识别算法，从而实现在上述各种的外部光线改变和识别目标的方式改变的情况下具备鲁棒性并且实现最高识别速度的性能。更具体地，出于以下目的开发该算法：从一个帧中准确识别出尽可能多的对象，而不论看到多少对象以及这些对象在图像中所处的位置。因此，该算法没有建立在一个帧中所包括的对象中进行识别的优先级顺序，而是具有调整的参数，从而可以统一地识别出所有的对象。

但是，随着时间的流逝，看到对象被设置为识别目标的方式存在频繁的改变。这是由于当控制主体(诸如用户的车辆)正在自主移动时，识别目标(诸如前方的车辆)也在自主移动。例如，当前方车辆沿道路表面的曲线行驶时，或者当前方车辆改变车道到邻近车道时，会发生这样的改变。在这种情况下，由于看到前方车辆的方式的改变，前方车辆经常变为未识别。另外，当调整识别算法中的参数以便即使在这样的情况下前方车辆也是可识别的时候，发生例如下面的不便之处：即使在正常情况下，诸如在笔直的道路上对于前方车辆执行识别时，识别目标也变为未识别或者不正确识别。

因此，在试图在各种情况下识别所有识别目标中(即，具有以识别那些识别目标为目的进行调整的参数的识别算法)，必然要在使得每个识别目标未识别与使得每个识别目标不正确识别之间进行权衡，只能采取大量的开发步骤和巨量的开发时间从而建立使得每个识别目标未识别与使得每个识别目标不正确识别之间的平衡设计，而无其他选择。而且，尽管将诸如参数调整等调整并入这样的平衡设计中，在正常情况下也会发生使得每个识别目标未识别或不正确识别的不便。

控制主体(诸如汽车的自动刹车***)的控制不是基于只识别一次对象的识别结果来执行的，而是基于随时间持续识别对象的识别结果来持续执行的。因此，在对于控制主体进行控制时，可靠地识别并且跟踪需要控制的识别目标是重要的。这种理念不仅适用于汽车，也适用于机器人、农业机械以及重型机械。更具体地，当目的是对于控制主体进行控制时，重要的不是统一地识别出所有的对象，而是可靠地识别并且跟踪考虑被控制的识别目标。

而且，在用于对于控制主体进行控制的对象识别中，优选的是：

(1)按照分配给识别目标的优先级顺序来执行识别；

(2)持续识别(跟踪及捕获)已被识别出一次的识别目标，而不将识别目标视为未识别；

(3)将识别条件不稳定的对象设置为针对成为控制主体不符合条件；以及

(4)使得对象未被识别或不被正确识别的原因是可识别的。

对于(1)中所提到的优先级顺序，将紧靠前方的识别目标排在优先级顺序中的高位置。在边缘处发现的识别目标位于优先级顺序中的低位置。对于(2)，如果将已识别出一次的目标视为未识别，将使得无法执行充分适当的控制。如(3)中所述的控制主体导致诸如上述的摆动的不便。(4)中的识别需要原因，例如用于修正针对对象识别控制的计算机程序。例如，当控制汽车刹车的驾驶安全***已发生刹车操作中的错误时，使得错误的起因可识别是重要的，例如对于计算机程序的修正。因此，处理状态不清楚的算法，诸如学***衡设计中，通常将针对对象识别控制的识别算法调整为与对象变为未识别的次数的减少相比更重视防止不正确识别。换言之，通常调整针对对象识别控制的识别算法，从而通过防止由于不正确识别产生的操作错误可以提高安全性。

因此，首先，第一实施例的三维对象识别装置根据诸如控制主体(例如，用户的车辆)的行驶速度的“内部情况”以及诸如存在或不存在已识别出的识别目标(诸如，前方行驶的车辆、墙或道路)的“外部情况”识别出当前情况。当前情况的成功识别使得能够预测，例如一个人从前方行驶的车辆后面出现在用户车辆的前面(预测接下来发生什么)。因此，能够将预测结果反映在未来的控制中。例如，将已经被稳定识别的识别目标确定为具有高优先级顺序，而且应用具有较低阈值的简单算法，以便即使当已发生某一亮度改变时也能够对于识别目标进行识别。而且，即使当识别目标(前方行驶的车辆)的形状改变时，或者由于道路的弯曲等难以识别时，只要这样的改变是已预测的改变就执行主动识别。更具体地，第一实施例的三维对象识别装置使用多个算法或者算法的多个权重，同时允许基于对于情况的确定和预测，改变这些算法或权重，或者从这些算法或权重中进行选择。因此，该装置能够大大改进对象识别的准确度。

除了改变阈值，可能考虑下面的情况。例如，当诸如检查识别目标是否为位于路面上的对象的算法、以及检查识别对象是否对称的算法的多个算法被用于一般的识别技术中时，对于稳定识别出的主体可以忽略这些算法中的一些算法。重点是三维对象识别装置的特征在于：根据基于成像区域中识别出的外部情况的未来外部情况，使用不同的识别方法。

在成像的预定框架中，实施例的三维对象识别装置跟踪在上述框架中识别出的先前检测到的对象，接着在消除先前检测到的对象之后识别新的对象。当已被稳定识别的先前检测到的对象能够被高准确度地持续跟踪时，能够以改善的准确度来识别新对象。

图2表示第一实施例的三维对象识别装置的硬件配置。如图2中所示，第一实施例的三维对象识别装置包括立体相机单元1和信息处理器2。

立体相机单元1是由相互平行地装配的两个相机单元构建而成，其中两个相机单元是针对左眼的第一相机单元1a和针对右眼的第二相机单元1b。相机单元1a和相机单元1b中的每个相机单元都包括透镜5、图像传感器6以及传感器控制器7。图像传感器6以例如CCD图像传感器或CMOS图像传感器的形式来实施。CCD代表“电荷耦合设备”。CMOS代表“互补型金属氧化物半导体”。传感器控制器7执行如下控制：图像传感器6的曝光控制、图像读取控制、与外部电路的通信、以及图像数据传输控制。

信息处理器2包括数据总线10、串行总线11、CPU 15、FPGA 16、ROM 17、RAM 18、串行IF 19以及数据IF 20。CPU代表“中央处理器”。FPGA代表“现场可编程门阵列”。ROM代表“只读存储器”。RAM代表“随机存取存储器”。IF代表“接口”。

经由数据总线10和串行总线11将上述立体相机单元1连接到信息处理器2。CPU 15完成信息处理器2的整个操作的执行控制、图像处理以及图像识别处理。将来自捕获图像的亮度图像数据经由数据总线10写入信息处理器2的RAM 18，其中捕获图像是通过相机单元1a和相机单元1b各自的图像传感器6进行捕获的。经由串行总线11发送和接收诸如来自CPU15或FPGA 16的传感器曝光值改变控制数据、图像读取参数改变控制数据以及各种设置数据等数据。

FPGA 16通过针对RAM 18中所存储的图像数据执行必要的实时处理，诸如伽马校正、畸变校正(左右图像的并行化)、以及基于块匹配的视差计算，生成视差图像，并且接着将视差图像写回到RAM 18中。视差图像是距离图像的一个示例。CPU 15执行对于立体相机单元1的传感器控制器7的控制和对于信息处理器2的整体控制。ROM 17在其中存储三维对象识别程序，该程序用于执行例如情况识别、预测以及三维对象识别，随后将对这些操作进行描述。三维对象识别程序是处理程序的一个示例。CPU 15经由数据IF 20获取例如用户车辆的CAN信息(诸如，车速、加速度、方向盘角度以及偏航速度)作为参数。接着，CPU 15随后根据ROM 17中所存储的三维对象识别程序，并且利用RAM 18中所存储的视差图像，通过对于诸如情况识别的各种处理完成执行控制，识别出诸如前方行驶的车辆的识别目标。CAN代表“控制器局域网络”。

经由串行IF 19将针对识别目标的识别数据提供给外部设备，诸如自动刹车***或自动速度控制***。自动刹车***使用针对识别目标的识别数据来控制用户车辆的刹车。自动速度控制***使用针对识别目标的识别数据来控制用户车辆的速度。

另外，第一实施例的三维对象识别装置用于将三维对象(诸如人和车辆)和当前的情况描述为场景图。图3表示场景图的基本结构，而图4表示关于车辆的场景图的示例。如能够从图3和图4理解到的，以树结构的形式来形成场景图。通过诸如BIFS或VRML的语言对于场景图进行描述。BIFS代表“针对场景描述的二进制格式”。VRML代表“虚拟现实模型语言”。在场景图中，通过将被称为节点的组成单元进行分级组合来形成群组，而这样的群组共同构成场景(情况)。节点是情况的组成单元，其中的情况具有诸如光源、形状、材料以及坐标的字段(field)并且通过具有更低的节点来分级描述。

图5表示“场景情况模型”的一个示例，其是具有其中所述的当前情况的场景图。图5中的该场景情况模型是描述对于监视用户车辆前方的区域有用的情况的示例。在图5中所示的该示例中，描述针对“背景对象”、“道路”、以及“用户车辆”的节点。另外，作为针对“背景对象”节点的更低节点，描述针对“位于旁边的墙”、“前面的墙”以及“直立对象”。实施例的三维对象识别装置所描述的的场景图的。每个节点具有诸如三维位置、质心、相对速度、尺寸以及可靠性等实体。一些节点可以具有针对各个节点的特定信息，诸如路面高度、路面边缘位置(可行驶区域)或道路的弯曲曲率。

图6表示“三维对象模型”的示例，其是具有其中所述的三维对象的场景图。在旨在通过控制主体的刹车控制、转向控制等避免碰撞的应用中，最大的识别目标是包括人和车辆的三维对象的群组中所包括的识别目标。第一实施例的三维对象识别装置用于将三维模型与上述场景情况模型分开进行描述。在图6中所示的该示例中，描述针对“车辆”、“人物”以及“其他对象”的节点。描述三维对象模型中的节点，从而具有如与背景对象相关的上述实体，诸如三维位置、质心、相对速度、尺寸以及可靠性，此外也具有诸如更具体的三维对象类别和移动方向的实体。作为三维对象类别，例如当对象是车辆时描述关于三维对象是超大尺寸的车辆还是标准尺寸的车辆的类别。或者，例如当对象是人时，描述关于三维对象是成人还是儿童的类别。

已将上述“场景情况模型”和“三维对象模型”进行预定义并且存储在ROM 17中。当场景情况模型中待描述的场景是诸如高速公路和学校区域的具体情况时，三维对象模型中待描述的三维对象是诸如交通标志、信号灯、移动对象(诸如车辆和人)的静止对象。

在诸如自动刹车***或自动速度控制***的控制主体中，当根据基于位置和利用图5所解释的场景情况模型的CAN信息中所包括的速度进行的计算，确定针对利用图6所解释的三维对象的识别结果为危险时，执行控制。当计算指示与背景对象碰撞的危险时，也执行控制。第一实施例的三维对象识别装置参考用户车辆的位置和道路信息来计算与识别出的三维对象(包括背景对象)碰撞的可能性，通过这种方式来确定下一个帧中的识别目标的优先级顺序。

对于立体相机单元1所捕获的图像的每一帧图像识别图5和图6中所示的场景情况模型和三维对象模型，并将识别出的模型作为历史信息进行记录和更新，并且全部用于随后运动的预测。

图7表示当第一实施例的三维对象识别装置的CPU 15根据三维对象识别程序进行操作时所实施的功能的功能方框图。如图7中所示，CPU 15用作三维信息生成器32、车辆信息(CAN信息)获取器33、场景情况识别器34以及场景情况更新器35。CPU 15进一步用作情况预测器36、跟踪识别器37、先前检测消除器38、新对象检测器39以及三维对象更新器40。需要注意的是，FPGA 16用作图7中所示的视差图像生成器31，并且生成如上所述的视差图像(距离图像)。这些单元31至40可以全部利用软件来实施或者可以全部或部分地利用硬件来实施。

在如上所述的三维对象识别装置中，当将前方行驶的车辆和前景中的风景的捕获图像存储在RAM 18中时，其中捕获图像已通过立体相机单元1的相机单元1a和1b捕获到，视差图像生成器31通过将捕获图像之间的视差转换为亮度来生成所谓的视差图像，接着将视差图像存储在RAM 18中。三维信息生成器32从RAM 18中所存储的视差图像生成包括三维空间上的信息的三维图像，并且将三维图像存储在RAM 18中。

需要注意的是，在该示例中，将从各个相机单元1a和相机单元1b的捕获图像所生成的视差图像用作距离图像。虽然只是一个示例，但是可以从向三维对象发送出雷达波时到雷达波由三维对象反射之后被接收到时之间的一个周期，计算出指示到每个三维对象的距离的距离信息，作为视差图像的替换来使用。在该说明书中，将其中距离信息与图像信息相互关联且包括视差图像的图像定义为距离图像。

场景情况识别器34从CAN信息识别出用户车辆的速度、移动方向等，其中CAN信息通过车辆信息获取器33进行获取，并且指示车辆的当前状态(指示被设置为控制主体的设备的操作状态的内部情况)。场景情况识别器34识别与三维图像中所包括的背景对象、道路、前方行驶的车辆、人等相关的外部情况。场景情况更新器35从场景情况识别器34的识别结果生成利用图5所解释的指示当前情况的场景情况模型，并将场景情况模型存储在RAM18中。对于图像的每一帧执行这样的当前情况的识别。每次执行当前情况的识别时，场景情况更新器35更新RAM 18中的场景情况模型。

接着，情况预测器36通过预测用户车辆、人、前方行驶车辆、位于旁边的墙、马路等的状态来生成预测信息，其中的预测的进行通过利用：指示车辆当前状态的CAN信息；RAM18上所更新的指示当前情况的场景情况模型；以及指示新三维对象的当前状态的三维对象模型(参考图6)，其中新三维对象诸如未在当前识别的三维对象中发现的人和车辆。

跟踪识别器37在RAM 18中所存储的当前视差图像中识别三维对象，并且以优先级降序来识别作为识别目标的几个三维对象。跟踪识别器37将在紧跟用户车辆的前方所发现到的识别目标视为优先级顺序中高位置的识别目标。跟踪识别器37将在边缘发现到的识别目标视为优先级顺序中低位置的识别目标。

另外，基于：RAM 18中所存储的指示当前情况的场景情况模型；三维对象模型；以及来自情况预测器36的预测结果，跟踪识别器37改变针对识别目标的识别的方法中所使用的阈值的值，或者应用不同的识别方法。例如，将已被稳定识别的识别目标确定为高优先级顺序，并且应用具有较低阈值的简单算法，以便即使当发生某一亮度改变时也能够对于识别目标进行识别。而且，即使当识别目标(前方行驶的车辆)的形状改变或者由于道路弯曲等难以识别时，只要这样的改变是已预测的改变，就执行主动的识别。

跟踪识别器37对于识别目标进行识别，同时允许基于对于情况的确定和预测，改变这些算法或权重，或者从这些算法或权重中选择。这样的识别使得能够逐个帧地以细微的亮度改变，稳定连续地识别(跟踪)状态已经从已识别变为未识别或者从未识别变为已识别的识别目标。这样的识别同时使得即使是在由于在道路的弯曲处行驶并且车辆形状已发生改变，车辆变得难以识别之后，也能够稳定连续地识别前方行驶的车辆。

接着，先前检测消除器38从RAM 18中所存储的当前视差图像中的对象当中消除正在由跟踪识别器37所跟踪的识别目标，并且将由此获取的视差图像存储为RAM 18中的更新视差图像。

新对象检测器39在更新视差图像中识别诸如车辆或人的三维对象，从而识别出不同于当前由跟踪识别器37所跟踪的识别目标的新三维对象，其中从更新视差图像中消除正在由跟踪识别器37所跟踪的识别目标。三维对象更新器40将由新对象检测器39所识别的新三维对象反映在图6中所示的RAM 18中所存储的三维对象模型，从而更新RAM 18中所存储的三维对象模型。情况预测器36利用三维对象模型来预测情况，其中三维对象模型利用其中所反映的新三维对象来进行更新。

三维对象更新器40将来自跟踪识别器37的识别目标的识别结果提供给被设置为控制主体的外部设备，诸如自动刹车***或自动速度控制***。通过这种方式，根据识别目标的识别结果对于车辆进行自动刹车，或者自动调整车辆的行驶速度。

下面描述情况预测器36中的预测过程的细节。情况预测器36计算“识别目标对象位置”、“识别目标对象形状改变速度”、以及“识别目标对象阻挡速度”。跟踪识别器37使用这些计算的结果用作识别目标的情况预测结果。

首先，能够通过利用卡尔曼过滤器(Kalman filter)或贝叶斯过滤器(Bayesianfilter)来计算识别目标对象的位置。其次，利用下面的公式计算t时刻用户车辆的位置x_f(t)、用户车辆的速度v_f(t)、前方行驶车辆的位置x_p(t)、以及前方行驶车辆的速度v_p(t)：

x_f(t)＝x_f(t-1)+v_ft+((a_ft2)/2),

v_f(t)＝v_f(t-1)+a_ft,

x_p(t)＝x_p(t-1)+v_pt+((a_pt2)/2),以及

v_p(t)＝v_p(t-1)+a_pt。

在实际坐标中识别目标对象相对于用户车辆的位置能够表示为“x_p(t)-x_f(t)”。当将与实际坐标中识别目标对象相对于用户车辆的位置(已作为“x_p(t)-x_f(t)”进行计算)对应的三维定义点映射为“(X_p,Y_p,Z_p)”时，利用例如下面的公式来计算t时刻捕获图像中的识别目标对象的位置：

x_predict＝f(X_p/Z_p),以及y_predict＝f(Y_p/Z_p)

在此，如果假设“x_predict,y_predict”为捕获图像中的识别目标对象的质心位置，利用识别目标对象的尺寸“x_width,y_height”来确定该目标对象识别中针对预测过程的区域的面积P_area，其中识别目标对象的尺寸“x_width,y_height”将通过例如下面的公式来表示，同时以质心位置为中心并且覆盖整个对象。

P_area＝(x_width+ω₁/R+ω₂E)×(y_height+ω₁/R+ω₂E)

在此公式中，“R”表示到t-1时刻的识别结果的可靠性(当已稳定识别目标时具有高可靠性)，“E”表示识别误差，而“ω₁,ω₂”是针对反映多少这些项的权重。在该第一实施例中，将相同组的权重应用在x方向和y方向上，给出每个方向作为一个示例。可以将不同组的权重分别应用在x方向和y方向。当可靠性低或者当识别误差大时，对于更大的范围执行识别。需要注意的是，作为可靠性，可以使用已连续识别的目标所通过的帧的数量。

接着，例如根据下面的公式、以如下的方式来计算识别目标对象形状改变速度“Δ_obj”：从利用图6所解释的三维对象的移动方向(X_P,Y_P,Z^P)和利用图5所解释的道路信息，基于“X_P,Y_P,Z^P”，计算位于该位置的道路曲率(C(X_P,Y_P,Z^P))和斜率(S(X_P,Y_P,Z^P))；接着将这些道路曲率和斜率相乘。需要注意的是，参考文献1(日本特开专利公开No.2004-102421)或参考文献2(日本特开专利公开No.2014-006882)或另一种公知的方法适合用于道路曲率和斜率的计算。

Δ_obj＝C((X_P+X_v),(Y_P+Y_v),(Z_P+Z_v))×S((X_P+X_v),(Y_P+Y_v),(Z_P+Z_v))

当实施这样的计算时，可以将权重附加到“C”和“S”，并且期望的是“C”和“S”是归一化的。

类似地，例如以如下方式来计算识别目标对象阻挡速度“H_obj”：从利用图5所解释的背景信息，基于“X_P,Y_P,Z_P”和“X_v,Y_v,Z_v”，计算与背景对象的位置关系和与这些位置附近的其他三维对象的位置关系；并且从识别目标对象的运动的跟踪，预测是否存在背景对象位于比识别目标对象更近的位置。这种预测能够通过下面的函数来表示：

H_obj＝Func(ΣD_bo,ΣD_oo,ΣR_info)。

在此，“D_bo”是指示到背景对象的距离的变量，基于“(X_P,Y_P,Z_P),(X_v,Y_v,Z_v)”来进行计算，作为与背景对象的位置关系中的差。当位置关系是重叠时，值“D_bo”是高值。这里，D_oo是被计算作为与另一个三维对象的位置关系的差的变量，基于“(X_P,Y_P,Z_P),(X_v,Y_v,Z_v)”来进行计算。当位置关系是重叠时，值“D_oo”是高值。R_info是利用图5所描述的道路信息(通过将“C”与“S”进行组合来获得)。需要注意的是，H_obj是包含方向信息的矢量。计算出将从何方向阻挡对象以及阻挡到何种程度，能够由此指定阻挡之后对象的形状。除了上述计算之外，情况预测器36还基于预设结果，进一步计算识别目标对象被另一个识别目标对象阻挡的百分数。

这样的计算使得在识别目标对象被另一个识别目标对象阻挡时，能够获得可识别的识别目标对象的形状，从而改进识别目标对象的识别速度。而且，这样的计算使得能够连续识别和跟踪识别目标对象，而不会使得识别目标对象未被识别(使得能够跟踪识别目标对象而不忽视识别目标对象)。

因此，情况预测器36不但执行识别目标的位置预测(在诸如卡尔曼过滤器的惯用跟踪技术中所使用的)，而且执行情况的识别，从而使得能够计算识别目标对象形状改变的速度和识别目标对象的阻挡速度。因此，例如当识别目标对象形状改变的速度或者识别目标对象的阻挡速度低时，能够将针对识别目标的识别方法变为用于对于识别目标对象进行主动识别的简单识别方法。而且，当识别目标对象形状改变的速度或者识别目标对象的阻挡速度高时，选择使用符合计算出的识别目标对象形状改变的速度或者识别目标对象的阻挡速度的识别方法。

下面参考图8中的流程图，图8表示根据来自情况预测器36的预测结果，由跟踪识别器37所执行的针对识别目标的识别方法的改变、阈值的改变等的操作的过程。当通过情况预测器36完成上述识别目标对象的位置、识别目标对象形状改变的速度以及识别目标对象阻挡速度的计算时，跟踪识别器37从步骤11开始图8中的流程图的过程。对于每个帧计算识别目标对象的位置、识别目标对象形状改变的速度以及识别目标对象阻挡速度。因此，对于每个帧，跟踪识别器37重复图8中的流程图中所描述的操作的执行。

在步骤S11中，跟踪识别器37确定情况预测器36所计算出的识别目标对象形状改变的速度是否高于预定阈值。当识别目标对象形状改变的速度高于阈值时，意味着当前识别出的识别目标的形状发生很大程度的改变。因此，如果识别目标对象形状改变的速度高于阈值(步骤S11中的是)，跟踪识别器37将过程向前移动到步骤S12。在该步骤中，例如当识别目标是前方行驶的车辆时，跟踪识别器37选择针对道路弯曲或斜坡道路所指定的识别方法，或者执行控制，从而将阈值从当前所使用的识别方法的阈值改变为针对道路弯曲或斜坡道路所指定的阈值。因此，即使当诸如前方行驶的车辆的识别目标行驶在道路的弯曲处或斜坡道路上，并且因此具有由当前识别出的形状改变的形状时，也能够可靠地捕获并且连续识别诸如前方行驶车辆的识别目标。

接着，如果在步骤S11中确定识别目标对象形状改变的速度低于预定阈值时(步骤S11中的否)，跟踪识别器37将过程向前移动到步骤S13，其中跟踪识别器37确定识别目标对象阻挡的速度是否高于预定阈值。例如，当被设置为当前识别目标的前方行驶车辆的识别目标对象阻挡的速度高于阈值时，意味着诸如墙或另一辆车的另一个三维对象存在于前方行驶的车辆与用户车辆之间。因此，如果识别目标对象阻挡的速度高于预定阈值(步骤S13中的是)，过程向前进行到步骤S14，其中选择与识别目标的阻挡区域对应的识别方法，或者执行控制从而可以将阈值变为与识别目标的阻挡区域对应的阈值。该过程使得即使在车辆已经消失在一些对象的后面或者消失在另一车辆的后面时，也能够可靠地捕获并且连续识别前方行驶车辆。

接着，如果在步骤S13中识别目标对象阻挡的速度低于预定阈值(步骤S13中的否)，跟踪识别器37将过程向前进行到步骤S15，其中跟踪识别器37确定是否已经成功稳定地检测到三维对象。具体地，跟踪识别器37通过确定是否已成功检测到图像形状(亮度图像)或(和)视差形状(视差图像)随时间基本不变，确定是否已经成功稳定地检测到三维对象。接着，如果确定已经成功稳定地检测到三维对象(步骤S15中的是)，跟踪识别器37将过程向前进行到步骤S16；否则，如果确定未成功稳定地检测到三维对象(步骤S15中的否)，跟踪识别器37将过程向前进行到步骤S17。

当由于确定已经成功稳定地检测到三维对象而将过程向前进行到步骤S16时，跟踪识别器37将针对识别目标的识别方法中所使用的阈值，从当前所使用的阈值变为低于预定值的另一个阈值。这样的步骤使得能够通过使用诸如识别目标的预测位置的信息来更准确地识别和跟踪识别目标。

当由于确定未成功稳定地检测到三维对象而将过程向前进行到步骤S17时，跟踪识别器37将针对识别目标的识别方法中所使用的阈值变为标准值(初始值)。这样的步骤目的在于利用诸如识别目标的预测位置的信息，通过利用标准阈值的识别目标的识别来稳定地跟踪识别目标。

图8中的流程图的上述解释假设：分开执行根据识别对象的形状改变的速度的过程和根据识别对象的阻挡速度的过程。但是，可以整体执行这些过程，或者可以首先执行包括这些过程的整体确定过程。

下面参考图9再描述图8的上述过程流程的整体。更具体地，首先，当根据三维对象识别程序进行操作时，第一实施例的三维对象识别装置的CPU 15识别外部情况，如图9的步骤S41所示。在一个示例中，CPU 15根据如下信息来识别外部情况：利用上面的步骤S11所解释的识别对象形状改变的速度、利用步骤S13所解释的识别对象阻挡速度、利用步骤S15所解释的三维对象的检测情况等。

随后，在步骤S42，CPU 15基于识别出的外部情况对于情况进行预测。具体地，如利用步骤S11和步骤S12所述，识别目标对象形状改变速度高于阈值，能够推测出预测诸如前方行驶车辆的识别目标正在道路的弯曲处行驶或正在斜坡道路上行驶。另外，识别目标对象阻挡速度高于阈值，能够推断出诸如墙或另一辆车辆的另一个三维对象存在于诸如前方行驶车辆的识别目标与用户车辆之间。

随后，在步骤S43，从预测出的情况来确定识别方法。例如，如利用步骤S11和步骤S12所解释，如果识别目标对象形状改变的速度高于阈值，CPU 15选择针对道路弯曲或斜坡道路所指定的识别方法。或者，CPU 15将当前所使用的识别方法的阈值变为针对道路弯曲或斜坡道路所指定的阈值。接着，在步骤S44中，CPU 15利用所选择的识别方法或改变后的阈值来跟踪诸如前方行驶车辆的识别目标，该识别目标是先前检测到的对象。因此，即使当诸如前方行驶车辆的识别目标正行驶在道路的弯曲处或正行驶在斜坡道路上，并且因此具有由当前识别出的形状改变的形状时，也能够可靠地捕获并且连续识别诸如前方行驶车辆的识别目标。

例如，如利用步骤S13和步骤S14所解释，如果前方行驶车辆的识别目标对象阻挡的速度高于阈值，CPU 15根据识别目标的被阻挡区域来选择识别方法。或者，CPU 15将当前使用的识别方法的阈值变为根据识别目标的阻挡区域的阈值。接着，在步骤S44中，CPU 15利用所选择的识别方法或改变后的阈值来跟踪诸如前方行驶车辆的识别目标，该识别目标是先前检测到的对象。该过程使得即使在车辆已经消失在一些对象的后面或者消失在另一车辆的后面时，也能够可靠地捕获并且连续识别前方行驶车辆。因此，第一实施例的三维对象识别装置根据基于成像区域中识别出的外部情况的未来外部情况，使用不同的识别方法或不同的阈值。

在成像的预定帧中，CPU 15跟踪前一帧中识别出的先前检测到的对象(步骤S44)，接着在步骤S45中消除先前检测到的对象之后，在步骤S46中识别新的对象。具体地，如参考图7所解释，先前检测消除器38从RAM 18中所存储的当前视差图像中的对象之中，消除正在由跟踪识别器47跟踪的识别目标(步骤S45)，并且将因此获取的视差图像作为更新的视差图像存储在RAM 18中。

新对象检测器39在消除正在由跟踪识别器37所跟踪的识别目标的更新的视差图像中识别诸如车辆或人的三维对象，因而识别出不同于当前正在由跟踪识别器37所跟踪的识别目标的新三维对象(步骤S46)。三维对象更新器40将新对象检测器39所识别出的新三维对象反映在RAM 18中所存储的图6中所示的三维对象模型中，由此更新RAM 18中所存储的三维对象模型。情况预测器36使用三维对象模型来预测情况，其中三维对象模型是利用三维对象模型中所反映的新三维对象进行更新的。根据该过程，对于已经被稳定识别出的先前检测到的对象能够进行高准确度地持续跟踪，同时能够以改进的准确度来识别新对象。

图10A和图10B是表示示出识别目标的跟踪的屏幕的一个示例的示意图。图10A是表示立体相机单元1所捕获的立体图像的示意图。图10B是表示示出视差图像生成器31所生成的视差图像的示意图。参考图10A中所示的正常的图像捕获的图像，同时参考图10B中所示的视差图像，可以理解的是，场景情况识别器34识别边缘石块50与边缘石块51，由此识别出用户车辆所正在行驶的道路位于边缘石块50与边缘石块51之间。场景情况识别器34也识别出存在沿边缘石块50和边缘石块51形成的墙体部分52和墙体部分53。场景情况识别器34还识别出在道路上存在前方行驶的车辆54至车辆56，这些车辆正在用户车辆的前方行驶。如从图10A中可见，前方行驶车辆54是大客车。另外，行驶在大客车与用户车辆之间的前方行驶车辆55是摩托车。行驶在前方行驶车辆54(在本示例中表示为大客车)前面的前方行驶车辆56是轻型汽车。

在这种情况下，通常难以稳定地识别和跟踪远方行驶的车辆，诸如称之为前方行驶车辆56的轻型汽车，因为这样的车辆重复进行交替地变得识别与变得不识别。相反，在第一实施例的三维对象识别装置中，利用上述预测结果能够稳定持续地识别(跟踪)车辆。而且，在该示例的情况中，利用基于识别目标对象阻挡速度等的计算的上述预测结果，使得能够稳定持续地识别(跟踪)被前方行驶车辆55(表示为摩托车)所阻挡的大客车(前方行驶车辆54)，同时掌握摩托车的行动和大客车的行动。

如上述描述所明确，第一实施例的三维对象识别装置识别如下的情形：被设置为控制主体的对象(诸如用户车辆)当前所处的情况，是否存储先前检测到的三维对象，以及每个先前检测到的三维对象在当前情况下的状况。更具体地，三维对象识别装置识别当前情况，同时预测未来情况，接着在根据预测结果选择地利用识别方法的同时对于识别目标进行识别，或者在根据预测结果来改变识别方法中所使用的阈值的同时对于识别目标进行识别。这样的识别使得能够对于如下的识别目标进行稳定连续地识别：该识别目标逐个帧地以细微的亮度改变，重复进行交替地变为识别和变为不识别或者相反的变化。这样的识别也使得即使是在由于在道路的弯曲处行驶并且车辆形状已发生改变，车辆变得难以识别之后，也能够稳定连续地识别前方行驶的车辆。

第二实施例

下面描述作为第二实施例的另一种三维对象识别装置。首先，第二实施例的三维对象识别装置使用“对于移动对象的背景中的静止对象进行建模的背景模型(背景信息(静止对象)模型)”、“道路(行驶表面)模型”以及“各个移动对象的识别历史”来掌握如下信息：每个被设置为控制主体的对象当前处于何种场景情况，是否存在先前检测到的任何对象，以及每个先前检测到的对象在当前场景情况下处于何种状态。接着，三维对象识别装置在根据所掌握的状况来改变检测方法的同时对于移动对象(识别目标)进行检测。

更具体地，第二实施例的三维对象识别装置在识别场景情况中使用模型化环境用于检测三维对象，并且掌握成像的对象之间的三维位置关系。接着，三维对象识别装置从三维位置关系的暂时改变的历史识别当前的对象。需要注意的是，术语“情况模型”此后指的是有关成像环境的全部信息，该信息被表示为各种信息，诸如“被设置为识别目标的移动对象已识别出的稳定程度”，“被设置为识别目标的移动对象与背景模型之间的位置关系”，以及“被设置为识别目标的移动对象与道路模型之间的位置关系”。

图11是表示道路情况模型(行驶表面情况模型)的示例。这里的道路指的是诸如车辆和人的移动对象进行移动所在的或多或少不规则的行驶表面。在道路情况模型中，设置各种识别信息，诸如“道路宽度”、“车道数量”、“反向车道位置”、“用户车辆的车道位置”、“弯曲信息”、“道路表面斜度”。“道路宽度”是用户车辆60行驶所在道路的道路宽度W。“车道数量”是用户车辆60行驶所在道路的车道数目。“反向车道位置”是与用户车辆60的行驶方向相反的方向上的迎面车辆所在的车道的位置。“用户车辆的车道位置”是用户车辆60当前正在行驶的所在位置P。“弯曲信息”包括到弯曲处入口的距离D和弯曲处的曲率R。

弯曲信息不需要高度精确，因为当诸如前方行驶车辆的识别目标定向上的改变重要时，只需要从车辆和用户车辆之间的关系检测出定向上的改变的可能性。另外，在图11的示例中，道路的倾斜信息是在弯曲信息之外进行实施的。如图12中所示，“道路表面斜度”是近似弯曲参数，该参数是根据从用户车辆60的距离将道路在用户车辆60的行驶方向上进行划分所获得的每个部分SG计算出的。这些近似弯曲参数是针对图11中所示的左道路边缘LS和右道路边缘RS计算出的。例如，当被设置为识别目标的前方行驶车辆部分隐藏时，倾斜信息用于识别这样的前方行驶车辆部分隐藏的情况是否是由于向下倾斜的情况。

或者，当用户车辆的行驶方向上存在两个或更多个车道时，有可能已识别出的前方行驶车辆将变道至邻近车道。在这种情况下，存在如下的可能性：有可能前方行驶车辆的定向发生改变；有可能由于前方行驶车辆通过变道而移动到邻近车道上行驶的另一车辆的前面来改变它的行驶位置，被设置为识别目标的前方行驶车辆部分隐藏。使用诸如“用户的车道位置”和“车道数量”的各种车道信息用于识别这样的情况。

基于例如行驶环境中的道路规则来确定针对这些各种信息的限制值。另外，从视差所获得的三维信息用于在实际成像的环境中检测和应用道路模型的实体。

下面参考图13A和图13B，图13A和图13B是表示背景模型的一个示例的示意图。针对该示例中的背景模型，描述静止对象边界区域，该静止对象边界区域代表用户车辆能够移动的区域与用户车辆难以移动的区域之间的边界。具体地，如图13A中所示，在用户车辆60位置的俯视图中，在以用户车辆60为中心的空中辐射状地执行搜索。基于利用从用户车辆60的最近邻位置处的道路高度的转换，将具有等于或大于预定高度阈值的高度的静止对象的位置设置为静止对象边界区域。静止对象意味着当通过提供给用户车辆60的立体相机单元1执行成像时处于静止的对象。因此，静止对象是在成像期间静止的对象，诸如墙、电线杆、护栏或停泊的车辆。为了确定对象是否为静止对象，能够利用如下信息：CAN形式的车辆信息以及背景模型的历史信息。

更具体地，图13A是以用户车辆60为中心的用户车辆60的移动方向的俯视图。图13A中的箭头指示移动对象的移动方向。在该示例中，将两辆前方行驶车辆61a和61b，一辆迎面车辆62以及人物63a、63b和63c表示为移动对象并且这些移动对象正在向箭头所示的方向移动。由于这些对象是移动对象所以不将这些对象反映在背景模型中。从视差图像所检测到的三维位置找到这些对象。

相反，将与用户车辆60相同方向行驶的车辆所在道路上的停泊车辆64a到64c、护栏65、路桩66以及人行道内侧的墙67设置为静止对象。相似地，将与用户车辆60相反方向行驶的车辆所在道路上的路桩68a和68b以及护栏69设置为静止对象。

将这样的静止对象边界区域映射到X-Z平面形成图13B。如从图13B可见，由于将静止对象边界区域映射到X-Z平面上，与静止对象的高度对应的线段出现在各个静止对象的位置处。

第二实施例的三维对象识别装置通过利用背景模型和上述道路情况模型来识别情况，并且更新已存储识别历史的移动对象的识别结果。背景模型以高度信息的形式呈现在静止对象边界区域以及静止对象边界的边缘位置。图14表示与这样的过程对应的功能方框图。当第二实施例的三维对象识别装置的CPU 15根据三维对象识别程序来进行操作时实施图14中的功能。在图14所示的功能中，将与第一实施例中所述的相同的功能指定相同的附图标记，并且省略对其详细的描述。

如图14中所示，第二实施例的三维对象识别装置包括视差图像生成器31、三维信息生成器32、车辆信息获取器33、背景识别器71、道路识别器72、位置预测器73以及运动预测器74。三维对象识别装置还包括跟踪检测器75、情况识别器76、移动对象识别处理器77以及识别结果更新器78。视差图像生成器31作为距离图像获取器的一个示例。另外，随后参考图21或图30待描述的电子控制单元(ECU)95作为控制器的一个示例。道路识别器72作为行驶表面识别器的一个示例。虽然下面的描述假设从视差图像生成器31到车辆信息获取器33的单元，以及从背景识别器71到识别结果更新器78的单元利用软件来实施，这些单元中的所有或一些单元也可以利用硬件来实施。

在由此配置成的三维对象识别装置中，识别结果更新器78根据运动预测器74和跟踪监测器75所检测到的移动对象的跟踪结果，更新已存储在RAM 18中的针对移动对象的识别结果。运动预测器74(移动对象检测器的一个示例)交叉查看RAM 18中所存储的移动对象的识别结果的历史、如利用图11和图12所解释的由道路识别器72检测到的道路情况模型、以及如利用图13A和图13B所解释的由背景识别器71检测到的背景模型，并且预测移动对象将如何出现。跟踪检测器75根据来自运动预测器74的预测结果，改变跟踪移动对象中所使用的识别方法。需要注意的是，RAM 18是存储单元的一个示例，在该存储单元中存储移动对象、所述行驶表面情况模型以及所述背景模型之间的三维位置关系的历史。

具体地，例如，在检测到的移动对象的移动情况不受背景模型和道路情况模型所代表的当前情况所影响的情况下，对于诸如径直道路上的前方行驶车辆等对象，只有到移动对象的距离发生改变而没有移动对象出现方式的改变。在该情况下，来自运动预测器74的预测结果是稳定的。在一个示例中，跟踪检测器75用于使用RAM 18中所存储的识别结果的历史来执行各个帧之间的移动对象的视差形状特征的匹配过程，由此检测和跟踪各个移动对象的运动。当存在针对移动对象的稳定检测历史并且从背景模型和道路情况模型未预测出移动对象将要隐藏或在定向上发生改变时，跟踪检测器75降低识别结果的历史的匹配过程中所使用的阈值。因此，已稳定检测到的移动对象能够被更稳定地检测到。另外，当由于诸如立体相机单元1中的CMOS传感器的信噪(SN)比的因素导致视差信息中的细微错误时，利用该被取消的误差能够进行移动对象的稳定检测。

另一方面，例如，当移动对象行驶在弯曲的道路上并且定向上发生改变时，跟踪检测器75难以跟踪移动对象，情况识别器76再次利用背景模型、道路情况模型以及针对移动对象的识别历史来识别移动对象的当前情况。接着，跟踪检测器75根据再次识别出的移动对象的当前情况，将针对移动对象识别处理的方法变为适应于定向上的改变的针对移动对象识别处理的方法。更具体地，在该情况下，移动对象识别处理器77识别出作为目标的移动对象，该移动对象从再次识别出的移动对象的当前情况发现具有定向上的改变。识别结果更新器78更新RAM 18中的识别结果。进一步地，位置预测器73和运动预测器74使用RAM 18中所存储的识别历史来继续被识别为目标的移动对象的识别。因此跟踪检测器75能够跟踪发现具有定向上的改变的移动对象的运动并且继续对其的识别。

而且，当情况识别器76识别出被设置为识别目标的移动对象与邻近对象之间的位置关系指示存在被设置为识别目标的移动对象将要隐藏在邻近对象的后面的可能性时，跟踪检测器75将对于移动对象进行识别处理的方法变为适用于移动对象的隐藏的识别处理方法。更具体地，在该情况下，即使当被设置为目标的移动对象部分隐藏时，跟踪检测器75使用RAM 18中的识别历史来继续被设置为目标的移动对象的识别。因此，跟踪检测器75能够跟踪被发现正要隐藏的移动对象的运动，并且继续被设置为目标的移动对象的识别。

例如，图15A和图15B是表示摩托车80、第一前方行驶车辆81和第二前方行驶车辆82正在用户车辆60的前方行驶的情况的示意图。更具体地，图15A和图15B是表示如下情况的示意图：其中，当摩托车80变道并且因此与第一前方行驶车辆81重叠时，已经隐藏在第一前方行驶车辆81之后的第二前方行驶车辆82变道并且因此从第一前方行驶车辆81的后面出现。在这样的情况下，通常难以检测隐藏在第一前方行驶车辆81之后时的第二前方行驶车辆82，以及与第一前方行驶车辆81重叠时的摩托车80。

但是，第二实施例的三维对象识别装置基于移动对象和背景模型之间的相对位置关系来改变用于检测移动对象的方法。更具体地，第二实施例的三维对象识别装置利用背景模型(静止对象模型)、道路情况模型以及移动对象的识别历史来掌握如下信息：每个被设置为识别目标的移动对象当前处于何种场景情况、是否存在先前检测到的移动对象、以及每个先前检测到的对象在当前场景情况下所处的状态。随后，三维对象识别装置在将识别方法变为适合于所掌握情况的识别方法之后，对移动对象进行识别。因此，即使部分隐藏的移动对象、逐帧具有细微亮度变化地变为识别和不识别的移动对象也能够被连续地识别出，并且能够跟踪这些移动对象的运动。而且，即使当被设置为识别目标的移动对象在道路的弯曲处行驶，具有形状或定向上的变化，也能够稳定地检测到移动对象并且能够跟踪移动对象的运动。

图16A到图16C是表示人物63c的运动的示意图。如图16A和图16B中所示，即使当人物63c进行移动并且因此隐藏在停泊车辆64c的前端的外面时，跟踪检测器75和情况识别器76通过使用背景模型、道路情况模型等，执行针对对象的部分隐藏所指定的处理。因此，能够持续地预测和识别人物63c的运动。因此，如图16C中所示，即使当人物63c从停泊车辆64c前方的位置移动到用户车辆60前方的位置时(即使当人物63c奔跑到道路中时)，利用对于刹车的自动控制也能够自动停止用户车辆60。

通常，当人物63c已经隐藏在停泊车辆64c的后面的时候终止人物63c的识别；在能够重新识别出人物63c的整个身体之后重新开始人物63c的识别。因此，通常存在诸如处理上的延迟或突然刹车的不便之处。但是，在第二实施例的三维对象识别装置中，图21中所示的ECU 95(控制器的一个示例)根据检测的结果来准确地跟踪和检测移动对象的运动并且控制自动刹车***、自动速度控制***、转向控制器、平视显示器(HUD)96等(受控单元的一个示例)。因此，能够平稳并且安全地控制用户车辆60

第三实施例

下面描述作为第三实施例的另一种三维对象识别装置。第三实施例的三维对象识别装置基于用户车辆的当前情况来确定危险级别，并且根据确定结果对于用户车辆执行诸如速度控制或转向轮控制的控制。图17表示当第三实施例的三维对象识别装置中的CPU 15根据三维对象识别程序进行操作时所实施的功能的功能方框图。如图17中所示，第三实施例的三维对象识别装置包括三维信息生成器86、三维结构识别器87、图像识别器88、场景识别器89、情况预测器90、情况识别器91、新对象检测器92以及危险等级确定单元93。

三维信息生成器86生成图18B中所示的三维重构图像，该三维重构图像是与例如从图18A中所示的由立体相机单元1所捕获的视差图像85所计算出的距离信息对应。三维重构图像包括X、Y和Z坐标上的信息(长、宽和高)，并且也能够获得用户车辆前方区域的俯视图，如图18C中所示。三维结构识别器87识别出用户车辆前方存在的三维结构，诸如墙67以及利用图13A和图13B所解释的静止对象边界区域，该静止对象边界区域从三维重构图像指示用户车辆可行驶的区域与用户车辆难以行驶穿过的区域之间的边界。

图像识别器88将从立体相机单元1所捕获的图像所生成的视差图像85与道路表面标志、交通灯标志以及交通标志的先前建模图像进行比较。接着，图像识别器88提取视差图像85中所包括的诸如道路表面标志、交通灯标志以及交通标志的目标。

除了关于例如可行驶区域和行人的用户车辆前方所发现的当前情况(场景)之外，场景识别器89还从三维结构识别器87检测到的三维结构之中识别出道路表面标志、交通灯标志以及交通标志等。图18D指示场景识别器89已识别出用户车辆前方存在的道路作为可行驶区域，并且也识别出指示人行横道86的道路表面标志。将已经通过场景识别器89识别出的关于可行驶区域的信息和关于道路表面标志、交通灯标志、交通标志等的信息提供给情况识别器91。

情况识别器91参考通过情况预测器90所获取的用户车辆的CAN信息(诸如车速、加速度、转向角以及偏航速度)，接着向危险级别确定单元93通知针对当前情况的识别结果，当前情况与道路表面标志、交通灯标志、交通标志、行人等有关。新对象检测器92从情况识别器91获取针对用户车辆前方存在的当前情况的识别结果，并且当检测到诸如自行车或迎面车辆的新移动对象时通知危险等级确定单元93。危险等级确定单元93从针对用户车辆前方存在的当前情况的识别结果计算出危险等级。

危险等级是例如移动对象与用户车辆之间发生碰撞的可能性的指示。一种示例性的想法是针对与用户车辆的行车方向相反的移动对象的矢量计算出高危险等级。而且，针对与人行道或路边的直线平行移动的移动对象计算出低危险等级，因为这样的移动对象代表沿人行道移动的行人。相反，针对穿过人行道或路边的直线进行移动的移动对象计算出高危险等级，因为这样的移动对象代表从人行道进入道路的行人。作为用于计算危险等级的参数，能够使用例如“从情况识别所发现的移动对象的运动矢量的方向”、“从情况识别所发现的移动对象的运动矢量的大小”、“从情况识别所发现的移动对象的运动矢量的大小所代表的移动对象的移动速度”、“从情况识别所发现的移动对象的运动矢量所形成的角度以及用户车辆的行驶方向”、“用户车辆的速度和加速度”以及“移动对象到用户车辆的距离”。通过使用这些参数或这些参数中的一些或全部的组合来计算危险等级。

图19是用于解释危险等级确定单元93中的第一危险等级计算方法的示意图。在图19中，“X＝0平面”是用户车辆60行驶所在道路的平面。在示意图中，从移动对象A和移动对象B发出的箭头指示移动对象A和移动对象B的移动方向(移动矢量的方向)。指示移动对象A和移动对象B的移动方向的各个箭头上的圆圈和方块指示各个移动方向的危险等级。更具体地，将指示高危险等级的方块指定到与用户车辆60接近方向的移动方向。相反，将指示低危险等级的圆圈指定到与用户车辆60移开方向的移动方向。

当移动对象A(或者移动对象B)的运动矢量V1的绝对值小于第一阈值Th1(|V1|<Th1)；并且移动对象A的位置的X分量的绝对值小于第二阈值Th2(|X|<Th2)时，危险等级确定单元93基于用户车辆60与移动对象A之间的距离来计算移动对象A的危险等级。

当移动对象A(或者移动对象B)的运动矢量V1正在接近用户车辆60行驶所在的X＝0平面时，危险等级确定单元93利用算术表达式“危险等级＝(|V1|形成的表达式×θ形成的表达式)/用户车辆与移动对象之间的距离形成的表达式)”来计算危险等级，其中θ表示移动对象A(或者移动对象B)的运动矢量V1与用户车辆60在移动方向上的矢量所形成的角度。

当移动对象A(或者移动对象B)的运动矢量V1离开用户车辆60行驶所在的X＝0平面时，危险等级确定单元93设置“危险等级＝1”。需要注意的是，危险等级“1”指示危险等级处于最小值。

作为危险等级确定单元93所计算的危险等级，在如下情况下计算出更高的危险等级：“移动对象A(或者移动对象B)与用户车辆60之间的距离较小”；“移动对象A(或者移动对象B)的运动矢量指向X＝0平面”；“移动对象A(或者移动对象B)的运动矢量的绝对值(|V|)较大”；以及“移动对象A(或者移动对象B)的运动矢量与用户车辆60在移动方向上的矢量所形成的角度(θ)较大”。

下面参考图20，图20是用于解释危险等级确定单元93中的第二危险等级计算方法的示意图。图20中所示的第二危险等级计算方法基于移动对象A(或者移动对象B)在先前准备的通过危险等级划分的空间区域中的位置来确定危险等级。在图20所示的示例中，通过危险等级将空间区域划分成多个区域，以便按照与用户车辆60由远及近的顺序设置具有危险等级1(最小危险等级)、危险等级2、...危险等级N-1以及危险等级N(最大危险等级)的各个区域。

另外，根据移动对象A(或者移动对象B)的运动矢量相对于用户车辆60的移动方向的大小和方向，将权重指定到危险等级1到危险等级N。图20中的状态指示将权重指定到危险等级1到危险等级N，该状态中通过与用户车辆60的行驶方向形成预定角度的直线(不必是直线)将危险等级1到危险等级N的各个区域彼此分开。

当使用图20中所示的危险等级计算方法时，危险等级确定单元93基于用户车辆60与移动对象A(或者移动对象B)之间的距离，以及移动对象A(或者移动对象B)的运动矢量相对于用户车辆60的移动方向的大小和方向，计算危险等级。

例如，在图18E和图18F所示的示例中，箭头所示方向代表行人横穿对于行人可穿过的区域的移动方向。图18F在时间上要晚于图18E。在图18E和图18F所示的示例中，人行横道86上不存在行人。位于每个视图的右手边的多个箭头所指示的多个行人正行走在离开人行横道86的方向上。位于每个视图的左手边的一个箭头所指示的行人正在平行于用户车辆行走，行人与用户车辆之间具有足够的安全距离。在此情况下，危险等级确定单元93输出指示低危险等级的危险等级确定信息。

相反，例如当行人正行走在人行横道86上时，当行人正接近人行横道86时，当行人与用户车辆之间不具有足够的安全距离时，当用户车辆行驶在学校区域时，危险等级确定单元93输出指示高危险等级的危险等级确定信息。

将来自危险等级确定单元93的危险等级确定信息经由图2中所示的串行接口19提供给外部设备，诸如自动刹车***或自动速度控制***。自动刹车***使用针对识别目标的上述识别数据和危险等级确定信息来控制用户车辆的刹车。自动速度控制***使用针对识别目标的识别数据来控制用户车辆的速度。自动刹车***或自动速度控制***通过根据危险等级以逐步的方式使得用户车辆刹车，来调整行驶速度。例如，当提供指示高危险等级的危险等级确定信息时，自动刹车***或自动速度控制***自动使得用户车辆刹车，以便将用户车辆的行驶速度减速到安全行驶速度。

在此，危险等级确定单元93根据通过图像识别器88从视差图像85中识别出的道路表面标志、交通灯标志、交通标志等的图像，改变危险级别的确定准则。虽然这只是一个示例，当通过图像识别器88识别出道路上出现的“学校区域”的标志或字母时，危险等级确定单元93将指定危险等级中所使用的阈值变为较低的值，并且接着指定危险等级。

因此，能够降低指定危险等级的准则，以便更可能将高危险等级指定给带有“学校区域”的标志或字母的道路或者道路的附近处移动的移动对象。另外，在更可能频繁发生有儿童跑入道路的情况的学校区域内，高危险等级的指定导致自动刹车***或自动速度控制***的启动，以便用户车辆的行驶速度能够降低到安全行驶速度。而且，能够将高等级的安全意识传递给驾驶员，由此能够实现充分保证安全的危险等级预测。

而且，当图像识别器88识别出除了校园区域之外，诸如“停车(STOP)”、“危险(DANGER)”、“前方交叉路口(CROSSING AHEAD)”的字母、或者丁字路口或交叉路口的道路上出现停止线或人行横道的标志时，危险等级确定单元93将指定危险等级中所使用的阈值变为较低的值，接着指定危险等级。因此，更可能将高危险等级指定给在丁字路口或交叉路口的道路上移动或者在这样的道路附近的移动物体。因此，高危险等级的指定导致自动刹车***或自动速度控制***(受控单元的一个示例)的启动，以便能够将用户车辆的行驶速度降低到安全行驶速度。而且，能够将诸如存在人物、车辆、自行车、摩托车等从驾驶员的视野之外移动进入用户车辆的前方区域这样的危险的意识传递给驾驶员。而且，在更可能频繁发生这样的情况上的变化的交叉路口等，能够实现充分保证安全的危险等级预测。

虽然上述示例是一个降低针对危险等级确定的准则的示例，但是当在能见度好的道路上图像识别器88未识别出行人、障碍以及标志时，危险等级确定单元93在提高危险等级确定的阈值之后指定危险等级。因此，危险等级确定的阈值被提高，由此更可能将低危险等级指定给用户车辆周围的移动对象，由此使得驾驶员能够以不受限的方式进行驾驶。而且，危险等级可以用于除行驶速度控制以外的目的。例如，将危险等级确定信息提供给转向控制器(受控单元的一个示例)，以便执行保证安全预防具有高危险等级的移动对象的转向轮控制。

如能够从上述描述清楚理解到的，第三实施例的三维对象识别装置基于用户车辆的当前情况来确定危险等级，并且根据确定结果对于用户车辆执行控制，诸如速度控制或转向轮控制。另外，三维对象识别装置在根据与目标的危险等级有关的图像等来改变危险等级的确定准则的同时，对于用户车辆进行控制，其中的图像已从视差图像85识别出。因此，能够实现充分保证安全的危险等级预测，并且能够获得与上述实施例相同的效果。

第四实施例

下面描述作为第四实施例的另一种三维对象识别装置。第四实施例的三维对象识别装置经由平视显示器(HUD)在驾驶员的视野内显示驾驶信息，该驾驶信息基于道路情况和危险等级(危险等级确定信息)来确定。图21表示根据第四实施例的三维对象识别装置的硬件配置。如图21中所示，第四实施例的三维对象识别装置包括针对车辆的ECU 95和平视显示器(HUD)96。另外，三维对象识别装置包括立体相机单元1所提供的信息处理器2，以及捕获驾驶员图像的驾驶员监视相机单元97。

信息处理器2基于立体相机单元1所捕获的视差图像，识别如上所述的车辆前方存在的情况(移动对象与诸如背景和道路的静止对象之间的位置关系)，将识别结果和危险等级确定信息提供给ECU 95。ECU 95控制HUD 96通过将信息重叠在驾驶员的视野区域的方式，显示诸如信息处理器2所计算出的道路情况和危险等级确定信息所代表的危险等级的信息。以将驾驶员的左右眼包括在相机单元的视角内的方式来设置驾驶员监视相机单元97，由此检测驾驶员的眼睛的方向。尽管将驾驶员监视相机单元97设置在图21中的驾驶员头部的上方，只要能够检测到驾驶员眼睛的方向，设置驾驶员监视相机单元97的位置并不重要。

HUD 96例如是嵌入在仪表盘中的光学***，是具有如下功能的模块：通过诸如镜子和透镜的器具将内部生成的中间图像转换为放大的可视图像，并且显示提供到驾驶员眼睛的距离的某种感觉的图像。作为HUD 96的实施方式的形式，平面投影型和激光扫描型是可能的，可以使用这些类型中的任一种类型。激光扫描型HUD能够提供具有更宽视野的虚拟图像，并且能够显示对于外部光具有鲁棒性的高亮度图像。因此，虽然这只是一个示例，该实施例的三维对象识别装置具有激光扫描型HUD作为HUD 96。

图22是表示激光扫描型的HUD 96的硬件配置的示意图。如图22中所示，在HUD 96中，光源扫描单元100将三种颜色的激光光束进行组合，即R(红)、G(绿)和B(蓝色)。将三种颜色的组合激光光束引导至光学偏转器101的反射面。光学偏转器101可以是如下的反射镜***：包括单个微小反射镜，该反射镜关于两个相互垂直的轴进行摆动，或者包括两个反射镜，其中每个反射镜都关于一个轴进行摆动或旋转。光学偏转器101以通过半导体过程等所生产的微机电***(MEMS)的形式来实施。通过光学偏转器101所偏转的光通量被凹面镜102反射，在待扫描的表面103上描绘二维图像。

待扫描的表面103以期望的发散角对于激光光束进行发散。微透镜阵列结构适于作为待扫描的表面103。从待扫描的表面103所发射的光通量被凹面镜104和待显示的半透镜106放大。可以包括诸如透镜或棱镜的透光元件。

下面参考图23中的流程图，图23表示HUD 96所执行的显示驾驶信息的操作的过程。在步骤S21中，如第一实施例和第二实施例所述，信息处理器2识别诸如前方行驶车辆如何移动和道路情况的信息。此后，在步骤S22中，如第三实施例所述，信息处理器2基于移动对象的危险等级来确定危险坐标(区域)。而且，在步骤S23中，信息处理器2从步骤S21中所识别出的当前情况和步骤S22中所确定的危险区域来确定用户车辆的可行驶区域。最后，在步骤S24中，HUD 96在驾驶员的视野内显示由信息处理器2从道路情况和危险等级所确定的驾驶信息。

具体地，当提供危险等级确定信息时，其中包括指示低危险等级的危险等级信息，ECU 95经由HUD 96显示例如“当前危险等级低；但是驾驶时全力注意周围情况”的消息。相反，例如当行人正在接近人行横道86时，ECU 95经由HUD 96显示例如“行人正在接近人行横道。小心穿过的行人”的消息。因此，能够向驾驶员通知和警告危险，从而能够促进安全驾驶。

在此，危险等级确定单元93根据由图像识别器88从视差图像85识别出的道路表面标志、交通灯标志、交通标志等的图像，改变危险等级的确定准则。虽然这只是一个示例，当由图像识别器88识别出道路上出现“学校区域”的一组标志或字母时，危险等级确定单元93将危险等级的指定的阈值变为较低的值，接着指定危险等级。

因此，能够降低用于指定危险等级的准则，从而更可能将高危险等级指定给在具有“学校区域”的标识或字母的道路上移动或在这样的道路附近移动的移动对象。而且，在可能频繁发生儿童跑入马路的情况的学校区域，指定高危险等级，从而能够将高等级意识传递到驾驶员，使得能够实现充分保证安全的危险等级预测。

而且，当图像识别器88识别出除了校园区域之外，诸如“停车(STOP)”、“危险(DANGER)”、“前方交叉路口(CROSSING AHEAD)”的字母、或者丁字路口或交叉路口的道路上出现停止线或人行横道的标志时，危险等级确定单元93将指定危险等级中所使用的阈值变为较低的值，接着指定危险等级。因此，更可能将高危险等级指定给在丁字路口或交叉路口的道路上移动或者在这样的道路附近移动的移动物体。而且，能够将诸如存在人物、车辆、自行车、摩托车等从驾驶员的视野之外移动进入用户车辆的前方区域这样的危险的意识传递给驾驶员。而且，在更可能频繁发生这样的情况的变化的交叉路口等处，能够实现充分保证安全的危险等级预测。

虽然上述示例是一个降低针对危险等级确定的准则的示例，但是例如当在能见度好的道路上图像识别器88未识别出行人、障碍以及标志时，危险等级确定单元93提高针对危险等级指定的阈值并且接着指定危险等级。因此，能够提高针对危险等级确定的准则，从而更可能将低危险等级指定给用户车辆周围的移动对象，而允许驾驶员能够以基本不受限的方式进行驾驶。

假设执行经由HUD 96的显示的情况下描述该示例。但是，可以通过如下方式传递与危险等级确定信息对应的通知：经由扬声器的音频输出、对于发光二极管(光发射器)的光发射控制、或者对于振动器的振动控制。更具体地，可以经由诸如显示器、扬声器、光发射器或振动器的通知器来传递与危险等级确定信息相对应的通知。

下面描述信息处理器2经由HUD 96所执行的显示的具体示例。首先，图24是当识别出迎面车辆111同时用户车辆试图超越停在用户车辆前方的车辆110时所待执行的显示的一个示例。在该情况中，信息处理器2基于迎面车辆111正在减速的方式，预测迎面车辆111是将要停车还是继续行驶。当检测到迎面车辆111将要停止时，信息处理器2经由HUD 96显示预测的停止线。接着，信息处理器2计算迎面车辆111的相对速度，预测其停止的位置，并且经由HUD 96在道路平面上显示实线部112。

在该情况下，为了能够将方向性和宽度感添加到视图中，信息处理器2可以渐变地显示实线部112，由此实线部的密度对于用户车辆由远到近发生改变。另外，信息处理器2可以将实线部112显示为动画图像，由此将实线部112以从迎面车辆111朝向用户车辆横扫的方式进行标记。

可替换地，信息处理器2可显示线性预测停止线来替代实线部112。在这种情况下，预测停止线是可视的。另外，这样显示的预测停止线能够用于防止实线部112作为虚拟图像在驾驶员的视野中占据超大区域的不便，并且能够少些麻烦。

当预测出迎面车辆111将要停止时，信息处理器2也可以显示鼓励超越停止车辆110的箭头。存在这样的顾虑，显示实线部112或预测停止线，驾驶员可能难以决定下面采取何种行动。但是，显示鼓励超越行为的箭头，能够通知驾驶员安全超车是可能的，并且因此可以鼓励驾驶员主动行动。而且，显示鼓励超越行为的箭头，能够在这样的鼓励与实线部112或预测停止线之间进行清楚的区分，因此能够避免驾驶员的迷惑。

接着，例如当识别出行人或自行车以恒定的速度行驶在与用户车辆足够远的位置时，信息处理器2经由HUD 96执行渐变显示，如亮度等级沿着行人或自行车的行驶方向提高。如果执行如亮度等级沿着行人或自行车的行驶方向的反方向提高的渐变显示时，通过错误地假设“行人或自行车正在朝着该车辆移动”可以非必要地提醒驾驶员。因此，通过如亮度等级沿着行人或自行车的行驶方向提高的渐变显示，能够向驾驶员通知行人或自行车的存在和行驶方向。

接着，图25是当用户车辆正在接近前方行驶的自行车的同时自行车突然开始摇摆并且向行车道移动时待执行的显示的另一个示例。在该情况下，信息处理器2检测出相对用户车辆的行驶方向，自行车与用户车辆的相对速度的突然的侧向改变。另外，因为用户车辆与自行车短距离分开，所以信息处理器2计算出高危险等级。在该情况下，如图25中所示，信息处理器2经由HUD 96显示一组针对自行车的预测运动的运动矢量，作为指示待避开的区域的告警信息。虽然这只是一个示例，这组运动矢量表现为从自行车向用户车辆行驶所在的道路越来越大的波形环的图像(正规线路组115)。该正规线路组115可以显示为不移动的图像，或者可以显示为动画图像，由此图像从自行车向道路变大。

如果自行车的运动矢量体现为具有方向性的箭头，这些箭头显示在中心处从目标辐射状延伸的运动矢量束，而这样的显示难以直观掌握待避开的区域。相反，将自行车的运动矢量显示为正规线路组115使得能够向驾驶员准确通知待避开的区域，由此能够允许掌握用户车辆与自行车之间的周密计算的距离。

需要注意的是，信息处理器2显示正规线路组115所使用的亮度高于显示自行车的运动跟踪的亮度。以不同的亮度显示正规线路组115和自行车的运动跟踪，使得能够避免给驾驶员正规线路组115紧随自行车的印象的不便。另外，这样的显示也使得能够通知驾驶员存在危险状态。

另外，当危险级别低时，信息处理器2显示蓝色的正规线路组115，当危险级别中等时显示黄色的正规线路组115，而当危险等级高时显示红色的正规线路组115。更具体地，信息处理器2根据危险等级来显示有颜色的正规线路组115。这种显示使得能够利用显示正规线路组115的颜色来向驾驶员通知危险等级。

接着，如上所述，当存在已经在邻近车道行驶的前方行驶车辆时，信息处理器2识别并且开始跟踪该前方行驶的车辆。因此，即使在由于用户车辆和前方行驶车辆已开始平行行驶，立体相机单元1只能够将前方行驶车辆的一部分进行成像的状态下，信息处理器2仍能够跟踪前方行驶车辆的运动。即使在该状态下，当曾经位于用户车辆后面的前方行驶车辆(此后称为超越车辆)试图超越用户车辆时，信息处理器2检测到运动矢量，通过该运动矢量，根据用户车辆与超越车辆的相对速度，预测出超越车辆将要超越用户车辆。随后，信息处理器2经由HUD 96显示将从后面超越用户车辆的超越车辆的预测移动路线(虚拟路线)。

图26、图27A和图27B中的示意图表示超越车辆的虚拟路线的显示的一个示例，其中预测出该超越车辆超越用户车辆的行为。如图26中所示，当检测到运动矢量，通过该运动矢量预测出用户车辆被超越时，信息处理器2在与用户车辆行驶所在的车道相邻的邻近车道上显示带状虚拟路线120，该带状虚拟路线120指示超越车辆的存在的可能性，如图26所示。虽然这只是一个示例，例如信息处理器2以高亮度、红色带状形状来显示虚拟路线120。需要注意的是，虚拟路线120可以用常规亮度进行显示，并且可以用除红色以外的颜色来显示。显示上述虚拟路线120使得能够通知用户车辆的驾驶员存在超越车辆。另外，当显示虚拟路线120时，信息处理器2向ECU 95提供禁止用户车辆加速的信息。因此，能够保证用户车辆的安全。

随后，如图27A中所示，当超越车辆已经更接近用户车辆时，信息处理器2显示从邻近行驶车道来到用户车辆所在行驶车道的带状虚拟路线120。因此，能够通知用户车辆的驾驶员超越车辆从邻近车道变道至用户车辆的前方位置的可能性。另外，因为驾驶员能够识别出超越车辆从邻近车道变道至用户车辆的前方位置的可能性，所以驾驶员能够直观地限制用户车辆的加速度。除了上述的虚拟路线120之外，例如可以显示告知超越车辆的靠近并且指示对于超越车辆的警示的字母或图标，诸如“小心：后方车辆正在靠近”。

随后，如图27B中所示，当超越车辆在超越用户车辆之后开始变道时，信息处理器2显示沿超越车辆的预测移动路线的带状虚拟路线120。因此，用户车辆的驾驶员能够以对于用户车辆减速的方式来进行安全驾驶，从而不妨碍超越车辆做出变道。

需要注意的是，在显示虚拟路线120之后，当驾驶员已经检测到用户车辆的行驶速度降低的情况下，用户车辆的行驶速度已经低于预定行驶速度时，信息处理器2停止显示至此所显示的虚拟路线120。

下面描述行驶路线难以识别的道路的示例。例如，图28中所示的示例是具有多条车道并且前方弯曲的道路。左侧的道路124是作为用于进入停车处的道路来构建的，而位于中心与道路124相邻的道路是作为持续向前延伸的道路126来构建的。如第三实施例所述，在如此构建的道路上，信息处理器2识别出道路上所写的字母从而识别出左侧的道路124是作为用于进入停车处的道路来构建的。随后，在该情况下，信息处理器2经由HUD 96显示沿着持续向前延伸的道路126的带状引导路线125。因此，即使在具有以复杂方式构建的多条路线的道路上，也能够向司机清楚地通知持续向前延伸的路线。

下面描述以下情况，例如有一个商店经由无线通信向在商店附近行驶的车辆发送广告信息等。当接收到这样的无线通信信息时，ECU 95经由HUD 96显示该信息。图29中的示例是当车辆行驶在XX商店附近，已接收到XX商店正在特价促销的广告信息时所显示的示例。在该情况下，信息处理器2经由HUD 96显示接收到的信息，诸如“XX商店现在正在特价促销”。因此，能够通知驾驶员XX商店现在正在特价促销，并且驾驶员能够采取恰当的行动，诸如访问XX商店并且购买期望的商品。

如上所述，第四实施例的三维对象识别装置能够适当地识别道路环境、用户车辆的当前情况等，并且经由HUD 96在驾驶员的视野中直观地显示可识别的驾驶信息。因此，能够支持驾驶员的安全驾驶。

第五实施例

下面描述作为第五实施例的另一种三维对象识别装置。该第五实施例的三维对象识别装置使得导航设备根据道路情况再次搜索另一条路线，并且在HUD 96上显示根据道路情况的驾驶信息。

图30表示第五实施例的三维对象识别装置的硬件配置。如图30中所示，第五实施例的三维对象识别装置包括针对车辆的ECU 95以及第四实施例中所述的HUD 96。另外，第五实施例的三维对象识别装置包括具有立体相机单元1的信息处理器2、捕获驾驶员图像的驾驶员监视相机单元97、以及显示到目的地的路线的导航器130。导航器130用于经由HUD96显示到驾驶员所输入的目的地的路线。

图31中的流程图表示第五实施例的三维对象识别装置的操作的流程。在驾驶员将目的地输入到导航器130之后，接着导航器130搜索到目的地的路线，当通过搜索所找到的路线显示在HUD 96上时，开始图31的流程图的处理。

当开始图31的流程图的处理时，在步骤S31中，信息处理器2识别情况，在步骤S32中，信息处理器2确定诸如用户车辆行驶所在的道路的对象的危险等级，如第三实施例中所述。接着，在步骤S33中，信息处理器2利用步骤S31中检测到的道路情况和步骤S32中检测到的危险等级，确定用户车辆待行驶的道路是否可安全行驶。需要注意的是，此处的“用户车辆待行驶的道路”意味着基于立体相机单元1所捕获的图像所生成的视差图像可能进行确定的范围内的道路。如果在步骤S33中，信息处理器2确定用户车辆待行驶的道路是可安全行驶的(步骤S33中的是)，处理进行到步骤S34，其中信息处理器2经由HUD 96，在已经由导航器130在上面显示路线的屏幕上显示道路可以安全行驶的指示。

另一方面，如果在步骤S33中，信息处理器2确定用户车辆所待行驶的道路难以安全行驶时(步骤S33中的否)，处理进行到步骤S35。在步骤S35中，信息处理器2经由HUD 96，在已经由导航器130在上面显示路线的屏幕上显示道路难以行驶的指示。另外，在步骤S35中，信息处理器2向导航器130提出再次搜索另一条路线的请求。当接收到重新开始搜索另一条路线的请求时，在步骤S36中，导航器搜索另一条路线，并且在步骤S37中经由HUD 96显示搜索中所发现的路线。

如上所述，第五实施例的三维对象识别装置根据道路情况，搜索不同于导航器130在搜索中所找到的路线的另一条路线，并且经由HUD 96显示新找到的路线。因此，当导航器130在搜索中所找到的路线不适于行驶时，执行立即的重新规划路线，以便能够向驾驶员呈现适于行驶的路线。因此，能够促进驾驶员的安全行驶。

虽然上述实施例使用安全等级来确定是否搜索另一条路线，但是实施例不限于该示例，并且还可以使用其他信息。例如，可以使用来自图13A和图13B所解释的背景模型(静止对象边界区域)的信息，以及关于用户车辆的宽度的信息。当用户车辆的行驶方向上前方存在的静止对象之间的距离小于用户车辆的宽度时，实施搜索另一条路线。在该情况中，优选的是，如果给定宽度小于静止对象之间的距离时实施搜索另一条路线，其中给定宽度已经被设置为略大于用户车辆的宽度。相同的处理不仅可以用于宽度方向而且还可以用于高度方向。另外，当能够不使用诸如立体相机的图像捕获设备，而通过使用例如雷达能够获得足够检测周围环境的信息时，不需要使用图像形式的信息。

上述实施例作为示例被提供，并且不旨在限制本发明的范围。这些新颖的实施例中的每个实施例能够通过各种其他方式来实施，并且在不背离本发明的精神的情况下可以对其做出各种省略、替换和变更。各个实施例以及这些实施例的变形都落入本发明的范围和精神之中，并且落入所附的权利要求及其等同物中。

例如，假设利用例如图14和图17所解释的上述实施例的每个实施例的每个功能以软件形式通过三维对象识别程序来实施，但是可以通过诸如集成电路(IC)的硬件的形式来全部或部分实施功能。

可以在通过计算机设备可读取的记录介质中，诸如光盘只读存储器(CD-ROM)或软盘(FD)，以可安装格式或可执行格式的文件，记录并且提供三维对象识别程序。可替换地，可以在另一种记录介质上记录并且提供该程序，诸如可记录光盘(CD-R)、DVD、蓝光光盘(注册商标)、或者通过计算机装置可读取的半导体存储器。可替换地，可以通过经由网络(诸如因特网)的安装来提供该程序。可替换地，可以在ROM等内部设备中预先嵌入并提供该程序。DVD代表“数字多功能光盘”。

对于每个实施例的上述描述假设视差图像是从立体相机单元1所捕获的图像生成的。但是可以从单个相机单元所捕获的多个图像来生成视差图像，其中单个相机单元具有被设置于不同位置的用于捕获各个图像以便形成视差的相机单元组。

本发明在能够提高移动对象识别的准确度方面是有效的。

虽然已经关于特定实施例将本发明描述为完整和清晰的公开，所附权利要求并不因此受限，而是被解释为体现完全落入在本文中的基本教导之内的可对本领域技术人员发生的所有修改和替换。

附图标记列表

1 立体相机单元

2 信息处理器

5 透镜

6 图像传感器

7 传感器控制器

10 数据总线

11 串行总线

15 CPU

16 FPGA

17 ROM

18 RAM

19 串行接口

20 数据接口

31 视差图像生成器

32 三维信息生成器

33 车辆信息(CAN信息)获取器

34 场景情况识别器

35 场景情况更新器

36 情况预测器

37 跟踪识别器

38 先前检测消除器

39 新对象检测器

40 三维对象更新器

60 用户车辆

71 背景识别器

72 道路识别器

73 位置预测器

74 运动预测器

75 跟踪检测器

76 情况识别器

77 移动对象识别处理器

78 识别结果更新器

85 视差图像

86 三维信息生成器

87 三维结构识别器

88 图像识别器

89 场景识别器

90 情况预测器

91 情况识别器

92 新对象检测器

93 危险等级确定单元

95 ECU

96 平视显示器(HUD)

97 驾驶员监视相机单元

130 导航器

引用列表

专利文献

[专利文献1]日本特开专利公开No.2000-266539

Claims (10)

1.一种处理装置，包括：

距离图像获取器，用于获取包含每个像素的距离信息的距离图像；

移动对象检测器，用于从所述距离图像来检测移动对象；以及

背景识别器，用于从通过所述距离图像获取器所获取的距离图像，生成背景模型，在所述背景模型中将作为移动对象的背景被识别出的静止对象进行建模，其中

所述移动对象检测器基于所述移动对象与所述背景模型之间的相对位置关系，改变用于检测所述移动对象的方法。

2.根据权利要求1所述的处理装置，进一步包括：

行驶表面识别器，用于从所述距离图像生成行驶表面情况模型，在所述行驶表面情况模型中将移动对象待行驶的行驶表面进行建模；以及

情况识别器，用于通过使用所述移动对象与所述背景模型之间的位置关系、所述移动对象与所述行驶表面情况模型之间的位置关系中的至少一个来识别周围的情况，其中

所述移动对象检测器基于情况识别的结果来检测所述移动对象。

3.一种处理装置，包括：

距离图像获取器，用于获取包含每个像素的距离信息的距离图像；

移动对象检测器，用于从所获取的距离图像来检测移动对象；

背景识别器，用于从通过所述距离图像获取器所获取的距离图像，生成背景模型，在所述背景模型中将作为所述移动对象的背景被识别出的静止对象进行建模；

行驶表面识别器，用于从通过所述距离图像获取器所获取的距离图像，生成行驶表面情况模型，在所述行驶表面情况模型中将所述移动对象待行驶的行驶表面进行建模；以及

情况识别器，用于通过使用所述移动对象与所述背景模型之间的位置关系、所述移动对象与所述行驶表面情况模型之间的位置关系中的至少一个来识别周围的情况。

4.根据权利要求1至3中的任一项所述的处理装置，其中，从通过所述情况识别器所识别出的周围情况，所述移动对象检测器检测定向上发生变化的移动对象。

5.根据权利要求1至4中任一项所述的处理装置，其中，从通过所述情况识别器所识别出的周围情况，所述移动对象检测器检测部分隐藏的移动对象。

6.根据权利要求1至5中任一项所述的处理装置，进一步包括存储单元，所述存储单元用于在其中存储所述移动对象、行驶表面情况模型以及背景模型之间的三维位置关系的历史。

7.根据权利要求6所述的处理装置，其中，从所述存储单元中所存储的所述移动对象、所述行驶表面情况模型以及所述背景模型之间的三维位置关系的历史，所述移动对象检测器检测定向上发生改变或者部分被隐藏的移动对象。

8.一种处理***，包括：

距离图像获取器，用于获取包含每个像素的距离信息的距离图像；

背景识别器，用于从通过所述距离图像获取器所获取的距离图像，生成背景模型，在所述背景模型中将作为背景被识别出的静止对象进行建模；

移动对象检测器，用于基于从所述距离图像检测到的移动对象与所述背景模型之间的相对位置关系，改变检测方法，并且检测所述移动对象；以及

控制器，用于根据所述移动对象的检测结果，控制受控单元。

9.一种处理程序，使得计算机用作：

距离图像获取器，用于获取包含每个像素的距离信息的距离图像；

背景识别器，用于从通过所述距离图像获取器所获取的距离图像，生成背景模型，在所述背景模型中将作为背景被识别出的静止对象进行建模；以及

移动对象检测器，用于基于从所述距离图像检测到的移动对象与所述背景模型之间的相对位置关系，改变检测方法，从而检测所述移动对象。

10.一种处理方法，包括：

通过距离图像获取器，获取包含每个像素的距离信息的距离图像；

通过背景识别器，从所述距离图像获取器所获取的距离图像，生成背景模型，在所述背景模型中将作为背景被识别出的静止对象进行建模；以及

通过移动对象检测器，基于从所述距离图像检测到的移动对象与所述背景模型之间的相对位置关系，改变检测方法，从而检测所述移动对象。