CN104346624B - 车外环境识别装置 - Google Patents

Abstract

根据本发明的车外环境识别装置，通过设法判定行驶轨迹，来提高成为用于本车辆的控制输入的交通指示物的判定精度。车外环境识别装置(120)具备：行驶轨迹估计部(166)，基于本车辆的当前的运动状态，估计作为本车辆1行进的轨迹的行驶轨迹；行驶轨迹限制部(168)，根据从本车辆的速度、方向指示器的指示状态、角速度或者操舵角中选择的至少一个或者多个参数，在宽度方向上限制所估计的行驶轨迹；以及控制输入判定部(176)，基于被限制的行驶轨迹，判定位于本车辆前方并且成为控制输入的交通指示物。

Description

车外环境识别装置

技术领域

本发明涉及识别本车辆的外部环境的车外环境识别装置，尤其涉及适于判定信号灯和/或交通标识等的交通指示物的车外环境识别装置。

背景技术

以往，已知有以下技术(例如，专利文献1)：检测位于本车辆前方的车辆和/或信号灯等的特定物，以回避与前行车辆的冲突(冲突回避控制)，或者一边识别信号灯的信号颜色，一边控制本车辆与前行车辆的车间距保持在安全距离(自适应巡航控制)。

这样的特定物是从所拍摄到的本车辆前方的车外环境的图像，基于其亮度和/或距离而被提取。例如，已知有如下技术，即，拍摄车外的彩色图像，将相邻的像素彼此群组化，基于距离、大小、高度以及相对于本车辆的行驶路径的位置等，识别信号灯等的光源(例如，专利文献2)。

现有技术文献

专利文献

专利文献1：日本专利第3349060号公报

专利文献2：日本特开2010-224925号公报

发明内容

技术问题

在上述的专利文献2的技术中，基于实际空间上的道路面的水平形状模型，通过道路面上的行车线来掌握本车辆的行驶路径，将存在于本车辆的行驶路径上的信号灯判定为针对本车辆的信号灯。但是，因气候和/或时间等，有时难以根据车外环境识别行车线，或者还有道路面上原本就不存在行车线的情况。在这种情况下，会发生难以根据车外环境判定成为用于控制本车辆的控制输入的信号灯和/或其它交通标识等的交通指示物的问题。

因此，可以考虑不依赖行车线等的识别结果，基于本车辆的速度和/或角速度或者操舵角等本车辆的当前的运动状态，估计作为本车辆行进的轨迹的行驶轨迹和/或考虑了本车辆行驶的宽度的行驶路径，基于其行驶轨迹等而判定交通指示物。但是，基于当前的运动状态预测的行驶轨迹与实际的行驶轨迹未必一致。例如，虽然用于进行回避障碍物和/或行车线变更的转向操作是暂时的操作，实际的行驶轨迹是大致直行，但基于转向操作有时会将行驶轨迹估计为弯曲。假如基于当前的运动状态预测的行驶轨迹与实际的行驶轨迹不一致，可能会无法判定原本应当作为控制输入的交通指示物，并将其错误地排除在控制输入以外。

鉴于这样的问题，本发明的目的在于提供一种可以通过设法判定行驶轨迹来提高成为本车辆的控制输入的交通指示物的判定精度的车外环境识别装置。

技术方案

为了解决上述问题，本发明的车外环境识别装置的特征在于，具备：行驶轨迹估计部，基于本车辆的当前的运动状态，估计作为本车辆行进的轨迹的行驶轨迹；行驶轨迹限制部，根据从本车辆的速度、方向指示器的指示状态、角速度或者操舵角中选择的至少一个或者多个参数，在宽度方向上限制估计的行驶轨迹；以及控制输入判定部，基于被限制的行驶轨迹，判定位于本车辆前方并且成为控制输入的交通指示物。

如果本车辆的速度小于预定值，则行驶轨迹限制部可以在左右侧宽度方向上均限制行驶轨迹。

如果方向指示器***作，则行驶轨迹限制部可以在左右侧中的方向指示器未***作的一侧限制行驶轨迹。

在方向指示器的操作结束之后，行驶轨迹限制部可以等待经过预定的延长时间后解除行驶轨迹的限制。

如果本车辆的速度在预定值以上，并且角速度或者操舵角的绝对值在预定值以上，则行驶轨迹限制部在左右侧宽度方向上均可以限制行驶轨迹。

在本车辆的速度变为小于预定值，或者角速度或操舵角的绝对值变为小于预定值之后，所述行驶轨迹限制部可以等待经过预定的延长时间后解除行驶轨迹的限制。

有益效果

根据本发明，可以通过设法判定行驶轨迹来提高成为用于本车辆的控制输入的交通指示物的判定精度。

附图说明

图1是表示环境识别***的连接关系的框图。

图2是表示车外环境识别装置的大致功能的功能框图。

图3A和图3B是用于说明亮度图像和距离图像的说明图。

图4是用于说明信号灯判定部的工作的说明图。

图5是用于说明行驶轨迹限制部的工作的流程图。

图6A和图6B是用于说明进行了限制的行驶轨迹的说明图。

图7是用于说明进行了限制的行驶轨迹的说明图。

图8是用于说明进行了限制的行驶轨迹的说明图。

图9是用于说明信号灯群彼此的位置关系的说明图。

图10是用于说明控制输入判定部的工作的流程图。

图11是用于说明行驶轨迹的偏移的说明图。

图12是用于说明单个信号处理的流程的流程图。

图13是用于说明单个信号处理的说明图。

图14是用于说明单侧信号处理的流程的流程图。

图15A、图15B和图15C是用于说明单侧信号处理的说明图。

图16是例示出相同颜色信号处理中的信号灯群的说明图。

图17是用于说明不同颜色信号处理的流程的流程图。

图18A、图18B和图18C是用于说明不同颜色信号处理的说明图。

图19是用于说明不同颜色信号处理的说明图。

符号说明

1 车辆

120 车外环境识别装置

166 行驶轨迹估计部

168 行驶轨迹限制部

176 控制输入判定部

具体实施方式

以下，参照附图来详细说明本发明的优选实施方式。本实施方式所示的尺寸、材料、其他具体的数值等仅是为了易于发明的理解的例示，除了特别声明的情况之外，并不限定本发明。在此，本说明书以及附图中，对于具有实质上相同的功能，构成的要素，使用相同的符号并省略重复说明，另外，与本发明没有直接关系的要素省略其图示。

近年来，通过搭载于车辆的相机来拍摄本车辆的前方的道路环境，基于图像内的颜色信息和/或位置信息判定前行车辆等的对象物，以回避与所判定的对象物的冲突，或者将与前行车辆的车间距保持在安全距离(ACC： Adaptive Cruise Control)的、搭载了所谓碰撞防止功能的车辆正在普及。

搭载了这样的识别车外环境的车外环境识别装置的车辆中，还考虑根据位于车辆前方的信号灯的信号颜色来控制本车辆的行驶状态。例如，考虑在使用ACC的行驶中，若前方的信号灯的信号颜色为红色，则制动车辆使其转变停止状态。

然而，在视野开阔的十字路口等，本车辆的检测区域中多个信号灯同时被识别。因此，在车外环境识别装置中多个信号被识别的情况下，需要从该多个信号灯中判定发出针对本车辆的信号颜色(成为控制输入)的信号灯，基于该信号颜色来控制本车辆的行驶状态。这里，也可以根据道路面上的行车线来掌握本车辆的行驶路径，将存在于本车辆的行驶路径上的信号灯作为本车辆的控制输入。然而，在天气和/或时刻等车外环境而造成难以识别行车线，或者道路面上根本就不存在行车线的情况下，也有无法根据车外环境来判定作为控制输入的信号灯的情况。因此，在本实施方式中，提供一种无论车外环境如何，都能够提高作为用于控制本车辆的控制输入的信号灯的判定精度的车外环境识别装置。

(环境识别***100)

图1是表示环境识别***100的连接关系的框图。环境识别***100构成为包括设置在本车辆1内的摄像装置110、车外环境识别装置120和车辆控制装置(ECU：EngineControl Unit)130。

摄像装置110构成为包括CCD(Charge-Coupled Device)和/或CMOS(Complementary Metal-Oxide Semiconductor)等的摄像元件，可拍摄相当于本车辆1的前方的环境，生成由三种色调(R(红)、G(绿)、B(蓝))构成的彩色图像和/或黑白图像。这里，将由摄像装置110拍摄的彩色图像称为亮度图像，以与后述的距离图像相区别。

另外，摄像装置110以在本车辆1的行驶方向侧使两个摄像装置110各自的光轴大致平行的方式，被分开配置在大致水平方向上。摄像装置110例如按照每1/60秒的帧(60fps)连续生成对本车辆1的前方的检测区域中存在的对象物所拍摄的图像数据。这里，识别的对象物不仅是车辆、歩行者、信号灯、道路(行驶路径)、栏杆等独立存在的立体物，也包括尾灯、方向指示灯、信号灯的各点亮部分等可作为立体物的一部分而判定的物体。以下的实施方式的各功能部，将这样的图像数据的更新作为契机，按照每个帧来进行各个处理。

车外环境识别装置120从两个摄像装置110分别获取图像数据，利用所谓的模式匹配将视差导出，将被导出的视差信息(相当于后述的进深距离) 与图像数据对应而生成距离图像。在后详细说明有关亮度图像以及距离图像。另外，车外环境识别装置120使用基于亮度图像的亮度，以及基于距离图像的与本车辆1的进深距离来判定本车辆1前方的检测区域的对象物是否对应于某一种特定物。

若车外环境识别装置120判定了特定物，则追踪该特定物(例如，前行车辆)的同时导出特定物的相对速度等，从而进行特定物与本车辆1碰撞的可能性是否高的判定。这里，判断为碰撞的可能性大的情况下，车外环境识别装置120通过设置在司机的前方的显示装置122将该情况向司机进行警告显示(报知)，同时对车辆控制装置130输出显示该情况的信息。

车辆控制装置130通过方向盘132、加速踏板134、制动踏板136来接收司机的操作输入，并传送到操舵机构142、驱动机构144、制动机构146，由此来控制本车辆1。另外，车辆控制装置130根据车外环境识别装置120的指令来控制驱动机构144、制动机构146。

以下，针对车外环境识别装置120的构成进行详细说明。这里，对在本实施方式中特征性的、成为控制输入的信号灯的判定步骤，和作为其前提的、成为本车辆1行进的轨迹的行驶轨迹进行详细说明，并省略对与本实施方式的特征无关的构成的说明。

(车外环境识别装置120)

图2是表示车外环境识别装置120的大致功能的功能框图。如图2所示，车外环境识别装置120构成为包括I/F部150、数据存储部152、中央控制部 154。

I/F部150是用于进行与摄像装置110和/或车辆控制装置130的双向的信息交换的接口。数据存储部152由RAM、闪速存储器、HDD等构成，存储以下所示的各功能部的处理所需的各种信息，另外，临时存储从摄像装置 110接收到的图像数据。

中央控制部154由中央处理装置(CPU)、存储有程序等的ROM、包括作为工作区域的RAM等的半导体集成电路构成，通过***总线156来控制 I/F部150、数据存储部152等。另外，在本实施方式，中央控制部154还作为图像处理部160、三维位置信息生成部162、对象物判定部164、行驶轨迹估计部166、行驶轨迹限制部168、进深距离获取部170、信号灯群生成部172、横向位置导出部174以及控制输入判定部176发挥功能。以下，关于这样的功能部，根据大致的目的，按照图像处理、对象物判定处理、行驶轨迹判定处理、控制输入判定处理这样的顺序对具体的工作进行说明。

(图像处理)

图像处理部160从两个摄像装置110分别获取图像数据，从另一侧的图像数据中检索与从一侧的图像数据任意提取的模块(例如水平4像素×垂直4 像素的排列)对应的模块，利用所谓的模式匹配导出视差。这里，“水平”表示拍摄到的亮度图像的画面的横向方向，“垂直”表示拍摄到的亮度图像的画面纵向方向。

作为该模式匹配，可以考虑在两个图像数据之间，按照表示任意的图像位置的模块单位来比较亮度(Y色差信号)。例如，有采用亮度的差分的SAD (Sum of AbsoluteDifference)、使用差分的平方的SSD(Sum of Squared intensity Difference)和/或采用从各像素的亮度减去平均值而得到的分散值的相似度的NCC(Normalized CrossCorrelation)等的方法。图像处理部160对呈现在检测区域(例如水平600像素×垂直180像素)的所有的模块进行这样的模块单位的视差导出处理。在这里，设定模块为水平4像素×垂直4像素，但可以任意设定模块内的像素数。

然而，在图像处理部160中，虽然能够按照每个作为检测分解能单位的模块来导出视差，但是不能识别该模块是哪种对象物的一部分。因此，视差信息并不是以对象物单位，而是以检测区域的检测分解能单位(例如模块单位)来单独导出。在这里，将据此导出的视差信息(相当于后述的进深距离) 与图像数据关联的图像称作距离图像。

图3A和图3B是用于说明亮度图像210和距离图像212的说明图。例如，通过两个摄像装置110，关于检测区域214生成如图3A那样的亮度图像(图像数据)210。然而，为了容易理解，这里仅示意性地示出两个亮度图像210 的一个。在本实施方式中，图像处理部160从这样的亮度图像210求出每个模块的视差，形成如图3B那样的距离图像212。在距离图像212的各个模块中，关联有该模块的视差。在这里，为了方便说明，用黑点表示导出了视差的模块。

返回图2进行说明，三维位置信息生成部162基于由图像处理部160生成的距离图像212，用所谓的立体方法将检测区域214内的每个模块的视差信息变换为包括水平距离、高度以及进深距离的三维位置信息。这里，立体方法是指通过利用三角测量法从对象物的视差导出该对象物的相对于摄像装置110的进深距离的方法。这时，三维位置信息生成部162基于对象部位的进深距离以及位于与对象部位相同进深距离的道路表面上的点与对象部位在距离图像212上的检测距离，导出对象部位相对于道路表面的高度。该进深距离的导出处理和/或三维位置的判定处理可应用各种已知技术，因此在此省略其说明。

(对象物判定处理)

对象物判定部164使用基于亮度图像210的亮度以及基于距离图像212 的三维位置信息来判定检测区域214中的对象部位(像素和/或模块)是否与某一对象物对应。另外，对象物判定部164根据应判定的对象物，作为各种判定部而发挥功能。例如，在本实施方式中，作为判定位于本车辆1的前方的一个或者多个信号灯以及各信号灯中发出的信号颜色(红色信号色、黄色信号色、绿色信号色)的信号灯判定部而发挥功能。

图4是用于说明信号灯判定部的工作的说明图。在这里，以根据信号灯判定部判定的信号灯的红色信号色的判定处理为例进行举例说明该判定步骤。首先，信号灯判定部判定亮度图像210中的任意的对象部位的亮度是否落入对象物(红色信号色)的亮度范围(例如，将基准值设定为亮度(R)，亮度(G)为基准值(R)的0.5倍以下，亮度(B)为基准值(R)的0.38 倍以下)。若落入作为对象的亮度范围，则在该对象部位标记表示该对象物的识别标号。在这里，如图4的放大图所示，在与对象物(红色信号色)对应的对象部位标记识别标号“1”。

接着，信号灯判定部设任意的对象部位作为基点，将相对于该对象部位的水平距离的差分以及高度的差分(进一步地，也可以包括进深距离的差分) 在预先设定的预定范围内的、可视为对应于同一对象物的(标记相同的识别标号)对象部位群组化，使该对象部位也成为一体的对象部位群。这里，预定范围以实际空间上的距离来表示，可设定为任意值(例如，1.0m等)。另外，信号灯判定部对于通过群组化而新增加的对象部位，也设该对象部位为基点，将水平距离的差分以及高度的差分在预定范围内的、对象物(红色信号色)相同的对象部位群组化。其结果，若标记了相同的识别标号的对象部位彼此的距离在预定范围内，则这些所有的对象部位被群组化。在这里，如图4的放大图所示，将会成为标记有识别标号“1”的对象部位彼此被群组化了的对象部位群220。

接着，信号灯判定部对进行了群组化的对象部位群220判断与该对象物关联的高度范围(例如，4.5m～7.0m)、宽度范围(例如，0.05m～0.2m)、形状(例如，圆形)等的预定条件是否成立。这里，关于形状，参照预先与对象物关联的模板，对其形状进行比较(模式匹配)，如果具有预定值以上的相关度，则判定为条件成立。然后，若预定条件成立，则将该进行了群组化的对象部位群220作为对象物(红色信号色)而确定。另外，在这里，虽然举出了作为对象物判定红色信号色的例子，但是信号灯判定部当然也能够判定黄色信号色和青色信号色等。

另外，在对象部位群220具有该对象物特有的特征的情况下，也可以将该特征作为条件来确定对象物。例如，在信号灯的发光体由LED(Light Emitting Diode)构成的情况下，该发光体以人眼不能掌握的周期(例如100Hz) 进行闪烁。因此，信号灯判定部也可以基于与LED的闪烁时刻不同步地获取的亮度图像210的对象部位的亮度沿时间方向的变化来确定对象物(红色信号色)。

(行驶轨迹判定处理)

如上所述，在本实施方式中，从在本车辆1前方的检测区域214识别的一个或者多个信号灯判定作为本车辆1的控制输入的信号灯，需要基于该信号颜色来控制本车辆1的行驶状态。作为该控制输入的信号灯基于本车辆1 的行驶轨迹而被判定。因此，首先，基于本车辆1的速度和/或角速度或操舵角等的本车辆1的当前的运动状态来判定作为本车辆1行进的轨迹的行驶轨迹。

然而，基于当前的运动状态而预测的行驶轨迹和实际 的行驶轨迹并不一定一致，假设不一致的情况下，存在原本应该作为控制输入的信号灯不能被判定，而被错误地排除在控制输入之外的隐患。作为这样的状况，可能有例如在本车辆1直线前进的状态下司机不操作方向指示器(winker)而以高速向右转方向盘的情况。该情况下，该方向盘操作并不是意图右转，而是进行障碍物的躲避和/或行车线变更的可能性较大。因此，在该操作的前后应作为控制输入的信号灯不应被轻易地变更，应该与直线前进的状态进行相同的处理而判定信号灯。然而，作为运动状态会伴随右转弯，因此基于当前的运动状态而估计的行驶轨迹为向右转的方向弯曲，有可能将原本应该作为控制输入的信号灯排除在控制输入之外。因而，在本实施方式中，在行驶轨迹上设置宽度方向的限制。

行驶轨迹估计部166基于本车辆1的角速度(yaw rate)以及速度来估计作为本车辆1行进的轨迹的行驶轨迹。另外，在能够掌握本车辆1的操舵角 (steering，操纵方向)的情况下，也可以根据操舵角和速度来估计行驶轨迹。关于该行驶轨迹的导出，可以应用日本特开2012-185562号公报、日本特开 2010-100120号公报、日本特开2008-130059号公报、日本特开2007-186175 号公报等的各种已知的技术，因此在这里省略其说明。

行驶轨迹限制部168在宽度方向上限制根据从本车辆1的速度、方向指示器的操作状态、操舵角或者角速度中选择的至少1个或者多个参数而估计的行驶轨迹。据此，行驶轨迹被判定。

图5是用于说明行驶轨迹限制部168的工作的流程图，图6A～图8是用于说明进行了限制的行驶轨迹的说明图。参照图5，首先，行驶轨迹限制部 168将根据行驶轨迹估计部166而估计的行驶轨迹在道路面上展开(S300)。

然后，行驶轨迹限制部168判断本车辆1的速度是否小于预定值(例如， 30km/h)(S302)。其结果，若判断为本车辆1的速度小于预定值(S302中的 YES)、则使第一左限制标志和第一右限制标志成为ON(S304)，并且设定0 作为延长时间(S306)。这里，第一左限制标志以及后述的第二左限制标志是表示针对本车辆1前方而限制道路面上的左侧的标志，各个行驶轨迹中所限制的距离不同。第一右限制标志以及第二右限制标志是表示针对本车辆1前方而限制道路面上的右侧的标志，各个行驶轨迹中所限制的距离不同。延长时间是不满足条件之后，维持该时刻的限制的时间。

接着，行驶轨迹限制部168判断第一左限制标志、第二左限制标志、第一右限制标志或者第二右限制标志中的某一个是否成为ON(S308)。其结果，在满足任一条件的情况下(S308中的YES)，行驶轨迹限制部168限制在道路面上展开的行驶轨迹的与成为ON的限制标志对应的一侧(若第一左限制标志或者第二左限制标志为ON则限制左侧，若第一右限制标志或者第二右限制标志为ON则限制右侧)(S310)。例如，在行驶轨迹估计部166估计出如在图6A中以虚线箭头所示的行驶轨迹的情况下，当第一左限制标志或者第二左限制标志以及第一右限制标志或者第二右限制标志成为ON时，则左右的任意一侧均如单点划线所示的那样，从本车辆1的前方直线(从本车辆 1宽度方向的中心向前方延伸的直线)至预定的距离(例如，2m)被限制，重新形成如实线箭头所示的行驶轨迹。这里，被限制的距离可以设定为，例如，关于第一左限制标志以及第一右限制标志为0m，关于第二左限制标志以及第二右限制标志为2m。因此，在第一左限制标志以及第一右限制标志成为 ON的情况下，如图6B所示，进行了限制的行驶轨迹等同于前方直线。另外，被限制的距离可以是固定值，也可以设定为根据每个限制的事项而不同的值。另外，考虑了本车辆1行驶宽度的行驶路径可以如图6A、图6B中以双向影线所示的那样，以使行驶轨迹成为中心线的方式用沿左右具有例如±3m的宽度的带状区域来表示。

返回图5，在第一左限制标志、第二左限制标志、第一右限制标志以及第二右限制标志的任何一个都为OFF的情况下(S308中的NO)，行驶轨迹限制部168判断延长时间是否剩余，即，判定延长时间是否大于0(S312)。其结果，当延长时间大于0时(S312中的YES)，例如，如图6A和图6B所示的那样维持上一次为止的限制(S314)，以相当于中断时间间隔的时间量来递减延长时间(S316)。另外，若延长时间为0(S312中的NO)，则不实行任何限制(处于被制限时进行解除)。在这里，虽然维持上一次为止的限制直到经过延长时间，但也可以伴随着延长时间流逝而逐渐使控制宽度增宽等放松限制，最终解除限制。

图7是用于说明在本车辆1的速度小于预定值的情况下限制行驶轨迹的理由的说明图。在本车辆1的速度小于预定值的情况下限制行驶轨迹的理由如下。例如，在高速道路和/或辅路等中，如图7那样，在大曲率的曲线230 的前方，有时会识别到不应该作为控制输入的信号灯的信号灯。在本车辆1 以高速(例如，30km/h以上)行驶的情况下，如下所示，通过判断对于行驶轨迹的行驶横向位置，从而能够避免错误识别。然而，在本车辆1的速度小于预定值的情况下，虽然设定操舵角和/或角速度很大，但是实际的移动量很小，若根据操舵角来频繁变更行驶轨迹反而会使控制不稳定，因此，应该视为直线前进，将位于本车辆1附近的信号灯作为控制输入。因而，在本车辆 1的速度小于预定值的情况下，行驶轨迹被限制为±0m，即，强制地视为直线前进。另外，本车辆1的速度小于预定值的情况下，设定延长时间为0，若变为不满足条件时，立即解除限制。

返回图5，在速度判断步骤(S302)中，当判断为本车辆1的速度在预定值以上时(S302中的NO)，行驶轨迹限制部168判断方向指示器是否***作(S318)。其结果，若方向指示器***作(S318中的YES)，则将第二右限制标志以及第二左限制标志中方向指示器没有***作的一侧的限制标志设定为ON(S320)，并且设定预定值(例如，4秒)作为延长时间(S322)，处理进入到上述标志判断步骤S308。通过如此设定，例如，即使在行驶轨迹估计部166估计出如在图8中以虚线箭头所示的行驶轨迹的情况下，方向指示器示出左转时，如单点划线所示，仅在右侧从本车辆1的前方直线起算至预定的距离(例如，2m)进行限制，重新形成如实线箭头所示的行驶轨迹。

这里，方向指示器***作时限制行驶轨迹是由于，例如，在操作方向指示器使其表示右转时难以想象会向左侧转动方向盘，即使向左侧转动方向盘，那也是临时的操作，不会大幅移动，因此防止错误识别为朝向反方向的旋转。

另外，方向指示器***作的情况下，行驶轨迹限制部168在方向指示器的操作结束之后仍维持方向指示器***作时的限制，等待经过预定的延长时间后，解除行驶轨迹的限制。通过如此操作，能够减小左右转、行车线变更后的方向盘操作对控制输入判断造成的影响。

返回图5，在方向指示器判断步骤(S318)中，当判断为方向指示器没有***作时(S318中的NO)，行驶轨迹限制部168判断操舵角的绝对值是否在预定值(例如，30度)以上(S324)。在这里，速度判断步骤(S302)中，因为本车辆1的速度被判断为在预定值以上(S302中的NO)，因此实际上判断为本车辆1的速度在预定值以上，并且操舵角的绝对值在预定值以上。

其结果，若操舵角的绝对值在预定值以上(S324中的YES)，则设定第一右限制标志以及第一左限制标志为ON(S326)，并且设定预定值(例如， 4秒)作为延长时间(S328)，处理进入到上述标志判断步骤S308。通过如此设定，例如，行驶轨迹被限制为±0m，强制地使行驶轨迹成为直线前进。

这里，本车辆1的速度为预定值以上，并且操舵角的绝对值为预定值以上时限制行驶轨迹是由于，对速度快而操舵角大的情况来说，与意图转弯相比，避让前行车辆或者变更行车线的可能性更大，因此应该将位于本车辆1 附近的信号灯作为控制输入。

另外，在本车辆1的速度在预定值以上，并且操舵角的绝对值在预定值以上的情况下，行驶轨迹限制部168在本车辆1的速度变为小于预定值，或者操舵角的绝对值变为小于预定值之后，仍维持本车辆1的速度在预定值以上，并且操舵角的绝对值在预定值以上时的限制，等待经过预定的延长时间，解除行驶轨迹的限制。通过如此操作，能够减小左右转、行车线变更后的方向盘操作对控制输入判断造成的影响。

在操舵角判断步骤(S324)中，若操舵角的绝对值小于预定值(S324中的NO)，则设定第一左限制标志、第二左限制标志、第一右限制标志以及第二右限制标志为OFF(以前为OFF的限制标志被维持在OFF)(S330)，处理进入到上述标志判断步骤S308。通过以上处理，能够适当地限制行驶轨迹。

(控制输入判定处理)

如此，行驶轨迹被特定时，能够基于行驶轨迹来判定作为控制输入的信号灯。在这里，从一个或者多个信号灯判定作为控制输入的信号灯。

返回图2，进深距离获取部170基于距离图像212获取进深距离，该进深距离为从本车辆1到信号灯判定部所判定的信号灯为止的本车辆1前方的距离。

信号灯群生成部172将获取的进深距离位于预先设定的范围内的一个或者多个信号灯群组化而生成信号灯群。在本实施方式中，有时会沿进深方向隔开间隔而形成多个信号灯群。

图9是用于说明信号灯群彼此的位置关系的说明图。信号灯群在本车辆 1前方形成一个或者多个。例如，在图9的例中，在靠近本车辆1的位置形成一个信号灯群，其进深方向的长度约为60m。然后，从该信号灯群起算隔开20m的间隔又形成信号灯群。

横向位置导出部174导出包含在信号灯群的一个或者多个信号灯的行驶横向位置以及前方横向位置。这里，行驶横向位置是本车辆1的与行驶轨迹垂直的方向的相对的位置，前方横向位置是相对于本车辆1的前方直线的本车辆1的宽度方向的相対的位置。行驶横向位置与前方横向位置的区别在于成为其基准的线为行驶轨迹与前方直线。

控制输入判定部176基于信号灯的数量、相对于进行了限制的行驶轨迹是否在左右配置，以及多个信号灯的信号颜色是否相同，而从多个信号灯中判定作为控制输入的信号灯。在本实施方式中，控制输入判定部176根据基于信号灯群中的信号灯的数量以及基于行驶轨迹的行驶横向位置来判定作为控制输入的信号灯。

图10是用于说明控制输入判定部176的工作的流程图。参照图10，控制输入判定部176判断信号灯群内存在的信号灯是否为一个(S350)。其结果，若信号灯为一个(S350中的YES)，则处理进入到单个信号处理(S352)。

另外，若信号灯为多个(S350中的NO)，则控制输入判定部176判断该多个信号灯是否跨越行驶轨迹而配置在左右两侧(S354)。其结果，若没有配置在行驶轨迹的左右，即，仅集中在一侧(S354中的NO)，则处理进入到单侧信号处理(S356)。然而，在配置判断步骤(S354)中，为了提高识别精度而临时偏移行驶轨迹。

图11是用于说明行驶轨迹的偏移的说明图。在配置判断步骤(S354)中，将以虚线箭头表示的由行驶轨迹估计部166以及行驶轨迹限制部168判定的行驶轨迹向本车辆1的右侧偏移2m，生成以实线箭头表示的行驶轨迹。信号灯以各种形态被设置，例如，有时会从本车辆1的左侧侧道延伸而存在于本车辆1的行驶路径上。该情况下，根据本车辆1的实际的行驶位置，信号灯出现在行驶轨迹的左右任一侧而变得不规则。如此，原本应判断为位于行驶轨迹左侧的信号灯被错误识别为位于右侧，例如，有时会执行单侧信号处理 S356。因而，为了使作为控制输入的可能性很高的存在于本车辆1的行驶路径上的信号灯判断为位于左侧的信号灯，从而使行驶轨迹本身临时向右侧偏移2m。在这里，设定偏移幅度为2m，但只要是比行车线间的估计宽度 3m×1/2＝1.5m大的值，则可以任意确定。然而，因为不同国家的信号灯的位置不同，因此，例如在日本以外的国家，有时不需要进行这样的偏移。

返回图10，若配置于行驶轨迹的左右(S354中的YES)，则判定信号灯群的信号灯的所有的信号颜色是否相同(S358)。其结果，当信号颜色相同时(S358中的YES)，处理进入到相同颜色信号处理(S360)，当信号颜色不同时(S358中的NO)，处理进行到不同颜色信号处理(S362)。以下分别详细说明有关单个信号处理(S352)、单侧信号处理(S356)、相同颜色信号处理 (S360)以及不同颜色信号处理(S362)。

(单个信号处理：S352)

图12是用于说明单个信号处理的流程的流程图，图13是用于说明单个信号处理的说明图。

在存在于信号灯群内的信号灯为一个的情况下，控制输入判定部176判断该一个信号灯的前方横向位置是否在预定的界限位置(例如，-7.5m)的右侧(S370)。这里，界限位置的符号表示前方横向位置的方向，+表示右侧，- 表示左侧。其结果，如在图13中以双向影线所示，若位于预定的界限位置的右侧(S370中的YES)，则控制输入判定部176判断一个信号灯的行驶横向位置是否落入预定范围(第三预定范围：例如，-7m～+7m)且前方横向位置是否落入预定范围(第四预定范围：例如，-10m～+10m)(S372)。其结果，若行驶横向位置和前方横向位置都满足条件(S372中的YES)，则将该一个信号灯作为控制输入(S374)。

在上述信号位置判断步骤(S372)中，满足行驶横向位置以及前方横向位置这两个条件的信号灯成为存在于本车辆1附近的信号灯，而能够适当地提取作为控制输入的信号灯。

另外，一个信号灯的前方横向位置位于预定界限位置的左侧(S370中的 NO)，或者，行驶横向位置或者前方横向位置的某一个不满足条件(S372中的NO)，则不会将该一个信号灯作为控制输入(S376)。

(单侧信号处理：S356)

图14是用于说明单侧信号处理的流程的流程图，图15A、图15B和图 15C是用于说明单侧信号处理的说明图。

在信号灯群中有多个信号灯，多个信号灯的行驶横向位置没有配置在行驶轨迹的左右的情况下，即，如图15A所示，在多个信号灯相对于行驶轨迹仅存在于左右其中一侧(这里，仅为左侧)的情况下，控制输入判定部176 将行驶横向位置最接近行驶轨迹的一个信号灯作为控制输入的候补而提取 (S380)。然后，控制输入判定部176判断距离行驶轨迹最近的信号灯的行驶横向位置是否落入预定范围(第一预定范围：例如，-2m～+2m)，并且判断距离行驶轨迹最远的信号灯的行驶横向位置是否落入预定范围(第二预定范围：例如，-5m～+5m)(S382)。其结果，若最近的信号灯和最远的信号灯均满足条件(S382中的YES)，则将距离行驶轨迹最近的信号灯，以及与该信号灯信号颜色相同的信号灯作为控制输入，信号颜色不同的信号灯均不作为控制输入(S384)。

另外，若最近的信号灯以及最远的信号灯中的一方或者两方不满足条件 (S382中的NO)，则信号灯群内所有的信号灯均不作为控制输入(S386)。

在该单侧信号处理S356中，与单个信号处理S352不同，还判断距离行驶轨迹最近的信号灯，以及距离行驶轨迹最远的信号灯的行驶横向位置。其理由如下。例如，在高速道路和/或辅路等中，如图15B那样，在曲率大的曲线230前方，有时会识别在图15B中以虚线包围的、不应该作为控制输入的信号灯的信号灯。位于这样的高速道路和/或辅路等的附近的其他道路大都为主干路等，道路宽度宽。另一方面，如图15C，道路在预定的位置232进行了偏移的前方的以图15C中用虚线包围的信号灯应该作为控制输入。具有这样的偏移的道路大都为岔道等，道路宽度窄。因而，在本实施方式中，着眼于这样的道路宽度的差异，道路宽度宽，即，信号灯之间的距离长的情况下，不将该信号灯群作为控制输入，在道路宽度窄，即，信号灯之间的距离短的情况下，将该信号灯群作为控制输入。由于进行该判断，因此仅将距离行驶轨迹最远的信号灯的行驶横向位置落入预定范围的信号灯群判断为控制输入。

另外，在单侧信号处理S356中，与单个信号处理S352不同，虽然不判定前方横向位置是否落入预定范围(第四预定范围：例如，-10m～+10m)，然而也可以与单个信号处理S352相同地，作为一个条件而增加该前方横向位置的判断。通过如此操作，从而能够进一步提高作为控制输入的信号灯的判定精度。

由此，仅在行驶轨迹的左右一侧存在信号灯的情况下，若该信号灯位于满足预定条件的程度的附近，则可以设定为控制输入，若不在附近，则视为与本车辆1行进的行驶路径不同的行驶路径中的信号灯而从控制输入排除。

(相同颜色信号处理：S360)

图16是例示出相同颜色信号处理中的信号灯群的说明图。在多个信号灯的行驶横向位置配置在行驶轨迹的左右，信号灯群的信号灯所有的信号颜色相同的情况下，控制输入判定部176无条件地将信号灯群的信号灯全部作为控制输入。

(不同颜色信号处理：S362)

图17是用于说明不同颜色信号处理的流程的流程图，图18A、图18B、图18C以及图19是用于说明不同颜色信号处理的流程的流程图。

在多个信号灯的行驶横向位置配置在行驶轨迹的左右，信号灯群的信号灯的信号颜色不相同的情况下，即，包括至少两个以上的信号颜色的情况下，控制输入判定部176为了提高识别精度而使行驶轨迹偏移(S390)。

假设如图18A所示，在行进方向上具有两行车线以上的道路的右侧的行车线上行驶的情况下，有时应该作为控制输入的信号灯距行驶轨迹的距离会比原本不应该作为控制输入的信号灯的距离长。因此存在原本不应该作为控制输入的信号灯作为控制输入的候补而被提取的隐患。因而，如图18B所示，控制输入判定部176使以虚线箭头示出的行驶轨迹向本车辆1的左侧偏移 4m，生成以实线箭头表示的行驶轨迹。通过如此操作，位于本车辆1的左侧的信号灯能够优先作为控制输入的候补。在这里，虽然设定偏移幅度为4m，但只要是比行车线间的估计宽度3m大的值，则可以任意确定。

然而，如图18C所示，在行进方向上仅有一个行车线的道路上，如果偏移4m，则存在原本作为控制输入的信号灯反而可能远离行驶轨迹的隐患。因而，将偏移的界限设定至行驶轨迹最先到达信号灯为止，即，设定至在偏移前的行驶轨迹的左侧到达最近的信号灯为止。

返回图17，控制输入判定部176将行驶横向位置为距离行驶轨迹最近的一个信号灯作为控制输入的候补而提取(S392)。然后，控制输入判定部176 判断距离行驶轨迹最近的信号灯的行驶横向位置是否落入预定范围(例如， -7m～+7m)(S394)。其结果，若行驶横向位置落入预定范围(S394中的YES) 则如图19所示，将距离该行驶轨迹最近的信号灯，以及与该信号灯的信号颜色相同的信号灯作为控制输入，信号颜色不同的信号灯均不作为控制输入 (S396)。

另外，若距离行驶轨迹最近的信号灯的行驶横向位置没有落入预定范围 (S394中的NO)，则信号灯群内的所有的信号灯均不作为控制输入(S398)。

由此，在信号灯群的信号灯的信号颜色不同的情况下，若该信号灯位于满足预定条件的程度的附近，则作为控制输入，若不在附近，则能够作为与本车辆1行驶的行驶路径不同的行驶路径中的信号灯而从控制输入排除。

在本实施方式中，由信号灯群生成部172生成的一个或者多个信号灯群中，从接近于本车辆1(位于近前)的信号灯群开始顺序地提取一个信号灯群，将该信号灯群作为对象来进行上述的单个信号处理(S352)、单侧信号处理(S356)、相同颜色信号处理(S360)、不同颜色信号处理(S362)的任一个。然后，对于各信号灯群判定作为控制输入的一个或者多个信号灯和一个信号颜色。

如此，信号颜色被判定时，在车外环境识别装置120中，根据作为控制输入的信号灯的信号颜色来控制本车辆1的行驶状态。例如，若距离本车辆 1最近的信号灯群中的信号灯的信号颜色为红色，则基于该红色制动本车辆 1，若信号颜色为绿色，则参照下一个距离本车辆1近的信号灯群中的信号灯的信号颜色，基于该信号颜色来实行控制。

如上所述，在本实施方式的车外环境识别装置120中，即使多个信号灯以各种形态被设置，也能够基于信号灯的数量、相对于行驶轨迹是否在左右配置，以及多个信号灯的信号颜色是否相同，而适当地判定作为本车辆1的控制输入的信号灯，并能够提高其特定精度。另外，通过在宽度方向上限制行驶轨迹，从而能够抑制基于运动状态而预测的行驶轨迹与实际的行驶轨迹之间的誤差，避免将原本应该作为控制输入的信号灯从控制输入排除，进一步提高信号灯的判定精度。

另外，还提供使计算机作为车外环境识别装置120而发挥功能的程序和/ 或存储该程序，能够被计算机读取的软盘、光盘、ROM、CD、DVD、BD等的存储介质。这里，程序是指以任意的语言和/或记述方法记述的数据处理单元。

以上，参照附图说明了本发明的优选的实施方式，然而本发明并不限定于该实施方式。应该了解的是，本领域技术人员在权利要求书所记载的范畴内，容易想到的各种变形例或者修正例，当然都属于本发明的技术的范围。

并且，在上述的实施方式中，以判定成为控制输入的信号灯为前提，对行驶轨迹进行了限制，但成为控制输入的物体不限于信号灯，可以适用于交通标识等针对车辆而进行任何交通限制的各种交通指示物。因此，在本实施方式中，能够不限于车外环境，基于行驶轨迹还能够判定成为本车辆1的控制输入的交通指示物，并可以提高其判定精度。并且，通过在宽度方向上限制行驶轨迹，可以抑制行驶轨迹的估计值与实际的值之间的误差，进一步提高不限于信号灯的交通指示物的判定精度。

并且，在上述的实施方式中，列举了在宽度方向上限制行驶轨迹的示例而进行了说明，但在能够判定行驶路径的情况下，也能够在宽度方向上限制行驶路径来代替行驶轨迹。

并且，在上述的实施方式中，作为预定值、预定范围、预定的条件、预定距离、预定的延长时间例示出了适当的数值，然而并不限定于这些值而可任意设定各种数值。

需要说明的是，上述的行驶轨迹特定处理和/或控制输入特定处理的步骤并不一定需要按照流程图所记载的顺序按时间顺序进行处理，也可以包括根据并行的或者子程序的处理。

工业上的可利用性

本发明涉及识别本车辆的外部环境的车外环境识别装置，尤其是能够应用适用于判定信号灯和/或交通标识等的交通指示物的车外环境识别装置。

Claims (14)

1.一种车外环境识别装置，其特征在于，具备：

行驶轨迹估计部，基于本车辆的当前的运动状态，估计作为本车辆行进的轨迹的行驶轨迹；

行驶轨迹限制部，根据从本车辆的速度、方向指示器的指示状态、角速度或者操舵角中选择的至少一个或者多个参数，在宽度方向上限制所估计的行驶轨迹，重新形成行驶轨迹；以及

控制输入判定部，基于重新形成的被限制的行驶轨迹，判定位于本车辆前方并且成为控制输入的交通指示物。

2.根据权利要求1所述的车外环境识别装置，其特征在于，如果所述本车辆的速度小于预定值，则所述行驶轨迹限制部在左右侧宽度方向上均限制行驶轨迹。

3.根据权利要求1所述的车外环境识别装置，其特征在于，如果所述方向指示器***作，则所述行驶轨迹限制部在左右侧中的该方向指示器未***作的一侧限制行驶轨迹。

4.根据权利要求2所述的车外环境识别装置，其特征在于，如果所述方向指示器***作，则所述行驶轨迹限制部在左右侧中的该方向指示器未***作的一侧限制行驶轨迹。

5.根据权利要求3所述的车外环境识别装置，其特征在于，在所述方向指示器的操作结束之后，所述行驶轨迹限制部等待经过预定的延长时间后解除行驶轨迹的限制。

6.根据权利要求4所述的车外环境识别装置，其特征在于，在所述方向指示器的操作结束之后，所述行驶轨迹限制部等待经过预定的延长时间后解除行驶轨迹的限制。

7.根据权利要求1至6中的任意一项所述的车外环境识别装置，其特征在于，如果所述本车辆的速度在预定值以上，并且角速度或者操舵角的绝对值在预定值以上，则所述行驶轨迹限制部在左右侧宽度方向上均限制行驶轨迹。

8.根据权利要求7所述的车外环境识别装置，其特征在于，

在所述本车辆的速度变为小于预定值，或者角速度或操舵角的绝对值变为小于预定值之后，所述行驶轨迹限制部等待经过预定的延长时间后解除行驶轨迹的限制。

9.根据权利要求1至6中的任意一项所述的车外环境识别装置，其特征在于，作为所述行驶轨迹中所限制的距离，存在第一限制距离和与该第一限制距离不同的第二限制距离，

所述行驶轨迹限制部根据从本车辆的速度、方向指示器的指示状态、角速度或者操舵角中选择的至少一个或者多个参数，设定所述第一限制距离和所述第二限制距离中的任意一个，作为所述行驶轨迹中所限制的距离。

10.根据权利要求7所述的车外环境识别装置，其特征在于，作为所述行驶轨迹中所限制的距离，存在第一限制距离和与该第一限制距离不同的第二限制距离，

所述行驶轨迹限制部根据从本车辆的速度、方向指示器的指示状态、角速度或者操舵角中选择的至少一个或者多个参数，设定所述第一限制距离和所述第二限制距离中的任意一个，作为所述行驶轨迹中所限制的距离。

11.根据权利要求8所述的车外环境识别装置，其特征在于，作为所述行驶轨迹中所限制的距离，存在第一限制距离和与该第一限制距离不同的第二限制距离，

所述行驶轨迹限制部根据从本车辆的速度、方向指示器的指示状态、角速度或者操舵角中选择的至少一个或者多个参数，设定所述第一限制距离和所述第二限制距离中的任意一个，作为所述行驶轨迹中所限制的距离。

12.根据权利要求9所述的车外环境识别装置，其特征在于，所述第一限制距离小于所述第二限制距离，

在所述参数为本车辆的速度或所述角速度或者操舵角的情况下，所述行驶轨迹限制部设定所述第一限制距离作为所述行驶轨迹中所限制的距离；在所述参数为方向指示器的指示状态的情况下，所述行驶轨迹限制部设定所述第二限制距离作为所述行驶轨迹中所限制的距离。

13.根据权利要求10所述的车外环境识别装置，其特征在于，所述第一限制距离小于所述第二限制距离，

在所述参数为本车辆的速度或所述角速度或者操舵角的情况下，所述行驶轨迹限制部设定所述第一限制距离作为所述行驶轨迹中所限制的距离；在所述参数为方向指示器的指示状态的情况下，所述行驶轨迹限制部设定所述第二限制距离作为所述行驶轨迹中所限制的距离。

14.根据权利要求11所述的车外环境识别装置，其特征在于，所述第一限制距离小于所述第二限制距离，

在所述参数为本车辆的速度或所述角速度或者操舵角的情况下，所述行驶轨迹限制部设定所述第一限制距离作为所述行驶轨迹中所限制的距离；在所述参数为方向指示器的指示状态的情况下，所述行驶轨迹限制部设定所述第二限制距离作为所述行驶轨迹中所限制的距离。