CN106662441B - 图像处理装置 - Google Patents

Abstract

本发明提供一种图像处理装置。其能够维持距离等的识别精度，并且抑制从输入来自摄像机的图像直到输出计算结果的响应的延迟，能够满足提高识别精度和降低计算负荷(提高处理效率)、提高响应速度这样的相互矛盾的要求。基于根据左右的图像中的某一方和对象物的过去位置信息求出的当前位置信息和左右的图像计算出与对象物的相对距离的第一距离计算部(105)的处理(S105)的开始时刻，设定为在基于根据左右的图像得到的视差信息求出对象物的当前位置信息并检测对象物的对象物检测部(107)的处理(S107)的结束时刻之前。

Description

图像处理装置

技术领域

本发明涉及图像处理装置，涉及例如对用汽车等车辆中搭载的多个摄像机拍摄的图像进行处理而识别车辆周围的环境的图像处理装置。

背景技术

以往，开发了基于从汽车等车辆中搭载的摄像机(车载摄像机)得到的图像检测该车辆周围存在的车辆，将该检测结果用于驾驶员的驾驶辅助的***。作为这样的***的一例，例如已知自动维持与自车周围存在的车辆的车间距离的车间距离维持***(ACC)，和在发生与自车周围存在的车辆等的碰撞可能性时用警报等提示驾驶员注意，进而在成为不能避免碰撞的状况时通过自动制动等减轻对乘员的伤害的防撞***等。

特别是，使用由多个摄像机构成的立体摄像机装置的情况下，能够同时取得基于用摄像机拍摄的图像的视觉上的信息和关于该图像中映出的对象物的距离的信息，详细了解车辆周围的各种对象物(人、车辆、立体物、路面、路面标识、标志牌等)，所以也有助于驾驶辅助时的安全性的提高。

对于使用了作为上述车间距离维持***和防撞***的核心的图像处理的物体检测技术，持续进行了提高精度的尝试，另一方面，作为车载装置可利用的计算资源有限，且要求较快的响应速度。所以，该领域中，要求开发满足提高检测精度和降低计算负荷、提高响应速度这样的相互矛盾的要求的技术。

对于这样的要求，专利文献1中，公开了在测定到图像中映出的对象物的距离时，提高距离精度地测定到该对象物的正确的距离的技术。

专利文献1中公开的图像处理装置是从用一对摄像元件在同一时刻对同一方向拍摄得到的一对图像中的一方的图像提取包括对象物的图像的一方图像对象物区域，对于构成该一方图像对象物区域的多个图像构成部分分别计算是对象物图像构成部分和背景图像构成部分中的哪一方的确定度即背景度，用该背景度从另一方的图像内提取具有与一方图像对象物区域类似的图像的另一方图像对象物区域，计算一方图像对象物区域与另一方图像对象物区域的视差的装置。

现有技术文献

专利文献

专利文献1：日本特开2013-104740号公报

发明内容

发明要解决的课题

使用立体摄像机装置的物体(特别是车辆)检测技术中使用的现有的图像处理装置，一般具有图7所示的装置结构。即，现有的图像处理装置50’如图7所示，主要包括构成图像处理部52’的右图像取得部501’、左图像取得部502’和视差信息取得部503’，以及构成运算处理部53’的车辆检测部504’、距离计算部505’、对照处理部506’、相对速度计算部507’和计算结果输出部508’。

在该现有的图像处理装置50’中，首先，用左图像取得部502’和右图像取得部501’从车辆中搭载的左右一对摄像机取得图像。接着，用视差信息取得部503’对用左右的摄像机拍摄到的2个图像相互对照并计算视差，输出视差图像。接着，由车辆检测部504’使用根据计算结果得到的视差信息(视差图像)和左右的图像(用左右的摄像机拍摄到的左图像和右图像)或一方的图像，进行图像中映出的车辆的检测、识别，输出车辆候选组的位置(图像中的位置)。接着，由距离计算部505’使用车辆的检测结果(车辆候选组的位置)和视差信息(视差图像)等，计算并输出与上述车辆的距离(车辆候选组的距离)。将该计算结果记录在登记表509’中。接着，由对照处理部506’使用在帧之间检测出的车辆的位置信息(例如某一帧T及其过去一帧T-1的车辆候选组的位置和距离)和图像的视点的信息，进行某一帧中的检测结果及其下一帧中的检测结果的关联。其中，不存在过去的信息的情况下不实施该对照处理部506’进行的对照处理。接着，相对速度计算部507’使用由对照处理部506’识别出的帧之间的关联(即，在帧之间关联的车辆候选组的位置和距离)，识别距离的变化率而计算上述车辆的相对速度，并且将在该帧中求出的相对速度与车辆的位置和距离等信息一同记录在登记表509’中。另外，相对速度也能够根据放大率求出，所以，该情况下，也可以使用右图像或左图像中的某一方。然后，用计算结果输出部508’对控制处理部等输出该计算结果。其中，登记表509’中记录的在某一帧中计测出的车辆候选组的位置和距离、相对速度等，被用于下一帧中的处理。

上述视差信息取得部503’进行的视差计算处理中，如图8所示，左右的图像的视差计算处理的对象区域是区域511’和区域514’的情况下，将区域511’分割为某个固定尺寸的小区域，从区域514’中搜索与关注的小区域对应的部分。具体而言，从区域514’中截取与区域511’上关注的小区域相同尺寸的区域512’，使该截取范围向箭头513’方向(横方向)平移，搜索最匹配的场所。该对照范围在预先规定的mad的范围内进行，但因为在想要立体观看的对象图像的整面进行上述细小的区域的对照，所以处理变得迟缓。一般而言，该处理用专门进行图像处理的元件执行，但已知即使如此，其计算负荷也较大。

用时序更详细地说明现有的图像处理装置50’进行的图像处理，如图9所示，将图像处理部52’中的进程作为S1’序列，将运算处理部53’中的进程作为S2’序列的情况下，首先，在图像处理部52’(S1’序列)中，进行来自右摄像机的右图像输入处理S501’和来自左摄像机的左图像输入处理S502’，在蓄积了双方的图像的阶段，进行视差计算处理S503’。该视差计算处理S503’的结果是得到左右或一方的图像和与其对应的视差信息(视差图像)。在时刻T1’对运算处理部53’传输该视差计算处理S503’中的处理结果，在运算处理部53’(S2’序列)中，等待其传输结束，进行车辆检测/识别处理S504’。之后，进行距离计算处理S505’、对照处理S506’、相对速度计算处理S507’、计算结果输出处理S508’。

但是，上述现有的图像处理装置50’中，如基于图8所说明的一般，视差信息取得部503’进行的视差计算处理S503’需要时间，另外，车辆检测部504’进行的车辆检测/识别处理S504’自身也大量进行图像处理和识别，所以存在整体的处理时间变长的倾向。结果，可能发生直到输出计算结果的响应速度变慢、即响应性能劣化的问题。

另外，从输入来自摄像机的图像直到输出计算结果的响应的延迟，不仅在单独使用立体摄像机装置与车辆控制装置等通信时，在与其他传感器组合地对该车辆提供车辆周围的信息这样的传感器融合***中，传感器之间的响应的差异也增大，可能发生其信息的整合变得困难的问题。

本发明鉴于上述问题而得出，其目的在于提供一种能够维持距离等的识别精度，同时抑制从输入来自摄像机的图像直到输出计算结果的响应的延迟，满足提高识别精度和降低计算负荷(提高处理效率)、提高响应速度这样的相互矛盾的要求的图像处理装置。

为了解决上述课题，本发明的图像处理装置对由多个摄像机同步地拍摄到的多个图像进行处理来计测与所述图像中显现的对象物的相对距离或相对速度，所述图像处理装置的特征在于，包括：对象物追踪部，其实施基于所述多个图像中的任一个图像和所述对象物的过去位置信息来求取所述对象物的当前位置信息的追踪处理；第一距离计算部，其基于所述当前位置信息和所述多个图像中的至少两个图像来计算与所述对象物的相对距离；对象物检测部，其基于根据所述多个图像中的至少两个图像获得的视差信息，求取所述对象物的当前位置信息来检测所述对象物；第二距离计算部，其基于所述对象物的检测结果来计算与所述对象物的相对距离；和修正处理部，其基于由所述对象物追踪部求出的当前位置信息、由所述对象物检测部求出的当前位置信息、由所述第一距离计算部计算出的相对距离和由所述第二距离计算部计算出的相对距离中的至少一者，对所述当前位置信息和所述相对距离中的至少一者进行修正，所述第一距离计算部的处理开始时刻设定为在所述对象物检测部的处理结束时刻之前。

根据本发明，第一距离计算部的处理开始时刻设定为在上述对象物检测部的处理结束时刻之前、特别是上述对象物检测部的处理开始时刻之前，在对象物检测部进行的对象物检测/识别处理的结束前或开始前，使用基于多个图像中的某一个图像和预先存储的对象物的过去位置信息求出的对象物的当前位置信息计算与对象物的相对距离，由此能够维持距离等的识别精度，同时有效地抑制从输入来自摄像机的图像直到输出计算结果的响应的延迟。

上述以外的课题、结构和效果，将通过以下实施方式的说明而明确。

附图说明

图1是概略地表示应用了本发明的图像处理装置的实施方式1的立体摄像机***的***结构的***结构图。

图2是概略地表示图1所示的图像处理装置的内部结构的内部结构图。

图3是表示图2所示的图像处理装置的内部结构的内部结构图。

图4是按时序说明图1所示的图像处理装置的处理内容的时序图。

图5是按时序说明本发明的图像处理装置的实施方式2的处理内容的时序图。

图6是按时序说明本发明的图像处理装置的实施方式3的处理内容的时序图。

图7是表示现有的图像处理装置的内部结构的内部结构图。

图8是示意性地说明视差信息取得部的一般的处理内容的示意图。

图9是按时序说明现有的图像处理装置的处理内容的时序图。

具体实施方式

以下，参考附图说明本发明的图像处理装置的实施方式。

[实施方式1]

图1概略地示出了应用了本发明的图像处理装置的实施方式1的立体摄像机***的***结构。图示的立体摄像机***1例如搭载在汽车等车辆V中，主要由多个(本实施方式中为2台)摄像机所组成的立体摄像机装置11、对用立体摄像机装置11的各摄像机同步地拍摄的多个图像进行处理的图像处理装置10、基于图像处理装置10中生成的控制信号控制车辆V中搭载的各种装置(例如油门13、制动器14、扬声器15、方向盘16等)的控制装置12构成。

立体摄像机装置11例如在车辆V的前方的挡风玻璃的上部的跟前，朝向车辆V的前方设置，经由车内网络，与图像处理装置10和控制装置12、油门13、制动器14、扬声器15等可通信地连接。该立体摄像机装置11具备作为拍摄车辆V的前方而取得图像信息的一对摄像单元的右摄像机11a和左摄像机11b。右摄像机11a和左摄像机11b分别具有CCD等摄像元件，以从在车宽方向(左右方向)上相互隔开的位置拍摄车辆V的前方的方式设置(参考图2)。

图像处理装置10是基于用立体摄像机装置11以规定周期时序地取得的车辆V的前方的拍摄对象区域的图像信息识别车外的环境的装置，例如识别道路的白线、行人、车辆、其他立体物、信号、标志、亮灯等各种对象物，基于其识别结果生成控制信号并对控制装置12输出。控制装置12基于从图像处理装置10接收到的控制信号，进行该车辆V(自车辆)的油门13和制动器14、方向盘16等的调整。

其中，图像处理装置10和控制装置12也可以安装在立体摄像机装置11内而由该立体摄像机装置11自身兼顾处理，也可以安装在综合控制器内等。

图2概略地示出了图1所示的图像处理装置的内部结构。图示的图像处理装置10主要具有图像输入接口21、图像处理部22、运算处理部23、存储部24、CAN接口25、控制处理部26，各部分经由总线20可通信地连接。

图像输入接口21控制立体摄像机装置11的摄像，用于导入用立体摄像机装置11(的各摄像机11a、11b)拍摄到的图像。通过该图像输入接口21导入的各摄像机11a、11b的图像，通过总线20传输，在图像处理部22和运算处理部23中进行处理，并且将作为处理中途的结果和最终结果的图像数据等存储在存储部24中。

图像处理部22对用立体摄像机装置11的右摄像机11a的拍摄元件得到的右图像、与用左摄像机11b的拍摄元件得到的左图像进行比较，对于各图像，进行因摄像元件而产生的装置固有的偏差的修正和噪声插值等图像修正，将其存储在存储部24中。另外，计算右图像与左图像之间彼此对应的场所，计算视差信息并生成视差图像(视差信息)，同样将其存储在存储部24中。

运算处理部23使用存储部24中蓄积的图像和视差信息(与图像上的各点对应的距离信息)，进行感知车辆V的周边环境所需的各种对象物的识别。此处，可以列举人、车辆、其他障碍物、信号灯、标志、车辆的尾灯和前灯等作为各种对象物。将这些识别结果和中间计算结果的一部分同样存储在存储部24中。

控制处理部26使用存储部24中蓄积的识别结果等生成控制车辆V的制动等的控制信号，与该车辆V的控制方针相关的控制信号和对象物识别的识别结果的一部分经由CAN接口25对车载网络CAN27传输，从该处向上述控制装置12等传输。

图3更具体地示出了图2所示的图像处理装置的内部结构。其中，以下，具体说明作为对象物检测出存在位于该车辆V的前方的前方车辆，识别从该车辆V直到该前方车辆的相对距离和速度的情况。

如图所示，上述图像处理装置10主要具备构成图像处理部22的右图像取得部101、左图像取得部102和视差信息取得部103，以及构成运算处理部23的车辆追踪部104、第一距离计算部105、相对速度计算部106、车辆检测部107、第二距离计算部108、修正处理部109和计算结果输出部110。

上述图像处理装置10进行的识别处理(车辆检测处理)的处理内容，在第一次识别处理和第二次之后的识别处理中不同，所以分为第一次识别处理和第二次之后的识别处理进行说明。此处，第一次识别处理指的是从过去没有检测到对象车辆的状态起初次检测到的处理。

在第一次识别处理中，首先，右图像取得部101和左图像取得部102从存储部24取得用右摄像机11a和左摄像机11b拍摄到的右图像和左图像。另外，右图像取得部101和左图像取得部102也可以经由图像输入接口21从立体摄像机装置11(的各摄像机11a、11b)直接取得右图像和左图像。接着，视差信息取得部103使用由右图像取得部101和左图像取得部102取得的右图像和左图像进行视差计算，生成视差图像(视差信息)。视差信息取得部103进行视差计算，结果得到图像和视差信息(立体信息)，所以车辆检测部107使用这些结果求出图像中映出的车辆的当前位置信息(图像中的位置信息)并进行该车辆的检测/识别。第二距离计算部108使用该检测结果计算出到前方车辆的距离。车辆检测部107和第二距离计算部108，为了用作对象物的过去位置信息而将其计算结果的位置信息和距离信息登记在作为存储部24的登记表111中。

另一方面，在第二次之后的识别处理中，为了实现处理的高效化，用右图像取得部101取得右图像后，车辆追踪部104使用该右图像和已经在登记表111中登记的已检测的结果(即，对象物的过去位置信息)，进行求出前方车辆的当前位置信息(图像中的位置信息)的车辆追踪处理。详细而言，车辆追踪部104使用右图像的信息对已检测的结果中包括的位置附近进行搜索，确定前方车辆在当前帧中的位置。接着，第一距离计算部105使用由车辆追踪部104求出的位置信息和用视差信息取得部103生成的视差图像(视差信息)计算出到前方车辆的距离，相对速度计算部106使用第一距离计算部105得到的计算结果和该第一距离计算部105在过去计算出的计算结果计算出前方车辆的相对速度。然后，计算结果输出部110经由存储部24等对控制处理部26输出第一距离计算部105得到的计算结果和相对速度计算部106得到的计算结果。

即，在该第二次之后的识别处理中，车辆追踪部104不是如基于图7和图9说明的现有的图像处理装置50’的对照处理部506’一般，接收当前帧的车辆检测部504’的检测结果，而是根据已经在登记表111中登记的过去信息在自身的处理中确定对象物(前方车辆)在当前帧中的位置。

一般而言，在车辆检测部107进行的车辆检测/识别处理中，为了识别各种设计和各种外界环境下的车辆的影像，使用大量登记了车辆的图像事例的辞典(图像事例辞典)进行识别。所以，虽然处理精度良好，但是具有计算量增大、处理时间变长的倾向。另一方面，车辆追踪部104进行的车辆追踪处理将已经检测到的车辆的图像作为事例，对其周边进行追踪，所以计算量减少，能够使从输入图像直到输出计算结果的处理时间变得非常短。

用第一距离计算部105和相对速度计算部106进行了距离计测和相对速度计测之后，如上所述，车辆检测部107使用视差信息取得部103进行的视差计算的结果求出前方车辆在该帧中的位置并进行该前方车辆的检测/识别，第二距离计算部108使用该检测结果计算出到前方车辆的距离。此处，车辆追踪部104中已经求出了对象物(前方车辆)在当前帧中的位置，第一距离计算部105中也已经求出了与上述对象物(前方车辆)的距离，所以存在车辆检测部107和第二距离计算部108的结果与车辆追踪部104和第一距离计算部105的结果，但双方的结果不一定一致。于是，修正处理部109对车辆检测部107和第二距离计算部108的结果与车辆追踪部104和第一距离计算部105的结果进行比较，决定在下一帧中使用哪个位置信息和距离信息。例如，修正处理部109能够优先在下一帧中使用某一方的信息，或者在下一帧中使用双方得到的位置的内分点，但其修正方法不特别限定。另外，修正处理部109也能够基于第二距离计算部108的结果和第一距离计算部105的结果，对用相对速度计算部106求出的结果进行修正。修正处理部109为了在下一帧的车辆追踪处理中等用作对象物的过去位置信息等而将求出的结果(位置信息和距离信息、相对速度信息等)保存在登记表111中。

按时序更详细地说明上述图像处理装置10进行的图像处理，如图4所示，将图像处理部22中的进程作为S1序列，将运算处理部23中的进程作为S2序列的情况下，首先，在图像处理部22(S1序列)中，进行来自右摄像机11a的右图像输入处理S101和来自左摄像机11b的左图像输入处理S102，在蓄积了双方的图像的阶段，进行视差计算处理S103。该视差计算处理S103的结果是得到左右或一方的图像和与其对应的视差信息(视差图像)。在时刻T1对运算处理部23传输该视差计算处理S103中的处理结果。其中，以上处理流程与基于图9说明的现有的图像处理装置50’的处理流程相同。

另一方面，本实施方式中，在视差计算处理S103中的处理结果的传输时刻(视差计算处理S103的处理结束时刻之后的时刻)即时刻T1之前的、右图像输入处理S101结束后的时刻T0，从图像处理部22(S1序列)对运算处理部23(S2序列)传输不包括立体观看数据(视差信息)的仅有图像的数据。对于已经检测到的车辆，能够进行仅使用图像的车辆追踪，所以在运算处理部23(S2序列)中，利用图像处理部22(S1序列)中的左图像输入处理S102和视差计算处理S103的时间，进行求出当前帧中的车辆位置的车辆追踪处理S104。之后，使用在视差计算处理S103之后的时刻T1传输来的视差信息，实施第一距离计算处理S105和相对速度计算处理S106，在该阶段进行输出第一距离计算处理S105和相对速度计算处理S106的计算结果的计算结果输出处理S110。由此，可以抑制从输入图像直到对控制处理部26等输出计算结果的延迟。

用计算结果输出处理S110输出计算结果之后，使用视差信息进行车辆检测/识别处理S107，进行用其检测结果计算出到前方车辆的距离的第二距离计算处理S108，基于上述车辆追踪处理S104等的结果和车辆检测/识别处理S107等的结果，实施决定下一帧中使用的位置等的修正处理S109，结束该帧中的处理。

这样，本实施方式1中，通过使图像处理装置10中的图像处理细分化，分割重构为单镜头***的处理流程和立体***的处理流程，进行CPU等计算资源的高效的分配，能够维持距离等的识别精度，并且有效地缩短从输入图像直到输出计算结果的响应的延迟。

具体而言，通过将车辆追踪部104的处理开始时刻设定为视差信息取得部103的处理结束时刻之前、特别是视差信息取得部103的处理开始时刻之前，并且，将第一距离计算部105的处理开始时刻设定为车辆检测部107的处理结束时刻之前、特别是车辆检测部107的处理开始时刻之前，在车辆检测部107进行的车辆检测/识别处理S107的结束前或开始前，使用基于左右的图像中的某一方和预先在登记表111中存储的车辆的过去位置信息求出的车辆的当前位置信息计算出与前方车辆的相对距离等而输出，由此能够维持距离等的识别精度，并且有效地抑制从输入来自摄像机的图像直到输出计算结果的响应的延迟。

[实施方式2]

图5按时序说明了本发明的图像处理装置的实施方式2的处理内容。本实施方式2的图像处理装置，相对于上述实施方式1的图像处理装置10，主要在第一距离计算部进行的距离计算处理的处理方法和处理开始/结束时刻上不同。即，本实施方式2的图像处理装置的装置结构与实施方式1的图像处理装置10的装置结构相同，所以省略其详细说明，以下，具体说明图像处理装置进行的图像处理的处理内容。

本实施方式2中，如图5所示，将图像处理部22中的进程作为S1A序列，将运算处理部23中的进程作为S2A序列的情况下，与上述实施方式1同样，首先，在图像处理部22(S1A序列)中，进行来自右摄像机11a的右图像输入处理S101A和来自左摄像机11b的左图像输入处理S102A，在蓄积了双方的图像的阶段，进行视差计算处理S103A。该视差计算处理S103A的结果是得到左右或一方的图像和与其对应的视差信息(视差图像)。在时刻T1A对运算处理部23传输该视差计算处理S103A中的处理结果。

另外，在视差计算处理S103A中的处理结果的传输时刻即时刻T1A之前的、右图像输入处理S101A结束后的时刻T0A，从图像处理部22(S1A序列)对运算处理部23(S2A序列)传输不包括立体观看数据(视差信息)的、仅有图像的数据(右图像)，进行求出当前帧中的车辆位置的车辆追踪处理S104A。

进而，在左图像输入处理S102A结束后的时刻T2A，从图像处理部22(S1A序列)对运算处理部23(S2A序列)传输不包括视差信息的仅有图像的数据(只有左图像、或右图像和左图像双方的图像)。如果存在右图像和左图像，则距离计测和相对速度计测能够根据与基于图8的说明相同的原理限定计算范围而实施，并且，一般能够用比视差计算处理S103A更短的处理时间实施。于是，使用车辆追踪处理S104A中求出的位置信息和在时刻T0A、T2A传输来的右图像和左图像实施第一距离计算处理S105A和相对速度计算处理S106A，之后，进行输出第一距离计算处理S105A和相对速度计算处理S106A得到的计算结果的计算结果输出处理S110A。由此，能够进一步缩短从输入图像直到对控制处理部26等输出计算结果的处理时间。

之后，使用在视差计算处理S103A的结束时刻之后的时刻T1A传输来的该帧中的视差信息进行车辆检测/识别处理S107A，进行用该检测结果计算出与前方车辆的距离的第二距离计算处理S108A，基于上述车辆追踪处理S104A等的结果和车辆检测/识别处理S107A等的结果，实施决定下一帧中使用的位置等的修正处理S109A。

这样，在本实施方式2中，将第一距离计算部的处理开始时刻设定为视差信息取得部的处理结束时刻之前，在视差计算处理S103A中的处理结果的传输时刻即时刻T1A之前的、来自各摄像机的图像输入处理已结束的阶段传输各图像，在视差计算处理S103A中的处理结束之前的、车辆追踪处理S104A已结束且从各摄像机传输了各图像的阶段，开始第一距离计算处理S105A和相对速度计算处理S106A，由此能够维持距离等的识别精度，并且进一步缩短从输入图像直到输出计算结果的响应的延迟。

[实施方式3]

图6按时序说明了本发明的图像处理装置的实施方式3的处理内容。本实施方式3的图像处理装置相对于上述实施方式2的图像处理装置，主要在利用2个CPU实施运算处理部的运算处理的方面不同。即，本实施方式3的图像处理装置的装置结构与实施方式1、2的图像处理装置的装置结构相同，所以省略其详细说明，以下，具体说明图像处理装置进行的图像处理的处理内容。

单镜头***的车辆追踪处理和与其相关的处理以及立体***的车辆检测/识别处理和与其相关的处理使用不同的数据，车辆追踪处理不需要立体信息，且各处理相互独立，所以运算处理部23中的车辆追踪处理等与车辆检测/识别处理等能够用2个CPU分别独立地实施。

本实施方式3中，如图6所示，将图像处理部22中的进程作为S1B序列，假设有2个CPU而将运算处理部23中的进程作为各个CPU中运行的S2aB序列、S2bB序列，与上述实施方式1、2同样，首先，在图像处理部22(S1B序列)中，进行右图像输入处理S101B、左图像输入处理S102B和视差计算处理S103B。然后，在该视差计算处理S103B结束的时刻T1B，对运算处理部23的S2bB序列传输其处理结果(视差信息)。

在右图像输入处理S101B结束后的时刻T0B(取得一方的图像之后的时刻)、和左图像输入处理S102B结束后的时刻T2B(取得双方的图像之后的时刻)，从图像处理部22(S1B序列)对运算处理部23的S2aB序列传输不包括视差信息的仅有图像的数据，在运算处理部23的S2aB序列中，实施车辆追踪处理S104B、第一距离计算处理S105B、相对速度计算处理S106B和计算结果输出处理S110B。之后，在计算结果输出处理S110B结束之后的适当的时刻T3B，从运算处理部23的S2aB序列对S2bB序列传输车辆追踪处理S104B等的结果。

另一方面，在运算处理部23的S2bB序列中，使用在视差计算处理S103B的结束时刻后的时刻T1B传输来的该帧中的视差信息实施车辆检测/识别处理S107B和第二距离计算处理S108B。之后，基于车辆检测/识别处理S107B等的结果和从S2aB序列传输来的车辆追踪处理S104B等的结果，实施决定下一帧中使用的位置等的修正处理S109B。

这样，在本实施方式3中，通过用2个CPU分别实施运算处理部23中的车辆追踪处理和与其相关的处理以及车辆检测/识别处理和与其相关的处理，在时间上并行地实施车辆追踪部和第一距离计算部等进行的处理以及对象物检测部和第二距离计算部等进行的处理，由此，即使车辆追踪处理S104B等需要时间，从车辆追踪到输出计算结果的处理时间变长，在有1个CPU的情况下车辆检测/识别处理的执行会延迟的情况下，也能够与车辆追踪处理等并行地实施车辆检测/识别处理等。所以，能够缩短图像处理装置进行的图像处理整体的处理时间(处理周期)，有效地提高其处理效率。

其中，上述实施方式1～3中，说明了在左图像之前取得右图像，用该右图像实施车辆追踪处理的方式，但也可以在右图像之前取得左图像，用该左图像实施车辆追踪处理。

另外，本发明不限定于上述实施方式1～3，包括各种变形方式。例如，上述实施方式1～3是为了易于理解地说明本发明而详细说明的，并不限定于必须具备说明的所有结构。另外，能够将某个实施方式的结构的一部分置换为其他实施方式的结构，也能够在某个实施方式的结构上添加其他实施方式的结构。另外，对于实施方式的结构的一部分，能够追加、删除、置换其他结构。

另外，控制线和信息线示出了认为说明上必要的，并不一定示出了产品上所有的控制线和信息线。实际上也可以认为几乎所有结构都相互连接。

附图标记说明

1…立体摄像机***，10…图像处理装置，11…立体摄像机装置，11a…右摄像机，11b…左摄像机，12…控制装置，20…总线，21…图像输入接口，21、22…图像处理部，23…运算处理部，24…存储部，25…CAN接口，26…控制处理部，27…车载网络CAN，101…右图像取得部，102…左图像取得部，103…视差信息取得部，104…车辆追踪部(对象物追踪部)，105…第一距离计算部，106…相对速度计算部，107…车辆检测部(对象物检测部)，108…第二距离计算部，109…修正处理部，110…计算结果输出部，111…登记表。

Claims (11)

1.一种图像处理装置，对由多个摄像机同步地拍摄到的多个图像进行处理来计测与所述图像中显现的对象物的相对距离或相对速度，所述图像处理装置的特征在于，包括：

视差信息取得部，其根据所述多个图像中的至少两个图像取得视差信息；

对象物追踪部，其实施基于所述多个图像中的任一个图像和所述对象物在图像中的过去位置信息来求取所述对象物在图像中的当前位置信息的追踪处理；

第一距离计算部，其基于所述对象追踪部求得的当前位置信息和所述视差信息，来计算与所述对象物的相对距离，或者，基于所述对象追踪部求得的当前位置信息和所述多个图像中的至少两个图像，并进行限定了计算范围的视差计算处理，来计算与所述对象物的相对距离；

对象物检测部，其基于所述视差信息求取所述对象物的当前位置信息来检测所述对象物；

第二距离计算部，其基于所述对象物检测部的检测结果来计算与所述对象物的相对距离；和

修正处理部，其基于由所述对象物追踪部求出的当前位置信息和由所述对象物检测部求出的当前位置信息中的至少一者，进行所述当前位置信息的修正，以及/或者，基于由所述第一距离计算部计算出的相对距离和由所述第二距离计算部计算出的相对距离中的至少一者，进行所述相对距离的修正，

所述第一距离计算部的处理开始时刻设定为在所述对象物检测部的处理结束时刻之前。

2.如权利要求1所述的图像处理装置，其特征在于：

所述第一距离计算部的处理开始时刻设定为在所述对象物检测部的处理开始时刻之前。

3.如权利要求1所述的图像处理装置，其特征在于：

所述图像处理装置还包括向外部输出所述第一距离计算部的计算结果的计算结果输出部。

4.如权利要求1所述的图像处理装置，其特征在于：

所述对象物追踪部将由所述修正处理部修正后的所述当前位置信息和所述相对距离中的至少一者用作所述对象物的过去位置信息来实施所述追踪处理。

5.如权利要求1所述的图像处理装置，其特征在于：

所述对象物追踪部的处理开始时刻设定为在所述视差信息取得部的处理结束时刻之前。

6.如权利要求5所述的图像处理装置，其特征在于：

所述对象物追踪部的处理开始时刻设定为在所述视差信息取得部的处理开始时刻之前。

7.如权利要求5所述的图像处理装置，其特征在于：

所述第一距离计算部的处理开始时刻设定为在所述视差信息取得部的处理结束时刻之后。

8.如权利要求5所述的图像处理装置，其特征在于：

在所述第一距离计算部进行限定了计算范围的所述视差计算处理的情况下，所述第一距离计算部的处理开始时刻设定为在所述视差信息取得部的处理结束时刻之前。

9.如权利要求1所述的图像处理装置，其特征在于：

并行地实施所述对象物追踪部及所述第一距离计算部进行的处理，和所述对象物检测部及所述第二距离计算部进行的处理。

10.如权利要求1所述的图像处理装置，其特征在于：

所述图像处理装置还包括基于由所述第一距离计算部计算出的相对距离来计算所述对象物的相对速度的相对速度计算部。

11.如权利要求10所述的图像处理装置，其特征在于：

所述修正处理部基于由所述第一距离计算部计算出的相对距离和由所述第二距离计算部计算出的相对距离，来对所述对象物的相对速度进行修正。