CN107533749A - 物体检测装置 - Google Patents

Abstract

本发明提供一种能够稳定地识别车辆的物体检测装置。本发明的物体检测装置从左摄像部和右摄像部拍摄的左图像和右图像中检测多个三维物体(S103)，从多个三维物体中提取左右隔开间隔地存在的两个三维物体作为结合候选，判断作为结合候选提取出的两个三维物体之间的中间区域是否存在视差密度比左右区域小的视差稀疏区域。然后，从左右的图像中分别提取将被判断为在中间区域存在视差稀疏区域的两个三维物体假设为一个三维物体时的区域，并互相比较来判断透视是否相同，在判断为透视相同的情况下，将两个三维物体判断为是一个三维物体(S104)。

Description

物体检测装置

技术领域

本发明涉及物体检测装置。

背景技术

作为物体检测装置的主要用途，例如可以列举安装在车辆上来检测障碍物。在前方的障碍物是车辆的情况下，要求能够检测该车辆，并更高精度地计算其位置和速度信息。计算出的位置速度信息例如被用作防碰撞功能或前车追踪功能的输入，有助于实现更恰当的车辆控制。

作为本技术领域的背景技术，有日本特开2010-224936(专利文献1)。该公报中记载了“提供一种能够将距离检测单元检测出的距离数据准确地分组从而准确地检测物体的物体检测装置”。在专利文献1中记载了，使用车辆的尾灯信息来正确地计算图像上的车辆所存在的区域，从而能够高精度地计算位置速度信息。

现有技术文献

专利文献

专利文献1：日本特开2010-224936号公报

发明内容

发明要解决的技术问题

不过，在像专利文献1那样为了恰当地检测车辆而使用了车灯的信息的情况下，虽然夜间或制动时等前车的车灯点亮的场景下的检测性能得到了提高，但是在车灯熄灭的场景下其效果无法发挥。为了在更多的场景下恰当地检测车辆，一个重要的问题是，所使用的车辆的特性需要是能够不依赖于场景的。

本发明鉴于上述问题点而做出，其目的在于提供一种能够稳定地识别车辆的物体检测装置。

解决问题的技术手段

可解决上述问题的本发明的物体检测装置的特征在于，包括：三维物体检测部，其从左摄像部和右摄像部拍摄的左图像和右图像中检测多个三维物体；结合候选提取部，其从所述多个三维物体中提取左右隔开间隔地存在的两个三维物体作为结合候选；稀疏区域判断部，其判断在作为该结合候选提取出的所述两个三维物体之间的中间区域是否存在视差密度比左右区域小的视差稀疏区域；匹配部，其从所述左右的图像中分别提取将被判断为在所述中间区域存在所述视差稀疏区域的所述两个三维物体假设为一个三维物体时的区域，并互相比较来判断透视(見え方，perspective)是否相同；和三维物体结合部，其在由该匹配部判断为透视相同的情况下，将所述两个三维物体判断为是一个三维物体。

发明效果

根据本发明，能够提供一种能够稳定地识别车辆的物体检测装置。另外，上述以外的技术问题、技术特征和技术效果，将通过以下实施方式的说明而明确。

附图说明

图1是说明本实施例的物体检测装置的整体结构的图。

图2是进行三维物体结合处理的实施例1的图像处理部的结构图。

图3是表示整个处理的处理流程的图。

图4是表示三维物体结合部的处理流程的图。

图5是说明视差容易计算的情况和难以计算的情况的例子的图。

图6是尺寸判断处理S221的处理内容的说明图。

图7是距离判断处理S222的处理内容的说明图。

图8是表示视差稀疏区域判断处理S223中的详细处理内容的流程图。

图9是稀疏区域判断处理S304的处理内容的说明图。

图10是左右匹配处理S224的处理内容的说明图。

图11是表示实施例2的图像处理部的结构的图。

图12是表示三维物体分割部301的处理流程的图。

图13是表示实施例3的图像处理部的结构的图。

图14是表示实施例3的图像处理部的处理流程的图。

图15是表示实施例4的图像处理部的结构的图。

图16是表示实施例4的处理流程的图。

图17是表示实施例5的包括车辆控制在内的情况下的整体结构的图。

具体实施方式

下面使用附图说明本发明的实施例。

[实施例1]

图1是说明本实施例的物体检测装置的整体结构的图。物体检测装置安装在车辆上，如图1所示，具有立体相机100、存储器103、CPU104、图像处理部111和外部通信部112。立体相机100包括成左右一对的对车辆前方进行拍摄的左摄像部101和右摄像部102。

图像处理部111从立体相机100拍摄的图像中提取三维物体，按时序跟踪提取出的三维物体，使用跟踪到的三维物体的轮廓和视差形状识别该三维物体是否像是车辆。识别结果被外部通信部112发送至物体检测装置的外部，用于加速或制动、转向等车辆控制。

图2是表示图像处理部111的结构的图。图像处理部111包括视差计算部201、三维物体检测部202、三维物体结合部203、车辆识别部204。视差计算部201使用左摄像部101拍摄的图像和右摄像部102拍摄的图像，计算同一个对象物的摄像位置的偏差即视差。三维物体检测部202基于由视差计算部201计算出的视差的信息进行三维物体的检测。

三维物体检测部202为了检测三维物体，首先，根据由视差计算部201得到的视差信息和视差信息的图像坐标，计算真实空间中的点的坐标。然后，对于各个点计算点之间彼此的距离，并将存在于附近的点分成组。在以分组结果作为一个三维物体时，通过在倾斜度急剧发生变化的部位和几乎不能得到视差的区域进行分割，来检测被认为是一个集群的三维物体。此时，在将车辆作为三维物体检测的状况下，有将车辆的左右检测为不同的三维物体的趋势。

图5是说明视差容易计算的情况和难以计算的情况的例子的图。在视差的计算中，例如，在指定了左图像的某一区域时，在右图像中沿横向搜索右图像中是否存在拍摄了相同对象的区域。从而，如图5的(1)所示，对于横向上存在亮度变化的、存在纵向的边缘的区域，易于确定对应的区域，易于计算视差。另一方面，如图5的(2)所示，在横向上不存在亮度变化、例如边缘在横向上连续存在的情况下，难以确定对应的区域，难以计算视差。

在车辆的情况下，左右端由于在纵向上存在边缘，所以易于计算视差，但是中央部分几乎都是横向的边缘。从而，在车辆的左右部分视差稠密，在中央部分视差稀疏。其结果，很多情况下会将车辆的左右端分别检测为不同的三维物体。

三维物体结合部203进行将过度分割的三维物体结合的处理。即，三维物体结合部203在判断为三维物体检测部202有较高的可能将一个三维物体检测成多个三维物体时，进行将该多个三维物体结合而作为一个三维物体检测的处理。关于三维物体结合部203的处理的细节将在后文中叙述。

车辆识别部204对由三维物体检测部202和三维物体结合部203作为一个三维物体检测到的三维物体实施车辆识别判断，判断是否车辆。即使在三维物体检测部202检测出的三维物体是将一台车辆视为多个三维物体的状况下，由于在三维物体结合部203中合并为一个三维物体，所以在车辆识别部204中能够恰当地识别为车辆。

图3是表示整个处理的处理流程的图。如图3所示，首先，立体相机100进行图像拍摄(S101)，基于拍摄到的立体图像利用视差计算部201进行视差计算。然后，基于计算出的视差的信息进行三维物体的检测(S103)。此处，判断是否将实际上的一个三维物体误检测为多个三维物体，在误检测为多个三维物体的可能性较高时，将该多个三维物体结合而作为一个三维物体(结合三维物体)(S104)。然后，进行车辆识别判断(S105)，判断在S103中被检测为一个三维物体的单独三维物体或S104中被结合为一个三维物体的结合三维物体是否为车辆，并基于其判断结果进行车辆控制(S106)。

接着，对三维物体结合部203的处理内容进行详细说明。

图4是表示三维物体结合部203的处理流程的图。在数据输入处理S210中，接收处理所需的数据。在三维物体检测结果输入处理S211中，接收由三维物体检测部202检测出的三维物体检测结果。在左右图像输入处理S212中，接收由左摄像部101和右摄像部102拍摄的左右图像。

然后，在可否结合判断处理S220中对接收到的三维物体进行可否结合判断，以判断是否可以实施结合处理。此时，对于在图像中邻接的成对的三维物体进行判断。此处所谓的邻接并不需要三维物体彼此在图像中连接，其指的是，在选择两个三维物体时其间的区域不存在其他三维物体(未检测出其他三维物体)，二者以左右隔开间隔的方式存在。在可否结合判断处理S220中，进行尺寸判断处理S221、距离判断处理S222、视差稀疏区域判断处理S223和左右匹配处理S224。

接着，在三维物体结合处理S230中，对在可否结合判断处理S220中判断为可以结合的成对的三维物体进行结合处理。例如进行这样的处理，即，通过重新计算区域中所含的视差的平均值而重新计算三维物体的距离，或者对因结合而发生了变化的高度和宽度的信息进行更新等。

图6是尺寸判断处理S221的处理内容的说明图。在假设已将提取出的成对的三维物体结合时，判断纵横比和高度/宽度是否为像是检测对象物即车辆的尺寸(尺寸判断部)。

例如，如(1)三维物体检测结果所示，对于各三维物体D1～D6，提取彼此相邻的三维物体作为三维物体结合候选(结合候选提取部)。在(2)所示的例子中，将彼此相邻的成对的三维物体(行人)D1和三维物体(电线杆)D2作为三维物体结合候选(A)，将成对的三维物体(行人)D5、D6作为三维物体结合候选(C)，将成对的三维物体(车辆的左端和右端)D3、D4作为三维物体结合候选(B)。该三维物体结合候选的提取是对图像内的全部三维物体进行的，例如，虽然没有特别图示，但是也会提取成对的三维物体(电线杆)D2和三维物体(车辆的左端)D3，以及成对的三维物体(车辆的右端)D4和三维物体(行人)D5作为三维物体结合候选。

然后，如(2)三维物体结合候选所示，对各结合候选进行尺寸判断(S221)。此处，判断以两个三维物体的检测区域作为规定的检测对象物的两端的情况下的大小，是否与基于摄像距离决定的检测对象物的大小相当。

例如，对于成对的三维物体(行人)D1和三维物体(电线杆)D2即三维物体结合候选(A)而言，电线杆的高度与一般的车辆相比明显更高，所以认为高度不像是车辆而将尺寸判断结果设定为NG(不符)。在相隔较远的成对的三维物体(行人)D5、D6即三维物体结合候选(C)中，就高度而言判断为像是车辆，但是宽度与车辆相比极大，所以认为宽度不像是车辆而将尺寸判断结果设定为NG。对于成对的三维物体(车辆的右端和左端)D3、D4即三维物体结合候选(B)而言，认为高度和宽度都是像是车辆的尺寸而将尺寸判断结果设定为OK(符合)。

图7是距离判断处理S222的处理内容的说明图。在假设已将提取出的成对的三维物体结合时，判断成对的三维物体各自的距离信息是否为相似的值(距离判断部)。

例如，如(1)三维物体检测结果所示，对于各三维物体D7～D12，提取彼此相邻的三维物体作为三维物体结合候选(结合候选提取部)。在图7所示的例子中，将彼此相邻的成对的三维物体(行人)D7和三维物体(电线杆)D8作为三维物体结合候选(D)，将成对的三维物体(行人)D11、D12作为三维物体结合候选(F)，将成对的三维物体(车辆的左端和右端)D9、D10作为三维物体结合候选(E)。另外，虽然未图示，但是也会提取成对的三维物体(电线杆)D8和三维物体(车辆的左端)D9，以及成对的三维物体(车辆的右端)D10和三维物体(行人)D11作为三维物体结合候选。

然后，如(2)三维物体结合候选和(3)俯视图所示，对各结合候选(D)～(F)进行距离判断(S222)。例如对于成对的三维物体(行人)D7和三维物体(电线杆)D8即结合候选(D)而言，因为在图像中邻接所以被定为三维物体结合候选，但是行人D7配置在近处，与此相对电线杆D8配置在较远的位置，摄像距离的距离信息在一对之间偏差较大，因此设定为距离判断NG。同样地，成对的三维物体(行人)D11、D12即结合候选(F)的摄像距离的距离信息的偏差也较大，所以设定为距离判断NG。另一方面，成对的三维物体(车辆的右端和左端)D9、D10即结合候选(E)的摄像距离的距离信息几乎相同，所以将距离判断结果设定为OK。

在尺寸判断处理S221和距离判断处理S222中的至少一者给出判断NG的情况下，该成对三维物体被排除在判断对象之外，在该时间点视为结合判断NG并结束处理。这是因为，由于左右匹配处理S224的处理负荷较高，所以通过事先进行候选的筛选而减轻三维物体结合部203整体的处理负荷。另外，在尺寸判断处理S221和距离判断处理S222双方都给出判断OK的情况下，将该成对三维物体作为之后的视差稀疏区域判断处理S223的判断对象。

在视差稀疏区域判断处理S223中，判断在成对的三维物体之间的中间区域中是否存在视差密度比左右区域小的视差稀疏区域。

图8是表示视差稀疏区域判断处理S223的详细处理内容的流程图。在成对三维物体信息输入处理S301中，接收通过尺寸判断处理S221和距离判断处理S222的处理而成为稀疏区域判断的判断对象的成对三维物体的信息。在判断区域决定处理S302中，提取存在成对三维物体的左右的区域及其之间的中间区域，将中间区域作为稀疏区域判断的对象。在稀疏判断阈值计算处理S303中，计算并决定用于判断中间区域是否为视差稀疏区域的视差密度阈值Th1。在稀疏区域判断处理S304中，基于视差密度阈值Th1判断成对三维物体之间的中间区域是否为视差稀疏区域。

图9是稀疏区域判断处理S304的处理内容的说明图。作为具体处理，例如，针对成对三维物体的左右区域A1、A2及其之间的中间区域A3，按纵向的每一列计算视差的密度。为了计算视差的密度，对纵向一列内存在的有效视差(立体匹配成功的点)的面积除以纵向一列的面积即可。对于得到的密度，以视差密度阈值(第一阈值)Th1为基准进行是视差稀疏区域还是稠密区域的判断(稀疏区域判断部)。在视差密度为视差密度阈值Th1以下时，判断为是视差稀疏区域，在视差密度大于视差密度阈值Th1时判断为是视差稠密判断。

视差密度阈值Th1通过稀疏判断阈值计算处理S303计算。可以设定成适当的恒定值，也可以设定成相对于左右的视差稠密区域的比例等而使其可变。图中示出了使视差密度阈值Th1恒定时的视差密度和判断结果的一例。本实施例中作为一例示出了对于图像的纵向每一列计算密度的方法，但也可以划分成检测为三维物体的区域(左、右)及其之间的中间区域这3个区域，计算各自的密度。

图10是左右匹配处理S224的处理内容的说明图。

对于被判断为是结合候选并且中间区域的视差密度为视差稀疏区域的成对三维物体，从左右图像中分别提取假设进行了结合时的区域，互相比较来进行透视是否相同(透视关系是否相同)的匹配判断(匹配部)。在匹配判断中使用SAD等相关值。SAD是按块内的每个坐标求差值，并将其绝对值相加而得到的。在该相关值为相关值阈值(第二阈值)Th2以下的情况下，判断为提取出的区域在左右图像中透视相同。在判断为透视相同的情况下，将作为结合候选的成对三维物体判断为是一个三维物体(结合三维物体)。

在作为结合候选的成对三维物体分别是不同的三维物体的情况下，因为在其中央部分拍摄到的是背景等，所以在左右图像中透视不相同，SAD为较大的值。从而，在相关值大于相关值阈值Th2的情况下，判断为提取出的图像的左右的透视不相同。像这样在判断为提取的图像在左右图像中透视不相同的情况下，判断为作为结合候选的成对三维物体是多个三维物体，即为各自独立的两个三维物体。

例如，在左图像的结合三维物体候选(车辆)GL1和右图像的结合三维物体候选(车辆)GR1的情况下，相关值为相关值阈值Th2以下，判断为左右图像中透视相同。从而，将成对三维物体判断为是一个结合三维物体，判断可以结合(结合OK)。

另一方面，在左图像的结合三维物体候选(一对行人)GL2和右图像的结合三维物体候选(一对行人)GR2的情况下，图像的中央部分的透视在左右图像中差异较大，因此相关值大于相关值阈值Th2，判断为左右图像中透视不同。从而，将成对三维物体判断为是多个三维物体，判断不能结合(结合NG)。

将通过以上的判断而判断为可以结合的成对三维物体，利用图4的三维物体结合处理S230合并为一个三维物体(结合三维物体)。合并后的结合三维物体被输入至图2的车辆识别部204，判断是否为车辆，在判断为是车辆的情况下，将其适当地识别为车辆。车辆识别结果被图1的外部通信部112发送至外部，用于车辆控制等用途。

根据本实施例的物体检测装置，针对成对三维物体，将中间区域的视差密度为阈值Th1以下的视差稀疏区域的成对三维物体确定为结合候选，将对作为结合候选的成对三维物体进行结合时的区域的图像从左右的图像中提取出来进行匹配判断，在左右的图像中透视相同的情况下判断为成对三维物体是一个三维物体，在透视不同的情况下判断为成对三维物体是多个三维物体。从而，无论前车的车灯是否点亮，都能够在更多的场景下恰当地检测车辆。

另外，本实施例中，对于障碍物是车辆的情况进行了说明，但检测对象物并不限定于车辆，例如也可以是行人等其他障碍物。根据本实施例，在成对三维物体的尺寸或摄像距离、视差稀疏区域的判断为NO的情况下，成对三维物体不会被结合，所以有很高的概率能够正确地检测比车辆尺寸小的行人尺寸的三维物体。

[实施例2]

此处给出的不是如实施例1所示的那样在将三维物体过度分割时适当地将它们结合，而是出于在将三维物体过度结合时适当地将它们分割这一观点而应用的情况下的实施方式。

图11是表示本实施例的图像处理部111的结构的图。对于与实施例1相同的构成要素标注相同的标记从而省略其详细说明。

视差计算部201和车辆识别部204进行与实施例1所示的相同的处理。三维物体检测部202被调整为与实施例1相比更容易将实际上多个三维物体检测为一个三维物体。例如，根据由视差计算部201得到的视差信息和图像坐标计算真实空间中的坐标，将存在于附近的点分成组，但是增大此时的分组阈值。或者，在对分组结果进行分割时，不在无法获得视差的区域进行分割。

通过该调整，能够抑制将车辆等一个三维物体过度分割的状况，但是另一方面，将两位行人等多个三维物体误检测为一个三维物体的可能性提高。从而，在三维物体分割部301中，进行将过度结合的三维物体分割的处理。

图12是表示三维物体分割部301的处理流程的图。在数据输入处理S410中，接收处理所需的数据。在三维物体检测结果输入处理S411中，接收三维物体检测部202检测出的三维物体检测结果。在左右图像输入处理S412中，接收左摄像部101和右摄像部102拍摄的左右图像。

接着，在可否分割判断处理S420中，对接收到的三维物体进行是否可以实施分割处理的判断。在分割候选点搜索处理S421中，例如，与视差稀疏区域判断处理S223同样地搜索视差稀疏的区域(分割候选点搜索部)。在作为一个三维物体检测到的图像的区域中，提取视差稠密的区域和稀疏的区域。在左右存在视差稠密的区域而中央存在视差稀疏的区域的情况下，将视差稠密的区域的端部作为分割候选点。

接着，在左右匹配处理S422中，从左右图像中提取出检测出三维物体的区域，判断在左右图像中透视是否相同。判断中使用SAD等相关值。在该相关值为阈值以下的情况下，判断为左右图像相等。在SAD的值较大的情况下，左右的透视不同，因此判断为可以分割。

将通过以上判断而判断为可以分割的三维物体输入至三维物体分割处理S430，分割为多个三维物体。例如进行这样的处理，即，通过分别计算分割后的区域所含的视差的平均值来重新计算三维物体的距离，或者对因分割而发生了变化的高度和宽度的信息进行更新等。之后，与实施例1同样地输入到车辆识别部204，与其他三维物体同样地处理。

根据本实施例，首先粗略地进行三维物体检测，接着判断被检测为一个三维物体的对象是否可分割。本实施例中，仅对在三维物体检测中被作为一个三维物体检测出来的三维物体进行可否分割的判断，所以与实施例1相比处理对象较少，能够缩短处理时间。相比行人等较小的检测对象物，本实施例更适合车辆等较大的检测对象物的检测。

[实施例3]

实施例3是实施例1的变形例，此处给出使三维物体结合部203的结合判断中使用的阈值动态变化的实施方式。

在三维物体结合部203中，将像是车辆的宽度和高度、纵横比等(即，宽度和高度、纵横比等看起来像是车辆)用于判断，不过尽管统称为车辆但其实存在各种各样的形状。因此，为了防止误判断，优选根据对象的不同而使阈值动态地变化。

图13是表示本实施例的图像处理部111的结构的图。对于与实施例1、2相同的构成要素标注相同的标记从而省略其详细说明。

视差计算部201～车辆识别部204的各处理内容与实施例1相同。在本实施例追加的结合阈值调整部401中，计算三维物体结合部203中使用的阈值，使其动态地变化。

图14是表示本实施例的处理流程的图。结合判断阈值调整处理S501接收三维物体检测处理S103中的三维物体检测结果和车辆识别处理S105中的车辆识别结果，将它们作为输入。例如，以尺寸判断处理S221中的高度的阈值为一例。例如，作为高度的阈值的初始值，为了对应小型车到大型车，如果是“高度1m～3m”，就将高度的判断设定为OK。

然后，在根据车辆识别处理S105的车辆识别的结果，将高度1.5m的三维物体识别为车辆时，通过将阈值变更为“高度1m～2m”，能够在将识别为车辆的三维物体作为结合的对象的同时，抑制其以外的误结合。

作为一例列举了高度的判断，但是也能够与车辆的尺寸或车种信息相应地，例如调整尺寸判断处理S221中的宽度或纵横比、距离判断处理S222中的摄像距离的差值阈值(第三阈值)、视差稀疏区域判断处理S223中的稀疏区域判断的阈值等各种阈值。所得到的车辆识别结果与实施例1同样地被外部通信部112发送至外部，用于车辆控制等用途。

[实施例4]

实施例4是实施例1的变形例，此处给出在三维物体结合部203中提取作为对象的三维物体时，在图像中事先提取对象区域的实施方式。因为能够对作为判断对象的三维物体进行筛选，所以可以减轻整体的处理负荷。

图15是表示本实施例的图像处理部111的结构的图。对于与实施例1～3相同的构成要素标注相同的标记从而省略其详细说明。

视差计算部201～车辆识别部204的各处理内容与实施例1相同。在追加的结合判断对象区域检测部501中，提取要通过三维物体结合部203实施三维物体结合判断的区域。

图16是表示本实施例的处理流程的图。结合判断对象区域检测处理S601以视差图像作为输入，提取作为结合判断的对象的区域。例如，实施例1给出了进行三维物体的结合的方式，实施例2给出了进行三维物体的分割的方式，它们共通的一点是都在视差稀疏的区域中实施结合或分割。因此，在结合判断对象区域检测处理S601中，对整个视差图像生成视差的密度图。

此处，提取视差密度稀疏的区域及其周边区域作为结合判断的对象区域。是否是视差密度稀疏的区域是这样判断的，即，基于预先设定的视差密度阈值(第四阈值)判断图像中的视差密度，在视差密度为视差密度阈值以下的情况下判断为是稀疏区域。在三维物体结合处理S104中，仅将提取出的区域作为结合对象进行处理。由此，不再需要在充分获得了视差的区域中进行结合或分割的判断，可以减轻处理负荷。

另外，例如可以考虑基于CAN信息或路面信息推算本车行进路线的信息，使用该信息进行区域提取。根据本车的速度和转向角等CAN信息或白线等周边环境信息推算本车的行进路线，仅将位于本车行进路线上的三维物体作为结合对象输入到三维物体结合处理S104。在使用该方法的情况下，能够减轻处理负荷而不会遗漏与车辆控制尤其相关的行进路线上的对象。所得到的车辆识别结果与实施例1同样地被外部通信部112发送至外部，用于车辆控制等用途。

[实施例5]

此处给出将本发明应用于使用安装在车辆上的立体相机进行车辆检测，并将检测结果发送到外部来进行车辆控制的***的情况下的实施方式。

图17是表示包括车辆控制在内的情况下的整体结构的图。对于与实施例1～4相同的构成要素标注相同的标记从而省略其详细说明。

在进行车辆控制的情况下，优选根据检测的精度改变控制方法。例如，为了实现前车追踪功能，在检测出的车辆确实是车辆的情况下计算恰当的位置速度来对车辆进行控制，但在除此之外的情况下可能产生检测位置的偏差等误差。

于是，在可靠性计算部610中，对于外部通信部112向外部发送的信号附加检测的可靠性信息。作为可靠性信息的例子，可以列举用于区分三维物体检测部202的三维物体检测结果和三维物体结合部203的检测结果的信息。例如，对外部通信信号附加用于区分对象是在三维物体结合部203中结合得到的结合三维物体，还是由三维物体检测部202检测出的单独三维物体的标志。

向外部发送的信号被车辆控制部600接收，对制动601、警报602、加速603、转向605等进行控制。对于作为三维物体结合部203的结果而检测到的车辆(结合三维物体)而言，与作为三维物体检测部202的结果而检测到的车辆(单独三维物体)的情况相比，存在检测结果变得不稳定的可能性。

于是，例如可以考虑这样的动作，即，如果车辆是三维物体检测部202的检测结果(单独三维物体)则实现通常的前车追踪功能，但如果是三维物体结合部203的检测结果(结合三维物体)则将其仅应用于减弱制动601的控制，或者考虑到在三维物体结合部203中结合失败而暂时失去目标的可能性，在失去目标后也在极短时间内假设存在车辆而持续控制等。

本发明不限定于上述实施例，包括各种变形例。例如，上述实施例是为了易于理解地说明本发明而详细进行的说明，并不限定于必须具备说明的全部结构。另外，能够将某个实施例的结构的一部分置换为其他实施例的结构，也能够在某个实施例的结构上添加其他实施例的结构。另外，对于各实施例的结构的一部分，能够追加、删除、置换其他结构。

另外，上述各结构的一部分或全部可以由硬件构成，也可以构成为通过用处理器执行程序而实现。另外，控制线和信息线示出了认为说明上必要的，并不一定示出了产品上全部的控制线和信息线。实际上也可以认为几乎全部结构都互相连接。

附图标记说明

101 左摄像部

102 右摄像部

111 图像处理部

112 外部通信部

201 视差计算部

202 三维物体检测部

203 三维物体结合部

204 车辆识别部

301 三维物体分割部

401 结合阈值调整部

501 结合判断对象区域检测部

600 车辆控制部

Claims (10)

1.一种物体检测装置，其特征在于，包括：

三维物体检测部，其从左摄像部和右摄像部拍摄的左图像和右图像中检测多个三维物体；

结合候选提取部，其从所述多个三维物体中提取左右隔开间隔地存在的两个三维物体作为结合候选；

稀疏区域判断部，其判断在作为该结合候选提取出的所述两个三维物体之间的中间区域是否存在视差密度比左右区域小的视差稀疏区域；

匹配部，其从所述左右的图像中分别提取将被判断为在所述中间区域存在所述视差稀疏区域的所述两个三维物体假设为一个三维物体时的区域，并互相比较来判断透视是否相同；和

三维物体结合部，其在由该匹配部判断为透视相同的情况下，将所述两个三维物体判断为是一个三维物体。

2.如权利要求1所述的物体检测装置，其特征在于：

所述稀疏区域判断部在所述视差密度为第一阈值以下的情况下判断为存在所述视差稀疏区域。

3.如权利要求1所述的物体检测装置，其特征在于：

所述匹配部在从所述左右的图像分别提取出的区域的差值的绝对值经相加得到的相关值为第二阈值以下的情况下，判断为所述透视相同。

4.如权利要求1所述的物体检测装置，其特征在于，包括：

尺寸判断部，其判断以所述两个三维物体的检测区域为规定的检测对象物的两端的情况下的大小，是否与基于摄像距离决定的所述检测对象物的大小相当；和

距离判断部，其对作为所述结合候选提取出的所述两个三维物体各自的摄像距离进行比较来判断彼此是否相同，

所述稀疏区域判断部，在所述尺寸判断部判断为与所述检测对象物的大小相当，并且所述距离判断部判断为所述各自的摄像距离相同的情况下，进行是否存在所述视差稀疏区域的判断。

5.如权利要求4所述的物体检测装置，其特征在于：

所述距离判断部在所述两个三维物体各自的摄像距离的差值为第三阈值以下的情况下判断为所述各自的摄像距离相同。

6.如权利要求4所述的物体检测装置，其特征在于，包括：

车辆识别部，其识别由所述三维物体结合部判断为是所述一个三维物体的结合三维物体是否是车辆；和

结合阈值调整部，其根据该车辆识别部识别出的车辆的尺寸和/或车种信息而相应地调整所述三维物体结合部的判断阈值。

7.如权利要求1所述的物体检测装置，其特征在于：

包括结合判断对象区域检测部，其提取图像中的视差密度为预先设定的第四阈值以下的稀疏区域作为结合判断对象区域，

所述三维物体结合部仅以所述结合判断对象区域作为处理对象进行判断。

8.如权利要求1所述的物体检测装置，其特征在于：

所述三维物体结合部仅以基于CAN信息和/或路面信息推算出的本车行进路线上的三维物体作为结合对象。

9.如权利要求1所述的物体检测装置，其特征在于：

包括车辆控制部，

在外部通信信号上附加用于区分所述三维物体检测部的三维物体检测结果和三维物体结合部的检测结果的信息。

10.一种物体检测装置，其特征在于，包括：

三维物体检测部，其从左右的摄像部拍摄的左右图像中检测三维物体；

分割候选点搜索部，其判断在所述三维物体的中间区域是否存在视差密度比左右区域稀疏的区域，在判断为存在的情况下，将视差稠密的区域的端部作为分割候选点；

匹配部，其从所述左右图像中提取检测出所述三维物体的区域，互相进行比较来判断透视是否不同；和

三维物体分割部，其在该匹配部判断为透视不同的情况下，基于所述分割候选点分割所述三维物体。