CN103797529B - 三维物体检测装置 - Google Patents

三维物体检测装置 Download PDF

Info

Publication number
CN103797529B
CN103797529B CN201280043306.4A CN201280043306A CN103797529B CN 103797529 B CN103797529 B CN 103797529B CN 201280043306 A CN201280043306 A CN 201280043306A CN 103797529 B CN103797529 B CN 103797529B
Authority
CN
China
Prior art keywords
mentioned
dimensional body
image
value
difference
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201280043306.4A
Other languages
English (en)
Other versions
CN103797529A (zh
Inventor
土谷千加夫
早川泰久
田中慎也
深田修
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Original Assignee
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co Ltd filed Critical Nissan Motor Co Ltd
Publication of CN103797529A publication Critical patent/CN103797529A/zh
Application granted granted Critical
Publication of CN103797529B publication Critical patent/CN103797529B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8066—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring rearward traffic
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)
  • Mechanical Engineering (AREA)

Abstract

具备：三维物体检测部(33、37)，其根据摄像头(10)的车辆后方的图像信息来检测三维物体；自然物判断部(38)，其根据不规则性评价值来判断所检测出的三维物体是包含草或雪的自然物(Q1)，该不规则性评价值是根据在所检测出三维物体的差分图像上示出第一规定差分的第一像素的第一像素数以及与三维物体对应、示出大于第一规定差分的第二规定差分的第二像素的第二像素数计算出的；以及控制部(39)，其进行各处理的控制，其中，在由自然物判断部(38)判断为检测出的三维物体是自然物(Q1)的情况下，控制部(39)抑制所检测出的三维物体被判断为是其它车辆(VX)。

Description

三维物体检测装置
技术领域
本发明涉及三维物体检测装置。
本申请主张2011年9月12日申请的日本专利申请的特愿2011-198007的优先权，针对文献参照中允许进入的指定国，通过参照上述申请所记载的内容来引入本申请中，并作为本申请的记载的一部分。
背景技术
已知如下一种检测装置(参照专利文献1)：具备拍摄车辆侧方的摄像头，通过将由摄像头拍摄到的图像与预先存储的图案进行匹配，来检测道路外的植被等三维物体。
专利文献1：日本特开2006-315482号公报
发明内容
发明要解决的问题
然而，根据现有技术，存在如下问题：例如为了检测草等植被、斑驳地混杂有泥的雪等自然的三维物体，必须制作并存储各种植被、雪的多种图案，在进行判断时必须将这些很多的各图案与摄像图像进行匹配，从而处理负担大。并且，存在如下问题：由于路肩和道路外的植被等自然物的形状很难形成固定的形状，因此很难通过图案匹配正确地进行判断。
本发明要解决的问题在于提供一种三维物体检测装置，提高对包含路肩或道路外的草、雪的自然物等自然的三维物体的判断精度，同时对设为目标的其它车辆等人造的三维物体(非自然物)的检测精度高，并且提供一种三维物体检测装置，能够防止将包含路肩或道路外的草、雪的自然物的像错误检测为行驶于与本车辆的行驶车道相邻的邻近车道的其它车辆的像，从而以高精度检测行驶于邻近车道的其它车辆。
用于解决问题的方案
本发明通过以下处理来解决上述问题：根据摄像图像的差分波形信息或边缘信息来计算不规则性评价值，在计算出的不规则性评价值为预先设定的规定的不规则性评价阈值以上、即观察到作为自然物的不规则性的情况下，判断为所检测出的三维物体是沿着本车辆的行驶道路存在的包含草、雪的自然物的像。
发明的效果
根据本发明，在根据基于摄像图像计算出的差分波形信息或边缘信息计算出的不规则性评价值为规定的不规则性评价阈值以上的情况下，能够检测出图像信息包含具备不规则性的包含草、雪的自然物的像。通过使用该检测结果，能够防止将沿着车辆的行驶道路存在的包含草、雪的自然物的像错误检测为行驶于与本车辆的行驶车道相邻的邻近车道的其它车辆。其结果，能够提供一种高精度地检测行驶于与本车辆的行驶车道相邻的邻近车道的其它车辆的三维物体检测装置。
附图说明
图1是应用了本发明的三维物体检测装置的一个实施方式所涉及的车辆的概要结构图。
图2是表示图1的车辆的行驶状态的顶视图(基于差分波形信息的三维物体检测)。
图3是表示图1的计算机的详细内容的框图。
图4是用于说明图3的对位部的处理概要的图，(a)是表示车辆的移动状态的顶视图，(b)是表示对位的概要的图像。
图5是表示图3的三维物体检测部生成差分波形的情形的概要图。
图6是表示由图3的三维物体检测部分割是小区域的图。
图7是表示由图3的三维物体检测部得到的直方图的一例的图。
图8是表示图3的三维物体检测部的加权的图。
图9是表示图3的拖影检测部的处理以及基于该处理计算差分波形的处理的图。
图10是表示由图3的三维物体检测部得到的直方图的另一例的图。
图11是表示由图3的视点变换部、对位部、拖影检测部以及三维物体检测部执行的利用差分波形信息的三维物体检测方法的流程图(之一)。
图12是表示由图3的视点变换部、对位部、拖影检测部以及三维物体检测部执行的利用差分波形信息的三维物体检测方法的流程图(之二)。
图13是表示图1的车辆的行驶状态的图(基于边缘信息的三维物体检测)，(a)是表示检测区域等的位置关系的平面图，(b)是表示实际空间中的检测区域等的位置关系的立体图。
图14是用于说明图3的亮度差计算部的动作的图，(a)是表示鸟瞰视点图像中的关注线、参照线、关注点以及参照点的位置关系的图，(b)是表示实际空间中的关注线、参照线、关注点以及参照点的位置关系的图。
图15是用于说明图3的亮度差计算部的详细动作的图，(a)是表示鸟瞰视点图像中的检测区域的图，(b)是表示鸟瞰视点图像中的关注线、参照线、关注点以及参照点的位置关系的图。
图16是表示边缘线和边缘线上的亮度分布的图，(a)是表示在检测区域存在三维物体(车辆)时的亮度分布的图，(b)是表示在检测区域不存在三维物体时的亮度分布的图。
图17是表示由图3的视点变换部、亮度差计算部、边缘线检测部以及三维物体检测部执行的利用边缘信息的三维物体检测方法的流程图(之一)。
图18是表示由图3的视点变换部、亮度差计算部、边缘线检测部以及三维物体检测部执行的利用边缘信息的三维物体检测方法的流程图(之二)。
图19是表示用于说明边缘检测动作的图像例的图。
图20是表示映现有草的检测区域的图。
图21是表示检测区域在鸟瞰视点图像数据上的边缘点的图。
图22是表示鸟瞰视点图像数据上的边缘点的图，(a)表示车辆(轮胎部分)的边缘点，(b)表示草的边缘点，(C)表示雪的边缘点。
图23是表示不规则性评价处理的第一流程图。
图24是表示不规则性评价处理的第二流程图。
图25是表示包含自然物的判断处理的控制过程的另一例的流程图。
图26是用于说明解除三维物体检测抑制的控制过程的流程图。
图27是用于说明静止物体/移动物体的判断处理的第一图。
图28是用于说明静止物体/移动物体的判断处理的第二图。
图29是用于说明静止物体/移动物体的判断处理的第三图。
图30是表示静止物体/移动物体的判断处理的流程图。
具体实施方式
针对第一实施方式的三维物体检测装置1进行说明。
图1是应用了本发明的三维物体检测装置1的一个实施方式所涉及的车辆的概要结构图，本例的三维物体检测装置1是将本车辆V的驾驶员在驾驶过程中要予以注意的其它车辆、例如本车辆V在车道变更时有可能接触的其它车辆检测为障碍物的装置。特别地，本例的三维物体检测装置1检测行驶于与本车辆所行驶的车道相邻的邻近车道(以下还简称为邻近车道)的其它车辆。另外，本例的三维物体检测装置1能够计算所检测出的其它车辆的移动距离、移动速度。因此，以下说明的一例表示将三维物体检测装置1搭载于本车辆V并检测在本车辆周围检测的三维物体中的行驶于与本车辆V所行驶的车道相邻的邻近车道的其它车辆的例子。如该图所示，本例的三维物体检测装置1具备摄像头10、车速传感器20以及计算机30。
摄像头10如图1所示那样在本车辆V后方的高度h的地方以光轴相对于水平向下形成角度θ的方式安装于本车辆V。摄像头10从该位置拍摄本车辆V的周围环境中的规定区域。在本实施方式中，为了检测本车辆V后方的三维物体而设置的摄像头1是一个，但是也能够设置例如用于获取车辆周围的图像的其它的摄像头以用于其它的用途。车速传感器20用于检测本车辆V的行驶速度，并根据例如由检测车轮转速的车轮速度传感器检测出的车轮速度来计算车速。计算机30检测车辆后方的三维物体，并且在本例中计算关于该三维物体的移动距离和移动速度。
图2是表示图1的本车辆V的行驶状态的顶视图。如该图所示，摄像头10以规定的视角a拍摄车辆后方侧。此时，摄像头10的视角a被设定为除了能够拍摄到本车辆V所行驶的车道以外还能够拍摄到其左右的车道的视角。能够拍摄的区域包含在本车辆V的后方与本车辆V的行驶车道左右相邻的邻近车道上的检测对象区域A1、A2。
图3是表示图1的计算机30的详细内容的框图。此外，在图3中，为了明确连接关系，还图示了摄像头10、车速传感器20。
如图3所示，计算机30具备视点变换部31、对位部32、三维物体检测部33、检测区域设定部34以及拖影检测部40。本实施方式的计算部30是与利用差分波形信息检测三维物体的检测模块有关的结构。本实施方式的计算部30也能够设为与利用边缘信息检测三维物体的检测模块有关的结构。该情况能够将图3所示的结构中的由对位部32以及三维物体检测部33构成的模块结构A替换为用虚线包围的由亮度差计算部35、边缘线检测部36以及三维物体检测部37构成的模块结构B来构成。当然能够具备模块结构A和模块结构B两方，能够利用差分波形信息进行三维物体的检测，并且利用边缘信息进行三维物体的检测。在具备模块结构A和模块结构B的情况下，例如能够与明亮度等环境因素相应地使模块结构A和模块结构B中的某一个进行动作。以下，关于各结构进行说明。
<利用差分波形信息检测三维物体>
本实施方式的三维物体检测装置1根据由拍摄车辆后方的单眼的摄像头1获得的图像信息来检测在车辆后方的右侧邻近车道的检测区域A1或左侧邻近车道的检测区域A2存在的三维物体。检测区域设定部34在拍摄得到的图像信息内针对本车辆V后方的右侧和左侧分别设定检测区域A1、A2。该检测区域A1、A2的位置不特别地进行限定，也能够根据处理条件适当地进行设定。
接着，针对视点变换部进行说明。视点变换部31输入由摄像头10拍摄得到的规定区域的摄像图像数据，将所输入的摄像图像数据视点变换为鸟瞰视点状态的鸟瞰视点图像数据。鸟瞰视点状态是指从上空、例如从铅垂向下俯视的虚拟摄像头的视点观看的状态。能够例如日本特开2008-219063号公报所记载的那样执行该视点变换。将摄像图像数据视点变换为鸟瞰视点图像数据是因为基于三维物体所特有的铅垂边缘通过视点变换为鸟瞰视点图像数据而被变换为通过特定的定点的直线群这样的原理，利用该原理能够识别平面物体和三维物体。此外，在后述的利用边缘信息检测三维物体中也使用视点变换部31的图像变换处理的结果。
对位部32依次输入由视点变换部31的视点变换得到的鸟瞰视点图像数据，并决定所输入的不同时刻的鸟瞰视点图像数据的位置。图4是用于说明对位部32的处理概要的图，(a)是表示本车辆V的移动状态的顶视图，(b)是表示对位的概要的图像。
如图4的(a)所示，设为当前时刻的本车辆V位于V1，前一时刻的本车辆V位于V2。另外，设为其它车辆VX位于本车辆V的后侧方向并与本车辆V处于并列行驶状态，当前时刻的其它车辆VX位于V3，前一时刻的其它车辆VX位于V4。并且，设为本车辆V在一个时刻移动了距离d。此外，前一时刻可以是从当前时刻起经过预先决定的时间(例如一个控制周期)的过去的时刻，也可以是经过任意的时间的过去的时刻。
在这样的状态中，当前时刻的鸟瞰视点图像PBt如图4的(b)所示那样。在该鸟瞰视点图像PBt中，描绘在路面上的白线为矩形状，是比较准确地以顶视观察所形成的状态，但是处于位置V3的其它车辆VX的位置发生了倾斜。另外，前一时刻的鸟瞰视点图像PBt-1也同样地，描绘在路面上的白线为矩形状，是比较准确地以顶视观察所形成的状态，但是处于位置V4的其它车辆VX发生了倾斜。如已经记述的那样，是因为三维物体的铅垂边缘(除了严格意义上的铅垂边缘以外还包含在三维空间中从路面向上延伸的边缘)通过视点变换为鸟瞰视点图像数据的处理而表现为沿着倾斜方向的直线群，与此相对地路面上的平面图像不包含铅垂边缘，因此即使进行视点变换也不会产生那样的倾斜。
对位部32在数据上执行如上所述的鸟瞰视点图像PBt、PBt-1的对位。此时，对位部32使前一时刻的鸟瞰视点图像PBt-1偏移来使位置与当前时刻的鸟瞰视点图像PBt相一致。图4的(b)的左侧的图像和中央的图像表示偏移了移动距离d’后的状态。该偏移量d’是与图4的(a)所示的本车辆V的实际的移动距离d对应的鸟瞰视点图像数据上的移动量，根据来自车速传感器20的信号和从前一时刻至当前时刻的时间来决定。
另外，在对位之后，对位部32取鸟瞰视点图像PBt、PBt-1的差分，生成差分图像PDt的数据。在此，差分图像PDt的像素值可以是将鸟瞰视点图像PBt、PBt-1的像素值之差绝对值化得到的像素值，也可以为了对应照度环境的变化而在该绝对值超过规定的阈值p时设为“1”，在不超过规定的阈值p时设为“0”。图4的(b)的右侧的图像是差分图像PDt。
返回图3，三维物体检测部33根据图4的(b)所示的差分图像PDt的数据来检测三维物体。此时，本例的三维物体检测部33还计算在实际空间中的三维物体的移动距离。在三维物体的检测以及移动距离的计算时，三维物体检测部33首先生成差分波形。此外，在三维物体的移动速度的计算中使用三维物体的每单位时间的移动距离。而且，三维物体的移动速度能够在判断三维物体是否为车辆时使用。
在生成差分波形时，本实施方式的三维物体检测部33在差分图像PDt中设定检测区域。本例的三维物体检测装置1将本车辆V的驾驶员予以注意的其它车辆、特别是在本车辆V进行车道变更时有可能接触的行驶于与本车辆V所行驶的车道相邻的车道的其它车辆作为检测对象物进行检测。因此，在根据图像信息检测三维物体的本例中，在由摄像头1得到的图像中的本车辆V的右侧和左侧设定两个检测区域。具体地说，在本实施方式中，如图2所示那样在本车辆V后方的左侧和右侧设定矩形状的检测区域A1、A2。在该检测区域A1、A2中检测出的其它车辆被检测为与本车辆V所行驶的车道相邻的邻近车道的障碍物。此外，这样的检测区域A1、A2可以根据相对于本车辆V的相对位置进行设定，也可以将白线的位置作为基准进行设定。在以白线的位置为基准进行设定的情况下，移动距离检测装置1例如最好利用已有的白线识别技术等。
另外，三维物体检测部33将所设定的检测区域A1、A2的在本车辆V侧的边(沿着行驶方向的边)识别为触地线L1、L2(图2)。一般地说，触地线意味着三维物体接触地面的线，但是在本实施方式中不是接触地面的线而是如上述那样进行设定。此外，在这种情况下，从经验上看本实施方式所涉及的触地线与基于其它车辆VX的本来的位置求出的触地线之差也不会过大，从而在实际使用上没有问题。
图5是表示图3所示的三维物体检测部33生成差分波形的情形的概要图。如图5所示，三维物体检测部33根据由对位部32计算出的差分图像PDt(图4的(b)的右图)中的相当于检测区域A1、A2的部分来生成差分波形DWt。此时，三维物体检测部33沿着通过视点变换而三维物体倾倒的方向生成差分波形DWt。此外，在图5所示的例子中，为了方便仅使用检测区域A1进行说明，但是关于检测区域A2，也以相同的过程生成差分波形DWt。
具体地说，三维物体检测部33在差分图像DWt的数据上定义三维物体倾倒的方向上的线La。然后，三维物体检测部33对线La上示出规定的差分的差分像素DP的个数进行计数。在此，在差分图像DWt的像素值是将鸟瞰视点图像PBt、PBt-1的像素值之差绝对值化得到的像素值的情况下，示出规定的差分的差分像素DP是超过规定的阈值的像素，在差分图像DWt的像素值用“0”、“1”表现的情况下，是表示“1”的像素。
三维物体检测部33在对差分像素DP的个数进行计数之后，求出线La与触地线L1的交点CP。然后，三维物体检测部33将交点CP与计数数进行对应，根据交点CP的位置来决定横轴位置、即在图5的右图的上下方向轴上的位置，并且根据计数数决定纵轴位置、图5的右图的左右方向轴上的位置，绘制出交点CP处的计数数。
以下同样地，三维物体检测部33对三维物体倾倒的方向上的线Lb、Lc···进行定义，来对差分像素DP的个数进行计数，根据各交点CP的位置决定横轴位置、基于计数数(差分像素DP的个数)决定纵轴位置进行绘制。三维物体检测部33依次重复上述内容进行频数分布化来如图5右图所示那样生成差分波形DWt。
此外，如图5左图所示，三维物体倾倒的方向上的线La和线Lb与检测区域A1相重叠的距离不同。因此，当假设检测区域A1被差分像素DP填满时，线La上的差分像素DP的个数多于线Lb上的差分像素DP的个数。因此，三维物体检测部33在基于差分像素DP的计数数决定纵轴位置的情况下，根据三维物体倾倒的方向上的线La、Lb与检测区域A1相重叠的距离来进行标准化。当列举具体例时，在图5左图中，在线La上有6个差分像素DP，在线Lb上有5个差分像素DP。因此，在图5中基于计数数决定纵轴位置时，三维物体检测部33将计数数除以重叠距离等来进行标准化。由此，如差分波形DWt所示那样，与三维物体倾倒的方向上的线La、Lb对应的差分波形DWt的值大致相同。
在生成差分波形DWt之后，三维物体检测部33通过与前一时刻的差分波形DWt-1的对比来计算移动距离。即，三维物体检测部33基于差分波形DWt、DWt-1的时间变化来计算移动距离。
详细地说，三维物体检测部33如图6所示那样将差分波形DWt分割成多个小区域DWt1～DWtn(n为2以上的任意整数)。图6是表示由三维物体检测部33分割出的小区域DWt1～DWtn的图。小区域DWt1～DWtn例如图6所示那样以相互重叠的方式进行分割。例如小区域DWt1与小区域DWt2重叠，小区域DWt2与小区域DWt3重叠。
接着，三维物体检测部33按各小区域DWt1～DWtn求出偏移量(差分波形的横轴方向(图6的上下方向)的移动量)。在此，根据前一时刻的差分波形DWt-1与当前时刻的差分波形DWt之差(横轴方向的距离)求出偏移量。此时，三维物体检测部33按各小区域DWt1～DWtn，在使前一时刻的差分波形DWt-1沿横轴方向移动时，判断出与当前时刻的差分波形DWt的误差最小的位置(横轴方向的位置)，求出差分波形DWt-1的原来的位置与误差最小的位置的在横轴方向上的移动量来作为偏移量。然后，三维物体检测部33对按各小区域DWt1～DWtn求出的偏移量进行计数来制作直方图。
图7是表示由三维物体检测部33得到的直方图的一例的图。如图7所示，各小区域DWt1～DWtn与前一时刻的差分波形DWt-1的误差最小的移动量即偏移量稍微产生偏差。因此，三维物体检测部33将包含偏差的偏移量制作成直方图，基于直方图计算移动距离。此时，三维物体检测部33根据直方图的极大值计算三维物体的移动距离。即，在图7所示的例子中，三维物体检测部33将表示直方图的极大值的偏移量计算为移动距离τ*。此外，该移动距离τ*是其它车辆VX相对于本车辆V的相对移动距离。因此，三维物体检测部33在计算绝对移动距离的情况下，根据所得到的移动距离τ*和来自车速传感器20的信号来计算绝对移动距离。
此外，在制作成直方图时，三维物体检测部33也可以针对多个小区域DWt1～DWtn中的每一个进行加权，与权重相应地对按各小区域DWt1～DWtn求出的偏移量进行计数来制作直方图。图8是表示三维物体检测部33的加权的图。
如图8所示，小区域DWm(m为1以上、n-1以下的整数)是平坦的。即，小区域DWm的示出规定的差分的像素数的计数的最大值与最小值之差小。三维物体检测部33针对这样的小区域DWm将权重减小。这是因为关于平坦的小区域DWm没有特征，从而在计算偏移量时误差变大的可能性高。
另一方面，小区域DWm+k(k为n-m以下的整数)有大量的起伏。即，小区域DWm+k的示出规定的差分的像素数的计数数的最大值与最小值之差大。三维物体检测部33针对这样的小区域DWm+k将权重增大。这是因为关于有很多起伏的小区域DWm+k具有特征，从而能够正确地进行偏移量的计算的可能性高。通过像这样进行加权，能够提高移动距离的计算精度。
此外，为了提高移动距离的计算精度，在上述实施方式中，将差分波形DWt分割成了多个小区域DWt1～DWtn，但是在移动距离的计算精度要求不那么高的情况下，也可以不分割成小区域DWt1～DWtn。在这种情况下，三维物体检测部33根据差分波形DWt与差分波形DWt-1的误差最小时的差分波形DWt的偏移量来计算移动距离。即，求前一时刻的差分波形DWt-1与当前时刻的差分波形DWt的偏移量的方法不限定于上述内容。
返回图3，计算机30具备拖影检测部40。拖影检测部40根据由摄像头10拍摄得到的摄像图像的数据来检测拖影的产生区域。此外，由于拖影是在CCD图像传感器等中产生的过曝光现象，因此如果采用使用了不产生这样的拖影的CMOS图像传感器等的摄像头10，则也可以省略拖影检测部40。
图9是用于说明拖影检测部40的处理以及基于该处理的差分波形DWt的计算处理的图像图。首先，设为对拖影检测部40输入了存在拖影S的摄像图像P的数据。此时，拖影检测部40根据摄像图像P检测拖影S。拖影S的检测方法多种多样，例如在一般的CCD(Charge-Coupled Device：电荷耦合器件)摄像头的情况下，从光源仅向图像下方向产生拖影S。因此，在本实施方式中，检索从图像下侧向图像上方具有规定值以上的亮度值且在纵方向上连续的区域，将其确定为拖影S的产生区域。
另外，拖影检测部40生成关于拖影S的产生部分将像素值设为“1”、将除此以外的部分设为“0”的拖影图像SP的数据。在生成后，拖影检测部40将拖影图像SP的数据发送到视点变换部31。另外，输入了拖影图像SP的数据的视点变换部31将该数据视点变换为鸟瞰视点的状态。由此，视点变换部31生成拖影鸟瞰视点图像SBt的数据。在生成后，视点变换部31将拖影鸟瞰视点图像SBt的数据发送到对位部33。视点变换部31还将前一时刻的拖影鸟瞰视点图像SBt-1的数据发送到对位部33。
对位部32在数据上执行拖影鸟瞰视点图像SBt、SBt-1的对位。关于具体的对位，与在数据上执行鸟瞰视点图像PBt、PBt-1的对位的情况相同。另外，在对位后，对位部32关于各拖影鸟瞰视点图像SBt、SBt-1的拖影S的产生区域取逻辑和。由此，对位部32生成掩模图像MP的数据。在生成后，对位部32将掩模图像MP的数据发送到三维物体检测部33。
三维物体检测部33关于掩模图像MP中的相当于拖影S的产生区域的部分，将频数分布的计数数设为零。即，在生成了如图9所示那样的差分波形DWt的情况下，三维物体检测部33将拖影S的计数数SC设为零，生成校正后的差分波形DWt’。
此外，在本实施方式中，三维物体检测部33求出车辆V(摄像头10)的移动速度，根据求出的移动速度求出关于静止物体的偏移量。在求出静止物体的偏移量之后，三维物体检测部33忽略直方图的极大值中的相当于静止物体的偏移量之后计算三维物体的移动距离。
图10是表示由三维物体检测部33得到的直方图的另一例的图。在摄像头10的视角内除了其它车辆VX以外还存在静止物体的情况下，在得到的直方图中出现两个极大值τ1、τ2。在这种情况下，两个极大值τ1、τ2中的某一方是静止物体的偏移量。因此，三维物体检测部33根据移动速度求出关于静止物体的偏移量，忽略相当于该偏移量的极大值，采用剩下的一方的极大值计算三维物体的移动距离。
此外，在即使忽略相当于静止物体的偏移量也存在多个极大值的情况下，设想在摄像头10的视角内存在多辆其它车辆VX。但是，在检测区域A1、A2内存在多辆其它车辆VX的情形是非常少见的。因此，三维物体检测部33中止移动距离的计算。
接着，说明基于差分波形信息的三维物体检测过程。图11和图12是表示本实施方式的三维物体检测过程的流程图。如图11所示，首先，在步骤S0中，计算机30根据规定的规则设定检测区域。稍后详细记述该检测区域的设定方法。然后，计算机30输入由摄像头10得到的摄像图像P的数据，由拖影检测部40生成拖影图像SP(S1)。接着，视点变换部31根据来自摄像头10的摄像图像P的数据生成鸟瞰视点图像PBt的数据，并且根据拖影图像SP的数据生成拖影鸟瞰视点图像SBt的数据(S2)。
然后，对位部33将鸟瞰视点图像PBt的数据和前一时刻的鸟瞰视点图像PBt-1的数据进行对位，并且将拖影鸟瞰视点图像SBt的数据和前一时刻的拖影鸟瞰视点图像SBt-1的数据进行对位(S3)。在该对位之后，对位部33生成差分图像PDt的数据，并且生成掩模图像MP的数据(S4)。之后，三维物体检测部33根据差分图像PDt的数据和前一时刻的差分图像PDt-1的数据生成差分波形DWt(S5)。在生成差分波形DWt之后，三维物体检测部33将差分波形DWt中的相当于拖影S的产生区域的计数数设为零，从而抑制拖影S所产生的影响(S6)。
之后，三维物体检测部33判断差分波形DWt的峰值是否为第一阈值α以上(S7)。在此，在差分波形DWt的峰值不为第一阈值α以上的情况下、即几乎不存在差分的情况下，认为在摄像图像P内存在三维物体。因此，在判断为差分波形DWt的峰值不为第一阈值α以上的情况下(S7：“否”)，三维物体检测部33判断为不存在三维物体，从而不存在作为障碍物的其它车辆(图12：S16)。然后，结束图11和图12所示的处理。
另一方面，在判断为差分波形DWt的峰值为第一阈值α以上的情况下(S7：“是”)，三维物体检测部33判断为存在三维物体，将差分波形DWt分割成多个小区域DWt1～DWtn(S8)。接着，三维物体检测部33针对各小区域DWt1～DWtn进行加权(S9)。之后，三维物体检测部33计算各小区域DWt1～DWtn的偏移量(S10)，加上权重后生成直方图(S11)。
然后，三维物体检测部33基于直方图计算三维物体相对于本车辆V的移动距离、即相对移动距离(S12)。接着，三维物体检测部33根据相对移动距离计算三维物体的绝对移动速度(S13)。此时，三维物体检测部33对相对移动距离进行时间微分来计算相对移动速度，并且加上由车速传感器20检测出的本车速度来计算绝对移动速度。
之后，三维物体检测部33判断三维物体的绝对移动速度是否为10km/h以上且三维物体相对于本车辆V的相对移动速度是否为+60km/h以下(S14)。在满足双方的情况下(S14：“是”)，三维物体检测部33判断为三维物体是其它车辆VX(S15)。然后，结束图11和图12所示的处理。另一方面，在任一方都不满足的情况下(S14：“否”)，三维物体检测部33判断为不存在其它车辆(S16)。然后，结束图11和图12所示的处理。
此外，在本实施方式中，将本车辆V的后侧方设为检测区域A1、A2，检测本车辆V在行驶过程中要予以注意的行驶于与本车辆的行驶车道相邻的邻近车道的其它车辆VX，特别地，重点在于在本车辆V进行车道变更的情况下是否有接触的可能性。这是为了在本车辆V进行车道变更的情况下，判断是否有可能接触到行驶于与本车辆的行驶车道相邻的邻近车道的其它车辆VX。因此，执行了步骤S14的处理。即，当以使本实施方式的***在高速公路上进行动作的情形为前提时，在三维物体的速度小于10km/h的情况下，即使存在其它车辆VX，在进行车道变更时由于位于距本车辆V很远的后方，因此很少会成为问题。同样地，在三维物体相对于本车辆V的相对移动速度超过+60km/h的情况下(即，三维物体相对于本车辆V的速度以大于60km/h的速度移动的情况下)，在进行车道变更时，由于移动到了本车辆V的前方，因此很少会成为问题。因此，在步骤S14中，也可以说判断出了在进行车道变更时成为问题的其它车辆VX。
另外，通过在步骤S14中判断三维物体的绝对移动速度是否为10km/h以上且三维物体相对于本车辆V的相对移动速度是否为+60km/h以下，由此存在以下的效果。例如，根据摄像头10的安装误差，有可能存在将静止物体的绝对移动速度检测出是数km/h的情况。因此，通过判断是否为10km/h以上，能够减少将静止物体判断为是其它车辆VX的可能性。另外，有可能由于噪声而导致将三维物体相对于本车辆V的相对速度检测为超过+60km/h的速度。因此，通过判断相对速度是否为+60km/h以下，能够减少因噪声引起的错误检测的可能性。
并且，代替步骤S14的处理，也可以判断绝对移动速度不为负或者不为0km/h。另外，在本实施方式中，重点在于本车辆V在进行车道变更的情况下是否有接触的可能性，因此在步骤S15中检测出其它车辆VX的情况下，可以向本车辆的驾驶员发出警告音，或者通过规定的显示装置进行相当于警告的显示。
这样，根据本例的基于差分波形信息的三维物体的检测过程，沿着通过视点变换而三维物体倾倒的方向，对在差分图像PDt的数据上示出规定的差分的像素数进行计数来进行频数分布化，由此生成差分波形DWt。在此，在差分图像PDt的数据上示出规定的差分的像素是指在不同时刻的图像中存在变化的像素，换言之，可以说是存在三维物体的部分。因此，在存在三维物体的部分，通过沿着三维物体倾倒的方向对像素数进行计数来进行频数分布化，由此生成差分波形DWt。特别地，由于沿着三维物体倾倒的方向对像素数进行计数，因此根据针对三维物体来说在高度方向上的信息来生成差分波形DWt。然后，根据包含高度方向的信息的差分波形DWt的时间变化来计算三维物体的移动距离。因此，与仅着眼于1个点的移动的情况相比，时间变化前的检测部分和时间变化后的检测部分由于包含高度方向的信息进行确定，因此容易得到三维物体中相同的部分，从而根据相同部分的时间变化来计算移动距离，能够提高移动距离的计算精度。
另外，关于差分波形DWt中的相当于拖影S的产生区域的部分，将频数分布的计数数设为零。由此，去除差分波形DWt中的由拖影S产生的波形部位，从而能够防止将拖影S错误识别为三维物体的情形。
另外，根据在不同的时刻生成的差分波形DWt的误差最小时的差分波形DWt的偏移量来计算三维物体的移动距离。因此，根据波形这样的一维的信息的偏移量来计算移动距离，从而能够在计算移动距离时抑制计算成本。
另外，将在不同的时刻生成的差分波形DWt分割成多个小区域DWt1～DWtn。通过像这样分割成多个小区域DWt1～DWtn，由此得到多个表示三维物体的各个部分的波形。另外，针对各小区域DWt1～DWtn求出各个波形的误差最小时的偏移量，对针对各小区域DWt1～DWtn求出的偏移量进行计数来制作直方图，由此计算三维物体的移动距离。因此，针对三维物体的各个部分求出偏移量，并根据多个偏移量求出移动距离，从而能够提高移动距离的计算精度。
另外，针对多个小区域DWt1～DWtn中的每一个进行加权，与权重相应地对针对各小区域DWt1～DWtn求出的偏移量进行计数来制作直方图。因此，关于特征性的区域将权重增大，关于非特征性的区域将权重减小，由此能够更适当地计算移动距离。因而，能够进一步提高移动距离的计算精度。
另外，关于差分波形DWt的各小区域DWt1～DWtn，示出规定的差分的像素数的计数的最大值与最小值之差越大，使权重越大。因此，最大值与最小值之差越大的特征性的起伏区域而权重越大，关于起伏小的平坦的区域，权重变小。在此，就形状来说，起伏大的区域相比于平坦的区域更容易正确地求出偏移量，因此通过最大值与最小值之差越大的区域而使权重越大，由此能够进一步提高移动距离的计算精度。
另外，根据对针对各小区域DWt1～DWtn求出的偏移量进行计数得到的直方图的极大值，计算三维物体的移动距离。因此，即使偏移量产生偏差，也能够根据其极大值来计算正确性更高的移动距离。
另外，求出关于静止物体的偏移量，并忽略该偏移量，因此能够防止由于静止物体而导致三维物体的移动距离的计算精度下降的情形。另外，在忽略了相当于静止物体的偏移量之后，如果存在多个极大值，则中止三维物体的移动距离的计算。因此，能够防止如存在多个极大值那样的错误地计算移动距离的情形。
此外，在上述实施方式中，根据来自车速传感器20的信号判断本车辆V的车速，但是不限于此，也可以根据不同时刻的多个图像来估计速度。在这种情况下，不需要车速传感器，能够实现结构的简单化。
另外，在上述实施方式中，将拍摄到的当前时刻的图像和前一时刻的图像变换为鸟瞰图，对变换后的鸟瞰图进行对位之后生成差分图像PDt，对所生成的差分图像PDt沿着倾斜方向(将拍摄到的图像变换为鸟瞰图时的三维物体的倾斜方向)进行评价来生成差分波形DWt，但是不限定于此。例如也可以仅将前一时刻的图像变换为鸟瞰图，对变换得到的鸟瞰图进行对位之后再次变换为与所拍摄的图像相当的图像，用该图像和当前时刻的图像生成差分图像，对所生成的差分图像沿着相当于倾斜方向的方向(即，将倾斜方向变换为摄像图像上的方向所得到的方向)进行评价来生成差分波形DWt。即，对当前时刻的图像和前一时刻的图像进行对位，根据进行对位后的两个图像的差分生成差分图像PDt，只要能够沿着将差分图像PDt变换为鸟瞰图时的三维物体的倾斜方向进行评价，也可以不必明确地生成鸟瞰图。
<基于边缘信息检测三维物体>
接着，说明能够代替图3所示的模块A而进行动作的由亮度差计算部35、边缘线检测部36以及三维物体检测部37构成的利用边缘信息的三维物体的检测模块B。图13是表示图3的摄像头10的摄像范围等的图，图13的(a)是平面图，图13的(b)表示本车辆V后侧方的实际空间中的立体图。如图13的(a)所示，摄像头10被形成为规定的视角a，从本车辆V拍摄包含于该规定的视角a中的后侧方。摄像头10的视角a与图2所示的情况同样地被设定成在摄像头10的摄像范围内除了包含本车辆V所行驶的车道以外还包含相邻的车道。
本例的检测区域A1、A2在平面图(鸟瞰视点的状态)中形成为梯形状，这些检测区域A1、A2的位置、大小以及形状根据距离d1～d4决定。此外，该图所示的例子的检测区域A1、A2不限于梯形状，也可以是如图2所示那样在鸟瞰视点的状态下为矩形等其它的形状。此外，本实施方式的检测区域设定部34也能够通过之前记述的方法来设定检测区域A1、A2。
在此，距离d1是从本车辆V到触地线L1、L2的距离。触地线L1、L2的意思是存在于与本车辆V所行驶的车道相邻的车道的三维物体接触地面的线。在本实施方式中，目的是检测在本车辆V的后侧方行驶于与本车辆V的车道相邻的左右车道的其它车辆VX等(包含二轮车等)。因此，能够事先根据本车辆V至白线W的距离d11和从白线W至预测为其它车辆VX行驶的位置的距离d12，大致固定地决定作为其它车辆VX的触地线L1、L2的位置的距离d1。
另外，关于距离d1，不限于决定为固定的值，也可以设为可变。在这种情况下，计算机30通过白线识别等技术来识别白线W相对于本车辆V的位置，根据识别出的白线W的位置来决定距离d11。由此，使用所决定的距离d11可变地设定距离d1。在以下的本实施方式中，由于其它车辆VX行驶的位置(距白线W的距离d12)和本车辆V行驶的位置(距白线W的距离d11)大致固定，因此设为距离d1被决定为固定的值。
距离d2是从本车辆V的后端部沿车辆行进方向延伸的距离。以检测区域A1、A2至少收容在摄像头10的视角a内的方式决定该距离d2。特别地，在本实施方式中，距离d2被设定为与由视角a划分的范围相连。距离d3是表示检测区域A1、A2的在车辆行进方向上的长度的距离。该距离d3根据作为检测对象的三维物体的大小决定。在本实施方式中，由于检测对象是其它车辆VX等，因此距离d3被设定为包含其它车辆VX的长度。
距离d4是如图13的(b)所示那样表示被设定成在实际空间中包含其它车辆VX等的轮胎的高度的距离。距离d4在鸟瞰视点图像中设为图13的(a)所示的长度。此外，距离d4也能够设为不包含鸟瞰视点图像中相比于左右的邻近车道的下一邻近车道(即，隔一车道的邻近车道)的长度。这是因为如果包含与本车辆V的车道隔一车道的邻近车道，则无法区分是在作为本车辆V所行使的车道的本车道的左右邻近车道内存在其它车辆VX、还是在隔一车道的邻近车道内存在其它车辆VX。
如以上那样决定距离d1～距离d4，由此决定检测区域A1、A2的位置、大小以及形状。具体地说，根据距离d1，决定形成梯形的检测区域A1、A2的上边b1的位置。根据距离d2，决定上边b1的起点位置C1。根据距离d3，决定上边b1的终点位置C2。根据从摄像头10向起点位置C1延伸的直线L3，决定形成梯形的检测区域A1、A2的侧边b2。同样地，根据从摄像头10向终点位置C2延伸的直线L4，决定形成梯形的检测区域A1、A2的侧边b3。根据距离d4，决定形成梯形的检测区域A1、A2的下边b4的位置。这样，由各边b1～b4包围的区域设为检测区域A1、A2。该检测区域A1、A2如图13的(b)所示那样在本车辆V后侧方的实际空间中形成为正方形(长方形)。
返回图3，视点变换部31输入由摄像头10拍摄得到的规定区域的摄像图像数据。视点变换部31针对所输入的摄像图像数据进行视点变换处理形成为鸟瞰视点状态的鸟瞰视点图像数据。鸟瞰视点状态是指从上空、例如从铅垂向下(或者稍微斜向下)俯视的虚拟摄像头的视点观看的状态。例如能够通过日本特开2008-219063号公报所记载的技术来实现该视点变换处理。
亮度差计算部35为了检测鸟瞰视点图像中包含的三维物体的边缘，而针对由视点变换部31进行视点变换得到的鸟瞰视点图像数据进行亮度差的计算。亮度差计算部35针对沿着在实际空间中的铅垂方向上延伸的铅垂虚拟线的多个位置中的每个位置计算该各位置附近的两个像素间的亮度差。亮度差计算部35能够通过仅设定一条在实际空间中的铅垂方向上延伸的铅垂虚拟线的方法以及设定两条铅垂虚拟线的方法中的任一个方法来计算亮度差。
针对设定两条铅垂虚拟线的具体方法进行说明。亮度差计算部35针对进行视点变换得到的鸟瞰视点图像设定相当于在实际空间中在铅垂方向上延伸的线段的第一铅垂虚拟线以及相当于与第一铅垂虚拟线不同并在实际空间中在铅垂方向上延伸的线段的第二铅垂虚拟线。亮度差计算部35沿着第一铅垂虚拟线和第二铅垂虚拟线连续地求出第一铅垂虚拟线上的点与第二铅垂虚拟线上的点的亮度差。以下，详细说明该亮度差计算部35的动作。
亮度差计算部35如图14的(a)所示那样设定相当于在实际空间中在铅垂方向上延伸的线段且通过检测区域A1的第一铅垂虚拟线La(以下称为关注线La)。另外，亮度差计算部35设定相当于与关注线La不同并在实际空间中在铅垂方向上延伸的线段且通过检测区域A1的第二铅垂虚拟线Lr(以下称为参照线Lr)。在此，参照线Lr被设置于距离关注线La分离实际空间中的规定距离的位置处。此外，与实际空间中在铅垂方向上延伸的线段相当的线是指在鸟瞰视点图像中从摄像头10的位置Ps起呈放射状扩展的线。该呈放射状扩展的线是沿着在变换为鸟瞰视点时三维物体倾倒的方向的线。
亮度差计算部35在关注线La上设定关注点Pa(第一铅垂虚拟线上的点)。另外，亮度差计算部35在参照线Lr上设定参照点Pr(第二铅垂虚拟线上的点)。这些关注线La、关注点Pa、参照线Lr、参照点Pr在实际空间中形成图14的(b)所示的关系。根据图14的(b)可知，关注线La和参照线Lr是在实际空间中在铅垂方向上延伸的线，关注点Pa和参照点Pr是在实际空间中被设定为大致相同的高度的点。此外，关注点Pa和参照点Pr并不一定需要是严格上的相同的高度，关注点Pa和参照点Pr被视为相同高度的程度的误差是允许的。
亮度差计算部35求出关注点Pa与参照点Pr的亮度差。假设关注点Pa与参照点Pr的亮度差较大时，认为在关注点Pa与参照点Pr之间存在边缘。因此，图3所示的边缘线检测部36根据关注点Pa与参照点Pr的亮度差来检测边缘线。
更详细地说明该点。图15是表示亮度差计算部35的详细动作的图，图15的(a)表示鸟瞰视点状态的鸟瞰视点图像，图15的(b)是将图15的(a)所示的鸟瞰视点图像的一部分B1放大后的图。此外，关于图15，仅图示检测区域A1进行说明，关于检测区域A2，也以相同的过程计算亮度差。
在摄像头10拍摄到的摄像图像内拍摄有其它车辆VX的情况下，如图15的(a)所示那样，在鸟瞰视点图像内的检测区域A1出现其它车辆VX。如图15的(b)示出图15的(a)中的区域B1的放大图那样，设为在鸟瞰视点图像上，在其它车辆VX的轮胎的橡胶部分上设定了关注线La。在该状态中，亮度差计算部35首先设定参照线Lr。参照线Lr沿铅垂方向设定在实际空间中距关注线La规定的距离的位置上。具体地说，在本实施方式所涉及的三维物体检测装置1中，参照线Lr被设定在与关注线La在实际空间中相距10cm的位置处。由此，参照线Lr在鸟瞰视点图像上例如被设定在与其它车辆VX的轮胎的橡胶相距相当于10cm的距离的其它车辆VX的轮胎的轮辋(wheel)上。
接着，亮度差计算部35在关注线La上设定多个关注点Pa1～PaN。在图15的(b)中，为了便于说明，设定了六个关注点Pa1～Pa6(以下，在表示任意的点的情况下，仅称为关注点Pai)。此外，设定在关注线La上的关注点Pa的个数可以是任意的。在以下的说明中，设为在关注线La上设定了N个关注点Pa进行说明。
接着，亮度差计算部35将各参照点Pr1～PrN设定成在实际空间中与各关注点Pa1～PaN相同的高度。而且，亮度差计算部35计算相同高度的关注点Pa与参照点Pr的亮度差。由此，亮度差计算部35针对沿着在实际空间中的铅垂方向上延伸的铅垂虚拟线的多个位置(1～N)中的每个位置计算两个像素间的亮度差。亮度差计算部35例如计算第一关注点Pa1与第一参照点Pr1之间的亮度差，计算第二关注点Pa2与第二参照点Pr2之间的亮度差。由此，亮度差计算部35沿着关注线La和参照线Lr连续地求出亮度差。即，亮度差计算部35依次求出第三～第N关注点Pa3～PaN与第三～第N参照点Pr3～PrN的亮度差。
亮度差计算部35在检测区域A1内移动关注线La的同时重复执行上述的参照线Lr的设定、关注点Pa和参照点Pr的设定、亮度差的计算这样的处理。即，亮度差计算部35在实际空间中沿触地线L1的存在方向以相同的距离改变关注线La和参照线Lr各自的位置的同时重复执行上述的处理。亮度差计算部35例如将在前次处理中成为参照线Lr的线设定为关注线La，针对该关注线La设定参照线Lr，依次求出亮度差。
返回图3，边缘线检测部36根据由亮度差计算部35计算出的连续的亮度差来检测边缘线。例如在图15的(b)所示的情况下，第一关注点Pa1和第一参照点Pr1位于相同的轮胎部分，因此亮度差小。另一方面，第二～第六关注点Pa2～Pa6位于轮胎的橡胶部分，第二～第六参照点Pr2～Pr6位于轮胎的轮辋部分。因而，第二～第六关注点Pa2～Pa6与第二～第六参照点Pr2～Pr6的亮度差变大。因此，边缘线检测部36能够检测出在亮度差大的第二～第六关注点Pa2～Pa6与第二～第六参照点Pr2～Pr6之间存在边缘线。
具体地说，边缘线检测部36在检测边缘线时，首先依照下述的数式1，根据第i个关注点Pai(坐标(xi,yi))与第i个参照点Pri(坐标(xi’,yi’))的亮度差来对第i个关注点Pai赋予属性。
[数1]
I(xi，yi)＞I(xi’，yi’)+t时
s(xi，yi)＝1
I(xi，yi)＜I(xi’，yi’)-t时
s(xi，yi)＝-1
在上述以外的情况时
s(xi，yi)＝0
在上述数式1中，t表示阈值，I(xi,yi)表示第i个关注点Pai的亮度值，I(xi’,yi’)表示第i个参照点Pri的亮度值。根据上述数式1，在关注点Pai的亮度值高于参照点Pri加上阈值t得到的亮度值的情况下，该关注点Pai的属性s(xi,yi)为‘1’。另一方面，在关注点Pai的亮度值低于从参照点Pri减去阈值t得到的亮度值的情况下，该关注点Pai的属性s(xi,yi)为‘﹣1’。在关注点Pai的亮度值与参照点Pri的亮度值为除此以外的关系的情况下，关注点Pai的属性s(xi,yi)为‘0’。
接着，边缘线检测部36基于下述数式2，根据沿着关注线La的属性s的连续性c(xi,yi)判断关注线La是否为边缘线。
[数2]
s(xi，yi)＝s(xi+1，yi+1)时(且除了0＝0)、
c(xi，yi)＝1
在上述以外的情况时，
c(xi，yi)＝0
在关注点Pai的属性s(xi,yi)与相邻的关注点Pai+1的属性s(xi+1,yi+1)相同的情况下，连续性c(xi,yi)为‘1’。在关注点Pai的属性s(xi,yi)与相邻的关注点Pai+1的属性s(xi+1,yi+1)不同的情况下，连续性c(xi,yi)为‘0’。
接着，边缘线检测部36关于关注线La上的所有关注点Pa的连续性c求出总和。边缘线检测部36通过将求出的连续性c的总和除以关注点Pa的个数N，来对连续性c进行标准化。边缘线检测部36在进行了标准化的值超过阈值θ的情况下，将关注线La判断为边缘线。此外，阈值θ是预先通过实验等设定的值。
即，边缘线检测部36基于下述数式3判断关注线La是否为边缘线。而且，边缘线检测部36关于描绘在检测区域A1上的所有关注线La判断是否为边缘线。
[数3]
Σc(xi，yi)/N＞θ
返回图3，三维物体检测部37根据由边缘线检测部36检测出的边缘线的量来检测三维物体。如上述那样，本实施方式所涉及的三维物体检测装置1检测在实际空间中在铅垂方向上延伸的边缘线。检测出很多的在铅垂方向上延伸的边缘线就是在检测区域A1、A2存在三维物体的可能性高。因此，三维物体检测部37根据由边缘线检测部36检测出的边缘线的量来检测三维物体。并且，三维物体检测部37在检测三维物体之前，判断由边缘线检测部36检测出的边缘线是否为正确的边缘线。三维物体检测部37判断沿着边缘线上的鸟瞰视点图像的边缘线的亮度变化是否大于规定的阈值。在边缘线上的鸟瞰视点图像的亮度变化大于阈值的情况下，判断为该边缘线是由于错误判断而检测出的。另一方面，在边缘线上的鸟瞰视点图像的亮度变化不大于阈值的情况下，判断为该边缘线是正确的边缘线。此外，该阈值是通过实验等预先设定的值。
图16是表示边缘线的亮度分布的图，图16的(a)表示在检测区域A1内存在作为三维物体的其它车辆VX时的边缘线和亮度分布，图16的(b)表示在检测区域A1内不存在三维物体时的边缘线和亮度分布。
如图16的(a)所示，设为判断为在鸟瞰视点图像中设定于其它车辆VX的轮胎橡胶部分的关注线La是边缘线。在这种情况下，关注线La上的鸟瞰视点图像的亮度变化平缓。这是由于由摄像头10拍摄到的图像被视点变换为鸟瞰视点图像，由此其它车辆VX的轮胎在鸟瞰视点图像内被拉长。另一方面，如图16的(b)所示，设为鸟瞰视点图像中被设定在描绘于路面上的“50”这样的白色文字部分上的关注线La被错误判断为是边缘线。在这种情况下，关注线La上的鸟瞰视点图像的亮度变化为起伏大的变化。这是因为在边缘线上混杂有白色文字中的亮度高的部分和路面等的亮度低的部分。
根据如以上那样的关注线La上的亮度分布的差异，三维物体检测部37判断边缘线是否为由于错误判断而检测出的。三维物体检测部37在沿着边缘线的亮度变化大于规定的阈值的情况下，判断为该边缘线是由于错误判断而检测出的。而且，在检测三维物体时不使用该边缘线。由此，抑制路面上的“50”这样的白色文字、路肩的杂草等被判断为边缘线，从而抑制三维物体的检测精度下降。
具体地说，三维物体检测部37通过下述数式4、数式5中的任一个来计算边缘线的亮度变化。该边缘线的亮度变化相当于实际空间中的铅垂方向的评价值。下述数式4通过关注线La上的第i个亮度值I(xi,yi)与相邻的第i+1个亮度值I(xi+1,yi+1)的差分的平方的合计值来评价亮度分布。下述数式5通过关注线La上的第i个亮度值I(xi,yi)和相邻的第i+1个亮度值I(xi+1,yi+1)的差分的绝对值的合计值来评价亮度分布。
[数4]
铅垂对应方向的评价值＝Σ[{I(xi，yi)-I(xi+1，yi+1)}2]
[数5]
铅垂对应方向的评价值＝Σ|I（xi，yi）-I(xi+1，yi+1)|
此外，不限于数式5，也可以如下述数式6那样，利用阈值t2将相邻的亮度值的属性b进行二值化，来将该二值化得到的属性b关于所有的关注点Pa进行总和。
[数6]
铅垂对应方向的评价值＝Σb(xi，yi)
其中，|I(xi，yi)-I(xi+1，yi+1)|＞t2时，
b(xi，yi)＝1
在上述以外的情况时，
b(xi，yi)＝0
在关注点Pai的亮度值与参照点Pri的亮度值的亮度差的绝对值大于阈值t2的情况下，该关注点Pa(xi,yi)的属性b(xi,yi)为‘1’。在除此以外的关系的情况下，关注点Pai的属性b(xi,yi)为‘0’。该阈值t2是为了判断关注线La不在相同的三维物体上而通过实验等预先设定的。而且，三维物体检测部37将关于关注线La上的所有关注点Pa的属性b进行总和来求出铅垂对应方向的评价值，判断边缘线是否为正确的边缘线。
接着，关于本实施方式所涉及的利用边缘信息的三维物体检测方法进行说明。图17和图18是表示本实施方式所涉及的三维物体检测方法的详细内容的流程图。此外，在图17和图18中，为了方便，说明以检测区域A1为对象的处理，但是关于检测区域A2，也执行相同的处理。
如图17所示，首先，在步骤S20中，计算机30根据规定的规则设定检测区域。稍后详细记述该检测区域的设定方法。然后，在步骤S21中，摄像头10拍摄由视角a和安装位置所确定的规定区域。接着，视点变换部31在步骤S22中输入在步骤S21中由摄像头10拍摄得到的摄像图像数据，进行视点变换来生成鸟瞰视点图像数据。
接着，在步骤S23中，亮度差计算部35在检测区域A1上设定关注线La。此时，亮度差计算部35将与在实际空间中在铅垂方向上延伸的线相当的线设定为关注线La。接着，在步骤S24中，亮度差计算部35在检测区域A1上设定参照线Lr。此时，亮度差计算部35将相当于在实际空间中在铅垂方向上延伸的线段且与关注线La在实际空间中相距规定距离的线设定为参照线Lr。
接着，在步骤S25中，亮度差计算部35在关注线La上设定多个关注点Pa。此时，亮度差计算部35设定在边缘线检测部36检测边缘时不会成为问题的程度的个数的关注点Pa。另外，在步骤S26中，亮度差计算部35将参照点Pr设定成在实际空间中关注点Pa和参照点Pr处于大致相同的高度。由此，关注点Pa和参照点Pr在大致水平方向上排列，容易检测在实际空间中在铅垂方向上延伸的边缘线。
接着，在步骤S27中，亮度差计算部35计算在实际空间中处于相同高度的关注点Pa与参照点Pr的亮度差。接着，边缘线检测部36依照上述的数式1计算各关注点Pa的属性s。接着，在步骤S28中，边缘线检测部36依照上述的数式2计算各关注点Pa的属性s的连续性c。接着，在步骤S29中，边缘线检测部36依照上述数式3，判断将连续性c的总和标准化得到的值是否大于阈值θ。在判断为标准化得到的值大于阈值θ的情况下(S29：“是”)，在步骤S30中，边缘线检测部36将该关注线La检测为边缘线。然后，处理转移到步骤S31。在判断为标准化得到的值不大于阈值θ的情况下(S29：“否”)，边缘线检测部36不将该关注线La检测为边缘线，处理转移到步骤S31。
在步骤S31中，计算机30判断是否关于检测区域A1上可设定的所有关注线La执行了上述的步骤S23～步骤S30的处理。在判断为未关于所有的关注线La进行上述处理的情况下(S31：“否”)，将处理返回步骤S23，重新设定关注线La，并重复进行步骤S31为止的处理。另一方面，在判断为关于所有的关注线La进行了上述处理的情况下(S31：“是”)，处理转移到图18的步骤S32。
在图18的步骤S32中，三维物体检测部37关于在图17的步骤S30中检测出的各边缘线计算沿着该边缘线的亮度变化。三维物体检测部37依照上述数式4、数式5、数式6中的任一个来计算边缘线的亮度变化。接着，在步骤S33中，三维物体检测部37去除边缘线中的亮度变化大于规定的阈值的边缘线。即，判断为亮度变化大的边缘线不是正确的边缘线，在检测三维物体时不使用边缘线。如上述那样这是为了抑制检测区域A1中包含的路面上的文字、路肩的杂草等被检测为边缘线的情形。因而，规定的阈值是指预先通过实验等求出的根据由于路面上的文字、路肩的杂草等而产生的亮度变化设定的值。
接着，在步骤S34中，三维物体检测部37判断边缘线的量是否为第二阈值β以上。例如在设定四轮车作为检测对象的三维物体的情况下，预先通过实验等根据在检测区域A1内出现的四轮车的边缘线的个数来设定该第二阈值β。在判断为边缘线的量为第二阈值β以上的情况下(S34：“是”)，在步骤S35中，三维物体检测部37检测为在检测区域A1内存在三维物体。另一方面，在判断为边缘线的量不为第二阈值β以上的情况下(S34：“否”)，三维物体检测部37判断为在检测区域A1内不存在三维物体。之后，结束图17和图18所示的处理。检测出的三维物体可以判断为是行驶于与本车辆V所行驶的车道相邻的邻近车道的其它车辆VX，也可以考虑检测出的三维物体相对于本车辆V的相对速度而判断是否为行驶于邻近车道的其它车辆VX。
如上所述，根据本实施方式的利用边缘信息的三维物体的检测方法，为了检测存在于检测区域A1、A2的三维物体，而针对鸟瞰视点图像设定了作为在实际空间中在铅垂方向上延伸的线段的铅垂虚拟线。而且，能够针对沿着铅垂虚拟线的多个位置的每个位置计算该各位置附近的两个像素的亮度差，根据该亮度差的连续性来判断有无三维物体。
具体地说，针对鸟瞰视点图像中的检测区域A1、A2设定相当于在实际空间中在铅垂方向上延伸的线段的关注线La和与关注线La不同的参照线Lr。然后，沿着关注线La和参照线Lr连续地求出关注线La上的关注点Pa与参照线Lr上的参照点Pr的亮度差。这样，通过连续地求出点之间的亮度差，来求出关注线La与参照线Lr的亮度差。在关注线La与参照线Lr的亮度差高的情况下，在关注线La的设定部分存在三维物体的边缘的可能性高。由此，能够根据连续的亮度差检测三维物体。特别地，为了进行在实际空间中在铅垂方向上延伸的铅垂虚拟线之间的亮度比较，即使通过变换为鸟瞰视点图像而三维物体与距路面的高度相应地被拉长，也不会影响三维物体的检测处理。因而，根据本例的方法，能够提高三维物体的检测精度。
另外，在本例中，求出铅垂虚拟线附近的大致相同高度的两个点的亮度差。具体地说，根据在实际空间中处于大致相同高度的关注线La上的关注点Pa和参照线Lr上的参照点Pr求出亮度差，因此能够明确地检测出存在在铅垂方向上延伸的边缘的情况下的亮度差。
并且，在本例中，根据关注线La上的关注点Pa与参照线Lr上的参照点Pr的亮度差来对关注点Pa赋予属性，根据沿着关注线La的属性的连续性c来判断该关注线La是否为边缘线，因此能够将亮度高的区域与亮度低的区域的边界检测为边缘线，从而按照人的自然的感觉进行边缘检测。详细地说明该效果。图19是表示对边缘线检测部36的处理进行说明的图像例的图。该图像例是表示亮度高的区域和亮度低的区域反复的条纹图案的第一条纹图案101与表示亮度低的区域和亮度高的区域反复的条纹图案的第二条纹图案102相邻的图像。另外，该图像例为第一条纹图案101的亮度高的区域与第二条纹图案102的亮度低的区域相邻，并且第一条纹图案101的亮度低的区域与第二条纹图案102的亮度高的区域相邻。位于该第一条纹图案101与第二条纹图案102的边界的部位103根据人的感觉而倾向于不认为是边缘。
与此相对地，由于亮度低的区域与亮度高的区域相邻，因此如果仅依据亮度差检测边缘，则导致该部位103被识别为边缘。但是，边缘线检测部36除了部位103处的亮度差以外，仅在该亮度差的属性存在连续性的情况下将部位103判断为边缘线，因此边缘线检测部36能够抑制将以人的感觉不识别为边缘线的部位103识别为边缘线的错误判断，从而能够按照人的感觉进行边缘检测。
并且，在本例中，在由边缘线检测部36检测出的边缘线的亮度变化大于规定的阈值的情况下，判断为该边缘线是由于错误判断而检测出的边缘线。在将由摄像头10获取到的摄像图像变换为鸟瞰视点图像的情况下，存在该摄像图像中包含的三维物体以被拉长的状态出现在鸟瞰视点图像中的倾向。例如上述那样在其它车辆VX的轮胎被拉长的情况下，由于轮胎这一个部位被拉长，因此形成被拉长的方向上的鸟瞰视点图像的亮度变化小的倾向。对于此，如果将描绘在路面上的文字等错误判断为边缘线，则在鸟瞰视点图像中混合包含文字部分这样的亮度高的区域和路面部分这样的亮度低的区域。在这种情况下，在鸟瞰视点图像中，被拉长的方向的亮度变化有变大的倾向。因而，通过如本例那样判断沿着边缘线的鸟瞰视点图像的亮度变化，能够识别出由于错误判断而检测出的边缘线，从而能够提高三维物体的检测精度。
并且，在本例中，在由边缘线检测部36检测出的边缘线的亮度变化大于规定的阈值的情况下，判断为该边缘线是由于错误判断而检测出的边缘线。在将由摄像头10获取到的摄像图像变换为鸟瞰视点图像的情况下，存在该摄像图像中包含的三维物体以被拉长的状态出现在鸟瞰视点图像中的倾向。例如上述那样在其它车辆VX的轮胎被拉长的情况下，由于轮胎这一个部位被拉长，因此形成被拉长的方向上的鸟瞰视点图像的亮度变化小的倾向。对于此，如果将描绘在路面上的文字等错误判断为边缘线，则在鸟瞰视点图像中混杂包含文字部分这样的亮度高的区域和路面部分这样的亮度低的区域。在这种情况下，在鸟瞰视点图像中，被拉长的方向的亮度变化有变大的倾向。因而，通过如本例那样判断沿着边缘线的鸟瞰视点图像的亮度变化，能够识别出由于错误判断而检测出的边缘线，从而能够提高三维物体的检测精度。三维物体检测部33、37为了向乘员的通知、进行车辆控制，也将检测结果发送到外部的车辆控制器。
<三维物体的最终判断>
返回图3，本例的三维物体检测装置1具备上述的两个三维物体检测部33(或三维物体检测部37)、三维物体判断部34、自然物判断部38以及控制部39。三维物体判断部34根据三维物体检测部33(或三维物体检测部37)的检测结果，最终判断检测出的三维物体是否为存在于检测区域A1、A2的其它车辆VX。三维物体检测部33(或三维物体检测部37)进行反映出自然物判断部38的判断结果的三维物体的检测。自然物判断部38判断由三维物体检测部33(或三维物体检测部37)检测出的三维物体是否为沿着本车辆V的行驶道路存在的包含草、雪的自然物。
本实施方式的自然物判断部38对道路的隔离带、栽种于路肩的草木等植被、道路旁的自然生长为草原、森林的草木、或者堆积在道路的隔离带、路肩的雪或混杂有雪和泥的雪墙、其它的在道路旁静止存在的自然物(静止物体)进行检测。另外，由于草木被风吹拂而摆动，因此尽管是静止物体，但其像的位置不规则地变动。虽然同样是静止物体，但是人造的结构物(护栏)等即使刮风也保持静止状态，因此自然物的像和人造的结构物的像在相同的环境下呈现不同的行为。另外，在下雪后堆积并进行道路除雪之后等，在道路的路肩形成雪墙，但是由于在除雪时泥、草木的堆积物混杂在雪中，因此雪墙形成了不规则的斑驳形状。虽然同样是静止物体，但是人造的结构物(护栏)等无形状或被赋予了固定的形状，因此当从移动的本车辆V随时间的经过进行观察时，自然物的像和人造的结构物的像在相同的环境下呈现不同的状态。当对草、雪墙的摄像图像进行分析时，具有与人造的结构物相比表现不规则的特征的倾向。因此，发明人们提出如下一种方法：从摄像图像中抽出与不规则的运动对应的特征，根据所抽出的特征来检测静止三维物体中的草、雪等自然物。此外，本说明书中的雪、草等自然物是不会自行移动的静止物体。
如图20所示，沿着行驶道路的路肩生长的草等自然物Q1不会自行地运动，但整体没有规则的形状，随着时间的经过不会保持相同的形状，因此从该摄像图像中抽出的特征可观察到偏差，因此不规则性高(规则性低)。此外，形成在路肩的雪墙形成斑驳的形状的情况较多，当从移动的本车辆V持续地进行观察时，其图像信息具有呈现与草的图像信息相同的特征的倾向。
顺便提及，以固定间隔设置于行驶道路的路肩的护栏等结构物(静止的人造物)其形状固定且整体是不动的，随着时间的经过保持相同的形状，因此从该摄像图像中抽出的特征不存在偏差，因此与包含草、雪的自然物的像相比不规则性低(规则性高)。
并且，本实施方式的三维物体检测装置1最终检测的对象即其它车辆VX的基本结构相同，随着时间的经过保持相同的形状，因此从该摄像图像中抽出的特征不存在偏差，因此与包含草、雪的自然物的像相比不规则性低(规则性高)。
这样，当着眼于构成图像的像素的不规则性时，能够从护栏等人造的静止物体以及其它车辆VX等移动物体中识别出草、雪等自然的静止物体。
另外，本实施方式的三维物体检测装置1的目的在于检测其它车辆VX，因此也能够考虑为不对包含草、雪的自然物Q1、护栏等结构物分别进行识别而只要识别为“其它车辆VX以外的静止物体”即可。
然而，为了以高精度检测对本车辆V的行驶带来影响的“其它车辆VX”，而需要根据其它车辆VX以外的物体是移动物体还是静止物体、是三维物体还是平面物体、进一步地说根据物体是否为包含草、雪的自然物来设计与该检测对象的图像的特性相应的图像处理、物体检测处理。例如，由于护栏形状是能够预测的，因此能够预测映现有护栏的图像区域并进行使图像处理执行反馈处理的处理，或者考虑草Q1的高度有上限，因此能够利用该特征预测映现有草Q1的图像区域并进行使图像处理执行反馈的处理。这样，为了提高对作为检测对象的其它车辆VX的检测精度，而要求正确地识别检测对象以外的物体(非检测对象物)的属性(性状)。
在本实施方式的三维物体检测装置1中，根据从图像信息中抽出的不规则性来分析其它车辆VX的特性、包含草、雪的自然物Q1的特性以及护栏的特性等物体各自的特性，从摄像图像中包含的各种物体的像中正确地识别出包含草、雪的自然物Q1，结果以高精度检测出作为检测对象的其它车辆VX。
自然物判断部38进行基于差分波形信息判断包含草、雪的自然物的像的处理、或者进行基于边缘信息判断包含草、雪的自然物的像的处理。
自然物判断部38根据由三维物体检测部33生成的差分波形信息，计算用于评价该差分波形信息的不规则性的不规则性评价值。基于差分波形信息计算不规则性评价值的方法不特别地限定，能够根据从差分波形信息抽出的特征的偏差程度进行判断。例如在从差分波形信息中抽出的规定值以上的峰值的偏差为规定值以上的情况下，能够判断为不规则性高。
具体地说，自然物判断部38根据在检测出三维物体的差分图像上示出第一规定差分的第一像素的第一像素数和沿着在视点变换为鸟瞰视点图像时三维物体倾倒的方向抽出且在差分图像上示出大于第一规定差分的第二规定差分的第二像素的第二像素数，来计算用于评价差分波形信息的不规则性的不规则性评价值，在计算出的不规则性评价值为预先设定的规定的不规则性评价阈值以上的情况下，判断为由三维物体检测部33检测出的三维物体是沿着本车辆VX的行驶道路存在的包含草或雪的自然物。在此，抽出第二像素所使用的第二规定差分相当于在检测三维物体时使用的“规定的差分”，是以能够抽出物体的边缘为目标设定的相对较高的阈值。另一方面，抽出第一像素所使用的第一规定差分是以能够抽出在差分图像上出现的某些像(包含实像和虚像)的边缘为目标设定的相对较低的阈值。
同样地，自然物判断部38根据由三维物体检测部37生成的边缘信息，计算用于评价该边缘信息的不规则性的不规则性评价值。例如在从边缘信息中抽出的边缘线的总和、边缘线量的峰值的偏差为规定值以上的情况下，能够判断为不规则性高。
具体地说，自然物判断部38根据在检测出三维物体的鸟瞰视点图像上彼此相邻的图像区域的亮度差为第一规定阈值以上的第一像素的第一像素数和沿着在视点变换为鸟瞰视点图像时三维物体倾倒的方向抽出且在鸟瞰视点图像上彼此相邻的图像区域的亮度差为大于第一规定阈值的第二规定阈值以上的第二像素的第二像素数，来计算用于对边缘信息的不规则性进行评价的不规则性评价值，在所计算出的不规则性评价值为预先设定的规定的不规则性评价阈值以上的情况下，判断为由三维物体检测部37检测出的三维物体是沿着本车辆的行驶道路存在的包含草或雪的自然物。在此，抽出第二像素所使用的第二规定阈值相当于在检测三维物体时使用的“规定阈值”，是以能够抽出物体的边缘为目标设定的相对较高的阈值。另一方面，抽出第一像素所使用的第一规定阈值是以能够抽出在鸟瞰视点图像上出现的某些像(包含实像和虚像)的边缘为目标设定的相对较低的阈值。
本实施方式的自然物判断部38在能够利用差分波形信息的情况下，将沿着在视点变换为鸟瞰视点图像时三维物体倾倒的方向抽出且在差分图像上示出第二规定差分的像素中的构成像素排列超过规定密度或超过规定量的像素群的像素设为第二像素，求出该第二像素的个数作为第二像素数。另外，自然物判断部38在能够利用边缘信息的情况下，将沿着在视点变换为鸟瞰视点图像时三维物体倾倒的方向抽出且在鸟瞰视点图像上彼此相邻的图像区域的亮度差为第二规定阈值以上的像素中的构成像素排列超过规定密度或超过规定量的像素群的像素设为第二像素，求出该第二像素的个数作为第二像素数。
在本实施方式中，由于将沿着在视点变换为鸟瞰视点图像时三维物体倾倒的方向观察出超过规定密度的第二像素判断为人造的三维物体的像的特征，因此能够高精度地识别出与包含物体的所有的像对应的第一像素中的与人造的三维物体对应的第二像素和与非人造的自然的三维物体对应的像素(第三像素)。
另一方面，第二像素以外的像素分类为不与人造的三维物体对应的不规则地检测出的像素，根据它们的不规则性，判断检测出的三维物体是否为自然物。
自然物判断部38根据第一像素数和第二像素数计算不规则性评价值。自然物判断部38可以计算第二像素数相对于第一像素数的比率来作为“不规则性评价值”，在第二像素数相对于第一像素数的比率为规定比率以下的情况下，不是规则的第二像素数的、不规则地存在的像素数多，从而判断为“不规则性评价值”为规定的不规则性评价阈值以上，也可以计算第二像素数相对于第一像素数的比率来作为“不规则性评价值”，在第二像素数相对于第一像素数的比率为规定比率以上的情况下，不是规则的第二像素数的、不规则地存在的像素数少，从而判断为“不规则性评价值”为规定的不规则性评价阈值以上。在所计算出的不规则性评价值为预先设定的规定的不规则性评价阈值以上的情况下，判断为由三维物体检测部33检测出的三维物体是沿着本车辆V的行驶道路存在的包含草、雪的自然物的像。
这样，根据基于本实施方式所涉及的不规则性的判断检测包含草、雪的自然物的方法，检测出不满足预先决定的人造的三维物体的条件而不规则地排列的不规则边缘点P1，并且根据不规则边缘点P1的个数L来判断是否存在草和雪。在此，在车辆等人造物进入到检测区域A1、A2内的情况下，因为是人造物，因此具有边缘点P容易沿着倾斜的方向规则地进行排列的倾向。与此相对地，在草和雪的情况下，由于不是人造物，因此边缘点P不规则地存在。因此，根据不规则边缘点P1的个数L，能够辨别出前者和后者。因而，能够提高对草、雪的判断精度。
说明自然物判断部38的具体的判断方法。
上述的“第一像素”是在整个检测对象区域内存在的像素值或亮度差为规定值以上的像素，是可能形成所有物体(包含平面物、三维物体、移动物体、静止物体)的边缘的候选点。另外，“第二像素”是“第一像素”中的沿着在视点变换为鸟瞰视点图像时三维物体倾倒的方向抽出的像素，是可能形成三维物体的边缘的候选点。在此，从“第一像素”去除“第二像素”得到的“第三像素”不是沿着倾斜方向存在的像素，是不规则地排列的像素、即不规则地存在的像素。
自然物判断部38计算从第一像素数减去第二像素数得到的第三像素数，根据第二像素数和第三像素数计算不规则性评价值。在这种情况下，自然物判断部38在第二像素数小于第一规定值且第三像素数为第二规定值以上的情况下，判断为不规则性评价值为规定的不规则性评价阈值以上。虽然没有特别限定，但是能够将用于对第二像素数进行评价的第一规定值设为低于用于对第三像素数进行评价的第二规定值的值。当然，也可以将第一规定值与第二规定值设为相同的值。在本处理中，自然物判断部38在规则排列的第二像素数相对较少、不规则地存在的第三像素数相对较多的情况下，评价为不规则性高，因此能够定量地判断摄像图像的不规则性，来以高精度检测包含草或雪的自然物的存在。
自然物判断部38将从第一像素数减去第二像素数得到的第三像素数与第二像素数进行比较，在第三像素数减去第二像素数得到的值为第三规定值以上的情况下，判断为不规则性评价值为规定的不规则性评价阈值以上。在本处理中，自然物判断部38在不规则的第三像素数与规则的第二像素数相比相对较多的情况下，评价为不规则性高，因此能够定量地判断摄像图像的不规则性，来以高精度检测包含草或雪的自然物的存在。
自然物判断部38计算第三像素数相对于第一像素数或第二像素数的存在比率，在第三像素数相对于第一像素数的存在比率、或第三像素数相对于第二像素数的存在比率为规定比率以上的情况下，判断为不规则性评价值为规定的不规则性评价阈值以上。在本处理中，自然物判断部38在不规则的第三像素数相对于规则的第二像素数或像素整体的第一像素数以较高的比率存在的情况下，评价为不规则性高，因此能够定量地判断摄像图像的不规则性，来以高精度检测包含草或雪的自然物的存在。
在不规则性评价值为不规则性评价值阈值以上的情况下，能够判断为由三维物体检测部33检测出的三维物体是沿着本车辆V的行驶道路存在的草或雪Q1，在不规则性评价值小于不规则性评价阈值的情况下，能够判断为由三维物体检测部33检测出的三维物体是沿着本车辆V的行驶道路存在的护栏等人造的静止物体。能够通过实验来根据包含草、雪的自然物Q1的不规则性设定该不规则性评价阈值。
接着，说明三维物体判断部34。本实施方式的三维物体判断部34最终判断三维物体检测部33、37所检测出的三维物体是否为存在于检测区域A1、A2的其它车辆VX。具体地说，三维物体判断部34在三维物体检测部33、37检测三维物体的结果在规定时间T的整个期间持续出现的情况下，判断为三维物体是存在于检测区域A1、A2的其它车辆VX。不特别地进行限定，三维物体判断部34也可以在从差分波形信息抽出的差分波形的峰值数、峰值、移动速度等处于规定值域、其状态持续规定时间以上的情况下，最终判断三维物体是否为存在于检测区域A1、A2的其它车辆VX，还可以在从边缘信息抽出的边缘的连续性、将总和标准化得到的值、边缘线的量等处于规定值域、其状态持续规定时间以上的情况下，最终判断三维物体是否为存在于检测区域A1、A2的其它车辆VX。
本实施方式的三维物体判断部34在规定时间以上持续检测出由三维物体检测部33、37检测出的三维物体的情况下，将该三维物体判断为存在于右侧检测区域或左侧检测区域的其它车辆VX。
顺便提及，在三维物体判断部34判断为检测出的三维物体是存在于检测区域A1、A2的其它车辆VX的情况下，执行向乘员通知等的处理。该三维物体判断部34能够按照控制部39的控制命令，判断为所检测出的三维物体是其它车辆VX。
此外，以下，关于不规则性的评价方法，以自然物判断部38为处理的主体进行说明，但是自然物判断部38使对位部32或三维物体检测部33、或者亮度差计算部35、边缘线检测部36或三维物体检测部37进行处理的一部分，并获取其处理结果，最终判断不规则性。
自然物判断部38根据由视点变换部331进行视点变换得到的检测区域A1、A2的鸟瞰视点图像数据，检测不满足预先决定的人造的三维物体的条件而不规则地排列的不规则边缘点。在此，预先决定的人造的三维物体的条件是指在检测区域A1、A2的鸟瞰视点图像数据上，边缘点呈大致直线状地以超过规定密度的密度排列。
此外，在不规则性的判断处理中，自然物判断部38能够使边缘线检测部36、三维物体检测部37执行边缘信息的处理，并利用其处理结果。另外，在不规则性的判断处理中，自然物判断部38能够使根据像素值生成差分波形信息的对位部32、三维物体检测部33执行以下说明的边缘信息的处理并利用其处理结果。在本实施方式中，根据差分波形信息或边缘信息检测三维物体，但是差分波形信息和边缘信息是根据原来构成摄像图像的各像素的像素值或亮度差这样的共通的信息生成的，因此该不规则性判断能够在任意的方法中应用。另外，可以根据差分波形信息检测三维物体并根据边缘信息判断不规则性，也可以根据边缘信息检测三维物体并根据差分波形信息判断不规则性。
图21是表示检测区域A1的鸟瞰视点图像数据中的边缘点P(包含像素，以下相同)的图。如图21所示，在检测区域A1的鸟瞰视点图像数据上存在多个边缘点P。其中，关于位于区域R1、R2内的边缘点P，呈大致直线状地以超过规定密度的密度排列，满足预先决定的人造的三维物体的条件。但是，关于位于区域R1、R2外的边缘点P，不是呈大致直线状地以超过规定密度的密度排列，不满足预先决定的人造的三维物体的条件。自然物判断部38将位于上述多个边缘点P中的区域R1、R2外的边缘点P检测为不规则边缘点P1。作为该人造的三维物体的条件的边缘点以超过规定密度的密度排列的方向是沿着在视点变换为鸟瞰视点图像时三维物体倾倒方向的方向。
自然物判断部38根据检测区域A1、A2的鸟瞰视点图像数据检测边缘点P。该边缘点检测处理例如通过对鸟瞰视点图像数据实施拉普拉斯过滤来进行二值化处理，由此检测边缘点P。
自然物判断部38检测所检测出的边缘点P中的满足预先决定的人造的三维物体的条件的规则地排列的规则的边缘点P2。自然物判断部38以在检测区域A1、A2的鸟瞰视点图像数据中边缘点P从摄像头10沿放射方向以超过规定密度的密度排列为条件，检测规则的边缘点P2。列举一例，自然物判断部38定义从摄像头10沿放射方向延伸的直线，决定从该直线至收敛于规定像素(例如10个像素)以内的区域。自然物判断部38将该区域内的边缘点P判断为呈大致直线状地排列，通过判断区域内的边缘点P彼此是否位于规定距离(规定像素)以内，来判断是否排列超过密度。
当检测出边缘点P和规则的边缘点P2时，自然物判断部38将从检测出的边缘点P的个数减去规则的边缘点P2的个数得到的个数检测为不规则边缘点P1的个数。自然物判断部38判断在检测区域A1、A2内是否存在斑驳地包含草和泥或土的雪的至少一方。在进行判断时，自然物判断部38参照所检测出的不规则边缘点P1的个数。
图22是表示检测区域A1的鸟瞰视点图像数据中的边缘点P的图，(a)表示车辆(轮胎部分)的边缘点P，(b)表示草的边缘点P，(c)表示雪的边缘点P。首先，车辆(轮胎)是人造物。因此，具有边缘点P容易规则地进行排列的倾向。因此，如图22的(a)所示，关于车辆，具有不规则边缘点P1的个数变少、规则的边缘点P2变多的倾向。另一方面，由于草、雪不是人造的三维物体，因此如图22的(b)和图22的(c)所示那样，呈大致直线状地以规定密度排列的边缘点P(即，规则的边缘点P2)变少、不规则边缘点P1的个数变多。自然物判断部38通过将不规则边缘点P1的个数与规定的阈值进行比较，能够判断出草、雪。在此，不规则边缘点P1的值是不规则性评价值的一个方式，进行比较的规定的阈值是不规则性评价阈值的一个方式。规定的阈值至少包含作为从识别上述的包含草、雪的自然物Q1的观点出发设定的不规则性评价阈值的阈值。
自然物判断部38根据不规则边缘点P1的个数相对于边缘点P的个数或规则的边缘点P2的个数的比率来检测草、雪。有时在图像摄像时受到光环境的影响而增加和减少边缘点P的个数。因此，自然物判断部38相比于简单地将不规则边缘点P1的个数与规定的阈值进行比较，将上述比率与规定的阈值进行比较更不容易受到光环境的影响，从而能够正确地判断草、雪。在此，不规则边缘点P1的个数相对于边缘点P的个数或规则的边缘点P2的个数的比率是不规则性评价值的一个方式，与进行比较的比率有关的规定的阈值是不规则性评价阈值的一个方式。规定的阈值至少包含作为从识别上述的包含草、雪的自然物Q1的观点出发设定的不规则性评价阈值的阈值。
接着，说明关于本实施方式所涉及的不规则性的评价方法，具体地说是包含不规则性高的草、雪的自然物的检测方法。图23是表示本实施方式所涉及的雪、草等自然物的检测方法的流程图。如图23所示，首先，自然物判断部38对通过视点变换部31的视点变换得到的鸟瞰视点图像数据实施拉普拉斯过滤(S51)。由此，相当于边缘点P的像素的像素值变大，其它像素的像素值变小。
之后，自然物判断部38针对实施了拉普拉斯过滤后的图像实施二值化处理(S52)，使边缘点P变得明确。然后，自然物判断部38对边缘点P的个数N进行计数(S53)。自然物判断部38在步骤S54、S55的处理中，将边缘点P从摄像头10沿放射方向以超过规定密度的密度排列作为人造的三维物体的条件来检测规则的边缘点P2，对规则的边缘点P2的个数M进行计数。即，自然物判断部38首先检测铅垂边缘(S54)，对铅垂边缘周边(例如距铅垂边缘10个像素以内)的边缘点P的个数M进行计数(S55)。
接着，自然物判断部38通过从在步骤S3中进行计数并计算出的边缘点P的个数N减去在步骤S5中计算出的规则的边缘点P2的个数M，来计算不规则边缘点P1的个数L(S56)。自然物判断部38计算比率(S57)。此时，自然物判断部38基于L/N或L/M的式子计算不规则边缘点P1的个数L相对于边缘点P的个数N或规则的边缘点P2的个数M的比率。此外，该比率只要包含L/N或L/M，就也可以加上和减去其它数、还可以乘和除其它数。
接着，自然物判断部38判断在步骤S57中计算出的比率是否为规定的阈值以上(S58)。在判断为比率为规定的阈值以上的情况下(S58：“是”)，不规则边缘点P1的个数多，因此在检测区域A1、A2内存在草、雪的可能性高。因此，自然物判断部38判断为在检测区域A1、A2内存在草或雪(S59)。控制部39对三维物体检测部37、三维物体判断部34发送抑制检测或判断三维物体的意思的控制命令(S60)。由此，三维物体检测部33、37、三维物体判断部34能够识别出在检测区域A1、A2内存在源自草或雪的像，防止将草或雪错误检测为其它车辆VX。
另一方面，自然物判断部38在判断为比率不为规定的阈值以上的情况下(S58：“否”)，判断为在检测区域A1、A2内不存在草或雪的像。
另外，根据检测区域A1、A2内的图像数据检测边缘点P，并且检测满足预先决定的人造的三维物体的条件的规则地排列的规则的边缘点P2，从前者减去后者。因此，通过在掌握了整体的边缘点P之后减去规则的边缘点P2，能够检测不规则地排列的不规则边缘点P1。
另外，根据边缘点P的个数N或规则的边缘点P2的个数M与不规则边缘点P1的个数L的比率，判断在检测区域A1、A2内是否存在草和雪的至少一方。因此，即使在由于光环境的差异而边缘点P被检测得较多或被检测得较少那样的情况下，边缘点P的个数N或规则的边缘点P2的个数M以及不规则边缘点P1的个数L分别同样地被检测得较多或被检测得较少。因此，可以说比率本身不容易受到光环境的影响。因而，即使光环境变化，也能够不容易受到影响地检测草、雪。
另外，以在将检测区域A1、A2的图像数据变换为鸟瞰视点后的状态下边缘点大致呈直线状地以规定密度以上的密度排列为条件，抽出规则的边缘点P1。因此，关于如人造物等那样直线成分多的物体，容易检测出规则的边缘点P1，关于草、雪，不容易检测出规则的边缘点P1。因此，能够更正确地检测草、雪。
另外，以在将检测区域A1、A2的图像数据变换为鸟瞰视点后的状态下边缘点P从摄像头10沿放射方向以规定密度以上的密度排列为条件，检测规则的边缘点P2。因此，检测在实际空间上在铅垂方向上延伸的成分作为规则的边缘点P2，从而能够捕捉作为三维物体的车辆所具有的铅垂方向的边缘点P，因此能够明确车辆与草、雪的差异。
接着，说明不规则性判断所涉及的其它处理例。本处理由图3所示的自然物判断部38执行。本例的自然物判断部38具备直线成分检测功能。直线成分检测功能根据检测区域A1、A2内的鸟瞰图像数据检测直线成分。
自然物判断部38以去除通过直线成分检测功能检测出的直线成分的附近区域(例如10个像素以内的区域)得到的区域为对象，检测边缘点P。检测出该边缘点P为图21所示的不规则边缘点P1。
图24是表示本处理的控制过程的流程图。如图24所示，自然物判断部38当获取通过视点变换部31的视点变换得到的鸟瞰图像数据时，对其进行霍夫(HOUGH)变换来检测直线成分(S61)。
之后，自然物判断部38决定包含所检测出的直线成分的周边区域(例如距直线成分10个像素以内的区域)(S62)。之后，自然物判断部38对将在步骤S62中决定的区域去除而得到的区域实施拉普拉斯过滤(S63)。由此，边缘点P、具体地说相当于不规则边缘点P1的像素的像素值变大，其它像素的像素值变小。
之后，自然物判断部38对实施了拉普拉斯过滤后的图像实施二值化处理(S64)。由此，自然物判断部38抽出不规则边缘点P1，对不规则边缘点P1的个数L进行计数来进行计算(S65)。
接着，自然物判断部38判断在步骤S65中计算出的个数L是否为规定的阈值以上(S66)。在判断为个数L为规定的阈值以上的情况下(S66：“是”)，不规则边缘点P1的个数多，因此在检测区域A1、A2内存在草、雪的可能性高。因此，自然物判断部38判断为在检测区域A1、A2内存在草或雪(S67)。
后述的控制部39对三维物体检测部33、37或三维物体判断部34发送要中止处理的意思的信号(S68)。由此，三维物体检测部33、37或三维物体判断部34能够识别为在检测区域A1、A2内存在草或雪，并防止将草或雪的像错误识别为作为三维物体、移动物体的其它车辆VX的像。然后，结束图24所示的处理。
另一方面，在判断为个数L不为规定的阈值以上的情况下(S66：“否”)，自然物判断部38判断为在检测区域A1、A2内不存在草或雪，结束图24所示的处理。
根据该自然物的检测方法，与之前记述的处理方法同样地，能够以高精度检测草、雪等自然物。
根据该自然物的检测方法，根据检测区域A1、A2内的图像数据检测直线成分，以将直线成分的附近区域去除而得到的区域为对象检测边缘点P。因此，首先去除直线成分，在去除后的状态下检测边缘点P，因此能够检测出不规则地排列的不规则边缘点P1。
在本实施方式的静止物体的判断处理中能够进行以下的改变。例如，在本例中，根据来自速度传感器20的信号判断本车辆V的车速，但是不限于此，也可以根据不同时刻的多个图像来估计速度。在这种情况下，不需要车速传感器，能够实现结构的简化。
另外，在本例中，自然物判断部38在检测不规则边缘点时，在将拍摄得到的图像数据变换为鸟瞰图像之后，检测不规则边缘点P1，但是不限于此，也可以不必将拍摄得到的图像数据变换为鸟瞰图像。
另外，在本例中，自然物判断部38将不规则边缘点P1的个数L与规定的阈值进行比较，判断在检测区域A1、A2内是否存在草或雪，但是不限于此，也可以检测所有的边缘点P的个数N并求出比率，将该比率与规定的阈值进行比较。另外，也可以检测规则的边缘点P2的个数M，同样地将比率与规定的阈值进行比较。
另外，在本实施方式中，摄像头10拍摄本车辆V的后侧方区域作为检测区域A1、A2，但是不限于此，也可以将侧方区域作为检测区域A1、A2，还可以将前侧方区域作为检测区域A1、A2。
上述的边缘的不规则性不仅是本发明的边缘信息的特征，还能够作为差分图像信息的特征进行掌握。也就是说，能够在生成差分图像信息时，在对位后的鸟瞰视点图像的差分图像上，沿着在视点变换为鸟瞰视点图像时三维物体倾倒的方向，对在差分图像上示出规定的差分的像素的像素数进行计数并进行频数分布化，但是在该差分图像上示出规定的差分(或第二规定差分)的像素作为本不规则性处理中的边缘进行处理，根据该像素的频数分布，应用上述方法来判断不规则性。
接着，说明控制部39。本实施方式的控制部39在前次处理中由自然物判断部38判断为在摄像图像中包含有草、雪等自然物并在检测区域A1、A2中映现有包含草、雪的自然物的像Q1的情况下，在下一次的处理中，能够生成在三维物体检测部33、37、三维物体判断部34、自然物判断部38以及自己即控制部39中的任一个以上的各部中执行的控制命令。
本实施方式的控制命令是用于控制各部的动作使得抑制将检测出的三维物体判断为是其它车辆VX的命令。这是因为在检测区域A1、A2中映现有包含草、雪的自然物的像的情况下，由于检测出的三维物体是包含草、雪的自然物的像的可能性高，因此防止将其错误地判断为其它车辆VX。本实施方式的计算机30是计算机，因此针对三维物体检测处理、三维物体判断处理、自然物判断处理的控制命令可以预先嵌入于各处理的程序中，也可以在执行时发送。本实施方式的控制命令可以是使根据差分波形信息检测三维物体时的灵敏度下降的命令、使根据边缘信息检测三维物体时的灵敏度下降的命令。另外，在抑制将三维物体判断为是其它车辆VX的情况下，控制命令也可以是对于使将检测出的三维物体判断为其它车辆的处理中止、将检测出的三维物体判断为不是其它车辆的结果的命令。
本实施方式的控制部39在由自然物判断部38判断为检测出的三维物体是包含草、雪的自然物的像的可能性高的情况下，检测三维物体，将抑制检测出的该三维物体被判断为是其它车辆VX的控制命令发送到三维物体检测部33、37或三维物体判断部34。由此，三维物体检测部33、37不容易检测三维物体。另外，三维物体判断部34不容易判断为检测出的三维物体是存在于检测区域A的其它车辆VX。
另外，控制部39在判断为由自然物判断部38检测出的三维物体是包含草、雪的自然物的像的可能性高的情况下，可以生产将三维物体的检测处理中止的内容的控制命令并输出到三维物体检测部33、37，也可以生成将三维物体的判断处理中止的内容的控制命令或判断为检测出的三维物体不是其它车辆的内容的控制命令并输出到三维物体判断部34。由此，能够获得与上述相同的作用效果。
以下，关于控制部39输出的具体的各控制命令进行说明。
控制部39在前次的处理中由自然物判断部38判断为检测出的三维物体是包含草、雪的自然物(静止物体)的可能性高的情况下，在检测区域A1、A2映现有自然物的像，判断为基于图像信息的处理发生错误的可能性高。如果仍旧通过与通常情况相同的方法检测三维物体，则存在将根据映现在检测区域A1、A2中的包含草、雪的自然物Q1的像而检测出的三维物体错误地判断为其它车辆VX的情况。因此，本实施方式的控制部39在下一次的处理中为了抑制根据包含草、雪的自然物Q1的像检测出的三维物体被错误地判断为其它车辆VX，而将与生成差分波形信息时的像素值的差分有关的阈值变高。这样，在检测区域A1、A2中映现有包含草、雪的自然物Q1的情况下，通过将判断的阈值变高，来抑制三维物体的检测或是其它车辆VX的判断，因此能够防止由于包含草、雪的自然物Q1的像引起的错误检测。
首先，关于根据差分波形信息检测三维物体的情况下的控制命令进行说明。如之前记述的那样，三维物体检测部33根据差分波形信息和第一阈值α来检测三维物体。然后，本实施方式的控制部39在由自然物判断部38判断为所检测出的三维物体是包含草、雪的自然物的像的可能性高的情况下，生成使第一阈值α提高的控制命令并输出到三维物体检测部33使得不容易检测三维物体。第一阈值α是指在图11的步骤S7中用于判断差分波形DWt的峰值的第一阈值α(参照图5)。另外，控制部39能够将使与差分波形信息中的像素值的差分有关的阈值p提高或降低的控制命令输出到三维物体检测部33。
另外，本实施方式的控制部39在由自然物判断部38判断为检测出的三维物体是包含草、雪的自然物的像的可能性高的情况下，能够将使对在鸟瞰视点图像的差分图像上示出规定的差分进行计数并进行频数分布化得到的值变低输出的控制命令输出到三维物体检测部33。对在鸟瞰视点图像的差分图像上示出规定的差分的像素数进行计数并进行频数分布化得到的值是指在图11的步骤S5中生成的差分波形DWt的纵轴的值。控制部39在前次的处理中判断为检测出的三维物体是包含草、雪的自然物的像的可能性高的情况下，判断为根据映现在检测区域A1、A2中的包含草、雪的自然物Q1错误检测其它车辆VX的可能性高。因此，在下一次的处理中将差分波形DWt的进行频数分布化得到的值变低后输出，使得不容易在检测区域A1、A2中检测三维物体或其它车辆VX。这样，在判断为检测出的三维物体包含草、雪的自然物的像的可能性高的情况下，通过使输出值降低，来调整行驶于本车辆V的行驶车道附近的其它车辆VX的检测灵敏度，因此能够防止由于映现在检测区域A1、A2中的包含草、雪的自然物Q1引起的对其它车辆VX的错误检测。
接着，关于根据边缘信息检测三维物体的情况下的控制命令进行说明。与之前记述的基于差分波形信息的处理同样地，控制部39在前次的处理中判断为检测出的三维物体是包含草、雪的自然物的像的可能性高的情况下，判断为根据映现在检测区域A1、A2中的包含草、雪的自然物Q1错误检测其它车辆VX的可能性高。因此，本实施方式的控制部39在判断为检测出的三维物体是包含草、雪的自然物的像的可能性高的情况下，将使与在检测边缘信息时使用的亮度有关的规定阈值提高的控制命令输出到三维物体检测部37。与在检测边缘信息时使用的亮度有关的规定阈值是指图17的步骤S29中的对将各关注点Pa的属性的连续性c的总和标准化得到的值进行判断的阈值θ、或者图18的步骤34中的对边缘线的量进行评价的第二阈值β。也就是说，本实施方式的控制部39在判断为检测出的三维物体是包含草、雪的自然物的像的可能性高的情况下，生成将对在检测边缘线时使用的阈值θ或边缘线的量进行评价的第二阈值β提高的控制命令并输出到三维物体检测部37使得不容易检测三维物体。这样，在判断为检测出的三维物体是包含草、雪的自然物的像的可能性高的情况下，通过将判断的阈值变更，来抑制三维物体的检测或是其它车辆VX的判断，因此能够防止由于映现在检测区域A1、A2中的包含草、雪的自然物Q1引起的错误检测。
另外，本实施方式的控制部39在由自然物判断部38判断为检测出的三维物体是包含草、雪的自然物的像的可能性高的情况下，将使检测出的边缘信息的量变低或变高输出的控制命令输出到三维物体检测部37。检测出的边缘信息的量是指图17的步骤S29中的对各关注点Pa的属性的连续性c的总和进行标准化的的值、或图18的步骤34中的边缘线的量。控制部39在前次的处理中判断为检测出的三维物体是包含草、雪的自然物的像的可能性高的情况下，判断为根据映现在检测区域A1、A2中的包含草、雪的自然物Q1错误检测其它车辆VX的可能性高。因此，在下一次的处理中，检测三维物体，将对各关注点Pa的属性的连续性c的总和进行标准化得到的值或边缘线的量变低并输出使得抑制该三维物体被判断为是其它车辆VX。
具体地说，在检测出的三维物体是包含草、雪的自然物的像的可能性高的情况下，将差分波形DWt的进行频数分布化得到的值变低并输出。这样，在检测出的三维物体是包含草、雪的自然物的像的可能性高的情况下，通过降低输出值，能够进行控制来抑制三维物体的检测或是其它车辆VX的判断，能够防止由于映现在检测区域A1、A2中的包含草、雪的自然物Q1引起错误检测。
以下，根据图25，说明本实施方式的三维物体检测装置1的动作、特别是控制部39以及获取到控制命令的三维物体判断部34、三维物体检测部33、37的动作。图25所示的处理是在前次的三维物体检测处理之后利用前次处理的结果进行的本次的三维物体检测处理。
首先，在图25所示的步骤S41中，自然物判断部38根据差分波形信息或边缘信息来判断不规则性。不规则性评价值能够根据从差分波形信息或边缘信息抽出的特征的偏差程度进行判断。例如，从差分波形信息或边缘信息抽出的峰值的个数小于规定值、峰值间的偏差为规定值以上且与本车辆V的车速相应的差分波形信息的峰值部分的面积差分(面积差分与峰值之比)或边缘信息的峰值部分的边缘量的差分(边缘差分与峰值的边缘量之比)越大，能够判断为不规则性越高。
在步骤S42中，自然物判断部38判断为计算出的不规则性评价值是否为不规则性评价阈值以上。在计算出的不规则性评价值小于不规则性评价阈值的情况下，进入步骤S45。在计算出的不规则性评价值为不规则性评价阈值以上的情况下，进入步骤S43，判断为检测出的三维物体是包含草、雪的自然物的像Q1。
在接下来的步骤S44中，控制部39在由自然物判断部38判断为在前次的处理中检测出的三维物体是包含草、雪的自然物的像Q1的情况下，判断为根据映现在检测区域A1、A2中的包含草、雪的自然物的像Q1错误检测出其它车辆VX的可能性高，在下一次的处理中检测三维物体，进行将在三维物体检测处理、三维物体判断处理中使用的阈值设定得高、或者将与阈值进行比较的输出值变低输出的控制，使得抑制该三维物体被判断为是其它车辆VX。
为了抑制由三维物体检测部33、37检测三维物体或由三维物体判断部37判断为三维物体是其它车辆，控制部39将在各处理中使用的各阈值变为高于初始值、标准值及其它设定值(使得不容易进行检测)，或者将与各阈值进行比较的输出值变低(使得不容易进行检测)。此外，在控制部39进行促进处理的情况下，促进处理为抑制处理和判断的控制。
具体的处理内容如下。
利用差分波形信息检测三维物体的三维物体检测部33在差分波形信息为规定的第一阈值α以上时检测出三维物体的情况中，控制部39在判断为在前次的处理中检测出的三维物体是包含草、雪的自然物的像Q1的情况下，生成将第一阈值α变高使得不容易检测三维物体的控制命令，将该控制命令输出到三维物体检测部33。
同样地，三维物体检测部33在差分波形信息为规定的第一阈值α以上时检测出三维物体的情况中，控制部39在判断为在前次的处理中检测出的三维物体是包含草、雪的自然物的像Q1的情况下，生成将对在鸟瞰视点图像的差分图像上示出规定的差分的像素数进行计数并进行频数分布化得到的值变低并输出的控制命令，将该控制命令输出到三维物体检测部38。
另外，在利用差分波形信息检测三维物体的三维物体检测部33抽出示出阈值p以上的像素值的像素数作为示出规定的差分的像素数的情况中，控制部39在判断为在前次的处理中检测出的三维物体是包含草、雪的自然物的像Q1的情况下，生成将阈值p变高使得不容易检测三维物体的控制命令，并将该控制命令输出到三维物体检测部38。
同样地，在三维物体检测部33抽出示出阈值p以上的像素值的像素数作为规定的差分的像素数的情况中，控制部39在判断为在前次的处理中检测出的三维物体是包含草、雪的自然物的像Q1的情况下，生成将沿着在视点变换为鸟瞰视点图像时三维物体倾倒的方向在差分图像上抽出的像素数变低并输出的控制命令，将该控制命令输出到三维物体检测部38。例如，控制部39为了抑制出现由三维物体检测部33(或三维物体检测部37)得到存在三维物体的检测结果、或者由三维物体判断部34得到最终判断为三维物体是其它车辆VX的判断结果，而局部屏蔽检测区域A1、A2、或者调整用于检测、判断的阈值、输出值。
在利用边缘信息检测三维物体的三维物体检测部37根据示出规定阈值t以上的亮度差的像素抽出边缘线的情况中，控制部39在判断为在前次的处理中检测出的三维物体是包含草、雪的自然物的像Q1的情况下，生成将规定阈值t变高使得不容易检测三维物体的控制命令，将该控制命令输出到三维物体检测部37。
同样地，在利用边缘信息检测三维物体的三维物体检测部37根据示出规定阈值t以上的亮度差的像素抽出边缘线的情况下，控制部39在判断为在前次的处理中检测出的三维物体是包含草、雪的自然物的像Q1的情况下，生成将像素的亮度值变低输出的控制命令，并将该控制命令输出到三维物体检测部37。
在利用边缘信息检测三维物体的三维物体检测部37根据边缘信息中包含的具有阈值θ以上的长度的边缘线来检测三维物体的情况中，控制部39在判断为在前次的处理中检测出的三维物体是包含草、雪的自然物的像Q1的情况下，生成将阈值θ变高使得不容易检测三维物体的控制命令，并将该控制命令输出到三维物体检测部37。
同样地，在利用边缘信息检测三维物体的三维物体检测部37根据边缘信息中包含的具有阈值θ以上的长度的边缘线来检测三维物体的情况中，控制部39在判断为在前次的处理中检测出的三维物体是包含草、雪的自然物的像Q1的情况下，生成将所检测出的边缘信息的边缘线的长度的值变低输出的控制命令，并将该控制命令输出到三维物体检测部37。
在利用边缘信息检测三维物体的三维物体检测部37根据边缘信息中包含的规定长度以上的边缘线、例如具有阈值θ以上的长度的边缘线的条数是否为第二阈值β以上的判断来检测三维物体的情况中，控制部39在判断为在前次的处理中检测出的三维物体是包含草、雪的自然物的像Q1的情况下，生成将第二阈值β变高使得不容易检测三维物体的控制命令，并将该控制命令输出到三维物体检测部37。
在利用边缘信息检测三维物体的三维物体检测部37根据边缘信息中包含的规定长度以上的边缘线、例如具有阈值θ以上的长度的边缘线的条数是否为第二阈值β以上的判断来检测三维物体的情况中，控制部39在判断为在前次的处理中检测出的三维物体是包含草、雪的自然物的像Q1的情况下，生成将所检测出的规定长度以上的边缘线的条数变低输出的控制命令，并将该控制命令输出到三维物体检测部37。
另外，三维物体判断部34在检测出的三维物体的移动速度为预先设定的规定速度以上时将该三维物体判断为是其它车辆的情况中，控制部39在判断为在前次的处理中检测出的三维物体是包含草、雪的自然物的像Q1的情况下，生成使将三维物体判断为是其它车辆时的作为下限的规定速度变高使得不容易检测三维物体的控制命令，并将该控制命令输出到三维物体判断部34。
同样地，三维物体判断部34在所检测出的三维物体的移动速度是预先设定的规定速度以上时将该三维物体判断为是其它车辆的情况中，控制部39在判断为在前次的处理中检测出的三维物体是包含草、雪的自然物的像Q1的情况下，生成使与将三维物体判断为是其它车辆时的作为下限的规定速度进行比较的三维物体的移动速度变低并输出的控制命令，将该控制命令输出到三维物体判断部34。
另外，三维物体判断部34在所检测出的三维物体的移动速度小于预先设定的规定速度时将该三维物体判断为是其它车辆的情况中，控制部39在判断为在前次的处理中检测出的三维物体是包含草、雪的自然物的像Q1的情况下，生成使将三维物体判断为是其它车辆时的作为上限的规定速度变低的控制命令，并将该控制命令输出到三维物体判断部34。
同样地，三维物体判断部34在所检测出的三维物体的移动速度小于预先设定的规定速度时将该三维物体判断为是其它车辆的情况中，控制部39在判断为在前次的处理中检测出的三维物体是包含草、雪的自然物的像Q1的情况下，生成使与将三维物体判断为是其它车辆时的作为上限的规定速度进行比较的三维物体的移动速度变高的控制命令，并将该控制命令输出到三维物体判断部34。
此外，在此，“移动速度”包含三维物体的绝对速度以及三维物体相对于本车辆的相对速度。可以根据三维物体的相对速度计算三维物体的绝对速度，也可以根据三维物体的绝对速度计算三维物体的相对速度。
顺便提及，第一阈值α在图11的步骤S7中用于对差分波形DWt的峰值进行判断。阈值p是用于抽出具有规定的像素值的像素的阈值。规定阈值t是用于抽出具有规定的亮度差的像素或边缘成分的阈值。阈值θ是对图17的步骤S29中的将各关注点Pa的属性的连续性c的总和标准化得到的值(边缘的长度)进行判断的阈值，第二阈值β是图18的步骤34中的对边缘线的量(条数)进行评价的阈值。这样，通过将判断的阈值变高，来调整检测灵敏度使得不容易检测行驶于本车辆V的行驶车道附近的其它车辆VX，因此能够防止将自然物错误检测为其它车辆VX。
本实施方式的控制部39向三维物体检测部33输出使对在鸟瞰视点图像的差分图像上示出规定的差分的像素数进行计数并进行频数分布化得到的值变低输出的控制命令。对在鸟瞰视点图像的差分图像上示出规定的差分的像素数进行计数并进行频数分布化得到的值是指在图11的步骤S5中生成的差分波形DWt的纵轴的值。
另外，本实施方式的控制部39向三维物体检测部37输出使所检测出的边缘信息变低输出的控制命令。所检测出的边缘信息除了是图17的步骤S29中的对各关注点Pa的属性的连续性c的总和进行标准化得到的值即边缘线的长度以外，还是图18的步骤34中的边缘线的量。控制部39当三维物体被判断为是自然物时，将对各关注点Pa的属性的连续性c的总和进行标准化得到的值或边缘线的量变低使得避免将其检测为三维物体并使得在下一次的处理中不容易检测三维物体。这样，能够通过降低输出值来调整检测灵敏度使得不容易检测行驶于本车辆V的行驶车道附近的其它车辆VX，因此能够防止将自然物错误检测为行驶于相邻的车道的其它车辆VX。
控制部39为了抑制三维物体的检测而向三维物体检测部33、37发送将与生成差分波形信息时的像素值的差分有关的阈值p、在根据差分波形信息对三维物体进行判断时使用的第一阈值α、生成边缘信息时的阈值θ、在根据边缘信息对三维物体进行判断时使用的第二阈值β中的任意一个以上的阈值变高的意思的控制命令。此外，控制部39也可以代替提高阈值而生成使利用阈值进行评价的输出值变低的控制命令并输出到三维物体检测部33、37。
此外，在使输出值降低的情况下，控制部39向三维物体检测部33输出对在鸟瞰视点图像的差分图像上示出规定的差分的像素数进行计数并进行频数分布化得到的值变低输出的控制命令。对在鸟瞰视点图像的差分图像上示出规定的差分的像素数进行计数并进行频数分布化得到的值是在图11的步骤S5中生成的差分波形DWt的纵轴的值。同样地，控制部39能够向三维物体检测部37输出将所检测出的边缘信息的量变低输出的控制命令。所检测出的边缘信息的量是图17的步骤S29中的对各关注点Pa的属性的连续性c的总和进行标准化得到的值、或者图18的步骤34中的边缘线的量。控制部39在判断为在前次的处理中检测出的三维物体是自然物的情况下，能够向三维物体检测部37输出将对各关注点Pa的属性的连续性c的总和进行标准化得到的值或边缘线的量变低的控制命令，使得在下次的处理中不容易检测三维物体。
在使各阈值或各输出值改变之后进入步骤S45，根据差分波形信息或边缘信息来检测三维物体，判断检测出的三维物体是否为其它车辆VX。
在步骤S46中检测三维物体并在三维物体是其它车辆VX的情况下，在步骤S47中输出存在其它车辆的意思的判断结果，在三维物体不是其它车辆VX的情况下，在步骤S48中输出不存在其它车辆的意思的判断结果。步骤S45和步骤S46中的处理与之前在图11和12中说明的基于差分波形信息检测其它车辆VX的处理、同样在图17和图18中说明的基于边缘信息检测其它车辆VX的处理相同。
另一方面，在步骤S46中未检测出三维物体、其它车辆VX的情况下，可以进入步骤S48，判断为检测出的三维物体不是其它车辆VX而不存在其它车辆VX，也可以进入步骤S49，将三维物体的检测处理中止。
以下，说明如上述那样进行的三维物体检测的抑制处理的解除方法的一例。在本实施方式中，在检测出包含草、雪的自然物的像Q1的情况下，进行三维物体检测的抑制，但是在进行了该三维物体检测的抑制处理之后三维物体判断部34将所检测出的三维物体判断为是移动物体的情况下，解除对三维物体检测的抑制处理。
图26表示三维物体检测的抑制解除处理的控制过程。图26所示的处理与图25所示的三维物体检测的抑制处理并行进行。如图26所示，在步骤S71中，三维物体判断部34判断由三维物体检测部33、37检测出的三维物体是移动物体还是静止物体。稍后记述该判断方法。在步骤S72中已经执行了抑制处理(图25的S44)的情况下并在接下来的步骤S73中判断为三维物体是移动物体的情况下，进入步骤S74，解除该抑制处理。即，将变更后的阈值恢复为初始的值，将变更后的输出值恢复为初始的值。在步骤S72中不进行抑制处理(图25的S44)以及在步骤73中检测出的三维物体是静止物体的情况下，进入步骤S45，在已经进行的抑制处理(图25的S44)下进行其它车辆检测处理。步骤S45以后的处理与图25所说明的步骤S45以后的处理相同，因此引用其说明并省略记载。
以下，说明判断三维物体是移动物体还是静止物体的方法。本实施方式的三维物体检测装置1的三维物体判断部34根据在不同的时间拍摄到的图像中的移动物体的像与在不同的时间拍摄到的图像中的静止物体的像的特征的差异，判断从摄像图像检测出的三维物体是移动物体还是静止物体。
具体地说，三维物体判断部34将在检测出三维物体的第一时刻得到的第一鸟瞰视点图像的位置和在第一时刻之后的第二时刻得到的第二鸟瞰视点图像的位置与本车辆V的移动距离(移动速度)相应地以鸟瞰视点进行对位，求出对在对位后的该鸟瞰视点图像的差分图像上示出规定的差分的像素数进行计数并进行频数分布化所生成的第一差分波形信息的第一累计值。也就是说，自然物判断部38考虑本车辆V的移动量来生成偏移的差分图像。偏移的量d’对应与图4的(a)所示的本车辆V的实际的移动距离对应的鸟瞰视点图像数据上的移动量，根据来自车速传感器20的信号和前一时刻至当前时刻的时间来决定。第一累计值是作为第一差分波形信息绘制出的值的全部或规定区域的合计值。
三维物体判断部34求出对在第一时刻得到的第一鸟瞰视点图像和在第一时刻之后的第二时刻得到的第二鸟瞰视点图像的差分图像上示出规定的差分的像素数进行计数并进行频数分布化所生成的第二差分波形信息的第二累计值。也就是说，自然物判断部38获取不使图像偏移的差分图像。第二累计值是作为第二差分波形信息绘制出的值的全部或规定区域的合计值。
然后，三维物体判断部34在与判断为第一累计值大于第二累计值的次数相应的评价值为规定的评价阈值以上的情况下，判断为由三维物体检测部33检测出的三维物体是移动物体。
发明人们着眼于在使不同定时的摄像图像偏移得到的差分图像中与移动物体的特征点对应的像素量出现很多、在不使不同定时的摄像图像偏移的差分图像中与自然物等静止物体的特征点对应的像素量出现很多的点，在本发明中，将偏移后的(对位后的)不同定时的摄像图像的差分图像的像素值(边缘量)与不偏移的(不对位的)的不同定时的摄像图像的差分图像的像素值(边缘量)进行比较，根据其大小关系判断三维物体是静止物体还是移动物体。
如图27的(a)所示，在过去的定时T0在检测区域A1、A2内检测出三维物体的像Q(T0)并在T0的定时之后的当前定时T1在检测区域A1、A2内检测出三维物体的像Q(T1)的情况下，作为检测主体的本车辆V沿着方向B移动，在过去的定时T0检测出的三维物体的像Q(T0)移动到检测区域A1、A2的图中上侧的三维物体の像Q(T1)的位置。
而且，如图27的(b)所示，三维物体判断部34能够获得在当前的定时T1检测出的三维物体的像Q(T1)的像素或边缘成分的分布、作为在过去的定时T0检测出的三维物体的像Q(T0)的像的偏移了规定量后的(进行对位后的)三维物体的像Q(T0A)的像素或边缘成分的分布以及同样是作为在过去的定时T0检测出的三维物体的像Q(T0)的像的不偏移的(不对位的)三维物体的像Q(T0B)的像素或边缘成分的分布。
当如图27的(b)所示那样将图像T1与偏移后的图像T0A进行比较时，图像T1中的三维物体的像Q(T1)与图像T0A中的三维物体的像Q(T0A)的位置(沿着本车辆V的移动方向B的位置)大致相同。另一方面，当如该图所示那样将图像T1与不偏移的图像T0B进行比较时，图像T1中的三维物体的像Q(T1)与图像T0B中的三维物体的像Q(T0B)的位置(沿着本车辆V的移动方向B的位置)不同。也就是说，当求T1与T0A的差分图像时，关于相同的部分相减后没有剩余，因此作为特征抽出的像素的个数变少。与此相对地，当求T1与T0B的差分图像时，由于不同的部分残留，因此作为特征抽出的像素的个数相对变多。
接着，考虑三维物体是移动物体还是静止物体来说明图27所示的着眼点。根据图28说明三维物体是移动物体的情况，根据图29说明三维物体是静止物体的情况。
如图28的(a)所示，在检测出的三维物体是移动的其它车辆VX的情况下，由于本车辆V与其它车辆VX都移动，因此本车辆V与其它车辆VX具有保持规定的位置关系的倾向。也就是说，如果使摄像图像偏移(如果进行对位)，则其它车辆VX的位置反而存在偏离的倾向，在差分图像PDt中检测出很多的可能成为特征的像素(边缘)。另一方面，如图28的(b)所示那样在摄像图像不偏移的情况下，存在本车辆V与其它车辆VX的位置相接近的倾向，在差分图像PDt中检测出的可能成为特征的像素(边缘)少。如果差分图像PDt中的像素(边缘)多，则存在差分波形信息中的累计值变高的倾向，如果差分图像PDt中的像素(边缘)少，则存在差分波形信息中的累计值变低的倾向。
另外，如图29的(a)所示那样在检测出的三维物体是处于静止状态的静止物体Q1的情况下，由于本车辆V移动而静止物体Q1处于静止状态，因此本车辆V与静止物体Q1存在分离的倾向。也就是说，如果使摄像图像偏移(如果进行对位)，则本车辆V与静止物体Q1的位置存在相接近的倾向，在差分图像PDt中检测出的可能成为特征的像素(边缘)少。另一方面，如图29的(b)所示那样，如果摄像图像不偏移，则存在随着本车辆V的移动而静止物体Q1的位置与前次的摄像图像不同的倾向，在差分图像PDt中检测出的可能成为特征的像素(边缘)多。如果差分图像PDt中的像素(边缘)多，则存在亮度分布信息中的累计值变高的倾向，如果差分图像PDt中的像素(边缘)少，则存在亮度分布信息中的累计值变低的倾向。
上述的思考方式在也能够同样地应用于利用边缘信息的情况。
也就是说，三维物体判断部34将在检测出三维物体的第一时刻T0得到的第一鸟瞰视点图像的位置与在第一时刻之后的第二时刻T1得到的第二鸟瞰视点图像的位置以鸟瞰视点进行对位，求出对在进行该对位后的鸟瞰视点图像的差分图像上彼此相邻的图像区域的亮度差为规定阈值以上的像素数进行计数并进行频数分布化所生成的第一亮度分布信息的第一累计值。也就是说，考虑本车辆V的移动量来生成偏移后的差分图像。偏移的量d’是与图4的(a)所示的本车辆V的实际的移动距离对应的鸟瞰视点图像数据上的移动量，根据来自车速传感器20的信号和前一时刻至当前时刻的时间来决定。第一累计值是作为第一亮度分布信息绘制出的值的全部或规定区域的合计值。
接着，三维物体判断部34求出在第一时刻T0得到的第一鸟瞰视点图像与在第一时刻T0之后的第二时刻T1得到的第二鸟瞰视点图像的差分图像上彼此相邻的图像区域的亮度差为规定阈值以上的像素数进行计数并进行频数分布化所生成的第二亮度分布信息的第二累计值。也就是说，生成不偏移的差分图像，计算其累计值(第二累计值)。第二累计值是作为第二亮度分布信息绘制出的值的全部或规定区域的合计值。
而且，三维物体判断部34在与判断为第一累计值大于第二累计值的次数相应的评价值为规定的评价阈值以上的情况下，判断为由三维物体检测部33检测出的三维物体是“移动物体”。不对评价值的计算方法进行限定，但是在本实施方式中，在以规定周期重复执行的处理中，每次判断为第一累计值大于第二累计值时，将评价点累加，求出其合计值作为“评价值”。
这样，根据不同时刻的摄像图像，基于从偏移后的(对位后的)过去的摄像图像与当前的摄像图像的差分图像中抽出的像素量(边缘量)以及从不偏移(不对位的)过去的摄像图像与当前的摄像图像的差分图像抽出的像素量(边缘量)的大小关系，能够识别移动物体的图像迁移的特征和(自然物)静止物体的图像迁移的特征，以高精度判断三维物体是移动物体还是自然物等静止物体。
本实施方式的三维物体判断部34在判断为在与不偏移的(不对位的)图像的差分图像中示出规定差分的像素(边缘量)的第一累计值大于在与偏移后的(对位后的)图像的差分图像中示出规定差分的像素(边缘量)的第二累计值的情况下，加上第一计数值来计算评价值。也就是说，随着第一累计值大于第二累计值这样的判断重复进行，来使评价值增加。然后，在评价值为规定的评价阈值以上的情况下，判断为由三维物体检测部33、37检测出的三维物体是其它车辆VX等移动物体。
在该处理中，三维物体判断部34在第一累计值大于第二累计值这样内容的判断连续的情况下，随着该判断的连续次数增加，对第一计数值进行变高设定。这样，在第一累计值高于第二累计值这样的判断连续的情况下，判断为检测出的三维物体是移动物体这样的判断的准确性变高，将第一计数值变大以使评价值变大，因此根据继时性的观察结果，能够以高精度判断三维物体是否为移动物体。
三维物体判断部34也可以在判断为第一累计值大于第二累计值的情况下加上第一计数值并且在判断为第一累计值小于第二累计值的情况下减去第二计数值，来计算评价值。在这种情况下，三维物体判断部34在得到第一累计值大于第二累计值这样内容的判断之后得到第一累计值小于第二累计值这样内容的判断、再之后得到第一累计值大于第二累计值这样内容的判断的情况下，对第二计数值进行变高设定。
这样，在交替产生第一累计值大于第二累计值这样的判断和第二累计值大于第一累计值这样的判断的情况下，判断为检测出的三维物体是具有不规则性的自然物等静止物体的可能性大，将第二计数值变大使得用于判断移动物的评价值变小，因此根据继时性的观察结果，能够以高精度判断自然物等自然物体、进一步说移动物体。也能够将该判断结果用作上述的包含草、雪的自然物的判断结果。顺便提及，能够稳定地观察移动物体的特征的检测状态的倾向高。这是因为在离散地检测出三维物体是自然物的判断结果、检测结果不稳定的情况下，能够判断为检测出的三维物体是自然物等静止物体的可能性高。
三维物体判断部34在判断为第一累计值小于第二累计值的情况下，减去第二计数值来计算评价值。在这种情况下，三维物体判断部34在第一累计值小于第二累计值这样内容的判断连续规定次数以上的情况下，对第二计数值进行变高设定。
这样，在判断为第一累计值小于第二累计值的情况下，判断为检测出的三维物体是静止物体的可能性高，将与减法有关的第二计数值变大使得用于判断移动物体的评价值变小，因此根据继时性的观察结果，能够以高精度判断移动物体。
图30是表示本实施方式的移动物体的判断处理的控制过程的流程图。
如图30所示，首先在步骤S81中，三维物体判断部34获取过去的定时T0的图像。接着，在步骤S82中，三维物体判断部34求出在过去的定时T0的偏移图像T0A和在过去的定时T0的非偏移图像T0B。各图像可以是摄像图像，也可以是视点变换得到的鸟瞰视点图像。
在步骤S83中，三维物体判断部34获取当前的定时T1的图像T1。在接下来的步骤S84中，三维物体判断部34获取当前的定时T1的图像T1与过去的定时T0的偏移图像T0A的差分图像PDtA，并且获取当前的定时T1的图像T1与过去的定时T0的非偏移图像T0B的差分图像PDtB。
在步骤S85中，三维物体判断部34在差分图像PDtA中抽出像素值为规定差分以上的像素、亮度差为规定值以上的像素，针对每个位置求出像素的分布。同样地，三维物体判断部34在差分图像PDtB中抽出像素值为规定差分以上的像素、亮度差为规定值以上的像素，针对每个位置求出像素的分布。在接下来的步骤S86中，三维物体判断部34求出差分图像PDtA中的像素量的累计值PA，并且求出差分图像PDtB中的像素量的累计值PB。代替累计值PA、PB，也可以求出整体的像素量。
在步骤S87中，三维物体判断部34将第一累计值PA与第二累计值PB进行比较，在第一累计值PA大于第二累计值PB的情况下、即偏移后的过去图像T0A与当前图像T1的差分图像的像素量或第一累计值PA大于不偏移的过去图像T0B与当前图像T1的差分图像的像素量或第二累计值PB的情况下，进入步骤S88，判断为检测出的三维物体是其它车辆VX等移动物体，转移到图26的步骤S74，解除其它车辆的检测抑制处理。另一方面，在步骤S87中，在第一累计值PA为第二累计值PB以上的情况下，进入图25的步骤S45。
根据如以上那样构成并进行动作的本发明的本实施方式所涉及的三维物体检测装置1，起到以下的效果。
(1)根据本实施方式的三维物体检测装置1，检测不满足预先决定的人造的三维物体的条件而不规则地排列的不规则边缘点P1，并且根据不规则边缘点P1的个数L判断是否存在草和雪。在此，在车辆等人造物进入到检测区域A1、A2内的情况下，因为是人造物，因此具有边缘点P容易沿着倾斜的方向规则地进行排列的倾向。与此相对地，在草和雪的情况下，由于不是人造物，因此边缘点P不规则地存在。因此，根据不规则边缘点P1的个数L，能够辨别出前者和后者。因而，能够提高草、雪的判断精度。
无论是基于差分波形信息的处理，还是基于边缘信息的处理，都起到同样的作用和效果。
(2)根据本实施方式的三维物体检测装置1，在规则的第二像素数相对少、不规则的第三像素数相对多的情况下，评价为不规则性高，因此能够定量地判断摄像图像的不规则性，并以高精度检测包含草或雪的自然物的存在。
(3)根据本实施方式的三维物体检测装置1，在不规则的第三像素数与规则的第二像素数相比相对较多的情况下，评价为不规则性高，因此能够定量地判断摄像图像的不规则性，并以高精度检测包含草或雪的自然物的存在。
(4)根据本实施方式的三维物体检测装置1，在不规则的第三像素数相对于规则的第二像素数或像素整体的第一像素数以较高的比率存在的情况下，评价为不规则性高，因此能够定量地判断摄像图像的不规则性，并以高精度检测包含草或雪的自然物的存在。
(5)根据本实施方式的三维物体检测装置1，将沿着视点变换为鸟瞰视点图像时三维物体倾倒的方向观察出规定密度以上的第二像素判断为人造的三维物体的像的特征，因此能够高精度地识别出与所有的物体对应的第一像素中的与人造的三维物体对应的第二像素和与非人造的自然的三维物体对应的像素(第三像素)。
(6)根据本实施方式的三维物体检测装置1，在判断为在前次的处理中检测出的三维物体是沿着本车辆V的行驶道路存在的包含草、雪的自然物(自然的静止物体)Q1的像的情况下，通过将第一阈值α变高，能够调整检测灵敏度使得不容易检测行驶于本车辆V的行驶车道附近的其它车辆VX，因此能够防止将包含草、雪的自然物(自然的静止物体)Q1的像错误检测为行驶于相邻的车道的其它车辆VX。
(7)在判断为在前次的处理中检测出的三维物体是沿着本车辆V的行驶道路存在的包含草、雪的自然物(自然的静止物体)的像的情况下，通过将生成差分波形信息时的输出值变低，能够调整检测灵敏度使得不容易检测行驶于本车辆V的行驶车道附近的其它车辆VX，因此能够防止将包含草、雪的自然物(自然的静止物体)Q1的像错误检测为行驶于相邻的车道的其它车辆VX。
(8)在判断为在前次的处理中检测出的三维物体是沿着本车辆V的行驶道路存在的包含草、雪的自然物(自然的静止物体)的像的情况下，通过将生成边缘信息时的判断的阈值变高，能够调整检测灵敏度使得不容易检测行驶于本车辆V的行驶车道附近的其它车辆VX，能够防止将包含自然物的静止物体Q1的像错误检测为行驶于相邻的车道的其它车辆VX，其中，该自然物包含草、雪。
(9)在判断为在前次的处理中检测出的三维物体是沿着本车辆V的行驶道路存在的包含草、雪的自然物(自然的静止物体)的像的情况下，通过将生成边缘信息时的输出值变低，能够调整检测灵敏度使得不容易检测行驶于本车辆V的行驶车道附近的其它车辆VX，因此能够防止将包含草、雪的自然物(自然的静止物体)Q1的像错误检测为行驶于相邻的车道的其它车辆VX。
(10)根据本实施方式的三维物体检测装置1，根据不同时刻的摄像图像，基于从偏移后的过去的摄像图像与当前的摄像图像的差分图像抽出的像素量(边缘量)和从不偏移的过去的摄像图像与当前的摄像图像的差分图像抽出的像素量(边缘量)的大小关系，识别出移动物体的图像迁移的特征和静止物体的图像迁移的特征，在三维物体是移动物体的情况下，解除三维物体的抑制处理，因此能够进行高精度的三维物体检测处理。
(11)根据本实施方式的三维物体检测装置1，在第一累计值大于第二累计值这样的判断连续的情况下，判断为检测出的三维物体是移动物体的可能性变高，将第一计数值变大使得用于对移动物体进行评价的评价值变大，因此根据继时性的观察结果，能够以高精度判断移动物体。
(12)根据本实施方式的三维物体检测装置1，在交替产生第一累计值大于第二累计值这样的判断和第二累计值大于第一累计值这样的判断的情况下，判断为所检测出的三维物体是静止物体(包含自然物)的可能性高，将减去的第二计数值变大使得用于对移动物体进行评价的评价值变低，因此根据继时性的观察结果，能够以高精度判断移动物体。
(13)根据本实施方式的三维物体检测装置1，在判断为第一累计值小于第二累计值的情况下，判断为所检测出的三维物体是静止物体的可能性高，将与减法有关的第二计数值变大使得评价值变小，因此根据继时性的观察结果，能够以高精度判断静止物体。
(14)本实施方式的三维物体检测装置1在通过基于差分波形信息的处理检测其它车辆VX的情况下、通过基于边缘信息的处理检测其它车辆VX的情况下都起到相同的作用和效果。
上述摄像头10相当于本发明所涉及的摄像单元，上述视点变换部31相当于本发明所涉及的图像变换单元，上述对位部32和三维物体检测部33相当于本发明所涉及的三维物体检测单元，上述亮度差计算部35、边缘线检测部36以及三维物体检测部37相当于本发明所涉及的三维物体检测单元，上述三维物体判断部34相当于三维物体判断单元，上述自然物判断部38相当于自然物判断单元，控制部39相当于控制单元，上述车速传感器20相当于车速传感器。
本实施方式的对位部21将不同时刻的鸟瞰视点图像的位置以鸟瞰视点进行对位，得到对位后的该鸟瞰视点图像，但是该“对位”处理能够以与检测对象的类别、所要求的检测精度相应的精度进行。可以是以同一时刻和同一位置为基准进行对位之类的严格的对位处理，也可以是掌握各鸟瞰视点图像的坐标这样的程度的不严格的对位处理。
附图标记说明
1：三维物体检测装置；10：摄像头；20：车速传感器；30：计算机；31：视点变换部；32：对位部；33、37：三维物体检测部；34：三维物体判断部；35：亮度差计算部；36：边缘检测部；38：自然物判断部；40：拖影检测部；A1、A2：检测区域；CP：交点；DP：差分像素；DWt、DWt’：差分波形；DWt1～DWm、DWm+k～DWtn：小区域；L1、L2：触地线；La、Lb：三维物体倾倒的方向上的线；P：摄像图像；PBt：鸟瞰视点图像；PDt：差分图像；MP：掩模图像；S：拖影；SP：拖影图像；SBt：拖影鸟瞰视点图像；V：本车辆；VX：其它车辆。

Claims (22)

1.一种三维物体检测装置，其特征在于，具备：
摄像单元，其搭载于车辆，拍摄车辆后方；
图像变换单元，其将由上述摄像单元获得的图像视点变换为鸟瞰视点图像；
差分波形信息生成单元，其将由上述图像变换单元获得的不同时刻的鸟瞰视点图像的位置以鸟瞰视点进行对位，对在该对位后的鸟瞰视点图像的差分图像上示出规定的差分的像素数进行计数并进行频数分布化，由此生成差分波形信息；
三维物体检测单元，其根据上述差分波形信息中包含的频数来检测在针对上述车辆后方的右侧和左侧分别设定的检测区域中存在的三维物体，该频数是沿着在视点变换为上述鸟瞰视点图像时三维物体倾倒的方向对在上述差分图像上示出规定的差分的像素数进行计数得到的；以及
自然物判断单元，其根据在检测出上述三维物体的上述差分图像上示出第一规定差分的第一像素的第一像素数以及沿着在视点变换为上述鸟瞰视点图像时三维物体倾倒的方向抽出且在上述差分图像上示出大于上述第一规定差分的第二规定差分的第二像素的第二像素数，来计算用于对上述差分波形信息的不规则性进行评价的不规则性评价值，在所计算出的上述不规则性评价值为预先设定的规定的不规则性评价阈值以上的情况下，判断为由上述三维物体检测单元检测出的三维物体是沿着本车辆的行驶道路存在的包含草或雪的自然物。
2.一种三维物体检测装置，其特征在于，具备：
摄像单元，其搭载于车辆，拍摄车辆后方；
图像变换单元，其将由上述摄像单元获得的图像视点变换为鸟瞰视点图像；
边缘信息生成单元，其在由上述图像变换单元获得的鸟瞰视点图像中抽出彼此相邻的图像区域的亮度差为规定阈值以上的像素，根据该像素生成边缘信息；
三维物体检测单元，其根据上述边缘信息中包含的如下边缘信息来检测在针对上述车辆后方的右侧和左侧分别设定的检测区域中存在的三维物体，该边缘信息是包含沿着在视点变换为上述鸟瞰视点图像时三维物体倾倒的方向抽出且彼此相邻的图像区域的亮度差为规定阈值以上的像素的边缘信息，
还具备自然物判断单元，该自然物判断单元根据在检测出上述三维物体的上述鸟瞰视点图像上彼此相邻的图像区域的亮度差为第一规定阈值以上的第一像素的第一像素数以及沿着在视点变换为上述鸟瞰视点图像时三维物体倾倒的方向抽出且在上述鸟瞰视点图像上彼此相邻的图像区域的亮度差为大于上述第一规定阈值的第二规定阈值以上的第二像素的第二像素数，来计算用于对上述边缘信息的不规则性进行评价的不规则性评价值，在所计算出的上述不规则性评价值为预先设定的规定的不规则性评价阈值以上的情况下，判断为由上述三维物体检测单元检测出的三维物体是沿着本车辆的行驶道路存在的包含草或雪的自然物。
3.根据权利要求1或2所述的三维物体检测装置，其特征在于，
上述自然物判断单元计算从上述第一像素数中减去第二像素数而得到的第三像素数，
在上述第二像素数小于第一规定值且第三像素数为第二规定值以上的情况下，上述自然物判断单元判断为上述不规则性评价值为规定的不规则性评价阈值以上。
4.根据权利要求1或2所述的三维物体检测装置，其特征在于，
上述自然物判断单元计算从上述第一像素数中减去第二像素数而得到的第三像素数，
在从上述第三像素数中减去上述第二像素数而得到的值为第三规定值以上的情况下，上述自然物判断单元判断为上述不规则性评价值为规定的不规则性评价阈值以上。
5.根据权利要求1或2所述的三维物体检测装置，其特征在于，
上述自然物判断单元计算从上述第一像素数中减去第二像素数而得到的第三像素数，
上述自然物判断单元计算第三像素数相对于上述第一像素数的存在比率或第三像素数相对于上述第二像素数的存在比率，
在第三像素数相对于上述第一像素数的存在比率或第三像素数相对于上述第二像素数的存在比率为规定比率以上的情况下，上述自然物判断单元判断为上述不规则性评价值为规定的不规则性评价阈值以上。
6.根据权利要求1或从属于权利要求1的权利要求3～5中的任一项所述的三维物体检测装置，其特征在于，
上述自然物判断单元将沿着在视点变换为上述鸟瞰视点图像时三维物体倾倒的方向抽出且示出上述第二规定差分的像素中的构成以规定密度以上的密度排列的像素群的像素设为第二像素，求出该第二像素的个数来作为上述第二像素数。
7.根据权利要求2或从属于权利要求2的权利要求3～5中的任一项所述的三维物体检测装置，其特征在于，
上述自然物判断单元将沿着在视点变换为上述鸟瞰视点图像时三维物体倾倒的方向抽出且在鸟瞰视点图像上彼此相邻的图像区域的亮度差为第二规定阈值以上的像素中的构成以规定密度以上的密度排列的像素群的像素设为第二像素，求出该第二像素的个数来作为上述第二像素数。
8.根据权利要求1或2所述的三维物体检测装置，其特征在于，还具备：
三维物体判断单元，其判断由上述三维物体检测单元检测出的三维物体是否为存在于上述检测区域的其它车辆；以及
控制单元，其在由上述自然物判断单元判断为所检测出的上述三维物体是沿着上述本车辆的行驶道路存在的包含草或雪的自然物的情况下，进行如下控制：抑制由上述三维物体判断单元将所检测出的上述三维物体判断为是其它车辆。
9.根据引用权利要求1的权利要求8所述的三维物体检测装置，其特征在于，
上述三维物体检测单元根据上述差分波形信息以及第一阈值α来检测三维物体，
在由上述自然物判断单元判断为所检测出的上述三维物体是沿着上述本车辆的行驶道路存在的包含草或雪的自然物的情况下，上述控制单元向上述三维物体检测单元输出将上述第一阈值α变高使得不容易检测上述三维物体的控制命令。
10.根据引用权利要求1的权利要求8所述的三维物体检测装置，其特征在于，
上述三维物体检测单元根据上述差分波形信息的像素数以及第一阈值α来检测三维物体，
在由上述自然物判断单元判断为所检测出的上述三维物体是沿着上述本车辆的行驶道路存在的包含草或雪的自然物的情况下，上述控制单元生成使在上述鸟瞰视点图像的差分图像上示出规定的差分的像素数的值变低的控制命令，并向上述三维物体检测单元输出该控制命令。
11.根据引用权利要求2的权利要求8所述的三维物体检测装置，其特征在于，
上述三维物体检测单元根据上述边缘信息以及第二阈值β来检测三维物体，
在由上述自然物判断单元判断为所检测出的上述三维物体是沿着上述本车辆的行驶道路存在的包含草或雪的自然物的情况下，上述控制单元向上述三维物体检测单元输出将上述第二阈值β变高使得不容易检测上述三维物体的控制命令。
12.根据引用权利要求2的权利要求8所述的三维物体检测装置，其特征在于，
上述三维物体检测单元根据上述边缘信息的量以及第二阈值β来检测三维物体，
在由上述自然物判断单元判断为所检测出的上述三维物体是沿着上述本车辆的行驶道路存在的包含草或雪的自然物的情况下，上述控制单元向上述三维物体检测单元输出将所检测出的上述边缘信息的量变低输出的控制命令。
13.根据引用权利要求1的权利要求8～10中的任一项所述的三维物体检测装置，其特征在于，
上述三维物体判断单元将在检测出上述三维物体的第一时刻获得的第一鸟瞰视点图像的位置与在上述第一时刻之后的第二时刻获得的第二鸟瞰视点图像的位置以鸟瞰视点进行对位，求出对在对位后的该鸟瞰视点图像的差分图像上示出规定的差分的像素数进行计数并进行频数分布化所生成的第一差分波形信息的第一累计值，并且求出对在上述第一时刻获得的第一鸟瞰视点图像与在上述第一时刻之后的第二时刻得到的第二鸟瞰视点图像的差分图像上示出规定的差分的像素数进行计数并进行频数分布化所生成的第二差分波形信息的第二累计值，在与判断为上述第一累计值大于上述第二累计值的次数相应的评价值为规定的评价阈值以上的情况下，判断为由上述三维物体检测单元检测出的三维物体是移动物体，
在由上述三维物体判断单元判断为上述三维物体是移动物体的情况下，上述控制单元中止抑制将所检测出的上述三维物体判断为是其它车辆的处理。
14.根据引用权利要求2的权利要求8、11或12所述的三维物体检测装置，其特征在于，
上述三维物体判断单元具备自然物判断单元，该自然物判断单元将在检测出上述三维物体的第一时刻获得的第一鸟瞰视点图像的位置与在上述第一时刻之后的第二时刻获得的第二鸟瞰视点图像的位置以鸟瞰视点进行对位，求出对在对位后的该鸟瞰视点图像的差分图像上彼此相邻的图像区域的亮度差为规定阈值以上的像素数进行计数并进行频数分布化所生成的第一亮度分布信息的第一累计值，并且求出对在上述第一时刻获得的第一鸟瞰视点图像与在上述第一时刻之后的第二时刻获得的第二鸟瞰视点图像的差分图像上彼此相邻的图像区域的亮度差为规定阈值以上的像素数进行计数并进行频数分布化所生成的第二亮度分布信息的第二累计值，在与判断为上述第一累计值大于上述第二累计值的次数相应的评价值为规定的评价阈值以上的情况下，判断为由上述三维物体检测单元检测出的三维物体是移动物体。
15.根据权利要求13所述的三维物体检测装置，其特征在于，
上述三维物体判断单元在判断为上述第一累计值大于上述第二累计值的情况下，加上第一计数值来计算上述评价值，
上述三维物体判断单元在上述第一累计值大于上述第二累计值这样内容的判断连续的情况下，随着上述判断的连续次数增加，而对上述第一计数值进行变高设定。
16.根据权利要求14所述的三维物体检测装置，其特征在于，
上述三维物体判断单元在判断为上述第一累计值大于上述第二累计值的情况下，加上第一计数值来计算上述评价值，
上述三维物体判断单元在上述第一累计值大于上述第二累计值这样内容的判断连续的情况下，随着上述判断的连续次数增加，而对上述第一计数值进行变高设定。
17.根据权利要求13所述的三维物体检测装置，其特征在于，
上述三维物体判断单元在判断为上述第一累计值大于上述第二累计值的情况下加上第一计数值，并且在判断为上述第一累计值小于上述第二累计值的情况下减去第二计数值，来计算上述评价值，
上述三维物体判断单元在上述第一累计值大于上述第二累计值这样内容的判断之后得到上述第一累计值小于上述第二累计值这样内容的判断、再之后得到上述第一累计值大于上述第二累计值这样内容的判断的情况下，对上述第二计数值进行变高设定。
18.根据权利要求14所述的三维物体检测装置，其特征在于，
上述三维物体判断单元在判断为上述第一累计值大于上述第二累计值的情况下加上第一计数值，并且在判断为上述第一累计值小于上述第二累计值的情况下减去第二计数值，来计算上述评价值，
上述三维物体判断单元在上述第一累计值大于上述第二累计值这样内容的判断之后得到上述第一累计值小于上述第二累计值这样内容的判断、再之后得到上述第一累计值大于上述第二累计值这样内容的判断的情况下，对上述第二计数值进行变高设定。
19.根据权利要求13所述的三维物体检测装置，其特征在于，
上述三维物体判断单元在判断为上述第一累计值小于上述第二累计值的情况下，减去第二计数值来计算上述评价值，
上述三维物体判断单元在上述第一累计值小于上述第二累计值这样内容的判断连续规定次数以上的情况下，对上述第二计数值进行变高设定。
20.根据权利要求14所述的三维物体检测装置，其特征在于，
上述三维物体判断单元在判断为上述第一累计值小于上述第二累计值的情况下，减去第二计数值来计算上述评价值，
上述三维物体判断单元在上述第一累计值小于上述第二累计值这样内容的判断连续规定次数以上的情况下，对上述第二计数值进行变高设定。
21.一种三维物体检测方法，包括以下步骤：
将由搭载于车辆并拍摄车辆后方的摄像单元获得的图像视点变换为鸟瞰视点图像；
将获得的不同时刻的上述鸟瞰视点图像的位置以鸟瞰视点进行对位，对在该对位后的鸟瞰视点图像的差分图像上示出规定的差分的像素数进行计数并进行频数分布化，由此生成差分波形信息；
根据上述差分波形信息中包含的频数来检测在针对上述车辆后方的右侧和左侧分别设定的检测区域中存在的三维物体，该频数是沿着在视点变换为上述鸟瞰视点图像时三维物体倾倒的方向对在上述差分图像上示出规定的差分的像素数进行计数得到的；以及
根据在检测出上述三维物体的上述差分图像上示出第一规定差分的第一像素的第一像素数以及沿着在视点变换为上述鸟瞰视点图像时三维物体倾倒的方向抽出且在上述差分图像上示出大于上述第一规定差分的第二规定差分的第二像素的第二像素数，来计算用于对上述差分波形信息的不规则性进行评价的不规则性评价值，在所计算出的上述不规则性评价值为预先设定的规定的不规则性评价阈值以上的情况下，判断为所检测出的上述三维物体是沿着本车辆的行驶道路存在的包含草或雪的自然物。
22.一种三维物体检测方法，包括以下步骤：
将由搭载于车辆并拍摄车辆后方的摄像单元获得的图像视点变换为鸟瞰视点图像；
在所获得的上述鸟瞰视点图像中抽出彼此相邻的图像区域的亮度差为规定阈值以上的像素，根据该像素生成边缘信息；以及
根据上述边缘信息中包含的如下边缘信息来检测在针对上述车辆后方的右侧和左侧分别设定的检测区域中存在的三维物体，该边缘信息是包括沿着在视点变换为上述鸟瞰视点图像时三维物体倾倒的方向抽出且彼此相邻的图像区域的亮度差为规定阈值以上的像素的边缘信息，
还包括以下步骤：根据在检测出上述三维物体的上述鸟瞰视点图像上彼此相邻的图像区域的亮度差为第一规定阈值以上的第一像素的第一像素数以及沿着在视点变换为上述鸟瞰视点图像时三维物体倾倒的方向抽出且在上述鸟瞰视点图像上彼此相邻的图像区域的亮度差为大于上述第一规定阈值的第二规定阈值以上的第二像素的第二像素数，来计算用于对上述边缘信息的不规则性进行评价的不规则性评价值，在计算出的上述不规则性评价值为预先设定的规定的不规则性评价阈值以上的情况下，判断为所检测出的上述三维物体是沿着本车辆的行驶道路存在的包含草或雪的自然物。
CN201280043306.4A 2011-09-12 2012-07-27 三维物体检测装置 Active CN103797529B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2011198007 2011-09-12
JP2011-198007 2011-09-12
PCT/JP2012/069091 WO2013038818A1 (ja) 2011-09-12 2012-07-27 立体物検出装置

Publications (2)

Publication Number Publication Date
CN103797529A CN103797529A (zh) 2014-05-14
CN103797529B true CN103797529B (zh) 2016-11-09

Family

ID=47883057

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280043306.4A Active CN103797529B (zh) 2011-09-12 2012-07-27 三维物体检测装置

Country Status (9)

Country Link
US (1) US9349057B2 (zh)
EP (1) EP2757541B1 (zh)
JP (1) JP5614504B2 (zh)
CN (1) CN103797529B (zh)
BR (1) BR112014002366B1 (zh)
MX (1) MX2014001500A (zh)
MY (1) MY171030A (zh)
RU (1) RU2544775C1 (zh)
WO (1) WO2013038818A1 (zh)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
MY160274A (en) * 2010-08-19 2017-02-28 Nissan Motor Three-dimensional object detection device and three-dimensional object detection method
EP2843615B1 (en) 2012-04-16 2016-12-07 Nissan Motor Co., Ltd. Device for detecting three-dimensional object and method for detecting three-dimensional object
US10678259B1 (en) * 2012-09-13 2020-06-09 Waymo Llc Use of a reference image to detect a road obstacle
WO2014061123A1 (ja) * 2012-10-17 2014-04-24 富士通株式会社 画像処理装置、画像処理プログラムおよび画像処理方法
JP6150164B2 (ja) * 2013-07-01 2017-06-21 株式会社リコー 情報検出装置、移動体機器制御システム、移動体及び情報検出用プログラム
IL227860B (en) * 2013-08-08 2019-05-30 Israel Aerospace Ind Ltd Classification of objects in a scanned environment
KR101491305B1 (ko) * 2013-08-27 2015-02-06 현대자동차주식회사 장애물 검출 장치 및 방법
KR101439052B1 (ko) * 2013-09-05 2014-09-05 현대자동차주식회사 장애물 검출 장치 및 방법
WO2015110847A1 (en) * 2014-01-27 2015-07-30 Xylon d.o.o. Data-processing system and method for calibration of a vehicle surround view system
DE102014110663A1 (de) * 2014-07-29 2016-02-04 Connaught Electronics Ltd. Verfahren zum Betreiben eines Kamerasystems eines Kraftfahrzeugs, Fahrerassistenzsystem und Kraftfahrzeug
CN104299244B (zh) * 2014-09-26 2017-07-25 东软集团股份有限公司 基于单目相机的障碍物检测方法及装置
JP6532229B2 (ja) * 2014-12-18 2019-06-19 株式会社デンソーテン 物体検出装置、物体検出システム、物体検出方法及びプログラム
JP6456405B2 (ja) * 2015-01-16 2019-01-23 株式会社日立製作所 ３次元情報算出装置、３次元情報算出方法、および自律移動装置
JP6623729B2 (ja) * 2015-12-04 2019-12-25 株式会社ソシオネクスト 測距システム、移動体及び部品
JP6625446B2 (ja) * 2016-03-02 2019-12-25 株式会社神戸製鋼所 外乱除去装置
CN108885831B (zh) * 2016-03-24 2020-04-14 日产自动车株式会社 行进路检测方法及行进路检测装置
US11242068B2 (en) * 2016-05-30 2022-02-08 Lg Electronics Inc. Vehicle display device and vehicle
JP2018022343A (ja) * 2016-08-03 2018-02-08 株式会社東芝 画像処理装置、および画像処理方法
US10183677B2 (en) * 2016-09-20 2019-01-22 Ford Global Technologies, Llc Ice and snow detection systems and methods
US10163015B2 (en) * 2016-11-16 2018-12-25 Ford Global Technologies, Llc Detecting foliage using range data
JP7122806B2 (ja) * 2017-02-24 2022-08-22 コニカミノルタ株式会社 物体接近検知装置および物体接近検知方法
US20190039515A1 (en) * 2017-08-01 2019-02-07 Nanning Fugui Precision Industrial Co., Ltd. System and method for warning against vehicular collisions when driving
JP7315303B2 (ja) * 2018-01-26 2023-07-26 株式会社アイシン 画像処理装置
US11565698B2 (en) * 2018-04-16 2023-01-31 Mitsubishi Electric Cornoration Obstacle detection apparatus, automatic braking apparatus using obstacle detection apparatus, obstacle detection method, and automatic braking method using obstacle detection method
CN109064445B (zh) * 2018-06-28 2022-01-04 中国农业科学院特产研究所 一种动物的数量统计方法和***、存储介质
CN109785352B (zh) * 2018-12-21 2022-11-22 广东工业大学 一种智能高效机载雷达点云分析方法
CN112017239B (zh) * 2019-05-31 2022-12-20 北京市商汤科技开发有限公司 确定目标对象朝向方法、智能驾驶控制方法和装置及设备
JP7325296B2 (ja) * 2019-10-25 2023-08-14 日産自動車株式会社 物体認識方法及び物体認識システム

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19921449C1 (de) * 1999-05-08 2001-01-25 Daimler Chrysler Ag Leithilfe bei einem Fahrspurwechsel eines Kraftfahrzeuges
US6801244B2 (en) * 2000-02-29 2004-10-05 Kabushiki Kaisha Toshiba Obstacle detection apparatus and method
JP4156214B2 (ja) * 2001-06-13 2008-09-24 株式会社デンソー 車両周辺画像処理装置及び記録媒体
JP3871614B2 (ja) * 2002-06-12 2007-01-24 松下電器産業株式会社 運転支援装置
JP4259368B2 (ja) * 2004-03-26 2009-04-30 三菱自動車工業株式会社 ノーズビューモニタ装置
JP2006072830A (ja) * 2004-09-03 2006-03-16 Aisin Aw Co Ltd 運転支援システム及び運転支援モジュール
JP4596978B2 (ja) * 2005-03-09 2010-12-15 三洋電機株式会社 運転支援システム
JP4661339B2 (ja) 2005-05-11 2011-03-30 マツダ株式会社 車両用移動物体検出装置
JP4934308B2 (ja) * 2005-10-17 2012-05-16 三洋電機株式会社 運転支援システム
JP2007221199A (ja) * 2006-02-14 2007-08-30 Auto Network Gijutsu Kenkyusho:Kk 車載カメラ表示装置及び画像処理装置
JP4930046B2 (ja) * 2006-12-26 2012-05-09 日産自動車株式会社 路面判別方法および路面判別装置
JP2008219063A (ja) * 2007-02-28 2008-09-18 Sanyo Electric Co Ltd 車両周辺監視装置及び方法
JP4924896B2 (ja) * 2007-07-05 2012-04-25 アイシン精機株式会社 車両の周辺監視装置
RU2352480C1 (ru) 2007-07-24 2009-04-20 Открытое акционерное общество "Горизонт" Наземный транспортный комплекс для обнаружения и распознавания объектов
JP5108605B2 (ja) 2008-04-23 2012-12-26 三洋電機株式会社 運転支援システム及び車両
JP5054612B2 (ja) * 2008-05-15 2012-10-24 株式会社日立製作所 接近物検出装置および接近物検出方法
JP5068779B2 (ja) 2009-02-27 2012-11-07 現代自動車株式会社 車両周囲俯瞰画像表示装置及び方法
US20110001819A1 (en) * 2009-07-02 2011-01-06 Sanyo Electric Co., Ltd. Image Processing Apparatus
DE102010015079A1 (de) * 2010-04-15 2011-10-20 Valeo Schalter Und Sensoren Gmbh Verfahren zum Anzeigen eines Bildes auf einer Anzeigeeinrichtung in einem Fahrzeug. Fahrerassistenzsystem und Fahrzeug
RU97092U1 (ru) * 2010-04-21 2010-08-27 Руслан Владимирович Ситников Система мониторинга пространства, окружающего транспортное средство
DE102010040803A1 (de) * 2010-09-15 2012-03-15 Continental Teves Ag & Co. Ohg Visuelles Fahrerinformations- und Warnsystem für einen Fahrer eines Kraftfahrzeugs
CN103124995B (zh) * 2011-02-21 2015-07-01 日产自动车株式会社 周期性静止物体检测装置和周期性静止物体检测方法
US9290204B2 (en) * 2011-04-19 2016-03-22 Ford Global Technologies, Llc Hitch angle monitoring system and method
MX2014000603A (es) * 2011-08-02 2014-03-31 Nissan Motor Dispositivo de deteccion de cuerpos en movimiento y sistema de deteccion de cuerpos en movimiento.
WO2013125403A1 (ja) * 2012-02-23 2013-08-29 日産自動車株式会社 立体物検出装置
MX2014010405A (es) * 2012-03-02 2014-09-22 Nissan Motor Dispositivo de deteccion de objetos tridimensionales.
EP2843615B1 (en) * 2012-04-16 2016-12-07 Nissan Motor Co., Ltd. Device for detecting three-dimensional object and method for detecting three-dimensional object
MY158375A (en) * 2012-07-27 2016-09-26 Nissan Motor Three-dimensional object detection device, three-dimensional object detection method
EP2879386B1 (en) * 2012-07-27 2018-01-03 Nissan Motor Co., Ltd Three-dimensional object detection device, and three-dimensional object detection method
WO2014017317A1 (ja) * 2012-07-27 2014-01-30 日産自動車株式会社 立体物検出装置及び異物検出装置
US9286800B2 (en) * 2012-12-30 2016-03-15 Robert Gordon Guidance assist vehicle module
US9129528B2 (en) * 2013-02-04 2015-09-08 Ford Global Technologies Trailer active back-up assist with lane width HMI

Also Published As

Publication number Publication date
WO2013038818A1 (ja) 2013-03-21
MX2014001500A (es) 2014-05-12
EP2757541A1 (en) 2014-07-23
US20140168440A1 (en) 2014-06-19
JP5614504B2 (ja) 2014-10-29
BR112014002366A2 (pt) 2019-12-17
CN103797529A (zh) 2014-05-14
RU2544775C1 (ru) 2015-03-20
EP2757541A4 (en) 2015-06-17
BR112014002366B1 (pt) 2021-10-05
EP2757541B1 (en) 2020-09-09
US9349057B2 (en) 2016-05-24
JPWO2013038818A1 (ja) 2015-03-26
MY171030A (en) 2019-09-23

Similar Documents

Publication Publication Date Title
CN103797529B (zh) 三维物体检测装置
CN104246821B (zh) 三维物体检测装置和三维物体检测方法
CN104509102B (zh) 三维物体检测装置和异物检测装置
CN104012081B (zh) 三维物体检测装置
CN104508727B (zh) 三维物体检测装置和三维物体检测方法
CN106203398B (zh) 一种检测车道边界的方法、装置和设备
CN105632186B (zh) 检测车辆加塞行为的方法和装置
CN104508726B (zh) 三维物体检测装置和三维物体检测方法
US10081308B2 (en) Image-based vehicle detection and distance measuring method and apparatus
CN104509090B (zh) 车载用图像识别装置
RU2563534C1 (ru) Устройство обнаружения сплошных объектов и способ обнаружения сплошных объектов
CN104509101B (zh) 三维物体检测装置和三维物体检测方法
CN105206109B (zh) 一种基于红外ccd的车辆雾天识别预警***及方法
CN108615358A (zh) 一种道路拥堵检测方法及装置
US20130266175A1 (en) Road structure detection and tracking
CN103324930A (zh) 一种基于灰度直方图二值化的车牌字符分割方法
CN107563256A (zh) 辅助驾驶信息产生方法及装置、辅助驾驶***
CN104509100B (zh) 三维物体检测装置以及三维物体检测方法
CN104508728B (zh) 三维物体检测装置
CN104509091B (zh) 水滴检测装置以及使用水滴检测装置的三维物体检测装置
CN104915642B (zh) 前方车辆测距方法及装置
CN104115188A (zh) 立体物检测装置
CN102768726A (zh) 一种预防行人碰撞的行人检测方法
KR101224027B1 (ko) 영상의 장면 정보를 이용한 전방 차량 검출 방법
CN111597905A (zh) 一种基于视频技术的公路隧道停车检测方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant