CN104509100B - 三维物体检测装置以及三维物体检测方法 - Google Patents

三维物体检测装置以及三维物体检测方法 Download PDF

Info

Publication number
CN104509100B
CN104509100B CN201380040042.1A CN201380040042A CN104509100B CN 104509100 B CN104509100 B CN 104509100B CN 201380040042 A CN201380040042 A CN 201380040042A CN 104509100 B CN104509100 B CN 104509100B
Authority
CN
China
Prior art keywords
mentioned
dimensional body
vehicle
translational speed
difference
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201380040042.1A
Other languages
English (en)
Other versions
CN104509100A (zh
Inventor
深田修
早川泰久
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Original Assignee
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co Ltd filed Critical Nissan Motor Co Ltd
Publication of CN104509100A publication Critical patent/CN104509100A/zh
Application granted granted Critical
Publication of CN104509100B publication Critical patent/CN104509100B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/285—Analysis of motion using a sequence of stereo image pairs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/653—Three-dimensional objects by matching three-dimensional models, e.g. conformal mapping of Riemann surfaces
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

一种三维物体检测装置，其特征在于，具备：三维物体检测单元(33)，其基于摄像图像检测三维物体，计算三维物体的移动速度；光源检测单元(35)，其检测与其它车辆的车头灯对应的光源；以及控制单元(37)，其在没有检测出与其它车辆的车头灯对应的光源的情况下，当三维物体的移动速度为本车辆的移动速度以下或者三维物体的移动速度与本车辆的移动速度之差小于规定值时，抑制基于差分波形信息检测出三维物体。

Description

三维物体检测装置以及三维物体检测方法
技术领域
本发明涉及一种三维物体检测装置以及三维物体检测方法。
本申请要求2012年7月27日申请的日本专利申请的特愿2012-166517的优先权，针对文献参照中确认进入的指定国，通过参照上述申请所记载的内容来引入本申请中，并作为本申请的记载的一部分。
背景技术
以往，已知如下一种技术：将不同时刻拍摄到的两张摄像图像变换为鸟瞰视点图像，基于变换得到的两张鸟瞰视点图像的差分来检测三维物体(参照专利文献1)。
专利文献1：日本特开2008-227646号公报
发明内容
发明要解决的问题
在基于由摄像机拍摄到的摄像图像而将存在于邻近车道的三维物体检测为邻近车辆的情况下，由于周围的亮度低，因此有时难以检测邻近车辆等三维物体。特别是在摄像机的镜头上附着有泥等异物的情况下，由于周围的光环境使附着于镜头的泥等异物的轮廓显著，由此，有可能将附着于镜头的泥等异物错误检测为邻近车辆，难以检测邻近车辆等三维物体。
本发明要解决的问题在于，提供一种在镜头上附着有泥等异物的情况下能够有效地防止对邻近车辆的错误检测的三维物体检测装置。
用于解决问题的方案
本发明在没有检测出与邻近车辆的车头灯对应的光源的情况下，将所检测出的三维物体的移动速度与本车辆的移动速度进行比较，在三维物体的移动速度为本车辆的移动速度以下或者三维物体的移动速度与本车辆的移动速度之差为规定值以下的情况下，抑制将所检测出的三维物体判断为邻近车辆，由此解决上述问题。
发明的效果
根据本发明，在没有检测出与邻近车辆的车头灯对应的光源的情况下，将三维物体的移动速度与本车辆的移动速度进行比较，在三维物体的移动速度为本车辆的移动速度以下或者三维物体的移动速度与本车辆的移动速度之差为规定值以下的情况下，抑制将所检测出的三维物体判断为邻近车辆，由此即使在镜头上附着有泥等异物的情况下，也能够有效地防止将这种异物错误检测为邻近车辆。
附图说明
图1是搭载有三维物体检测装置的车辆的概要结构图。
图2是表示图1的车辆的行驶状态的俯视图。
图3是表示计算机的详细结构的框图。
图4是用于说明对位部的处理的概要的图，(a)是表示车辆的移动状态的俯视图，(b)是表示对位的概要的图像。
图5是表示由三维物体检测部生成差分波形的情形的概要图。
图6是表示用于检测差分波形和三维物体的阈值α的一例的图。
图7是表示通过三维物体检测部分割出的小区域的图。
图8是表示由三维物体检测部获得的直方图的一例的图。
图9是表示三维物体检测部的加权的图。
图10是表示由三维物体检测部获得的直方图的其它例的图。
图11是用于说明光源检测区的图。
图12是表示第1实施方式所涉及的邻近车辆检测处理的流程图。
图13是表示第1实施方式所涉及的阈值变更处理的流程图。
图14是表示第2实施方式所涉及的计算机的详细结构的框图。
图15是表示车辆的行驶状态的图，(a)是表示检测区域等的位置关系的俯视图，(b)是表示实际空间中的检测区域等的位置关系的立体图。
图16是用于说明第2实施方式所涉及的亮度差计算部的动作的图，(a)是表示鸟瞰视点图像中的关注线、参照线、关注点以及参照点的位置关系的图，(b)是表示实际空间中的关注线、参照线、关注点以及参照点的位置关系的图。
图17是用于说明第2实施方式所涉及的亮度差计算部的详细动作的图，(a)是表示鸟瞰视点图像中的检测区域的图，(b)是表示鸟瞰视点图像中的关注线、参照线、关注点以及参照点的位置关系的图。
图18是表示用于说明边缘检测动作的图像例的图。
图19是表示边缘线和边缘线上的亮度分布的图，(a)是表示在检测区域中存在三维物体(邻近车辆)的情况下的亮度分布的图，(b)是表示在检测区域中不存在三维物体时的亮度分布的图。
图20是表示第2实施方式所涉及的邻近车辆检测方法的流程图。
图21是表示第2实施方式所涉及的阈值变更处理的流程图。
图22是用于说明异物的检测方法的图(之一)。
图23是用于说明异物的检测方法的图(之二)。
具体实施方式
<第1实施方式>
图1是搭载有本实施方式所涉及的三维物体检测装置1的车辆的概要结构图。本实施方式所涉及的三维物体检测装置1的目的在于，检测在本车辆V1车道变更时有可能接触的存在于邻近车道的其它车辆(以下也称为邻近车辆V2)。如图1所示，本实施方式所涉及的三维物体检测装置1具备摄像机10、车速传感器20以及计算机30。
摄像机10如图1所示那样在本车辆V1后方的高度h的地方以光轴相对于水平向下形成角度θ的方式安装于本车辆V1。摄像机10从该位置拍摄本车辆V1的周围环境中的规定区域。车速传感器20用于检测本车辆V1的行驶速度，根据例如由检测车轮转速的车轮速度传感器检测出的车轮速度来计算车速。计算机30对存在于本车辆后方的邻近车道的邻近车辆进行检测。
图2是表示图1的本车辆V1的行驶状态的俯视图。如该图所示，摄像机10以规定的视角a拍摄车辆后方。此时，摄像机10的视角a被设定为除了能够拍摄到本车辆V1所行驶的车道以外还能够拍摄到其左右的车道(邻近车道)的视角。能够拍摄的区域包括在本车辆V1的后方与本车辆V1的行驶车道左右相邻的邻近车道上的检测对象区域A1、A2。此外，本实施方式的车辆后方不仅包括车辆的正后方，还包括车辆的后侧的侧方。与摄像机10的视角相应地设定所要拍摄的车辆后方的区域。虽然是一例，但在将沿着车身长度方向的车辆的正后方设为0度的情况下，能够设定为包括从正后方方向起左右0度～90度、优选0度～70度等的区域。
图3是表示图1的计算机30的详细结构的框图。此外，在图3中，为了明确连接关系还图示了摄像机10、车速传感器20。
如图3所示，计算机30具备视点变换部31、对位部32、三维物体检测部33、夜间判断部34、光源检测部35以及阈值变更部36。下面，对各个结构进行说明。
视点变换部31输入由摄像机10拍摄获得的规定区域的摄像图像数据，将所输入的摄像图像数据视点变换为鸟瞰视点状态的鸟瞰图像数据。鸟瞰视点状态是指从上空、例如从铅垂向下俯视的虚拟摄像机的视点观看的状态。能够例如日本特开2008-219063号公报所记载的那样执行该视点变换。将摄像图像数据视点变换为鸟瞰视点图像数据是因为基于如下原理能够识别平面物体和三维物体，该原理为三维物体所特有的铅垂边缘通过视点变换为鸟瞰视点图像数据而被变换为通过特定的定点的直线群。
对位部32依次输入由视点变换部31的视点变换获得的鸟瞰视点图像数据，并将所输入的不同时刻的鸟瞰视点图像数据的位置进行对位。图4是用于说明对位部32的处理的概要的图，(a)是表示本车辆V1的移动状态的俯视图，(b)是表示对位的概要的图像。
如图4的(a)所示，设为当前时刻的本车辆V1位于P1，前一时刻的本车辆V1位于P1’。另外，设为邻近车辆V2位于本车辆V1的后侧方向并与本车辆V1处于并列行驶的状态，当前时刻的邻近车辆V2位于P2，前一时刻的邻近车辆V2位于P2’。并且，设为本车辆V1在一时刻移动了距离d。此外，前一时刻可以是从当前时刻起相隔预先决定时间(例如一个控制周期)的过去时刻，也可以是相隔任意时间的过去时刻。
在这样的状态中，当前时刻的鸟瞰视点图像PBt如图4的(b)所示那样。在该鸟瞰视点图像PBt中，描绘在路面上的白线为矩形状，是比较准确地以俯视观察所形成的状态，但是邻近车辆V2(位置P2)发生倾倒。另外，前一时刻的鸟瞰视点图像PBt-1也同样地，描绘在路面上的白线为矩形状，是比较准确地以俯视观察所形成的状态，但是邻近车辆V2(位置P2’)发生倾倒。如已经记述的那样，是因为三维物体的铅垂边缘(除了严格意义上的铅垂边缘以外还包含在三维空间中从路面立起的边缘)通过变换为鸟瞰视点图像数据的视点变换处理而表现为沿着倾倒方向的直线群，与此相对地路面上的平面图像不包含铅垂边缘，因此即使进行视点变换也不会产生那样的倾倒。
对位部32在数据上执行如上所述的鸟瞰视点图像PBt、PBt-1的对位。此时，对位部32使前一时刻的鸟瞰视点图像PBt-1偏移来使位置与当前时刻的鸟瞰视点图像PBt相一致。图4的(b)的左侧的图像和中央的图像表示偏移了移动距离d’后的状态。该偏移量d’是与图4的(a)示出的本车辆V1的实际的移动距离d对应的鸟瞰视点图像数据上的移动量，基于来自车速传感器20的信号和从前一时刻到当前时刻的时间来决定。
此外，在本实施方式中，对位部32将不同时刻的鸟瞰视点图像的位置以鸟瞰视点进行对位，获得该对位后的鸟瞰视点图像，但是能够以与检测对象的种类、所要求的检测精度相应的精度进行该“对位”处理。例如可以是以同一时刻和同一位置为基准进行对位的严格的对位处理，也可以是掌握各鸟瞰视点图像的坐标这样的程度缓和的对位处理。
另外，在对位之后，对位部32取鸟瞰视点图像PBt、PBt-1的差分，生成差分图像PDt的数据。在此，在本实施方式中，对位部32为了对应照度环境的变化，将鸟瞰视点图像PBt、PBt-1的像素值之差绝对值化，在该绝对值为规定的差分阈值th以上时将差分图像PDt的像素值设为“1”，在绝对值小于规定的差分阈值th时将差分图像PDt的像素值设为“0”，由此能够生成如图4的(b)的右侧所示的差分图像PDt的数据。此外，在本实施方式中，有时通过后述的阈值变更部36来变更差分阈值th，在通过阈值变更部36变更了差分阈值th的情况下，利用由阈值变更部36变更得到的差分阈值th来检测差分图像PDt的像素值。
而且，三维物体检测部33基于图4的(b)所示的差分图像PDt的数据生成差分波形。此时，三维物体检测部33还计算实际空间上的三维物体的移动距离。当计算三维物体的检测和移动距离时，三维物体检测部33首先生成差分波形。
当生成差分波形时，三维物体检测部33在差分图像PDt中设定检测区域(检测框)。本例的三维物体检测装置1的目的在于，针对在本车辆V1进行车道变更时有可能接触的邻近车辆来计算移动距离。因此，在本例中，如图2所示那样在本车辆V1的后侧方设定矩形状的检测区域(检测框)A1、A2。此外，这种检测区域A1、A2可以根据相对于本车辆V1的相对位置进行设定，也可以将白线的位置作为基准进行设定。在以白线的位置为基准进行设定的情况下，三维物体检测装置1例如利用已有的白线识别技术等即可。
另外，三维物体检测部33将如图2所示那样设定的检测区域A1、A2的在本车辆V1侧的边(沿着行驶方向的边)识别为触地线L1、L2。通常，触地线是指三维物体接触地面的线，但在本实施方式中不是接触地面的线而是如上述那样进行设定。此外，在这种情况下，从经验上看本实施方式所涉及的触地线与本来基于邻近车辆V2的位置求出的触地线之差不会过大，从而在实用上没有问题。
图5是表示由三维物体检测部33生成差分波形的情形的概要图。如图5所示，三维物体检测部33根据由对位部32计算出的差分图像PDt(图4的(b)的右图)中的相当于检测区域A1、A2的部分来生成差分波形DWt。此时，三维物体检测部33沿着通过视点变换而三维物体倾倒的方向生成差分波形DWt。此外，在图5所示的例子中，为了方便仅使用检测区域A1进行说明，但是关于检测区域A2，也以相同的过程生成差分波形DWt。
具体地说，首先，三维物体检测部33在差分图像PDt的数据上定义三维物体倾倒的方向上的线La。然后，三维物体检测部33对线La上示出规定的差分的差分像素DP的个数进行计数。在本实施方式中，关于示出规定的差分的差分像素DP，用“0”、“1”表现差分图像PDt的像素值，表示“1”的像素作为差分像素DP被计数。
三维物体检测部33在对差分像素DP的个数进行计数之后，求出线La与触地线L1的交点CP。然后，三维物体检测部33将交点CP与计数数进行对应，基于交点CP的位置决定横轴位置、即在图5的右图的上下方向轴上的位置，并且根据计数数决定纵轴位置、即图5的右图的左右方向轴上的位置，绘制出交点CP处的计数数。
以下同样地，三维物体检测部33对三维物体倾倒的方向上的线Lb、Lc…进行定义，来对差分像素DP的个数进行计数，基于各交点CP的位置决定横轴位置、根据计数数(差分像素DP的个数)决定纵轴位置进行绘制。三维物体检测部33依次重复上述内容进行频数分布化，由此如图5右图所示那样生成差分波形DWt。
在此，差分图像PDt的数据上的差分像素PD是在不同时刻的图像中存在变化的像素，换言之，可以说是存在三维物体的部分。因此，在存在三维物体的部分，沿着三维物体倾倒的方向对像素数进行计数并进行频数分布化，由此生成差分波形DWt。特别地，由于沿着三维物体倾倒的方向对像素数进行计数，因此根据针对三维物体来说在高度方向上的信息来生成差分波形DWt。
此外，如图5左图所示，三维物体倾倒的方向上的线La和线Lb与检测区域A1相重叠的距离不同。因此，当假设检测区域A1被差分像素DP填满时，线La上的差分像素DP的个数多于线Lb上的差分像素DP的个数。因此，三维物体检测部33在根据差分像素DP的计数数决定纵轴位置的情况下，基于三维物体倾倒的方向上的线La、Lb与检测区域A1相重叠的距离来进行标准化。当列举具体例时，在图5左图中，在线La上有6个差分像素DP，在线Lb上有5个差分像素DP。因此，在图5中根据计数数决定纵轴位置时，三维物体检测部33将计数数除以重叠距离等来进行标准化。由此，如差分波形DWt所示那样，与三维物体倾倒的方向上的线La、Lb对应的差分波形DWt的值大致相同。
在生成差分波形DWt后，三维物体检测部33基于所生成的差分波形DWt进行存在于邻近车道的邻近车辆的检测。在此，图6是用于说明三维物体检测部33的三维物体的检测方法的图，示出了差分波形DWt和用于检测三维物体的阈值α的一例。三维物体检测部33如图6所示那样判断所生成的差分波形DWt的峰值是否为与该差分波形DWt的峰值位置对应的规定的阈值α以上，由此判断在检测区域A1、A2中是否存在三维物体。然后，在差分波形DWt的峰值小于规定的阈值α的情况下，三维物体检测部33判断为在检测区域A1、A2中不存在三维物体，另一方面，在差分波形DWt的峰值为规定的阈值α以上的情况下，三维物体检测部33判断为在检测区域A1、A2中存在三维物体。
并且，三维物体检测部33通过当前时刻的差分波形DWt与前一时刻的差分波形DWt-1的对比来计算三维物体的移动速度。即，三维物体检测部33根据差分波形DWt、DWt-1的时间变化来计算三维物体的移动速度。
详细地说，三维物体检测部33如图7所示那样将差分波形DWt分割成多个小区域DWt1～DWtn(n为2以上的任意整数)。图7是表示由三维物体检测部33分割出的小区域DWt1～DWtn的图。小区域DWt1～DWtn例如图7所示那样以相互重叠的方式进行分割。例如小区域DWt1与小区域DWt2重叠，小区域DWt2与小区域DWt3重叠。
接着，三维物体检测部33按各小区域DWt1～DWtn求出偏移量(差分波形的横轴方向(图7的上下方向)的移动量)。在此，根据前一时刻的差分波形DWt-1与当前时刻的差分波形DWt之差(横轴方向的距离)求出偏移量。此时，三维物体检测部33按各小区域DWt1～DWtn，在使前一时刻的差分波形DWt-1沿横轴方向移动时，判断出与当前时刻的差分波形DWt的误差最小的位置(横轴方向的位置)，求出差分波形DWt-1的原来的位置与误差最小的位置的在横轴方向上的移动量来作为偏移量。然后，三维物体检测部33对按各小区域DWt1～DWtn求出的偏移量进行计数来制作直方图。
图8是表示由三维物体检测部33获得的直方图的一例的图。如图8所示，各小区域DWt1～DWtn与前一时刻的差分波形DWt-1的误差最小的移动量即偏移量稍微产生偏差。因此，三维物体检测部33将包含偏差的偏移量制作成直方图，基于直方图计算移动距离。此时，三维物体检测部33根据直方图的极大值计算三维物体(邻近车辆V2)的移动距离。即，在图8所示的例子中，三维物体检测部33将表示直方图的极大值的偏移量计算为移动距离τ*。这样，在本实施方式中，即使偏移量存在偏差，也能够根据其极大值计算正确性更高的移动距离。此外，移动距离τ*是三维物体(邻近车辆V2)相对于本车辆的相对移动距离。因此，三维物体检测部33在计算绝对移动距离的情况下，基于所获得的移动距离τ*和来自车速传感器20的信号来计算绝对移动距离。
这样，在本实施方式中，根据在不同时刻生成的差分波形DWt的误差最小时的差分波形DWt的偏移量计算三维物体(邻近车辆V2)的移动距离，由此根据波形这样的一维的信息的偏移量计算移动距离，从而能够在计算移动距离时抑制计算成本。另外，通过将不同时刻生成的差分波形DWt分割成多个小区域DWt1～DWtn，能够获得多个表示三维物体的各个部分的波形，由此能够针对三维物体的各个部分求出偏移量，从而能够根据多个偏移量求出移动距离，因此能够提高移动距离的计算精度。另外，在本实施方式中，根据包含高度方向的信息的差分波形DWt的时间变化来计算三维物体的移动距离，由此与仅关注于1个点的移动的情况相比，时间变化前的检测部分和时间变化后的检测部分由于包含高度方向的信息进行确定，因此容易得到三维物体中相同的部分，从而根据相同部分的时间变化来计算移动距离，能够提高移动距离的计算精度。
此外，在制作成直方图时，三维物体检测部33也可以针对多个小区域DWt1～DWtn中的每一个进行加权，与权重相应地对按各小区域DWt1～DWtn求出的偏移量进行计数来制作直方图。图9是表示三维物体检测部33的加权的图。
如图9所示，小区域DWm(m为1以上、n-1以下的整数)是平坦的。即，小区域DWm的示出规定的差分的像素数的计数的最大值与最小值之差小。三维物体检测部33针对这样的小区域DWm将权重减小。这是因为关于平坦的小区域DWm没有特征，从而在计算偏移量时误差变大的可能性高。
另一方面，小区域DWm+k(k为n-m以下的整数)有大量的起伏。即，小区域DWm的示出规定的差分的像素数的计数的最大值与最小值之差大。三维物体检测部33针对这样的小区域DWm将权重增大。这是因为关于有很多起伏的小区域DWm+k具有特征，从而能够正确地进行偏移量的计算的可能性高。通过像这样进行加权，能够提高移动距离的计算精度。
此外，为了提高移动距离的计算精度，在上述实施方式中，将差分波形DWt分割成了多个小区域DWt1～DWtn，但是在移动距离的计算精度要求不那么高的情况下，也可以不分割成小区域DWt1～DWtn。在这种情况下，三维物体检测部33根据差分波形DWt与差分波形DWt-1的误差变为最小时的差分波形DWt的偏移量来计算移动距离。即，求出前一时刻的差分波形DWt-1与当前时刻的差分波形DWt的偏移量的方法不限定于上述内容。
此外，在本实施方式中，三维物体检测部33求出本车辆V1(摄像机10)的移动速度，根据求出的移动速度求出关于静止物体的偏移量。在求出静止物体的偏移量之后，三维物体检测部33忽略直方图的极大值中的相当于静止物体的偏移量之后计算三维物体的移动距离。
图10是表示由三维物体检测部33获得的直方图的另一例的图。在摄像机10的视角内除了三维物体以外还存在静止物体的情况下，在获得的直方图中出现两个极大值τ1、τ2。在这种情况下，两个极大值τ1、τ2中的某一方是静止物体的偏移量。因此，三维物体检测部33根据移动速度求出关于静止物体的偏移量，忽略相当于该偏移量的极大值，采用剩下的一方的极大值计算三维物体的移动距离。由此，能够防止由于静止物体而导致三维物体的移动距离的计算精度下降的情形
此外，在即使忽略相当于静止物体的偏移量也存在多个极大值的情况下，设想在摄像机10的视角内存在多个三维物体。但是，在检测区域A1、A2内存在多个三维物体的情形是非常少见的。因此，三维物体检测部33中止移动距离的计算。由此，在本实施方式中，能够防止计算出如存在多个极大值那样的错误的移动距离的情形。
夜间判断部34基于由摄像机10拍摄到的摄像图像来判断是否为夜间。具体地说，夜间判断部34计算整个摄像图像的平均亮度，并且将与周边的亮度差为规定值以上且规定面积以上的高亮度区域检测为光源。而且，在整个摄像图像的平均亮度为规定值以下且在规定时间内检测出规定量(规定个数)以上的光源的情况下，夜间判断部34判断为是夜间。这样，夜间判断部34不仅判断整个摄像图像的亮度，还判断是否存在光源，由此能够有效地防止例如尽管是傍晚时但在本车辆V1周边不存在其它车辆的车头灯、路灯等光源而误判断为是夜间。
如图11所示，光源检测部35针对本车辆后方的规定的光源检测区进行与邻近车辆V2的车头灯对应的光源的检测。在此，图11是用于说明光源检测区的图，示出了夜间拍摄的摄像图像的一例。在包括检测区域A1、A2的区域即邻近车道存在邻近车辆V2的情况下，光源检测部35能够检测邻近车辆V2的车头灯，另一方面，将没有检测出在本车辆V1的行驶车道上行驶的后续车辆的车头灯、路灯等光源的区域设定为光源检测区。例如，在图11所示的例子中，将邻近车辆V2的车头灯例示为Lh1，将设置于路外的路灯例示为Ls1、Ls2，将在本车辆的行驶车道上行驶的后续车辆的车头灯例示为Lh2a、Lh2b。如图11所示，光源检测部35能够检测邻近车辆V2的车头灯Lh，另一方面将没有检测出设置于路外的路灯Ls1、Ls2和在车辆的行驶车道上行驶的后续车辆的车头灯Lh2a、Lh2b的区设定为光源检测区。而且，光源检测部35在所设定的光源检测区内，将与周边的明亮度之差为规定值以上且大小为规定面积以上的图像区域检测为与邻近车辆V2的车头灯对应的候选区域，由此检测与邻近车辆V2的车头灯对应的光源。另外，光源检测部35以规定的周期反复进行与邻近车辆V2的车头灯对应的光源的检测。
在由夜间判断部34判断为是夜间且由光源检测部35没有检测出与邻近车辆V2的车头灯对应的光源的情况下，为了防止将附着于镜头的泥等异物错误检测为邻近车辆V2，阈值变更部36变更用于检测三维物体的差分阈值th。
在此，在夜间，周围的亮度低，因此在镜头上附着有泥等异物的情况下，由于在本车辆的行驶车道上行驶的后续车辆的车头灯的亮光、路灯等的亮光等使附着于镜头的异物的轮廓显著，清晰地拍摄到附着于镜头的异物的像，因此有时将附着于镜头的异物的像错误检测为邻近车辆V2。因此，在本实施方式中，在判断为是夜间且没有检测出与邻近车辆V2的车头灯对应的光源的情况下，阈值变更部36将用于检测三维物体的差分阈值th变更为高的值，由此能够在判断为夜间且在邻近车道上不存在邻近车辆V2的状况下抑制三维物体的检测，由此，在如上所述那样镜头上附着有泥等异物的情况下，能够有效的防止将附着于镜头的异物错误检测为邻近车辆V2。此外，阈值变更部36仅在能够判断为没有检测出与邻近车辆V2的车头灯对应的光源、在邻近车道上不存在邻近车辆V2的情况下，将用于检测三维物体的差分阈值th变更为高的值。因此，在本实施方式中，在判断为检测出与邻近车辆V2的车头灯对应的光源、在邻近车道上存在邻近车辆V2的情况下，不将差分阈值th变更为高的值，从而能够恰当地检测存在于邻近车道的邻近车辆V2。
另外，阈值变更部36将由三维物体检测部33计算出的三维物体的移动速度与本车辆V1的移动速度进行比较，在三维物体的移动速度为本车辆V1的移动速度以下或者三维物体的移动速度与本车辆的移动速度之差小于规定值ΔV的情况下，将差分阈值th变更为高的值。在此，在泥等异物粘附于镜头上且在镜头表面上不移动的情况下，在摄像图像的相同位置处拍摄这种异物，因此在基于差分波形计算出三维物体的移动速度的情况下，以与本车辆的移动速度相同的速度计算出这种异物的移动速度。因此，在三维物体的移动速度为本车辆V1的移动速度以下或者三维物体的移动速度与本车辆的移动速度之差小于规定值ΔV的情况下，通过将差分阈值th变更为高的值来抑制三维物体的检测，由此能够有效地抑制对以本车辆V1的移动速度计算出的异物的检测。此外，上述规定值ΔV是考虑了附着于镜头的异物的移动速度的计算误差而得到的值，能够通过实验等适当设定。这样，还抑制对与本车辆V1的移动速度之差小于规定值ΔV的三维物体的检测，由此即使在附着于镜头的异物的移动速度产生了计算误差的情况下，也能够抑制对附着于镜头的异物的检测。
并且，在本实施方式中，即使在三维物体的移动速度为本车辆V1的移动速度以下的情况下，阈值变更部36也将差分阈值th变更为高的值，由此还能够抑制对未接近本车辆V1的三维物体(与本车辆V1相比移动速度慢的三维物体)的检测。即，在本实施方式中，重点在于对在本车辆V1进行车道变更时的情况下可能接触的邻近车辆V2进行检测，将接近本车辆V1的三维物体(与本车辆V1相比移动速度快的三维物体)检测为接近本车辆V1的邻近车辆V2。因此，即使在邻近车道上存在未接近本车辆V1的邻近车辆V2(与本车辆V1相比移动速度慢的邻近车辆V2)的情况下，由于在本车辆V1进行车道变更的情况下接触该邻近车辆V2的可能性小，因此通过将差分阈值th变更为高的值能够抑制对未接近本车辆V1的邻近车辆V2的检测。由此，例如在检测出邻近车辆V2时向驾驶员发出存在邻近车辆V2的警报的情况下，能够仅对接近本车辆V1的邻近车辆V2进行警报，从而能够减轻由于警报而对驾驶员施加的不适感。
此外，在本实施方式中，阈值变更部36在将本车辆V1的移动速度与三维物体的移动速度进行比较并变更差分阈值th的情况下，将本车辆V1的绝对移动速度与三维物体的绝对移动速度进行比较，但并不限定于该结构，例如，阈值变更部36能够基于三维物体相对于本车辆V1的相对移动速度来变更差分阈值th。即，在这种情况下，在三维物体相对于本车辆V1的相对移动速度是负值的情况下，阈值变更部36能够判断为三维物体的移动速度为本车辆V1的移动速度以下，另外，在三维物体相对于本车辆V1的相对移动速度的绝对值小于规定值ΔV的情况下，阈值变更部36能够判断为三维物体的移动速度与本车辆的移动速度之差小于规定值ΔV。
接着，说明本实施方式所涉及的邻近车辆检测处理。图12是表示第1实施方式的邻近车辆检测处理的流程图。如图12所示，首先，由计算机30从摄像机10获取摄像图像的数据(步骤S101)，由视点变换部31基于获取到的摄像图像的数据来生成鸟瞰视点图像PBt的数据(步骤S102)。
接着，对位部32将鸟瞰视点图像PBt的数据与前一时刻的鸟瞰视点图像PBt-1的数据进行对位，生成差分图像PDt的数据(步骤S103)。具体地说，对位部32将鸟瞰视点图像PBt、PBt-1的像素值的差绝对值化，在该绝对值为规定的差分阈值th以上时，将差分图像PDt的像素值设为“1”，在绝对值小于规定的差分阈值th时，将差分图像PDt的像素值设为“0”。此外，存在用于计算差分图像PDt的像素值的差分阈值th在后述的阈值变更处理中被变更的情况，在差分阈值th被变更的情况下，在该步骤S103中使用变更后的差分阈值th。之后，三维物体检测部33根据差分图像PDt的数据对像素值为“1”的差分像素DP的个数进行计数，生成差分波形DWt(步骤S104)。
然后，三维物体检测部33判断差分波形DWt的峰值是否为规定的阈值α以上(步骤S105)。在差分波形DWt的峰值不为阈值α以上的情况下、即几乎不存在差分的情况下，认为在摄像图像内不存在三维物体。因此，在判断为差分波形DWt的峰值不为阈值α以上的情况下(步骤S105＝否)，三维物体检测部33判断为不存在三维物体而不存在邻近车辆V2(步骤S114)。然后，返回到步骤S101，重复图12所示的处理。
另一方面，在判断为差分波形DWt的峰值为阈值α以上的情况下(步骤S105＝是)，由三维物体检测部33判断为在邻近车道存在三维物体，进入步骤S106，通过三维物体检测部33将差分波形DWt分割为多个小区域DWt1～DWtn。接着，三维物体检测部33对各小区域DWt1～DWtn进行加权(步骤S107)，计算各小区域DWt1～DWtn的偏移量(步骤S108)，考虑权重并生成直方图(步骤S109)。
然后，三维物体检测部33基于直方图计算三维物体相对于本车辆V1的移动距离即相对移动距离(步骤S110)。接着，三维物体检测部33根据相对移动距离计算三维物体的绝对移动速度(步骤S111)。此时，三维物体检测部33对相对移动距离进行时间微分来计算相对移动速度，并且加上由车速传感器20检测出的本车速，来计算绝对移动速度。
之后，三维物体检测部33判断三维物体的绝对移动速度是否为10km/h以上且三维物体相对于本车辆V1的相对移动速度是否为+60km/h以下(步骤S112)。在满足双方的情况下(步骤S112＝是)，三维物体检测部33判断为所检测出的三维物体是存在于邻近车道的邻近车辆V2、即在邻近车道存在邻近车辆V2(步骤S113)。然后，结束图12所示的处理。另一方面，在有任一方不满足的情况下(步骤S112＝否)，三维物体检测部33判断为在邻近车道不存在邻近车辆V2(步骤S114)。然后，返回到步骤S101，重复图12所示的处理。
此外，在本实施方式中，将本车辆V1的左右后方设为检测区域A1、A2，重点在于在本车辆V1进行车道变更的情况下是否有接触的可能性。因此，执行了步骤S112的处理。即，当以使本实施方式的***在高速公路上工作的情形为前提时，在邻近车辆V2的速度小于10km/h的情况下，即使存在邻近车辆V2，在进行车道变更时由于位于距本车辆V1很远的后方，因此很少会成为问题。同样地，在邻近车辆V2相对于本车辆V1的相对移动速度超过+60km/h的情况下(即，邻近车辆V2以比本车辆V1的速度大60km/h的速度移动的情况下)，在进行车道变更时，由于在本车辆V1的前方移动，因此很少会成为问题。因此，也可以说在步骤S112中判断出了在进行车道变更时成为问题的邻近车辆V2。
另外，通过在步骤S112中判断邻近车辆V2的绝对移动速度是否为10km/h以上且邻近车辆V2相对于本车辆V1的相对移动速度是否为+60km/h以下，由此存在以下的效果。例如，根据摄像机10的安装误差，有可能存在将静止物体的绝对移动速度检测出是数km/h的情况。因此，通过判断是否为10km/h以上，能够减少将静止物体判断为是邻近车辆V2的可能性。另外，有可能由于噪声而导致将邻近车辆V2相对于本车辆V1的相对速度检测为超过+60km/h的速度。因此，通过判断相对速度是否为+60km/h以下，能够减少因噪声引起的错误检测的可能性。
并且也可以是，代替步骤S112的处理，而判断邻近车辆V2的绝对移动速度不为负、不为0km/h。另外，在本实施方式中，重点在于本车辆V1在进行车道变更的情况下是否有接触的可能性，因此在步骤S112中检测出邻近车辆V2的情况下，可以向本车辆的驾驶员发出警告音，或者通过规定的显示装置进行相当于警告的显示。
接着，参照图13说明第1实施方式所涉及的阈值变更处理。图13是表示第1实施方式所涉及的阈值变更处理的流程图。此外，以下说明的阈值变更处理与图12所示的邻近车辆检测处理并行进行，将通过该阈值变更处理设定的差分阈值th应用为图12所示的邻近车辆检测处理中的差分阈值th。
如图13所示，首先，在步骤S201中，由夜间判断部34进行是否为夜间的判断。具体地说，夜间判断部34计算整个摄像图像的平均亮度，并且将与周边的亮度差为规定值以上且大小为规定面积以上的高亮度区域检测为光源。而且，在整个摄像图像的亮度为规定值以下且在规定时间内检测出规定量(规定个数)以上的光源的情况下，夜间判断部34判断为是夜间。而且，在判断为是夜间的情况下进入步骤S202，在判断为不是夜间的情况下进入步骤S208。
在步骤S202中，由光源检测部35在图11所示的光源检测区内进行与邻近车辆V2的车头灯对应的光源的检测。具体地说，光源检测部35在图11所示的光源检测区内将与周边的明亮度的差为规定值以上且大小为规定面积以上的图像区域检测为与邻近车辆V2的车头灯对应的候选区域，由此检测与邻近车辆V2的车头灯对应的光源。特别是，在本实施方式中，光源检测部35反复进行对与邻近车辆V2的车头灯对应的光源的检测，在规定时间内哪怕能够检测出一次与邻近车辆V2的车头灯对应的光源的情况下，输出能够检测出与邻近车辆V2的车头灯对应的光源的意思的检测结果，另一方面，在规定时间内在光源检测区内未能检测出光源的情况下，输出未能检测出与邻近车辆V2的车头灯对应的光源的意思。由此，能够恰当地判断是否存在与邻近车辆V2的车头灯对应的光源。然后，在步骤S203中，在步骤S202的检测之后，由阈值变更部36判断在光源检测区内是否能够检测出与邻近车辆V2的车头灯对应的光源，在未能检测出与邻近车辆V2的车头灯对应的光源的情况下，进入步骤S204，另一方面，在能够检测出与邻近车辆V2的车头灯对应的光源的情况下，进入步骤S208。
在步骤S204中，由阈值变更部36获取本车辆V1的移动速度。例如，阈值变更部36从车速传感器20获取本车辆V1的移动速度。另外，在步骤S205中，由阈值变更部36获取三维物体的移动速度。例如，阈值变更部36从三维物体检测部33获取通过图12所示的邻近车辆检测处理而计算出的三维物体的移动速度。
然后，在步骤S206中，由阈值变更部36对在步骤S204中获取到的本车辆V1的移动速度与在步骤S205中获取到的三维物体的移动速度进行比较。具体地说，阈值变更部36对本车辆V1的移动速度与三维物体的移动速度进行比较，来判断三维物体的移动速度是否为本车辆V1的移动速度以下、或者三维物体的移动速度与本车辆的移动速度之差是否小于规定值ΔV。在满足任一方的情况下，判断为由三维物体检测部33检测出的三维物体不是接近本车辆V1的邻近车辆V2，进入步骤S207，通过阈值变更部36将差分阈值th的值变更为高的值。由此，在夜间不存在接近本车辆V1的邻近车辆V2的情况下，能够在图12所示的邻近车辆检测处理中抑制三维物体的检测，因此即使在镜头上附着有泥等异物的情况下，也能够抑制这种异物的检测，其结果，能够有效地防止将附着于镜头的异物错误检测为邻近车辆V2。另一方面，在双方均不满足的情况下，判断为由三维物体检测部33检测出的三维物体是接近本车辆V1的邻近车辆V2，进入步骤S208，在将差分阈值th的值变更为高的值的情况下，差分阈值th恢复为原来的值。由此，在图12所示的邻近车辆检测处理中，利用原来的值的差分阈值th进行对接近本车辆V1的邻近车辆V2的检测，其结果，能够恰当的检测接近本车辆V1的邻近车辆V2。
此外，在步骤S201中没有判断为是夜间的情况下，认为周围的亮度明亮，因此认为由于在本车辆V1的行驶车道上行驶的后续车辆的车头灯的亮光、路灯等的亮光使附着于镜头的异物的轮廓显著，导致将附着于镜头的异物的像错误检测为邻近车辆V2的可能性低。因此，在这种情况下，不变更差分阈值th而进入步骤S208。另外，在步骤S203中检测出与邻近车辆V2的车头灯对应的光源的情况下，判断为在邻近车道存在邻近车辆V2，因此为了恰当地检测邻近车辆V2而进入步骤S208，差分阈值th的值恢复为原来的值。
如上所述，在第1实施方式中，在通过夜间判断部34判断为是夜间且通过光源检测部35没有检测出与邻近车辆V2的车头灯对应的光源的情况下，将三维物体的移动速度与本车辆V1的移动速度进行比较，在三维物体的移动速度为本车辆V1的移动速度以下或者三维物体的移动速度与本车辆的移动速度之差小于规定值的情况下，为了抑制三维物体的检测，将差分阈值th变更为高的值。由此，在能够判断为夜间在邻近车道不存在邻近车辆V2的情况下，将差分阈值th变更为高的值来抑制三维物体的检测，因此能够有效地防止以下情况：在夜间周围的亮度低，因此由于在本车辆的行驶车道上行驶的后续车辆的车头灯的亮光、路灯等的亮光等使附着于镜头的异物的轮廓显著，导致将这种异物的像错误检测为邻近车辆V2。
另外，在镜头上粘附有泥等异物且异物在镜头表面上不移动的情况下，在摄像画面上在相同的位置处拍摄这种异物，因此在基于差分波形计算出三维物体的移动速度的情况下，以与本车辆V1的移动速度相同程度的速度来计算出附着于镜头的异物的移动速度。因此，在将三维物体的移动速度与本车辆V1的移动速度进行比较的结果是三维物体的移动速度为本车辆V1的移动速度以下或者三维物体的移动速度与本车辆的移动速度之差小于规定值的情况下，通过将差分阈值th变更为高的值能够抑制对与本车辆V1的移动速度相同程度的移动速度的异物的检测。另一方面，接近本车辆V1的邻近车辆V2的移动速度比本车辆V1的移动速度快，因此在三维物体的移动速度比本车辆V1的移动速度快的情况下，不变更差分阈值th而以原来的差分阈值th的值检测三维物体，由此能够恰当地检测接近本车辆V1的邻近车辆V2。
<第2实施方式>
接着，说明第2实施方式所涉及的三维物体检测装置1a。第2实施方式所涉及的三维物体检测装置1a如图14所示那样代替第1实施方式的计算机30而具备计算机30a，除了如以下所说明那样进行动作以外，与第1实施方式相同。在此，图14是表示第2实施方式所涉及的计算机30a的详细内容的框图。
如图14所示，第2实施方式所涉及的三维物体检测装置1a具备摄像机10和计算机30a，计算机30a由视点变换部31、亮度差计算部37、边缘线检测部38、三维物体检测部33a、夜间判断部34、光源检测部35以及阈值变更部36a构成。下面，说明第2实施方式所涉及的三维物体检测装置1a的各结构。此外，关于视点变换部31、夜间判断部34以及光源检测部35，是与第1实施方式相同的结构，因此省略其说明。
图15是表示图14的摄像机10的摄像范围等的图，图15的(a)表示俯视图，图15的(b)表示本车辆V1的后侧方的实际空间上的立体图。如图15的(a)所示，摄像机10被设为规定的视角a，从本车辆V1拍摄包含在该规定的视角a中的后侧方。摄像机10的视角a与图2所示的情况同样地被设定成在摄像机10的摄像范围内，除了包括本车辆V1所行驶的车道以外还包括邻近的车道。
本例的检测区域A1、A2在俯视图(鸟瞰视点的状态)中呈梯形状，这些检测区域A1、A2的位置、大小以及形状根据距离d1～d4决定。此外，该图所示的例子的检测区域A1、A2不限于梯形状，也可以是如图2所示那样在鸟瞰视点的状态下为矩形等其它的形状。
在此，距离d1是从本车辆V1到触地线L1、L2的距离。触地线L1、L2是指存在于与本车辆V1所行驶的车道相邻的车道的三维物体接触地面的线。在本实施方式中，目的是检测在本车辆V1的后侧方行驶于与本车辆V1的车道相邻的左右车道的邻近车辆V2等(包含二轮车等)。因此，能够事先根据本车辆V1至白线W的距离d11和从白线W至预测为邻近车辆V2所行驶的位置的距离d12，来大致固定地决定作为邻近车辆V2的触地线L1、L2的位置的距离d1。
另外，关于距离d1，不限于决定为固定的值，也可以设为可变。在这种情况下，计算机30a通过白线识别等技术来识别白线W相对于本车辆V1的位置，根据识别出的白线W的位置来决定距离d11。由此，使用所决定的距离d11以可变的方式设定距离d1。在以下的本实施方式中，由于邻近车辆V2行驶的位置(距白线W的距离d12)和本车辆V1行驶的位置(距白线W的距离d11)大致固定，因此设为距离d1被决定为固定的值。
距离d2是从本车辆V1的后端部沿车辆行进方向延伸的距离。以检测区域A1、A2至少收容在摄像机10的视角a内的方式决定该距离d2。特别地，在本实施方式中，距离d2被设定为与由视角a划分出的范围相连。距离d3是表示检测区域A1、A2的在车辆行进方向上的长度的距离。该距离d3基于作为检测对象的三维物体的大小决定。在本实施方式中，由于检测对象是邻近车辆V2等，因此距离d3被设定为包含邻近车辆V2的长度。
距离d4是如图15的(b)所示那样表示被设定成在实际空间中包含邻近车辆V2等的轮胎的高度的距离。距离d4在鸟瞰视点图像中设为图15的(a)所示的长度。此外，距离d4也能够设为不包含鸟瞰视点图像中相比于左右的邻近车道的下一邻近车道(即，隔一车道的邻近车道)的长度。这是因为如果包含与本车辆V1的车道隔一车道的邻近车道，则无法区分是在作为本车辆V1所行驶的车道的本车道的左右邻近车道内存在邻近车辆V2、还是在隔一车道的邻近车道内存在邻近车辆。
如以上那样决定距离d1～距离d4，由此决定检测区域A1、A2的位置、大小以及形状。具体地说，根据距离d1，决定形成梯形的检测区域A1、A2的上边b1的位置。根据距离d2，决定上边b1的起点位置C1。根据距离d3，决定上边b1的终点位置C2。根据从摄像机10向起点位置C1延伸的直线L3，决定形成梯形的检测区域A1、A2的侧边b2。同样地，根据从摄像机10向终点位置C2延伸的直线L4，决定形成梯形的检测区域A1、A2的侧边b3。根据距离d4，决定形成梯形的检测区域A1、A2的下边b4的位置。这样，由各边b1～b4包围的区域设为检测区域A1、A2。该检测区域A1、A2如图15的(b)所示那样在本车辆V1后侧方的实际空间中形成为正方形(长方形)。
亮度差计算部37为了检测鸟瞰视点图像中包含的三维物体的边缘，而针对由视点变换部31进行视点变换得到的鸟瞰视点图像数据进行亮度差的计算。亮度差计算部37针对沿着在实际空间中的铅垂方向上延伸的铅垂虚拟线的多个位置中的每个位置计算该各位置附近的两个像素间的亮度差。亮度差计算部37能够通过仅设定一条在实际空间中的铅垂方向上延伸的铅垂虚拟线的方法以及设定两条铅垂虚拟线的方法中的任一个方法来计算亮度差。
在此，针对设定两条铅垂虚拟线的具体方法进行说明。亮度差计算部37针对进行视点变换得到的鸟瞰视点图像设定与实际空间中在铅垂方向延伸的线段相当的第一铅垂虚拟线以及与第一铅垂虚拟线不同并与实际空间中在铅垂方向延伸的线段相当的第二铅垂虚拟线。亮度差计算部37沿着第一铅垂虚拟线和第二铅垂虚拟线连续地求出第一铅垂虚拟线上的点与第二铅垂虚拟线上的点的亮度差。以下，详细说明该亮度差计算部37的动作。
亮度差计算部37如图16的(a)所示那样设定与实际空间中在铅垂方向延伸的线段相当且通过检测区域A1的第一铅垂虚拟线La(以下称为关注线La)。另外，亮度差计算部37设定与关注线La不同并与实际空间中在铅垂方向延伸的线段相当且通过检测区域A1的第二铅垂虚拟线Lr(以下称为参照线Lr)。在此，参照线Lr被设定在与关注线La分离实际空间中的规定距离的位置处。此外，与实际空间中在铅垂方向延伸的线段相当的线是指在鸟瞰视点图像中从摄像机10的位置Ps起呈放射状扩展的线。该呈放射状扩展的线是沿着在变换为鸟瞰视点时三维物体倾倒的方向的线。
亮度差计算部37在关注线La上设定关注点Pa(第一铅垂虚拟线上的点)。另外，亮度差计算部37在参照线Lr上设定参照点Pr(第二铅垂虚拟线上的点)。这些关注线La、关注点Pa、参照线Lr、参照点Pr在实际空间中形成图16的(b)所示的关系。如从图16的(b)显而易见地，关注线La和参照线Lr是在实际空间中在铅垂方向延伸的线，关注点Pa和参照点Pr是在实际空间中被设定为大致相同的高度的点。此外，关注点Pa和参照点Pr并不一定需要是严格上的相同的高度，关注点Pa和参照点Pr被视为相同高度的程度的误差是允许的。
亮度差计算部37求出关注点Pa与参照点Pr的亮度差。假设关注点Pa与参照点Pr的亮度差大时，认为在关注点Pa与参照点Pr之间存在边缘。特别地，在第2实施方式中，为了检测存在于检测区域A1、A2中的三维物体，针对鸟瞰视点图像将铅垂虚拟线设定为在实际空间中在铅垂方向上延伸的线段，因此在关注线La与参照线Lr的亮度差高的情况下，在关注线La的设定处存在三维物体的边缘的可能性高。因此，图14所示的边缘线检测部38基于关注点Pa与参照点Pr的亮度差来检测边缘线。
更详细地说明该点。图17是表示亮度差计算部37的详细动作的图，图15的(a)表示鸟瞰视点状态的鸟瞰视点图像，图17的(b)是将图17的(a)所示的鸟瞰视点图像的一部分B1放大后的图。此外，关于图17，仅图示检测区域A1进行说明，关于检测区域A2，也以同样的过程计算亮度差。
在摄像机10拍摄到的摄像图像内拍摄有邻近车辆V2的情况下，如图17的(a)所示那样，在鸟瞰视点图像内的检测区域A1出现邻近车辆V2。如图17的(b)示出图17的(a)中的区域B1的放大图那样，设为在鸟瞰视点图像上，在邻近车辆V2的轮胎的橡胶部分上设定了关注线La。在该状态中，亮度差计算部37首先设定参照线Lr。参照线Lr被设定在实际空间中沿铅垂方向距关注线La规定的距离的位置处。具体地说，在本实施方式所涉及的三维物体检测装置1a中，参照线Lr被设定在实际空间中与关注线La相距10cm的位置处。由此，参照线Lr在鸟瞰视点图像上例如被设定在与邻近车辆V2的轮胎的橡胶相距相当于10cm的距离的邻近车辆V2的轮胎的轮辋(wheel)上。
接着，亮度差计算部37在关注线La上设定多个关注点Pa1～PaN。在图17的(b)中，为了便于说明，设定了六个关注点Pa1～Pa6(以下，在表示任意的点的情况下，仅称为关注点Pai)。此外，在关注线La上设定的关注点Pa的个数可以是任意的。在以下的说明中，设为在关注线La上设定了N个关注点Pa进行说明。
接着，亮度差计算部37将各参照点Pr1～PrN设定成在实际空间中与各关注点Pa1～PaN相同的高度。而且，亮度差计算部37计算相同高度的关注点Pa与参照点Pr的亮度差。由此，亮度差计算部37针对沿着在实际空间中的铅垂方向上延伸的铅垂虚拟线的多个位置(1～N)中的每个位置计算两个像素间的亮度差。亮度差计算部37例如计算第一关注点Pa1与第一参照点Pr1之间的亮度差，计算第二关注点Pa2与第二参照点Pr2之间的亮度差。由此，亮度差计算部37沿着关注线La和参照线Lr连续地求出亮度差。即，亮度差计算部37依次求出第三～第N关注点Pa3～PaN与第三～第N参照点Pr3～PrN的亮度差。
亮度差计算部37在检测区域A1内移动关注线La的同时重复执行上述的参照线Lr的设定、关注点Pa和参照点Pr的设定、亮度差的计算这样的处理。即，亮度差计算部37在实际空间中沿触地线L1的延伸方向以相同的距离改变关注线La和参照线Lr各自的位置的同时重复执行上述的处理。亮度差计算部37例如将在前次处理中成为参照线Lr的线设定为关注线La，针对该关注线La设定参照线Lr，依次求出亮度差。
这样，在第2实施方式中，根据在实际空间中处于大致相同高度的关注线La上的关注点Pa和参照线Lr上的参照点Pr求出亮度差，由此能够明确地检测出存在在铅垂方向上延伸的边缘的情况下的亮度差。另外，为了进行在实际空间中在铅垂方向上延伸的铅垂虚拟线之间的亮度比较，即使通过变换为鸟瞰视点图像而三维物体与距路面的高度相应地被拉长，也不会影响三维物体的检测处理，能够提高三维物体的检测精度。
返回图14，边缘线检测部38根据由亮度差计算部37计算出的连续的亮度差来检测边缘线。例如在图17的(b)所示的情况下，第一关注点Pa1和第一参照点Pr1位于相同的轮胎部分，因此亮度差小。另一方面，第二关注点～第六关注点Pa2～Pa6位于轮胎的橡胶部分，第二参照点～第六参照点Pr2～Pr6位于轮胎的轮辋部分。因而，第二关注点～第六关注点Pa2～Pa6与第二参照点～第六参照点Pr2～Pr6的亮度差变大。因此，边缘线检测部38能够检测出在亮度差大的第二关注点～第六关注点Pa2～Pa6与第二参照点～第六参照点Pr2～Pr6之间存在边缘线。
具体地说，边缘线检测部38在检测边缘线时，首先依照下述式1，根据第i个关注点Pai(坐标(xi，yi))与第i个参照点Pri(坐标(xi’，yi’))的亮度差来对第i个关注点Pai赋予属性。
[式1]
I(xi，yi)＞I(xi’，yi’)+t时
s(xi，yi)＝1
I(xi，yi)＜I(xi’，yi’)-t时
s(xi，yi)＝-1
在上述以外的情况时
s(xi，yi)＝0
在上述式1中，t表示边缘阈值，I(xi，yi)表示第i个关注点Pai的亮度值，I(xi’，yi’)表示第i个参照点Pri的亮度值。根据上述式1，在关注点Pai的亮度值高于参照点Pri加上阈值t得到的亮度值的情况下，该关注点Pai的属性s(xi，yi)为‘1’。另一方面，在关注点Pai的亮度值低于从参照点Pri减去边缘阈值t得到的亮度值的情况下，该关注点Pai的属性s(xi，yi)为‘﹣1’。在关注点Pai的亮度值与参照点Pri的亮度值为除此以外的关系的情况下，关注点Pai的属性s(xi，yi)为‘0’。此外，在本实施方式中，存在由后述的阈值变更部36a变更边缘阈值t的情况，在由阈值变更部36a变更了边缘阈值t的情况下，使用通过阈值变更部36a变更后的边缘阈值t来检测关注点Pai的属性s(xi，yi)。
接着，边缘线检测部38基于下述式2，根据沿着关注线La的属性s的连续性c(xi，yi)判断关注线La是否为边缘线。
[式2]
s(xi，yi)＝s(xi+1，yi+1)时(且除了0＝0)，
c(xi，yi)＝1
在上述以外的情况时，
c(xi，yi)＝0
在关注点Pai的属性s(xi，yi)与相邻的关注点Pai+1的属性s(xi+1，yi+1)相同的情况下，连续性c(xi，yi)为‘1’。在关注点Pai的属性s(xi，yi)与相邻的关注点Pai+1的属性s(xi+1，yi+1)不同的情况下，连续性c(xi，yi)为‘0’。
接着，边缘线检测部38关于关注线La上的全部关注点Pa的连续性c求出总和。边缘线检测部38通过将求出的连续性c的总和除以关注点Pa的个数N，来对连续性c进行标准化。而且，在进行了标准化而得到的值超过阈值θ的情况下，边缘线检测部38将关注线La判断为边缘线。此外，阈值θ是预先通过实验等设定的值。
即，边缘线检测部38基于下述式3判断关注线La是否为边缘线。而且，边缘线检测部38关于描绘在检测区域A1上的全部关注线La判断是否为边缘线。
[式3]
Σc(xi，yi)/N＞θ
这样，在第2实施方式中，基于关注线La上的关注点Pa与参照线Lr上的参照点Pr的亮度差来对关注点Pa赋予属性，基于沿着关注线La的属性的连续性c来判断该关注线La是否为边缘线，因此能够将亮度高的区域与亮度低的区域的边界检测为边缘线，从而按照人的自然的感觉进行边缘检测。详细地说明该效果。图18是表示对边缘线检测部38的处理进行说明的图像例的图。该图像例是表示亮度高的区域和亮度低的区域反复的条纹图案的第一条纹图案101与表示亮度低的区域和亮度高的区域反复的条纹图案的第二条纹图案102相邻的图像。另外，该图像例为第一条纹图案101的亮度高的区域与第二条纹图案102的亮度低的区域相邻，并且第一条纹图案101的亮度低的区域与第二条纹图案102的亮度高的区域相邻。位于该第一条纹图案101与第二条纹图案102的边界的部位103根据人的感觉而倾向于不认为是边缘。
与此相对地，由于亮度低的区域与亮度高的区域相邻，因此如果仅依据亮度差检测边缘，则导致该部位103被识别为边缘。但是，边缘线检测部38除了部位103处的亮度差以外，仅在该亮度差的属性存在连续性的情况下将部位103判断为边缘线，因此边缘线检测部38能够抑制将以人的感觉不识别为边缘线的部位103识别为边缘线的错误判断，从而能够按照人的感觉进行边缘检测
返回图14，三维物体检测部33a根据由边缘线检测部38检测出的边缘线的量来检测三维物体。如上述那样，本实施方式所涉及的三维物体检测装置1a检测在实际空间中在铅垂方向上延伸的边缘线。检测出在铅垂方向上延伸的边缘线多的情况就是在检测区域A1、A2存在三维物体的可能性高的情况。因此，三维物体检测部33a基于由边缘线检测部38检测出的边缘线的量来检测三维物体。具体地说，三维物体检测部33a判断由边缘线检测部38检测出的边缘线的量是否为规定的阈值β以上，在边缘线的量为规定的阈值β以上的情况下，判断为由边缘线检测部38检测出的边缘线是三维物体的边缘线。
并且，三维物体检测部33a在检测三维物体之前，判断由边缘线检测部38检测出的边缘线是否为正确的边缘线。三维物体检测部33a判断沿着边缘线上的鸟瞰视点图像的边缘线的亮度变化是否为规定的阈值tb以上。在边缘线上的鸟瞰视点图像的亮度变化为阈值tb以上的情况下，判断为该边缘线是由于错误判断而检测出的。另一方面，在边缘线上的鸟瞰视点图像的亮度变化小于阈值tb的情况下，判断为该边缘线是正确的边缘线。此外，该阈值tb是通过实验等预先设定的值。
图19是表示边缘线的亮度分布的图，图19的(a)表示在检测区域A1内存在作为三维物体的邻近车辆V2时的边缘线和亮度分布，图19的(b)表示在检测区域A1内不存在三维物体时的边缘线和亮度分布。
如图19的(a)所示，设为判断为在鸟瞰视点图像中设定于邻近车辆V2的轮胎橡胶部分的关注线La是边缘线。在这种情况下，关注线La上的鸟瞰视点图像的亮度变化平缓。这是由于由摄像机10拍摄到的图像被视点变换为鸟瞰视点图像，由此邻近车辆的轮胎在鸟瞰视点图像内被拉长。另一方面，如图19的(b)所示，设为鸟瞰视点图像中被设定在描绘于路面上的“50”这样的白色文字部分上的关注线La被错误判断为是边缘线。在这种情况下，关注线La上的鸟瞰视点图像的亮度变化为起伏大的变化。这是因为在边缘线上混杂有白色文字中的亮度高的部分和路面等的亮度低的部分。
基于如以上那样的关注线La上的亮度分布的差异，三维物体检测部33a判断边缘线是否为由于错误判断而检测出的。例如，在将由摄像机10获取到的摄像图像变换为鸟瞰视点图像的情况下，存在该摄像图像中包含的三维物体以被拉长的状态出现在鸟瞰视点图像中的倾向。在如上述那样在邻近车辆V2的轮胎被拉长的情况下，由于轮胎这一个部位被拉长，因此形成被拉长的方向上的鸟瞰视点图像的亮度变化小的倾向。对于此，在将描绘在路面上的文字等错误判断为边缘线的情况下，在鸟瞰视点图像中混合包含有文字部分这样的亮度高的区域和路面部分这样的亮度低的区域。在这种情况下，在鸟瞰视点图像中，被拉长的方向的亮度变化有变大的倾向。因此，在沿边缘线的亮度变化为规定的阈值tb以上的情况下，三维物体检测部33a判断为该边缘线是由于错误判断而检测出的、该边缘线不是因三维物体而产生的边缘线。由此，抑制路面上的“50”这样的白色文字、路肩的杂草等被判断为边缘线，从而抑制三维物体的检测精度下降。另一方面，在沿着边缘线的亮度变化小于规定的阈值tb的情况下，三维物体检测部33a判断为该边缘线是三维物体的边缘线，从而判断为存在三维物体。
具体地说，三维物体检测部33a通过下述式4、式5中的任一个来计算边缘线的亮度变化。该边缘线的亮度变化相当于实际空间中的铅垂方向的评价值。下述式4通过关注线La上的第i个亮度值I(xi，yi)与相邻的第i+1个亮度值I(xi+1，yi+1)的差分的平方的合计值来评价亮度分布。下述式5通过关注线La上的第i个亮度值I(xi，yi)和相邻的第i+1个亮度值I(xi+1，yi+1)的差分的绝对值的合计值来评价亮度分布。
[式4]
铅垂对应方向的评价值＝Σ[{I(xi，yi)-I(xi+1，yi+1)}2]
[式5]
铅垂对应方向的评价值＝Σ|I(xi，yi)-I(xi+1，yi+1)|
此外，不限于式5，也可以如下述式6那样，利用阈值t2将相邻的亮度值的属性b进行二值化，来将该二值化得到的属性b关于全部的关注点Pa进行总和。
[式6]
铅垂对应方向的评价值＝Σb(xi，yi)
其中，|I(xi，yi)-I(xi+1，yi+1)|＞t2时，
b(xi，yi)＝1
在上述以外的情况时，
b(xi，yi)＝0
在关注点Pai的亮度值与参照点Pri的亮度值的亮度差的绝对值大于阈值t2的情况下，该关注点Pa(xi，yi)的属性b(xi，yi)为‘1’。在除此以外的关系的情况下，关注点Pai的属性b(xi，yi)为‘0’。该阈值t2是为了判断关注线La不在相同的三维物体上而通过实验等预先设定的。而且，三维物体检测部33a将关于关注线La上的全部关注点Pa的属性b进行总和来求出铅垂对应方向的评价值，由此判断边缘线是否为因三维物体而产生的边缘线、是否存在三维物体。
并且，三维物体检测部33a基于所检测出的三维物体的边缘来计算三维物体的移动速度。对三维物体检测部33a计算三维物体的移动速度的方法不作特别地限定，例如，三维物体检测部33a能够如下那样计算三维物体的移动速度。即，三维物体检测部33a基于根据与检测区域A1、A2相当的部分而检测出的边缘线来生成一维的边缘波形EWt。例如，与第1实施方式中的差分波形DWt的生成同样地，三维物体检测部33a沿着因视点变换而三维物体倾倒的方向，对与边缘线对应的像素数进行计数并进行频数分布化，由此生成一维的边缘波形EDt。然后，三维物体检测部33a基于当前的时刻的边缘波形EWt和前一时刻的边缘波形EWt-1来计算三维物体的移动速度。即，边缘车速计算部43根据边缘波形EWt、EWt-1的时间变化来计算规定时间内的三维物体的移动距离，通过对所计算出的三维物体的移动距离进行时间微分，来计算三维物体相对于本车辆V1的移动速度。
在由夜间判断部34判断为是夜间且由光源检测部35没有检测出与邻近车辆V2的车头灯对应的光源的情况下，为了防止将附着于镜头的泥等异物错误检测为邻近车辆V2，阈值变更部36a变更用于检测三维物体的边缘阈值t。具体地说，与第1实施方式同样地，阈值变更部36将由三维物体检测部33计算出的三维物体的移动速度与本车辆V1的移动速度进行比较，在三维物体的移动速度为本车辆V1的移动速度以下或者三维物体的移动速度与本车辆的移动速度之差小于规定值的情况下，将边缘阈值th变更为高的值。
接着，参照图20对第2实施方式所涉及的邻近车辆检测方法进行说明。图20是表示第2实施方式所涉及的邻近车辆检测方法的详细内容的流程图。此外，该邻近车辆检测处理与后述的白浊度计算处理并行执行。另外，在图20中，为了方便而说明以检测区域A1为对象的处理，但关于检测区域A2也执行相同的处理。
在步骤S301中，由摄像机10进行由视角a和安装位置确定的规定区域的拍摄，由计算机30a获取由摄像机10拍摄到的摄像图像P的图像数据。接着，视点变换部31在步骤S302中针对获取到的图像数据进行视点变换，来生成鸟瞰视点图像数据。
接着，亮度差计算部37在步骤S303中在检测区域A1上设定关注线La。此时，亮度差计算部37将与在实际空间中在铅垂方向上延伸的线相当的线设定为关注线La。接着，亮度差计算部37在步骤S304中在检测区域A1上设定参照线Lr。此时，亮度差计算部37将与实际空间中在铅垂方向延伸的线段相当且在实际空间中与关注线La相距规定距离的线设定为参照线Lr。
接着，亮度差计算部37在步骤S305中在关注线La上设定多个关注点Pa。此时，亮度差计算部37设定在边缘线检测部38检测边缘时不会成为问题的程度的个数的关注点Pa。另外，在步骤S306中，亮度差计算部37将参照点Pr设定成在实际空间中关注点Pa和参照点Pr处于大致相同的高度。由此，关注点Pa和参照点Pr在大致水平方向上排列，容易检测在实际空间中在铅垂方向上延伸的边缘线。
接着，在步骤S307中，亮度差计算部37计算在实际空间中处于相同高度的关注点Pa与参照点Pr的亮度差。然后，边缘线检测部38基于由亮度差计算部37计算出的亮度差，依照上述式1计算各关注点Pa的属性s。此外，在本实施方式中，使用用于检测三维物体的边缘的边缘阈值t计算各关注点Pa的属性s。存在该边缘阈值t在后述的阈值变更处理中被变更的情况，在边缘阈值t被变更的情况下，在该步骤S307中使用变更后的边缘阈值。
接着，在步骤S308中，边缘线检测部38依照上述式2计算各关注点Pa的属性s的连续性c。然后，在步骤S309中，边缘线检测部38依照上述式3，判断将连续性c的总和标准化得到的值是否大于阈值θ。而且，在判断为标准化得到的值大于阈值θ的情况下(步骤S309＝是)，在步骤S310中，边缘线检测部38将该关注线La检测为边缘线。然后，处理转移到步骤S311。在判断为标准化得到的值不大于阈值θ的情况下(步骤S309＝否)，边缘线检测部38不将该关注线La检测为边缘线，处理转移到步骤S311。
在步骤S311中，计算机30a判断是否关于检测区域A1上可设定的全部关注线La执行了上述的步骤S303～步骤S310的处理。在判断为尚未关于全部的关注线La进行上述处理的情况下(步骤S311＝否)，将处理返回步骤S303，重新设定关注线La，并重复进行步骤S311为止的处理。另一方面，在判断为关于全部的关注线La进行了上述处理的情况下(步骤S311＝是)，处理转移到步骤S312。
在步骤S312中，三维物体检测部33a关于在步骤S310中检测出的各边缘线计算沿着该边缘线的亮度变化。三维物体检测部33a依照上述式4、式5、式6中的任一个来计算边缘线的亮度变化。接着，在步骤S313中，三维物体检测部33a去除边缘线中的亮度变化为规定的阈值tb以上的边缘线。即，判断为亮度变化大的边缘线不是正确的边缘线，在检测三维物体时不使用该边缘线。这是为了抑制如上述那样检测区域A1中包含的路面上的文字、路肩的杂草等被检测为边缘线的情形。因而，规定的阈值tb是指预先通过实验等求出的基于因路面上的文字、路肩的杂草等产生的亮度变化而设定的值。另一方面，三维物体检测部33a将边缘线中的亮度变化小于规定的阈值tb的边缘线判断为三维物体的边缘线，由此，检测以邻近车辆方式存在的三维物体。
接着，在步骤S314中，由三维物体检测部33a进行边缘线的量是否为规定的阈值β以上的判断。在此，阈值β是预先通过实验等求出并设定的值，例如在设定四轮车作为检测对象的三维物体的情况下，预先通过实验等根据在检测区域A1内出现的四轮车的边缘线的个数来设定该阈值β。在判断为边缘线的量为阈值β以上的情况下(步骤S314＝是)，三维物体检测部33a判断为在检测区域A1内存在三维物体，进入步骤S315，判断为存在邻近车辆。另一方面，在判断为边缘线的量不为阈值β以上的情况下(步骤S314＝否)，三维物体检测部33a判断为在检测区域A1内不存在三维物体，进入步骤S316，判断为在检测区域A1内不存在邻近车辆。
接着，参照图21说明第2实施方式所涉及的阈值变更处理。此外，与第1实施方式同样地，第2实施方式所涉及的阈值变更处理也与图20所示的邻近车辆检测处理并行进行。另外，关于第2实施方式所涉及的阈值变更处理，即使在镜头上附着有泥等异物的情况下，也变更用于检测三维物体的边缘阈值t，使得能够恰当地检测邻近车辆V2。因此，在该阈值变更处理中被变更的边缘阈值t在图20所示的邻近车辆检测处理中检测邻近车辆V2的边缘时被使用。此外，图21是表示第2实施方式所涉及的阈值变更处理的流程图。
如图21所示，在步骤S401～S404中，进行与第1实施方式的步骤S201～S204相同的处理。即，首先判断是否为夜间，在判断为是夜间的情况下(步骤S401＝是)，在图11所示的光源检测区进行对与邻近车辆V2的车头灯对应的光源的检测(步骤S402)。然后，在没有检测出与邻近车辆V2的车头灯对应的光源的情况下(步骤S403＝否)，获取本车辆V1的移动速度(步骤S404)。另外，在没有判断为是夜间(步骤S401＝否)或者检测出与邻近车辆V2的车头灯对应的光源的情况下(步骤S403＝是)，进入步骤S408。
然后，在步骤S405中，通过三维物体检测部33a计算所检测出的三维物体的移动速度。具体地说，三维物体检测部33a基于三维物体的边缘线生成一维的边缘波形EWt，根据边缘波形EWt、EWt-1的时间变化计算规定时间内的三维物体的移动距离，通过对计算出的三维物体的移动距离进行时间微分，计算三维物体的移动速度。
在步骤S406中，由阈值变更部36a进行本车辆V1的移动速度与三维物体的移动速度的比较，判断三维物体的移动速度是否为本车辆V1的移动速度以下或者判断三维物体的移动速度与本车辆的移动速度之差是否小于规定值ΔV。在满足任一方的情况下，判断为由三维物体检测部33a检测出的三维物体不是要超越本车辆V1的邻近车辆V2，将边缘阈值t的值变更为高的值(步骤S407)。另一方面，在双方均不满足的情况下，判断为由三维物体检测部33检测出的三维物体是要超越本车辆V1的邻近车辆V2，为了恰当地检测这种邻近车辆V2，将邻近车辆V2的值恢复为原来的值(步骤S408)。
这样，在第2实施方式中，在检测邻近车辆V2的边缘并基于该边缘进行邻近车辆V2的检测时，在由夜间判断部34判断为是夜间且由光源检测部35没有检测出与邻近车辆V2的车头灯对应的光源的情况下，当三维物体的移动速度为本车辆V1的移动速度以下或者三维物体的移动速度与本车辆的移动速度之差小于规定值ΔV时，将边缘阈值t变更为高的值使得抑制三维物体的检测。由此，在第2实施方式中，除了第1实施方式的效果以外，即使在基于边缘检测邻近车辆V2时镜头上附着有泥等异物的情况下，也能够有效地防止将这种异物错误检测为邻近车辆V2，从而能够恰当地检测邻近车辆V2。
此外，以上说明的实施方式是为了容易地理解本发明而记载的，而并非为了限定本发明而记载的。因而，宗旨在于上述实施方式所公开的各要素还包括属于本发明的保护范围的所有设计变更、等价物。
例如，在上述实施方式中例示了以下结构：在判断为是夜间且没有检测出与邻近车辆V2的车头灯对应的光源的情况下，当三维物体的移动速度为本车辆V1的移动速度以下或者三维物体的移动速度与本车辆的移动速度之差小于规定值时，将差分阈值th或者边缘阈值t变更为高的值，但并不限定于该结构，例如也可以设为以下结构：代替差分阈值th、边缘阈值t，或者除差分阈值th、边缘阈值t以外还将用于检测三维物体的阈值α、阈值β变更为高的值，还可以设为将用于检测边缘线的阈值θ、阈值t2变更为高的值的结构。由此，即使在摄像机10的镜头上附着有泥等异物的情况下，也能够有效地防止将泥等异物错误检测为邻近车辆V2。另外，也可以设为以下结构：代替将差分阈值th或者边缘阈值t变更为高的值，而将从摄像机10输出的像素值(或者亮度值)变低。在这种情况下，难以检测差分像素DP、边缘，因此能够抑制三维物体(邻近车辆V2)的检测，能够有效地防止将泥等异物错误检测为邻近车辆V2。
并且，在上述实施方式中例示了以下结构：在三维物体的移动速度满足规定的条件的情况下将三维物体检测为邻近车辆V2，但例如也可以设为以下结构：代替将差分阈值th或者边缘阈值t变更为高的值，而通过上述使条件变得严苛来抑制邻近车辆V2的检测。例如，在上述实施方式中也能够设为以下结构：在三维物体的绝对移动速度为10km/h以上且三维物体相对于本车辆V1的相对移动速度为+60km/h以下的情况下将三维物体判断为邻近车辆V2，但在判断为是夜间且没有检测出与邻近车辆V2的车头灯对应的光源的情况下，当三维物体的移动速度为本车辆V1的移动速度以下或者三维物体的移动速度与本车辆的移动速度之差小于规定值时、例如当三维物体的绝对移动速度为20km/h以上且三维物体相对于本车辆V1的相对移动速度为+50km/h以下时，判断为三维物体是邻近车辆V2。
另外，除了上述实施方式以外，还能够设为以下结构：具备用于检测附着于镜头的异物的异物检测部，由此基于该异物检测部的检测结果来判断镜头上是否附着有泥等异物，在判断为镜头上附着有泥等异物的情况下，进行上述的阈值变更处理。在此，图22和图23是用于说明检测附着于镜头的异物的方法的图。
具体地说，如图22所示，通过异物检测部对在规定的第一定时t1生成的差分波形DWt执行用于使高频成分截止或者衰减的低通滤波(高通滤波)处理。这样，通过对差分波形DWt进行低通滤波处理，能够将差分波形DWt平滑化、平均化。即，通过对差分波形DWt进行低通滤波处理，能够在差分波形DWt中去除能够判断为噪声的小的极大值，使示出比较大的变化的极大值变得明显，从而能够抽出所获取到的图像信息的特征。其结果，能够使由于存在附着于镜头的异物而产生的差分波形DWt的极大值变得明显，从而能够抽出与异物对应的图像信息的特征。
接着，如图23所示，由异物检测部计算低通滤波处理后的差分波形DWt的极大值，来作为基准频数，基于该基准频数来设定用于判断异物的判断范围。例如，异物检测部将对基准频数加上规定的余裕值而得到的值起至从基准频数减去规定的余裕值而得到的值为止的范围设定为判断范围。此外，基准频数并不限定于低通滤波处理后的差分波形DWt的极大值，例如能够基于比差分波形DWt的极大值大规定值的值等、低通滤波处理后的差分波形DWt的极大值来计算基准频数。
而且，异物检测部如图23所示那样获取在第一定时t1之后的一个或者多个第二定时t2新生成的差分波形DWt的极大值，来作为评价频数，对判断为鸟瞰视点图像上的位置相同的评价频数与基准频数的差分在判断范围内的次数进行累加。然后，异物检测部在预先定义的规定的观察时间内重复进行上述异物检测处理，在进行累加得到的次数为规定次数tc以上的情况下，将包含与导出该累加的结果的评价频数对应的像素的图像判断为附着于镜头的异物。
这样，通过异物检测部对在鸟瞰视点图像上判断为评价频数与基准频数的差分在判断范围内的次数进行累加，由此能够检测出附着于镜头的泥等粘附于镜头且不移动的异物。这样，通过仅在检测出异物的情况下进行上述阈值变更处理，能够减轻镜头上没有附着异物时的处理负担。
另外，还能够基于边缘信息进行异物检测部的异物检测处理。异物检测部从在一个或者多个第一定时由三维物体检测部33生成的包含边缘线的信息的边缘信息中抽出第一极大值，并且基于该第一极大值获取基准边缘长度。在边缘线的信息中包含示出规定阈值以上的亮度差且具有规定的连续性的边缘的长度的信息(包含像素的个数)。另外，异物检测部从在第一定时之后的一个或者多个第二定时新生成的边缘信息中抽出在鸟瞰视点图像上与第一极大值对应的第二极大值，并且基于该第二极大值获取评价边缘长度。然后，基于评价边缘长度与基准边缘长度的差分的随时间的变化来检测镜头上是否附着有异物。“随时间的变化”的意思与基于差分波形信息的处理中的“随时间的变化”的意思相同。
异物检测部在判断为评价边缘长度与基准边缘长度的差分的随时间的变化的程度在规定的判断范围以内的情况下，将包含与评价边缘长度对应的像素的图像判断为由附着于镜头的异物形成的图像，检测镜头上附着有异物的情况。
具体地说，异物检测部对在第一定时生成的包含边缘线的信息的边缘信息至少进行利用带通滤波器的信号处理，基于该信号处理后的“基准边缘信息的极大值”来获取“基准边缘长度”。然后，基于在第一定时之后的一个或者多个第二定时新生成的边缘信息的极大值来获取“评价边缘长度”，基于判断为鸟瞰视点图像上的位置相同的评价边缘长度与基准边缘长度的差分在“规定的判断范围”内的次数，将包含与评价边缘长度对应的像素的图像判断为由附着于镜头的异物形成的图像。能够在预先定义的规定的评价时间内进行该判断。能够将低通滤波器用作带通滤波器这一点及其作用和效果、与异物的检测状态相应地变更带通滤波器的截止和衰减频带这一点及其作用和效果与上述的说明相同，因此引用其说明。基于边缘信息的异物检测处理中的“基准边缘信息”与上述“基准差分波形信息”对应，该“基准边缘长度”与上述“基准值”对应，该“评价边缘长度”与上述“评价对象值”对应，用于评价该“评价边缘长度”的“规定的判断范围”与用于评价利用上述基准波形信息的处理中的“评价对象值”的“规定的判断范围”对应。
另外，在上述实施方式中，例示了夜间判断部34基于由摄像机10拍摄到的摄像图像来判断是否为夜间的结构，但并不限定于该结构，例如也可以设为基于时刻等来判断是否为夜间的结构。
此外，上述实施方式的摄像机10相当于本发明的摄像单元，车速传感器20相当于本发明的本车速度检测单元，视点变换部31相当于本发明的图像变换单元，对位部32、三维物体检测部33、33a、亮度差计算部37以及边缘线检测部38相当于本发明的三维物体检测单元，夜间判断部34相当于本发明的夜间判断单元，光源检测部35相当于本发明的光源检测单元，阈值变更部36、36a相当于本发明的控制单元。
附图标记说明
1、1a：三维物体检测装置；10：摄像机；20：车速传感器；30、30a：计算机；31：视点变换部；32：对位部；33、33a：三维物体检测部；34：夜间判断部；35：光源检测部；36、36a：阈值变更部；37：亮度差计算部；38：边缘线检测部；a：视角；A1、A2：检测区域；CP：交点；DP：差分像素；DWt、DWt’：差分波形；DWt1～DWm、DWm+k～DWtn：小区域；L1、L2：触地线；La、Lb：三维物体倾倒方向上的线；P：摄像图像；PBt：鸟瞰视点图像；PDt：差分图像；V1：本车辆；V2：邻近车辆。

Claims (14)

1.一种三维物体检测装置，其特征在于，具备：
摄像单元，其具备使本车辆后方的影像成像的镜头；
三维物体检测单元，其基于由上述摄像单元获得的摄像图像来检测存在于规定的检测区域的三维物体，计算上述三维物体的移动速度；
本车速度检测单元，其检测本车辆的移动速度；
光源检测单元，其在包括上述检测区域的规定的光源检测区域中检测与其它车辆的车头灯对应的车头灯光源；以及
控制单元，其进行以下控制处理：在由上述光源检测单元没有检测出上述车头灯光源的情况下，将上述三维物体的移动速度与上述本车辆的移动速度进行比较，在上述三维物体的移动速度为上述本车辆的移动速度以下或者上述三维物体的移动速度与上述本车辆的移动速度之差小于规定值的情况下，抑制检测出上述三维物体。
2.根据权利要求1所述的三维物体检测装置，其特征在于，
还具备判断是否为夜间的夜间判断单元，
在由上述夜间判断单元判断为是夜间的情况下，上述控制单元进行上述控制处理。
3.根据权利要求1或2所述的三维物体检测装置，其特征在于，
上述三维物体检测单元具有图像变换单元，该图像变换单元将由上述摄像单元获得的上述摄像图像视点变换为鸟瞰视点图像，
上述三维物体检测单元将由上述图像变换单元获得的不同时刻的鸟瞰视点图像的位置以鸟瞰视点进行对位，在该对位后的鸟瞰视点图像的差分图像上对示出规定的差分的像素数进行计数并进行频数分布化，由此生成差分波形信息，基于该差分波形信息检测上述三维物体，并且基于上述差分波形信息的波形的时间变化计算上述三维物体的移动速度。
4.根据权利要求3所述的三维物体检测装置，其特征在于，
上述三维物体检测单元在上述差分图像上对示出规定的第一阈值以上的差分的像素数进行计数并进行频数分布化，由此生成上述差分波形信息，在该差分波形信息的峰值为规定的第二阈值以上的情况下，基于上述差分波形信息检测上述三维物体，
上述控制单元通过将上述第一阈值或者上述第二阈值变更为高的值来抑制检测出上述三维物体。
5.根据权利要求3所述的三维物体检测装置，其特征在于，
在上述三维物体检测单元生成上述差分波形信息时，上述控制单元使上述三维物体检测单元将在上述差分图像上对示出规定的差分的像素数进行计数并进行频数分布化得到的值降低并输出，由此抑制检测出上述三维物体。
6.根据权利要求3所述的三维物体检测装置，其特征在于，
还具备异物检测单元，该异物检测单元从由上述三维物体检测单元在一个或者多个第一定时生成的差分波形信息抽出第一极大值，并且基于所抽出的该第一极大值获取基准值，从在上述第一定时之后的一个或者多个第二定时新生成的差分波形信息抽出在上述鸟瞰视点图像上与上述第一极大值对应的第二极大值，并且基于该第二极大值获取评价对象值，基于上述评价对象值与上述基准值的差分的经时变化来检测上述镜头上是否附着有异物，
仅在上述异物检测单元检测出附着于上述镜头的异物的情况下，上述控制单元抑制检测出上述三维物体。
7.根据权利要求1或2所述的三维物体检测装置，其特征在于，
上述三维物体检测单元具有图像变换单元，该图像变换单元将由上述摄像单元获得的上述摄像图像视点变换为鸟瞰视点图像，
上述三维物体检测单元根据由上述图像变换单元获得的上述鸟瞰视点图像来检测边缘信息，基于该边缘信息检测上述三维物体，并且基于上述边缘信息的时间变化计算上述三维物体的移动速度。
8.根据权利要求7所述的三维物体检测装置，其特征在于，
上述三维物体检测单元根据上述鸟瞰视点图像检测相邻的像素区域的亮度差为规定的第一阈值以上的边缘成分，在基于该边缘成分的上述边缘信息的量为规定的第二阈值以上的情况下，上述三维物体检测单元基于上述边缘信息检测上述三维物体，
上述控制单元通过将上述第一阈值或者上述第二阈值变更为高的值来抑制上述三维物体的检测。
9.根据权利要求7所述的三维物体检测装置，其特征在于，
在上述三维物体检测单元检测上述边缘信息时，上述控制单元使上述三维物体检测单元将上述边缘信息降低并输出，由此抑制上述三维物体的检测。
10.根据权利要求7所述的三维物体检测装置，其特征在于，
还具备异物检测单元，该异物检测单元从在一个或者多个第一定时由上述三维物体检测单元生成的包含上述边缘线的信息的边缘信息抽出第一极大值，基于该第一极大值获取基准边缘长度，从在上述第一定时之后的一个或者多个第二定时新生成的边缘信息抽出在上述鸟瞰视点图像上与上述第一极大值对应的第二极大值，并且基于该第二极大值获取评价边缘长度，基于上述评价边缘长度与上述基准边缘长度的差分的经时变化来检测上述镜头上是否附着有异物，
仅在上述异物检测单元检测出附着于上述镜头的异物的情况下，上述控制单元抑制检测出上述三维物体。
11.根据权利要求1所述的三维物体检测装置，其特征在于，
上述光源检测单元在上述光源检测区域中反复检测上述光源，在规定时间内检测出上述车头灯光源的情况下，输出检测出上述车头灯光源的意思的检测结果，在上述规定时间内没有检测出上述车头灯光源的情况下，输出没有检测出上述车头灯光源的意思的检测结果。
12.根据权利要求2所述的三维物体检测装置，其特征在于，
上述夜间判断单元反复进行通过在与上述光源检测区域不同的区域内检测光源来判断是否为夜间的夜间判断处理，在规定判断时间内能够检测出规定量以上的光源的情况下判断为是夜间。
13.一种三维物体检测方法，将拍摄本车辆后方而得到的摄像图像视点变换为鸟瞰视点图像，根据不同时刻的上述鸟瞰视点图像来生成差分波形信息，基于该差分波形信息检测存在于规定的检测区域的三维物体，并且根据上述差分波形信息的波形的时间变化计算上述三维物体的移动速度，由此判断上述三维物体是否为其它车辆，该三维物体检测方法的特征在于，
在包括上述检测区域的规定的光源检测区域中检测与上述其它车辆的车头灯对应的车头灯光源，并且判断是否为夜间，在判断为是夜间且没有检测出上述车头灯光源的情况下，将上述三维物体的移动速度与上述本车辆的移动速度进行比较，在上述三维物体的移动速度为上述本车辆的移动速度以下或者上述三维物体的移动速度与上述本车辆的移动速度之差小于规定值的情况下，抑制基于上述差分波形信息检测出上述三维物体或者抑制将上述三维物体判断为上述其它车辆。
14.一种三维物体检测方法，将拍摄本车辆后方而得到的摄像图像视点变换为鸟瞰视点图像，根据上述鸟瞰视点图像检测边缘信息，基于该边缘信息检测存在于规定的检测区域的三维物体，并且根据上述边缘信息的时间变化计算上述三维物体的移动速度，由此基于上述边缘信息判断上述三维物体是否为其它车辆，该三维物体检测方法的特征在于，
根据上述边缘信息的时间变化来计算上述三维物体的移动速度，在包括上述检测区域的规定的光源检测区域中检测与上述其它车辆的车头灯对应的车头灯光源，并且判断是否为夜间，在判断为是夜间且没有检测出上述车头灯光源的情况下，将上述三维物体的移动速度与上述本车辆的移动速度进行比较，在上述三维物体的移动速度为上述本车辆的移动速度以下或者上述三维物体的移动速度与上述本车辆的移动速度之差小于规定值的情况下，抑制基于上述边缘信息检测出上述三维物体或者抑制将上述三维物体判断为上述其它车辆。
CN201380040042.1A 2012-07-27 2013-07-25 三维物体检测装置以及三维物体检测方法 Active CN104509100B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012166517 2012-07-27
JP2012-166517 2012-07-27
PCT/JP2013/070222 WO2014017600A1 (ja) 2012-07-27 2013-07-25 立体物検出装置および立体物検出方法

Publications (2)

Publication Number Publication Date
CN104509100A CN104509100A (zh) 2015-04-08
CN104509100B true CN104509100B (zh) 2016-06-15

Family

ID=49997407

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380040042.1A Active CN104509100B (zh) 2012-07-27 2013-07-25 三维物体检测装置以及三维物体检测方法

Country Status (10)

Country Link
US (1) US9189691B2 (zh)
EP (1) EP2879385B1 (zh)
JP (1) JP6020567B2 (zh)
CN (1) CN104509100B (zh)
BR (1) BR112015001711B1 (zh)
IN (1) IN2015KN00385A (zh)
MX (1) MX337071B (zh)
MY (1) MY158374A (zh)
RU (1) RU2570892C9 (zh)
WO (1) WO2014017600A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10397544B2 (en) * 2010-08-19 2019-08-27 Nissan Motor Co., Ltd. Three-dimensional object detection device and three-dimensional object detection method
US10503983B2 (en) * 2015-08-19 2019-12-10 Mitsubishi Electric Corporation Lane recognition apparatus and lane recognition method
US10019805B1 (en) * 2015-09-29 2018-07-10 Waymo Llc Detecting vehicle movement through wheel movement
US10127461B2 (en) 2016-08-12 2018-11-13 Here Global B.V. Visual odometry for low illumination conditions using fixed light sources
US10152635B2 (en) 2017-01-24 2018-12-11 Here Global B.V. Unsupervised online learning of overhanging structure detector for map generation
TWI721324B (zh) * 2018-10-10 2021-03-11 鴻海精密工業股份有限公司 電子裝置及立體物體的判斷方法
CN111243285A (zh) * 2020-01-07 2020-06-05 南京甄视智能科技有限公司 黑暗环境下基于车灯图像识别的车辆套牌自动检测方法和***
CN111857135A (zh) * 2020-06-30 2020-10-30 北京百度网讯科技有限公司 用于车辆的避障方法、装置、电子设备和计算机存储介质
CN114078246A (zh) * 2020-08-11 2022-02-22 华为技术有限公司 确定检测对象的三维信息的方法及装置
CN113836737B (zh) * 2021-09-29 2023-10-27 东风汽车有限公司东风日产乘用车公司 轮胎干涉风险监测方法、装置及设备
CN114312838B (zh) * 2021-12-29 2023-07-28 上海洛轲智能科技有限公司 一种车辆的控制方法、装置及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1181498A (zh) * 1996-11-04 1998-05-13 三星电子株式会社 告知车辆周围状况的导航装置和控制该装置的方法
CN1980322A (zh) * 2005-12-07 2007-06-13 日产自动车株式会社 物体检测***和物体检测方法
JP4063144B2 (ja) * 2003-05-15 2008-03-19 日産自動車株式会社 車両用後側方監視装置
CN102288165A (zh) * 2010-06-21 2011-12-21 日产自动车株式会社 移动距离检测装置和移动距离检测方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05151495A (ja) 1991-11-28 1993-06-18 Nippon Signal Co Ltd:The 車両画像処理方法
JP4818609B2 (ja) * 2002-08-21 2011-11-16 ジェンテックス コーポレイション 外部車両照明の自動制御のための画像取得及び処理方法
JP2006044560A (ja) * 2004-08-06 2006-02-16 Denso Corp 走行支援誤制御検出システム、車載検出システム及びセンター装置
US7881496B2 (en) * 2004-09-30 2011-02-01 Donnelly Corporation Vision system for vehicle
DE102006011481A1 (de) * 2006-03-13 2007-09-20 Robert Bosch Gmbh Verfahren und Vorrichtung zum Unterstützen eines Führens eines Fahrzeugs
JP4654208B2 (ja) 2007-02-13 2011-03-16 日立オートモティブシステムズ株式会社 車載用走行環境認識装置
JP2008219063A (ja) 2007-02-28 2008-09-18 Sanyo Electric Co Ltd 車両周辺監視装置及び方法
JP2008227646A (ja) 2007-03-09 2008-09-25 Clarion Co Ltd 障害物検知装置
JP4991384B2 (ja) * 2007-05-08 2012-08-01 株式会社日立製作所 接近物検知装置及び接近物検知プログラム
US9058746B2 (en) * 2008-10-02 2015-06-16 Hitachi Automotive Systems, Ltd. Information processing device associated with vehicle traveling
JP5421072B2 (ja) * 2008-11-19 2014-02-19 クラリオン株式会社 接近物体検知システム
RU2010134021A (ru) * 2010-08-17 2012-02-27 Общество с ограниченной ответственностью "Интеллектуальные системы" (RU) Транспортная видеосистема кругового обзора и способ получения виртуального вида сверху
JP5892876B2 (ja) * 2011-07-28 2016-03-23 クラリオン株式会社 車載用環境認識装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1181498A (zh) * 1996-11-04 1998-05-13 三星电子株式会社 告知车辆周围状况的导航装置和控制该装置的方法
JP4063144B2 (ja) * 2003-05-15 2008-03-19 日産自動車株式会社 車両用後側方監視装置
CN1980322A (zh) * 2005-12-07 2007-06-13 日产自动车株式会社 物体检测***和物体检测方法
CN102288165A (zh) * 2010-06-21 2011-12-21 日产自动车株式会社 移动距离检测装置和移动距离检测方法

Also Published As

Publication number Publication date
BR112015001711A2 (pt) 2019-11-26
US20150178575A1 (en) 2015-06-25
RU2570892C9 (ru) 2016-10-20
CN104509100A (zh) 2015-04-08
WO2014017600A1 (ja) 2014-01-30
MX2015001233A (es) 2015-04-10
US9189691B2 (en) 2015-11-17
EP2879385A1 (en) 2015-06-03
JP6020567B2 (ja) 2016-11-02
RU2570892C1 (ru) 2015-12-20
EP2879385A4 (en) 2015-08-19
IN2015KN00385A (zh) 2015-07-10
MY158374A (en) 2016-09-26
MX337071B (es) 2016-02-11
JPWO2014017600A1 (ja) 2016-07-11
BR112015001711B1 (pt) 2021-10-26
EP2879385B1 (en) 2017-04-26

Similar Documents

Publication Publication Date Title
CN104509100B (zh) 三维物体检测装置以及三维物体检测方法
CN104509099B (zh) 三维物体检测装置以及三维物体检测方法
JP6254084B2 (ja) 画像処理装置
CN104509101A (zh) 三维物体检测装置和三维物体检测方法
CN104508728B (zh) 三维物体检测装置
RU2636120C2 (ru) Устройство обнаружения трехмерных объектов
EP2549457B1 (en) Vehicle-mounting vehicle-surroundings recognition apparatus and vehicle-mounting vehicle-surroundings recognition system
CN103797529B (zh) 三维物体检测装置
CN104902261B (zh) 用于低清晰度视频流中的路面识别的装置和方法
CN104012081B (zh) 三维物体检测装置
EP2928178B1 (en) On-board control device
JP4670805B2 (ja) 運転支援装置、及びプログラム
CN104685866A (zh) 三维物体检测装置以及三维物体检测方法
CN104246821A (zh) 三维物体检测装置和三维物体检测方法
CN104509102A (zh) 三维物体检测装置和异物检测装置
CN103718214A (zh) 移动体检测装置和移动体检测方法
CN104115188A (zh) 立体物检测装置
CN104115204A (zh) 立体物检测装置
CN104115203A (zh) 立体物检测装置
CN103164958A (zh) 车辆监控方法及***
JP2020095623A (ja) 画像処理装置および画像処理方法
JP3762406B2 (ja) 車輌用走行案内装置
Liu Performance evaluation of stereo and motion analysis on rectified image sequences
JP6011110B2 (ja) 立体物検出装置および立体物検出方法
JP5668891B2 (ja) 立体物検出装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant