CN103052968B - 物体检测装置和物体检测方法 - Google Patents

物体检测装置和物体检测方法 Download PDF

Info

Publication number
CN103052968B
CN103052968B CN201180038154.4A CN201180038154A CN103052968B CN 103052968 B CN103052968 B CN 103052968B CN 201180038154 A CN201180038154 A CN 201180038154A CN 103052968 B CN103052968 B CN 103052968B
Authority
CN
China
Prior art keywords
road surface
region
candidate
disparity map
determinating area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201180038154.4A
Other languages
English (en)
Other versions
CN103052968A (zh
Inventor
南里卓也
丸谷健介
西村洋文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of CN103052968A publication Critical patent/CN103052968A/zh
Application granted granted Critical
Publication of CN103052968B publication Critical patent/CN103052968B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3602—Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

提供能够高精度地判定拍摄到立体图像中的对象物是物体还是路面物体检测装置、物体检测方法及程序。物体检测装置（100）具备：视差图生成单元（120），基于获取的立体图像生成视差图；路面估计单元（130），基于生成的视差图估计路面；物体候选位置提取单元（140），基于生成的视差图和路面，提取在实空间中存在于路面上侧的物体候选的位置；以及物体判定区域提取单元（150），从生成的视差图中，提取物体候选周边区域也包含在内的立体判定区域。另外，物体检测装置（100）还具备：形状特征提取单元（160），基于物体判定区域提取物体候选的形状特征；以及物体判定单元（170），基于提取出的形状特征及预先存储在物体判定参数存储器（180）的物体判定参数，判定物体候选是物体还是路面。

Description

物体检测装置和物体检测方法
技术领域
本发明涉及对立体图像中拍摄到的物体进行检测的物体检测装置、物体检测方法及程序。
背景技术
以往，已知有通过对立体图像(基准图像及参照图像)的立体匹配来计算基准图像和参照图像偏差(视差)，且基于计算出的视差检测物体的物体检测装置。探讨了将该物体检测装置例如适用到在对使用车载相机拍摄车辆前方得到的立体图像中所拍摄的物体(例如车辆或步行者等立体物。不包含路面。)、路面等进行检测的装置。
作为现有的物体检测装置采用的方式，提出了计算立体图像中所拍摄的物体的高度方向的倾斜，通过使用计算出的倾斜来判定是物体还是路面的方式(例如参照专利文献1)。
图1是表示专利文献1所记载的物体检测装置的结构的方框图。
如图1所示，物体检测装置10具备立体图像获取单元11、视差图生成单元12、路面估计单元13、物体候选位置提取单元14及倾斜计算判定单元15。
立体图像获取单元11获取由搭载有左右排列的两个透镜的立体相机同时拍摄到的一对立体图像。
视差图生成单元12基于立体图像获取单元11中获取的立体图像生成视差图。
视差图是指通过立体匹配对各像素计算基准图像和参照图像间的偏差(视差)。
路面估计单元13基于视差图生成单元12中生成的视差图估计路面。
物体候选位置提取单元14基于视差图生成单元12中生成的视差图，从立体图像中提取拍摄到在实空间中比路面估计单元13中估计出的路面更靠上的空间所得的区域。而且，物体候选位置提取单元14通过将在提取出的区域中视差的值接近的区域进行成组，提取立体图像中拍摄了可能是物体的部分(以下称为“物体候选”)的区域。
倾斜计算判定单元15基于视差图生成单元12中生成的视差图，计算物体候选位置提取单元14中提取的拍摄了物体候选的区域的图像垂直方向的视差的倾斜(即物体候选的高度方向的倾斜)，判定物体候选是物体还是路面。具体而言，如果视差的倾斜大于规定的阈值，则倾斜计算判定单元15判定物体候选为物体，如果视差的倾斜小于规定的阈值，则判定物体候选为路面。
另外，专利文献2所记载的对象物判定装置基于立体图像中的拍摄了物体候选的区域的视差，计算进深方向的视差的值的偏差和垂直方向的视差的值的偏差，且基于计算出的偏差，判定物体候选是物体还是路面。
现有技术文献专利文献
专利文献1：日本特开2008-33750号公报
专利文献2：日本特开2006-234682号公报
发明要解决的问题
但是，现有的物体检测装置中，有可能将绘在远方的路面上的路面标示(表示最高速度的数字等)误判为物体。
这是因为，在立体图像中，拍摄到存在于远方的物体的区域的视差计算的精度差，难以高精度地计算存在于远方的物体的高度方向的倾斜。
发明内容
本发明的目的在于，提供能够高精度地判定立体图像中拍摄到的对象物是物体还是路面的物体检测装置、物体检测方法及程序。
解决问题的方案
本发明的物体检测装置检测立体图像中包含的路面上的物体，该装置采用的结构包括：视差图生成单元，基于所述立体图像生成视差图；路面估计单元，基于所述视差图估计路面区域；物体候选位置提取单元，从所述视差图中提取存在于所述路面区域的上方的视差数据组，作为物体候选存在的区域即物体候选区域，所述物体候选是在所述立体图像中拍摄了可能是物体的部分；物体判定区域提取单元，从所述视差图中提取包含所述物体候选区域且具有比所述物体候选区域的宽度宽规定倍率的宽度的物体判定区域；形状特征提取单元，提取所述物体判定区域的形状特征；以及物体判定单元，基于所述形状特征，判定物体候选是物体还是路面。
本发明的物体检测方法检测立体图像中包含的路面上的物体，该方法包括如下步骤：视差图生成单元基于所述立体图像生成视差图；路面估计单元基于所述视差图估计路面区域；物体候选位置提取单元从所述视差图中提取存在于所述路面区域的上方的视差数据组，作为物体候选存在的区域即物体候选区域，所述物体候选是在所述立体图像中拍摄了可能是物体的部分；物体判定区域提取单元从所述视差图中提取包含所述物体候选区域且具有比所述物体候选区域的宽度宽规定倍率的宽度的物体判定区域；形状特征提取单元提取所述物体判定区域的形状特征；以及物体判定单元基于所述形状特征，判定物体候选是物体还是路面。
发明的效果
根据本发明，可以高精度地判定立体图像中拍摄的对象物是物体还是路面。
附图说明
图1是表示专利文献1的物体检测装置的结构的方框图。
图2是表示本发明实施方式1的物体检测装置的结构的方框图。
图3是由实施方式1的物体检测装置的搭载于车辆的立体相机拍摄本车辆前方的车辆所得的立体图像的示意图。
图4是用于说明实施方式1的物体检测装置的视差图生成单元中的视差图生成方法的示意图。
图5是用于说明实施方式1的物体检测装置的视差图生成单元中的视差图生成方法的图。
图6是用于说明由实施方式1的物体检测装置的路面估计单元估计的路面区域的示意图。
图7是用于说明实施方式1的物体检测装置的物体候选位置提取单元中的、路面区域以下的视差数据的删除方法的图。
图8是用于说明实施方式1的物体检测装置的物体候选位置提取单元中的、物体候选区域的提取方法的图。
图9是表示实施方式1的物体检测装置的物体判定区域提取单元、形状特征提取单元及物体判定单元的处理概念的图。
图10是用于说明实施方式1的物体检测装置的物体判定区域提取单元中的、物体判定区域的提取方法的图。
图11是用于说明实施方式1的物体检测装置的物体判定区域提取单元中的、物体判定区域的提取方法的图。
图12是用于说明实施方式1的物体检测装置的形状特征提取单元中、的形状特征的提取方法的图。
图13是用于说明实施方式1的物体检测装置的物体判定参数存储器中存储的物体判定参数的学习方法的图。
图14是表示实施方式1的在一部分区域中视差数据缺漏的物体判定区域的图。
图15是用于说明将实施方式1的物体检测装置的物体判定参数存储器中存储的物体判定参数的学习对应上下方向的偏差后的情况的图。
图16是用于说明本发明实施方式2的物体检测装置的形状特征提取单元中的、相关特征的提取方法的图。
标号说明
10物体检测装置
11立体图像获取单元
12视差图估计单元
13路面估计单元
14物体候选位置提取单元
15倾斜计算判定单元
100物体检测装置
110立体图像获取单元
120视差图生成单元
130路面估计单元
140物体候选位置提取单元
150物体判定区域提取单元
160形状特征提取单元
170物体判定单元
180物体判定参数存储器
601路面区域
602物体候选区域
701物体候选区域
801物体候选区域
901物体候选区域
1001物体判定区域
1601相关特征提取用比特图案
具体实施方式
下面，参照附图详细地说明本发明的实施方式。
(实施方式1)
图2是表示本发明实施方式1的物体检测装置的结构的方框图。
本实施方式是适用于使用搭载于车辆的立体相机检测本车辆前方的车辆或步行者等存在于道路环境的物体(例如车辆或步行者等立体物。路面除外)的物体检测装置的例子。
如图2所示，物体检测装置100具备：立体图像获取单元110、视差图生成单元120、路面估计单元130、物体候选位置提取单元140、物体判定区域提取单元(立体物判定区域提取单元)150、形状特征提取单元160、物体判定单元(立体物判定单元)170、以及物体判定参数存储器(立体物判定参数存储器)180。
立体图像获取单元110从未图示的拍摄单元(立体相机等)获取立体图像。
拍摄单元具有第一拍摄系及第二拍摄系，拍摄由使用第一拍摄系拍摄对象物得到的基准图像和使用第二拍摄系拍摄该对象物得到的参照图像构成的立体图像，将该立体图像输出至立体图像获取单元110。
视差图生成单元120基于由立体图像获取单元110获取的立体图像生成视差图。
路面估计单元130基于由视差图生成单元120生成的视差图，估计立体图像上的路面。
物体候选位置提取单元140基于由视差图生成单元120生成的视差图和由路面估计单元130估计的路面，从立体图像中提取在视差图中存在于路面上方的物体候选所存在的区域(以下称为“物体候选区域”)。
物体判定区域提取单元150基于由视差图生成单元120生成的视差图，提取包含物体候选区域和物体候选区域的周边区域的区域作为物体判定区域。
形状特征提取单元160提取物体判定区域的图像特征作为物体候选的形状特征。
物体判定参数存储器180存储学习了物体和路面(例如路面标示)的多数形状特征的结果即物体判定参数。
物体判定单元170基于提取出的物体候选的形状特征和预先存储在物体判定参数存储器180中的物体判定参数，进行物体候选是物体还是路面的判定，并输出判定结果。
以下，按每个单元的处理说明物体检测装置100的动作。
[立体图像获取单元110]
立体图像获取单元110获取由搭载了左右排列的2***的相机(拍摄系)的立体相机拍摄的立体图像。立体图像由使用一相机拍摄的基准图像和使用另一相机拍摄的参照图像构成。立体相机的拍摄中使用CCD(ChargeCoupledDevices，电荷耦合器件)、CMOS(ComplementaryMetalOxideSemiconductor，互补金属氧化物半导体)等图像传感器。
图3表示使用搭载于车辆的立体相机等拍摄本车辆前方的车辆所得的立体图像的示意图。图3(a)表示基准图像，图3(b)表示参照图像。
此外，将左右立体图像中的哪一个设为基准图像是任意的。
以下，为便于说明，面向对象物将由右相机拍摄的图像设为基准图像，将由左相机拍摄的图像设为参照图像进行说明。
对由立体图像获取单元110获取的立体图像，实施透镜的畸变校正及光轴的平行化校正。透镜的畸变校正方法可通过基于使用了透镜的设计值的校正变换表的方法、基于使用了半径方向的畸变模型的参数估计的方法等而实现。
另外，光轴的平行化校正例如有如下方法等各种方法，该方法为：在同时拍摄绘有格状图案的一张板所得的基准图像和参照图像中，使拍摄相同格点的坐标彼此对应，由此计算右相机和左相机的相对位置关系，并基于计算出的位置关系进行光轴的平行性校正。
此外，将立体相机设为搭载有左右排列的两个透镜的相机而进行了说明，但不限于此，可以在上下排列等任意的位置关系下实现，只要至少包含两个拍摄系即可。
[视差图生成单元120]
视差图生成单元120从立体图像获取单元110获取立体图像。然后，视差图生成单元120通过立体匹配，对立体图像的各像素估计基准图像和参照图像之间的偏差(视差)，生成视差图。视差图除X轴和Y轴外还包含距离轴，因此包含三维信息。
图4是用于说明视差图生成的示意图，表示拍摄存在于相机前方的车辆所得的立体图像。图4(a)表示基准图像，图4(b)表示参照图像。
基准图像中的车辆位置和参照图像中的车辆位置的偏差就是视差。视差依赖于立体相机和拍摄对象(图4中的物体(车辆))之间的距离，距离远时视差小。在将基准图像中的拍摄对象的左端的坐标设为xb、将参照图像中的拍摄对象的左端的坐标设为xr时，坐标的差即(xr-xb)为有关拍摄对象的左端的视差d。
图5是用于说明视差图生成单元120的视差图生成方法的图。图5(a)表示基准图像中成为计算视差的对象的像素(以下称为“视差计算点”)的基准图像内的扫描方法。图5(a)表示使视差计算点从基准图像中要扫描的区域的左上端的像素开始，向右横向一像素一像素地移动，到达要扫描的区域的右端后，使其移动到下一行的左端像素，之后同样地向右横向一像素一像素地移动。图5(b)表示在参照图像中搜索与视差计算点对应的像素(以下称为“对应点”)的搜索区域。另外，图5(c)表示基准图像中的视差计算点的亮度和参照图像中的搜索区域内的各像素的亮度的差异度。图5(c)中，亮度差异度最小的像素是对应点。以下，将视差计算点设为基准图像中的1像素进行说明，但也可以是多个像素。
视差图生成单元120通过对基准图像整体扫描视差计算点，对基准图像整体的像素估计视差，生成将基准图像的各像素的视差作为二维排列而显示的视差图(图5(d))。
此外，虽然说明了在图像整体上进行视差计算点的图像扫描，但也可以仅对必要的区域进行图像操作，如只对拍摄了实空间的路面和路面之上的空间的区域进行扫描等。图5(d)是以颜色的浓淡表现视差图的图，表示颜色越浓，则视差越小(即距拍摄对象的距离远)。
参照图像中的对应点的搜索区域至少根据视差计算点的坐标及外极线(epipolarline)设定。外极线是将一相机的光轴向由另一相机拍摄的图像投影所得的线，根据两个相机的几何学关系确定。
另外，图5(c)中，横轴表示搜索区域内的各像素和搜索区域左端的像素的距离即视差搜索值，纵轴表示视差计算点的亮度和搜索区域内各像素的亮度的差异度。通过以视差计算点为中心的8像素×8像素的区域的亮度和以搜索区域内的各像素为中心的8像素×8像素的区域的亮度之间的绝对差值和(SAD：SumofAbsoluteDifference)，可计算视差计算点的亮度和搜索区域内各像素的亮度的差异度。差异度最小时的搜索区域内的像素为对应点，基准图像中的视差计算点的位置和参照图像中的对应点的位置的偏差就是视差。
此外，将计算差异度的区域设为8像素×8像素而进行了说明，但不限于此，能够在任意大小的矩形中实现。另外，设为对差异度使用亮度而进行了说明，但不限于此。
另外，差异度可通过差方和(SSD：SumofSquaredDifferences)等在计算差异度的对象的两个值完全一致时值成为最小的所有的方式进行计算。另外，差异度也可以将归一化互相关(NCC：NormalizedCrossCorrelation)等在完全一致的情况下值成为最大的相似度的指标正负颠倒来利用。
[路面估计单元130]
路面估计单元130基于视差图生成单元120中生成的视差图而估计路面(路面区域)。
路面区域可以基于基准图像或参照图像表现，但也可以在视差图上表现。
图6是用于说明由路面估计单元130估计的路面区域的示意图，表示由三维数据表现了由视差图生成单元120生成的视差图的视差图。下面将由三维数据表现的视差图作为三维像素(voxel)数据进行说明。
由三维数据表现的视差图(三维体素数据)是对于具有X轴和Y轴的图像的各坐标(像素)追加了视差的轴的坐标空间的数据，对图像的各坐标存在一个视差数据。三维像素数据包含拍摄了道路面的路面区域601(斜线部分)和拍摄了物体的区域602(纵线部分)。路面估计单元130基于三维像素数据，将斜线部分即路面区域601(图6中的斜线部)估计为一个平面。
此外，图6中，为便于说明，显示了拍摄有物体的区域602，但如后述，由于距相机远的物体的视差的精度低，所以在路面估计单元130的处理中，并不确定拍摄物体的区域602。
使用一般的图像处理就可以估计路面区域601。
例如，在本车辆前方的车辆和立体相机的距离远的情况下，在基准图像中路面区域所占的区域最宽。因此，路面估计单元130可以通过最大似然估计法将三维像素数据中数据点数的密度分布最密的平面估计为路面区域601。路面区域601由定义平面的式子表示。
此外，说明了路面估计单元130基于三维像素数据估计路面区域，但也可以通过下述方式实现，即，将三维像素数据向Y轴和视差的轴的平面投影并投票，将路面即斜线部分的倾斜作为相机设置角进行估计。
此外，说明了路面估计单元130通过最大似然估计法以路面为一个平面估计数据点数的密度分布最密的平面，但也可以将路面设为由多个平面或曲面的组合构成而进行估计。
[物体候选位置提取单元140]
物体候选位置提取单元140基于由视差图生成单元120生成的视差图和由路面估计单元130估计的路面区域，提取拍摄了物体候选的区域(以下称为“物体候选区域”)。
即，物体候选区域是指在视差图中存在物体候选的区域。
图7表示删除了存在于估计出的路面区域601的下方的视差数据的三维像素数据的示意图。使用图7说明物体候选位置提取单元140中的路面区域以下的视差数据的删除方法。
存在于路面区域601的下方的视差数据是指，在三维像素数据的坐标轴上，Y轴的值成为比表示路面区域601的平面的Y轴的值大的值的坐标的视差数据。即，存在于路面区域601的下方的视差数据是指，在注目于X轴的值为xi、视差d轴的值为di的位置时，坐标(xi、di)处的路面区域601的Y轴的值Yr和坐标(xi、di)处的视差数据的Y轴的值Yd满足Yr+σ＜Yd的关系的视差数据。这里，σ是考虑到实空间中的路面的凸凹等的值。
这样，物体候选位置提取单元140从三维像素数据中删除存在于路面区域601的下方的视差数据，由此可以提取存在于路面区域601的上方的视差数据。存在于路面区域601的上方的视差数据是指，在三维视差图中，存在于比路面区域601高的位置的视差数据。即，存在于路面区域601的上方的视差数据的实空间中的位置在实空间中存在于路面的上方。
由此，提取包含物体候选区域602的视差数据。此外，也可以不删除存在于路面区域601的下方的视差数据，而提取存在于路面区域601的上方的视差数据。此时，只要在视差图中确定路面区域601即可。
但是，根据三角测量的原理，存在于远方的物体的视差的估计的精度低。因此，难以确定远方的路面区域的视差数据。例如，图7所示的视差数据组701-a及701-b是因视差小而不被确定为路面区域601的视差数据组。
图8是用于说明物体候选位置提取单元140中的物体候选区域602的提取方法的图。
物体候选位置提取单元140对于如图7所示那样存在于路面区域601的上方的视差数据组，将相邻或附近的视差数据进行成组，从而将视差数据分类成多个组，将各组作为物体候选区域801a及801b。物体候选位置提取单元140将表示物体候选区域的基准图像上的位置的坐标信息(以下称为“物体候选位置”)输出至物体判定区域提取单元150。
[物体判定区域提取单元150]
物体判定区域提取单元150从视差图生成单元120获取视差图，基于从物体候选位置提取单元140获取的物体候选区域的基准图像上的坐标信息(位置信息)即物体候选位置，从视差图中提取包含物体候选区域和其周边区域的物体判定区域。
图9是表示物体判定区域提取单元150、形状特征提取单元160及物体判定单元170的处理概念的图。
图9(a)表示以颜色浓淡表现了视差值的视差图。图9(a)中，颜色越深的像素，视差越小，距拍摄对象的距离越远。图9(b)表示应判定是物体还是路面的物体候选区域。物体判定区域提取单元150提取包含各物体候选区域901和各自的周边区域的物体判定区域。然后，形状特征提取单元160基于物体判定区域提取单元150中提取出的物体判定区域的视差数据，提取物体候选的形状特征。另外，物体判定单元170基于形状特征提取单元160中提取出的形状特征和物体判定参数存储器180中存储的物体判定参数，判定物体候选是物体还是路面。
图10表示用于说明物体判定区域提取单元150中的物体判定区域的提取方法的图。
物体判定区域提取单元150提取包含物体候选和其周边区域的物体判定区域1001(由虚线包围的区域)。物体判定区域1001是视差图中判定物体候选是物体还是路面的对象区域。
为基于统计性学习来判定偏差大的两个分布(物体/路面)，需要增多物体判定区域的像素数。通过增多物体判定区域的像素数，对于物体判定区域，可以提取高精度的图像特征。但是，在拍摄到距立体相机远的物体的情况下，在立体图像上物体所占的区域的像素数少，因此，对于物体判定区域，难以提取高精度的图像特征。
因此，本实施方式的发明通过利用包含物体候选和周边区域的更大的范围的视差数据，能够使用包含物体和物体的背景的图像特征来提高判别精度。即，相比于仅由物体候选区域的图像特征进行判别的情况，在使用物体候选区域和背景区域两者进行判别的情况下，不仅由于像素数的增加而判别精度提高，而且可以使用物体候选区域和背景区域的亮度值的整体性差异等进行判定，所以判定精度提高。
在判定物体候选的情况下，需要使物体候选的判定对象(本实施方式中为车辆或路面)包含于物体判定区域，且不包含位于路侧的护栏或树木等判定对象以外的物体。由于一般的车辆的宽度大致为2.0m，一般的道路宽度约为3m，因此，也考虑到车辆不在行驶路中心行驶的情况，将实空间中的2.5m的宽度区域设定为物体判定区域。即，通过将物体候选区域的宽度的1.25倍宽的区域作为物体判定区域，能够在更多的一般道路的场景中最优地进行判定。此外，将物体判定区域设定为2.5m，且将物体候选区域的宽度的1.25倍宽的区域作为物体判定区域是设计事项，并不限定于此。
这样，物体判定区域提取单元105也可以基于物体候选区域的区域尺寸来确定物体判定区域。
另外，物体判定区域提取单元105也可以基于物体候选区域的视差值(距离值)和物体候选区域的区域尺寸来确定物体判定区域。
由此，能够获得即使对于距立体相机远的物体也可提取高精度的图像特征的效果。
另外，物体判定区域提取单元105也可以基于物体候选在实空间中的大小来确定物体判定区域1001的区域尺寸。具体而言，物体判定区域提取单元105基于物体候选区域602的区域尺寸和视差值(距离值)，计算物体候选在实空间中的大小。物体判定区域提取单元105预先保持可能存在于道路环境的物体(车辆、人等)在实空间中的大小信息，将计算出的物体候选在实空间中的大小和所存储的物体的大小信息进行比较，判断物体候选是否是可能存在于道路环境的物体。而且，在判断为物体候选为可能存在于道路环境的物体的情况下，提取相对于物体候选区域602为第一倍率(例如1.25倍)的周边区域。另外，在判断为物体候选不是可能存在于道路环境的物体的情况下，提取相对于物体候选区域602为第二倍率(例如1.5倍)的周边区域。第二倍率被设定为比第一倍率大。这是因为，在不是假定为存在于道路环境的物体的情况下(例如大的遗落物)，不是在道路环境中自主移动的物体，为防止发生碰撞，需要更高精度地进行物体检测。
此外，在上述的说明中，物体判定区域提取单元105基于物体候选区域的区域尺寸和视差值，计算了物体候选在实空间中的大小，但物体检测装置100也可以预先保持使物体候选区域的区域尺寸、距离值和物体判定区域的区域尺寸相关联的表(未图示)。这种情况下，物体判定区域提取单元105参照该表，根据物体候选区域的区域尺寸确定物体判定区域的区域尺寸。
具体而言，基于物体候选区域的区域大小和视差值，确定物体候选在实空间中的大小。例如，在物体候选在实空间中的大小在宽度为1.9m、高度为1.6m之内的情况下，将物体候选认为轿车，实空间内的周边区域的大小例如确定为宽度为2.0m、高度为2.0m，基于该实空间中的周边区域的大小和物体候选区域的视差值，唯一地确定视差图中的周边区域的区域尺寸。这样确定的物体候选区域的区域尺寸、视差值和与其相对应的物体判定区域的区域尺寸被保持于该表中。此外，这里说明了轿车的情况，但该表中对于假定为存在于道路环境的所有的物体进行确定。
此外，说明了以包含物体候选区域的周边区域的方式进行扩大而提取物体判定区域，但下端方向也可以不扩大。图11表示在物体候选区域的下端方向不设置周边区域的情况下的、物体判定区域的提取方法的说明图。图11(a)表示从视差图中提取物体判定区域的方法，图11(b)表示物体候选位置。
物体判定区域提取单元150根据视差图中的物体候选位置，设定物体判定区域的大小。物体判定区域提取单元150使物体判定区域的下端位置与物体候选区域的下端位置相同。基于通过路面估计单元130估计的路面区域上的物体候选的位置，设定物体候选区域的下端位置。这是因为，与使用基准图像中的视差计算点和参照图像中的对应点的偏差这种局部性数据估计的物体候选位置相比，基于视差图估计的路面区域的坐标信息用于估计的数据数多，因此是高精度。
这样，通过使用路面区域的位置信息设定物体判定区域的下端位置，物体候选和路面的判定中不需要的物体候选下端以下的数据减少。由此，可以高精度地判定是物体还是路面。物体候选的下端以下的数据无论物体还是路面都为相同形状，这一点会导致精度的劣化。
但是，这里，使用路面区域的坐标信息设定了物体判定区域的下端位置，但并非排除使用物体候选的坐标信息来设定物体判定区域的下端位置。
在以上的说明中，基于物体候选区域的视差值(距离值)、区域尺寸、以及预保持的表，确定了物体判定区域的区域尺寸，但也可以仅根据物体候选区域的区域尺寸来确定。这种情况下，也可以根据检测对象的物体和立体相机的距离，动态地变更物体判定区域的大小。
具体而言，在物体候选为车辆的情况下，基于立体相机和物体候选的距离，计算与车辆的一般尺寸即宽度2.0m×高度2.0m相当的区域在视差图中的大小，将其设为物体判定区域的大小。例如，对于存在于距立体相机的距离为80m的位置的车辆，提取宽度20像素×高度20像素的物体判定区域，对于存在于40m的位置的车辆，提取宽度40像素×高度40像素的物体判定区域。
[形状特征提取单元160]
形状特征提取单元160从由物体判定区域提取单元150提取的物体判定区域中，提取形状特征向量。形状特征向量是表示存在于物体判定区域的物体候选的平面性或凸性等三维形状的特征的向量。
图12(a)是表示形状特征提取单元160中的形状特征的提取方法的图。形状特征提取单元160将物体判定区域分割成格状，将各格子的视差数据代表值设为形状特征向量。这里，视差数据代表值是包含于各格子的视差数据的平均、中间值等。
图12(b)是表示形状特征向量的图。物体判定区域提取单元150将物体判定区域在图像垂直方向分割为N个格子、在图像水平方向分割为M个格子，计算以各格子区域中的视差数据代表值为要素的N×M的二维数据。而且，物体判定区域提取单元150将计算出的二维数据以一维排序，作为形状特征向量。
[物体判定单元170]
物体判定单元170从形状特征提取单元160获取提取出的形状特征向量，且从物体判定参数存储器180获取预先学习的物体判定参数。
这里，物体判定参数是含有用于将形状特征提取单元160提取的形状特征向量变换成物体或是道路面这二值的向量和阈值的数据。
图13是表示存储在物体判定参数存储器180的物体判定参数的学习方法的图。
图13(a)是表示存储在物体判定参数存储器180的物体判定参数的学习的图。通过对将从物体的视差数据中提取的形状特征向量学习用地汇集数百～数千而成的数据、以及将从处于道路面上且容易误检测的路面标示的视差数据中提取的形状特征向量学习用地汇集数百～数千而成的数据使用统计性学习方式，可计算用于判定存在于物体候选的区域的对象物是物体还是路面的物体的判定参数。而且，算出的物体判定参数被预先存储在物体判定参数存储器180中。
此外，物体判定参数的学习中，从物体的视差数据中提取形状特征向量的方法与形状特征提取单元160采用的方法相同。另外，物体判定参数的学习中，提取物体的视差数据的区域的方法也与物体判定区域提取单元150采用的方法相同。
物体判定单元170基于从形状特征提取单元160获取的形状特征向量和从物体判定参数存储器180获取的物体判定参数，判定物体候选是物体还是路面。作为学习和判定方式，可适用判别分析或SVM(SupportVectorMachine，支持向量机)等通常的方式，并不限定本发明。
在基于立体图像估计视差的情况下，图像中高频分量少的区域、即边缘或亮度变化少的区域难以估计视差，在物体判定区域内产生视差数据缺漏的区域。特别是拍摄车辆所得的图像中高频分量少的区域多，所以有时产生视差数据缺漏的区域。例如，能否估计视差数据的图案(pattern)(以下称为“视差图案”)在车辆背面以“H型”为代表。即，车辆背面的左右边缘和牌照、尾灯的区域虽然存在视差数据，但车辆中央上部、车辆中央下部由于为高频分量少的区域，所以视差数据缺漏。
在采用在存在阈值以上的、与物体候选的代表视差(例如物体候选区域中的视差的平均值)相差悬殊的视差数据情况下判定为不能检测物体候选的方式时，如车辆那样视差数据容易缺漏的物体可能会成为未检测。
本发明中，还利用视差图案，判断物体候选是物体还是路面。图14是表示在一部分区域视差数据缺漏的物体判定区域的图。这样的情况下，将物体视差数据缺漏的区域的视差值设为0进行处理。使用物体和路面标示的视差数据的物体判定参数的学习时也同样，在物体或路面标示的学习用的视差数据的一部分区域中视差数据缺漏的情况下，也将视差数据缺漏的区域的视差值设为0进行处理。
另外，由于路面的图像的高频分量也少，所以通过利用视差图案，能够进行高精度的判定。在采用基于视差的倾斜或视差的标准偏差判定是物体还是路面的方式的情况下，不能进行视差数据缺漏的区域的判定，但在本发明中，使用包含视差图案而学习的物体判定参数，因此，可进行高精度的判定。
此外，在将立体相机搭载于车辆上的情况下，因车辆的纵摇变动，在立体图像中的物体候选位置多产生上下方向的偏差。图15是用于说明使存储在物体判定参数存储器180的物体判定参数的学习与上下方向的偏差相对应的情况的图。为进行对上下方向的偏差具有鲁棒性的判定，在学习物体判定参数时使用的视差数据中，追加使下端的位置在上下10像素的范围错开的视差数据来学习。由此，能够进行对上下方向的偏差具有鲁棒性的判定。
如以上详细说明，本实施方式的物体检测装置100具备基于获取的立体图像生成视差图的视差图生成单元120和基于生成的视差图估计路面的路面估计单元130。另外，物体检测装置100具备基于生成的视差图和路面来提取在实空间中存在于路面的上侧的物体候选的位置的物体候选位置提取单元140、和从生成的视差图中提取也包含物体候选周边的区域的立体判定区域的物体判定区域提取单元150。另外，物体检测装置100具备基于物体判定区域提取物体候选的形状特征的形状特征提取单元160、和基于提取出的形状特征及预先存储在物体判定参数存储器180的物体判定参数，判定物体候选是物体还是路面的物体判定单元170。
而且，物体检测方法是，获取使用拍摄系拍摄得到的立体图像，基于立体图像生成视差图，且基于视差图估计路面。然后，基于视差图和路面，提取实空间中存在于路面的上方的物体候选的位置，从视差图中提取也包含物体候选周边的区域的物体判定区域。然后，从提取出的物体判定区域中提取物体候选的形状特征，基于形状特征和物体判定参数，判定物体候选是物体还是路面。
另外，通过将物体候选区域的周边区域也包含在内来提取物体判定区域或用于学习的视差数据，从而使用包含物体和物体的背景的图像特征，可提高判别精度。即，与仅通过物体候选区域的图像特征进行判别的情况相比，使用物体候选区域和背景区域两方进行判别的情况下，不仅因像素数的增加而判别精度提高，而且可以使用物体候选区域和背景区域的亮度值的整体性差异等进行判定，所以判定精度提高。
由此，也可以高精度地检测难以判定是物体还是路面(路面标示)的远方的物体。特别是在使用基线长度短的立体相机的情况或检测远方的物体的情况下有效。
另外，在本实施方式中，通过采用以下的结构，物体判定区域提取单元150、形状特征提取单元160及物体判定单元170具有特有的効果。
通过由物体判定区域提取单元150根据至物体候选的距离而变更提取的物体判定区域的大小，从而不需要对每个直至物体候选的距离保持物体判定参数，可以削减存储量。
另外，通过由物体判定区域提取单元150将物体候选区域的下端设为物体判定区域的下端，从而不使用在实空间中存在于物体候选的下端之下的物体的视差数据，因此，可以对物体和路面使用高精度地表现的形状特征，可以提高是物体还是路面(路面标示)的判定精度。
另外，通过由形状特征提取单元160将物体判定区域分割成格状，并将各格子的视差数据代表值设为形状特征向量，从而即使在物体判定区域中视差数据局部缺漏的情况下，也能够更鲁棒地、正确地判定是物体还是路面(路面标示)。
通过由物体判定单元170使用基于统计性学习的形状特征的学习结果进行判定，可以高精度地判定是物体还是路面(路面标示)。
通过由物体判定单元170使用学习在没有视差数据的情况下将视差值设为零的形状特征的结果，从而即使在高频分量少的车辆或路面等中，视差数据发生缺漏的情况下，也能够高精度地判定是物体还是道路面(路面标示)。
通过由物体判定单元170在学习物体判定参数时多使用在上下方向错开的区域的视差数据，从而即使在纵摇变动大的车载环境下，也能够高精度地判定是物体还是道路面(路面标示)。
(实施方式2)
图16是表示本发明实施方式2的物体检测装置的形状特征提取单元中的、基于相关特征的提取方法的图。
本实施方式的形状特征提取单元取代图2的物体检测装置100的形状特征提取单元160而被使用。本发明实施方式2的物体检测装置的基本结构及动作与实施方式1相同。
图16(a)是表示相关特征的提取方法的图，图16(b)是表示基于相关特征的形状特征向量的图。如图16所示，本实施方式的形状特征提取单元将物体判定区域分割成格状，基于各格子的视差数据代表值的相关值，生成形状特征向量。
首先，形状特征提取单元将物体判定区域在图像垂直方向分割成N个格，在图像水平方向分割成M个格，计算以各格子区域中的视差数据代表值为各要素的N×M的二维排列数据。然后，形状特征提取单元160提取相关特征，生成形状特征向量。相关特征基于在将各格子的视差数据代表值根据规定的阈值2值化而成的N×M的二维排列数据中，存在例如L个3×3的相关特征提取用比特图案1601的数量等求出。
另外，基于从物体的学习用视差数据中提取出的相关特征，也计算存储在物体判定参数存储器的物体判定参数。
这样，根据本实施方式，物体检测装置的形状特征提取单元通过将物体判定区域分割成格状，并将基于各格子的视差数据代表值的相关值的形状特征设为形状特征向量，可以提取表示视差数据的相关性的形状特征。因此，可以提取对于物体判定区域的偏差更鲁棒的形状特征，可以更高精度地判定是物体还是路面(路面标示)。
此外，作为形状特征向量的各要素使用了各格子区域中的视差数据的平均，但不限定本发明，通过使用视差数据的中间值等也可以实现。
以上的说明是本发明的优选的实施方式的例证，本发明的范围不限于此。
例如，上述各实施方式中，也可以进行与其它信息提示方式例如声音或音频信息、振动等组合的提示。
此外，构成上述物体检测装置的各结构单元、例如立体图像获取单元的种类、视差图生成单元的估计方法等不限于上述的实施方式。
以上说明的物体检测方法也可以通过用于使该物体检测方法发挥作用的程序实现。
该程序被存储在可由计算机读取的存储介质中。
工业实用性
本发明的物体检测装置及物体检测方法具有可以使用立体图像来检测难以判定是物体还是路面(路面标示)的存在于远方的物体的功能，作为先行车辆跟踪辅助等很有用。

Claims (12)

1.物体检测装置，检测立体图像中包含的路面上的物体，该装置包括：
视差图生成单元，基于所述立体图像生成视差图；
路面估计单元，基于所述视差图估计路面区域；
物体候选位置提取单元，从所述视差图中提取存在于所述路面区域的上方的视差数据组，作为物体候选存在的区域即物体候选区域，所述物体候选是在所述立体图像中拍摄了可能是物体的部分；
物体判定区域提取单元，从所述视差图中提取包含所述物体候选区域且具有比所述物体候选区域的宽度宽规定倍率的宽度的物体判定区域；
形状特征提取单元，提取所述物体判定区域的形状特征；以及
物体判定单元，基于所述形状特征，判定物体候选是物体还是路面。
2.如权利要求1所述的物体检测装置，
还包括：使物体候选区域的区域尺寸及视差值与物体判定区域的区域尺寸相关联的表，
物体判定区域提取单元基于所述表和所述物体候选区域的区域尺寸，从所述视差图中提取所述物体判定区域。
3.如权利要求1所述的物体检测装置，
所述物体判定区域提取单元基于所述物体候选区域的视差值及区域尺寸，计算所述物体候选区域在实空间中的大小，并基于计算出的所述物体候选区域在实空间中的大小和预先保持的、可能存在于道路环境的物体在实空间中的大小信息，判断所述物体候选是否是可能存在于道路环境的物体，在判断为所述物体候选为可能存在于道路环境的物体的情况下，提取将所述规定的倍率设为第一倍率的物体判定区域，而在判断为所述物体候选不是可能存在于道路环境的物体的情况下，提取将所述规定的倍率设为第二倍率的物体判定区域。
4.如权利要求3所述的物体检测装置，
所述第一倍率比所述第二倍率小。
5.如权利要求1所述的物体检测装置，
所述物体判定区域的下端和所述物体候选区域的下端一致。
6.如权利要求1所述的物体检测装置，
所述规定的倍率是基于从拍摄所述立体图像的立体相机至所述物体候选的距离确定的。
7.如权利要求1所述的物体检测装置，
所述形状特征提取单元将物体判定区域分割为格状，且基于各格子的视差数据代表值，生成形状特征向量。
8.如权利要求1所述的物体检测装置，
所述形状特征提取单元将物体判定区域分割为格状，且基于各格子的视差数据代表值的相关值，生成形状特征向量。
9.如权利要求1所述的物体检测装置，
所述物体判定单元使用基于统计性学习的学习结果进行判定。
10.如权利要求1所述的物体检测装置，
所述物体判定单元在所述物体判定区域中包含视差数据缺漏的区域的情况下，将视差值设为零进行判定。
11.如权利要求9所述的物体检测装置，
所述物体判定单元使用学习了上下方向的偏差的结果进行判定。
12.物体检测方法，检测立体图像中包含的路面上的物体，该方法包括如下步骤：
视差图生成单元基于所述立体图像生成视差图；
路面估计单元基于所述视差图估计路面区域；
物体候选位置提取单元从所述视差图中提取存在于所述路面区域的上方的视差数据组，作为物体候选存在的区域即物体候选区域，所述物体候选是在所述立体图像中拍摄了可能是物体的部分；
物体判定区域提取单元从所述视差图中提取包含所述物体候选区域且具有比所述物体候选区域的宽度宽规定倍率的宽度的物体判定区域；
形状特征提取单元提取所述物体判定区域的形状特征；以及
物体判定单元基于所述形状特征，判定物体候选是物体还是路面。
CN201180038154.4A 2010-08-03 2011-08-03 物体检测装置和物体检测方法 Expired - Fee Related CN103052968B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2010174524 2010-08-03
JP2010-174524 2010-08-03
PCT/JP2011/004394 WO2012017650A1 (ja) 2010-08-03 2011-08-03 物体検出装置、物体検出方法及びプログラム

Publications (2)

Publication Number Publication Date
CN103052968A CN103052968A (zh) 2013-04-17
CN103052968B true CN103052968B (zh) 2016-03-02

Family

ID=45559171

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180038154.4A Expired - Fee Related CN103052968B (zh) 2010-08-03 2011-08-03 物体检测装置和物体检测方法

Country Status (5)

Country Link
US (1) US8867790B2 (zh)
EP (1) EP2602761A4 (zh)
JP (1) JP5870273B2 (zh)
CN (1) CN103052968B (zh)
WO (1) WO2012017650A1 (zh)

Families Citing this family (66)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103310213B (zh) * 2012-03-07 2016-05-25 株式会社理光 车辆检测方法和装置
US8923558B2 (en) * 2012-05-15 2014-12-30 Raytheon Company Moving object detection using stereo rectified images acquired from a moving aircraft
JP2013239078A (ja) * 2012-05-16 2013-11-28 Toyota Motor Corp 画像解析装置、画像解析方法、画像解析プログラム
DE102012209316A1 (de) * 2012-06-01 2013-12-05 Robert Bosch Gmbh Verfahren und Vorrichtung zum Verarbeiten von Sensordaten eines Stereosensorsystems
JP5957359B2 (ja) * 2012-10-19 2016-07-27 日立オートモティブシステムズ株式会社 ステレオ画像処理装置及びステレオ画像処理方法
JP6155609B2 (ja) * 2012-11-22 2017-07-05 株式会社リコー 視差算出装置及びプログラム
CN103871042B (zh) * 2012-12-12 2016-12-07 株式会社理光 基于视差图的视差方向上连续型物体检测方法和装置
WO2014096398A1 (en) 2012-12-21 2014-06-26 Institute Of Technology Blanchardstown System and method for multiline retroreflection measurement of road markings
JP6194604B2 (ja) * 2013-03-15 2017-09-13 株式会社リコー 認識装置、車両及びコンピュータが実行可能なプログラム
CN104252707B (zh) * 2013-06-27 2017-06-06 株式会社理光 对象检测方法和装置
CN104284172A (zh) * 2013-07-04 2015-01-14 联咏科技股份有限公司 影像匹配方法及立体匹配***
CN104299219A (zh) * 2013-07-19 2015-01-21 株式会社理光 物体检测方法和装置
JP6398347B2 (ja) * 2013-08-15 2018-10-03 株式会社リコー 画像処理装置、認識対象物検出方法、認識対象物検出プログラム、および、移動体制御システム
JP5799273B2 (ja) * 2013-10-02 2015-10-21 パナソニックＩｐマネジメント株式会社 寸法計測装置、寸法計測方法、寸法計測システム、プログラム
KR101551026B1 (ko) 2013-12-24 2015-09-07 현대자동차주식회사 차량 검출 방법
JP5999127B2 (ja) * 2014-03-12 2016-09-28 トヨタ自動車株式会社 画像処理装置
JP2015184929A (ja) * 2014-03-24 2015-10-22 株式会社東芝 立体物検出装置、立体物検出方法、および立体物検出プログラム
JP2015194791A (ja) * 2014-03-31 2015-11-05 日本電気株式会社 Ｐｏｓ端末装置
JP6519262B2 (ja) 2014-04-10 2019-05-29 株式会社リコー 立体物検出装置、立体物検出方法、立体物検出プログラム、及び移動体機器制御システム
JP6648411B2 (ja) * 2014-05-19 2020-02-14 株式会社リコー 処理装置、処理システム、処理プログラム及び処理方法
KR101566910B1 (ko) * 2014-07-09 2015-11-13 현대모비스 주식회사 차량 운전 보조 장치 및 그 동작 방법
JP6550881B2 (ja) * 2014-07-14 2019-07-31 株式会社リコー 立体物検出装置、立体物検出方法、立体物検出プログラム、及び移動体機器制御システム
KR101601104B1 (ko) * 2014-09-22 2016-03-08 현대자동차주식회사 G센서를 이용한 도로 구배 연산 장치 및 방법
JP6511283B2 (ja) 2015-02-12 2019-05-15 日立オートモティブシステムズ株式会社 物体検知装置
JP2016206774A (ja) * 2015-04-17 2016-12-08 トヨタ自動車株式会社 立体物検出装置及び立体物検出方法
KR102359083B1 (ko) * 2015-06-02 2022-02-08 에스케이하이닉스 주식회사 움직이는 객체 검출 장치 및 방법
EP3115933B1 (en) 2015-07-07 2021-03-17 Ricoh Company, Ltd. Image processing device, image capturing device, mobile body control system, image processing method, and computer-readable recording medium
JP6649054B2 (ja) * 2015-11-19 2020-02-19 アイシン精機株式会社 移動体
KR102507248B1 (ko) * 2015-12-02 2023-03-06 에스케이하이닉스 주식회사 에고모션 추정 시스템 및 방법
JP6657934B2 (ja) * 2015-12-25 2020-03-04 トヨタ自動車株式会社 物体検出装置
CN106954036A (zh) * 2016-01-07 2017-07-14 宁波舜宇光电信息有限公司 基于3d深度视觉的监控***和监控路灯及其监控方法
JP6647094B2 (ja) * 2016-03-16 2020-02-14 株式会社ミツトヨ 表面性状測定機用のパートプログラム生成装置
WO2017159056A1 (ja) 2016-03-17 2017-09-21 株式会社リコー 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム
CN107368837B (zh) * 2016-05-13 2020-08-04 株式会社理光 对象检测方法和对象检测装置
JP6256531B2 (ja) * 2016-06-10 2018-01-10 三菱電機株式会社 物体認識処理装置、物体認識処理方法および自動運転システム
WO2018064703A1 (en) * 2016-10-07 2018-04-12 Cmte Development Limited System and method for point cloud diagnostic testing of object form and pose
EP3324336B1 (en) 2016-11-18 2024-06-26 Ricoh Company, Ltd. Information processing device, information processing method, and carrier means
EP3324337A1 (en) 2016-11-18 2018-05-23 Ricoh Company Ltd. Information processing device, information processing method, and carrier means
JP6992356B2 (ja) * 2016-11-25 2022-01-13 株式会社リコー 情報処理装置、撮像装置、機器制御システム、移動体、情報処理方法およびプログラム
JP6654999B2 (ja) 2016-12-12 2020-02-26 株式会社Ｓｏｋｅｎ 物標検出装置
JP6830656B2 (ja) * 2017-03-30 2021-02-17 株式会社エクォス・リサーチ 対象物判定装置および対象物判定プログラム
CN106971398A (zh) * 2017-05-11 2017-07-21 南宁市正祥科技有限公司 融合图像边缘和区域特征的道路检测方法
US11380005B2 (en) * 2017-05-19 2022-07-05 Movidius Limited Methods, systems and apparatus to optimize pipeline execution
US10554957B2 (en) * 2017-06-04 2020-02-04 Google Llc Learning-based matching for active stereo systems
CN107341454B (zh) * 2017-06-21 2019-12-27 海信集团有限公司 一种场景中障碍物的检测方法及装置、电子设备
CN107356916B (zh) * 2017-06-21 2019-11-29 海信集团有限公司 车距检测方法及装置、电子设备、计算机可读存储介质
CN107977649B (zh) * 2017-12-21 2020-02-07 海信集团有限公司 一种障碍物识别方法、装置及终端
US11202055B2 (en) * 2018-02-28 2021-12-14 Blackberry Limited Rapid ground-plane discrimination in stereoscopic images
US11126199B2 (en) * 2018-04-16 2021-09-21 Baidu Usa Llc Learning based speed planner for autonomous driving vehicles
CN110633600B (zh) * 2018-06-21 2023-04-25 海信集团有限公司 一种障碍物检测方法及装置
JP7134780B2 (ja) * 2018-08-13 2022-09-12 日立Astemo株式会社 ステレオカメラ装置
JP7258905B2 (ja) * 2018-09-14 2023-04-17 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 判定方法、及び判定装置
CN109600546A (zh) * 2018-11-26 2019-04-09 维沃移动通信（杭州）有限公司 一种图像识别方法及移动终端
CN109849788B (zh) * 2018-12-29 2021-07-27 北京七鑫易维信息技术有限公司 信息提供方法、装置及***
WO2020144218A1 (en) * 2019-01-09 2020-07-16 Trinamix Gmbh Detector for determining a position of at least one object
US11373532B2 (en) * 2019-02-01 2022-06-28 Hitachi Astemo, Ltd. Pothole detection system
JP7188240B2 (ja) 2019-04-01 2022-12-13 オムロン株式会社 人検出装置および人検出方法
JP7258632B2 (ja) * 2019-04-10 2023-04-17 日立Astemo株式会社 物体検出装置
JP7229129B2 (ja) * 2019-09-05 2023-02-27 京セラ株式会社 物体検出装置、物体検出システム、移動体及び物体検出方法
DE102019213533A1 (de) * 2019-09-05 2021-03-11 Zf Friedrichshafen Ag Vorrichtung zum Anpassen einer Fahrstrategie eines Fahrzeugs
US11361543B2 (en) 2019-12-10 2022-06-14 Caterpillar Inc. System and method for detecting objects
US11666195B2 (en) 2020-02-17 2023-06-06 Samsung Electronics Co., Ltd. Robot and control method thereof
JP7225149B2 (ja) * 2020-02-25 2023-02-20 日立Astemo株式会社 処理装置
DE112020005059T5 (de) * 2020-03-06 2022-07-21 Hitachi Astemo, Ltd. Verarbeitungsvorrichtung
US11840238B2 (en) * 2021-02-05 2023-12-12 Nvidia Corporation Multi-view geometry-based hazard detection for autonomous systems and applications
US11790665B2 (en) 2021-04-29 2023-10-17 Hitachi Astemo, Ltd. Data driven dynamically reconfigured disparity map

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1603071A1 (en) * 2004-06-01 2005-12-07 Fuji Jukogyo Kabushiki Kaisha Three-dimensional object recognizing system
US7046822B1 (en) * 1999-06-11 2006-05-16 Daimlerchrysler Ag Method of detecting objects within a wide range of a road vehicle
CN101567097A (zh) * 2009-06-05 2009-10-28 上海大学 基于双行视差时空图的公交车客流自动计数方法及其***

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003028635A (ja) * 2001-07-16 2003-01-29 Honda Motor Co Ltd 画像測距装置
EP1779295A4 (en) * 2004-07-26 2012-07-04 Automotive Systems Lab SYSTEM FOR PROTECTING USERS OF THE ROAD IN A DANGER SITUATION
JP4586571B2 (ja) 2005-02-25 2010-11-24 株式会社豊田中央研究所 対象物判定装置
JP4714104B2 (ja) 2006-07-31 2011-06-29 富士重工業株式会社 物体傾き検出装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7046822B1 (en) * 1999-06-11 2006-05-16 Daimlerchrysler Ag Method of detecting objects within a wide range of a road vehicle
EP1603071A1 (en) * 2004-06-01 2005-12-07 Fuji Jukogyo Kabushiki Kaisha Three-dimensional object recognizing system
CN101567097A (zh) * 2009-06-05 2009-10-28 上海大学 基于双行视差时空图的公交车客流自动计数方法及其***

Also Published As

Publication number Publication date
JP5870273B2 (ja) 2016-02-24
EP2602761A1 (en) 2013-06-12
EP2602761A4 (en) 2017-11-01
JPWO2012017650A1 (ja) 2013-10-03
WO2012017650A1 (ja) 2012-02-09
CN103052968A (zh) 2013-04-17
US8867790B2 (en) 2014-10-21
US20130129148A1 (en) 2013-05-23

Similar Documents

Publication Publication Date Title
CN103052968B (zh) 物体检测装置和物体检测方法
US11093763B2 (en) Onboard environment recognition device
Nedevschi et al. 3D lane detection system based on stereovision
CN102317954B (zh) 检测对象的方法
JP6442834B2 (ja) 路面高度形状推定方法とシステム
CN106056570B (zh) 路面坡度检测装置
Nedevschi et al. High accuracy stereovision approach for obstacle detection on non-planar roads
Broggi et al. Self-calibration of a stereo vision system for automotive applications
JP6299291B2 (ja) 道路エッジ検出方法及び道路エッジ検出装置
CN107862735B (zh) 一种基于结构信息的rgbd三维场景重建方法
Sappa et al. An efficient approach to onboard stereo vision system pose estimation
GB2317066A (en) Method of detecting objects for road vehicles using stereo images
CN103679127A (zh) 检测道路路面的可行驶区域的方法和装置
CN104200485A (zh) 一种面向视频监控的人体跟踪方法
CN112115889B (zh) 基于视觉的智能车运动目标检测方法
CN111243003B (zh) 车载双目摄像机及其检测道路限高杆的方法、装置
JP2020095623A (ja) 画像処理装置および画像処理方法
Yong-guo et al. The navigation of mobile robot based on stereo vision
JP5981284B2 (ja) 対象物検出装置、及び対象物検出方法
Saleem et al. Effects of ground manifold modeling on the accuracy of stixel calculations
JP6701905B2 (ja) 検出装置、視差値導出装置、物体認識装置、機器制御システム、およびプログラム
Jin et al. Depth-map driven planar surfaces detection
Wang et al. Robust obstacle detection based on a novel disparity calculation method and G-disparity
Sato et al. Efficient hundreds-baseline stereo by counting interest points for moving omni-directional multi-camera system
Nakashima et al. Object detection by using interframe difference algorithm

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20160127

Address after: Osaka Japan

Applicant after: PANASONIC INTELLECTUAL PROPERTY MANAGEMENT Co.,Ltd.

Address before: Osaka Japan

Applicant before: Matsushita Electric Industrial Co.,Ltd.

C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160302

Termination date: 20190803