CN105849585B - 物体识别装置 - Google Patents
物体识别装置 Download PDFInfo
- Publication number
- CN105849585B CN105849585B CN201380081838.1A CN201380081838A CN105849585B CN 105849585 B CN105849585 B CN 105849585B CN 201380081838 A CN201380081838 A CN 201380081838A CN 105849585 B CN105849585 B CN 105849585B
- Authority
- CN
- China
- Prior art keywords
- plane
- region
- supposition
- data
- domain
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000011218 segmentation Effects 0.000 claims description 26
- 238000005259 measurement Methods 0.000 claims description 11
- 238000001514 detection method Methods 0.000 abstract description 19
- 238000000034 method Methods 0.000 description 16
- 238000012545 processing Methods 0.000 description 16
- 230000008569 process Effects 0.000 description 14
- 230000000694 effects Effects 0.000 description 9
- 238000011156 evaluation Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 239000003973 paint Substances 0.000 description 5
- 230000004888 barrier function Effects 0.000 description 3
- 238000003708 edge detection Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000012552 review Methods 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 210000000162 simple eye Anatomy 0.000 description 1
- 239000004575 stone Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
- G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
- G01S13/867—Combination of radar systems with cameras
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
- G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
- G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
- G01S2013/9323—Alternative operation using light waves
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Electromagnetism (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
- Image Processing (AREA)
- Radar Systems Or Details Thereof (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Abstract
物体识别装置具有摄像机(113)与雷达(114)，从摄像机(113)的图像中检测被推测为平面的推测平面区域(S202)，计算该推测平面区域的平面方程式(S207)。然后，根据平面方程式与雷达的测定距离数据，通过插补来对推测平面区域内的距离数据进行推测(S210)，使用该距离数据来求出到物体为止的距离。由此，能够在整个推测平面区域中得到密集的距离数据，能够检测到小物体、处于远方的物体为止的距离。
Description
技术领域
本发明涉及根据雷达的测定距离数据与摄像机的图像来识别物体的物体识别装置。
背景技术
为了削减汽车的事故而提高安全性，探测障碍物并避开它或者将它通知给驾驶员的安全***的技术是重要的。另外，为了减轻驾驶员的负担并且得到更高的安全性，也要求识别路面的凹凸、高低差等的形状并探测能够行驶的区域而自动地行驶的技术。
另一方面，对于汽车，始终强烈要求降低成本，关于安全***，其低成本化也成为重要的课题。作为在汽车中搭载的物体识别装置，使用LIDAR[Light Detection AndRanging](激光雷达)、毫米波雷达等测距仪，但为了实现装置的低成本化，需要使用廉价的雷达来构成***。
廉价的雷达由于扫描线的根数少、角度分辨率也低，所以扫描位置(测定点)的间隔大，只能在离散的位置得到距离数据，难以单独使用雷达来进行物体的识别、位置探测。因此，与摄像机组合地从摄像机的图像中进行物体的识别、位置探测的***较为普遍。
例如在专利文献1中，示出使用由雷达计测出的距离数据中的、存在于包括从摄像机图像中检测到的障碍物的矩形区域内的距离数据来计算直到障碍物的距离的方法。
现有技术文献
专利文献
专利文献1：日本特开2011－145166号公报
发明内容
发明要解决的技术问题
然而，这样的方法能够应用于作为探测对象的物体的大小如前方车辆那样较大的情况，但在如路上的空罐子、石块等那样的尺寸小的物体的情况下，埋没在能够得到距离数据的雷达的扫描位置之间，存在难以得到距离信息这样的问题。另外，雷达的结构为，被搭载在车辆侧，每隔一定角度进行扫描，所以越往远方，则扫描位置的间隔越拉开，对于处于远方的物体，即使尺寸大也得不到距离数据的可能性变高。
进而，一般来说，在汽车的障碍物探测中使用的雷达的上下、左右的检测范围窄，关于在摄像机图像内的周边部映出的物体，在距离测定的范围外的情形也较多。在这样的情况下，即使在物体的尺寸大的情况下，也无法得到距离数据，例如高速行驶时的防止冲撞的控制等有可能变得困难。另外，也无法检测远方的路面状态，变成对于提高自动行驶的性能来说不适合的结构。
本发明是鉴于这样的实际状况而完成的，其目的在于，得到一种物体识别装置，该物体识别装置能够推测埋没在雷达的扫描位置之间而得不到距离数据的位置、由于在雷达的检测范围外而得不到距离数据的摄像机图像内的周边部的距离数据，在整个区域得到密集的距离数据，并且检测到小物体、处于远方的物体为止的距离。
解决技术问题的技术手段
解决上述课题的本发明的物体识别装置根据和雷达的测定距离数据和摄像机的图像来识别物体，所述物体识别装置的特征在于，具有：推测平面区域检测单元，其从所述图像中检测被推测为平面的推测平面区域；区域平面推测单元，其计算该推测平面区域的平面方程式；以及距离数据插补单元，其根据该平面方程式与所述测定距离数据，对所述推测平面区域内的距离数据进行插补并推测。
发明效果
根据本发明，能够在整个推测平面区域内密集地得到距离数据。因此，能够检测埋没在雷达的扫描位置之间的小物体、远方的物体，进而也能够得到处于雷达的探测范围外的位置的物体的距离信息。此外，上述以外的课题、结构和效果将通过以下的实施方式的说明而变得明确。
附图说明
图1是***结构图。
图2是整体处理流程图。
图3是区域分割的处理流程图。
图4是说明区域分割的影像图。
图5是区域结合候补提取的处理流程图。
图6是平面方程式评价和区域再分割的详细处理流程图。
图7是基于测定数据的区域再分割的处理流程图。
图8是基于测定数据的区域的再分割的说明图。
图9是距离数据插补的说明图
具体实施方式
接下来，利用附图，在下面说明本发明的实施方式。
本实施方式的物体识别装置搭载在车辆中，根据摄像机的摄像图像与雷达的测定距离数据来识别例如前方车辆等车辆前方的物体，能够用于避开障碍物、自动行驶。
物体识别装置具有如下结构：从图像中提取至少一个以上的被推测为平面的推测平面区域，根据雷达的测定距离数据来验证该提取出的推测平面区域是否为平面，在被验证为是平面的推测平面区域中，插补推测平面区域内的测定距离数据来推测不存在测定距离数据的位置的距离，提高区域内的距离数据的范围与密度。
图1是示出本实施方式中的物体识别装置的一个例子的***结构图。
物体识别装置如图1所示，具有摄像机113、雷达114、推测平面区域检测单元101、区域平面推测单元102、距离数据插补单元103、距离数据存储单元118、物体区域检测单元115、距离数据选择单元116和物体距离计算单元117。
例如，摄像机113使用CCD、CMOS等单眼摄像机，雷达114，使用激光测距仪。摄像机113与雷达114朝向车辆前方地配置。物体识别装置的摄像机113与雷达114以外的单元通过例如ECU等硬件、在硬件中安装了的软件而在功能上实现。在本实施方式中，以物体识别装置具有摄像机113与雷达114的情况为例进行说明，但也可以做成不包括摄像机113与雷达114而从摄像机113与雷达114分别输入信号的结构。
<推测平面区域检测单元101>
在推测平面区域检测单元101中，作为内部结构，具备阈值设定单元104、边缘检测单元106、区域分割单元105、区域结合单元107。推测平面区域检测单元101从摄像机113的图像中检测被推测为平面的推测平面区域。具体地说，根据摄像机113的图像中包括的信息，从整个区域中按被认为是由单一的平面构成的每个区域进行分割。例如，在行驶中的道路的路面、道路边的侧壁映在图像内的情况下，从整个区域中分割路面的区域与侧壁的区域而将它们分别检测为推测平面区域。
区域分割主要基于图像的亮度边缘来进行。然后，进一步地，有效利用各位置处的纹理的特征，基于图像上的各位置处的图案特征量来进行区域分割。边缘检测单元106从摄像机113的图像中检测亮度边缘。在摄像机113具有能够拍摄彩色的结构的情况下，通过针对RGB各自的值中的每个值而生成边缘，能够实现还包括了颜色信息的分割。
阈值设定单元104设定所检测到的边缘的强度或者纹理的特征量之差的阈值。区域分割单元105在边缘强度或者图案特征量有阈值以上的差异的位置处分割区域。
在本实施方式中，将由阈值设定单元104设定的阈值设定为根据整个画面的平均亮度、从图像中提取出的信息而不同的值。例如，在积雪时的道路等的情况下，整个画面的亮度高，容易产生对比度，所以期望将区域分割中使用的边缘强度的值设定得较大。另外，在越野场景中，考虑到路面、周围的障碍物都成为难以产生对比度的图像，为了能够利用亮度、纹理的细微变化来进行分割，期望将阈值设定为低的值。
区域结合单元107在从摄像机113的图像中检测到多个推测平面区域的情况下，对多个推测平面区域相互进行比较来评价相似性。然后，将被判断为相似性高于阈值的区域彼此结合而判断为是一个连续的同一平面。区域结合单元107评价由区域分割单元105分割而得到的各区域的相似性，将相似性高的区域的对进行结合。因此，只要在结合了的区域中的某一方中存在距离数据，则关于另一方，也能够通过相同的平面方程式来进行插补，所以产生能够推测宽范围的区域的距离数据的效果。此外，关于推测平面区域检测单元101的处理内容，利用后述的图4～图6的处理流程图来详细说明。
<区域平面推测单元102>
在区域平面推测单元102中，作为内部结构，具有区域平面方程式推测单元108、推测平面评价单元109、区域再分割单元110。区域平面推测单元102根据雷达的测定距离数据来验证由推测平面区域检测单元101提取出的各推测平面区域是否为平面，在推测平面区域的平面方程式与测定距离数据即三维数据之间的误差大的情况下，无法将该推测平面区域视为平面，进行推测平面区域的再分割。此外，平面方程式是指用3轴坐标来表示平面的平面的方程式。
区域平面方程式推测单元108假定为区域内的测定距离数据全部处于单一的平面上来求出平面方程式。推测平面评价单元109例如使用平面方程式与测定距离数据之间的距离等的差分值来评价平面方程式与测定距离数据的误差，评价平面方程式的推测精度。在该差分值大于规定值而被认为误差大的情况下，在区域再分割单元110中，进行进一步分割该推测平面区域的再分割。
评价这样推测出的平面方程式的精度，在误差大的情况下，通过进行推测平面区域的再分割，修正利用图像信息进行的区域分割的过或不足，可得到能够实现误差更小的距离的推测这样的效果。此外，关于区域平面推测单元102的处理内容，利用后述的图6和图7的处理流程图来详细说明。
<距离数据插补单元103>
在距离插补单元103中，作为内部结构，具有插补源数据选择单元111和距离数据插补单元112。距离插补单元103使用由区域平面推测单元102求出的各推测平面区域的平面方程式和处于推测平面区域内的位置的测定点的测定距离数据的值，插补没有测定距离数据的位置的距离来进行推测。
插补源数据选择单元111选择在进行距离的推测时使用的测定距离数据，设定以进行推测的位置为中心的预定的选择范围，选择该选择范围中包括的测定距离数据。选择范围根据推测平面区域的面的朝向来设定。
距离数据插补单元112使用选择范围中包括的测定距离数据，插补平面区域内的没有测定距离数据的位置的距离来进行推测。因此，可得到能够实现精度更高的距离推测这样的效果。由距离数据插补单元112进行插补而求出的距离数据的推测值(插补距离数据)储存在距离数据存储单元118中，在通过物体距离计算单元计算物体距离时被使用。
物体识别装置具有物体区域检测单元115、距离数据选择单元116和物体距离计算单元117。物体区域检测单元115基于摄像机113的图像来提取物体的存在区域。距离数据选择单元116从距离数据存储单元118中读出通过物体区域检测单元115提取出的物体的存在区域中包括的测定距离数据和距离的推测值。物体距离计算单元117使用从距离数据存储单元118中读出的测定距离数据和距离的推测值来计算到物体为止的距离。
图2是示出由物体识别装置实施的整个物体检测处理的流程的处理流程图。
通过开始(S201)，进行区域分割(S202)，实施阈值设定(S203)、边缘图像制作(S204)，分割(S205)的各处理。阈值设定(S203)、边缘图像制作(S204)、分割(S205)的各处理是图1所示的阈值设定单元104、边缘检测单元106、区域分割单元105中的处理。关于区域分割(S202)，利用后述的图3的处理流程图来详细说明。
在区域分割(S205)之后，进行区域结合候补提取(S206)。本处理对应于图1中叙述的区域结合单元107中的处理。在区域结合候补提取(S206)中，从已分割的区域中将被认为是由同一平面构成的区域的组进行结合。这表示图1中的区域结合单元107中的处理。
然后，在区域的平面方程式计算(S207)中，根据分割而得到的区域内的测定距离数据求出推测平面区域的平面方程式。图1的区域平面方程式推测单元108中的处理与其对应。当在步骤S207中求出平面方程式之后，使用推测平面区域内的测定距离数据，进行平面方程式评价和区域再分割(S208)。
在步骤S208中，对在步骤S207中求出的平面方程式与从测定距离数据得到的三维点的位置进行比较，对于区域内的全部数据与所求出的平面方程式是否一致进行评价。然后，在存在不一致的三维点的情况下，区域内的面不由单一的平面而由多个平面构成，或者在面中存在凹凸，无法正确地推测，所以实施推测平面区域的再分割。
在步骤S209中，判断在步骤S208中是否实施了推测平面区域的再分割，在进行了再分割的情况下，回到步骤S207，计算进行了再分割的推测平面区域的平面方程式。另一方面，在未进行再分割的情况下，由于推测平面区域无法进一步分割，所以确定推测平面区域而转移到步骤S210。在步骤S210中，使用所确定的推测平面区域的测定距离数据，插补推测平面区域内的没有测定距离数据的位置的距离进行推测。然后，在步骤S211中将插补距离数据保存到距离数据存储单元118中并结束(S212)。
图3是详细地示出图2所示的区域分割S202的处理内容的流程图。作为区域分割的处理，最初读入摄像机113的图像(S302)，进行亮度边缘图像的制作(S303)和图案特征量的计算(S306)。关于亮度边缘，进行亮度边缘强度的阈值设定(S304)，在亮度边缘为阈值以上的位置处进行区域分割(S305)。
关于图案特征量，设定图案特征量的差的阈值(S307)，在图案特征量的差为阈值以上的位置、即纹理发生变化那样的位置处进行区域分割(S308)。在步骤S309中，将根据亮度和图案特征量的值而进行了的区域分割的信息进行综合，将全部分割位置合成。因此，图像被分割成根据亮度和图案特征量而设定的推测平面区域。
在步骤S310中，求出区域内的各参数。该参数在区域结合候补提取(S206)中用于区域的相似度的判定，包括区域内的亮度、色调、图案特征量的平均值、分布等。最后，在步骤S311中保存这些分割区域信息，结束处理(S312)。
图4是区域分割的影像图。
图4所示的图像401由摄像机113拍摄而得到。图像401是在一般的道路上跟踪前方车辆地行驶的场景。示出了利用亮度边缘和图案特征量的差来进行区域的分割而被分割成图中的A区域402～N区域415的区域的例子。
其中，A区域402、B区域403、C区域404、D区域405是道路的路面。这些区域全部是同一平面，但通过作为N区域415的白线而分割成A区域402与D区域405，由于路面的一部分的亮度因侧壁的影子而下降的影响，B区域403被分割。另外，E区域406与F区域407是连续的1张侧壁面，但被前方车辆切断而成为独立的区域。
图1的区域结合单元107在这样的情形中，发挥如下作用：将是同一平面但被分割了的区域结合，作为由同一平面构成的区域而整合成一个。
作为进行结合的条件，在本实施方式中，示出以下的3个条件。
(1)在相互的区域内的平均亮度、颜色(各RGB)、图案特征量各自的差为预定的阈值(第一阈值)以下的情况下，将这些区域结合。
(2)在相互的区域内的平均亮度之差大到一定程度(大于第二阈值)但颜色(RGB的比例)、图案特征量的差极小(第二阈值以下)的情况下，将这些区域结合。
(3)关于通过白线、路面油漆而被分割了的区域，将这两方的区域和这些线的区域全部结合。
上述(1)是整体上亮度、颜色、纹理都相似而看起来是相同的面那样的情况，上述(2)是如图4所示的A区域402与B区域403那样是相同的面、且由于影子等的影响而被分割了的情况，上述(3)是在区域中存在限制速度、人行横道等路面油漆等、在外观上看起来成了不同的区域的情况。它们本来是同一平面，期望进行结合。区域结合单元107为了实现这样的情形的最优化，具有判断区域的相似性而进行结合的功能。
以下，使用图5来详细说明区域结合单元107的处理的流程。
在处理开始(S501)后，首先进行比较区域选择(S502)。区域的相似性的比较也可以针对整个区域而进行，但在本实施方式中，为了提高是同一面的可能性，在两方的区域的画面上的最短距离在预定的值的范围内的区域之间进行比较。
作为比较的处理，在区域信息的读出(S503)之后，设定关于亮度、颜色、图案特征量的第一阈值(S504)，如果分别为阈值以下(S505中的“是”)，则判断为是同一面而将比较区域进行结合(S508)。这相当于上述(1)的情况下的结合。
此处，在未一致的情况下，在步骤S506中设定第二阈值，针对亮度之差大且颜色、纹理的相似性高这样的上述(2)的情况下的结合进行判断(S507)。此处，如果与条件一致(步骤S507中的“是”)，则前进到步骤S508，进行比较区域的结合。
在步骤S507中，在差为阈值以上的情况下，不进行区域的结合，但在关注点的区域或者邻接区域是从图像中另行检测到的白线或者路面油漆的区域的情况下，相当于上述(3)的情况，所以将白线/路面油漆的区域和在两侧邻接的区域进行结合。
具体地说，在步骤S509中读入图像，进行白线/路面油漆的检测(S510)，设定亮度、颜色、图案特征量的差的第三阈值(S511)，判断亮度、颜色、图案特征量的差是否为第三阈值以下(S512)。然后，在为第三阈值以下的情况下(S512中的“是”)，将白线/路面油漆区域和两侧的区域进行结合(S513)。另一方面，在差大于第三阈值的情况下(S512中的“否”)，结束(S514)。
图6是说明区域平面推测单元102中的处理的内容的流程图。
通过开始(S601)，使用推测平面区域内的测定距离数据来进行推测平面区域的平面方程式推测(S602)。在步骤S603中，计算推测平面区域内的全部测定点的测定距离数据与由平面方程式表示的推测平面的差分，在步骤S604中判断所有数据的差分是否收敛于阈值以内。此处，在所有数据的差分收敛于阈值以内的情况下，全部测定点位于从推测平面起的阈值以下的距离内，所以该推测平面区域的平面方程式是正确的，进行确定区域的处理(S605)。
另一方面，在步骤S604中，在判断为不是所有数据的差分收敛于阈值以内的情况、即存在到推测平面为止的间隔距离超过阈值的测定距离数据的情况下，判断是否对推测平面区域进行再分割(步骤S607与步骤S608)。在步骤S607中，检查该推测平面区域是否已进行再分割，在步骤S608中，检查推测平面区域内的测定距离数据的数量是否为阈值以上。
在推测平面区域已进行再分割的情况下(步骤S607中的“是”)，不进行进一步的分割，前进到步骤S609。另外，在推测平面区域内的测定距离数据的数量少于阈值的情况下(步骤S608中的“否”)，即使在此基础上进一步进行区域的分割，也得不到平面方程式，所以前进到步骤S609。
在步骤S609中，将该区域的推测距离数据的可靠度设定得较低。可靠度被设定得较低的推测距离数据是错误的或者误差大的值的可能性高，所以在避开障碍物的控制等中不使用，可得到防止***由于错误探测而实施避开动作的效果。此外，为了求出平面方程式，需要至少3个测定距离数据，在步骤S608中，将阈值设定为4个。
当在步骤S607中判断为未完成再分割、在步骤S608中判断为推测平面区域内的测定距离数据的数量为阈值以上的情况下(步骤S608中的“是”)，变更边缘强度、图案特征量的阈值(步骤S610)，进行基于边缘强度、图案特征量的区域再分割(步骤S611)。然后，实施基于测定数据的区域再分割(S612)，将通过这些处理进行了的再分割的结果综合(S613)，关于再分割后的区域，从步骤S602起重复进行平面方程式的推测等。关于基于测定数据的区域分割S612的处理内容，利用后述的图7的处理流程图来详细说明。
这样在图6所示的区域平面推测单元102中的处理中，为了得到高精度的平面方程式，进行推测平面区域的再分割，所以在进行插补时，可得到能够高精度地进行区域内的距离的推测这样的效果。
图7是示出使用测定距离数据来对区域进行再分割的处理的内容的流程图。
在处理开始(S701)后，从图像中求出消失点(S702)。其后，假想地设置将区域内的相邻的测定数据分别连接而得到三角面片(S703)，计算各三角面片的横向和纵深方向的向高度方向的倾斜度(S704)。
图8是示出三角面片的设置的状况的说明图。在图像801内，设置将作为分割对象的推测平面区域802中包括的测定点808连接而得到三角面片，计算各面片的倾斜度。
所求的倾斜度相当于图8所示的相对于坐标的横向805和纵深方向807即相对于朝向消失点的方向的、高度方向806的变化率，即相对于横向805和纵深方向807的向上的角度。
在图8中，在开始地点，将推测平面区域802内的多个面片中的、最靠近近前侧的从中央起的面片设定为基准面片803，对该基准面片803与周边的面片的横向和纵深方向的倾斜度进行比较。然后，提取这些倾斜度的值超过阈值的面片，在该提取出的面片的中央位置处，进行区域的再分割。
在处理流程图中，在图7的步骤S705中将中央近前侧的面片的倾斜度存储为基准值，在横向和纵深方向上对倾斜度的值进行比较，将倾斜度与基准值之差为阈值以上的面片的中央位置连接而确定再分割的位置。
具体地说，检测横向的倾斜度变化的位置(S706)，以所检测到的横向位置为分界对区域进行再分割(S707)，另外，检测纵深方向的倾斜度变化的位置(S708)，以所检测到的纵深位置为分界对区域进行再分割(S709)。然后，保存区域分割信息(S710)。
图9是说明图1所示的插补源数据选择单元111的动作的说明图。
在图9中，示出了作为水平面的路面、与摄像机113的朝向相对的作为铅垂面的前方车辆的后表面、与摄像机113的朝向平行的作为铅垂面的侧壁这3个面。
在针对推测平面区域内的测定距离数据进行插补的情况下，在如前方车辆的后表面那样的与摄像机113的朝向相对的铅垂面的区域的情况下，区域内的距离数据应该全部成为相同的值。因此，在本实施例中，在与摄像机113的朝向相对的铅垂面的区域的情况下，通过插补源数据选择单元111，以关注点为中心地设定正圆形的圆形区域904，将圆形区域904内的测定距离数据选择为插补源数据。然后，通过距离数据插补单元112，插补上述插补源数据来推测关注点的距离。
另一方面，在如路面那样的水平面的区域的情况下，区域内的距离数据在横向上成为相同的值，另外在纵深方向上，值向无限远变化。因此，在本实施例中，在水平面的区域的情况下，通过插补源数据选择单元111，以关注点为中心地设定在横向上宽的椭圆形的横椭圆形区域903作为不易产生误差的区域，将横椭圆形区域903内的测定距离数据选择为插补源数据。然后，通过距离数据插补单元112，插补上述插补源数据来推测关注点的距离。
另外，在如侧壁那样的与摄像机113的朝向平行的铅垂面的区域的情况下，相对于高度方向的移动，距离不变，但在纵深方向上，值发生变化。因此，在本实施例中，在与摄像机113的朝向平行的铅垂面的区域的情况下，通过插补源数据选择单元111，以关注点为中心地设定在纵向上长的椭圆形的纵椭圆形区域905，将纵椭圆形区域905内的测定数据选择为插补源数据。然后，通过距离数据插补单元112，插补该插补源数据来推测关注点的距离。这样，通过使用适合于进行推测的区域的面的朝向的形状的区域内的测定数据来推测关注点的距离，可得到能够进行精度更高的距离推测这样的效果。
此外，在上述的实施方式中，说明了物体识别装置的结构，但也能够用作评价检测行驶中的物体的检测精度的评价装置。
以上，详细叙述了本发明的实施方式，但本发明不限定于上述的实施方式，在不脱离权利要求书所记载的本发明的精神的范围内，能够进行各种设计变更。例如，为了容易理解地说明本发明而详细说明了上述实施方式，不一定限定于具备所说明的全部结构。另外，能够将某个实施方式的结构的一部分置换为其他实施方式的结构，另外，也能够对某个实施方式的结构添加其他实施方式的结构。进而，针对各实施方式的结构的一部分，能够进行其他结构的追加、删除、置换。
符号说明
101 推测平面区域检测单元
102 区域平面推测单元
103 距离数据插补单元
104 阈值设定单元
105 区域分割单元
106 边缘检测单元
107 区域结合单元
108 区域平面方程式推测单元
109 推测平面评价单元
110 区域再分割单元
111 插补源数据选择单元
112 距离数据插补单元
113 摄像机
114 雷达
115 物体区域检测单元
116 距离数据选择单元
117 距离计算单元
118 距离数据存储单元。
Claims (6)
1.一种物体识别装置，其根据摄像机的图像与雷达的测定距离数据来识别物体，所述物体识别装置的特征在于，具有：
推测平面区域检测单元，其从所述图像中检测被推测为平面的推测平面区域；
区域平面推测单元，其计算该推测平面区域的平面方程式；以及
距离数据插补单元，其根据该平面方程式与所述测定距离数据，对所述推测平面区域内的距离数据进行插补并推测，
所述区域平面推测单元根据所述测定距离数据来判别所述推测平面区域是否为具有预先设定的基准内的平滑性的同一平面，在不是同一平面的情况下，进行将所述推测平面区域分割成多个平面区域的区域再分割。
2.根据权利要求1所述的物体识别装置，其特征在于，
使用由所述距离数据插补单元进行插补而推测出的距离数据来求出到所述物体为止的距离。
3.根据权利要求1所述的物体识别装置，其特征在于，
所述推测平面区域检测单元在从所述图像中检测到多个所述推测平面区域的情况下，对该多个推测平面区域相互进行比较并评价相似性，将被判断为相似性高于阈值的区域彼此进行结合并判断为一个连续的同一平面。
4.根据权利要求3所述的物体识别装置，其特征在于，
所述推测平面区域检测单元将所述推测平面区域的亮度、颜色、图案特征量中的至少某一个用作评价所述相似性的基准。
5.根据权利要求1所述的物体识别装置，其特征在于，
根据所述测定距离数据来确定所述推测平面区域的再分割位置。
6.根据权利要求1所述的物体识别装置，其特征在于，
所述距离数据插补单元根据所述平面区域的面的朝向来变更在计算进行推测的位置的距离数据时使用的所述测定距离数据的选择范围。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/JP2013/084953 WO2015097824A1 (ja) | 2013-12-26 | 2013-12-26 | 物体認識装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105849585A CN105849585A (zh) | 2016-08-10 |
| CN105849585B true CN105849585B (zh) | 2017-10-13 |
Family
ID=53477760
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201380081838.1A Expired - Fee Related CN105849585B (zh) | 2013-12-26 | 2013-12-26 | 物体识别装置 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US10436898B2 (zh) |
| JP (1) | JP6208260B2 (zh) |
| CN (1) | CN105849585B (zh) |
| WO (1) | WO2015097824A1 (zh) |
Families Citing this family (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10282591B2 (en) * | 2015-08-24 | 2019-05-07 | Qualcomm Incorporated | Systems and methods for depth map sampling |
| KR101913835B1 (ko) * | 2016-10-27 | 2018-10-31 | 주식회사 에스오에스랩 | 장애물 감지장치 및 감지방법 |
| JP6984215B2 (ja) | 2017-08-02 | 2021-12-17 | ソニーグループ株式会社 | 信号処理装置、および信号処理方法、プログラム、並びに移動体 |
| JP6719494B2 (ja) * | 2018-02-07 | 2020-07-08 | 直之 村上 | 追尾レーザー距離計測器の駆動計測で、３次元の数値駆動の制御機器の３次元の駆動数値を演算する方法。 |
| JP7119724B2 (ja) * | 2018-08-01 | 2022-08-17 | トヨタ自動車株式会社 | 軸ずれ検出装置及び車両 |
| CN110874926A (zh) * | 2018-08-31 | 2020-03-10 | 百度在线网络技术（北京）有限公司 | 智能路侧单元 |
| CN110874927A (zh) * | 2018-08-31 | 2020-03-10 | 百度在线网络技术（北京）有限公司 | 智能路侧单元 |
| CN109765887B (zh) * | 2018-12-21 | 2020-08-14 | 杭州翱朝科技有限公司 | 一种自动驾驶控制方法 |
| JP7260358B2 (ja) * | 2019-03-28 | 2023-04-18 | 株式会社デンソーテン | 推定装置および推定方法 |
| JP7120181B2 (ja) * | 2019-08-22 | 2022-08-17 | トヨタ自動車株式会社 | 物体認識装置 |
| JP7455545B2 (ja) * | 2019-09-30 | 2024-03-26 | キヤノン株式会社 | 情報処理装置、情報処理方法、およびプログラム |
| JP7336367B2 (ja) * | 2019-11-22 | 2023-08-31 | 株式会社Subaru | 車外環境認識装置 |
| JP2023062219A (ja) * | 2020-03-27 | 2023-05-08 | ソニーグループ株式会社 | 情報処理方法、情報処理装置及びコンピュータプログラム |
| CN113077657B (zh) * | 2021-03-30 | 2022-07-05 | 上海华兴数字科技有限公司 | 车辆间安全距离报警方法及装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1704719A (zh) * | 2004-06-02 | 2005-12-07 | 丰田自动车株式会社 | 障碍物识别装置以及障碍物识别方法 |
| CN1849527A (zh) * | 2003-09-11 | 2006-10-18 | 丰田自动车株式会社 | 物体探测***和物体探测方法 |
| CN101178437A (zh) * | 2006-11-06 | 2008-05-14 | 丰田自动车株式会社 | 物体探测***和物体探测方法 |
| CN101996403A (zh) * | 2009-08-17 | 2011-03-30 | 索尼公司 | 图像处理装置、图像处理方法以及程序 |
Family Cites Families (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE19926559A1 (de) | 1999-06-11 | 2000-12-21 | Daimler Chrysler Ag | Verfahren und Vorrichtung zur Detektion von Objekten im Umfeld eines Straßenfahrzeugs bis in große Entfernung |
| US6862537B2 (en) * | 2002-03-21 | 2005-03-01 | Ford Global Technologies Llc | Sensor fusion system architecture |
| JP3941765B2 (ja) * | 2003-09-11 | 2007-07-04 | トヨタ自動車株式会社 | 物体検出装置 |
| JP2006322856A (ja) * | 2005-05-19 | 2006-11-30 | Olympus Corp | 距離計測装置、距離計測方法および距離計測プログラム |
| EP1887382A1 (en) * | 2005-05-19 | 2008-02-13 | Olympus Corporation | Distance measuring apparatus, distance measuring method and distance measuring program |
| JP4595833B2 (ja) | 2006-02-24 | 2010-12-08 | トヨタ自動車株式会社 | 物体検出装置 |
| JP2008147978A (ja) * | 2006-12-08 | 2008-06-26 | Canon Inc | 画像処理装置およびその方法 |
| JP5541653B2 (ja) | 2009-04-23 | 2014-07-09 | キヤノン株式会社 | 撮像装置及びその制御方法 |
| JP5372680B2 (ja) | 2009-09-24 | 2013-12-18 | 日立オートモティブシステムズ株式会社 | 障害物検知装置 |
| JP2011145166A (ja) | 2010-01-14 | 2011-07-28 | Toyota Motor Corp | 車両検出装置 |
| JP2012122816A (ja) | 2010-12-07 | 2012-06-28 | Nippon Telegr & Teleph Corp <Ntt> | ３次元情報取得方法、３次元情報取得装置、および３次元情報取得プログラム |
| JP5516998B2 (ja) | 2011-06-09 | 2014-06-11 | アイシン精機株式会社 | 画像生成装置 |
| CN103609100B (zh) | 2011-06-09 | 2017-09-29 | 爱信精机株式会社 | 图像生成装置 |
| US20130080111A1 (en) * | 2011-09-23 | 2013-03-28 | Honeywell International Inc. | Systems and methods for evaluating plane similarity |
-
2013
- 2013-12-26 US US15/102,157 patent/US10436898B2/en not_active Expired - Fee Related
- 2013-12-26 JP JP2015554411A patent/JP6208260B2/ja not_active Expired - Fee Related
- 2013-12-26 CN CN201380081838.1A patent/CN105849585B/zh not_active Expired - Fee Related
- 2013-12-26 WO PCT/JP2013/084953 patent/WO2015097824A1/ja active Application Filing
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1849527A (zh) * | 2003-09-11 | 2006-10-18 | 丰田自动车株式会社 | 物体探测***和物体探测方法 |
| CN1704719A (zh) * | 2004-06-02 | 2005-12-07 | 丰田自动车株式会社 | 障碍物识别装置以及障碍物识别方法 |
| CN101178437A (zh) * | 2006-11-06 | 2008-05-14 | 丰田自动车株式会社 | 物体探测***和物体探测方法 |
| CN101996403A (zh) * | 2009-08-17 | 2011-03-30 | 索尼公司 | 图像处理装置、图像处理方法以及程序 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2015097824A1 (ja) | 2015-07-02 |
| US10436898B2 (en) | 2019-10-08 |
| JP6208260B2 (ja) | 2017-10-04 |
| JPWO2015097824A1 (ja) | 2017-03-23 |
| US20160313444A1 (en) | 2016-10-27 |
| CN105849585A (zh) | 2016-08-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105849585B (zh) | 物体识别装置 | |
| JP6606610B2 (ja) | 走路境界推定装置及びそれを用いた走行支援システム | |
| EP3188118B1 (en) | Object detecting device | |
| CN104700414B (zh) | 一种基于车载双目相机的前方道路行人快速测距方法 | |
| US6813370B1 (en) | Lane marker recognizing apparatus | |
| JP5820774B2 (ja) | 路面境界推定装置及びプログラム | |
| US20090041337A1 (en) | Image processing apparatus and method | |
| US9697421B2 (en) | Stereoscopic camera apparatus | |
| JP2015075800A (ja) | 物体検出装置及びそれを用いた車両 | |
| CN104981836B (zh) | 障碍物检测装置和障碍物检测方法 | |
| CN107491065B (zh) | 利用障碍物的地面边界信息检测物体的侧面的方法和装置 | |
| JP6038422B1 (ja) | 車両判定装置、車両判定方法及び車両判定プログラム | |
| US20180182113A1 (en) | Image processing device and image processing method | |
| JP4032843B2 (ja) | 監視システムおよび監視方法、当該監視システムにおける距離補正装置および距離補正方法 | |
| JP2007309799A (ja) | 車載測距装置 | |
| JP4067340B2 (ja) | 対象物認識装置および対象物認識方法 | |
| CN107851390A (zh) | 台阶检测装置及台阶检测方法 | |
| JP5888275B2 (ja) | 道路端検出システム、方法およびプログラム | |
| CN104252707A (zh) | 对象检测方法和装置 | |
| Oniga et al. | Curb detection based on elevation maps from dense stereo | |
| CN107851391A (zh) | 台阶检测装置及台阶检测方法 | |
| US20230069691A1 (en) | Method for detecting traffic sign using lidar sensor and traffic sign detection device performing the method | |
| JP7344744B2 (ja) | 路側端検出方法、及び、路側端検出装置 | |
| CN113874681B (zh) | 点云地图质量的评估方法和*** | |
| Huang et al. | Rear obstacle warning for reverse driving using stereo vision techniques |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20171013 |