CN110462682B - 物体检测装置以及车辆 - Google Patents

物体检测装置以及车辆 Download PDF

Info

Publication number
CN110462682B
CN110462682B CN201780088885.7A CN201780088885A CN110462682B CN 110462682 B CN110462682 B CN 110462682B CN 201780088885 A CN201780088885 A CN 201780088885A CN 110462682 B CN110462682 B CN 110462682B
Authority
CN
China
Prior art keywords
road surface
surface parameter
vehicle
parameter
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780088885.7A
Other languages
English (en)
Other versions
CN110462682A (zh
Inventor
渡边信太郎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of CN110462682A publication Critical patent/CN110462682A/zh
Application granted granted Critical
Publication of CN110462682B publication Critical patent/CN110462682B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/536—Depth or shape recovery from perspective effects, e.g. by using vanishing points
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)
  • Image Processing (AREA)

Abstract

一种基于车辆上的立体照相机的影像而检测物体的物体检测装置具备视差运算部、第一路面参数推断部、路面参数累积部、第二路面参数推断部和物体检测部。视差运算部对影像中的场景的三维信息进行运算。第一路面参数推断部基于三维信息计算第一路面参数。路面参数累积部将第一路面参数和车辆信息关联起来累积。第二路面参数推断部基于由路面参数累积部累积的车辆信息以及第一路面参数，使用与车辆相关的规定条件下的第一路面参数，计算第二路面参数。物体检测部使用第二路面参数检测物体。规定条件包含由立体照相机观测到的路面与观测时的车辆的接地面之间的角度差在规定角度以内。

Description

物体检测装置以及车辆
技术领域
本发明涉及一种使用搭载于车辆等移动体的立体照相机检测障碍物等物体的物体检测装置以及车辆。
背景技术
为了使用车辆上的立体照相机准确地求出车辆周边的场景中的景深等三维信息，需要准确地掌握所设置的立体照相机的位置关系。由于这样的位置关系因车辆行驶引起的振动、随时间变迁引起的固定的松动等而逐渐偏离，因此提出了自动进行对立体照相机的位置偏离的校准的技术(例如专利文献1)。
专利文献1公开了基于光流进行立体照相机的照相机参数的校正的校正方法。在专利文献1中，在车辆等行驶时使用立体照相机将路面相对于照相机的俯仰方向的倾斜角作为参数求出，并且求出关于路面上的点的帧间的移动量、即光流。在专利文献1中，基于求出的各量与帧间的本车辆的移动量之间的关系计算在立体照相机产生的视差偏移的偏离，从而进行立体照相机的校正。
现有技术文献
专利文献
专利文献1：日本特开2009-182879号公报
非专利文献
非专利文献1：“A flexible new technique for camera calibration”，IEEETransactions on Pattern Analysis and Machine Intelligence,22(11):1330-1334,2000
非专利文献2：徐刚著“三维视觉”共立出版,1998年
非专利文献3：“Mean shift：A robust approach toward feature spaceanalysis”，IEEE Trans.on PAMI,2002
非专利文献4：“Use of the Hough Transformation to Detect Lines andCurves in Pictures”，Comm.ACM,Vol.15,pp.11-15
发明内容
本发明的目的在于提供一种物体检测装置，在使用搭载于车辆的立体照相机的物体检测装置中，能够精度良好地进行对立体照相机的位置偏离的校准。
本发明的物体检测装置基于车辆上的立体照相机的影像而检测物体。物体检测装置具备视差运算部、第一路面参数推断部、路面参数累积部、第二路面参数推断部和物体检测部。视差运算部对影像中的场景的三维信息进行运算。第一路面参数推断部基于三维信息计算表示车辆所行驶的路面与立体照相机之间的距离的第一路面参数。路面参数累积部将第一路面参数和与车辆的行驶状态相关的车辆信息关联起来累积。第二路面参数推断部基于由路面参数累积部累积的车辆信息以及第一路面参数，使用与车辆相关的规定条件下的第一路面参数，计算第二路面参数。物体检测部使用第二路面参数检测物体。规定条件包含由立体照相机观测到的路面与观测时的车辆的接地面之间的角度差在规定角度以内。
发明效果
根据本发明的物体检测装置，使用车辆的行驶状态在规定条件下计算出的第一路面参数而计算第二路面参数。由此，能够精度良好地进行对搭载于车辆的立体照相机的位置偏离的校准。
附图说明
图1是示出实施方式1的车辆的整体结构的图。
图2是示出实施方式1的物体检测装置的结构的框图。
图3是用于说明立体照相机的测定原理的图。
图4是示出视差运算部的处理的流程图。
图5是用于说明立体照相机的图像平行化修正的图。
图6是示出第一路面参数推断部的处理的流程图。
图7是示出第二路面参数推断部的处理的流程图。
图8是用于说明在有坡度变化的路面行驶的状态的图。
图9是示出修正参数运算部的处理的流程图。
图10是用于说明在没有坡度变化的道路直行中的路面的外观的图。
图11是示出物体检测部的处理的流程图。
图12是示出实施方式2的物体检测装置的结构的框图。
图13是示出白线消失点检测部的处理的流程图。
图14是示出车道形状检测部的处理的流程图。
图15是示出实施方式3的物体检测装置的结构的框图。
图16是示出拍摄环境识别部的处理的流程图。
图17是示出实施方式4的物体检测装置的结构的框图。
具体实施方式
以下，一边参照附图一边对本发明的实施方式详细进行说明。另外，标注同一标记的部分为相同或与其相当的部分，该情况在说明书全文中通用。
(本申请发明人的考察)
在说明本发明的具体实施方式之前，以下对本发明申请人对于使用立体照相机的物体检测装置的考察进行说明。
基于构成立体照相机的各照相机的畸变、焦距这样的照相机内部参数和表示两台照相机间的位置关系的照相机外部参数，求出包含立体照相机的场景的景深的三维信息。因此，在将立体照相机搭载于车辆而出厂时，通过搭载有形状和尺寸已知的模式的两台照相机进行拍摄，测定上述参数。
但是上述参数之中、特别是照相机外部参数因行驶引起的振动、随时间变迁引起的固定的松动而逐渐偏离。当产生这样的位置偏离时，由于不能正确得到场景景深，因此要求自动进行立体照相机中的照相机外部参数的校准的技术。
上述照相机外部参数由后述的平移向量和旋转矩阵表示，照相机外部参数的校准可划分为第一工序和第二工序，该第一工序求出平移向量的朝向以及旋转矩阵，该第二工序求出平移向量的长度、即尺度。通过得到多个在各照相机的拍摄图像间映现同一物体的点对，能够实施第一工序。另一方面，第二工序将在场景内能够掌握尺度的特定对象作为基准使用，因此需要适当设定这样的尺度基准。本发明申请人对精度良好地进行第二工序的方法反复进行了深入研究。
本发明申请人对以往技术的课题如以下那样进行了研究。在专利文献1等在先示例中，求出由立体照相机求出的路面的三维信息和通过一台照相机的帧间的移动前后的对应关联(所谓的运动立体)求出的路面的三维信息，将由后者求出的三维信息作为尺度基准进行前者的立体照相机的校正。
由上述立体照相机求出的路面的三维信息的精度依赖于帧间的照相机移动量的精度。在先示例从车速信息计算照相机的移动量。一般的机制是从与车轮的旋转同步地产生的车速脉冲求出车辆的车速，但认为如以下那样难以根据该机制充分高精度地求出车速。
即，通常车载立体照相机的照相机间距离以十几厘米～几十厘米构成，估计立体照相机随时间变迁的偏离量至多在几厘米以下。为了以运动立体为基准修正该偏离量，需要以1％以下的误差求出帧间的照相机移动量，但通过如上述那样基于车速脉冲的机制，认为以这样的高精度求出照相机移动量是极其困难的。
此外，不论是在使用两台照相机的立体测距中，还是在基于一台照相机的移动量的立体测距中，三维位置的计算均基于以下测定原理。即，基于如下原理：求出两个视点的位置和相对于从该视点观察到的对象的角度，设想从各个视点向对象方向的角度延伸的直线，求出设想的直线间的交点，从而求出对象的三维位置。
已知基于上述原理，因此关于连结两个视点的直线上的对象，从各个视点向对象方向的角度延伸的直线变为同一直线，无法确定交点，不能求出三维位置。关于连结两个视点的直线旁边的区域，也同样地从两个视点向对象方向的角度延伸的各直线大致平行，只要对象方向的角度产生稍许误差，则交点会大幅偏离。因此可知这样的区域是难以精度良好地计算三维信息的区域。
在此，当设想朝向前方设置有照相机的车辆在直线道路前进的情况下，伴随着车辆的前进，照相机也前进。此时，当将连结在帧间移动的照相机的两个视点的线延长时，会与前方的直线道路重合。如上所述，在立体测距的原理上，难以精度良好地求出与连结两个视点的线接近的区域的三维信息。因此，认为难以从原理上精度良好地得到通过一台照相机的帧间的移动前后的对应关系求出的路面的三维信息。
根据以上两个理由，认为难以以运动立体的三维信息为基准进行立体照相机的校正。本发明申请人进行了深入研究，结果设计出一种从车辆的行驶场景中精度良好地取得用于修正立体照相机间的距离的尺度基准并自动进行校准的物体检测装置。以下对本发明的物体检测装置的具体实施方式进行说明。
实施方式1
以下对实施方式1的物体检测装置以及具备物体检测装置的车辆进行说明。
1.结构
使用图1对本实施方式的物体检测装置以及车辆的结构进行说明。图1是示出本实施方式的车辆101的整体结构的图。在图1中，将从车辆101观察到的景深方向作为z方向，将铅垂方向作为y方向，将与z、y方向正交的车辆101的宽度方向作为x方向。此外，也存在将+x方向称为左方，将-x方向称为右方，将+y方向称为上方，将-y方向称为下方，将+z方向称为前方，以及将-z方向称为后方的情况。
车辆101搭载本实施方式的物体检测装置。如图1所示，车辆101具备立体照相机102、偏航速率传感器103、俯仰速率传感器104、车速传感器105、运算装置106和显示装置107。各传感器103、104、105分别是检测与车辆101的移动状态相关的车辆信息的车辆信息检测部的一例。
立体照相机102包括两台照相机102a、102b。两台照相机102a、102b作为例如在车辆101的左右方向(x方向)上排列的左照相机102a和右照相机102b，以彼此的光轴平行的方式配置。两台照相机102a、102b能够彼此同步地拍摄影像。
在本实施方式中，将立体照相机102设置于车辆101前方的前玻璃附近，能够通过左右各个照相机102a、102b拍摄车辆101前方的路面。只是上述那样的立体照相机的结构只是一例，只要两台照相机能够共享视野，则可以不是平行，也可以相对于车辆不是朝向前方。
偏航速率传感器103是用于检测车辆101的绕铅垂轴(y轴)的旋转角速度(偏航速率)的传感器。偏航速率传感器103在车辆101中以与y轴平行的方式搭载。
俯仰速率传感器104是用于检测车辆101的左右方向(x方向)的绕轴的旋转角速度(俯仰速率)的传感器。俯仰速率传感器104在车辆101中以与x轴平行的方式被搭载。
车速传感器105是与车辆101的车轴的转速成比例地产生脉冲信号的装置，能够从车轮直径和脉冲数计算车速。
运算装置106是包括CPU、RAM、ROM等的装置。运算装置106还可以具备闪存等内部存储器。运算装置106的CPU将储存于ROM等的数据以及程序读出到RAM等而进行各种运算处理，实现各种功能。
例如运算装置106输入立体照相机102的影像信号、偏航速率传感器103的偏航速率信号、俯仰速率传感器104的俯仰速率信号、车速传感器105的车速信号，并进行各种簿图像处理，从而检测车辆101前方的物体，并将检测结果的物体信息输出到显示装置107。运算装置106是本实施方式的物体检测装置的一例。关于用于运算装置106作为物体检测装置发挥功能的结构的详细情况将后述。
显示装置107例如由液晶显示器或有机EL显示器构成。显示装置107显示包含来自运算装置106的物体信息的各种信息。
以下使用图2对运算装置106的结构的详细情况进行说明。图2是示出本实施方式的作为物体检测装置的运算装置106的结构的框图。
如图2所示，运算装置106具备视差运算部203、第一路面参数推断部204、路面参数累积部205和第二路面参数推断部208。进而，运算装置106具备修正参数运算部209、初始设定时路面参数存储部210、修正参数反映部211、修正完毕参数存储部220和物体检测部212。上述各功能部在运算装置106中例如通过软件和硬件的协作而实现。
向运算装置106输入由立体照相机102的左右照相机102a、102b(图1)拍摄的左右照相机的影像和车速、偏航速率等车辆信息206。由图1的偏航速率传感器103、俯仰速率传感器104以及车速传感器105取得车辆信息206。
视差运算部203针对由立体照相机102拍摄的左右照相机的影像的各像素计算视差，从而求出各点的三维位置(详细情况后述)。通过辉度差的绝对值之和等来评价与在左照相机的影像和右照相机的影像中在哪个像素映现有同一对象相关的局部图像的类似度，并探索类似度最高的点，从而能够求出视差。
第一路面参数推断部204将从立体照相机102的照相机的投影中心向路面下垂的垂线长度作为路面参数求出(详细情况后述)。能够认为只要照相机的位置不大幅偏离，则路面相对于照相机的位置位于与初始设定时几乎相同的位置。根据该情况，对初始设定时的路面设定上下具有宽度的区域，提取位于其中的点的三维位置，能够基于具有最多该点群的平面求出路面参数。
路面参数累积部205包括RAM等，将由第一路面参数推断部204求出的路面参数(第一路面参数)和车辆信息206关联起来记录。
第二路面参数推断部208基于累积于路面参数累积部205的车辆信息206，提取符合后述的规定条件的路面参数。将此时提取的路面参数基于车速、偏航速率、俯仰速率设定为视为车辆101在没有坡度变化、不弯曲的路面行驶时得到的参数。进而，第二路面参数推断部208对提取出的路面参数如后述那样进行统计处理，从而求出没有坡度变化时的路面参数(第二路面参数)。
修正参数运算部209将由第二路面参数推断部208求出的路面参数与存储于初始设定时路面参数存储部210的路面参数进行比较，从而计算左右照相机间的位置姿态的修正量(详细情况后述)。初始设定时路面参数存储部210例如包括ROM，将初始设定时的路面参数作为比较基准进行存储。
在修正参数反映部211，将由修正参数运算部209计算出的修正量记录于修正完毕参数存储部220，从而进行反映。修正完毕参数存储部220包括例如运算装置106的内部存储器。
在物体检测部212，使用由修正参数反映部211修正过的参数，将由视差运算部203求出的视差变换为三维信息，并根据其分布在路面中找出具有高度的块，从而检测物体(详细情况后述)。
2.动作
以下对本实施方式的物体检测装置的动作进行说明。
2-1.动作概要
在本实施方式中，车辆101(图1)一边由所搭载的立体照相机102拍摄周边的场景，一边在路面行驶。车辆101中的作为物体检测装置发挥功能的运算装置106在视差运算部203(图2)中对立体照相机102的拍摄图像进行图像解析，生成场景的三维信息，在物体检测部212中检测路面上的障碍物等物体。与这样的物体检测动作一起，运算装置106进行用于决定立体照相机102的校准中的尺度基准的运算处理。
具体而言，首先，运算装置106在第一路面参数推断部204中依次计算对从立体照相机102得到的拍摄图像中的路面的第一路面参数。根据在有起伏或坡度变化等的各种路面行驶时的拍摄图像计算第一路面参数。在本实施方式中，使用各种传感器103～105取得与在这样的路面行驶的车辆101的移动状态相关的车辆信息206，在路面参数累积部205中将车辆信息206和第一路面参数关联起来累积。
运算装置106的第二路面参数推断部208使用在累积的第一路面参数之中被认为车辆101在没有坡度变化的路面直行中得到的第一路面参数，计算第二路面参数。第二路面参数成为比坡度变化或弯曲的行驶时的第一路面参数更高精度的尺度基准，能够精度良好地进行立体照相机102的校准。
通过修正参数运算部209进行使用第二路面参数的校准，通过修正参数反映部211将校准结果记录于修正完毕参数存储部220。物体检测部212使用基于立体照相机102的实时拍摄图像的信息和修正完毕的参数，能够精度良好地检测场景中的物体等的位置。
以下对本实施方式的物体检测装置的动作的详细情况进行说明。
2-2.关于立体照相机的测定原理
在本实施方式中，通过平行立体法进行使用立体照相机102的三维信息的测定。使用图3对立体照相机102的三维信息的测定原理进行说明。
在图3中，使用针孔模型示意性地示出立体照相机102的左右照相机102a、102b。左照相机102a具有摄像面503和从摄像面503的中心隔开焦距f的间隔的投影中心501。右照相机102b具有摄像面504和从摄像面504的中心隔开焦距f的间隔的投影中心501。
如图3所示，平行立体法在以使左照相机102a的摄像面503与右照相机102b的摄像面504平行的方式设定的状态下进行三维信息的测定。
在由立体照相机102拍摄测量对象505时，该对象505在左照相机102a中被摄像到摄像面503上的点506，并且在右照相机102b中被摄像到摄像面504上的点507。例如基于左照相机102a的摄像面503上的点506的坐标，计算测量对象505的二维坐标。点506位于连结左照相机102a的投影中心501和测量对象505的线508贯穿左照相机102a的摄像面503的位置。
在此，相对于测量对象505的视差d被规定为点510与点507之间的距离，该点510是与上述线508平行并且通过右照相机102b的投影中心502的线509穿过右照相机102b的摄像面504的点，该点507是该对象505实际上被右照相机102b摄像的点。使用视差d，通过下式计算从立体照相机102(例如左照相机102a的投影中心501)到测量对象505的距离Z。
Z＝f·D/d……(1)
在上式(1)中，基线长度D被规定为左照相机102a的投影中心501与右照相机102b的投影中心502之间的间隔长度。
2-3.关于视差运算部
使用图4对基于以上那样的测定原理进行动作的视差运算部203的动作进行说明。图4是示出视差运算部203的处理的流程图。
通过作为视差运算部203发挥功能的运算装置106，例如以规定的周期(例如1/30秒)来执行图4所示的流程图。
首先，视差运算部203通过将由立体照相机102的左右照相机102a、102b拍摄的图像作为输入的畸变修正变换以及平面变换，进行用于应用平行立体法(图3)的平行化变换(S301)。
步骤S301的处理是针对左右照相机102a、102b的朝向差异，以使左照相机102a的左图像和右照相机102b的右图像平行化的方式进行修正的处理(参照图5)。步骤S301的详细情况后述。
接下来，视差运算部203进行基于平行立体法的图像处理，对立体照相机102的图像中的所有点的视差d(图3)进行运算(S302)。
在步骤S302中，视差运算部203例如为了求出左图像上的特定的关注点的视差，从左图像截取关注点附近的图像作为模板，在右图像中探索与截取的模板的类似度高的部分。接下来，视差运算部203基于探索结果将右图像中类似度最高的点判定为对应点，基于判定出的对应点与关注点之间的距离计算视差d。
在本实施方式中由于使用平行立体法，因此左图像上的关注点的坐标为“xp，yp”时，右图像中可能出现对应点的部分被限定于y坐标为yp的直线上。因此，视差运算部203仅在该直线上进行对应点探索，能够省略对其他部分的处理。此外，作为使用上述模板的类似度的计算方法，能够使用SAD(Sum of Absolute Differences：差分绝对值之和)或(Sum ofSquared Differences：差分平方和)等。
接下来，视差运算部203使用计算出的各点的视差d进行依据前述式(1)的运算，计算图像中各点的三维位置(S303)。视差运算部203例如使用初始设定的基线长度进行步骤S303的运算处理。
视差运算部203将表示在步骤S302中计算出的三维位置的三维信息输出到第一路面参数推断部204，将表示在步骤S302中计算出的视差d的信息输出到物体检测部212，结束本流程图的处理。
根据以上处理，立体照相机102的各照相机102a、102b的图像被平行化变换(S301)，能够基于平行立体法对视差d以及三维信息进行运算。使用图5对步骤S301的详细情况进行说明。
图5中的(a)示出步骤S301的平行化前的左照相机坐标(xl，yl，zl)以及右照相机坐标(xr，yr，zr)。图5中的(b)示出步骤S301的平行化后的左照相机坐标(x’l，y’l，z’l)以及右照相机坐标(x’r，y’r，z’r)。左照相机坐标是以立体照相机102的左照相机102a的投影中心为原点的坐标系。右照相机坐标是以右照相机102b的投影中心为原点的坐标系。
为了进行步骤S301的平行化变换，需要先求出立体照相机102的左右各个照相机102a、102b的内部参数以及外部参数。内部参数表示照相机的焦距、图像中心坐标以及畸变参数等。外部参数表示在作为固定坐标系的世界坐标系中的照相机的位置以及姿态。运算装置106例如预先设定世界坐标系并使用非专利文献1所示的方法，能够计算左右照相机102a、102b的内部参数和在共同的世界坐标系中的各照相机102a、102b的外部参数。
在步骤S301中，作为视差运算部203的运算装置106，使用求出的内部参数进行与各个照相机102a、102b相关的畸变修正变换，使用求出的外部参数进行平面变换，而执行平行化变换(S301)。
设想在步骤S301前，根据立体照相机102的位置偏离等，如图5中的(a)所示那样左照相机坐标(xl，yl，zl)和右照相机坐标(xr，yr，zr)朝向彼此不同的朝向。能够以世界坐标(w0，w1，w2)为基准，通过下式的平移向量t1、tr以及旋转矩阵Rl、Rr表示这些位置关系。
[数学式1]
Figure GDA0004071718730000121
Figure GDA0004071718730000122
Figure GDA0004071718730000123
Figure GDA0004071718730000124
上式(11)～(14)的平移向量t1、tr以及旋转矩阵Rl、Rr构成立体照相机102的各照相机102a、102b的外部参数。运算装置106如上所述能够使用众所周知的方法求出平移向量t1、tr以及旋转矩阵Rl、Rr。
式(11)的平移向量t1是表示从世界坐标(w0，w1，w2)的原点到左照相机坐标(xl，yl，zl)的原点的平移的三维向量。式(12)的平移向量tr是表示从世界坐标(w0，w1，w2)的原点到右照相机坐标(xr，yr，zr)的原点的平移的三维向量。
此外，式(13)的旋转矩阵Rl是表示从世界坐标(w0，w1，w2)的朝向到左照相机坐标(xl，yl，zl)的朝向的旋转的矩阵。式(14)的旋转矩阵Rr是表示从世界坐标(w0，w1，w2)的朝向到右照相机坐标(xr，yr，zr)的朝向的旋转的矩阵。各旋转矩阵Rl、Rr在三行三列的分量rl，00～rl，22、rr，00～rr，22间分别具有与偏航方向、俯仰方向以及侧倾方向对应的三个自由度。
根据式(11)～(14)的平移向量t1、tr以及旋转矩阵Rl、Rr，能够求出下式那样的旋转矩阵R’。
[数学式2]
R'＝(r'*0 r′*1 r′*2)…(15)
Figure GDA0004071718730000131
Figure GDA0004071718730000132
r′*2＝r′*0×r′*1…(18)
上式(15)的旋转矩阵R’与图5中的(b)的各照相机坐标(x’l，y’l，z’l)、(xr，yr，zr)与世界坐标(w0，w1，w2)之间的旋转变换对应。另外，上式(18)中的“ⅹ”是向量间的外积。
使用以上的各旋转矩阵Rl、Rr、R’，运算装置106在图4的步骤S301中作为视差运算部203运算依据下式的平面变换。
[数学式3]
Figure GDA0004071718730000141
Figure GDA0004071718730000142
根据上式(19)、(20)的平面变换，如图5中的(b)所示，能够使图5中的(a)的左照相机坐标(xl，yl，zl)和右照相机坐标(xr，yr，zr)彼此平行化。
2-4.关于第一路面参数推断部
使用图6对基于如以上那样由视差运算部203计算出的三维信息的第一路面参数推断部204的动作进行说明。图6是示出第一路面参数推断部204的处理的流程图。
通过作为第一路面参数推断部204发挥功能的运算装置106例如在视差运算部203的处理后，依次执行图6所示的流程图。
首先，第一路面参数推断部204基于来自视差运算部203的三维信息(图4的S303)，例如从计算了三维位置的所有点之中随机选择三个点，从而提取可视作路面上的候补点(S601)。这时以不使选择出的所有三个点在同一直线上的方式，第一路面参数推断部204例如限制第三个点的选择。
接下来，第一路面参数推断部204求出通过作为路面上的候补点而提取出的三个点的平面，计算表示到求出的平面的距离的候补路面参数(S602)。第一路面参数推断部204基于来自视差运算部203的三维信息，求出例如从立体照相机102的照相机的投影中心向求出的平面下垂的垂线，将垂线长度作为候补路面参数而计算。
接下来，第一路面参数推断部204进行用于对计算了候补路面参数的平面与实际的路面之间的对应关系进行验证的运算处理(S603)。具体而言，第一路面参数推断部204计算在三维位置运算303中计算出三维位置的各点或者规定区域内的各点与在步骤S602中求出的平面之间的距离，对距离在规定的阈值以下的点的数量进行计数。该阈值是用于对实质上与上述平面位于同一平面上的点进行判定的基准的值。
第一路面参数推断部204基于步骤S603的处理结果，判断是否验证出候补路面参数的平面与实际的路面一致(S604)。
具体而言，在计数出的点的数量相对于成为距离计算对象的所有点的数量小于预先设定的一定比率的情况下，第一路面参数推断部204判断为未验证出候补路面参数的平面与实际的路面一致(S604中为否)。在该情况下，第一路面参数推断部204重复步骤S601以后的处理，计算基于新候补点的候补路面参数。
另一方面，在计数出的点的数量为上述比率以上的情况下，第一路面参数推断部204判断为验证了候补路面参数的平面与实际的路面一致(S604中为是)。在该情况下，第一路面参数推断部204将计算出的候补路面参数作为第一路面参数输出到路面参数累积部205(S605)。
当输出了第一路面参数时(S605)，第一路面参数推断部204结束本流程图的处理。
根据以上的处理，基于由视差运算部203运算出的三维信息，计算在车辆101(图1)移动时相对于时刻变化的路面的第一路面参数。
此外，与以上的处理同步地，运算装置106从各种传感器103～105(图1)取得车辆信息206。运算装置106在路面参数累积部205中将由第一路面参数推断部204求出的路面参数与车辆信息206关联起来累积。
2-5.关于第二路面参数推断部
使用图7对基于第一路面参数等的累积于路面参数累积部205的信息的第二路面参数推断部208的动作进行说明。图7是示出第二路面参数推断部208的处理的流程图。
通过作为第二路面参数推断部208发挥功能的运算装置106，例如以规定的周期来执行图7所示的流程图。基于认为在路面参数累积部205充分累积了新信息的期间来设定该周期(例如1分钟)。
首先，第二路面参数推断部208基于累积于路面参数累积部205的信息，从累积的第一路面参数之中提取符合规定条件的第一路面参数(S701)。使用图8对用于提取第一路面参数的规定条件进行说明。
图8示出了车辆101在具有坡度变化的路面行驶的情形。在本实施方式中，立体照相机102拍摄车辆101前方的路面。因此，如图8所示，在车辆101行驶中的路面有坡度变化的情况下，在由立体照相机102观测的观测面与观测时的车辆101的接地面之间，在俯仰方向等产生角度差θ。认为在该情况下计算出的第一路面参数与从立体照相机102到观测面的距离对应，而从到车辆101的接地面的距离偏离。
此外，在车辆101弯曲行驶时，认为在自立体照相机102的观测面与车辆101的接地面之间，例如在偏航方向上产生角度差θ。因此，与上述情况同样地，认为在车辆101弯曲行驶时计算出的第一路面参数从到车辆101的接地面的距离偏离。
于是，在本实施方式中，使用自立体照相机102的观测面与观测时的车辆101的接地面之间的角度差θ在规定角度以内这样的规定条件，进行第一路面参数的提取。规定角度是视为观测面与接地面实质上平行的角度，即视为车辆101行驶中的路面实质上没有坡度变化的角度，例如为±1度以内。
在图7的步骤S701中，第二路面参数推断部208为了判定上述规定条件，使用车速、偏航速率以及俯仰速率这样的车辆信息206进行累积的第一路面参数的条件检索。例如第二路面参数推断部208提取与车速在40km/h以上且偏航速率以及俯仰速率接近0的规定范围内的车辆信息206关联起来的第一路面参数。
接下来，第二路面参数推断部208进行基于提取出的第一路面参数的统计处理，计算第二路面参数(S702)。例如第二路面参数推断部208在统计处理中将提取出的第一路面参数的平均值或中央值作为第二路面参数求出。
第二路面参数推断部208将计算出的第二路面参数作为校准的尺度基准输出到修正参数运算部209(S702)，结束本流程图的处理。
根据以上处理，通过基于车辆信息206的条件检索(S701)，提取能够作为校准的尺度基准而利用的偏差少的条件下的第一路面参数。进而，通过使用提取出的第一路面参数进行统计处理(S702)，能够精度良好地推断表示相对于没有坡度变化的路面的距离的第二路面参数。
2-6.关于修正参数运算部
使用图9对实现基于由第二路面参数推断部208计算出的第二路面参数的校准的修正参数运算部209的动作进行说明。图9是示出修正参数运算部209的处理的流程图。
通过作为修正参数运算部209发挥功能的运算装置106，例如在执行了第二路面参数推断部208的上述处理(图7)之后，依次执行图9所示的流程图。
在开始图9的流程图时，假设在初始设定时路面参数存储部210预先存储有在初始设定时在没有坡度变化的条件下事先测量出的基准的路面参数以及初始设定时的基线长度D0。
例如在将物体检测装置(运算装置106)出厂之前或开始使用物体检测装置之前，进行上述初始设定。在初始设定中，例如将描绘有方格花纹的、具有已知的尺寸以及交点数量的棋盘格设置在路面上，通过立体照相机102进行拍摄。进而，从拍摄图像检测方格花纹的交点，并应用非专利文献2的第六章所记载的照相机校正方法等，从而能够求出没有坡度变化的条件下的基准的路面参数。
在图9的流程图中，首先修正参数运算部209读出存储于初始设定时路面参数存储部210的基准的路面参数(S801)。
接下来，修正参数运算部209对由第二参数推断部208计算出的第二路面参数(图7的S702)与读出的基准的路面参数进行比较，例如通过两参数的除法运算，求出变化量(S802)。根据步骤S802的变化量，能够识别当前的立体照相机102的设置状态与初始设定时之间的变化。
接下来，修正参数运算部209使用求出的变化量修正立体照相机102的基线长度(S803)。具体而言，修正参数运算部209对下式进行运算，计算修正后的基线长度D。
D＝(H/H0)D0……(2)
在上式(2)中，H0是从初始设定时的照相机的投影中心向路面下垂的垂线长度(基准的路面参数)。此外，H是从当前的立体照相机102的设置状态下的照相机的投影中心向路面下垂的垂线长度(第二路面参数)。
修正参数运算部209将修正后的基线长度D输出到修正参数反映部211(S803)，并结束本流程图的处理。
根据以上处理，将与当前的立体照相机102设置状态对应的尺度基准作为第二路面参数使用，而修正立体照相机102的基线长度(S803)。使用图10对各路面参数与基线长度的关系进行说明。
图10中的(a)～(c)是用于对车辆101在没有坡度变化的道路直行行驶时的、基于校准前的立体照相机102的路面的外观进行说明的图。
图10中的(a)示出了第二路面参数与基准的路面参数一致的情况下的路面的外观。在图10中的(a)的情况下，认为基于立体照相机102的拍摄图像计算出的到路面的距离与初始设定时没有特别变化，而被恰当地计算。在该情况下，基于式(2)，修正参数运算部209的修正后的基线长度D为D＝D0。
图10中的(b)示出了第二路面参数大于基准的路面参数的情况下的路面的外观。在图10中的(b)的情况下，在立体照相机102中，发生了作为好像到路面的距离变远了的测定结果的位置偏离。在该情况下，认为立体照相机102的照相机102a、102b间的间隔变得比初始设定时宽。于是，修正参数运算部209基于式(2)，以放大初始设定时的基线长度D0的方式，计算修正后的基线长度D(S802)。
图10中的(c)示出了第二路面参数小于基准的路面参数的情况下的路面的外观。在图10中的(c)的情况下，在立体照相机102中，发生了计算出的到路面的距离比实际近的位置偏离，认为照相机102a、102b间的间隔变得比初始设定时窄。于是，修正参数运算部209基于式(2)，以缩短基线长度D的方式进行修正(S802)。
如以上那样，基于自初始设定时(基准)的路面参数的第二路面参数的变化，能够识别照相机102a、102b间的间隔变化，得到与当前的立体照相机102的接地状态对应的恰当的基线长度D(S803)。
在执行了以上的修正参数运算部209的处理之后，修正参数反映部211将从修正参数运算部209输出的基线长度D写入修正完毕参数存储部220，从而更新修正后的基线长度D。以规定周期或者在运算装置106的接通/断开时等，适当地设定修正参数反映部211进行基线长度D的更新的更新定时。
2-7.关于物体检测部
使用图11，对物体检测部212的动作进行说明。图11是示出物体检测部212的处理的流程图。
通过作为物体检测部212发挥功能的运算装置106，例如以规定的周期(例如1/30秒)执行图11所示的流程图。
首先，物体检测部212参照存储于修正完毕参数存储部220的信息，基于在视差运算部203中计算出的拍摄图像中的所有点的视差(图4的S302)，计算各点的三维位置(S1001)。在步骤S1001中，物体检测部212进行与图4的S303同样的处理，但在计算基于视差d的距离Z时，使用存储于修正完毕参数存储部220的修正后的基线长度D。
接下来，物体检测部212基于计算出的三维位置，执行例如与图6的流程图同样的处理，计算当前行驶中的场景的路面参数(S1002)。
接下来，物体检测部212基于计算出的路面参数，从拍摄图像中的所有点之中提取具有比与计算出的路面参数对应的路面更靠上方的三维位置的点群(S1003)。
接下来，物体检测部212将提取出的点群作为输入进行区域聚类，求出被认为是路面上的立体物的点群的集合(块)(S1004)。例如通过使用非专利文献3中公开的均值偏移(Mean Shift)法能够实现步骤S1004中的区域聚类。
接下来，物体检测部212将把在区域聚类(S1004)中提取出的立体物作为检测结果的物体而示出的物体信息输出到例如显示装置107(S1005)。
当输出了检测结果的物体信息时(S1005)，物体检测部212结束本流程图的处理。
根据以上的处理，物体检测部212使用修正后的基线长度D，能够精度良好地检测物体的三维位置。显示装置107显示通过以上的处理检测出的物体信息(S1005)。
3.总结
如以上所说明的那样，本实施方式的物体检测装置(运算装置106)基于车辆101上的立体照相机102的影像来检测物体。物体检测装置具备视差运算部203、第一路面参数推断部204、路面参数累积部205、第二路面参数推断部208和物体检测部212。视差运算部203对影像中场景的三维信息进行运算。第一路面参数推断部204基于三维信息，计算表示车辆101正行驶的路面与立体照相机102之间的距离的第一路面参数。路面参数累积部205将第一路面参数和与车辆101的行驶状态相关的车辆信息206关联起来累积。第二路面参数推断部208基于由路面参数累积部205累积的车辆信息206以及第一路面参数，使用在与车辆相关的规定条件下的第一路面参数计算第二路面参数。物体检测部212使用第二路面参数来检测物体。规定条件包含由立体照相机102观测到的路面与观测时的车辆的接地面之间的角度差在规定角度以内。
根据以上的物体检测装置，从车辆信息206掌握车辆101的行驶状态(运动)，由此推断行驶中的道路的坡度变化，从而能够提高车辆101位于由第二路面参数推断部208求出的、没有坡度变化的路面的情况下的路面参数的推断精度。
由此，由于因随时间变迁而两台照相机间的位置关系发生偏离时的偏离量的推断精度提高，因此考虑到该偏离量的到物体的距离检测精度也提高。由此，在使用物***置信息的应用中，能够保持高可靠性下的动作。
在本实施方式中，第二路面参数推断部208基于由路面参数累积部205累积的车辆信息206，从第一路面参数提取符合规定条件的情况下的第一路面参数。第二路面参数推断部208进行基于提取出的第一路面参数的统计处理，计算第二路面参数。由此，从累积的第一路面参数之中提取在没有坡度变化的道路行驶时的第一路面参数，并作为统计处理的对象，能够精度良好地计算第二路面参数。
另外，在以上示例中，从累积的第一路面参数之中提取出在没有坡度变化的道路行驶时计算出的第一路面参数，但不限于此，例如也可以以仅累积在没有坡度变化的道路行驶时计算出的第一路面参数的方式构成本物体检测装置。
此外，在本实施方式中，上述规定条件也可以是表示由立体照相机102观测到的路面与观测时的车辆的接地面为坡度不变化的同一平面的条件。例如也可以通过将上述规定角度在容许误差的范围内适当地设定为接近0度，从而设定该条件。由此，限制于平坦路面行驶时的第一路面参数而能够计算第二路面参数，能够改善对立体照相机102的校准精度。
此外，在本实施方式中，车辆信息206包含车辆101中的车速、偏航速率以及俯仰速率。除此之外或代替此，车辆信息206例如也可以包含车辆101的侧倾速率、操舵角以及倾斜角等。例如作为车辆信息检测部，也可以在车辆101搭载侧倾速率传感器、姿态传感器，或者运算装置106监视车辆101的转向操作状态。
此外，在本实施方式中，具体而言，假设车辆信息206中的偏航速率、俯仰速率或侧倾速率为与车辆101的直线路行驶时对应的规定范围内的值，而设定了上述规定条件。上述规定条件不限于此，例如车辆信息206中的操舵角也可以是与车辆的直行状态下的转向对应的规定范围内的值，或车辆信息206中的倾斜角也可以是与车辆在水平路面上行驶的状态对应的规定范围内的值。
此外，在本实施方式中，物体检测装置还具备修正参数运算部209和修正参数反映部211。修正参数运算部209对第二路面参数与预先设定的基准的路面参数进行比较，计算对应于立体照相机102的偏离量的修正参数。修正参数反映部211基于修正参数，修正与立体照相机相关的照相机参数。物体检测部212使用作为由修正参数反映部211修正过的照相机参数的基准参数D而检测物体的位置。由此，物体检测装置能够修正立体照相机102的偏离量而精度良好地检测物体的位置。
此外，本实施方式的车辆101具备物体检测装置、拍摄影像的立体照相机102和检测车辆信息206的各种传感器103～105。根据本实施方式的车辆101，通过物体检测装置能够修正立体照相机102的位置偏离，精度良好地检测物体。
实施方式2.
在实施方式1中，通过车速传感器等检测与车辆的行驶状态相关的车辆信息。在实施方式2中，进而对检测行驶的道路的车道形状的物体检测装置进行说明。
图12是示出本实施方式的物体检测装置的结构的框图。本实施方式的物体检测装置(运算装置106A)除了与实施方式1同样的结构(图2)之外，如图12所示，还具备白线消失点检测部214和车道形状检测部215。
白线消失点检测部214基于立体照相机102的拍摄图像，将描绘于道路的行驶车道的左右白线作为直线(或者曲线)检测。白线消失点检测部214将使检测出的两条直线(或者曲线)延长的情况下的交点作为消失点求出。
车道形状检测部215基于白线消失点检测部214的检测结果，进行用于根据求出的白线消失点的位置推断车道的形状的处理。例如对于在左右车道延长而在地平线上相交的点(消失点)，如果道路左弯曲，则推测为比平坦直线路行驶时的初始位置靠左而观测到，如果右弯曲，则推测为比初始位置靠右而观测到，如果道路迎来上坡，则推测为比初始位置靠上而观测到，如果迎来下坡，则推测为比初始位置靠下而观测到。因此，在消失点存在于与初始位置接近的规定范围内的情况下，可判定为行驶中的道路没有坡度变化、不弯曲(为直线)。
在本实施方式中，路面参数累积部205将由第一路面参数推断部204求出的第一路面参数与车速、偏航速率、俯仰速率等车辆信息206和由车道形状检测部215求出的车道形状关联起来累积。
此外，第二路面参数推断部208使用累积于路面参数累积部205的信息，更精度良好地提取在视为没有坡度变化、不弯曲的条件下的第一路面参数，更准确地计算第二路面参数。以下对上述各功能部的动作进行说明。
图13是示出白线消失点检测部214的处理的流程图。通过作为白线消失点检测部214发挥功能的运算装置106A，例如以规定的周期(例如1/30秒)执行图13所示的流程图。
首先，白线消失点检测部214从立体照相机102的一方或双方的照相机图像提取白线部分作为例如基于规定的特征量的特征点群(S1201)。例如通过进行纵向边缘提取的图像处理，并将边缘强度在规定值以上、强的部分作为白线提取，能够执行步骤S1201的处理。
接下来，白线消失点检测部214使用提取出的白线部分的特征点群进行直线提取，从而将左右白线作为直线求出(S1202)。例如通过使用非专利文献4所示的直线霍夫变换求出直线，从而能够执行步骤S1202的处理。
接下来，白线消失点检测部214使用与求出的左右白线相当的两条直线，将该两条直线在地平线附近相交的点作为消失点求出(S1202)。白线消失点检测部214将表示以上那样的消失点的检测结果的信息输出到车道形状检测部215，并结束本流程图的处理。
图14是示出车道形状检测部215的处理的流程图。通过作为车道形状检测部215发挥功能的运算装置106A，例如在白线消失点检测部214的处理后，依次执行图14所示的流程图。
首先，车道形状检测部215基于白线消失点检测部214的检测结果，进行车道的坡度计算等(S1301)，从车道形状的观点来判定当前行驶中的车道是在攀升，还是在下降，或者是没有坡度变化。
在步骤S1301的判定中，将在没有坡度变化的道路行驶时观测到的消失点的位置作为基准的标准位置预先设定，并对计算出的消失点的位置与标准位置进行比较。在计算出的消失点的位置比标准位置更靠上的情况下，车道形状检测部215判断为当前的车道是在攀升，在比标准位置更靠下的情况下，判断为是在下降。
此外，车道形状检测部215进行在车道的偏航方向上的曲率等弯曲计算(S1302)，从车道形状的观点来判定当前行驶中的车道是左弯曲，是右弯曲，还是直线路。
在步骤S1302的判定中，将在直线路行驶时观测到的消失点的位置作为基准的标准位置，在计算出的消失点的位置从标准位置向左(或右)偏离的情况下，判断为行驶中的车道向左(或右)弯曲。进而，在计算出的消失点的位置存在于被认为与标准位置接近的规定范围内的情况下，车道形状检测部215判断为行驶中的车道没有坡度变化、不弯曲。
车道形状检测部215将包含以上那样的判定结果的车道形状的检测信息输出到路面参数累积部205，并结束本流程图的处理。
路面参数累积部205将车道形状检测部215的车道形状的检测信息与同步得到的第一路面参数以及车辆信息206关联起来累积。
第二路面参数推断部208将车道形状的检测信息与车辆信息206一起使用，进行累积于路面参数累积部205的第一路面参数的条件检索。例如第二路面参数推断部208提取车速在40km/h以上、偏航速率以及俯仰速率几乎为0、根据消失点求出的车道形状没有坡度变化、为直线路的情况下的第一路面参数。由此，能够更加精度良好地得到被认为车辆101在没有坡度变化的道路直行时计算出的第一路面参数。
如以上所说明的那样，本实施方式的物体检测装置(运算装置106A)还具备白线消失点检测部214和车道形状检测部215。白线消失点检测部214基于影像中的两条白线而检测作为两条白线的延长线相交的点的消失点。车道形状检测部215基于消失点的位置而检测影像中的路面的坡度变化。路面参数累积部205将车道形状检测部215对路面的坡度变化的检测结果和第一路面参数关联起来累积。第二路面参数推断部208基于由路面参数累积部205累积的路面的坡度变化的检测结果，计算第二路面参数。
在本实施方式中，车道形状检测部215对由白线消失点检测部214检测出的消失点的位置与预先设定的直线路行驶时的消失点的位置进行比较，检测车道的形状。
根据以上的物体检测装置，能够通过车道形状检测部215检测行驶中的道路的坡度变化，能够提高车辆101在没有坡度变化的路面直行的情况下的路面参数的推断精度。
实施方式3
在实施方式1中，从立体照相机的拍摄图像检测车道形状。在实施方式3中，进而对识别立体照相机的拍摄环境的物体检测装置进行说明。
图15是示出本实施方式的物体检测装置的结构的框图。本实施方式的物体检测装置(运算装置106B)除了与实施方式2同样的结构(图12)之外，如图15所示，还具备拍摄环境识别部216。
拍摄环境识别部216输入立体照相机102的影像，对包含与当前行驶中的场景相关的日照条件、气象条件以及与行驶路面相关的条件的拍摄环境进行识别。日照条件表示例如对象的场景是白天、夜晚、傍晚等中的哪种。气象条件表示例如对象的场景是晴、阴、雨、雪等中的哪种。与行驶路面相关的条件表示行驶中的路面是铺装道路、未铺装道路等中的哪种。
在本实施方式中，路面参数累积部205将第一路面参数与车辆信息206以及车道形状的检测信息一起与表示由拍摄环境识别部216识别出的拍摄环境的信息关联起来累积。
此外，在第二路面参数推断部208中，使用累积于路面参数累积部205的信息，提取在可视为车辆101的行驶路面没有坡度变化、不弯曲时且从拍摄环境的观点而言可视为识别精度高的条件下的第一路面参数。以下对上述各功能部的动作进行说明。
图16是示出拍摄环境识别部216的处理的流程图。通过作为拍摄环境识别部216发挥功能的运算装置106B，例如以规定的周期(例如1/30秒)执行图16所示的流程图。
在图16所示的流程图中，拍摄环境识别部216基于从立体照相机102输入的图像，识别日照条件(S1501)。在步骤S1501中，拍摄环境识别部216基于输入图像的辉度平均值、照相机摄像时的曝光时间以及照相机摄像时的增益值，识别场景的亮度，计算日照条件的强度。
此外，拍摄环境识别部216基于输入图像，识别气象条件(S1502)。在步骤S1502中，拍摄环境识别部216进行在输入图像中映现有天空的部分的纹理解析(例如云的有无)、其他部分等的边缘的清晰度解析(即有无因水滴附着于镜头引起的影像模糊，有无因降雨、降雪引起的影像的不清晰化)，识别气象条件。
此外，拍摄环境识别部216基于输入画面，识别与行驶路面相关的条件(S1503)。在步骤S1502中，拍摄环境识别部216进行输入图像中有无白线的判定、行驶路面上的边缘量解析(即是柏油路还是非铺装道路的判定)，识别行驶路面的状态。
拍摄环境识别部216将表示以上那样的拍摄环境的识别结果的信息输出到路面参数累积部205，结束本流程图的处理。
根据以上的处理，使表示拍摄环境的识别结果的信息与车辆信息206以及车道形状的检测信息一起累积于路面参数累积部205，第二路面参数推断部208使用这些信息进行第一路面参数的条件检索。例如第二路面参数推断部208除了与实施方式2同样的条件之外，还提取日照条件为“白天”、气象条件为“阴天”、与行驶路面相关的条件为铺装道路的条件下的第一路面参数。由此，能够更加精度良好地求出基于提取出的第一路面参数的第二路面参数。
如以上所说明的那样，本实施方式的物体检测装置(运算装置106B)还具备对立体照相机102的影像的拍摄环境进行识别的拍摄环境识别部216。路面参数累积部205将表示由拍摄环境识别部216识别出的拍摄环境的信息和第一路面参数关联起来累积。第二路面参数推断部208基于表示由路面参数累积部205累积的拍摄环境的信息，计算第二路面参数。
在本实施方式中，表示拍摄环境的信息包含表示日照条件、气象条件以及与车辆的行驶路面相关的条件之中的至少一种条件的信息。
根据以上的物体检测装置，在第二路面参数推断部208中，不使用从拍摄环境的观点而言设想为图像识别的精度下降的可能性高的第一路面参数而计算第二路面参数，能够提高位置偏离的推断精度。
实施方式4
在实施方式4中，对第二路面参数的修正结果的更新定时进行说明。
图17是示出本实施方式的物体检测装置的结构的框图。本实施方式的物体检测装置(运算装置106C)在与实施方式3同样的结构(图15)中，如图17所示，将车辆信息206输入到修正参数反映部211A。
与实施方式1同样地，修正参数反映部211A为了更新在根据视差d计算三维位置时所使用的基线长度D，将由修正参数运算部209计算出的基线长度写入修正完毕参数存储部220。在本实施方式中，修正参数反映部211A使用车辆101的车辆信息206中的车速信息，将向修正完毕参数存储部220写入基线长度的更新定时限定于车辆101的停止时。
如以上那样，在本实施方式中，修正参数反映部211A基于表示车辆101的车速的信息，在车辆101停止时，反映照相机参数的修正结果。
在由修正参数反映部211A反映出修正结果时，物体检测部212基于立体照相机102的影像而检测出的到物体的距离会变化。根据该情况，在使用检测出的物体的位置信息的应用中，在控制车辆101时，当到物体的距离变化时，认为存在通过该变化的影像而误控制或者进行了不合理的控制的可能性。与此相对，在本实施方式中，在作为对应用没有影响的定时的、车辆101停车时，对修正参数进行反映，从而能够提高安全性。
其他实施方式.
在上述各实施方式中，对基于平行立体法测定三维信息的情况进行了说明，但不限于平行立体法，也可以采用其他各种测定方法。在该情况下，进行与例如在图4的步骤S301中采用的测定方法相应的修正。
在上述各实施方式中，物体检测装置使用搭载于车辆101的立体照相机102检测物体。车辆包含汽车、机动二轮车以及铁道车辆等在路面行驶的各种移动体。
如以上那样，对本发明的具体实施方式进行了说明，但本发明不限于上述方式，在本发明的范围内能够进行各种变更而实施。例如也可以将上述各个实施方式的内容适当地进行组合而作为本发明的一个实施方式。

Claims (12)

1.一种物体检测装置，基于车辆上的立体照相机的影像而检测物体，该物体检测装置具备：
视差运算部，对所述影像中的场景的三维信息进行运算；
第一路面参数推断部，基于所述三维信息计算表示所述车辆正行驶的路面与所述立体照相机之间的距离的第一路面参数；
路面参数累积部，将所述第一路面参数和与所述车辆的行驶状态相关的车辆信息关联起来累积；
第二路面参数推断部，基于由所述路面参数累积部累积的车辆信息以及第一路面参数，从累积于所述路面参数累积部的第一路面参数之中提取符合与所述车辆相关的规定条件的第一路面参数，进行提取出的第一路面参数的统计处理，计算第二路面参数；以及
物体检测部，使用所述第二路面参数检测所述物体，
所述规定条件包含由所述立体照相机观测到的路面与观测时的所述车辆的接地面之间的角度差在规定角度以内。
2.根据权利要求1所述的物体检测装置，其中，
所述第二路面参数推断部基于由所述路面参数累积部累积的车辆信息，从由所述路面参数累积部累积的第一路面参数提取符合所述规定条件的情况下的第一路面参数，
所述第二路面参数推断部进行基于提取出的第一路面参数的统计处理，计算所述第二路面参数。
3.根据权利要求1或2所述的物体检测装置，其中，
所述规定条件包含由所述立体照相机观测到的路面与观测时的所述车辆的接地面为坡度不变化的同一平面。
4.根据权利要求1或2所述的物体检测装置，其中，
所述车辆信息包含表示所述车辆的车速、偏航速率、俯仰速率、侧倾速率、操舵角以及倾斜角之中的至少一种的信息。
5.根据权利要求4所述的物体检测装置，其中，
所述规定条件包含以下条件之中的至少一种条件：
所述车辆信息中的偏航速率、俯仰速率或侧倾速率是与所述车辆在直线路行驶时对应的规定范围内的值；
所述车辆信息中的操舵角是与所述车辆的直行状态下的转向对应的规定范围内的值；以及
所述车辆信息中的倾斜角是与所述车辆在水平路面上行驶的状态对应的规定范围内的值。
6.根据权利要求1或2所述的物体检测装置，其中，还具备：
白线消失点检测部，基于所述影像中的两条白线而检测作为所述两条白线的延长线相交的点的消失点；以及
车道形状检测部，基于所述消失点的位置而检测所述影像中的路面的坡度变化，
所述路面参数累积部将所述车道形状检测部对路面的坡度变化的检测结果和所述第一路面参数关联起来累积，
所述第二路面参数推断部基于由所述路面参数累积部累积的路面的坡度变化的检测结果，计算所述第二路面参数。
7.根据权利要求6所述的物体检测装置，其中，
所述车道形状检测部对由所述白线消失点检测部检测出的消失点的位置与预先设定的直线路行驶时的消失点的位置进行比较而检测车道的形状。
8.根据权利要求1或2所述的物体检测装置，其中，
还具备拍摄环境识别部，该拍摄环境识别部识别所述立体照相机的影像的拍摄环境，
所述路面参数累积部将表示由所述拍摄环境识别部识别出的拍摄环境的信息和所述第一路面参数关联起来累积，
所述第二路面参数推断部基于表示由所述路面参数累积部累积的拍摄环境的信息，计算所述第二路面参数。
9.根据权利要求8所述的物体检测装置，其中，
表示所述拍摄环境的信息包含表示日照条件、气象条件以及与所述车辆的行驶路面相关的条件之中的至少一种条件的信息。
10.根据权利要求1或2所述的物体检测装置，其中，还具备：
修正参数运算部，对所述第二路面参数与预先设定的基准的路面参数进行比较，计算与所述立体照相机的偏离量相应的修正参数；以及
修正参数反映部，基于所述修正参数而修正与所述立体照相机相关的照相机参数，
所述物体检测部使用由所述修正参数反映部修正过的照相机参数来检测所述物体的位置。
11.根据权利要求10所述的物体检测装置，其中，
所述修正参数反映部基于表示所述车辆的车速的信息，在所述车辆停止时，反映所述照相机参数的修正结果。
12.一种车辆，具备：
权利要求1至11中的任意一项所述的物体检测装置；
立体照相机，拍摄所述影像；以及
车辆信息检测部，检测所述车辆信息。
CN201780088885.7A 2017-03-30 2017-03-30 物体检测装置以及车辆 Active CN110462682B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/013402 WO2018179281A1 (ja) 2017-03-30 2017-03-30 物体検出装置及び車両

Publications (2)

Publication Number Publication Date
CN110462682A CN110462682A (zh) 2019-11-15
CN110462682B true CN110462682B (zh) 2023-05-02

Family

ID=63674418

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780088885.7A Active CN110462682B (zh) 2017-03-30 2017-03-30 物体检测装置以及车辆

Country Status (5)

Country Link
US (1) US10984555B2 (zh)
JP (1) JP6779365B2 (zh)
CN (1) CN110462682B (zh)
DE (1) DE112017007347T5 (zh)
WO (1) WO2018179281A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11158088B2 (en) 2017-09-11 2021-10-26 Tusimple, Inc. Vanishing point computation and online alignment system and method for image guided stereo camera optical axes alignment
US11089288B2 (en) * 2017-09-11 2021-08-10 Tusimple, Inc. Corner point extraction system and method for image guided stereo camera optical axes alignment
WO2020014683A1 (en) * 2018-07-13 2020-01-16 Kache.AI Systems and methods for autonomous object detection and vehicle following
WO2020176873A1 (en) 2019-02-28 2020-09-03 Stats Llc System and method for generating trackable video frames from broadcast video
US11770875B2 (en) * 2019-10-03 2023-09-26 Qualcomm Incorporated Integrated access and backhaul (IAB) timing handling for positioning
JP7502025B2 (ja) * 2019-12-23 2024-06-18 株式会社東芝 カメラ自動検査システム
US11178382B1 (en) * 2020-10-27 2021-11-16 Shoppertrak Rct Corporation Auto-calibration of stereoscopic imaging device
WO2024090152A1 (ja) * 2022-10-28 2024-05-02 株式会社小糸製作所 車両検出装置、配光制御装置および車両検出方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102227758A (zh) * 2008-11-28 2011-10-26 日立汽车***株式会社 摄像装置
CN104246821A (zh) * 2012-04-16 2014-12-24 日产自动车株式会社 三维物体检测装置和三维物体检测方法
CN104509102A (zh) * 2012-07-27 2015-04-08 日产自动车株式会社 三维物体检测装置和异物检测装置
CN104641394A (zh) * 2012-08-30 2015-05-20 株式会社电装 图像处理装置及存储介质

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4344860B2 (ja) 2004-01-30 2009-10-14 国立大学法人東京工業大学 ステレオ画像を用いた道路平面領域並びに障害物検出方法
JP4894771B2 (ja) 2008-01-31 2012-03-14 コニカミノルタホールディングス株式会社 校正装置及び校正方法
CN102792333B (zh) * 2010-03-19 2016-11-23 拉碧斯半导体株式会社 图像处理装置、方法、程序以及记录介质
JP5870510B2 (ja) * 2010-09-14 2016-03-01 株式会社リコー ステレオカメラ装置、校正方法およびプログラム
JP6019646B2 (ja) 2012-03-21 2016-11-02 株式会社リコー 位置ずれ検出装置、車両及び位置ずれ検出方法
JP2013239015A (ja) * 2012-05-15 2013-11-28 Sharp Corp 駐車支援装置、駐車支援方法およびプログラム
EP2879115B1 (en) * 2012-07-27 2018-09-05 Nissan Motor Co., Ltd Three-dimensional object detection device
JP5906272B2 (ja) 2014-03-28 2016-04-20 富士重工業株式会社 車両用ステレオ画像処理装置
JP2017004117A (ja) * 2015-06-05 2017-01-05 富士通テン株式会社 視線検出装置および視線検出方法
JP6507911B2 (ja) * 2015-07-29 2019-05-08 日本電気株式会社 抽出システム、抽出サーバ、抽出方法、および抽出プログラム
EP3358295B1 (en) * 2015-09-28 2020-10-07 Kyocera Corporation Image processing device, stereo camera device, vehicle, and image processing method
JP6780661B2 (ja) * 2016-01-15 2020-11-04 ソニー株式会社 画像処理装置および方法、プログラム、並びに画像処理システム
JP6733225B2 (ja) * 2016-03-08 2020-07-29 株式会社リコー 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102227758A (zh) * 2008-11-28 2011-10-26 日立汽车***株式会社 摄像装置
CN104246821A (zh) * 2012-04-16 2014-12-24 日产自动车株式会社 三维物体检测装置和三维物体检测方法
CN104509102A (zh) * 2012-07-27 2015-04-08 日产自动车株式会社 三维物体检测装置和异物检测装置
CN104641394A (zh) * 2012-08-30 2015-05-20 株式会社电装 图像处理装置及存储介质

Also Published As

Publication number Publication date
US10984555B2 (en) 2021-04-20
WO2018179281A1 (ja) 2018-10-04
DE112017007347T5 (de) 2019-12-12
JP6779365B2 (ja) 2020-11-04
CN110462682A (zh) 2019-11-15
US20200051282A1 (en) 2020-02-13
JPWO2018179281A1 (ja) 2019-11-21

Similar Documents

Publication Publication Date Title
CN110462682B (zh) 物体检测装置以及车辆
US10834324B2 (en) Image distortion correction of a camera with a rolling shutter
US11763571B2 (en) Monocular cued detection of three-dimensional structures from depth images
WO2021004548A1 (zh) 一种基于双目立体视觉***的车辆智能测速方法
EP3598874B1 (en) Systems and methods for updating a high-resolution map based on binocular images
WO2021004312A1 (zh) 一种基于双目立体视觉***的车辆智能测轨迹方法
JP5714940B2 (ja) 移動***置測定装置
EP3057063B1 (en) Object detection device and vehicle using same
JP5588812B2 (ja) 画像処理装置及びそれを用いた撮像装置
US9066085B2 (en) Stereoscopic camera object detection system and method of aligning the same
US6535114B1 (en) Method and apparatus for environment recognition
US8725412B2 (en) Positioning device
JP4406381B2 (ja) 障害物検出装置及び方法
US7899211B2 (en) Object detecting system and object detecting method
KR101411668B1 (ko) 교정 장치, 거리 측정 시스템, 교정 방법, 및 교정 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체
WO2020000137A1 (en) Integrated sensor calibration in natural scenes
JP2020042831A (ja) 道路の垂直輪郭検出
JP2012127896A (ja) 移動***置測定装置
US20150332100A1 (en) Moving Object Location/Attitude Angle Estimation Device and Moving Object Location/Attitude Angle Estimation Method
JP6552448B2 (ja) 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラム
US20200193184A1 (en) Image processing device and image processing method
WO2020113425A1 (en) Systems and methods for constructing high-definition map
JP2008033781A (ja) 路面勾配検出装置及び画像表示装置
US20230347910A1 (en) Vehicle orientation estimation system and vehicle orientation estimation method
KR20220151572A (ko) IPM 이미지와 정밀도로지도(HD Map) 피팅을 통해 노면객체의 변화를 자동으로 판단하고 갱신하는 정밀도로지도 자동갱신 방법 및 시스템

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant