CN108351207B - 立体相机装置 - Google Patents

立体相机装置 Download PDF

Info

Publication number
CN108351207B
CN108351207B CN201680058241.9A CN201680058241A CN108351207B CN 108351207 B CN108351207 B CN 108351207B CN 201680058241 A CN201680058241 A CN 201680058241A CN 108351207 B CN108351207 B CN 108351207B
Authority
CN
China
Prior art keywords
distance
road surface
height
area
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680058241.9A
Other languages
English (en)
Other versions
CN108351207A (zh
Inventor
松尾茂
北村忠明
野中进一
永崎健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Astemo Ltd
Original Assignee
Hitachi Automotive Systems Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Automotive Systems Ltd filed Critical Hitachi Automotive Systems Ltd
Publication of CN108351207A publication Critical patent/CN108351207A/zh
Application granted granted Critical
Publication of CN108351207B publication Critical patent/CN108351207B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0112—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from the vehicle, e.g. floating car data [FCD]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60T—VEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T7/00—Brake-action initiating means
    • B60T7/12—Brake-action initiating means for automatic initiation; for initiation not subject to will of driver or passenger
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/008—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60T—VEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T7/00—Brake-action initiating means
    • B60T7/12—Brake-action initiating means for automatic initiation; for initiation not subject to will of driver or passenger
    • B60T7/22—Brake-action initiating means for automatic initiation; for initiation not subject to will of driver or passenger initiated by contact of vehicle, e.g. bumper, with an external object, e.g. another vehicle, or by means of contactless obstacle detectors mounted on the vehicle
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/10—Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument
    • G01C3/14—Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument with binocular observation at a single point, e.g. stereoscopic type
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G08G1/0133—Traffic data processing for classifying traffic situation
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60T—VEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T2201/00—Particular use of vehicle brake systems; Special systems using also the brakes; Special software modules within the brake system controller
    • B60T2201/02—Active or adaptive cruise control system; Distance control
    • B60T2201/022—Collision avoidance systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60T—VEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T2210/00—Detection or estimation of road or environment conditions; Detection or estimation of road shapes
    • B60T2210/30—Environment conditions or position therewithin
    • B60T2210/32—Vehicle surroundings
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G01C3/08—Use of electric radiation detectors
    • G01C3/085—Use of electric radiation detectors with electronic parallax measurement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Signal Processing (AREA)
  • Traffic Control Systems (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Measurement Of Optical Distance (AREA)
  • Image Processing (AREA)

Abstract

本发明的目的在于，即使在重复区域(240)和单眼区域(212、222)的路面的高度不同的情况下，也能够高精度地算出在单眼区域(212、222)中被检测的移动体的距离。本发明包括：视差信息获取部，其获取由搭载在车辆上的多个相机拍摄到的多个图像的重复区域(240)的视差信息；以及物体距离算出部，其基于过去在所述重复区域中获取到的视差信息，算出在所述各图像中的所述重复区域以外的非重复区域中被检测的物体与所述车辆的距离。

Description

立体相机装置
技术领域
本发明涉及立体相机装置、行驶控制装置以及前方监视***。
背景技术
为了提高车辆的行驶安全性，正在研究如下的***：在通过搭载在车辆上的相机来检测横穿前方的行人，并在有与行人碰撞的可能性的情况下，进行向驾驶员的警报、自动刹车。
作为监视车辆的前方的传感器，有毫米波雷达、激光雷达、相机等。作为相机的种类，有单眼相机和使用多个相机的立体相机。立体相机可以利用由规定间隔的两个相机拍摄的重复区域的视差来测量到拍摄物体的距离。因此，可以准确地掌握至前方物体的碰撞危险度。
但是，由于立体相机仅能够利用由多个相机共同拍摄的重复区域来测量距离，对于由各个相机单独拍摄的非重复区域(以下，称为单眼区域)，存在未被使用的情况。因此，如文献1那样，提出了通过光流处理来检测单眼区域的行人的方法。但是，由于无法仅通过在单眼区域检测行人来掌握到该行人的距离，因此难以掌握碰撞的危险度。
因此，作为推断与在单眼区域中检测到的移动体的距离的方法，提出了文献2的方法。在该方法中，将在重复区域中测量出的路面的高度信息也应用于单眼区域的路面。
现有技术文献
专利文献
专利文献1：日本专利特开2005-24463号公报
专利文献2：日本专利特开2010-79582号公报
发明内容
发明要解决的问题
在专利文献2中，为了将重复区域的路面高度直接应用于单眼区域，以重复区域和单眼区域的路面高度是相等的状态，即平坦路面为前提。因此，当单眼区域的路面有倾斜、台阶时，难以推断准确的距离。
本发明的目的在于，即使在重复区域和单眼区域的路面的高度不同的情况下，也能够高精度地算出在单眼区域中被检测的移动体的距离。
解决问题的技术手段
本发明具备：视差信息获取部，其获取由搭载在车辆上的多个相机拍摄到的多个图像的重复区域的视差信息；以及物体距离算出部，其基于过去在所述重复区域中获取到的视差信息，算出在所述各图像中的所述重复区域以外的非重复区域中被检测的物体与所述车辆的距离。
发明效果
根据本发明，即使在重复区域和单眼区域的路面的高度不同的情况下，也能够高精度地算出在单眼区域中被检测的移动体的距离。
附图说明
图1是立体相机装置的功能框图。
图2是立体区域和单眼区域的说明。
图3是单眼区域的路面高度推断方法的原理说明。
图4是视差信息的存储方式。
图5是***整体的流程图。
图6是单眼区域的移动体的检测方式的流程图。
图7是单眼区域的移动体的检测方式的概要。
图8是利用了激光雷达和单眼相机的前方监视***的框图。
图9是激光雷达和单眼相机的测量范围的差异。
具体实施方式
以下，使用附图等对于本发明的实施方式进行说明。以下的说明表示本发明的内容的具体示例，本发明并不限定于这些说明，本领域技术人员可以在本说明书中所公开的技术思想的范围内进行各种变更及修改。此外，在用于说明本发明的所有附图中，存在对于具有相同功能的部件附上相同的符号，并且省略该重复说明的情况。
实施例1
图1表示立体相机装置10的框图。具有右相机22和左相机21这两个相机作为拍摄部20。两个相机拍摄到的图像被分配给视差信息获取部30和物体检测部40两者。在视差信息获取部30是使用右相机22和左相机21拍摄到的图像的重复区域来生成视差信息的部分。此外，具有用于存储视差信息的视差信息存储部310。物体检测部40检测右相机22和左相机21的各自的单眼区域的图像中的行人等移动体。在图2中对于重复区域和单眼区域进行说明。
物体距离算出部50使用根据视差信息算出的路面高度信息，算出物体检测部40检测到的单眼区域的移动体的距离。为了算出该距离，具有用于推断车辆的移动方向和移动量的车辆行为推断部510和非重复区域路面信息推断部520。危险度判定部60根据物体距离算出部50算出的行人等移动体的距离，输出向驾驶员的警告、用于使车辆停止的刹车控制信号。
在图2中，对立体相机装置10生成视差数据的动作概要进行说明。在这里，将右相机22的图像和左相机21的图像的重复区域称为立体区域。在从搭载有立体相机装置10的车辆的前窗观察到的实际风景230中包括前方车辆200、行驶路面203、白线204、人行道路面205、行人202。
当存在由右相机22拍摄到的右图像的立体区域220和单眼区域222以及由左相机21拍摄到的左图像的立体区域210和单眼区域212时，前方车辆200的一部分201在右图像的立体区域220中被拍摄到位置221的位置，并且在左图像的立体区域210中被拍摄到位置211的位置。其结果是，在地点221和地点211产生视差d。该视差d在靠近立体相机装置10的情况下为较大的值，在远的情况下为较小的值。这样求出的视差是在图像整体中求出的。使用该视差d，可以根据三角测量的原理来测量到立体相机装置10的距离。
根据视差d并利用下式求出距离Z。
Z＝(f×B)/d
但是，f是右相机及左相机的焦距，B是右相机22和左相机21的距离(基线长度)。此外，为了三维地转换视差数据，通过下式来表示求出上述Z的地点的三维上的X、Y方向的距离。
X＝(Z×xr)/f、
Y＝(Z×yr)/f
但是，xr是右图像220上的x坐标，yr是右图像220上的y坐标。
如上所述，可以利用由立体相机装置10拍摄到的图像，并根据与立体相机装置10的距离来获得被摄体的三维空间中的位置(X、Y、Z)。但是，在图2中，行人202仅在左图像的单眼区域212中被拍摄。这样的话就无法算出视差数据，并且无法推断距离。
接下来，在图3中示出了推断单眼区域的行人的距离的方法。图3的(a)的场景示出了从车辆的前窗观察到的实际风景250和通过立体相机装置10来拍摄该风景250而得的图像。在风景250中，存在前方车辆200、路面203、白线204、人行道上的台阶206以及行人A207。在由立体相机装置10拍摄这些的情况下，被分类为立体区域240、左侧的单眼区域212、右侧的单眼区域222这三类。
在图3的(a)的场景中，由于在立体区域240中拍摄了台阶206，所以可以算出台阶206的视差，并且可以根据该视差来测量台阶206离路面203的高度h(米)。此外，通过将行人A207的图像上的纵向的高度延长至立体区域240的路面(例如，点P)，读取该点的路面的视差数据并转换为距离，由此可以求出单眼区域212中的行人207的距离。在该情况下，点P在白线204的内侧。此外，与点P为1点的视差数据的情况相比，若取该高度的多个点的视差数据的直方图并采用最多的值，则更能抵抗噪声。
另一方面，在图3的(b)的场景中，由于自身车辆的行驶而导致风景250中的台阶206成为比(a)的场景更近的状态。随着台阶206和自身车辆的距离变近，台阶206正在移动至左侧的单眼区域212。在该(b)中，示出了在台阶206上有行人B202的情况。在该左侧的单眼区域212的图像中，由于阶台阶206比路面203高，所以无法准确地推断位于其上的行人B202的画面上的距离。
因此，在图3的(a)的场景时，利用台阶206和路面203的视差信息将离路面的高度作为信息h(米)并与测量时的距离一起保存至视差信息存储部310。之后，若成为图3的(b)的场景的话，则基于自身车辆行进的距离进而读取存储了的路面高度信息，并计算台阶206的离路面203的铅垂方向的像素vh，从而算出该台阶206上的行人202的距离。
在图3的(b)的场景中，在行人B202位于台阶206之上的情况下，成为比路面203的图像上的位置v1高出台阶的高度h的位置。若直接获取行人的脚部的图像上的垂直坐标v2，并且根据该v2坐标的立体区域的路面的视差信息来求出距离的话，则会变为比实际远的距离。在此获得从所述v2坐标减去(降低)了台阶206离路面203的高度的v1坐标。将该v1坐标延伸到立体区域，并且根据该位置的路面的视差信息来求出行人B202的距离。
根据高度h算出图像上的坐标幅度(vh)的方法如下所述。
vh＝h/(zv×wv/f)
但是，zv是从在立体区域240中测量台阶206时的距离减去自身车辆行进了的距离而获得的，wv是相机的1像素的纵向的尺寸，f是焦距。
图4表示推断单眼区域的行人的距离的流程图。首先，通过拍摄部20的右相机22和左相机21拍摄车辆前方的图像(S110)。接下来，根据图2所示的方法，通过视差信息获取部30来根据上述拍摄到的图像生成视差信息(S120)。
接下来，判定自身车辆的移动量是否大于设定值1(S130)。由车辆行为推断部510来推断自身车辆的移动量，基于车速脉冲的车辆的移动距离和方向盘的转角的方向来推断移动量。该设定值1确定因自身车辆前进而导致的立体区域的图像移动到单眼区域的范围，并且相当于图7的纵向的划分区域231的划分宽度。如果在移动范围大于设定值1的情况下，计算划分区域的路面高度(S140)，并将结果存储到视差信息存储部310中(S150)。接下来，通过物体检测部40进行单眼区域的行人检测处理(S180)。
检测行人202的方法没有特别限定，但是在这里使用光流处理作为适用于利用移动中的相机的移动体的检测的方法。在光流处理中，将图像划分成小区域，并且针对每个该小区域求出伴随时间的流逝的移动矢量。图5和图6说明了本实施例中的行人检测方式。
图5表示在单眼区域检测行人的方式的流程图。首先，判定是否已经在单眼区域检测到移动体(即行人)(S300)。如果未检测到，则对于单眼区域进行光流处理(S310)。接下来，判定是否检测到了移动体(S320)。如果通过光流检测到了移动体，则将由光流检测到的移动体的一部分的图像存储为用于在以后的处理使用的检索图像(S330)。
如图6所示，使用该存储的图像来进行来自下一帧的处理负荷较少的基于图案匹配方式的移动体的追踪。将由光流检索到的行人202的一部分的图像存储为检索图像410。从下一帧开始，将检索图像410的图像和单眼区域212的图像进行图案匹配，从而代替光流。根据该方法，在检索图像410中对于1帧检索一次单眼区域的图像212即可，与在所有的帧中进行光流处理的情况相比，可以进行高速处理。此外，由于从作为被检索对象的单眼区域212提取检索图像，所以具有匹配判定变得容易的效果。
返回到图5，当通过S310的光流检测到移动体时，算出该移动体的图像上的位置，即二维位置(S360)。如果未检测到移动体，则作为没有检测到移动体而结束(S380)。如果经过一段时间而获得下一帧的图像，则判断为在S300中已经检测到移动体，并且使用检索图像410通过图案匹配来检索单眼区域(S340)。如果可以检测到图案一致的位置(S350)，则作为有检测到移动体而进入S360。另一方面，如果无法通过图案匹配而检测到移动体，则作为未检测到移动体而结束(S370)。
接下来，返回到图4，判定在S180中是否检测到行人(S200)。在检测到的情况下，根据由非重复区域路面信息推断部520算出的路面高度信息、即包括人行道部分的台阶206的高度信息，算出行人202的距离(S210)。
接下来，作为危险度判定部60的处理，在行人的距离比设定值2更近的情况下，对驾驶员输出注意/警告信号(S230)。该信号被输出到声音、光线或者画面等。进一步地，在行人比设定值3更近的情况下，输出用于使自身车辆的刹车动作的刹车信号(S250)。设定值2和设定值3根据车辆的速度、车辆的能够停止距离来设定。
图7示出了将视差信息存储至视差信息存储部310中的方法。如果对图像全部的视差信息进行存储的话存储数据量会增加，因此在图7中，在纵向上以规定的距离划分立体区域240，并且将每个该划分区域231中的最近部分的路面203和包含台阶206的人行道205的视差存储在视差信息存储部310中。通过这样做，可以减少存储的数据量。另外，也有所存储的信息不是视差信息，而是将人行道部分的高度转换为离路面的高度信息并存储的方法。在该情况下，可以减少从检测行人开始算出该距离为止的计算量，从而可以谋求缩短行人的碰撞危险度的判定时间。
实施例2
接下来，作为第2实施例，对于组合了激光雷达和单眼相机的前向监视***进行说明。
图8示出了使用了激光雷达70和单目相机80的前方监视***的例子。激光雷达70在使一个或多个红外激光器上下左右地扫描的同时，测量该反射时间并对前方的路面、物体进行测距。单眼相机80对前方进行拍摄，并根据该拍摄到的图像识别行人、车辆。
如果激光雷达70的测定范围和单眼相机80的拍摄范围相等，则可以根据激光雷达70的测距数据算出由单眼相机80识别出的行人的距离，但如图9中所示，存在单眼相机80的拍摄范围是广角并且超出激光雷达70的测定范围260的情况。在这样的情况下，即使识别从画面的端部区域212、222跳出的行人，也无法直接测量到该行人的距离。因此，应用基于实施例1中所示的立体相机的跳出行人的测距方式。
由激光雷达70测量的数据被距离信息获取部90处理为三维数据。在图1的视差信息取获取30中，从视差信息转换为距离信息，但在该距离信息获取部90中，获取激光器的各扫描坐标(X、Y)的距离(Z)。如同视差信息存储部310一样，距离信息存储部910存储该距离信息。
对于单眼相机80的图像如同图1那样，在物体检测部40中进行行人的检测。以后进行和实施例1相同的处理。
根据以上的实施例，由于能够准确地测量单眼区域的人行道路面的高度，所以能够准确地推断该人行道路面上的行人的距离，并且能够准确地判定碰撞危险度。此外，在本实施例中，由于能够以与立体区域相同的方式推定单眼区域中的行人的距离，所以与以重复区域作为视角的现有技术相比，可以扩展立体相机装置及前方监视***的有效视角。
符号说明
10 立体相机装置
20 拍摄部
21 左相机
21 右相机
30 视差信息获取部
40 物体检测部
50 物体距离算出部
60 危险度判定部
70 激光雷达
80 单眼相机
90 距离信息获取部
202 行人
203 行驶路面
206 台阶
210 左图像的立体区域
212 左图像的单眼区域
220 右图像的立体区域
222 右图像的单眼区域
240 实际风景的立体区域
310 视差信息存储部
510 车辆行为推断部
520 非重复区域路面信息推断部。

Claims (4)

1.一种立体相机装置，其特征在于，包括：
视差信息获取部，其获取由搭载在车辆上的多个相机拍摄到的多个图像的重复区域的视差信息；
物体距离算出部，其基于过去在所述重复区域中获取到的视差信息，算出在所述各图像中的所述重复区域以外的非重复区域中被检测的物体与所述车辆的距离；以及
路面高度算出部，其基于所述视差信息算出路面高度，
所述物体在与所述重复区域的路面不同高度的所述非重复区域的路面上被检测，
所述物体距离算出部算出到所述非重复区域中被检测的所述物体的距离。
2.根据权利要求1所述的立体相机装置，其特征在于，
包括存储部，其存储由所述路面高度算出部算出的人行道路面的高度信息，
在测量所述人行道路面的高度的图像区域随着车辆的移动而移动至所述非重复区域时，所述物体距离算出部使用存储在所述存储部中的人行道路面的高度信息而修正图像高度方向上的所述物体的位置，并算出所述物体和所述车辆的距离。
3.根据权利要求1所述的立体相机装置，其特征在于，
在所述非重复区域被检测的物体是由光流检测到的移动中的行人，
在下一帧之后，通过图案匹配方式追踪由所述光流检测到的行人。
4.根据权利要求1或2所述的立体相机装置，其特征在于，
按照在铅垂方向上以特定的间隔来分割重复区域而得的区域单位来存储所述视差信息。
CN201680058241.9A 2015-11-25 2016-11-07 立体相机装置 Active CN108351207B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015229272A JP6623044B2 (ja) 2015-11-25 2015-11-25 ステレオカメラ装置
JP2015-229272 2015-11-25
PCT/JP2016/082901 WO2017090410A1 (ja) 2015-11-25 2016-11-07 ステレオカメラ装置

Publications (2)

Publication Number Publication Date
CN108351207A CN108351207A (zh) 2018-07-31
CN108351207B true CN108351207B (zh) 2020-08-14

Family

ID=58764061

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680058241.9A Active CN108351207B (zh) 2015-11-25 2016-11-07 立体相机装置

Country Status (5)

Country Link
US (1) US10501059B2 (zh)
EP (1) EP3382336B1 (zh)
JP (1) JP6623044B2 (zh)
CN (1) CN108351207B (zh)
WO (1) WO2017090410A1 (zh)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6723079B2 (ja) * 2016-06-08 2020-07-15 日立オートモティブシステムズ株式会社 物体距離検出装置
CN109791738B (zh) 2016-10-07 2021-12-21 爱信艾达株式会社 行驶辅助装置以及计算机程序
CN110494416A (zh) 2017-05-15 2019-11-22 旭化成株式会社 异氰酸酯的制造方法
JP7104296B2 (ja) * 2017-08-09 2022-07-21 ミツミ電機株式会社 測距カメラ
JP6983584B2 (ja) * 2017-09-04 2021-12-17 キヤノン株式会社 撮像装置、それを備える測距装置及び車載カメラシステム
JP2019045819A (ja) * 2017-09-07 2019-03-22 キヤノン株式会社 光学系、それを備える撮像装置及び投影装置
JP7025912B2 (ja) 2017-12-13 2022-02-25 日立Astemo株式会社 車載環境認識装置
JP7104294B2 (ja) 2017-12-18 2022-07-21 ミツミ電機株式会社 測距カメラ
DE102018202753A1 (de) * 2018-02-23 2019-08-29 Audi Ag Verfahren zur Ermittlung einer Entfernung zwischen einem Kraftfahrzeug und einem Objekt
WO2019173547A1 (en) * 2018-03-07 2019-09-12 Robert Bosch Gmbh Odometry system and method for tracking traffic lights
WO2019208257A1 (ja) * 2018-04-23 2019-10-31 日立オートモティブシステムズ株式会社 車載カメラ装置
US10556596B2 (en) * 2018-05-31 2020-02-11 Nissan North America, Inc. Driver scoring and safe driving notifications
EP3606032B1 (en) * 2018-07-30 2020-10-21 Axis AB Method and camera system combining views from plurality of cameras
CN110500959A (zh) * 2019-09-29 2019-11-26 中国科学院云南天文台 一种单摄像头口内三维扫描***
JP7225074B2 (ja) * 2019-10-08 2023-02-20 日立Astemo株式会社 物体認識装置
JP7293100B2 (ja) * 2019-12-17 2023-06-19 日立Astemo株式会社 カメラシステム
JP7427487B2 (ja) * 2020-03-24 2024-02-05 キヤノン株式会社 光学装置、車載システム、および移動装置
JP2023076169A (ja) * 2021-11-22 2023-06-01 日立Astemo株式会社 画像処理装置
JP2023079012A (ja) * 2021-11-26 2023-06-07 日立Astemo株式会社 外界認識装置
JP2023078934A (ja) 2021-11-26 2023-06-07 日立Astemo株式会社 外界認識装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000329852A (ja) * 1999-05-17 2000-11-30 Nissan Motor Co Ltd 障害物認識装置
JP2005024463A (ja) * 2003-07-04 2005-01-27 Fuji Heavy Ind Ltd ステレオ広視野画像処理装置
JP2007232593A (ja) * 2006-03-01 2007-09-13 Toyota Motor Corp 物体検出装置
CN101041355A (zh) * 2006-01-19 2007-09-26 通用汽车环球科技运作公司 具有报警修正标准的车道偏离报警和避免***
CN104949619A (zh) * 2014-03-28 2015-09-30 富士重工业株式会社 车辆用立体图像处理装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3596314B2 (ja) * 1998-11-02 2004-12-02 日産自動車株式会社 物体端の位置計測装置および移動体の通行判断装置
JP4893212B2 (ja) * 2006-10-04 2012-03-07 トヨタ自動車株式会社 周辺監視装置
JP5011049B2 (ja) * 2007-09-28 2012-08-29 日立オートモティブシステムズ株式会社 画像処理システム
JP2010079582A (ja) * 2008-09-25 2010-04-08 Toshiba Corp 物体を検出する装置、方法及びプログラム
JP6014440B2 (ja) * 2012-09-26 2016-10-25 日立オートモティブシステムズ株式会社 移動物体認識装置
GB2499694B8 (en) * 2012-11-09 2017-06-07 Sony Computer Entertainment Europe Ltd System and method of image reconstruction

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000329852A (ja) * 1999-05-17 2000-11-30 Nissan Motor Co Ltd 障害物認識装置
JP2005024463A (ja) * 2003-07-04 2005-01-27 Fuji Heavy Ind Ltd ステレオ広視野画像処理装置
CN101041355A (zh) * 2006-01-19 2007-09-26 通用汽车环球科技运作公司 具有报警修正标准的车道偏离报警和避免***
JP2007232593A (ja) * 2006-03-01 2007-09-13 Toyota Motor Corp 物体検出装置
CN104949619A (zh) * 2014-03-28 2015-09-30 富士重工业株式会社 车辆用立体图像处理装置

Also Published As

Publication number Publication date
WO2017090410A1 (ja) 2017-06-01
EP3382336A4 (en) 2020-02-19
JP6623044B2 (ja) 2019-12-18
EP3382336A1 (en) 2018-10-03
US20180281757A1 (en) 2018-10-04
US10501059B2 (en) 2019-12-10
JP2017096777A (ja) 2017-06-01
CN108351207A (zh) 2018-07-31
EP3382336B1 (en) 2024-06-19

Similar Documents

Publication Publication Date Title
CN108351207B (zh) 立体相机装置
JP6440411B2 (ja) 物体検出装置
US10755116B2 (en) Image processing apparatus, imaging apparatus, and device control system
KR101411668B1 (ko) 교정 장치, 거리 측정 시스템, 교정 방법, 및 교정 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체
JP6151150B2 (ja) 物体検出装置及びそれを用いた車両
US9697421B2 (en) Stereoscopic camera apparatus
US11691585B2 (en) Image processing apparatus, imaging device, moving body device control system, image processing method, and program product
CN111295321A (zh) 障碍物检测装置
JP6782433B2 (ja) 画像認識装置
WO2017145605A1 (ja) 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム
US10672141B2 (en) Device, method, system and computer-readable medium for determining collision target object rejection
JP6816401B2 (ja) 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム
JP2009053818A (ja) 画像処理装置及びその方法
JPWO2018179281A1 (ja) 物体検出装置及び車両
JP2010079582A (ja) 物体を検出する装置、方法及びプログラム
KR20190059894A (ko) 카메라 영상에서 대상의 감지
JP2009245042A (ja) 交通流計測装置及びプログラム
JP5056861B2 (ja) 測距装置
Leu et al. High speed stereo vision based automotive collision warning system
JP5717416B2 (ja) 運転支援制御装置
CN112513573B (zh) 立体摄像机装置
JP6416654B2 (ja) 白線検出装置
JP2017049666A (ja) 飛び出し物体検知装置および飛び出し物体検知方法
JP6701738B2 (ja) 視差値導出装置、視差値導出方法及びプログラム
KR20120026200A (ko) 차량용 거리측정 장치 및 거리측정 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: Ibaraki

Patentee after: Hitachi astemo Co.,Ltd.

Address before: Ibaraki

Patentee before: HITACHI AUTOMOTIVE SYSTEMS, Ltd.