CN106170828A - 外界识别装置 - Google Patents

外界识别装置 Download PDF

Info

Publication number
CN106170828A
CN106170828A CN201580019482.8A CN201580019482A CN106170828A CN 106170828 A CN106170828 A CN 106170828A CN 201580019482 A CN201580019482 A CN 201580019482A CN 106170828 A CN106170828 A CN 106170828A
Authority
CN
China
Prior art keywords
image
region
process portion
vehicle
identification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580019482.8A
Other languages
English (en)
Other versions
CN106170828B (zh
Inventor
志磨健
青木利幸
的野春树
门司竜彦
樫村力也
新垣泰仁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Astemo Ltd
Original Assignee
Hitachi Automotive Systems Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Automotive Systems Ltd filed Critical Hitachi Automotive Systems Ltd
Publication of CN106170828A publication Critical patent/CN106170828A/zh
Application granted granted Critical
Publication of CN106170828B publication Critical patent/CN106170828B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/16—Indexing scheme for image data processing or generation, in general involving adaptation to the client's capabilities

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automation & Control Theory (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Electromagnetism (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)

Abstract

本发明获得一种在利用拍摄图像来检测多种对象物时可获得需要的精度的检测结果的外界识别装置。本发明的外界识别装置包括：多个处理部，它们对图像进行图像处理；识别应用存储部，其按对象物的种类而存储多种识别应用，所述识别应用通过由多个处理部中的至少一个处理部加以处理来识别对象物；外部信息获取部，其获取包含外部环境信息或自身车辆行为信息中的至少一方的外部信息；以及选择部，其根据外部信息，从识别应用存储部中选择至少一种识别应用，并从多个处理部中选择用以处理所选择的识别应用的处理部。

Description

外界识别装置
技术领域
本发明涉及一种根据汽车外界的图像信息来检测物体的外界识别装置。
背景技术
关于为了实现车辆的安全行驶而检测车辆周围的危险事态、并且为了规避检测到的危险事态而自动控制车辆的操舵、加速、制动的装置，一直进行着研究开发，且一部分车辆中已有搭载。其中，利用车辆上所搭载的摄像机来检测车辆前方的车辆或行人等障碍物从而对驾驶员发出警报或者进行自动制动的***在车辆的安全性提高方面较为有效。
在利用汽车上所搭载的摄像机的图像来检测汽车周围的障碍物的***中，存在检测对象物的种类增加的倾向，从而必须同时检查多种对象物。因此，在专利文献1中记载有一种共用1个摄像元件而按照时间序列来执行检测多种对象物的处理的方法。此外，在存在进行处理的图像数据随着摄像机的像素数的增加而增加的倾向的情况下，必须利用有限的运算资源来进行检测处理，作为其实现方法，在专利文献2中记载有一种切出用以检测各对象物所需的图像区域来进行处理的方法。
现有技术文献
专利文献
专利文献1：WO2005/006756
专利文献2：日本专利特开2012-222762号公报
非专利文献
非专利文献1：齋藤徹、他：ステレオ画像認識運転支援システムのソフトウェアの開発について、第14回画像センシングシンポジウム講演論文集、IN2-14(2008)(斋藤彻及其他人：关于立体图像识别驾驶支援***的软件的开发，第14届图像感测学术讨论会报告论文集，IN2-14(2008))
非专利文献2：大塚裕史他：“エッジペア特徴空間法を用いた車両検知技術の開発”VIEW2005ビジョン技術の実用化ワークショップ講演論文集pp160-165,2005(大塚裕史及其他人：“使用边缘对特征空间法的车辆检测技术的开发”VIEW2005视觉技术实用化研究会报告论文集pp160-165，2005)
非专利文献3：清原將裕、他：車両周辺監視のための移動体検出技術の開発、ViEWビジョン技術の実利用ワークショップ講演論文集(2011)pp.59-63(清原将裕及其他人：用于车辆周边监视的移动体检测技术的开发，ViEW视觉技术实际运用研究会报告论文集(2011)pp.59-63)
发明内容
发明要解决的问题
专利文献1中所记载的内容是以进行处理的运算装置为1个这一情况为前提，留有如下问题：无法以需要的处理周期对需要的所有对象物进行检测处理。此外，在像专利文献2中所记载的那样限制进行处理的图像区域或分辨率来抑制处理负荷的方法中，在摄像机的个数、摄像机的像素数、对象物的种类有了增加的情况下，无法在需要的图像分辨率下以需要的处理周期进行检测处理，导致无法获得汽车的控制所需的精度的检测结果。
本发明是鉴于上述问题而成，其目的在于提供一种在利用拍摄图像来检测多种对象物时可获得需要的精度的检测结果的外界识别装置。
解决问题的技术手段
解决上述问题的本发明的外界识别装置使用从车辆对外部进行拍摄所得的图像来识别外界，其特征在于，包括：多个处理部，它们对所述图像进行图像处理；识别应用存储部，其按所述对象物的种类而存储多种识别应用，所述识别应用通过由该多个处理部中的至少一个处理部加以处理来识别对象物；外部信息获取部，其获取包含外部环境信息或自身车辆行为信息中的至少一方的外部信息；以及选择部，其根据该外部信息，从所述识别应用存储部中选择至少一种识别应用，并从所述多个处理部中选择用以处理该所选择的识别应用的处理部。
发明的效果
根据本发明，可提供一种在利用拍摄图像来检测多种对象物时可利用有限的构成来获得需要的精度的检测结果的外界识别装置。再者，上述以外的课题、构成及效果将通过以下实施方式的说明来加以明确。
附图说明
图1为说明第1实施方式中的外界识别装置的构成例的图。
图2为表示图像区域切出部的处理流程的图。
图3为表示车辆为低速的情况下的图像的切出方法的图。
图4为表示车辆为低速的情况下的处理时间表的图。
图5为表示车辆为高速的情况下的图像的切出方法的图。
图6为表示车辆为高速的情况下的处理时间表的图。
图7为表示视差计算的处理流程的图。
图8为说明立体摄像机中的左右图像的对应点的图。
图9为说明左右图像的对应点的求法的图。
图10为说明在立体摄像机中利用视差来算出距离的方法的图。
图11为说明第1实施方式中的外界识别装置的其他构成例的图。
图12为说明第1实施方式中的外界识别装置的其他构成例的图。
图13为说明第2实施方式中的外界识别装置的构成例的图。
图14为说明第2实施方式中的外界识别装置的其他构成例的图。
具体实施方式
接着，下面将使用附图，对本发明的实施方式进行说明。
[第1实施方式]
在本实施方式中，对将本发明的外界识别装置运用于如下***的情况进行说明：可使用车辆上所搭载的立体摄像机的图像来同时执行自身车辆前方的车辆检测、行人检测、道路标识识别作为识别应用。
首先，使用图1，对本实施方式中的外界识别装置的概要进行说明。
图1为实现本发明的装置的框图。立体摄像机100自搭载有立体摄像机100的车辆对车辆前方进行拍摄，具有对部分重复的范围进行拍摄的左右一对左摄像部101及右摄像部102。立体摄像机100是通过包括运算装置和ROM、RAM等存储装置的微型计算机等硬件与由硬件加以处理的软件程序的协作来构成的，作为其内部功能，包括图像区域切出部103、多个存储部105、106、107以及多个运算装置(处理部)108～111。
并且包括：未图示的识别应用存储部，其按对象物的种类而存储多种识别应用，所述识别应用通过由多个运算装置108～111中的至少一个运算装置加以处理来识别对象物；以及外部信息获取部，其获取包含外部环境信息或自身车辆行为信息中的至少一方的外部信息。外部信息包括：自身车辆行为信息，其表示自身车辆速度或灯具是否点亮、有无雨刮动作等自身车辆的行为；以及外部环境信息，其表示从汽车导航的地图信息中获取到的道路种类、道路周边的城市化程度(城市内、城市间)等外部环境。
图像区域切出部103切出由左摄像部101、右摄像部102拍摄到的图像的一部分区域，并将其图像数据传送至多个存储部105、106、107中的至少一方。图像区域切出部103使用外部信息来确定切出由左右摄像部101、102拍摄到的图像的哪一区域以及使用哪一存储部和运算装置来处理图像。图像区域切出部103包括具有存储部及运算装置选择功能的选择部104，根据外部信息，从识别应用存储部中选择至少一种识别应用，并从多个处理部中选择用以处理该所选择的识别应用的处理部。继而，根据该所选择的识别应用，从多个存储部中选择使其存储图像数据的至少一个存储部。由图像区域切出部103切出的图像区域的图像数据被传送至多个存储部即第1存储部105、第2存储部106、第3存储部107中的至少一方而加以存储。
已传送至第1存储部105、第2存储部106、第3存储部107的图像数据在第1运算装置108、第2运算装置109、第3运算装置110中进行处理。第1运算装置108是以对图像失真修正和左右摄像机图像的视差算出处理进行高速运算的方式硬件化而成的专用运算装置，由第1运算装置108处理得到的结果被传送至第2存储部106、第3存储部107，由第2运算装置109、第3运算装置110进一步加以识别处理，可识别作为规定的识别对象物的前方的车辆、行人、道路标识。此外，同时，在第2运算装置109、第3运算装置110中，还可进行如下处理：不使用由第1运算装置108计算出来的视差算出结果，而是直接处理图像数据来识别作为规定的识别对象物的前方的车辆、行人、道路标识。
由第2运算装置109、第3运算装置110识别出来的结果被传送至第4运算装置111。在第4运算装置111中，使用作为前方的车辆、行人、道路标识的识别结果的识别对象物的有无、到识别对象物的相对距离、相对加速度等信息来计算对自身车辆进行自动控制的加减速度量、操舵量，并对自身车辆的控制装置发出控制指示。此外，在第4运算装置111中，使用作为前方的车辆、行人、道路标识的识别结果的识别对象物的有无、到识别对象物的相对距离、相对加速度等信息来确定对自身车辆的驾驶员发出警告的内容，并将确定好的警告内容传送至自身车辆的计量器(メータ)装置，通过计量器上的警告显示、语音等来警告驾驶员。在本实施方式中，图1中所记载的所有部分101～111均安装在立体摄像机100中。
此处，运算装置108、109、110中，运算装置108设为专用运算装置(ASIC或FPGA)，运算装置109设为1个通用运算装置，运算装置110设为另1个通用运算装置，整体搭载有3个处理装置。作为另一构成例，也可设为如下构成：运算装置108为专用运算装置(ASIC或FPGA)，运算装置109为1个通用运算装置内的1个运算核心，运算装置110为相同通用运算装置内的另1个运算核心，整体搭载有2个处理装置。作为又一构成例，也可设为如下构成：整体为单芯片的运算装置，在1个运算装置中封装有运算装置108(ASIC或FPGA)、运算装置109(1个运算核心)、运算装置110(另1个运算核心)。
接着，下面将使用图2，对由立体摄像机100的图像区域切出部103进行的处理进行说明。
图2为由图像区域切出部103进行的处理流程。首先，在外部信息读入处理201中，从立体摄像机100的外部获取外部信息，该外部信息包含自身车辆速度等自身车辆行为信息，以及从汽车导航的地图信息中获取到的道路种类、道路周边的城市化程度(城市内、城市间)等外部环境信息(外部信息获取部)。继而，在时间表读入处理202中，根据在外部信息读入处理201中获取到的外部信息，读入包含存储部及运算装置选择功能的时间表。此处，所谓时间表，是指与要执行的识别应用以及执行的时刻、左摄像部101、右摄像部102的曝光时间、曝光时刻，图像区域从由左摄像部101、右摄像部102获取到的左右图像中的切出，切出的图像区域朝存储部105、106、107的传送方法有关的时间序列的时间表。该时间表预先存储在立体摄像机100的ROM等存储装置中。关于时间表读入处理202的详情，将于后文叙述。
接着，在曝光时间及时刻发送处理203中，将在时间表读入处理202中读入的左摄像部101和右摄像部102的曝光时间和曝光时刻发送至控制左摄像部101和右摄像部102的摄像的控制器。继而，在左图像读入处理204中，根据在曝光时间及时刻发送处理203中发送的信息，读入由左摄像部101拍摄到的左图像的图像数据。而后，在左图像传送处理205中，根据在时间表读入处理202中读入的存储部及运算装置选择时间表，将在左图像读入处理204中读入的左图像的图像数据传送至存储部105、106、107中的规定存储部。接着，在右图像读入处理206中，根据在曝光时间及时刻发送处理203中发送的信息，读入由右摄像部102拍摄到的右图像的图像数据。继而，在右图像传送处理207中，根据在时间表读入处理202中读入的存储部及运算装置选择时间表，将在右图像读入处理206中读入的右图像的图像数据传送至存储部105、106、107中的规定存储部。
例如，在图2的外部信息读入处理201中读入的外部信息中自身车辆速度为低速、从汽车导航的地图信息中获取到的道路种类为狭窄道路、道路周边的城市化程度为城市内(市区)的情况(以下记作事例1)下，预料行人会窜出到车辆前方。因而，前方的车辆检测、行人检测、道路标识识别中，行人检测的优先度最高，而其中优先度最高的又是从左右窜出的行人的检测，前方的车辆检测的处理设为第2优先度。再者，道路标识识别因优先度较低，因此在这样的外部信息的情况下不予执行。根据这些优先度，确定切出的图像朝存储部105、106、107的传送方法。
此外，例如，在图2的外部信息读入处理201中读入的外部信息中自身车辆速度为高速、从汽车导航的地图信息中获取到的道路种类为高速公路的情况(以下记作事例2)下，用以进行前方车辆跟随功能(ACC：Adaptive Cruse Control(自适应巡航控制))的前方的车辆检测处理和超速的警报为重要应用，且行人存在于高速公路内的可能性较低。因而，车辆检测、行人检测、道路标识识别中，车辆检测的优先度最高，标识识别的处理设为第2优先度，行人检测因优先度较低而不予执行。根据这些优先度，确定切出的图像朝存储部105、106、107的传送方法。
接着，对在时间表读入处理202中读入的时间表进行说明。
首先，使用图3，对左右图像的切出进行说明。在图3中，符号301表示由左摄像部101拍摄到的左图像，符号302表示由右摄像部102拍摄到的右图像。立体摄像机100中，由于左摄像部101和右摄像部102是隔着一定距离(基线长度)来设置的，因此有左摄像部101和右摄像部102拍摄到了相同对象物的重叠部分305、仅由左摄像部101拍摄到的部分306、仅由右摄像部102拍摄到的部分307。
在该情况下，从左图像301中切出而使用的图像为如下区域：左右图像的重叠部分305的一部分图像切出区域303即左图像重复切出区域，以及，仅由左摄像部101拍摄到的部分306的图像切出区域304即左图像单独切出区域(左图像单独区域)。并且，从右图像302中切出而使用的图像为如下区域：左右图像的重叠部分305的图像切出区域303即右图像重复切出区域，以及，仅由右摄像部102拍摄到的部分307的图像切出区域310即右图像单独切出区域(右图像单独区域)。
关于左图像301与右图像302的图像切出区域303，切出区域左上方的图像座标308设为(uS1,vS1)，切出区域右下方的图像座标309设为(uE1,vE1)，图像的采样率(間引き率)设为D1。此处，在采样率D1为1的情况下，采集图像切出区域1的全部像素，例如，在采样率为1/2的情况下，纵横每隔1像素而采集图像，在采样率为1/3的情况下，纵横每隔2像素而采集图像。
作为左图像301与右图像302的图像切出区域303的左图像重复切出区域和右图像重复切出区域在后级的识别处理中用作检测前方的车辆的图像。左图像301的图像切出区域304即左图像单独切出区域和右图像302的图像切出区域310即右图像单独切出区域也一样，根据切出区域左上方的图像座标、切出区域右下方的图像座标、图像采样率来采集图像。左图像单独切出区域和右图像单独切出区域的图像在后级的识别处理中用作检测从自身车辆前方的左右窜出的行人的图像。
接着，使用图4，对与左摄像部101、右摄像部102的曝光时间和曝光时刻以及切出的图像朝存储部105、106、107的传送方法有关的时间序列的时间表进行说明。
图4为表示在外部信息读入处理201中读入的外部信息中自身车辆速度为低速、从汽车导航的地图信息中获取到的道路种类为狭窄道路、道路周边的城市化程度为城市内(市区)的情况(事例1)下的时间表的图。
在图4中，纵轴401表示时刻，横轴412表示立体摄像机100内的各个装置(左摄像部101、右摄像部102、第2存储部106、第1存储部105、第3存储部107、第1运算装置108、第2运算装置109、第3运算装置110)，在横轴412的下方记载有与时刻401相应的动作。此处，第1运算装置108是以对图像失真修正、左右摄像机图像的视差算出处理进行高速运算的方式硬件化而成的专用运算装置，第3运算装置110设为能够高速进行软件处理的通用运算装置，第2运算装置109设为处理速度比第3运算装置110慢的通用运算装置。
首先，以在图2的图像区域切出部103的处理流程的曝光时间及时刻读入处理203中被送至左摄像部101和右摄像部102的曝光时间和时刻(t1)来执行曝光402、403。通过曝光402而由左摄像部101拍摄到的左图像的图像数据以及通过曝光403而由右摄像部102拍摄到的右图像的图像数据中，仅图3的图像切出区域303被分别切出而送至第1存储部105。
第1存储部105是附属于第1运算装置108的存储器。被送至第1存储部105的图像切出区域303的图像数据406在第1运算装置108中在时刻t2的时刻被执行视差计算407，其计算结果的输出即视差图像408被送至第3存储部107。关于视差计算的方法，将于后文叙述。第3存储部107是附属于第2运算装置109、第3运算装置110的存储器。第3存储部107中所保持的视差图像408被送至第2运算装置109。第2运算装置109在时刻t3的时刻执行检测自身车辆前方的车辆的车辆检测处理。
视差与距自身车辆(立体摄像机100)的距离的信息等价，要检测自身车辆前方的车辆，首先针对将视差图像纵向分割而成的每一区块，逐一提取处于最接近自身车辆的位置的距离作为代表值，对该代表值中接近的距离数据彼此进行分组，将一定以上的大小的群组作为立体物。此外，另行推定自身车辆所行驶的行驶平面，根据行驶平面检测处于上部的立体物。关于该立体物的提取的处理，在非专利文献1「齋藤徹、他：ステレオ画像認識運転支援システムのソフトウェアの開発について、第14回画像センシングシンポジウム講演論文集、IN2-14(2008)」(斋藤彻及其他人：关于立体图像识别驾驶支援***的软件的开发，第14届图像感测学术讨论会报告论文集，IN2-14(2008))中有记载。继而，根据检测到的立体物的大小和形状，判定检测到的立体物是否为车辆。
关于是否为车辆的判定，还要利用第1存储部105中所保持的图像数据406而根据图像的浓淡图案信息来判定。因此，还要从第1存储部105中将图像数据406发送至第2运算装置109。要利用图像的浓淡图案信息来判定是否为车辆，可利用非专利文献2「大塚裕史他：“エッジペア特徴空間法を用いた車両検知技術の開発”VIEW2005ビジョン技術の実用化ワークショップ講演論文集pp160-165,2005」(大塚裕史及其他人：“使用边缘对特征空间法的车辆检测技术的开发”VIEW2005视觉技术实用化研究会报告论文集pp160-165，2005)的方法。
另一方面，通过曝光402而由左摄像部101拍摄到的图像数据中，仅切出图3的左图像301的图像切出区域304而送至第2存储部106，通过曝光403而由右摄像部102拍摄到的图像数据中，仅切出图3的右图像302的图像切出区域310而送至第2存储部106。第2存储部106是附属于第3运算装置110的存储器，在时刻t1的时刻，将第2存储部106中所保持的左图像301的图像切出区域304和右图像302的图像切出区域310的图像数据404、以及在时刻t1的1周期前的时刻拍摄且保持在第2存储部106中的左图像301的图像切出区域304和右图像302的图像切出区域310的图像数据405送至第3运算装置110。
在第3运算装置110中，计算接收到的时间序列的图像数据405与404的差分，在时刻t2的时刻执行如下处理：检测在左图像单独切出区域304、右图像单独切出区域310内朝图像中央方向移动的物体(从自身车辆前方的左右窜出的行人)。要利用时间序列的图像来检测物体发生了移动的部分，首先算出在时间序列中连续的图像的光流。光流是已确立的公知技术，可通过对2帧图像进行比较，鉴别2个图像各自所包含的相同物体来算出。
此外，由于自身车辆在移动而导致移动物体以外的背景也在移动，因此必须从图像上发生变化而物体发生了移动的部分中提取表示与伴随车辆的移动的背景的移动不一样的移动的部分。要检测伴随车辆的移动的背景的移动，利用车辆的速度、横摆率等车辆信息和摄像机的内部参数(摄像元件的单元尺寸、焦距、失真参数)、外部参数(摄像机的设置高度、俯角、转动角度)等几何条件来推定背景的移动。
背景的移动的推定在非专利文献3「清原將裕、他：車両周辺監視のための移動体検出技術の開発、ViEWビジョン技術の実利用ワークショップ講演論文集(2011)pp.59-63」(清原将裕及其他人：用于车辆周边监视的移动体检测技术的开发，ViEW视觉技术实际运用研究会报告论文集(2011)pp.59-63)中有记载。继而，从图像上发生变化而物体发生了移动的部分中消除背景的移动来提取表示与伴随车辆的移动的背景的移动不一样的移动的部分，并从中将具有一定范围内的大小的部分作为从自身车辆前方的左右窜出的行人。由此，可检测相对于自身车辆前方而位于左右两侧的行人。
此外，在第3运算装置110中，还利用第3存储部107中所保持的视差图像408和第1存储部105中所保持的图像数据406，在时刻t3的时刻执行检测自身车辆前方的行人的处理。要检测行人，可利用与前文所述的车辆检测410相同的方法，根据检测到的立体物的大小和形状来判定检测到的立体物是否为行人。因而，可检测自身车辆前方的前进道路上的行人。
接着，对自身车辆速度为高速、从汽车导航的地图信息中获取到的道路种类为高速公路的情况(事例2)下的时间表进行说明。首先，使用图5，对事例2中的左右图像的切出进行说明。
在图5中，对与图3相同的构成要素标注同一符号，由此省略其详细说明。在该情况下，从左图像301中切出而使用的图像为如下区域：左右图像的重叠部分305的一部分图像区域501即左图像重复切出区域，以及，从仅由左摄像部101拍摄到的部分306跨越至与右图像302重复拍摄到的部分305的图像区域502即左图像部分重复区域。并且，从右图像302中切出而使用的图像为如下区域：左右图像的重叠部分305的一部分图像区域503即右图像重复切出区域，以及，从仅由右摄像部102拍摄到的部分307跨越至与左图像301重复拍摄到的部分305的图像区域503即右图像部分重复区域。
在左图像301与右图像302的图像切出区域501内，切出区域左上方的图像座标504设为(uS2,vS2)，切出区域右下方的图像座标505设为(uE2,vE2)，图像的采样率设为D2。此处，在采样率D2为1的情况下，采集图像切出区域1的全部像素，例如，在采样率为1/2的情况下，纵横每隔1像素而采集图像，在采样率为1/3的情况下，纵横每隔2像素而采集图像。作为左图像301与右图像302的图像切出区域501的左图像重复切出区域和右图像重复切出区域在后级的识别处理中用作检测前面远方的车辆的图像。
左图像301的图像切出区域502即左图像部分重复区域和右图像302的图像切出区域503即右图像部分重复区域也一样，根据切出区域左上方的图像座标、切出区域右下方的图像座标、图像采样率来采集图像。左图像部分重复区域和右图像部分重复区域的图像在后级的识别处理中用作识别自身车辆前方的道路标识的图像。
接着，使用图6，对与左摄像部101、右摄像部102的曝光时间和曝光时刻以及切出的图像朝存储部105、106、107的传送方法有关的时间序列的时间表进行说明。
图6为表示事例2的时间表，即，自身车辆速度为高速、从汽车导航的地图信息中获取到的道路种类为高速公路的情况下的时间表的图。
在图6中，纵轴601表示时刻，横轴602表示立体摄像机100内的各个装置(左摄像部101、右摄像部102、第2存储部106、第1存储部105、第3存储部107、第1运算装置108、第2运算装置109、第3运算装置110)，在横轴602的下方记载有与时刻601相应的动作。此处，第1运算装置108是以对图像失真修正、左右摄像机图像的视差算出处理进行高速运算的方式硬件化而成的专用运算装置，第3运算装置110设为能够高速进行软件处理的通用运算装置，第2运算装置109设为处理速度比第3运算装置110慢的通用运算装置。
首先，以在图2的图像区域切出部103的处理流程的曝光时间及时刻读入处理203中被送至左摄像部101和右摄像部102的曝光时间和时刻(t1)来执行曝光603、604。进行曝光603而由左摄像部101拍摄到的图像数据和进行曝光604而由右摄像部102拍摄到的图像数据中，仅图5的图像切出区域501被分别切出而送至第1存储部105。
第1存储部105是附属于运算装置1的存储器。被送至第1存储部105的图像切出区域501的图像数据609在第1运算装置108中在时刻t2的时刻被执行视差计算611，其计算结果的输出即视差图像610被送至第3存储部107。关于视差计算的方法，将于后文叙述。第3存储部107是附属于第2运算装置109的存储器。第3存储部107中所保持的视差图像610被送至第3运算装置110，在第3运算装置110中在时刻t3的时刻执行检测自身车辆前方的车辆的处理。检测车辆前方的车辆的方法与前文所述的图4的车辆检测处理410相同。
接着，以在图2的图像区域切出部103的处理流程的曝光时间及时刻读入处理203中被送至左摄像部101和右摄像部102的曝光时间和时刻(t2)进行曝光605、606。曝光603、604用以获得检测前方的车辆的图像，曝光605、606用以获得识别道路标识的图像。因而，将曝光605、606的曝光时间设定得比曝光603、604的曝光时间长。
进行曝光605而由左摄像部101拍摄到的图像中，仅提取图5的图像切出区域502的图像区域并将其图像数据送至第2存储部106。并且，进行曝光606而由右摄像部102拍摄到的图像中，仅提取图5的图像切出区域503的图像区域并将其图像数据送至第2存储部106。
第2存储部106是附属于第2运算装置109的存储器，将第2存储部106中所保持的左右的图像数据607、以及在时刻t2的1周期前的时刻拍摄且保持在第2存储部106中的图像切出区域502和图像切出区域503这部分的图像数据608送至第2运算装置109。
在第2运算装置109中，使用接收到的图像数据607，在时刻t3的时刻执行识别图像区域内的标识的处理。要识别标识，首先从图像中检测圆形状的边缘，作为存在标识的部位的候选，并针对该候选进行机器学习，利用机器学习结果来进行其他类别的识别处理，识别候选部位中的文字或数字。此外，利用自身车辆的速度、横摆率的信息，预测与使用图像数据607而识别出来的标识相同的图像图案处于1周期前所拍摄到的图像数据608的哪一位置，计算预测出来的位置的图像图案与利用图像数据607而识别出来的标识的图像图案的类似度，在类似度较高的情况下，将利用图像数据607而识别出来的标识确定为识别结果。
此处，在图4和图6中的时间表中，对各应用(车辆检测、行人检测、标识检测、车道识别)的处理优先顺序进行叙述。图4中，由于在图2的外部信息读入处理201中读入的外部信息中自身车辆速度为低速、从汽车导航的地图信息中获取到的道路种类为狭窄道路、道路周边的城市化程度为城市内(市区)，因此按照处理优先度从高到低的顺序设为行人检测、车辆检测、标识检测、车道识别的顺序。在图4中，表示有其中的行人检测和车辆检测的处理的时间表，而剩下的标识检测、车道识别是在第2运算装置109和第3运算装置110的处理的空闲时间内实施。
此外，在图6中，由于在图2的外部信息读入处理201中读入的外部信息中自身车辆速度为高速、从汽车导航的地图信息中获取到的道路种类为高速公路，因此按照处理优先度从高到低的顺序设为车辆检测、标识检测、车道识别、行人检测的顺序。在图6中，表示有其中的车辆检测和标识检测的处理的时间表，而剩下的车道识别、行人检测是在第2运算装置109和第3运算装置110的处理的空闲时间内实施。
＜视差算出方法＞
接着，使用图7的流程图，对图4的407和图6的611中所执行的视差算出处理的方法进行说明。
在图7的流程图中，首先，在左图像输入处理901中，接收由左摄像部101拍摄到的图像数据。接着，在右图像输入处理902中，接收由右摄像部102拍摄到的图像数据。此处，也能以并行处理的方式同时进行左图像输入处理901和右图像输入处理902。
接着，在对应点算出处理903中，对在左图像输入处理901和右图像输入处理902中获取到的左右2张图像进行比较，确定拍摄到了同一物体的部分。即，如图8所示，当利用立体摄像机100拍摄处于行驶道路上的对象物即物体1001时，由左方的摄像部101和右方的摄像部102拍摄到的图像分别成为左图像1002、右图像1003的样子。此处，同一物体1001在左图像1002中被拍摄至1004的位置、在右图像1003中被拍摄至1005的位置，在图像的横向上产生d1的偏差，因此，必须确定被拍摄到了左图像1002的1004的物体被拍摄到了右图像1003何处。
接着，使用图9，对确定左图像1002中所拍摄到的特定的物体被拍摄到了右图像1003的何处的方法进行说明。
在图9中，关于左图像、右图像的座标系，将横向设为u轴1101，将纵向设为v轴1102。首先，在左图像1002中，利用uv座标系来设定由(u1,v1)、(u1,v2)、(u2,v1)、(u2,v2)围成的矩形区域1103。
接着，在右图像1003中，以使U的值从u＝0增加至u＝u3的方式使由(U,v1)、(U,v2)、(U+(u2－u1),v1)、(U+(u2－u1),v2)围成的区域朝图像的右方扫描至该矩形区域1104为止。扫描时，对矩形区域1103内的图像与矩形区域1104内的图像的相关值进行比较，认为与矩形区域1103中所拍摄到的物体相同的物体被拍摄到了与左图像1002的矩形区域1103的相关性最高的右图像1003的矩形区域1105的位置(u4,v1)、(u4,v2)、(u4+(u2－u1),v1)、(u4+(u2－u1),v2)。此处，认为矩形区域1103内的各像素与矩形区域1105内的各像素相对应。此处，在扫描右图像1003的矩形区域1104时，在没有相关值达到一定以上的值的矩形的情况下，认为没有与左图像1002的矩形区域1103相对应的右图像1003内的对应点。
接着，将左图像1002的矩形区域挪动至1106的位置，进行同样的处理。如此，在整个左图像1002内扫描左图像1002的矩形区域，针对左图像1002的全部像素而求右图像1003内的对应点。在未找到对应点的情况下，认为无对应点。
接着，在图7的流程图中，进行距离算出处理904。此处，视差与距离等价，在该处理中，从视差数据转换为距离数据。
在距离算出处理904中，针对在前文所述的对应点算出处理903中求出的、拍摄到了同一物体的左图像1002与右图像1003的对应点，算出各对应点距立体摄像机100处于何种程度的距离的位置。
首先，使用图10，对算出左图像1002与右图像1003的对应点1201距摄像机的距离的方法进行说明。
在图10中，左摄像部101为由透镜1202和摄像面1203构成的焦距f、光轴1208的摄像机，右摄像部102为由透镜1204和摄像面1205构成的焦距f、光轴1209的摄像机。处于摄像机前方的点1201被拍摄至左摄像部101的摄像面1203的点1206(与光轴1208相距d2的距离)，在左图像1002中成为点1206(与光轴1208相距d4像素的位置)。同样地，处于摄像机前方的点1201被拍摄至右摄像部102的摄像面1205的点1207(与光轴1209相距d3的距离)，在右图像1003中成为点1207(与光轴1209相距d5像素的位置)。
如此，同一物体的点1201在左图像1002中被拍摄至自光轴1208左移d4像素的位置、在右图像1003中被拍摄至自光轴1209右移d5的位置，产生d4+d5像素的视差。因此，若将左摄像部101的光轴1208与点1201的距离设为x，则可通过下式来求立体摄像机100到点1201的距离D。
根据点1201与左方摄像部101的关系，d2：f＝x：D
根据点1201与右方摄像部102的关系，d3：f＝(d－x)：D
因而，D＝f×d/(d2+d3)＝f×d/{(d4+d5)×a}。此处，a为摄像面1203、1205的摄像元件的尺寸。
针对在前文所述的对应点算出处理903中算出的所有对应点而实施以上所述的距离算出。结果，可求出表现出立体摄像机100到对象物的距离的距离图像，距离图像与视差图像可等价处理。
在本发明中，考虑到检测对象物的识别应用所需要的图像分辨率、图像区域、处理周期，而具有从多个处理部和存储部中选择要使用的处理部和存储部的选择功能，选择功能中，带有与基于自身车辆所行驶的道路种类等外部环境信息、自身车辆的速度等自身车辆行为信息等外部信息的使用运算装置和存储装置的时刻有关的信息。
根据本发明，由于根据外部信息来选择需要的识别应用，并选择用以执行该识别应用的运算装置和存储部，因此，可利用有限的存储装置、运算装置以需要的精度(处理周期、图像区域、图像分辨率)处理需要的多种识别应用。
＜其他构成例＞
图11、图12为说明第1实施方式的其他构成例的框图。
与图1所示的构成例的不同点在于，第4运算装置111内置于车辆控制运算装置1301中。外界识别装置由立体摄像机100和车辆控制运算装置1301构成。图12所示的构成例与图1所示的构成例的不同点在于，第2运算装置109和第3运算装置110由单芯片化的多核心构成。运算装置1601为具有2个运算核心(第2运算装置109、第3运算装置110)的多核心CPU。本发明的外界识别装置并不限定于图1所示的构成，例如可像上述图11、图12所示的构成那样进行各种变更。
[第2实施方式]
接着，下面将使用图13，对本发明的第2实施方式进行说明。
在本实施方式中，特征之处在于设为如下构成：将对车辆的前后左右进行拍摄的4台摄像机连接至立体摄像机，从而检测车辆全周围的行人。摄像机1401、摄像机1402、摄像机1403、摄像机1404是安装在车辆上的单镜头摄像机，分别设置在车辆的前后左右。由立体摄像机100的左摄像部101、右摄像部102拍摄到的图像和由摄像机1401、摄像机1402、摄像机1403、摄像机1404拍摄到的图像被送至图像区域切出部103。
在图像区域切出部103中，切出由左摄像部101、右摄像部102、摄像机1401、摄像机1402、摄像机1403、摄像机1404拍摄到的图像的一部分区域并传送至第1存储部105、第2存储部106、第3存储部107。
在第2运算装置109、第3运算装置110中，使用或者不使用由第1运算装置108计算出来的视差计算结果，进行识别作为规定的识别对象物的前方的车辆、行人、道路标识或者车辆全周围的行人的处理。
在本实施方式中，除摄像机1401、摄像机1402、摄像机1403、摄像机1404以外的图1中所记载的部分101～111被安装在立体摄像机100中。对车辆的周围进行拍摄的摄像机并不限定于摄像机1401、摄像机1402、摄像机1403、摄像机1404这4台，也可为任1个或2个或3个。
＜其他构成例＞
图14为说明第2实施方式的其他构成例的框图。
与图13所示的构成例的不同点在于，将立体摄像机100的构成仅设为左摄像部101及右摄像部102，且在车辆控制运算装置1501中设置有图像区域切出部103～第4运算装置111的构成。
由立体摄像机100的左摄像部101、右摄像部102拍摄到的图像和由摄像机1401、摄像机1402、摄像机1403、摄像机1404拍摄到的图像被送至车辆控制运算装置1501的图像区域切出部103。
在该构成例中，除立体摄像机100、摄像机1401、摄像机1402、摄像机1403、摄像机1404以外的图13中所记载的部分103～111被安装在车辆控制运算装置1501中，整体上由立体摄像机100、摄像机1401、摄像机1402、摄像机1403、摄像机1404、车辆控制运算装置1501这6个壳体构成。本发明的外界识别装置并不限定于图13所示的构成，例如可像上述图14所示的构成那样进行各种变更。
以上，对本发明的实施方式进行了详细叙述，但本发明并不限定于所述实施方式，可在不脱离权利要求内所记载的本发明的精神的范围内进行各种设计变更。例如，所述实施方式是为了以易于理解的方式对本发明进行说明而做的详细说明，并非一定限定于包括说明过的所有构成。此外，可将某一实施方式的构成的一部分替换为其他实施方式的构成，此外，也可对某一实施方式的构成加入其他实施方式的构成。进而，可对各实施方式的构成的一部分进行其他构成的追加、删除、替换。
符号说明
100 立体摄像机
101 左摄像部
102 右摄像部
103 图像区域切出部
104 选择部
105 第1存储部
106 第2存储部
107 第3存储部
108 第1运算装置
109 第2运算装置
110 第3运算装置
111 第4运算装置。

Claims (12)

1.一种外界识别装置，其使用从车辆对外部进行拍摄所得的图像来识别外界，该外界识别装置的特征在于，包括：
多个处理部，它们对所述图像进行图像处理；
识别应用存储部，其按所述对象物的种类而存储多种识别应用，所述识别应用通过由该多个处理部中的至少一个处理部加以处理来识别对象物；
外部信息获取部，其获取包含外部环境信息或自身车辆行为信息中的至少一方的外部信息；以及
选择部，其根据该外部信息，从所述识别应用存储部中选择至少一种识别应用，并从所述多个处理部中选择用以处理该所选择的识别应用的处理部。
2.根据权利要求1所述的外界识别装置，其特征在于，包括：
图像区域切出部，其根据由所述选择部选择的所述识别应用来切出所述图像的至少一部分的图像区域；以及
多个存储部，它们可存储所述图像区域的图像数据，
所述选择部根据所述所选择的识别应用，从所述多个存储部中选择存储所述图像区域的图像数据的至少一个存储部。
3.根据权利要求2所述的外界识别装置，其特征在于，所述外部环境信息为车辆所行驶的道路的道路种类。
4.根据权利要求3所述的外界识别装置，其特征在于，所述识别应用包括行人检测、车辆检测、车道检测、道路标识识别中的至少1种或多种。
5.根据权利要求4所述的外界识别装置，其特征在于，包括对车辆前方进行拍摄的左右一对摄像部，
所述多个处理部包括：第1处理部，其进行由所述一对摄像部拍摄到的图像的失真修正和视差计算中的至少一种处理；第2处理部，其以规定的处理速度处理所述识别应用；以及第3处理部，其以比该第2处理部快的处理速度处理所述识别应用。
6.根据权利要求5所述的外界识别装置，其特征在于，在由所述外部信息获取部获取到所述车辆正以低速在市区的狭窄道路上行驶这一外部信息的情况下，
所述选择部从所述多种识别应用中选择车辆检测和行人检测，
并选择所述第1处理部作为计算视差的处理部，选择所述第2处理部作为根据由该第1处理部算出的视差来执行所述车辆检测的处理部，选择所述第3处理部作为执行所述行人检测的处理部。
7.根据权利要求6所述的外界识别装置，其特征在于，所述图像区域切出部从由所述一对摄像部拍摄到的左图像和右图像中切出相互重复的部分即左图像重复区域及右图像重复区域、仅左图像中所拍摄到的部分即左图像单独区域、仅右图像中所拍摄到的部分即右图像单独区域，
所述第1处理部使用所述左图像重复区域的图像数据以及右图像重复区域的图像数据来算出视差，
所述第2处理部根据所述视差来执行所述车辆检测，
所述第3处理部利用所述左图像重复区域、所述右图像重复区域、所述左图像单独区域、所述右图像单独区域的各图像数据来执行所述行人检测。
8.根据权利要求7所述的外界识别装置，其特征在于，包括对车辆的周围进行拍摄的至少一个或多个单镜头摄像部，
所述图像区域切出部从由所述单镜头摄像部拍摄到的车辆周围图像中切出图像单独区域，
所述第3处理部利用所述图像单独区域的图像数据来执行所述行人检测。
9.根据权利要求7所述的外界识别装置，其特征在于，所述多个存储部包括：第1存储部，其存储所述左图像重复区域和所述右图像重复区域的图像数据；第2存储部，其存储所述左图像单独区域和所述右图像单独区域的图像数据；以及第3存储部，其存储具有由所述第1处理部算出的视差的视差图像。
10.根据权利要求5所述的外界识别装置，其特征在于，在由所述外部信息获取部获取到所述车辆正在高速公路上行驶这一外部信息的情况下，
由所述选择部从所述多种识别应用中选择车辆检测和道路标识识别，
并由所述选择部选择所述第1处理部作为算出视差的处理部，选择所述第3处理部作为根据由该第1处理部算出的视差来执行所述车辆检测的处理部，选择所述第2处理部作为执行所述道路标识识别的处理部。
11.根据权利要求10所述的外界识别装置，其特征在于，所述图像区域切出部从由所述一对摄像部拍摄到的左图像和右图像中切出相互重复的图像区域即左图像重复区域及右图像重复区域、从仅左图像中所拍摄到的部分跨越至与右图像重复拍摄到的部分的图像区域即左图像部分重复区域、从仅右图像中所拍摄到的部分跨越至与左图像重复拍摄到的部分的图像区域即右图像部分重复区域，
所述第1处理部使用所述左图像重复区域和所述右图像重复区域的图像数据来算出视差，
所述第3处理部根据所述视差来执行所述车辆检测，
所述第2处理部利用所述左图像部分重复区域和右图像部分重复区域的图像数据来执行所述道路标识识别。
12.根据权利要求11所述的外界识别装置，其特征在于，所述多个存储部包括：第1存储部，其存储所述左图像重复区域和所述右图像重复区域的图像数据；第2存储部，其存储所述左图像部分重复区域和所述右图像部分重复区域的图像数据；以及第3存储部，其存储具有由所述第1处理部算出的视差的视差图像。
CN201580019482.8A 2014-04-24 2015-03-25 外界识别装置 Active CN106170828B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014-090494 2014-04-24
JP2014090494A JP6313646B2 (ja) 2014-04-24 2014-04-24 外界認識装置
PCT/JP2015/059023 WO2015163078A1 (ja) 2014-04-24 2015-03-25 外界認識装置

Publications (2)

Publication Number Publication Date
CN106170828A true CN106170828A (zh) 2016-11-30
CN106170828B CN106170828B (zh) 2020-04-03

Family

ID=54332248

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580019482.8A Active CN106170828B (zh) 2014-04-24 2015-03-25 外界识别装置

Country Status (5)

Country Link
US (1) US10210400B2 (zh)
EP (1) EP3136368A4 (zh)
JP (1) JP6313646B2 (zh)
CN (1) CN106170828B (zh)
WO (1) WO2015163078A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110194150A (zh) * 2018-02-27 2019-09-03 本田技研工业株式会社 车辆控制***、车辆控制方法及存储介质
CN110738089A (zh) * 2018-07-18 2020-01-31 丰田自动车株式会社 图像识别装置
CN110738088A (zh) * 2018-07-18 2020-01-31 丰田自动车株式会社 图像处理装置
CN111937035A (zh) * 2018-04-17 2020-11-13 日立汽车***株式会社 外界识别装置
CN112544066A (zh) * 2018-08-22 2021-03-23 日立汽车***株式会社 图像处理装置
CN113875223A (zh) * 2019-06-14 2021-12-31 马自达汽车株式会社 外部环境识别装置
US20220234604A1 (en) * 2021-01-26 2022-07-28 Ford Global Technologies, Llc Hazard condition warning for package delivery operation

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6660751B2 (ja) * 2016-02-04 2020-03-11 日立オートモティブシステムズ株式会社 撮像装置
JP6838222B2 (ja) * 2016-04-28 2021-03-03 日立Astemo株式会社 車両制御装置、及び車両システム
JP6786279B2 (ja) * 2016-07-05 2020-11-18 日立オートモティブシステムズ株式会社 画像処理装置
JP2018019155A (ja) * 2016-07-26 2018-02-01 株式会社Ｊｖｃケンウッド 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム
WO2018020751A1 (ja) * 2016-07-26 2018-02-01 株式会社Ｊｖｃケンウッド 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム
CN109891471B (zh) * 2016-11-01 2022-02-08 三菱电机株式会社 信息提示方法
US10097719B2 (en) 2016-11-17 2018-10-09 Fuji Xerox Co., Ltd. Printer and mobile information processing apparatus
US10133528B2 (en) 2016-11-28 2018-11-20 Fuji Xerox Co., Ltd. Information processing apparatus, printer, and non-transitory computer readable medium
US11391579B2 (en) 2017-01-27 2022-07-19 Cpac Systems Ab Method for forming a local navigation path for an autonomous vehicle
KR102394905B1 (ko) * 2017-12-27 2022-05-09 현대자동차주식회사 차량 및 그 제어 방법
JP7052660B2 (ja) * 2018-09-25 2022-04-12 トヨタ自動車株式会社 学習画像選別装置
WO2020116205A1 (ja) * 2018-12-07 2020-06-11 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、および情報処理方法、並びにプログラム
JP2020164045A (ja) * 2019-03-29 2020-10-08 マツダ株式会社 車両走行制御装置
CN110378854B (zh) * 2019-07-17 2021-10-26 上海商汤智能科技有限公司 机器人图像增强方法及装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050226508A1 (en) * 2004-03-29 2005-10-13 Fuji Photo Film Co., Ltd. Image recognition system, image recognition method, and machine readable medium storing thereon an image recognition program
US20070229238A1 (en) * 2006-03-14 2007-10-04 Mobileye Technologies Ltd. Systems And Methods For Detecting Pedestrians In The Vicinity Of A Powered Industrial Vehicle
CA2349519C (en) * 1998-10-30 2011-08-09 Science Applications International Corporation An agile network protocol for secure communications with assured system availability
EP2498185A1 (en) * 2009-11-06 2012-09-12 Hitachi Automotive Systems, Ltd. In-car-use multi-application execution device
CN102745160A (zh) * 2011-04-22 2012-10-24 富士重工业株式会社 环境识别装置及环境识别方法
CN103443823A (zh) * 2011-01-17 2013-12-11 松下电器产业株式会社 拍摄图像识别装置、拍摄图像识别***以及拍摄图像识别方法
CN103448650A (zh) * 2012-06-01 2013-12-18 株式会社理光 目标识别***和目标识别方法
WO2014050286A1 (ja) * 2012-09-26 2014-04-03 日立オートモティブシステムズ株式会社 移動物体認識装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07302325A (ja) * 1994-04-30 1995-11-14 Suzuki Motor Corp 車載用画像認識装置
WO2005006756A1 (ja) 2003-07-11 2005-01-20 Hitachi, Ltd. 画像処理カメラシステム及び画像処理カメラ制御方法
JP2005242759A (ja) * 2004-02-27 2005-09-08 National Institute Of Information & Communication Technology 行動・意図推定システム、行動・意図推定方法、行動・意図推定プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体
EP2346014B1 (en) * 2008-10-02 2018-04-11 Hitachi Automotive Systems, Ltd. Information processing device associated with vehicle traveling
JP2010224670A (ja) 2009-03-19 2010-10-07 Honda Motor Co Ltd 車両の周辺監視装置
US8633810B2 (en) * 2009-11-19 2014-01-21 Robert Bosch Gmbh Rear-view multi-functional camera system
DE102011012961B3 (de) * 2011-03-04 2012-05-10 Audi Ag Verfahren zur Emulation eines Umgebungssensors in einem Kraftfahrzeug und zum Testen eines vorausschauenden Sicherheitssystems
JP5622648B2 (ja) 2011-04-14 2014-11-12 日立オートモティブシステムズ株式会社 画像処理装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2349519C (en) * 1998-10-30 2011-08-09 Science Applications International Corporation An agile network protocol for secure communications with assured system availability
US20050226508A1 (en) * 2004-03-29 2005-10-13 Fuji Photo Film Co., Ltd. Image recognition system, image recognition method, and machine readable medium storing thereon an image recognition program
US20070229238A1 (en) * 2006-03-14 2007-10-04 Mobileye Technologies Ltd. Systems And Methods For Detecting Pedestrians In The Vicinity Of A Powered Industrial Vehicle
EP2498185A1 (en) * 2009-11-06 2012-09-12 Hitachi Automotive Systems, Ltd. In-car-use multi-application execution device
CN103443823A (zh) * 2011-01-17 2013-12-11 松下电器产业株式会社 拍摄图像识别装置、拍摄图像识别***以及拍摄图像识别方法
CN102745160A (zh) * 2011-04-22 2012-10-24 富士重工业株式会社 环境识别装置及环境识别方法
CN103448650A (zh) * 2012-06-01 2013-12-18 株式会社理光 目标识别***和目标识别方法
WO2014050286A1 (ja) * 2012-09-26 2014-04-03 日立オートモティブシステムズ株式会社 移動物体認識装置

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110194150A (zh) * 2018-02-27 2019-09-03 本田技研工业株式会社 车辆控制***、车辆控制方法及存储介质
CN110194150B (zh) * 2018-02-27 2022-05-31 本田技研工业株式会社 车辆控制***、车辆控制方法及存储介质
CN111937035A (zh) * 2018-04-17 2020-11-13 日立汽车***株式会社 外界识别装置
CN110738089A (zh) * 2018-07-18 2020-01-31 丰田自动车株式会社 图像识别装置
CN110738088A (zh) * 2018-07-18 2020-01-31 丰田自动车株式会社 图像处理装置
CN112544066A (zh) * 2018-08-22 2021-03-23 日立汽车***株式会社 图像处理装置
CN113875223A (zh) * 2019-06-14 2021-12-31 马自达汽车株式会社 外部环境识别装置
CN113875223B (zh) * 2019-06-14 2024-02-06 马自达汽车株式会社 外部环境识别装置
US20220234604A1 (en) * 2021-01-26 2022-07-28 Ford Global Technologies, Llc Hazard condition warning for package delivery operation
US11724641B2 (en) * 2021-01-26 2023-08-15 Ford Global Technologies, Llc Hazard condition warning for package delivery operation

Also Published As

Publication number Publication date
JP6313646B2 (ja) 2018-04-18
JP2015210592A (ja) 2015-11-24
US20170039434A1 (en) 2017-02-09
WO2015163078A1 (ja) 2015-10-29
EP3136368A1 (en) 2017-03-01
CN106170828B (zh) 2020-04-03
US10210400B2 (en) 2019-02-19
EP3136368A4 (en) 2017-11-29

Similar Documents

Publication Publication Date Title
CN106170828A (zh) 外界识别装置
US10528055B2 (en) Road sign recognition
CN109522784B (zh) 用于区分可越过物体与不可越过物体的装置和方法
CN106536299B (zh) 基于检测对象制动车辆的***和方法
CN106611512B (zh) 前车起步的处理方法、装置和***
EP3742338A1 (en) Automatic prediction and altruistic response to a vehicle cutting in a lane
CN111209790A (zh) 使用相邻车辆的姿态观察进行路面表征
CN104228837B (zh) 识别行驶车道的装置和方法及非暂时性计算机可读介质
CN107545232A (zh) 车道探测***和方法
CN107808390A (zh) 使用来自单摄像机的数据的对象距离估算
CN107798699A (zh) 用立体图像进行深度图估计
CN107914708A (zh) 后方障碍物检测和距离估算
CN106980813A (zh) 机器学习的注视生成
CN104424487A (zh) 车外环境识别装置
CN109284661A (zh) 学习数据生成装置、学习数据生成方法和程序
JPWO2018020954A1 (ja) 機械学習用データベース作成システム
EP3121764A1 (en) Animal type determination device
DE102017115197A1 (de) Erzeugung von virtuellen sensordaten für die erfassung von polleraufnahmen
CN108027974A (zh) 图像处理装置以及图像处理方法
CN112889071A (zh) 用于确定二维图像中深度信息的***和方法
EA200600795A1 (ru) Устройство записи дорожно-транспортных ситуаций и способ оценки этих записей
JP6038422B1 (ja) 車両判定装置、車両判定方法及び車両判定プログラム
KR101431373B1 (ko) 스테레오 정합을 이용한 차량의 움직임 측정 장치
US20200364470A1 (en) Traveling lane recognition apparatus and traveling lane recognition method
DE112021006402T5 (de) Schätzung von Automatikbelichtungswerten einer Kamera durch Priorisieren eines Objekts von Interesse auf Basis von kontextuellen Eingaben aus 3D-Karten

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: Ibaraki

Patentee after: Hitachi astemo Co.,Ltd.

Address before: Ibaraki

Patentee before: HITACHI AUTOMOTIVE SYSTEMS, Ltd.