CN106573588B - 驾驶辅助装置、驾驶辅助方法和程序 - Google Patents

驾驶辅助装置、驾驶辅助方法和程序 Download PDF

Info

Publication number
CN106573588B
CN106573588B CN201480081340.XA CN201480081340A CN106573588B CN 106573588 B CN106573588 B CN 106573588B CN 201480081340 A CN201480081340 A CN 201480081340A CN 106573588 B CN106573588 B CN 106573588B
Authority
CN
China
Prior art keywords
photographed images
image
range
detection range
location information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480081340.XA
Other languages
English (en)
Other versions
CN106573588A (zh
Inventor
吉田道学
对马尚之
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of CN106573588A publication Critical patent/CN106573588A/zh
Application granted granted Critical
Publication of CN106573588B publication Critical patent/CN106573588B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W50/16—Tactile feedback to the driver, e.g. vibration or force feedback to the driver on the steering wheel or the accelerator pedal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Automation & Control Theory (AREA)
  • Software Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

驾驶辅助装置具有：图像取得部，其取得车辆周围的摄像图像；位置信息取得部，其取得由传感器检测到的车辆周围的第1物体的位置信息；检测范围决定部，其根据第1物体的位置信息决定摄像图像内的第1物体的检测范围；以及物体识别部，其对摄像图像内的第1物体的检测范围以外的范围的图像进行图像处理，识别与第1物体不同的第2物体，所以，能够缩短从摄像图像中识别第2物体的处理时间。

Description

驾驶辅助装置、驾驶辅助方法和程序
技术领域
本发明涉及识别本车辆周边的物体的驾驶辅助装置、驾驶辅助方法和程序。
背景技术
近年来，公知有如下技术：识别本车辆周围的车辆、人、障碍物等物体，使用被称为HUD(Head Up Display)的半透射显示器在风景上重叠物体的信息，由此，向驾驶员通知危险。并且，公知有如下技术：根据所识别的本车辆周围的物体的信息，对车辆进行控制，避免碰撞或减少冲击。在这种技术中，需要利用传感器或照相机识别周围存在的物体，掌握并管理所识别的物体的信息。但是，在期望利用传感器检测物体的情况下，当该物体的颜色浓度较高时，激光或电波的反射率变低，有时无法高精度地检测物体。
在专利文献1所记载的装置中，通过图像处理，检测从照相机取得的摄像图像内的颜色浓度高的部分，由此，识别本车辆周围的物体。
现有技术文献
专利文献
专利文献1：日本特开2014-106200号公报
发明内容
发明要解决的课题
但是，在现有的装置中，针对摄像图像整体进行检测颜色浓度高的部分的处理，存在物体的识别花费时间的课题。
本发明是为了解决上述课题而完成的，其目的在于，提供能够缩短根据摄像图像识别物体的处理时间的驾驶辅助装置、驾驶辅助方法和程序。
用于解决课题的手段
本发明的驾驶辅助装置具有：图像取得部，其取得车辆周围的摄像图像；位置信息取得部，其取得由传感器检测到的车辆周围的第1物体的位置信息；检测范围决定部，其根据所述第1物体的位置信息决定所述摄像图像内的所述第1物体的检测范围；以及物体识别部，其对所述摄像图像内的所述第1物体的检测范围以外的范围的图像进行图像处理，识别与所述第1物体不同的第2物体。
并且，本发明的另外的驾驶辅助装置具有：图像取得部，其取得车辆周围的摄像图像；位置信息取得部，其取得通过传感器的第1线方向的照射而检测到的车辆周围的第1物体的位置信息，取得通过所述传感器的第2线方向的照射而检测到的车辆周围的第2物体的位置信息；检测范围决定部，其根据所述第1物体的位置信息决定所述摄像图像内的所述第1物体的检测范围，根据所述第2物体的位置信息决定所述摄像图像内的所述第2物体的检测范围；以及物体识别部，其对所述摄像图像内的合并所述第1物体的检测范围和所述第2物体的检测范围而得到的范围以外的范围的图像进行图像处理，识别与所述第1物体以及所述第2物体不同的第3物体。
本发明的驾驶辅助方法包括以下步骤：取得车辆周围的摄像图像；取得由传感器检测到的车辆周围的第1物体的位置信息；根据所述第1物体的位置信息决定所述摄像图像内的所述第1物体的检测范围；以及对所述摄像图像内的所述第1物体的检测范围以外的范围的图像进行图像处理，识别与所述第1物体不同的第2物体。
本发明的程序使计算机执行以下处理：取得车辆周围的摄像图像；取得由传感器检测到的车辆周围的第1物体的位置信息；根据所述第1物体的位置信息决定所述摄像图像内的所述第1物体的检测范围；以及对所述摄像图像内的所述第1物体的检测范围以外的范围的图像进行图像处理，识别与所述第1物体不同的第2物体。
发明效果
根据本发明的驾驶辅助装置、驾驶辅助方法和程序，根据由传感器检测到的车辆周围的物体的位置信息检测摄像图像内的第1物体的检测范围，对该检测范围以外的范围进行图像处理，识别第2物体，所以，能够缩短识别物体的处理时间。
附图说明
图1是示出实施方式1的驾驶辅助***的结构例的图。
图2是示出实施方式1的物体识别部306的详细结构的例子的图。
图3是示出实施方式1的驾驶辅助装置300的硬件结构例的图。
图4是示出实施方式1的驾驶辅助装置300的动作例的流程图。
图5是示出由实施方式1的照相机200取得的摄像图像的例子的图。
图6是用于说明实施方式1的传感器100进行的传感器信息的取得的示意图。
图7是示出在实施方式1的摄像图像中、第1物体一致的位置的示意图。
图8是示出实施方式1的摄像图像中的第1物体的检测范围的图。
图9是示出实施方式1的识别处理的算法的一例的流程图。
图10是用于说明实施方式1的第1识别部316的处理的图。
图11是示出实施方式2的驾驶辅助***的结构例的图。
图12是示出实施方式2的识别处理的算法的一例的流程图。
图13是用于说明实施方式2的第1识别部316的处理的图。
图14是示出实施方式3的驾驶辅助***的结构例的图。
图15是用于说明实施方式3的传感器100进行的传感器信息的取得的示意图。
图16是示出在实施方式3的摄像图像中、第2物体一致的位置的示意图。
具体实施方式
实施方式1.
下面，使用附图对本发明的实施方式1进行说明。
图1是示出实施方式1的驾驶辅助***的结构例的图。驾驶辅助***由传感器100、照相机200、驾驶辅助装置300构成，它们分别搭载在车辆上。
传感器100例如是LIDAR(Light Detection and Ranging)等激光传感器，通过照射激光并检测其反射光，检测从本车辆到本车辆周围的物体(车辆、人、障碍物等)的距离信息和本车辆周围的物体的位置信息。LIDAR在水平方向上扫描激光，例如能够在190度这样的宽范围内，以0.4度左右的分辨率取得从本车辆到物体的距离信息。在以后的说明中，假设仅在水平方向上取得距离信息，但是，也可以通过PMD(Photonic Mixer Device)等其它种类的传感器，在高度方向上也取得距离信息。另外，传感器100不限于激光传感器，例如也可以利用使用电波的雷达传感器。
但是，在传感器100取得传感器信息时，关于颜色浓度较低的浅色(例如白色)的物体，能够充分检测激光的反射光，但是，关于颜色浓度较高的深色(例如黑色)的物体，无法充分检测激光的反射光。
照相机200是对本车辆周边的图像进行摄像的摄像装置，可以是可见光照相机，也可以是红外线照相机。
驾驶辅助装置300具有传感器信息取得部301、图像取得部302、一致点检测部303、检测范围决定部304、存储部305、物体识别部306、模型生成部307、控制部308。
传感器信息取得部301取得由传感器100检测到的本车辆周围的物体的位置信息和距离信息作为传感器信息。因此，传感器信息取得部301也可以记载为位置信息取得部，还可以记载为距离信息取得部。
图像取得部302取得由照相机200拍摄的本车辆周围的图像。这里，本车辆周围例如是从本车辆起几十cm～几十m的范围内。
一致点检测部303从图像取得部302接收摄像图像的信息，从传感器信息取得部301接收传感器信息。一致点检测部303根据传感器信息中包含的物体的位置信息，检测由传感器检测到的物体的位置与接收到的摄像图像中的哪个位置一致，将物体一致的位置(一致点)的信息作为一致点信息输出到检测范围决定部304。另外，假设在一致点检测部303进行的一致点检测处理中，预先对传感器100和照相机200进行了校准。
检测范围决定部304根据从一致点检测部303得到的一致点信息，决定摄像图像内的物体的检测范围。换言之，也可以说，检测范围决定部304根据由传感器100得到的物体的位置信息，决定摄像图像内的物体的检测范围。检测范围的决定方法在后面叙述。
在存储部305中存储表示物体的特征的边缘图像。例如，在物体为车辆的情况下，该边缘图像是表示车辆的平均外形的边缘图像等即可。
物体识别部306通过图像处理，从由检测范围决定部304决定的摄像图像内的物体(以下称为第1物体。)的检测范围以外的范围中识别与第1物体不同的物体(以下称为第2物体。)。物体识别部306在进行图像处理时，利用存储部305中存储的边缘图像。这里，识别物体意味着判别该物体是车辆、还是人、还是障碍物，进而，还可以判别该判别出的车辆等的形状、大小。并且，通过预先在存储部305中准备多个各车型的边缘图像，能够识别到车辆是哪种车型。
图2是示出实施方式1的物体识别部306的详细结构的例子的图。物体识别部306具有第1识别部316和第2识别部326。
第1识别部316从摄像图像内的第1物体的检测范围以外的范围中检测颜色浓度为阈值以上的像素组，计算基于检测到的像素组的区域。该区域的计算方法在后面叙述。
第2识别部326对由第1识别部316检测到的区域内的图像实施图像处理，识别区域内存在的第2物体。第2识别部316使用存储部306中存储的边缘图像，对区域内的图像实施匹配，由此，识别区域内存在的第2物体。更具体而言，第2识别部326能够使用使图像的亮度梯度成为柱状图的图像特征提取法即HOG(Histogram of Oriented Gradients)这样的方法识别第2物体。
返回图1，模型生成部307生成与本车辆周围的物体有关的模型。模型生成部307使用由传感器100得到的传感器信息生成本车辆周围存在的第1物体的模型。在该传感器信息中包含从本车辆到第1物体的距离信息和第1物体的位置信息。
并且，模型生成部307根据由物体识别部306识别出的第2物体在摄像图像内的位置信息，利用运动视觉技术或深度图技术计算从本车辆到第2物体的距离信息和第2物体的位置信息，生成本车辆周围存在的第2物体的模型。作为模型，例如可以使用仅通过线的信息显示物体等的线框模型、利用面的信息显示的平面模型、利用多边形的补片(patch)的集合体表现的多边形模型、表现为与物体实物近似的内容填充的物体的立体模型、利用四边形包围物体并利用其4个点和最接近点的合计5个点表现的模型等。在这些模型中保持本车辆与模型之间的距离信息。
模型生成部307也可以根据所生成的多个模型间的各距离，将多个模型作为群组而作为一个模型进行处理。例如，对于模型间的距离较近且物体的种类(车辆、人、障碍物等)相同的情况，将模型作为一个模型来生成并管理。由此，能够减少要生成的模型的数量，能够实现容量的削减。例如，模型间的距离较近是根据模型间的距离是否为阈值以下而决定的。
控制部308进行控制，以使得在导航画面或HUD(Head Up Display)等显示装置中显示由模型生成部307生成的本车辆周围的物体的模型。通过在显示装置中进行显示，能够使驾驶员视觉识别本车辆周围的物体的存在。并且，不限于显示，控制部308也可以进行控制，以使得通过声音或振动向驾驶员通知本车辆周围的物体的存在。在该情况下，不需要由模型生成部307生成的模型，只要知道本车辆周围的物体的位置信息和距离信息即可。并且，控制部308也可以向外部发送信号，以使得根据本车辆周围的物体的位置信息和距离信息对车辆的驾驶(例如制动操作等)进行控制。
接着，对驾驶辅助装置300的硬件结构进行说明。
图3是示出实施方式1的驾驶辅助装置300的硬件结构例的图。驾驶辅助装置300构成为，对由CPU(Central Processing Unit)、DSP(Digital Signal Processing)、FPGA(Field Programmable Gate Array)中的任意一个或它们中的多个进行组合而构成的处理装置350、ROM(Read Only Memory)或硬盘装置等存储装置360、接收机370、发送机380进行总线连接。另外，CPU、DSP、FPGA本身也具有存储器。
传感器信息取得部301、图像取得部302、一致点检测部303、检测范围决定部304、物体识别部306、模型生成部307、控制部308分别作为程序存储在存储装置360中。而且，处理装置350适当读出并执行这些程序，由此实现各功能。即，通过对处理装置350即硬件和上述程序即软件进行组合，实现上述“～部”的功能。换言之，也可以说，对处理装置350进行了编程，以实现上述“～部”的功能。另外，这些功能不限于硬件和软件的组合，也可以在处理装置350中执行上述程序并利用硬件单体实现。因此，在各功能的实现中，能够任意设计构成处理装置350的CPU、DSP、FPGA分别如何进行处理，但是，例如，从处理速度的观点来看，优选DSP或FPGA主要进行检测范围决定部304的检测范围决定处理、物体识别部306的物体识别处理、模型生成部307的模型生成处理，CPU主要进行传感器信息取得部301、图像取得部302、一致点检测部303、控制部308的处理。
接收机370是接收传感器信息或摄像图像的硬件。发送机380是发送来自控制部的信号的硬件。另外，基于接收机370和发送机380的接收功能和发送功能也可以通过接收和发送一体化的发送接收机来实现。
接着，对实施方式1的驾驶辅助装置300的动作进行说明。
图4是示出实施方式1的驾驶辅助装置300的动作例的流程图。首先，传感器信息取得部301从传感器100取得传感器信息，图像取得部302从照相机200取得摄像图像(步骤S1)。
图5是示出由实施方式1的照相机200取得的摄像图像的例子的图。作为第1物体的车辆和作为第2物体的车辆包含在摄像图像中。
图6是用于说明实施方式1的传感器100进行的传感器信息的取得的示意图。本车辆例如通过激光传感器在水平方向上利用激光在规定范围内进行照射。第1物体是主体的颜色浓度较低的颜色，所以，对从本车辆照射的激光进行反射。这样，通过在水平方向上照射激光并观察其反射，能够根据是否存在物体来检测距离信息的变化。然后，根据距离信息的变化点求出物体的位置。这里，位置x1和位置x2是距离信息的变化点，所以，第1物体的位置信息成为x1、x2。另一方面，第2物体是主体的颜色浓度较高的颜色，所以，不会充分反射激光。另外，这里，设传感器100取得关于一条线的传感器信息，但是不限于此。
返回图4，一致点检测部303检测所取得的摄像图像中的第1物体一致的位置(步骤S2)。
图7是示出在实施方式1的摄像图像中、第1物体一致的位置的示意图。一致点检测部303从传感器100取得第1物体的位置信息(例如x1、x2)，进行坐标转换，由此，检测摄像图像中的第1物体的位置作为一致点。如图7所示，第1物体的位置成为摄像图像中的X1、X2，它们分别对应于传感器信息中包含的位置信息x1、x2。另一方面，关于第2物体，由于无法通过传感器100取得传感器信息，所以，无法检测摄像图像中的第2物体的位置作为一致点。
返回图4，检测范围决定部304根据由一致点检测部303检测到的一致点，决定第1物体的检测范围(步骤S3)。
图8是示出实施方式1的摄像图像中的第1物体的检测范围的图。决定摄像图像中的用虚线包围的范围作为第1物体的检测范围。检测范围以在水平方向上包含摄像图像中的第1物体的位置X1、X2的方式设置有宽度(|X1'-X2'|)。由此，即使在传感器信息中包含噪声而使X1、X2的位置与实际的位置稍微偏移的情况下，检测范围也能够可靠地包含第1物体。另外，关于检测范围的垂直方向，在图8的例子中，将其宽度任意决定为(|Y1'-Y2'|)，但是，也可以使用多个传感器求出第1物体的垂直方向的位置，根据该位置来决定，还可以根据经验法则来决定。
返回图4，物体识别部从摄像图像内的第1物体的检测范围以外的范围中识别第2物体(步骤S4)。
图9是示出实施方式1的识别处理的算法的一例的流程图。对处理装置350进行了编程，以使得通过执行基于物体识别部306的识别处理、即图9所示的算法(步骤S41～步骤S46)来实现步骤S4的识别处理。
首先，构成物体识别部306的第1识别部316根据来自检测范围决定部304的信息，识别摄像图像中的第1物体的检测范围(步骤S41)。来自检测范围决定部304的信息例如是图8所示的摄像图像中的位置信息X1'、X2'、Y1'、Y2'。
接着，第1识别部316在第1物体的检测范围以外的范围中提取颜色浓度为阈值以上的像素组(步骤S42)。
图10是用于说明实施方式1的第1识别部316的处理的图。在图10的例子中，设第2物体的轮胎、主体的上半部分为黑色。这样，摄像图像中的第2物体的轮胎和主体的上半部分的部位作为颜色浓度为阈值以上的像素组而算出。第1识别部316不针对第1物体的检测范围进行计算颜色浓度为阈值以上的像素组的处理，所以，能够缩短处理时间，并且，能够降低驾驶辅助装置300的处理负荷。
返回图9，第1识别部316根据计算出的像素组，设定包含该像素组的区域(步骤S43)。
如图10所示，该区域设置成包含颜色浓度为阈值以上的像素组即可。由此，即使在颜色浓度为阈值以上的像素组的计算中产生一些错误，也能够可靠地包含第2物体。
返回图9，接着，第2识别部326取得第1识别部316设定的区域的信息，并且，从存储部305取得边缘图像(步骤S44)。
第2识别部326针对第1识别部316设定的区域内的图像进行与边缘图像的匹配处理(步骤S45)。由此，第2识别部326不对摄像图像整体进行匹配处理，而仅对所设定的区域内的图像进行匹配处理即可，所以，能够缩短处理时间，并且能够降低驾驶辅助装置300的处理负荷。
第2识别部326对所设定的区域内的图像进行匹配处理的结果是，如果匹配成功，则将第2物体识别为车辆(步骤S46)。如果匹配不成功，则第2识别部326无法将第2物体识别为车辆。
返回图4，模型生成部307利用由构成物体识别部306的第2识别部326识别出的第2物体在摄像图像内的位置信息，计算从本车辆到第2物体的距离信息和第2物体的位置信息，生成第2物体的模型(步骤S5)。并且，模型生成部307使用由传感器100得到的传感器信息(位置信息和距离信息)，生成本车辆周围存在的第1物体的模型。
控制部308通过在HUD等中显示由模型生成部307生成的模型，向驾驶员通知本车辆周围的第1物体和第2物体的存在，或者根据第1物体和第2物体的位置信息和距离信息对车辆的驾驶进行控制(步骤S6)。
如上所述，根据实施方式1，检测范围决定部304决定摄像图像内的第1物体的检测范围，物体识别部306对摄像图像内的第1物体的检测范围以外的范围的图像进行图像处理，由此，识别第2物体，所以，能够缩小摄像图像中的进行图像处理的范围，能够缩短处理时间。
详细地讲，物体识别部306的第1识别部316对摄像图像内的第1物体的检测范围以外的范围的图像进行图像处理、即颜色浓度为阈值以上的像素组的计算处理，物体识别部306的第2识别部326仅对基于计算出的像素组的区域内的图像进行图像处理、即区域内的图像与边缘图像的匹配处理，所以，能够缩短处理时间，进而，能够降低驾驶辅助装置300的处理负荷。特别是当对摄像图像整体进行摄像图像与边缘图像的匹配处理时，非常花费时间，所以，通过仅对所设定的区域内的图像进行匹配处理而实现的时间缩短的影响较大。
并且，在驾驶辅助的技术领域中，在利用照相机进行摄像后，尽快识别本车辆周围的物体并通知给驾驶员或对车辆进行控制是重要的，但是，根据实施方式1，由于缩短用于识别物体的处理时间，所以，能够尽快通知给驾驶员或控制车辆，能够进一步确保驾驶员的安全。
另一方面，关于不是图像处理对象的第1物体，能够通过传感器100检测其位置信息和距离信息，所以，本车辆周围的第1物体和第2物体都能够高精度地识别。
实施方式2.
下面，使用附图对本发明的实施方式2进行说明。在实施方式1中，对摄像图像内的第1物体的检测范围以外的范围的图像进行图像处理，由此识别第2物体，但是，在实施方式2中，通过利用道路朝进深方向交叉的消失点(Vanishing Point)的信息，进一步缩小摄像图像中的进行图像处理的范围。
图11是示出实施方式2的驾驶辅助***的结构例的图。实施方式2的驾驶辅助装置300A与实施方式1的驾驶辅助装置300的不同之处在于，新具有消失点通知部309。其它结构与实施方式1相同，所以，标注与图1相同的标号并省略其说明。
消失点通知部309向物体识别部306通知摄像图像内的包含消失点的高度的水平方向的线(消失线)的位置信息。
图12是示出实施方式2的识别处理的算法的一例的流程图。步骤S041、S043、S044、S045、S046相当于图9的步骤S41、S43、S44、S45、S46，所以，这里省略说明。
物体识别部306的第1识别部316在步骤S041中识别出第1物体的检测范围后，在第1物体的检测范围以外的范围、且消失线以下的范围内提取颜色浓度为阈值以上的像素组(步骤S042)。
图13是用于说明实施方式2的第1识别部316的处理的图。从消失点通知部309向第1识别部316通知消失线的位置信息(Yv)。然后，第1识别部316进行如下处理：在摄像图像内，在第1物体的检测范围以外的范围、且消失线Yv以下的范围内提取颜色浓度为阈值以上的像素组。
因此，如图13所示，第1识别部316提取第2物体中的消失线以下的主体部分和轮胎部分作为颜色浓度为阈值以上的像素组。然后，第1识别部316根据提取出的像素组决定区域(步骤S043)。
如上所述，根据实施方式2，物体识别部306利用消失点的信息识别第2物体，所以，能够进一步缩小进行图像处理的摄像图像的范围，所以，与实施方式1相比，能够缩短处理时间。
即，第1识别部316在摄像图像中，针对第1物体的检测范围以外、且消失线以下的图像提取颜色浓度为阈值以上的像素组，所以，与实施方式1相比，能够进一步缩小其提取范围，能够缩短处理时间。另外，如上所述，消失线是由道路朝进深方向交叉的消失点构成的线，所以，如果对消失线以下的范围的图像进行图像处理，则能够没有遗漏地检测道路上的物体。
另外，这里，针对摄像图像中、消失线以下的范围的图像进行图像处理、即提取颜色浓度较高的像素组的处理，但是不限于此。例如，也可以检测摄像图像内的车道，物体识别部306对该车道内包含的图像进行图像处理。即，第1识别部316对摄像图像内、第1物体的检测范围以外、且车道内包含的图像进行颜色浓度较高的像素组的提取处理。由此，与实施方式1相比，能够进一步缩小提取范围，能够缩短处理时间。
实施方式3.
下面，使用附图对本发明的实施方式3进行说明。在实施方式1中，传感器信息取得部301取得关于一条线的传感器信息，但是，在实施方式3中，传感器信息取得部301取得关于多条线的传感器信息，所以，缩小了摄像图像中的、物体识别部306进行图像处理的范围。
图14是示出实施方式3的驾驶辅助***的结构例的图。与实施方式1的驾驶辅助装置的不同之处在于，在实施方式3的驾驶辅助***中还具有传感器控制装置400。其它结构与实施方式1相同，所以，标注与图1相同的标号并省略其说明。
传感器控制装置400例如由电机等实现，进行控制以使得传感器100在垂直方向上振动。
图15是用于说明实施方式3的传感器100进行的传感器信息的取得的示意图。在图15的例子中，除了此前说明的第1物体、第2物体以外，主体全身为黑色的第3物体也存在于车辆周围。
在该情况下，关于第1物体，通过传感器100在第1线方向上的激光的照射，能够进行位置信息(x1、x2)的检测，但是，无法检测第2物体和第3物体的位置。即，位置信息取得部301取得通过传感器100在第1线方向上的照射而检测到的第1物体的位置信息，但是，无法取得第2物体和第3物体的位置信息。因此，检测范围决定部304虽然能够检测第1物体的检测范围，但是，无法检测第2物体和第3物体的检测范围。这样，如实施方式1中说明的那样，物体识别部306需要对摄像图像中的第1物体的检测范围以外的图像进行图像处理。
另一方面，在实施方式3中，传感器控制装置400进行控制，以使得传感器100在垂直方向上振动，所以，能够取得2条线以上的传感器信息。这样，当照射第2线方向上的激光时，由于第2物体的主体的下半部分为颜色浓度较低的颜色，所以充分反射该激光，能够检测其位置信息(x3、x4)。这样，位置信息取得部301能够取得通过传感器100在第2线方向上的照射而检测到的第2物体的位置信息。另外，图15中没有图示，但是，通过检测到第2物体的位置的第2线方向的激光的照射，能够进一步检测第1物体的位置信息。关于第3物体，由于主体全身为黑色，所以，即使通过检测到第2物体的位置的第2线方向的激光的照射，也无法取得其位置信息。
图16是示出在实施方式3的摄像图像中、第2物体一致的位置的示意图。如图16所示，检测范围决定部304根据与由传感器信息取得部301取得的第1物体的位置信息(x1、x2)对应的摄像图像中的位置(X1、X2)，检测第1物体的检测范围。并且，检测范围决定部304根据与由传感器信息取得部301取得的第2物体的位置信息(x3、x4)对应的摄像图像中的位置(X3、X4)，检测第2物体的检测范围。
物体识别部306对摄像图像中的合并第1物体的检测范围和第2物体的检测范围而得到的范围以外的范围的图像进行图像处理，识别第3物体。
如上所述，根据实施方式3，传感器控制装置400进行控制，以使得传感器100在垂直方向上振动，传感器信息取得部301取得关于多条线的传感器信息，所以，能够通过传感器检测的本车辆周围的物体增多，能够减小摄像图像中的、物体识别部306进行图像处理的范围，与实施方式1相比，能够缩短处理时间。
以上是传感器控制装置400进行控制以使得传感器100在垂直方向上振动，由此取得关于多条线的传感器信息，但不限于此。例如，也可以利用用于取得传感器信息的线不同的多个传感器，取得关于多条线的传感器信息。
另外，设第1线方向、第2线方向表示摄像图像中的水平方向进行了说明，但是不限于此，也可以表示垂直方向。
标号说明
100：传感器；200：照相机；300：驾驶辅助装置；301：传感器信息取得部；302：图像取得部；303：一致点检测部；304：检测范围决定部；305：存储部；306：物体识别部；307：模型生成部；308：控制部；309：消失点通知部；316：第1识别部；326：第2识别部；350：处理装置；360：存储装置；370：接收机；380：发送机；400：传感器控制装置。

Claims (14)

1.一种驾驶辅助装置，其具有：
图像取得部，其取得车辆周围的摄像图像，所述摄像图像包含第1物体和与所述第1物体不同的第2物体；
位置信息取得部，其取得由传感器检测到的车辆周围的第1物体的位置信息；
检测范围决定部，其根据所述第1物体的位置信息决定所述摄像图像内的所述第1物体的检测范围；以及
物体识别部，其对所述摄像图像内的所述第1物体的检测范围以外的范围的图像进行图像处理，识别所述第2物体；
其特征在于，
所述物体识别部具有：
第1识别部，其从所述摄像图像内的所述第1物体的检测范围以外的范围中提取颜色浓度为阈值以上的像素组，根据所述像素组计算区域；以及
第2识别部，其通过对由所述第1识别部计算出的所述区域内的图像进行图像处理，识别所述第2物体；
其中，所述第1识别部从所述摄像图像内的包含消失点的高度的水平方向的线以下的图像中提取颜色浓度为阈值以上的像素组。
2.根据权利要求1所述的驾驶辅助装置，其特征在于，
所述驾驶辅助装置具有存储部，该存储部存储表示所述第2物体的特征的边缘图像，
所述第2识别部通过针对所述区域内的图像匹配所述边缘图像，识别所述第2物体。
3.根据权利要求1～2中的任意一项所述的驾驶辅助装置，其特征在于，
所述驾驶辅助装置具有模型生成部，该模型生成部针对由所述物体识别部识别出的所述第2物体，生成保持与所述车辆之间的距离信息的模型。
4.根据权利要求3所述的驾驶辅助装置，其特征在于，
在所生成的多个模型间的距离为阈值以下的情况下，所述模型生成部将所述多个模型作为一个模型来生成。
5.一种驾驶辅助装置，其具有：
图像取得部，其取得车辆周围的摄像图像，所述摄像图像包含第1物体和与所述第1物体不同的第2物体；
位置信息取得部，其取得由传感器检测到的车辆周围的第1物体的位置信息；
检测范围决定部，其根据所述第1物体的位置信息决定所述摄像图像内的所述第1物体的检测范围；以及
物体识别部，其对所述摄像图像内的所述第1物体的检测范围以外的范围的图像进行图像处理，识别所述第2物体；
其特征在于，
所述物体识别部具有：
第1识别部，其从所述摄像图像内的所述第1物体的检测范围以外的范围中提取颜色浓度为阈值以上的像素组，根据所述像素组计算区域；以及
第2识别部，其通过对由所述第1识别部计算出的所述区域内的图像进行图像处理，识别所述第2物体；
其中，所述第1识别部从所述摄像图像内包含的车道内的图像中提取颜色浓度为阈值以上的像素组。
6.根据权利要求5所述的驾驶辅助装置，其特征在于，
所述驾驶辅助装置具有存储部，该存储部存储表示所述第2物体的特征的边缘图像，
所述第2识别部通过针对所述区域内的图像匹配所述边缘图像，识别所述第2物体。
7.根据权利要求5或6所述的驾驶辅助装置，其特征在于，
所述驾驶辅助装置具有模型生成部，该模型生成部针对由所述物体识别部识别出的所述第2物体，生成保持与所述车辆之间的距离信息的模型。
8.根据权利要求7所述的驾驶辅助装置，其特征在于，
在所生成的多个模型间的距离为阈值以下的情况下，所述模型生成部将所述多个模型作为一个模型来生成。
9.一种驾驶辅助装置，其具有：
图像取得部，其取得车辆周围的摄像图像，所述摄像图像包含第1物体、第2物体和与所述第1物体以及所述第2物体不同的第3物体；
位置信息取得部，其取得通过传感器的第1线方向的照射而检测到的车辆周围的第1物体的位置信息，取得通过所述传感器的第2线方向的照射而检测到的车辆周围的第2物体的位置信息；
检测范围决定部，其根据所述第1物体的位置信息决定所述摄像图像内的所述第1物体的检测范围，根据所述第2物体的位置信息决定所述摄像图像内的所述第2物体的检测范围；以及
物体识别部，其对所述摄像图像内的合并所述第1物体的检测范围和所述第2物体的检测范围而得到的范围以外的范围的图像进行图像处理，识别所述第3物体；
其特征在于，
所述物体识别部具有：
第1识别部，其从所述摄像图像内的合并所述第1物体的检测范围和所述第2物体的检测范围而得到的范围以外的范围中提取颜色浓度为阈值以上的像素组，根据所述像素组计算区域；以及
第2识别部，其通过对由所述第1识别部计算出的所述区域内的图像进行图像处理，识别所述第3物体；
其中，所述第1识别部从所述摄像图像内的包含消失点的高度的水平方向的线以下的图像中提取颜色浓度为阈值以上的像素组。
10.一种驾驶辅助装置，其具有：
图像取得部，其取得车辆周围的摄像图像，所述摄像图像包含第1物体、第2物体和与所述第1物体以及所述第2物体不同的第3物体；
位置信息取得部，其取得通过传感器的第1线方向的照射而检测到的车辆周围的第1物体的位置信息，取得通过所述传感器的第2线方向的照射而检测到的车辆周围的第2物体的位置信息；
检测范围决定部，其根据所述第1物体的位置信息决定所述摄像图像内的所述第1物体的检测范围，根据所述第2物体的位置信息决定所述摄像图像内的所述第2物体的检测范围；以及
物体识别部，其对所述摄像图像内的合并所述第1物体的检测范围和所述第2物体的检测范围而得到的范围以外的范围的图像进行图像处理，识别所述第3物体；
其特征在于，
所述物体识别部具有：
第1识别部，其从所述摄像图像内的合并所述第1物体的检测范围和所述第2物体的检测范围而得到的范围以外的范围中提取颜色浓度为阈值以上的像素组，根据所述像素组计算区域；以及
第2识别部，其通过对由所述第1识别部计算出的所述区域内的图像进行图像处理，识别所述第3物体；
其中，所述第1识别部从所述摄像图像内包含的车道内的图像中提取颜色浓度为阈值以上的像素组。
11.一种驾驶辅助方法，包括以下步骤：
取得车辆周围的摄像图像，所述摄像图像包含第1物体和与所述第1物体不同的第2物体；
取得由传感器检测到的车辆周围的第1物体的位置信息；
根据所述第1物体的位置信息决定所述摄像图像内的所述第1物体的检测范围；以及
对所述摄像图像内的所述第1物体的检测范围以外的范围的图像进行图像处理，识别所述第2物体；
其特征在于，
上述对所述摄像图像内的所述第1物体的检测范围以外的范围的图像进行图像处理，识别所述第2物体的步骤包括：
从所述摄像图像内的所述第1物体的检测范围以外的范围中提取颜色浓度为阈值以上的像素组，根据所述像素组计算区域；其中，所述像素组是从所述摄像图像内的包含消失点的高度的水平方向的线以下的图像中提取的颜色浓度为阈值以上的像素组；
通过对计算出的所述区域内的图像进行图像处理，识别所述第2物体。
12.一种驾驶辅助方法，包括以下步骤：
取得车辆周围的摄像图像，所述摄像图像包含第1物体和与所述第1物体不同的第2物体；
取得由传感器检测到的车辆周围的第1物体的位置信息；
根据所述第1物体的位置信息决定所述摄像图像内的所述第1物体的检测范围；以及
对所述摄像图像内的所述第1物体的检测范围以外的范围的图像进行图像处理，识别所述第2物体；
其特征在于，
上述对所述摄像图像内的所述第1物体的检测范围以外的范围的图像进行图像处理，识别所述第2物体的步骤包括：
从所述摄像图像内的所述第1物体的检测范围以外的范围中提取颜色浓度为阈值以上的像素组，根据所述像素组计算区域；所述像素组是从所述摄像图像内包含的车道内的图像中提取的颜色浓度为阈值以上的像素组；
通过对计算出的所述区域内的图像进行图像处理，识别所述第2物体。
13.一种存储装置，其上存储有计算机程序，所述程序被处理装置执行时实现以下步骤：
取得车辆周围的摄像图像，所述摄像图像包含第1物体和与所述第1物体不同的第2物体；
取得由传感器检测到的车辆周围的第1物体的位置信息；
根据所述第1物体的位置信息决定所述摄像图像内的所述第1物体的检测范围；以及
对所述摄像图像内的所述第1物体的检测范围以外的范围的图像进行图像处理，识别所述第2物体；
其特征在于，
上述对所述摄像图像内的所述第1物体的检测范围以外的范围的图像进行图像处理，识别所述第2物体的步骤包括：
从所述摄像图像内的所述第1物体的检测范围以外的范围中提取颜色浓度为阈值以上的像素组，根据所述像素组计算区域；其中，所述像素组是从所述摄像图像内的包含消失点的高度的水平方向的线以下的图像中提取的颜色浓度为阈值以上的像素组；
通过对计算出的所述区域内的图像进行图像处理，识别所述第2物体。
14.一种存储装置，其上存储有计算机程序，所述程序被处理装置执行时实现以下步骤：
取得车辆周围的摄像图像，所述摄像图像包含第1物体和与所述第1物体不同的第2物体；
取得由传感器检测到的车辆周围的第1物体的位置信息；
根据所述第1物体的位置信息决定所述摄像图像内的所述第1物体的检测范围；以及
对所述摄像图像内的所述第1物体的检测范围以外的范围的图像进行图像处理，识别所述第2物体；
其特征在于，
上述对所述摄像图像内的所述第1物体的检测范围以外的范围的图像进行图像处理，识别所述第2物体的步骤包括：
从所述摄像图像内的所述第1物体的检测范围以外的范围中提取颜色浓度为阈值以上的像素组，根据所述像素组计算区域；所述像素组是从所述摄像图像内包含的车道内的图像中提取的颜色浓度为阈值以上的像素组；
通过对计算出的所述区域内的图像进行图像处理，识别所述第2物体。
CN201480081340.XA 2014-08-21 2014-08-21 驾驶辅助装置、驾驶辅助方法和程序 Active CN106573588B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2014/004287 WO2016027289A1 (ja) 2014-08-21 2014-08-21 運転支援装置、運転支援方法及びプログラム

Publications (2)

Publication Number Publication Date
CN106573588A CN106573588A (zh) 2017-04-19
CN106573588B true CN106573588B (zh) 2019-01-25

Family

ID=55350271

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480081340.XA Active CN106573588B (zh) 2014-08-21 2014-08-21 驾驶辅助装置、驾驶辅助方法和程序

Country Status (5)

Country Link
US (1) US10192122B2 (zh)
JP (1) JP6062122B2 (zh)
CN (1) CN106573588B (zh)
DE (1) DE112014006876T5 (zh)
WO (1) WO2016027289A1 (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016027289A1 (ja) * 2014-08-21 2016-02-25 三菱電機株式会社 運転支援装置、運転支援方法及びプログラム
KR101637716B1 (ko) * 2014-11-03 2016-07-07 현대자동차주식회사 차량의 장애물 위치 인식 장치 및 방법
US10284794B1 (en) * 2015-01-07 2019-05-07 Car360 Inc. Three-dimensional stabilized 360-degree composite image capture
KR101778558B1 (ko) * 2015-08-28 2017-09-26 현대자동차주식회사 물체 인식 장치, 그를 가지는 차량 및 그 제어 방법
WO2017085857A1 (ja) 2015-11-20 2017-05-26 三菱電機株式会社 運転支援装置、運転支援システム、運転支援方法及び運転支援プログラム
DE102016114168A1 (de) * 2016-08-01 2018-02-01 Connaught Electronics Ltd. Verfahren zum Erfassen eines Objekts in einem Umgebungsbereich eines Kraftfahrzeugs mit Vorhersage der Bewegung des Objekts, Kamerasystem sowie Kraftfahrzeug
WO2018110183A1 (ja) * 2016-12-14 2018-06-21 パナソニックＩｐマネジメント株式会社 撮像制御装置、撮像制御方法、プログラムおよび記録媒体
JP7103759B2 (ja) * 2017-06-16 2022-07-20 株式会社デンソーウェーブ 車両認識装置、車両認識システム、車両認識プログラム
CN107945575A (zh) * 2017-11-20 2018-04-20 深圳市中通视际实业有限公司 一种车辆监控装置及其方法
JP7003689B2 (ja) * 2018-01-29 2022-01-20 トヨタ自動車株式会社 制御装置およびエージェント連携方法
JP6996353B2 (ja) * 2018-03-06 2022-01-17 トヨタ自動車株式会社 物体認識装置及び車両走行制御システム
JP7243478B2 (ja) * 2019-06-24 2023-03-22 トヨタ自動車株式会社 車両用情報記録装置
US11748844B2 (en) 2020-01-08 2023-09-05 Carvana, LLC Systems and methods for generating a virtual display of an item

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5475494A (en) * 1992-12-22 1995-12-12 Mitsubishi Denki Kabushiki Kaisha Driving environment surveillance apparatus
US6658136B1 (en) * 1999-12-06 2003-12-02 Microsoft Corporation System and process for locating and tracking a person or object in a scene using a series of range images
CN102997900A (zh) * 2011-09-15 2013-03-27 歌乐株式会社 外界识别方法、装置以及车辆***

Family Cites Families (65)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05296767A (ja) * 1992-04-20 1993-11-09 Mitsubishi Electric Corp 車間距離検出装置
JP2726366B2 (ja) 1992-09-07 1998-03-11 日本電信電話株式会社 視点・物点位置決定方法
JP3240835B2 (ja) 1994-06-09 2001-12-25 株式会社日立製作所 車両用距離計測装置
US6396535B1 (en) 1999-02-16 2002-05-28 Mitsubishi Electric Research Laboratories, Inc. Situation awareness system
JP2001195692A (ja) 2000-01-13 2001-07-19 Toshiba Corp 車側及びインフラ側の情報を整理統合する共通プラットフォーム
JP2002362302A (ja) * 2001-06-01 2002-12-18 Sogo Jidosha Anzen Kogai Gijutsu Kenkyu Kumiai 歩行者検出装置
JP2003044996A (ja) 2001-07-31 2003-02-14 Matsushita Electric Ind Co Ltd 障害物検出装置
JP3925285B2 (ja) 2002-04-17 2007-06-06 日産自動車株式会社 走行路環境検出装置
JP3875941B2 (ja) 2002-09-30 2007-01-31 三菱電機株式会社 車両走行支援装置および車両走行支援サービスの提供方法
JP3779280B2 (ja) 2003-03-28 2006-05-24 富士通株式会社 衝突予測装置
JP2005025692A (ja) * 2003-07-04 2005-01-27 Suzuki Motor Corp 車両用情報提供装置
JP2005090974A (ja) 2003-09-12 2005-04-07 Daihatsu Motor Co Ltd 先行車認識装置
JP4033106B2 (ja) 2003-10-22 2008-01-16 日産自動車株式会社 車両用測距性能低下検出装置
WO2005088970A1 (ja) 2004-03-11 2005-09-22 Olympus Corporation 画像生成装置、画像生成方法、および画像生成プログラム
JP4052291B2 (ja) 2004-08-05 2008-02-27 日産自動車株式会社 車両用画像処理装置
JP4432730B2 (ja) 2004-11-01 2010-03-17 日産自動車株式会社 車両用道路標示検出装置
JP4494983B2 (ja) 2005-01-07 2010-06-30 三菱重工業株式会社 ポータブル型車両番号認識装置およびポータブル型車両番号認識装置による車両番号認識方法
JP2006322797A (ja) 2005-05-18 2006-11-30 Olympus Corp 画像処理装置、画像処理方法および画像処理プログラム
EP1881450A1 (en) 2005-05-10 2008-01-23 Olympus Corporation Image processing apparatus, image processing method, and image processing program
JP2006339960A (ja) 2005-06-01 2006-12-14 Nissan Motor Co Ltd 物体検出装置、および物体検出方法
JP4102885B2 (ja) 2005-07-15 2008-06-18 国土交通省国土技術政策総合研究所長 駐車車両検知方法及び駐車車両検知システム
JP4656408B2 (ja) 2005-08-05 2011-03-23 株式会社デンソー 車両用周囲監視装置
JP4823781B2 (ja) 2005-08-31 2011-11-24 本田技研工業株式会社 車両の走行安全装置
JP4850471B2 (ja) 2005-10-04 2012-01-11 富士重工業株式会社 車両情報提示装置
JP4813141B2 (ja) 2005-10-05 2011-11-09 川崎重工業株式会社 情報提供装置
JP2007172541A (ja) 2005-12-26 2007-07-05 Toyota Motor Corp 運転支援装置
JP4923647B2 (ja) 2006-03-17 2012-04-25 株式会社デンソー 運転支援画像表示装置及びプログラム
JP4311426B2 (ja) 2006-09-12 2009-08-12 住友電気工業株式会社 移動体を表示するための表示システム、車載装置及び表示方法
JP4420002B2 (ja) * 2006-09-14 2010-02-24 トヨタ自動車株式会社 視線先推定装置
JP4893945B2 (ja) 2007-02-06 2012-03-07 株式会社デンソー 車両周辺監視装置
JP4434224B2 (ja) * 2007-03-27 2010-03-17 株式会社デンソー 走行支援用車載装置
JP4558758B2 (ja) 2007-05-07 2010-10-06 三菱電機株式会社 車両用障害物認識装置
FR2921027B1 (fr) 2007-09-17 2010-02-26 Valeo Vision Dispositif d'aide a la conduite pour vehicule automobile comportant un systeme de capture d'images stereoscopique
JP4992755B2 (ja) 2008-02-25 2012-08-08 株式会社デンソー 交差点運転支援システム、車載器、及び、路側機
JP2010250452A (ja) 2009-04-14 2010-11-04 Tokyo Univ Of Science 任意視点画像合成装置
JP2011060179A (ja) 2009-09-14 2011-03-24 National Institute Of Advanced Industrial Science & Technology 操舵制御方法
JP5520004B2 (ja) 2009-10-28 2014-06-11 富士重工業株式会社 車両用運転支援装置
JP2011196942A (ja) 2010-03-23 2011-10-06 Pioneer Electronic Corp ナビゲーション装置及び右折支援方法
JP5531733B2 (ja) 2010-04-01 2014-06-25 トヨタ自動車株式会社 道路情報取得装置
AU2010201740B2 (en) * 2010-04-30 2013-03-07 Canon Kabushiki Kaisha Method, apparatus and system for performing a zoom operation
JP5626578B2 (ja) * 2010-12-02 2014-11-19 アイシン・エィ・ダブリュ株式会社 走行支援システム、走行支援プログラム、及び走行支援方法
JP2012180055A (ja) * 2011-03-02 2012-09-20 Toyota Motor Corp 車両制御装置
JP2013019684A (ja) 2011-07-07 2013-01-31 Honda Motor Co Ltd 車両周辺監視装置
JP5615441B2 (ja) * 2011-09-05 2014-10-29 三菱電機株式会社 画像処理装置及び画像処理方法
US9446711B2 (en) * 2012-05-09 2016-09-20 Toyota Jidosha Kabushiki Kaisha Driving assist device
DE112012006364B4 (de) 2012-05-14 2018-08-30 Mitsubishi Electric Corporation Fahrer-Unterstützungsvorrichtung
EP2669845A3 (en) * 2012-06-01 2014-11-19 Ricoh Company, Ltd. Target recognition system, target recognition method executed by the target recognition system, target recognition program executed on the target recognition system, and recording medium storing the target recognition program
JP2014106200A (ja) * 2012-11-29 2014-06-09 Toyota Motor Corp 周辺監視装置及び駐車支援装置
JP6212880B2 (ja) * 2013-03-04 2017-10-18 株式会社デンソー 物標認識装置
US8897548B2 (en) * 2013-04-02 2014-11-25 National Chung Cheng University Low-complexity method of converting image/video into 3D from 2D
JP2015052548A (ja) * 2013-09-09 2015-03-19 富士重工業株式会社 車外環境認識装置
JP6091658B2 (ja) 2013-12-26 2017-03-08 三菱電機株式会社 情報処理装置及び情報処理方法及びプログラム
JP6547292B2 (ja) * 2014-02-05 2019-07-24 株式会社リコー 画像処理装置、機器制御システム、および画像処理プログラム
JP6471528B2 (ja) * 2014-02-24 2019-02-20 株式会社リコー 物体認識装置、物体認識方法
JP6163453B2 (ja) * 2014-05-19 2017-07-12 本田技研工業株式会社 物体検出装置、運転支援装置、物体検出方法、および物体検出プログラム
JP6648411B2 (ja) * 2014-05-19 2020-02-14 株式会社リコー 処理装置、処理システム、処理プログラム及び処理方法
JP6350082B2 (ja) * 2014-08-01 2018-07-04 株式会社デンソー 画像処理装置
JP6361366B2 (ja) * 2014-08-18 2018-07-25 株式会社デンソー 物体認識装置
WO2016027289A1 (ja) * 2014-08-21 2016-02-25 三菱電機株式会社 運転支援装置、運転支援方法及びプログラム
JP6447863B2 (ja) * 2014-10-17 2019-01-09 シャープ株式会社 移動体
JP6532229B2 (ja) * 2014-12-18 2019-06-19 株式会社デンソーテン 物体検出装置、物体検出システム、物体検出方法及びプログラム
KR101778558B1 (ko) * 2015-08-28 2017-09-26 현대자동차주식회사 물체 인식 장치, 그를 가지는 차량 및 그 제어 방법
JP6310899B2 (ja) * 2015-11-25 2018-04-11 株式会社Ｓｕｂａｒｕ 車外環境認識装置
CN107179767B (zh) * 2016-03-10 2021-10-08 松下电器（美国）知识产权公司 驾驶控制装置、驾驶控制方法以及非瞬时性记录介质
CN107176161B (zh) * 2016-03-10 2021-11-23 松下电器（美国）知识产权公司 识别结果提示装置、识别结果提示方法以及自主移动体

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5475494A (en) * 1992-12-22 1995-12-12 Mitsubishi Denki Kabushiki Kaisha Driving environment surveillance apparatus
US6658136B1 (en) * 1999-12-06 2003-12-02 Microsoft Corporation System and process for locating and tracking a person or object in a scene using a series of range images
CN102997900A (zh) * 2011-09-15 2013-03-27 歌乐株式会社 外界识别方法、装置以及车辆***

Also Published As

Publication number Publication date
JPWO2016027289A1 (ja) 2017-04-27
DE112014006876T5 (de) 2017-05-18
JP6062122B2 (ja) 2017-01-18
CN106573588A (zh) 2017-04-19
US20170140230A1 (en) 2017-05-18
US10192122B2 (en) 2019-01-29
WO2016027289A1 (ja) 2016-02-25

Similar Documents

Publication Publication Date Title
CN106573588B (zh) 驾驶辅助装置、驾驶辅助方法和程序
US11320833B2 (en) Data processing method, apparatus and terminal
JP4171501B2 (ja) 車両の周辺監視装置
JP6358552B2 (ja) 画像認識装置および画像認識方法
US20140375812A1 (en) Method for representing a vehicle's surrounding environment
CN108271408A (zh) 使用被动和主动测量生成场景的三维地图
JP2011505610A (ja) 画像センサデータに距離センサデータをマッピングする方法及び装置
JP2014006588A (ja) 路面境界推定装置及びプログラム
JP2003302470A (ja) 歩行者検出装置および歩行者検出方法
JP2011027594A (ja) 地図データ検証システム
JP2008123113A (ja) 歩行者検知装置
CN110431562B (zh) 图像识别装置
WO2022088886A1 (en) Systems and methods for temperature measurement
JP6278791B2 (ja) 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラムならびに車両位置検出システム
JP2007304033A (ja) 車両の周辺監視装置、車両、車両の周辺監視方法、および車両の周辺監視用プログラム
JP6278790B2 (ja) 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラムならびに車両位置検出システム
JP2011027595A (ja) 地図データ検証システム
JP2020077293A (ja) 区画線検出装置及び区画線検出方法
CN117392423A (zh) 基于激光雷达的目标物的真值数据预测方法、装置及设备
JP4765113B2 (ja) 車両周辺監視装置、車両、車両周辺監視用プログラム、車両周辺監視方法
JP2019007744A (ja) 物体検知装置、プログラムおよび物体検知システム
JP4742695B2 (ja) 視線認識装置、及び視線認識方法
CN102906801A (zh) 车辆周围监测装置
JP2013114381A (ja) 対象物識別装置および対象物識別方法
JP2006065419A (ja) 人検出装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant