CN102577372B - 驾驶辅助显示装置 - Google Patents

驾驶辅助显示装置 Download PDF

Info

Publication number
CN102577372B
CN102577372B CN201080039272.2A CN201080039272A CN102577372B CN 102577372 B CN102577372 B CN 102577372B CN 201080039272 A CN201080039272 A CN 201080039272A CN 102577372 B CN102577372 B CN 102577372B
Authority
CN
China
Prior art keywords
barrier
border
image
display device
driving support
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201080039272.2A
Other languages
English (en)
Other versions
CN102577372A (zh
Inventor
神山博贵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Automotive Systems Co Ltd
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN102577372A publication Critical patent/CN102577372A/zh
Application granted granted Critical
Publication of CN102577372B publication Critical patent/CN102577372B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)

Abstract

在将多个摄像机的拍摄图像合成显示的驾驶辅助显示装置中，提供在部分图像之间的边界附近，正确且用户容易辨认的图像。图像合成单元(41)基于对应表参照单元(45)，用通过多个摄像机(31)拍摄本车辆周围所得的图像，制作俯视图像。障碍物检测单元(42)从通过多个摄像机(31)拍摄的图像中检测障碍物。障碍物移动方向预测单元(43)基于由障碍物检测单元(42)检测的障碍物信息，预测障碍物的移动方向并设定边界，以使障碍物和多个摄像机(31)的合成图像的边界不重合。图像合成单元(41)从对应表参照单元(45)获取必要的信息，制作障碍物和多个摄像机的图像的边界不重合的俯视图像。

Description

驾驶辅助显示装置
技术领域
本发明涉及使用了拍摄车辆周围的多个摄像机(camera)的驾驶辅助显示装置，特别涉及从多个摄像机的拍摄图像来合成车辆周围的俯视图像的驾驶辅助显示装置。
背景技术
近年来，将从车辆上方的虚拟视点俯视了车辆周围的俯视图像显示在显示屏上的驾驶辅助显示装置逐渐普及。为了覆盖大范围作为监视范围，大多数驾驶辅助显示装置利用多个摄像机来生成俯视图像。
图1是表示驾驶辅助显示装置中的摄像机配置以及由各个摄像机拍摄的图像获得的俯视图像的图。
如图1所示，车辆1上安装有第1摄像机11～第4的摄像机14。第1摄像机11～第4的摄像机14以倾斜俯视的方向分别拍摄车辆1的前方、后方、左侧和右侧的路面。从第1摄像机11～第4的摄像机14的拍摄图像，能够获得与从车辆上方的虚拟视点俯视时的图像近似的第1摄像机俯视图像a～第4摄像机俯视图像d。
显示的俯视图像优选是尽量大范围且连续的图像。于是，由多个摄像机的拍摄图像合成一个俯视图像。以下，将从多个摄像机的拍摄图像合成的俯视图像称为“合成俯视图像”。
这里，对于相邻的两个摄像机，两个摄像机都能拍摄到的区域称为重复区域15。重复区域15的路面标识或树阴等，路面上的没有高度的图案的图像位置在第2摄像机12和第3摄像机13的重复区域15中一致。但是，位于重复区域的障碍物的位置因具有高度的关系而在第2摄像机12和第3摄像机13的俯视图像中不同。
使用图2说明这一点。图2是用于说明障碍物在边界线上消失的情况的图。这是由于从第2摄像机12观察时的障碍物的投影方向18与从第3摄像机13观察时的障碍物的投影方向19不同的缘故。
这样，重复区域15的障碍物的投影方向在每个摄像机的俯视图像中不同。在重复区域15中如图2那样用边界线划分摄像机的影像时，对于俯视图像区域b，使用第2摄像机12的图像生成俯视图像。同样地，对于俯视图像区域c，使用第3摄像机13的图像生成俯视图像。因此，存在于边界线附近的障碍物16未显示在第2摄像机12的俯视图像内也未显示在第3摄像机13的俯视图像内。
因此，在边界和障碍物重合的情况下，存在障碍物消失，用户无法辨认障碍物的问题。
作为解决上述问题的驾驶辅助显示装置，已知专利文献1等的装置。图3是用于说明专利文献1的图。在专利文献1中，如图3的(a)那样，在所合成的图像的边界17与障碍物16的显示重合时，变更边界以使障碍物16的显示和边界17不重合，并显示如图3的(b)那样，成为边界18的图像。
现有技术文献
专利文献
[专利文献1]日本专利公开第2007-104373号公报
发明内容
发明要解决的问题
但是，专利文献1中，虽然公开了在存在逐渐接近的障碍物的情况下，可以优先进行处理以使边界线不落入逐渐接近的障碍物，但是未公开具体的处理内容，因此有时不一定能够设定为边界线不落入移动的障碍物。
以下说明上述情况。
如图3的(b)所示，即使在检测出障碍物16的检测位置19上判明移动方向，但除非使用多个帧的信息进行平均，否则不能正确地检测移动的方向和速度。
例如，移动的障碍物16有时突然转换方向或改变速度。在图3中，在某一定时检测以某恒定速度移动的障碍物16。将在该检测定时检测出的检测位置19之前检测到的障碍物的位置设为障碍物位置23。在以从障碍物位置23到检测位置19的移动方向和移动速度移动时，可以预测在更新边界线的定时，障碍物16存在于位置20。设移动速度为Vo、检测移动物的时间为to、边界线的更新时间为tn，则可以定义移动半径r如下。
r＝Vo×(to+tn)
然而，障碍物的移动方向和移动速度不一定是恒定的，有可能存在于障碍物的位置21。也就是说，作为障碍物的移动范围，基于移动速度，有可能在更新边界线的下一个帧中，移动到距离移动半径r的位置。在这种情况下，只单纯地检测移动的障碍物时，反而有可能边界线落入障碍物。也就是说，有可能变更后的边界线18与障碍物的位置21重合。
因此，仅单纯地检测移动的障碍物，不一定能够避开移动的障碍物而设定边界线。因此，专利文献1所公开的发明中存在不能避开移动的障碍物而变更边界线的问题。
本发明的目的是，在将多个摄像机的拍摄图像合成显示的驾驶辅助显示装置中，即使在部分图像的边界附近，障碍物也不消失，而对于用户提供正确且容易辨认的图像。
解决问题的方案
本发明的驾驶辅助显示装置包括：检测单元，检测本车辆周围的障碍物的位置；预测单元，从所述障碍物的位置预测所述障碍物的移动方向和移动速度；以及合成单元，基于来自所述预测单元的信息，合成多个摄像机的影像而生成俯视图像，所述预测单元基于所述移动方向和所述移动速度，设定所述多个摄像机的图像的边界，以使所述边界与所述障碍物不重合，并且，所述预测单元计算所述障碍物与能够拍摄该障碍物的摄像机之间的距离，设定所述边界以使通过距离近的摄像机拍摄到的图像中包含所述障碍物。
发明的效果
本发明中，图像合成单元基于来自障碍物移动方向预测单元的信息，制作障碍物与多个摄像机的图像的边界不重合的俯视图像，由此，即使正在移动的障碍物，显示上也不与多个摄像机图像的边界重合。因此，能够将车辆周围的信息正确地传给驾驶员，从而辅助更安全的驾驶。
附图说明
图1是表示现有的驾驶辅助显示装置中的摄像机的配置情况以及从各个摄像机的拍摄图像获得的俯视图像的图。
图2是用于说明在现有的驾驶辅助显示装置中，在部分图像的边界线，障碍物消失的情况的图。
图3的(a)、(b)是表示在现有的驾驶辅助显示装置中的部分图像的边界线的设定例的图。
图4是本发明实施方式1的驾驶辅助显示装置的方框图。
图5是用于说明该装置的动作的流程图。
图6是用于说明该装置的障碍物的检测方法的图。
图7是用于说明该装置的障碍物的移动方向和移动速度的计算方法的图。
图8是用于说明通过该装置的有源传感器的障碍物的移动方向和移动速度的计算方法的图。
图9是用于说明该装置的部分图像的边界的变更方法的图。
图10是用于说明该装置的障碍物的俯视图像上的投影的图。
图11的(a)、(b)是用于说明该装置的部分图像的边界的变更方法的图。
图12是用于说明该装置的部分图像的边界的设定例的图。
图13是本发明实施方式2的驾驶辅助显示装置的方框图。
图14是用于说明该装置的动作的流程图。
图15的(a)、(b)是用于说明该装置的部分图像的边界的变更方法的图。
标号说明
30  摄像单元
31  摄像机
41  图像合成单元
42  障碍物检测单元
43  障碍物移动方向预测单元
46  本车辆动作信息获取单元
具体实施方式
下面，使用附图说明本发明实施方式的驾驶辅助显示装置。
(实施方式1)
图4是表示本发明实施方式1的驾驶辅助显示装置的结构的方框图。
图4的驾驶辅助显示装置中，摄像单元30由多个摄像机31以及将摄像机31所摄像的图像的每个帧进行存储的帧存储器32构成。摄像单元30具有全彩色或单色的数码相机31，该数码相机31典型地具有CCD(电荷耦合器件)、CMOS(互补金属氧化物半导体)器件等固体摄像器件。
图像处理单元40中，图像合成单元41输入从具有多个摄像机31的摄像单元30输出的多个摄像机图像，并对这些拍摄图像进行加工。这里所说的加工是图像的剪切变形处理和变形后的部分图像的合成处理(包括边界处理)。图像合成单元41根据由对应表参照单元45进行对应选择34而设定的对应表(mapping table)MPT，使用从摄像单元30输出的多个摄像机图像而生成合成图像，并输出到显示装置50。对应表MPT是记述了合成图像的像素和各个摄像机图像的像素数据之对应关系的表，用于高速地进行合成图像的生成处理。通过后述的使用几何变换等的计算或人工操作等，预先制作这样的对应表，能够高速地生成期望的合成图像。
障碍物检测单元42将从摄像单元30输入的多个摄像机图像作为输入，使用摄像机图像进行地面/非地面的判定，检测地面上竖立的障碍物，输出障碍物的位置。在后面详细地说明该使用摄像机图像的障碍物检测方法。在障碍物的检测中，有时还使用超声波或毫米波等传感器件33的输出结果。障碍物移动方向预测单元43根据由障碍物检测单元42检测出的障碍物的位置，使用先前的位置预测移动方向，设定部分图像的边界，将其输出到图像合成单元41。定时生成单元44生成用于生成合成图像的运动图像序列的定时信号，将其输出到对应表参照单元45。
使用附图说明如上构成的驾驶辅助显示装置的动作。图5是表示驾驶辅助显示装置的动作的流程图。
在步骤S001中，从摄像单元30中的多个摄像机31，获得各个摄像机图像。
在步骤S002中，在对应表参照单元45，使用从各个摄像机获得的影像合成俯视图像。
在步骤S003中，由障碍物检测单元42检测在步骤S002中生成的俯视图像的范围内存在的障碍物。障碍物的检测方法有，基于使用了用摄像机摄像的图像的图像处理的方法、以及使用各种传感器的方法。基于图像处理的方法有，通过图案匹配、立体处理的方法。立体处理有通过双眼相机的立体处理和通过单眼相机的处理。这里以单眼立体处理为例进行说明。
图6是用于说明单眼立体的原理的图。在某个时间t1，单眼相机只能获得一个图像，因此还使用下一个时间t2的图像即共两个图像，求相同的图案的特征点的移动量，通过与车辆的移动量的比例计算，计算到障碍物为止的距离。例如，与在某个时间t1的特征点A相同的在时间t2的特征点A存在于A’的位置时，从它们的像素间距离[pixel]和摄像机参数，计算像素间距离d[mm]。该摄像机参数是，设计摄像机的透镜时所设定的参数。另外，特征点的检测方法是，对于作为物体的特征的边缘点和角等，例如通过众所周知的角检测滤波处理或边缘检测滤波处理等而检测特征点。根据以上的信息，使用摄像机的焦距f、像素间距离d和车辆的移动距离x，能够如下计算要求取的至障碍物的距离D。
D＝f×x/d
在步骤S004中，作为障碍物检测的结果，判别在俯视图像内(两个摄像机图像重合的区域)是否存在障碍物。在判别为该区域中存在障碍物时，障碍物检测单元42进至下一个步骤。在判别为不存在障碍物时，结束处理。
在步骤S005中，获取由障碍物检测单元42获得的各个障碍物的摄像机图像上的位置信息。这里，从在步骤S003中检测出的障碍物的特征点，获取图像坐标。
在步骤S006中，障碍物移动方向预测单元43使用在步骤S003中计算出的特征点，计算障碍物的移动方向和移动速度。如图7所示，从时序的特征点、某个时刻t的特征点A(xa，ya)和下一个时刻t+1的特征点A’(xb,yb)，检测特征点的移动方向M矢量(xb-xa，yb-ya)。并且，基于检测出的特征点的移动矢量M，计算移动速度VM。计算方法如下：基于俯视图像内检测出的时刻t的特征点的坐标A和时刻t+1的特征点A’的欧几里德距离，以及变换为俯视图像时的参数即每1像素的距离，计算移动距离和移动时间，并计算移动速度。
VM＝(xb-xa)2+(yb-ya)2
另外，下面说明使用了各种传感器的障碍物检测方法。传感器件33的各种传感器是指，例如超声波传感器或毫米波雷达等有源传感器(active sensor)。图8是用于说明使用了有源传感器的、障碍物的移动方向的预测方法的图。如图8那样，将通过有源传感器获得的检测结果的时刻和坐标，按时序存储到表存储器中，然后，使用在某时刻t检测出的坐标(xt,yt)和在之前的时刻检测出的坐标、例如在时刻t-1的坐标(xt1，yt1)，如下计算障碍物的移动方向M和移动速度VM。
M＝(xt1-xt,yt1-yt)
VM＝(xt1-xt)2+(yt1-yt)2
虽然在上述说明中，在变更边界的时刻t，使用前一检测时刻t-1的检测结果，计算障碍物的移动方向和移动速度，但也可以对先前检测出的多个数据进行平均来计算移动方向和移动速度以进一步提高精确度。另外，如果考虑移动的障碍物的移动方向和移动速度而预测在更新的帧中障碍物到达哪个位置，该预测结果和在当前帧中检测出的移动的障碍物的位置之间无差异，则可以认为以目前的移动方向和移动速度持续移动，从而能够避开移动的障碍物而变更边界线。假如在该预测结果和在当前帧中检测出的移动的障碍物的位置有差异，则如前述，变更边界线，以使其不落入图3中说明的障碍物的移动可能位置、也就是障碍物的移动可能位置即移动半径r。这样，能够进行更正确地考虑了移动的障碍物的移动方向和速度的边界线的移动。
在步骤S007中，障碍物移动方向预测单元43根据在步骤S006中计算出的障碍物的移动方向和移动速度，变更边界以与障碍物不重合。具体而言，如图9那样，变更到与障碍物的移动方向63反向且在下一个图像帧更新定时边界65与障碍物64也不重合的位置。若设上述说明中计算的障碍物的移动速度为VM，画面更新时间为t，则可以如下计算移动距离D。
D＝VM×t
也就是说，以检测出的该障碍物和变更后的边界不重合的方式，而且，在与障碍物的移动方向矢量VM63相反方向上，以大于移动距离D的距离，变更边界即可。另外，说明了将边界变更到与移动的障碍物反向的位置，但也可以将边界变更到与移动的障碍物的移动方向同一方向且在下一个图像帧更新定时大于障碍物的移动距离D的位置。
根据障碍物和拍摄障碍物的摄像机之间的距离，决定该边界的变更方法。图10是用于说明障碍物和摄像机位置的关系的图。如图10那样，在障碍物的高度相同时，距摄像机的距离越近，俯视图像中的障碍物的投影越小。该图表示在俯视图像中显示障碍物的情况，障碍物和摄像机之间的距离较近时，俯视图像中的投影较小，对用户来说，为容易看见的图像。根据上述说明，作为边界的变更方法，例如优选以下述方式变更边界：计算障碍物与能够拍摄该障碍物的摄像机1、摄像机2的距离，并使用与障碍物距离较短的摄像机拍摄到的障碍物的图像。在图11的例子中，设摄像机1的坐标为(xc1，yc1)，摄像机2的坐标为(xc2，yc2)、障碍物的坐标为(xo，yo)时，可以如下计算各个距离。
D1＝(xc1-xo)2+(yc1-yo)2
D2＝(xc2-xo)2+(yc2-yo)2
根据上式的计算结果变更边界，以使用D1和D2中距离更近的一方的摄像机图像。在如上所述考虑障碍物和摄像机的位置关系来变更边界时，对用户来说，图11的(a)的障碍物的识别性更好。
在步骤S007中，图像合成单元41将障碍物的位置变换为合成图像上的坐标。通过参照记述了合成画面上的坐标和各个摄像机图像上的坐标之间关系的对应表来进行该处理。
而且，因为预测障碍物的移动方向来变更边界，所以即使障碍物移动，障碍物和边界也不重合，而且能够迅速地更新边界的变更。以下说明这一点。边界的更新至少受到更新画面的时间T的限制。若设障碍物的检测处理时间为TO、画面的更新处理时间为TN、变更边界的处理时间为TM，则可以如下计算直到变更边界为止的总处理时间T。
T＝TO+TN+TM
在障碍物移动的情况下，它在上述处理时间T内也在移动，有可能移动到经过上述处理时间T变更后的边界的位置。因为将通过图像处理的识别处理时间Tr和先前帧的识别结果合并起来计算障碍物的移动方向和移动速度，如果先前帧的使用数设为n帧，在NTSC信号中一帧的时间为1/30秒，则该障碍物的检测处理时间TO至少需要(Tr+n/30)时间，足以被认为直到变更边界为止障碍物进行移动而变更后的边界18与移动的障碍物21重合(参照图3)。
然而，在本实施方式中，如图11那样，障碍物移动方向预测单元43预测障碍物的移动方向、移动速度来变更边界，由此，障碍物即使移动也不会重合于变更后的边界。具体而言，作为在时间T中障碍物61移动到的位置，从先前计算出的障碍物的移动方向和移动速度63，计算移动后的障碍物64的坐标。将边界62变更为边界65即可，以使边界65不重合于该计算出的坐标。通过这样处理，能够变更边界以不重合于移动的障碍物，而且实现考虑了边界的变更时间T的边界变更，因此能够不追随移动的障碍物变更边界，而先于移动的障碍物来变更边界。另外，如图11的(b)所示，即使在与障碍物62的移动方向同一方向，也可以变更为与考虑了下一个画面更新时间的、合计处理时间T的障碍物的移动位置64不重合的边界66。另外，也可以估计移动的障碍物与预测相反地移动的情况，变更边界线，以使其不落入移动区域67。
图12是用于说明一例边界的设定方法的图。在上面说明的边界设定中，预先将如图12那样的边界数据存储到对应表参照单元45中。在像素合成单元41，基于由障碍物移动方向预测单元43决定的边界，从对应表参照单元45读出并合成边界数据。另外，提出了从俯视图像的本车辆的端部直线状引出的边界的例子，但不限于本例，可以采用任何形状的边界线。
如上所述，能够避免在多个摄像机图像的边界区域，障碍物因重合于边界而不连续地显示，能够使用户更正确且容易看见地显示障碍物。
(实施方式2)
图13是表示本发明实施方式的驾驶辅助显示装置的结构的方框图。只说明结构与图4不同的部分。
障碍物移动方向预测单元43从由障碍物检测单元42检测出的障碍物的移动方向、以及车辆信息35(变档信息和转向角信息)即由本车辆动作信息获取单元46获取的本车辆的动作信息，在本车辆的行驶方向路内，基于障碍物的移动方向和移动速度判定障碍物是否进来，在预测到进来时，变更边界，以使障碍物与边界不重合。
接着，说明根据障碍物的移动方向和移动速度以及本车辆的移动方向，变更边界的动作。
图14是表示驾驶辅助显示装置的动作的流程图。只说明动作与图5不同的部分。在步骤S007中，本车辆动作信息获取单元46获取本车辆的车辆信息35。具体而言，通过获取变档位置或方向盘转向角信息，计算本车辆的预测行驶方向。
在步骤S008中，根据在步骤S006和步骤S007中计算出的障碍物的移动方向和移动速度、以及本车辆的预测行驶方向，障碍物移动方向预测单元43以不重合于障碍物的方式变更边界。具体而言，如图15那样，在本车辆的移动方向73的行驶道路周围存在障碍物71时，变更到与障碍物71的移动方向反向且在下一个图像帧更新定时障碍物71也不与边界重合的位置。具体而言，若设上述说明中计算的障碍物的移动速度为VM，画面更新时间为t，则如下计算移动距离D。
D＝VM×t
也就是说，变更为边界74即可，以使检测出的该障碍物71的下一个画面更新时的障碍物预测位置75与变更后的边界的不重合，而且与障碍物的移动方向反向。另外，说明了将边界变更到与移动的障碍物反向的位置，但也可以将边界以在与移动的障碍物的移动方向同一方向且不重合于在下一个图像帧更新定时预测的障碍物预测位置75的方式进行变更。
如上所述，根据障碍物和拍摄障碍物的摄像机之间的距离，决定该边界的变更方法。
另外，如上面的说明，考虑到移动的障碍物和预测相反地移动的情况，也可以变更边界线以使其不落入移动区域。
根据这样的上述动作，在通过多个摄像机进行俯视图像合成处理时，本发明的驾驶辅助显示装置能够使部分图像的边界与障碍物不重合，将车辆周围的信息正确地传给驾驶员，能够辅助更安全的驾驶。
另外，在上述说明中，举出变更边界以所有的边界不存在重合的障碍物的例子、以及考虑本车辆的移动方向，对存在于本车辆的移动方向上的障碍物变更边界的例子进行了说明，但不限于这些方法，也可以对重合于边界的障碍物，将与本车辆最近的距离上存在的障碍物作为对象，变更边界以使其不重合于边界。另外，还可以组合这些方法，对于在本车辆的预测行驶方向上且与本车辆最近的距离上存在的障碍物，变更边界以免重合。
2009年9月24日提交的日本专利申请第2009-218445号所包含的说明书、说明书附图和说明书摘要的公开内容全都引用于本申请。
工业实用性
如上所述，本发明中，以存在于部分图像之间的边界附近的障碍物不重合于合成的边界的方式变更边界，因此障碍物不消失，能够对用户提供正确且容易辨别的图像，作为使用了拍摄车辆的周围的多个摄像机的驾驶辅助显示装置是很有用的。

Claims (7)

1.驾驶辅助显示装置，包括：
检测单元，检测本车辆周围的障碍物的位置；
预测单元，从所述障碍物的位置预测所述障碍物的移动方向和移动速度；以及
合成单元，基于来自所述预测单元的信息，合成多个摄像机的影像而生成俯视图像，
所述预测单元基于所述移动方向和所述移动速度，设定所述多个摄像机的图像的边界，以使所述边界与所述障碍物不重合，
并且，所述预测单元计算所述障碍物与能够拍摄该障碍物的摄像机之间的距离，设定所述边界以使通过距离近的摄像机拍摄到的图像中包含所述障碍物。
2.如权利要求1所述的驾驶辅助显示装置，
所述预测单元设定所述边界以使所述边界不进入所述障碍物的可移动区域。
3.如权利要求2所述的驾驶辅助显示装置，
所述预测单元设定所述边界以使所述边界不进入所述障碍物的可移动位置即移动半径内。
4.如权利要求1所述的驾驶辅助显示装置，
所述合成单元基于来自所述预测单元的信息，生成所述障碍物和所述边界不重合的所述俯视图像。
5.如权利要求1所述的驾驶辅助显示装置，还包括：
获取单元，获取包含所述本车辆的变档信息和转向角信息的至少一方的车辆信息，
所述预测单元从所述移动方向和所述移动速度、以及所述车辆信息，设定所述边界，以使所述边界与所述障碍物不重合。
6.如权利要求5所述的驾驶辅助显示装置，
所述预测单元设定所述边界以使所述边界不进入所述障碍物的可移动区域。
7.如权利要求6所述的驾驶辅助显示装置，
所述预测单元设定所述边界以使所述边界不进入所述障碍物的可移动位置即移动半径内。
CN201080039272.2A 2009-09-24 2010-09-24 驾驶辅助显示装置 Active CN102577372B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2009218445 2009-09-24
JP2009-218445 2009-09-24
PCT/JP2010/005778 WO2011036892A1 (ja) 2009-09-24 2010-09-24 運転支援表示装置

Publications (2)

Publication Number Publication Date
CN102577372A CN102577372A (zh) 2012-07-11
CN102577372B true CN102577372B (zh) 2015-06-10

Family

ID=43795659

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201080039272.2A Active CN102577372B (zh) 2009-09-24 2010-09-24 驾驶辅助显示装置

Country Status (5)

Country Link
US (1) US8655019B2 (zh)
EP (1) EP2482557B1 (zh)
JP (1) JP5503660B2 (zh)
CN (1) CN102577372B (zh)
WO (1) WO2011036892A1 (zh)

Families Citing this family (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5479956B2 (ja) * 2010-03-10 2014-04-23 クラリオン株式会社 車両用周囲監視装置
US8556816B2 (en) * 2011-05-27 2013-10-15 Samsung Medison Co., Ltd. Providing a measuring item candidate group for measuring size of a target object in an ultrasound system
EP2750382B1 (en) * 2011-08-26 2017-06-28 Panasonic Intellectual Property Management Co., Ltd. Driving assistance apparatus
EP2763406A4 (en) 2011-09-30 2015-06-17 Panasonic Ip Man Co Ltd APPARATUS FOR PRODUCING IMAGES FROM THE BIRDS 'PERSPECTIVE, METHOD FOR PRODUCING IMAGES FROM THE BIRDS' PERSPECTIVE AND PROGRAM FOR GENERATING PICTURES FROM THE BIRDS 'PERSPECTIVE
DE102011088332B4 (de) * 2011-12-13 2021-09-02 Robert Bosch Gmbh Verfahren zur Verbesserung der Objektdetektion bei Multikamerasystemen
US9393961B1 (en) 2012-09-19 2016-07-19 Google Inc. Verifying a target object with reverse-parallax analysis
JP6084434B2 (ja) * 2012-10-31 2017-02-22 クラリオン株式会社 画像処理システム及び画像処理方法
US9741143B2 (en) * 2013-05-29 2017-08-22 Nec Corporation Multocular imaging system, synthesis process method of acquired images, and program
JP6197388B2 (ja) * 2013-06-11 2017-09-20 富士通株式会社 距離測定装置、距離測定方法、およびプログラム
JP5786899B2 (ja) * 2013-06-12 2015-09-30 トヨタ自動車株式会社 操舵補助表示装置
KR101723401B1 (ko) * 2013-08-12 2017-04-18 주식회사 만도 야간 카메라 영상 저장 장치 및 그 영상 저장 방법
US9495602B2 (en) * 2013-10-23 2016-11-15 Toyota Motor Engineering & Manufacturing North America, Inc. Image and map-based detection of vehicles at intersections
US9403482B2 (en) 2013-11-22 2016-08-02 At&T Intellectual Property I, L.P. Enhanced view for connected cars
DE102014001496A1 (de) * 2014-01-29 2015-07-30 Man Truck & Bus Ag Verfahren zur bildlichen Darstellung eines Umgebungsbereichs eines Kraftfahrzeugs mit einem Birdview-System
WO2015129280A1 (ja) * 2014-02-26 2015-09-03 京セラ株式会社 画像処理装置および画像処理方法
JP6262068B2 (ja) * 2014-04-25 2018-01-17 日立建機株式会社 車体近傍障害物報知システム
DE102014107235A1 (de) * 2014-05-22 2015-11-26 Dr. Ing. H.C. F. Porsche Aktiengesellschaft Verfahren zur Darstellung einer Fahrzeugumgebung auf einer Anzeigevorrichtung; eine Anzeigevorrichtung; ein System aus einer Mehrzahl an Bilderfassungseinheiten und einer Anzeigevorrichtung; ein Computerprogramm
US10449900B2 (en) 2014-06-20 2019-10-22 Clarion, Co., Ltd. Video synthesis system, video synthesis device, and video synthesis method
JP6411100B2 (ja) * 2014-07-08 2018-10-24 アルパイン株式会社 車両周囲画像生成装置および車両周囲画像生成方法
US10055643B2 (en) * 2014-09-19 2018-08-21 Bendix Commercial Vehicle Systems Llc Advanced blending of stitched images for 3D object reproduction
CN104539868B (zh) * 2014-11-24 2018-06-01 联想(北京)有限公司 一种信息处理方法及电子设备
DE102015204213B4 (de) * 2015-03-10 2023-07-06 Robert Bosch Gmbh Verfahren zum Zusammensetzen von zwei Bildern einer Fahrzeugumgebung eines Fahrzeuges und entsprechende Vorrichtung
DE102015104937A1 (de) * 2015-03-31 2016-10-06 Valeo Schalter Und Sensoren Gmbh Verfahren zum Beurteilen einer Zugehörigkeit eines Erfassungspunkts zu einem Objekt in einem Umgebungsbereich eines Kraftfahrzeugs sowie Fahrerassistenzsystem
JP6558733B2 (ja) * 2015-04-21 2019-08-14 パナソニックＩｐマネジメント株式会社 運転支援方法およびそれを利用した運転支援装置、運転制御装置、車両、運転支援プログラム
JP6582557B2 (ja) 2015-05-28 2019-10-02 株式会社ソシオネクスト 描画装置、描画方法および描画プログラム
JP2016225865A (ja) * 2015-06-01 2016-12-28 東芝アルパイン・オートモティブテクノロジー株式会社 俯瞰画像生成装置
CN108369746A (zh) * 2015-12-21 2018-08-03 罗伯特·博世有限公司 用于多相机交通工具***的动态图像融合
US10338589B2 (en) * 2016-03-25 2019-07-02 Panasonic Intellectual Property Corporation Of America Controller, driving control method, and non-transitory computer-readable recording medium storing a program
JP6723820B2 (ja) * 2016-05-18 2020-07-15 株式会社デンソーテン 画像生成装置、画像表示システムおよび画像表示方法
KR20170133743A (ko) 2016-05-26 2017-12-06 현대자동차주식회사 사용자 입력 기반 차량 제어 시스템 및 그 방법
JP6614042B2 (ja) * 2016-06-15 2019-12-04 株式会社Ｊｖｃケンウッド 姿勢変化判定装置、俯瞰映像生成装置、俯瞰映像生成システム、姿勢変化判定方法およびプログラム
KR101844885B1 (ko) * 2016-07-11 2018-05-18 엘지전자 주식회사 차량 운전 보조장치 및 이를 포함하는 차량
KR102551099B1 (ko) 2017-01-13 2023-07-05 엘지이노텍 주식회사 어라운드뷰 제공장치, 제공방법 및 이를 구비한 차량
JP6730613B2 (ja) 2017-02-28 2020-07-29 株式会社Ｊｖｃケンウッド 俯瞰映像生成装置、俯瞰映像生成システム、俯瞰映像生成方法およびプログラム
US10366521B1 (en) 2017-03-15 2019-07-30 Amazon Technologies, Inc. Augmented reality assembly assistance and monitoring
JP2020155792A (ja) * 2017-07-11 2020-09-24 パナソニックＩｐマネジメント株式会社 画像表示装置
JP6761786B2 (ja) * 2017-08-10 2020-09-30 本田技研工業株式会社 天井地図作成方法、天井地図作成装置及び天井地図作成プログラム
JP6686988B2 (ja) * 2017-08-28 2020-04-22 株式会社Ｓｏｋｅｎ 映像出力装置及び映像生成プログラム
US10497264B2 (en) 2017-09-26 2019-12-03 Toyota Research Institute, Inc. Methods and systems for providing warnings of obstacle objects
JP2019074850A (ja) * 2017-10-13 2019-05-16 株式会社デンソー 画像処理装置
CN111226269A (zh) * 2017-11-17 2020-06-02 爱信艾达株式会社 车辆驾驶辅助***、车辆驾驶辅助方法以及车辆驾驶辅助程序
JP6939580B2 (ja) * 2018-01-10 2021-09-22 株式会社デンソー 車両用画像合成装置
JP6835004B2 (ja) * 2018-02-09 2021-02-24 株式会社デンソー 画像生成装置
JP2019151304A (ja) * 2018-03-06 2019-09-12 アイシン精機株式会社 周辺監視装置
EP3579020B1 (de) * 2018-06-05 2021-03-31 Elmos Semiconductor SE Verfahren zur erkennung eines hindernisses mit hilfe von reflektierten ultraschallwellen
WO2020175308A1 (ja) * 2019-02-25 2020-09-03 Dmg森精機株式会社 切屑検出装置、工作機械、切屑検出方法、学習用画像合成装置
CN111845725A (zh) * 2019-04-30 2020-10-30 北京车和家信息技术有限公司 图像显示方法、装置、车辆及计算机可读存储介质
WO2021048584A1 (ja) * 2019-09-12 2021-03-18 日産自動車株式会社 駐車支援方法及び駐車支援装置
US10981507B1 (en) 2019-11-07 2021-04-20 Focused Technology Solutions, Inc. Interactive safety system for vehicles
JP6998360B2 (ja) * 2019-12-13 2022-01-18 本田技研工業株式会社 車両用表示装置及び駐車支援システム
KR102281609B1 (ko) * 2020-01-16 2021-07-29 현대모비스 주식회사 어라운드뷰 합성 시스템 및 방법
JP7388329B2 (ja) * 2020-10-08 2023-11-29 トヨタ自動車株式会社 車両表示システム及び車両表示方法
EP4227901A1 (de) * 2022-02-10 2023-08-16 Roadia GmbH Verfahren und system zur kamerabasierten bestimmung der geschwindigkeit eines fahrzeuges im strassenverkehr

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1373720A (zh) * 1999-09-20 2002-10-09 松下电器产业株式会社 驾驶提醒装置
JP2007104373A (ja) * 2005-10-05 2007-04-19 Alpine Electronics Inc 車両用画像表示装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5461357A (en) * 1992-01-29 1995-10-24 Mazda Motor Corporation Obstacle detection device for vehicle
JP4606322B2 (ja) 2005-12-27 2011-01-05 アルパイン株式会社 車両運転支援装置
DE102006003538B3 (de) * 2006-01-24 2007-07-19 Daimlerchrysler Ag Verfahren zum Zusammenfügen mehrerer Bildaufnahmen zu einem Gesamtbild in der Vogelperspektive
JP4674814B2 (ja) 2006-03-20 2011-04-20 アルパイン株式会社 車両用画像表示装置および画像合成方法
JP4893945B2 (ja) * 2007-02-06 2012-03-07 株式会社デンソー 車両周辺監視装置
JP2008219063A (ja) * 2007-02-28 2008-09-18 Sanyo Electric Co Ltd 車両周辺監視装置及び方法
JP2009017462A (ja) * 2007-07-09 2009-01-22 Sanyo Electric Co Ltd 運転支援システム及び車両
JP2009060499A (ja) * 2007-09-03 2009-03-19 Sanyo Electric Co Ltd 運転支援システム及び連結車両
JP4663749B2 (ja) 2008-03-11 2011-04-06 大日本印刷株式会社 反射型マスクの検査方法および製造方法
US8054201B2 (en) * 2008-03-19 2011-11-08 Mazda Motor Corporation Surroundings monitoring device for vehicle
JP5108605B2 (ja) * 2008-04-23 2012-12-26 三洋電機株式会社 運転支援システム及び車両
JP5035284B2 (ja) * 2009-03-25 2012-09-26 株式会社日本自動車部品総合研究所 車両周辺表示装置
JP2010250640A (ja) 2009-04-17 2010-11-04 Sanyo Electric Co Ltd 画像処理装置
JP5872764B2 (ja) * 2010-12-06 2016-03-01 富士通テン株式会社 画像表示システム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1373720A (zh) * 1999-09-20 2002-10-09 松下电器产业株式会社 驾驶提醒装置
JP2007104373A (ja) * 2005-10-05 2007-04-19 Alpine Electronics Inc 車両用画像表示装置

Also Published As

Publication number Publication date
US8655019B2 (en) 2014-02-18
EP2482557A1 (en) 2012-08-01
EP2482557B1 (en) 2020-03-18
US20120170812A1 (en) 2012-07-05
CN102577372A (zh) 2012-07-11
JP5503660B2 (ja) 2014-05-28
JPWO2011036892A1 (ja) 2013-02-14
EP2482557A4 (en) 2017-04-12
WO2011036892A1 (ja) 2011-03-31

Similar Documents

Publication Publication Date Title
CN102577372B (zh) 驾驶辅助显示装置
JP5057936B2 (ja) 鳥瞰画像生成装置および方法
JP4818816B2 (ja) 駐車支援プログラム及び駐車支援装置
JP4812510B2 (ja) 車両周辺画像生成装置および撮像装置の測光調整方法
EP2739050B1 (en) Vehicle surroundings monitoring system
JP2007274377A (ja) 周辺監視装置、プログラム
JP5495071B2 (ja) 車両周辺監視装置
JP2009017462A (ja) 運転支援システム及び車両
JP2012040883A (ja) 車両周囲画像生成装置
JP2011073496A (ja) 車載立体表示装置、及び車載立体表示方法
CN101861255A (zh) 图像处理装置和方法、驾驶支持***、车辆
KR20130064169A (ko) 다중 룩업 테이블을 이용한 차량 어라운드 뷰 영상 생성장치
JP5253017B2 (ja) 周辺監視装置、障害物検出方法及びコンピュータプログラム
US10721397B2 (en) Image processing system using predefined stitching configurations
JP6151930B2 (ja) 撮像装置およびその制御方法
US20140210957A1 (en) Stereoscopic imaging apparatus and method of displaying in-focus state confirmation image
JP2016190575A (ja) 駐車支援装置、及び駐車支援システム
JP4945315B2 (ja) 運転支援システム及び車両
JP4493885B2 (ja) 運転支援システム
JP5395373B2 (ja) 周辺監視装置
JP2009077022A (ja) 運転支援システム及び車両
JP5436056B2 (ja) 障害物検出装置および障害物検出方法
JP5132796B2 (ja) 車両周辺画像生成装置および画像切替方法
JP2019137397A (ja) 駐車支援装置、及び駐車支援システム
JP2007001440A (ja) 車両運転支援装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20151106

Address after: Osaka Japan

Patentee after: PANASONIC INTELLECTUAL PROPERTY MANAGEMENT Co.,Ltd.

Address before: Osaka Japan

Patentee before: Matsushita Electric Industrial Co.,Ltd.

TR01 Transfer of patent right

Effective date of registration: 20240418

Address after: Kanagawa Prefecture, Japan

Patentee after: Panasonic Automotive Electronic Systems Co.,Ltd.

Country or region after: Japan

Address before: Osaka, Japan

Patentee before: PANASONIC INTELLECTUAL PROPERTY MANAGEMENT Co.,Ltd.

Country or region before: Japan

TR01 Transfer of patent right