CN102458964B - 用于车辆停泊中的摄像机*** - Google Patents

用于车辆停泊中的摄像机*** Download PDF

Info

Publication number
CN102458964B
CN102458964B CN201080025014.9A CN201080025014A CN102458964B CN 102458964 B CN102458964 B CN 102458964B CN 201080025014 A CN201080025014 A CN 201080025014A CN 102458964 B CN102458964 B CN 102458964B
Authority
CN
China
Prior art keywords
vehicle
camera
image
pick
parking space
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201080025014.9A
Other languages
English (en)
Other versions
CN102458964A (zh
Inventor
J·贝克尔
S·卡梅尔
B·皮策
C·杜哈德维
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of CN102458964A publication Critical patent/CN102458964A/zh
Application granted granted Critical
Publication of CN102458964B publication Critical patent/CN102458964B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/027—Parking aids, e.g. instruction means
    • B62D15/028—Guided parking by providing commands to the driver, e.g. acoustically or optically
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/027—Parking aids, e.g. instruction means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/30—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles providing vision in the non-visible spectrum, e.g. night or infrared vision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B60R2300/305—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images merging camera image with lines or icons
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Transportation (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • General Physics & Mathematics (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

一种辅助平行泊车的方法包括给车辆提供前向摄像机和/或后向摄像机。摄像机用来捕获包括至少一个未占用泊车空间和多个由其他车辆占用的泊车空间的泊车区域图像。产生捕获图像的单应变换。单应变换用来从鸟瞰视角估算泊车区域的图像。包括未占用泊车空间的一部分鸟瞰图被显示在车辆的乘客车厢内的显示屏上。

Description

用于车辆停泊中的摄像机***
技术领域
本发明涉及用于车辆中的摄像机***，并且更具体地涉及用于车辆停泊中的摄像机***。
背景技术
日产(Nissan)已经开发了一种称为“日产全景监视器”的驾驶员辅助***，其采用安装于车辆前部、后部和两侧中的四个超宽高分辨率摄像机来提供车辆周围的全景视图。所有这些图像都进行处理并在安装于仪表板上的屏幕上实时地显示，给驾驶员提供它们希望避免碰撞的车辆周围障碍物的360度视野。将车辆换挡至倒档或前进档，会在前部或后部的视野之间交替。驾驶员能在实施特别棘手的平行泊车操纵时切换左侧、前部和右侧视图。日产的“全景监视器”在美国的首次应用是在Infiniti EX35车型中。
映像(mapping)是一种由机器人和车辆使用来构建未知环境内的地图的技术。这并不像听起来那么简单，因为从机器人的各种传感器辨识其相对运动存在着固有的不确定性。一种用于映射道路表面的***包括高端激光雷达、GPS和惯性测量单元(IMU)传感器。该***能以5厘米的道路表面分辨率来产生地面反射性的二维表面图像。
其他已知***聚焦于通过使用安装于飞行器或卫星上的摄像机来产生城市和乡村地形的鸟瞰图。最常见的方法是推扫式拼接(pushbroom mosaic)，其对于其中最终拼接的期望视角接近于原始视角的应用场合工作得很好。
一些商业化产品，比如谷歌的“街景(Street View)”或微软的“街边(Street Side)”，创建了城市场景的静态地图。这些***中的焦点是提供城市的视图，其类似于机动车乘客或行人在同一城市活动时可能看到的场景。如果任何和所有处理能离线进行的话，所捕获图像和最终图像之间的视角差别很小。
使用稀疏特征图示(有时称为地标，landmark)产生地图的其他***也已经提出。尤其，vSLAM(视觉模拟定位和映射)的数个尝试已经开发和展示，主要是开发和展示在使用摄像机***产生基于特征的地图的室内环境中。总之，这些基于特征的地图对于试图定位其自身或其车辆的人来说是不可用的。
前视机动车摄像机用于包括夜视辅助、车道检测、车道偏离警告、车道保持和道路标识检测的各种场合中。将来，这种摄像机将是高级车辆的标准配置。后视摄像机也用作倒车的视觉辅助，并且可能是将来避免倒车事故所需要的。
也存在各种泊车辅助的方法。这些方法的共同之处是声纳被用于主要传感器。声纳的优点是便宜。声纳的缺点在于声纳测量有噪声且不准确，这有时会导致错误的***行为。现有***在与物体碰撞之前给驾驶员发出视觉和/或声学警告。未来的***将通过操作方向盘(即半自动泊车)或方向盘加油门/刹车(即全自动泊车)来辅助驾驶员。
BMW已经提出了一种基于摄像机的***，其使用运动立体化(motion-stereo)用于泊车辅助。这种***需要另外的侧向摄像机以检测泊车区域。
现有技术既没有公开、也没有建议一种利用前向摄像机和/或后向摄像机来给驾驶员提供鸟瞰图，以辅助平行泊车的方法。
发明内容
本发明可提供一种包括前向和/或后向摄像机、以在平行泊车期间辅助车辆驾驶员的***。
在其一种形式中，本发明包括一种辅助平行泊车的方法，其包括给车辆提供前向摄像机和/或后向摄像机。摄像机用来捕获包括至少一个未占用泊车空间和多个由其他车辆占用的泊车空间的泊车区域图像。产生捕获图像的单应变换。单应变换用来从鸟瞰视角估算泊车区域的图像。包括未占用泊车空间的一部分鸟瞰图在车辆的乘客车厢内的显示屏上显示。
在其另一种形式中，本发明包括一种用于车辆的电子泊车辅助装置。这种装置包括设置于车辆中的前向和/或后向摄像机。处理器结合至至少一个摄像机。处理器接收泊车区域的第一图像。图像由摄像机从基本上水平的视角捕获。处理器将第一图像转换为从基本上垂直视角观察的第二图像。识别第二图像内的未占用泊车空间。在车辆基本上邻近未占用泊车空间时，将车辆的图示重叠到第二图像上。第二图像中车辆图示相对于未占用泊车空间的位置持续地更新，以指示车辆相对于未占用泊车空间的实际位置。显示屏设置于车辆的乘客车厢中，并且结合至处理器。显示屏接收并且显示具有车辆重叠图示的第二图像。
在其又一种形式中，本发明包括一种显示地图信息的方法，其包括给车辆提供前向和/或后向摄像机。摄像机用来捕获周围区域的图像。产生捕获图像的单应变换。单应变换被用来从鸟瞰视角估算该区域的图像。确定车辆在移动时相对于鸟瞰图的位置。鸟瞰图在车辆的乘客车厢内的显示屏上显示。所显示的鸟瞰图包括车辆的实时图示。鸟瞰图内的车辆图示的位置是基于确定的步骤基本上持续地更新。
本发明的一个优点在于，其相比已知***而言需要更少的传感器并且因此比已知***明显更便宜。具体地，本发明可仅利用前向和/或后向摄像机。
本发明的另一个优点在于，其利用将是未来车辆上的标准装备的设备，并且无需另外的硬件。更具体地，前向和后向摄像机将是未来汽车上的标准装备。前向摄像机用于夜视、车道检测、道路标识检测等。后向摄像机通常用于避免倒车事故，并且可能是未来汽车所需的。例如，参见由国家高速公路交通安全管理局关于避免倒车事故所提供的指导。因而，本发明可通过软件提供另外的有价值益处，并且可仅使用现有的硬件。
附图说明
通过参照下面结合附图对本发明实施例的描述，本发明的上述和其他特点和目标及其获取方式将变得更加明显并且发明自身将得到更好的理解，其中：
图1是包括有本发明的泊车辅助装置的一个实施例的车辆示意性平面图。
图2是由图1的泊车辅助装置的前向摄像机所捕获的示例图像。
图3是根据本发明一个实施例的、图2所示图像通过使用单应变换被投射到估算三维地平面上。
图4是由本发明的方法的一个实施例产生的示例性映射。
图5是由本发明的方法的另一个实施例产生的示例性映射。
图6是图4的映射在图1所示车辆的图像叠加于其上时的情形。
图7是由本发明的方法的又一实施例产生的示例性映射。
图8是由本发明的方法的再一个实施例产生的示例性映射。
图9是图8的示意映射在驾驶员车辆的轮胎处于直线位置时的情形。
图10是图8的示例性映射在驾驶员车辆必须将方向盘向左旋转以随从最佳泊车路径的点处的情形。
图11是示出本发明的用于辅助平行泊车的一种方法的流程图。
图12是示出本发明的用于显示地图信息的一种方法的流程图。
相应的参考符号在数个附图中指示相应的部件。虽然这里阐述的示例以数种形式示出了本发明的实施例，但是下面公开的实施例不是穷举的或者构造为将本发明的范围限制为所公开的精确形式。
具体实施方式
现在参照附图，并且尤其是图1，其中示出包括本发明的泊车辅助装置10的车辆的一个实施例，这种泊车辅助装置包括前向摄像机12、后向摄像机14、处理器16、显示器18、转向传感器19以及声频扬声器20。前向摄像机12可安装于车辆的格栅中，以使得摄像机12面向并且指向前向13。后向摄像机14可安装于车辆的后保险杠中，以使得摄像机14面向并且指向后向15。在一些实施例中，泊车辅助装置仅包括前向摄像机12和后向摄像机14中的一个，而不是两个。
显示器18可包括例如电子计算机的屏幕或监视器。在一个实施例中，屏幕或监视器可安装于车辆(其可以是汽车)的仪表板上。
处理器16可以是标准微型处理器的形式，并且可包括存储器(未示出)。处理器16可控制被显示于显示器18的屏幕或监视器上以及从扬声器20声频地输出的信息或内容。
本发明可利用静态映像。摄像机12和14可在车辆移动时一直捕获环境的图像。在驾驶员寻找泊车空间时由前向摄像机12捕获并且在显示器18上所显示的典型图像在图2中示出。这个图像碰巧包括未占用的泊车空间21。给定摄像机12在车辆中的相对位置，单应变换(homography)或“射影变换(projective transformation)”可在图像平面和实际地平面之间进行计算。单应变换可用来将每个图像(比如图2中所示的图像)投射到估算三维地平面上，如图3的投射摄像机图像中所示。
为了以高分辨率来收集跨过多个帧的数据，离散网格(如在位置22处成片段地所示出的)可与地平面对准并且重叠到其上。在一个具体实施例中，每个网格单元测量5厘米×5厘米，并且收集其中心投射到其边界内的单元上的全部像素。网格自身可具有有限的高度和宽度，并且可在摄像机移动穿过景物时一直重新定中在摄像机上。
在一个实施例中，在存储器中所存储的是每个单元和最近在该单元位置处从全部图像被观察到的像素值的链接列表之间的关联关系。已经在预定的在先时期内观察到的像素值可存储于存储器中，并且最老的像素值可在存储器中由最近观察到的像素值所替代。图像中心附近的单元(并且因此网格的中心)可收集与两侧的那些单元相比较数目高得多的观察值。在一个实施例中，图像中心附近的单元可收集高达大约700个观察值，而左手侧周边或右手侧周边附近的单元仅收集4个或5个观察值。
然后，每个网格单元的最终值能以几个不同方式中的任何一种计算，并且这些单元可被组合以形成所观察环境的单个鸟瞰图。最简单的聚集技术是在每个单元中选择最新的观察值。由这个技术产生的示例性映射在图4中示出，这是由单个前向摄像机所产生的地图。
在其他实施例中，使用观察值的平均值或众数可减少由于位于地平面外面(例如上方)的障碍物(比如其他车辆)所引起的失真。还能使用在单个单元中所收集的值的变化以检测并且可能移除这种失真。图5是与图4类似的地图，其中至少移除了一些由车辆24和26引起的失真。
可由驾驶员使用的地图在图6中示出，这是图4的映射在具有车辆的图像或图示的情形，其中泊车辅助装置10被安装为重叠或覆盖在其上。然而，车辆还能重叠在图5的失真减少的方案上。重叠的车辆图示可按比例绘出，并且可在几何方面或位置方面地准确，以便让驾驶员准确地估算车辆相对于道路上的任何车道或泊车标记的当前位置和尺寸。
如上所述，本发明可应用于泊车辅助。在驾驶员寻找平行泊车的停车地点时，泊车辅助***可一直且持续地绘制车辆环境的地图。使用映射和所述的物体检测，有可能从地图上测量泊车点的尺寸。泊车空间的测量尺寸可与驾驶员车辆的尺寸相比较，并且可给驾驶员提供泊车空间是否足够大以容纳驾驶员车辆的指示。
泊车辅助***可给驾驶员提供已经发现泊车空间的视觉和/或声频信号，并且还可给驾驶员提供泊车空间的位置和尺寸的视觉和/或声频信号。泊车空间的尺寸可相对于车辆的尺寸进行表达。
在一个实施例中，驾驶员可在泊车辅助***给驾驶员指示泊车点可用之前提供泊车空间必须具有的阈值尺寸。阈值尺寸可表达为泊车空间比车辆大的距离。
在另一个实施例中，泊车辅助***可保持车辆已经成功地平行泊车于其中的在先泊车空间的尺寸记录，以及试图在其中泊车但是未成功的在先泊车空间的尺寸。然后，泊车辅助***可给驾驶员提供在类似尺寸的空间中在先试图平行泊车的成功率的指示。由于一些驾驶员可能比其他驾驶员在平行泊车方面的技术更好，泊车辅助***可另外地保存各个驾驶员在先平行泊车的这种记录。泊车辅助***还可给各个驾驶员提供其在与当前识别地点尺寸大致相同的空间中进行泊车的个人在先成功率。
泊车点及其尺寸可在地图上显示，如由图7中的虚线指示。在这个具体实施例中，泊车点及其尺寸由在显示器18上提供的矩形来表示。车辆相对于泊车点的位置也可在显示器18上显示。
泊车辅助***可给驾驶员提供关于推荐泊车技术的声频和/或视觉指令。例如，该***可给驾驶员指示在将车辆置于倒档之前、在街道上应当行驶多远。用于平行泊车的最佳路径的建议可在显示器18上以视觉可见的方式提供。最佳路径可以是由此车辆可在车辆和障碍物(比如其他停泊车辆)之间具有最大间隙的情况下驶入泊车空间的路径。
除了最佳路径，显示器18还可示出根据方向盘和/或轮胎的当前位置(如由转向传感器19所感测的)而车辆将采用的路径。显示器18可持续地随从并且显示车辆的移动，从而反馈给驾驶员。该***还可给驾驶员指示在倒档驾驶时何时转动方向盘以及转动多远。例如，图8的示例创造性屏幕显示器是基于如由转向传感器19感测的轮胎30a-b的转向位置来示出驾驶员车辆的预期路径28(用实线示出)。在沿着预期路径28的点32处，驾驶员将需要急速地向左转，以随从与预期路径28相分歧的最佳路径34(用虚线示出)。
在图9中，驾驶员车辆的预期路径28可与最佳路径34重叠并一致。然而，在一个实施例中，预期路径28和最佳路径可在这两个路径没有重叠或一致时分开地在显示器中示出。作为示例，图9的显示屏示出由处于直线位置的轮胎30a-b所产生的与最佳路径34相比较而言是线性或直线的预期路径28。由于预期路径28与最佳路径34之间的分歧或偏差，如图9中所示地可在屏幕显示器上提供文字指令“急速右转”。另外地，或替代地，扬声器20可发出音频口头指令“急剧右转”。这些右转指令在驾驶员将方向盘足够地急速右转以引起如图8中所示预期路径28与最佳路径34相重合时停止。
图10示出在车辆到达点32时的示例屏幕显示。文字指令“急速左转”可如所示地在车辆到达点32时提供在屏幕显示器上。另外地，或替代地，扬声器20可发出声频口头指令“急速左转”。
在行人进入泊车区域时，可给驾驶员提供声频或视觉警告。行人的存在可通过摄像机12、14中的一个或车内声纳***(未示出)来检测。
本发明的用于辅助平行泊车的方法110的实施例在图11中示出。在第一步骤1102中，车辆设置有前向摄像机和/或后向摄像机。例如，图1中所示的车辆包括前向摄像机12和后向摄像机14。
在下一个步骤1104中，摄像机用来捕获泊车区域的图像，包括至少一个未占用泊车空间以及多个由其他车辆占用的泊车空间。例如，由摄像机捕获的图2所示图像，是包括未占用泊车空间21和由车辆(比如车辆24和26)占用的其他泊车空间的泊车区域。
接着，在步骤1106中，产生所捕获图像的单应变换。也就是，射影转换可在图2的图像平面与地平面之间进行计算。在本文中，地平面可以认为是停泊车辆被支撑于其上的地表面的平面。
在步骤1108中，单应变换被用来从鸟瞰视角估算泊车区域的图像。例如，单应变换可用来将图2的捕获泊车区域图像转换到地平面上，从而估算图3的鸟瞰图。
在最后步骤1110中，包括未占用泊车空间的一部分鸟瞰图在车辆的乘客车厢内的显示屏上显示。也就是，图3的鸟瞰图可进一步处理，以识别未占用泊车空间21并且产生图4-10中所示的任何图像。图4-10的每个包括未占用泊车空间21，并且图4-10的任何一个可在显示屏18上显示。
本发明的用于显示地图信息的方法1200的另一个实施例在图12中示出。在第一步骤1202中，车辆设置有前向摄像机和/或后向摄像机。例如，图1中所示的车辆包括前向摄像机12和后向摄像机14。
在下一个步骤1204中，摄像机被用来捕获周围区域的图像。例如，由摄像机捕获的图2所示图像是驾驶员车辆周围的泊车区域的图像。
接着，在步骤1206中，产生所捕获图像的单应变换。也就是，射影转换可在图2的图像平面与地平面之间进行计算。在本文中，地平面可以认为是停泊汽车被支撑于其上的地表面的平面。
在步骤1208中，单应变换被用来从鸟瞰视角估算泊车区域的图像。例如，单应变换可用来将图2的捕获泊车区域图像转换到地平面上，从而估算图3的鸟瞰图。
在下一个步骤1210中，确定在车辆移动时车辆相对于鸟瞰图的位置。车辆相对于鸟瞰图的位置能以任何各种方式确定，包括：基于由摄像机当前捕获的图像来计算当前车辆位置；使用距离传感器，比如驾驶员车辆上的声纳或雷达，其感测已停泊汽车的位置；和/或基于里程表和转向传感器输出来追踪驾驶员车辆的行进距离和方向，因为鸟瞰图中的当前区域维持于摄像机的视野中(假定驾驶员车辆和未占用泊车空间之间的初始距离是基于声纳和/或未占用泊车空间的初始捕获图像来计算)。
在最后步骤1212中，在车辆的乘客车厢内的显示屏上显示鸟瞰图，显示的鸟瞰图包括车辆的实时图示，车辆图示在鸟瞰图内的位置是基于确定的步骤基本上持续地更新。也就是，鸟瞰图(比如图6和8-10中所示的那些)在车辆的乘客车厢的显示屏18上显示。在一个实施例中，显示屏18安装于仪表板上。图6和8-10的每个显示鸟瞰图可包括驾驶员车辆的实时图示。车辆图示在图6和8-10的鸟瞰图内的位置，可基于驾驶员车辆在使用最新输入数据确定时的最新实际位置而持续地更新。
本发明已经在此公开为应用来辅助驾驶员实施泊车操纵。然而，将理解到，本发明可应用于其他场合，比如警告驾驶员附近行人的实际位置，或自动地防止驾驶员撞上行人。
虽然本发明已经描述为具有示例的设计，然而本发明可在本公开的精神和范围内进一步变型。因此，本申请将覆盖本发明的使用其一般原理的任何变化、使用或改变。

Claims (19)

1.一种辅助车辆泊车的方法，其包括以下步骤：
给车辆提供前向摄像机和后向摄像机中的至少一个；
使用摄像机捕获泊车区域的图像，所述泊车区域包括至少一个未占用泊车空间和多个由其他车辆占用的泊车空间；
产生捕获图像的单应变换；
使用所述单应变换从鸟瞰视角估算泊车区域的图像；以及
在车辆的乘客车厢内的显示屏上显示包括未占用泊车空间的一部分鸟瞰图；
测量未占用泊车空间的尺寸，所述测量步骤是在捕获图像和/或鸟瞰图上进行；
向使用者提供以下的指示：即在与被测量的尺寸大致相同的未占用泊车空间中进行在先试图平行泊车的成功率。
2.根据权利要求1的方法，其包括自动检测鸟瞰图中的未占用泊车空间的又一步骤。
3.根据权利要求1的方法，其包括提供车辆在鸟瞰图中的当前位置的图示的又一步骤。
4.根据权利要求3的方法，其中车辆在鸟瞰图中的当前位置的图示持续地更新。
5.根据权利要求1的方法，其中所述前向摄像机和后向摄像机中的至少一个包括用于夜视、车道检测以及道路标识检测中的至少一个的前向摄像机。
6.根据权利要求1的方法，其中所述前向摄像机和后向摄像机的至少一个包括用来避免倒车事故的后向摄像机。
7.根据权利要求1的方法，还包括以下步骤：
计算用于车辆驶入未占用泊车空间的最佳路径；以及
在显示屏上显示最佳路径。
8.一种用于车辆的电子泊车辅助装置，所述装置包括：
设置于车辆中的前向摄像机和后向摄像机中的至少一个；
结合至所述至少一个摄像机上的处理器，所述处理器构造为：
接收泊车区域的第一图像，该图像由摄像机从基本上水平的视角捕获；
将第一图像转换为从基本上垂直视角观察的第二图像；
识别第二图像内的未占用泊车空间；以及
在车辆基本上邻近未占用泊车空间时将车辆的图示重叠到第二图像上，在第二图像中的车辆图示相对于未占用泊车空间的位置持续地更新，以指示车辆相对于未占用泊车空间的实际位置；
测量未占用泊车空间的尺寸，所述测量步骤是在第一图像和/或第二图像上进行；以及
向使用者提供以下的指示：即在与被测量的尺寸大致相同的未占用泊车空间中进行在先试图平行泊车的成功率；
显示屏，其设置于车辆的乘客车厢中并且结合至处理器，该显示屏被构造为接收并显示具有车辆重叠图示的第二图像。
9.根据权利要求8的装置，其中处理器被构造为：
产生第一图像的单应变换；以及
在将第一图像转换为第二图像的过程中使用所述单应变换。
10.根据权利要求8的装置，其中所述前向摄像机和后向摄像机中的至少一个包括前向摄像机，所述处理器被构造为使用前向摄像机以用于夜视、车道检测以及道路标识检测中的至少一个。
11.根据权利要求8的装置，其中所述前向摄像机和后向摄像机中的至少一个包括后向摄像机，所述处理器被构造为使用后向摄像机用于避免倒车事故。
12.根据权利要求8的装置，还包括声频扬声器，所述处理器被构造为将声频信号传输至声频扬声器，声频信号包括用于平行泊车的口头指令。
13.根据权利要求8的装置，还包括结合至处理器的转向传感器，该转向传感器被构造为：
感测车辆轮胎的转向方向；并且
将指示方向的方向信号传送至处理器；
所述处理器被构造为：
基于方向信号计算车辆的预期路径；以及
在第二图像中提供所计算的车辆预期路径的指示。
14.根据权利要求13的装置，其中所述处理器构造为：
计算与预期路径相分歧的最佳路径；以及
在第二图像中提供最佳路径的指示。
15.一种显示地图信息的方法，其包括步骤：
给车辆提供前向摄像机和后向摄像机中的至少一个；
使用摄像机来捕获周围区域的图像；
产生被捕获图像的单应变换；
使用所述单应变换来从鸟瞰视野来估算该区域的图像；
确定车辆在移动时相对于鸟瞰图的位置；以及
在车辆的乘客车厢内的显示屏上显示鸟瞰图，所显示的鸟瞰图包括车辆的实时图示，所述鸟瞰图内的车辆图示位置是基于确定的步骤基本上持续地更新；
测量未占用泊车空间的尺寸，所述测量步骤是在捕获图像和/或鸟瞰图上进行；
向使用者提供以下的指示：即在与被测量的尺寸大致相同的未占用泊车空间中进行在先试图平行泊车的成功率。
16.根据权利要求15的方法，其包括将单应变换分为基本上相同的网格单元的又一步骤，所述显示步骤取决于相应网格单元中的像素值的平均值、众数和方差之一。
17.根据权利要求15的方法，其中所述前向摄像机和后向摄像机中的至少一个包括用于夜视、车道检测和道路标识检测中的至少一个的前向摄像机。
18.根据权利要求15的方法，还包括以下步骤：
计算车辆驶入未占用泊车空间的最佳路径；以及
在显示屏上显示最佳路径。
19.根据权利要求1的方法，还包括以下步骤：
测量未占用泊车空间的尺寸，所述测量步骤是在捕获图像和/或鸟瞰图上进行；
比较所测量到的未占用泊车空间的尺寸与车辆的尺寸；以及
向使用者提供未占用泊车空间是否足够大以容纳驾驶员车辆的指示；所述提供指示的步骤取决于上述比较步骤。
CN201080025014.9A 2009-05-11 2010-05-07 用于车辆停泊中的摄像机*** Active CN102458964B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/463,699 US8289189B2 (en) 2009-05-11 2009-05-11 Camera system for use in vehicle parking
US12/463,699 2009-05-11
PCT/US2010/034141 WO2010132314A2 (en) 2009-05-11 2010-05-07 Camera system for use in vehicle parking

Publications (2)

Publication Number Publication Date
CN102458964A CN102458964A (zh) 2012-05-16
CN102458964B true CN102458964B (zh) 2015-01-28

Family

ID=43062036

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201080025014.9A Active CN102458964B (zh) 2009-05-11 2010-05-07 用于车辆停泊中的摄像机***

Country Status (5)

Country Link
US (1) US8289189B2 (zh)
EP (1) EP2429877B1 (zh)
JP (1) JP5620472B2 (zh)
CN (1) CN102458964B (zh)
WO (1) WO2010132314A2 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2691498C1 (ru) * 2015-10-22 2019-06-14 Ниссан Мотор Ко., Лтд. Способ (варианты) и устройство обнаружения линий мест для парковки

Families Citing this family (58)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102005030838A1 (de) * 2005-07-01 2007-01-04 Siemens Ag Nightvisionsystem
US10878646B2 (en) 2005-12-08 2020-12-29 Smartdrive Systems, Inc. Vehicle event recorder systems
US9201842B2 (en) 2006-03-16 2015-12-01 Smartdrive Systems, Inc. Vehicle event recorder systems and networks having integrated cellular wireless communications systems
US8996240B2 (en) 2006-03-16 2015-03-31 Smartdrive Systems, Inc. Vehicle event recorders with integrated web server
US8649933B2 (en) 2006-11-07 2014-02-11 Smartdrive Systems Inc. Power management systems for automotive video event recorders
US8989959B2 (en) 2006-11-07 2015-03-24 Smartdrive Systems, Inc. Vehicle operator performance history recording, scoring and reporting systems
US8868288B2 (en) 2006-11-09 2014-10-21 Smartdrive Systems, Inc. Vehicle exception event management systems
US8239092B2 (en) 2007-05-08 2012-08-07 Smartdrive Systems Inc. Distributed vehicle event recorder systems having a portable memory data transfer system
US20100328464A1 (en) * 2009-06-30 2010-12-30 Tech-Cast Mfg. Corp. Car-mount traffic condition surveillance device
JP5696872B2 (ja) * 2010-03-26 2015-04-08 アイシン精機株式会社 車両周辺監視装置
US20120056995A1 (en) * 2010-08-31 2012-03-08 Texas Instruments Incorporated Method and Apparatus for Stereo-Based Proximity Warning System for Vehicle Safety
US8766818B2 (en) 2010-11-09 2014-07-01 International Business Machines Corporation Smart spacing allocation
US20150197281A1 (en) * 2011-04-19 2015-07-16 Ford Global Technologies, Llc Trailer backup assist system with lane marker detection
US9854209B2 (en) 2011-04-19 2017-12-26 Ford Global Technologies, Llc Display system utilizing vehicle and trailer dynamics
US9926008B2 (en) 2011-04-19 2018-03-27 Ford Global Technologies, Llc Trailer backup assist system with waypoint selection
EP2723069B1 (en) * 2011-06-16 2017-10-18 Aisin Seiki Kabushiki Kaisha Vehicle periphery monitoring device
KR20130019639A (ko) 2011-08-17 2013-02-27 엘지이노텍 주식회사 차량용 카메라 장치
EP2759449B1 (en) * 2011-09-22 2016-07-27 Nissan Motor Co., Ltd Vehicle control apparatus
US8996234B1 (en) 2011-10-11 2015-03-31 Lytx, Inc. Driver performance determination based on geolocation
US9298575B2 (en) 2011-10-12 2016-03-29 Lytx, Inc. Drive event capturing based on geolocation
US9418552B2 (en) 2011-12-14 2016-08-16 Hi-Park Solutions Ltd. Method and system for automatically locating vacant parking places
KR101478067B1 (ko) * 2012-03-21 2015-01-02 주식회사 만도 차량의 주차 조향 보조 시스템 및 그 제어방법
US8768583B2 (en) 2012-03-29 2014-07-01 Harnischfeger Technologies, Inc. Collision detection and mitigation systems and methods for a shovel
KR101877570B1 (ko) 2012-04-04 2018-07-11 현대자동차주식회사 Ａｖ 영상 기반의 주차위치 설정 장치 및 그 방법
US9728228B2 (en) 2012-08-10 2017-08-08 Smartdrive Systems, Inc. Vehicle event playback apparatus and methods
KR101401399B1 (ko) * 2012-10-12 2014-05-30 현대모비스 주식회사 주차 지원 장치 및 방법과 이를 이용한 주차 지원 시스템
US9344683B1 (en) * 2012-11-28 2016-05-17 Lytx, Inc. Capturing driving risk based on vehicle state and automatic detection of a state of a location
US9165208B1 (en) * 2013-03-13 2015-10-20 Hrl Laboratories, Llc Robust ground-plane homography estimation using adaptive feature selection
US9013286B2 (en) * 2013-09-23 2015-04-21 Volkswagen Ag Driver assistance system for displaying surroundings of a vehicle
US9501878B2 (en) 2013-10-16 2016-11-22 Smartdrive Systems, Inc. Vehicle event playback apparatus and methods
US9610955B2 (en) 2013-11-11 2017-04-04 Smartdrive Systems, Inc. Vehicle fuel consumption monitor and feedback systems
CN103723194A (zh) * 2013-12-13 2014-04-16 浙江吉利控股集团有限公司 一种汽车倒车时轮胎位置监控装置及倒车辅助装置
US8892310B1 (en) 2014-02-21 2014-11-18 Smartdrive Systems, Inc. System and method to detect execution of driving maneuvers
JP6303784B2 (ja) * 2014-05-09 2018-04-04 日産自動車株式会社 駐車支援装置及び駐車支援方法
US9663127B2 (en) 2014-10-28 2017-05-30 Smartdrive Systems, Inc. Rail vehicle event detection and recording system
US11069257B2 (en) 2014-11-13 2021-07-20 Smartdrive Systems, Inc. System and method for detecting a vehicle event and generating review criteria
US20160176340A1 (en) * 2014-12-17 2016-06-23 Continental Automotive Systems, Inc. Perspective shifting parking camera system
KR102227855B1 (ko) * 2015-01-22 2021-03-15 현대모비스 주식회사 주차 가이드 시스템 및 그 제어방법
US9725116B2 (en) 2015-03-27 2017-08-08 Ford Global Technologies, Llc Vehicle and vehicle parking system
US9679420B2 (en) 2015-04-01 2017-06-13 Smartdrive Systems, Inc. Vehicle event recording system and method
IL240831A (en) 2015-08-25 2017-03-30 Elbit Systems Ltd Methods and systems for detecting a vehicle operator's deviation from the doctrine
US10683035B2 (en) * 2015-12-08 2020-06-16 Panasonic Intellectual Property Management Co., Ltd. Parking assistance device, parking assistance method, and non-transitory computer readable medium
CN105355083A (zh) * 2015-12-14 2016-02-24 宁波裕兰信息科技有限公司 一种基于视觉的360度泊车辅助智能引导***
US10325502B2 (en) 2016-02-10 2019-06-18 Ford Global Technologies, Llc Parallel parking assistant
KR102513745B1 (ko) 2016-04-15 2023-03-24 주식회사 에이치엘클레무브 운전 지원 장치
US10368036B2 (en) * 2016-11-17 2019-07-30 Vivotek Inc. Pair of parking area sensing cameras, a parking area sensing method and a parking area sensing system
CN106740632A (zh) * 2016-11-28 2017-05-31 芜湖市吉安汽车电子销售有限公司 一种车载倒车影像***
KR101915165B1 (ko) * 2016-12-30 2018-11-06 현대자동차주식회사 자동 주차 시스템 및 자동 주차 방법
KR102046468B1 (ko) * 2017-07-26 2019-11-18 엘지전자 주식회사 차량용 사이드 미러
JP6958117B2 (ja) * 2017-08-29 2021-11-02 株式会社アイシン 駐車支援装置
US10737725B2 (en) * 2017-09-27 2020-08-11 Gentex Corporation System and method for assisting parallel parking using orthogonal projection
CN108297794B (zh) * 2018-01-11 2022-11-18 阿尔派株式会社 停车支援装置及行驶预测线显示方法
CN108528441B (zh) * 2018-03-27 2020-02-07 广州汽车集团股份有限公司 泊车方法及装置
US10900857B2 (en) * 2018-06-06 2021-01-26 Ford Global Technologies, Llc Methods and systems for fluid leak determination
DE102018131106A1 (de) * 2018-12-06 2020-06-10 Valeo Schalter Und Sensoren Gmbh Verfahren zum Erkennen eines Parkbereichs für ein Fahrzeug durch separates Erkennen von Elementen einer Parkflächenmarkierung, Recheneinrichtung sowie Fahrassistenzsystem
US10713509B1 (en) 2019-01-24 2020-07-14 Ford Global Technologies, Llc Parking assist system with parking spot occupancy readout
US11301948B2 (en) 2019-04-01 2022-04-12 International Business Machines Corporation Parking continuity with unused duration between automated vehicles
CN113034963B (zh) * 2021-03-02 2022-08-02 英博超算(南京)科技有限公司 一种视觉车位跟踪***

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7069128B2 (en) * 2004-09-30 2006-06-27 Clarion Co., Ltd. Parking-assist system using image information from an imaging camera and distance information from an infrared laser camera
CN101425181A (zh) * 2008-12-15 2009-05-06 浙江大学 一种全景视觉辅助泊车***的标定方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4114292B2 (ja) * 1998-12-03 2008-07-09 アイシン・エィ・ダブリュ株式会社 運転支援装置
US7366595B1 (en) * 1999-06-25 2008-04-29 Seiko Epson Corporation Vehicle drive assist system
JP2001213253A (ja) * 2000-01-31 2001-08-07 Equos Research Co Ltd 車両駐車操作補助装置
JP2006341641A (ja) * 2005-06-07 2006-12-21 Nissan Motor Co Ltd 映像表示装置及び映像表示方法
KR101143176B1 (ko) * 2006-09-14 2012-05-08 주식회사 만도 조감도를 이용한 주차구획 인식 방법, 장치 및 그를 이용한주차 보조 시스템
JP2008187564A (ja) * 2007-01-31 2008-08-14 Sanyo Electric Co Ltd カメラ校正装置及び方法並びに車両
JP5182545B2 (ja) * 2007-05-16 2013-04-17 アイシン精機株式会社 駐車支援装置
JP5003946B2 (ja) * 2007-05-30 2012-08-22 アイシン精機株式会社 駐車支援装置
JP2009100342A (ja) * 2007-10-18 2009-05-07 Sanyo Electric Co Ltd カメラ校正装置及び方法、並びに、車両
JP2009129001A (ja) * 2007-11-20 2009-06-11 Sanyo Electric Co Ltd 運転支援システム、車両、立体物領域推定方法
US20090187300A1 (en) * 2008-01-22 2009-07-23 David Wayne Everitt Integrated vehicle computer system
KR20090088210A (ko) * 2008-02-14 2009-08-19 주식회사 만도 두 개의 기준점을 이용한 목표주차위치 검출 방법과 장치및 그를 이용한 주차 보조 시스템

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7069128B2 (en) * 2004-09-30 2006-06-27 Clarion Co., Ltd. Parking-assist system using image information from an imaging camera and distance information from an infrared laser camera
CN101425181A (zh) * 2008-12-15 2009-05-06 浙江大学 一种全景视觉辅助泊车***的标定方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2691498C1 (ru) * 2015-10-22 2019-06-14 Ниссан Мотор Ко., Лтд. Способ (варианты) и устройство обнаружения линий мест для парковки

Also Published As

Publication number Publication date
JP5620472B2 (ja) 2014-11-05
WO2010132314A2 (en) 2010-11-18
US8289189B2 (en) 2012-10-16
CN102458964A (zh) 2012-05-16
EP2429877A2 (en) 2012-03-21
JP2012526707A (ja) 2012-11-01
EP2429877B1 (en) 2020-03-11
WO2010132314A3 (en) 2011-10-06
US20100283633A1 (en) 2010-11-11

Similar Documents

Publication Publication Date Title
CN102458964B (zh) 用于车辆停泊中的摄像机***
US8559674B2 (en) Moving state estimating device
EP2192552B1 (en) Image processing apparatus, image processing method, and recording medium
KR102052313B1 (ko) 차량 주행 시 운전자를 지원하거나 차량의 자율 주행을 위한 장치
KR101083885B1 (ko) 지능형 운전 보조 시스템들
JP4556742B2 (ja) 車両直下画像表示制御装置および車両直下画像表示制御プログラム
JP5680436B2 (ja) 車載カメラレンズ用異物付着判定装置
JP4590962B2 (ja) 車両用周辺監視装置
JP2008250503A (ja) 運転支援装置
JP4483305B2 (ja) 車両周辺監視装置
JP2008222153A (ja) 合流支援装置
CN109389060B (zh) 一种基于视觉的车周碰撞预警方法
US20190073541A1 (en) Lane detection system for vehicle
JP6394440B2 (ja) 汚れ判定装置
JP2008097279A (ja) 車両外部情報表示装置
JP2016037098A (ja) 車両用撮像装置
JP5134608B2 (ja) 車両周辺表示装置、車両周辺表示方法およびプログラム
JP3988551B2 (ja) 車両周囲監視装置
US11967007B2 (en) Vehicle surroundings information displaying system and vehicle surroundings information displaying method
US20190258872A1 (en) Stationary vision system at vehicle roadway
CN116892949A (zh) 地上物检测装置、地上物检测方法以及地上物检测用计算机程序
JP2005092516A (ja) 車載用移動体検出装置
US20190337455A1 (en) Mobile Body Surroundings Display Method and Mobile Body Surroundings Display Apparatus
JP2022056153A (ja) 一時停止検出装置、一時停止検出システム、及び一時停止検出プログラム
CN113609945B (zh) 一种图像检测方法和车辆

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant