CN103596812A - 停车辅助装置 - Google Patents

停车辅助装置 Download PDF

Info

Publication number
CN103596812A
CN103596812A CN201280026515.8A CN201280026515A CN103596812A CN 103596812 A CN103596812 A CN 103596812A CN 201280026515 A CN201280026515 A CN 201280026515A CN 103596812 A CN103596812 A CN 103596812A
Authority
CN
China
Prior art keywords
video
viewpoint
vehicle
target position
eye view
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201280026515.8A
Other languages
English (en)
Other versions
CN103596812B (zh
Inventor
奥山义隆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Faurecia Clarion Electronics Co Ltd
Original Assignee
Clarion Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Clarion Co Ltd filed Critical Clarion Co Ltd
Publication of CN103596812A publication Critical patent/CN103596812A/zh
Application granted granted Critical
Publication of CN103596812B publication Critical patent/CN103596812B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/027—Parking aids, e.g. instruction means
    • B62D15/028—Guided parking by providing commands to the driver, e.g. acoustically or optically
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/14—Traffic control systems for road vehicles indicating individual free spaces in parking areas
    • G08G1/141—Traffic control systems for road vehicles indicating individual free spaces in parking areas with means giving the indication of available parking spaces
    • G08G1/143—Traffic control systems for road vehicles indicating individual free spaces in parking areas with means giving the indication of available parking spaces inside the vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/168—Driving aids for parking, e.g. acoustic or visual feedback on parking space
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Chemical & Material Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Combustion & Propulsion (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

在本发明中，即使在本车辆正在移动的情况下，也将停车位的俯瞰视频显示在显示画面上并且实时地提供至用户。停车辅助装置(1)包括以下单元：停车目标位置检测单元(34)，用于使用第一俯瞰视频来检测停放车辆所用的停车目标位置；视点位置确定部(34)，用于确定视点位置；转动量确定部(34)，用于确定转动量；视点转换表创建单元(35)，用于基于视点位置和转动量来创建使第一俯瞰视频转动所用的视点转换表；以及第二俯瞰视频生成单元(36)，用于基于视点转换表来根据第一俯瞰视频生成第二俯瞰视频。

Description

停车辅助装置
技术领域
本发明涉及一种能够通过使用俯瞰视频(俯瞰图像)显示车辆的停车位置周围的情形来向进行停车处理的用户进行驾驶辅助的停车辅助装置。
背景技术
传统上提出了如下***，其中该***使用车辆所安装的多个照相机来对车辆周围的状况摄像，并且基于拍摄到的视频来生成从上方虚拟地俯瞰车辆的视频(以下称为“俯瞰视频”)，由此将车辆周围的状况作为视频(图像)提供给用户(例如，参见专利文献1)。
将车辆周围的状况显示为俯瞰视频使得用户能够基于从上方虚拟地俯对车辆周围的情形摄像所得到的视频来掌握车辆、停车位和其它周围对象物之间的位置关系，由此直观地掌握车辆的状态。
然而，在专利文献1所公开的***中，本车辆固定在俯瞰视频的中心位置。因此，在车辆移动的情况下，周围情形在车辆固定至俯瞰视频的中央的状态下改变。
因而，在停车处理中进行返回操作（切り返し）的情况下，响应于该返回操作，停车位的显示位置可能大幅移动，或者停车位可能超出俯瞰视频的范围外而从该俯瞰视频消失。
为了解决该问题，提出了如下***，其中在该***中，车辆不是固定至俯瞰视频的中心位置，而是在进行停车处理的情况下，在至少将停车位显示在画面的预定位置的状态下，使叠加显示在俯瞰图像上的车辆的图像移动(例如，参见专利文献2)。
在专利文献2所公开的方法中，基于紧挨在停车操作之前拍摄到的视频来生成俯瞰图像。在开始停车处理之后，在无需更新该俯瞰图像的情况下，生成俯瞰视频并且将该俯瞰视频提供至用户，其中在该俯瞰视频中，叠加在该俯瞰图像上的本车辆CG(计算机图形)的显示位置向着与本车辆的移动方向和移动量相对应的位置移动。
在专利文献2的方法中，俯瞰视频内的车辆周围的俯瞰图像没有随着本车辆的移动而移动，但本车辆CG的位置移动。这样可以防止停车位的显示位置大幅改变并且防止停车位从画面消失。
现有技术文献
专利文献
专利文献1：日本特开2001-339716
专利文献2：日本特开2007-183877
发明内容
发明要解决的问题
然而，在专利文献2的方法中俯瞰图像固定的状态下，在车辆的停车处理完成之前没有更新该俯瞰图像。因而，如果在停车处理过程中某人或某物进入显示区域，则不显示他或她或它。这要求进行停车处理的用户除了显示在画面上的俯瞰图像以外，还通过利用他或她的眼睛注意周围状况来确认安全性。这样使停车处理复杂化，而这可能导致难以确保安全性。
另一方面，上述专利文献2提出了除在生成俯瞰视频时使用固定的俯瞰图像的方法以外的方法。也就是说，该方法使用随着本车辆的移动而动态地改变的转换算法、例如使用值根据本车辆的移动方向或移动量而改变的参数的转换公式，以生成即使本车辆移动、画面上的停车位的显示位置也不移动的特殊俯瞰视频(车辆周围视频)。
然而，在使用转换算法来实时地生成特殊俯瞰视频的情况下，无法使用与用于生成一般的俯瞰视频(例如，上述俯瞰图像)的方法相同的方法(例如，根据预先准备的像素转换表来将各车载照相机所拍摄到的视频的像素重新配置到预定显示位置的方法)。因而，有必要实时地进行视频更新处理(针对俯瞰视频的转换处理)。然而，除非使用使得能够进行复杂的视频转换处理的***，否则在视频更新处理中发生延迟等，这导致难以获得期望视频。
使用复杂的视频转换***来实现图像运算处理需要巨大成本，由此难以在车辆上安装这种***。
此外，在使用复杂的视频转换***来实时地描绘停车位的显示位置固定的俯瞰视频的情况下，各照相机的拍摄范围随着车辆的移动而改变。因而，难以在生成俯瞰视频时实时地对照相机视频的接缝部分进行接缝处理。
例如，在本车辆固定至视频的中心位置的状态下生成俯瞰视频的情况下，画面上的两个照相机的视频之间的接缝部分没有改变。因此，即使在使用像素转换表来进行像素的重新配置的情况下也不会发生问题。然而，在实时地描绘停车位的显示位置固定的俯瞰视频的情况下，给定的特定地点伴随着本车辆的移动而从一个照相机的拍摄范围向着另一照相机的拍摄范围移动。因而，在俯瞰视频上再现可能从一个照相机的拍摄范围向着另一照相机的拍摄范围移动的地点的情况下，对要使用哪些资源(照相机视频)进行判断非常困难。因而，实际上，难以实时地生成停车位的显示位置固定的俯瞰视频。
本发明是考虑到上述问题而作出的，并且本发明的目的是提供一种能够在无需使用复杂的视频转换***的情况下将即使本车辆移动也使停车位的显示位置保持显示在显示画面上的俯瞰视频实时地提供至用户的停车辅助装置。
用于解决问题的方案
根据本发明的方面，一种停车辅助装置，包括：第一俯瞰视频生成部，用于基于车辆所安装的多个照相机拍摄到的照相机视频，来生成以所述车辆为中心从所述车辆的上方虚拟地俯瞰车辆周围的状况的第一俯瞰视频；停车目标位置检测部，用于根据所述第一俯瞰视频检测停放所述车辆所用的停车目标位置；视点位置确定部，用于基于所述停车目标位置检测部所检测到的停车目标位置和所述第一俯瞰视频中的车辆位置之间的位置关系来确定视点位置；转动量确定部，用于基于所述停车目标位置和所述第一俯瞰视频中的车辆位置之间的位置关系来确定所述第一俯瞰视频中的转动量；视点转换表创建部，用于创建视点转换表，其中所述视点转换表用于使所述第一俯瞰视频的中心位置移动至所述视点位置确定部所确定的视点位置，并且使所述第一俯瞰视频以所述视点位置作为转动中心转动所述转动量确定部所确定的转动量；以及第二俯瞰视频生成部，用于基于所述视点转换表创建部所创建的视点转换表来向所述第一俯瞰视频应用视频转换处理，以生成以所述视点位置为中心位置、并且通过使所述第一俯瞰视频转动所述转动量确定部所确定的转动量所获得的第二俯瞰视频。
在根据本发明的停车辅助装置中，使用视点转换表创建部所创建的视点转换表来向作为基本视频的第一俯瞰视频生成部所生成的第一俯瞰视频应用转换，由此生成视点位置以及水平方向和垂直方向(转动量)均改变的第二俯瞰视频。在根据本发明的停车辅助装置中，可以使用视点转换表来容易地实现第二俯瞰视频的生成处理，由此使得能够实时地生成期望的俯瞰视频。
此外，使用视点转换表来根据第一俯瞰视频生成第二俯瞰视频，由此在利用第一俯瞰视频生成部生成第一俯瞰视频时预先向照相机视频之间的边界部分应用处理使得第二俯瞰视频生成部无需再次向该边界部分应用处理。这样减轻了边界部分的处理中的处理负荷，从而使得容易实时地生成第二俯瞰视频。
此外，实时地生成第二俯瞰视频使得在停车处理期间某人接近俯瞰视频的显示范围的情况下能够将他或她的存在显示在该俯瞰视频中。因而，车辆的用户经由第二俯瞰视频可以实时地掌握周围状况，由此提高停车处理时的安全性。
视点转换表是仅在基于视点位置确定部所确定的视点位置来使第一俯瞰视频在水平方向和垂直方向上移动、并且基于转动量确定部所确定的转动量来使第一俯瞰视频转动的情况下使用的表。因而，视点转换表生成部可以容易地生成该视点转换表，从而使得能够减少该视点转换表生成部的处理负荷。这样使得能够快速地进行第二俯瞰视频的生成处理，由此防止第二俯瞰图像视频生成处理中的延迟。
第二俯瞰视频是使用视点转换表根据第一俯瞰视频容易地生成的，并且视点转换表是用于应用仅使第一俯瞰视频水平地和垂直地移动并且使第一俯瞰视频转动的简单处理的表。因而，无需使用复杂转换算法来生成第二俯瞰视频。因而，不需要复杂的运算处理***来进行第二俯瞰视频的生成，由此节省了处理成本。
视点位置确定部要确定的视点位置是基于停车目标位置检测部所检测到的停车目标位置和第一俯瞰视频中的车辆位置之间的位置关系来确定的。因而，第二俯瞰视频不是如传统的俯瞰视频(第一俯瞰视频)那样的车辆位于中心的俯瞰视频，而是考虑到停车目标位置和车辆位置之间的位置关系的视点位于中心的俯瞰视频。因而，可以防止由于返回操作而导致停车目标位置从俯瞰视频消失。
此外，利用转动量确定部来确定第一俯瞰视频的转动量，并且基于该转动量来向第二俯瞰视频应用视频的水平方向/垂直方向的转换处理。因而，可以根据停车目标位置相对于车辆位置的方向来改变画面的方向。这样使得停车操作期间的画面的显示方向能够更适合停车操作的实际状况。
发明的效果
根据本发明的停车辅助装置，使用视点转换表创建部所创建的视点转换表来向作为基本视频的第一俯瞰视频生成部所生成的第一俯瞰视频应用转换，由此生成视点位置以及水平方向和垂直方向(转动量)均改变的第二俯瞰视频。在根据本发明的停车辅助装置中，可以使用视点转换表来容易地实现第二俯瞰视频的生成处理，由此使得能够实时地生成期望的俯瞰视频。
附图说明
图1是示出根据本发明实施例的汽车导航***的示意硬件结构的示例的框图。
图2是示出根据本发明实施例的车辆所安装的照相机的安装位置的示例的图。
图3是示出根据本发明实施例的汽车导航***中的功能块的示意结构的示例的框图。
图4是例示根据本发明实施例的基于照相机视频所生成的整体俯瞰视频(俯瞰图像)和基于表数据所提取的俯瞰视频(俯瞰图像)的图像范围的图。
图5是例示根据本发明实施例的俯瞰视频(俯瞰图像)中的视点位置的俯瞰视频(俯瞰图像)，其中(a)示出在将视点位置设置为车辆位置和停车目标位置之间的中间位置的情况下的俯瞰视频(俯瞰图像)，并且(b)示出在将视点位置设置为停车目标位置的情况下的俯瞰视频(俯瞰图像)。
图6的(a)示出应用转动处理之前的俯瞰视频(俯瞰图像)的示例，并且(b)示出应用转动处理之后的俯瞰视频(俯瞰图像)的示例。
图7是示出根据本发明实施例的控制器中要进行的俯瞰视频(俯瞰图像)的视点转换处理的流程图。
具体实施方式
以下呈现作为根据本发明的停车辅助装置的示例的汽车导航***并且参考附图来进行详细说明。
图1是示出汽车导航***1的示意硬件结构的示例的框图。如图1所示，汽车导航***1包括当前位置检测部10、VICS(Vehicle Information andCommunication 
Figure BDA0000426188290000071
(车辆信息和通信***))信息接收部11、输入操作部12、图像存储部13、显示监视器(显示部)14、触摸面板部(输入部)15、地图数据记录部(视点转换表记录部)16、扬声器17、控制器(第一俯瞰视频生成部、停车目标位置检测部、视点位置确定部、转动量确定部、视点转换表创建部、第二俯瞰视频生成部)18、RAM(随机存取存储器：视点转换表记录部)19、ROM(只读存储器)20和照相机21。
当前位置检测部10具有检测安装有汽车导航***1的车辆的当前位置的作用。当前位置检测部10包括振动陀螺仪10a、车速传感器10b和GPS(全球定位***)传感器10c。振动陀螺仪10a具有检测车辆的行进方向(行进方向的方位)的功能。车速传感器10b具有检测从车辆所安装的脉冲发生器根据车辆的行驶距离而输出的脉冲、由此检测车速的作用。GPS传感器10c具有检测来自GPS卫星的GPS信号的作用。控制器18使用接收到的GPS信号来使得能够基于坐标位置(例如，基于世界大地测量***(WGS84)的纬度/经度信息)来检测车辆的当前位置。
VICS信息接收部11具有接收VICS信息的作用。该VICS信息是从VICS信息中心(未示出)供给的信息并且表示最新的诸如交通拥堵信息等的道路状况。VICS信息接收部11接收通过无线电波信标、光信标和FM多路广播所供给的VICS信息，由此可靠地获取交通信息。将VICS信息接收部11所接收到的VICS信息输出至控制器18。
输入操作部12用于利用除使用触摸面板部15的触摸操作以外的操作方法来进行汽车导航***1中的各种操作。具体地，安装至汽车导航***1的壳体的诸如开关、按钮和远程控制器等的物理组件与输入操作部12相对应。
图像存储部13具有临时存储要显示在显示监视器14上的图像数据的作用。该图像数据是由控制器18根据需要通过基于当前位置检测部10所获取到的车辆的当前位置信息或用户所设置的目的地信息从地图数据记录部16提取地图数据、并且合成各种图像信息来生成的。
控制器18使图像存储部13记录所生成的图像数据。将图像存储部13中所记录的图像数据作为地图等顺次显示在汽车导航***1的显示监视器14上。将图像存储部13中所记录的图像数据顺次显示在显示监视器14上使得能够将基于该图像数据的视频(例如，基于俯瞰图像的俯瞰视频)实时地显示在显示监视器14上。
图像存储部13具有记录后面所述的俯瞰视频生成部30(参考图3)所生成的俯瞰视频和后面所述的视点转换视频生成部36所生成的视点转换视频以使得能够将该视频显示在显示监视器14上的另一作用。后面将说明俯瞰视频生成部30和视点转换视频生成部36的详细内容。
显示监视器14具有基于诸如地图数据等的各种信息来显示本车辆位置附近的诸如道路地图等的各种信息的作用。具体地，作为显示监视器14，可以使用液晶监视器或CRT监视器等。此外，在用户进行用于将他或她的汽车停放在停车场中的处理(以下称为“停车处理”)的情况下，显示监视器14可以显示车辆周围的状况作为从上方虚拟地俯瞰车辆或停车位的视频(俯瞰视频)。后面将说明将俯瞰视频显示在显示监视器14上的处理。
触摸面板部15具有判断用户利用他或她的手指是否触摸显示监视器14的表面、然后基于触摸位置来判断用户的输入处理的作用。触摸面板部15包括触摸检测部15a和触摸控制部15b。
触摸检测部15a包括层压在显示监视器14的表面上的透明片材状的触摸开关。触摸检测部15a是不同于如输入操作部12那样的物理开关的检测部件，并且基于诸如静电方法或压感方法等的检测方法来检测针对显示监视器14的显示画面的触摸操作的有无。触摸检测部15a包括透明的触摸开关，由此用户可以经由触摸检测部15a从视觉上确认显示监视器14上所显示的诸如表示后面要说明的停车位的白色框的视频(图像)等的视频(图像)。
触摸控制部15b***在触摸检测部15a和控制部18之间。触摸控制部15b基于触摸检测部15a所检测到的信号(基于触摸操作所生成的信号)来计算触摸位置，并且将所计算出的触摸位置输出至控制器18。
照相机21各自具有拍摄车辆周围的状况的作用。如图2所示，在根据本实施例的汽车导航***1中，安装有如下四台照相机：前方照相机41c，其配置于车辆40的前部41a(例如，前保险杠或前护栅)，并且拍摄车辆40的前方范围41b；后方照相机42c，其配置于车辆40的后部42a(例如，后保险杠或后护栅)，并且拍摄车辆40的后方范围42b；左侧照相机43c，其配置于车辆40的左侧部43a(例如，左侧门镜附近或左侧立柱位置附近)，并且拍摄车辆40的左侧范围43b；以及右侧照相机44c，其配置于车辆40的右侧部44a(例如，右侧门镜附近或右侧立柱位置附近)，并且拍摄车辆40的右侧范围44b。
将照相机41c～44c各自所拍摄到的视频用于控制器18中要进行的俯瞰视频的生成处理。后面将说明控制器18中要进行的俯瞰视频生成处理的详细内容。尽管在根据本实施例的汽车导航***1中、如图2所示将四台照相机41c～44c安装至车辆40，但要安装至车辆40的照相机的数量不限于四台，而是可以安装任意台数的照相机，只要可以拍摄到车辆40周围的整个区域的状况即可。例如，照相机21的台数可以是三台以下或者五台以上。照相机21的安装位置不限于图2所示的位置，只要可以拍摄到车辆40周围的整个区域的状况即可。
地图数据记录部16包括诸如硬盘、SSD(固态驱动器)、DVD-ROM、CD-ROM或SD卡等的可以记录地图数据的一般的辅助存储装置。地图数据包括地图显示用数据、路径搜索用数据等。地图显示用数据和路径搜索用数据各自包括存储在地图数据中的道路链接信息和道路节点信息。作为地图显示用数据，准备从广域地图数据到详细地图数据的多个比例的地图数据。使用该地图显示用数据使得能够响应于用户的请求来改变所显示地图的比例。
地图数据记录部16内记录在基于照相机21(41c～44c)所拍摄到的车辆周围区域的视频来生成俯瞰视频的情况下使用的表数据。控制器18基于停车处理时的车辆和停车位来从地图数据记录部16内所记录的多个表数据中提取最佳表数据，并且使用所提取出的表数据来进行用于根据照相机21的视频生成最佳俯瞰视频(俯瞰图像)的处理。
扬声器17具有向用户输出导航期间的路径引导所用的语音引导、并且输出与汽车导航***1中要进行的各种操作相对应的语音引导的作用。
控制器18具有进行包括到达用户所设置的目的地的路径搜索、基于搜索路径的图像生成处理和语音引导输出处理的汽车导航***1中要进行的各种处理的作用。控制器18例如包括CPU(中央处理单元)。
RAM19用作控制器18的作业区域。例如，在后面要说明的俯瞰视频生成处理中，将地图数据记录部16中所记录的表数据临时记录在RAM19中。通过根据需要读出RAM19中所记录的表数据以进行俯瞰视频生成处理，可以抑制俯瞰视频生成处理中的延迟。
ROM20内记录控制器18中要执行的各种程序等。控制器18从ROM20读出程序并执行该程序，由此实现各种控制处理。例如，ROM20内记录后面要说明的如图7所示的用于生成俯瞰视频的程序。
根据本实施例的控制器18从ROM20读出各种程序并执行这些程序，由此实现汽车导航***1的路径引导处理。此外，连同所执行的路径引导处理一起，控制器18进行生成引导路径中所使用的地图信息并将所生成的地图信息显示在显示监视器14上的处理。此外，根据ROM20中所记录的程序，控制器18进行基于各照相机41c～44c所拍摄到的视频生成表示车辆周围的状况的俯瞰视频、并且将所生成的俯瞰视频显示在显示监视器14上的处理。
图3是示出用于实现生成俯瞰视频并将所生成的俯瞰视频显示在显示监视器14上的处理的功能部的示意功能图。
根据本实施例的汽车导航***1包括如图3所示的功能部(功能块)。作为这些功能块，汽车导航***1包括俯瞰视频生成部(第一俯瞰视频生成部)30、俯瞰视频生成表数据记录部31、帧缓冲器部32、停车位提取部33、视点位置确定部(停车目标位置检测部、视点位置确定部、转动量确定部)34、视点转换视频生成用表数据创建部(视点转换表创建部)35和视点转换视频生成部(第二俯瞰视频生成部)36。
在以上功能块中，俯瞰视频生成部30、停车位提取部33、视点位置确定部34、视点转换视频生成用表数据创建部35和视点转换视频生成部36各自能够通过控制器18执行ROM20中所记录的程序来实现其作用。因而，俯瞰视频生成部30、停车位提取部33、视点位置确定部34、视点转换视频生成用表数据创建部35和视点转换视频生成部36本质上通过控制器18中要进行的处理来实现。
俯瞰视频生成表数据记录部31和帧缓冲器部32各自与地图数据记录部16或RAM19相对应。
俯瞰视频生成部30具有基于四台照相机21(41c、42c、43c和44c)所拍摄到的视频来进行俯瞰视频(第一俯瞰视频)的生成(具体地，俯瞰视频是通过实时地顺次生成俯瞰图像来生成的)的作用。俯瞰视频的具体生成方法在上述的专利文献1(日本特开2001-339716)和专利文献2(日本特开2007-183877)中进行了详细说明，并且这里将省略对该方法的说明。
通常，在使用多个照相机来生成俯瞰视频(俯瞰图像)的情况下，在各照相机的拍摄范围的边界部分处可能出现与邻接图像(视频)的不自然的边界部分(接缝部分)。因而，根据本实施例的俯瞰视频生成部30在调整边界部分的明度和色相等的情况下向该边界部分添加无不适感的图像(视频)，或者向邻接图像(视频)之间的边界部分应用α(阿尔法)混色，由此防止在边界部分中残留不适感。
首先，在生成俯瞰视频(俯瞰图像)的情况下，俯瞰视频生成部30创建以车辆为中心的整体俯瞰视频(俯瞰图像：第一俯瞰视频)。然后，俯瞰视频生成部30生成车辆位置和停车目标位置的中间地点位于画面的中心的俯瞰视频(俯瞰图像)。具体地，视点转换视频生成部36基于视点位置确定部34所确定的视点位置来生成相应的视点位置位于视频(图像)的中心的俯瞰视频(俯瞰图像)。通常，停车目标位置与由白色框定义的停车位相对应。
俯瞰视频生成表数据记录部31内记录有俯瞰视频生成部30用以生成视点位置确定部34所确定的视点位置位于视频(图像)的中心的俯瞰视频(俯瞰图像)所用的多种类型的表数据。该表数据是俯瞰视频生成部30在生成整体俯瞰视频(俯瞰图像)之后、生成覆盖该整体俯瞰视频(俯瞰图像)的一部分并且视点位置位于中心的俯瞰视频(俯瞰图像)所用的图像转换表数据。使用这种表数据使得能够在无需进行复杂运算处理的情况下容易地进行视点位置位于中心的俯瞰视频(俯瞰图像)的生成(图像转换)，并且使得能够减轻后面要说明的视点转换处理中的处理负荷。
如图4所示，根据本实施例的俯瞰视频生成表数据记录部31内记录有用于提取覆盖整体俯瞰视频(俯瞰图像)50的左上部分的俯瞰视频(俯瞰图像)51的表数据、用于提取覆盖整体俯瞰视频(俯瞰图像)50右下部分的俯瞰视频(俯瞰图像)55的表数据、和用于提取覆盖整体俯瞰视频(俯瞰图像)50中央部分的俯瞰视频(俯瞰图像)59的表数据。此外，尽管没有示出，但俯瞰视频生成表数据记录部31内记录有用于提取覆盖整体俯瞰视频(俯瞰图像)50的中上部分的俯瞰视频(俯瞰图像)的表数据、用于提取覆盖整体俯瞰视频(俯瞰图像)50右上部分的俯瞰视频(俯瞰图像)的表数据、用于提取覆盖整体俯瞰视频(俯瞰图像)50右中部分的俯瞰视频(俯瞰图像)的表数据、用于提取覆盖整体俯瞰视频(俯瞰图像)50中下部分的俯瞰视频(俯瞰图像)的表数据、用于提取覆盖整体俯瞰视频(俯瞰图像)50左下部分的俯瞰视频(俯瞰图像)的表数据、以及用于提取覆盖整体俯瞰视频(俯瞰图像)50左中部分的俯瞰视频(俯瞰图像)的表数据。
俯瞰视频生成部30基于从视点位置确定部34获取到的视点位置来从俯瞰视频生成表数据记录部31提取最佳表数据并且生成视点位置位于中心的俯瞰视频(俯瞰图像)。如后面所述，要从视点位置确定部34获取到的视点位置是基于车辆40和停车目标位置之间的中间位置来设置的。因而，基于停车目标位置相对于整体俯瞰视频(俯瞰图像)50位于何处来确定要选择的表数据。
俯瞰视频生成表数据记录部31与上述的地图数据记录部16或RAM19相对应。因而，俯瞰视频生成表数据记录部31可以是诸如硬盘、闪速存储器或SSD(固态驱动器)等的一般的辅助存储装置。然而，由于俯瞰视频生成部30中的俯瞰转换处理的表数据读取速度低(瓶颈)，因此期望使用读取速度高的记录部件以防止处理的延迟。尽管可以使用非易失性存储器作为俯瞰视频生成表数据记录部31，但有可能利用闪速存储器无法获得期望的读取速度。因而，采用预先将表数据传送至读取速度高的易失性存储器(例如，RAM19)以使得能够根据需要读出该数据的方法。
帧缓冲器部32用于临时记录俯瞰视频生成部30基于俯瞰视频生成表数据记录部31中所记录的表数据而生成的俯瞰图像(俯瞰视频)。使用临时记录在帧缓冲器部32中的俯瞰图像(俯瞰视频)用于基于后面要说明的视点转换视频生成部36中进行的视点转换。帧缓冲器部32也与上述的地图数据记录部16或RAM19相对应并且也期望是读取速度高的记录部件。
停车位提取部33具有基于应用于俯瞰视频生成部30转换后的俯瞰视频(俯瞰图像)的图像分析来检测作为停车目标位置的停车位的作用。通常，使用白色线(白色框)等来定义停车目标位置和车辆之间的边界线。因而，在沥青路上绘出作为停车目标的白色框的情况下，可以基于应用于俯瞰视频(俯瞰图像)的浓度分析或白色线检测来在预定范围内自动检测停车位。在这种情况下，如果路面具有明亮颜色(例如，白色)并且定义停车目标位置的边界也具有明亮颜色(例如，黄色)，则可能难以通过图像分析来精确地检测停车位；然而，如后面所述，通过触摸面板操作来进行停车目标位置的确定，由此在停车目标位置的检测中不会发生问题。
视点位置确定部34具有确定生成要显示在显示监视器14上的俯瞰视频(俯瞰图像)所用的视点位置的作用。基本上，视点位置是通过以下两个方式确定的。首先，在车辆40远离停车目标位置(第一状况)的情况下、例如在车辆40的任何部分都没有进入停车位的范围(白色框的内部)之前，如图5(a)所示，将车辆位置的中心(P1点)和停车目标位置的中心(停车位的中心：P2点)之间的中间位置(P0点)确定为视点位置。其次，在车辆40的一部分进入停车位的范围(白色框的内部)(第二状况)的情况下，如图5(b)所示，将停车目标位置的中心(P2点)确定为视点位置。
视点位置确定部34具有确定俯瞰视频(俯瞰图像)的转动量的另一作用。具体地，在车辆40远离停车目标位置的情况下(第一状况)的情况下，视点位置确定部34确定俯瞰视频(俯瞰图像)的转动量，以使得停车位的显示位置位于车辆位置的下侧并且停车位中的车辆的进入方向侧端部位于画面的上侧。
通常，在车辆40将要停放在停车位中的情况下，车辆40通常后退移动。因而，如图6(a)所示，在车辆40的停车位位于车辆的后方右侧并且车辆40的进入方向侧端部61位于停车位的左侧的情况下，使俯瞰视频(俯瞰图像)向右转动90度以调整俯瞰视频(俯瞰图像)的水平方向和垂直方向，由此如图6(b)所示，停车位位于车辆40的下侧并且车辆40的进入方向侧端部61位于停车位的上侧。确定利用在使俯瞰视频(俯瞰图像)围绕视点位置转动的情况下所获得的最佳值来设置视点位置确定部34要确定的转动量。
视点位置确定部34接收到停车位提取部33所检测到的停车目标位置的位置数据、从触摸面板部15输入的触摸位置信息和当前位置检测部10所检测到的车辆状态信息。从停车位提取部33输入的停车目标位置的位置数据是基于上述图像分析所检测到的数据。从触摸面板部15输入的触摸位置信息是在开始停车处理时用户对显示监视器14上所显示的俯瞰视频中的停车目标位置(停车位)进行触摸操作的情况下所检测到的位置信息。视点位置确定部34可以基于显示监视器14上所显示的俯瞰视频和触摸面板部15的触摸检测部15a所检测到的触摸位置之间的关系来计算俯瞰视频(俯瞰图像)中的停车目标位置的坐标位置。
当前位置检测部10所检测到的车辆状态信息与诸如利用振动陀螺仪10a、车速传感器10b和GPS传感器10c分别检测到的车辆的行进方向、车辆的行驶速度和车辆的GPS位置等的信息相对应。视点位置确定部34可以基于当前位置检测部10所检测到的车辆状态信息来掌握车辆面向哪个方向以及车辆是前进移动还是后退移动，由此根据该车辆状态来实时地确定最佳视点位置和俯瞰视频(俯瞰图像)的最佳转动量。
可以将输入至视点位置确定部34的触摸面板部15的触摸位置信息和当前位置检测部10的车辆状态信息从视点位置确定部34输出至停车位提取部33。在停车位提取部33要进行的停车目标位置检测处理中，通过不仅使用图像分析的结果而且还使用触摸位置信息和车辆状态信息来检测停车位，可以提高停车目标位置的检测精度。
将视点位置确定部34所确定的视点位置信息输出至俯瞰视频生成部30和视点转换视频生成用表数据创建部35。俯瞰视频生成部30基于接收到的视点位置信息来从俯瞰视频生成表数据记录部31提取最佳表数据并且生成适合该视点位置的俯瞰视频(俯瞰图像)。
视点转换视频生成用表数据创建部35具有如下作用，其中该作用用于基于视点位置确定部34所确定的视点位置和俯瞰视频(俯瞰图像)的转动量，来创建要记录在帧缓冲器部32中的俯瞰图像(俯瞰视频)的水平和垂直移动处理、转动处理和缩放处理所用的表数据。
要记录在帧缓冲器部32中的俯瞰图像(俯瞰视频)是由俯瞰视频生成部30基于从俯瞰视频生成表数据记录部31提取的表数据进行视点转换后的俯瞰图像(俯瞰视频)，并且是与视点位置确定部34所确定的视点位置相对应的俯瞰图像(俯瞰视频)。该俯瞰图像(俯瞰视频)具有基于表数据预先设置的大小。此外，俯瞰图像(俯瞰视频)是基于照相机21拍摄到的照相机视频所生成的、车辆前侧被定义成位于上侧的图像(视频)。
然而，视点位置确定部34不仅确定视点位置而且还确定俯瞰视频(俯瞰图像)的水平方向和垂直方向(转动量)。因而，在对帧缓冲器部32中所记录的俯瞰图像(俯瞰视频)进行视点转换的情况下，还需要将俯瞰图像(俯瞰视频)的中心设置为视点位置确定部34所确定的视点位置，并且基于停车目标位置和车辆40之间的关系来确定俯瞰视频(俯瞰图像)的水平方向和垂直方向。此外，在车辆40接近停车位的情况下，将要显示在显示监视器14上的俯瞰视频放大以使得显示车辆40和停车目标位置这两者，从而使得能够向车辆40的用户提供有效信息。
因而，视点转换视频生成用表数据创建部35基于从视点位置确定部34获得的视点位置信息和俯瞰视频(俯瞰图像)的转动量信息、车辆位置以及停车目标位置，来创建将帧缓冲器部32中所记录的图像(视频)转换成如下俯瞰图像(俯瞰视频)的表数据，其中在该俯瞰图像(俯瞰视频)中，将视点位置设置为该俯瞰图像(俯瞰视频)的中心，车辆40的进入方向侧端部61位于停车目标位置的上侧，并且可以适当地显示车辆40和停车目标位置这两者。
利用视点转换视频生成用表数据创建部35创建的表数据所进行的俯瞰视频(俯瞰图像)的视点转换利用包括要应用于帧缓冲器部32中所记录的俯瞰图像(俯瞰视频)的放大、缩小、水平和垂直移动以及转动的基本转换方法来实现。因而，在视点转换视频生成用表数据创建部35中创建表数据的处理也基于要应用于图像(视频)的转换元素(放大、缩小、水平和垂直移动以及转动)来实现并且可以基于从视点位置确定部34获取到的信息来容易地进行。
视点转换视频生成用表数据创建部35可以容易地创建表数据，因而不需要高处理性能。因而，即使在视点转换视频生成用表数据创建部35中进行表数据创建处理的情况下，也可以快速地对基于照相机21拍摄到的实时视频所生成的俯瞰视频(俯瞰图像)进行视点转换。
视点转换视频生成部36进行基于视点转换视频生成用表数据创建部35所创建的视点转换表数据来将帧缓冲器部32中所记录的俯瞰图像(俯瞰视频)转换成如下最佳俯瞰视频(俯瞰图像：第二俯瞰视频)的处理，其中在该最佳俯瞰视频中，将视点位置确定部34所确定的视点位置设置为该最佳俯瞰视频中心，并且停车目标位置位于显示监视器14上所显示的俯瞰图像(俯瞰视频)的下部。视点转换视频生成部36中的俯瞰视频(俯瞰图像)转换处理是基于表数据的视频转换处理并且如此可以快速地以低处理负担来实现。
以下说明在基于ROM20中所记录的程序来执行上述各功能部的功能的情况下在控制器18中要进行的处理。图7是示出在控制器18中要进行的俯瞰视频生成处理的示例的流程图。
控制器18判断其是否需要获取表示停车操作开始的信息(步骤S.1)。例如，以上判断可以基于是否将选择杆设置为倒退操作位置来进行。可选地，以上判断可以基于用户是否触摸显示监视器14上所显示的(用作停车操作开始按钮等的)图标来进行。
在没有获取到表示停车操作开始的信息的情况下(步骤S.1中为“否”)，控制器18结束该例程。在结束该例程之后，控制器18可以重复执行相同例程。
在获取到表示停车操作开始的信息的情况下(步骤S.1中为“是”)，控制器18基于照相机21所拍摄到的视频来生成俯瞰视频(俯瞰图像：第一俯瞰视频)，并且经由图像存储部13将所生成的俯瞰视频(俯瞰图像)显示在显示监视器14上(步骤S.2)。在该处理中，控制器18作为俯瞰视频生成部30起作用以生成俯瞰视频(俯瞰图像)。步骤S.2中所生成的俯瞰视频(俯瞰图像)是车辆位于其中心的整体俯瞰视频(俯瞰图像)。将步骤S.2中所生成的俯瞰视频(俯瞰图像)记录在帧缓冲器部32中，然后在无需利用视点转换视频生成部36进行视点转换处理的情况下直接显示在显示监视器14上。
如上所述，在对四台照相机41c、42c、43c和44c各自所拍摄到的视频的边界部分进行明度和色相等的调整的情况下向该边界部分添加无不适感的图像，或者向邻接图像之间的边界部分应用α(阿尔法)混色。也就是说，步骤S.2中所生成的俯瞰视频(俯瞰图像)是防止了在边界部分中残留不适感的视频(图像)。
随后，控制器18基于从触摸面板部15输入的触摸位置信息来判断其是否获取到与停车目标位置有关的信息(步骤S.3)。在没有获取到停车目标位置信息的情况下(步骤S.3中为“否”)，控制器18重复执行如下处理(步骤S.2)，其中该处理基于照相机21所拍摄到的视频生成俯瞰视频(俯瞰图像：第一俯瞰视频)，将所生成的俯瞰视频记录在帧缓冲器部32中，并且经由图像存储部13将该俯瞰视频(俯瞰图像)显示在显示监视器14上。
另一方面，在获取到停车目标位置信息的情况下(步骤S.3中为“是”)，控制器18基于所获取到的停车目标位置信息和应用于俯瞰视频(俯瞰图像)的图像处理来识别四台照相机所生成的整体俯瞰视频(俯瞰图像)中的停车目标位置，并且存储识别出的停车目标位置(步骤S.4)。在该处理中，控制器18作为停车位提取部33起作用。之后，基于该停车目标位置和车辆位置(俯瞰视频(俯瞰图像)的中心位置)来确定视点位置。
然后，控制器18基于步骤S.4中所识别出的停车目标位置和步骤S.2中所生成的俯瞰视频(俯瞰图像)中的车辆位置(中心位置)来确定视点位置(步骤S.5)。在该处理中，控制器18作为视点位置确定部34起作用。
如上所述，在车辆40远离停车目标位置(停车位)(第一状况)的情况下，将车辆40和停车目标位置之间的中间位置(图5(a)中的P0点)确定为视点位置。在车辆40的一部分进入停车目标位置(停车位)(第二状况)的情况下，将停车目标位置(更具体为停车位的中心位置(图5(b)中的P2点))确定为视点位置。在车辆40移动的情况下，控制器18基于从当前位置检测部10获取到的行进方向信息、GPS信息和车速信息等来确定考虑到车辆位置和停车目标位置的视点位置。
之后，控制器18通过应用于俯瞰视频(俯瞰图像)的图像分析来检测步骤S.4中所识别出的停车目标位置(停车位)的白线部分(白色框)，并且确定俯瞰视频(俯瞰图像)的转动量，以使得显示监视器14的画面中的停车目标位置位于车辆的下侧并且车辆的进入方向侧端部61位于停车位的上侧(步骤S.6)。在车辆移动的情况下，控制器18基于从当前位置检测部10获取到的行进方向、GPS信息和车速信息等来确定考虑到车辆位置和停车目标位置的俯瞰视频(俯瞰图像)的转动量。此外，在该处理中，控制器18作为视点位置确定部34起作用。
然后，控制器18基于视点位置来从俯瞰视频生成表数据记录部31提取最佳表数据，并且根据四台照相机所生成的整体俯瞰视频(俯瞰图像)来生成最符合视点位置的俯瞰视频(俯瞰图像)(步骤S.7)。在该处理中，控制器18作为俯瞰视频生成部30起作用。将所生成的最符合视点位置的俯瞰视频(俯瞰图像)记录在帧缓冲器部32(地图数据记录部16或RAM19)中。
然后，控制器18基于车辆位置和步骤S.4中所识别出的停车目标位置来确定视点转换处理中的俯瞰视频(俯瞰图像)的转换范围(缩放范围)，并且基于步骤S.5中所确定的视点位置来确定通过视点转换处理要生成的俯瞰视频(俯瞰图像)的中心，由此确定俯瞰视频(俯瞰图像)的水平和垂直移动距离。此外，控制器18基于步骤S.6中所确定的俯瞰视频(俯瞰图像)的转动量来确定俯瞰视频(俯瞰图像)的转动方向和转动角度，并且创建视点转换表数据(步骤S.8)。在该处理中，控制器18作为视点转换视频生成用表数据创建部35起作用。
然后，控制器18基于所创建的视点转换表数据来向帧缓冲器部32中所记录的俯瞰图像(俯瞰视频)应用视点转换处理以生成如下俯瞰视频(俯瞰图像：第二俯瞰视频)，并且经由图像存储部13将所生成的俯瞰视频(俯瞰图像)显示在显示监视器14上(步骤S.9)，其中在该俯瞰视频(俯瞰图像：第二俯瞰视频)中，将视点位置设置为其中心，以平衡方式显示车辆40和停车目标位置，并且停车目标位置位于车辆40的位置的下侧。
将经过了视点转换处理的俯瞰视频显示在显示监视器14上使得能够向进行停车操作的用户呈现车辆周围的状况。特别地，显示监视器14上所显示的俯瞰视频经过了步骤S.2中的、防止在边界部分中残留不适感的处理。因而，基于边界部分中无不适感的俯瞰视频(俯瞰图像)所生成的视频转换后的俯瞰视频在边界部分中也无不适感，从而使得能够呈现无不适感的俯瞰视频。
之后，控制器18判断是否获取到表示停车操作完成的信息(步骤S.10)。例如，以上判断可以基于选择杆是否从倒退操作位置移动至停车操作位置来进行。可选地，以上判断可以基于用户是否触摸显示监视器14上所显示的(用作停车操作结束按钮等的)图标来进行。
在没有获取到表示停车操作完成的信息的情况下(步骤S.10中为“否”)，控制器18基于四台照相机所拍摄到的照相机视频来生成整体俯瞰视频(俯瞰图像)(步骤S.11)，并且进入步骤S.4，其中在该步骤S.4中，控制器18开始重复执行上述处理。
通过重复执行该处理，以重复方式进行用于基于四台照相机21来生成整体俯瞰视频(俯瞰图像)(步骤S.11)、确定视点位置(步骤S.5)、生成最符合所确定的视点位置的俯瞰视频(俯瞰图像)(步骤S.7)、并且将基于所生成的俯瞰视频(俯瞰图像)进行了视点转换处理的俯瞰视频(俯瞰图像)输出至显示监视器14(步骤S.9)的处理，由此使得能够实时地生成/显示车辆周围的俯瞰视频。
特别地，根据本实施例的控制器18基于视点转换表数据(视点转换视频生成用表数据创建部35中所创建的视点转换表数据)来进行视点转换处理(视点转换视频生成部36中的处理)，由此使得能够减轻控制器18在其进行视点转换处理的情况下的处理负荷并且使得能够容易地实现处理的加速化。
另一方面，在获取到表示停车操作完成的信息的情况下(步骤S.10中为“是”)，控制器18将显示监视器14上所显示的图像改变为汽车导航***1中的路径引导显示等(步骤S.12)，并且结束该例程。
如上所述，在根据本实施例的汽车导航***1中，向作为基本视频的基于四个照相机视频实时地生成的整体俯瞰视频(俯瞰图像：第一俯瞰视频)应用基于俯瞰视频生成表数据记录部31中所记录的表数据和视点转换视频生成用表数据创建部35中所创建的视点转换表数据的视频转换，由此可以生成最佳俯瞰视频(第二俯瞰视频)。因而，可以向用户呈现实时地反应当前周围状况的视点转换后的俯瞰视频。
例如，即使在车辆周围的状况时刻改变的情况下、例如在某人接近车辆的周围区域的情况下，也可以呈现反映了该相应状况的周围俯瞰视频。
此外，基于表数据来进行视点转换处理，由此使得可以减轻控制器18在其进行视频转换处理(图像转换处理)的情况下的处理负荷并且实现处理的加速化。
此外，向基于四台照相机的视频所生成的整体俯瞰视频(俯瞰图像)的边界部分应用处理使得即使在之后基于表数据进行视点转换的情况下也没有必要再次向边界部分应用处理。因而，可以在无需利用控制器18进行附加的边界图像处理的情况下呈现在边界部分中无不适感的俯瞰视频(俯瞰图像)。
尽管通过参考附图说明了本发明的优选实施例，但本发明的范围不应当被解释为局限于所述实施例。本领域技术人员可以想到权利要求书的范围内的各种替代实现和变形实现，并且当然这些实现落在本发明的范围内。
例如，在根据本实施例的汽车导航***1中，在视点转换视频生成用表数据创建部35中创建视点转换视频生成部36进行视点转换处理所需的视点转换表数据。如本实施例所述，该视点转换表数据是基于水平和垂直移动以及转动处理来创建的，以使得在视点转换视频生成用表数据创建部35(控制器18)中创建该视点转换表数据的情况下，要施加的处理负担低。
然而，代替以上述方式创建视点转换表数据，可以预先准备大量的视点转换表数据并且将这些视点转换表数据记录在记录部件(视点转换表记录部、例如根据本实施例的地图数据记录部16或RAM19)中。在这种情况下，视点转换视频生成部36或视点位置确定部34基于视点位置信息或与俯瞰视频(俯瞰图像)的转动量有关的信息来选择最佳的视点转换表数据，并且视点转换视频生成部36向帧缓冲器部32中所记录的俯瞰视频(俯瞰图像)应用视点转换处理。
此外，在根据本实施例的汽车导航***1中，控制器18基于程序来作为包括俯瞰视频生成部30、停车位提取部33、视点位置确定部34、视点转换视频生成用表数据创建部35和视点转换视频生成部36的功能部起作用。然而，本实施例不限于在汽车导航***1中设置有单个控制器18的结构。例如，在设置有多个控制器的结构中，这些控制器可以划分责任以实现这些功能部的功能。此外，如下结构是可以的，其中在该结构中，控制器是以与功能部一对一的关系设置的，从而使得各功能能够由相应的控制器来执行。
此外，在根据本实施例的汽车导航***1中，视点转换视频生成部36向帧缓冲器部32中所记录的俯瞰视频(俯瞰图像)应用缩放(放大/缩小)。然而，俯瞰视频(俯瞰图像)不总是需要缩放。视点转换视频生成部36可以通过仅进行水平和垂直移动以及转动处理作为视点转换处理来生成俯瞰视频(俯瞰图像)。
此外，在根据本实施例的汽车导航***1中，视点转换视频生成部36进行视点转换处理，以使得停车目标位置(停车位)位于车辆40的下侧。然而，停车目标位置(停车位)并非必须总是位于车辆40的下侧。例如，在车辆40向着停车目标位置(停车位)前进移动的情况下，停车目标位置(停车位)位于车辆40的上侧，这对于向用户提供无不适感的俯瞰视频(俯瞰图像)而言是有利的。因而，通过例如经由触摸面板操作触摸停车目标位置(停车位)，可以确定不进行后续的基于俯瞰视频(俯瞰图像)的转动的视点转换处理。
附图标记说明
1…汽车导航***(停车辅助装置)
10…当前位置检测部
13…图像存储部
14…显示监视器(显示部)
15…触摸面板部(输入部)
16…地图数据记录部(视点转换表记录部)
18…控制器(第一俯瞰视频生成部、停车目标位置检测部、视点位置确定部、转动量确定部、视点转换表创建部、第二俯瞰视频生成部)
19…RAM(视点转换表记录部)
20…ROM
21…照相机
30…俯瞰视频生成部(第一俯瞰视频生成部)
31…俯瞰视频生成表数据记录部
32…帧缓冲器部
33…停车位提取部
34…视点位置确定部(停车目标位置检测部、视点位置确定部、转动量确定部)
35…视点转换视频生成用表数据创建部(视点转换表创建部)
36…视点转换视频生成部(第二俯瞰视频生成部)
50,51,55,59…俯瞰图像
61…进入方向侧端部
P1…车辆位置的中心
P2…停车目标位置的中心
P0…中间位置

Claims (5)

1.一种停车辅助装置，包括：
第一俯瞰视频生成部，用于基于车辆所安装的多个照相机拍摄到的照相机视频，来生成以所述车辆为中心从所述车辆的上方虚拟地俯瞰车辆周围的状况的第一俯瞰视频；
停车目标位置检测部，用于根据所述第一俯瞰视频检测停放所述车辆所用的停车目标位置；
视点位置确定部，用于基于所述停车目标位置检测部所检测到的停车目标位置和所述第一俯瞰视频中的车辆位置之间的位置关系来确定视点位置；
转动量确定部，用于基于所述停车目标位置和所述第一俯瞰视频中的车辆位置之间的位置关系来确定所述第一俯瞰视频中的转动量；
视点转换表创建部，用于创建视点转换表，其中所述视点转换表用于使所述第一俯瞰视频的中心位置移动至所述视点位置确定部所确定的视点位置，并且使所述第一俯瞰视频以所述视点位置作为转动中心转动所述转动量确定部所确定的转动量；以及
第二俯瞰视频生成部，用于基于所述视点转换表创建部所创建的视点转换表来向所述第一俯瞰视频应用视频转换处理，以生成以所述视点位置为中心位置、并且通过使所述第一俯瞰视频转动所述转动量确定部所确定的转动量所获得的第二俯瞰视频。
2.一种停车辅助装置，包括：
第一俯瞰视频生成部，用于基于车辆所安装的多个照相机拍摄到的照相机视频，来生成以所述车辆为中心从所述车辆的上方虚拟地俯瞰车辆周围的状况的第一俯瞰视频；
停车目标位置检测部，用于根据所述第一俯瞰视频检测停放所述车辆所用的停车目标位置；
视点位置确定部，用于基于所述停车目标位置检测部所检测到的停车目标位置和所述第一俯瞰视频中的车辆位置之间的位置关系来确定视点位置；
转动量确定部，用于基于所述停车目标位置和所述第一俯瞰视频中的车辆位置之间的位置关系来确定所述第一俯瞰视频中的转动量；
视点转换表记录部，用于记录多个视点转换表，其中所述视点转换表用于使所述第一俯瞰视频的中心位置移动至所述视点位置，并且使所述第一俯瞰视频以所述视点位置作为转动中心转动所述转动量；以及
第二俯瞰视频生成部，用于从所述视点转换表记录部所记录的视点转换表中提取视点转换表，并且基于所提取的视点转换表来向所述第一俯瞰视频应用视频转换处理以生成第二俯瞰视频，其中该所提取的视点转换表用于使所述第一俯瞰视频的中心位置移动至所述视点位置确定部所确定的视点位置，并且使所述第一俯瞰视频转动所述转动量确定部所确定的转动量。
3.根据权利要求1或2所述的停车辅助装置，其中，
所述视点位置确定部将所述停车目标位置和所述第一俯瞰视频中的车辆位置之间的中间位置确定为所述视点位置。
4.根据权利要求1或2所述的停车辅助装置，其中，还包括：
显示部，其能够显示所述第一俯瞰视频；以及
输入部，用于用户识别所述显示部上所显示的所述第一俯瞰视频中的所述停车目标位置，
其中，所述停车目标位置检测部基于所述用户经由所述输入部识别出的所述停车目标位置来检测所述第一俯瞰视频中的所述停车目标位置。
5.根据权利要求1或2所述的停车辅助装置，其中，
所述转动量确定部将使得所述停车目标位置位于所述车辆位置的下侧的所述第一俯瞰视频的转动角度确定为所述转动量。
CN201280026515.8A 2011-06-27 2012-06-14 停车辅助装置 Expired - Fee Related CN103596812B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2011-141442 2011-06-27
JP2011141442A JP5798392B2 (ja) 2011-06-27 2011-06-27 駐車支援装置
PCT/JP2012/065221 WO2013002037A1 (ja) 2011-06-27 2012-06-14 駐車支援装置

Publications (2)

Publication Number Publication Date
CN103596812A true CN103596812A (zh) 2014-02-19
CN103596812B CN103596812B (zh) 2016-03-16

Family

ID=47423935

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280026515.8A Expired - Fee Related CN103596812B (zh) 2011-06-27 2012-06-14 停车辅助装置

Country Status (5)

Country Link
US (1) US20140354452A1 (zh)
EP (1) EP2724896B1 (zh)
JP (1) JP5798392B2 (zh)
CN (1) CN103596812B (zh)
WO (1) WO2013002037A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017166548A1 (zh) * 2016-03-29 2017-10-05 北京小米移动软件有限公司 控制平衡车停靠的方法及装置
CN107534757A (zh) * 2015-08-10 2018-01-02 Jvc 建伍株式会社 车辆用显示装置以及车辆用显示方法
CN108141569A (zh) * 2015-10-08 2018-06-08 日产自动车株式会社 显示辅助装置及显示辅助方法
CN109076195A (zh) * 2016-09-20 2018-12-21 Jvc 建伍株式会社 俯瞰影像生成装置、俯瞰影像生成***、俯瞰影像生成方法以及程序
CN112995584A (zh) * 2019-12-13 2021-06-18 本田技研工业株式会社 车辆的显示装置和停车辅助***

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060061008A1 (en) * 2004-09-14 2006-03-23 Lee Karner Mounting assembly for vehicle interior mirror
US10144353B2 (en) 2002-08-21 2018-12-04 Magna Electronics Inc. Multi-camera vision system for a vehicle
EP2927060B1 (en) * 2012-11-27 2019-05-08 Clarion Co., Ltd. On-vehicle image processing device
DE102012023706A1 (de) * 2012-12-05 2014-06-05 Daimler Ag Fahrzeugseitiges Verfahren und fahrzeugseitige Vorrichtung zum Erfassen und Anzeigen von Parklücken für ein Fahrzeug
US20140293047A1 (en) * 2013-04-02 2014-10-02 Caterpillar Inc. System for generating overhead view of machine
KR101482171B1 (ko) 2013-09-05 2015-01-13 현대모비스(주) 어라운드뷰 정차모드 제어방법
KR101491324B1 (ko) * 2013-10-08 2015-02-06 현대자동차주식회사 차량용 영상 획득 장치
JP6318999B2 (ja) * 2014-09-04 2018-05-09 株式会社Ｓｏｋｅｎ 駐車スペース認識装置、駐車スペース認識システム
JP6547510B2 (ja) * 2015-08-10 2019-07-24 株式会社Ｊｖｃケンウッド 車両用表示装置及び車両用表示方法
JP6711027B2 (ja) * 2015-08-10 2020-06-17 株式会社Ｊｖｃケンウッド 車両用表示装置、車両用表示方法、及びプログラム
WO2017026083A1 (ja) * 2015-08-10 2017-02-16 株式会社Ｊｖｃケンウッド 車両用表示装置及び車両用表示方法
KR101860610B1 (ko) * 2015-08-20 2018-07-02 엘지전자 주식회사 디스플레이 장치 및 이를 포함하는 차량
US10683035B2 (en) * 2015-12-08 2020-06-16 Panasonic Intellectual Property Management Co., Ltd. Parking assistance device, parking assistance method, and non-transitory computer readable medium
JP7036501B2 (ja) * 2017-02-24 2022-03-15 株式会社デンソーテン 充電支援装置、及び、充電支援方法
JP2018148484A (ja) * 2017-03-08 2018-09-20 株式会社Ｊｖｃケンウッド 車両用表示制御装置、車両用表示制御システム、車両用表示制御方法およびプログラム
KR101927754B1 (ko) * 2017-05-19 2019-02-26 주식회사 에스더블유엠 전방 카메라와 후방 카메라를 이용하여 어라운드 뷰 영상을 생성하는 방법 및 장치
JP7283514B2 (ja) * 2017-07-19 2023-05-30 株式会社アイシン 表示制御装置
JP7130923B2 (ja) * 2017-07-19 2022-09-06 株式会社アイシン 表示制御装置
DE102018101513A1 (de) * 2018-01-24 2019-07-25 Valeo Schalter Und Sensoren Gmbh Verfahren zur Detektion von Garagenparkplätzen
JP6990849B2 (ja) 2018-03-15 2022-01-12 パナソニックＩｐマネジメント株式会社 駐車支援装置、駐車支援方法、及び駐車支援プログラム
US10891866B2 (en) * 2018-11-13 2021-01-12 Hall Labs Llc Parking assist apparatus
KR102626635B1 (ko) * 2019-01-30 2024-01-18 엘지전자 주식회사 차량에 구비되는 장치 및 그 제어 방법
JP7296768B2 (ja) * 2019-04-22 2023-06-23 フォルシアクラリオン・エレクトロニクス株式会社 画像処理装置及び画像処理方法
KR20210121595A (ko) * 2020-03-30 2021-10-08 삼성전자주식회사 최적 경로 탐색 장치 및 이의 동작 방법
CN112339771B (zh) * 2020-10-09 2022-01-07 长城汽车股份有限公司 一种泊车过程展示方法、装置及车辆
CN113630571B (zh) * 2021-07-13 2024-04-02 北京汽车股份有限公司 用于车辆的高空抛物监测方法及***
WO2024013807A1 (ja) * 2022-07-11 2024-01-18 日産自動車株式会社 駐車支援方法及び駐車支援装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1591257A (zh) * 2003-08-29 2005-03-09 爱信精机株式会社 停车辅助装置
JP2008213647A (ja) * 2007-03-02 2008-09-18 Aisin Aw Co Ltd 駐車支援方法及び駐車支援装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100438623C (zh) * 1999-04-16 2008-11-26 松下电器产业株式会社 图象处理装置及监视***
JP2001339716A (ja) 2000-05-25 2001-12-07 Matsushita Electric Ind Co Ltd 車両周辺監視装置及び方法
US7145519B2 (en) * 2002-04-18 2006-12-05 Nissan Motor Co., Ltd. Image display apparatus, method, and program for automotive vehicle
JP2007183877A (ja) 2006-01-10 2007-07-19 Nissan Motor Co Ltd 車両用運転支援装置及び俯瞰映像の表示方法
JP4742953B2 (ja) * 2006-03-31 2011-08-10 株式会社デンソー 画像処理装置，画像表示システムおよびプログラム
JP5309442B2 (ja) * 2006-05-29 2013-10-09 アイシン・エィ・ダブリュ株式会社 駐車支援方法及び駐車支援装置
JP5159070B2 (ja) * 2006-08-31 2013-03-06 アルパイン株式会社 車両周辺画像表示装置及び表示方法
JP5115782B2 (ja) * 2006-11-07 2013-01-09 アイシン精機株式会社 駐車支援装置
JP5380941B2 (ja) * 2007-10-01 2014-01-08 日産自動車株式会社 駐車支援装置及び方法
DE102008027779A1 (de) * 2008-06-11 2009-12-17 Valeo Schalter Und Sensoren Gmbh Verfahren zur Unterstützung eines Fahrers eines Fahrzeugs beim Einparken in eine Parklücke
JP2010081385A (ja) * 2008-09-26 2010-04-08 Sanyo Electric Co Ltd 運転支援装置
JP5439890B2 (ja) * 2009-03-25 2014-03-12 富士通株式会社 画像処理方法、画像処理装置及びプログラム
JP5491235B2 (ja) * 2010-03-02 2014-05-14 東芝アルパイン・オートモティブテクノロジー株式会社 カメラキャリブレーション装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1591257A (zh) * 2003-08-29 2005-03-09 爱信精机株式会社 停车辅助装置
JP2008213647A (ja) * 2007-03-02 2008-09-18 Aisin Aw Co Ltd 駐車支援方法及び駐車支援装置

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107534757A (zh) * 2015-08-10 2018-01-02 Jvc 建伍株式会社 车辆用显示装置以及车辆用显示方法
CN107534757B (zh) * 2015-08-10 2020-04-10 Jvc 建伍株式会社 车辆用显示装置以及车辆用显示方法
CN108141569A (zh) * 2015-10-08 2018-06-08 日产自动车株式会社 显示辅助装置及显示辅助方法
US10311618B2 (en) 2015-10-08 2019-06-04 Nissan Motor Co., Ltd. Virtual viewpoint position control device and virtual viewpoint position control method
CN108141569B (zh) * 2015-10-08 2020-04-28 日产自动车株式会社 显示辅助装置及显示辅助方法
WO2017166548A1 (zh) * 2016-03-29 2017-10-05 北京小米移动软件有限公司 控制平衡车停靠的方法及装置
US10429852B2 (en) 2016-03-29 2019-10-01 Beijing Xiaomi Mobile Software Co., Ltd. Methods and devices for controlling self-balancing vehicle to park
CN109076195A (zh) * 2016-09-20 2018-12-21 Jvc 建伍株式会社 俯瞰影像生成装置、俯瞰影像生成***、俯瞰影像生成方法以及程序
CN109076195B (zh) * 2016-09-20 2021-03-05 Jvc 建伍株式会社 俯瞰影像生成装置、***、方法以及存储介质
CN112995584A (zh) * 2019-12-13 2021-06-18 本田技研工业株式会社 车辆的显示装置和停车辅助***
CN112995584B (zh) * 2019-12-13 2024-03-22 本田技研工业株式会社 车辆的显示装置和停车辅助***

Also Published As

Publication number Publication date
EP2724896A1 (en) 2014-04-30
JP2013006548A (ja) 2013-01-10
US20140354452A1 (en) 2014-12-04
EP2724896B1 (en) 2017-03-01
CN103596812B (zh) 2016-03-16
JP5798392B2 (ja) 2015-10-21
EP2724896A4 (en) 2015-05-06
WO2013002037A1 (ja) 2013-01-03

Similar Documents

Publication Publication Date Title
CN103596812B (zh) 停车辅助装置
CN101085608B (zh) 停车辅助装置和停车辅助画面
US8553081B2 (en) Apparatus and method for displaying an image of vehicle surroundings
JP6926976B2 (ja) 駐車支援装置及びコンピュータプログラム
EP3650285A1 (en) Parking assistance method and parking assistance device
US10618528B2 (en) Driving assistance apparatus
CN101252679B (zh) 驾驶辅助方法及驾驶辅助装置
JP2009205191A (ja) 駐車スペース認識装置
JP2007080060A (ja) 対象物特定装置
JP2013154730A (ja) 画像処理装置、画像処理方法、及び、駐車支援システム
WO2013161028A1 (ja) 画像表示装置、ナビゲーション装置、画像表示方法、画像表示プログラム、及び記録媒体
JP4339178B2 (ja) 駐車場空きスペース案内装置及び駐車場空きスペース案内方法
CN111311902A (zh) 一种数据处理方法、装置、设备和机器可读介质
JP2009211624A (ja) 運転支援装置、運転支援方法及びコンピュータプログラム
JPWO2017179206A1 (ja) 駐車支援用表示制御装置および駐車支援用表示制御方法
JP2022176234A (ja) 情報表示制御装置、情報表示制御方法及び情報表示制御プログラム
JP2008021234A (ja) 運転支援画像表示システム及び車載装置
JP5702476B2 (ja) 表示装置、制御方法、プログラム、記憶媒体
JP4800252B2 (ja) 車載装置及び交通情報提示方法
JP5573266B2 (ja) 車両用対象物画像認識装置、車両用対象物画像認識方法及びコンピュータプログラム
JP2007121797A (ja) 地図表示装置
JP2003106853A (ja) 運転支援装置
JP2019148900A (ja) 車両用制御装置、車両及び経路案内装置
EP4194883A1 (en) Device and method for determining objects around a vehicle
JP2008157760A (ja) 地図表示装置、地図表示方法、地図表示プログラムおよび記録媒体

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160316