CN105009574B - 周边监视装置及周边监视方法、记录介质 - Google Patents

周边监视装置及周边监视方法、记录介质 Download PDF

Info

Publication number
CN105009574B
CN105009574B CN201480012951.9A CN201480012951A CN105009574B CN 105009574 B CN105009574 B CN 105009574B CN 201480012951 A CN201480012951 A CN 201480012951A CN 105009574 B CN105009574 B CN 105009574B
Authority
CN
China
Prior art keywords
image data
vehicle
image
image pickup
pickup part
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480012951.9A
Other languages
English (en)
Other versions
CN105009574A (zh
Inventor
中所孝之
渡边矢
渡边一矢
丸冈哲也
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin Corp
Original Assignee
Aisin Seiki Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin Seiki Co Ltd filed Critical Aisin Seiki Co Ltd
Publication of CN105009574A publication Critical patent/CN105009574A/zh
Application granted granted Critical
Publication of CN105009574B publication Critical patent/CN105009574B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0841—Registering performance data
    • G07C5/0875—Registering performance data using magnetic data carriers
    • G07C5/0891—Video recorder in combination with video camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)
  • Studio Devices (AREA)

Abstract

实施方式所涉及的周边监视装置作为一例，具备：存储部，其存储从摄像部输出的摄像图像数据，该摄像部对包含车辆的行进方向的路面以及从该路面起上方的区域在内的区域进行摄像；以及输出部，其从存储于存储部的摄像图像数据当中，将由摄像部过去摄像而得到的、且在摄像出的路面中含有与当前的车辆的位置对应的路面的摄像图像数据输出至显示装置。

Description

周边监视装置及周边监视方法、记录介质
技术领域
本发明的实施方式涉及周边监视装置以及周边监视方法、记录介质。
本发明以日本专利申请2013-070481(申请日：2013年3月28日)为基础主张优先权，并通过援引方式而将其全部内容包含于此。
背景技术
现有技术中，作为支援车辆停车的技术，提出了如下技术：以设置于车辆的摄像头来对车辆的周边环境进行摄像，并显示作为摄像结果的摄像图像数据，从而对驾驶者提供驾驶的支援。
现有技术文献
专利文献
专利文献1：JP特开2002－354467号公报
专利文献2：JP特开2007－102798号公报
专利文献3：JP特开2003－9141号公报
发明内容
发明要解决的课题
然而，在现有技术中，在对以设置于车辆的摄像头摄像出的摄像图像数据进行显示的情况下，会产生因该摄像头的视角而难以掌握该车辆的底盘附近的状况这样的问题。
用于解决课题的手段
本发明的实施方式所涉及的周边监视装置作为一例，具备：存储部，其存储从摄像部输出的摄像图像数据，该摄像部对包含车辆的行进方向的路面以及从该路面起上方的区域在内的区域进行摄像；以及输出部，其从存储于所述存储部的摄像图像数据当中，将由所述摄像部过去摄像而得到的、且在摄像出的所述路面中含有与当前的所述车辆对应的路面的摄像图像数据输出至显示装置。由此，作为一例，由于能识别车辆周边成为死角的区域，因此起到能减轻驾驶的负担这样的效果。
另外，在上述周边监视装置中，作为一例，所述输出部还对于要输出的所述摄像图像数据来重叠能确定当前的车辆的给定部位的识别信息。由此，作为一例，由于在成为死角的区域表征车辆的给定部位，因此起到掌握周围的状况与车辆的部位的关系变得容易这样的效果。
另外，在上述周边监视装置中，作为一例，所述输出部将用于确定所述车辆的底盘的给定部位的信息作为所述识别信息进行重叠。由此，作为一例，由于将底盘的构造体的位置，例如，车轴或差动齿轮等的位置进行表征，因此起到掌握周围的状况与车辆的底盘部位的关系变得容易这样的效果。
另外，在上述周边监视装置中，作为一例，还具备获取部，该获取部获取所述车辆的移动量，所述存储部进而将所述摄像图像数据与所述摄像部摄像所述摄像图像数据的位置信息对应地进行存储，所述输出部基于由所述获取部获取到的所述移动量以及存储于所述存储部的所述位置信息，将作为当前的所述车辆的位置包含在所摄像的区域中的摄像图像数据而被选择的所述摄像图像数据进行输出。由此，作为一例，由于能从过去拍摄得到的多个摄像图像数据之中将当前的车辆的位置包含在所摄像的范围内的摄像图像数据进行输出，因此起到掌握车辆周边的状况变得容易这样的效果。
另外，在上述周边监视装置中，作为一例，所述输出部从存储于所述存储部的多个所述摄像图像数据当中仅将在一个位置一个时刻摄像得到的摄像图像数据进行输出。由此，作为一例，由于未合成在多个时刻拍摄得到的多个摄像图像数据，因此起到能减轻处理负担这样的效果。
另外，在上述周边监视装置中，作为一例，所述输出部将所述摄像部以该车辆的行进方向且与路面交叉的方向作为摄像方向摄像得到的所述摄像图像数据进行输出。由此，作为一例，由于将摄入了车辆的行进方向的路面状况的摄像图像数据进行输出，因此起到视觉识别车辆周边的状况变得容易这样的效果。
另外，在上述周边监视装置中，作为一例，还具备受理部，该受理部受理给定的按钮的按下，在所述摄像部输出当前摄像的摄像图像数据、且所述受理部已受理所述给定的按钮的按下的情况下，所述输出部从存储于所述存储部的摄像图像数据当中将由所述摄像部过去摄像而得到的、且当前的所述车辆的位置包含在所摄像的区域中的摄像图像数据进行输出。由此，作为一例，由于驾驶者在想要掌握车辆的周围的状况时能将包含当前的车辆所在的区域在内的摄像图像数据进行输出，因此起到能减轻驾驶者的驾驶的负担这样的效果。
另外，在本发明的实施方式所涉及的周边监视方法中，作为一例，包含如下步骤：使存储部存储从摄像部输出的摄像图像数据的步骤，该摄像部对包含车辆的行进方向的路面以及从该路面起上方的区域在内的区域进行摄像；以及输出步骤，从存储于所述存储部的摄像图像数据当中，将由所述摄像部过去摄像而得到的、且在摄像出的所述路面中含有与当前的所述车辆的位置对应的路面的摄像图像数据输出至显示装置；所述输出步骤中，从存储于所述存储部的多个所述摄像图像数据当中仅将在任意的位置上摄像得到的摄像图像数据进行输出。由此，作为一例，由于能识别车辆周边成为死角的区域，因此起到能减轻驾驶的负担这样的效果。
附图说明
图1是表示第1实施方式所涉及的车辆的车室的一部分被透视的状态的一例的立体图。
图2是表示第1实施方式所涉及的车辆的一例的俯视图(俯瞰图)。
图3是表示第1实施方式所涉及的车辆的周边监视***的一例的框图。
图4是表示在第1实施方式所涉及的周边监视ECU内实现的周边监视部的构成的框图。
图5是表示第1实施方式所涉及的车辆的摄像部的摄像区域的图。
图6是表示第1实施方式所涉及的光流计算部所计算的光流的概念的图。
图7是表示第1实施方式所涉及的环形缓冲区的构造的图。
图8是表示第1实施方式所涉及的显示处理部进行显示处理后的通常的画面例的图。
图9是表示第1实施方式所涉及的显示处理部进行显示处理的底盘显示时的画面例的图。
图10是说明第1实施方式所涉及的图像选择部所选择的摄像图像数据的图。
图11是表示第1实施方式所涉及的周边监视部中的摄像图像数据的保存处理的过程的流程图。
图12是表示第1实施方式所涉及的周边监视部中的显示处理的过程的流程图。
图13是表示第1实施方式所涉及的周边监视部中的底盘显示处理的过程的流程图。
图14是表示在第2实施方式所涉及的周边监视ECU内实现的周边监视部的构成的框图。
图15是表示在第2实施方式所涉及的车辆后退的情况下由显示处理部进行显示处理后的通常的画面例的图。
图16是表示第2实施方式所涉及的显示处理部进行显示处理的底盘显示时的画面例的图。
图17是表示第3实施方式所涉及的底盘显示时的画面例的图。
图18是表示第4实施方式所涉及的底盘显示时的画面例的图。
图19是表示第5实施方式所涉及的底盘显示时的画面例的图。
图20是表示第6实施方式所涉及的底盘显示时的画面例的图。
具体实施方式
在后述的实施方式中，车辆1例如既可以是以内燃机(发动机，未图示)为驱动源的机动车(内燃机汽车)，也可以是以电动机(马达，未图示)为驱动源的机动车(电动汽车、燃料电池汽车等)，还可以是以这两者为驱动源的机动车(混合动力汽车)。另外，车辆1既能搭载各种变速装置，也能搭载驱动内燃机或电动机所需的各种装置(***、部件等)。另外，关于车辆1中的涉及车轮3的驱动的装置的方式、数量、布局等，能进行各种设定。
(第1实施方式)
如图1所示，第1实施方式所涉及的车体2构成了乘坐着(未图示)乘车的车室2a。在车室2a内，以面对作为乘坐着的驾驶者的座席2b的状态，设置有转向部4、加速操作部5、制动操作部6、变速操作部7等。在本实施方式中，作为一例，转向部4是从仪表板(仪表面板)突出的方向盘，加速操作部5是位于驾驶者的脚下的加速踏板，制动操作部6是位于驾驶者的脚下的刹车踏板，变速操作部7是从中央控制台突出的变速杆，但不限于此。
另外，在车室2a内，设置有显示装置8(显示输出部)、声音输出装置9(声音输出部)。显示装置8例如是LCD(liquid crystal display；液晶显示器)、OELD(organicelectro luminescent display；有机电致发光显示器)等。声音输出装置9作为一例，是扬声器。另外，在本实施方式中，作为一例，显示装置8被透明的操作输入部10(例如，触控面板等)覆盖。乘坐者等能对经由操作输入部10而显示于显示装置8的显示画面的影像(图像)进行视觉辨识。另外，乘坐者等能在与显示于显示装置8的显示画面的影像(图像)对应的位置处用手指等触摸或按压或移动操作输入部10以进行操作，来执行操作输入(指示输入)。另外，在本实施方式中，作为一例，显示装置8、声音输出装置9、操作输入部10等设置于位于仪表板的车宽方向(左右方向)的中央部的监视器装置11。监视器装置11能具有开关、刻度盘、操纵杆、按钮等操作输入部(未图示)。另外，既能在与监视器装置11不同的车室2a内的其他的位置处设置声音输出装置(未图示)，也能从监视器装置11的声音输出装置9和其他的声音输出装置输出声音。另外，在本实施方式中，作为一例，监视器装置11能兼用作导航***和音频***，但也可以将周边监视装置用的监视器装置独立于这些***而单独设置。
另外，如图1、2所示，在本实施方式中，作为一例，车辆1是四轮车(四轮汽车)，具有左右两个前轮3F以及左右两个后轮3R。进而，在本实施方式中，这四个车轮3均构成为能进行转向(能转舵)。具体而言，如图3所示，车辆1具有使前轮3F进行转向的前轮转向***12以及使后轮3R进行转向的后轮转向***13。这前轮转向***12以及后轮转向***13由周边监视ECU14(electronic control unit；电子控制单元)等进行电气式控制，使各自的致动器12a、13a动作。前轮转向***12以及后轮转向***13例如是电动动力转向***或SBW(steerby wire；线控转向)***等。前轮转向***12以及后轮转向***13通过致动器12a、13a对转向部4附加扭矩(辅助扭矩)来补充转向力，或者使对应的车轮3(前轮3F或后轮3R)进行转向(自动转向)。致动器12a、13a既可以使一个车轮3转向，也可以使多个车轮3转向。另外，在本实施方式中，作为一例，两个前轮3F彼此同相(同相位、同转舵方向、同回动方向)地大致平行地转舵，两个后轮3R彼此同相地大致平行地转舵。此外，驱动轮能进行各种设定。
另外，在本实施方式中，作为一例，如图2所示，在车辆1(车体2)中设置有多个(在本实施方式中，作为一例，四个)摄像部16(16a～16d)。摄像部16例如是内置CCD(chargecoupled device；电荷耦合器件)或CIS(CMOS image sensor；CMOS图像传感器)等摄像元件的数码摄像头。摄像部16能以给定的帧频来输出图像数据(运动图像数据、帧数据)。摄像部16分别具有广角透镜，能在水平方向上拍摄140°～220°的范围(视野角)。另外，摄像部16的光轴被设定为朝向下方(斜下方)。由此，摄像部16拍摄包含车辆1所能移动的路面在内的车体2的周边的外部的环境。
在本实施方式中，作为一例，摄像部16a位于车体2的前侧(车辆前后方向的前方侧)的端部2c(俯视下的端部)，设置于前保险杠等。摄像部16b位于车体2的左侧(车宽方向的左侧)的端部2d，设置于左侧的车门后视镜2g(突出部)。摄像部16c位于车体2的后侧(车辆前后方向的后方侧)的端部2e，设置于后备箱的车门2h的下方的壁部。摄像部16d位于车体2的右侧(车宽方向的右侧)的端部2f，设置于右侧的车门后视镜2g(突出部)。此外，本实施方式不限制摄像头的车载方法，只要设置为摄像部16a能获取车辆的前方的图像数据，摄像部16b、16d能获取车辆的左右侧方的图像数据，摄像部16c能获取车辆的后方的图像数据即可。
周边监视ECU14能基于由多个摄像部16得到的图像数据来执行运算处理或图像处理，并将执行该图像处理而得到的图像数据显示于显示装置8。
另外，在本实施方式中，作为一例，如图3所示，在周边监视***100中，除了周边监视ECU14、监视器装置11、前轮转向***12、后轮转向***13等之外，还经由车内网络23(电气通信回线)电连接有刹车***18、转向角传感器19(角度传感器)、油门传感器20、位移传感器21、车轮速传感器22、加速度传感器26等。车内网络23作为一例，构成为CAN(controller areanetwork；控制器局域网)。周边监视ECU14通过车内网络23来发送控制信号，从而能控制前轮转向***12、后轮转向***13、刹车***18等。另外，周边监视ECU14能经由车内网络23来接受扭矩传感器12b、轮胎角传感器13b(后轮3R用)、刹车传感器18b、转向角传感器19(前轮3F用)、油门传感器20、位移传感器21、车轮速传感器22、加速度传感器26等的检测结果、以及操作输入部10等的指示信号(控制信号、操作信号、输入信号、数据)。
在本实施方式中，在车辆1设置有2个加速度传感器26(26a，26b)。此外，本实施方式将车辆1作为ESC(electronic stability control；电子稳定控制)搭载车辆。然后，在ESC(electronic stability control)搭载车辆中使用从以往搭载的加速度传感器26(26a，26b)。此外，本实施方式不限于加速度传感器，只要是能检测车辆1的左右方向的加速度的传感器即可。在本实施方式中，导出前后方向的加速度以及左右方向的加速度。
周边监视ECU14作为一例，具有：CPU14a(central processing unit；中央处理单元)、ROM14b(read only memory；只读存储器)、RAM14c(random access memory；随机存取存储器)、显示控制部14d、声音控制部14e、SSD14f(solid state drive，闪速存储器)等。CPU14a例如执行与显示装置8中显示的图像关联的图像处理、车辆1的移动路径的运算以及对物体的干扰的有无的判断等各种运算处理。CPU14a读出ROM14b等非易失性的存储装置中所存储的(安装的)程序，并遵照该程序来执行运算处理。
RAM14c临时存储CPU14a中的运算所使用的各种数据。另外，显示控制部14d在周边监视ECU14的运算处理当中主要执行利用由摄像部16得到的图像数据的图像处理、显示装置8中所显示的图像数据的图像处理(作为一例，合成等)等。另外，声音控制部14e在周边监视ECU14的运算处理当中主要执行由声音输出装置9输出的声音数据的处理。另外，SSD14f是能改写的非易失性的存储部，在周边监视ECU14的电源断开的情况下也能存储数据。此外，CPU14a、ROM14b、RAM14c等能集成在同一封装体内。另外，周边监视ECU14可以构成为不使用CPU14a而使用DSP(digital signal processor；数字信号处理器)等其他逻辑运算处理器或逻辑电路等。另外，既可以取代SSD14f而设置HDD(hard disk drive；硬盘驱动器)，也可以与周边监视ECU14分开独立地设置SSD14f或HDD。
图4是表示在本实施方式所涉及的周边监视ECU14内实现的周边监视部400的构成的框图。构成为图3的周边监视ECU14的CPU14a通过执行ROM14b(计算机可读的记录介质)内存放的软件，来实现图4所示的获取部401、角度计算部402、保存处理部403、受理部405以及显示处理部406。此外，软件(程序)可以通过计算机可读的其他记录介质来提供。周边监视部400在RAM14c上实现环形缓冲区404。
图5是表示本实施方式所涉及的车辆1的摄像部16a的摄像区域的图。如图5所示，摄像部16a对车辆1的行进方向的路面、以及从该路面起上方(重力方向的相反方向)的至少包含地平线的区域进行摄像。然而，车辆1的前轮3F附近的路面501未包含于摄像部16a当前摄像的摄像区域502。另外，因车辆1的保险杠的配置等的影响(车辆1的构造上的影响)，难以使摄像区域还将前轮3F附近的底盘包含在内。
故而，驾驶者即使视觉辨识出当前摄像的摄像图像数据，也难以确认在车辆1的前轮3F附近是否存在障碍物等。为此，本实施方式所涉及的周边监视部400应驾驶者的要求，能显示摄像部16a过去摄像得到的摄像图像数据。过去摄像得到的摄像图像数据，换言之，是指在比车辆1的当前的位置靠后方的位置摄像得到的摄像图像数据。
例如，考虑由周边监视部400将对摄像区域503进行摄像而得到的摄像图像数据作为在车辆1的后方的位置由摄像部16a摄像得到的摄像图像数据提示给驾驶者。由于在摄像区域503中含有路面501，因此驾驶者能确认前轮3F附近的路面501。由此，驾驶者能在确认路面501的状况的基础上进行驾驶，因此能减轻驾驶的负担。接下来，回到图4，说明周边监视部400的构成。
获取部401从车辆1所具备的各种传感器等获取各种信息。本实施方式所涉及的获取部401获取从设置于车辆1并对该车辆1的周边进行摄像的摄像部16a～16d输出的摄像图像数据、以及从设置于该车辆1的加速度传感器26a、26b输出的加速度数据。获取部401将获取到的信息输出至角度计算部402以及保存处理部403。
另外，获取部401将摄像的时刻与检测到加速度的时刻大致一致的摄像图像数据，与加速度数据建立对应关系。
角度计算部402基于由加速度传感器26a、26b获取到的加速度数据来计算车辆1的倾斜角度(俯仰角以及侧倾角)。此外，俯仰角是指，表示绕车辆1的左右轴倾斜的角度，侧倾角是指，绕车辆1的前后轴倾斜的角度。
另外，角度计算部402将根据加速度数据计算出的侧倾角以及俯仰角与该加速度数据所对应的摄像图像数据建立对应关系。由此能识别对摄像图像数据进行摄像时的车辆1的侧倾角以及俯仰角。
保存处理部403具备旋转控制部411、鸟瞰图图像生成部412、光流计算部413、位置估计部414以及保存部415，生成并保存用于在显示装置8中显示的摄像图像数据。
旋转控制部411对由摄像部16a摄像出的摄入了车辆1的前方(行进方向)周边的摄像图像数据进行旋转校正。
本实施方式所涉及的旋转控制部411以与摄像部16a摄像中使用的透镜的中心对应的、摄像图像数据在显示区域内的位置座标为原点，进行与该摄像图像数据所对应的侧倾角相应的旋转校正。此外，旋转校正的对象不限于由摄像部16a摄像出的摄像图像数据，例如可以是由摄像部16c摄像出的摄入了车辆1的后方周边的摄像图像数据。
鸟瞰图图像生成部412基于经旋转控制后的摄像图像数据来生成从上方俯瞰车辆1的行进方向的地面亦即该车辆1周边的地面的鸟瞰图图像数据。此外，根据摄像图像数据来生成鸟瞰图图像数据的手法使用何种手法均可，例如可以使用映射表进行变换。
每当获取摄像图像数据时就进行鸟瞰图图像数据的生成。换言之，鸟瞰图图像生成部412在基于由旋转控制部411进行旋转控制后的第1摄像图像数据生成了第1鸟瞰图图像数据后，基于在拍摄了该第1摄像图像数据而车辆1移动后由摄像部16摄像且由旋转控制部411进行旋转控制后的第2摄像图像数据，来生成第2鸟瞰图图像数据。
光流计算部413基于由鸟瞰图图像生成部412计算出的鸟瞰图图像数据来计算光流。光流设为以矢量来表示鸟瞰图图像数据中摄入的物体的运动的信息。通过计算光流，能估计车辆1的移动量。
本实施方式所涉及的光流计算部413将由鸟瞰图图像生成部412生成的鸟瞰图图像数据与前次更新时用到的鸟瞰图图像数据进行比较，来计算光流。
然而，若以鸟瞰图图像数据全体进行比较，则处理负担变大。为此，本实施方式所涉及的光流计算部413针对由鸟瞰图图像生成部412生成的鸟瞰图图像数据内的预定区域来进行比较。
具体而言，本实施方式所涉及的光流计算部413从前次更新时用到的第1鸟瞰图图像数据以及在第1鸟瞰图图像数据之后生成的第2鸟瞰图图像数据之中，分别切出预定的区域(显示范围)，来计算光流。
图6是表示由光流计算部413计算的光流的概念的图。将图6的(A)作为从前次更新时用到的第1鸟瞰图图像数据之中以预定的显示范围切出的图像数据，并将图6的(B)作为从本次鸟瞰图图像生成部412生成的第2鸟瞰图图像数据之中以预定的显示范围切出的图像数据。
然后，光流计算部413计算在图6的(A)所示的图像数据与图6的(B)所示的图像数据之间以矢量表示所显示的物体(的特征点)的转移的光流。图6的(C)示出了计算出的光流的例子。在图6的(C)所示的例子中，示出了图6的(A)内所示的特征点(以“×”表示)移动至图6的(B)内所示的特征点(以“×”表示)为止的矢量的长度。
然后，位置估计部414根据由光流计算部413计算出的光流的平均值来计算车辆1的移动量，估计车辆1的当前的位置。
而在本实施方式中，通过光流来估计了车辆1的当前的位置。这是由于，想要掌握车辆1的前轮3F附近等的车辆1的底盘的状况的情况多为越野行驶。在越野行驶中，因粗犷的路面等的影响，认为会产生车轮3的空转等。在此情况下，若基于车轮3的转速来估计车辆1的移动量，则产生误差的可能性大。为此，在本实施方式中，基于光流来估计车辆1的移动量以及位置。
在满足了从前次保存起车辆1的移动量为给定的距离以上、以及车辆1的移动角为给定的角度以上的任一者的条件的情况下，保存部415将旋转控制部411旋转控制后的摄像图像数据与车辆1的位置信息一起保存至环形缓冲区404。本实施方式不限制给定的距离，但例如考虑0.3m、0.5m。给定的角度例如考虑2deg(度)等。
环形缓冲区404将从摄像部16a输出的当前的摄像图像数据与摄像时的信息对应地进行保存。图7是表示环形缓冲区404的构造的图。如图7所示，环形缓冲区404将摄像图像数据与该摄像图像数据的摄像时的车辆1的倾斜度(行进方向)以及车辆1的位置信息对应地进行存储。
如图7所示，环形缓冲区404设为逻辑上配置为环状的缓冲区。然后，在环形缓冲区404中，应保存部415的保存要求，对于最早更新的区域，覆写保存该保存要求的摄像图像数据等。
受理部405受理操作输入部10等的指示信号(控制信号)。本实施方式所涉及的受理部405根据这些指示信号，受理从当前的摄像部16a摄像得到的摄像图像数据以及存储于环形缓冲区404的过去的摄像图像数据(换言之，车辆1的底盘显示)当中将哪一者显示于显示装置8这样的切换操作。
显示处理部406具备图像选择部421和输出部422，遵照受理部405已受理的操作，来进行针对显示装置8的显示处理。
图8是表示由显示处理部406进行显示处理后的通常的画面例的图。如图8所示，在通常的画面例中，除了摄像部16a摄像出的摄像图像数据801之外，还摄入了由摄像部16d摄像得到的车辆1的右侧的前轮3F周边的摄像图像数据802以及由摄像部16b摄像得到的车辆1的左侧的前轮3F周边的摄像图像数据803。进而，在显示区域804中，将车辆1的俯仰角以及侧倾角作为可识别的信息进行显示。也就是，以表示车辆1的图标811的倾斜度来表示侧倾角，另一方面，以经过该图标811的中心线与水平线之间的距离来表示俯仰角。尽管在本实施方式中基于这样的显示形态以可识别的方式示出了侧倾角以及俯仰角，但并不限于这样的显示形态，还可以是其他的显示形态。
另外，在摄像图像数据801中显示轨迹851、852，该轨迹851、852示出了与从转向角传感器19获取到的转向角相应的前轮3F的行进方向。由此，驾驶者能在确认了车辆1的行进方向的基础上进行驾驶。
然而，在图8所示的画面例中，难以确认车辆1的底盘附近的状况。为此，在本实施方式所涉及的周边监视部400中，能切换至车辆1的底盘附近的显示。本实施方式不限制切换手法，但例如在车辆1停止后受理部405受理了显示切换的按钮的按下的情况下，认为显示处理部406会切换显示等。
图9是表示由显示处理部406显示处理的底盘显示时的画面例的图。在图9所示的例子中，右侧的前轮3F周边的摄像图像数据802、车辆1的左侧的前轮3F周边的摄像图像数据803以及以可识别方式显示有侧倾角以及俯仰角的显示区域804表征了当前的车辆1的状况，因此与图8同样。
摄像图像数据901设为车辆1的摄像部16a过去摄像得到的摄像图像数据。根据从对摄像图像数据901进行摄像起计算出的车辆1的移动量，能估计摄像图像数据901上的当前的车辆1的位置。为此，显示处理部406显示能确认车辆1的当前的给定部位的信息。在图9所示的例子中，作为能确定车辆1的给定部位的识别信息的一例，显示有表示车辆1的外形的轮廓线911以及表示车辆1的前轮3F的外形的轮廓线912、913。
表示前轮3F的外形的轮廓线912、913设为基于由转向角传感器19检测出的当前的转向角的轮廓线。由此，驾驶者通过视觉辨识轮廓线912、913，能识别车辆1的当前的轮胎的朝向和位置。在摄像图像数据901中，将表示外形的轮廓线911与表示前轮3F的外形的轮廓线912、913进行了重叠显示，因此驾驶者能识别路面以及包含车辆1的前轮3F附近的底盘的路面状况。由此，周边监视部400能对驾驶者提供避开前轮3F附近的障碍物等的用于进行驾驶的环境。如此，本实施方式能使驾驶负担减轻，并使驾驶时的便利性得以提高。
另外，与摄像图像数据重叠的信息不限于能确定车辆1的给定部位的识别信息(例如，轮廓线911、912、913)。本实施方式所涉及的显示处理部406可以根据驾驶者的要求，对于摄像图像数据显示基于车辆1的当前的转向角的行进方向的轨迹等。
回到图4，接下来说明显示处理部406的构成。在受理部405受理了向底盘显示的切换的情况下，图像选择部421从环形缓冲区404中所存储的摄像图像数据之中选择要显示的摄像图像数据。
本实施方式所涉及的图像选择部421从环形缓冲区404中选择由摄像部16a过去摄像得到的摄像图像数据亦即包含与当前的车辆1对应的路面的摄像图像数据。也就是，若对在摄像出的路面中含有被认为是当前的车辆的位置的(对应的)路面的摄像图像数据进行显示，则能实现车辆1的底盘显示。
图10是说明由本实施方式所涉及的图像选择部421选择的摄像图像数据的图。在图10所示的例子中，设车辆1按照位置1001、位置1002、位置1003、位置1004的顺序移动，设当前的车辆1位于位置1004。然后，设在位置1004上从驾驶者受理了向底盘显示的切换。
在此情况下，本实施方式所涉及的图像选择部421以当前的车辆1的后轮3R间的中心1061为基准，从存储于环形缓冲区404的摄像图像数据中选择要显示的摄像图像数据。在本实施方式中，图像选择部421选择满足如下条件的摄像图像数据：拍摄时的摄像部16a的位置在中心1061附近或者比中心1061靠后方，较之于当前的车辆1的行进方向，拍摄时的车辆1的倾斜度(行进方向)处于给定的角度内。作为满足这样的条件的位置，图像选择部421选择在位置1002上摄像得到的摄像图像数据。在位置1002上摄像得到的摄像图像数据的摄像区域1051中还含有当前的车辆1的前轮3F附近的路面。故而，通过由显示处理部406在该摄像图像数据中重叠显示表示当前的车辆1的位置的轮廓线，驾驶者能识别当前的车辆1的前轮3F附近的路面状况。
此外，本实施方式并不将摄像图像数据的选择手法限于这样的手法，还可以使用其他手法。例如，图像选择部421可以选择车辆1的倾斜度(行进方向)相对于当前的车辆1的行进方向处于给定的角度内的，环形缓冲区404中所存储的摄像图像数据当中最早的摄像图像数据。
输出部422在受理了底盘显示的选择的情况下，将由图像选择部421选择出的摄像图像数据输出至显示装置8。由此，输出部422能将环形缓冲区404中所存储的摄像图像数据当中由摄像部16a过去摄像得到的摄像图像数据亦即包含当前的车辆1所在的区域的摄像图像数据输出至显示装置8。进而，输出部422将右侧的前轮3F周边的摄像图像数据802、车辆1的左侧的前轮3F周边的摄像图像数据803、以可识别方式显示有侧倾角以及俯仰角的显示区域804输出至显示装置8。
接下来，说明本实施方式所涉及的周边监视部400中的摄像图像数据的保存处理。图11是表示本实施方式所涉及的周边监视部400中的上述的处理的过程的流程图。
首先，摄像部16对车辆1的周边环境进行摄像(步骤S1101)。尤其摄像部16a对车辆1的行进方向当中包含路面和地平线在内的区域进行摄像。
接下来，获取部401从摄像部16获取摄像图像数据，并从加速度传感器26获取加速度数据(步骤S1102)。
然后，角度计算部402根据加速度数据来计算车辆1的侧倾角以及俯仰角(步骤S1103)。
然后，旋转控制部411对摄像图像数据进行与侧倾角相应的旋转控制(步骤S1104)。
接下来，鸟瞰图图像生成部412根据进行旋转控制后的摄像图像数据，生成鸟瞰图图像数据，该鸟瞰图图像数据俯瞰示出了处于车辆1的行进方向且存在于该车辆1的周边的给定的区域(步骤S1105)。
然后，光流计算部413基于所生成的鸟瞰图图像数据来计算光流(步骤S1106)。
接下来，位置估计部414基于计算出的光流来计算车辆1的移动量，并估计车辆1的当前位置(步骤S1107)。
然后，保存部415判定从前次保存的位置起，给定的距离(例如，0.3m或0.5m)以及给定的角度(例如2deg)当中任一者以上是否发生变化(步骤S1108)。在判定为给定的距离以及给定的角度均未变化的情况下(步骤S1108：“否”)，结束处理。此外，尽管在本实施方式中针对在给定的距离以及给定的角度当中任一者以上发生变化的情况下进行保存的例子进行说明，但不限于这样的保存手法，还可以每隔给定时间来进行保存等。
另一方面，在保存部415判定为从前次保存的位置起，给定的距离(例如，0.3m或0.5m)以及给定的角度当中任一者以上发生变化的情况下(步骤S1108：“是”)，保存部415对于环形缓冲区404的最早更新的区域，覆写保存旋转处理后的当前的摄像图像数据(步骤S1109)。此时，保存部415将该摄像图像数据的摄像时的倾斜度(行进方向)以及位置信息对应地进行保存。
接下来，保存部415将环形缓冲区404中所存储的摄像图像数据的摄像时的位置信息更新为以当前的位置为基准(原点)的位置信息(步骤S1110)。通过该更新，不用使环形缓冲区404溢出，就能持续保持位置信息。
然后，本实施方式所涉及的周边监视部400能将环形缓冲区404中所存储的摄像图像数据作为底盘显示时的图像数据进行提供。
接下来，说明本实施方式所涉及的周边监视部400中的显示处理。图12是表示本实施方式所涉及的周边监视部400中的上述的处理的过程的流程图。
首先，受理部405判定是否已受理底盘显示的操作(步骤S1201)。在受理部405判定为未受理底盘显示的操作的情况下(步骤S1201：“否”)，显示处理部406显示通常的导航画面(步骤S1202)。
另一方面，在受理部405判定为已受理底盘显示的操作的情况下(步骤S1201：“是”)，显示处理部406使用环形缓冲区404中所存储的摄像图像数据来进行底盘显示(步骤S1203)。
接下来，说明图12的步骤S1203中的底盘显示。图13是表示本实施方式所涉及的周边监视部400中的上述的处理的过程的流程图。
首先，图像选择部421基于当前的车辆1的位置，从环形缓冲区404选择要显示的摄像图像数据(步骤S1301)。选择手法使用已说明的手法即可，故省略说明。本实施方式所涉及的图像选择部421选择对包含当前的车辆1所在的位置在内的区域进行了摄像的摄像图像数据。
接下来，输出部422将由图像选择部421选择出的摄像图像数据输出至显示装置8(步骤S1302)。
进而，输出部422按照在步骤S1302输出的摄像图像数据中重叠用于表示当前的车辆1的位置等的记号(例如车辆1的轮廓线以及车辆1的前轮3F的轮廓线)的方式进行输出(步骤S1303)。
进而，输出部422输出在显示装置8中显示的外观等(包含右侧的前轮3F周边的摄像图像数据、车辆1的左侧的前轮3F周边的摄像图像数据以及以可识别方式显示有侧倾角及俯仰角的显示区域)(步骤S1304)。
通过上述的处理过程，将在包含车辆1所在的位置的摄像图像数据中重叠有表示该车辆1的当前的位置的轮廓线的画面进行显示。
然后，在输出部422进行输出后车辆1移动了的情况下，输出部422配合车辆1的移动，使表示车辆1的位置等的记号(例如车辆1的轮廓线以及车辆1的前轮3F的轮廓线)变化(动画显示)。由此，驾驶者能识别当前的车辆1的位置。
另外，在本实施方式中，在输出部422显示了过去的摄像图像数据后，给定的距离(例如，0.3m或0.5m)以及给定的角度当中任一者以上发生变化的情况下，图像选择部421从环形缓冲区404新选择与当前的车辆1的位置相适应的摄像图像数据，并由输出部422进行选择出的摄像图像数据的显示。由此，进行与车辆1的位置相应的摄像图像数据的显示，因此驾驶者掌握当前的车辆1的周边的状况变得容易。
另外，在本实施方式中说明了对环形缓冲区404中所保存的旋转处理后的摄像图像数据进行显示的例子。然而，并不将图像处理限于旋转处理，还可以进行失真校正、视点变更、形状校正等其他的图像处理。
在本实施方式中，通过进行上述的摄像图像数据的显示处理，能将当前的车辆1的位置中的死角区域显示于显示装置8。由此，驾驶者能掌握周边的状况，因此能减轻驾驶负担。
在本实施方式中，对拍摄了包含路面和地平线的区域的所谓斜向视点的摄像图像数据进行了显示。在此情况下，较之于对鸟瞰图图像数据进行显示的情况，在有凹凸的路面进行行驶，即所谓的越野行驶时能掌握路面的状况，因此能减轻驾驶的负担。
在本实施方式中，遵照计算出的光流来估计了车辆1的位置。由此，在野外等行驶时，即使在车轮3发生空转的情况下，也能精度良好地估计车辆1的位置。
在上述的实施方式中，车辆1具备多个摄像部16a～16d。为此，在上述的实施方式中，可以对从任意的位置在同时刻由多个摄像部摄像得到的摄像图像数据进行合成、显示。例如，可以显示将由前方向的摄像部16a、横向的摄像部16b、16d拍摄得到的多个摄像图像数据(左方向的摄像图像数据、前方向的摄像图像数据、右方向的摄像图像数据)进行合成后的图像数据。
另外，关于由前方向的摄像部16a以及横向的摄像部16b、16d拍摄得到的多个摄像图像数据(左方向的摄像图像数据、前方向的摄像图像数据、右方向的摄像图像数据)的合成，设为不是在车辆1的多个位置，而是在任意的(1个的)位置上摄像得到的摄像图像数据。其中，只要是从任意的位置摄像得到的摄像图像，不是在同时刻摄像得到的摄像图像数据也可以。
在上述的实施方式中，输出部422输出的底盘显示用的摄像图像数据若含有与当前的车辆1的位置对应的路面，则不对进行摄像的车辆1的位置进行限制，可以是在任意的位置上进行摄像。另外，在底盘显示中使用仅在任意的(1个的)位置上摄像得到的摄像图像数据，不使用对在多个位置上摄像得到的多个图像数据进行合成后的图像数据。由此，能减轻处理负担。
在本实施方式中，说明了在环形缓冲区404中存储多个摄像图像数据并从多个摄像图像数据中选择要显示的摄像图像数据的例子，但也可以仅显示前次摄像得到的摄像图像数据。在此情况下，仅存储1个摄像图像数据即可，因此能削减存储容量。
在本实施方式中说明了通过显示切换的按钮的按下来切换显示的例子。然而，并不限制对显示进行切换的定时。例如，既可以在车辆的移动中始终显示过去摄像得到的摄像图像数据，也可以以车辆1停止为条件而切换至过去摄像得到的摄像图像数据的显示。
(第2实施方式)
在第1实施方式中说明了基于光流来估计车辆1的位置的例子。然而，并不限于基于光流来进行位置的估计，还可以使用检测车轮3的转速来估计移动量的传感器。为此，在第2实施方式中说明根据车轮3的转速来估计移动量的例子。
进而在第1实施方式中说明了对由前进时的行进方向侧的摄像部16a摄像得到的摄像图像数据进行显示的例子。然而，不限于前进的情况，在后退的情况下，也可以显示由摄像部16c过去摄像得到的摄像图像数据。
图14是表示在本实施方式所涉及的周边监视ECU14内实现的周边监视部1400的构成的框图。如图14所示，周边监视部1400较之于第1实施方式，变更至与获取部401处理不同的获取部1401、且变更至与保存处理部403处理不同的保存处理部1402。在以下的说明中，对与上述的第1实施方式相同的构成要素赋予同一附图标记并省略其说明。
获取部1401与第1实施方式同样，获取摄像图像数据和加速度数据，此外还从车轮速传感器22获取车轮3的速度，换言之每给定时间的车轮3的转速。获取到的车轮3的速度以及转速被输出至保存处理部1402。
保存处理部1402具备旋转控制部411、鸟瞰图图像生成部412、位置估计部1411以及保存部415，生成并保存用于在显示装置8中显示的摄像图像数据。
位置估计部1411基于从获取部1401输入的从估计前次位置起的转速以及来自转向角传感器19的转向角，来估计车辆1的位置。
其后，保存部415对于环形缓冲区404，将摄像图像数据与当前的车辆1的位置信息以及倾斜度(行进方向)对应地进行存储。
在本实施方式中，基于转速来估计了车辆1的位置。由此，在道路行驶时，能精度良好地检测车辆1的位置。另外，在车辆1后退的情况下，本实施方式所涉及的周边监视部1400可以显示过去的摄像图像数据。
图15是表示在车辆1后退的情况下由显示处理部406进行显示处理后的通常的画面例的图。如图15所示，在通常的画面例中，在车辆1后退的情况下，为了确认车辆1的周边区域，将由摄像部16c当前摄像得到的摄像图像数据进行全画面显示。由此，能从驾驶席确认难以确认的车辆1的后方区域。然而，在图15所示的例子中，难以掌握车辆1的后方的距离间隔。为此，在本实施方式所涉及的周边监视部1400中能切换至车辆1的底盘附近的显示。例如，在受理部405受理了显示切换的按钮的按下的情况下，显示处理部406对显示进行切换。
图16是表示由显示处理部406显示处理的底盘显示时的画面例的图。在图16所示的例子中，在摄像部16c过去摄像得到的摄像图像数据中重叠显示有表示当前的车辆1的外形的轮廓线1601以及表示车辆1的后轮3R的外形的轮廓线1602、1603。
图16所示的摄像图像数据设为由摄像部16c摄像、且从存储于环形缓冲区404的多个摄像图像数据中由图像选择部421选择出的摄像图像数据。图像选择部421执行的摄像图像数据的选择手法与第1实施方式同样，只要能选择包含车辆1的当前的位置的摄像图像数据，则无论使用何种手法均可。
在图16所示的摄像图像数据中，在过去摄像得到的摄像图像数据中重叠显示有当前的车辆1的给定部位，例如表征车辆1自身的位置的轮廓线1601，因此能识别车辆1与周边的位置关系。进而，能在车辆1的后轮3R的周边确认障碍物等的有无。另外，在车辆1采用后轮转向***的情况下，可以配合后轮3R的轮胎角来切换轮廓线1602、1603的显示。
本实施方式所涉及的周边监视部1400根据基于转速来估计移动量的传感器的检测结果，进行控制。在本实施方式中在道路行驶时能精度良好地估计移动量。
在本实施方式中说明了根据车轮3的转速来计算车辆1的移动量的例子。然而，并不限于这样的手法，例如可以从GPS等检测车辆1的位置以及移动量。
(第3实施方式)
在前述的第1实施方式以及第2实施方式中，作为能确定当前的车辆1的给定部位的识别信息，例如示出了对表示车辆的外形的轮廓线或表示车辆的车轮的外形的轮廓线进行表征的例子。在图17所示的第3实施方式中，示出了其他的识别信息。另外，示出了与前述的图9的显示形态不同的显示形态的显示例。在图9的显示形态的情况下，为了提高前方图像的视觉辨识性，使用全画面的一半以上来显示了摄像图像数据901的显示区域。另一方面，在图17的情况下，对于摄像图像数据1700的显示区域(前方显示区域)，将摄像图像数据1702以及摄像图像数据1704的显示区域(侧方显示区域)朝前方方向扩大，使得更容易理解侧方图像与前方图像的关联性，提高了车辆周围的状况掌握的容易性。
在图17的情况下，在过去拍摄得到的摄像图像数据1700中，与图9同样，显示有用于表示当前的车辆的位置的车体的轮廓线1706、左前轮的轮廓线1708、右前轮的轮廓线1710。此外，作为表示当前的车辆的给定部位的识别信息，显示有表示车轴的位置的车轴轮廓线1712。如此，通过在过去拍摄得到的表示周围的状况的图像中重叠显示当前车辆的给定部位，例如车轴实际所在的位置，周围的状况例如岩石等障碍物与车辆的底盘部位的关系的掌握变得容易，能更适当地进行车辆的驾驶操作。特别是在车辆的底盘存在像车轴那样突出的部件的情况下，通过重叠显示其位置，能使底盘的构件与路面等不接触，或者将接触造成的损伤抑制到最小限度地容易地进行驾驶操作，从而形成支援。另外，通过显示车轴轮廓线1712，驾驶者能掌握以轮廓线1708、1710所示的车轮的中心，能正确地掌握车轮的接地位置。
图17作为一例示出了表示车轴的车轴轮廓线1712，但也可以表示其他的底盘部位。例如，可以示出表示差动齿轮(差速器)的位置的轮廓线。在此情况下，也能进行支援，以使差速器与路面不接触，或者将接触造成的损伤抑制到最小限度地进行驾驶操作。此外，除了车体的轮廓线1706、车轮的轮廓线1708、1710之外，驾驶者可以酌情选择要显示的车轴或差速器等的轮廓线。例如，既可以选择性地显示车轴或差速器的任一者，也可以选择两者来进行显示。此外，关于车轴或差速器以外的底盘构件，可以同样选择性地进行重叠显示。在此情况下，驾驶者能容易地掌握在较差路面行驶时尤其在意的构件与路面的关系，因此能进行更适当的驾驶操作。
在显示区域1714中示出了表示车辆的倾斜姿势(俯仰角或侧倾角)的图标1716。通过配合该车辆的倾斜姿势进行显示来成为驾驶操作的参考，能进行辅助，使车轴或差速器与路面不接触或将接触造成的损伤抑制到最小限度地更容易地进行驾驶操作。
(第4实施方式)
在图18中示出了将能确定当前的车辆的给定部位的识别信息进行重叠的其他的例子。在图18的例的情况下，在摄像图像数据901中重叠有各种轮廓线以进行辅助来使车辆搭乘者能顺畅地从车辆下车。此外，图18的显示画面的构成例示了与图9的构成相同的情况。图18的显示例是为了使在停车空间中驻停本车的情况下的本车与周围的状况的关系容易识别而设的辅助图像。在此情况下，能实现停车位置的调整容易性的提高以及从本车下车时的周围的状况掌握的容易性的提高。如图18所示，为了使本车相对于在过去拍摄得到的图像中摄入的其他车辆Ca、Cb的位置容易掌握，除了在摄像图像数据901上重叠的车体的轮廓线1820之外，还示出了表示车门后视镜的位置的轮廓线1822、1824。驾驶者通过参考为了使本车在画面上的位置易于理解的车门后视镜的位置，从而其他车辆Ca、Cb与本车的相对位置的掌握变得容易。
另外，通过示出表示助手席侧的车门的关闭位置的轮廓线1826以及表示驾驶席侧的车门的关闭位置的轮廓线1828，或者示出表示驾驶席的座席位置的轮廓线1830、表示助手席的座席位置的轮廓线1832，其他车辆Ca、Cb与本车的相对位置的掌握进一步变得容易。另外，通过示出表示车门的位置的轮廓线1826、1828或表示座席的位置的轮廓线1830、1832，能事先判断在使车辆停车并下车的情况下的落地位置上是否有积水或障碍物等。其结果是，能容易地进行停车位置的调整。
另外，作为变形例，可以显示车门打开的状况(虚线的轮廓线1826、1828)。在此情况下，能事先使搭乘者识别在打开车门的情况下与其他车辆Ca、Cb的距离，例如，是否接触或能将车门打开至何种程度等。另外，在打开车门下车的情况下的落地位置的确认也能变得容易。此外，在图18的情况下，示出了对覆盖驾驶席以及助手席的范围的轮廓线进行重叠显示的例子。在另一实施例中，例如可以在四车门类型的车辆重叠显示覆盖后部座席的范围的轮廓线。在此情况下，能使后部座席的用户识别车门的可打开量或落地位置的状况。此外，尽管在图18中以推拉门为例进行了说明，但还能适用于平开门或后备箱门等，也能得到同样的效果。
此外，在图18中，摄像图像数据802、摄像图像数据803、显示区域804、图标811等与图9的显示例相同。另外，在道路行驶的情况下，较容易掌握周围的状况，因此可以以前述的图16那样的全画面显示来显示摄像图像数据901以及与之重叠的各轮廓线。在此情况下，周围的状况与本车的位置关系的掌握变得更容易。
(第5实施方式)
图19是图16的变形例。在图16的例子的情况是通过在过去图像中重叠显示车体的轮廓线1601以及车轮的轮廓线1602、1603来提高其他车的位置与本车的位置的识别度从而支援向停车空间进入的例子。另一方面，在图19的例子的情况下，除了车体的轮廓线1900以及车轮的轮廓线1902、1904的重叠显示之外，还在显示区域1908中显示有至停车空间的止轮器1906为止的距离。在图19的情况下，基于摄像图像数据上的位置关系，通过已知的方法来实时计算至与止轮器1906对应的车轮的轮廓线1904为止的距离(至接触点为止的距离)。然后，在显示区域1908中例如显示“还有1.8M”等。通过进行这样的至止轮器1906为止的剩余距离的显示，停车时的速度调整变得容易，能进行支援以使更顺畅的向停车空间的进入容易。此外，可以在剩余距离的显示的基础上，或者取代显示，来对剩余距离进行语音向导。
(第6实施方式)
图20是图19的变形例。近年，随着电动汽车的普及，在停车空间中设置非接触型的充电设备的场景增加。在非接触型的充电设备的情况下，使路面侧的供电装置与车载侧的受电装置准确地对接成为实现高效的充电的条件。如前所述，非接触型的充电设备设置于各处，因此还有在不习惯之处进行充电的情况。图20的例子是支援在这样的情况下的向充电位置进行准确引导的例子。具体而言，除了用于支援向停车空间的进入的过去图像中的车体的轮廓线2000以及车轮的轮廓线2002、2004的重叠显示之外，还重叠显示有车辆侧的受电装置的轮廓线2006。然后，在显示区域2012中显示有至比停车空间的止轮器2008设置于更近前侧的供电装置2010为止的距离。在图20的情况下，基于摄像图像数据上的位置关系通过已知的方法来实时计算至供电装置2010和受电装置的轮廓线2006为止的相对距离，在显示区域2012中例如显示“还有1.7M”等。通过进行这样的至受电位置为止的剩余距离的显示，能进行支援以使充电操作时的定位调整变得容易，能实现更顺畅的充电准备。
此外，该充电支援模式例如可以在驾驶者接通设置于驾驶席附近的充电支援模式开关的情况下或需要充电的情况下，以接收到路面侧的供电装置2010产生的电波为契机，自动地切换至图20所示那样的充电支援模式，进行受电装置的轮廓线2006或显示区域2012的显示。另外，在供电装置2010难以在拍摄画面上进行识别的情况下，可以基于供电装置2010产生的电波的强度等来检测供电装置2010的位置。然后，可以在以车载摄像头拍摄得到的过去图像上重叠显示供电装置2010的轮廓线。此外，在充电支援模式下，仅剩余距离的显示或语音向导就已足够，但例如还可以加入用于修正左右方向的偏差的箭头显示或语音向导。另外，可以仅进行剩余距离或修正方向的语音向导。
(第7实施方式)
在上述的各实施方式的情况下，可以在过去拍摄得到的图像上重叠显示当前的本车的轮廓线来使当前的车辆的位置与周围的状况的关系容易识别。然而，尤其在道路行驶中利用过去图像的情况下，有时在存储的图像中摄入了步行者或其他车等移动物体。如此，若在摄入有移动物体的过去图像上重叠显示当前的车辆的轮廓线等，则本车与当前已不存在的移动物体进行接触或重合那样的图像合成被执行，在显示上会产生失调感。
为此，在各实施方式中过去图像中包含移动物体的情况下，可以不将该数据存储于环形缓冲区404，或即使存储在进行重叠显示处理的情况下也不使用。在此情况下，期望对表示不能显示过去图像的消息进行显示或语音向导。通过进行这样的处理，能避免产生上述那样的显示上的失调感。
此外，关于在以车载摄像头拍摄的图像中是否存在步行者或其他车等移动物体，例如能使用拍摄***中所含的障碍物的识别功能来进行判定。如此，通过与现存的***进行协作，在过去图像中包含移动物体的情况下，能以低成本来实现不利用该数据等的***。此外，若针对获取到的图像数据的全体区域进行移动物体的检测，且在检测到的情况下进行使数据成为非使用的处理，则存在能使用的数据数过度减少的情况。故而，可以基于来自转向角传感器19或轮胎角传感器13b的信息来估计本车的行进方向，并仅针对与本车关联的区域来进行移动物体的有无检测。在此情况下，能使设为非使用的数据数成为最小限度，能实现利用良好的过去图像的重叠处理。
(第8实施方式)
另一方面，与第7实施方式相反，还存在在过去图像中重叠显示有当前的本车的轮廓线的情况，也就是，在过去图像的显示中新闯入移动物体(步行者或其他车等)的情况。在此情况下，已新闯入的移动物体不存在于过去图像上，因此不会显示在显示装置上。在这样的情况下，尽管驾驶者能通过目视来识别闯入的移动物体，但有时会产生现实存在的物体未被显示在画面上这样的失调感。在这样的情况下，可以强制地切换至对当前图像进行显示的当前显示模式。如此，通过切换至当前图像模式，从而使用户可靠地识别移动物体的存在变得容易。
此外，过去图像显示中新进入的移动物体的检测能使用现存的移动物体检测方法。例如，既可以通过以当前车载摄像头获取到的当前图像上的图像识别来执行，也可以使用声纳或激光雷达、毫米波雷达等的传感器。
这样的向当前图像的切换在移动物体闯入的情况多的道路行驶时特别有效，但还能适用于越野行驶时。例如，在越野行驶时，有时要求细腻的驾驶操作，因此存在视线会集中于能详细识别底盘的状态的显示装置的情况。也就是存在当前的状况掌握变得疏忽的情况。在这样的情况下，在过去图像显示中检测到新的移动物体的进入的情况下切换至当前图像，从而能迅速且可靠地进行当前的状况掌握。
此外，在对当前图像进行显示的过程中检测到移动物体或静止物等障碍物的情况下，在利用者请求了过去图像的显示的情况下，周边监视ECU14可以显示“可以显示过去图像吗”这样的“确认画面”。另外，在另一实施例中，在***侧一度切换至当前图像的情况下，可以从此以后，至执行给定的解除过程为止，或经过给定时间为止，都禁止向过去图像的切换。由此，能使用户可靠地识别移动物体的闯入。
(第9实施方式)
在上述的各实施方式中，表示前方区域的显示区域(参照图8、9、17、18)均设为了在中央上段以短边为下侧的大致梯形形状(梯形形状、大致梯形显示区域、梯形显示区域)。如此，通过以短边为下侧的形状进行显示，能进行有纵深感的竖立画面那样呈现前方显示区域的显示。其结果是，实际上能进行接近利用者(驾驶者、乘坐着)视觉辨识的周围状况的显示。另外，通过使对拍摄车宽方向的左侧以及右侧而得到的图像进行显示的侧方显示区域(在各实施方式中，大致长方形的显示区域)与前方显示区域的形状不同，从而能强调对相同画面中所显示的侧方区域进行显示的区域与显示前方区域的区域处于不同的视点(前方区域是竖立画面，侧方区域是俯视画面)，因此能有助于利用者的视觉辨识性的提高。尤其在像图17的例子那样，侧方显示区域延伸至前方显示区域的旁边的情况下，通过将两者设为不同的形状，能进一步提高其识别性。此外，在各实施方式中，在侧方显示区域中不含有从路面起上空的区域。此外，关于大致梯形显示区域，既可以是各边由直线构成的梯形显示区域，也可以是任一边由曲线构成。例如，对图8中的摄像图像数据801进行显示的区域的长边侧可以朝向区域外侧，构成为凸的曲线。同样，短边侧可以朝向区域外侧，构成为凸状的曲线。另外，对摄像图像数据801进行显示的区域的侧边(斜边)可以向着外侧构成为凸的曲线。反之，可以朝向区域内侧而构成为凸的曲线。例如，由长边侧向区域外侧凸的曲线、且短边侧向区域内侧凸的曲线构成的扇形形状也包含在本实施方式中的大致梯形形状的范畴。另外，前述那样的曲线既可以在大致梯形形状的一部分采用，也可以在多处采用。通过将构成大致梯形形状的边设为曲线，能使显示区域的形状具有各种外观性。另外，能进一步提高侧方显示区域的大致长方形的显示区域的识别性。
在图17中示出了由显示处理部406进行显示处理后的画面的变形例。在图17的情况下，对于摄像图像数据1700的显示区域(前方显示区域)，使摄像图像数据1702以及摄像图像数据1704的显示区域(侧方显示区域)朝前方方向扩大，使得侧方图像与前方图像的关联性的理解变得容易从而提高了车辆周围的状况掌握的容易性。然后，为了提高在前方显示区域中显示的摄像图像数据1700的视觉辨识性，使用上述那样的“大致梯形显示区域”来进行了显示。尤其在像图17的例子那样侧方显示区域延伸至前方显示区域的旁边的情况下，通过将两者设为不同的形状，能进一步提高其识别性。该“大致梯形显示区域”能适用于像图8或图17所示那样对由摄像部16a拍摄得到的当前图像进行显示的情况以及像图9所示那样对过去图像进行显示的情况两者，在任一者的情况下均能提高视觉辨识性。
此外，在图17所示的例子中，周边监视ECU14基于转向角传感器19的输出数据来获取转向部4(方向盘)的操作状态，估计前轮3F的朝向，并在前方显示区域中重叠显示车体的轮廓线1706以及左前轮的轮廓线1708来作为表示车辆1的行进估计方向的行路指标。通过在前方显示区域中显示车体的轮廓线1706以及左前轮的轮廓线1708，车辆1从此起将要前进的方向变得明确，周围的状况与车辆1的关系变得容易掌握。然后，能够一边通过大致梯形显示区域来参照视觉辨识性得以提高的显示区域，一边例如提供能容易进行顺畅地避开障碍物的驾驶的驾驶支援。
在上述的各实施方式中，不与当前摄像出的摄像图像数据进行合成来显示过去摄像出的摄像图像数据。通过不合成时间序列不同的摄像图像数据而仅显示在某时间点拍摄得到的摄像图像数据，能不对驾驶者造成失调感地显示当前的车辆1的位置中的成为死角的区域。
在上述的实施方式中，说明了对包含车辆1的行进方向的路面以及地平线在内的区域进行摄像，并对从所谓斜向视点摄像得到的摄像图像数据进行显示的例子。然而，并不限制拍摄的视角以及显示的图像数据。例如，可以显示基于鸟瞰图(俯视图)的图像数据。
在上述的实施方式所涉及的各实施方式所涉及的周边监视部中，通过对过去摄像得到的摄像图像数据进行显示，能不对驾驶者造成失调感地提示车辆1周边成为死角的区域(例如车辆1的前轮3F附近)的状况。由此，能减轻驾驶者的驾驶的负担。
在上述的实施方式所涉及的周边监视部中，在过去摄像得到的摄像图像数据中显示有表示当前的车辆1的位置的轮廓线等。由此，周围的状况与车辆1的关系的掌握变得容易。
在上述的实施方式所涉及的周边监视部中，在受理了底盘显示的选择的情况下，仅对从过去的某车辆的位置由摄像部16拍摄得到的摄像图像数据进行显示。即，在上述的实施方式中，例如针对不进行当前的摄像图像数据与过去的摄像图像数据那样的时间序列不同的多个摄像图像数据的合成的例子进行了说明。如此，由于不进行时间序列不同的多个图像数据的合成，因此能减轻处理负担。
此外，在上述的第1～第9实施方式中，过去图像中显示的各种轮廓线是将在俯视车辆的情况下投影于路面的位置描画(投影)至过去图像上而得到的。
第9实施方式是如下的[1]～[3]当中任一者的车辆的控制装置或者程序的一例。
[1]
一种周边监视装置，具备：
获取部，其获取从摄像部输出的摄像图像数据，该摄像部对包含车辆的周围的路面以及从该路面起上方的区域在内的区域进行摄像；以及
输出部，其将由所述获取部获取到的所述摄像图像数据按照显示于以短边作为画面下方的大致梯形显示区域的方式输出至显示装置。
[2]
一种[1]所记载的周边监视装置，
所述摄像部包括对所述车辆的前方或后方进行摄像的第1摄像部以及对所述车辆的侧方进行摄像的第2摄像部，
所述输出部使基于由所述第1摄像部拍摄得到的摄像图像数据的图像显示于所述大致梯形显示区域，并使基于由所述第2摄像部拍摄得到的摄像图像数据的图像显示于大致长方形显示区域。
[3]
一种程序，用于使计算机执行如下步骤：
获取步骤，获取从摄像部输出的摄像图像数据，该摄像部对包含车辆的周围的路面以及从该路面起上方的区域在内的区域进行摄像；以及
输出步骤，将通过所述获取步骤获取到的所述摄像图像数据按照显示于以短边作为画面下方的大致梯形显示区域的方式输出至显示装置。
尽管说明了本发明的几个实施方式，但这些实施方式只是作为例子提示，并非意图限定发明的范围。这些新的实施方式能以其他各种形态进行实施，能在不脱离发明的主旨的范围进行各种省略、置换、变更。这些实施方式或其变形包含于发明的范围或主旨，也包含于权利要求的范围所记载的发明和其均等的范围。
附图标记的说明
1…车辆，16…摄像部，100…周边监视***，400、1400…周边监视部，401、1401…获取部，402…角度计算部，403、1402…保存处理部，404…环形缓冲区，405…受理部，406…显示处理部，411…旋转控制部，412…鸟瞰图图像生成部，413…光流计算部，414、1411…位置估计部，415…保存部，421…图像选择部，422…输出部。

Claims (12)

1.一种周边监视装置，其特征在于，具备：
存储部，其存储从摄像部输出的摄像图像数据，该摄像部对包含车辆的行进方向的路面以及从该路面起上方的区域在内的区域进行摄像，以及
输出部，其从存储于所述存储部的摄像图像数据当中，将由所述摄像部过去摄像而得到的、且在摄像出的所述路面中含有与当前的所述车辆的位置对应的路面的摄像图像数据输出至显示装置；
所述输出部从存储于所述存储部的多个所述摄像图像数据当中仅将在任意的位置上摄像得到的摄像图像数据进行输出。
2.根据权利要求1所述的周边监视装置，其特征在于，
所述输出部还将能确定当前的车辆的给定部位的识别信息与要输出的所述摄像图像数据重叠。
3.根据权利要求2所述的周边监视装置，其特征在于，
所述输出部将用于确定所述车辆的底盘的给定部位的信息作为所述识别信息进行重叠。
4.根据权利要求1至3中任一项所述的周边监视装置，其特征在于，
所述周边监视装置还具备获取部，该获取部获取所述车辆的移动量，
所述存储部还将所述摄像图像数据与所述摄像部摄像所述摄像图像数据的位置信息对应地进行存储，
所述输出部将基于由所述获取部获取到的所述移动量以及存储于所述存储部的所述位置信息而选择出的所述摄像图像数据输出，该选择出的所述摄像图像数据是在所摄像出的区域中含有当前的所述车辆的位置的所述摄像图像数据。
5.根据权利要求1至3中任一项所述的周边监视装置，其特征在于，
所述输出部将所述摄像部以该车辆的行进方向作为摄像方向摄像得到的所述摄像图像数据进行输出，该摄像部的光轴与路面交叉。
6.根据权利要求4所述的周边监视装置，其特征在于，
所述输出部将所述摄像部以该车辆的行进方向作为摄像方向摄像得到的所述摄像图像数据进行输出，该摄像部的光轴与路面交叉。
7.根据权利要求1至3中任一项所述的周边监视装置，其特征在于，
所述周边监视装置还具备受理部，该受理部受理给定的按钮的按下，
在所述摄像部输出当前摄像的摄像图像数据、且所述受理部已受理所述给定的按钮的按下的情况下，所述输出部从存储于所述存储部的摄像图像数据当中将由所述摄像部过去摄像而得到的、且当前的所述车辆的位置包含在所摄像的区域中的摄像图像数据进行输出。
8.根据权利要求4所述的周边监视装置，其特征在于，
所述周边监视装置还具备受理部，该受理部受理给定的按钮的按下，
在所述摄像部输出当前摄像的摄像图像数据、且所述受理部已受理所述给定的按钮的按下的情况下，所述输出部从存储于所述存储部的摄像图像数据当中将由所述摄像部过去摄像而得到的、且当前的所述车辆的位置包含在所摄像的区域中的摄像图像数据进行输出。
9.根据权利要求5所述的周边监视装置，其特征在于，
所述周边监视装置还具备受理部，该受理部受理给定的按钮的按下，
在所述摄像部输出当前摄像的摄像图像数据、且所述受理部已受理所述给定的按钮的按下的情况下，所述输出部从存储于所述存储部的摄像图像数据当中将由所述摄像部过去摄像而得到的、且当前的所述车辆的位置包含在所摄像的区域中的摄像图像数据进行输出。
10.根据权利要求6所述的周边监视装置，其特征在于，
所述周边监视装置还具备受理部，该受理部受理给定的按钮的按下，
在所述摄像部输出当前摄像的摄像图像数据、且所述受理部已受理所述给定的按钮的按下的情况下，所述输出部从存储于所述存储部的摄像图像数据当中将由所述摄像部过去摄像而得到的、且当前的所述车辆的位置包含在所摄像的区域中的摄像图像数据进行输出。
11.一种周边监视方法，其特征在于，包含如下步骤：
使存储部存储从摄像部输出的摄像图像数据的步骤，该摄像部对包含车辆的行进方向的路面以及从该路面起上方的区域在内的区域进行摄像，以及
输出步骤，从存储于所述存储部的摄像图像数据当中，将由所述摄像部过去摄像而得到的、且在摄像出的所述路面中含有与当前的所述车辆的位置对应的路面的摄像图像数据输出至显示装置；
所述输出步骤中，从存储于所述存储部的多个所述摄像图像数据当中仅将在任意的位置上摄像得到的摄像图像数据进行输出。
12.一种计算机可读取的记录介质，其特征在于，
其上记录有计算机程序，所述计算机程序在被计算机执行时，实现如下步骤：
使存储部存储从摄像部输出的摄像图像数据的步骤，该摄像部对包含车辆的行进方向的路面以及从该路面起上方的区域在内的区域进行摄像，以及
输出步骤，从存储于所述存储部的摄像图像数据当中，将由所述摄像部过去摄像而得到的、且在摄像出的所述路面中含有与当前的所述车辆的位置对应的路面的摄像图像数据输出至显示装置；
所述输出步骤中，从存储于所述存储部的多个所述摄像图像数据当中仅将在任意的位置上摄像得到的摄像图像数据进行输出。
CN201480012951.9A 2013-03-28 2014-01-10 周边监视装置及周边监视方法、记录介质 Active CN105009574B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013-070481 2013-03-28
JP2013070481 2013-03-28
PCT/JP2014/050386 WO2014156220A1 (ja) 2013-03-28 2014-01-10 周辺監視装置、及びプログラム

Publications (2)

Publication Number Publication Date
CN105009574A CN105009574A (zh) 2015-10-28
CN105009574B true CN105009574B (zh) 2018-07-17

Family

ID=51623226

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480012951.9A Active CN105009574B (zh) 2013-03-28 2014-01-10 周边监视装置及周边监视方法、记录介质

Country Status (5)

Country Link
US (2) US9956913B2 (zh)
EP (1) EP2981077B1 (zh)
JP (2) JP6156486B2 (zh)
CN (1) CN105009574B (zh)
WO (1) WO2014156220A1 (zh)

Families Citing this family (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2942951A1 (en) * 2014-05-06 2015-11-11 Application Solutions (Electronics and Vision) Limited Image calibration
EP3057061B1 (en) * 2015-02-16 2017-08-30 Application Solutions (Electronics and Vision) Limited Method and device for the estimation of car egomotion from surround view images
US9718405B1 (en) 2015-03-23 2017-08-01 Rosco, Inc. Collision avoidance and/or pedestrian detection system
JP6609970B2 (ja) * 2015-04-02 2019-11-27 アイシン精機株式会社 周辺監視装置
US10484651B2 (en) * 2015-06-29 2019-11-19 Aisin Seiki Kabushiki Kaisha Image display control device
JP6493143B2 (ja) 2015-10-15 2019-04-03 株式会社デンソー 表示制御装置及び表示制御プログラム
JP6561824B2 (ja) * 2015-12-18 2019-08-21 株式会社デンソー 表示制御装置
FR3047947B1 (fr) * 2016-02-24 2018-03-09 Renault S.A.S Procede d'aide a la conduite en marche avant d'un vehicule automobile, muni d'une camera a objectif de type fish-eye
JP6555195B2 (ja) * 2016-06-13 2019-08-07 株式会社デンソー 画像生成装置
EP3263405B1 (en) * 2016-06-27 2019-08-07 Volvo Car Corporation Around view monitoring system and method for vehicles
JP6720729B2 (ja) * 2016-06-28 2020-07-08 アイシン精機株式会社 表示制御装置
JP6642306B2 (ja) * 2016-06-29 2020-02-05 アイシン精機株式会社 周辺監視装置
EP3293668B1 (en) * 2016-09-13 2023-08-30 Arriver Software AB A vision system and method for a motor vehicle
JP6648662B2 (ja) * 2016-09-23 2020-02-14 トヨタ車体株式会社 車両の情報表示装置
JP6838340B2 (ja) * 2016-09-30 2021-03-03 アイシン精機株式会社 周辺監視装置
JP6816436B2 (ja) 2016-10-04 2021-01-20 アイシン精機株式会社 周辺監視装置
JP6729409B2 (ja) * 2017-01-16 2020-07-22 アイシン精機株式会社 周辺監視装置
JP6852465B2 (ja) * 2017-03-02 2021-03-31 株式会社Ｊｖｃケンウッド 俯瞰映像生成装置、俯瞰映像生成システム、俯瞰映像生成方法およびプログラム
US20180316868A1 (en) * 2017-04-27 2018-11-01 Panasonic Automotive Systems Company Of America, Division Of Panasonic Corporation Of North America Rear view display object referents system and method
JP6965563B2 (ja) * 2017-05-11 2021-11-10 株式会社アイシン 周辺監視装置
JP7259914B2 (ja) * 2017-05-11 2023-04-18 株式会社アイシン 周辺監視装置
JP7009785B2 (ja) 2017-06-02 2022-01-26 株式会社アイシン 周辺監視装置
JP6962036B2 (ja) * 2017-07-07 2021-11-05 株式会社アイシン 周辺監視装置
US10579067B2 (en) * 2017-07-20 2020-03-03 Huawei Technologies Co., Ltd. Method and system for vehicle localization
KR102429494B1 (ko) * 2017-10-13 2022-08-05 현대자동차주식회사 차량의 목표주차공간 표시 장치 및 그 방법
JP6972938B2 (ja) * 2017-11-07 2021-11-24 株式会社アイシン 周辺監視装置
JP6740991B2 (ja) * 2017-11-10 2020-08-19 株式会社デンソー 表示処理装置
KR102441079B1 (ko) * 2017-11-30 2022-09-06 현대자동차주식회사 차량의 디스플레이 제어 장치 및 방법
JPWO2019142892A1 (ja) * 2018-01-22 2021-01-28 株式会社小糸製作所 電子ミラー用の撮像装置、電子ミラーシステム、自動車
JP7315303B2 (ja) 2018-01-26 2023-07-26 株式会社アイシン 画像処理装置
CN110517368B (zh) * 2018-05-21 2024-08-23 上海博泰悦臻网络技术服务有限公司 基于行车记录仪的车底透视路面***及汽车
JP6959532B2 (ja) * 2018-05-30 2021-11-02 株式会社豊田自動織機 産業車両用遠隔操作システム
US10843702B2 (en) * 2018-06-06 2020-11-24 Ford Global Technologies, Llc Methods and systems for oil leak determination
JP7082538B2 (ja) * 2018-07-10 2022-06-08 本田技研工業株式会社 画像処理装置及びプログラム
EP3911363A1 (en) 2019-01-14 2021-11-24 University of Virginia Patent Foundation Use of integrin inhibitors for treatment or prevention of a neurological immunity disorder and/or nervous system injury
JP7268856B2 (ja) 2019-07-12 2023-05-08 岐阜プラスチック工業株式会社 折り畳みコンテナ
JP7065068B2 (ja) * 2019-12-13 2022-05-11 本田技研工業株式会社 車両周囲監視装置、車両、車両周囲監視方法およびプログラム
KR20210082999A (ko) * 2019-12-26 2021-07-06 주식회사 에스엘미러텍 차량의 주변 감시 장치
JP7319593B2 (ja) * 2020-02-13 2023-08-02 トヨタ自動車株式会社 車両周辺監視装置
USD947893S1 (en) * 2020-03-05 2022-04-05 Jaguar Land Rover Limited Display screen or portion thereof with icon
JP7478995B2 (ja) 2020-03-13 2024-05-08 パナソニックＩｐマネジメント株式会社 携帯端末、ナビゲーション方法、及び、コンピュータプログラム
JP2022125859A (ja) * 2021-02-17 2022-08-29 株式会社デンソー 周辺画像表示装置
CN113793529A (zh) * 2021-08-25 2021-12-14 阿波罗智能技术(北京)有限公司 用于辅助泊车的方法、装置、设备、存储介质和程序产品

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006238131A (ja) * 2005-02-25 2006-09-07 Aisin Seiki Co Ltd 車両周辺監視装置
CN101808236A (zh) * 2009-02-12 2010-08-18 株式会社电装 车辆周边显示设备

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS58184398A (ja) 1982-04-20 1983-10-27 Ishikawajima Harima Heavy Ind Co Ltd 低温液化ガス貯蔵設備における発生ガスの再液化方法
JPH06227318A (ja) 1993-02-08 1994-08-16 Hitachi Ltd 車両の後方モニタ装置及び方法
JP2002354467A (ja) 2001-05-25 2002-12-06 Nissan Motor Co Ltd 車両周囲情報表示装置
JP3796417B2 (ja) 2001-06-27 2006-07-12 株式会社デンソー 車両周辺画像処理装置及び記録媒体
JP2003054316A (ja) * 2001-08-21 2003-02-26 Tokai Rika Co Ltd 車両用撮像装置、車両用監視装置及びドアミラー
JP2003081014A (ja) * 2001-09-14 2003-03-19 Auto Network Gijutsu Kenkyusho:Kk 車両周辺監視装置
JP2005001570A (ja) * 2003-06-12 2005-01-06 Equos Research Co Ltd 駐車支援装置
JP2005223524A (ja) 2004-02-04 2005-08-18 Nissan Motor Co Ltd 車両周辺監視装置
JP2006168699A (ja) 2004-11-22 2006-06-29 Nagano Kogaku Kenkyusho:Kk 車両の監視画像の表示方法
JP2007022176A (ja) * 2005-07-13 2007-02-01 Auto Network Gijutsu Kenkyusho:Kk 車両周辺視認装置
JP4780385B2 (ja) * 2005-11-17 2011-09-28 アイシン精機株式会社 周辺監視システム
JP4676373B2 (ja) * 2006-04-27 2011-04-27 株式会社デンソー 周辺認識装置、周辺認識方法、プログラム
JP4656005B2 (ja) 2006-06-02 2011-03-23 日産自動車株式会社 画像処理システム及び画像処理方法
JP2007102798A (ja) 2006-10-11 2007-04-19 Denso Corp 車両周辺監視システム
JP4857159B2 (ja) 2007-03-22 2012-01-18 アルパイン株式会社 車両運転支援装置
CN102089283B (zh) * 2008-05-12 2015-11-25 步制药股份有限公司 含有具有取代氧基的2，2，4-三甲基-6-苯基-1，2-二氢喹啉衍生物的糖皮质激素受体激动剂
JP2010023704A (ja) 2008-07-22 2010-02-04 Pioneer Electronic Corp 車両用情報表示システム及びプログラム
JP2010074260A (ja) 2008-09-16 2010-04-02 Honda Motor Co Ltd 車両周囲監視装置
JP5118605B2 (ja) 2008-10-30 2013-01-16 クラリオン株式会社 車両周辺画像表示システム
JP5344227B2 (ja) * 2009-03-25 2013-11-20 アイシン精機株式会社 車両用周辺監視装置
JP5337878B2 (ja) * 2009-07-22 2013-11-06 トヨタ自動車株式会社 運転支援装置
JPWO2011030699A1 (ja) 2009-09-11 2013-02-07 アイシン精機株式会社 車両周辺監視装置
US8497907B2 (en) * 2009-12-11 2013-07-30 Mobility Solutions Innovation Inc. Off road vehicle vision enhancement system
JP2011160346A (ja) 2010-02-03 2011-08-18 Denso Corp 車両周辺撮影装置
JP2011205513A (ja) * 2010-03-26 2011-10-13 Aisin Seiki Co Ltd 車両周辺監視装置
US8983717B2 (en) * 2010-12-21 2015-03-17 Ford Global Technologies, Llc Vehicle camera system operable in off-road mode and method
EP2660104B1 (en) * 2010-12-30 2015-09-23 Wise Automotive Corporation Apparatus and method for displaying a blind spot
JP5483120B2 (ja) * 2011-07-26 2014-05-07 アイシン精機株式会社 車両周辺監視システム
CN107097721B (zh) * 2011-08-26 2020-03-06 松下知识产权经营株式会社 驾驶辅助装置
JP5811804B2 (ja) * 2011-11-24 2015-11-11 トヨタ自動車株式会社 車両用周辺監視装置
JP6137081B2 (ja) * 2014-07-29 2017-05-31 株式会社デンソー 車載機器
KR101622622B1 (ko) * 2014-10-13 2016-05-31 엘지전자 주식회사 차량 하부 이미지 제공 장치 및 이를 구비한 차량

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006238131A (ja) * 2005-02-25 2006-09-07 Aisin Seiki Co Ltd 車両周辺監視装置
CN101808236A (zh) * 2009-02-12 2010-08-18 株式会社电装 车辆周边显示设备

Also Published As

Publication number Publication date
US10710504B2 (en) 2020-07-14
US9956913B2 (en) 2018-05-01
JP6156486B2 (ja) 2017-07-05
EP2981077B1 (en) 2017-09-27
EP2981077A1 (en) 2016-02-03
US20160001704A1 (en) 2016-01-07
WO2014156220A1 (ja) 2014-10-02
JP2014209713A (ja) 2014-11-06
JP6060910B2 (ja) 2017-01-18
EP2981077A4 (en) 2016-04-06
CN105009574A (zh) 2015-10-28
US20180201191A1 (en) 2018-07-19
JPWO2014156220A1 (ja) 2017-02-16

Similar Documents

Publication Publication Date Title
CN105009574B (zh) 周边监视装置及周边监视方法、记录介质
CN105075247B (zh) 车辆的控制装置及存储介质
JP6340969B2 (ja) 周辺監視装置、及びプログラム
JP6806156B2 (ja) 周辺監視装置
CN104015659B (zh) 停车支援装置、停车支援方法
CN107431787A (zh) 周边监控装置
JP4818816B2 (ja) 駐車支援プログラム及び駐車支援装置
CN105644438B (zh) 车辆周边监视装置
CN106715220A (zh) 停车辅助装置
WO2014051125A1 (ja) 駐車支援装置、駐車支援方法およびプログラム
JP6281289B2 (ja) 周辺監視装置、及びプログラム
CN106794862A (zh) 车辆控制装置
JP5045172B2 (ja) 車両用運転支援装置
CN107792061A (zh) 停车辅助装置
CN106828492A (zh) 对控制车辆的速度的预测性推理
JP6760122B2 (ja) 周辺監視装置
CN105416282A (zh) 停车辅助装置
CN105416284A (zh) 停车辅助装置以及停车辅助方法
CN105416277A (zh) 停车辅助装置以及停车辅助方法
CN109314767A (zh) 周边监控装置
CN105416279A (zh) 车辆的控制装置
CN109691089A (zh) 显示控制装置
US10157595B2 (en) Display control device
JP2008213647A (ja) 駐車支援方法及び駐車支援装置
JP2018184126A (ja) 駐車支援装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant