CN105075247A - 车辆的控制装置及程序 - Google Patents

车辆的控制装置及程序 Download PDF

Info

Publication number
CN105075247A
CN105075247A CN201480010443.7A CN201480010443A CN105075247A CN 105075247 A CN105075247 A CN 105075247A CN 201480010443 A CN201480010443 A CN 201480010443A CN 105075247 A CN105075247 A CN 105075247A
Authority
CN
China
Prior art keywords
vehicle
image data
captured image
angle
overhead view
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201480010443.7A
Other languages
English (en)
Other versions
CN105075247B (zh
Inventor
渡边一矢
丸冈哲也
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin Corp
Original Assignee
Aisin Seiki Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin Seiki Co Ltd filed Critical Aisin Seiki Co Ltd
Publication of CN105075247A publication Critical patent/CN105075247A/zh
Application granted granted Critical
Publication of CN105075247B publication Critical patent/CN105075247B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/602—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint
    • B60R2300/605—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint the adjustment being automatic
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

实施方式的车辆的控制装置具有：获取部，其获取拍摄图像数据，所述拍摄图像数据从设置在车辆的拍摄该车辆的周边的拍摄部输出，以及车辆状态数据，所述车辆状态数据从设置在该车辆的车辆状态检测部输出；以及控制部，其根据由车辆状态数据计算出的与重力方向垂直的水平面所包括的方向即水平方向相对的车辆的左右方向的倾斜度，旋转控制拍摄图像数据；控制部以使被拍摄在拍摄图像数据中的被摄体所包括的水平线与输出目标的显示区域的横向的边大致平行的方式进行旋转控制。

Description

车辆的控制装置及程序
技术领域
本发明的实施方式涉及车辆的控制装置及程序。
背景技术
以往，作为支援车辆停车的技术，存在有使用设置在车辆上的多个摄像头，将作为车辆的周边环境拍摄的图像数据提供给驾驶员的技术。提出了向驾驶员提供时根据车辆举动修正拍摄的图像数据的技术。此外，提出了为了容易识别周边环境而生成以俯瞰视点表示出车辆周边的地面的俯视图像数据的技术。
现有技术文献
专利文献
专利文献1：日本特开2009-212703号公报
专利文献2：日本特开平9-52555号公报
专利文献3：日本特开2003-009141号公报
专利文献4：日本特开2003-244688号公报
发明内容
发明要解决的课题
但是，在现有技术中，例如因为仅在有驾驶员的指示的情况下修正图像数据，所以出现无法实时修正这样的问题；或者因为使用车身高度传感器检测车辆的倾斜度，所以出现在轮胎未接地等情况下无法以良好精度把握倾斜度、无法充分恰当地显示图像数据等的问题。此外，在基于这样的图像数据的显示中，出现很难正确地把握车辆的周边状况等的问题。
用于解决课题的方法
作为一个例子，本发明的实施方式的车辆的控制装置具有：获取部，获取拍摄图像数据和车辆状态数据，所述拍摄图像数据是从设置在车辆上的用于拍摄该车辆的周边的拍摄部输出的数据，所述车辆状态数据是从设置在该车辆上的车辆状态检测部输出的数据；控制部，基于根据所述车辆状态数据计算出的所述车辆相对于水平方向而在左右方向上的倾斜度，来旋转控制所述拍摄图像数据，所述水平方向是与重力方向垂直的水平面所包括的方向；所述控制部，以使被拍摄在所述拍摄图像数据中的被摄体所包括的水平线与输出目标的显示区域的横向的边大致平行的方式，进行旋转控制。因此，作为一个例子，起到容易把握基于拍摄图像数据的车辆周边的状况的效果。
此外，作为一个例子，在所述车辆的控制装置中，所述车辆状态检测部获取加速度数据，所述加速度数据作为所述车辆状态数据，是由设置在所述车辆的加速度检测部输出的；所述控制部，将与所述拍摄部用于拍摄的镜头的中心对应的所述拍摄图像数据的显示区域内的位置坐标作为原点，根据侧倾角来旋转控制所述拍摄图像数据，所述侧倾角是根据所述加速度数据求出的，用于表示围绕所述车辆的前后轴旋转的倾斜度。因此，作为一个例子，起到容易地把握基于拍摄图像数据的车辆周边的状况的效果。此外，起到视觉上容易识别高度差的效果。
此外，作为一个例子，在所述车辆的控制装置中，所述控制部进一步进行所述拍摄图像数据的放大处理或缩小处理。因此，作为一个例子，通过根据输出目标进行拍摄图像数据的放大或缩小，起到视认性提高的效果。
此外，作为一个例子，在所述车辆的控制装置中，所述控制部进一步针对所述拍摄图像数据，使所述镜头中心对应的位置坐标从所述显示区域的中心移动。因此，作为一个例子，通过根据输出目标进行拍摄图像数据的移动控制，起到视认性提高的效果。
此外，作为一个例子，在所述车辆的控制装置中，所述控制部进一步使所述镜头中心对应的位置坐标从所述显示区域的中心向所述显示区域内的上方移动。因此，作为一个例子，因为主要显示拍摄图像数据所包括的水平线下方的区域，所以起到能够容易把握车辆周边的状况的效果。
此外，作为一个例子，在所述车辆的控制装置中，在显示有所述拍摄图像数据的显示装置中，将表示出侧倾角与俯仰角其中至少一个的信息与所述拍摄图像数据一起显示，所述侧倾角示出了围绕所述车辆的前后轴旋转的倾斜度，所述俯仰角示出了围绕所述车辆的左右轴旋转的倾斜度。因此，作为一个例子，起到容易地把握车辆状态与车辆周边的状况两者的效果。
此外，作为一个例子，在所述车辆的控制装置中，所述获取部进一步获取示出所述车辆是否已切换至越野用的模式的信息；所述控制部在所述车辆已切换至越野用的模式的情况下，根据所述车辆状态数据旋转控制所述拍摄图像数据。因此，作为一个例子，在越野用的模式中起到在视觉上容易识别车辆周边的状况的效果。
此外，作为一个例子，在所述车辆的控制装置进一步具有生成部，其根据通过所述控制部旋转控制后获得的所述拍摄图像数据，生成以俯瞰视点表示出所述车辆周边的地面的俯视图像数据。因此，作为一个例子，因为通过参照旋转控制并水平化之后进行了视点变更的俯视图像数据，能够以俯瞰的方式识别车辆周边，所以起到在视觉上容易识别车辆周围的状况的效果。
此外，作为一个例子，在本发明的实施方式的程序使计算机执行：获取步骤，获取拍摄图像数据和车辆状态数据，所述拍摄图像数据是从设置在车辆上的用于拍摄该车辆的周边的拍摄部输出的数据，所述车辆状态数据是从设置在该车辆上的车辆状态检测部输出的数据；控制步骤，基于根据所述车辆状态数据计算出的所述车辆相对于水平方向而在左右方向上的倾斜度，来旋转控制所述拍摄图像数据，所述水平方向是与重力方向垂直的水平面所包括的方向；在所述控制步骤中，以使被拍摄在所述拍摄图像数据中的被摄体所包括的水平线与输出目标的显示区域的横向的边大致平行的方式，进行旋转控制。因此，作为一个例子，起到能够容易地把握基于拍摄图像数据的车辆周边的状况的效果。
此外，作为一个例子，在所述程序进一步使所述计算机执行：生成步骤，其根据通过所述控制步骤旋转控制后获得的所述拍摄图像数据，生成以俯瞰视点表示出所述车辆周边的地面的俯视图像数据。作为一个例子，创建旋转控制并水平化之后进行了视点变更的俯视图像数据。其结果是，因为能够以俯瞰的方式识别车辆的周边，所以起到在视觉上容易识别车辆周围的状况的效果。
附图说明
图1是示出实施方式的车辆的车室(车厢)的一部分在透视状态下的一个例子的立体图。
图2是示出实施方式的车辆的一个例子的俯视图(俯瞰图)。
图3是示出实施方式的车辆的周边监视***的一个例子的框图。
图4是示出实施方式的加速度传感器的检测方向的一个例子的图。
图5是示出在第一实施方式的周边监视ECU(electroniccontrolunit：电子控制单元)内实现的周边监视部的结构的框图。
图6是通过第一实施方式的拍摄部拍摄的拍摄图像数据的一个例子。
图7是示出在将与镜头中心对应的位置坐标作为原点的情况下，表示出拍摄图像数据的显示区域的二维正交坐标系的一个例子的图。
图8是示出通过第一实施方式的旋转控制部进行了旋转修正后的拍摄图像数据的一个例子的图。
图9是示出了由第一实施方式的合成部合成后的图像数据的一个例子的图。
图10是示出在第一实施方式的周边监视部中的面向显示装置的显示处理的顺序的流程图。
图11是示在出第二实施方式的周边监视ECU内实现的周边监视部的结构的框图。
图12是示出第二实施方式的车辆越野行驶时该车辆驶上石头等的状况的例子的图。
图13是示出在将与镜头中心对应的位置坐标作为原点的情况下，表示出拍摄图像数据的显示区域的二维正交坐标系的例子的图。
图14是示出通过第二实施方式的移动量计算部计算出的光流的概念的图。
图15是示出光流(opticalflow)的平均值与车辆的移动量的关系的图。
图16是示出因第二实施方式的车辆的倾斜导致的拍摄图像数据的变形与通过变换部变换后的拍摄图像数据的显示范围的图。
图17是示出通过第二实施方式的合成部合成后的俯视图像数据的例子的图。
图18是示出在第二实施方式的俯视图像存储部存储的俯视图像数据的例子的图。
图19是示出第二实施方式的输出部输出的画面信息的例子的图。
图20是示出在第二实施方式的周边监视部中的面向显示装置8的显示处理的顺序的流程图。
图21是示在出第三实施方式的周边监视ECU内实现的周边监视部的结构的框图。
图22是示出第三实施方式的输出部输出的画面信息的例子的图。
具体实施方式
在下面的多个实施方式中包括同样的结构要素。因此，下面对同样的结构要素附上共同的附图标记。此外，省略重复的说明。
＜第一实施方式＞
在实施方式中，例如，车辆1既可以是将内燃机(发动机，未图示)作为驱动源的汽车(内燃机汽车)，也可以是将电动机(马达，未图示)作为驱动源的汽车(电动汽车、燃料电池汽车等)，还可以是将这双方作为驱动源的汽车(混合动力汽车)。此外，车辆1既能够搭载各种变速装置，又能够搭载驱动内燃机或电动机所需要的各种装置(***、零件等)。此外，能够以各种方式设定车辆1中涉及车轮3的驱动的装置的方式或数量、布局等。
如图1所示，车体2构成了乘坐者(未图示)乘坐的车室2a。在车室2a内，在面向作为乘坐者的驾驶员的座位2b的状态下，设置有转向部4、加速操作部5、制动操作部6、变速操作部7等。作为一个例子，虽然在本实施方式中转向部4是从仪表盘(仪表面板)突出的方向盘，加速操作部5是位于驾驶员脚下的加速踏板，制动操作部6是位于驾驶员脚下的制动踏板，变速操作部7是从中央控制台突出的变速杆，但并不限于上述这些。
此外，在车室2a内设置有显示装置8(显示输出部)、声音输出装置9(声音输出部)。例如，显示装置8是LCD(liquidcrystaldisplay：液晶显示器)、OELD(organicelectroluminescentdisplay：有机电致发光显示器)等。作为一个例子，声音输出装置9是扬声器。此外，作为一个例子，在本实施方式中显示装置8被透明的操作输入部10(例如，触摸面板等)覆盖。乘坐者等能够通过操作输入部10来以视觉识别在显示装置8的显示画面上显示的影像(图像)。此外，乘坐者等通过在与显示于显示装置8的显示画面的影像(图像)对应的位置上使用手指等触摸、按压或移动操作输入部10来进行操作，能够执行操作输入(指示输入)。此外，作为一个例子，在本实施方式中显示装置8、声音输出装置9、操作输入部10等设置于监视装置11，所述监视装置11位于仪表盘的车宽方向(左右方向)的中央部。监视装置11能够具有开关、刻度盘、操纵杆、按钮等的操作输入部(未图示)。此外，能够将声音输出装置(未图示)设置在与监视装置11不同的车室2a内其他位置，能够从监视装置11的声音输出装置9与其他的声音输出装置输出声音。此外，作为一个例子，虽然在本实施方式中将监视装置11兼用作导航***、音响***，但是也可以将周边监视装置用的监视装置与这些***分开设置。此外，除了声音输出装置9以外，也能够以从蜂鸣器24(参照图3)等的声音输出部输出警报音等的方式构成。
此外，如图1、2所示，作为一个例子，在本实施方式中车辆1是四轮车(四轮汽车)，具有左右两个前轮3F与左右两个后轮3R。进而，在本实施方式中这四个车轮3都以可转向(操舵)的方式(能够转向)构成。具体而言，如图3所示，车辆1具有将前轮3F转向的前轮转向***12和将后轮3R转向的后轮转向***13。通过周边监视ECU14(electroniccontrolunit：电子控制单元)等电控制这些前轮转向***12及后轮转向***13，使各个致动器(促动器)12a、13a进行动作。例如，前轮转向***12和后轮转向***13是电动助力转向***或SBW(steerbywire：线控转向)***等。前轮转向***12和后轮转向***13通过致动器12a、13a向转向部4施加扭矩(辅助扭矩)来补充转向力，使对应的车轮3(前轮3F或后轮3R)转向(自动转向)。致动器12a、13a既可以使一个车轮3转向，也可以使多个车轮3转向。此外，作为一个例子，在本实施方式中使两个前轮3F以互相同相(同相位、同转向方向、同旋转方向)的方式大致平行地转向，使两个后轮3R以互相同相的方式大致平行地转向。并且，驱动轮能够进行各种设定。
此外，作为一个例子，在本实施方式中如图2所示，在车辆1(车体2)上设置有多个(作为一个例子，在本实施方式中是四个)拍摄部16(16a至16d)。例如，拍摄部16是内置有CCD(chargecoupleddevice：电荷耦合器件)或CIS(CMOSimagesensor：互补金属氧化物半导体图像传感器)等的成像元件的数字摄像头。拍摄部16能够以规定的帧频输出图像数据(动画数据、帧数据)。拍摄部16分别具有广角镜头，能够在水平方向上拍摄140°至220°的范围(视场角)。此外，将拍摄部16的光轴设定为朝向下方(斜下方)。因此，拍摄部16拍摄车体2周边的外部环境，所述车体2周边的外部环境包括车辆1能够移动的路面。
并且，水平方向是指相对重力方向(垂直方向)垂直的水平面所包括的方向。
作为一个例子，在本实施方式中拍摄部16a位于车体2的前侧(车辆前后方向的前方侧)的端部2c(俯视时的端部)，设置于前保险杠等。拍摄部16b位于车体2的左侧(车宽方向的左侧)的端部2d，设置在左侧的后视镜2g(突出部)。拍摄部16c位于车体2的后侧(车辆前后方向的后方侧)的端部2e，设置在后行李箱的门2h的下方的壁部。拍摄部16d位于车体2的右侧(车宽方向的右侧)的端部2f，设置在右侧的后视镜2g(突出部)。并且，本实施方式不限制摄像头的车载方法，只要相对于车辆以能够获取前方的图像数据、左右侧方的图像数据以及后方的图像数据的方式设置即可。
周边监视ECU14根据在多个拍摄部16取得的图像数据执行计算处理及图像处理，能够生成更广视场角的图像，能够生成从上方观察车辆1(车体2)的假想的俯视图像(俯视图像)。
此外，作为一个例子，在本实施方式中如图3所示，在周边监视***100中，除了通过车内网络23(电气通信线路)电连接有周边监视ECU14、监视装置11、前轮转向***12、后轮转向***13等之外，还通过车内网络23(电气通信线路)电连接有制动***18、转向角传感器19(角度传感器)、加速传感器20、位移传感器21、车轮速传感器22、加速度传感器26等。作为一个例子，车内网络23以作为CAN(controllerareanetwork：控制器局域网络)的方式构成。周边监视ECU14通过车内网络23发送控制信号，能够控制前轮转向***12、后轮转向***13、制动***18等。此外，周边监视ECU14通过车内网络23，能够接收扭矩传感器12b、轮胎角传感器(tireanglesensor)13b(后轮3R用)、致动器18a、制动传感器18b、转向角传感器19(前轮3F用)、加速传感器20、位移传感器21、车轮速传感器22、加速度传感器26等的检测结果，以及能够接收操作输入部10等的指示信号(控制信号、操作信号、输入信号、数据)。
在本实施方式中，在车辆1设置有两个加速度传感器26(26a、26b)。并且，本实施方式将车辆1确定为搭载ESC(ElectronicStabilityControl：电子稳定控制***)的车辆。而且，使用搭载ESC(ElectronicStabilityControl)的车辆通常搭载的加速度传感器26(26a、26b)。并且，本实施方式并不限于加速度传感器，只要是能够检测出车辆1的左右方向的加速度的传感器即可。
图4是示出加速度传感器26a、26b的检测方向的例子的图。检测方向401是加速度传感器26a的检测方向，检测方向402是加速度传感器26b的检测方向。图4所示的检测方向401是在与地面(车辆1能够移动的平面)平行的平面上，从车辆1的行进方向(前后方向)起倾斜45度的方向。此外，检测方向402在与地面平行的平面上，与检测方向401之间的角度为90度。这样，由于在与地面平行的平面上有两个不同的检测方向，所以能够导出前后方向的加速度及左右方向的加速度。并且，本实施方式并不限制检测方向，只要至少能导出左右方向的加速度即可。并且，通过周边监视ECU14计算前后方向的加速度及左右方向的加速度。
车辆1的前后方向是指表示车辆1的行进方向及行进方向的相反方向，车辆1的左右方向是指与车辆1的行进方向垂直的面所包括的方向。
回到图3，作为一个例子，周边监视ECU14具有：CPU14a(centralprocessingunit：中央处理单元)、ROM14b(readonlymemory：只读型存储器)、RAM14c(randomaccessmemory：随机存取存储器)、显示控制部14d、声音控制部14e、SSD14f(solidstatedrive：固态驱动器、闪存)等。例如，CPU14a执行与在显示装置8显示的图像关联的图像处理、车辆1的移动路径的计算以及判断是否与物体干渉等的各种计算处理。CPU14a读出在ROM14b等的非易失性的存储装置中存储的(安装的)程序，按照该程序执行计算处理。
RAM14c暂时存储用于在CPU14a中计算的各种数据。此外，显示控制部14d在周边监视ECU14的计算处理中，主要使用由拍摄部16取得的图像数据来执行图像处理，或执行用于在显示装置8进行显示的图像数据的图像处理(作为一个例子如合成等)等。此外，声音控制部14e在周边监视ECU14的计算处理中，主要执行针对在声音输出装置9输出的声音数据的处理。此外，SSD14f是能够擦写的非易失性的存储部，即使在断开了周边监视ECU14的电源的情况下也能够存储数据。并且，CPU14a、ROM14b、RAM14c等能够集成在同一封装体内。此外，周边监视ECU14也可以是替代CPU14a而使用DSP(digitalsignalprocessor：数字信号处理器)等的其他逻辑运算处理器或逻辑电路的结构。此外，也可以代替SSD14f而设置HDD(harddiskdrive：硬盘驱动器)，也可以将SSD14f或HDD与周边监视ECU14分开设置。
图5是示出在本实施方式的周边监视ECU14内实现的周边监视部500结构的框图。作为图4的周边监视ECU14而构成的CPU14a，通过执行在ROM14b内存储的软件来实现图5所示的周边监视部500内的各结构。
周边监视部500通过执行在ROM14b(计算机能够读取的存储介质)内存储的软件，来实现获取部501、角度计算部502、滤波控制部503、图像处理部504以及输出部505。并且，也可以通过计算机能够读取的其他的存储介质来提供软件(程序)。
而且，本实施方式的周边监视部500在车辆1移动中进行停车(驻车)时，根据从拍摄部16输入的拍摄图像数据，及从作为车辆状态检测部的一例发挥作用的加速度传感器26(加速度检测部)获取的作为车辆状态数据的一例的加速度数据，通过显示能够识别车辆1周边状况的图像数据来支援(辅助)驾驶员的驾驶。
获取部501从车辆1所具有的各种传感器等获取各种信息。本实施方式的获取部501获取如下信息：拍摄图像数据，其是从设置在车辆1上的用于拍摄该车辆1周边的拍摄部16a至16d输出的；加速度数据，其是从设置在该车辆1上的加速度传感器26a及26b输出的。进而，获取部501还获取示出通过设置在操作输入部10的开关设定的模式是否为越野模式的信息。获取部501将获取的信息输出至角度计算部502及图像处理部504。
此外，获取部501将拍摄的时刻与检测出加速度的时刻大致一致的拍摄图像数据与加速度数据关联起来。
角度计算部502根据加速度传感器26a、26b获取的加速度数据，计算车辆1的倾斜角(俯仰角及侧倾角)。并且，俯仰角是指表示围绕车辆1的左右轴(图4的轴412)旋转的倾斜度的角度。在车辆1存在于水平(地)面上的情况下，俯仰角为0度。
侧倾角是指表示围绕车辆1的前后轴(图4的轴411)旋转的倾斜度的角度。在车辆1存在于水平(地)面上的情况下，侧倾角为0度。而且，角度计算部502为了计算俯仰角及侧倾角，首先计算车辆1的前后方向的加速度a1与左右方向的加速度a2。
并且，角度计算部502使用下面的式(1)计算前后方向的加速度a1。将检测方向401的加速度作为GL1，将检测方向402的加速度作为GL2。并且，在本实施方式中，例如在俯仰角为0°的情况(车辆1水平的情况)下，前后方向的加速度a1为0G；在俯仰角为90°的情况(车辆1垂直的情况)下，前后方向的加速度a1为1G。
a1＝GL1×cos45°-GL2×cos45°…(1)
接着，角度计算部502使用下面的式(2)计算左右方向的加速度a2。
a2＝-(GL1×sin45°+GL2×sin45°)…(2)
进而，角度计算部502使用下面的式(3)计算俯仰角PA。
PA[deg]＝90[deg]×a1[G]…(3)
进而，角度计算部502使用下面的式(4)计算侧倾角RA。
RA[deg]＝90[deg]×a1[G]…(4)
此外，角度计算部502将根据加速度数据计算出的侧倾角及俯仰角，和关联于该加速度数据的拍摄图像数据关联起来。由此能够识别拍摄了拍摄图像数据时的车辆1的侧倾角及俯仰角。
滤波控制部503对通过角度计算部502计算出的侧倾角RA及俯仰角PA，进行通过低通滤波器的滤波。
在本实施方式中，通过设置低通滤波器，抑制侧倾角RA及俯仰角PA急剧地变化，换言之，抑制在显示装置8显示的图像数据急剧切换。由此，驾驶员能够舒适地查看在显示装置8显示的图像数据。并且，虽然在本实施方式中说明了使用根据设置在周边监视部500内的滤波控制部503的数字滤波器的例子，但是例如也可以使用对从加速度传感器26输出的信号进行滤波的模拟滤波器等。
图像处理部504具有作为控制部分别发挥作用的旋转控制部521、缩小/放大控制部522、移动控制部523以及合成部524，生成用于在显示装置8显示的图像数据。
旋转控制部521对于通过拍摄部16a拍摄的摄有车辆1的前方周边的拍摄图像数据进行旋转修正。并且，旋转修正的对象并不限于通过拍摄部16a拍摄的拍摄图像数据，例如，也可以是通过拍摄部16c拍摄的摄有车辆1的后方周边的拍摄图像数据。
图6是通过拍摄部16a拍摄的拍摄图像数据的例子。图6所示的拍摄图像数据是从倾斜的车辆1拍摄的。驾驶员倾向于将在显示装置8显示的影像视为客观情况，在显示装置8显示的拍摄图像数据中，若是纵轴方向高度相同的区域，有可能被识别成实际高度相同或基本没有实际高度差。在图6所示的例子中，有将区域601与区域602识别成相同高度的可能性。
因此，本实施方式的旋转控制部521根据从加速度传感器26求出的侧倾角，旋转修正拍摄图像数据。换言之，旋转控制部521根据车辆的左右方向的倾斜度，来旋转修正(控制)拍摄图像数据，所述车辆的左右方向的倾斜度，是根据车辆状态数据计算出来的，是车辆相对于水平方向的左右倾斜度，所述水平方向是指与重力方向垂直的水平面所包括的方向。例如，旋转控制部521进行旋转修正，以使得被拍摄在拍摄图像数据中的被摄体所包括的水平线与输出目标的显示区域的横向的边大致平行。
本实施方式的旋转控制部521，将与拍摄部16用于拍摄的镜头中心对应的拍摄图像数据的显示区域内的位置坐标作为原点，根据与该拍摄图像数据关联的侧倾角进行旋转修正。
图7是示出在将与镜头中心对应的位置坐标作为原点的情况下，表示出拍摄图像数据的显示区域的二维正交坐标系的例子的图。针对图7所示的坐标系包括的各位置坐标，旋转控制部521通过使用以下所示的式(5)变换位置坐标，能够实现拍摄图像数据的旋转修正。并且，dx0、dy0是将镜头中心作为原点时的坐标值。此外，θ是计算出的侧倾角。
[数式1]
d x 1 d y 1 = c o s θ sin θ - sin θ c o s θ d x 0 d y 0 ... ( 5 )
图8是示出通过旋转控制部521进行了旋转修正后的拍摄图像数据的例子的图。在图8所示的例子中，以使被拍摄在拍摄图像数据中的被摄体(车辆1外部的环境)所包括的水平线与显示装置8的显示区域的横向的边大致平行的方式，来旋转修正所述拍摄图像数据。换言之，以使拍摄图像数据的下方成为被拍摄在该拍摄图像数据中的被摄体(车辆1外部的环境)的重力方向的方式，旋转修正所述拍摄图像数据。并且，不需要完全使下方与重力方向完全一致，以能够识别出拍摄图像数据内的高度关系的程度来使其一致即可。
例如，针对图6中看上去高度相同的区域601与区域602，在图8中能够识别出区域602存在于比区域601高的位置。因此，驾驶员针对车辆1的周边环境能够识别出客观的高度。由此能够进行恰当的驾驶，能够提高安全性。
作为控制部发挥作用的缩小/放大控制部522，对通过旋转控制部521进行了旋转修正后的拍摄图像数据进行放大处理或缩小处理。缩小/放大控制部522通过使用下面所示的式(6)变换位置坐标，能够实现拍摄图像数据的放大修正或缩小修正。并且，dx1、dy1是将进行了旋转修正后的镜头中心作为原点时的坐标值。并且，magX、magY是纵、横的放大、缩小率。并且，放大/缩小率是根据拍摄图像数据的显示尺寸与显示装置8的显示区域的像素数的关系決定的。
[数式2]
d x 2 d y 2 = m a g X m a g Y d x 1 d y 1 ... ( 6 )
作为控制部发挥作用的移动控制部523，对于通过缩小/放大控制部522进行了放大或缩小处理后的拍摄图像数据进行控制，以使得与镜头中心对应的位置坐标从显示装置8的显示区域的中心移动。在本实施方式中，移动控制部523进行控制，以使与镜头中心对应的位置坐标从显示装置8的显示区域的中心向显示区域内的上方移动。
即，在车辆1倾斜这样的状况下，驾驶员想要确认地面状况的倾向较高。因此，移动控制部523进行了使镜头中心对应的位置坐标从显示装置8的显示区域的中心向显示区域内的上方移动的处理。由此，例如不显示被拍摄在拍摄图像数据中的天空等的车辆1上方的状况，而显示车辆1下方的状况。因此，用户通过参照在显示装置8显示的拍摄图像数据，能够识别车辆1周边地面的状况。由此，能够实现适当的转向(操舵)支援。
移动控制部523通过使用下面所示的式(7)变换位置坐标，能够实现拍摄图像数据的位置坐标的移动。并且，dx2、dy2是将进行了放大、缩小修正后的镜头中心作为原点时的坐标值。并且，将移动前的镜头中心的位置坐标的移动目的地作为(cx、cy)。
[数式3]
d x 3 d y 3 = d x 2 + c x d y 2 + c y ... ( 7 )
合成部524将对由移动控制部523进行了移动控制后的拍摄图像数据，与显示装置8的显示区域相对应地进行剪切后，合成用于支援驾驶员的转向的显示信息。
图9是示出由合成部524合成后的图像数据的例子。在图9所示的例子中，在显示区域901中反映出由拍摄部16b拍摄的车辆1的左侧的前轮周边的状况。此外，在显示区域902中反映出由拍摄部16d拍摄的车辆1的右侧的前轮周边的状况。进而，在显示区域903中显示能够识别车辆1的俯仰角及侧倾角的信息。即，使用表示出车辆1的图标921的倾斜度表示侧倾角，另一方面，使用通过该图标921的中心线912与线911之间的距离来表示俯仰角。如此，虽然在本实施方式中示出了能够识别侧倾角及俯仰角的信息，但不限于这样的显示方式，也可以是其他的显示方式。
如此，在本实施方式的车辆1中，能够实时地显示越野行驶时车辆1的侧倾、俯仰状态。由此，驾驶员识别车辆1周边的客观的状况变得容易。
此外，在显示区域904中反映出通过合成部524剪切出的拍摄图像数据。以使拍摄图像数据内的影像内的水平线与显示装置8的横框大致平行的方式修正所述拍摄图像数据。换言之，以使拍摄图像数据内的影像的下方成为重力方向的方式修正所述拍摄图像数据。由此，驾驶员识别周边的状况变得容易。
并且，输出部505将通过合成部524合成的图像数据输出至显示装置8。由此，将进行了修正处理后的所述拍摄图像数据与能够识别侧倾角及俯仰角的信息一起显示在显示装置8上。
在图8、9的例子中，包括前轮3F的预计行进路线905。周边监视ECU14(CPU14a)能够根据转向角传感器19、轮胎角传感器13b的检测结果等计算预定路线，能够在输出的图像上包括(重叠)与预定路线对应的预计行进路线905。预计行进路线905是表示预定的路线的显示要素的一个例子。周边监视ECU14对应于上述的旋转、放大/缩小、移动修正，来修正预计行进路线905的显示位置、大小、姿势(倾斜度)等。此外，周边监视ECU14在预计行进路线905的位置与画面中央之间偏移较大的情况下，还能够向减少偏移的方向修正显示区域与预计行进路线905的位置。
此外，在图9的例子中，将与显示区域903、904的横向的边(图9的上边或下边)相对的图标921的倾斜度作为车辆1的侧倾角。因此，在输出的图像上，周边监视ECU14使围绕图标921周围的角度刻度906a(倾斜刻度)处于相对于显示区域903而角度不变的状态，由此，能够构成使用了图标921的测斜仪906(侧倾角显示部)。例如，若仅显示显示区域904，则存在难以理解水平方向、垂直方向、车辆1的姿势(侧倾角或俯仰角)的情况。这一点，如图9的例子所示，通过显示根据侧倾角或俯仰角相对于画面旋转(侧倾)或俯仰的图标921或显示测斜仪906，则不论显示区域904的图像的状态如何，都能容易理解水平方向、垂直方向、车辆1的姿势(侧倾角)。如此，通过将显示区域904与显示区域903一起显示(在同一画面内显示或并列显示)，车辆周边的状况或车辆姿势的状况变得更加容易理解。
此外，本实施方式也可以不一直进行上述的旋转、放大/缩小、移动修正，而是设定成在车辆1变成越野模式的情况下进行上述的各种修正。例如，图像处理部504参照表示获取部501所获取的是否为越野模式的信息，在越野模式的情况下，图像处理部504进行上述的旋转、放大/缩小、移动修正。
并且，越野模式是指，在越野行驶中，作为用于发挥车辆1的4WD(4wheeldrive：四轮驱动)的性能的模式，将传动装置齿轮比整体设置得较低的模式。即，本实施方式与进行越野行驶时的操作联动，切换在显示装置8显示的拍摄图像数据。并且，本实施方式不限制在显示装置8显示的影像的切换至越野模式的情况，例如，在使用2-4WD切换至4WD的情况下，也可以通过显示进行了旋转修正的影像的方式进行控制。
接着，说明在本实施方式的周边监视部500的面向显示装置8的显示处理。图10是示出在本实施方式的周边监视部500的上述的处理的顺序的流程图。
首先，获取部501从拍摄部16获取拍摄图像数据(步骤S1001)。接着，获取部501从加速度传感器26获取加速度数据(步骤S1002)。
然后，角度计算部502根据加速度数据计算车辆1的侧倾角及俯仰角(步骤S1003)。
接着，滤波控制部503对计算出的侧倾角及俯仰角，进行通过低通滤波器的滤波(步骤S1004)。
然后，旋转控制部521对拍摄图像数据进行与侧倾角对应的旋转控制(步骤S1005)。
接着，缩小/放大控制部522及移动控制部523对于进行旋转控制后获得的拍摄图像数据，进行放大控制及移动控制(步骤S1006)。
然后，合成部524对于进行了放大控制及移动控制后的拍摄图像数据，根据在显示装置8显示的显示区域来进行剪切(步骤S1007)。
接着，合成部524对于剪切出的拍摄图像数据，将示出前轮周边的状况的拍摄图像数据及能够识别俯仰角及侧倾角的显示信息合成(步骤S1008)。
然后，输出部505将通过合成部524合成后的图像数据输出至显示装置8(步骤S1009)。
本实施方式的周边监视部500，通过设置上述的结构，使得识别车辆1周边的高度差变得容易。由此能够减轻转向的负担，提高安全性。
＜第二实施方式＞
图11是示出在本实施方式的周边监视ECU14内实现的周边监视部700的结构的框图。作为图4的周边监视ECU14而构成的CPU14a，通过执行在ROM14b内存储的软件，实现图11所示的获取部701、角度计算部702、滤波控制部703、图像处理部704以及输出部705。此外，周边监视部700在RAM14c上实现俯视图像存储部706。
获取部701从车辆1所具有的各种传感器等获取各种各样的信息。本实施方式的获取部701获取如下信息：拍摄图像数据，其是从设置在车辆1上的用于拍摄该车辆1的周边的拍摄部16a至16d输出的；加速度数据，其是从设置在该车辆1上来作为车辆状态检测部的一例发挥作用的加速度传感器26a、26b(加速度检测部)输出的作为车辆状态数据的一例。获取部701将获取的信息输出至角度计算部702及图像处理部704。
此外，获取部701将拍摄的时刻与检测出加速度的时刻大致一致的拍摄图像数据与加速度数据关联起来。
角度计算部702根据加速度传感器26a、26b获取的加速度数据，计算车辆1的倾斜角(俯仰角及侧倾角)。并且，俯仰角是指表示围绕车辆1的左右轴(图4的轴412)旋转的倾斜度的角度。在车辆1存在于水平(地)面上的情况下，俯仰角为0度。
侧倾角是指表示围绕车辆1的前后轴(图4的轴411)旋转的倾斜度的角度。在车辆1存在于水平(地)面上的情况下，侧倾角为0度。而且，角度计算部702为了计算俯仰角及侧倾角，首先计算车辆1的前后方向的加速度a1与左右方向的加速度a2。
并且，角度计算部702使用下面的式(1)计算前后方向的加速度a1。将检测方向401的加速度作为GL1，将检测方向402的加速度作为GL2。并且，在本实施方式中，例如在俯仰角为0°的情况(车辆1水平的情况)下，前后方向的加速度a1为0G，在俯仰角为90°的情况(车辆1垂直的情况)下，前后方向的加速度a1为1G。
a1＝GL1×cos45°-GL2×cos45°…(1)
接着，角度计算部702使用下面的式(2)计算左右方向的加速度a2。
a2＝-(GL1×sin45°+GL2×sin45°)…(2)
进而，角度计算部702使用下面的式(3)计算俯仰角PA。
PA[deg]＝90[deg]×a1[G]…(3)
进而，角度计算部702使用下面的式(4)计算侧倾角RA。
RA[deg]＝90[deg]×a2[G]…(4)
此外，角度计算部702将根据加速度数据计算出的侧倾角及俯仰角，和与该加速度数据关联的拍摄图像数据关联起来。由此能够识别拍摄了拍摄图像数据时的车辆1的侧倾角及俯仰角。
滤波控制部703对通过角度计算部702计算出的侧倾角RA及俯仰角PA，进行通过低通滤波器的滤波。
在本实施方式中通过设置低通滤波器，抑制侧倾角RA及俯仰角PA急剧地变化，换言之，抑制在显示装置8显示的图像数据急剧地切换。由此，驾驶员能够舒适地查看在显示装置8显示的图像数据。并且，虽然在本实施方式中说明了使用根据设置在周边监视部700内的滤波控制部703的数字滤波器的例子，但是例如，也可以是对从加速度传感器26输出的信号进行滤波的模拟滤波器等。
图像处理部704具有作为控制部而分别发挥作用的旋转控制部711、俯视图像生成部712(生成部)、移动量计算部713、变换部714以及合成部715，生成用于在显示装置8显示的图像数据。
旋转控制部711基于根据车辆状态数据计算出的车辆相对于水平方向而在左右方向上的倾斜度(换言之根据侧倾角)，对于通过拍摄部16a拍摄的摄有车辆1的前方(行进方向)周边的拍摄图像数据进行旋转修正。例如，水平方向是相对行进方向垂直的方向。此外，也可以基于根据车辆状态数据计算出的车辆的左右方向的倾斜度，向着与使车辆变为水平的旋转方向相同的方向，来旋转修正拍摄图像数据。换言之，该旋转修正，也可以使拍摄图像数据旋转修正为，好像是在车辆1的左右方向呈水平的状态(在与重力方向垂直的水平面上配置有车辆1的状态)下进行了拍摄一样。并且，虽然在本实施方式中作为车辆状态数据而使用了加速度为例，但是不限于加速度，只要是与车辆1的状态相关的信息即可。并且，旋转修正的对象不限于通过拍摄部16a拍摄的拍摄图像数据，例如，也可以是通过拍摄部16c拍摄的摄有车辆1的后方周边的拍摄图像数据。
图12是示出越野行驶时车辆1驶上石头等的状况的例子的图。在图12所示的例子中，因为车辆1驶上障碍物所以倾斜了侧倾角θ。若以这样的状态根据通过拍摄部16a拍摄的拍摄图像数据来创建俯视图像数据，则会产生与侧倾角θ对应的变形。
因此，本实施方式的旋转控制部711根据由加速度传感器26求得的侧倾角θ，来旋转修正拍摄图像数据。
本实施方式的旋转控制部711，将与拍摄部16a的用于拍摄的镜头中心对应的拍摄图像数据的显示区域内的位置坐标作为原点，根据与该拍摄图像数据关联的侧倾角来进行旋转修正。
图13是示出在将与镜头中心对应的位置坐标作为原点的情况下，表示出拍摄图像数据的显示区域的二维正交坐标系的例子的图。针对图13所示的坐标系包括的各位置坐标，旋转控制部711通过使用下面所示的式(5)来变换位置坐标，能够实现拍摄图像数据的旋转修正。并且，dx0、dy0是将镜头中心作为原点时的坐标值。此外，图13所示的角度θ是计算出的侧倾角。
[数式4]
d x 1 d y 1 = c o s θ sin θ - sin θ c o s θ d x 0 d y 0 ... ( 5 )
旋转控制部711通过对显示区域801所包括全部像素进行旋转修正，生成将显示区域801旋转了角度θ后获得的显示区域802。然后，周边监视部700根据具有旋转控制后获得的显示区域802的拍摄图像数据，生成俯视图像数据。由此，能够生成将根据在车辆1产生的侧倾角θ的倾斜度修正后的俯视图像数据。
此外，本实施方式的旋转控制部711将用于旋转控制拍摄图像数据的角度限制为车辆1从水平地面起倾斜的侧倾角，也可以根据上次计算出的侧倾角与本次计算出的侧倾角的差，进行拍摄图像数据的旋转控制。例如，这是因为，与在车辆1在倾斜了规定角度(上次计算出的侧倾角)的地面上行驶时创建的从垂直(铅垂)方向上俯视车辆1的俯视图像数据相比，根据从垂直(铅垂)方向倾斜了规定角度的角度而创建的俯视图像数据，更容易识别车辆1周边的地面状况。在这样的情况下，旋转控制部711在车辆1驶上石头等的情况下，仅通过驶上石头等倾斜的侧倾角之差(上次计算出的侧倾角与本次计算出的侧倾角之差)，进行拍摄图像数据的旋转控制。
俯视图像生成部712根据旋转控制后获得的拍摄图像数据，生成从上方俯瞰车辆1的行进方向的地面即该车辆1周边的地面的俯视图像数据。并且，无论使用什么样的方法作为根据拍摄图像数据生成俯视图像数据的方法都可以，例如也可以使用映射表进行变换。
每次获取拍摄图像数据都生成俯视图像数据。换言之，俯视图像生成部712在根据通过旋转控制部711旋转控制后获得的第一拍摄图像数据生成第一俯视图像数据后，根据拍摄该第一拍摄图像数据之后车辆1又移动后通过拍摄部16拍摄且通过旋转控制部711旋转控制后获得的第二拍摄图像数据，生成第二俯视图像数据。
在本实施方式中，车辆1每次移动规定的移动量，就会更新在显示装置8显示的图像数据。因此，移动量计算部713比较通过俯视图像生成部712生成的俯视图像数据与上次更新时使用的俯视图像数据，计算车辆1的移动量。
但是，若使用全部俯视图像数据进行比较，则处理负担变大。因此，本实施方式的移动量计算部713被设定为，针对通过俯视图像生成部712生成的俯视图像数据内的预定的区域进行比较。
具体而言，本实施方式的移动量计算部713分别从上次更新时使用的第一俯视图像数据及在第一俯视图之后生成的第二俯视图像数据中剪切出预定的区域(显示范围)，计算光流。
图14是示出通过移动量计算部713计算出的光流的概念的图。将图14(A)作为从上次更新时使用的第一俯视图像数据中，以预定的显示范围来剪切出的图像数据；将图14(B)作为本次从通过俯视图像生出部712生成的第二俯视图像数据中，以预定的显示范围来剪切出的图像数据。
然后，移动量计算部713计算出在图14(A)表示的图像数据与在图14(B)表示的图像数据之间的光流，所述光流使用向量表示出所显示的物体(的特征点)的迁移。图14(C)示出了计算出的光流的例子。在图14(C)所示的例子中，示出了在图14(A)内示出的特征点(使用“×”表示)移动至在图14(B)内示出的特征点(使用“×”表示)时的向量的长度。
然后，移动量计算部713根据计算出的光流的平均值计算车辆1的移动量。
图15是示出光流的平均值与车辆1的移动量的关系的图。在图15所示的例子中，将箭头901作为光流的平均值。车辆1以后轮轴为中心进行旋转。因此，在光流的平均值901的情况下，车辆1以旋转角θ1旋转。由此，移动量计算部713计算出车辆1的旋转角θ1。进而，移动量计算部713根据光流的长度计算出车辆1的移动量。此外，移动量计算部713也可以分别分开计算车辆1的前后轴方向的移动量与车辆1的左右轴方向的移动量。
变换部714，在通过移动量计算部713计算出的移动量在规定的距离以上的情况下，将通过俯视图像生成部712本次生成的俯视图像数据变换成用于与在俯视图像存储部706存储的俯视图像数据合成的俯视图像数据。
然而，虽然在车辆1倾斜的情况下通过旋转控制部711修正倾斜度，但是在通过拍摄部16拍摄的拍摄图像数据中会残留因倾斜度而导致的变形。因此，变换部714以减少变形的方式，对俯视图像数据进行投影变换。
在本实施方式中，投影变换用于，将因为车辆1的倾斜而产生的拍摄图像数据内的路面变形，变换成车辆1未倾斜的情况，例如，也包括将拍摄图像数据内的梯形形状的区域变换成长方形或正方形的区域的所谓梯形修正等。
图16是示出因车辆1的倾斜而导致的拍摄图像数据的变形与通过变换部714变换后的拍摄图像数据的显示范围的图。在图16所示的例子中示出了车辆1在侧倾状态的情况下产生的俯视图像数据的变形状态(a1)、(a2)，并且示出了车辆1在俯仰状态的情况下产生的俯视图像数据的变形状态(b1)、(b2)。如此，在因车辆1的倾斜而导致俯视图像数据发生变形的状态下，若将其与在俯视图像存储部706存储的俯视图像数据合成，则变形被累积起来。
因此，本实施方式的变换部714，对于第二拍摄图像数据，根据图16的该第二侧倾角进行规定的投影变换；所述第二拍摄图像，是在显示范围((a1)、(a2)、(b1)、(b2))内剪切出来的，所述显示范围((a1)、(a2)、(b1)、(b2))是根据由拍摄了拍摄图像数据时获取的加速度数据求得的侧倾角而确定的。通过该投影变换，将显示范围((a1)、(a2)、(b1)、(b2))变换成图16(c)所示的显示范围。并且，根据侧倾角确定示出作为投影变换的对象的显示区域的4点的位置坐标的方法不限于现有的方法，使用任何方法都可以，例如，也可以预先设置侧倾角θ与四点的位置坐标的对应关系。
合成部715将在俯视图像存储部706存储的俯视图像数据与通过变换部714投影变换后的俯视图像数据合成。
图17是示出通过合成部715合成后的俯视图像数据的例子的图。在图17所示的俯视图像数据中，显示范围1101是最新合成的范围。而且，显示范围1102是在此之前合成的范围，显示范围1103是更早之前合成的范围。如此，在本实施方式中，车辆1每次移动都合成俯视图像数据。
俯视图像存储部706存储通过合成部715合成后的俯视图像数据。如此，俯视图像存储部706通过在车辆1每次移动规定的移动量时，合成、存储新生成的俯视图像数据，将示出车辆1之下的地面状况的俯视图像数据存储至俯视图像存储部706。
图18是示出在俯视图像存储部706存储的俯视图像数据的例子的图。如图18所示，在俯视图像数据中，除了合成存储有根据现在拍摄的拍摄图像数据生成的俯视图像数据以外，还合成存储有根据到上次为止拍摄的拍摄图像数据生成的俯视图像数据。如图18所示，在俯视图像存储部706存储的俯视图像数据中，还包括车辆1之下的地面。并且，在图18示出的车辆1的形状是为了容易说明而示出的，不是包含在俯视图像存储部706存储的实际俯视图像数据内的数据。
此外，合成部715将在俯视图像存储部706存储的俯视图像数据与通过变换部714投影变换后的俯视图像数据合成时，在车辆1以旋转角θ1旋转的情况下，将在俯视图像存储部706存储的俯视图像数据以该旋转角θ1进行了旋转处理之后，将其与通过变换部714投影变换后的俯视图像数据合成。由此，能够显示与车辆1的旋转相对应的俯视图像数据。
输出部705将在俯视图像存储部706存储的俯视图像数据以及将各种各样的信息合成后获得的图像数据一起输出至显示装置8。图19是示出输出部705输出的画面信息的例子的图。在图19所示的画面信息的例子中，除了俯视图像数据1301以外，还摄有如下数据：拍摄图像数据1302，其是拍摄部16a拍摄车辆1的行进方向而得的数据；拍摄图像数据1303，其是拍摄部16b拍摄车辆1的左侧前轮周边而得的数据；拍摄图像数据1304，其是拍摄部16d拍摄车辆1的右侧前轮周边而得的数据。进而，在显示区域1305将车辆1的俯仰角及侧倾角作为能够识别的信息显示。即，使用表示车辆1的图标的倾斜度表示侧倾角，另一方面，使用通过该图标的中心线与水平线之间的距离表示俯仰角。虽然在本实施方式中使用这样的显示方式以能够识别的方式示出了侧倾角及俯仰角，但不限于这样的显示方式，也可以是其他的显示方式。
此外，将输出部705输出的通过拍摄部16a拍摄有车辆1的行进方向的拍摄图像数据1302作为进行旋转控制后获得的拍摄图像数据。由此，驾驶员能够识别拍摄图像数据内的高度关系。
接着，说明在本实施方式的周边监视部700面向显示装置8的显示处理。图20是示出在本实施方式的周边监视部700的上述处理的顺序的流程图。
首先，获取部701从拍摄部16获取拍摄图像数据(步骤S1401)。接着，获取部701从加速度传感器26获取加速度数据(步骤S1402)。
然后，角度计算部702根据加速度数据计算出车辆1的侧倾角及俯仰角(步骤S1403)。计算出的侧倾角及俯仰角是滤波控制部703进行根据低通滤波器的滤波而获得的。
然后，旋转控制部711对于拍摄图像数据进行与侧倾角对应的旋转控制(步骤S1404)。
接着，俯视图像生成部712根据旋转控制后获得的拍摄图像数据，生成以俯瞰的方式示出在车辆1的行进方向并且在该车辆1的周边存在的规定的区域的俯视图像数据(步骤S1405)。
移动量计算部713根据生成的俯视图像数据，提取预定的显示范围(区域)的图像数据(步骤S1406)。此外，移动量计算部713保持过去(例如判断出上次移动量在规定的阈值以上时)根据俯视图像数据从同样的范围提取的图像数据。
然后，移动量计算部713根据从俯视图像数据提取的预定的显示范围(区域)的图像数据，计算出车辆1的移动量(步骤S1407)。
然后，图像处理部704判断计算出的移动量是否在规定的阈值以上(步骤S1408)。作为阈值，例如是10cm等，根据实施方式设定适当的阈值即可。
图像处理部704，在判断出移动量在规定的阈值以上的情况下(步骤S1408：是(Yes))，俯视图像生成部712根据现在拍摄的拍摄图像数据，即，根据在进行步骤S1404的旋转控制之前的拍摄图像数据，生成俯视图像数据(步骤S1409)。
之后，变换部714根据现在的车辆1的侧倾角及俯仰角，进行俯视图像数据的投影变换(步骤S1410)。使用包括梯形修正的投影变换，来修正因侧倾角及俯仰角中的一项以上原因而产生的俯视图像数据的变形。此外，在车辆1产生了侧倾角的情况下，因为并非以重心为基准发生倾斜，而是以车轮3等为轴而发生倾斜，所以在左右方向发生偏移。因此，本实施方式的变换部714针对左右方向的偏移进行偏移修正。同样的，在产生了俯仰角的情况下也对前后方向的偏移进行偏移修正。
接着，合成部715将投影变换后的现在的俯视图像数据与在俯视图像存储部存储的俯视图像数据合成(步骤S1411)。并且，合成部715在车辆1以旋转角θ1旋转后的情况下，进行旋转控制，使在俯视图像存储部706存储的俯视图像数据与合成前的该旋转角θ1相符合。
然后，输出部705从在俯视图像存储部706存储的俯视图像数据中，剪切出用于在显示装置8显示的俯视图像数据(步骤S1412)。之后，输出部705在向剪切出的俯视图像数据附加各种各样的信息之后，将其输出至显示装置8(步骤S1413)。
另一方面，图像处理部704在判断出移动量比规定的阈值小的情况下(步骤S1408：否(No))，继续已经在显示装置8显示的俯视图像数据等的输出(步骤S1414)。
＜第三实施方式＞
在第二实施方式中说明了显示用于确认车辆1的状况的俯视图像数据的实施方式。但是，不限于仅显示俯视图像数据，也可以对俯视图像数据附加用于确认现在的状况的各种各样的信息。因此，在第三在实施方式中说明对俯视图像数据附加各种各样的信息的例子。
首先，说明第三实施方式的周边监视部1700的结构。图21是示出在本实施方式的周边监视ECU14内实现的周边监视部1700的结构的框图。
图21所示的周边监视部1700与第一实施方式的周边监视部700相比，不同点在于，将获取部变更成与获取部701实施不同处理的获取部1701，将图像处理部变更成与图像处理部704实施不同处理的图像处理部1702。
与第二实施方式同样地，获取部1701除了获取拍摄图像数据与加速度数据之外，还从(未图示)行程传感器获取悬架检测结果，该悬架检测结果表示前轮3F的悬架的下沉情况，还从转向角传感器19获取前轮3F及后轮3R的转向角的检测结果。在本实施方式中，将获取的悬架检测结果及转向角的检测结果输出至图像处理部1702。
图像处理部1702与第二实施方式的图像处理部704相比，在以下几点上与第二实施方式不同，即：追加有轮胎外形计算部1711，追加有轨迹计算部1712，将合成部变更成与第二实施方式的合成部715实施不同处理的合成部1713。
轮胎外形计算部1711根据由获取部1701获取的悬架检测结果及转向角的检测结果，计算应该叠加在俯视图像数据上的轮胎外形。例如，在以俯视视点设置了摄像头的情况下，就前轮3F及后轮3R而言，若悬架下沉则靠近摄像头，则会被映摄得较大，若悬架伸展则远离摄像头，则会被映摄得较小。因此，在本实施方式中，为了在俯视图像数据中表示车辆1的轮胎外形，轮胎外形计算部1711根据悬架检测结果及转向角，计算应叠加在俯视图像数据中的轮胎外形形状(前轮3F的大小及角度)。
轨迹计算部1712根据前轮3F的转向角及后轮3R的转向角，计算在车辆1的行进方向上的移动预测轨迹。本实施方式的轨迹计算部1712，计算应该附加在现在的拍摄图像数据上的移动预测轨迹来作为前轮3F的移动预测轨迹，并且计算应该附加在俯视图像数据上的移动预测轨迹来作为后轮3R的移动预测轨迹。通过输出部705将计算出的移动预测轨迹附加在拍摄图像数据及俯视图像数据上输出。
此外，合成部1713通过与第二实施方式同样的处理，将在俯视图像存储部706存储的俯视图像数据与通过变换部714投影变换后的俯视图像数据合成后，对于合成后的俯视图像数据，在推断出的现在前轮3存在的位置上，附加能够识别前轮3F的转向角及大小的标记。
合成部1713每次合成时，通过在前轮3R存在的位置附加标记，将前轮3R的移动轨迹表示在俯视图像数据中。然后，输出部705根据通过合成部1713合成的俯视图像数据，进行在显示装置8的画面信息的输出。
图22是示出第三实施方式的输出部705输出的画面信息的例子的图。在图22所示的例子中，除了摄有俯视图像数据1601以外，还摄有拍摄图像数据1602等，所述拍摄图像数据1602等是拍摄部16a拍摄车辆1的行进方向而获得的。
在拍摄有路线方向的拍摄图像数据1602中，表示出通过轨迹计算部1702计算出的前轮3F的移动预测轨迹1611、1612(示出预定路线的显示要素)。
另一方面，在俯视图像数据1701中，示出车辆1的移动轨迹1621、1622，所述车辆1的移动轨迹1621、1622是通过连续地附加根据前轮3F的外形而附加的标记而产生的。此外，根据移动轨迹1621、1622所包括的标记的大小，驾驶员能够识别在路面的凹凸。即，在附加有较大的标记的部位悬架深深地下沉，换言之，可认为存在石头等的障碍物的可能性较高。因此，驾驶员通过在确认该标记的同时进行驾驶，能够以使后轮3F或(未图示)差速器不冲突的方式进行操作。
此外，在俯视图像数据1602中示出了通过轨迹计算部1703计算出的后轮3F的移动预测轨迹1631、1632。因为驾驶员能够确认移动预测轨迹1631、1632，因此，例如通过以将后轮3R重叠在未与障碍物冲突的前轮3F的移动轨迹上的方式进行驾驶等，能够抑制后轮3R与障碍物冲突等。
并且，俯视图像生成部1702在向过去的俯视图像数据附加示出前轮3F的位置的标记时，也可以根据除了悬架检测结果以外的信息来改变颜色或形状。例如，也可以改变前轮3F在打滑等时的位置的颜色或形状。由此，能够提高驾驶员驾驶时的安全性。
在上述的实施方式的周边监视部，通过设置上述的结构，能够容易地识别包括车辆1之下的地面的周边状况。由此能够减轻驾驶的负担，提高安全性。
第二实施方式或第三实施方式是以下的[1]至[8]中任一车辆的控制装置或程序的一个例子。
[1]车辆的控制装置，具有：
获取部，获取拍摄图像数据和车辆状态数据，所述拍摄图像数据是从设置在车辆上的用于拍摄该车辆的周边的拍摄部输出的数据，所述车辆状态数据是从设置在该车辆上的车辆状态检测部输出的数据，
旋转控制部，基于根据所述车辆状态数据计算出的所述车辆相对于水平方向而在左右方向上的倾斜度，来旋转控制所述拍摄图像数据，所述水平方向是与重力方向垂直的水平面所包括的方向；
生成部，根据通过所述旋转控制部旋转控制后获得的所述拍摄图像数据，生成以俯瞰视点表示出所述车辆周边的地面的俯视图像数据。
[2]如[1]所述的车辆的控制装置，
所述生成部，根据通过所述旋转控制部旋转控制后获得的第一拍摄图像数据，生成第一俯视图像数据，根据第二拍摄图像数据，生成第二俯视图像数据，所述第二拍摄图像数据，是拍摄所述第一拍摄图像数据之后，所述车辆移动后，通过所述拍摄部拍摄且通过所述旋转控制部旋转控制后获得的；
所述车辆的控制装置进一步具有合成部，其将所述第一俯视图像数据与所述第二俯视图像数据合成。
[3]如[1]或[2]所述的车辆的控制装置，
所述获取部，从所述车辆状态检测部获取作为所述车辆状态数据的所述车辆的加速度，
所述旋转控制部，进而将与所述拍摄部用于拍摄的镜头中心对应的所述拍摄图像数据的显示区域内的位置坐标作为原点，根据侧倾角来旋转控制所述拍摄图像数据，所述侧倾角是根据所述加速度数据求出的，用于表示围绕所述车辆的前后轴旋转的倾斜度。
[4]如[1]至[3]中任一项1所述的车辆的控制装置，进一步具有：
变换部，其根据由拍摄所述第二拍摄图像数据时获取的第二所述加速度数据来求出第二侧倾角，对于在基于该第二侧倾角确定的显示范围剪切出的所述第二拍摄图像数据，根据该第二侧倾角进行规定的投影变换；
所述合成部，将所述第一俯视图像数据与由所述变换部变换的所述第二俯视图像数据合成。
[5]如[1]至[4]中任一项1所述的车辆的控制装置，
所述旋转控制部，根据第一侧倾角与第二侧倾角之差，来旋转控制所述拍摄图像数据，所述第一侧倾角是根据拍摄所述第一拍摄图像数据时获取的第一所述加速度数据求得的，所述第二侧倾角是根据拍摄所述第二拍摄拍摄图像数据时获取的第二所述加速度数据求得的。
[6]如[1]至[5]中任一项1所述的车辆的控制装置，
所述合成部，将在所述车辆移动前拍摄的包括所述车辆之下的地面在内的所述第一俯视图像数据与所述第二俯视图像数据合成；
[7]如[1]至[6]中任一项1所述的车辆的控制装置，进一步具有：
输出部，将表示出所述侧倾角或俯仰角中的任一项以上的信息，与通过所述合成部合成的俯视图像数据输出，所述俯仰角示出围绕所述车辆的左右轴旋转的倾斜度。
[8]程序，用于使计算机执行如下步骤：
获取步骤，获取部，获取拍摄图像数据和车辆状态数据，所述拍摄图像数据是从设置在车辆上的用于拍摄该车辆的周边的拍摄部输出的数据，所述车辆状态数据是从设置在该车辆上的车辆状态检测部输出的数据，
旋转控制步骤，基于根据所述车辆状态数据计算出的所述车辆相对于水平方向而在左右方向上的倾斜度，来旋转控制所述拍摄图像数据，所述水平方向是与重力方向垂直的水平面所包括的方向；
生成步骤，根据通过所述旋转控制步骤旋转控制后获得的所述拍摄图像数据，生成以俯瞰视点表示出所述车辆周边的地面的俯视图像数据。
虽然说明了本发明的实施方式，但是该实施方式是作为例子而提出的，其意图不在于限定发明的范围。该新的实施方式能够通过其他的各种各样的方式实施，在不脱离发明的主旨的范围内，能够进行各种各样的省略、置换、变更。该实施方式及其变形包括在发明的范围主旨内，也包括在权利要求书所记载的发明及与其均等的范围内。
附图标记说明：
500周边监视部，501获取部，502角度计算部，503滤波控制部，504图像处理部，505输出部，521旋转控制部，522缩小/放大控制部，523移动控制部，524合成部，700周边监视部，701获取部，702角度计算部，703滤波控制部，704图像处理部，705输出部，706俯视图像存储部，711旋转控制部，712俯视图像生成部，713移动量计算部，714变换部，715合成部。
权利要求书(按照条约第19条的修改)
1.一种车辆的控制装置，其特征在于，具有：
获取部，获取拍摄图像数据和车辆状态数据，所述拍摄图像数据是从设置在车辆上的用于拍摄该车辆的周边的拍摄部输出的数据，所述车辆状态数据是从设置在该车辆上的车辆状态检测部输出的数据，
控制部，基于根据所述车辆状态数据计算出的所述车辆相对于水平方向而在左右方向上的倾斜度，来旋转控制所述拍摄图像数据，所述水平方向是与重力方向垂直的水平面所包括的方向；
所述获取部，从所述车辆状态检测部获取所述车辆的加速度数据，来作为所述车辆状态数据，
所述控制部，将与所述拍摄部用于拍摄的镜头的中心对应的所述拍摄图像数据的显示区域内的位置坐标作为原点，根据侧倾角，以使被拍摄在所述拍摄图像数据中的被摄体所包括的水平线与输出目标的显示区域的横向的边大致平行的方式，来旋转控制所述拍摄图像数据，所述侧倾角是根据所述加速度数据求出的，用于表示围绕所述车辆的前后轴旋转的倾斜度。
2.如权利要求1所述的车辆的控制装置，其特征在于，
所述控制部进一步进行所述拍摄图像数据的放大处理或缩小处理。
3.如权利要求1或2所述的车辆的控制装置，其特征在于，
所述控制部进一步针对所述拍摄图像数据，使与所述镜头的中心对应的位置坐标从所述显示区域的中心移动。
4.如权利要求3所述的车辆的控制装置，其特征在于，
所述控制部进一步使与所述镜头的中心对应的位置坐标从所述显示区域的中心向所述显示区域内的上方移动。
5.如权利要求1～4中任一项所述的车辆的控制装置，其特征在于，
在显示有所述拍摄图像数据的显示装置中，将表示出侧倾角与俯仰角中至少一个角的信息与所述拍摄图像数据一起显示，所述侧倾角示出了围绕所述车辆的前后轴旋转的倾斜度，所述俯仰角示出了围绕所述车辆的左右轴旋转的倾斜度。
6.如权利要求1～5中任一项所述的车辆的控制装置，其特征在于，
所述获取部进一步获取示出所述车辆是否已切换至越野用的模式的信息，
所述控制部，在所述车辆已切换至越野用的模式的情况下，根据所述车辆状态数据来旋转控制所述拍摄图像数据。
7.如权利要求1～6中任一项所述的车辆的控制装置，其特征在于，
还具有生成部，该生成部根据通过所述控制部旋转控制后获得的所述拍摄图像数据，生成以俯瞰视点表示出所述车辆周边的地面的俯视图像数据。
8.一种程序，其特征在于，使计算机执行如下步骤：
获取步骤，获取拍摄图像数据和车辆状态数据，所述拍摄图像数据是从设置在车辆上的用于拍摄该车辆的周边的拍摄部输出的数据，所述车辆状态数据是从设置在该车辆上的车辆状态检测部输出的数据，
控制步骤，基于根据所述车辆状态数据计算出的所述车辆相对于水平方向而在左右方向上的倾斜度，来旋转控制所述拍摄图像数据，所述水平方向是与重力方向垂直的水平面所包括的方向；
在所述获取步骤中，从所述车辆状态检测部获取所述车辆的加速度数据，来作为所述车辆状态数据，
在所述控制步骤中，将与所述拍摄部用于拍摄的镜头的中心对应的所述拍摄图像数据的显示区域内的位置坐标作为原点，根据侧倾角，以使被拍摄在所述拍摄图像数据中的被摄体所包括的水平线与输出目标的显示区域的横向的边大致平行的方式，来旋转控制所述拍摄图像数据，所述侧倾角是根据所述加速度数据求出的，用于表示围绕所述车辆的前后轴旋转的倾斜度。
9.如权利要求8所述的程序，其特征在于，
进一步使所述计算机执行生成步骤，
在所述生成步骤中，根据通过所述控制步骤旋转控制后获得的所述拍摄图像数据，生成以俯瞰视点表示出所述车辆周边的地面的俯视图像数据。

Claims (10)

1.一种车辆的控制装置，其特征在于，具有：
获取部，获取拍摄图像数据和车辆状态数据，所述拍摄图像数据是从设置在车辆上的用于拍摄该车辆的周边的拍摄部输出的数据，所述车辆状态数据是从设置在该车辆上的车辆状态检测部输出的数据，
控制部，基于根据所述车辆状态数据计算出的所述车辆相对于水平方向而在左右方向上的倾斜度，来旋转控制所述拍摄图像数据，所述水平方向是与重力方向垂直的水平面所包括的方向；
所述控制部，以使被拍摄在所述拍摄图像数据中的被摄体所包括的水平线与输出目标的显示区域的横向的边大致平行的方式，进行旋转控制。
2.如权利要求1所述的车辆的控制装置，其特征在于，
所述车辆状态检测部获取加速度数据，所述加速度数据作为所述车辆状态数据，是由设置在所述车辆的加速度检测部输出的；
所述控制部，将与所述拍摄部用于拍摄的镜头的中心对应的所述拍摄图像数据的显示区域内的位置坐标作为原点，根据侧倾角来旋转控制所述拍摄图像数据，所述侧倾角是根据所述加速度数据求出的，用于表示围绕所述车辆的前后轴旋转的倾斜度。
3.如权利要求2所述的车辆的控制装置，其特征在于，
所述控制部进一步进行所述拍摄图像数据的放大处理或缩小处理。
4.如权利要求2或3所述的车辆的控制装置，其特征在于，
所述控制部进一步针对所述拍摄图像数据，使与所述镜头的中心对应的位置坐标从所述显示区域的中心移动。
5.如权利要求4所述的车辆的控制装置，其特征在于，
所述控制部进一步使与所述镜头的中心对应的位置坐标从所述显示区域的中心向所述显示区域内的上方移动。
6.如权利要求1至5中任一项所述的车辆的控制装置，其特征在于，
在显示有所述拍摄图像数据的显示装置中，将表示出侧倾角与俯仰角中至少一个角的信息与所述拍摄图像数据一起显示，所述侧倾角示出了围绕所述车辆的前后轴旋转的倾斜度，所述俯仰角示出了围绕所述车辆的左右轴旋转的倾斜度。
7.如权利要求1至6中任一项所述的车辆的控制装置，其特征在于，
所述获取部进一步获取示出所述车辆是否已切换至越野用的模式的信息，
所述控制部，在所述车辆已切换至越野用的模式的情况下，根据所述车辆状态数据来旋转控制所述拍摄图像数据。
8.如权利要求1至7中任一项所述的车辆的控制装置，其特征在于，
还具有生成部，该生成部根据通过所述控制部旋转控制后获得的所述拍摄图像数据，生成以俯瞰视点表示出所述车辆周边的地面的俯视图像数据。
9.一种程序，其特征在于，使计算机执行如下步骤：
获取步骤，获取拍摄图像数据和车辆状态数据，所述拍摄图像数据是从设置在车辆上的用于拍摄该车辆的周边的拍摄部输出的数据，所述车辆状态数据是从设置在该车辆上的车辆状态检测部输出的数据，
控制步骤，基于根据所述车辆状态数据计算出的所述车辆相对于水平方向而在左右方向上的倾斜度，来旋转控制所述拍摄图像数据，所述水平方向是与重力方向垂直的水平面所包括的方向；
在所述控制步骤中，以使被拍摄在所述拍摄图像数据中的被摄体所包括的水平线与输出目标的显示区域的横向的边大致平行的方式，进行旋转控制。
10.如权利要求9所述的程序，其特征在于，
进一步使所述计算机执行生成步骤，
在所述生成步骤中，根据通过所述控制步骤旋转控制后获得的所述拍摄图像数据，生成以俯瞰视点表示出所述车辆周边的地面的俯视图像数据。
CN201480010443.7A 2013-02-28 2014-01-10 车辆的控制装置及存储介质 Active CN105075247B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2013039895 2013-02-28
JP2013-039895 2013-02-28
JP2013062440 2013-03-25
JP2013-062440 2013-03-25
PCT/JP2014/050387 WO2014132680A1 (ja) 2013-02-28 2014-01-10 車両の制御装置、及びプログラム

Publications (2)

Publication Number Publication Date
CN105075247A true CN105075247A (zh) 2015-11-18
CN105075247B CN105075247B (zh) 2018-08-14

Family

ID=51427954

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480010443.7A Active CN105075247B (zh) 2013-02-28 2014-01-10 车辆的控制装置及存储介质

Country Status (5)

Country Link
US (2) US10322672B2 (zh)
EP (1) EP2963922B1 (zh)
JP (1) JP6028848B2 (zh)
CN (1) CN105075247B (zh)
WO (1) WO2014132680A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107229367A (zh) * 2016-03-24 2017-10-03 通用汽车环球科技运作有限责任公司 显示器组件中触摸敏感区域的动态调整
CN107878327A (zh) * 2016-09-29 2018-04-06 爱信精机株式会社 周边监视装置
CN110293840A (zh) * 2018-03-22 2019-10-01 大众汽车有限公司 用于示出涉及车辆运行的信息的方法和显示***
CN114248689A (zh) * 2020-09-11 2022-03-29 法可赛阿达斯独资有限公司 用于机动车的摄像头监测***

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
PL1756399T3 (pl) 2004-06-14 2010-09-30 Pratt & Whitney Line Maintenance Services Inc Układ urządzenia do zbierania i oczyszczania wody odpływowej z mycia silnika
US9514650B2 (en) * 2013-03-13 2016-12-06 Honda Motor Co., Ltd. System and method for warning a driver of pedestrians and other obstacles when turning
DE112015002483T5 (de) * 2014-05-28 2017-02-23 Kyocera Corporation Objektdetektionsvorrichtung und Fahrzeug, das mit einer Objektdetektionsvorrichtung versehen ist
JP6361382B2 (ja) * 2014-08-29 2018-07-25 アイシン精機株式会社 車両の制御装置
JP6467838B2 (ja) * 2014-09-26 2019-02-13 アイシン精機株式会社 周辺監視装置、及び周辺監視システム
US10890925B2 (en) * 2014-12-05 2021-01-12 Command Electronics, LLC Vehicle leveling systems, devices and methods and computer program products for leveling vehicles using smart devices
JP6507626B2 (ja) * 2014-12-19 2019-05-08 アイシン精機株式会社 車両周辺監視装置
US11412123B2 (en) * 2015-03-19 2022-08-09 Gentex Corporation Image processing for camera based vehicle display system
JP6609970B2 (ja) * 2015-04-02 2019-11-27 アイシン精機株式会社 周辺監視装置
US9884623B2 (en) * 2015-07-13 2018-02-06 GM Global Technology Operations LLC Method for image-based vehicle localization
EP3176035A1 (en) * 2015-12-03 2017-06-07 Fico Mirrors S.A. A rear vision system for a motor vehicle
CN105872379A (zh) * 2016-04-15 2016-08-17 乐视控股（北京）有限公司 摄像装置
DE102016208369A1 (de) * 2016-05-17 2017-12-07 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur Ermittlung von Daten, die einen Teil der Umgebung unterhalb des Fahrzeugs repräsentieren
CN118112811A (zh) * 2016-08-29 2024-05-31 麦克赛尔株式会社 车辆
US10726602B2 (en) * 2017-02-03 2020-07-28 Sony Corporation Apparatus and method to generate realistic three-dimensional (3D) model animation
JP6852465B2 (ja) * 2017-03-02 2021-03-31 株式会社Ｊｖｃケンウッド 俯瞰映像生成装置、俯瞰映像生成システム、俯瞰映像生成方法およびプログラム
JP6724834B2 (ja) * 2017-03-23 2020-07-15 日産自動車株式会社 表示装置の制御方法および表示装置
US11254329B2 (en) * 2017-04-24 2022-02-22 Mobileye Vision Technologies Ltd. Systems and methods for compression of lane data
JP6859216B2 (ja) * 2017-07-03 2021-04-14 トヨタ自動車株式会社 車両周辺表示装置
US10579067B2 (en) * 2017-07-20 2020-03-03 Huawei Technologies Co., Ltd. Method and system for vehicle localization
JPWO2019142892A1 (ja) * 2018-01-22 2021-01-28 株式会社小糸製作所 電子ミラー用の撮像装置、電子ミラーシステム、自動車
US11941847B2 (en) 2018-03-19 2024-03-26 Jaguar Land Rover Limited Controller for a vehicle
JP2020053734A (ja) * 2018-09-25 2020-04-02 アルパイン株式会社 電子ミラーシステム
JP2020052916A (ja) * 2018-09-28 2020-04-02 日本電産サンキョー株式会社 画像処理装置、イメージスキャナ、及び画像処理方法
JP7211047B2 (ja) * 2018-12-04 2023-01-24 株式会社アイシン 路面検出装置および路面検出プログラム
DE102020120873A1 (de) * 2019-08-12 2021-02-18 Motional AD LLC (n.d.Ges.d. Staates Delaware) Lokalisierung basierend auf vordefinierten merkmalen der umgebung
EP3848781B1 (en) 2019-12-31 2023-05-10 Seiko Epson Corporation Circuit device, electronic apparatus, and mobile body
CN113129224B (zh) * 2019-12-31 2023-11-28 精工爱普生株式会社 显示***、电子设备、移动体和显示方法
USD947893S1 (en) * 2020-03-05 2022-04-05 Jaguar Land Rover Limited Display screen or portion thereof with icon
DE102021109213A1 (de) * 2020-04-16 2021-10-21 Volkswagen Aktiengesellschaft Verfahren zur Sichtbarmachung einer Neigung eines Kraftfahrzeugs im Kraftfahrzeug
JP2022055834A (ja) * 2020-09-29 2022-04-08 株式会社アイシン 駐車支援装置、駐車支援方法、およびプログラム
US20240018746A1 (en) * 2022-07-12 2024-01-18 Caterpillar Inc. Industrial machine remote operation systems, and associated devices and methods
JP2024094471A (ja) * 2022-12-28 2024-07-10 株式会社クボタ 作業車両の遠隔操作支援システム、遠隔装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01273746A (ja) * 1988-04-25 1989-11-01 Mazda Motor Corp 移動車の画像処理装置
CN1802678A (zh) * 2003-06-12 2006-07-12 株式会社电装 图像服务器、图像获取设备以及图像显示终端
US20100164702A1 (en) * 2008-12-26 2010-07-01 Kabushiki Kaisha Toshiba Automotive display system and display method

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0952555A (ja) 1995-08-11 1997-02-25 Mitsubishi Electric Corp 周辺監視装置
US6405975B1 (en) * 1995-12-19 2002-06-18 The Boeing Company Airplane ground maneuvering camera system
JP2002354467A (ja) 2001-05-25 2002-12-06 Nissan Motor Co Ltd 車両周囲情報表示装置
JP3796417B2 (ja) 2001-06-27 2006-07-12 株式会社デンソー 車両周辺画像処理装置及び記録媒体
JP4593070B2 (ja) 2001-12-12 2010-12-08 株式会社エクォス・リサーチ 車両の画像処理装置
US7212653B2 (en) 2001-12-12 2007-05-01 Kabushikikaisha Equos Research Image processing system for vehicle
JP2007266930A (ja) 2006-03-28 2007-10-11 Aisin Aw Co Ltd 運転支援方法及び運転支援装置
EP2003019B1 (en) * 2007-06-13 2014-04-23 Aisin AW Co., Ltd. Driving assist apparatus for vehicle
JP5125619B2 (ja) 2008-03-03 2013-01-23 日産自動車株式会社 車載カメラシステム
US8198555B2 (en) * 2009-04-22 2012-06-12 Honda Motor Co., Ltd Multi-position switch assembly for controlling a vehicle display screen
US9264672B2 (en) * 2010-12-22 2016-02-16 Magna Mirrors Of America, Inc. Vision display system for vehicle
EP2511137B1 (en) * 2011-04-14 2019-03-27 Harman Becker Automotive Systems GmbH Vehicle Surround View System
WO2013109869A1 (en) * 2012-01-20 2013-07-25 Magna Electronics, Inc. Vehicle vision system with free positional virtual panoramic view
WO2013121459A1 (ja) * 2012-02-16 2013-08-22 古野電気株式会社 情報表示装置、表示モード切替方法及び表示モード切替プログラム
US8854325B2 (en) * 2012-02-29 2014-10-07 Blackberry Limited Two-factor rotation input on a touchscreen device
JP6271858B2 (ja) * 2012-07-04 2018-01-31 キヤノン株式会社 表示装置及びその制御方法
JP6099333B2 (ja) * 2012-08-30 2017-03-22 富士通テン株式会社 画像生成装置、画像表示システム、パラメータ取得装置、画像生成方法及びパラメータ取得方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01273746A (ja) * 1988-04-25 1989-11-01 Mazda Motor Corp 移動車の画像処理装置
CN1802678A (zh) * 2003-06-12 2006-07-12 株式会社电装 图像服务器、图像获取设备以及图像显示终端
US20100164702A1 (en) * 2008-12-26 2010-07-01 Kabushiki Kaisha Toshiba Automotive display system and display method

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
RYO MIYAUCHI ET AL: "Compact image stabilization system using camera posture information", 《JOURNAL OF FIELD ROBOTICS》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107229367A (zh) * 2016-03-24 2017-10-03 通用汽车环球科技运作有限责任公司 显示器组件中触摸敏感区域的动态调整
CN107229367B (zh) * 2016-03-24 2020-07-17 通用汽车环球科技运作有限责任公司 显示器组件中触摸敏感区域的动态调整
CN107878327A (zh) * 2016-09-29 2018-04-06 爱信精机株式会社 周边监视装置
CN110293840A (zh) * 2018-03-22 2019-10-01 大众汽车有限公司 用于示出涉及车辆运行的信息的方法和显示***
CN114248689A (zh) * 2020-09-11 2022-03-29 法可赛阿达斯独资有限公司 用于机动车的摄像头监测***
CN114248689B (zh) * 2020-09-11 2024-04-02 法可赛阿达斯独资有限公司 用于机动车的摄像头监测***及其图像显示方法

Also Published As

Publication number Publication date
JPWO2014132680A1 (ja) 2017-02-02
WO2014132680A1 (ja) 2014-09-04
US10322672B2 (en) 2019-06-18
EP2963922B1 (en) 2019-02-27
US20190255999A1 (en) 2019-08-22
US10676027B2 (en) 2020-06-09
EP2963922A4 (en) 2016-04-13
US20150375680A1 (en) 2015-12-31
CN105075247B (zh) 2018-08-14
JP6028848B2 (ja) 2016-11-24
EP2963922A1 (en) 2016-01-06

Similar Documents

Publication Publication Date Title
CN105075247A (zh) 车辆的控制装置及程序
KR102313026B1 (ko) 차량 및 차량 후진 시 충돌방지 보조 방법
CN103079902B (zh) 驾驶支援装置
CN107878327B (zh) 周边监视装置
CN104641394B (zh) 图像处理装置及图像处理方法
CN105009574B (zh) 周边监视装置及周边监视方法、记录介质
CN103854260A (zh) 车辆的控制装置及控制方法
JP7039879B2 (ja) 表示制御装置
JP6760122B2 (ja) 周辺監視装置
US9994157B2 (en) Periphery monitoring apparatus and periphery monitoring system
CN105383384A (zh) 车辆控制装置
JP2010232723A (ja) 車両周辺表示装置
US10848724B2 (en) Display control device
JP7187840B2 (ja) 牽引支援装置
US11420678B2 (en) Traction assist display for towing a vehicle
JP2003189291A (ja) 車両周辺画像処理装置及び記録媒体
JP2010154304A (ja) 移動体カメラシステム及び駆動方法
JP6720729B2 (ja) 表示制御装置
JP2008213647A (ja) 駐車支援方法及び駐車支援装置
JP6891863B2 (ja) 表示制御装置および表示制御プログラム
CN114555442A (zh) 提供车辆可视化的方法和装置以及车辆
JP7423970B2 (ja) 画像処理装置
JP7102324B2 (ja) 駐車支援システムおよび駐車支援方法
JP7110592B2 (ja) 画像処理装置
JP2023183870A (ja) 表示制御装置、表示装置、表示システム、車両、表示制御方法及びプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant