CN110945558B - 显示控制装置 - Google Patents

显示控制装置 Download PDF

Info

Publication number
CN110945558B
CN110945558B CN201880048325.3A CN201880048325A CN110945558B CN 110945558 B CN110945558 B CN 110945558B CN 201880048325 A CN201880048325 A CN 201880048325A CN 110945558 B CN110945558 B CN 110945558B
Authority
CN
China
Prior art keywords
image
unit
height
vehicle
imaging unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880048325.3A
Other languages
English (en)
Other versions
CN110945558A (zh
Inventor
渡边一矢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin Co Ltd
Original Assignee
Aisin Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin Co Ltd filed Critical Aisin Co Ltd
Publication of CN110945558A publication Critical patent/CN110945558A/zh
Application granted granted Critical
Publication of CN110945558B publication Critical patent/CN110945558B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/31—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles providing stereoscopic vision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/24—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/28—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00—Indexing scheme for image rendering
    • G06T2215/16—Using real world measurements to influence rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明的显示控制装置，具备：图像获取部，其获取第1图像以及第2图像，第1图像是从第1拍摄部获得的，第1拍摄部设置于车辆的第一高度位置，第2图像是从第2拍摄部获得的，第2拍摄部设置于与第一高度位置不同的第二高度位置，拍摄与第一方向不同的第二方向的状况；投影面获取部，其获取三维的虚拟投影面，三维的虚拟投影面至少具备从车辆的接地面向高度方向立起的侧面，第1图像和第2图像能够投影到三维的虚拟投影面；校正部，其基于第一高度位置和第二高度位置的差异，在高度方向上校正投影到虚拟投影面的第1图像和第2图像中的至少一方的投影位置，以便整合第1图像的内容和第2图像的内容；图像合成部，其生成三维合成图像，三维合成图像包括通过校正而在高度方向上整合后的第1图像和第2图像。

Description

显示控制装置
技术领域
本发明的实施方式涉及显示控制装置。
背景技术
以往，提出有一种俯瞰图像生成装置的方案，其通过设置于车辆周围的多个拍摄部对车辆的周边进行拍摄，合成该拍摄到的多个拍摄图像数据，生成三维的合成俯瞰图像，并在车室内的显示装置显示，以让驾驶员确认车辆周围的状况(例如，参照专利文献1)。
在这种俯瞰图像生成装置中，消除了因拍摄各方向(车辆的前后左右)的拍摄部的设置高度(设置离地距离)的不同而引起的合成图像的高度方向的偏位。具体而言，通过改变俯瞰图像(三维空间模型)的高度方向的部分形状来对齐水平线的位置，使得所显示的合成俯瞰图像的水平线部分的不协调感不会出现。
专利文献1：日本特开2016-225865号
发明内容
但是，在现有技术中，为了对齐水平线的位置，改变三维空间模型的高度方向的部分形状，来使投影图像的水平线的位置得以对齐。其结果是存在以下问题：在合成俯瞰图像的上端部的形状产生凹凸，在显示到显示装置时，显示图像的边缘部等的形状变得不自然，从而导致商品性的下降。
由此，本发明的目的之一在于，提供一种显示控制装置，其不会产生三维合成图像的边缘部等的形状不自然，且能够减轻高度方向的图像内容的显示偏位。
实施方式的显示控制装置例如具备：图像获取部，其获取第1图像以及第2图像，上述第1图像是从第1拍摄部获得的，上述第1拍摄部设置于车辆的第一高度位置，拍摄上述车辆周围中的第一方向的状况，上述第2图像是从第2拍摄部获得的，上述第2拍摄部设置于与上述第一高度位置不同的第二高度位置，拍摄与上述第一方向不同的第二方向的状况；投影面获取部，其获取三维的虚拟投影面，上述三维的虚拟投影面至少具备从上述车辆的接地面向高度方向立起的侧面，上述第1图像和上述第2图像能够投影到上述三维的虚拟投影面；校正部，其基于上述第一高度位置和上述第二高度位置的差异，在高度方向上校正投影到上述虚拟投影面的上述第1图像和上述第2图像中的至少一方的投影位置，以整合上述第1图像的内容和上述第2图像的内容；以及图像合成部，其生成三维合成图像，上述三维合成图像包括通过校正而在高度方向上整合后的上述第1图像和上述第2图像。根据该结构，例如，在第1拍摄部的第一高度位置和第2拍摄部的第二高度位置不同的情况下，基于其高度位置的差异校正投影到虚拟投影面的图像的内容(投影位置)。在这种情况下，由于没有改变虚拟投影面的形状，因此所显示的三维合成图像的外边缘部等的形状没有变化，不会产生显示图像的商品性的下降，能够减轻高度方向的图像内容的显示偏位。
此外，实施方式的显示控制装置的上述校正部例如也可以基于上述第一高度位置和上述第二高度位置的高度比校正上述投影位置。根据该结构，能够更适当地校正例如因第1拍摄部的第一高度位置和第2拍摄部的第二高度位置的不同而引起的显示偏位。
此外，实施方式的显示控制装置，例如还具备位置检测部，其能够检测存在于上述车辆周围的物体的位置，上述投影面获取部获取在与上述物体的位置对应的位置具备上述侧面的上述虚拟投影面。根据该结构，在检测出的物体、例如其他车辆的存在位置形成虚拟投影面的侧面，因此能够以更加近似现实的形态显示应该留心的物体的形状(大小)，并且能够以减轻了高度方向的偏位(水平线的偏位)的状态显示。其结果，进一步有助于可视性、图像品质、商品性等的提高。
附图说明
图1是搭载有实施方式的显示控制装置的车辆的一个示例的立体图，其中以透视状态表示车室的一部分。
图2是表示搭载有实施方式的显示控制装置的车辆的一个示例的俯视图(俯瞰图)。
图3是表示显示控制***的结构的一个示例的框图，所述显示控制***具有实施方式的显示控制装置。
图4是实施方式的显示控制装置的CPU的结构的例示性的框图。
图5是表示实施方式的显示控制***中将拍摄图像投影到虚拟投影面的情形的例示性且示意性说明图。
图6是表示实施方式的显示控制装置所使用的虚拟投影面(三维的虚拟模型)的例示性且示意性说明图。
图7是表示实施方式的显示控制***中的车辆形状模型和虚拟投影面的示意性且例示性侧视图。
图8是示意性且例示性地说明实施方式的显示控制装置中因拍摄部的高度位置而引起的三维合成图像的高度方向的显示偏位的产生以及该显示偏位的校正的说明图。
图9是表示示意性三维合成图像的显示例的图，上述三维合成图像说明因拍摄部的高度位置而引起的三维合成图像的高度方向的显示偏位的产生。
图10是表示实施方式的显示控制装置的在应用校正消除了因拍摄部的高度位置而引起的三维合成图像的高度方向的显示偏位的情况下的、示意性的三维合成图像的显示例的图。
图11是在实施方式的显示控制装置中，将虚拟投影面的侧面设定到物体的检测位置的情形的示意性且例示性的侧视图。
具体实施方式
下面对本发明的示例性的实施方式进行公开。下面所示的实施方式的结构以及由该结构所带来的作用、结果以及效果终究只是一个示例。本发明通过以下实施方式所公开的结构以外的结构也能够得以实现，并且能够得到根据基本结构所得到的各种效果和衍生效果中的至少一种。
在本实施方式中，搭载显示控制装置(显示控制***)的车辆1例如可以是以未图示的内燃机为驱动源的汽车即内燃机汽车，也可以是以未图示的电动机为驱动源的汽车即电动汽车或燃料电池汽车等。也可以是以上述二者为驱动源的混合动力汽车，还可以是具有其他驱动源的汽车。此外，车辆1可以搭载各种变速装置，还可以搭载用于驱动内燃机或电动机所必要的各种装置，例如***或部件等。从驱动方式而言，其可以为对全部四个车轮3传递驱动力，以将全部四轮作为驱动轮使用的四轮驱动车辆。与车轮3的驱动相关的装置的形式、数量、以及布局等可以进行各种设定。此外，驱动方式也不限定于四轮驱动方式，例如也可以是前轮驱动方式或后轮驱动方式。
如图1所示的那样，车身2构成供未图示的乘坐者乘坐的车室2a。在车室2a内，以朝向作为乘坐者的驾驶员的座椅2b的状态，设置有转向部4、加速操作部5、制动操作部6、以及变速操作部7等。转向部4例如是从前围板24突出的方向盘，加速操作部5例如是配置于驾驶员的脚下方的加速踏板。此外，制动操作部6例如是配置于驾驶员的脚下方的制动踏板，变速操作部7例如是从中央控制台突出的换挡杆。另外，转向部4、加速操作部5、制动操作部6、以及变速操作部7等不限于此。
此外，车室2a内设置有显示装置8、以及声音输出装置9。显示装置8例如是LCD(Liquid Crystal Display，液晶显示器)或OELD(Organic Electro-LuminescencentDisplay，有机电致发光显示器)等。声音输出装置9例如是扬声器。此外，显示装置8例如由触控面板等透明的操作输入部10覆盖。乘坐者能够透过操作输入部10目视确认显示装置8的显示画面所显示的图像。此外，乘坐者(驾驶员等)通过在与显示装置8的显示画面所显示的图像对应的位置，用手指等对操作输入部10进行触碰、按压或划动等操作，能够进行操作输入。这些显示装置8、声音输出装置9以及操作输入部10等设置于监控装置11，所述监控装置11例如位于前围板24的车宽方向即左右方向上的中央部。监控装置11可以具有开关、旋钮、控制杆以及按钮等未图示的操作输入部。此外，也可以在车室2a内的与监控装置11不同的其他位置设有未图示的声音输出装置，还可以从监控装置11的声音输出装置9及其他的声音输出装置输出声音。另外，监控装置11例如可以兼用于导航***或音响***。
此外，如图1、图2所示的那样，车辆1例如是四轮汽车，具有左右两个前轮3F及左右两个后轮3R。这些四个车轮3均可以构成为能够转向。如图3所示的那样，车辆1具有能使至少两个车轮3转向的转向***13。转向***13具有致动器13a及扭矩传感器13b。转向***13由ECU14(Electronic Control Unit，电子控制单元)等电控制，使致动器13a工作。转向***13例如是电动助力转向***或SBW(Steer By Wire，线控转向)***等。转向***13通过致动器13a向转向部4施加扭矩即辅助扭矩来补充转向力，或通过致动器13a使车轮3转向等。在这种情况下，致动器13a可以使一个车轮3转向，也可以使多个车轮3转向。此外，扭矩传感器13b例如检测驾驶员施加给转向部4的扭矩。
此外，如图2所示的那样，在车身2上设置有例如四个拍摄部15a～15d，作为多个拍摄部15。拍摄部15例如为内设CCD(Charge Coupled Device，电荷耦合器件)或CIS(CMOSImage Sensor，互补金属氧化物半导体图像传感器)等摄像元件的数码摄像头。拍摄部15能够以规定的帧率输出动画数据(拍摄图像数据)。拍摄部15分别具有广角镜头或鱼眼镜头，能够在水平方向上拍摄例如140°～220°的范围。此外，有时拍摄部15的光轴设定为朝向斜下方。由此，拍摄部15依次拍摄包含车辆1能够在其上移动的路面或者物体(作为障碍物，例如，岩石、树木、人、自行车、以及车辆等)的车辆1外部的周边环境，并作为拍摄图像数据输出。
拍摄部15a例如位于车身2后侧的端部2e，设置于后备箱的车门2h的后窗的下方的壁部。拍摄部15b例如位于车身2右侧的端部2f，设置于右侧的车门后视镜2g。拍摄部15c例如位于车身2的前侧即车辆前后方向上的前方侧的端部2c，设置于前保险杠或前格栅等。拍摄部15d例如位于车身2的左侧的端部2d，设置于左侧的车门后视镜2g。
此外，如图3所示的那样，在显示控制***100(显示控制装置)中，ECU14、监控装置11、以及转向***13等以外，制动***18、转向角传感器19、加速传感器20、档位传感器21、以及轮速传感器22等，也经由作为电子通信线路的车内网络23而电连接。车内网络23例如构成为CAN(Controller Area Network，控制器局域网)。ECU14通过车内网络23传送控制信号，能够控制转向***13、制动***18等。此外，ECU14经由车内网络23，能够接收扭矩传感器13b、制动传感器18b、转向角传感器19、加速传感器20、档位传感器21、以及轮速传感器22的检测结果、或操作输入部10等的操作信号等。
此外，如图1、图2所示的那样，在车身2设置有例如四个测距部16a～16d、以及八个测距部17a～17h，作为多个测距部16、17。测距部16、17例如是发射超声波而捕捉其反射波的声纳。声纳也可以称为声纳传感器或者超声波探测器。ECU14根据测距部16、17的检测结果，能够测量位于车辆1的周围的障碍物等的物体是否存在或到该物体的距离(位置)。由此，测距部16、17作为检测存在于车辆1的周围的物体的位置的位置检测部发挥功能。此外，测距部17例如用于检测相对较近距离的物体，而测距部16例如用于检测相对于测距部17更远的相对较长距离的物体。此外，测距部17例如用于检测车辆1的前方以及后方的物体，而测距部16用于检测车辆1的侧方的物体。
ECU14例如具有CPU14a(Central Processing Unit，中央处理单元)、ROM14b(ReadOnly Memory，只读存储器)、RAM14c(Random Access Memory，随机存取存储器)、显示控制部14d、声音控制部14e、SSD14f(Solid State Drive，固态硬盘，快闪存储器)等。CPU14a能够对存储(安装)在ROM14b等非易失性存储装置的程序进行读取，并按照该程序进行运算处理。CPU14a例如进行与由显示装置8显示的图像相关的图像处理。例如，CPU14a对由拍摄部15拍摄到的拍摄图像数据进行运算处理或图像处理，生成三维的周边图像(例如俯瞰图像)。CPU14a能够改变所生成的周边图像的视点。此外，CPU14a能够检测在车辆1的周围是否存在应该注意的物体(例如，其他车辆或墙壁、歩行者等障碍物)、基于检测出的物体的位置改变周边图像的显示形态。此外，CPU14a能够基于检测出的物体，进行向用户(驾驶员或搭乘者)告警物体的存在的处理。
RAM14c临时性地存储用于在CPU14a运算的各种数据。此外，在ECU14的运算处理中，显示控制部14d主要执行由显示装置8显示的图像数据的合成等。此外，在ECU14的运算处理中，声音控制部14e主要执行从声音输出装置9输出的声音数据的处理。此外，SSD14f是可擦写的非易失性的存储部，即使在ECU14的电源被断开的情况下也能够存储数据。此外，CPU14a、ROM14b、RAM14c等能够集成在同一封装体内。此外，ECU14也可以是使用DSP(Digital Signal Processor，数字信号处理器)等其他逻辑运算处理器或逻辑电路等来取代CPU14a的结构。此外，也可以设置HDD(Hard Disk Drive，硬盘驱动器)来代替SSD14f，并且SSD14f或HDD也可以与ECU14分开设置。
制动***18例如是能够抑制制动抱死的ABS(Anti-lock Brake System，防抱死制动***)、能够抑制车辆1在转弯时侧滑的侧滑防止装置(ESC:Electronic StabilityControl，电子稳定控制***)、用于增强制动力(执行制动辅助)的电动制动***、BBW(Brake By Wire，线控制动***)等。制动***18经由致动器18a，对车轮3进而对车辆1施加制动力。此外，制动***18能够根据左右车轮3的转速差等来检测制动抱死、车轮3的空转、以及侧滑的征兆等，从而执行各种控制。制动传感器18b例如是检测制动操作部6的可动部的位置的传感器。
转向角传感器19例如是检测方向盘等转向部4的转向量的传感器。ECU14从转向角传感器19获取驾驶员操作转向部4的转向量、或自动转向时各车轮3的转向量等，来进行各种控制。加速传感器20例如是检测加速操作部5的可动部的位置的传感器。档位传感器21例如是检测变速操作部7的可动部的位置的传感器。轮速传感器22是检测车轮3的旋转量及每单位时间的转数的传感器。轮速传感器22输出表示检测出的转速的轮速脉冲数作为传感器数值。ECU14基于从轮速传感器22获取的传感器数值来对车辆1的移动量等进行运算，并进行各种控制。
另外，上述各种传感器以及致动器的结构、配置、电连接的形态等仅是一个示例，可以进行各种设定(变更)。
ECU14所包含的CPU14a，以例如三维的俯瞰形态的图像显示基于如上所述的拍摄部15拍摄到的拍摄图像数据的车辆1周边的环境。为了实现该功能，CPU14a包括图4所示的那样的各种模块。CPU14a例如包括：图像获取部26、投影面获取部28、校正部30、图像合成部32、三维处理部34、周边图像生成部36、物***置获取部38、以及可变设定部40等。通过对安装并存储在ROM14b等存储装置的程序进行读取并执行，能够实现这些模块。
图像获取部26获取用于显示车辆1的周围所必要的信息。例如，图像获取部26从拍摄车辆1的周边的多个拍摄部15获取多个拍摄图像数据。此外，在本实施方式中，拍摄部15根据在车身2(车辆1)上的设置位置而所固定的高度位置不同。如图1、图5所示的那样，拍摄部15b及拍摄部15d例如固定于车门后视镜2g。另一方面，拍摄部15c如图5所示的那样，固定在车身2的端部2c的低于车门后视镜2g的位置、例如前格栅。在本实施方式中，拍摄部15c设置于车辆1的第一高度位置(第1高度H1)，拍摄车辆1的周围中的第一方向(前方)的状况，称为第1拍摄部，有时将来自第1拍摄部(拍摄部15c)的拍摄图像数据称为第1拍摄图像数据。此外，拍摄部15b或拍摄部15d设置于与第一高度位置(第1高度H1)不同的第二高度位置(第2高度H2)。拍摄部15b或拍摄部15d有时称为第2拍摄部，其拍摄在水平方向上能够与基于第1拍摄图像数据的第1图像接合的、表示第二方向(主要是左侧方或者右侧方)的状况的第2图像。此外，来自第2拍摄部(拍摄部15b或拍摄部15d)的拍摄图像数据称为第2拍摄图像数据。
投影面获取部28例如获取预先存储在ROM14b或SSD14f等的三维形状模型。三维形状模型例如是规定围绕车辆1的周围的虚拟投影面的数据。图5～图7是表示三维形状模型的一个示例。此外，图5是表示将拍摄部15d的拍摄图像Ic投影到虚拟投影面Sp(Sps)的情形的示意图，图6是示意性地表示虚拟投影面Sp的结构的图，图7是示意性地表示虚拟投影面Sp的整体的图。
如图6所示的那样，作为三维形状模型的虚拟投影面Sp是由坐标(X，Y，Z)规定的网格构造的数据，拍摄部15拍摄到的拍摄图像数据的各像素的数据投影到例如网格的交点(由坐标X，Y，Z规定的交点)。此外，如图6所示，虚拟投影面Sp的网格是为了说明而图示的，实际上设定为无法目视确认。
如图5、图7所示的那样，虚拟投影面Sp例如具有沿着地面Gr的底面Spg、以及从底面Spg即地面Gr立起的侧面Sps。地面Gr是与车辆1的高度方向Y(上下方向)正交的水平面，也是车轮3的接地面。底面Spg为大致圆形的平坦面，是以车辆1为基准的水平面。侧面Sps是与底面Spg相接并从底面Spg的一部分向高度方向立起且围绕底面Spg的一部分，例如是曲面。如图5所示的那样，侧面Sps的在通过车辆1的中心Gc且垂直于车辆1的虚拟截面上的形状，例如为椭圆状或抛物线状。侧面Sps例如构成为绕中心线CL的旋转面，该中心线CL通过车辆1的中心Gc且沿着车辆1的高度方向。即侧面Sps围绕着车辆1的周围。
校正部30对表示第1图像的第1拍摄图像数据和表示第2图像的第2拍摄图像数据中的一方的数据，进行高度方向上的校正。在本实施方式中，在将由设置在第一高度位置(第1高度H1)的拍摄部15c拍摄到的第1拍摄图像数据、以及由设置在第二高度位置(第2高度H2)的拍摄部15d拍摄到的第2拍摄图像数据以原始的状态投影到三维形状模型的虚拟投影面Sp的情况下，存在因第一高度位置(第1高度H1)和第二高度位置(第2高度H2)的差异而引起的高度方向的显示内容偏位。由此，为了减轻显示内容的偏位，校正部30进行投影到虚拟投影面Sp的第1拍摄图像数据和第2拍摄图像数据中的至少一方(例如第1拍摄图像数据)的高度方向的校正。此外，为了实现广阔范围的拍摄，拍摄部15所具有的透镜有时是广角镜头或鱼眼镜头，存在图像包含畸变的情况。校正部30也可以基于透镜的畸变进行第1拍摄图像数据和第2拍摄图像数据的校正。此外，高度方向的校正的详细情况在后文叙述。
图像合成部32例如将第1拍摄图像数据和第2拍摄图像数据通过合成其交界部分而连接，生成一个拍摄图像数据，其中，所述第1拍摄图像数据是由图像获取部26获取并由校正部30校正过的拍摄部15c拍摄到的拍摄图像数据，所述第2拍摄图像数据是由图像获取部26获取并由拍摄部15d及拍摄部15b拍摄到的拍摄图像数据。此外，在合成第1拍摄图像数据和第2拍摄图像数据时，如果以原始的状态合成交界部分则存在明显呈现交界线的情况。例如，存在拍摄部15c拍摄到的第1图像和拍摄部15d的拍摄到的第2图像因日光或灯光的打法等的不同而图像的亮度或色调不同的情况。在这种情况下，存在因亮度或色调的不同而呈现交界线，基于合成出的一个拍摄图像数据的图像的品质下降的情况。由此，在虚拟投影面Sp中，设定有投影第1拍摄图像数据的侧面Sps1的水平方向的端部与投影第2拍摄图像数据的侧面Sps2的水平方向的端部重叠的重复区域。在该重复区域中，图像合成部32能够进行利用第1拍摄图像数据和第2拍摄图像数据各自的a％来合成图像的混合处理。通过进行混合处理，可以合成为第1拍摄图像数据的第1图像和第2拍摄图像数据的第2图像之间逐渐转化，因亮度和色调的不同而产生的交界线能够变得不显眼。
此外，在ECU14显示表示车辆1的后方的状况的周边图像的情况下，同样地，图像合成部32合成拍摄部15a拍摄到的第1拍摄图像数据和拍摄部15d及拍摄部15b拍摄到的第2拍摄图像数据，生成一个拍摄图像数据。
三维处理部34将图像合成部32合成出的拍摄图像数据投影到以车辆1的存在位置为基准而设定的围绕车辆1的周围的虚拟投影面Sp(三维形状模型)，生成虚拟投影图像的数据。三维处理部34计算出将拍摄图像Ic如图5所示的那样地投影到虚拟投影面Sp的虚拟投影图像Ip。如果将拍摄图像Ic投影到地面Gr上，则随着远离拍摄部15而图像变长，有时在输出图像中会投映得比实际的长度长。由图5可知，投影到从地面Gr(底面Spg)立起的侧面Sps的虚拟投影图像Ip，与投影到地面Gr的情况相比，其像较短，从而能抑制在输出图像中投映得比实际的长度长。
此外，如图6、图7所示的那样，三维处理部34将存储在ROM14b或SSD14f等的与车辆1对应的车辆形状模型M配置到包括虚拟投影面Sp的三维虚拟空间内。三维处理部34将规定的透过率设定到配置于三维虚拟空间内的车辆形状模型M。由此，在三维虚拟空间，能够经由车辆形状模型M目视确认相反侧的虚拟投影图像Ip。
周边图像生成部36生成从设定于三维虚拟空间内的视点Ep观察注视点En所观察到的投影到三维虚拟空间内的虚拟投影面Sp的虚拟投影图像Ip及车辆形状模型M的周边图像数据，该三维虚拟空间的虚拟投影面Sp投影有拍摄图像数据。周边图像生成部36将生成出的周边图像数据供给到显示控制部14d，显示控制部14d在显示装置8显示三维的周边图像。
在图7中，示意性地示出了以车辆形状模型M为中心的虚拟投影面Sp的整体。周边图像生成部36将投影到虚拟投影面Sp的虚拟投影图像Ip(参照图5)变换为从虚拟的视点Ep观察的周边图像数据(图6未示出)。图7所示的示例为，视点Ep设定于车辆形状模型M的后方，并观察车辆形状模型M的前方(注视点En)的情况。
如此，根据本实施方式的显示控制***100，通过合成由设置在车辆1的多个拍摄部15拍摄到的拍摄图像数据，将从任意的视点Ep观察注视点En所得到的车辆1的周围的状况显示到三维虚拟空间内，能够让使用者(驾驶员等)容易地识别车辆1的周围的状况。
在由测距部16或测距部17检测出了车辆1的周围的物体的情况下，例如检测出了其他车辆、墙壁、以及歩行者等的情况下，物***置获取部38获取该物体的位置，例如到物体的距离。根据物***置获取部38获取到的物体的位置，可变设定部40能够设定由投影面获取部28所获取的三维形状模型规定的虚拟投影面Sp的侧面Sps的位置。例如，预先在ROM14b或SSD14f存储底面Spg的大小不同的多个虚拟投影面Sp(车辆形状模型M与侧面Sps的立起位置的距离不同的虚拟投影面Sp)。然后，在投影面获取部28获取三维形状模型的情况下，可变设定部40也可以选择规定虚拟投影面Sp的三维形状模型，所述虚拟投影面Sp具有从与物体的位置对应的位置(靠近的位置)立起的侧面Sps。此外，在其他示例中，可变设定部40也可以根据物***置获取部38获取到的物体的位置，计算出规定具有从该位置立起的侧面Sps的虚拟投影面Sp的三维形状模型，并提供给投影面获取部28。
图8是说明通过校正部30进行校正来变更相对于虚拟投影面Sp的侧面Sps的、拍摄图像数据的投影位置的图，能够减轻周边图像生成部36生成的三维的周边图像(周边图像数据)的显示内容的偏位。具体而言，能够减轻表示车辆1的前方的第1图像与表示车辆1的侧方的第2图像的高度方向上的偏位。
作为一个示例，图8是说明将第1图像和第2图像投影到虚拟投影面Sp的侧面Sps时的说明图，所述第1图像基于作为第1拍摄部的拍摄部15c所拍摄的第1拍摄图像数据，所述第2图像基于作为第2拍摄部的拍摄部15d所拍摄的第2拍摄图像数据。图8是说明，校正部30不进行校正而如图9所示的那样在高度方向产生图像内容的偏位的情况，以及校正部30进行校正而如图10所示的那样减轻了高度方向上的图像内容的偏位的情况的图。
首先，对校正部30不进行校正的情况进行说明。在物体T存在于与虚拟投影面Sp的侧面Sps的位置不同的位置的情况下(例如，存在于比侧面Sps的位置更加前方的位置的情况)，在虚拟投影面Sp的侧面Sps上的点S0(X0，Y0，Z0)，映出(投影)存在于拍摄部15c(第1拍摄部)的延长线Q1上的物体。在这种情况下，在拍摄部15c拍摄到的第1拍摄图像数据中，在侧面Sps上的点S0上映出(包含)物体T。另一方面，由于在拍摄部15d(第2拍摄部)的延长线Q2上不存在物体T，即使将拍摄部15d拍摄到的第2拍摄图像数据投影到侧面Sps上的点S0，也没有映出(不包含)物体T。在这种情况下，在侧面Sps中，物体T映出到点S0的略微上方的位置。如此，在拍摄部15c(第1拍摄部)和拍摄部15d(第2拍摄部)的延长线上映出的部分不同的情况下，在将拍摄部15c拍摄到的第1图像和拍摄部15d拍摄到的第2图像构成到虚拟投影面Sp的侧面Sps上时，物体T的投影位置在高度方向上产生偏移。其结果，例如，如图9所示的那样，投影到虚拟投影面Sp的侧面Sps1的拍摄部15c(第1拍摄部)拍摄到的第1图像P1的水平线G、与投影到虚拟投影面Sp的侧面Sps2的拍摄部15d(第2拍摄部)拍摄到的第2图像P2的水平线G的高度偏移。如果使三维形状模型的形状变化以使第1图像P1的水平线G和第2图像P2的水平线G一致，则在三维形状模型的上端部产生凹凸，所显示的周边图像的外边缘部等的形状会产生不协调感。此外，存在在虚拟投影面Sp的底面Spg和侧面Sps的连接部分产生偏位，在三维的周边图像产生新的不协调感的情况。
如上所述的那样，第1图像P1的水平线G和第2图像P2的水平线G的偏位的主要原因是各拍摄部15的高度的不同。因此，校正部30基于各拍摄部15的高度位置的差校正投影到虚拟投影面Sp的第1图像P1和第2图像P2中的至少一方的投影位置。具体而言，基于拍摄部15c(第1拍摄部)的第一高度位置(第1高度H1)和拍摄部15d(第2拍摄部)的第二高度位置(第2高度H2)的高度比(参照图5)校正投影到虚拟投影面Sp的第1图像P1和第2图像P2中的至少一方的投影位置，以使第1图像P1的内容和第2图像P2的内容在高度方向上整合。在这种情况下，计算与三维形状模型所规定的虚拟投影面Sp的侧面Sps上的点S0的三维坐标(X0，Y0，Z0)对应的第1图像P1的二维坐标(U，V)的对应关系。即，计算出包括高度分量Y1的点S1的三维坐标(X0，Y1，Z0)，所述高度分量Y1是仅将点S0的三维坐标(X0，Y0，Z0)的高度分量Y0根据下面所示的(式1)而校正出的。然后，将与点S1对应的第1图像P1的二维坐标(U，V)投影到点S0的三维坐标(X0，Y0，Z0)。
Y1＝Y0×(第1高度H1)/(第2高度H2)····(式1)
在图8的情况下，由于拍摄前方的拍摄部15c(第1拍摄部)固定在与拍摄侧方的拍摄部15d(第2拍摄部)相比低的位置，校正后的点S1的三维坐标(X0，Y1，Z0)成为与校正前的点S0的三维坐标(X0，Y0，Z0)相比低的位置。如图8所示的那样，存在于通过点S1的三维坐标(X0，Y1，Z0)的拍摄部15c(第1拍摄部)的延长线Q3上的物体，与存在于通过点S0的三维坐标(X0，Y0，Z0)的拍摄部15c(第1拍摄部)的延长线Q2上的物体相比，随着第一高度位置(第1高度H1)和第二高度位置(第2高度H2)的高度比而靠近。即，拍摄部15d(第2拍摄部)的延长线Q2与地面Gr的交点和拍摄部15c(第1拍摄部)的延长线Q3与地面Gr的交点成为几乎相同的位置R。因此，图像合成部32通过将与校正后的点S1的三维坐标(X0，Y1，Z0)对应的第1图像P1的二维坐标(U，V)投影到点S0的三维坐标(X0，Y0，Z0)的位置，将更近位置的图像投影到虚拟投影面Sp的侧面Sps。由此，第1图像P1的投影位置在侧面Sps上根据第一高度位置(第1高度H1)和第二高度位置(第2高度H2)的高度比而校正到上方，第1图像P1的内容和第2图像P2的内容在高度方向上整合。因此，图像合成部32生成以交界部分大致一致的状态接合了第1图像P1和第2图像P2的内容的一个拍摄图像的数据。其结果，如图10所示的那样，拍摄部15c(第1拍摄部)拍摄的投影到虚拟投影面Sp的侧面Sps1的第1图像P1的水平线G、和拍摄部15d和拍摄部15b(第2拍摄部)拍摄的投影到虚拟投影面Sp的侧面Sps2的第2图像P2的水平线G几乎一致。因此，能够显示减轻了不协调感的三维的周边图像。
此外，由于通常的车辆1的左右的车门后视镜2g与驾驶席之间的距离不同，由此左右的角度不同。其结果，固定于左右的车门后视镜2g的拍摄部15b和拍摄部15d的高度位置(离地距离)不同。因此，计算高度分量Y1时的第二高度位置(第2高度H2)也可以使用拍摄部15b和拍摄部15d的第二高度位置(第2高度H2)的平均值。在这种情况下，相对于夹着第1图像P1而合成在其左右的第2图像P2，能够分别适当地减轻第1图像P1的显示偏位。
此外，由校正部30进行的点S1的三维坐标(X0，Y1，Z0)的计算可以是，例如在车辆1的电源导通(ON)时、例如点火开关导通(ON)时，从存储于ROM14b等的规格数据获取各拍摄部15的高度位置来执行一次，将其结果存储到ROM14b或SSD14f即可。由此，每当由图像获取部26获取拍摄部15的拍摄图像数据时(描绘各帧时)，图像合成部32将在高度方向上进行了校正的第1图像P1和第2图像P2在其交界部分合成来生成一个拍摄图像数据。接着，三维处理部34和周边图像生成部36基于视点Ep和注视点En的设定状态，使用进行了高度整合的拍摄图像数据，生成如图10所示的那样的周边图像。
此外，在图10所示的示例中，示出了拍摄部15c(第1拍摄部)拍摄到的第1图像P1的描画位置根据第一高度位置(第1高度H1)和第二高度位置(第2高度H2)的高度比而校正到上方的示例。在其他的实施方式中，也可以将拍摄部15d及拍摄部15d(第2拍摄部)拍摄到的第2图像P2的描画位置根据第一高度位置(第1高度H1)和第二高度位置(第2高度H2)的高度而校正到下方。其结果，与上述的示例同样地，第1图像P1的内容和第2图像P2的内容在高度方向上整合，能够显示在交界部分无不协调感地接合了第1图像P1和第2图像P2的内容的周边图像。
如此，根据本实施方式的显示控制***100，由于没有改变虚拟投影面Sp的形状，所显示的三维合成图像的外边缘部等的形状没有变化。因此，不会产生显示图像的商品性的下降，且能够减轻高度方向的图像内容的显示偏位。此外，校正部30不是在虚拟投影面Sp的侧面Sps上一律以例如Y1＝Y-α的方式校正为高度分量Y1，而是根据第一高度位置(第1高度H1)和第二高度位置(第2高度H2)的高度比进行校正。其结果，不会产生虚拟投影面Sp的底面Spg和侧面Sps的交界部分的偏位。因此，能够实现虚拟投影面Sp整体来说没有不协调感的显示。
然而，如上所述，即使减轻了在虚拟投影面Sp的侧面Sps上的高度方向的显示偏位，但在虚拟投影面Sp中侧面Sps的从底面Spg立起的位置被固定的情况下，也存在在显示内容中出现不协调感的情况。例如，如图11所示的那样，在物体T1存在于与侧面Sps相比靠近车辆1的位置的情况下，如果将物体T1投影到虚拟投影面Sp，则物体T1显示为横跨底面Spg和侧面Sps。其结果，显示出比实际的物体T1大(长)的虚拟投影图像Ip1，有时会在显示装置8(参照图3)显示为犹如存在比实际的物体T1大的物体。
在此，在由测距部16或测距部17(图3参照)在车辆1的周围检测出物体的情况下，物***置获取部38获取该物体的位置，例如到物体T1的距离。接着，可变设定部40设定为，通过投影面获取部28获取从物***置获取部38获取到的物体T1的位置立起侧面Sps3的虚拟投影面Sp。如上所述，在ROM14b或SSD14f存储有底面Spg的大小不同的多个虚拟投影面Sp(车辆形状模型M与侧面Sps的立起位置的距离不同的虚拟投影面Sp)的情况下，可变设定部40发送控制信号，以使投影面获取部28读取与到物体T1的距离对应的虚拟投影面Sp。此外，可变设定部40也可以根据物***置获取部38获取到的物体T1的位置，计算出规定具有从该位置立起的侧面Sps3的虚拟投影面Sp的三维形状模型，并提供到投影面获取部28。在这种情况下，由于物体T1投影到侧面Sps3而实质上没有投影到底面Spg，能够在三维虚拟空间内显示更接近于实物形象的大小(高度)的虚拟投影图像Ip2。接着，为了使拍摄部15d(第2拍摄部)的延长线Q2与地面Gr的交点和拍摄部15c(第1拍摄部)的延长线Q3与地面Gr的交点成为几乎相同的位置R，将与校正后的点S1的三维坐标(X0，Y1，Z0)对应的第1图像P1的二维坐标(U，V)投影到点S0的三维坐标(X0，Y0，Z0)的位置。其结果，能够进行容易地识别实物的物体T1的大小并减轻了高度方向的显示偏位的、进一步减轻了不协调感的三维的周边图像的显示。即，能够进行更加高品质的周边图像的显示。
此外，在由测距部16，17检测出物体T1的情况下，ECU14也可以经由显示装置8和声音输出装置9告知该物体T1的存在。此外，也可以告知虚拟投影面Sp的侧面Sps设定在物体T1的位置。此外，物体T1的检测也可以例如使用图像识别来代替测距部16，17。例如，如果拍摄部15由立体摄像头构成，则能够通过公知的图像处理检测到物体T1的距离。
此外，在上述实施方式中，示出了显示朝向车辆1的前方的三维的周边图像的示例。显示控制***100能够通过例如操作输入部10的操作等改变视点Ep的位置，能够进行如从更高的视点Ep俯视那样的三维的俯瞰显示，或者能够显示从更低的视点Ep朝向几乎水平的三维的周边图像。同样地，如果将视点Ep设定在车辆1的前方而注视点En设定到车辆1的后方，能够显示朝向车辆1的后方的三维的周边图像。在这种情况下，通过使用拍摄部15a拍摄到的图像作为第1图像P1，使用拍摄部15b及拍摄部15d拍摄到的图像作为第2图像P2，能够获得与显示前方的情况相同的效果。
在上述示例中，示出了每当点火开关每导通(ON)时，校正部30根据各拍摄部15的高度位置计算出高度比，计算出在校正第1图像的投影位置时使用的点S1的三维坐标(X0，Y1，Z0)的示例。各拍摄部15的高度位置在车辆的制造工厂或经销商等被固定，之后除拍摄部15的修理或更换等以外，通常不会改变。因此，也可以是，在制造工厂或经销商等预先使用基于各拍摄部15的高度位置的高度比计算出例如校正第1图像的投影位置时所使用的点S1的三维坐标(X0，Y1，Z0)，并将对应的二维坐标(U，V)存储到ROM14b或SSD14f。在这种情况下，能够减轻ECU14的处理负担，性能较低的ECU14也能够使用，存在选定ECU14时的选择范围变宽，并能够利用低成本的ECU14的优点。
在上述的实施方式中，示出了虚拟投影面Sp由底面Spg和侧面Sps构成的示例，在其他实施方式中，也可以仅由侧面Sps构成虚拟投影面Sp。即，显示于显示装置8的图像仅显示从车辆1离开规定距离的位置的立起面。在这种情况下，校正部30也可以使用第1拍摄部(例如拍摄部15c)的第一高度位置(第1高度H1)和第2拍摄部(例如、拍摄部15b，15d)的第二高度位置(第2高度H2)的差异(差别)，校正投影到侧面Sps(虚拟投影面Sp)的图像的内容(投影位置)。在这种情况下，由于没有改变侧面Sps(虚拟投影面Sp)的形状，因此所显示的三维合成图像的外边缘部等的形状没有变化，不会产生显示图像的商品性的下降，能够减轻高度方向的图像内容的显示偏位。
对本发明的几个实施方式进行了说明，不过这些实施方式是作为示例而提出的，不意在限定发明的范围。这些新颖的实施方式能够用其他各种方式实施，在不脱离发明要旨的范围内能够进行各种省略、置换、变更。这些实施方式及其变形包含在发明范围或要旨中，并且包含在权利要求书中所记载的发明以及其等同的范围中。
符号说明
1…车辆、8…显示装置、10…操作输入部、14…ECU、14a…CPU、15…拍摄部、15b，15d…拍摄部(第2拍摄部)、15c…拍摄部(第1拍摄部)、16，17…测距部、26…图像获取部、28…投影面获取部、30…校正部、32…图像合成部、34…三维处理部、36…周边图像生成部、38…物***置获取部、40…可变设定部、100…显示控制***、H1…第1高度(第一高度位置)、H2…第2高度(第二高度位置)、Sp…虚拟投影面、P1…第1图像、P2…第2图像。

Claims (2)

1.一种显示控制装置，其特征在于，具备：
图像获取部，其获取第1图像以及第2图像，所述第1图像是从第1拍摄部获得的，所述第1拍摄部设置于车辆的第一高度位置，拍摄所述车辆周围中的第一方向的状况，所述第2图像是从第2拍摄部获得的，所述第2拍摄部设置于与所述第一高度位置不同的第二高度位置，拍摄与所述第一方向不同的第二方向的状况；
投影面获取部，其获取三维的虚拟投影面，所述三维的虚拟投影面至少具备从所述车辆的接地面向高度方向立起的侧面，所述第1图像和所述第2图像能够投影到所述三维的虚拟投影面；
校正部，其基于所述第一高度位置和所述第二高度位置的差异，在高度方向上校正投影到所述虚拟投影面的所述第1图像和所述第2图像中的至少一方的投影位置，以整合所述第1图像的内容和所述第2图像的内容；以及
图像合成部，其生成三维合成图像，所述三维合成图像包括通过校正而在高度方向上整合后的所述第1图像和所述第2图像。
2.根据权利要求1所述的显示控制装置，其特征在于：
所述校正部基于所述第一高度位置和所述第二高度位置的高度比校正所述投影位置。
CN201880048325.3A 2017-08-03 2018-02-21 显示控制装置 Active CN110945558B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017150671A JP7039879B2 (ja) 2017-08-03 2017-08-03 表示制御装置
JP2017-150671 2017-08-03
PCT/JP2018/006260 WO2019026320A1 (ja) 2017-08-03 2018-02-21 表示制御装置

Publications (2)

Publication Number Publication Date
CN110945558A CN110945558A (zh) 2020-03-31
CN110945558B true CN110945558B (zh) 2023-06-06

Family

ID=65233362

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880048325.3A Active CN110945558B (zh) 2017-08-03 2018-02-21 显示控制装置

Country Status (5)

Country Link
US (1) US11383642B2 (zh)
EP (1) EP3664014B1 (zh)
JP (1) JP7039879B2 (zh)
CN (1) CN110945558B (zh)
WO (1) WO2019026320A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018131165A1 (ja) * 2017-01-16 2018-07-19 富士通株式会社 情報処理プログラム、情報処理方法および情報処理装置
JP6962372B2 (ja) * 2017-08-25 2021-11-05 株式会社ソシオネクスト 補正装置、補正プログラム及び記録媒体
JP6909151B2 (ja) * 2017-12-28 2021-07-28 アルパイン株式会社 車載システム
DE102018214875A1 (de) * 2018-08-31 2020-03-05 Audi Ag Verfahren und Anordnung zum Erzeugen einer Umgebungsrepräsentation eines Fahrzeugs und Fahrzeug mit einer solchen Anordnung
WO2020068960A1 (en) * 2018-09-26 2020-04-02 Coherent Logix, Inc. Any world view generation
JP7000383B2 (ja) * 2019-07-04 2022-01-19 株式会社デンソー 画像処理装置および画像処理方法
US11948315B2 (en) * 2020-12-31 2024-04-02 Nvidia Corporation Image composition in multiview automotive and robotics systems

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008309519A (ja) * 2007-06-12 2008-12-25 Panasonic Corp 画像処理を用いた物体検出装置
CN102203659A (zh) * 2008-11-05 2011-09-28 约翰逊控股公司 用于机动车的车辆显示***或投影显示器及其校准方法
EP2733937A1 (en) * 2011-07-12 2014-05-21 Nissan Motor Co., Ltd Vehicle monitoring device, vehicle monitoring system, terminal device, and vehicle monitoring method
CN106204521A (zh) * 2015-06-01 2016-12-07 东芝阿尔派·汽车技术有限公司 俯瞰图像生成装置
WO2017056989A1 (ja) * 2015-09-30 2017-04-06 アイシン精機株式会社 車両用画像処理装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100438623C (zh) * 1999-04-16 2008-11-26 松下电器产业株式会社 图象处理装置及监视***
US7741961B1 (en) * 2006-09-29 2010-06-22 Canesta, Inc. Enhanced obstacle detection and tracking for three-dimensional imaging systems used in motor vehicles
JP5057936B2 (ja) * 2007-11-09 2012-10-24 アルパイン株式会社 鳥瞰画像生成装置および方法
JP5483120B2 (ja) * 2011-07-26 2014-05-07 アイシン精機株式会社 車両周辺監視システム
WO2015194501A1 (ja) 2014-06-20 2015-12-23 クラリオン株式会社 映像合成システムとそのための映像合成装置及び映像合成方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008309519A (ja) * 2007-06-12 2008-12-25 Panasonic Corp 画像処理を用いた物体検出装置
CN102203659A (zh) * 2008-11-05 2011-09-28 约翰逊控股公司 用于机动车的车辆显示***或投影显示器及其校准方法
EP2733937A1 (en) * 2011-07-12 2014-05-21 Nissan Motor Co., Ltd Vehicle monitoring device, vehicle monitoring system, terminal device, and vehicle monitoring method
CN106204521A (zh) * 2015-06-01 2016-12-07 东芝阿尔派·汽车技术有限公司 俯瞰图像生成装置
JP2016225865A (ja) * 2015-06-01 2016-12-28 東芝アルパイン・オートモティブテクノロジー株式会社 俯瞰画像生成装置
WO2017056989A1 (ja) * 2015-09-30 2017-04-06 アイシン精機株式会社 車両用画像処理装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Liu Lu等.The vehicle-borne electronic image stabilization system based on Gray Projection Algorithm.《 IEEE Xplore》.2011,全文. *
文小军 ; 郑生生 ; 葛丁飞 ; .两步投影法校正图像采集中的梯形畸变.怀化学院学报(自然科学).2007,(第03期),全文. *

Also Published As

Publication number Publication date
EP3664014A4 (en) 2020-07-08
EP3664014A1 (en) 2020-06-10
CN110945558A (zh) 2020-03-31
EP3664014B1 (en) 2022-08-10
WO2019026320A1 (ja) 2019-02-07
US11383642B2 (en) 2022-07-12
JP7039879B2 (ja) 2022-03-23
US20200238907A1 (en) 2020-07-30
JP2019028920A (ja) 2019-02-21

Similar Documents

Publication Publication Date Title
CN110945558B (zh) 显示控制装置
US9216765B2 (en) Parking assist apparatus, parking assist method and program thereof
JP6115104B2 (ja) 車両の制御装置、及び制御方法
CN111095921B (zh) 显示控制装置
US10467789B2 (en) Image processing device for vehicle
CN110997409B (zh) 周边监控装置
CN111066319B (zh) 图像处理装置
EP3002727B1 (en) Periphery monitoring apparatus and periphery monitoring system
CN110877573A (zh) 车辆周边显示装置
JP7013751B2 (ja) 画像処理装置
CN110959289B (zh) 周边监控装置
JP2020127171A (ja) 周辺監視装置
JP2020053819A (ja) 撮像システム、撮像装置、および信号処理装置
JP6610140B2 (ja) 周辺監視装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20220218

Address after: Aichi Prefecture, Japan

Applicant after: AISIN Co.,Ltd.

Address before: Aichi Prefecture, Japan

Applicant before: AISIN SEIKI Kabushiki Kaisha

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant