CN110877575A - 周边监视装置 - Google Patents

周边监视装置 Download PDF

Info

Publication number
CN110877575A
CN110877575A CN201910836583.4A CN201910836583A CN110877575A CN 110877575 A CN110877575 A CN 110877575A CN 201910836583 A CN201910836583 A CN 201910836583A CN 110877575 A CN110877575 A CN 110877575A
Authority
CN
China
Prior art keywords
vehicle
image
virtual
control unit
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910836583.4A
Other languages
English (en)
Inventor
渡边一矢
山本欣司
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin Corp
Original Assignee
Aisin Seiki Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin Seiki Co Ltd filed Critical Aisin Seiki Co Ltd
Publication of CN110877575A publication Critical patent/CN110877575A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/24—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/029—Steering assistants using warnings or proposing actions to the driver without influencing the steering system
    • B62D15/0295—Steering assistants using warnings or proposing actions to the driver without influencing the steering system by overlaying a vehicle path based on present steering angle over an image without processing that image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B60R2300/305—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images merging camera image with lines or icons
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明提供周边监视装置。能够根据在显示部显示的图像容易识别出检测部是否处于动作状态。作为一个例子，实施方式的周边监视装置具备：获取部，其获取车辆的现在的转向角；图像获取部，其从拍摄车辆的周边的拍摄部获取拍摄图像；以及控制部，其使包含表示车辆的车辆图像和基于拍摄图像的表示车辆的周边的周边图像在内的合成图像在显示部显示，当能够检测和车辆接触的物体的检测部处于动作状态时，以合成图像内的通过车辆图像表示的车辆的位置为基准，使表示车辆的形状的虚拟的虚拟车辆图像重叠于车辆以获取部获取到的现在的转向角行进规定距离之后的位置并显示。

Description

周边监视装置
技术领域
本发明涉及周边监视装置。
背景技术
开发了一种技术，基于通过拍摄部拍摄车辆的周边得到的拍摄图像，生成包含车辆的车辆图像及其周边的周边图像在内的合成图像，使包含该生成的合成图像在内的显示画面在显示部显示，向驾驶员提供车辆的周边状况。
专利文献1：日本专利第5529058号公报
专利文献2：日本专利第5605606号公报
专利文献3：日本专利第5182137号公报
然而，虽然车辆具有检测有可能和该车辆接触的物体的检测部，但希望能够从在显示部显示的显示画面容易地识别出该检测部是否处于动作状态。
发明内容
因此，作为实施方式的课题之一，提供一种周边监视装置，能够从在显示部显示的图像容易识别出检测部是否处于动作状态。
作为一个例子，实施方式的周边监视装置具备：获取部，其获取车辆的现在的转向角；图像获取部，其从拍摄车辆的周边的拍摄部获取拍摄图像；以及控制部，其使包含表示车辆的车辆图像和基于拍摄图像的表示车辆的周边的周边图像在内的合成图像在显示部显示，当能够检测和车辆接触的物体的检测部处于动作状态时，以合成图像内的通过车辆图像表示的车辆的位置为基准，使表示车辆的形状的虚拟的虚拟车辆图像重叠显示于车辆以获取部获取到的现在的转向角行进规定距离之后的位置。因此，作为一个例子，车辆的驾驶员能够基于在显示部是否显示有虚拟车辆图像，根据在显示部显示的图像容易识别出检测部是否处于动作状态。
另外，对于实施方式的周边监视装置而言，作为一个例子，当通过检测部检测出物体时，控制部使虚拟车辆图像内的和物体接触的部分图像的显示方式变化，并且使虚拟车辆图像的移动停止在合成图像内的车辆和上述物体接触的接触位置。因此，作为一个例子，由于车辆的驾驶员能够从虚拟车辆图像识别出车辆的车体中的和物体接触的位置来驾驶车辆，所以能够容易避免车辆和检测出的物体接触。
另外，对于实施方式的周边监视装置而言，作为一个例子，虚拟车辆图像是表示由多边形构成的车辆的形状的图像，部分图像是构成虚拟车辆图像的多边形中的和物体接触的部分的多边形。因此，作为一个例子，由于车辆的驾驶员能够从虚拟车辆图像识别出车辆的车体中的和物体接触的位置来驾驶车辆，所以能够容易避免车辆和检测出的物体接触。
另外，对于实施方式的周边监视装置而言，作为一个例子，控制部对应于物体的位置与通过虚拟车辆图像表示的车辆的位置之间的距离变更部分图像的显示方式。因此，作为一个例子，通过确认部分图像的显示方式的变化，能够更详细地把握车辆和物体的位置关系，因此能够更容易驾驶车辆，以免车辆和该检测出的物体接触。
另外，对于实施方式的周边监视装置而言，作为一个例子，当检测部处于动作状态时，控制部相对于合成图像内的通过车辆图像表示的车辆的行进方向，显示能够识别物体相对于车辆趋于接近的方向的标识，当通过检测部检测出和车辆接近的物体时，变更标识的显示方式。因此，作为一个例子，车辆的驾驶员通过视觉确认显示方式变更了的接近物标识，能够容易识别出有可能和车辆接触的物体是否从某个方向接近。
另外，对于实施方式的周边监视装置而言，作为一个例子，控制部使虚拟车辆图像重叠显示于车辆和物体接触的接触位置、或者行进至接触前的位置时的位置，作为车辆行进规定距离之后的位置。因此，作为一个例子，车辆的驾驶员能够容易识别出在哪个位置车辆和物体接触。
另外，对于实施方式的周边监视装置而言，作为一个例子，车辆图像是车辆的俯瞰图像。因此，作为一个例子，能够正确把握车辆及其周边的物体的位置关系。
另外，对于实施方式的周边监视装置而言，作为一个例子，虚拟车辆图像是表示车辆的三维形状的图像。因此，作为一个例子，能够使更真实的虚拟车辆图像在显示部显示。
另外，对于实施方式的周边监视装置而言，作为一个例子，虚拟车辆图像是表示车辆的形状的半透明的图像。因此，作为一个例子，车辆的驾驶员能够容易区别虚拟车辆图像和车辆图像，并且能够直观地识别出虚拟车辆图像是表示车辆的未来位置的图像。
另外，对于实施方式的周边监视装置而言，作为一个例子，虚拟车辆图像是强调显示了车辆的轮廓的图像。因此，作为一个例子，车辆的驾驶员能够根据虚拟车辆图像容易识别出车辆的未来位置。
另外，对于实施方式的周边监视装置而言，作为一个例子，虚拟车辆图像是随着从车辆的轮廓朝向内侧透过率提高了的图像。因此，作为一个例子，车辆的驾驶员能够根据虚拟车辆图像容易识别出车辆的未来位置。
附图说明
图1是表示对搭载第一实施方式的周边监视装置的车辆的车室的一部分进行透视得到的状态的一个例子的立体图。
图2是第一实施方式的车辆的一个例子的俯视图。
图3是表示第一实施方式的车辆的功能结构的一个例子的框图。
图4是表示第一实施方式的车辆具有的ECU的功能结构的一个例子的框图。
图5是表示第一实施方式的车辆具有的ECU所显示的显示画面的显示例子的图。
图6是表示第一实施方式的车辆具有的ECU所显示的显示画面的显示例子的图。
图7是用于说明第一实施方式的车辆具有的ECU所显示的虚拟车辆图像的显示方法的一个例子的图。
图8是用于说明第一实施方式的车辆具有的ECU所显示的虚拟车辆图像的显示方法的一个例子的图。
图9是用于说明通过第一实施方式的车辆具有的ECU决定构成虚拟车辆图像的多边形的颜色的决定方法的一个例子的图。
图10是表示第一实施方式的车辆具有的ECU所显示的显示画面的一个例子的图。
图11是用于说明通过第一实施方式的车辆具有的ECU强调显示部分图像的处理的一个例子的图。
图12是用于说明通过第一实施方式的车辆具有的ECU强调显示部分图像的处理的一个例子的图。
图13是表示第二实施方式的车辆具有的ECU所显示的显示画面的一个例子的图。
图14是表示第二实施方式的车辆具有的ECU所显示的显示画面的一个例子的图。
图15是表示第二实施方式的车辆具有的ECU所显示的显示画面的一个例子的图。
图16是表示第二实施方式的车辆具有的ECU所显示的显示画面的一个例子的图。
附图标记说明：
1…车辆；8…显示装置；14…ECU；14a…CPU；14b…ROM；14c…RAM；14d…显示控制部；14f…SSD；15…拍摄部；16…雷达；17…声纳；400…图像获取部；401…获取部；402…检测部；403…控制部。
具体实施方式
以下，公开本发明的例示的实施方式。以下所示的实施方式的结构和通过该结构带来的作用、结果以及效果是一个例子。本发明能够通过除在以下的实施方式中公开的结构以外的结构来实现，并且能够获得基于基本结构的各种效果、派生效果中的至少一个效果。
搭载本实施方式的周边监视装置的车辆可以是将内燃机(发动机)作为驱动源的汽车(内燃机汽车)，也可以是将电动机(马达)作为驱动源的汽车(电动汽车、燃料电池汽车等)，还可以是将内燃机和电动机双方作为驱动源的汽车(混合动力汽车)。另外，车辆能够搭载各种变速装置、内燃机、电动机的驱动所需的各种装置(***、部件等)。另外，车辆中的与车轮的驱动有关的装置的方式、个数、布局等能够进行各种设定。
(第一实施方式)
图1是表示对搭载第一实施方式的周边监视装置的车辆的车室的一部分进行透视得到的状态的一个例子的立体图。如图1所示，车辆1具备车体2、转向操纵部4、加速操作部5、制动操作部6、变速操作部7以及监视装置11。车体2具有用于乘客乘车的车室2a。在车室2a内，以作为乘客的驾驶员在座席2b落座的状态，设置有转向操纵部4、加速操作部5、制动操作部6、变速操作部7等。转向操纵部4例如是从仪表板24强调的方向盘。加速操作部5例如是位于驾驶员的脚下的位置的加速踏板。制动操作部6例如是位于驾驶员的脚下的位置的制动踏板。变速操作部7例如是从中控台强调的变速杆。
监视装置11例如设置于仪表板24的车宽方向(即，左右方向)的中央部。监视装置11例如也可以具有导航***或者音响***等功能。监视装置11具有显示装置8、声音输出装置9以及操作输入部10。另外，监视装置11也可以具有开关、刻度盘、操纵杆以及按钮等各种操作输入部。
显示装置8由LCD(Liquid Crystal Display：液晶显示器)、OELD(OrganicElectroluminescent Display：有机电致发光显示器)等构成，能够基于图像数据显示各种图像。声音输出装置9由扬声器等构成，基于声音数据输出各种声音。声音输出装置9也可以设置于车室2a内的监视装置11以外的不同位置。
操作输入部10由触摸面板等构成，乘客能够输入各种信息。另外，操作输入部10设置于显示装置8的显示画面，能够使在显示装置8显示的图像透过。由此，操作输入部10能够使乘客视觉确认在显示装置8的显示画面显示的图像。操作输入部10通过检测显示装置8的显示画面上的乘客的触摸操作，接收乘客进行的各种信息的输入。
图2是第一实施方式的车辆的一个例子的俯视图。如图1以及图2所示，车辆1是四轮汽车等，具有左右两个前轮3F和左右两个后轮3R。四个车轮3中的全部或者一部分能够转向。
车辆1搭载多个拍摄部15(车载照相机)。在本实施方式中，车辆1例如搭载四个拍摄部15a～15d。拍摄部15是具有CCD(Charge Coupled Device：电荷耦合器件)或者CIS(CMOS Image Sensor：CMOS图像传感器)等拍摄元件的数字照相机。拍摄部15能够以规定的帧率拍摄车辆1的周围。而且，拍摄部15输出拍摄车辆1的周围得到的拍摄图像。拍摄部15分别具有广角透镜或者鱼眼透镜，在水平方向上，例如能够拍摄140°～220°的范围。另外，拍摄部15的光轴还存在朝向斜下方设定的情况。
具体而言，拍摄部15a例如位于车体2的后侧的端部2e，设置于后舱的门2h的后窗的下方的壁部。而且，拍摄部15a能够拍摄车辆1的周围中的该车辆1的后方的区域。拍摄部15b例如位于车体2的右侧的端部2f，设置于右侧的门镜2g。而且，拍摄部15b能够拍摄车辆1的周围中的该车辆的侧方的区域。拍摄部15c例如位于车体2的前侧，即车辆1的前后方向的前侧的端部2c，设置于前保险杠、前格栅等。而且，拍摄部15c能够拍摄车辆1的周围中的该车辆1的前方的区域。拍摄部15d例如位于车体2的左侧，即车宽方向的左侧的端部2d，设置于左侧的门镜2g。而且，拍摄部15d能够拍摄车辆1的周围中的该车辆1的侧方的区域。
另外，车辆1具有多个雷达16，它们能够测量和在车辆1的外部存在的物体的距离。雷达16是毫米波雷达等，能够测量和在车辆1的行进方向存在的物体的距离。在本实施方式中，车辆1具有多个雷达16a～16d。雷达16c设置于车辆1的前保险杠的右侧的端部，能够测量和在车辆1的右侧的前方存在的物体的距离。另外，雷达16d设置于车辆1的前保险杠的左侧的端部，能够测量和在车辆1的左侧的前方存在的物体的距离。雷达16b设置于车辆1的后保险杠的右侧的端部，能够测量和在车辆1的右侧的后方存在的物体的距离。另外，雷达16a设置于车辆1的后保险杠的左侧的端部，能够测量和在车辆1的左侧的后方存在的物体的距离。
另外，车辆1具有声纳17，该声纳17能够测量和与该车辆1近距离存在的外部的物体的距离。在本实施方式中，车辆1具有多个声纳17a～17h。声纳17a～17d设置于车辆1的后保险杠，能够测量和在车辆的后方存在的物体的距离。声纳17e～17h设置于车辆1的前保险杠，能够测量和在车辆1的前方存在的物体的距离。
图3是表示第一实施方式的车辆的功能结构的一个例子的框图。如图3所示，车辆1具备转向操纵***13、制动***18、转向角传感器19、加速传感器20、换挡传感器21、车轮速传感器22、GPS(Global Positioning System：全球定位***)接收机25、车内网络23以及ECU(Electronic Control Unit：电子控制单元)14。监视装置11、转向操纵***13、雷达16、声纳17、制动***18、转向角传感器19、加速传感器20、换挡传感器21、车轮速传感器22、GPS接收机25以及ECU14经由作为电气通信线路的车内网络23电连接。车内网络23由CAN(Controller Area Network：控制器区域网络)等构成。
转向操纵***13是电动助力转向***、线控转向(SBW：Steer By Wire)***等。转向操纵***13具有促动器13a以及扭矩传感器13b。而且，转向操纵***13通过ECU14等进行电控制，使促动器13a动作，对转向操纵部4施加扭矩来弥补转向操纵力，由此将车轮3转向。扭矩传感器13b检测驾驶员施加于转向操纵部4的扭矩，并将该检测结果发送至ECU14。
制动***18包含控制车辆1的制动器的锁止的ABS(Anti-lock Brake System：防抱死制动***)、抑制转弯时的车辆1的侧滑的侧滑防止装置(ESC：Electronic StabilityControl：电子稳定控制)、增强制动力辅助制动器的电动制动***以及线控制动***(BBW：Brake By Wire)。制动***18具有促动器18a以及制动传感器18b。制动***18通过ECU14等进行电控制，经由促动器18a对车轮3施加制动力。制动***18根据左右的车轮3的旋转差等检测制动器的锁止、车轮3的空转以及侧滑的征兆等，执行抑制制动器的锁止、车轮3的空转以及侧滑的控制。制动传感器18b是检测作为制动操作部6的可动部的制动踏板的位置的位移传感器，并将制动踏板的位置的检测结果发送至ECU14。
转向角传感器19是检测方向盘等转向操纵部4的转向操纵量的传感器。在本实施方式中，转向角传感器19由霍尔元件等构成，检测转向操纵部4的旋转部分的旋转角度作为转向操纵量，并将该检测结果发送至ECU14。加速传感器20是检测作为加速操作部5的可动部的加速踏板的位置的位移传感器，并将该检测结果发送至ECU14。GPS接收机25基于从人工卫星接收到的电波获取车辆1的现在位置。
换挡传感器21是检测变速操作部7的可动部(杆、臂、按钮等)的位置的传感器，并将该检测结果发送至ECU14。车轮速传感器22是具有霍尔元件等并且检测车轮3的旋转量、单位时间的车轮3的转速的传感器，并将该检测结果发送至ECU14。
ECU14由计算机等构成，通过硬件和软件配合，管理车辆1的控制整体。具体而言，ECU14具备CPU(Central Processing Unit：中央处理器)14a、ROM(Read only Memory：只读存储器)14b、RAM(Random Access Memory：随机存储器)14c、显示控制部14d、声音控制部14e以及SSD(Solid State Drive：固态硬盘)14f。CPU14a、ROM14b以及RAM14c也可以设置于同一电路基板内。
CPU14a读取存储于ROM14b等非易失性存储装置的程序，根据该程序执行各种运算处理。例如，CPU14a执行针对在显示装置8显示的图像数据的图像处理、车辆1按照至驻车位置等目标位置为止的目标路径的行驶的控制等。
ROM14b存储各种程序以及执行该程序所需的参数等。RAM14c暂时存储在CPU14a的运算中使用的各种数据。显示控制部14d在ECU14的运算处理中，主要执行针对从拍摄部15获取向CPU14a输出的图像数据的图像处理、将从CPU14a获取到的图像数据向在显示装置8显示的显示用的图像数据的变换等。声音控制部14e在ECU14的运算处理中，主要执行从CPU14a获取向声音输出装置9输出的声音的处理。SSD14f是可改写的非易失性的存储部，即便在ECU14的电源断开之后，仍继续存储从CPU14a获取到的数据。
图4是表示第一实施方式的车辆具有的ECU的功能结构的一个例子的框图。如图4所示，ECU14具备图像获取部400、获取部401、检测部402以及控制部403。例如，通过搭载于电路基板的CPU14a等处理器执行储存于ROM14b或者SSD14f等存储介质内的周边监视程序，ECU14实现图像获取部400、获取部401、检测部402以及控制部403的功能。也可以通过电路等硬件构成图像获取部400、获取部401、检测部402以及控制部403中的一部分或者全部。
图像获取部400获取通过拍摄部15拍摄车辆1的周边得到的拍摄图像。获取部401获取车辆1的现在的转向角。在本实施方式中，获取部401获取通过转向角传感器19检测出的转向操纵量，作为车辆1的现在的转向角。
检测部402能够检测和车辆1接触的物体。在本实施方式中，检测部402基于通过拍摄部15拍摄车辆1的行进方向得到的拍摄图像、通过雷达16测量的距离(车辆1和在该车辆1的行进方向存在的物体之间的距离)等，检测有可能和车辆1接触的物体。另外，在本实施方式中，检测部402检测有可能和车辆1接触的静止物、趋于和车辆1接近而有可能和车辆1接触的动体双方，作为有可能和车辆1接触的物体。
例如，检测部402通过针对利用拍摄部15的拍摄得到的拍摄图像的图像处理(例如光流：Optical flow)，检测有可能和车辆1接触的物体。或者，检测部402基于通过雷达16测量的距离的变化，检测有可能和车辆1接触的物体。
在本实施方式中，检测部402基于通过拍摄部15的拍摄得到的拍摄图像或者通过雷达16测量距离的测量结果，检测有可能和车辆1接触的物体，但当检测在距离车辆1比较近的距离存在的物体时，也可以基于通过声纳17测量距离的测量结果，检测有可能和车辆1接触的物体。
另外，在本实施方式中，检测部402对应于车辆1具有的未图示的主开关的操作，向动作状态(接通)或非动作状态(断开)转化。这里，动作状态是检测和车辆1接触的物体的状态。另一方面，非动作状态是不检测和车辆1接触的物体的状态。
在本实施方式中，虽然检测部402对应于该主开关的操作，向动作状态或非动作状态转化，但不限定于此。例如，当基于车轮速传感器22对车轮3的转速的检测结果等的车辆1的速度成为已被预先设定的速度(例如12km/h)以下时，检测部402也可以自动地(不依赖于主开关的操作)转化为动作状态。另外，当车辆1的速度比已被预先设定的速度快速时，检测部402也可以自动地(不依赖于主开关的操作)转化为非动作状态。
控制部403使显示画面经由显示控制部14d在显示装置8显示，上述显示画面包含通过拍摄部15拍摄车辆1的行进方向得到的拍摄图像、和含有车辆图像以及周边图像的合成图像。另外，对于控制部403而言，在本实施方式中，虽然控制部403使包含合成图像和拍摄图像的显示画面在显示装置8显示，但至少使包含合成图像的显示画面在显示装置8显示即可。因此，例如，控制部403也可以不包含拍摄图像，使包含合成图像的显示画面在显示装置8显示。
这里，车辆图像是表示车辆1的图像。在本实施方式中，车辆图像是从上方观察车辆1得到的俯瞰图像。由此，能够正确把握车辆1和其周边的物体的位置关系。另外，在本实施方式中，车辆图像可以是位图形式的图像，也可以是表示由多个多边形构成的车辆的形状的图像。这里，由多个多边形构成的车辆图像是指通过多个多边形(在本实施方式中，三角形的多边形)表现出的立体的车辆1的形状。
另外，周边图像是表示车辆1的周边(周围)的图像，基于通过拍摄部15拍摄车辆1的周围得到的拍摄图像生成。在本实施方式中，周边图像是从上方观察车辆1的周边(周围)得到的俯瞰图像。另外，在本实施方式中，周边图像是以车辆图像的后轮轴的中央为中心的车辆1的周边的俯瞰图像。
另外，当检测部402处于动作状态时，控制部403以合成图像内的通过车辆图像表示的车辆1的位置为基准，使虚拟车辆图像重叠显示于车辆1以通过获取部401获取到的现在的转向角行进规定距离之后的位置。另一方面，当检测部402处于非动作状态时，控制部403不使虚拟车辆图像显示。由此，车辆1的驾驶员能够基于虚拟车辆图像是否包含于在显示装置8显示的显示画面中，根据在显示装置8显示的显示画面，容易地识别出检测部402是否处于动作状态。
这里，规定距离是已被预先设定的距离，例如1.0～2.0m。另外，现在的转向角是车辆1在现在位置的转向角。在本实施方式中，控制部403获取通过获取部401获取的转向角，作为车辆1在现在位置的转向角。
另外，虚拟车辆图像是表示车辆1的形状的虚拟图像。在本实施方式中，虚拟车辆图像是表示由多个多边形构成的车辆1的形状的图像。这里，由多个多边形构成的虚拟车辆图像是指由多个多边形(在本实施方式中，三角形的多边形)显示出的立体的车辆1的形状(车辆1的三维的形状)。由此，能够使更真实的虚拟车辆图像在显示装置8显示。
在本实施方式中，虽然控制部403将表示由多个多边形构成的车辆1的形状的图像，作为虚拟车辆图像包含于合成图像中，但例如也可以将表示位图形式的车辆1的形状的图像作为虚拟车辆图像包含于合成图像中。
在本实施方式中，当检测部402处于动作状态并且通过换挡传感器21检测出变速操作部7的位置位于D挡时，控制部403使虚拟车辆图像在车辆1的前方显示。由此，通知驾驶员可能检测从车辆1的前方趋于接近的物体。
另一方面，当检测部402处于动作状态并且通过换挡传感器21检测出变速操作部7的位置位于R挡时，控制部403使虚拟车辆图像在车辆1的后方显示。由此，通知驾驶员可能检测从车辆1的后方趋于接近的物体。
另外，当通过检测部402未检测出和车辆1接触的物体时，控制部403继续以合成图像内的车辆图像表示的车辆1的位置为基准，使虚拟车辆图像重叠显示于以现在的转向角行进规定距离之后的位置。即，当通过检测部402未检测出和车辆1接触的物体时，控制部403随着车辆1的移动使合成图像内的虚拟车辆图像的位置也移动。
另一方面，当通过检测部402检测出和车辆1接触的物体时，控制部403使虚拟车辆图像内的和该检测出的物体接触的部分的图像(以下称为部分图像)的显示方式变化。由此，由于车辆1的驾驶员能够从虚拟车辆图像中识别出车辆1的车体中的和物体接触的位置来驾驶车辆1，所以能够容易避免车辆1和检测出的物体的接触。
在本实施方式中，控制部403使部分图像闪烁，或者使颜色变化，或者强调显示部分图像的轮廓，使部分图像变为和虚拟车辆图像的其他部分不同的显示方式。另外，在本实施方式中，当虚拟车辆图像由多边形构成时，控制部403确定构成虚拟车辆图像的多边形中的和物体接触的部分的多边形，作为部分图像。而且，控制部403使所确定的多边形的显示方式变化。
另外，当检测出和车辆1接触的物体时，控制部403在合成图像内使虚拟车辆图像移动至车辆1和物体接触的接触位置之后，从该接触位置开始，不使虚拟车辆图像移动。在本实施方式中，虽然当检测出和车辆1接触的物体时，控制部403在合成图像内，从车辆1和物体接触的接触位置开始，不使虚拟车辆图像移动使其固定，但不限定于此。例如，控制部403也可以在接触位置的近前位置，停止虚拟车辆图像的移动，从该位置开始，不使虚拟车辆图像移动使其固定。即，控制部403使虚拟车辆图像重叠显示于车辆1和物体接触的接触位置、或者行进至接触前的位置时的位置，作为车辆1行进规定距离之后的位置。由此，车辆1的驾驶员能够容易识别出在哪个位置车辆1和物体接触。
另外，在本实施方式中，在检测出和车辆1接触的物体从而控制部403使虚拟车辆图像固定于接触位置之后，车辆1的驾驶员对转向操纵部4进行转向操纵，改变车辆1的行进方向，当通过检测部402不再检测出和车辆1接触的物体时，控制部403解除虚拟车辆图像在接触位置的固定。而且，控制部403再次随着车辆1的移动使合成图像内的虚拟车辆图像的位置移动。
并且，当检测部402处于动作状态时，控制部403对通过合成图像内的车辆图像表示的车辆1的行进方向，显示接近物标识。由此，车辆1的驾驶员能够基于接近物标识是否包含于在显示装置8显示的显示画面中，根据在显示装置8显示的显示画面，容易识别出检测部402是否处于动作状态。
这里，接近物标识是能够识别出物体对车辆1接近的方向(以下称为接近方向)的标识。在本实施方式中，接近物标识是指示接近方向的箭头。另外，在本实施方式中，接近物标识是能够识别出有可能和车辆1接触的物体中的移动体的接近方向的标识。
而且，当通过检测部402检测出和车辆1接近的物体时，控制部403变更接近物标识的显示方式。由此，车辆1的驾驶员通过视觉确认显示方式变更了的接近物标识，能够容易识别出有可能和车辆1接触的物体是否从某个方向接近。在本实施方式中，控制部403通过改变接近物标识的颜色，或者使其闪烁，使接近物标识的显示方式不同于未检测出和车辆1接近的物体时的接近物标识的显示方式。
在本实施方式中，当静止物作为有可能和车辆1接触的物体被检测出时，控制部403变更虚拟车辆图像内的部分图像的显示方式，当移动体作为有可能和车辆1接触的物体被检测出时，控制部403变更接近物标识的显示方式，但也可以在移动体作为有可能和车辆1接触的物体被检测出时，变更虚拟车辆图像内的部分图像的显示方式。此时，控制部403可以将接近标识包含于合成图像中，也可以不将接近物标识包含于合成图像中。
接下来，使用图5～12说明通过控制部403在显示装置8显示的显示画面的具体例子。
图5是表示第一实施方式的车辆具有的ECU所显示的显示画面的显示例子的图。这里，说明通过换挡传感器21检测出变速操作部7的位置位于D挡时的显示画面的显示处理。在本实施方式中，如图5所示，控制部403使显示画面G在显示装置8显示，上述显示画面G包含含有车辆图像G1以及周边图像G2的合成图像G3、和通过拍摄部15拍摄车辆1的行进方向(例如车辆1的前方)得到的拍摄图像G4。
而且，当检测部402处于动作状态时，如图5所示，控制部403以周边图像G2内的车辆图像G1表示的车辆1的位置为基准，使虚拟车辆图像G5重叠显示于车辆1以现在位置P1的转向角(通过获取部401获取到的转向角)行进规定距离之后的位置P2。这里，如图5所示，虚拟车辆图像G5是表示车辆1的形状的半透明的图像。由此，车辆1的驾驶员能够容易区别虚拟车辆图像G5和车辆图像G1，并且能够直观地识别出虚拟车辆图像G5是表示车辆1的未来位置P2的图像。
另外，在本实施方式中，控制部403使透过率随着从车辆1的轮廓朝向内侧提高的图像，作为虚拟车辆图像G5并显示。由此，车辆1的驾驶员能够容易区别虚拟车辆图像G5和车辆图像G1，并且能够容易更直观地识别出虚拟车辆图像G5是表示车辆1的未来位置的图像。
并且，控制部403也可以使虚拟车辆图像G5的轮廓以和该虚拟车辆图像G5的其他部分不同的显示方式(例如不同颜色、闪烁、框线的重叠)显示，来强调显示该轮廓。由此，车辆1的驾驶员能够根据虚拟车辆图像G5容易识别出车辆1的未来位置。
另外，当检测部402处于动作状态时，如图5所示，控制部403在周边图像G2内使接近物标识G6显示在位于车辆1的行进方向(例如车辆1的前方)且以虚拟车辆图像G5的位置为基准的已被预先设定的位置(例如虚拟车辆图像G5的右侧以及左侧)。此时，在本实施方式中，控制部403使接近物标识G6以灰色标度(grayscale)显示。
图6是表示第一实施方式的车辆具有的ECU所显示的显示画面的显示例子的图。在本实施方式中，当通过检测部402未检测出和车辆1接触的物体时，如图5所示，随着车辆1的移动，控制部403也使周边图像G2内的虚拟车辆图像G5的位置移动。另一方面，当通过检测部402检测出和车辆1接触的物体O(例如墙壁、墙根)时，如图6所示，控制部403使虚拟车辆图像G5在周边图像G2内移动至车辆1和该检测出的物体O接触的接触位置P3。之后，如图6所示，控制部403从接触位置P3开始，即便车辆1移动，也不使虚拟车辆图像G5移动使其固定。
此时，如图6所示，控制部403使虚拟车辆图像G5内的和该检测出的物体O接触的部分图像PG的显示方式，不同于虚拟车辆图像G5的其他部分的显示方式。例如，控制部403用红色显示部分图像PG，用白色显示虚拟车辆图像G5内的部分图像PG以外的部分。由此，由于车辆1的驾驶员能够把握在以现在的转向角使车辆1行驶时车辆1的车体2中的和检测出的物体O接触的位置，所以能够更容易地以车辆1和该检测出的物体O不接触的方式驾驶车辆1。
另外，在本实施方式中，控制部403也可以对应于检测出的物体O的位置与通过虚拟车辆图像G5表示的车辆1的现在位置P1之间的距离，变更部分图像PG的显示方式。由此，通过确认部分图像PG的显示方式的变化，能够更详细地把握车辆1和物体O的位置关系，因此能够更容易地以车辆1和该检测出的物体O不接触的方式驾驶车辆1。具体而言，随着检测出的物体O的位置与通过虚拟车辆图像G5表示的车辆1的现在位置P1之间的距离缩短，控制部403增加用红色显示的部分图像PG的红的程度，或者使部分图像PG闪烁，强调显示部分图像PG。
另一方面，随着检测出的物体O的位置与通过虚拟车辆图像G5表示的车辆1的现在位置P1的距离延长，控制部403减少部分图像PG的红的程度，或者延长部分图像PG的闪烁的间隔，解除部分图像PG的强调显示。之后，车辆1的驾驶员对转向操纵部4进行转向操纵，改变车辆1的行进方向，当通过检测部402不再检测出和车辆1接触的物体O时，控制部403使部分图像PG的显示方式返回至和虚拟车辆图像G5的其他部分相同的显示方式。并且，控制部403解除虚拟车辆图像G5在接触位置P3的固定，再次随着车辆1的移动使合成图像G3内的虚拟车辆图像G5的位置移动。
这里，由于假定了通过检测部402检测出的物体O是墙壁、墙根等静止物，所以控制部403使虚拟车辆图像G5内的部分图像PG的显示方式发生了变化，但未变更接近物标识G6的显示方式。由此，车辆1的驾驶员能够识别出，通过检测部402检测出的物体是静止的物体还是朝向车辆1趋于接近的移动体。
在本实施方式中，控制部403使接近物标识G6的显示方式以灰色标度显示，上述灰色标度是通过检测部402未检测出有可能和车辆1接触的动体时的接近物标识G6的显示方式。但是，当通过检测部402检测出的物体是其他车辆、行人等移动体时，控制部403变更周边图像G2所包含的接近物标识G6中的、在被检测出的移动体被检测出的方向存在的接近物标识G6的显示方式。此时，控制部403也可以使接近物标识G6的显示方式变更，并且使虚拟车辆图像G5内的和该检测出的动体接触的部分图像PG的显示方式也变更。
此外，当通过检测部402检测出的物体是朝向车辆1趋于接近的移动体时，如上述所述，控制部403变更接近物标识G6中的、在被检测出的物体趋于接近的方向存在的接近物标识G6的显示方式。例如，控制部403将在被检测出的物体趋于接近的方向存在的接近物标识G6的颜色变更为黄色等，或者使接近物标识G6闪烁。或者，当各接近物标识G6包含多个箭头时，控制部403以从远离虚拟车辆图像G5的箭头开始依次变更显示方式的动画，显示在被检测出的动体存在的方向所显示的接近物标识G6包含的多个箭头。
图7以及图8是用于说明第一实施方式的车辆具有的ECU所显示的虚拟车辆图像的显示方法的一个例子的图。在图7中，X轴是与车辆1的车宽方向对应的轴，Z轴是与车辆1的行进方向对应的轴，Y轴是与车辆1的高度方向对应的轴。当虚拟车辆图像G5由多个多边形PL构成时，如图7以及图8所示，控制部403求出各多边形PL具有的顶点V1、V2、V3的法线矢量n在Y轴方向(和路面垂直的方向)上的值(以下称为Y成分)。而且，控制部403基于法线矢量n的Y成分决定多边形PL的透过率。
具体而言，控制部403求出多边形PL具有的顶点V1、V2、V3的法线矢量n的Y成分。接下来，控制部403基于顶点V1、V2、V3的法线矢量n的Y成分决定多边形PL所含的像素。此时，控制部403随着法线矢量n的Y成分增大而提高透过率。由此，控制部403能够显示随着从车辆1的轮廓朝向内侧而透过的图像，作为虚拟车辆图像G5。在本实施方式中，使构成多边形PL的像素的颜色为白色，但不限定于此，例如也可以为车辆1的车体的颜色等任意颜色。
图9是用于说明通过第一实施方式的车辆具有的ECU决定构成虚拟车辆图像的多边形的颜色的决定方法的一个例子的图。在图9中，横轴表示构成构成虚拟车辆图像的多边形所具有的顶点的颜色的种类(例如RGB)，纵轴表示构成构成虚拟车辆图像的多边形所具有的顶点的颜色的值(例如RGB值)。在本实施方式中，当通过检测部402检测出和车辆1接触的物体时，控制部403使虚拟车辆图像内的和该检测出的物体接触的部分图像的显示方式，不同于虚拟车辆图像的其他部分的显示方式。
具体而言，当通过检测部402未检测出和车辆1接触的物体时，如图9所示，控制部403使构成虚拟车辆图像的多边形具有的各顶点的RGB各颜色的值相等。而且，控制部403基于多边形具有的各顶点的RGB各色的值，通过线性插值等对由该各顶点围起的多边形内的区域的颜色进行插补，决定多边形整体的颜色。由此，控制部403用白色显示虚拟车辆图像。
另一方面，当通过检测部402检测出和车辆1接触的物体时，如图9所示，控制部403使构成虚拟车辆图像的多边形中的构成部分图像的多边形具有的各顶点的GB的值比该各顶点的R的值小。此时，控制部403也基于多边形具有的各顶点的RGB各色的值，通过线性插补等对由该各顶点围起的多边形内的区域的颜色进行插补，决定多边形整体的颜色。由此，控制部403用红色显示部分图像。
在本实施方式中，虽然控制部403通过使构成部分图像的多边形具有的各顶点的GB的值比该各顶点的R的值小，用红色显示部分图像，强调显示部分图像，但不限定于此。例如，控制部403也可以通过使构成部分图像的多边形具有的各顶点的RB的值比该各顶点的G的值小，用绿色显示部分图像，强调显示部分图像。
此时，控制部403也可以随着检测出的物体的位置与虚拟车辆图像表示的车辆1的位置之间的距离缩短，减小构成部分图像的多边形具有的各顶点的GB的值。由此，控制部403增加部分图像的红的程度，强调显示部分图像。由此，由于车辆1的车体内的和外部的物体接触的部分能够容易识别，所以车辆1的驾驶员容易避免和外部的物体的接触。此外，控制部403保持构成虚拟车辆图像的多边形中的除部分图像以外的多边形具有的各顶点的RGB各色的值相等的状态。由此，控制部403用白色显示部分图像以外的多边形。
图10是表示第一实施方式的车辆具有的ECU所显示的显示画面的一个例子的图。例如，如图10所示，在时刻t1，当通过检测部402检测出和车辆1接触的物体O(静止物)时，控制部403用红色强调显示虚拟车辆图像G5内的和检测出的物体O接触的部分图像PG。
具体而言，控制部403求出在和路面平行的XZ平面(参照图7)中从构成部分图像PG的多边形的各顶点至物体O为止的欧式距离(Euclidean distance)。接下来，控制部403对应于构成部分图像PG的多边形的各顶点与物体O之间的欧式距离，使该各顶点的GB的值比该各顶点的R的值小。而且，控制部403基于构成部分图像PG的多边形的各顶点的RGB值，通过片段着色器决定构成部分图像PG的多边形所包含的像素的颜色。另外，控制部403基于多边形具有的各顶点的RGB各色的值，通过线性插补等对由该各顶点围起的多边形内的区域的颜色进行插补，决定多边形整体的颜色。由此，控制部403用红色显示部分图像PG。另外，也可以在计算构成虚拟车辆图像的多边形的RGB值时，对应于该多边形具有的各顶点与物体之间的距离，同时计算构成部分图像的多边形的RGB值。由此，能够不分开生成虚拟车辆图像以及部分图像。
之后，车辆1继续移动，在时刻t1之后的时刻t2，虚拟车辆图像PG到达和物体O接触的接触位置P3、或者即将为接触位置P3的位置时，如图10所示，控制部403不使虚拟车辆图像PG从接触位置P3移动，使虚拟车辆图像PG持续显示在接触位置P3。
而且，在时刻t2之后的时刻t3之前，变更车辆1的转向角，在车辆1不再有可能和物体O接触时(即，通过检测部402不再检测出物体O时)，如图10所示，控制部403解除虚拟车辆图像PG在接触位置P3的固定，针对以时刻t3的车辆图像G1表示的车辆1的位置为基准行进规定距离之后的位置P2，显示虚拟车辆图像G5。
此时，控制部403也可以解除用红色显示虚拟车辆图像G5内的部分图像PG的强调显示。即，控制部403使时刻t3的虚拟车辆图像G5内的部分图像PG的显示方式返回至和虚拟车辆图像G5的其他部分相同的显示方式。由此，车辆1的驾驶员能够识别出以车辆1的现在的转向角能够避免和物体901接触。
图11以及图12是用于说明通过第一实施方式的车辆具有的ECU强调显示部分图像的处理的一个例子的图。在本实施方式中，若通过检测部402检测出物体O，则如图11所示，控制部403首先根据构成虚拟车辆图像G5内的部分图像的多边形具有的各顶点V，求出相对于XZ面1100(图7所示的通过X轴以及Z轴定义的平面)的垂线1101和该XZ面1100相交的点V′。接下来，控制部403求出在XZ面1100中点V′与物体O的位置的欧式距离L。
接下来，控制部403根据图12所示的强度分布1200，确定与求出的欧式距离L对应的强调显示的程度。这里，强度分布1200是强调显示部分图像时的强调显示的程度的分布，随着欧式距离L缩短，强调显示的程度增大。
在本实施方式中，强度分布1200是同心圆状的强度分布，以物体O的位置为中心，随着欧式距离L变远，较小地降低强调显示的程度。在本实施方式中，强度分布1200通过高阶曲线表示，当欧式距离L成为已被预先设定的距离(例如1.7～3.0m)以下时，强调显示的程度急剧上升。例如，强度分布1200是在欧式距离L成为已被预先设定的距离以下时GB的值急剧下降并且R被强调的强度分布。
由此，如图12所示，在构成虚拟车辆图像G5的多边形中，越是欧式距离L越接近物体O的多边形，则控制部403越以红色被强调显示。其结果是，如图12所示，控制部403能够通过红色强调显示构成虚拟车辆图像G5的多边形中的构成部分图像PG的多边形。
这样，根据第一实施方式的车辆1，车辆1的驾驶员能够基于虚拟车辆图像是否包含于在显示装置8显示的显示画面中，根据在显示装置8显示的显示画面，容易识别出检测部402是否处于动作状态。
(第二实施方式)
本实施方式是取代通过拍摄部拍摄车辆的行进方向得到的拍摄图像，使包含车辆的周边的三维图像在内的显示画面在显示装置显示的例子。在以下的说明中，省略说明和第一实施方式相同的结构。
图13以及图14是表示第二实施方式的车辆具有的ECU所显示的显示画面的一个例子的图。在本实施方式中，当检测部402处于非动作状态时，如图13所示，控制部403使包含合成图像G3和车辆1及其周边的三维图像(以下称为三维周边图像)G7在内的显示画面G在显示装置8显示。由此，除合成图像G3之外，还视觉确认三维周边图像G7，由此能够更详细地把握车辆1及其周边的物体的位置关系。
这里，如上述所述，三维周边图像G7是车辆1及其周边的三维图像。在本实施方式中，三维周边图像G7是将通过拍摄部15拍摄车辆1的周边得到的图像粘贴于碗状或者圆筒状的三维的面而生成的图像。另外，在本实施方式中，如图13所示，在三维周边图像G7中包含车辆1的三维图像即包含三维车辆图像G8。在本实施方式中，三维车辆图像G8和虚拟车辆图像G5相同，由多个多边形构成，是表示车辆1的三维形状的图像。
另外，在本实施方式中，控制部403在三维周边图像G7内的路面显示能够识别出三维车辆图像G8的位置的车辆位置信息I。例如，车辆位置信息I是在三维周边图像G7内的路面上，通过灰色标度和包围三维车辆图像G8存在的位置的线(例如虚线)显示三维车辆图像G8存在的位置的信息。
而且，当检测部402处于动作状态时，如图14所示，和第一实施方式相同，控制部403使接近物标识G6在周边图像G2内显示，并且还在三维周边图像G7显示接近物标识G9。此时，如图14所示，控制部403用灰色标度显示三维周边图像G7所包含的接近物标识G9。在本实施方式中，由于容易把握车辆图像G1和周围的物体的位置关系，所以控制部403在三维周边图像G7中不显示虚拟车辆图像G5，但不限定于此，也可以在三维周边图像G7显示虚拟车辆图像G5。
图15以及图16是表示第二实施方式的车辆具有的ECU所显示的显示画面的一个例子的图。在本实施方式中，当通过检测部402检测出和车辆1趋于接近的物体(例如从车辆1的行进方向的左侧趋于接近的物体)时，如图15所示，控制部403变更周边图像G2所包含的接近物标识G6以及三维周边图像G7所包含的接近物标识G9中的、在检测出的物体趋于接近的方向(例如左侧)存在的接近物标识G6、G9的显示方式。
另外，当通过检测部402检测出从车辆1的行进方向的左右两方趋于接近时，如图16所示，控制部403使在车辆1的行进方向(例如前方)的左右两方存在的接近物标识G6、G9的显示方式的颜色变更为黄色等，或者使该接近物标识G6、G9闪烁。或者，当接近物标识G6、G9包含多个箭头时，控制部403也可以以从远离虚拟车辆图像G5的箭头开始依次变更显示方式的动画显示在检测出的移动体存在的方向被显示的接近物标识G6、G9包含的多个箭头。
在本实施方式中，当检测部402处于动作状态时，通过灰色标度等预先显示接近物标识G6、G9，由此当通过检测部402检测出和车辆1趋于接近的物体并且接近物标识G6、G9的显示方式被变更时，通过该显示方式的变更，车辆1的驾驶员能够容易识别出和车辆1趋于接近的物体已被检测出。在本实施方式中，当检测部402处于动作状态时，控制部403使虚拟车辆图像G5以及接近物标识G6、G9双方在显示画面G显示，但至少显示虚拟车辆图像G5即可。
这样，根据第二实施方式的车辆1，除合成图像G3之外，通过视觉确认三维周边图像G7，能够更详细把握车辆1及其周边的物体的位置关系。

Claims (11)

1.一种周边监视装置，其特征在于，具备：
获取部(401)，其获取车辆的现在的转向角；
图像获取部(400)，其从拍摄所述车辆的周边的拍摄部(15)获取拍摄图像；以及
控制部(403)，其使包含表示所述车辆的车辆图像和基于所述拍摄图像的表示所述车辆的周边的周边图像在内的合成图像在显示部显示，当能够检测和所述车辆接触的物体的检测部(402)处于动作状态时，以所述合成图像内的通过所述车辆图像表示的所述车辆的位置为基准，使表示所述车辆的形状的虚拟的虚拟车辆图像重叠显示于所述车辆以所述获取部(401)获取到的所述现在的转向角行进规定距离之后的位置。
2.根据权利要求1所述的周边监视装置，其特征在于，
当通过所述检测部检测出所述物体时，所述控制部使所述虚拟车辆图像内的和所述物体接触的部分图像的显示方式变化，并且使所述虚拟车辆图像的移动停止在所述合成图像内的所述车辆和所述物体接触的接触位置。
3.根据权利要求2所述的周边监视装置，其特征在于，
所述虚拟车辆图像是表示由多边形构成的所述车辆的形状的图像，
所述部分图像是构成所述虚拟车辆图像的所述多边形中的和所述物体接触的部分的所述多边形。
4.根据权利要求2或3所述的周边监视装置，其特征在于，
所述控制部对应于所述物体的位置与通过所述虚拟车辆图像表示的所述车辆的位置之间的距离，变更所述部分图像的显示方式。
5.根据权利要求1～4中的任一项所述的周边监视装置，其特征在于，
当所述检测部处于动作状态时，所述控制部相对于所述合成图像内的通过所述车辆图像表示的所述车辆的行进方向，显示能够识别所述物体相对于所述车辆趋于接近的方向的标识，当通过所述检测部检测出和所述车辆接近的所述物体时，所述控制部变更所述标识的显示方式。
6.根据权利要求1～5中的任一项所述的周边监视装置，其特征在于，
所述控制部使所述虚拟车辆图像重叠显示于所述车辆和所述物体接触的接触位置、或者行进至接触前的位置时的位置，作为所述车辆行进所述规定距离之后的位置。
7.根据权利要求1～6中的任一项所述的周边监视装置，其特征在于，
所述车辆图像是所述车辆的俯瞰图像。
8.根据权利要求1～6中的任一项所述的周边监视装置，其特征在于，
所述虚拟车辆图像是表示所述车辆的三维形状的图像。
9.根据权利要求1～8中的任一项所述的周边监视装置，其特征在于，
所述虚拟车辆图像是表示所述车辆的形状的半透明的图像。
10.根据权利要求1～7中的任一项所述的周边监视装置，其特征在于，
所述虚拟车辆图像是强调显示了所述车辆的轮廓的图像。
11.根据权利要求1～10中的任一项所述的周边监视装置，其特征在于，
所述虚拟车辆图像是随着从所述车辆的轮廓朝向内侧透过率提高了的图像。
CN201910836583.4A 2018-09-06 2019-09-05 周边监视装置 Pending CN110877575A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-167140 2018-09-06
JP2018167140A JP7172309B2 (ja) 2018-09-06 2018-09-06 周辺監視装置

Publications (1)

Publication Number Publication Date
CN110877575A true CN110877575A (zh) 2020-03-13

Family

ID=69718963

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910836583.4A Pending CN110877575A (zh) 2018-09-06 2019-09-05 周边监视装置

Country Status (3)

Country Link
US (1) US20200084395A1 (zh)
JP (1) JP7172309B2 (zh)
CN (1) CN110877575A (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7443705B2 (ja) 2019-09-12 2024-03-06 株式会社アイシン 周辺監視装置
JP7491194B2 (ja) * 2020-11-23 2024-05-28 株式会社デンソー 周辺画像生成装置、表示制御方法
US20230256985A1 (en) * 2022-02-14 2023-08-17 Continental Advanced Lidar Solutions Us, Llc Method and system for avoiding vehicle undercarriage collisions

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002240662A (ja) * 2000-12-15 2002-08-28 Honda Motor Co Ltd 駐車支援装置
JP2005186758A (ja) * 2003-12-25 2005-07-14 Equos Research Co Ltd 駐車支援装置
US20100245573A1 (en) * 2009-03-25 2010-09-30 Fujitsu Limited Image processing method and image processing apparatus
KR20100134154A (ko) * 2009-06-15 2010-12-23 현대자동차일본기술연구소 차량 주위 영상 표시장치 및 방법
JP2012023505A (ja) * 2010-07-13 2012-02-02 Denso Corp 運転支援装置
CN102783143A (zh) * 2010-03-10 2012-11-14 歌乐牌株式会社 车辆用周围监视装置
CN103237685A (zh) * 2010-12-30 2013-08-07 明智汽车公司 盲区显示装置及方法
CN203713697U (zh) * 2011-06-27 2014-07-16 爱信精机株式会社 周边监视装置
CN107428249A (zh) * 2015-03-26 2017-12-01 日本艺美极株式会社 车辆用图像显示***以及方法
CN107615757A (zh) * 2015-05-29 2018-01-19 日产自动车株式会社 信息呈现***
CN107950023A (zh) * 2015-11-17 2018-04-20 Jvc 建伍株式会社 车辆用显示装置以及车辆用显示方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002240662A (ja) * 2000-12-15 2002-08-28 Honda Motor Co Ltd 駐車支援装置
JP2005186758A (ja) * 2003-12-25 2005-07-14 Equos Research Co Ltd 駐車支援装置
US20100245573A1 (en) * 2009-03-25 2010-09-30 Fujitsu Limited Image processing method and image processing apparatus
KR20100134154A (ko) * 2009-06-15 2010-12-23 현대자동차일본기술연구소 차량 주위 영상 표시장치 및 방법
CN102783143A (zh) * 2010-03-10 2012-11-14 歌乐牌株式会社 车辆用周围监视装置
JP2012023505A (ja) * 2010-07-13 2012-02-02 Denso Corp 運転支援装置
CN103237685A (zh) * 2010-12-30 2013-08-07 明智汽车公司 盲区显示装置及方法
CN203713697U (zh) * 2011-06-27 2014-07-16 爱信精机株式会社 周边监视装置
CN107428249A (zh) * 2015-03-26 2017-12-01 日本艺美极株式会社 车辆用图像显示***以及方法
CN107615757A (zh) * 2015-05-29 2018-01-19 日产自动车株式会社 信息呈现***
CN107950023A (zh) * 2015-11-17 2018-04-20 Jvc 建伍株式会社 车辆用显示装置以及车辆用显示方法

Also Published As

Publication number Publication date
US20200084395A1 (en) 2020-03-12
JP2020042355A (ja) 2020-03-19
JP7172309B2 (ja) 2022-11-16

Similar Documents

Publication Publication Date Title
US10031227B2 (en) Parking assist system
EP2902271B1 (en) Parking assistance device, and parking assistance method and program
JP7151293B2 (ja) 車両周辺表示装置
US10377416B2 (en) Driving assistance device
CN111108023B (zh) 停车辅助装置
CN107791951B (zh) 显示控制装置
WO2018150642A1 (ja) 周辺監視装置
US11420678B2 (en) Traction assist display for towing a vehicle
CN110877575A (zh) 周边监视装置
CN112477758A (zh) 周边监视装置
US20200035207A1 (en) Display control apparatus
JP2019054420A (ja) 画像処理装置
JP7283514B2 (ja) 表示制御装置
CN110959289B (zh) 周边监控装置
CN111094083B (zh) 停车辅助装置
WO2017057007A1 (ja) 車両用画像処理装置
US10922977B2 (en) Display control device
CN109311423B (zh) 驾驶辅助装置
WO2023085228A1 (ja) 駐車支援装置
JP2017069846A (ja) 表示制御装置
JP6601097B2 (ja) 表示制御装置
CN115891979A (zh) 停车辅助装置

Legal Events

Date Code Title Description
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: Aichi

Applicant after: AISIN Co.,Ltd.

Address before: Aichi

Applicant before: AISIN SEIKI Kabushiki Kaisha