CN112238811B - 车辆周边显示装置 - Google Patents

车辆周边显示装置 Download PDF

Info

Publication number
CN112238811B
CN112238811B CN202010679938.6A CN202010679938A CN112238811B CN 112238811 B CN112238811 B CN 112238811B CN 202010679938 A CN202010679938 A CN 202010679938A CN 112238811 B CN112238811 B CN 112238811B
Authority
CN
China
Prior art keywords
vehicle
display
guide line
image
processing unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010679938.6A
Other languages
English (en)
Other versions
CN112238811A (zh
Inventor
山本欣司
渡边一矢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin Co Ltd
Original Assignee
Aisin Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin Co Ltd filed Critical Aisin Co Ltd
Publication of CN112238811A publication Critical patent/CN112238811A/zh
Application granted granted Critical
Publication of CN112238811B publication Critical patent/CN112238811B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/002—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles specially adapted for covering the peripheral part of the vehicle, e.g. for viewing tyres, bumpers or the like
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/027—Parking aids, e.g. instruction means
    • B62D15/0275—Parking aids, e.g. instruction means by overlaying a vehicle path based on present steering angle over an image without processing that image
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/28—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/31—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles providing stereoscopic vision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/029—Steering assistants using warnings or proposing actions to the driver without influencing the steering system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/302—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with GPS information or vehicle data, e.g. vehicle speed, gyro, steering angle data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B60R2300/305—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images merging camera image with lines or icons
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/70—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by an event-triggered choice to display a specific image among a selection of captured images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/804—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for lane monitoring
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

本发明提供一种车辆周边显示装置，车辆转弯时从路面浮起的物体的图像包含于显示用图像时减少看到该显示用图像的乘车人员误解从车辆至物体的距离而使车辆与物体碰撞的可能性。车辆周边显示装置具备：取得部，其取得通过拍摄部拍摄车辆的周边获得的拍摄图像；和显示处理部，其基于拍摄图像，使车辆及其周边的立体的图像亦即显示用图像显示于显示部，显示处理部将表示车辆的外形的外形引导线、和外形引导线伴随着车辆的移动所描绘的轨迹亦即预想进路引导线中的至少一方包含于显示用图像，并在车辆转弯的情况下，以使外形引导线和预想进路引导线存在于比路面靠上方的位置的方式，变更外形引导线和预想进路引导线中的至少一方的位置。

Description

车辆周边显示装置
技术领域
本发明的实施方式涉及车辆周边显示装置。
背景技术
开发有在基于通过拍摄部对车辆拍摄周边获得的拍摄图像，将车辆及其周边的立体的图像作为显示部用图像显示于显示部时，将表示车辆的外形的外形引导线、和该外形引导线的端伴随着车辆的移动所描绘的轨迹亦即预想进路引导线包含于显示用图像中的技术。
专利文献1：日本专利第3807330号公报
专利文献2：日本专利第3894322号公报
专利文献3：日本专利第5605606号公报
专利文献4：日本专利第5182137号公报
然而，在上述的技术中，在显示用图像中，在以车辆的图像的位置为基准而固定的位置显示外形引导线，因此在从路面游离的物体(障碍物)的图像包含于显示用图像的情况下，存在看到该显示用图像的乘车人员误解从车辆至物体的距离，车辆与物体碰撞的可能性。
发明内容
因此，实施方式的课题之一在于提供能够减少在车辆转弯时，从路面浮起的物体的图像包含于显示用图像的情况下，看到该显示用图像的乘车人员误解从车辆至物体的距离而使车辆与物体碰撞的可能性的车辆周边显示装置。
对于实施方式的车辆周边显示装置而言，作为一个例子，具备：取得部，其取得通过拍摄部拍摄车辆的周边获得的拍摄图像；和显示处理部，其基于上述拍摄图像，使上述车辆及其周边的立体的图像亦即显示用图像显示于显示部，上述显示处理部将表示上述车辆的外形的外形引导线、和上述外形引导线伴随着上述车辆的移动所描绘的轨迹亦即预想进路引导线中的至少一方包含于上述显示用图像，并在上述车辆转弯的情况下，以使上述外形引导线和上述预想进路引导线存在于比路面靠上方的位置的方式，变更上述外形引导线和上述预想进路引导线中的至少一方的位置。由此，作为一个例子，从路面浮起的物体存在的情况下，物体与车辆的位置关系变得容易掌握，能够减少看到显示用图像的乘车人员误解从车辆至障碍物的距离而使车辆与障碍物碰撞的可能性。
另外，对于实施方式的车辆周边显示装置而言，作为一个例子，上述显示处理部使对具有上述车辆的立体的车辆图像、和位于该车辆图像的周围并且供上述拍摄图像通过投影转换来投影的投影区域的三维空间从上述车辆图像的斜上方的规定视点观看到的立体的图像作为上述显示用图像显示于上述显示部。由此，作为一个例子，从路面浮起的物体存在的情况下，物体与车辆的位置关系变得容易掌握，能够减少看到显示用图像的乘车人员误解从车辆至障碍物的距离而使车辆与障碍物碰撞的可能性。
另外，对于实施方式的车辆周边显示装置而言，作为一个例子，上述显示处理部在上述车辆直行的情况下，以使上述外形引导线和上述预想进路引导线存在于路面的方式，将上述外形引导线和上述预想进路引导线中的至少一方描绘于上述显示用图像，并在上述车辆转弯的情况下，以使上述外形引导线和上述预想进路引导线存在于距路面规定高度的距离的上方的方式，将上述外形引导线和上述预想进路引导线中的至少一方描绘于上述显示用图像。由此，作为一个例子，从路面浮起的物体存在的情况下，物体与车辆的位置关系变得容易掌握，能够减少看到显示用图像的乘车人员误解从车辆至障碍物的距离而使车辆与障碍物碰撞的可能性。
另外，对于实施方式的车辆周边显示装置而言，作为一个例子，上述规定高度是上述车辆的行进方向上的端的高度、或者与存在于上述车辆的周边的物体的高度对应的高度。由此，作为一个例子，能够使车辆更安全地通过障碍物。
另外，对于实施方式的车辆周边显示装置而言，作为一个例子，上述显示处理部在上述车辆的转向角成为规定转向角以上的情况下，判断为上述车辆转弯，变更上述外形引导线和上述预想进路引导线中的至少一方的位置。由此，作为一个例子，如论车辆的转向角较小与否，都能够防止外形引导线和预想进路引导线的位置变更。
另外，对于实施方式的车辆周边显示装置而言，作为一个例子，上述显示处理部在上述车辆转弯的情况下，缓缓变更上述外形引导线和上述预想进路引导线中的至少一方的位置。由此，作为一个例子，能够减轻在变更外形引导线和预想进路引导线的位置时，外形引导线和预想进路引导线的位置突然变更而使乘车人员感到不协调的情况。
另外，对于实施方式的车辆周边显示装置而言，作为一个例子，上述显示处理部在上述车辆转弯的情况下，将变更位置前的上述外形引导线和上述预想进路引导线中的至少一方留存在上述显示用图像内。由此，作为一个例子，能够容易地识别外形引导线和预想进路引导线的位置变更了的情况，能够督促乘车人员应该根据变更位置后的外形引导线和预想进路引导线驾驶车辆。
另外，对于实施方式的车辆周边显示装置而言，作为一个例子，上述显示处理部使变更位置前的上述外形引导线和上述预想进路引导线中的至少一方的显示方式与变更位置后的上述外形引导线和上述预想进路引导线中的至少一方的显示方式不同。由此，作为一个例子，能够进一步减少看到显示用图像的乘车人员误解从车辆至障碍物的距离而使车辆与障碍物碰撞的可能性。
另外，对于实施方式的车辆周边显示装置而言，作为一个例子，上述显示处理部在上述车辆转弯的情况下，使上述规定视点向以上述车辆图像的后方且上述车辆图像的车宽方向的中央为基准视点，向上述车辆的转弯方向相反侧错开而得的视点移动。由此，作为一个例子，在车辆转弯的情况下，能够使车辆不与物体接触地更安全地行驶。
另外，对于实施方式的车辆周边显示装置而言，作为一个例子，上述显示处理部在上述车辆转弯的情况下，在将变更位置前的上述预想进路引导线留存在上述显示用图像内时，使上述规定视点向变更位置后的上述预想进路引导线显示于比变更上述位置前的预想进路引导线靠外侧的位置的视点移动。由此，作为一个例子，在车辆的转向角不断变大的过程中，只要根据变更位置后的预想进路引导线使车辆行驶，即能够减少误解为车辆与障碍物不碰撞而使车辆与障碍物碰撞的可能性。
另外，对于实施方式的车辆周边显示装置而言，作为一个例子，上述显示处理部在通过障碍物传感器检测到了存在于上述车辆的周围的物体的情况下，变更上述外形引导线和上述预想进路引导线中的至少一方的位置。由此，作为一个例子，车辆的乘车人员能够直观地识别在车辆的进路上存在障碍物，因此能够进一步减少车辆与障碍物碰撞的可能性。
另外，对于实施方式的车辆周边显示装置而言，作为一个例子，上述显示处理部在通过障碍物传感器检测到了存在于上述车辆的周围的物体的情况下，使上述规定视点移动。由此，作为一个例子，能够根据规定视点是否进行了移动，容易地掌握是否在车辆的周围存在障碍物。
另外，对于实施方式的车辆周边显示装置而言，作为一个例子，上述显示处理部与是否通过障碍物传感器检测到了存在于上述车辆的周围的物体相应地，变更上述外形引导线和上述预想进路引导线中的至少一方的显示方式。由此，作为一个例子，车辆的乘车人员能够直观地识别在车辆的进路上存在障碍物，因此能够进一步减少车辆与障碍物碰撞的可能性。
附图说明
图1是表示第一实施方式所涉及的车辆的车室内的构成的例示的且示意性的图。
图2是表示从上方观察第一实施方式所涉及的车辆看到的外观的例示的且示意性的图。
图3是表示第一实施方式所涉及的车辆的***构成的例示的且示意性的框图。
图4是第一实施方式所涉及的车辆所具有的车辆周边显示装置的功能构成的例示的且示意性的框图。
图5是用于对第一实施方式所涉及的车辆所具有的车辆周边显示装置进行的相对于三维空间的拍摄图像的投影处理的一个例子进行说明的图。
图6是用于对第一实施方式所涉及的车辆所具有的车辆周边显示装置进行的相对于三维空间的外形引导线和预想进路引导线的描绘处理的一个例子进行说明的图。
图7(a)、图7(b)是用于对第一实施方式所涉及的车辆所具有的车辆周边显示装置进行的外形引导线和预想进路引导线的位置的变更处理的一个例子进行说明的图。
图8是用于对第二实施方式所涉及的车辆所具有的车辆周边显示装置进行的显示用图像的显示处理的一个例子进行说明的图。
图9是用于对第二实施方式所涉及的车辆所具有的车辆周边显示装置进行的显示用图像的显示处理的其他的例子进行说明的图。
图10(a)、图10(b)是用于对第二实施方式所涉及的车辆所具有的车辆周边显示装置进行的外形引导线和预想进路引导线的显示处理的一个例子进行说明的图。
附图标记的说明
1…车辆；8…显示部；15…车载照相机；303…转向操纵***；303a…转向操纵部；303b…转向操纵控制部；303c…转向操纵部传感器；305…障碍物传感器；310…控制装置；310a…CPU；310b…ROM；310c…RAM；310d…SSD；310e…显示控制部；400…车辆周边显示装置；401…取得部；402…显示处理部；G…显示用图像；L1…外形引导线；L2…预想进路引导线；VS…三维空间；VG…车辆图像；TR…投影区域
具体实施方式
以下，公开本发明的例示的实施方式。以下所示的实施方式的构成、和由该构成带来的作用、结果，以及效果是一个例子。本发明通过被以下的实施方式公开的构成以外的构成能够实现，并且能够获得基于基本的构成的各种效果、派生的效果中的至少一个。
(第一实施方式)
图1是表示第一实施方式所涉及的车辆的车室内的构成的例示的且示意性的图。图2是表示从上方观察第一实施方式所涉及的车辆看到的外观的例示的且示意性的图。
首先，使用图1和图2，对应用了本实施方式所涉及的车辆周边显示装置的车辆的硬件构成的一个例子进行说明。
如图1所示，本实施方式所涉及的车辆1具有供包含作为用户的驾驶员的乘车人员乘坐的车室2a。在车室2a内以能够供用户从座席2b操作的状态设置有制动部(制动操作部)301a、加速部(加速操作部)302a、转向操纵部303a、变速部(变速操作部)304a等。
制动部301a例如是设置于驾驶员的脚下的制动踏板。加速部302a例如是设置于驾驶员的脚下的加速踏板。另外，转向操纵部303a例如是从仪表盘(仪表板)突出的方向盘。转向操纵部303a也可以是手柄。变速部304a例如是从中心控制台突出的变速杆。
在车室2a内设置有具有能够输出各种图像的显示部8、和能够输出各种声音的声音输出部9的监视装置11。监视装置11例如设置于车室2a内的仪表盘的宽度方向(左右方向)的中央部。显示部8例如是LCD(液晶显示器)、OELD(有机电激发光显示器)等。
在作为在显示部8中显示图像的区域的显示画面设置有操作输入部10。操作输入部10例如是能够检测手指、触针等指示体接近(包含接触)的位置的坐标的触摸面板。由此，用户(驾驶员)能够视觉辨认显示于显示部8的显示画面的图像，并且能够在操作输入部10上进行使用指示体的触摸(点击)操作等，从而能够执行各种操作输入。
在本实施方式中，操作输入部10也可以是开关、拨号盘、操纵杆、按钮等各种物理式接口。另外，在本实施方式中，也可以在车室2a内的与监视装置11的位置不同的位置设置有其他声音输出装置。该情况下，能够从声音输出部9和其他声音输出装置双方输出各种声音信息。另外，在本实施方式中，监视装置11也可以构成为能够显示与导航***、声频***等各种***相关的信息。
另外，另外，如图1和图2所示，本实施方式所涉及的车辆1构成为具有左右两个前轮3F、和左右两个后轮3R的四轮的汽车。为了简化，有时将前轮3F和后轮3R统称地记载为车轮3。在本实施方式中，四个车轮3的一部分或者全部的横向滑动角根据转向操纵部303a的操作等而变化(转向)。
另外，在车辆1搭载有作为周边监视用的拍摄部的多个(在图1和图2所示的例子中是四个)车载照相机15a～15d。车载照相机15a设置于车身2的后侧的端部2e(例如，后行李箱的门2h的下方)，拍摄车辆1的后方的区域。另外，车载照相机15b设置于车身2的右侧的端部2f的后视镜2g，拍摄车辆1的右侧方的区域。另外，车载照相机15c设置于车身2的前侧的端部2c(例如，前保险杠)，拍摄车辆1的前方的区域。另外，车载照相机15d设置于车身2的左侧的端部2d的后视镜2g，拍摄车辆1的左侧方的区域。以下，为了简化，有时将车载照相机15a～15d统称地记载为车载照相机15。
车载照相机15例如是具有CCD(电荷耦合元件)、CMOS(互补性氧化金属半导体图像传感器)等拍摄元件的所谓的数字照相机。车载照相机15以规定的帧率进行车辆1的周围(周边)的拍摄，将通过该拍摄获得的拍摄图像的图像数据输出。对于通过车载照相机15获得的图像数据而言，作为帧图像能够构成动态图像。
图3是表示第一实施方式所涉及的车辆的***构成的例示的且示意性的框图。
接下来，使用图3，对为了在实施方式所涉及的车辆1中实现各种控制而设置的***构成进行说明。图3所示的***构成不过是一个例子，因此能够设定(变更)为各种各样。
如图3所示，本实施方式所涉及的车辆1具有制动***301、加速***302、转向操纵***303、变速***304、障碍物传感器305、行驶状态传感器306、车载照相机15、监视装置11、控制装置310、以及车载网络350。
制动***301控制车辆1的减速。制动***301具有制动部301a、制动控制部301b、以及制动部传感器301c。
制动部301a例如是上述的制动踏板等用于使车辆1减速的装置。
制动控制部301b例如是具有CPU(中央处理器)等硬件处理器的微型计算机。制动控制部301b例如基于经由车载网络350输入的指示来驱动致动器(不图示)，使制动部301a工作，从而控制车辆1的减速的程度。
制动部传感器301c是用于检测制动部301a的状态的传感检测设备。例如，制动部301a构成为制动踏板的情况下，对于制动部传感器301c而言，作为制动部301a的状态，检测制动踏板的位置或者作用于该制动踏板的压力。制动部传感器301c将检测到的制动部301a的状态向车载网络350输出。
加速***302控制车辆1的加速。加速***302具有加速部302a、加速控制部302b、以及加速部传感器302c。
加速部302a例如是上述的加速踏板等用于使车辆1加速的装置。
加速控制部302b例如构成为具有CPU等硬件处理器的微型计算机。加速控制部302b例如基于经由车载网络350输入的指示来驱动致动器(不图示)，使加速部302a工作，从而控制车辆1的加速的程度。
加速部传感器302c是用于检测加速部302a的状态的传感检测设备。例如，加速部302a构成为加速踏板的情况下，加速部传感器302c检测加速踏板的位置或者作用于该加速踏板的压力。加速部传感器302c将检测到的加速部302a的状态向车载网络350输出。
转向操纵***303控制车辆1的行进方向。转向操纵***303具有转向操纵部303a、转向操纵控制部303b、以及转向操纵部传感器303c。
转向操纵部303a例如是上述的方向盘、手柄等使车辆1的转向轮转向的装置。
转向操纵控制部303b例如构成为具有CPU等硬件处理器的微型计算机。转向操纵控制部303b例如基于经由车载网络350输入的指示来驱动致动器(不图示)，使转向操纵部303a工作，从而控制车辆1的行进方向。
转向操纵部传感器303c是用于检测转向操纵部303a的状态的传感检测设备，即用于检测转向操纵部303a的转向角的转转舵角传感器。例如，转向操纵部303a构成为方向盘的情况下，转向操纵部传感器303c检测方向盘的位置或者该方向盘的旋转角度。转向操纵部303a构成为手柄的情况下，转向操纵部传感器303c也可以检测手柄的位置或者作用于该手柄的压力。转向操纵部传感器303c将检测到的转向操纵部303a的状态向车载网络350输出。
变速***304控制车辆1的变速比。变速***304具有变速部304a、变速控制部304b、以及变速部传感器304c。
变速部304a例如是上述的变速杆等用于变更车辆1的变速比的装置。
变速控制部304b例如构成为具有CPU等硬件处理器的计算机。变速控制部304b例如基于经由车载网络350输入的指示来驱动致动器(不图示)，使变速部304a工作，从而控制车辆1的变速比。
变速部传感器304c是用于检测变速部304a的状态的传感检测设备。例如，变速部304a构成为变速杆情况下，变速部传感器304c检测变速杆的位置或者作用于该变速杆的压力。变速部传感器304c将检测到的变速部304a的状态向车载网络350输出。
障碍物传感器305是对与可能存在于车辆1的周围的物体(障碍物)相关的信息进行检测的传感检测设备。障碍物传感器305例如包含有取得至存在于车辆1的周围的物体的距离的测距传感器。作为测距传感器，例如能够使用通过发送音波，并接收被存在于车辆1的周围的物体反射的音波从而取得距离的声呐、通过发送光等电波，并接收被存在于车辆1的周围的物体反射的电波从而取得距离的激光雷达等。障碍物传感器305将检测到的信息向车载网络350输出。
行驶状态传感器306是用于检测车辆1的行驶状态的装置。行驶状态传感器306例如包含检测车辆1的车轮速度的车轮速度传感器、检测车辆1的前后方向或者左右方向的加速度的加速度传感器、检测车辆1的转弯速度(角速度)的陀螺仪传感器等。行驶状态传感器306将检测到的行驶状态向车载网络350输出。
控制装置310是统一地控制设置于车辆1的各种***的装置。具体内容后述，本实施方式所涉及的控制装置310具有基于作为车载照相机15获得的拍摄结果的图像数据(拍摄图像)，生成车辆1及其周边的立体的图像亦即显示用图像，将生成的显示用图像显示于显示部8的功能。
在本实施方式中，显示用图像是从车辆图像的斜上方观察具有作为车辆1的立体的图像的车辆图像、和位于该车辆图像的周围并且供拍摄图像通过投影转换来投影的投影区域的三维空间看到的立体的图像。或者，显示用图像也可以是由车载照相机15的拍摄获得的拍摄图像。
控制装置310构成为具有CPU310a、ROM(只读存储器)310b、RAM(随机存取存储器)310c、SSD(固态硬盘)310d、显示控制部310e、以及声音控制部310f的ECU(电子控制单元)。
CPU310a是统一地控制控制装置310的硬件处理器。CPU310a将存储于ROM310b等的各种控制程序(计算机程序)读出，根据该各种控制程序规定的指令来实现各种功能。这里，各种控制程序中包含用于将显示上述那样的显示用图像的显示控制处理实现的显示控制程序。
ROM310b是存储上述各种的控制程序的执行所需要的参数等的非易失性的主存储装置。
RAM310c是提供CPU310a的作业区域的易失性的主存储装置。
SSD310d是能够改写的非易失性的辅助存储装置。在实施方式所涉及的控制装置310中，作为辅助存储装置，也可以代替SSD310d(或者除SSD310d以外)，设置有HDD(硬盘驱动器)。
在能够通过控制装置310执行的各种处理中，显示控制部310e主要管理对从车载照相机15获得的拍摄图像的图像处理、向监视装置11的显示部8输出的图像数据的生成等。
在能够通过控制装置310执行的各种处理中，声音控制部310f主要管理向监视装置11的声音输出部9输出的声音数据的生成等。
车载网络350将制动***301、加速***302、转向操纵***303、变速***304、障碍物传感器305、行驶状态传感器306、监视装置11的操作输入部10、控制装置310连接为能够通信。
然而，对通过上述的显示用图像将车辆1和其周边的状况向乘车人员通知的技术在进行各种各样研究。例如，针对显示用图像，研究包含表示车辆1的外形的线(以下，称为外形引导线)，和该外形引导线的端伴随着车辆1的移动所描绘的轨迹(以下，称为预想进路引导线)的技术。根据该技术，能够将车辆1与存在于其周围的物体的位置关系更显而易见地向乘车人员通知。
然而，在上述的技术中，在显示用图像中，使外形引导线显示于以车辆1的图像的位置为基准而固定的位置，因此在显示用图像中包含从路面游离的物体(障碍物)的图像的显示用图像的情况下，存在看到显示用图像的乘车人员误解从车辆1至物体的距离，车辆1与物体碰撞的可能性。
因此，在实施方式中，在控制装置310内实现具有接下来的图4所示的功能的车辆周边显示装置400，由此实现在车辆1转弯时，在显示用图像中包含从路面浮起的物体的图像的情况下，减少看到该显示用图像的乘车人员误解从车辆1至物体的距离而使车辆1与物体碰撞的可能性。
图4是第一实施方式所涉及的车辆所具有的车辆周边显示装置的功能构成的例示的且示意性的框图。
接下来，使用图4，对本实施方式所涉及的车辆周边显示装置400的功能构成的一个例子进行说明。
图4所示的功能通过软件与硬件的配合在控制装置310内实现。即，图4所示的功能实现为控制装置310的CPU310a将存储于ROM310b等的规定的控制程序读出并执行而得的结果。
在本实施方式中，图4所示的功能是通过软件与硬件的配合来实现，但并不限定于此，图4所示的功能的至少一部分也可以通过专用的硬件(电路)来实现。
本实施方式所涉及的车辆周边显示装置400如图4所示具有取得部401、和显示处理部402。
取得部401从车载照相机15取得拍摄图像(图像数据)。另外，取得部401取得由转向操纵部传感器303c检测的转向角。并且，取得部401取得障碍物传感器305获得的物体的检测结果。
显示处理部402基于由取得部401取得的拍摄图像，生成车辆1及其周边的立体的图像亦即显示用图像。而且，显示处理部402使生成的显示用图像显示于显示部8。
在本实施方式中，显示用图像像上述那样是从规定视点观察具有车辆1的立体的图像亦即车辆图像(例如，由多边形构成的车辆1的图像)、和位于该车辆图像的周围并且供拍摄图像通过投影转换来投影的投影区域的三维空间看到的立体的图像。这里，规定视点是位于车辆图像的斜上方的，预先设定的视点。另外，显示用图像也可以像上述那样是由车载照相机15的拍摄获得的拍摄图像。另外，显示处理部402也可以使将车辆1及其周围进行了三维还原而得的图像作为显示用图像显示于显示部8。具体而言，显示处理部402也能够使用通过车载照相机15的拍摄获得的拍摄图像、障碍物传感器305(例如，声呐、雷达)获得的车辆1的周围的物体的检测结果等，将车辆1及其周围通过三维的方式还原，使通过点、线表示的图像作为显示用图像显示于显示部8。
另外，显示处理部402将外形引导线和预想进路引导线包含于显示用图像。这里，外形引导线是表示车辆1的外形的线，换而言之，是车辆1的轮廓线。具体而言，外形引导线是车辆1的车宽方向和与行进方向平行的方向上的，沿着车辆1的外形的线。另外，预想进路引导线是外形引导线伴随着车辆1的移动所描绘的轨迹。
在本实施方式中，显示处理部402将外形引导线和预想进路引导线包含于三维空间。而且，显示处理部402将从规定视点观察包含外形引导线和预想进路引导线的三维空间看到的立体的图像生成为显示用图像。
在本实施方式中，显示处理部402将外形引导线和预想进路引导线双方包含于三维空间，但只要将外形引导线和预想进路引导线中的至少一方包含于三维空间即可，并不限定于此。
并且，显示处理部402在车辆1转弯的情况下，以使外形引导线和预想进路引导线存在于比路面靠上方的位置(在本实施方式中，比车辆1直行的情况中的外形引导线和预想进路引导线的位置靠上方的位置)的方式，变更外形引导线和预想进路引导线的位置。由此，能够在使包含从路面浮起的物体的图像的显示用图像显示于显示部8的情况下，在显示用图像内，针对外形引导线和预想进路引导线，在从路面浮起的物体的图像的位置或者与其相近的位置显示外形引导线和预想进路引导线。其结果为，在从路面浮起的物体存在的情况下，能够容易掌握物体与车辆1的位置关系，减少看到显示用图像的乘车人员误解从车辆1至障碍物的距离而使车辆1与障碍物碰撞的可能性。即，能够使车辆1更安全地通过物体。
在本实施方式中，显示处理部402在车辆1转弯的情况下，变更外形引导线和预想进路引导线双方的位置，但只要变更外形引导线和预想进路引导线中的至少一方的位置即可，并不限定于此。另外，在本实施方式中，显示处理部402在车辆1转弯的情况下，变更外形引导线和预想进路引导线的位置，但也能够在车辆1直行的情况下，以使外形引导线和预想进路引导线存在于比路面靠上方的位置的方式，也变更外形引导线和预想进路引导线的位置。
图5是用于对第一实施方式所涉及的车辆所具有的车辆周边显示装置进行的相对于三维空间的拍摄图像的投影处理的一个例子进行说明的图。图6是用于对第一实施方式所涉及的车辆所具有的车辆周边显示装置进行的相对于三维空间的外形引导线和预想进路引导线的描绘处理的一个例子进行说明的图。图7(a)、图7(b)是用于对第一实施方式所涉及的车辆所具有的车辆周边显示装置进行的外形引导线和预想进路引导线的位置的变更处理的一个例子进行说明的图。
接下来，使用图5～图7(a)、图7(b)，对车辆周边显示装置400进行的显示用图像的生成处理的一个例子进行说明。
如图5所示，取得部401取得由车载照相机15a拍摄车辆1的后方获得的拍摄图像G1、由车载照相机15b拍摄车辆1的右侧方获得的拍摄图像G2、由车载照相机15c拍摄车辆1的前方获得的拍摄图像G3、以及由车载照相机15d拍摄车辆1的左侧方获得的拍摄图像G4。
接下来，显示处理部402将拍摄图像G1～G4通过投影转换对三维空间VS投影。这里，如图5所示，三维空间VS是包含车辆1的立体的图像亦即车辆图像VG、和该车辆图像VG的周围的投影区域TR的立体的空间。在本实施方式中，投影区域TR具有相对于车辆图像VG水平的投影区域TR1(以下，称为平面投影区域)、和向该平面投影区域TR1的上方立起的投影区域TR2(以下，称为立体投影区域)。
具体而言，如图5所示，显示处理部402将各拍摄图像G1～G4内的各坐标通过投影转换转换为投影区域TR内的坐标。接下来，显示处理部402将各拍摄图像G1～G4内的各坐标的图像投影到投影区域TR，且投影到根据该各坐标进行了投影转换而得的坐标所表示的位置。由此，显示处理部402将拍摄图像G1～G4投影到投影区域TR。
并且，如图6所示，显示处理部402相对于三维空间VS，包含外形引导线L1和预想进路引导线L2。在本实施方式中，如图6所示，显示处理部402将表示车辆1的外形的一部分(例如，角)的线显示为外形引导线L1，但并不限定于此，也可以将表示车辆1的外形整体的线显示为外形引导线L1。
在本实施方式中，如图6所示，外形引导线L1相对于车辆图像的外形，具有车辆图像的车宽方向D1上的差值(以下，称为车宽方向差值)，和车辆图像的行进方向D2上的差值(以下，称为行进方向差值)。在本实施方式中，外形引导线L1具有车宽方向差值和行进方向差值，但也可以不具有车宽方向差值和行进方向差值。
然而，如图6所示，使包含从路面浮起的障碍物O(物体)的图像OG(以下，称为障碍物图像。例如，其他车辆的保险杠)的拍摄图像G1～G4通过投影转换投射到投影区域TR的情况下，如图6所示，将障碍物图像OG以相对于三维空间VS，位于比实际空间RS的障碍物O所存在的位置P远离车辆图像VG的位置的方式投影。
另外，如图6所示，从路面游离的障碍物的障碍物图像OG与实际空间S中障碍物O所存在的位置P的路面的图像RG不连续。因此，存在看到从规定视点观察三维空间VS看到的显示用图像的乘车人员误解障碍物O存在于比实际空间RS中障碍物O所存在的位置远离车辆1的位置的可能性。
因此，车辆1转弯的情况下，如图7(a)所示，显示处理部402将三维空间VS内的，外形引导线L1和预想进路引导线L2的位置朝向车辆图像VG的上下方向，向上方变更规定高度H的程度。这里，规定高度H是车辆1的行进方向上的端(例如，保险杠)的高度(例如，60～70cm)，或者，与存在于车辆1的周边的障碍物O的高度对应的高度。由此，能够使外形引导线L1和预想进路引导线L2显示在车辆1的外形中的与障碍物O碰撞的可能性较高的部位。其结果为，能够使车辆1更安全地通过障碍物O。
在本实施方式中，显示处理部402在车辆1转弯的情况下，无论车辆1的转向角如何，均将外形引导线L1和预想进路引导线L2的位置向上方变更规定高度H的程度，但也能够与车辆1的转向角相应地，改变将外形引导线L1和预想进路引导线L2的位置向上方变更的量。另外，在本实施方式中，显示处理部402将外形引导线L1和预想进路引导线L2的位置向上方变更规定高度H的程度，但是例如也可以将外形引导线L1和预想进路引导线L2的位置朝上方变更与车辆1的最高的部分的高度相当的高度的程度。
而且，显示处理部402使从规定视点观察将外形引导线L1和预想进路引导线L2的位置向上方变更后的三维空间VS看到的立体的图像作为显示用图像显示于显示部8。换而言之，车辆1转弯的情况下，显示处理部402以使在显示用图像内，外形引导线L1和预想进路引导线L2存在于距离路面规定高度H的程度的上方的方式将外形引导线L1和预想进路引导线L2描绘于显示用图像。
由此，能够在使包含从路面游离的障碍物图像OG的显示用图像显示于显示部8的情况下，使外形引导线L1和预想进路引导线L2显示在显示用图像内包含的障碍物图像OG中车辆1接触的可能性较高的位置。其结果为，在从路面浮起的障碍物O存在的情况下，障碍物O与车辆1的位置关系能够变得容易掌握，减少看到显示用图像的乘车人员误解从车辆1至障碍物的距离而使车辆1与障碍物碰撞的可能性。即，能够使车辆1更安全地通过障碍物O。
另一方面，车辆1直行的情况下，显示处理部402将外形引导线L1和预想进路引导线L2描绘(投影)于投影区域TR。由此，车辆1直行的情况下，显示处理部402以使外形引导线L1和预想进路引导线L2存在于路面的方式，将外形引导线L1和预想进路引导线L2描绘于显示用图像。
在本实施方式中，车辆1直行的情况下，显示处理部402以使外形引导线L1和预想进路引导线L2存在于路面的方式，将外形引导线L1和预想进路引导线L2描绘于显示用图像，但在车辆1直行的情况下，也能够以使在显示用图像内，外形引导线L1和预想进路引导线L2存在于距离路面规定高度H的程度的上方的方式，将外形引导线L1和预想进路引导线L2描绘于显示用图像。
另外，在本实施方式中，显示处理部402在由取得部401取得的转向角成为规定转向角以上的情况下，判断为车辆1转弯，以存在于比路面靠上方的位置的方式，将外形引导线L1和预想进路引导线L2描绘于显示用图像。由此，能够与车辆1的转向角较小与否无关第，防止变更外形引导线L1和预想进路引导线L2的位置。这里，规定转向角是预先设定的转向角，是判断为车辆1转弯的转舵角。
另外，在本实施方式中，显示处理部402在车辆1转弯的情况下，缓缓变更外形引导线L1和预想进路引导线L2的位置。由此，能够减轻在变更外形引导线L1和预想进路引导线L2的位置时，外形引导线L1和预想进路引导线L2的位置突然变更，乘车人员感到不协调的情况。
此时，显示处理部402也可以随着外形引导线L1和预想进路引导线L2接近目标的高度(在本实施方式中，为规定高度)，减缓将该外形引导线L1和预想进路引导线L2的位置变更的速度。由此，能够进一步减轻在变更外形引导线L1和预想进路引导线L2的位置时，外形引导线L1和预想进路引导线L2的位置突然变更，乘车人员感到不协调的情况。
另外，在本实施方式中，显示处理部402也可以无论车辆1的转向角是否成为规定转向角以上，均与车辆1的转向角的变化相应地，变更外形引导线L1和预想进路引导线L2的位置。具体而言，显示处理部402随着车辆1的转向角(绝对值)变大，增大外形引导线L1和预想进路引导线L2的位置的变更量。
另外，在本实施方式中，显示处理部402将变更位置前的外形引导线L1和预想进路引导线L2(以下，称为变更前引导线L1、L2)、变更位置后的外形引导线L1和预想进路引导线L2(以下，称为变更后引导线L1、L2)双方包含于显示用图像，但只要至少将变更后引导线L1、L2包含于显示用图像即可。
即，显示处理部402也可以在车辆1转弯的情况下，将变更前引导线L1、L2留存在显示用图像内。由此，能够容易地识别到变更了外形引导线L1和预想进路引导线L2的位置，能够督促乘车人员应该根据变更后引导线L1、L2驾驶车辆1。其结果为，车辆1能够更安全地通过障碍物O。
显示用图像中包含变更前引导线L1、L2和变更后引导线L1、L2双方的情况下，显示处理部402能够使两者的显示方式不同。例如，显示处理部402用灰颜色显示变更前引导线L1、L2，用彩色显示变更后引导线L1、L2。
由此，在显示用图像中包含变更前引导线L1、L2和变更后引导线L1、L2双方的情况下，能够容易地辨别应该根据哪一个外形引导线L1和预想进路引导线L2操作车辆1。其结果为，能够进一步减少看到显示用图像的乘车人员误解从车辆1至障碍物的距离而使车辆1与障碍物碰撞的可能性。
在本实施方式中，显示处理部402使变更前引导线L1、L2与变更后引导线L1、L2各自的颜色不同，但只要使变更前引导线L1、L2和变更后引导线L1、L2的显示方式相互不同即可，并不限定于此。例如，显示处理部402用实线显示(描绘)变更后引导线L1、L2，用虚线显示(描绘)变更前引导线L1、L2。
并且，在本实施方式中，显示处理部402也能够使变更位置后的外形引导线L1与预想进路引导线L2各自的显示方式相互不同。例如，显示处理部402用蓝色显示变更位置后的外形引导线L1，并且，用黄色心事变更位置后的预想进路引导线L2。
另外，在本实施方式中，显示处理部402无论是否通过障碍物传感器305检测到了障碍物O，均变更三维空间VS中的，外形引导线L1和预想进路引导线L2的位置，但并不限定于此。
具体而言，显示处理部402在通过障碍物传感器305检测到了障碍物O的情况下，将三维空间VS内的外形引导线L1和预想进路引导线L2的位置向上方变更。另一方面，显示处理部402在通过障碍物传感器305未检测到障碍物O的情况下，不将三维空间VS内的外形引导线L1和预想进路引导线L2的位置向上方变更。
即，显示处理部402在通过障碍物传感器305检测到了障碍物O的情况下，变更显示用图像内的外形引导线L1和预想进路引导线L2的位置。由此，车辆1的乘车人员能够直观地识别在车辆1的进路上存在障碍物O，因此能够进一步减少车辆1与障碍物O碰撞的可能性。
另外，在本实施方式中，显示处理部402无论是否通过障碍物传感器305检测到了障碍物O，均使变更后引导线L1、L2的显示方式与变更前引导线L1、L2的显示方式不同，但并不限定于此。
具体而言，显示处理部402在通过障碍物传感器305检测到了障碍物O的情况下，用彩色(或者闪烁)显示变更后引导线L1、L2。另一方面，显示处理部402在通过障碍物传感器305未检测到障碍物O的情况下，用灰颜色显示变更后引导线L1、L2。
即，显示处理部402与是否通过障碍物传感器305检测到了障碍物O相应地，变更显示用图像内的外形引导线L1和预想进路引导线L2的显示方式。由此，车辆1的乘车人员能够直观地识别在车辆1的进路上存在障碍物O，能够进一步减少车辆1与障碍物O碰撞的可能性。
另外，在使通过车载照相机15(例如，车载照相机15c)的拍摄获得的拍摄图像(例如，正视图)作为显示用图像G显示于显示部8的情况下，显示处理部402也在车辆1转弯的情况下，以使外形引导线L1和预想进路引导线L2存在于比路面靠上方的位置的方式，变更拍摄图像(显示用图像G)内的外形引导线L1和预想进路引导线L2的位置。具体而言，如图7(b)所示，显示处理部402在车辆1转弯时，将拍摄图像(显示用图像G)中包含的外形引导线L1和预想进路引导线L2的位置向上方变更规定高度H的程度。
这样，根据第一实施方式所涉及的车辆1，在使包含从路面浮起离的物体的图像的显示用图像显示于显示部8的情况下，能够在显示用图像内，针对外形引导线和预想进路引导线，在从路面浮起的物体的图像的位置或者与其相近的位置显示外形引导线和预想进路引导线。其结果为，在从路面浮起的物体存在的情况下，物体与车辆1的位置关系变得容易掌握，能够减少看到显示用图像的乘车人员误解从车辆1至障碍物的距离，车辆1与障碍物碰撞的可能性。即，能够使车辆1更安全地通过物体。
(第二实施方式)
本实施方式是在使车辆及其周边的立体的图像作为显示用图像为显示的情况下，与车辆1的转弯方向相应地变更显示用图像的视点的例子。在以下的说明中，对与第一实施方式相同的构成省略说明。
在本实施方式中，显示处理部402在车辆1直行的情况下，使规定视点向位于车辆图像的后方且车辆图像的车宽方向的中央的基准视点移动，将从移动到基准视点的规定视点观察三维空间看到的图像生成为显示用图像。而且，显示处理部402使生成的显示用图像显示于显示部8。
由此，能够在车辆1直行的情况下，使容易识别车辆1的车宽的显示用图像显示。其结果为，能够在车辆1直行的情况下，容易地掌握与存在于车辆1的侧方的物体的位置关系。
另外，在本实施方式中，显示处理部402在车辆1转弯的情况下，使规定视点向以基准视点为基准，车辆1的转弯方向相反侧错开而得的视点(以下，称为目标视点)。而且，显示处理部402将从移动到目标视点的规定视点观察三维空间看到的立体的图像生成为显示用图像。而且，显示处理部402使生成的显示用图像显示于显示部8。
由此，能够在车辆1转弯的情况下，使能够看见在车辆1的转弯时应该注意与物体的接触的部位的显示用图像显示。其结果为，车辆1转弯的情况下，车辆1能够不与物体接触地更安全地行驶。
图8是用于对第二实施方式所涉及的车辆所具地有车辆周边显示装置进行的显示用图像的显示处理的一个例子进行说明的图。
接下来，使用图8，对车辆周边显示装置400进行的显示用图像的显示处理的一个例子进行说明。
车辆1直行的情况(车辆1的转向角是0度的情况)下，如图8所示，显示处理部402使从移动到基准视点的规定视点观察三维空间VS看到的立体的图像作为显示用图像G显示于显示部8。
另外，车辆1向右方向转弯的情况下，如图8所示，显示处理部402使从移动到自基准视点向左侧错开而得的目标视点的规定视点观察三维空间VS获得的立体的图像作为显示用图像G显示于显示部8。
另外，车辆1向左方向转弯的情况下，如图8所示，显示处理部402使从移动到自基准视点向右侧错开而得的目标视点的规定视点观察三维空间VS看到的立体的图像作为显示用图像G显示于显示部8。
在本实施方式中，显示处理部402在车辆1的转向角成为规定转向角以上的情况下，使规定视点向以基准视点基准，向车辆1的转弯方向相反侧错开而得的目标视点移动。此时，显示处理部402也可以使规定视点朝向目标视点缓缓移动。另外，在使规定视点朝向目标视点缓缓移动时，显示处理部402也可以随着规定视点接近目标视点，减小使该规定视点变化的速度。
另外，在本实施方式中，显示处理部402也可以无论车辆1的转向角是否为规定转向角以上，均求出与车辆1的转向角相应的目标视点，使从移动到该目标视点后的规定视点观察三维空间VS看到的立体的图像作为显示用图像G显示于显示部8。
具体而言，显示处理部402根据下述的式(1)，求出水平角度。
水平角度＝车辆1的转向角×转换系数…(1)
这里，水平角度是以车辆1的行进方向D2为基准，将规定视点从基准视点向水平方向错开的角度。另外，转换系数是预先设定的系数。
接下来，显示处理部402将以车辆1的行进方向D2为基准，朝向水平方向，从基准视点错开该求出的水平角度的程度而得的视点作为目标视点求出。而且，显示处理部402使从移动到目标视点的规定视点观察三维空间VS看到的立体的图像作为显示用图像G显示于显示部8。
例如，在车辆1的转向角为－300度，车辆1向右方向转弯的情况下，显示处理部402使用上述的式(1)，求出水平角度＝－40度。而且，如图8所示，显示处理部402使从移动到以车辆1的行进方向D2为基准，从基准视点向水平方向错开－40度而得的目标视点的规定视点观察三维空间VS看到的立体的图像作为显示用图像G显示于显示部8。
另外，例如，在车辆1的转向角是+300度，车辆1向左方向转弯的情况下，显示处理部402使用上述的式(1)，求出水平角度＝+40度。而且，如图8所示，显示处理部402使从移动到以车辆1的行进方向D2为基准，从基准视点向水平方向错开向+40度而得的目标视点的规定视点观察三维空间VS看到的立体的图像作为显示用图像G显示于显示部8。
图9是用于对第二实施方式所涉及的车辆所具有的车辆周边显示装置进行的显示用图像的显示处理的其他的例子进行说明的图。
接下来，使用图9，对车辆1的前进时和后退时的车辆周边显示装置400进行的显示用图像G的显示处理的一个例子进行说明。
车辆1直行的情况下，如图9所示，显示处理部402在车辆1的前进时和后退时均使从移动到基准视点的规定视点观察三维空间VS看到的立体的图像作为显示用图像G显示于显示部8。
另外，车辆1转弯的情况下，如图9所示，显示处理部402也在车辆1的前进时和后退时均使从移动到以基准视点为基准，向车辆1的转弯方向相反侧错开而得的目标视点的规定视点观察三维空间VS看到的立体的图像作为显示用图像G显示。
但是，车辆1后退的情况下，如图9所示，显示处理部402也可以使与车辆1前进的情况相比，从车辆图像VG的更后方的规定视点观察三维空间VS看到的立体的图像作为显示用图像G显示于显示部8。由此，能够扩大显示用图像G中的车辆图像VG的后方的视场。其结果为，能够使车辆1的后退时的行驶的安全性提高。
在本实施方式中，显示处理部402无论是否通过障碍物传感器305检测到了障碍物，均使规定视点移动，但也能够仅在通过障碍物传感器305检测到了障碍物的情况下，使规定视点移动。由此，能够根据规定视点是否进行了移动，容易地掌握是否在车辆1的周围存在障碍物。
图10(a)、图10(b)是用于对第二实施方式所涉及的车辆所具有的车辆周边显示装置进行的外形引导线和预想进路引导线的显示处理的一个例子进行说明的图。
接下来，使用图10(a)、图10(b)，对外形引导线L1和预想进路引导线L2的显示处理的一个例子进行说明。
如图10(a)所示，车辆1转弯的情况(例如，车辆1向右方向转弯的情况)下，若以基准视点为基准，使规定视点向车辆1的转弯方向相反侧错开，则存在变更位置前的预想进路引导线L2(以下，称为变更前预想进路引导线L2)显示于比变更位置后的预想进路引导线L2(以下，称为变更后预想进路引导线L2)靠外侧的位置的情况。
该情况，若根据变更后预想进路引导线L2使车辆1行驶，则能够以车辆1与障碍物不碰撞的方式看到。然而，为了减少车辆1与物体的碰撞的可能性，优选根据在车辆1转弯时该车辆1(例如，车辆1的车轮)所描绘的圆弧的中心方向上位于外侧的预想进路引导线L2来判断车辆1是否与物体碰撞。
因此，在本实施方式中，车辆1转弯的情况下，如图10(b)所示，显示处理部402使规定视点向在显示用图像G中，变更后预想进路引导线L2比变更前预想进路引导线L2靠车辆图像VG的旋转中心侧的目标视点移动。换而言之，显示处理部402使规定视点向在车辆1(例如，车辆1的车轮)所描绘圆弧的中心方向上变更后预想进路引导线L2显示于比变更前预想进路引导线L1靠外侧的位置的目标视点移动。
例如，显示处理部402在车辆1的转向角达到规定阈值(例如，15度)的情况下，使规定视点的移动结束，即便车辆1的转向角变大，也不使规定视点移动。这里，规定阈值是变更前预想进路引导线L2显示于比变更后预想进路引导线L2靠外侧的位置的转向角。
由此，能够防止变更后预想进路引导线L2显示于比变更前预想进路引导线L2靠内侧的位置。其结果为，在车辆1的转向角不断变大的过程中，只要根据变更后预想进路引导线L2使车辆1行驶，即能够减少误解为车辆1不会与障碍物碰撞而使车辆1与障碍物碰撞的可能性。
在本实施方式中，显示处理部402使变更后预想进路引导线L2和变更前预想进路引导线L2中的在车辆1所描绘的圆弧的中心方向上位于外侧的预想进路引导线L2突出显示。换而言之，显示处理部402在车辆1的转向角达到规定阈值的情况下，更换变更后预想进路引导线L2的显示方式和变更前预想进路引导线L2的显示方式。
由此，在车辆1的转向角变大，规定视点不断移动的过程中，即便车辆1所描绘的圆弧的中心方向上的变更后预想进路引导线L2与变更前预想进路引导线L2的位置关系进行了变化，只要根据变更后预想进路引导线L2使车辆1行驶，即能够减少误解为车辆1不与障碍物碰撞而使车辆1与障碍物碰撞的可能性。
另外，在本实施方式中，显示处理部402在车辆1的转向角达到规定阈值后(即，在车辆1所描绘的圆弧的中心方向上，变更后预想进路引导线L2显示于比变更前预想进路引导线L2靠内侧的位置后)，也将变更后预想进路引导线L2包含于显示用图像G内，但也可以在车辆1的转向角达到了规定阈值后，将变更后预想进路引导线L2从显示用图像G削除。由此，在车辆1的转向角变大，规定视点不断移动的过程中，只要根据变更后预想进路引导线L2使车辆1行驶，即能够减少误解为车辆1不与障碍物碰撞而使车辆1与障碍物碰撞的可能性。
另外，在本实施方式中，显示处理部402在车辆1的转向角达到至规定阈值期间(即，在车辆1所描绘的圆弧的中心方向上，变更后预想进路引导线L2显示于比变更前预想进路引导线L2靠外侧的位置期间)，将变更前预想进路引导线L2包含于显示用图像G，但也可以在车辆1的转向角达到至规定阈值期间，将变更前预想进路引导线L2从显示用图像G削除。即，显示处理部402也能够仅将变更前预想进路引导线L2和变更后预想进路引导线L2中的，在车辆1所描绘的圆弧的中心方向上显示于外侧的预想进路引导线L2包含于显示用图像G。
这样，根据第二实施方式所涉及的车辆1，能够在车辆1转弯的情况下，使能够看见在车辆1的转弯时应该注意与物体的接触的部位的显示用图像显示。其结果为，车辆1转弯的情况下，车辆1能够以不与物体接触的方式更安全地行驶。

Claims (10)

1.一种车辆周边显示装置，其特征在于，
具备：
取得部，其取得通过拍摄部拍摄车辆的周边获得的拍摄图像；和
显示处理部，其基于所述拍摄图像，使所述车辆及其周边的立体的图像亦即显示用图像显示于显示部，
所述显示处理部将表示所述车辆的外形的外形引导线伴随着所述车辆的移动所描绘的轨迹亦即预想进路引导线包含于所述显示用图像，并在所述车辆转弯的情况下，以使所述预想进路引导线存在于比路面靠上方的位置的方式，变更所述预想进路引导线的位置，
所述显示处理部使对具有所述车辆的立体的车辆图像、和位于该车辆图像的周围并且供所述拍摄图像通过投影转换来投影的投影区域的三维空间从所述车辆图像的斜上方的规定视点观看到的立体的图像、或者将所述车辆的周围进行了三维还原而得的图像作为所述显示用图像显示于所述显示部，
所述显示处理部在所述车辆转弯的情况下，使所述规定视点向以所述车辆图像的后方且所述车辆图像的车宽方向的中央为基准视点，向所述车辆的转弯方向相反侧错开而得的视点移动，
所述显示处理部在所述车辆转弯的情况下，在将变更位置前的所述预想进路引导线留存在所述显示用图像内时，使所述规定视点向变更位置后的所述预想进路引导线显示于比变更所述位置前的预想进路引导线靠外侧的位置的视点移动。
2.根据权利要求1所述的车辆周边显示装置，其特征在于，
所述显示处理部在所述车辆直行的情况下，以使所述预想进路引导线存在于路面的方式，将所述预想进路引导线描绘于所述显示用图像，并在所述车辆转弯的情况下，以使所述预想进路引导线存在于距路面规定高度的距离的上方的方式，将所述预想进路引导线描绘于所述显示用图像。
3.根据权利要求2所述的车辆周边显示装置，其特征在于，
所述规定高度是所述车辆的行进方向上的端的高度、或者与存在于所述车辆的周边的物体的高度对应的高度。
4.根据权利要求1～3中的任一项所述的车辆周边显示装置，其特征在于，
所述显示处理部在所述车辆的转向角成为规定转向角以上的情况下，判断为所述车辆转弯，变更所述预想进路引导线的位置。
5.根据权利要求1～3中的任一项所述的车辆周边显示装置，其特征在于，
所述显示处理部在所述车辆转弯的情况下，缓缓变更所述预想进路引导线的位置。
6.根据权利要求1～3中的任一项所述的车辆周边显示装置，其特征在于，
所述显示处理部在所述车辆转弯的情况下，将变更位置前的所述预想进路引导线留存在所述显示用图像内。
7.根据权利要求6所述的车辆周边显示装置，其特征在于，
所述显示处理部使变更位置前的所述预想进路引导线的显示方式与变更位置后的所述预想进路引导线的显示方式不同。
8.根据权利要求1～3中的任一项所述的车辆周边显示装置，其特征在于，
所述显示处理部在通过障碍物传感器检测到了存在于所述车辆的周围的物体的情况下，变更所述预想进路引导线的位置。
9.根据权利要求1所述的车辆周边显示装置，其特征在于，
所述显示处理部在通过障碍物传感器检测到了存在于所述车辆的周围的物体的情况下，使所述规定视点移动。
10.根据权利要求1～3中的任一项所述的车辆周边显示装置，其特征在于，
所述显示处理部与是否通过障碍物传感器检测到了存在于所述车辆的周围的物体相应地，变更所述预想进路引导线的显示方式。
CN202010679938.6A 2019-07-16 2020-07-15 车辆周边显示装置 Active CN112238811B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019131406A JP7331511B2 (ja) 2019-07-16 2019-07-16 車両周辺表示装置
JP2019-131406 2019-07-16

Publications (2)

Publication Number Publication Date
CN112238811A CN112238811A (zh) 2021-01-19
CN112238811B true CN112238811B (zh) 2024-05-31

Family

ID=74171050

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010679938.6A Active CN112238811B (zh) 2019-07-16 2020-07-15 车辆周边显示装置

Country Status (3)

Country Link
US (1) US11180084B2 (zh)
JP (1) JP7331511B2 (zh)
CN (1) CN112238811B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001006097A (ja) * 1999-06-25 2001-01-12 Fujitsu Ten Ltd 車両の運転支援装置
JP2001108458A (ja) * 1999-10-04 2001-04-20 Matsushita Electric Ind Co Ltd ナビゲーション装置と立体地図表示方法
JP2001180405A (ja) * 1999-12-28 2001-07-03 Toyota Autom Loom Works Ltd 操舵支援装置
CN103079902A (zh) * 2010-09-06 2013-05-01 爱信精机株式会社 驾驶支援装置
CN108432242A (zh) * 2016-05-10 2018-08-21 Jvc 建伍株式会社 车辆用显示装置、车辆用显示方法以及程序
WO2019072455A1 (de) * 2017-10-11 2019-04-18 Robert Bosch Gmbh Verfahren zum darstellen einer umgebung eines fahrzeugs
CN109792507A (zh) * 2016-09-30 2019-05-21 爱信精机株式会社 周边监视装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3645196B2 (ja) * 2001-02-09 2005-05-11 松下電器産業株式会社 画像合成装置
JP3807330B2 (ja) 2002-03-05 2006-08-09 日産自動車株式会社 車両周辺監視装置
JP3894322B2 (ja) 2003-07-23 2007-03-22 松下電工株式会社 車両用視界モニタシステム
JP5112998B2 (ja) * 2008-09-16 2013-01-09 本田技研工業株式会社 車両周囲監視装置
JP5182137B2 (ja) 2009-02-12 2013-04-10 株式会社デンソー 車両周辺表示装置
JP5605606B2 (ja) 2010-03-12 2014-10-15 アイシン精機株式会社 駐車支援装置
JP6304628B2 (ja) * 2014-05-12 2018-04-04 パナソニックＩｐマネジメント株式会社 表示装置および表示方法
JP2016063390A (ja) * 2014-09-18 2016-04-25 富士通テン株式会社 画像処理装置、及び画像表示システム
WO2017110144A1 (ja) * 2015-12-22 2017-06-29 株式会社Ｊｖｃケンウッド 俯瞰映像生成装置、俯瞰映像生成システム、俯瞰映像生成方法およびプログラム
JP6639379B2 (ja) 2016-12-21 2020-02-05 トヨタ自動車株式会社 車両周辺監視装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001006097A (ja) * 1999-06-25 2001-01-12 Fujitsu Ten Ltd 車両の運転支援装置
JP2001108458A (ja) * 1999-10-04 2001-04-20 Matsushita Electric Ind Co Ltd ナビゲーション装置と立体地図表示方法
JP2001180405A (ja) * 1999-12-28 2001-07-03 Toyota Autom Loom Works Ltd 操舵支援装置
CN103079902A (zh) * 2010-09-06 2013-05-01 爱信精机株式会社 驾驶支援装置
CN108432242A (zh) * 2016-05-10 2018-08-21 Jvc 建伍株式会社 车辆用显示装置、车辆用显示方法以及程序
CN109792507A (zh) * 2016-09-30 2019-05-21 爱信精机株式会社 周边监视装置
WO2019072455A1 (de) * 2017-10-11 2019-04-18 Robert Bosch Gmbh Verfahren zum darstellen einer umgebung eines fahrzeugs

Also Published As

Publication number Publication date
JP7331511B2 (ja) 2023-08-23
US11180084B2 (en) 2021-11-23
CN112238811A (zh) 2021-01-19
JP2021014244A (ja) 2021-02-12
US20210016712A1 (en) 2021-01-21

Similar Documents

Publication Publication Date Title
US10857944B2 (en) Periphery monitoring apparatus
US10131277B2 (en) Surroundings monitoring apparatus
US10150486B2 (en) Driving assistance device and driving assistance system
US11040739B2 (en) Parking assist device, parking assist method, and driving assist device
US10179608B2 (en) Parking assist device
US20180253106A1 (en) Periphery monitoring device
CN111108023B (zh) 停车辅助装置
US20170305345A1 (en) Image display control apparatus and image display system
WO2018150642A1 (ja) 周辺監視装置
JP7148064B2 (ja) カメラパラメータ推定装置、カメラパラメータ推定方法、およびカメラパラメータ推定プログラム
JP2019054420A (ja) 画像処理装置
JP2018056951A (ja) 表示制御装置
US11475676B2 (en) Periphery monitoring device
CN112238811B (zh) 车辆周边显示装置
US11938818B2 (en) Periphery monitoring apparatus
US11104380B2 (en) Display controller
CN112238812B (zh) 车辆周边显示装置
JP2021014245A (ja) 車両周辺表示装置
JP7314514B2 (ja) 表示制御装置
WO2019035229A1 (ja) 周辺監視装置
JP2024092546A (ja) 周辺表示装置
JP2016097843A (ja) 周辺監視装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
CB02 Change of applicant information
CB02 Change of applicant information

Address after: Aichi Prefecture, Japan

Applicant after: AISIN Co.,Ltd.

Address before: Aichi Prefecture, Japan

Applicant before: AISIN SEIKI Kabushiki Kaisha

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant