CN115195767A - 图像显示*** - Google Patents

图像显示*** Download PDF

Info

Publication number
CN115195767A
CN115195767A CN202210180203.8A CN202210180203A CN115195767A CN 115195767 A CN115195767 A CN 115195767A CN 202210180203 A CN202210180203 A CN 202210180203A CN 115195767 A CN115195767 A CN 115195767A
Authority
CN
China
Prior art keywords
image
display
vehicle
backward
virtual viewpoint
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210180203.8A
Other languages
English (en)
Inventor
森田纯平
照田八州志
藤原达朗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Publication of CN115195767A publication Critical patent/CN115195767A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/268—Signal distribution or switching
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/22—Display screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/105—Speed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/167—Synchronising or controlling image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/143—Touch sensitive instrument input devices
    • B60K2360/1434—Touch panels
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/166—Navigation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/173—Reversing assist
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/175—Autonomous driving
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/176—Camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/177—Augmented reality
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/179—Distances to obstacles or vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/21—Optical features of instruments using cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/31—Virtual images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/301—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with other obstacle sensor information, e.g. using RADAR/LIDAR/SONAR sensors for estimating risk of collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/602—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint
    • B60R2300/605—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint the adjustment being automatic
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/70—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by an event-triggered choice to display a specific image among a selection of captured images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/10—Longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/06—Automatic manoeuvring for parking
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2015/932—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles for parking operations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2015/937—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles sensor installation details
    • G01S2015/938—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles sensor installation details in the bumper area

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Automation & Control Theory (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

图像显示***。一种图像显示***包括：外部环境信息获取装置，所述外部环境信息获取装置构造成获取移动体周围的外部环境信息；显示装置，所述显示装置构造成显示外部环境信息；以及控制装置，所述控制装置构造成控制所述外部环境信息在所述显示装置上的显示，其中，所述控制装置构造成生成从虚拟视点观察移动体和所述移动体周围的对象的虚拟视点图像，使所述显示装置显示所述虚拟视点图像，沿着围绕所述移动体设置的轨迹移动所述虚拟视点，在轨迹中设置限制区段以使得限制区段在平面图中被布置在所述移动体的前方，并且执行视点限制控制以限制来自所述限制区段中的所述虚拟视点的虚拟视点图像的显示。

Description

图像显示***
技术领域
本发明涉及图像显示***。
背景技术
照惯例，图像显示***可以显示从虚拟视点观察诸如车辆的移动体和移动体周围的对象的图像(以下称为“虚拟视点图像”)。
例如，JP2020-43418A公开了一种包括图像生成单元和输出单元的周围区域监视装置。图像生成单元生成虚拟视点图像，使得目标停车区域和车辆都至少部分地保留在显示区域中。输出单元将虚拟视点图像输出到显示装置。
在如上所述的图像显示***中，虚拟视点可以沿着围绕移动体设置的轨迹移动。在这种情况下，如果显示从前面观察移动体和对象的虚拟视点图像，则用户可能难以理解对象在实际空间中是在移动体的左侧还是右侧。
发明内容
鉴于上述背景，本发明的目的在于使用户能够容易地理解对象在实际空间中是在移动体的左侧还是右侧。
为了实现这样的目的，本发明的一个方面提供了一种图像显示***1，所述图像显示***1包括：外部环境信息获取装置19，所述外部环境信息获取装置19被构造成获取移动体V周围的外部环境信息；显示装置32，所述显示装置32被构造成显示由所述外部环境信息获取装置获取的外部环境信息；以及控制装置15，所述控制装置15被构造成控制所述外部环境信息在所述显示装置上的显示，其中，所述控制装置被构造成生成从虚拟视点A观察移动体和所述移动体周围的对象Y的虚拟视点图像51，使所述显示装置显示所述虚拟视点图像，沿着围绕所述移动体设置的轨迹B移动所述虚拟视点，在轨迹中设置限制区段C以使得限制区段在平面图中被布置在所述移动体的前面，并且执行视点限制控制以限制来自所述限制区段中的所述虚拟视点的虚拟视点图像的显示。
根据该方面，通过限制从前面观察移动体和对象的虚拟视点图像的显示，用户可以容易地理解对象在实际空间中是在移动体的左侧还是右侧。
在上述方面，优选地，控制装置被构造成生成反转的向后图像52并使显示装置显示所述反转的向后图像，在反转的向后图像52中，来自移动体的向后图像在横向方向上反转。
根据该方面，当显示装置上的图像从虚拟视点图像和反转的向后图像中的一者切换到另一者时，包括在这些图像中的对象的位置可能从移动体的左侧和右侧中的一侧移动到另一者。如果发生对象的这样的移动，则用户可能难以理解对象在实际空间中是在移动体的左侧还是右侧。这样，通过限制从前面观察移动体和对象的虚拟视点图像的显示，能够抑制如上所述的对象的移动。因此，用户可以容易地理解对象在实际空间中是在移动体的左侧还是右侧。
在上述方面中，优选地，移动体的换档范围可在包括使移动体向前移动的向前范围和使移动体向后移动的向后范围在内的多个范围之间切换，并且当移动体的换档范围被设置为向前范围时，控制装置执行视点限制控制。
根据该方面，当将移动体的换档范围设置为向前范围的情况下，用户可以容易地理解对象在实际空间中是在移动体的左侧还是右侧。
在上述方面中，优选地，当移动体的换档范围设置为向后范围时，控制装置不执行视点限制控制。
根据该方面，当移动体的换档范围设置为向后范围时，虚拟视点图像的显示不受视点限制控制的限制，从而用户可以提高移动体的周围环境的可视性。
在上述方面，优选地，所述控制装置构造成生成使来自所述移动体的向后图像在横向方向上反转的反转的向后图像，并且当所述移动体的换档范围设置为向后范围时，控制装置使显示装置显示反转的向后图像。
根据该方面，通过在移动体的换档范围设置为向后范围时显示反转的向后图像，用户可以进一步提高移动体的周围环境的可视性。
在上述方面，优选地，在显示装置显示虚拟视点图像的状态下移动体的换档范围从向前范围切换到向后范围的情况下，控制装置将显示装置上的图像从虚拟视点图像切换到反转的向后图像。
根据该方面，响应于换档范围的切换，显示装置上的图像在切换后也切换为适合换档范围的图像，从而用户可以进一步提高移动体的周围环境的可视性。在另一方面，如果如上所述显示装置上的图像从虚拟视点图像转换为反转的向后图像，则包括在这些图像中的对象的位置会从移动体的左侧和右侧中的一侧移动到另一侧。这样，通过限制从前面观察移动体和对象的虚拟视点图像的显示，能够抑制如上所述的对象的移动。因此，用户可以容易地理解对象在实际空间中是在移动体的左侧还是右侧。
在上述方面中，优选地，控制装置构造成执行搜索处理以搜索移动体的停止位置，并且在搜索处理期间执行视点限制控制。
根据该方面，通过在搜索移动体的停止位置的同时执行视点限制控制，用户可以容易地理解停止位置是在移动体的左侧还是右侧。
在上述方面，优选地，在视点限制控制期间，控制装置在允许虚拟视点进入限制区段的同时，只要虚拟视点在限制区段内就限制虚拟视点图像的显示。
根据该方面，即使在视点限制控制期间，虚拟视点也能够通过限制区段。因此，可以将虚拟视点从限制区段一侧上的区域快速移动到另一侧上的另一区域。因此，可以提高用户的便利性。
在上述方面中，优选地，在视点限制控制期间，控制装置限制虚拟视点进入到限制区段中。
根据该方面，通过限制虚拟视点到限制区段的进入本身，可以可靠地使用户认识到来自限制区段中的虚拟视点的虚拟视点图像的显示受到限制。
因此，根据上述方面，用户可以容易地理解对象在实际空间中是在移动体的左侧还是右侧。
附图说明
图1是示出根据本发明的实施方式的设置有停车辅助***的车辆的功能框图；
图2是根据实施方式的停车辅助***中的自动停车处理的流程图；
图3A是示出在根据实施方式的停车辅助***中在目标停车位置接收处理期间触摸面板的画面显示的图；
图3B是示出在根据实施方式的停车辅助***中在驱动处理期间触摸面板的画面显示的图；
图3C是示出在根据实施方式的停车辅助***中当完成自动停车时触摸面板的画面显示的图；
图4是示出在根据实施方式的停车辅助***中的虚拟视点位于限制区段外的状态的平面图；
图5是示出在根据实施方式的停车辅助***中的虚拟视点位于限制区段内的状态的平面图；
图6A和图6B是各自示出在根据实施方式的停车辅助***中显示虚拟视点图像和俯视图像的触摸面板的画面的图；
图6C是示出在根据实施方式的停车辅助***中显示反转的向后图像和俯视图像的触摸面板的画面的图；以及
图7是示出在根据实施方式的停车辅助***的检索处理期间在触摸面板上显示的图像的表。
具体实施方式
下面，将参照附图来详细地描述本发明的实施方式。
停车辅助***1(图像显示***的示例)被安装在车辆V(移动体的示例：本实施方式中的汽车)上，该车辆V设置有构造成使车辆V自主行驶的车辆控制***2。
如图1中所示，车辆控制***2包括动力总成4、制动装置5、转向装置6、外部环境传感器7、车辆传感器8、导航装置10、操作输入构件11、驱动操作传感器12、状态检测传感器13、人机界面(HMI)14以及控制装置15。车辆控制***2的以上部件彼此连接，从而可以经由诸如控制器局域网(CAN)之类的通信机构在其间传送信号。
动力总成4是构造成向车辆V施加驱动力的装置。动力总成4包括动力源和变速器。动力源包括诸如汽油发动机和柴油发动机之类的内燃机与电动马达中的至少一种。在本实施方式中，动力总成4包括自动变速器16(动力传递装置的示例)以及用于改变自动变速器16的换档范围(车辆V的档位)的换档致动器17。制动装置5是构造成对车辆V施加制动力的装置。例如，制动装置5包括：制动钳，其构造成将制动垫压向制动转子；以及电动缸，其构造成向制动钳提供制动压力(油压)。制动装置5可以包括电动停车制动装置，该电动停车制动装置构造成经由线缆限制车轮的旋转。转向装置6是用于改变车轮的转向角的装置。例如，转向装置6包括：齿条-小齿轮机构，其构造成使车轮转向(转动)；以及电动马达，其构造成驱动齿条-小齿轮机构。动力总成4、制动装置5和转向装置6由控制装置15控制。
外部环境传感器7用作外部环境信息获取装置，用于从车辆V的周围检测电磁波、声波等，以检测车辆V外部的对象并获取车辆V的周围信息。外部环境传感器7包括声纳18和外部摄像头19。外部环境传感器7还可以包括毫米波雷达和/或激光雷达。外部环境传感器7将检测结果输出到控制装置15。
每个声纳18均由所谓的超声波传感器组成。每个声纳18向车辆V的周围发射超声波，并捕获由对象反射的超声波，从而检测对象的位置(距离和方向)。在车辆V的后部和前部的每一者处设置多个声纳18。在本实施方式中，一对声纳18在后保险杠上设置成彼此横向隔开，一对声纳18在前保险杠上设置成彼此横向隔开，并且四个声纳18分别设置在车辆V的两侧面的前端部和后端部。即，车辆V总共设置有8个声纳18。设置在后保险杠上的声纳18主要检测车辆V后方的对象的位置。设置在前保险杠上的声纳18主要检测车辆V前方的对象的位置。设置在车辆V的两侧面的前端部的声纳18分别检测在车辆V的前端部的左外侧和右外侧的对象的位置。设置在车辆的V两侧面的后端部的声纳18分别检测在车辆V的后端部的左外侧和右外侧的对象的位置。
外部摄像头19是构造成捕获车辆V周围的图像的装置。例如，每个外部摄像头19均由使用诸如CCD或CMOS之类的固体成像元件的数字照相机组成。外部摄像头19包括用于捕获车辆V前方图像的前摄像头和用于捕获车辆V后方图像的后摄像头。外部摄像头19可以包括设置在车辆V的后视镜附近的左右一对摄像头，以捕获车辆V的左右两侧的图像。
车辆传感器8包括：车辆速度传感器8a，其构造成检测车辆V的车速；加速度传感器，其构造成检测车辆V的加速度；偏航率传感器，其构造成检测围绕车辆V的竖直轴线的角速度；以及方向传感器，其构造成检测车辆V的方向。例如，车辆速度传感器8a由多个车轮速度传感器构成。每个车轮速度传感器构造成检测车轮速度(每个车轮的转速)。例如，偏航率传感器由陀螺仪传感器组成。
导航装置10是构造成获得车辆V的当前位置并且提供到目的地等的路线指引的装置。导航装置10包括GPS接收单元20和地图存储单元21。GPS接收单元20基于从人造卫星(定位卫星)接收的信号来识别车辆V的位置(纬度和经度)。地图存储单元21由诸如闪存或硬盘之类的已知存储装置构成，并存储地图信息。
操作输入构件11设置在车厢中，以接收由乘员(用户)进行的输入操作以控制车辆V。操作输入构件11包括方向盘22、加速踏板23、制动踏板24(制动输入构件)和换档杆25(换档构件)。换档杆25构造成接收用于切换车辆V的档位的操作。
驱动操作传感器12检测操作输入构件11的操作量。驱动操作传感器12包括：转向角传感器26，其构造成检测方向盘22的转向角；制动传感器27，其构造成检测制动踏板24的踩踏量，以及加速传感器28，其构造成检测加速踏板23的踩踏量。驱动操作传感器12将检测到的操作量输出至控制装置15。
状态检测传感器13是构造成检测根据乘员的操作车辆V的状态变化的传感器。由状态检测传感器13检测到的乘员的操作包括指示乘员的下车意图(意图从车V上下来)的操作和指示在自主停车操作或自主驶离操作期间乘员无检查车辆V周围环境的意图的操作。状态检测传感器13包括构造成检测车门打开和/或关闭的门打开/关闭传感器29以及构造成检测安全带的紧固状态的安全带传感器30作为用于检测指示下车意图的操作的传感器。状态检测传感器13包括构造成检测后视镜的位置的后视镜位置传感器31作为用于检测与离位意图相对应的操作的传感器。状态检测传感器13将指示检测到的车辆V状态变化的信号输出至控制装置15。
HMI 14是输入/输出装置，用于接收乘员的输入操作并经由显示和/或语音向乘员通知各种信息。HMI 14包括例如：触摸面板32，触摸面板32包括诸如液晶显示器或有机EL显示器之类的显示屏，并且构造成接收乘员的输入操作；诸如蜂鸣器或扬声器之类的声音产生装置33；停车主开关34；以及选择输入构件35。停车主开关34接收乘员的输入操作，以执行自动停车处理(自动停车操作)和自动驶离处理(自动驶离操作)中选择的一项。停车主开关34是仅在乘员进行了按压操作(按下操作)时才开启的所谓的瞬时开关。选择输入构件35接收乘员的与自动停车处理和自动驶离处理的选择有关的选择操作。选择输入构件35可以由旋转选择开关组成，旋转选择开关优选地需要按压作为选择操作。
控制装置15由包括CPU的电子控制单元(ECU)、诸如ROM之类的非易失性存储器、诸如RAM之类的易失性存储器等组成。CPU根据程序执行操作处理，从而控制装置15执行各种类型的车辆控制。控制装置15可以由一个硬件组成，或者可以由包括多个硬件的单元组成。此外，控制装置15的功能可以至少部分地由诸如LSI、ASIC和FPGA之类的硬件执行，或者可以由软件和硬件的组合来执行。
此外，控制装置15根据程序执行算术处理，从而进行由外部摄像头19捕获的图像(视频)的转换处理，以生成与车辆V及其周围区域的平面图相对应的俯视图像47以及在从上方观察时与车辆V及其周围区域的位于行进方向上的那部分的三维图像相对应的鸟瞰图像48。控制装置15可以通过组合前摄像头、后摄像头以及左右侧摄像头的图像来生成俯视图像47，并且可以通过组合由面向行进方向的前摄像头或后摄像头捕获的图像以及由左右侧摄像头捕获的图像来生成鸟瞰图像48。
停车辅助***1是用于执行所谓的自动停车过程和所谓的自动驶离处理的***，在该***中，车辆V自主地移动到由乘员所选的规定目标位置(目标停车位置或目标驶离位置)以停放车辆V或使车辆V驶离。
停车辅助***1包括外部摄像头19(外部环境信息获取装置的示例)、触摸面板32(显示装置和输入装置的示例)以及控制装置15。每个外部摄像头19捕获车辆V的周围图像(车辆V周围的外部环境信息的示例)。触摸面板32显示由每个外部摄像头19捕获的周围图像。控制装置15根据乘员的输入操作，控制周围图像在控制触摸面板32上的显示。
控制装置15控制动力总成4、制动装置5和转向装置6以执行自主停车操作，从而使车辆V自主地移动到目标停车位置并且将车辆V停在目标停车位置，以及执行自主驶离操作，从而使车辆V自主移动到目标驶离位置，并在目标驶离位置将车辆V驶离。为了执行这样的操作，控制装置15包括外部环境辨识单元41、车辆位置识别单元42、行动计划单元43、行进控制单元44以及显示控制单元45。
外部环境辨识单元41基于外部环境传感器7的检测结果，辨识存在于车辆V周围的障碍物(例如，停放的车辆或墙壁)，从而获得关于障碍物的信息。此外，外部环境辨识单元41基于诸如图案匹配之类的已知图像分析方法来分析由外部摄像头19捕获的图像，从而确定是否存在车辆止动器(车轮止动器)或障碍物，并在存在车辆止动器或障碍物的情况下获得车辆止动器或障碍物的大小。此外，外部环境辨识单元41可以基于来自声纳18的信号计算到障碍物的距离，以获得障碍物的位置。
此外，通过对外部环境传感器7的检测结果进行分析(更具体地，通过基于诸如图案匹配之类的已知图像分析方法对由外部摄像头19捕获的图像进行分析)，外部环境辨识单元41能够获取例如由路标界定的道路上的车道以及由设置在道路、停车场等表面上的白线等界定的停车位。
车辆位置识别单元42基于来自导航装置10的GPS接收单元20的信号来识别车辆V(本车辆)的位置。此外，除了来自GPS接收单元20的信号外，车辆位置识别单元42还可以获得来自车辆传感器8的车辆速度和偏航率，并借助所谓的惯性导航识别车辆V的位置和姿态。
行进控制单元44基于来自行动计划单元43的行进控制指令来控制动力总成4、制动装置5和转向装置6，以使车辆V行进。
显示控制单元45生成车辆V的周围图像，并使触摸面板32显示所生成的周围图像。显示控制单元45基于乘员的输入操作和来自行动计划单元43的指示，切换显示在触摸面板32上的周围图像。
当车辆V处于规定状态并且HMI 14或停车主开关34接收到用户的对应于自动停车处理或自动驶离处理的请求的规定输入时，行动计划单元43执行自动停车处理(自主停车操作)或自动驶离处理(自主驶离操作)。更具体地，当车辆V停止或车辆V以等于或小于规定车辆速度(可以搜索候选停车位置的车辆速度)的低速度行进时，在进行与自动停车处理相对应的规定输入的情况下，行动计划单元43执行自动停车处理。当车辆V停止时，在进行与自动驶离处理相对应的规定输入的情况下，行动计划单元43执行自动驶离处理(并行驶离处理)。可以由行动计划单元43基于车辆V的状态来选择要执行的处理(自动停车处理或自动驶离处理)。另选地，也可以由乘员经由触摸面板32或选择输入构件35进行以上选择。行动计划单元43在执行自动停车处理时，首先使触摸面板32显示用于设置目标停车位置的停车搜索画面。在设置了目标停车位置之后，行动计划单元43使触摸面板32显示停车画面。当执行自动驶离处理时，行动计划单元43首先使触摸面板32显示用于设置目标驶离位置的驶离搜索画面。在设置了目标驶离位置之后，行动计划单元43使触摸面板32显示驶离画面。
下文中，将参考图2描述自动停车处理。行动计划单元43首先执行获取处理(步骤ST1)以获取一个或多个停车位(如果有的话)。更具体地，在车辆V停止的情况下，行动计划单元43首先使HMI 14的触摸面板32显示指示乘员使车辆V直行的通知。当坐在驾驶员座椅上的乘员(以下称为“驾驶员”)使车辆V直行时，外部环境辨识单元41基于来自外部环境传感器7的信号获取检测到的每个障碍物的位置和大小以及设置在路面上的白线的位置。外部环境辨识单元41基于所获取的障碍物的位置和大小以及所获取的白线的位置，提取一个或多个未界定的停车位以及一个或多个界定的停车位(如果有的话)(下文中，将未界定的停车位与界定的停车位统称为“停车位”)。每个未界定的停车位是未由白线等界定，其大小足以停放车辆V，并且可用(即，其中没有障碍物)的空间。每个界定的停车位是由白线等界定，其大小足以停放车辆V，并且可用(即，没有停放另一辆车(本车辆以外的车辆))的空间。
接下来，行动计划单元43执行轨迹计算处理(步骤ST2)，以计算车辆V的从车辆V的当前位置到每个提取的停车位的轨迹。在针对特定停车位计算车辆的轨迹的情况下，行动计划单元43将该停车位设置为能够停放车辆V的候选停车位置，并且使触摸面板32在画面上(停车搜索画面)显示该候选停车位置。在由于障碍物的存在而无法计算车辆V的轨迹的情况下，行动计划单元43不将该停车位设置为候选停车位置，并且不使触摸面板32在画面上显示该停车位。当行动计划单元43设置多个候选停车位置(即，能够计算车辆V轨迹的多个停车地点)时，行动计划单元43使触摸面板32显示这些候选停车位置。
接下来，行动计划单元43执行目标停车位置接收处理(步骤ST3)，以接收由乘员进行的选择操作来选择目标停车位置，该目标停车位置是乘员想要停放车辆V的停车位置，并且选自触摸面板32上显示的所述一个或多个候选停车位置。更具体地，行动计划单元43使触摸面板32在图3A中所示的停车搜索画面上沿行进方向显示俯视图像47和鸟瞰图像48。当行动计划单元43获取至少一个候选停车位置时，行动计划单元43使触摸面板32在俯视图像47和鸟瞰图像48(图3A中的俯视图像47)中的至少一者中以重叠的方式显示指示候选停车位置的框和与该框相对应的图标。该图标由指示候选停车位置的符号组成(参见图3A中的“P”)。另外，行动计划单元43使触摸面板32显示包括指示驾驶员停止车辆V并选择目标停车位置的通知的停车搜索画面，从而触摸面板32接收目标停车位置的选择操作。目标停车位置的选择操作可以经由触摸面板32进行，或者可以经由选择输入构件35进行。
在车辆V停止并且驾驶员选择了目标停车位置之后，行动计划单元43使触摸面板32将画面从停车搜索画面切换到停车画面。如图3B中所示，停车画面是这样的画面，其中在触摸面板32的左半部分上显示车辆V的行进方向上的图像(下文中称为“行进方向图像49”)，并在触摸面板32的右半部分上显示包括车辆V及其周围区域的俯视图像47。此时，行动计划单元43可以使触摸面板32显示指示从候选停车位置中选择的目标停车位置的粗框和与该粗框相对应的图标，使得该粗框和图标与俯视图像47重叠。该图标由指示目标停车位置的符号组成，并以与指示候选停车位置的符号不同的颜色显示。
在选择了目标停车位置并且触摸面板32的画面切换到停车画面之后，行动计划单元43执行驱动处理(步骤ST4)以使车辆V沿着计算出的轨迹行进。此时，行动计划单元43基于由GPS接收单元20获取的车辆V的位置以及来自外部摄像头19、车辆传感器8等的信号来控制车辆V，使得车辆V沿着计算出的轨迹行进。此时，行动计划单元43控制动力总成4、制动装置5和转向装置6，以执行用于切换车辆V的行进方向的切换操作(用于使车辆V的行进方向反向的反向操作)。切换操作可以重复执行，或者可以仅执行一次。
在驱动处理中，行动计划单元43可以从外部摄像头19获取行进方向图像49，并使触摸面板32在其左半部分上显示所获取的行进方向图像49。例如，如图3B中所示，当车辆V向后移动时，行动计划单元43可以使触摸面板32在其左半部分上显示由外部摄像头19捕获的车辆V后方的图像。当行动计划单元43正在执行驱动处理时，触摸面板32的右半部分上显示的俯视图像47中的车辆V(本车辆)的周围图像随着车辆V的移动而改变。当车辆V到达目标停车位置时，行动计划单元43使车辆V停止并结束驱动处理。
当驱动处理结束时，行动计划单元43执行停车处理(步骤ST5)。在停车处理中，行动计划单元43首先驱动换档致动器17以将换档范围(档位)设置为停车范围(停车位置)。此后，行动计划单元43驱动停车制动装置，并使触摸面板32显示指示已经完成车辆的自动停车V的弹出窗口(参见图3C)。该弹出窗口可以在触摸面板32的画面上显示规定时间段。此后，行动计划单元43可以使触摸面板32将画面切换到导航装置10的操作画面或地图画面。
在停车处理中，可能存在由于换档致动器17的异常而无法将换档范围改变为停车范围的情况，或者存在由于停车制动装置53的异常而无法驱动停车制动装置53的情况。在这些情况下，行动计划单元43可以使触摸面板32在其画面上显示异常原因。
<换档范围>
行动计划单元43根据乘员(用户的示例)对换档杆25的操作来激活换档致动器17，从而至少在向前范围(行驶范围)、向后范围(倒车范围)、空档范围和停车范围之间切换车辆V的换档范围。向前范围是使车辆V向前移动的换档范围。向后范围是使车辆V向后移动的换档范围。空档范围是车轮可旋转并且动力总成4的驱动力不传递至车轮的换档范围。停车范围是车轮的旋转被限制并且动力总成4的驱动力不传递至车轮的换档范围。
<虚拟视点图像51和反转的向后图像52>
在下文中，将参照图4至图6描述虚拟视点图像51和反转的向后图像52(两者都是周围图像的示例)。图4和图5中的直线L1表示车辆V的前后中心线L1(通过车辆V的前后中心并沿横向延伸的直线)，并且图4和图5中的直线L2表示车辆V的横向中心线L2(通过车辆V的横向中心并沿前后方向延伸的直线)。在下文中，将横向关系与实际空间中的横向关系匹配的图像将称为“正常图像”，并且将横向关系相对于实际空间中的横向关系相反的图像将称为“镜像图像”。
参照图4和图5，显示控制单元45设置车辆V周围的虚拟视点A的轨迹B(以下简称为“轨迹B”)。虚拟视点A设置在车辆V的斜上方(设置在车辆V外部)。在另一实施方式中，虚拟视点A可以设置在与车辆V相同的高度处。轨迹B在平面图中具有以车辆V为中心的正圆形。在另一实施方式中，轨迹B可以具有除上述形状之外的形状(例如，在平面图中以车辆V为中心的椭圆形或多边形、在侧视图中以车辆V为中心的弧形或者以车辆V为中心的圆顶形状)。图4和图5中的角度θ表示从虚拟视点A俯视(观察)车辆V和车辆V周围的对象Y的状态下的视角示例。对象Y包括界定了车辆V的停车位置X(停止位置的示例)的分界线Y1、障碍物Y2、另一车辆(未示出)等。
显示控制单元45在轨迹B中设置弧状的限制区段C，以使限制区段C在平面图中被布置在车辆V的前方。在本实施方式中，整个限制区段C被布置成比车辆V的前端Va更向前。在另一实施方式中，限制区段C的一部分可以被布置成比车辆V的前端Va更向后。在平面图中限制区段C与车辆V的横向中心线L2相交。限制区段C的横向中心被布置在车辆V的横向中心线L2上。顺便说一下，图4示出了虚拟视点A在限制区段C之外的状态，并且图5示出了虚拟视点A位于限制区段C内(更具体地，位于限制区段C的横向中心处)的状态。
参照图6A和图6B，显示控制单元45通过对由每个外部摄像头19捕获的图像执行图像处理来生成虚拟视点图像51，并且使触摸面板32一起显示所生成的虚拟视点图像51连同上述俯视图像47。虚拟视点图像51是从虚拟视点A俯视(观察)车辆V和车辆V周围的对象Y的三维图像(正常图像)。图6A示出了来自限制区段C之外的虚拟视点A(参见图4)的虚拟视点图像51。图6B示出了来自限制区段C中的虚拟视点A(参见图5)的虚拟视点图像51。
显示控制单元45根据乘员对触摸面板32的横向滑动操作(输入操作的示例)沿轨迹B在水平方向上连续移动虚拟视点A。随着虚拟视点A以这种方式连续移动，车辆V的角度和虚拟视点图像51中的对象Y的位置连续改变。在另一实施方式中，显示控制单元45可以根据乘员在触摸面板32上的上下滑动操作在上下方向上连续移动虚拟视点A。此外，在又一实施方式中，显示控制单元45可以根据除了乘员的滑动操作之外的操作(例如，轻敲操作)移动虚拟视点A，或者根据乘员对除了触摸面板32之外的部件(例如，设置在触摸面板32周围的按钮)的操作来移动虚拟视点A。
参照图6A和图6B，显示控制单元45使触摸面板32显示操作促进图像54，使得操作促进图像54被叠加在虚拟视点图像51的下部上。操作促进图像54是促进乘员对触摸面板32的滑动操作的图像。操作促进图像54包括手图像和布置在手图像左右两侧上的一对箭头图像。在另一实施方式中，操作促进图像54可以包括除了手图像和箭头图像之外的图像。
参照图6C，显示控制单元45通过对由每个外部摄像头19捕获的图像执行图像处理来生成反转的向后图像52，并且使触摸面板32一起显示所生成的反转的向后图像52连同上述俯视图像47。反转的向后图像52是来自车辆V的向后图像在横向方向上被反转(左右反转)的图像(镜像图像)。显示控制单元45显示引导框55，使得引导框55叠加在反转的向后图像52上。引导框55是示出车辆V从当前位置向后移动规定距离时的车辆V的轮廓(预想轮廓)的框。
<在搜索处理期间显示在触摸面板32上的图像>
行动计划单元43被构造成执行搜索处理以搜索车辆V的停车位置X。搜索处理是与上述自动停车处理中的获取处理、轨迹计算处理和目标停车位置接收处理相对应的处理。在下文中，将车辆V前方的鸟瞰图像48(参照图3A)称为“向前鸟瞰图像48”。在下文中，将仅描述在搜索处理期间显示在触摸面板32的左半边上的图像，并且将省略在搜索处理期间显示在触摸面板32的右半边上的图像(即，俯视图像47)的描述。
参照图7，当乘员尚未选择停车位置X并且车辆V的换档范围被设置为向前范围时，显示控制单元45使触摸面板32显示向前鸟瞰图像48或虚拟视点图像51。另一方面，当乘员尚未选择停车位置X并且车辆V的换档范围被设置为向后范围时，显示控制单元45使触摸面板32显示反转的向后图像52。
在乘员尚未选择停车位置X并且触摸面板32显示向前俯瞰图像48或虚拟视点图像51的状态下，车辆V的换档范围可以从向前范围切换到向后范围。在这种情况下，显示控制单元45将触摸面板32上的图像从向前鸟瞰图像48或虚拟视点图像51切换到反转的向后图像52。相反，在乘员尚未选择停车位置X并且触摸面板32显示反转的向后图像52的状态下，车辆V的换档范围可以从向后范围切换到向前范围。在这种情况下，显示控制单元45将触摸面板32上的图像从反转的向后图像52切换到向前鸟瞰图像48或虚拟视点图像51。
当乘员已经选择停车位置X并且车辆V的换档范围被设置为向前范围时，显示控制单元45使触摸面板32显示向前鸟瞰图像48。另一方面，当乘员已经选择停车位置X并且车辆V的换档范围被设置为向后范围时，显示控制单元45使触摸面板32显示反转的向后图像52。
在乘员已经选择停车位置X并且触摸面板32显示向前俯瞰图像48的状态下，车辆V的换档范围可以从向前范围切换到向后范围。在这种情况下，显示控制单元45将触摸面板32上的图像从向前鸟瞰图像48切换到反转的向后图像52。相反，在乘员已经选择停车位置X并且触摸面板32显示反转的向后图像52的状态下，车辆V的换档范围可以从向后范围切换到向前范围。在这种情况下，显示控制单元45将触摸面板32上的图像从反转的向后图像52切换到向前鸟瞰图像48。
如上所述，在搜索处理中，显示控制单元45仅在车辆V的换档范围被设置为向前范围的情况下，使触摸面板32显示虚拟视点图像51。在另一实施方式中，在搜索处理期间，显示控制单元45即使在车辆V的换档范围被设置为除了向前范围之外的范围(例如，向后范围)的情况下，也可以使触摸面板32显示虚拟视点图像51。
此外，在搜索处理期间将车辆V的换档范围设置为向后范围的情况下，显示控制单元部45使触摸面板32(更具体地，触摸面板32的左半部)仅显示反转的向后图像52。因此，乘员可以提高车辆V的周围环境的可视性。在另一实施方式中，在搜索处理期间车辆V的换档范围被设置为向后范围的情况下，显示控制单元45可以使触摸面板32显示除了反转的向后图像52之外的图像(例如，虚拟视点图像51)。
<视点限制控制>
如上所述，当在乘员尚未选择停车位置X并且触摸面板32显示虚拟视点图像51的状态下车辆V的换档范围从向前范围切换到向后范围时，显示控制单元45将触摸面板32上的图像从虚拟视点图像51切换到反转的向后图像52。在下文中，将描述由这种从虚拟视点图像51切换到反转的向后图像52所引起的问题。
图6B示出了来自限制区段C中的虚拟视点A(车辆V前方的虚拟视点A)的虚拟视点图像51(正常图像)。在该虚拟视点图像51中，障碍物Y2被显示在车辆V的左侧。另一方面，图6C示出了从车辆V的向后视野在横向方向上被反转的反转的向后图像52(镜像图像)。在该反转的向后图像52中，与图6B所示的障碍物Y2相同的障碍物Y2被显示在车辆V的右侧。这样，随着触摸面板32上的图像从虚拟视点图像51切换到反转的向后图像52，触摸面板32上的图像从正常图像切换到镜像图像，因此这些图像中包括的每个对象Y的位置可以从车辆V的左侧和右侧中的一侧移动到其另一侧。如果发生对象Y的这样的移动，则乘员可能难以理解对象Y在实际空间中是在车辆V的左侧还是右侧。
这样，当在搜索处理期间将车辆V的换档范围设置为向前范围时，显示控制单元45执行视点限制控制。在该视点限制控制中，显示控制单元45限制来自限制区段C中的虚拟视点A的虚拟视点图像51的显示。因此，从前方俯视(观察)车辆V和对象Y的虚拟视点图像51的显示受到限制，因此可以抑制如上所述的每个对象Y的移动。因此，乘员可以容易地理解对象Y和停车位置X在实际空间中是在车辆V的左侧还是右侧。
此外，在视点限制控制期间，在允许虚拟视点A进入限制区段C的同时，只要虚拟视点A在限制区段C中，显示控制单元45就限制虚拟视点图像51的显示。通过在视点限制控制期间允许虚拟视点A进入限制区段C，即使在视点限制控制期间虚拟视点A也可以通过限制区段C。因此，可以使虚拟视点A从限制区段C一侧上的区域快速移动到其另一侧上的另一区域。因此，可以提高乘员的便利性。
更具体地，在视点限制控制期间，只要虚拟视点A处于限制区段C中，显示控制单元45就使触摸面板32显示单色图像(例如，黑色图像)而不是虚拟视点图像51。此时，只要虚拟视点A处于限制区段C中，显示控制单元45就可以使触摸面板32显示指示虚拟视点图像51的显示被限制的消息，使得该消息被叠加在单色图像上。在另一实施方式中，只要虚拟视点A处于限制区段C中，显示控制单元45就可以将虚拟视点图像51的分辨率降低到不能识别车辆V和对象Y的水平。这样，“限制虚拟视点图像51的显示”意味着“不显示虚拟视点图像51”和“降低虚拟视点图像51的可视性”这两者。
在另一实施方式中，在视点限制控制期间，显示控制单元45限制虚拟视点A到限制区段C中的进入本身。因此，可以可靠地使乘员认识到来自限制区段C中的虚拟视点A的虚拟视点图像51的显示被限制。
此外，当车辆V的换档范围设置为向后范围时，显示控制单元45不执行视点限制控制。因此，当车辆V的换档范围设置为向后范围时，虚拟视点图像51的显示不受视点限制控制的限制，从而乘员可以提高车辆V的周围环境的可视性。
<其他修改实施方式>
在上述实施方式中，触摸面板32用作显示装置和输入装置的示例。另一方面，在另一实施方式中，构造成与车辆V进行通信的通信装置(例如，智能电话、平板PC、移动电话、PDA等)可以用作显示装置和输入装置的示例。即，显示装置和输入装置不一定安装在车辆V上。另外，在上述实施方式中，触摸面板32兼作显示装置和输入装置。另一方面，在另一实施方式中，显示装置和输入装置可以由不同的部件组成。
在上述实施方式中，乘员作为用户的示例。另一方面，在另一实施方式中，也可以将除了乘员之外的人(即，车辆V外的人)作为用户的示例。
在上述实施方式中，每个外部摄像头19捕获的图像用作外部环境信息获取装置获取的外部环境信息的示例。另一方面，在另一实施方式中，除了由每个外部摄像头19捕获的图像以外的信息(例如，由车载摄像头捕获的图像、激光雷达获取的点群数据)可以用作由外部环境信息获取装置获取的外部环境信息的示例。
在上述实施方式中，车辆V(更具体地，汽车)用作移动体的示例。另一方面，在另一实施方式中，除了汽车之外的车辆V(例如，二轮车)可以用作移动体的示例，或者除了车辆V之外的移动体(例，如赛格威(Segway)、轮船或飞机)可以作为移动体的示例。
在上述实施方式中，停车辅助***1用作图像显示***的示例。另一方面，在另一实施方式中，除了停车辅助***1之外的***(例如，使移动体行驶的***)可以用作图像显示***的示例。
上面已经描述了本发明的具体实施方式，但是本发明不应被前述实施方式限制，并且在本发明的范围内可以进行各种变型和变更。

Claims (9)

1.一种图像显示***，所述图像显示***包括：
外部环境信息获取装置，所述外部环境信息获取装置被构造成获取移动体周围的外部环境信息；
显示装置，所述显示装置被构造成显示由所述外部环境信息获取装置获取的外部环境信息；以及
控制装置，所述控制装置被构造成控制所述外部环境信息在所述显示装置上的显示，
其中，所述控制装置构造成：
生成虚拟视点图像，在所述虚拟视点图像中，从虚拟视点观察所述移动体和所述移动体周围的对象，
使所述显示装置显示所述虚拟视点图像，
沿着围绕所述移动体设置的轨迹移动所述虚拟视点，
在所述轨迹中设置限制区段，使得所述限制区段在平面图中被布置在所述移动体的前方，并且
执行视点限制控制以限制来自所述限制区段中的虚拟视点的虚拟视点图像的显示。
2.根据权利要求1所述的图像显示***，其中，所述控制装置被构造成：
生成反转的向后图像，在所述反转的向后图像中，来自所述移动体的向后图像在横向方向上被反转，并且
使所述显示装置显示所述反转的向后图像。
3.根据权利要求1所述的图像显示***，其中，所述移动体的换档范围能够在多个范围之间切换，所述多个范围包括使所述移动体向前移动的向前范围和使所述移动体向后移动的向后范围，并且
当所述移动体的所述换档范围被设置为所述向前范围时，所述控制装置执行所述视点限制控制。
4.根据权利要求3所述的图像显示***，其中，当所述移动体的所述换档范围被设置为向后范围时，所述控制装置不执行所述视点限制控制。
5.根据权利要求4所述的图像显示***，其中，所述控制装置被构造成生成反转的向后图像，在所述反转的向后图像中，来自所述移动体的向后图像在横向方向上被反转，并且
当所述移动体的所述换档范围被设置为所述向后范围时，所述控制装置使所述显示装置显示所述反转的向后图像。
6.根据权利要求5所述的图像显示***，其中，在所述显示装置显示所述虚拟视点图像的状态下所述移动体的换档范围从所述向前范围切换到所述向后范围的情况下，所述控制装置将所述显示装置上的图像从所述虚拟视点图像切换到所述反转的向后图像。
7.根据权利要求1至6中的任一项所述的图像显示***，其中，所述控制装置被构造成执行搜索处理以搜索所述移动体的停止位置，并且在所述搜索处理期间执行所述视点限制控制。
8.根据权利要求1至6中的任一项所述的图像显示***，其中，在所述视点限制控制期间，在允许所述虚拟视点进入所述限制区段的同时，只要所述虚拟视点在所述限制区段内，所述控制装置就限制所述虚拟视点图像的显示。
9.根据权利要求1至6中的任一项所述的图像显示***，其中，在所述视点限制控制期间，所述控制装置限制所述虚拟视点进入到所述限制区段中。
CN202210180203.8A 2021-03-24 2022-02-25 图像显示*** Pending CN115195767A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-049646 2021-03-24
JP2021049646A JP7228614B2 (ja) 2021-03-24 2021-03-24 画像表示システム

Publications (1)

Publication Number Publication Date
CN115195767A true CN115195767A (zh) 2022-10-18

Family

ID=83363806

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210180203.8A Pending CN115195767A (zh) 2021-03-24 2022-02-25 图像显示***

Country Status (3)

Country Link
US (1) US20220311953A1 (zh)
JP (1) JP7228614B2 (zh)
CN (1) CN115195767A (zh)

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006011141A2 (en) * 2004-07-25 2006-02-02 Israel Aerospace Industries Ltd. Method and system for the acquisition of data and for the display of data
JP5344227B2 (ja) * 2009-03-25 2013-11-20 アイシン精機株式会社 車両用周辺監視装置
JP5271154B2 (ja) * 2009-05-29 2013-08-21 富士通テン株式会社 画像生成装置及び画像表示システム
JP6586090B2 (ja) * 2014-08-07 2019-10-02 株式会社半導体エネルギー研究所 運転支援システム
KR101687543B1 (ko) * 2015-04-27 2016-12-19 엘지전자 주식회사 디스플레이 장치 및 그 제어방법
KR20180037502A (ko) * 2016-10-04 2018-04-12 엘지전자 주식회사 이동 단말기 및 그 제어방법
WO2018092919A1 (ja) * 2016-11-21 2018-05-24 京セラ株式会社 画像処理装置、撮像装置、および表示システム
WO2018220828A1 (ja) * 2017-06-02 2018-12-06 本田技研工業株式会社 車両制御システム、車両制御方法、およびプログラム
WO2019012817A1 (ja) * 2017-07-14 2019-01-17 ソニー株式会社 画像処理装置、画像処理装置の画像処理方法、プログラム
KR102017801B1 (ko) * 2017-11-15 2019-09-03 엘지전자 주식회사 차량에 구비된 차량 제어 장치 및 차량의 제어방법
JP2019125193A (ja) * 2018-01-17 2019-07-25 アイシン精機株式会社 周辺監視装置
JP7133336B2 (ja) * 2018-04-06 2022-09-08 日立Astemo株式会社 駐車支援装置
JP7117183B2 (ja) * 2018-07-17 2022-08-12 日立Astemo株式会社 車両制御装置
GB2576213A (en) * 2018-08-10 2020-02-12 Sony Corp A method for mapping an object to a location in virtual space
JP2022049711A (ja) * 2019-01-15 2022-03-30 日立Astemo株式会社 車両制御装置及び方法
DE112020001579T5 (de) * 2019-03-28 2021-12-23 Panasonic intellectual property Management co., Ltd Videoanzeigesystem, videoanzeigeverfahren, programm und beweglicher körper
CN112124096B (zh) * 2019-06-24 2023-09-22 本田技研工业株式会社 驻车辅助***
WO2020261781A1 (ja) * 2019-06-27 2020-12-30 株式会社デンソー 表示制御装置、表示制御プログラム、および持続的有形コンピュータ読み取り媒体
JP2021014245A (ja) * 2019-07-16 2021-02-12 アイシン精機株式会社 車両周辺表示装置
JP7429589B2 (ja) * 2020-03-31 2024-02-08 本田技研工業株式会社 車両の移動支援システム
WO2022009848A1 (ja) * 2020-07-07 2022-01-13 株式会社デンソー 自車位置推定装置、走行制御装置
JP7220734B2 (ja) * 2021-03-24 2023-02-10 本田技研工業株式会社 画像表示システム
US11475766B1 (en) * 2021-04-16 2022-10-18 Hayden Ai Technologies, Inc. Systems and methods for user reporting of traffic violations using a mobile application

Also Published As

Publication number Publication date
US20220311953A1 (en) 2022-09-29
JP2022148108A (ja) 2022-10-06
JP7228614B2 (ja) 2023-02-24

Similar Documents

Publication Publication Date Title
US11498553B2 (en) Parking assist system
US20200398827A1 (en) Parking assist system
US20200398826A1 (en) Parking assist system
CN112995584B (zh) 车辆的显示装置和停车辅助***
CN112977428B (zh) 驻车辅助***
CN112124092B (zh) 驻车辅助***
CN112977426A (zh) 驻车辅助***
US20220308345A1 (en) Display device
US20220309803A1 (en) Image display system
CN112977257B (zh) 车辆的显示装置和停车辅助***
US20200398865A1 (en) Parking assist system
CN112977419B (zh) 驻车辅助***
JP7228614B2 (ja) 画像表示システム
CN112977417B (zh) 驻车辅助***
CN115118807A (zh) 远程操作***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination