CN107914713B - 车辆用显示装置及包括其的车辆 - Google Patents

车辆用显示装置及包括其的车辆 Download PDF

Info

Publication number
CN107914713B
CN107914713B CN201710069177.0A CN201710069177A CN107914713B CN 107914713 B CN107914713 B CN 107914713B CN 201710069177 A CN201710069177 A CN 201710069177A CN 107914713 B CN107914713 B CN 107914713B
Authority
CN
China
Prior art keywords
vehicle
image
display device
change
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710069177.0A
Other languages
English (en)
Other versions
CN107914713A (zh
Inventor
韩基薰
尹相烈
朴重熙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of CN107914713A publication Critical patent/CN107914713A/zh
Application granted granted Critical
Publication of CN107914713B publication Critical patent/CN107914713B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60TVEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T7/00Brake-action initiating means
    • B60T7/12Brake-action initiating means for automatic initiation; for initiation not subject to will of driver or passenger
    • B60T7/22Brake-action initiating means for automatic initiation; for initiation not subject to will of driver or passenger initiated by contact of vehicle, e.g. bumper, with an external object, e.g. another vehicle, or by means of contactless obstacle detectors mounted on the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/002Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for parking purposes, e.g. for warning the driver that his vehicle has contacted or is about to contact an obstacle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/31Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles providing stereoscopic vision
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/06Automatic manoeuvring for parking
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B62LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62DMOTOR VEHICLES; TRAILERS
    • B62D15/00Steering not otherwise provided for
    • B62D15/02Steering position indicators ; Steering position determination; Steering aids
    • B62D15/027Parking aids, e.g. instruction means
    • B62D15/0285Parking performed automatically
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/168Driving aids for parking, e.g. acoustic or visual feedback on parking space
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20Optical features of instruments
    • B60K2360/21Optical features of instruments using cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8086Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for vehicle path indication
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60TVEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T2201/00Particular use of vehicle brake systems; Special systems using also the brakes; Special software modules within the brake system controller
    • B60T2201/10Automatic or semi-automatic parking aid systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60TVEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T2210/00Detection or estimation of road or environment conditions; Detection or estimation of road shapes
    • B60T2210/30Environment conditions or position therewithin
    • B60T2210/36Global Positioning System [GPS]
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146Display means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00Input parameters relating to data
    • B60W2556/45External transmission of data to or from the vehicle
    • B60W2556/50External transmission of data to or from the vehicle of positioning data, e.g. GPS [Global Positioning System] data
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00Input parameters relating to data
    • B60W2556/45External transmission of data to or from the vehicle
    • B60W2556/65Data transmitted between vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60YINDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2300/00Purposes or special features of road vehicle drive control systems
    • B60Y2300/06Automatic manoeuvring for parking
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60YINDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2300/00Purposes or special features of road vehicle drive control systems
    • B60Y2300/08Predicting or avoiding probable or impending collision
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60YINDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2400/00Special features of vehicle units
    • B60Y2400/30Sensors
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60YINDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2400/00Special features of vehicle units
    • B60Y2400/92Driver displays
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0123Head-up displays characterised by optical features comprising devices increasing the field of view
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Transportation (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Signal Processing (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明提供一种车辆用显示装置及包括其的车辆,本发明的实施例的车辆用显示装置,其中,包括:传感器部,获取车辆周边影像,检测所述车辆的外形变化;显示器,显示包含有表示所述车辆外形的至少一部分的车辆图像的车辆周边图像;以及处理器,在从所述传感器部获取关于所述车辆的外形变化的信息时,控制生成所述车辆周边图像,以使所述车辆周边图像表示出所述车辆的外形变化,并通过所述显示器显示所述车辆周边图像。

Description

车辆用显示装置及包括其的车辆
技术领域
本发明涉及设置在车辆的车辆用显示装置及包括其的车辆。
背景技术
车辆是用于将乘坐的用户朝所需的方向移动的装置。作为代表性的可举例有汽车。
汽车根据所使用的引擎的分类,可以有内燃机(internal combustion engine)汽车、外燃机(external combustion engine)汽车、燃气涡轮(gas turbine)汽车或电动汽车(electric vehicle)等。
电动汽车是指以电作为能源运行电动马达的汽车,其有纯电动汽车、混合动力汽车HEV、插电式混合动力汽车PHEV、氢燃料电池汽车FCEV等。
最近,为了提供驾驶者、行人等的安全或便利,积极展开有针对智能汽车(SmartVehicle)的开发。
智能汽车是融合了信息技术IT的最尖端汽车。智能汽车除了引入汽车自身的尖端***以外,通过与智能交通***ITS的联动而提供最佳的交通效率。
并且,积极展开有针对这样的智能汽车站搭载的传感器的研究。详细而言,照相机、红外线传感器、雷达、GPS、激光雷达(Lidar)、陀螺仪等利用于智能汽车,其中,照相机作为代替人眼的作用的传感器,其占据着重要的位置。
特别是,为了辅助驾驶者的车辆驾驶或在自主行驶中准确地引导车辆行驶状态,积极开发有拍摄车辆的周边并对拍摄的影像进行影像处理,从而提供多种视点的车辆周边图像的技术。
例如,其代表性的一例有在从上方看去车辆的视点上显示影像的环视监控图像(Around view monitoring image,AVM),或者从车辆外部的多种位置看去车辆的3D环视图像。
这样的环视图像可通过对拍摄车辆周边的影像进行图像处理后,将存储的虚拟车辆图像进行整合而生成。但是,虚拟车辆图像是存储器中存储的默认图像,其为与车辆的外形变化无关地呈固定的形态的车辆图像。
此外,在这样的图像中可获取车辆周边信息,这样的基于图像的车辆周边信息可作为使车辆进行自主行驶或进行自动驻车的信息来使用。
发明内容
前述的车辆周边图像可能无法准确地表示车辆的外形变化,从而向驾驶者提供错误的信息。例如,通过车辆周边图像不易确认车辆的移动部分(例如,侧镜、后备箱、车门等)的状态发生变更,或者车辆外部安装有物体或通过车窗凸出有物体的状态等。
并且,由于这样的车辆外形变化,将妨碍车辆传感器或照相机等对车辆周边信息的检测,并且因这样的被妨碍的信息,将可能获取失真的车辆周边信息。
并且,在基于未反映有车辆外形变化的车辆周边图像进行驾驶时,可能会发生碰撞等较大的事故。
为了解决前述的问题,本发明的实施例的目的在于提供一种车辆用显示装置以及包括其的车辆,能够准确地检测车辆的外形变化,并提供反映有车辆外形变化的车辆周边图像。
本发明的实施例的车辆用显示装置,其中,包括:传感器部,获取车辆周边影像,检测所述车辆的外形变化;显示器,显示包含有表示所述车辆外形的至少一部分的车辆图像的车辆周边图像;以及处理器,在从所述传感器部获取关于所述车辆的外形变化的信息时,控制生成所述车辆周边图像,以使所述车辆周边图像表示出所述车辆的外形变化,并通过所述显示器显示所述车辆周边图像。
并且,所述车辆周边图像可以是包含所述车辆周边影像和表示所述车辆的虚拟车辆图形图像的环视图像。
并且,所述处理器可基于关于所述车辆的外形变化的信息来对所述虚拟车辆图形图像进行校正,所述处理器控制所述显示器显示包含有被校正的所述虚拟车辆图形图像的所述环视图像。
并且,所述车辆周边图像可以是向发生所述车辆的外形变化的位置看去的视点上的3D环视图像。
并且,所述传感器部可包括:照相机,拍摄所述车辆的前后左右中一方向以上,以获取所述车辆周边影像;所述车辆周边图像包含所述照相机拍摄的所述车辆周边影像。
并且,在检测出因所述车辆的外形变化而所述照相机的拍摄受到妨碍的黑区域时,所述处理器可对所述车辆周边图像进行校正,以使所述车辆周边图像表示出所述黑区域,所述处理器控制所述显示器显示被校正的所述车辆周边图像。
并且,所述传感器部可还包括:辅助照相机,拍摄所述黑区域的至少一部分区域;所述处理器生成所述车辆周边图像,所述车辆周边图像包含所述辅助照相机拍摄的辅助影像,所述处理器控制所述显示器显示生成的所述车辆周边图像。
并且,所述处理器可基于所述车辆的外形变化信息来实施自主行驶功能,所述自主行驶功能包含自动驻车功能。
并且,所述处理器可根据所述车辆的外形变化来变更所述车辆的警戒范围,所述处理器基于变更的所述车辆的警戒范围来实施所述自主行驶功能。
并且,所述处理器可在所述车辆的外形变化的状态下实施所述自动驻车功能,随着所述车辆的外形发生变化,使所述车辆进行自动驻车的驻车方式、驻车路径以及驻车所需时间中的一种以上发生变更来执行所述自动驻车功能。
并且,本发明的车辆用显示装置可还包括:接口部,接收所述车辆的移动部分的状态变更信息;所述车辆的外形变化是基于所述车辆的移动部分的状态变更。
并且,所述车辆移动部分的状态变更可包含侧镜折叠或展开的状态变更、车门打开或关闭的状态变更、天窗打开或关闭的状态变更以及后备箱打开或关闭的状态变更中的一种以上的状态变更。
并且,所述车辆的移动部分的状态变更可还包含:在所述车辆的移动部分从锁定状态变更为解锁状态的状态变更。
并且,所述车辆周边图像可基于所述车辆的移动部分的状态变更来表示出所述车辆周边影像的检测状态的变化。
并且,所述处理器可提供在所述车辆的移动部分发生状态变更的状态下使所述车辆进行自动驻车的自动驻车功能。
并且,所述处理器可根据所述车辆的移动部分的状态变更来扩展所述车辆的警戒范围,在检测出扩展的所述车辆警戒范围与对象的碰撞危险时,所述处理器使所述车辆停止。
并且,所述车辆的外形变化可以是因在所述车辆的外部安装有安装物体而使所述车辆的外形发生变化。
并且,本发明的车辆用显示装置可还包括接口部和存储器中的一种以上,所述接口部从所述安装物体或用于安装所述安装物体的结构物接收关于所述安装物体的所述车辆的外形变化信息,所述存储器存储关于所述安装物体的信息;基于所述安装物体的所述车辆的外形变化信息包含所述安装物体的位置、大小、种类、铰链结合与否、所述安装物体的周边影像中的一种以上的信息。
并且,所述处理器可生成车辆周边图像,以使所述车辆周边图像表示出所述车辆的外形变化信息,所述处理器控制所述显示器显示所述车辆周边图像。
并且,所述处理器可提供在所述安装物体安装在所述车辆的状态下使所述车辆进行自动驻车的自动驻车功能。
并且,所述处理器可将所述车辆的警戒范围扩展至所述安装物体,在检测出扩展的所述车辆警戒范围与对象的碰撞危险时,所述处理器使所述车辆停止。
并且,所述车辆的外形变化可以是因所述车辆的内部的物体通过所述车辆向所述车辆的外部凸出而发生。
并且,本发明的车辆用显示装置可还包括:监控部,拍摄所述车辆内部影像;所述处理器通过所述传感器部的所述车辆周边影像和所述监控部的所述车辆内部影像来获取关于通过所述车辆的通过物体的所述车辆的外形变化信息。
并且,关于所述通过物体的所述车辆的外形变化信息可包含关于所述通过物体的位置、大小以及种类的信息,所述处理器生成所述车辆周边图像,以使所述车辆周边图像表示出所述车辆的外形变化信息,所述处理器控制所述显示器显示所述车辆周边图像。
并且,在检测出因所述通过物体妨碍车辆周边拍摄而发生黑区域时,所述处理器可生成所述车辆周边图像,以使所述车辆周边图像表示出所述黑区域,所述处理器控制所述显示器显示生成的所述车辆周边图像。
并且,所述处理器可提供在检测出所述通过物体的状态下使所述车辆进行自动驻车的自动驻车功能。
本发明的实施例的车辆,其中,包括:以上所述的车辆用显示装置。
根据本发明的实施例的车辆用显示装置,获取关于这样的车辆外形变化的信息,为了表示出这样的车辆外形变化,使车辆图像或车辆周边图像进行变更并显示,从而向用户提供关于车辆周边状态的信息。
并且,根据本发明的实施例的车辆用显示装置,在因这样的车辆外形变化妨碍车辆周边拍摄而发生不可检测区域时,能够追加显示这样的图像检测状态。
并且,根据本发明的实施例的车辆用显示装置,可在考虑到所述车辆外形变化的情况下执行车辆驾驶辅助功能ADAS或自主行驶功能,特别是,可提供自主行驶功能中的自动驻车功能。此时,根据本发明的实施例的车辆用显示装置,通过在考虑到车辆外形变化和基于车辆外形变化的车辆周边影像的失真的情况下执行自主行驶功能,能够使车辆更加安全地进行自动行驶。
附图说明
图1示出设置有本发明的实施例的显示装置的车辆的外观。
图2示出本发明的显示装置的框图。
图3示出设置有本发明的实施例的显示装置的车辆的平面。
图4示出本发明的实施例的照相机的一例。
图5及图6是用于说明在本发明的实施例的照相机的影像中生成影像信息的方法的一例的图。
图7是示出包括本发明的实施例的显示装置的车辆的内观的图。
图8是示出本发明的实施例的处理器的自主行驶功能提供过程的流程图。
图9是示出本发明的实施例的提供基于车辆移动部分状态变更的车辆周边图像显示功能的过程的流程图。
图10是用于说明环视图像的图。
图11是示出本发明的实施例的在没有车辆外形变化的车辆移动部分状态变更时显示的车辆图像的一例的表。
图12示出作为车辆移动部分中的一个的车门打开的状态。
图13是在本发明的实施例的图12状态下显示的车辆周边图像。
图14A示出本发明的另一实施例的车门辅助照相机,图14B是包含有所述车门辅助照相机的影像的车辆周边图像。
图15是在本发明的实施例的侧镜折叠时显示的车辆周边图像。
图16是本发明的实施例的后备箱打开时显示的车辆周边图像。
图17是示出本发明的实施例的在实施自动驻车功能之前有车辆移动部分状态变更时实施自动驻车功能的过程的流程图。
图18A示出在没有车辆移动部分变更时实施的自动驻车功能,图18B示出在有车辆移动部分变更时实施的自动驻车功能。
图19是示出本发明的实施例的在实施自动驻车功能的过程中有车辆移动部分状态变更时实施自动驻车功能的过程的流程图。
图20A和图20B是本发明的实施例的基于车辆移动部分变更的紧急状况的一例。
图21A示出即使有车辆移动部分变更也按照原先驻车路径进行自动驻车的情形,图21B示出根据车辆移动部分变更而按照新的驻车路径进行自动驻车的情形,图21C示出因有车辆移动部分变更而无法进行自动驻车的状况,图21D示出根据车辆移动部分变更而车辆警戒范围变更的情形。
图22A示出因本发明的实施例的车辆移动部分变更而自动驻车被中止的情形,图22B示出即使有本发明的实施例的车辆移动部分变更也进行自动驻车的情形。
图23A是在没有车辆移动部分变更时实施自动驻车功能的情形,图23B是根据车辆移动部分变更而按照新的驻车路径实施自动驻车功能的情形。
图24是示出本发明的实施例的在车辆外部安装有物体时提供车辆周边图像显示功能的过程的流程图。
图25A是在车辆的天花板安装有物体的情形,图25B是示出图25A的天花板物体的车辆周边图像的一例,图25C是示出图25A的天花板物体的车辆周边图像的另一例。
图26A是在车辆的后方安装有物体的情形,图26B是示出图26A的后方物体的车辆周边图像的一例,图26C是示出图26A的后方物体的车辆周边图像的另一例。
图27A示出通过铰链在车辆上安装有物体的情形,图27B是示出图27A的物体的车辆周边图像的一例,图27C是示出图27A的物体的车辆周边图像的另一例。
图28是示出本发明的实施例的在车辆外部安装有物体时提供自动驻车功能的过程的流程图。
图29示出本发明的实施例的在车辆前方安装有物体时提供自动驻车功能的情形,图30示出本发明的实施例的在车辆后方安装有物体时提供自动驻车功能的情形。
图31示出本发明的实施例的在车辆上有通过铰链安装的物体时执行自动驻车功能的情形。
图32示出本发明的实施例的在车辆上有通过铰链安装的物体时执行前方驻车的情形。
图33示出本发明的实施例的在车辆上有通过铰链安装的物体时执行平行驻车的情形。
图34示出本发明的实施例的在安装物体中获取车辆周边信息并执行后方驻车的情形。
图35是示出本发明的实施例的在检测出车辆通过物体时提供车辆周边图像显示功能的过程的流程图。
图36示出通过车窗有人的手臂通过的情形。
图37是本发明的实施例的监控部获取的车辆内部图像。
图38是本发明的实施例的显示车辆通过物体的车辆周边图像的一例。
图39是本发明的实施例的显示车辆通过物体的车辆周边图像的另一例。
图40是示出本发明的实施例的在检测出车辆通过物体时提供自动驻车功能的过程的流程图。
图41A示出本发明的实施例的因有车辆通过物体而自动驻车被中止的情形,图41B示出即使检测出车辆通过物体也按照原先驻车路径进行自动驻车的情形,图41C示出因有车辆通过物体而按照新的驻车路径进行自动驻车的情形,图41D示出因有车辆通过物体而车辆警戒范围发生变更的情形。
图42是包括前述的车辆用显示装置的图1车辆的内部框图的一例。
具体实施方式
以下参照附图对本说明书所揭示的实施例进行详细的说明,在此,与附图标记无关的对相同或类似的结构元件赋予相同的参照标记,并将省去对其重复的说明。在以下说明中使用的针对结构元件的接尾词“模块”及“部”仅是考虑到便于说明书的撰写而被赋予或混用,其自身并不带有相互区分的含义或作用。并且,在对本发明揭示的实施例进行说明的过程中,如果判断为对于相关的公知技术的具体说明会导致混淆本说明书所揭示的实施例的技术思想,则将省去对其详细的说明。并且,所附的附图仅是为了容易理解本说明书所揭示的实施例,不应由所附的附图来限定本发明所揭示的技术思想,而是应当涵盖了本发明的思想及技术范围中所包括的所有变更、均等物乃至替代物。
第一、第二等包含序数的术语可用于说明多种结构元件,但是所述结构元件并不由所述术语所限定。所述术语仅是用于将一个结构元件与其他结构元件区分的目的来使用。
如果提及到某个结构元件“连接”或“接触”于另一结构元件,其可能是直接连接于或接触于另一结构元件,但也可被理解为是他们中间存在有其他结构元件。反之,如果提及到某个结构元件“直接连接”或“直接接触”于另一结构元件,则应当被理解为是他们之间不存在有其他结构元件。
除非在上下文明确表示有另行的含义,单数的表达方式应包括复数的表达方式。
在本申请中,“包括”或“具有”等术语仅是为了指定说明书上记载的特征、数字、步骤、动作、结构元件、部件或其组合的存在,而并不意在排除一个或其以上的其他特征或数字、步骤、动作、结构元件、部件或其组合的存在或添加的可能性。
本说明书中描述的车辆可以是包括汽车、摩托车的概念。以下,对于车辆将以汽车为主进行说明。
本说明书中描述的车辆可以是将作为动力源具有引擎的内燃机车辆、作为动力源具有引擎和电动马达的混合动力车辆、作为动力源具有电动马达的电动汽车等均涵盖的概念。
在以下的说明中,车辆的左侧表示车辆的行驶方向的左侧,车辆的右侧表示车辆的行驶方向的右侧。
在以下的说明中,除非有另行提及到的内容,将以左座驾驶(Left Hand Drive,LHD)车辆为中心进行说明。
在以下的说明中,以车辆用显示装置作为设置于车辆的额外的装置,通过数据通信与车辆收发所需信息并实施车辆驾驶辅助功能为例进行说明。只是,也可将车辆的单元中的一部分的集合定义为车辆用显示装置。
此外,在车辆用显示装置为额外的装置时,车辆用显示装置的各单元(参照图2)中的至少一部分可不包括于车辆用显示装置,而可以是车辆或车辆中搭载的其他装置的单元。此外,这样的外部单元可被理解为是通过车辆用显示装置的接口部来收发数据,从而包括于车辆用显示装置。
以下,为了说明上的便利,本发明的实施例的车辆用显示装置以直接包括图2所示的各单元为例进行说明。
以下,参照附图对本发明的实施例的车辆用显示装置进行详细的说明。
图1示出设置有本发明的实施例的显示装置的车辆的外观。
图2示出本发明的显示装置的框图。
图3示出设置有本发明的实施例的显示装置的车辆的平面。
图4示出本发明的实施例的照相机的一例。
图5及图6是用于说明在本发明的实施例的照相机的影像中生成影像信息的方法的一例的图。
图7是示出包括本发明的实施例的显示装置的车辆的内观的图。
参照图1,本发明的实施例的车辆700可包括:利用动力源进行旋转的车轮13FL、13RL;以及用于向用户显示车辆周边图像,基于车辆周边信息提供车辆驾驶功能的车辆用显示装置100。
详细而言,本发明的实施例的车辆用显示装置100检测车辆的外形发生变化的状况,将检测出的车辆外形变化显示在车辆周边图像,从而能够向用户提供准确的车辆状态以及车辆周边状况相关的信息。
其中,车辆外形变化可包含:基于诸如车辆的侧镜(Side mirror)、后备箱(Trunk)、车门(Door)的车辆移动部分(Moving part)的状态变更的外形变化;因在车辆外部安装有物体而车辆外形发生变化的情况;通过车窗等凸出有物体而外形发生变化的情况等。
此外,前述的车辆周边图像可以是包含用于显示车辆的至少一部分的车辆图像和拍摄车辆的前后左右方向中的一个方向以上的影像的图像。例如,可包含有从俯视看去车辆的环视图像AVM、从车辆外部的多种视点看去车辆的3D环视图像(3D AVM)、车辆前方影像、车辆后方影像等。在实施例中,车辆用显示装置100显示的车辆周边图像以环视图像和3D环视图像为代表进行说明,但是本发明的实施例并不限定于此。
整理而言,本发明的实施例的车辆用显示装置100获取关于这样的车辆外形变化的信息,通过对车辆图像或车辆周边图像进行变更显示来表示出这样的车辆外形变化,从而辅助用户能够准确地认知车辆周边状态。
并且,在因这样的车辆外形变化对车辆周边拍摄构成妨碍而发生不可检测区域时,本发明的实施例的车辆用显示装置100可显示这样的图像检测状态。
并且,本发明的实施例的车辆用显示装置可执行车辆驾驶辅助功能ADAS或自主行驶功能,特别是,可提供自主行驶功能中的自动驻车功能。此时,本发明的实施例的车辆用显示装置100在考虑到车辆外形变化和基于车辆外形变化的车辆周边影像的失真的情况下执行自主行驶功能,从而能够更加安全地使车辆进行自动行驶。
以下,对构成这样的车辆用显示装置100的各元件进行详细的说明。
参照图2,这样的车辆用显示装置100可包括:输入部110、通信部120、接口部130、存储器140、传感器部155、监控部165、处理器170、显示部180、音频输出部185以及供电部190。只是,图2所示的车辆用显示装置100的单元并不是实现车辆用显示装置100所必需的元件,因此,本说明书中描述的车辆用显示装置100可具有比以上列举的结构元件更多或更少的结构元件。
对各结构进行详细的说明,车辆用显示装置100可包括用于检测用户的输入的输入部110。
例如,用户可通过输入部110进行关于车辆用显示装置100提供的车辆周边图像显示功能、自主行驶功能等的设定/实施输入,或者可进行开启(on)/关闭(off)车辆用显示装置100的电源的实施输入等。
这样的输入部110可包括用于检测用户举止的举止输入部(例如,光传感器(optical sensor)等)、用于检测触摸的触摸输入部(例如,触摸传感器(touch sensor)、触摸键(touch key)、机械键(mechanical key)等)以及用于检测语音输入的麦克风(microphone)中的一种以上,并能够检测用户输入。
接着,车辆用显示装置100可包括与其他车辆510、终端600及服务器500等进行通信的通信部120。
本发明的实施例的通信部120可从安装在车辆外部的物体或用于安装物体的结构物接收车辆外形变化信息或车辆周边信息。此外,车辆用显示装置100可基于这样的车辆外形变化信息和车辆周边信息显示车辆周边图像,并可提供自主行驶功能。
详细而言,车辆用显示装置100可通过通信部120接收包含有导航(Navigation)信息、其他车辆行驶信息及交通信息中的一种以上的通信信息。相反地,车辆用显示装置100可通过通信部120发送关于本车辆的信息。
详细而言,通信部120可从移动终端600和/或服务器500接收位置信息、天气信息及道路的交通状况信息(例如,传输协议专家组(Transport Protocol Expert Group,TPEG)等)中的一种以上。
并且,通信部120可从具有智能交通***ITS的服务器500接收交通信息。其中,交通信息可包含交通信号信息、车线信息、车辆周边信息或位置信息等。
并且,通信部120可从服务器500和/或移动终端600接收导航信息。其中,导航信息可包含:与车辆行驶相关的地图(map)信息、车线信息、车辆的位置信息、设定的目的地信息及与目的地对应的路径信息中的一种以上的信息。
例如,通信部120可利用导航信息接收车辆的实时位置。详细而言,通信部120可包括GPS(Global Positioning System)模块和/或WiFi(Wireless Fidelity)模块来获取车辆的位置。
并且,通信部120可从其他车辆510接收其他车辆510的行驶信息并发送本车辆的信息,从而相互共享车辆之间的行驶信息。其中,相互共享的行驶信息可包含车辆的移动方向信息、位置信息、车速信息、加速度信息、移动路径信息、前进/倒车信息、相邻车辆信息及转向灯信息中的一种以上的信息。
并且,在用户乘坐车辆的情况下,用户的移动终端600和车辆用显示装置100可自动地或通过用户执行应用程序来执行彼此配对(pairing)。
这样的通信部120可以无线(wireless)方式与其他车辆510、移动终端600或服务器500进行数据交换。
详细而言,通信部120可利用无线数据通信方式进行无线通信。作为无线数据通信方式可利用用于移动通信的技术标准或通信方式(例如,GSM(Global System for Mobilecommunication)、CDMA(Code Division Multi Access),CDMA2000(Code Division MultiAccess 2000)、(Enhanced Voice-Data Optimized or Enhanced Voice-Data Only,EV-DO),WCDMA(Wideband CDMA),HSDPA(High Speed Downlink Packet Access),HSUPA(HighSpeed Uplink Packet Access),LTE(Long Term Evolution),LTE-A(Long TermEvolution-Advanced)等)。
并且,通信部120可利用无线网络技术,例如,无线网络技术可利用WLAN(WirelessLAN)、Wi-Fi(Wireless-Fidelity)、Wi-Fi(Wireless Fidelity)Direct、DLNA(DigitalLiving Network Alliance)、WiBro(Wireless Broadband)、WiMAX(WorldInteroperability for Microwave Access)、HSDPA(High Speed Downlink PacketAccess)、HSUPA(High Speed Uplink Packet Access)、LTE(Long Term Evolution)、LTE-A(Long Term Evolution-Advanced)等。
并且,通信部120可利用近距离通信(Short range communication),例如,可利用蓝牙(BluetoothTM)、RFID(Radio Frequency Identification)、红外线通信(InfraredData Association;IrDA)、UWB(Ultra Wideband)、ZigBee、NFC(Near FieldCommunication)、Wi-Fi(Wireless-Fidelity)、Wi-Fi Direct、Wireless USB(WirelessUniversal Serial Bus)技术中的一种以上来支持近距离通信。
并且,车辆用显示装置100可利用近距离通信方式与车辆内部的移动终端进行配对(paring),利用移动终端的远距离无线通信模块与其他车辆510或服务器500等以无线方式进行数据交换。
接着,车辆用显示装置100可包括用于接收车辆的数据或向外部传送处理器170中被处理或生成的信号的接口部130。
本发明的实施例的接口部130可从车辆移动部分接收关于车辆移动部分的状态变化的信息(车辆外形变化信息),也可从安装在车辆的物体接收车辆外形变化信息或车辆周边信息等。车辆用显示装置100可基于这样的车辆外形变化信息或车辆周边信息显示车辆周边图像,并可提供自主行驶功能等。
详细而言,车辆用显示装置100可通过接口部130接收其他车辆行驶信息、导航信息及传感器信息中的一种以上的信息。
并且,车辆用显示装置100可通过接口部130将用于执行车辆周边图像显示功能的控制信号或车辆用显示装置100中生成的信息等发送给车辆的控制部770。
为此,接口部130可通过有线通信或无线通信方式与车辆内部的控制部770、影音导航(Audio Video Navigation,AVN)装置400以及检测部760中的一种以上执行数据通信。
详细而言,接口部130可通过与控制部770、AVN装置400和/或额外的导航装置的数据通信来接收导航信息。
并且,接口部130可从控制部770或检测部760接收传感器信息。
其中,传感器信息可包含车辆方向信息、位置信息、车速信息、加速度信息、斜率信息、前进/倒车信息、燃料信息、与前后方车辆的距离信息、车辆与车线的距离信息以及转向灯信息中的一种以上。
传感器信息可从航向传感器(heading sensor)、横摆传感器(yaw sensor)、陀螺仪传感器(gyro sensor)、定位模块(position module)、车辆前进/倒车传感器、车轮传感器(wheel sensor)、车辆速度传感器、车体倾斜检测传感器、电池传感器、燃料传感器、轮胎传感器、基于方向盘的转向传感器、车辆内部温度传感器、车辆内部湿度传感器、车门传感器等中获取。另外,定位模块可包括用于接收GPS信息的GPS模块。
此外,接口部130可通过车辆的用户输入部110接收用户输入。接口部130可从车辆的输入部接收用户输入,或是可经由控制部770接收用户输入。即,在输入部在车辆自身内作为结构配置的情况下,可通过接口部130接收用户输入。
并且,接口部130可接收从服务器500获取的交通信息。服务器500可以是位于管制交通的交通管制所的服务器。例如,当通过车辆的通信部120从服务器500接收交通信息时,接口部130可从控制部770接收交通信息。
接着,存储器140可存储用于处理器170的处理或控制的程序等用于车辆用显示装置100整体上的动作的多种数据。
并且,存储器140可存储车辆用显示装置100中驱动的多个应用程序(applicationprogram或application)、用于车辆用显示装置100的动作的数据、命令语。这样的应用程序中的至少一部分可通过无线通信从外部服务器下载。并且,为了车辆用显示装置100的基本功能(例如,驾驶辅助信息向导功能),这样的应用程序中的至少一部分可在出厂时即存在于车辆用显示装置100上。
此外,这样的应用程序可存储于存储器140,利用处理器170进行驱动并执行车辆用显示装置100的动作(或功能)。
另外,存储器140中可存储用于确认影像中包含的对象的数据。例如,存储器140中可存储用于在通过照相机160获取的车辆周边影像中检测出规定对象时,可利用规定算法确认所述对象为何者的数据。
例如,存储器140中可存储用于在通过照相机160获取的影像中包含有诸如车线、交通标识牌、二轮车、行人的规定的对象时,可利用规定算法确认所述对象为何者的数据。
这样的存储器140在硬件上可包括闪电存储器式(flash memory type)、硬盘式(hard disk type)、SSD式(Solid State Disk type)、SDD式(Silicon Disk Drive type)、多媒体卡微式(multimedia card micro type)、卡式存储器(例如SD或XD存储器等)、随机存取存储器(random access memory;RAM)、固态随机存取存储器(static random accessmemory,SRAM)、随机只读存储器(read-only memory;ROM)、电可擦写只读存储器(electrically erasable programmable read-only memory,EEPROM)、可编程只读存储器(programmable read-only memory,PROM)、磁存储器、磁盘及光盘中的一种以上类型的存储介质。
并且,车辆用显示装置100可与在因特网(internet)上执行存储器140的存储功能的网络存储(web storage)相关地进行动作。
接着,监控部165可获取关于车辆内部状况的信息。
在本发明的实施例中,监控部165可以是车辆内部照相机(driver statusmonitoring camera,DSM),其可通过拍摄车辆内部来获取车辆内部影像。车辆用显示装置100可通过这样的车辆内部影像检测车辆通过物体。
接着,车辆用显示装置100可还包括用于检测车辆周边对象的传感器部155。车辆用显示装置100可包括额外的传感器部155并检测周边对象,也可通过接口部130接收车辆的检测部760中获取的传感器信息。
此外,如上所述获取的传感器信息可包含于车辆外形变化信息或车辆周边信息。
这样的传感器部155可包括用于检测位于车辆周边的对象的位置的距离传感器150和用于拍摄车辆周边并获取影像的照相机160中的一种以上。
首先,距离传感器150能够精确地检测对象距本车辆的位置、对象被间隔的方向、间隔距离或对象的移动方向等。这样的距离传感器150能够持续地测量与检测出的对象的位置,准确地检测出关于与本车辆的位置关系的变化。
这样的距离传感器150可检测位于车辆的前后左右中至少一处的区域的对象。为此,距离传感器150可配置在车辆的多种位置。
详细而言,参照图3,距离传感器150可配置在车辆的车身的前后左右及天花板中至少一处的位置。
这样的距离传感器150可包括激光雷达(lidar)传感器、激光(laser)传感器、超声波(ultrasonic waves)传感器及立体照相机(stereo camera)等多种测距传感器中的一种以上。
例如,距离传感器150是激光传感器,按照激光信号调制方法使用时间延迟方式(time-of-flight,TOF)和/或相位调制方式(phase-shift)等,能够准确地测量车辆和对象之间的位置关系。
另外,可通过处理器170对照相机160拍摄的影像进行分析,来获取关于对象的信息。
详细而言,车辆用显示装置100可利用照相机160拍摄车辆周边,处理器170对获取的车辆周边影像进行分析并检测出车辆周边对象,判断对象的属性并生成传感器信息。
其中,影像信息是对象的种类、对象显示的交通信号信息、对象与车辆之间的距离以及对象的位置中的一种以上的信息,其可包含于传感器信息。
详细而言,处理器170可执行诸如从通过图像处理拍摄的影像检测对象、跟踪对象、测量与对象的距离、确认对象等对象分析,从而生成影像信息。
这样的照相机160可设置在多种位置。
详细而言,照相机160可包括用于在车辆内部拍摄车辆的前方并获取前方影像的内侧照相机160f。
并且,参照图3,多个照相机160可分别配置在车辆的左侧、后方、右侧、前方及天花板中的一个以上的位置。
详细而言,左侧照相机160b可配置在围绕左侧侧镜的壳体内。或者,左侧照相机160b可配置在围绕左侧侧镜的壳体外部。或者,左侧照相机160b可配置在左侧前门、左侧后门或左侧挡泥板(fender)外侧一区域。
右侧照相机160c可配置在围绕右侧侧镜的壳体内。或者,右侧照相机160c可配置在围绕右侧侧镜的壳体外部。或者,右侧照相机160c可配置在右侧前门、右侧后门或右侧挡泥板(fender)外侧一区域。
并且,后方照相机160d可配置在后方车牌板或后备箱开关附近。前方照相机160a可配置在标徽附近或散热器格栅(radiator grill)附近。
另外,处理器170可提供将从四周拍摄的影像进行合成并从俯视看去车辆的环视图像。当生成环视图像时,各图像区域之间产生边界部分。这样的边界部分可利用图像融合(blending)处理来自然地进行显示。
并且,天花板照相机160e配置在车辆的天花板上,能够拍摄车辆的前后左右的所有方向。
这样的照相机160可直接包括图像传感器和影像处理模块。照相机160可对利用图像传感器(例如,CMOS或CCD)获取的静态影像或动态影像进行处理。并且,影像处理模块可对通过图像传感器获取的静态影像或动态影像进行加工,提取所需的影像信息,并将提取出的影像信息传送给处理器170。
为使处理器170更容易地执行对象分析,在本实施例中,照相机160可以是拍摄影像的同时测量与对象的距离的立体照相机。
传感器部155可以是距离传感器150和照相机160相结合的立体照相机。即,立体照相机可获取影像的同时检测与对象的位置关系。
以下,参照图4至图6对立体照相机和处理器170利用立体照相机检测影像信息的方法进行更加详细的说明。
首先,参照图4,立体照相机160可包括:具有第一镜头163a的第一照相机160a、具有第二镜头163b的第二照相机160b。
另外,车辆驾驶辅助装置可分别还包括用于遮蔽第一镜头163a和第二镜头163b中入射的光的第一遮光部162a(light shield)、第二遮光部162b。
这样的车辆驾驶辅助装置可从第一及第二照相机160a、160b获取关于车辆周边的立体图像,基于立体影像执行视差(disparity)检测,基于视差信息执行针对至少一个立体图像的对象检测,在对象检测以后,持续地跟踪对象的移动。
参照图5,作为处理器170的内部框图的一例,车辆用显示装置100内的处理器170可包括:影像预处理部410、视差计算部420、对象检测部434、对象跟踪部440及应用部450。在图5和以下说明中,以按影像预处理部410、视差计算部420、对象检测部434、对象跟踪部440及应用部450的顺序处理影像为例进行说明,但是本发明并不限定于此。
影像预处理部410(image preprocessor)可接收来自照相机160的图像并执行预处理(preprocessing)。
具体而言,影像预处理部410可执行针对图像的降噪(noise reduction)、纠正(rectification)、校准(calibration)、色彩增强(color enhancement)、色彩空间转换(color space conversion;CSC)、内插(interpolation)、照相机增益控制(camera gaincontrol)等。由此,能够获取相比照相机160中拍摄的立体图像更加清晰的图像。
视差计算部420(disparity calculator)接收影像预处理部410中进行信号处理的图像,针对接收的图像执行立体匹配(stereo matching),能够获取基于立体匹配的视差图(disparity map)。即,能够获取关于车辆前方的立体图像的视差信息。
此时,可按立体图像的像素单位或规定块单位执行立体匹配。另外,视差图可表示用数值示出立体图像,即,左、右图像的视差(时差)信息(binocular parallaxinformation)的地图。
分割部432(segmentation unit)可基于来自视差计算部420的视差信息,对图像中的至少一个执行分割(segment)及群集(clustering)。
具体而言,分割部432可基于视差信息对立体图像中的至少一个分离出背景(background)和前景(foreground)。
例如,可将视差图内的视差信息为规定值以下的区域计算为背景,并除去相应部分。由此,能够相对地分离出前景。作为另一例,可将视差图内的视差信息为规定值以上的区域计算为前景,并提取出相应部分。由此,能够分离出前景。
如上所述,以基于立体图像提取出的视差信息为基础分离出前景和背景,从而在随后的对象检测时,能够缩短信号处理速度、信号处理量等。
接着,对象检测部434(object detector)可基于来自分割部432的图像分割而进行对象检测。
即,对象检测部434可基于视差信息对图像中的至少一个进行对象检测。
具体而言,对象检测部434可对图像中的至少一个进行对象检测。例如,可从基于图像分割分离出的前景中检测对象。
接着,对象确认部436(object verification unit)可对分离出的对象进行分类(classify)并确认(verify)。
为此,对象确认部436可使用基于神经网络(neural network)的识别法、支持向量机(Support Vector Machine,SVM)方法、基于利用Haar-like特征的AdaBoost的方法,或是梯度向量直方图(Histograms of Oriented Gradients,HOG)方法等。
另外,对象确认部436可将存储器140中存储的对象和检测出的对象进行比较,从而确认出对象。
例如,对象确认部436可确认出位于车辆周边的周边车辆、车线、道路面、标识牌、危险区域、隧道等。
对象跟踪部440(object tracking unit)可执行针对确认出的对象的跟踪。例如,依次地确认获取的立体图像内的对象,对确认出的对象的移动或移动向量进行计算,并可基于计算出的移动或移动向量而跟踪相应对象的移动等。由此,能够对位于车辆周边的周边车辆、车线、道路面、标识牌、危险区域、隧道等进行跟踪。
接着,应用部450可基于位于车辆周边的多种对象,例如其他车辆、车线、道路面、标识牌等,计算出车辆700的危险度等。并且,可计算出与前车的撞车可能性、车辆打滑与否等。
此外,应用部450可基于计算出的危险度、撞车可能性或打滑与否等,向用户输出用于提示这样的信息的作为车辆驾驶辅助信息的消息等。或者,也可生成用于车辆700的姿势控制或行驶控制的作为车辆控制信息的控制信号。
另外,影像预处理部410、视差计算部420、分割部432、对象检测部434、对象确认部436、对象跟踪部440及应用部450可以是处理器170内的影像处理部的内部结构。
另外,根据实施例,处理器170可仅包括影像预处理部410、视差计算部420、分割部432、对象检测部434、对象确认部436、对象跟踪部440及应用部450中的一部分。假设照相机160由单色照相机160或环视照相机160构成的情况下,可以省去视差计算部420。并且,根据实施例,分割部432可被排除在外。
参照图6,在第一帧区间期间,立体照相机160可获取立体图像。
处理器170内的视差计算部420接收影像预处理部410中被信号处理的立体图像FR1a、FR1b,对接收的立体图像FR1a、FR1b执行立体匹配,从而获取视差图520(disparitymap)。
视差图520(disparity map)对立体图像FR1a、FR1b之间的视差进行了等级化,视差等级越高,可计算为与车辆的距离越近,而视差等级越小,则计算为与车辆的距离越远。
另外,当显示这样的视差图时,可显示为视差等级越大时具有越高的亮度,视差等级越小时具有越低的亮度。
在附图中例示出,在视差图520内,第一车线至第四车线528a、528b、528c、528d等分别具有相应的视差等级,施工区域522、第一前方车辆524、第二前方车辆526分别具有相应的视差等级。
分割部432、对象检测部434、对象确认部436基于视差图520执行针对立体图像FR1a、FR1b中的至少一个的分割、对象检测及对象确认。
在附图中例示出,使用视差图520执行针对第二立体图像FR1b的对象检测及确认。
即,在图像530内,可执行针对第一车线至第四车线538a、538b、538c、538d、施工区域532、第一前方车辆534、第二前方车辆536的对象检测及确认。
利用如上所述的图像处理,车辆用显示装置100可利用传感器部155获取周边对象为何物、位于何处等多种车辆周边信息作为传感器信息。
接着,车辆用显示装置100可还包括显示车辆周边图像的显示部180。
在本发明的实施例中,显示部显示用于表示车辆外形变化的车辆周边图像,从而能够向用户传送准确的车辆周边信息。
这样的显示部可包括多个显示器。
详细而言,显示部可包括用于在车辆的风挡W(windshield)投射图形图像并显示的第一显示部180a。即,第一显示部180a为平视显示器(Head Up Display,HUD),其可包括用于向风挡W投射图形图像的投射模块。此外,投射模块投射的投射图形图像可具有一定透明度。因此,用户能够同时看到图形图像后方情形和图形图像。
此外,这样的图形图像可与风挡W上投影的投影图像叠加并构成增强现实(Augmented Reality,AR)。
另外,显示部可包括额外地设置在车辆内部并显示关于车辆周边图像显示功能的图像的第二显示部180b。
详细而言,第二显示部180b可以是车辆导航装置的显示器或车辆内部前面的仪表板(cluster)。
并且,第二显示部180b可包括液晶显示器(liquid crystal display,LCD)、薄膜晶体管液晶显示器(thin film transistor-liquid crystal display,TFT LCD)、有机发光二极管(organic light-emitting diode,OLED)、柔性显示器(flexible display)、3D显示器(3D display)、电子墨水显示器(e-ink display)中的一种以上。
这样的第二显示部180b可与举止输入部相结合并构成触摸屏。
接着,音频输出部185可以音频方式输出关于车辆用显示装置100的功能的说明、确认运行与否等的消息。即,车辆用显示装置100可通过显示部180以视觉方式进行显示的同时,还可通过音频输出部185的音响输出来相互补充关于车辆用显示装置100的功能的说明。
接着,触觉输出部183可以触觉方式输出关于车辆驾驶辅助功能的警报(alarm)。例如,当在导航信息、交通信息、通信信息、车辆状态信息、驾驶辅助功能ADAS信息及其他驾驶者便利信息中的一种以上信息中包含有对驾驶者的警告时,车辆用显示装置100可以振动方式将其提示给用户。
这样的触觉输出部183可提供具有方向性的振动。例如,触觉输出部183可配置在用于控制转向的转向器并输出振动,在提供振动时,通过区分转向器的左右并输出振动,从而能够赋予触觉输出的方向性。
并且,供电部190可利用处理器170的控制被施加外部的电源、内部的电源,并供给各结构元件的动作所需的电源。
最后,车辆用显示装置100可包括用于控制车辆用显示装置100内的各单元的整体上的动作的处理器170。
并且,处理器170为了驱动应用程序,可控制与图3一同描述的结构元件中的至少一部分。进一步,处理器170为了驱动所述应用程序,可将车辆用显示装置100中包括的结构元件中的两种以上相互组合并进行动作。
这样的处理器170在硬件上可利用专用集成电路(application specificintegrated circuits,ASICs)、数字信号处理器(digital signal processors,DSPs)、数字信号处理设备(digital signal processing devices,DSPDs)、可编程逻辑设备(programmable logic devices,PLDs)、现场可编程门阵列(field programmable gatearrays,FPGAs)、处理器(processors)、控制器(controllers)、微控制器(micro-controllers),微处理器(microprocessors)、用于执行其他功能的电性单元中的一种以上来实现。
此外,这样的处理器170可受到控制部的控制,或是通过控制部来控制车辆的多种功能。
此外,处理器170除了与所述存储器140中存储的应用程序相关的动作以外,通常还控制车辆用显示装置100的整体上的动作。处理器170可对通过以上所述的结构元件输入或输出的信号、数据、信息等进行处理,或是驱动存储器140中存储的应用程序,从而向用户提供或处理适当的信息或功能。
以下,对处理器通过控制前述的结构来提供车辆周边图像显示功能和、车辆驾驶辅助功能、自主行驶功能等的过程进行详细的说明。
参照图8,首先,处理器170可检测车辆外形变化(步骤S101)。
详细而言,处理器170可从传感器部155、监控部165、接口部130以及通信部中的至少一个获取关于车辆的外形变化的信息。
其中,车辆外形变化信息可包含关于外形变化种类、外形变化位置、外形变化量以及外形变化对象等的信息。
更详细而言,处理器170可从车辆外形变化信息中判断车辆外形变化种类是否为车辆移动部分状态变更、是否为安装了车辆外部物体的情况、是否为检测出通过车窗的物体的情况等。
例如,处理器170可通过通信部或接口部130获取关于车辆移动部分的状态变更信息,能够准确地获取关于车辆移动部分以何种程度进行了状态变更的车辆外形变化信息。
并且,处理器170可通过传感器部155直接拍摄或检测车辆外部安装的物体来获取关于物体的安装位置、大小、种类等的车辆外形变化信息。并且,处理器170可通过接口部130或通信部与安装物体或用于固定物体的结构物进行通信来获取车辆外形变化信息和车辆周边信息。并且,处理器170可通过读取存储器140中存储的关于安装物体的信息来获取车辆外形变化信息。
并且,处理器170可通过监控部165和传感器部155获取关于向车辆外部凸出的物体的车辆外形变化信息。详细而言,处理器170除了用于检测车辆外部的传感器部155以外,可还通过用于拍摄车辆内部的监控部165的车辆内部影像来准确地获取基于车辆通过物体的车辆外形变化信息。
获取到车辆外形变化信息的处理器170可基于车辆外形变化信息来控制显示部180显示车辆外形变化(步骤S102)。
详细而言,处理器170可反映车辆外形变化信息而生成包含有车辆图像的车辆周边图像,并通过显示部180显示车辆周边图像。例如,处理器170可生成环视图像或3D环视图像。
更详细而言,处理器170可生成包含有车辆图像的车辆周边图像,所述车辆图像中反映有外形变化种类、外形变化位置、外形变化量以及外形变化对象。例如,在检测出车门打开时,处理器170可生成与实际打开角度θ相匹配的车门打开的情形的车辆图像。
并且,处理器170可基于车辆安装物体的安装位置、大小、种类、特性等来生成车辆周边图像,所述车辆周边图像中包含有表示车辆安装物体的图形图像。
并且,处理器170可基于车辆通过物体的位置、大小、种类、特性等来生成车辆周边图像,所述车辆周边图像中包含有表示车辆通过物体的图形图像。
特别是,处理器170可对因车辆外形变化而车辆周边影像中发生的失真进行校正,从而生成车辆周边图像。
例如,因车辆移动部分的状态变更,照相机160位置移动或拍摄方向发生变更,因遮挡照相机160的拍摄本身,妨碍照相机160的拍摄而无法对车辆周边的一部分进行图像检测。
处理器170可通过照相机160拍摄影像或车辆外形变化信息来预先判断车辆周边影像的失真,并考虑到这样的情况而生成车辆周边影像。
详细而言,由于发生失真的影像将无法信赖,处理器170可除去该部分影像而生成车辆周边图像。例如,在车辆左侧影像中发生失真时,处理器170可生成除去车辆左侧影像的环视图像。
进一步,处理器170可通过对影像的失真进行校正来生成车辆周边图像。详细而言,处理器170可利用额外的辅助照相机160获取未发生失真的影像,利用获取的影像代替失真影像来生成环视图像。
如上所述,处理器170不仅是在单纯地表示出车辆状态的图像中表示车辆外形变化,而是在包含有车辆图像的车辆周边图像中准确地表示出车辆外形变化,从而能够辅助用户准确地认知车辆和车辆周边状况。并且,处理器170在考虑到基于车辆外形变化的车辆周边影像中发生失真的情况来生成车辆周边图像,从而能够向用户准确地提供关于车辆周边状态的信息。
并且,处理器170可反映车辆外形变化信息来实施车辆驾驶辅助功能、自主行驶功能(步骤S103)。
以下,对自主行驶功能中的自动驻车功能为代表进行说明。
处理器170可反映车辆外形变更来执行自动驻车功能。
在车辆外形变更的状态下判断为车辆行驶存在危险时,处理器170可中止自动驻车功能。
并且,处理器170可根据车辆外形变更而变更车辆的警戒范围,并根据变更的车辆警戒范围来控制车辆的行驶。例如,处理器170可基于变更的车辆警戒范围来判断车辆的碰撞与否,在存在有碰撞危险时可使车辆停止。其中,所述车辆的警戒范围是在车辆***用虚线划出的范围,以提示车辆与其他对象存在有碰撞危险,即,其他对象靠近或处于所述警戒范围内时,存在有碰撞危险,其他对象远离或处于所述警戒范围以外时,则不存在有碰撞危险。
并且,处理器170可根据车辆外形变更而决定驻车方式。例如,在因车辆外形发生变更而车辆后方拍摄受到妨碍时,处理器170可将驻车路径设计为使车辆进行前进驻车的驻车方式,从而使车辆能够安全地进行自动驻车。
并且,处理器170可根据车辆外形变更而不同地设计驻车路径。例如,在因有车辆外形变更而车辆警戒范围扩展时,为了进行安全的驻车,处理器170可设计车辆方向转换次数、驻车时间等增加的驻车路径。即,可根据车辆外形变更之前和之后而不同地设计驻车路径。并且,处理器170可显示这样的比较信息,从而请求用户恢复车辆外形变更。
以下,对车辆用显示装置100根据车辆移动部分的状态变更而提供车辆周边图像显示功能和自动驻车功能等的过程进行详细的说明。
参照图9,车辆用显示装置100可检测车辆移动部分的状态变更(步骤S201)。
详细而言,接口部130或通信部120可从车辆移动部分的传感器或车辆移动部分控制输入部接收车辆移动部分的状态变更信息。
例如,处理器170可从接口部130获取关于侧镜折叠或展开的状态变更、车门打开或关闭的状态变更、天窗打开或关闭的状态变更、后备箱打开或关闭的状态变更等车辆移动部分变更的信息。
在接收到车辆移动部分的状态发生变更的信息时,车辆用显示装置100可显示车辆移动部分变更信息(步骤S202)。
详细而言,车辆用显示装置100可显示车辆周边图像。车辆周边图像可以是包含有车辆图像和车辆周边影像的图像。
参照图10,在本发明的实施例中,车辆周边图像可以是环视图像。参照图10,车辆周边图像可以是将拍摄车辆的前后左右的影像160fi、160bi、160li、160ri和车辆图像700i进行整合而生成的环视图像。其中,车辆图像700i可以是存储器140中存储的车辆图形图像,但是本发明并不限定于此。
处理器170可将这样的车辆周边图像显示为表示出车辆移动部分的状态变更。
例如,处理器170可控制生成包含有车辆移动部分发生变更的虚拟车辆图像700i的车辆周边图像并显示。
此时,处理器170可将车辆图像700i生成为使其表示出车辆移动部分发生变化的程度。
另外,车辆移动部分状态变更除了包含有使车辆外形发生变化的情况以外,可还包含有车辆移动部分锁定或解锁的状态变更。
详细而言,参照图11,在检测出车门解锁(unlock)时,车辆用显示装置100可在车辆图像700i的解锁的车门的位置上重叠显示用于表示车门解锁的高亮图像10(highlight),从而能够表示出车门解锁。
此时,车辆用显示装置100可生成向解锁的车门看去的视点(view point)时点的3D环视图像,并在解锁的车门位置上重叠显示高亮图像10,从而能够向用户更直观地提供移动部分状态变更信息。
并且,在检测出车窗打开时,车辆用显示装置100可在车辆图像700i的打开的车窗的位置上重叠显示用于表示车窗打开的高亮图像10,并生成为使其表示出车辆图像700i的车窗实际打开的程度,从而显示出车窗打开的情形。
并且,车辆用显示装置100生成向打开的车窗看去的视点时点的3D环视图像,并在打开的车窗位置上重叠显示高亮图像10,从而能够向用户更直观地提供移动部分状态变更信息。
并且,在检测出天窗打开时,车辆用显示装置100可在车辆图像700i的天窗的位置上重叠显示用于表示天窗打开的高亮图像10,从而显示出车辆天窗打开的情形。
并且,在检测出车辆盖打开时,车辆用显示装置100可在车辆图像700i的打开的车辆盖的位置上重叠显示用于表示车辆盖打开的高亮图像10,并在车辆图像700i中生成为实际打开盖,从而显示出车辆盖打开的情形。
并且,车辆用显示装置100可生成向打开的车辆盖看去的视点时点的3D环视图像,并在打开的车辆盖位置上重叠显示高亮图像10,从而能够向用户更直观地提供移动部分状态变更信息。
另外,车辆用显示装置100可除了通过准确地反映车辆移动部分的变更程度来显示车辆周边图像以外,可还显示与车辆移动部分状态变更对应的车辆周边图像的检测状态。
详细而言,参照图12,在车门D打开时,车辆用显示装置100可获取开打的车门D的位置以及车门D打开的角度θ等车辆移动部分状态变更信息。并且,车辆用显示装置100可检测出随着车辆的左侧车门打开,因拍摄车辆左侧方向的左侧照相机160的拍摄方向发生变更或被车门遮挡,在车辆左侧影像中发生的无法进行图像检测的黑(black)区域。
参照图13,车辆用显示装置100可变更显示车辆图像700i的车门D,从而与实际车门打开的角度θ相匹配。并且,由于车辆的左侧车门D打开,在车辆的左侧车门D和车辆之间的区域将不易进行拍摄或拍摄的影像将被车门D遮挡,车辆用显示装置100可生成除去无法拍摄的黑区域BA的车辆周边图像。
即,在因有车辆移动部分状态变更而发生无法检测的黑区域BA时,车辆用显示装置100将车辆周边图像显示为表示出这样的黑区域BA,从而能够向用户提供关于车辆周边检测状况的准确的信息。
并且,参照图14A,车辆用显示装置100可利用为了拍摄黑区域BA而设置在车门D的辅助照相机167影像。即,参照图14B,车辆用显示装置100可利用设置在车门D内侧的辅助照相机167拍摄黑区域BA,将拍摄的辅助照相机167影像167i包含在车辆周边图像,从而向用户提供将车辆的四周都显示的车辆周边图像。
参照图15,在侧镜折叠时,车辆用显示装置100可生成侧镜折叠的车辆图像700i进行显示,并重叠显示用于强调侧镜部分的高亮图像S。
并且,在侧镜上配置有左侧照相机160b和右侧照相机160c时,由于左右侧照相机160的拍摄方向发生变更而无法检测车辆的左右侧区域160li、160ri,车辆用显示装置100可显示左右侧区域160li、160ri为黑区域BA的车辆周边图像。
即,车辆用显示装置100可将直观地表示出侧镜折叠的状态和因车辆侧镜折叠而无法进行车辆左右侧图像检测的情形的车辆周边图像提供给用户。
参照图16,在后备箱打开时,车辆用显示装置100可显示后备箱打开的车辆图像700i,并重叠显示用于强调后备箱部分的高亮图像10。
并且,在车辆后备箱配置有后方照相机160时,由于后方照相机160的拍摄方向发生变更而无法检测车辆的后方区域160bi,车辆用显示装置100可显示后方区域160bi为黑区域BA的车辆周边图像。
即,车辆用显示装置100可将直观地表示出后备箱打开的状态和因车辆后备箱打开而无法进行车辆后方侧图像检测的情形的车辆周边图像提供给用户。
如前述的例示所述,车辆用显示装置100可提供通过车辆周边图像显示车辆移动部分状态变更的车辆周边图像显示功能,车辆周边图像显示功能还表示出基于车辆移动部分变更的车辆周边图像检测状况,从而能够向用户仅提供准确的检测信息。
并且,车辆用显示装置100可提供反映有这样的车辆周边图像信息的自动驻车功能。
再次对图9进行说明,车辆用显示装置100判断是否对车辆周边影像构成影响(步骤S203)。
如果判断为构成影响(步骤S203的是),车辆用显示装置100对车辆周边影像进行校正并显示(步骤S204)。随后,车辆用显示装置100执行基于移动部分变更的自主行驶(步骤S205)。
另一方面,如果在步骤S203中判断为不构成影响(步骤S203的否),车辆用显示装置100显示车辆移动部分状态变更。
以下,参照图17对在实施自动驻车功能之前有车辆移动部分变更时提供自动驻车功能的过程进行详细的说明。
首先,车辆用显示装置100如前所述可显示车辆移动部分状态变更(步骤S301)。
此外,在有车辆移动部分状态变更的状态下,车辆用显示装置100可接收自动驻车实施输入(步骤S302)。
车辆用显示装置100可判断在车辆移动部分状态变更状态下是否可进行自动驻车(步骤S303)。
详细而言,处理器170可判断在根据车辆移动部分变更而车辆外形变更的状态下是否可设计自动驻车路径。
在可设计自动驻车路径时,车辆用显示装置100可将设计出的驻车路径显示在车辆周边图像,并使车辆以自动方式进行驻车(步骤S304)。
此时,车辆用显示装置100可反映车辆移动部分状态变更而执行自动驻车功能。例如,车辆用显示装置100可根据车辆外形变更而扩展车辆警戒范围,在碰撞危险对象向扩展的车辆警戒范围靠近时,可使车辆停止。
并且,车辆用显示装置100可根据车辆移动部分状态变更而变更驻车方式、方向转换次数、自动驻车执行时间等。例如,在因车辆移动部分状态变更而有不易检测的黑区域BA时,车辆用显示装置100可设计出不向相应区域移动车辆的驻车路径。
详细而言,参照图18A,在输入实施自动驻车功能时,车辆用显示装置100可提供自动驻车功能,所述自动驻车功能设计驻车路径C,并按照驻车路径C驾驶车辆,从而将车辆自动驻车在目标驻车空间,此时,车辆用显示装置100的车辆警戒范围设定为B的范围。
参照图18B,由于车辆的车门处于打开的状态,车辆用显示装置100可将车辆警戒范围B1设定至车门,基于扩展的车辆警戒范围B1设计用于自动驻车的驻车路径C1并显示。此外,随着车辆警戒范围B1扩展,自动驻车时间和前后方方向转换次数将增加。车辆用显示装置100可显示增加的自动驻车时间或方向转换次数20,从而能够一同进行比较。
另外,在因车辆外形变更而行驶存在危险或不易设计驻车路径时,车辆用显示装置100可向用户请求车辆移动部分状态恢复(步骤S305)。
随后,在有来自用户的车辆移动部分变更输入,或者再次输入有自动驻车功能实施输入时,车辆用显示装置100可将车辆移动部分状态恢复为原状态,并实施自动驻车功能(步骤S306、步骤S307)。
以下,参照图19对在车辆自动行驶中有车辆移动部分变更时提供自动驻车功能的过程进行详细的说明。
首先,在车辆行驶中有车辆移动部分状态变更时,车辆用显示装置100可将车辆移动部分状态变更显示在车辆周边图像(步骤S401)。
此外,车辆用显示装置100可基于变更的车辆周边图像信息,判断车辆行驶上是否发生紧急状况(步骤S402)。
详细而言,在因车辆移动部分状态变更而车辆的警戒范围扩展,并且车辆警戒范围与其他对象存在有碰撞危险时,处理器170可判断为紧急状况。并且,在车门打开且用户要下车时,处理器170可判断为紧急状况。
在判断为紧急状况时,车辆用显示装置100可使车辆停车,并向用户提供危险警报(步骤S403)。
参照图20A,在车辆的车门打开,并且判断为车门与对象O存在有碰撞危险时,车辆用显示装置100可使车辆停车后,向用户提供警告警报。
并且,参照图20B,在车辆向后方行驶D1中后备箱打开,从而使车辆后方区域成为黑区域BA时,车辆用显示装置100因无法检测车辆后方状况而判断为存在有碰撞危险,可使车辆停车后,向用户提供警告警报。
在判断为不是紧急状况时,车辆用显示装置100可判断在车辆外形变更的状态下是否可按照预设计的驻车路径进行自动驻车(步骤S404)。
即,在即使车辆的外形变更也可按照原先驻车路径进行驻车时,车辆用显示装置100可使车辆不停车,而是使车辆按照预设计的驻车路径自动行驶(步骤S405)。
参照图21A,在因车辆的车门打开而车辆警戒范围扩展的情况下,车辆用显示装置100判断为即使按照扩展的车辆警戒范围B1行驶也不存在碰撞危险,则可使车辆按照原先驻车路径C自动行驶。
如果无法按照原先驻车路径C进行自动驻车时,车辆用显示装置100可判断是否可设计新的驻车路径C1(步骤S406)。
参照图21B,在基于变更的车辆警戒范围B1而可设计新的驻车路径C1时,车辆用显示装置100可显示再设计的驻车路径C1,并使车辆按照新的驻车路径C1行驶(步骤S407)。
如果判断为无法设计新的驻车路径C1时,车辆用显示装置100可向用户请求车辆移动部分状态恢复(步骤S408)。
参照图21C,在基于因车门打开而扩展的车辆警戒范围B1无法生成用于将车辆自动驻车到目标驻车位置的驻车路径时,车辆用显示装置100可使车辆停车,并向用户请求车辆移动部分状态恢复。
此时,车辆用显示装置100可基于扩展的车辆警戒范围B1来控制车辆自动行驶。参照图21D,在检测出打开的车门与对象O1存在有碰撞危险时,车辆用显示装置100可使车辆停车。
接着,在用户恢复车辆移动部分状态时,车辆用显示装置100可重新开始自动驻车(步骤S409、步骤S410)。
以下,对根据车辆移动部分状态变更而自动驻车被中止的情况和未被中止而持续的情况的一例进行说明。
在检测出车辆移动的方向或存在有车辆碰撞危险的方向侧的图像检测因车辆移动部分状态变更而受到妨碍时,车辆用显示装置100可使车辆的行驶中止。
详细而言,参照图22A,在车辆向右侧倒车的过程中,车辆右侧方向的图像检测受到妨碍时,车辆用显示装置100可使车辆停车。
另一方面,参照图22B,在车辆向右侧倒车的过程中,即使车辆左侧方向的图像检测受到妨碍也不存在有碰撞危险,因此,车辆用显示装置100使车辆不中止而控制向目标驻车空间PS移动。
另外,即使因车辆移动部分状态变更而车辆周边一部分区域的图像检测受到妨碍,车辆用显示装置100也可通过不同地设计驻车方式或驻车路径来使车辆进行自动驻车。
参照图23A,在基于用户设定或默认值进行垂直驻车时,车辆用显示装置100可使车辆以后方驻车的驻车方式进行自动驻车。
参照图23B,在因车辆后备箱打开而车辆后方区域成为黑区域BA时,由于无法进行车辆的后方行驶,车辆用显示装置100可设计向前方驻车的驻车方式的变更的驻车路径C1,并使车辆进行自动驻车。
整理而言,在因车辆移动部分状态变更而有车辆外形的变化时,车辆用显示装置100可将其显示在车辆周边图像。进一步,在因车辆移动部分状态变更而车辆周边图像检测受到妨碍时,车辆用显示装置100显示对受到妨碍的区域进行校正的车辆周边图像,从而能够向用户仅提供准确的车辆周边信息。
并且,车辆用显示装置100在使车辆进行自动驻车时考虑到车辆移动部分状态变更以及基于状态变更的车辆周边图像,从而能够提高用户便利,并使车辆安全地进行行驶。
以下,对在车辆外部安装有物体时车辆用显示装置100提供车辆周边图像显示功能和自动驻车功能等的过程进行详细的说明。
参照图24,车辆用显示装置100可检测出因在车辆的外部安装有物体而车辆外形发生变化的情形(步骤S501)。即,车辆用显示装置100可检测在车辆的外部安装的物体,并获取关于外部物体的特性的信息(步骤S502)。
详细而言,处理器170可从通信部120、接口部130、存储器140或传感器部155获取包含有安装物体30的位置、大小、种类、铰链结合与否、物体周边影像等的车辆外形变化信息。
例如,处理器170可通过通信部120或接口部130从安装物体30或用于安装物体的结构物获取车辆外形变化信息。此时,在安装物体30上有照相机160时,处理器170可从安装物体30的照相机160接收物体周边影像。
并且,处理器170可通过传感器部155直接检测安装物体30的位置以及大小来获取车辆外形变化信息。
并且,处理器170可基于安装位置以及安装物体30种类来检测存储器140中存储的关于安装物体30的信息,从而获取车辆外形变化信息。
在接收到车辆外形变化信息时,车辆用显示装置100可显示表示出车辆外形变更的车辆周边图像(步骤S503)。
详细而言,车辆用显示装置100可显示车辆周边图像。车辆周边图像可以是包含车辆图像700i和车辆周边影像的图像。
参照图25A,在车辆天花板上安装有物体时,车辆用显示装置100可获取包含有这样的安装物体30的安装位置、大小、种类等的车辆外形变化信息。
此外,车辆用显示装置100可基于如上所述的获取的车辆外形变化信息来生成车辆周边图像并显示。
在本发明的实施例中,车辆周边图像为环视图像,参照图25B,车辆周边图像可以是将拍摄车辆的前后左右的影像和车辆图像700i进行整合而生成的环视图像。其中,车辆图像700i可以是存储器140中存储的虚拟车辆图形图像,但是本发明并不限定于此。
处理器170可对车辆周边图像进行校正,以使这样的车辆周边图像表示出安装物体30。
例如,处理器170可在虚拟车辆图像700i追加生成用于表示安装物体30的物体图像30i,将虚拟车辆图像700i和车辆周边影像进行整合而生成车辆周边图像。此时,处理器170可反映出实际安装物体30的大小、种类、安装位置等来生成物体图像30i,从而向用户提供关于安装物体30的准确的信息。
并且,为了能够以更加立体的方式观察安装物体30,车辆用显示装置100可生成向安装物体30看去的视点上的3D环视图像并显示。
参照图25C,车辆用显示装置100在向车辆天花板看去的视点上的3D环视图像上重叠显示用于表示安装物体30的物体图像30i,从而使用户更加直观地识别出关于安装物体30的信息。
参照图26A,在车辆后备箱安装有物体时,车辆用显示装置100可获取包含有这样的安装物体30的安装位置、大小、种类等的车辆外形变化信息。
此外,车辆用显示装置100可基于如上所述获取的车辆外形变化信息来生成车辆周边图像并显示。
参照图26B,车辆周边图像可以是将拍摄车辆的前后左右的影像和车辆图像700i进行整合而生成的环视图像。其中,车辆图像700i可以是存储器140中存储的虚拟车辆图形图像,但是本发明并不限定于此。
处理器170可对车辆周边图像进行校正,以使这样的车辆周边图像表示出安装物体30。
例如,处理器170可在虚拟车辆图像700i上追加用于表示安装物体30的物体图像30i,将虚拟车辆图像700i和车辆周边影像进行整合而生成车辆周边图像。此时,处理器170可反映出实际安装物体30的大小、种类、安装位置等来生成物体图像30i,从而向用户提供关于安装物体30的准确的信息。
并且,为了能够以更加立体的方式观察安装物体30,车辆用显示装置100可生成向安装物体30看去的视点上的3D环视图像并显示。
参照图26C,车辆用显示装置100可在向车辆后方看去的视点上的3D环视图像上重叠显示用于表示安装物体30的物体图像30i,从而使用户更加直观地识别出关于安装物体30的信息。
参照图27A,在车辆后方通过铰链安装有物体时,车辆用显示装置100可获取包含有这样的安装物体40的安装位置、大小、种类等的车辆外形变化信息。
此外,车辆用显示装置100可基于如上所述获取的车辆外形变化信息来生成车辆周边图像并显示。
参照图27B,车辆周边图像可以是将拍摄车辆的前后左右的影像和车辆图像700i进行整合而生成的环视图像。其中,车辆图像700i可以是存储器140中存储的虚拟车辆图形图像,但是本发明并不限定于此。
处理器170可对车辆周边图像进行校正,以使这样的车辆周边图像表示出安装物体40。特别是,在通过铰链(hinge)安装有物体时,处理器170可对车辆周边图像进行校正,从而表示出基于铰链的结合。在有铰链结合安装物体40时,由于其对车辆的倒车转向操作等构成影响,车辆用显示装置100显示用于表示出这样的铰链41i结合的车辆周边图像,从而能够有效地辅助用户的驾驶。
例如,处理器170可将虚拟车辆图像700i校正为,虚拟车辆图像700i和用于表示安装物体40的物体图像40i通过铰链41i相结合的情形,并将虚拟车辆图像700i和车辆周边影像进行整合而生成车辆周边图像。此时,处理器170可反映出实际安装物体40的大小、种类、安装位置等来生成物体图像40i,从而向用户提供关于安装物体40的准确的信息。
并且,为了能够以更加立体的方式观察安装物体40,车辆用显示装置100可生成向安装物体40看去的视点上的4D环视图像并显示。
参照图27C,车辆用显示装置100可在向车辆后方看去的视点上的4D环视图像上重叠显示用于表示安装物体40的物体图像40i,从而使用户更加直观地识别出关于安装物体40的信息。
另外,车辆用显示装置100除了能够准确地反映关于安装物体30的信息而显示车辆周边图像以外,可还显示基于安装物体30的车辆周边图像的检测状态(步骤S504)。
详细而言,在因车辆上安装有物体而遮挡或妨碍照相机160拍摄时,车辆用显示装置100可对车辆周边图像进行校正并显示,从而表示出这样的车辆周边图像检测状态(步骤S505)。
此外,车辆用显示装置100可在考虑到基于安装物体30的车辆外形变更以及周边图像检测状态变更的情况下使车辆进行自动驻车(步骤S506)。
以下,参照图28在车辆外部安装有物体时车辆用显示装置100提供自动驻车功能的过程进行详细的说明。
首先,车辆用显示装置100可如前所述显示物体安装状态(步骤S601)。
此外,在车辆外部有物体的状态下,车辆用显示装置100可接收自动驻车实施输入(步骤S602)。
车辆用显示装置100可判断在安装有物体的状态下是否可进行自动驻车(步骤S603)。
详细而言,处理器170可判断因车辆上安装物体而车辆外形变更的状态下是否可设计自动驻车路径。
并且,处理器170可判断是否因在车辆上安装物体而发生图像检测受到妨碍的区域,从而判断是否可进行自动驻车。
在可设计自动驻车路径时,车辆用显示装置100将设计出的驻车路径显示在车辆周边图像,并使车辆以自动方式进行驻车(步骤S604)。
此时,车辆用显示装置100可反映出车辆外形变更状态并执行自动驻车功能。例如,车辆用显示装置100可根据车辆外形变更而扩展车辆警戒范围,在碰撞危险对象O向扩展的车辆警戒范围B1靠近时,可使车辆停止。
并且,车辆用显示装置100可根据车辆外形变更而变更驻车方式、方向转换次数、自动驻车执行时间等。例如,在因车辆外形变更而存在有不易检测的区域时,车辆用显示装置100可设计不向相应区域移动车辆的驻车路径。
详细而言,参照图29,在输入有自动驻车功能实施时,车辆用显示装置100可提供自动驻车功能,所述自动驻车功能设计驻车路径,并按照驻车路径驾驶车辆,从而将车辆自动驻车在目标驻车空间。详细而言,在车辆的前面安装有物体时,由于不易进行车辆前方的图像检测,车辆用显示装置100可设计进行倒车驻车的驻车路径,从而使车辆执行自动驻车。此时,车辆用显示装置100可将车辆的警戒范围扩展至安装物体30,并将驻车路径设计为在扩展的车辆的警戒范围内不存在有碰撞危险。
参照图30,在因车辆的后方安装有物体而不易进行后方图像检测时,车辆用显示装置100可设计进行前进驻车的驻车路径,从而控制车辆的驾驶以使其进行前进驻车。此时,车辆用显示装置100可将车辆的警戒范围扩展至安装物体30,并将驻车路径设计为在扩展的车辆的警戒范围内不存在有碰撞危险。
参照图31,在车辆的后方有以铰链方式结合的物体40时,由于不易进行后方图像检测,车辆用显示装置100可设计进行前进驻车的驻车路径,从而控制车辆进行前进驻车。此时,车辆用显示装置100可将车辆的警戒范围扩展至安装物体40,并将驻车路径设计为在扩展的车辆的警戒范围内不存在有碰撞危险。并且,车辆用显示装置100在设计驻车路径时预想到基于铰链结合的安装物体40的移动,从而避免发生安装物体40的碰撞。特别是,在有以铰链方式结合的物体40时,车辆用显示装置100在控制车辆的驾驶时反映出车辆的倒车转向将与原先车辆转向相反。
参照图32,由于在车辆的后方有以铰链方式结合的物体,车辆用显示装置100可将车辆警戒范围设定至安装物体30,基于扩展的车辆警戒范围B1设计用于自动驻车的驻车路径并显示。此时,随着车辆警戒范围扩展,自动驻车时间和前后方方向转换次数将增加。车辆用显示装置100可一同显示增加的自动驻车时间或方向转换次数。
参照图33,由于在车辆的后方有以铰链方式结合的物体,车辆用显示装置100可将车辆警戒范围设定至安装物体30,基于扩展的车辆警戒范围B1设计用于自动驻车的驻车路径并显示。此时,随着车辆警戒范围扩展,自动驻车时间和前后方方向转换次数将增加,驻车方式可进行变更。车辆用显示装置100可使车辆以平行驻车方式进行自动驻车,从而将车辆安全地驻车在垂直驻车的周边车辆之间。
另外,车辆用显示装置100可从安装物体30获取追加车辆周边信息,将追加获取的车辆周边信息包含在车辆周边图像并显示,可还基于这样的追加车辆周边信息执行自动驻车功能。
详细而言,参照图34,车辆可从安装物体30接收关于追加检测区域的图像,并显示包含有该图像的车辆周边图像。详细而言,车辆用显示装置100可接收关于安装物体30的后方区域的图像,并显示包含有该图像的车辆周边图像。并且,车辆用显示装置100可基于这样的车辆周边图像执行自动驻车功能。详细而言,车辆用显示装置100可基于安装物体30中接收的信息来获取关于车辆后方区域的车辆周边信息,从而能够使车辆以倒车驻车的驻车方式进行自动驻车。
另外,车辆用显示装置100在判断为在基于安装物体30的车辆外形变化状态下无法使车辆进行自动驻车时,可向用户请求去除安装物体30(步骤S605)。
随后,在用户去除安装物体30时,车辆用显示装置100可实施自动驻车功能(步骤S606、步骤S607)。
以下,对在车辆的内部向外部凸出有物体时车辆用显示装置100提供车辆周边图像显示功能和自动驻车功能等的过程进行详细的说明。
参照图35,首先,车辆用显示装置100可检测出因从车辆的内部向外部凸出有物体而车辆外形发生变化的情形(步骤S701)。即,车辆用显示装置100可检测通过车辆的车辆通过物体50,并获取关于通过物体50的特性的信息(步骤S702)。
其中,车辆外形可定义为是利用车窗通过的物体和原先车辆外形相加,因此,在有通过物体50时,可认为是车辆外形发生变更。
例如,参照图36,可通过车辆的车窗凸出有诸如人的手臂的身体或其他物体。
传感器部155可对通过物体50进行检测,获取包含有通过物体50的位置、大小、种类等的车辆外形变化信息。例如,传感器部155可检测在车辆的驾驶座侧的车窗上,人的手臂向左侧凸出何种程度。
特别是,车辆用显示装置100可通过监控部165更加准确地获取关于通过物体50的信息。
参照图37,监控部165可通过拍摄车辆内部来检测内部的对象O的移动等,处理器170将检测车辆外部的传感器部155和检测车辆内部的监控部165的信息进行综合,从而能够获取关于通过物体50的准确的信息。
处理器170可对图36和图37的图像进行分析,从而能够准确地获取人的手臂向驾驶座左侧凸出何种程度等信息。
在获取到关于通过物体50的信息时,车辆用显示装置100可显示反映出通过物体50的信息的车辆周边图像(步骤S703)。
详细而言,车辆用显示装置100可显示车辆周边图像。车辆周边图像可以是包含车辆图像700i和车辆周边影像的图像。
如图36和图37所示,在人的手臂向车辆外部凸出时,车辆用显示装置100可获取包含有通过物体50的位置、大小、种类等的车辆外形变化信息。
此外,车辆用显示装置100可基于如上所述获取的车辆外形变化信息来生成车辆周边图像并显示。
在本发明的实施例中,车辆周边图像可以是环视图像。详细而言,参照图38,车辆周边图像可以是将拍摄车辆的前后左右的影像和车辆图像700i进行整合而生成的环视图像。其中,车辆图像700i可以是存储器140中存储的虚拟车辆图形图像,但是本发明并不限定于此。
处理器170可对车辆周边图像进行校正,以使这样的车辆周边图像包含有用于表示通过物体50的通过物体图像50i。
例如,处理器170可在虚拟车辆图像700i上追加生成用于表示通过物体50的通过物体图像50i,将虚拟车辆图像700i和车辆周边影像进行整合而生成车辆周边图像。此时,处理器170可反映出实际通过物体50的大小、种类、位置等来生成物体图像30i,从而向用户提供关于通过物体50的准确的信息。并且,处理器170可对拍摄通过物体50的影像进行图像处理,并将其显示在车辆周边图像。
并且,为了能够以更加立体的方式观察通过物体50,车辆用显示装置100可生成向通过物体50看去的视点上的3D环视图像并显示。
另外,车辆用显示装置100不仅能够准确地反映出关于通过物体50的信息来显示车辆周边图像以外,可还显示基于通过物体50的车辆周边图像的检测状态。
另外,车辆用显示装置100可判断是否因通过物体50而车辆周边拍摄受到妨碍(步骤S704)。
详细而言,在通过车窗凸出的通过物体50存在于照相机160的拍摄方向前方时,通过物体50将妨碍检测车辆周边影像。
如果利用这样的车辆周边影像来生成环视图像,则通过物体50将以被失真的状态显示,用户将以失真的形态认知车辆周边状况。
为了防止这样的问题,在通过物体50对车辆周边拍摄构成影响时,车辆用显示装置100可对车辆周边影像进行校正而显示。
详细而言,在因通过物体50而照相机160拍摄被遮挡或受到妨碍时,车辆用显示装置100可显示车辆周边图像,以使所述车辆周边图像表示出这样的车辆周边图像检测状态。
详细而言,参照图39,在因人的手臂而在车辆左侧图像一部分发生黑区域BA时,可生成除去无法拍摄的黑区域BA的车辆周边图像。
即,在因通过物体50而发生无法检测的黑区域BA时,车辆用显示装置100显示车辆周边图像,以使所述车辆周边图像表示出这样的黑区域BA,从而能够向用户提供关于车辆周边检测状况的准确的信息。
此外,车辆用显示装置100在考虑到基于通过物体50的车辆外形变更以及周边图像检测状态变更的情况下使车辆进行自动驻车(步骤S706)。
以下,参照图40对在车辆自动行驶中检测出通过物体50时提供自动驻车功能的过程进行详细的说明。
首先,在车辆行驶中有通过物体50时,车辆用显示装置100可将通过物体50显示在车辆周边图像上(步骤S801)。
此外,车辆用显示装置100可基于变更的车辆周边图像信息来判断车辆行驶中是否发生紧急状况(步骤S802)。
详细而言,在因通过物体50而车辆的警戒范围扩展,并且车辆警戒范围与其他对象O存在有碰撞危险时,处理器170可判断为紧急状况。并且,在通过车窗有身体的一部分凸出预设定的大小以上时,处理器170可判断为紧急状况。
在判断为紧急状况时,车辆用显示装置100可使车辆停车,并向用户提供危险警报(步骤S803)。
参照图41A,在车辆的车窗打开并且判断为通过车窗的物体与对象O存在有碰撞危险时,车辆用显示装置100可使车辆停车后,向用户提供警告警报。
并且,在车辆进行左侧后方行驶中因通过物体50而车辆左侧区域成为黑区域时,由于无法检测车辆左侧状况,车辆用显示装置100可判断为存在有碰撞危险,使车辆停车后,向用户提供警告警报。
在判断为不是紧急状况时,车辆用显示装置100判断在车辆外形发生变更的状态下是否可按照预设计的驻车路径进行自动驻车(步骤S804)。
即,即使车辆的外形发生变更也可按照原先驻车路径C进行驻车时,车辆用显示装置100可使车辆不停车,而是按照预设计的驻车路径使车辆进行自动驻车,从而能够提高用户的便利(步骤S805)。
参照图41B,虽然在因车辆的通过物体50而车辆警戒范围扩展,在判断为即使按照扩展的车辆警戒范围B1行驶也不存在有碰撞危险时,车辆用显示装置100可使车辆按照原先驻车路径C进行自动行驶。
如果无法按照原先驻车路径C进行自动驻车时,车辆用显示装置100可判断是否可设计新的驻车路径C1(步骤S806)。
参照图41C,在基于变更的车辆警戒范围B1可设计新的驻车路径C1时,车辆用显示装置100可显示再设计的驻车路径C1,并使车辆按照新的驻车路径C1进行行驶(步骤S807)。
如果判断为无法设计新的驻车路径C1时,车辆用显示装置100可向用户请求去除通过物体50(步骤S808)。
参照图41D,在没有生成基于为了包含通过物体50而扩展的车辆警戒范围B1的用于将车辆自动驻车在目标驻车位置的驻车路径时,车辆用显示装置100可使车辆停车,并向用户请求去除通过物体50。
接着,在用户去除通过物体50时,车辆用显示装置100可重新开始自动驻车(步骤S809、步骤S810)。
参照图42,前述的车辆用显示装置100可包括在车辆内。
车辆700可包括:通信部710、输入部720、检测部760、输出部740、车辆驱动部750、存储器730、接口部780、控制部770、电源部790、车辆用显示装置100以及AVN装置400。其中,车辆用显示装置100中包括的单元和车辆中记载的单元中具有相同的名称的单元以包括于车辆为例进行说明。
通信部710可包括能够实现车辆和移动终端600之间、车辆700和外部服务器500之间或车辆和其他车辆510的无线通信的一种以上模块。并且,通信部710可包括用于将车辆700与一个以上的网络(network)相连接的一种以上模块。
通信部710可包括广播接收模块711、无线网络模块712、近距离通信模块713、位置信息模块714及光通信模块715。
广播接收模块711通过广播信道从外部的广播管理服务器接收广播信号或与广播相关的信息。其中,广播包括电台广播或TV广播。
无线网络模块712指的是用于无线网络连接的模块,其可内置或外置于车辆。无线网络模块712在基于无线网络技术的通信网中进行无线信号收发。
无线网络技术例如有:无线局域网(Wireless LAN,WLAN)、无线高保真(Wireless-Fidelity,Wi-Fi)、无线高保真直连(Wi-Fi(Wireless Fidelity)Direct)、数字生活网络联盟(Digital Living Network Alliance,DLNA)、无线宽带(Wireless Broadband,WiBro)、全球微波接入互操作性(World Interoperability for Microwave Access,WiMAX)、高速下行链路分组接入(High Speed Downlink Packet Access,HSDPA)、高速上行链路分组接入(High Speed Uplink Packet Access,HSUPA)、长期演进(Long Term Evolution,LTE)、先进的长期演进(Long Term Evolution-Advanced,LTE-A)等,所述无线网络模块712基于还包括有以上未被罗列的网络技术的范围的一种以上无线网络技术进行数据收发。例如,无线网络模块712可以无线方式与外部服务器500进行数据交换。无线网络模块712可从外部服务器500接收天气信息、道路的交通状况信息(例如,传输协议专家组(TransportProtocol Expert Group,TPEG)信息)。
近距离通信模块713用于进行近距离通信(Short range communication),可利用蓝牙(BluetoothTM)、无线射频(Radio Frequency Identification,RFID)、红外线通信(Infrared Data Association;IrDA)、超宽带(Ultra Wideband,UWB)、无线个域网(ZigBee)、近场通信(Near Field Communication,NFC)、无线高保真(Wireless-Fidelity,Wi-Fi)、无线高保真直连(Wi-Fi Direct)、无线通用串行总线(Wireless UniversalSerial Bus,Wireless USB)技术中的一种以上来支持近距离通信。
这样的近距离通信模块713可利用形成近距离无线通信网(Wireless AreaNetworks)来执行车辆700和至少一个外部设备之间的近距离通信。例如,近距离通信模块713可以无线方式与移动终端600进行数据交换。近距离通信模块713可从移动终端600接收天气信息、道路的交通状况信息(例如,传输协议专家组(Transport Protocol ExpertGroup,TPEG))。在用户乘坐车辆的情况下,用户的移动终端600和车辆可自动地或通过用户执行应用程序来执行彼此配对。
位置信息模块714是用于获取车辆700的位置的模块,作为其代表性的例有全球定位***(Global Positioning System,GPS)模块。例如,当在车辆中使用GPS模块时,能够利用GPS卫星传送的信号获取车辆的位置。
光通信模块715可包括光发送部及光接收部。
光接收部可将光(light)信号转换为电信号以接收信息。光接收部可包括用于接收光的光电二极管(PD,Photo Diode)。光电二极管可将光转换为电信号。例如,光接收部可通过从前方车辆中包括的光源发出的光接收前方车辆的信息。
光发送部可包括至少一个用于将电信号转换为光信号的发光元件。其中,发光元件优选为发光二极管(Light Emitting Diode,LED)。光发送部将电信号转换为光信号并向外部发送。例如,光发送部可通过与规定频率对应的发光元件的闪烁来向外部发送光信号。根据实施例,光发送部可包括多个发光元件阵列。根据实施例,光发送部可与设置于车辆700的车灯一体化。例如,光发送部可以是前照灯、车尾灯、刹车灯、方向指示灯及示廓灯中的一种以上。例如,光通信模块715可通过光通信与其他车辆510进行数据交换。
输入部720可包括:驾驶操作构件721、照相机722、麦克风723及用户输入部724。
驾驶操作构件721接收用于驾驶车辆的用户输入。驾驶操作构件721可包括:转向输入构件721A、挡位输入构件721D、加速输入构件721C、制动输入构件721B。
转向输入构件721A从用户接收车辆的行进方向输入。转向输入构件721A优选地以轮盘(wheel)形态形成,从而通过旋转可进行转向输入。根据实施例,转向输入构件721A可形成为触摸屏、触摸板或按键。
挡位输入构件721D从用户接收车辆的驻车P、前进D、空档N、倒车R的输入。挡位输入构件721D优选地以控制杆(lever)形态形成。根据实施例,挡位输入构件721b可形成为触摸屏、触摸板或按键。
加速输入构件721C从用户接收用于车辆的加速的输入。制动输入构件721B从用户接收用于车辆的减速的输入。加速输入构件721C及制动输入构件721B优选地以踏板形态形成。根据实施例,加速输入构件721C或制动输入构件721B可形成为触摸屏、触摸板或按键。
照相机722可包括图像传感器和影像处理模块。照相机722可对利用图像传感器(例如,CMOS或CCD)获取的静态影像或动态影像进行处理。影像处理模块对通过图像传感器获取的静态影像或动态影像进行加工,提取出所需的信息,并可将提取出的信息传送给控制部770。另外,车辆可包括:照相机722,用于拍摄车辆前方影像或车辆周边影像;以及,监控部725,用于拍摄车辆内部影像。
监控部725可获取关于乘坐者的图像。监控部725可获取用于乘坐者的身体特征识别的图像。
另外,图42中示出监控部725和照相机722包括于输入部720,但是也可如前所述的以照相机722包括于车辆用显示装置100的结构进行说明。
麦克风723可将外部的音响信号处理为电性数据。被处理的数据可根据车辆上执行中的功能以多种方式加以利用。麦克风723可将用户的语音指令转换为电性数据。被转换的电性数据可传送给控制部770。
另外,根据实施例,照相机722或麦克风723可以是包括于检测部760的结构元件,而不是包括于输入部720的结构元件。
用户输入部724用于从用户输入信息。当通过用户输入部724输入信息时,控制部770可与输入的信息对应地控制车辆700的动作。用户输入部724可包括触摸式输入构件或机械式输入构件。根据实施例,用户输入部724可配置在方向盘的一区域。在此情况下,驾驶者在把持方向盘的状态下,可利用手指操作用户输入部724。
检测部760用于检测与车辆的行驶等相关的信号。为此,检测部760可包括碰撞传感器、车轮传感器(wheel sensor)、速度传感器、斜率传感器、重量检测传感器、航向传感器(heading sensor)横摆传感器(yaw sensor)、陀螺仪传感器(gyro sensor)、定位模块(position module)、车辆前进/倒车传感器、电池传感器、燃料传感器、轮胎传感器、基于方向盘旋转的转向传感器、车辆内部温度传感器、车辆内部湿度传感器、超声波传感器、雷达、激光雷达等。
由此,检测部760能够获取与车辆碰撞信息、车辆方向信息、车辆位置信息(GPS信息)、车辆角度信息、车辆速度信息、车辆加速度信息、车辆斜率信息、车辆前进/倒车信息、电池信息、燃料信息、轮胎信息、车灯信息、车辆内部温度信息、车辆内部湿度信息、方向盘旋转角度等相关的检测信号。
另外,检测部760可还包括加速踏板传感器、压力传感器、引擎转速传感器(enginespeed sensor)、空气流量传感器(AFS)、吸气温度传感器(ATS)、水温传感器(WTS)、节气门位置传感器(TPS)、TDC传感器、曲轴转角传感器(CAS)等。
检测部760可包括身体特征识别信息检测部。身体特征识别信息检测部检测并获取乘坐者的身体特征识别信息。身体特征识别信息可包含指纹识别(Fingerprint)信息、虹膜识别(Iris-scan)信息、网膜识别(Retina-scan)信息、手模样(Hand geo-metry)信息、脸部识别(Facial recognition)信息、语音识别(Voice recognition)信息。身体特征识别信息检测部可包括用于检测乘坐者的身体特征识别信息的传感器。其中,监控部725及麦克风723可作为传感器进行动作。身体特征识别信息检测部可通过监控部725获取手模样信息、脸部识别信息。
输出部740用于输出控制部770中处理的信息,可包括:显示器部741、音响输出部742及触觉输出部743。
显示部741可显示控制部770中处理的信息。例如,显示部741可显示车辆相关信息。其中,车辆相关信息可包含:用于对车辆的直接控制的车辆控制信息、或者用于向车辆驾驶者提供驾驶向导的车辆驾驶辅助信息。并且,车辆相关信息可包含:用于提示当前车辆的状态的车辆状态信息或与车辆的运行相关的车辆运行信息。
显示部741可包括液晶显示器(liquid crystal display,LCD)、薄膜晶体管液晶显示器(thin film transistor-liquid crystal display,TFT LCD)、有机发光二极管(organic light-emitting diode、OLED)、柔性显示器(flexible display)、3D显示器(3Ddisplay)、电子墨水显示器(e-ink display)中的一种以上。
显示部741可与触摸传感器构成相互层次结构或一体地形成,从而能够实现触摸屏。这样的触摸屏用作为提供车辆和用户之间的输入接口的用户输入部724的同时,可还提供车辆和用户之间的输出接口。在此情况下,显示部741可包括用于检测针对显示部741的触摸的触摸传感器,以能够利用触摸方式输入控制指令。当通过这样的结构实现针对显示部741的触摸时,触摸传感器检测出所述触摸操作,控制部770据此产生与所述触摸对应的控制指令。通过触摸方式输入的内容可以是文字或数字、或是各种模式下的指示或可指定的菜单项目等。
另外,显示部741可包括仪表盘(cluster),以使驾驶者在进行驾驶的同时能够确认车辆状态信息或车辆运行信息。仪表盘可位于前围板(dash board)上方。在此情况下,驾驶者可在视线保持于车辆前方的状态下,确认仪表盘上显示的信息。
另外,根据实施例,显示部741可由平视显示器(Head Up Display,HUD)实现。在显示部741由HUD实现的情况下,可通过设置于风挡的透明显示器输出信息。或者,显示部741可设置有投射模块,以通过投射于风挡的图像来输出信息。
音响输出部742将来自控制部770的电信号转换为音频信号进行输出。为此,音响输出部742可设置有扬声器等。音响输出部742可还输出与用户输入部724动作对应的声音。
触觉输出部743用于产生触觉性的输出。例如,触觉输出部743可通过振动方向盘、安全带、座垫,能够使驾驶者感知到输出。
车辆驱动部750可控制车辆各种装置的动作。车辆驱动部750可包括:动力源驱动部751、转向器驱动部752、制动器驱动部753、车灯驱动部754、空调驱动部755、车窗驱动部756、气囊驱动部757、天窗驱动部758及悬架驱动部759。
动力源驱动部751可执行针对车辆700内的动力源的电子式控制。
例如,在以基于化石燃料的引擎(未图示)作为动力源的情况下,动力源驱动部751可执行针对引擎的电子式控制。由此,能够控制引擎的输出扭矩等。在动力源驱动部751为引擎的情况下,根据控制部770的控制,通过限制引擎输出扭矩能够限制车辆的速度。
作为另一例,在以基于电的马达(未图示)作为动力源的情况下,动力源驱动部751可执行针对马达的控制。由此,能够控制马达的转速、扭矩等。
转向器驱动部752可执行针对车辆700内的转向装置(steering apparatus)的电子式控制。由此,能够变更车辆的行进方向。
制动器驱动部753可执行针对车辆内的制动装置(brake apparatus)(未图示)的电子式控制。例如,通过控制车轮上配置的制动器的动作,能够减小车辆的速度。作为另一例,通过改变左轮和右轮上各配置的制动器的动作,可将车辆的行进方向调整为左侧或右侧。
车灯驱动部754可控制车辆内、外部配置的车灯的开启/关闭。并且,可控制车灯的亮度、方向等。例如,可执行针对方向指示灯、刹车灯等的控制。
空调驱动部755可执行针对车辆内的空调装置(air conditioner)(未图示)的电子式控制。例如,在车辆内部的温度高的情况下,通过使空调装置进行动作,能够控制向车辆内部供给冷气。
车窗驱动部756可执行针对车辆内的车窗装置(window apparatus)的电子式控制。例如,能够控制车辆的侧面的左、右车窗的开放或封闭。
气囊驱动部757可执行针对车辆内的气囊装置(airbag apparatus)的电子式控制。例如,当发生危险时,能够控制气囊被弹出。
天窗驱动部758可执行针对车辆内的天窗装置(sunroof apparatus)(未图示)的电子式控制。例如,能够控制天窗的开放或封闭。
悬架驱动部759可执行针对车辆内的悬架装置(suspension apparatus)(未图示)的电子式控制。例如,在道路面曲折的情况下,通过控制悬架装置能够控制减小车辆的振动。
存储器730与控制部770进行电性连接。存储器730可存储与单元相关的基本数据、用于单元的动作控制的控制数据、输入输出的数据。存储器730在硬件上可以是ROM、RAM、EPROM、闪存盘、硬盘等多种存储装置。存储器730可存储用于控制部770的处理或控制的程序等、用于车辆700整体的动作的多种数据。
接口部780可执行与和车辆相连接的多种外部装置的通道作用。例如,接口部780可设置有可与移动终端600相连接的端口,通过所述端口能够与移动终端600进行连接。在此情况下,接口部780可与移动终端600进行数据交换。
另外,接口部780可执行向连接的移动终端600供给电能的通道作用。在移动终端600与接口部780进行电性连接的情况下,根据控制部770的控制,接口部780将电源部790供给的电能提供给移动终端600。
控制部770可控制车辆内的各单元的整体上的动作。控制部770可命名为电子控制单元(Electronic Control Unit,ECU)。
这样的控制部770根据车辆用显示装置100的运行信号传送,可运行与所传送的信号对应的功能。
控制部770在硬件上可利用专用集成电路(application specific integratedcircuits,ASICs)、数字信号处理器(digital signal processors,DSPs)、数字信号处理设备(digital signal processing devices,DSPDs)、可编程逻辑设备(programmable logicdevices,PLDs)、现场可编程门阵列(field programmable gate arrays,FPGAs)、处理器(processors)、控制器(controllers)、微控制器(micro-controllers),微处理器(microprocessors)、用于执行其他功能的电性单元中的一种以上来实现。
控制部770可代替前述的处理器170的作用。即,车辆用显示装置100的处理器170可直接设定于车辆的控制部770。在这样的实施例中,车辆用显示装置100可被理解为是将车辆的一部分结合相合成的指称。
或者,控制部770可控制结构以传送处理器170请求的信息。
电源部790可基于控制部770的控制而供给各结构元件的动作所需的电源。特别是,电源部790可接收从车辆内部的电池(未图示)等供给的电源。
AVN(Audio Video Navigation)装置400可与控制部770进行数据交换。控制部770可从AVN装置400或额外的导航装置(未图示)接收导航信息。其中,导航信息可包含所设定的目的地信息、与所述目的地对应的路径信息、与车辆行驶相关的地图(map)信息或车辆位置信息。
以上实施例中说明的特征、结构、效果等包含于本发明的至少一个实施例,而并非必须限定于一个实施例。进一步,本发明的实施例所属的领域的一般技术人员可对各实施例中例示出的特征、结构、效果等进行组合或变形,并在其他实施例中实施。因此,与这样的组合和变形相关的内容应当被理解为落入本发明的范围。
并且,以上以本发明的实施例为中心进行了说明,但这些实施例仅属于例示性,而并非意在限定本发明,在不背离本发明的实施例的本质特性的范围内,本发明所属的领域的一般技术人员能够实现以上未被例示出的多种变形和应用。例如,本发明的实施例中具体揭示的各结构元件可变形实施。此外,与这样的变形和应用相关的区别点应当被理解为落入所附的权利要求书中规定的本发明的范围。

Claims (27)

1.一种车辆用显示装置,其中,
包括:
传感器部,获取车辆周边影像,检测所述车辆的外形变化;
显示器,显示包含有表示所述车辆外形的至少一部分的车辆图像的车辆周边图像;以及
处理器,在从所述传感器部获取关于所述车辆的外形变化的信息时,控制生成所述车辆周边图像,以使所述车辆周边图像表示出所述车辆的外形变化,并通过所述显示器显示所述车辆周边图像,
所述处理器根据自动驻车功能的执行而设定驻车路径,
在获取关于所述车辆的外形变化的信息时,所述处理器确认是否可以设计新的驻车路径,
在确认为可以设计所述新的驻车路径时,所述处理器显示预设定的驻车路径和所述新的驻车路径之间的比较信息,
在确认为无法设计所述新的驻车路径时,所述处理器请求去除所述车辆的外形变化要素。
2.根据权利要求1所述的车辆用显示装置,其中,
所述车辆周边图像是包含所述车辆周边影像和表示所述车辆的虚拟车辆图形图像的环视图像。
3.根据权利要求2所述的车辆用显示装置,其中,
所述处理器基于关于所述车辆的外形变化的信息来对所述虚拟车辆图形图像进行校正,
所述处理器控制所述显示器显示包含有被校正的所述虚拟车辆图形图像的所述环视图像。
4.根据权利要求1所述的车辆用显示装置,其中,
所述车辆周边图像是向发生所述车辆的外形变化的位置看去的视点上的3D环视图像。
5.根据权利要求1所述的车辆用显示装置,其中,
所述传感器部包括:
照相机,拍摄所述车辆的前后左右中一方向以上,以获取所述车辆周边影像;
所述车辆周边图像包含所述照相机拍摄的所述车辆周边影像。
6.根据权利要求5所述的车辆用显示装置,其中,
在检测出因所述车辆的外形变化而所述照相机的拍摄受到妨碍的黑区域时,所述处理器对所述车辆周边图像进行校正,以使所述车辆周边图像表示出所述黑区域,
所述处理器控制所述显示器显示被校正的所述车辆周边图像。
7.根据权利要求6所述的车辆用显示装置,其中,
所述传感器部还包括:
辅助照相机,拍摄所述黑区域的至少一部分区域;
所述处理器生成所述车辆周边图像,所述车辆周边图像包含所述辅助照相机拍摄的辅助影像,
所述处理器控制所述显示器显示生成的所述车辆周边图像。
8.根据权利要求1所述的车辆用显示装置,其中,
所述处理器基于所述车辆的外形变化信息来实施自主行驶功能,
所述自主行驶功能包含所述自动驻车功能。
9.根据权利要求8所述的车辆用显示装置,其中,
所述处理器根据所述车辆的外形变化来变更所述车辆的警戒范围,
所述处理器基于变更的所述车辆的警戒范围来实施所述自主行驶功能。
10.根据权利要求8所述的车辆用显示装置,其中,
所述处理器在所述车辆的外形变化的状态下实施所述自动驻车功能,
随着所述车辆的外形发生变化,使所述车辆进行自动驻车的驻车方式、驻车路径以及驻车所需时间中的一种以上发生变更来执行所述自动驻车功能。
11.根据权利要求1所述的车辆用显示装置,其中,
还包括:
接口部,接收所述车辆的移动部分的状态变更信息;
所述车辆的外形变化是基于所述车辆的移动部分的状态变更。
12.根据权利要求11所述的车辆用显示装置,其中,
所述车辆移动部分的状态变更包含侧镜折叠或展开的状态变更、车门打开或关闭的状态变更、天窗打开或关闭的状态变更以及后备箱打开或关闭的状态变更中的一种以上的状态变更。
13.根据权利要求12所述的车辆用显示装置,其中,
所述车辆的移动部分的状态变更还包含:
在所述车辆的移动部分从锁定状态变更为解锁状态的状态变更。
14.根据权利要求11所述的车辆用显示装置,其中,
所述车辆周边图像基于所述车辆的移动部分的状态变更来表示出所述车辆周边影像的检测状态的变化。
15.根据权利要求11所述的车辆用显示装置,其中,
在确认为无法设计所述新的驻车路径时,所述处理器请求所述车辆的移动部分的状态恢复。
16.根据权利要求11所述的车辆用显示装置,其中,
所述处理器根据所述车辆的移动部分的状态变更来扩展所述车辆的警戒范围,在检测出扩展的所述车辆警戒范围与对象的碰撞危险时,所述处理器使所述车辆停止。
17.根据权利要求1所述的车辆用显示装置,其中,
所述车辆的外形变化是因在所述车辆的外部安装有安装物体而使所述车辆的外形发生变化。
18.根据权利要求17所述的车辆用显示装置,其中,
还包括接口部和存储器中的一种以上,所述接口部从所述安装物体或用于安装所述安装物体的结构物接收关于所述安装物体的所述车辆的外形变化信息,所述存储器存储关于所述安装物体的信息;
基于所述安装物体的所述车辆的外形变化信息包含所述安装物体的位置、大小、种类、铰链结合与否、所述安装物体的周边影像中的一种以上的信息。
19.根据权利要求18所述的车辆用显示装置,其中,
所述处理器生成车辆周边图像,以使所述车辆周边图像表示出所述车辆的外形变化信息,
所述处理器控制所述显示器显示所述车辆周边图像。
20.根据权利要求17所述的车辆用显示装置,其中,
在确认为无法设计所述新的驻车路径时,所述处理器请求去除所述安装物体。
21.根据权利要求17所述的车辆用显示装置,其中,
所述处理器将所述车辆的警戒范围扩展至所述安装物体,在检测出扩展的所述车辆警戒范围与对象的碰撞危险时,所述处理器使所述车辆停止。
22.根据权利要求1所述的车辆用显示装置,其中,
所述车辆的外形变化是因所述车辆的内部的物体通过所述车辆向所述车辆的外部凸出而发生。
23.根据权利要求22所述的车辆用显示装置,其中,
还包括:
监控部,拍摄所述车辆内部影像;
所述处理器通过所述传感器部的所述车辆周边影像和所述监控部的所述车辆内部影像来获取关于通过所述车辆的通过物体的所述车辆的外形变化信息。
24.根据权利要求23所述的车辆用显示装置,其中,
关于所述通过物体的所述车辆的外形变化信息包含关于所述通过物体的位置、大小以及种类的信息,
所述处理器生成所述车辆周边图像,以使所述车辆周边图像表示出所述车辆的外形变化信息,
所述处理器控制所述显示器显示所述车辆周边图像。
25.根据权利要求23所述的车辆用显示装置,其中,
在检测出因所述通过物体妨碍车辆周边拍摄而发生黑区域时,
所述处理器生成所述车辆周边图像,以使所述车辆周边图像表示出所述黑区域,
所述处理器控制所述显示器显示生成的所述车辆周边图像。
26.根据权利要求23所述的车辆用显示装置,其中,
在确认为无法设计所述新的驻车路径时,所述处理器请求去除所述通过物体。
27.一种车辆,其中,
包括:
根据权利要求1至权利要求26中任一项所述的车辆用显示装置。
CN201710069177.0A 2016-10-05 2017-02-08 车辆用显示装置及包括其的车辆 Active CN107914713B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020160128280A KR101949438B1 (ko) 2016-10-05 2016-10-05 차량용 디스플레이 장치 및 이를 포함하는 차량
KR10-2016-0128280 2016-10-05

Publications (2)

Publication Number Publication Date
CN107914713A CN107914713A (zh) 2018-04-17
CN107914713B true CN107914713B (zh) 2020-11-24

Family

ID=60019809

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710069177.0A Active CN107914713B (zh) 2016-10-05 2017-02-08 车辆用显示装置及包括其的车辆

Country Status (4)

Country Link
US (1) US10850680B2 (zh)
EP (1) EP3305596B1 (zh)
KR (1) KR101949438B1 (zh)
CN (1) CN107914713B (zh)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10919574B2 (en) * 2015-11-10 2021-02-16 Hyundai Motor Company Automatic parking system and automatic parking method
US10906530B2 (en) * 2015-11-10 2021-02-02 Hyundai Motor Company Automatic parking system and automatic parking method
JP6738613B2 (ja) * 2016-02-10 2020-08-12 株式会社小糸製作所 車両用表示システム
JP6550544B2 (ja) * 2016-12-12 2019-07-24 富士フイルム株式会社 投写型表示装置、投写型表示装置の制御方法、投写型表示装置の制御プログラム
US10579067B2 (en) * 2017-07-20 2020-03-03 Huawei Technologies Co., Ltd. Method and system for vehicle localization
JP7032882B2 (ja) * 2017-07-28 2022-03-09 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 車両認証方法及びプログラム
US10380714B2 (en) * 2017-09-26 2019-08-13 Denso International America, Inc. Systems and methods for ambient animation and projecting ambient animation on an interface
JP2019067220A (ja) * 2017-10-02 2019-04-25 シャープ株式会社 駐車位置表示処理装置、駐車位置表示方法、およびプログラム
KR102441079B1 (ko) * 2017-11-30 2022-09-06 현대자동차주식회사 차량의 디스플레이 제어 장치 및 방법
US11958358B2 (en) * 2018-05-08 2024-04-16 Sony Semiconductor Solutions Corporation Image processing apparatus, moving apparatus, method, and program
JP7147255B2 (ja) * 2018-05-11 2022-10-05 トヨタ自動車株式会社 画像表示装置
DK201870683A1 (en) * 2018-07-05 2020-05-25 Aptiv Technologies Limited IDENTIFYING AND AUTHENTICATING AUTONOMOUS VEHICLES AND PASSENGERS
WO2020012340A1 (en) * 2018-07-12 2020-01-16 Gentex Corporation Mirror assembly incorporating a scanning apparatus
US10901416B2 (en) * 2018-07-19 2021-01-26 Honda Motor Co., Ltd. Scene creation system for autonomous vehicles and methods thereof
CN110060671A (zh) * 2019-03-06 2019-07-26 惠州市德赛西威汽车电子股份有限公司 一种基于adas的车窗语音控制方法
DE112019007129T5 (de) * 2019-03-29 2022-02-24 Honda Motor Co., Ltd. Informationsanbietungsvorrichtung, Informationsteilungssystem, Programm undInformationsanbietungsverfahren
WO2021002518A1 (ko) * 2019-07-04 2021-01-07 엘지전자 주식회사 위치 데이터 생성 장치, 자율 주행 차량 및 위치 데이터 생성 방법
JP7094929B2 (ja) * 2019-09-20 2022-07-04 本田技研工業株式会社 車両点検装置、及び車両点検システム
US11034298B2 (en) * 2019-11-18 2021-06-15 Continental Automotive Systems, Inc. Vehicle surround view system for identifying unobservable regions while reversing a trailer
CN111601279A (zh) * 2020-05-14 2020-08-28 大陆投资(中国)有限公司 在车载显示器中显示动态交通态势的方法和车载***
JP7318609B2 (ja) * 2020-08-06 2023-08-01 トヨタ自動車株式会社 車載検出装置
CN112046657B (zh) * 2020-08-27 2022-03-01 盐城工学院 纯电动智能卡丁车
US20220194424A1 (en) * 2020-12-22 2022-06-23 Waymo Llc Autonomous vehicle trajectory computed using box-based probabilistic overlap model
CN112817454A (zh) * 2021-02-02 2021-05-18 深圳市慧鲤科技有限公司 一种信息展示方法、装置、相关设备及存储介质
CN113079352B (zh) * 2021-03-23 2022-10-18 东风汽车集团股份有限公司 增强现实平视显示器倒车显示方法及***
US11772603B2 (en) 2021-05-18 2023-10-03 Motional Ad Llc Passenger authentication and entry for autonomous vehicles
CN113701642A (zh) * 2021-07-30 2021-11-26 的卢技术有限公司 一种车身外观尺寸的计算方法及***
CN114274773A (zh) * 2021-12-24 2022-04-05 北京梧桐车联科技有限责任公司 汽车显示***及汽车
CN114291049B (zh) * 2022-01-27 2022-11-18 中国第一汽车股份有限公司 一种自动驻车***及方法
US20230286584A1 (en) * 2022-03-08 2023-09-14 Ford Global Technologies, Llc Method for operating a motor vehicle with a parking assistant

Family Cites Families (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5522492B2 (zh) 1972-04-06 1980-06-17
US7277123B1 (en) * 1998-10-08 2007-10-02 Matsushita Electric Industrial Co., Ltd. Driving-operation assist and recording medium
JP3599639B2 (ja) * 2000-05-26 2004-12-08 松下電器産業株式会社 画像処理装置
US7068289B2 (en) * 2001-09-14 2006-06-27 Honda Giken Kogyo Kabushiki Kaisha Rearview monitoring apparatus for vehicle
JP3800172B2 (ja) * 2002-12-24 2006-07-26 トヨタ自動車株式会社 車両用周辺監視装置
JP2006050263A (ja) * 2004-08-04 2006-02-16 Olympus Corp 画像生成方法および装置
JP2006224873A (ja) * 2005-02-18 2006-08-31 Denso Corp 車両周辺監視装置
DE102005050576B4 (de) * 2005-10-21 2022-06-15 Robert Bosch Gmbh Einparkhilfesystem und Einparkhilfeverfahren
US7688187B2 (en) * 2005-11-07 2010-03-30 Caird Andrew J Early detection system and method for exterior vehicle cargo
JP4640238B2 (ja) * 2006-04-10 2011-03-02 日産自動車株式会社 車両周囲映像作成装置及び車両周囲映像作成方法
JP4321543B2 (ja) * 2006-04-12 2009-08-26 トヨタ自動車株式会社 車両周辺監視装置
KR101143176B1 (ko) 2006-09-14 2012-05-08 주식회사 만도 조감도를 이용한 주차구획 인식 방법, 장치 및 그를 이용한주차 보조 시스템
GB0713096D0 (en) * 2007-02-02 2007-08-15 Duong Henri Detectable anti-collision automatic braking device for vehicle
JP2009023471A (ja) * 2007-07-19 2009-02-05 Clarion Co Ltd 車両情報表示装置
DE102009019024A1 (de) * 2009-04-06 2010-01-21 Daimler Ag Verfahren und Vorrichtung zur Vermeidung von Kollisionen beim Öffnen von Fahrzeugtüren
JP5284206B2 (ja) * 2009-07-10 2013-09-11 三菱電機株式会社 運転支援装置およびナビゲーション装置
JP5031801B2 (ja) * 2009-07-28 2012-09-26 日立オートモティブシステムズ株式会社 車載用画像表示装置
JP5436086B2 (ja) 2009-08-03 2014-03-05 アルパイン株式会社 車両周辺画像表示装置および車両周辺画像表示方法
JP5503259B2 (ja) * 2009-11-16 2014-05-28 富士通テン株式会社 車載照明装置、画像処理装置及び画像表示システム
US8633810B2 (en) * 2009-11-19 2014-01-21 Robert Bosch Gmbh Rear-view multi-functional camera system
TW201121819A (en) * 2009-12-28 2011-07-01 Hon Hai Prec Ind Co Ltd Prompting device and prompting method thereof
JP5548002B2 (ja) * 2010-03-25 2014-07-16 富士通テン株式会社 画像生成装置、画像表示システム及び画像生成方法
DE102010028830A1 (de) * 2010-05-11 2011-11-17 Robert Bosch Gmbh Fahrerassistenzsystem mit Ansteuerung des Fahrzeugbremssystems und Abstandswarnung
US9321400B2 (en) * 2010-06-15 2016-04-26 Aisin Seiki Kabushiki Kaisha Drive assist device
JP5516992B2 (ja) * 2010-11-30 2014-06-11 アイシン精機株式会社 駐車位置調整装置
US9499200B2 (en) * 2011-04-19 2016-11-22 Ford Global Technologies, Llc Trailer backup assist system with object detection
DE102011077173A1 (de) * 2011-06-08 2012-12-13 Robert Bosch Gmbh Verfahren zur Bestimmung einer Einparktrajektorie
EP2581268B2 (en) 2011-10-13 2019-09-11 Harman Becker Automotive Systems GmbH Method of controlling an optical output device for displaying a vehicle surround view and vehicle surround view system
DE102011085311B4 (de) * 2011-10-27 2023-12-07 Bayerische Motoren Werke Aktiengesellschaft Fahrzeugassistent mit einer elektronischen Steuereinrichtung zur Überprüfung der Durchfahrtsmöglichkeit für ein Fahrzeug
KR20130054032A (ko) * 2011-11-16 2013-05-24 현대자동차주식회사 차량용 3d 디스플레이 시스템
JP6099333B2 (ja) * 2012-08-30 2017-03-22 富士通テン株式会社 画像生成装置、画像表示システム、パラメータ取得装置、画像生成方法及びパラメータ取得方法
US9446713B2 (en) * 2012-09-26 2016-09-20 Magna Electronics Inc. Trailer angle detection system
JP6014442B2 (ja) * 2012-09-27 2016-10-25 富士通テン株式会社 画像生成装置、画像表示システム、および、画像生成方法
US20140092249A1 (en) 2012-09-28 2014-04-03 Ford Global Technologies, Llc Vehicle perimeter detection system
CN103786726B (zh) * 2012-11-05 2017-04-12 财团法人车辆研究测试中心 直觉式节能驾驶辅助方法与***
GB2546187B (en) * 2013-01-28 2017-11-01 Jaguar Land Rover Ltd Vehicle path prediction and obstacle indication system and method
US9488482B2 (en) * 2013-08-30 2016-11-08 Elwha Llc Systems and methods for adjusting a contour of a vehicle based on a protrusion
CN105556956B (zh) * 2013-09-19 2019-01-22 富士通天株式会社 图像生成装置、图像显示***、图像生成方法以及图像显示方法
JPWO2015056530A1 (ja) * 2013-10-17 2017-03-09 みこらった株式会社 自動運転車、自動運転車の盗難防止システム、自動運転車の盗難防止プログラム、端末制御用プログラム、自動運転車のレンタル方法及び自動運転車のカーシェアリング方法
TWI600558B (zh) * 2014-04-01 2017-10-01 Dynamic lane detection system and method
KR101565006B1 (ko) * 2014-05-30 2015-11-13 엘지전자 주식회사 차량용 어라운드뷰 제공 장치 및 이를 구비한 차량
JP5983680B2 (ja) * 2014-06-06 2016-09-06 トヨタ自動車株式会社 自動駐車システム
DE102014116014A1 (de) * 2014-11-04 2016-05-04 Valeo Schalter Und Sensoren Gmbh Verfahren zum Betreiben eines Fahrerassistenzsystems eines Kraftfahrzeugs, Fahrerassistenzsystem sowie Kraftfahrzeug
JP2016094169A (ja) * 2014-11-17 2016-05-26 日立オートモティブシステムズ株式会社 サイドミラー制御装置
JP6548900B2 (ja) * 2015-01-20 2019-07-24 株式会社デンソーテン 画像生成装置、画像生成方法及びプログラム
JP6456173B2 (ja) * 2015-02-04 2019-01-23 日立建機株式会社 車体外部移動物体検知装置
DE202015003992U1 (de) * 2015-06-02 2015-09-10 Conrad Leuthaeuser Türöffnungssicherheitssystem für Kraftfahrzeuge
JP6551525B2 (ja) * 2015-06-19 2019-07-31 日産自動車株式会社 駐車支援装置及び駐車支援方法
KR102327345B1 (ko) * 2015-07-14 2021-11-17 주식회사 만도모빌리티솔루션즈 주차제어시스템 및 그 제어방법
KR101704244B1 (ko) * 2015-08-12 2017-02-22 현대자동차주식회사 원격 주차 장치 및 주차 방법
DE102015011358A1 (de) * 2015-08-29 2016-03-17 Daimler Ag Verfahren zum Betrieb eines Fahrzeugs
KR101850795B1 (ko) 2015-11-09 2018-04-20 엘지전자 주식회사 주차 수행 장치 및 차량
US10606257B2 (en) * 2015-11-10 2020-03-31 Hyundai Motor Company Automatic parking system and automatic parking method
US10025318B2 (en) * 2016-08-05 2018-07-17 Qualcomm Incorporated Shape detecting autonomous vehicle
JP6766557B2 (ja) * 2016-09-29 2020-10-14 アイシン精機株式会社 周辺監視装置
JP6737173B2 (ja) * 2016-12-28 2020-08-05 株式会社Jvcケンウッド 映像生成装置、映像生成システム、映像生成方法およびプログラム

Also Published As

Publication number Publication date
US20180093619A1 (en) 2018-04-05
EP3305596B1 (en) 2020-06-24
KR20180037730A (ko) 2018-04-13
KR101949438B1 (ko) 2019-02-19
EP3305596A1 (en) 2018-04-11
US10850680B2 (en) 2020-12-01
CN107914713A (zh) 2018-04-17

Similar Documents

Publication Publication Date Title
CN107914713B (zh) 车辆用显示装置及包括其的车辆
CN109843676B (zh) 自动泊车辅助装置以及包括其的车辆
CN107891809B (zh) 自动驻车辅助装置、提供自动驻车功能的方法以及车辆
CN109476315B (zh) 驾驶员辅助装置及具有该装置的车辆
CN109789778B (zh) 自动泊车辅助装置以及包括其的车辆
CN107499307B (zh) 自动停车辅助装置以及包括该自动停车辅助装置的车辆
CN106915302B (zh) 用于车辆的显示装置及其控制方法
CN106696701B (zh) 驾驶员辅助设备以及包括该驾驶员辅助设备的车辆
EP3211616A2 (en) Driver assistance apparatus
KR102551099B1 (ko) 어라운드뷰 제공장치, 제공방법 및 이를 구비한 차량
KR101790426B1 (ko) 자동주차 보조장치 및 이를 포함하는 차량
KR101962348B1 (ko) 차량 운전 보조장치 및 이를 포함하는 차량
KR20180080939A (ko) 차량 운전 보조장치 및 이를 포함하는 차량
KR101929294B1 (ko) 자동주차 보조장치 및 이를 포함하는 차량
KR101843535B1 (ko) 차량 운전 보조장치 및 이를 포함하는 차량
KR101888259B1 (ko) 차량 보조장치 및 이를 포함하는 차량
KR101929288B1 (ko) 자동주차 보조장치 및 이를 포함하는 차량
KR20170087618A (ko) 차량용 디스플레이 장치 및 그 동작 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant