CN108515909A - 一种汽车抬头显示***及其障碍物提示方法 - Google Patents

一种汽车抬头显示***及其障碍物提示方法 Download PDF

Info

Publication number
CN108515909A
CN108515909A CN201810299089.4A CN201810299089A CN108515909A CN 108515909 A CN108515909 A CN 108515909A CN 201810299089 A CN201810299089 A CN 201810299089A CN 108515909 A CN108515909 A CN 108515909A
Authority
CN
China
Prior art keywords
image
barrier
display
road conditions
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810299089.4A
Other languages
English (en)
Other versions
CN108515909B (zh
Inventor
于越
衣祝松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN201810299089.4A priority Critical patent/CN108515909B/zh
Publication of CN108515909A publication Critical patent/CN108515909A/zh
Priority to US16/616,261 priority patent/US11087151B2/en
Priority to PCT/CN2019/080761 priority patent/WO2019192418A1/zh
Application granted granted Critical
Publication of CN108515909B publication Critical patent/CN108515909B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23—Head-up displays [HUD]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B60K35/285—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver for improving awareness by directing driver's gaze direction or eye points
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/177—Augmented reality
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/178—Warnings
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/179—Distances to obstacles or vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/21—Optical features of instruments using cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/205—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using a head-up display
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • B60R2300/308—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene by overlaying the real scene, e.g. through a head-up display on the windscreen
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8053—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for bad weather conditions or night vision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Mechanical Engineering (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Chemical & Material Sciences (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Optics & Photonics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Instrument Panels (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种汽车抬头显示***及其障碍物提示方法，所述方法包括：获取路况视频图像，对获取的图像进行增强处理后从中识别出障碍物；根据识别的障碍物在所述图像中的位置，在汽车的前挡风玻璃相应位置处投影显示提示信息。应用本发明可以在能见度低时能更好的向驾驶员提供清晰的车辆与行人等障碍物的信息，从而提高驾驶员对雾霾天等情况下真实路况的辨识度，提高行车安全性。

Description

一种汽车抬头显示***及其障碍物提示方法
技术领域
本发明涉及汽车抬头显示技术领域，特别是指一种汽车抬头显示***及其障碍物提示方法。
背景技术
抬头显示仪(Head Up Display，HUD)又叫平视显示***，它可以把重要的信息，映射在风窗玻璃上的全息半镜上，使驾驶员不必低头，就能看清重要的信息。
HUD最早是应用在飞机上的抬头显示技术，近年来，随着汽车辅助驾驶技术的发展，HUD技术开始应用于汽车上。现有的车载HUD技术普遍将路况信息显示到以LED为背光板的LCD显示屏上，以该屏幕作为光源，利用光学装置经过一系列光学操作把光源投射到前挡风玻璃上，并经前挡风玻璃反射到人眼，使驾驶员感觉路况信息恰好悬浮于前车盖上方，这些路况信息一般包括转弯提示，到达目的地距离等等。更高级的HUD技术能够实现虚实融合，将路况信息与真实路况相结合，比如让驾驶员感觉前方真实路段两旁的马路边缘分别竖起一道“保护屏障”，该保护屏障实际上是对前方实际路况录像进行图像处理的结果。
上述HUD技术能够显示路况信息，甚至能够虚实融合，但本发明的发明人发现，现有HUD技术在能见度低的情况，比如雾霾天应用时，则往往会出现路况信息的虚景降低驾驶员对雾霾天真实路况的辨识度；然而，雾霾天气前方车辆和行人等障碍物是很重要的路况信息，如果驾驶员不能清晰辨识，则易引发交通事故。
发明内容
有鉴于此，本发明的目的在于提出一种汽车抬头显示***及其障碍物提示方法，在能见度低时能更好的向驾驶员提供清晰的车辆与行人等障碍物的信息，从而提高驾驶员对雾霾天等情况下真实路况的辨识度，提高行车安全性。
基于上述目的本发明提供一种汽车抬头显示***的障碍物提示方法，包括：
获取路况视频图像，对获取的图像进行增强处理后从中识别出障碍物；
根据识别的障碍物在所述图像中的位置，在汽车的前挡风玻璃相应位置处投影显示提示信息。
其中，所述对获取的图像进行增强处理，具体为：
将获取的路况视频图像进行灰度化处理后得到灰度图像，并计算所述灰度图像的像素灰度的方差；在所述方差小于设定阈值的情况下，对所述灰度图像进行图像增强处理；或者
在接收到驾驶员输入的障碍物提示模式开启指令后，对获取的图像进行灰度化处理，进而对得到的灰度图像进行图像增强处理。
其中，所述根据识别的障碍物在所述图像中的位置，在汽车的前挡风玻璃相应位置处投影显示提示信息，具体包括：
根据识别的障碍物在所述图像中的位置，在增强处理后的图像中以识别框框出所述障碍物；
将所述识别框在所述图像坐标系中的位置、尺寸信息，转换为所述汽车抬头显示***的显示屏幕的坐标系中相应的位置、尺寸信息；
根据转换得到的位置、尺寸信息，在显示画面中绘制作为所述提示信息的提示框；
将所述显示画面由所述显示屏幕显示后，经光学折射作用投影显示到所述汽车的前挡风玻璃。
其中，所述障碍物具体为车辆或行人。
较佳地，所述图像增强处理，具体为：采用子块部分重叠直方图均衡化方法进行图像增强处理。
较佳地，所述识别出障碍物，具体为：对增强处理后的图像采用卷积神经网络算法从中识别出障碍物。
本发明还提供一种汽车抬头显示***，包括：用于获取路况视频图像的路况信息采集模块，以及光源显示模块和光学投影模块，此外还包括：
路况信息处理模块，用于对所述路况信息采集模块获取的图像进行增强处理后从中识别出障碍物；根据识别的障碍物在所述图像中的位置，通过所述光源显示模块和光学投影模块在汽车的前挡风玻璃相应位置处投影显示提示信息。
其中，所述路况信息处理模块具体包括：
图像增强单元，用于对所述路况信息采集模块获取的图像进行增强处理；
识别单元，用于从增强处理后的图像中识别出障碍物；
提示单元，用于根据识别的障碍物在所述图像中的位置，通过所述光源显示模块和光学投影模块在汽车的前挡风玻璃相应位置处投影显示提示信息。
本发明实施例的技术方案中，通过汽车抬头显示***的摄像头获取路况视频图像后，对获取的图像进行增强处理后从中识别出障碍物；根据识别出的障碍物在所述图像中的位置，在汽车的前挡风玻璃相应位置处投影显示提示信息。在能见度低的情况下，比如雾霾天气下，路况视频图像中的车辆与行人等障碍物的边缘模糊，分辨率低，直接对障碍物进行识别，无法保证识别正确率；而本发明的技术方案对视频图像进行图像增强处理后，车辆与行人等障碍物的轮廓更加明显和周围的对比度更强。在此基础上，对车辆或行人等障碍物进行识别，准确率将大幅提升。在前挡风玻璃相应位置处投影显示提示信息，比如投影显示提示框，在能见度低时能更好的向驾驶员提供清晰的车辆与行人等障碍物的信息，从而提高驾驶员对雾霾天等情况下真实路况的辨识度，提高行车安全性。
附图说明
图1为本发明实施例一提供的一种汽车抬头显示***的障碍物提示方法流程图；
图2本发明实施例一所采用的子块部分重叠直方图均衡化方法流程图；
图3为本发明实施例一提供的一种汽车抬头显示***内部结构框图；
图4为本发明实施例二提供的一种汽车抬头显示***的障碍物提示方法流程图；
图5为本发明实施例二提供的一种汽车抬头显示***内部结构框图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
需要说明的是，本发明实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称非相同的实体或者非相同的参量，可见“第一”“第二”仅为了表述的方便，不应理解为对本发明实施例的限定，后续实施例对此不再一一说明。
本发明的主要技术方案为，通过汽车抬头显示***的摄像头获取路况视频图像后，对获取的图像进行增强处理后从中识别出障碍物；根据识别出的障碍物在所述图像中的位置，在汽车的前挡风玻璃相应位置处投影显示提示信息。在能见度低的情况下，比如雾霾天气下，路况视频图像中的车辆与行人等障碍物的边缘模糊，分辨率低，直接对障碍物进行识别，无法保证识别正确率；而本发明的技术方案对视频图像进行图像增强处理后，车辆与行人等障碍物的轮廓更加明显和周围的对比度更强。在此基础上，对车辆或行人等障碍物进行识别，准确率将大幅提升。
通过汽车抬头显示***，在能见度低的情况下，可以提高车辆或行人等障碍物的识别率，进而在汽车的前挡风玻璃相应位置处投影显示提示信息，以提示驾驶员注意相应处的车辆与行人等障碍物，能更好的向驾驶员提供清晰的车辆与行人等障碍物的信息，从而提高驾驶员对雾霾天真实路况的辨识度，提高行车安全性。
下面结合附图详细说明本发明技术方案提供的两个具体实施例。
实施例一
本发明实施例一提供的一种汽车抬头显示***的障碍物提示方法的具体流程，如图1所示，包括如下步骤：
步骤S101：获取路况视频图像。
本步骤中，汽车抬头显示***通过摄像头的拍摄，实时获取当前路况的路况视频图像。较佳地，摄像头的摄像角度与汽车驾驶员的视角方向一致，高度一样，从而摄像头拍摄获取的路况视频图像，与驾驶员透过前档风玻璃视觉观察到的图像景物类似。之后，具体可以根据如下步骤S102-S104对获取的图像进行增强处理。
步骤S102：将获取的路况视频图像进行灰度化处理后得到灰度图像。
本步骤中，汽车抬头显示***将当前拍摄获取的路况视频图像进行灰度化处理。通常由于彩色图像每个颜色分量均需要分配一个字节存储，处理计算量较大，因此，本步骤中先对获取的彩色的路况视频图像进行灰度化处理，以减少后续步骤进行图像增强时的计算量。
对于RGB彩色图像，灰度化公式如下：Gray＝R*0.3+G*0.59+B*0.11；其中Gray为灰度化后得到的灰度图像的像素点的灰度值，R、G、B为灰度化之前的彩色图像的像素点的颜色值。
步骤S103：计算所述灰度图像的像素灰度的方差；并判断所述方差是否小于设定阈值；若是，则继续执行步骤S104；否则，跳转到步骤S101继续获取后续拍摄到的路况视频图像。
本步骤中，汽车抬头显示***计算上述灰度图像的像素灰度的方差；若计算的方差小于设定阈值，则表明图像灰度趋于一致，说明当前拍摄的路况能见度不佳，可以开启障碍物提示模式，则执行如下步骤S104进行图像增强。
若计算的方差大于设定阈值，则表明图像灰度反差较大，说明拍摄的路况能见度较好，辨识度较好，不必开启障碍物提示模式，以免对驾驶员视物造成不必要的干扰。
步骤S104：对所述灰度图像进行图像增强处理。
本步骤中，汽车抬头显示***对上述的灰度图像进行图像增强处理，得到增强后的图像。具体地，在能见度低的情况下，比如在雾霾天气下，路况视频图像中的车辆与行人等障碍物的边缘模糊，分辨率低，直接对障碍物进行识别，无法保证识别正确率，可能反而会误导驾驶员的判断；因此，本发明技术方案中，对路况视频图像进行图像增强处理后，车辆与行人等障碍物的轮廓更加明显和周围的对比度更强。在此基础上，对车辆或行人等障碍物进行识别，准确率将大幅提升。
较佳地，本发明技术方案中采用子块部分重叠直方图均衡化方法进行图像增强。该方法与其它局部直方图均衡化方法相比，在保证灰度图像增强能力的同时，减少了计算量，能提高***实时性，适用于对实时路况视频图像的处理。子块部分重叠直方图均衡化方法将在后续详细介绍。
步骤S105：从增强处理后的图像中识别出障碍物。
本步骤中，汽车抬头显示***从增强处理后的图像中识别出障碍物。目前成功率高且成功应用于车辆或行人识别的智能算法包括卷积神经网络、adaboost等算法，本发明采用卷积神经网络算法对图像中的车辆或行人进行识别：从互联网爬取多幅车辆与行人或其它障碍物的各个角度的正样本及没有车辆与行人等其它障碍物的较模糊负样本，对卷积神经网络进行训练和验证，分别得到针对各种障碍物，比如车辆和行人的分类器，使用分类器可以从图像中识别出相应的障碍物。
步骤S106：根据识别的障碍物在所述图像中的位置，在汽车的前挡风玻璃相应位置处投影显示提示信息。
本步骤中，汽车抬头显示***根据识别的障碍物在所述图像中的位置，在汽车的前挡风玻璃相应位置处投影显示提示信息。具体地，汽车抬头显示***根据识别的障碍物在其所在图像中的位置，在增强处理后的图像中以识别框框出所述障碍物；进而，将所述识别框在所述图像的坐标系中的位置、尺寸信息，转换为所述汽车抬头显示***的显示屏幕的坐标系中相应的位置、尺寸信息；汽车抬头显示***根据转换得到的位置、尺寸信息，在显示画面中绘制作为所述提示信息的提示框后，将所述显示画面由所述显示屏幕显示，并经光学折射作用投影显示到所述汽车的前挡风玻璃。
这样，就可以在前挡风玻璃上，相应位置处投影显示提示信息，比如投影显示提示框，而提示信息的位置由于正好与驾驶员透过前挡风玻璃所观察到的障碍物的位置相应，因此，在视觉效果上呈现了一种前挡风玻璃上显示的提示信息，比如提示框的虚像，将前方障碍物，比如车辆或行人的实像框出，从而提示驾驶员前方障碍物目标所在位置；因此，在能见度低时能更好的向驾驶员提供清晰的车辆与行人等障碍物的信息，从而提高驾驶员对雾霾天真实路况的辨识度，提高行车安全性。
上述步骤S104中所提到的子块部分重叠直方图均衡化方法，具体流程如图2所示，包括如下步骤：
步骤S201：建立初始位置在灰度图像左上角的滑动窗口，设定移动步长。
具体地，可以先指定一个m*n的滑动窗口，以及水平和垂直方向上的步长a和b。比如，本发明技术方案中选择32*32的窗口，并设定水平和垂直方向上步长均为4；进而将滑动窗口的初始位置设置于灰度图像左上角。
步骤S202：对滑动窗口所覆盖的图像子块进行直方图均衡化处理。
本步骤中，对滑动窗口当前覆盖的图像子块进行直方图均衡化处理。具体地，将图像数字化并将图像的灰度等级归一化，然后量化灰度级，根据概率密度函数描述图像灰度的分布情况，概率密度函数如下：
其中rk表示第k个灰度级，k＝0,1,2……n-1，nk表示第k个灰度级的像素点个数，N表示整个图像的像素个数。pr(rk)表示第k个灰度级的像素出现的概率，n表示灰度级的级数。
然后通过累计分布函数对每个灰度级重新分配灰度值：
其中sk为第k个灰度级经过均衡化后处理后的灰度值。子块图像的像素通过直方图均衡化后得到了新的灰度值。
步骤S203：按照步长从左至右、从上至下移动滑动窗口。
步骤S204：判断滑动窗口是否在灰度图像右下角；若是，则说明图像处理完毕，执行步骤S205；否则，跳转到步骤S202继续进行直方图均衡化处理。
步骤S205：加权平均图像叠加部分像素点的灰度值之和。
本步骤中，对相邻滑动窗口的重叠部分的像素点灰度值进行加权平均，最终得到增强处理后的路况视频图像。
基于本发明实施例一的汽车抬头显示***的障碍物提示方法，本发明实施例一的一种汽车抬头显示***，内部结构如图3所示，包括：路况信息采集模块301、路况信息处理模块302，以及光源显示模块303和光学投影模块(图中未标)。
其中，路况信息采集模块301用于获取路况视频图像。具体地，路况信息采集模块301可以通过摄像头拍摄获取路况视频图像。较佳地，摄像头的摄像角度与汽车驾驶员的视角方向一致，高度一样。
路况信息处理模块302用于对路况信息采集模块301获取的路况视频图像进行增强处理后从中识别出障碍物；根据识别的障碍物在所述图像中的位置，通过光源显示模块303和光学投影模块在汽车的前挡风玻璃相应位置处投影显示提示信息。
具体地，路况信息处理模块302对路况信息采集模块301获取的路况视频图像进行增强处理后从中识别出障碍物；进而根据识别的障碍物在所述图像中的位置，在增强处理后的图像中以识别框框出所述障碍物；将所述识别框在所述图像坐标系中的位置、尺寸信息，转换为所述汽车抬头显示***的显示屏幕的坐标系中相应的位置、尺寸信息；根据转换得到的位置、尺寸信息，在显示画面中绘制作为所述提示信息的提示框，并将所述显示画面发送至光源显示模块303；由光源显示模块303在其显示屏幕显示后，经光学投影模块的光学折射作用投影显示到汽车的前挡风玻璃。
光源显示模块303主要由LCD或LED显示屏幕及相关驱动电路构成，其显示的内容还可以包括车辆的行驶信息如车速、油量等。为了实现较好的虚实融合效果，显示屏幕的显示区域可以与驾驶员通过眼睛获取的路况景象的区域大小成正比。
光学投影模块包括球面反射镜、柱面反射镜。主要用于将光源显示模块显示屏幕上的显示内容经过折射传送到前挡风玻璃；进而经前挡风玻璃的反射传送到驾驶员眼中，完成虚实融合。其中前挡风玻璃的反射区域的大小和中心位置可以通过调整反射镜位置和摆放角度、调整光源反射角度、调整光源放大倍数等操作在初期调整到与驾驶员眼睛视场重合的位置。
具体地，上述路况信息处理模块302可以包括如下单元：图像增强单元311、识别单元312、提示单元313。
图像增强单元311用于对所述路况信息采集模块获取的图像进行增强处理。图像增强单元311进行增强处理的方法可参考上述步骤S104，此处不再赘述。
识别单元312用于从图像增强单元311增强处理后的图像中识别出障碍物。识别单元312识别障碍物的具体方法可参考上述步骤S105，此处不再赘述。
提示单元313用于根据识别单元312识别出的障碍物在所述图像中的位置，通过光源显示模块303和光学投影模块在汽车的前挡风玻璃相应位置处投影显示提示信息。具体地，提示单元313根据所述障碍物在所述图像中的位置，在增强处理后的图像中以识别框框出所述障碍物；将所述识别框在所述图像坐标系中的位置、尺寸信息，转换为所述汽车抬头显示***的显示屏幕的坐标系中相应的位置、尺寸信息；根据转换得到的位置、尺寸信息，在显示画面中绘制作为所述提示信息的提示框，并将所述显示画面发送至光源显示模块303；由光源显示模块303在其显示屏幕显示后，经光学投影模块的光学折射作用投影显示到所述汽车的前挡风玻璃。
进一步，路况信息处理模块302还可以包括：灰度方差计算单元314。
灰度方差计算单元314用于针对获取的路况视频图像，计算像素灰度的方差；判断所述方差小于设定阈值后，向所述图像增强单元发送图像增强的指示信息。
相应地，图像增强单元311具体用于接收到所述图像增强的指示信息后，对所述路况信息采集模块获取的图像进行增强处理。
本发明实施例一的技术方案中，通过汽车抬头显示***的摄像头获取路况视频图像后，对获取的图像进行增强处理后从中识别出障碍物；根据识别出的障碍物在所述图像中的位置，在汽车的前挡风玻璃相应位置处投影显示提示信息。在能见度低的情况下，比如雾霾天气下，路况视频图像中的车辆与行人等障碍物的边缘模糊，分辨率低，直接对障碍物进行识别，无法保证识别正确率；而本发明的技术方案对视频图像进行图像增强处理后，车辆与行人等障碍物的轮廓更加明显和周围的对比度更强。在此基础上，对车辆或行人等障碍物进行识别，准确率将大幅提升。在前挡风玻璃相应位置处投影显示提示信息，比如投影显示提示框，在能见度低时能更好的向驾驶员提供清晰的车辆与行人等障碍物的信息，从而提高驾驶员对雾霾天真实路况的辨识度，提高行车安全性。
进一步，本发明实施例一的技术方案中，通过计算灰度图像的像素灰度的方差，可以自动判断出能见度低的情况，从而自动开启障碍物提示模式，为驾驶员提供清晰的车辆与行人等障碍物的信息；此外，当判断能见度较高时，则不开启障碍物提示模式，以免对驾驶员视物造成不必要的干扰。
实施例二
本发明实施例二提供的一种汽车抬头显示***的障碍物提示方法的具体流程，如图4所示，包括如下步骤：
步骤S401：获取路况视频图像。
本步骤中，汽车抬头显示***通过摄像头的拍摄，实时获取当前路况的路况视频图像。较佳地，摄像头的摄像角度与汽车驾驶员的视角方向一致，高度一样，从而摄像头拍摄获取的路况视频图像，与驾驶员透过前档风玻璃视觉观察到的图像景物类似。之后，具体可以根据如下步骤S402-S404对获取的图像进行增强处理。
步骤S402：判断是否接收到障碍物提示开启指令；若是，则开启障碍物提示模式执行如下步骤S403；否则，不开启障碍物提示模式。
步骤S403：将获取的路况视频图像进行灰度化处理后得到灰度图像。
本步骤中进行灰度化处理的方法与上述步骤S102相同，此处不再赘述。
步骤S404：对所述灰度图像进行图像增强处理。
本步骤中进行图像增强处理的方法与上述步骤S104相同，此处不再赘述。
步骤S405：从增强处理后的图像中识别出障碍物。
本步骤中识别出障碍物的方法与上述步骤S405相同，此处不再赘述。
步骤S406：根据识别的障碍物在所述图像中的位置，在汽车的前挡风玻璃相应位置处投影显示提示信息。
本步骤中，汽车抬头显示***根据识别的障碍物在所述图像中的位置，在汽车的前挡风玻璃相应位置处投影显示提示信息。具体地，汽车抬头显示***根据识别的障碍物在其所在图像中的位置，在增强处理后的图像中以识别框框出所述障碍物；进而，将所述识别框在所述图像的坐标系中的位置、尺寸信息，转换为所述汽车抬头显示***的显示屏幕的坐标系中相应的位置、尺寸信息；汽车抬头显示***根据转换得到的位置、尺寸信息，在显示画面中绘制作为所述提示信息的提示框后，将所述显示画面由所述显示屏幕显示，并经光学折射作用投影显示到所述汽车的前挡风玻璃。
基于本发明实施例二的汽车抬头显示***的障碍物提示方法，本发明实施例一的一种汽车抬头显示***，内部结构如图5所示，包括：路况信息采集模块501、路况信息处理模块502，以及光源显示模块503和光学投影模块(图中未标)。
其中，路况信息采集模块501用于获取路况视频图像。具体地，路况信息采集模块501可以通过摄像头拍摄获取路况视频图像。较佳地，摄像头的摄像角度与汽车驾驶员的视角方向一致，高度一样。
路况信息处理模块502用于对路况信息采集模块501获取的路况视频图像进行增强处理后从中识别出障碍物；根据所述障碍物在所述图像中的位置，通过光源显示模块503和光学投影模块在汽车的前挡风玻璃相应位置处投影显示提示信息。
具体地，路况信息处理模块502对路况信息采集模块501获取的路况视频图像进行增强处理后从中识别出障碍物；进而根据所述障碍物在所述图像中的位置，在增强处理后的图像中以识别框框出所述障碍物；将所述识别框在所述图像坐标系中的位置、尺寸信息，转换为所述汽车抬头显示***的显示屏幕的坐标系中相应的位置、尺寸信息；根据转换得到的位置、尺寸信息，在显示画面中绘制作为所述提示信息的提示框，并将所述显示画面发送至光源显示模块503；由光源显示模块503在其显示屏幕显示后，经光学投影模块的光学折射作用投影显示到汽车的前挡风玻璃。
光源显示模块503主要由LCD或LED显示屏幕及相关驱动电路构成，其显示的内容还可以包括车辆的行驶信息如车速、油量等。为了实现较好的虚实融合效果，显示屏幕的显示区域可以与驾驶员通过眼睛获取的路况景象的区域大小成正比。
光学投影模块包括球面反射镜、柱面反射镜。主要用于将光源显示模块显示屏幕上的显示内容经过折射传送到前挡风玻璃；进而经前挡风玻璃的反射传送到驾驶员眼中，完成虚实融合。其中前挡风玻璃的反射区域的大小和中心位置可以通过调整反射镜位置和摆放角度、调整光源反射角度、调整光源放大倍数等操作在初期调整到与驾驶员眼睛视场重合的位置。
具体地，上述路况信息处理模块502可以包括如下单元：图像增强单元511、识别单元512、提示单元513。
图像增强单元511用于对所述路况信息采集模块获取的图像进行增强处理。图像增强单元511进行增强处理的方法可参考上述步骤S404，此处不再赘述。
识别单元512用于从图像增强单元511增强处理后的图像中识别出障碍物。识别单元512识别障碍物的具体方法可参考上述步骤S405，此处不再赘述。
提示单元513用于根据识别单元512识别出的障碍物在所述图像中的位置，通过光源显示模块503和光学投影模块在汽车的前挡风玻璃相应位置处投影显示提示信息。具体地，提示单元513根据所述障碍物在所述图像中的位置，在增强处理后的图像中以识别框框出所述障碍物；将所述识别框在所述图像坐标系中的位置、尺寸信息，转换为所述汽车抬头显示***的显示屏幕的坐标系中相应的位置、尺寸信息；根据转换得到的位置、尺寸信息，在显示画面中绘制作为所述提示信息的提示框，并将所述显示画面发送至光源显示模块503；由光源显示模块503在其显示屏幕显示后，经光学投影模块的光学折射作用投影显示到所述汽车的前挡风玻璃。
进一步，路况信息处理模块502还可以包括：指令接收单元514。
指令接收单元514用于在接收到驾驶员输入的障碍物提示模式开启指令后，向所述图像增强单元511发送图像增强的指示信息。
相应地，图像增强单元511具体用于接收到所述图像增强的指示信息后，对所述路况信息采集模块获取的图像进行增强处理。
本发明实施例二的技术方案中，通过汽车抬头显示***的摄像头获取路况视频图像后，对获取的图像进行增强处理后从中识别出障碍物；根据识别出的障碍物在所述图像中的位置，在汽车的前挡风玻璃相应位置处投影显示提示信息。在能见度低的情况下，比如雾霾天气下，路况视频图像中的车辆与行人等障碍物的边缘模糊，分辨率低，直接对障碍物进行识别，无法保证识别正确率；而本发明的技术方案对视频图像进行图像增强处理后，车辆与行人等障碍物的轮廓更加明显和周围的对比度更强。在此基础上，对车辆或行人等障碍物进行识别，准确率将大幅提升。在前挡风玻璃相应位置处投影显示提示信息，比如投影显示提示框，在能见度低时能更好的向驾驶员提供清晰的车辆与行人等障碍物的信息，从而提高驾驶员对雾霾天真实路况的辨识度，提高行车安全性。
进一步，本发明实施例二的技术方案中，通过计算灰度图像的像素灰度的方差，可以自动判断出能见度低的情况，在接收到驾驶员的障碍物提示开启指令后，才开启障碍物提示模式，为驾驶员提供清晰的车辆与行人等障碍物的信息；而没有接收到障碍物提示开启指令时，则不开启障碍物提示模式，以免对驾驶员视物造成不必要的干扰。
本技术领域技术人员可以理解，本发明中已经讨论过的各种操作、方法、流程中的步骤、措施、方案可以被交替、更改、组合或删除。进一步地，具有本发明中已经讨论过的各种操作、方法、流程中的其他步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。进一步地，现有技术中的具有与本发明中公开的各种操作、方法、流程中的步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。
所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本公开的范围(包括权利要求)被限于这些例子；在本发明的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本发明的不同方面的许多其它变化，为了简明它们没有在细节中提供。因此，凡在本发明的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种汽车抬头显示***的障碍物提示方法，包括：
获取路况视频图像，对获取的图像进行增强处理后从中识别出障碍物；
根据识别的障碍物在所述图像中的位置，在汽车的前挡风玻璃相应位置处投影显示提示信息。
2.根据权利要求1所述的方法，其特征在于，所述对获取的图像进行增强处理，具体为：
将获取的路况视频图像进行灰度化处理后得到灰度图像，并计算所述灰度图像的像素灰度的方差；在所述方差小于设定阈值的情况下，对所述灰度图像进行图像增强处理；或者
在接收到驾驶员输入的障碍物提示模式开启指令后，对获取的图像进行灰度化处理，进而对得到的灰度图像进行图像增强处理。
3.根据权利要求1或2所述的方法，其特征在于，所述根据识别的障碍物在所述图像中的位置，在汽车的前挡风玻璃相应位置处投影显示提示信息，具体包括：
根据识别的障碍物在所述图像中的位置，在增强处理后的图像中以识别框框出所述障碍物；
将所述识别框在所述图像坐标系中的位置、尺寸信息，转换为所述汽车抬头显示***的显示屏幕的坐标系中相应的位置、尺寸信息；
根据转换得到的位置、尺寸信息，在显示画面中绘制作为所述提示信息的提示框；
将所述显示画面由所述显示屏幕显示后，经光学折射作用投影显示到所述汽车的前挡风玻璃。
4.根据权利要求1或2所述的方法，其特征在于，所述障碍物具体为车辆或行人。
5.根据权利要求1或2所述的方法，其特征在于，所述图像增强处理，具体为：采用子块部分重叠直方图均衡化方法进行图像增强处理。
6.根据权利要求1或2所述的方法，其特征在于，所述识别出障碍物，具体为：对增强处理后的图像采用卷积神经网络算法从中识别出障碍物。
7.一种汽车抬头显示***，包括：用于获取路况视频图像的路况信息采集模块，以及光源显示模块和光学投影模块，其特征在于，还包括：
路况信息处理模块，用于对所述路况信息采集模块获取的图像进行增强处理后从中识别出障碍物；根据识别的障碍物在所述图像中的位置，通过所述光源显示模块和光学投影模块在汽车的前挡风玻璃相应位置处投影显示提示信息。
8.根据权利要求6所述的***，其特征在于，所述路况信息处理模块具体包括：
图像增强单元，用于对所述路况信息采集模块获取的图像进行增强处理；
识别单元，用于从增强处理后的图像中识别出障碍物；
提示单元，用于根据识别的障碍物在所述图像中的位置，通过所述光源显示模块和光学投影模块在汽车的前挡风玻璃相应位置处投影显示提示信息。
9.根据权利要求8所述的***，其特征在于，所述路况信息处理模块还包括：
灰度方差计算单元，用于针对获取的路况视频图像，计算像素灰度的方差；判断所述方差小于设定阈值后，向所述图像增强单元发送图像增强的指示信息；以及
所述图像增强单元具体用于接收到所述图像增强的指示信息后，对所述路况信息采集模块获取的图像进行增强处理。
10.根据权利要求8所述的***，其特征在于，所述路况信息处理模块还包括：
指令接收单元，用于在接收到驾驶员输入的障碍物提示模式开启指令后，向所述图像增强单元发送图像增强的指示信息；以及
所述图像增强单元具体用于接收到所述图像增强的指示信息后，对所述路况信息采集模块获取的图像进行增强处理。
CN201810299089.4A 2018-04-04 2018-04-04 一种汽车抬头显示***及其障碍物提示方法 Active CN108515909B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201810299089.4A CN108515909B (zh) 2018-04-04 2018-04-04 一种汽车抬头显示***及其障碍物提示方法
US16/616,261 US11087151B2 (en) 2018-04-04 2019-04-01 Automobile head-up display system and obstacle prompting method thereof
PCT/CN2019/080761 WO2019192418A1 (zh) 2018-04-04 2019-04-01 汽车抬头显示***及其障碍物提示方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810299089.4A CN108515909B (zh) 2018-04-04 2018-04-04 一种汽车抬头显示***及其障碍物提示方法

Publications (2)

Publication Number Publication Date
CN108515909A true CN108515909A (zh) 2018-09-11
CN108515909B CN108515909B (zh) 2021-04-20

Family

ID=63431887

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810299089.4A Active CN108515909B (zh) 2018-04-04 2018-04-04 一种汽车抬头显示***及其障碍物提示方法

Country Status (3)

Country Link
US (1) US11087151B2 (zh)
CN (1) CN108515909B (zh)
WO (1) WO2019192418A1 (zh)

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109795414A (zh) * 2019-01-25 2019-05-24 苏州车萝卜汽车电子科技有限公司 用于增强现实抬头显示装置的图像信息处理方法及装置、设备
CN109875583A (zh) * 2019-02-19 2019-06-14 京东方科技集团股份有限公司 一种基于ar技术的疲劳驾驶检测***及方法
CN110135235A (zh) * 2019-03-13 2019-08-16 北京车和家信息技术有限公司 一种眩光处理方法、装置及车辆
CN110312106A (zh) * 2019-07-30 2019-10-08 广汽蔚来新能源汽车科技有限公司 图像的显示方法、装置、计算机设备和存储介质
WO2019192418A1 (zh) * 2018-04-04 2019-10-10 京东方科技集团股份有限公司 汽车抬头显示***及其障碍物提示方法
CN110610463A (zh) * 2019-08-07 2019-12-24 深圳大学 一种图像增强方法及装置
CN110647860A (zh) * 2019-09-29 2020-01-03 百度在线网络技术（北京）有限公司 信息渲染方法、装置、设备和介质
CN111086451A (zh) * 2018-10-23 2020-05-01 中兴通讯股份有限公司 一种平视显示***、显示方法和汽车
CN111086453A (zh) * 2019-12-30 2020-05-01 深圳疆程技术有限公司 一种基于摄像头的hud增强现实显示方法、装置及汽车
CN111157014A (zh) * 2019-12-30 2020-05-15 恒大新能源汽车科技(广东)有限公司 路况展示方法、装置及车载终端、存储介质
CN111923835A (zh) * 2020-08-13 2020-11-13 启明信息技术股份有限公司 一种基于车辆后视显示方法
CN112829583A (zh) * 2019-11-25 2021-05-25 深圳市大富科技股份有限公司 行驶信息的显示方法、行驶信息的显示装置以及存储介质
CN113326758A (zh) * 2021-05-25 2021-08-31 青岛慧拓智能机器有限公司 一种用于远程遥控驾驶监测视频的抬头显示技术
CN113401054A (zh) * 2021-07-22 2021-09-17 上汽通用五菱汽车股份有限公司 车辆的防碰撞方法、车辆和可读存储介质
CN113449646A (zh) * 2021-06-29 2021-09-28 长沙理工大学 一种具有安全距离提示的抬头显示***
CN113442831A (zh) * 2020-03-25 2021-09-28 斑马智行网络(香港)有限公司 视野盲区显示方法、装置以及采用该方法的导航***
CN113859123A (zh) * 2021-10-08 2021-12-31 上汽通用汽车有限公司 车辆前视***显示控制方法、存储介质及电子设备
WO2022127307A1 (zh) * 2020-12-18 2022-06-23 奇瑞汽车股份有限公司 车辆视觉辅助***、车载图像显示方法及装置
WO2023202384A1 (zh) * 2022-04-18 2023-10-26 长城汽车股份有限公司 一种增强现实抬头显示方法、装置、终端设备及存储介质

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108139584B (zh) * 2015-10-15 2020-08-28 麦克赛尔株式会社 信息显示装置
CN112717397B (zh) * 2020-12-30 2023-05-12 腾讯科技（深圳）有限公司 虚拟对象控制方法、装置、设备以及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1589456A (zh) * 2001-11-19 2005-03-02 皇家飞利浦电子股份有限公司 利用图像增强提高汽车安全性的方法和***
CN102509291A (zh) * 2011-10-31 2012-06-20 东南大学 基于无线网络视频传感器的公路路面病害检测及识别方法
WO2014054378A1 (ja) * 2012-10-05 2014-04-10 日本精機株式会社 レーザー走査型表示装置
CN105857180A (zh) * 2016-05-09 2016-08-17 广西大学 雾霾天车辆驾驶辅助***及其方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10338385B2 (en) * 2011-12-14 2019-07-02 Christopher V. Beckman Shifted reality display device and environmental scanning system
CN108515909B (zh) 2018-04-04 2021-04-20 京东方科技集团股份有限公司 一种汽车抬头显示***及其障碍物提示方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1589456A (zh) * 2001-11-19 2005-03-02 皇家飞利浦电子股份有限公司 利用图像增强提高汽车安全性的方法和***
CN102509291A (zh) * 2011-10-31 2012-06-20 东南大学 基于无线网络视频传感器的公路路面病害检测及识别方法
WO2014054378A1 (ja) * 2012-10-05 2014-04-10 日本精機株式会社 レーザー走査型表示装置
CN105857180A (zh) * 2016-05-09 2016-08-17 广西大学 雾霾天车辆驾驶辅助***及其方法

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019192418A1 (zh) * 2018-04-04 2019-10-10 京东方科技集团股份有限公司 汽车抬头显示***及其障碍物提示方法
US11087151B2 (en) 2018-04-04 2021-08-10 Boe Technology Group Co., Ltd. Automobile head-up display system and obstacle prompting method thereof
CN111086451A (zh) * 2018-10-23 2020-05-01 中兴通讯股份有限公司 一种平视显示***、显示方法和汽车
CN111086451B (zh) * 2018-10-23 2023-03-14 中兴通讯股份有限公司 一种平视显示***、显示方法和汽车
CN109795414A (zh) * 2019-01-25 2019-05-24 苏州车萝卜汽车电子科技有限公司 用于增强现实抬头显示装置的图像信息处理方法及装置、设备
CN109875583B (zh) * 2019-02-19 2021-01-29 京东方科技集团股份有限公司 一种基于ar技术的疲劳驾驶检测***及方法
CN109875583A (zh) * 2019-02-19 2019-06-14 京东方科技集团股份有限公司 一种基于ar技术的疲劳驾驶检测***及方法
CN110135235A (zh) * 2019-03-13 2019-08-16 北京车和家信息技术有限公司 一种眩光处理方法、装置及车辆
CN110312106A (zh) * 2019-07-30 2019-10-08 广汽蔚来新能源汽车科技有限公司 图像的显示方法、装置、计算机设备和存储介质
CN110312106B (zh) * 2019-07-30 2021-05-18 广汽蔚来新能源汽车科技有限公司 图像的显示方法、装置、计算机设备和存储介质
CN110610463A (zh) * 2019-08-07 2019-12-24 深圳大学 一种图像增强方法及装置
CN110647860A (zh) * 2019-09-29 2020-01-03 百度在线网络技术（北京）有限公司 信息渲染方法、装置、设备和介质
CN110647860B (zh) * 2019-09-29 2022-11-08 阿波罗智联(北京)科技有限公司 信息渲染方法、装置、设备和介质
CN112829583A (zh) * 2019-11-25 2021-05-25 深圳市大富科技股份有限公司 行驶信息的显示方法、行驶信息的显示装置以及存储介质
CN111157014A (zh) * 2019-12-30 2020-05-15 恒大新能源汽车科技(广东)有限公司 路况展示方法、装置及车载终端、存储介质
CN111086453A (zh) * 2019-12-30 2020-05-01 深圳疆程技术有限公司 一种基于摄像头的hud增强现实显示方法、装置及汽车
CN113442831A (zh) * 2020-03-25 2021-09-28 斑马智行网络(香港)有限公司 视野盲区显示方法、装置以及采用该方法的导航***
CN111923835A (zh) * 2020-08-13 2020-11-13 启明信息技术股份有限公司 一种基于车辆后视显示方法
WO2022127307A1 (zh) * 2020-12-18 2022-06-23 奇瑞汽车股份有限公司 车辆视觉辅助***、车载图像显示方法及装置
CN113326758A (zh) * 2021-05-25 2021-08-31 青岛慧拓智能机器有限公司 一种用于远程遥控驾驶监测视频的抬头显示技术
CN113449646A (zh) * 2021-06-29 2021-09-28 长沙理工大学 一种具有安全距离提示的抬头显示***
CN113401054A (zh) * 2021-07-22 2021-09-17 上汽通用五菱汽车股份有限公司 车辆的防碰撞方法、车辆和可读存储介质
CN113859123A (zh) * 2021-10-08 2021-12-31 上汽通用汽车有限公司 车辆前视***显示控制方法、存储介质及电子设备
CN113859123B (zh) * 2021-10-08 2024-05-17 上汽通用汽车有限公司 车辆前视***显示控制方法、存储介质及电子设备
WO2023202384A1 (zh) * 2022-04-18 2023-10-26 长城汽车股份有限公司 一种增强现实抬头显示方法、装置、终端设备及存储介质

Also Published As

Publication number Publication date
CN108515909B (zh) 2021-04-20
US11087151B2 (en) 2021-08-10
WO2019192418A1 (zh) 2019-10-10
US20200089972A1 (en) 2020-03-19

Similar Documents

Publication Publication Date Title
CN108515909A (zh) 一种汽车抬头显示***及其障碍物提示方法
US9317754B2 (en) Object identifying apparatus, moving body control apparatus, and information providing apparatus
US20180015879A1 (en) Side-view mirror camera system for vehicle
JP6669053B2 (ja) ヘッドアップディスプレイシステム
JP5948170B2 (ja) 情報表示装置、情報表示方法およびプログラム
US20220041105A1 (en) Rearview device simulation
US20210122388A1 (en) Vehicle display enhancement
CN108650495A (zh) 一种车用全景环视***及其自适应补光方法
JP2016210212A (ja) 情報提供装置、情報提供方法及び情報提供用制御プログラム
JP2011150688A (ja) 立体物識別装置、並びに、これを備えた移動体制御装置及び情報提供装置
CN111137236A (zh) 一种基于汽车前挡风非透明液晶显示方法及***
CN112116807B (zh) 一种多功能交通安全引导装置
CN109466286A (zh) 一种汽车进出低照度区域智能防炫目方法及装置
CN112419745A (zh) 一种基于深度融合网络的高速公路团雾预警***
JP6668975B2 (ja) 電子機器および自動車
CN109624667A (zh) 一种汽车智能防交通摄像装置炫目的方法及***
US20210268961A1 (en) Display method, display device, and display system
JPH10116052A (ja) 画像表示装置
CN117292346A (zh) 面向驾驶人和车辆状态一体感知的车辆行驶风险预警方法
CN110341602A (zh) 一种汽车前后挡风玻璃辅助显示***及显示方法
CN117940301A (zh) 一种显示方法、装置及***
KR20120105966A (ko) 가시거리 측정장치 및 그 방법
CN111071037A (zh) 设备控制方法、装置、车载平视显示设备及存储介质
KR102115579B1 (ko) 차량용 사이드뷰 시스템
CN109624858A (zh) 外后视镜的图像显示方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant