CN106985749B - 基于车道线灭点的hud显示***和方法 - Google Patents

基于车道线灭点的hud显示***和方法 Download PDF

Info

Publication number
CN106985749B
CN106985749B CN201610941443.XA CN201610941443A CN106985749B CN 106985749 B CN106985749 B CN 106985749B CN 201610941443 A CN201610941443 A CN 201610941443A CN 106985749 B CN106985749 B CN 106985749B
Authority
CN
China
Prior art keywords
display
hud
hud display
vanishing point
line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610941443.XA
Other languages
English (en)
Other versions
CN106985749A (zh
Inventor
胡青剑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NIO Holding Co Ltd
Original Assignee
NIO Nextev Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NIO Nextev Ltd filed Critical NIO Nextev Ltd
Priority to CN201610941443.XA priority Critical patent/CN106985749B/zh
Priority to PCT/CN2017/095062 priority patent/WO2018076853A1/zh
Priority to US16/345,099 priority patent/US11068725B2/en
Priority to EP17865845.6A priority patent/EP3533666A4/en
Publication of CN106985749A publication Critical patent/CN106985749A/zh
Application granted granted Critical
Publication of CN106985749B publication Critical patent/CN106985749B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/205—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using a head-up display
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8073—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for vehicle security, e.g. parked vehicle surveillance, burglar detection

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Traffic Control Systems (AREA)
  • Mechanical Engineering (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

本发明的一种基于车道线灭点的HUD显示***，包括HUD显示器，其特征在于、图像采集装置；HUD显示器中还设置有显示画面调整模块；所述的图像采集装置用于采集车辆行驶方向路面图像，所采集的图像包含HUD显示器显示界面；所述的显示画面调整模块依据图像采集装置采集到的路面图像，进行道路车道线的识别，测绘出车辆两边车道线延长线的交点，并以此交点作为灭点，分别以HUD显示器的显示界面下端两个边界点与所述灭点的连线作为调整后显示界面的边界，对HUD显示器所显示的内容进行变形处理后通过HUD显示器显示。本发明使HUD的显示画面从驾驶室中看上去更加贴合路面，大大减少驾驶员的视觉中的异物感，增加驾驶的安全性。

Description

基于车道线灭点的HUD显示***和方法
技术领域
本发明属于汽车电子领域，具体涉及一种基于车道线灭点的HUD显示***和方法。
背景技术
平视显示器(HUD，Head Up Display)，原是普遍应用在航空器上的飞行辅助仪器，能够降低飞行员低头查看仪表的频率，避免注意力中断以及丧失对状态意识的掌握，从而提高飞行安全。随着技术的进步以及需求的日益提高，近来HUD已经应用在汽车，尤其是高端汽车领域。由于传统技术中的车载仪表一般处于偏离视线较低的位置，故集成了HUD的汽车在一定程度上可提高行车安全。
目前，HUD的显示界面多为平面式显示，异物感强，容易影响驾驶员视线。
发明内容
为了解决现有技术中的上述问题，本发明提出一种基于车道线灭点的HUD显示***和方法，使HUD的显示画面从驾驶室中看上去更加贴合路面，大大减少驾驶员的视觉中的异物感，增加驾驶的安全性。
本发明提出的一种基于车道线灭点的HUD显示***，包括HUD显示器，还包括用于采集车辆行驶方向路面图像的图像采集装置；HUD显示器中还设置有显示画面调整模块；
所述的图像采集装置所采集的图像包含HUD显示器显示界面；
所述的显示画面调整模块依据图像采集装置采集到的路面图像，进行道路车道线的识别，测绘出车辆两边车道线延长线的交点，并以此交点作为灭点，分别以HUD显示器的显示界面下端两个边界点与所述灭点的连线作为调整后显示界面的边界，对HUD显示器所显示的内容进行变形处理后通过HUD显示器显示。
优选的，所述的图像采集装置为摄像头。
优选的，所述的图像采集装置设置于车内顶部。
本发明还提出了一种基于车道线灭点的HUD显示方法，包括以下步骤，
步骤1，采集包含HUD显示器显示界面的车辆行驶方向路面图像；
步骤2，识别所采集路面图像中的道路车道线；
步骤3，测绘出车辆两边车道线延长线的交点，并以此交点作为灭点；
步骤4，分别以HUD显示器的显示界面下端两个边界点与所述灭点的连线作为调整后显示界面的边界；
步骤5，对HUD显示器所显示的内容进行变形处理后通过HUD显示器显示。
优选的，在所采集路面图像中以HUD显示器的显示界面的中点为原点构建二维坐标系，并在该坐标系中确定灭点、HUD显示器的显示界面下端两个边界点的坐标，分别绘制两个边界点和灭点的直线，两条直线落入HUD显示器的显示界面的部分即为调整后HUD显示器的显示界面的边界线。
优选的，步骤5中所述的变形处理方法为，依据调整后HUD显示器的显示界面的边界线所围成的梯形，对HUD显示器的显示内容进行梯形变形。
优选的，所述灭点的测绘方法为，识别车道线后，绘制车道线的中线，相邻两个车道线的中线延长线的交点即为所要找的灭点。
优选的，所采集的包含HUD显示器显示界面的车辆行驶方向路面图像，为摄像头行驶录像中的各帧画面，对每一帧画面进行步骤1至步骤5。
本发明通过对HUD显示器显示画面的变形化处理，使HUD的显示画面从驾驶室中看上去更加贴合路面，大大减少驾驶员的视觉中的异物感，增加驾驶的安全性。
附图说明
图1是本发明一种基于车道线灭点的HUD显示方法流程示意图；
图2是本发明实际路况中HUD显示内容边界线确定示意图。
具体实施方式
下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围。
本发明提出的一种基于车道线灭点的HUD显示***，包括HUD显示器、图像采集装置；HUD显示器中还设置有显示画面调整模块。
图像采集装置用于采集车辆行驶方向路面图像，所采集的图像包含HUD显示器显示界面；本实施例中的图像采集装置为摄像头，摄像头设置于车内顶部。
所述的显示画面调整模块依据图像采集装置采集到的路面图像，进行道路车道线的识别，测绘出车辆两边车道线延长线的交点，并以此交点作为灭点，分别以HUD显示器的显示界面下端两个边界点与所述灭点的连线作为调整后显示界面的边界，对HUD显示器所显示的内容进行变形处理后通过HUD显示器显示。HUD显示器的显示界面下端两个边界点具体为HUD显示器的显示界面下边界线分别与左边界线和右边界线的交点。
本发明提出的一种基于车道线灭点的HUD显示方法，如图1所示，包括以下步骤，
步骤1，采集包含HUD显示器显示界面的车辆行驶方向路面图像；
步骤2，识别所采集路面图像中的道路车道线；
步骤3，测绘出车辆两边车道线延长线的交点，并以此交点作为灭点；
步骤4，分别以HUD显示器的显示界面下端两个边界点与所述灭点的连线作为调整后显示界面的边界；
步骤5，对HUD显示器所显示的内容进行变形处理后通过HUD显示器显示，从而达到HUD画面贴于路面的显示效果。
本实施例中在所采集路面图像中以HUD显示器的显示界面的中点为原点构建二维坐标系，并在该坐标系中确定灭点、HUD显示器的显示界面下端两个边界点的坐标，分别绘制两个边界点和灭点的直线，两条直线落入HUD显示器的显示界面的部分即为调整后HUD显示器的显示界面的边界线。
步骤5中所述的变形处理方法为，依据调整后HUD显示器的显示界面的边界线所围成的梯形，对HUD显示器的显示内容进行梯形变形。
所述灭点的测绘方法为，识别车道线后，绘制车道线的中线，相邻两个车道线的中线延长线的交点即为所要找的灭点。本发明技术方案在现实应用中，还可以同时用两相邻车道线的内侧边界的延长线的交点来确定灭点，或者同时用两相邻车道线的外侧边界的延长线的交点来确定灭点，所谓的内侧边界是指车辆所在车道两边的车道线朝向车辆一侧的车道线的边界线，所谓的外侧边界是指车辆所在车道两边的车道线远离车辆一侧的车道线的边界线。
图2中采用的是两相邻车道线的内侧边界的延长线的交点来确定灭点。为了便于描述，此处从左到右对图中的虚线条依次命名为L1～L6，其中L1、L6为道路路肩的延长线，L2、L5为车辆所在车道两侧车道线的内侧边界的延长线，L3、L4为HUD显示器的显示界面的边界线的延长线；S1为灭点的位置，L1和L6交点与L2和L5交点重合，均为S1，S2、S3分别为HUD显示器的显示界面下端左、右边界点，连接S2、S1构成调整后的HUD显示器显示界面的左边界直线L3，连接S3、S1构成调整后的HUD显示器显示界面的右边界直线L4，L3、L4、及HUD显示器显示界面的上边沿和下边沿构成了调整后的显示界面。
所采集的包含HUD显示器显示界面的车辆行驶方向路面图像，为摄像头行驶录像中的各帧画面，对每一帧画面进行步骤1至步骤5。
本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的模块、方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (8)

1.一种基于车道线灭点的HUD显示***，包括HUD显示器，其特征在于，还包括用于采集车辆行驶方向路面图像的图像采集装置；HUD显示器中还设置有显示画面调整模块；
所述的图像采集装置所采集的图像包含HUD显示器显示界面；
所述的显示画面调整模块依据图像采集装置采集到的路面图像，进行道路车道线的识别，测绘出车辆两边车道线延长线的交点，并以此交点作为灭点，分别以HUD显示器的显示界面下端两个边界点与所述灭点的连线作为调整后显示界面的边界，对HUD显示器所显示的内容进行变形处理后通过HUD显示器显示。
2.根据权利要求1所述的基于车道线灭点的HUD显示***，其特征在于，所述的图像采集装置为摄像头。
3.根据权利要求1所述的基于车道线灭点的HUD显示***，其特征在于，所述的图像采集装置设置于车内顶部。
4.一种基于车道线灭点的HUD显示方法，其特征在于，包括以下步骤，
步骤1，采集包含HUD显示器显示界面的车辆行驶方向路面图像；
步骤2，识别所采集路面图像中的道路车道线；
步骤3，测绘出车辆两边车道线延长线的交点，并以此交点作为灭点；
步骤4，分别以HUD显示器的显示界面下端两个边界点与所述灭点的连线作为调整后显示界面的边界；
步骤5，对HUD显示器所显示的内容进行变形处理后通过HUD显示器显示。
5.根据权利要求4所述的基于车道线灭点的HUD显示方法，其特征在于，在所采集路面图像中以HUD显示器的显示界面的中点为原点构建二维坐标系，并在该坐标系中确定灭点、HUD显示器的显示界面下端两个边界点的坐标，分别绘制两个边界点和灭点的直线，两条直线落入HUD显示器的显示界面的部分即为调整后HUD显示器的显示界面的边界线。
6.根据权利要求5所述的基于车道线灭点的HUD显示方法，其特征在于，步骤5中变形处理方法为，依据调整后HUD显示器的显示界面的边界线所围成的梯形，对HUD显示器的显示内容进行梯形变形。
7.根据权利要求5或6中任一项所述的基于车道线灭点的HUD显示方法，其特征在于，所述灭点的测绘方法为，识别车道线后，绘制车道线的中线，相邻两个车道线的中线延长线的交点即为所要找的灭点。
8.根据权利要求7所述的基于车道线灭点的HUD显示方法，其特征在于，所采集的包含HUD显示器显示界面的车辆行驶方向路面图像，为摄像头行驶录像中的各帧画面，对每一帧画面进行步骤1至步骤5。
CN201610941443.XA 2016-10-25 2016-10-25 基于车道线灭点的hud显示***和方法 Active CN106985749B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201610941443.XA CN106985749B (zh) 2016-10-25 2016-10-25 基于车道线灭点的hud显示***和方法
PCT/CN2017/095062 WO2018076853A1 (zh) 2016-10-25 2017-07-28 基于车道线灭点的hud显示***和方法
US16/345,099 US11068725B2 (en) 2016-10-25 2017-07-28 HUD display system and method based on lane line vanishing point
EP17865845.6A EP3533666A4 (en) 2016-10-25 2017-07-28 TRACK LINE DISTANCE-BASED HUD DISPLAY SYSTEM AND METHOD

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610941443.XA CN106985749B (zh) 2016-10-25 2016-10-25 基于车道线灭点的hud显示***和方法

Publications (2)

Publication Number Publication Date
CN106985749A CN106985749A (zh) 2017-07-28
CN106985749B true CN106985749B (zh) 2019-07-05

Family

ID=59413791

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610941443.XA Active CN106985749B (zh) 2016-10-25 2016-10-25 基于车道线灭点的hud显示***和方法

Country Status (4)

Country Link
US (1) US11068725B2 (zh)
EP (1) EP3533666A4 (zh)
CN (1) CN106985749B (zh)
WO (1) WO2018076853A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108177524B (zh) * 2017-12-22 2020-01-14 联创汽车电子有限公司 Arhud***及其车道线绘制方法
JP6991948B2 (ja) * 2018-09-11 2022-01-13 本田技研工業株式会社 表示システム、表示制御方法、およびプログラム
CN112339663A (zh) * 2020-10-19 2021-02-09 深圳市中天安驰有限责任公司 车道会车辅助装置、方法、计算机可读存储介质及***
CN115129705B (zh) * 2022-08-31 2022-11-29 高德软件有限公司 车道连通关系的确定方法和装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2100773A1 (en) * 2008-03-10 2009-09-16 Delphi Technologies, Inc. Vehicle rear view apparatus utilizing heads up display and rear looking sensors
CN203950359U (zh) * 2014-07-02 2014-11-19 台湾微米科技股份有限公司 车道偏移校正装置
WO2015151438A1 (ja) * 2014-03-31 2015-10-08 株式会社デンソー 車両用表示制御装置
CN105682973A (zh) * 2013-10-22 2016-06-15 日本精机株式会社 车辆信息投影***和投影装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6318864B2 (ja) * 2014-05-29 2018-05-09 トヨタ自動車株式会社 運転支援装置
JP6485732B2 (ja) * 2014-12-10 2019-03-20 株式会社リコー 情報提供装置、情報提供方法及び情報提供用制御プログラム
US10071748B2 (en) * 2015-09-17 2018-09-11 Sony Corporation System and method for providing driving assistance to safely overtake a vehicle
KR101826408B1 (ko) * 2016-03-03 2018-03-22 엘지전자 주식회사 디스플레이 장치 및 이를 포함하는 차량

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2100773A1 (en) * 2008-03-10 2009-09-16 Delphi Technologies, Inc. Vehicle rear view apparatus utilizing heads up display and rear looking sensors
CN105682973A (zh) * 2013-10-22 2016-06-15 日本精机株式会社 车辆信息投影***和投影装置
WO2015151438A1 (ja) * 2014-03-31 2015-10-08 株式会社デンソー 車両用表示制御装置
CN203950359U (zh) * 2014-07-02 2014-11-19 台湾微米科技股份有限公司 车道偏移校正装置

Also Published As

Publication number Publication date
US20190286920A1 (en) 2019-09-19
WO2018076853A1 (zh) 2018-05-03
EP3533666A4 (en) 2020-05-06
EP3533666A1 (en) 2019-09-04
US11068725B2 (en) 2021-07-20
CN106985749A (zh) 2017-07-28

Similar Documents

Publication Publication Date Title
CN106985749B (zh) 基于车道线灭点的hud显示***和方法
CN109353279A (zh) 一种增强现实车载抬头显示***
CN109649275A (zh) 一种基于增强现实的驾驶辅助***及方法
DE102013110332A1 (de) Visuelles leitsystem
CN103978978B (zh) 基于逆投影变换的车道保持方法
CN107757479A (zh) 一种基于增强现实显示技术的驾驶辅助***及方法
CN105301775B (zh) 一种高分辨率低畸变的全挡风玻璃hud成像装置
CN106864458A (zh) 一种自动绕障***及方法、智能汽车
CN104890574A (zh) 一种基于机器视觉的轿车a柱盲区消除装置
CN108528337A (zh) 一种基于视频投影的内轮差智能预警***及预警方法
JP2012247847A (ja) 車両用情報伝達制御装置、及び、情報伝達制御方法
US11900696B2 (en) Method and system for processing a plurality of images so as to detect lanes on a road
CN109552319B (zh) 一种夜间智能辅助驾驶***及方法
CN107220613A (zh) 基于图像处理的多功能控制方法
CN109305104A (zh) 一种嵌于a柱内可自动调节视角的“透视”屏幕装置
CN204586678U (zh) 汽车防死角装置
US11393433B2 (en) Apparatus and method for processing windshield to be invisible
CN110341602A (zh) 一种汽车前后挡风玻璃辅助显示***及显示方法
CN109878445A (zh) 一种双目视觉辅助驾驶***
CN108648488A (zh) 一种扩大驾驶员视野范围的方法及***
CN205344697U (zh) 一种用于重卡盲区的视频***
CN110861645B (zh) 一种智能网联汽车驾驶员车道变换***及其工作方法
CN107023243A (zh) 车窗多功能控制***
CN109050403A (zh) 车用hud显示***及方法
CN205326928U (zh) 一种行车辅助驾驶***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20200831

Address after: Susong Road West and Shenzhen Road North, Hefei Economic and Technological Development Zone, Anhui Province

Patentee after: Weilai (Anhui) Holding Co., Ltd

Address before: Room 502, Bank of America Center, Cecil Harcourt Road, central, Hongkong, China, 12

Patentee before: NIO NEXTEV Ltd.