CN107757479A - 一种基于增强现实显示技术的驾驶辅助***及方法 - Google Patents
一种基于增强现实显示技术的驾驶辅助***及方法 Download PDFInfo
- Publication number
- CN107757479A CN107757479A CN201610704119.6A CN201610704119A CN107757479A CN 107757479 A CN107757479 A CN 107757479A CN 201610704119 A CN201610704119 A CN 201610704119A CN 107757479 A CN107757479 A CN 107757479A
- Authority
- CN
- China
- Prior art keywords
- driver
- target vehicle
- augmented reality
- image
- reality display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
- B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
- B60R2300/205—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using a head-up display
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
- B60R2300/804—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for lane monitoring
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Mechanical Engineering (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Instrument Panels (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明公开了一种基于增强现实显示技术的驾驶辅助***及方法，本方案通过实时识别目标车辆，及其与自车间关系，同时依据驾驶员视角图像，形成依据驾驶员视角进行修正的驾驶辅助信息，再据此渲染形成经过修正的驾驶辅助图像，通过增强现实显示***将修正后的驾驶辅助图像显示在驾驶员视角内。据此构成的驾驶辅助方案，基于驾驶员视角实时修正辅助信息，通过抬头显示技术将辅助信息与真实驾驶环境进行关联，有效解决现有驾驶辅助***在信息提示方面所存在的问题。
Description
技术领域
本发明涉及一种车辆驾驶安全技术，具体涉及汽车驾驶辅助方案。
背景技术
驾驶员感知能力有限，开车过程中若判断决策失误，往往容易造成交通事故，为减少因驾驶员疏忽、失误而产生的交通事故，前向碰撞预警***(FCW)、车道偏离预警***(LDW)等驾驶辅助***应运而生。这些驾驶辅助***在存在危险时通过声光、震动等形式提示驾驶员注意安全，从而避免驾驶员判断决策失误导致交通事故。
但是现有驾驶辅助***仅仅在存在危险时才发出预警，往往会因为突然的报警而造成驾驶员心理紧张，并且报警时刻也无法满足所有驾驶员的驾驶感受，当驾驶员认为报警时刻不合理时，驾驶员常常会关闭***。
另外，绝大部分现有驾驶辅助***的报警信息显示往往只能依赖车载娱乐***显示屏，而车载娱乐***显示屏的位置与驾驶员正常驾驶视线差距较大，驾驶员无法同时观察前方路况和报警信息，若驾驶员观看报警信息，则存在忽略前方路况而导致交通事故的风险。少部分驾驶辅助***使用抬头显示***(HUD)进行报警信息的显示，但是显示的内容仍局限于简单的目标信息和报警信息，对驾驶员驾驶操作的帮助有限，即使提出了增强现实的概念，也未能很好地解决驾驶员视线变化的问题，已有增强现实驾驶辅助***提出的通过车内摄像头识别驾驶员视角的方案因算法效果不佳而并未得到广泛实际应用。
发明内容
针对现有驾驶辅助***在信息提示方面所存在的问题，本发明的目的之一在于提供一种基于增强现实显示技术的驾驶辅助***。
本发明的目的之二在于提供一种基于增强现实显示技术的驾驶辅助方法。
为实现上述目的，本发明采取以下技术方案：
一方面，提供一种基于增强现实显示技术的驾驶辅助***，所述驾驶辅助***包括：
环境感知***，所述环境感知***实时识别相对于自车最危险的目标车辆信息，以及其与自车关系；
眼旁摄像单元，所述眼旁摄像单元实时采集驾驶员视角图像；
综合处理单元，所述综合处理单元根据环境感知***以及眼旁摄像单元提供的信息，形成依据驾驶员视角进行修正的驾驶辅助图像；
增强现实显示***，所述增强现实显示***显示驾驶辅助图像。
优选的，所述环境感知***实时采集前方的车辆信息，并识别前方车辆与自车的距离与相对速度信息。
优选的，所述环境感知***包括摄像模块和图像处理模块，所述摄像模块实时采集自车前方图像；所述图像处理模块从摄像模块采集的图像中识别出目标车辆，并根据初始标定信息计算出目标车辆的距离与相对速度。
优选的，所述图像处理模块中集成有惯性测量单元，根据惯性测量单元测量的车身姿态修正目标车辆的距离与相对速度。
优选的，所述综合处理单元依据环境感知***获取的目标车辆信息及眼旁摄像单元获取的驾驶员视角图像，至少计算出驾驶员视角中抬头显示***显示区域内目标车辆与自车间的间距和最小安全车间距区域的位置，并渲染出驾驶辅助图像发送给增强现实显示***。
优选的，所述综合处理单元依据环境感知***获取的目标车辆距离、相对速度信息计算出最小安全车距；同时采集眼旁摄像单元获取的驾驶员视角图像，结合环境感知***获取的目标车辆原始图像和车内固有特征对采集到的驾驶员视角图像进行分析处理，计算得到驾驶员视角内的抬头显示***显示区域、目标车辆位置、目标车辆距离和最小安全车距，并据此渲染出依据驾驶视角修正后的驾驶辅助图像，将该驾驶辅助图像发送给增强现实显示***。
优选的，所述综合处理单元采集眼旁摄像单元获取的驾驶员视角图像，根据车内固有特征，从驾驶员视角图像中分析出驾驶员视角中增强现实显示***驾驶辅助信息显示区域，并根据环境感知***传输的目标车辆原始图像从驾驶员视角图像中识别出驾驶员视角中的目标车辆位置；综合处理单元基于驾驶员视角中的驾驶辅助信息显示区域和目标车辆位置，计算出驾驶员视角中增强现实显示***驾驶辅助信息显示区域内目标车辆与自车间的间距和最小安全车间距区域的位置。
优选的，所述驾驶辅助图像标记出目标车辆和自车之间的距离区域和最小安全车距所代表的区域。
另一方面，提供一种基于增强现实显示技术的驾驶辅助方法，所述方法实时识别目标车辆，及其与自车间关系，同时依据驾驶员视角图像，形成依据驾驶员视角进行修正的驾驶辅助图像，通过增强现实显示***将修正后的驾驶辅助图像显示在驾驶员视角内。
优选的，所述方法中实时采集前方的车辆信息，从中识别出相对于自车最危险的目标车辆信息，并计算出目标车辆与自车间的距离和相对速度。
优选的，所述方法根据目标车辆的距离及相对速度信息计算出最小安全车间距；同时采集驾驶员视角图像，并结合目标车辆原始图像和车内固有特征对采集到的驾驶员视角图像进行分析处理，计算得到驾驶员视角内的增强现实显示***显示区域、目标车辆位置、目标车辆距离和最小安全车距，并据此渲染出依据驾驶视角修正后的驾驶辅助图像，通过增强现实显示***显示。
优选的，所述方法中在采集到驾驶员视角图像后，根据车内固有特征从驾驶员视角图像中分析出驾驶员视角中强现实显示***的驾驶辅助信息显示区域，并根据目标车辆原始图像从驾驶员视角图像中识别出驾驶员视角中目标车辆的位置；
接着，基于驾驶员视角中驾驶辅助信息显示区域和目标车辆位置，计算出加强现实显示***投影图像中目标车辆和自车之间的间距所覆盖的像素区域及最小安全车间距所覆盖的像素区域，基于这两块区域信息渲染成驾驶辅助图像。
据此构成的驾驶辅助方案，基于驾驶员视角实时修正辅助信息，通过抬头显示技术将辅助信息与真实驾驶环境进行关联，极大的提高辅助信息的实时性、准确性、便捷性、可靠性等，有效解决现有驾驶辅助***在信息提示方面所存在的问题。
再者，本驾驶辅助方案，其还具有以下优点：
1、本发明由于在汽车前部挡风玻璃内侧最上方中间位置设置有环境感知***，通过对摄像头安装的角度和位置进行标定，以及使用惯性测量单元实时测量车身姿态，可以准确地识别道路前方车辆的距离和速度信息，从而实时计算与前车的安全车间距离。
2、本发明由于在方向盘前方、挡风玻璃下方设置有一抬头显示***，可以将驾驶辅助信息投影至驾驶员正常驾驶视线前方，可以避免驾驶员观察驾驶辅助信息过程中的视角切换。
3、本发明由于在驾驶员头部佩戴有一眼旁摄像单元，能够实时采集驾驶员视角的图像，获取驾驶员视线内的驾驶辅助信息显示区域及驾驶员的观察视角，以所见即所得的方式实时修正抬头显示***中驾驶辅助信息的显示位置，以解决投影图像与真实目标之间的匹配问题。
4、本发明由于在车内顶部设置有一综合处理单元，能够根据单目视觉***获取的前方车辆和自车的位置、速度关系和驾驶员眼旁摄像头获取的驾驶员视角图像计算出抬头显示***中前车距离及安全车间距标识应覆盖的区域。
此外，本发明中环境感知***可以为单目视觉***，也可替换或额外增加其他环境感知***，从而大大增加本发明的可扩展性，环境感知***识别的也不仅限于前方车辆信息，也可包括路面标线、行人、信号灯、标志牌等信息，从而丰富驾驶辅助信息的内容。
附图说明
以下结合附图和具体实施方式来进一步说明本发明。
图1是本发明实例中驾驶辅助***的结构原理图；
图2是本发明实例中驾驶辅助***信息处理流程图；
图3是本发明实例中增强现实显示效果图。
图中标号说明：
图1中，1是拍摄道路前方情况的单目视觉***，11为前向CCD摄像机，12为图像处理单元(内部集成有惯性测量单元)，2是综合处理单元，21是数据输入接口，22是数据运算单元，23是图像输出接口，3是驾驶员头部眼旁摄像头，4是抬头显示***。
图3中，前车和自车引擎盖之间标记的区域为两车间距和安全车距，挡风玻璃左上方的Spd为自车当前车速，前方车辆上方Spd为目标车辆车速，Dis为目标车辆和自车的距离。
具体实施方式
为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体图示，进一步阐述本发明。
本发明提供的驾驶辅助方案通过实时识别目标车辆，及其与自车间关系，同时依据驾驶员视角图像，形成依据驾驶员视角进行修正的驾驶辅助信息，再据此渲染形成经过修正的驾驶辅助图像，通过增强现实显示***将修正后的驾驶辅助图像显示在驾驶员视角内。
基于该原理，本发明方案提供一种驾驶辅助***，该驾驶辅助***主要由环境感知***、眼旁摄像单元、综合处理单元以及增强现实显示***配合构成。
其中，本***中的环境感知***设置在车辆上，用于实时识别相对于自车最危险的目标车辆信息，以及其与自车关系。
这里的环境感知***优选单目视觉***，其实时采集道路前方的车辆信息，识别相对于自车最危险的目标车辆信息，并计算目标车辆距离与相对速度信息，并将采集的目标车辆原始彩色图像及目标距离、相对速度信息发送到综合处理单元中。
再者，环境感知***除了单目视觉***外，也可替换或额外增加其他环境感知***，从而大大增加本发明的可扩展性，单目视觉***识别的也不仅限于前方车辆信息，也可包括路面标线、行人、信号灯、标志牌等信息，从而丰富驾驶辅助信息的内容。
本***中的眼旁摄像单元佩戴在驾驶员头部，用于实时采集驾驶员视角图像。
这里的眼旁摄像单元优选眼旁摄像头，其佩戴在驾驶员头部时，正好位于驾驶员眼睛旁边。驾驶员眼旁摄像头将采集到的彩色图像发送给综合处理单元进行驾驶员视角图像分析以修正驾驶辅助图像的位置。
本***中的综合处理单元依据前方目标车辆信息(如目标车辆图像、目标车辆距离、相对速度信息等)及驾驶员眼旁摄像头图像信息，计算出驾驶员视角中增强现实显示***显示区域内跟车间距区域和最小安全车间距区域的位置并渲染出驾驶辅助图像发送给增强现实显示***。
这里的综合处理单元安置在车辆内，其依据目标车辆距离、相对速度信息计算出最小安全车距；同时采集驾驶员眼旁摄像头获取到的驾驶员视角图像，结合目标车辆原始彩色图像和车内固有特征对该图像进行分析处理，计算得到驾驶员视角内的增强现实显示***显示区域及目标车辆位置；综合驾驶员视角内抬头显示***显示区域、目标车辆位置、目标车辆距离和最小安全车距等信息，渲染出依据驾驶视角修正后的驾驶辅助图像，将该图像发送给增强现实显示***投影显示。
本***中的增强现实显示***优选为设置在方向盘前方、挡风玻璃下方的抬头显示***，通过投影显示的方式将将驾驶辅助信息投影至驾驶员正常驾驶视线前方，可以避免驾驶员观察驾驶辅助信息过程中的视角切换。
针对上述的驾驶辅助方案，以下通过一具体应用实例来进一步的说明。
参见图1，其所示为本实例中的驾驶辅助***的原理图。由图可知，本***主要包括设置在汽车前部挡风玻璃内侧上方中间位置的单目视觉***1，设置在车内顶部的综合处理单元2，眼旁摄像头3以及设置在汽车方向盘前方、挡风玻璃下方的抬头显示***4。
本实施例中，单目视觉***1具***于汽车前部挡风玻璃内侧上方中间位置，内部包含一CCD摄像机11及一图像处理单元12，CCD摄像机分辨率为1280x960，图像处理单元12通过机器学习等方法识别CCD摄像机11获取的图像中的车辆，并找出最危险的车辆计算其与自车的距离和相对速度。图像处理单元12内部集成有惯性测量单元，可以实时测算车身姿态从而修正目标车辆距离和相对速度，图像处理结果及目标车辆原始图像通过网口输出。单目视觉***在安装时需要对其在车辆中的位置进行初始化标定。
本实施例中，驾驶员头部眼旁摄像头3通过眼镜的方式固定在驾驶员头部，摄像头采集图像分辨率为1280x960，通过USB接口从综合处理单元2取电和将图像传输给综合处理单元。根据需要也可采用其它方式与综合处理单元2配合。
本实施例中，综合处理单元2安装于驾驶员头部上方车顶内部，通过车辆OBD接口或点烟器供电，数据输入接口21为网口，数据输出接口23为HDMI接口。
本实施例中，抬头显示***4具***于方向盘前方、挡风玻璃下方，在接收到驾驶辅助图像后，将其投影至驾驶员前方挡风玻璃上。
参见图2，据此构成的驾驶辅助***在运行时，单目视觉***1实时采集道路前方车辆信息并识别前方车辆与自车的距离与相对速度，最终将识别出的目标车辆原始图像及其距离、相对速度信息通过数据线发送到设置在车内顶部的综合处理单元2中。
综合处理单元2根据目标车辆的距离及相对速度信息计算出最小安全车间距，与此同时，综合处理单元2通过数据线接收驾驶员头部眼旁摄像头3采集的彩色图像(即驾驶员视角图像)，根据车内一些固有特征(如方向盘、仪表盘、挡风玻璃下边界等)从该彩色图像(即驾驶员视角图像)中分析出驾驶员视角中设置在汽车方向盘前方、挡风玻璃下方的抬头显示***4驾驶辅助信息显示区域，并根据单目视觉***传输的目标车辆原始图像从驾驶员眼旁摄像头3的原始图像中识别出驾驶员视角中目标车辆的位置。
在此基础上，综合处理单元2基于驾驶员视角中驾驶辅助信息显示区域和目标车辆位置，计算出抬头显示***4投影图像中目标车辆和自车之间的间距所覆盖的像素区域及最小安全车间距所覆盖的像素区域。
最后，综合处理单元2将这两块区域信息及其他附加信息(非必要)渲染成驾驶辅助图像通过数据线发送给抬头显示***4，抬头显示***4将收到驾驶辅助图像投影到车辆挡风玻璃上显示出来呈现给驾驶员，从而辅助驾驶员进行安全驾驶。
参见图3，本实例中的抬头显示***4通过内部的光学***进行图像放大和光程延长，可在驾驶员前方一定距离处形成一个与车辆行驶方向垂直的虚像，即驾驶辅助图像。该驾驶辅助图像会标记出目标车辆和自车之间的距离区域和最小安全车距所代表的区域，以辅助驾驶员时刻保持安全跟车间距。
本实施例在具体实现中，假设单目视觉***1输出的目标车辆原始图像为矩形图像img0，驾驶员眼旁摄像头采集的图像为img1，以img0为模板，可以在img1中寻找与img0最为匹配的区域，匹配区域在img1中四个角点A、B、C、D像素坐标为(xA，yA)、(xB，yB)、(xC，yC)和(xD，yD)。
在此基础上，综合处理单元从img1中识别出至少4个固有特征点M、N、P、Q(M、N、P、Q在整车坐标系下的坐标已知)，其在img1中像素坐标分别为(xM，yM)、(xN，yN)、(xP，yP)和(xQ，yQ),则据此可计算眼旁摄像头坐标系与整车坐标系的坐标系变换关系,从而可计算抬头显示***驾驶辅助信息显示区域在img1中四个角点E、F、G、H的像素坐标，设为(xE，yE)、(xF，yF)、(xG，yG)和(xH，yH)。
假设A、B、C、D四个角点在抬头显示***投影图像img2中的坐标是为a、b、c、d,img2的像素宽度为w,像素高度为h,则a点的像素坐标满足的关系为：
b、c、d三点的坐标可用类似上式的方式求得。
根据上述公式即可确认目标车辆和自车之间的间距所覆盖的像素区域及最小安全车间距所覆盖的像素区域。
由上述实例可知，本发明提供的方案可广泛应用于各类驾驶辅助***的辅助信息增强显示显示。
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。
Claims (12)
1.一种基于增强现实显示技术的驾驶辅助***，其特征在于，所述驾驶辅助***包括：
环境感知***，所述环境感知***实时识别相对于自车最危险的目标车辆信息，以及其与自车关系；
眼旁摄像单元，所述眼旁摄像单元实时采集驾驶员视角图像；
综合处理单元，所述综合处理单元根据环境感知***以及眼旁摄像单元提供的信息，形成依据驾驶员视角进行修正的驾驶辅助图像；
增强现实显示***，所述增强现实显示***显示驾驶辅助图像。
2.根据权利要求1所述的一种基于增强现实显示技术的驾驶辅助***，其特征在于，所述环境感知***实时采集前方的车辆信息，并识别前方车辆与自车的距离与相对速度信息。
3.根据权利要求1或2所述的一种基于增强现实显示技术的驾驶辅助***，其特征在于，所述环境感知***包括摄像模块和图像处理模块，所述摄像模块实时采集自车前方图像；所述图像处理模块从摄像模块采集的图像中识别出目标车辆，并根据初始标定信息计算出目标车辆的距离与相对速度。
4.根据权利要求3所述的一种基于增强现实显示技术的驾驶辅助***，其特征在于，所述图像处理模块中集成有惯性测量单元，根据惯性测量单元测量的车身姿态修正目标车辆的距离与相对速度。
5.根据权利要求1所述的一种基于增强现实显示技术的驾驶辅助***，其特征在于，所述综合处理单元依据环境感知***获取的目标车辆信息及眼旁摄像单元获取的驾驶员视角图像，至少计算出驾驶员视角中抬头显示***显示区域内目标车辆与自车间的间距和最小安全车间距区域的位置，并渲染出驾驶辅助图像发送给增强现实显示***。
6.根据权利要求5所述的一种基于增强现实显示技术的驾驶辅助***，其特征在于，所述综合处理单元依据环境感知***获取的目标车辆距离、相对速度信息计算出最小安全车距；同时采集眼旁摄像单元获取的驾驶员视角图像，结合环境感知***获取的目标车辆原始图像和车内固有特征对采集到的驾驶员视角图像进行分析处理，计算得到驾驶员视角内的抬头显示***显示区域、目标车辆位置、目标车辆距离和最小安全车距，并据此渲染出依据驾驶视角修正后的驾驶辅助图像，将该驾驶辅助图像发送给增强现实显示***。
7.根据权利要求5或6所述的一种基于增强现实显示技术的驾驶辅助***，其特征在于，所述综合处理单元采集眼旁摄像单元获取的驾驶员视角图像，根据车内固有特征，从驾驶员视角图像中分析出驾驶员视角中增强现实显示***驾驶辅助信息显示区域，并根据环境感知***传输的目标车辆原始图像从驾驶员视角图像中识别出驾驶员视角中的目标车辆位置；综合处理单元基于驾驶员视角中的驾驶辅助信息显示区域和目标车辆位置，计算出驾驶员视角中增强现实显示***驾驶辅助信息显示区域内目标车辆与自车间的间距和最小安全车间距区域的位置。
8.根据权利要求1所述的一种基于增强现实显示技术的驾驶辅助***，其特征在于，所述驾驶辅助图像标记出目标车辆和自车之间的距离区域和最小安全车距所代表的区域。
9.一种基于增强现实显示技术的驾驶辅助方法，其特征在于，所述方法实时识别目标车辆，及其与自车间关系，同时依据驾驶员视角图像，形成依据驾驶员视角进行修正的驾驶辅助图像，通过增强现实显示***将修正后的驾驶辅助图像显示在驾驶员视角内。
10.根据权利要求9所述的一种基于增强现实显示技术的驾驶辅助方法，其特征在于，所述方法中实时采集前方的车辆信息，从中识别出相对于自车最危险的目标车辆信息，并计算出目标车辆与自车间的距离和相对速度。
11.根据权利要求9所述的一种基于增强现实显示技术的驾驶辅助方法，其特征在于，所述方法根据目标车辆的距离及相对速度信息计算出最小安全车间距；同时采集驾驶员视角图像，并结合目标车辆原始图像和车内固有特征对采集到的驾驶员视角图像进行分析处理，计算得到驾驶员视角内的增强现实显示***显示区域、目标车辆位置、目标车辆距离和最小安全车距，并据此渲染出依据驾驶视角修正后的驾驶辅助图像，通过增强现实显示***显示。
12.根据权利要求11所述的一种基于增强现实显示技术的驾驶辅助方法，其特征在于所述方法中在采集到驾驶员视角图像后，根据车内固有特征从驾驶员视角图像中分析出驾驶员视角中强现实显示***的驾驶辅助信息显示区域，并根据目标车辆原始图像从驾驶员视角图像中识别出驾驶员视角中目标车辆的位置；
接着，基于驾驶员视角中驾驶辅助信息显示区域和目标车辆位置，计算出加强现实显示***投影图像中目标车辆和自车之间的间距所覆盖的像素区域及最小安全车间距所覆盖的像素区域，基于这两块区域信息渲染成驾驶辅助图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610704119.6A CN107757479A (zh) | 2016-08-22 | 2016-08-22 | 一种基于增强现实显示技术的驾驶辅助***及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610704119.6A CN107757479A (zh) | 2016-08-22 | 2016-08-22 | 一种基于增强现实显示技术的驾驶辅助***及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107757479A true CN107757479A (zh) | 2018-03-06 |
Family
ID=61264636
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610704119.6A Pending CN107757479A (zh) | 2016-08-22 | 2016-08-22 | 一种基于增强现实显示技术的驾驶辅助***及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107757479A (zh) |
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108482247A (zh) * | 2018-03-27 | 2018-09-04 | 京东方科技集团股份有限公司 | 一种车辆及其辅助驾驶***和辅助驾驶方法 |
| CN108648488A (zh) * | 2018-05-04 | 2018-10-12 | 姜鹏飞 | 一种扩大驾驶员视野范围的方法及*** |
| CN108765490A (zh) * | 2018-04-04 | 2018-11-06 | 科大讯飞股份有限公司 | 全景图的视野调整方法及装置、存储介质、电子设备 |
| CN109353279A (zh) * | 2018-12-06 | 2019-02-19 | 延锋伟世通电子科技（上海）有限公司 | 一种增强现实车载抬头显示*** |
| CN109649275A (zh) * | 2018-11-29 | 2019-04-19 | 福瑞泰克智能***有限公司 | 一种基于增强现实的驾驶辅助***及方法 |
| CN109668575A (zh) * | 2019-01-29 | 2019-04-23 | 苏州车萝卜汽车电子科技有限公司 | 用于增强现实抬头显示装置的导航信息处理方法及装置、设备、*** |
| CN110293977A (zh) * | 2019-07-03 | 2019-10-01 | 北京百度网讯科技有限公司 | 用于显示增强现实警示信息的方法和装置 |
| CN110316067A (zh) * | 2018-03-30 | 2019-10-11 | 深圳市掌网科技股份有限公司 | 一种车辆辅助驾驶***和方法 |
| CN110316065A (zh) * | 2018-03-30 | 2019-10-11 | 深圳市掌网科技股份有限公司 | 一种车用辅助显示***及方法 |
| CN110674733A (zh) * | 2019-09-23 | 2020-01-10 | 厦门金龙联合汽车工业有限公司 | 多目标检测识别方法和辅助驾驶方法、*** |
| CN110895417A (zh) * | 2018-09-12 | 2020-03-20 | 本田技研工业株式会社 | 车辆控制装置、车辆控制方法及存储介质 |
| CN111717028A (zh) * | 2020-06-29 | 2020-09-29 | 深圳市元征科技股份有限公司 | 一种ar***控制方法及相关装置 |
| CN112433619A (zh) * | 2021-01-27 | 2021-03-02 | 国汽智控(北京)科技有限公司 | 汽车的人机交互方法、***、电子设备及计算机存储介质 |
| US11037382B2 (en) * | 2018-11-20 | 2021-06-15 | Ford Global Technologies, Llc | System and method for evaluating operation of environmental sensing systems of vehicles |
| CN113815534A (zh) * | 2021-11-05 | 2021-12-21 | 吉林大学重庆研究院 | 基于应对人眼的位置变化而对图形进行动态处理的方法 |
| CN113928224A (zh) * | 2021-11-26 | 2022-01-14 | 北京经纬恒润科技股份有限公司 | 基于hud和像素大灯的辅助驾驶*** |
| CN114503008A (zh) * | 2019-09-27 | 2022-05-13 | 米兰综合工科大学 | 车辆驾驶辅助的方法和*** |
| CN115447379A (zh) * | 2022-09-06 | 2022-12-09 | 重庆长安汽车股份有限公司 | 车辆显示处理方法、装置、显示设备、车辆及存储介质 |
| CN117162777A (zh) * | 2023-11-03 | 2023-12-05 | 西安信飞特信息科技有限公司 | 内容呈现方法、装置、设备及存储介质 |
-
2016
- 2016-08-22 CN CN201610704119.6A patent/CN107757479A/zh active Pending
Cited By (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108482247A (zh) * | 2018-03-27 | 2018-09-04 | 京东方科技集团股份有限公司 | 一种车辆及其辅助驾驶***和辅助驾驶方法 |
| US10906465B2 (en) | 2018-03-27 | 2021-02-02 | Boe Technology Group Co., Ltd. | Vehicle, driving assistance system, and driving assistance method thereof |
| CN110316067A (zh) * | 2018-03-30 | 2019-10-11 | 深圳市掌网科技股份有限公司 | 一种车辆辅助驾驶***和方法 |
| CN110316065A (zh) * | 2018-03-30 | 2019-10-11 | 深圳市掌网科技股份有限公司 | 一种车用辅助显示***及方法 |
| CN110316065B (zh) * | 2018-03-30 | 2022-12-27 | 深圳市掌网科技股份有限公司 | 一种车用辅助显示***及方法 |
| CN108765490A (zh) * | 2018-04-04 | 2018-11-06 | 科大讯飞股份有限公司 | 全景图的视野调整方法及装置、存储介质、电子设备 |
| WO2019192145A1 (zh) * | 2018-04-04 | 2019-10-10 | 科大讯飞股份有限公司 | 全景图的视野调整方法及装置、存储介质、电子设备 |
| CN108648488A (zh) * | 2018-05-04 | 2018-10-12 | 姜鹏飞 | 一种扩大驾驶员视野范围的方法及*** |
| CN110895417A (zh) * | 2018-09-12 | 2020-03-20 | 本田技研工业株式会社 | 车辆控制装置、车辆控制方法及存储介质 |
| US11037382B2 (en) * | 2018-11-20 | 2021-06-15 | Ford Global Technologies, Llc | System and method for evaluating operation of environmental sensing systems of vehicles |
| CN109649275A (zh) * | 2018-11-29 | 2019-04-19 | 福瑞泰克智能***有限公司 | 一种基于增强现实的驾驶辅助***及方法 |
| CN109353279A (zh) * | 2018-12-06 | 2019-02-19 | 延锋伟世通电子科技（上海）有限公司 | 一种增强现实车载抬头显示*** |
| CN109668575A (zh) * | 2019-01-29 | 2019-04-23 | 苏州车萝卜汽车电子科技有限公司 | 用于增强现实抬头显示装置的导航信息处理方法及装置、设备、*** |
| CN110293977A (zh) * | 2019-07-03 | 2019-10-01 | 北京百度网讯科技有限公司 | 用于显示增强现实警示信息的方法和装置 |
| CN113386785A (zh) * | 2019-07-03 | 2021-09-14 | 北京百度网讯科技有限公司 | 用于显示增强现实警示信息的方法和装置 |
| CN110674733A (zh) * | 2019-09-23 | 2020-01-10 | 厦门金龙联合汽车工业有限公司 | 多目标检测识别方法和辅助驾驶方法、*** |
| CN114503008A (zh) * | 2019-09-27 | 2022-05-13 | 米兰综合工科大学 | 车辆驾驶辅助的方法和*** |
| CN111717028A (zh) * | 2020-06-29 | 2020-09-29 | 深圳市元征科技股份有限公司 | 一种ar***控制方法及相关装置 |
| CN112433619A (zh) * | 2021-01-27 | 2021-03-02 | 国汽智控(北京)科技有限公司 | 汽车的人机交互方法、***、电子设备及计算机存储介质 |
| CN113815534A (zh) * | 2021-11-05 | 2021-12-21 | 吉林大学重庆研究院 | 基于应对人眼的位置变化而对图形进行动态处理的方法 |
| CN113928224A (zh) * | 2021-11-26 | 2022-01-14 | 北京经纬恒润科技股份有限公司 | 基于hud和像素大灯的辅助驾驶*** |
| CN113928224B (zh) * | 2021-11-26 | 2024-01-30 | 北京经纬恒润科技股份有限公司 | 基于hud和像素大灯的辅助驾驶*** |
| CN115447379A (zh) * | 2022-09-06 | 2022-12-09 | 重庆长安汽车股份有限公司 | 车辆显示处理方法、装置、显示设备、车辆及存储介质 |
| CN117162777A (zh) * | 2023-11-03 | 2023-12-05 | 西安信飞特信息科技有限公司 | 内容呈现方法、装置、设备及存储介质 |
| CN117162777B (zh) * | 2023-11-03 | 2024-02-20 | 西安信飞特信息科技有限公司 | 内容呈现方法、装置、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107757479A (zh) | 一种基于增强现实显示技术的驾驶辅助***及方法 | |
| US9723243B2 (en) | User interface method for terminal for vehicle and apparatus thereof | |
| DE102013110332B4 (de) | Visuelles leitsystem | |
| JP5316713B2 (ja) | 車線逸脱防止支援装置、車線逸脱防止方法、記憶媒体 | |
| US8536995B2 (en) | Information display apparatus and information display method | |
| CN104115198B (zh) | 车辆合流辅助***和方法 | |
| US20120123613A1 (en) | Driving support device, driving support method, and program | |
| JP6307895B2 (ja) | 車両用周辺監視装置 | |
| JP6379779B2 (ja) | 車両用表示装置 | |
| US10488658B2 (en) | Dynamic information system capable of providing reference information according to driving scenarios in real time | |
| WO2015163205A1 (ja) | 車両用表示システム | |
| US10866416B2 (en) | Display control device and display control method | |
| CN109050405A (zh) | 一种多功能增强现实抬头显示***及方法 | |
| KR101976106B1 (ko) | 정보제공을 위한 차량용 통합 헤드업디스플레이장치 | |
| JP2008222153A (ja) | 合流支援装置 | |
| JP2006338594A (ja) | 歩行者認識装置 | |
| JP2009226978A (ja) | 車両用周囲監視装置 | |
| JP2012247847A (ja) | 車両用情報伝達制御装置、及び、情報伝達制御方法 | |
| JP2008285105A (ja) | 情報表示装置 | |
| JP4986070B2 (ja) | 車両用周囲監視装置 | |
| JP5723561B2 (ja) | 運転支援装置 | |
| JP5251673B2 (ja) | 車両用表示装置 | |
| JP4715604B2 (ja) | 周辺画像表示装置 | |
| JP6956473B2 (ja) | わき見状態判定装置 | |
| JP4986069B2 (ja) | 車両用周囲監視装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20180306 |