CN109636924A - 基于现实路况信息三维建模的车载多模式增强现实*** - Google Patents

基于现实路况信息三维建模的车载多模式增强现实*** Download PDF

Info

Publication number
CN109636924A
CN109636924A CN201811618444.6A CN201811618444A CN109636924A CN 109636924 A CN109636924 A CN 109636924A CN 201811618444 A CN201811618444 A CN 201811618444A CN 109636924 A CN109636924 A CN 109636924A
Authority
CN
China
Prior art keywords
barrier
vehicle
dimensional
real
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811618444.6A
Other languages
English (en)
Other versions
CN109636924B (zh
Inventor
马芳武
单子桐
仲首任
吴量
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jilin University
Original Assignee
Jilin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jilin University filed Critical Jilin University
Priority to CN201811618444.6A priority Critical patent/CN109636924B/zh
Publication of CN109636924A publication Critical patent/CN109636924A/zh
Application granted granted Critical
Publication of CN109636924B publication Critical patent/CN109636924B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/0104Measuring and analyzing of parameters relative to traffic conditions
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/04Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/052Detecting movement of traffic to be counted or controlled with provision for determining speed or overspeed

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Geometry (AREA)
  • Processing Or Creating Images (AREA)
  • Traffic Control Systems (AREA)

Abstract

一种基于现实路况信息三维建模的车载多模式增强现实***,包括实时路况信息采集单元、周围环境建模单元、虚拟现实模拟单元、安全提示单元和紧急处理单元;实时路况信息采集单元用于采集路况信息,周围环境建模单元用于根据路况信息,完成周围环境的三维建模以及对不同障碍物的识别与分类,并将分类完的不同障碍物进行主题替换;虚拟现实模拟单元用于生成虚拟三维环境的二维图像,并进行显示;安全提示单元用于根据当前路况信息判断当前路段是否可以切换到虚拟主题娱乐模式;紧急处理单元判断是否需要紧急制动。与需要佩戴的虚拟现实设备相比,本发明具备更全套的虚拟现实模拟***,舒适性更强,而且可以实时转换到现实路况下,安全性更高。

Description

基于现实路况信息三维建模的车载多模式增强现实***
技术领域
本发明涉及虚拟现实设备技术领域,更为具体地,涉及一种基于现实路况信息三维建模的车载多模式增强现实***。
背景技术
申请号为201010107280.8的发明专利,公开了一种基于车载摄像机的虚拟现实体验***,包括车载摄像机、图像处理计算机以及汽车仿真设备,的车载摄像机、图像处理计算机以及汽车仿真设备依次连接。该发明虽然有车载摄像头与图像处理***,但是该发明是应用于驾驶模拟器上的,而且并不能进行实时的信息采集。
申请号为201710067599.4的发明专利,公开了一种虚拟现实模拟驾驶装置,该发明要解决的技术问题是提供一种结构简单、真实感强、趣味性高的虚拟现实模拟驾驶装置。该发明提供了包括有圆形滑轨、滑块、安装板、旋转电机、滑轨、座椅、固定板、虚拟现实头盔等结构的驾驶装置。该发明主要是机械结构方面的设计,并未对虚拟现实方面有过多的描述。
申请号为201720326404.9的实用新型专利,公开了一种车载虚拟驾驶装置,包括座椅、驾驶台、刹车踏板和加速踏板等。通过VR眼罩观测驾驶过程中的路径,进而可以通过刹车踏板和加速踏板进行调节驾驶过程中的行驶速度,使用者可以通过转动方向盘,使得驾驶过程中的方向可以被快速调节。该专利也是主要集中于结构的布置,并没有太多虚拟现实方面的描述。
申请号为201610127118.X的发明专利,公开了一种虚拟现实娱乐驾驶的实现方法、装置及***
该发明实施例公开了一种虚拟现实娱乐驾驶的实现方法、装置及***,通过实时采集驾驶载体的实际位置,从而根据实际位置以及驾驶载体之间的相对位置,生成相应的多用户互动的虚拟现实驾驶场景。该发明只是一种驾驶模拟器,并没有实时路况采集并实现车载的功能。基于图像处理实现增强现实驾驶场景切换***的方案,只能进行简单的图像替换,场景的灵活性受到限制,乘客和驾驶员在使用***时的沉浸感不足。
综上,目前还没有真正用于行驶过程中车上的虚拟现实技术,某些带有VR眼镜的发明大大降低了行驶时的安全性与驾驶员的舒适度。
发明内容
鉴于上述问题,本发明的目的是提供一种基于现实路况信息三维建模的车载多模式增强现实***,以解决上述背景技术所指出的问题。
本发明提供的基于现实路况信息三维建模的车载多模式增强现实***,包括:实时路况信息采集单元、周围环境建模单元、虚拟现实模拟单元、安全提示单元和紧急处理单元;其中,安全提示单元包括评估模块和操作台,操控台用于通过人机交互界面进行虚拟主题娱乐模式的切换,并且显示实际的实时路况信息;评估模块用于根据当前路况信息判断当前路段是否可以切换到虚拟主题娱乐模式,如果可以切换到虚拟主题娱乐模式,则向周围环境建模单元与紧急处理单元发送模拟开启信号;紧急处理单元包括环绕布置于车身周围的超声波雷达、安装于车身上的车速传感器和制动信号发送模块,车速传感器用于检测车体的当前车速,超声波雷达用于检测障碍物与车体之间的距离,制动信号发送模块用于在障碍物与车体之间的距离小于该当前车速下的安全距离时,向制动***的执行器发送制动信号;实时路况信息采集单元包括实时路况采集摄像头、激光雷达、交通信号识别摄像头、车道线识别摄像头和驾驶员视觉定位双目摄像头;其中,实时路况采集摄像头布置在车身的前、后方及两侧,用于采集车辆周围环境的RGB图像;激光雷达安装在车身顶部,用于实时采集车辆周围环境的点云信息;交通信号识别摄像头安装在车身顶部,用于捕捉与识别交通信号灯;车道线识别摄像头安装在车身的前侧与两侧,用于识别车道线;驾驶员视觉定位双目摄像头安装于驾驶员的前上方,用于通过识别驾驶员的眼睛,基于自身位置坐标进行坐标转换,得到本车坐标系下驾驶员眼部的位置坐标;周围环境建模单元包括三维实景模型构建模块、障碍物提取分辨模块、静态障碍物更换模块和动态障碍物更换模块;其中,三维实景模型构建模块用于根据激光雷达采集到的周围环境的点云信息,以激光雷达为中心,建立无色彩信息的三维实景模型;障碍物提取分辨模块用于从实时路况采集摄像头所捕捉到的RGB图像中提取障碍物,根据障碍物分类识别算法将对障碍物进行分类和定位,障碍物分为静态障碍物和动态障碍物两类;其中,静态障碍物的信息用一个数组进行表示Odynamic 1、Odynamic 2、…、Odynamic k(xk,yk,mk,vxk,vyk)、…、Odynamic n,xk为编号为k的静态障碍物在本车坐标系下的x坐标;yk为编号为k的静态障碍物在本车坐标系下的y坐标;mk为编号为k的静态障碍物的类型;sk为静态障碍物的尺寸参数,不同mk的障碍物取不同的特征尺寸作为其尺寸参数;nstaitc为静态障碍物的总数;动态障碍物的信息用一个数组进行表示Odynamic 1、Odynamic 2、…、Odynamic k(xk,yk,mk,vxk,vyk)、…、Odynamic n,xk为编号为k的动态障碍物在本车坐标系下的x坐标;yk为编号为k的动态障碍物在本车坐标系下的y坐标;mk为编号为k的动态障碍物的类型;sk为动态障碍物的尺寸参数,不同mk的障碍物取不同的特征尺寸为其尺寸参数;vxk为速度矢量在x方向的分量;vyk为速度矢量在y方向的分量;静态障碍物更换模块用于根据三维图像引擎生成三维虚拟环境E,虚拟环境E以本车坐标系坐标原点为中心进行静态障碍物替换,根据静态障碍物序号从1至nstaitc进行依次替换,在替换的过程中,根据静态障碍物的类型mk,在对应的静态障碍物模型库中随机选取三维模型Ck,根据检测到的障碍物的尺寸参数sk将三维模型Ck拉伸倍,再将三维模型Ck放置于虚拟环境E本车坐标系中对应的位置处;动态障碍物更换模块用于根据三维图像引擎生成三维虚拟环境E,虚拟环境E以本车坐标系坐标原点为中心进行动态障碍物替换,根据动态障碍物序号从1至nstaitc进行依次替换,在替换的过程中,根据动态障碍物的类型mk,在对应的动态障碍物模型库随机选取三维模型Ck,根据检测到的障碍物的尺寸参数sk将三维模型Ck拉伸倍,再将三维模型Ck放置于虚拟环境E本车坐标系对应的位置处,并根据速度矢量(vxk,vyk)调整三维模型Ck的方向,以及根据速度矢量(vxk,vyk)播放运动动画;虚拟现实模拟单元包括三块透明oled显示屏、可视窗口相机、视线偏角获取模块、二维图像生成模块和二维图像发送模块;其中,三块透明oled显示屏分别贴在车内的前挡风玻璃、驾驶侧玻璃和副驾驶侧玻璃上,前挡风玻璃、驾驶侧玻璃和副驾驶侧玻璃在本车坐标系下的中心位置坐标分别为W1、W2、W3;可视窗口相机安置于驾驶员视觉定位双目摄像头所得到的本车坐标系下驾驶员眼部的位置坐标H处;视线偏角获取模块用于根据驾驶员视觉定位双目摄像头采集的驾驶员眼部的位置坐标H与W1、W2、W3,可以得到三块透明oled显示屏上的显示图像在三维图像引擎中本车坐标系下的视线偏角θ1、θ2、θ3;二维图像生成模块用于驾驶员眼部的位置坐标H以及三块透明oled显示屏对应的视线偏角θ1、θ2、θ3在三维图像引擎的虚拟环境E中生成第一分割图像、第二分割图像、第三分割图像;二维图像发送模块用于将第一分割图像、第二分割图像、第三分割图像分别发送给对应的透明oled显示屏进行显示。
与现有技术相比,本发明可以领驾驶员在正常行驶途中体验在不同场景中驾驶的感受,驾驶感受模拟逼真,为驾驶过程增加了乐趣,提高了驾驶员驾驶过程中注意力集中程度。与需要佩戴的虚拟现实设备相比,具备更全套的虚拟现实模拟***,舒适性更强,而且可以实时转换到现实路况下,安全性更高。具备安全提示及紧急处理***,进一步提高了娱乐***的安全性。
附图说明
通过参考以下结合附图的说明,并且随着对本发明的更全面理解,本发明的其它目的及结果将更加明白及易于理解。在附图中:
图1为根据本发明实施例的基于现实路况信息三维建模的车载多模式增强现实***的逻辑结构示意图;
图2为根据本发明实施例的基于现实路况信息三维建模的车载多模式增强现实***的处理流程图。
其中的附图标记包括:实时路况信息采集单元1、周围环境建模单元2、虚拟现实模拟单元3、安全提示单元4、紧急处理单元5。
具体实施方式
在下面的描述中,出于说明的目的,为了提供对一个或多个实施例的全面理解,阐述了许多具体细节。然而,很明显,也可以在没有这些具体细节的情况下实现这些实施例。在其它例子中,为了便于描述一个或多个实施例,公知的结构和设备以方框图的形式示出。
图1示出了根据本发明实施例的基于现实路况信息三维建模的车载多模式增强现实***的逻辑结构。
如图1所示,本发明提供的基于现实路况信息三维建模的车载多模式增强现实***,包括:实时路况信息采集单元1、周围环境建模单元2、虚拟现实模拟单元3、安全提示单元4和紧急处理单元5;其中,实时路况信息采集单元1用于实时采集路况信息,周围环境建模单元2用于根据实时路况信息采集单元1采集的路况信息,完成周围环境的三维建模以及对不同障碍物的识别与分类,并将分类完的不同障碍物进行相应的处理与主题替换;虚拟现实模拟单元3用于生成虚拟三维环境的二维图像,并进行显示;安全提示单元4用于根据当前路况信息判断当前路段是否可以切换到虚拟主题娱乐模式,在可以切换到虚拟主题娱乐模式时,向周围环境建模单元2和紧急处理单元5发送模拟开启信号,紧急处理单元5根据判断当前车速与距离障碍物之间的距离判断是否需要紧急制动,在需要紧急制动时,向制动***的执行器发送制动信号,如不需要紧急制动,则周围环境建模单元2工作。
如图1和图2共同所示,安全提示单元4包括评估模块和操作台,操控台用于通过人机交互界面进行虚拟主题娱乐模式的切换,并且显示实际的实时路况信息,此时驾驶员可以通过操控台上的画面看到实时的路况信息,大大增加了虚拟现实过程中的安全性;评估模块用于根据当前路况信息判断当前路段是否可以切换到虚拟主题娱乐模式,如果可以切换到虚拟主题娱乐模式,则向周围环境建模单元与紧急处理单元发送模拟开启信号;评估模块的判断方式为划定可开启该***的区域B,设置安全评估函数S=1/(Dmin+ksna),其中Dmin为所有动态障碍物距离本车坐标原点的最近距离,n为检测到的动态障碍物个数,ks为系数,a为衰减因子(0<a<1),并设置安全阈值S1、S2。当安全评估得分S≥S1时为适合模式,且GPS定位本车位于可开启该***的区域B中,认为可以安全地开启增强现实功能;当安全评估得分S2≤S≤S1时为可以模式,且GPS定位本车位于可开启该***的区域B中,认为可以开启增强现实功能;当安全评估得分S≤S2时为不建议模式,认为不可以开启增强现实功能。
紧急处理单元5包括环绕布置于车身周围的超声波雷达、安装于车身上的车速传感器和制动信号发送模块,车速传感器用于检测车体的当前车速,超声波雷达用于检测障碍物与车体之间的距离,制动信号发送模块用于在障碍物与车体之间的距离小于该当前车速下的安全距离时,向制动***的执行器发送制动信号。
实时路况信息采集单元1包括实时路况采集摄像头、激光雷达、交通信号识别摄像头、车道线识别摄像头和驾驶员视觉定位双目摄像头,实时路况采集摄像头布置在车身的前、后方及两侧,用于采集车辆周围环境的RGB图像。
激光雷达安装在车身顶部,用于实时采集车辆周围环境的点云信息。
交通信号识别摄像头安装在车身顶部,用于捕捉与识别交通信号灯,可采用申请号为201510920155.1专利中的视觉交通信号的处理与识别方法及其他先进交通信号视觉捕捉与识别算法进行通过摄像头003采集信息对交通信号的捕捉与识别。
车道线识别摄像头安装在车身的前侧与两侧,用于识别车道线,可采用申请号为201510482990.1专利中的车道线识别算法及其他先进车道线视觉识别定位算法进行通过摄像头004采集的信息进行车道线的识别。
驾驶员视觉定位双目摄像头安装于驾驶员的前上方,用于通过识别驾驶员的眼睛,基于自身位置坐标进行坐标转换,得到本车坐标系下驾驶员眼部的位置坐标,可采用申请号为201510152613.1专利中的人眼定位识别算法及其他先进人眼定位识别方法进行使用摄像头005对驾驶员的人眼进行识别定位。
周围环境建模单元2包括三维实景模型构建模块、障碍物提取分辨模块、静态障碍物更换模块和动态障碍物更换模块,三维实景模型构建模块21用于根据激光雷达采集到的周围环境的点云信息,以激光雷达为中心,建立无色彩信息的三维实景模型。
障碍物提取分辨模块用于从实时路况采集摄像头所捕捉到的RGB图像中提取障碍物,根据障碍物分类识别算法将对障碍物进行分类和定位,障碍物分为静态障碍物和动态障碍物两类,可采用申请号为201611088130.0专利中的障碍物识别算法及其他先进障碍物识别分类算法进行根据激光雷达12采集的点云信息和实时路况采集摄像头11采集的RGB图像判断是静止障碍物还是动态障碍物。
静态障碍物的信息用一个数组进行表示Odynamic 1、Odynamic 2、…、Odynamic k(xk,yk,mk,vxk,vyk)、…、Odynamic n,xk为编号为k的静态障碍物在本车坐标系下的x坐标;yk为编号为k的静态障碍物在本车坐标系下的y坐标;mk为编号为k的静态障碍物的类型(包括树木、房屋、栅栏等,用数字编号进行表示);sk为静态障碍物的尺寸参数,不同mk的障碍物取不同的特征尺寸作为其尺寸参数;nstaitc为静态障碍物的总数。
动态障碍物的信息用一个数组进行表示Odynamic 1、Odynamic 2、…、Odynamic k(xk,yk,mk,vxk,vyk)、…、Odynamic n,xk为编号为k的动态障碍物在本车坐标系下的x坐标;yk为编号为k的动态障碍物在本车坐标系下的y坐标;mk为编号为k的动态障碍物的类型(包括行人、自行车、轿车、SUV、货车等,用数字编号进行表示);sk为动态障碍物的尺寸参数,不同mk的障碍物取不同的特征尺寸为其尺寸参数;vxk为速度矢量在x方向的分量;vyk为速度矢量在y方向的分量。
本***每个主题有各自对应的三维模型库A存储用来进行目标替换的三维模型,三维模型库中的模型又存储于静态模型库Astatic、动态模型库Adynamic、场景模型库Ascene中,静态模型库Astatic中又对应不同nstatic-type个类型,有nstatic-type个对应的模型库每个类型的模型库中都有多个备选模型供选择,每个类型模型库有对应的标准尺寸参数sstandard。动态模型库Adynamic中又对应不同ndynamic-type个类型,有ndynamic-type个对应的模型库每个类型的模型库中都有多个备选模型供选择,每个类型模型库有对应的标准尺寸参数sstandard
静态障碍物更换模块用于根据三维图像引擎生成三维虚拟环境E,虚拟环境E以本车坐标系坐标原点为中心进行静态障碍物替换,根据静态障碍物序号从1至nstaitc进行依次替换,以序号为k的静态障碍物替换过程为例进行过程说明,根据静态障碍物的类型mk,在对应的静态障碍物模型库中随机选取三维模型Ck,根据检测到的障碍物的尺寸参数sk与类型模型库的sstandard得到模型的方法缩小倍数为将三维模型Ck拉伸倍,再将三维模型Ck放置于虚拟环境E本车坐标系的(xk,xk)位置。
动态障碍物更换模块用于根据三维图像引擎生成三维虚拟环境E,虚拟环境E以本车坐标系坐标原点为中心进行动态障碍物替换,根据动态障碍物序号从1至nstaitc进行依次替换,以序号为k的动态障碍物替换过程为例进行过程说明,根据动态障碍物的类型mk,在对应的动态障碍物模型库随机选取三维模型Ck,根据检测到的障碍物的尺寸参数sk与类型模型库的sstandard得到模型的方法缩小倍数为将三维模型Ck拉伸倍,再将三维模型Ck放置于虚拟环境E本车坐标系对应的位置处,并根据速度矢量(vxk,vyk)调整三维模型Ck的方向,以及根据速度矢量(vxk,vyk)播放运动动画。
根据交通信号识别摄像头所识别的交通信号,确定当前的交通场景,根据当前交通场景在当前主题的场景模型库Ascene中提取对应三维模型动画,放置于虚拟环境E对应位置。
车道线是被摄像头采集到车道线离散化后的轨迹点系列信息(xlane 1,ylane 1)、(xlane 2,ylane 2)、…、(xlane n,ylane n),在虚拟环境E的对应位置布置醒目标识,帮助驾驶员进行安全驾驶。
虚拟现实模拟单元3包括三块透明oled显示屏、可视窗口相机、视线偏角获取模块、二维图像生成模块和二维图像发送模块;其中,三块透明oled显示屏分别贴在车内的前挡风玻璃、驾驶侧玻璃和副驾驶侧玻璃上,前挡风玻璃、驾驶侧玻璃和副驾驶侧玻璃在本车坐标系下的中心位置坐标分别为W1、W2、W3;可视窗口相机安置于驾驶员视觉定位双目摄像头所得到的本车坐标系下驾驶员眼部的位置坐标H处;视线偏角获取模块用于根据驾驶员视觉定位双目摄像头采集的驾驶员眼部的位置坐标H与W1、W2、W3,可以得到三块透明oled显示屏上的显示图像在三维图像引擎中本车坐标系下的视线偏角θ1、θ2、θ3;二维图像生成模块用于驾驶员眼部的位置坐标H以及三块透明oled显示屏对应的视线偏角θ1、θ2、θ3在三维图像引擎的虚拟环境E中生成第一分割图像、第二分割图像、第三分割图像;二维图像发送模块用于将第一分割图像、第二分割图像、第三分割图像分别发送给对应的透明oled显示屏进行显示。
该虚拟现实模拟单元3还包括相应的光线模拟***,空气模拟***,温度模拟***等较为全面的虚拟现实模拟***,可以模拟不同主题下的光照,风速与温度等环境。采集摄像头将采集得到的交通信号,将在特定显著位置给与显示,防止驾驶员在虚拟显示驾驶中忽略交通信号信息。
以上,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。

Claims (1)

1.一种基于现实路况信息三维建模的车载多模式增强现实***,其特征在于,包括:实时路况信息采集单元、周围环境建模单元、虚拟现实模拟单元、安全提示单元和紧急处理单元;其中,
所述安全提示单元包括评估模块和操作台,所述操控台用于通过人机交互界面进行虚拟主题娱乐模式的切换,并且显示实际的实时路况信息;所述评估模块用于根据当前路况信息判断当前路段是否可以切换到虚拟主题娱乐模式,如果可以切换到虚拟主题娱乐模式,则向所述周围环境建模单元与所述紧急处理单元发送模拟开启信号;
所述紧急处理单元包括环绕布置于车身周围的超声波雷达、安装于车身上的车速传感器和制动信号发送模块,所述车速传感器用于检测车体的当前车速,所述超声波雷达用于检测障碍物与车体之间的距离,所述制动信号发送模块用于在障碍物与车体之间的距离小于该当前车速下的安全距离时,向制动***的执行器发送制动信号;
所述实时路况信息采集单元包括实时路况采集摄像头、激光雷达、交通信号识别摄像头、车道线识别摄像头和驾驶员视觉定位双目摄像头;其中,
所述实时路况采集摄像头布置在车身的前、后方及两侧,用于采集车辆周围环境的RGB图像;
所述激光雷达安装在车身顶部,用于实时采集车辆周围环境的点云信息;所述交通信号识别摄像头安装在车身顶部,用于捕捉与识别交通信号灯;
所述车道线识别摄像头安装在车身的前侧与两侧,用于识别车道线;
所述驾驶员视觉定位双目摄像头安装于驾驶员的前上方,用于通过识别驾驶员的眼睛,基于自身位置坐标进行坐标转换,得到本车坐标系下驾驶员眼部的位置坐标;
所述周围环境建模单元包括三维实景模型构建模块、障碍物提取分辨模块、静态障碍物更换模块和动态障碍物更换模块;其中,
所述三维实景模型构建模块用于根据所述激光雷达采集到的周围环境的点云信息,以所述激光雷达为中心,建立无色彩信息的三维实景模型;
所述障碍物提取分辨模块用于从所述实时路况采集摄像头所捕捉到的RGB图像中提取障碍物,根据障碍物分类识别算法将对障碍物进行分类和定位,障碍物分为静态障碍物和动态障碍物两类;其中,
所述静态障碍物的信息用一个数组进行表示Odynamic1、Odynamic2、…、Odynamick(xk,yk,mk,vxk,vyk)、…、Odynamicn,xk为编号为k的静态障碍物在本车坐标系下的x坐标;yk为编号为k的静态障碍物在本车坐标系下的y坐标;mk为编号为k的静态障碍物的类型;sk为静态障碍物的尺寸参数,不同mk的障碍物取不同的特征尺寸作为其尺寸参数;nstaitc为静态障碍物的总数;
所述动态障碍物的信息用一个数组进行表示Odynamic1、Odynamic2、…、Odynamick(xk,yk,mk,vxk,vyk)、…、Odynamicn,xk为编号为k的动态障碍物在本车坐标系下的x坐标;yk为编号为k的动态障碍物在本车坐标系下的y坐标;mk为编号为k的动态障碍物的类型;sk为动态障碍物的尺寸参数,不同mk的障碍物取不同的特征尺寸为其尺寸参数;vxk为速度矢量在x方向的分量;vyk为速度矢量在y方向的分量;
所述静态障碍物更换模块用于根据三维图像引擎生成三维虚拟环境E,虚拟环境E以本车坐标系坐标原点为中心进行静态障碍物替换,根据静态障碍物序号从1至nstaitc进行依次替换,在替换的过程中,根据静态障碍物的类型mk,在对应的静态障碍物模型库中随机选取三维模型Ck,根据检测到的障碍物的尺寸参数sk将三维模型Ck拉伸倍,再将三维模型Ck放置于虚拟环境E本车坐标系中对应的位置处;
所述动态障碍物更换模块用于根据三维图像引擎生成三维虚拟环境E,虚拟环境E以本车坐标系坐标原点为中心进行动态障碍物替换,根据动态障碍物序号从1至nstaitc进行依次替换,在替换的过程中,根据动态障碍物的类型mk,在对应的动态障碍物模型库随机选取三维模型Ck,根据检测到的障碍物的尺寸参数sk将三维模型Ck拉伸倍,再将三维模型Ck放置于虚拟环境E本车坐标系对应的位置处,并根据速度矢量(vxk,vyk)调整三维模型Ck的方向,以及根据速度矢量(vxk,vyk)播放运动动画;
所述虚拟现实模拟单元包括三块透明oled显示屏、可视窗口相机、视线偏角获取模块、二维图像生成模块和二维图像发送模块;其中,
三块透明oled显示屏分别贴在车内的前挡风玻璃、驾驶侧玻璃和副驾驶侧玻璃上,前挡风玻璃、驾驶侧玻璃和副驾驶侧玻璃在本车坐标系下的中心位置坐标分别为W1、W2、W3
所述可视窗口相机安置于所述驾驶员视觉定位双目摄像头所得到的本车坐标系下驾驶员眼部的位置坐标H处;
所述视线偏角获取模块用于根据所述驾驶员视觉定位双目摄像头采集的驾驶员眼部的位置坐标H与W1、W2、W3,可以得到三块透明oled显示屏上的显示图像在三维图像引擎中本车坐标系下的视线偏角θ1、θ2、θ3
所述二维图像生成模块用于驾驶员眼部的位置坐标H以及三块透明oled显示屏对应的视线偏角θ1、θ2、θ3在三维图像引擎的虚拟环境E中生成第一分割图像、第二分割图像、第三分割图像;
所述二维图像发送模块用于将第一分割图像、第二分割图像、第三分割图像分别发送给对应的透明oled显示屏进行显示。
CN201811618444.6A 2018-12-28 2018-12-28 基于现实路况信息三维建模的车载多模式增强现实*** Active CN109636924B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811618444.6A CN109636924B (zh) 2018-12-28 2018-12-28 基于现实路况信息三维建模的车载多模式增强现实***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811618444.6A CN109636924B (zh) 2018-12-28 2018-12-28 基于现实路况信息三维建模的车载多模式增强现实***

Publications (2)

Publication Number Publication Date
CN109636924A true CN109636924A (zh) 2019-04-16
CN109636924B CN109636924B (zh) 2022-11-22

Family

ID=66078678

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811618444.6A Active CN109636924B (zh) 2018-12-28 2018-12-28 基于现实路况信息三维建模的车载多模式增强现实***

Country Status (1)

Country Link
CN (1) CN109636924B (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110544063A (zh) * 2019-08-20 2019-12-06 合肥维天运通信息科技股份有限公司 一种基于ar的物流平台驾驶员现场支援***及其方法
CN110758243A (zh) * 2019-10-31 2020-02-07 的卢技术有限公司 一种车辆行驶过程中的周围环境显示方法和***
CN111045425A (zh) * 2019-12-05 2020-04-21 中国北方车辆研究所 一种地面无人车辆的辅助遥操作驾驶方法
CN111301168A (zh) * 2020-03-30 2020-06-19 广州小鹏汽车科技有限公司 一种车辆泊车方法和装置
CN111413983A (zh) * 2020-04-08 2020-07-14 江苏盛海智能科技有限公司 一种无人驾驶车辆的环境感知方法及控制端
CN112017461A (zh) * 2019-05-28 2020-12-01 上海擎感智能科技有限公司 一种用于显示车辆信息的移动终端
CN112184919A (zh) * 2020-10-12 2021-01-05 中国联合网络通信集团有限公司 生成ar设备视野信息的方法、装置及存储介质
CN112606832A (zh) * 2020-12-18 2021-04-06 芜湖雄狮汽车科技有限公司 一种车辆智能辅助视觉***
CN113225527A (zh) * 2021-04-14 2021-08-06 三一海洋重工有限公司 一种全景视频监控方法、装置及一种工程设备
CN113504882A (zh) * 2021-04-30 2021-10-15 惠州华阳通用电子有限公司 一种多***多区域显示方法
CN114625247A (zh) * 2022-02-15 2022-06-14 广州小鹏汽车科技有限公司 基于虚拟现实的场景显示***、方法及车辆
CN115171412A (zh) * 2022-08-09 2022-10-11 阿波罗智联(北京)科技有限公司 车辆行驶状态的显示方法、***及装置
CN116541923A (zh) * 2023-04-07 2023-08-04 中国民用航空飞行学院 一种基于vr的带支架设备室内安装基础定位方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105807922A (zh) * 2016-03-07 2016-07-27 湖南大学 一种虚拟现实娱乐驾驶的实现方法、装置及***
US20170109458A1 (en) * 2015-10-16 2017-04-20 Ford Global Technologies, Llc Testbed for lane boundary detection in virtual driving environment
CN106652643A (zh) * 2016-10-12 2017-05-10 大连文森特软件科技有限公司 一种基于虚拟现实技术的驾驶训练仿真***
CN107591002A (zh) * 2017-09-21 2018-01-16 电子科技大学 一种基于分布式光纤的高速公路交通参数实时估计方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170109458A1 (en) * 2015-10-16 2017-04-20 Ford Global Technologies, Llc Testbed for lane boundary detection in virtual driving environment
CN105807922A (zh) * 2016-03-07 2016-07-27 湖南大学 一种虚拟现实娱乐驾驶的实现方法、装置及***
CN106652643A (zh) * 2016-10-12 2017-05-10 大连文森特软件科技有限公司 一种基于虚拟现实技术的驾驶训练仿真***
CN107591002A (zh) * 2017-09-21 2018-01-16 电子科技大学 一种基于分布式光纤的高速公路交通参数实时估计方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
AMIR H.BEHZADAN 等: "Visualization of Vehicular Traffic in Augmented Reality for Improved Planning and Analysis of Road Construction Projects", 《PROCEEDINGS OF 2009 NSF ENGINEERING RESEARCH AND INNOVATION CONFERENCE》 *
庄正军: "基于视频的实时路况服务***", 《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》 *
桑勇 等: ""虚实"相结合的汽车模拟驾驶器的研发", 《山东交通学院学报》 *
田婧怡: "基于增强现实技术的导航方法的研究与应用", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112017461A (zh) * 2019-05-28 2020-12-01 上海擎感智能科技有限公司 一种用于显示车辆信息的移动终端
CN110544063A (zh) * 2019-08-20 2019-12-06 合肥维天运通信息科技股份有限公司 一种基于ar的物流平台驾驶员现场支援***及其方法
CN110758243A (zh) * 2019-10-31 2020-02-07 的卢技术有限公司 一种车辆行驶过程中的周围环境显示方法和***
CN110758243B (zh) * 2019-10-31 2024-04-02 的卢技术有限公司 一种车辆行驶过程中的周围环境显示方法和***
CN111045425A (zh) * 2019-12-05 2020-04-21 中国北方车辆研究所 一种地面无人车辆的辅助遥操作驾驶方法
CN111045425B (zh) * 2019-12-05 2023-04-28 中国北方车辆研究所 一种地面无人车辆的辅助遥操作驾驶方法
CN111301168B (zh) * 2020-03-30 2021-09-03 广州小鹏汽车科技有限公司 一种车辆泊车方法和装置
CN111301168A (zh) * 2020-03-30 2020-06-19 广州小鹏汽车科技有限公司 一种车辆泊车方法和装置
CN111413983A (zh) * 2020-04-08 2020-07-14 江苏盛海智能科技有限公司 一种无人驾驶车辆的环境感知方法及控制端
CN112184919B (zh) * 2020-10-12 2023-12-01 中国联合网络通信集团有限公司 生成ar设备视野信息的方法、装置及存储介质
CN112184919A (zh) * 2020-10-12 2021-01-05 中国联合网络通信集团有限公司 生成ar设备视野信息的方法、装置及存储介质
CN112606832A (zh) * 2020-12-18 2021-04-06 芜湖雄狮汽车科技有限公司 一种车辆智能辅助视觉***
CN113225527A (zh) * 2021-04-14 2021-08-06 三一海洋重工有限公司 一种全景视频监控方法、装置及一种工程设备
CN113504882A (zh) * 2021-04-30 2021-10-15 惠州华阳通用电子有限公司 一种多***多区域显示方法
CN113504882B (zh) * 2021-04-30 2024-02-06 惠州华阳通用电子有限公司 一种多***多区域显示方法
CN114625247A (zh) * 2022-02-15 2022-06-14 广州小鹏汽车科技有限公司 基于虚拟现实的场景显示***、方法及车辆
CN115171412A (zh) * 2022-08-09 2022-10-11 阿波罗智联(北京)科技有限公司 车辆行驶状态的显示方法、***及装置
CN115171412B (zh) * 2022-08-09 2024-04-12 阿波罗智联(北京)科技有限公司 车辆行驶状态的显示方法、***及装置
CN116541923A (zh) * 2023-04-07 2023-08-04 中国民用航空飞行学院 一种基于vr的带支架设备室内安装基础定位方法
CN116541923B (zh) * 2023-04-07 2023-12-19 中国民用航空飞行学院 一种基于vr的带支架设备室内安装基础定位方法

Also Published As

Publication number Publication date
CN109636924B (zh) 2022-11-22

Similar Documents

Publication Publication Date Title
CN109636924A (zh) 基于现实路况信息三维建模的车载多模式增强现实***
US20210357670A1 (en) Driver Attention Detection Method
CN106251701B (zh) 基于旋转变焦多摄像头的车辆后视监测报警***及方法
CN104802793B (zh) 用于对行人在横穿车辆的行车道时的行为进行分类的方法和装置以及车辆的人员保护***
CN106485233A (zh) 可行驶区域检测方法、装置和电子设备
CN109658519B (zh) 基于现实路况信息图像处理的车载多模式增强现实***
CN108196535A (zh) 基于增强学习和多传感器融合的自动驾驶***
CN105539293B (zh) 车道偏离预警方法和装置及汽车驾驶辅助***
CN108038453A (zh) 一种基于rgbd的汽车驾驶员状态检测和识别***
CN107004363A (zh) 图像处理装置及车载显示***及显示装置及图像处理方法及图像处理程序
CN110826369A (zh) 一种驾驶员驾驶时注意力检测方法和***
CN106503653A (zh) 区域标注方法、装置和电子设备
CN108960035A (zh) 使用场景检测模式在感知场景图中分类对象的方法和***
Langner et al. Traffic awareness driver assistance based on stereovision, eye-tracking, and head-up display
KR20170127036A (ko) 차도 위의 반사체를 인식하고 평가하기 위한 방법 및 장치
CN108944920A (zh) 在机动车应用程序中生成并使用感知场景图的方法和***
CN110033621A (zh) 一种危险车辆检测方法、装置及***
CN110136535A (zh) 驾驶员考试模拟***及方法
CN106960473A (zh) 一种行为感知***及方法
CN112896159A (zh) 行车安全预警方法及***
CN107399276A (zh) 用于车辆安全倒车的ar投影***及投影方法
CN110147731A (zh) 车辆类型识别方法及相关产品
CN207059896U (zh) 用于车辆安全倒车的ar投影***
CN110825216A (zh) 一种驾驶员驾驶时人机交互的方法和***
CN110232300A (zh) 一种旁车道车辆换道意图识别方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant