CN108099790B - 基于增强现实平视显示与多屏语音交互的驾驶辅助*** - Google Patents

Abstract

本发明公开基于增强现实平视显示与多屏语音交互的驾驶辅助***，包括增强现实平视显示***、多屏语音操作***和双屏中控显示操作***；所述增强现实平视显示***识别复杂道路信息，将导航、警示信息叠加在真实场景上提醒驾驶员，所述的多屏语音操作***通过便捷触控键实现汽车HUD、HDD、HCS、CS的移动设备多屏交互与人机语音交互，所述的双屏中控显示操作***让副驾驶员在不影响主驾驶员驾驶的同时进行操作。本发明的驾驶辅助***能够有效的为驾驶员在驾驶任务中提供辅助，增强驾驶员的情境意识，降低驾驶过程中发生无意盲视、变化盲视、走神等的发生几率，减少驾驶员的认知负荷，从而提供一个更为安全的驾驶体验。

Description

基于增强现实平视显示与多屏语音交互的驾驶辅助***

技术领域

本发明涉及一个可以利用增强现实技术通过平视显示技术、多屏交互结束、语音交互技术、双中控屏技术来辅助驾驶员驾驶的***。

背景技术

平视显示器（Head Up Display，也称抬头显示器，简称HUD），最初应用在军用飞机的飞行辅助***上，能够让飞行员无需低头看仪表就能看到重要信息，能够有效减低低头查看仪表的频率，避免减低情境意识和中断注意力。近年来，HUD开始加速进入车载行列，用来显示车辆行驶状态信息、导航信息甚至通信娱乐信息。随着全息和激光成像技术及透明OLED（Organic Light Emitting Display，即有机发光显示器，简称OLED）显示技术的发展，车辆挡风玻璃成为一种新的显示载体，拓展了HUD的应用空间。

增强现实技术（Augmented Reality,简称AR），是一种能将虚拟世界信息叠加在真实世界信息上，以达到增强用户对真实世界的感知能力和交互能力的技术。AR***具有三个突出的特点：①真实世界和虚拟的信息集成；②具有实时交互性；③在三维尺度空间中增添定位虚拟物体；作为新型的人机接口和防伪工具，AR受到的关注日益广泛，并且已经发挥了重要作用，显示出了巨大的潜力。

驾驶员在行车过程中使用信息设备时，由于具有信息输入和输出的环节，因此视觉资源的消耗是对驾驶安全影响的主要因素。而手动输入信息或操作设备则造成了身体资源的占用，对驾驶也会造成一定的影响。针对这一问题，以语音识别为代表的新型交互方式能够在一定程度上降低人机交互过程对手和眼的依赖。直接通过说话这种自然的方式进行信息输入和操作设备，通过语音提示来输出相应的信息，从而减少了对视觉资源和身体资源的占用。语音识别技术的成熟，使得汽车驾驶员能够使用语音交互这种自然的交互方式更加方便地操作手机等信息设备，享受功能丰富的信息设备带来的各种便利。

随着大众对信息的实时性、精准性、便捷性及互动性等诉求的急速增长，当今的媒体形态边界开始快速淡化，多屏互动的世界已然来临。由传统的电视、银幕到电脑、智能移动设备，再到公共显示，包括：液晶广告机、互动查询机、自助终端、大屏显示等户外媒体的强势加入，今日，屏幕与屏幕之间已经构成了一个完整的生态***，存在于我们的周遭角落，丰富着我们的生活。在现代汽车中，根据显示功能可分为HUD、HDD（Head Down Display，也称低头显示器，简称HDD）、HCS（Higher Center Stack，也称高中控板，简称HCS）、CS（Center Stack，也称中控板，简称CS）四个显示屏，再加上手机显示屏和其他的屏幕，信息显示形式越来越多样化，然而信息功能分类界限是模糊的，将汽车内所有显示屏联通，灵活的显示各类信息的需求越来越大。

发明内容

本发明将增强现实技术与平视显示技术相结合，结合多屏交互与语音交互技术，研制一种驾驶辅助***，能够在不影响驾驶员驾驶的同时，将导航、警示等信息叠加在真实场景上，起到增强感知的作用，并通过自然的语音交互方式和多屏交互方式，在不增加驾驶员操作负担的同时，满足驾驶员多方面的操作需求。

本发明的目的通过如下技术方案实现。

基于增强现实平视显示与多屏语音交互的驾驶辅助***，其包括增强现实平视显示***、多屏语音操作***和双屏中控显示操作***；所述增强现实平视显示***识别复杂道路信息，将导航、警示信息叠加在真实场景上提醒驾驶员，所述的多屏语音操作***通过便捷触控键实现汽车HUD、HDD、HCS、CS的移动设备多屏交互与人机语音交互，所述的双屏中控显示操作***让副驾驶员在不影响主驾驶员驾驶的同时进行操作。

进一步地，增强现实平视显示***包括道路信息检测模块、计算机视觉分析模块和增强现实平视显示模块；

所述的道路信息检测模块通过车前的双传感器将车前方的动态道路场景信息记录下来，形成具有深度信息和高识别度的视频流，即在夜间也能够清晰还原道路场景，所述的计算机视觉分析模块将道路信息检测模块获取的视频流通过计算机视觉算法进行分析，获得具有深度信息的显著特征信息，所述的增强现实平视显示模块根据计算机视觉分析模块的分析结果转为增强现实图像信息，通过增强现实平视显示屏，在不影响驾驶员视线的前提下叠加在真实场景上，起到增强感知的作用。

进一步地，计算机视觉分析模块对道路信息检测模块获取的视频流进行分析，通过特征提取出显著特征信息，然后与特征库里的各类信息进行对比，分别识别出特征物；接着综合这些信息、车辆驾驶信息和驾驶员操作习惯计算提示权重，再根据权重为显著信息进行排列，并决定采用的提示或警示方式，对不重要或者不构成威胁的信息进行排除。

进一步地，HUD显示的内容会根据权重、驾车环境等的情况智能调节其显示的颜色、亮度、大小、成像距离和范围。

进一步地，还包括触控键模块、多屏操作模块和智能语音模块；

所述的触控键模块通过触控滑动来控制显示内容在多屏中转换，或者通过点击来进行语音指令输入，所述的多屏操作模块连接汽车HUD、HDD、HCS、CS、移动设备的车内多屏幕的信息并实现互联，实现无缝对接，让信息出现在驾驶员需要的任何屏幕上，让驾驶员无需低头便可灵活控制信息的显示位置，所述的智能语音模块是驾驶员的驾驶智能助手，驾驶员点击触控键后激活，激活后驾驶员只需要说出指示，智能语音模块便会识别并执行指示。

进一步地，移动设备通过蓝牙或其他无线连接方式与***连接，连接后，移动设备里预安装的车载***应用程序将帮助移动设备与车载***进行信息交流，让移动设备成为车载***显示器的一部分。

进一步地，还包括副驾驶独立音效模块和主驾驶中控屏与副驾驶中控屏交互模块。

所述的MCS（Main Driver Center Stack，也称主驾驶中控板，简称MCS）主驾驶中控屏相对于普通车辆的CS中控屏，屏幕角度更偏向于主驾驶员，驾驶员低头看时视线刚好垂直于屏幕，CCS（Co-Driver Center Stack，也称副驾驶中控板，简称CS）副驾驶中控屏与MCS主驾驶中控屏相反，屏幕角度更偏向于副驾驶员，同样的，副驾驶员低头看时视线也刚好垂直于屏幕，能够观看与驾驶任务无关的信息，所述的副驾驶独立音效模块指CCS屏的音效独立于整车音效，由副驾驶位置附近播放，防止对主驾驶的干扰。

进一步地，MCS主驾驶中控屏与CCS副驾驶中控屏之间能进行分屏操作，进行信息交流。

与现有技术相比，本发明的有益效果为：

本发明中采用的基于增强现实平视显示技术与多屏语音交互的驾驶辅助***能够有效的为驾驶员在驾驶任务中提供辅助，增强驾驶员的情境意识，降低驾驶过程中发生无意盲视、变化盲视、走神等的发生几率，减少驾驶员的认知负荷，从而提供一个更为安全的驾驶体验。

附图说明

图1为本发明实例中的***模块图。

图2为实施例中触控键在方向盘上的大致方位示意图。

图3为汽车中控台上HUD、HDD、HCS、CS的位置示意图。

图4为实施例中MCS与CCS在汽车中控台上的位置示意图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例。本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

基于增强现实平视显示与多屏语音交互的驾驶辅助***，其包括增强现实平视显示***、多屏语音操作***和双屏中控显示操作***；所述增强现实平视显示***识别复杂道路信息，将导航、警示信息叠加在真实场景上提醒驾驶员，所述的多屏语音操作***通过便捷触控键实现汽车HUD、HDD、HCS、CS的移动设备多屏交互与人机语音交互，所述的双屏中控显示操作***让副驾驶员在不影响主驾驶员驾驶的同时进行操作。

在本实施例中，增强现实平视显示***中的道路信息检测模块通过车前的双传感器将车前方的动态道路场景信息记录下来，形成具有深度信息和高识别度的视频流。计算机视觉分析模块将道路信息检测模块获取的视频流通过计算机视觉算法进行分析，获得具有深度信息的显著特征信息；增强现实平视显示模块根据计算机视觉分析模块的分析结果转为增强现实图像信息，通过增强现实平视显示屏，在不影响驾驶员视线的前提下叠加在真实场景上。

其中车前方的双传感器可以由拥有红外夜视补光和近红外灵敏度高的CCD（Charge-coupled Device，也称电荷耦合元件，简称CCD）的摄像机组成，能够在夜间或者大雾天气的情况下，将车前方的动态道路场景信息记录下来，形成具有深度信息和高识别度的视频流。双传感器之间的距离不能太近或太远，以刚好能够同时检测到离车中轴前10-20cm的障碍物为标准，传感器太近得到的深度信息偏差会大，太远又无法检测到近距离的障碍物，同时传感器的视角要足够大，能够检测到车前的大部分区域。

其中计算机视觉分析模块能够通过算法，对道路信息检测模块获取的视频流进行分析，通过一些特征（例如：是否为动态、形状、大小、颜色等）提取出显著特征信息，然后与特征库里的各类信息进行对比，分别识别出特征物，比如车辆、行人、交通标志、障碍物等，特征物包含多种信息，例如：个体速度、相对速度、位置、距离、形状、体积等。接着综合这些信息、车辆驾驶信息和驾驶员操作习惯等计算提示权重，再根据权重为显著信息进行排列，并决定采用的提示或警示方式，对不重要或者不构成威胁的信息进行排除。例如前方距离较近，突然停止的车辆提示权重最高，***将在HUD上进行警示，同时进行语音警告。又如前方隔着两条车道，距离为5m，突然停止的车辆提示权重最低（不会碰撞），***将进行选择性忽略。

其中增强现实平视显示模块根据计算机视觉分析模块的分析结果转为增强现实图像信息。显示的信息包括：车辆基本信息、导航信息、行车安全警示信息、社交娱乐信息和辅助影像***。其中行车安全警示信息有三类，包括障碍物提示信息、车道提示信息和标识类信息。障碍物提示信息是指以凸显目标物的方式对干扰驾驶的特定车辆、行人等障碍物进行提示的信息；车道提示信息，是指以显示预测车辆行驶轨迹的方式对驾驶行为进行提示的信息；标识类信息，是指是以固有图标的显示方式对道路交通标识进行提示的信息；不同权重的信息显示方式不同，通过颜色、形状等区分，权重高的信息甚至会启用语音***提醒；不同类型的信息在增强现实平视显示器上的成像距离也不同，车辆基本信息、导航信息、社交娱乐信息和辅助影像信息的成像距离在2.5m左右，而行车安全警示信息的成像距离在7.5m左右。增强现实平视显示的水平成像范围在约-9°~5°的水平视角内，垂直成像范围在约3~10°的垂直视角内为宜。同时增强现实界面的亮度、色彩、对比度会根据道路信息检测模块获取的视频流进行调节，来提高界面元素的可识别性。

在本实施例中，多屏语音操作***中的触控键模块可以便捷的通过触控滑动来控制显示内容在多屏中转换，或者点击来进行语音指令输入。多屏操作模块连接汽车HUD、HDD、HCS、CS、移动设备等车内多屏幕的信息并实现互联。智能语音模块允许驾驶员进行语音指令操作，且能够将信息以语音方式反馈给驾驶员。

其中触控键为实体键，拥有触控功能，可以内置在方向盘上，或者以外置卡扣、尼龙扣或吸磁的方式固定在方向盘上，用蓝牙的方式与***连接。触控键位于方向盘的右下角，驾驶员右手握住方向盘时大拇指可以轻松操作，大致方位如图2所示。触控键可以识别六种简单操作包括：上滑、下滑、左滑、右滑、点击和双击。可以通过四个方向的滑动，移动当前激活信息的位置，双击可将信息隐藏，例如当手机导航提示前方200米右转（此时手机导航为当前激活信息），而驾驶员不确定在哪个路口右转时，向上滑动（可设置）触控键，手机屏幕上的地图导航信息就会转移到平视显示器上，驾驶员看完导航确认后，双击触控键，将地图信息隐藏起来；又例如前方为人行道，增强现实平视显示器上显示出人行道提示，如果驾驶员觉得提示刚好干扰了视线，此时可以向右滑动触控键（可设置）触控键，人行道提示会转移到HCS上。如果驾驶员想要控制未激活窗口的信息显示位置，可以通过点击触控键唤出语音助手，并说出相应的指令。例如，在驾驶过程中，驾驶员不清楚该走哪条路，此时交通又复杂不允许驾驶员低头看手机导航，此时点击触控键并说出指令“将导航显示在HUD上”，手机中的导航信息就会出现在HUD中，此时导航信息为当前激活信息，所以驾驶员确认后，可以双击触控键隐藏导航信息。

其中如图3所表示，目前汽车内饰设计中存在四中常见的视觉交互界面提供给驾驶者车载信息，包括HDD、HCS、CS、HUD。而多屏操作模块使用分屏技术，将汽车内部的所有视觉交互界面，包括HUD、HDD、HCS、CS、移动设备等联接成一个整体，可以实现多个屏幕间的信息互联，无缝对接，让信息出现在驾驶员需要的任何屏幕上，突破传统的汽车内部信息显示的局限，让驾驶员无需低头便可灵活控制信息的显示位置，有效避免分心。手机、平板电脑等移动设备通过蓝牙或其他无线连接方式与***连接，连接后，移动设备里预安装的车载***应用程序将帮助移动设备与车载***进行信息交流，让移动设备成为车载***显示器的一部分。此时驾驶员可以通过触控键和语音***对移动设备进行操作，甚至可以将移动设备的内容显示在HUD上，例如短信或者来电提醒等，防止低头操作手机导致事故发生。

其中驾驶员只需点击触控键即可激活驾驶智能助手，驾驶智能助手能够准确识别并执行驾驶员的指示。在语音助手播放的同时，HUD上会显示语音内容，让没有听清语音内容的驾驶员能够通过阅读方便的确认，视觉和听觉的配合让驾驶员和语音助手的交互更加的准确。而且整个交互过程在不影响驾驶员驾驶任务的情况下进行，能够防止驾驶员分心。当语音操作中，出现需要驾驶员判断“是”与“否”的问题时，驾驶员可以通过操作触控键确定，例如左滑代表“否”，右滑代表“是”。当语音操作出现多个选择时，选项内容会出现在HUD上，驾驶员可以通过操作触控键来进行选择，例如驾驶员希望到最近的商城，语音助手通过搜索发现附近有5个商城，于是就将5个商城的名称显示在HUD上，驾驶员通过上下滑动触控键进行选择。同时智能语音模块也会对一些紧急情况进行警示播报，提高警示效果，防止无意盲视的发生导致驾驶员没有看到行车安全警示信息。

在本实施例中，双屏CS操作***中的MCS主驾驶中控屏相对于普通车辆的CS中控屏，屏幕角度更偏向于主驾驶员，驾驶员低头看时视线刚好垂直于屏幕。CCS副驾驶中控屏与MCS主驾驶中控屏相反，屏幕角度更偏向于副驾驶员，同样的，副驾驶员低头看时视线也刚好垂直于屏幕。副驾驶独立音效模块指CCS屏的音效独立于整车音效，由副驾驶位置附近播放。

其中MCS主驾驶中控屏角度偏向于主驾驶员，能够有效防炫光，减少观看角度问题导致的画面变形，使阅读信息更加的自然，减少驾驶员认知资源的消耗。同时也让触屏操作更加的方便自然。

其中CCS副驾驶中控屏与MCS主驾驶中控屏相反，屏幕角度更偏向于副驾驶员，同样的，副驾驶员低头看时视线也刚好垂直于屏幕，能够观看与驾驶任务无关的信息，同时避免对驾驶员造成影响。MCS与CCS在汽车中控台的位置如图4所示。同时CCS副驾驶中控屏与MCS主驾驶中控屏之间可以进行分屏交互，副驾驶员可以在CCS上左滑，将信息转移到MCS上，方便主驾驶员观看，同时主驾驶员可以通过右滑触控键或者MCS，将信息转移到CCS上给副驾驶观看。例如在道路情境复杂时，驾驶员需要副驾驶员进行辅助导航，便可将地图导航转移到CCS上。又例如在寻找加油站时，当主驾驶在及集中注意力进行驾驶任务时，副驾驶可以通过CCS导航地图找到目标点，并将目标点转移给驾驶员看。但是CCS的操作权限是有限制的，防止对驾驶员的驾驶任务造成影响，例如上个例子中，当导航目标点从CCS传输到MCS上时，信息不会立即显示，但会显示一个请求，驾驶员可以通过触控键、语音助手或者直接在MCS上进行简单的滑动，才会接收来自CCS上的信息。

其中副驾驶独立音效模块是在副驾驶操作CCS需要音效时激活的，是独立与整车音效，有副驾驶位置附近播放的，声音相对较小，扩散度低，在能够让副驾驶听清的基础上，较少对主驾驶的干扰。副驾驶独立音效模块能够智能调节音量大小，当主驾驶需要整车音效时（例如在进行语音操作或者语音导航时），会自动降低音量。同时副驾驶独立音效模块支持耳机输出，当副驾驶操作CCS使用耳机时，***将不再自动调节音量大小。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替代、改进等，均应包含在本发明的保护范围之内。

Claims (1)

1.基于增强现实平视显示与多屏语音交互的驾驶辅助***，其特征在于，包括增强现实平视显示***、多屏语音操作***和双屏中控显示操作***；所述增强现实平视显示***识别复杂道路信息，将导航、警示信息叠加在真实场景上提醒驾驶员，所述的多屏语音操作***通过便捷触控键实现汽车HUD、HDD、HCS、CS、移动设备多屏交互与人机语音交互，所述的双屏中控显示操作***让副驾驶员在不影响主驾驶员驾驶的同时进行操作；增强现实平视显示***包括道路信息检测模块、计算机视觉分析模块和增强现实平视显示模块；

所述的道路信息检测模块通过车前的双传感器将车前方的动态道路场景信息记录下来，形成具有深度信息和高识别度的视频流，即在夜间也能够清晰还原道路场景，所述的计算机视觉分析模块将道路信息检测模块获取的视频流通过计算机视觉算法进行分析，获得具有深度信息的显著特征信息，所述的增强现实平视显示模块根据计算机视觉分析模块的分析结果转为增强现实图像信息，通过增强现实平视显示屏，在不影响驾驶员视线的前提下叠加在真实场景上，起到增强感知的作用；计算机视觉分析模块对道路信息检测模块获取的视频流进行分析，通过特征提取出显著特征信息，然后与特征库里的各类信息进行对比，分别识别出特征物；接着综合这些信息、车辆驾驶信息和驾驶员操作习惯计算提示权重，再根据权重为显著信息进行排列，并决定采用的提示或警示方式，对不重要或者不构成威胁的信息进行排除； HUD显示的内容会根据权重、驾车环境的情况智能调节其显示的颜色、亮度、大小、成像距离和范围；

所述驾驶辅助***还包括触控键模块、多屏操作模块和智能语音模块；

所述的触控键模块通过触控滑动来控制显示内容在多屏中转换，或者通过点击来进行语音指令输入，所述的多屏操作模块连接汽车HUD、HDD、HCS、CS、移动设备实现车内多屏幕的信息互联，实现无缝对接，让信息出现在驾驶员需要的任何屏幕上，让驾驶员无需低头便可灵活控制信息的显示位置，所述的智能语音模块是驾驶员的驾驶智能助手，驾驶员点击触控键后激活，激活后驾驶员只需要说出指示，智能语音模块便会识别并执行指示；

移动设备通过蓝牙或其他无线连接方式与***连接，连接后，移动设备里预安装的车载***应用程序将帮助移动设备与车载***进行信息交流，让移动设备成为车载***显示器的一部分；

所述驾驶辅助***还包括副驾驶独立音效模块和主驾驶中控屏与副驾驶中控屏交互模块；

MCS主驾驶中控屏相对于普通车辆的CS中控屏，屏幕角度更偏向于主驾驶员，驾驶员低头看时视线刚好垂直于屏幕，CCS副驾驶中控屏与MCS主驾驶中控屏相反，屏幕角度更偏向于副驾驶员，同样的，副驾驶员低头看时视线也刚好垂直于屏幕，能够观看与驾驶任务无关的信息，所述的副驾驶独立音效模块指CCS屏的音效独立于整车音效，由副驾驶位置附近播放，防止对主驾驶的干扰；MCS主驾驶中控屏与CCS副驾驶中控屏之间能进行分屏操作，进行信息交流。

Images