CN106354259A - 基于Soli和Tobii的汽车HUD眼动辅助手势交互***及其装置 - Google Patents

Abstract

基于Soli和Tobii的汽车HUD眼动辅助手势交互***及其装置,该***包括Soli手势识别雷达、Tobii眼动追踪器、图像处理和微型投影单元、处理器。Tobii眼动追踪器用于采集驾驶员眼球动作获得点击操控对象指令；Soli手势识别雷达用于采集驾驶员手指动作获得输入指令；Soli手势识别雷达和Tobii眼动追踪器的数据传输到用于交互数据集成的处理器中，经处理器处理后生成操作指令，将操作指令发送到各车载设备。整个装置设计成一体式的盒壳体结构，安装于放置于仪表盘上方区域，包括支架体、采集和发射面、投影反射面、主板，所述支架体用于固着整个盒体；所述采集和发射面位于盒体外，面向驾驶员。有益效果：使驾驶更安全；不会干扰视线，减少了驾驶员分心。

Description

基于Soli和Tobii的汽车HUD眼动辅助手势交互***及其装置

技术领域

本发明涉及汽车人机交互领域。

背景技术

传统车载人机交互方案的用户体验不良。随着汽车智能化和车联网服务的发展，车内的设备和信息都较以往大幅增加，车载***越来越复杂化，同时人车交互的需求也随之增加，因此驾驶员的认知负荷较高，传统的人机交互界面(实体按键、旋钮、触控屏)无法解决新形势下的问题，导致车载人机交互用户体验不良。

新兴的车载人机交互方案存在不足：

“新兴的车载人机交互方案”指与本发明相关的两项技术：手势交互和汽车平视现实(HUD)。

1、手势交互：目前市场上有部分厂商(如宝马7系)推出支持手势交互的车载***，但其方案有三方面的缺点：

(1)一种手势只能支持单一的操作指令，为了不使交互方式过于复杂，手势交互只能进行非常有限的操作；

(2)现有手势识别的技术采用了计算机视觉的方案，通过摄像头捕捉手部动作容易受到遮挡，因此对手势发生的位置有较严格的要求(例如在中控面板正前方)，操作时手部不得不离开方向盘。这样使的驾驶员的认知负荷提升，造成驾驶分心；

(3)计算机视觉的识别方案可靠性较差，容易带来误操作、识别错误、操作延迟等问题，而这些问题十分影响驾驶来安全。

2、汽车HUD：汽车HUD是一种将车载***信息投影在挡风玻璃上的装置，传统的HUD一般仅具有呈现速度等信息的很有限的功能，少数新出现的HUD产品具备手势或语音操作的功能(如Navdy)，但没有考虑HUD的应用特点，依然沿用了屏幕显示的交互逻辑，容易造成驾驶员的分心，导致交通事故。

发明内容

本发明的目的在于克服现有技术的不足，公开一种基于Soli和Tobii的汽车HUD眼动辅助手势交互***及其装置，本发明主要解决以下问题：

1.建立自然的人机交互方式，减少驾驶驶员操作车载***时的认知负荷；

2.提升手势交互的可用性，使手势交互机制简单易学、操作及时准确、交互过程中手部无需离开方向盘，视线无需离开行驶道路视野；

3.交互方式能响应用户具体场景下的特别需求，不对驾驶员驾驶造成干扰；

4.交互方式功能全面，能采用简单的交互逻辑完成多类操作任务。

为此，本发明给出的技术方案一：

一种基于Soli和Tobii的汽车HUD眼动辅助手势交互***，其特征在于，包括Soli手势识别雷达、Tobii眼动追踪器、图像处理和微型投影单元、处理器，

所述Tobii眼动追踪器用于采集驾驶员眼球动作获得点击操控对象指令；

所述的Soli手势识别雷达用于采集驾驶员手指动作获得输入指令；

所述的Soli手势识别雷达和Tobii眼动追踪器的数据传输到用于交互数据集成的处理器中，经处理器处理后生成操作指令，将操作指令发送到各车载设备；另将车载设备的状态数据返回到处理器，并发送到HUD图像处理和微型投影单元；所述HUD图像处理和微型投影单元将显示数据通过车内挡风玻璃显示，呈现在驾驶员的眼前，供驾驶员进一步指令操作。

1.利用微型投影仪(5)将HUD界面图像经一块镜面(7)反射投影到汽车挡风玻璃上，虚像显示在挡风玻璃外约2米位置。HUD界面包含代表车内可操控设备的图标，具有未选中、选中、操作中2种状态，不同状态下图像尺寸、透明度不同。操作过程中HUD界面起到操作效果反馈的作用。

2.利用Tobii IS4(1)获取驾驶员的视觉注视的位置数据，***根据驾驶员视线注视位置判断驾驶员此时的需求和意图，并使HUD图形界面与之响应。在驾驶员注视路面时，HUD界面图像尺寸较小，透明度较高，不影响驾驶员的正常驾驶。当驾驶员注视位置进入界面区域时，HUD界面变得更清晰，尺寸变大。当驾驶员的视线聚焦于一个图标时，被注视图标尺寸变大，其他图标尺寸变小，给驾驶员以反馈，表示驾驶员此时选中了该图标对应的功能。

3.利用Soli(8)获取驾驶员手部动作，驾驶员通过手势与车载***交互，以控制车内设备。***设有三组基本交互手势，分别为“向上/下摆动手掌”、“向左/右滑动双指”、“收拢/张开五指”，能够满足媒体、空调、车窗、座椅加热、电话、短消息、导航等大部分车载设备及应用的操作需求(如图6所示的表1)，车载应用开发者可以为新应用调用手势交互功能，也可以基于本***开发新的手势，以拓展其功能。基本手势及其对应的交互功能，如图6。

4.手势和眼动数据在交互数据集成处理器(12)中生成操作指令，经过CAN总线发送到各车载设备电子控制单元，执行交互指令，同时，车载设备的状态数据经CAN总线返回到处理器。***获取到数据后，HUD界面产生响应。

本发明给出的技术方案二：

一种基于Soli和Tobii的汽车HUD眼动辅助手势交互装置，其特征在于，整个装置设计成一体式的盒壳体结构，安装于放置于仪表盘上方区域，包括支架体、采集和发射面、投影反射面、主板，所述支架体用于固着整个盒体；所述采集和发射面位于盒体外，面向驾驶员；所述投影发射面面向挡风玻璃；所述主板安装于盒体内部，盒内部件以及与主板相连接的***功能模块有Tobii眼动追踪器1、雷达天线4、Soli微型雷达芯片8、镜面反光板7、图像处理和微型投影单元5、交互数据集成处理器12；

所述Tobii眼动追踪器1位于采集和发射面上，对准驾驶员的眼睛，捕捉驾驶员眼球的运动；

所述雷达天线4位于采集和发射面上，用于发射和接受驾驶员手部动作信号；

所述Soli微型雷达芯片8与雷达天线4连接，用于识别驾驶员手部动作；

所述镜面反光板7安装于盒体的投影反射面上，将HUD图形折射到挡风玻璃上；

所述图像处理和微型投影单元5安装于主板上，生成和渲染HUD界面图像，并经镜面反光板7投影到汽车挡风玻璃上，通过镜面反光板7的折射增加虚像成象距离；

所述交互数据集成处理器12通过主板分别与Tobii眼动追踪器1、Soli微型雷达芯片8、图像处理和微型投影单元5连接，用于数据处理和产生交互指令。

本发明的有益效果：

1.通过HUD操作车载设备能够减少驾驶员视线离开道路的时间和距离，使驾驶更安全；

2.通过眼动追踪使HUD界面主动响应用户的需求：通过驾驶员视线，***可以判断其交互的意愿。在没有交互意愿时，驾驶员的视线在功能区域外，HUD界面呈现较高透明度和较小尺寸，不会干扰视线，减少了驾驶员分心。

3.通过眼动追踪建立了“驾驶员所视目标即所操控对象”的交互规则，用自然的视线聚焦代替了手动选中目标交互对象，使驾驶员在手势交互时无需进入功能子级，即可直接使用通用手势对车载设备进行操控；

4.本发明通过眼动追踪确定交互对象，相比无眼动辅助的手势交互，手势不需要带有区分交互对象的特征信息，使手势动作的数量得以减少，同一套手势即可对多种不同设备进行操作，在保证功能全面的同时保证了交互方式的简单。

5.本发明采用微型雷达芯片Soli探测手势动作，使驾驶员在手势交互的过程中，手部无需离开方向盘，无需严格的位置和动作幅度要求，且手势识别不会因为方向盘的遮挡和角度问题受到影响；

6.通过眼动和手势交互的配合，模仿了人类自然手势交流的方式，使汽车人机交互更直觉化，驾驶员的认知负荷因此降低，用户体验更良好。

附图说明

图1.本发明显示***架构图

图2.通过手势和眼动与挡风玻璃显示***交互的流程

图3.本发明装置的透视图和***图

图4.本发明使用场景图

图5.HUD界面响应机制

图6基本手势及其对应的交互功能

具体实施方式

(一)本发明技术方案由以下技术支持产生：

1.Tobii是一款可以嵌入到产品内部的视觉运动追踪器(eye tracker)，可以获取人眼注视位置的数据，并转化为数字信号，供眼动交互***使用。

2.Soli是一款利用微芯片雷达识别出细微的手指活动的产品，由谷歌公司研发。相比利用计算机视觉技术识别手势的方法，识别动作更准确、及时，对手部动作的位置、幅度具有更大包容性。

3.汽车HUD(heads-up display)是指将车载***界面通过投影设备，经过镜面折射投影到挡风玻璃或外设的玻璃板上形成虚像的设备。能使驾驶员操作车载***无需将视线移动到行驶道路视野之外。

4.眼动辅助手势交互是指利用眼动追踪设备，将人眼运动信息作为交互***的一部分输入数据，结合手势识别设备获取到的手势信息，提升手势交互的准确度、降低复杂度，建立更好的用户体验。

(二)、以下结合附图对本发明技术方案做进一步介绍。

本发明***由Tobi眼动追踪器、Soli手势识别雷达输入交互数据，通过CAN总线与车载设备通信，并通过图像处理和微型投影单元输出HUD界面。

如图1所示，本发明***：Soli手势识别雷达和Tobii眼动追踪器的数据传输到交互数据集成处理器中，经处理器处理后生成操作指令，将操作指令经CAN总线发送到各车载设备的电子控制单元。另，将车载设备的状态数据经CAN总线返回到处理器，发送到HUD图像处理和微型投影单元。

1.利用微型投影仪(5)将HUD界面图像经一块镜面(7)反射投影到汽车挡风玻璃上，虚像显示在挡风玻璃外约2米位置。HUD界面包含代表车内可操控设备的图标，具有未选中、选中、操作中2种状态，不同状态下图像尺寸、透明度不同。操作过程中HUD界面起到操作效果反馈的作用。

2.利用Tobii IS4(1)获取驾驶员的视觉注视的位置数据，***根据驾驶员视线注视位置判断驾驶员此时的需求和意图，并使HUD图形界面与之响应。在驾驶员注视路面时，HUD界面图像尺寸较小，透明度较高，不影响驾驶员的正常驾驶。当驾驶员注视位置进入界面区域时，HUD界面变得更清晰，尺寸变大。当驾驶员的视线聚焦于一个图标时，被注视图标尺寸变大，其他图标尺寸变小，给驾驶员以反馈，表示驾驶员此时选中了该图标对应的功能。

3.利用Soli(8)获取驾驶员手部动作，驾驶员通过手势与车载***交互，以控制车内设备。***设有三组基本交互手势，分别为“向上/下摆动手掌”、“向左/右滑动双指”、“收拢/张开五指”，能够满足媒体、空调、车窗、座椅加热、电话、短消息、导航等大部分车载设备及应用的操作需求(如图6所示的表1)，车载应用开发者可以为新应用调用手势交互功能，也可以基于本***新开发新的手势，以拓展其功能。基本手势及其对应的交互功能，如图6。

4.手势和眼动数据在交互数据集成处理器(12)中生成操作指令，经过CAN总线发送到各车载设备电子控制单元，执行交互指令，同时，车载设备的状态数据经CAN总线返回到处理器。***获取到数据后，HUD界面产生响应。

基于以上的***方案，如图3所示，本发明同时公开了装置实施例，整个装置设计成一体式的盒壳体结构，安装于放置于仪表盘上方区域，包括支架体、采集和发射面、投影反射面、主板，所述支架体用于固着整个盒体；所述采集和发射面位于盒体外，面向驾驶员；所述投影发射面面向挡风玻璃；所述主板安装于盒体内部，盒内部件以及与主板相连接的***功能模块有：

Tobii眼动追踪器1：传感器位于采集和发射面上，对准驾驶员的眼睛，捕捉驾驶员眼球的运动。开机后需按照HUD界面校准。

雷达天线4：为Soli的雷达的组成部分，该Soli的雷达天线位于采集和发射面上，用于发射和接受驾驶员手部动作信号。

Soli微型雷达芯片8：为Soli的雷达的组成部分，与雷达天线4连接，用于识别驾驶员手部动作。

图像处理和微型投影单元5：安装于主板上，生成和渲染HUD界面图像，并经镜面反光板7投影到汽车挡风玻璃上。

镜面反光板7：安装于盒体的投影反射面上，将HUD图形折射到挡风玻璃上，通过折射增加虚像成象距离。

交互数据集成处理器12：通过主板分别与Tobii眼动追踪器1、Soli微型雷达芯片8、图像处理和微型投影单元5连接，用于数据处理和产生交互指令。

开关按钮2：连接于主板上。按钮边缘有环形指示灯，当本设备关闭时，短按一次按钮开启本设备，指示灯亮起3秒；当设备开启时，短按按钮一次指示灯亮起三秒，长按3秒按钮设备关闭。

USB插孔9：连接于主板上，用于设备的开发、维护和拓展。

数据线10：限制布置在主板上，用于实现整个***的数据传输和供电。

散热电扇11：连接于主板上，获得电源，用于设备降温。

进一步优化，还设有滤光片3：设于采集和发射面外，用于滤光、保护和固定眼动追踪器和雷达天线。

所述的支架13：具体设计为：呈拱型，可通过弯折调节弧度，用于将产品固定在仪表盘上方。

具体的，还可以设置外壳顶部6：用于保护和固定内部部件。

如图2所示：

1.本设备开始使用时，首先打开开关，***初始化，校正眼动追踪***。

2.当Tobii眼动追踪器识别到驾驶员眼动行为时，***可以根据视线所在位置判断驾驶员意图，当视线进入HUD界面功能区域时，界面图标变大，透明度降低，被注视的图标变大。

3.当驾驶员在注视图标5s做出交互手势时，Soli识别到手部动作，***获得驾驶员的交互指令，HUD界面给予反馈，同时指令通过CAN总线发送到车载设备，视线功能。

4.如果驾驶员注视图标5s内***没有识别到手势，***会判断驾驶员没有交互意愿，界面会回复到初始状态。

如图4所示，本发明装置使用时放置于仪表盘上方，安置时可通过调节支架来调整设备高度，使设备与驾驶员视线之间无遮挡，且HUD投影处于挡风玻璃适宜区域。

(三)、为进一步说明本发明的使用方式，以调整汽车空调和音乐作为例子：

1.驾驶员感到车内温度低，欲调整空调温度。

2.驾驶员视线移向HUD界面，随之界面变清晰，图标尺寸变大。

3.驾驶员视线落在对应空调功能的图标上，同时该图标尺寸变大，其他图标尺寸缩小。

4.驾驶员向摆动手掌，同时空调图标变成带有数字的图形，数字随着驾驶员手部每上摆动一次增加一。驾驶员手摆动三次3次手掌，界面的数字增加从22增加到25。

5.驾驶员向左滑动手掌，空调界面变为风向图形，随着驾驶员手掌向左摆动，空调风向向左转动。

6.驾驶员完成了空调的挑整，视线回到道路，HUD界面变小，恢复到默认的透明度。

7.驾驶员用与调整空调温度同样的手势调整音乐的音量，仅需将视线集中在音乐图标上。

Claims (7)

1.一种基于Soli和Tobii的汽车HUD眼动辅助手势交互***，其特征在于，包括Soli手势识别雷达、Tobii眼动追踪器、图像处理和微型投影单元、处理器，

所述Tobii眼动追踪器用于采集驾驶员眼球动作获得点击操控对象指令；

所述的Soli手势识别雷达用于采集驾驶员手指动作获得输入指令；

所述的Soli手势识别雷达和Tobii眼动追踪器的数据传输到用于交互数据集成的处理器中，经处理器处理后生成操作指令，将操作指令发送到各车载设备；另将车载设备的状态数据返回到处理器，并发送到HUD图像处理和微型投影单元；所述HUD图像处理和微型投影单元将显示数据通过车内挡风玻璃显示，呈现在驾驶员的眼前，供驾驶员进一步指令操作。

2.如权利要求1所述的***，其特征在于，利用微型投影仪(5)将HUD界面图像经一块镜面(7)反射投影到汽车挡风玻璃上，虚像显示在挡风玻璃外的位置。

3.如权利要求1所述的***，其特征在于，所述HUD界面包含代表车内可操控设备的图标，具有未选中、选中、操作中2种状态，不同状态下图像尺寸、透明度不同。

4.如权利要求1所述的***，其特征在于，利用Tobii IS4(1)获取驾驶员的视觉注视的位置数据，***根据驾驶员视线注视位置判断驾驶员此时的需求和意图，并使HUD图形界面与之响应。

5.如权利要求1所述的***，其特征在于，在驾驶员注视路面时，HUD界面图像尺寸较小，透明度较高，不影响驾驶员的正常驾驶。当驾驶员注视位置进入界面区域时，HUD界面变得更清晰，尺寸变大。当驾驶员的视线聚焦于一个图标时，被注视图标尺寸变大，其他图标尺寸变小，给驾驶员以反馈，表示驾驶员此时选中了该图标对应的功能。

6.如权利要求1所述的***，其特征在于，利用Soli(8)获取驾驶员手部动作，驾驶员通过手势与车载***交互，以控制车内设备。***设有三组基本交互手势，分别为“向上/下摆动手掌”、“向左/右滑动双指”、“收拢/张开五指”，能够满足媒体、空调、车窗、座椅加热、电话、短消息、导航等大部分车载设备及应用的操作需求。

7.一种基于Soli和Tobii的汽车HUD眼动辅助手势交互装置，其特征在于，整个装置设计成一体式的盒壳体结构，安装于放置于仪表盘上方区域，包括支架体、采集和发射面、投影反射面、主板，所述支架体用于固着整个盒体；所述采集和发射面位于盒体外，面向驾驶员；所述投影发射面面向挡风玻璃；所述主板安装于盒体内部，盒内部件以及与主板相连接的***功能模块有Tobii眼动追踪器1、雷达天线4、Soli微型雷达芯片8、镜面反光板7、图像处理和微型投影单元5、交互数据集成处理器12，

所述Tobii眼动追踪器1位于采集和发射面上，对准驾驶员的眼睛，捕捉驾驶员眼球的运动；

所述雷达天线4位于采集和发射面上，用于发射和接收雷达信号；

所述Soli微型雷达芯片8与雷达天线4连接，用于识别驾驶员手部动作；

所述镜面反光板7安装于盒体的投影反射面上，将HUD图形折射到挡风玻璃上；

所述图像处理和微型投影单元5安装于主板上，生成和渲染HUD界面图像，并经镜面反光板7投影到汽车挡风玻璃上，通过镜面反光板7的折射增加虚像成象距离；

所述交互数据集成处理器12通过主板分别与Tobii眼动追踪器1、Soli微型雷达芯片8、图像处理和微型投影单元5连接，用于数据处理和产生交互指令。