CN110928620A - 汽车hmi设计引起驾驶注意力分散评价方法及*** - Google Patents

Abstract

本发明公开了一种汽车HMI设计引起驾驶注意力分散评价方法，包括以下步骤：HMI视觉落脚点检测模型根据输入的HMI显示装置的尺寸、在座舱内的位置数据以及输入的HMI图片数据，分析获得HMI图片上的驾驶员关注区域并进行标注；HMI操作注意力分散评估模型输出HMI图片的注视点数、回顾次数、注视时长以及车道偏移、速度保持数据；本发明还提供一种汽车HMI设计引起驾驶注意力分散评价***，包括HMI视觉落脚点检测模型、HMI操作注意力分散评估模型以及HMI操作驾驶安全性影响等级分类模型。采用上述技术方案，对采集的数据并结合HMI图片进行精确标注，使用目标检测方法可以把分析目标精确到设计元素，从而指导设计师精确改善问题。

Description

汽车HMI设计引起驾驶注意力分散评价方法及***

技术领域

本发明涉及一种汽车HMI设计引起驾驶注意力分散评价方法及***，属于汽车研发设计技术领域。

背景技术

伴随着智能网联技术在汽车产业的不断应用和推广，以特斯拉为代表的越来越多的车型装备了智能车机，其功能也越来越多元化，导航、音乐播放、空调控制、视频影视、游戏听书等等越来越多的应用开始被搭载到这个平台上来。然而驾驶场景和PC端或者手机端不同，其驾驶安全性尤为重要，HMI(Human Machine Interface，人机界面)的不合理设计导致的注意力分散对于驾驶者是非常危险的，但是并非所有负责HMI设计研发的主机厂、设计公司、车机应用的内容供应商都具备对HMI设计的评测能力，也很难验证HMI设计是否符合安全性标准，目前的评测多以实际道路场景进行测试，在进行测试任务时，测试者安全性难以保障，也会因此花费较多成本，因此HMI设计往往会跳过安全性测试评价环节，这种情况下的HMI设计存在着非常大的安全性隐患。目前具备HMI设计能力的主机厂和各类应用开发商存在问题如下：1、通过设计人员主观推断和制定的安全性设计规则很难进行量化评估；2、只能完成开发后的产品进行实际路况测试，危险性和试错成本非常高，很难真正实施执行。

发明内容

因此，本发明的目的在于提供一种汽车HMI设计引起驾驶注意力分散评价方法及***，能够通过自动化智能模型批量针对新设计的人机交互界面随时随地进行安全性评估。

为了实现上述目的，本发明的一种汽车HMI设计引起驾驶注意力分散评价方法，包括以下步骤：

HMI视觉落脚点检测模型根据输入的HMI显示装置的尺寸、在座舱内的位置数据以及输入的HMI图片数据，分析获得HMI图片上的驾驶员关注区域并进行标注；

HMI操作注意力分散评估模型输出HMI图片的注视点数、回顾次数、注视时长以及车道偏移、速度保持数据。

HMI操作驾驶安全性影响等级分类模型输出HMI图片对驾驶安全性造成的注意力分散影响等级。

构建HMI视觉落脚点检测模型以及HMI操作注意力分散评估模型的步骤包括：

通过眼动仪捕捉驾驶员在驾驶过程中的眼动数据，通过台架装置收集车辆数据，分析获得驾驶员对各个HMI图片的关注区域、注视点数、回顾次数、注视时长数据，以及与各个HMI图片相对应的车道偏移、速度保持数据，并在对应的HMI图片上对关注区域、注视点数、回顾次数、注视时长、车道偏移、速度保持信息进行标注；

调取标注后的HMI图片数据对HMI视觉落脚点检测模型以及HMI操作注意力分散评估模型进行训练。

构建HMI操作驾驶安全性影响等级分类模型的步骤包括：

评估标注有关注区域或关注元素、注视点数、回顾次数、注视时长、车道偏移、速度保持信息的HMI图片对驾驶安全性的注意力分散影响等级并进行标注；

调取标注后的HMI图片数据对HMI操作驾驶安全性影响等级分类模型进行训练。

本发明还提供一种汽车HMI设计引起驾驶注意力分散评价***，包括：

HMI视觉落脚点检测模型，用于根据输入的HMI显示装置的尺寸、HMI显示装置在座舱内的位置数据以及输入的HMI图片数据，分析获得HMI图片上的驾驶员关注区域并进行标注；

HMI操作注意力分散评估模型，用于输出不同驾驶场景下所述关注区域的注视点数、回顾次数、注视时长以及车道偏移、速度保持信息。

所述汽车HMI设计引起驾驶注意力分散评价***，还包括HMI操作驾驶安全性影响等级分类模型，用于输出不同驾驶场景下的HMI图片对驾驶安全性造成的注意力分散影响等级。

所述汽车HMI设计引起驾驶注意力分散评价***，还包括模型训练单元。

所述汽车HMI设计引起驾驶注意力分散评价***，还包括训练数据采集单元。

所述训练数据采集单元包括汽车驾驶模拟虚拟场地，所述汽车驾驶模拟虚拟场地包括至少具有HMI显示装置的真实车辆，所述HMI显示装置的信息包括HMI显示界面的尺寸信息、HMI显示界面在座舱内的位置信息；以及包括用于捕捉驾驶员在驾驶过程中的眼动数据的眼动仪、用于显示虚拟驾驶场景的环绕屏幕装置以及驾驶过程中对至少包括车道偏移、速度保持信息的车辆数据进行采集的台架装置。

输入的HMI图片为标注有目标位置的HMI图片。

采用上述技术方案，本发明的汽车HMI设计引起驾驶注意力分散评价方法及***，具有以下有益效果：

1、本发明通过搭建模拟路况和驾驶场景，由驾驶员使用实车进行模拟测试，其安全性更高，采集的结果也更接近真实情况，保证数据的有效性；

2、使用眼动仪、台架装置采集实际发生数据情况，可以捕捉测试中的各类细节，采集到的结果也更加客观，避免单一使用调查问卷、人工记录情况或者问询产生的主观性判断；

3、应用采集到的客观、有效数据进行机器学习建模形成评价***，再将设计界面输入之评价***，可客观、科学的输出评价结果，避免了人工评估的主观性；

4、本发明对采集数据并结合HMI图片进行精确标注，使用目标检测方法可以把分析目标精确到设计元素，从而指导设计师精确改善问题。

附图说明

图1为本发明中的构建***模型的流程图。

图2为本发明中的采集训练数据的流程图。

图3为本发明的汽车HMI设计引起驾驶注意力分散评价方法的流程图。

图4为本发明的***输出结果示例图。

具体实施方式

以下通过附图和具体实施方式对本发明作进一步的详细说明。

如图1所示，本发明的汽车HMI设计引起驾驶注意力分散评价方法，首先搭建汽车驾驶模拟虚拟场地，在模拟的不同驾驶虚拟场景下采集用户使用HMI情况数据，通过采集并标注后的图像数据作为训练数据对***的智能分析模型进行训练。

如图2所示，获取训练数据首先在汽车驾驶模拟虚拟场地根据实验需求在屏幕投影驾驶场景仿真，场景仿真使用3D建模技术构建各类驾驶场景，并将这些场景使用环绕屏幕和投影，接入场地真实车辆和调整台架装置塑造驾驶模拟环境。

所述汽车驾驶模拟虚拟场地包括HMI显示装置、用于捕捉驾驶员在驾驶过程中的眼动数据的眼动仪、用于显示虚拟驾驶场景的环绕屏幕装置、用于采集车辆数据的台架装置，所述台架装置至少采集包括驾驶过程中的车道偏移、速度保持信息的车辆数据。所述HMI显示装置的信息包括HMI显示装置的尺寸信息、HMI显示装置在座舱内的位置信息。邀请驾驶员进入汽车驾驶模拟虚拟场地，在驾驶过程中针对不同驾驶场景对不同的车机功能对应的HMI界面进行测试。

在采集的过程中使用眼动仪捕捉驾驶员的眼动数据并分析获得驾驶员对HMI图片的关注区域、注视点数、回顾次数、注视时长信息，并对HMI图片进行对应标注，例如给HMI图片标注出关注区域，给图片标注注视点数、回顾次数、注视时长信息。台架装置采集车辆数据进行分析获得HMI显示装置的尺寸、HMI显示装置在座舱内的位置、车道偏移、速度保持数据信息。

每一个所述关注区域内都具有驾驶员想要关注的关键信息或者在查找过程中的浏览信息。注视点数则为每个HMI图片上的关注区域的个数，关注区域的个数较多，则说明有可能驾驶员对关键信息查找困难，不得不浏览多个区域，也可能说明HMI图片信息太过繁杂，导致频繁吸引驾驶员的注意。回顾次数是指驾驶员对每个HMI图片的回顾次数，驾驶员在驾驶时一般是注视看前方道路，当关注HMI时注意力则会脱离前方道路，但是为了驾驶安全，视线只能短暂停留在HMI上，然后回到前方道路，如果HMI图片上的信息比较复杂或者界面设计不合理则会导致驾驶员难以一次获得关键信息，就会回顾HMI多次。注视时长则体现了驾驶员关注每个HMI图片的时长，时长越长则说明有可能驾驶员难以用较短时间获得关键信息。车道偏移数据是指车辆偏移车道的参数。速度保持数据是指在测试过程中，令驾驶员尽量按照设定的某一速度行驶，但在操作车机时，由于注意力分散会导致这一速度的变化，即运行速度的变化量。基于上述数据信息，能够人为评估各个HMI图片对驾驶员驾驶行为造成的影响，并对驾驶安全性的注意力分散影响程度进行等级划分，同时给对应的HMI图片添加标注出驾驶安全性的注意力分散影响等级。

获取上述数据后，可以作为训练数据构建智能分析模型。当智能分析模型建立后，向智能分析模型输入新设计的HMI图片，能够自动输出HMI图片在不同驾驶场景下的关注区域、注视点数、回顾次数、注视时长、车道偏移、速度保持信息，并最终输出HMI图片由于分散驾驶人注意力而可能造成的驾驶安全性的注意力分散影响等级，进而指导从业人员根据应用驾驶场景和用途来对车用HMI进行设计和优化。

智能分析模型包括HMI视觉落脚点检测模型、HMI操作注意力分散评估以及HMI操作驾驶安全性影响等级分类模型。

HMI视觉落脚点检测模型主要被应用于检测整个全新HMI设计各个HMI界面的驾驶员关注区域，该模型使用采集的标注有关注区域的HMI图片数据作为训练数据和验证数据来对模型进行训练，常用的目标监测方法包括FAST R-CNN或YOLO V1-V3模型，可输出目标监测区域并使用方框标出。

HMI操作注意力分散评估模型，则用于分别输出这些关注区域的注视点数、回顾次数、注视时长、车道偏移、速度保持情况，其训练数据来源于采集的标注有关注区域、注视点数、回顾次数、注视时长、车道偏移、速度保持的HMI图片。单纯分类预测则可使用CNN等模型，而FAST R-CNN模型本身就在目标检测之后链接有CNN分类模型。

通过上述HMI视觉落脚点检测模型以及HMI操作注意力分散评估模型，能够实现输入一张HMI图片以及HMI显示装置的尺寸、HMI显示装置在座舱内的位置数据后，***自动输出驾驶员在不同驾驶场景下的关注区域、注视点数、回顾次数、注视时长、车道偏移、速度保持信息。然而单纯输出这些信息还需要进一步人为判断其对驾驶安全的影响，因此输出结果还不够自动、直观。基于此，还可以继续使用这些输出结果作为中间过程数据进行进一步分析。

继续将获得的包含有驾驶场景类型、HMI图片、关注区域、注视点数、回顾次数、注视时长以及驾驶安全性的注意力分散影响等级的数据作为输入，利用机器学习算法训练HMI操作驾驶安全性影响等级分类模型。这里的机器学习算法可以采用决策树、支持向量机等传统机器学习算法，也可以直接使用CNN等深度学习算法。HMI操作驾驶安全性影响等级分类模型，用于输出不同驾驶场景下的HMI图片对应的驾驶员操作行为对驾驶安全性造成的注意力分散影响等级并进行标注。

模型创建完成后，如图3所示，将新设计的HMI图片以及该HMI显示装置的尺寸、HMI显示装置在座舱内的位置信息数据输入到HMI视觉落脚点检测模型中，可以自动检测到该界面上被用户关注的界面设计区域或元素并进行标注，将标注驾驶员关注区域的HMI图片及不同驾驶场景输入到HMI操作注意力分散评估模型，输出在不同驾驶场景下用户的注视点数、回顾次数、注视时长、车道偏移、速度保持，再将所得HMI关注区域对应的注视点数、回顾次数、注视时长、车道偏移和速度保持这些因素，输入到HMI操作驾驶安全性影响等级分类模型中，可得出该人机界面设计在不同驾驶场景下对驾驶行为安全性所产生的影响程度，从而指导优化汽车HMI用户界面设计，有效减少HMI设计造成的驾驶注意力分散问题。

输入到HMI视觉落脚点检测模型中的HMI图片为标注有目标位置信息的HMI图片。一张HMI图片会因为其用途或者使用者需求不同，被设计出很多这种“目标位置”，然后针对这些目标位置进行实验和采集数据以评价设计的合理性。比如界面上的按钮位置，或者导航界面上的道路名称、交通拥堵信息、岔路口信息等，都是驾驶员在驾驶过程中进行HMI操作时可能关注的目标位置，因此设计人员会较为针对性地对这些目标位置进行设计。因此在输入的HMI图片中标注本次HMI操作的目标位置信息，驾驶员在驾驶过程中，通过眼动仪捕捉到的关注区域有可能会很多，这些关注区域可能重叠在操作目标位置上，也可能分布在其他非目标位置的元素上从而被分散了注意力，从而这些捕捉到的信息能够一起为HMI视觉落脚点检测模型提供训练数据。

如图4所示的输出结果示例，左侧为HMI图片，预先设计的目标位置a使用椭圆框进行标识，关注区域A～G被检测出并用方框进行标识，其中关注区域G与目标位置重叠，而关注区域A、B、C、D、E、F则并不属于目标位置，但却在实际驾驶过程中引起了驾驶员的注意，通过分析可知关注区域B、C为导航附近的道路名称，关注区域D、E则处于导航起点至终点的连线上，G属于里程信息，均属于驾驶员需要获取的信息，而关注区域F则框出了功能按键，但驾驶员关注该功能按键后并没有实施按键操作，则表示该按键可能分散了驾驶员的注意力。右侧为各驾驶场景下各关注区的注视点数、回顾次数、注视时长和其对驾驶安全的注意力分散影响等级分析。通过该分析结果可指导设计师对其设计方案进行优化，减少HMI对驾驶注意力造成的分散影响。

本发明使用人工搭建虚拟场景，实车测试采集HMI在不同驾驶场景中的使用情况数据，包括眼动仪采集驾驶员眼动数据分析其对HMI上的注视点数、回顾次数、注视时长信息，台架装置采集车道偏移、速度保持等车辆数据，进而用于后续评估与模型训练。

应用眼动仪捕捉HMI上的热点区域，以帮助识别用户关注界面元素并进行标注，进而可以针对该元素进行机器建模(而非整个HMI)并最终以注视点数、回顾次数、注视时长，可以有效的指导设计师针对某个设计元素进行优化。

应用台架装置收集车辆数据，以车道偏移、速度保持数据作为车辆行驶安全性指标，反映驾驶过程中的注意力分散程度。

分不同驾驶场景进行训练的模型，可以让有不同场景需求的功能设计有所取舍，比如有些功能可能是雨夜天气禁止或者不必要的，那可暂时不用考虑此场景下的评估结果，重点优化其他场景下的设计问题。

驾驶者关注的界面元素其注视点数、回顾次数、注视时长以及由于操作导致的车道偏移、速度保持变化，作为中间输出结果，通过机器学习分类模型再次分类后，获得该界面元素对于驾驶安全影响程度的评估，可以直接帮助设计师进行科学设计决策，避免人为猜测造成的误导。

显然，上述实施例仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (10)

1.一种汽车HMI设计引起驾驶注意力分散评价方法，其特征在于，包括以下步骤：

HMI视觉落脚点检测模型根据输入的HMI显示装置的尺寸、在座舱内的位置数据以及输入的HMI图片数据，分析获得HMI图片上的驾驶员关注区域并进行标注；

HMI操作注意力分散评估模型输出HMI图片的注视点数、回顾次数、注视时长以及车道偏移、速度保持数据。

2.如权利要求1所述的汽车HMI设计引起驾驶注意力分散评价方法，其特征在于：HMI操作驾驶安全性影响等级分类模型输出HMI图片对驾驶安全性造成的注意力分散影响等级。

3.如权利要求1或2所述的汽车HMI设计引起驾驶注意力分散评价方法，其特征在于：构建HMI视觉落脚点检测模型以及HMI操作注意力分散评估模型的步骤包括：

通过眼动仪捕捉驾驶员在驾驶过程中的眼动数据，通过台架装置收集车辆数据，分析获得驾驶员对各个HMI图片的关注区域、注视点数、回顾次数、注视时长数据，以及与各个HMI图片相对应的车道偏移、速度保持数据，并在对应的HMI图片上对关注区域、注视点数、回顾次数、注视时长、车道偏移、速度保持信息进行标注；

调取标注后的HMI图片数据对HMI视觉落脚点检测模型以及HMI操作注意力分散评估模型进行训练。

4.如权利要求1或2所述的汽车HMI设计引起驾驶注意力分散评价方法，其特征在于：构建HMI操作驾驶安全性影响等级分类模型的步骤包括：

评估标注有关注区域、注视点数、回顾次数、注视时长、车道偏移、速度保持信息的HMI图片对驾驶安全性的注意力分散影响等级并进行标注；

调取标注后的HMI图片数据对HMI操作驾驶安全性影响等级分类模型进行训练。

5.如权利要求1或2所述的汽车HMI设计引起驾驶注意力分散评价方法，其特征在于：输入的HMI图片为标注有目标位置的HMI图片。

6.一种汽车HMI设计引起驾驶注意力分散评价***，其特征在于，包括：

HMI视觉落脚点检测模型，用于根据输入的HMI显示装置的尺寸、HMI显示装置在座舱内的位置数据以及输入的HMI图片数据，分析获得HMI图片上的驾驶员关注区域并进行标注；

HMI操作注意力分散评估模型，用于输出不同驾驶场景下所述关注区域的注视点数、回顾次数、注视时长以及车道偏移、速度保持信息。

7.如权利要求6所述的汽车HMI设计引起驾驶注意力分散评价***，其特征在于，还包括：

HMI操作驾驶安全性影响等级分类模型，用于输出不同驾驶场景下的HMI图片对驾驶安全性造成的注意力分散影响等级。

8.如权利要求6或7所述的汽车HMI设计引起驾驶注意力分散评价***，其特征在于：还包括模型训练单元以及训练数据采集单元。

9.如权利要求8所述的汽车HMI设计引起驾驶注意力分散评价***，其特征在于：所述训练数据采集单元包括汽车驾驶模拟虚拟场地，所述汽车驾驶模拟虚拟场地包括至少具有HMI显示装置的真实车辆，所述HMI显示装置的信息包括HMI显示界面的尺寸信息、HMI显示界面在座舱内的位置信息；以及包括用于捕捉驾驶员在驾驶过程中的眼动数据的眼动仪、用于显示虚拟驾驶场景的环绕屏幕装置以及驾驶过程中对至少包括车道偏移、速度保持信息的车辆数据进行采集的台架装置。

10.如权利要求6或7所述的汽车HMI设计引起驾驶注意力分散评价***，其特征在于：输入的HMI图片为标注有目标位置的HMI图片。

Images