CN116767256B - 一种主动式人机交互方法及新能源汽车 - Google Patents

Abstract

本发明提出一种主动式人机交互方法及新能源汽车，通过本发明方案，利用多种数据判断驾乘人员的意图、认知状态和视觉注意力，再结合主动交互模型进行主动式交互，不仅智能高效，而且能完美契合驾乘人员的状态，提高了驾乘人员的体验。

Description

一种主动式人机交互方法及新能源汽车

技术领域

本发明涉及人机交互技术领域，具体涉及一种主动式人机交互方法及新能源汽车。

背景技术

随着用户需求的升级和汽车智能化水平的提高，当下汽车内人机交互正在发生变革：设计理念以用户为中心，通过AI、车内车外的感知技术，从基本的“功能感知交互”向着“主动认知交互”发展。当前我们正在迈入人机共驾的阶段，人机交互的方式从被动走向主动，通过车载的一系列传感器和控制器，汽车可以主动地提供决策建议，并在安全范围内实现辅助驾驶。但是，目前的主动式人机交互方案不够智能和准确，仍然无法满足用户的实际需求。

发明内容

本发明正是基于上述问题，提出了一种主动式人机交互方法及新能源汽车，通过本发明方案，利用多种数据判断驾乘人员的意图、认知状态和视觉注意力，再结合主动交互模型进行主动式交互，不仅智能高效，而且能完美契合驾乘人员的状态，提高了驾乘人员的体验。

有鉴于此，本发明的一方面提出了一种主动式人机交互方法，包括：

获取驾乘人员的历史行为数据，并根据所述历史行为数据得到第一主动交互模型；

实时采集所述驾乘人员的第一输入数据、第一生理数据、第一车辆状态数据以及第一环境数据；

对所述第一输入数据、所述第一生理数据、所述第一车辆状态数据和所述第一环境数据进行处理得到第一整合数据；

根据所述第一整合数据，采用多模态信息融合和深度学习方法判断所述驾乘人员的意图、认知状态和视觉注意力，得到第一判断结果；

根据所述第一判断结果和所述第一主动交互模型，向所述驾乘人员发出第一语音提醒和/或在车载显示器上显示第一提醒信息；

接收所述驾乘人员对所述第一语音提醒和/或所述第一提醒信息的第一反馈数据来评估交互效果，得到第一评估数据；

根据所述第一评估数据调整所述第一主动交互模型。

可选地，所述车辆的方向盘为触摸式方向盘；所述方向盘的轮圈和轮辐均设置有柔性触摸屏和柔性显示屏；所述轮圈表面设置有指纹识别区；所述轮圈内部设置有多个传感器。

可选地，还包括步骤：

获取所述车辆的第一当前位置信息和导航***的第一导航数据；

根据所述第一当前位置信息和所述第一导航数据确定所述车辆是否到达预设位置；

当达到所述预设位置时，提示所述车辆的驾乘人员进行触摸操作方式。

可选地，还包括步骤：

汽车模拟驾驶器获取登录***的驾乘人员的第一登录账号；

根据所述第一登录账号获取对应的历史导航数据和历史驾驶行为数据；

根据所述历史导航数据，获取对应导航路线上的第一路段数据和第一环境数据；

根据所述历史驾驶行为数据、所述第一路段数据和所述第一环境数据，生成第一模拟驾驶场景；

在所述驾乘人员根据所述第一模拟驾驶场景操作所述汽车模拟驾驶器的过程中，采集所述驾乘人员的第一行为数据和第一生理反应数据；

根据所述第一行为数据和所述第一生理反应数据，生成第一场景反应模型；

根据所述第一场景反应模型，生成所述第一主动交互模型；

将所述第一主动交互模型与所述第一登录账号进行绑定并同步至管理服务器；

当所述驾乘人员通过第一车辆利用所述第一登录账号登录时，所述管理服务器检测所述第一车辆是否同步过所述第一主动交互模型；

若否，则将所述第一主动交互模型同步至所述第一车辆；

所述第一车辆根据所述第一主动交互模型触发对应的监测模块以进行提示与接收所述驾乘人员的交互数据。

可选地，对所述触摸式方向盘进行操作的方式包括触摸操作；所述触摸操作包括左手和/或右手在所述触摸式方向盘上进行滑动、敲击、抓握、握住滑动、指纹验证操作中的至少一个；

在所述驾乘人员对所述触摸式方向盘进行第一触摸操作的同时触发所述第一车辆上设置的摄像装置和声音采集装置获取所述驾乘人员第一图像数据和第一声音数据；

根据所述第一图像数据、所述第一声音数据、所述第一触摸操作确定所述第一触摸操作对应的第一触摸操作指令；

结合所述第一主动交互模型执行所述第一触摸操作指令。

本发明的另一方面提供一种新能源汽车，包括：获取模块和控制处理模块；

所述获取模块被配置为：

获取驾乘人员的历史行为数据，并根据所述历史行为数据得到第一主动交互模型；

实时采集所述驾乘人员的第一输入数据、第一生理数据、第一车辆状态数据以及第一环境数据；

所述控制处理模块被配置为：

对所述第一输入数据、所述第一生理数据、所述第一车辆状态数据和所述第一环境数据进行处理得到第一整合数据；

根据所述第一整合数据，采用多模态信息融合和深度学习方法判断所述驾乘人员的意图、认知状态和视觉注意力，得到第一判断结果；

根据所述第一判断结果和所述第一主动交互模型，向所述驾乘人员发出第一语音提醒和/或在车载显示器上显示第一提醒信息；

接收所述驾乘人员对所述第一语音提醒和/或所述第一提醒信息的第一反馈数据来评估交互效果，得到第一评估数据；

根据所述第一评估数据调整所述第一主动交互模型。

可选地，所述车辆的方向盘为触摸式方向盘；所述方向盘的轮圈和轮辐均设置有柔性触摸屏和柔性显示屏；所述轮圈表面设置有指纹识别区；所述轮圈内部设置有多个传感器。

可选地，所述获取模块被配置为：获取所述车辆的第一当前位置信息和导航***的第一导航数据；

所述控制处理模块被配置为：

根据所述第一当前位置信息和所述第一导航数据确定所述车辆是否到达预设位置；

当达到所述预设位置时，提示所述车辆的驾乘人员进行触摸操作方式。

可选地，所述控制处理模块被配置为：

通过汽车模拟驾驶器获取登录***的驾乘人员的第一登录账号；

根据所述第一登录账号获取对应的历史导航数据和历史驾驶行为数据；

根据所述历史导航数据，获取对应导航路线上的第一路段数据和第一环境数据；

根据所述历史驾驶行为数据、所述第一路段数据和所述第一环境数据，生成第一模拟驾驶场景；

在所述驾乘人员根据所述第一模拟驾驶场景操作所述汽车模拟驾驶器的过程中，控制所述汽车模拟驾驶器采集所述驾乘人员的第一行为数据和第一生理反应数据；

根据所述第一行为数据和所述第一生理反应数据，生成第一场景反应模型；

根据所述第一场景反应模型，生成所述第一主动交互模型；

将所述第一主动交互模型与所述第一登录账号进行绑定并同步至管理服务器；

当所述驾乘人员通过第一车辆利用所述第一登录账号登录时，所述管理服务器检测所述第一车辆是否同步过所述第一主动交互模型；

若否，则将所述第一主动交互模型同步至所述第一车辆；

所述第一车辆根据所述第一主动交互模型触发对应的监测模块以进行提示与接收所述驾乘人员的交互数据。

可选地，对所述触摸式方向盘进行操作的方式包括触摸操作；所述触摸操作包括左手和/或右手在所述触摸式方向盘上进行滑动、敲击、抓握、握住滑动、指纹验证操作中的至少一个；

所述控制处理模块被配置为：

在所述驾乘人员对所述触摸式方向盘进行第一触摸操作的同时触发所述第一车辆上设置的摄像装置和声音采集装置获取所述驾乘人员第一图像数据和第一声音数据；

根据所述第一图像数据、所述第一声音数据、所述第一触摸操作确定所述第一触摸操作对应的第一触摸操作指令；

结合所述第一主动交互模型执行所述第一触摸操作指令。

采用本发明的技术方案，主动式人机交互方法设置获取驾乘人员的历史行为数据，并根据所述历史行为数据得到第一主动交互模型；实时采集所述驾乘人员的第一输入数据、第一生理数据、第一车辆状态数据以及第一环境数据；对所述第一输入数据、所述第一生理数据、所述第一车辆状态数据和所述第一环境数据进行处理得到第一整合数据；根据所述第一整合数据，采用多模态信息融合和深度学习方法判断所述驾乘人员的意图、认知状态和视觉注意力，得到第一判断结果；根据所述第一判断结果和所述第一主动交互模型，向所述驾乘人员发出第一语音提醒和/或在车载显示器上显示第一提醒信息；接收所述驾乘人员对所述第一语音提醒和/或所述第一提醒信息的第一反馈数据来评估交互效果，得到第一评估数据；根据所述第一评估数据调整所述第一主动交互模型。通过利用多种数据判断驾乘人员的意图、认知状态和视觉注意力，再结合主动交互模型进行主动式交互，不仅智能高效，而且能完美契合驾乘人员的状态，提高了驾乘人员的体验。

附图说明

图1是本发明一个实施例提供的主动式人机交互方法的流程图；

图2是本发明一个实施例提供的新能源汽车示意框图。

具体实施方式

为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、***、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

下面参照图1至图2来描述根据本发明一些实施方式提供的一种主动式人机交互方法及新能源汽车。

如图1所示，本发明一个实施例提供一种主动式人机交互方法，包括：

获取驾乘人员的历史行为数据(包括但不限于使用智能手机、智能家电、汽车模拟驾驶器、智能汽车的历史行为数据等)，并根据所述历史行为数据得到第一主动交互模型；

实时采集所述驾乘人员的第一输入数据(包括采集驾乘人员的语音输入、手势输入、视觉输入等多种形式的输入信息)、第一生理数据(包括但不限于脑电、心电、视线/瞳孔、体温、呼吸频率等方面的数据)、第一车辆状态数据(包括但不限于通过车载传感器采集到的速度、加速度、转向角、振动频度与幅度、倾斜角度、发动机/电动机温度、发动机/电动机功率、制动***数据、空调***数据、车窗控制数据等可以用来判断驾驶状态的相关数据)以及第一环境数据，包括但不限于车外环境数据(如天气数据、路况数据、光照数据、温度数据、风力数据等)和车内环境数据(如车内温湿度、光线强度、空气质量等)；

对所述第一输入数据、所述第一生理数据、所述第一车辆状态数据和所述第一环境数据进行处理得到第一整合数据，该步骤包括对所述第一输入数据、所述第一生理数据、所述第一车辆状态数据和所述第一环境数据进行进行特征提取、分类、识别等处理，以获取用户的意图信息，具体可以是：

特征处理：对各数据提取对应的特征，如时间序列特征、频域特征和统计特征等，构建特征向量，具体是：选择特征：根据数据类型和任务要求选择合适的特征，如时域特征、频域特征、统计特征等，选择对问题有区分度的特征可以提高模型性能；特征工程：对选定的特征进行各种转换和提炼，生成更加区分且可计算的新特征；构建特征向量：将所有特征按一定顺序排列，形成一个特征向量(特征行向量或特征列向量)；特征向量计算：主要用于计算特征向量之间的距离或相似度；

分类与聚类：使用预设的不同模型对特征向量进行分类、聚类和模式识别，得到驾驶行为模式、生理状态、车辆状态和环境模型等；

数据融合：综合各数据源的处理结果，使用数据融合技术融合多源信息，提高判断准确度，形成对驾驶员、车辆与环境的整体理解，得到第一整合数据。

通过上述步骤，不同种类的异构数据可以转换为具有一定意义的判断与理解，而数据融合则是将这些判断联结起来，获得更加全面与综合的理解。

根据所述第一整合数据，采用多模态信息融合和深度学习方法判断所述驾乘人员的意图、认知状态和视觉注意力，得到第一判断结果；

根据所述第一判断结果和所述第一主动交互模型，向所述驾乘人员发出第一语音提醒和/或在车载显示器(如HUD、车载显示屏等)上显示第一提醒信息；

接收所述驾乘人员对所述第一语音提醒和/或所述第一提醒信息的第一反馈数据来评估交互效果，得到第一评估数据；

根据所述第一评估数据调整所述第一主动交互模型。

本发明方案，通过利用多种数据判断驾乘人员的意图、认知状态和视觉注意力，再结合主动交互模型进行主动式交互，不仅智能高效，而且能完美契合驾乘人员的状态，提高了驾乘人员的体验。

可以理解的是，在本发明一些可能的实施例中的主动交互模型，可以但不限于包括以下内容：

专注计算子模型：检测驾驶员注意力是否集中在驾驶上，如果注意力分散，可以主动提醒驾驶员注意安全，可以采用眼动追踪、脑电图等技术检测驾驶员的视觉关注点与认知状态。

情绪识别子模型：检测驾驶员的情绪状态，如愤怒、紧张等可能影响驾驶的情绪。如果识别到这些情绪，可以主动播放舒缓的音乐或提出交互来稳定情绪；可以采用语音分析、表情识别等技术来检测情绪。

行为推测子模型：检测驾驶员的驾驶行为与习惯，判断其可能的下一步驾驶意图。如果意图可能危险，可以主动提出交互提示更安全的驾驶行为；可以采用车载传感器数据来检测并预测驾驶行为。

对话生成子模型：产生与驾驶员自然且主动的对话，可以提供驾驶指南、景点介绍等信息；也可以开展与驾驶无关的闲聊，降低驾驶疲劳，需要理解语境与驾驶员的对话意图，并据此生成恰当的回复。

交互策略生成子模型：根据不同场景选择对应的交互内容、形式和策略。如在高速公路上选择音频交互，在城市道路上可以选择视觉交互，在准备泊车时提供辅助信息等；同时兼顾驾驶员的认知负荷，避免过于频繁或突兀的交互。

综上，车辆可以根据环境与驾驶员状态选择恰当的时机与方式主动与驾驶员/乘客交互，但是交互的策略和内容需要考虑到行车安全，避免引起驾驶员/乘客注意力分散或情绪激动。

在本发明实施例中，生理数据/信号采集方式包括但不限于：采用头盔或头箍安装的脑电图传感器采集脑电信号、胸带传感器采集心电信号、车载监控摄像头采集驾乘人员视线信息等；环境信息采集方式包括但不限于：将温湿度传感器、光照传感器等安装在车舱内采集环境信息；驾驶状态信息采集方式包括但不限于：获取方向盘转角传感器、刹车踏板传感器、里程计等数据来判断驾乘人员的驾驶操作(或其他操作)和车辆状态；

在本发明实施例中，多模态信息融合方案可以为：采用深度学习神经网络模型融合生理信号、环境信息和驾驶状态信息，分析判断驾乘人员的意图(如变道意图)、认知负荷状态(如精神疲劳)和视觉注意力(如侧后视监测)等。

在本发明实施例中，主动交互方案可以包括但不限于：根据判断结果，车载***可以通过车载显示屏高亮显示驾乘人员视线关注区域外的重要信息(如盲区车辆)；可以通过语音提醒驾乘人员注意盲区或变道；亦可以控制车载***自动完成一些驾驶操作(如自动变道)以减轻驾乘人员认知负荷。

在本发明实施例中，交互评估方案可以包括但不限于：***记录驾乘人员对各交互提示的反应和操作，评估交互效果，并不断优化交互策略和深度学习模型，实现人机交互的定制化和个性化。

本发明实施例的方案利用多模态信息和人工智能技术实现对驾乘人员状态的准确判断，并主动进行交互，能够最大限度减轻驾乘人员的工作量，提供自定义的驾驶体验，实现安全而舒适的驾驶。

在本发明实施例中，多模态信息融合的实现方案具体可以包括：

选取驾乘人员的脑电图、视线数据、方向盘转角、车速等信息作为神经网络输入。这些信息反映了驾乘人员的认知状态、视觉注意力以及驾驶操作和车辆状态。

对输入信息采用CNN(卷积神经网络)和LSTM(长短期记忆网络)等深度学习模型进行特征提取和序列建模，得到能反映驾乘人员意图和状态的特征向量。

将特征向量输入到分类模型(如Softmax分类器)中，得到驾乘人员的意图判断结果，如变道意图：特征向量表明3秒内视线聚集在左侧后视镜、方向盘略向左转、车速保持不变，则判断为变道意图。精神疲劳：过去5分钟脑电低频功率增加、眼动减慢，判断为精神疲劳状态。侧后视监测：特征向量表明视线在过去2秒钟扫视过左侧后视镜，判断驾乘人员正在监测左侧后视。

对判断结果采取以下交互操作：

变道意图：显示屏高亮显示左侧后视区域，并语音提示“注意左侧后视”；

精神疲劳：播放提神音乐，并语音提示“您看起来有些疲劳，是否需要休息”；

侧后视监测：无须交互，继续监测驾乘人员状态。

本发明实施例的实现方案通过深度学习方法研判驾乘人员复杂状态，并主动交互提示，达到减轻驾乘人员认知负荷，提高驾驶安全的目的。结合更丰富的输入信息和交互手段，本实施例的方案可以达到定制化人机交互的效果。

在本发明实施例中，对CNN和LSTM在方案中的应用作详细解释：

1.CNN对视线数据和脑电图数据进行特征提取。

视线数据：将监测到的驾乘人员视线轨迹图像作为CNN输入，CNN通过卷积层和池化层提取视线特征，如视线聚集区域、视线转移速度等，以判断视觉注意力。

脑电图数据：将脑电图信号图像作为CNN输入，CNN提取脑电频谱特征，如α波、β波和θ波能量特征，以判断精神状态如疲劳程度。

2.LSTM对时间序列数据如方向盘转角、车速等进行序列建模。

将一系列时域上采集的方向盘转角度和车速数据输入到LSTM，LSTM通过遗忘门和输出门机制捕捉数据中的动态变化特征和长期依赖关系，建立方向盘操作和车速变化的序列模型。基于该序列模型可以判断驾乘人员的驾驶意图，如加速、减速、变道等意图。

3.将CNN提取的视线和脑电特征以及LSTM建立的序列模型特征联合作为分类器输入，进行驾乘人员状态和意图的判断。

分类器综合各特征信息的表征性和区分性，对驾乘人员状态和意图进行精确判断。

随着输入数据量的增加，分类器的性能会不断提高，实现对驾乘人员状态的深度理解。

本发明实施例的方案运用CNN和LSTM分别对图像数据和时间序列数据进行特征学习和序列建模，将多种类型的数据表征统一到一个分类器中，这种多模态的深度学习方法可以取得很好的效果，为判断驾乘人员的意图状态和实现主动交互提供了技术基础。

在本发明一些可能的实施方式中，所述车辆的方向盘为触摸式方向盘；所述方向盘的轮圈和轮辐均设置有柔性触摸屏和柔性显示屏；所述轮圈表面设置有指纹识别区；所述轮圈内部设置有多个传感器。

可以理解的是，为了能使得驾驶员方便、智能地使用方向盘，在本实施例中，所述方向盘的轮圈和轮辐可以是部分(如驾驶员视线范围内的区域，或者驾驶员视线关注时间占比超过第一预设时间占比的区域)或全部区域可触摸(设置有触摸传感器)，也可以是部分(如根据历史数据推测出的驾驶员在驾驶过程中，超过第二预设时间占比的时间里所握住的方向盘上的区域)或全部区域可接收压力输入(设置有压力传感器)。

指纹识别区连接指纹采集传感器和进行识别处理的处理器，可以通过指纹验证，启用或锁定方向盘上的部分功能/操作，以保证驾驶安全。

应当说明的是，多个传感器的设置可以根据方向盘的历史使用数据，进行大数据分析后确定所要设置的传感器类型、个数、区域、距离、分辨率等，在多个传感器安装好后，可以利用软件控制方法，根据驾驶员的个性特征(如手掌大小、握力大小、视线关注区域等)调整多个传感器中被触发的传感器的类型、个数、对应区域、分辨率等。

为了在行驶过程中及时而且高效地提醒驾乘人员进行对应的操作，在本发明一些可能的实施方式中，还包括步骤：

获取所述车辆的第一当前位置信息和导航***的第一导航数据；

根据所述第一当前位置信息和所述第一导航数据确定所述车辆是否到达预设位置；

当达到所述预设位置时(如离需要转向的路口距离达到第一预设距离时，或者距预设的加油站/充电站的距离达到第二距离时等)，提示所述车辆的驾乘人员进行触摸操作方式(如在所述方向盘上显示操作示意图或文字或动画等，或者通过HUD投影显示操作示意图或文字或动画等)。

为了获得精确的主动交互模型，在本发明一些可能的实施方式中，所述获取驾乘人员的历史行为数据，并根据所述历史行为数据得到第一主动交互模型的步骤，还包括步骤：

汽车模拟驾驶器获取登录***的驾乘人员的第一登录账号；

根据所述第一登录账号获取对应的历史导航数据和历史驾驶行为数据(以及使用智能手机、智能家电等智能终端的历史交互行为数据等)；

根据所述历史导航数据，获取对应导航路线上的第一路段数据和第一环境数据；

根据所述历史驾驶行为数据、所述第一路段数据和所述第一环境数据，生成第一模拟驾驶场景；

在所述驾乘人员根据所述第一模拟驾驶场景操作所述汽车模拟驾驶器的过程中，采集所述驾乘人员的第一行为数据和第一生理反应数据；

根据所述第一行为数据和所述第一生理反应数据，生成第一场景反应模型；

根据所述第一场景反应模型(以及使用智能手机、智能家电等智能终端的历史交互行为数据等)，生成所述第一主动交互模型；

将所述第一主动交互模型与所述第一登录账号进行绑定并同步至管理服务器；

当所述驾乘人员通过第一车辆利用所述第一登录账号登录时，所述管理服务器检测所述第一车辆是否同步过所述第一主动交互模型；

若否，则将所述第一主动交互模型同步至所述第一车辆；

所述第一车辆根据所述第一主动交互模型触发对应的监测模块以进行提示与接收所述驾乘人员的交互数据。

应当说明的是，因移动互联网、物联网、智能终端技术的发展，用户已在各智能终端上形成了深度依赖的交互方式，故本实施例中，根据所述第一场景反应模型，以及所述驾乘人员使用智能手机、智能家电等智能终端的历史交互行为数据，生成所述第一主动交互模型

可以理解的是，为了使得交互模型更精准符合驾乘人员的风格，在本实施例中，还可以进一步获取所述第一车辆的车辆特征数据(如结构数据，包括车辆尺寸、轴距、车身材料等反映车辆的整体结构特征的数据；力学数据，包括发动机/电动机功率、扭矩、轴重分布等反映车辆的动力学性能与操纵稳定性特征的数据；状态数据，包括速度、加速度、倾斜角、位置等由车载传感器获取的实时状态数据；控制数据，包括方向盘转角、油门/刹车踏板位置等由控制器获取，反映驾驶员的操控行为的数据；可以判断相关部件或***的故障状况的、由各车载电子控制单元报告的故障码；各关键部件如发动机/电动机、变速箱、制动***的工作时间或里程数据，可以用于预测部件的寿命与更换周期；油耗/耗电数据，由油耗传感器、电源管理器获取的实时油耗/电耗数据，反映车辆的整体经济性；行驶数据，包括行驶时间、里程、路线、车速分布等由车载定位与导航***获取、反映车辆的使用情况的数据)；再根据车辆特征数据对所述第一主动交互模型进行修改，得到修改后更符合第一车辆的实际状况的主动交互模型。

在本发明一些可能的实施方式中，对所述触摸式方向盘进行操作的方式包括触摸操作；所述触摸操作包括左手和/或右手在所述触摸式方向盘上进行滑动、敲击、抓握、握住滑动、指纹验证操作中的至少一个；

在所述驾乘人员对所述触摸式方向盘进行第一触摸操作的同时触发所述第一车辆上设置的摄像装置和声音采集装置获取所述驾乘人员第一图像数据和第一声音数据；

根据所述第一图像数据、所述第一声音数据、所述第一触摸操作确定所述第一触摸操作对应的第一触摸操作指令；

结合所述第一主动交互模型执行所述第一触摸操作指令。

可以理解的是，为了方便驾驶员对方向盘进行高效准确的操作，本发明实施例中，对所述触摸式方向盘进行操作的方式包括触摸操作，所述触摸操作包括但不限于：

单独左手触摸操作，具体是：左手进行手指或手掌滑动、手指敲击、抓握、握住滑动、指纹验证等操作；

单独右手触摸操作，具体是：右手进行手指或手掌滑动、手指敲击、抓握、握住滑动、指纹验证等操作

双手触摸操作，具体是：双手同时或间隔设定时间进行手指或手掌滑动、手指敲击、抓握、握住滑动、指纹验证等操作。

应当说明的是，根据滑动、手指敲击、抓握、握住滑动等操作的位置或持续时间/时间间隔的不同，可以定义不同的对应操作指令，比如，同样是左手固定方向盘不动、右手握住方向盘的轮圈进行滑动的操作，滑动第一预设距离对应的操作指令可以是启动右转向灯，滑动第二预设距离对应的操作指令可以是通过HUD展示车辆右后方盲区的景象等。

在所述驾乘人员对所述触摸式方向盘进行第一触摸操作的同时触发所述第一车辆上设置的摄像装置和声音采集装置获取所述驾乘人员第一图像数据和第一声音数据；根据所述第一图像数据、所述第一声音数据、所述第一触摸操作确定所述第一触摸操作对应的第一触摸操作指令；结合所述第一主动交互模型执行所述第一触摸操作指令。

请参见图2，本发明的另一实施例提供一种新能源汽车，包括：获取模块和控制处理模块；

所述获取模块被配置为：

获取驾乘人员的历史行为数据(包括但不限于使用智能手机、智能家电、汽车模拟驾驶器、智能汽车的历史行为数据等)，并根据所述历史行为数据得到第一主动交互模型；

实时采集所述驾乘人员的第一输入数据(包括采集驾乘人员的语音输入、手势输入、视觉输入等多种形式的输入信息)、第一生理数据(包括但不限于脑电、心电、视线/瞳孔、体温、呼吸频率等方面的数据)、第一车辆状态数据(包括但不限于通过车载传感器采集到的速度、加速度、转向角、振动频度与幅度、倾斜角度、发动机/电动机温度、发动机/电动机功率、制动***数据、空调***数据、车窗控制数据等可以用来判断驾驶状态的相关数据)以及第一环境数据，包括但不限于车外环境数据(如天气数据、路况数据、光照数据、温度数据、风力数据等)和车内环境数据(如车内温湿度、光线强度、空气质量等)；

所述控制处理模块被配置为：

对所述第一输入数据、所述第一生理数据、所述第一车辆状态数据和所述第一环境数据进行处理得到第一整合数据，该步骤包括对所述第一输入数据、所述第一生理数据、所述第一车辆状态数据和所述第一环境数据进行进行特征提取、分类、识别等处理，以获取用户的意图信息，具体可以是：

特征处理：对各数据提取对应的特征，如时间序列特征、频域特征和统计特征等，构建特征向量，具体是：选择特征：根据数据类型和任务要求选择合适的特征，如时域特征、频域特征、统计特征等，选择对问题有区分度的特征可以提高模型性能；特征工程：对选定的特征进行各种转换和提炼，生成更加区分且可计算的新特征；构建特征向量：将所有特征按一定顺序排列，形成一个特征向量(特征行向量或特征列向量)；特征向量计算：主要用于计算特征向量之间的距离或相似度；

分类与聚类：使用预设的不同模型对特征向量进行分类、聚类和模式识别，得到驾驶行为模式、生理状态、车辆状态和环境模型等；

数据融合：综合各数据源的处理结果，使用数据融合技术融合多源信息，提高判断准确度，形成对驾驶员、车辆与环境的整体理解，得到第一整合数据。

通过上述步骤，不同种类的异构数据可以转换为具有一定意义的判断与理解，而数据融合则是将这些判断联结起来，获得更加全面与综合的理解。

根据所述第一整合数据，采用多模态信息融合和深度学习方法判断所述驾乘人员的意图、认知状态和视觉注意力，得到第一判断结果；

根据所述第一判断结果和所述第一主动交互模型，向所述驾乘人员发出第一语音提醒和/或在车载显示器(如HUD、车载显示屏等)上显示第一提醒信息；

接收所述驾乘人员对所述第一语音提醒和/或所述第一提醒信息的第一反馈数据来评估交互效果，得到第一评估数据；

根据所述第一评估数据调整所述第一主动交互模型。

本发明方案，通过利用多种数据判断驾乘人员的意图、认知状态和视觉注意力，再结合主动交互模型进行主动式交互，不仅智能高效，而且能完美契合驾乘人员的状态，提高了驾乘人员的体验。

可以理解的是，在本发明一些可能的实施例中的主动交互模型，可以但不限于包括以下内容：

专注计算子模型：检测驾驶员注意力是否集中在驾驶上，如果注意力分散，可以主动提醒驾驶员注意安全，可以采用眼动追踪、脑电图等技术检测驾驶员的视觉关注点与认知状态。

情绪识别子模型：检测驾驶员的情绪状态，如愤怒、紧张等可能影响驾驶的情绪。如果识别到这些情绪，可以主动播放舒缓的音乐或提出交互来稳定情绪；可以采用语音分析、表情识别等技术来检测情绪。

行为推测子模型：检测驾驶员的驾驶行为与习惯，判断其可能的下一步驾驶意图。如果意图可能危险，可以主动提出交互提示更安全的驾驶行为；可以采用车载传感器数据来检测并预测驾驶行为。

对话生成子模型：产生与驾驶员自然且主动的对话，可以提供驾驶指南、景点介绍等信息；也可以开展与驾驶无关的闲聊，降低驾驶疲劳，需要理解语境与驾驶员的对话意图，并据此生成恰当的回复。

交互策略生成子模型：根据不同场景选择对应的交互内容、形式和策略。如在高速公路上选择音频交互，在城市道路上可以选择视觉交互，在准备泊车时提供辅助信息等；同时兼顾驾驶员的认知负荷，避免过于频繁或突兀的交互。

综上，车辆可以根据环境与驾驶员状态选择恰当的时机与方式主动与驾驶员/乘客交互，但是交互的策略和内容需要考虑到行车安全，避免引起驾驶员/乘客注意力分散或情绪激动。

在本发明实施例中，生理数据/信号采集方式包括但不限于：采用头盔或头箍安装的脑电图传感器采集脑电信号、胸带传感器采集心电信号、车载监控摄像头采集驾乘人员视线信息等；环境信息采集方式包括但不限于：将温湿度传感器、光照传感器等安装在车舱内采集环境信息；驾驶状态信息采集方式包括但不限于：获取方向盘转角传感器、刹车踏板传感器、里程计等数据来判断驾乘人员的驾驶操作(或其他操作)和车辆状态；

在本发明实施例中，多模态信息融合方案可以为：采用深度学习神经网络模型融合生理信号、环境信息和驾驶状态信息，分析判断驾乘人员的意图(如变道意图)、认知负荷状态(如精神疲劳)和视觉注意力(如侧后视监测)等。

在本发明实施例中，主动交互方案可以包括但不限于：根据判断结果，车载***可以通过车载显示屏高亮显示驾乘人员视线关注区域外的重要信息(如盲区车辆)；可以通过语音提醒驾乘人员注意盲区或变道；亦可以控制车载***自动完成一些驾驶操作(如自动变道)以减轻驾乘人员认知负荷。

在本发明实施例中，交互评估方案可以包括但不限于：***记录驾乘人员对各交互提示的反应和操作，评估交互效果，并不断优化交互策略和深度学习模型，实现人机交互的定制化和个性化。

本发明实施例的方案利用多模态信息和人工智能技术实现对驾乘人员状态的准确判断，并主动进行交互，能够最大限度减轻驾乘人员的工作量，提供自定义的驾驶体验，实现安全而舒适的驾驶。

在本发明实施例中，多模态信息融合的实现方案具体可以包括：

选取驾乘人员的脑电图、视线数据、方向盘转角、车速等信息作为神经网络输入。这些信息反映了驾乘人员的认知状态、视觉注意力以及驾驶操作和车辆状态。

对输入信息采用CNN(卷积神经网络)和LSTM(长短期记忆网络)等深度学习模型进行特征提取和序列建模，得到能反映驾乘人员意图和状态的特征向量。

将特征向量输入到分类模型(如Softmax分类器)中，得到驾乘人员的意图判断结果，如变道意图：特征向量表明3秒内视线聚集在左侧后视镜、方向盘略向左转、车速保持不变，则判断为变道意图。精神疲劳：过去5分钟脑电低频功率增加、眼动减慢，判断为精神疲劳状态。侧后视监测：特征向量表明视线在过去2秒钟扫视过左侧后视镜，判断驾乘人员正在监测左侧后视。

对判断结果采取以下交互操作：

变道意图：显示屏高亮显示左侧后视区域，并语音提示“注意左侧后视”；

精神疲劳：播放提神音乐，并语音提示“您看起来有些疲劳，是否需要休息”；

侧后视监测：无须交互，继续监测驾乘人员状态。

本发明实施例的实现方案通过深度学习方法研判驾乘人员复杂状态，并主动交互提示，达到减轻驾乘人员认知负荷，提高驾驶安全的目的。结合更丰富的输入信息和交互手段，本实施例的方案可以达到定制化人机交互的效果。

在本发明实施例中，对CNN和LSTM在方案中的应用作详细解释：

1.CNN对视线数据和脑电图数据进行特征提取。

视线数据：将监测到的驾乘人员视线轨迹图像作为CNN输入，CNN通过卷积层和池化层提取视线特征，如视线聚集区域、视线转移速度等，以判断视觉注意力。

脑电图数据：将脑电图信号图像作为CNN输入，CNN提取脑电频谱特征，如α波、β波和θ波能量特征，以判断精神状态如疲劳程度。

2.LSTM对时间序列数据如方向盘转角、车速等进行序列建模。

将一系列时域上采集的方向盘转角度和车速数据输入到LSTM，LSTM通过遗忘门和输出门机制捕捉数据中的动态变化特征和长期依赖关系，建立方向盘操作和车速变化的序列模型。基于该序列模型可以判断驾乘人员的驾驶意图，如加速、减速、变道等意图。

3.将CNN提取的视线和脑电特征以及LSTM建立的序列模型特征联合作为分类器输入，进行驾乘人员状态和意图的判断。

分类器综合各特征信息的表征性和区分性，对驾乘人员状态和意图进行精确判断。

随着输入数据量的增加，分类器的性能会不断提高，实现对驾乘人员状态的深度理解。

本发明实施例的方案运用CNN和LSTM分别对图像数据和时间序列数据进行特征学习和序列建模，将多种类型的数据表征统一到一个分类器中，这种多模态的深度学习方法可以取得很好的效果，为判断驾乘人员的意图状态和实现主动交互提供了技术基础。

在本发明一些可能的实施方式中，所述车辆的方向盘为触摸式方向盘；所述方向盘的轮圈和轮辐均设置有柔性触摸屏和柔性显示屏；所述轮圈表面设置有指纹识别区；所述轮圈内部设置有多个传感器。

可以理解的是，为了能使得驾驶员方便、智能地使用方向盘，在本实施例中，所述方向盘的轮圈和轮辐可以是部分(如驾驶员视线范围内的区域，或者驾驶员视线关注时间占比超过第一预设时间占比的区域)或全部区域可触摸(设置有触摸传感器)，也可以是部分(如根据历史数据推测出的驾驶员在驾驶过程中，超过第二预设时间占比的时间里所握住的方向盘上的区域)或全部区域可接收压力输入(设置有压力传感器)。

指纹识别区连接指纹采集传感器和进行识别处理的处理器，可以通过指纹验证，启用或锁定方向盘上的部分功能/操作，以保证驾驶安全。

应当说明的是，多个传感器的设置可以根据方向盘的历史使用数据，进行大数据分析后确定所要设置的传感器类型、个数、区域、距离、分辨率等，在多个传感器安装好后，可以利用软件控制方法，根据驾驶员的个性特征(如手掌大小、握力大小、视线关注区域等)调整多个传感器中被触发的传感器的类型、个数、对应区域、分辨率等。

为了在行驶过程中及时而且高效地提醒驾乘人员进行对应的操作，在本发明一些可能的实施方式中，所述获取模块被配置为：获取所述车辆的第一当前位置信息和导航***的第一导航数据；

所述控制处理模块被配置为：

根据所述第一当前位置信息和所述第一导航数据确定所述车辆是否到达预设位置；

当达到所述预设位置时(如离需要转向的路口距离达到第一预设距离时，或者距预设的加油站/充电站的距离达到第二距离时等)，提示所述车辆的驾乘人员进行触摸操作方式(如在所述方向盘上显示操作示意图或文字或动画等，或者通过HUD投影显示操作示意图或文字或动画等)。

为了获得精确的主动交互模型，在本发明一些可能的实施方式中，所述获取驾乘人员的历史行为数据，并根据所述历史行为数据得到第一主动交互模型的步骤，所述控制处理模块被配置为：

通过汽车模拟驾驶器获取登录***的驾乘人员的第一登录账号；

根据所述第一登录账号获取对应的历史导航数据和历史驾驶行为数据(以及使用智能手机、智能家电等智能终端的历史交互行为数据等)；

根据所述历史导航数据，获取对应导航路线上的第一路段数据和第一环境数据；

根据所述历史驾驶行为数据、所述第一路段数据和所述第一环境数据，生成第一模拟驾驶场景；

在所述驾乘人员根据所述第一模拟驾驶场景操作所述汽车模拟驾驶器的过程中，控制所述汽车模拟驾驶器采集所述驾乘人员的第一行为数据和第一生理反应数据；

根据所述第一行为数据和所述第一生理反应数据，生成第一场景反应模型；

根据所述第一场景反应模型(以及使用智能手机、智能家电等智能终端的历史交互行为数据等)，生成所述第一主动交互模型；

将所述第一主动交互模型与所述第一登录账号进行绑定并同步至管理服务器；

当所述驾乘人员通过第一车辆利用所述第一登录账号登录时，所述管理服务器检测所述第一车辆是否同步过所述第一主动交互模型；

若否，则将所述第一主动交互模型同步至所述第一车辆；

所述第一车辆根据所述第一主动交互模型触发对应的监测模块以进行提示与接收所述驾乘人员的交互数据。

应当说明的是，因移动互联网、物联网、智能终端技术的发展，用户已在各智能终端上形成了深度依赖的交互方式，故本实施例中，根据所述第一场景反应模型，以及所述驾乘人员使用智能手机、智能家电等智能终端的历史交互行为数据，生成所述第一主动交互模型

可以理解的是，为了使得交互模型更精准符合驾乘人员的风格，在本实施例中，还可以进一步获取所述第一车辆的车辆特征数据(如结构数据，包括车辆尺寸、轴距、车身材料等反映车辆的整体结构特征的数据；力学数据，包括发动机/电动机功率、扭矩、轴重分布等反映车辆的动力学性能与操纵稳定性特征的数据；状态数据，包括速度、加速度、倾斜角、位置等由车载传感器获取的实时状态数据；控制数据，包括方向盘转角、油门/刹车踏板位置等由控制器获取，反映驾驶员的操控行为的数据；可以判断相关部件或***的故障状况的、由各车载电子控制单元报告的故障码；各关键部件如发动机/电动机、变速箱、制动***的工作时间或里程数据，可以用于预测部件的寿命与更换周期；油耗/耗电数据，由油耗传感器、电源管理器获取的实时油耗/电耗数据，反映车辆的整体经济性；行驶数据，包括行驶时间、里程、路线、车速分布等由车载定位与导航***获取、反映车辆的使用情况的数据)；再根据车辆特征数据对所述第一主动交互模型进行修改，得到修改后更符合第一车辆的实际状况的主动交互模型。

在本发明一些可能的实施方式中，对所述触摸式方向盘进行操作的方式包括触摸操作；所述触摸操作包括左手和/或右手在所述触摸式方向盘上进行滑动、敲击、抓握、握住滑动、指纹验证操作中的至少一个；

所述控制处理模块被配置为：

在所述驾乘人员对所述触摸式方向盘进行第一触摸操作的同时触发所述第一车辆上设置的摄像装置和声音采集装置获取所述驾乘人员第一图像数据和第一声音数据；

根据所述第一图像数据、所述第一声音数据、所述第一触摸操作确定所述第一触摸操作对应的第一触摸操作指令；

结合所述第一主动交互模型执行所述第一触摸操作指令。

可以理解的是，为了方便驾驶员对方向盘进行高效准确的操作，本发明实施例中，对所述触摸式方向盘进行操作的方式包括触摸操作，所述触摸操作包括但不限于：

单独左手触摸操作，具体是：左手进行手指或手掌滑动、手指敲击、抓握、握住滑动、指纹验证等操作；

单独右手触摸操作，具体是：右手进行手指或手掌滑动、手指敲击、抓握、握住滑动、指纹验证等操作

双手触摸操作，具体是：双手同时或间隔设定时间进行手指或手掌滑动、手指敲击、抓握、握住滑动、指纹验证等操作。

应当说明的是，根据滑动、手指敲击、抓握、握住滑动等操作的位置或持续时间/时间间隔的不同，可以定义不同的对应操作指令，比如，同样是左手固定方向盘不动、右手握住方向盘的轮圈进行滑动的操作，滑动第一预设距离对应的操作指令可以是启动右转向灯，滑动第二预设距离对应的操作指令可以是通过HUD展示车辆右后方盲区的景象等。

在所述驾乘人员对所述触摸式方向盘进行第一触摸操作的同时触发所述第一车辆上设置的摄像装置和声音采集装置获取所述驾乘人员第一图像数据和第一声音数据；根据所述第一图像数据、所述第一声音数据、所述第一触摸操作确定所述第一触摸操作对应的第一触摸操作指令；结合所述第一主动交互模型执行所述第一触摸操作指令。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如上述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。

上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例上述方法的全部或部分步骤。而前述的存储器包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、只读存储器(英文：Read-Only Memory，简称：ROM)、随机存取器(英文：Random Access Memory，简称：RAM)、磁盘或光盘等。

以上对本申请实施例进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

虽然本发明披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本发明的精神和范围内，可轻易想到变化或替换，均可作各种更动与修改，包含上述不同功能、实施步骤的组合，包含软件和硬件的实施方式，均在本发明的保护范围。

Claims (4)

1.一种主动式人机交互方法，其特征在于，包括：

获取驾乘人员的历史行为数据，并根据所述历史行为数据得到第一主动交互模型；

实时采集所述驾乘人员的第一输入数据、第一生理数据、第一车辆状态数据以及第一环境数据；

对所述第一输入数据、所述第一生理数据、所述第一车辆状态数据和所述第一环境数据进行处理得到第一整合数据；

根据所述第一整合数据，采用多模态信息融合和深度学习方法判断所述驾乘人员的意图、认知状态和视觉注意力，得到第一判断结果；

根据所述第一判断结果和所述第一主动交互模型，向所述驾乘人员发出第一语音提醒和/或在车载显示器上显示第一提醒信息；

接收所述驾乘人员对所述第一语音提醒和/或所述第一提醒信息的第一反馈数据来评估交互效果，得到第一评估数据；

根据所述第一评估数据调整所述第一主动交互模型；

所述车辆的方向盘为触摸式方向盘；所述方向盘的轮圈和轮辐均设置有柔性触摸屏和柔性显示屏，所述柔性触摸屏设置于所述轮圈和轮辐上且驾驶员视线关注时间占比超过第一预设时间占比的区域；所述轮圈表面设置有指纹识别区；所述轮圈内部设置有多个传感器；所述多个传感器的设置是根据方向盘历史使用数据，进行大数据分析后确定所要设置的传感器的类型、个数、区域、距离、分辨率，在所述多个传感器安装好后，根据所述驾乘人员中的当前驾驶员的个性特征数据调整所述多个传感器中被触发的具体的传感器的类型、个数、对应区域、分辨率，所述个性特征数据包括手掌大小、握力大小、视线关注区域；

还包括步骤：

获取所述车辆的第一当前位置信息和导航***的第一导航数据；

根据所述第一当前位置信息和所述第一导航数据确定所述车辆是否到达预设位置；

当达到所述预设位置时，提示所述车辆的驾乘人员进行触摸操作方式；

还包括步骤：

汽车模拟驾驶器获取登录***的驾乘人员的第一登录账号；

根据所述第一登录账号获取对应的历史导航数据和历史驾驶行为数据以及使用智能手机、智能家电的历史交互行为数据；

根据所述历史导航数据，获取对应导航路线上的第一路段数据和第一环境数据；

根据所述历史驾驶行为数据、所述第一路段数据和所述第一环境数据，生成第一模拟驾驶场景；

在所述驾乘人员根据所述第一模拟驾驶场景操作所述汽车模拟驾驶器的过程中，采集所述驾乘人员的第一行为数据和第一生理反应数据；

根据所述第一行为数据和所述第一生理反应数据，生成第一场景反应模型；

根据所述第一场景反应模型和所述历史交互行为数据，生成所述第一主动交互模型；

将所述第一主动交互模型与所述第一登录账号进行绑定并同步至管理服务器；

当所述驾乘人员通过第一车辆利用所述第一登录账号登录时，所述管理服务器检测所述第一车辆是否同步过所述第一主动交互模型；

若否，则将所述第一主动交互模型同步至所述第一车辆；

所述第一车辆根据所述第一主动交互模型触发对应的监测模块以进行提示与接收所述驾乘人员的交互数据。

2.根据权利要求1所述的主动式人机交互方法，其特征在于，对所述触摸式方向盘进行操作的方式包括触摸操作；所述触摸操作包括左手和/或右手在所述触摸式方向盘上进行滑动、敲击、抓握、握住滑动、指纹验证操作中的至少一个；

在所述驾乘人员对所述触摸式方向盘进行第一触摸操作的同时触发所述第一车辆上设置的摄像装置和声音采集装置获取所述驾乘人员第一图像数据和第一声音数据；

根据所述第一图像数据、所述第一声音数据、所述第一触摸操作确定所述第一触摸操作对应的第一触摸操作指令；

结合所述第一主动交互模型执行所述第一触摸操作指令。

3.一种新能源汽车，其特征在于，包括：获取模块和控制处理模块；

所述获取模块被配置为：

获取驾乘人员的历史行为数据，并根据所述历史行为数据得到第一主动交互模型；

实时采集所述驾乘人员的第一输入数据、第一生理数据、第一车辆状态数据以及第一环境数据；

所述控制处理模块被配置为：

对所述第一输入数据、所述第一生理数据、所述第一车辆状态数据和所述第一环境数据进行处理得到第一整合数据；

根据所述第一整合数据，采用多模态信息融合和深度学习方法判断所述驾乘人员的意图、认知状态和视觉注意力，得到第一判断结果；

根据所述第一判断结果和所述第一主动交互模型，向所述驾乘人员发出第一语音提醒和/或在车载显示器上显示第一提醒信息；

接收所述驾乘人员对所述第一语音提醒和/或所述第一提醒信息的第一反馈数据来评估交互效果，得到第一评估数据；

根据所述第一评估数据调整所述第一主动交互模型；

所述车辆的方向盘为触摸式方向盘；所述方向盘的轮圈和轮辐均设置有柔性触摸屏和柔性显示屏，所述柔性触摸屏设置于所述轮圈和轮辐上且驾驶员视线关注时间占比超过第一预设时间占比的区域；所述轮圈表面设置有指纹识别区；所述轮圈内部设置有多个传感器；所述多个传感器的设置是根据方向盘历史使用数据，进行大数据分析后确定所要设置的传感器的类型、个数、区域、距离、分辨率，在所述多个传感器安装好后，根据所述驾乘人员中的当前驾驶员的个性特征数据调整所述多个传感器中被触发的具体的传感器的类型、个数、对应区域、分辨率，所述个性特征数据包括手掌大小、握力大小、视线关注区域；

所述获取模块被配置为：获取所述车辆的第一当前位置信息和导航***的第一导航数据；

所述控制处理模块被配置为：

根据所述第一当前位置信息和所述第一导航数据确定所述车辆是否到达预设位置；

当达到所述预设位置时，提示所述车辆的驾乘人员进行触摸操作方式；

所述控制处理模块被配置为：

通过汽车模拟驾驶器获取登录***的驾乘人员的第一登录账号；

根据所述第一登录账号获取对应的历史导航数据和历史驾驶行为数据以及使用智能手机、智能家电的历史交互行为数据；

根据所述历史导航数据，获取对应导航路线上的第一路段数据和第一环境数据；

根据所述历史驾驶行为数据、所述第一路段数据和所述第一环境数据，生成第一模拟驾驶场景；

在所述驾乘人员根据所述第一模拟驾驶场景操作所述汽车模拟驾驶器的过程中，控制所述汽车模拟驾驶器采集所述驾乘人员的第一行为数据和第一生理反应数据；

根据所述第一行为数据和所述第一生理反应数据，生成第一场景反应模型；

根据所述第一场景反应模型和所述历史交互行为数据，生成所述第一主动交互模型；

将所述第一主动交互模型与所述第一登录账号进行绑定并同步至管理服务器；

当所述驾乘人员通过第一车辆利用所述第一登录账号登录时，所述管理服务器检测所述第一车辆是否同步过所述第一主动交互模型；

若否，则将所述第一主动交互模型同步至所述第一车辆；

所述第一车辆根据所述第一主动交互模型触发对应的监测模块以进行提示与接收所述驾乘人员的交互数据。

4.根据权利要求3所述的新能源汽车，其特征在于，对所述触摸式方向盘进行操作的方式包括触摸操作；所述触摸操作包括左手和/或右手在所述触摸式方向盘上进行滑动、敲击、抓握、握住滑动、指纹验证操作中的至少一个；

所述控制处理模块被配置为：

在所述驾乘人员对所述触摸式方向盘进行第一触摸操作的同时触发所述第一车辆上设置的摄像装置和声音采集装置获取所述驾乘人员第一图像数据和第一声音数据；

根据所述第一图像数据、所述第一声音数据、所述第一触摸操作确定所述第一触摸操作对应的第一触摸操作指令；

结合所述第一主动交互模型执行所述第一触摸操作指令。