CN116691699A - 基于情绪识别的驾驶模式调节方法、***、装置及介质 - Google Patents

Abstract

本发明公开了基于情绪识别的驾驶模式调节方法、***、装置及介质，包括：获取驾驶员的人脸图像信息、语音信息以及肢体动作信息，并获取目标车辆的行驶环境图像信息；根据人脸图像信息识别得到驾驶员的面部表情信息，根据语音信息识别得到驾驶员的语音情感信息，并根据肢体动作信息识别得到驾驶员的驾驶行为信息；根据行驶环境图像信息识别得到目标车辆的驾驶场景信息，并将面部表情信息、语音情感信息、驾驶行为信息以及驾驶场景信息输入到预先训练好的情绪识别模型，得到驾驶员的情绪识别结果；根据情绪识别结果和驾驶场景信息对目标车辆的驾驶模式进行调节。本发明提高了车辆行驶的安全性和驾驶员的驾驶体验，可广泛应用于车辆控制技术领域。

Description

基于情绪识别的驾驶模式调节方法、***、装置及介质

技术领域

本发明涉及车辆控制技术领域，尤其是一种基于情绪识别的驾驶模式调节方法、***、装置及存储介质。

背景技术

在汽车驾驶中，行驶安全最为重要，但大多数的交通事故都是人为因素导致的，而车内人员尤其是驾驶员的情绪则是导致人为交通事故的重要原因。在行车过程中，由于长途的驾驶容易导致驾驶员疲劳困倦，而堵车、糟糕的路况以及其它的车辆的不规范行为也会导致驾驶员产生愤怒、不满等不良情绪，从而影响车辆行驶的安全性。因此有必要对驾驶员的情绪进行识别，以便于及时调节驾驶模式，防止可能出现的交通事故。

现有技术中，驾驶员的情绪识别一般是通过驾驶员面部表情变化来进行识别，这种单一维度的情绪识别方式一方面容易受到外界环境的干扰，另一方面未考虑到车辆当前所处行驶环境，影响了驾驶员情绪识别的准确性；此外，现有技术中的驾驶模式大多通过驾驶员手动进行调节，效率较低，且在驾驶员情绪消极、异常时，往往忘记或不愿去主动调节驾驶模式，影响了车辆行驶的安全性和驾驶员的驾驶体验。

发明内容

本发明的目的在于至少一定程度上解决现有技术中存在的技术问题之一。

为此，本发明实施例的一个目的在于提供一种基于情绪识别的驾驶模式调节方法，该方法提高了驾驶员情绪识别的准确性，也提高了车辆行驶的安全性和驾驶员的驾驶体验。

本发明实施例的另一个目的在于提供一种基于情绪识别的驾驶模式调节***。

为了达到上述技术目的，本发明实施例所采取的技术方案包括：

第一方面，本发明实施例提供了一种基于情绪识别的驾驶模式调节方法，包括以下步骤：

获取驾驶员的人脸图像信息、语音信息以及肢体动作信息，并获取目标车辆的行驶环境图像信息；

根据所述人脸图像信息识别得到所述驾驶员的面部表情信息，根据所述语音信息识别得到所述驾驶员的语音情感信息，并根据所述肢体动作信息识别得到所述驾驶员的驾驶行为信息；

根据所述行驶环境图像信息识别得到所述目标车辆的驾驶场景信息，并将所述面部表情信息、所述语音情感信息、所述驾驶行为信息以及所述驾驶场景信息输入到预先训练好的情绪识别模型，得到所述驾驶员的情绪识别结果；

根据所述情绪识别结果和所述驾驶场景信息对所述目标车辆的驾驶模式进行调节。

进一步地，在本发明的一个实施例中，所述获取驾驶员的人脸图像信息、语音信息以及肢体动作信息，并获取目标车辆的行驶环境图像信息这一步骤，其具体包括：

通过设置在所述目标车辆内的第一摄像装置获取所述驾驶员的人脸图像信息；

通过设置在所述目标车辆内的语音采集装置获取所述驾驶员的语音信息；

通过所述驾驶员穿戴的姿态传感器获取所述驾驶员的肢体动作信息；

通过设置在所述目标车辆外的第二摄像装置获取所述目标车辆的行驶环境图像信息。

进一步地，在本发明的一个实施例中，所述根据所述人脸图像信息识别得到所述驾驶员的面部表情信息，根据所述语音信息识别得到所述驾驶员的语音情感信息，并根据所述肢体动作信息识别得到所述驾驶员的驾驶行为信息这一步骤，其具体包括：

对所述人脸图像信息进行纹理特征提取得到面部特征信息，并将所述面部特征信息输入到预设的面部表情识别模型，得到所述面部表情信息；

对所述语音信息进行声学特征提取得到声学特征信息，并将所述声学特征信息输入到预设的语音情感识别模型，得到所述语音情感信息；

对所述肢体动作信息进行姿态特征提取得到姿态特征信息，并将所述姿态特征信息输入到预设的驾驶行为识别模型，得到所述驾驶行为信息。

进一步地，在本发明的一个实施例中，所述根据所述行驶环境图像信息识别得到所述目标车辆的驾驶场景信息这一步骤，其具体包括：

对所述行驶环境图像信息进行目标检测得到若干个目标对象，所述目标对象包括机动车、非机动车、行人以及红绿灯中的至少一种；

根据连续多帧所述行驶环境图像信息确定所述目标对象的状态变化信息；

根据所述状态变化信息确定所述目标车辆的驾驶场景信息；

其中，所述驾驶场景信息包括堵车场景、变道插队场景、非机动车占道场景、行人占道场景以及闯红灯场景中的至少一种。

进一步地，在本发明的一个实施例中，所述基于情绪识别的驾驶模式调节方法还包括预先训练所述情绪识别模型的步骤，其具体包括：

获取预设的多个情绪识别样本数据，并确定各所述情绪识别样本数据的标签信息，所述情绪识别样本数据由测试人员的面部表情样本数据、语音情感样本数据、驾驶行为样本数据以及驾驶场景样本数据组成；

根据所述情绪识别样本数据和对应的所述标签信息构建训练数据集；

将所述训练数据集输入到预先构建的深度神经网络进行训练，得到训练好的所述情绪识别模型。

进一步地，在本发明的一个实施例中，所述将所述训练数据集输入到预先构建的深度神经网络进行训练，得到训练好的所述情绪识别模型这一步骤，其具体包括：

基于注意力机制对所述面部表情样本数据、所述语音情感样本数据、所述驾驶行为样本数据以及所述驾驶场景样本数据进行权重分配；

将带权重的所述面部表情样本数据、所述语音情感样本数据、所述驾驶行为样本数据以及所述驾驶场景样本数据输入到所述深度神经网络，识别得到情绪预测结果；

根据所述情绪预测结果和所述标签信息确定所述深度神经网络的损失值；

根据所述损失值通过反向传播算法更新所述深度神经网络的模型参数，并返回将带权重的所述面部表情样本数据、所述语音情感样本数据、所述驾驶行为样本数据以及所述驾驶场景样本数据输入到所述深度神经网络这一步骤；

当所述损失值达到预设的第一阈值或迭代次数达到预设的第二阈值，停止训练，得到训练好的所述情绪识别模型。

进一步地，在本发明的一个实施例中，所述根据所述情绪识别结果和所述驾驶场景信息对所述目标车辆的驾驶模式进行调节这一步骤，其具体包括：

根据所述情绪识别结果和所述驾驶场景信息生成第一数组；

获取预设的驾驶模式数据池，所述驾驶模式数据池包括多个第一映射关系，所述第一映射关系为所述第一数组与对应的驾驶模式的映射关系；

根据所述第一数组和所述第一映射关系确定目标驾驶模式，并通过车身控制器控制所述目标车辆切换至所述目标驾驶模式。

第二方面，本发明实施例提供了一种基于情绪识别的驾驶模式调节***，包括：

信息获取模块，用于获取驾驶员的人脸图像信息、语音信息以及肢体动作信息，并获取目标车辆的行驶环境图像信息；

信息识别模块，用于根据所述人脸图像信息识别得到所述驾驶员的面部表情信息，根据所述语音信息识别得到所述驾驶员的语音情感信息，并根据所述肢体动作信息识别得到所述驾驶员的驾驶行为信息；

情绪识别模块，用于根据所述行驶环境图像信息识别得到所述目标车辆的驾驶场景信息，并将所述面部表情信息、所述语音情感信息、所述驾驶行为信息以及所述驾驶场景信息输入到预先训练好的情绪识别模型，得到所述驾驶员的情绪识别结果；

驾驶模式调节模块，用于根据所述情绪识别结果和所述驾驶场景信息对所述目标车辆的驾驶模式进行调节。

第三方面，本发明实施例提供了一种基于情绪识别的驾驶模式调节装置，包括：

至少一个处理器；

至少一个存储器，用于存储至少一个程序；

当所述至少一个程序被所述至少一个处理器执行时，使得所述至少一个处理器实现上述的一种基于情绪识别的驾驶模式调节方法。

第四方面，本发明实施例还提供了一种计算机可读存储介质，其中存储有处理器可执行的程序，所述处理器可执行的程序在由处理器执行时用于执行上述的一种基于情绪识别的驾驶模式调节方法。

本发明的优点和有益效果将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到：

本发明实施例获取驾驶员的人脸图像信息、语音信息以及肢体动作信息，并获取目标车辆的行驶环境图像信息，根据人脸图像信息识别得到驾驶员的面部表情信息，根据语音信息识别得到驾驶员的语音情感信息，并根据肢体动作信息识别得到驾驶员的驾驶行为信息，然后根据行驶环境图像信息识别得到目标车辆的驾驶场景信息，并将面部表情信息、语音情感信息、驾驶行为信息以及驾驶场景信息输入到预先训练好的情绪识别模型，得到驾驶员的情绪识别结果，进而可以根据情绪识别结果和驾驶场景信息对目标车辆的驾驶模式进行调节。本发明实施例对驾驶员的面部表情信息、语音情感信息、驾驶行为信息以及目标车辆的驾驶场景信息分别进行识别，然后基于这四个维度的识别信息利用预先训练好的情绪识别模型对驾驶员进行情绪识别，克服了单一维度的特征容易受到外界环境影响的缺陷，且考虑了车辆当前所处行驶环境对驾驶员情绪的影响，提高了驾驶员情绪识别的准确性；基于情绪识别结果和驾驶场景信息对目标车辆的驾驶模式进行调节，提高了驾驶模式调节的效率和准确性，从而提高了车辆行驶的安全性和驾驶员的驾驶体验。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面对本发明实施例中所需要使用的附图作以下介绍，应当理解的是，下面介绍中的附图仅仅为了方便清晰表述本发明的技术方案中的部分实施例，对于本领域的技术人员来说，在无需付出创造性劳动的前提下，还可以根据这些附图获取到其他附图。

图1为本发明实施例提供的一种基于情绪识别的驾驶模式调节方法的步骤流程图；

图2为本发明实施例提供的一种基于情绪识别的驾驶模式调节***的结构框图；

图3为本发明实施例提供的一种基于情绪识别的驾驶模式调节装置的结构框图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。对于以下实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。

在本发明的描述中，多个的含义是两个或两个以上，如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。此外，除非另有定义，本文所使用的所有的技术和科学术语与本技术领域的技术人员通常理解的含义相同。

参照图1，本发明实施例提供了一种基于情绪识别的驾驶模式调节方法，具体包括以下步骤：

S101、获取驾驶员的人脸图像信息、语音信息以及肢体动作信息，并获取目标车辆的行驶环境图像信息。

具体地，本发明实施例基于驾驶员的面部表情、语音情感、驾驶行为以及目标车辆的驾驶场景这四个维度进行驾驶员情绪的识别，其中，驾驶员的人脸图像信息可以识别得到驾驶员的面部表情，语音信息可以识别得到驾驶员的语音情感，肢体动作信息可以识别得到驾驶员的驾驶行为，而目标车辆的行驶环境图像信息可以识别得到目标车辆的驾驶场景。

进一步作为可选的实施方式，获取驾驶员的人脸图像信息、语音信息以及肢体动作信息，并获取目标车辆的行驶环境图像信息这一步骤，其具体包括：

S1011、通过设置在目标车辆内的第一摄像装置获取驾驶员的人脸图像信息；

S1012、通过设置在目标车辆内的语音采集装置获取驾驶员的语音信息；

S1013、通过驾驶员穿戴的姿态传感器获取驾驶员的肢体动作信息；

S1014、通过设置在目标车辆外的第二摄像装置获取目标车辆的行驶环境图像信息。

具体地，人脸图像信息可通过设置在驾驶座前方的第一摄像装置获取；语音信息可通过设置在驾驶舱的语音采集装置获取；肢体动作信息可通过采集人体各个部位的姿态数据得到，对于驾驶员来说，采集其手臂、肩膀、头部、颈部等关键部位的姿态数据即可得到反映其驾驶行为的肢体动作信息，具体可通过在人体各个关键部位设置姿态传感器来采集对应部位的姿态数据，整合得到肢体动作信息；目标了的行驶环境图像信息可通过设置在目标车辆外侧(包括前后左右各个方向)的第二摄像装置获取。

S102、根据人脸图像信息识别得到驾驶员的面部表情信息，根据语音信息识别得到驾驶员的语音情感信息，并根据肢体动作信息识别得到驾驶员的驾驶行为信息。

进一步作为可选的实施方式，根据人脸图像信息识别得到驾驶员的面部表情信息，根据语音信息识别得到驾驶员的语音情感信息，并根据肢体动作信息识别得到驾驶员的驾驶行为信息这一步骤，其具体包括：

S1021、对人脸图像信息进行纹理特征提取得到面部特征信息，并将面部特征信息输入到预设的面部表情识别模型，得到面部表情信息；

S1022、对语音信息进行声学特征提取得到声学特征信息，并将声学特征信息输入到预设的语音情感识别模型，得到语音情感信息；

S1023、对肢体动作信息进行姿态特征提取得到姿态特征信息，并将姿态特征信息输入到预设的驾驶行为识别模型，得到驾驶行为信息。

具体地，对人脸图像信息进行纹理特征提取，得到各个关键区域的面部特征信息，如眼睛、眉毛、鼻子、嘴巴等能反映人脸表情的区域的纹理特征，然后将面部特征信息输入到面部表情识别模型，得到面部表情信息。可以理解的是，面部表情识别模型可采用现有技术已公开的神经网络模型，本发明实施例对其训练过程不作赘述。

将肢体动作信息分解为人体各个部位的姿态数据，即可得到人体各个部位的人体动作姿态，将人体各个部位的人体动作姿态按照特定部位顺序进行排列形成数组，即可得到姿态特征信息，然后将姿态特征信息输入到驾驶行为识别模型，得到驾驶行为信息。可以理解的是，驾驶行为识别模型可采用现有技术已公开的神经网络模型，本发明实施例对其训练过程不作赘述。

对语音信息依次进行预加重、分帧、加窗、快速傅里叶变换、三角窗滤波、对数运算以及离散余弦变换，得到语音信息的梅尔频率倒谱系数，然后根据梅尔频率倒谱系数确定多个语音特征，进而根据语音特征生成声学特征信息。

预加重处理其实是将语音信号通过一个高通滤波器，目的是提升高频部分，使信号的频谱变得平坦，保持在低频到高频的整个频带中，能用同样的信噪比求频谱。同时，也是为了消除发生过程中声带和嘴唇的效应，来补偿语音信号受到发音***所抑制的高频部分，也为了突出高频的共振峰。

分帧时先将N个采样点集合成一个观测单位，称为帧。通常情况下N的值为256或512，涵盖的时间约为20～30ms左右。为了避免相邻两帧的变化过大，因此会让两相邻帧之间有一段重叠区域，此重叠区域包含了M个取样点，通常M的值约为N的1/2或1/3。通常语音识别所采用语音信号的采样频率为8KHz或16KHz，以8KHz来说，若帧长度为256个采样点，则对应的时间长度是32ms。

加窗(Hamming Window)是将每一帧乘以汉明窗，以增加帧左端和右端的连续性。假设分帧后的信号为S(n)，n＝0,1,…,N-1，N为帧的大小，那么乘上汉明窗后S'(n)＝S(n)xW(n)，W(n)为汉明窗。

由于信号在时域上的变换通常很难看出信号的特性，所以通常将它转换为频域上的能量分布来观察，不同的能量分布，就能代表不同语音的特性。所以在乘上汉明窗后，每帧还必须再经过快速傅里叶变换以得到在频谱上的能量分布。对分帧加窗后的各帧信号进行快速傅里叶变换得到各帧的频谱。并对语音信号的频谱取模平方得到语音信号的功率谱。

三角窗滤波是将能量谱通过一组Mel尺度的三角形滤波器组，三角窗滤波有两个主要目的：对频谱进行平滑化，并消除谐波的作用，突显原先语音的共振峰，因此一段语音的音调或音高，是不会呈现在MFCC系数内，换句话说，以MFCC系数为特征的语音辨识***，并不会受到输入语音的音调不同而有所影响；此外，还可以降低运算量。

计算每个滤波器组输出的对数能量，然后经离散余弦变换(DCT)得到MFCC系数。根据MFCC系数即可确定语音信息的多个语音特征。

在一些可选的实施例中，语音特征包括梅尔频率倒谱系数的均值、标准差、方差、中值、最大值、最小值、四分位数、极差、陡峭度、偏斜度中的至少一种。

具体地，本发明实施例采用MFCC系数的均值、标准差、方差、中值、最大值、最小值、四分位数、极差、陡峭度、偏斜度共10种特征生成240维列向量作为语音特征向量，然后用matplotlib工具将语音特征向量生成48*48大小的曲线图像作为声学特征信息。

将生成的声学特征信息输入到语音情感识别模型，得到语音情感信息。可以理解的是，语音情感模型可采用现有技术已公开的神经网络模型，本发明实施例对其训练过程不作赘述。

S103、根据行驶环境图像信息识别得到目标车辆的驾驶场景信息，并将面部表情信息、语音情感信息、驾驶行为信息以及驾驶场景信息输入到预先训练好的情绪识别模型，得到驾驶员的情绪识别结果。

本发明实施例的情绪识别模型通过深度神经网络训练得到，将识别得到的面部表情信息、语音情感信息、驾驶行为信息以及驾驶场景信息输入到该情绪识别模型，即可得到对应的情绪识别结果。

进一步作为可选的实施方式，根据行驶环境图像信息识别得到目标车辆的驾驶场景信息这一步骤，其具体包括：

S1031、对行驶环境图像信息进行目标检测得到若干个目标对象，目标对象包括机动车、非机动车、行人以及红绿灯中的至少一种；

S1032、根据连续多帧行驶环境图像信息确定目标对象的状态变化信息；

S1033、根据状态变化信息确定目标车辆的驾驶场景信息；

其中，驾驶场景信息包括堵车场景、变道插队场景、非机动车占道场景、行人占道场景以及闯红灯场景中的至少一种。

具体地，本发明实施例对行驶环境图像信息进行目标检测，标示出图像中的机动车、非机动车、行人以及红绿灯等目标对象，然后确定连续的多帧图像中各个目标对象的状态变化信息，如机动车、非机动车以及行人的位置变化，又如机动车、红绿灯的亮灯情况变化等；根据目标对象的状态变化信息确定目标车辆的驾驶场景信息，例如，当机动车数量较多且位置变化幅度很小时，可确定驾驶场景信息为堵车场景，当红绿灯状态为行车绿灯且行人和非机动车在前方横向移动时，可确定驾驶场景信息为闯红灯场景。

在一些可选的实施例中，驾驶场景信息的识别也可以通过神经网络模型实现，具体而言，根据连续多帧行驶环境图像信息形成时序数据，输入到循环神经网络进行有监督训练，即可得到用于识别驾驶场景信息的神经网络模型，本发明实施例对其训练过程不作赘述。

进一步作为可选的实施方式，基于情绪识别的驾驶模式调节方法还包括预先训练情绪识别模型的步骤，其具体包括：

S201、获取预设的多个情绪识别样本数据，并确定各情绪识别样本数据的标签信息，情绪识别样本数据由测试人员的面部表情样本数据、语音情感样本数据、驾驶行为样本数据以及驾驶场景样本数据组成；

S202、根据情绪识别样本数据和对应的标签信息构建训练数据集；

S203、将训练数据集输入到预先构建的深度神经网络进行训练，得到训练好的情绪识别模型。

具体地，在构建训练数据集时，获取测试人员的人脸图像样本数据、语音样本数据、肢体动作样本数据以及测试车辆的行驶环境图像样本数据，然后基于前述介绍的识别方法识别得到面部表情样本数据、语音情感样本数据、驾驶行为样本数据以及驾驶场景样本数据，形成情绪识别样本数据，同时基于人工标注确定各个情绪识别样本数据对应的标签信息，该标签信息用于指示各个情绪识别样本数据对应的情绪类型，包括但不限于开心、乐观、自信、欣赏、放松等正面情绪，焦虑、紧张、愤怒、沮丧、悲伤、痛苦等负面情绪。根据情绪识别样本数据和对应的标签信息即可生成训练数据集。

进一步作为可选的实施方式，将训练数据集输入到预先构建的深度神经网络进行训练，得到训练好的情绪识别模型这一步骤，其具体包括：

S2031、基于注意力机制对面部表情样本数据、语音情感样本数据、驾驶行为样本数据以及驾驶场景样本数据进行权重分配；

S2032、将带权重的面部表情样本数据、语音情感样本数据、驾驶行为样本数据以及驾驶场景样本数据输入到深度神经网络，识别得到情绪预测结果；

S2033、根据情绪预测结果和标签信息确定深度神经网络的损失值；

S2034、根据损失值通过反向传播算法更新深度神经网络的模型参数，并返回将带权重的面部表情样本数据、语音情感样本数据、驾驶行为样本数据以及驾驶场景样本数据输入到深度神经网络这一步骤；

S2035、当损失值达到预设的第一阈值或迭代次数达到预设的第二阈值，停止训练，得到训练好的情绪识别模型。

具体地，本发明实施例基于注意力机制对情绪识别样本数据内的不同数据进行权重分配，通过权重分配可以设定不同数据对于情绪识别结果的影响，从而提高情绪识别的准确性，具体分配权重数值可以预先设定。将带权重参数的训练数据集中的数据输入到初始化后的深度神经网络模型后，可以得到模型输出的识别结果，即情绪预测结果，可以根据情绪预测结果和前述的标签信息来评估模型预测的准确性，从而对模型的参数进行更新。对于情绪识别模型来说，模型预测结果的准确性可以通过损失函数(Loss Function)来衡量，损失函数是定义在单个训练数据上的，用于衡量一个训练数据的预测误差，具体是通过单个训练数据的标签和模型对该训练数据的预测结果确定该训练数据的损失值。而实际训练时，一个训练数据集有很多训练数据，因此一般采用代价函数(Cost Function)来衡量训练数据集的整体误差，代价函数是定义在整个训练数据集上的，用于计算所有训练数据的预测误差的平均值，能够更好地衡量出模型的预测效果。对于一般的机器学***方损失函数、绝对损失函数、对数损失函数、交叉熵损失函数等均可以作为机器学习模型的损失函数，在此不再一一阐述。本发明实施例中，可以从中任选一种损失函数来确定训练的损失值。基于训练的损失值，采用反向传播算法对模型的参数进行更新，迭代几轮即可得到训练好的情绪识别模型。具体地迭代轮数可以预先设定，或者在测试集达到精度要求时认为训练完成。

S104、根据情绪识别结果和驾驶场景信息对目标车辆的驾驶模式进行调节。

进一步作为可选的实施方式，根据情绪识别结果和驾驶场景信息对目标车辆的驾驶模式进行调节这一步骤，其具体包括：

S1041、根据情绪识别结果和驾驶场景信息生成第一数组；

S1042、获取预设的驾驶模式数据池，驾驶模式数据池包括多个第一映射关系，第一映射关系为第一数组与对应的驾驶模式的映射关系；

S1043、根据第一数组和第一映射关系确定目标驾驶模式，并通过车身控制器控制目标车辆切换至目标驾驶模式。

具体地，本发明实施例预先构建驾驶模式数据池，预先设置不同驾驶模式(如运动、节能、雪地、越野、舒适、缓行等等)与情绪识别结果、驾驶场景信息的映射关系，例如当情绪识别结果为焦虑、驾驶场景信息为堵车场景时，设置对应的驾驶模式为缓行，该模式下降低车辆动力输出、增强刹车灵敏度且播放舒缓情绪的音乐。根据该驾驶模式数据池和实时识别到的情绪识别结果、驾驶场景信息即可确定对应的目标驾驶模式，并通过车身控制器进行驾驶模式的自动切换。

在一些可选的实施例中，当情绪识别结果为焦虑、紧张、愤怒、沮丧、悲伤、痛苦等负面情绪时，可以预测到驾驶员存在驾驶风险，并且通过语音提醒装置播放预设情绪引导内容对驾驶员进行情绪引导。

在一些可选的实施例中，可预先标定不同负面情绪的情绪类型对应的驾驶风险等级，然后根据情绪识别结果确定驾驶员当前的驾驶风险等级，根据驾驶风险等级的不同采取不同的情绪引导策略。

在一些可选的实施例中，可预先针对不同负面情绪的情绪类型直接设定对应的情绪引导内容，当检测到驾驶员存在某类负面情绪时，播放对应的情绪引导内容对驾驶员进行情绪引导。

以上对本发明实施例的方法步骤进行了说明。可以理解的是，本发明实施例对驾驶员的面部表情信息、语音情感信息、驾驶行为信息以及目标车辆的驾驶场景信息分别进行识别，然后基于这四个维度的识别信息利用预先训练好的情绪识别模型对驾驶员进行情绪识别，克服了单一维度的特征容易受到外界环境影响的缺陷，且考虑了车辆当前所处行驶环境对驾驶员情绪的影响，提高了驾驶员情绪识别的准确性；基于情绪识别结果和驾驶场景信息对目标车辆的驾驶模式进行调节，提高了驾驶模式调节的效率和准确性，从而提高了车辆行驶的安全性和驾驶员的驾驶体验。

参照图2，本发明实施例提供了一种基于情绪识别的驾驶模式调节***，包括：

信息获取模块，用于获取驾驶员的人脸图像信息、语音信息以及肢体动作信息，并获取目标车辆的行驶环境图像信息；

信息识别模块，用于根据人脸图像信息识别得到驾驶员的面部表情信息，根据语音信息识别得到驾驶员的语音情感信息，并根据肢体动作信息识别得到驾驶员的驾驶行为信息；

情绪识别模块，用于根据行驶环境图像信息识别得到目标车辆的驾驶场景信息，并将面部表情信息、语音情感信息、驾驶行为信息以及驾驶场景信息输入到预先训练好的情绪识别模型，得到驾驶员的情绪识别结果；

驾驶模式调节模块，用于根据情绪识别结果和驾驶场景信息对目标车辆的驾驶模式进行调节。

上述方法实施例中的内容均适用于本***实施例中，本***实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。

参照图3，本发明实施例提供了一种基于情绪识别的驾驶模式调节装置，包括：

至少一个处理器；

至少一个存储器，用于存储至少一个程序；

当上述至少一个程序被上述至少一个处理器执行时，使得上述至少一个处理器实现上述的一种基于情绪识别的驾驶模式调节方法。

上述方法实施例中的内容均适用于本装置实施例中，本装置实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。

本发明实施例还提供了一种计算机可读存储介质，其中存储有处理器可执行的程序，该处理器可执行的程序在由处理器执行时用于执行上述一种基于情绪识别的驾驶模式调节方法。

本发明实施例的一种计算机可读存储介质，可执行本发明方法实施例所提供的一种基于情绪识别的驾驶模式调节方法，可执行方法实施例的任意组合实施步骤，具备该方法相应的功能和有益效果。

本发明实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行图1所示的方法。

在一些可选择的实施例中，在方框图中提到的功能/操作可以不按照操作示图提到的顺序发生。例如，取决于所涉及的功能/操作，连续示出的两个方框实际上可以被大体上同时地执行或上述方框有时能以相反顺序被执行。此外，在本发明的流程图中所呈现和描述的实施例以示例的方式被提供，目的在于提供对技术更全面的理解。所公开的方法不限于本文所呈现的操作和逻辑流程。可选择的实施例是可预期的，其中各种操作的顺序被改变以及其中被描述为较大操作的一部分的子操作被独立地执行。

此外，虽然在功能性模块的背景下描述了本发明，但应当理解的是，除非另有相反说明，上述的功能和/或特征中的一个或多个可以被集成在单个物理装置和/或软件模块中，或者一个或多个功能和/或特征可以在单独的物理装置或软件模块中被实现。还可以理解的是，有关每个模块的实际实现的详细讨论对于理解本发明是不必要的。更确切地说，考虑到在本文中公开的装置中各种功能模块的属性、功能和内部关系的情况下，在工程师的常规技术内将会了解该模块的实际实现。因此，本领域技术人员运用普通技术就能够在无需过度试验的情况下实现在权利要求书中所阐明的本发明。还可以理解的是，所公开的特定概念仅仅是说明性的，并不意在限制本发明的范围，本发明的范围由所附权利要求书及其等同方案的全部范围来决定。

上述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例上述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行***、装置或设备(如基于计算机的***、包括处理器的***或其他可以从指令执行***、装置或设备取指令并执行指令的***)使用，或结合这些指令执行***、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行***、装置或设备或结合这些指令执行***、装置或设备而使用的装置。

计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印上述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得上述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行***执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

在本说明书的上述描述中，参考术语“一个实施方式/实施例”、“另一实施方式/实施例”或“某些实施方式/实施例”等的描述意指结合实施方式或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施方式，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施方式进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

以上是对本发明的较佳实施进行了具体说明，但本发明并不限于上述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (10)

1.一种基于情绪识别的驾驶模式调节方法，其特征在于，包括以下步骤：

获取驾驶员的人脸图像信息、语音信息以及肢体动作信息，并获取目标车辆的行驶环境图像信息；

根据所述人脸图像信息识别得到所述驾驶员的面部表情信息，根据所述语音信息识别得到所述驾驶员的语音情感信息，并根据所述肢体动作信息识别得到所述驾驶员的驾驶行为信息；

根据所述行驶环境图像信息识别得到所述目标车辆的驾驶场景信息，并将所述面部表情信息、所述语音情感信息、所述驾驶行为信息以及所述驾驶场景信息输入到预先训练好的情绪识别模型，得到所述驾驶员的情绪识别结果；

根据所述情绪识别结果和所述驾驶场景信息对所述目标车辆的驾驶模式进行调节。

2.根据权利要求1所述的一种基于情绪识别的驾驶模式调节方法，其特征在于，所述获取驾驶员的人脸图像信息、语音信息以及肢体动作信息，并获取目标车辆的行驶环境图像信息这一步骤，其具体包括：

通过设置在所述目标车辆内的第一摄像装置获取所述驾驶员的人脸图像信息；

通过设置在所述目标车辆内的语音采集装置获取所述驾驶员的语音信息；

通过所述驾驶员穿戴的姿态传感器获取所述驾驶员的肢体动作信息；

通过设置在所述目标车辆外的第二摄像装置获取所述目标车辆的行驶环境图像信息。

3.根据权利要求1所述的一种基于情绪识别的驾驶模式调节方法，其特征在于，所述根据所述人脸图像信息识别得到所述驾驶员的面部表情信息，根据所述语音信息识别得到所述驾驶员的语音情感信息，并根据所述肢体动作信息识别得到所述驾驶员的驾驶行为信息这一步骤，其具体包括：

对所述人脸图像信息进行纹理特征提取得到面部特征信息，并将所述面部特征信息输入到预设的面部表情识别模型，得到所述面部表情信息；

对所述语音信息进行声学特征提取得到声学特征信息，并将所述声学特征信息输入到预设的语音情感识别模型，得到所述语音情感信息；

对所述肢体动作信息进行姿态特征提取得到姿态特征信息，并将所述姿态特征信息输入到预设的驾驶行为识别模型，得到所述驾驶行为信息。

4.根据权利要求1所述的一种基于情绪识别的驾驶模式调节方法，其特征在于，所述根据所述行驶环境图像信息识别得到所述目标车辆的驾驶场景信息这一步骤，其具体包括：

对所述行驶环境图像信息进行目标检测得到若干个目标对象，所述目标对象包括机动车、非机动车、行人以及红绿灯中的至少一种；

根据连续多帧所述行驶环境图像信息确定所述目标对象的状态变化信息；

根据所述状态变化信息确定所述目标车辆的驾驶场景信息；

其中，所述驾驶场景信息包括堵车场景、变道插队场景、非机动车占道场景、行人占道场景以及闯红灯场景中的至少一种。

5.根据权利要求1所述的一种基于情绪识别的驾驶模式调节方法，其特征在于，所述基于情绪识别的驾驶模式调节方法还包括预先训练所述情绪识别模型的步骤，其具体包括：

获取预设的多个情绪识别样本数据，并确定各所述情绪识别样本数据的标签信息，所述情绪识别样本数据由测试人员的面部表情样本数据、语音情感样本数据、驾驶行为样本数据以及驾驶场景样本数据组成；

根据所述情绪识别样本数据和对应的所述标签信息构建训练数据集；

将所述训练数据集输入到预先构建的深度神经网络进行训练，得到训练好的所述情绪识别模型。

6.根据权利要求5所述的一种基于情绪识别的驾驶模式调节方法，其特征在于，所述将所述训练数据集输入到预先构建的深度神经网络进行训练，得到训练好的所述情绪识别模型这一步骤，其具体包括：

基于注意力机制对所述面部表情样本数据、所述语音情感样本数据、所述驾驶行为样本数据以及所述驾驶场景样本数据进行权重分配；

将带权重的所述面部表情样本数据、所述语音情感样本数据、所述驾驶行为样本数据以及所述驾驶场景样本数据输入到所述深度神经网络，识别得到情绪预测结果；

根据所述情绪预测结果和所述标签信息确定所述深度神经网络的损失值；

根据所述损失值通过反向传播算法更新所述深度神经网络的模型参数，并返回将带权重的所述面部表情样本数据、所述语音情感样本数据、所述驾驶行为样本数据以及所述驾驶场景样本数据输入到所述深度神经网络这一步骤；

当所述损失值达到预设的第一阈值或迭代次数达到预设的第二阈值，停止训练，得到训练好的所述情绪识别模型。

7.根据权利要求1至6中任一项所述的一种基于情绪识别的驾驶模式调节方法，其特征在于，所述根据所述情绪识别结果和所述驾驶场景信息对所述目标车辆的驾驶模式进行调节这一步骤，其具体包括：

根据所述情绪识别结果和所述驾驶场景信息生成第一数组；

获取预设的驾驶模式数据池，所述驾驶模式数据池包括多个第一映射关系，所述第一映射关系为所述第一数组与对应的驾驶模式的映射关系；

根据所述第一数组和所述第一映射关系确定目标驾驶模式，并通过车身控制器控制所述目标车辆切换至所述目标驾驶模式。

8.一种基于情绪识别的驾驶模式调节***，其特征在于，包括：

信息获取模块，用于获取驾驶员的人脸图像信息、语音信息以及肢体动作信息，并获取目标车辆的行驶环境图像信息；

信息识别模块，用于根据所述人脸图像信息识别得到所述驾驶员的面部表情信息，根据所述语音信息识别得到所述驾驶员的语音情感信息，并根据所述肢体动作信息识别得到所述驾驶员的驾驶行为信息；

情绪识别模块，用于根据所述行驶环境图像信息识别得到所述目标车辆的驾驶场景信息，并将所述面部表情信息、所述语音情感信息、所述驾驶行为信息以及所述驾驶场景信息输入到预先训练好的情绪识别模型，得到所述驾驶员的情绪识别结果；

驾驶模式调节模块，用于根据所述情绪识别结果和所述驾驶场景信息对所述目标车辆的驾驶模式进行调节。

9.一种基于情绪识别的驾驶模式调节装置，其特征在于，包括：

至少一个处理器；

至少一个存储器，用于存储至少一个程序；

当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如权利要求1至7中任一项所述的一种基于情绪识别的驾驶模式调节方法。

10.一种计算机可读存储介质，其中存储有处理器可执行的程序，其特征在于，所述处理器可执行的程序在由处理器执行时用于执行如权利要求1至7中任一项所述的一种基于情绪识别的驾驶模式调节方法。