CN117657170B - 一种新能源汽车智能安全和整车控制方法及*** - Google Patents
一种新能源汽车智能安全和整车控制方法及*** Download PDFInfo
- Publication number
- CN117657170B CN117657170B CN202410145870.1A CN202410145870A CN117657170B CN 117657170 B CN117657170 B CN 117657170B CN 202410145870 A CN202410145870 A CN 202410145870A CN 117657170 B CN117657170 B CN 117657170B
- Authority
- CN
- China
- Prior art keywords
- information
- vehicle
- emotion
- sensor data
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 230000008451 emotion Effects 0.000 claims abstract description 118
- 238000003062 neural network model Methods 0.000 claims abstract description 60
- 210000005252 bulbus oculi Anatomy 0.000 claims abstract description 48
- 238000006243 chemical reaction Methods 0.000 claims description 9
- 238000013135 deep learning Methods 0.000 claims description 8
- 238000005516 engineering process Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 5
- 230000008909 emotion recognition Effects 0.000 abstract 1
- 230000001276 controlling effect Effects 0.000 description 12
- 238000013528 artificial neural network Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 230000004913 activation Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 238000011217 control strategy Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Landscapes
- Feedback Control In General (AREA)
Abstract
本发明提供了一种新能源汽车智能安全和整车控制方法及***，该方法通过建立车辆的各传感器数据与车辆各部件对应工作模式下的控制信号的神经网络模型，其中，神经网络模型采用多层感知机；根据情绪信息，认证驾驶员身份，并控制车辆启动；获取人脸信息、语音语调信息、眼球信息、心率信息，并计算情绪值，同时确定情绪等级；获取车辆的传感器数据，根据传感器数据评估驾驶等级，确定驾驶等级与情绪等级的匹配度，并判断匹配度是否满足要求；若是，则将车辆的传感器数据输入神经网络模型中，输出对应的车辆各部件的控制信号，并根据车辆各部件的控制信号，对车辆进行控制，提高了驾驶员情绪识别准确度的同时，建立了与车辆控制的强关联。
Description
技术领域
本发明属于新能源汽车智能安全和整车控制技术领域，具体涉及一种新能源汽车智能安全和整车控制方法及***。
背景技术
随着社会的发展，汽车已成为人们必不可少的交通工具之一，而在汽车的使用过程中，因为驾驶员情绪不稳定引发的交通事故不在少数。
目前已存在通过人脸、语音语调等识别方式读取驾驶员的情绪，进行预警或对驾驶员情绪调节的技术，但仅采用单一的识别方式往往存在准确度欠佳的问题，同时，与车辆的控制关联不大，更多的是在车辆安全方面的控制。
发明内容
基于此，本发明实施例当中提供了一种新能源汽车智能安全和整车控制方法及***，旨在解决现有技术中，仅采用单一的识别方式识别驾驶员情绪往往存在准确度欠佳的问题，同时，驾驶员的情绪信息与车辆的控制并未建立强关联。
本发明实施例的第一方面提供了一种新能源汽车智能安全和整车控制方法，应用于搭载有多模态生物识别设备的新能源汽车中，所述多模态生物识别设备用于采集驾驶员的情绪信息，所述情绪信息至少包括人脸信息、语音语调信息、指纹信息、眼球信息、心率信息，所述方法包括：
建立车辆的各传感器数据与车辆各部件对应工作模式下的控制信号的神经网络模型，以根据输入的传感器数据，实现对车辆各部件的集成控制，其中，所述神经网络模型采用多层感知机；
根据所述多模态生物识别设备采集的至少一种情绪信息，确定驾驶员身份，并根据所述驾驶员身份，控制车辆启动；
获取所述多模态生物识别设备采集的人脸信息、语音语调信息、眼球信息、心率信息，并根据采集的人脸信息、指纹信息、眼球信息、心率信息，计算情绪值；
根据所述情绪值，确定情绪等级，其中，预先设置各情绪等级对应的情绪值范围，当计算得到的情绪值与某一情绪值范围匹配时，则确定该情绪值的情绪等级；
获取车辆的传感器数据，根据传感器数据评估驾驶等级，确定所述驾驶等级与所述情绪等级的匹配度，并判断所述匹配度是否满足要求；
若是，则将车辆的传感器数据输入所述神经网络模型中，输出对应的车辆各部件的控制信号，并根据车辆各部件的控制信号，对车辆进行控制；
所述获取所述多模态生物识别设备采集的人脸信息、语音语调信息、眼球信息、心率信息，并根据采集的人脸信息、指纹信息、眼球信息、心率信息，计算情绪值的步骤包括：
获取所述多模态生物识别设备采集的人脸信息、语音语调信息、眼球信息、心率信息，根据采集的人脸信息、语音语调信息、眼球信息、心率信息，分别确定预设时间内，人脸信息、语音语调信息、眼球信息、心率信息出现关键信息时的时刻及频次；
判断各关键信息的频次是否相同；
若是，则判断预设时间内各关键信息的时刻的间隔是否在预设范围内；
若是，则调用预设权值，根据预设时间内各关键信息的频次，计算所述情绪值；
若否，则确定预设时间内各关键信息的时刻的间隔处于预设范围内的各第一信息，以及预设时间内各关键信息的时刻的间隔未处于预设范围内的各第二信息；
调用另一预设权值，根据预设时间内各第一信息和各第二信息的频次，计算所述情绪值。
进一步的，所述建立车辆的各传感器数据与车辆各部件对应工作模式下的控制信号的神经网络模型，以根据输入的传感器数据，实现对车辆各部件的集成控制，其中，所述神经网络模型采用多层感知机的步骤之后包括：
获取神经网络模型信息，通过可解释深度学习技术，对神经网络模型进行控制，调整每个节点的权重和偏置，以优化网络的性能和稳定性，其中，所述神经网络模型信息至少包括神经网络模型的结构信息、参数信息及输出信息。
进一步的，所述获取车辆的传感器数据，根据传感器数据评估驾驶等级，确定所述驾驶等级与所述情绪等级的匹配度，并判断所述匹配度是否满足要求的步骤包括：
获取车辆的传感器数据，所述传感器数据至少包括车速、发动机温度、电池电压、电池电流；
根据所述车速、所述发动机温度、所述电池电压、所述电池电流，确定当前驾驶状态下的第一驾驶等级；
获取预设时间内，所述车速、所述发动机温度、所述电池电压、所述电池电流的变化值，确定第二驾驶等级；
根据所述第一驾驶等级和所述第二驾驶等级，确定目标驾驶等级；
根据所述目标驾驶等级和所述情绪等级，确定等级差异，并判断所述等级差异是否小于阈值；
若是，则执行所述将车辆的传感器数据输入所述神经网络模型中，输出对应的车辆各部件的控制信号，并根据车辆各部件的控制信号，对车辆进行控制的步骤。
进一步的，所述根据所述第一驾驶等级和所述第二驾驶等级，确定目标驾驶等级的步骤中，将所述第一驾驶等级和所述第二驾驶等级输入预先建立的等级转换模型，所述等级转换模型用于根据接收的所述第一驾驶等级和所述第二驾驶等级，输出对应的目标驾驶等级。
进一步的，所述分别确定预设时间内，人脸信息、语音语调信息、眼球信息、心率信息出现关键信息时的时刻及频次的步骤中，将任一人脸信息、语音语调信息、眼球信息、心率信息第一次出现关键信息时的时刻为所述预设时间的初始时刻，在所述初始时刻的基础上加上预设时段，为所述预设时间的终止时刻。
本发明实施例的第二方面提供了一种新能源汽车智能安全和整车控制***，用于实现上述的新能源汽车智能安全和整车控制方法，应用于搭载有多模态生物识别设备的新能源汽车中，所述多模态生物识别设备用于至少采集驾驶员的人脸信息、指纹信息、眼球信息、心率信息，所述***包括：
神经网络模型建立模块，用于建立车辆的各传感器数据与车辆各部件对应工作模式下的控制信号的神经网络模型，以根据输入的传感器数据，实现对车辆各部件的集成控制，其中，所述神经网络模型采用多层感知机；
身份认证模块，用于根据所述多模态生物识别设备采集的至少一种情绪信息，确定驾驶员身份，并根据所述驾驶员身份，控制车辆启动；
情绪值计算模块，用于获取所述多模态生物识别设备采集的人脸信息、语音语调信息、眼球信息、心率信息，并根据采集的人脸信息、指纹信息、眼球信息、心率信息，计算情绪值；
情绪等级确定模块，用于根据所述情绪值，确定情绪等级；
判断模块，用于获取车辆的传感器数据，根据传感器数据评估驾驶等级，并确定所述驾驶等级与所述情绪等级的匹配度，并判断所述匹配度是否满足要求；
控制模块，用于当判断所述匹配度满足要求时，则将车辆的传感器数据输入所述神经网络模型中，输出对应的车辆各部件的控制信号，并根据车辆各部件的控制信号，对车辆进行控制。
本发明实施例的第三方面提供了一种可读存储介质，包括：
所述可读存储介质存储一个或多个程序，该程序被处理器执行时实现上述的新能源汽车智能安全和整车控制方法。
本发明实施例的第四方面提供了一种电子设备，所述电子设备包括存储器和处理器，其中：
所述存储器用于存放计算机程序；
所述处理器用于执行所述存储器上所存放的计算机程序时，实现上述的新能源汽车智能安全和整车控制方法。
本发明提出的一种新能源汽车智能安全和整车控制方法及***，该方法通过建立车辆的各传感器数据与车辆各部件对应工作模式下的控制信号的神经网络模型，其中，神经网络模型采用多层感知机；根据多模态生物识别设备采集的至少一种情绪信息，确定驾驶员身份，并根据驾驶员身份，控制车辆启动；获取多模态生物识别设备采集的人脸信息、语音语调信息、眼球信息、心率信息，并计算情绪值；根据情绪值，确定情绪等级；获取车辆的传感器数据，根据传感器数据评估驾驶等级，并确定驾驶等级与情绪等级的匹配度，并判断匹配度是否满足要求；若是，则将车辆的传感器数据输入神经网络模型中，输出对应的车辆各部件的控制信号，并根据车辆各部件的控制信号，对车辆进行控制，有效解决了仅采用单一的识别方式识别驾驶员情绪往往存在准确度欠佳的问题，同时，驾驶员的情绪信息与车辆的控制并未建立强关联的问题。
附图说明
图1是本发明实施例一提供的一种新能源汽车智能安全和整车控制方法的实现流程图；
图2是本发明实施例二提供的一种新能源汽车智能安全和整车控制***的结构框图；
图3是本发明实施例三提供的一种电子设备的结构框图。
以下具体实施方式将结合上述附图进一步说明。
具体实施方式
为了便于理解本发明，下面将参照相关附图对本发明进行更全面的描述。附图中给出了本发明的若干实施例。但是，本发明可以以许多不同的形式来实现，并不限于本文所描述的实施例。相反地，提供这些实施例的目的是使对本发明的公开内容更加透彻全面。
需要说明的是，当元件被称为“固设于”另一个元件，它可以直接在另一个元件上或者也可以存在居中的元件。当一个元件被认为是“连接”另一个元件，它可以是直接连接到另一个元件或者可能同时存在居中元件。本文所使用的术语“垂直的”、“水平的”、“左”、“右”以及类似的表述只是为了说明的目的。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。本文所使用的术语“及／或”包括一个或多个相关的所列项目的任意的和所有的组合。
实施例一
请参阅图1，图1示出了本发明实施例一提供的一种新能源汽车智能安全和整车控制方法的实现流程图，该方法用于搭载有多模态生物识别设备的新能源汽车中，该多模态生物识别设备用于采集驾驶员的情绪信息，其中，情绪信息至少包括人脸信息、语音语调信息、指纹信息、眼球信息、心率信息，具体的，人脸信息可以通过高清摄像头对人脸区域进行拍摄，经过数据处理后得到，语音语调信息可以通过收音设备，例如声音采集器，采集目标音频并经过数据处理后得到，指纹信息可以通过安设在固定位置的指纹仪获取，眼球信息可以通过红外设备和图像采集设备对眼球进行跟踪识别，并经过数据处理后得到，心率信息可以通过人体佩戴式的心率仪或者与方向盘一体成型的心率仪采集，并经过数据处理后得到，该方法具体包括步骤S01至步骤S06。
步骤S01，建立车辆的各传感器数据与车辆各部件对应工作模式下的控制信号的神经网络模型，以根据输入的传感器数据，实现对车辆各部件的集成控制，其中，所述神经网络模型采用多层感知机。
具体的，首先获取车辆的各传感器数据，该传感器数据至少包括车速、发动机温度、电池电压、电池电流，并利用深度学习技术，也即通过神经网络模型，实现对新能源汽车各个部件的集成控制，如电机、电池、变速器、制动***等，并在后续的实际驾驶过程中，根据驾驶员的情绪，自动地调节各个部件的工作模式和参数，提高车辆的动力性、经济性和安全性。
需要说明的是，神经网络模型采用多层感知机，在本实施例当中，所提到的深度神经网络、神经网络等，与神经网络模型表达的意思相同，其输入层有n个节点，分别对应车辆的 n 个传感器数据，如 x1,x2,...,xn，其输出层有 m 个节点，分别对应车辆的 m 个部件的控制信号，如 y1,y2,...,ym，其隐藏层有 l层，每层有 hi个节点，其中 i=1,2,...,l，可以理解的，车辆的 m 个部件的控制信号是预先设置的，从动力性、经济性和安全性角度出发的，对应工作模式下的控制信号，用于根据驾驶员的情绪，对整车进行控制，具体的，该神经网络的数学表示为：
输入层：；
输出层：；
隐藏层：；
权重矩阵：；
偏置向量：；
激活函数：；
网络传播：；
其中：。
根据上述的神经网络，可以理解的，获取车辆的各种传感器数据，如速度、温度、电压、电流等，构成输入向量x，后将输入向量 x 传入深度神经网络，经过 l+1 次线性变换和非线性激活，得到输出向量 y，其中，输出向量 y 解析为车辆的各个部件的控制信号，如电机、电池、变速器、制动***等，根据预设的控制策略，调节各个部件的工作模式和参数。
在本实施例当中，获取神经网络模型信息，通过可解释深度学习技术，对神经网络模型进行控制，调整每个节点的权重和偏置，以优化网络的性能和稳定性，其中，所述神经网络模型信息至少包括神经网络模型的结构信息、参数信息及输出信息，具体的，利用可解释深度学习技术，实现对深度神经网络的可解释性和可控制性，使网络的工作原理和逻辑更加清晰和合理，便于发现和纠正网络的异常或错误，提高***的可靠性和安全性，更为具体的，使用注意力机制作为可解释深度学习技术，其目的是分析深度神经网络的每一层对输出的贡献程度，即注意力权重，其数学表示为：
注意力权重：；
注意力得分：；
注意力函数：。
可以理解的，获取神经网络模型的结构信息、参数信息及输出信息，如权重矩阵Wi、偏置向量bi、隐藏层zi等，对深度神经网络的每一层，计算每个节点的注意力得分 eij，表示该节点对下一层的影响程度；对深度神经网络的每一层，计算每个节点的注意力权重αij，表示该节点对输出的贡献程度；根据注意力权重，对深度神经网络的每一层进行可视化，显示每个节点的重要性，以及每层的输入和输出；
根据注意力权重，对深度神经网络进行可控制，调整每个节点的权重和偏置，以优化网络的性能和稳定性。
步骤S02，根据所述多模态生物识别设备采集的至少一种情绪信息，确定驾驶员身份，并根据所述驾驶员身份，控制车辆启动。
具体的，根据人脸信息、语音语调信息、指纹信息、眼球信息、心率信息中的至少一种对驾驶员身份进行认证，还可以根据多种信息的组合，进行驾驶员身份的认证，例如，先识别指纹再识别人脸、先识别语音语调再识别人脸等，提高了识别的精度和稳定性，降低了误识率和失效率，提高了***的可靠性和安全性。
步骤S03，获取所述多模态生物识别设备采集的人脸信息、语音语调信息、眼球信息、心率信息，并根据采集的人脸信息、指纹信息、眼球信息、心率信息，计算情绪值。
具体的，获取多模态生物识别设备采集的人脸信息、语音语调信息、眼球信息、心率信息，根据采集的人脸信息、语音语调信息、眼球信息、心率信息，分别确定预设时间内，人脸信息、语音语调信息、眼球信息、心率信息出现关键信息时的时刻及频次，需要说明的是，关键信息指的是存在情绪变化时的信息，例如，人脸识别出悲伤、愤怒等负面情绪的信息、语调过大等信息、瞳孔快速放大或缩小等信息、心率超标等信息，均属于关键信息，需要说明的是，预设时间指的是，将人脸信息、语音语调信息、眼球信息、心率信息任一信息第一次出现关键信息时的时刻为预设时间的初始时刻，在初始时刻的基础上加上预设时段，为预设时间的终止时刻，另外，具体的时刻及频次确定方法可以为，例如，首次出现的为语音语调信息中的关键信息（声调过大），记录对应的时刻，从该时刻为初始时刻，确定预设时间，并在预设时间内，同时统计人脸信息、语音语调信息、眼球信息、心率信息出现关键信息的时间，更为具体的，若人脸信息、语音语调信息、眼球信息、心率信息在预设时间内一直分别保持关键信息的出现，则根据对应关键信息的出现的时长，以预设的转换率，转换为对应的频次，且将频次均匀分布在各关键信息的出现的时长范围内，也即根据各关键信息的出现的时长范围，确定各频次的时刻；
进一步的，判断各关键信息的频次是否相同，也即判断人脸信息、语音语调信息、眼球信息、心率信息任一信息出现关键信息时，其它信息是否与会伴随出现对应的关键信息，需要说明的是，当各关键信息的频次不相同时，则调用对应的预设权值，将预设权值分别与对应的频次相乘，得到最终的情绪值；
若判断各关键信息的频次相同，则判断预设时间内各关键信息的时刻的间隔是否在预设范围内；
若判断预设时间内各关键信息的时刻的间隔在预设范围内，说明所有信息均表明驾驶员情绪处于异常状态，则调用预设权值，根据预设时间内各关键信息的频次，计算情绪值，也即调用匹配的预设权值，将预设权值分别与对应的频次相乘，得到最终的情绪值；
若否，则确定预设时间内各关键信息的时刻的间隔处于预设范围内的各第一信息，以及预设时间内各关键信息的时刻的间隔未处于预设范围内的各第二信息；
调用另一预设权值，根据预设时间内各第一信息和各第二信息的频次，计算情绪值，其中，各第一信息所赋予的权值大于各第二信息所赋予的权值，同理，将预设权值分别与各第一信息和各第二信息的频次相乘，得到最终的情绪值。
步骤S04，根据所述情绪值，确定情绪等级。
具体的，预先设置各情绪等级对应的情绪值范围，当计算得到的情绪值与某一情绪值范围匹配时，则确定该情绪值的情绪等级。
步骤S05，获取车辆的传感器数据，根据传感器数据评估驾驶等级，确定所述驾驶等级与所述情绪等级的匹配度，并判断所述匹配度是否满足要求，若是，则执行步骤S06。
具体的，获取车辆的传感器数据，传感器数据至少包括车速、发动机温度、电池电压、电池电流；
根据车速、发动机温度、电池电压、电池电流，确定当前驾驶状态下的第一驾驶等级，可以理解的，用于了解驾驶员当前驾驶状态；
获取预设时间内，车速、发动机温度、电池电压、电池电流的变化值，确定第二驾驶等级，可以理解的，用于了解驾驶员产生的驾驶状态的变化；
根据第一驾驶等级和第二驾驶等级，确定目标驾驶等级，其中，将所述第一驾驶等级和所述第二驾驶等级输入预先建立的等级转换模型，所述等级转换模型用于根据接收的所述第一驾驶等级和所述第二驾驶等级，输出对应的目标驾驶等级；
根据目标驾驶等级和情绪等级，确定等级差异，并判断等级差异是否小于阈值；
若是，说明驾驶员情绪和驾驶状态处于匹配状态，可能面临着驾驶危险，则执行将车辆的传感器数据输入神经网络模型中，输出对应的车辆各部件的控制信号，并根据车辆各部件的控制信号，对车辆进行控制的步骤。
步骤S06，则将车辆的传感器数据输入所述神经网络模型中，输出对应的车辆各部件的控制信号，并根据车辆各部件的控制信号，对车辆进行控制。
综上，本发明上述实施例当中的新能源汽车智能安全和整车控制方法，该方法通过建立车辆的各传感器数据与车辆各部件对应工作模式下的控制信号的神经网络模型，其中，神经网络模型采用多层感知机；根据多模态生物识别设备采集的至少一种情绪信息，确定驾驶员身份，并根据驾驶员身份，控制车辆启动；获取多模态生物识别设备采集的人脸信息、语音语调信息、眼球信息、心率信息，并计算情绪值；根据情绪值，确定情绪等级；获取车辆的传感器数据，根据传感器数据评估驾驶等级，并确定驾驶等级与情绪等级的匹配度，并判断匹配度是否满足要求；若是，则将车辆的传感器数据输入神经网络模型中，输出对应的车辆各部件的控制信号，并根据车辆各部件的控制信号，对车辆进行控制，有效解决了仅采用单一的识别方式识别驾驶员情绪往往存在准确度欠佳的问题，同时，驾驶员的情绪信息与车辆的控制并未建立强关联的问题。
实施例二
请参阅图2，图2是本发明实施例二提供的一种新能源汽车智能安全和整车控制***的结构框图。新能源汽车智能安全和整车控制***200应用于搭载有多模态生物识别设备的新能源汽车中，所述多模态生物识别设备用于采集驾驶员的情绪信息，所述情绪信息至少包括人脸信息、语音语调信息、指纹信息、眼球信息、心率信息，所述新能源汽车智能安全和整车控制***200包括：神经网络模型建立模块21、身份认证模块22、情绪值计算模块23、情绪等级确定模块24、判断模块25以及控制模块26，其中：
神经网络模型建立模块21，用于建立车辆的各传感器数据与车辆各部件对应工作模式下的控制信号的神经网络模型，以根据输入的传感器数据，实现对车辆各部件的集成控制，其中，所述神经网络模型采用多层感知机；
身份认证模块22，用于根据所述多模态生物识别设备采集的至少一种情绪信息，确定驾驶员身份，并根据所述驾驶员身份，控制车辆启动；
情绪值计算模块23，用于获取所述多模态生物识别设备采集的人脸信息、语音语调信息、眼球信息、心率信息，并根据采集的人脸信息、指纹信息、眼球信息、心率信息，计算情绪值；
情绪等级确定模块24，用于根据所述情绪值，确定情绪等级，其中，预先设置各情绪等级对应的情绪值范围，当计算得到的情绪值与某一情绪值范围匹配时，则确定该情绪值的情绪等级；
判断模块25，用于获取车辆的传感器数据，根据传感器数据评估驾驶等级，并确定所述驾驶等级与所述情绪等级的匹配度，并判断所述匹配度是否满足要求；
控制模块26，用于当判断所述匹配度满足要求时，则将车辆的传感器数据输入所述神经网络模型中，输出对应的车辆各部件的控制信号，并根据车辆各部件的控制信号，对车辆进行控制。
进一步的，在本发明其它一些实施例当中，所述新能源汽车智能安全和整车控制***200包括：
可解释深度学习模块，用于获取神经网络模型信息，通过可解释深度学习技术，对神经网络模型进行控制，调整每个节点的权重和偏置，以优化网络的性能和稳定性，其中，所述神经网络模型信息至少包括神经网络模型的结构信息、参数信息及输出信息。
进一步的，在本发明其它一些实施例当中，所述情绪值计算模块23包括：
第一确定单元，用于获取所述多模态生物识别设备采集的人脸信息、语音语调信息、眼球信息、心率信息，根据采集的人脸信息、语音语调信息、眼球信息、心率信息，分别确定预设时间内，人脸信息、语音语调信息、眼球信息、心率信息出现关键信息时的时刻及频次，其中，将任一人脸信息、语音语调信息、眼球信息、心率信息第一次出现关键信息时的时刻为所述预设时间的初始时刻，在所述初始时刻的基础上加上预设时段，为所述预设时间的终止时刻；
第一判断单元，用于判断各关键信息的频次是否相同；
第二判断单元，用于当判断各关键信息的频次相同时，则判断预设时间内各关键信息的时刻的间隔是否在预设范围内；
第一计算单元，用于当判断预设时间内各关键信息的时刻的间隔在预设范围内时，则调用预设权值，根据预设时间内各关键信息的频次，计算所述情绪值；
第二确定单元，用于当判断预设时间内各关键信息的时刻的间隔不在预设范围内时，则确定预设时间内各关键信息的时刻的间隔处于预设范围内的各第一信息，以及预设时间内各关键信息的时刻的间隔未处于预设范围内的各第二信息；
第二计算单元，用于调用另一预设权值，根据预设时间内各第一信息和各第二信息的频次，计算所述情绪值。
进一步的，在本发明其它一些实施例当中，所述判断模块25包括：
第一获取单元，用于获取车辆的传感器数据，所述传感器数据至少包括车速、发动机温度、电池电压、电池电流；
第三确定单元，用于根据所述车速、所述发动机温度、所述电池电压、所述电池电流，确定当前驾驶状态下的第一驾驶等级；
第四确定单元，用于获取预设时间内，所述车速、所述发动机温度、所述电池电压、所述电池电流的变化值，确定第二驾驶等级；
第五确定单元，用于根据所述第一驾驶等级和所述第二驾驶等级，确定目标驾驶等级，其中，将所述第一驾驶等级和所述第二驾驶等级输入预先建立的等级转换模型，所述等级转换模型用于根据接收的所述第一驾驶等级和所述第二驾驶等级，输出对应的目标驾驶等级；
第三判断单元，用于根据所述目标驾驶等级和所述情绪等级，确定等级差异，并判断所述等级差异是否小于阈值。
实施例三
本发明另一方面还提出一种电子设备，请参阅图3，所示为本发明实施例三当中的电子设备的结构框图，包括存储器20、处理器10以及存储在存储器上并可在处理器上运行的计算机程序30，所述处理器10执行所述计算机程序30时实现如上述的新能源汽车智能安全和整车控制方法。
其中，处理器10在一些实施例中可以是中央处理器（Central Processing Unit,CPU）、控制器、微控制器、微处理器或其他数据处理芯片，用于运行存储器20中存储的程序代码或处理数据，例如执行访问限制程序等。
其中，存储器20至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器（例如，SD或DX存储器等）、磁性存储器、磁盘、光盘等。存储器20在一些实施例中可以是电子设备的内部存储单元，例如该电子设备的硬盘。存储器20在另一些实施例中也可以是电子设备的外部存储装置，例如电子设备上配备的插接式硬盘，智能存储卡（Smart Media Card, SMC），安全数字（Secure Digital, SD）卡，闪存卡（FlashCard）等。进一步地，存储器20还可以既包括电子设备的内部存储单元也包括外部存储装置。存储器20不仅可以用于存储电子设备的应用软件及各类数据，还可以用于暂时地存储已经输出或者将要输出的数据。
需要指出的是，图3示出的结构并不构成对电子设备的限定，在其它实施例当中，该电子设备可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。
本发明实施例还提出一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述的新能源汽车智能安全和整车控制方法。
本领域技术人员可以理解，在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行***、装置或设备（如基于计算机的***、包括处理器的***或其他可以从指令执行***、装置或设备取指令并执行指令的***）使用，或结合这些指令执行***、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行***、装置或设备或结合这些指令执行***、装置或设备而使用的装置。
计算机可读介质的更具体的示例（非穷尽性列表）包括以下：具有一个或多个布线的电连接部（电子装置），便携式计算机盘盒（磁装置），随机存取存储器（RAM），只读存储器（ROM），可擦除可编辑只读存储器（EPROM或闪速存储器），光纤装置，以及便携式光盘只读存储器（CDROM）。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行***执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或它们的组合来实现：具有用于对数据状态实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（PGA），现场可编程门阵列（FPGA）等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例 或示例中以合适的方式结合。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
Claims (8)
1.一种新能源汽车智能安全和整车控制方法，其特征在于，应用于搭载有多模态生物识别设备的新能源汽车中，所述多模态生物识别设备用于采集驾驶员的情绪信息，所述情绪信息至少包括人脸信息、语音语调信息、指纹信息、眼球信息、心率信息，所述方法包括：
建立车辆的各传感器数据与车辆各部件对应工作模式下的控制信号的神经网络模型，以根据输入的传感器数据，实现对车辆各部件的集成控制，其中，所述神经网络模型采用多层感知机，具体的，包括输入层、输出层及隐藏层，输入层有 n 个节点，分别对应车辆的 n个传感器数据，输出层有 m 个节点，分别对应车辆的 m 个部件的控制信号，隐藏层有 l层，每层有 hi 个节点，其中 i=1,2,...,l；
根据所述多模态生物识别设备采集的至少一种情绪信息，确定驾驶员身份，并根据所述驾驶员身份，控制车辆启动；
获取所述多模态生物识别设备采集的人脸信息、语音语调信息、眼球信息、心率信息，并根据采集的人脸信息、指纹信息、眼球信息、心率信息，计算情绪值；
根据所述情绪值，确定情绪等级，其中，预先设置各情绪等级对应的情绪值范围，当计算得到的情绪值与某一情绪值范围匹配时，则确定该情绪值的情绪等级；
获取车辆的传感器数据，根据传感器数据评估驾驶等级，确定所述驾驶等级与所述情绪等级的匹配度，并判断所述匹配度是否满足要求；
若是，则将车辆的传感器数据输入所述神经网络模型中，输出对应的车辆各部件的控制信号，并根据车辆各部件的控制信号，对车辆进行控制；
所述获取所述多模态生物识别设备采集的人脸信息、语音语调信息、眼球信息、心率信息，并根据采集的人脸信息、指纹信息、眼球信息、心率信息，计算情绪值的步骤包括：
获取所述多模态生物识别设备采集的人脸信息、语音语调信息、眼球信息、心率信息，根据采集的人脸信息、语音语调信息、眼球信息、心率信息，分别确定预设时间内，人脸信息、语音语调信息、眼球信息、心率信息出现关键信息时的时刻及频次；
判断各关键信息的频次是否相同；
若是，则判断预设时间内各关键信息的时刻的间隔是否在预设范围内；
若是，则调用预设权值，根据预设时间内各关键信息的频次，计算所述情绪值；
若否，则确定预设时间内各关键信息的时刻的间隔处于预设范围内的各第一信息，以及预设时间内各关键信息的时刻的间隔未处于预设范围内的各第二信息；
调用另一预设权值，根据预设时间内各第一信息和各第二信息的频次，计算所述情绪值。
2.根据权利要求1所述的新能源汽车智能安全和整车控制方法，其特征在于，所述建立车辆的各传感器数据与车辆各部件对应工作模式下的控制信号的神经网络模型，以根据输入的传感器数据，实现对车辆各部件的集成控制，其中，所述神经网络模型采用多层感知机的步骤之后包括：
获取神经网络模型信息，通过可解释深度学习技术，对神经网络模型进行控制，调整每个节点的权重和偏置，以优化网络的性能和稳定性，其中，所述神经网络模型信息至少包括神经网络模型的结构信息、参数信息及输出信息。
3.根据权利要求2所述的新能源汽车智能安全和整车控制方法，其特征在于，所述获取车辆的传感器数据，根据传感器数据评估驾驶等级，确定所述驾驶等级与所述情绪等级的匹配度，并判断所述匹配度是否满足要求的步骤包括：
获取车辆的传感器数据，所述传感器数据至少包括车速、发动机温度、电池电压、电池电流；
根据所述车速、所述发动机温度、所述电池电压、所述电池电流，确定当前驾驶状态下的第一驾驶等级；
获取预设时间内，所述车速、所述发动机温度、所述电池电压、所述电池电流的变化值，确定第二驾驶等级；
根据所述第一驾驶等级和所述第二驾驶等级，确定目标驾驶等级；
根据所述目标驾驶等级和所述情绪等级，确定等级差异，并判断所述等级差异是否小于阈值；
若是，则执行所述将车辆的传感器数据输入所述神经网络模型中，输出对应的车辆各部件的控制信号，并根据车辆各部件的控制信号，对车辆进行控制的步骤。
4.根据权利要求3所述的新能源汽车智能安全和整车控制方法，其特征在于，所述根据所述第一驾驶等级和所述第二驾驶等级，确定目标驾驶等级的步骤中，将所述第一驾驶等级和所述第二驾驶等级输入预先建立的等级转换模型，所述等级转换模型用于根据接收的所述第一驾驶等级和所述第二驾驶等级，输出对应的目标驾驶等级。
5.根据权利要求4所述的新能源汽车智能安全和整车控制方法，其特征在于，所述分别确定预设时间内，人脸信息、语音语调信息、眼球信息、心率信息出现关键信息时的时刻及频次的步骤中，将任一人脸信息、语音语调信息、眼球信息、心率信息第一次出现关键信息时的时刻为所述预设时间的初始时刻，在所述初始时刻的基础上加上预设时段，为所述预设时间的终止时刻。
6.一种新能源汽车智能安全和整车控制***，其特征在于，用于实现如权利要求1-5任一项所述的新能源汽车智能安全和整车控制方法，应用于搭载有多模态生物识别设备的新能源汽车中，所述多模态生物识别设备用于至少采集驾驶员的人脸信息、指纹信息、眼球信息、心率信息，所述***包括：
神经网络模型建立模块，用于建立车辆的各传感器数据与车辆各部件对应工作模式下的控制信号的神经网络模型，以根据输入的传感器数据，实现对车辆各部件的集成控制，其中，所述神经网络模型采用多层感知机；
身份认证模块，用于根据所述多模态生物识别设备采集的至少一种情绪信息，确定驾驶员身份，并根据所述驾驶员身份，控制车辆启动；
情绪值计算模块，用于获取所述多模态生物识别设备采集的人脸信息、语音语调信息、眼球信息、心率信息，并根据采集的人脸信息、指纹信息、眼球信息、心率信息，计算情绪值；
情绪等级确定模块，用于根据所述情绪值，确定情绪等级；
判断模块，用于获取车辆的传感器数据，根据传感器数据评估驾驶等级，并确定所述驾驶等级与所述情绪等级的匹配度，并判断所述匹配度是否满足要求；
控制模块，用于当判断所述匹配度满足要求时，则将车辆的传感器数据输入所述神经网络模型中，输出对应的车辆各部件的控制信号，并根据车辆各部件的控制信号，对车辆进行控制。
7.一种可读存储介质，其特征在于，包括：
所述可读存储介质存储一个或多个程序，该程序被处理器执行时实现如权利要求1-5任一项所述的新能源汽车智能安全和整车控制方法。
8.一种电子设备，其特征在于，所述电子设备包括存储器和处理器，其中：
所述存储器用于存放计算机程序；
所述处理器用于执行所述存储器上所存放的计算机程序时，实现权利要求1-5任一项所述的新能源汽车智能安全和整车控制方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410145870.1A CN117657170B (zh) | 2024-02-02 | 2024-02-02 | 一种新能源汽车智能安全和整车控制方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410145870.1A CN117657170B (zh) | 2024-02-02 | 2024-02-02 | 一种新能源汽车智能安全和整车控制方法及*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117657170A CN117657170A (zh) | 2024-03-08 |
| CN117657170B true CN117657170B (zh) | 2024-05-17 |
Family
ID=90086699
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410145870.1A Active CN117657170B (zh) | 2024-02-02 | 2024-02-02 | 一种新能源汽车智能安全和整车控制方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117657170B (zh) |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102961126A (zh) * | 2012-11-16 | 2013-03-13 | 福建工程学院 | 基于脉象诊断模式的驾驶预警方法 |
| CN103956028A (zh) * | 2014-04-23 | 2014-07-30 | 山东大学 | 一种汽车多元驾驶安全防护方法 |
| CN113771859A (zh) * | 2021-08-31 | 2021-12-10 | 智新控制***有限公司 | 智能行车干预方法、装置、设备及计算机可读存储介质 |
| CN114092922A (zh) * | 2021-11-16 | 2022-02-25 | 金陵科技学院 | 一种基于特异性的驾驶员情绪识别及行为干预方法 |
| WO2022062659A1 (zh) * | 2020-09-23 | 2022-03-31 | 上海商汤临港智能科技有限公司 | 智能驾驶控制方法及装置、车辆、电子设备和存储介质 |
| CN115402333A (zh) * | 2022-07-11 | 2022-11-29 | 江铃汽车股份有限公司 | 基于驾驶员情绪的车内互动控制***、方法及存储介质 |
| CN116012905A (zh) * | 2022-09-29 | 2023-04-25 | 浙江大学 | 一种驾驶员路怒症识别与示警*** |
| CN116238544A (zh) * | 2023-05-12 | 2023-06-09 | 禾多科技（北京）有限公司 | 一种自动驾驶车辆的行驶控制方法及控制*** |
| CN116563829A (zh) * | 2023-05-26 | 2023-08-08 | 北京好心情互联网医院有限公司 | 一种驾驶员情绪识别方法、装置、电子设备和存储介质 |
| CN116691699A (zh) * | 2023-07-26 | 2023-09-05 | 广汽本田汽车有限公司 | 基于情绪识别的驾驶模式调节方法、***、装置及介质 |
| CN116729403A (zh) * | 2023-06-19 | 2023-09-12 | 一汽奔腾轿车有限公司 | 一种汽车行驶过程中情绪识别提醒、控制***及方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20220000654A (ko) * | 2020-06-26 | 2022-01-04 | 현대자동차주식회사 | 차량 및 그 제어방법 |
-
2024
- 2024-02-02 CN CN202410145870.1A patent/CN117657170B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102961126A (zh) * | 2012-11-16 | 2013-03-13 | 福建工程学院 | 基于脉象诊断模式的驾驶预警方法 |
| CN103956028A (zh) * | 2014-04-23 | 2014-07-30 | 山东大学 | 一种汽车多元驾驶安全防护方法 |
| WO2022062659A1 (zh) * | 2020-09-23 | 2022-03-31 | 上海商汤临港智能科技有限公司 | 智能驾驶控制方法及装置、车辆、电子设备和存储介质 |
| CN113771859A (zh) * | 2021-08-31 | 2021-12-10 | 智新控制***有限公司 | 智能行车干预方法、装置、设备及计算机可读存储介质 |
| CN114092922A (zh) * | 2021-11-16 | 2022-02-25 | 金陵科技学院 | 一种基于特异性的驾驶员情绪识别及行为干预方法 |
| CN115402333A (zh) * | 2022-07-11 | 2022-11-29 | 江铃汽车股份有限公司 | 基于驾驶员情绪的车内互动控制***、方法及存储介质 |
| CN116012905A (zh) * | 2022-09-29 | 2023-04-25 | 浙江大学 | 一种驾驶员路怒症识别与示警*** |
| CN116238544A (zh) * | 2023-05-12 | 2023-06-09 | 禾多科技（北京）有限公司 | 一种自动驾驶车辆的行驶控制方法及控制*** |
| CN116563829A (zh) * | 2023-05-26 | 2023-08-08 | 北京好心情互联网医院有限公司 | 一种驾驶员情绪识别方法、装置、电子设备和存储介质 |
| CN116729403A (zh) * | 2023-06-19 | 2023-09-12 | 一汽奔腾轿车有限公司 | 一种汽车行驶过程中情绪识别提醒、控制***及方法 |
| CN116691699A (zh) * | 2023-07-26 | 2023-09-05 | 广汽本田汽车有限公司 | 基于情绪识别的驾驶模式调节方法、***、装置及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117657170A (zh) | 2024-03-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10322728B1 (en) | Method for distress and road rage detection | |
| JP4825132B2 (ja) | 車両の運転者による不注意を識別する方法及びコンピュータプログラム | |
| US10676096B2 (en) | System and method for sensing road surface condition | |
| CN103180179B (zh) | 用于汽车的传感器装置 | |
| CN105761329B (zh) | 基于驾驶习惯的驾驶员辨别方法 | |
| Sathyanarayana et al. | Information fusion for robust ‘context and driver aware’active vehicle safety systems | |
| WO2019011268A1 (zh) | 基于博弈论的驾驶员辅助***决策方法、***及其他 | |
| CN108009463B (zh) | 一种身份识别的方法及装置 | |
| US20230012186A1 (en) | System and method for vibroacoustic diagnostic and condition monitoring a system using neural networks | |
| US11847562B2 (en) | Obstacle recognition assistance device, obstacle recognition assistance method, and storage medium | |
| CN110515041B (zh) | 一种基于Kalman滤波技术的车辆距离测量控制方法及*** | |
| CN113257023B (zh) | 一种l3级自动驾驶风险评估与接管预警方法及*** | |
| CN110654394A (zh) | 驾驶控制***和方法以及车辆 | |
| Martinelli et al. | Machine learning for driver detection through CAN bus | |
| JP4486897B2 (ja) | 運転行動認識装置 | |
| Xun et al. | An experimental study towards driver identification for intelligent and connected vehicles | |
| Ahmadian et al. | Discrete wavelet transform for generative adversarial network to identify drivers using gyroscope and accelerometer sensors | |
| CN117657170B (zh) | 一种新能源汽车智能安全和整车控制方法及*** | |
| KR20150066308A (ko) | 운전자 운행 상태 판단 장치 및 그 방법 | |
| CN113829994B (zh) | 基于车外鸣笛声的预警方法、装置、汽车及介质 | |
| CN113935392A (zh) | 驾驶员身份识别方法、装置、电子设备及可读存储介质 | |
| CN116674563A (zh) | 智能辅助驾驶的控制方法、***、设备及存储介质 | |
| Lim et al. | Temporal early exiting with confidence calibration for driver identification based on driving sensing data | |
| CN112277956B (zh) | 一种用方向盘检测酒驾行为的方法和装置 | |
| CN112418162B (zh) | 车辆控制的方法、设备、存储介质及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |