CN114049677B - 基于驾驶员情绪指数的车辆adas控制方法及*** - Google Patents

基于驾驶员情绪指数的车辆adas控制方法及*** Download PDF

Info

Publication number
CN114049677B
CN114049677B CN202111478522.9A CN202111478522A CN114049677B CN 114049677 B CN114049677 B CN 114049677B CN 202111478522 A CN202111478522 A CN 202111478522A CN 114049677 B CN114049677 B CN 114049677B
Authority
CN
China
Prior art keywords
driver
emotion
threshold value
emotion index
intensity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111478522.9A
Other languages
English (en)
Other versions
CN114049677A (zh
Inventor
彭勇
向国梁
王红钢
王兴华
伍贤辉
宫宝利
郑孟
向飞
余浩
张洪浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Central South University
China Automotive Engineering Research Institute Co Ltd
Original Assignee
Central South University
China Automotive Engineering Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Central South University, China Automotive Engineering Research Institute Co Ltd filed Critical Central South University
Priority to CN202111478522.9A priority Critical patent/CN114049677B/zh
Publication of CN114049677A publication Critical patent/CN114049677A/zh
Application granted granted Critical
Publication of CN114049677B publication Critical patent/CN114049677B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了基于驾驶员情绪指数的车辆ADAS控制方法及***，通过获取驾驶员实时驾驶过程中的人脸图像，提取驾驶员在行车过程中的基于时间序列的面部表情类别信息；根据所述基于时间序列的面部表情类别信息计算所述驾驶员的情绪指数；并将所述情绪指数与预设的情绪阈值进行比较，并根据比较结果调整ADAS的报警阈值/强度。相比现有技术，本发明能根据驾驶员驾驶过程中带有时间序列信息的面部表情数据，计算驾驶员的情绪指数来准确量化驾驶员当前驾驶状态，并根据驾驶员的情绪指数动态调整ADAS报警的触发条件以及报警强度，更好地保障驾驶员行车过程中的舒适性和安全性。

Description

基于驾驶员情绪指数的车辆ADAS控制方法及***
技术领域
本发明涉及车辆ADAS(Advanced DrivingAssistance System，高级驾驶辅助***)控制技术领域，尤其涉及基于驾驶员情绪指数的车辆ADAS控制方法及***。
背景技术
驾驶员的不良情绪是造成交通事故的主要原因之一，现阶段汽车对驾驶员的不良情绪状态缺乏有效的监测和提醒功能，如何有效精确地对驾驶员的情绪状态进行识别是车辆智能化与人机交互发展的一个重点方向。
现阶段的情绪识别技术，主要是在实验室受控环境下开发的，在实际驾驶场景下可靠性较低。同时，目前基于脑电信号、心电信号等的情绪识别技术，由于信号采集装备复杂，无法应用至对驾驶员的情绪识别场景下，而人脸图像采集难度低、对驾驶员人脸表情进行识别的研究也越来越多。
另一方面，车辆ADAS渐渐成为汽车上不可或缺的工具，ADAS集成了前方碰撞警示、车道偏离警示、自动紧急制动等功能。但往往这些功能依靠设定的固定阈值进行报警，比如前方碰撞警示功能根据设置的剩余碰撞时间阈值发出提醒，当驾驶车辆与前方障碍物的剩余碰撞时间达到阈值时触发报警。因此，ADAS无法根据驾驶员的驾驶状态动态调整报警时机和强度，很容易造成在驾驶员处于良好驾驶状态时过多地报警、或在驾驶员处于不良驾驶状态时未能及时报警，无法有效保障驾驶员驾驶过程安全，同时也容易对驾驶员驾驶舒适性造成影响。
发明内容
本发明提供了基于驾驶员情绪指数的车辆ADAS控制方法及***，用于解决现有的车辆ADAS报警不及时或过于频繁的技术问题。
为解决上述技术问题，本发明提出的技术方案为：
一种基于驾驶员情绪指数的车辆ADAS控制方法，包括以下步骤：
在驾驶员实时驾驶过程中，实时监测驾驶员的面部图像，从所述面部图像中提取带有时间序列信息的面部表情类别信息；
根据所述带有时间序列信息的面部表情类别信息计算所述驾驶员的情绪指数；并将所述情绪指数与预设的情绪阈值进行比较，并根据比较结果调整ADAS的报警阈值/强度。
优选的，从所述面部图像中提取带有时间序列信息的面部表情类别信息，包括以下步骤：
采用模拟驾驶与实车实验相结合，采集驾驶员脸部表情图片，利用数据增强扩大数据集，制作包含大量驾驶员人脸表情的专用数据集；
选取卷积神经网络模型，在主流人脸数据集上训练和验证，得到神经网络参数，建立初始神经网络模型；
采用Fine-tune迁移学习方式，将所述初始神经网络模型在建立的驾驶员人脸表情专用数据集上进行迁移训练，重新训练部分卷积层和输出层，得到迁移学习后的神经网络模型；
利用迁移学习后的神经网络模型，对驾驶员实时驾驶过程中的人脸表情进行识别，得到驾驶员在实时驾驶过程中的面部表情类别。
优选的，根据所述带有时间序列信息的面部表情类别信息计算所述驾驶员的情绪指数，通过以下公式实现：
式中，Ek为k时刻的驾驶员情绪指数，Ek-1为k-1时刻的驾驶员情绪指数，α为k-1时刻驾驶员情绪指数的系数，β表示k-1时刻到k时刻的表情转变系数，与前一时刻和当前时刻的驾驶员表情类别有关，ε为根据驾驶员当前k时刻表情类别设定的固定值。
优选的，所述情绪阈值包括第一情绪阈值和第二情绪阈值，具体包括以下步骤：
当所述情绪指数超过所述第一情绪阈值，且未超过第二情绪阈值时，则判断所述驾驶员当前不适合驾驶，将所述ADAS的报警阈值/强度调整至一级报警阈值/强度；
当所述情绪指数超过所述第二情绪阈值时，则判断所述驾驶员当前极度不适合驾驶，将所述ADAS的报警阈值/强度调整至二级报警阈值/强度。
优选的，报警阈值/强度包括：碰撞距离阈值、剩余碰撞时间阈值、偏航角阈值以及报警强度中一种或任意几种的组合。
优选的，获取驾驶员实时驾驶过程中的人脸图像通过安装于车辆前挡风玻璃上方、且靠近所述驾驶员侧的摄像头实现。
一种计算机***，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。
本发明具有以下有益效果：
1、本发明中的基于驾驶员情绪指数的车辆ADAS控制方法及***，通过获取驾驶员实时驾驶过程中的人脸图像，提取驾驶员在行车过程中的基于时间序列的面部表情类别信息；根据所述基于时间序列的面部表情类别信息计算所述驾驶员的情绪指数；并将所述情绪指数与预设的情绪阈值进行比较，并根据比较结果调整ADAS的报警阈值/强度。相比现有技术，本发明能根据带有时间序列信息的驾驶员面部表情类别信息计算驾驶员的情绪指数来准确量化驾驶员当前驾驶状态，并根据驾驶员的情绪指数动态调整ADAS报警的触发条件以及报警强度，更好地保障驾驶员行车过程中的舒适性和安全性。
2、在优选方案中，本发明基于深度神经网络和迁移学习技术能够有效识别驾驶员的人脸表情。
除了上面所描述的目的、特征和优点之外，本发明还有其它的目的、特征和优点。下面将参照附图，对本发明作进一步详细的说明。
附图说明
构成本申请的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是本发明优选实施例中的基于迁移学习的驾驶员人脸表情识别神经网络模型建立流程图；
图2是本发明优选实施例中的基于驾驶员情绪指数的车辆ADAS控制方法的流程图；
图3是本发明优选实施例中的基于驾驶员情绪指数的车辆ADAS控制***的结构简图。
具体实施方式
以下结合附图对本发明的实施例进行详细说明，但是本发明可以由权利要求限定和覆盖的多种不同方式实施。
实施例一：
本实施中公开了一种基于驾驶员情绪指数的车辆ADAS控制方法，包括以下步骤：
在驾驶员实时驾驶过程中，实时监测驾驶员的面部图像，从所述面部图像中提取带有时间序列信息的面部表情类别信息；
根据所述带有时间序列信息的面部表情类别信息计算所述驾驶员的情绪指数；并将所述情绪指数与预设的情绪阈值进行比较，并根据比较结果调整ADAS的报警阈值/强度。。
此外，在本实施例中，还公开了一种计算机***，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。
本发明中的基于驾驶员情绪指数的车辆ADAS控制方法及***，通过获取驾驶员的驾驶员实时驾驶过程中的人脸图像，提取驾驶员在行车过程中的基于时间序列的面部表情类别信息；根据所述基于时间序列的面部表情类别信息计算所述驾驶员的情绪指数；并将所述情绪指数与预设的情绪阈值进行比较，并根据比较结果调整ADAS的报警阈值/强度。相比现有技术，本发明能根据带有时间序列信息的驾驶员面部表情类别信息计算驾驶员的情绪指数来准确量化驾驶员当前驾驶状态，并根据驾驶员的情绪指数动态调整ADAS报警的触发条件以及报警强度，更好地保障驾驶员行车过程中的舒适性和安全性。
实施例二：
实施例二是实施例一的优选实施例，其与实施例一的不同之处在于，对基于驾驶员情绪指数的车辆ADAS控制方法的具体步骤进行了细化，对基于驾驶员情绪指数的车辆ADAS控制***的具体结构进行了优化：
如图1所示，在本实施例中，公开了一种基于驾驶员情绪指数的车辆ADAS控制方法，包括以下步骤：
1)采集非实验室受控环境下的驾驶员面部表情专用数据集：通过模拟驾驶以及实车实验等，收集驾驶人员在不同情绪下的面部表情图像，并进行标注，数据增强后得到包含驾驶员驾驶场景图片的人脸表情数据集；
2)运用深度学习，选择神经网络模型，在主流人脸数据集上进行测试及验证，得到神经网络模型参数，建立初始的神经网络模型；
3)将初始神经网络模型除输出层和部分卷积层之外的网络参数固定，在驾驶员情绪表情专用数据集上进行迁移训练，对网络参数进行调整，得到针对驾驶员情绪表情微调后的神经网络模型；
4)对驾驶员实时驾驶过程中人脸表情进行识别，根据带有时间序列信息的驾驶员面部表情类别信息计算驾驶员的情绪指数。
在本实施例中，面部表情类别包括：悲伤、愤怒、惊讶、恐惧、高兴、厌恶、中性。
其中，情绪指数的计算公式如下：
式中，Ek为k时刻的驾驶员情绪指数，Ek-1为k-1时刻的驾驶员情绪指数，α为k-1时刻驾驶员情绪指数的系数，β表示k-1时刻到k时刻的表情转变系数，与前一时刻和当前时刻的驾驶员表情类别有关，ε为根据驾驶员当前k时刻表情类别设定的固定值。
其中，α和β需要根据经验设定，若使前一时刻情绪指数衰减越大或占比越小，则α需偏小，若使前一时刻情绪指数衰减越小或占比越大，则α需偏大。β与前一时刻与当前时刻的表情类别有关，举例说明如表1所示，前一时刻表情一致的情况下，当前时刻表情越积极，β越小，当前时刻表情越消极，β越大；当前时刻表情一致的情况下，前一时刻表情越积极，β越小，前一时刻表情越消极，β越大。ε设定为当前时刻表情越消极越大，反之表情越积极越小。
在本实施例中，β值取值如下：
表1β取值示例
5)根据驾驶员的情绪指数，调节ADAS报警阈值和强度，当驾驶员情绪指数表征适合驾驶时，ADAS将根据正常碰撞距离阈值、正常剩余碰撞时间阈值、正常偏航角阈值、正常报警强度进行工作；当驾驶员情绪指数表征不适合驾驶时，ADAS将根据一级碰撞距离阈值、一级剩余碰撞时间阈值、一级偏航角阈值、一级报警强度进行工作；当驾驶员情绪指数表征极度不适合驾驶时，ADAS将根据二级碰撞距离阈值、二级剩余碰撞时间阈值、二级偏航角阈值、二级报警强度进行工作。
在本实施例中，一级碰撞距离阈值、一级剩余碰撞时间阈值、一级偏航角阈值、一级报警强度统称为第一情绪阈值；二级碰撞距离阈值、二级剩余碰撞时间阈值、二级偏航角阈值、二级报警强度统称为第二情绪阈值；且第一情绪阈值小于第二情绪阈值，具体数值与情绪指数的设定有关；一级报警阈值大于二级报警阈值，一级报警强度弱于二级报警强度，二级报警可增加更多报警方式如灯光和主动安全带预紧等。
此外，在本实施例中，如图2和图3所示，公开了一种基于驾驶员情绪指数的车辆ADAS控制***，包括：
1)图像采集模块：包含一个或多个摄像头，安装于车辆前挡风玻璃上方靠近驾驶员侧的合适位置；
2)图像处理模块：基于建立的神经网络模型，从图像采集模块获取驾驶员人脸表情图像并进行识别，计算出驾驶员的情绪指数，k时刻的驾驶员情绪指数的计算方式如式(1)所示：
3)ADAS模块：包含前方碰撞预警模块和车道偏离预警模块，模块内设置有正常碰撞距离阈值、正常剩余碰撞时间阈值、正常偏航角阈值、正常报警强度；一级碰撞距离阈值、一级剩余碰撞时间阈值、一级偏航角阈值、一级报警强度；二级碰撞距离阈值、二级剩余碰撞时间阈值、二级偏航角阈值、二级报警强度。ADAS模块接收来自图像处理模块得到的驾驶员情绪指数，当判定适合驾驶时，前方碰撞预警模块启用正常碰撞距离阈值、正常剩余碰撞时间阈值，车道偏离预警模块启用正常偏航角阈值，ADAS模块启用正常报警强度；当判定不适合驾驶时，前方碰撞预警模块启用一级碰撞距离阈值、一级剩余碰撞时间阈值，车道偏离预警模块启用一级偏航角阈值，ADAS模块启用一级报警强度；当判定极度不适合驾驶时，前方碰撞预警模块启用二级碰撞距离阈值、二级剩余碰撞时间阈值，车道偏离预警模块启用二级偏航角阈值，ADAS模块启用二级报警强度。其中，正常碰撞距离阈值大于一级碰撞距离阈值，一级碰撞距离阈值大于二级碰撞距离阈值；正常剩余碰撞时间阈值大于一级剩余碰撞时间阈值，一级剩余碰撞时间阈值大于二级剩余碰撞时间阈值；正常偏航角阈值大于一级偏航角阈值，一级偏航角阈值大于二级偏航角阈值；正常报警强度弱于一级报警强度，一级报警强度弱于二级报警强度。当检测到任一参数小于等于阈值时，将启动相应报警机制。
综上所述，本发明中的基于驾驶员情绪指数的车辆ADAS控制方法及***，采集了非实验室受控环境下的模拟驾驶或真实场景的驾驶员人脸图片，运用迁移学习来提高驾驶员人脸表情识别准确率。同时，提出一种驾驶员情绪指数计算方法，结合带有时间序列信息的驾驶员面部表情类别信息得出驾驶员的情绪指数，更好地利用人脸表情表征出驾驶员的驾驶状态。本发明还提出了一种基于驾驶员情绪指数的自适应高级驾驶辅助***及方法，可以根据驾驶员情绪指数动态调整ADAS的报警阈值和强度。因此采用本发明，不仅提升了驾驶员人脸表情识别的精确性，得到反映驾驶员驾驶状态的情绪指数，同时也避免了ADAS误报警或报警不及时的问题，提高了驾驶员驾驶过程中的舒适性和安全性。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于驾驶员情绪指数的车辆ADAS控制方法，其特征在于，包括以下步骤：
在驾驶员实时驾驶过程中，实时监测驾驶员的面部图像，从所述面部图像中提取带有时间序列信息的面部表情类别信息；
根据所述带有时间序列信息的面部表情类别信息计算所述驾驶员的情绪指数；并将所述情绪指数与预设的情绪阈值进行比较，并根据比较结果调整ADAS的报警阈值/强度；
根据所述带有时间序列信息的面部表情类别信息计算所述驾驶员的情绪指数，通过以下公式实现：
式中，Ek为k时刻的驾驶员情绪指数，Ek-1为k-1时刻的驾驶员情绪指数，α为k-1时刻驾驶员情绪指数的系数，β表示k-1时刻到k时刻的表情转变系数，与前一时刻和当前时刻的驾驶员表情类别有关，ε为根据驾驶员当前k时刻表情类别设定的固定值。
2.根据权利要求1所述的基于驾驶员情绪指数的车辆ADAS控制方法，其特征在于，从所述面部图像中提取带有时间序列信息的面部表情类别信息，包括以下步骤：
采用模拟驾驶与实车实验相结合，采集驾驶员脸部表情图片，利用数据增强扩大数据集，制作包含大量驾驶员人脸表情的专用数据集；
选取卷积神经网络模型，在主流人脸数据集上训练和验证，得到神经网络参数，建立初始神经网络模型；
采用Fine-tune迁移学习方式，将所述初始神经网络模型在建立的驾驶员人脸表情专用数据集上进行迁移训练，重新训练部分卷积层和输出层，得到迁移学习后的神经网络模型；
利用迁移学习后的神经网络模型，对驾驶员实时驾驶过程中的人脸表情进行识别，得到驾驶员在实时驾驶过程中的面部表情类别。
3.根据权利要求2所述的基于驾驶员情绪指数的车辆ADAS控制方法，其特征在于，所述情绪阈值包括第一情绪阈值和第二情绪阈值，具体包括以下步骤：
当所述情绪指数超过所述第一情绪阈值，且未超过第二情绪阈值时，则判断所述驾驶员当前不适合驾驶，将所述ADAS的报警阈值/强度调整至一级报警阈值/强度；
当所述情绪指数超过所述第二情绪阈值时，则判断所述驾驶员当前极度不适合驾驶，将所述ADAS的报警阈值/强度调整至二级报警阈值/强度。
4.根据权利要求1所述的基于驾驶员情绪指数的车辆ADAS控制方法，其特征在于，报警阈值/强度包括：碰撞距离阈值、剩余碰撞时间阈值、偏航角阈值以及报警强度中一种或任意几种的组合。
5.根据权利要求1所述的基于驾驶员情绪指数的车辆ADAS控制方法，其特征在于，获取驾驶员实时驾驶过程中的人脸图像通过安装于车辆前挡风玻璃上方、且靠近所述驾驶员侧的摄像头实现。
6.一种计算机***，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述权利要求1至5任一所述方法的步骤。
CN202111478522.9A 2021-12-06 2021-12-06 基于驾驶员情绪指数的车辆adas控制方法及*** Active CN114049677B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111478522.9A CN114049677B (zh) 2021-12-06 2021-12-06 基于驾驶员情绪指数的车辆adas控制方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111478522.9A CN114049677B (zh) 2021-12-06 2021-12-06 基于驾驶员情绪指数的车辆adas控制方法及***

Publications (2)

Publication Number Publication Date
CN114049677A CN114049677A (zh) 2022-02-15
CN114049677B true CN114049677B (zh) 2023-08-25

Family

ID=80212240

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111478522.9A Active CN114049677B (zh) 2021-12-06 2021-12-06 基于驾驶员情绪指数的车辆adas控制方法及***

Country Status (1)

Country Link
CN (1) CN114049677B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114610433B (zh) * 2022-03-23 2024-06-21 中国第一汽车股份有限公司 车辆仪表参数化动态显示方法及***
CN115056786A (zh) * 2022-06-07 2022-09-16 公安部第三研究所 一种基于驾驶人情绪干预的安全驾驶预警***
CN115376115B (zh) * 2022-10-25 2023-01-17 中国第一汽车股份有限公司 鲁莽驾驶行为标记方法、车辆、云端服务器和存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016149063A (ja) * 2015-02-13 2016-08-18 オムロン株式会社 感情推定装置及び感情推定方法
CN106627589A (zh) * 2016-12-27 2017-05-10 科世达（上海）管理有限公司 一种车辆行驶安全辅助方法、***及车辆
CN106803423A (zh) * 2016-12-27 2017-06-06 智车优行科技（北京）有限公司 基于用户情绪状态的人机交互语音控制方法、装置及车辆
CN107292778A (zh) * 2017-05-19 2017-10-24 华中师范大学 一种基于认知情感感知的云课堂学习评价方法及其装置
CN110472511A (zh) * 2019-07-19 2019-11-19 河海大学 一种基于计算机视觉的驾驶员状态监测装置
CN110619301A (zh) * 2019-09-13 2019-12-27 道和安邦（天津）安防科技有限公司 一种基于双模态信号的情绪自动识别方法
CN112380395A (zh) * 2020-10-30 2021-02-19 华南理工大学 基于双流架构的图卷积网络的情感获取方法、***及存储介质
CN113715833A (zh) * 2021-09-09 2021-11-30 重庆金康赛力斯新能源汽车设计院有限公司 一种防路怒方法、装置和***

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016149063A (ja) * 2015-02-13 2016-08-18 オムロン株式会社 感情推定装置及び感情推定方法
CN106627589A (zh) * 2016-12-27 2017-05-10 科世达（上海）管理有限公司 一种车辆行驶安全辅助方法、***及车辆
CN106803423A (zh) * 2016-12-27 2017-06-06 智车优行科技（北京）有限公司 基于用户情绪状态的人机交互语音控制方法、装置及车辆
CN107292778A (zh) * 2017-05-19 2017-10-24 华中师范大学 一种基于认知情感感知的云课堂学习评价方法及其装置
CN110472511A (zh) * 2019-07-19 2019-11-19 河海大学 一种基于计算机视觉的驾驶员状态监测装置
CN110619301A (zh) * 2019-09-13 2019-12-27 道和安邦（天津）安防科技有限公司 一种基于双模态信号的情绪自动识别方法
CN112380395A (zh) * 2020-10-30 2021-02-19 华南理工大学 基于双流架构的图卷积网络的情感获取方法、***及存储介质
CN113715833A (zh) * 2021-09-09 2021-11-30 重庆金康赛力斯新能源汽车设计院有限公司 一种防路怒方法、装置和***

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Driver’s Facial Expression Recognition in Real-Time for Safe Driving;Mira Jeong and Byoung Chul Ko;《sensors》;第1-17页 *

Also Published As

Publication number Publication date
CN114049677A (zh) 2022-02-15

Similar Documents

Publication Publication Date Title
CN114049677B (zh) 基于驾驶员情绪指数的车辆adas控制方法及***
CN112052776B (zh) 无人车自主驾驶行为优化方法、装置和计算机设备
Peng et al. Uncertainty evaluation of object detection algorithms for autonomous vehicles
Trivedi et al. Looking-in and looking-out of a vehicle: Computer-vision-based enhanced vehicle safety
DE102020120174B4 (de) Informationsverarbeitungsvorrichtung, Informationsverarbeitungsverfahren und Computerprogramm
WO2020253965A1 (en) Control device, system and method for determining perceptual load of a visual and dynamic driving scene in real time
WO2022078077A1 (zh) 驾驶风险的预警方法、装置、计算设备及存储介质
CN111434553B (zh) 制动***、方法、装置、疲劳驾驶模型的训练方法和装置
EP1486932A2 (de) Bildverarbeitungssystem für ein Fahrzeug
WO2021017341A1 (zh) 识别智能行驶设备的行驶状态的方法及装置、设备
JP7154959B2 (ja) 走行状況判断情報基盤の運転者状態認識装置及び方法
CN111814766A (zh) 车辆行为预警方法、装置、计算机设备和存储介质
CN115937830A (zh) 一种面向特种车辆的驾驶员疲劳检测方法
Husen et al. Syntactic pattern recognition of car driving behavior detection
DE112017007248T5 (de) Vorrichtung zur bestimmung des konzentrationsgrades, verfahren zur bestimmung des konzentrationsgrades und programm zur bestimmung des konzentrationsgrades
CN114771545A (zh) 一种智能安全驾驶***
US11420639B2 (en) Driving assistance apparatus
CN111985386B (zh) 一种基于计划行为理论的行人违章穿行行为辨识方法
WO2021135566A1 (zh) 车辆控制方法、装置、控制器和智能车
CN112949595A (zh) 一种基于YOLOv5改进行人车辆安全距离检测算法
Fekri et al. A Forward Collision Warning System Using Deep Reinforcement Learning
CN112348718A (zh) 智能辅助驾驶指导方法、装置和计算机存储介质
Husen et al. Continuous Car Driving intention recognition with syntactic pattern approach
Hong Active Safety Driving with Driver's Intention Identification and Behavior Prediction
Hashimoto et al. Quantification of Contributing Degree to Braking Operation of Driver based on the Hidden Markov Model

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant