CN110188655A - 驾驶状态评价方法、***及计算机存储介质 - Google Patents

驾驶状态评价方法、***及计算机存储介质 Download PDF

Info

Publication number
CN110188655A
CN110188655A CN201910445107.XA CN201910445107A CN110188655A CN 110188655 A CN110188655 A CN 110188655A CN 201910445107 A CN201910445107 A CN 201910445107A CN 110188655 A CN110188655 A CN 110188655A
Authority
CN
China
Prior art keywords
information
driving
driving condition
fusion
membership
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910445107.XA
Other languages
English (en)
Inventor
钱少华
王笑悦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NIO Co Ltd
Original Assignee
NIO Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NIO Co Ltd filed Critical NIO Co Ltd
Priority to CN201910445107.XA priority Critical patent/CN110188655A/zh
Publication of CN110188655A publication Critical patent/CN110188655A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种驾驶状态评价方法、***以及计算机存储介质，所述方法包括下列步骤：采集驾驶人员的图像信息；使用多个级联的神经网络对所述图像信息进行处理，进而获得关于所述驾驶人员的多个深度的驾驶状态信息，所述驾驶状态信息反映所述驾驶人员在驾驶时的生理状态；使用预设融合规则对所述驾驶状态信息进行融合处理以获得驾驶状态评价值，所述驾驶状态评价值指示所述驾驶人员的驾驶行为的危险性。通过该方法可以实现对驾驶人员的驾驶行为进行评价。

Description

驾驶状态评价方法、***及计算机存储介质
技术领域
本发明涉及一种对驾驶人员的驾驶状态进行评价的机制；更具体地，本发明涉及一种驾驶状态评价方法、***以及一种计算机存储介质。
背景技术
驾驶人员监控***可以实现一定程度上的计算机辅助驾驶，其通过对驾驶人员的驾驶状态进行监控进而在其存在不当驾驶行为时向其发出提醒信息，以利驾驶人员纠正不适当的驾驶习惯。这种监控***可以广泛应用于各种物流企业、驾驶培训企业以及其他需要对驾驶人员驾驶行为进行评价的工商业实体中。
目前现有的驾驶人员监控***设计方法在识别精度、识别种类和报警决策上都不够完善。基于生理参数的监控方法需要使传感器与驾驶人员的身体接触，其检测精度受个人差异和偶然性影响较大，因而很难进行准确判定。另一方面，基于生理参数的监控方法成本较高、部署不方便(因其需要与驾驶人员接触)。
此外，本领域中也使用基于图像传感器的监控方法。Aleksandra等人在识别方法上采用Viola and Jones算法框架，利用传统的图像模板进行特征提取，然后通过Adaboost或SVM方法进行分类，进而判定图像目标。在虹膜检测方面，可以利用生物特征进行特征提取。然而，这些方法在识别精度上与神经网络存在较大差距，在检测精准度上也不如神经网络。
发明内容
本发明提供一种驾驶状态评价方法、***及计算机存储介质，其在目标检测方面使用基于深度学习的神经网络进行特征提取，因而具有更好的检测精度和鲁棒性能。另一方面，现有的利用深度学习网络图像检测识别进行驾驶人员监控预警***设计中，并没有一个完善的报警决策方案，多数选择基于闭眼频率利用PERCLOS指标进行疲劳度判定，但疲劳度不仅仅与闭眼频率有关；相反，在驾驶人员不疲劳的状态下，注意力不集中也是一个需要报警的危险情况。因此需要进行多参数的检测，并进行联合报警。在使用神经网络对人脸进行检测的DMS***中，得到参数后使用简单的阈值报警或者采用传统的PERCLOS指标预警的结果很多情况下与真实情况要求不相符。本发明提供的驾驶状态评价方法、***及计算机存储介质在报警决策上基于模糊逻辑进行多信息融合，并且利用多神经网络进行多目标识别，对识别的多参数进行综合评判。
根据本发明的一方面，其提供一种驾驶状态评价方法，所述方法包括下列步骤：采集驾驶人员的图像信息；使用多个级联的神经网络对所述图像信息进行处理，进而获得关于所述驾驶人员的多个深度的驾驶状态信息，所述驾驶状态信息反映所述驾驶人员在驾驶时的生理状态；使用预设融合规则对所述驾驶状态信息进行融合处理以获得驾驶状态评价值，所述驾驶状态评价值指示所述驾驶人员的驾驶行为的危险性。
根据本发明的另一方面，其提供一种驾驶状态评价***，所述***包括：图像采集模块，其用于采集驾驶人员的图像信息；多个级联的神经网络，其用于对所述图像信息进行处理，进而获得关于所述驾驶人员的多个深度的驾驶状态信息，所述驾驶状态信息反映所述驾驶人员在驾驶时的生理状态；融合模块，使用预设融合规则对所述驾驶状态信息进行融合处理以获得驾驶状态评价值；评价模块，其用于根据所述驾驶状态评价值指示所述驾驶人员的驾驶行为的危险性。
在驾驶状态评价***的一个实施例中，利用摄像头作为图像采集模块，采集和获取驾驶人员的行为信息；通过多个级联的深度神经网络对驾驶人员的人脸特征点及危险动作进行检测，利用多信息融合进行危险等级判定，对驾驶人员进行监控预警。该***可利用三个神经网络分别针对行为、人脸细节等进行重点识别，增加了识别精度，得到准确的眨眼频率、打哈欠频率、转头频率、视线方向、手与方向盘位置关系。与现有技术相比，该实施例改善了检测精度和决策逻辑单一的问题。
根据本发明的又一方面，其提供一种计算机存储介质，所述计算机存储介质用于存储指令，当所述指令被执行时由处理器执行本发明中任一项方法。
附图说明
从结合附图的以下详细说明中，将会使本发明的上述和其他目的及优点更加完整清楚，其中，相同或相似的要素采用相同的标号表示。
图1是根据本发明的一个实施例的驾驶状态评价***的图示；
图2是根据本发明的一个实施例的驾驶状态评价方法的流程图；
图3是根据本发明的一个实施例的驾驶状态评价方法的流程图；
图4是根据本发明的一个实施例的驾驶状态评价方法的流程图；
图5是根据本发明的一个实施例的嘴部状态信息与各个驾驶评价等级的隶属度关系的图示；
图6是根据本发明的一个实施例的眼部状态信息与各个驾驶评价等级的隶属度关系的图示；
图7是根据本发明的一个实施例的视线方向信息与各个驾驶评价等级的隶属度关系的图示；
图8是根据本发明的一个实施例的头部状态信息与各个驾驶评价等级的隶属度关系的图示；
图9是根据本发明的一个实施例的手部状态信息与各个驾驶评价等级的隶属度关系的图示；
图10是根据本发明的一个实施例的人眼训练网络训练样本的图示；
图11是根据本发明的一个实施例的生成驾驶状态信息的图示；以及
图12是根据本发明的一个实施例的生成驾驶状态信息的图示。
具体实施方式
出于简洁和说明性目的，本文主要参考其示范实施例来描述本发明的原理。但是，本领域技术人员将容易地认识到相同的原理可等效地应用于所有类型的用于驾驶状态评价方法、***及计算机存储介质，并且可以在其中实施这些相同或相似的原理，任何此类变化不背离本专利申请的真实精神和范围。
图1示出了根据本发明的一个实施例的驾驶状态评价***。***包括图像采集模块100、多个级联的神经网络101-103、融合模块110以及评价模块120。
图像采集模块100可以为各种类型的图像采集装置或者为构成图像采集装置的一部分的成像器件(例如CMOS、CCD感光阵列等)。图像采集模块100用于对驾驶人员成像，且成像范围至少应当涵盖脸部、手部(具体而言，由于手部与车辆的正常耦合位置为方向盘的3点和9点位置，因而可以指向方向盘位置成像)。尽管在图中示出了单个图像采集装置，但是使用多个协同工作的成像装置对驾驶人员进行成像也包括在本发明的范围内。多个协同工作的成像装置可以为诸如不同焦距的协同工作的成像装置、不同分辨率的协同工作的成像装置。本发明中多个协同工作的成像装置可以最终形成一幅可供多个级联的神经网络101-103进行处理的图像，该图像可以具有不同关注程度的细节。出于成本的考虑，可仅使用单个图像采集装置的图像采集模块100。图像采集装置的安装位置需要能够保证采集到驾驶人员的所需区域的图像信息。
另一方面，作为一种冗余备份方案，图像采集模块100可以包括多个互为备份的图像采集装置，且在正常工作的状态下只有一个向下级多个级联的神经网络101-103输出图像；其余的图像采集装置可以为冷备份或热备份状态，以用于在当前工作的图像采集装置失效时及时启动进行替换。所谓冷备份是指其余的图像采集装置不处于通电待机状态，***在当前工作的图像采集装置失效时立即启动备份图像采集装置替换失效的图像采集装置；所谓热备份是指其余的图像采集装置处于通电待机状态，***在当前工作的图像采集装置失效时立即切换备份图像采集装置替换失效的图像采集装置。冷备份方案可以延长图像采集装置的寿命并节约能源，而热备份方案可以减少替换图像采集装置的延时，本领域技术人员可以根据需要选择合适的方案，本发明不在这个方面进行限制。
多个级联的神经网络101-103用于对图像信息进行处理，进而获得关于驾驶人员的多个深度的驾驶状态信息。图1中示出为三个级联的神经网络，但是本领域技术人员可以在利用发明的原理时根据需要而采取不同的级联等级以获得不同数量的深度驾驶状态信息。驾驶状态信息反映了在单一维度、粒度或层面上(例如，视线方向、嘴部状态)驾驶人员在驾驶时的生理状态。
继续参考图1，多个级联的神经网络包括第一神经网络101、第二神经网络102和第三神经网络103。其中，第一神经网络101用于对图像信息进行处理以获得多个深度的驾驶状态信息中的第一深度驾驶状态信息；第二神经网络102用于对经第一神经网络101识别的第一深度驾驶状态信息进行处理以获得多个深度的驾驶状态信息中的第二深度驾驶状态信息；第三神经网络103用于对经第二神经网络102识别的第二深度驾驶状态信息进行处理以获得多个深度的驾驶状态信息中的第三深度驾驶状态信息。这种设置方式可以从多个维度、从宏观到微观来评价驾驶人员的驾驶状态，因而可以使得驾驶状态评价更准确。与上文相对应的，第三深度驾驶状态信息所对应的图像信息的区域可以具有较高的细节，因而在利用多个协同工作的成像装置来获取图像时，该区域可以利用诸如较高分辨率的成像装置来成像以作为最终形成的图像。
融合模块110使用预设的融合规则对驾驶状态信息进行融合处理以获得驾驶状态评价值。评价模块120用于根据驾驶状态评价值指示驾驶人员的驾驶行为的危险性。
就具体应用而言，第一深度驾驶状态信息可以包括人脸的位置、手部状态信息(具体而言可以由手部的位置确定)；第二深度驾驶状态信息可以包括眼部状态信息、嘴部状态信息以及头部状态信息；第三深度驾驶状态信息可以包括视线方向信息。
图11中示出了形成多个不同深度的驾驶状态信息的示例。框1101用于标示人脸位置，而框1102、1103用于标示手部位置(用于生成手部状态信息)。该标示(识别)过程可以利用第一神经网络101进行，第一神经网络101可以诸如为Yolo网络。
作为本发明的一个实施例，第一神经网络101将图像信息划分成多个网格，并检测多个网格中的对象及其对应的边框位置，对象包括例如人脸和手部，并按照边框的置信度进行迭代，输出人脸的位置和手部状态信息。具体地，Yolo网络将输入的图像信息通过处理得到一个张量(tensor)。根据Yolo网络的设计，可以将输入的图像例如划分成7*7的网格，每个网格允许例如预测出2个边框(bounding box，包含某个对象的矩形框)，总共49*2＝98个边框。输出的张量对应输入图像的7*7网格。其中，每个网格对应了一个30维的向量，向量包括如下信息：20个对象分类的概率、2个边框的置信度、2个边框的位置。Yolo网络支持多种不同对象的识别，可以用多个值表示该网格位置存在任一种对象的概率。每个边框需要4个数值来表示其位置：边框的中心点的x坐标、y坐标，边框的宽度、高度)，2个边框共需要8个数值来表示其位置。边框的置信度＝该边框内存在对象的概率*该边框与该对象实际边框的IOU(交并比)。Yolo的结构很简单，包括CNN卷积、池化(下采样)以及两层全连接。训练开始阶段，网络预测的边框可能随机的，但总是选择IOU相对好一些的那个，随着训练的进行，每个边框会逐渐擅长对某些情况的预测(可能是对象大小、宽高比、不同类型的对象等)。所以，这是一种进化或者非监督学习。
在第一神经网络101识别到驾驶人员执行预定动作时，评价模块120可以直接发出警报。这种设定可以实现对危险动作的直接警报。评价模块120除了可以发出警报外还可以记录各种危险动作、驾驶状态评价值，并存储在车载电脑上供调阅，或存储在云端以方便数据调取、统计，此外还可以向对驾驶状态评价值感兴趣的各种实体发送。
继续参见图11，第二神经网络102可以用于对经第一神经网络101识别的人脸位置等信息进行处理以获得眼部状态信息、嘴部状态信息以及头部状态信息，以上各种信息均来源于面部图像信息。第三神经网络103用于对经第二神经网络102识别的眼部状态信息进行处理以获得视线方向信息(1105、1106)。融合模块110分别根据眼部状态信息、嘴部状态信息、头部状态信息、手部状态信息以及视线方向信息依其各自关于各个驾驶评价等级的隶属度基于预设融合规则进行融合。
作为本发明的一个实施例，可以根据所述人脸的位置从图像信息中切出人脸图像，然后，第二神经网络中的每一层向下一层输出关键点热图进行迭代，并最后输出人脸图像上的多个特征点(关键点热图)。具体地，第二神经网络102可以是Deep AlignmentNetwork(DAN)。DAN各阶段网络的输入均为整张图片。当网络均采用整张图片作为输入时，DAN可以有效的克服头部姿态以及初始化带来的问题，从而得到更好的检测效果。DAN加入了关键点热图。DAN包含多个阶段，每一个阶段含三个输入和一个输出，输入分别是被矫正过的图片、关键点热图和由全连接层生成的特征图，输出是面部形状。其中，CONNECTIONLAYER的作用是将本阶段得输出进行一系列变换，生成下一阶段所需要的三个输入。
参见图5-9，其中各图中的横轴为经神经网络处理得到的驾驶状态信息，具体为眼部状态信息、头部状态信息、手部状态信息以及视线方向信息。其中，眼部状态信息为第一预设时间内图像信息中眼部闭合的帧数，嘴部状态信息为第一预设时间内图像信息中嘴部张开的帧数，头部状态信息为第一预设时间内图像信息中头部偏移正常驾驶方向的帧数，手部状态信息为第一预设时间内图像信息中手部脱离方向盘的帧数，以及视线方向信息为第一预设时间内图像信息中视线偏移正常驾驶方向的帧数。第一预设时间可以由本领域技术人员在实施本发明时根据需要制定，例如可以为60秒。此时，如果图像采集模块以每秒30帧采集图像，那么60秒可以采集到1800帧图像。以下关于具体数值的说明将以此处的示例开展。
图5-9示出了各个驾驶状态信息关于不同的驾驶评价等级的隶属度。在图5-9的示例中，尽管不是必须的，驾驶状态信息的某个特定值对应的各个驾驶评价等级的隶属度之和为1。例如嘴部状态信息在取值为50帧时，其关于第一驾驶评价等级(以下简称为第一等级)的隶属度是1，而关于第二、三、四驾驶评价等级(以下简称为第二、三、四等级)的隶属度是0，隶属度之和为1+0+0+0＝1。值得一提的是，尽管本发明的实施例以四个评价等级展开叙述，但是本发明并不在此设限，更多或更少的评价等级在本发明的原理中是允许的。作为非限制性的示例，各个驾驶状态信息关于各个驾驶评价等级的隶属度可以基于预设的规则(例如专家规则)来确定，并且在适当时***可以自动调整(例如基于自学习方法)预设规则以使得各个驾驶状态信息到各个驾驶评价等级的隶属关系更加合理。驾驶评价等级表明了驾驶人员的生理状态的危险性，其中第一至第四等级危险性渐高。具体而言，例如，如果判断代表嘴部状态信息的嘴部张开图像帧数为175帧时，其分属第三、四等级的隶属度都是0.5，该单个生理状态的嘴部状态信息体现了较高的危险性，这是因为嘴部长期处于张开状态可能意味着驾驶人员正在使用通信设备进行交谈，或者正在打瞌睡(或高频率地打哈欠)。
第二神经网络102可以根据以下方法来获得眼部状态信息、嘴部状态信息以及头部状态信息。首先，将经第一神经网络101识别的人脸进行分割，再送进第二神经网络102进行68个特征点的检测。再利用人眼、嘴唇所占比例计算睁闭眼、张闭嘴情况。
其中(xi,yi)为一帧图像中68个人脸特征点中第i个点的坐标，max(x,y,z)函数用于求取最大值，Seye表示识别到的眼部区域的面积。Peyestate用于判定眼睛的状态，如果Peyestate低于设定的阈值，则判定眼睛在该帧图像中处于闭合状态；如果Peyestate高于或等于设定的阈值，则判定眼睛在该帧图像中处于睁开状态。
还可以用同样的方法来判定嘴巴在一帧图像中的张开、闭合状态：
其中(xi,yi)为一帧图像中68个人脸特征点中第i个点的坐标，max(x,y,z)函数用于求取最大值，Smouth表示识别到的嘴部区域的面积。Pmouthstate用于判定嘴巴的状态，如果Pmouthstate低于设定的阈值，则判定嘴巴在该帧图像中处于闭合状态；如果Pmouthstate高于或等于设定的阈值，则判定嘴巴在该帧图像中处于张开状态。
参见图5和图6，如果计算出在第一预设时间(60秒，以每秒30帧计共1800帧)内嘴部张开共占50帧时，则其关于第一等级的隶属度是1，而关于第二、三、四等级的隶属度是0。如果计算出在第一预设时间(60秒，以每秒30帧计共1800帧)内眼部闭合共占150帧时，则其关于第二等级的隶属度是1，而关于第一、三、四等级的隶属度是0。
参见图8和9，头部状态信息为第一预设时间内图像信息中头部偏移正常驾驶方向的帧数、手部状态信息为第一预设时间内图像信息中手部脱离方向盘的帧数。具体而言，可以将头部方向与正常驾驶方向(正前方)作比较，如果偏移的角度超过预定值(例如15度)，那么判定头部在该帧图像中偏移正常驾驶方向；如果偏移的角度没有超过预定值(15度)，那么判定头部在该帧图像中没有偏移正常驾驶方向。此外，手部状态信息是根据手部是否与方向盘脱离来确定的。可选地，在有必要时，还可以针对正常握持位置(一般为3点和9点位)进行检测，对于没有握持在正常握持位置的帧画面都判定为与方向盘脱离。
第三神经网络103可以根据以下方法来获得视线方向信息。参见图7和图10，视线方向信息为第一预设时间内图像信息中视线偏移正常驾驶方向的帧数。具体而言，可以将视线方向与正常驾驶方向(正前方)作比较，如果偏移的角度超过预定值(例如20度)，那么判定视线在该帧图像中偏移正常驾驶方向；如果偏移的角度没有超过预定值(20度)，那么判定视线在该帧图像中没有偏移正常驾驶方向。在此，可以将经由第二神经网络102检测到的人眼单独分割出来，送入训练好的单独的人眼视线网络(103)计算人眼视线方位，计算人眼视线角度。图10示出了作为非限制性示例的人眼训练网络训练样本。
作为本发明的一个实施例，第三神经网络103输入的是眼睛区域的图像，输出为视线方向；其可以使用Seonwook Park等人在《Deep Pictorial Gaze Estimation》提出的方法来检测视线方向。具体地，根据所述人脸图像上的多个特征点从所述图像信息中切出眼部图像，所述第三神经网络根据所述眼部图像中瞳孔的位置进行多次迭代并输出视线方向信息。
融合模块110还可以分别根据眼部状态信息、嘴部状态信息、头部状态信息、手部状态信息以及视线方向信息依其各自的隶属度基于预设融合规则进行融合，并根据融合中对应的各个驾驶评价等级的隶属度进行解模糊，以计算驾驶状态评价值。本发明对各个信息的融合顺序、方式不作限制性规定，但是以下实施例将作为一种可能的形式而提供。
将眼部状态信息和嘴部状态信息依其各自的隶属度基于预设融合规则进行融合，生成第一融合。作为示例的，预设融合规则如表1所示(其中第一、二、三、四等级记为Lv1、Lv2、Lv3、Lv4)：
表1
其中第一行表示嘴部状态信息关于各个驾驶评价等级的隶属，第一列表示眼部状态信息关于各个驾驶评价等级的隶属，表格中内容为融合后对各个驾驶评价等级的隶属情况。更进一步地，可以将眼部状态信息和嘴部状态信息各自关于各个驾驶评价等级的隶属度中的较小者作为第一融合关于各个驾驶评价等级的隶属度。例如，参见图5，例如在嘴部状态信息在取值为175帧时，其关于第三、四等级的隶属度皆为0.5，以上过程记为：
MOUTH@175：
Lv3→0.5
Lv4→0.5
再参见图6，例如在眼部状态信息在取值为275帧时，其关于第三等级的隶属度为1，以上过程记为：
EYE@275：
Lv3→1
查询上表可以判断融合后的第一融合关于各个驾驶评价等级的隶属度：
由于嘴部状态信息关于Lv3、Lv4存在隶属度，而眼部信息关于Lv3存在隶属度，那么融合后的中间量将关于Lv3、Lv4存在隶属度(在表格中以加粗字体表示)。此外，将眼部状态信息和嘴部状态信息各自关于Lv3、Lv4的隶属度中的较小者作为第一融合关于Lv3、Lv4的隶属度，因而第一融合关于Lv3、Lv4的隶属度分别是0.5(0.5<1)和0.5。
类似地，可以将头部状态信息和视线方向信息依其各自的隶属度基于预设融合规则(表2)进行融合，生成第二融合；将手部状态信息和第二融合依其各自的隶属度基于预设融合规则(表3)进行融合，生成第三融合；将第一融合和第三融合依其各自的隶属度基于预设融合规则(表4)进行融合，生成第四融合。表1-表4中的融合规则共同构成了本文所述的预设融合规则。
表2
在表2中，第一行表示头部状态信息关于各个驾驶评价等级的隶属，第一列表示视线方向信息关于各个驾驶评价等级的隶属，表格中内容为融合后的第二融合关于各个驾驶评价等级的隶属。
表3
在表3中，第一行表示手部状态信息关于各个驾驶评价等级的隶属，第一列表示第二融合关于各个驾驶评价等级的隶属，表格中内容为融合后的第三融合关于各个驾驶评价等级的隶属。
表4
在表4中，第一行表示第一融合关于各个驾驶评价等级的隶属，第一列表示第三融合关于各个驾驶评价等级的隶属，表格中内容为融合后的第四融合关于各个驾驶评价等级的隶属。
类似地，将头部状态信息和视线方向信息各自关于各个驾驶评价等级的隶属度中的较小者作为第二融合关于各个驾驶评价等级的隶属度；将手部状态信息和第二融合各自关于各个驾驶评价等级的隶属度中的较小者作为第三融合关于各个驾驶评价等级的隶属度；将第一融合和第三融合各自关于各个驾驶评价等级的隶属度中的较小者作为第四融合关于各个驾驶评价等级的隶属度；将第四融合关于各个驾驶评价等级的隶属度基于各个驾驶评价等级的权重计算驾驶状态评价值。
要注意的是，尽管本文的实施例中给出了具体的融合顺序，但是本领域技术人员在实现本发明的原理时可以根据需要对融合的顺序进行调整。
转至图1，融合模块110可以根据第四融合中对应的各个驾驶评价等级的隶属度进行解模糊，以计算驾驶状态评价值。
解模糊的过程可以参考下式：
其中，SLvi表示第四融合关于第i个(根据上文的示例，i可以取1、2、3和4)驾驶评价等级的隶属度，wLvi为第i个等级的权重，计算出来的L可以作为驾驶状态评价值。随后，评价模块120将计算出来的L(驾驶状态评价值)与预定值比较来决定是否发出警报。
为了保证检测的时效性，在超过预设时间后，***可以重新计算驾驶状态评价值。
要指出的是，本发明出于描述简洁的考虑，各级级联的网络中包括了计算的功能，然而在可选的实施例中，这些计算功能也可以以单独的模块、单元实现，或者独立成独立的步骤。具体而言，眼部状态信息、嘴部状态信息、头部状态信息可以为若干特征点，而第一预设时间内图像信息中眼部闭合的帧数、第一预设时间内图像信息中嘴部张开的帧数以及第一预设时间内图像信息中头部偏移正常驾驶方向的帧数可以由单独的模块、单元来计算。同样的，手部状态信息可以为手部位置，而第一预设时间内图像信息中手部脱离方向盘的帧数可以由单独的模块、单元来计算。这些实施例变型都涵盖在本发明的保护范围中。再如，同样是出于描述简洁的考虑，第一神经网络可以输出人脸的位置和手部状态信息并根据人脸的位置从图像信息中切出人脸图像，相应的，根据人脸的位置从图像信息中切出人脸图像也可以由单独的模块、单元来执行第二神经网络输出人脸图像上的多个特征点并根据人脸图像上的多个特征点从图像信息中切出眼部图像，相应的，根据人脸图像上的多个特征点从图像信息中切出眼部图像也可以由单独的模块、单元来执行。这些实施例变型也都涵盖在本发明的保护范围中。
图2示出了根据本发明的一个实施例的驾驶状态评价方法的流程图。该评价方法可以利用诸如图1所示的***来实现。
首先，在步骤201中采集驾驶人员的图像信息；其次，在步骤202中使用多个级联的神经网络对图像信息进行处理，进而获得关于驾驶人员的多个深度的驾驶状态信息；最后，在步骤203中，使用预设融合规则对驾驶状态信息进行融合处理以获得驾驶状态评价值，驾驶状态评价值指示驾驶人员的驾驶行为的危险性。
参考图3，其中步骤202中使用多个级联的神经网络对图像信息进行处理，进而获得关于驾驶人员的多个深度的驾驶状态信息可以包括如下步骤：使用第一神经网络对图像信息进行处理以获得多个深度的驾驶状态信息中的第一深度驾驶状态信息(步骤3021)；使用第二神经网络对经第一神经网络识别的第一深度驾驶状态信息进行处理以获得多个深度的驾驶状态信息中的第二深度驾驶状态信息(步骤3022)；使用第三神经网络对经第二神经网络识别的第二深度驾驶状态信息进行处理以获得多个深度的驾驶状态信息中的第三深度驾驶状态信息(步骤3023)。更具体地，第一深度驾驶状态信息可以包括人脸的位置、手部状态信息；第二深度驾驶状态信息可以包括眼部状态信息、嘴部状态信息以及头部状态信息；第三深度驾驶状态信息可以包括视线方向信息。
使用预设融合规则对驾驶状态信息进行融合处理以获得驾驶状态评价值可以包括：分别根据眼部状态信息、嘴部状态信息、头部状态信息、手部状态信息以及视线方向信息基于第一预设规则形成其对应于各个驾驶评价等级的隶属度，驾驶评价等级表明驾驶人员的单个生理状态的危险性。作为非限制性示例的，眼部状态信息为第一预设时间内图像信息中眼睛闭合的帧数、嘴部状态信息为第一预设时间内图像信息中嘴部张开的帧数、头部状态信息为第一预设时间内图像信息中头部偏移正常驾驶方向的帧数、手部状态信息为第一预设时间内图像信息中手部脱离方向盘的帧数，以及视线方向信息为第一预设时间内图像信息中视线偏移正常驾驶方向的帧数。
另外，还可以分别根据眼部状态信息、嘴部状态信息、头部状态信息、手部状态信息以及视线方向信息依其各自的隶属度基于预设融合规则进行融合，并根据融合中对应的各个驾驶评价等级的隶属度进行解模糊，以计算驾驶状态评价值。
具体而言，参考图4，可以将眼部状态信息和嘴部状态信息依其各自的隶属度基于预设融合规则进行融合，生成第一融合(步骤41)；将头部状态信息和视线方向信息依其各自的隶属度基于预设融合规则进行融合，生成第二融合(步骤42)；将手部状态信息和第二融合依其各自的隶属度基于预设融合规则进行融合，生成第三融合(步骤43)；将第一融合和第三融合依其各自的隶属度基于预设融合规则进行融合，生成第四融合(步骤44)；然后再根据第四融合中对应的各个驾驶评价等级的隶属度进行解模糊，以计算驾驶状态评价值。
其中，可以将眼部状态信息和嘴部状态信息各自关于各个驾驶评价等级的隶属度中的较小者作为第一融合关于各个驾驶评价等级的隶属度；将头部状态信息和视线方向信息各自关于各个驾驶评价等级的隶属度中的较小者作为第二融合关于各个驾驶评价等级的隶属度；将手部状态信息和第二融合各自关于各个驾驶评价等级的隶属度中的较小者作为第三融合关于各个驾驶评价等级的隶属度；将第一融合和第三融合各自关于各个驾驶评价等级的隶属度中的较小者作为第四融合关于各个驾驶评价等级的隶属度；将第四融合关于各个驾驶评价等级的隶属度基于各个驾驶评价等级的权重计算驾驶状态评价值。
将眼部状态信息和嘴部状态信息各自关于各个驾驶评价等级的隶属度中的较小者作为第一融合关于各个驾驶评价等级的隶属度；将头部状态信息和视线方向信息各自关于各个驾驶评价等级的隶属度中的较小者作为第二融合关于各个驾驶评价等级的隶属度；将手部状态信息和第二融合各自关于各个驾驶评价等级的隶属度中的较小者作为第三融合关于各个驾驶评价等级的隶属度；将第一融合和第三融合各自关于各个驾驶评价等级的隶属度中的较小者作为第四融合关于各个驾驶评价等级的隶属度；将第四融合关于各个驾驶评价等级的隶属度基于各个驾驶评价等级的权重计算驾驶状态评价值。
此外，若第一神经网络识别到驾驶人员执行预定动作，则可以直接发出警报(图4中以虚线表示)。若驾驶状态评价值高于预定值，则发出警报。为了保证时效性，还可以在超过第二预设时间后重新计算驾驶状态评价值。
另外，本发明还提供一种计算机存储介质，其用于存储指令，当所述指令被执行时由处理器执行如上文所述的方法。
类比于图11，图12是使用本发明的一个实施例的***运行界面的截图。图12中示出了对不同深度的驾驶状态信息进行实时跟踪，通过以上根据本发明的一个或多个实施例的驾驶状态评价方法、***以及计算机存储介质可以提高检测精度并且还解决了决策逻辑单一的问题，因而使得对驾驶员的监控预警更加完善。
以上例子主要说明了本公开的驾驶状态评价方法、***及计算机存储介质。尽管只对其中一些本发明的实施方式进行了描述，但是本领域普通技术人员应当了解，本发明可以在不偏离其主旨与范围内以许多其他的形式实施。因此，所展示的例子与实施方式被视为示意性的而非限制性的，在不脱离如所附各权利要求所定义的本发明精神及范围的情况下，本发明可能涵盖各种的修改与替换。

Claims (25)

1.一种驾驶状态评价方法，其特征在于，所述方法包括下列步骤：
采集驾驶人员的图像信息；
使用多个级联的神经网络对所述图像信息进行处理，进而获得关于所述驾驶人员的多个深度的驾驶状态信息，所述驾驶状态信息反映所述驾驶人员在驾驶时的生理状态；
使用预设融合规则对所述驾驶状态信息进行融合处理以获得驾驶状态评价值，所述驾驶状态评价值指示所述驾驶人员的驾驶行为的危险性。
2.根据权利要求1所述的方法，其中，使用多个级联的神经网络对所述图像信息进行处理，进而获得关于所述驾驶人员的多个深度的驾驶状态信息包括：
使用第一神经网络对所述图像信息进行处理以获得所述多个深度的驾驶状态信息中的第一深度驾驶状态信息；
使用第二神经网络对经所述第一神经网络识别的所述第一深度驾驶状态信息进行处理以获得所述多个深度的驾驶状态信息中的第二深度驾驶状态信息；以及
使用第三神经网络对经所述第二神经网络识别的所述第二深度驾驶状态信息进行处理以获得所述多个深度的驾驶状态信息中的第三深度驾驶状态信息。
3.根据权利要求2所述的方法，其中，所述第一深度驾驶状态信息包括人脸的位置、手部状态信息；所述第二深度驾驶状态信息包括眼部状态信息、嘴部状态信息以及头部状态信息；第三深度驾驶状态信息包括视线方向信息。
4.根据权利要求3所述的方法，其中，使用预设融合规则对所述驾驶状态信息进行融合处理以获得驾驶状态评价值包括：
分别根据所述眼部状态信息、所述嘴部状态信息、所述头部状态信息、所述手部状态信息以及所述视线方向信息基于第一预设规则形成其对应于各个驾驶评价等级的隶属度，所述驾驶评价等级表明所述驾驶人员的单个生理状态的危险性。
5.根据权利要求4所述的方法，其中，
所述眼部状态信息为第一预设时间内所述图像信息中眼部闭合的帧数、所述嘴部状态信息为第一预设时间内所述图像信息中嘴部张开的帧数、所述头部状态信息为第一预设时间内所述图像信息中头部偏移正常驾驶方向的帧数、所述手部状态信息为第一预设时间内所述图像信息中手部脱离方向盘的帧数，以及所述视线方向信息为第一预设时间内所述图像信息中视线偏移正常驾驶方向的帧数。
6.根据权利要求4或5所述的方法，其中，
分别根据所述眼部状态信息、所述嘴部状态信息、所述头部状态信息、所述手部状态信息以及所述视线方向信息依其各自的隶属度基于预设融合规则进行融合，并根据融合中对应的各个驾驶评价等级的隶属度进行解模糊，以计算所述驾驶状态评价值。
7.根据权利要求6所述的方法，其中，
将所述眼部状态信息和所述嘴部状态信息依其各自的隶属度基于预设融合规则进行融合，生成第一融合；
将所述头部状态信息和所述视线方向信息依其各自的隶属度基于所述预设融合规则进行融合，生成第二融合；
将所述手部状态信息和第二融合依其各自的隶属度基于所述预设融合规则进行融合，生成第三融合；
将第一融合和第三融合依其各自的隶属度基于所述预设融合规则进行融合，生成第四融合；以及
根据第四融合中对应的各个驾驶评价等级的隶属度进行解模糊，以计算所述驾驶状态评价值。
8.根据权利要求7所述的方法，其中，
将所述眼部状态信息和所述嘴部状态信息各自关于各个驾驶评价等级的隶属度中的较小者作为第一融合关于各个驾驶评价等级的隶属度；
将所述头部状态信息和所述视线方向信息各自关于各个驾驶评价等级的隶属度中的较小者作为第二融合关于各个驾驶评价等级的隶属度；
将所述手部状态信息和第二融合各自关于各个驾驶评价等级的隶属度中的较小者作为第三融合关于各个驾驶评价等级的隶属度；
将第一融合和第三融合各自关于各个驾驶评价等级的隶属度中的较小者作为第四融合关于各个驾驶评价等级的隶属度；以及
将第四融合关于各个驾驶评价等级的隶属度基于各个驾驶评价等级的权重计算所述驾驶状态评价值。
9.根据权利要求3所述的方法，其中，
若所述第一神经网络识别到所述驾驶人员执行预定动作，则发出警报。
10.根据权利要求1或5所述的方法，其中，
若所述驾驶状态评价值高于预定值，则发出警报。
11.根据权利要求1所述的方法，其中，
超过第二预设时间后重新计算所述驾驶状态评价值。
12.根据权利要求2所述的方法，其中，
所述第一神经网络将所述图像信息划分成多个网格，并检测所述多个网格中的对象及其对应的边框位置，所述对象包括人脸和手部，并按照所述边框的置信度进行迭代，输出人脸的位置和手部状态信息，以及根据所述人脸的位置从所述图像信息中切出人脸图像；
所述第二神经网络中的每一层向下一层输出关键点热图进行迭代，并最后输出所述人脸图像上的多个特征点，以及根据所述人脸图像上的多个特征点从所述图像信息中切出眼部图像；并且
所述第三神经网络根据所述眼部图像中瞳孔的位置进行多次迭代并输出视线方向信息。
13.一种驾驶状态评价***，其特征在于，所述***包括：
图像采集模块，其用于采集驾驶人员的图像信息；
多个级联的神经网络，其用于对所述图像信息进行处理，进而获得关于所述驾驶人员的多个深度的驾驶状态信息，所述驾驶状态信息反映所述驾驶人员在驾驶时的生理状态；
融合模块，使用预设融合规则对所述驾驶状态信息进行融合处理以获得驾驶状态评价值；以及
评价模块，其用于根据所述驾驶状态评价值指示所述驾驶人员的驾驶行为的危险性。
14.根据权利要求13所述的***，其中所述多个级联的神经网络包括：
第一神经网络，其用于对所述图像信息进行处理以获得所述多个深度的驾驶状态信息中的第一深度驾驶状态信息；
第二神经网络，其用于对经所述第一神经网络识别的所述第一深度驾驶状态信息进行处理以获得所述多个深度的驾驶状态信息中的第二深度驾驶状态信息；以及
第三神经网络，其用于对经所述第二神经网络识别的所述第二深度驾驶状态信息进行处理以获得所述多个深度的驾驶状态信息中的第三深度驾驶状态信息。
15.根据权利要求14所述的***，其中，所述第一深度驾驶状态信息包括人脸的位置、手部状态信息；所述第二深度驾驶状态信息包括眼部状态信息、嘴部状态信息以及头部状态信息；第三深度驾驶状态信息包括视线方向信息。
16.根据权利要求15所述的***，其中，所述融合模块分别根据所述眼部状态信息、所述嘴部状态信息、所述头部状态信息、所述手部状态信息以及所述视线方向信息，基于第一预设规则形成其对应于各个驾驶评价等级的隶属度，所述驾驶评价等级表明所述驾驶人员的单个生理状态的危险性。
17.根据权利要求16所述的***，其中，所述眼部状态信息为第一预设时间内所述图像信息中眼部闭合的帧数、所述嘴部状态信息为第一预设时间内所述图像信息中嘴部张开的帧数、所述头部状态信息为第一预设时间内所述图像信息中头部偏移正常驾驶方向的帧数、所述手部状态信息为第一预设时间内所述图像信息中手部脱离方向盘的帧数，以及所述视线方向信息为第一预设时间内所述图像信息中视线偏移正常驾驶方向的帧数。
18.根据权利要求16或17所述的***，其中，所述融合模块分别根据所述眼部状态信息、所述嘴部状态信息、所述头部状态信息、所述手部状态信息以及所述视线方向信息依其各自的隶属度基于预设融合规则进行融合，并根据融合中对应的各个驾驶评价等级的隶属度进行解模糊，以计算所述驾驶状态评价值。
19.根据权利要求18所述的***，其中，所述融合模块还用于：
将所述眼部状态信息和所述嘴部状态信息依其各自的隶属度基于预设融合规则进行融合，生成第一融合；
将所述头部状态信息和所述视线方向信息依其各自的隶属度基于所述预设融合规则进行融合，生成第二融合；
将所述手部状态信息和第二融合依其各自的隶属度基于所述预设融合规则进行融合，生成第三融合；
将第一融合和第三融合依其各自的隶属度基于所述预设融合规则进行融合，生成第四融合；
根据第四融合中对应的各个驾驶评价等级的隶属度进行解模糊，以计算所述驾驶状态评价值。
20.根据权利要求19所述的***，其中，所述融合模块还用于：
将所述眼部状态信息和所述嘴部状态信息各自关于各个驾驶评价等级的隶属度中的较小者作为第一融合关于各个驾驶评价等级的隶属度；
将所述头部状态信息和所述视线方向信息各自关于各个驾驶评价等级的隶属度中的较小者作为第二融合关于各个驾驶评价等级的隶属度；
将所述手部状态信息和第二融合各自关于各个驾驶评价等级的隶属度中的较小者作为第三融合关于各个驾驶评价等级的隶属度；
将第一融合和第三融合各自关于各个驾驶评价等级的隶属度中的较小者作为第四融合关于各个驾驶评价等级的隶属度；
将第四融合关于各个驾驶评价等级的隶属度基于各个驾驶评价等级的权重计算所述驾驶状态评价值。
21.根据权利要求15所述的***，其中，所述评价模块在所述第一神经网络识别到所述驾驶人员执行预定动作时发出警报。
22.根据权利要求13或17所述的***，其中，所述评价模块在所述驾驶状态评价值高于预定值时发出警报。
23.根据权利要求13所述的***，其中，
超过第二预设时间后，所述***重新计算所述驾驶状态评价值。
24.根据权利要求14所述的***，其中，
所述第一神经网络将所述图像信息划分成多个网格，并检测所述多个网格中的对象及其对应的边框位置，所述对象包括人脸和手部，并按照所述边框的置信度进行迭代，输出人脸的位置和手部状态信息，以及根据所述人脸的位置从所述图像信息中切出人脸图像；
所述第二神经网络中的每一层向下一层输出关键点热图进行迭代，并最后输出所述人脸图像上的多个特征点，以及根据所述人脸图像上的多个特征点从所述图像信息中切出眼部图像；并且
所述第三神经网络根据所述眼部图像中瞳孔的位置进行多次迭代并输出视线方向信息。
25.一种计算机存储介质，其用于存储指令，当所述指令被执行时由处理器执行如权利要求1-12中任一项所述的方法。
CN201910445107.XA 2019-05-27 2019-05-27 驾驶状态评价方法、***及计算机存储介质 Pending CN110188655A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910445107.XA CN110188655A (zh) 2019-05-27 2019-05-27 驾驶状态评价方法、***及计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910445107.XA CN110188655A (zh) 2019-05-27 2019-05-27 驾驶状态评价方法、***及计算机存储介质

Publications (1)

Publication Number Publication Date
CN110188655A true CN110188655A (zh) 2019-08-30

Family

ID=67717929

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910445107.XA Pending CN110188655A (zh) 2019-05-27 2019-05-27 驾驶状态评价方法、***及计算机存储介质

Country Status (1)

Country Link
CN (1) CN110188655A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111160237A (zh) * 2019-12-27 2020-05-15 智车优行科技（北京）有限公司 头部姿态估计方法和装置、电子设备和存储介质
CN111950371A (zh) * 2020-07-10 2020-11-17 上海淇毓信息科技有限公司 疲劳驾驶预警方法及其装置、电子设备、存储介质
CN112699721A (zh) * 2019-10-23 2021-04-23 通用汽车环球科技运作有限责任公司 离开道路扫视时间的情境相关调整
CN115398509A (zh) * 2020-06-09 2022-11-25 株式会社日立物流 运行辅助方法、运行辅助***和运行辅助服务器

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104240446A (zh) * 2014-09-26 2014-12-24 长春工业大学 基于人脸识别的疲劳驾驶预警***
CN104809445A (zh) * 2015-05-07 2015-07-29 吉林大学 基于眼部和嘴部状态的疲劳驾驶检测方法
CN105286802A (zh) * 2015-11-30 2016-02-03 华南理工大学 基于视频信息的驾驶员疲劳检测方法
US20170001648A1 (en) * 2014-01-15 2017-01-05 National University Of Defense Technology Method and Device for Detecting Safe Driving State of Driver
CN107657236A (zh) * 2017-09-29 2018-02-02 厦门知晓物联技术服务有限公司 汽车安全驾驶预警方法及车载预警***
CN108309311A (zh) * 2018-03-27 2018-07-24 北京华纵科技有限公司 一种列车驾驶员实时盹睡检测装置及检测算法
CN108960065A (zh) * 2018-06-01 2018-12-07 浙江零跑科技有限公司 一种基于视觉的驾驶行为检测方法
WO2019028798A1 (zh) * 2017-08-10 2019-02-14 北京市商汤科技开发有限公司 驾驶状态监控方法、装置和电子设备
CN109409347A (zh) * 2018-12-27 2019-03-01 哈尔滨理工大学 一种基于人脸特征检测疲劳驾驶的方法
CN109460780A (zh) * 2018-10-17 2019-03-12 深兰科技（上海）有限公司 人工神经网络的车辆安全驾驶检测方法、装置及存储介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170001648A1 (en) * 2014-01-15 2017-01-05 National University Of Defense Technology Method and Device for Detecting Safe Driving State of Driver
CN104240446A (zh) * 2014-09-26 2014-12-24 长春工业大学 基于人脸识别的疲劳驾驶预警***
CN104809445A (zh) * 2015-05-07 2015-07-29 吉林大学 基于眼部和嘴部状态的疲劳驾驶检测方法
CN105286802A (zh) * 2015-11-30 2016-02-03 华南理工大学 基于视频信息的驾驶员疲劳检测方法
WO2019028798A1 (zh) * 2017-08-10 2019-02-14 北京市商汤科技开发有限公司 驾驶状态监控方法、装置和电子设备
CN107657236A (zh) * 2017-09-29 2018-02-02 厦门知晓物联技术服务有限公司 汽车安全驾驶预警方法及车载预警***
CN108309311A (zh) * 2018-03-27 2018-07-24 北京华纵科技有限公司 一种列车驾驶员实时盹睡检测装置及检测算法
CN108960065A (zh) * 2018-06-01 2018-12-07 浙江零跑科技有限公司 一种基于视觉的驾驶行为检测方法
CN109460780A (zh) * 2018-10-17 2019-03-12 深兰科技（上海）有限公司 人工神经网络的车辆安全驾驶检测方法、装置及存储介质
CN109409347A (zh) * 2018-12-27 2019-03-01 哈尔滨理工大学 一种基于人脸特征检测疲劳驾驶的方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
MAREK KOWALSKI ET AL.: ""Deep Alignment Network: A convolutional neural network for robust face alignment"" *
SEONWOOK PARK ET AL.: ""Deep Pictorial Gaze Estimation"" *
石坚 等: "汽车驾驶员主动安全性因素的辨识与分析" *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112699721A (zh) * 2019-10-23 2021-04-23 通用汽车环球科技运作有限责任公司 离开道路扫视时间的情境相关调整
CN112699721B (zh) * 2019-10-23 2023-08-25 通用汽车环球科技运作有限责任公司 离开道路扫视时间的情境相关调整
CN111160237A (zh) * 2019-12-27 2020-05-15 智车优行科技（北京）有限公司 头部姿态估计方法和装置、电子设备和存储介质
CN115398509A (zh) * 2020-06-09 2022-11-25 株式会社日立物流 运行辅助方法、运行辅助***和运行辅助服务器
CN111950371A (zh) * 2020-07-10 2020-11-17 上海淇毓信息科技有限公司 疲劳驾驶预警方法及其装置、电子设备、存储介质
CN111950371B (zh) * 2020-07-10 2023-05-19 上海淇毓信息科技有限公司 疲劳驾驶预警方法及其装置、电子设备、存储介质

Similar Documents

Publication Publication Date Title
CN110188655A (zh) 驾驶状态评价方法、***及计算机存储介质
Chirra et al. Deep CNN: A Machine Learning Approach for Driver Drowsiness Detection Based on Eye State.
Ji et al. Fatigue state detection based on multi-index fusion and state recognition network
CN103839379B (zh) 汽车及用于其的驾驶员疲劳预警检测方法和***
CN111723786B (zh) 一种基于单模型预测的安全帽佩戴检测方法及装置
CN108309311A (zh) 一种列车驾驶员实时盹睡检测装置及检测算法
CN108664947A (zh) 一种基于表情识别的疲劳驾驶预警方法
CN105769120A (zh) 疲劳驾驶检测方法和装置
CN105956548A (zh) 驾驶员疲劳状况检测方法和装置
CN102324166A (zh) 一种疲劳驾驶检测方法及装置
CN104224204A (zh) 一种基于红外检测技术的驾驶员疲劳检测***
CN104331160A (zh) 一种基于唇部状态识别的智能轮椅人机交互***及方法
CN102629321A (zh) 基于证据理论的人脸表情识别方法
CN109002774A (zh) 一种基于卷积神经网络的疲劳监测装置及方法
Xing et al. Application of face recognition based on CNN in fatigue driving detection
Hasan et al. State-of-the-art analysis of modern drowsiness detection algorithms based on computer vision
Devi et al. Fuzzy based driver fatigue detection
Wathiq et al. Optimized driver safety through driver fatigue detection methods
Rani et al. Development of an Automated Tool for Driver Drowsiness Detection
Zhou et al. An Improved Random Forest Algorithm-Based Fatigue Recognition with Multi-Physical Feature
Singh et al. Driver fatigue detection using machine vision approach
Aarthi et al. Driver drowsiness detection using deep learning technique
Wang et al. Driving fatigue detection based on feature fusion of information entropy
CN203677103U (zh) 一种基于红外检测技术的ccd摄像头
Sulaiman et al. A systematic review on Evaluation of Driver Fatigue Monitoring Systems based on Existing Face/Eyes Detection Algorithms

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination