CN111797784B - 驾驶行为监测方法、装置、电子设备及存储介质 - Google Patents
驾驶行为监测方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN111797784B CN111797784B CN202010656440.8A CN202010656440A CN111797784B CN 111797784 B CN111797784 B CN 111797784B CN 202010656440 A CN202010656440 A CN 202010656440A CN 111797784 B CN111797784 B CN 111797784B
- Authority
- CN
- China
- Prior art keywords
- video frame
- driving
- behavior data
- driver
- behavior
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 77
- 238000012544 monitoring process Methods 0.000 title claims abstract description 49
- 230000006399 behavior Effects 0.000 claims abstract description 360
- 230000002159 abnormal effect Effects 0.000 claims abstract description 84
- 238000001514 detection method Methods 0.000 claims abstract description 49
- 238000012806 monitoring device Methods 0.000 claims abstract description 25
- 238000012549 training Methods 0.000 claims description 33
- 238000012545 processing Methods 0.000 claims description 24
- 239000011159 matrix material Substances 0.000 claims description 21
- 230000009466 transformation Effects 0.000 claims description 21
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 14
- 238000013528 artificial neural network Methods 0.000 claims description 7
- 230000000694 effects Effects 0.000 description 7
- 241001282135 Poromitra oscitans Species 0.000 description 6
- 206010048232 Yawning Diseases 0.000 description 6
- 238000004590 computer program Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 206010039203 Road traffic accident Diseases 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 230000000391 smoking effect Effects 0.000 description 4
- 206010041349 Somnolence Diseases 0.000 description 3
- 238000002372 labelling Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 206010000117 Abnormal behaviour Diseases 0.000 description 1
- 208000032140 Sleepiness Diseases 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000037321 sleepiness Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Traffic Control Systems (AREA)
Abstract
本申请提供一种驾驶行为监测方法、装置、电子设备及存储介质，该方法包括：获取驾驶员的驾驶视频；对驾驶视频中的当前视频帧进行人脸配准，并将人脸配准后的当前视频帧输入至驾驶行为检测模型中，以确定当前视频帧中驾驶员的多种行为数据；根据多种行为数据，确定驾驶员的异常驾驶行为。本申请实施例中，由于通过将人脸配准后的当前视频帧输入至驾驶行为检测模型中，确定驾驶员的多种行为数据，然后根据多种行为数据，可以确定驾驶员的一种或多种异常驾驶行为，避免了驾驶行为监测过程中分别调用每种异常驾驶行为各自的模型或者算法，而本申请实施例中通过调用一个驾驶行为检测模型检测多种异常驾驶行为，提高了驾驶行为检测的效率。
Description
技术领域
本申请涉及安全驾驶技术领域，尤其涉及一种驾驶行为监测方法、装置、电子设备及存储介质。
背景技术
随着汽车行业的蓬勃发展，汽车逐渐成为最常见的出行工具。驾驶员处于疲劳状态时，会出现注意力分散、应变能力下降、对路面情况和周边环境的观察不及时，甚至出现短时间睡眠，完全失去驾驶能力，极其容易造成交通事故。因此，实时的检测驾驶员的疲劳驾驶状态并及时提醒驾驶员，对于避免重大交通事故，起着重要的作用。
在目前众多的疲劳驾驶检测方法中，基于计算机视觉的检测方法具有无需与驾驶员物理接触、不会干扰驾驶员的正常操作、稳定性较高等优点，具有较高的推广价值。现有技术中，基于机器视觉的检测方法通常是针对某一种状态，采集大量的驾驶员图像作为训练样本，对模型或算法进行训练，生成该状态对应的训练后的模型或算法，然后通过车内的摄像头采集驾驶员图像，并调用每种状态对应的训练后的模型或者算法，判断驾驶员是否存在异常行为。
然而，现有技术中，针对每种状态的监测都需要分别训练一个模型或者算法，在驾驶行为监测过程中需要分别调用这些模型或者算法，驾驶行为监测过程需要调用多个模型，驾驶行为监测的效率较低。
发明内容
本申请提供一种驾驶行为监测方法、装置、电子设备及存储介质，以实现对驾驶员的驾驶行为监测，并且可以通过调用一个驾驶行为检测模型检测多种异常驾驶行为，提高了驾驶行为检测的效率。
第一方面，本申请实施例提供一种驾驶行为监测方法，包括：
获取驾驶员的驾驶视频。
对驾驶视频中的当前视频帧进行人脸配准，并将人脸配准后的当前视频帧输入至驾驶行为检测模型中，以确定当前视频帧中驾驶员的多种行为数据；
根据多种行为数据和每种行为数据的预设参数，确定驾驶员的异常驾驶行为。
本申请实施例中，通过将人脸配准后的当前视频帧输入至驾驶行为检测模型中，确定驾驶员的多种行为数据，然后根据多种行为数据，可以确定驾驶员的一种或多种异常驾驶行为，避免了驾驶行为监测过程中分别调用每种异常驾驶行为各自的模型或者算法，而本申请实施例中通过调用一个驾驶行为检测模型检测多种异常驾驶行为，提高了驾驶行为检测的效率。
在一种可能的实施方式中，预设参数包括第一预设阈值，根据多种行为数据，确定驾驶员的异常驾驶行为，包括：
若行为数据大于行为数据的第一预设阈值，则确定驾驶员存在行为数据对应的异常驾驶行为。
在一种可能的实施方式中，预设参数包括第一预设阈值、第二预设阈值和预设视频帧数，本申请实施例根据多种行为数据，确定驾驶员的异常驾驶行为，包括：
确定当前视频帧之前预设视频帧数的第一行为数据。
确定第一行为数据中超过第一行为数据的第一预设阈值的视频帧数。
若视频帧数与预设视频帧数的比值大于第二预设阈值，则确定驾驶员存在行为数据对应的异常驾驶行为。
本申请实施例中，通过在对驾驶员的异常驾驶行为进行判断的过程中，考虑到当前视频帧之前预设视频帧数的行为数据，可以提高对驾驶员的异常驾驶行为确定的准确性。
在一种可能的实施方式中，本申请实施例在对驾驶视频中的当前视频帧进行人脸配准之前，还包括：
确定当前视频帧中的人脸姿态。
若人脸姿态的角度大于预设角度，则结束对当前视频帧的处理，并读入当前视频帧的下一帧视频帧作为更新的当前视频帧。
本申请实施例中，通过剔除人脸姿态的角度大于预设角度的视频帧，避免了由于人脸姿态过大，导致异常驾驶行为判断误差较大的情况，进一步提高了异常驾驶行为检测的可靠性。
在一种可能的实施方式中，对驾驶视频中的当前视频帧进行人脸配准，包括：
利用人脸检测算法定位当前视频帧中驾驶员的人脸位置，并利用人脸特征点定位算法确定驾驶员的人脸特征点。
将人脸特征点构成特征矩阵，计算特征矩阵到模板矩阵的仿射变换，并按照仿射变换对当前视频帧进行变换处理，获取人脸配准后的当前视频帧。
在一种可能的实施方式中，本申请实施例提供的驾驶行为监测方法，还可以包括：
确定当前驾驶行程中当前视频帧之前或当前驾驶行程中初始阶段的预设时间内的第二行为数据。
将第二行为数据聚类为第一类数据和第二类数据，并确定第一类数据的第一均值和第二类数据的第二均值。
根据第一均值和第二均值，调整行为数据的预设参数。
在一种可能的实施方式中，根据第一均值和第二均值，调整行为数据的预设参数，包括：
若第一均值与第二均值之间的相差数值小于第三预设阈值，则增大行为数据的第一预设阈值，和/或，增大行为数据的第二预设阈值，和/或，增大行为数据的预设视频帧数。
本申请实施例中，通过根据驾驶行程中初始初段的行为数据，可以自适应的调整参数，避免了现有技术中依赖于训练集中是否有该驾驶员完整正负样本，提高了驾驶行为监测方法的适应能力。
在一种可能的实施方式中，在获取驾驶员的驾驶视频之前，还包括：
获取驾驶图像集；
对驾驶图像集中的每张图像分别进行人脸配准和行为标注，生成训练集；
通过训练集对深度神经网络进行训练，生成驾驶行为检测模型。
在一种可能的实施方式中，本申请实施例提供的驾驶行为监测方法，还包括：
若驾驶员存在异常驾驶行为，则向用户推送报警信息，报警信息用于提示驾驶员存在异常驾驶行为。
下面介绍本申请实施例提供的装置、电子设备、计算机可读存储介质以及计算机程序产品，其内容和效果可参考本申请实施例提供的驾驶行为监测方法，不再赘述。
第二方面，本申请实施例提供一种驾驶行为监测装置，包括：
获取模块，用于获取驾驶员的驾驶视频。
处理模块，用于对驾驶视频中的当前视频帧进行人脸配准，并将人脸配准后的当前视频帧输入至驾驶行为检测模型中，以确定当前视频帧中驾驶员的多种行为数据。
确定模块，用于根据多种行为数据和每种行为数据的预设参数，确定驾驶员的异常驾驶行为。
在一种可能的实施方式中，预设参数包括第一预设阈值，确定模块，具体用于：
若行为数据大于行为数据的第一预设阈值，则确定驾驶员存在行为数据对应的异常驾驶行为。
在一种可能的实施方式中，预设参数包括第一预设阈值、第二预设阈值和预设视频帧数，确定模块，具体用于：
确定当前视频帧之前预设视频帧数的第一行为数据。
确定第一行为数据中超过第一行为数据的第一预设阈值的视频帧数。
若视频帧数与预设视频帧数的比值大于第二预设阈值，则确定驾驶员存在行为数据对应的异常驾驶行为。
在一种可能的实施方式中，本申请实施例提供的驾驶行为监测装置，还可以包括更新模块。
更新模块，用于确定当前视频帧中的人脸姿态；若人脸姿态的角度大于预设角度，则结束对当前视频帧的处理，并读入当前视频帧的下一帧视频帧作为更新的当前视频帧。
在一种可能的实施方式中，处理模块，具体用于：
利用人脸检测算法定位当前视频帧中驾驶员的人脸位置，并利用人脸特征点定位算法确定驾驶员的人脸特征点。
将人脸特征点构成特征矩阵，计算特征矩阵到模板矩阵的仿射变换，并按照仿射变换对当前视频帧进行变换处理，获取人脸配准后的当前视频帧。
在一种可能的实施方式中，确定模块，还用于：
确定当前驾驶行程中当前视频帧之前或当前驾驶行程中初始阶段的预设时间内的第二行为数据。
将第二行为数据聚类为第一类数据和第二类数据，并确定第一类数据的第一均值和第二类数据的第二均值。
根据第一均值和第二均值调整行为数据的预设参数。
在一种可能的实施方式中，确定模块，具体用于：
若第一均值与第二均值之间的相差数值小于第三预设阈值，则增大行为数据的第一预设阈值，和/或，增大行为数据的第二预设阈值，和/或，增大行为数据的预设视频帧数。
在一种可能的实施方式中，本申请实施例提供的驾驶行为监测装置，还包括训练模块，训练模块具体用于：
获取驾驶图像集；
对驾驶图像集中的每张图像分别进行人脸配准和行为标注，生成训练集；
通过训练集对深度神经网络进行训练，生成驾驶行为检测模型。
在一种可能的实施方式中，本申请实施例提供的驾驶行为监测装置，还包括：
推送模块，用于若驾驶员存在异常驾驶行为，则向用户推送报警信息，报警信息用于提示驾驶员存在异常驾驶行为。
第三方面，本申请实施例提供一种电子设备，包括：
至少一个处理器；以及
与至少一个处理器通信连接的存储器；其中
存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如第一方面或第一方面可实现方式提供的方法。
第四方面，本申请实施例提供一种存储有计算机指令的非瞬时计算机可读存储介质，计算机指令用于使计算机执行如第一方面或第一方面可实现方式提供的方法。
第五方面，本申请实施例提供一种计算机程序产品，包括：可执行指令，可执行指令用于实现如第一方面或第一方面可选方式提供的方法。
本申请提供的驾驶行为监测方法、装置、电子设备及存储介质，通过获取驾驶员的驾驶视频；然后对驾驶视频中的当前视频帧进行人脸配准，并将人脸配准后的当前视频帧输入至驾驶行为检测模型中，以确定当前视频帧中驾驶员的多种行为数据；最后根据多种行为数据，确定驾驶员的异常驾驶行为。本申请实施例中，由于通过将人脸配准后的当前视频帧输入至驾驶行为检测模型中，确定驾驶员的多种行为数据，然后根据多种行为数据，可以确定驾驶员的一种或多种异常驾驶行为，避免了驾驶行为监测过程中分别调用每种异常驾驶行为各自的模型或者算法，而本申请实施例中通过调用一个驾驶行为检测模型检测多种异常驾驶行为，提高了驾驶行为检测的效率。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一示例性应用场景图；
图2是本申请一实施例提供的驾驶行为监测方法的流程示意图；
图3是本申请另一实施例提供的驾驶行为监测方法的流程示意图；
图4是本申请又一实施例提供的驾驶行为监测方法的流程示意图；
图5是本申请再一实施例提供的驾驶行为监测方法的流程示意图；
图6是本申请一实施例提供的驾驶行为监测装置的结构示意图；
图7是本申请实施例提供的电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
随着汽车行业的蓬勃发展，汽车逐渐成为最常见的出行工具。驾驶员处于疲劳状态时，会出现注意力分散、应变能力下降、对路面情况和周边环境的观察不及时，甚至出现短时间睡眠，完全失去驾驶能力，极其容易造成交通事故。因此，实时的检测驾驶员的疲劳驾驶状态并及时提醒驾驶员，对于避免重大交通事故，起着重要的作用。然而，现有技术中，针对每种状态的监测都需要分别训练一个模型或者算法，在驾驶行为监测过程中需要分别调用这些模型或者算法，不仅训练过程计算量较大，而且驾驶行为监测过程调用多个模型也浪费时间，驾驶行为监测的效率较低。
本申请实施例提供的驾驶行为监测方法、装置、电子设备及存储介质的发明构思在于，通过将人脸配准后的当前视频帧输入至驾驶行为检测模型中，确定驾驶员的多种行为数据，然后根据多种行为数据，可以确定驾驶员的一种或多种异常驾驶行为，避免了驾驶行为监测过程中分别调用每种异常驾驶行为各自的模型或者算法，而本申请实施例中通过调用一个驾驶行为检测模型检测多种异常驾驶行为，提高了驾驶行为检测的效率。
以下，对本申请实施例的示例性应用场景进行介绍。
本申请实施例提供的驾驶行为监测方法可以通过本申请实施例提供的驾驶行为监测装置执行，本申请实施例提供的驾驶行为监测装置可以集成在终端设备上，或者该驾驶行为监测装置可以为终端设备本身，本申请实施例对终端设备的具体类型不做限制，例如，终端设备可以是车辆、车机、车载终端、监控设备、摄像机、可穿戴设备、智能手机、个人电脑、平板电脑等。图1是本申请实施例提供的一示例性应用场景图，如图1所示，该应用场景主要包括：终端设备10(车辆)、摄像头11。其中，本申请实施例提供的驾驶行为监测方法可以应用于车辆10中，例如，可以通过车辆10中的车载终端或车机等实现，车辆10中设置有摄像头11，摄像头11可以获取驾驶员12的驾驶视频或驾驶图像。另外，终端设备还可以与服务器连接，用于与服务器进行数据通信，本申请实施例对服务器的类型也不做限制。
图2是本申请一实施例提供的驾驶行为监测方法的流程示意图，该方法可以由驾驶行为监测装置执行，该装置可以通过软件和/或硬件的方式实现，下面以车辆为执行主体对驾驶行为监测方法进行说明，如图2所示，本申请实施例提供的驾驶行为监测方法可以包括：
步骤S101：获取驾驶员的驾驶视频。
驾驶员的驾驶视频可以通过车辆中的摄像头获取，本申请实施例对摄像头的类型不做限制，例如，摄像头可以为单目摄像头、双目摄像头、高清摄像头等。驾驶员的驾驶视频中包括驾驶员，在一种可能的实施方式中，驾驶视频可以是连续拍摄的，也可以通过一定时间间隔拍摄的多张驾驶图像组成，本申请实施例对此不做限制。在获取到驾驶员的驾驶视频之后，可以将驾驶视频输入至车辆的图形处理器(Graphics Processing Unit，GPU)或车机处理器等，以便于后续的处理。
步骤S102：对驾驶视频中的当前视频帧进行人脸配准，并将人脸配准后的当前视频帧输入至驾驶行为检测模型中，以确定当前视频帧中驾驶员的多种行为数据。
在获取驾驶员的驾驶视频之后，对驾驶视频中的当前视频帧进行人脸配准，本申请实施例对当前视频帧进行人脸配准的具体实现方式不做限制，在一种可能的实施方式中，对驾驶视频中的当前视频帧进行人脸配准，包括：
利用人脸检测算法定位当前视频帧中驾驶员的人脸位置，并利用人脸特征点定位算法确定驾驶员的人脸特征点；将人脸特征点构成特征矩阵，计算特征矩阵到模板矩阵的仿射变换，并按照仿射变换对当前视频帧进行变换处理，获取人脸配准后的当前视频帧。
人脸检测算法是基于人的面部特征，对输入的当前视频帧进行检测是否存在人脸，并在确定存在人脸之后，进一步给出每张脸的位置、大小和各个主要面部器官的位置信息。在确定驾驶员的人脸位置之后，利用人脸特征点定位算法确定驾驶员的人脸特征点，本申请实施例对人脸特征点定位算法也不做限制，例如，可以确定驾驶员的特征点为39点、68点等。将人脸特征点构成特征矩阵，并计算特征矩阵到人脸模板矩阵的仿射变换，进而按照仿射变换对当前视频帧进行变换处理，以进行人脸配准，得到人脸配准后的当前视频帧。本申请实施例对当前视频帧进行人脸配准的具体实现方式并不限于此，例如，还可以采用现有技术中人脸配准的方式进行实现，此处不再赘述。
在得到人脸配准后的当前视频帧之后，将人脸配准后的当前视频帧输入至驾驶行为检测模型中，通过驾驶行为检测模型对人脸配准后的当前视频帧进行检测，得到驾驶员的多种行为数据。其中，多种行为可以包括瞌睡、打哈欠、抽烟、打电话、走神、聊天、打闹等异常驾驶行为，本申请实施例仅以此为例，并不限于此。多种行为数据可以是每种异常驾驶行为出现的概率，例如，多种行为数据可以包括驾驶员瞌睡的概率、打哈欠的概率、抽烟的概率、打电话的概率、走神的概率、聊天的概率、打闹的概率等，本申请实施例仅以此为例，并不限于此。
驾驶行为检测模型可以是深度神经网络模型，在一种可能的实施方式中，本申请实施例提供的驾驶行为监测方法，在获取驾驶员的驾驶视频之前，还可以包括：
获取驾驶图像集；对驾驶图像集中的每张图像分别进行人脸配准和行为标注，生成训练集；通过训练集对深度神经网络进行训练，生成驾驶行为检测模型。
获取的驾驶图像集可以是驾驶员的多张驾驶图像，也可以是其他人的多张驾驶图像。然后对驾驶图像集中的每张图像分别进行人脸配准和行为标注，标注行为可以包括多种异常驾驶行为，以得到多张人脸配准及行为标注后的驾驶图像，获取训练集。将训练集输入至深度神经网络中进行训练，得到训练后的驾驶行为检测模型，实现了对驾驶行为检测模型的训练和生成。
步骤S103：根据多种行为数据和每种行为数据的预设参数，确定驾驶员的异常驾驶行为。
在确定多种行为数据之后，根据多种行为数据和每种行为数据的预设参数，确定驾驶员的异常驾驶行为。其中，每种行为数据可以对应一种异常驾驶行为，例如，行为数据为驾驶员抽烟的概率，则可以通过该行为数据判断驾驶员是否存在抽烟这种异常驾驶行为。在又一种可能的实施方式中，也可以是多种行为数据对应一种异常驾驶行为，例如，多种行为数据包括驾驶员打哈欠的概率和驾驶员目光呆滞的概率，则可以通过该两种行为数据判断驾驶员是否存在困倦这种异常驾驶行为。本申请实施例仅以此为例，并不限于此。
每种行为数据存在各自的预设参数，在一种可能的实施方式中，预设参数包括第一预设阈值，根据多种行为数据，确定驾驶员的异常驾驶行为，包括：若行为数据大于行为数据的第一预设阈值，则确定驾驶员存在行为数据对应的异常驾驶行为。
示例性的，行为数据A的第一预设阈值为B，行为数据A对应的异常驾驶行为为C，则若A>B，则表示驾驶员存在异常驾驶行为C。本申请实施例仅以此为例。
若驾驶员存在异常驾驶行为，则需要提示驾驶员或提示驾驶员中的乘客，驾驶员的当前行为比较危险，以使驾驶员及时制止异常驾驶行为或者及时休息，以避免由于异常驾驶行为带来的隐患。在上述实施例的基础上，在一种可能的实施方式中，本申请实施例提供的驾驶行为监测方法，还可以包括：若驾驶员存在异常驾驶行为，则向用户推送报警信息，报警信息用于提示驾驶员存在异常驾驶行为。
本申请实施例对向用户推送报警信息的具体实现方式不做限制，例如，可以通过车辆中的收音机、扬声器、语音播放器等设备播放报警信息，以便于提示驾驶员或提示乘客驾驶员存在异常驾驶行为。在另一种可能的实施方式中，报警信息中还可以包括针对异常驾驶行为的建议，例如，若驾驶员存在瞌睡的异常驾驶行为，则建议驾驶员找到可停车的路边、休息区等进行休息。再例如，若驾驶员存在打闹的异常驾驶行为，则建议驾驶员集中精力开车，提示驾驶员开车打闹危险等，本申请实施例仅以此为例，并不限于此。
本申请实施例中，通过将人脸配准后的当前视频帧输入至驾驶行为检测模型中，确定驾驶员的多种行为数据，然后根据多种行为数据，可以确定驾驶员的一种或多种异常驾驶行为，避免了驾驶行为监测过程中分别调用每种异常驾驶行为各自的模型或者算法，而本申请实施例中通过调用一个驾驶行为检测模型检测多种异常驾驶行为，提高了驾驶行为检测的效率。
在图2所示的实施例的基础上，预设参数包括第一预设阈值、第二预设阈值和预设视频帧数，针对不同的行为数据，其对应的第一预设阈值、第二预设阈值以及预设视频帧数可能不同，具体可以根据行为数据对应的异常驾驶行为进行设置，本申请实施例对此不做限制。图3是本申请另一实施例提供的驾驶行为监测方法的流程示意图，该方法可以由驾驶行为监测装置执行，该装置可以通过软件和/或硬件的方式实现，下面以终端设备为执行主体对驾驶行为监测方法进行说明，如图3所示，本申请实施例提供的驾驶行为监测方法中的步骤S103可以包括：
步骤S201：确定当前视频帧之前预设视频帧数的第一行为数据。
步骤S202：确定第一行为数据中超过第一行为数据的第一预设阈值的视频帧数。
步骤S203：若视频帧数与预设视频帧数的比值大于第二预设阈值，则确定驾驶员存在行为数据对应的异常驾驶行为。
针对多种行为数据中的每种行为数据，均可以通过本申请实施例提供的方法确定驾驶员的异常驾驶行为，本申请实施例仅以多种行为数据中的任意一种行为数据为例进行说明，并不限于此。
通过确定当前视频帧之前预设视频帧数的第一行为数据，然后确定第一行为数据中超过第一行为数据的第一预设阈值的视频帧数，进而在视频帧数与预设视频帧数的比值大于行为数据的第二预设阈值时，确定驾驶员存在行为数据对应的异常驾驶行为。为便于介绍，下面以预设视频帧数为10帧，行为数据为打哈欠的概率，则第一行为数据为当前视频帧之前10帧的打哈欠的概率，第一预设阈值为0.5，第二预设阈值为50％，行为数据对应的异常驾驶行为为打哈欠为例，进行说明。确定当前视频帧之前10帧的第一行为数据，例如分别为0.1、0.3、0.5、0.7、0.7、0.9、0.8、1、0.9、0.8，经过比较，超过0.5的视频帧数为7帧，且视频帧数与预设视频帧数之间的比值为7:10，即70％，且70％>50％，因此，驾驶员存在打哈欠的异常驾驶行为。
本申请实施例中，通过在对驾驶员的异常驾驶行为进行判断的过程中，考虑到当前视频帧之前预设视频帧数的行为数据，可以提高对驾驶员的异常驾驶行为确定的准确性。
在图2或图3任一所示的实施例的基础上，图4是本申请又一实施例提供的驾驶行为监测方法的流程示意图，如图4所示，本申请实施例提供的驾驶行为监测方法，在对驾驶视频中的当前视频帧进行人脸配准之前，还可以包括：
步骤S301：确定当前视频帧中的人脸姿态。
步骤S302：判断人脸姿态的角度是否大于预设角度。
若经过判断，人脸姿态的角度不大于预设角度，则可以执行上述实施例中的步骤S102和103。若经过判断，人脸姿态的角度大于预设角度，则执行步骤S303。
步骤S303：结束对当前视频帧的处理，并读入当前视频帧的下一帧视频帧作为更新的当前视频帧。
在人脸姿态较大时，对行为数据的检测结果的可靠性较差，即，可能出现行为数据误差较大的情形，为了避免由于人脸姿态较大对行为数据的不良影响，本申请实施例中，通过确定当前视频帧中的人脸姿态，并在当前视频帧中的人脸姿态的角度大于预设角度时，结束对当前视频帧的处理，并读入当前视频帧的下一帧视频帧作为更新的当前视频帧，进而对更新的当前视频帧进行人脸配准。
在更新当前视频帧之后，执行步骤S301。
本申请实施例中，通过剔除人脸姿态的角度大于预设角度的视频帧，避免了由于人脸姿态过大，导致异常驾驶行为判断误差较大的情况，进一步提高了异常驾驶行为检测的可靠性。
车辆在行驶过程中，车内环境可能在不断的变化，例如，光照、阴影等，这些变化可能会影响对驾驶员的驾驶行为监测。为了解决上述技术问题，在图2-图4任一所示的实施例的基础上，图5是本申请再一实施例提供的驾驶行为监测方法的流程示意图，如图5所示，本申请实施例提供的驾驶行为监测方法，还可以包括：
步骤S401：确定当前驾驶行程中当前视频帧之前或当前驾驶行程中初始阶段的预设时间内的第二行为数据。
步骤S402：将第二行为数据聚类为第一类数据和第二类数据，并确定第一类数据的第一均值和第二类数据的第二均值。
步骤S403：根据第一均值和第二均值，调整行为数据的预设参数。
针对多种行为数据中的每种行为数据，均可以通过本申请实施例提供的方法调整行为数据的预设参数，本申请实施例仅以多种行为数据中的任意一种行为数据为例进行说明，并不限于此。
在驾驶行程的初始阶段，通常为正常驾驶，在驾驶一段时间之后，驾驶员可能会发生异常驾驶行为，因此，可以统计驾驶行程的初始阶段的行为数据，并以此作为参考来调整预设参数。在一种可能的实施方式中，驾驶行程的初始阶段的行为数据，可以包括当前驾驶行程中当前视频帧之前的第二行为数据，或者，当前驾驶行程中初始阶段的预设时间内的第二行为数据。在确定第二行为数据之后，通过无监督的聚类方法将第二行为数据聚类为第一类数据和第二类数据，其中第一类数据可以为高分数据，第二类数据可以为低分数据。
确定第一类数据的第一均值和第二类数据的第二均值，由于在正常驾驶阶段的正常情况下，第一均值与第二均值相差较大，但当周围环境比较复杂时，第一均值与第二均值相差较小，对驾驶异常行为不易区分。因此可以根据第一均值和第二均值，调整行为数据的预设参数，以提高驾驶行为监测方法的适应能力。
本申请实施例对根据第一均值和第二均值，调整行为数据的预设参数的具体实现方式不做限制，在一种可能的实施方式中，根据第一均值和第二均值，调整行为数据的预设参数，可以包括：
若第一均值与第二均值之间的相差数值小于第三预设阈值，则增大行为数据的第一预设阈值，和/或，增大行为数据的第二预设阈值，和/或，增大行为数据的预设视频帧数。
本申请实施例对第三预设阈值的具体大小不做限制，针对不同的行为数据可以存在各自的第三预设阈值，本申请实施例对此也不做限制，在一种可能的实施方式中，第三预设阈值可以为0.6、0.7等，本申请实施例仅以此为例，并不限于此。通过增大行为数据的第一预设阈值、第二预设阈值和预设视频帧数，可以降低环境因素的影响。
本申请实施例中，通过根据驾驶行程中初始初段的行为数据，可以自适应的调整参数，避免了现有技术中依赖于训练集中是否有该驾驶员完整正负样本，提高了驾驶行为监测方法的适应能力。
下述为本申请装置实施例，可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节，请参照本申请方法实施例。
图6是本申请一实施例提供的驾驶行为监测装置的结构示意图，该装置可以通过软件和/或硬件的方式实现，例如可以通过终端设备实现，如图6所示，本申请实施例提供的驾驶行为监测装置可以包括：获取模块61、处理模块62和确定模块63。
获取模块61，用于获取驾驶员的驾驶视频。
处理模块62，用于对驾驶视频中的当前视频帧进行人脸配准，并将人脸配准后的当前视频帧输入至驾驶行为检测模型中，以确定当前视频帧中驾驶员的多种行为数据。
确定模块63，用于根据多种行为数据和每种行为数据的预设参数，确定驾驶员的异常驾驶行为。
在一种可能的实施方式中，预设参数包括第一预设阈值，确定模块63，具体用于：
若行为数据大于行为数据的第一预设阈值，则确定驾驶员存在行为数据对应的异常驾驶行为。
在一种可能的实施方式中，预设参数包括第一预设阈值、第二预设阈值和预设视频帧数，处理模块62，具体用于：
利用人脸检测算法定位当前视频帧中驾驶员的人脸位置，并利用人脸特征点定位算法确定驾驶员的人脸特征点。
将人脸特征点构成特征矩阵，计算特征矩阵到模板矩阵的仿射变换，并按照仿射变换对当前视频帧进行变换处理，获取人脸配准后的当前视频帧。
在图6所示实施例的基础上，进一步地，本申请另一个提供的驾驶行为监测装置的实施例中，还包括训练模块64，训练模块64具体用于：
获取驾驶图像集；对驾驶图像集中的每张图像分别进行人脸配准和行为标注，生成训练集；通过训练集对深度神经网络进行训练，生成驾驶行为检测模型。
在图6所示实施例的基础上，进一步地，本申请另一个提供的驾驶行为监测装置的实施例中，还包括推送模块65：
推送模块65，用于若驾驶员存在异常驾驶行为，则向用户推送报警信息，报警信息用于提示驾驶员存在异常驾驶行为。
本实施例的装置可以执行上述图2所示的方法实施例，其技术原理和技术效果与上述实施例相似，此处不再赘述。
在图6所示实施例的基础上，进一步地，本申请另一个提供的驾驶行为监测装置的实施例中，确定模块63，具体用于：
确定当前视频帧之前预设视频帧数的第一行为数据。
确定第一行为数据中超过第一行为数据的第一预设阈值的视频帧数。
若视频帧数与预设视频帧数的比值大于第二预设阈值，则确定驾驶员存在行为数据对应的异常驾驶行为。
本实施例的装置可以执行上述图3所示的方法实施例，其技术原理和技术效果与上述实施例相似，此处不再赘述。
在图6所示实施例的基础上，进一步地，本申请另一个提供的驾驶行为监测装置的实施例中，还包括更新模块66。
更新模块66，用于确定当前视频帧中的人脸姿态；若人脸姿态的角度大于预设角度，则结束对当前视频帧的处理，并读入当前视频帧的下一帧视频帧作为更新的当前视频帧。
本实施例的装置可以执行上述图4所示的方法实施例，其技术原理和技术效果与上述实施例相似，此处不再赘述。
在图6所示实施例的基础上，进一步地，本申请另一个提供的驾驶行为监测装置的实施例中，确定模块63，还用于：
确定当前驾驶行程中当前视频帧之前或当前驾驶行程中初始阶段的预设时间内的第二行为数据。
将第二行为数据聚类为第一类数据和第二类数据，并确定第一类数据的第一均值和第二类数据的第二均值。
根据第一均值和第二均值，调整行为数据的预设参数。
在一种可能的实施方式中，确定模块63，具体用于：
若第一均值与第二均值之间的相差数值小于第三预设阈值，则增大行为数据的第一预设阈值，和/或，增大行为数据的第二预设阈值，和/或，增大行为数据的预设视频帧数。
本实施例的装置可以执行上述图5所示的方法实施例，其技术原理和技术效果与上述实施例相似，此处不再赘述。
本申请所提供的装置实施例仅仅是示意性的，图6中的模块划分仅仅是一种逻辑功能划分，实际实现时可以有另外的划分方式。例如多个模块可以结合或者可以集成到另一个***。各个模块相互之间的耦合可以是通过一些接口实现，这些接口通常是电性通信接口，但是也不排除可能是机械接口或其它的形式接口。因此，作为分离部件说明的模块可以是或者也可以不是物理上分开的，既可以位于一个地方，也可以分布到同一个或不同设备的不同位置上。
图7是本申请实施例提供的电子设备的结构示意图，电子设备可以是车辆或车辆中的车机、图像处理器、中央处理器等，如图7所示，该电子设备包括：
处理器71、存储器72、收发器73以及计算机程序；其中，收发器73实现与其他设备之间的数据传输，计算机程序被存储在存储器72中，并且被配置为由处理器71执行，计算机程序包括用于执行上述驾驶行为监测方法的指令，其内容及效果请参考方法实施例。
此外，本申请实施例还提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机执行指令，当用户设备的至少一个处理器执行该计算机执行指令时，用户设备执行上述各种可能的方法。
其中，计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。另外，该ASIC可以位于用户设备中。当然，处理器和存储介质也可以作为分立组件存在于通信设备中。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。
Claims (12)
1.一种驾驶行为监测方法，其特征在于，包括：
获取驾驶员的驾驶视频；
对所述驾驶视频中的当前视频帧进行人脸配准，并将人脸配准后的当前视频帧输入至驾驶行为检测模型中，以确定所述当前视频帧中所述驾驶员的多种行为数据，所述行为数据是异常驾驶行为出现的概率；
根据多种所述行为数据和每种所述行为数据的预设参数，确定所述驾驶员的异常驾驶行为，其中，预设参数包括第一预设阈值、第二预设阈值和预设视频帧数；
所述根据多种所述行为数据和每种所述行为数据的预设参数，确定所述驾驶员的异常驾驶行为，包括：
确定所述当前视频帧之前预设视频帧数的第一行为数据；
确定所述第一行为数据中超过所述第一行为数据的第一预设阈值的视频帧数；
若所述视频帧数与所述预设视频帧数的比值大于第二预设阈值，则确定所述驾驶员存在所述行为数据对应的异常驾驶行为；
所述方法还包括：
确定当前驾驶行程中所述当前视频帧之前或所述当前驾驶行程中初始阶段的预设时间内的第二行为数据；
通过无监督的聚类方法将所述第二行为数据聚类为第一类数据和第二类数据，并确定所述第一类数据的第一均值和所述第二类数据的第二均值；
若所述第一均值与所述第二均值之间的相差数值小于第三预设阈值，则增大所述行为数据的第一预设阈值，和/或，增大所述行为数据的第二预设阈值，和/或，增大所述行为数据的预设视频帧数。
2.根据权利要求1所述的方法，其特征在于，在对所述驾驶视频中的当前视频帧进行人脸配准之前，还包括：
确定所述当前视频帧中的人脸姿态；
若所述人脸姿态的角度大于预设角度，则结束对所述当前视频帧的处理，并读入所述当前视频帧的下一帧视频帧作为更新的当前视频帧。
3.根据权利要求2所述的方法，其特征在于，所述对所述驾驶视频中的当前视频帧进行人脸配准，包括：
利用人脸检测算法定位所述当前视频帧中所述驾驶员的人脸位置，并利用人脸特征点定位算法确定所述驾驶员的人脸特征点；
将所述人脸特征点构成特征矩阵，计算所述特征矩阵到模板矩阵的仿射变换，并按照所述仿射变换对所述当前视频帧进行变换处理，获取人脸配准后的当前视频帧。
4.根据权利要求1所述的方法，其特征在于，在获取驾驶员的驾驶视频之前，还包括：
获取驾驶图像集；
对所述驾驶图像集中的每张图像分别进行人脸配准和行为标注，生成训练集；
通过所述训练集对深度神经网络进行训练，生成所述驾驶行为检测模型。
5.根据权利要求1所述的方法，其特征在于，还包括：
若所述驾驶员存在异常驾驶行为，则向用户推送报警信息，所述报警信息用于提示所述驾驶员存在异常驾驶行为。
6.一种驾驶行为监测装置，其特征在于，包括：
获取模块，用于获取驾驶员的驾驶视频；
处理模块，用于对所述驾驶视频中的当前视频帧进行人脸配准，并将人脸配准后的当前视频帧输入至驾驶行为检测模型中，以确定所述当前视频帧中所述驾驶员的多种行为数据，所述行为数据是异常驾驶行为出现的概率；
确定模块，用于根据多种所述行为数据和每种所述行为数据的预设参数，确定所述驾驶员的异常驾驶行为，其中，预设参数包括第一预设阈值、第二预设阈值和预设视频帧数；
所述根据多种所述行为数据和每种所述行为数据的预设参数，确定所述驾驶员的异常驾驶行为，包括：
确定所述当前视频帧之前预设视频帧数的第一行为数据；
确定所述第一行为数据中超过所述第一行为数据的第一预设阈值的视频帧数；
若所述视频帧数与所述预设视频帧数的比值大于第二预设阈值，则确定所述驾驶员存在所述行为数据对应的异常驾驶行为；
所述确定模块，还用于：
确定当前驾驶行程中所述当前视频帧之前或所述当前驾驶行程中初始阶段的预设时间内的第二行为数据；
通过无监督的聚类方法将所述第二行为数据聚类为第一类数据和第二类数据，并确定所述第一类数据的第一均值和所述第二类数据的第二均值；
若所述第一均值与所述第二均值之间的相差数值小于第三预设阈值，则增大所述行为数据的第一预设阈值，和/或，增大所述行为数据的第二预设阈值，和/或，增大所述行为数据的预设视频帧数。
7.根据权利要求6所述的装置，其特征在于，还包括更新模块，
所述更新模块，用于确定所述当前视频帧中的人脸姿态；若所述人脸姿态的角度大于预设角度，则结束对所述当前视频帧的处理，并读入所述当前视频帧的下一帧视频帧作为更新的当前视频帧。
8.根据权利要求7所述的装置，其特征在于，所述处理模块，具体用于：
利用人脸检测算法定位所述当前视频帧中所述驾驶员的人脸位置，并利用人脸特征点定位算法确定所述驾驶员的人脸特征点；
将所述人脸特征点构成特征矩阵，计算所述特征矩阵到模板矩阵的仿射变换，并按照所述仿射变换对所述当前视频帧进行变换处理，获取人脸配准后的当前视频帧。
9.根据权利要求6所述的装置，其特征在于，还包括训练模块，所述训练模块具体用于：
获取驾驶图像集；
对所述驾驶图像集中的每张图像分别进行人脸配准和行为标注，生成训练集；
通过所述训练集对深度神经网络进行训练，生成所述驾驶行为检测模型。
10.根据权利要求6所述的装置，其特征在于，还包括：
推送模块，用于若所述驾驶员存在异常驾驶行为，则向用户推送报警信息，所述报警信息用于提示所述驾驶员存在异常驾驶行为。
11.一种电子设备，其特征在于，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-5中任一项所述的方法。
12.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求1-5中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010656440.8A CN111797784B (zh) | 2020-07-09 | 2020-07-09 | 驾驶行为监测方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010656440.8A CN111797784B (zh) | 2020-07-09 | 2020-07-09 | 驾驶行为监测方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111797784A CN111797784A (zh) | 2020-10-20 |
| CN111797784B true CN111797784B (zh) | 2024-03-05 |
Family
ID=72809830
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010656440.8A Active CN111797784B (zh) | 2020-07-09 | 2020-07-09 | 驾驶行为监测方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111797784B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102436715A (zh) * | 2011-11-25 | 2012-05-02 | 大连海创高科信息技术有限公司 | 疲劳驾驶检测方法 |
| CN104183091A (zh) * | 2014-08-14 | 2014-12-03 | 苏州清研微视电子科技有限公司 | 一种自适应调整疲劳驾驶预警***灵敏度的*** |
| CN108960065A (zh) * | 2018-06-01 | 2018-12-07 | 浙江零跑科技有限公司 | 一种基于视觉的驾驶行为检测方法 |
| CN109934199A (zh) * | 2019-03-22 | 2019-06-25 | 扬州大学 | 一种基于计算机视觉的驾驶员疲劳检测方法及*** |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019028798A1 (zh) * | 2017-08-10 | 2019-02-14 | 北京市商汤科技开发有限公司 | 驾驶状态监控方法、装置和电子设备 |
-
2020
- 2020-07-09 CN CN202010656440.8A patent/CN111797784B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102436715A (zh) * | 2011-11-25 | 2012-05-02 | 大连海创高科信息技术有限公司 | 疲劳驾驶检测方法 |
| CN104183091A (zh) * | 2014-08-14 | 2014-12-03 | 苏州清研微视电子科技有限公司 | 一种自适应调整疲劳驾驶预警***灵敏度的*** |
| CN108960065A (zh) * | 2018-06-01 | 2018-12-07 | 浙江零跑科技有限公司 | 一种基于视觉的驾驶行为检测方法 |
| CN109934199A (zh) * | 2019-03-22 | 2019-06-25 | 扬州大学 | 一种基于计算机视觉的驾驶员疲劳检测方法及*** |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111797784A (zh) | 2020-10-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5444898B2 (ja) | 状態検出装置、状態検出方法及びプログラム | |
| CN111439170B (zh) | 儿童状态检测方法及装置、电子设备、存储介质 | |
| CN110765807B (zh) | 驾驶行为分析、处理方法、装置、设备和存储介质 | |
| CN110395260B (zh) | 车辆、安全驾驶方法和装置 | |
| CN112016457A (zh) | 驾驶员分神以及危险驾驶行为识别方法、设备和存储介质 | |
| KR102449248B1 (ko) | 어린이의 상태 분석 방법 및 장치, 차량, 전자 기기, 저장 매체 | |
| CN111931639B (zh) | 驾驶员行为检测方法、装置、电子设备及存储介质 | |
| CN110855934A (zh) | 疲劳驾驶识别方法、装置、***、车载终端及服务器 | |
| CN112299172A (zh) | 手势求救的识别方法、装置及存储介质 | |
| CN111091044B (zh) | 一种面向网约车的车内危险场景识别方法 | |
| CN107066980B (zh) | 一种图像变形检测方法及装置 | |
| CN111797784B (zh) | 驾驶行为监测方法、装置、电子设备及存储介质 | |
| JP2012166579A (ja) | 状態判定装置、状態判定方法及びプログラム | |
| JP2018537787A (ja) | 車両の搭乗者の少なくとも１つの目の開眼データを分類する方法および装置、および、車両の搭乗者の眠気および／またはマイクロスリープを検出する方法および装置 | |
| CN112926364A (zh) | 头部姿态的识别方法及***、行车记录仪和智能座舱 | |
| US11992317B2 (en) | Alertness estimation apparatus, alertness estimation method, and computer- readable recording medium | |
| CN111368590B (zh) | 一种情绪识别方法、装置、电子设备及存储介质 | |
| CN112560685A (zh) | 人脸表情识别方法、装置及存储介质 | |
| CN111866056B (zh) | 信息推送方法、装置、电子设备和存储介质 | |
| JP7131491B2 (ja) | サッカード検出装置、サッカード検出方法、サッカード検出プログラム | |
| CN112417922B (zh) | 目标识别方法和装置 | |
| CN117048439A (zh) | 车辆座椅的控制方法及装置、车辆、电子设备和存储介质 | |
| CN118097634A (zh) | 一种驾驶员的疲劳检测方法、装置、设备及介质 | |
| CN116363720A (zh) | 图像识别方法、装置及设备 | |
| CN115761706A (zh) | 驾驶行为检测方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |