CN111414813A - 一种危险驾驶行为的识别方法、装置、设备及存储介质 - Google Patents

一种危险驾驶行为的识别方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN111414813A
CN111414813A CN202010141587.3A CN202010141587A CN111414813A CN 111414813 A CN111414813 A CN 111414813A CN 202010141587 A CN202010141587 A CN 202010141587A CN 111414813 A CN111414813 A CN 111414813A
Authority
CN
China
Prior art keywords
driver
probability
frame
preset
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202010141587.3A
Other languages
English (en)
Inventor
王博
左凯
王小刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Leading Technology Co Ltd
Original Assignee
Nanjing Leading Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Leading Technology Co Ltd filed Critical Nanjing Leading Technology Co Ltd
Priority to CN202010141587.3A priority Critical patent/CN111414813A/zh
Publication of CN111414813A publication Critical patent/CN111414813A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供一种危险驾驶行为的识别方法、装置、设备及存储介质，用于识别驾驶员存在的危险驾驶行为，保障司乘安全。所述危险驾驶行为的识别方法，该方法应用于网约车***中的智能感知终端，网约车***，还包括：与智能感知终端连接的视频录制模块和服务器，该方法包括：获取视频录制模块采集的包含驾驶员的视频数据；对视频数据中的一帧或多帧图像数据进行分析，确定驾驶员存在危险驾驶行为，向服务器发送通知消息。

Description

一种危险驾驶行为的识别方法、装置、设备及存储介质
技术领域
本发明涉及通信技术领域，尤其涉及一种危险驾驶行为的识别方法、装置、设备及存储介质。
背景技术
随着互联网技术的发展，网约车服务为人们的出行带来了越来越多的便利，但是也伴随着一系列交通风险以及社会风险。目前市面上的网约车服务，缺少对于驾驶员驾驶行为的规范约束，现实中存在着驾驶员在驾驶过程中存在危险驾驶行为的情况，比如抽烟行为、分神行为、接打电话行为、疲劳驾驶行为等，这些危险驾驶行为会干扰驾驶员驾驶车辆，无法保障司乘安全，对驾驶员及其乘客的健康造成威胁。
综上可知，现有网约车服务并不能识别驾驶员存在的危险驾驶行为，从而无法保障司乘安全。
发明内容
本发明实施例提供一种危险驾驶行为的识别方法、装置、设备及存储介质，用于识别驾驶员存在的危险驾驶行为，保障司乘安全。
根据本发明实施例的第一方面，提供一种危险驾驶行为的识别方法，该方法应用于网约车***中的智能感知终端，网约车***，还包括：与智能感知终端连接的视频录制模块和服务器，该方法包括：
获取视频录制模块采集的包含驾驶员的视频数据；
对视频数据中的一帧或多帧图像数据进行分析，确定驾驶员存在危险驾驶行为，向服务器发送通知消息。
本发明实施例提供的危险驾驶行为的识别方法，在获取视频录制模块采集的包含驾驶员的视频数据后，对视频数据中的一帧或多帧图像数据进行分析，确定驾驶员存在危险驾驶行为，向服务器发送通知消息，进而实现在驾驶员行驶过程中识别驾驶员存在的危险驾驶行为，用以保障司乘安全。
在一种可能的实施方式中，危险驾驶行为包括以下一种或多种：抽烟行为、分神行为、接打电话行为、疲劳驾驶行为。
在一种可能的实施方式中，危险驾驶行为包括抽烟时，对视频数据中的一帧或多帧图像数据进行分析，确定驾驶员存在危险驾驶行为，包括：
在视频数据中抽取出第一预设数量帧的图像；
确定每一帧图像中驾驶员是否存在抽烟行为；
在确定存在抽烟行为的图像帧数大于第一预设帧数阈值时，确定驾驶员存在抽烟行为，其中，第一预设数量大于或者等于第一预设帧数阈值。
在一种可能的实施方式中，确定每一帧图像中驾驶员是否存在抽烟行为，包括：
针对每一帧图像，利用预先训练的人脸关键点模型从该帧图像中分割出人脸区域，并利用预先训练的异常行为检测模型对人脸区域中驾驶员的行为进行检测，确定驾驶员存在异常行为的第一概率；
在第一概率小于或等于第一预设概率阈值时，确定该帧图像中驾驶员不存在抽烟行为；
在第一概率大于或等于第二预设概率阈值时，确定该帧图像中驾驶员存在抽烟行为；
在第一概率大于第一预设概率阈值且小于第二预设概率阈值时，利用预先训练的神经网络模型确定驾驶员的多个吸烟指标，并利用预先设置的每个吸烟指标的权重确定驾驶员存在抽烟行为的第二概率，在第二概率大于第三预设概率阈值时，确定该帧图像中驾驶员存在抽烟行为，其中，吸烟指标包括以下一种或多种：嘴型、脸部是否存在烟雾、人脸区域中是否存在香烟。
在一种可能的实施方式中，危险驾驶行为包括接打电话行为时，对视频数据中的一帧或多帧进行分析，确定驾驶员存在危险驾驶行为，包括：
在视频数据中抽取出第二预设数量帧的图像；
确定每一帧图像中驾驶员是否存在接打电话行为；
在确定存在接打电话行为的图像帧数大于第二预设帧数阈值时，确定驾驶员存在接打电话行为，其中，第二预设数量大于或者等于第二预设帧数阈值。
在一种可能的实施方式中，确定每一帧图像中驾驶员是否存在接打电话行为，包括：
针对每一帧图像，利用预先训练的人脸关键点模型从该帧图像中分割出人脸区域，并利用预先训练的异常对象检测模型在人脸区域中检测包含手部的第一区域和包含手持终端的第二区域；
利用预先训练的嘴型识别模型对人脸区域进行识别，确定驾驶员的嘴型为说话的第三概率，利用预先训练的手势识别模型对第一区域进行识别，确定驾驶员的手势为握持的第四概率，利用预先训练的手持终端识别模型对第二区域进行识别，确定第二区域中包含手持终端的第五概率；
若第五概率大于第四预设概率阈值，或者第五概率大于第五预设概率阈值且小于或等于第四预设概率阈值、且第三概率大于第六预设概率阈值，或者第五概率大于第七预设概率阈值且小于或等于第五预设概率阈值、且第四概率大于第八预设概率阈值时，确定该帧图像中驾驶员存在接打电话行为；
若第五概率小于或等于第七预设概率阈值、或者第五概率大于第五预设概率阈值且小于或等于第四预设概率阈值、且第三概率小于或等于第六预设概率阈值，或者第五概率大于第七预设概率阈值且小于或等于第五预设概率阈值、且第四概率小于或等于第八预设概率阈值时，确定该帧图像中驾驶员无接打电话行为。
在一种可能的实施方式中，危险驾驶行为包括疲劳驾驶行为时，对视频数据中的一帧或多帧图像数据进行分析，确定驾驶员存在危险驾驶行为，包括：
在视频数据中抽取出任意一帧图像，确定该帧图像中驾驶员存在疲劳驾驶行为的第六概率；
在第六概率大于第九预设概率阈值时，抽取包含该帧的视频片段，并利用预先训练的神经网络模型检测视频片段中疲劳驾驶参数的时间序列对应的分类结果，疲劳驾驶参数包括以下一种或多种：闭眼动作、张嘴动作、点头动作；
利用预先训练的疲劳驾驶识别模型对多个视频片段的对应的分类结果进行识别，确定驾驶员是否存在疲劳驾驶行为。
在一种可能的实施方式中，确定该帧图像中驾驶员存在疲劳驾驶行为的第六概率，包括：
利用预先训练的人脸关键点模型从该帧图像中分割出人脸区域，利用预先训练的嘴型识别模型确定该帧图像中驾驶员嘴型为张嘴的概率，利用预先训练的眯眼识别模型确定该帧图像中驾驶员眯眼的概率；
基于该帧图像中驾驶员嘴型为张嘴的概率和驾驶员眯眼的概率，确定第六概率。
在一种可能的实施方式中，危险驾驶行为包括分神行为时，对视频数据中的一帧或多帧图像数据进行分析，确定驾驶员存在危险驾驶行为，包括：
在视频数据中抽取出第三预设数量帧的图像；
确定每一帧图像中驾驶员是否存在关注点异常行为；
在确定存在关注点异常行为的图像帧数大于第三预设帧数阈值时，确定驾驶员存在分神行为，其中，第三预设数量大于或者等于第三预设帧数阈值。
在一种可能的实施方式中，确定每一帧图像中驾驶员是否存在关注点异常行为，包括：
针对每一帧图像，利用预先训练的人脸关键点模型从该帧图像中识别驾驶员的人脸关键点，基于识别出的人脸关键点，确定驾驶员关注位置的俯仰角、偏航角和翻滚角；
获取车辆前方的道路信息，利用道路信息对预先训练的人眼关注点模型进行调整，并利用调整后的人眼关注点模型确定该帧图像数据中驾驶员关注点在预先建立的坐标系下的横坐标和纵坐标；
若俯仰角、偏航角、翻滚角、横坐标和纵坐标中任意一个未处于预先设置的区间范围，确定该帧图像中驾驶员存在关注点异常行为。
根据本发明实施例的第二方面，提供一种危险驾驶行为的识别装置，该装置应用于网约车***中的智能感知终端，网约车***，还包括：与智能感知终端连接的视频录制模块和服务器，该装置包括：
获取模块，被配置为获取视频录制模块采集的包含驾驶员的视频数据；
处理模块，被配置为对视频数据中的一帧或多帧图像数据进行分析，确定驾驶员存在危险驾驶行为，向服务器发送通知消息。
在一种可能的实施方式中，危险驾驶行为包括以下一种或多种：抽烟行为、分神行为、接打电话行为、疲劳驾驶行为。
在一种可能的实施方式中，危险驾驶行为包括抽烟时，处理模块，具体被配置为：
在视频数据中抽取出第一预设数量帧的图像；
确定每一帧图像中驾驶员是否存在抽烟行为；
在确定存在抽烟行为的图像帧数大于第一预设帧数阈值时，确定驾驶员存在抽烟行为，其中，第一预设数量大于或者等于第一预设帧数阈值。
在一种可能的实施方式中，处理模块，具体被配置为：
针对每一帧图像，利用预先训练的人脸关键点模型从该帧图像中分割出人脸区域，并利用预先训练的异常行为检测模型对人脸区域中驾驶员的行为进行检测，确定驾驶员存在异常行为的第一概率；
在第一概率小于或等于第一预设概率阈值时，确定该帧图像中驾驶员不存在抽烟行为；
在第一概率大于或等于第二预设概率阈值时，确定该帧图像中驾驶员存在抽烟行为；
在第一概率大于第一预设概率阈值且小于第二预设概率阈值时，利用预先训练的神经网络模型确定驾驶员的多个吸烟指标，并利用预先设置的每个吸烟指标的权重确定驾驶员存在抽烟行为的第二概率，在第二概率大于第三预设概率阈值时，确定该帧图像中驾驶员存在抽烟行为，其中，吸烟指标包括以下一种或多种：嘴型、脸部是否存在烟雾、人脸区域中是否存在香烟。
在一种可能的实施方式中，危险驾驶行为包括接打电话行为时，处理模块，具体被配置为：
在视频数据中抽取出第二预设数量帧的图像；
确定每一帧图像中驾驶员是否存在接打电话行为；
在确定存在接打电话行为的图像帧数大于第二预设帧数阈值时，确定驾驶员存在接打电话行为，其中，第二预设数量大于或者等于第二预设帧数阈值。
在一种可能的实施方式中，处理模块，具体被配置为：
针对每一帧图像，利用预先训练的人脸关键点模型从该帧图像中分割出人脸区域，并利用预先训练的异常对象检测模型在人脸区域中检测包含手部的第一区域和包含手持终端的第二区域；
利用预先训练的嘴型识别模型对人脸区域进行识别，确定驾驶员的嘴型为说话的第三概率，利用预先训练的手势识别模型对第一区域进行识别，确定驾驶员的手势为握持的第四概率，利用预先训练的手持终端识别模型对第二区域进行识别，确定第二区域中包含手持终端的第五概率；
若第五概率大于第四预设概率阈值，或者第五概率大于第五预设概率阈值且小于或等于第四预设概率阈值、且第三概率大于第六预设概率阈值，或者第五概率大于第七预设概率阈值且小于或等于第五预设概率阈值、且第四概率大于第八预设概率阈值时，确定该帧图像中驾驶员存在接打电话行为；
若第五概率小于或等于第七预设概率阈值、或者第五概率大于第五预设概率阈值且小于或等于第四预设概率阈值、且第三概率小于或等于第六预设概率阈值，或者第五概率大于第七预设概率阈值且小于或等于第五预设概率阈值、且第四概率小于或等于第八预设概率阈值时，确定该帧图像中驾驶员无接打电话行为。
在一种可能的实施方式中，危险驾驶行为包括疲劳驾驶行为时，处理模块，具体被配置为：
在视频数据中抽取出任意一帧图像，确定该帧图像中驾驶员存在疲劳驾驶行为的第六概率；
在第六概率大于第九预设概率阈值时，抽取包含该帧的视频片段，并利用预先训练的神经网络模型检测视频片段中疲劳驾驶参数的时间序列对应的分类结果，疲劳驾驶参数包括以下一种或多种：闭眼动作、张嘴动作、点头动作；
利用预先训练的疲劳驾驶识别模型对多个视频片段的对应的分类结果进行识别，确定驾驶员是否存在疲劳驾驶行为。
在一种可能的实施方式中，处理模块，具体被配置为：
利用预先训练的人脸关键点模型从该帧图像中分割出人脸区域，利用预先训练的嘴型识别模型确定该帧图像中驾驶员嘴型为张嘴的概率，利用预先训练的眯眼识别模型确定该帧图像中驾驶员眯眼的概率；
基于该帧图像中驾驶员嘴型为张嘴的概率和驾驶员眯眼的概率，确定第六概率。
在一种可能的实施方式中，危险驾驶行为包括分神行为时，处理模块，具体被配置为：
在视频数据中抽取出第三预设数量帧的图像；
确定每一帧图像中驾驶员是否存在关注点异常行为；
在确定存在关注点异常行为的图像帧数大于第三预设帧数阈值时，确定驾驶员存在分神行为，其中，第三预设数量大于或者等于第三预设帧数阈值。
在一种可能的实施方式中，处理模块，具体被配置为：
针对每一帧图像，利用预先训练的人脸关键点模型从该帧图像中识别驾驶员的人脸关键点，基于识别出的人脸关键点，确定驾驶员关注位置的俯仰角、偏航角和翻滚角；
获取车辆前方的道路信息，利用道路信息对预先训练的人眼关注点模型进行调整，并利用调整后的人眼关注点模型确定该帧图像数据中驾驶员关注点在预先建立的坐标系下的横坐标和纵坐标；
若俯仰角、偏航角、翻滚角、横坐标和纵坐标中任意一个未处于预先设置的区间范围，确定该帧图像中驾驶员存在关注点异常行为。
根据本发明实施例第三方面，提供一种危险驾驶行为的识别设备，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，处理器被配置为执行指令，以实现本发明实施例第一方面任一项的危险驾驶行为的识别方法。
根据本发明实施例第四方面，提供一种存储介质，当存储介质中的指令由危险驾驶行为的识别设备的处理器执行时，使得危险驾驶行为的识别设备能够执行本发明实施例第一方面任一项的危险驾驶行为的识别方法。
根据本发明实施例第五方面，提供一种计算机程序产品，当该计算机程序产品由危险驾驶行为的识别设备的处理器执行时，使得危险驾驶行为的识别设备能够执行本发明实施例第一方面任一项的危险驾驶行为的识别方法。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单的介绍，显而易见地，下面所介绍的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种危险驾驶行为的识别方法的示意流程图；
图2为本发明实施例提供的另一种危险驾驶行为的识别方法的示意流程图；
图3为本发明实施例提供的又一种危险驾驶行为的识别方法的示意流程图；
图4为本发明实施例提供的再一种危险驾驶行为的识别方法的示意流程图；
图5为本发明实施例提供的再一种危险驾驶行为的识别方法的示意流程图；
图6为本发明实施例提供的一种危险驾驶行为的识别装置的结构示意图；
图7为本发明实施例提供的一种危险驾驶行为的识别设备的结构示意图。
具体实施方式
为了使本领域普通人员更好地理解本发明的技术方法，下面将结合附图，对本发明实施例中的技术方案进行清楚、完整地描述。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序或先后次序。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述。
有鉴于目前市面上的网约车服务，由于缺少对于驾驶员驾驶行为的规范约束，驾驶员在驾驶过程中存在危险驾驶行为的情况，而导致对于驾驶员、路上的行人以及其他车辆都带来安全风险的问题，本发明实施例提供了一种危险驾驶行为的识别方案，用于识别驾驶员存在的危险驾驶行为，降低驾驶员、行人以及其它车辆的安全风险，保障司乘安全。
下面结合附图以及具体实施例，对本发明实施例提供的一种危险驾驶行为的识别方法、装置、设备及存储介质进行详细说明。
本发明实施例提供一种危险驾驶行为的识别方法，该方法应用于网约车***中的智能感知终端，网约车***，还包括：与智能感知终端连接的视频录制模块和服务器，如图1所示，该方法包括：
步骤101，获取视频录制模块采集的包含驾驶员的视频数据；
步骤102，对视频数据中的一帧或多帧图像数据进行分析，确定驾驶员存在危险驾驶行为，向服务器发送通知消息。
其中，危险驾驶行为包含以下一种或多种：抽烟行为、接打电话行为、疲劳驾驶行为、分神行为，下面以四个实施例对当危险驾驶行为为抽烟行为、接打电话行为、疲劳驾驶行为以及分神行为分别进行详细说明。
实施例一：
当本发明实施例提供的一种危险驾驶行为的识别方法，应用于识别抽烟行为时，对视频数据中的一帧或多帧图像进行分析，确定驾驶员存在危险驾驶行为，如图2所示，该方法包括：
步骤201，在视频数据中抽取出第一预设数量帧的图像。
具体实施中，第一预设数量可以根据经验值或者实际场景设定，例如，在通常情况下可以设置为30。
步骤202，确定每一帧图像中驾驶员是否存在抽烟行为。
具体实施中，针对每一帧图像，利用预先训练的人脸关键点模型从该帧图像中分割出人脸区域，具体包括：人脸所在的位置以及具体的面部关键区域，比如眉毛、嘴巴、眼睛、鼻子、脸部轮廓等，并利用预先训练的异常行为检测模型对人脸区域中驾驶员的行为进行检测，确定驾驶员存在异常行为的第一概率。
在第一概率小于或等于第一预设概率阈值时，确定该帧图像中驾驶员不存在抽烟行为，无需进行后续处理。其中，第一预设概率阈值可以根据经验值设定，例如，在通常情况下可以设置为0.3。
在第一概率大于或等于第二预设概率阈值时，确定该帧图像中驾驶员存在抽烟行为，无需进行后续处理。其中，第二预设概率阈值可以根据经验值设定，例如，在通常情况下可以设置为0.8。
在第一概率大于第一预设概率阈值且小于第二预设概率阈值时，利用预先训练的神经网络模型确定驾驶员的多个吸烟指标，其中，吸烟指标包括以下一种或多种：嘴型、脸部是否存在烟雾、人脸区域中是否存在香烟。
在确定驾驶员的吸烟指标为嘴型时，基于预先分割出的人脸区域中的嘴巴，利用预先训练的神经网络模型进行嘴型分析，包括闭嘴和张嘴的情况判定，确定第一判定标志。若判定结果为闭嘴，则确定第一判决标志为0；若判定结果为张嘴，则确定第一判决标志为1。
在确定驾驶员的吸烟指标为脸部是否存在烟雾时，基于预先分割出的人脸区域，利用预先训练的神经网络模型进行烟雾场景分析，包括烟雾场景和正常场景的情况判定，确定第二判定标志。若判定结果为正常场景，则确定第二判决标志为0；若判定结果为烟雾场景，则确定第二判决标志为1。
在确定驾驶员的吸烟指标为人脸区域中是否存在香烟时，基于预先分割出的人脸区域中的鼻子，进行鼻子下半部分的适当外扩，利用预先训练的神经网络模型进行香烟分析，包括有无香烟的情况判定，确定第三判定标志。若判定结果为没有香烟，则确定第三判定标志为0；若判定结果为有香烟，则确定第三判定标志为1。
基于确定出的第一判定标志、第二判定标志、第三判定标志和预先设置的第一判定标志、第二判定标志、第三判定标志对应的权重，确定驾驶员存在抽烟行为的第二概率，其中，第一判定标志对应的权重、第二判定标志对应的权重、第三判定标志对应的权重可以根据经验值设定，例如，将第一判定标志对应的权重设置为0.25，第二判定标志对应的权重设置为0.15，第三判定标志对应的权重为0.6。
将确定出的第二概率与第三预设概率阈值进行比较，在第二概率大于第三预设概率阈值时，确定该帧图像中驾驶员存在抽烟行为。
步骤203，在确定存在抽烟行为的图像帧数大于第一预设帧数阈值时，确定驾驶员存在抽烟行为，其中，第一预设数量大于或者等于第一预设帧数阈值。具体实施中，从视频数据中抽取出的第一预设数量帧的图像中，若确定出的存在抽烟行为的图像帧数大于第一预设帧数阈值时，确定驾驶员存在抽烟行为，其中，第一预设帧数阈值可以根据经验值设定，例如，在通常情况下可以设置为20。
实施例二：
当本发明实施例提供的一种危险驾驶行为的识别方法，应用于识别接打电话行为时，对视频数据中的一帧或多帧图像进行分析，确定驾驶员存在危险驾驶行为，如图3所示，该方法包括：
步骤301，在视频数据中抽取出第二预设数量帧的图像。
具体实施中，第一预设数量可以根据经验值或者实际场景设定，例如，在通常情况下可以设置为30。
步骤302，确定每一帧图像中驾驶员是否存在接打电话行为。
具体实施中，针对每一帧图像，利用预先训练的人脸关键点模型从该帧图像中分割出人脸区域，具体包括：人脸所在的位置以及具体的面部关键区域，比如眉毛、嘴巴、眼睛、鼻子、脸部轮廓等，并利用预先训练的异常对象检测模型在人脸区域中检测包含手部的第一区域和包含手持终端的第二区域。
利用预先训练的嘴型识别模型对人脸区域进行识别，确定驾驶员的嘴型为说话的第三概率，利用预先训练的手势识别模型对第一区域进行识别，确定驾驶员的手势为握持的第四概率，利用预先训练的手持终端识别模型对第二区域进行识别，确定第二区域中包含手持终端的第五概率，其中，第三概率、第四概率和第五概率的数值为0-1之间。
在利用预先训练的手势识别模型对第一区域进行识别时，若确定存在多个疑似区域，按照每个疑似区域在确定时的概率进行排序，将数值最大的概率作为第四概率。
在利用预先训练的手持终端识别模型对第二区域进行识别时，若确定存在多个疑似区域，按照每个疑似区域在确定时的概率进行排序，将数据最大的概率作为第五概率。
基于确定出的第三概率、第四概率和第五概率，确定该帧图像中驾驶员是否存在接打电话行为。
具体实施中，若第五概率大于第四预设概率阈值，则确定该帧图像中驾驶员存在接打电话行为，其中，第四预设概率阈值可以根据经验值设定，例如，在通常情况下可以设置为0.8，或者
第五概率小于或等于第五预设概率阈值且小于或等于第四预设概率阈值、且第三概率大于第六预设概率阈值，则确定该帧图像中驾驶员存在接打电话行为，其中，第五预设概率阈值和第六预设概率阈值可以根据经验值设定，例如，在通常情况下可以将第五预设概率阈值设置为0.5，将第六预设概率阈值设置为0.6，或者
第五概率大于第七预设概率阈值且小于或者等于第五预设概率阈值、且第四概率大于第八预设概率阈值，则确定该帧图像中驾驶员存在接打电话行为，其中，第七预设概率阈值和第八预设概率阈值可以根据经验值设定，例如，在通常情况下可以将第七预设概率阈值设置为0.3，将第八预设概率阈值设置为0.6。
若所述第五概率小于或等于所述第七预设概率阈值、或者所述第五概率大于第五预设概率阈值且小于或等于所述第四预设概率阈值、且所述第三概率小于或等于所述第六预设概率阈值，或者所述第五概率大于第七预设概率阈值且小于或等于所述第五预设概率阈值、且所述第四概率小于或等于所述第八预设概率阈值时，确定该帧图像中驾驶员无接打电话行为。
步骤303，在确定存在接打电话行为的图像帧数大于第二预设帧数阈值时，确定驾驶员存在接打电话行为，其中，第二预设数量大于或者等于第二预设帧数阈值。
具体实施中，从视频数据中抽取出的第二预设数量帧的图像中，若确定出的存在接打电话行为的图像帧数大于第二预设帧数阈值时，确定驾驶员存在接打电话行为，其中，第二预设帧数阈值可以根据经验值设定，例如，在通常情况下设置为20。
实施例三：
当本发明实施例提供的一种危险驾驶行为的识别方法，应用于识别疲劳驾驶行为时，对视频数据中的一帧或多帧图像进行分析，确定驾驶员存在危险驾驶行为，如图4所示，该方法包括：
步骤401，在视频数据中抽取出任意一帧图像，确定该帧图像中驾驶员存在疲劳驾驶行为的第六概率。
具体实施中，针对每一帧图像，利用预先训练的人脸关键点模型从该帧图像中分割出人脸区域，具体包括：人脸所在的位置以及具体的面部关键区域，比如眉毛、嘴巴、眼睛、鼻子、脸部轮廓等。
利用预先训练的嘴型识别模型进行嘴型分析，包括闭嘴和张嘴的情况判定，确定该帧图像中驾驶员嘴型为张嘴的概率。若判定结果为闭嘴，则确定该帧图像中驾驶员嘴型为张嘴的概率为0；若判定结果为张嘴，则确定该帧图像中驾驶员嘴型为张嘴的概率为1。
利用预先训练的眯眼识别模型进行眼睛开合分析，包括睁眼和眯眼的情况判定，确定该帧图像中驾驶员眯眼的概率。若判定结果为睁眼，则确定该帧图像中驾驶员眯眼的概率为0；若判定结果为眯眼，则确定该帧图像中驾驶员眯眼的概率为1。
基于该帧图像中驾驶员嘴型为张嘴的概率和驾驶员眯眼的概率，确定第六概率。在本发明实施例提供的方法中，可以采用预先设置驾驶员嘴型为张嘴的概率和驾驶员眯眼的概率对应的权重，进行概率与权重乘积后加和，确定第六概率；也可以采用其中概率数值较大的概率，作为第六概率的数值，此处并不做限定。
步骤402，在第六概率大于第九预设概率阈值时，抽取包含该帧的视频片段，并利用预先训练的神经网络模型检测视频片段中疲劳驾驶参数的时间序列对应的分类结果，疲劳驾驶参数包括以下一种或多种：闭眼动作、张嘴动作、点头动作。
具体实施中，在确定出该帧图像中驾驶员存在疲劳驾驶行为的第六概率后，将第六概率与原先设置的第九预设概率阈值进行比较，在第六概率大于第九预设概率阈值时，抽取包含该帧的视频片段，通常情况下视频片段的时长为1-3秒，基于抽取的包含该帧的视频片段，获得16帧图像，并利用预先训练的神经网络模型检测视频片段中疲劳驾驶参数的时间序列对应的分类结果，其中，疲劳驾驶参数包括以下一种或多种：闭眼动作、张嘴动作、点头动作。
需要注意的是，本发明实施例三中提供的预先训练的神经网络模型是一个多维度attention(注意力)模型，首先，在图像的空间维度，进行CNN(Convolutional NeuralNetwork，卷积神经网络)+Attention的特征提取，将注意力的焦点放在重点关注区域，即眼睛、嘴巴等关键部位；其次，预先训练的神经网络模型也在通道维度上使用attention机制，此处的通道指的是16帧图像的叠层，本质上是时间维度的序列，因此，本模型在多维度上使用attention机制，提取视频动作序列的空时特性。与现有CNN+LSTM(Long Short-TermMemory，长短期记忆网络)模型检测疲劳驾驶相比，一方面，多维度attention机制能够更准确地提取到疲劳驾驶相关的特征；另一方面，多维度attention机制是一个多任务模型，可以同时对闭眼动作、张嘴动作、点头动作进行关注，输出一个多分类结果，有利于提高检测的准确度。
步骤403，利用预先训练的疲劳驾驶识别模型对多个视频片段的对应的分类结果进行识别，确定驾驶员是否存在疲劳驾驶行为。
需要注意的是，由于现有的动态判决模型是一个短周期的判决模型，只关注1-3秒内的动作序列，即完成一个完整的闭眼动作、张嘴动作、点头动作的时间。而在实际应用中，往往需要观察一个更长时间段的行为，能够更准确地判断驾驶员是否存在疲劳驾驶，因此，本发明实施例三中提供的预先训练的疲劳驾驶识别模型在现有动态判决模型的签署模块的后端增加了一个RNN模块，用于输入动态判决模型输出的多分类结果，通过对长时间序列的建模，给出最终的疲劳驾驶判决结果。
实施例四：
当本发明实施例提供的一种危险驾驶行为的识别方法，应用于识别分神行为时，对视频数据中的一帧或多帧图像进行分析，确定驾驶员存在危险驾驶行为，如图5所示，该方法包括：
步骤501，在视频数据中抽取出第三预设数量帧的图像。
具体实施中，第三预设数量由驾驶员驾驶的车辆速度决定，例如，车速大于等于60km/h时，将第三预设数量设置为20；车速小于60km/h时，将第三预设数量设置为40。
针对每一帧图像，利用预先训练的人脸关键点模型从该帧图像中分割出人脸区域，具体包括：人脸所在的位置以及具体的面部关键区域，比如眉毛、嘴巴、眼睛、鼻子、脸部轮廓等。
利用预先训练的嘴型识别模型进行嘴型分析，包括闭嘴和张嘴的情况判定，确定该帧图像中驾驶员嘴型为张嘴的概率。若判定结果为闭嘴，则确定该帧图像中驾驶员嘴型为张嘴的概率为0；若判定结果为张嘴，则确定该帧图像中驾驶员嘴型为张嘴的概率为1。
利用预先训练的眯眼识别模型进行眼睛开合分析，包括睁眼和眯眼的情况判定，确定该帧图像中驾驶员眯眼的概率。若判定结果为睁眼，则确定该帧图像中驾驶员眯眼的概率为0；若判定结果为眯眼，则确定该帧图像中驾驶员眯眼的概率为1。
基于该帧图像中驾驶员嘴型为张嘴的概率和驾驶员眯眼的概率，确定第六概率。在本发明实施例提供的方法中，可以采用预先设置驾驶员嘴型为张嘴的概率和驾驶员眯眼的概率对应的权重，进行概率与权重乘积后加和，确定第六概率；也可以采用其中概率数值较大的概率，作为第六概率的数值，此处并不做限定。
步骤502，确定每一帧图像中驾驶员是否存在关注点异常行为。
针对每一帧图像，利用预先训练的人脸关键点模型从该帧图像中分割出人脸区域，具体包括：人脸所在的位置以及具体的面部关键区域，比如眉毛、嘴巴、眼睛、鼻子、脸部轮廓等。
基于识别出的人脸关键点，通过筛选代表性人脸关键点，比如眼睛、脸部轮廓等，确定驾驶员关注位置的俯仰角、偏航角和翻滚角。
获取车辆前方的道路信息，利用道路信息对预先训练的人眼关注点模型进行调整，并利用调整后的人眼关注点模型确定该帧图像数据中驾驶员关注点在预先建立的坐标系下的横坐标、纵坐标，其中，预先建立的坐标系是世界坐标系。
判断俯仰角、偏航角、翻滚角、横坐标和纵坐标是否分别处于预先设置的区间范围内，确定该帧图像中驾驶员是否存在关注点异常行为。
首先，将俯仰角与原先设置的第一预设阈值和第二预设阈值进行比较，将偏航角与原先设置的第三预设阈值和第四预设阈值进行比较，将翻滚角与原先设置的第五预设阈值和第六预设阈值进行比较，若同时满足俯仰角大于第一预设阈值且小于第二预设阈值、偏航角大于第三预设阈值且小于第四预设阈值、翻滚角大于第五预设阈值且小于第六预设阈值，则确定第四判定标志为0，表示驾驶员的关注点在合理视角范围内；若其中任一项不满足条件，则确定第四判定标志为1，标志驾驶员的关注点不在合理视角范围内。
其次，结合预先建立的坐标系划定类似于扇形的X方向和Y方向的合理视场范围，判断由横坐标和纵坐标组成的坐标点是否位于合理视场范围内，若坐标点位于合理视场范围内，则确定第五标定标志为0，标志驾驶员的关注点在合理视角范围内；若坐标点不位于合理视场范围内，则确定第五标定标志为1，表示驾驶员的关注点不在合理视角范围内。
基于确定出的第四判定标志和第五判定标志，共同确定该帧图像中驾驶员是否存在关注点异常行为。
步骤503，在确定存在关注点异常行为的图像帧数大于第三预设帧数阈值时，确定驾驶员存在分神行为，其中，所述第三预设数量大于或者等于所述第三预设帧数阈值。
具体实施中，从视频数据中抽取出的第三预设数量帧的图像中，若确定出的存在分神行为的图像帧数大于第三预设帧数阈值时，确定驾驶员存在分神行为，其中，第三预设帧数阈值根据第三预设数量进行设置。
基于相同的发明构思，本发明实施例还提供一种危险驾驶行为的识别装置。
如图6所示，本发明实施例所提供的危险驾驶行为的识别装置，该装置应用于网约车***中的智能感知终端，网约车***，还包括：与智能感知终端连接的视频录制模块和服务器，该装置包括：
获取模块601，被配置为获取视频录制模块采集的包含驾驶员的视频数据；
处理模块602，被配置为对视频数据中的一帧或多帧图像数据进行分析，确定驾驶员存在危险驾驶行为，向服务器发送通知消息。
在一种可能的实施方式中，危险驾驶行为包括以下一种或多种：抽烟行为、分神行为、接打电话行为、疲劳驾驶行为。
在一种可能的实施方式中，危险驾驶行为包括抽烟时，处理模块602，具体被配置为：
在视频数据中抽取出第一预设数量帧的图像；
确定每一帧图像中驾驶员是否存在抽烟行为；
在确定存在抽烟行为的图像帧数大于第一预设帧数阈值时，确定驾驶员存在抽烟行为，其中，第一预设数量大于或者等于第一预设帧数阈值。
在一种可能的实施方式中，处理模块602，具体被配置为：
针对每一帧图像，利用预先训练的人脸关键点模型从该帧图像中分割出人脸区域，并利用预先训练的异常行为检测模型对人脸区域中驾驶员的行为进行检测，确定驾驶员存在异常行为的第一概率；
在第一概率小于或等于第一预设概率阈值时，确定该帧图像中驾驶员不存在抽烟行为；
在第一概率大于或等于第二预设概率阈值时，确定该帧图像中驾驶员存在抽烟行为；
在第一概率大于第一预设概率阈值且小于第二预设概率阈值时，利用预先训练的神经网络模型确定驾驶员的多个吸烟指标，并利用预先设置的每个吸烟指标的权重确定驾驶员存在抽烟行为的第二概率，在第二概率大于第三预设概率阈值时，确定该帧图像中驾驶员存在抽烟行为，其中，吸烟指标包括以下一种或多种：嘴型、脸部是否存在烟雾、人脸区域中是否存在香烟。
在一种可能的实施方式中，危险驾驶行为包括接打电话行为时，处理模块602，具体被配置为：
在视频数据中抽取出第二预设数量帧的图像；
确定每一帧图像中驾驶员是否存在接打电话行为；
在确定存在接打电话行为的图像帧数大于第二预设帧数阈值时，确定驾驶员存在接打电话行为，其中，第二预设数量大于或者等于第二预设帧数阈值。
在一种可能的实施方式中，处理模块602，具体被配置为：
针对每一帧图像，利用预先训练的人脸关键点模型从该帧图像中分割出人脸区域，并利用预先训练的异常对象检测模型在人脸区域中检测包含手部的第一区域和包含手持终端的第二区域；
利用预先训练的嘴型识别模型对人脸区域进行识别，确定驾驶员的嘴型为说话的第三概率，利用预先训练的手势识别模型对第一区域进行识别，确定驾驶员的手势为握持的第四概率，利用预先训练的手持终端识别模型对第二区域进行识别，确定第二区域中包含手持终端的第五概率；
若第五概率大于第四预设概率阈值，或者第五概率大于第五预设概率阈值且小于或等于第四预设概率阈值、且第三概率大于第六预设概率阈值，或者第五概率大于第七预设概率阈值且小于或等于第五预设概率阈值、且第四概率大于第八预设概率阈值时，确定该帧图像中驾驶员存在接打电话行为；
若第五概率小于或等于第七预设概率阈值、或者第五概率大于第五预设概率阈值且小于或等于第四预设概率阈值、且第三概率小于或等于第六预设概率阈值，或者第五概率大于第七预设概率阈值且小于或等于第五预设概率阈值、且第四概率小于或等于第八预设概率阈值时，确定该帧图像中驾驶员无接打电话行为。
在一种可能的实施方式中，危险驾驶行为包括疲劳驾驶行为时，处理模块602，具体被配置为：
在视频数据中抽取出任意一帧图像，确定该帧图像中驾驶员存在疲劳驾驶行为的第六概率；
在第六概率大于第九预设概率阈值时，抽取包含该帧的视频片段，并利用预先训练的神经网络模型检测视频片段中疲劳驾驶参数的时间序列对应的分类结果，疲劳驾驶参数包括以下一种或多种：闭眼动作、张嘴动作、点头动作；
利用预先训练的疲劳驾驶识别模型对多个视频片段的对应的分类结果进行识别，确定驾驶员是否存在疲劳驾驶行为。
在一种可能的实施方式中，处理模块602，具体被配置为：
利用预先训练的人脸关键点模型从该帧图像中分割出人脸区域，利用预先训练的嘴型识别模型确定该帧图像中驾驶员嘴型为张嘴的概率，利用预先训练的眯眼识别模型确定该帧图像中驾驶员眯眼的概率；
基于该帧图像中驾驶员嘴型为张嘴的概率和驾驶员眯眼的概率，确定第六概率。
在一种可能的实施方式中，危险驾驶行为包括分神行为时，处理模块602，具体被配置为：
在视频数据中抽取出第三预设数量帧的图像；
确定每一帧图像中驾驶员是否存在关注点异常行为；
在确定存在关注点异常行为的图像帧数大于第三预设帧数阈值时，确定驾驶员存在分神行为，其中，第三预设数量大于或者等于第三预设帧数阈值。
在一种可能的实施方式中，处理模块602，具体被配置为：
针对每一帧图像，利用预先训练的人脸关键点模型从该帧图像中识别驾驶员的人脸关键点，基于识别出的人脸关键点，确定驾驶员关注位置的俯仰角、偏航角和翻滚角；
获取车辆前方的道路信息，利用道路信息对预先训练的人眼关注点模型进行调整，并利用调整后的人眼关注点模型确定该帧图像数据中驾驶员关注点在预先建立的坐标系下的横坐标和纵坐标；
若俯仰角、偏航角、翻滚角、横坐标和纵坐标中任意一个未处于预先设置的区间范围，确定该帧图像中驾驶员存在关注点异常行为。
图7是根据一示例性实施例示出的危险驾驶行为的识别设备700的框图。如图7所示，本发明实施例提供的危险驾驶行为的识别设备，包括：
处理器710；
用于存储处理器可执行指令的存储器720；
其中，处理器710被配置为执行指令，以实现本发明实施例中的危险驾驶行为的识别方法。
在示例性实施例中，还提供了一种包括指令的存储介质，例如包括指令的存储器720，上述指令可由危险驾驶行为的识别设备的处理器710执行以完成上述方法。可选地，存储介质可以是非临时性计算机可读存储介质，例如，非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
另外，在示例性实施例中，本发明实施例还提供了一种存储介质，当存储介质中的指令由上述危险驾驶行为的识别设备的处理器执行时，使得上述危险驾驶行为的识别装置能够实现本发明实施例中的危险驾驶行为的识别方法。
本领域技术人员在考虑说明书及实践这里发明的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未发明的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。
应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (22)

1.一种危险驾驶行为的识别方法，其特征在于，应用于网约车***中的智能感知终端，所述网约车***，还包括：与所述智能感知终端连接的视频录制模块和服务器，所述方法包括：
获取所述视频录制模块采集的包含驾驶员的视频数据；
对所述视频数据中的一帧或多帧图像数据进行分析，确定所述驾驶员存在危险驾驶行为，向所述服务器发送通知消息。
2.根据权利要求1所述的方法，其特征在于，所述危险驾驶行为包括以下一种或多种：抽烟行为、分神行为、接打电话行为、疲劳驾驶行为。
3.根据权利要求2所述的方法，其特征在于，所述危险驾驶行为包括抽烟时，所述对所述视频数据中的一帧或多帧图像数据进行分析，确定所述驾驶员存在危险驾驶行为，包括：
在所述视频数据中抽取出第一预设数量帧的图像；
确定每一帧图像中驾驶员是否存在抽烟行为；
在确定存在抽烟行为的图像帧数大于第一预设帧数阈值时，确定驾驶员存在抽烟行为，其中，所述第一预设数量大于或者等于所述第一预设帧数阈值。
4.根据权利要求3所述的方法，其特征在于，所述确定每一帧图像中驾驶员是否存在抽烟行为，包括：
针对每一帧图像，利用预先训练的人脸关键点模型从该帧图像中分割出人脸区域，并利用预先训练的异常行为检测模型对所述人脸区域中驾驶员的行为进行检测，确定驾驶员存在异常行为的第一概率；
在所述第一概率小于或等于第一预设概率阈值时，确定该帧图像中驾驶员不存在抽烟行为；
在所述第一概率大于或等于第二预设概率阈值时，确定该帧图像中驾驶员存在抽烟行为；
在所述第一概率大于所述第一预设概率阈值且小于所述第二预设概率阈值时，利用预先训练的神经网络模型确定驾驶员的多个吸烟指标，并利用预先设置的每个吸烟指标的权重确定驾驶员存在抽烟行为的第二概率，在所述第二概率大于第三预设概率阈值时，确定该帧图像中驾驶员存在抽烟行为，其中，所述吸烟指标包括以下一种或多种：嘴型、脸部是否存在烟雾、人脸区域中是否存在香烟。
5.根据权利要求2所述的方法，其特征在于，所述危险驾驶行为包括接打电话行为时，所述对所述视频数据中的一帧或多帧进行分析，确定所述驾驶员存在危险驾驶行为，包括：
在所述视频数据中抽取出第二预设数量帧的图像；
确定每一帧图像中驾驶员是否存在接打电话行为；
在确定存在接打电话行为的图像帧数大于第二预设帧数阈值时，确定驾驶员存在接打电话行为，其中，所述第二预设数量大于或者等于所述第二预设帧数阈值。
6.根据权利要求5所述的方法，其特征在于，所述确定每一帧图像中驾驶员是否存在接打电话行为，包括：
针对每一帧图像，利用预先训练的人脸关键点模型从该帧图像中分割出人脸区域，并利用预先训练的异常对象检测模型在所述人脸区域中检测包含手部的第一区域和包含手持终端的第二区域；
利用预先训练的嘴型识别模型对所述人脸区域进行识别，确定驾驶员的嘴型为说话的第三概率，利用预先训练的手势识别模型对所述第一区域进行识别，确定驾驶员的手势为握持的第四概率，利用预先训练的手持终端识别模型对所述第二区域进行识别，确定所述第二区域中包含手持终端的第五概率；
若所述第五概率大于第四预设概率阈值，或者所述第五概率大于第五预设概率阈值且小于或等于所述第四预设概率阈值、且所述第三概率大于第六预设概率阈值，或者所述第五概率大于第七预设概率阈值且小于或等于所述第五预设概率阈值、且所述第四概率大于第八预设概率阈值时，确定该帧图像中驾驶员存在接打电话行为；
若所述第五概率小于或等于所述第七预设概率阈值、或者所述第五概率大于第五预设概率阈值且小于或等于所述第四预设概率阈值、且所述第三概率小于或等于所述第六预设概率阈值，或者所述第五概率大于第七预设概率阈值且小于或等于所述第五预设概率阈值、且所述第四概率小于或等于所述第八预设概率阈值时，确定该帧图像中驾驶员无接打电话行为。
7.根据权利要求2所述的方法，其特征在于，所述危险驾驶行为包括疲劳驾驶行为时，所述对所述视频数据中的一帧或多帧图像数据进行分析，确定所述驾驶员存在危险驾驶行为，包括：
在所述视频数据中抽取出任意一帧图像，确定该帧图像中驾驶员存在疲劳驾驶行为的第六概率；
在所述第六概率大于第九预设概率阈值时，抽取包含该帧的视频片段，并利用预先训练的神经网络模型检测所述视频片段中疲劳驾驶参数的时间序列对应的分类结果，所述疲劳驾驶参数包括以下一种或多种：闭眼动作、张嘴动作、点头动作；
利用预先训练的疲劳驾驶识别模型对多个视频片段的对应的分类结果进行识别，确定驾驶员是否存在疲劳驾驶行为。
8.根据权利要求7所述的方法，其特征在于，所述确定该帧图像中驾驶员存在疲劳驾驶行为的第六概率，包括：
利用预先训练的人脸关键点模型从该帧图像中分割出人脸区域，利用预先训练的嘴型识别模型确定该帧图像中驾驶员嘴型为张嘴的概率，利用预先训练的眯眼识别模型确定该帧图像中驾驶员眯眼的概率；
基于该帧图像中驾驶员嘴型为张嘴的概率和驾驶员眯眼的概率，确定所述第六概率。
9.根据权利要求2所述的方法，其特征在于，所述危险驾驶行为包括分神行为时，所述对所述视频数据中的一帧或多帧图像数据进行分析，确定所述驾驶员存在危险驾驶行为，包括：
在所述视频数据中抽取出第三预设数量帧的图像；
确定每一帧图像中驾驶员是否存在关注点异常行为；
在确定存在关注点异常行为的图像帧数大于第三预设帧数阈值时，确定驾驶员存在分神行为，其中，所述第三预设数量大于或者等于所述第三预设帧数阈值。
10.根据权利要求9所述的方法，其特征在于，所述确定每一帧图像中驾驶员是否存在关注点异常行为，包括：
针对每一帧图像，利用预先训练的人脸关键点模型从该帧图像中识别驾驶员的人脸关键点，基于所述识别出的人脸关键点，确定驾驶员关注位置的俯仰角、偏航角和翻滚角；
获取车辆前方的道路信息，利用所述道路信息对预先训练的人眼关注点模型进行调整，并利用调整后的人眼关注点模型确定该帧图像数据中驾驶员关注点在预先建立的坐标系下的横坐标和纵坐标；
若所述俯仰角、所述偏航角、所述翻滚角、所述横坐标和所述纵坐标中任意一个未处于预先设置的区间范围，确定该帧图像中驾驶员存在关注点异常行为。
11.一种危险驾驶行为的识别装置，其特征在于，应用于网约车***中的智能感知终端，所述网约车***，还包括：与所述智能感知终端连接的视频录制模块和服务器，所述装置包括：
获取模块，被配置为获取所述视频录制模块采集的包含驾驶员的视频数据；
处理模块，被配置为对所述视频数据中的一帧或多帧图像数据进行分析，确定所述驾驶员存在危险驾驶行为，向所述服务器发送通知消息。
12.根据权利要求11所述的装置，其特征在于，所述危险驾驶行为包括以下一种或多种：抽烟行为、分神行为、接打电话行为、疲劳驾驶行为。
13.根据权利要求12所述的装置，其特征在于，所述危险驾驶行为包括抽烟时，所述处理模块，具体被配置为：
在所述视频数据中抽取出第一预设数量帧的图像；
确定每一帧图像中驾驶员是否存在抽烟行为；
在确定存在抽烟行为的图像帧数大于第一预设帧数阈值时，确定驾驶员存在抽烟行为，其中，所述第一预设数量大于或者等于所述第一预设帧数阈值。
14.根据权利要求13所述的装置，其特征在于，所述处理模块，具体被配置为：
针对每一帧图像，利用预先训练的人脸关键点模型从该帧图像中分割出人脸区域，并利用预先训练的异常行为检测模型对所述人脸区域中驾驶员的行为进行检测，确定驾驶员存在异常行为的第一概率；
在所述第一概率小于或等于第一预设概率阈值时，确定该帧图像中驾驶员不存在抽烟行为；
在所述第一概率大于或等于第二预设概率阈值时，确定该帧图像中驾驶员存在抽烟行为；
在所述第一概率大于所述第一预设概率阈值且小于所述第二预设概率阈值时，利用预先训练的神经网络模型确定驾驶员的多个吸烟指标，并利用预先设置的每个吸烟指标的权重确定驾驶员存在抽烟行为的第二概率，在所述第二概率大于第三预设概率阈值时，确定该帧图像中驾驶员存在抽烟行为，其中，所述吸烟指标包括以下一种或多种：嘴型、脸部是否存在烟雾、人脸区域中是否存在香烟。
15.根据权利要求12所述的装置，其特征在于，所述危险驾驶行为包括接打电话行为时，所述处理模块，具体被配置为：
在所述视频数据中抽取出第二预设数量帧的图像；
确定每一帧图像中驾驶员是否存在接打电话行为；
在确定存在接打电话行为的图像帧数大于第二预设帧数阈值时，确定驾驶员存在接打电话行为，其中，所述第二预设数量大于或者等于所述第二预设帧数阈值。
16.根据权利要求15所述的装置，其特征在于，所述处理模块，具体被配置为：
针对每一帧图像，利用预先训练的人脸关键点模型从该帧图像中分割出人脸区域，并利用预先训练的异常对象检测模型在所述人脸区域中检测包含手部的第一区域和包含手持终端的第二区域；
利用预先训练的嘴型识别模型对所述人脸区域进行识别，确定驾驶员的嘴型为说话的第三概率，利用预先训练的手势识别模型对所述第一区域进行识别，确定驾驶员的手势为握持的第四概率，利用预先训练的手持终端识别模型对所述第二区域进行识别，确定所述第二区域中包含手持终端的第五概率；
若所述第五概率大于第四预设概率阈值，或者所述第五概率大于第五预设概率阈值且小于或等于所述第四预设概率阈值、且所述第三概率大于第六预设概率阈值，或者所述第五概率大于第七预设概率阈值且小于或等于所述第五预设概率阈值、且所述第四概率大于第八预设概率阈值时，确定该帧图像中驾驶员存在接打电话行为；
若所述第五概率小于或等于所述第七预设概率阈值、或者所述第五概率大于第五预设概率阈值且小于或等于所述第四预设概率阈值、且所述第三概率小于或等于所述第六预设概率阈值，或者所述第五概率大于第七预设概率阈值且小于或等于所述第五预设概率阈值、且所述第四概率小于或等于所述第八预设概率阈值时，确定该帧图像中驾驶员无接打电话行为。
17.根据权利要求12所述的装置，其特征在于，所述危险驾驶行为包括疲劳驾驶行为时，所述处理模块，具体被配置为：
在所述视频数据中抽取出任意一帧图像，确定该帧图像中驾驶员存在疲劳驾驶行为的第六概率；
在所述第六概率大于第九预设概率阈值时，抽取包含该帧的视频片段，并利用预先训练的神经网络模型检测所述视频片段中疲劳驾驶参数的时间序列对应的分类结果，所述疲劳驾驶参数包括以下一种或多种：闭眼动作、张嘴动作、点头动作；
利用预先训练的疲劳驾驶识别模型对多个视频片段的对应的分类结果进行识别，确定驾驶员是否存在疲劳驾驶行为。
18.根据权利要求17所述的装置，其特征在于，所述处理模块，具体被配置为：
利用预先训练的人脸关键点模型从该帧图像中分割出人脸区域，利用预先训练的嘴型识别模型确定该帧图像中驾驶员嘴型为张嘴的概率，利用预先训练的眯眼识别模型确定该帧图像中驾驶员眯眼的概率；
基于该帧图像中驾驶员嘴型为张嘴的概率和驾驶员眯眼的概率，确定所述第六概率。
19.根据权利要求12所述的装置，其特征在于，所述危险驾驶行为包括分神行为时，所述处理模块，具体被配置为：
在所述视频数据中抽取出第三预设数量帧的图像；
确定每一帧图像中驾驶员是否存在关注点异常行为；
在确定存在关注点异常行为的图像帧数大于第三预设帧数阈值时，确定驾驶员存在分神行为，其中，所述第三预设数量大于或者等于所述第三预设帧数阈值。
20.根据权利要求19所述的装置，其特征在于，所述处理模块，具体被配置为：
针对每一帧图像，利用预先训练的人脸关键点模型从该帧图像中识别驾驶员的人脸关键点，基于所述识别出的人脸关键点，确定驾驶员关注位置的俯仰角、偏航角和翻滚角；
获取车辆前方的道路信息，利用所述道路信息对预先训练的人眼关注点模型进行调整，并利用调整后的人眼关注点模型确定该帧图像数据中驾驶员关注点在预先建立的坐标系下的横坐标和纵坐标；
若所述俯仰角、所述偏航角、所述翻滚角、所述横坐标和所述纵坐标中任意一个未处于预先设置的区间范围，确定该帧图像中驾驶员存在关注点异常行为。
21.一种危险驾驶行为的识别设备，其特征在于，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现如权利要求1至10中任一项所述的危险驾驶行为的识别方法。
22.一种存储介质，其特征在于，当所述存储介质中的指令由危险驾驶行为的识别设备的处理器执行时，使得危险驾驶行为的识别设备能够执行如权利要求1至10中任一项所述的危险驾驶行为的识别方法。
CN202010141587.3A 2020-03-03 2020-03-03 一种危险驾驶行为的识别方法、装置、设备及存储介质 Withdrawn CN111414813A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010141587.3A CN111414813A (zh) 2020-03-03 2020-03-03 一种危险驾驶行为的识别方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010141587.3A CN111414813A (zh) 2020-03-03 2020-03-03 一种危险驾驶行为的识别方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN111414813A true CN111414813A (zh) 2020-07-14

Family

ID=71492901

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010141587.3A Withdrawn CN111414813A (zh) 2020-03-03 2020-03-03 一种危险驾驶行为的识别方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN111414813A (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111832526A (zh) * 2020-07-23 2020-10-27 浙江蓝卓工业互联网信息技术有限公司 一种行为检测方法及装置
CN111860280A (zh) * 2020-07-15 2020-10-30 南通大学 一种基于深度学习的驾驶员违章行为识别***
CN111882827A (zh) * 2020-07-27 2020-11-03 复旦大学 一种疲劳驾驶监测方法、***、装置和可读存储介质
CN112061136A (zh) * 2020-08-26 2020-12-11 西北工业大学 基于长短期记忆网络的司机驾驶行为自动化分析方法
CN112115790A (zh) * 2020-08-18 2020-12-22 北京嘀嘀无限科技发展有限公司 人脸识别方法、装置、可读存储介质和电子设备
CN112132020A (zh) * 2020-09-22 2020-12-25 深兰科技（上海）有限公司 手部紧握判断方法和装置
CN112149589A (zh) * 2020-09-28 2020-12-29 南京领行科技股份有限公司 车内驾驶员行为识别方法及装置
CN112183245A (zh) * 2020-09-11 2021-01-05 广州宸祺出行科技有限公司 一种监测网约车司机异常行为并告警的方法、装置及电子设备
CN112464810A (zh) * 2020-11-25 2021-03-09 创新奇智(合肥)科技有限公司 一种基于注意力图的吸烟行为检测方法及装置
CN113191244A (zh) * 2021-04-25 2021-07-30 上海夏数网络科技有限公司 一种驾驶员不规范行为检测方法
CN113506012A (zh) * 2021-07-22 2021-10-15 中冶南方城市建设工程技术有限公司 一种基于手机车联网数据的驾驶行为风险指数判定方法

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111860280A (zh) * 2020-07-15 2020-10-30 南通大学 一种基于深度学习的驾驶员违章行为识别***
CN111832526B (zh) * 2020-07-23 2024-06-11 浙江蓝卓工业互联网信息技术有限公司 一种行为检测方法及装置
CN111832526A (zh) * 2020-07-23 2020-10-27 浙江蓝卓工业互联网信息技术有限公司 一种行为检测方法及装置
CN111882827A (zh) * 2020-07-27 2020-11-03 复旦大学 一种疲劳驾驶监测方法、***、装置和可读存储介质
CN112115790A (zh) * 2020-08-18 2020-12-22 北京嘀嘀无限科技发展有限公司 人脸识别方法、装置、可读存储介质和电子设备
CN112061136A (zh) * 2020-08-26 2020-12-11 西北工业大学 基于长短期记忆网络的司机驾驶行为自动化分析方法
CN112183245A (zh) * 2020-09-11 2021-01-05 广州宸祺出行科技有限公司 一种监测网约车司机异常行为并告警的方法、装置及电子设备
CN112132020A (zh) * 2020-09-22 2020-12-25 深兰科技（上海）有限公司 手部紧握判断方法和装置
CN112149589A (zh) * 2020-09-28 2020-12-29 南京领行科技股份有限公司 车内驾驶员行为识别方法及装置
CN112149589B (zh) * 2020-09-28 2022-07-08 南京领行科技股份有限公司 车内驾驶员行为识别方法及装置
CN112464810A (zh) * 2020-11-25 2021-03-09 创新奇智(合肥)科技有限公司 一种基于注意力图的吸烟行为检测方法及装置
CN113191244A (zh) * 2021-04-25 2021-07-30 上海夏数网络科技有限公司 一种驾驶员不规范行为检测方法
CN113506012A (zh) * 2021-07-22 2021-10-15 中冶南方城市建设工程技术有限公司 一种基于手机车联网数据的驾驶行为风险指数判定方法

Similar Documents

Publication Publication Date Title
CN111414813A (zh) 一种危险驾驶行为的识别方法、装置、设备及存储介质
CN108446645B (zh) 基于深度学习的车载人脸识别方法
CN107292251B (zh) 一种基于人眼状态的驾驶员疲劳检测方法及***
CN100592322C (zh) 照片人脸与活体人脸的计算机自动鉴别方法
CN111950497B (zh) 一种基于多任务学习模型的ai换脸视频检测方法
CN105809178A (zh) 一种基于人脸属性的人群分析方法及装置
CN110532925B (zh) 基于时空图卷积网络的驾驶员疲劳检测方法
CN110674680B (zh) 活体识别的方法、装置、存储介质
CN108108651B (zh) 基于视频人脸分析的驾驶员非专心驾驶检测方法及***
CN115205764B (zh) 基于机器视觉的在线学习专注度监测方法、***及介质
CN116259002A (zh) 一种基于视频的人体危险行为分析方法
CN112560584A (zh) 一种人脸检测方法及装置、存储介质、终端
CN111626197A (zh) 一种人体行为识别网络模型及识别方法
CN116758643A (zh) 一种深度伪造人脸图像检测方法及装置
CN114998874A (zh) 一种基于深度学习的驾驶员异常行为检测方法
CN116206373A (zh) 活体检测方法、电子设备及存储介质
Rehder et al. Influence of different ground truth hypotheses on the quality of Bayesian networks for maneuver detection and prediction of driving behavior
CN114694090A (zh) 一种基于改进PBAS算法与YOLOv5的校园异常行为检测方法
CN113920567A (zh) 基于ConvLSTM网络模型的人脸图像年龄估计方法
CN112329566A (zh) 一种精准感知机动车驾驶人员头部动作的视觉感知***
CN110659384B (zh) 视频结构化分析方法及装置
CN111274898A (zh) 基于深度学习的视频流中群体情绪与凝聚力检测方法及装置
CN111368580A (zh) 一种基于视频分析的疲劳状态检测方法及装置
Hu et al. Comprehensive driver state recognition based on deep learning and PERCLOS criterion
CN109711260A (zh) 疲劳状态的检测方法、终端设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20200714