CN113313019A - 一种分神驾驶检测方法、***及相关设备 - Google Patents
一种分神驾驶检测方法、***及相关设备 Download PDFInfo
- Publication number
- CN113313019A CN113313019A CN202110585285.XA CN202110585285A CN113313019A CN 113313019 A CN113313019 A CN 113313019A CN 202110585285 A CN202110585285 A CN 202110585285A CN 113313019 A CN113313019 A CN 113313019A
- Authority
- CN
- China
- Prior art keywords
- target user
- eye
- area
- information
- safe
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims description 18
- 230000004438 eyesight Effects 0.000 claims abstract description 35
- 238000000034 method Methods 0.000 claims abstract description 34
- 230000035945 sensitivity Effects 0.000 claims description 14
- 230000001815 facial effect Effects 0.000 claims description 5
- 238000013136 deep learning model Methods 0.000 claims description 4
- 210000003128 head Anatomy 0.000 description 42
- 238000004891 communication Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 206010039203 Road traffic accident Diseases 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 210000000887 face Anatomy 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
- B60W2050/146—Display means
Landscapes
- Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Ophthalmology & Optometry (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明涉及安全驾驶技术领域，尤其涉及一种分神驾驶检测方法、***及相关设备。其中，该方法包括：获取目标用户的人脸图像；根据所述人脸图像，确定所述目标用户的头部姿态信息、睁闭眼信息和眼部视线运动信息；根据所述头部姿态信息，确定所述目标用户的头部是否处于设定的安全驾驶区域内；根据所述睁闭眼信息确定所述目标用户的持续闭眼时长；根据所述眼部视线运动信息确定目标用户的注视区域是否处于设定的安全注视区域内；如果目标用户满足以下条件中的一项或多项时，确定目标用户处于分神驾驶状态：头部处于安全驾驶区域之外的持续时长大于第一阈值、持续闭眼时长大于第二阈值以及注视区域处于安全注视区域之外的持续时长大于第三阈值。
Description
【技术领域】
本发明涉及安全驾驶技术领域，尤其涉及一种分神驾驶检测方法、***及相关设备。
【背景技术】
由于我国人口基数大，汽车保有量较高，因此我国每年的交通事故次数较多，交通事故率也居高不下。其中，因为疲劳驾驶和分神驾驶导致的交通事故次数在全部交通事故次数中的占比较高。对于疲劳驾驶，已有相关检测方法。但是目前对于分神驾驶还没有比较实用的检测方法。
【发明内容】
为了解决上述问题，本发明实施例提供了一种分神驾驶检测方法，从目标用户的人脸图像中提取头部姿态信息和睁闭眼信息，并根据提取到的相关信息来确定目标用户是否处于分神驾驶状态。
第一方面，本发明实施例提供一种分神驾驶检测方法，包括：
获取目标用户的人脸图像；
根据所述人脸图像，确定所述目标用户的头部姿态信息、睁闭眼信息和眼部视线运动信息；
根据所述头部姿态信息，确定所述目标用户的头部是否处于设定的安全驾驶区域内；
根据所述睁闭眼信息确定所述目标用户的持续闭眼时长；
根据所述眼部视线运动信息确定目标用户的注视区域是否处于安全注视区域内；
如果所述目标用户满足以下条件中的一项或多项时，确定所述目标用户处于分神驾驶状态：
头部处于所述安全驾驶区域之外的持续时长大于第一阈值、持续闭眼时长大于第二阈值以及注视区域处于安全注视区域之外的持续时长大于第三阈值。
本发明实施例中，从目标用户的人脸图像中确定目标用户的头部姿态信息、睁闭眼信息和眼部视线运动信息作为判断依据。当目标用户的头部处于安全驾驶区域之外的持续时长大于第一阈值或持续闭眼时长大于第二阈值或注视区域处于安全注视区域之外的持续时长大于第三阈值时，确定目标用户处于分神驾驶状态。增加了分神驾驶判断的可靠性以及准确性。
在一种可能的实现方式中，根据所述眼部视线运动信息确定目标用户的注视区域是否处于安全注视区域内，包括：
根据所述睁闭眼信息，确定所述目标用户的睁闭眼属性；
如果所述目标用户的睁闭眼属性为睁眼，则确定所述目标用户的眼部视线运动信息为有效眼部视线运动信息；
根据所述有效眼部视线运动信息确定所述目标用户的注视区域是否处于安全区域内。
在一种可能的实现方式中，获取目标用户的人脸图像之前，所述方法还包括：
确定所述目标用户是否设定所述安全驾驶区域和所述安全注视区域；
如果所述目标用户未设定所述安全驾驶区域和所述安全注视区域，则向所述目标用户发送提示信息，以使所述目标用户根据所述提示信息设置所述安全驾驶区域和所述安全注视区域。
在一种可能的实现方式中，所述方法还包括：
获取***灵敏度阈值；
根据所述***灵敏度阈值调整所述安全驾驶区域和所述安全注视区域的大小；
根据所述***灵敏度阈值调整所述第一阈值和所述第三阈值的大小。
在一种可能的实现方式中，所述方法还包括：
根据所述人脸图像，确定所述人脸图像中是否仅存在目标用户的有效人脸；
如果所述人脸图像中不存在所述目标用户的有效人脸或所述人脸图像中存在干扰人脸，则确定所述目标用户处于分神驾驶状态。
在一种可能的实现方式中，根据所述人脸图像，确定所述目标用户的头部姿态信息、睁闭眼信息和眼部视线运动信息，包括：
采用深度学习模型从所述人脸图像中识别出所述头部姿态信息、睁闭眼信息和眼部视线运动信息。
在一种可能的实现方式中，所述人脸图像为红外设备采集的红外人脸图像。
第二方面，本发明实施例提供一种分神驾驶检测***，包括：
获取模块，用于获取目标用户的人脸图像；
确定模块，用于根据所述人脸图像，确定所述目标用户的头部姿态信息、睁闭眼信息和眼部视线运动信息；
所述确定模块，还用于根据所述头部姿态信息，确定所述目标用户的头部是否处于设定的安全驾驶区域内；
所述确定模块，还用于根据所述睁闭眼信息确定所述目标用户的持续闭眼时长；
所述确定模块，还用于根据所述眼部视线运动信息确定所述目标用户的注视区域是否处于安全注视区域内；
所述确定模块，还用于如果所述目标用户满足以下条件中的一项或多项时，确定所述目标用户处于分神驾驶状态：
头部处于所述安全驾驶区域之外的持续时长大于第一阈值、持续闭眼时长大于第二阈值以及注视区域处于安全注视区域之外的持续时长大于第三阈值。
第三方面，本发明实施例提供一种电子设备，包括：
至少一个处理器；以及
与所述处理器通信连接的至少一个存储器，其中：
所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行第一方面所述的方法。
第四方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行第一方面所述的方法。
应当理解的是，本发明实施例的第二～四方面与本发明实施例的第一方面的技术方案一致，各方面及对应的可行实施方式所取得的有益效果相似，不再赘述。
【附图说明】
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明实施例的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1为本发明实施例提供的一种分神驾驶检测方法的流程图；
图2为本发明实施例提供的另一种分神驾驶检测方法的流程图；
图3为本发明实施例提供的一种分神驾驶检测***的结构示意图；
图4为本发明实施例提供的一种电子设备的结构示意图。
【具体实施方式】
为了更好的理解本说明书的技术方案，下面结合附图对本发明实施例进行详细描述。
应当明确，所描述的实施例仅仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本说明书。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。
本发明实施例中，从目标用户的人脸图像中确定目标用户的头部姿态信息和睁闭眼信息等目标用户的生理反应特征。并根据确定的目标用户的头部姿态信息和睁闭眼信息与设定的安全驾驶区域进行比较来确定目标用户处于分神驾驶状态。
图1为本发明实施例提供的一种分神驾驶检测方法的流程图。所述方法可以应用于手机终端或者车载终端。如图1所示，该方法包括：
步骤101，获取目标用户的人脸图像。其中，目标用户的人脸图像可以为手机终端或车载终端的摄像头以一定采集间隔采集的多帧人脸图像。可选的，可以以每秒25-30帧的采集间隔对目标用户的人脸图像进行采集。
在一些实施例中，为了避免受到不同光线条件对判定带来的影响以及增加***在夜间时的可用性，可以使用红外设备对目标用户的人脸图像进行采集，得到红外人脸图像。可选的，红外设备可以为红外摄像头等图像采集设备例如，配备了红外摄像头的手机终端或车载终端。
步骤102，根据人脸图像，确定目标用户的头部姿态信息、睁闭眼信息和眼部视线运动信息。其中，头部姿态信息可以具体包含头目朝向、俯仰角、偏航角和滚转角等参数信息。眼部视线运动信息可以为标识目标用户注视方向的任一形式信息，例如向量信息或者垂直方向角信息以及水平方向角信息等。
步骤103，根据头部姿态信息，确定目标用户的头部是否处于设定的安全驾驶区域内。其中，安全驾驶区域为用户预先设置好的区域，在设置时，用户可以保持正常的驾驶姿势一段时间，手机终端或车载终端的摄像头记录该时间段内的目标用户的头部姿态信息的平均值，根据得到的头部姿态信息的平均值，确定安全驾驶区域。目标用户的头部在设定的安全驾驶区域内时，说明目标用户的头目姿态符合安全驾驶的判定要求。如果目标用户的头部在设定的安全驾驶区域之外时，则说明用户可能发生了分神驾驶。之后可以根据目标用户的头部处于安全驾驶区域之外的持续时长来判定是否由头部姿态导致的分神驾驶。
步骤104，根据睁闭眼信息确定目标用户的持续闭眼时长。其中，可以仅获取目标用户的单眼的睁闭眼信息。例如，仅获取目标用户的右眼的睁闭眼信息或仅获取左眼的睁闭眼信息，以减少需要处理的信息量，增加判定效率。在一些实施例中，也可以获取双眼的睁闭眼信息，以增加判定结果的准确率。
步骤105，根据眼部视线运动信息确定目标用户的注视区域是否处于设定的安全注视区域内。
步骤106如果目标用户满足以下条件中的一项或多项时，确定目标用户处于分神驾驶状态：头部处于安全驾驶区域之外的持续时长大于第一阈值、持续闭眼时长大于第二阈值以及注视区域处于安全注视区域之外的持续时长大于第三阈值。其中，目标用户的头部长时间处于安全驾驶区域之外时，可以认为目标用户当前的驾驶姿势存在异常，例如，目标用户长时间低头查看手机等。因此可以确定目标用户已经处于分神驾驶状态。同理，目标用户长时间闭眼时，也可以认为目标用户当前处于分神驾驶状态，例如因为过度疲劳导致的驾驶期间睡觉等情况。
其中，安全注视区域可以包括仪表盘区域、中控台区域、档位控制区域、左右倒车镜区域、后视镜区域。在设定安全注视区域时，用户可以根据提示，分别注视上述各个区域，并保持注视状态一段时间，手机终端或车载终端的摄像头记录该时间段内的目标用户的眼部视线运动信息的平均值，并根据眼部视线运动信息的平均值确定目标用户对于每个安全注视区域的视线范围。例如，在设定左右倒车镜区域时，可以根据目标用户的眼部视线运动信息，确定目标用户的视线中心，并根据视线中心，划定半径为20厘米的区域为左右倒车镜区域。优选的，第一阈值可以为10秒，第二阈值可以为5秒，第三阈值可以为10秒。
在一些实施例中，在确定目标用户处于分神驾驶状态时，可以进行告警，以提示目标用户从分神驾驶状态回到正常驾驶状态。
在一些实施例中，还可以根据睁闭眼信息来确定眼部视线运动信息是否为有效信息。如图2所示，该方法处理步骤包括：
步骤201，根据睁闭眼信息，确定目标用户的睁闭眼属性。其中，睁闭眼属性包括睁眼属性和闭眼属性。
步骤202，如果目标用户的睁闭眼属性为睁眼，则确定目标用户的眼部视线运动信息为有效眼部视线运动信息。如果目标用户的睁闭眼属性为闭眼，则目标用户的眼部视线运动信息为是无效眼部运动实现信息，即当前的人脸图像中采集到目标用户的眼部视线运动信息无法作为判断分神驾驶依据。如果目标用户的睁闭眼属性为睁眼，则当目标用户的人脸图像中的眼部视线运动信息是有效的，可以将人脸图像中采集到的眼部视线运动信息作为判断分神驾驶的依据。
步骤203，根据有效眼部视线运动信息确定所述目标用户的注视区域是否处于安全区域内。其中，由于通过双眼的眼部视线运动信息共同确定目标用户的注视区域，计算量较大，增加判断难度并且会降低判断结果的准确性。所以，可以仅根据单眼的眼部视线运动信息来确定目标用户的注视区域，优选的，可以根据目标用户右眼的眼部视线运动信息来确定目标用户的注视区域。
在一些实施例中，还可以根据头部姿态信息和眼部视线运动信息来确定目标用户的注视区域是否处于安全注视区域内。例如，首先构建三维坐标系，根据头部姿态信息和眼部视线运动信息来确定目标用户当前的视线向量，并根据视线向量和设定的各个安全区域的坐标关系来确定目标用户的注视区域是否处于设定的安全注视区域内。
在一些实施例中，当目标用户持续注视如中控台区域或者仪表盘区域等被标注为安全区域的区域时，也可以判定目标用户处于分神驾驶状态。例如，目标用户持续注视仪表盘的时间大于30秒时，可以确定目标用户处于分神驾驶状态。
在一些实施例中，在获取目标用户的人脸图像并进行分神驾驶判定之前，需要目标用户设定安全驾驶区域和安全注视区域。由于各个用户的身高以及驾驶习惯并不相同，所以在手机终端或者车载终端启动后需要先进行安全驾驶区域和安全注视区域的设定。可选的，可以用账号等信息标识不同的用户，如果用户已经设定过安全驾驶区域以及安全注视区域，则可以对相关信息进行保存，该用户下次使用相同的账号驾驶相同的车辆时可以不用再次设定安全驾驶区域和安全注视区域。
因此，当手机终端或车载终端启动后，可以先确定目标用户是否设定安全驾驶区域和安全注视区域。如果目标用户未设定安全驾驶区域和安全注视区域，则向目标用户发送提示信息，以使目标用户根据提示信息设置安全驾驶区域和安全注视区域。其中，提示信息可以为语音提示或者文字提示等。
在一个具体的示例中，设定安全驾驶区域和安全注视区域的过程可以为：语音播报“10秒后即将标定安全驾驶区域，请准备”并等待10秒，以使目标用户为设定安全驾驶区域进行准备。设定过程可以为5秒，目标用户在设定过程中需要保持正常驾驶姿势。通过采集5秒内的目标用户的头部姿态信息，并取平均值作为安全驾驶区域。在设定安全驾驶区域之前，可以先进行拍摄位置校准，以保证手机终端或车载终端的图像采集区域内有且仅有目标用户一个人的人脸，并且使目标用户的人脸处于图像采集区域的中心位置附近。如果图像采集区域采集到的人脸数量不为1或者人脸未在图像采集区域的中心位置，则可以提示目标用户调整手机终端或车载终端的拍摄角度。当用户完成安全驾驶区域设定后，可以继续进行安全注视区域的设定。用户根据语音提示分别完成各个安全注视区域对应的眼部视线运动信息的采集，并求取均值以完成各个安全注视区域的设定。
在一些实施例中，在驾驶过程中，用户还可以通过手动的方式触发安全驾驶区域或安全注视区域的设定，以对安全驾驶区域或安全注视区域的相关判定参数进行更新。
在一些实施例中，还可以设置有***灵敏度，用户可以通过调整灵敏度来调整安全驾驶区域和安全注视区域的大小以及第一阈值的第三阈值的大小。具体为：获取***灵敏度阈值，根据***灵敏度阈值调整安全驾驶区域和安全注视区域的大小，根据***灵敏度阈值调整第一阈值和第三阈值的大小。其中，***灵敏度阈值越高，则对应的安全驾驶区域和安全注视区域的大小越小，对应的第一阈值和第三阈值越小。***灵敏度阈值越低，则对应的安全驾驶区域和安全注视区域的大小越大，对应的第一阈值和第三阈值越大。用户可以根据驾驶习惯选择不同的***灵敏度阈值。
在一些实施例中，还可以根据人脸图像，确定人脸图像中是否仅存在目标用户的有效人脸。如果述人脸图像中不存在目标用户的有效人脸或人脸图像中存在干扰人脸，则确定目标用户处于分神驾驶状态。当人脸图像中不存在目标用户的有效人脸时，可以理解为目标用户将头部移动到了手机终端或车载终端的图像采集区之外，此时目标用户的驾驶姿势和正常驾驶此时区别较大，危险度较高，因此可以确定目标用户处于分神驾驶状态并进行对应告警。当人脸图像中存在干扰人脸时，可以认为存在其他用户对目标用户(驾驶人员)造成了驾驶干扰，例如，坐在副驾驶的用户将头伸到目标用户的头部前方。此时坐在副驾驶的用户对目标用户的视野造成了遮挡，因此可以确定目标用户处于分神驾驶状态，并进行对应告警。
在一些实施例中，可以采用深度学习模型从人脸图像中识别出头部姿态信息、睁闭眼信息以及眼部视线信息。由于目前的深度学习模型技术较为成熟，因此可以采用例如卷积神经网络等技术来从人脸图像中提取出头部姿态信息。
对应上述分神驾驶检测方法，本发明实施例提供一种分神驾驶检测***，如图3所示，该***包括：获取模块301和确定模块302。
获取模块301，用于获取目标用户的人脸图像。
确定模块302，用于根据人脸图像，确定目标用户的头部姿态信息、睁闭眼信息和眼部视线运动信息。
确定模块302，还用于根据头部姿态信息，确定目标用户的头部是否处于设定的安全驾驶区域内。
确定模块302，还用于根据睁闭眼信息确定目标用户的持续闭眼时长。
确定模块302，还用于根据眼部视线运动信息确定目标用户的注视区域是否处于安全注视区域内。
确定模块302，还用于如果目标用户满足以下条件中的一项或多项时，确定目标用户处于分神驾驶状态：
头部处于所述安全驾驶区域之外的持续时长大于第一阈值、持续闭眼时长大于第二阈值以及注视区域处于安全注视区域之外的持续时长大于第三阈值。
图3所示实施例提供的分神驾驶检测***可用于执行本说明书图1～图2所示方法实施例的技术方案，其实现原理和技术效果可以进一步参考方法实施例中的相关描述。
图4为本发明实施例提供的一种电子设备的结构示意图，如图4所示，上述电子设备可以包括至少一个处理器；以及与上述处理器通信连接的至少一个存储器，其中：存储器存储有可被处理器执行的程序指令，上述处理器调用上述程序指令能够执行本说明书图1～图2所示实施例提供的分神驾驶检测方法。
如图4所示，电子设备以通用计算设备的形式表现。电子设备的组件可以包括但不限于：一个或者多个处理器410、通信接口420和存储器430，连接不同***组件(包括存储器430、通信接口420和处理单元410)的通信总线440。
通信总线440表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，***总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(Industry StandardArchitecture；以下简称：ISA)总线，微通道体系结构(Micro Channel Architecture；以下简称：MAC)总线，增强型ISA总线、视频电子标准协会(Video Electronics StandardsAssociation；以下简称：VESA)局域总线以及***组件互连(Peripheral ComponentInterconnection；以下简称：PCI)总线。
电子设备典型地包括多种计算机***可读介质。这些介质可以是任何能够被电子设备访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
存储器430可以包括易失性存储器形式的计算机***可读介质，例如随机存取存储器(Random Access Memory；以下简称：RAM)和/或高速缓存存储器。电子设备可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机***存储介质。存储器430可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本说明书各实施例的功能。
具有一组(至少一个)程序模块的程序/实用工具，可以存储在存储器430中，这样的程序模块包括——但不限于——操作***、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块通常执行本说明书所描述的实施例中的功能和/或方法。
处理器410通过运行存储在存储器430中的程序，从而执行各种功能应用以及数据处理，例如实现本说明书图1～图2所示实施例提供的分神驾驶检测方法。
本说明书实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行本说明书图1～图2所示实施例提供的分神驾驶检测方法。
上述计算机可读存储介质可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ReadOnly Memory；以下简称：ROM)、可擦式可编程只读存储器(Erasable Programmable ReadOnly Memory；以下简称：EPROM)或闪存、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本说明书的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本说明书的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本说明书的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本说明书的实施例所属技术领域的技术人员所理解。
取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。
需要说明的是，本说明书实施例中所涉及的设备可以包括但不限于个人计算机(Personal Computer；以下简称：PC)、个人数字助理(Personal Digital Assistant；以下简称：PDA)、无线手持设备、平板电脑(Tablet Computer)、手机、MP3显示器、MP4显示器等。
在本说明书所提供的几个实施例中，应该理解到，所揭露的***、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如，多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，在本说明书各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机装置(可以是个人计算机，连接器，或者网络装置等)或处理器(Processor)执行本说明书各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory；以下简称：ROM)、随机存取存储器(Random Access Memory；以下简称：RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本说明书的较佳实施例而已，并不用以限制本说明书，凡在本说明书的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本说明书保护的范围之内。
Claims (10)
1.一种分神驾驶检测方法，其特征在于，包括：
获取目标用户的人脸图像；
根据所述人脸图像，确定所述目标用户的头部姿态信息、睁闭眼信息和眼部视线运动信息；
根据所述头部姿态信息，确定所述目标用户的头部是否处于设定的安全驾驶区域内；
根据所述睁闭眼信息确定所述目标用户的持续闭眼时长；
根据所述眼部视线运动信息确定目标用户的注视区域是否处于设定的安全注视区域内；
如果所述目标用户满足以下条件中的一项或多项时，确定所述目标用户处于分神驾驶状态：
头部处于所述安全驾驶区域之外的持续时长大于第一阈值、持续闭眼时长大于第二阈值以及注视区域处于安全注视区域之外的持续时长大于第三阈值。
2.根据权利要求1所述的方法，其特征在于，根据所述眼部视线运动信息确定目标用户的注视区域是否处于设定的安全注视区域内，包括：
根据所述睁闭眼信息，确定所述目标用户的睁闭眼属性；
如果所述目标用户的睁闭眼属性为睁眼，则确定所述目标用户的眼部视线运动信息为有效眼部视线运动信息；
根据所述有效眼部视线运动信息确定所述目标用户的注视区域是否处于安全区域内。
3.根据权利要求1所述的方法，其特征在于，获取目标用户的人脸图像之前，所述方法还包括：
确定所述目标用户是否设定所述安全驾驶区域和所述安全注视区域；
如果所述目标用户未设定所述安全驾驶区域和所述安全注视区域，则向所述目标用户发送提示信息，以使所述目标用户根据所述提示信息设置所述安全驾驶区域和所述安全注视区域。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取***灵敏度阈值；
根据所述***灵敏度阈值调整所述安全驾驶区域和所述安全注视区域的大小；
根据所述***灵敏度阈值调整所述第一阈值和所述第三阈值的大小。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
根据所述人脸图像，确定所述人脸图像中是否仅存在目标用户的有效人脸；
如果所述人脸图像中不存在所述目标用户的有效人脸或所述人脸图像中存在干扰人脸，则确定所述目标用户处于分神驾驶状态。
6.根据权利要求1所述的方法，其特征在于，根据所述人脸图像，确定所述目标用户的头部姿态信息、睁闭眼信息和眼部视线运动信息，包括：
采用深度学习模型从所述人脸图像中识别出所述头部姿态信息、睁闭眼信息和眼部视线运动信息。
7.根据权利要求1至6任一项所述的方法，其特征在于，所述人脸图像为红外设备采集的红外人脸图像。
8.一种分神驾驶检测***，其特征在于，包括：
获取模块，用于获取目标用户的人脸图像；
确定模块，用于根据所述人脸图像，确定所述目标用户的头部姿态信息、睁闭眼信息和眼部视线运动信息；
所述确定模块，还用于根据所述头部姿态信息，确定所述目标用户的头部是否处于设定的安全驾驶区域内；
所述确定模块，还用于根据所述睁闭眼信息确定所述目标用户的持续闭眼时长；
所述确定模块，还用于根据所述眼部视线运动信息确定所述目标用户的注视区域是否处于安全注视区域内；
所述确定模块，还用于如果所述目标用户满足以下条件中的一项或多项时，确定所述目标用户处于分神驾驶状态：
头部处于所述安全驾驶区域之外的持续时长大于第一阈值、持续闭眼时长大于第二阈值以及注视区域处于安全注视区域之外的持续时长大于第三阈值。
9.一种电子设备，其特征在于，包括：
至少一个处理器；以及
与所述处理器通信连接的至少一个存储器，其中：
所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如权利要求1至7任一所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行如权利要求1至7任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110585285.XA CN113313019A (zh) | 2021-05-27 | 2021-05-27 | 一种分神驾驶检测方法、***及相关设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110585285.XA CN113313019A (zh) | 2021-05-27 | 2021-05-27 | 一种分神驾驶检测方法、***及相关设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113313019A true CN113313019A (zh) | 2021-08-27 |
Family
ID=77375644
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110585285.XA Pending CN113313019A (zh) | 2021-05-27 | 2021-05-27 | 一种分神驾驶检测方法、***及相关设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113313019A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115097933A (zh) * | 2022-06-13 | 2022-09-23 | 华能核能技术研究院有限公司 | 专注度的确定方法、装置、计算机设备和存储介质 |
| WO2023178714A1 (zh) * | 2022-03-25 | 2023-09-28 | 北京魔门塔科技有限公司 | 分心判断方法、装置、存储介质、电子设备及车辆 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019028798A1 (zh) * | 2017-08-10 | 2019-02-14 | 北京市商汤科技开发有限公司 | 驾驶状态监控方法、装置和电子设备 |
| CN109409259A (zh) * | 2018-10-11 | 2019-03-01 | 百度在线网络技术（北京）有限公司 | 驾驶监控方法、装置、设备及计算机可读介质 |
| CN109501807A (zh) * | 2018-08-15 | 2019-03-22 | 初速度（苏州）科技有限公司 | 自动驾驶注意力检测***及方法 |
| CN110390285A (zh) * | 2019-07-16 | 2019-10-29 | 广州小鹏汽车科技有限公司 | 驾驶员分神检测方法、***及车辆 |
| CN111079476A (zh) * | 2018-10-19 | 2020-04-28 | 上海商汤智能科技有限公司 | 驾驶状态分析方法和装置、驾驶员监控***、车辆 |
| CN112270283A (zh) * | 2020-11-04 | 2021-01-26 | 北京百度网讯科技有限公司 | 异常驾驶行为确定方法、装置、设备、车辆和介质 |
| CN112289003A (zh) * | 2020-10-23 | 2021-01-29 | 江铃汽车股份有限公司 | 疲劳驾驶不端驾驶行为监测方法及主动安全驾驶监控*** |
-
2021
- 2021-05-27 CN CN202110585285.XA patent/CN113313019A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019028798A1 (zh) * | 2017-08-10 | 2019-02-14 | 北京市商汤科技开发有限公司 | 驾驶状态监控方法、装置和电子设备 |
| CN109803583A (zh) * | 2017-08-10 | 2019-05-24 | 北京市商汤科技开发有限公司 | 驾驶状态监控方法、装置和电子设备 |
| CN109501807A (zh) * | 2018-08-15 | 2019-03-22 | 初速度（苏州）科技有限公司 | 自动驾驶注意力检测***及方法 |
| CN109409259A (zh) * | 2018-10-11 | 2019-03-01 | 百度在线网络技术（北京）有限公司 | 驾驶监控方法、装置、设备及计算机可读介质 |
| CN111079476A (zh) * | 2018-10-19 | 2020-04-28 | 上海商汤智能科技有限公司 | 驾驶状态分析方法和装置、驾驶员监控***、车辆 |
| CN110390285A (zh) * | 2019-07-16 | 2019-10-29 | 广州小鹏汽车科技有限公司 | 驾驶员分神检测方法、***及车辆 |
| CN112289003A (zh) * | 2020-10-23 | 2021-01-29 | 江铃汽车股份有限公司 | 疲劳驾驶不端驾驶行为监测方法及主动安全驾驶监控*** |
| CN112270283A (zh) * | 2020-11-04 | 2021-01-26 | 北京百度网讯科技有限公司 | 异常驾驶行为确定方法、装置、设备、车辆和介质 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023178714A1 (zh) * | 2022-03-25 | 2023-09-28 | 北京魔门塔科技有限公司 | 分心判断方法、装置、存储介质、电子设备及车辆 |
| CN115097933A (zh) * | 2022-06-13 | 2022-09-23 | 华能核能技术研究院有限公司 | 专注度的确定方法、装置、计算机设备和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20210009150A1 (en) | Method for recognizing dangerous action of personnel in vehicle, electronic device and storage medium | |
| WO2020078465A1 (zh) | 驾驶状态分析方法和装置、驾驶员监控***、车辆 | |
| US20200334477A1 (en) | State estimation apparatus, state estimation method, and state estimation program | |
| KR101868597B1 (ko) | 올바른 기기사용자세 유도 장치 및 방법 | |
| TW202036465A (zh) | 駕駛員注意力監測方法和裝置及電子設備 | |
| US20160272217A1 (en) | Two-step sleepy driving prevention apparatus through recognizing operation, front face, eye, and mouth shape | |
| CN113313019A (zh) | 一种分神驾驶检测方法、***及相关设备 | |
| BRPI0712837A2 (pt) | mÉtodo e aparelho para determinaÇço e anÁlise de uma localizaÇço de interesse visual. | |
| US11112602B2 (en) | Method, apparatus and system for determining line of sight, and wearable eye movement device | |
| US20180229654A1 (en) | Sensing application use while driving | |
| CN110341617B (zh) | 眼球追踪方法、装置、车辆和存储介质 | |
| CN110155072B (zh) | 防晕车方法和防晕车装置 | |
| CN113491519A (zh) | 基于情感-认知负荷的数字助理 | |
| Varma et al. | Accident prevention using eye blinking and head movement | |
| JP2008512153A (ja) | 個人の警戒レベルの指示を生成するための方法及び装置 | |
| CN109291794A (zh) | 驾驶员状态监测方法、汽车以及存储介质 | |
| EP3440592B1 (en) | Method and system of distinguishing between a glance event and an eye closure event | |
| CN111179880A (zh) | 一种显示屏幕的亮度调节方法、装置、电子设备及*** | |
| US20220036101A1 (en) | Methods, systems and computer program products for driver monitoring | |
| EP3857442A1 (en) | Driver attention state estimation | |
| CN112083795A (zh) | 对象控制方法及装置、存储介质和电子设备 | |
| JP2017091013A (ja) | 運転支援装置 | |
| CN116883977A (zh) | 一种乘客状态监控方法、装置、终端设备和车辆 | |
| CN113744499A (zh) | 一种疲劳预警方法、眼镜、***和计算机可读存储介质 | |
| CN111292493A (zh) | 一种振动提醒方法、装置、电子设备及*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210827 |