CN110390285A - 驾驶员分神检测方法、***及车辆 - Google Patents

驾驶员分神检测方法、***及车辆 Download PDF

Info

Publication number
CN110390285A
CN110390285A CN201910641923.8A CN201910641923A CN110390285A CN 110390285 A CN110390285 A CN 110390285A CN 201910641923 A CN201910641923 A CN 201910641923A CN 110390285 A CN110390285 A CN 110390285A
Authority
CN
China
Prior art keywords
attention
driver
value
threshold value
diverting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910641923.8A
Other languages
English (en)
Inventor
黄晗
王鑫
郭彦东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Xiaopeng Motors Technology Co Ltd
Original Assignee
Guangzhou Xiaopeng Motors Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Xiaopeng Motors Technology Co Ltd filed Critical Guangzhou Xiaopeng Motors Technology Co Ltd
Priority to CN201910641923.8A priority Critical patent/CN110390285A/zh
Publication of CN110390285A publication Critical patent/CN110390285A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

本申请公开了一种驾驶员分神检测方法、***及车辆。其中，驾驶员分神检测方法，包括：获取车辆驾驶员人脸区域的视频图像和车辆的行驶状态；根据视频图像进行头部姿态检测及视线检测，获得头部姿态信息和视线信息；利用头部姿态信息和视线信息，结合行驶状态，判断驾驶员是否分神。本申请的驾驶员分神检测方法可以准确定检测出驾驶员是否分神，有效避免或降低误检测的发生，进而，能够提升行车的安全性和可靠性。

Description

驾驶员分神检测方法、***及车辆
技术领域
本申请涉及汽车技术领域，特别涉及一种驾驶员分神检测方法、***及车辆。
背景技术
很多交通事故的发生是由于驾驶员驾驶过程中分神导致的，例如：驾车时看手机、看窗外风景等，造成交通事故的发生。
相关技术中，通过头部姿态对驾驶员分神状态进行检测，例如：检测到驾驶员转头、低头等时，认为驾驶员处于分神行驶状态，对驾驶员进行提醒，存在以下技术问题：
如果转头或者低头的动作较小，驾驶员可能确实没有集中精力，但是也可能还是集中精力，此时容易产生误检测，进而，影响车辆的使用体验。
发明内容
本申请旨在至少在一定程度上解决上述相关技术中的技术问题之一。
为此，本申请的第一个目的在于提出一种驾驶员分神检测方法。该方法可以准确定检测出驾驶员是否分神，有效避免或降低误检测的发生，进而，能够提升行车的安全性和可靠性。
本申请的第二个目的在于提出一种驾驶员分神检测***。
本申请的第三个目的在于提出一种车辆。
本申请的第四个目的在于提出一种机器可读介质。
为了实现上述目的，本申请的第一方面公开了一种驾驶员分神检测方法，包括以下步骤：获取车辆驾驶员人脸区域的视频图像和车辆的行驶状态；根据视频图像进行头部姿态检测及视线检测，获得头部姿态信息和视线信息；利用头部姿态信息和视线信息，结合行驶状态，判断驾驶员是否分神。
本申请的驾驶员分神检测方法，可以准确定检测出驾驶员是否分神，有效避免或降低误检测的发生，进而，能够提升行车的安全性和可靠性。
在一些示例中，所述行驶状态包括倒车状态、过弯状态、掉头状态或堵车状态时，根据所述头部姿态信息判断驾驶员是否分神。
在一些示例中，所述利用头部姿态信息和视线信息，结合行驶状态，判断驾驶员是否分神，包括：根据行驶状态确定车辆处于转弯或是车速小于预设车速阈值时，利用头部姿态信息和视线信息判断驾驶员注视预设的正常驾驶注视区域的时间是否长于预定时间；如果是，则判定驾驶员处于分神驾驶状态。
在一些示例中，所述利用头部姿态信息和视线信息，结合行驶状态，判断驾驶员是否分神，包括：根据当前的行驶状态确定车辆处于前进状态且车速大于预设车速阈值时，获取当前帧分神值；根据当前帧分神值、所述视频图像的视频帧率和触发分神的累积时间计算该累积时间内的累计分神值；根据所述累计分神值判断驾驶员是否分神。
在一些示例中，所述头部姿态信息包括头部偏航角和头部俯仰角，根据视线信息确定预设的正常驾驶注视区域包括第一区域和第二区域，则当前帧分神值的确定方式包括：如果所述头部偏航角超出偏航角度阈值和/或所述头部俯仰角超出俯仰角度阈值，则所述当前帧分神值为第一分神值阈值；如果所述头部偏航角未超出偏航角度阈值和/或所述头部俯仰角未超出俯仰角度阈值，在驾驶员注视第一区域时所述当前帧分神值为预设的第一区域分神值累计参数；在驾驶员注视第二区域时所述当前帧分神值为预设的第二区域分神值累计参数；在驾驶员注视非正常驾驶注视区域时所述当前帧分神值为第一分神值阈值；在驾驶员注视正常驾驶注视区域时所述当前帧分神值为第二分神值阈值；其中，第一分神值阈值大于第二分神值阈值，第一区域分神值累计参数和第二区域分神值累计参数都大于第二分神值阈值且小于第一分神值阈值。
在一些示例中，累计分神值的计算过程中，若当前帧分神值达到第一分神值阈值，则累计分神值以线性速率累积。
在一些示例中，累计分神值的计算过程中，若当前帧分神值达到第二分神值阈值，则累计分神值以包括指数衰减、线性衰减或多项式衰减在内的任意一种方式衰减。
在一些示例中，所述根据所述累计分神值判断驾驶员是否分神，包括：所述累计分神值达到累计分神值阈值时，判定驾驶员处于分神驾驶状态。
本发明的第二方面公开了一种驾驶员分神检测***，包括：获取模块，用于获取车辆驾驶员人脸区域的视频图像和车辆的行驶状态；检测模块，用于根据视频图像进行头部姿态检测及视线检测，获得头部姿态信息和视线信息；判断模块，用于利用头部姿态信息和视线信息，结合行驶状态，判断驾驶员是否分神。
本申请的驾驶员分神检测***，可以准确定检测出驾驶员是否分神，有效避免或降低误检测的发生，进而，能够提升行车的安全性和可靠性。
在一些示例中，所述行驶状态包括倒车状态、过弯状态、掉头状态或堵车状态时，所述判断模块根据所述头部姿态信息判断驾驶员是否分神。
在一些示例中，所述判断模块用于根据行驶状态确定车辆处于转弯或是车速小于预设车速阈值时，利用头部姿态信息和视线信息判断驾驶员注视预设的正常驾驶注视区域的时间是否长于预定时间；如果是，则判定驾驶员处于分神驾驶状态。
在一些示例中，所述判断模块用于根据当前的行驶状态确定车辆处于前进状态且车速大于预设车速阈值时，获取当前帧分神值，并根据当前帧分神值、所述视频图像的视频帧率和触发分神的累积时间计算该累积时间内的累计分神值，以及根据所述累计分神值判断驾驶员是否分神。
在一些示例中，所述头部姿态信息包括头部偏航角和头部俯仰角，根据视线信息确定预设的正常驾驶注视区域包括第一区域和第二区域，则当前帧分神值的确定方式包括：
如果所述头部偏航角超出偏航角度阈值和/或所述头部俯仰角超出俯仰角度阈值，则所述当前帧分神值为第一分神值阈值；
如果所述头部偏航角未超出偏航角度阈值和/或所述头部俯仰角未超出俯仰角度阈值，在驾驶员注视第一区域时所述当前帧分神值为预设的第一区域分神值累计参数；在驾驶员注视第二区域时所述当前帧分神值为预设的第二区域分神值累计参数；在驾驶员注视非正常驾驶注视区域时所述当前帧分神值为第一分神值阈值；在驾驶员注视正常驾驶注视区域时所述当前帧分神值为第二分神值阈值；
其中，第一分神值阈值大于第二分神值阈值，第一区域分神值累计参数和第二区域分神值累计参数都大于第二分神值阈值且小于第一分神值阈值。
在一些示例中，累计分神值的计算过程中，若当前帧分神值达到第一分神值阈值，则累计分神值以线性速率累积。
在一些示例中，累计分神值的计算过程中，若当前帧分神值达到第二分神值阈值，则累计分神值以包括指数衰减、线性衰减或多项式衰减在内的任意一种方式衰减。
在一些示例中，所述判断模块用于在所述累计分神值达到累计分神值阈值时，判定驾驶员处于分神驾驶状态。
本申请的第三方面公开了一种车辆，包括：一个或多个处理器；和其上存储有指令的一个或多个机器可读介质，当由所述一个或多个处理器执行时，使得所述车辆执行根据上述的第一方面所述的驾驶员分神检测方法。该车辆可以准确定检测出驾驶员是否分神，有效避免或降低误检测的发生，进而，能够提升行车的安全性和可靠性。
本申请的第四方面公开了一种机器可读介质，其上存储有指令，当由一个或多个处理器执行时，使得所述处理器执行根据上述的第一方面所述的驾驶员分神检测方法。
本申请的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请的上述的或附加的方面和优点结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1是本申请一个实施例的驾驶员分神检测方法的流程图；
图2是本申请一个实施例的驾驶员分神检测方法中头部偏航角、俯仰角与翻滚角示意图；
图3是本申请一个实施例的驾驶员分神检测方法中视线注视区域的示意图；
图4是本申请一个实施例的驾驶员分神检测***的结构框图。
附图标记说明：
驾驶员分神检测***400、获取模块410、检测模块420、判断模块430。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能理解为对本申请的限制。
以下结合附图描述根据本申请实施例所述的驾驶员分神检测方法、***及车辆。
图1是根据本申请一个实施例的驾驶员分神检测方法的流程图。如图1所示，根据本申请一个实施例的驾驶员分神检测方法，包括如下步骤：
S101：获取车辆驾驶员人脸区域的视频图像和车辆的行驶状态。
其中，车辆的行驶状态包括正常行驶状态、倒车状态、过弯状态、掉头状态和堵车状态等，其中，正常行驶状态如向前行驶的状态。
在具体示例中，驾驶员人脸区域的视频图像可以通过摄像头采集得到。
需要说明的是，通常不需要在任何时刻都进行视频图像的获取和车辆的行驶状态的获取。例如：在驾驶员分神检测触发后，检测驾驶员头部姿态和视线方向。
S102：根据视频图像进行头部姿态检测及视线检测，获得头部姿态信息和视线信息。
例如：根据视频图像，检测驾驶员头部姿态和视线方向，可以通过以下方式实现：从视频图像(驾驶员图像)中提取面部图像；根据面部图像得到驾驶员头部姿态和视线方向，从而得到头部姿态信息和视线信息。
其中，驾驶员图像可以通过车载摄像头采集。例如：接收摄像头采集的驾驶员图像，然后，使用卷积神经网络对驾驶员图像进行特征提取，检测出人脸区域，最后，根据人脸检测结果将面部图像提取出来，并使用深度学习等方法进行头部姿态检测及视线检测，从而，确定出驾驶员头部姿态和视线方向，其中，视线方向指视线集中的注视方向，如：视线集中在反光镜上，则视线方向为注视反光镜的方向。
S103：利用头部姿态信息和视线信息，结合行驶状态，判断驾驶员是否分神。
此外，行驶状态为倒车状态、过弯状态、掉头状态或堵车状态时，可只根据所述头部姿态信息判断驾驶员是否分神。也就是说，当行驶状态例如为倒车状态、过弯状态以及掉头等状态时，驾驶员的视线不会一直集中在前方，会时不时的看后视镜等，因此，可以根据头部姿态信息判断驾驶员是否分神，例如：头部处于低头等情况出现时，说明驾驶员的视线没有在前方，也没有在看后视镜，即判定驾驶员分神。
在其它示例中，利用头部姿态信息和视线信息，结合行驶状态，判断驾驶员是否分神，包括：根据行驶状态确定车辆处于转弯或是车速小于预设车速阈值时，利用头部姿态信息和视线信息判断驾驶员注视预设的正常驾驶注视区域的时间是否长于预定时间；如果是，则判定驾驶员处于分神驾驶状态。
预设车速阈值例如为40千米/小时，当然，可以理解的是，40千米/小时仅是示例性的，在其它示例中，也可以在40千米/小时的基础上进行适当的增减。
预设的正常驾驶注视区域例如包括注视仪表盘所在的区域和注视后视镜所在的区域等。
预定时间例如为3秒钟。
也就是说，如果车辆处于转弯，驾驶员的视线不会一直集中在前方，会时不时的看后视镜等，此时，如果持续注视后视镜的时间长于3秒钟，说明驾驶员可能不是时不时看后视镜，而是可能分神了，因此，判定驾驶员处于分神驾驶状态。
再如：车速如果较低，例如低于40千米/小时，如果驾驶员注视仪表、后视镜等时间过长，也说明很可能是分神了，即：判定驾驶员同样处于分神驾驶状态。
在其它示例中，利用头部姿态信息和视线信息，结合行驶状态，判断驾驶员是否分神，包括：根据当前的行驶状态确定车辆处于前进状态且车速大于预设车速阈值时，获取当前帧分神值；根据当前帧分神值、所述视频图像的视频帧率和触发分神的累积时间计算该累积时间内的累计分神值；根据所述累计分神值判断驾驶员是否分神。
例如：车速大于40千米/小时且车辆处于前进状态，需要驾驶员集中精力注视前方道路，此时，如果驾驶员没有集中精力注视前方道路可能会非常危险，例如：看手机、看仪表盘或者偏头看路边风景等。因此，获取当前帧分神值；根据当前帧分神值、视频图像的视频帧率和触发分神的累积时间计算该累积时间内的累计分神值；根据累计分神值判断驾驶员是否分神。
其中，根据所述累计分神值判断驾驶员是否分神，包括：累计分神值达到累计分神值阈值时，判定驾驶员处于分神驾驶状态。
在具体示例中，头部姿态信息包括头部偏航角和头部俯仰角，根据视线信息确定预设的正常驾驶注视区域包括第一区域和第二区域，则当前帧分神值的确定方式包括：
如果所述头部偏航角超出偏航角度阈值和/或所述头部俯仰角超出俯仰角度阈值，则所述当前帧分神值为第一分神值阈值；
如果所述头部偏航角未超出偏航角度阈值和/或所述头部俯仰角未超出俯仰角度阈值，在驾驶员注视第一区域时所述当前帧分神值为预设的第一区域分神值累计参数；在驾驶员注视第二区域时所述当前帧分神值为预设的第二区域分神值累计参数；在驾驶员注视非正常驾驶注视区域时所述当前帧分神值为第一分神值阈值；在驾驶员注视正常驾驶注视区域时所述当前帧分神值为第二分神值阈值；
其中，第一分神值阈值大于第二分神值阈值，第一区域分神值累计参数和第二区域分神值累计参数都大于第二分神值阈值且小于第一分神值阈值。第一分神值阈值例如为1，第二分神值阈值例如为0。
进一步地，累计分神值的计算过程中，若当前帧分神值达到第一分神值阈值，则累计分神值以线性速率累积。
进一步而言，累计分神值的计算过程中，若当前帧分神值达到第二分神值阈值，则累计分神值以包括指数衰减、线性衰减或多项式衰减在内的任意一种方式衰减。
在具体应用中，第一区域例如为后视镜，第二区域例如为仪表盘。
则，可以首先根据驾驶员头部姿态得到头部偏航角和头部俯仰角；然后，根据视线方向得到视线注视区域；最后，根据头部偏航角、头部俯仰角和视线注视区域得到相应的分神值，其中，分神值例如位于[0，1]之间。
如图2所示，Yaw为头部偏航角、Pitch为头部俯仰角、Roll为头部翻滚角，结合图2所示，通常而言，沿图2所示方向发生头部偏航或者头部俯仰时，可能会影响驾驶员集中注意力注视前方道路，而沿图2所示方向发生头部翻滚时，可能不会影响驾驶员集中注意力注视前方道路，因此，在本申请的具体示例中，确定出头部偏航角和头部俯仰角即可。
如图3所示，视线方向集中在后视镜(第一区域)上，则视线注视区域为反光镜，视线方向集中在仪表盘(第二区域)上，则视线注视区域为仪表盘，视线方向集中在前方道路上，则视线注视区域为正常驾驶注视区域，否则，当视线方向集中在其它位置时，视线注视区域为非驾驶注视区域。
以第一区域例如为后视镜，第二区域例如为仪表盘为例，则根据头部偏航角、头部俯仰角和视线注视区域得到相应的分神值，包括：
(1)如果头部偏航角达到第一阈值和/或头部俯仰角达到第二阈值，则分神值为1；
(2)如果所述头部偏航角未达到所述第一阈值、所述头部俯仰角未达到第二阈值且所述视线注视区域为后视镜，则所述分神值为α，其中，所述α位于(0，1)之间；
(3)如果所述头部偏航角未达到所述第一阈值、所述头部俯仰角未达到第二阈值且所述视线注视区域为仪表盘，则所述分神值为β，其中，所述β位于(0，1)之间；
(4)如果所述头部偏航角未达到所述第一阈值、所述头部俯仰角未达到第二阈值且所述视线注视区域为非驾驶注视区域，则所述分神值为1；
(5)如果所述头部偏航角未达到所述第一阈值、所述头部俯仰角未达到第二阈值且所述视线注视区域为正常驾驶注视区域，则所述分神值为0。
在以上示例中，第一阈值和第二阈值可以预先标定得到，例如：当超过相应的阈值时，即：头部偏航较大或者头部俯仰较大，可以说明驾驶员没有集中注意力，相应的分神值最大，为1。而当没有超过相应的阈值时，即：头部偏航较小或者头部俯仰较小，说明可能没有集中注意力开车，此时，结合视线注视区域可以确定出相应的分神值，如位于0和1之间的数值。
需要说明的是，本申请的实施例仅列出了上述5种情况时，根据头部偏航角、头部俯仰角和视线注视区域得到的相应的分神值，但是，还可以有其它情况时对应的分神值，例如：如果头部偏航角未达到所述第一阈值、头部俯仰角未达到第二阈值且所述视线注视区域为中控屏，则也可以确定出相应的分神值，该分神值也可以位于0和1之间。
可以理解的是，上述示例中的分神值是位于0和1之间的数值，即：在上述示例中，分神值的上限是1，分神值的下限是0，但是仅是示例性的，在其它示例中，可以根据需要调整上限和下限，例如：上限设为5，下限设为0，则分神值是位于0和5之间的数值。当然，上限和下限也可以设为其它值。
判断分神触发时间内第一时刻累计的分神值是否达到预设阈值。
通过累计的分神值可以精确地确定出驾驶员是否处于真实的分神行驶状态，例如：当驾驶员短时间注视仪表盘或者后视镜时，不应立即判定为分神行驶状态，但当驾驶员注视仪表盘或后视镜时间过长，应判定为分神行驶状态。因此，通过调节α与β值的大小可调整驾驶员注视不同区域时分神判定的灵敏度。
在具体示例中，判断分神触发时间内第一时刻累计的分神值是否达到预设阈值，包括：获取驾驶员头部姿态和视线注视区域的检测频率；根据所述检测频率、所述分神触发时间和衰减系数得到所述第一时刻累计的分神值。
例如：可以通过如下公式得到第一时刻累计的分神值，公式为：
Dt＝(Dt-1+d_t/(T*f))*exp(-γ*(1-d_t)/(T*f))，
其中，γ为调节速度参数，γ位于[0，1)之间，exp(-γ/(T*f))为衰减系数，Dt为第一时刻累计的分神值，d_t为第一时刻的分神值。在上述公式中，指数项为分神值动态调节项，f为检测频率，分神触发时间为T，即：触发分神的时间阈值(注意力分散时间)。
即：当某一时刻分神值为1时，Dt以线性速率累积；当某一时刻分神值为0时，累计分神值将快速衰减，衰减系数为exp(-γ/(T*f))，实现分神状态的快速恢复响应。从而，可以通过累计的分神值可以精确地确定出驾驶员是否处于真实的分神行驶状态，当驾驶员短时间注视仪表盘或者后视镜时，通过累计的分神值并不会立即判定为分神行驶状态，从而避免误判或降低误判概率。
也就是说，当短时间内驾驶员分散注意力时，如很短的时间，累计的分神值会迅速增加，但不会立即判定为分神驾驶行为，而当驾驶员及时恢复到集中注意力驾驶时，累计的分神值便会迅速衰减，如以指数衰减的方式。因此，可以实现分神的快速响应。
需要说明的是，上述公式中，采用的是指数衰减方式衰减分神值，即：当驾驶员及时恢复到集中注意力驾驶时，累计的分神值便会以指数衰减方式进行衰减。但是，在其它示例中，也可以采用线性衰减、多项式衰减等方式对累积的分神值进行衰减。
当在分神触发时间内，如果Dt达到预设阈值，则确定驾驶员处于分神行驶状态。其中，预设阈值可以预先标定得到，其具体数值可以根据实验确定，或者根据经验确定。
进一步地，在判定驾驶员处于分神行驶状态之后，还包括：向驾驶员进行报警提示。例如：对驾驶员进行声音提示或者灯光闪烁提示、安全带震动等。
本申请实施例的驾驶员分神检测方法，可以准确定检测出驾驶员是否分神，有效避免或降低误检测的发生，进而，能够提升行车的安全性和可靠性。
图4是根据本申请一个实施例的驾驶员分神检测***的结构框图。如图4所示，根据本申请一个实施例的驾驶员分神检测***400，包括：获取模块410、检测模块420和判断模块430。
其中，获取模块410用于获取车辆驾驶员人脸区域的视频图像和车辆的行驶状态。检测模块420用于根据视频图像进行头部姿态检测及视线检测，获得头部姿态信息和视线信息。判断模块430用于利用头部姿态信息和视线信息，结合行驶状态，判断驾驶员是否分神。
本申请实施例的驾驶员分神检测***，可以准确定检测出驾驶员是否分神，有效避免或降低误检测的发生，进而，能够提升行车的安全性和可靠性。
在本申请的一个实施例中，所述行驶状态包括倒车状态、过弯状态、掉头状态或堵车状态时，所述判断模块430根据所述头部姿态信息判断驾驶员是否分神。
在本申请的一个实施例中，所述判断模块430用于根据行驶状态确定车辆处于转弯或是车速小于预设车速阈值时，利用头部姿态信息和视线信息判断驾驶员注视预设的正常驾驶注视区域的时间是否长于预定时间；如果是，则判定驾驶员处于分神驾驶状态。
在本申请的一个实施例中，所述判断模块430用于根据当前的行驶状态确定车辆处于前进状态且车速大于预设车速阈值时，获取当前帧分神值，并根据当前帧分神值、所述视频图像的视频帧率和触发分神的累积时间计算该累积时间内的累计分神值，以及根据所述累计分神值判断驾驶员是否分神。
在本申请的一个实施例中，所述头部姿态信息包括头部偏航角和头部俯仰角，根据视线信息确定预设的正常驾驶注视区域包括第一区域和第二区域，则当前帧分神值的确定方式包括：如果所述头部偏航角超出偏航角度阈值和/或所述头部俯仰角超出俯仰角度阈值，则所述当前帧分神值为第一分神值阈值；如果所述头部偏航角未超出偏航角度阈值和/或所述头部俯仰角未超出俯仰角度阈值，在驾驶员注视第一区域时所述当前帧分神值为预设的第一区域分神值累计参数；在驾驶员注视第二区域时所述当前帧分神值为预设的第二区域分神值累计参数；在驾驶员注视非正常驾驶注视区域时所述当前帧分神值为第一分神值阈值；在驾驶员注视正常驾驶注视区域时所述当前帧分神值为第二分神值阈值；其中，第一分神值阈值大于第二分神值阈值，第一区域分神值累计参数和第二区域分神值累计参数都大于第二分神值阈值且小于第一分神值阈值。
在本申请的一个实施例中，累计分神值的计算过程中，若当前帧分神值达到第一分神值阈值，则累计分神值以线性速率累积。
在本申请的一个实施例中，累计分神值的计算过程中，若当前帧分神值达到第二分神值阈值，则累计分神值以包括指数衰减、线性衰减或多项式衰减在内的任意一种方式衰减。
在本申请的一个实施例中，所述判断模块430用于在所述累计分神值达到累计分神值阈值时，判定驾驶员处于分神驾驶状态。
需要说明的是，本申请实施例的驾驶员分神检测***的具体实现方式与本申请实施例的驾驶员分神检测方法的具体实现方式类似，具体请参见方法部分的描述，此处不做赘述。
进一步地，本申请的实施例公开了一种车辆，包括：一个或多个处理器；和其上存储有指令的一个或多个机器可读介质，当由所述一个或多个处理器执行时，使得所述车辆执行根据上述任意一个实施例所述的驾驶员分神检测方法。该车辆可以准确定检测出驾驶员是否分神，有效避免或降低误检测的发生，进而，能够提升行车的安全性和可靠性。
另外，根据本申请实施例的车辆的其它构成以及作用对于本领域的普通技术人员而言都是已知的，不做赘述。
进一步地，本申请的实施例公开了一种机器可读介质，其上存储有指令，当由一个或多个处理器执行时，使得所述处理器执行根据上述任意一个实施例所述的驾驶员分神检测方法。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不是必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
在本申请的描述中，需要说明的是，除非另有规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是机械连接或电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义
尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (11)

1.一种驾驶员分神检测方法，其特征在于，包括以下步骤：
获取车辆驾驶员人脸区域的视频图像和车辆的行驶状态；
根据视频图像进行头部姿态检测及视线检测，获得头部姿态信息和视线信息；
利用头部姿态信息和视线信息，结合行驶状态，判断驾驶员是否分神。
2.根据权利要求1所述的驾驶员分神检测方法，其特征在于，所述行驶状态包括倒车状态、过弯状态、掉头状态或堵车状态时，根据所述头部姿态信息判断驾驶员是否分神。
3.根据权利要求1所述的驾驶员分神检测方法，其特征在于，所述利用头部姿态信息和视线信息，结合行驶状态，判断驾驶员是否分神，包括：
根据行驶状态确定车辆处于转弯或是车速小于预设车速阈值时，利用头部姿态信息和视线信息判断驾驶员注视预设的正常驾驶注视区域的时间是否长于预定时间；
如果是，则判定驾驶员处于分神驾驶状态。
4.根据权利要求1所述的驾驶员分神检测方法，其特征在于，所述利用头部姿态信息和视线信息，结合行驶状态，判断驾驶员是否分神，包括：
根据当前的行驶状态确定车辆处于前进状态且车速大于预设车速阈值时，获取当前帧分神值；
根据当前帧分神值、所述视频图像的视频帧率和触发分神的累积时间计算该累积时间内的累计分神值；
根据所述累计分神值判断驾驶员是否分神。
5.根据权利要求4所述的驾驶员分神检测方法，其特征在于，所述头部姿态信息包括头部偏航角和头部俯仰角，根据视线信息确定预设的正常驾驶注视区域包括第一区域和第二区域，则当前帧分神值的确定方式包括：
如果所述头部偏航角超出偏航角度阈值和/或所述头部俯仰角超出俯仰角度阈值，则所述当前帧分神值为第一分神值阈值；
如果所述头部偏航角未超出偏航角度阈值和/或所述头部俯仰角未超出俯仰角度阈值，在驾驶员注视第一区域时所述当前帧分神值为预设的第一区域分神值累计参数；在驾驶员注视第二区域时所述当前帧分神值为预设的第二区域分神值累计参数；在驾驶员注视非正常驾驶注视区域时所述当前帧分神值为第一分神值阈值；在驾驶员注视正常驾驶注视区域时所述当前帧分神值为第二分神值阈值；
其中，第一分神值阈值大于第二分神值阈值，第一区域分神值累计参数和第二区域分神值累计参数都大于第二分神值阈值且小于第一分神值阈值。
6.根据权利要求5所述的驾驶员分神检测方法，其特征在于，累计分神值的计算过程中，若当前帧分神值达到第一分神值阈值，则累计分神值以线性速率累积。
7.根据权利要求5所述的驾驶员分神检测方法，其特征在于，累计分神值的计算过程中，若当前帧分神值达到第二分神值阈值，则累计分神值以包括指数衰减、线性衰减或多项式衰减在内的任意一种方式衰减。
8.根据权利要求4所述的驾驶员分神检测方法，其特征在于，所述根据所述累计分神值判断驾驶员是否分神，包括：所述累计分神值达到累计分神值阈值时，判定驾驶员处于分神驾驶状态。
9.一种驾驶员分神检测***，其特征在于，包括：
获取模块，用于获取车辆驾驶员人脸区域的视频图像和车辆的行驶状态；
检测模块，用于根据视频图像进行头部姿态检测及视线检测，获得头部姿态信息和视线信息；
判断模块，用于利用头部姿态信息和视线信息，结合行驶状态，判断驾驶员是否分神。
10.一种车辆，其特征在于，包括：
一个或多个处理器；和
其上存储有指令的一个或多个机器可读介质，当由所述一个或多个处理器执行时，使得所述车辆执行根据权利要求1-8任一项所述的驾驶员分神检测方法。
11.一种机器可读介质，其特征在于，其上存储有指令，当由一个或多个处理器执行时，使得所述处理器执行根据权利要求1-8任一项所述的驾驶员分神检测方法。
CN201910641923.8A 2019-07-16 2019-07-16 驾驶员分神检测方法、***及车辆 Pending CN110390285A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910641923.8A CN110390285A (zh) 2019-07-16 2019-07-16 驾驶员分神检测方法、***及车辆

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910641923.8A CN110390285A (zh) 2019-07-16 2019-07-16 驾驶员分神检测方法、***及车辆

Publications (1)

Publication Number Publication Date
CN110390285A true CN110390285A (zh) 2019-10-29

Family

ID=68286618

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910641923.8A Pending CN110390285A (zh) 2019-07-16 2019-07-16 驾驶员分神检测方法、***及车辆

Country Status (1)

Country Link
CN (1) CN110390285A (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110909718A (zh) * 2019-12-11 2020-03-24 深圳市锐明技术股份有限公司 驾驶状态识别方法、装置及车辆
CN111325172A (zh) * 2020-02-28 2020-06-23 英华达（上海）科技有限公司 以视线追踪达成驾驶习惯养成的装置及方法
CN111391770A (zh) * 2020-04-03 2020-07-10 广州小鹏汽车科技有限公司 交互区域屏蔽方法、装置、车辆以及机器可读介质
CN111539333A (zh) * 2020-04-24 2020-08-14 湖北亿咖通科技有限公司 驾驶员的注视区域识别及分心检测方法
CN112849149A (zh) * 2021-01-28 2021-05-28 上海商汤临港智能科技有限公司 驾驶员状态检测方法、装置、设备、介质及程序产品
CN112883834A (zh) * 2021-01-29 2021-06-01 重庆长安汽车股份有限公司 Dms***注意力分散的检测方法、***、车辆及存储介质
CN113298041A (zh) * 2021-06-21 2021-08-24 黑芝麻智能科技(上海)有限公司 用于标定驾驶员分心参考方向的方法及***
CN113313019A (zh) * 2021-05-27 2021-08-27 展讯通信(天津)有限公司 一种分神驾驶检测方法、***及相关设备
CN113569785A (zh) * 2021-08-04 2021-10-29 上海汽车集团股份有限公司 驾驶状态感知方法及装置
CN113696897A (zh) * 2020-05-07 2021-11-26 沃尔沃汽车公司 驾驶员分神预警方法和驾驶员分神预警***
CN114475426A (zh) * 2022-01-29 2022-05-13 深圳智慧车联科技有限公司 一种渣土车右转弯预警提醒***及提醒方法

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101540090A (zh) * 2009-04-14 2009-09-23 华南理工大学 基于多元信息融合的驾驶员疲劳监测装置及其监测方法
CN102510480A (zh) * 2011-11-04 2012-06-20 大连海事大学 驾驶员视线自动校准和跟踪***
CN102963298A (zh) * 2012-09-29 2013-03-13 重庆长安汽车股份有限公司 基于视线检测的异常行为监控方法
CN104599443A (zh) * 2015-01-12 2015-05-06 江苏省交通规划设计院股份有限公司 一种基于信息融合的驾驶行为预警车载终端及其预警方法
US20160180677A1 (en) * 2014-12-18 2016-06-23 Ford Global Technologies, Llc Apparatus for reducing driver distraction via short range vehicle communication
CN105764735A (zh) * 2013-10-29 2016-07-13 金在哲 通过对于动作、面部、眼睛、嘴型的认知的2步骤预防瞌睡驾驶装置
CN106446771A (zh) * 2015-08-12 2017-02-22 福特全球技术公司 驾驶员注意力评估
CN107334481A (zh) * 2017-05-15 2017-11-10 清华大学 一种驾驶分心检测方法及***
CN107729870A (zh) * 2017-01-24 2018-02-23 问众智能信息科技（北京）有限公司 基于计算机视觉的车内安全监测的方法和装置
CN108256487A (zh) * 2018-01-19 2018-07-06 北京工业大学 一种基于反向双目的驾驶状态检测装置和方法
CN108819900A (zh) * 2018-06-04 2018-11-16 上海商汤智能科技有限公司 车辆控制方法和***、车载智能***、电子设备、介质
CN109002757A (zh) * 2018-06-04 2018-12-14 上海商汤智能科技有限公司 驾驶管理方法和***、车载智能***、电子设备、介质
CN109774598A (zh) * 2017-11-15 2019-05-21 欧姆龙株式会社 分心判定装置、分心判定方法以及记录介质

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101540090A (zh) * 2009-04-14 2009-09-23 华南理工大学 基于多元信息融合的驾驶员疲劳监测装置及其监测方法
CN102510480A (zh) * 2011-11-04 2012-06-20 大连海事大学 驾驶员视线自动校准和跟踪***
CN102963298A (zh) * 2012-09-29 2013-03-13 重庆长安汽车股份有限公司 基于视线检测的异常行为监控方法
CN105764735A (zh) * 2013-10-29 2016-07-13 金在哲 通过对于动作、面部、眼睛、嘴型的认知的2步骤预防瞌睡驾驶装置
US20160180677A1 (en) * 2014-12-18 2016-06-23 Ford Global Technologies, Llc Apparatus for reducing driver distraction via short range vehicle communication
CN104599443A (zh) * 2015-01-12 2015-05-06 江苏省交通规划设计院股份有限公司 一种基于信息融合的驾驶行为预警车载终端及其预警方法
CN106446771A (zh) * 2015-08-12 2017-02-22 福特全球技术公司 驾驶员注意力评估
CN107729870A (zh) * 2017-01-24 2018-02-23 问众智能信息科技（北京）有限公司 基于计算机视觉的车内安全监测的方法和装置
CN107334481A (zh) * 2017-05-15 2017-11-10 清华大学 一种驾驶分心检测方法及***
CN109774598A (zh) * 2017-11-15 2019-05-21 欧姆龙株式会社 分心判定装置、分心判定方法以及记录介质
CN108256487A (zh) * 2018-01-19 2018-07-06 北京工业大学 一种基于反向双目的驾驶状态检测装置和方法
CN108819900A (zh) * 2018-06-04 2018-11-16 上海商汤智能科技有限公司 车辆控制方法和***、车载智能***、电子设备、介质
CN109002757A (zh) * 2018-06-04 2018-12-14 上海商汤智能科技有限公司 驾驶管理方法和***、车载智能***、电子设备、介质

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110909718A (zh) * 2019-12-11 2020-03-24 深圳市锐明技术股份有限公司 驾驶状态识别方法、装置及车辆
CN110909718B (zh) * 2019-12-11 2024-04-19 深圳市锐明技术股份有限公司 驾驶状态识别方法、装置及车辆
CN111325172A (zh) * 2020-02-28 2020-06-23 英华达（上海）科技有限公司 以视线追踪达成驾驶习惯养成的装置及方法
CN111391770A (zh) * 2020-04-03 2020-07-10 广州小鹏汽车科技有限公司 交互区域屏蔽方法、装置、车辆以及机器可读介质
CN111539333B (zh) * 2020-04-24 2021-06-29 湖北亿咖通科技有限公司 驾驶员的注视区域识别及分心检测方法
CN111539333A (zh) * 2020-04-24 2020-08-14 湖北亿咖通科技有限公司 驾驶员的注视区域识别及分心检测方法
CN113696897A (zh) * 2020-05-07 2021-11-26 沃尔沃汽车公司 驾驶员分神预警方法和驾驶员分神预警***
CN113696897B (zh) * 2020-05-07 2023-06-23 沃尔沃汽车公司 驾驶员分神预警方法和驾驶员分神预警***
CN112849149A (zh) * 2021-01-28 2021-05-28 上海商汤临港智能科技有限公司 驾驶员状态检测方法、装置、设备、介质及程序产品
CN112883834A (zh) * 2021-01-29 2021-06-01 重庆长安汽车股份有限公司 Dms***注意力分散的检测方法、***、车辆及存储介质
CN113313019A (zh) * 2021-05-27 2021-08-27 展讯通信(天津)有限公司 一种分神驾驶检测方法、***及相关设备
CN113298041A (zh) * 2021-06-21 2021-08-24 黑芝麻智能科技(上海)有限公司 用于标定驾驶员分心参考方向的方法及***
CN113569785A (zh) * 2021-08-04 2021-10-29 上海汽车集团股份有限公司 驾驶状态感知方法及装置
CN114475426A (zh) * 2022-01-29 2022-05-13 深圳智慧车联科技有限公司 一种渣土车右转弯预警提醒***及提醒方法

Similar Documents

Publication Publication Date Title
CN110390285A (zh) 驾驶员分神检测方法、***及车辆
JP5171629B2 (ja) 走行情報提供装置
US10717447B2 (en) Visual perception assistance system and visual-perception target object detection system
EP2830029B1 (en) A method for monitoring a vehicle driving state and a vehicle navigation device for implementing the method
EP2571004B1 (en) System for predicting a driver's intention to change lanes
EP1726513A1 (en) Driving assistance system for lane keeping support, for lane change assistance, and for driver status monitoring for a vehicle
JP6545940B2 (ja) 要因分析装置および要因分析方法
DE102004057947B4 (de) Verfahren zur Funktionsprüfung eines kraftfahrzeugseitig integrierten Fahrerassistenzsystems
EP1557321A1 (de) Verfahren zur Warnung eines Fahrers eines Fahrzeugs
JP4696792B2 (ja) 車載警報装置
US20170178509A1 (en) Method and apparatus for operating a driver assistance system, driver assistance system
JP2016502165A (ja) 運転者注意力検出方法および装置
CN105620359B (zh) 一种基于移动终端的车道偏离预警方法及***
CN105931430A (zh) 用于驾驶员状态预警***的报警灵敏度检测方法及装置
DE102011085825A1 (de) Verfahren und Vorrichtung zum Warnen des Fahrers eines Kraftfahrzeugs bei mangelnder Aufmerksamkeit
CN108482367A (zh) 一种基于智能后视镜辅助驾驶的方法、装置及***
DE102015226847A1 (de) Verfahren und Vorrichtung zur Unterstützung eines Fahrers
KR20140147233A (ko) 차량의 주행 패턴을 이용한 졸음 운전 판단 장치 및 방법
JP4186749B2 (ja) 脇見判定装置
CN108045311A (zh) 一种汽车后视镜角度调节***及调节方法
CN106564429A (zh) 疲劳驾驶确定装置及其方法
CN115366907A (zh) 驾驶员的状态异常提醒方法、装置、车辆及存储介质
CN115384540A (zh) 一种车载型安全驾驶检测装置
CN114290990A (zh) 车辆a柱盲区的障碍物预警***、方法和信号处理装置
CN114394108A (zh) 一种提醒驾驶员发动车辆的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20191029