CN112052770A - 用于疲劳检测的方法、装置、介质以及电子设备 - Google Patents

用于疲劳检测的方法、装置、介质以及电子设备 Download PDF

Info

Publication number
CN112052770A
CN112052770A CN202010895129.9A CN202010895129A CN112052770A CN 112052770 A CN112052770 A CN 112052770A CN 202010895129 A CN202010895129 A CN 202010895129A CN 112052770 A CN112052770 A CN 112052770A
Authority
CN
China
Prior art keywords
eye
target object
sequence
video frame
head
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010895129.9A
Other languages
English (en)
Inventor
格润洲
刘先明
刘强
邵文昕
杨哲宁
李源
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Horizon Information Technology Co Ltd
Original Assignee
Beijing Horizon Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Horizon Information Technology Co Ltd filed Critical Beijing Horizon Information Technology Co Ltd
Priority to CN202010895129.9A priority Critical patent/CN112052770A/zh
Publication of CN112052770A publication Critical patent/CN112052770A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Image Analysis (AREA)

Abstract

公开了一种用于疲劳检测的方法、装置、介质以及电子设备，其中的方法包括：确定多个视频帧中的各视频帧中的目标对象的一组眼睛关键点，所述各视频帧中的目标对象的一组眼睛关键点形成眼睛关键点组序列；根据所述眼睛关键点组序列中的各组眼睛关键点，确定所述目标对象的眼睛闭合度序列；根据所述目标对象的眼睛闭合度序列，确定所述目标对象的疲劳状态。本公开提供的技术方案有利于在避免在车辆内安装额外设备的情况下，实现疲劳状态的准确检测，从而有利于降低疲劳检测的成本，且有利于提高疲劳检测准确性。对于驾驶领域而言，有利于提高车辆的行驶安全性。

Description

用于疲劳检测的方法、装置、介质以及电子设备
技术领域
本公开涉及车辆驾驶技术领域，尤其是涉及一种用于疲劳检测的方法、用于疲劳检测的装置、存储介质以及电子设备。
背景技术
在驾驶领域中，由于驾驶员的疲劳驾驶是车辆行驶过程中的一个不安全隐患，对车辆安全行驶的影响较大，因此，对驾驶员进行疲劳检测是DMS(Driver Monitor System，驾驶员监控***)中的一项重要内容。
如何及时准确的获得疲劳检测结果，是一个值得关注的技术问题。
发明内容
为了解决上述技术问题，提出了本公开。本公开的实施例提供了一种用于疲劳检测的方法、装置、存储介质以及电子设备。
根据本公开实施例的一个方面，提供了一种用于疲劳检测的方法，该方法包括：确定多个视频帧中的各视频帧中的目标对象的一组眼睛关键点，所述各视频帧中的目标对象的一组眼睛关键点形成眼睛关键点组序列；根据所述眼睛关键点组序列中的各组眼睛关键点，确定所述目标对象的眼睛闭合度序列；根据所述目标对象的眼睛闭合度序列，确定所述目标对象的疲劳状态。
根据本公开实施例的再一个方面，提供一种用于疲劳检测的装置，该装置包括：检测关键点模块，用于确定多个视频帧中的各视频帧中的目标对象的一组眼睛关键点，所述各视频帧中的目标对象的一组眼睛关键点形成眼睛关键点组序列；确定闭合度序列模块，用于根据所述检测关键点模块获得的眼睛关键点组序列中的各组眼睛关键点，确定所述目标对象的眼睛闭合度序列；确定疲劳状态模块，用于根据所述确定闭合度序列模块获得的目标对象的眼睛闭合度序列，确定所述目标对象的疲劳状态。
根据本公开实施例的再一方面，提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于实现上述方法。
根据本公开实施例的又一方面，提供了一种电子设备，该电子设备包括：处理器；用于存储所述处理器可执行指令的存储器；所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述方法。
基于本公开上述实施例提供的一种用于疲劳检测的方法和装置，通过检测多个视频帧中的目标对象的眼睛关键点，可以在不需要在车辆内部安装额外设备的情况下，准确的确定出每一视频帧中的目标对象的眼睛闭合度，从而为判断目标对象的疲劳状态提供了准确的数据基础；通过利用多个视频帧中的目标对象的眼睛闭合度形成的眼睛闭合度序列，来判断目标对象的疲劳状态，有利于避免由于强光晃眼等现象导致的误判，大大提升了疲劳检测的准确性。由此可知，本公开提供的技术方案有利于降低疲劳检测成本，且有利于提高疲劳检测准确性。对于驾驶领域而言，有利于提高车辆的行驶安全性。
下面通过附图和实施例，对本公开的技术方案做进一步的详细描述。
附图说明
通过结合附图对本公开实施例进行更详细的描述，本公开的上述以及其他目的、特征以及优势将变得更加明显。附图用来提供对本公开实施例的进一步的理解，并且构成说明书的一部分，与本公开实施例一起用于解释本公开，并不构成对本公开的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
图1是本公开所适用的场景示意图；
图2为本公开的用于疲劳检测的方法一个实施例的流程图；
图3为本公开的眼睛关键点一个实施例的示意图；
图4为本公开的确定目标对象的眼睛闭合度序列一个实施例的流程图；
图5为本公开的获得视频帧中的目标对象的头部姿态和视线方向一个实施例的流程图；
图6为本公开的多任务学习的神经网络一个实施例的示意图；
图7为本公开的用于疲劳检测的装置一个实施例的结构示意图；
图8是本申请一示例性实施例提供的电子设备的结构图。
具体实施方式
下面将参考附图详细地描述根据本公开的示例实施例。显然，所描述的实施例仅仅是本公开的一部分实施例，而不是本公开的全部实施例，应理解，本公开不受这里描述的示例实施例的限制。
应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。
本领域技术人员可以理解，本公开实施例中的“第一”、“第二”等术语仅用于区别不同步骤、设备或模块等，既不代表任何特定技术含义，也不表示它们之间的必然逻辑顺序。
还应理解，在本公开实施例中，“多个”可以指两个或两个以上，“至少一个”可以指一个、两个或两个以上。
还应理解，对于本公开实施例中提及的任一部件、数据或结构，在没有明确限定或者在前后文给出相反启示的情况下，一般可以理解为一个或多个。
另外，本公开中术语“和/或”，仅是一种描述关联对象的关联关系，表示可以存在三种关系，如A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本公开中字符“/”，一般表示前后关联对象是一种“或”的关系。
还应理解，本公开对各个实施例的描述着重强调各个实施例之间的不同之处，其相同或相似之处可以相互参考，为了简洁，不再一一赘述。
同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
本公开的实施例可以应用于终端设备、计算机***、服务器等电子设备，其可与众多其它通用或者专用计算***环境或配置一起操作。适于与终端设备、计算机***或者服务器等电子设备一起使用的众所周知的终端设备、计算***、环境和/或配置的例子包括但不限于：个人计算机***、服务器计算机***、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的***、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机***、大型计算机***和包括上述任何***的分布式云计算技术环境等等。
终端设备、计算机***、服务器等电子设备可以在由计算机***执行的计算机***可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等，它们执行特定的任务或者实现特定的抽象数据类型。计算机***/服务器可以在分布式云计算环境中实施。在分布式云计算环境中，任务可以是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算***存储介质上。
本公开概述
在实现本公开的过程中，发明人发现，目前通常利用PERCLOS(percentage ofeyelid closure over the pupil over time，眼睛累计闭合持续时间占某特定时间的百分率)来确定目标对象的疲劳状态。在PERCLOS的应用过程中，通常需要检测目标对象的眼睛位置以及眼睛的闭合度，而在确定目标对象的眼睛的闭合度的过程中，通常需要使用多个摄像装置、红外设备以及传感器等额外设备，这些额外设备不但会占用一定的空间(例如，占用有限的车辆空间)，而且还会增加一定的成本。
如果能够利用空间中的现有设施(如车辆中的单目摄像装置等)来获知目标对象的眼睛的闭合度，则可以在不安装额外设备、且充分利用空间中的现有设施的基础上，便捷的确定出目标对象的疲劳状态。
示例性概述
本公开提供的用于疲劳检测的技术方案可以适用于多种场景中。例如，本公开提供的用于疲劳检测的技术方案可以适用于DMS应用中。一个例子如图1所示。
图1中，车辆100配置有DMS，车辆100中的单目摄像装置101拍摄的照片或者视频(即单目图像)，可以实时地提供给DMS。在驾驶员处于车辆100的驾驶位置时，驾驶员的面部应位于单目摄像装置101的视野边界线之内，即单目摄像装置101采集到的照片或者视频通常包括驾驶员的面部(如正脸等)。
车辆100中的DMS可以基于单目摄像装置101实时传输来的视频，及时的确定出驾驶员的疲劳状态。在确定出驾驶员在一段时间范围内的疲劳状态属于预先设定的轻度疲劳状态时，车辆中的DMS可以通过文字、语音、灯光以及视频等方式，提醒驾驶员可以考虑短暂休息。在确定出驾驶员在一段时间范围内的疲劳状态属于预先设定的中度疲劳状态时，DMS可以通过文字、语音、灯光以及视频等方式，提醒驾驶员应该进行短暂休息。在确定出驾驶员在一段时间范围内的疲劳状态属于预先设定的重度疲劳状态时，DMS可以通过文字、语音、灯光以及视频等方式，对驾驶员进行紧急警示，以提示驾驶员其当前驾驶行为为危险驾驶行为，驾驶员必须进行短暂休息之后，再上路行驶，以保障车辆100的行驶安全性。
示例性方法
图2为本公开的用于疲劳检测的方法一个实施例的流程图。如图2所示的方法包括：S200、S201以及S202。下面对各步骤分别进行说明。
S200、确定多个视频帧中的各视频帧中的目标对象的一组眼睛关键点。
本公开中的多个视频帧可以是摄像装置采集到的一视频序列中的连续排列的多个视频帧。本公开中的多个视频帧也可以是摄像装置采集到的一视频序列中的非连续排列的多个视频帧，例如，本公开中的多个视频帧可以是一视频序列中的第1个视频帧、第3个视频帧、第5个视频帧、.....以及第n(n为大于5的奇数)个视频帧。
本公开中的目标对象通常是指需要进行疲劳监测的对象。例如，目标对象可以为驾驶员或者监控室中的监控人员或者流水线上的工作人员等。
本公开中的一组眼睛关键点通常包括多个眼睛关键点，且一组眼睛关键点通常对应一个视频帧，即本公开可以从一个视频帧中提取出目标对象的一组眼睛关键点，进而本公开可以从多个视频帧中提取出目标对象的多组眼睛关键点。本公开中的眼睛关键点可以是指能够表征出眼睛上的一个特定位置的点。眼睛关键点通常为基于二维平面的眼睛关键点。每一个眼睛关键点通常均具有语义，一个眼睛关键点所具有的语义可以表示出该眼睛关键点在眼睛上的特定位置。例如，每一个眼睛关键点均具有一标号，眼睛关键点的标号可以表示出该眼睛关键点在眼睛上的特定位置。
本公开从一个视频帧中提取出的目标对象的一组眼睛关键点的一个例子如图3所示。图3中，一组眼睛关键点包括：18个眼睛关键点，且这18个眼睛关键点中的9个眼睛关键点为用于描述眼睛的眼睑轮廓的关键点，这18个眼睛关键点中的另8个眼睛关键点为用于描述眼睛的虹膜轮廓的关键点，这18个眼睛关键点中的最后1个关键点为瞳孔中心关键点。本公开对一组眼睛关键点所包含的眼睛关键点的数量以及各眼睛关键点的语义不作限定。另外，本公开可以利用神经网络提取各视频帧中的目标对象的眼睛关键点，本公开对获取视频帧中的目标对象的眼睛关键点的具体实现方式不作限定。
本公开中的一组眼睛关键点可以是基于目标对象的左眼的眼睛关键点，也可也是基于目标对象的右眼的眼睛关键点，还可以是基于目标对象的双眼的眼睛关键点。
S201、根据眼睛关键点组序列中的各组眼睛关键点，确定目标对象的眼睛闭合度序列。
本公开中的各视频帧各自对应的一组眼睛关键点，按照视频帧的排列顺序进行排列，形成眼睛关键点组序列。
本公开中的眼睛闭合度序列通常包括多个眼睛闭合度，且每一个眼睛闭合度对应一时间，眼睛闭合度对应的时间可以是眼睛闭合度对应的视频帧的时间(如视频帧的采集时间或者视频帧的播放时间等)。本公开中的一眼睛闭合度可以表示出目标对象在一时间点的眼睛闭合程度。本公开中的眼睛闭合度序列可以是指由多个眼睛闭合度按照其各自对应的时间的先后顺序进行排列，而形成的序列。
本公开中的眼睛闭合度序列中的每一个眼睛闭合度通常是由一组眼睛关键点决定。例如，本公开可以通过对某一时间的一组眼睛关键点中的多个眼睛关键点之间的位置关系进行计算，从而确定出一个眼睛闭合度。眼睛闭合度序列中的两个相邻的眼睛闭合度各自对应的一组眼睛关键点可以是视频序列中两个相邻的视频帧中的目标对象的一组眼睛关键点。
S202、根据目标对象的眼睛闭合度序列，确定目标对象的疲劳状态。
本公开中的眼睛闭合度序列可以表示出目标对象在一个时间范围内的眼睛闭合程度的变化情况，本公开通过对目标对象的眼睛闭合度序列中的各眼睛闭合度的变化情况进行分析，可以较为准确的确定出目标对象正常眨眼以及躲避强光的眯眼等正常的眼睛闭合度变化现象，从而有利于准确的确定出目标对象的疲劳状态。
本公开可以根据具有预定长度的一眼睛闭合度序列，确定出目标对象的一疲劳状态，即本公开可以根据m(m为大于1的整数)个眼睛闭合度序列，确定出目标对象的m个疲劳状态。m个疲劳状态可以形成一疲劳状态序列，本公开可以根据疲劳状态序列，决定是否形成疲劳警示信息，以提示目标对象。本公开的疲劳状态序列中的每一疲劳状态各自对应的一眼睛闭合度序列，且疲劳状态序列中的两个相邻的疲劳状态各自对应的眼睛闭合度序列可以存在交集。一个例子，假设疲劳状态序列中的第i个疲劳状态对应第j个眼睛闭合度序列，且疲劳状态序列中的第i+1个疲劳状态对应第j+1个眼睛闭合度序列，则第j个眼睛闭合度序列和第j+1个眼睛闭合度序列之间的交集通常包括至少一个眼睛闭合度。
本公开通过检测多个视频帧中的目标对象的眼睛关键点，可以在不需要在车辆内部安装额外设备的情况下，准确的确定出每一视频帧中的目标对象的眼睛闭合度，从而为判断目标对象的疲劳状态提供了准确的数据基础；通过利用多个视频帧中的目标对象的眼睛闭合度形成的眼睛闭合度序列，来判断目标对象的疲劳状态，有利于避免由于强光晃眼等现象导致的误判，大大提升了疲劳检测的准确性。由此可知，本公开提供的技术方案有利于降低疲劳检测成本，且有利于提高疲劳检测准确性。对于驾驶领域而言，有利于提高车辆的行驶安全性。
在一个可选示例中，本公开根据眼睛关键点组序列中的各组眼睛关键点，确定目标对象的眼睛闭合度序列的一个例子，如图4所示。
图4中，S400、根据眼睛关键组序列中的各组眼睛关键点，确定各组眼睛关键点各自对应的基于面积的眼睛参数和/或基于距离的眼睛参数。
可选的，本公开中的基于面积的眼睛参数可以是指通过利用一组眼睛关键点中的多个眼睛关键点的位置进行面积计算，从而获得的由眼睛关键点形成的面积计算结果。基于面积的眼睛参数可以表示出眼睛的可见面积或者眼睛的特定部位的可见面积等。在一个例子中，针对眼睛关键点序列中的任意一组眼睛关键点而言，本公开可以利用该组眼睛关键点中的与眼睑相关的各眼睛关键点的位置进行眼睛可见区域面积的计算，从而获得该组眼睛关键点所对应的眼睛可见区域面积。在另一个例子中，针对眼睛关键点序列中的任一组眼睛关键点而言，本公开可以利用该组眼睛关键点中的与虹膜相关的各眼睛关键点的位置进行虹膜可见区域面积的计算，从而获得该组眼睛关键点对应的虹膜可见区域面积。由于眼睛可见区域面积和虹膜可见区域面积均可以较好的反映出目标对象的眼睛闭合状态，因此，本公开通过将眼睛可见区域面积和虹膜可见区域面积作为基础数据，形成眼睛闭合度序列，有利于提高眼睛闭合度序列的准确性。
可选的，本公开中的基于距离的眼睛参数可以是指通过利用一组眼睛关键点中的多个眼睛关键点的位置进行距离计算，从而获得由眼睛关键点形成的距离计算结果。基于距离的眼睛参数可以表示出眼睛的最大可见高度或者眼睛的特定部位的最大可见高度等。在一个例子中，针对眼睛关键点序列中的任一组眼睛关键点而言，本公开可以利用该组眼睛关键点中的与眼睑相关的各眼睛关键点的位置进行上眼睑和下眼睑在竖直方向(如视频帧的平面坐标系的y坐标轴方向)上的距离计算，从而获得该组眼睛关键点对应的上眼睑和下眼睑在竖直方向上的最大距离。在另一个例子中，针对眼睛关键点序列中的任一组眼睛关键点而言，本公开可以利用该组眼睛关键点中的与虹膜相关的各眼睛关键点的位置进行可见虹膜在竖直方向上的距离的计算，从而获得该组眼睛关键点对应的可见虹膜在竖直方向上的最大距离。由于上眼睑和下眼睑在竖直方向上的最大距离、以及可见虹膜在竖直方向上的最大距离均可以较好的反映出目标对象的眼睛闭合状态，因此，本公开将上眼睑和下眼睑在竖直方向上的最大距离、以及可见虹膜在竖直方向上的最大距离作为基础数据，形成眼睛闭合度序列，有利于提高眼睛闭合度序列的准确性。
可选的，本公开中的眼睛关键点的位置可以是指眼睛关键点在视频帧的平面坐标系中的平面坐标。例如，视频帧的平面坐标系的原点位于视频帧的左上角或者左下角或者中心位置，平面坐标系的水平坐标轴(即x坐标轴)为视频帧的宽度方向，平面坐标系的竖直坐标轴(即y坐标轴)为视频帧的高度方向。
在一个可选示例中，本公开中的一组眼睛关键点对应至少一个基于面积的眼睛参数。例如，本公开中的一组眼睛关键点对应眼睛可见区域面积。再例如，本公开中的一组眼睛关键点对应虹膜可见区域面积。再例如，本公开中的一组眼睛关键点对应眼睛可见区域面积和虹膜可见区域面积。
在一个可选示例中，本公开的一组眼睛关键点对应至少一个基于距离的眼睛参数。例如，本公开中的一组眼睛关键点对应上眼睑和下眼睑在竖直方向上的最大距离。再例如，本公开中的一组眼睛关键点对应可见虹膜在竖直方向上的最大距离。再例如，本公开中的一组眼睛关键点对应上眼睑和下眼睑在竖直方向上的最大距离和可见虹膜在竖直方向上的最大距离。
在一个可选示例中，本公开的一组眼睛关键点对应至少一个基于面积的眼睛参数和至少一个基于距离的眼睛参数。例如，本公开的一组眼睛关键点对应眼睛可见区域面积和虹膜可见区域面积中的至少一个、以及上眼睑和下眼睑在竖直方向上的最大距离和可见虹膜在竖直方向上的最大距离中的至少一个。
S401、根据各组眼睛关键点各自对应的基于面积的眼睛参数和/或基于距离的眼睛参数，确定目标对象的眼睛闭合度序列。
可选的，本公开可以根据各组眼睛关键点各自对应的基于面积的眼睛参数(如眼睛可见区域面积和/或虹膜可见区域面积等)，确定出各组眼睛关键点各自对应的眼睛闭合度，从而利用各组眼睛关键点各自对应的眼睛闭合度形成目标对象的眼睛闭合度序列。本公开也可以根据各组眼睛关键点各自对应的基于距离的眼睛参数(如上眼睑和下眼睑在竖直方向上的最大距离，和/或，可见虹膜在竖直方向上的最大距离等)，确定出各组眼睛关键点各自对应的眼睛闭合度，从而利用各组眼睛关键点各自对应的眼睛闭合度形成目标对象的眼睛闭合度序列。本公开还可以根据各组眼睛关键点各自对应的基于面积的眼睛参数以及各组眼睛关键点各自对应的基于距离的眼睛参数，确定出各组眼睛关键点各自对应的眼睛闭合度，从而利用各组眼睛关键点各自对应的眼睛闭合度形成目标对象的眼睛闭合度序列。
可选的，针对多个视频帧中的任一视频帧而言，本公开可以计算该视频帧中的目标对象的眼睛可见区域面积与目标对象的第一预定区域面积的比值，获得第一比值，本公开可以将该第一比值作为该视频帧对应的眼睛闭合度。利用该第一比值的获得方式，本公开可以获得多个视频帧中的每一个视频帧各自对应的眼睛闭合度，从而形成目标对象的眼睛闭合度序列。本公开中的第一预定区域面积可以是预先设定的已知值。例如，第一预定区域面积可以是多个目标对象的眼睛可见区域最大面积的平均值。再例如，第一预定区域面积可以是一目标对象的眼睛可见区域最大面积。一个更具体的例子，本公开可以提示目标对象面对摄像装置，并避免眨眼，从而本公开可以通过摄像装置获得包括目标对象的正脸的多个视频帧，本公开可以从多个视频帧中选取目标对象眼睛张开最大的一视频帧，并利用该视频帧中的目标对象的与眼睑相关的各眼睛关键点的位置进行眼睛可见区域面积计算，并将计算结果作为第一预定区域面积。
可选的，针对多个视频帧中的任一视频帧而言，本公开可以计算该视频帧中的目标对象的上眼睑和下眼睑在竖直方向(即y轴方向)上的最大距离与目标对象的第一预定距离的比值，获得第二比值，本公开可以将该第二比值作为该视频帧对应的眼睛闭合度。利用该第二比值的获得方式，本公开可以获得多个视频帧中的每一个视频帧各自对应的眼睛闭合度，从而形成目标对象的眼睛闭合度序列。本公开中的第一预定距离可以是预先设定的已知值。例如，第一预定距离可以是多个目标对象的眼睛张开最大距离的平均值。再例如，第一预定距离可以是一目标对象的眼睛张开最大距离。一更具体的例子，本公开可以提示目标对象面对摄像装置，并避免眨眼，从而本公开可以通过摄像装置获得包括目标对象的正脸的多个视频帧，本公开可以从多个视频帧中选取目标对象眼睛张开最大的一视频帧，并利用该视频帧中的目标对象的与眼睑相关的各眼睛关键点的位置进行眼睛张开最大距离计算，并将计算结果作为第一预定距离。
可选的，针对多个视频帧中的任一视频帧而言，本公开可以计算该视频帧中的目标对象的虹膜可见区域面积与目标对象的第二预定区域面积的比值，获得第三比值，本公开可以将该第三比值作为该视频帧对应的眼睛闭合度。利用该第三比值的获得方式，本公开可以获得多个视频帧中的每一个视频帧各自对应的眼睛闭合度，从而形成目标对象的眼睛闭合度序列。本公开中的第二预定区域面积可以是预先设定的已知值。例如，第二预定区域面积可以是多个目标对象的虹膜可见区域最大面积的平均值。再例如，第二预定区域面积可以是一目标对象的虹膜可见区域最大面积。一个更为具体的例子，本公开可以提示目标对象面对摄像装置，并避免眨眼，从而本公开可以通过摄像装置获得包括目标对象的正脸的多个视频帧，本公开可以从多个视频帧中选取目标对象眼睛张开最大的一视频帧，并利用该视频帧中的目标对象的与虹膜相关的各眼睛关键点的位置进行虹膜可见区域面积计算，并将计算结果作为第二预定区域面积。
可选的，针对多个视频帧中的任一视频帧而言，本公开可以计算该视频帧中的目标对象的可见虹膜在竖直方向上的最大距离与目标对象的第二预定距离的比值，获得第四比值，本公开可以将该第四比值作为该视频帧对应的眼睛闭合度。利用该第四比值的获得方式，本公开可以获得多个视频帧中的每一个视频帧各自对应的眼睛闭合度，从而形成目标对象的眼睛闭合度序列。本公开中的第二预定距离可以是预先设定的已知值。例如，第二预定距离可以是多个目标对象的可见虹膜在竖直方向上的最大距离的平均值。再例如，第一预定距离可以是一目标对象的可见虹膜在竖直方向上的最大距离。一更具体的例子，本公开可以提示目标对象面对摄像装置，并避免眨眼，从而本公开可以通过摄像装置获得包括目标对象的正脸的多个视频帧，本公开可以从多个视频帧中选取目标对象眼睛张开最大的一视频帧，并利用该视频帧中的目标对象的与虹膜相关的各眼睛关键点的位置进行可见虹膜在竖直方向上的最大距离计算，并将计算结果作为第二预定距离。
可选的，针对多个视频帧中的任一视频帧而言，本公开可以将针对该视频帧计算获得的第一比值、第二比值、第三比值以及第四比值中的任意两个比值作为该视频帧对应的眼睛闭合度，从而本公开可以获得多个视频帧中的每一视频帧各自对应的眼睛闭合度，进而形成目标对象的眼睛闭合度序列。
可选的，针对多个视频帧中的任一视频帧而言，本公开可以将针对该视频帧计算获得的第一比值、第二比值、第三比值以及第四比值中的任意三个比值作为该视频帧对应的眼睛闭合度，从而本公开可以获得多个视频帧中的每一视频帧各自对应的眼睛闭合度，进而形成目标对象的眼睛闭合度序列。
可选的，针对多个视频帧中的任一视频帧而言，本公开可以将针对该视频帧计算获得的第一比值、第二比值、第三比值以及第四比值作为该视频帧对应的眼睛闭合度，从而本公开可以获得多个视频帧中的每一视频帧各自对应的眼睛闭合度，进而形成目标对象的眼睛闭合度序列。
由于本公开可以通过多种方式形成目标对象的眼睛闭合度序列，因此，有利于提高眼睛闭合度序列的灵活性。
在一个可选示例中，目标对象的正常眨眼现象以及为躲避强光等的眯眼现象等，在眼睛闭合度方面，通常具有一定的规律，本公开可以针对上述现象分别设置第一预定规律，且本公开还可以针对不同程度的疲劳状态分别设置第二预定规律，从而在检测目标对象的疲劳状态的过程中，本公开可以将眼睛闭合度序列分别与第一预定规律和第二预定规律进行比对，从而可以排除由于躲避强光等眯眼现象而引起的疲劳状态误报，有利于提高目标对象的疲劳状态的检测准确性。
在一个可选示例中，本公开在利用目标对象的眼睛闭合度序列来确定目标对象的疲劳状态的过程中，还可以考虑从多个视频帧中获得的目标对象的头部姿态序列。即本公开可以对多个视频帧中的每一个视频帧分别进行目标对象的头部姿态检测，从而获得各视频帧各自对应的头部姿态，多个视频帧中的各视频帧各自对应的目标对象的头部姿态形成目标对象的头部姿态序列；之后，本公开可以根据目标对象的眼睛闭合度序列和头部姿态序列，确定目标对象的疲劳状态。一个例子，在利用目标对象的眼睛闭合度序列、第一预定规律以及第二预定规律，确定目标对象的疲劳状态的同时，本公开利用目标对象的头部姿态序列确定目标对象的疲劳状态(如利用目标对象的头部姿态序列和针对头部姿态设置的第三预定规律等)，之后，本公开可以利用确定出的两个疲劳状态以及预先设定的疲劳状态判别逻辑，来确定目标对象最终的疲劳状态。疲劳状态判别逻辑可以根据实际需求设置，例如，预先设定的疲劳状态判别逻辑可以包括但不限于：目标对象的最终的疲劳状态为两个疲劳状态中的疲劳状态较严重的一个等。本公开对疲劳状态判别逻辑所包括的具体内容不作限定。由于目标对象的疲劳状态不仅会反映在眼睛闭合情况上，还会反映在头部姿态上(如目标对象的头部会由于打瞌睡而低垂等)，因此，本公开通过结合目标对象的眼睛闭合度序列和目标对象的头部姿态序列，来确定目标对象的疲劳状态，有利于提高确定疲劳状态的准确性。
在一个可选示例中，本公开在利用目标对象的眼睛闭合度序列来确定目标对象的疲劳状态的过程中，还可以考虑从多个视频帧中获得的目标对象的视线方向序列。即本公开可以对多个视频帧中的每一个视频帧分别进行目标对象的视线方向检测，从而获得各视频帧各自对应的视线方向，多个视频帧中的各视频帧各自对应的目标对象的视线方向形成目标对象的视线方向序列；之后，本公开可以根据目标对象的眼睛闭合度序列和视线方向序列，确定目标对象的疲劳状态。一个例子，在利用目标对象的眼睛闭合度序列、第一预定规律和第二预定规律，确定目标对象的疲劳状态的同时，本公开利用目标对象的视线方向序列确定目标对象的疲劳状态(如利用目标对象的视线方向序列和针对视线方向设置的第四预定规律等)，之后，可以利用确定出的两个疲劳状态以及预先设定的疲劳状态判别逻辑，来确定目标对象最终的疲劳状态。例如，预先设定的疲劳状态判别逻辑可以包括但不限于：目标对象的最终的疲劳状态为两个疲劳状态中的疲劳状态较严重的一个等。由于目标对象的疲劳状态不仅会反映在眼睛闭合情况上，还会反映在视线方向上(如视线方向会由于头部低垂而低垂，从而导致视线方向不再为注视车辆行驶的方向等)，因此，本公开通过结合目标对象的眼睛闭合度序列和目标对象的视线方向序列，来确定目标对象的疲劳状态，有利于提高确定疲劳状态的准确性。
在一个可选示例中，本公开在利用目标对象的眼睛闭合度序列来确定目标对象的疲劳状态的过程中，还可以考虑从多个视频帧中获得的目标对象的头部姿态序列和视线方向序列。即本公开可以对多个视频帧中的每一个视频帧分别进行目标对象的头部姿态检测，从而获得各视频帧各自对应的头部姿态，多个视频帧中的各视频帧各自对应的目标对象的头部姿态形成目标对象的头部姿态序列；本公开还可以对多个视频帧中的每一个视频帧分别进行目标对象的视线方向检测，从而获得各视频帧各自对应的视线方向，多个视频帧中的各视频帧各自对应的目标对象的视线方向形成目标对象的视线方向序列；之后，本公开可以根据目标对象的眼睛闭合度序列、头部姿态序列以及视线方向序列，确定目标对象的疲劳状态。一个例子，在利用目标对象的眼睛闭合度序列、第一预定规律和第二预定规律确定目标对象的疲劳状态的同时，利用目标对象的头部姿态序列确定目标对象的疲劳状态(如利用目标对象的头部姿态序列和针对头部姿态设置的第三预定规律等)，并利用目标对象的视线方向序列确定目标对象的疲劳状态(如利用目标对象的视线方向序列和针对视线方向设置的第四预定规律等)，之后，可以利用确定出的三个疲劳状态及预先设定的疲劳状态判别逻辑，来确定目标对象最终的疲劳状态。例如，预先设定的疲劳状态判别逻辑可以包括但不限于：目标对象的最终的疲劳状态为三个疲劳状态中的疲劳状态较严重的一个等。由于目标对象的疲劳状态不仅会反映在眼睛闭合情况上，还会反映在头部姿态和视线方向上(如头部会由于打瞌睡而低垂，视线方向会由于头部低垂而低垂等)，因此，本公开通过结合目标对象的眼睛闭合度序列、目标对象的头部姿态序列和目标对象的视线方向序列，来确定目标对象的疲劳状态，有利于提高确定疲劳状态的准确性。
在一个可选示例中，本公开针对多个视频帧中的任一视频帧分别进行头部姿态检测处理以及视线方向检测处理，获得该视频帧中的目标对象的头部姿态和视线方向的一个例子，如图5所示。
图5中，S500、获取视频帧中的目标对象的头部图像块和眼部图像块。
可选的，本公开可以利用头部/脸部区域定位技术，对视频帧中的目标对象的头部区域进行定位处理，从而可以从视频帧中剪切出目标对象的头部图像块。本公开可以利用眼部区域定位技术，对视频帧中的目标对象的眼部区域进行定位处理，从而可以从视频帧中剪切出目标对象的眼部图像块。另外，本公开也可以从目标对象的头部图像块中获得目标对象的眼部图像块。例如，本公开可以根据头部和眼部的预定位置关系，确定头部图像块中的眼部区域，并从头部图像块中剪切出目标对象的眼部图像块。其中的预定位置关系可以包括：眼部的最高位置与头部图像块整个高度的位置关系、眼部的最低位置与头部图像块整个高度的位置关系、以及眼部的高度与头部图像块整个高度的位置关系等。
可选的，本公开中的眼部图像块可以为包含有双眼的图像块。本公开中的眼部图像块也可以为包含有单眼的图像块。例如，包含有左眼的图像块或者包含有右眼的图像块。
可选的，本公开中的头部图像块的空间分辨率和眼部图像块的空间分辨率可以相同，例如，本公开可以将剪切出的头部区域的空间分辨率和眼部区域的空间分辨率分别调整为预定空间分辨率，从而获得具有相同空间分辨率的头部图像块和眼部图像块。
S501、提取头部图像块和眼部图像块的特征，获得头部图像块的第一特征图和眼部图像块的第二特征图。
可选的，本公开可以将头部图像块和眼部图像块分别作为输入，提供给用于提取图像特征的神经网络，并基于神经网络的输出，获得头部图像块的第一特征图和眼部图像块的第二特征图。在一个例子中，用于提取图像特征的神经网络可以为多任务学习的神经网络，即本公开可以利用基于多任务学习的神经网络的特征提取操作，获得头部图像块的第一特征图和眼部图像块的第二特征图。
可选的，本公开中的多任务学习的神经网络通常包括主干部分(即主干单元)和多个分支部分(即多个分支单元)，主干部分与所有分支部分组合在一起可以同时完成多个任务。例如，同时完成头部姿态检测任务以及视线方向检测任务等。
可选的，本公开中的多任务学习的神经网络的一个例子如图6所示。图6中的多任务学习的神经网络包括：主干单元600以及至少两个分支单元。图6中示意性的示出了分支单元601和分支单元602。
可选的，本公开可以将头部图像块和眼部图像块分别作为多任务学习的神经网络的主干单元600的输入，提供给该神经网络，从而可以基于神经网络的主干单元600的特征提取操作，对头部图像块以及眼部图像块分别进行特征提取操作处理，进而本公开可以根据主干单元600的输出，获得头部图像块的第一特征图和眼部图像块的第二特征图。
可选的，本公开中的主干单元600可以采用CNN(Convolutional NeuralNetworks，卷积神经网络)等结构。在一例子中，主干单元600可以包括：多层卷积层以及多层激活层等。在另一例子中，主干单元600可以包括：多层卷积层、多层激活层、至少一池化层以及至少一归一化层等。本公开不限制主干单元600的具体结构。
可选的，本公开可以将头部图像块和眼部图像块拼接在一起，作为主干单元600的输入，提供给神经网络。本公开可以对主干单元600的输出进行切分操作处理，从而获得头部图像块的第一特征图和眼部图像块的第二特征图。
由于在对多任务学习的神经网络的训练过程中，不同分支各自对应的损失均会被反向传播到多任务学习的主干单元中，因此，有利于使成功训练后的主干单元提取出的特征更准确，从而本公开利用神经网络的主干单元的特征提取操作有利于获得更为准确的第一特征图和第二特征图。
S502、根据第一特征图，获取视频帧中的目标对象的头部姿态。
可选的，本公开可以对第一特征图进行头部姿态检测处理，并根据头部姿态检测处理的结果，获得目标对象在视频帧中的头部姿态(Head Pose)。本公开中的目标对象的头部姿态可以是指用于描述目标对象的头部在X、Y和Z坐标轴中的至少一个坐标轴上的旋转情况的信息。头部姿态也可以称为头部的姿态角。例如，本公开的头部姿态可以包括三个欧拉角，即头部的俯仰角、偏航角和滚转角。俯仰角即围绕目标对象头部坐标系的X坐标轴的旋转角pitch，俯仰角可以表示出目标对象的抬头情况。偏航角即围绕目标对象头部坐标系的Y坐标轴的旋转角yaw，偏航角可以表示出目标对象的摇头情况。滚转角即围绕目标对象头部坐标系的Z坐标轴的旋转角roll，滚转角可以表示出目标对象的转头情况。
可选的，本公开可以将第一特征图作为输入，提供给用于检测头部姿态的神经网络，并基于该神经网络的输出，获得目标对象的头部姿态，例如，pitch(俯仰角)、yaw(偏航角)和roll(滚转角)。在一个例子中，用于检测头部姿态的神经网络可以为多任务学习的神经网络，即本公开可以利用基于多任务学习的神经网络的头部姿态检测操作，获得目标对象的头部姿态。更具体的例子，本公开可以利用多任务学习的神经网络的其中一个分支单元，完成头部姿态检测操作。例如，本公开可以将主干单元400输出的第一特征图，作为多任务学习的神经网络的第一分支单元(如图4中的分支单元401)的输入，从而可以基于第一分支单元的头部姿态检测操作，对第一特征图进行头部姿态检测处理，进而本公开可以根据第一分支单元的输出，获得目标对象的头部姿态。本公开中的第一分支单元可以采用CNN等结构。在一个例子中，第一分支单元可以包括：至少一卷积层以及至少一激活层等。本公开不限制第一分支单元的具体结构。
本公开通过利用多任务学习的神经网络的其中一个分支单元，完成头部姿态检测操作，由于该多任务学习的神经网络的主干单元提取出的第一特征图更准确，因此，在对多任务学习的神经网络的训练过程中，更准确的第一特征图有利于优化第一分支单元的网络参数，从而有利于提高获得头部姿态的准确性。
S503、根据第二特征图和上述头部姿态，获取视频帧中的目标对象的视线方向。
可选的，本公开可以对第二特征图和头部姿态进行视线方向检测处理，并根据视线方向检测处理的结果获得视频帧中的目标对象的视线方向。本公开可以将第二特征图和头部姿态作为输入，提供给用于检测视线方向的神经网络，并基于该神经网络的输出，获得目标对象的视线方向。在一个例子中，用于检测视线方向的神经网络可以为多任务学习的神经网络，即本公开可以利用基于多任务学习的神经网络的视线方向检测操作，获得目标对象的视线方向。更具体的，本公开可以利用多任务学习的神经网络的其中一个分支单元，完成视线方向检测操作。例如，本公开可以将主干单元输出的第二特征图和上述第一分支单元(如图6中的分支单元601)输出的头部姿态，作为多任务学习的神经网络的第二分支单元(如图6中的分支单元602)的输入，从而可以基于第二分支单元的视线方向检测操作，对第二特征图和头部姿态进行视线方向检测处理，进而本公开可以根据第二分支单元的输出，获得视频帧中的目标对象的视线方向。本公开中的第二分支单元可以采用CNN等网络结构。在一个例子中，第二分支单元可以包括：至少一卷积层以及至少一激活层等。本公开不限制第二分支单元的具体结构。
可选的，在眼部图像块为包含有双眼的图像块的情况下，本公开为第二分支单元提供的第二特征图为基于双眼的第二特征图，第二分支单元所执行的视线方向检测操作可以为基于左眼的视线方向检测操作和基于右眼的视线方向检测操作，本公开可以根据第二分支单元的输出，分别获得左眼视线方向和右眼视线方向，本公开可以对左眼视线方向和右眼视线方向进行加权计算，从而获得加权平均值，本公开可以将该加权平均值作为目标对象的视线方向。
需要特别说明的是，本公开在进行加权计算时，左眼视线方向和右眼视线方向各自对应的权值可以相同，也可以不相同。
可选的，在眼部图像块为包含有单眼的图像块的情况下，本公开为第二分支单元提供的第二特征图为基于单眼的第二特征图，第二分支单元所执行的视线方向检测操作可以为基于单眼的视线方向检测操作，例如，基于左眼的视线方向检测操作或者基于右眼的视线方向检测操作。本公开可以根据第二分支单元的输出，获得左眼视线方向或者右眼视线方向，本公开可以直接将左眼视线方向或者右眼视线方向作为目标对象的视线方向。
本公开通过利用多任务学习的神经网络来实现特征提取处理、头部姿态检测处理以及视线方向检测处理，尤其是利用多任务学习的神经网络的其中一个分支单元，完成视线方向检测操作，由于该多任务学习的神经网络的主干单元提取出的第二特征图更准确，且头部姿态与视线方向存在一定程度的关联，因此，在对多任务学习的神经网络的训练过程中，更准确的第二特征图以及头部姿态有利于优化第二分支单元的网络参数，从而利用神经网络的第二分支单元实现视线方向检测操作，有利于提高视线方向的准确性。另外，本公开可以利用目标对象的左眼视线方向和/或右眼视线方向，获得目标对象的视线方向，有利于提高技术方案的灵活性。
本公开通过利用眼部图像块的第二特征图和目标对象的头部姿态，来获取目标对象的视线方向，由于头部姿态与实现方向存在一定的关联，因此，本公开有利于降低确定出的视线方向的误差，从而有利于提高视线方向的准确性。
在一个可选示例中，针对多个视频帧中的任一视频帧而言，本公开可以利用上述多任务学习的神经网络获得该视频帧中的目标对象的一组眼睛关键点。例如，上述第二分支单元不仅能够执行视线方向检测处理，还能够同时执行眼睛关键点检测处理，即第二特征图在被提供给第二分支单元后，第二分支单元对第二特征图进行眼睛关键点检测处理，获得眼部图像块中的多个眼睛关键点(如获得眼部图像块中的各眼睛关键点的标号以及各眼睛关键点在眼部图像块中的二维坐标等)，本公开可以根据第二分支单元的输出获得该视频帧对应的一组眼睛关键点(如一组基于左眼的眼睛关键点或者一组基于右眼的眼睛关键点)。由于多任务学习的神经网络的两个分支单元既可以用于获得视频帧对应的一组眼睛关键点，还可以用于获得视频帧中的目标对象的头部姿态和视线方向，因此，本公开可以在充分利用计算资源的情况下，便捷的获得视频帧对应的一组眼睛关键点，从而有利于节约计算资源。
示例性装置
图7为本公开的服务发现装置一个实施例的结构示意图。该实施例的装置可用于实现本公开相应的方法实施例。
图7所示的装置包括：检测关键点模块700、确定闭合度序列模块701以及确定疲劳状态模块702。该装置还可以可选的包括：检测模块703。
检测关键点模块700用于确定多个视频帧中的各视频帧中的目标对象的一组眼睛关键点，各视频帧中的目标对象的一组眼睛关键点形成眼睛关键点组序列。
确定闭合度序列模块701用于根据检测关键点模块700获得的眼睛关键点组序列中的各组眼睛关键点，确定目标对象的眼睛闭合度序列。
确定疲劳状态模块702用于根据确定闭合度序列模块701获得的目标对象的眼睛闭合度序列，确定目标对象的疲劳状态。
可选的，本公开中的确定闭合度序列模块701可以包括：第一子模块7011和第二子模块7012。其中的第一子模块7011用于根据检测关键点模块700获得的眼睛关键组序列中的各组眼睛关键点，确定各组眼睛关键点各自对应的基于面积的眼睛参数和/或基于距离的眼睛参数。其中的第二子模块7012用于根据第一子模块7011获得的各组眼睛关键点各自对应的基于面积的眼睛参数和/或基于距离的眼睛参数，确定目标对象的眼睛闭合度序列。
可选的，第一子模块7011可以根据检测关键点模块700获得的眼睛关键点组序列中的各组眼睛关键点，确定各组眼睛关键点各自对应的眼睛可见区域面积、虹膜可见区域面积、上眼睑和下眼睑在竖直方向上的最大距离、可见虹膜在竖直方向上的最大距离中的至少一个。
可选的，第二子模块7012可以根据第一子模块7011获得的多个视频帧中的目标对象的眼睛可见区域面积与目标对象的第一预定区域面积的比值、第一子模块7011获得的虹膜可见区域面积与目标对象的第二预定区域面积的比值、第一子模块7011获得的上眼睑和下眼睑在竖直方向上的最大距离与目标对象的第一预定距离的比值、第一子模块7011获得的可见虹膜在竖直方向上的最大距离与目标对象的第二预定距离的比值中的至少一个，确定目标对象的眼睛闭合度序列。
可选的，检测模块703用于针对多个视频帧中的任一视频帧，检测该视频帧中的目标对象的头部姿态以及视线方向中的至少一个，多个视频帧中的各视频帧中的目标对象的头部姿态形成所述目标对象的头部姿态序列，所述多个视频帧中的各视频帧中的目标对象的视频线方向形成目标对象的视线方向序列。
可选的，确定疲劳状态模块702可以用于根据确定闭合度序列模块701获得的目标对象的眼睛闭合度序列、以及检测模块703获得的目标对象的头部姿态序列，确定目标对象的疲劳状态。
可选的，确定疲劳状态模块702可以用于根据确定闭合度序列模块701获得的目标对象的眼睛闭合度序列、以及检测模块703获得的目标对象的视线方向序列，确定目标对象的疲劳状态。
可选的，确定疲劳状态模块702可以用于根据确定闭合度序列模块701获得的目标对象的眼睛闭合度序列、以及检测模块703获得的目标对象的头部姿态序列和目标对象的视线方向序列，确定目标对象的疲劳状态。
可选的，检测模块703可以包括：第三子模块7031、第四子模块7032、第五子模块7033以及第六子模块7034。其中的第三子模块7031用于针对多个视频帧中的任一视频帧，获取该视频帧中的目标对象的头部图像块和眼部图像块。其中的第四子模块7032用于提取第三子模块7031获得的头部图像块和眼部图像块的特征，获得头部图像块的第一特征图和眼部图像块的第二特征图。其中的第五子模块7033用于根据第四子模块7032获得的第一特征图，获取该视频帧中的目标对象的头部姿态。其中的第六子模块7034用于根据第四子模块7032获得的第二特征图和第五子模块7033获得的该视频帧中的目标对象的头部姿态，获取该视频帧中的目标对象的视线方向。
可选的，本公开中的第四子模块7032可以包括基于多任务学习的神经网络中的主干单元。本公开中的第五子模块7033可以包括基于多任务学习的神经网络中第一分支单元。本公开中的第六子模块7034可以包括基于多任务学习的神经网络中的第二分支单元。
可选的，第四子模块7032可以将第三子模块7031获得的头部图像块和眼部图像块分别作为神经网络的主干单元的输入，基于主干单元的特征提取操作，对头部图像块和眼部图像块分别进行特征提取处理，从而第四子模块7032获得头部图像块的第一特征图和眼部图像块的第二特征图。
可选的，第五子模块7033可以将第四子模块7032获得的第一特征图作为神经网络的第一分支单元的输入，基于第一分支单元的头部姿态检测操作，对第一特征图进行头部姿态检测处理，从而第五子模块7033获得该视频帧中的目标对象的头部姿态。
可选的，第六子模块7034可以将第四子模块7032获得的第二特征图和第五子模块7033获得的头部姿态作为神经网络的第二分支单元的输入，基于第二分支单元的视线方向检测操作，对第二特征图和所述目标对象在该视频帧中的头部姿态进行视线方向检测处理，从而第六子模块7034获得该视频帧中的目标对象的视线方向。
可选的，针对多个视频帧中的任一视频帧，基于第二分支单元的眼睛关键点检测操作，对第二特征图进行行眼睛关键点检测处理，从而使检测关键点模块700获得该视频帧中的目标对象的一组眼睛关键点。检测关键点模块700可以包括第二分支单元中的用于进行眼睛关键点检测处理的部分。
本公开的装置所包含的各模块、各子模块、各单元以及各自单元具体执行的操作，可以参见上述方法实施例中的相关描述，在此不再详细说明。
示例性电子设备
下面参考图8来描述根据本公开实施例的电子设备。图8示出了根据本公开实施例的电子设备的框图。如图8所示，电子设备81包括一个或多个处理器811和存储器812。
处理器811可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备81中的其他组件以执行期望的功能。
存储器812可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器，例如，可以包括：随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器，例如，可以包括：只读存储器(ROM)、硬盘以及闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器811可以运行所述程序指令，以实现上文所述的本公开的各个实施例的用于疲劳检测的方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如输入信号、信号分量、噪声分量等各种内容。
在一个示例中，电子设备81还可以包括：输入装置813以及输出装置814等，这些组件通过总线***和/或其他形式的连接机构(未示出)互连。此外，该输入设备813还可以包括例如键盘、鼠标等等。该输出装置814可以向外部输出各种信息。该输出设备814可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
当然，为了简化，图8中仅示出了该电子设备81中与本公开有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备81还可以包括任何其他适当的组件。
示例性计算机程序产品和计算机可读存储介质
除了上述方法和设备以外，本公开的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的用于疲劳检测的方法或者基于语言模型的概率预测方法中的步骤。
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外，本公开的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的用于疲劳检测的方法中的步骤。
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列举)可以包括：具有一个或者多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
以上结合具体实施例描述了本公开的基本原理，但是，需要指出的是，在本公开中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势以及效果等是本公开的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本公开为必须采用上述具体的细节来实现。
本说明书中各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似的部分相互参见即可。对于***实施例而言，由于其与方法实施例基本对应，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本公开中涉及的器件、装置、设备、***的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备以及***。诸如“包括”、“包含、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
可能以许多方式来实现本公开的方法和装置。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本公开的方法和装置。用于所述方法的步骤的上述顺序仅是为了进行说明，本公开的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本公开实施为记录在记录介质中的程序，这些程序包括用于实现根据本公开的方法的机器可读指令。因而，本公开还覆盖存储用于执行根据本公开的方法的程序的记录介质。
还需要指出的是，在本公开的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本公开的等效方案。
提供所公开的方面的以上描述，以使本领域的任何技术人员能够做出或者使用本公开。对这些方面的各种修改等对于本领域技术人员而言，是非常显而易见的，并且在此定义的一般原理可以应用于其他方面，而不脱离本公开的范围。因此，本公开不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本公开的实施例限制到在此公开的形式中。尽管以上已经讨论了多个示例方面以及实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (12)

1.一种用于疲劳检测的方法，包括：
确定多个视频帧中的各视频帧中的目标对象的一组眼睛关键点，所述各视频帧中的目标对象的一组眼睛关键点形成眼睛关键点组序列；
根据所述眼睛关键点组序列中的各组眼睛关键点，确定所述目标对象的眼睛闭合度序列；
根据所述目标对象的眼睛闭合度序列，确定所述目标对象的疲劳状态。
2.根据权利要求1所述的方法，其中，所述根据所述眼睛关键点组序列中的各组眼睛关键点，确定所述目标对象的眼睛闭合度序列，包括：
根据所述眼睛关键组序列中的各组眼睛关键点，确定各组眼睛关键点各自对应的基于面积的眼睛参数和/或基于距离的眼睛参数；
根据所述各组眼睛关键点各自对应的基于面积的眼睛参数和/或基于距离的眼睛参数，确定所述目标对象的眼睛闭合度序列。
3.根据权利要求2所述的方法，其中，所述根据所述眼睛关键点组序列中的各组眼睛关键点，确定各组眼睛关键点各自对应的基于面积的眼睛参数和/或基于距离的眼睛参数，包括：
根据所述眼睛关键点组序列中的各组眼睛关键点，确定各组眼睛关键点各自对应的眼睛可见区域面积、虹膜可见区域面积、上眼睑和下眼睑在竖直方向上的最大距离、可见虹膜在竖直方向上的最大距离中的至少一个。
4.根据权利要求3所述的方法，其中，所述根据所述各组眼睛关键点各自对应的基于面积的眼睛参数和/或基于距离的眼睛参数，确定所述目标对象的眼睛闭合度序列，包括：
根据所述多个视频帧中的目标对象的眼睛可见区域面积与所述目标对象的第一预定区域面积的比值、所述虹膜可见区域面积与所述目标对象的第二预定区域面积的比值、上眼睑和下眼睑在竖直方向上的最大距离与所述目标对象的第一预定距离的比值、所述可见虹膜在竖直方向上的最大距离与所述目标对象的第二预定距离的比值中的至少一个，确定所述目标对象的眼睛闭合度序列。
5.根据权利要求1至4中任一项所述的方法，其中，所述方法还包括：
针对所述多个视频帧中的任一视频帧，检测该视频帧中的目标对象的头部姿态以及视线方向中的至少一个，所述多个视频帧中的各视频帧中的目标对象的头部姿态形成所述目标对象的头部姿态序列，所述多个视频帧中的各视频帧中的目标对象的视频线方向形成所述目标对象的视线方向序列；
所述根据所述目标对象的眼睛闭合度序列，确定所述目标对象的疲劳状态，包括：
根据所述目标对象的眼睛闭合度序列、以及所述目标对象的头部姿态序列，确定所述目标对象的疲劳状态；或者
根据所述目标对象的眼睛闭合度序列、以及所述目标对象的视线方向序列，确定所述目标对象的疲劳状态；或者
根据所述目标对象的眼睛闭合度序列、所述目标对象的头部姿态序列、以及所述目标对象的视线方向序列，确定所述目标对象的疲劳状态。
6.根据权利要求5所述的方法，其中，所述针对所述多个视频帧中的任一视频帧，检测该视频帧中的目标对象的头部姿态以及视线方向中的至少一个，包括：
针对所述多个视频帧中的任一视频帧，获取该视频帧中的目标对象的头部图像块和眼部图像块；
提取所述头部图像块和眼部图像块的特征，获得所述头部图像块的第一特征图和所述眼部图像块的第二特征图；
根据所述第一特征图，获取该视频帧中的目标对象的头部姿态；
根据所述第二特征图和该视频帧中的目标对象的头部姿态，获取该视频帧中的目标对象的视线方向。
7.根据权利要求6所述的方法，其中，所述提取所述头部图像块和眼部图像块的特征，获得所述头部图像块的第一特征图和所述眼部图像块的第二特征图的步骤、所述根据所述第一特征图，获取该视频帧中的目标对象的头部姿态的步骤、以及根据所述第二特征图和该视频帧中的目标对象的头部姿态，获取该视频帧中的目标对象的视线方向的步骤，是采用基于多任务学习的神经网络的特征提取操作、头部姿态检测操作以及视线方向检测操作实现的。
8.根据权利要求7所述的方法，其中，所述提取所述头部图像块和眼部图像块的特征，获得所述头部图像块的第一特征图和所述眼部图像块的第二特征图，包括：
将所述头部图像块和眼部图像块分别作为所述神经网络的主干单元的输入，基于所述主干单元的特征提取操作，对所述头部图像块和眼部图像块分别进行特征提取处理，获得所述头部图像块的第一特征图和所述眼部图像块的第二特征图；
所述根据所述第一特征图，获取该视频帧中的目标对象的头部姿态，包括：
将所述第一特征图作为所述神经网络的第一分支单元的输入，基于所述第一分支单元的头部姿态检测操作，对所述第一特征图进行头部姿态检测处理，获得该视频帧中的目标对象的头部姿态；
所述根据所述第二特征图和该视频帧中的目标对象的头部姿态，获取该视频帧中的目标对象的视线方向，包括：
将所述第二特征图和所述头部姿态作为所述神经网络的第二分支单元的输入，基于所述第二分支单元的视线方向检测操作，对所述第二特征图和所述目标对象在该视频帧中的头部姿态进行视线方向检测处理，获得该视频帧中的目标对象的视线方向。
9.根据权利要求8所述的方法，其中，所述确定多个视频帧中的各视频帧中的目标对象的一组眼睛关键点，包括：
针对多个视频帧中的任一视频帧，基于所述第二分支单元的眼睛关键点检测操作，对所述第二特征图进行行眼睛关键点检测处理，获得该视频帧中的目标对象的一组眼睛关键点。
10.一种用于疲劳检测的装置，包括：
检测关键点模块，用于确定多个视频帧中的各视频帧中的目标对象的一组眼睛关键点，所述各视频帧中的目标对象的一组眼睛关键点形成眼睛关键点组序列；
确定闭合度序列模块，用于根据所述检测关键点模块获得的眼睛关键点组序列中的各组眼睛关键点，确定所述目标对象的眼睛闭合度序列；
确定疲劳状态模块，用于根据所述确定闭合度序列模块获得的目标对象的眼睛闭合度序列，确定所述目标对象的疲劳状态。
11.一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1-9中任一项所述的方法。
12.一种电子设备，所述电子设备包括：
处理器；
用于存储所述处理器可执行指令的存储器；
所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述权利要求1-9中任一项所述的方法。
CN202010895129.9A 2020-08-31 2020-08-31 用于疲劳检测的方法、装置、介质以及电子设备 Pending CN112052770A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010895129.9A CN112052770A (zh) 2020-08-31 2020-08-31 用于疲劳检测的方法、装置、介质以及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010895129.9A CN112052770A (zh) 2020-08-31 2020-08-31 用于疲劳检测的方法、装置、介质以及电子设备

Publications (1)

Publication Number Publication Date
CN112052770A true CN112052770A (zh) 2020-12-08

Family

ID=73608384

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010895129.9A Pending CN112052770A (zh) 2020-08-31 2020-08-31 用于疲劳检测的方法、装置、介质以及电子设备

Country Status (1)

Country Link
CN (1) CN112052770A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112541553A (zh) * 2020-12-18 2021-03-23 深圳地平线机器人科技有限公司 目标对象的状态检测方法、装置、介质以及电子设备
CN115690892A (zh) * 2023-01-03 2023-02-03 京东方艺云(杭州)科技有限公司 一种眯眼识别方法、装置、电子设备及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101593425A (zh) * 2009-05-06 2009-12-02 深圳市汉华安道科技有限责任公司 一种基于机器视觉的疲劳驾驶监控方法及***
CN108446600A (zh) * 2018-02-27 2018-08-24 上海汽车集团股份有限公司 一种车辆驾驶员疲劳监测预警***及方法
CN108720851A (zh) * 2018-05-23 2018-11-02 释码融和（上海）信息科技有限公司 一种驾驶状态检测方法、移动终端及存储介质
CN108830240A (zh) * 2018-06-22 2018-11-16 广州通达汽车电气股份有限公司 疲劳驾驶状态检测方法、装置、计算机设备和存储介质
CN108875642A (zh) * 2018-06-21 2018-11-23 长安大学 一种多指标融合的驾驶员疲劳检测的方法
CN108932461A (zh) * 2017-05-27 2018-12-04 杭州海康威视数字技术股份有限公司 一种疲劳检测方法及装置
CN110826521A (zh) * 2019-11-15 2020-02-21 爱驰汽车有限公司 驾驶员疲劳状态识别方法、***、电子设备和存储介质
CN111079475A (zh) * 2018-10-19 2020-04-28 上海商汤智能科技有限公司 驾驶状态检测方法和装置、驾驶员监控***、车辆

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101593425A (zh) * 2009-05-06 2009-12-02 深圳市汉华安道科技有限责任公司 一种基于机器视觉的疲劳驾驶监控方法及***
CN108932461A (zh) * 2017-05-27 2018-12-04 杭州海康威视数字技术股份有限公司 一种疲劳检测方法及装置
CN108446600A (zh) * 2018-02-27 2018-08-24 上海汽车集团股份有限公司 一种车辆驾驶员疲劳监测预警***及方法
CN108720851A (zh) * 2018-05-23 2018-11-02 释码融和（上海）信息科技有限公司 一种驾驶状态检测方法、移动终端及存储介质
CN108875642A (zh) * 2018-06-21 2018-11-23 长安大学 一种多指标融合的驾驶员疲劳检测的方法
CN108830240A (zh) * 2018-06-22 2018-11-16 广州通达汽车电气股份有限公司 疲劳驾驶状态检测方法、装置、计算机设备和存储介质
CN111079475A (zh) * 2018-10-19 2020-04-28 上海商汤智能科技有限公司 驾驶状态检测方法和装置、驾驶员监控***、车辆
CN110826521A (zh) * 2019-11-15 2020-02-21 爱驰汽车有限公司 驾驶员疲劳状态识别方法、***、电子设备和存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112541553A (zh) * 2020-12-18 2021-03-23 深圳地平线机器人科技有限公司 目标对象的状态检测方法、装置、介质以及电子设备
CN112541553B (zh) * 2020-12-18 2024-04-30 深圳地平线机器人科技有限公司 目标对象的状态检测方法、装置、介质以及电子设备
CN115690892A (zh) * 2023-01-03 2023-02-03 京东方艺云(杭州)科技有限公司 一种眯眼识别方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
Fridman et al. Driver gaze region estimation without use of eye movement
US10922527B2 (en) Face spatial positioning method, face spatial positioning system, and non-transitory computer-readable recording medium
CN109584507B (zh) 驾驶行为监测方法、装置、***、交通工具和存储介质
EP3872689B1 (en) Liveness detection method and device, electronic apparatus, storage medium and related system using the liveness detection method
JP7165742B2 (ja) 生体検出方法及び装置、電子機器ならびに記憶媒体
US20190080474A1 (en) Eye gaze tracking using neural networks
García et al. Driver monitoring based on low-cost 3-D sensors
CN112597872B (zh) 视线角度估计方法和装置、存储介质、电子设备
CN105740688B (zh) 解锁的方法和装置
CN111873911B (zh) 调整后视镜的方法、装置、介质以及电子设备
WO2022078077A1 (zh) 驾驶风险的预警方法、装置、计算设备及存储介质
CN112052770A (zh) 用于疲劳检测的方法、装置、介质以及电子设备
CN112509047A (zh) 基于图像的位姿确定方法、装置、存储介质及电子设备
CN111160237A (zh) 头部姿态估计方法和装置、电子设备和存储介质
US20220165070A1 (en) Method for determining correct scanning distance using augmented reality and machine learning models
JP2022517398A (ja) ニューラルネットワークのトレーニング及び目開閉状態の検出方法、装置並び機器
CN112308006A (zh) 视线区域预测模型生成方法、装置、存储介质及电子设备
US20210406565A1 (en) Dynamic Information Protection for Display Devices
CN114170826A (zh) 自动驾驶控制方法和装置、电子设备和存储介质
CN111723716A (zh) 确定目标对象朝向的方法、装置、***、介质及电子设备
CN113569785A (zh) 驾驶状态感知方法及装置
Kopinski et al. A light-weight real-time applicable hand gesture recognition system for automotive applications
CN115641570A (zh) 驾驶行为确定方法、装置、电子设备和存储介质
WO2023108364A1 (zh) 驾驶员状态检测方法、装置及存储介质
CN108875467B (zh) 活体检测的方法、装置及计算机存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination