CN116152789A - 一种睡眠意图检测方法、装置、设备及存储介质 - Google Patents

一种睡眠意图检测方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN116152789A
CN116152789A CN202310185179.1A CN202310185179A CN116152789A CN 116152789 A CN116152789 A CN 116152789A CN 202310185179 A CN202310185179 A CN 202310185179A CN 116152789 A CN116152789 A CN 116152789A
Authority
CN
China
Prior art keywords
detection
detection result
sleep
detected object
intention
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310185179.1A
Other languages
English (en)
Inventor
王丹
杜新凯
牛国扬
朱良奇
赵飞飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sunshine Insurance Group Co Ltd
Original Assignee
Sunshine Insurance Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sunshine Insurance Group Co Ltd filed Critical Sunshine Insurance Group Co Ltd
Priority to CN202310185179.1A priority Critical patent/CN116152789A/zh
Publication of CN116152789A publication Critical patent/CN116152789A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Ophthalmology & Optometry (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供一种睡眠意图检测方法、装置、设备及存储介质，涉及图像检测技术领域。该方法通过对预设场景中预设检测区域的帧图像进行人脸检测，得到预设检测区域内被检测对象的人脸图像；对人脸图像进行闭眼检测，得到被检测对象的闭眼检测结果；对帧图像进行姿态检测，得到被检测对象的人体图像以及被检测对象的姿态检测结果；对人体图像进行睡眠分类检测，得到被检测对象的睡眠分类检测结果；根据闭眼检测结果、姿态检测结果和睡眠分类检测结果，得到被检测对象在帧图像对应当前帧的睡眠意图检测结果，睡眠意图检测结果为：当前帧中被检测对象是否存在睡眠意图。从而，使得睡眠意图检测结果更加精准，节省了检测成本，拓展了检测适应场景。

Description

一种睡眠意图检测方法、装置、设备及存储介质
技术领域
本发明涉及图像检测技术领域，具体而言，涉及一种睡眠意图检测方法、装置、设备及存储介质。
背景技术
随着社会的发展，人们的汽车持有量逐年增多，摄像头监控也出现在很多场景中，例如教室、高速路收费站、商场等，为了减少因为疲劳驾驶导致的交通事故，以及偷懒、消极怠工等情况，需要实时对驾驶员或者被监控者进行睡意检测，在检测到被测试者出现睡眠意图，及时进行警报处理。
传统的睡眠意图检测多为基于传感器的接触式设备，虽然较为准确，但使用不便，且无法应用于人多的场景。现有技术中也有基于监督学习的无接触式检测方法，但是多为基于人眼特征来进行判断，此种方法无法捕捉到全部有效信息，且对于无法精准捕捉到眼部信息的场景不适用。
发明内容
本发明的目的在于，针对上述现有技术中的不足，本申请提供了一种睡眠意图检测方法、装置、设备及存储介质，以解决现有技术中睡眠意图检测不精准等问题。
为实现上述目的，本申请实施例采用的技术方案如下：
第一方面，本申请实施例提供一种睡眠意图检测方法，所述方法包括：
对预设场景中预设检测区域的帧图像进行人脸检测，得到所述预设检测区域内被检测对象的人脸图像；
对所述人脸图像进行闭眼检测，得到所述被检测对象的闭眼检测结果；
对所述帧图像进行姿态检测，得到所述被检测对象的人体图像以及所述被检测对象的姿态检测结果；
对所述人体图像进行睡眠分类检测，得到所述被检测对象的睡眠分类检测结果；
根据所述闭眼检测结果、所述姿态检测结果和所述睡眠分类检测结果，得到所述被检测对象在所述帧图像对应当前帧的睡眠意图检测结果，所述睡眠意图检测结果为：所述当前帧中所述被检测对象是否存在睡眠意图。
可选地，所述对预设场景中预设检测区域的帧图像进行人脸检测，得到所述预设检测区域内被检测对象的人脸图像，包括：
对所述帧图像进行人脸检测，得到人脸位置；
根据所述人脸位置，对所述帧图像进行剪裁，得到所述人脸图像。
可选地，所述对所述人脸图像进行闭眼检测，得到所述被检测对象的闭眼检测结果，包括：
对所述人脸图像进行关键点检测，得到所述人脸图像中眼部关键点的位置；
根据所述眼部关键点的位置进行闭眼检测，得到所述闭眼检测结果。
可选地，所述对所述帧图像进行姿态检测，得到所述被检测对象的人体图像以及所述被检测对象的姿态检测结果，包括：
采用预设的人体姿态评估模型，对所述帧图像进行姿态检测，得到所述人体图像以及所述被检测对象的姿态检测结果。
可选地，所述根据所述闭眼检测结果、所述姿态检测结果和所述睡眠分类检测结果，得到所述被检测对象在所述帧图像对应当前帧中的睡眠意图检测结果，包括：
若所述闭眼检测结果、所述姿态检测结果和所述睡眠分类检测结果中存在两个检测结果为存在睡眠意图，则确定所述被检测对象在所述当前帧的睡眠意图检测结果为：存在睡眠意图；
若所述闭眼检测结果、所述姿态检测结果和所述睡眠分类检测结果中均为不存在睡眠意图，或者，仅存在一个检测结果为存在睡眠意图，则确定所述被检测对象在所述当前帧的睡眠意图检测结果为：不存在睡眠意图。
可选地，所述方法还包括：
根据所述被检测对象在连续多帧的睡眠意图检测结果，得到所述被检测对象的目标睡眠意图检测结果；
若所述目标睡眠意图检测结果指示所述被检测对象存在睡眠意图，则输出报警提示信息。
可选地，所述根据所述被检测对象在连续多帧的睡眠意图检测结果，得到所述被检测对象的目标睡眠意图检测结果，包括：
确定所述被检测对象在连续多帧的睡眠意图检测结果中，存在睡眠意图的帧数；
若所述帧数大于或等于所述连续多帧的预设比例，则确定所述目标睡眠意图检测结果为：存在睡眠意图。
第二方面，本申请实施例提供一种睡眠意图检测装置，所述装置包括：
人脸检测模块，用于对预设场景中预设检测区域的帧图像进行人脸检测，得到所述预设检测区域内被检测对象的人脸图像；
闭眼检测模块，用于对所述人脸图像进行闭眼检测，得到所述被检测对象的闭眼检测结果；
姿态检测模块，用于对所述帧图像进行姿态检测，得到所述被检测对象的人体图像以及所述被检测对象的姿态检测结果；
分类检测模块，用于对所述人体图像进行睡眠分类检测，得到所述被检测对象的睡眠分类检测结果；
确定模块，用于根据所述闭眼检测结果、所述姿态检测结果和所述睡眠分类检测结果，得到所述被检测对象在所述帧图像对应当前帧的睡眠意图检测结果，所述睡眠意图检测结果为：所述当前帧中所述被检测对象是否存在睡眠意图。
第三方面，本申请实施例提供一种电子设备，包括：处理器、存储介质，所述处理器与所述存储介质之间通过总线通信连接，所述存储介质存储有所述处理器可执行的程序指令，所述处理器调用存储介质中存储的程序，以执行如第一方面任一所述的睡眠意图检测方法的步骤。
第四方面，本申请实施例提供一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如第一方面任一所述的睡眠意图检测方法的步骤。
相对于现有技术而言，本申请具有以下有益效果：
本申请提供一种睡眠意图检测方法、装置、设备及存储介质，该方法通过对预设场景中预设检测区域的帧图像进行人脸检测，得到预设检测区域内被检测对象的人脸图像；对人脸图像进行闭眼检测，得到被检测对象的闭眼检测结果；对帧图像进行姿态检测，得到被检测对象的人体图像以及被检测对象的姿态检测结果；对人体图像进行睡眠分类检测，得到被检测对象的睡眠分类检测结果；根据闭眼检测结果、姿态检测结果和睡眠分类检测结果，得到被检测对象在帧图像对应当前帧的睡眠意图检测结果，睡眠意图检测结果为：当前帧中被检测对象是否存在睡眠意图。从而，综合考虑三种检测结果，使得睡眠意图检测结果更加精准，同时，只需要接收帧图像就可完成检测，无需引进传感器等设备，节省了检测成本，拓展了检测适应场景。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请提供的一种睡眠意图检测方法的流程示意图；
图2为本申请实施例提供的一种人脸检测方法的流程示意图；
图3A为本申请实施例提供的一种闭眼检测方法的流程示意图；
图3B为本申请实施例提供的一种眼部关键点的分布图；
图4为本申请实施例提供的一种睡眠意图确定方法的流程示意图；
图5为本申请实施例提供的另一种睡眠意图检测方法的流程示意图；
图6为本申请实施例提供的一种确定目标睡眠意图检测结果的方法的流程示意图；
图7为本申请实施例提供的一种睡眠意图检测装置的示意图；
图8为本申请实施例提供的一种电子设备的示意图。
图标：701-人脸检测模块、702-闭眼检测模块、703-姿态检测模块、704-分类检测模块、705-确定模块、801-处理器、802-存储介质。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
此外，若出现术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
需要说明的是，在不冲突的情况下，本发明的实施例中的特征可以相互结合。
为了精准捕获到被检测对象的睡眠意图，本申请提供了一种睡眠意图检测方法、装置、设备及存储介质。
如下通过具体示例对本申请提供的一种睡眠意图检测方法进行解释说明。图1为本申请提供的一种睡眠意图检测方法的流程示意图，该方法的执行主体为电子设备，该终端设备可以为具有计算处理功能的设备，如：台式电脑、笔记本电脑等。如图1所示，该方法包括：
S101、对预设场景中预设检测区域的帧图像进行人脸检测，得到预设检测区域内被检测对象的人脸图像。
在驾驶室、教室、高速路收费站等预设场景中，为了减少因为疲劳引发的安全事故。可从预设场景的监控摄像头中，获取监控视频中包含预设检测区域的帧图像，其中，预设检测区域为被检测对象所在的位置，如：驾驶室中的驾驶位、高速路收费站中的工作位等，帧图像中包括拍到的被检测对象。
由于帧图像中包括拍到的被检测对象，对帧图像进行人脸检测，可以得到预设检测区域内被检测对象的人脸图像。其中，帧图像包含被检测对象被拍到的部位，人脸图像包含被检测对象被拍到的脸部。
S102、对人脸图像进行闭眼检测，得到被检测对象的闭眼检测结果。
人脸图像中包含被检测对象的脸部器官。人在睡眠状态与非睡眠状态时，脸部器官会发生变化，但是眼睛的变化最为明显，在非睡眠状态下，人的眼睛时睁开的，在睡眠状态下，人的眼睛时闭合的。
因此，对人脸图像进行闭眼检测，检测人脸图像中的眼睛是否闭合。若被检测对象的闭眼检测结果为闭合，则被检测对象有睡眠的倾向，可进一步判断。若被检测对象的闭眼检测结果为未闭合，则被检测对象暂未有睡眠的倾向。
S103、对帧图像进行姿态检测，得到被检测对象的人体图像以及被检测对象的姿态检测结果。
人在睡眠状态与非睡眠状态时，除了脸部器官会发生变化之外，人体的姿态也会发生变化。
除了采用闭眼检测检测人脸图像中的眼睛闭合状态之外，还可以通过对被检测对象进行姿态检测，进一步地将姿态检测用于睡眠意图检测。具体地，可提前训练好多张人体姿态图片与睡眠状态(睡眠、未睡眠)的对应关系，对帧图像进行姿态检测，检测人体关键节点(例如：头、躯干、手臂、腿)，根据人体关键节点得到被检测对象的人体图像，并根据人体图像与预设的人体姿态图片进行估计，得到目标人体姿态，根据目标人体姿态确定被检测对象的姿态检测结果。即，目标人体姿态为微睡眠状态，还是未睡眠状态。通过姿态检测，精细化地考虑了人体姿态，使得睡眠意图检测更加精准。
S104、对人体图像进行睡眠分类检测，得到被检测对象的睡眠分类检测结果。
除上述通过闭眼检测、姿态检测进行睡眠意图检测之外。还可对人体图像进行睡眠分类检测。
示例地，提前预选人体图像训练数据集，并对选择的人体图像训练数据集进行睡眠状态分类标注；训练数据集包括睡眠状态图像、非睡眠状态图像。其中，由工作人员根据出现睡眠意图时常见的状态对人体图像进行分类，例如，出现睡眠意图时，人体头部会下垂、身体会倾斜等。根据训练数据集不同类别生成针对各类别的先验框。并通过人体图像训练数据集对分类模型进行训练。将人体图像输入训练好的分类模型，实现对人体图像进行睡眠分类，得到被检测对象的睡眠分类检测结果。其中，分类模型可采用mobilenetv3-small(轻型移动网络)模型。
相较于姿态检测，分类检测显得精度不高，但也是睡眠意图检测中的一种很好的补充检测方法。
S105、根据闭眼检测结果、姿态检测结果和睡眠分类检测结果，得到被检测对象在帧图像对应当前帧的睡眠意图检测结果。
其中，睡眠意图检测结果为：当前帧中被检测对象是否存在睡眠意图。
得到闭眼检测结果、姿态检测结果和睡眠分类检测结果之后，每一种检测结果都表征着被检测对象的睡眠意图。综合考虑三种检测结果，得到被检测对象在帧图像对应当前帧的睡眠意图检测结果。使得睡眠意图检测结果更加精准，同时，只需要接收帧图像就可完成检测，无需引进传感器等设备，节省了检测成本，拓展了检测适应场景。
综上，在本实施例中，对预设场景中预设检测区域的帧图像进行人脸检测，得到预设检测区域内被检测对象的人脸图像；对人脸图像进行闭眼检测，得到被检测对象的闭眼检测结果；对帧图像进行姿态检测，得到被检测对象的人体图像以及被检测对象的姿态检测结果；对人体图像进行睡眠分类检测，得到被检测对象的睡眠分类检测结果；根据闭眼检测结果、姿态检测结果和睡眠分类检测结果，得到被检测对象在帧图像对应当前帧的睡眠意图检测结果，睡眠意图检测结果为：当前帧中被检测对象是否存在睡眠意图。从而，综合考虑三种检测结果，使得睡眠意图检测结果更加精准，同时，只需要接收帧图像就可完成检测，无需引进传感器等设备，节省了检测成本，拓展了检测适应场景。
在上述图1对应的实施例的基础上，本申请实施例还提供了一种人脸检测方法。图2为本申请实施例提供的一种人脸检测方法的流程示意图。如图2所示，S101中的对预设场景中预设检测区域的帧图像进行人脸检测，得到预设检测区域内被检测对象的人脸图像，包括：
S201、对帧图像进行人脸检测，得到人脸位置。
对帧图像采用人脸检测模型进行人脸检测，得到人脸在图像中的人脸位置。具体地，通过检测得到人脸左上角坐标和右下角坐标，两个坐标横向、纵向共引出四条直线，四条直线相交得到一个封闭矩形，该封闭矩形内的区域为人脸位置。
示例地，可采用使用YOLOv5s模型进行了人像检测，YOLOv5s模型YOLOv5模型中的轻量型模型，运算速度较快。YOLOv5s模型的网络结构分为四部分：输入端、基准网络、Neck(颈部)网络、Head(头部)输出端。
输入端用于输入的图片，并对帧图像进行预处理，将帧图像的大小缩放为416*416，并进行归一化等操作。归一化操作可以为增强处理等，此处并不限定。
基准网络用来提取一些通用的特征表示。YOLOv5s模型中不仅使用了CSP1_X结构，而且使用了Focus结构作为基准网络。Focus结构的主要思想是通过Slice(片)操作来对输入图片进行裁剪，预处理后的输入图片大小为416*416*3，经过Slice与Concat(结合)操作之后输出一个208*208*12的特征映射；接着经过一个通道个数为32的Conv层，输出一个208*208*32大小的特征映射。之后经过多个CBL和CSP1_X拼接的卷积神经网络提取特征。
Neck网络可进一步提升特征的多样性及鲁棒性。其中，YOLOv5s采用了SPP模块、FPN+PAN模块。
Head输出端用来完成目标检测结果的输出。针对不同的检测算法，输出端的分支数量不尽相同，通常包含一个分类分支和一个回归分支。YOLOv5中采用CIoU_Loss做Bounding box的损失函数，分类和置信度使用BCEWithLogitsLoss损失函数。此损失函数将Sigmoid层和BCELoss整合在一起。
具体地，BCEWithLogitsLoss损失公式如下公式(1)所示：
ln＝-wn[yn·logσ(xn)+(1-yn)·log(1-σ(xn))](1)
其中，xn为模型预测的概率，经过σ(xn)可将xn映射到0到1之间，yn为是否为人脸图像的标签，0代表否，1代表是。
具体地，CIoU_Loss损失公式如下公式(2)所示：
Figure BDA0004103519630000101
其中，Distance_C为最小外接圆的对角线距离，Distance_2表示两个中心点的欧氏距离，IOU表示预测框和真实框的交并比，v是衡量长宽比一致性的参数，我们也可以定义v，如下公式(3)所示:
Figure BDA0004103519630000102
其中，wgt为真实框的宽，hgt为真实框的高，wp为预测框的宽，hp为预测框的高。
S202、根据人脸位置，对帧图像进行剪裁，得到人脸图像。
确定人脸位置对应的封闭矩形之后，从帧图像中对该封闭矩形进行剪裁，得到人脸图像。
综上，在本实施例中，对帧图像进行人脸检测，得到人脸位置；根据人脸位置，对帧图像进行剪裁，得到人脸图像。从而精准地得到人脸图像。
在上述图1对应的实施例的基础上，本申请实施例还提供了一种闭眼检测方法。图3A为本申请实施例提供的一种闭眼检测方法的流程示意图。如图3A所示，S102中的对人脸图像进行闭眼检测，得到被检测对象的闭眼检测结果，包括：
S301、对人脸图像进行关键点检测，得到人脸图像中眼部关键点的位置。
对人脸图像进行关键点检测，定位出人脸中106个关键点在图像中的位置，并从中得到人脸图像中眼部关键点的位置。示例地，图3B为本申请实施例提供的一种眼部关键点的分布图。如图3B所示，图中P1、P2、P3、P4、P5、P6为眼部关键点，图3B左图为睁眼状态，图3B右图为闭眼状态。
S302、根据眼部关键点的位置进行闭眼检测，得到闭眼检测结果。
眼部关键点在眼睛睁开和闭合时，根据彼此坐标之间的关系，我们可以导出眼部纵横比，具体计算方式如下公式(4)所示：
Figure BDA0004103519630000111
其中，EAR为眼部纵横比，分子中计算的是眼部关键点P2与P6、P3与P5在垂直方向上的距离之和，分母计算的是眼部关键点P1与P4在水平方向上的距离。由于水平点只有一组，而垂直点有两组，所以分母乘上了2，以保证两组特征点的权重相同。EAR在眼睛睁开时是基本保持不变的，在小范围内会上下浮动，然而，当眼睛闭合时，EAR会迅速下降。可设置闭眼阈值为0.3。如果EAR大于0.3，则认为眼睛是睁开的，闭眼检测结果为未存在睡眠意图；如果EAR小于它，则认为眼睛是闭上的，闭眼检测结果为存在睡眠意图。
综上，在本实施例中，对人脸图像进行关键点检测，得到人脸图像中眼部关键点的位置；根据眼部关键点的位置进行闭眼检测，得到闭眼检测结果。从而，使得闭眼检测更加精准。
在上述图1对应的实施例的基础上，本申请实施例还提供了一种姿态检测方法。S103中的对帧图像进行姿态检测，得到被检测对象的人体图像以及被检测对象的姿态检测结果，包括：
采用预设的人体姿态评估模型，对帧图像进行姿态检测，得到人体图像以及被检测对象的姿态检测结果。
示例地，预设的人体姿态评估模型可以为Alphapose模型。采用Alphapose模型对帧图像进行姿态检测流程如下：
1、对称空间变换网络(Symmetric Spatial Transformer Network，SSTN)，用于在识别帧图像时的人像检测框不是很准确的情况下，可以得到高质量的单人姿态估计，在得到高质量的人体检测框后，可以使用SPPE算法来继续高精度的人体姿态检测，训练过程中，SSTN和SPPE共同更新参数。训练时使用一个并行的SPPE分支来优化网络，在测试阶段，Parallel SPPE不会使用。
2、参数化姿态最极大抑制(Parametric Pose NonMaximum-Suppression，NMS)，使用姿态距离测量来比较姿态相似度，以此去除相似的姿态。使用数据驱动的方法进一步地优化姿态距离参数。
3、姿态指导区域产生器(Pose-Guided Proposals Generator，PGPG)，用于强化训练数据。通过学习输出结果中不同姿态的描述信息，模仿人体区域的生成过程来进一步产生更大的训练集。
进而可以得到被检测对象的人体图像，并确定人体图像对应的姿态检测结果，将其确定为被检测对象的姿态检测结果。
综上，在本实施例中，采用预设的人体姿态评估模型，对帧图像进行姿态检测，得到人体图像以及被检测对象的姿态检测结果。从而，精准地得到姿态检测结果。
在上述图1对应的实施例的基础上，本申请实施例还提供了一种睡眠意图确定方法。图4为本申请实施例提供的一种睡眠意图确定方法的流程示意图。如图4所示，S105中的根据闭眼检测结果、姿态检测结果和睡眠分类检测结果，得到被检测对象在帧图像对应当前帧中的睡眠意图检测结果，包括：
S401、若闭眼检测结果、姿态检测结果和睡眠分类检测结果中存在两个检测结果为存在睡眠意图，则确定被检测对象在当前帧的睡眠意图检测结果为：存在睡眠意图。
在本申请中，通过闭眼检测、姿态检测和睡眠分类检测三种检测方式判定睡眠意图。一般情况下，三者中有一种检测结果为存在睡眠意图，则表明被检测对象存在睡眠意图。为使得最终的检测结果更加精准，若闭眼检测结果、姿态检测结果和睡眠分类检测结果中存在两个检测结果为存在睡眠意图，则确定被检测对象存在睡眠意图。
S402、若闭眼检测结果、姿态检测结果和睡眠分类检测结果中均为不存在睡眠意图，或者，仅存在一个检测结果为存在睡眠意图，则确定被检测对象在当前帧的睡眠意图检测结果为：不存在睡眠意图。
对应的，若三种检测结果中均为不存在睡眠意图，或者，仅存在一个检测结果为存在睡眠意图，则确定被检测对象在当前帧的睡眠意图检测结果为：不存在睡眠意图。以此，精准地检测睡眠意图，较少了误判的情况。
示例地，根据闭眼检测结果、姿态检测结果和睡眠分类检测结果确定睡眠意图检测结果时，可采用睡眠指数作为判断工具。具体地，设置初始睡眠指数为0。若闭眼检测结果为存在睡眠意图，则在初始睡眠指数的基础上加1，若闭眼检测结果为存在睡眠意图，则在初始睡眠指数的基础上加0。若姿态检测结果为存在睡眠意图，则在初始睡眠指数的基础上加1，若姿态检测结果为存在睡眠意图，则在初始睡眠指数的基础上加0。若睡眠分类检测结果为存在睡眠意图，则在初始睡眠指数的基础上加1，若睡眠分类检测结果为存在睡眠意图，则在初始睡眠指数的基础上加0。
根据三种检测结果对初始睡眠指数进行累加之后，睡眠指数可能的取值为：0、1、2、3。
当睡眠指数大于等于2时，即，闭眼检测结果、姿态检测结果和睡眠分类检测结果中存在两个检测结果为存在睡眠意图，则确定被检测对象在当前帧的睡眠意图检测结果为：存在睡眠意图。
当睡眠指数小于2时，即，闭眼检测结果、姿态检测结果和睡眠分类检测结果中均为不存在睡眠意图，或者，仅存在一个检测结果为存在睡眠意图，则确定被检测对象在当前帧的睡眠意图检测结果为：不存在睡眠意图。
综上，在本实施例中，若闭眼检测结果、姿态检测结果和睡眠分类检测结果中存在两个检测结果为存在睡眠意图，则确定被检测对象在当前帧的睡眠意图检测结果为：存在睡眠意图；若闭眼检测结果、姿态检测结果和睡眠分类检测结果中均为不存在睡眠意图，或者，仅存在一个检测结果为存在睡眠意图，则确定被检测对象在当前帧的睡眠意图检测结果为：不存在睡眠意图。从而，精准地检测睡眠意图。
在上述图1对应的实施例的基础上，本申请实施例还提供了另一种睡眠意图检测方法。图5为本申请实施例提供的另一种睡眠意图检测方法的流程示意图。如图5所示，该方法还包括：
S106、根据被检测对象在连续多帧的睡眠意图检测结果，得到被检测对象的目标睡眠意图检测结果。
在上述实施例中，是对一帧图像进行睡眠意图检测。而在现实世界中，仅凭一帧图像的检测结果作为目标睡眠意图检测结果，是不够精准的，可能会出现误判。例如，这一帧图像中的被检测对象恰巧处于眨眼时的闭眼状态，但下一帧又聚精会神地睁眼了。
因此，需要被检测对象在连续多帧的睡眠意图检测结果，得到被检测对象的目标睡眠意图检测结果。例如：获取连续20帧的睡眠意图检测结果。以此，得到更加精准的检测结果。
S107、若目标睡眠意图检测结果指示被检测对象存在睡眠意图，则输出报警提示信息。
示例地，报警提示信息可以是以文字的形式记录在册，例如检测教室中的学生的睡眠意图；报警提示信息可以也可以是以声、光的形式输出，例如检测驾驶室中的驾驶员的睡眠意图，以提醒驾驶员。
综上，在本实施例中，根据被检测对象在连续多帧的睡眠意图检测结果，得到被检测对象的目标睡眠意图检测结果；若目标睡眠意图检测结果指示被检测对象存在睡眠意图，则输出报警提示信息。从而，得到更加精准的检测结果，并实现提醒功能。
在上述图5对应的实施例的基础上，本申请实施例还提供了一种确定目标睡眠意图检测结果的方法。图6为本申请实施例提供的一种确定目标睡眠意图检测结果的方法的流程示意图。如图6所示，S106中的根据被检测对象在连续多帧的睡眠意图检测结果，得到被检测对象的目标睡眠意图检测结果，包括：
S501、确定被检测对象在连续多帧的睡眠意图检测结果中，存在睡眠意图的帧数。
例如，获取连续20帧的睡眠意图检测结果中，存在睡眠意图的帧数为15帧。
S502、若帧数大于或等于连续多帧的预设比例，则确定目标睡眠意图检测结果为：存在睡眠意图。
示例地，为精准地检测睡眠意图，可设置预设比例，例如预设比例为50％。若获取连续20帧的睡眠意图检测结果，则存在睡眠意图的帧数大于或等于10，则确定目标睡眠意图检测结果为：存在睡眠意图。
综上，在本实施例中，确定被检测对象在连续多帧的睡眠意图检测结果中，存在睡眠意图的帧数；若帧数大于或等于连续多帧的预设比例，则确定目标睡眠意图检测结果为：存在睡眠意图。从而，精准地检测睡眠意图。
下述对用以执行的本申请所提供的睡眠意图检测的装置、设备及存储介质等进行说明，其具体的实现过程以及技术效果参见上述，下述不再赘述。
图7为本申请实施例提供的一种睡眠意图检测装置的示意图。如图7所示，该装置包括：
人脸检测模块701，用于对预设场景中预设检测区域的帧图像进行人脸检测，得到预设检测区域内被检测对象的人脸图像。
闭眼检测模块702，用于对人脸图像进行闭眼检测，得到被检测对象的闭眼检测结果。
姿态检测模块703，用于对帧图像进行姿态检测，得到被检测对象的人体图像以及被检测对象的姿态检测结果。
分类检测模块704，用于对人体图像进行睡眠分类检测，得到被检测对象的睡眠分类检测结果。
确定模块705，用于根据闭眼检测结果、姿态检测结果和睡眠分类检测结果，得到被检测对象在帧图像对应当前帧的睡眠意图检测结果，睡眠意图检测结果为：当前帧中被检测对象是否存在睡眠意图。
进一步地，人脸检测模块701，具体用于对帧图像进行人脸检测，得到人脸位置；根据人脸位置，对帧图像进行剪裁，得到人脸图像。
进一步地，闭眼检测模块702，具体用于对人脸图像进行关键点检测，得到人脸图像中眼部关键点的位置；根据眼部关键点的位置进行闭眼检测，得到闭眼检测结果。
进一步地，姿态检测模块703，具体用于采用预设的人体姿态评估模型，对帧图像进行姿态检测，得到人体图像以及被检测对象的姿态检测结果。
进一步地，确定模块705，具体用于若闭眼检测结果、姿态检测结果和睡眠分类检测结果中存在两个检测结果为存在睡眠意图，则确定被检测对象在当前帧的睡眠意图检测结果为：存在睡眠意图；若闭眼检测结果、姿态检测结果和睡眠分类检测结果中均为不存在睡眠意图，或者，仅存在一个检测结果为存在睡眠意图，则确定被检测对象在当前帧的睡眠意图检测结果为：不存在睡眠意图。
进一步地，确定模块705，还用于根据被检测对象在连续多帧的睡眠意图检测结果，得到被检测对象的目标睡眠意图检测结果；若目标睡眠意图检测结果指示被检测对象存在睡眠意图，则输出报警提示信息。
进一步地，确定模块705，具体还用于确定被检测对象在连续多帧的睡眠意图检测结果中，存在睡眠意图的帧数；若帧数大于或等于连续多帧的预设比例，则确定目标睡眠意图检测结果为：存在睡眠意图。
图8为本申请实施例提供的一种电子设备的示意图，该电子设备可以是具备计算处理功能的设备。
该电子设备包括：处理器801、存储介质802。处理器801和存储介质802通过总线连接。
存储介质802用于存储程序，处理器801调用存储介质802存储的程序，以执行上述方法实施例。具体实现方式和技术效果类似，这里不再赘述。
可选地，本发明还提供一种存储介质，包括程序，该程序在被处理器执行时用于执行上述方法实施例。在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元，可以存储在一个存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(英文：processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(英文：Read-Only Memory，简称：ROM)、随机存取存储器(英文：Random Access Memory，简称：RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (10)

1.一种睡眠意图检测方法，其特征在于，所述方法包括：
对预设场景中预设检测区域的帧图像进行人脸检测，得到所述预设检测区域内被检测对象的人脸图像；
对所述人脸图像进行闭眼检测，得到所述被检测对象的闭眼检测结果；
对所述帧图像进行姿态检测，得到所述被检测对象的人体图像以及所述被检测对象的姿态检测结果；
对所述人体图像进行睡眠分类检测，得到所述被检测对象的睡眠分类检测结果；
根据所述闭眼检测结果、所述姿态检测结果和所述睡眠分类检测结果，得到所述被检测对象在所述帧图像对应当前帧的睡眠意图检测结果，所述睡眠意图检测结果为：所述当前帧中所述被检测对象是否存在睡眠意图。
2.根据权利要求1所述的方法，其特征在于，所述对预设场景中预设检测区域的帧图像进行人脸检测，得到所述预设检测区域内被检测对象的人脸图像，包括：
对所述帧图像进行人脸检测，得到人脸位置；
根据所述人脸位置，对所述帧图像进行剪裁，得到所述人脸图像。
3.根据权利要求1所述的方法，其特征在于，所述对所述人脸图像进行闭眼检测，得到所述被检测对象的闭眼检测结果，包括：
对所述人脸图像进行关键点检测，得到所述人脸图像中眼部关键点的位置；
根据所述眼部关键点的位置进行闭眼检测，得到所述闭眼检测结果。
4.根据权利要求1所述的方法，其特征在于，所述对所述帧图像进行姿态检测，得到所述被检测对象的人体图像以及所述被检测对象的姿态检测结果，包括：
采用预设的人体姿态评估模型，对所述帧图像进行姿态检测，得到所述人体图像以及所述被检测对象的姿态检测结果。
5.根据权利要求1所述的方法，其特征在于，所述根据所述闭眼检测结果、所述姿态检测结果和所述睡眠分类检测结果，得到所述被检测对象在所述帧图像对应当前帧中的睡眠意图检测结果，包括：
若所述闭眼检测结果、所述姿态检测结果和所述睡眠分类检测结果中存在两个检测结果为存在睡眠意图，则确定所述被检测对象在所述当前帧的睡眠意图检测结果为：存在睡眠意图；
若所述闭眼检测结果、所述姿态检测结果和所述睡眠分类检测结果中均为不存在睡眠意图，或者，仅存在一个检测结果为存在睡眠意图，则确定所述被检测对象在所述当前帧的睡眠意图检测结果为：不存在睡眠意图。
6.根据权利要求1所述的方法，其特征在于，所述方法还包括：
根据所述被检测对象在连续多帧的睡眠意图检测结果，得到所述被检测对象的目标睡眠意图检测结果；
若所述目标睡眠意图检测结果指示所述被检测对象存在睡眠意图，则输出报警提示信息。
7.根据权利要求6所述的方法，其特征在于，所述根据所述被检测对象在连续多帧的睡眠意图检测结果，得到所述被检测对象的目标睡眠意图检测结果，包括：
确定所述被检测对象在连续多帧的睡眠意图检测结果中，存在睡眠意图的帧数；
若所述帧数大于或等于所述连续多帧的预设比例，则确定所述目标睡眠意图检测结果为：存在睡眠意图。
8.一种睡眠意图检测装置，其特征在于，所述装置包括：
人脸检测模块，用于对预设场景中预设检测区域的帧图像进行人脸检测，得到所述预设检测区域内被检测对象的人脸图像；
闭眼检测模块，用于对所述人脸图像进行闭眼检测，得到所述被检测对象的闭眼检测结果；
姿态检测模块，用于对所述帧图像进行姿态检测，得到所述被检测对象的人体图像以及所述被检测对象的姿态检测结果；
分类检测模块，用于对所述人体图像进行睡眠分类检测，得到所述被检测对象的睡眠分类检测结果；
确定模块，用于根据所述闭眼检测结果、所述姿态检测结果和所述睡眠分类检测结果，得到所述被检测对象在所述帧图像对应当前帧的睡眠意图检测结果，所述睡眠意图检测结果为：所述当前帧中所述被检测对象是否存在睡眠意图。
9.一种电子设备，其特征在于，包括：处理器、存储介质，所述处理器与所述存储介质之间通过总线通信连接，所述存储介质存储有所述处理器可执行的程序指令，所述处理器调用存储介质中存储的程序，以执行如权利要求1至7任一所述的睡眠意图检测方法的步骤。
10.一种存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如权利要求1至7任一所述的睡眠意图检测方法的步骤。
CN202310185179.1A 2023-02-22 2023-02-22 一种睡眠意图检测方法、装置、设备及存储介质 Pending CN116152789A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310185179.1A CN116152789A (zh) 2023-02-22 2023-02-22 一种睡眠意图检测方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310185179.1A CN116152789A (zh) 2023-02-22 2023-02-22 一种睡眠意图检测方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN116152789A true CN116152789A (zh) 2023-05-23

Family

ID=86358098

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310185179.1A Pending CN116152789A (zh) 2023-02-22 2023-02-22 一种睡眠意图检测方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN116152789A (zh)

Similar Documents

Publication Publication Date Title
US11521497B2 (en) Method and system for recognition of objects near ship by using deep neural network
EP3961485A1 (en) Image processing method, apparatus and device, and storage medium
US11643076B2 (en) Forward collision control method and apparatus, electronic device, program, and medium
Fridman et al. ‘Owl’and ‘Lizard’: Patterns of head pose and eye pose in driver gaze classification
Das et al. On performance evaluation of driver hand detection algorithms: Challenges, dataset, and metrics
CN111860274B (zh) 基于头部朝向与上半身骨架特征的交警指挥手势识别方法
JP4745207B2 (ja) 顔特徴点検出装置及びその方法
KR102105954B1 (ko) 사고위험 감지시스템 및 감지방법
CN113657409A (zh) 车辆损失检测方法、装置、电子设备及存储介质
Kumtepe et al. Driver aggressiveness detection via multisensory data fusion
Pech et al. Head tracking based glance area estimation for driver behaviour modelling during lane change execution
CN116152863B (zh) 一种人员信息识别方法、装置、电子设备及存储介质
WO2023071024A1 (zh) 驾驶辅助模式切换方法、装置、设备及存储介质
Shan et al. Driver gaze region estimation based on computer vision
CN116152789A (zh) 一种睡眠意图检测方法、装置、设备及存储介质
Hwu et al. Matching Representations of Explainable Artificial Intelligence and Eye Gaze for Human-Machine Interaction
CN115393379A (zh) 一种数据标注方法及相关产品
CN109711260B (zh) 疲劳状态的检测方法、终端设备及介质
US20240054805A1 (en) Information processing apparatus, information processing method, and recording medium
Dehkordi et al. An effective system to detect face drowsiness status using local features in a hierarchical decision-making structure
CN116453194B (zh) 一种人脸属性判别方法及装置
US20210397826A1 (en) Object and keypoint detection system with low spatial jitter, low latency and low power usage
Nine et al. Dataset Evaluation for Multi Vehicle Detection using Vision Based Techniques
Antony et al. Driver Drowsiness Detection using Convoluted Neural Networks
Hong Active Safety Driving with Driver's Intention Identification and Behavior Prediction

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination