CN109598237A - 一种疲劳状态检测方法和装置 - Google Patents

一种疲劳状态检测方法和装置 Download PDF

Info

Publication number
CN109598237A
CN109598237A CN201811475389.XA CN201811475389A CN109598237A CN 109598237 A CN109598237 A CN 109598237A CN 201811475389 A CN201811475389 A CN 201811475389A CN 109598237 A CN109598237 A CN 109598237A
Authority
CN
China
Prior art keywords
detected value
image
value
motor unit
tof camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811475389.XA
Other languages
English (en)
Inventor
郑光璞
吴涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Pico Technology Co Ltd
Original Assignee
Qingdao Pico Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Pico Technology Co Ltd filed Critical Qingdao Pico Technology Co Ltd
Priority to CN201811475389.XA priority Critical patent/CN109598237A/zh
Publication of CN109598237A publication Critical patent/CN109598237A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/176—Dynamic expression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种疲劳状态检测方法和装置。疲劳状态检测方法包括：利用相机参数实时调整的TOF相机对用户摄像，获取用户的红外图像序列和深度图像序列，同时间拍摄的红外图像和深度图像的像素点之间一一对应；利用人脸识别模型对红外图像序列进行人脸识别，获取人脸位置和动作单元检测值，利用动作单元检测值实现疲劳状态检测；根据红外图像和深度图像像素点的对应关系，获取深度图像序列中人脸位置对应的深度信息，利用深度信息调整TOF相机的参数。本发明实时调整TOF相机与用户之间的距离，以获得更好的成像效果，进而提高基于图像识别处理得到的疲劳状态检测结果。

Description

一种疲劳状态检测方法和装置
技术领域
本发明涉及机器学习技术领域，尤其涉及一种疲劳状态检测方法和装置。
背景技术
由于疲劳驾驶是造成交通事故的重要原因之一，市场上对于疲劳检设备的需求日益增大，利用疲劳检测设备监测闭眼、打哈欠、低头等动作来判断驾驶员疲劳状态，进而选择相应的报警级别，这对于避免交通事故，提高行车安全有着重要意义。
现有技术中，大多是基于RGB相机或者红外相机并配合机器学习算法，通过人眼、人脸或嘴巴的实时状态进行疲劳状态检测。其中，使用RGB相机容易受到光照影响，例如在白天光照不均匀的情况下，不均匀的光线对图像的识别干扰极大，导致疲劳状态检测结果不准确；而使用红外相机可以避免光照影响，但由于红外相机采集的图片没有深度信息，无法得到相机和驾驶员之间的距离，当驾驶员或相机位置发生变动，无法根据距离调节亮度，进而影响疲劳状态检测结果的准确性。
发明内容
本发明提供了一种疲劳状态检测方法和装置，以解决现有技术无法准确识别驾驶员疲劳状态的问题。
本发明一方面提供了一种疲劳状态检测方法，包括：利用相机参数实时调整的TOF相机对用户摄像，获取用户的红外图像序列和深度图像序列，同时间拍摄的红外图像和深度图像的像素点之间一一对应；利用人脸识别模型对红外图像序列进行人脸识别，获取人脸位置和动作单元检测值，利用动作单元检测值实现疲劳状态检测；根据红外图像和深度图像像素点的对应关系，获取深度图像序列中人脸位置对应的深度信息，利用深度信息调整TOF相机的参数。
本发明一方面提供了一种疲劳状态检测装置，包括：图像获取单元，用于利用相机参数实时调整的TOF相机对用户摄像，获取用户的红外图像序列和深度图像序列，同时间拍摄的红外图像和深度图像的像素点之间一一对应；图像识别单元，用于利用人脸识别模型对红外图像序列进行人脸识别，获取人脸位置和动作单元检测值，利用动作单元检测值实现疲劳状态检测；相机调整单元，用于根据红外图像和深度图像像素点的对应关系，获取深度图像序列中人脸位置对应的深度信息，利用深度信息调整TOF相机的参数。
本发明利用TOF相机同时获得红外图和深度图，基于红外成像不受光照环境影响，可以准确识别疲劳状态，而深度图可以测算TOF相机与用户之间的距离变化，根据TOF相机与用户之间的距离实时调节亮度，进一步提高疲劳检测的准确性。
附图说明
图1为本发明实施例示出的疲劳状态检测方法的流程图；
图2为本发明实施例示出的动作单元检测值的变化情况示意图；
图3为本发明实施例示出的闭眼动作检测流程图；
图4为本发明实施例示出的张嘴动作检测流程图；
图5为本发明实施例示出的疲劳状态检测装置的结构框图；
图6为本发明实施例示出的疲劳状态检测装置的硬件结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
以下，将参照附图来描述本发明的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。
在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本发明。这里使用的词语“一”、“一个(种)”和“该”等也应包括“多个”、“多种”的意思，除非上下文另外明确指出。此外，在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。
附图中示出了一些方框图和/或流程图。应理解，方框图和/或流程图中的一些方框或其组合可以由计算机程序指令来实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，从而这些指令在由该处理器执行时可以创建用于实现这些方框图和/或流程图中所说明的功能/操作的装置。
因此，本发明的技术可以硬件和/或软件(包括固件、微代码等)的形式来实现。另外，本发明的技术可以采取存储有指令的机器可读介质上的计算机程序产品的形式，该计算机程序产品可供指令执行***使用或者结合指令执行***使用。在本发明的上下文中，机器可读介质可以是能够包含、存储、传送、传播或传输指令的任意介质。例如，机器可读介质可以包括但不限于电、磁、光、电磁、红外或半导体***、装置、器件或传播介质。机器可读介质的具体示例包括：磁存储装置，如磁带或硬盘(HDD)；光存储装置，如光盘(CD-ROM)；存储器，如随机存取存储器(RAM)或闪存；和/或有线/无线通信链路。
本发明一方面提供一种疲劳状态检测方法。
图1为本发明实施例示出的疲劳状态检测方法的流程图，如图1所示，本实施例的方法包括：
S110，利用相机参数实时调整的TOF相机对用户摄像，获取用户的红外图像序列和深度图像序列，同时间拍摄的红外图像和深度图像的像素点之间一一对应。
TOF相机为采用飞行时间(Time of Flight，TOF)技术的相机，即传感器发出经调制的近红外光，遇物体后反射，传感器通过计算光线发射和反射时间差或相位差，来获得被拍摄物体的距离，以产生深度信息，此外再结合传统的相机拍摄，就能将物体的三维轮廓以不同颜色代表不同距离的地形图方式呈现出来。
S120，利用人脸识别模型对红外图像序列进行人脸识别，获取人脸位置和动作单元检测值，利用动作单元检测值实现疲劳状态检测。
S130，根据红外图像和深度图像像素点的对应关系，获取深度图像序列中人脸位置对应的深度信息，利用深度信息调整所述TOF相机的参数。
其中，深度信息表示TOF相机与人脸之间的距离。
本实施例利用TOF相机同时获得红外图和深度图，红外成像不受光照环境影响，可以准确识别疲劳状态，而深度图可以测算TOF相机与用户之间的距离变化，根据距离调节亮度，进一步提高疲劳检测的准确性。
图2为本发明实施例示出的动作单元检测值的变化情况示意图，图3为本发明实施例示出的闭眼动作检测流程图，图4为本发明实施例示出的张嘴动作检测流程图，下面结合如图2-4对上述步骤S110-S130进行详细说明。
首先，执行步骤S110，即利用相机参数实时调整的TOF相机对用户摄像，获取用户的红外图像序列和深度图像序列，同时间拍摄的红外图像和深度图像的像素点之间一一对应。
本实施例利用TOF相机可以得到红外图像序列和深度图像序列，由于红外图像序列和深度图像序列是由同一个传感器产生，因此同时间拍摄得到的红外图像帧和深度图像帧之间的像素点是一一对应的。本实施例可以利用同时间拍摄得到的红外图像帧和深度图像帧像素点之间的对应关系获得每帧深度图像中人脸位置，进而获得人脸相对TOF相机的距离。
在获得红外图像序列和深度图像序列之后，继续执行步骤S120，即利用人脸识别模型对红外图像序列进行人脸识别，获取人脸位置和动作单元检测值，利用动作单元检测值实现疲劳状态检测。
本实施例根据下述方法获取人脸位置和动作单元检测值：首先利用OpenFace人脸识别模型中的线性支持向量器对红外图像序列进行识别，获得人脸位置的像素点信息，以及获得动作单元检测值的变化情况，动作单元检测值的变化情况包括嘴唇动作检测值变化情况和眼睛动作检测值变化情况，嘴唇动作检测值的变化表示是否发生张开嘴巴的动作，眼睛动作检测值的变化情况表示是否发生眨眼动作；然后根据动作单元检测值的变化情况进行疲劳状态检测；最后根据发生的打哈欠动作和/或闭眼动作识别疲劳状态，例如当发生打哈欠动作和闭眼动作时，识别用户处于非常疲劳状态，当只发生打哈欠动作时，识别用户处于较疲劳状态，当只发生闭眼动作时，识别用户处于一般疲劳状态。
在本实施例中，可以开辟动作单元检测值(即Action Units，AU)计算线程，利用动作单元检测值计算线程进行人脸位置检测和AU值的计算，例如在OpenFace人脸识别模型中使用线性支持向量器(linear kernel Support VectorMachine)对AU的存在性进行预测，在确定存在AU时，使用线性支持向量回归(linear kernel Support Vector Regression)对AU值进行计算。开辟疲劳行为检测线程进行疲劳检测。
在OpenFace中，本实施例AU25和AU26属于嘴唇动作检测，用于识别打哈欠；AU45属于眨眼动作检测，用于识别闭眼。
在OpenFace人脸识别模型中使用线性支持向量回归可以计算得到每帧红图像中的AU45值，对于红外图像序列，当存在闭眼动作时，计算得到AU45值的变化情况如图2所示，AU45的值会发生急剧上升，并平稳保持一段时间，张开眼睛时就又迅速回落，那么根据此规律本实施例在眼睛动作检测值持续大于眨眼特征值的时间大于第二时间阈值，确定发生闭眼动作。
如图3所示，根据计算得到的AU45值，可以判断红外图像序列中是否存在AU45值突变的第一红外图像帧Up Frame，当没有存在第一红外图像帧UpFrame时确定没有发生闭眼动作，处于正常Normal状态；当存在第一红外图像帧Up Frame时，进行突变值检测UpDetect，在没有检测到AU45值等于或大于眨眼特征值Hold Frame时，确定没有发生闭眼动作，处于正常Normal状态；在检测到AU45值等于或大于眨眼特征值时，进行闭眼检测CloseEyeDetect，当AU45值等于或大于眨眼特征值的持续时间Hold on Time大于第二时间阈值T2时，确定发生闭眼动作，否则，在AU45值等于或大于眨眼特征值的持续时间Hold on Time不大于第二时间阈值T2时，确定没有发生闭眼动作，处于正常Normal状态。
同样的，在OpenFace人脸识别模型中使用线性支持向量回归可以计算得到每帧红外图像中的AU25值和AU26值，对于红外图像序列，当存在打哈欠动作时，计算得到AU25值和AU26值的变化情况均如图2所示，AU25值和AU26值均会发生急剧上升，并平稳保持一段时间，闭上嘴巴时就又迅速回落，那么根据此规律本实施例在嘴唇动作检测值持续大于张嘴特征值的时间大于第一时间阈值时，确定发生打哈欠动作。
如图4所示，根据计算得到的AU25值和AU26值，可以判断红外图像序列中是否存在AU25值和AU26值突变的第二红外图像帧Up Frame’，当没有存在第二红外图像帧Up Frame’时确定没有发生打哈欠动作，处于正常Normal状态；当存在第二红外图像帧Up Frame’时，进行突变值检测Up Detect，在没有检测到AU25值和AU26值等于或大于张嘴特征值HoldFrame’时，确定没有发生打哈欠动作，处于正常Normal状态；在检测到AU25值和AU26值等于或大于打哈欠特征值时，进行打哈欠检测Open Mouth Detect，当AU25值和AU26值等于或大于张嘴特征值的持续时间Hold on Time’大于第一时间阈值T1时，确定发生打哈欠动作，否则，在AU25值和AU26值等于或大于张嘴特征值的持续时间Hold on Time’不大于第一时间阈值T1时，确定没有发生打哈欠动作，处于正常Normal状态。
在实现疲劳状态检测之后，继续执行步骤S130，即根据红外图像和深度图像像素点的对应关系，获取深度图像序列中人脸位置对应的深度信息，利用深度信息调整TOF相机的参数。
本实施例中的深度信息为每帧深度图像中人脸位置对应的人脸区域内各像素点深度值之和的平均值，相机参数包括增益参数Gain和激光亮度参数Pulsecnt。
本实施例可以开辟相机参数调整线程进行参数调整，利用深度信息所指示的TOF相机与人脸之间的距离，在根据深度信息确定用户与TOF相机距离变近时，调小TOF相机的增益参数Gain和激光亮度参数Pulsecnt，使亮度变暗；在根据深度信息确定用户与TOF相机距离变远时，调大TOF相机的增益参数Gain和激光亮度参数Pulsecnt，使亮度变亮，以达到更好的成像效果，使疲劳检测更准确。
本实施例启用多线程进行疲劳状态检测，能够提高检测速度，并利用OpenFace人脸识别模型，基于动作单元检测值的变化情况识别闭眼、打哈欠等状态进而进行疲劳检测，逻辑简单、检测效果准确度高。
本发明另一方面提供一种疲劳状态检测装置。
图5为本发明实施例示出的疲劳状态检测装置的结构框图，如图5所示，本实施例的控制装置包括：
图像获取单元51，用于利用相机参数实时调整的TOF相机对用户摄像，获取用户的红外图像序列和深度图像序列，同时间拍摄的红外图像和深度图像的像素点之间一一对应；
图像识别单元52，用于利用人脸识别模型对红外图像序列进行人脸识别，获取人脸位置和动作单元检测值，利用动作单元检测值实现疲劳状态检测；
相机调整单元53，用于根据红外图像和深度图像像素点的对应关系，获取深度图像序列中所述人脸位置对应的深度信息，利用深度信息调整TOF相机的参数。
本实施例中的深度信息为深度图像中人脸位置对应的人脸区域内各像素点深度值之和的平均值。
在本实施例中，图像识别单元52用于利用OpenFace人脸识别模型中的线性支持向量器对红外图像序列进行识别，获得人脸位置的像素点信息，以及获得动作单元检测值的变化情况，动作单元检测值的变化情况包括嘴唇动作检测值变化情况和眼睛动作检测值变化情况，嘴唇动作检测值的变化表示是否发生张开嘴巴的动作，眼睛动作检测值的变化情况表示是否发生眨眼动作；根据动作单元检测值的变化情况进行疲劳状态检测。
图像识别单元52还用于在嘴唇动作检测值持续大于张嘴特征值的时间大于第一时间阈值时，确定发生打哈欠动作；在眼睛动作检测值持续大于眨眼特征值的时间大于第二时间阈值，确定发生闭眼动作；根据发生的打哈欠动作和/或闭眼动作识别疲劳状态。
在本实施例中，相机调整单元53用于在根据深度信息确定用户与TOF相机距离变近时，调小TOF相机的增益参数和激光亮度参数，使亮度变暗；在根据深度信息确定用户与TOF相机距离变远时，调大TOF相机的增益参数和激光亮度参数，使亮度变亮。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
本发明提供的疲劳状态检测装置可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，参照图6所示，本发明提供的疲劳状态检测装置可包括处理器601、存储有机器可执行指令的机器可读存储介质602。处理器601与机器可读存储介质602可经由***总线603通信。并且，通过读取并执行机器可读存储介质602中与控制逻辑对应的机器可执行指令，处理器601可执行上文描述的疲劳状态检测方法。
本发明中提到的机器可读存储介质602可以是任何电子、磁性、光学或其它物理存储装置，可以包含或存储信息，如可执行指令、数据，等等。例如，机器可读存储介质可以是：RAM(Radom Access Memory，随机存取存储器)、易失存储器、非易失性存储器、闪存、存储驱动器(如硬盘驱动器)、固态硬盘、任何类型的存储盘(如光盘、DVD等)，或者类似的存储介质，或者它们的组合。
根据本发明公开的示例，本发明还提供了一种包括机器可执行指令的机器可读存储介质，例如图6中的机器可读存储介质602，机器可执行指令可由疲劳状态检测装置中的处理器601执行以实现上文描述的疲劳状态检测方法。
以上所述，仅为本发明的具体实施方式，在本发明的上述教导下，本领域技术人员可以在上述实施例的基础上进行其他的改进或变形。本领域技术人员应该明白，上述的具体描述只是更好的解释本发明的目的，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种疲劳状态检测方法，其特征在于，所述方法包括：
利用相机参数实时调整的TOF相机对用户摄像，获取用户的红外图像序列和深度图像序列，同时间拍摄的红外图像和深度图像的像素点之间一一对应；
利用人脸识别模型对所述红外图像序列进行人脸识别，获取人脸位置和动作单元检测值，利用所述动作单元检测值实现疲劳状态检测；
根据红外图像和深度图像像素点的对应关系，获取所述深度图像序列中所述人脸位置对应的深度信息，利用所述深度信息调整所述TOF相机的参数。
2.根据权利要求1所述的方法，其特征在于，所述利用人脸识别模型对所述红外图像序列进行人脸识别，获取人脸位置和动作单元检测值，利用所述动作单元检测值实现疲劳状态检测，包括：
利用OpenFace人脸识别模型中的线性支持向量器对所述红外图像序列进行识别，获得人脸位置的像素点信息，以及获得所述动作单元检测值的变化情况，所述动作单元检测值的变化情况包括嘴唇动作检测值变化情况和眼睛动作检测值变化情况，所述嘴唇动作检测值的变化表示是否发生张开嘴巴的动作，所述眼睛动作检测值的变化情况表示是否发生眨眼动作；
根据所述动作单元检测值的变化情况进行疲劳状态检测。
3.根据权利要求2所述的方法，其特征在于，所述根据所述动作单元检测值的变化情况进行疲劳状态检测，包括：
在所述嘴唇动作检测值持续大于张嘴特征值的时间大于第一时间阈值时，确定发生打哈欠动作；
在所述眼睛动作检测值持续大于眨眼特征值的时间大于第二时间阈值，确定发生闭眼动作；
根据发生的打哈欠动作和/或闭眼动作识别疲劳状态。
4.根据权利要求1所述的方法，其特征在于，所述深度信息为深度图像中所述人脸位置对应的人脸区域内各像素点深度值之和的平均值。
5.根据权利要求1所述的方法，其特征在于，所述根据所述深度信息调整所述TOF相机的参数，包括：
在根据所述深度信息确定用户与所述TOF相机距离变近时，调小TOF相机的增益参数和激光亮度参数，使亮度变暗；
在根据所述深度信息确定用户与所述TOF相机距离变远时，调大TOF相机的增益参数和激光亮度参数，使亮度变亮。
6.一种疲劳状态检测装置，其特征在于，所述装置包括：
图像获取单元，用于利用相机参数实时调整的TOF相机对用户摄像，获取用户的红外图像序列和深度图像序列，同时间拍摄的红外图像和深度图像的像素点之间一一对应；
图像识别单元，用于利用人脸识别模型对所述红外图像序列进行人脸识别，获取人脸位置和动作单元检测值，利用所述动作单元检测值实现疲劳状态检测；
相机调整单元，用于根据红外图像和深度图像像素点的对应关系，获取所述深度图像序列中所述人脸位置对应的深度信息，利用所述深度信息调整所述TOF相机的参数。
7.根据权利要求6所述的装置，其特征在于，
所述图像识别单元，用于利用OpenFace人脸识别模型中的线性支持向量器对所述二维图像序列进行识别，获得人脸位置的像素点信息，以及获得所述动作单元检测值的变化情况，所述动作单元检测值的变化情况包括嘴唇动作检测值变化情况和眼睛动作检测值变化情况，所述嘴唇动作检测值的变化表示是否发生张开嘴巴的动作，所述眼睛动作检测值的变化情况表示是否发生眨眼动作；根据所述动作单元检测值的变化情况进行疲劳状态检测。
8.根据权利要求7所述的装置，其特征在于，
所述图像识别单元，还用于在所述嘴唇动作检测值持续大于张嘴特征值的时间大于第一时间阈值时，确定发生打哈欠动作；在所述眼睛动作检测值持续大于眨眼特征值的时间大于第二时间阈值，确定发生闭眼动作；根据发生的打哈欠动作和/或闭眼动作识别疲劳状态。
9.根据权利要求6所述的装置，其特征在于，所述深度信息为深度图像中所述人脸位置对应的人脸区域内各像素点深度值之和的平均值。
10.根据权利要求6所述的装置，其特征在于，
所述相机调整单元，用于在根据所述深度信息确定用户与所述TOF相机距离变近时，调小TOF相机的增益参数和激光亮度参数，使亮度变暗；在根据所述深度信息确定用户与所述TOF相机距离变远时，调大TOF相机的增益参数和激光亮度参数，使亮度变亮。
CN201811475389.XA 2018-12-04 2018-12-04 一种疲劳状态检测方法和装置 Pending CN109598237A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811475389.XA CN109598237A (zh) 2018-12-04 2018-12-04 一种疲劳状态检测方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811475389.XA CN109598237A (zh) 2018-12-04 2018-12-04 一种疲劳状态检测方法和装置

Publications (1)

Publication Number Publication Date
CN109598237A true CN109598237A (zh) 2019-04-09

Family

ID=65961290

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811475389.XA Pending CN109598237A (zh) 2018-12-04 2018-12-04 一种疲劳状态检测方法和装置

Country Status (1)

Country Link
CN (1) CN109598237A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110334629A (zh) * 2019-06-26 2019-10-15 湖北秉正讯腾科技有限公司 可多方位检测距离的方法、装置及可读存储介质
CN113504890A (zh) * 2021-07-14 2021-10-15 炬佑智能科技(苏州)有限公司 基于ToF相机的扬声器组件的控制方法、装置、设备和介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104504856A (zh) * 2014-12-30 2015-04-08 天津大学 基于Kinect及人脸识别的疲劳驾驶检测方法
CN105769120A (zh) * 2016-01-27 2016-07-20 深圳地平线机器人科技有限公司 疲劳驾驶检测方法和装置
CN106851123A (zh) * 2017-03-09 2017-06-13 广东欧珀移动通信有限公司 曝光控制方法、曝光控制装置及电子装置
CN107333070A (zh) * 2017-07-12 2017-11-07 江苏集萃有机光电技术研究所有限公司 图像获取方法及诊断仪
CN108537155A (zh) * 2018-03-29 2018-09-14 广东欧珀移动通信有限公司 图像处理方法、装置、电子设备及计算机可读存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104504856A (zh) * 2014-12-30 2015-04-08 天津大学 基于Kinect及人脸识别的疲劳驾驶检测方法
CN105769120A (zh) * 2016-01-27 2016-07-20 深圳地平线机器人科技有限公司 疲劳驾驶检测方法和装置
CN106851123A (zh) * 2017-03-09 2017-06-13 广东欧珀移动通信有限公司 曝光控制方法、曝光控制装置及电子装置
CN107333070A (zh) * 2017-07-12 2017-11-07 江苏集萃有机光电技术研究所有限公司 图像获取方法及诊断仪
CN108537155A (zh) * 2018-03-29 2018-09-14 广东欧珀移动通信有限公司 图像处理方法、装置、电子设备及计算机可读存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110334629A (zh) * 2019-06-26 2019-10-15 湖北秉正讯腾科技有限公司 可多方位检测距离的方法、装置及可读存储介质
CN110334629B (zh) * 2019-06-26 2022-12-23 如隆智能科技(嘉兴)有限公司 可多方位检测距离的方法、装置及可读存储介质
CN113504890A (zh) * 2021-07-14 2021-10-15 炬佑智能科技(苏州)有限公司 基于ToF相机的扬声器组件的控制方法、装置、设备和介质

Similar Documents

Publication Publication Date Title
US10839547B2 (en) Camera pose determination and tracking
CN109670421B (zh) 一种疲劳状态检测方法和装置
JP7076368B2 (ja) レンジゲート式デプスカメラ部品
Weikersdorfer et al. Event-based 3D SLAM with a depth-augmented dynamic vision sensor
TW201915831A (zh) 對象識別方法
KR101550474B1 (ko) 양안을 찾아내어 추적하는 방법 및 장치
EP3817360A1 (en) Method for tracking target in panoramic video, and panoramic camera
JP2021114307A (ja) 情報処理装置、情報処理方法及びプログラム
US9779511B2 (en) Method and apparatus for object tracking and 3D display based thereon
JP2017223648A (ja) 飛行時間型深度イメージングの際の消費電力の低減
CN104103030B (zh) 图像分析方法、照相机装置、控制装置及控制方法
CN112396116B (zh) 一种雷电检测方法、装置、计算机设备及可读介质
JP2020078058A (ja) 画像処理装置、監視システム、画像処理方法、及びプログラム
CN108446585A (zh) 目标跟踪方法、装置、计算机设备和存储介质
US20120026335A1 (en) Attribute-Based Person Tracking Across Multiple Cameras
CN102542552B (zh) 视频图像的顺逆光判断和拍摄时间检测方法
JP2017010337A (ja) 瞳孔検出プログラム、瞳孔検出方法、瞳孔検出装置および視線検出システム
CN110046560A (zh) 一种危险驾驶行为检测方法和相机
US10679376B2 (en) Determining a pose of a handheld object
CN105469427B (zh) 一种用于视频中目标跟踪方法
WO2017165332A1 (en) 2d video analysis for 3d modeling
CN112153363B (zh) 用于3d角膜位置估计的方法和***
CN109598237A (zh) 一种疲劳状态检测方法和装置
CN113545028B (zh) 用于面部认证的增益控制
WO2022198508A1 (zh) 镜头异常提示方法、装置、可移动平台及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190409