CN110278367B

CN110278367B - 基于拍摄装置的人眼检测方法、***、设备及其介质

Info

Publication number: CN110278367B
Application number: CN201810210493.XA
Authority: CN
Inventors: 安部元幸; 孟毅; 邹子君
Original assignee: Xiamen Clarion Electronics Enterprise Co Ltd
Current assignee: Xiamen Clarion Electronics Enterprise Co Ltd
Priority date: 2018-03-14
Filing date: 2018-03-14
Publication date: 2021-11-19
Anticipated expiration: 2038-03-14
Also published as: CN110278367A

Abstract

本发明涉及监控领域，公开了一种基于拍摄装置的人眼检测方法、***、设备及其介质。本发明中的人眼检测方法包括以下步骤：获取由拍摄装置拍摄的被检测人的多帧连续图像，其中，图像在拍摄时，被检测人的双眼之间的连线与图像传感器的像素阵列中的行或者列成一定夹角，并且夹角大于零；根据拍摄装置的曝光速度和多帧连续图像中的人眼部分，确定被检测人的眼睛开闭状态。本发明可有效提高对人眼的检测频率，从而有效提高对人眼闭合状态的检测准确度。

Description

基于拍摄装置的人眼检测方法、***、设备及其介质

技术领域

本发明涉及监控领域，特别涉及一种基于拍摄装置的人眼检测方法、***、设备及其介质。

背景技术

与疲劳驾驶有关的交通事故一直频发，因此，针对疲劳驾驶的驾驶员状态检测有着重要的意义。

在对驾驶员状态进行检测的过程中，可以利用检测心跳、脉搏等接触性手段检测驾驶员的状态，也可以利用拍摄装置通过对驾驶员面部宏观运动和局部运动进行图像检测来分析和推测驾驶员的状态。基于拍摄装置的驾驶员状态检测，由于非接触、对驾驶员无干扰等优点在驾驶员状态检测中获得了广泛的应用。通过图像检测来分析和推测驾驶员的状态包括对驾驶员双眼开闭状态的检测。

目前拍摄装置中图像传感器通常采用的电子快门的方式有全局快门(Globalshutter)和卷帘式快门(rolling shutter)两种，全局快门是通过整幅图片在同一时间曝光实现的。传感器的所有像素点同时收集光线，同时曝光。卷帘式快门与全局快门不同，它是通过控制芯片逐行曝光的方式实现的。卷帘式快门也没有实际意义上的快门，而是通过通断电控制传感器，使其不同部分在不同时间下对光的敏感度不同。逐行进行曝光，直至所有像素点都被曝光。其中，卷帘式快门由于价格便宜、后续数据处理方便得到广泛的使用。

但是，使用卷帘式快门的拍摄装置在对驾驶员双眼开闭状态进行检测时，存在如下问题：

拍摄装置无法检测到在两帧图像被拍摄之间发生的人眼开闭活动。因为一般在采用拍摄装置时，人眼之间的连线与其图像传感器的像素阵列中的行或者列平行(一般与行平行)，在曝光时，两只眼睛在同一时间被曝光。例如，图1(a)示出了被检测人的闭眼行为发生在t₁-t₂时间段，图1(b)示出了常用的(人双眼与像素阵列的行平行)采用卷帘式快门的拍摄装置拍摄的人眼的状态。可以看出，图1(a)所示的闭眼行为正好发生在该拍摄装置曝光人眼部分的两次时间之间，因此无法检测到这一闭眼行为。

发明内容

本发明的目的在于提供一种基于拍摄装置的人眼检测方法、***、设备及其介质，可有效提高对人眼的检测频率，从而有效提高对人眼闭合状态的检测准确度。

为解决上述技术问题，本发明的实施方式公开了一种基于拍摄装置的人眼检测方法，其中，拍摄装置包括具有卷帘式快门的图像传感器；该方法包括：

获取由拍摄装置拍摄的被检测人的多帧连续图像，其中，图像在拍摄时，被检测人的双眼之间的连线与图像传感器的像素阵列中的行或者列成一定夹角，并且夹角大于零；

根据拍摄装置的曝光速度和多帧连续图像中的人眼部分，确定被检测人的眼睛开闭状态。

在一示例中，确定被检测人的眼睛开闭状态包括：

根据拍摄装置的行曝光时间、夹角和图像中被检测人双眼之间的距离，计算每帧图像中被检测人双眼的曝光时间差；

根据对应多帧连续图像中的每帧图像的曝光时间差和图像中的人眼部分，确定被检测人的眼睛开闭状态。

在另一示例中，上述被检测人为车辆驾驶员，拍摄装置被安装在驾驶员的驾驶车辆中。

本发明的实施方式还公开了一种基于拍摄装置的人眼检测***，其中，拍摄装置包括具有卷帘式快门的图像传感器；该***包括

获取单元，用于获取由拍摄装置拍摄的被检测人的多帧连续图像，其中，图像在拍摄时，被检测人的双眼之间的连线与图像传感器的像素阵列中的行或者列成一定夹角，并且夹角大于零；

确定单元，用于根据拍摄装置的曝光速度和多帧连续图像中的人眼部分，确定被检测人的眼睛开闭状态。

在一示例中，被检测人为驾驶员，拍摄装置被安装在驾驶员的驾驶车辆中；并且确定单元包括：

计算子单元，用于根据拍摄装置的行曝光时间、夹角和图像中被检测人双眼之间的距离，计算每帧图像中被检测人双眼的曝光时间差；

确定子单元，用于根据对应多帧连续图像中的每帧图像的曝光时间差和图像中的人眼部分，确定被检测人的眼睛开闭状态。

本发明的实施方式还公开了一种设备，该设备包括存储有计算机可执行指令的存储器和处理器，处理器被配置为执行指令以实施基于拍摄装置的人眼检测方法，其中，拍摄装置包括具有卷帘式快门的图像传感器；

基于拍摄装置的人眼检测方法包括：

在一示例中，确定被检测人的眼睛开闭状态包括：

本发明的实施方式还公开了一种使用计算机程序编码的非易失性计算机存储介质，计算机程序包括指令，当指令被一个以上的计算机执行时，指令使得一个以上的计算机执行操作，操作包括：

在另一示例中，指令进一步可操作为执行操作，操作包括：

本发明实施方式与现有技术相比，主要区别及其效果在于：

通过采用卷帘式快门的拍摄装置，并将拍摄装置中图像传感器的像素阵列与人眼连线相倾斜设置，能有效提高对人眼的检测频率，从而有效提高对人眼闭合状态的检测准确度。

进一步地，通过有效提高人眼闭合状态检测的准确度，来提高对驾驶员疲劳驾驶状态的检测准确度。

附图说明

图1(a)是被检测人一次闭眼行为的示意图；图1(b)是现有技术中采用卷帘门式快门的拍摄装置检测到的人眼状态的示意图；图1(c)是本发明第一实施方式中采用卷帘门式快门的拍摄装置检测到的人眼状态的示意图。

图2是本发明第一实施方式中被检测人的双眼连线与图像传感器的像素阵列之间的位置关系示意图。

图3是本发明第一实施方式中的基于拍摄装置的人眼检测方法的流程示意图；

图4是本发明第二实施方式中基于拍摄装置的人眼检测***的结构示意图。

具体实施方式

在以下的叙述中，为了使读者更好地理解本申请而提出了许多技术细节。但是，本领域的普通技术人员可以理解，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请各权利要求所要求保护的技术方案。

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明的实施方式作进一步地详细描述。

本发明第一实施方式涉及一种基于拍摄装置的人眼检测方法。图3是该人眼检测方法的流程示意图。

具体地，如图1所示，该方法包括以下步骤：

在步骤301中，获取由拍摄装置拍摄的被检测人的多帧连续图像，其中，图像在拍摄时，被检测人的双眼之间的连线与图像传感器的像素阵列中的行或者列成一定夹角，并且夹角大于零。其中，拍摄装置包括具有卷帘式快门的图像传感器。例如，图2示出了被检测人双眼与像素阵列的位置关系示意图，在图2中，箭头E表示采用卷帘式快门的图像传感器进行逐行扫描的扫描方向，直线A和B分别表示被检测人的两只眼睛在像素阵列中所处的行，直线D表示该像素阵列的行的方向。可以看出，双眼之间的连线C与表示像素阵列中的行的直线A或B或C呈一定夹角θ。

此外，可以理解，本发明所指拍摄装置是能够连续拍摄图像的装置，如摄像机、摄像头等。

此后进入步骤302。根据拍摄装置的曝光速度和多帧连续图像中的人眼部分，确定被检测人的眼睛开闭状态。

可以理解，眼睛开闭状态包括眼睛处于睁开状态、闭合状态、或者处于睁开和闭合之间的状态。例如，可以采用眼睛的闭合程度表示眼睛的开闭状态，当人眼完全闭合时，眼睛的闭合程度为100％，当人眼完全睁开时，闭合程度为0。

此外，可以理解，拍摄装置的曝光速度包括其曝光像素阵列中的一行像素所需的曝光时间，此外还可以包括表示拍摄装置的曝光速度的其他参数，在此不做限制。

下面将参考图1(c)和图2，详细说明确定被检测人的眼睛开闭状态的一具体方式：

1)根据拍摄装置的行曝光时间t₀、夹角θ和图像中被检测人双眼之间的距离s，计算每帧图像中被检测人双眼的曝光时间差Δt。例如，可通过以下公式计算Δt：

Δt＝t₀×s×sinθ

可以理解，在本发明的各实施方式中，行曝光时间指的是采用卷帘门式快门的图像传感器曝光像素阵列中的一行像素所需的曝光时间。

2)根据对应多帧连续图像中的每帧图像的曝光时间差和图像中的人眼部分，确定被检测人的眼睛开闭状态。例如，对于图2所示的图像，在t1时刻，图像中的眼睛R开始曝光，其闭合程度为30％；而在t2时刻，图像中的眼睛L开始曝光，其闭合程度为60％。可以推测人眼有闭眼趋势，同时通过对该帧图像的前几帧或者后几帧图像的相同测量，来推测眼睛是否发生闭合，例如在该图像的下一帧图像中眼睛R和L的闭合程度分别为100％和0，则可判断出被检测人有一次闭眼行为。

可以理解的是，本发明的中的具体例子均为示例性的，其中的数字或者具体步骤根据实际情况，可进行相应的变化，但是其变化都在本申请所主张保护的范围之内。

此后结束本流程。

对于上述方法，可将其应用在驾驶员的驾驶状态监控领域，即被检测人为车辆驾驶员，拍摄装置被安装在驾驶员的驾驶车辆中。在该应用情景中，拍摄装置一般为摄像头，其被安装在方向盘上，用于检测驾驶员在驾驶过程中的状态。

本方法可提高人眼闭合状态检测的准确度，因而其有助于提高对驾驶员疲劳驾驶状态的检测准确度。基于本方法，本领域技术人员可以采用各种现有手段对驾驶员是否进行疲劳驾驶进行分析。

本发明通过采用卷帘式快门的拍摄装置，并将拍摄装置中图像传感器的像素阵列与人眼连线相倾斜设置，能有效提高对人眼的检测频率，从而有效提高对人眼闭合状态的检测准确度。

本发明的第二实施方式涉及一种基于拍摄装置的人眼检测***，其中，拍摄装置包括具有卷帘式快门的图像传感器。图4是该人眼检测***的结构示意图。具体地，如图4所示，该***包括：

获取单元，用于获取由拍摄装置拍摄的被检测人的多帧连续图像，其中，图像在拍摄时，被检测人的双眼之间的连线与图像传感器的像素阵列中的行或者列成一定夹角，并且夹角大于零。

在一优选例中，被检测人为驾驶员，拍摄装置被安装在驾驶员的驾驶车辆中。

在另一优选例中，确定单元包括：

第一实施方式是与本实施方式相对应的方法实施方式，本实施方式可与第一实施方式互相配合实施。第一实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在第一实施方式中。

本发明的第三实施方式涉及一种设备，该设备包括存储有计算机可执行指令的存储器和处理器，处理器被配置为执行指令以实施基于拍摄装置的人眼检测方法，其中，拍摄装置包括具有卷帘式快门的图像传感器；基于拍摄装置的人眼检测方法包括：

在一示范例中，确定被检测人的眼睛开闭状态包括：

在另一示范例中，被检测人为车辆驾驶员，拍摄装置被安装在驾驶员的驾驶车辆中。

本发明的第四实施方式涉及一种使用计算机程序编码的非易失性计算机存储介质，计算机程序包括指令，当指令被一个以上的计算机执行时，指令使得一个以上的计算机执行操作，操作包括：

在一示范例中，指令进一步可操作为执行操作，操作包括：

本发明的各方法实施方式均可以以软件、硬件、固件等方式实现。不管本发明是以软件、硬件、还是固件方式实现，指令代码都可以存储在任何类型的计算机可访问的存储器中(例如永久的或者可修改的，易失性的或者非易失性的，固态的或者非固态的，固定的或者可更换的介质等等)。同样，存储器可以例如是可编程阵列逻辑(Programmable ArrayLogic，简称“PAL”)、随机存取存储器(Random Access Memory，简称“RAM”)、可编程只读存储器(Programmable Read Only Memory，简称“PROM”)、只读存储器(Read-Only Memory，简称“ROM”)、电可擦除可编程只读存储器(Electrically Erasable Programmable ROM，简称“EEPROM”)、磁盘、光盘、数字通用光盘(Digital Versatile Disc，简称“DVD”)等等。

需要说明的是，本发明各设备实施方式中提到的各单元/模块都是逻辑单元/模块，在物理上，一个逻辑单元可以是一个物理单元，也可以是一个物理单元的一部分，还可以以多个物理单元的组合实现，这些逻辑单元本身的物理实现方式并不是最重要的，这些逻辑单元所实现的功能的组合才是解决本发明所提出的技术问题的关键。此外，为了突出本发明的创新部分，本发明上述各设备实施方式并没有将与解决本发明所提出的技术问题关系不太密切的单元引入，这并不表明上述设备实施方式并不存在其它的单元。

需要说明的是，在本专利的权利要求和说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

虽然通过参照本发明的某些优选实施方式，已经对本发明进行了图示和描述，但本领域的普通技术人员应该明白，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。

Claims

1.一种基于拍摄装置的人眼检测方法，其特征在于，所述拍摄装置包括具有卷帘式快门的图像传感器；

所述方法包括：

获取由所述拍摄装置拍摄的被检测人的多帧连续图像，其中，所述图像在拍摄时，被检测人的双眼之间的连线与所述图像传感器的像素阵列中的行或者列成一定夹角，并且所述夹角大于零；

根据所述拍摄装置的曝光速度和所述多帧连续图像中的人眼部分，确定所述被检测人的眼睛开闭状态。

2.根据权利要求1所述的人眼检测方法，其特征在于，所述确定所述被检测人的眼睛开闭状态包括：

根据所述拍摄装置的行曝光时间、所述夹角和所述图像中被检测人双眼之间的距离，计算每帧所述图像中被检测人双眼的曝光时间差；

根据对应所述多帧连续图像中的每帧图像的曝光时间差和所述图像中的人眼部分，确定所述被检测人的眼睛开闭状态。

3.根据权利要求1或2所述的人眼检测方法，其特征在于，所述被检测人为车辆驾驶员，所述拍摄装置被安装在所述驾驶员的驾驶车辆中。

4.一种基于拍摄装置的人眼检测***，其特征在于，所述拍摄装置包括具有卷帘式快门的图像传感器；

所述***包括

获取单元，用于获取由所述拍摄装置拍摄的被检测人的多帧连续图像，其中，所述图像在拍摄时，所述被检测人的双眼之间的连线与所述图像传感器的像素阵列中的行或者列成一定夹角，并且所述夹角大于零；

确定单元，用于根据所述拍摄装置的曝光速度和所述多帧连续图像中的人眼部分，确定所述被检测人的眼睛开闭状态。

5.根据权利要求4所述的人眼检测***，其特征在于，所述被检测人为驾驶员，所述拍摄装置被安装在所述驾驶员的驾驶车辆中；并且

所述确定单元包括：

计算子单元，用于根据所述拍摄装置的行曝光时间、所述夹角和所述图像中被检测人双眼之间的距离，计算每帧所述图像中被检测人双眼的曝光时间差；

确定子单元，用于根据对应所述多帧连续图像中的每帧图像的曝光时间差和所述图像中的人眼部分，确定所述被检测人的眼睛开闭状态。

6.一种设备，其特征在于，包括存储有计算机可执行指令的存储器和处理器，所述处理器被配置为执行所述指令以实施基于拍摄装置的人眼检测方法，其中，所述拍摄装置包括具有卷帘式快门的图像传感器；

所述基于拍摄装置的人眼检测方法包括：

获取由所述拍摄装置拍摄的被检测人的多帧连续图像，其中，所述图像在拍摄时，所述被检测人的双眼之间的连线与所述图像传感器的像素阵列中的行或者列成一定夹角，并且所述夹角大于零；

7.根据权利要求6所述的设备，其特征在于，所述确定所述被检测人的眼睛开闭状态包括：

8.根据权利要求6或7所述的设备，其特征在于，所述被检测人为车辆驾驶员，所述拍摄装置被安装在所述驾驶员的驾驶车辆中。

9.一种使用计算机程序编码的非易失性计算机存储介质，其特征在于，所述计算机程序包括指令，当所述指令被一个以上的计算机执行时，所述指令使得所述一个以上的计算机执行操作，所述操作包括：

获取由拍摄装置拍摄的被检测人的多帧连续图像，其中，所述图像在拍摄时，所述被检测人的双眼之间的连线与所述图像传感器的像素阵列中的行或者列成一定夹角，并且所述夹角大于零；

10.根据权利要求9所述的计算机存储介质，其特征在于，所述指令进一步可操作为执行操作，所述操作包括：

11.根据权利要求9或10所述的计算机存储介质，其特征在于，所述被检测人为车辆驾驶员，所述拍摄装置被安装在所述驾驶员的驾驶车辆中。