CN101692980B - 疲劳驾驶检测方法及装置 - Google Patents

Abstract

本发明公开了一种疲劳驾驶检测方法，包括：在驾驶员的眼睛图像区域使用矩形特征模版对眼睛图像进行分析，获取上眼睑线；根据上眼睑线的曲率或曲率表征值判断眼睛的闭合状态；对眼睛的闭合状态进行统计，根据统计结果判断驾驶员是否处于疲劳状态。本发明使用上眼睑的形态来判断眼睛的开闭，由于上眼睑线相对对比度较强，更为抗干扰，并且对于表情变化的适应性更好，因此使判断结果更准确。

Description

疲劳驾驶检测方法及装置

技术领域

本发明涉及车辆的安全驾驶技术领域，尤其涉及疲劳驾驶的监控技术领域。

背景技术

先进汽车安全技术的发展方向是主动安全技术，即通过对驾驶员和车辆以及周边环境的监测，提前判断可能的危险，并采取措施预防。而驾驶员疲劳驾驶预警技术就是一种典型的主动安全技术。驾驶员处于疲劳状态时，对周围环境的感知能力、形势判断能力和对车辆的操控能力都有不同程度的下降，容易发生交通事故。因此，研究开发高性能的驾驶员注意力实时监测及预警技术，能够有效减少疲劳驾驶等行为带来的隐患，从而达到保障驾驶员人身安全和周边相关人员安全的目的。

以驾驶员的眼部为检测对象的疲劳驾驶预警技术，其主要通过检测驾驶员眼睛状态来判断注意力不集中的程度，一般采用摄像头进行脸部和眼部图像采集，再通过图像分析、建模，确定眼部状态。其中关键的一项技术就是驾驶员眼睛开闭状态的判断。

目前的疲劳监控方法多是通过判断眼睛状态来判断驾驶员是否闭眼，这种方法的主要问题在于：

1、处理速度慢。需要对图像进行很多处理，分析方法复杂，无法达到实时要求，通常一秒钟只能处理几帧图像。而在驾驶过程中，根据车速不同，驾驶员如果眼睛处于闭合或者近闭合状态1秒左右，从而没有观察前方路况，就有可能造成重大的安全事故。只有达到实时要求，才能够保证数据精度，提高判断的准确性。

2、适应性差。首先，在图像质量较好的情况下，能够准确判断眼睛状态，一旦受到光线较暗、摄像头清晰度、驾驶员头部运动等影响导致图像不清晰、噪点增加时，就无法保证准确性。其次，当驾驶员前后左右移动，导致眼部图像大小、角度出现变化时，无法动态适应，准确度出现波动。

由于以上种种缺陷，很多方法一旦离开实验室环境真正车载使用时，就难以达到理想的效果，不具有实用性。

发明内容

本发明要解决的主要技术问题是，提供一种能够提高整体处理速度、适应性强的疲劳驾驶检测方法及装置。

根据本发明的一方面，提供一种疲劳驾驶检测方法，包括：

在驾驶员的眼睛图像区域使用矩形特征模版对眼睛图像进行分析，获取上眼睑线，具体包括：采用矩形特征模版对眼睛图像按列进行遍历，记录每列中矩形特征模版特征值最大的位置，所述矩形特征模版的特征值是指矩形特征模版所在位置的矩形上半部分和下半部分的灰度差，将该位置的矩形特征模版的中心点作为上眼睑线上的一点，从而获取上眼睑线；

根据上眼睑线的曲率或曲率表征值判断眼睛的闭合状态；

对眼睛的闭合状态进行统计，根据统计结果判断驾驶员是否处于疲劳状态。

根据本发明的另一方面，提供一种疲劳驾驶检测装置，包括：上眼睑线获取模块，用于在驾驶员的眼睛图像区域使用矩形特征模版对眼睛图像进行扫描，获取上眼睑线；第一判断模块，用于根据上眼睑线的曲率或曲率表征值判断眼睛的闭合状态；疲劳状态判断模块，用于对眼睛的闭合状态进行统计，根据统计结果判断驾驶员是否处于疲劳状态。

其中，所述上眼睑线获取模块包括：扫描单元，用于将矩形特征模版在眼睛图像的每一列上滑动；灰度差计算单元，用于记录每列中矩形特征模版特征值最大的位置，所述矩形特征模版的特征值是指矩形特征模版所在位置的矩形上半部分和下半部分的灰度差；上眼睑线描绘单元，用于将该位置的矩形特征模版的中心点作为上眼睑线上的一点。

在一种实施例中，疲劳驾驶检测装置还包括拟合模块，所述拟合模块用于采用二次多项式对眼睑线进行曲线拟合处理，得到眼睑线的二次多项式表达式，将所述二次多项式表达式的二次项系数作为上眼睑线的曲率或曲率表征值；所述第一判断模块用于将所述二次项系数与设定的眼睑线曲率阈值进行比较，根据比较结果判断驾驶者的眼睛处于睁开或闭合状态。

在另一种实施例中，所述眼睑线曲率阈值包括第一阈值和第二阈值，所述第一阈值大于第二阈值，当所述二次项系数大于第一阈值时，第一判断模块判断驾驶者的眼睛处于睁开状态；当所述二次项系数小于第二阈值时，第一判断模块判断驾驶者的眼睛处于闭合状态；当所述二次项系数介于第一和第二阈值之间时，还包括用于根据上下眼睑之间的距离对眼睛的闭合状态进行辅助判断的第二判断模块。

在一种实施例中，疲劳驾驶检测装置还包括下眼睑线获取模块，用于基于获得的上眼睑线，采用矩形特征模版对眼睛图像进行扫描，获取下眼睑线。所述第二判断模块包括：上下眼睑线距离计算单元，用于计算上下眼睑线之间的平均距离；距离比较单元，用于将所述上下眼睑线之间的平均距离与设定的眼睑线距离阈值进行比较，根据比较结果判断驾驶者的眼睛处于睁开或闭合状态。

在一种实施例中，所述眼睑线距离阈值根据上眼睑线的曲率或曲率表征值进行动态变化，当所述上下眼睑线之间的平均距离大于所述眼睑线距离阈值时，判断驾驶者的眼睛处于睁开状态，否则判断驾驶者的眼睛处于闭合状态。

在一种实施例中，所述上眼睑线获取模块还包括积分单元，积分单元用于对眼睛图像进行遍历之前对眼睛图像进行积分，获取眼睛的积分图像；所述采用矩形特征模版对眼睛图像进行扫描是在眼睛积分图像上进行扫描，并计算矩形特征模版在每个位置的特征值，所述眼睛积分图像中每一点的值等于眼睛图像中以原点和该点为对角点的矩形区域的灰度总和，所述一个矩形的灰度总和等于这个矩形的左上角的值加上右下角的值减去左下角的值再减去右上角的值。

在另一种实施例中，疲劳驾驶检测装置还包括用于对获取的上眼睑线进行去噪处理的去噪模块，所述去噪模块包括：眼睑线分割单元，用于检测眼睑线上的突变点，以突变点为分割点将眼睑线分成若干段；信任段确定单元，用于在眼睑线上确定作为眼睑线基础的信任段；眼睑线校正单元，用于采用矩形特征模版从信任段的两个端点分别向两侧局部扫描，获得校正后的眼睑线。

根据本发明的另一方面，提供一种眼睑线检测装置，包括：眼睛图像获取模块，用于获得驾驶员的眼睛图像；眼睑线获取模块，用于在驾驶员的眼睛图像区域使用矩形特征模版对眼睛图像进行扫描，获取眼睑线。

其中，所述眼睑线获取模块包括：扫描单元，用于在驾驶员的眼睛图像区域使用矩形特征模版对眼睛图像按列进行扫描；灰度差计算单元，用于记录每列中矩形特征模版特征值最大的位置，所述矩形特征模版的特征值是指矩形特征模版所在位置的矩形上半部分和下半部分的灰度差；眼睑线描绘单元，用于将该位置的矩形特征模版的中心点作为眼睑线上的一点，从而获取眼睑线。

所述眼睑线获取模块还包括积分单元，用于对眼睛图像进行遍历之前对眼睛图像进行积分，获取眼睛的积分图像；所述采用矩形特征模版对眼睛图像进行扫描是在眼睛积分图像上进行扫描，并计算矩形特征模版在每个位置的特征值，所述眼睛积分图像中每一点的值等于眼睛图像中以原点和该点为对角点的矩形区域的灰度总和，所述一个矩形的灰度总和等于这个矩形的左上角的值加上右下角的值减去左下角的值再减去右上角的值。

在一种实施例中，眼睑线检测装置还包括用于对获取的眼睑线进行去噪处理的去噪模块，所述去噪模块包括：眼睑线分割单元，用于检测眼睑线上的突变点，以突变点为分割点将眼睑线分成若干段；信任段确定单元，用于在眼睑线上确定作为眼睑线基础的信任段；眼睑线校正单元，用于采用矩形特征模版从信任段的两个端点分别向两侧扫描，获得校正后的眼睑线。

本发明使用矩形特征模板对眼睛区域进行扫描寻找并描绘眼睑线，具有较好的抗干扰能力，通过组合使用不同大小的矩形模板，能够在抗噪的同时使描绘出的眼睑线同实际的眼睑线更加吻合。本发明无需对图像进行任何复杂耗时的处理，因此整体运行速度快、效率高。本发明使用上眼睑的形态来判断眼睛的开闭，由于上眼睑线相对对比度较强，更为抗干扰，并且对于表情变化的适应性更好，因此使判断结果更准确。

附图说明

图1为根据本发明的一种实施例中眼睑线检测装置的结构示意图；

图2为根据本发明的一种实施例中疲劳驾驶检测装置的结构示意图；

图3为根据本发明的一种实施例中疲劳驾驶检测方法的流程图；

图4为上眼睑线粗定位的示意图；

图5为利用积分图像计算模版特征值的示意图；

图6为上眼睑线校正示意图；

图7为根据本发明的另一种实施例中疲劳驾驶检测装置的结构示意图；

图8为根据本发明的另一种实施例中疲劳驾驶检测方法的流程图；

图9为下眼睑线定位的示意图。

具体实施方式

下面通过具体实施方式结合附图对本发明作进一步详细说明。

实施例一：

请参考图1，在根据本发明的一种实施例中，通过采用矩形特征模版来检测眼睑线。眼睑线检测装置包括：眼睛图像获取模块110和眼睑线获取模块120。眼睛图像获取模块110用于获得驾驶员的眼睛图像；眼睑线获取模块120用于在驾驶员的眼睛图像区域使用矩形特征模版对眼睛图像进行扫描，获取眼睑线。其中，在一种实例中，眼睑线获取模块120还可以进一步包括扫描单元122、灰度差计算单元123和眼睑线描绘单元124。扫描单元122用于在驾驶员的眼睛图像区域使用矩形特征模版对眼睛图像按列进行扫描；灰度差计算单元123用于记录每列中矩形特征模版特征值最大的位置，所述矩形特征模版的特征值是指矩形特征模版所在位置的矩形上半部分和下半部分的灰度差；眼睑线描绘单元124用于将该位置的矩形特征模版的中心点作为眼睑线上的一点，从而获取眼睑线。

在另一实例中，所述眼睑线获取模块120还包括积分单元121，积分单元121用于对眼睛图像进行积分，获取眼睛的积分图像；扫描单元122采用矩形特征模版在眼睛积分图像上进行扫描，所述眼睛积分图像中每一点的灰度值等于眼睛图像中以原点和该点为对角点的矩形区域的灰度总和。

在又一实例中，眼睑线检测装置还包括用于对获取的眼睑线进行去噪处理的去噪模块130，所述去噪模块130包括：眼睑线分割单元131、信任段确定单元132和眼睑线校正单元133。眼睑线分割单元131用于检测眼睑线上的突变点，以突变点为分割点将眼睑线分成若干段；信任段确定单元132用于在眼睑线上确定作为眼睑线基础的信任段；眼睑线校正单元133用于采用矩形特征模版从信任段的两个端点分别向两侧扫描，获得校正后的眼睑线。

实施例二：

请参考图2，图2所示的实施例为上述眼睑线检测装置在疲劳驾驶检测装置中的应用，疲劳驾驶检测装置包括：眼睛图像获取模块210、上眼睑线获取模块220、第一判断模块250和疲劳状态判断模块260。眼睛图像获取模块210用于根据摄像头拍摄的驾驶员的脸部图像获取驾驶员的眼睛图像；上眼睑线获取模块220用于在驾驶员的眼睛图像区域使用矩形特征模版对眼睛图像进行扫描，获取上眼睑线；第一判断模块250用于根据上眼睑线的曲率或曲率表征值判断眼睛的闭合状态；疲劳状态判断模块260用于对眼睛的闭合状态进行统计，根据统计结果判断驾驶员是否处于疲劳状态。

其中，上眼睑线获取模块220包括：积分单元221、扫描单元222、灰度差计算单元223和上眼睑线描绘单元224。积分单元221用于对眼睛图像进行积分，获取眼睛的积分图像；扫描单元222用于将矩形特征模版在眼睛的积分图像上扫描，具体是在积分图像的每一列上滑动，计算每一点的灰度值。在眼睛积分图像中，每一点的灰度值等于眼睛图像中以原点和该点为对角点的矩形区域的灰度总和。灰度差计算单元223用于记录每列中矩形特征模版特征值最大的位置，所述矩形特征模版的特征值是指矩形特征模版所在位置的矩形上半部分和下半部分的灰度差；上眼睑线描绘单元224用于将该位置的矩形特征模版的中心点作为上眼睑线上的一点，依此方法对积分图像中的每一列进行扫描和计算，从而描绘出眼睑线。

在一种实例中，在初步获得眼睑线后，还对初步获得的眼睑线进行校正，因此，疲劳驾驶检测装置还包括去噪模块230，用于去除初步获得的眼睑线上的一些干扰点或干扰线段。所述去噪模块230包括：眼睑线分割单元231、信任段确定单元232和眼睑线校正单元233。眼睑线分割单元231用于检测眼睑线上的突变点，以突变点为分割点将眼睑线分成若干段；信任段确定单元232用于在眼睑线上确定作为眼睑线基础的信任段；眼睑线校正单元233用于采用矩形特征模版从信任段的两个端点分别向两侧扫描，获得校正后的眼睑线。

在另一实例中，上眼睑线的曲率或曲率表征值通过拟合模块240获得，拟合模块240采用二次多项式对眼睑线进行曲线拟合处理，得到眼睑线的二次多项式表达式，将所述二次多项式表达式的二次项系数作为上眼睑线的曲率或曲率表征值；所述第一判断模块250将所述二次项系数与设定的眼睑线曲率阈值进行比较，根据比较结果判断驾驶者的眼睛处于睁开或闭合状态。

如图3所示，基于以上疲劳驾驶检测装置的疲劳驾驶检测方法包括以下步骤：

步骤310，采集驾驶员面部图像。例如采用安装在驾驶员前面或前下方的红外摄像头拍摄驾驶员的脸部图像，得到驾驶员面部图像数据，然后执行步骤320。

步骤320，在面部图像中定位眉毛和眼睛区域。可采用现有的各种定位眉毛和眼睛区域的方案，本实施例中仅以举例方式说明一种检测眼睛的方法。例如，根据预先训练的人脸特征分类器定位人脸区域。在读取每帧视频图像后，根据人脸特征分类器文件中所记录的人脸Harr特征来分析脸部图像信息，然后再采用AdaBoost算法及相关人脸特征分类器对图像进行模式识别，对图像中的人脸区域进行标定。然后在人脸区域内根据人眼所处的基本位置确定人眼检测感兴趣区域，例如人脸区域的中间部分，以缩小搜索眼睛的检测范围，提高检测速度。然后根据预先训练的人眼特征分类器中记录的人眼特征分析人眼检测感兴趣区域的图像，从而定位人眼区域。对眼睛区域定位后执行步骤330。

步骤330，在眼睛区域粗定位上眼睑线。使用矩形特征模板对眼睛图像进行扫描，对眼睛图像的每一列进行遍历，分析眼睛图像的灰度变化，从而获取上眼睑线。矩形特征模板是一个矩形窗口，采用该矩形窗口在眼睛图像的每一列上滑动，如图4所示，计算矩形特征模板(图中的方框)在滑动过程中在每个位置上的矩形上半部分和下半部分的灰度差，将该灰度差定义为矩形特征模版的特征值，记录特征值最大的位置，在该位置处的矩形特征模板的中心点作为上眼睑线上的一点。依次对每一列进行遍历，则每一列上有一个点被记录为上眼睑线上的点，所有的点集合起来即可描绘出眼睑线。

在一种实施例中，为提高运算速度，在对眼睛图像进行粗定位后，对眼睛图像进行积分，获取眼睛的积分图像，积分图象中一点P的值就是灰度图象中以图像原点和P为对角点的矩形区域的灰度总和。灰度图象I的积分图象S定义为：

$S(u,v)={\∫}_{x=0}^u{\∫}_{y=0}^{v}I(x,y)\mathrm{dxdy}$

矩形特征模板上下部分的灰度差的计算如图5所示。P1点的值表示区域A的灰度总和，简记为A；P2点的值为A+B；P3点的值为A+C；P4点的值为A+B+C+D。于是由P1，P2，P3，P4围成的矩形区域D的灰度总和可以表示为：P1+P4-P2-P3。借助于积分图像，计算矩形模板的灰度特征时同矩形大小无关。

计算积分图象只需要对图像进行一次遍历，记录每个点的灰度值，不用每遍历一次计算一次，因此采用积分图像计算特征值使计算速度非常快。

为了进一步提高准确度，可以对上眼睑进行由粗到精的多次匹配。首先使用较大的矩形模板寻找眼睑线，然后在已经获得的眼睑线附近，使用较小的矩形模板进行扫描，如此进行多次。较大的矩形模板具有较好的抗干扰性能，较小的矩形模板能够更为贴合实际的边缘。

矩形模板的大小可以静态指定，或者根据图像的大小动态确定，后一种方法适应性更好。

在初步描绘出上眼睑线后，为使描绘的眼睑线与实际的眼睑线更吻合，在步骤340中，对初步描绘出的上眼睑线进行去噪处理，去除眼睑线上的不可信点或不可信线段。去噪处理包括以下步骤：

1、检测眼睑线上的突变点，以突变点为分割点将眼睑线分成若干段。计算前后点在纵向上的距离差，找出距离差大于特定阈值的点，将上眼线分成若干段，如图6，可以将整个眼睑线分为E、F、G、H 4段。阈值Df可用如下公式计算。其中L为上眼线长度，n为经验值。

D_f＝L/n

2、在眼睑线上确定作为眼睑线基础的信任段。

3、采用矩形特征模版从信任段的两个端点分别向两侧扫描，获得校正后的眼睑线。

从信任段的两端向左右进行矩形特征模板扫描扩展该段，扫描范围是以起始点的Y坐标为中心，上下一定的阈值范围内，阈值可以根据图像大小调整，但要小于查找突变点时的距离差。例如，最长段的右端点X坐标是30，Y坐标是20，阈值是5，那么下一个点的扫描范围就在第31列，15-25行之间。然后以新的右端点为基准向右寻找下一个点，以此类推。如图6所示，实线为初步检测出的眼睑线，实线两端的虚线为采用矩形特征模版扫描法延伸出的眼睑线，左侧类似。

在确定信任段时有两种情况。

情况一、在分出的若干段中找出段长度大于1/2L的段，将该段作为信任段，然后按照步骤3中的方法向两侧延伸。

情况二、如果按照情况一没有找到信任段。则找出所有长度大于1/4L的段，根据满足条件的段数量分别处理。

如果只有一个段的长度大于1/4L，则找出剩下段中最大的段，按照找到两个段处理。

如果有两个段满足条件，则将其中一个段按照类似步骤3的方式向另一个段的方向扩展，如果能够同另一个段重合。两个段以及两个段中间在扩展过程中得到的各点组成一个新段。以新段作为信任段，按照步骤3中的方法向两侧延伸。另一种方法是：先其中一个段按照向左右分别扩展，连接相隔一个段的下一段，如果能够连接上，则从连接后形成的新段两端继续扩展，直到两个方向都没有段可连接或者无法连接。记录新段的起始位置。恢复各段原始数据。按照同样的方式扩展另外一个段。比较两个段扩展以后的新段长度，将扩展后得到的新段最长的段(原始段)作为信任段，按照步骤3中的方法向两侧延伸。

如果有三个段的长度大于1/4L，则将中间段按照类似步骤3的方式向两端扩展连接左边或者右边的段。如果能连接上，则以形成的新段作为信任段。或将中间段连接另一边的段。如果能连接上，则以形成的新段作为信任段；如果连接不上，则连接左右两个段，以形成的新段作为信任段。形成信任段后，按照步骤3中的方法向两侧延伸。

在对眼睑线进行去噪处理后执行步骤350，对上眼睑线进行拟合处理。采用二次多项式y＝ax²+bx+c作为拟合函数进行最小二乘法拟合。由于截取的画面可能包括两个眼角之外的部分，这部分通常灰度差较小，为了进一步消除这部分对结果的干扰，在进行拟合时排除对应矩形模板灰度差小于一定阈值的点，如以模板面积的两倍作为阈值。

拟合后得到眼睑线的二次多项式表达式，将所述二次多项式表达式的二次项系数a作为上眼睑线的曲率或曲率表征值，然后执行步骤360。

步骤360，根据上眼睑线的曲率或曲率表征值判断眼睛的闭合状态，具体包括：将所述二次项系数a与设定的眼睑线曲率阈值进行比较；根据比较结果判断驾驶者的眼睛处于睁开或闭合状态。

在步骤370中，对眼睛闭合状态进行统计，根据统计结果判断驾驶员是否处于疲劳状态。例如：统计最近一段时间内的连续闭眼时间，如果连续闭眼时间超过了指定长度，则判定驾驶员处于疲劳状态；或者统计最近单位时间内开闭时间比，如果单位时间内开闭时间比超过一定阈值，判定驾驶员处于疲劳状态。

本实施例采取用矩形特征模板逐列匹配的方法获取眼睑线，不需要对图像进行过多的处理，整体运行速度快，对光照等各种条件造成的图像质量下降适应性好，对于驾驶员前后移动有较好的适应性。

本实施例采用眼睑曲率来判断驾驶员的眼睛闭合状态，由于上眼睑线相对对比度较强，更为抗干扰，并且对于表情变化的适应性更好，比如微笑或者有意眯眼时，上眼睑的弧度通常变化较小，与采用虹膜上下距离或上下眼睑的距离来判断眼睛闭合状态相比，判断更准确，减少了驾驶员头部姿态对判断的影响，提高了疲劳判断的精确度。并且***整体时效性好，灵敏度高，能够有效减少误报、漏报，具有较好的实用性。

本实施例在进行扫描前，首先计算眼睛图像的积分图像，大大提高了计算矩形特征模板特征值的速度。

不同于其他的基于估计值校正的去噪算法，本实施例利用较长的段作为可信段，通过在信任段两端局部范围内进行矩形特征模板扫描，对眼睑线进行校正，是一种基于实测值的校正，更为准确。

本实施例使用最小二乘法对获得的眼睑线进行平滑处理，消除因图像质量不好而造成获得的眼睑线不够平滑的现象，使得眼睑线更为符合实际的眼睑形状，同时进一步去除个别噪点的干扰。由于眼睛睁开和闭合时，上眼睑线分别接近抛物线和直线，本实施例采用二次多项式y＝ax²+bx+c作为拟合函数。最小二乘法处理过后，能够得到眼睑线的二次多项式描述，二次多项式的二次项系数能够较好的反映上眼睑曲率，同其它的直接求曲率的计算方法相比，更为精确，并且对图像角度和图像质量的适应性更好。

实施例三：

在另一实施例中进一步提高判断眼睛闭合状态的准确性。由于部分人上眼睑较平或者由于俯视等原因，上眼睑的弧度并不明显，因此眼睛在睁开状态和闭合状态下，上眼睑的曲率没有明显变化，如果单一采用上眼睑曲率来判断驾驶员的眼睛闭合状态，有时会造成误判。本实施例中，除了采用上眼睑曲率来判断驾驶员的眼睛闭合状态外，还采用上下眼睑的平均距离作为辅助判断。

本实施例的疲劳驾驶检测装置结构示意图如图7所示，在上述实施例的基础上增加了第二判断模块280和下眼睑线获取模块270。下眼睑线获取模块270用于基于获得的上眼睑线，采用矩形特征模版对眼睛图像进行扫描，获取下眼睑线。

第二判断模块280在第一判断模块250进行初步判断后，采用上下眼睑的平均距离对眼睛闭合状态再作辅助判断。

在一种实例中，所述眼睑线曲率阈值包括第一阈值和第二阈值，所述第一阈值大于第二阈值，当所述二次项系数大于第一阈值时，第一判断模块判断驾驶者的眼睛处于睁开状态；当所述二次项系数小于第二阈值时，判断驾驶者的眼睛处于闭合状态；当所述二次项系数介于第一和第二阈值之间时，采用第二判断模块根据上下眼睑之间的距离对眼睛的闭合状态进行辅助判断。

所述第二判断模块280包括：上下眼睑线距离计算单元和距离比较单元。上下眼睑线距离计算单元基于描绘的上、下眼睑线，计算上下眼睑线之间的平均距离；距离比较单元用于将所述上下眼睑线之间的平均距离与设定的眼睑线距离阈值进行比较，根据比较结果判断驾驶者的眼睛处于睁开或闭合状态。

在一种实例中，所述眼睑线距离阈值可以根据上眼睑线的曲率或曲率表征值进行动态变化，当所述上下眼睑线之间的平均距离大于所述眼睑线距离阈值时，判断驾驶者的眼睛处于睁开状态，否则判断驾驶者的眼睛处于闭合状态。

基于本实施例的疲劳驾驶检测装置的疲劳驾驶检测方法如图8所示，包括以下步骤：

步骤810，采集驾驶员面部图像。

步骤812，在面部图像中定位眉毛和眼睛区域。

步骤814，在眼睛区域粗定位上眼睑线。

步骤816，对上眼睑线进行去噪处理。

步骤818，对上眼睑线进行拟合处理。

步骤820，根据上眼睑线的形态(例如曲率或曲率表征值)判断眼睛状态。采用拟合得到的多项式的二次项系数a作为判断依据。确定上下两个阈值Ch、Cl，下限阈值Cl保证大多数情况下能够判断闭眼不会出错。为了保证适应性，下限阈值Cl还可以不单独作为判断依据。在步骤822中，如果二次项系数a高于上限阈值Ch，则认为眼睛处于睁开状态，如果二次项系数a低于下限阈值Cl，则认为眼睛处于闭合状态，执行步骤830，否则转到步骤824。

步骤824，当所述二次项系数a介于第一和第二阈值之间时，对眼睛的状态进行辅助判断。根据检测到的上眼睑线检测下眼睑线，以拟合后的眼睑线的左右两点连线，如图9中的虚线L1上下一定范围(如图9中虚线L2和L3之间的区域)作为下眼睑线的扫描区域，通过矩形特征模板扫描获得下眼睑线，如图9中的线L4。

下眼睑线同样可以像获取上眼睑线一样，通过由粗到精的多次匹配来获取。

步骤826，计算上下眼睑线之间的平均距离。

步骤828，使用上下眼睑线之间的平均距离判断眼睛是否闭合。使用上下眼睑的平均距离作为第二判断依据，确定两个参考阈值，一个参考阈值Dl较大，倾向于保证不会将闭眼误判为睁眼，一个参考阈值Ds较小，倾向于保证不会将睁眼误判为闭眼。根据二次项系数值a在上下限阈值间的位置，如下面的公式所示：

Dd＝Dl-(Dl-Ds)*((a-Cl)/(Ch-Cl))

将距离阈值Dd在参考值之间滑动作为判断依据，二次项系数a接近Ch的，距离阈值向Ds滑动，反之亦然。上下眼睑的平均距离大于距离阈值的判断为睁眼，否则判断为闭眼。根据判断结果执行步骤830。

步骤830，对眼睛闭合状态的历史数据进行统计，将统计结果和设定条件进行比较，从而判断驾驶员是否处于疲劳状态。

本实施例中，还可以在对上眼睑线进行拟合后，即基于处理后的上眼睑线检测下眼睑线。

本实施例使用上下眼睑的平均距离作为辅助判断，对于第一判断不能确定的情形，根据上眼睑弧度，采用可变的阈值作出最终判定。上下眼睑的平均距离对于判断闭眼比较稳定，上眼睑弧度对于判断睁眼比较稳定，两者结合起来提高疲劳驾驶判断算法的适应性。

上述模块或流程可以编制成程序，该程序可被安装在计算机中，包括各种处理器。

上述模块或流程编制成的程序可以被存储在外部可读性存储介质中，这种存储介质可以是软盘、CD-ROM、硬盘、磁带记录介质、IC卡的半导体存储器或其它的光学记录介质(例如DVD或PD)或磁记录介质。介质还包括电、光、声或其它形式的传播信号(例如，载波、红外信号、数字信号等)。

以上内容是结合具体的实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (19)

1.一种疲劳驾驶检测方法，其特征在于包括：

在驾驶员的眼睛图像区域使用矩形特征模版对眼睛图像进行分析，获取上眼睑线，具体包括：采用矩形特征模版对眼睛图像按列进行遍历，记录每列中矩形特征模版特征值最大的位置，所述矩形特征模版的特征值是指矩形特征模版所在位置的矩形上半部分和下半部分的灰度差，将该位置的矩形特征模版的中心点作为上眼睑线上的一点，从而获取上眼睑线；

根据上眼睑线的曲率或曲率表征值判断眼睛的闭合状态；

对眼睛的闭合状态进行统计，根据统计结果判断驾驶员是否处于疲劳状态。

2.如权利要求1所述的方法，其特征在于，在采用矩形特征模版对眼睛图像进行遍历之前对眼睛图像进行积分，获取眼睛的积分图像；所述采用矩形特征模版对眼睛图像进行遍历是在眼睛积分图像上进行遍历，并计算矩形特征模版在每个位置的特征值。

3.如权利要求1所述的方法，其特征在于，采用由大到小的矩形特征模版对眼睛图像进行多次扫描，并获取上眼睑线；所述矩形特征模版的大小根据眼部图像大小动态确定。

4.如权利要求1至3中任一项所述方法，其特征在于，在获取上眼睑线后和根据上眼睑线的曲率判断眼睛的闭合状态之前还包括：对获取的上眼睑线进行去噪处理。

5.如权利要求4所述方法，其特征在于，所述去噪处理包括：

检测眼睑线上的突变点，以突变点为分割点将眼睑线分成若干段；

在眼睑线上确定作为眼睑线基础的信任段；

采用矩形特征模版从信任段的两个端点分别向两侧局部扫描，获得校正后的眼睑线。

6.如权利要求1至3中任一项所述的方法，其特征在于，在获取上眼睑线后还包括：通过二次多项式对眼睑线进行曲线拟合处理，得到眼睑线的二次多项式表达式，将所述二次多项式表达式的二次项系数作为上眼睑线的曲率或曲率表征值；所述根据上眼睑线的曲率或曲率表征值判断眼睛的闭合状态包括：

将所述二次项系数与设定的眼睑线曲率阈值进行比较；

根据比较结果判断驾驶者的眼睛处于睁开或闭合状态。

7.如权利要求6所述的方法，其特征在于，所述眼睑线曲率阈值包括第一阈值和第二阈值，所述第一阈值大于第二阈值，当所述二次项系数大于第一阈值时，判断驾驶者的眼睛处于睁开状态；当所述二次项系数小于第二阈值时，判断驾驶者的眼睛处于闭合状态；当所述二次项系数介于第一和第二阈值之间时，还包括根据上下眼睑之间的距离对眼睛的闭合状态进行辅助判断。

8.如权利要求7所述的方法，其特征在于，所述根据上下眼睑之间的距离对眼睛的闭合状态进行辅助判断包括：

基于获得的上眼睑线，采用矩形特征模版对眼睛图像进行扫描，获取下眼睑线；

计算上下眼睑线之间的平均距离；

将所述上下眼睑线之间的平均距离与设定的眼睑线距离阈值进行比较，根据比较结果判断驾驶者的眼睛处于睁开或闭合状态。

9.如权利要求1所述的方法，其特征在于，所述对眼睛的闭合状态进行统计，根据统计结果判断驾驶员是否处于疲劳状态包括：

统计最近一段时间内的连续闭眼时间，如果连续闭眼时间超过了指定长度，则判定驾驶员处于疲劳状态；或，

统计最近单位时间内开闭时间比，如果单位时间内开闭时间比超过一定阈值，判定驾驶员处于疲劳状态。

10.一种疲劳驾驶检测装置，其特征在于包括：

上眼睑线获取模块，用于在驾驶员的眼睛图像区域使用矩形特征模版对眼睛图像进行扫描，获取上眼睑线；所述上眼睑线获取模块包括：

扫描单元，用于将矩形特征模版在眼睛图像的每一列上滑动；

灰度差计算单元，用于记录每列中矩形特征模版特征值最大的位置，所述矩形特征模版的特征值是指矩形特征模版所在位置的矩形上半部分和下半部分的灰度差；

上眼睑线描绘单元，用于将该位置的矩形特征模版的中心点作为上眼睑线上的一点，从而获取上眼睑线；

第一判断模块，用于根据上眼睑线的曲率或曲率表征值判断眼睛的闭合状态；

疲劳状态判断模块，用于对眼睛的闭合状态进行统计，根据统计结果判断驾驶员是否处于疲劳状态。

11.如权利要求10所述的装置，其特征在于，所述上眼睑线获取模块还包括积分单元，积分单元用于对眼睛图像进行遍历之前对眼睛图像进行积分，获取眼睛的积分图像；所述采用矩形特征模版对眼睛图像进行扫描是在眼睛积分图像上进行扫描，并计算矩形特征模版在每个位置的特征值。

12.如权利要求10或11所述装置，其特征在于，还包括用于对获取的上眼睑线进行去噪处理的去噪模块，所述去噪模块包括：

眼睑线分割单元，用于检测眼睑线上的突变点，以突变点为分割点将眼睑线分成若干段；

信任段确定单元，用于在眼睑线上确定作为眼睑线基础的信任段；

眼睑线校正单元，用于采用矩形特征模版从信任段的两个端点分别向两侧扫描，获得校正后的眼睑线。

13.如权利要求10或11所述的装置，其特征在于，还包括拟合模块，所述拟合模块用于采用二次多项式对眼睑线进行曲线拟合处理，得到眼睑线的二次多项式表达式，将所述二次多项式表达式的二次项系数作为上眼睑线的曲率或曲率表征值；所述第一判断模块用于将所述二次项系数与设定的眼睑线曲率阈值进行比较，根据比较结果判断驾驶者的眼睛处于睁开或闭合状态。

14.如权利要求13所述的装置，其特征在于，所述眼睑线曲率阈值包括第一阈值和第二阈值，所述第一阈值大于第二阈值，当所述二次项系数大于第一阈值时，第一判断模块判断驾驶者的眼睛处于睁开状态；当所述二次项系数小于第二阈值时，判断驾驶者的眼睛处于闭合状态；当所述二次项系数介于第一和第二阈值之间时还包括用于根据上下眼睑之间的距离对眼睛的闭合状态进行辅助判断的第二判断模块。

15.如权利要求14所述的装置，其特征在于，还包括：

下眼睑线获取模块，用于基于获得的上眼睑线，采用矩形特征模版对眼睛图像进行扫描，获取下眼睑线；

所述第二判断模块包括：

上下眼睑线距离计算单元，用于计算上下眼睑线之间的平均距离；

距离比较单元，用于将所述上下眼睑线之间的平均距离与设定的眼睑线距离阈值进行比较，根据比较结果判断驾驶者的眼睛处于睁开或闭合状态。

16.如权利要求15所述的装置，其特征在于，所述眼睑线距离阈值根据上眼睑线的曲率或曲率表征值进行动态变化，当所述上下眼睑线之间的平均距离大于所述眼睑线距离阈值时，判断驾驶者的眼睛处于睁开状态，否则判断驾驶者的眼睛处于闭合状态。

17.一种眼睑线检测装置，其特征在于包括：

眼睛图像获取模块，用于获得驾驶员的眼睛图像；

眼睑线获取模块，用于在驾驶员的眼睛图像区域使用矩形特征模版对眼睛图像进行扫描，获取眼睑线；所述眼睑线获取模块包括：

扫描单元，用于在驾驶员的眼睛图像区域使用矩形特征模版对眼睛图像按列进行扫描；

灰度差计算单元，用于记录每列中矩形特征模版特征值最大的位置，所述矩形特征模版的特征值是指矩形特征模版所在位置的矩形上半部分和下半部分的灰度差；

眼睑线描绘单元，用于将该位置的矩形特征模版的中心点作为眼睑线上的一点，从而获取眼睑线。

18.如权利要求17所述的装置，其特征在于，所述眼睑线获取模块还包括积分单元，用于对眼睛图像进行遍历之前对眼睛图像进行积分，获取眼睛的积分图像；所述采用矩形特征模版对眼睛图像进行扫描是在眼睛积分图像上进行扫描，并计算矩形特征模版在每个位置的特征值。

19.如权利要求17或18所述装置，其特征在于还包括：还包括用于对获取的眼睑线进行去噪处理的去噪模块，所述去噪模块包括：

眼睑线分割单元，用于检测眼睑线上的突变点，以突变点为分割点将眼睑线分成若干段；

信任段确定单元，用于在眼睑线上确定作为眼睑线基础的信任段；

眼睑线校正单元，用于采用矩形特征模版从信任段的两个端点分别向两侧扫描，获得校正后的眼睑线。

Images