CN104102896A - 一种基于图割模型的人眼状态识别方法 - Google Patents

Abstract

本发明公开了一种基于图割模型的图像前景提取方法，用来精确分割出图像中的人眼区域，属于基于机器视觉的图像识别领域，其适用于司机驾驶疲劳状态的自动检测。本发明解决了当前检测***在复杂行车环境下不能准确识别人眼开闭状态的问题。这个方法首先在原始图像上建立一个图割模型，然后基于分割目标构造出图割模型的能量函数，最后使用最大流最小割方法求解该函数，得到最终的分割结果。这种分割算法构造一个背景为白色，而只有眼睛区域为黑色的二值化图像，为后续的人眼状态识别提供稳定的特征表述。实验证明了这个提取方法的有效性。本发明可广泛应用于火车、长途客车和“三危”车辆司机的疲劳状态自动检测。

Description

一种基于图割模型的人眼状态识别方法

技术领域

本发明涉及一种基于机器视觉的图像识别领域，尤其涉及一种基于图割模型的人眼状态识别方法，特别是监控视频中人眼状态（睁/闭）的自动检测方法，其适用于各型机动车辆的司机驾驶过程中疲劳状态的离线式、自动识别。

背景技术

疲劳驾驶严重影响驾驶员的警觉性、应变性及安全驾驶能力。根据交通事故统计：全世界范围内，超过30%的公路交通事故与驾驶疲劳有关，而在中国超过40％的重大交通事故直接或间接是由疲劳驾驶所引发。因此，许多国家和专业部门都在积极开展有关驾驶疲劳的研究工作。驾驶人疲劳状态的检测方法可大致分为基于驾驶人生理信号、基于驾驶人生理反应特征、基于驾驶人操作行为和基于车辆状态信息的检测方法。大量实验证明基于生理反应特征的PERCLOS检测方法是准确率最高的检测方法，也是被美国公路交通***(NHTSA)惟一认可的疲劳驾驶检测方法。

基于PERCLOS系数的疲劳检测方法是通过检测监控视频中人眼状态（开或闭），来判断驾驶员疲劳程度的方法。行车环境中由于受到光照变化和摄像头抖动等因素的影响，从视频中提取的眼睛区域图像质量一般较差，这些影响都会使得前景目标（人眼）难以从这些复杂背景中提取，更增加了精确定位的难度。因此，从眼睛区域图像中，如何将眼睛像素和背景区域精确分割开，是基于PERCLOS检测方法最关键的步骤，也是决定该检测方法成败的关键因素。

现有的眼睛检测方法要可分为三类：基于模板的方法、基于外形的方法和基于特征的方法。基于模板的方法需要设计一个基于眼睛形状的通用模板，然后使用模板匹配搜索感兴趣区域中眼睛的位置。基于外形的方法利用眼睛的几何形状进行眼睛检测，一般使用神经网络或SVM等统计分类器对数据实现分类。基于特征分析的方法提取眼睛的一些特征作为识别眼睛的基础，这些特征可包括颜色特征、眼睑形状、瞳孔密度、灰度分布特征、虹膜边缘特征、眼睛角点特征等。

现有眼睛检测方法存在以下不足：

        （a） 基于模板的方法中通用模板的选取是一个难点，不同人的眼睛大小形状都不一样，而且采用模板匹配的方法需要全图搜索匹配，速度相对较慢，难以满足实时检测的要求；

        （b）基于外形的方法需要采集大量的训练样本，提供不同对象、不同面部朝向、不同光照环境和不同睁闭程度下的眼睛信息作为训练集，而样本的选取往往不能涵盖实际应用中的各种情况；

        （c） 基于特征分析的方法虽然计算量小速度快，但是眼睛特征随着人脸的表情，头部的姿态及外界环境的改变会呈现极大的不稳定性，所以这种检测方法的识别准确率不是很高。

发明内容

本发明的目的在于克服上述技术问题的缺陷，解决当前疲劳检测***不能精确检测人眼状态（睁或闭）的问题。本发明基于图割模型的图像前景提取方法，用来精确分割出人眼图像中的人眼椭圆区域，定义了人眼图像的图割模型和能量函数，并用最大流最小割算法优化能量函数，以此为理论发明了一种把人眼图像分割为二值化的人眼椭圆区域的算法，并把人眼区域面积作为计算PERCLOS系数的特征量，用来进行驾驶疲劳状态的自动检测。

根据本发明的具体实施，提供一种基于图割模型的人眼状态识别方法，其特征在于包括以下步骤：

        步骤1）构造图割模型：

         基于图割（Graph Cuts）的图像分割方法把图像分割与图的最小割（min cut）问题相关联。首先将图像映射为带权无向图G=<V，E>，无向图中每个节点∈V对应于图像中的每个像素，每条边∈E连接着一对相邻的像素。在普通图的基础上多了2个顶点，这2个顶点分别用符号“S”和“T”表示，统称为终端顶点，其它所有的顶点都必须与这2个顶点相连形成边集合中的一部分。因此Graph Cuts模型中有两种顶点，也有两种边。第一种顶点和边是：对应于图像中每个像素的普通顶点，每两个邻域顶点（对应于图像中每两个邻域像素）的连接就是一条边，这种边叫n-links。第二种顶点和边是：除图像像素外的另外两个终端顶点，叫S（source: 源点）和T（sink：汇点），每个普通顶点和这2个终端顶点之间都有连接，组成第二种边，这种边叫t-links。图1为一个图像对应的图割模型，也叫S-T图。在图像分割中，S一般表示前景目标，T一般表示背景。

步骤2）构造图割模型的能量函数：

        Graph Cuts中的割是指这样一个边的集合，集合中所有t-links边的断开会导致残留“S”和“T”图的分开，即其中一部分点仅和S连接，被判断为前景；而一些仅和T连接，被判断为背景。很明显，发生在目标和背景的边界处的割就是图像分割所需要的，找到正确的割即可得到最优的分割结果。下面将图像分割的先验约束具体化，以能量函数的形式作为图割模型的优化目标。寻找最优割的过程可以通过最小化图割能量函数得到。

假设整幅图像的标签label为                                                ，其中第p个像素的标签为，的取值为0或1。这样图像分割就可以看成像素标记问题，目标（s-node）的label设为1，背景（t-node）的label设为0。假设图像的分割为时，图像的能量函数可以表示为：

                                         （1）

                                                                           （2）

其中，为区域项（regional term），为边界项（boundary term），而就是区域项和边界项之间的重要因子，决定它们对能量的影响大小。如果为0，那么就只考虑边界因素。

表示像素p分配标签的惩罚。当p属于前景时，若分配标签为1时，即分配正确，则惩罚应该小；若分配标签为0，即分配错误，则惩罚应该大。所以的值可以设置为像素p属于标签的概率的负对数值，这样为像素p分配概率最大的标签时惩罚小。通过最小化能量函数，即可得到概率最大的标签分配。

边界项 主要体现分割的边界属性，其中p和q为邻域像素。 可以解析为相邻像素p和q分配不同标签的惩罚。一般图像中相邻像素标签应该一样，同为前景或背景，只有在边界处才会分配不同的标签。一般来说如果p和q越相似（例如它们的灰度），它们属于同一个目标或者同一背景的可能性就很大，那么分配不同标签时的惩罚应该越大。如果他们差别很大，那说明这两个像素很有可能处于目标和背景的边缘部分，那么分配不同标签惩罚应该_>就应该很小。按这样分配了边界惩罚项后，正确的标签分配即对应了最小能量函数。

步骤3）最大流最小割算法优化能量函数：

        图割的目标就是优化能量函数使其值达到最小，即

                                                                                    （3）

        若将格式上述定义的惩罚项作为图模型的边权重，即作为第p个像素与S、T顶点的连接权重，作为相邻点的连接权重，则最小化能量函数等价于找到一个所有边的权值之和最小的图割，即最小割。而福特-富克森定理表明，网路的最大流（max flow）与最小割（min cut）相等，所以基于max-flow/min-cut的Edmonds-Karp算法就可以用来获得S-T图的最小割。

最大流最小割算法优化能量函数的描述如下：

        （1）对于有向图，如果V中有一发点s（源点），有一收点t（亦称为汇），其余均为中间点，且对A中的每条弧均有权值（简记为，并称为弧容量），则称这样带权值的有向图为容量网络，记为。通过中弧的物流量，称为弧的流量。所有弧上流量的集合称为该网络的一个流。

（2）若给定一个可行流，我们把网络中使的弧称为饱和弧，的弧称为未饱和弧。如果流网络中从i到j没有弧，则添加一条从i到j且容量的弧，这样整个流网络变成一个完全图。如果从i到j有流量，则从j到i的流量定义为=-。考虑一条从源点s出发到汇点t的路径，如果对于每一段弧(i,j)属于都有，即每一条属于的弧都是未饱和弧，则可以向这条路径上压入更多的流，使得其中的一条弧达到饱和。这样的路径叫做可改进路径，可压入的流量叫做该可改进路径的可改进流量。重复这个过程，直到整个网络找不到一条可改进路径，显然这时候网络的流量已达到最大。

上述第（2）步Edmonds-Karp算法就是利用宽度优先原则，不断地找一条从s到t的可改进路径，然后改进流量，一直到找不到可改进路径为止。Edmonds-Karp算法有一个很重要的性质：当汇点未标号而导致算法结束的时候，那些已经标号的节点构成集合，未标号的节点构成集合，割(,)恰好是该流网络的最小割；这个最小割把图的顶点划分为两个不相交的子集和，其中s∈， ；t∈，。这两个子集就对应于图像的前景像素集和背景像素集，那就相当于完成了图像分割。求解的最优割，即对应一种标签分配方法，=1的点对应前景；=0的点对应背景。图2是一个Edmonds-Karp算法分割过程的示例。

本发明将起到以下积极效果：

        （1）利用眼睛区域灰度值分布的特点作为先验知识，给图割模型中的惩罚项赋值。这种基于先验的优化方法，分割结果准确率比较高；

        （2）算法以图像的像数点为基本单元构建图割模型，将像数灰度值信息作为模型优化的输入，因此对于表情变化引起的眼睛形变，随机噪声等干扰因素有较强的鲁棒性；

        （3）本算法不需要训练学习过程，可以在线进行检测，而且利用最大流最小割算法进行模型优化，求解速度快，适用于实时检测的场景。

附图说明

        图1示出了图像构造图割模型（S-T图）的方法；

（说明：表示图像中的节点P分配标签label为1（设置为前景）时的惩罚值；表示图像中的节点P分配标签label为0（设置为背景）时的惩罚值）

        图2示出了最大流最小割算法图像分割过程示例；

        图3示出了本发明人眼状态自动识别算法的流程图；

        图4示出了三种不同的眼睛状态及其对应分割结果。

具体实施方式

        下面结合附图对本发明的具体实施方式作进一步的详细描述。需要注意的是，根据本发明的基于图割模型的人眼状态识别方法的具体实施方式仅仅作为举例，但本发明不限于该具体实施方式。

下面结合附图，对本发明作详细的阐述。

实时监控视频中检测到人脸并定位到眼睛之后，需要进行眼睛图片的处理，来识别眼睛的开闭状态，作为疲劳程度的最终判据。处理眼睛图像时，为了减小光照等的影响，首先用直方图均衡化方法预处理眼睛图像，增强图像对比度；然后基于预处理的图像，构造图割模型；最后，利用最大流最小割算法优化图割模型的能量函数，得到最后眼睛分割结果。处理算法流程如图3所示。具体实施步骤为：

       （1）直方图均衡化预处理原始图像I, 增强对比度；

       （2）基于图像灰度值信息构造图割模型。图1给出了图割模型的构造方法；

       （3）构造图割模型的能量函数： 

                                                        （1）

由公式1可知，图割模型的构造关键是确定区域项和边界项惩罚的值，下面详细介绍设置规则：

        A. 区域项

       图片分割结果中，前景标签label为1；背景标签为label为0。在基于检测的粗定位得到的眼睛图片中，眼睛前景区域灰度值较低接近0，而周围背景（人脸皮肤区域）灰度值较大接近255。 所以对应正确的分割结果中，灰度值小的标签label为1的可能性大，灰度值较大的标签lbael为0的可能性大。在构造待分割图像的能量函数时，应根据以上的先验设定区域项。 即灰度值小的点分配label=1时，表明分对的可能性大，所以惩罚应该小，惩罚可以简单的设置为其灰度值；反之灰度值小分配label=0，惩罚大，设置为（255-灰度值）。而灰度值大的点分配label=0时，表明分对的可能性大，所以惩罚应该小，惩罚可以设置为（255-灰度值）；反之灰度值大分配label=1，惩罚大，设置为灰度值。综上分析, 区域项值的设置为：

                                                                                （2）

       B．边界项

       由于边界项惩罚主要用于惩罚相邻像素p和q分配不同标签的惩罚。一般来说p和q越相似（灰度值差小），它们属于同一个目标或者同一背景的可能性就很大，那么分配不同标签时的惩罚应该越大，可设置为（255-灰度差）；而p和q不相似（灰度值差大），它们属于同一个目标或者同一背景的可能性就很小，那么分配不同标签时的惩罚应该越小，可设置为（255-灰度差）。综上边界惩罚可设置为

                                                                         （3）

       （4）设置好能量函数后，利用最大流最小割算法求解最优解，得到最终的分割结果。图2给出了图像分割过程示例。

（5）    根据图割得到的二值化人眼图像（图4中二值化的眼图），计算图像中前景（黑点）区域面积，为眼睛面积，既人眼状态的特征量。

                                                             （4）

实例应用分析

       图4为三种不同的眼睛状态图像以及采用本发明方法的分割结果。从图4可以看出：三种不同的眼睛状态，本发明方法能够精确的从原始眼睛图片中分割出眼睛椭圆区域。可能由于周围头发眼镜等因素的影响，分割图片中可能存在一些细小的独立区域，这些都可以通过面积约束过滤掉，只留下区域最大的眼睛椭圆区域。

Claims (3)

1.基于图割模型的人眼状态识别方法，其特征在于包括以下步骤：

    步骤1）从监控视频中实时提取图像，在图像中进行人脸识别；

    步骤2）在人脸图像区域内，精确定位出人眼位置，分割出人眼图像；

    步骤3）对人眼图像进行直方图均衡化，消除光线的影响，增强对比度；

    步骤4）对均衡化的人眼图像，基于图像灰度值信息构造图割模型（S-T图）；

    步骤5）构造图割模型的能量函数                                                ；

    步骤6）利用最大流最小割算法求解的最优解，得到最优的分割结果；

    步骤7）利用图割得到二值化人眼图像后，计算图像中前景（黑点）区域面积，为眼睛面积，即可作为人眼状态（睁或闭）的判别特征；

    步骤8）根据PERCLOS系数测量原理，统计单位时间内眼睛闭合时间作为疲劳程度的判断依据。

2.根据权利要求1的方法，其中所述步骤5）的构造图割模型的能量函数，进一步包括：

        步骤1a）能量函数公式：

                    ，

        由公式可知图割模型能量函数构造关键是确定区域项和边界项惩罚的值，下面详细介绍设置规则；

        步骤2a）区域项：

        图片分割结果中，前景标签label为1，背景标签为lbael为0；在基于检测的粗定位得到的眼睛图片中，眼睛前景区域灰度值较低接近0，而周围背景（人脸皮肤区域）灰度值较大接近255；灰度值大的点分配label=0时，表明分对的可能性大，所以惩罚应该小，惩罚可以设置为（255-灰度值）；反之灰度值大分配label=1，惩罚大，设置为灰度值；区域项值的的设置为：

                    

        步骤3a）边界项：

        由于边界项惩罚主要用于惩罚相邻像素p和q分配不同标签的惩罚；边界惩罚可设置为

                    。

3.根据权利要求1的方法，其中所述步骤6）的最大流最小割算法求解能量函数的最优解，进一步包括：

        步骤1b）图割的目标就是优化能量函数使其值达到最小：

                    

     步骤2b）若将上述定义的边界惩罚项作为图模型的边权重，即作为第p个像素与S、T顶点的连接权重，作为相邻点的连接权重，则最小化能量函数等价于找到一个所有边的权值之和最小的图割，即最小割；而福特-富克森定理表明，网路的最大流（max flow）与最小割（min cut）相等，所以基于max-flow/min-cut的Edmonds-Karp算法就可以用来获得S-T图的最小割。