CN101813976A - 基于soc的视线跟踪人机交互方法及装置 - Google Patents

Abstract

本发明中公开了基于SOC的视线跟踪人机交互方法及装置。该方法包括：摄像头将采集到的数字图像输入到SOC平台，采用硬件逻辑模块实现基于haar特征的Adaboost检测算法，对所述数字图像进行人眼区域的检测；根据检测到的人眼区域，利用视线方向判别算法，判别出用户视线，再将用户视线方向转化为鼠标控制信号通过USB传输给计算机，实现人机交互。所述装置包括SOC平台、用于采集人眼图像的摄像头、计算机、安装在计算机显示屏上四个角且排列成矩形的四个LED，SOC平台包括人眼区域检测硬件逻辑模块、处理器和存储器。本发明通过硬件实现人眼区域检测、视线方向判别，最终实现人机交互，具有使用方便，准确度高的优点。

Description

基于SOC的视线跟踪人机交互方法及装置

技术领域

本发明涉及SOC(片上***)设计技术，视觉跟踪算法属于图像处理和模式识别技术领域，具体是一种基于SOC的视线跟踪人机交互装置。

背景技术

人眼视线在人机交互中扮演重要角色，它具有直接、自然和双向等优点。目前视线跟踪技术刚起步，未达到实用阶段，成功的实用性项目很少并且价格昂贵，对硬件的要求高。视觉跟踪技术一般可以分为两类，接触式和非接触式。接触式的精度高，但用户须穿戴特殊器具，这会给用户带来很大的不舒适。非接触式一般采用基于视频图像处理的办法，通过分析人眼部分图像判定视线方向，不对用户产生干扰，使用更加方便。

基于视线跟踪的人机交互装置，目前研究的主要方向是基于计算机平台或性能较高的嵌入式处理器，纯软件运行的，但由于其算法计算复杂度高，占用***资源多，不利于用户利用此***在计算机上做其他复杂的操作。鉴于纯软件实现视线跟踪算法在人机交互装置上的局限性，可利用硬件逻辑的并行性及流水线操作，将视线跟踪算法中计算量较大部分用硬件实现，大大提高算法的执行效率。经对现有技术文献的检索发现，尚未有报道过有基于SOC的视线跟踪人机交互方法及装置。

发明内容

本发明克服现有视线跟踪技术中的不足，提供基于SOC的视线跟踪人机交互方法及装置。本发明通过合理的软硬件划分，在SOC平台上实现，把复杂度较高部分即人眼区域检测部分用硬件实现，大大提高算法的执行效率。本发明通过如下技术方案实现：

一种基于SOC的视线跟踪人机交互方法，该方法包括如下步骤：

(1)摄像头将采集到的数字图像输入到SOC平台，采用硬件逻辑模块实现基于haar特征的Adaboost检测算法，对所述数字图像进行人眼区域的检测；

(2)根据检测到的人眼区域，利用视线方向判别算法，判别出用户视线，再将用户视线方向转化为鼠标控制信号通过USB传输给计算机，实现人机交互。

上述的人机交互方法中，所述硬件逻辑模块包括如下模块：

积分模块，完成数字图像的积分与平方积分的计算，并将计算结果存放在存储器上；子窗口扫描模块，对整帧数字图像子窗口的横坐标和纵坐标按设定步长进行遍历，得出待测子窗口的坐标及长宽；

子窗口处理模块，判定待测子窗口是否为人眼子窗口；

子窗口融合模块，对判定出的所有人眼子窗口进行融合处理，即整合位置相近的窗口，然后重新调整人眼窗口位置，确定人眼区域。

上述的人机交互方法中，所述子窗口处理模块是根据采用Modesto Castrillón训练的右眼分类器，运用Cascade级联方法实现子窗口处理，具体步骤包括：首先提取右眼分类器的haar特征参数；将haar特征参数具体化，即将haar特征参数与扫描后的子窗口大小进行匹配，再根据具体化后haar特征参数中矩形区域的位置读取积分模块计算出的积分数据，最后运用Cascade级联方法确定人眼子窗口。

上述的人机交互方法中，所述运用Cascade级联方法确定人眼子窗口是将多个右眼弱分类器加权组成右眼强分类器，再将20级右眼强分类器串联完成人眼子窗口的确定，具体步骤包括：首先根据每个右眼弱分类器中的haar特征参数及从积分模块中读取的积分数据，计算出实际子窗口的haar特征值，再与当前右眼弱分类器的阈值进行比较，确定此右眼弱分类器的权值，最后将这些右眼弱分类器的权值进行累加，再与右眼强分类器的阈值做比较，如果大于此阈值，则通过此级右眼强分类器的验证，进入下一级右眼强分类器的判别，如果小于此阈值，则认为此子窗口为非人眼区域；当子窗口通过20级右眼强分类器的验证，则可确定为人眼子窗口。

上述的人机交互方法中，所述视线方向判别算法是根据位于计算机屏幕四个角上的四个LED红外光源在人眼角膜上形成的四个反射亮点，即普尔钦斑点，与瞳孔中心之间的几何位置关系计算视线方向。

上述的人机交互方法中，所述视线方向判别算法具体步骤包括：首先采用灰度投影方法定位瞳孔中心，在以瞳孔中心为中心，在其上下左右30个像素的区域内搜索普尔钦斑点，计算瞳孔中心与所述四个反射亮点的关系，确定其视线方向。

实现上述的人机交互方法的基于SOC的人机交互装置，该装置包括SOC平台、用于采集人眼图像的摄像头、计算机、安装在计算机显示屏上四个角且排列成矩形的四个LED，SOC平台包括人眼区域检测硬件逻辑模块、处理器和存储器；所述摄像头将采集到的数字图像输入到SOC平台上的存储器；计算机通过USB与SOC平台连接；人眼区域检测硬件逻辑模块完成人眼区域的检测，处理器根据检测出的人眼区域，结合视线方向判别算法识别出用户视线方向，将与用户视线方向对应的控制信号转化为鼠标控制信号通过USB传输给计算机。

上述装置中，所述计算机的显示屏由两条对角线分为四个区域，SOC平台的处理器根据用户眼睛所注视的区域，将用户视线分为上、下、左、右四个方向，模拟鼠标移动功能，作为用户输入的控制信息，并通过眨眼动作用来确认视线控制信息、模拟鼠标单击并输入用户确认信息。

上述装置中，所述眨眼动作是将1～3秒的眨眼动作用来发出确认命令信息。

本发明将基于SOC的视线跟踪技术应用于人机交互装置，填补了我国这方面的空白。通过连接于SOC平台的摄像头跟踪人眼注视视线，由于屏幕两条对角线可以把屏幕分成四个区域，则将人眼注视这四个区域的四种不同视线方向作为用户发出的四种控制信息，同时将1～3秒的闭眼这个眨眼动作用来发出确认命令信息，再将此平台连接到计算机，实现鼠标的基本操作功能。

与现有技术相比，本发明的优点与积极效果在于：

1、对于计算复杂度高的视线跟踪算法，通过合理的软硬件划分，在SOC平台上，充分运用硬件逻辑的并行性以及流水线等操作，把整个***算法运算量大的模块运用硬件逻辑模块(即人眼区域检测IP核)实现，大大提高算法的执行效率，解决了纯软件实现算法占用***资源多，效率较低的缺陷。

2、采用本发明的视线跟踪技术，实现了一个占用资源小，实时性高的人机交互装置，具体功能有：

可以用视线实现计算机的基本操作，如打开网页，电子书的上下翻页等；

可以作为虚拟现实的人机交互装置，在虚拟现实环境中，根据用户当前的注视状态，提供给用户相应注视方位的场景信息，这样用户在不同的方位就会看到不同的场景，达到身临其境的效果。使人与计算机间的交互与现实世界中的交互方式趋于一致，更为简单、自然、高效。

附图说明

图1是本发明实施方式中的基于SOC的视线跟踪人机交互装置构成框图。

图2是本发明实施方式中显示屏、红外光源与摄像头的布置示意图。

图3是本发明实施方式中视线跟踪方法的流程示意图。

图4是本发明实施方式中人眼区域检测IP核的流程示意图。

图5是本发明实施方式中子窗口处理流水线示意图。

图6a～图6c分别是本发明实施方式中haar特征的三种示意图。

图7是本发明实施方式中haar特征求法示意图。

图8是本发明实施方式中普尔钦斑点构成矩形的对角线交点示意图。

具体实施方式

下面结合附图对本发明的具体实施方式做进一步说明。

如图1、图2所示，基于SOC的视线跟踪人机交互装置，包括SOC平台、用于采集人眼图像的摄像头、计算机、安装在计算机显示屏上四个角且排列成矩形的四个LED(红外光源)，SOC平台包括人眼区域检测硬件逻辑模块(即人眼区域检测IP核)、处理器和存储器；所述摄像头将采集到的数字图像输入到SOC平台上的存储器；计算机通过USB与SOC平台连接；人眼区域检测硬件逻辑模块完成人眼区域的检测，处理器根据检测出的人眼区域，结合视线方向判别算法识别出用户视线方向，再根据用户视线方向将相应的控制信号转化为鼠标控制信号通过USB传输给计算机。

本实施方式中，红外光源是安装在显示屏四角的四个LED灯，摄像头位于屏幕中心正下方，摄像头采集的数字图像输入视线跟踪模块。红外光源在人眼角膜表面形成反射亮点，即普尔钦斑点，并以普尔钦斑点为基准点计算人眼视线方向。红外光源以及摄像头摆放位置如图1所示，四个红外LED灯安装在屏幕四个角上，摄像头放置在屏幕中心正下方。摄像头采用640×480像素普通摄像头，为增加摄像头对红外光源的敏感度，把其镜头更换为对红外更敏感的镜头，同时为了避免外界自然光源的影响，在镜头前加上滤光片。屏幕上LED灯与图像中反射亮点的对应，视线与瞳孔中心位置相对应。四个反射亮点构成一个矩形，两条对角线把矩形分成四个区域，瞳孔中心位于哪个区域便代表了人眼视线的方向。

本发明的一个实施例，如图3所示，首先通过摄像头采集用户图像，然后根据人眼区域检测IP核检测图像中是否存在人眼来判断当前是否有用户使用该***，只有检测到人眼后，才进行后续的处理。在检测到人眼的基础上，通过眨眼状态判别算法进行判别，如果判别为闭眼，则通过USB线发送鼠标单击信号至计算机，如果判别为睁眼，则进行视线方向的判别。再将视线方向信息通过USB线发送至计算机。

本实施方式中，人眼区域检测IP核的内部框架如图4所示。通过基于haar特征的Adaboost人眼检测算法判断图像中是否有人眼存在，具体实施步骤如下：

步骤：图像积分。图像积分模块完成数字图像的积分与平方积分的计算，并也将计算结果存放在SRAM上；

步骤二：子窗口扫描。子窗口扫描模块完成对整帧图像子窗口的遍历。

步骤三：子窗口处理。子窗口处理模块完成对子窗口是否为人眼窗口的判定。

步骤四：子窗口融合。子窗口融合模块，对检测到的所有子窗口进行整合，除去相邻的人眼子窗口，得出人眼位置。

其中步骤一的具体实施步骤为：将图像像素数据存放在SOC平台上的存储器(片外SRAM)中，用一个寄存器保存行像素灰度累加值。为了加快运算速度，在SOC片内生成一个RAM，用于保存上一行的积分数据，以减少对片外SRAM的访问。每计算完一个坐标点的积分数据，就把这个数据写入到外部SRAM中，同时覆盖掉片内RAM相应的积分数据以便下一次计算需要。

其中步骤二的具体实施步骤为：用一个状态机实现对子窗口的遍历。首先，对整帧数字图像子窗口的横坐标和纵坐标按设定步长进行遍历，之后乘上放大系数，再次进行横纵遍历，得出待测子窗口的坐标及长宽。

其中步骤三的具体实施步骤为：采用Modesto Castrillón训练的右眼分类器特征，运用Cascade级联的方法实现子窗口处理，具体步骤包括：首先提取右眼分类器的haar特征参数；将haar特征参数具体化，即将haar特征参数与扫描后的子窗口大小进行匹配，再根据haar特征参数中矩形区域的位置读取积分模块计算出的积分数据，最后运用Cascade级联的方法确定人眼子窗口。为了加快处理速度，将右眼分类器数据保存在SOC片内开辟的ROM上。从已发布的OpenCV 1.0中的.xml文件中读取出右眼分类器数据，保存为.mif文件格式用于初始化ROM。如图5所示，应用硬件逻辑的并行计算能力对于每个分类器的判别通过流水线处理设计。

上述步骤三中所述运用Cascade级联方法确定人眼子窗口是指将多个右眼弱分类器加权组成右眼强分类器，再将20级右眼强分类器串联完成人眼区域的检测。本发明中各级级右眼强分类器各由右眼弱分类器10，10，16，20，16，20，24，30，34，38，38，42，44，48，48，56，52，58，68，64个组成。具体步骤包括：首先根据每个弱分类器中的haar特征参数及从积分模块中读取的积分数据，计算出实际子窗口的haar特征值，再与当前右眼弱分类器的阈值进行比较，确定此右眼弱分类器的权值，最后将这些右眼弱分类器的权值进行累加，再与右眼强分类器的阈值做比较，如果大于此阈值，则通过此级右眼强分类器，可进入下一级右眼强分类器的判别。否则，则认为此子窗口为非人眼区域。当子窗口通过20级右眼强分类器的验证，则可确定为人眼子窗口。

其中haar特征，也叫矩形特征，它对一些简单的图形结构，比如边缘、线段，比较敏感，能描述特定走向(水平、垂直、中心)的结构，如图6所示，这些特征表征了图像的局部haar特征，其中图(a)中两个的矩形特征分别表征了上下和左右边界特征，图(b)的矩形特征表征了细线特征，图(c)的矩形特征表征了对角线特征。眼睛一些特征能够由矩形特征简单的描绘，例如，眉毛比眼皮的颜色更深，并呈现上下边界特征，眼睛边缘比眼皮的颜色更深，并呈现左右边界特征。

如图6所示，haar特征值的求法为白色矩形区域内的所有像素点的和减去灰色矩形区域中的所有像素点的和。具体计算步骤为：首先根据haar特征参数中的矩形区域的具***置，提取矩形区域四个点的积分数据，则可计算出所要求矩形区域的所有像素点的和。如图7举例说明，图中的矩形为待求图像，A、B、C、D分别为图像中的几个矩形区域，积分图元素值计算：点“1”的积分值是矩形框A中所有像素的像素值之和。点“2”的积分值所对应的值为A+C，点“3”的积分值是A+B，点“4”的积分值是A+B+C+D，所以D中所有的像素值之和可以用4+1-(2+3)计算。因此图像中任何矩形中所有像素的值之和都可以通过类似如上的四个矩形计算出，即通过四个点的积分数据算出。最后对右眼分类器中haar特征所指矩形区域，进行像素和的相减，得出haar特征值。

其中步骤四的具体实施步骤为：对判定出的所有人眼子窗口进行融合处理，定位出人眼位置。由于步骤三确定的人眼子窗口不止一个，而且人眼子窗口之间互相交叉、包含等情况，我们可以通过他们的位置、大小的条件把将他们合并，减少重复窗口出现的情况，即整合位置相近的窗口，然后重新调整人眼窗口位置。

本实施方式中，眨眼状态判别是通过统计每帧图像中二值眼部区域黑色像素的个数，并与前一帧进行比较，利用帧间黑色像素个数之间的关系，来判别是否存在人眼由开转为闭的眨眼动作。具体过程如下：

设第i帧图像为Fi，人眼区域为Di

1.统计Fi中，区域Di灰度值小于150的像素点数目Ci；

2.统计Fi+1中，区域Di灰度值小于150的像素点数目Ci′；

3.若Ci/Ci′＞0.9，则认为可能出现闭眼事件；

4.若出现可能的闭眼事件后连续若干帧检测不到眼睛，则确定为闭眼。

本实施方式中，视线方向的判定是通过检测瞳孔中心与普尔钦斑点的位置，再通过几何计算求瞳孔中心与普尔钦斑点的位置关系，从而判别视线方向。具体步骤如下：

步骤一：定位瞳孔中心，并利用瞳孔中心位置与普尔钦斑点的关系，与普尔钦斑点的几何特征，搜索出普尔钦斑点。

步骤二：通过几何计算求取瞳孔中心与普尔钦斑点的位置关系，从而判别视线方向；

其中步骤一的具体实施步骤为：

眼睛区域中，普尔钦斑点具有以下几何特征：

1.位于瞳孔周围，与瞳孔中心距离小于30像素；

2.大小为5～20个像素不等，灰度值在100以上；

3.在眼睛区域，亮点处的灰度值各有一个极大值，且在理想条件下，四个普尔钦斑点处灰度的突变最大；

4.四个普尔钦斑点之间距离在8～18像素范围内，且近似成矩形关系；

因此通过以下步骤来寻找普尔钦斑点(即亮点)：

1.用水平灰度投影和垂直灰度投影法定位瞳孔的中心，以该中心的上下左右各30个像素的范围作为搜索区域；

2.在搜索区域内寻求灰度极值点，即寻找灰度值满足以下条件的点集G：

g(x₀，y₀)≥max{g(x，y)}，g(x₀，y₀)＞100

其中g(x₀，y₀)为(x₀，y₀)点的灰度值。

3.用如下所示的Laplace算子对点集G中每一个点与其周围点进行卷积，求出每个点g处的微分f。

$\left[\begin{array}{ccccc}-1& -1& -1& -1& -1\\ -1& -1& -1& -1& -1\\ -1& -1& 24& -1& -1\\ -1& -1& -1& -1& -1\\ -1& -1& -1& -1& -1\end{array}\right]$

由于Laplace算子是一种各向同性的微分算子，它的作用是强调图像中灰度突变的区域，Laplace卷积中值越大，说明该处灰度的突变越大。采用5×5的Laplace算子，可以进一步避免噪声干扰；

4.对点集G按其微分值f进行排序，选择f最大的四个点P0～P3，作为候选点；

5.检验P0～P3，若能形成矩形，则确定P0～P3为四个普尔钦斑点，否则丢弃当前帧图像。

其中步骤二的具体实施步骤为：

根据物理和几何方法，可确定屏幕与采集图像的一一对应关系，即屏幕四个角的LED与人眼图像中四个亮点相对应，视线方向与瞳孔中心相对应。因此根据这个对应关系，就可通过采集的人眼图像判定视线方向，如图8所示，设P0、P1、P2、P3为检测到的四个普尔钦斑点，Q为瞳孔中心，利用定比分点公式求出P0～P3的对角线交点O的坐标，连结OQ，OP0，OP1，OP2，OP3，OP0～OP3把由点P0～P3连接成的矩形分割为四个区域，计算OQ处于哪个区域，便可计算出视线方向。具体方法如下：

1.根据附图3，用计算几何的方法求P0～P3的对角线交点O：

由三角形的面积公式和叉积的定义有：

$\frac{\left|P_{1}O\right|}{\left|P_{3}O\right|}=\frac{S_{\mathrm{\Δ}{P}_0{P}_1{P}_2}}{S_{\mathrm{\Δ}{P}_0{P}_3{P}_2}}=\frac{\stackrel{\→}{P_0{P}_1}\×\stackrel{\→}{P_0{P}_2}}{\stackrel{\→}{P_0{P}_1}\×\stackrel{\→}{P_0{P}_3}}$

其中为三角形p₀p₁p₂的面积，

为三角形p₀p₃p₂的面积。

由定比分点的公式，可以求出O点的x坐标为：

$x_0=\frac{S_{{\mathrm{\ΔP}}_0{P}_1{P}_2}\·x_{P_1}+S_{\mathrm{\Δ}{P}_0{P}_3{P}_2}\·x_{P_3}}{S_{\mathrm{\Δ}{P}_0{P}_1{P}_2}+S_{{\mathrm{\ΔP}}_0{P}_3{P}_2}}$

同理也可以求出O点的y坐标。

2.连结OQ，OP0，OP1，OP2，OP3，则瞳孔中心Q所在的区域可以根据下列关系求出：

区域0：OQ落在OP0与OP1之间，对应视线方向为“上”

区域1：OQ落在OP1与OP2之间，对应视线方向为“右”

区域2：OQ落在OP2与OP3之间，对应视线方向为“下”

区域3：OQ落在OP3与OP0之间，对应视线方向为“左”

本实施方式中，用户视线方向确定后，再将用户视线方向转化为USB鼠标控制信号通过USB线传输给计算机，实现人机交互。

Claims (9)

1.一种基于SOC的视线跟踪人机交互方法，其特征在于该方法包括如下步骤：

(1)摄像头将采集到的数字图像输入到SOC平台，采用硬件逻辑模块实现基于haar特征的Adaboost检测算法，对所述数字图像进行人眼区域的检测；

(2)根据检测到的人眼区域，利用视线方向判别算法，判别出用户视线，再将用户视线方向转化为鼠标控制信号通过USB传输给计算机，实现人机交互。

2.根据权利要求1所述的人机交互方法，其特征在于所述硬件逻辑模块包括如下模块：积分模块，完成数字图像的积分与平方积分的计算，并将计算结果存放在存储器上；子窗口扫描模块，对整帧数字图像子窗口的横坐标和纵坐标按设定步长进行遍历，得出待测子窗口的坐标及长宽；

子窗口处理模块，判定待测子窗口是否为人眼子窗口；

子窗口融合模块，对判定出的所有人眼子窗口进行融合处理，即整合位置相近的窗口，然后重新调整人眼窗口位置，确定人眼区域。

3.根据权利要求2所述的方法，其特征在于所述子窗口处理模块是根据采用ModestoCastrillón训练的右眼分类器，运用Cascade级联方法实现子窗口处理，具体步骤包括：首先提取右眼分类器的haar特征参数；将haar特征参数具体化，即将haar特征参数与扫描后的子窗口大小进行匹配，再根据具体化后haar特征参数中矩形区域的位置读取积分模块计算出的积分数据，最后运用Cascade级联方法确定人眼子窗口。

4.根据权利要求3所述的方法，其特征在于所述运用Cascade级联方法确定人眼子窗口是将多个右眼弱分类器加权组成右眼强分类器，再将20级右眼强分类器串联完成人眼子窗口的确定，具体步骤包括：首先根据每个右眼弱分类器中的haar特征参数及从积分模块中读取的积分数据，计算出实际子窗口的haar特征值，再与当前右眼弱分类器的阈值进行比较，确定此右眼弱分类器的权值，最后将这些右眼弱分类器的权值进行累加，再与右眼强分类器的阈值做比较，如果大于此阈值，则通过此级右眼强分类器的验证，进入下一级右眼强分类器的判别，如果小于此阈值，则认为此子窗口为非人眼区域；当子窗口通过20级右眼强分类器的验证，则可确定为人眼子窗口。

5.根据权利要求1所述的人机交互方法，其特征在于所述视线方向判别算法是根据位于计算机屏幕四个角上的四个LED红外光源在人眼角膜上形成的四个反射亮点，即普尔钦斑点，与瞳孔中心之间的几何位置关系计算视线方向。

6.根据权利要求4所述的人机交互方法，其特征在于所述视线方向判别算法具体步骤包括：首先采用灰度投影方法定位瞳孔中心，在以瞳孔中心为中心，在其上下左右30个像素的区域内搜索普尔钦斑点，计算瞳孔中心与所述四个反射亮点的关系，确定其视线方向。

7.一种实现权利要求1～6任一项所述人机交互方法的基于SOC的人机交互装置，其特征在于包括SOC平台、用于采集人眼图像的摄像头、计算机、安装在计算机显示屏上四个角且排列成矩形的四个LED，SOC平台包括人眼区域检测硬件逻辑模块、处理器和存储器；所述摄像头将采集到的数字图像输入到SOC平台上的存储器；计算机通过USB与SOC平台连接；人眼区域检测硬件逻辑模块完成人眼区域的检测，处理器根据检测出的人眼区域，结合视线方向判别算法识别出用户视线方向，将与用户视线方向对应的控制信号转化为鼠标控制信号通过USB传输给计算机。

8.根据权利要求7所述的装置，其特征在于所述计算机的显示屏由两条对角线分为四个区域，SOC平台的处理器根据用户眼睛所注视的区域，将用户视线分为上、下、左、右四个方向，模拟鼠标移动功能，作为用户输入的控制信息，并通过眨眼动作用来确认视线控制信息、模拟鼠标单击并输入用户确认信息。

9.根据权利要求8所述的装置，其特征在于所述眨眼动作是将1～3秒的眨眼动作用来发出确认命令信息。

Images