CN103390152A - 基于sopc的适合人机交互的视线跟踪*** - Google Patents

Abstract

本发明中公开了基于SOPC的适合人机交互的视线跟踪***，包括模拟摄像头，红外光源，SOPC平台。摄像头将采集到的模拟图像输入到SOPC平台，利用解码芯片保存为数字图像，采用硬件逻辑模块实现基于haar特征的Adaboost检测算法，对所图像进行人眼区域的检测；在检测到的人眼区域的基础上，进一步利用随机抽样一致性椭圆拟合法进行瞳孔精确定位，进而得到视线向量，再将视线向量信号通过USB传输给计算机，实现人机交互。本发明通过硬件实现人眼区域检测和瞳孔中心提取，最终实现人机交互，具有良好的准确性和实时性，实现了装置的小型化。

Description

基于SOPC的适合人机交互的视线跟踪***

技术领域

本发明涉及人机交互技术领域，具体涉及基于SOPC的适合人机交互的视线跟踪***。

背景技术

视线跟踪技术在人机交互中具有直接性、双向性和自然性的优点，已成为未来智能人机接口的关键技术。当前视线跟踪技术主要可以分为接触式和非接触式两类。非接触式跟踪精度高，但用户需要在头部佩戴特殊装置，给使用带来了不便，同时价格较为昂贵。非接触式则带来充分自由的用户体验，主流方案是通过摄像机获取用户眼部图像，通过图像处理技术获取用户的视线方向。当前非接触式视线跟踪技术的研究主要集中于原型算法，并已满足一定的精度和鲁棒性，其应用与推广的瓶颈在于高性能、微型化、低功耗和低成本的视线跟踪设备。由于算法的计算复杂度高，用纯软件的方式实现将占用大量***资源，若利用硬件逻辑的并行性及流水操作，将算法中运算量高的部分用硬件模块实现，可以大大提高执行效率，在一个SOPC平台上即可实现整个视线跟踪***。

发明内容

本发明的目的是提供开发基于机器视觉、无接触式的基于SOPC的适合人机交互的视线跟踪***。本发明的技术方案如下：

基于SOPC的适合人机交互的视线跟踪***，该***包括模拟摄像头，红外光源，SOPC平台；其中SOPC平台包括：视频捕获模块、Adaboost人眼检测模块、RANSAC椭圆拟合模块、片上处理器和USB控制器；

所述模拟摄像头用于采集用户的正面人脸图像，采集人脸图像时红外光源打开并位于模拟摄像头右侧，在人眼的角膜上形成一个反射亮斑；

所述视频捕获模块用于对采集的人脸图像通过视频捕获模块转换成数字图像；

所述Adaboost人眼检测模块用于对人脸图像进行人眼区域的定位；

所述RANSAC椭圆拟合模块用于在所定位的人眼区域中，对瞳孔精确定位，得到瞳孔中心；同时提取亮斑中心，该中心即红外光源在人眼角膜上形成的反射亮斑的中心位置，对亮斑中心到瞳孔中心的P-CR向量，采用二维多项式映射得到视线向量，即用户在屏幕的注视点；

所述片上处理器负责对上述的视频捕获模块、Adaboost人眼检测模块、RANSAC椭圆拟合模块各进行调度，并通过USB控制器将视线向量传输到计算机作为人机交互的控制信号。

所述RANSAC椭圆拟合模块对瞳孔精确定位通过如下步骤实现：

（1）瞳孔轮廓预提取：在定位的人眼区域中，使用边缘检测算法提取瞳孔轮廓，生成瞳孔轮廓点集；

（2）从瞳孔轮廓点集中随机抽取四个点，生成最小子集；

（3）利用所抽取的四个点进行椭圆拟合，确定椭圆参数：椭圆可由方程

Ax²+By²+Cx+Dy＝1

进行描述，利用四个点的坐标即可求出椭圆参数A,B,C,D；

（4）计算瞳孔轮廓点集在步骤（3）求得的椭圆参数下的误差；

（5）对步骤（2）至（4）进行重复多次计算，选取误差最小的四个点及其对应的椭圆参数。

所述的RANSAC椭圆拟合模块包括以下子模块：

伪随机数生成器模块：负责生成伪随机数，从瞳孔轮廓点集中提取最小子集，以线性反馈位移寄存器法实现；

矩阵快速逆运算模块：采用基于LU分解的矩阵求逆法，以24位的定点数法实现，在分解过程中根据数据类型采用不同的定点位长；

基于代数距离的误差累计模块：代数距离将误差定义为方程在给定样本点下的偏差，也就是拟合误差或残差，椭圆方程如下：

F(x,y)＝Ax²+By²+Cx+Dy-1＝0，

对于瞳孔轮廓点集中的一点p_i＝{x_i,y_i}，把坐标值代入方程得到F(x_i,y_i)，即该点到椭圆的代数距离，也就是把瞳孔轮廓点集中的每个点到椭圆的代数距离的绝对值累加起来，作为衡量最小子集拟合结果的评判标准，其绝对值越小，则误差越小，拟合结果越佳。

上述Adaboost人眼检测模块采用Adaboost算法的人眼区域定位步骤包括：首先对待检测图像进行缩放，以检测不同尺寸的人眼，然后以固定尺寸的子窗口对图形进行遍历，计算每个候选子窗口的积分图，按顺序进行分类器检测，计算分类器中每个Haar特征的特征值，并与特征阈值比较，选择累计因子。当前分类器中所有特征累计因子的和即为人眼的相似度，如果相似度大于该分类器的阈值则进入下一级检测，否则该候选子窗口被淘汰并重新选择下一个子窗口，直至完成所有子窗口的检测。通过全部级数检测的子窗口即为人眼窗口。

所述视线向量的判别是通过瞳孔－角膜反射向量（P-CR）以二维多项式函数映射关系转化为屏幕上的注视点而得到的。其中瞳孔－角膜反射向量是人眼图像中普尔钦亮斑到瞳孔中心形成的二维向量。瞳孔－角膜反射向量的原理及获取方式如下：

红外光源在眼睛角膜上产生反射亮斑，即普尔钦斑点，由于眼睛是一个类球体且只绕着其中心旋转，红外光源和图像传感器位置固定，当用户头部保持静止的时候，人眼注视屏幕不同的坐标点，瞳孔位置会相应的变化。但是由于亮斑是眼球角膜表明上的反射形成，因此角膜上的反射光斑是保持不动的。用户视线变化时，眼球转动，瞳孔在图像传感器中成像的位置也随之变化，由于亮斑位置不变，亮斑中心到瞳孔中心的向量和用户在屏幕上的注视点坐标存在一一对应的关系。通过提取亮斑及瞳孔中心位置即可获取视线向量。

其中，亮斑精确定位的步骤包括：对瞳孔区域进行一次遍历查找灰度值最大的点的位置。在对人眼区域进行定位以后，由于亮斑在瞳孔中央附近具有较高的亮度和对比度，因此在视线跟踪技术中常用峰值法进行亮斑检测。

进一步的，所述瞳孔精确定位的步骤包括：

（1）瞳孔图像预处理，提取轮廓：采用边缘检测法提取瞳孔的大致轮廓，生成一个瞳孔轮廓点集。

（2）从瞳孔轮廓点集中随机抽取四个点，生成最小子集：随机数由伪随机数生成器产生，本方法中伪随机数生成器采用线性反馈移位寄存器来实现，共16级寄存器，其特征多项式为p(x)=x^16+x^12+x^3+x+1。

（3）由选取的四个点进行椭圆拟合，确定椭圆参数：在人眼图像中瞳孔是呈水平方向的椭圆，因而在平面直角坐标系中可以用以下方程描述：

Ax²+By²+Cx+Dy＝1

采用（2）中随机抽取的四个点，可构成以下线性方程组：

$\left[\begin{array}{cccc}{x_0}^2& x_0& {y_0}^2& y_0\\ {x_1}^2& x_1& {y_1}^2& y_1\\ {x_2}^2& x_2& {y_2}^2& y_2\\ {x_3}^2& x_3& {y_3}^2& y_3\end{array}\right]*\left[\begin{array}{c}A\\ B\\ C\\ D\end{array}\right]=\left[\begin{array}{c}1\\ 1\\ 1\\ 1\end{array}\right]$

通过基于LU分解的矩阵求逆法解出A,B,C,D四个参数。

（4）计算瞳孔轮廓点集在步骤（3）求得的椭圆参数下的误差：基于代数距离的误差累计模块作为随机样本拟合结果的评价标准，它对矩阵逆运算模块的系数结果进行校验，本发明采用基于代数距离的误差基准。代数误差将误差距离定义为方程在给定样本点下的偏差，也就是拟合误差或残差。

由于代数距离可为负值，对原始定义的代数距离进行了绝对值修正。若瞳孔轮廓点集中的点个数为m，则对于给定系数[A,B,C,D]的误差定义为：

$F\left(a\right)=\underset{i=1}{\overset{m}{\mathrm{\Σ}}}|{\mathrm{Ax}}_i^2+{\mathrm{By}}_i^2+{\mathrm{Cx}}_i+{\mathrm{Dy}}_i-1|$

（5）重复步骤（2）至（4）迭代，选取最优集及其对应的椭圆参数：选择F(a)最小时对应的椭圆参数，根据椭圆参数计算出瞳孔中心位置。

与现有技术相比，本发明具有如下优点和技术效果：本发明将运算量庞大的Adaboost人眼检测和瞳孔椭圆拟合算法映射至硬件逻辑，并在低成本的FPGA芯片上进行SOPC集成，实现了整个视线跟踪***。该***能实时检测输入视频流中用户的视线信息，并通过USB总线输出结果，在分辨率为640×480下检测速度达到11帧每秒，达到实时性的要求。

附图说明

图1是本发明实施方式中的基于SOPC的***组成框图。

图2是本发明实施方式中的Adaboost人眼检测流程。

图3是本发明实施方式中的Haar特征值计算所需子窗口积分寄存器阵列。

图4是本发明实施方式中的Haar特征值计算所需数据选择器。

图5是本发明实施方式中的串并混合分类器结构。

图6是本发明实施方式中的误差累计状态机。

具体实施方式

以下结合附图和实例对本发明的实施作进一步说明，但本发明的实施和保护不限于此。

如图1所示，基于SOPC的适合人机交互的视线跟踪***，包括模拟摄像机（用于采集人眼图像），红外光源，SOPC平台。模拟摄像头用于获取到的包含人眼的模拟图像。SOPC平台主要包括5部分：视频捕获模块、Adaboost人眼检测模块、片上处理器（软件）、RANSAC椭圆拟合模块和USB控制器。视频捕获模块上电后通过I2C总线对解码芯片ADI7181进行配置，通过***总线将红外灰度图像保存于SRAM（SDRAM用以存放处理器的程序和代码），以便快速频繁的图像读写；Adaboost人眼检测模块通过读取灰度图像计算人眼区域；NIOS片上处理器以软件的方式在人眼区域的基础上根据经验值粗略定位瞳孔位置，并进行边缘检测提取瞳孔边缘位置；瞳孔边缘位置通过RANSAC椭圆拟合得到瞳孔的精确位置。NIOS片上处理器同时兼顾***的任务调度、亮斑查找和USB协议实现以在USB总线产生中断请求时输出用户图像中的瞳孔位置和亮斑位置，即视线向量的信息。

本实施方式中，红外光源是安装在摄像头旁边的LED灯，摄像头位于屏幕中心右下方。摄像头采集的模拟图像通过解码芯片ADI7181转换成数字图像，通过***总线将红外灰度图像保存于SRAM（SDRAM用以存放处理器的程序和代码），以便快速频繁的图像读写；红外光源在人眼角膜表面形成反射亮点，即普尔钦斑点，并以普尔钦斑点为基准点计算人眼视线方向。摄像头采用640×480像素普通摄像头，为增加摄像头对红外光源的敏感度，把其镜头更换为对红外更敏感的镜头，同时为了避免外界自然光源的影响，在镜头前加上滤光片。本发明的一个实施例为，首先通过摄像头采集用户图像，然后根据人眼区域检测IP核检测图像中是否存在人眼来判断当前是否有用户使用该***，只有检测到人眼后，才进行后续的处理。在检测到人眼的基础上，进行视线方向的判别，再将视线方向信息通过USB线发送至计算机。

本实施方式中采用基于迭代的Adaboost算法进行人眼检测。其基本思想为在一个固定正负样本集中提取大量分类性能一般的分类器，称为弱分类器，通过一系列弱分类器的级联得到分类性能较强的强分类器，最终把若干强分类器串联起来得到用于目标检测的级联分类器。利用Adaboost进行人眼检测主要有以下四个步骤，如图2所示：

（1）图像尺寸缩放

（2）扫描子窗口

（3）积分图生成

（4）利用分类器进行检测

步骤（4）利用分类器进行检测中又包含以下子步骤：对于每一级分类器，计算该级分类器的所有Haar特征，之后判断能否通过该级分类器，若能通过则继续下一个分类器的检测，直到所有分类器都完成检测。

这几个步骤在SOPC平台上以一个人眼检测的硬件模块实现，包含以下子模块：

（1）图像尺寸缩放：以一个固定的比例系数缩小图像尺寸；

（2）基于向量法的快速积分图生成器。用于计算Haar特征值。计算流程如下：

图3为子窗口积分寄存器阵列，其中图像数据RAM中储存人脸图像数据，列积分逻辑用于计算下一个子窗口所需更新的积分数据并将计算结果储存到辅助寄存器组。积分寄存器阵列保存当前子窗口的积分图。扫描控制逻辑用于控制当前检测图像的尺寸及扫描子窗口的位置。从子窗口积分寄存器阵列中读取积分数据后通过分类检测逻辑进行检测。若为双矩形特征则读取8组积分数据，若为三矩形特征则读取12组积分数据，然后通过一次加法运算和一次减法运算得出矩形灰度和，最后通过一次乘法运算（确定Haar特征所占比重）以及两次的加法运算得出当前Haar特征的特征值。因为一个Haar特征可能包含2个矩形或者3个矩形，因此通过一个数据选择器（MUX）来选择最后一个加法器的输入值，若只包含2个矩形，则0被选择进行加法器。如图4所示（其中Weight0,Weight1,Weight2代表每一个Haar特征所占的权重）。

（3）串并混合分类器

所用到的人脸检测分类器由22级强分类器组成，为了加快检测速度，本实施方法将前三级强分类器，共39个Haar特征设计成并行处理结构，其中第一级强分类器包含3个Haar特征，第二级包含16个Haar特征，第三级包含20个Haar特征。如果子窗口通过前三级强分类器（Stage1，Stage2，Stage3），则由剩下的19个强分类器（Stage4-Stage22）以串行的顺序对子窗口进行检测，只有通过全部分类器的子窗口才被判定为人脸窗口，否则子窗口将被判定为非人脸窗口，如图5所示（其中PASS代表通过检测，FAIL代表判定为非人脸）。

本实施方法中，视线向量检测亮斑位置和瞳孔中心位置而得到的。其中亮斑位置采用峰值检测法，即在检测到的人眼区域中对所有像素进行遍历，找出灰度值最大的点。

瞳孔中心的位置提取使用RANSAC拟合方法，通过以下步骤确定：

1）瞳孔图像预处理，提取轮廓:采用边缘检测法提取瞳孔的大致轮廓，生成一个瞳孔轮廓点集。

2）从瞳孔轮廓点集中随机抽取四个点，生成最小子集

3）直接四点椭圆拟合，确定椭圆参数

4）计算样本集在椭圆参数下的误差

5）重复步骤2至4迭代，选取最优集及其对应参数

其中步骤2）的具体实施方式为：利用特征多项式为p(x)=x^16+x^12+x^3+x+1的16级线性反馈移位寄存器构成的伪随机数发生器生成4个随机数，并抽取相应的四个点的坐标。步骤3）的具体实施方式为：根据平面直角坐标系下的椭圆方程：

Ax²+By²+Cx+Dy＝1

可知由4个点的坐标可以确定椭圆的参数[A,B,C,D]，通过求解下面线性方程组而得：

$\left[\begin{array}{cccc}{x_0}^2& x_0& {y_0}^2& y_0\\ {x_1}^2& x_1& {y_1}^2& y_1\\ {x_2}^2& x_2& {y_2}^2& y_2\\ {x_3}^2& x_3& {y_3}^2& y_3\end{array}\right]*\left[\begin{array}{c}A\\ B\\ C\\ D\end{array}\right]=\left[\begin{array}{c}1\\ 1\\ 1\\ 1\end{array}\right]$

通过LU分解（将矩阵分解为一个下三角和一个上三角的乘积）的方式解出[A,B,C,D]。

步骤4）的具体实施方式为：根据代数绝对值误差的定义

$F\left(a\right)=\underset{i=1}{\overset{m}{\mathrm{\Σ}}}|{\mathrm{Ax}}_i^2+{\mathrm{By}}_i^2+{\mathrm{Cx}}_i+{\mathrm{Dy}}_i-1|$

将所有步骤1）椭圆拟合中得到的所有点的坐标代入上式，求得在参数[A,B,C,D]下的误差总和。

步骤5）：重复步骤2－4，选择相应的F(a)最小的参数[A,B,C,D],求得瞳孔中心的坐标位置为（-C/2A，-D/2B）。

本实施方法中RANSAC椭圆拟合使用硬件IP核实现，包括以下3个子模块：

（1）基于线性移位反馈寄存器的伪随机数生成器；

（2）矩阵快速逆运算：将整数除法器配置成12级流水线，从数据锁存输入到结果的输出需要等待12个时钟的延迟。相对于乘法器和加减法器的延时，除法运算是运算速度的瓶颈所在。由于分解矩阵后续元素依赖于前端的数据，针对这一数据相关性，最耗时的除法运算通过流水线计算的同时完成相关的乘法、减法计算。从而在最短的时间内完成矩阵的分解

（3）基于代数距离的误差累计：由误差表达式可知，每个点的误差计算需要经过4次乘法、2次平方运算。采用单个乘法器和平方计算子模块，利用状态机从瞳孔轮廓点集寄存器中循环读取样本点并计算。状态机如图6所示：其中状态S1至S5完成系数A、B、C、D、的读取，状态S6至S14计算

状态S15误差累计和，状态16输出最终结果（图中的Count代表读取的样本点的个数，在本方法中为4。Mul变量代表在计算的过程中每一步的中间结果，Error代表总的误差累计）。

本实施方法中，视线向量信号通过USB接线从SOPC平台传到PC机上。SOPC平台上使用ISP1362作为接口芯片，USB协议由FPGA内的NIOS软核实现。USB协议固件开发程序采用基于中断请求的基本结构。在初始化过程中，ISP1362通过中断请求向片上NIOS处理器发出消息响应请求，NIOS处理器进入中断服务例程以后，处理各种设备请求消息，并更新事件标志，读写数据缓冲区。

Claims (3)

1.基于SOPC的适合人机交互的视线跟踪***，其特征在于该***包括模拟摄像头，红外光源，SOPC平台；其中SOPC平台包括：视频捕获模块、Adaboost人眼检测模块、RANSAC椭圆拟合模块、片上处理器和USB控制器；

所述模拟摄像头用于采集用户的正面人脸图像，采集人脸图像时红外光源打开并位于模拟摄像头右侧，在人眼的角膜上形成一个反射亮斑；

所述视频捕获模块用于对采集的人脸图像通过视频捕获模块转换成数字图像；

所述Adaboost人眼检测模块用于对人脸图像进行人眼区域的定位；

所述RANSAC椭圆拟合模块用于在所定位的人眼区域中，对瞳孔精确定位，得到瞳孔中心；同时提取亮斑中心，该中心即红外光源在人眼角膜上形成的反射亮斑的中心位置，对亮斑中心到瞳孔中心的P-CR向量，采用二维多项式映射得到视线向量，即用户在屏幕的注视点；

所述片上处理器负责对上述的视频捕获模块、Adaboost人眼检测模块、RANSAC椭圆拟合模块各进行调度，并通过USB控制器将视线向量传输到计算机作为人机交互的控制信号。

2.根据权利要求1所述的基于SOPC的适合人机交互的视线跟踪***，其特征在于所述RANSAC椭圆拟合模块对瞳孔精确定位通过如下步骤实现：

（1）瞳孔轮廓预提取：在定位的人眼区域中，使用边缘检测算法提取瞳孔轮廓，生成瞳孔轮廓点集；

（2）从瞳孔轮廓点集中随机抽取四个点，生成最小子集；

（3）利用所抽取的四个点进行椭圆拟合，确定椭圆参数：椭圆可由方程

Ax²+By²+Cx+Dy＝1

进行描述，利用四个点的坐标即可求出椭圆参数A,B,C,D；

（4）计算瞳孔轮廓点集在步骤（3）求得的椭圆参数下的误差；

（5）对步骤（2）至（4）进行重复多次计算，选取误差最小的四个点及其对应的椭圆参数。

3.根据权利要求1所述的基于SOPC的适合人机交互的视线跟踪***，其特征在于所述的RANSAC椭圆拟合模块包括以下子模块：

伪随机数生成器模块：负责生成伪随机数，从瞳孔轮廓点集中提取最小子集，以线性反馈位移寄存器法实现；

矩阵快速逆运算模块：采用基于LU分解的矩阵求逆法，以24位的定点数法实现，在分解过程中根据数据类型采用不同的定点位长；

基于代数距离的误差累计模块：代数距离将误差定义为方程在给定样本点下的偏差，也就是拟合误差或残差，椭圆方程如下：

F(x,y)＝Ax²+By²+Cx+Dy-1＝0，

对于瞳孔轮廓点集中的一点p_i＝{x_i,y_i}，把坐标值代入方程得到F(x_i,y_i)，即该点到椭圆的代数距离，也就是把瞳孔轮廓点集中的每个点到椭圆的代数距离的绝对值累加起来，作为衡量最小子集拟合结果的评判标准，其绝对值越小，则误差越小，拟合结果越佳。

Images