CN104463216A - 基于计算机视觉的眼动模式数据自动获取方法 - Google Patents

Abstract

本发明公布一种基于计算机视觉的眼动模式数据自动获取方法，该方法将眼动模式数据获取过程分为学习阶段和测试阶段，在学习阶段得到受试者注视模型，在测试阶段得到受试者眼动特征；具体地，通过受试者注视计算机屏幕；由操作者对受试者作初步判断确定程序运行参数并输入到计算机中；在学习阶段获得受试者单眼的注视模型，建立分类器h；在测试阶段，得到受试者在每一特定频率的光栅刺激时的眼动特征作为受试者的测试样本集；利用分类器h对测试样本集进行SVM分类预测得到预测值，进行对比得到受试者的眼动模式数据。该方法能降低获取眼动模式数据的成本，提高数据获取效率和准确率。

Description

基于计算机视觉的眼动模式数据自动获取方法

技术领域

本发明属于计算机视觉领域，涉及一种自动的人脸人眼位置识别和眼动特征数据获取方法，尤其涉及一种基于计算机视觉的眼动模式数据自动获取方法。

背景技术

眼动(眼睛运动)模式能够为视觉加工提供大量信息。在实际应用中，例如，针对不具备完整语言表达和肢体表达能力、智力及识别力发育水平低而注意力不能较长时间保持集中的人群如婴幼儿进行视力筛查时，需要获得其眼动模式数据。目前，针对这种情况，眼动模式数据的获取通常采用优先注视法，该方法需要检查者向受试者展示光栅纸板，通过纸板中的小孔观察受试者眼睛或头的转动方向，来判断其与纸板上的光栅图案正确与否，从而得到受试者的眼动模式数据，该过程是人工进行的，不能通过计算机方法来自动的进行判断，因此十分费时费力。其他的方法还包括视动性眼震、视觉诱发电位等方法，但因大部分检查方法操作更加困难繁琐，一直难以普及。因此，现行的眼动模式数据获取方法不能实现自动化，数据获取效率低下，获取数据的准确率不高，难以做到合理、快捷地得到眼动模式数据结果。

发明内容

为了克服上述现有技术的不足，本发明提供一种基于计算机视觉的眼动模式数据自动获取方法，该方法利用计算机视觉知识，通过机器学习建立受试者的注视模型，再对受试者在测试阶段的眼动特征进行预测，从而自动获得受试者的眼动模式数据。该方法能够降低获取眼动模式数据的成本，提高数据获取效率，保证获得数据的准确率。

本发明提供的技术方案是：

一种基于计算机视觉的眼动模式数据自动获取方法，该方法将眼动模式数据获取过程分为学习阶段和测试阶段，通过在学习阶段得到的受试者注视模型对在测试阶段得到的受试者眼动特征进行预测，获取受试者的眼动模式数据，包括如下步骤：

1)布置眼动模式数据获取环境，保证在整个眼动模式数据获取过程中，受试者只能注视计算机屏幕；

2)由操作者对受试者作初步判断确定程序运行参数并将程序运行参数输入到计算机中；程序运行参数包括眼动模式数据获取过程中所呈现光栅刺激的光栅顺序模式、所测试的单眼类型和采集图像的时间间隔；呈现光栅刺激的光栅顺序模式为多种，每种光栅顺序模式包括多个特定频率的光栅刺激；所测试的单眼类型包括左眼或右眼；

3)在学习阶段，计算机根据程序运行参数呈现图片，同时标定图片呈现的位置为左或右，依次通过识别受试者的人脸人眼位置、进行特征提取和SVM(Support VectorMachine支持向量机)学习得到受试者单眼的注视模型，建立分类器h；

4)在测试阶段，计算机根据程序运行参数呈现光栅刺激，同时标定得到每一特定频率的光栅刺激的位置作为真实值，通过人眼人脸位置识别得到受试者在每一特定频率的光栅刺激的注视时段的人脸人眼位置，再通过进行特征提取得到受试者在每一特定频率的光栅刺激时的眼动特征，作为受试者的测试样本集；

5)利用步骤3)建立的分类器h对步骤4)中的测试样本集进行SVM分类预测得到预测值，将此预测值与步骤4)中的真实值进行对比，得到受试者注意到的光栅顺序模式中光栅刺激的最高频率，作为受试者的眼动模式数据。

上述基于计算机视觉的眼动模式数据自动获取方法，在步骤5)得到受试者眼动模式数据之后，操作者根据得到数据的情况，可以重新进行步骤2)～步骤5)的过程，此过程中步骤2)采用的程序运行参数可以与上一过程的步骤2)中的程序运行参数相同；也可以选择比上一过程的步骤2)中光栅频率更高的一组程序运行参数进行，即此过程采用的程序运行参数中呈现光栅刺激的光栅顺序模式为比上一过程中的光栅频率更高的光栅顺序模式；或者采用的程序运行参数中所测试的单眼类型与上一过程中所测试的单眼类型不同。

上述基于计算机视觉的眼动模式数据获取方法中，进一步地，

步骤1)所述运行环境应为安静、黑暗的环境，受试者的眼睛与屏幕中心保持水平。在本发明实施例中，受试者为婴幼儿，由家长抱着坐在计算机屏幕前，使得受试者的眼睛与屏幕中心水平。

步骤2)中的程序运行参数还包括受试者图像数据的文件名、测试开始的光栅序号、测试结束的光栅序号、每一个光栅呈现过程中的初始帧序号、每一个光栅呈现过程中的结束帧序号和PCA(Principal Component Analysis，主成分分析)降维后的维数。

步骤2)所述的呈现光栅刺激的光栅顺序模式包括多种模式，每种模式对应不同年龄和不同视力情况的受试者，均分为10个频率段；频率段对应包括的特定频率为逐渐增加，每一特定频率的光栅刺激都有回溯，以保证眼动模式数据获取的准确率。在本发明实施例中，所呈现光栅刺激的光栅顺序模式为三种，光栅刺激的频率逐渐增加，每一特定频率的光栅刺激都有回溯，以保证眼动模式数据获取的准确率，其中：模式1的10个特定频率对应的频率(周期/厘米)依次为：0.32，0.32，0.64，0.64，1.29，1.29，2.28，2.28，5.14，5.14，适合0～2岁或2岁以上视力明显有障碍的婴幼儿；模式2的10个特定频率对应的频率(周期/厘米)依次为：0.43，0.43，0.86，0.86，1.58，1.58，3.43，3.43，6.85，6.85，适合1～3岁或3岁以上视力明显有障碍的婴幼儿；模式3的10个特定频率对应的频率(周期/厘米)依次为：2.28，2.28，5.14，5.14，10.28，10.28，13.71，13.71，20.56，20.56，适合2岁以上的婴幼儿。采用不同的光栅顺序模式便于简化数据获取过程，由于操作者可以通过年龄等因素对婴幼儿受试者的视觉大体状况做出预估，通过选用合适的光栅顺序模式就能迅速的得到婴幼儿受试者的眼动模式数据。

步骤3)根据程序运行参数呈现动画图片，具体是按先左后右的顺序呈现多次，相邻两次图片呈现之间留有时间间隔，图片呈现时伴有声音提示；同时标定图片呈现的位置为左或右。步骤3)中的分类器h具体是根据标定图片的位置和受试者的单眼注视模型，通过SVM学习训练得到，包括受试者单眼向左看和向右看的注视模型。

步骤4)中根据程序运行参数呈现光栅刺激具体是左右随机出现，两次光栅刺激呈现之间留有时间间隔；即将要呈现光栅刺激时，播放一段声音，用于吸引受试者的注意。

步骤3)学习阶段和步骤4)测试阶段中识别受试者的人脸人眼位置具体都是采用基于haar特征的分类器，对图像的指定区域进行人脸和人眼检测，未检测到则补全或报告错误。

步骤3)学习阶段和步骤4)测试阶段中的特征提取都包括灰度直方图计算和PCA降维；其中，灰度直方图计算通过分区块的灰度直方图算法，在利用颜色信息的同时描述眼睛虹膜的位置信息，该分区块的灰度直方图计算方法包括如下步骤：

A.首先，得到眼睛检测框，将其按横坐标等分分割成m个区块；

B.其次，针对分割得到的m个区块中的每个区块，统计计算出该区块的直方图特征向量；

C.最后，将所有m个区块的直方图特征向量按顺序合并得到最终向量。

其中，m为整数，取值为17～30。优选地，m取值为20。

眼动模式数据获取方法在学习阶段和测试阶段进行特征提取采用时序轨迹，用一段时间上的特征序列来判断和分类受试者的视觉朝向，通过这种方法得到的特征向量维度非常大，所含的冗余信息也很多，需要通过PCA降维后得到受试者在每一特定频率的光栅刺激时的眼动特征。因此，步骤3)学习阶段和步骤4)测试阶段中的特征提取还包括对得到的每个区块的灰度直方图特征向量进行PCA降维，用于去除通过分区块的灰度直方图计算方法得到的各区块灰度直方图特征向量所含的冗余信息。

上述步骤4)测试阶段中得到受试者在每一特定频率注视时段的眼动特征的方法具体包括如下步骤：

a)通过摄像头得到的呈现每一特定频率的光栅刺激时受试者的注视画面图片，检测得到受试者的脸部和眼部区域位置；

b)根据眼部位置提取灰度直方图特征向量；

c)对得到的每一特定频率注视阶段的所有图片的灰度直方图特征向量进行PCA降维，得到每一特定频率注视时段受试者的眼动模式。

步骤5)中进行对比得到的数据包括受试者单眼注意到的光栅刺激频率和没有注意到的光栅刺激频率；当受试者有多次没有注意到某一光栅顺序模式中的光栅刺激时，依照其注意到的光栅顺序模式中的光栅刺激的最高频率作为受试者的眼动模式数据结果；当受试者全部注意到了某一光栅顺序模式中的光栅刺激，则依照该光栅顺序模式中的光栅刺激的最高频率作为受试者的眼动模式数据结果。

本发明的原理是：将眼动模式数据获取过程分为学习阶段和测试阶段两个阶段。将学习阶段计算机摄像头实时采集的受试者眼动图像作为学习样本集，利用学习样本集通过SVM分类方法训练得到该受试者的注视模型(眼动模式)，建立分类器；再将测试阶段计算机摄像头实时采集的受试者眼动图像作为测试样本集，分类器根据测试阶段得到的每一特定频率注视时段受试者的眼动特征，对受试者在每个特定频率的光栅呈现时段的眼动图像进行分类预测，得到每一时段受试者的眼动模式的预测值(即向左看或向右看)，而计算机程序运行时会记录下每一特定频率注视阶段光栅图像呈现的真实值(即出现在左或右)，将预测值与真实值进行比较，判断受试者是否正确地注意到屏幕上的光栅图，即可得到受试者在哪些时段没有注意到光栅刺激，或者是全都注意到了光栅刺激，从而获得受试者单眼注视或没有注视到哪一个频率的光栅图的眼动模式数据。

与现有技术相比，本发明的有益效果是：

相比现有的人工获取眼动模式数据的方法，本发明提供的基于计算机视觉的眼动模式数据自动获取方法能够自动得到眼动模式数据，节省了在眼动模式数据获取上耗费大量的人工劳力，提高了眼动模式数据获得的效率，既解决了人工获取眼动模式数据的效率低下问题，降低人工获得眼动模式数据的成本，又节约了获取眼动模式数据的时间，还有效地保证了获取眼动模式数据的准确率。

附图说明

图1是本发明实施例中的婴幼儿受试者眼动模式数据获取方法的流程框图。

图2是本发明实施例中计算机屏幕显示的光栅刺激样例。

图3是本发明实施例中婴幼儿眼动模式数据获取方法眼部检测框架的示意图，

其中，(a)为检测到的眼部区域；(b)为分割为m块的眼部区域；(c)为分别计算得出m块眼部区域的灰度直方图。

具体实施方式

下面结合附图，通过实施例进一步描述本发明，但不以任何方式限制本发明的范围。

本实施例中，受试者为由家长抱着的婴幼儿，操作者为实施本发明提供的基于计算机视觉的婴幼儿眼动模式数据获取的测试者，图1是本实施例中的婴幼儿受试者眼动模式数据获取方法的流程框图，具体包括以下步骤：

1)布置环境：将计算机置于桌面上，屏幕中心高度为100～150厘米，桌前放置好座位，让家长抱着受试者正面朝计算机屏幕坐下，调节座位高度，使受试者的眼睛与屏幕中心成水平对齐，距离为55厘米。周围保持安静、黑暗，没有多余的引起受试者注意的物品，使受试者只能注意到计算机屏幕。整个过程中保证家长不要对受试者做出任何的指示。

2)由操作者对受试者进行初步判断，输入程序运行参数，包括：受试者图像数据的文件名、测试开始的光栅序号、测试结束的光栅序号、每一个光栅呈现时间中的初始帧序号、每一个光栅呈现时间中的结束帧序号、PCA降维后的维数、测试眼睛类型(左眼或右眼)以及呈现光栅图的顺序模式。呈现光栅图的顺序模式有3种，模式1、2和3，光栅刺激的频率逐渐增加，每一特定频率的光栅刺激都有回溯，以保证数据获取的准确率，不同模式对应不同年龄以及不同视力情况的婴幼儿，选择哪一种模式由操作者事先确定，其中：模式1分为10个频率阶段，对应的频率(周期/厘米)为：0.32，0.32，0.64，0.64，1.29，1.29，2.28，2.28，5.14，5.14，适合0～2岁或2岁以上视力明显有障碍的婴幼儿；模式2分为10个频率阶段，对应的频率(周期/厘米)为：0.43，0.43，0.86，0.86，1.58，1.58，3.43，3.43，6.85，6.85，适合1～3岁或3岁以上视力明显有障碍的婴幼儿；模式3分为10个频率阶段，对应的频率(周期/厘米)为：2.28，2.28，5.14，5.14，10.28，10.28，13.71，13.71，20.56，20.56，适合2岁以上的婴幼儿。

3)在学习阶段，计算机程序根据输入参数，识别受试者的人脸人眼位置，进行特征提取，通过SVM(Support Vector Machine支持向量机)学习得到受试者单眼的眼动模式，建立分类器h，具体过程为：

A.在屏幕上呈现能吸引受试者的动画图片，按先左后右的顺序出现多次，同时标定图片的左右位置；相邻两次图片出现之间留有时间间隔，图片出现时伴有声音提示；

B.通过特征提取得到受试者的眼动模式；特征提取包括灰度直方图计算和PCA降维；

C.由上述标定的图片的左右位置和对应的受试者的眼动模式通过SVM学习训练出分类器h，该分类器h包括受试者向左看和向右看的眼动模式；

4)在测试阶段，根据输入参数呈现光栅刺激，同时标定得到光栅的左右位置作为真实值，得到受试者的测试样本集：

A.在计算机屏幕上呈现如图2所示的光栅刺激，左右随机出现，两次刺激出现之间留有时间间隔；

B.即将要出现光栅刺激时，播放一段声音，吸引受试者的注意；

C.光栅刺激的频率逐渐增加，每一特定频率的光栅刺激都会有回溯，保证眼动模式数据获取的准确率；

D.根据摄像头得到的呈现每一特定频率的光栅刺激时受试者的注视画面，通过计算得到受试者在每一特定频率的光栅刺激时的眼动特征，作为测试样本集，具体过程主要包括人眼人脸位置识别、特征提取(包括灰度直方图计算和PCA降维)以及SVM分类；

5)利用学习阶段建立的分类器h对包括受试者在每一特定频率的光栅刺激时的眼动特征的测试样本集进行预测得到预测值，将预测值与光栅的左右位置真实值进行对比，得到受试者单眼注视或没有注视到哪一个频率的光栅图，作为受试者单眼的眼动模式数据结果。

上述基于计算机视觉的眼动模式数据获取方法中，学习阶段和测试阶段识别受试者的人脸人眼位置具体是采用基于Harr特征的分类器，对图象的指定区域进行人脸和人眼位置识别。学习阶段和测试阶段的特征提取都包括灰度直方图计算和PCA降维；图3是受试者眼动模式数据获取方法中眼部检测框架示意图，其中，(a)为检测到的眼部区域；(b)为分割为m块的眼部区域；(c)为分别计算得出m块眼部区域的灰度直方图，如图3所示，采用分区块的灰度直方图算法，在利用颜色信息的同时很好地描述眼睛虹膜的位置信息，该分区块的灰度直方图计算方法包括如下步骤：

A.首先，得到眼睛检测框，将其按横坐标等分分割成m个区块；

B.其次，针对分割得到的m个区块中的每个区块，统计计算出该区块的直方图特征向量；

C.最后，将所有m个区块的直方图特征向量按顺序合并得到最终向量。

其中，m取值为20。

基于计算机视觉的眼动模式数据获取方法在学习阶段和测试阶段进行特征提取采用时序轨迹，用一段时间上的特征序列来判断和分类受试者的视觉朝向，通过这种方法得到的特征向量维度非常大，所含的冗余信息也很多，需要通过PCA降维后得到受试者在每一特定频率的光栅刺激时的眼动特征。本发明提供的基于计算机视觉的眼动模式数据获取方法在完成上述步骤之后，视结果的不同情况，操作者可以进行进一步的测试：包括再次重复此次测试、选择高频率的光栅刺激的模式进行测试，或者进行另一只眼睛的测试，以此来得到更全面的眼动模式数据结果。

根据本发明提供方法进行基于计算机视觉的眼动模式数据获取方法，得到的数据可以报告受试者在哪些阶段没有注意到光栅刺激，或者是全都注意到了光栅刺激，当受试者有多次没有注意到光栅刺激时，应该依照其注意到的最高频率的光栅刺激作为受试者的眼动模式数据；当受试者全部注意到了光栅刺激，则应该依照此模式中的最高频率的光栅刺激作为受试者的眼动模式数据。

Claims (10)

1.一种基于计算机视觉的眼动模式数据自动获取方法，所述方法将眼动模式数据获取过程分为学习阶段和测试阶段，通过在学习阶段得到的受试者注视模型对在测试阶段得到的受试者眼动特征进行预测，获取受试者的眼动模式数据，包括如下步骤：

1)布置眼动模式数据获取环境，保证在整个眼动模式数据获取过程中，受试者只能注视计算机屏幕；

2)由操作者针对受试者情况确定程序运行参数，将程序运行参数输入到计算机中；所述程序运行参数包括呈现光栅刺激的光栅顺序模式、所测试的单眼类型和采集图像的时间间隔；所述呈现光栅刺激的光栅顺序模式为多种，每种光栅顺序模式包括多个特定频率的光栅刺激；所测试的单眼类型包括左眼或右眼；

3)在学习阶段，计算机根据程序运行参数呈现图片，同时标定图片呈现的位置为左或右，依次通过识别受试者的人脸人眼位置、进行特征提取和SVM学习得到受试者单眼的注视模型，建立分类器h；

4)在测试阶段，计算机根据程序运行参数呈现光栅刺激，同时标定每一特定频率的光栅刺激的位置作为真实值，通过人眼人脸位置识别得到受试者在每一特定频率光栅刺激的注视时段的人脸人眼位置，再通过进行特征提取得到受试者在每一特定频率的光栅刺激时的眼动特征，作为受试者的测试样本集；

5)利用步骤3)建立的分类器h对步骤4)中的测试样本集进行SVM分类预测得到预测值，将此预测值与步骤4)中的真实值进行对比，得到受试者注意到的光栅顺序模式中光栅刺激的最高频率，作为受试者的眼动模式数据。

2.如权利要求1所述基于计算机视觉的眼动模式数据自动获取方法，其特征是，在步骤5)得到受试者眼动模式数据之后，采用相同或不同的程序运行参数重新进行步骤2)～步骤5)；所述不同程序运行参数包括呈现光栅刺激的光栅顺序模式为光栅频率更高的光栅顺序模式或所测试的单眼类型为不同的单眼类型。

3.如权利要求1所述基于计算机视觉的眼动模式数据自动获取方法，其特征是，步骤2)所述程序运行参数还包括受试者图像数据的文件名、测试开始的光栅序号、测试结束的光栅序号、每一个光栅呈现过程中的初始帧序号、每一个光栅呈现过程中的结束帧序号和PCA降维后的维数。

4.如权利要求1所述基于计算机视觉的眼动模式数据自动获取方法，其特征是，所述受试者为婴幼儿；步骤2)所述呈现光栅刺激的光栅顺序模式为三种，分别对应不同年龄和不同视力情况的婴幼儿受试者，每种光栅顺序模式包括十个特定频率的光栅刺激。

5.如权利要求4所述基于计算机视觉的眼动模式数据自动获取方法，其特征是，所述呈现光栅刺激的光栅顺序模式为模式1、模式2和模式3，所包括光栅刺激的特定频率均为逐渐增加，且每一特定频率的光栅刺激都有回溯。

6.如权利要求5所述基于计算机视觉的眼动模式数据自动获取方法，其特征是，所述模式1的10个特定频率依次为：0.32、0.32、0.64、0.64、1.29、1.29、2.28、2.28、5.14和5.14周期/厘米，适合0～2岁或2岁以上视力明显有障碍的婴幼儿；所述模式2的10个特定频率依次为：0.43、0.43、0.86、0.86、1.58、1.58、3.43、3.43、6.85和6.85周期/厘米，适合1～3岁或3岁以上视力明显有障碍的婴幼儿；所述模式3的10个特定频率依次为：2.28、2.28、5.14、5.14、10.28、10.28、13.71、13.71、20.56和20.56周期/厘米，适合2岁以上的婴幼儿。

7.如权利要求1所述基于计算机视觉的眼动模式数据自动获取方法，其特征是，步骤3)所述根据程序运行参数呈现的图片为动画图片；所述呈现方法具体是按先左后右的顺序呈现多次，相邻两次图片呈现之间留有时间间隔，在图片呈现时伴有声音提示；所述受试者单眼的注视模型包括受试者向左看和向右看的注视模型。

8.如权利要求1所述基于计算机视觉的眼动模式数据自动获取方法，其特征是，步骤4)所述根据程序运行参数呈现光栅刺激具体是左右随机出现的，两次光栅刺激呈现之间留有时间间隔；在即将要呈现光栅刺激时播放一段声音，用于吸引受试者的注意。

9.如权利要求1所述基于计算机视觉的眼动模式数据自动获取方法，其特征是，步骤3)学习阶段和步骤4)测试阶段所述特征提取均包括灰度直方图计算；所述灰度直方图计算通过分区块的灰度直方图算法，在利用颜色信息的同时描述眼睛虹膜的位置信息，所述分区块的灰度直方图计算方法包括如下步骤：

A.首先，得到眼睛检测框，按横坐标等分分割成m个区块，m取值为17～30的整数；

B.其次，针对分割得到的m个区块中的每个区块，通过统计计算得到该区块的灰度直方图特征向量；

C.最后，将所有m个区块的直方图特征向量按顺序合并，得到最终向量。

10.如权利要求9所述基于计算机视觉的眼动模式数据自动获取方法，其特征是，所述特征提取还包括对得到的每个区块的灰度直方图特征向量进行PCA降维，用于去除通过分区块的灰度直方图计算方法得到的各区块灰度直方图特征向量所含的冗余信息。