CN109117711B - 基于眼动数据的分层特征融合的专注度检测装置及方法 - Google Patents

Abstract

本发明公开了一种基于眼动数据的分层特征提取与融合的专注度检测装置及方法，首先，使用眼动仪采集人们观看视频时的眼动数据；其次，采用加权logistics regression算法进行眼动事件数据的特征提取与融合；随后，采用小波分解和近似熵算法进行原始眼动数据的特征提取与融合；然后，融合前面提取的新特征，并将其作为样本训练的特征；最后采用adaboost分类算法建立基于眼动数据的专注度检测模型。本发明将眼动技术应用到了在线视频观看的专注度检测中，并采用眼动数据的分层特征提取与融合的方法，有效的结合了统计的眼动数据和带有时间序列信息的原始眼动数据，提高了检测的准确性。

Description

基于眼动数据的分层特征融合的专注度检测装置及方法

技术领域

本发明属于眼动技术的专注度检测领域，涉及一种基于眼动数据的分层特征提取与融合的专注度检测装置及方法。

背景技术

随着眼动追踪技术与计算机技术的完美结合，加上其他相关技术的飞速发展，利用眼动技术来检测人们观看平面广告，Internet广告时的专注程度和关注的兴趣区域，将会变的越来越流行，同时随着交通事故的不断发生，人们利用眼动技术检测驾驶员的专注度也是一个非常热门的研究领域，但是基于视频的专注度检测的研究很少。

现流行的基于眼动数据的专注度检测的论文，所采用的眼动数据包括注视点，瞳孔直径，注视事件，眨眼事件，扫视事件，所采用的方法包括传统的统计方法，信号处理的方法和机器学习的方法，所应用的场景基本都是基于驾驶员的疲劳检测，网页广告分析，也有少量的论文进行了电视中的广告研究，因此采用眼动数据的分层特征提取与融合的新特征的学习算法来研究观看视频时的专注度是一个有益的尝试。

发明内容

本发明的目的在于克服上述现有技术的缺点，提供一种基于眼动数据的分层特征提取与融合的专注度检测装置及方法

为达到上述目的，本发明采用以下技术方案予以实现：

基于眼动数据的分层特征提取与融合的专注度检测装置，包括依次级联的数据获取模块、注视点追踪模块、扫视轨迹追踪模块、特征提取模块以及专注度检测模块；其中

数据获取模块：通过眼动仪获取观看视频时的眼动数据；

注视点追踪模块：用于显示观看视频时的注视点移动情况；

扫视轨迹追踪模块：用于显示观看视频时的扫视轨迹；

特征提取模块：特征提取模块包括眼动数据的特征提取与融合装置，用于处理眼动数据

专注度检测模块：采用利用adaboost算法训练专注度检测模型的装置，用于检测在线视频观看者专注度。

本发明进一步的改进在于：

特征提取模块基于logisticsregression算法，用于眼动事件数据的特征提取与融合。

特征提取模块基于小波分解和近似熵算法，用于原始眼动事件数据的特征提取与融合。

一种基于眼动数据的分层特征提取与融合的专注度检测方法，包括以下步骤：

步骤S1、基于logisticsregression算法，通过眼动仪采集观看视频时的眼动数据，进行眼动事件数据的特征提取与融合；

步骤S2、采用小波分解和近似熵的算法进行原始眼动数据的特征提取与融合；

步骤S3、采用adaboost算法进行专注度检测模型的训练。

上述方法的进一步改进在于：

步骤S1中，眼动数据包括原始眼动数据和眼动事件数据；原始眼动数据包括眼睛位置、注视点位置、瞳孔位置和瞳孔直径；眼动事件数据包括眨眼事件数据。

步骤S1中，眼动事件数据的特征提取与融合的具体方法如下：

S1-1输入：

训练集D₁＝{(x₁₁,y₁₁),(x₁₂,y₁₂),...,(x_1m,y_1m)}；其中x_1i表示第i个样本的眼动事件数据，y_1i表示第i个样本的标签；

属性集A₁＝{a₁₁,a₁₂,...,a_1d}；其中a_1i表示眼动事件的属性包括扫视事件数据，注视事件数据和眨眼事件数据；

S1-2过程：

函数glmfit(D₁,A₁)

其中z＝θ₀+θ₁x₁₁+θ₂x₁₂+θ₃x₁₃...+θ_nx_1n＝θ^Tx

由上式计算出θ；

s＝θ^Tx，其中s表示加权后的样本数据。

步骤S2中原始眼动数据的特征提取与融合的具体方法如下：

S2-1输入：

训练集D₂＝{(x₂₁,y₂₁),(x₂₂,y₂₂),...,(x_2m,y_2m)}；其中x_2i表示第i个样本的原始眼动数据，y_2i表示第i个样本的标签

属性集A₂＝{a₂₁,a₂₂,...,a_2d}：其中a_2i表示原始眼动数据的属性，包括瞳孔直径，瞳孔坐标，眼睛坐标，注视点坐标等；

S2-2过程：

函数wavedec(D₂,A₂)和APEN(D₂,A₂)

(1)

其中f(t)表示含有时间序列信息的原始眼动数据，a,b表示小波分解的尺度大小，ψ表示小波变换函数，W(f)表示变换后的值；

(2)

其中

ApEn表示经过小波分解后的原始眼动数据的近似熵。

步骤S3的具体方法如下：

S3-1输入：

训练集D₃＝{(x₃₁,y₃₁),(x₃₂,y₃₂),...,(x_3m,y_3m)}；其中x_3i表示第i个样本的融合眼动数据，y_3i表示第i个样本的标签；

属性集A₃＝{a₃₁,a₃₂,...,a_3d}；其中a_3i表示融合的眼动数据的新属性，包括基于logisticsregression算法加权融合的眼动事件数据和基于小波分解和近似熵计算所得的原始眼动数据的新特征的融合；

S3-2过程：

(1)采用基于融合眼动数据的adaboost算法，进行模型训练；

(2)优化参数，改进训练的专注度检测模型。

与现有技术相比，本发明具有以下有益效果：

本发明充分结合了眼动事件数据和原始眼动数据两类特征，同时根据不同类型的眼动数据特点，采用不同的特征提取与融合的方法进行特征处理，最后利用 adaboost算法训练了一种基于眼动数据的分层特征提取与融合的专注度检测方法来检测人们观看视频时的专注状态。

附图说明

图1是本发明优选实施例的专注度检测方法的流程示意图：

图2是本发明优选实施例的眼动轨迹追踪示意图：

图3是本发明优选实施例的基于logisticsregression算法的眼动事件数据的示意图：

图4是本发明优选实施例的小波分解的示意图：

图5是本发明优选实施例的基于近似熵的原始眼动数据的示意图：

图6是本发明优选实施例的adaboost训练的专注度检测模型的示意图：

图7是本发明的一种检测在线视频观看者专注度的装置的结构图：

图8是本发明的一种检测在线视频观看者专注度的方法的正常观看的流程图。

具体实施方式

下面结合附图对本发明做进一步详细描述：

参见图1，本发明的专注度检测方法，包括以下步骤：

步骤S1：通过眼动仪采集人们观看视频时的眼动数据，包括原始眼动数据和眼动事件数据两种类型。其中原始眼动数据包括眼睛位置，注视点位置，瞳孔位置和瞳孔直径；眼动事件数据包括眨眼事件数据，如：眨眼频率，眨眼次数，眨眼持续时间等，注视事件数据，如：注视次数，注视偏差，注视频率等，扫视事件数据，如：扫视长度，扫视频率，扫视次数等；通过眼动仪获取的人们观看视频时的注视轨迹，如图2所示：

步骤S2：采用logisticsregression算法进行眼动事件数据的特征提取与融合，包括如下步骤；

输入：

训练集D₁＝{(x₁₁,y₁₁),(x₁₂,y₁₂),...,(x_1m,y_1m)}；其中x_1i表示第i个样本的眼动事件数据，y_1i表示第i个样本的标签；

属性集A₁＝{a₁₁,a₁₂,...,a_1d}；其中a_1i表示眼动事件的属性包括扫视事件数据，注视事件数据和眨眼事件数据。

过程：

函数glmfit(D₁,A₁)

(1)

其中z＝θ₀+θ₁x₁₁+θ₂x₁₂+θ₃x₁₃...+θ_nx_1n＝θ^Tx(3-1)

由公式3-1计算出θ；

(2)s＝θ^Tx，其中s表示加权后的样本数据；

经过logisticsregression算法加权处理的眼动事件数据的折线图如图3所示。

步骤S3：采用小波分解和近似熵的算法进行原始眼动数据的特征提取与融合，包括如下步骤；

a.通过眼动仪获取人们观看视频时的原始眼动数据

b.采用先小波分解后近似熵的方法来计算原始眼动数据的融合特征。

输入：

训练集D₂＝{(x₂₁,y₂₁),(x₂₂,y₂₂),...,(x_2m,y_2m)}；其中x_2i表示第i个样本的原始眼动数据，y_2i表示第i个样本的标签

属性集A₂＝{a₂₁,a₂₂,...,a_2d}：其中a_2i表示原始眼动数据的属性，包括瞳孔直径，瞳孔坐标，眼睛坐标和注视点坐标扫。

过程：

函数wavedec(D₂,A₂)和APEN(D₂,A₂)

(1)

其中f(t)表示含有时间序列信息的原始眼动数据，a,b表示小波分解的尺度大小，ψ表示小波变换函数，W(f)表示变换后的值。经过小波分解后的效果图，如图4所示：

(2)

其中

ApEn表示经过小波分解后的原始眼动数据的近似熵。

经过近似熵计算后的注视点位置的折线图如图5所示：

步骤S4：采用adaboost算法进行专注度检测模型的训练，包括如下步骤。

输入：训练集D₃＝{(x₃₁,y₃₁),(x₃₂,y₃₂),...,(x_3m,y_3m)}；其中x_3i表示第i个样本的融合眼动数据，y_3i表示第i个样本的标签；

属性集A₃＝{a₃₁,a₃₂,...,a_3d}；其中a_3i表示融合的眼动数据的新属性，包括基于logisticsregression算法加权融合的眼动事件数据和基于小波分解和近似熵计算所得的原始眼动数据的属性融合。

过程：

1.采用基于融合眼动数据的adaboost算法，进行模型训练。

2.优化参数，改进训练的专注度检测模型

Adaboost算法的训练结果如图6所示：

本实施例提供的一种检测在线视频观看者专注度的装置，结构如图7所示，包括数据获取模块：通过眼动仪获取人们观看视频时的眼动数据；

注视点追踪模块：用于直观显示人们观看视频时的注视点移动情况；

扫视轨迹追踪模块：用于直观显示人们观看视频时的扫视轨迹；

特征提取模块：包括基于logisticsregression算法的眼动事件数据的特征提取与融合、基于小波分解和近似熵算法的原始眼动事件数据的特征提取与融合；

专注度检测模块：用于检测人们观看视频时的专注程度。

检测在线视频观看者专注度的方法的正常观看的流程图如图8所示。

以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明权利要求书的保护范围之内。

Claims (6)

1.基于眼动数据的分层特征提取与融合的专注度检测装置，其特征在于，包括依次级联的数据获取模块、注视点追踪模块、扫视轨迹追踪模块、特征提取模块以及专注度检测模块；其中

数据获取模块：通过眼动仪获取观看视频时的眼动数据；

注视点追踪模块：用于显示观看视频时的注视点移动情况；

扫视轨迹追踪模块：用于显示观看视频时的扫视轨迹；

特征提取模块：特征提取模块包括眼动数据的特征提取与融合装置，用于处理眼动数据；特征提取模块基于logisticsregression算法，用于眼动事件数据的特征提取与融合；特征提取模块基于小波分解和近似熵算法，用于原始眼动事件数据的特征提取与融合；

专注度检测模块：采用利用adaboost算法训练专注度检测模型的装置，用于检测在线视频观看者专注度。

2.一种采用权利要求1所述检测装置的基于眼动数据的分层特征提取与融合的专注度检测方法，其特征在于，包括以下步骤：

步骤S1、基于logisticsregression算法，通过眼动仪采集观看视频时的眼动数据，进行眼动事件数据的特征提取与融合；

步骤S2、采用小波分解和近似熵的算法进行原始眼动数据的特征提取与融合；

步骤S3、采用adaboost算法进行专注度检测模型的训练。

3.根据权利要求2所述的基于眼动数据的分层特征提取与融合的专注度检测方法，其特征在于，步骤S1中，眼动数据包括原始眼动数据和眼动事件数据；原始眼动数据包括眼睛位置、注视点位置、瞳孔位置和瞳孔直径；眼动事件数据包括眨眼事件数据。

4.根据权利要求2所述的基于眼动数据的分层特征提取与融合的专注度检测方法，其特征在于，步骤S1中，眼动事件数据的特征提取与融合的具体方法如下：

S1-1输入：

训练集D₁＝{(x₁₁,y₁₁),(x₁₂,y₁₂),...,(x_1m,y_1m)}；其中x_1i表示第i个样本的眼动事件数据，y_1i表示第i个样本的标签；

属性集A₁＝{a₁₁,a₁₂,...,a_1d}；其中a_1i表示眼动事件的属性包括扫视事件数据，注视事件数据和眨眼事件数据；

S1-2过程：

函数glmfit(D₁,A₁)

其中z＝θ₀+θ₁x₁₁+θ₂x₁₂+θ₃x₁₃...+θ_nx_1n＝θ^Tx

由上式计算出θ；

s＝θ^Tx，其中s表示加权后的样本数据。

5.根据权利要求2所述的基于眼动数据的分层特征提取与融合的专注度检测方法，其特征在于，步骤S2中原始眼动数据的特征提取与融合的具体方法如下：

S2-1输入：

训练集D₂＝{(x₂₁,y₂₁),(x₂₂,y₂₂),...,(x_2m,y_2m)}；其中x_2i表示第i个样本的原始眼动数据，y_2i表示第i个样本的标签

属性集A₂＝{a₂₁,a₂₂,...,a_2d}：其中a_2i表示原始眼动数据的属性，包括瞳孔直径，瞳孔坐标，眼睛坐标以及注视点坐标；

S2-2过程：

函数wavedec(D₂,A₂)和APEN(D₂,A₂)

(1)

其中f(t)表示含有时间序列信息的原始眼动数据，a,b表示小波分解的尺度大小，ψ表示小波变换函数，W(f)表示变换后的值；

(2)

其中

ApEn表示经过小波分解后的原始眼动数据的近似熵。

6.根据权利要求2所述的基于眼动数据的分层特征提取与融合的专注度检测方法，其特征在于，步骤S3的具体方法如下：

S3-1输入：

训练集D₃＝{(x₃₁,y₃₁),(x₃₂,y₃₂),...,(x_3m,y_3m)}；其中x_3i表示第i个样本的融合眼动数据，y_3i表示第i个样本的标签；

属性集A₃＝{a₃₁,a₃₂,...,a_3d}；其中a_3i表示融合的眼动数据的新属性，包括基于logisticsregression算法加权融合的眼动事件数据和基于小波分解和近似熵计算所得的原始眼动数据的新特征的融合；

S3-2过程：

(1)采用基于融合眼动数据的adaboost算法，进行模型训练；

(2)优化参数，改进训练的专注度检测模型。

Images