CN109117711B - 基于眼动数据的分层特征融合的专注度检测装置及方法 - Google Patents
基于眼动数据的分层特征融合的专注度检测装置及方法 Download PDFInfo
- Publication number
- CN109117711B CN109117711B CN201810668963.7A CN201810668963A CN109117711B CN 109117711 B CN109117711 B CN 109117711B CN 201810668963 A CN201810668963 A CN 201810668963A CN 109117711 B CN109117711 B CN 109117711B
- Authority
- CN
- China
- Prior art keywords
- eye movement
- movement data
- data
- feature extraction
- fusion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/193—Preprocessing; Feature extraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Ophthalmology & Optometry (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于眼动数据的分层特征提取与融合的专注度检测装置及方法,首先,使用眼动仪采集人们观看视频时的眼动数据;其次,采用加权logistics regression算法进行眼动事件数据的特征提取与融合;随后,采用小波分解和近似熵算法进行原始眼动数据的特征提取与融合;然后,融合前面提取的新特征,并将其作为样本训练的特征;最后采用adaboost分类算法建立基于眼动数据的专注度检测模型。本发明将眼动技术应用到了在线视频观看的专注度检测中,并采用眼动数据的分层特征提取与融合的方法,有效的结合了统计的眼动数据和带有时间序列信息的原始眼动数据,提高了检测的准确性。
Description
技术领域
本发明属于眼动技术的专注度检测领域,涉及一种基于眼动数据的分层特征提取与融合的专注度检测装置及方法。
背景技术
随着眼动追踪技术与计算机技术的完美结合,加上其他相关技术的飞速发展,利用眼动技术来检测人们观看平面广告,Internet广告时的专注程度和关注的兴趣区域,将会变的越来越流行,同时随着交通事故的不断发生,人们利用眼动技术检测驾驶员的专注度也是一个非常热门的研究领域,但是基于视频的专注度检测的研究很少。
现流行的基于眼动数据的专注度检测的论文,所采用的眼动数据包括注视点,瞳孔直径,注视事件,眨眼事件,扫视事件,所采用的方法包括传统的统计方法,信号处理的方法和机器学习的方法,所应用的场景基本都是基于驾驶员的疲劳检测,网页广告分析,也有少量的论文进行了电视中的广告研究,因此采用眼动数据的分层特征提取与融合的新特征的学习算法来研究观看视频时的专注度是一个有益的尝试。
发明内容
本发明的目的在于克服上述现有技术的缺点,提供一种基于眼动数据的分层特征提取与融合的专注度检测装置及方法
为达到上述目的,本发明采用以下技术方案予以实现:
基于眼动数据的分层特征提取与融合的专注度检测装置,包括依次级联的数据获取模块、注视点追踪模块、扫视轨迹追踪模块、特征提取模块以及专注度检测模块;其中
数据获取模块:通过眼动仪获取观看视频时的眼动数据;
注视点追踪模块:用于显示观看视频时的注视点移动情况;
扫视轨迹追踪模块:用于显示观看视频时的扫视轨迹;
特征提取模块:特征提取模块包括眼动数据的特征提取与融合装置,用于处理眼动数据
专注度检测模块:采用利用adaboost算法训练专注度检测模型的装置,用于检测在线视频观看者专注度。
本发明进一步的改进在于:
特征提取模块基于logisticsregression算法,用于眼动事件数据的特征提取与融合。
特征提取模块基于小波分解和近似熵算法,用于原始眼动事件数据的特征提取与融合。
一种基于眼动数据的分层特征提取与融合的专注度检测方法,包括以下步骤:
步骤S1、基于logisticsregression算法,通过眼动仪采集观看视频时的眼动数据,进行眼动事件数据的特征提取与融合;
步骤S2、采用小波分解和近似熵的算法进行原始眼动数据的特征提取与融合;
步骤S3、采用adaboost算法进行专注度检测模型的训练。
上述方法的进一步改进在于:
步骤S1中,眼动数据包括原始眼动数据和眼动事件数据;原始眼动数据包括眼睛位置、注视点位置、瞳孔位置和瞳孔直径;眼动事件数据包括眨眼事件数据。
步骤S1中,眼动事件数据的特征提取与融合的具体方法如下:
S1-1输入:
训练集D1={(x11,y11),(x12,y12),...,(x1m,y1m)};其中x1i表示第i个样本的眼动事件数据,y1i表示第i个样本的标签;
属性集A1={a11,a12,...,a1d};其中a1i表示眼动事件的属性包括扫视事件数据,注视事件数据和眨眼事件数据;
S1-2过程:
函数glmfit(D1,A1)
由上式计算出θ;
s=θTx,其中s表示加权后的样本数据。
步骤S2中原始眼动数据的特征提取与融合的具体方法如下:
S2-1输入:
训练集D2={(x21,y21),(x22,y22),...,(x2m,y2m)};其中x2i表示第i个样本的原始眼动数据,y2i表示第i个样本的标签
属性集A2={a21,a22,...,a2d}:其中a2i表示原始眼动数据的属性,包括瞳孔直径,瞳孔坐标,眼睛坐标,注视点坐标等;
S2-2过程:
函数wavedec(D2,A2)和APEN(D2,A2)
步骤S3的具体方法如下:
S3-1输入:
训练集D3={(x31,y31),(x32,y32),...,(x3m,y3m)};其中x3i表示第i个样本的融合眼动数据,y3i表示第i个样本的标签;
属性集A3={a31,a32,...,a3d};其中a3i表示融合的眼动数据的新属性,包括基于logisticsregression算法加权融合的眼动事件数据和基于小波分解和近似熵计算所得的原始眼动数据的新特征的融合;
S3-2过程:
(1)采用基于融合眼动数据的adaboost算法,进行模型训练;
(2)优化参数,改进训练的专注度检测模型。
与现有技术相比,本发明具有以下有益效果:
本发明充分结合了眼动事件数据和原始眼动数据两类特征,同时根据不同类型的眼动数据特点,采用不同的特征提取与融合的方法进行特征处理,最后利用 adaboost算法训练了一种基于眼动数据的分层特征提取与融合的专注度检测方法来检测人们观看视频时的专注状态。
附图说明
图1是本发明优选实施例的专注度检测方法的流程示意图:
图2是本发明优选实施例的眼动轨迹追踪示意图:
图3是本发明优选实施例的基于logisticsregression算法的眼动事件数据的示意图:
图4是本发明优选实施例的小波分解的示意图:
图5是本发明优选实施例的基于近似熵的原始眼动数据的示意图:
图6是本发明优选实施例的adaboost训练的专注度检测模型的示意图:
图7是本发明的一种检测在线视频观看者专注度的装置的结构图:
图8是本发明的一种检测在线视频观看者专注度的方法的正常观看的流程图。
具体实施方式
下面结合附图对本发明做进一步详细描述:
参见图1,本发明的专注度检测方法,包括以下步骤:
步骤S1:通过眼动仪采集人们观看视频时的眼动数据,包括原始眼动数据和眼动事件数据两种类型。其中原始眼动数据包括眼睛位置,注视点位置,瞳孔位置和瞳孔直径;眼动事件数据包括眨眼事件数据,如:眨眼频率,眨眼次数,眨眼持续时间等,注视事件数据,如:注视次数,注视偏差,注视频率等,扫视事件数据,如:扫视长度,扫视频率,扫视次数等;通过眼动仪获取的人们观看视频时的注视轨迹,如图2所示:
步骤S2:采用logisticsregression算法进行眼动事件数据的特征提取与融合,包括如下步骤;
输入:
训练集D1={(x11,y11),(x12,y12),...,(x1m,y1m)};其中x1i表示第i个样本的眼动事件数据,y1i表示第i个样本的标签;
属性集A1={a11,a12,...,a1d};其中a1i表示眼动事件的属性包括扫视事件数据,注视事件数据和眨眼事件数据。
过程:
函数glmfit(D1,A1)
由公式3-1计算出θ;
(2)s=θTx,其中s表示加权后的样本数据;
经过logisticsregression算法加权处理的眼动事件数据的折线图如图3所示。
步骤S3:采用小波分解和近似熵的算法进行原始眼动数据的特征提取与融合,包括如下步骤;
a.通过眼动仪获取人们观看视频时的原始眼动数据
b.采用先小波分解后近似熵的方法来计算原始眼动数据的融合特征。
输入:
训练集D2={(x21,y21),(x22,y22),...,(x2m,y2m)};其中x2i表示第i个样本的原始眼动数据,y2i表示第i个样本的标签
属性集A2={a21,a22,...,a2d}:其中a2i表示原始眼动数据的属性,包括瞳孔直径,瞳孔坐标,眼睛坐标和注视点坐标扫。
过程:
函数wavedec(D2,A2)和APEN(D2,A2)
经过近似熵计算后的注视点位置的折线图如图5所示:
步骤S4:采用adaboost算法进行专注度检测模型的训练,包括如下步骤。
输入:训练集D3={(x31,y31),(x32,y32),...,(x3m,y3m)};其中x3i表示第i个样本的融合眼动数据,y3i表示第i个样本的标签;
属性集A3={a31,a32,...,a3d};其中a3i表示融合的眼动数据的新属性,包括基于logisticsregression算法加权融合的眼动事件数据和基于小波分解和近似熵计算所得的原始眼动数据的属性融合。
过程:
1.采用基于融合眼动数据的adaboost算法,进行模型训练。
2.优化参数,改进训练的专注度检测模型
Adaboost算法的训练结果如图6所示:
本实施例提供的一种检测在线视频观看者专注度的装置,结构如图7所示,包括数据获取模块:通过眼动仪获取人们观看视频时的眼动数据;
注视点追踪模块:用于直观显示人们观看视频时的注视点移动情况;
扫视轨迹追踪模块:用于直观显示人们观看视频时的扫视轨迹;
特征提取模块:包括基于logisticsregression算法的眼动事件数据的特征提取与融合、基于小波分解和近似熵算法的原始眼动事件数据的特征提取与融合;
专注度检测模块:用于检测人们观看视频时的专注程度。
检测在线视频观看者专注度的方法的正常观看的流程图如图8所示。
以上内容仅为说明本发明的技术思想,不能以此限定本发明的保护范围,凡是按照本发明提出的技术思想,在技术方案基础上所做的任何改动,均落入本发明权利要求书的保护范围之内。
Claims (6)
1.基于眼动数据的分层特征提取与融合的专注度检测装置,其特征在于,包括依次级联的数据获取模块、注视点追踪模块、扫视轨迹追踪模块、特征提取模块以及专注度检测模块;其中
数据获取模块:通过眼动仪获取观看视频时的眼动数据;
注视点追踪模块:用于显示观看视频时的注视点移动情况;
扫视轨迹追踪模块:用于显示观看视频时的扫视轨迹;
特征提取模块:特征提取模块包括眼动数据的特征提取与融合装置,用于处理眼动数据;特征提取模块基于logisticsregression算法,用于眼动事件数据的特征提取与融合;特征提取模块基于小波分解和近似熵算法,用于原始眼动事件数据的特征提取与融合;
专注度检测模块:采用利用adaboost算法训练专注度检测模型的装置,用于检测在线视频观看者专注度。
2.一种采用权利要求1所述检测装置的基于眼动数据的分层特征提取与融合的专注度检测方法,其特征在于,包括以下步骤:
步骤S1、基于logisticsregression算法,通过眼动仪采集观看视频时的眼动数据,进行眼动事件数据的特征提取与融合;
步骤S2、采用小波分解和近似熵的算法进行原始眼动数据的特征提取与融合;
步骤S3、采用adaboost算法进行专注度检测模型的训练。
3.根据权利要求2所述的基于眼动数据的分层特征提取与融合的专注度检测方法,其特征在于,步骤S1中,眼动数据包括原始眼动数据和眼动事件数据;原始眼动数据包括眼睛位置、注视点位置、瞳孔位置和瞳孔直径;眼动事件数据包括眨眼事件数据。
4.根据权利要求2所述的基于眼动数据的分层特征提取与融合的专注度检测方法,其特征在于,步骤S1中,眼动事件数据的特征提取与融合的具体方法如下:
S1-1输入:
训练集D1={(x11,y11),(x12,y12),...,(x1m,y1m)};其中x1i表示第i个样本的眼动事件数据,y1i表示第i个样本的标签;
属性集A1={a11,a12,...,a1d};其中a1i表示眼动事件的属性包括扫视事件数据,注视事件数据和眨眼事件数据;
S1-2过程:
函数glmfit(D1,A1)
由上式计算出θ;
s=θTx,其中s表示加权后的样本数据。
5.根据权利要求2所述的基于眼动数据的分层特征提取与融合的专注度检测方法,其特征在于,步骤S2中原始眼动数据的特征提取与融合的具体方法如下:
S2-1输入:
训练集D2={(x21,y21),(x22,y22),...,(x2m,y2m)};其中x2i表示第i个样本的原始眼动数据,y2i表示第i个样本的标签
属性集A2={a21,a22,...,a2d}:其中a2i表示原始眼动数据的属性,包括瞳孔直径,瞳孔坐标,眼睛坐标以及注视点坐标;
S2-2过程:
函数wavedec(D2,A2)和APEN(D2,A2)
6.根据权利要求2所述的基于眼动数据的分层特征提取与融合的专注度检测方法,其特征在于,步骤S3的具体方法如下:
S3-1输入:
训练集D3={(x31,y31),(x32,y32),...,(x3m,y3m)};其中x3i表示第i个样本的融合眼动数据,y3i表示第i个样本的标签;
属性集A3={a31,a32,...,a3d};其中a3i表示融合的眼动数据的新属性,包括基于logisticsregression算法加权融合的眼动事件数据和基于小波分解和近似熵计算所得的原始眼动数据的新特征的融合;
S3-2过程:
(1)采用基于融合眼动数据的adaboost算法,进行模型训练;
(2)优化参数,改进训练的专注度检测模型。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810668963.7A CN109117711B (zh) | 2018-06-26 | 2018-06-26 | 基于眼动数据的分层特征融合的专注度检测装置及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810668963.7A CN109117711B (zh) | 2018-06-26 | 2018-06-26 | 基于眼动数据的分层特征融合的专注度检测装置及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109117711A CN109117711A (zh) | 2019-01-01 |
CN109117711B true CN109117711B (zh) | 2021-02-19 |
Family
ID=64822457
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810668963.7A Active CN109117711B (zh) | 2018-06-26 | 2018-06-26 | 基于眼动数据的分层特征融合的专注度检测装置及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109117711B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110032278B (zh) * | 2019-03-29 | 2020-07-14 | 华中科技大学 | 一种人眼感兴趣物体的位姿识别方法、装置及*** |
CN110327061B (zh) * | 2019-08-12 | 2022-03-08 | 北京七鑫易维信息技术有限公司 | 一种基于眼动追踪技术的性格确定装置、方法及设备 |
CN110852284A (zh) * | 2019-11-14 | 2020-02-28 | 北京格如灵科技有限公司 | 一种基于虚拟现实环境预测用户专注度的***及实现方法 |
CN112241971A (zh) * | 2020-09-30 | 2021-01-19 | 天津大学 | 一种使用熵和眼动数据衡量运动预测能力的方法 |
CN113436039A (zh) * | 2021-07-02 | 2021-09-24 | 北京理工大学 | 远程教育中基于眼动仪的学生课堂专注状态检测方法 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103455795B (zh) * | 2013-08-27 | 2017-03-29 | 西北工业大学 | 一种基于交通视频数据图像的确定交通目标所在区域的方法 |
CN104504390B (zh) * | 2015-01-14 | 2017-09-19 | 北京工业大学 | 一种基于眼动数据的网上用户状态识别方法和装置 |
CN106920129B (zh) * | 2017-03-09 | 2020-05-05 | 山东师范大学 | 一种基于眼动追踪的网络广告效果测评***及其方法 |
CN107480635B (zh) * | 2017-08-15 | 2020-09-18 | 安徽大学 | 一种基于双模态分类模型融合的扫视信号识别方法及*** |
CN107440714A (zh) * | 2017-09-07 | 2017-12-08 | 哈尔滨理工大学 | 一种专注度及眨眼动作提取装置及方法 |
CN107679462B (zh) * | 2017-09-13 | 2021-10-19 | 哈尔滨工业大学深圳研究生院 | 一种基于小波的深度多特征融合分类方法 |
-
2018
- 2018-06-26 CN CN201810668963.7A patent/CN109117711B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN109117711A (zh) | 2019-01-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109117711B (zh) | 基于眼动数据的分层特征融合的专注度检测装置及方法 | |
CN108664932B (zh) | 一种基于多源信息融合的学习情感状态识别方法 | |
McDuff et al. | Predicting online media effectiveness based on smile responses gathered over the internet | |
CN104504404B (zh) | 一种基于视觉行为的网上用户类型识别方法及*** | |
CN105512609B (zh) | 一种基于核超限学习机的多模融合视频情感识别方法 | |
CN104700090B (zh) | 基于密度的眼动注视点测定方法及*** | |
CN103340637A (zh) | 基于眼动与脑电融合的驾驶员警觉度智能监控***及方法 | |
CN113743471A (zh) | 一种驾驶评估方法及其*** | |
CN115205764B (zh) | 基于机器视觉的在线学习专注度监测方法、***及介质 | |
Huda et al. | Mobile-based driver sleepiness detection using facial landmarks and analysis of EAR values | |
Henni et al. | Feature selection for driving fatigue characterization and detection using visual-and signal-based sensors | |
Dua et al. | Evaluation and visualization of driver inattention rating from facial features | |
Zhang et al. | Real‐Time Non‐Driving Behavior Recognition Using Deep Learning‐Assisted Triboelectric Sensors in Conditionally Automated Driving | |
Lu et al. | Pose-guided model for driving behavior recognition using keypoint action learning | |
Mao et al. | A driver drowsiness detection scheme based on 3d convolutional neural networks | |
Chen et al. | Distracted driving recognition using vision transformer for human-machine co-driving | |
Sonth et al. | Explainable Driver Activity Recognition Using Video Transformer in Highly Automated Vehicle | |
Song et al. | Early diagnosis of asd based on facial expression recognition and head pose estimation | |
Li et al. | Computer vision-based driver fatigue detection framework with personalization threshold and multi-feature fusion | |
Cheng | Video-based student classroom classroom behavior state analysis | |
CN102915443B (zh) | 具学习力的视觉注意预测***及其方法 | |
Tan et al. | Driver Distraction Behavior Recognition for Autonomous Driving: Approaches, Datasets and Challenges | |
Fu et al. | Tumbling to succeed: a predictive analysis of user success in interactive ontology visualization | |
Mălăescu et al. | Task–Driven Image–to–Image Translation for Automotive Applications | |
Qiao et al. | A Review of Attention Detection in Online Learning |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |