CN111568367B - 一种识别和量化眼跳入侵的方法 - Google Patents
一种识别和量化眼跳入侵的方法 Download PDFInfo
- Publication number
- CN111568367B CN111568367B CN202010404817.0A CN202010404817A CN111568367B CN 111568367 B CN111568367 B CN 111568367B CN 202010404817 A CN202010404817 A CN 202010404817A CN 111568367 B CN111568367 B CN 111568367B
- Authority
- CN
- China
- Prior art keywords
- eye
- jump
- data
- eye movement
- invasion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/11—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for measuring interpupillary distance or diameter of pupils
- A61B3/112—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for measuring interpupillary distance or diameter of pupils for measuring diameter of pupils
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Ophthalmology & Optometry (AREA)
- Biomedical Technology (AREA)
- Veterinary Medicine (AREA)
- Medical Informatics (AREA)
- Physics & Mathematics (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Human Computer Interaction (AREA)
- Eye Examination Apparatus (AREA)
- Image Analysis (AREA)
Abstract
本发明公开一种识别和量化眼跳入侵的方法，包括以下步骤：提取原始眼动数据；对提取的数据进行预处理；进行眼跳性眼动检测；识别注视眼动；基于注视基线识别眼跳入侵；进行数据清理；量化眼跳入侵。本发明基于当前眼动研究技术，提出了一种识别和量化眼跳入侵的方法，能够稳定和准确有效地识别和量化眼跳入侵。
Description
技术领域
本发明涉及眼动技术领域，特别是涉及一种识别和量化眼跳入侵的方法。
背景技术
近年来，随着人工智能的发展，眼动技术也逐渐成为当前研究的热门方向和前沿技术。眼睛有两种区别很明显的运动，注视和眼跳。眼动过程中的眼跳入侵是一种特殊的只在眼睛注视时发生的水平方向上眼跳性眼动偏差。研究表明，眼跳入侵指标与操作者的工作负荷有关，当操作者的工作负荷增加时，眼跳入侵指标也会随之增加。
目前对眼动技术的研究主要集中于注视行为和眼跳行为的识别，对其他一些眼动行为(例如眨眼等)识别的研究相对较少。现有的眼动行为识别算法虽然能在一定程度上识别出注视及眼跳行为，但是缺乏一定的准确性且很少能将眼跳行为量化。
发明内容
本发明的目的是提供一种识别和量化眼跳入侵的方法，以解决上述现有技术存在的问题，能够准确地将眼跳行为进行量化。
为实现上述目的，本发明提供了如下方案：本发明提供一种识别和量化眼跳入侵的方法，包括以下步骤：
S1、提取原始眼动数据；
S2、对步骤S1提取的数据进行预处理；
S3、进行眼跳性眼动检测；
S4、识别注视眼动；
S5、基于注视基线识别眼跳入侵；
S6、对步骤S5获得的数据进行清理；
S7、量化眼跳入侵。
优选的，步骤S1中原始眼动数据由头戴式眼动仪获得，被保存为.TXT格式文件。
优选的，步骤S2中数据预处理是将置信度低于0.8的数据点、不在屏幕上的数据点和缺失数据点进行替换。
优选的，步骤S3中眼跳性眼动检测采用EK算法。
优选的，步骤S3中所述眼跳性眼动，包括常规眼跳和眼跳性眼动偏移。
优选的，步骤S4中通过消除所述眼跳性眼动偏移，获得常规眼跳，所述常规眼跳的补集即注视眼动。
优选的，步骤S5中利用两个移动中值窗识别出每段注视眼动过程中的眼跳性眼动偏差，即获得眼跳入侵。
优选的，步骤S6中数据清理包括：常规眼跳残留、不合理注视过程和无效数据。
优选的，步骤S7中，将步骤6获取的数据进行分类，得到全部眼跳入侵值和较小眼动偏差值，计算眼跳入侵值和较小眼动偏差值的平均值，得到平均眼跳入侵值，平均较小眼动偏差值，即完成眼跳入侵量化。
本发明公开了以下技术效果：
相对于现有技术，本发明的优点在于方法的可靠性、稳定性和准确性，该方法能够稳定且准确地识别眼跳入侵，进一步将眼跳入侵量化，方便对眼跳入侵的影响进行研究。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的方法流程图；
图2为眼动仪空间坐标系与标准化空间坐标系简化示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
参考图1，本发明提供一种识别和量化眼跳入侵的方法，包括以下步骤：
第一步，通过头戴式眼动仪获取被研究对象的原始眼动数据，参考图2，由于本实施例采用头戴式眼动仪，因此眼动仪坐标系的原点相对于头部固定，其中被试的右手方向为坐标系X轴正方向，向上是Y轴的正方向，向前是Z轴的正方向。被试者面部正对屏幕中央，面部的法线垂直于屏幕。视轴是一条连接眼睛所看的屏幕上的位置与瞳孔中心的直线，F点是视轴与屏幕的交点，即被试此刻观察的屏幕上一点。标准空间坐标系的原点为眼动仪坐标系的原点，标准空间坐标系的正方向与眼动仪空间坐标系相同。原始数据样本中的Gaze_normal0_x、Gaze_normal0_y和Gaze_normal0_z三列分别是将视轴在标准化空间坐标系中的X轴坐标、Y轴坐标和Z轴坐标，在标准空间坐标系中三个坐标轴的范围为[-1,1]。diameter_3d是眼动仪检测到的瞳孔直径，当瞳孔的检测面积不完全时***自动处理成圆形，给出一个直径和置信度，当置信度大于等于0.8时，数据是可信的。x_scaled和y_scaled是眼动仪采样时眼睛观察位置的屏幕坐标，单位为像素，本实施例中所使用的电脑的分辨率为1366x768，因此x_scaled的范围是[0,1366],y_scaled的范围是[0,768]；on_srf是一列逻辑值数列，用来判断眼睛在采样时刻是否注视着屏幕范围，如果为1，表示采样的时刻被试者是看着屏幕中的某一处，如果为0，表示采样时刻被试者正在看屏幕以外的位置。原始数据最后保存为“txt”格式的文件。眼动数据的类型如表1所示：
表1
第二步，对获取的原始眼动数据进行预处理，对置信度低于0.8的点、不在屏幕上的点以及缺失数据进行替换，替换为该点前十个数据的中值。
第三步，采用EK算法进行眼跳性眼动检测。EK算法本质为一种速度阈值算法。每个点的速度由公式(1)获得：
式中是是数据点n后的第二个数据点的水平角度；
是数据点n后的第一个数据点的水平角度；
是数据点n之前的第一个数据点的水平角度；
是数据点n之前的第二个数据点的水平角度；
Δt是采样时间间隔。
二维速度空间中眼跳性眼动检测的速度阈值，水平速度阈值σx与垂直速度阈值σy分别由公式(2)与公式(3)获得。
式中符号<v>表示求中值。
其中，检测阈值ηx和ηy是中值的倍数：
ηx＝λσx
ηy＝λσy
式中λ是眼跳性眼动检测方法中需要合理设定的参数。
最后检测出的一个可能的眼跳性眼动t(k)满足公式(4)：
其中k表示第k个数据点，
在本步中识别出了眼跳性眼动，计算这些眼跳性眼动过程中的眼跳峰速度和眼跳最大幅度，眼跳最大幅度增大时，眼跳峰速度也随之增大，以眼跳最大幅度作为横轴，眼跳峰速度作为纵轴，可以观察到一条直线的趋势，二者之间的主序关系可以体现出该算法的准确性。
第四步，识别出了眼跳性眼动，眼跳性眼动包括常规眼跳和眼跳性眼动偏移。消除眼跳性眼动偏移，得到常规眼跳，常规眼跳的补集就是所有的注视眼动。
第五步，基于注视基线识别眼跳入侵，即获取眼跳性眼动偏差数据。利用两个移动中值窗识别出每段注视眼动过程中的眼跳性眼动偏差，眼跳性眼动偏差即为眼跳入侵。两个移动中值窗包括大移动中值窗和小移动中值窗，取当前数据点之前1000ms和之后1000ms的数据的中值构成时间长度为2000ms的大移动中值窗，然而这个时间窗并不是连续的，时间窗正中500ms的内数据并不参与计算注视基线，该大移动中值窗用来确定基本的水平注视位置，即确定注视基线，注视基线表示视线稳定的一个趋势；小移动中值窗的时间长度为50ms，用来检测实时的眼睛水平位置偏差。
眼动偏差量化算法重要的应用层面的意义是基于注视基线位置量化眼跳性眼动偏差。眼动偏差量化算法并不需要视觉目标的在物理世界中的准确位置，因为它能自动检测注视过程和评估注视点位置，由评估的注视点位置与眼动偏移计算出眼跳性眼动偏差。本实施例中，眼动偏移量化算法使用两个不同长度的移动中值窗的目的是突出由大移动中值窗代表的基本注视位置与小移动中值窗代表的眼动偏移位置之间的差异。
第六步，对获取的眼跳性眼动偏差数据进行清理，清理以下数据：常规眼跳残留，不合理注视过程和无效数据。使最终量化的数据只包含注视过程的眼动偏差。
常规眼跳残留数据对应的偏移值：对于每个检测出的常规眼跳，已经标记了其开始时刻与结束时刻，但是常规眼跳实际开始的时刻可能在标记的时间段之外，这是由于眼动仪固定的采样时间间隔导致的，无法进行准确的纠正，这些残留数据对应的偏移值偏大，却并不是由注视眼动偏移引起的，所以需要被清理。对于检测到的常规眼跳，将常规眼跳过程和该过程之前一个数据点和之后一个数据点对应的偏移值设置为0。
不合理注视眼动过程的眼跳性眼动偏移对应的偏移值：持续时间小于1000ms的注视眼动过程被称为不合理注视眼动过程，因为大移动中值窗无法从小于1000ms的注视眼动过程获取足够的多的数据，所以持续时间小于1000ms的注视眼动过程对应的偏移值需要被清除，处理方法是将不合理注视眼动过程对应的偏移值设置为0。
无效数据：是指被替换过的缺失数据。这些数据对应的偏移值是替换处理产生的，并不是注视过程的眼动偏移引起的，因此需要被清理，处理方法是将无效数据对应的偏移值设置为0。
第七步，将清理完成的眼跳性眼动偏差数据按照规定的分类标准进行分类，得到两种眼动偏差，其中偏差幅度在0.4°-4.1°的眼动偏差称为眼跳入侵，而将幅度小于0.4°的眼动偏差称为较小眼动偏差或是微眼跳，计算每一类的平均值。平均眼跳入侵值是用眼跳入侵数据点的偏差值总和除以对应的时间，单位为deg/s。眼动偏差量化算法对每次实验的数据进行处理后能输出两个值：平均眼跳入侵值，平均较小眼动偏差值，完成眼跳入侵量化。
根据识别出的眼跳峰速度与最大幅度的主序关系可以得知该识别方法的准确性；本发明采用EK算法，相对于速度阈值算法，EK算法的速度阈值是自适应获取的，不用人为设定速度阈值，所以具有较好的可靠性；又由于是自适应的选取阈值，对于不同的人和不用的数据采样方法都适用，所以稳定性好。
在本发明的描述中，需要理解的是，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
以上所述的实施例仅是对本发明的优选方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案做出的各种变形和改进，均应落入本发明权利要求书确定的保护范围内。
Claims (8)
1.一种识别和量化眼跳入侵的方法，其特征在于：包括以下步骤：
S1、提取原始眼动数据；
S2、对步骤S1提取的数据进行预处理，其中，所述预处理包括：对置信度低于0.8的点、不在屏幕上的点以及缺失数据进行替换，替换为该点前十个数据的中值；
S3、进行眼跳性眼动检测，获取眼跳性眼动；
S4、基于所述眼跳性眼动，识别注视眼动；
S5、基于注视基线对所述注视眼动识别眼跳入侵，即获取眼跳性眼动偏差数据；
S6、对步骤S5获得的数据进行清理；
S7、量化眼跳入侵，将步骤6获取的数据进行分类，得到全部眼跳入侵值和较小眼动偏差值，其中偏差幅度在0.4°-4.1°的眼动偏差称为眼跳入侵，而将幅度小于0.4°的眼动偏差称为较小眼动偏差或是微眼跳，计算所述眼跳入侵值和所述较小眼动偏差值的平均值，平均眼跳入侵值是用眼跳入侵数据点的偏差值总和除以对应的时间，单位为deg/s，眼动偏差量化算法对每次实验的数据进行处理后能输出两个值：平均眼跳入侵值，平均所述较小眼动偏差值，即完成眼跳入侵量化。
2.根据权利要求1所述的识别和量化眼跳入侵的方法，其特征在于：所述步骤S1中原始眼动数据由头戴式眼动仪获得，被保存为.TXT格式文件。
3.根据权利要求1所述的识别和量化眼跳入侵的方法，其特征在于：所述步骤S2中数据预处理是将置信度低于预定阈值的数据点、不在屏幕上的数据点和缺失数据点进行替换。
4.根据权利要求1所述的识别和量化眼跳入侵的方法，其特征在于：所述步骤S3中眼跳性眼动检测采用EK算法。
5.根据权利要求1所述的识别和量化眼跳入侵的方法，其特征在于：所述步骤S3中所述眼跳性眼动，包括常规眼跳和眼跳性眼动偏移。
6.根据权利要求1所述的识别和量化眼跳入侵的方法，其特征在于：所述步骤S4中通过消除所述眼跳性眼动偏移，获得常规眼跳，所述常规眼跳的补集即注视眼动。
7.根据权利要求1所述的识别和量化眼跳入侵的方法，其特征在于：所述步骤S5中利用两个移动中值窗识别出每段注视眼动过程中的眼跳性眼动偏差，即获得眼跳入侵。
8.根据权利要求1所述的识别和量化眼跳入侵的方法，其特征在于：所述步骤S6中数据清理包括：常规眼跳残留、不合理注视过程和无效数据。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010404817.0A CN111568367B (zh) | 2020-05-14 | 2020-05-14 | 一种识别和量化眼跳入侵的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010404817.0A CN111568367B (zh) | 2020-05-14 | 2020-05-14 | 一种识别和量化眼跳入侵的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111568367A CN111568367A (zh) | 2020-08-25 |
| CN111568367B true CN111568367B (zh) | 2023-07-21 |
Family
ID=72121028
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010404817.0A Active CN111568367B (zh) | 2020-05-14 | 2020-05-14 | 一种识别和量化眼跳入侵的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111568367B (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08279247A (ja) * | 1995-04-05 | 1996-10-22 | Fujitsu Ltd | 再生信号処理方法及び装置並びにディスク装置 |
| CN103713728A (zh) * | 2014-01-14 | 2014-04-09 | 东南大学 | 一种复杂***人机界面可用性的检测方法 |
| CN104898823A (zh) * | 2014-03-04 | 2015-09-09 | 中国电信股份有限公司 | 控制视标运动的方法和装置 |
| WO2016112690A1 (zh) * | 2015-01-14 | 2016-07-21 | 北京工业大学 | 一种基于眼动数据的网上用户状态识别方法和装置 |
| CN109124657A (zh) * | 2013-03-11 | 2019-01-04 | 亚特兰大儿童医疗保健公司 | 用于认知和发育状况的检测的***和方法 |
| CN109199412A (zh) * | 2018-09-28 | 2019-01-15 | 南京工程学院 | 基于眼动数据分析的异常情绪识别方法 |
| CN109199411A (zh) * | 2018-09-28 | 2019-01-15 | 南京工程学院 | 基于模型融合的案件知情者识别方法 |
| CN109925678A (zh) * | 2019-03-01 | 2019-06-25 | 北京七鑫易维信息技术有限公司 | 一种基于眼动追踪技术的训练方法、训练装置及设备 |
| CN109933193A (zh) * | 2019-03-01 | 2019-06-25 | 北京体育大学 | 基于运动员眼动信息实时捕捉的智能辅助训练*** |
-
2020
- 2020-05-14 CN CN202010404817.0A patent/CN111568367B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08279247A (ja) * | 1995-04-05 | 1996-10-22 | Fujitsu Ltd | 再生信号処理方法及び装置並びにディスク装置 |
| CN109124657A (zh) * | 2013-03-11 | 2019-01-04 | 亚特兰大儿童医疗保健公司 | 用于认知和发育状况的检测的***和方法 |
| CN103713728A (zh) * | 2014-01-14 | 2014-04-09 | 东南大学 | 一种复杂***人机界面可用性的检测方法 |
| CN104898823A (zh) * | 2014-03-04 | 2015-09-09 | 中国电信股份有限公司 | 控制视标运动的方法和装置 |
| WO2016112690A1 (zh) * | 2015-01-14 | 2016-07-21 | 北京工业大学 | 一种基于眼动数据的网上用户状态识别方法和装置 |
| CN109199412A (zh) * | 2018-09-28 | 2019-01-15 | 南京工程学院 | 基于眼动数据分析的异常情绪识别方法 |
| CN109199411A (zh) * | 2018-09-28 | 2019-01-15 | 南京工程学院 | 基于模型融合的案件知情者识别方法 |
| CN109925678A (zh) * | 2019-03-01 | 2019-06-25 | 北京七鑫易维信息技术有限公司 | 一种基于眼动追踪技术的训练方法、训练装置及设备 |
| CN109933193A (zh) * | 2019-03-01 | 2019-06-25 | 北京体育大学 | 基于运动员眼动信息实时捕捉的智能辅助训练*** |
Non-Patent Citations (2)
| Title |
|---|
| 郑秀娟.基于视觉特性的驾驶安全眼动研究进展.《技术与创新管理》.2018,第39卷(第39期),50-59. * |
| 靳慧斌.基于眼动数据分析的安检视觉搜索特征.《工业工程》.第17卷(第17期),43-48. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111568367A (zh) | 2020-08-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111611905B (zh) | 一种可见光与红外融合的目标识别方法 | |
| CN111616718B (zh) | 基于姿态特征的驾驶员疲劳状态检测方法和*** | |
| CN107292252A (zh) | 一种自主学习的身份识别方法 | |
| WO2019136641A1 (zh) | 信息处理方法、装置、云处理设备以及计算机程序产品 | |
| CN110176025B (zh) | 一种基于姿态的监考人跟踪方法 | |
| CN103164315A (zh) | 基于智能视频分析的电脑使用时间提示方法及*** | |
| CN106127814A (zh) | 一种智慧金睛识别人员聚集打斗报警方法和装置 | |
| CN114005167A (zh) | 基于人体骨骼关键点的远距离视线估计方法和装置 | |
| CN112926522A (zh) | 一种基于骨骼姿态与时空图卷积网络的行为识别方法 | |
| CN111985328A (zh) | 基于面部特征分析的不安全驾驶行为检测预警方法 | |
| CN112818883A (zh) | 基于眼动信号的感兴趣目标深度学习检测与定位方法 | |
| CN114120188A (zh) | 一种基于联合全局和局部特征的多行人跟踪方法 | |
| CN113989788A (zh) | 一种基于深度学习和多指标融合的疲劳检测方法 | |
| CN107480635B (zh) | 一种基于双模态分类模型融合的扫视信号识别方法及*** | |
| CN112733772A (zh) | 仓储拣选任务中的实时认知负荷与疲劳度检测方法与*** | |
| CN110097012B (zh) | 基于N-range图像处理算法的眼动参数监测的疲劳检测方法 | |
| CN115393830A (zh) | 一种基于深度学习与面部特征的疲劳驾驶检测方法 | |
| CN111568367B (zh) | 一种识别和量化眼跳入侵的方法 | |
| CN110991292A (zh) | 动作识别比对方法、***、计算机存储介质和电子装置 | |
| CN117593792A (zh) | 一种基于视频帧的异常姿态检测方法和装置 | |
| CN105825225A (zh) | 一种机器视觉辅助脑电目标判决的方法 | |
| CN105335695A (zh) | 一种基于眼镜检测的眼睛定位方法 | |
| CN114468977B (zh) | 一种眼科视力检查数据收集分析方法、***及计算机存储介质 | |
| CN116013033A (zh) | 多源信号疲劳驾驶检测方法、装置及存储介质 | |
| CN115050102A (zh) | 移动设备规范坐姿分析处理方法、***及其存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |