CN115299945A - 一种注意力及疲劳程度的评估方法以及可穿戴设备 - Google Patents

一种注意力及疲劳程度的评估方法以及可穿戴设备 Download PDF

Info

Publication number
CN115299945A
CN115299945A CN202210981467.3A CN202210981467A CN115299945A CN 115299945 A CN115299945 A CN 115299945A CN 202210981467 A CN202210981467 A CN 202210981467A CN 115299945 A CN115299945 A CN 115299945A
Authority
CN
China
Prior art keywords
eye movement
data
interest
movement data
gaze
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210981467.3A
Other languages
English (en)
Inventor
王菲
张锡哲
尹舒络
姚菲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Brain Hospital
Original Assignee
Nanjing Brain Hospital
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Brain Hospital filed Critical Nanjing Brain Hospital
Priority to CN202210981467.3A priority Critical patent/CN115299945A/zh
Publication of CN115299945A publication Critical patent/CN115299945A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/168—Evaluating attention deficit, hyperactivity
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Psychiatry (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Developmental Disabilities (AREA)
  • Biophysics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Educational Technology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Social Psychology (AREA)
  • Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physiology (AREA)
  • Signal Processing (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本发明公开了一种注意力及疲劳程度的评估方法以及可穿戴设备，属于虚拟现实和眼动数据分析技术领域。包括：获取眼动数据样本信息；创建虚拟空间，并进行眼动追踪，解析出凝视数据；根据凝视数据计算得到兴趣区域内的兴趣值；对眼动数据样本信息进行预处理；构建评估分析模型，并根据经过预处理的眼动数据样本信息以及兴趣值作为拟合训练数据对评估分析模型进行训练；获得待评估眼动数据，将待评估眼动数据输入至训练后的评估分析模型，输出注意力及疲劳程度的评估分析结果。通过本发明能够快速准确的得到评估分析结果，为精神心理及认知障碍等疾病的医学诊断提供有效的数据支撑和参考。

Description

一种注意力及疲劳程度的评估方法以及可穿戴设备
技术领域
本发明涉及虚拟现实和眼动数据分析技术领域，更具体的说是涉及一种注意力及疲劳程度的评估方法以及可穿戴设备。
背景技术
视觉注意力等相关的建模在近几年的多媒体处理和计算机视觉领域发展迅速，在图片和视频的传输、压缩和处理中起到了巨大作用。随着信息技术和虚拟现实(VR)近几年的蓬勃发展，越来越多全景内容和应用开始出现。虚拟现实技术为用户提供了沉浸式媒体体验，360度全景内容作为一种全新的媒体形式，可以放置在头戴式显示器(头显)下供用户浏览，用户可以通过移动头部选择显示球形内容的某一部分，观看过程更自由，更具交互性。
然而，在传统沉浸式虚拟现实***中，有许多应用程序通常提供基于任务范式的内容，如申请号为202111429477.8公开的一种注意力评估方法及***的专利中，并没有关注虚拟场景中内容对于用户来说是否感兴趣，因为由于个体差异，不同用户可能对于呈现内容产生不同的主观感受，所以在提供我们为用户呈现的虚拟场景中的主题视频内容方面，只考虑用户在虚拟场景中的视觉注意力产生的行为数据来进行评估，导致评估速度慢且评估结果准确率低。而不准确的注意力评估无法辅助医生进行判断。
因此，如何提供一种注意力及疲劳程度的评估方法以及可穿戴设备是本领域技术人员亟需解决的问题。
发明内容
有鉴于此，本发明提供了一种注意力及疲劳程度的评估方法以及可穿戴设备，对在虚拟场景中的眼动追踪产生的三维注视数据的特征提取，并基于机器学习算法对眼动数据内容量化后的指标建立用户注意力是否集中和疲倦程度检测评估分析模型。通过眼动追踪与虚拟现实提供的环境，有助于获得客观的眼动行为数据，这些数据能够更加真实地反映用户在观看过程中某个特定时间点可能存在的疲劳程度或注意力状态。
为了实现上述目的，本发明提供如下技术方案：
一种注意力及疲劳程度的评估方法以及可穿戴设备，包括以下步骤：
获取眼动数据样本信息；
创建虚拟空间，并进行眼动追踪，解析出凝视数据；
根据凝视数据计算得到兴趣区域内的兴趣值；
对所述眼动数据样本信息进行预处理；
构建评估分析模型，并根据经过预处理的眼动数据样本信息以及兴趣值作为拟合训练数据对所述评估分析模型进行训练；
获得待评估眼动数据，将所述待评估眼动数据输入至训练后的评估分析模型，输出注意力及疲劳程度的评估分析结果。
优选的，所述创建虚拟空间，根据所述眼动数据样本信息进行眼动追踪，解析出凝视数据，包括：
创建可控组件用户界面，并设置视频播放按钮子控件和界面显示子控件；
通过凝视行为接口对视频播放按钮子控件和界面显示子控件进行操控；
在操控过程中进行眼动追踪，解析兴趣区内凝视数据。
优选的，所述凝视数据包括：兴趣区内的注视点的数量以及兴趣区内注视向量。
优选的，所述根据凝视数据计算得到兴趣区域内的兴趣值，包括：
设置可控组件用户界面中三维向量为v＝(x，y，z)，其中x、y、z分别返回为浮点值；
计算总体注视向量：
Figure BDA0003798593490000021
其中，ti为开始到i时刻的注视时间，设置Zb等于0，使(xb，yb，0)为虚拟空间基面上的点；vi为第i个注视点三维向量，vi＝(xi-xb，yi-yb，zi-zb)，N为注视点的总数量；
在可控组件用户界面设置带物理碰撞的球体，设置球心原点到球壁的射线与水平面夹角为θ，设注视射线到球壁的射线与水平面的夹角为α，求球体半径r与注视距离d：
r＝||vi-0||
d＝||vi-vo||
其中，vi＝(xi，yi，zi)与vo＝(xo，yo，zo)分别为注视点向量坐标和注视原点坐标；
计算得到：
Figure BDA0003798593490000031
s.t.0＜θ＜90°，0＜α＜90°
其中，|zi|为每一个注视点z坐标绝对值；
得到容忍度T为：
T＝f(vi，vi-1，α，θ)
计算兴趣区域内兴趣值：
Figure BDA0003798593490000032
其中，m为落入兴趣区内的注视点的数量，
Figure BDA0003798593490000033
是兴趣区内注视向量均值。
优选的，所述对所述眼动数据样本信息进行预处理，包括：
基于连续点对获取的眼动数据样本信息进行均值处理，获得平滑数据；
将所述平滑数据中的无效区域以及异常的眼动数据信息剔除；
得到经过预处理的眼动数据样本信息。
优选的，所述构建评估分析模型，并根据经过预处理的眼动数据样本信息以及兴趣值作为拟合训练数据对所述评估分析模型进行训练，包括：
对经过预处理的眼动数据样本信息进行统计指标分析，得出眼动部分特征之间的相关性；
获得兴趣程度数据，并将兴趣程度数据以及眼动部分特征之间的相关性作为训练模型的标签，建立基于眼动数据与兴趣程度数据的评估分析模型；
经过预处理的眼动数据与兴趣值进行拟合作为训练数据对所述评估分析模型进行训练。
优选的，所述经过预处理的眼动数据与兴趣值进行拟合作为训练数据还包括：分别将训练数据进行交叉验证。
优选的，还包括：选择均方根误差以及绝对平均误差作为评估分析模型评价指标，对所述评估分析模型进行准确性评估。
另一方面，还提供了一种可穿戴设备，包括用于获取眼动数据样本信息及待评估眼动数据的数据采集设备、处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述计算机程序被处理器执行时，实现上述的注意力及疲劳程度的评估方法。
经由上述的技术方案可知，与现有技术相比，本发明提供了一种注意力及疲劳程度的评估方法以及可穿戴设备，通过眼动追踪与虚拟现实提供的环境，使其沉浸感强、真实等特点，相较于无法关注用户注意力是否集中与观看疲倦感的方式，该虚拟现实对于体验长期有效性有着显著的提高。而用户在体验中的视觉注意力，能够实时保存用户每次体验虚拟场景中的视频产生的由这些注意力直接量化的兴趣程度值，通过预处理后用户眼动数据以及兴趣程度数据构建的机器学习模型，可以快速准确的判断用户在整个体验过程中是否注意力集中和疲劳程度，根据这些指标我们能够获取更多对用户注意力分配的理解。除此之外，通过三维眼动数据获取方法考虑了深度坐标，对头部移动容忍度更大，能够更好的获取有效且准确的量化眼动数据。为精神心理及认知障碍等疾病的医学诊断和患者状态评估提供有效的数据支撑和参考。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明提供的注意力及疲劳程度的评估方法流程示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1
参见附图1所示，一方面，本发明实施例1公开了一种注意力及疲劳程度的评估方法，包括以下步骤：
获取眼动数据样本信息；
创建虚拟空间，并进行眼动追踪，解析出凝视数据；
根据凝视数据计算得到兴趣区域内的兴趣值；
对所述眼动数据样本信息进行预处理；
构建评估分析模型，并根据经过预处理的眼动数据样本信息以及兴趣值作为拟合训练数据对所述评估分析模型进行训练；
获得待评估眼动数据，将所述待评估眼动数据输入至训练后的评估分析模型，输出注意力及疲劳程度的评估分析结果。
在一个具体实施例中，第一步，获取眼动数据样本信息；
具体的，开发软硬件的选择以及简化采集设备的实验设置。使用头戴式虚拟设备进行数据采集，集成高精度的眼动追踪仪于虚拟现实头盔中，能够满足对在虚拟场景中观看视频眼动数据采集的需要。
更具体的，使用开源的Unity3D引擎，它能够帮助快速构建虚拟现实应用程序。确定在识别中所采用眼动行为数据的指标，调用HTC提供的眼动API(Application ProgramInterface，应用程序接口)以及Tobii XR SDK(Software Development Kit，软件开发包)中的API获取一些指标。
更具体的，常用的主要有：3D空间注视点、瞳孔直径位置、瞳孔直径大小、眼睛开合程度、注视方向、注视点原点位置、数据可信度等。设备集成眼动采样率为120Hz，但在Unity应用程序中，刷新率为60Hz，每次通过Tick函数(每帧执行一次的函数)获取眼动数据时，相当于每秒60个眼动数据点。
在一个具体实施例中，第二步，创建虚拟空间，并进行眼动追踪，解析出凝视数据；
具体的，创建可控组件用户界面，通过凝视行为接口可以对控件进行操控，设置视频播放按钮子控件和界面显示子控件，这些控件在编码过程中全部和凝视行为接口相关联。在世界场景中放置球体视频播放器，在Unity世界视图中设置好带物理碰撞的球体Prefab预制件(Prefab是Unity中的所有游戏对象的抽象，特殊的游戏对象也是基于此)并放置。
更具体的，带上头戴式设备后选择视频内容并播放，在观看过程中，采集凝视点数量以及兴趣区内注视点数据。
在一个具体实施例中，第三步，根据凝视数据计算得到兴趣区域内的兴趣值；
具体的，眼动SDK接口返回与球体Prefab的碰撞相交的点为注视点(FixationPoint)，在它在世界坐标系中的坐标为三维向量v＝(x，y，z)，x、y、z分别返回为浮点值，基于每个有视频片段的时间窗口中进行计算特征，所以给出总体注视向量(OverallFixationVector)：
Figure BDA0003798593490000061
其中，ti为开始到i时刻的注视时间，设置Zb等于0，使(xb，yb，0)为虚拟空间水平基面上的点；vi为第i个注视点三维向量，vi＝(xi-xb，yi-yb，zi-zb)，N为注视点的总数量；
具体的,其中vi＝(xi-xb，yi-yb，zi-zb)，(xb，yb，0)是空间基面(刚好是立体视频呈现的半球切面)上的点，为了方便计算在世界中的向量，设置zb恒为零，导致在世界空间中的表现就是基线向量点始终在世界水平面。眼动指标数据中已包含注视原点坐标，所以当注视点向量被检测到时，可以手动计算注视点到注视原点的距离，但通常由于虚拟现实设备的佩戴头盔是基于6DOF(六自由度，这意味着该设备允许在环境中有着全方位的移动，容忍度更高)的且观看过程中允许头部移动，所以注视点原点位置几乎不可能在固定点。于是设置球心原点到球壁的射线与水平面夹角为θ，设注视射线到球壁的射线与水平面的夹角为α，有球体半径r与注视距离d，
r＝||vi-0||
d＝||vi-vo||
其中vi＝(xi，yi，zi)与vo＝(xo，yo，zo)分别为注视点向量坐标和注视原点坐标(近似头盔在空间中三维坐标)，所以还有：
Figure BDA0003798593490000071
s.t.0＜θ＜90°，0＜α＜90°
其中|zi|是每一个注视点z坐标绝对值，在总体注视向量(OFV)中，注视持续时间ti在接口中没有返回值，所以需要手动计算，于是设置容忍度T有：
T＝f(vi，vi-1，α，θ)
在容忍度内(在Unity应用程序的虚拟场景世界中，有距离度量单位叫Unity单位，一个Unity单位等于现实世界1cm)允许记录时间并允许数据返回，这样保证了注视时间的较精准的计算以及有效数据采集。除了注视指标，还有瞳孔位置向量pupil_position以及眼睛开合程度eye_openness，这类指标可以辅助得到受试者看到的方向精确定位以及分析。除此之外，仍有一个很重要的指标眼动数据的可信度confidence_value，值的范围为0到1(浮点值)，可在后续预处理任务中根据此指标筛选眼动数据。在球体Prefab上隐式设置(用户不可见)一些兴趣区域AOI(Area OfInterests)，其分布与形状可自由选择定义或者设置注视对象上碰撞体的大小和形状，这也决定了AOI的大小和形状，每当注视射线与AOI周围的碰撞体相交时，都会提取附加到碰撞体上的对象的名称以及直到命中点的光线长度(玩家眼睛到注视对象的距离)，所以计算兴趣区域内兴趣值有：
Figure BDA0003798593490000072
其中m为落入兴趣区内的注视点的数量，
Figure BDA0003798593490000073
是兴趣区内注视向量均值。
在一个具体实施例中，第四步，对所述眼动数据样本信息进行预处理；
具体的，基于连续点对采集后眼动数据进行均值处理，获得平滑数据，降低突变的噪声干扰。以视频区域与可信度作为剔除标准，剔除在无效区域和异常的眼动数据信息。
在一个具体实施例中，第五步，构建评估分析模型，并根据经过预处理的眼动数据样本信息以及兴趣值作为拟合训练数据对所述评估分析模型进行训练；
具体的，处理后数据的标准统计特征生成。对上预处理后的眼动数据进行统计指标分析，可以获得均值、方差、偏度与峰度，作相关分析，找到眼动部分特征之间的相关性，还使用兴趣程度量表问卷答案作为训练模型的标签，建立基于眼动数据与问卷数据的机器学习分类模型。为了可以更好地解决这种高维特征分类，模型构建使用支持向量机(Support Vector Machine，SVM)算法(模型详细超参数见具体实例内容)。同样，在同等超参数选择下使用支持向量回归(Support Vector Regression，SVR)算法将眼动数据与兴趣值作为训练数据进行拟合。
在一个具体实施例中，第六步，获得待评估眼动数据，将所述待评估眼动数据输入至训练后的评估分析模型，输出注意力及疲劳程度的评估分析结果
具体的，根据模型性能指标选择最优性能模型接受眼动数据输入，可得分类与回归结果。结果反应了对于该次观看实验用户的注意力是否更集中和疲倦程度，将预处理计算出的兴趣值保存到数据库中供后续研究分析使用。
另一方面，本发明实施例1公开了一种可穿戴设备，根据本发明的可穿戴设备，包括用于获取受试者头动数据和眼动数据的数据采集设备、处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被处理器执行时，实现本发明一种注意力及疲劳程度的评估方法。
实施例2
为了增加该发明的可实施性，我们结合实例，对本发明内容进一步的阐述。我们选择为抑郁症受试者实施此方案，主要是由以下步骤组成：
第一步，本实施例2中使用的可穿戴设备基于HTCVIVEProEye头戴式虚拟现实设备为采集基础，并由高性能图形渲染主机来为虚拟环境的稳定性提供支持，受试者头戴VR设备并固定，保证在治疗并采集过程中头盔不因为受试者头部运动导致偏移影响采集的眼动数据有效性，用户在整个参与过程中不需要被干预操作。
第二步，带上头戴式设备后选择视频内容并播放，在观看过程中，总共采集到凝视点数量为7000多个，在落入设置的兴趣区中共有4000多个注视点。
第三步，基于连续点对采集后眼动数据进行均值处理，获得平滑数据，降低突变的噪声干扰。以视频区域与可信度作为剔除标准，剔除在无效区域和异常的眼动数据信息，在预处理后数据大概为6000多条。
第四步，以一个注视点数据为例，注视原点坐标为vo＝(1.2981，-5.7628，1.6333)，注视点坐标为υi＝(13.5216，23.7231,15.3221）,计算出α略小于θ，若在容忍度T阈值内则计算单注视点注视时间以及返回注视点相关数据。计算出视频OFV为OFV＝(224.5123，443.6423，315.2361），兴趣区内注视点数量为103个，该兴趣区内总注视时间为7980毫秒，平均注视向量为
Figure BDA0003798593490000091
计算出兴趣值为75.3。同理，可计算出其他时刻兴趣区的兴趣值。
第五步，我们使用简单兴趣问卷答案作为训练模型的标签，使用SVM算法构建二元分类模型，主要对两个超参数进行调整，选择内核为非线性的径向基函数(RBF)，正则化系数c先选择默认的1.0，gamma系数先选择0.01，为了不让模型在训练数据上过拟合，需要不断调整c和gamma到合适的大小，保证决策边界处于合适位置。对训练数据进行5，10，15折交叉验证，我们在接受者操作特性曲线(ROC)上的平均AUC(曲线下的面积，通常作为模型性能考量指标，大小为0-1之间的浮点值，一般来说越大模型性能就越好)最高达到0.76以上。而在我们选择的支持向量回归模型中，超参数调节方式几乎同分类模型一致，预处理后眼动数据与兴趣值作为拟合训练数据，选择均方根误差(RMSE)和绝对平均误差(MAE)作为模型评价指标选择均方根误差(RMSE)和绝对平均误差(MAE)作为模型评价指标。
第六步，使用模型接受新参与视频放松的抑郁症受试者的眼动数据输入得到分类和回归结果，根据结果可知该参与用户在此次观看体验中是否存在注意力集中与疲倦程度，将预处理计算后兴趣值存储在该用户的数据库中供后续分析使用。
经由上述的技术方案可知，与现有技术相比，本发明提供了一种注意力及疲劳程度的评估方法以及可穿戴设备，通过眼动追踪与虚拟现实提供的环境，使其沉浸感强、真实等特点，相较于无法关注用户注意力是否集中与观看疲倦感的方式，该虚拟现实对于体验长期有效性有着显著的提高。而用户在体验中的视觉注意力，能够实时保存用户每次体验虚拟场景中的视频产生的由这些注意力直接量化的兴趣程度值，通过预处理后用户眼动数据以及兴趣程度数据构建的机器学习模型，可以快速准确的判断用户在整个体验过程中是否注意力集中和疲劳程度，根据这些指标我们能够获取更多对用户注意力分配的理解。除此之外，通过三维眼动数据获取方法考虑了深度坐标，对头部移动容忍度更大，能够更好的获取有效且准确的量化眼动数据。为眼部疾病和心理认知疾病的医学诊断提供有效的数据支撑和参考。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (9)

1.一种注意力及疲劳程度的评估方法，其特征在于，包括以下步骤：
获取眼动数据样本信息；
创建虚拟空间，并进行眼动追踪，解析出凝视数据；
根据凝视数据计算得到兴趣区域内的兴趣值；
对所述眼动数据样本信息进行预处理；
构建评估分析模型，并根据经过预处理的眼动数据样本信息以及兴趣值作为拟合训练数据对所述评估分析模型进行训练；
获得待评估眼动数据，将所述待评估眼动数据输入至训练后的评估分析模型，输出注意力及疲劳程度的评估分析结果。
2.根据权利要求1所述的一种注意力及疲劳程度的评估方法，其特征在于，所述创建虚拟空间，进行眼动追踪，解析出凝视数据的具体过程包括：
创建可控组件用户界面，并设置视频播放按钮子控件和界面显示子控件以及凝视行为接口；
通过所述凝视行为接口对视频播放按钮子控件和界面显示子控件进行操控；
在操控过程中进行眼动追踪，解析兴趣区内凝视数据。
3.根据权利要求2所述的一种注意力及疲劳程度的评估方法，其特征在于，所述凝视数据包括：兴趣区域内的注视点的数量以及兴趣区域内注视向量。
4.根据权利要求3所述的一种注意力及疲劳程度的评估方法，其特征在于，所述根据凝视数据计算得到兴趣区域内的兴趣值，包括：
设置可控组件用户界面中三维向量为v＝(x，y，z)，其中x、y、z分别返回为浮点值；
计算总体注视向量：
Figure FDA0003798593480000011
其中，ti为开始到i时刻的注视时间，设置Zb等于0，使(xb，yb，0)为虚拟空间基面上的点；vi为第i个注视点三维向量，vi＝(xi-xb，yi-yb，zi-zb)，N为注视点的总数量；
在可控组件用户界面设置带物理碰撞的球体，设置球心原点到球壁的射线与水平面夹角为θ，设注视射线到球壁的射线与水平面的夹角为α，求球体半径r与注视距离d：
r＝||vi-0||
d＝||vi-vo||
其中，vi＝(xi，yi，zi)与vo＝(xo，yo，zo)分别为注视点向量坐标和注视原点坐标；
计算得到：
Figure FDA0003798593480000023
s.t.0＜θ＜90°，0＜α＜90°
其中，|zi|为每一个注视点z坐标绝对值；
得到容忍度T为：
T＝f(vi，vi-1，α，θ)
计算兴趣区域内兴趣值：
Figure FDA0003798593480000021
其中，m为落入兴趣区内的注视点的数量，
Figure FDA0003798593480000022
是兴趣区内注视向量均值。
5.根据权利要求1所述的一种注意力及疲劳程度的评估方法，其特征在于，所述对所述眼动数据样本信息进行预处理，包括：
基于连续点对获取的眼动数据样本信息进行均值处理，获得平滑数据；
将所述平滑数据中的无效区域以及异常的眼动数据信息剔除；
得到经过预处理的眼动数据样本信息。
6.根据权利要求5所述的一种注意力及疲劳程度的评估方法，其特征在于，所述构建评估分析模型，并根据经过预处理的眼动数据样本信息以及兴趣值作为拟合训练数据对所述评估分析模型进行训练，包括：
对经过预处理的眼动数据样本信息进行统计指标分析，得出眼动部分特征之间的相关性；
获得兴趣程度数据，并将兴趣程度数据以及眼动部分特征之间的相关性作为训练模型的标签，建立基于眼动数据与兴趣程度数据的评估分析模型；
经过预处理的眼动数据与兴趣值进行拟合作为训练数据对所述评估分析模型进行训练。
7.根据权利要求6所述的一种注意力及疲劳程度的评估方法，其特征在于，所述经过预处理的眼动数据与兴趣值进行拟合作为训练数据还包括：对训练数据进行交叉验证。
8.根据权利要求1所述的一种注意力及疲劳程度的评估方法，其特征在于，还包括：选择均方根误差以及绝对平均误差作为评估分析模型评价指标，对所述评估分析模型进行准确性评估。
9.一种可穿戴设备，包括用于获取眼动数据样本信息及待评估眼动数据的数据采集设备、处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述计算机程序被处理器执行时，实现权利要求1-8中任一项所述的注意力及疲劳程度的评估方法。
CN202210981467.3A 2022-08-15 2022-08-15 一种注意力及疲劳程度的评估方法以及可穿戴设备 Pending CN115299945A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210981467.3A CN115299945A (zh) 2022-08-15 2022-08-15 一种注意力及疲劳程度的评估方法以及可穿戴设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210981467.3A CN115299945A (zh) 2022-08-15 2022-08-15 一种注意力及疲劳程度的评估方法以及可穿戴设备

Publications (1)

Publication Number Publication Date
CN115299945A true CN115299945A (zh) 2022-11-08

Family

ID=83862713

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210981467.3A Pending CN115299945A (zh) 2022-08-15 2022-08-15 一种注意力及疲劳程度的评估方法以及可穿戴设备

Country Status (1)

Country Link
CN (1) CN115299945A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118012372A (zh) * 2024-04-10 2024-05-10 深圳市万国电器有限公司 基于人工智能的显示方法、装置、设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118012372A (zh) * 2024-04-10 2024-05-10 深圳市万国电器有限公司 基于人工智能的显示方法、装置、设备及存储介质
CN118012372B (zh) * 2024-04-10 2024-07-12 深圳市万国电器有限公司 基于人工智能的显示方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN109086726B (zh) 一种基于ar智能眼镜的局部图像识别方法及***
US10210425B2 (en) Generating and using a predictive virtual personification
Duchowski Gaze-based interaction: A 30 year retrospective
US11656680B2 (en) Technique for controlling virtual image generation system using emotional states of user
US10843078B2 (en) Affect usage within a gaming context
Hammoud Passive eye monitoring: Algorithms, applications and experiments
Islam et al. Cybersickness prediction from integrated hmd’s sensors: A multimodal deep fusion approach using eye-tracking and head-tracking data
Ghosh et al. Automatic gaze analysis: A survey of deep learning based approaches
US20150186912A1 (en) Analysis in response to mental state expression requests
Pastel et al. Application of eye-tracking systems integrated into immersive virtual reality and possible transfer to the sports sector-A systematic review
CN113709411A (zh) 一种mr智能眼镜基于眼动追踪技术的体育辅助训练***
CN115299945A (zh) 一种注意力及疲劳程度的评估方法以及可穿戴设备
Li et al. A review of main eye movement tracking methods
Mazzeo et al. Deep learning based eye gaze estimation and prediction
WO2024038134A1 (en) Methods and devices in performing a vision testing procedure on a person
Lee et al. A study on virtual reality sickness and visual attention
Maskeliunas et al. Are you ashamed? Can a gaze tracker tell?
Du Plessis Graphical processing unit assisted image processing for accelerated eye tracking
Chugh An Eye Tracking System for a Virtual Reality Headset
Park Representation learning for webcam-based gaze estimation
Adiani et al. Evaluation of webcam-based eye tracking for a job interview training platform: Preliminary results
Bisogni et al. Gaze analysis: A survey on its applications
KR20200013220A (ko) 생체 정보 기반의 영상 제어 방법
CN113035318B (zh) 一种眼部运动引导方法、装置、设备及存储介质
Chang Appearance-based gaze estimation and applications in healthcare

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination