CN113693552A - 视觉疲劳监测方法、装置、电子设备及可读存储介质 - Google Patents

视觉疲劳监测方法、装置、电子设备及可读存储介质 Download PDF

Info

Publication number
CN113693552A
CN113693552A CN202110977922.8A CN202110977922A CN113693552A CN 113693552 A CN113693552 A CN 113693552A CN 202110977922 A CN202110977922 A CN 202110977922A CN 113693552 A CN113693552 A CN 113693552A
Authority
CN
China
Prior art keywords
eye
user
visual fatigue
eyes
learning model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110977922.8A
Other languages
English (en)
Inventor
唐春月
王荃
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dongguan Dongquan Intelligent Technology Co ltd
Original Assignee
Dongguan Dongquan Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dongguan Dongquan Intelligent Technology Co ltd filed Critical Dongguan Dongquan Intelligent Technology Co ltd
Priority to CN202110977922.8A priority Critical patent/CN113693552A/zh
Publication of CN113693552A publication Critical patent/CN113693552A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/11Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for measuring interpupillary distance or diameter of pupils
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1103Detecting eye twinkling
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1116Determining posture transitions
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/746Alarms related to a physiological condition, e.g. details of setting alarm thresholds or avoiding false alarms

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Pathology (AREA)
  • Ophthalmology & Optometry (AREA)
  • Physiology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Developmental Disabilities (AREA)
  • Child & Adolescent Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Educational Technology (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychiatry (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Eye Examination Apparatus (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明公开了一种视觉疲劳监测方法、执行视觉疲劳监测方法的视觉疲劳监测装置、电子设备以及存储视觉疲劳监测程序的计算机可读存储介质。本发明通过实时获取用户所处的环境信息、用户的用眼特征、用户眼部的动态特征,并将获取到的环境信息、用眼特征、动态特征作为深度学习模型的输入,而后通过深度学习模型分析获得用户的视觉疲劳程度。综合考虑了用户用眼过程中的环境信息、用户的用眼特征、用户眼部的动态特征等多种可以影响或评估用户目前眼睛所处的疲劳程度的因素,可以实现准确判断用户目前眼睛所处的疲劳程度。

Description

视觉疲劳监测方法、装置、电子设备及可读存储介质
技术领域
本发明涉及视觉疲劳监测技术领域,尤其涉及一种视觉疲劳监测方法、装置、电子设备及可读存储介质。
背景技术
我们大脑接收到的80%以上的感官信息来自眼睛。在过去的十年中,随着数字设备的发展,视觉疲劳和相关的眼病变得越来越严重。如今,长时间观看影视时,有大量观众会出现眼睛酸胀和头晕等一些视觉疲劳症状,并且这些症状会随着观看时间延长而加剧。据***、***联合调查,目前我国青少年近视发病率接近60%,居世界第二位,人数居世界之首。其中小学生近视率已达34.5%,中学生近视率已达70%以上,患者超越6000万人。因近视致盲的人数达30万。
轻度视觉疲劳会出现眼干、眼涩、眼酸胀等症状,休息后会很快恢复,对健康几乎没有影响。中度视觉疲劳则会引起头晕、头痛和恶心等症状,会一定程度上影响工作和学习。重度视觉疲劳除眼部症状更加明显外,会伴有失眠、记忆力减退等全身不适,严重危害身体健康。根据资料调查,青少年由于视觉疲劳形成的近视为数很多,占70%以上。因此对于青少年,更应该及早发现视觉疲劳状态,纠正不良的阅读环境及阅读状态,早发现早调整,避免不利的环境因素,改正不良用眼习惯,注意用眼卫生,才能防止近视的进一步发展。
视觉疲劳产生的不适,其实是身体在发出信号——眼睛需要休息了。然而儿童、青少年往往课业负担较重加上自控能力不足,往往会忽视身体发出的信号,这样眼睛长时间处于疲劳状态,得不到缓解和调整,就容易导致睫状肌痉挛,睫状肌持续收缩时间过长,使眼睛长期处于疲劳近视的状态,就会发生调节性近视,即假性近视。视觉疲劳检测方法主要分为主观检测方法和客观检测方法。主观检测方法依赖于检测对象本身,很难对视觉疲劳的程度进行量化。而客观检测方法主要分为以下两个方面:
(1)基于生理信号特征的视觉疲劳检测技术,主要是通过检测对象的脑电、心电图、眼电、肌电等生理参数的变化来检测视觉疲劳。
(2)检测对象的行为特征,如眼动规律、反应速度、图像感知等。
使用电生理信号能够真实地反映人体的生理状态,基于电生理特征的检测方式具有较好的实时性以及较高的准确率,但是该方法信号采集设备复杂,同时各生理信号之间存在相互干扰,会对检测效果造成较大的影响。
基于眼部运动特征的疲劳检测关键在于如何对眼部运动特征进行提取和分析。目前已经有一些科研团队对其进行过一些探索,然而效果并没有达到理想的状态。RamirezClavijo等(2015)提出了一种通过分析眨眼率来评估视觉疲劳的简单算法,利用级联Haar分类器对眼睛区域进行检测,从而提供有效眨眼频率特征。Julie(2018)提出了一种用于动态仿真和分析的眼部生物力学模型,从眼外肌神经控制中导出了一个测量视觉疲劳发生可能性的公式,评估消费者级VR头戴设备的沉浸感对辐合运动***的影响。Wang等(2018)在七个验光指标的基础上对视觉疲劳提出了一个新的定义,并使用眼动仪进行视觉疲劳程度评估;构建了两种基于眼动数据和眨眼数据的实时眼疲劳评估模型,都可以对用户进行眼睛疲劳水平的准确评估。Rakpongsiri(2018)开发了一种测量眼睛疲劳和反应时间的仪器,通过图像处理测量瞳孔的收缩或扩张,通过测量每个时间间隔内每幅图像的瞳孔直径,检测眨眼频率,从而分析视觉疲劳程度。Novelli等(2020)发明了基于视觉成像的眼疲劳检测技术,主要通过对用户对某区域的注视时长,眨眼频率,眨眼速度,眼睛颜色以及用户与屏幕之间的使用距离等方面对用户目前的视觉疲劳状态做出判断。以上这些方式通常基于传统的图像处理模式,使用到的特征比较单一,并且往往依赖于实验室的摄像头做数据采集,没有给用户实时的反馈,也没有在实践中使用的可行性,可推广性较弱。
因此,亟需提供一种新的视觉疲劳监测方法,以解决上述现有技术中所存在的问题。
发明内容
本发明的目的在于提供一种综合考虑多种可以影响眼睛疲劳程度的因素的视觉疲劳监测方法、装置、电子设备及可读存储介质,以实现准确判断用户目前眼睛所处的疲劳程度。
为实现上述目的,本发明提供一种视觉疲劳监测方法,包括信息获取步骤和处理分析步骤。信息获取步骤包括:
获取环境信息,所述环境信息包括环境整体光线亮度、环境与目标物体的光线亮度差以及眼睛直视方向的光线亮度之至少一者;
获取用户的用眼特征,所述用眼特征包括用户的眼睛与目标物体的距离、用眼姿态、用眼时长之至少一者;
获取用户眼部的动态特征,所述动态特征包括瞳孔特征、巩膜特征、眼跳特征、眨眼特征、以及注视特征之至少一者。
处理分析步骤为:将信息获取步骤获得的所述环境信息、用眼特征、动态特征输入至深度学习模型,通过深度学习模型处理分析获得用户的视觉疲劳程度。
较佳地,所述视觉疲劳监测方法还包括:于获得用户处于视觉疲劳状态时,输出用于警示用户的眼睛处于视觉疲劳状态的提示信息。
较佳地,所述用眼特征包括用户的眼睛与目标物体的距离、用眼姿态、用眼时长;所述动态特征包括所述瞳孔特征、巩膜特征、眼跳特征、眨眼特征、以及注视特征。
较佳地,所述瞳孔特征包括瞳孔大小、瞳孔大小改变速度;所述巩膜特征包括巩膜颜色;所述眼跳特征包括眼球移动距离、眼跳平均距离;所述眨眼特征包括眨眼频率、眨眼总时长、眨眼平均时长、眨眼时长标准差、眨眼速度、眨眼闭眼时长;所述注视特征包括注视次数、注视总时长、注视平均时长、注视时长标准差。
较佳地,所述视觉疲劳监测方法还包括:预先训练所述深度学习模型,包括:采集大量用户对随机闪现的颜色识别的正确率和反应时间,以及对空间频率反应测试的正确率和反应时间;将大量用户在颜色识别、空间频率反应测试的正确率和反应时间作为所述深度学习模型的训练数据,获得所述环境信息、用眼特征、动态特征与所述视觉疲劳程度的关系。
较佳地,在所述深度学习模型加入第一嵌入层,添加用户的身份信息作为所述第一嵌入层的输入,以使所述深度学习模型跟踪所述身份信息对应的视觉疲劳特征
较佳地,通过实时采集用户的眼部图像,将所述眼部图像输入至一第二深度学习模型,获得所述动态特征;所述第二深度学习模型以残差网络作为支柱网络,并加入第二嵌入层,添加用户的身份信息作为所述第二嵌入层的输入,以使所述第二深度学习模型跟踪所述身份信息对应的动态特征。
为实现上述目的,本发明提供一种视觉疲劳监测装置,包括环境信息获取模块、用眼特征获取模块、眼动特征获取模块以及处理模块。其中,所述环境信息获取模块用于获取环境信息,所述环境信息包括环境整体光线亮度、环境与目标物体的光线亮度差以及眼睛直视方向的光线亮度之至少一者。所述用眼特征获取模块用于获取用户的用眼特征,所述用眼特征包括用户的眼睛与目标物体的距离、用眼姿态、用眼时长之至少一者。所述眼动特征获取模块用于获取用户眼部的动态特征,所述动态特征包括瞳孔特征、巩膜特征、眼跳特征、眨眼特征、以及注视特征之至少一者。所述处理模块用于将所述环境信息、用眼特征、动态特征输入至深度学习模型,获得用户的视觉疲劳程度。
为实现上述目的,本发明提供一种电子设备,包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序,所述处理器执行所述计算机程序时,执行如上所述的视觉疲劳监测方法。
为实现上述目的,本发明提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序可被处理器执行以完成如上所述的视觉疲劳监测方法。
与现有技术相比,本发明通过实时获取用户所处的环境信息、用户的用眼特征、用户眼部的动态特征,并将获取到的环境信息、用眼特征、动态特征作为深度学习模型的输入,而后通过深度学习模型分析获得用户的视觉疲劳程度。本发明综合考虑了用户用眼过程中的环境信息、用户的用眼特征、用户眼部的动态特征等多种可以影响或评估用户目前眼睛所处的疲劳程度的因素,可以实现准确判断用户目前眼睛所处的疲劳程度。此外,本发明还在深度学习模型获得用户处于视觉疲劳状态时,输出提示信息提醒用户,使用户可以及时休息或者调整使用距离、用眼姿态等,防止视觉疲劳程度的加重或近视度数进一步加深。
附图说明
图1是本发明一实施例视觉疲劳监测方法的流程示意图。
图2是本发明一实施例通过深度学习模型预测用户注视点位置的示意图。
图3是眼球极坐标的示意图。
图4是本发明一实施例颜色反应测试的流程图。
图5是本发明训练第二深度学习模型时的示意图。
图6是本发明一实施例视觉疲劳监测装置的组成结构框图。
图7是本发明一实施例电子设备的组成结构框图。
图8是本发明一实施例电子设备的结构示意图。
具体实施方式
为详细说明本发明的内容、构造特征、所实现目的及效果,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
请参阅图1,本发明所提供的视觉疲劳监测方法包括信息获取步骤和处理分析步骤。信息获取步骤包括:获取环境信息,获取用户的用眼特征,以及,获取用户眼部的动态特征。处理分析步骤为:将信息获取步骤获得的环境信息、用眼特征、动态特征输入至深度学习模型1,通过深度学习模型1处理分析获得用户的视觉疲劳程度。
其中,环境信息包括环境整体光线亮度、当前环境与目标物体的光线亮度差以及眼睛直视方向的光线亮度。若环境整体光线过亮或过暗,或环境光线亮度与目标物体的光线亮度差距过大,或环境光源直射用户眼睛,用户更容易出现视觉疲劳。通过获取环境整体光线亮度,可以确认当前环境是否适合阅读书籍/观看电子屏幕。通过获取环境与目标物体的光线亮度差,可以确认例如黑暗环境中的目标物体(电子屏幕)是否过于刺眼,例如目标物体(书籍)是否处于背光位置。通过获取眼睛直视方向的光线亮度,可以确认眼睛直视的方向是否有直射光源。本发明充分考虑各个可能影响用户视觉疲劳程度的环境因素,提高最终的视觉疲劳程度判断的准确性。
用眼特征包括用户的眼睛与目标物体(例如,书本、电子屏幕等)的距离、用眼姿态、用眼时长。通常,用户眼睛离目标物体越近,用户眼睛越疲劳,也越容易诱发视觉疲劳。正确的用眼姿态不容易导致视觉疲劳,运动状态(如,行走状态)、侧卧或者仰卧等各种不规范的姿态,容易导致视觉疲劳。用眼时长越长,眼睛越疲劳。通过充分考虑各个可能影响用户视觉疲劳程度的用眼特征因素,提高最终的视觉疲劳程度判断的准确性。
动态特征包括瞳孔特征、巩膜特征、眼跳特征、眨眼特征、以及注视特征等。其中,瞳孔特征包括瞳孔大小、瞳孔大小改变速度(瞳孔适应速度)。巩膜特征为巩膜颜色。眼跳特征包括眼球移动距离(眼动距离)、眼跳平均距离。眨眼特征包括眨眼频率、眨眼总时长、眨眼平均时长、眨眼时长标准差、眨眼速度、眨眼闭眼时长等指标。注视特征包括注视次数、注视总时长、注视平均时长、注视时长标准差等指标。各指标的评价方法及各指标与视觉疲劳的相关性如下表1所示。
表1
Figure BDA0003226134600000071
进一步地,在一实施例中,若处理分析步骤中获得用户处于视觉疲劳状态,则输出用于警示用户的眼睛处于视觉疲劳状态的提示信息。以此,使用户可以及时休息或者调整使用距离、用眼姿态等,防止视觉疲劳程度的加重或近视度数进一步加深。
在首次采用本发明所提供的视觉疲劳监测方法进行视觉疲劳监测之前,还需:预先训练深度学习模型1。Kedsara(2018)的工作指出,当人们处于视觉疲劳状态时,瞳孔直径会比不疲劳状态稍大一些,并且对于刺激的反应速度会更慢。因此,在本实施例中,基于颜色反应测试和基于空间频率反应测试,将测试参与者在这两个测试中的正确率和反应时间作为视觉疲劳程度的客观值。通常,在颜色反应测试、空间频率反应测试两个测试中的反应时间越长、正确率越差,则对应的视觉疲劳程度越高。
具体的,颜色反应测试为,测试参与者对屏幕上随机短暂出现的颜色,识别的反应速度及正确率。空间频率反应测试为,借鉴国际认可的临界闪烁融合频率(CFF)的原理,测试参与者从几个相同大小的物体中,识别出一个特定的正方形网格的反应速度及正确率,且在测试过程中,其通过增加网格的空间频率确定参与者可以观察到的最高临界频率。“预先训练深度学习模型1”具体为,采集大量参与者对随机闪现的颜色识别的正确率和反应时间,以及对空间频率反应测试的正确率和反应时间;然后将大量用户在颜色识别、空间频率反应测试的正确率和反应时间作为深度学习模型1的训练数据,从而获得环境信息、用眼特征、动态特征与视觉疲劳程度的关系。
图4示出了一次颜色反应测试的流程图。在颜色反应测试中,采用红、绿、蓝三种颜色来衡量参与者的反应时间和识别的正确率,三种颜色的闪现被随机设定在特定的速度。参与者被要求按下他们看到的颜色,以确定他们对颜色的反应时间和他们决策正确率百分比。通过相关程序处理它们的反应时间值和颜色选择的正确率,以表明初步的疲劳程度。在一次颜色反应测试中,时长20秒,重复次数6次,颜色闪现初始时长为1帧。
在一实施例中,在一次空间频率反应测试中,测试时长40秒,重复次数10次,单次选择限定时长4秒,在四个选项中选择出有网格图像的图像。上述颜色反应测试、空间频率反应测试可以在网络网页、电脑程序或者手机APP上进行,参与者可以选择在任何时刻开始测试。
作为优选实施例,在深度学习模型加入第一嵌入层,添加用户的身份信息作为第一嵌入层的输入,以使深度学习模型跟踪身份信息对应的视觉疲劳特征,例如,视觉疲劳难易程度、疲劳状态下眼睛动态特征表现。既可以达到私人化训练的目的,也能够获知个体差异。例如,对于环境信息、用眼特征等类似的用户,可能拥有不同的视觉疲劳程度。
在一实施例中,通过实时采集用户的眼部图像3,将眼部图像输入至一第二深度学习模型2,获得动态特征。为了训练第二深度学习模型2,获得更加准确的眼睛动态特征,除了利用网络上现有的眼部图像和对应注视位置的数据库以外,还采集了大量中国人的眼部图像和其实时对应注视的位置(注视点,在眼球极坐标下的φ值和θ值,如图3所示)作为训练数据。例如,如图5所示,在墙面上设置九个点P11-P13、P21-P23、P31-P33,参与者面向墙面坐于离目标点固定距离的位置,利用头托固定参与者的下巴及前额的位置,以确保头部不会晃动,并指示参与者依次用眼睛注视前方的上的九个点,该过程中,利用一个正对着参与者眼睛的采集摄像头4拍摄全过程。该采集摄像头4与这九个点的相对位置是已知的,称为校准点。通过将采集到的大量中国人的人眼与对应注视位置的视频(间隔时间极短的眼部图像)以及现有的数据库作为训练数据,最终,第二深度学习模型2可以实现准确根据输入的眼部图像3预测当前用户的眼睛所注视的位置(φ值和θ值)。
针对不同用户的个体,为了让第二深度学习模型2对用户的动态特征能够达到更好的个人预测效果,在一实施例中,在使用一个第二深度学习模型2学习所有用户的共同特征的同时,与深度学习模型1类似的,还在第二深度学习模型2中加入用户的身份信息,将用户的身份信息和眼部图像作为第二深度学习模型2的输入,第二深度学习模型2对应输出φ值和θ值。借此,使深度学习模型可以感知不同用户的个人动态特征,达到私人化训练的目的。
在该实施例中,第二深度学习模型2是以He等人2016年提出的经典的残差网络ResNet(例如ResNet-18)作为支柱网络,并加入第二嵌入层,同时添加了用户的身份信息(ID)作为该第二嵌入层的输入,称之为ID ResNet。ResNet-18与用户的身份信息相结合的结构如图2所示。由于网络接收眼部图像和用户的身份信息作为输入,并同时输出和预测φ值和θ值,因此该结构的ResNet-18包含2个流(Stream)。用户的身份信息经过嵌入层形成第三个流,包含三个个人定标参数,然后由稠密层压缩成一个个人定标参数。ResNet-18的2个流与用户的身份信息形成的第三个流输入至特征联合层,而后被发送到非线性激活层(ReLU),最终获得φ值和θ值。
接下来请参阅图6,与前述视觉疲劳监测方法对应地,本发明所提供的视觉疲劳监测装置包括环境信息获取模块11、用眼特征获取模块12、眼动特征获取模块13以及处理模块14。其中,环境信息获取模块11用于获取环境信息。用眼特征获取模块12用于获取用户的用眼特征。眼动特征获取模块13用于获取用户眼部的动态特征。处理模块14用于将环境信息、用眼特征、动态特征输入至深度学习模型,获得用户的视觉疲劳程度。环境信息、用眼特征及动态特征参见前述视觉疲劳监测方法的描述,在此不再赘述。
进一步地,在一实施例中,视觉疲劳监测装置还包括报警模块15,报警模块15用于在处理模块获得用户处于视觉疲劳时,输出用于警示用户的眼睛处于视觉疲劳状态的提示信息。以此,使用户可以及时休息或者调整使用距离、用眼姿态等,防止视觉疲劳程度的加重或近视度数进一步加深。
接下来请参阅图7、图8,本发明所提供的电子设备包括可佩带式载体21、光线感测模块22、测距模块23、姿态感测模块24、眼部成像模块25、处理器26以及存储器27。其中,载体21内开设有容置槽,容置槽容置光线感测模块22、测距模块23、姿态感测模块24、眼部成像模块25、处理器26以及存储器27,并提供走线所需空间。光线感测模块22用于感测环境整体光线亮度、当前环境与目标物体的光线亮度差以及眼睛直视方向的光线亮度。测距模块23用于感测用户的眼睛与目标物体的距离。姿态感测模块24用于检测用户的用眼姿态。眼部成像模块25用于采集用户的眼部图像并传送至处理器26。处理器26由眼部图像获得用户眼部的动态特征。同时,处理器26还记录用户的用眼时长,并依据环境整体光线亮度、当前环境与目标物体的光线亮度差、眼睛直视方向的光线亮度、用户的眼睛与目标物体的距离、用眼姿态、用眼时长、动态特征获得用户的视觉疲劳程度。存储器27用于存储一个或多个程序,例如视觉疲劳监测程序,当一个或多个程序被处理器26执行,使得处理器26实现上述视觉疲劳监测方法。
存储器27可以是任何形态的集成在电子设备中的随机存取存储器、只读存储器、快闪存储器或其他类似装置。处理器26可以是中央处理单元或者是其它可程序化的一般用途或者特殊用途的微处理器、数字信号处理器、可程序化控制器、特殊集成电路或其它类似装置或者这些装置的组合。
光线感测模块22包括感光元件221和环境成像元件222。感光元件221可为普通的光感传感器,其用于感测当前环境整体光线亮度。环境成像元件222用于采集环境及目标物体的图像,以检测当前环境与目标物体的光线亮度差以及眼睛直视方向的光线亮度。姿态感测模块4包括加速度传感器241和重力传感器242。
相应地,本发明还涉及一种计算机可读存储介质,计算机可读存储介质存储有计算机程序,计算机程序被处理器26执行时,完成上述实施例中的视觉疲劳监测方法。其中,计算机程序包括计算机程序代码,计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读存储介质可以包括:能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM)、随机存取存储器(RAM)等。
综上,本发明通过实时获取用户所处的环境信息、用户的用眼特征、用户眼部的动态特征,并将获取到的环境信息、用眼特征、动态特征作为深度学习模型的输入,而后通过深度学习模型分析获得用户的视觉疲劳程度。本发明综合考虑了用户用眼过程中的环境信息、用户的用眼特征、用户眼部的动态特征等多种可以影响或评估用户目前眼睛所处的疲劳程度的因素,可以实现准确判断用户目前眼睛所处的疲劳程度。
以上所揭露的仅为本发明的较佳实例而已,不能以此来限定本发明之权利范围,因此依本发明权利要求所作的等同变化,均属于本发明所涵盖的范围。

Claims (10)

1.一种视觉疲劳监测方法,其特征在于,包括:
获取环境信息,所述环境信息包括环境整体光线亮度、环境与目标物体的光线亮度差以及眼睛直视方向的光线亮度之至少一者;
获取用户的用眼特征,所述用眼特征包括用户的眼睛与目标物体的距离、用眼姿态、用眼时长之至少一者;
获取用户眼部的动态特征,所述动态特征包括瞳孔特征、巩膜特征、眼跳特征、眨眼特征、以及注视特征之至少一者;
将所述环境信息、用眼特征、动态特征输入至深度学习模型,获得用户的视觉疲劳程度。
2.如权利要求1所述的视觉疲劳监测方法,其特征在于,还包括:
于获得用户处于视觉疲劳状态时,输出用于警示用户的眼睛处于视觉疲劳状态的提示信息。
3.如权利要求1所述的视觉疲劳监测方法,其特征在于,所述用眼特征包括用户的眼睛与目标物体的距离、用眼姿态、用眼时长;所述动态特征包括所述瞳孔特征、巩膜特征、眼跳特征、眨眼特征、以及注视特征。
4.如权利要求1所述的视觉疲劳监测方法,其特征在于,所述瞳孔特征包括瞳孔大小、瞳孔大小改变速度;所述巩膜特征包括巩膜颜色;所述眼跳特征包括眼球移动距离、眼跳平均距离;所述眨眼特征包括眨眼频率、眨眼总时长、眨眼平均时长、眨眼时长标准差、眨眼速度、眨眼闭眼时长;所述注视特征包括注视次数、注视总时长、注视平均时长、注视时长标准差。
5.如权利要求1所述的视觉疲劳监测方法,其特征在于,还包括:预先训练所述深度学习模型,包括:
采集大量用户对随机闪现的颜色识别的正确率和反应时间,以及对空间频率反应测试的正确率和反应时间;
将大量用户在颜色识别、空间频率反应测试的正确率和反应时间作为所述深度学习模型的训练数据,获得所述环境信息、用眼特征、动态特征与所述视觉疲劳程度的关系。
6.如权利要求1所述的视觉疲劳监测方法,其特征在于,在所述深度学习模型加入第一嵌入层,添加用户的身份信息作为所述第一嵌入层的输入,以使所述深度学习模型跟踪所述身份信息对应的视觉疲劳特征。
7.如权利要求1所述的视觉疲劳监测方法,其特征在于,通过实时采集用户的眼部图像,将所述眼部图像输入至一第二深度学习模型,获得所述动态特征;所述第二深度学习模型以残差网络作为支柱网络,并加入第二嵌入层,添加用户的身份信息作为所述第二嵌入层的输入,以使所述第二深度学习模型跟踪所述身份信息对应的动态特征。
8.一种视觉疲劳监测装置,其特征在于,包括:
环境信息获取模块,用于获取环境信息,所述环境信息包括环境整体光线亮度、环境与目标物体的光线亮度差以及眼睛直视方向的光线亮度之至少一者;
用眼特征获取模块,用于获取用户的用眼特征,所述用眼特征包括用户的眼睛与目标物体的距离、用眼姿态、用眼时长之至少一者;
眼动特征获取模块,用于获取用户眼部的动态特征,所述动态特征包括瞳孔特征、巩膜特征、眼跳特征、眨眼特征、以及注视特征之至少一者;以及
处理模块,用于将所述环境信息、用眼特征、动态特征输入至深度学习模型,获得用户的视觉疲劳程度。
9.一种电子设备,其特征在于,包括:
处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序,所述处理器执行所述计算机程序时,执行如权利要求1至7任一项所述的视觉疲劳监测方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序可被处理器执行以完成如权利要求1至7任一项所述的视觉疲劳监测方法。
CN202110977922.8A 2021-08-24 2021-08-24 视觉疲劳监测方法、装置、电子设备及可读存储介质 Pending CN113693552A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110977922.8A CN113693552A (zh) 2021-08-24 2021-08-24 视觉疲劳监测方法、装置、电子设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110977922.8A CN113693552A (zh) 2021-08-24 2021-08-24 视觉疲劳监测方法、装置、电子设备及可读存储介质

Publications (1)

Publication Number Publication Date
CN113693552A true CN113693552A (zh) 2021-11-26

Family

ID=78668960

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110977922.8A Pending CN113693552A (zh) 2021-08-24 2021-08-24 视觉疲劳监测方法、装置、电子设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN113693552A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114241719A (zh) * 2021-12-03 2022-03-25 广州宏途教育网络科技有限公司 一种学生学习中视觉疲劳状态监测方法、装置及存储介质
CN114859557A (zh) * 2022-04-22 2022-08-05 歌尔股份有限公司 头戴式装备的控制方法、头戴式装备及存储介质
CN114926645A (zh) * 2022-06-21 2022-08-19 深圳市慧智生命科技有限公司 视觉疲劳的检测方法和视觉疲劳的检测装置
CN115132364A (zh) * 2022-08-25 2022-09-30 首都医科大学附属北京同仁医院 一种近视风险确定方法、装置、存储介质及可穿戴设备
CN116312928A (zh) * 2023-05-18 2023-06-23 安徽星辰智跃科技有限责任公司 一种眼疲劳恢复进程的辅助调节方法、***和装置
CN116974370A (zh) * 2023-07-18 2023-10-31 深圳市本顿科技有限公司 一种防沉迷儿童学习平板电脑控制方法及***
CN117717309A (zh) * 2023-12-25 2024-03-19 上海雄博精密仪器股份有限公司 一种人眼高阶像差的检测方法、装置和存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109259724A (zh) * 2018-08-30 2019-01-25 Oppo广东移动通信有限公司 一种用眼监控方法、装置、存储介质及穿戴式设备
CN112434611A (zh) * 2020-11-25 2021-03-02 中山大学 基于眼部运动细微特征的早期疲劳检测方法及***
CN113159166A (zh) * 2021-04-19 2021-07-23 国网山东省电力公司威海供电公司 基于边缘计算的嵌入式图像识别检测方法、***、介质及设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109259724A (zh) * 2018-08-30 2019-01-25 Oppo广东移动通信有限公司 一种用眼监控方法、装置、存储介质及穿戴式设备
CN112434611A (zh) * 2020-11-25 2021-03-02 中山大学 基于眼部运动细微特征的早期疲劳检测方法及***
CN113159166A (zh) * 2021-04-19 2021-07-23 国网山东省电力公司威海供电公司 基于边缘计算的嵌入式图像识别检测方法、***、介质及设备

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114241719A (zh) * 2021-12-03 2022-03-25 广州宏途教育网络科技有限公司 一种学生学习中视觉疲劳状态监测方法、装置及存储介质
CN114241719B (zh) * 2021-12-03 2023-10-31 广州宏途数字科技有限公司 一种学生学习中视觉疲劳状态监测方法、装置及存储介质
CN114859557A (zh) * 2022-04-22 2022-08-05 歌尔股份有限公司 头戴式装备的控制方法、头戴式装备及存储介质
CN114859557B (zh) * 2022-04-22 2024-02-09 歌尔股份有限公司 头戴式装备的控制方法、头戴式装备及存储介质
CN114926645A (zh) * 2022-06-21 2022-08-19 深圳市慧智生命科技有限公司 视觉疲劳的检测方法和视觉疲劳的检测装置
CN115132364A (zh) * 2022-08-25 2022-09-30 首都医科大学附属北京同仁医院 一种近视风险确定方法、装置、存储介质及可穿戴设备
CN116312928A (zh) * 2023-05-18 2023-06-23 安徽星辰智跃科技有限责任公司 一种眼疲劳恢复进程的辅助调节方法、***和装置
CN116312928B (zh) * 2023-05-18 2023-08-11 安徽星辰智跃科技有限责任公司 一种眼疲劳恢复进程的辅助调节方法、***和装置
CN116974370A (zh) * 2023-07-18 2023-10-31 深圳市本顿科技有限公司 一种防沉迷儿童学习平板电脑控制方法及***
CN116974370B (zh) * 2023-07-18 2024-04-16 深圳市本顿科技有限公司 一种防沉迷儿童学习平板电脑控制方法及***
CN117717309A (zh) * 2023-12-25 2024-03-19 上海雄博精密仪器股份有限公司 一种人眼高阶像差的检测方法、装置和存储介质

Similar Documents

Publication Publication Date Title
CN113693552A (zh) 视觉疲劳监测方法、装置、电子设备及可读存储介质
CN107929007B (zh) 一种利用眼动追踪和智能评估技术的注意力和视觉能力训练***及方法
KR20190026651A (ko) 사람의 비전 성능에 접근하기 위해 비전 데이터를 획득, 집계 및 분석하기 위한 방법 및 시스템
JP2024009889A (ja) 視野解析のためのシステムおよび方法
JP2018520820A (ja) 視覚の様相を検査する方法及びシステム
US20150079560A1 (en) Wearable Monitoring and Training System for Focus and/or Mood
US11928632B2 (en) Ocular system for deception detection
CN110600103B (zh) 一种提升视力的可穿戴智能服务***
JP2009508553A (ja) 眼球性質を解析することで、人間の感情を決定するシステムおよび方法
EP2073688A2 (en) Method of developing a visual processing profile based on a retino-geniculo-cortical pathway
CN102496005A (zh) 基于眼球特征的审讯辅助研判分析***
CN108065942B (zh) 一种针对东方人格特征的刺激信息的编制方法
CN104382552B (zh) 一种综合视觉功能检测设备
KR102344493B1 (ko) 인공 지능 기반의 스마트 안진 검사 시스템, 방법 및 프로그램
CN110267583A (zh) 刺激和眼睛跟踪***
CN111743553B (zh) 一种基于眼动数据的情感特征提取方法及***
Chukoskie et al. Quantifying gaze behavior during real-world interactions using automated object, face, and fixation detection
TW202020625A (zh) 一種眼動凝視之即時辨識方法及採用該方法之眼動凝視即時辨識系統
CN104352340B (zh) 一种综合视觉功能训练设备与方法
US10779726B2 (en) Device and method for determining eye movements by tactile interface
CN202472688U (zh) 基于眼球特征的审讯辅助研判分析仪
Lazar et al. DEVELOPMENT OF EYE TRACKING PROCEDURES USED FOR THE ANALYSIS OF VISUAL BEHAVIOR-STATE OF ART
Guo et al. Using face and object detection to quantify looks during social interactions
Psaltis et al. Mapping User Engagement to States of Affect via an Unobtrusive Biofeedback Device-A Dynamic Visualization of Real-time Assessment
Baritz Eye Movement Analysis System in Relation to Biomechanical Perturbations

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination