CN115100728A - 视力状态的检测方法、装置、存储介质和程序产品 - Google Patents
视力状态的检测方法、装置、存储介质和程序产品 Download PDFInfo
- Publication number
- CN115100728A CN115100728A CN202210592920.1A CN202210592920A CN115100728A CN 115100728 A CN115100728 A CN 115100728A CN 202210592920 A CN202210592920 A CN 202210592920A CN 115100728 A CN115100728 A CN 115100728A
- Authority
- CN
- China
- Prior art keywords
- user
- abnormal
- state
- eye
- vision
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 230000004304 visual acuity Effects 0.000 title claims description 22
- 230000002159 abnormal effect Effects 0.000 claims abstract description 169
- 230000006399 behavior Effects 0.000 claims abstract description 161
- 230000004438 eyesight Effects 0.000 claims abstract description 115
- 238000001514 detection method Methods 0.000 claims abstract description 86
- 210000001508 eye Anatomy 0.000 claims description 165
- 210000005252 bulbus oculi Anatomy 0.000 claims description 45
- 210000003128 head Anatomy 0.000 claims description 31
- 238000004590 computer program Methods 0.000 claims description 16
- 230000004397 blinking Effects 0.000 claims description 9
- 238000004898 kneading Methods 0.000 claims description 5
- 239000011521 glass Substances 0.000 claims description 4
- 208000001491 myopia Diseases 0.000 abstract description 8
- 230000004379 myopia Effects 0.000 abstract description 8
- 208000004350 Strabismus Diseases 0.000 abstract description 6
- 210000004279 orbit Anatomy 0.000 description 8
- 238000004891 communication Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 206010000117 Abnormal behaviour Diseases 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 206010047571 Visual impairment Diseases 0.000 description 3
- 230000009471 action Effects 0.000 description 3
- 230000004393 visual impairment Effects 0.000 description 3
- 208000019749 Eye movement disease Diseases 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 208000005494 xerophthalmia Diseases 0.000 description 2
- 201000009487 Amblyopia Diseases 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/193—Preprocessing; Feature extraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Ophthalmology & Optometry (AREA)
- Human Computer Interaction (AREA)
- Eye Examination Apparatus (AREA)
Abstract
本发明提供一种视力状态的检测方法、装置、存储介质和程序产品，该方法包括：对采集的目标视频中的多张图像进行图像检测，得到用户的检测信息，所述检测信息包括：所述用户的眼部关键点和/或所述用户的行为信息；根据所述检测信息，确定所述用户的异常用眼行为；根据所述异常用眼行为，确定所述用户的视力状态，所述视力状态包括正常状态和异常状态；在确定所述用户的视力状态为异常状态的情况下，输出提示信息，所述提示信息用于提醒所述用户视力存在异常。本发明实施例提供的视力状态的检测方法、装置、存储介质和程序产品，可以提前进行近视或斜视等视力问题的预防。
Description
技术领域
本发明涉及图像处理技术领域，尤其涉及一种视力状态的检测方法、装置、存储介质和程序产品。
背景技术
目前，青少年的近视问题越来越严重，而且随着智能手机和平板电脑的迅速普及，儿童近视的趋势越发明显。
通常，都是通过专业的检测方式来了解儿童的视力状态，例如，弱视、斜视、近视等问题都需要到医院采用专业设备进行检测，在检测出儿童的视力存在问题后，再采取对应的矫正方式进行矫正。
然而，在日常学习过程中，儿童的一些用眼行为会暴露一些视力问题，因此，如何根据儿童的日常用眼行为提前对儿童的视力状态进行预警和预防，是目前需要解决的技术问题。
发明内容
本发明提供一种视力状态的检测方法、装置、存储介质和程序产品，用以解决现有技术中无法提前对视力状态进行预警和预防的缺陷，实现了提前进行近视或斜视等视力问题的预防。
本发明提供一种视力状态的检测方法，包括：
对采集的目标视频中的多张图像进行图像检测，得到用户的检测信息，所述检测信息包括：所述用户的眼部关键点和/或所述用户的行为信息；
根据所述检测信息，确定所述用户是否存在异常用眼行为；
在所述用户存在异常用眼行为的情况下，根据所述异常用眼行为，确定所述用户的视力状态，所述视力状态包括正常状态和异常状态；
在确定所述用户的视力状态为异常状态的情况下，输出提示信息，所述提示信息用于提醒所述用户视力存在异常。
根据本发明提供的一种视力状态的检测方法，所述检测信息包括所述用户的眼部关键点；
所述根据所述检测信息，确定所述用户是否存在异常用眼行为，包括：
根据所述眼部关键点，确定眼球的中心位置；
根据所述眼球的中心位置，确定所述用户是否存在异常用眼行为。
根据本发明提供的一种视力状态的检测方法，所述根据所述眼球的中心位置，确定所述用户是否存在异常用眼行为，包括：
在根据所述眼球的中心位置，确定所述眼球位于眼眶的非中心区域的情况下，和/或，确定两个眼球未处于同一水平位置的情况下，确定所述用户的存在异常用眼行为。
根据本发明提供的一种视力状态的检测方法，所述检测信息包括所述用户的行为信息；
所述根据所述检测信息，确定所述用户是否存在异常用眼行为，包括：
根据所述用户的行为信息，在确定所述用户存在如下至少一个行为的情况下，确定所述用户存在所述异常用眼行为：在超过第一预设时间段的时长内处于眯眼状态、在第二预设时间段内揉眼次数超过第三预设值和在第三预设时间段内眨眼次数超过第四预设值。
根据本发明提供的一种视力状态的检测方法，所述根据所述异常用眼行为，确定所述用户的视力状态，包括：
在第一预设时长内，存在异常用眼行为的次数大于预设次数的情况下，确定所述用户的视力状态为异常状态。
根据本发明提供的一种视力状态的检测方法，所述方法还包括：
通过结构光摄像头或飞行时间TOF摄像头确定所述用户的头部与桌面，或所述用户的头部与终端设备之间的距离；
在超过第四预设时间段的时长内所述距离均小于第五预设值，确定所述用户存在异常用眼行为；
在第二预设时长内，存在异常用眼行为的次数大于预设次数的情况下，确定所述用户的视力状态为异常状态。
本发明还提供一种视力状态的检测装置，包括：
检测模块，用于对采集的目标视频中的多张图像进行图像检测，得到用户的检测信息，所述检测信息包括：所述用户的眼部关键点和/或所述用户的行为信息；
确定模块，用于根据所述检测信息，确定所述用户是否存在异常用眼行为；
所述确定模块，还用于在所述用户存在异常用眼行为的情况下，根据所述异常用眼行为，确定所述用户的视力状态，所述视力状态包括正常状态和异常状态；
输出模块，用于在确定所述用户的视力状态为异常状态的情况下，输出提示信息，所述提示信息用于提醒所述用户视力存在异常。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述视力状态的检测方法。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述视力状态的检测方法。
本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述视力状态的检测方法。
本发明提供的视力状态的检测方法、装置、存储介质和程序产品，通过对采集的目标视频中的多张图像进行图像检测，得到用户的检测信息，该检测信息包括：用户的眼部关键点和/或用户的行为信息；根据检测信息，确定用户是否存在异常用眼行为，并在用户存在异常用眼行为的情况下，根据异常用眼行为，确定用户的视力状态，视力状态包括正常状态和异常状态；在确定用户的视力状态为异常状态的情况下，输出提示信息，该提示信息用于提醒用户视力存在异常。由于可以通过用户的日常用眼行为，确定用户是否存在异常用眼行为，并在存在异常用眼行为的情况下，进一步确定用户的视力状态，进而在确定出视力状态为异常状态的情况下，输出提示信息，以对用户进行提醒，从而可以达到基于用户的日常用眼行为，提前对视力状态进行预警和预防的目的。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的视力状态的检测方法的流程示意图之一；
图2为眼部关键点的示意图；
图3为本发明实施例提供的视力保护的提示装置的示意图；
图4是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供的视力状态的检测方法，应用于对用户的视力状态进行检测，从而达到提前进行视力问题预警和预防目的的应用场景中。
本发明实施例提供的视力状态的检测方法，通过对采集的目标视频中的多张图像进行图像检测，以确定用户的眼部关键点和用户的行为信息中的至少一个，在确定出用户的眼部关键点的情况下，将基于眼部关键点，确定用户的眼球位置，以根据用户的眼球位置确定用户是否存在斜视问题，在确定出用户的行为信息的情况下，将基于用户的行为信息，确定用户是否存在异常用眼行为，从而进一步确定用户是否存在近视或者干眼症等问题。在确定出用户的视力状态为异常状态的情况下，可以输出提示信息，以提醒用户注意用眼，从而达到提前对视力状态进行预警和预防的目的。
下面结合图1-图2描述本发明的视力状态的检测方法。
图1为本发明实施例提供的视力状态的检测方法的流程示意图之一，本发明实施例提供的视力状态的检测方法的执行主体可以为视力状态的检测装置，该装置可以为PC、智能手机、平板电脑和便携计算机等具有显示功能或语音提醒功能的可移动式终端设备，也可以是集成有摄像装置和各种传感器的电子设备，如机器人、眼镜等。如图1所示，该方法包括：
步骤101：对采集的目标视频中的多张图像进行图像检测，得到用户的检测信息。
其中，该检测信息包括用户的眼部关键点和/或用户的行为信息。
在本步骤中，电子设备通过图像采集设备采集目标视频，该目标视频中包括需要进行视力状态检测的用户，其中，该用户包括正在学习或者看书的儿童或青少年，也可以包括需要对视力状态进行检测的其他用户，如正在打游戏的成年人等，对于用户的具体类型，本发明实施例在此不做限制。
示例性的，图2为眼部关键点的示意图，如图2所示，用户的眼部关键点包括上下眼眶关键点1、2、3和4、内外眼角关键点5和6以及眼球关键点7。
另外，上述的图像采集设备可以包括结构光摄像头或者飞行时间(Time offlight，TOF)摄像头。
步骤102：根据检测信息，确定用户是否存在异常用眼行为。
在本实施例中，电子设备在确定出用户的检测信息后，将基于该检测信息确定用户是否存在异常用眼行为。
示例性的，在检测信息包括用户的眼部关键点的情况下，根据检测信息，确定用户是否存在异常用眼行为，可以是根据眼部关键点，确定眼球的中心位置，并根据眼球的中心位置，确定用户是否存在异常用眼行为。
具体的，电子设备获得每张图像之后，可以采用MTCNN网络完成人脸检测和人脸关键点定位，其中人脸关键点包括眼部关键点。其中，眼部关键点中包括有眼球关键点，该眼球关键点的坐标即可表示眼球中心，如图2中的眼球关键点7。
示例性的，在根据眼球的中心位置，确定眼球位于眼眶的非中心区域的情况下，和/或，确定两个眼球未处于同一水平位置的情况下，确定用户存在异常用眼行为。
具体的，电子设备可以确定用户的眼球是否位于眼眶的中心区域，若确定出存在任意一个眼球位于眼眶的非中心区域的情况下，则确定用户存在异常用眼行为，如存在斜眼等。电子设备也可以根据眼球的中心位置，确定两个眼球是否未处于同一水平位置，在确定出两个眼球未处于同一水平位置的情况下，可以确定用户存在异常用眼行为，如存在斜眼。电子设备也可以在同时确定出用户的任意一个眼球位于眼眶的非中心区域，且两个眼球未处于同一水平位置的情况下，确定用户存在异常用眼行为，如存在斜眼问题。
在本实施例中，通过眼球的中心位置，对眼球进行定位，从而可以快速且准确的确定用户是否存在异常用眼行为。
进一步地，为了避免将用户只是活动眼睛或者偶尔斜眼误判为视力异常的情况，电子设备在确定用户是否存在异常用眼行为时，可以是在确定眼球位于眼眶的非中心区域的时长大于第一预设值的情况下，和/或，确定两个眼球未处于同一水平位置的时长大于第二预设值的情况下，确定用户存在异常用眼行为。
具体地，电子设备在确定出用户眼球位于眼眶的非中心区域的时长大于第一预设值时，将确定用户存在异常用眼行为，或者，电子设备在确定出两个眼球未处于同一水平位置的时长大于第二预设值时，确定用户存在异常用眼行为，或者，电子设备在确定出用户眼球位于眼眶的非中心区域的时长大于第一预设值，且两个眼球未处于同一水平位置的时长大于第二预设值时，确定用户存在异常用眼行为。
其中，第一预设值和第二预设值可以相同，也可以不同，其值可以根据实际情况或者经验进行设置，例如可以设置为10分钟或20分钟等等，对于第一预设值和第二预设值的具体取值，本发明实施例在此不做限制。
示例性的，在检测信息包括用户的行为信息的情况下，在根据检测信息，确定用户是否存在异常用眼行为时，可以是根据用户的行为信息，确定用户是否存在异常行为，该异常行为包括如下至少一个：在超过第一预设时间段的时长内处于眯眼状态、在第二预设时间段内揉眼次数超过第三预设值和在第三预设时间段内眨眼次数超过第四预设值；在用户存在异常行为的情况下，确定用户存在异常用眼行为。
具体地，可以获取多张正常行为的样本图像以及多张存在异常行为的样本图像，并通过人工标注的方式对每个样本图像中用户的行为进行标记，将多个样本图像输入初始行为识别模型中，得到每个样本图像对应的行为识别结果，将该行为识别结果和人工标记的行为进行比对，从而确定出损失信息，基于该损失信息调整初始行为识别模型的网络参数，并重复执行上述过程，直至损失信息最小，将此时确定出的模型作为行为识别模型。
将目标视频中包括的多张图像输入行为识别模型中，从而可以得到每张图像对应的用户的行为信息。其中，该行为信息中包括用户的各种行为，如吃东西、揉眼睛、眯眼、写字等等。在得到用户的行为信息后，确定用户是否存在异常行为，如是否存在眯眼、揉眼或眨眼等动作。
可以理解的是，为了提高识别的准确性，避免误判，在确定出用户存在眯眼动作时，可以进一步判断眯眼时长，若用户仅是在很短的时间段内处于眯眼状态，则用户可能存在打盹或者偶尔眯眼的情况。若在超过第一预设时间段的时长内一直处于眯眼状态，则说明该用户存在异常用眼行为。
另外，对于揉眼动作，可以统计用户在第二预设时间段内的揉眼次数，若揉眼次数超过第三预设值，说明该用户很频繁的揉眼，此时，可以确定该用户存在异常用眼行为。进一步地，为了提高视力状态确定的准确性，还可以统计用户的揉眼间隔时长，若间隔时长小于预设值，则说明用户经常性的揉眼睛，从而可以进一步确定用户存在异常用眼行为。
对于眨眼动作，可以统计用户在第三预设时间段内的眨眼次数，若眨眼次数超过第四预设值，说明该用户很频繁的眨眼，此时，可以确定该用户存在异常用眼行为。进一步地，为了提高视力状态确定的准确性，还可以统计用户的眨眼间隔时长，若间隔时长小于预设值，则说明用户经常性的眨眼，从而可以进一步确定用户存在异常用眼行为。
其中，第一预设时间段、第二预设时间段和第三预设时间段可以设置为相同值，也可以设置为不同值，其值可以根据实际情况或者经验进行设置，如可以设置为10分钟或者20分钟等，对于第一预设时间段、第二预设时间段和第三预设时间段的具体取值，本发明实施例在此不做限制。
在本实施例中，可以基于用户的行为信息确定用户是否存在异常用眼行为，以确定用户的视力状态，从而可以根据儿童的日常用眼行为，方便高效的对用户的视力状态进行预警。
步骤103：在用户存在异常用眼行为的情况下，根据异常用眼行为，确定用户的视力状态，该视力状态包括正常状态和异常状态。
具体地，在确定用户存在异常用眼行为的情况下，将进一步确定该用户的视力状态。示例性的，电子设备根据用户的异常用眼行为，确定用户的视力状态，具体可以包括，在第一预设时长内，存在异常用眼行为的次数大于预设次数的情况下，确定用户的视力状态为异常状态。
具体地，为了提高用户视力状态确定的准确性，排除误判断的情况，可以统计第一预设时长内用户的异常用眼行为的次数，例如，可以统计一个星期或者一个月内用户的异常用眼行为的次数，在第一预设时长内用户的异常用眼行为的次数大于预设次数的情况下，说明用户异常用眼行为出现的比较频繁，此时可以确定出用户的视力状态出现了异常。
在本实施例中，可以通过统计在第一预设时长内用户存在异常用眼行为的次数，以根据次数确定用户的视力状态是否异常，由此可以减少误判断的情况，提高视力状态检测的正确性。
进一步地，电子设备还可以基于目标视频中的多张图像，确定目标用户的眼睛是否发红，若在第一预设时长内用户眼睛发红的次数超过预设次数，则说明用户的眼部状态出现了异常。
示例性的，电子设备还可以通过结构光摄像头或TOF摄像头确定用户的头部与桌面之间的距离，或者确定头部与终端设备之间的距离，并在距离小于第五预设值的情况下，确定用户存在异常用眼行为；在第二预设时长内，存在异常用眼行为的次数大于预设次数的情况下，确定用户的视力状态为异常状态。
具体地，电子设备在通过结构光摄像头或TOF摄像头获取目标视频时，还可以进一步获取到用户的头部到桌面之间的距离，具体可以确定用户的人脸或人眼到桌面的距离，或者获取头部与终端设备之间的距离，具体可以确定用户的人脸或人眼到终端设备的距离。
下面，以确定头部到桌面之间的距离为例进行说明，对于头部与终端设备之间的距离的确定方式，与头部到桌面之间的距离的确定方式类似，此处不再赘述。
其中，头部到桌面之间的距离，可以包括头部任意一个点到桌沿之间的距离，也可以包括头部任意一个点到用户在桌面上的注视点之间的距离，例如可以为头顶到桌沿之间的距离，或者人眼到注视点之间的距离等。
在具体的实现过程中，可以将桌面上的书本和用户的人脸同时位于摄像头的视野范围内，通过目标检测算法检测出书(或ipad或手机)在桌面的位置，从而可以获取人脸与对应位置之间的距离信息。
其中，结构光是一组由投影仪和摄像头组成的***结构，采用投影仪投射特定的光信息到物体表面后及背景后，由摄像头进行采集，并根据物体造成的光信号的变化来计算物体的位置和深度等信息，如计算用户的头部到桌面之间的距离。TOF摄像头在拍摄目标视频时，会向外发射红外光(激光脉冲)，红外光(激光脉冲)遇到物体(头部、桌面)后反射，反射到摄像头结束，通过计算从发射到反射回摄像头的时间差或相位差，从而可以确定出摄像头到头部的距离以及摄像头到桌面的距离，通过结合获取的RGB图像和结构光获取的深度信息，可以通过坐标变换，确定出眼睛的绝对坐标以及注视点的绝对坐标，通过上述两个坐标即可以计算出头部到桌面的距离。
在确定出用户的头部与桌面之间的距离后，为了排除误判断的情况，例如为了排除将用户偶尔低头或者操作终端设备等行为判定为异常用眼行为，在实际应用中，可以判断在超过第四预设时间段的时长内该距离是否一直小于第五预设值，若在超过第四预设时间段的时长内该距离均小于第五预设值，说明用户的头部与桌面之间的距离过小，从而可以确定用户存在异常用眼行为。其中，第五预设值可以根据用户的身高或者桌面的高度等实际情况或者经验进行设置，例如可以设置为33cm等，对于第五预设值的具体取值，本发明实施例在此不做限制。
在确定出用户存在异常用眼行为的情况下，将进一步判断在第二预设时长内，存在异常用眼行为的次数是否大于预设次数，若异常用眼行为的次数大于预设次数，则确定用户的视力状态为异常状态。例如，可以统计一个星期或者一个月内用户的异常用眼行为的次数，在第二预设时长内用户的异常用眼行为的次数大于预设次数的情况下，说明用户异常用眼行为出现的比较频繁，如经常性的出现头部与桌面之间的距离较小，或者头部与终端设备之间的距离较小的情况，此时可以确定出用户的视力状态出现了异常。
在本实施例中，可以通过统计在第二预设时长内用户的头部与桌面，或用户的头部与终端设备之间的距离小于第五预设值的次数，以根据次数确定用户的视力状态是否异常，由此可以减少误判断的情况，提高视力状态检测的正确性。
另外，随着线上课程的普及，越来越多的儿童会通过电子设备进行线上学***放在桌面上的，一般都是用支架支起来放在前方，因此，在一些场景中，还可以确定用户的眼睛与手机、IPAD上的注视点之间的距离。
在确定出上述用户的眼睛与手机、IPAD上的注视点之间的距离之后，可以判断在超过第四预设时间段的时长内该距离是否一直小于第五预设值，若在超过第四预设时间段的时长内该距离均小于第五预设值，说明用户的头部与手机或者IPAD之间的距离过小，从而可以确定用户存在异常用眼行为。
在确定出用户存在异常用眼行为的情况下，将进一步判断在第二预设时长内，存在异常用眼行为的次数是否大于预设次数，若异常用眼行为的次数大于预设次数，则确定用户的视力状态为异常状态。例如，可以统计一个星期或者一个月内用户的异常用眼行为的次数，在第二预设时长内用户的异常用眼行为的次数大于预设次数的情况下，说明用户异常用眼行为出现的比较频繁，如经常性的出现头部与手机、IPAD之间的距离较小的情况，此时可以确定出用户的视力状态出现了异常。
在本实施例中，可以通过统计在第二预设时长内用户的头部与终端设备之间的距离小于第五预设值的次数，以根据次数确定用户的视力状态是否异常，由此可以减少误判断的情况，提高视力状态检测的正确性。
步骤104：在确定用户的视力状态为异常状态的情况下，输出提示信息，该提示信息用于提醒用户视力存在异常。
具体的，在确定出用户的视力状态为异常状态时，如用户存在斜视、近视或者干眼症等异常情况时，电子设备将输出提示信息。其中，该提示信息可以通过语音、文字、图像或者其他方式输出。例如，可以通过语音提醒的方式提醒用户“眼睛存在近视的风险，请注意用眼，建议前往医院进行进一步检查”，或者通过显示屏输出“可能存在斜眼的情况，建议前往医院进行进一步检查”等等。
本发明实施例提供的视力状态的检测方法，通过对采集的目标视频中的多张图像进行图像检测，得到用户的检测信息，该检测信息包括：用户的眼部关键点和/或用户的行为信息；根据检测信息，确定用户是否存在异常用眼行为；在用户存在异常用眼行为的情况下，根据异常用眼行为，确定用户的视力状态，视力状态包括正常状态和异常状态；在确定用户的视力状态为异常状态的情况下，输出提示信息，该提示信息用于提醒用户视力存在异常。由于可以通过用户的日常用眼行为，确定用户是否存在异常用眼行为，并在存在异常用眼行为的情况下，进一步确定用户的视力状态，在确定用户的视力状态为异常状态的情况下，输出提示信息，以对用户进行提醒，从而可以达到基于用户的日常用眼行为，提前对视力状态进行预警和预防的目的。
下面对本发明提供的视力状态的检测装置进行描述，下文描述的视力状态的检测装置与上文描述的视力状态的检测方法可相互对应参照。
图3为本发明实施例提供的视力状态的检测装置的示意图，如图3所示，该装置30包括：
检测模块11，用于对采集的目标视频中的多张图像进行图像检测，得到用户的检测信息，所述检测信息包括：所述用户的眼部关键点和/或所述用户的行为信息；
确定模块12，用于根据所述检测信息，确定所述用户是否存在异常用眼行为；
确定模块12，还用于在所述用户存在异常用眼行为的情况下，根据所述异常用眼行为，确定所述用户的视力状态，所述视力状态包括正常状态和异常状态；
输出模块13，用于在确定所述用户的视力状态为异常状态的情况下，输出提示信息，所述提示信息用于提醒所述用户视力存在异常。
可选地，所述检测信息包括所述用户的眼部关键点；
所述确定模块12，具体用于：
根据所述眼部关键点，确定眼球的中心位置；
根据所述眼球的中心位置，确定所述用户是否存在异常用眼行为。
可选地，所述确定模块12，具体用于：
在根据所述眼球的中心位置，确定所述眼球位于眼眶的非中心区域的情况下，和/或，确定两个眼球未处于同一水平位置的情况下，确定所述用户是否存在异常用眼行为。
可选地，所述确定模块12，具体用于：
确定所述眼球位于眼眶的非中心区域的时长大于第一预设值的情况下，和/或，确定两个眼球未处于同一水平位置的时长大于第二预设值的情况下，确定所述用户存在异常用眼行为。
可选地，所述检测信息包括所述用户的行为信息；
所述确定模块12，具体用于：
根据所述用户的行为信息，在确定所述用户存在如下至少一个行为的情况下，确定所述用户存在所述异常用眼行为：在超过第一预设时间段的时长内处于眯眼状态、在第二预设时间段内揉眼次数超过第三预设值和在第三预设时间段内眨眼次数超过第四预设值。
可选地，所述确定模块12，具体用于：
在第一预设时长内，存在异常用眼行为的次数大于预设次数的情况下，确定所述用户的视力状态为异常状态。
可选地，所述确定模块12，还用于：
通过结构光摄像头或飞行时间TOF摄像头确定所述用户的头部与桌面，或所述用户的头部与终端设备之间的距离；
在超过第四预设时间段的时长内所述距离均小于第五预设值，确定所述用户存在异常用眼行为；
在第二预设时长内，存在异常用眼行为的次数大于预设次数的情况下，确定所述用户的视力状态为异常状态。
本发明实施例提供的视力状态的检测装置，可以用于执行前述视力状态的检测方法中任一实施例的方法，其具体实现过程与技术效果与视力状态的检测方法实施例中类似，具体可以参见视力状态的检测方法实施例中的详细介绍，此处不再赘述。
图4示例了一种电子设备的实体结构示意图，如图4所示，该电子设备可以包括：处理器(processor)410、通信接口(Communications Interface)420、存储器(memory)430和通信总线440，其中，处理器410，通信接口420，存储器430通过通信总线440完成相互间的通信。处理器410可以调用存储器430中的逻辑指令，以执行视力状态的检测方法，该方法包括：对采集的目标视频中的多张图像进行图像检测，得到用户的检测信息，所述检测信息包括：所述用户的眼部关键点和/或所述用户的行为信息；根据所述检测信息，确定所述用户是否存在异常用眼行为；在所述用户存在异常用眼行为的情况下，根据所述异常用眼行为，确定所述用户的视力状态，所述视力状态包括正常状态和异常状态；在确定所述用户的视力状态为异常状态的情况下，输出提示信息，所述提示信息用于提醒所述用户视力存在异常。
此外，上述的存储器430中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的视力状态的检测方法，该方法包括：对采集的目标视频中的多张图像进行图像检测，得到用户的检测信息，所述检测信息包括：所述用户的眼部关键点和/或所述用户的行为信息；根据所述检测信息，确定所述用户是否存在异常用眼行为；在所述用户存在异常用眼行为的情况下，根据所述异常用眼行为，确定所述用户的视力状态，所述视力状态包括正常状态和异常状态；在确定所述用户的视力状态为异常状态的情况下，输出提示信息，所述提示信息用于提醒所述用户视力存在异常。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的视力状态的检测方法，该方法包括：对采集的目标视频中的多张图像进行图像检测，得到用户的检测信息，所述检测信息包括：所述用户的眼部关键点和/或所述用户的行为信息；根据所述检测信息，确定所述用户是否存在异常用眼行为；在所述用户存在异常用眼行为的情况下，根据所述异常用眼行为，确定所述用户的视力状态，所述视力状态包括正常状态和异常状态；在确定所述用户的视力状态为异常状态的情况下，输出提示信息，所述提示信息用于提醒所述用户视力存在异常。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种视力状态的检测方法，其特征在于，包括：
对采集的目标视频中的多张图像进行图像检测，得到用户的检测信息，所述检测信息包括：所述用户的眼部关键点和/或所述用户的行为信息；
根据所述检测信息，确定所述用户是否存在异常用眼行为；
在所述用户存在异常用眼行为的情况下，根据所述异常用眼行为，确定所述用户的视力状态，所述视力状态包括正常状态和异常状态；
在确定所述用户的视力状态为异常状态的情况下，输出提示信息，所述提示信息用于提醒所述用户视力存在异常。
2.根据权利要求1所述的视力状态的检测方法，其特征在于，所述检测信息包括所述用户的眼部关键点；
所述根据所述检测信息，确定所述用户是否存在异常用眼行为，包括：
根据所述眼部关键点，确定眼球的中心位置；
根据所述眼球的中心位置，确定所述用户是否存在异常用眼行为。
3.根据权利要求2所述的视力状态的检测方法，其特征在于，所述根据所述眼球的中心位置，确定所述用户是否存在异常用眼行为，包括：
在根据所述眼球的中心位置，确定所述眼球位于眼眶的非中心区域的情况下，和/或，确定两个眼球未处于同一水平位置的情况下，确定所述用户存在所述异常用眼行为。
4.根据权利要求1所述的视力状态的检测方法，其特征在于，所述检测信息包括所述用户的行为信息；
所述根据所述检测信息，确定所述用户是否存在异常用眼行为，包括：
根据所述用户的行为信息，在确定所述用户存在如下至少一个行为的情况下，确定所述用户存在所述异常用眼行为：在超过第一预设时间段的时长内处于眯眼状态、在第二预设时间段内揉眼次数超过第三预设值和在第三预设时间段内眨眼次数超过第四预设值。
5.根据权利要求1-4任一项所述的视力状态的检测方法，其特征在于，所述根据所述异常用眼行为，确定所述用户的视力状态，包括：
在第一预设时长内，存在异常用眼行为的次数大于预设次数的情况下，确定所述用户的视力状态为异常状态。
6.根据权利要求1-4任一项所述的视力状态的检测方法，其特征在于，所述方法还包括：
通过结构光摄像头或飞行时间TOF摄像头确定所述用户的头部与桌面，或所述用户的头部与终端设备之间的距离；
在超过第四预设时间段的时长内所述距离均小于第五预设值，确定所述用户存在异常用眼行为；
在第二预设时长内，存在异常用眼行为的次数大于预设次数的情况下，确定所述用户的视力状态为异常状态。
7.一种视力状态的检测装置，其特征在于，包括：
检测模块，用于对采集的目标视频中的多张图像进行图像检测，得到用户的检测信息，所述检测信息包括：所述用户的眼部关键点和/或所述用户的行为信息；
确定模块，用于根据所述检测信息，确定所述用户是否存在异常用眼行为；
所述确定模块，还用于在所述用户存在异常用眼行为的情况下，根据所述异常用眼行为，确定所述用户的视力状态，所述视力状态包括正常状态和异常状态；
输出模块，用于在确定所述用户的视力状态为异常状态的情况下，输出提示信息，所述提示信息用于提醒所述用户视力存在异常。
8.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述视力状态的检测方法。
9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述视力状态的检测方法。
10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述视力状态的检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210592920.1A CN115100728A (zh) | 2022-05-27 | 2022-05-27 | 视力状态的检测方法、装置、存储介质和程序产品 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210592920.1A CN115100728A (zh) | 2022-05-27 | 2022-05-27 | 视力状态的检测方法、装置、存储介质和程序产品 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115100728A true CN115100728A (zh) | 2022-09-23 |
Family
ID=83289581
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210592920.1A Pending CN115100728A (zh) | 2022-05-27 | 2022-05-27 | 视力状态的检测方法、装置、存储介质和程序产品 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115100728A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116936097A (zh) * | 2023-07-24 | 2023-10-24 | 云南白药集团无锡药业有限公司 | 一种训练灯用户眼部异常运动智能检测方法 |
| CN117671908A (zh) * | 2023-12-06 | 2024-03-08 | 广州视域光学科技股份有限公司 | 基于行为监测的近视防控***及其防控方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105022981A (zh) * | 2014-04-18 | 2015-11-04 | 中兴通讯股份有限公司 | 一种检测人眼健康状态的方法、装置及移动终端 |
| CN109977727A (zh) * | 2017-12-27 | 2019-07-05 | 广东欧珀移动通信有限公司 | 视力保护方法、装置、存储介质及移动终端 |
| CN110555426A (zh) * | 2019-09-11 | 2019-12-10 | 北京儒博科技有限公司 | 视线检测方法、装置、设备及存储介质 |
| CN110889955A (zh) * | 2019-11-29 | 2020-03-17 | 上海掌门科技有限公司 | 用于在用户阅读时提醒用户休息的方法与设备 |
-
2022
- 2022-05-27 CN CN202210592920.1A patent/CN115100728A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105022981A (zh) * | 2014-04-18 | 2015-11-04 | 中兴通讯股份有限公司 | 一种检测人眼健康状态的方法、装置及移动终端 |
| CN109977727A (zh) * | 2017-12-27 | 2019-07-05 | 广东欧珀移动通信有限公司 | 视力保护方法、装置、存储介质及移动终端 |
| CN110555426A (zh) * | 2019-09-11 | 2019-12-10 | 北京儒博科技有限公司 | 视线检测方法、装置、设备及存储介质 |
| CN110889955A (zh) * | 2019-11-29 | 2020-03-17 | 上海掌门科技有限公司 | 用于在用户阅读时提醒用户休息的方法与设备 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116936097A (zh) * | 2023-07-24 | 2023-10-24 | 云南白药集团无锡药业有限公司 | 一种训练灯用户眼部异常运动智能检测方法 |
| CN117671908A (zh) * | 2023-12-06 | 2024-03-08 | 广州视域光学科技股份有限公司 | 基于行为监测的近视防控***及其防控方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9291834B2 (en) | System for the measurement of the interpupillary distance using a device equipped with a display and a camera | |
| CN115100728A (zh) | 视力状态的检测方法、装置、存储介质和程序产品 | |
| CN109191802B (zh) | 用于视力保护提示的方法、装置、***和存储介质 | |
| EP3641624B1 (en) | Determining eye openness with an eye tracking device | |
| CN107358217B (zh) | 一种视线估计方法及装置 | |
| EP3582071B1 (en) | Devices having system for reducing the impact of near distance viewing on myopia onset and/or myopia progression | |
| CN112006900B (zh) | 可预防近视的智能台灯的控制方法和***，及存储介质 | |
| CN111248851A (zh) | 一种视功能自测方法 | |
| CN105095885A (zh) | 一种人眼状态的检测方法和检测装置 | |
| García et al. | Dioptric defocus maps across the visual field for different indoor environments | |
| Balsdon et al. | How wide is the cone of direct gaze? | |
| Xiong et al. | Eye control system base on ameliorated hough transform algorithm | |
| CN104504374A (zh) | 一种自动监控人眼到屏幕距离的方法及*** | |
| US10108259B2 (en) | Interaction method, interaction apparatus and user equipment | |
| CN111580665A (zh) | 注视点预测方法、装置、移动终端及存储介质 | |
| CN113495616A (zh) | 终端显示控制方法、终端以及计算机可读存储介质 | |
| CN115116088A (zh) | 近视预测方法、装置、存储介质和程序产品 | |
| US20190346921A1 (en) | Devices having system with enhanced functionality for reducing the impact of near distance viewing on myopia onset and/or myopia progression | |
| CN113596539B (zh) | 基于智能电视的视力检测处理方法、装置、终端及介质 | |
| CN112203131B (zh) | 一种基于显示设备的提示方法、装置及存储介质 | |
| CN113132642A (zh) | 图像显示的方法及装置、电子设备 | |
| CN115035588A (zh) | 视力保护的提示方法、装置、存储介质和程序产品 | |
| CN111198611A (zh) | 确定视线落点的方法、终端以及计算机可读存储介质 | |
| CN111583600B (zh) | 预防近视的设备及计算机可读存储介质 | |
| CN117872561A (zh) | 焦距调整方法、装置、vr设备及可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |