CN109259724A - 一种用眼监控方法、装置、存储介质及穿戴式设备 - Google Patents

Abstract

本申请实施例公开了一种用眼监控方法、装置、存储介质及穿戴式设备。该方法包括获取佩戴穿戴式设备的用户的眼睛图像；基于所述眼睛图像预测所述用户出现视疲劳反应的阈值时间；基于所述阈值时间触发疲劳缓解事件，执行预设疲劳缓解策略。通过采用本申请的技术方案，可以借助穿戴式设备检测佩戴者的眼睛图像，进而，根据眼睛图像在佩戴者出现视疲劳反应之前预测出现视疲劳反应的阈值时间，实现在视疲劳出现之前执行预设疲劳缓解策略，从而避免用眼过度而影响视力的情况发生，可以提供与用户状态匹配的个性化服务，丰富了穿戴式设备的功能。

Description

一种用眼监控方法、装置、存储介质及穿戴式设备

技术领域

本申请实施例涉及智能穿戴设备，尤其涉及一种用眼监控方法、装置、存储介质及穿戴式设备。

背景技术

随着社会的进步及科技的发展，各种元器件的尺寸越来越小，使得其可用以集成在穿戴式设备上，进而，为用户的生活及工作等提供了诸多方面的便利。

目前市场上的穿戴式设备通常可以像智能手机一样，具有独立的操作***，可以运行应用程序。通过穿戴式设备可以解放用户的双手，为用户的生活、工作带来了极大的便利。然而，相关技术中的穿戴式设备存在功能比较单一的情况，不能与实际应用中的各种用户状态进行匹配，无法提供与用户状态相关的个性化的服务。因此，相关技术中的穿戴式设备的功能需要优化。

发明内容

本申请实施例提供一种基于穿戴式设备的用眼监控方法、装置、存储介质及穿戴式设备，可以优化相关技术中穿戴式设备的功能。

第一方面，本申请实施例提供了一种用眼监控方法，包括：

获取佩戴穿戴式设备的用户的眼睛图像；

基于所述眼睛图像预测所述用户出现视疲劳反应的阈值时间；

基于所述阈值时间触发疲劳缓解事件，执行预设疲劳缓解策略。

第二方面，本申请实施例还提供了一种用眼监控装置，该装置包括：

图像获取模块，用于获取佩戴穿戴式设备的用户的眼睛状态；

时间预测模块，用于基于所述眼睛状态预测所述用户出现视疲劳反应的阈值时间；

策略执行模块，用于基于所述阈值时间触发疲劳缓解事件，执行预设疲劳缓解策略。

第三方面，本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如本申请实施例所述的用眼监控方法。

第四方面，本申请实施例还提供了一种穿戴式设备，包括存储器、处理器及存储在存储器上并可在处理器运行的计算机程序，该处理器执行该计算机程序时实现如本申请实施例所述的用眼监控方法。

本申请实施例提供一种基于穿戴式设备的用眼监控方案，包括获取佩戴穿戴式设备的用户的眼睛图像；基于该眼睛图像预测所述用户出现视疲劳反应的阈值时间；根据该阈值时间触发疲劳缓解事件，并在检测到疲劳缓解事件触发时，执行预设疲劳缓解策略。通过采用本申请的技术方案，可以借助穿戴式设备检测佩戴者的眼睛图像，进而，根据眼睛图像在佩戴者出现视疲劳反应之前预测出现视疲劳反应的阈值时间，实现在视疲劳出现之前执行预设疲劳缓解策略，从而避免用眼过度而影响视力的情况发生，可以提供与用户状态匹配的个性化服务，丰富了穿戴式设备的功能。

附图说明

图1为本申请实施例提供的一种基于穿戴式设备的用眼监控方法的流程图；

图2为本申请实施例提供的另一种基于穿戴式设备的用眼监控方法的流程图；

图3为本申请实施例提供的又一种基于穿戴式设备的用眼监控方法的流程图；

图4为本申请实施例提供的一种基于穿戴式设备的用眼监控装置的结构示意图；

图5为本申请实施例提供的一种穿戴式设备的结构示意图；

图6为本申请实施例提供的又一种穿戴式设备的结构示意图；

图7为本申请实施例提供的一种穿戴式设备的示意实体图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本申请，而非对本申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本申请相关的部分而非全部结构。

在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各步骤描述成顺序的处理，但是其中的许多步骤可以被并行地、并发地或者同时实施。此外，各步骤的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。

需要说明的是，穿戴式设备可以包括佩戴于用户头部的电子设备，如智能眼镜及智能头盔等等。以智能眼镜为例，对穿戴式设备的结构进行简单介绍。智能眼镜包括眼镜框体和镜片。该眼镜框体包括镜腿和镜框。可选的，在镜腿的内侧可以设有呼吸灯，呼吸灯可以是LED灯，并可以根据智能眼镜佩戴者心跳的频率进行闪烁。在镜腿上还设有触控区(如触控面板)及骨传导区。其中，触控区设置于镜腿的外侧，在触控区内设置触摸检测模块，用于检测用户的触摸操作。例如，采用触摸传感器模块检测用户的触摸操作，该触摸传感器模块在初始态为低电平，在有触摸操作时为高电平。在用户佩戴智能眼镜的场景下将镜腿靠近脸部的一侧规定为内侧，与内侧相对的远离脸部的一侧规定为外侧。在镜腿上靠近耳朵的位置设置骨传导区。其中，在骨传导区设置骨传导扬声器或骨传导传感器等骨传导部件。在镜腿靠近脸部太阳穴的位置设置心率传感器，用于获取佩戴智能眼镜用户的心率信息。在镜框上设置智能麦克风，可以智能识别当前所处环境噪音大小，可以基于环境噪音自动调节麦克风的性能。在镜框上还设有距离传感器及陀螺仪等。此外，在镜框及鼻托上还设置有眼电图(简称为EOG)传感器，用于采集用户的眼睛状态。另外，在镜腿上还设置有微处理区，处理器设置于微处理区，分别与上述触摸检测模块、骨传导耳机、心率传感器、智能麦克风、距离传感器、陀螺仪、眼电图传感器等器件电连接，用于接收待处理数据，进行数据运算、数据处理并输出控制指令至对应的器件。需要说明的是，该智能眼镜可以通过互联网由云端下载多媒体资源进行播放，还可以通过与终端设备建立通信连接，由终端设备上获取多媒体资源，本申请对此并不作限定。

图1为本申请实施例提供的一种基于穿戴式设备的用眼监控方法的流程图，该方法可以由基于穿戴式设备的用眼监控装置来执行，其中，该装置可由软件和/或硬件实现，一般可集成在穿戴式设备中。如图1所示，该方法包括：

步骤110、获取佩戴穿戴式设备的用户的眼睛图像。

以智能眼镜为例，可以利用设置于智能眼镜镜框上的***头拍摄佩戴智能眼镜用户的眼睛图像。示例性的，***头可以设置于镜框上任意可以拍摄到人眼的位置。又如，若智能眼镜待显示的图像是通过微投影组件投影至镜片上，则可以将摄像头设置于微投影组件附近，以拍摄眼睛图像。

需要说明的是，可以是在图像获取事件被触发时，获取佩戴智能眼镜用户的眼睛图像。可选的，还可以是按照设定周期获取佩戴智能眼镜用户的多帧眼睛图像。

步骤120、基于所述眼睛图像预测所述用户出现视疲劳反应的阈值时间。

需要说明的是，在检测到闭眼次数超过预设次数阈值时，确定佩戴穿戴式设备的用户出现视疲劳反应。可选的，确定眼睛图像中呈现的眼睛张开距离小于预设距离的持续时间，在该持续时间超过设定阈值时，确定佩戴穿戴式设备的用户出现视疲劳反应。

可采用预设疲劳预测模型基于眼睛图像对穿戴式设备的佩戴者出现视疲劳反应进行预测。该预测模型可以是机器学习模型，所采用的算法可以包括卷积神经网络模型(Convolutional Neural Network,CNN)、循环神经网络(Recurrent neural networks,RNN)、长短期记忆(Long Short-Term Memory,LSTM)网络、门限循环单元、简单循环单元、自动编码器、决策树、随机森林、特征均值分类、分类回归树、隐马尔科夫、K最近邻(k-NearestNeighbor，KNN)算法、逻辑回归模型、贝叶斯模型、高斯模型以及KL散度(Kullback–Leibler divergence)等等。

可选的，可在用户使用穿戴式设备的过程中，采集训练样本，采用训练样本对预设初始模型进行训练，最终得到用于预测视疲劳反应出现时间的预测模型。示例性的，在检测到模型训练事件触发时，按照设定采样间隔采集的眼睛状态图，直至检测到佩戴穿戴式设备的用户出现视疲劳状态为止。每次采样均获取至少1张眼睛状态图，作为训练样本，根据所述训练样本训练预设疲劳预测模型。例如，采用眼睛状态图及其与视疲劳眼睛状态的时间差作为训练样本，根据该训练样本训练预设疲劳预测模型。其中，模型训练事件的触发条件可以根据实际情况设置，本申请实施例并不作具体限定。例如，在距离上一次训练的时间间隔超过预设时间阈值时，触发模型训练事件。又如，还可以是在穿戴式设备空闲时触发模型训练事件。其中，穿戴式设备空闲的表现形式可以是佩戴穿戴式设备用户未使用穿戴式设备的功能。以智能眼镜为例，未使用智能眼镜的功能可以是仅将其作为普通眼镜使用，如佩戴智能眼镜用户在通过智能手机阅读或观看视频等。需要说明的是，在对疲劳预测模型进行训练时，可以仅采用由正常状态至视疲劳状态下依照时间顺序出现的眼睛状态图进行训练，为了提高疲劳预测模型的准确度，也可以综合用户姿态进行训练。其中，用户姿态包括站姿、坐姿或卧姿，可以通过设置于穿戴式设备中的陀螺仪检测用户的头部倾斜角度，从而确定用户姿态。通常情况下，站姿状态下的用户为了能够看见观看目标，需要低头，且在低头状态下头部与平视时头部的偏离角度超过第一阈值。坐姿状态下的用户为了能够看见观看目标不需要低头，或低头状态下头部与平视时头部的偏移角度小于第二阈值，且第二阈值小于第一阈值。而卧姿状态为了能够看见观看目标，往往需要仰头。可以理解的是，不同用户姿态下，用户达到视疲劳的时间是存在差别的，如果在疲劳预测模型的训练过程中考虑到用户姿态的维度，可以增加模型训练的准确度。

示例性的，可根据所选用的机器学习模型选择合适的样本元素，也可根据所选的样本元素确定所选用的机器学习模型，还可结合对预测准确度以及预设速度等方面的需求进行模型及样本元素的选择等，本申请实施例不做限定。

本申请实施例中，将所述眼睛图像输入预先配置的疲劳预测模型，获取疲劳预测模型输出的与佩戴穿戴式设备的用户的视疲劳反应出现时间的时间差的概率。如疲劳预测模型基于眼睛图像输出的预测结果可能是如下形式：预测佩戴穿戴式设备的用户在半小时后出现视疲劳反应的概率是5％，预测佩戴穿戴式设备的用户在1小时后出现视疲劳反应的概率是20％，预测佩戴穿戴式设备的用户在1.5小时后出现视疲劳反应的概率是50％，预测佩戴穿戴式设备的用户在2小时后出现视疲劳反应的概率是15％，预测佩戴穿戴式设备的用户在2.5小时后出现视疲劳反应的概率是10％。获取所述概率最大的视疲劳反应出现时间及当前网络时间，计算两者的和，将计算结果作为佩戴穿戴式设备的用户出现视疲劳反应的阈值时间。例如，当前网络时间是20:30分，预测在1.5小时后佩戴穿戴式设备的用户出现视疲劳反应，从而，确定佩戴穿戴式设备的用户出现视疲劳反应的阈值时间是22:00。

步骤130、基于所述阈值时间触发疲劳缓解事件，执行预设疲劳缓解策略。

需要说明的是，疲劳缓解事件的触发条件可以是***时间达到闹钟设定时间，还可以是检测到设定广播消息，该设定广播消息在网络时间到达目标时间时由穿戴式设备***广播等等。

预设疲劳缓解策略可以是预先配置于穿戴式设备中缓解佩戴穿戴式设备用户视疲劳的策略。例如，通过穿戴式设备的显示部件(如智能眼镜的镜片)显示具有缓解视疲劳属性的图片。其中，具有缓解视疲劳属性的图片可以是移动的植物图片，或者图片尺寸变化(以模拟用户眺望远处)或图案变化的图片等。又如，提示佩戴穿戴式设备用户调整与观看目标的距离。在用户伏案看书时，可以提示佩戴穿戴式设备的用户调整眼睛与书本的距离，以保持眼睛与书本的距离在健康用眼范围内，进而，改善视力状况。

示例性的，设置与目标时间对应的闹钟，并在***时间达到所述目标时间时，通过所述闹钟触发疲劳缓解事件。若检测到所述疲劳缓解事件触发，则通过穿戴式设备的镜片显示具有缓解视疲劳属性的图片。其中，所述目标时间与阈值时间的差值为预设数值，该预设数值为***默认值。从而，可以根据阈值时间确定目标时间。

可选的，按照设定周期检测设定广播消息。并在检测到设定广播消息时，触发疲劳缓解事件。若检测到所述疲劳缓解事件触发，则提示佩戴穿戴式设备用户调整与观看目标的距离。

本实施例的技术方案，获取佩戴穿戴式设备的用户的眼睛图像；基于该眼睛图像预测佩戴穿戴式设备的用户出现视疲劳反应的阈值时间；根据该阈值时间触发疲劳缓解事件，并在检测到疲劳缓解事件触发时，执行预设疲劳缓解策略。通过采用本申请的技术方案，可以借助穿戴式设备检测佩戴者的眼睛图像，进而，根据眼睛图像在佩戴者出现视疲劳反应之前预测出现视疲劳反应的阈值时间，实现在视疲劳出现之前执行预设疲劳缓解策略，从而避免用眼过度而影响视力的情况发生，可以提供与用户状态匹配的个性化服务，丰富了穿戴式设备的功能。

图2为本申请实施例提供的另一种基于穿戴式设备的用眼监控方法的流程图，如图2所示，该方法包括：

步骤201、获取佩戴穿戴式设备的用户的眼睛图像。

示例性的，在穿戴式设备被佩戴后，按照设定周期获取多帧眼睛图像。

步骤202、将所述眼睛图像输入预设疲劳预测模型，确定佩戴穿戴式设备的用户出现视疲劳反应的阈值时间。

其中，预设疲劳预测模型是根据依照时间顺序采集的代表佩戴穿戴式设备的用户由正常状态到疲劳状态的眼睛状态图集训练得到的机器学习模型。

示例性的，在获取到一帧眼睛图像后，将其输入预设疲劳预测模型，预测出佩戴穿戴式设备的用户可能出现疲劳反应的阈值时间。

可选的，如按照设定周期获取多帧眼睛图像，则在获取一帧眼睛图像后，将该帧眼睛图像输入预设疲劳预测模型，并获取佩戴穿戴式设备的用户可能出现视疲劳反应的参考第一阈值时间。在设定周期时间达到时，将获取第二帧眼睛图像输入预设疲劳预测模型，并获取佩戴穿戴式设备的用户可能出现视疲劳反应的参考第二阈值时间。依次类推，获取佩戴穿戴式设备的用户可能出现视疲劳反应的参考第n阈值时间。基于参考第一阈值时间、参考第二阈值时间至参考第n阈值时间确定均值时间，将该均值时间作为阈值时间。

可选的，还可以将参考第一阈值时间作为基准，计算参考第N阈值时间与参考第一阈值时间的时间偏差，N的取值为2，3，4……n。若该时间偏差小于预设偏差阈值，则计算参考第三阈值时间与参考第一阈值时间的时间偏差。若多次计算结果均为时间偏差小于预设偏差阈值，则将参考第一阈值时间作为阈值时间。

步骤203、根据所述阈值时间确定目标时间。

其中，目标时间早于阈值时间。该目标时间可以是***默认的，如目标时间与所述阈值时间的差值为预设数值，将所确定的阈值时间减去预设数值得到目标时间。

步骤204、设置与所述目标时间对应的闹钟。

步骤205、获取***时间，判断所述***时间是否达到闹钟对应的定时时间，若是，执行步骤206，否则返回执行步骤205。

步骤206、通过所述闹钟触发疲劳缓解事件。

步骤207、通过穿戴式设备的显示部件显示具有缓解视疲劳属性的图片。

在本申请实施例中，通过检测穿戴式设备佩戴者的眼睛图像，并通过机器学习模型预测佩戴穿戴式设备的用户出现视疲劳反应的阈值时间，基于阈值时间触发疲劳缓解事件，执行预设疲劳缓解策略。由于采用疲劳预测模型可以更准确的预测出现视疲劳反应的阈值时间，以在视疲劳出现之前执行预设疲劳缓解策略，从而改善视力状况。

图3为本申请实施例提供的又一种基于穿戴式设备的用眼监控方法的流程图，如图3所示，该方法包括：

步骤301、获取佩戴穿戴式设备的用户的眼睛图像。

示例性的，在检测到穿戴式设备的佩戴时间超过预设时间后，启动眼睛图像获取事件。在检测到眼睛图像获取事件时，获取佩戴穿戴式设备的用户的眼睛图像。例如，在检测到佩戴穿戴式设备的用户带上穿戴式设备一小时后，启动眼睛图像获取事件，获取佩戴穿戴式设备的用户的一帧眼睛图像。

步骤302、获取佩戴穿戴式设备的用户的头部姿态，基于所述头部姿态确定佩戴穿戴式设备用户的用户姿态。

示例性的，通过设置于穿戴式设备中的陀螺仪感测穿戴式设备的空间角度，以确定佩戴穿戴式设备的用户的头部姿态。进而，基于头部姿态确定佩戴穿戴式设备用户的用户姿态。

可选的，通过设置于穿戴式设备中的三轴加速度传感器感测穿戴式设备的视线俯仰角或视线倾斜角，以确定佩戴穿戴式设备的用户的头部的俯仰角度或倾斜角度。进而，基于上述俯仰角度或倾斜角度确定佩戴穿戴式设备用户的用户姿态。

步骤303、基于所述用户姿态获取佩戴穿戴式设备的用户的眼睛状态图集。

其中，所述眼睛状态图集是依照时间顺序采集的代表佩戴穿戴式设备的用户由正常状态到疲劳状态的眼睛状态图的集合。另外，在采用眼睛状态图构成眼睛状态图集时，需要区分用户姿态。如用户姿态a对应的眼睛状态图构成眼睛状态图集A。

例如，可以结合陀螺仪等传感器检测用户姿态，在用户姿态的维持时间超过预设时间长度时，触发眼睛状态图采集操作。即在确定用户处于卧姿一段时间后，自动按照设定采样间隔采集佩戴穿戴式设备的用户在该用户状态下的眼睛状态图。可以通过设置于穿戴式设备上的***头按照设定采样间隔获取眼睛图像。穿戴式设备按照上述设定采样间隔持续采集佩戴穿戴式设备的用户的眼睛状态图，直至穿戴式设备检测到佩戴穿戴式设备的用户出现视疲劳反应。将不同用户状态下采集的眼睛状态图分别存储，并按照时间顺序对同一用户状态对应的眼睛状态图进行编号，并于穿戴式设备的预设缓存中存储该眼睛状态图，得到眼睛状态图集。

步骤304、确定所述眼睛图像在所述眼睛状态图集中的次序。

在获取佩戴穿戴式设备的用户的眼睛图像之后，将该眼睛图像与预设缓存中的眼睛状态图集进行匹配。根据匹配结果确定与该眼睛图像最匹配的眼睛状态图，从而得到该眼睛状态图的序号。例如，分别将眼睛图像与各幅眼睛状态图进行匹配，计算图像相似度。如分别计算两幅图像的直方图，并将直方图进行归一化处理，通过相关度公式、卡方公式和/或巴氏距离公式等进行相似度的计算。

又如，还可以采用感知哈希算法对眼睛图像及眼睛状态图分别生成一个“指纹”(fingerprint)字符串，比对眼睛图像及眼睛状态图的指纹，确定不相同的数据位数。若不相同的数据位数不超过预设位数阈值，则说明两张图像最相似。

步骤305、根据所述次序以及采样间隔确定佩戴穿戴式设备的用户出现视疲劳反应的阈值时间。

示例性的，计算眼睛状态图的序号与眼睛状态图集中最后一帧眼睛状态图的差距，将该差距乘以采样间隔确定佩戴穿戴式设备的用户出现视疲劳反应的阈值时间。如，与眼睛图像最相似的眼睛状态图的序号是5，而眼睛状态图集中最后一帧眼睛状态图的序号是40，采样间隔为3分钟。进而，先计算与眼睛图像最相似的眼睛状态图的序号5与最后一帧眼睛状态图的序号40之差，再乘以采样间隔，确定在105分钟后出现视疲劳反应。获取当前***时间，如当前***时间是20:30，则可以确定出现视疲劳反应的阈值时间是22:15。

步骤306、根据所述阈值时间确定目标时间。

步骤307、设置与所述目标时间对应的闹钟。

步骤308、获取***时间，判断所述***时间是否达到闹钟对应的定时时间，若是，执行步骤309，否则返回执行步骤308。

步骤309、通过所述闹钟触发疲劳缓解事件。

步骤310、提示佩戴穿戴式设备的用户调整与观看目标的距离。

本申请实施例的技术方案，通过确定当前的眼睛图像在眼睛状态图集中的次序，根据该次序及采样间隔确定佩戴穿戴式设备的用户出现视疲劳反应的阈值时间，基于阈值时间触发疲劳缓解事件，执行预设疲劳缓解策略，实现结合用户姿态及眼睛图像可以更准确的预测出现视疲劳反应的阈值时间，以在视疲劳出现之前执行预设疲劳缓解策略，从而避免用眼过度而影响视力的情况发生，可以提供与用户状态匹配的个性化服务，丰富了穿戴式设备的功能。

图4为本申请实施例提供的一种基于穿戴式设备的用眼监控装置的结构示意图。该装置可以通过软件和/或硬件实现，可被集成于穿戴式设备中，用于执行本申请实施例提供的基于穿戴式设备的用户监控方法。如图4所示，该装置包括：

图像获取模块410，用于获取佩戴穿戴式设备的用户的眼睛状态；

时间预测模块420，用于基于所述眼睛状态预测所述用户出现视疲劳反应的阈值时间；

策略执行模块430，用于基于所述阈值时间触发疲劳缓解事件，执行预设疲劳缓解策略。

本申请实施例提供一种基于穿戴式设备的用眼监控装置，获取佩戴穿戴式设备的用户的眼睛图像；基于该眼睛图像预测所述用户出现视疲劳反应的阈值时间；根据该阈值时间触发疲劳缓解事件，并在检测到疲劳缓解事件触发时，执行预设疲劳缓解策略。通过采用本申请的技术方案，可以借助穿戴式设备检测佩戴者的眼睛图像，进而，根据眼睛图像在佩戴者出现视疲劳反应之前预测出现视疲劳反应的阈值时间，实现在视疲劳出现之前执行预设疲劳缓解策略，从而避免用眼过度而影响视力的情况发生，可以提供与用户状态匹配的个性化服务，丰富了穿戴式设备的功能。

可选的，还包括：

姿态确定模块，用于在获取佩戴穿戴式设备的用户的眼睛图像之后，获取佩戴穿戴式设备的用户的头部姿态，基于所述头部姿态确定所述用户的用户姿态。

可选的，时间预测模块420具体用于：

基于所述用户姿态获取所述用户的眼睛状态图集，其中，所述眼睛状态图集是依照时间顺序采集的代表佩戴穿戴式设备的用户由正常状态到疲劳状态的眼睛状态图的集合；

确定所述眼睛图像在所述眼睛状态图集中的次序；

根据所述次序以及采样间隔确定佩戴穿戴式设备的用户出现视疲劳反应的阈值时间。

可选的，时间预测模块420具体用于：

将所述眼睛图像输入预设疲劳预测模型，确定佩戴穿戴式设备的用户出现视疲劳反应的阈值时间，其中，预设疲劳预测模型是根据依照时间顺序采集的代表佩戴穿戴式设备的用户由正常状态到疲劳状态的眼睛状态图集训练得到的机器学习模型。

可选的，策略执行模块430具体用于：

设置与目标时间对应的闹钟，并在***时间达到所述目标时间时，通过所述闹钟触发疲劳缓解事件，其中，所述目标时间与所述阈值时间的差值为预设数值。

可选的，策略执行模块430具体用于：

若检测到所述疲劳缓解事件触发，则通过穿戴式设备的显示部件显示具有缓解视疲劳属性的图片。

可选的，策略执行模块430具体用于：

若检测到所述疲劳缓解事件触发，则提示佩戴穿戴式设备的用户调整与观看目标的距离。

本申请实施例还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行基于穿戴式设备的用眼监控方法，该方法包括：

获取佩戴穿戴式设备用户的眼睛图像；

基于所述眼睛图像预测所述用户出现视疲劳反应的阈值时间；

基于所述阈值时间触发疲劳缓解事件，执行预设疲劳缓解策略。

存储介质——任何的各种类型的存储器设备或存储设备。术语“存储介质”旨在包括：安装介质，例如CD-ROM、软盘或磁带装置；计算机***存储器或随机存取存储器，诸如DRAM、DDR RAM、SRAM、EDO RAM，兰巴斯(Rambus)RAM等；非易失性存储器，诸如闪存、磁介质(例如硬盘或光存储)；寄存器或其它相似类型的存储器元件等。存储介质可以还包括其它类型的存储器或其组合。另外，存储介质可以位于程序在其中被执行的第一计算机***中，或者可以位于不同的第二计算机***中，第二计算机***通过网络(诸如因特网)连接到第一计算机***。第二计算机***可以提供程序指令给第一计算机用于执行。术语“存储介质”可以包括可以驻留在不同位置中(例如在通过网络连接的不同计算机***中)的两个或更多存储介质。存储介质可以存储可由一个或多个处理器执行的程序指令(例如具体实现为计算机程序)。

当然，本申请实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的基于穿戴式设备的用眼监控操作，还可以执行本申请任意实施例所提供的基于穿戴式设备的用眼监控方法中的相关操作。

本申请实施例提供了一种穿戴式设备，该穿戴式设备内具有操作***，该穿戴式设备中可集成本申请实施例提供的基于穿戴式设备的用眼监控装置。图5为本申请实施例提供的一种穿戴式设备的结构示意图。如图5所示，该穿戴式设备包括存储器510及处理器520。所述存储器510，用于存储计算机程序、眼睛图像、阈值时间及预设疲劳缓解策略等；所述处理器520读取并执行所述存储器510中存储的计算机程序。所述处理器520在执行所述计算机程序时实现以下步骤：获取佩戴穿戴式设备用户的眼睛图像；基于所述眼睛图像预测所述用户出现视疲劳反应的阈值时间；基于所述阈值时间触发疲劳缓解事件，执行预设疲劳缓解策略。

上述示例中列举的存储器及处理器均为穿戴式设备的部分元器件，所述穿戴式设备还可以包括其它元器件。图6为本申请实施例提供的又一种穿戴式设备的结构框图，图7为本申请实施例提供的一种穿戴式设备的示意实体图。如图6及图7所示，该穿戴式设备可以包括：存储器601、处理器(Central Processing Unit，CPU)602(以下简称CPU)、显示部件603、触控面板604、心率检测模块605、距离传感器606、摄像头607、骨传导扬声器608、麦克风609、呼吸灯610。这些部件通过一个或多个通信总线或信号线611(以下又称内部传输线路)来通信。

应该理解的是，图示穿戴式设备仅仅是一个范例，并且穿戴式设备可以具有比图中所示出的更多的或者更少的部件，可以组合两个或更多的部件，或者可以具有不同的部件配置。图中所示出的各种部件可以在包括一个或多个信号处理和/或专用集成电路在内的硬件、软件、或硬件和软件的组合中实现。

下面就本实施例提供的集成有用眼监控装置的穿戴式设备进行详细的描述，该穿戴式设备以智能眼镜为例。

存储器601，所述存储器601可以被CPU602访问，所述存储器601可以包括高速随机存取存储器，还可以包括非易失性存储器，例如一个或多个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

显示部件603，可用于显示图像数据以及操作***的操控界面，显示部件603嵌入在智能眼镜的镜框中，镜框内部设置有内部传输线路611，该内部传输线路611和显示部件603连接。

触摸面板604，该触摸面板604设置在至少一个智能眼镜镜腿的外侧，用于获取触摸数据，触摸面板604通过内部传输线路611和CPU602连接。其中，触摸面板604可检测用户的手指滑动、点击操作，并相应的把检测到的数据传输至处理器602进行处理以生成对应的控制指令，示例性的，可以是左移指令、右移指令、上移指令、下移指令等。示例性的，显示部件603可显示处理器602传输的虚拟图像数据，该虚拟图像数据可相应的根据触摸面板604检测到的用户操作进行相应变化，具体的，可以是进行画面切换，当检测到左移指令或右移指令后相应的切换上一个或下一个虚拟图像画面；当显示部件603显示视频播放信息时，该左移指令可以是进行播放内容的回播，右移指令可以是进行播放内容的快进；当显示部件603显示的为可编辑文字内容时，该左移指令、右移指令、上移指令、下移指令可以是对光标的位移操作，即光标的位置可根据用户对触摸板的触摸操作而进行移动；当显示部件603显示的内容为游戏动画画面时，该左移指令、右移指令、上移指令、下移指令可以是对游戏中的对象进行控制，如飞机游戏中，可通过该左移指令、右移指令、上移指令、下移指令分别控制飞机的飞行方向；当显示部件603可显示不同频道的视频画面时，该左移指令、右移指令、上移指令、下移指令可进行不同频道的切换，其中，上移指令和下移指令可以是切换到预置频道(如用户使用的常用频道)；当显示部件603显示静态图片时，该左移指令、右移指令、上移指令、下移指令可进行不同图片之间的切换，其中，左移指令可以是切换到上一幅图片，右移指令可以是切换至下一幅图，上移指令可以是切换到上一图集，下移指令可以是切换至下一图集。该触摸面板604还可用于对显示部件603的显示开关进行控制，示例性的，当长按压触摸面板604触摸区域时，显示部件603通电显示图像界面，当再次长按压触摸面板604触摸区域时，显示部件603断电，当显示部件603通电后，可通过在触摸面板604进行上滑和下滑操作以调节显示部件603中显示图像的亮度或分辨率。

心率检测模组605，用于测得用户的心率数据，心率指每分钟的心跳次数，该心率检测模组605设置在镜腿内侧。具体的，该心率检测模组605可以是通过电脉冲测量的方式使用干性电极获取人体心电数据，根据心电数据中的振幅峰值确定心率大小；该心率检测模组605还可以是由采用光电法测量心率的光线发射和光线接收器组成，相应的，该心率检测模组605设置在镜腿底部，人体耳廓的耳垂处。心率检测模组605采集到心率数据后可相应的发送至处理器602中进行数据处理已得到佩戴者当前的心率值，在一个实施例中，处理器602在确定出用户的心率值后，可将该心率值实时显示在显示部件603中，可选的处理器602在确定出心率值较低(如小于50)或较高(如大于100)可相应的触发报警器，同时将该心率值和/或生成的报警信息通过通信模块发送至服务器。

距离传感器606，可设置在镜框上，该距离传感器606用于感应人脸到镜框的距离，该距离传感器606可采用红外感应原理实现。具体的，该距离传感器606将采集的距离数据发送至处理器602，处理器602根据该距离数据控制显示部件603的亮暗。示例性的，当确定出距离传感器606采集到的距离小于5厘米时，处理器602相应的控制显示部件603处于点亮状态，当确定出距离传感器为探测到有物体靠近时，相应的控制显示部件604处于关闭状态。

呼吸灯610，可设置在镜框的边缘，当显示部件603关闭显示画面时，该呼吸灯610可根据处理器602的控制而点亮呈渐变亮暗效果。

摄像头607，可以是设置在镜框的上边框的位置，采集用户前方的图像数据的前摄像模块，还可以采集用户眼球信息的后摄像模块，也可以是二者的结合。具体的，摄像头607采集前方图像时，将采集的图像发送至处理器602识别、处理，并根据识别结果触发相应的触发事件。示例性的，当用户在家中佩戴该穿戴设备时，通过对采集的前方图像进行识别，如果识别到家具物品，则相应的查询是否存在对应的控制事件，如果存在，则相应的将该控制事件对应的控制界面显示在显示部件603中，用户可通过触摸面板604进行对应的家具物品的控制，其中该家具物品和智能眼镜通过蓝牙或无线自组网进行网络连接；当用户在户外佩戴该穿戴设备时，可相应的开启目标识别模式，该目标识别模式可用于识别特定的人，摄像头607将采集的图像发送至处理器602进行人脸识别处理，如果识别到设定的预设人脸，则相应的可通过智能眼镜集成的扬声器进行声音播报，该目标识别模式还可以用于识别不同的植物，例如，处理器602根据触摸面板604的触摸操作以记录摄像头607采集的当前图像并通过通信模块发送至服务器以进行识别，服务器对采集图像中的植物进行识别并反馈相关的植物名称、介绍至智能眼镜，并将反馈数据显示在显示部件603中。摄像头607还可以是用于采集用户眼部如眼球的图像，通过对眼球的转动的识别生成不同的控制指令，示例性的，如眼球向上转动生成上移控制指令，眼球向下转动生成下移控制指令，眼球向左转动生成左移控制指令，眼球向右转动生成右移控制指令，其中合格，显示部件603可显示处理器602传输的虚拟图像数据，该虚拟图像数据可相应的根据摄像头607检测到的用户眼球的移动变化生成的控制指令而改变，具体的，可以是进行画面切换，当检测到左移控制指令或右移控制指令后相应的切换上一个或下一个虚拟图像画面；当显示部件603显示视频播放信息时，该左移控制指令可以是进行播放内容的回播，右移控制指令可以是进行播放内容的快进；当显示部件603显示的为可编辑文字内容时，该左移控制指令、右移控制指令、上移控制指令、下移控制指令可以是对光标的位移操作，即光标的位置可根据用户对触摸板的触摸操作而进行移动；当显示部件603显示的内容为游戏动画画面时，该左移控制指令、右移控制指令、上移控制指令、下移控制指令可以是对游戏中的对象进行控制，如飞机游戏中，可通过该左移控制指令、右移控制指令、上移控制指令、下移控制指令分别控制飞机的飞行方向；当显示部件603可显示不同频道的视频画面时，该左移控制指令、右移控制指令、上移控制指令、下移控制指令可进行不同频道的切换，其中，上移控制指令和下移控制指令可以是切换到预置频道(如用户使用的常用频道)；当显示部件603显示静态图片时，该左移控制指令、右移控制指令、上移控制指令、下移控制指令可进行不同图片之间的切换，其中，左移控制指令可以是切换到上一幅图片，右移控制指令可以是切换至下一幅图，上移控制指令可以是切换到上一图集，下移控制指令可以是切换至下一图集。

骨传导扬声器608，骨传导扬声器608设置在至少一个镜腿的内壁侧，用于将接收到的处理器602发送的音频信号转换为振动信号。其中，骨传导扬声器608将声音通过颅骨传递至人体内耳，通过将音频的电信号转变为振动信号传递到颅骨耳蜗内，再被听觉神经所感知。通过骨传导扬声器608作为发声装置减少了硬件结构厚度，重量更轻，同时无电磁辐射也不会受到电磁辐射的影响，并且具备抗噪声、防水以及解放双耳的有点。

麦克风609，可设置在镜框的下边框上，用于采集外部(用户、环境)声音并传输至处理器602进行处理。示例性的，麦克风609对用户发出的声音进行采集并通过处理器602进行声纹识别，如果识别为认证用户的声纹，则相应的可接收后续的语音控制，具体的，用户可发出语音，麦克风609将采集到的语音发送至处理器602进行识别以根据识别结果生成对应的控制指令，如“开机”、“关机”、“提升显示亮度”、“降低显示亮度”，处理器602后续根据该生成的控制指令执行对应的控制处理。

本申请实施例提供的穿戴式设备，可以借助穿戴式设备检测佩戴者的眼睛图像，进而，根据眼睛图像预测出现视疲劳反应的阈值时间，实现在佩戴者出现视疲劳反应之前即可预测出现视疲劳反应的阈值时间，从而在视疲劳出现之前执行预设疲劳缓解策略，避免用眼过度而影响视力的情况发生，可以提供与用户状态匹配的个性化服务，丰富了穿戴式设备的功能。

上述实施例中提供的用眼监控装置、存储介质及穿戴式设备可执行本申请任意实施例所提供的用眼监控方法，具备执行该方法相应的功能模块和有益效果。未在上述实施例中详尽描述的技术细节，可参见本申请任意实施例所提供的用眼监控方法。

注意，上述仅为本申请的较佳实施例及所运用技术原理。本领域技术人员会理解，本申请不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本申请的保护范围。因此，虽然通过以上实施例对本申请进行了较为详细的说明，但是本申请不仅仅限于以上实施例，在不脱离本申请构思的情况下，还可以包括更多其他等效实施例，而本申请的范围由所附的权利要求范围决定。

Claims (11)

1.一种用眼监控方法，其特征在于，包括：

获取佩戴穿戴式设备的用户的眼睛图像；

基于所述眼睛图像预测所述用户出现视疲劳反应的阈值时间；

基于所述阈值时间触发疲劳缓解事件，执行预设疲劳缓解策略。

2.根据权利要求1所述的方法，其特征在于，在获取佩戴穿戴式设备的用户的眼睛图像之后，还包括：

获取佩戴穿戴式设备的用户的头部姿态，基于所述头部姿态确定所述用户的用户姿态。

3.根据权利要求2所述的方法，其特征在于，基于所述眼睛图像预测所述用户出现视疲劳反应的阈值时间，包括：

基于所述用户姿态获取佩戴穿戴式设备的用户的眼睛状态图集，其中，所述眼睛状态图集是依照时间顺序采集的代表佩戴穿戴式设备的用户由正常状态到疲劳状态的眼睛状态图的集合；

确定所述眼睛图像在所述眼睛状态图集中的次序；

根据所述次序以及采样间隔确定所述用户出现视疲劳反应的阈值时间。

4.根据权利要求1所述的方法，其特征在于，基于所述眼睛图像预测所述用户出现视疲劳反应的阈值时间，包括：

将所述眼睛图像输入预设疲劳预测模型，确定佩戴穿戴式设备的用户出现视疲劳反应的阈值时间，其中，预设疲劳预测模型是根据依照时间顺序采集的代表佩戴穿戴式设备的用户由正常状态到疲劳状态的眼睛状态图集训练得到的机器学习模型。

5.根据权利要求1所述的方法，其特征在于，基于所述阈值时间触发疲劳缓解事件，包括：

设置与目标时间对应的闹钟，并在***时间达到所述目标时间时，通过所述闹钟触发疲劳缓解事件，其中，所述目标时间与所述阈值时间的差值为预设数值。

6.根据权利要求1至5中任一项所述的方法，其特征在于，执行预设疲劳缓解策略，包括：

若检测到所述疲劳缓解事件触发，则通过穿戴式设备的显示部件显示具有缓解视疲劳属性的图片。

7.根据权利要求1至5中任一项所述的方法，其特征在于，执行预设疲劳缓解策略，包括：

若检测到所述疲劳缓解事件触发，则提示佩戴穿戴式设备的用户调整与观看目标的距离。

8.根据权利要求7所述的方法，其特征在于，所述穿戴式设备包括智能眼镜。

9.一种用眼监控装置，其特征在于，包括：

图像获取模块，用于获取佩戴穿戴式设备的用户的眼睛状态；

时间预测模块，用于基于所述眼睛状态预测所述用户出现视疲劳反应的阈值时间；

策略执行模块，用于基于所述阈值时间触发疲劳缓解事件，执行预设疲劳缓解策略。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至8中任一项所述的用眼监控方法。

11.一种穿戴式设备，包括存储器、处理器及存储在存储器上并可在处理器运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至8中任一项所述的用眼监控方法。