CN114661152A - 一种降低视觉疲劳的ar显示控制***及方法 - Google Patents

Abstract

本发明提供一种降低视觉疲劳的AR显示控制***及方法，其中***包括颈环设备、AR眼镜装置；颈环设备包括第一身体姿态感应单元、脖颈反馈头部转动感应单元、指令反馈单元、模型分析单元以及中心处理器单元；AR眼镜装置包括第二身体姿态感应单元、IMU形式的头部姿态感应单元、单轴加速度传感器、眼球识别单元、人脸识别单元和屏幕控制单元；上述显示控制方法实现了精度更高的头眼运动趋势识别，为最终的细分场景下的AR屏幕显示控制手段提供了细微多样的控制操作，在识别真实的微量头部转动动作后可以控制当前AR眼镜装置显示虚拟全幕画面且主界面虚拟画面在虚拟全幕画面中的位置固定不变(即不随动)，从而降低视觉疲劳。

Description

一种降低视觉疲劳的AR显示控制***及方法

技术领域

本发明属于AR眼镜显示控制处理领域，尤其涉及一种降低视觉疲劳的AR显示控制***及方法。

背景技术

增强现实(Augmented Reality，简称AR)，增强现实技术也被称为扩增现实，AR增强现实技术是促使真实世界信息和虚拟世界信息内容之间综合在一起的较新的技术内容，其将原本在现实世界的空间范围中比较难以进行体验的实体信息在电脑等科学技术的基础上，实施模拟仿真处理，叠加将虚拟信息内容在真实世界中加以有效应用，并且在这一过程中能够被人类感官所感知，从而实现超越现实的感官体验。真实环境和虚拟物体之间重叠之后，能够在同一个画面以及空间中同时存在。

目前，增强现实技术在产品端的主要表现形式就包括增强虚拟现实眼镜(或称AR眼镜)；增强虚拟现实眼镜因为其较好的影视视觉体验，游戏体验以及方便佩戴便利性等特殊性能迅速得到了广泛的发展；

我研究人员发现，现有技术中的增强虚拟现实眼镜一般都是直接佩戴到头部脸颊两侧，然后在数据传输时可以采用外置设备放置口袋中，从而实现AR眼镜与外置设备之间的数据交互；同时，研究人员进一步还发现AR眼镜上的虚拟屏幕的位置往往不能动态调整，这样将会严重影响用户体验，并且会带来视觉疲劳感；

举例说明，在某个特定化的设备使用场景下，例如使用场景一：当使用者由观影状态突然切换到低头看手表或是低头看地面，此时传统的AR眼镜的屏幕可能无法识别到该运动状态导致屏幕画面无法快速切换到现实景象；同时在使用场景二条件下：当使用者观影状态时开始缓慢转头或是缓慢低头此时现有技术中AR眼镜中的虚拟屏幕自然是随着AR眼镜的本体随动的，这样就造成眼球不会自然转动而是一直盯着AR眼镜中的虚拟屏幕(研究显示，在此过程中，如果眼球能够转动是可以达到调节眼球湿润的目的，从而缓解用眼疲劳)，相反传统方式容易引起视觉疲劳；然而进一步还发现针对上述细化场景下，进行头眼数据的综合识别其难度也较高，进而影响了细化场景下对于屏幕显示控制的精度调整动作(其中，申请号是：CN201110327998.2，其利用惯性传感器对头部的各种运动状态进行判断并获取头部运动参数，并通过单一头部运动姿态数据分析，然而其很难精确到判断上述细化场景下的真实的头眼复合运动趋势)。

发明内容

为了解决上述现有技术中存在的技术问题，本申请提供了一种降低视觉疲劳的AR显示控制***及方法。

为了达到上述目的，本发明的技术方案是这样实现的：

本发明提供了一种降低视觉疲劳的AR显示控制***，包括颈环设备、AR眼镜装置；

其中，所述AR眼镜装置是佩戴到用户的耳朵两侧，所述颈环设备则是佩戴到当前用户的脖颈处；所述颈环设备包括第一身体姿态感应单元、脖颈反馈头部转动感应单元、指令反馈单元、模型分析单元以及中心处理器单元；所述AR眼镜装置包括第二身体姿态感应单元、IMU形式的头部姿态感应单元、单轴加速度传感器、眼球识别单元、人脸识别单元和屏幕控制单元；所述中心处理器单元分别与第一身体姿态感应单元、脖颈反馈头部转动感应单元、指令反馈单元、模型分析单元集成电连接；所述中心处理器单元通过指令反馈单元与AR眼镜装置上的第二身体姿态感应单元、IMU形式的头部姿态感应单元、单轴加速度传感器、眼球识别单元、人脸识别单元和屏幕控制单元通信连接；

所述颈环设备上的中心处理器单元用于同时获取所述颈环设备上的所述第一身体姿态感应单元对当前用户的身体姿态进行检测的检测结果以及获取所述AR眼镜装置上的第二身体姿态感应单元对当前用户的身体姿态进行检测的检测结果，得到当前用户的身体姿态趋势判断结果；

所述中心处理器单元还用于根据所述身体姿态趋势判断结果确定当前使用场景以及当前使用场景下对应的当前用户的显示控制模式；根据对应的显示控制模式调用当前情景条件下的头部变量信息模型；

所述模型分析单元根据调用的当前用户的头部变量信息模型对当前用户的有效的目标综合运动趋势检测数据进行计算，得到相应的场景目标复合运动计算趋势量；

所述中心处理器单元还用于根据不同显示控制模式下的不同的场景目标复合运动计算趋势量，通过指令反馈单元下达控制指令实施对AR眼镜装置上屏幕位置调整控制操作。

相应地，本发明提供了一种降低视觉疲劳的AR显示控制方法，采用上述降低视觉疲劳的AR显示控制***实时显示控制操作，包括如下操作步骤：

由颈环设备上的中心处理器单元同时获取所述颈环设备上的所述第一身体姿态感应单元对当前用户的身体姿态进行检测的检测结果以及获取所述AR眼镜装置上的第二身体姿态感应单元对当前用户的身体姿态进行检测的检测结果，得到当前用户的身体姿态趋势判断结果；

根据所述身体姿态趋势判断结果确定当前使用场景以及当前使用场景下对应的当前用户的显示控制模式；根据对应的显示控制模式调用当前情景条件下的头部变量信息模型；

根据调用的当前用户的头部变量信息模型对当前用户的有效的目标综合运动趋势检测数据进行计算，得到相应的场景目标复合运动计算趋势量；

根据不同显示控制模式下的不同的场景目标复合运动计算趋势量，实施对AR眼镜装置上屏幕位置调整控制操作。

本申请实施例提供的上述技术方案与现有技术相比具有如下优点：

本申请提供了一种降低视觉疲劳的AR显示控制***及方法；其在上述降低视觉疲劳的AR显示控制方法执行过程中，其针对场景模式不同，其摒弃了传统单一头部转动运动以及单一控制单元采集处理等显示控制方式，而是采用颈环设备与AR眼镜装置实现数据交互以及控制交互，在数据检测方面先对两者模式进行确定调用的模型，然后针对当前用户的特点调用其模型参数等，最终实现了精度更高的头眼运动趋势识别方法，为最终的细分场景下的AR屏幕显示控制手段提供了细微多样的控制操作。

附图说明

图1a是本申请实施例的降低视觉疲劳的AR显示控制***的硬件设备结构示意图；

图1b是本申请实施例的降低视觉疲劳的AR显示控制***的硬件设备使用状态示意图；

图2是本申请实施例的降低视觉疲劳的AR显示控制***的双模交互原理示意图；

图3是本申请实施例的降低视觉疲劳的AR显示控制***中的中心处理器单元与模型分析单元交互控制原理示意图；

图4是本申请实施例的降低视觉疲劳的AR显示控制方法的总体流程示意图；

图5是本申请实施例的降低视觉疲劳的AR显示控制系方法的步骤根据所述身体姿态趋势判断结果确定当前用户的显示控制模式的执行过程示意图；

图6是本申请实施例的降低视觉疲劳的AR显示控制系方法的步骤剔除操作得到目标综合运动趋势检测数据的执行过程示意图；

图7是本申请实施例的降低视觉疲劳的AR显示控制系方法的步骤根据调用的当前用户的头部变量信息模型对当前用户的有效的目标综合运动趋势检测数据进行计算，得到相应的场景目标复合运动计算趋势量执行过程示意图；

图8是本申请实施例的降低视觉疲劳的AR显示控制系方法的步骤S30执行过程一具体实施流程示意图；

图9是本申请实施例的降低视觉疲劳的AR显示控制系方法的步骤头部运动变量数值得到第一运动属性变量量化数值的执行过程示意图；

图10是本申请实施例的降低视觉疲劳的AR显示控制系方法的步骤根据所述眼球变化数值得到第二运动属性变量量化数值和第三运动属性变量量化数值的执行过程示意图。

标号：颈环设备100；第一身体姿态感应单元101；脖颈反馈头部转动感应单元102；指令反馈单元103；模型分析单元104；中心处理器单元105；红外头部感应单元106；本地数据调用子单元1041；模型参数调用子单元1042；运算评估子单元1043；评估发送子单元1051；转化指令子单元1052；指令执行子单元1053；

AR眼镜装置200；第二身体姿态感应单元201；IMU形式的头部姿态感应单元202；单轴加速度传感器203；眼球识别单元204；人脸识别单元205；屏幕控制单元206；红外感应收发器207；模拟控制电路2801；向光机设备2802；左眼转动监测单元2901；右眼转动监测单元2902；

远程服务器300；

数据线400。

具体实施方式

下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一

如图2-图3所示，本发明实施例提供了一种降低视觉疲劳的AR显示控制***，包括颈环设备100、AR眼镜装置200(以及远程服务器300)；

其中，AR眼镜装置200是佩戴到当前用户的耳朵两侧，颈环设备100则是佩戴到当前用户的脖颈处(其中用户头部通过标号A进行示意)；颈环设备100包括第一身体姿态感应单元101、脖颈反馈头部转动感应单元102、指令反馈单元103、模型分析单元104以及中心处理器单元105；AR眼镜装置200包括第二身体姿态感应单元201、IMU形式的头部姿态感应单元202、单轴加速度传感器203、眼球识别单元204、人脸识别单元205和屏幕控制单元206；需要说明的是，上述颈环设备100、AR眼镜装置200以及用户头部的空间位置存在相互关联的空间位置关系，具体参见图1a以及图1b，即AR眼镜装置200戴在用户头部的耳朵两侧，颈环设备100是挂载到用户头部底部的脖颈处；另外上述AR眼镜装置200的镜腿处通过接口以及数据线400与颈环设备100实现通信连接；

上述颈环设备100上的中心处理器单元105用于同时获取颈环设备上的第一身体姿态感应单元101对当前用户的身体姿态进行检测的检测结果以及获取AR眼镜装置上的第二身体姿态感应单元201对当前用户的身体姿态进行检测的检测结果，得到当前用户的身体姿态趋势判断结果；

上述中心处理器单元105还用于根据身体姿态趋势判断结果确定当前使用场景以及当前使用场景下对应的当前用户的显示控制模式；根据对应的显示控制模式调用当前情景条件下的头部变量信息模型；

上述模型分析单元104根据调用的当前用户的头部变量信息模型对当前用户的有效的目标综合运动趋势检测数据进行计算，得到相应的场景目标复合运动计算趋势量；

上述中心处理器单元105还用于根据不同显示控制模式下的不同的场景目标复合运动计算趋势量，通过指令反馈单元下103达控制指令实施对AR眼镜装置上屏幕位置调整控制操作。上述颈环设备100、AR眼镜装置200各自内部控制***构成的双模交互原理图可以参见图1a和图1b。

在本实施例具体技术方案中，颈环设备100上的第一身体姿态感应单元101用于通过当前用户的脖颈处位置对当前用户的身体姿态进行检测并得到检测结果；AR眼镜装置上的第二身体姿态感应单元用于通过当前用户的头部脸颊处位置对当前用户的身体姿态进行检测并得到检测结果；AR眼镜装置上的第二身体姿态感应单元与颈环设备上的第一身体姿态感应单元一同判断当前用户的身体姿态，判断结果为当前用户为立姿或是躺姿。

在本实施例具体技术方案中，其中，上述颈环设备100上的上述脖颈反馈头部转动感应单元102为红外头部感应单元；上述AR眼镜装置200上两个镜腿处则安装红外感应收发器207；其中，图1a中一处虚线示意了AR眼镜装置上的镜腿处的红外感应收发器207与颈环设备上的红外头部感应单元106之间的信号交互，另外一处虚线示意了AR眼镜装置200上的IMU形式的头部姿态感应单元202、单轴加速度传感器203、眼球识别单元204、人脸识别单元205等传感运算单元与颈环设备100上的中心处理器单元105等器件之间的信号交互过程；

上述AR眼镜装置200上的红外感应收发器207用于在具体实时红外检测时是通过同侧的颈环设备100上的红外头部感应单元106向同侧的镜腿处实现红外测距，根据红外测距距离变化以判断得到当前用户的头部转动动作的检测识别其转动方向；AR眼镜装置上的IMU形式的头部姿态感应单元用于对头部转动动作识别趋势进行初始判断，颈环设备100上的脖颈反馈头部转动感应单元102对头部转动动作识别趋势进行再次判断；(需要补充的是，因为镜腿有两个分别为人体头部的左侧以及右侧，同样本发明实施例中的即颈环设备100上的红外头部感应单元106主动向同侧的镜腿发送红外检测信号，并且降低视觉疲劳的AR显示控制***中的颈环设备也需要左右两侧安装红外头部感应单元106；在红外测距时由颈环设备100上的红外头部感应单元106主动向同侧的镜腿发送红外测距信号，然后由同侧的镜腿处的红外感应收发器207反馈，以测量同侧的AR眼镜装置200上的镜腿与颈环设备之间的距离，根据红外测距距离变化以判断得到当前用户的头部转动动作的检测识别其转动方向(当距离变大时则证明头部转动方向远离的颈环设备，当红外检测距离变小则证明头部转动方向靠近颈环设备，从而可以判断向左转转头还是向右转头，甚至可以判断低头还是抬头)；此处实现了颈环设备与AR眼镜装置之间的第一次双模交互控制，实现了对头部转动动作识别趋势判断)。

在AR眼镜装置上的IMU形式的头部姿态感应单元202与颈环设备上的红外头部感应单元106一同判断当前用户的IMU形式的头部姿态感应单元监测的头部转动动作识别趋势与红外头部感应单元检测的头部转动动作识别趋势不一致时(即上述初判与再次判断的识别结果不一致)，则判断当前采集的综合运动趋势检测数据为无效采集数据；同时当发现综合运动趋势检测数据出现伪检测量时，则控制AR眼镜装置上的IMU形式的头部姿态感应单元进行初始化校准操作；

在判断当前用户的IMU形式的头部姿态感应单元202监测的头部转动动作识别趋势与红外头部感应单元106检测的头部转动动作识别趋势一致时，则再判断对当前采集的综合运动趋势检测数据是否存在干扰采集；只有判断当前用户的IMU形式的头部姿态感应单元监测的头部转动动作识别趋势与红外感应检测的头部转动动作识别趋势一致且当前采集的综合运动趋势检测数据无干扰采集认定为当前采集的综合运动趋势检测数据为有效采集数据(即有效数据才会输入后续的模型中)；

中心处理器单元用于对将当前有效采集的综合运动趋势检测数据作为目标综合运动趋势检测数据输入到当前用户的头部变量信息模型中进行计算操作。

在本实施例具体技术方案中，IMU形式的头部姿态感应单元202以及单轴加速度传感器203用于对当前用户的头部运动变量进行采集，然后根据采集信息计算得到头部运动变量数值；头部运动变量数值为第一运动属性变量量化数值；

眼球识别单元204用于对当前眼球进行多个模拟分区划分，同时获取当前眼球上的瞳孔形状特征制作当前瞳孔的圆形瞳孔模板；获取当前眼球的单帧图像，从单帧图像的整个图像的自左向右，自上而下动态搜索多个模拟分区上图像，并且计算当前圆形瞳孔模板与当前眼球的单帧图像上每个模拟分区上图像的相似度以确定瞳孔的匹配位置；确定与当前圆形瞳孔模板的图像相似度最大的模拟分区，通过当前模拟分区在当前眼球的单帧图像的相对位置确定为瞳孔的目标位置点；根据瞳孔的目标位置点的变化量计算眼球转动信息；将眼球转动信息的计算结果作为第二运动属性变量量化数值；同时获取当前眼球的单帧图像，采用图像识别方法从单帧图像中识别判断当前帧是否为眨眼图像，根据眨眼图像的识别结果计算当前第三运动属性变量量化数值；

人脸识别单元205用于在佩戴时可以进行预备初始化设置，在进行预备初始化设置时***对当前用户的面部进行识别，识别得到当前用户的面部特征，从而识别得到当前用户的编号，根据当前用户的编号确定当前用户的模型参数以及当前用户对应的运动趋势量标准阈值；

屏幕控制单元206用于接收指令反馈单元下达控制指令，并对对AR眼镜装置上的光机设备进行输出控制。

在本实施例具体技术方案中，上述模型分析单元104还包括本地数据调用子单元1041、模型参数调用子单元1042以及运算评估子单元1043；

其中，本地数据调用子单元1041用于确定有效的检测量，对将当前有效采集的综合运动趋势检测数据作为目标综合运动趋势检测数据输入到当前用户的头部变量信息模型中进行计算操作；针对当前用户的面部图像进行识别，通过预存在颈环设备上的本地数据库匹配当前用户对应的头部变量信息模型；其中，本地数据库存储在颈环设备内置的本地存储器上；同时利用远程云服务器提供算力计算，对此不再说明；利用本地数据库匹配调用当前用户的头部变量信息模型，然后对有效的检测量进行分析处理；在对有效的检测量进行分析处理时，首先对头部运动变量(这里是转动以及或低头的运动变化量)进行采集信息计算得到头部运动变量数值，根据头部运动变量数值得到第一运动属性变量量化数值；同时对眼球运动变量信息进行采集信息计算得到眼球变化数值，根据眼球变化数值得到第二运动属性变量量化数值和第三运动属性变量量化数值；

上述模型参数调用子单元1042用于调用当前用户的头部变量信息模型的模型参数(以确定有效的头部运动趋势，针对那种无效的头部运动趋势显然在之前的伪检测数据就已经处理了，这样就避免了伪低头或是伪转动动作的识别计算了)；根据第一运动属性变量量化数值以及第二运动属性变量量化数值、第三运动属性变量量化数值，使用调用的头部变量信息模型以及对应用户的模型参数，计算得到有效的相应的目标综合运动趋势检测数据对应的场景目标复合运动计算趋势量；

上述运算评估子单元1043用于根据场景目标复合运动计算趋势量与当前场景下的运动趋势量标准阈值之间的关系判断当前用户的场景目标复合运动计算趋势量对应的头眼复合运动变化量等级；头眼复合运动变化量等级是指头部运动空间位移变化量以及眼部微观变化量的量化程度，分为微量变化以及超量变化两个级别；在优选的技术方案中，或是将其分为微量变化以及超量变化、极量变化三个级别；场景目标复合运动计算趋势量＝(第一运动属性变量量化数值×当前用户第一运动属性权重+第二运动属性变量量化数值×当前用户第二运动属性权重+第三运动属性变量量化数值×当前用户第三运动属性权重)除以检测时间；其中，当前场景下的运动趋势量标准阈值为单位时间内当前场景下的运动趋势量临界值；其中，第一运动属性是头部转动运动量，第二运动属性是眼球转动运动量，第三运动属性是眨眼次数运动量；

在本实施例具体技术方案中，上述中心处理器单元105还包括评估发送子单元1051、转化指令子单元1052、指令执行子单元1053；上述中心处理器单元105根据不同显示控制模式下的不同的场景目标复合运动计算趋势量，实施对AR眼镜装置上屏幕位置调整控制操作，具体执行时则通过上述评估发送子单元1051、转化指令子单元1052、指令执行子单元1053实现，其中：

由远程服务器300将根据场景目标复合运动计算趋势量计算的评估结果发送给颈环设备上的中心处理器单元上；上述评估发送子单元1051用于接收发送给颈环设备上的评估结果；

上述转化指令子单元1052用于根据评估结果转化为屏幕位置调控指令，并发送给AR眼镜装置上的虚拟成像装置(即光机设备2802，具体通过AR眼镜装置上的中心处理器通过模拟控制电路2801向光机设备2802输出电控控制信号)；上述指令执行子单元1053用于对当前头眼复合运动变化量等级进行判断；如果判断为微量变化(认定为微量转动更为接近)，则实现控制当前AR眼镜装置显示虚拟全幕画面且主界面虚拟画面在虚拟全幕画面中的位置固定不变(即不随动)；如果判断为超量变化(认定为明显转动更为接近)，则控制切换当前AR眼镜装置显示虚拟全幕画面为显示实景画面的动作或是切换当前AR眼镜装置显示虚拟全幕画面且主界面虚拟画面在虚拟全幕画面中的位置随动动作。

在本实施例具体技术方案中，本地数据调用子单元1041在执行“对头部运动变量(这里是转动以及或低头的运动变化量)进行采集信息计算得到头部运动变量数值，根据头部运动变量数值得到第一运动属性变量量化数值”，具体包括如下技术方案：在AR眼镜装置的镜体本体的镜架中心位置处安装有IMU形式的头部姿态感应单元，将单轴加速度传感器直接设置安装在AR眼镜装置的镜架两侧端处；通过IMU形式的头部姿态感应单元以及单轴加速度传感器对当前用户的头部运动变量进行采集(此采集数据已经识别过了是有效的综合运动趋势检测数据的一部分)，然后根据采集信息计算得到头部运动变量数值；头部运动变量数值就是第一运动属性变量量化数值，其对此不再赘述。需要说明的是，通过颈环设备与AR眼镜本体共同判断，识别到当前用户立姿或是躺姿，确定相应的显示控制模式，调用相应的模型；同时在输入模型之前，去除检测数据计算有效的场景目标复合运动计算趋势量实现相应的后续控制处理。

在本实施例具体技术方案中，本地数据调用子单元1041在执行“同时对眼球运动变量信息进行采集并根据采集信息计算得到眼球变化数值，根据眼球变化数值得到第二运动属性变量量化数值和第三运动属性变量量化数值”，具体包括如下技术方案：

本地数据调用子单元1041用于对当前眼球进行多个模拟分区划分，同时获取当前眼球上的瞳孔形状特征制作当前瞳孔的圆形瞳孔模板；获取当前眼球的单帧图像，从单帧图像的整个图像的自左向右，自上而下动态搜索多个模拟分区上图像，并且计算当前圆形瞳孔模板与当前眼球的单帧图像上每个模拟分区上图像的相似度以确定瞳孔的匹配位置；

确定与当前圆形瞳孔模板的图像相似度最大的模拟分区，通过当前模拟分区在当前眼球的单帧图像的相对位置确定为瞳孔的目标位置点(或称上述的瞳孔的匹配位置)；

根据瞳孔的目标位置点的变化量计算眼球转动信息；在第一显示控制模式下(坐立状态下)，认定眼球转动变化量未达阈值则认定；在第一显示控制模式下(即躺姿状态下)，认定眼球转动变化量；对此本申请实施例优选采用模板匹配法；根据瞳孔的形状特征，可以利用圆形模板，在采集图像的窗口自左向右，自上而下动态搜索瞳孔的位置，模板匹配在一幅大的图像中搜索小的感兴趣的图像，它通过计算模板和匹配区域的相似程度，以最相似位置为匹配点，来确定瞳孔的目标位置点，最终根据瞳孔的目标位置点的变化量计算眼球转动信息。

将眼球转动信息的计算结果作为第二运动属性变量量化数值；

同时获取当前眼球的单帧图像，采用图像识别方法从单帧图像中识别判断当前帧是否为眨眼图像(眨眼瞬间眼球图像被眼皮覆盖容易通过图像识别获取的识别结果)，根据眨眼图像的识别结果计算当前第三运动属性变量量化数值(即眨眼次数)；

在硬件方面本发明实施例同时还设计了左眼转动监测单元2901、右眼转动监测单元2902安装在AR眼镜装置上用以配合向本地数据调用子单元1041发送的眼球的图像信息；上述两者转动监测单元还可通过对眼球进行模拟分区划分得到数量庞大的模拟分区的基数，然后对瞳孔的目标位置点进行确定，在眼球转动移动时，根据瞳孔的目标位置点的变化量来计算眼球转动信息(或是将上述信息发送给本地数据调用子单元1041，由本地数据调用子单元1041实现对计算眼球转动信息)，具体内容详见实施例二提供的降低视觉疲劳的AR显示控制方法。

实施例二

参见图4，本发明实施例二提供了一种降低视觉疲劳的AR显示控制方法，其应用了上述实施例一提供的降低视觉疲劳的AR显示控制***进行显示控制操作，包括如下操作步骤：

详见实施例一，上述降低视觉疲劳的AR显示控制***包括颈环设备、AR眼镜装置(上述颈环设备、AR眼镜装置是构成本控制***的双模双控***)，其中，AR眼镜装置是佩戴到用户的耳朵两侧，上述颈环设备则是佩戴到用户的脖颈处；其中，颈环设备包括第一身体姿态感应单元、脖颈反馈头部转动感应单元、指令反馈单元、模型分析单元以及中心处理器单元；AR眼镜装置包括第二身体姿态感应单元、IMU形式的头部姿态感应单元、单轴加速度传感器、眼球识别单元、人脸识别单元和屏幕控制单元；

步骤S10，(主要由颈环设备上的中心处理器单元)同时获取颈环设备上的第一身体姿态感应单元对当前用户的身体姿态进行检测的检测结果以及获取AR眼镜装置上的第二身体姿态感应单元对当前用户的身体姿态进行检测的检测结果，得到当前用户的身体姿态趋势判断结果(注意此时的颈环设备上的第一身体姿态感应单元也好与AR眼镜装置上的第二身体姿态感应单元也好，两者都是检测身体姿态趋势，而不是让AR眼镜装置上的第二身体姿态感应单元去感应计算头部运动趋势)；

步骤S20，中心处理器单元根据身体姿态趋势判断结果(立姿还是躺姿进行判断)确定当前使用场景以及当前使用场景下对应的当前用户的显示控制模式；根据对应的显示控制模式调用当前情景条件下的头部变量信息模型(并同时识别当前用户，针对当前用户调用当前情景条件下的当前用户的头部变量信息模型)；

模型分析单元根据调用的当前用户的头部变量信息模型对当前用户的有效的目标综合运动趋势检测数据(即头眼运动数据量)进行计算，得到相应的场景目标复合运动计算趋势量；头眼运动数据量包括头部与眼球运动信息，在此特指：AR眼镜装置上的IMU形式的头部姿态感应单元获取的头部转动以及其他单元获取的眼球转动信息；且在本实施例中必须是AR眼镜装置上获取的检测量信息；上述身体姿态趋势判断结果主要分为两种情况：情况1：当前用户身体姿态呈现立着状态(包括坐立或是站立)；情况2：当前用户身体姿态呈现躺姿状态；如果是坐立或站立，则应当实现对应的控制策略(即第一显示控制模式)；然而如果是躺姿状态，则应当调用躺姿模式状态下的控制策略(即第二显示控制模式)；上述技术方案已经说明，根据对应的显示控制模式调用当前情景条件下的头部变量信息模型，然而实际上是两种场景情况，因此也会有两种不同的头部变量信息模型，具体地，上述头部变量信息模型是两套场景下的模型，然而该头部变量信息模型是根据基于身体姿态趋势以及头部运动趋势、眼球运动趋势三者构建的头部变量信息模型，该头部变量信息模型是一种机器学习后的训练模型，同时其模型参数是针对多次当前用户使用习惯训练学习得到的模型参数；

步骤S30，中心处理器单元根据不同显示控制模式下的不同的场景目标复合运动计算趋势量，通过指令反馈单元下达控制指令实施对AR眼镜装置上屏幕位置调整控制操作。

参见图5，在本实施例二的具体实施方式中，根据身体姿态趋势判断结果确定当前用户的显示控制模式，具体包括如下操作步骤：

步骤S2010，根据身体姿态趋势判断结果判断当前用户立姿或者躺姿；

步骤S2011，如果判断当前用户为立姿状态则调用第一显示控制模式；如果当前用户为躺姿状态则调用第二显示控制模式；其中，第二显示控制模式中的当前场景下的运动趋势量标准阈值小于第一显示控制模式中的当前场景下的运动趋势量标准阈值；

需要说明的是，根据上述两种显示控制模式实施对应的控制策略。通过颈环设备上的第一身体姿态感应单元(IMU芯片只通过识别脖颈处运动趋势识别身体姿态)与AR眼镜本体上的第二身体姿态感应单元(也可以是IMU芯片)共同判断，识别到当前用户为躺姿状态或是立姿状态，然后为后续识别有效的场景目标复合运动计算趋势量提供的前序的技术基础；上述颈环设备上的第一身体姿态感应单元(一种IMU芯片，即惯性测量单元)主要集成了陀螺仪以及配合加速度传感器等，均采用MEMS技术，由于其是安装在颈部处的所以其不能感应头部的运动趋势，其只用于感应身体运动趋势；即颈环设备上实际安装了第一身体姿态感应单元和脖颈反馈头部转动感应单元；当然两者也可以集成到一个芯片上来处理，加速度传感器以及陀螺仪对加速度以及角速度计算；加速度传感器实现对人体x方向加速度、人体y方向加速度、人体z方向加速度进行计算，同时陀螺仪采用对陀螺仪x方向、陀螺仪y方向、陀螺仪z方向等角速度提取特征进行身体姿态的计算识别，以上技术为常规技术手段，对此不再赘述。

在本实施例二的具体实施方式中，在执行计算之前(即根据调用的当前用户的头部变量信息模型对当前用户的有效的综合运动趋势检测数据进行计算之前)，还包括对AR眼镜装置上的IMU形式的头部姿态感应单元发生IMU漂移产生的综合运动趋势检测数据的伪检测量以及AR眼镜装置被动干扰产生的综合运动趋势检测数据的干扰检测量进行识别，并进行剔除操作得到目标综合运动趋势检测数据，具体包括如下操作步骤：

首先，在本申请技术方案中，伪检测量以及干扰检测量需要进行记录出来，然后根据记录出来的结果将其从诸多采集数据中除去(即过滤删除)，才能得到目标综合运动趋势检测数据(即有效的目标综合运动趋势检测数据)；本申请实施例正是在硬件设备实现AR眼镜装置以及颈环设备的双交互双模(双检测)控制模式下完成对AR眼镜装置上采集的综合运动趋势检测数据进行正确数据与伪数据以及干扰数据的判断，不仅可以检测结果实现对伪检测量的识别，还能进一步识别到干扰情况的采集数据，将其也剔除后得到目标综合运动趋势检测数据；这样一来技术效果来看：增强了实际的使用效果，降低了伪检测量以及干扰检测量的出现，避免出现问题；

参见图6，步骤S201，实时对综合运动趋势检测数据(即头眼运动数据量)进行采集；

步骤S202，通过AR眼镜装置上的IMU形式的头部姿态感应单元对当前用户的头部转动动作进行检测识别(具体是指左侧转动或是右侧转动动作)，同时通过颈环设备上的红外头部感应单元对当前用户的头部转动动作进行检测识别；其中，上述红外头部感应单元设置在上述颈环设备的两侧的末端处，并同时在AR眼镜装置上两个镜腿处安装红外感应收发器；红外头部感应单元用于在具体实施红外检测时通过同侧的颈环设备上的红外头部感应单元向同侧的镜腿处的红外感应收发器实现红外测距，根据红外测距距离变化以判断得到当前用户的头部转动动作的检测识别其转动方向；

其中，上述红外头部感应单元设置在上述颈环设备的两侧的末端处，并同时在AR眼镜装置上两个镜腿处安装红外感应收发器，在具体实时红外检测时是通过同侧的颈环设备上的红外头部感应单元向同侧的镜腿处(红外感应收发器)实现红外测距，从而在头部转动后就可以判断出当前用户的头部转动趋势，例如：在微量缓慢向左转以及微量缓慢向右侧转动动作时，当两者检测组件都是认定是向同侧转动时才会认定当前的AR眼镜装置上的头部姿态感应单元没有发生明显漂移；

研究发现，现有的IMU形式的头部姿态感应单元在发生明显的漂移缺陷后，会出现头部微量转动时头部姿态感应单元识别出错误的转动方向，这样一来，通过红外检测以及头部转动检测识别两者方式可以降低综合运动趋势检测数据出现伪检测量，从而得到有效的检测量，为后续进一步计算提供了技术基础；需要说明的是，在本申请实施例的具体技术方案中，上述IMU通过跟踪线性和旋转惯量的变化来测量人体运动趋势。它们至少由两种不同类型的传感器，加速度计和陀螺仪组成。理想情况下，将加速度计或陀螺仪组合在单个芯片上，三个轴可以提供更好的轴对齐，并且可以确保两种传感器之间的最佳轴对齐。然而在异常情况下，则可能会出现IMU漂移的问题。

在判断当前用户的IMU形式的头部姿态感应单元监测的头部转动动作识别趋势与红外头部感应单元检测的头部转动动作识别趋势不一致时，则判断当前采集的综合运动趋势检测数据为无效采集数据；同时当发现综合运动趋势检测数据出现伪检测量时，则控制AR眼镜装置上的IMU形式的头部姿态感应单元进行初始化校准操作(同时还要对当前IMU芯片进行数据纠偏，纠偏后再进行采集，这样可以提供计算精度)；

在判断当前用户的IMU形式的头部姿态感应单元监测的头部转动动作识别趋势与红外头部感应单元检测的头部转动动作识别趋势一致时，则再判断对当前采集的综合运动趋势检测数据是否存在干扰采集；

步骤S203，只有判断当前用户的IMU形式的头部姿态感应单元监测的头部转动动作识别趋势与红外感应检测的头部转动动作识别趋势一致且当前采集的综合运动趋势检测数据无干扰采集认定为当前采集的综合运动趋势检测数据为有效采集数据；

步骤S204，对将当前有效采集的综合运动趋势检测数据作为目标综合运动趋势检测数据输入到当前用户的头部变量信息模型中进行计算操作。

需要说明的是，当前IMU漂移或是其他伪数据进行检测；同时AR眼镜装置上的感应单元还可以对当前的干扰检测量进行识别，两者综合进行校准操作，针对不同情况实现有针对性的处理操作。同时在当前用户的IMU监测的头部转动动作识别趋势与红外头部感应单元检测的头部转动动作识别趋势不一致时就可以判定当前AR眼镜装置上的IMU漂移，才认定当前用户的采集数据是有效的或是真实有效的；但如果检测当前任意一个检测数据出现伪检测量则就需要发送预警消息；正常情况下，正常运行不做任何的处理操作。

在本实施例的上述技术方案中，上述采集对象为最终有效的检测量；在头部以及眼球发生动作变化过程中，一旦发生当前IMU感应单元的运行参数异常(具体表现为IMU显著漂移)，都对当前检测量造成伪数据缺陷，进而影响后续的运动趋势识别以及模型计算。

参见图7，在本实施例二的具体实施方式中，根据调用的当前用户的头部变量信息模型对当前用户的有效的目标综合运动趋势检测数据(即头眼运动数据量)进行计算，得到相应的场景目标复合运动计算趋势量(具体详见步骤S205-步骤S207)；

经过上述步骤S204，首先确定有效的检测量，对将当前有效采集的综合运动趋势检测数据作为目标综合运动趋势检测数据输入到当前用户的头部变量信息模型中进行计算操作；

步骤S205，针对当前用户的面部图像进行识别，通过预存在颈环设备上的本地数据库匹配当前用户对应的头部变量信息模型；其中，本地数据库存储在颈环设备内置的本地存储器上；同时利用远程云服务器提供算力计算，对此不再说明；利用本地数据库匹配调用当前用户的头部变量信息模型，然后对有效的检测量进行分析处理；

在对有效的检测量进行分析处理时，首先对头部运动变量(这里是转动以及或低头的运动变化量)进行采集信息计算得到头部运动变量数值，根据头部运动变量数值得到第一运动属性变量量化数值；同时对眼球运动变量信息进行采集信息计算得到眼球变化数值，根据眼球变化数值得到第二运动属性变量量化数值和第三运动属性变量量化数值；

步骤S206，调用当前用户的头部变量信息模型的模型参数(以确定有效的头部运动趋势，针对那种无效的头部运动趋势显然在之前的伪检测数据就已经处理了，这样就避免了伪低头或是伪转动动作的识别计算了)；根据第一运动属性变量量化数值以及第二运动属性变量量化数值、第三运动属性变量量化数值，使用调用的头部变量信息模型以及对应用户的模型参数，计算得到有效的相应的目标综合运动趋势检测数据对应的场景目标复合运动计算趋势量；

步骤S207，根据场景目标复合运动计算趋势量与当前场景下的运动趋势量标准阈值之间的关系判断当前用户的场景目标复合运动计算趋势量对应的头眼复合运动变化量等级；头眼复合运动变化量等级是指头部运动空间位移变化量以及眼部微观变化量的量化程度，分为微量变化以及超量变化两个级别；在优选的技术方案中，或是将其分为微量变化以及超量变化、极量变化三个级别；

场景目标复合运动计算趋势量＝(第一运动属性变量量化数值×当前用户第一运动属性权重+第二运动属性变量量化数值×当前用户第二运动属性权重+第三运动属性变量量化数值×当前用户第三运动属性权重)除以检测时间；其中，当前场景下的运动趋势量标准阈值为单位时间内当前场景下的运动趋势量临界值；其中，第一运动属性是头部转动运动量，第二运动属性是眼球转动运动量，第三运动属性是眨眼次数运动量；

需要说明的是，当场景目标复合运动计算趋势量小于该单位时间内当前场景下的运动趋势量临界值时则认定当前头眼复合运动变化量等级为微量变化的等级；然而如果场景目标复合运动计算趋势量大于或者等于该单位时间内当前场景下的运动趋势量临界值时则认定当前头眼复合运动变化量等级为超量变化的等级；这样根据当前场景下的运动趋势量标准阈值之间的数值关系；根据当前场景下的运动趋势量标准阈值与场景目标复合运动计算趋势量的数值关系就可以量化复合的头部运动数值，然而该场景目标复合运动计算趋势量是真正依托了双模的两级参考参数得到的指导结果(其中双模交互是指颈环设备与AR眼镜装置之间的身体姿态识别交互，头部运动协同识别交互，模型以及数据参数传输等交互，其中两级参考参数是对应用户的模型参数作为第一级参数(其中模型参数包括运动趋势量标准阈值以及当前用户对应属性权重参数)，当前的场景模式作为第二级参数)，根据这样的指导结果就可以实现相应的显示控制模式的输出了。另外，本发明实施例还设计了“极量运动趋势量标准阈值”，当场景目标复合运动计算趋势量大于“极量运动趋势量标准阈值”则认定当前为极量变化，一般地“极量运动趋势量标准阈值”大于上述当前场景下的运动趋势量标准阈值；认定极量变化则将屏幕上的虚拟画面切换实景画面显示；

其中，第二显示控制模式(躺姿)中的当前场景下的运动趋势量标准阈值小于第一显示控制模式(立姿)中的当前场景下的运动趋势量标准阈值(一般可以将第二显示控制模式(躺姿)中的当前场景下的运动趋势量标准阈值设置为第一显示控制模式(立姿)中的当前场景下的运动趋势量标准阈值60-80％的取值数值；

因为躺姿状态时更检测会不敏感。研究人员发现，躺姿状态下颈环设备跟AR眼镜装置进行交互判断，然后当前用户其为躺姿其与立姿时场景目标复合运动计算趋势量与最终的实际需求有很大不同；在立姿时计算得到某个数值下的场景目标复合运动计算趋势量(比如：1.311)已经超过了当前场景下的运动趋势量标准阈值(比如：1.000)时，则认定其为超量变化(例如超量转头)，则就会判定控制屏幕与头部转动随动(这样就满足了当前用户的真实需求)；然而同样在当前用户初状态为躺姿时，在躺姿时则会容易发生IMU发生漂移或是伪转头以及伪低头等问题。前期检测数据是准确的，但是仍然是一种是“假低头，假转动惯量”的情况，因为，在躺姿情况下会有很多种情况是当前用户在翻身，或者侧躺枕头上然后转头，或是头部在枕头上摆动，这种微小摇头行为也是常见的，此时计算的场景目标复合运动计算趋势量就会很不敏感，此时将第二显示控制模式的当前场景下的运动趋势量标准阈值取值的数值就要更小，这样控制使当前虚拟画面的随动控制，甚至检测到发生极量变化后，直接认定明显转头的运动趋势，然后直接将屏幕上的虚拟画面切换实景画面显示。

参见图8，在本实施例二的具体实施方式中，步骤S30，根据不同显示控制模式下的不同的场景目标复合运动计算趋势量，实施对AR眼镜装置上屏幕位置调整控制操作：

步骤S301，由远程服务器将根据场景目标复合运动计算趋势量计算的评估结果发送给颈环设备上的中心处理器单元上；

步骤S302，由颈环设备上的中心处理器单元根据评估结果转化为屏幕位置调控指令，并发送给AR眼镜装置上的虚拟成像装置；

步骤S303，颈环设备上的中心处理器单元其对当前头眼复合运动变化量等级进行判断；如果判断为微量变化(认定为微量转动更为接近)，则实现控制当前AR眼镜装置显示虚拟全幕画面且主界面虚拟画面在虚拟全幕画面中的位置固定不变(即不随动)；如果判断为超量变化(认定为明显转动更为接近)，则控制切换当前AR眼镜装置显示虚拟全幕画面为显示实景画面的动作或是切换当前AR眼镜装置显示虚拟全幕画面且主界面虚拟画面在虚拟全幕画面中的位置随动动作。

本发明实施例采用的上述技术方案实际可达到如下应用效果；当检测到头部微小转动位移的情况下(转动位移包括低头转动，平视转动等)，此时可控制屏幕固定在空中(即显示虚拟全幕画面且主界面虚拟画面在虚拟全幕画面中的位置固定不变)，而不随头而动，类似传统看电视的效果。然而当检测到用户靠在沙发上或者躺下时，头部转动等产生大的位移情况下，人的意图是换了姿势和方向，则屏幕自动跟随到眼前(即实现当前AR眼镜装置显示虚拟全幕画面且主界面虚拟画面在虚拟全幕画面中的位置随动动作)或是屏幕切换实景显示(即当前AR眼镜装置显示虚拟全幕画面为显示实景画面的动作)。

本发明实施例采用的上述技术方案可根据人头部的移动特性，通过多种感应传感器获取头部的移动特征以及双模控制识别以及交互控制，通过模型分析以及学习头部移动特征的技术特征，最终由实现虚拟屏幕的区域位置调整处理进行不同的屏幕位置调整以及切换，以达到减少视觉疲劳以及提升用户体验的技术目的。

实施例三

本实施例三采用的步骤S10-步骤S20操作完全一致；且在优选的技术方案中，上述步骤S301与步骤S302的执行方式一致，然而步骤S303应当按照另外一种方式执行，即步骤S303执行时，颈环设备上的中心处理器单元其对当前头眼复合运动变化量等级进行判断；如果判断为微量变化(认定为微量转动更为接近)，则实现控制当前AR眼镜装置显示虚拟全幕画面且主界面虚拟画面在虚拟全幕画面中的位置固定不变(即不随动)；如果判断为超量变化(认定为明显转动更为接近)，则控制当前AR眼镜装置显示虚拟全幕画面且主界面虚拟画面在虚拟全幕画面中的位置随动动作；如果判断为极量变化，则控制切换当前AR眼镜装置显示虚拟全幕画面为显示实景画面的动作。

即在具体产品应用上反应效果为：微量变化认定低头或转头以及眼部复合运动瞬时变化不明显则控制主界面虚拟画面在虚拟全幕画面中不随动，这样可以最大程度上增加眼球滚动的机会，降低视觉疲劳，而不是像现有技术一样只要头部转动或低头就屏幕随动；然而超量变化则控制主界面虚拟画面与虚拟全幕画面一起随动；然而当认定为极量变化时则很有可能当前用户的头眼复合运动反馈其运动趋势过大(一般来讲，当人体想要低头时候不仅头部变量会明显变化，其眼球变化以及眨眼频率也会明显变化)则极有可能当前用户要起身或是猛烈转头低头等，此时必须切换到实景画面中。

需要说明的是，本申请实施例需要先通过双控制单元对身体姿态进行检测，然后根据身体姿态判断控制模式进行识别，然后在控制模式确定后调用相应的模型，然后输入相应的综合运动趋势检测数据；然而综合运动趋势检测数据是AR眼镜装置检测的综合运动趋势检测数据，其受制于技术影响可能有发生AR眼镜装置上的IMU漂移等问题，对此要先识别有效的还是无效的综合运动趋势检测数据，然后本申请实施例再进行AR眼镜装置上的IMU形式的头部姿态感应单元检测处理，针对有效的综合运动趋势检测数据进行头部运动属性的计算，此时分为两种情况。第一场景下，立姿，针对每个用户初始化得到一个阈值(即运动趋势量标准阈值)，第二场景下，躺姿，针对这种情况下，针对每的用户初始化得到一个阈值(运动趋势量标准阈值)即两者还有关联(第二场景下的运动趋势量标准阈值取值应当更小)。

参见图9，在本实施例二的具体实施方式中，“对头部运动变量(这里是转动以及或低头的运动变化量)进行采集信息计算得到头部运动变量数值，根据头部运动变量数值得到第一运动属性变量量化数值”，具体包括如下操作步骤：

步骤S2061，在AR眼镜装置的镜体本体的镜架中心位置处安装有IMU形式的头部姿态感应单元，将单轴加速度传感器直接设置安装在AR眼镜装置的镜架两侧端处；通过IMU形式的头部姿态感应单元以及单轴加速度传感器对当前用户的头部运动变量进行采集(此采集数据已经识别过了是有效的综合运动趋势检测数据的一部分)，然后根据采集信息计算得到头部运动变量数值；头部运动变量数值就是第一运动属性变量量化数值，其对此不再赘述。

需要说明的是，通过颈环设备与AR眼镜本体共同判断，识别到当前用户立姿或是躺姿，确定相应的显示控制模式，调用相应的模型；同时在输入模型之前，去除检测数据计算有效的场景目标复合运动计算趋势量实现相应的后续控制处理。

参见图10，在本实施例二的具体实施方式中，同时对眼球运动变量信息进行采集并根据采集信息计算得到眼球变化数值，根据眼球变化数值得到第二运动属性变量量化数值和第三运动属性变量量化数值；

步骤S2062，对当前眼球进行多个模拟分区划分，同时获取当前眼球上的瞳孔形状特征制作当前瞳孔的圆形瞳孔模板；

步骤S2063，获取当前眼球的单帧图像，从单帧图像的整个图像的自左向右，自上而下动态搜索多个模拟分区上图像，并且计算当前圆形瞳孔模板与当前眼球的单帧图像上每个模拟分区上图像的相似度以确定瞳孔的匹配位置；

步骤S2064，确定与当前圆形瞳孔模板的图像相似度最大的模拟分区，通过当前模拟分区在当前眼球的单帧图像的相对位置确定为瞳孔的目标位置点(或称上述的瞳孔的匹配位置)；

步骤S2065，根据瞳孔的目标位置点的变化量计算眼球转动信息；在第一显示控制模式下(坐立状态下)，认定眼球转动变化量未达阈值则认定；在第一显示控制模式下(即躺姿状态下)，认定眼球转动变化量；

对此本申请实施例优选采用模板匹配法；根据瞳孔的形状特征，可以利用圆形模板，在采集图像的窗口自左向右，自上而下动态搜索瞳孔的位置，模板匹配在一幅大的图像中搜索小的感兴趣的图像，它通过计算模板和匹配区域的相似程度，以最相似位置为匹配点，来确定瞳孔的目标位置点，最终根据瞳孔的目标位置点的变化量计算眼球转动信息。

步骤S2066，将眼球转动信息的计算结果作为第二运动属性变量量化数值；

步骤S2067，同时获取当前眼球的单帧图像，采用图像识别方法从单帧图像中识别判断当前帧是否为眨眼图像(眨眼瞬间眼球图像被眼皮覆盖容易通过图像识别获取的识别结果)，根据眨眼图像的识别结果计算当前第三运动属性变量量化数值(即眨眼次数)；

需要说明的是，当前用户可以对AR眼镜进行佩戴，然而在佩戴时可以进行预备初始化设置，在进行预备初始化设置时***对当前用户的面部进行识别，识别得到当前用户的面部特征，从而识别得到当前用户的编号，根据当前用户的编号确定当前用户的模型参数以及当前用户对应的运动趋势量标准阈值；这样利用上述技术方案可以有针对性识别不同的当前用户，然而每个用户对应不同的使用场景习惯，从而对应不同的机器学习模型的模型参数(即阈值初始化)；与此同时，其在AR眼镜装置的关键构造上安装了摄像头设备，用于采集当前用户的面部特征，从而识别得到当前用户的编号(达到识别当前用户的目的)；

同时还设计了左眼转动监测单元、右眼转动监测单元；上述两者转动单元通过对眼球进行模拟分区划分得到数量庞大的模拟分区的基数(假设将眼球分为1000个模拟分区)，然后对瞳孔的目标位置点进行确定(确定与当前圆形瞳孔模板的图像相似度最大的模拟分区，通过当前模拟分区在当前眼球的单帧图像的相对位置确定为瞳孔的目标位置点)，在眼球转动移动时，根据瞳孔的目标位置点的变化量来计算眼球转动信息；

需要说明的是，眼动追踪(Eye Tracking)，是指通过测量眼睛的注视点的位置或者眼球相对头部的运动而实现对眼球运动的追踪。本发明实施例认为采用传统对机器学习方式的单一眼球定位追踪，并不适合本申请中的AR眼镜装置，因为这样将会带来更大运算算力以及存储要求，同时也不利于AR眼镜装置散热；需要说明的是，常规方式可采用例如：基于可变形卷积的单帧图像眼球定位追踪，其从原始单帧图像中提取更具有表征特征的信息,根据上述特征进行图像识别。

对此本申请实施例优选采用模板匹配法(识别眼球转动以及眨眼运动)；根据瞳孔的形状特征，可以利用圆形模板，在采集图像的窗口自左向右，自上而下动态搜索瞳孔的位置，模板匹配在一幅大的图像中搜索小的感兴趣的图像，它通过计算模板和匹配区域的相似程度，以最相似位置为匹配点，来确定目标的位置。模板匹配算法属于机器学习领域的范畴，同样是有效地眼球识别算法，然而本申请实施例还采用基于分区的方式改进了上述模板匹配法。

需要说明的是，特征提取：是对当前眼球上的瞳孔形状特征提取然后制作当前瞳孔的圆形瞳孔模板；对1000个模拟分区进行窗口滑动(或称进行搜索)，然而实际上是从单帧图像的整个图像的自左向右，自上而下动态搜索多个模拟分区上图像，并且计算当前圆形瞳孔模板与当前眼球的单帧图像上每个模拟分区上图像的相似度以确定瞳孔的匹配位置；上述控制操作可以有AR眼镜装置完成，然后发送给颈环设备上的中心处理器单元传送给远程服务器(远程的云服务器)；最终上述远程服务器提供算力支持(该远程服务器提供算力支持可以最大程度上减少中心处理器单元的耗能以及计算能力)，将计算结果发送给中心处理器单元，由其完成最终的控制指令下达。

在本实施例二中，步骤S40，在计算得到相应的场景目标复合运动计算趋势量的同时，AR眼镜装置的镜前环境监测单元根据周围环境信息进行获取，并计算得到同一时间周期内的环境变化量的检测结果；其中，环境变化量为AR眼镜装置的镜前环境监测单元检测的镜架主体中间位置处的环境亮度信息；

步骤S401，如果判断当前的环境亮度信息呈现的检测结果为亮度增大变化趋势，则辅助确定当前用户的头部运动趋势为抬头；如果判断当前的环境亮度信息呈现的检测结果为亮度变小变化趋势(即亮度变暗)，则辅助确定当前用户的头部运动趋势为低头，用以进一步剔除伪场景目标复合运动计算趋势量。

需要说明的是，识别伪场景目标复合运动计算趋势量是重要技术要求，采用上述的辅助检测方式可以进一步提升检测准确性，避免伪低头或是伪抬头的情况检测不到。

综上，本发明实施例提供的一种降低视觉疲劳的AR显示控制***及方法，采用颈环设备与AR眼镜装置实现数据交互以及控制交互，在数据检测方面先对两者模式进行确定，因为在特定的场景下头部运动趋势的敏感程度明显不同；其针对场景模式不同，其摒弃了传统单一头部转动运动以及单一控制单元采集处理等显示控制方式，而是采用颈环设备与AR眼镜装置实现数据交互以及控制交互，在数据检测方面先对两者模式进行确定调用的模型，然后针对当前用户的特点调用其模型参数等，最终实现了精度更高的头眼运动趋势识别方法，为最终的细分场景下的AR屏幕显示控制手段提供了细微多样的控制操作；

具体流程执行操作为：身体姿态检测-当前场景模式确定-伪检测量识别-过滤去除伪检测量-调用头眼复合运动识别模型-识别当前用户人脸信息-调用当前用户的模型参数信息-将过滤后的检测量输入到模型中计算场景目标复合运动计算趋势量-然后量化等级评分-根据量化等级实现双模控制条件下的头眼复合运动趋势判断-最终输出显示控制指令-实现显示控制输出操作；然而在量化等级评分计算时进一步的采用了头眼复合运动属性识别，进一步保障了用户运动趋势的准确识别，为细化场景下的显示控制提供了必要的支持。

另外，在确定了特定的场景下调用对应的算法模型，再去图像识别技术(人脸识别)确定当前用户的模型参数(包括权重参数以及通过机器学习方法学习到的阈值参数，即运动趋势量标准阈值)，最终确定AR眼镜装置正常无漂移时通过AR眼镜装置采集数据作为输入，将其输入到检测模型中识别分析生成相应的模型测试结果(模型测试结果最终影响显示控制模式的输出)；同时，该头部变量信息模型并不是采用传统的单一头部转动数据进行的判断；而是集合了头部运动趋势结合眼部运动趋势两者进行复合判断，这样更能提升判断识别的精确性。

分析本申请实施例的主要技术方案可知：本申请实施例需要先通过双控制单元(AR眼镜装置以及颈环设备)对身体姿态进行检测，然后根据身体姿态判断控制模式进行识别，然后在控制模式确定后调用相应的模型，然后输入相应的综合运动趋势检测数据(之所以选用两种控制模式的场景，是因为这两种控制模式场景下的头部运动趋势的敏感程度不同，判断结果也会有明显不同)；第一场景下，立姿，针对每个用户初始化得到一个阈值，第二场景下，躺姿，针对这种情况下，针对每的用户初始化，两者还有关联。然而，综合运动趋势检测数据(是AR眼镜装置单独采集的头眼运动数据)是AR眼镜装置检测的综合运动趋势检测数据，其受制于技术影响可能有发生AR眼镜装置上的IMU漂移等问题，对此要先识别有效的还是无效的综合运动趋势检测数据，然后本申请实施例再进行AR眼镜装置上的IMU形式的头部姿态感应单元检测处理，针对有效的综合运动趋势检测数据进行头部运动属性的计算得到场景目标复合运动计算趋势量，此时又会得到两种量化的等级结果；

场景目标复合运动计算趋势量＝(第一运动属性变量量化数值×当前用户第一运动属性权重+第二运动属性变量量化数值×当前用户第二运动属性权重+第三运动属性变量量化数值×当前用户第三运动属性权重)除以检测时间；其中，当前场景下的运动趋势量标准阈值为单位时间内当前场景下的运动趋势量临界值；其中，第一运动属性是头部转动运动量，第二运动属性是眼球转动运动量，第三运动属性是眨眼次数运动量；

当场景目标复合运动计算趋势量小于该单位时间内当前场景下的运动趋势量临界值时则认定当前头眼复合运动变化量等级为微量变化的等级；然而如果场景目标复合运动计算趋势量大于或者等于该单位时间内当前场景下的运动趋势量临界值时则认定当前头眼复合运动变化量等级为超量变化的等级；这样根据当前场景下的运动趋势量临界值与场景目标复合运动计算趋势量之间的数值关系作为指导结果，根据这样的指导结果就可以实现相应的显示控制模式的输出了。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种降低视觉疲劳的AR显示控制***，其特征在于，包括颈环设备、AR眼镜装置；

其中，所述AR眼镜装置是佩戴到用户的耳朵两侧，所述颈环设备则是佩戴到当前用户的脖颈处；所述颈环设备包括第一身体姿态感应单元、脖颈反馈头部转动感应单元、指令反馈单元、模型分析单元以及中心处理器单元；所述AR眼镜装置包括第二身体姿态感应单元、IMU形式的头部姿态感应单元、单轴加速度传感器、眼球识别单元、人脸识别单元和屏幕控制单元；所述中心处理器单元分别与第一身体姿态感应单元、脖颈反馈头部转动感应单元、指令反馈单元、模型分析单元集成电连接；所述中心处理器单元通过指令反馈单元与AR眼镜装置上的第二身体姿态感应单元、IMU形式的头部姿态感应单元、单轴加速度传感器、眼球识别单元、人脸识别单元和屏幕控制单元通信连接；

所述颈环设备上的中心处理器单元用于同时获取所述颈环设备上的所述第一身体姿态感应单元对当前用户的身体姿态进行检测的检测结果以及获取所述AR眼镜装置上的第二身体姿态感应单元对当前用户的身体姿态进行检测的检测结果，得到当前用户的身体姿态趋势判断结果；

所述中心处理器单元还用于根据所述身体姿态趋势判断结果确定当前使用场景以及当前使用场景下对应的当前用户的显示控制模式；根据对应的显示控制模式调用当前情景条件下的头部变量信息模型；

所述模型分析单元根据调用的当前用户的头部变量信息模型对当前用户的有效的目标综合运动趋势检测数据进行计算，得到相应的场景目标复合运动计算趋势量；

所述中心处理器单元还用于根据不同显示控制模式下的不同的场景目标复合运动计算趋势量，通过指令反馈单元下达控制指令实施对AR眼镜装置上屏幕位置调整控制操作。

2.根据权利要求1所述的降低视觉疲劳的AR显示控制***，其特征在于，所述颈环设备上的第一身体姿态感应单元用于通过当前用户的脖颈处位置对当前用户的身体姿态进行检测并得到检测结果；所述AR眼镜装置上的第二身体姿态感应单元用于通过当前用户的头部脸颊处位置对当前用户的身体姿态进行检测并得到检测结果；

所述AR眼镜装置上的所述第二身体姿态感应单元与所述颈环设备上的第一身体姿态感应单元一同判断当前用户的身体姿态，判断结果为当前用户为立姿或是躺姿。

3.根据权利要求2所述的降低视觉疲劳的AR显示控制***，其特征在于，所述脖颈反馈头部转动感应单元为红外头部感应单元；所述AR眼镜装置上两个镜腿处安装红外感应收发器；

所述红外感应收发器用于在具体实时红外检测时是通过同侧的颈环设备上的红外头部感应单元向同侧的镜腿处实现红外测距，根据所述红外测距距离变化以判断得到当前用户的头部转动动作的检测识别其转动方向；所述AR眼镜装置上的IMU形式的头部姿态感应单元用于对头部转动动作识别趋势进行初始判断，所述颈环设备上的脖颈反馈头部转动感应单元对头部转动动作识别趋势进行再次判断；在所述AR眼镜装置上的头部姿态感应单元与所述颈环设备上的红外头部感应单元一同判断当前用户的IMU形式的头部姿态感应单元监测的头部转动动作识别趋势与红外头部感应单元检测的头部转动动作识别趋势不一致时，则判断当前采集的综合运动趋势检测数据为无效采集数据；同时当发现综合运动趋势检测数据出现伪检测量时，则控制AR眼镜装置上的IMU形式的头部姿态感应单元进行初始化校准操作；

在判断当前用户的IMU形式的头部姿态感应单元监测的头部转动动作识别趋势与红外头部感应单元检测的头部转动动作识别趋势一致时，则再判断对当前采集的综合运动趋势检测数据是否存在干扰采集；只有判断当前用户的IMU形式的头部姿态感应单元监测的头部转动动作识别趋势与红外感应检测的头部转动动作识别趋势一致且当前采集的综合运动趋势检测数据无干扰采集认定为当前采集的综合运动趋势检测数据为有效采集数据；

所述中心处理器单元用于对将当前有效采集的综合运动趋势检测数据作为目标综合运动趋势检测数据输入到当前用户的头部变量信息模型中进行计算操作。

4.根据权利要求3所述的降低视觉疲劳的AR显示控制***，其特征在于，所述IMU形式的头部姿态感应单元以及单轴加速度传感器用于对当前用户的头部运动变量进行采集，然后根据采集信息计算得到头部运动变量数值；所述头部运动变量数值为第一运动属性变量量化数值；

所述眼球识别单元用于对当前眼球进行多个模拟分区划分，同时获取当前眼球上的瞳孔形状特征制作当前瞳孔的圆形瞳孔模板；获取当前眼球的单帧图像，从单帧图像的整个图像的自左向右，自上而下动态搜索多个模拟分区上图像，并且计算当前圆形瞳孔模板与当前眼球的单帧图像上每个模拟分区上图像的相似度以确定瞳孔的匹配位置；确定与当前圆形瞳孔模板的图像相似度最大的模拟分区，通过当前模拟分区在当前眼球的单帧图像的相对位置确定为瞳孔的目标位置点；根据瞳孔的目标位置点的变化量计算眼球转动信息；将眼球转动信息的计算结果作为第二运动属性变量量化数值；同时获取当前眼球的单帧图像，采用图像识别方法从单帧图像中识别判断当前帧是否为眨眼图像，根据眨眼图像的识别结果计算当前第三运动属性变量量化数值；

所述人脸识别单元用于在佩戴时可以进行预备初始化设置，在进行预备初始化设置时***对当前用户的面部进行识别，识别得到当前用户的面部特征，从而识别得到当前用户的编号，根据当前用户的编号确定当前用户的模型参数以及当前用户对应的运动趋势量标准阈值；

所述屏幕控制单元用于接收指令反馈单元下达控制指令，并对对AR眼镜装置上的光机设备进行输出控制；。

5.一种降低视觉疲劳的AR显示控制方法，其特征在于，采用如权利要求1-3任一项所述的降低视觉疲劳的AR显示控制***实时显示控制操作，包括如下操作步骤：

由颈环设备上的中心处理器单元同时获取所述颈环设备上的所述第一身体姿态感应单元对当前用户的身体姿态进行检测的检测结果以及获取所述AR眼镜装置上的第二身体姿态感应单元对当前用户的身体姿态进行检测的检测结果，得到当前用户的身体姿态趋势判断结果；

根据所述身体姿态趋势判断结果确定当前使用场景以及当前使用场景下对应的当前用户的显示控制模式；根据对应的显示控制模式调用当前情景条件下的头部变量信息模型；

根据调用的当前用户的头部变量信息模型对当前用户的有效的目标综合运动趋势检测数据进行计算，得到相应的场景目标复合运动计算趋势量；

根据不同显示控制模式下的不同的场景目标复合运动计算趋势量，实施对AR眼镜装置上屏幕位置调整控制操作。

6.根据权利要求5所述的降低视觉疲劳的AR显示控制方法，其特征在于，根据所述身体姿态趋势判断结果确定当前用户的显示控制模式，具体包括如下操作步骤：

根据所述身体姿态趋势判断结果判断当前用户立姿或者躺姿；

如果判断当前用户为立姿状态则调用第一显示控制模式；如果当前用户为躺姿状态则调用第二显示控制模式；其中，第二显示控制模式中的当前场景下的运动趋势量标准阈值小于第一显示控制模式中的当前场景下的运动趋势量标准阈值。

7.根据权利要求6所述的降低视觉疲劳的AR显示控制方法，其特征在于，在根据调用的当前用户的头部变量信息模型对当前用户的有效的综合运动趋势检测数据进行计算之前，还包括对AR眼镜装置上的IMU形式的头部姿态感应单元发生IMU漂移产生的综合运动趋势检测数据的伪检测量以及AR眼镜装置被动干扰产生的综合运动趋势检测数据的干扰检测量进行识别，并进行剔除操作得到目标综合运动趋势检测数据，具体包括如下操作步骤：

实时对综合运动趋势检测数据进行采集；

通过AR眼镜装置上的IMU形式的头部姿态感应单元对当前用户的头部转动动作进行检测识别，同时通过颈环设备上的红外头部感应单元对当前用户的头部转动动作进行检测识别；红外头部感应单元在具体实施红外检测时通过同侧的颈环设备上的红外头部感应单元向同侧的镜腿处的红外感应收发器实现红外测距，根据所述红外测距距离变化以判断得到当前用户的头部转动动作的检测识别其转动方向；

在判断当前用户的IMU形式的头部姿态感应单元监测的头部转动动作识别趋势与红外头部感应单元检测的头部转动动作识别趋势不一致时，则判断当前采集的综合运动趋势检测数据为无效采集数据；同时当发现综合运动趋势检测数据出现伪检测量时，则控制AR眼镜装置上的IMU形式的头部姿态感应单元进行初始化校准操作；

在判断当前用户的IMU形式的头部姿态感应单元监测的头部转动动作识别趋势与红外头部感应单元检测的头部转动动作识别趋势一致时，则再判断对当前采集的综合运动趋势检测数据是否存在干扰采集；

只有判断当前用户的IMU形式的头部姿态感应单元监测的头部转动动作识别趋势与红外感应检测的头部转动动作识别趋势一致且当前采集的综合运动趋势检测数据无干扰采集认定为当前采集的综合运动趋势检测数据为有效采集数据；

对将当前有效采集的综合运动趋势检测数据作为目标综合运动趋势检测数据输入到当前用户的头部变量信息模型中进行计算操作。

8.根据权利要求7所述的降低视觉疲劳的AR显示控制方法，其特征在于，根据调用的当前用户的头部变量信息模型对当前用户的有效的目标综合运动趋势检测数据进行计算，得到相应的场景目标复合运动计算趋势量；

首先确定有效的检测量，对将当前有效采集的综合运动趋势检测数据作为目标综合运动趋势检测数据输入到当前用户的头部变量信息模型中进行计算操作；

针对当前用户的面部图像进行识别，通过预存在颈环设备上的本地数据库匹配当前用户对应的头部变量信息模型；其中，本地数据库存储在颈环设备内置的本地存储器上；利用所述本地数据库匹配调用当前用户的头部变量信息模型，然后对有效的检测量进行分析处理；

在对有效的检测量进行分析处理时，首先对头部运动变量进行采集信息计算得到头部运动变量数值，根据所述头部运动变量数值得到第一运动属性变量量化数值；同时对眼球运动变量信息进行采集信息计算得到眼球变化数值，根据所述眼球变化数值得到第二运动属性变量量化数值和第三运动属性变量量化数值；

调用当前用户的头部变量信息模型的模型参数；根据所述第一运动属性变量量化数值以及第二运动属性变量量化数值、第三运动属性变量量化数值，使用调用的头部变量信息模型以及对应用户的模型参数，计算得到有效的相应的目标综合运动趋势检测数据对应的场景目标复合运动计算趋势量；

根据所述场景目标复合运动计算趋势量与当前场景下的运动趋势量标准阈值之间的关系判断当前用户的场景目标复合运动计算趋势量对应的头眼复合运动变化量等级；所述头眼复合运动变化量等级是指头部运动空间位移变化量以及眼部微观变化量的量化程度，分为微量变化以及超量变化两个级别；

所述场景目标复合运动计算趋势量＝(第一运动属性变量量化数值×当前用户第一运动属性权重+第二运动属性变量量化数值×当前用户第二运动属性权重+第三运动属性变量量化数值×当前用户第三运动属性权重)除以检测时间；其中，所述当前场景下的运动趋势量标准阈值为单位时间内当前场景下的运动趋势量临界值；其中，第一运动属性是头部转动运动量，第二运动属性是眼球转动运动量，第三运动属性是眨眼次数运动量；

其中，第二显示控制模式中的当前场景下的运动趋势量标准阈值设置为第一显示控制模式中的当前场景下的运动趋势量标准阈值60-80％的取值数值。

9.根据权利要求8所述的降低视觉疲劳的AR显示控制方法，其特征在于，所述根据不同显示控制模式下的不同的场景目标复合运动计算趋势量，实施对AR眼镜装置上屏幕位置调整控制操作，具体包括如下操作步骤：

由远程服务器将根据所述场景目标复合运动计算趋势量计算的评估结果发送给颈环设备上的中心处理器单元上；

由颈环设备上的中心处理器单元根据评估结果转化为屏幕位置调控指令，并发送给AR眼镜装置上的虚拟成像装置；

颈环设备上的中心处理器单元其对当前头眼复合运动变化量等级进行判断；如果判断为微量变化，则实现控制当前AR眼镜装置显示虚拟全幕画面且主界面虚拟画面在虚拟全幕画面中的位置固定不变；如果判断为超量变化，则控制切换当前AR眼镜装置显示虚拟全幕画面为显示实景画面的动作或是切换当前AR眼镜装置显示虚拟全幕画面且主界面虚拟画面在虚拟全幕画面中的位置随动动作。

10.根据权利要求9所述的降低视觉疲劳的AR显示控制方法，其特征在于，所述对头部运动变量进行采集信息计算得到头部运动变量数值，根据所述头部运动变量数值得到第一运动属性变量量化数值，具体包括如下操作步骤：

在AR眼镜装置的镜体本体的镜架中心位置处安装有IMU形式的头部姿态感应单元，将单轴加速度传感器直接设置安装在AR眼镜装置的镜架两侧端处；通过IMU形式的头部姿态感应单元以及单轴加速度传感器对当前用户的头部运动变量进行采集，然后根据采集信息计算得到头部运动变量数值；所述头部运动变量数值为第一运动属性变量量化数值；

所述同时对眼球运动变量信息进行采集并根据采集信息计算得到眼球变化数值，根据所述眼球变化数值得到第二运动属性变量量化数值和第三运动属性变量量化数值，具体包括如下操作步骤：

对当前眼球进行多个模拟分区划分，同时获取当前眼球上的瞳孔形状特征制作当前瞳孔的圆形瞳孔模板；

获取当前眼球的单帧图像，从单帧图像的整个图像的自左向右，自上而下动态搜索多个模拟分区上图像，并且计算当前圆形瞳孔模板与当前眼球的单帧图像上每个模拟分区上图像的相似度以确定瞳孔的匹配位置；

确定与当前圆形瞳孔模板的图像相似度最大的模拟分区，通过当前模拟分区在当前眼球的单帧图像的相对位置确定为瞳孔的目标位置点；

根据瞳孔的目标位置点的变化量计算眼球转动信息；

将眼球转动信息的计算结果作为第二运动属性变量量化数值；

同时获取当前眼球的单帧图像，采用图像识别方法从单帧图像中识别判断当前帧是否为眨眼图像，根据眨眼图像的识别结果计算当前第三运动属性变量量化数值。

Images