CN111202663B - 一种基于vr技术的视觉训练学习*** - Google Patents

Abstract

本发明涉及一种基于VR技术的视觉训练学习***，配合VR眼镜及VR手柄设置***，***包括眼球追踪模块、训练模块及数据模块；VR眼镜分视双眼，登录***后选择训练模块进行训练，眼球追踪模块开始追踪眼球运动轨迹，训练模块同时记录训练数据，实时把眼球运动轨迹数据和训练数据发送到数据模块，数据模块通过对数据的分析来控制训练模块的训练难易程度，模块配合对用户进行视觉训练。本发明克服通过遮盖优视眼、抑制优视眼而导致优视眼视力损伤的缺陷及心理的不良影响；训练时患者不受干扰，更专注训练；克服手输密码登录***，生成专门的数据库；用户在边学习的过程中边进行视觉训练，解决了现有技术中没有在视觉训练过程中涉及学习的问题。

Description

一种基于VR技术的视觉训练学习***

技术领域

本发明涉及电数字数据处理的技术领域，特别涉及一种可以帮助弱视患者解决学习困难的基于VR技术的视觉训练学习***。

背景技术

凡眼部无明显器质性病变，以功能性因素为主所引起的远视力≤0.8且不能矫正者均列为弱视。100名儿童中就有2到3名弱视患者，弱视对患者的生活、学习、工作和心理等各方面造成了严重的危害，对儿童的影响更为深刻。

现存的技术旨在提高患者弱视眼的视力及恢复其双眼视功能，双眼视功能包含了眼球运动控制能力、同时视、融合视和立体视等；若双眼视功能存在问题，会使患者无法控制自己眼球运动，如追随、扫视、注视，视觉记忆存在问题，手眼协调困难，无法拥有正常人的三级视功能。弱视治疗是一个较长的过程，患者主要是儿童，是摄取知识的阶段，而弱视影响了其学习，学习吃力，由于学习成绩比较差，将进一步造成心理影响。

现有技术提供了一些针对于此的解决途径，但是仍没有把帮助患者学习结合到弱视治疗中。

公开号为CN108478401A的专利“基于VR技术的弱视训练复健***及方法”是通过VR眼镜来播放影像，通过对左视屏和右视屏进行遮盖或雾化来压制优视眼，然后通过播放已设定好的影像运动方式的影片训练弱视眼的眼球；这种弱视训练虽利用VR技术来分视双眼，但训练方法较单一且没涉及到有关学习的方面。

公开号为CN1579319 (CN100348147C)的专利“小儿弱视斜视诊断和治疗仪”是利用多媒体技术实现诊断、治疗、病历一体化，治疗功能包括CAM、红光闪烁、精细目力训练、扫视运动、追随运动、融合视和立体视训练；该专利的训练方法既考虑到提高患者的弱视的单眼视力也考虑到恢复患者的双眼视功能，但其没有涉及VR技术，在训练过程中也没有相关学习的内容。

现有的视觉训练基本通过3D眼镜或者红蓝眼镜来分视双眼，还没有把VR真正地运用到弱视治疗中。

发明内容

本发明解决了现有技术中存在的问题，提供了一种优化的基于VR技术的视觉训练学习***。

本发明所采用的技术方案是，一种基于VR技术的视觉训练学习***，所述***配合VR眼镜及VR手柄设置；

所述***包括：

一眼球追踪模块，用于进行用户登录并持续追踪眼球运动轨迹；

一训练模块，用于对用户进行视觉训练的输出并获得用户反馈的训练数据；

一数据模块，用于存储***所需资料、获取眼球追踪模块传输的信息并分析、获取训练模块的训练数据、设定训练模块的输出内容。

优选地，所述眼球追踪模块包括：

一眼球识别单元，用于在用户戴上VR眼镜并注视显示屏时捕捉眼球、获取识别数据并提交数据模块进行匹配；

一眼球跟踪单元，用于在用户通过识别后追踪眼球运动轨迹并发送至数据模块。

优选地，所述训练模块包括：

一单眼视力增强单元，用于将预设数据呈现在左显示屏或右显示屏上、对单眼进行视觉训练，包括训练内容输出及获取反馈信息；

一双眼视觉训练单元，用于将预设数据呈现在左显示屏和右显示屏上、对双眼进行视觉训练。

优选地，所述单眼视力增强单元包括视觉刺激模块、扫视模块和追随模块。

优选地，所述数据模块包括：

一数据存储单元，用于自云端服务器下载并存储对应用户的电子版课本和课外书；

一数据设定单元，用于以预设的方式、将数据存储模块存储的数据展现在VR眼镜的显示屏上；所述VR眼睛的左显示屏与右显示屏的显示内容不同；

一数据分析单元，用于实时分析眼球追踪模块和训练模块的数据、以自适应控制训练难度和生成感兴趣区域图。

优选地，所述数据存储单元还连接有采集单元，用于用户操作VR眼镜进入实景模式、通过VR眼镜的摄像头及手柄获取图片并存储至数据存储模块。

优选地，所述采集单元采集图片后进行预处理，所述预处理包括以下步骤：

步骤A.1：取当前图片的背景图像，与当前图片作差，保留前景图像；

步骤A.2：对所述前景图像进行图像校正，图像校正包括倾斜校正、去阴影、调整曝光度。

优选地，若进行单眼视力增强训练，则所述数据设定单元设置用户弱视眼对应的左显示屏或右显示屏显示训练内容，右显示屏或左显示屏显示背景，所有训练操作由弱视眼来完成；若用户自数据存储单元选择训练数据，则左显示屏或右显示屏显示的电子版课本和课外书的缩放比根据用户视力设定，右显示屏或左显示屏持续显示背景；

若进行双眼视力增强训练，则所述数据设定单元的设置包括以下步骤：

步骤B.1：使用训练好的用于区分图片中的文字和图形的二分类神经网络模型，识别数据存储单元里所有文档图像中的图形部分，以图片的左上角为原点，记录下每个图形的左上角坐标点和右下角坐标点，并把坐标值保存至数据设定单元的输出地址中，作为左显示屏和右显示屏输出；

步骤B.2：对数据存储单元里的所有文档图像进行复制，以白色像素块对复制的文档图像中对应步骤B.1识别的图形部分进行覆盖并保存；

步骤B.3：对被白色像素块覆盖掉图形部分的图像进行水平分割，利用文字行之间的空白间隙造成的水平投影空白间隙，将图像按行分割出来，以图片的左上角为原点，记录下每一行的左上角坐标和右下角坐标，将所有奇数行和偶数行的坐标值分别保存至数据设定模块的输出地址中，作为左显示屏和右显示屏输出。

优选地，进行双眼视力增强训练时，训练模块获取数据设定单元的配置，训练包括以下步骤：

步骤C.1：当用户打开学习资料，通过地址值自数据设定单元读取步骤B.1和步骤B.3的坐标值；

步骤C.2：所述步骤B.3的奇数行坐标值所对应的复制文档图像内容按预设的缩放比例显示在VR眼镜的左显示屏或右显示屏上，偶数行坐标值所对应的复制文档图像内容按预设的缩放比例显示在VR眼镜的左显示屏或右显示屏上；

步骤C.3：所述步骤B.1所识别的图形文档坐标值所对应的原文档图像内容偏移设置在左显示屏和右显示屏的奇数行坐标值或偶数行坐标值所对应的复制文档图像内容旁，偏移的距离大于0。

优选地，所述数据分析单元的分析方法包括对训练模块反馈的数据分析、对眼球追踪模块反馈的数据分析及生成感兴趣区域图；

所述对训练模块反馈的数据分析包括以下步骤：

步骤D.1.1：记录每一次训练点击的时刻，若较上一次训练，当前点击的正确率上升且反应时间缩短，则训练模块转速增大；重复步骤D.1.1直至训练模块达到最大转速，进行下一步；

步骤D.1.2：若在最高转速用户仍能正常操作，则在保持最高转速的情况下增加CAM条栅的空间频率；

步骤D.1.3：若用户无法在增加空间频率后正常操作，则保持当前CAM条栅的空间频率，降低转速，直至找到适应用户的转速值，返回步骤D.1.1；

所述对眼球追踪模块反馈的数据分析中，眼球追随模块将眼球运动轨迹实时发送至数据分析单元，数据分析单元把接收到的眼球运动轨迹数据与预设的运动轨迹进行比较，若发现用户的眼球运动轨迹与预设的运动轨迹间的偏离距离大于阈值，则在VR眼睛的显示屏上闪烁光点、对用户进行提醒；

所述生成感兴趣区域图包括以下步骤：

步骤D.2.1：训练模块将眼球追踪模块记录的眼球运动轨迹发送到数据分析单元；

步骤D.2.2：数据分析单元根据眼球运动轨迹数据，计算眼球运动轨迹数据在显示屏中重复率最高的区域；

步骤D.2.3：以当前区域作为用户的感兴趣区域。

本发明提供了一种优化的基于VR技术的视觉训练学习***，通过配合VR眼镜及VR手柄设置的***，在***中整合用于进行用户登录并持续追踪眼球运动轨迹的眼球追踪模块、用于对用户进行视觉训练的输出并获得用户反馈的训练数据的训练模块及用于存储***所需资料、获取眼球追踪模块传输的信息并分析、获取训练模块的训练数据、设定训练模块的输出内容的数据模块；通过VR眼镜分视双眼，以眼球追踪模块登录***，选择训练模块进行训练，眼球追踪模块开始追踪眼球运动轨迹，训练模块同时记录训练数据，实时把眼球运动轨迹数据和训练数据发送到数据模块，数据模块通过对数据的分析来控制训练模块的训练难易程度，通过以上模块的配合来对用户进行视觉训练。

本发明通过VR技术分视双眼，克服传统方法通过遮盖优视眼、抑制优视眼而导致优视眼视力损伤的缺陷，并可以克服给患者遮盖时采用眼罩而带来心理的不良影响；利用VR技术的沉浸性和其自带的耳机具有降噪功能的特性，训练时患者只能看到VR眼镜显示屏的内容，不受其他的干扰，使患者更专注地训练；通过眼球追踪模块来登录***，克服需要自己手动输入密码来登录***的复杂性并生成属于自己的数据库；通过眼球追踪模块、数据模块和训练模块之间的配合，使用户在边学习的过程中边进行视觉训练，解决了现有技术中没有在视觉训练过程中涉及学习的问题。

附图说明

图1为本发明的***的结构框图示意图；

图2为本发明的***的实例结构示意图；

图1和图2中，箭头表示数据传输的方向。

具体实施方式

下面结合实施例对本发明做进一步的详细描述，但本发明的保护范围并不限于此。

本发明涉及一种基于VR技术的视觉训练学习***，所述***配合VR眼镜及VR手柄设置；

一眼球追踪模块，用于进行用户登录并持续追踪眼球运动轨迹；

一训练模块，用于对用户进行视觉训练的输出并获得用户反馈的训练数据；

一数据模块，用于存储***所需资料、获取眼球追踪模块传输的信息并分析、获取训练模块的训练数据、设定训练模块的输出内容。

本发明中，VR一体机是最便捷的VR设备，便于用户使用的设备，其内置强大的芯片与超高清屏幕，摆脱了外部设备的限制，可以独立使用，并采用5G技术进行双向网络传输，减少了延时和增通信容量。

本发明中，VR一体机包括VR眼镜和VR手柄，VR眼镜内设有左、右显示屏、红外LED灯、眼球追踪模块、数据模块、训练模块，VR眼镜外设有前置摄像头和耳机，其中眼球追踪模块与数据模块、训练模块相互连接，前置摄像头与数据模块连接，为了降低外界噪音对训练的干扰，在VR眼镜外设有耳机，为了克服眼球识别技术在在黑暗的环境下使用会受到一定的制约的缺点；在眼球追踪模块旁设置有红外LED灯，用于克服眼球识别技术在在黑暗的环境下使用会受到一定的制约的缺点。

本发明中，VR一体机的VR手柄可朝向模拟激光笔做3D朝向，并通过按键来控制，该手柄上有一确认键和切换键，侧边有音量键用于调节音量大小，其中切换键用于把手柄切换为可写激光笔或不可写激光笔；用户柄的切换成可手写的激光笔时，可用激光笔对图像进行标注，计算。

本发明中，VR一体机开机后，会有两种显示模式，实景模式和虚拟模式，默认进入虚拟模式，进入虚拟模式则会进入训练模块，用户选择可用手柄选择相应控件进入实景模式，可通过手柄的确认键进行拍照并保存至数据模块。

本发明中，所述***包括用于进行用户登录并持续追踪眼球运动轨迹的眼球追踪模块、用于对用户进行视觉训练的输出并获得用户反馈的训练数据的训练模块及用于存储***所需资料、获取眼球追踪模块传输的信息并分析、获取训练模块的训练数据、设定训练模块的输出内容的数据模块；通过VR眼镜分视双眼，以眼球追踪模块登录***，选择训练模块进行训练，眼球追踪模块开始追踪眼球运动轨迹，训练模块同时记录训练数据，实时把眼球运动轨迹数据和训练数据发送到数据模块，数据模块通过对数据的分析来控制训练模块的训练难易程度，通过以上模块的配合来对用户进行视觉训练。

所述眼球追踪模块包括：

一眼球识别单元，用于在用户戴上VR眼镜并注视显示屏时捕捉眼球、获取识别数据并提交数据模块进行匹配；

一眼球跟踪单元，用于在用户通过识别后追踪眼球运动轨迹并发送至数据模块。

本发明中，每次训练只需带上VR眼镜，注视前方显示屏，眼球识别单元捕捉到眼球，与数据模块已有信息进行匹配即可登录，随后，以眼球跟踪单元进行眼球的跟踪。

本发明中，在初始化的过程中，需要在计算机或手机等客户端输入自己的个人信息，包括姓名、地区、文化程度和左右眼视力并采集自己的眼部图像，每次检查完视力需对个人信息的视力情况进行更新。

所述训练模块包括：

一单眼视力增强单元，用于将预设数据呈现在左显示屏或右显示屏上、对单眼进行视觉训练，包括训练内容输出及获取反馈信息；

所述单眼视力增强单元包括视觉刺激模块、扫视模块和追随模块。

一双眼视觉训练单元，用于将预设数据呈现在左显示屏和右显示屏上、对双眼进行视觉训练。

所述数据模块包括：

一数据存储单元，用于自云端服务器下载并存储对应用户的电子版课本和课外书；

所述数据存储单元还连接有采集单元，用于用户操作VR眼镜进入实景模式、通过VR眼镜的摄像头及手柄获取图片并存储至数据存储模块。

所述采集单元采集图片后进行预处理，所述预处理包括以下步骤：

步骤A.1：取当前图片的背景图像，与当前图片作差，保留前景图像；

步骤A.2：对所述前景图像进行图像校正，图像校正包括倾斜校正、去阴影、调整曝光度。

一数据设定单元，用于以预设的方式、将数据存储模块存储的数据展现在VR眼镜的显示屏上；所述VR眼睛的左显示屏与右显示屏的显示内容不同；

一数据分析单元，用于实时分析眼球追踪模块和训练模块的数据、以自适应控制训练难度和生成感兴趣区域图。

本发明中，数据存储模块存储各地区各年级各科的电子版课本和课外书电子版课本和课外书，一般来说，存储的方式为图片，由于占内存较大，故总的数据存储在服务器的数据库里；VR眼镜的数据存储模块仅存储与用户的地区、文化程度相对应的电子版课本和少数对应的课外书，当需要更新内容时，由VR端自云端下载即可。

本发明中，采集单元主要应用于数据存储模块的练习模块，用户可选择相应控件使VR眼镜进入实景模式，VR眼镜的前置摄像头把实时拍摄到的视频显示在VR眼镜的显示屏上，用户可将自己当天的作业或其他想显示在VR眼镜上的东西置于摄像头，调整至适当角度，按下手柄的确认键，截取视频的当前帧保存成图片并存储至数据存储模块内的练习模块。

若进行单眼视力增强训练，则所述数据设定单元设置用户弱视眼对应的左显示屏或右显示屏显示训练内容，右显示屏或左显示屏显示背景，所有训练操作由弱视眼来完成；若用户自数据存储单元选择训练数据，则左显示屏或右显示屏显示的电子版课本和课外书的缩放比根据用户视力设定，右显示屏或左显示屏持续显示背景；

若进行双眼视力增强训练，则所述数据设定单元的设置包括以下步骤：

步骤B.1：使用训练好的用于区分图片中的文字和图形的二分类神经网络模型，识别数据存储单元里所有文档图像中的图形部分，以图片的左上角为原点，记录下每个图形的左上角坐标点和右下角坐标点，并把坐标值保存至数据设定单元的输出地址中，作为左显示屏和右显示屏输出；

步骤B.2：对数据存储单元里的所有文档图像进行复制，以白色像素块对复制的文档图像中对应步骤B.1识别的图形部分进行覆盖并保存；

步骤B.3：对被白色像素块覆盖掉图形部分的图像进行水平分割，利用文字行之间的空白间隙造成的水平投影空白间隙，将图像按行分割出来，以图片的左上角为原点，记录下每一行的左上角坐标和右下角坐标，将所有奇数行和偶数行的坐标值分别保存至数据设定模块的输出地址中，作为左显示屏和右显示屏输出。

进行双眼视力增强训练时，训练模块获取数据设定单元的配置，训练包括以下步骤：

步骤C.1：当用户打开学习资料，通过地址值自数据设定单元读取步骤B.1和步骤B.3的坐标值；

步骤C.2：所述步骤B.3的奇数行坐标值所对应的复制文档图像内容按预设的缩放比例显示在VR眼镜的左显示屏或右显示屏上，偶数行坐标值所对应的复制文档图像内容按预设的缩放比例显示在VR眼镜的左显示屏或右显示屏上；

步骤C.3：所述步骤B.1所识别的图形文档坐标值所对应的原文档图像内容偏移设置在左显示屏和右显示屏的奇数行坐标值或偶数行坐标值所对应的复制文档图像内容旁，偏移的距离大于0。

本发明中，选择单眼视力增强模块，开始训练并记录训练数据，眼球追踪模块追踪眼球运动轨迹，训练数据和眼球运动轨迹数据实时发送给数据分析模块，通过数据分析结果来控制单眼视力增强模块的训练难度；选择双眼视觉训练模块，用户进入数据存储模块选择学习资料，资料会以数据设定模块里的设定方式显示在左、右显示屏上，需左、右眼同时看才能看到完整的学习资料；同时眼球追踪模块把眼球运动轨迹发送至数据分析模块。通过各模块的配合，通过训练模块的单眼视力增强模块来训练弱视眼，待弱视眼视力有一定提升之后，进入双眼视觉训练模块，在边学习的过程中训练双眼视觉。

本发明中，对于单眼视力增强训练，弱视眼所对应的显示屏显示详细的训练内容，优视眼所对应的显示屏只能看到背景，所有训练操作由弱视眼来完成；若用户进入数据存储模块选择自己的学习资料，则弱视眼对应的显示屏显示的文档图像的缩放比根据用户的视力来设定，优视眼对应的显示屏显示的仍是背景。单眼视力增强训练基于MFBF（双眼视野下的单眼精细训练）原理，即非弱视眼睛看到的是***视图，而不是细节，而弱视眼睛经过训练可以看到中心/详细视图；在MFBF训练中，优势眼只是中央被暂时抑制了，周边对应区域还在工作，弱视眼视力提高的同时也在加强同时视能力。

本发明中，基于单眼视力增强单元中的视觉刺激模块、扫视模块和追随模块，给出如下实施例。

本发明中，视觉刺激模块的设置为：

若是第一次训练，CAM的转速和条栅空间频率都调至最低档；若不是，继上次训练结束时所记录的转速和条栅空间频率记录训练；

每次训练前让用户适应旋转的条栅图一分钟，一分钟后在旋转的条栅图上随机出现N个红色和/或蓝色和/或绿色的点，用户以VR手柄指到该点，并按下手柄的确认键便可点击，六次为一循环，即用户点击完所有的点为一次循环；

要求用户点击正在闪烁的点，若击中点，则该点变成另外一种红色和/或蓝色和/或绿色，把所有的点都击中完之后，显示屏刷新出现随机的N个点；

一次循环里会出现6次红色和/或蓝色和/或绿色的点，颜色会变化且颜色变化不会重复出现；

记录用户每一次点击点的时间，传给数据模块进行数据分析。

本发明中，CAM是光栅疗法原理，又称视觉生物刺激法，采用不同频率的黑白条栅板作为刺激源，由于条栅板的旋转，使得弱视眼在各个方位上受到不同空间频率和对比度的光栅刺激，从而使弱视眼中受累的大多数皮质细胞受体得到确切地刺激，从而达到提高视力的目的。其中，条栅选择对比敏感度高的黑白色，来生成黑白相间的条栅图，条栅图有N档不同的空间频率（N > 1）；转速根据医学原理，条栅的旋转速度为每分钟1-6圈，屏幕刷新每秒3-18帧，旋转速度要小于每帧2度。

本发明中，对应设定CAM最低转速为每秒3帧，最高转速每秒18帧，转速按M档分，均匀变化；转速越快，治疗效果更好。

本发明中，扫视模块的设置为：

在旋转的条栅图上出现N个随机的红色和/或蓝色和/或绿色的点，每个点出现在显示屏上的次数大于等于1，显示屏上方会提醒用户点击显示屏中哪个颜色的点，若击中提醒的颜色的点，则该点消失，若击不中或击中的点的颜色不是要求的颜色，则该点会闪烁并有提示错误的音效提醒用户。

本发明中，追随模块的设置为：

在空白的背景图出现一个红色或蓝色或绿色的点，该点的颜色随机且三种颜色循环出现，该点以***设定好的移动轨迹进行移动，要求用户眼睛跟踪移动的该点。

本发明中，眼球运动分为三种：追随、扫视、注视；追随是指眼睛平滑地跟踪移动中的物体；扫视是指眼睛注视从一处跳到另一处；注视是指眼睛固定聚焦于一点。上述闪烁刺激中，在点击闪烁的红蓝绿点的时候，需要对点进行注视，才能击中该点，这锻炼了眼球运动的注视能力；在上述的扫视训练中，需要对条栅图上的点进行扫视，才知道该点点击哪个点和哪个点还没被点击，点会随机出现在条栅图上的每个地方，用户需要看到上下左右每个地方，这也锻炼了周边知觉；上述追随训练中，要求用户跟踪点的移动，是为了锻炼眼球的追随能力，在用户没法追随小球移动的时候，该点进行闪烁也能刺激眼睛的锥体细胞。

本发明中，不论注视远方还是近处目标，其视线的交点总是相交于目标上，结像在黄斑中心凹，黄斑部的视锥细胞主要捕捉颜色，其包含三种视锥细胞，蓝锥、绿锥和红锥，分别对蓝光、绿光和红光最敏感。闪烁能够达到视觉兴奋和传导效率提升的目的，通过对闪烁的红点、蓝点、绿点的点击，闪烁红色光、蓝色光、绿色光对弱视眼进行一个刺激后，黄斑部锥体细胞可产生热效应和生物化学效应等，改善局部血液循环和新陈代谢，增强锥体细胞活力，从而使视力提高。

本发明中，记录用户分别点击红点、蓝点、绿点的时间是为了通过数据观察用户是否对哪种颜色不敏感、是否会色觉异常，应多次记录该点击时间，减少数据的偶然性。若记录的数据显示用户点击三种颜色的时间差异很大，应及时通知用户，并建议用户去医院进行检查。

本发明中，一般来说，步骤C.2中左显示屏和右显示屏的缩放比例一致。

本发明中，步骤C.3中，偏移距离不宜过大，并需要根据缩放比例进行相应的调整。

本发明中，用户必须两只眼镜同时看才能看到整幅图，这锻炼了用户的双眼协同能力，对图形进行偏移，是为了锻炼用户用户的融合能力，融合不仅是把两个物像联合起来，还包括在两眼物像偏离正位的情况下有能力反射性地保证两眼物像合为一个知觉印象，能引起融合反射的视网膜物像移位幅度称为融合范围。

所述数据分析单元的分析方法包括对训练模块反馈的数据分析、对眼球追踪模块反馈的数据分析及生成感兴趣区域图；

所述对训练模块反馈的数据分析包括以下步骤：

步骤D.1.1：记录每一次训练点击的时刻，若较上一次训练，当前点击的正确率上升且反应时间缩短，则训练模块转速增大；重复步骤D.1.1直至训练模块达到最大转速，进行下一步；

步骤D.1.2：若在最高转速用户仍能正常操作，则在保持最高转速的情况下增加CAM条栅的空间频率；

步骤D.1.3：若用户无法在增加空间频率后正常操作，则保持当前CAM条栅的空间频率，降低转速，直至找到适应用户的转速值，返回步骤D.1.1；

所述对眼球追踪模块反馈的数据分析中，眼球追随模块将眼球运动轨迹实时发送至数据分析单元，数据分析单元把接收到的眼球运动轨迹数据与预设的运动轨迹进行比较，若发现用户的眼球运动轨迹与预设的运动轨迹间的偏离距离大于阈值，则在VR眼睛的显示屏上闪烁光点、对用户进行提醒；

所述生成感兴趣区域图包括以下步骤：

步骤D.2.1：训练模块将眼球追踪模块记录的眼球运动轨迹发送到数据分析单元；

步骤D.2.2：数据分析单元根据眼球运动轨迹数据，计算眼球运动轨迹数据在显示屏中重复率最高的区域；

步骤D.2.3：以当前区域作为用户的感兴趣区域。

本发明中，对CAM条栅的空间频率和旋转速度的控制中，记录每一次训练点击点的时间，若点击点的正确率越来越高，时间越来越短，则增加转速一档；若在最高转速患者仍能适应，则在最高转速增加空间频率一档；若在最高转速增加空间频率患者适应不了，则保持当前空间频率，降低转速，找到适应患者的值。

本发明中，若被训练患者是选择练习模块进行练习做题，根据眼球运动轨迹的重复率，可作为题目难易程度参考。

本发明通过配合VR眼镜及VR手柄设置的***，在***中整合用于进行用户登录并持续追踪眼球运动轨迹的眼球追踪模块、用于对用户进行视觉训练的输出并获得用户反馈的训练数据的训练模块及用于存储***所需资料、获取眼球追踪模块传输的信息并分析、获取训练模块的训练数据、设定训练模块的输出内容的数据模块；通过VR眼镜分视双眼，以眼球追踪模块登录***，选择训练模块进行训练，眼球追踪模块开始追踪眼球运动轨迹，训练模块同时记录训练数据，实时把眼球运动轨迹数据和训练数据发送到数据模块，数据模块通过对数据的分析来控制训练模块的训练难易程度，通过以上模块的配合来对用户进行视觉训练。

本发明通过VR技术分视双眼，克服传统方法通过遮盖优视眼、抑制优视眼而导致优视眼视力损伤的缺陷，并可以克服给患者遮盖时采用眼罩而带来心理的不良影响；利用VR技术的沉浸性和其自带的耳机具有降噪功能的特性，训练时患者只能看到VR眼镜显示屏的内容，不受其他的干扰，使患者更专注地训练；通过眼球追踪模块来登录***，克服需要自己手动输入密码来登录***的复杂性并生成属于自己的数据库；通过眼球追踪模块、数据模块和训练模块之间的配合，使用户在边学习的过程中边进行视觉训练，解决了现有技术中没有在视觉训练过程中涉及学习的问题。

Claims (7)

1.一种基于VR技术的视觉训练学习***，其特征在于：所述***配合VR眼镜及VR手柄设置；

所述***包括：

一眼球追踪模块，用于进行用户登录并持续追踪眼球运动轨迹；

一训练模块，用于对用户进行视觉训练的输出并获得用户反馈的训练数据；训练模块包括：

一单眼视力增强单元，用于将预设数据呈现在左显示屏或右显示屏上，对单眼进行视觉训练，单眼视力增强单元包括训练内容输出及获取反馈信息；所述单眼视力增强单元包括视觉刺激模块、扫视模块和追随模块；

一双眼视觉训练单元，用于将预设数据呈现在左显示屏和右显示屏上、对双眼进行视觉训练；

一数据模块，用于存储***所需资料、获取眼球追踪模块传输的信息并分析、获取训练模块的训练数据、设定训练模块的输出内容；数据模块包括数据存储单元、数据设定单元和数据分析单元；

选择单眼视力增强单元，开始训练并记录训练数据，眼球追踪模块追踪眼球运动轨迹，训练数据和眼球运动轨迹数据实时发送给数据分析单元，通过数据分析结果来控制单眼视力增强单元的训练难度；选择双眼视觉训练单元，用户进入数据存储单元选择学习资料，资料会以数据设定单元里的设定方式显示在左显示屏和右显示屏上，需左右眼同时看才能看到完整的学习资料；同时眼球追踪模块把眼球运动轨迹发送至数据分析单元；通过训练模块的单眼视力增强单元来训练弱视眼，待弱视眼视力有提升之后，进入双眼视觉训练单元，在学习的过程中训练双眼视觉；

若进行双眼视力增强训练，则所述数据设定单元的设置包括以下步骤：

步骤B.1：使用训练好的用于区分图片中的文字和图形的二分类神经网络模型，识别数据存储单元里所有文档图像中的图形部分，以图片的左上角为原点，记录下每个图形的左上角坐标点和右下角坐标点，并把坐标值保存至数据设定单元的输出地址中，作为左显示屏和右显示屏输出；

步骤B.2：对数据存储单元里的所有文档图像进行复制，以白色像素块对复制的文档图像中对应步骤B.1识别的图形部分进行覆盖并保存；

步骤B.3：对被白色像素块覆盖掉图形部分的图像进行水平分割，利用文字行之间的空白间隙造成的水平投影空白间隙，将图像按行分割出来，以图片的左上角为原点，记录下每一行的左上角坐标和右下角坐标，将所有奇数行和偶数行的坐标值分别保存至数据设定单元的输出地址中，作为左显示屏和右显示屏输出；

进行双眼视力增强训练时，训练模块获取数据设定单元的配置，训练包括以下步骤：

步骤C.1：当用户打开学习资料，通过地址值自数据设定单元读取步骤B.1和步骤B.3的坐标值；

步骤C.2：所述步骤B.3的奇数行坐标值所对应的复制文档图像内容按预设的缩放比例显示在VR眼镜的一显示屏上，偶数行坐标值所对应的复制文档图像内容按预设的缩放比例显示在VR眼镜的另一显示屏上；

步骤C.3：所述步骤B.1所识别的图形文档坐标值所对应的原文档图像内容偏移设置在左显示屏和右显示屏的复制文档图像内容旁，偏移的距离大于0。

2.根据权利要求1所述的一种基于VR技术的视觉训练学习***，其特征在于：所述眼球追踪模块包括：

一眼球识别单元，用于在用户戴上VR眼镜并注视显示屏时捕捉眼球、获取识别数据并提交数据模块进行匹配；

一眼球跟踪单元，用于在用户通过识别后追踪眼球运动轨迹并发送至数据模块。

3.根据权利要求1所述的一种基于VR技术的视觉训练学习***，其特征在于：所述数据模块包括：

一数据存储单元，用于自云端服务器下载并存储对应用户的电子版课本和课外书；

一数据设定单元，用于以预设的方式、将数据存储单元存储的数据展现在VR眼镜的显示屏上；所述VR眼镜的左显示屏与右显示屏的显示内容不同；

一数据分析单元，用于实时分析眼球追踪模块和训练模块的数据、以自适应控制训练难度和生成感兴趣区域图。

4.根据权利要求3所述的一种基于VR技术的视觉训练学习***，其特征在于：所述数据存储单元还连接有采集单元，采集单元用于用户操作VR眼镜进入实景模式、通过VR眼镜的摄像头及手柄获取图片并存储至数据存储单元。

5.根据权利要求4所述的一种基于VR技术的视觉训练学习***，其特征在于：所述采集单元采集图片后进行预处理，所述预处理包括以下步骤：

步骤A.1：取当前图片的背景图像，与当前图片作差，保留前景图像；

步骤A.2：对所述前景图像进行图像校正，图像校正包括倾斜校正、去阴影、调整曝光度。

6.根据权利要求1所述的一种基于VR技术的视觉训练学习***，其特征在于：

若进行单眼视力增强训练，则所述数据设定单元设置用户弱视眼对应的一显示屏显示训练内容，另一显示屏显示背景，所有训练操作由弱视眼来完成；若用户自数据存储单元选择训练数据，则弱视眼对应的显示屏显示的电子版课本和课外书的缩放比根据用户视力设定，另一显示屏持续显示背景。

7.根据权利要求1所述的一种基于VR技术的视觉训练学习***，其特征在于：所述数据分析单元的分析方法包括对训练模块反馈的数据分析、对眼球追踪模块反馈的数据分析及生成感兴趣区域图；

所述对训练模块反馈的数据分析包括以下步骤：

步骤D.1.1：记录每一次训练点击的时刻，若较上一次训练，当前点击的正确率上升且反应时间缩短，则训练模块转速增大；重复步骤D.1.1直至训练模块达到最大转速，进行下一步；

步骤D.1.2：若在最高转速用户仍能正常操作，则在保持最高转速的情况下增加CAM条栅的空间频率；

步骤D.1.3：若用户无法在增加空间频率后正常操作，则保持当前CAM条栅的空间频率，降低转速，直至找到适应用户的转速值，返回步骤D.1.1；

所述对眼球追踪模块反馈的数据分析中，眼球追踪模块将眼球运动轨迹实时发送至数据分析单元，数据分析单元把接收到的眼球运动轨迹数据与预设的运动轨迹进行比较，若发现用户的眼球运动轨迹与预设的运动轨迹间的偏离距离大于阈值，则在VR眼睛的显示屏上闪烁光点、对用户进行提醒；

所述生成感兴趣区域图包括以下步骤：

步骤D.2.1：训练模块将眼球追踪模块记录的眼球运动轨迹发送到数据分析单元；

步骤D.2.2：数据分析单元根据眼球运动轨迹数据，计算眼球运动轨迹数据在显示屏中重复率最高的区域；

步骤D.2.3：以当前区域作为用户的感兴趣区域。

Images