CN115602286B - 一种基于ar眼镜的双眼同时知觉检测和训练方法及*** - Google Patents
一种基于ar眼镜的双眼同时知觉检测和训练方法及*** Download PDFInfo
- Publication number
- CN115602286B CN115602286B CN202211274017.7A CN202211274017A CN115602286B CN 115602286 B CN115602286 B CN 115602286B CN 202211274017 A CN202211274017 A CN 202211274017A CN 115602286 B CN115602286 B CN 115602286B
- Authority
- CN
- China
- Prior art keywords
- model
- inspection
- training
- preset
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 122
- 238000012549 training Methods 0.000 title claims abstract description 106
- 230000008447 perception Effects 0.000 title claims abstract description 64
- 239000011521 glass Substances 0.000 title claims abstract description 52
- 238000000034 method Methods 0.000 title claims abstract description 48
- 230000003190 augmentative effect Effects 0.000 title description 3
- 238000007689 inspection Methods 0.000 claims abstract description 73
- 238000004458 analytical method Methods 0.000 claims description 26
- 238000012545 processing Methods 0.000 claims description 20
- 238000006243 chemical reaction Methods 0.000 claims description 13
- 238000011156 evaluation Methods 0.000 claims description 11
- 239000012634 fragment Substances 0.000 claims description 10
- 210000003128 head Anatomy 0.000 claims description 8
- 238000013507 mapping Methods 0.000 claims description 7
- 238000004519 manufacturing process Methods 0.000 claims description 5
- 239000000463 material Substances 0.000 claims description 5
- 238000009877 rendering Methods 0.000 claims description 5
- 238000004873 anchoring Methods 0.000 claims description 4
- 230000004807 localization Effects 0.000 claims description 4
- 230000000694 effects Effects 0.000 abstract description 15
- 230000006870 function Effects 0.000 abstract description 14
- 238000005516 engineering process Methods 0.000 description 14
- 230000000007 visual effect Effects 0.000 description 8
- 230000004438 eyesight Effects 0.000 description 5
- 238000011835 investigation Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 206010025421 Macule Diseases 0.000 description 3
- 238000010276 construction Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 230000016776 visual perception Effects 0.000 description 2
- 206010011469 Crying Diseases 0.000 description 1
- 206010047571 Visual impairment Diseases 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 210000002189 macula lutea Anatomy 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000007996 neuronal plasticity Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000002207 retinal effect Effects 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 230000000638 stimulation Effects 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000001225 therapeutic effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000004382 visual function Effects 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Rehabilitation Tools (AREA)
Abstract
本发明提供了一种基于AR眼镜的双眼同时知觉检测和训练方法及***,涉及知觉检测技术领域,通过基于预设左眼和右眼检测图形建立检查用3D模型;通过slam定位锚将所述检查用3D模型中的预设左眼和右眼检测图形定在选定的检查用背景中,生成显示画面;将检查用3D模型中的显示画面传输至AR眼镜的显示端中;当被检查者佩戴所述AR眼镜发送启动信号时,播放预设语音提示信息;对所述被检查者回复信息进行识别,确定被检查者检查数据,生成被检查者检测报告。解决了现有技术中知觉检测是分别对左右眼进行检测,缺乏双眼同时检测的有效方式,不符合日常用眼要求的技术问题。达到快速有效的检查出被测者双眼同时知觉功能的状况的效果。
Description
技术领域
本发明涉及知觉检测技术领域,具体涉及一种基于AR眼镜的双 眼同时知觉检测和训练方法及***。
背景技术
眼部知觉检测也就是对视觉检测,通过视觉检测仪器判断被检查 者的眼部视觉感知,即是否存在视力问题,随着工作学习任务的加重 和电子产品的普及,越来越多的人群出现了视觉障碍,不仅是学生, 中年、老年等各阶段的人群均出现不同程度的视觉异常,目前进行视 觉检测主要通过视力表、验光仪进行检测,但主要是进行单眼检测,无法进行双眼同时知觉功能的检测,由于日常用眼需要进行双眼同时 进行,因而双眼同时知觉的检测更为符合日常用眼要求。
发明内容
为了解决上述问题,本申请通过提供了一种基于AR眼镜的双眼 同时知觉检测和训练方法及***,解决了现有技术中知觉检测是分别 对左右眼进行检测,缺乏双眼同时检测的有效方式,不符合日常用眼 要求的技术问题。达到了通过AR显示技术和slam定位技术相结合,快速有效的检查出被测者双眼同时知觉功能的状况,操作方法简单可 行,配合度更高,更为符合双眼知觉检测需求的技术效果。
鉴于上述问题,本申请提供了一种基于AR眼镜的双眼同时知觉 检测和训练方法及***。
一方面,本申请提供了一种基于AR眼镜的双眼同时知觉检测和 训练方法,包括:基于预设左眼和右眼检测图形建立检查用3D模型; 建立检查用背景模型,通过slam定位锚将所述检查用3D模型中的预 设左眼和右眼检测图形定在从所述检查用背景模型中选定的检查用背景中,生成显示画面;将所述检查用3D模型中的显示画面传输至 AR眼镜的显示端中;当被检查者佩戴所述AR眼镜发送启动信号时, 播放预设语音提示信息;基于所述预设语音提示信息,采集被检查者 回复信息,对所述被检查者回复信息进行识别,确定被检查者检查数 据,并将所述被检查者检查数据进行存储;根据所述被检查者检查数 据进行知觉检查分析及训练要求匹配,生成被检查者检测报告。
优选的,所述方法还包括:获得所述检查用背景模型的背景资料 库;对被检查者进行信息采集,获得被检查者信息;根据所述被检查 者信息进行喜好特征分析,确定喜好特征,将所述喜好特征与所述背 景资料库进行关联性分析,得到匹配背景资料,将所述匹配背景资料 作为选定的检查用背景。
优选的,所述方法包括:通过预设建模工具进行模型搭建;将所 述预设左眼和右眼检测图形导入Unity中,并调整搭建的模型至场景 对应的位置;将3D模型转换为显示画面。
优选的,所述将3D模型转换为显示画面,包括:Unity调用底 层图形接口,获得3D模型顶点;通过顶点着色器-曲面细分着色器- 几何着色器-裁剪-屏幕映射各阶段对所述顶点进行处理;对处理好的 顶点信息经过三角形处理-片元着色器-逐片元操作-输出显示画面阶 段处理,生成所述显示画面。
优选的,所述方法还包括:通过预设制图工具制作预设背景画面 的纹理;将纹理导入Unity中;添加背景模型,通过Unity中材质工 具将预设背景画面的纹理贴在所述背景模型上,经过CPU和GPU进行 处理和渲染。
优选的,所述通过slam定位锚将所述检查用3D模型中的预设左 眼和右眼检测图形定在从所述检查用背景模型中选定的检查用背景 中,包括:根据slam计算当前环境的坐标,结合Unity坐标计算得 到物体处于环境中的位置坐标,将所述预设左眼和右眼检测图形设置 在同一位置坐标进行锚定。
优选的,将所述检查用3D模型中的显示画面传输至AR眼镜的显 示端,之后包括:根据slam算法计算当前环境的实际坐标;构建slam 坐标与Unity坐标的转换关系;获得AR眼镜头部坐标,根据所述AR 眼镜头部坐标、实际坐标、slam坐标与Unity坐标的转换关系计算 初始距离所在的位置,设置AR显示端初始距离。
优选的,所述方法还包括:定时采集被检查者的训练信息;根据 所述被检查者检测报告中的训练要求与训练信息进行比对,确定定时 训练评估信息;判断所述定时训练评估信息是否满足训练要求,若不 满足时,根据所述训练信息、训练要求在训练计划数据库中进行训练 内容匹配,利用匹配到的训练内容对所述训练要求进行调整。
另一方面,本申请提供了一种基于AR眼镜的双眼同时知觉检测 和训练***,所述***包括:模型构建单元,用于基于预设左眼和右 眼检测图形建立检查用3D模型;定位单元,用于建立检查用背景模型,通过slam定位锚将所述检查用3D模型中的预设左眼和右眼检测 图形定在从所述检查用背景模型中选定的检查用背景中,生成显示画 面;AR显示单元,用于将所述检查用3D模型中的显示画面传输至AR 眼镜的显示端中;检测执行单元,用于当被检查者佩戴所述AR眼镜 发送启动信号时,播放预设语音提示信息;检测信息识别记录单元, 用于基于所述预设语音提示信息,采集被检查者回复信息,对所述被检查者回复信息进行识别,确定被检查者检查数据,并将所述被检查 者检查数据进行存储;检测分析单元,用于根据所述被检查者检查数 据进行知觉检查分析及训练要求匹配,生成被检查者检测报告。
本申请中提供的技术方案,至少具有如下技术效果:
本申请提供了一种基于AR眼镜的双眼同时知觉检测和训练方法 及***,通过基于预设左眼和右眼检测图形建立检查用3D模型;建 立检查用背景模型,通过slam定位锚将所述检查用3D模型中的预设 左眼和右眼检测图形定在从所述检查用背景模型中选定的检查用背景中,生成显示画面;将所述检查用3D模型中的显示画面传输至AR 眼镜的显示端中;当被检查者佩戴所述AR眼镜发送启动信号时,播 放预设语音提示信息;基于所述预设语音提示信息,采集被检查者回 复信息,对所述被检查者回复信息进行识别,确定被检查者检查数据, 并将所述被检查者检查数据进行存储;根据所述被检查者检查数据进 行知觉检查分析及训练要求匹配,生成被检查者检测报告。达到了通 过AR显示技术和slam定位技术相结合,快速有效的检查出被测者双 眼同时知觉功能的状况,操作方法简单可行,配合度更高,更为符合双眼知觉检测需求的技术效果,从而解决了现有技术中知觉检测是分别对左右眼进行检测,缺乏双眼同时检测的有效方式,不符合日常用 眼要求的技术问题。
附图说明
图1为本申请实施例的一种基于AR眼镜的双眼同时知觉检测和 训练方法的流程示意图;
图2为本申请实施例的一种基于AR眼镜的双眼同时知觉检测和 训练方法中确定选定的检查用背景的流程示意图;
图3为本申请实施例的一种基于AR眼镜的双眼同时知觉检测和 训练***的结构示意图。
具体实施方式
本申请通过提供了一种基于AR眼镜的双眼同时知觉检测和训练 方法及***,用以解决了现有技术中知觉检测是分别对左右眼进行检 测,缺乏双眼同时检测的有效方式,不符合日常用眼要求的技术问题。
下面结合具体的实施例进行本发明方案的详细介绍。
实施例一
如图1所示,本申请实施例提供了一种基于AR眼镜的双眼同时 知觉检测和训练方法,所述方法包括:
S10:基于预设左眼和右眼检测图形建立检查用3D模型;
具体的,通过maya、3Dmax等建模软件即预设建模工具进行预设 左眼和右眼检测图形的模型搭建,其中预设左眼和右眼检测图形可以 为+、○,其中,左眼和右眼的预设图形可选的1:1等比例,1cm*1cm 大小等方式进行尺寸确定,同时检查用3D模型不限于“+”和“○” 形状,可以是△,□等。
S20:建立检查用背景模型,通过slam定位锚将所述检查用3D 模型中的预设左眼和右眼检测图形定在从所述检查用背景模型中选 定的检查用背景中,生成显示画面;
进一步的,所述通过slam定位锚将所述检查用3D模型中的预设 左眼和右眼检测图形定在从所述检查用背景模型中选定的检查用背 景中,包括:根据slam计算当前环境的坐标,结合Unity坐标计算 得到物体处于环境中的位置坐标,将所述预设左眼和右眼检测图形设 置在同一位置坐标进行锚定。
具体的,设计并建立检查背景模型,检查用背景模型中包括了多 种背景图案,如星空、大海、卡通、草地等,可以适用于不同的被检 查者的需求,将检查用3D模型的预设左眼和右眼检测图“+”和“○”通过slam定位锚定在检查背景中,为空间坐标系中同一位置。应理 解,SLAM技术是同步定位与地图构建(Simultaneous Localization And Mapping)的缩写,被定义为解决“机器人从未知环境的未知地 点出发,在运动过程中通过重复观测到的地图特征(比如,墙角,柱 子等)定位自身位置和姿态,再根据自身位置增量式的构建地图,从而达到同时定位和地图构建的目的”的问题方法的统称。SLAM包含 了:感知、定位、建图这三个过程。感知——机器人能够通过传感器 获取周围的环境信息。定位——通过传感器获取的当前和历史信息, 推测出自身的位置和姿态。建图——根据自身的位姿以及传感器获取 的信息,描绘出自身所处环境的样貌。
利用slam计算出当前环境的坐标,结合Unity坐标计算出物体 处于环境中的位置进行锚定。
进一步的,所述方法还包括:S1101:通过预设建模工具进行模 型搭建;S1102:将所述预设左眼和右眼检测图形导入Unity中,并调整搭建的模型至场景对应的位置;S1103:将3D模型转换为显示画 面。
进一步的,所述将3D模型转换为显示画面,S1103包括:S11031: Unity调用底层图形接口,获得3D模型顶点;S11032:通过顶点着色器-曲面细分着色器-几何着色器-裁剪-屏幕映射各阶段对所述顶 点进行处理;S11033:对处理好的顶点信息经过三角形处理-片元着 色器-逐片元操作-输出显示画面阶段处理,生成所述显示画面。
其中,如何将“+”和“○”3D模型添加至Unity中,Unity为 游戏引擎,是实时3D互动内容创作和运营平台,利用构建的“+” 和“○”3D模型如何生成互动画面呢,将“+”和“○”3D模型导 入Unity中,将模型放到场景中合适的位置,从模型到屏幕图形分为以下步骤:1)应用阶段:Unity调用底层图形接口将模型顶点、网格、 纹理等数据传送到GPU(网络图形处理器,是显示卡的心脏)。2) 几何阶段:经过顶点着色器->曲面细分着色器->几何着色器->裁剪->屏幕映射等阶段处理顶点。3)光栅化阶段:对几何阶段准备好的顶 点信息进行处理。经过三角形处理->片元着色器->逐片元操作->输出 显示画面等阶段处理。
S30:将所述检查用3D模型中的显示画面传输至AR眼镜的显示 端中。
进一步的,将所述检查用3D模型中的显示画面传输至AR眼镜的 显示端,之后包括:S901:根据slam算法计算当前环境的实际坐标; S902:构建slam坐标与Unity坐标的转换关系;S903:获得AR眼镜 头部坐标,根据所述AR眼镜头部坐标、实际坐标、slam坐标与Unity 坐标的转换关系计算初始距离所在的位置,设置AR显示端初始距离。
具体的,将所述检查用3D模型显示在AR眼镜的显示端,左侧显 示+,右侧显示○,生成软件应用,通过AR眼镜实现对双眼同时检 测的效果。
在使用AR眼镜进行检测之前,按照显示图像的显示坐标和实际 坐标的关系、slam坐标与Unity坐标的转换关系,对显示端中的初始显示距离进行设定,以符合检测的画面距离要求,在初始距离是显 示画面在AR显示端的常规显示距离,在检测时可以通过被检查者的 回复进行距离调整,以完成全方位知觉检测。AR显示端的初始距离 设置步骤:根据slam算法计算出当前环境的世界坐标。构建slam坐 标和unity的转换关系。根据AR头部坐标,计算出初始距离所在的 位置。
S40:当被检查者佩戴所述AR眼镜发送启动信号时,播放预设语 音提示信息;
S50:基于所述预设语音提示信息,采集被检查者回复信息,对 所述被检查者回复信息进行识别,确定被检查者检查数据,并将所述 被检查者检查数据进行存储;
具体的,被检查者通过佩戴AR眼镜,打开应用时,触发启动信 号,通过播放预设的语音提示进行对应的检测,举例而言,询问被检 查者有没有看到+和○,+有没有在○里面,+有没有跑到○外面。 若同时看到+和○说明双眼同时知觉功能存在,若哪一侧未看到,则该侧眼知觉功能较弱;若看到+在○里面,则表明双眼同时知觉功能正常。若+跑到○外面,则表明双眼同时知觉功能受损,空间定位能 力不稳定。本发明实施例通过AR显示技术和slam定位技术相结合, 能快速有效的检查出被测者双眼同时知觉功能的状况,操作方法简单 可行,配合度更高。
S60:根据所述被检查者检查数据进行知觉检查分析及训练要求 匹配,生成被检查者检测报告。
具体的,被检查者的回答将进行存储,按照提出的语音问题与答 复内容进行对应,生成被检查者的检查数据,针对检查数据中的比对 结果确定被检查者的知觉功能,可以为人工判断作为依据,也可以按 照检查数据与预设的评估数据库进行评估,按照回答的结果确定被检 查者的知觉检测结果,再结合被检查者的个人资料,如年龄、身高、体重、身体状态等进行对应的训练方案定制,训练要求即为根据检测 结果、个人资料定制的训练方案,训练方案的定制中可以通过人工进 行定制,同样可以进行机器智能匹配,通过预设训练方案数据库,按照检测结果和年龄进行方案的遍历比对,确定与其特征相匹配的训练 方案作为训练要求。
可见,本申请实施例通过AR显示技术和slam定位技术相结合, 达到了快速有效的检查出被测者双眼同时知觉功能的状况,操作方法 简单可行,配合度更高,更为符合双眼知觉检测需求的技术效果。从 而解决了现有技术中知觉检测是分别对左右眼进行检测,缺乏双眼同 时检测的有效方式,不符合日常用眼要求的技术问题。
双眼同时知觉:指两眼黄斑中心凹和黄斑外对应的视网膜成分有 共同的视觉方向,双眼具有同时注视并感知的能力。没有同时视就不 可能有融合功能和立体视。同时知觉正常者,不但能两眼同时注视, 而且物象能同时落在具有共同视觉方向的两眼黄斑中心凹和对应点。 因此,任何眼位偏斜和(或)黄斑及对应成分存在视觉抑制状态时均不 可能保持完全正常的双眼同时知觉。因而实现双眼同时知觉的检测对于眼部知觉的检测效果更为可靠,更为贴合用眼要求。
进一步的,如图2所示,所述方法还包括:S701:获得所述检查 用背景模型的背景资料库;S702:对被检查者进行信息采集,获得被 检查者信息;S703:根据所述被检查者信息进行喜好特征分析,确定 喜好特征,将所述喜好特征与所述背景资料库进行关联性分析,得到匹配背景资料,将所述匹配背景资料作为选定的检查用背景。
具体的,本申请实施例还具有根据用户进行喜好度匹配进行背景 选择的功能,针对不同的年龄段和喜好进行对应的背景匹配,以提供 被检查者的配合度,尤其针对儿童,为了避免在检查过程中不配合而 影响到了检测效果,对检查者进行喜好特征分析,通过采集被检查者 的信息,被检查者信息可以通过调查信息录入,也可以通过图像采集识别或者通过大数据进行网页浏览内容的分析,调查信息录入为进行 语音调查喜好,可以为本人或者监护人的调查,也可以通过被检查者 的图像采集进行行为、外貌、年龄、着装的图案、颜色等进行喜好分 析。针对分析得到的喜好特征,如颜色、卡通人物等,与背景资料库 中背景进行特征匹配,找到符合该被检查者的背景进行添加。实现用户的个人特性,定制化进行空间背景匹配,提高用户的配合度,以提 高检测效果。
另外还可以对检查的过程进行图像和语音分析,如语音吵闹、内 容不坚定,则表明用户状态不佳,如图像中用户烦躁、哭闹、肢体动 作多,则表明用户专注度不足,按照检测到的特征对用户的检测结果 是否可靠进行标识,选择标识结果满足要求的进行结果分析,实现了 对检测结果进行可信度标识,提高辅助检测的效果。
进一步的,所述方法还包括:S801:通过预设制图工具制作预设 背景画面的纹理;S802:将纹理导入Unity中;S803:添加背景模型, 通过Unity中材质工具将预设背景画面的纹理贴在所述背景模型上,经过CPU和GPU进行处理和渲染。
具体的,在进行背景添加时,主要通过图软件制作出对应的背景 图像,如星空的纹理。将纹理导入Unity中。添加星空的模型,通过 Unity中材质工具(Materal)将星空纹理贴在星空模型上,在经过 cpu和gpu进行处理和渲染,从而将背景图像加入了显示画面中。通 过设定多种不同的背景画面来满足不同的被检查者需求,可以增加其 在检查过程中的配合度。
进一步的,所述方法还包括:S1001:定时采集被检查者的训练 信息;S1002:根据所述被检查者检测报告中的训练要求与训练信息 进行比对,确定定时训练评估信息;S1003:判断所述定时训练评估 信息是否满足训练要求,若不满足时,根据所述训练信息、训练要求 在训练计划数据库中进行训练内容匹配,利用匹配到的训练内容对所述训练要求进行调整。
具体的,根据被检查者的训练要求可以进行定期监测,对训练结 果进行采集,确定经过训练后的知觉状态,根据训练时间、训练信息 与训练要求进行比较,判断是否达到了训练的要求,或者是否起到了 改善知觉的效果,若无效果或者效果未达到训练要求,则对训练内容 进行调整,可以通过人工进行训练调整,也可以通过训练计划数据库中的训练计划、针对的知觉状态、年龄信息、训练效果等进行匹配, 对应找到当前的知觉状态和被检查者年龄信息相匹配的训练计划,针 对当前的训练效果进行计划匹配,得到对应的训练内容对该检查者的 被检查者检测报告中的训练要求进行调整。
综上,本申请实施例具有如下有益效果:
1.通过AR显示技术和slam定位技术相结合,快速有效的检查 出被测者双眼同时知觉功能的状况,可以快速地表明显示出一个患者 的双眼同时视觉功能正常与否,从而判断应用何种训练手段加以改善。
2.通过以虚拟现实、移动健康管理和神经科学为基础,凭借不 同模型的刺激与探测,定位视觉模型,利用神经可塑性与视感知觉学 习,提高检测准确性。
3.通过在真实环境中构建虚实叠加的场景,围绕大脑的本体, 前庭构建不同的场景和物体,并且通过深度感知交互技术与场景中形 成视觉互动,不仅不会让被检查者(特别是儿童)感到枯燥,还更容 易激发其积极配合的热情,从而也更容易完成检查。
4.通过本申请实施例AR显示技术和slam定位技术相结合的创 新模式,可以整合患者的临床数据,不同检查的数据结果,不同场景 的数据,不同视觉功能的数据等,利于进行知觉检测的分析研究及对 应的治疗训练。
5.通过AR眼镜和智能化平台,可以不受时空限制,随时随地监 控被检查者每个阶段的检查结果、训练结果,进行随着指导和控制, 确保被检查者的治疗和训练效果。可以对检查结果进行整合分析,为 下一阶段的训练提供更精准更有效的干预方案,最终实现患者的个性 化数字治疗干预需求——缩短训练周期,提升长期训练效果。
实施例二
基于与前述实施例中一种基于AR眼镜的双眼同时知觉检测和训 练方法相同的发明构思,本申请实施例提供了一种基于AR眼镜的双 眼同时知觉检测和训练***,如图3所示,所述***包括:
模型构建单元,用于基于预设左眼和右眼检测图形建立检查用 3D模型;
定位单元,用于建立检查用背景模型,通过slam定位锚将所述 检查用3D模型中的预设左眼和右眼检测图形定在从所述检查用背景 模型中选定的检查用背景中,生成显示画面;
AR显示单元,用于将所述检查用3D模型中的显示画面传输至AR 眼镜的显示端中;
检测执行单元,用于当被检查者佩戴所述AR眼镜发送启动信号 时,播放预设语音提示信息;
检测信息识别记录单元,用于基于所述预设语音提示信息,采集 被检查者回复信息,对所述被检查者回复信息进行识别,确定被检查 者检查数据,并将所述被检查者检查数据进行存储;
检测分析单元,用于根据所述被检查者检查数据进行知觉检查分 析及训练要求匹配,生成被检查者检测报告。
进一步的,所述***还包括:
背景资料库获得单元,用于获得所述检查用背景模型的背景资料 库;
被检查者信息采集单元,用于对被检查者进行信息采集,获得被 检查者信息;
被检查者特征分析单元,用于根据所述被检查者信息进行喜好特 征分析,确定喜好特征,将所述喜好特征与所述背景资料库进行关联 性分析,得到匹配背景资料,将所述匹配背景资料作为选定的检查用 背景。
进一步的,所述***还包括:
建模单元,用于通过预设建模工具进行模型搭建;
导入单元,用于将所述预设左眼和右眼检测图形导入Unity中, 并调整搭建的模型至场景对应的位置;
图像转换单元,用于将3D模型转换为显示画面。
进一步的,所述图像转换单元还用于:
Unity调用底层图形接口,获得3D模型顶点;
通过顶点着色器-曲面细分着色器-几何着色器-裁剪-屏幕映射 各阶段对所述顶点进行处理;
对处理好的顶点信息经过三角形处理-片元着色器-逐片元操作- 输出显示画面阶段处理,生成所述显示画面。
进一步的,所述***还包括:
背景纹理制作单元,用于通过预设制图工具制作预设背景画面的 纹理;
纹理导入单元,用于将纹理导入Unity中;
背景模型处理单元,用于添加背景模型,通过Unity中材质工具 将预设背景画面的纹理贴在所述背景模型上,经过CPU和GPU进行处 理和渲染。
进一步的,所述定位单元还用于:
根据slam计算当前环境的坐标,结合Unity坐标计算得到物体 处于环境中的位置坐标,将所述预设左眼和右眼检测图形设置在同一 位置坐标进行锚定。
进一步的,所述***还包括:
实际坐标计算单元,用于根据slam算法计算当前环境的实际坐 标;
转换关系构建单元,用于构建slam坐标与Unity坐标的转换关 系;
初始距离计算单元,用于获得AR眼镜头部坐标,根据所述AR眼 镜头部坐标、实际坐标、slam坐标与Unity坐标的转换关系计算初 始距离所在的位置,设置AR显示端初始距离。
进一步的,所述***还包括:
定时采集单元,用于定时采集被检查者的训练信息;
训练评估单元,用于根据所述被检查者检测报告中的训练要求与 训练信息进行比对,确定定时训练评估信息;
训练调整单元,用于判断所述定时训练评估信息是否满足训练要 求,若不满足时,根据所述训练信息、训练要求在训练计划数据库中 进行训练内容匹配,利用匹配到的训练内容对所述训练要求进行调整。
本申请实施例提供的一种基于AR眼镜的双眼同时知觉检测和训 练***可实现实施例一的一种基于AR眼镜的双眼同时知觉检测和训 练方法的任一过程,请参照实施例一的详细内容,在此不再赘述。
本说明书和附图仅仅是本申请的示例性说明,在不脱离本申请的 精神和范围的情况下,可对其进行各种修改和组合。本申请的这些修 改和变型属于本申请权利要求及其等同技术的范围之内,则本申请意 图包括这些改动和变型在内。
Claims (6)
1.一种基于AR眼镜的双眼同时知觉检测和训练方法,其特征在于,包括:
基于预设左眼和右眼检测图形建立检查用3D模型;
建立检查用背景模型,通过slam定位锚将所述检查用3D模型中的预设左眼和右眼检测图形定在从所述检查用背景模型中选定的检查用背景中,生成显示画面;
将所述检查用3D模型中的显示画面传输至AR眼镜的显示端中;
当被检查者佩戴所述AR眼镜发送启动信号时,播放预设语音提示信息;
基于所述预设语音提示信息,采集被检查者回复信息,对所述被检查者回复信息进行识别,确定被检查者检查数据,并将所述被检查者检查数据进行存储;
根据所述被检查者检查数据进行知觉检查分析及训练要求匹配,生成被检查者检测报告;
所述方法还包括:
通过预设制图工具制作预设背景画面的纹理;
将纹理导入Unity中;
添加背景模型,通过Unity中材质工具将预设背景画面的纹理贴在所述背景模型上,经过CPU和GPU进行处理和渲染;
所述通过slam定位锚将所述检查用3D模型中的预设左眼和右眼检测图形定在从所述检查用背景模型中选定的检查用背景中,包括:
根据slam计算当前环境的坐标,结合Unity坐标计算得到物体处于环境中的位置坐标,将所述预设左眼和右眼检测图形设置在同一位置坐标进行锚定;
将所述检查用3D模型中的显示画面传输至AR眼镜的显示端,之后包括:
根据slam算法计算当前环境的实际坐标;
构建slam坐标与Unity坐标的转换关系;
获得AR眼镜头部坐标,根据所述AR眼镜头部坐标、实际坐标、slam坐标与Unity坐标的转换关系计算初始距离所在的位置,设置AR显示端初始距离。
2.如权利要求1所述的方法,其特征在于,所述方法还包括:
获得所述检查用背景模型的背景资料库;
对被检查者进行信息采集,获得被检查者信息;
根据所述被检查者信息进行喜好特征分析,确定喜好特征,将所述喜好特征与所述背景资料库进行关联性分析,得到匹配背景资料,将所述匹配背景资料作为选定的检查用背景。
3.如权利要求1所述的方法,其特征在于,所述方法包括:
通过预设建模工具进行模型搭建;
将所述预设左眼和右眼检测图形导入Unity中,并调整搭建的模型至场景对应的位置;
将3D模型转换为显示画面。
4.如权利要求3所述的方法,其特征在于,所述将3D模型转换为显示画面,包括:
Unity调用底层图形接口,获得3D模型顶点;
通过顶点着色器-曲面细分着色器-几何着色器-裁剪-屏幕映射各阶段对所述顶点进行处理;
对处理好的顶点信息经过三角形处理-片元着色器-逐片元操作-输出显示画面阶段处理,生成所述显示画面。
5.如权利要求1所述的方法,其特征在于,所述方法还包括:
定时采集被检查者的训练信息;
根据所述被检查者检测报告中的训练要求与训练信息进行比对,确定定时训练评估信息;
判断所述定时训练评估信息是否满足训练要求,若不满足时,根据所述训练信息、训练要求在训练计划数据库中进行训练内容匹配,利用匹配到的训练内容对所述训练要求进行调整。
6.一种基于AR眼镜的双眼同时知觉检测和训练***,其特征在于,所述***执行权利要求1-5任一项所述的方法,所述***包括:
模型构建单元,用于基于预设左眼和右眼检测图形建立检查用3D模型;
定位单元,用于建立检查用背景模型,通过slam定位锚将所述检查用3D模型中的预设左眼和右眼检测图形定在从所述检查用背景模型中选定的检查用背景中,生成显示画面;
AR显示单元,用于将所述检查用3D模型中的显示画面传输至AR眼镜的显示端中;
检测执行单元,用于当被检查者佩戴所述AR眼镜发送启动信号时,播放预设语音提示信息;
检测信息识别记录单元,用于基于所述预设语音提示信息,采集被检查者回复信息,对所述被检查者回复信息进行识别,确定被检查者检查数据,并将所述被检查者检查数据进行存储;
检测分析单元,用于根据所述被检查者检查数据进行知觉检查分析及训练要求匹配,生成被检查者检测报告。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211274017.7A CN115602286B (zh) | 2022-10-18 | 2022-10-18 | 一种基于ar眼镜的双眼同时知觉检测和训练方法及*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211274017.7A CN115602286B (zh) | 2022-10-18 | 2022-10-18 | 一种基于ar眼镜的双眼同时知觉检测和训练方法及*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115602286A CN115602286A (zh) | 2023-01-13 |
CN115602286B true CN115602286B (zh) | 2024-06-04 |
Family
ID=84846847
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211274017.7A Active CN115602286B (zh) | 2022-10-18 | 2022-10-18 | 一种基于ar眼镜的双眼同时知觉检测和训练方法及*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115602286B (zh) |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012095693A (ja) * | 2010-10-29 | 2012-05-24 | Hoya Corp | 両眼視機能測定方法、両眼視機能測定プログラム、眼鏡レンズの設計方法、及び眼鏡レンズの製造方法 |
CN202776259U (zh) * | 2012-08-07 | 2013-03-13 | 北京嘉铖视欣数字医疗技术有限公司 | 基于双眼同时视知觉矫治和训练*** |
CN107564107A (zh) * | 2017-07-19 | 2018-01-09 | 中国农业大学 | 一种增强现实实现工具的设计方法与设备 |
CN109445112A (zh) * | 2019-01-05 | 2019-03-08 | 西安维度视界科技有限公司 | 一种ar眼镜及基于ar眼镜的增强现实方法 |
CN109887003A (zh) * | 2019-01-23 | 2019-06-14 | 亮风台(上海)信息科技有限公司 | 一种用于进行三维跟踪初始化的方法与设备 |
TWI740561B (zh) * | 2020-07-01 | 2021-09-21 | 廖日以 | 視覺檢測及其視覺矯正方法 |
CN114241168A (zh) * | 2021-12-01 | 2022-03-25 | 歌尔光学科技有限公司 | 显示方法、显示设备及计算机可读存储介质 |
CN114327043A (zh) * | 2016-02-02 | 2022-04-12 | 索尼公司 | 信息处理装置、信息处理方法和记录介质 |
CN114613485A (zh) * | 2022-02-06 | 2022-06-10 | 上海诠视传感技术有限公司 | 一种基于slam定位技术及AR技术的患者信息查看方法及*** |
CN114613459A (zh) * | 2022-02-06 | 2022-06-10 | 上海诠视传感技术有限公司 | 一种临床教学中以第一视角学习临床操作的方法及*** |
CN114637395A (zh) * | 2022-02-14 | 2022-06-17 | 上海诠视传感技术有限公司 | 一种通过ar眼镜训练手眼协调的方法 |
CN114821753A (zh) * | 2022-04-23 | 2022-07-29 | 中国人民解放军军事科学院国防科技创新研究院 | 一种基于视觉图像信息的眼动交互*** |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101947158B (zh) * | 2009-12-18 | 2012-07-04 | 中国科学院光电技术研究所 | 双眼自适应光学视知觉学习训练仪 |
US11789259B2 (en) * | 2020-12-28 | 2023-10-17 | Passion Light Inc. | Vision inspection and correction method, together with the system apparatus thereof |
-
2022
- 2022-10-18 CN CN202211274017.7A patent/CN115602286B/zh active Active
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012095693A (ja) * | 2010-10-29 | 2012-05-24 | Hoya Corp | 両眼視機能測定方法、両眼視機能測定プログラム、眼鏡レンズの設計方法、及び眼鏡レンズの製造方法 |
CN202776259U (zh) * | 2012-08-07 | 2013-03-13 | 北京嘉铖视欣数字医疗技术有限公司 | 基于双眼同时视知觉矫治和训练*** |
CN114327043A (zh) * | 2016-02-02 | 2022-04-12 | 索尼公司 | 信息处理装置、信息处理方法和记录介质 |
CN107564107A (zh) * | 2017-07-19 | 2018-01-09 | 中国农业大学 | 一种增强现实实现工具的设计方法与设备 |
CN109445112A (zh) * | 2019-01-05 | 2019-03-08 | 西安维度视界科技有限公司 | 一种ar眼镜及基于ar眼镜的增强现实方法 |
CN109887003A (zh) * | 2019-01-23 | 2019-06-14 | 亮风台(上海)信息科技有限公司 | 一种用于进行三维跟踪初始化的方法与设备 |
TWI740561B (zh) * | 2020-07-01 | 2021-09-21 | 廖日以 | 視覺檢測及其視覺矯正方法 |
CN114241168A (zh) * | 2021-12-01 | 2022-03-25 | 歌尔光学科技有限公司 | 显示方法、显示设备及计算机可读存储介质 |
CN114613485A (zh) * | 2022-02-06 | 2022-06-10 | 上海诠视传感技术有限公司 | 一种基于slam定位技术及AR技术的患者信息查看方法及*** |
CN114613459A (zh) * | 2022-02-06 | 2022-06-10 | 上海诠视传感技术有限公司 | 一种临床教学中以第一视角学习临床操作的方法及*** |
CN114637395A (zh) * | 2022-02-14 | 2022-06-17 | 上海诠视传感技术有限公司 | 一种通过ar眼镜训练手眼协调的方法 |
CN114821753A (zh) * | 2022-04-23 | 2022-07-29 | 中国人民解放军军事科学院国防科技创新研究院 | 一种基于视觉图像信息的眼动交互*** |
Non-Patent Citations (3)
Title |
---|
"双眼视知觉网络训练对弱视治疗短期视力提升效果的临床研究";朱敏娟 等;《中华眼科医学杂志( 电子版》;第10卷(第4期);第226-233页 * |
"双眼分别同时视训练治疗弱视进展";李少敏;《中国斜视与小儿眼科杂志》;第28卷(第2期);第33-37页 * |
Budianto Tandianus,et al.."Integrated and scalable augmented reality multiplayer robotic platform".《International Workshop on Advanced Imaging Technology (IWAIT) 2020》.2020,第11515卷第1151516-(1-4)页. * |
Also Published As
Publication number | Publication date |
---|---|
CN115602286A (zh) | 2023-01-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102422469B1 (ko) | 가상 현실 환경을 위한 가려진 얼굴 부분 재구성 방법 및 시스템 | |
CN111460873A (zh) | 图像处理方法及装置、图像设备及存储介质 | |
US20100312143A1 (en) | Human body measurement system and information provision method using the same | |
Bourbakis | Sensing surrounding 3-D space for navigation of the blind | |
Meers et al. | A vision system for providing 3D perception of the environment via transcutaneous electro-neural stimulation | |
CN106293082A (zh) | 一种基于虚拟现实的人体解剖交互*** | |
KR101522690B1 (ko) | 피부 진단을 위한 인지기반 3차원 시각-촉각 디스플레이 시스템 및 방법 | |
KR20170143164A (ko) | 3d 얼굴 모델링을 통한 피부 분석 진단 시스템 | |
KR102656801B1 (ko) | 가상 현실 컨텐츠에 대한 멀미 유발 요소 분석 방법 및 이를 위한 장치 | |
WO2019125700A1 (en) | System and method of obtaining fit and fabrication measurements for eyeglasses using simultaneous localization and mapping | |
JP6656382B2 (ja) | マルチメディア情報を処理する方法及び装置 | |
Hu et al. | Stereopilot: A wearable target location system for blind and visually impaired using spatial audio rendering | |
CN113158879B (zh) | 基于匹配特征的三维注视点估计及三维眼动模型建立方法 | |
CN115602286B (zh) | 一种基于ar眼镜的双眼同时知觉检测和训练方法及*** | |
WO2019150431A1 (ja) | 情報処理装置 | |
CN112773357A (zh) | 虚拟现实眩晕程度测量的图像处理方法 | |
CN113035000A (zh) | 一种面向中枢整合康复治疗技术的虚拟现实训练*** | |
CN113903424A (zh) | 虚拟现实功能康复训练*** | |
CN109426336A (zh) | 一种虚拟现实辅助选型设备 | |
CN115714000B (zh) | 一种康复训练评估方法及装置 | |
CN105765398A (zh) | 用于根据mr扫描信息来测量皮层厚度的*** | |
KR101657285B1 (ko) | 초음파 치료 시뮬레이션시스템 | |
KR102028036B1 (ko) | 뇌연결성 기반의 시지각 트레이닝 장치, 방법 및 프로그램 | |
KR101897512B1 (ko) | 3차원 얼굴 인식스캐너를 이용한 체형별 얼굴 맞춤 눈썹문신 시스템 | |
CN115953532A (zh) | 教学用超声图像的显示方法、装置及超声图像的教学*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |