CN115331783A - 一种基于vr交互技术的视觉刺激儿童孤独症的训练方法 - Google Patents

Abstract

本发明属于计算机技术领域，尤其是一种基于VR交互技术的视觉刺激儿童孤独症的训练方法，针对现有的个性化程度不高的问题，现提出如下方案，其包括以下步骤：通过问卷或者自测游戏数据获取孤独症儿童的档案信息，档案信息包括基本个人数据、病况信息以及游戏数据，根据得到的孤独症儿童的基本个人数据、病况信息以及游戏数据，进行智能评估，该技术可以通过不同患者的病情和个体差异提供适合于患者的VR游戏和视频，并且可以在游戏中和家长或者医生进行互动，以避免孤独症儿童因为抵触心理导致在现实中不敢面对陌生人而为治疗产生的障碍。通过VR提供了更好的训练环境，来帮助患者治疗孤独症，敢于面对社会。

Description

一种基于VR交互技术的视觉刺激儿童孤独症的训练方法

技术领域

本发明涉及计算机技术领域，尤其涉及一种基于VR交互技术的视觉刺激儿童孤独症的训练方法。

背景技术

申请号为CN202011448001.4的专利公开了一种基于严肃游戏的孤独症儿童生活技能训练方法，通过构建基于严肃游戏的虚拟生活场景，使虚拟生活场景含有至少一种虚拟化交互场景，在虚拟生活场景中生成孤独症儿童用户的虚拟待训练角色模型，根据孤独症儿童用户针对虚拟生活场景的多模态交互操作信息，实现孤独症儿童用户通过语音、姿态、手势或者表情方式将自己针对虚拟生活场景的交互情况反映到自己的替身？虚拟待训练角色模型上，控制虚拟待训练角色模型执行对应的动作，且由虚拟生活场景将与虚拟待训练角色模型所执行动作相对应的响应展示给孤独症儿童用户，帮助孤独症儿童用户以直观观察虚拟生活场景方式了解虚拟生活场景中所对应的生活技能，有利于训练孤独症儿童生活技能。

但是该基于严肃游戏的孤独症儿童生活技能训练方法也存在一些问题，例如，训练方法的个性化程度不够高，需要在临床进行更多样本数据实验后不断完善智能游戏设计，个性化和智能化程度低。

发明内容

基于背景技术存在个性化和智能化程度低的问题，本发明提出了一种基于VR交互技术的视觉刺激儿童孤独症的训练方法。

本发明提出的一种基于VR交互技术的视觉刺激儿童孤独症的训练方法，包括以下步骤：

S1：通过问卷或者自测游戏数据获取孤独症儿童的档案信息，档案信息包括基本个人数据、病况信息以及游戏数据，根据得到的孤独症儿童的基本个人数据、病况信息以及游戏数据，进行智能评估，病况信息具体包括患者对视频和游戏中图像颜色及形状、速度、敏捷度、空间感知能力，个人数据具体包括年龄、患病时间、患病症状、患病频率和患病程度，游戏数据包括患者的游戏结果、时间、心率数据、眨眼数据和手臂活动数据；

S2：根据上述孤独症儿童的患者信息，使用机器学习人工智能算法进行计算，得到VR游戏模型，并生成个性化VR游戏；

S3：在VR游戏中跟患者参与游戏的结果进行奖励和惩罚，并将游戏结果反馈给VR模型进行机器学习的计算以根据患者表现对游戏奖惩机制进行调整，以达到治疗孤独症的作用，患者和家属需要同时佩戴VR眼镜，实现家属和患者虚拟形象的同步和交互；

S4：通过预先收集家人和医生的生物和动作信息，形成数据库，得到分类结果，在游戏中实现虚拟形象和使用者的同步；

S5：通过孤独症儿童的患者信息以及在游戏中患者的表现，在 VR中得到对应的游戏和视频，患者通过VR眼镜中的游戏和视频和家人和医生的虚拟形象进行交互，并实现表情，语言，动作的同步，在游戏中不断反馈虚拟形象数据到生物和动作信息数据库并进行比对和更新，以实现交互***的自我更新来提高准确性；

S6：创建游戏数据库储存中的患者数据，分析各项数据变化率，以此来分析孤独症病情并更新训练方法，***拥有智能分析功能，可根据每月、每季度以及年度数据生成分析报告，以此判断训练过程的效果。

优选地，所述在S1中，在使用VR设备之前，使用HTML写在线问卷，通过创建数据库池的方式，post方法传递数据，将获取到的数据同步到本地数据库里；使用ER图明确数据库中个表格关系，并使用Mysql创建数据库VR.sql，主要的表有用户信息表-来自HTML 的在线问卷，包括年龄、病情症状、个性监测和喜好，vr游戏数据- 包括时长和得分，用户总表，每个用户注册的时候有独立的用户id，各表格可依靠用户id连接和相互调用，根据医学生提供的素材，创建孤独症诊断数据库，并根据游戏结果不断更新医学诊断数据库，提高诊断精准度和成功率；使用echart实现数据库数据可视化，形成两个报告：病情诊断用户信息报告和游戏数据报告，游戏数据报告包含完成度、时长、得分和游戏后病情诊断，为每个患者形成个性化报告，可以收集完整的信息，增强数据库算法的分析能力。

优选地，信息收集部分：使用streaming time series创建自闭儿童用户信息库数据流，有起点和终点的字节数据序列，包含了以往的输入流和最新的自闭儿童数据分析结果，可以持续自动产生大量的细节数据，对自闭儿童在VR游戏中的细节反映做出分析，其复杂分析需要以实时的方式对更新留进行分析，恰好和我们VR游戏的实时更新相匹配，改变了数据流只能被读取一次或少数几次的限制，方便收集患者信息，可以完善数据库。

优选地，具体实施获取孤独症儿童的档案信息：登陆前进行数据库关联，将***与医院或者孤独症儿童信息库相联系并读取数据，在操作时使用streaming time model进行实时备份和更新，将每一次数据和以往相比对得出最新结果；运用时间序列模型构造V-optimal 处理以往静态直方图数据，来源于以往数据库，首先构造一个数据流数据的略图，然后从略图中构造合适的直方图易于略图数据更新又能实现直方图的动态化，再利用直方图的精确查询准确判断孤独症儿童的严重程度，通过deterministic bucketing和randomized bucketing技术，构造不同精度的buckets然后将输入的孤独症儿童数据逐级分到这些backets中，从而完成动态直方图的构造，便于对新的信息进行分析和处理得出有效结论，更直观地通过动态直方图看出孤独症儿童的改善情况，可以有效获取孤独症儿童的档案信息。

优选地，所述在S2中，运用工具：基于OpenGL的VR建模技术： (1)能简便三维建模过程，通过使用OpenGL库里包含的辅助函数，可以简单地绘制出基本的3D图形，而高复杂性的模型，可通过其它合成的方法来实现，合成的基本方法有：1.简单几何体合成，OpenGL 中含有椎体和球体简单几何体，可通过改变这些几何体的参数合成；2.曲面体合成，通过计算求值程序得到Bezier曲线(面)或者绘制出NURBS曲线或曲面；3.三角形合成，由于三角形是最简单的图形任何多边形都能由它表达，是OpenGL的首选设计图元；(2)能逼真模拟建模环境，依赖于OpenGL所提供的辅助函数，可以有效地对模型进行着色渲染、光照变化、纹理映射及深度检测的修饰，能给用户提供具有高度真实感的设计体验，切实反映出用户的实际需要；(3)高效的实时动画响应，由于具有能对动画颜色、深度、模板和累积进行双缓存的操作函数，OpenGL能对动画实现连续显示，不但大幅简便了程序算法，还提升了画面动态显示的速度；(4)具有较佳的灵活性， OpenGL作为一个独立的、线型的软件接口，能够实现在不同的硬件平台、标准视窗和操作***中工作，方便进行建模，方便后续工序的进行。

优选地，建模具体实现方法：1、获取孤独症儿童的档案信息：包括使用者的家庭信息、基本信息、病况信息、需求信息和评估报告，其中，评估报告中根据所述孤独症儿童对不同虚拟仿真图像颜色、形状、物体运动速度及空间大小因素的感知度，以及对不同声音的声调、声色、频率及音量大小的感知度做出1-5级不同程度的判断，并根据此判断为儿童量身定做具体治疗方案及治疗场景；2、采用预设方法构建虚拟仿真游戏模型：依据过往孤独症儿童的档案信息和训练数据，在VR内容中建立人体模型，为人体模型预留数据接口；使孤独症儿童及其余人员在关节处佩戴动作捕捉设备以获取末端效应器的位置信息，其余人员为家属、朋友、老师和其他ASD儿童，利用IK 反向动力学算法计算出人体运动数据，包括关节旋转角和位置；再将这些信息赋予人体模型预留的接口，驱动人体模型按照佩戴硬件的目标人物动起来，并显示在内容中以同步表达所述人员的动作指令或者是手势信息；摄像机获取目标物体的图像，服务器端通过桌面***和投影***对交互数据进行放大、识别和处理，然后在图像中提取出特征点；再利用PNP算法获得特征点在摄像机坐标系下的坐标；用旋转理论将摄像机坐标系下的坐标转换到世界坐标系下，获得世界坐标系下特征点的信息，最终获得位置信息，使得孤独症儿童的动作与虚拟场景的操作达到协调一致；3、采用预设方法构建虚拟仿真游戏场景：利用多特征三维稠密重建方法构建不同虚拟仿真游戏场景，根据儿童可接受程度进行选择，需要先分析模型的各项基本特征如：光影强度、纹理信息和造型凹凸方面，重构出与目标物体具有高契合度的三维模型，该算法先需要对图像提取出Harris和DoG的特征点，按照与所抉择的特征点的欧式距离远近程度进行特征点匹配，再对图像进行特征匹配，通过三角测量原理来反复获取稀疏点云数据，对所得点云进行TNCC排序，并权量各个视角下点云的可靠度，将这些种子点按可靠性排序，利用可靠性高的点云作为可扩展的初始种子点，获取较集中的空间有向点云或面片，并删除不可靠的点云数据，完成重建过程，具有较好的稳定性和鲁棒性，针对凹凸感较强的模型也能重建出更精致的细节；4、输入所述档案信息，得到对应虚拟仿真游戏及音频乐曲；将孤独症儿童的档案信息输入虚拟仿真游戏模型，得到适合不同孤独症儿童的虚拟仿真游戏，同时根据所述孤独症儿童的档案信息获取对应的音频乐曲，进一步加强刺激；5、通过预设原则实现孤独症儿童及其余人员的交互：获取孤独症儿童及其余人员通过VR眼镜及耳机与VR游戏的交互数据；对所述人员表情及动作信息进行特征提取，依据交互数据得到交互结果，孤独症儿童通过VR眼镜及耳机的反馈信息接收结果，具体应用时，***会根据儿童的治疗方案给出相应的画外音以及引导箭头重复提示，并变换句式和物品进行重复，直到儿童能正确行动，除此之外，家属也可适当诱导，以达到儿童参与和治疗的效果；6、利用预设检测设备对孤独症儿童的生命特征进行检测：生命特征包括孤独症儿童的心率数据、眨眼量数据及手臂活动量数据，将该类数据上传云端，建立该儿童个人资料库，并绘制图表，作为判断孤独症儿童对所述VR游戏的感知关注度的基础数据，同时，***可对每个孤独症儿童的生命特征数据进行每月、每季度和每半年的统计比较分析，形成对应的树状图和线型图，并判别出其对不同VR游戏的感知关注度的大小及变化情况，以此判断训练过程的效果，建模效果好，让模型的运行更加顺畅。

优选地，运用OpenGL进行三维建模的流程示意图：在VC环境下，应用OpenGL进行三维建模时，准备数据阶段通常需要先测量出特征的点数据及面数据，保存成input.dat文本文件，将这些数据存入 PointNode，FaceNode程序结构中，建立显示图元的列表，可以建立流程图，方便使用者使用。

优选地，所述在S3中，VR游戏实现运用工具：Unity是实现3d 互动内容创作的交互性软件，可以通过创建自己的模型或引用他人已经构建好的模版，将现实生活中的场景或者非真实的虚构的情景刻画出来并3d展现出来，Unity具有较强的兼容性，可以兼容大量不同 VR头盔，并且Unity游戏引擎提供了VR模式，可以直接在电脑上预览情景设定，让VR游戏可以平稳流畅地运行，增强VR游戏的流畅度。

优选地，所述VR游戏具体实施：运用UI界面构建场景与交互浏览，搭建用户熟悉的生活环境，包括家庭和学校，只运用Unity内部本身最基础的圆柱体、长方体可能无法搭建出理想中的模型，因此可以运用Unity内置建模工具–Probuilder，Probuilder提供大量的形状模版并且能够自定义参数从而设计出想要的各种形状，设计者可以利用点、线、面的工具捏造出理想中的形状，再利用三维坐标、单位计量来确保模型在动态里依旧是保持着合理的位置关系， Probuilder还可以提供物理建模的技术，例如同样都是长方体，餐桌和沙发的材质是不一样的，这其中涉及表面的硬度、变形程度等物理特性，等基础模型构造完毕后，再通过编写GameObject类的程序来实现交互，利用数据库获取该用户以往的信息、结果，进行机器学习分析，选择出最适合该用户的情景难易程度，例如可以将用户之前的表现用分数来记录，如果他的分数在75分以上，他就可以进入难度比较高的模式，例如在陌生的社会环境或者处理一些紧急状况；如果分数在74-50之间，用户可以进入中等难度的情景，可以尝试处理一些在学校等稍微熟悉的环境里发生的事情；如果用户的分数在 49以下，最好还是多在熟悉的环境里和熟悉的人进行场景模拟的练习；在进入情境之后，需要画外音对用户进行引导，可以先前录入用户熟悉的声音到Unity的模版道具里，每个情境对应的不同的画外音模版，触发情境之后，画外音自动触发，引导用户进行一些情境对话；为保证能够准确地分析、判断用户目前的状态，需要对用户对话回答进行分析，Unity本身自带语音识别功能，其主要分为以下三个识别： KeywordRecognizer关键词识别–一旦用户说到某些关键词，可以触发问好功能，例如主动打招呼说你好，可以触发加分功能，更新数据库；GrammarRecognizer语法识别–检测用户的语法，判断其语言能力，也可实时更新数据库；DictationRecognizer听写识别–将用户的语音转化成文字文档，可以用来检测用户是否说到一些关键词，也可以用来记录用户表现，方便日后医生诊断；最后，根据用户是否完成场景练习以及对话表现进行分数评估，更新该用户的数据库，此模型需获取大量用户来进行机器学习以及误差分析，需将用户分为训练集，验证集以及测试集，通过训练集来拟合模型，训练出多个模型，再通过验证集而获得效果最佳模型的参数得到最优模型，最后通过测试集进行模型预测，在日后推广中以达到最高准确性，并且，在机器学习的过程中可以应用差分隐私在保证隐私的情况下确保数据的准确性。

优选地，VR眼镜包括VR眼镜主体和VR眼镜主体两侧均铰接的镜腿，所述镜腿的表面栓接有操作箱，所述镜腿表面的底端粘合有气囊套，所述气囊套的进气端与操作箱的底部连通，所述操作箱的内部栓接有微型电推杆，所述微型电推杆的输出端栓接有齿条，所述齿条的后侧与操作箱的内部滑动连接，所述齿条底部的齿牙啮合有小齿轮，所述小齿轮的轴心处与操作箱的内部转动连接，所述小齿轮的后侧栓接有偏心轮，所述偏心轮的外侧转动套接有连接圈，所述连接圈的底部铰接有传动杆，所述传动杆的后侧与操作箱的内部滑动连接，所述传动杆底部的凸块滑动连接有滑架，所述滑架的后侧栓接有大齿轮，所述大齿轮的轴心处与操作箱的内部转动连接，所述大齿轮的齿牙啮合有传动齿轮，所述传动齿轮的轴心处与操作箱的内部转动连接，所述传动齿轮表面的左侧铰接有铰接杆，所述铰接杆的底端铰接有活塞块，所述活塞块的表面与操作箱内部的底端滑动连接。

本发明的有益效果：

该技术可以通过不同患者的病情和个体差异提供适合于患者的 VR游戏和视频，并且可以在游戏中和家长或者医生进行互动，以避免孤独症儿童因为抵触心理导致在现实中不敢面对陌生人而为治疗产生的障碍。通过VR提供了更好的训练环境，来帮助患者治疗孤独症，敢于面对社会。

附图说明

图1为本发明提出的工作流程图；

图2为本发明提出的正视示意图；

图3为本发明提出的操作箱内部结构示意图；

图4为本发明提出的齿条立体示意图；

图5为本发明提出的大齿轮立体。

图中：1、VR眼镜主体；2、镜腿；3、操作箱；4、气囊套；5、微型电推杆；6、齿条；7、小齿轮；8、偏心轮；9、连接圈；10、传动杆；11、滑架；12、大齿轮；13、传动齿轮；14、铰接杆；15、活塞块。

具体实施方式

下面结合具体实施例对本发明作进一步解说。

参照图1-5，实施例

本实施例中提出了一种基于VR交互技术的视觉刺激儿童孤独症的训练方法，包括以下步骤：

S1：通过问卷或者自测游戏数据获取孤独症儿童的档案信息，档案信息包括基本个人数据、病况信息以及游戏数据，根据得到的孤独症儿童的基本个人数据、病况信息以及游戏数据，进行智能评估，病况信息具体包括患者对视频和游戏中图像颜色及形状、速度、敏捷度、空间感知能力，个人数据具体包括年龄、患病时间、患病症状、患病频率和患病程度，游戏数据包括患者的游戏结果、时间、心率数据、眨眼数据和手臂活动数据，在使用VR设备之前，使用HTML写在线问卷，通过创建数据库池的方式，post方法传递数据，将获取到的数据同步到本地数据库里；使用ER图明确数据库中个表格关系，并使用Mysql创建数据库VR.sql，主要的表有用户信息表-来自HTML的在线问卷，包括年龄、病情症状、个性监测和喜好，vr游戏数据-包括时长和得分，用户总表，每个用户注册的时候有独立的用户id，各表格可依靠用户id连接和相互调用，根据医学生提供的素材，创建孤独症诊断数据库，并根据游戏结果不断更新医学诊断数据库，提高诊断精准度和成功率；使用echart实现数据库数据可视化，形成两个报告：病情诊断用户信息报告和游戏数据报告，游戏数据报告包含完成度、时长、得分和游戏后病情诊断，为每个患者形成个性化报告，信息收集部分：使用streaming time series创建自闭儿童用户信息库数据流，有起点和终点的字节数据序列，包含了以往的输入流和最新的自闭儿童数据分析结果，可以持续自动产生大量的细节数据，对自闭儿童在VR游戏中的细节反映做出分析，其复杂分析需要以实时的方式对更新留进行分析，恰好和我们VR游戏的实时更新相匹配，改变了数据流只能被读取一次或少数几次的限制，具体实施获取孤独症儿童的档案信息：登陆前进行数据库关联，将***与医院或者孤独症儿童信息库相联系并读取数据，在操作时使用streaming time model进行实时备份和更新，将每一次数据和以往相比对得出最新结果；运用时间序列模型构造V-optimal处理以往静态直方图数据，来源于以往数据库，首先构造一个数据流数据的略图，然后从略图中构造合适的直方图易于略图数据更新又能实现直方图的动态化，再利用直方图的精确查询准确判断孤独症儿童的严重程度，通过 deterministic bucketing和randomizedbucketing技术，构造不同精度的buckets然后将输入的孤独症儿童数据逐级分到这些backets中，从而完成动态直方图的构造，便于对新的信息进行分析和处理得出有效结论，更直观地通过动态直方图看出孤独症儿童的改善情况；

S2：根据上述孤独症儿童的患者信息，使用机器学***台、标准视窗和操作***中工作，建模具体实现方法：1、获取孤独症儿童的档案信息：包括使用者的家庭信息、基本信息、病况信息、需求信息和评估报告，其中，评估报告中根据孤独症儿童对不同虚拟仿真图像颜色、形状、物体运动速度及空间大小因素的感知度，以及对不同声音的声调、声色、频率及音量大小的感知度做出1-5级不同程度的判断，并根据此判断为儿童量身定做具体治疗方案及治疗场景；2、采用预设方法构建虚拟仿真游戏模型：依据过往孤独症儿童的档案信息和训练数据，在VR内容中建立人体模型，为人体模型预留数据接口；使孤独症儿童及其余人员在关节处佩戴动作捕捉设备以获取末端效应器的位置信息，其余人员为家属、朋友、老师和其他ASD儿童，利用IK反向动力学算法计算出人体运动数据，包括关节旋转角和位置；再将这些信息赋予人体模型预留的接口，驱动人体模型按照佩戴硬件的目标人物动起来，并显示在内容中以同步表达人员的动作指令或者是手势信息；摄像机获取目标物体的图像，服务器端通过桌面***和投影***对交互数据进行放大、识别和处理，然后在图像中提取出特征点；再利用PNP算法获得特征点在摄像机坐标系下的坐标；用旋转理论将摄像机坐标系下的坐标转换到世界坐标系下，获得世界坐标系下特征点的信息，最终获得位置信息，使得孤独症儿童的动作与虚拟场景的操作达到协调一致；3、采用预设方法构建虚拟仿真游戏场景：利用多特征三维稠密重建方法构建不同虚拟仿真游戏场景，根据儿童可接受程度进行选择，需要先分析模型的各项基本特征如：光影强度、纹理信息和造型凹凸方面，重构出与目标物体具有高契合度的三维模型，该算法先需要对图像提取出Harris和DoG的特征点，按照与所抉择的特征点的欧式距离远近程度进行特征点匹配，再对图像进行特征匹配，通过三角测量原理来反复获取稀疏点云数据，对所得点云进行TNCC排序，并权量各个视角下点云的可靠度，将这些种子点按可靠性排序，利用可靠性高的点云作为可扩展的初始种子点，获取较集中的空间有向点云或面片，并删除不可靠的点云数据，完成重建过程，具有较好的稳定性和鲁棒性，针对凹凸感较强的模型也能重建出更精致的细节；4、输入档案信息，得到对应虚拟仿真游戏及音频乐曲；将孤独症儿童的档案信息输入虚拟仿真游戏模型，得到适合不同孤独症儿童的虚拟仿真游戏，同时根据孤独症儿童的档案信息获取对应的音频乐曲，进一步加强刺激；5、通过预设原则实现孤独症儿童及其余人员的交互：获取孤独症儿童及其余人员通过VR眼镜及耳机与VR游戏的交互数据；对人员表情及动作信息进行特征提取，依据交互数据得到交互结果，孤独症儿童通过VR眼镜及耳机的反馈信息接收结果，具体应用时，***会根据儿童的治疗方案给出相应的画外音以及引导箭头重复提示，并变换句式和物品进行重复，直到儿童能正确行动，除此之外，家属也可适当诱导，以达到儿童参与和治疗的效果；6、利用预设检测设备对孤独症儿童的生命特征进行检测：生命特征包括孤独症儿童的心率数据、眨眼量数据及手臂活动量数据，将该类数据上传云端，建立该儿童个人资料库，并绘制图表，作为判断孤独症儿童对VR游戏的感知关注度的基础数据，同时，***可对每个孤独症儿童的生命特征数据进行每月、每季度和每半年的统计比较分析，形成对应的树状图和线型图，并判别出其对不同VR游戏的感知关注度的大小及变化情况，以此判断训练过程的效果，运用OpenGL进行三维建模的流程示意图：在VC环境下，应用OpenGL进行三维建模时，准备数据阶段通常需要先测量出特征的点数据及面数据，保存成input.dat文本文件，将这些数据存入PointNode，FaceNode程序结构中，建立显示图元的列表；

S3：在VR游戏中跟患者参与游戏的结果进行奖励和惩罚，并将游戏结果反馈给VR模型进行机器学习的计算以根据患者表现对游戏奖惩机制进行调整，以达到治疗孤独症的作用，患者和家属需要同时佩戴VR眼镜，实现家属和患者虚拟形象的同步和交互，VR游戏实现运用工具：Unity是实现3d互动内容创作的交互性软件，可以通过创建自己的模型或引用他人已经构建好的模版，将现实生活中的场景或者非真实的虚构的情景刻画出来并3d展现出来，Unity具有较强的兼容性，可以兼容大量不同VR头盔，并且Unity游戏引擎提供了 VR模式，可以直接在电脑上预览情景设定，VR游戏具体实施：运用 UI界面构建场景与交互浏览，搭建用户熟悉的生活环境，包括家庭和学校，只运用Unity内部本身最基础的圆柱体、长方体可能无法搭建出理想中的模型，因此可以运用Unity内置建模工具– Probuilder，Probuilder提供大量的形状模版并且能够自定义参数从而设计出想要的各种形状，设计者可以利用点、线、面的工具捏造出理想中的形状，再利用三维坐标、单位计量来确保模型在动态里依旧是保持着合理的位置关系，Probuilder还可以提供物理建模的技术，例如同样都是长方体，餐桌和沙发的材质是不一样的，这其中涉及表面的硬度、变形程度等物理特性，等基础模型构造完毕后，再通过编写GameObject类的程序来实现交互，利用数据库获取该用户以往的信息、结果，进行机器学习分析，选择出最适合该用户的情景难易程度，例如可以将用户之前的表现用分数来记录，如果他的分数在75分以上，他就可以进入难度比较高的模式，例如在陌生的社会环境或者处理一些紧急状况；如果分数在74-50之间，用户可以进入中等难度的情景，可以尝试处理一些在学校等稍微熟悉的环境里发生的事情；如果用户的分数在49以下，最好还是多在熟悉的环境里和熟悉的人进行场景模拟的练习；在进入情境之后，需要画外音对用户进行引导，可以先前录入用户熟悉的声音到Unity的模版道具里，每个情境对应的不同的画外音模版，触发情境之后，画外音自动触发，引导用户进行一些情境对话；为保证能够准确地分析、判断用户目前的状态，需要对用户对话回答进行分析，Unity本身自带语音识别功能，其主要分为以下三个识别：KeywordRecognizer关键词识别–一旦用户说到某些关键词，可以触发问好功能，例如主动打招呼说你好，可以触发加分功能，更新数据库；GrammarRecognizer语法识别–检测用户的语法，判断其语言能力，也可实时更新数据库； DictationRecognizer听写识别–将用户的语音转化成文字文档，可以用来检测用户是否说到一些关键词，也可以用来记录用户表现，方便日后医生诊断；最后，根据用户是否完成场景练习以及对话表现进行分数评估，更新该用户的数据库，此模型需获取大量用户来进行机器学习以及误差分析，需将用户分为训练集，验证集以及测试集，通过训练集来拟合模型，训练出多个模型，再通过验证集而获得效果最佳模型的参数得到最优模型，最后通过测试集进行模型预测，在日后推广中以达到最高准确性，并且，在机器学习的过程中可以应用差分隐私在保证隐私的情况下确保数据的准确性；

S4：通过预先收集家人和医生的生物和动作信息，形成数据库，得到分类结果，在游戏中实现虚拟形象和使用者的同步；

S5：通过孤独症儿童的患者信息以及在游戏中患者的表现，在 VR中得到对应的游戏和视频，患者通过VR眼镜中的游戏和视频和家人和医生的虚拟形象进行交互，并实现表情，语言，动作的同步，在游戏中不断反馈虚拟形象数据到生物和动作信息数据库并进行比对和更新，以实现交互***的自我更新来提高准确性；

S6：创建游戏数据库储存中的患者数据，分析各项数据变化率，以此来分析孤独症病情并更新训练方法，***拥有智能分析功能，可根据每月、每季度以及年度数据生成分析报告，以此判断训练过程的效果。

VR眼镜包括VR眼镜主体1和VR眼镜主体1两侧均铰接的镜腿2， VR眼镜主体1采用VR眼镜主体，镜腿2的表面栓接有操作箱3，镜腿2表面的底端粘合有气囊套4，气囊套4可以增强镜腿2的缓冲效果，气囊套4的进气端与操作箱3的底部连通，操作箱3通过管道与气囊套4连通，操作箱3的内部栓接有微型电推杆5，微型电推杆5 的输出端栓接有齿条6，微型电推杆5可以快速地进行伸缩，微型电推杆5可以带动齿条6左右移动，齿条6的后侧与操作箱3的内部滑动连接，齿条6的后侧滑动连接有滑框，滑框的后侧与操作箱3的内部栓接，齿条6底部的齿牙啮合有小齿轮7，小齿轮7的轴心处与操作箱3的内部转动连接，齿条6可以带动小齿轮7转动，小齿轮7通过轴承与操作箱3转动设置，让小齿轮7可以平稳地转动，小齿轮7的后侧栓接有偏心轮8，小齿轮7和偏心轮8之间呈偏心结构，在小齿轮7带动偏心轮8转动过程中可以带动偏心轮8上下移动，偏心轮 8的外侧转动套接有连接圈9，偏心轮8可以在连接圈9的内部转动并带动连接圈9上下移动，连接圈9的底部铰接有传动杆10，传动杆10的后侧与操作箱3的内部滑动连接，传动杆10的后侧滑动连接有限位框，限位框与操作箱3栓接，让传动杆10通过滑轨与限位框滑动设置，传动杆10底部的凸块滑动连接有滑架11，连接圈9可以带动传动杆10向上移动，传动杆10的凸块可以在滑架11的滑孔中滑动并带动滑架11向上转动，滑架11的后侧栓接有大齿轮12，大齿轮12的轴心处与操作箱3的内部转动连接，滑架11可以带动大齿轮12转动，大齿轮12通过轴承与操作箱3转动设置，让大齿轮12 可以平稳地转动，大齿轮12的齿牙啮合有传动齿轮13，传动齿轮13 的轴心处与操作箱3的内部转动连接，传动齿轮13表面的左侧铰接有铰接杆14，大齿轮12可以带动传动齿轮13转动，传动齿轮13可以带动铰接杆14上下移动，铰接杆14的底端铰接有活塞块15，活塞块15的表面与操作箱3内部的底端滑动连接。

工作原理：患者通过镜腿2将VR眼镜主体1佩戴好，接通微型电推杆5的电源，微型电推杆5可以快速地进行伸缩，当微型电推杆 5向左回缩时，微型电推杆5可以带动齿条6向左移动，齿条6可以带动小齿轮7逆时针转动，小齿轮7通过轴承与操作箱3转动设置，让小齿轮7可以平稳地转动，小齿轮7和偏心轮8之间呈偏心结构，在小齿轮7带动偏心轮8转动过程中可以带动偏心轮8上下移动，偏心轮8可以在连接圈9的内部转动并带动连接圈9上下移动，连接圈 9向上移动时，连接圈9可以带动传动杆10向上移动，传动杆10的凸块可以在滑架11的滑孔中滑动并带动滑架11向上转动，滑架11 可以带动大齿轮12顺时针转动，大齿轮12通过轴承与操作箱3转动设置，让大齿轮12可以平稳地转动，大齿轮12可以带动传动齿轮13逆时针转动，传动齿轮13可以带动铰接杆14向下移动，铰接杆 14可以带动活塞块15向下移动，当传动杆10向上移动时，活塞块 15向上移动，利用活塞块15上下移动可以在操作箱3内部的底端产生气压变化，利用气压变化带动气囊套4产生气压变化，气囊套4产生大小变形，气囊套4利用大小变化对患者的耳部进行按摩。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种基于VR交互技术的视觉刺激儿童孤独症的训练方法，其特征在于，包括以下步骤：

S1：通过问卷或者自测游戏数据获取孤独症儿童的档案信息，档案信息包括基本个人数据、病况信息以及游戏数据，根据得到的孤独症儿童的基本个人数据、病况信息以及游戏数据，进行智能评估，病况信息具体包括患者对视频和游戏中图像颜色及形状、速度、敏捷度、空间感知能力，个人数据具体包括年龄、患病时间、患病症状、患病频率和患病程度，游戏数据包括患者的游戏结果、时间、心率数据、眨眼数据和手臂活动数据；

S2：根据上述孤独症儿童的患者信息，使用机器学习人工智能算法进行计算，得到VR游戏模型，并生成个性化VR游戏；

S3：在VR游戏中跟患者参与游戏的结果进行奖励和惩罚，并将游戏结果反馈给VR模型进行机器学习的计算以根据患者表现对游戏奖惩机制进行调整，以达到治疗孤独症的作用，患者和家属需要同时佩戴VR眼镜，实现家属和患者虚拟形象的同步和交互；

S4：通过预先收集家人和医生的生物和动作信息，形成数据库，得到分类结果，在游戏中实现虚拟形象和使用者的同步；

S5：通过孤独症儿童的患者信息以及在游戏中患者的表现，在VR中得到对应的游戏和视频，患者通过VR眼镜中的游戏和视频和家人和医生的虚拟形象进行交互，并实现表情，语言，动作的同步，在游戏中不断反馈虚拟形象数据到生物和动作信息数据库并进行比对和更新，以实现交互***的自我更新来提高准确性；

S6：创建游戏数据库储存中的患者数据，分析各项数据变化率，以此来分析孤独症病情并更新训练方法，***拥有智能分析功能，可根据每月、每季度以及年度数据生成分析报告，以此判断训练过程的效果。

2.根据权利要求1所述的一种基于VR交互技术的视觉刺激儿童孤独症的训练方法，其特征在于，所述在S1中，在使用VR设备之前，使用HTML写在线问卷，通过创建数据库池的方式，post方法传递数据，将获取到的数据同步到本地数据库里；使用ER图明确数据库中个表格关系，并使用Mysql创建数据库VR.sql，主要的表有用户信息表-来自HTML的在线问卷，包括年龄、病情症状、个性监测和喜好，vr游戏数据-包括时长和得分，用户总表，每个用户注册的时候有独立的用户id，各表格可依靠用户id连接和相互调用，根据医学生提供的素材，创建孤独症诊断数据库，并根据游戏结果不断更新医学诊断数据库，提高诊断精准度和成功率；使用echart实现数据库数据可视化，形成两个报告：病情诊断用户信息报告和游戏数据报告，游戏数据报告包含完成度、时长、得分和游戏后病情诊断，为每个患者形成个性化报告。

3.根据权利要求2所述的一种基于VR交互技术的视觉刺激儿童孤独症的训练方法，其特征在于，信息收集部分：使用streaming time series创建自闭儿童用户信息库数据流，有起点和终点的字节数据序列，包含了以往的输入流和最新的自闭儿童数据分析结果，可以持续自动产生大量的细节数据，对自闭儿童在VR游戏中的细节反映做出分析，其复杂分析需要以实时的方式对更新留进行分析，恰好和我们VR游戏的实时更新相匹配，改变了数据流只能被读取一次或少数几次的限制。

4.根据权利要求3所述的一种基于VR交互技术的视觉刺激儿童孤独症的训练方法，其特征在于，具体实施获取孤独症儿童的档案信息：登陆前进行数据库关联，将***与医院或者孤独症儿童信息库相联系并读取数据，在操作时使用streaming time model进行实时备份和更新，将每一次数据和以往相比对得出最新结果；运用时间序列模型构造V-optimal处理以往静态直方图数据，来源于以往数据库，首先构造一个数据流数据的略图，然后从略图中构造合适的直方图易于略图数据更新又能实现直方图的动态化，再利用直方图的精确查询准确判断孤独症儿童的严重程度，通过deterministic bucketing和randomizedbucketing技术，构造不同精度的buckets然后将输入的孤独症儿童数据逐级分到这些backets中，从而完成动态直方图的构造，便于对新的信息进行分析和处理得出有效结论，更直观地通过动态直方图看出孤独症儿童的改善情况。

5.根据权利要求1所述的一种基于VR交互技术的视觉刺激儿童孤独症的训练方法，其特征在于，所述在S2中，运用工具：基于OpenGL的VR建模技术：(1)能简便三维建模过程，通过使用OpenGL库里包含的辅助函数，可以简单地绘制出基本的3D图形，而高复杂性的模型，可通过其它合成的方法来实现，合成的基本方法有：1.简单几何体合成，OpenGL中含有椎体和球体简单几何体，可通过改变这些几何体的参数合成；2.曲面体合成，通过计算求值程序得到Bezier曲线(面)或者绘制出NURBS曲线或曲面；3.三角形合成，由于三角形是最简单的图形任何多边形都能由它表达，是OpenGL的首选设计图元；(2)能逼真模拟建模环境，依赖于OpenGL所提供的辅助函数，可以有效地对模型进行着色渲染、光照变化、纹理映射及深度检测的修饰，能给用户提供具有高度真实感的设计体验，切实反映出用户的实际需要；(3)高效的实时动画响应，由于具有能对动画颜色、深度、模板和累积进行双缓存的操作函数，OpenGL能对动画实现连续显示，不但大幅简便了程序算法，还提升了画面动态显示的速度；(4)具有较佳的灵活性，OpenGL作为一个独立的、线型的软件接口，能够实现在不同的硬件平台、标准视窗和操作***中工作。

6.根据权利要求5所述的一种基于VR交互技术的视觉刺激儿童孤独症的训练方法，其特征在于，建模具体实现方法：1、获取孤独症儿童的档案信息：包括使用者的家庭信息、基本信息、病况信息、需求信息和评估报告，其中，评估报告中根据所述孤独症儿童对不同虚拟仿真图像颜色、形状、物体运动速度及空间大小因素的感知度，以及对不同声音的声调、声色、频率及音量大小的感知度做出1-5级不同程度的判断，并根据此判断为儿童量身定做具体治疗方案及治疗场景；2、采用预设方法构建虚拟仿真游戏模型：依据过往孤独症儿童的档案信息和训练数据，在VR内容中建立人体模型，为人体模型预留数据接口；使孤独症儿童及其余人员在关节处佩戴动作捕捉设备以获取末端效应器的位置信息，其余人员为家属、朋友、老师和其他ASD儿童，利用IK反向动力学算法计算出人体运动数据，包括关节旋转角和位置；再将这些信息赋予人体模型预留的接口，驱动人体模型按照佩戴硬件的目标人物动起来，并显示在内容中以同步表达所述人员的动作指令或者是手势信息；摄像机获取目标物体的图像，服务器端通过桌面***和投影***对交互数据进行放大、识别和处理，然后在图像中提取出特征点；再利用PNP算法获得特征点在摄像机坐标系下的坐标；用旋转理论将摄像机坐标系下的坐标转换到世界坐标系下，获得世界坐标系下特征点的信息，最终获得位置信息，使得孤独症儿童的动作与虚拟场景的操作达到协调一致；3、采用预设方法构建虚拟仿真游戏场景：利用多特征三维稠密重建方法构建不同虚拟仿真游戏场景，根据儿童可接受程度进行选择，需要先分析模型的各项基本特征如：光影强度、纹理信息和造型凹凸方面，重构出与目标物体具有高契合度的三维模型，该算法先需要对图像提取出Harris和DoG的特征点，按照与所抉择的特征点的欧式距离远近程度进行特征点匹配，再对图像进行特征匹配，通过三角测量原理来反复获取稀疏点云数据，对所得点云进行TNCC排序，并权量各个视角下点云的可靠度，将这些种子点按可靠性排序，利用可靠性高的点云作为可扩展的初始种子点，获取较集中的空间有向点云或面片，并删除不可靠的点云数据，完成重建过程，具有较好的稳定性和鲁棒性，针对凹凸感较强的模型也能重建出更精致的细节；4、输入所述档案信息，得到对应虚拟仿真游戏及音频乐曲；将孤独症儿童的档案信息输入虚拟仿真游戏模型，得到适合不同孤独症儿童的虚拟仿真游戏，同时根据所述孤独症儿童的档案信息获取对应的音频乐曲，进一步加强刺激；5、通过预设原则实现孤独症儿童及其余人员的交互：获取孤独症儿童及其余人员通过VR眼镜及耳机与VR游戏的交互数据；对所述人员表情及动作信息进行特征提取，依据交互数据得到交互结果，孤独症儿童通过VR眼镜及耳机的反馈信息接收结果，具体应用时，***会根据儿童的治疗方案给出相应的画外音以及引导箭头重复提示，并变换句式和物品进行重复，直到儿童能正确行动，除此之外，家属也可适当诱导，以达到儿童参与和治疗的效果；6、利用预设检测设备对孤独症儿童的生命特征进行检测：生命特征包括孤独症儿童的心率数据、眨眼量数据及手臂活动量数据，将该类数据上传云端，建立该儿童个人资料库，并绘制图表，作为判断孤独症儿童对所述VR游戏的感知关注度的基础数据，同时，***可对每个孤独症儿童的生命特征数据进行每月、每季度和每半年的统计比较分析，形成对应的树状图和线型图，并判别出其对不同VR游戏的感知关注度的大小及变化情况，以此判断训练过程的效果。

7.根据权利要求6所述的一种基于VR交互技术的视觉刺激儿童孤独症的训练方法，其特征在于，运用OpenGL进行三维建模的流程示意图：在VC环境下，应用OpenGL进行三维建模时，准备数据阶段通常需要先测量出特征的点数据及面数据，保存成input.dat文本文件，将这些数据存入PointNode，FaceNode程序结构中，建立显示图元的列表。

8.根据权利要求1所述的一种基于VR交互技术的视觉刺激儿童孤独症的训练方法，其特征在于，所述在S3中，VR游戏实现运用工具：Unity是实现3d互动内容创作的交互性软件，可以通过创建自己的模型或引用他人已经构建好的模版，将现实生活中的场景或者非真实的虚构的情景刻画出来并3d展现出来，Unity具有较强的兼容性，可以兼容大量不同VR头盔，并且Unity游戏引擎提供了VR模式，可以直接在电脑上预览情景设定。

9.根据权利要求8所述的一种基于VR交互技术的视觉刺激儿童孤独症的训练方法，其特征在于，所述VR游戏具体实施：运用UI界面构建场景与交互浏览，搭建用户熟悉的生活环境，包括家庭和学校，只运用Unity内部本身最基础的圆柱体、长方体可能无法搭建出理想中的模型，因此可以运用Unity内置建模工具–Probuilder，Probuilder提供大量的形状模版并且能够自定义参数从而设计出想要的各种形状，设计者可以利用点、线、面的工具捏造出理想中的形状，再利用三维坐标、单位计量来确保模型在动态里依旧是保持着合理的位置关系，Probuilder还可以提供物理建模的技术，等基础模型构造完毕后，再通过编写GameObject类的程序来实现交互，利用数据库获取该用户以往的信息、结果，进行机器学习分析，选择出最适合该用户的情景难易程度；在进入情境之后，需要画外音对用户进行引导，可以先前录入用户熟悉的声音到Unity的模版道具里，每个情境对应的不同的画外音模版，触发情境之后，画外音自动触发，引导用户进行一些情境对话；为保证能够准确地分析、判断用户目前的状态，需要对用户对话回答进行分析，Unity本身自带语音识别功能，其主要分为以下三个识别：KeywordRecognizer关键词识别；GrammarRecognizer语法识别；DictationRecognizer听写识别；最后，根据用户是否完成场景练习以及对话表现进行分数评估，更新该用户的数据库，此模型需获取大量用户来进行机器学习以及误差分析，需将用户分为训练集，验证集以及测试集，通过训练集来拟合模型，训练出多个模型，再通过验证集而获得效果最佳模型的参数得到最优模型，最后通过测试集进行模型预测，在日后推广中以达到最高准确性，并且，在机器学习的过程中可以应用差分隐私在保证隐私的情况下确保数据的准确性。

10.根据权利要求1所述的一种基于VR交互技术的视觉刺激儿童孤独症的训练方法，其特征在于，VR眼镜包括VR眼镜主体(1)和VR眼镜主体(1)两侧均铰接的镜腿(2)，所述镜腿(2)的表面栓接有操作箱(3)，所述镜腿(2)表面的底端粘合有气囊套(4)，所述气囊套(4)的进气端与操作箱(3)的底部连通，所述操作箱(3) 的内部栓接有微型电推杆(5)，所述微型电推杆(5)的输出端栓接有齿条(6)，所述齿条(6)的后侧与操作箱(3)的内部滑动连接，所述齿条(6)底部的齿牙啮合有小齿轮(7)，所述小齿轮(7)的轴心处与操作箱(3)的内部转动连接，所述小齿轮(7)的后侧栓接有偏心轮(8)，所述偏心轮(8)的外侧转动套接有连接圈(9)，所述连接圈(9)的底部铰接有传动杆(10)，所述传动杆(10)的后侧与操作箱(3)的内部滑动连接，所述传动杆(10)底部的凸块滑动连接有滑架(11)，所述滑架(11)的后侧栓接有大齿轮(12)，所述大齿轮(12)的轴心处与操作箱(3)的内部转动连接，所述大齿轮(12)的齿牙啮合有传动齿轮(13)，所述传动齿轮(13)的轴心处与操作箱(3)的内部转动连接，所述传动齿轮(13)表面的左侧铰接有铰接杆(14)，所述铰接杆(14)的底端铰接有活塞块(15)，所述活塞块(15)的表面与操作箱(3)内部的底端滑动连接。

Images