CN115985462A - 儿童脑瘫康复益智训练*** - Google Patents

Abstract

本发明公开了儿童脑瘫康复益智训练***，涉及脑瘫康复技术领域，其技术方案要点是：包括摄像头、移动终端和游戏训练库模块。该***将益智游戏融入到患儿的康复训练中来，更符合患儿的游戏天性，利于提高患儿康复训练积极性，实现高效的康复训练；同时，将情绪检测纳入的康复训练的全过程中，及时将患儿情绪信息反馈至家属，辅助家属对患儿进行心理干预，提高患儿康复训练依从性，防止逆反情绪的产生；此外，该***基于对患儿的考量，直接通过摄像头采集患儿运动信息，避免了大量外设的连接与穿戴，提高了患儿康复训练时的舒适度，同时使得准备操作更加便捷，更利于进行居家康复训练。

Description

儿童脑瘫康复益智训练***

技术领域

本发明涉及脑瘫康复技术领域，更具体地说，它涉及儿童脑瘫康复益智训练***。

背景技术

脑瘫是一组持续存在的中枢性运动和姿势发育障碍、活动受限症候群，这种症候群是由于发育中的胎儿或婴幼儿脑部非进行性损伤所致。脑瘫的运动障碍常伴有感觉、知觉、认知、交流和行为障碍，以及癫痫和继发性肌肉骨骼问题。

脑瘫治疗的主要方式是康复治疗。由于脑瘫患儿涉及神经***、运动***(含肌肉、肌腱、骨关节等)、言语、心理等多方面的功能障碍，故康复治疗要综合利用运动训练疗法、作业治疗、言语治疗、心理干预等多种方法抑制异常的神经反射和姿势，促进正常运动功能、言语功能、心理健康和神经***的发育。

深度学习(Deep Learning,DL)是机器学习(Machine Learning,ML)领域中的一个新的研究方向，是学习样本数据的内在规律和表示层次。其最终目的是让机器具备与人类一样的学习分析能力，能够识别复杂的文字、图像、声音等数据，随着深度学习的不断发展，越来越多的问题被放入深度神经网络中解决。

现有的儿童脑瘫康复训练疗法需要在专业医生的现场指导下完成训练，不仅学习成本高，还挤占了大量医疗资源。针对这一问题，申请人发明了一种基于深度学习来辅助儿童脑瘫康复益智训练的***。

发明内容

本发明的目的是提供儿童脑瘫康复益智训练***，该训练***解决了背景技术中提到的技术问题。

本发明的上述技术目的是通过以下技术方案得以实现的：儿童脑瘫康复益智训练***，包括摄像头、移动终端和游戏训练库模块；

所述摄像头用于实时采集患儿运动数据与面部表情信息，并将该信息传递到游戏训练库模块中；

所述游戏训练库模块内储存有多种训练游戏，用于指导患儿不同部位的康复训练，将摄像头采集的画面进行运动目标检测，同时根据患儿的运动实况进行评价分析，生成训练报告，在患儿训练时会生成实时数据发送到移动终端内；

所述移动终端包括家属端和医生端；

所述家属端内存储有训练测评问卷，家属端用于实时接收分析传输模块输出的训练数据，训练完成后，能够接收数据分析传输模块生成的训练报告；同时还可以将部分训练报告与测评结果发送至医生端，实现医患数据交流共享；

所述医生端用于接收家属端传递的患儿训练报告和测评结果。

进一步的，所述游戏训练库模块包括颈部训练单元、上肢训练单元、下肢训练单元、站位和坐位训练单元以及综合训练单元；所述游戏训练库模块包括颈部训练单元、上肢训练单元、下肢训练单元、站位和坐位训练单元以及综合训练单元内存储有多种对应的训练游戏，同时上述单元根据患儿的运动情况进行分析，并生成训练报告。

进一步的，所述游戏训练库模块处理图像的方法为：

S1：对摄像头采集的图像中患儿的运动数据与面部表情信息进行运动目标检测；

S2：利用OpenPose中Python模块提供的PythonAPI检测患儿骨骼关键点；

S3：利用ST-GCN神经网络模型匹配患儿骨骼点时空变化完成动作识别与动作评价，同时通过CNN神经网络实现表情识别。

进一步的，所述S1中游戏训练库模块的运动目标检测的具体方法是：

S1-1：通过高斯混合模型对图像输入进行处理；

S1-2：对处理后的图像数据进行高斯滤波法提取；

S1-3：针对可能出现的破碎与断裂情况采用膨胀与侵蚀形态学处理；

S1-4：采用轮廓面积最大区块作为完整的运动目标轮廓图，实现对运动目标的准确检测。

进一步的，在运动目标检测时，所述游戏训练库模块利用交并比(IoU)、每秒传输帧数(FPS)、平均精度(mAP)、精确度(P)、召回率(R)和cost(损失值)对检测结果进行评估。

进一步的，所述检测患儿骨骼关键点采用指标正确关键点的百分比对模型进行评估。

综上所述，本发明具有以下有益效果：

1、相比于现有的重复枯燥的康复训练方式，本***将益智游戏融入到患儿的康复训练中来，更符合患儿的游戏天性，利于提高患儿康复训练积极性，实现高效的康复训练；

2、相比于现有的康复训练对患儿心理变化的忽略，本***将情绪检测纳入的康复训练的全过程中，及时将患儿情绪信息反馈至家属，辅助家属对患儿进行心理干预，提高患儿康复训练依从性，防止逆反情绪的产生；

3、相比于现有康复产品复杂的穿戴设备与外设，本***基于对患儿的考量，直接通过摄像头采集患儿运动信息，避免了大量外设的连接与穿戴，提高了患儿康复训练时的舒适度，同时使得准备操作更加便捷，更利于进行居家康复训练；

4、相比于现有康复产品对家属专业知识普及的忽略，本***将专业的医疗建议与康复指导纳入整个训练流程中来，弥补了家属专业性的不足，提高了居家康复训练的专业性；

5、相比与现有的康复产品对医生线下知道的高需求度，本***开发了云上服务平台，实现云上寻医问诊，构建了线上线下医患交流闭环，提高了医疗资源的利用，缓解了社会医疗压力。

附图说明

图1是本发明实施例中儿童脑瘫康复益智训练***的***模块图；

图2是本发明实施例中***整体流程图；

图3是本发明实施例中游戏训练库模块的结构示意图；

图4是本发明实施例中高斯滤波法流程图；

图5是本发明实施例中结合高斯滤波法的运动目标检测神经网络架构图；

图6是本发明实施例中基于CNN的OpenPose算法网络结构图；

图7是本发明实施例中ST-GCN时空图卷积神经网络结构图

图8是本发明实施例中CNN卷积神经网络结构图。

具体实施方式

以下结合附图1-8对本发明作进一步详细说明。

实施例：儿童脑瘫康复益智训练***，如图1至图8所示，包括摄像头、移动终端和游戏训练库模块；

摄像头用于实时采集患儿运动数据与面部表情信息，并将该信息传递到游戏训练库模块中；

游戏训练库模块内储存有多种训练游戏，用于指导患儿不同部位的康复训练，将摄像头采集的画面进行运动目标检测，同时根据患儿的运动实况进行评价分析，生成训练报告，在患儿训练时会生成实时数据发送到移动终端内；

移动终端包括家属端和医生端；

家属端内存储有训练测评问卷，家属可以在家属端的APP填写训练测评问卷，***根据问卷填写内容生成测评结果，辅助家属及时掌握患儿康复训练进展。在训练过程中，家属通过手机实时接收电脑情绪数据输出，掌握患儿情绪，及时介入训练过程进行心理干预。训练完成后，家属可从手机上接收电脑端患儿训练报告，查看患儿训练情况；同时还可以将部分训练报告与测评结果发送至医生端的APP应用程序上，并接收医生建议，实现医患数据交流共享；

医生端用于接收家属端传递的患儿训练报告和测评结果，全面掌握患儿的训练过程与训练进展，及时进行康复训练诊疗指导，构建有效的医患交流闭环。

游戏训练库模块包括颈部训练单元、上肢训练单元、下肢训练单元、站位和坐位训练单元以及综合训练单元；游戏训练库模块包括颈部训练单元、上肢训练单元、下肢训练单元、站位和坐位训练单元以及综合训练单元内存储有多种对应的训练游戏，同时上述单元根据患儿的运动情况进行分析，并生成训练报告。

本实施例中，颈部训练单元中存储有“律动的小球”游戏，患儿根据语音与画面提示，通过头部运动来控制小球撞击不同方向的鼓面。游戏旨在实现对患儿颈部肌肉的康复训练，预防或尽可能减少继发性颈部肌肉畸形的发生。同时该单元将根据患儿的头部运动摆幅进行训练分析，生成训练报告。

上肢训练单元中存储有“小小绘画家”和“一起捉蝴蝶”的游戏，小小绘画家的训练方式是：患儿根据游戏示范，通过上肢与手部运动模拟画笔运动，补全画面中缺失的线条或图形区域。游戏旨在使患儿凭借上肢以及手指等部位肌肉或小肌肉群的运动，在感知、注意力等多方面心理活动的配合下完成特定任务，实现上肢训练并提升精细运动能力。同时该单元模块将根据患儿上肢运动实况进行训练分析，生成训练报告。一起捉蝴蝶的训练方式是：患儿根据画面提示，通过挥动手臂控制虚拟人物触碰***随机生成的蝴蝶。游戏旨在使患儿通过双上肢及手部的运动，实现肩、肘、腕、掌指关节的训练，提高上肢关节运动能力及灵活度，改善上肢协调性及反应能力。同时游戏将对患儿肩、肘、腕、掌指关节灵活度分析，提供针对性训练建议，生成训练报告。

下肢训练单元存储有“足球小将”、“节奏大师”和“我是小小运动员”的游戏，足球小将的训练方式是：患儿通过完成标准的踢腿运动，来踢动屏幕上的虚拟足球，并且只有当***识别到患儿动作足够标准且迅速时，患儿才能将球踢入球门。游戏旨在对患儿进行腿部肌肉训练，使患儿具备基本的腿部活动能力；预防或尽可能减少继发性腿部肌肉畸形的发生。同时该单元将根据患儿腿部摆幅进行分析，生成训练报告。节奏大师的训练方式是：患儿根据游戏中的滚动箭头提示，在箭头滚动至底线前移动到相应标志处。游戏针对具有部分行走能力的患儿，通过给予图像指令使患儿进行前进、侧走、后退等行走训练，从而提升强化患儿的下肢力量与行走能力。同时该单元根据患儿的步幅与步频进行分析，生成训练报告。我是小小运动员的训练方式是：患儿根据虚拟赛道上的障碍物的形状与位置，通过跳跃，下蹲，左右移动的方式实现躲避。游戏旨在通过患儿与游戏画面的互动，从而使患儿在躲避障碍的过程中不断进行蹲起训练，进而达到锻炼腿部肌肉力量的目的。同时该单元将对患儿的运动程度进行分析，生成训练报告。

站位与坐位训练单元存储有“最佳马戏团”的游戏，该游戏的训练方式是：患儿通过保持坐姿或站姿控制屏幕中的杂技演员完成平衡特技。游戏旨在通过坐位和站位训练纠正患者的异常坐姿和异常站姿。同时***将对坐姿与站姿标准程度与时长进行分析，提供针对性训练建议，生成训练报告。

综合训练单元存储有“不要毛毛虫，就要小红花”和“穿越泡沫墙”的游戏，不要毛毛虫，就要小红花游戏的训练方式是：患儿通过身体运动，控制虚拟人物躲避毛毛虫，触碰小红花。旨在使患儿通过完成摆头、运动肩关节、摆动上肢、运动髋关节、摆动下肢等动作，提升患儿对身体各个关键点的控制能力，同时锻炼患儿颈部、上肢、下肢的肌肉力量。同时该单元将对患儿动作进行分析，生成训练报告。穿越泡沫墙的训练方式是：患儿需按虚拟墙壁上的空洞造型摆出相应姿势，控制虚拟人物穿墙而过。***旨在鼓励患儿完成全身关节的自主训练，提高上下肢关节的控制能力；各种动作有机结合，促进各关节协调发展；通过动作模仿实现视觉、听觉刺激，避免神经运动发育迟缓。该单元通过分析患儿动作标准程度，生成训练报告。

本实施例中，游戏训练库模块处理图像的方法为：

S1：对摄像头采集的图像中患儿的运动数据与面部表情信息进行运动目标检测；运动目标检测的具体步骤如图4所示：

S1-1：首先引入高斯混合模型对图像输入进行处理；该处理为初步处理，处理的结果精确度较低，易受背景快速变动与光照阴影变化影响；本实施例中，混合高斯滤波模型(Gaussian Mixture Model，GMM)是由单一高斯分布模型改良而来，其时间复杂度O(n)²，通过混合高斯模型对输入图像进行学习训练，可以提取出完整的背景初始化模型，并以此作为前景运动目标跟踪识别的基础，公式为：

S1-2：对处理后的图像数据进行高斯滤波法提取，在不破坏运动目标的前体下实现数据降噪；高斯滤波法(GaussianBlur)，也称为高斯平滑法，常用来模糊或柔化图像，或是去除图像中多余的噪声。图像的高斯滤波过程即对图像的与正态分布进行卷积运算，使其所使用的高斯滤波像素权重分布矩阵为基本3*3型矩阵。由此，在取得前景目标后可实现对噪声的有效消除，并且避免了对破碎与断裂运动前景图像的过分消除与噪声对目标轮廓轨迹干扰与影响，有效提高了目标轮廓提取的完整性。

S1-3：针对可能出现的破碎与断裂情况采用膨胀与侵蚀形态学处理；先对图像进行膨胀修补，再利用侵蚀获得大致轮廓；膨胀与侵蚀是形态学处理中常用的方法，主要用于解决图像处理中对象轮廓的破碎与断裂问题。为解决高斯滤波后对象轮廓破碎与断裂问题，我们采用膨胀与侵蚀方法对运动目标轮廓进行更细致的处理。为实现有效修补的同时避免过度膨胀，我们将输入图像高度的百分之一取整作为膨胀系数，将膨胀系数减一作为侵蚀系数，从而达到了理想效果。

S1-4：为了增强背景自适应设置能力，采用轮廓面积最大区块作为完整的运动目标轮廓图，实现对运动目标的准确检测；最大面积判断旨在解决在算法完成高斯滤滤波与膨胀侵蚀处理后结果中仍存在因背景对象快速变动而产生误判的问题。本实施例采用轮廓寻找法对图像内的所有对象轮廓进行提取并记录在轮廓矩阵中，再根据轮廓矩阵计算区块面积，最后根据最大面积判断运动目标轮廓，实现了运动目标的准确提取与识别。

本实施例中，运动检测评价指标利用IoU(交并比-intersection over union)进行评估。通过计算“预测物体框”(DT，DectionResult)与“真实物体框”(GT,GroundTruth)的交叠率大小来反映相关性强弱。在评价指标中，我们将阈值设定为0.8，如果IoU大于该阈值，则认为该检测有效。

除此之外，在目标检测算法中常用的评价指标FPS(每秒传输帧数-Frames PerSecond)与mAP(平均精度-Mean Average Precision)也是重要的参考依据。同样，本实施例还基于P(Precision，精确度)和R(Recall，召回率)以及cost(损失值)对运动目标检测学习效果进行评估。

S2：利用OpenPose中Python模块提供的Python API检测患儿骨骼关键点；

OpenPose是基于卷积神经网络和监督学习并以caffe为框架搭建的开源库，可以实现人的面部表情、躯干和四肢甚至手指的跟踪，不仅适用于单人也适用于多人，同时具有较好的鲁棒性。OpenPose的骨骼关键点标记涵盖如下三个部分：

a.卷积网络提取图像特征，得到一组特征图，随后分割为两个岔路，分别使用CNN网络提取Part Confidence Maps和Part Affinity Fields；

b.随后根据Bipartite Matching(偶匹配)求出Part Association，将同对象的关节点连接起来，并且出于PAF自身的矢量性，使得生成的偶匹配准确率较高，可以最终合并为患儿对象的整体骨架；

c.基于PAFs求出Multi-Person Parsing，从而将Multi-person parsing问题转换成graphs问题，最后在Hungarian Algorithm(匈牙利算法)的帮助下完成骨骼关键点检测。

基于CNN的Open Pose算法网络结构如图6所示。

卷积神经网络(CNN)是一种前馈神经网络，通常由输入层、卷积层、池化层、全连接层和输出层组成，能有效提取深层图像特征，此外，CNN的局部感知、权值共享及池化特性能够大幅降低计算复杂度，提升训练速度，并实现平移、缩放和旋转不变性。Openpose就是在卷积神经网络CNN的基础上加以改进的。

目前，多人骨骼关键点检测通常采用top-down的思路，先做行人检测，再把每一个对象分割出来，最后基于每个独立个体抽取各自的人体关键点。但本实施例只需要对实现患儿单人骨骼点识别，传统的top-down骨骼点检测模型往往设计多人识别，导致单人计算量较大，耗时长，存在重复识别问题。

本实施例在top-down方法的基础上借鉴OpenPose中bottom-up的识别检测思路，制定了自己的解决方案，并利用OpenPose库构建合适的CNN神经网络，来获得更好的检测效果与计算速度。

在定位到患儿后，我们利用PAF(部分区域亲和-Part Affinity Fields)在图像域编码四肢位置和方向的2D矢量；并借助CMP(Part Detection Confidence Maps)标记每一个关键点的置信度(就是常说的“热图”)，由此在两分支的帮助下，联合学习关键点位置与各自之间的联系，从而提高聚类准确率，避免错误连接问题出现。同时利用贪婪分析算法(Greedy parsing Algorithm)，能在较小的运算成本下，对全局进行足够的编码，获得高质量的结果。

检测患儿骨骼关键点的评价指标是利用人体骨骼关键点检测性能评估常用指标正确关键点的百分比(percentage of correct keypoints，PCK)对模型进行评估。其中，PCK通过衡量预测关键点的位置和真实关键点位置之间的距离来确定检测的关键点的准确性。如果距离在阈值范围内则表示检测到的关键点的位置正确。PCK值越高模型性能越好。

除此之外，我们也将目标关键点相似度(object keypoint similarity,OKS)、平均准确度(average precision，AP)、平均精度均值(mean average precision)等常用评价指标作为参考依据，在MPII和MSCOCO数据集上进行了对比分析。

S3：利用ST-GCN神经网络模型匹配患儿骨骼点时空变化完成动作识别与动作评价，同时通过CNN神经网络实现表情识别。

ST-GCN(Spatial Temporal Graph Convolutional Network-时空图卷积网络)，如图7所示，是在GCN的基础上提出的。核心观点是将TCN与GCN相结合，用来处理有时序关系的图结构数据。网络分为两个部分：

GCN-Net：对输入数据进行空间卷积，即不考虑时间因素，卷积作用于同一时序的不同点的数据。

TCN-Net：对数据进行时序卷积，考虑不同时序同一特征点的关系，卷积作用于不同时序的同一点的数据。

相较于上述卷积神经网络，ST-GCN神经网络直接对输入的骨骼关键点数据进行学习，避免了将所有视频拆分成一帧一帧的图片输入以及背景噪声的产生，这使得ST-GCN的数据输入量为卷积神经网络的八万分之一，降低了计算负担，极大提高了运行速度，满足了项目实时性需求。

在本实施例中，对于Openpose识别输出的人体关键点信息可以被视为一种拓扑结构，这使得GCN在提取空间特性时效率明显优于卷积神经网络。同时患儿在完成某康复训练动作时需要一定时间，即在完成康复训练动作的过程中，患儿的人体关键点在时间维度上具有一定特征，因此TCN相较于卷积神经网络在处理时空变化关系上占有明显优势。因而ST-GCN可同实时现在时序和空间两个维度上进行卷积并提取特征，得出模型。

对于NTU-RGB+D数据集，我们将全部数据的10％作为测试集，随后将数据输入到ST-GCN时空图卷积神经网络模型后根据预测结果与实际标签匹配率生成混淆矩阵。根据预测结果的正确率(accuracy)以及每个动作分类的精确率(precision)，召回率(recall)，准确率与召回率调和值(F-score)，宏平均(macro-average)与加权平均(weighted-average)作为模型评估的泛化性能指标。同时根据训练数据集与测试数据集各自的损失值(cost)评价模型拟合效果。

同时，本实施例采用多种数据集对训练后的网络模型的泛化能力进行评估，其中将经典的Activity-Net、Kinetics-Skeleton等数据集的前10％传入到神经网络模型后根据预测结果与实际标签匹配率生成混淆矩阵。根据预测结果的正确率(accuracy)以及每个动作分类的精确率(precision)，召回率(recall)，准确率与召回率调和值(F-score)，宏平均(macro-average)与加权平均(weighted-average)作为模型评估的泛化性能指标，同时根据训练数据集与测试数据集各自的损失值(cost)评价模型拟合效果。

动作评价则是对特定动作的完成质量进行评判。它一般应用于体育、舞蹈、太极拳等专业领域之中，不仅可以辅助裁判、教练进行评分，更重要的是帮助人们进行动作分析与训练。同时，动作识别与动作评价也有紧密联系，二者在技术流程和方法上也有着很多共通之处，动作评价往往需要在动作识别的基础上完成。

基于此，本实施例游戏库中每一项益智游戏训练均设有动作评价算法，即对动作完成度设有既定阈值，只有当患儿康复动作达到标准程度且超过阈值时，才能激活游戏动画进入下一步游戏康复训练。同时***根据动作完成标准度进行动作打分，据此生成最终游戏得分与训练报告。

游戏训练库模块在表情识别的实现方案是：

1)数据集

本实施例采用数据库CK+。CK+数据库是在Cohn-Kanade Dataset基础上的拓展，包含表情的lable和Action Units的lable，共含有123个subjects，593个imagesequence。在使用时，需将数据集切割后的图片保存为.h5文件，在对数据集进行转化，生成torch.utils.data类型数据。在CK+数据库中，图像分为正视图和30度视图，并且还可以分为数字化为640x490像素阵列的8位灰度与像素阵列为640x480的24位色彩图。本数据库表情数据均在实验室条件下获取，并且信息贡献参与者涵盖了不同性别，不同年龄，不同种族的巨大数据范畴，使得在应用训练中使得模型更加严谨可靠。

2)卷积神经网络(CNN)

本实施例在训练过程中，拟使用ImageDataGenerator实现数据增强，并通过flowfrom_directory根据文件名划分label，选择SGD优化算法与Softmax分类方法对样本进行充分学习，并将硬饱和的ReLU作为激活函数来解决因没有进行归一化而梯度消失训练困难的问题。

同时在训练过程中，为解决CK+数据集样本数量较少的问题，我们将图片在左上角，左下角，右上角，右下角，中心进行切割和并做镜像操作，使数据库图片扩大十倍，随后将图片送入模型，并取概率值取最大的输出分类作为对应表情识别结果。由此扩大数据库数据量，减缓数据过拟合，增强训练网络的鲁棒性，提高预测分类结果准确性。

3)评价指标

对于CK+数据集，我们将全部数据的20％作为测试集，随后将数据输入到卷积神经网络模型后根据预测结果与实际标签匹配率生成混淆矩阵。根据预测结果的正确率(accuracy)以及每个表情分类的精确率(precision)，召回率(recall)，准确率与召回率调和值(F-score)，宏平均(macro-average)与加权平均(weighted-average)作为模型评估的泛化性能指标。同时根据训练数据集与测试数据集各自的损失值(cost)评价模型拟合效果。

同时，我们采用多种数据集对训练后的网络模型的泛化能力进行评估，本实施例将经典的FER2013(Goodfellow等，2013)、TFD(TheTorontofacedatabase)等数据集的前15％传入到神经网络模型后根据预测结果与实际标签匹配率生成混淆矩阵。根据预测结果的正确率(accuracy)以及每个表情分类的精确率(precision)，召回率(recall)，准确率与召回率调和值(F-score)，宏平均(macro-average)与加权平均(weighted-average)作为模型评估的泛化性能指标，同时根据训练数据集与测试数据集各自的损失值(cost)评价模型拟合效果。

***设计

1、数据结构

家属在登录***前先进行账号注册并验证身份信息，患者家属一方账号可以实现电脑端与手机端同时登录。医生也需要注册账号并验证身份信息，与患者家属账号绑定，建立“一对多”的问诊模式。

患儿在电脑端进行游戏训练时***会记录患儿的运动数据与情绪信息，并将情绪信息实时反馈至家属手机端。在训练结束后生成游戏得分与训练报告，训练报告将自动储存在电脑自建文件夹下，同时发送至家属手机端。所有运动数据与表情数据将传送至云端服务器进行计算分析，并将结果传回至电脑端。

家属手机端可以接收电脑端传输的患儿情绪信息与相应的训练报告，进行训练效果测评问卷填写，最终将训练报告与测评问卷通过云服务器传输至医生端。

医生端可以查收训练报告与测评问卷并做出诊疗判断，与家属端进行有效互动。

综上，深度学习模型涉及到One-Hot编码、矩阵和向量表示，电脑端、家属与医生手机端三端App应用程序、云服务器前后端的交互采用Json数据表示，本项目关于患儿训练与账号数据属性结构如下表所示。

患儿训练与账号数据属性结构

数据介绍	属性	注释
			账号	字符串	患者家庭与医生的注册账号信息
训练时长	浮点型数据	患儿训练时间
			训练游戏id	整型数字	患儿选择的益智游戏id号
测评问卷	整型数字	将测评问卷每一项选择结果按标号存储
			训练报告	字符串	将训练报告的各项指标与对应结果按顺序存储
表情信息	字符串	借助摄像头对患儿的检测得出的实时情绪信息
			训练动作	字符串	通过检测信息判断的行为类别
身份信息	字符串	包括医生与患者及家属的身份验证信息

2、数据库

该***除了完成康复训练与表情识别以外，还涉及到医生端与家属端的信息交互以及电脑端对患儿康复训练的指导纠错。当患儿开始训练后，***会记录患儿的训练时长、训练内容、训练得分、动作完成度等相关信息，对患儿的康复训练实现长期分析决策指导；在医患交流版块中实现医患账号绑定与文件数据传输，构建及时有效的医患交流平台。本***数据库中主要包含患儿、家属、医生相关，用于康复训练与医患交流。

在患儿训练阶段，***采集患儿训练时的各项数据，存入数据库中，并由此实现数据分析与训练报告生成；对于医患信息，将两者账号存入数据库中，实现两者身份绑定，搭建医患交流平台。

3、服务器

与普通服务器相比，本实施例拟使用的ECS云服务器更加简单高效且处理能力可弹性伸缩，无需提前购买硬件。在云上搭建的应用更加稳定安全，同时也能够减少开发运维的难度和整体IT成本，从而专注于核心功能的开发。服务器主要负责各项数据的处理，与App应用程序、硬件设备等接口相连，运行深度学习核心功能代码，负责对各功能模块的管理和综合。

本具体实施例仅仅是对本发明的解释，其并不是对本发明的限制，本领域技术人员在阅读完本说明书后可以根据需要对本实施例做出没有创造性贡献的修改，但只要在本发明的权利要求范围内都受到专利法的保护。

Claims (6)

1.儿童脑瘫康复益智训练***，其特征是：包括摄像头、移动终端和游戏训练库模块；

所述摄像头用于实时采集患儿运动数据与面部表情信息，并将该信息传递到游戏训练库模块中；

所述游戏训练库模块内储存有多种训练游戏，用于指导患儿不同部位的康复训练，将摄像头采集的画面进行运动目标检测，同时根据患儿的运动实况进行评价分析，生成训练报告，在患儿训练时会生成实时数据发送到移动终端内；

所述移动终端包括家属端和医生端；

所述家属端内存储有训练测评问卷，家属端用于实时接收分析传输模块输出的训练数据，训练完成后，能够接收数据分析传输模块生成的训练报告；同时还可以将部分训练报告与测评结果发送至医生端，实现医患数据交流共享；

所述医生端用于接收家属端传递的患儿训练报告和测评结果。

2.根据权利要求1所述的儿童脑瘫康复益智训练***，其特征是：所述游戏训练库模块包括颈部训练单元、上肢训练单元、下肢训练单元、站位和坐位训练单元以及综合训练单元；所述游戏训练库模块包括颈部训练单元、上肢训练单元、下肢训练单元、站位和坐位训练单元以及综合训练单元内存储有多种对应的训练游戏，同时上述单元根据患儿的运动情况进行分析，并生成训练报告。

3.根据权利要求1所述的儿童脑瘫康复益智训练***，其特征是：所述游戏训练库模块处理图像的方法为：

S1：对摄像头采集的图像中患儿的运动数据与面部表情信息进行运动目标检测；

S2：利用OpenPose中Python模块提供的PythonAPI检测患儿骨骼关键点；

S3：利用ST-GCN神经网络模型匹配患儿骨骼点时空变化完成动作识别与动作评价，同时通过CNN神经网络实现表情识别。

4.根据权利要求3所述的儿童脑瘫康复益智训练***，其特征是：所述S1中游戏训练库模块的运动目标检测的具体方法是：

S1-1：通过高斯混合模型对图像输入进行处理；

S1-2：对处理后的图像数据进行高斯滤波法提取；

S1-3：针对可能出现的破碎与断裂情况采用膨胀与侵蚀形态学处理；

S1-4：采用轮廓面积最大区块作为完整的运动目标轮廓图，实现对运动目标的准确检测。

5.根据权利要求3所述的儿童脑瘫康复益智训练***，其特征是：在运动目标检测时，所述游戏训练库模块利用交并比(IoU)、每秒传输帧数(FPS)、平均精度(mAP)、精确度(P)、召回率(R)和cost(损失值)对检测结果进行评估。

6.根据权利要求3所述的儿童脑瘫康复益智训练***，其特征是：所述检测患儿骨骼关键点采用指标正确关键点的百分比对模型进行评估。

Images