CN111481208A - 一种应用于关节康复的辅助***、方法及存储介质 - Google Patents

一种应用于关节康复的辅助***、方法及存储介质 Download PDF

Info

Publication number
CN111481208A
CN111481208A CN202010248427.9A CN202010248427A CN111481208A CN 111481208 A CN111481208 A CN 111481208A CN 202010248427 A CN202010248427 A CN 202010248427A CN 111481208 A CN111481208 A CN 111481208A
Authority
CN
China
Prior art keywords
joint
predicted
angle
image
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010248427.9A
Other languages
English (en)
Other versions
CN111481208B (zh
Inventor
成亮
熊运生
朱勇
林涨源
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiangya Hospital of Central South University
Original Assignee
Xiangya Hospital of Central South University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiangya Hospital of Central South University filed Critical Xiangya Hospital of Central South University
Priority to CN202010248427.9A priority Critical patent/CN111481208B/zh
Publication of CN111481208A publication Critical patent/CN111481208A/zh
Application granted granted Critical
Publication of CN111481208B publication Critical patent/CN111481208B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1121—Determining geometric values, e.g. centre of rotation or angular range of movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/22—Ergometry; Measuring muscular strength or the force of a muscular blow
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Artificial Intelligence (AREA)
  • Physiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Geometry (AREA)
  • Rehabilitation Tools (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明公开了一种应用于关节康复的辅助***、方法及存储介质，其中***包括：关节图像获取模块，用于获取患者关节图像并进行预处理；关节角度预测模块，用于基于预处理后的患者关节图像，通过关节康复评估模型预测得到第一预测关节角度和三个预测关节关键点；角度综合器，用于基于三个预测关节关键点计算得到第二预测关节角度，并对第一预测关节角度和第二预测关节角度取平均值，得到最终关节角度评估值。只需获取患者的关节图像，就可利用关节康复评估模型对关节的角度进行计算预测，以便直接将关节的活动度发送给术者或康复师，省去人工测量和计算关节恢复角度的繁琐步骤，提高患者的医从性和便于术者或康复师第一时间了解患者的康复情况。

Description

一种应用于关节康复的辅助***、方法及存储介质
技术领域
本发明涉及医疗设备技术领域，尤其涉及一种应用于关节康复的辅助***、方法及存储介质。
背景技术
目前许多肘关节骨折患者在进行内固定或者石膏固定保守治疗后。因为肢体长期制动，容易导致肌肉萎缩、关节内粘连或韧带挛缩。早期合理的功能锻炼，可促进患肢血液循环，减少肌肉萎缩，防止关节僵硬，促进骨折愈合，其临床价值已得到公认。我国康复医疗体系由三级医院康复科、二级医院康复科(康复专科医院)、社区康复中心(门诊)或居家康复组成。三级医院康复科主要承担急性期康复治疗，二级医院康复科(康复专科医院)则承担恢复期康复治疗，社区康复医疗中心(门诊)或居家康复主要承担维持期康复治疗。但是目前无论在软、硬件设施配置上还是在人员配置方面，优质资源均主要集中在大城市的三甲医院。许多患者来自县城或边远农村，住址附近并不一定具备良好的康复条件，长期住在大城市三甲医院进行康复锻炼不仅不方便，而且康复费用不菲。对于许多并不富裕的患者来说，能凑齐手术费进行手术就已实属不易，额外的高额康复费用则难以承担，所以许多患者很难在三甲医院进行肘关节术后的规范屈伸活动康复训练。第二个问题是出院时虽然医生常会教导患者出院后如何进行肘关节的屈伸活动锻炼，但由于疼痛，以及不知如何把握康复训练的力度，担心骨折再移位或关节脱位等，许多患者本人以及家属出院后并不敢进行屈伸活动。术后一个月随访时患者肘关节已经出现僵硬，恢复并不理想。
发明内容
本发明提供了一种应用于关节康复的辅助***、方法及存储介质，以解决现有技术中患者在出院后无法规范的进行关节康复训练的问题。
第一方面，提供了一种应用于关节康复的辅助***，包括：
关节图像获取模块，用于获取患者关节图像并进行预处理；
关节角度预测模块，用于基于预处理后的患者关节图像，通过关节康复评估模型预测得到第一预测关节角度和三个预测关节关键点，所述三个预测关节关键点包括预测关节轴点、预测关节远心端点、预测关节近心端点，其中，所述关节康复评估模型为预先基于采集的关节图像集进行训练得到；
角度综合器，用于基于三个预测关节关键点计算得到第二预测关节角度，并对第一预测关节角度和第二预测关节角度取平均值，得到患者的最终关节角度评估值。
通过上述应用于关节康复的辅助***，只需获取患者的关节图像，就可利用预先训练好的关节康复评估模型对关节的角度进行计算预测，以便直接将关节的活动度发送给术者或康复师，省去人工测量和计算关节恢复角度的繁琐步骤，做到精准、数字化、即视感和便利化，有助于提高患者的医从性和便于术者或康复师第一时间了解患者的康复情况，及时进行远程的指导；同样也有利于术者随访资料收集与统计分析，从而总结临床疗效，改善和提高医疗技术。
进一步地，所述关节康复评估模型通过如下方法训练得到：
采集若干关节图像并进行预处理；
标注预处理后的每张关节图像的关节轴点、关节远心端点、关节近心端点，并计算出关节角度；以一张预处理后的关节图像及对应的关节轴点、关节远心端点、关节近心端点、关节角度为一个样本构建训练样本集；
基于训练样本集，以预处理后的关节图像作为输入，以关节图像对应的关节轴点、关节远心端点、关节近心端点及关节角度为输出，训练得到关节康复评估模型；
其中，所述关节康复评估模型包括特征提取子网络、关键点检测子网络和角度回归子网络；
所述特征提取子网络以预处理后的关节图像为输入，基于卷积神经网络输出特征图像；
所述关键点检测子网络以特征提取子网络输出的特征图像为输入，基于反卷积层神经网络输出预测关节轴点、预测关节远心端点、预测关节近心端点；
所述角度回归子网络以特征提取子网络输出的特征图像为输入，基于全连接层神经网络输出预测关节角度。
在该关节康复评估模型中，特征提取子网络、关键点检测子网络和角度回归子网络构成了一个多任务学习***，即同时实现了关键点检测任务和角度回归任务。两个学习任务相辅相成，分别利用自身任务中所包含的有用信息来帮助另一个任务学习得到更为准确的模型参数。在多任务学习中，任务之间的信息相互共享，知识在不同的任务中互相迁移。一方面，多任务学习方法通过信息共享和知识迁移提升整体的学习效果，另一方面，当样本数据不足时，可以通过其它任务学到的知识来补充单个任务的信息，能缓解样本数据稀疏的问题。此外，角度回归子网络直接获得关节的活动角度，而关键点检测子网络通过一定的公式计算可间接得到关节的活动角度，二者求均值后作为最终角度，能够进一步减小单个任务中出现的误差。
进一步地，所述将预处理后的关节图像作为输入，以关节图像对应的关节轴点、关节远心端点、关节近心端点及关节角度为输出，训练得到关节康复评估模型，具体包括如下步骤：
A1、设置训练参数：采用Adam优化器，以均方误差损失为损失函数，预设batchsize为a，预设训练次数为n轮,预设学习率β；
A2、网络参数初始化：从互联网下载ImageNet数据集中预训练的ResNet50模型参数，将特征抽取子网络的参数初始化为该预训练的ResNet50模型参数，关键点检测子网络和角度回归子网络的参数均采用随机方式进行初始化；
A3、依次从训练样本集中抽取a张关节图像作为一个mini-batch，输入到关节康复评估模型中，从关键点检测子网络的输出端获得预测关节轴点、预测关节远心端点、预测关节近心端点，从角度回归子网络的输出端获得预测关节角度；
A4、基于a张关节图像输入关节康复评估模型后的输出，计算关键点均方误差损失和关节角度均方误差损失；
A5、将关键点均方误差损失与关节角度均方误差损失之和作为最终误差值，然后根据预设的学习率，利用反向传播算法更新关节康复评估模型的网络参数；
A6、重复步骤A3～A5，直至完成n轮训练，即得到最终的关节康复评估模型。
进一步地，还包括压力可视化模块；
所述压力可视化模块包括：
柔性压力传感器，用于安装于患者关节处，采集关节进行被动活动时施加的压力值，并传输给处理模块；
处理模块，用于接收柔性压力传感器传输的压力值，并转换为数字信号传输给显示模块；
显示模块，用于接收处理模块的数字信号并将关节被动活动时施加的压力值进行显示。
第二方面，提供了一种应用于关节康复的辅助方法，包括：
获取患者关节图像并进行预处理；
以预处理后的患者关节图像为输入，通过关节康复评估模型预测得到第一预测关节角度和三个预测关节关键点，所述三个预测关节关键点包括预测关节轴点、预测关节远心端点、预测关节近心端点，其中，所述关节康复评估模型为预先基于采集的关节图像集进行训练得到；
基于三个预测关节关键点计算得到第二预测关节角度，对第一预测关节角度和第二预测关节角度取平均值，得到患者的最终关节角度评估值。
进一步地，所述关节康复评估模型通过如下方法训练得到：
采集若干关节图像并进行预处理；
标注预处理后的每张关节图像的关节轴点、关节远心端点、关节近心端点，并计算出关节角度；以一张预处理后的关节图像及对应的关节轴点、关节远心端点、关节近心端点、关节角度为一个样本构建训练样本集；
基于训练样本集，以预处理后的关节图像作为输入，以关节图像对应的关节轴点、关节远心端点、关节近心端点及关节角度为输出，训练得到关节康复评估模型；
其中，所述关节康复评估模型包括特征提取子网络、关键点检测子网络和角度回归子网络；
所述特征提取子网络以预处理后的关节图像为输入，基于卷积神经网络输出特征图像；
所述关键点检测子网络以特征提取子网络输出的特征图像为输入，基于反卷积层神经网络输出预测关节轴点、预测关节远心端点、预测关节近心端点；
所述角度回归子网络以特征提取子网络输出的特征图像为输入，基于全连接层神经网络输出预测关节角度。
进一步地，所述将预处理后的关节图像作为输入，以关节图像对应的关节轴点、关节远心端点、关节近心端点及关节角度为输出，训练得到关节康复评估模型，具体包括如下步骤：
A1、设置训练参数：采用Adam优化器，以均方误差损失为损失函数，预设batchsize为a，预设训练次数为n轮,预设学习率β；
A2、网络参数初始化：从互联网下载ImageNet数据集中预训练的ResNet50模型参数，将特征抽取子网络的参数初始化为该预训练的ResNet50模型参数，关键点检测子网络和角度回归子网络的参数均采用随机方式进行初始化；
A3、依次从训练样本集中抽取a张关节图像作为一个mini-batch，输入到关节康复评估模型中，从关键点检测子网络的输出端获得预测关节轴点、预测关节远心端点、预测关节近心端点，从角度回归子网络的输出端获得预测关节角度；
A4、基于a张关节图像输入关节康复评估模型后的输出，计算关键点均方误差损失和关节角度均方误差损失；
A5、将关键点均方误差损失与关节角度均方误差损失之和作为最终误差值，然后根据预设的学习率，利用反向传播算法更新关节康复评估模型的网络参数；
A6、重复步骤A3～A5，直至完成n轮训练，即得到最终的关节康复评估模型。
进一步地，所述关键点均方误差损失通过如下公式计算得到：
Figure BDA0002434618500000041
其中，L1代表关键点均方误差损失，xAi和yAi分别代表第i张关节图像的预测关节轴点的X坐标和Y坐标，xDi和yDi分别代表第i张关节图像的真实关节轴点的X坐标和Y坐标，xBi和yBi分别代表第i张关节图像的预测关节远心端点的X坐标和Y坐标，xEi和yEi分别代表第i张关节图像的真实关节远心端点的X坐标和Y坐标，xCi和yCi分别代表第i张关节图像的预测关节近心端点的X坐标和Y坐标，xFi和yFi分别代表第i张关节图像的真实关节近心端点的X坐标和Y坐标；
所述关节角度均方误差损失通过如下公式计算得到：
Figure BDA0002434618500000051
其中，L2代表关节角度均方误差损失，JTi代表第i张关节图像的真实关节角度值，J1i代表第i张关节图像的预测关节角度值。
进一步地，所述采集若干关节图像并进行预处理，其中预处理包括将每张关节图像均缩放到预设尺寸；
所述采集若干关节图像并进行预处理之后还包括：
将每张关节图像以预设角度依次旋转b次生成b张新的关节图像。
第三方面，提供了一种计算机可读存储介质，所述存储介质包括存储的程序指令，所述程序指令适于被处理器加载并执行如上所述的用于关节康复的评估方法。
有益效果
本发明提出了一种应用于关节康复的辅助***、方法及存储介质，只需获取患者的关节图像，就可利用预先训练好的关节康复评估模型对关节的角度进行计算预测，以便直接将关节的活动度发送给术者或康复师，省去人工测量和计算关节恢复角度的繁琐步骤，做到精准、数字化、即视感和便利化，有助于提高患者的医从性和便于术者或康复师第一时间了解患者的康复情况，及时进行远程的指导；同样也有利于术者随访资料收集与统计分析，从而总结临床疗效，改善和提高医疗技术。
附图说明
图1是本发明实施例提供的一种应用于关节康复的辅助方法流程图；
图2是本发明实施例提供的一种应用于关节康复的辅助***结构示意图；
图3是本发明实施例提供的三个关节关键点位置示意图。
具体实施方式
下面结合附图及具体实施方式对本发明进行详细说明。
实施例1
本实施例提供了一种应用于关节康复的辅助方法，如图1所示，包括：
获取患者关节图像并进行预处理；
以预处理后的患者关节图像为输入，通过关节康复评估模型预测得到第一预测关节角度和三个预测关节关键点，所述三个预测关节关键点包括预测关节轴点、预测关节远心端点、预测关节近心端点，其中，所述关节康复评估模型为预先基于采集的关节图像集进行训练得到；
基于三个预测关节关键点计算得到第二预测关节角度，对第一预测关节角度和第二预测关节角度取平均值，得到患者的最终关节角度评估值。其中，第一预测关节角度通过如下公式计算得到：
Figure BDA0002434618500000061
Figure BDA0002434618500000062
Figure BDA0002434618500000063
J2＝arccos((b2+c2-a2)/(2×b×c))
其中，xA代表预测关节轴点的X坐标，xB代表预测关节远心端点的X坐标，xC代表预测关节近心端点的X坐标，yA代表预测关节轴点的Y坐标，yB代表预测关节远心端点的Y坐标，yC代表预测关节近心端点的Y坐标。
其中，所述关节康复评估模型通过如下方法训练得到：
采集若干关节图像并进行预处理；其中预处理包括将每张关节图像均缩放到预设尺寸，本实施例中，将每张关节图像缩放至224x224像素；
将预处理后的每张关节图像以预设角度依次旋转b次生成b张新的关节图像，本实施例中预设角度为20度，b为18，则一张关节图像可生成18张增广关节图像；
标注预处理后的每张关节图像的关节轴点、关节远心端点、关节近心端点，并计算出关节角度，关节轴点4、关节远心端点5、关节近心端点6位置如图3所示；以一张预处理后的关节图像及对应的关节轴点、关节远心端点、关节近心端点、关节角度为一个样本构建训练样本集；其中关节角度通过如下公式计算得到：
Figure BDA0002434618500000064
Figure BDA0002434618500000065
Figure BDA0002434618500000071
JT＝arccos((e2+f2-d2)/(2×e×f))
其中，xD代表关节轴点的X坐标，xE代表关节远心端点的X坐标，xF代表关节近心端点的X坐标，yD代表关节轴点的Y坐标，yE代表关节远心端点的Y坐标，yF代表关节近心端点的Y坐标；
基于训练样本集，以预处理后的关节图像作为输入，以关节图像对应的关节轴点、关节远心端点、关节近心端点及关节角度为输出，训练得到关节康复评估模型；
其中，所述关节康复评估模型包括特征提取子网络、关键点检测子网络和角度回归子网络；
所述特征提取子网络以预处理后的关节图像为输入，基于卷积神经网络输出特征图像；
所述关键点检测子网络以特征提取子网络输出的特征图像为输入，基于反卷积层神经网络输出预测关节轴点、预测关节远心端点、预测关节近心端点；
所述角度回归子网络以特征提取子网络输出的特征图像为输入，基于全连接层神经网络输出预测关节角度。
在该关节康复评估模型中，特征提取子网络、关键点检测子网络和角度回归子网络构成了一个多任务学习***，即同时实现了关键点检测任务和角度回归任务。两个学习任务相辅相成，分别利用自身任务中所包含的有用信息来帮助另一个任务学习得到更为准确的模型参数。在多任务学习中，任务之间的信息相互共享，知识在不同的任务中互相迁移。一方面，多任务学习方法通过信息共享和知识迁移提升整体的学习效果，另一方面，当样本数据不足时，可以通过其它任务学到的知识来补充单个任务的信息，能缓解样本数据稀疏的问题。此外，角度回归子网络直接获得关节的活动角度，而关键点检测子网络通过一定的公式计算可间接得到关节的活动角度，二者求均值后作为最终角度，能够进一步减小单个任务中出现的误差。
详细的，所述将预处理后的关节图像作为输入，以关节图像对应的关节轴点、关节远心端点、关节近心端点及关节角度为输出，训练得到关节康复评估模型，具体包括如下步骤：
A1、设置训练参数：采用Adam优化器，以均方误差损失为损失函数，预设batchsize(一次训练所需样本数)为a，预设训练次数为n轮,预设学习率β；本实施例中，a取值为32，n取值为140，初始学习率β为0.001，经过100轮训练后学习率β改为0.0001，再经过20轮训练后学习率β改为0.00001；
A2、网络参数初始化：从互联网下载ImageNet数据集中预训练的ResNet50模型参数，将特征抽取子网络的参数初始化为该预训练的ResNet50模型参数，关键点检测子网络和角度回归子网络的参数均采用随机方式进行初始化；
A3、依次从训练样本集中抽取a张关节图像作为一个mini-batch，输入到关节康复评估模型中，从关键点检测子网络的输出端获得预测关节轴点、预测关节远心端点、预测关节近心端点，从角度回归子网络的输出端获得预测关节角度；
A4、基于a张关节图像输入关节康复评估模型后的输出，计算关键点均方误差损失和关节角度均方误差损失；其中，所述关键点均方误差损失通过如下公式计算得到：
Figure BDA0002434618500000081
其中，L1代表关键点均方误差损失，xAi和yAi分别代表第i张关节图像的预测关节轴点的X坐标和Y坐标，xDi和yDi分别代表第i张关节图像的真实关节轴点的X坐标和Y坐标，xBi和yBi分别代表第i张关节图像的预测关节远心端点的X坐标和Y坐标，xEi和yEi分别代表第i张关节图像的真实关节远心端点的X坐标和Y坐标，xCi和yCi分别代表第i张关节图像的预测关节近心端点的X坐标和Y坐标，xFi和yFi分别代表第i张关节图像的真实关节近心端点的X坐标和Y坐标；
所述关节角度均方误差损失通过如下公式计算得到：
Figure BDA0002434618500000082
其中，L2代表关节角度均方误差损失，JTi代表第i张关节图像的真实关节角度值，J1i代表第i张关节图像的预测关节角度值。
A5、将关键点均方误差损失与关节角度均方误差损失之和作为最终误差值，然后根据预设的学习率，利用反向传播算法更新关节康复评估模型的网络参数；
A6、重复步骤A3～A5，直至完成n轮训练，即得到最终的关节康复评估模型。
本实施例中，特征抽取子网络与关键点检测子网络、角度回归子网络相连，以关节图像作为输入，通过卷积神经网络提取原始图像的特征，获得具有抽象特征的特征图，将生成的特征图发送给关键点检测子网络和角度回归子网络。特征抽取器采用卷积神经网络ResNet50的结构，包括5组卷积模块和5个池化层；其连接顺序为：第一卷积组---第一池化层---第二卷积组---第二池化层---第三卷积组---第三池化层---第四卷积组---第四池化层---第五卷积组---第五池化层。第一组卷积的输入为原始的关节图像，关节图像的尺寸是224x224像素，经过第一卷积组处理后生成尺寸为224x224的特征图T1，该特征图作为第一池化层的输入，池化层将特征图的尺寸进行缩小为特征图T1的一半，获得特征图C1；然后C1作为第二卷积组的输入，再次进行第二阶段的卷积和池化处理；以此类推，直到进行完5个阶段的卷积和池化处理，最终输出尺寸为7x7的特征图C5。5个阶段的卷积和池化处理，逐步提取出原始图像中的有用特征，并对图像逐步进行降维处理，减少后续的计算量。
关键点检测子网络与特征抽取子网络相连，以特征抽取子网络输出的特征图C5作为输入，先通过反卷积层网络提升特征图的像素尺寸，然后检测关节的关键点，获得三个关键点的坐标，关节图像具有的三个关键点分别为关节轴点、关节远心端点和关节近心端点。关键点检测子网络由三个反卷积层和一个1x1卷积层组成。其中，每个反卷积层采用了256个尺寸为4x4的卷积核，经过反卷积层的操作使得特征图的尺寸扩大2倍，并且每个反卷积层都附带了Batch Normalization(批归一化)操作和ReLU激活函数。1x1卷积层连接在三个反卷积层后，用于生成3个关键点。
角度回归子网络与特征抽取子网络相连，以特征抽取器输出的特征图C5作为输入，通过三个全连接层网络逐步提取特征图中的高层语义信息，直接回归出预测关节角度值。角度回归子网络由一个扁平化层(B1)、三个全连接层(分别命名为F1、F2、F3)组成。扁平化层将特征图C5变换成特征向量V0(向量尺寸为100352)，第一个全连接层以V0为输入，生成特征向量V1(向量尺寸为4096)，第二个全连接层以V1为输入，生成特征向量V2(向量尺寸为1000)，第三个全连接层以V2为输入，生成原始图像中关节的角度值V3(V3为标量数值)。
实施例2
本实施例提供了一种应用于关节康复的辅助***，如图2所示，包括：
关节图像获取模块1，用于获取患者关节图像并进行预处理；
关节角度预测模块2，用于基于预处理后的患者关节图像，通过关节康复评估模型预测得到第一预测关节角度和三个预测关节关键点，所述三个预测关节关键点包括预测关节轴点、预测关节远心端点、预测关节近心端点，其中，所述关节康复评估模型为预先基于采集的关节图像集进行训练得到；
角度综合器3，用于基于三个预测关节关键点计算得到第二预测关节角度，并对第一预测关节角度和第二预测关节角度取平均值，得到患者的最终关节角度评估值。
通过上述应用于关节康复的辅助***，只需获取患者的关节图像，就可利用预先训练好的关节康复评估模型对关节的角度进行计算预测，以便直接将关节的活动度发送给术者或康复师，省去人工计算关节恢复角度的繁琐步骤，做到精准、数字化、即视感和便利化，有助于提高患者的医从性和便于术者或康复师第一时间了解患者的康复情况，及时进行远程的指导；同样也有利于术者随访资料收集与统计分析，从而总结临床疗效，改善和提高医疗技术。
具体的，所述关节康复评估模型通过如下方法训练得到：
采集若干关节图像并进行预处理；
标注预处理后的每张关节图像的关节轴点、关节远心端点、关节近心端点，并计算出关节角度；以一张预处理后的关节图像及对应的关节轴点、关节远心端点、关节近心端点、关节角度为一个样本构建训练样本集；
基于训练样本集，以预处理后的关节图像作为输入，以关节图像对应的关节轴点、关节远心端点、关节近心端点及关节角度为输出，训练得到关节康复评估模型；
其中，所述关节康复评估模型包括特征提取子网络、关键点检测子网络和角度回归子网络；
所述特征提取子网络以预处理后的关节图像为输入，基于卷积神经网络输出特征图像；
所述关键点检测子网络以特征提取子网络输出的特征图像为输入，基于反卷积层神经网络输出预测关节轴点、预测关节远心端点、预测关节近心端点；
所述角度回归子网络以特征提取子网络输出的特征图像为输入，基于全连接层神经网络输出第一预测关节角度。
更具体的，所述将预处理后的关节图像作为输入，以关节图像对应的关节轴点、关节远心端点、关节近心端点及关节角度为输出，训练得到关节康复评估模型，具体包括如下步骤：
A1、设置训练参数：采用Adam优化器，以均方误差损失为损失函数，预设batchsize为a，预设训练次数为n轮,预设学习率β；
A2、网络参数初始化：从互联网下载ImageNet数据集中预训练的ResNet50模型参数，将特征抽取子网络的参数初始化为该预训练的ResNet50模型参数，关键点检测子网络和角度回归子网络的参数均采用随机方式进行初始化；
A3、依次从训练样本集中抽取a张关节图像作为一个mini-batch，输入到关节康复评估模型中，从关键点检测子网络的输出端获得预测关节轴点、预测关节远心端点、预测关节近心端点，从角度回归子网络的输出端获得预测关节角度；
A4、基于a张关节图像输入关节康复评估模型后的输出，计算关键点均方误差损失和关节角度均方误差损失；
A5、将关键点均方误差损失与关节角度均方误差损失之和作为最终误差值，然后根据预设的学习率，利用反向传播算法更新关节康复评估模型的网络参数；
A6、重复步骤A3～A5，直至完成n轮训练，即得到最终的关节康复评估模型。
本实施例中，还包括压力可视化模块；
所述压力可视化模块包括：
柔性压力传感器，用于安装于患者关节处，采集关节进行被动活动时施加的压力值，并传输给处理模块；
处理模块，用于接收柔性压力传感器传输的压力值，并转换为数字信号传输给显示模块；
显示模块，用于接收处理模块的数字信号并将关节被动活动时施加的压力值进行显示。
其他具体实现细节参见实施例1提供的应用于关节康复的辅助方法，在此不再赘述。
实施例3
本实施例提供了一种计算机可读存储介质，所述存储介质包括存储的程序指令，所述程序指令适于被处理器加载并执行如实施例1所述的用于关节康复的评估方法。
本领域内的技术人员应明白，本申请的实施例可提供为方法、***、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本发明提出了一种应用于关节康复的辅助***、方法及存储介质，只需获取患者的关节图像，就可利用预先训练好的关节康复评估模型对关节的角度进行计算预测，以便直接将关节的活动度发送给术者或康复师，省去人工测量和计算关节恢复角度的繁琐步骤，做到精准、数字化、即视感和便利化，有助于提高患者的医从性和便于术者或康复师第一时间了解患者的康复情况，及时进行远程的指导；同样也有利于术者随访资料收集与统计分析，从而总结临床疗效，改善和提高医疗技术。其中，关节康复评估模型为一个包含特征提取子网络、角度回归子网络、关键点检测子网络的深度神经网络，并且角度回归任务和关键点检测任务之间实现了信息共享和知识迁移，达到了三个效果：1、提升了整体的检测性能和回归性能；2、能有效缓解样本数据稀疏的情况；3、通过角度回归值和关键点间接获得的角度值之间的综合计算，可以进一步提高角度预测的准确度。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种应用于关节康复的辅助***，其特征在于，包括：
关节图像获取模块，用于获取患者关节图像并进行预处理；
关节角度预测模块，用于基于预处理后的患者关节图像，通过关节康复评估模型预测得到第一预测关节角度和三个预测关节关键点，所述三个预测关节关键点包括预测关节轴点、预测关节远心端点、预测关节近心端点，其中，所述关节康复评估模型为预先基于采集的关节图像集进行训练得到；
角度综合器，用于基于三个预测关节关键点计算得到第二预测关节角度，并对第一预测关节角度和第二预测关节角度取平均值，得到患者的最终关节角度评估值。
2.根据权利要求1所述的应用于关节康复的辅助***，其特征在于，所述关节康复评估模型通过如下方法训练得到：
采集若干关节图像并进行预处理；
标注预处理后的每张关节图像的关节轴点、关节远心端点、关节近心端点，并计算出关节角度；以一张预处理后的关节图像及对应的关节轴点、关节远心端点、关节近心端点、关节角度为一个样本构建训练样本集；
基于训练样本集，以预处理后的关节图像作为输入，以关节图像对应的关节轴点、关节远心端点、关节近心端点及关节角度为输出，训练得到关节康复评估模型；
其中，所述关节康复评估模型包括特征提取子网络、关键点检测子网络和角度回归子网络；
所述特征提取子网络以预处理后的关节图像为输入，基于卷积神经网络输出特征图像；
所述关键点检测子网络以特征提取子网络输出的特征图像为输入，基于反卷积层神经网络输出预测关节轴点、预测关节远心端点、预测关节近心端点；
所述角度回归子网络以特征提取子网络输出的特征图像为输入，基于全连接层神经网络输出预测关节角度。
3.根据权利要求2所述的应用于关节康复的辅助***，其特征在于，所述将预处理后的关节图像作为输入，以关节图像对应的关节轴点、关节远心端点、关节近心端点及关节角度为输出，训练得到关节康复评估模型，具体包括如下步骤：
A1、设置训练参数：采用Adam优化器，以均方误差损失为损失函数，预设batchsize为a，预设训练次数为n轮,预设学习率β；
A2、网络参数初始化：从互联网下载ImageNet数据集中预训练的ResNet50模型参数，将特征抽取子网络的参数初始化为该预训练的ResNet50模型参数，关键点检测子网络和角度回归子网络的参数均采用随机方式进行初始化；
A3、依次从训练样本集中抽取a张关节图像作为一个mini-batch，输入到关节康复评估模型中，从关键点检测子网络的输出端获得预测关节轴点、预测关节远心端点、预测关节近心端点，从角度回归子网络的输出端获得预测关节角度；
A4、基于a张关节图像输入关节康复评估模型后的输出，计算关键点均方误差损失和关节角度均方误差损失；
A5、将关键点均方误差损失与关节角度均方误差损失之和作为最终误差值，然后根据预设的学习率，利用反向传播算法更新关节康复评估模型的网络参数；
A6、重复步骤A3～A5，直至完成n轮训练，即得到最终的关节康复评估模型。
4.根据权利要求1所述的应用于关节康复的辅助***，其特征在于，还包括压力可视化模块；
所述压力可视化模块包括：
柔性压力传感器，用于安装于患者关节处，采集关节进行被动活动时施加的压力值，并传输给处理模块；
处理模块，用于接收柔性压力传感器传输的压力值，并转换为数字信号传输给显示模块；
显示模块，用于接收处理模块的数字信号并将关节被动活动时施加的压力值进行显示。
5.一种应用于关节康复的辅助方法，其特征在于，包括：
获取患者关节图像并进行预处理；
以预处理后的患者关节图像为输入，通过关节康复评估模型预测得到第一预测关节角度和三个预测关节关键点，所述三个预测关节关键点包括预测关节轴点、预测关节远心端点、预测关节近心端点，其中，所述关节康复评估模型为预先基于采集的关节图像集进行训练得到；
基于三个预测关节关键点计算得到第二预测关节角度，对第一预测关节角度和第二预测关节角度取平均值，得到患者的最终关节角度评估值。
6.根据权利要求5所述的应用于关节康复的辅助方法，其特征在于，所述关节康复评估模型通过如下方法训练得到：
采集若干关节图像并进行预处理；
标注预处理后的每张关节图像的关节轴点、关节远心端点、关节近心端点，并计算出关节角度；以一张预处理后的关节图像及对应的关节轴点、关节远心端点、关节近心端点、关节角度为一个样本构建训练样本集；
基于训练样本集，以预处理后的关节图像作为输入，以关节图像对应的关节轴点、关节远心端点、关节近心端点及关节角度为输出，训练得到关节康复评估模型；
其中，所述关节康复评估模型包括特征提取子网络、关键点检测子网络和角度回归子网络；
所述特征提取子网络以预处理后的关节图像为输入，基于卷积神经网络输出特征图像；
所述关键点检测子网络以特征提取子网络输出的特征图像为输入，基于反卷积层神经网络输出预测关节轴点、预测关节远心端点、预测关节近心端点；
所述角度回归子网络以特征提取子网络输出的特征图像为输入，基于全连接层神经网络输出预测关节角度。
7.根据权利要求6所述的应用于关节康复的辅助方法，其特征在于，所述将预处理后的关节图像作为输入，以关节图像对应的关节轴点、关节远心端点、关节近心端点及关节角度为输出，训练得到关节康复评估模型，具体包括如下步骤：
A1、设置训练参数：采用Adam优化器，以均方误差损失为损失函数，预设batchsize为a，预设训练次数为n轮,预设学习率β；
A2、网络参数初始化：从互联网下载ImageNet数据集中预训练的ResNet50模型参数，将特征抽取子网络的参数初始化为该预训练的ResNet50模型参数，关键点检测子网络和角度回归子网络的参数均采用随机方式进行初始化；
A3、依次从训练样本集中抽取a张关节图像作为一个mini-batch，输入到关节康复评估模型中，从关键点检测子网络的输出端获得预测关节轴点、预测关节远心端点、预测关节近心端点，从角度回归子网络的输出端获得预测关节角度；
A4、基于a张关节图像输入关节康复评估模型后的输出，计算关键点均方误差损失和关节角度均方误差损失；
A5、将关键点均方误差损失与关节角度均方误差损失之和作为最终误差值，然后根据预设的学习率，利用反向传播算法更新关节康复评估模型的网络参数；
A6、重复步骤A3～A5，直至完成n轮训练，即得到最终的关节康复评估模型。
8.根据权利要求7所述的应用于关节康复的辅助方法，其特征在于，所述关键点均方误差损失通过如下公式计算得到：
Figure FDA0002434618490000031
其中，L1代表关键点均方误差损失，xAi和yAi分别代表第i张关节图像的预测关节轴点的X坐标和Y坐标，xDi和yDi分别代表第i张关节图像的真实关节轴点的X坐标和Y坐标，xBi和yBi分别代表第i张关节图像的预测关节远心端点的X坐标和Y坐标，xEi和yEi分别代表第i张关节图像的真实关节远心端点的X坐标和Y坐标，xCi和yCi分别代表第i张关节图像的预测关节近心端点的X坐标和Y坐标，xFi和yFi分别代表第i张关节图像的真实关节近心端点的X坐标和Y坐标；
所述关节角度均方误差损失通过如下公式计算得到：
Figure FDA0002434618490000041
其中，L2代表关节角度均方误差损失，JTi代表第i张关节图像的真实关节角度值，J1i代表第i张关节图像的预测关节角度值。
9.根据权利要求6所述的应用于关节康复的辅助方法，其特征在于，所述采集若干关节图像并进行预处理，其中预处理包括将每张关节图像均缩放到预设尺寸；
所述采集若干关节图像并进行预处理之后还包括：
将每张关节图像以预设角度依次旋转b次生成b张新的关节图像。
10.一种计算机可读存储介质，其特征在于，所述存储介质包括存储的程序指令，所述程序指令适于被处理器加载并执行如权利要求5至9任一项所述的用于关节康复的评估方法。
CN202010248427.9A 2020-04-01 2020-04-01 一种应用于关节康复的辅助***、方法及存储介质 Active CN111481208B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010248427.9A CN111481208B (zh) 2020-04-01 2020-04-01 一种应用于关节康复的辅助***、方法及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010248427.9A CN111481208B (zh) 2020-04-01 2020-04-01 一种应用于关节康复的辅助***、方法及存储介质

Publications (2)

Publication Number Publication Date
CN111481208A true CN111481208A (zh) 2020-08-04
CN111481208B CN111481208B (zh) 2023-05-12

Family

ID=71789566

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010248427.9A Active CN111481208B (zh) 2020-04-01 2020-04-01 一种应用于关节康复的辅助***、方法及存储介质

Country Status (1)

Country Link
CN (1) CN111481208B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114795192A (zh) * 2022-07-01 2022-07-29 佛山科学技术学院 一种关节活动度智能检测方法及***
CN116863383A (zh) * 2023-07-31 2023-10-10 山东大学齐鲁医院(青岛) 一种助行监测方法和装置、电子设备和存储介质

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030153817A1 (en) * 2001-12-28 2003-08-14 Petter Knagenhjelm Pattern analysis system and method
KR20130044473A (ko) * 2011-10-24 2013-05-03 강원대학교산학협력단 깊이 센서를 이용한 팔 운동 측정 방법 및 이를 기록한 기록매체
CN103251419A (zh) * 2013-04-25 2013-08-21 西安交通大学苏州研究院 用于手功能康复训练与评估的数据手套及其监测方法
CN103340632A (zh) * 2013-06-28 2013-10-09 北京航空航天大学 一种基于特征点空间位置的人体关节角度测量方法
KR20150004461A (ko) * 2013-07-02 2015-01-13 한양대학교 산학협력단 HY R-score: 깊이 영상을 이용한 환자 상태 평가 방법 및 장치
KR20160025416A (ko) * 2014-08-27 2016-03-08 대한민국(국립재활원장) 관절 각 추정을 이용한 편마비 환자의 상지 재활 기기 제어장치 및 그 방법
CN105787439A (zh) * 2016-02-04 2016-07-20 广州新节奏智能科技有限公司 一种基于卷积神经网络的深度图像人体关节定位方法
CN106127204A (zh) * 2016-06-30 2016-11-16 华南理工大学 一种全卷积神经网络的多方向水表读数区域检测算法
CN106361346A (zh) * 2016-10-25 2017-02-01 佛山科学技术学院 一种基于传感技术的手部康复指数的计算方法
CN107115102A (zh) * 2017-06-07 2017-09-01 西南科技大学 一种骨关节功能评估方法与装置
CN107349570A (zh) * 2017-06-02 2017-11-17 南京邮电大学 基于Kinect的上肢康复训练与评估方法
CN108229489A (zh) * 2016-12-30 2018-06-29 北京市商汤科技开发有限公司 关键点预测、网络训练、图像处理方法、装置及电子设备
CN108376235A (zh) * 2018-01-15 2018-08-07 深圳市易成自动驾驶技术有限公司 图像检测方法、装置及计算机可读存储介质
CN108498102A (zh) * 2018-05-31 2018-09-07 北京上达医疗科技有限公司 康复训练方法及装置、存储介质、电子设备
CN109063778A (zh) * 2018-08-09 2018-12-21 中共中央办公厅电子科技学院 一种图像美学质量确定方法及***
US20190205643A1 (en) * 2017-12-29 2019-07-04 RetailNext, Inc. Simultaneous Object Localization And Attribute Classification Using Multitask Deep Neural Networks
CN110163045A (zh) * 2018-06-07 2019-08-23 腾讯科技（深圳）有限公司 一种手势动作的识别方法、装置以及设备

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030153817A1 (en) * 2001-12-28 2003-08-14 Petter Knagenhjelm Pattern analysis system and method
KR20130044473A (ko) * 2011-10-24 2013-05-03 강원대학교산학협력단 깊이 센서를 이용한 팔 운동 측정 방법 및 이를 기록한 기록매체
CN103251419A (zh) * 2013-04-25 2013-08-21 西安交通大学苏州研究院 用于手功能康复训练与评估的数据手套及其监测方法
CN103340632A (zh) * 2013-06-28 2013-10-09 北京航空航天大学 一种基于特征点空间位置的人体关节角度测量方法
KR20150004461A (ko) * 2013-07-02 2015-01-13 한양대학교 산학협력단 HY R-score: 깊이 영상을 이용한 환자 상태 평가 방법 및 장치
KR20160025416A (ko) * 2014-08-27 2016-03-08 대한민국(국립재활원장) 관절 각 추정을 이용한 편마비 환자의 상지 재활 기기 제어장치 및 그 방법
CN105787439A (zh) * 2016-02-04 2016-07-20 广州新节奏智能科技有限公司 一种基于卷积神经网络的深度图像人体关节定位方法
CN106127204A (zh) * 2016-06-30 2016-11-16 华南理工大学 一种全卷积神经网络的多方向水表读数区域检测算法
CN106361346A (zh) * 2016-10-25 2017-02-01 佛山科学技术学院 一种基于传感技术的手部康复指数的计算方法
CN108229489A (zh) * 2016-12-30 2018-06-29 北京市商汤科技开发有限公司 关键点预测、网络训练、图像处理方法、装置及电子设备
CN107349570A (zh) * 2017-06-02 2017-11-17 南京邮电大学 基于Kinect的上肢康复训练与评估方法
CN107115102A (zh) * 2017-06-07 2017-09-01 西南科技大学 一种骨关节功能评估方法与装置
US20190205643A1 (en) * 2017-12-29 2019-07-04 RetailNext, Inc. Simultaneous Object Localization And Attribute Classification Using Multitask Deep Neural Networks
CN108376235A (zh) * 2018-01-15 2018-08-07 深圳市易成自动驾驶技术有限公司 图像检测方法、装置及计算机可读存储介质
CN108498102A (zh) * 2018-05-31 2018-09-07 北京上达医疗科技有限公司 康复训练方法及装置、存储介质、电子设备
CN110163045A (zh) * 2018-06-07 2019-08-23 腾讯科技（深圳）有限公司 一种手势动作的识别方法、装置以及设备
CN109063778A (zh) * 2018-08-09 2018-12-21 中共中央办公厅电子科技学院 一种图像美学质量确定方法及***

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
王景中，等: "基于BP 回归神经网络的人体角度拟合研究", 《计算机***应用》 *
王景中，等: "基于BP 回归神经网络的人体角度拟合研究", 《计算机***应用》, vol. 28, no. 8, 8 August 2019 (2019-08-08), pages 2 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114795192A (zh) * 2022-07-01 2022-07-29 佛山科学技术学院 一种关节活动度智能检测方法及***
CN114795192B (zh) * 2022-07-01 2022-09-16 佛山科学技术学院 一种关节活动度智能检测方法及***
CN116863383A (zh) * 2023-07-31 2023-10-10 山东大学齐鲁医院(青岛) 一种助行监测方法和装置、电子设备和存储介质

Also Published As

Publication number Publication date
CN111481208B (zh) 2023-05-12

Similar Documents

Publication Publication Date Title
CN107145744B (zh) 医学知识图谱的构建方法、装置及辅助诊断方法
CN111481208A (zh) 一种应用于关节康复的辅助***、方法及存储介质
CN109994175A (zh) 基于人工智能的健康检测方法及***
Miao et al. Upper limb rehabilitation system for stroke survivors based on multi-modal sensors and machine learning
CN110111885B (zh) 属性预测方法、装置、计算机设备及计算机可读存储介质
Tan et al. Short paper: Using BSN for tele-health application in upper limb rehabilitation
CN113012803A (zh) 计算机设备、***、可读存储介质及医学数据分析方法
CN111599433B (zh) 一种药材的辅助开方方法、装置、存储介质及终端
CN113974612B (zh) 一种卒中患者上肢运动功能自动化评估方法与***
CN114049683A (zh) 基于三维人体骨架模型的愈后康复辅助检测***、方法、介质
CN112641441B (zh) 一种体态评估方法、***、装置及计算机可读存储介质
Saha et al. Rehabilitation using neighbor-cluster based matching inducing artificial bee colony optimization
TW201445493A (zh) 一種自主復健動作量化評估系統
CN113283373A (zh) 一种用于增强深度相机检测肢体运动参数的方法
Varga et al. Serious gaming and AI supporting treatment in rheumatoid arthritis
CN112992312B (zh) 一种脊髓损伤康复训练合格监测方法及***
CN116327199A (zh) 一种多模态信号的分析方法、装置及设备
CN110197727A (zh) 基于人工神经网络的上肢建模方法及运动机能评估***
CN115530814A (zh) 一种基于视觉姿态检测及计算机深度学习的儿童运动康复训练方法
CN116230159A (zh) 膝关节运动损伤康复方法及***
Howard et al. Non-contact versus contact-based sensing methodologies for in-home upper arm robotic rehabilitation
CN115130851A (zh) 一种临床护理控制方法和***
CN115019388A (zh) 一种利用单目摄像头拍摄步态视频全自动步态分析方法
CN112086155A (zh) 一种基于语音录入的诊疗信息结构化收集方法
Liu et al. Estimation of muscle forces of lower limbs based on CNN–LSTM neural network and wearable sensor system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant