CN113362924A - 一种基于医疗大数据的面瘫康复任务辅助生成方法及*** - Google Patents
一种基于医疗大数据的面瘫康复任务辅助生成方法及*** Download PDFInfo
- Publication number
- CN113362924A CN113362924A CN202110627459.4A CN202110627459A CN113362924A CN 113362924 A CN113362924 A CN 113362924A CN 202110627459 A CN202110627459 A CN 202110627459A CN 113362924 A CN113362924 A CN 113362924A
- Authority
- CN
- China
- Prior art keywords
- facial
- facial paralysis
- degree
- paralysis patient
- patient
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 208000004929 Facial Paralysis Diseases 0.000 title claims abstract description 177
- 208000036826 VIIth nerve paralysis Diseases 0.000 title claims abstract description 177
- 238000000034 method Methods 0.000 title claims abstract description 47
- 210000003205 muscle Anatomy 0.000 claims abstract description 88
- 230000001815 facial effect Effects 0.000 claims abstract description 68
- 230000002159 abnormal effect Effects 0.000 claims abstract description 66
- 230000009471 action Effects 0.000 claims abstract description 58
- 230000000694 effects Effects 0.000 claims abstract description 12
- 230000005856 abnormality Effects 0.000 claims description 15
- 230000008921 facial expression Effects 0.000 claims description 14
- 230000003902 lesion Effects 0.000 claims description 12
- 230000036285 pathological change Effects 0.000 claims description 9
- 231100000915 pathological change Toxicity 0.000 claims description 9
- 238000013528 artificial neural network Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 3
- 230000000875 corresponding effect Effects 0.000 description 55
- 230000008569 process Effects 0.000 description 11
- 230000008859 change Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 210000001097 facial muscle Anatomy 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000033001 locomotion Effects 0.000 description 4
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 3
- 210000004709 eyebrow Anatomy 0.000 description 3
- 210000001061 forehead Anatomy 0.000 description 3
- 229940037201 oris Drugs 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 210000002615 epidermis Anatomy 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 208000029157 Abnormality of the face Diseases 0.000 description 1
- 208000006373 Bell palsy Diseases 0.000 description 1
- 210000001015 abdomen Anatomy 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 210000000256 facial nerve Anatomy 0.000 description 1
- 208000014337 facial nerve disease Diseases 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 210000002445 nipple Anatomy 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000002040 relaxant effect Effects 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/30—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to physical therapies or activities, e.g. physiotherapy, acupressure or exercising
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Public Health (AREA)
- Medical Informatics (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Physical Education & Sports Medicine (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Pathology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明涉及一种基于医疗大数据的面瘫康复任务辅助生成方法及***，属于面瘫康复训练技术领域。方法包括以下步骤：获取面瘫患者在做设定动作时的多帧面部图像，并识别各帧面部图像中各特征点的坐标；判断面瘫患者各帧面部图像对应的脸部各区域的异常程度和与对称区域的差异程度；计算面瘫患者面部各表情肌的异常程度；根据面瘫患者面部各表情肌的异常程度，为面瘫患者生成对应的康复训练任务。本发明能够自动及时地为面瘫患者制定合适的康复训练任务，提高面瘫患者的康复训练效果，解决现有不能够准确、及时为面瘫患者制定合适的康复训练任务的问题。
Description
技术领域
本发明涉及面瘫康复训练技术领域，具体涉及一种基于医疗大数据的面瘫康复任务辅助生成方法及***。
背景技术
面瘫，是一种常见且多发的疾病，其主要症状为面部表情肌群无法进行正常的功能性运动，患者往往难以正常完成如闭眼、抬眉、鼓腮、皱鼻或张嘴等基本面部动作。
当前面瘫患者进行康复训练时，训练的动作和任务量往往由医生根据经验进行制定，不仅效率较低，存在较大的主观因素误差，而且随着患者各表情肌的康复效果不同，训练任务不能及时做出相应的变化，导致康复训练效果不佳。
发明内容
本发明的目的在于提供一种基于医疗大数据的面瘫康复任务辅助生成方法及***，用于解决现有由于不能自动及时地为面瘫患者制定合适的康复训练任务导致的康复训练效果不佳的问题。
为了解决上述问题，本发明的一种基于医疗大数据的面瘫康复任务辅助生成方法的技术方案，包括以下步骤：
获取面瘫患者在做设定动作时的多帧面部图像，并识别各帧面部图像中各特征点的坐标；
根据所述各帧面部图像中各特征点的坐标，判断面瘫患者各帧面部图像对应的脸部各区域的异常程度和与对称区域的差异程度；
根据所述面瘫患者各帧面部图像对应的脸部各区域的异常程度和与对称区域的差异程度，计算面瘫患者面部各表情肌的异常程度；
根据面瘫患者面部各表情肌的异常程度，为面瘫患者生成对应的康复训练任务。
本发明还提供了一种基于医疗大数据的面瘫康复任务辅助生成***的技术方案，包括存储器和处理器，所述处理器执行所述存储器存储的计算机程序，以实现上述基于医疗大数据的面瘫康复任务辅助生成方法。
上述生成方法和生成***的有益效果是：通过获取面瘫患者在做设定动作时的多帧面部图像得到了面瘫患者各帧面部图像对应的脸部各区域的异常程度和与对称区域的差异程度，在此基础上计算得到了面瘫患者面部各表情肌的异常程度，以各表情肌的异常程度为参考，为面瘫患者生成对应的康复训练任务；本发明能够自动及时地为面瘫患者制定合适的康复训练任务，提高面瘫患者的康复训练效果，解决现有由医生为面瘫患者制定康复训练任务时不能够准确、及时为面瘫患者制定合适的康复训练任务的问题。
进一步地，计算面瘫患者面部各表情肌的异常程度的方法包括：
根据所述各帧面部图像对应的面瘫患者脸部各区域的异常程度和与对称区域的差异程度，计算面瘫患者脸部各区域的病变程度；
根据所述面瘫患者脸部各区域的病变程度，计算面瘫患者面部各表情肌的异常程度。
进一步地，利用如下公式计算面瘫患者脸部各区域的病变程度：
其中，MU(e)为面瘫患者脸部第e个区域的病变程度，S为获取的面瘫患者面部图像总帧数，ues为第s帧面瘫患者面部图像中第e个区域的异常程度，ves为第s帧面瘫患者面部图像中第e个区域的与对称区域的差异程度，max(ve)为S帧面瘫患者面部图像中第e个区域与对称区域的差异程度的最大值，min(ve)为S帧面瘫患者面部图像中第e个区域与对称区域的差异程度的最小值。
进一步地，利用如下公式计算面瘫患者面部各表情肌的异常程度：
其中，Mj表示第j个表情肌的异常程度，Fi表示第i个区域的病变程度，gi，j表示第i个区域与第j个表情肌的关联程度系数，N为划分的人体面部区域的总个数。
进一步地，为面瘫患者生成对应的康复训练任务的方法包括：
获取各设定训练动作对各面部表情肌的训练程度；
根据面瘫患者各表情肌的异常程度和各设定训练动作对各面部表情肌的训练程度，得到面瘫患者对应的病情康复训练中各设定训练动作被需求的程度；
根据基础任务量，得到各设定训练动作对应的康复训练任务量。
进一步地，采用如下公式计算面瘫患者对应的病情康复训练中各设定训练动作被需求的程度：
其中，Tk为第k类设定训练动作被需求的程度，L为表情肌的总个数，Ml表示面瘫患者第l个表情肌的病变程度，Pk，l为第k类设定训练动作对第l个表情肌的训练效果。
进一步地，采用如下公式计算各设定训练动作对应的康复训练任务量：
其中，Jk为第k类设定训练动作对应的康复训练任务量，Tk表示第k类设定训练动作被需求的程度，Uk为第k类设定训练动作对应的基础任务量，α为比例调整系数。
进一步地，判断面瘫患者脸部各区域的异常程度和与对称区域的差异程度的方法包括：
构建TCN网络；
将面瘫患者各帧面部图像的特征点的坐标序列作为TCN网络的输入，将TCN的输出结果作为面瘫患者脸部各区域的异常程度和与对称区域的差异程度。
进一步地，识别各帧面部图像中各特征点的坐标的方法包括：
构建特征点回归神经网络；
将面瘫患者在做设定动作时的多帧面部图像作为特征点回归神经网络的输入，将特征点回归神经网络的输出结果作为帧面部图像中各特征点的坐标。
附图说明
图1是本发明的基于医疗大数据的面瘫康复任务辅助生成方法流程图；
图2是本发明的基于医疗大数据的面瘫康复任务辅助生成方法对应的结构原理示意图；
图3是本发明的脸部特征点示意图；
图4是本发明的面部各表情肌分布示意图；
图5是本发明的面部各区域与各表情肌的关联示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行介绍。
基于医疗大数据的面瘫康复任务辅助生成方法实施例
如图1和图2所示，本实施例的基于医疗大数据的面瘫康复任务辅助生成方法主要包括三部分，第一部分是面部特征点识别，可通过面部特征点识别模块实现；第二部分是表情肌异常判断，可通过表情肌异常判断模块实现；第三部分是康复任务生成，可通过康复任务生成模块实现；具体的，基于医疗大数据的面瘫康复任务辅助生成方法包括以下步骤：
1)获取面瘫患者在做设定动作时的多帧面部图像，并识别各帧面部图像中各特征点的坐标
本实施例为面瘫患者生成对应的康复训练任务的依据是面瘫患者做一系列设定动作时的面部图像，具体的，可通过相机采集面瘫患者做一系列设定动作时的连续多帧的面部图像，当然，作为其它实施方式，这些面部图像也可以是不连续的。
在获取了患者在做设定动作时的多帧面部图像后，将这些面部图像输入到构建好的特征点回归DNN网络，以得到各面部图像对应的各特征点的坐标。
本实施例的特征点回归DNN网络以Encoder-Decoder-heatmap的结构对图像中人脸特征点进行回归定位。DNN网络的输入为RGB图像，网络先进行编码操作，即使用卷积和池化操作在对图像进行下采样的过程中，提取图像中的空域特征，即Encoder(编码器)的输出为提取到的特征向量，而后特征向量作为Decoder(解码器)的输入，编码器使用反卷积等操作把特征向量恢复成对应的heatmap(热力图)图像。
DNN网络训练过程中所用数据集为相机之前采集的人体脸部图像，其中应包括正常脸部图像和面瘫患者脸部图像，比例为3:7，图像对应的标签为heatmap图像，特征点类别共为68类，标签制作过程为在对应的标签图像中标记特征点后，使用高斯核对图像进行模糊操作得到heatmap标签图像；本实施例主要检测人脸表面的变化，故需检测眉毛，鼻子，嘴巴上共68类特征点，特征点样式和编号如图3示。本实施例中DNN网络采用的Loss函数(损失函数)为均方差损失函数。
通过上述过程得到了训练完成的特征点回归DNN网络后，将获取的面瘫患者做设定动作时的多帧图像经过训练完成的DNN网络进行推理，可得到对应的heatmap结果图像，经过softargmax等方式的处理后，可以得到各帧面部图像中上述特征点的具体坐标值。
本实施例通过构建的特征点回归DNN网络实现了对面瘫患者各帧面部图像中各特征点坐标的识别，作为其它实施方式，也可以采用其它现有的面瘫特征点检测模型来识别面瘫患者各帧面部图像中各特征点，比如授权公告号为CN111553250B的专利文献中公开的面瘫关键点检测模型。
2)根据所述各帧面部图像中各特征点的坐标，判断面瘫患者各帧面部图像对应的脸部各区域的异常程度和与对称区域的差异程度；
本实施例通过TCN(时间卷积网络)来对各帧图像中特征点的坐标序列进行推理，得到脸部各区域的异常程度和与对称区域的差异程度。对TCN网络的训练过程中，TCN的训练数据集所用数据为多帧图像经过上述特征点回归网络进行推理得到的各帧图像中特征点的坐标序列，因此，本实施例TCN的训练可与上述特征点回归网络的训练共同进行，两者具体以串联关系进行。
TCN网络的输入形状为：
[M,N,2]
其中，M为判断一个区域的状态所用的图像帧数，本实施例中设定为10；N为每帧图像输入的特征点的类别数量，2表示每个特征点序列的维度为2维。
TCN网络输入数据的形式为：
其中，
表示第1帧图像中N个特征点的坐标信息，其中每个元素都表示对应特征点的坐标值，即
表示第一帧图像中第一个特征点的坐标，
TCN网络输入数据的标签为对应图像中各区域的异常程度和与对称区域的差异程度，形式为：
[(u1,v1),(u2,v2),……(u10,v10)]
考虑到面瘫患者在下颌区域表现的异常特性不明显，本实施例共检测脸部10个区域，分别为左额部、右额部、左眼部、右眼部、左鼻部、右鼻部、左面颊、右面颊、左嘴部、右嘴部；其中，u表示面部区域的异常程度，v表示与对称区域的差异程度值。
在对TCN网络进行训练的过程中，多帧图像对应的患者脸部的各区域异常程度与对称区域的异常程度值，需人为进行标注，本实施采用等级的方式来表示人体主观模糊的判断，即U和V的数值为[0,9]共10级。本实施例中TCN网络对应的Loss函数使用交叉熵损失函数。
本实施例将上述面瘫患者各帧图像中的特征点的坐标序列输入到训练完成的TCN网络中，输出的结果就是各帧图像对应的脸部各区域的异常程度U和与对称区域的差异程度V。TCN网络的输出数量和输入数量是相等的，即输入S张图像，就会输出S组脸部区域判断信息；每帧图像都对应一组脸部区域表述序列：
LM＝[(u1，v1)，(u2，v2)，......(u10，v10)]
其中，u1为面部第1个区域的异常程度，v1为面部第1个区域与对称区域的差异程度，u2为面部第2个区域的异常程度，v2为面部第2个区域与对称区域的差异程度以此类推，…，u10为面部第10个区域的异常程度，v10为面部第10个区域与对称区域的差异程度。
由此，可以得到面瘫患者各帧面部图像对应的脸部各区域的异常程度和与对称区域的差异程度。
3)根据面瘫患者各帧面部图像对应的脸部各区域的异常程度和与对称区域的差异程度，计算面瘫患者面部各表情肌的异常程度；
在得到面瘫患者各帧面部图像对应的脸部各区域的异常程度和与对称区域的差异程度的基础上，本实施例先计算了面瘫患者脸部各区域的病变程度；在得到了面瘫患者脸部各区域的病变程度的基础上，又进一步计算面瘫患者面部各表情肌的异常程度。
面瘫患者每一帧面部图像对应的脸部各区域的异常程度和与对称区域的差异程度是随着时序波动的，为了得到较为准确的面瘫患者脸部各区域病变程度，且考虑到左右区域差异值最大时对应区域的异常程度最可信，本实施例采用以下公式计算面瘫患者脸部各区域的病变程度：
其中，MU(e)为患者脸部第e个区域的病变程度，S为获取的面瘫患者面部图像总帧数，ues为第s帧面瘫患者面部图像中第e个区域的异常程度，ves为第s帧面瘫患者面部图像中第e个区域的与对称区域的差异程度，max(ve)为S帧面瘫患者面部图像中第e个区域与对称区域的差异程度的最大值，min(ve)为所有S帧面瘫患者面部图像中第e个区域与对称区域的差异程度的最小值。
人体面部各区域对应的表情肌不同，人体面部表情动作都是由相应的面部表情肌收缩、舒张来控制的，若面部区域的在做表情动作时发生异常，则表明与之关联的表情肌发生了异常。面部神经疾病主要是由于患者不能够通过面部神经很好的控制相应的肌肉状态，为面瘫患者制定康复训练的主要目的是训练患者对表情肌的控制能力。
人体面部表情肌共有42个，但是面部神经麻痹疾病主要累及的表情肌为枕额肌额腹、眼轮匝肌、提上唇肌、颧肌、提口角肌、口轮匝肌和下唇方肌。
本实施例基于面瘫患者面部各区域的病变程度计算面瘫患者面部各表情肌的异常程度的过程如下：
①获取面部各表情肌与面部各区域的关联程度g；
本实施例获取面部各表情肌与面部各区域的关联程度的过程为：
A.构建现有的面部肌肉模型，例如ZBrush模型；
B.控制模型内的各面部肌肉，使面部模型表皮发生相应的变化；
C.计算控制各面部肌肉时各区域对应的模型表皮mesh网格点三维坐标的平均变化值，将平均变化值作为对应区域的变化值；
D.对各区域对应的变化值进行归一化处理，得到各面部肌肉控制下各区域对应的归一化后的变化值，将归一化后的变化值作为对应面部肌肉和面部区域的关联程度。
本实施例通过上述过程得到了面部各表情肌与面部各区域的关联程度，作为其它实施方式，也可以根据经验设置面部各表情肌与面部各区域的关联程度，比如，如图4所示，左眼部区域与眼轮匝肌的关联程度较大，设置关联程度为0.9，与左额腹的关联程度为较小，设置关联程度为0.2，与口轮匝肌的关联程度为0；左眼轮匝肌与左额部关联程度为0.07，与左眼部关联程度为0.9，与左面颊关联程度为0.03，与其他区域关联程度为0。
②计算面部各表情肌的异常程度。
本实施例利用如下公式计算面瘫患者面部各表情肌的异常程度：
其中，Mj表示第j个表情肌的异常程度，Fi表示第i个区域的病变程度，gi，表示第i个区域与第j个表情肌的关联程度系数，N为划分的人体面部区域的总个数。
本实施例中各区域的异常程度F的值域范围为[0，9]，面部各表情肌与面部各区域的关联程度g的值域范围为[0，1]，对应的，基于上述计算公式得到的面瘫患者面部各表情肌的异常程度M的值域范围为[0，9]，异常程度M反映了相应表情肌对康复训练的需求程度。
本实施例的面瘫患者面部各表情肌的异常程度是在先得到了面瘫患者脸部各区域的病变程度的基础上计算得到的，作为其它实施方式，也可以直接根据脸部各区域的异常程度计算面瘫患者面部各表情肌的异常程度，记为面瘫患者面部各表情肌的异常程度1；直接根据与对称区域的差异程度计算面瘫患者面部各表情肌的异常程度，记为面瘫患者面部各表情肌的异常程度2，然后再将这两个计算结果(即面瘫患者面部各表情肌的异常程度1和面瘫患者面部各表情肌的异常程度2)通过加权求和公式计算最终的面瘫患者面部各表情肌的异常程度。
4)根据面瘫患者面部各表情肌的异常程度，为面瘫患者生成对应的康复训练任务。
本实施例在得到了面瘫患者面部各表情肌的异常程度情况后，结合设定训练动作对各面部表情肌的训练程度，为该面瘫患者生成了对应的康复训练任务，以使康复效果较优，加快面瘫患者的病情康复。
本实施例为面瘫患者生成对应的康复训练任务的过程如下：
Ⅰ.获取各设定训练动作对各面部表情肌的训练程度；
如图5所示，面瘫病人对应的设定训练动作主要包括抬眉、闭眼、耸鼻、示齿、努嘴和鼓噻等；本实施例通过大量康复训练的数据，基于统计得到各设定训练动作对各面部表情肌的训练程度P；
作为其它实施方式，也可以基于热力图得到各设定训练动作对各面部表情肌的训练程度P，主要步骤为：采集初始人脸热力图；做m次相应的设定训练动作；再次采集人脸热力图，比较面部热力图变化，得到上述相应动作对相应位置肌肉的训练程度。
Ⅱ.根据面瘫患者各表情肌的异常程度各设定训练动作对各面部表情肌的训练程度，得到面瘫患者对应的病情康复训练中各设定训练动作被需求的程度；
表情训练动作对表情肌的训练效果主要体现在做出该动作过程中对表情肌的拉扯、松弛控制，若某一表情肌的异常程度越高，表明该表情肌神经越不受控制，为了加快患者的康复，越需要加强面瘫患者对该表情肌的训练，为面瘫患者生成的康复训练任务中越需要多一些能够较大程度训练该表情肌的训练动作。
本实施例采用如下公式计算面瘫患者对应的病情康复训练中各设定训练动作被需求的程度：
其中，Tk为第k类设定训练动作被需求的程度，L为表情肌的总个数，Ml表示面瘫患者第l个表情肌的病变程度，Ml的值域范围为[0，9]，Pk，l为第k类设定训练动作对第l个表情肌的训练效果，Pk，l的值域范围为[0，1]。本实施例中定义所有设定训练动作对表情肌的训练效果为1，即：
其中，K为设定训练动作总数量。
由此，可得到面瘫患者病情的康复训练中各设定训练动作的被需求程度：
XT＝{T1，T2，T3，…Tk}。
Ⅲ.结合基础任务量Uk，得到各设定表情动作对应的康复训练任务量：
其中，Jk表示训练任务中第k类动作的任务量，Tk表示第k类动作的被需求程度，Uk表示第k类动作的基础任务数量，α为比例调整系数，表示该类动作的最大量较基础量的比值。本实施例中设定Uk＝10，α＝3时，当Tk＝5，可得到Jk＝17。
至此，可得到各设定训练动作对应的康复训练任务量，这些各设定训练动作对应的康复训练任务量组合在一起就是适合面瘫患者的康复任务，由此本实施例达到了为该面瘫患者自动生成合适的康复训练任务的目的。
本实施例通过获取面瘫患者在做设定动作时的多帧面部图像得到了面瘫患者各帧面部图像对应的脸部各区域的异常程度和与对称区域的差异程度，在此基础上计算得到了面瘫患者面部各表情肌的异常程度，以各表情肌的异常程度为参考，为面瘫患者生成对应的康复训练任务。本实施例能够自动及时地为面瘫患者制定合适的康复训练任务，提高面瘫患者的康复训练效果，解决现有由医生为面瘫患者制定康复训练任务时不能够准确、及时为面瘫患者制定合适的康复训练任务的问题。
基于医疗大数据的面瘫康复任务辅助生成***实施例
本实施例的基于基于医疗大数据的面瘫康复任务辅助生成***包括存储器和处理器，所述处理器执行所述存储器存储的计算机程序，以实现如基于医疗大数据的面瘫康复任务辅助生成方法实施例所描述的基于医疗大数据的面瘫康复任务辅助生成方法。
由于基于医疗大数据的面瘫康复任务辅助生成方法实施例中已经对基于医疗大数据的面瘫康复任务辅助生成方法进行了说明，此处就不再赘述。
需要说明的是，尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
Claims (10)
1.一种基于医疗大数据的面瘫康复任务辅助生成方法，其特征在于，包括以下步骤：
获取面瘫患者在做设定动作时的多帧面部图像，并识别各帧面部图像中各特征点的坐标；
根据所述各帧面部图像中各特征点的坐标，判断面瘫患者各帧面部图像对应的脸部各区域的异常程度和与对称区域的差异程度；
根据所述面瘫患者各帧面部图像对应的脸部各区域的异常程度和与对称区域的差异程度，计算面瘫患者面部各表情肌的异常程度；
根据面瘫患者面部各表情肌的异常程度，为面瘫患者生成对应的康复训练任务。
2.根据权利要求1所述的基于医疗大数据的面瘫康复任务辅助生成方法，其特征在于，计算面瘫患者面部各表情肌的异常程度的方法包括：
根据所述各帧面部图像对应的面瘫患者脸部各区域的异常程度和与对称区域的差异程度，计算面瘫患者脸部各区域的病变程度；
根据所述面瘫患者脸部各区域的病变程度，计算面瘫患者面部各表情肌的异常程度。
3.根据权利要求2所述的基于医疗大数据的面瘫康复任务辅助生成方法，其特征在于，利用如下公式计算面瘫患者脸部各区域的病变程度：
其中，MU(e)为面瘫患者脸部第e个区域的病变程度，S为获取的面瘫患者面部图像总帧数，ues为第s帧面瘫患者面部图像中第e个区域的异常程度，ves为第s帧面瘫患者面部图像中第e个区域的与对称区域的差异程度，max(ve)为S帧面瘫患者面部图像中第e个区域与对称区域的差异程度的最大值，min(ve)为S帧面瘫患者面部图像中第e个区域与对称区域的差异程度的最小值。
4.根据权利要求2所述的基于医疗大数据的面瘫康复任务辅助生成方法，其特征在于，利用如下公式计算面瘫患者面部各表情肌的异常程度：
其中，Mj表示第j个表情肌的异常程度，Fi表示第i个区域的病变程度，gi，j表示第i个区域与第j个表情肌的关联程度系数，N为划分的人体面部区域的总个数。
5.根据权利要求1所述的基于医疗大数据的面瘫康复任务辅助生成方法，其特征在于，为面瘫患者生成对应的康复训练任务的方法包括：
获取各设定训练动作对各面部表情肌的训练程度；
根据面瘫患者各表情肌的异常程度和各设定训练动作对各面部表情肌的训练程度，得到面瘫患者对应的病情康复训练中各设定训练动作被需求的程度；
根据基础任务量，得到各设定训练动作对应的康复训练任务量。
6.根据权利要求5所述的基于医疗大数据的面瘫康复任务辅助生成方法，其特征在于，采用如下公式计算面瘫患者对应的病情康复训练中各设定训练动作被需求的程度：
其中，Tk为第k类设定训练动作被需求的程度，L为表情肌的总个数，Ml表示面瘫患者第l个表情肌的病变程度，Pk，l为第k类设定训练动作对第l个表情肌的训练效果。
7.根据权利要求5所述的基于医疗大数据的面瘫康复任务辅助生成方法，其特征在于，采用如下公式计算各设定训练动作对应的康复训练任务量：
其中，Jk为第k类设定训练动作对应的康复训练任务量，Tk表示第k类设定训练动作被需求的程度，Uk为第k类设定训练动作对应的基础任务量，α为比例调整系数。
8.根据权利要求1所述的基于医疗大数据的面瘫康复任务辅助生成方法，其特征在于，判断面瘫患者脸部各区域的异常程度和与对称区域的差异程度的方法包括：
构建TCN网络；
将面瘫患者各帧面部图像的特征点的坐标序列作为TCN网络的输入，将TCN的输出结果作为面瘫患者脸部各区域的异常程度和与对称区域的差异程度。
9.根据权利要求1所述的基于医疗大数据的面瘫康复任务辅助生成方法，其特征在于，识别各帧面部图像中各特征点的坐标的方法包括：
构建特征点回归神经网络；
将面瘫患者在做设定动作时的多帧面部图像作为特征点回归神经网络的输入，将特征点回归神经网络的输出结果作为帧面部图像中各特征点的坐标。
10.一种基于医疗大数据的面瘫康复任务辅助生成***，包括存储器和处理器，其特征在于，所述处理器执行所述存储器存储的计算机程序，以实现如权利要求1-9任一项所述的基于医疗大数据的面瘫康复任务辅助生成方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110627459.4A CN113362924A (zh) | 2021-06-05 | 2021-06-05 | 一种基于医疗大数据的面瘫康复任务辅助生成方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110627459.4A CN113362924A (zh) | 2021-06-05 | 2021-06-05 | 一种基于医疗大数据的面瘫康复任务辅助生成方法及*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113362924A true CN113362924A (zh) | 2021-09-07 |
Family
ID=77532543
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110627459.4A Withdrawn CN113362924A (zh) | 2021-06-05 | 2021-06-05 | 一种基于医疗大数据的面瘫康复任务辅助生成方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113362924A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114917544A (zh) * | 2022-05-13 | 2022-08-19 | 上海交通大学医学院附属第九人民医院 | 可视化的辅助口轮匝肌功能训练的方法与设备 |
| CN116486999A (zh) * | 2023-05-19 | 2023-07-25 | 黑龙江中医药大学 | 一种面瘫针灸治疗过程自适应辅助监控方法及*** |
| CN117372437A (zh) * | 2023-12-08 | 2024-01-09 | 安徽农业大学 | 用于面神经麻痹智能化检测与量化方法及其*** |
-
2021
- 2021-06-05 CN CN202110627459.4A patent/CN113362924A/zh not_active Withdrawn
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114917544A (zh) * | 2022-05-13 | 2022-08-19 | 上海交通大学医学院附属第九人民医院 | 可视化的辅助口轮匝肌功能训练的方法与设备 |
| CN114917544B (zh) * | 2022-05-13 | 2023-09-22 | 上海交通大学医学院附属第九人民医院 | 可视化的辅助口轮匝肌功能训练的方法与设备 |
| CN116486999A (zh) * | 2023-05-19 | 2023-07-25 | 黑龙江中医药大学 | 一种面瘫针灸治疗过程自适应辅助监控方法及*** |
| CN116486999B (zh) * | 2023-05-19 | 2023-10-20 | 黑龙江中医药大学 | 一种面瘫针灸治疗过程自适应辅助监控方法及*** |
| CN117372437A (zh) * | 2023-12-08 | 2024-01-09 | 安徽农业大学 | 用于面神经麻痹智能化检测与量化方法及其*** |
| CN117372437B (zh) * | 2023-12-08 | 2024-02-23 | 安徽农业大学 | 用于面神经麻痹智能化检测与量化方法及其*** |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113362924A (zh) | 一种基于医疗大数据的面瘫康复任务辅助生成方法及*** | |
| WO2021143353A1 (zh) | 一种手势信息处理方法、装置、电子设备及存储介质 | |
| CN110084259A (zh) | 一种结合面部纹理和光流特征的面瘫分级综合评估*** | |
| DE602004009960T2 (de) | System und verfahren zum erkennen und vergleichen anatomischer strukturen unter verwendung von erscheinungsbild und form | |
| CN107798318A (zh) | 一种机器人识别面部快乐微表情的方法及其装置 | |
| CN104298753B (zh) | 基于人脸图像处理的人才测评方法 | |
| CN110477907B (zh) | 一种智能辅助识别痫性发作的建模方法 | |
| CN113627256B (zh) | 基于眨眼同步及双目移动检测的伪造视频检验方法及*** | |
| CN109887595A (zh) | 基于深度学习技术的心搏异常识别算法 | |
| CN112465773A (zh) | 一种基于人脸面部肌肉运动特征的面部神经麻痹疾病检测方法 | |
| CN111403026A (zh) | 一种面瘫等级评估方法 | |
| CN111128369A (zh) | 一种用于评估患者的帕金森病情的方法和装置 | |
| CN110321827A (zh) | 一种基于人脸疼痛表***的疼痛水平评估方法 | |
| CN109948569B (zh) | 一种利用粒子滤波框架的三维混合表情识别方法 | |
| CN114400086A (zh) | 一种基于深度学习的关节盘前移辅助诊断***和方法 | |
| CN115147636A (zh) | 基于胸部x光图像肺部疾病识别和分类方法 | |
| Verma et al. | Quantification of facial expressions using high-dimensional shape transformations | |
| CN112102234B (zh) | 基于目标检测神经网络的耳硬化病灶检测及诊断*** | |
| Yuan et al. | Pain intensity recognition from masked facial expressions using swin-transformer | |
| CN114943924B (zh) | 基于人脸表***的疼痛评估方法、***、设备及介质 | |
| CN115050067B (zh) | 人脸表情构建方法、装置、电子设备、存储介质及产品 | |
| KR102476888B1 (ko) | 디지털 병리이미지의 인공지능 진단 데이터 처리 장치 및 그 방법 | |
| CN115154828A (zh) | 一种基于脑机接口技术的大脑功能重塑方法、***、设备 | |
| CN114333006A (zh) | 一种基于面部筋膜层多维提拉实现面部轮廓紧致的方法 | |
| CN112329640A (zh) | 基于眼部肌肉运动分析的面部神经麻痹疾病康复检测*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20210907 |