CN112597842B - 基于人工智能的运动检测面瘫程度评估*** - Google Patents
基于人工智能的运动检测面瘫程度评估*** Download PDFInfo
- Publication number
- CN112597842B CN112597842B CN202011468907.2A CN202011468907A CN112597842B CN 112597842 B CN112597842 B CN 112597842B CN 202011468907 A CN202011468907 A CN 202011468907A CN 112597842 B CN112597842 B CN 112597842B
- Authority
- CN
- China
- Prior art keywords
- key
- points
- facial paralysis
- frame
- key point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Social Psychology (AREA)
- Psychiatry (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Human Computer Interaction (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明涉及人工智能技术领域，具体涉及一种基于人工智能的运动检测面瘫程度评估***。该***包括：关键点检测模块，获取待检测人员的脸部关键点信息；分类模块根据健康人员在指定动作下的视频中关键点的运动速度和最早运动时间获取关联性得分，设定关联性得分阈值，根据关联性得分划分主动类关键点；相关点确定模块，获取主动性类关键点中运动幅度较大的关键点作为相关点并构建相关点的集合，关键帧筛选模块根据每帧图像的相关点的总权重对视频中的关键帧进行选取；图像检测模块，获取不同指定动作下的关键帧的目标区域，送入分类网络中进行检测输出面瘫严重等级。本发明可以准确的确定面瘫患者面部运动过程中的相关点和关键帧，提高检测速度。
Description
技术领域
本发明涉及人工智能技术领域，具体涉及一种基于人工智能的运动检测面瘫程度评估***。
背景技术
面瘫是我们日常生活中的常见病、多发病，它属于神经***疾病，治疗起来比较困难，面瘫常见的检查方法分为静止检查和运动检查两种，静止检查是指患者保持静止状态，医师来查看患者的五官是否正常，运动检查是指医师让患者做一些特定的运动来检测患者的面部功能是否正常。
目前的智能面瘫严重程度检测，多采用静止检测与运动检测相结合，其面临的主要问题为待检测人员的脸部关键点较多，运动检测过程中需要对所有这些关键点进行运动状态分析，且由于检测人员存在面部运动情况，需要获取其运动过程中的多帧视频信息，数据量较大，计算过程较为复杂，导致检测过程缓慢。
发明内容
为了解决上述问题，本发明提出了一种基于人工智能的运动检测面瘫程度评估***，具体方案如下：
本发明一个实施例提供了一种基于人工智能的运动检测面瘫程度评估***包含以下模块：
关键点检测模块，用于获取待检测人员的脸部关键点信息；
关键帧筛选模块，用于获取所述待检测人员指定动作的视频，计算所述视频中所有相邻两帧对应的相关点的位移变化量，在所述位移变化量小于位移变化阈值时选取对应的所述相关点的权重，所述相关点及其权重由运动检测模块确定；统计所述视频中每帧图像上的所述相关点的总权重，根据每帧图像的所述相关点的总权重和设定的总权重阈值选取关键帧；
图像检测模块，用于获取不同指定动作下的所述关键帧的目标区域，送入图像分类网络中进行检测输出所述目标区域的面瘫严重等级；
其中，所述运动检测模块包括分类模块和相关点确定模块；
所述分类模块，用于根据所获取的健康人员在所述指定动作下的视频中，每个所述关键点的运动速度和最早运动时间获取关联性得分，设定关联性得分阈值，根据所述关联性得分划分主动类关键点；
所述相关点确定模块，获取所述主动性类关键点中运动幅度较大的关键点作为所述相关点并构建所述相关点的集合，对所述相关点分配权重。
优选的，所述关键点检测模块包括：
定位单元，用于获取所述待检测人员的脸部区域包围框，用深度神经网络进行所述关键点的定位获取所述脸部包围框中的关键点的位置信息。
优选的，所述分类模块包括：
动作记录模块，用于获取健康人员在所述指定动作下的视频，以每个所述关键点第一次发生移动时所对应的帧作为初始帧，根据所述初始帧确定最早运动时间；记录每个所述关键点的最大位移变化量和达到最大位移变化量时对应的所在帧数，根据所述关键点的最大所述位移变化量确定所述运动速度。
速度计算单元，用于计算关键点的运动速度，公式如下：
其中，m1为所述初始帧，m2为所述关键点达到最大位移变化量时对应的帧数，Δdmax为所述关键点的最大位移变化量；
判断单元，用于根据所述关键点的速度和所述关联性得分呈正相关关系，所述初始帧的帧数和所述关联性得分呈负相关关系确定主动类关键点。
优选的，所述关键帧筛选模块包括：
权重分配模块，用于按照所述相关点的运动幅度大小进行排序，根据所述相关点的序号确定所述相关点的权重；
权重选取模块，用于当所述相邻帧中的所述相关点位于所述位移变化阈值的范围内时，认为所述相关点已经趋于稳定状态，将所述趋于稳定状态的所有所述相关点的权重用于计算所述每帧图像的所述相关点的总权重。
优选的，所述图像检测模块包括：
目标检测单元，用于根据所有所述关键点的最大横纵坐标、最小横纵坐标确定矩形的所述目标区域；
投票单元，用于对多个所述关键帧的图像的严重程度根据投票机制进行投票选取数量最多的面瘫严重程度作为最终的面瘫严重程度。
优选的，该***还包括：
静态检测模块，用于根据所述待检测人员的无表情图像进行检测，根据鼻梁处的所述关键点确定脸部对称轴，得到关键点对，利用所述关键点对的对称性对所述待检测人员的面瘫情况进行评估，结合所述面瘫严重等级和所述评估的结果得到最终面瘫的严重程度。
本发明实施例至少存在以下有益效果：
本发明实施例通过对待检测患者运动过程中的视频进行分析，指定健康人员在动作指令下做出指定动作，对多帧关键点进行分析，通过关键点的运动速度和运动时间确定主动类关键点，结合运动最大幅度确定相关点集合，通过对待检测人员的视频图像判断关键帧得分，从而提取关键帧，在关键帧上提取目标区域送入分类网络进行运动检测面瘫的严重程度，能够减少视频帧的计算，缩小关键点的范围，可以准确的获得面瘫检测所需图像，提高运算速度。
本发明实施例通过运动速度和运动时间对主动类关键点进行划分得到跟表情紧密相关的关键点，能够精确有效的缩小面瘫检测所需关键点。
本发明实施例通过关键点对对待检测人员的无表情图像进行评估，并结合运动检测结果对患者的面瘫程度进行综合判断可以更准确的对面瘫严重程度进行评估。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
图1为本发明一实施例所提供的一种基于人工智能的运动检测面瘫程度评估***的整体流程图；
图2为本发明一实施例所提供的一种基于人工智能的运动检测面瘫程度评估***的结构框图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种基于人工智能的运动检测面瘫程度评估***，其具体实施方式、结构、特征及其功效，详细说明如下，在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构、或特点可由任何合适形式组合。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
下面结合附图具体的说明本发明所提供的一种基于人工智能的运动检测面瘫程度评估***的具体方案。
请参阅图1和图2，图1示出了本发明一实施例所提供的一种基于人工智能的运动检测面瘫程度评估***的整体流程图。图2示出了本发明一实施例所提供的一种基于人工智能的运动检测面瘫程度评估***的结构框图。
该***包括关键点检测模块100、分类模块200、相关点确定模块300、关键帧筛选模块400、图像检测模块500和运动检测模块600。
关键点检测模块100用于获取待检测人员的脸部关键点信息。
优选的，关键点检测模块包括：
定位单元，用于获取待检测人员的脸部区域包围框，用深度神经网络进行关键点的定位获取脸部包围框中的关键点的位置信息。
具体的，用相机采集待检测患者的脸部图像信息，进行面部包围框检测。
优选的，本发明实施例使用DenseBox目标检测算法，该方法使用全卷积网络，在同一个网络中直接预测目标矩形框和目标类别置信度。在其他实施例中，还可以采用早期的模板匹配技术、AdaBoost框架以及当下的各种深度学习算法如Cascade CNN、DenseBox、Faceness-Net等多种人脸检测算法。
通过在检测的同时进行关键点定位，进一步提高了检测精度，通过DenseBox目标检测算法获取待检测患者的脸部包围框，有以下具体步骤：
S101:对脸部图像信息进行缩放，将各种尺度的图像送入卷积网络中处理，对不同大小的目标进行检测；
S102:进行多次卷积和池化操作，对特征图像进行采样并卷积得到最终包含了每个位置出现目标的概率、位置和大小信息的输出图像；
S103:由输出图像得到目标矩形框，通过非最大抑制方法得到最终的检测结果。
需要说明的是，对于任何一个位置，如果它和真实目标矩形框的重叠比大于指定阈值，则标注为1，否则标注为0。对位置的标注根据每个像素与目标矩形框4条边的距离计算。
具体的，该方法的损失函数由两部分组成，总损失函数为这两部分加权求和，第一部分输出值为分类置信度用表示，真实的类别标签值y*为0或者1，分别表示是背景和目标，分类损失函数公式为：
损失函数的第二部分是矩形框预测误差，设预测值为真实值为d*，它们的4个分量均为当前像素与矩形框左上角和右下角的距离，定位损失函数公式为：
其中，i为第i个目标矩形框，{tx,ty}为第i个目标矩形框的左上角坐标，{bx,by}代表第i个目标矩形框框右下角的坐标。
具体的，使用DNN神经网络根据待检测患者面部包围框来获取的二维关键点信息的具体步骤如下：
S201:按照人脸包围框的位置，大小信息进行脸部图像裁剪，输入到网络当中，先对图像进行编码Encoder，使用卷积和池化操作来提取图像特征Feature map，而后进行特征图解码，恢复得到图像对应的多通道的heatmap图像；
需要说明的是，网络训练所用的数据图像为裁剪后相同大小的脸部RGB图像。训练所用标签为多通道heatmap图像，通道数为关键点的类别数加上背景通道，各通道图像中像素值表示该位置像素属于目标关键点的置信度，Loss函数采用均方差损失函数。
S202:选取为64类特征点分别对应脸部的眉毛、眼睛、鼻子、嘴巴及脸庞；
S203:在对应标签图像中标记出对应坐标位置的特征点，使用高斯核进行模糊处理，获得heatmap图像，经过softargmax方式处理获得各帧图像中各特征点的坐标信息。
运动检测模块600包括分类模块200和相关点确定模块300。
分类模块200用于根据所获取的健康人员在所述指定动作下的视频中，每个所述关键点的运动速度和最早运动时间获取关联性得分，设定关联性得分阈值，根据所述关联性得分划分主动类关键点。
分类模块200还包括：
运动变化单元，用于根据关键点的最大位移变化量确定运动速度，根据初始帧确定最早运动时间。
速度计算单元，用于计算关键点的运动速度，公式如下：
其中，m1为初始帧，m2为关键点达到最大位移变化量时对应的帧数，Δdmax为关键点的最大位移变化量；
判断单元，用于根据关键点的速度和关联性呈正相关关系，初始帧的帧数和关联性呈负相关关系确定主动类关键点。
优选的，本发明实施例以抬眉动作为例，提示健康人员进行该动作，利用相机记录该动作的整个过程，且整个过程中不能有停顿情况。
具体的，获取健康人员进行抬眉动作的每一帧视频信息，对每一帧视频信息中的关键点进行提取，以脸部包围框左上角为原点，对于单帧图像可以得到每个关键点的集合{an1(xn1，yn1)，an2(xn2，yn2)......ank(xnk，ynk)}，其中k为关键点的个数，n为当前帧的帧数。
对于每一个关键点，分析其运动情况，得到其位置第一次发生变化的帧数，记为初始帧，选取每一帧图像中与初始帧图像关键点的最大位移变化量作为当前关键点的最大运动幅度，记录达到最大运动幅度时所在帧数。
需要说明的是，对于每个关键点的主动性和被动性进行分析，主动性是指该关键点的运动主要是健康人员当前的面部动作直接导致，被动性是指该关键点的运动不依赖于面部动作，而是由其他关键点的运动所带动导致。
具体的，根据健康人员各关键点的初始变化帧数情况以及各关键点运动速度情况综合判断该关键点的主动性和被动性，计算关键点和面部动作的关联性得分，公式如下：
其中，对于速度，其值越大，说明与当前面部运动关联性越大，对于关键点的初始变化帧数，其代表了该关键点随着面部运动的先后情况，其值越小，说明该关键点越先运动，与当前面部运动的关联性越强，是最能反映关键点与面部动作关联性的值。
具体的，设定关联性阈值得分，若当前关键点的关联性得分大于等于关联性阈值，则划分该关键点为主动类关键点，否则划分该关键点为被动类关键点，在本发明实施例中关联性得分阈值选取为0.8。
相关点确定模块300用于获取所述主动性类关键点中运动幅度较大的关键点作为所述相关点并构建所述相关点的集合，对所述相关点分配权重。
具体的，针对主动性关键点类别，设定相关的运动幅度阈值，当该关键点的运动幅度大于等于阈值时，认为该关键点与当前动作相关性极大，标记该关键点为当前表情动作的相关点，否则不对该关键点进行标记，至此，得到当前表情动作的相关点集合。
关键帧筛选模块400用于获取待检测人员指定动作的视频，计算视频中所有相邻两帧对应的相关点的位移变化量，相关点由关键帧筛选模块确定，在位移变化量小于位移变化阈值时选取对应的相关点的权重，统计视频中每帧图像上的相关点的总权重，设定总权重阈值，根据每帧图像的相关点的总权重对视频中的关键帧进行选取；
优选的，关键帧筛选模块400还包括：
权重分配模块，用于按照相关点的运动幅度大小进行排序，根据相关点的序号确定相关点的权重。
权重选取模块，用于当相邻帧中的相关点位于位移变化阈值的范围内时，认为相关点已经趋于稳定状态，将趋于稳定状态的所有相关点的权重用于计算每帧图像的相关点的总权重。
需要说明的是，动态检测患者面瘫情况时，常规方法一般多是对患者面部运动过程中的关键点进行分析，根据每帧图像中的关键点的运动情况判断患者的面瘫严重程度，但是面瘫一般发生于患者面部的区域，而非单独的某一点处，故使用关键点运动分析存在较大误差，易产生误诊情况，故本发明实施例通过对运动过程中的相关点进行分析，获取患者的多个关键帧图像，关键帧为患者面部运动过程中最能体现当前动作所能反映的面瘫情况的多个单帧图像，对于关键帧中的面瘫相关点构成的面瘫区域进行分析，能够更加精确的反映患者实际的面瘫情况。
具体的，根据以上步骤得到的相关性极大的相关点快速获取面瘫患者的关键帧，按照运动幅度大小的方式对每个相关点进行排序，得到每个相关点进行排序，得到每个相关点的序号，将序号排列为[1,m]对于每个序号的相关点，进行权重的分配，公式如下：
其中，c为当前相关点的序号，Ac为当前相关点的权重值大小，为所有相关点序号的相加总和。
对于面瘫患者进行面部运动的多帧视频，对比前后两帧视频的每个相关点的位移变化量。
具体的，对于每一帧图像信息，获得其相对于前一帧的相关点位移变化量，设定位移变化阈值，如果当前帧图像的某一相关点位移变化量位于范围内，则说明当前的帧图像的该相关点已经趋于稳定状态。
在相关点的位移变化量小于位移变化阈值时选取对应的相关点的权重，否则认为该相关点的选取权重为0，统计视频中每帧图像上的相关点的总权重，根据每帧图像的相关点的总权重对视频中的关键帧进行选取计算方法如下：
其中，wj为第j个相关点的权重。
具体的，设定总权重阈值，若当前帧图像的总权重大于等于该阈值，则说明该帧图像为关键帧，否则认为该帧图像为非关键帧，本发明得分阈值选取为0.95。
图像检测模块500用于获取不同指定动作下的关键帧的目标区域，送入图像分类网络中进行检测输出目标区域的面瘫严重等级。
优选的，图像检测模块包括：
目标检测单元，用于根据所有关键点的最大横纵坐标、最小横纵坐标确定矩形的目标区域；
投票单元，用于对多个关键帧的图像的严重程度根据投票机制进行投票选取数量最多的面瘫严重程度作为最终的面瘫严重程度。
需要说明的是针对不同的运动检测，患者面部会出现额外的面瘫特征，例如，抬眉运动，如果患者存在面瘫，眉毛外侧会明显下垂，闭眼动作，可检测眼睛的闭合程度，示齿动作，可检测口裂是否变形，牙齿暴露数目等判断患者是否存在面瘫及其面瘫程度。
具体的，以抬眉运动为例，获取抬眉运动检测过程中的视频关键帧，统计关键帧中各相关关键点的位置坐标，得到关键点坐标的最大最小横纵坐标xmin，xmax，ymin，ymax等，以该四个点的大小为准得到一个矩形ROI区域，裁剪该矩形ROI区域。
对图像分类网络进行训练，训练集选择摄像头采集的多张运动检测过程中正视人脸的 RGB图像，人工截取其眉毛区域的图像信息，其中应包括眉毛区域存在多种不同面瘫程度的情况，对每张图像进行标注，标注类别分为三类，包括轻度面瘫、中度面瘫以及严重面瘫，损失函数采用交叉熵损失函数。
具体的，将矩形ROI区域提取作为输入图像送入到抬眉检测网络当中，通过编码器进行卷积操作提取特征，编码器输出结果为特征图，特征图经过Flatten操作后，送入全连接层中，经softmax函数输出标注类别，根据H-B(House-Brackmann)面瘫严重评估法，将面瘫的严重等级类别分为三类，包括轻度面瘫、中度面瘫以及严重面瘫。
对于多个关键帧图像的面瘫严重程度进行投票机制选取患者的最终面瘫严重程度，即对比不同面瘫严重程度的关键帧数量，选择数量最多的面瘫严重程度作为最终的面瘫严重程度。
优选的，为了更准确的对面瘫严重程度进行评估，该***还包括：
静态检测模块，用于根据待检测人员的无表情图像进行检测，根据鼻梁处的关键点确定脸部对称轴，得到关键点对，利用关键点对的对称性对待检测人员的面瘫情况进行评估，结合面瘫严重等级和评估的结果得到最终面瘫的严重程度。
具体的，获取未进行脸部运动前的无表情脸部图像信息进行静止检测，利用鼻梁处的四个关键点得到脸部对称轴，利用关键点对到对称轴之间的距离变化，角度变化等判断关键点对的对称性，通过对称性判断来评估患者的面瘫情况。结合静止检测结果与运动检测结果，综合判断患者面瘫程度。
综上所述，本发明通过对待检测患者运动过程中的视频进行分析，指定健康人员在动作指令下做出指定动作，对多帧关键点进行分析，通过关键点的运动速度和运动时间确定主动类关键点，结合运动最大幅度确定相关点集合，通过对待检测人员的视频图像判断关键帧得分，从而提取关键帧，在关键帧上提取目标区域送入分类网络进行运动检测面瘫的严重程度，能够减少视频帧的计算，缩小关键点的范围，可以准确的获得面瘫检测所需图像，提高运算速度。
需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。
以上仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.基于人工智能的运动检测面瘫程度评估***，其特征在于，该***还包括以下模块：
关键点检测模块，用于获取待检测人员的脸部关键点信息；
关键帧筛选模块，用于获取所述待检测人员指定动作的视频，计算所述视频中所有相邻两帧对应的相关点的位移变化量，在所述位移变化量小于位移变化阈值时选取对应的所述相关点的权重，所述相关点及其权重由运动检测模块确定；统计所述视频中每帧图像上的所述相关点的总权重，根据每帧图像的所述相关点的总权重和设定的总权重阈值选取关键帧；
图像检测模块，用于获取不同指定动作下的所述关键帧的目标区域，送入图像分类网络中进行检测输出所述目标区域的面瘫严重等级；
其中，所述运动检测模块包括分类模块和相关点确定模块；
所述分类模块，用于根据所获取的健康人员在所述指定动作下的视频中，每个所述关键点的运动速度和最早运动时间获取关联性得分，设定关联性得分阈值，根据所述关联性得分划分主动类关键点，若当前关键点的关联性得分大于等于关联性得分阈值，则划分该关键点为主动类关键点；
所述相关点确定模块，获取所述主动类关键点中运动幅度较大的关键点作为所述相关点并构建所述相关点的集合，对所述相关点分配权重；
所述主动类关键点是关键点的运动是健康人员当前的面部动作直接导致的。
2.根据权利要求1所述的基于人工智能的运动检测面瘫程度评估***，其特征在于，所述关键点检测模块包括：
定位单元，用于获取所述待检测人员的脸部区域包围框，用深度神经网络进行所述关键点的定位获取所述脸部区域包围框中的关键点的位置信息。
3.根据权利要求1所述的基于人工智能的运动检测面瘫程度评估***，其特征在于，所述分类模块包括：
记录模块，用于根据所获取的健康人员在所述指定动作下的视频中，以每个所述关键点第一次发生移动时所对应的帧作为初始帧，根据所述初始帧确定最早运动时间；记录每个所述关键点的最大位移变化量和达到最大位移变化量时对应的所在帧数，根据所述关键点的最大所述位移变化量确定所述运动速度。
4.根据权利要求3所述的基于人工智能的运动检测面瘫程度评估***，其特征在于，所述分类模块包括：
速度计算单元，用于计算关键点的运动速度，公式如下：
其中，m1为所述初始帧，m2为所述关键点达到最大位移变化量时对应的帧数，Δdmax为所述关键点的最大位移变化量。
5.根据权利要求3所述的基于人工智能的运动检测面瘫程度评估***，其特征在于，所述分类模块包括：
判断单元，用于根据所述关键点的速度和所述关联性得分呈正相关关系、所述初始帧的帧数和所述关联性得分呈负相关关系确定主动类关键点。
6.根据权利要求1所述的基于人工智能的运动检测面瘫程度评估***，其特征在于，所述关键帧筛选模块包括：
权重分配模块，用于按照所述相关点的运动幅度大小进行排序，根据所述相关点的序号确定所述相关点的权重。
7.根据权利要求1所述的基于人工智能的运动检测面瘫程度评估***，其特征在于，所述关键帧筛选模块包括：
权重选取模块，用于当相邻帧中的所述相关点位于所述位移变化阈值的范围内时，确定所述相关点已经趋于稳定状态，将所述趋于稳定状态的所有所述相关点的权重用于计算所述每帧图像的所述相关点的总权重。
8.根据权利要求1所述的基于人工智能的运动检测面瘫程度评估***，其特征在于，所述图像检测模块包括：
目标检测单元，用于根据所有所述关键点的最大横纵坐标、最小横纵坐标确定所述目标区域。
9.根据权利要求1所述的基于人工智能的运动检测面瘫程度评估***，其特征在于，所述图像检测模块包括：
投票单元，用于对多个所述关键帧的图像的严重程度根据投票机制进行投票选取数量最多的面瘫严重程度作为最终的面瘫严重程度。
10.根据权利要求1所述的基于人工智能的运动检测面瘫程度评估***，其特征在于，该***包括：
静态检测模块，用于根据所述待检测人员的无表情图像进行检测，根据鼻梁处的所述关键点确定脸部对称轴，得到关键点对，利用所述关键点对的对称性对所述待检测人员的面瘫情况进行评估，结合所述面瘫严重等级和评估的结果得到最终面瘫的严重程度。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011468907.2A CN112597842B (zh) | 2020-12-15 | 2020-12-15 | 基于人工智能的运动检测面瘫程度评估*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011468907.2A CN112597842B (zh) | 2020-12-15 | 2020-12-15 | 基于人工智能的运动检测面瘫程度评估*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112597842A CN112597842A (zh) | 2021-04-02 |
| CN112597842B true CN112597842B (zh) | 2023-10-20 |
Family
ID=75195184
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011468907.2A Active CN112597842B (zh) | 2020-12-15 | 2020-12-15 | 基于人工智能的运动检测面瘫程度评估*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112597842B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113536950A (zh) * | 2021-06-22 | 2021-10-22 | 河南农道智能科技有限公司 | 一种基于人工智能的人员触电检测方法和*** |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105046227A (zh) * | 2015-07-24 | 2015-11-11 | 上海依图网络科技有限公司 | 一种针对人像视频***的关键帧获取方法 |
| CN107713984A (zh) * | 2017-02-07 | 2018-02-23 | 王俊 | 面瘫客观评估方法及其*** |
| CN109543526A (zh) * | 2018-10-19 | 2019-03-29 | 谢飞 | 基于深度差异性特征的真假面瘫识别*** |
| CN110084259A (zh) * | 2019-01-10 | 2019-08-02 | 谢飞 | 一种结合面部纹理和光流特征的面瘫分级综合评估*** |
| CN111403026A (zh) * | 2020-03-11 | 2020-07-10 | 张锦霞 | 一种面瘫等级评估方法 |
| CN111553249A (zh) * | 2020-04-25 | 2020-08-18 | 深圳德技创新实业有限公司 | 一种cv下基于h-b分级的精准面瘫程度评测方法及装置 |
| WO2020238374A1 (zh) * | 2019-05-31 | 2020-12-03 | 广州市百果园信息技术有限公司 | 人脸关键点检测方法、装置、设备及存储介质 |
-
2020
- 2020-12-15 CN CN202011468907.2A patent/CN112597842B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105046227A (zh) * | 2015-07-24 | 2015-11-11 | 上海依图网络科技有限公司 | 一种针对人像视频***的关键帧获取方法 |
| CN107713984A (zh) * | 2017-02-07 | 2018-02-23 | 王俊 | 面瘫客观评估方法及其*** |
| CN109543526A (zh) * | 2018-10-19 | 2019-03-29 | 谢飞 | 基于深度差异性特征的真假面瘫识别*** |
| CN110084259A (zh) * | 2019-01-10 | 2019-08-02 | 谢飞 | 一种结合面部纹理和光流特征的面瘫分级综合评估*** |
| WO2020238374A1 (zh) * | 2019-05-31 | 2020-12-03 | 广州市百果园信息技术有限公司 | 人脸关键点检测方法、装置、设备及存储介质 |
| CN111403026A (zh) * | 2020-03-11 | 2020-07-10 | 张锦霞 | 一种面瘫等级评估方法 |
| CN111553249A (zh) * | 2020-04-25 | 2020-08-18 | 深圳德技创新实业有限公司 | 一种cv下基于h-b分级的精准面瘫程度评测方法及装置 |
Non-Patent Citations (2)
| Title |
|---|
| Color Normalization for Appearance Based Recognition of Video Key-frames;Juan M.;《IEEE》;20020806;第815-819页 * |
| 基于深度差异性网络的真假面瘫识别;管子玉;《西北大学学报》;20190415;第171-179页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112597842A (zh) | 2021-04-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11842487B2 (en) | Detection model training method and apparatus, computer device and storage medium | |
| CN110348319B (zh) | 一种基于人脸深度信息和边缘图像融合的人脸防伪方法 | |
| WO2022111236A1 (zh) | 一种结合注意力机制的面部表情识别方法及*** | |
| CN106295124B (zh) | 多种图像检测技术综合分析基因子图相似概率量的方法 | |
| CN108389220B (zh) | 遥感视频图像运动目标实时智能感知方法及其装置 | |
| CN115661943B (zh) | 一种基于轻量级姿态评估网络的跌倒检测方法 | |
| CN106373146B (zh) | 一种基于模糊学习的目标跟踪方法 | |
| CN114241548A (zh) | 一种基于改进YOLOv5的小目标检测算法 | |
| CN111950525B (zh) | 一种基于破坏重建学习与GoogLeNet的细粒度图像分类方法 | |
| CN108256462A (zh) | 一种商场监控视频中的人数统计方法 | |
| CN112149664B (zh) | 一种优化分类与定位任务的目标检测方法 | |
| CN111968124B (zh) | 基于半监督语义分割的肩部肌骨超声结构分割方法 | |
| CN112149665A (zh) | 一种基于深度学习的高性能多尺度目标检测方法 | |
| CN113780145A (zh) | ***形态检测方法、装置、计算机设备和存储介质 | |
| CN116311483A (zh) | 基于局部面部区域重构和记忆对比学习的微表情识别方法 | |
| Shah et al. | CNN based auto-assistance system as a boon for directing visually impaired person | |
| CN114758382A (zh) | 基于自适应补丁学习的面部au检测模型建立方法及应用 | |
| CN111797705A (zh) | 一种基于人物关系建模的动作识别方法 | |
| CN112597842B (zh) | 基于人工智能的运动检测面瘫程度评估*** | |
| CN114170686A (zh) | 一种基于人体关键点的屈肘行为检测方法 | |
| CN109902692A (zh) | 一种基于局部区域深度特征编码的图像分类方法 | |
| CN113327269A (zh) | 一种无标记颈椎运动检测方法 | |
| Santos et al. | A new method based on deep learning to detect lesions in retinal images using YOLOv5 | |
| Yan et al. | A lightweight face recognition method based on depthwise separable convolution and triplet loss | |
| Bakshi | Hand hygiene video classification based on deep learning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20230913 Address after: F4-401, Building B1, No. 88 Ruixiang Road, Jiujiang District, Wuhu City, Anhui Province, 241000 Applicant after: Wuhu Mingtong Digital Health Technology Co.,Ltd. Address before: No.6, block B, Zhongyi Zibo advanced manufacturing industrial city, Gaojia community, Zichuan Economic Development Zone, Zibo City, Shandong Province Applicant before: Zhou Meiyue |
|
| TA01 | Transfer of patent application right | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |