CN111553249B - 一种cv下基于h-b分级的精准面瘫程度评测方法及装置 - Google Patents

Abstract

本发明公开了一种CV下基于H‑B分级的精准面瘫程度评测方法及装置。该方法包括：建立面瘫关键点检测模型；获取待检测数据并对待检测数据进行处理：将无表情自然状态静态图像、序列图像一、序列图像二、序列图像三以及序列图像四依次输入至面瘫关键点检测模型中以输出相应的多组人脸形状，更新多组人脸形状；对待检测用户的面瘫程度进行评测：计算θ₁、θ₂、θ₄、θ₆、θ₈、θ₁₀、θ₁₁并分别与其阈值比较；通过比较结果对待检测用户的面瘫程度进行判定，并计算面瘫指数。本发明可以使检测模型具有较高的检测定位精度，大大提升待检测用户面瘫程度综合评价及检测的精度及准度，为面瘫患者的预防发现及治疗提供有力支撑。

Description

一种CV下基于H-B分级的精准面瘫程度评测方法及装置

技术领域

本发明涉及面瘫识别技术领域的一种精准面瘫程度评测方法，尤其涉及一种CV下基于H-B分级的精准面瘫程度评测方法，还涉及应用该方法的CV下基于H-B分级的精准面瘫程度评测装置。

背景技术

面瘫，一种面部肌肉运动功能受阻的常见病，患者往往难以正常完成如闭眼、抬眉、鼓腮、皱鼻或张嘴等基本面部动作，而且在我国是发病率较高的地区。面瘫一般称为面神经麻痹，一般症状是口眼歪斜，患者往往连最基本的抬眉、闭眼、鼓嘴等动作都无法完成。

目前，面瘫诊断相关的面神经功能评价方法有将近20多种，如H-B分级法、线性测量指数、诺丁汉分级***及多伦多分级法等，但这些***在评价面瘫程度的评价标准普遍都存在一定的缺陷，如评价结果很大程度上由于人工操作的过程中所带有的专家主观性评判，不仅效率较低而且存在较大的误差，由此大大影响了对面瘫患者的面瘫程度的评估结果，同时对面瘫患者的治疗过程及恢复情况没有信息化的统计记录而难于准确评价治疗效果，从而对面瘫患者的后续治疗带来了较大的阻力。因此，需要一种利用现有计算视觉等技术而实现面瘫程度评测方法，该方法能够应用于面瘫检测设备中，作为医疗设备的检测方法对面瘫患者的面瘫程度进行检测，并且能够大规模、广泛地进行产业化应用，例如可以作为独立的程序应用在手机端、客户端中，可供面瘫患者在非治疗时期进行纠正和检查，同时也可以供非面瘫患者做预防方法使用。

发明内容

为解决现有的面瘫程度评测方法存在误差大，评测效率低的技术问题，本发明提供一种CV下基于H-B分级的精准面瘫程度评测方法及装置。

本发明采用以下技术方案实现：一种CV下基于H-B分级的精准面瘫程度评测方法，其包括以下步骤：

(1)确定左眉毛的面瘫关键点s₁、s₂₄、s₂₅，右眉毛的面瘫关键点s₂、s₂₆、s₂₇，鼻子的面瘫关键点s₃、s₄、s₅、s₆、s₇，嘴唇的面瘫关键点s₈、s₉、s₁₀、s₁₁、s₁₂、s₁₃，左眼的面瘫关键点s₁₄、s₁₅、s₁₆、s₁₇、s₁₈，右眼的面瘫关键点s₁₉、s₂₀、s₂₁、s₂₂、s₂₃；定义(x_sm，y_sm)为面瘫关键点s_m的坐标，m＝{1，2，...，27}，以所有面瘫关键点为元素形成的集合表示人脸形状；

(2)获取待检测用户整个人脸在无表情自然状态、做皱眉动作全过程、做闭眼动作全过程以及做吹哨动作全过程中产生的多组人脸形状；多组人脸形状分别为待检测用户整个人脸的无表情自然状态静态图像以及待检测用户在做皱眉动作全过程中所产生的序列图像一，在做闭眼动作全过程的序列图像二，在做微笑动作全过程的序列图像三，在做吹哨动作全过程的序列图像四；

对多组人脸形状依次分别基于面瘫关键点s₁₄、s₁₉进行线性回归获得直线l₁，并确定面瘫关键点s₁₄、s₁₉的中点p₅；

对多组人脸形状依次分别基于面瘫关键点s₃、s₄、s₅、s₆、s₇、s₈及点p₅进行线性回归获得直线l₀，并确定直线l₀与直线l₁的交点p₀，还确定面瘫关键点s₁₁与s₁₂的中点p₁；

设置向量

向量

向量

并基于面瘫关键点s₁₅、s₁₆、s₁₇、s₁₈统计由其构成的矩形最小包围盒中所包含的像素点个数n₁，基于面瘫关键点s₂₀、s₂₁、s₂₂、s₂₃统计由其构成矩形最小包围盒中所包含的像素点个数n₂；

基于面瘫关键点s₉、s₁₀、s₁₂，计算：k₁＝x_s9(y_s10-y_s12)-y_s9(x_s10-x_s12)+x_s10y_s12-x_s12y_s10，k₂＝(x_s9 ²+y_s9 ²)(y_s12-y_s10)+(x_s10 ²+y_s10 ²)(y_s9-y_s12)+(x_s12 ²+y_s12 ²)(y_s10-y_s9)，k₃＝(x_s9 ²+y_s9 ²)(x_s10-x_s12)+(x_s10 ²+y_s10 ²)(x_s12-x_s9)+(x_s12 ²+y_s12 ²)(x_s9-x_s10)，k₄＝(x_s9 ²+y_s9 ²)(x_s12y_s10-x_s10y_s12)+(x_s10 ²+y_s10 ²)(x_s9y_s12-x_s12y_s9)+(x_s12 ²+y_s12 ²)(x_s10y_s9-x_s9y_s10)，R＝(k₂ ²+k₃ ²-4k₁k₄)/4k₁ ²；

基于面瘫关键点s₁、s₂₄、s₂₅进行曲线拟合获得曲线l₂，基于面瘫关键点s₂、s₂₆、s₂₇进行曲线拟合获得曲线l₃，并确定：与直线l₀平行且经过关键点s₁₇的直线l₄，与直线l₀平行且经过关键点s₁₄的直线为l₅，与直线l₀平行且经过关键点s₁₉的直线为l₆，与直线l₀平行且经过关键点s₂₃的直线为l₇，面瘫关键点s₁₄与s₁₉的欧氏距离为d；

将点p₀、点p₁、向量

向量

向量

像素点个数n₁、像素点个数n₂、半径R、距离d、曲线l₂、曲线l₃、直线l₄、直线l₅、直线l₆及直线l₇作为元素加入至对应的人脸形状中以获得更新后人脸形状；

(3)对于更新后的无表情自然状态人脸形状S₀，计算：θ₁＝

式中，

分别为人脸形状S₀的向量

在横纵坐标轴上的投影值，

分别为人脸形状S₀的向量

在横纵坐标轴上的投影值，

对应人脸形状S₀的像素点个数n₁、n₂；

对于更新后的皱眉动作人脸形状S_a1，S_a2，…，S_an，先依次分别统计由相应的曲线l₂、直线l₄、直线l₅所包围封闭区域的像素点个数

并依次分别统计由相应的曲线l₃、直线l₆、直线l₇所包围封闭区域的像素点个数

再计算：

最后计算θ₃＝min(b₁，b₂)，θ₄＝|b₁+b₂|/|b₁-b₂|；

对于更新后的闭眼动作人脸形状S_b1，S_b2，…，S_bn，先计算

再计算

最后计算θ₅＝max(d₁，d₂)，θ₆＝|d₁+d₂|/|d₁-d₂|；

对于更新后的微笑动作人脸形状S_c1，S_c2，…，S_cn，先依次分别计算面积

并依次分别计算面积

再计算

最后计算θ₇＝|e₃+e₄|/|e₃-e₄|，θ₈＝|e₁+e₂|/|e₁-e₂|；

对于更新后的吹哨动作人脸形状S_d1，S_d2，…，S_dn，先计算max(R^d1，R^d2，...，R^dn)，

再计算θ₉＝|f₁+R⁰|/|f₁-R⁰|，θ₁₀＝arccos(f₂)，θ₁₁＝|θ₁₀|；

将θ₁、θ₂、θ₄、θ₆、θ₈、θ₁₀、θ₁₁分别与其阈值比较；

通过比较结果对待检测用户的面瘫程度进行判定，并计算面瘫指数；

其中，步骤(3)还包括：设置θ₁对应的阈值θ’₁，θ₂对应的阈值θ′₂，θ₄对应的阈值θ′₄，θ₆对应的阈值θ′₆，θ₈对应的阈值θ′₈，θ₁₀对应的阈值θ’₁₀，θ₁₁对应的阈值θ’₁₁，并比较θ₁与θ’₁，θ₂与θ′₂，θ₄与θ′₄，θ₆与θ′₆，θ₈与θ′₈，θ₁₀与θ’₁₀，θ₁₁与θ’₁₁；其中，阈值θ’₁、θ′₂、θ′₄、θ′₆、θ′₈、θ’₁₀、θ’₁₁分别根据外部实现情况预设；

若θ₁＞θ’₁或θ₂＜θ′₂，则判定所述待检测用户存在面瘫症状且属于严重面瘫，并计算相应的面瘫指数K1＝(0.2θ₁/θ₂)+(0.1d⁰/θ₃)+(0.1/θ₄)+(0.3θ₅/θ₆)+(0.3/θ₇)+(0.3/θ₈)+(0.1θ₁₁/θ₉)；d⁰为人脸形状S₀对照距离d的计算公式计算的距离；

若θ₁≤θ’₁且θ₂≥θ’₂，同时满足θ₆＜θ’₆或θ₈＜θ’₈或θ₁₁＞θ’₁₁时，则判定所述待检测用户存在面瘫症状但不属于严重面瘫，并计算相应的面瘫指数K2＝(0.1/θ₄)+(0.3/θ₆)+(0.3/θ₈)+0.1θ₁₁；

若θ₁₀≠0，则判定所述待检测用户存在面瘫症状且属于半脸面瘫；

若满足以下条件：θ₁≤θ’₁、θ₂≥θ’₂、θ₆≥θ’₆、θ₈≥θ’₈、θ₁₁≤θ’₁₁，则判定所述待检测用户不存在面瘫症状。

本发明先通过确定面瘫关键点，再获取人脸形状并进行更新，最后根据更新后人脸形状对其面瘫程度进行评测，这样获取待检测用户脸部的静态图像及动态视频，可以分别在静态图像及动态视频中提取待检测用户脸部的静态图像及动态视频的所有关键点，根据待检测用户在不同表情下面部对应关键区域面积关系综合评价检测用户面瘫程度，可以使检测模型具有较高的检测定位精度，结合优选的基于关键点相似性测度距离，大大提升待检测用户面瘫程度综合评价及检测的精度及准度，解决了现有的面瘫程度评测方法存在误差大，评测效率低的技术问题，得到了面瘫程度探测准确性高，评测效率高，可大规模、产业化应用在面瘫识别和程度评测设备中的技术效果。

作为上述方案的进一步改进，步骤(1)还包括：建立面瘫关键点检测模型；在所述面瘫关键点检测模型中，一对眉毛的邻近两点为面瘫关键点s₁、s₂，鼻子的鼻根点为面瘫关键点s₃，鼻子的鼻梁上下两点为面瘫关键点s₄、s₅，鼻子的准头点为面瘫关键点s₆，鼻子的鼻尖为面瘫关键点s₇，上唇的中部顶点为面瘫关键点s₈，下唇的中部低点为面瘫关键点s₉，嘴角两点为面瘫关键点s₁₀、s₁₃，上唇的两个最高点为面瘫关键点s₁₁、s₁₂，一对眼睛的相邻两点为面瘫关键点s₁₄、s₁₉，其中一只眼睛的眼球与眼眶的四个交点为面瘫关键点s₁₅、s₁₆、s₁₇、s₁₈，其中另一只眼睛的眼球与眼眶的四个交点为面瘫关键点s₂₀、s₂₁、s₂₂、s₂₃，面瘫关键点s₁所在的眉毛上另外两点为面瘫关键点s₂₄、s₂₅，面瘫关键点s₂所在的眉毛上另外两点为面瘫关键点s₂₆、s₂₇。

再进一步地，更新后人脸形状依次为：

再进一步地，所述面瘫关键点检测模型的建立方法包括以下步骤：

(1.1)创建深度全卷积网络模型；

(1.2)通过多个已标定训练样本以获取模型训练集；

(1.3)在所述模型训练集中选取一组已标定训练样本输入至所述深度全卷积网络模型中进行训练；以及

(1.4)判断步骤(1.3)的执行次数是否达到一个预设的最大训练次数；

在所述执行次数未达到所述最大训练次数时，获取所述深度全卷积网络模型一个周期的损失值，并判断所述损失值是否大于模型目标损失阈值；

在所述损失值大于所述模型目标损失阈值时，执行步骤(1.3)；

在所述损失值小于所述模型目标损失阈值或所述执行次数达到所述最大训练次数时，将所述深度全卷积网络模型作为面瘫关键点检测模型；

或，

在所述深度全卷积网络模型中，下采样及上采样层数均为N₀，N₀为正整数；相邻的下采样及上采样间，或下采样与下采样间，或上采样与上采样间均堆叠多层卷积层；输入层通道数为3或1；

或，

在所述深度全卷积网络模型中，输入层没有激活函数，输出层的激活函数为sigmoid函数，紧邻输出层的卷积层的激活函数为tanh函数，其他所有卷积层的激活函数均为Rule函数；

或，

利用高斯分布随机数初始化所述深度全卷积网络模型的所有权值和阈值，学习率初始化为le，模型目标Loss阈值设置为m，模型最大训练次数设置为T，并通过贝叶斯正则化或动量梯度下降进行优化，损失函数为Binary Cross Entropy、Focal Loss、MSE中的一种；

或，

所述已标定训练样本的获取方法包括以下步骤：先通过至少一个摄影设备获取包含人脸的图像Im作为所述模型训练集中一个训练样本的数据，再标定图像Im中所有人脸的关键点的坐标值并作为训练样本的标签，并重复进行以获得多个已标定训练样本；

或，

按照一个预设前向传播公式计算所述深度全卷积网络模型的输出，按照一个预设误差公式计算出该所述已标定训练样本输入到所述深度全卷积网络模型后的模型输出和所述已标定训练样本标签间的误差，并通过反向传播更新所述深度全卷积网络模型所有权值和阈值；

或，

定义面瘫关键点s₁₄、s₁₅、s₁₆、s₁₇、s₁₈位于所述面瘫关键点检测模型中整个人脸的右脸，面瘫关键点s₁₉、s₂₀、s₂₁、s₂₂、s₂₃位于所述面瘫关键点检测模型中整个人脸的左脸；则在步骤(3.7)中，

若θ₁₀＞0，则判定所述待检测用户的面瘫部位为右脸；

若θ₁₀＜0，则判定所述待检测用户的面瘫部位为右脸；

或，

所述深度全卷积网络模型的下采样及上采样层数均为3各相邻上采样或下采样间分别间隔由多层卷积层堆叠的卷积层模块，输入层通道数为3，输出层通道数为27，学习率初始化为0.001，模型目标Loss阈值为0.1，模型最大训练次数设置为20000。

本发明还提供一种CV下基于H-B分级的精准面瘫程度评测装置，其应用上述任意所述的CV下基于H-B分级的精准面瘫程度评测方法，其包括：

检测模型建立模块，其用于建立面瘫关键点检测模型；在所述面瘫关键点检测模型中，定义一对眉毛的邻近两点为面瘫关键点s₁、s₂，鼻子的鼻根点为面瘫关键点s₃，鼻子的鼻梁上下两点为面瘫关键点s₄、s₅，鼻子的准头点为面瘫关键点s₆，鼻子的鼻尖为面瘫关键点s₇，上唇的中部顶点为面瘫关键点s₈，下唇的中部低点为面瘫关键点s₉，嘴角两点为面瘫关键点s₁₀、s₁₃，上唇的两个最高点为面瘫关键点s₁₁、s₁₂，一对眼睛的相邻两点为面瘫关键点s₁₄、s₁₉，其中一只眼睛的眼球与眼眶的四个交点为面瘫关键点s₁₅、s₁₆、s₁₇、s₁₈，其中另一只眼睛的眼球与眼眶的四个交点为面瘫关键点s₂₀、s₂₁、s₂₂、s₂₃，面瘫关键点s₁所在的眉毛上另外两点为面瘫关键点s₂₄、s₂₅，面瘫关键点s₂所在的眉毛上另外两点为面瘫关键点s₂₆、s₂₇，以所有面瘫关键点为元素形成的集合表示人脸形状；

数据获取模块，其用于获取待检测数据；其中，所述待检测数据包括待检测用户整个人脸的无表情自然状态静态图像以及所述待检测用户在做皱眉动作全过程中所产生的序列图像一，在做闭眼动作全过程的序列图像二，在做微笑动作全过程的序列图像三，在做吹哨动作全过程的序列图像四；

数据处理模块，其用于对所述待检测数据进行处理；所述数据处理模块包括输入单元和更新单元；所述输入单元用于将所述无表情自然状态静态图像、所述序列图像一、所述序列图像二、所述序列图像三以及所述序列图像四依次输入至所述面瘫关键点检测模型中以输出相应的多组人脸形状；所述更新单元用于对多组人脸形状依次分别基于面瘫关键点s₁₄、s₁₉进行线性回归获得直线l₁，并确定面瘫关键点s₁₄、s₁₉的中点p₅；所述更新单元还用于基于面瘫关键点s₃、s₄、s₅、s₆、s₇、s₈及点p₅进行线性回归获得直线l₀，并确定直线l₀与直线l₁的交点p₀，还确定面瘫关键点s₁₁与s₁₂的中点p₁；所述更新单元还用于设置向量

向量

向量

并基于面瘫关键点s₁₅、s₁₆、s₁₇、s₁₈统计由其构成的矩形最小包围盒中所包含的像素点个数n₁，基于面瘫关键点s₂₀、s₂₁、s₂₂、s₂₃统计由其构成矩形最小包围盒中所包含的像素点个数n₂；所述更新单元还用于基于面瘫关键点s₉、s₁₀、s₁₂先计算：k₁＝x_s9(y_s10-y_s12)-y_s9(x_s10-x_s12)+x_s10y_s12-x_s12y_s10，k₂＝(x_s9 ²+y_s9 ²)(y_s12-y_s10)+(x_s10 ²+y_s10 ²)(y_s9-y_s12)+(x_s12 ²+y_s12 ²)(y_s10-y_s9)，k₃＝(x_s ²+y_s9 ²)(x_s10-x_s12)+(x_s10 ²+y_s10 ²)(x_s12-x_s9)+(x_s12 ²+y_s12 ²)(x_s9-x_s10)，k₄＝(x_s9 ²+y_s9 ²)(x_s12y_s10-x_s10y_s12)+(x_s10 ²+y_s10 ²)(x_s9y_s12-x_s12y_s9)+(x_s12 ²+y_s12 ²)(x_s10y_s9-x_s9y_s10)，再计算：R＝(k₂ ²+k₃ ²-4k₁k₄)/4k₁ ²；所述更新单元还用于基于面瘫关键点s₁、s₂₄、s₂₅进行曲线拟合获得曲线l₂，基于面瘫关键点s₂、s₂₆、s₂₇进行曲线拟合获得曲线l₃，并确定：与直线l₀平行且经过关键点s₁₇的直线l₄，与直线l₀平行且经过关键点s₁₄的直线为l₅，与直线l₀平行且经过关键点s₁₉的直线为l₆，与直线l₀平行且经过关键点s₂₃的直线为l₇，面瘫关键点s₁₄与s₁₉的欧氏距离为d；所述更新单元还用于将点p₀、点p₁、向量

向量

向量

面积n₁、面积n₂、半径R、距离d、曲线l₂、曲线l₃、直线l₄、直线l₅、直线l₆及直线l₇作为元素加入至对应的人脸形状中以获得更新后人脸形状；

面瘫程度综合评测模块，其用于对待检测用户的面瘫程度进行评测；所述面瘫程度综合评测模块包括计算单元一、计算单元二、计算单元三、计算单元四、计算单元五、设置比较单元以及判定单元；所述计算单元一用于对于更新后的无表情自然状态人脸形状S₀，计算：

所述计算单元二用于对于更新后的皱眉动作人脸形状S_a1，S_a2，…，S_an，先依次分别统计由曲线l₂、直线l₄、直线l₅所包围封闭区域的像素点个数

并依次分别统计由曲线l₃、直线l₆、直线l₇所包围封闭区域的像素点个数

再计算：

最后计算θ₃＝min(b₁，b₂)，θ₄＝|b₁+b₂|/|b₁-b₂|；所述计算单元三用于对于更新后的闭眼动作人脸形状S_b1，S_b2，…，S_bn，先计算

再计算

最后计算θ₅＝max(d₁，d₂)，θ₆＝|d₁+d₂|/|d₁-d₂|；所述计算单元四用于对于更新后的微笑动作人脸形状S_c1，S_c2，…，S_cn，先依次分别计算面积

并依次分别计算面积

再计算

最后计算θ₇＝|e₃+e₄|/|e₃-e₄|，θ₈＝|e₁+e₂|/|e₁-e₂|；所述计算单元五用于对于更新后的吹哨动作人脸形状S_d1，S_d2，…，S_dn，先计算max(R^d1，R^d2，...，R^dn)，

再计算θ₉＝|f₁+R⁰|/|f₁-R⁰|，θ₁₀＝arccos(f₂)，θ₁₁＝|θ₁₀|；所述设置比较单元用于设置θ₁对应的阈值θ’₁，θ₂对应的阈值θ’₂，θ₄对应的阈值θ’₄，θ₆对应的阈值θ’₆，θ₈对应的阈值θ’₈，θ₁₀对应的阈值θ’₁₀，θ₁₁对应的阈值θ’₁₁，并比较θ₁与θ’₁，θ₂与θ’₂，θ₄与θ’₄，θ₆与θ’₆，θ₈与θ’₈，θ₁₀与θ’₁₀，θ₁₁与θ’₁₁；所述判定单元用于根据所述设置比较单元的比较结果进行判定；若θ₁＞θ′₁或θ₂＜θ′₂，所述判定单元则判定所述待检测用户存在面瘫症状且属于严重面瘫，并计算相应的面瘫指数K1＝(0.2θ₁/θ₂)+(0.1d⁰/θ₃)+(0.1/θ₄)+(0.3θ₅/θ₆)+(0.3/θ₇)+(0.3/θ₈)+(0.1θ₁₁/θ₉)；若θ₁≤θ’₁且θ₂≥θ’₂，同时满足θ₆＜θ’₆或θ₈＜θ’₈或θ₁₁＞θ’₁₁时，所述判定单元则判定所述待检测用户存在面瘫症状但不属于严重面瘫，并计算相应的面瘫指数K2＝(0.1/θ₄)+(0.3/θ₆)+(0.3/θ₈)+0.1θ₁₁；若θ₁₀≠0，所述判定单元则判定所述待检测用户存在面瘫症状且属于半脸面瘫；若满足以下条件：θ₁≤θ’₁、θ₂≥θ’₂、θ₆≥θ’₆、θ₈≥θ’₈、θ₁₁≤θ’₁₁，所述判定单元则判定所述待检测用户不存在面瘫症状。

相较于现有的面瘫程度评测方法，本发明的CV下基于H-B分级的精准面瘫程度评测方法及装置具有以下有益效果：

该CV下基于H-B分级的精准面瘫程度评测方法，其先建立面瘫关键点检测模型，并在模型中选取面部中的眉毛、眼睛、鼻子、嘴唇等的面瘫关键点，再获取待检测用户的待检测数据并对所述待检测数据进行处理，采集用户在无表情、皱眉、闭眼、微笑以及吹哨过程中的图像，并将图像输入至面瘫关键点检测模型中输出多组人脸形状，随后分别对各组人脸形状进行线性回归等操作，获得一系列面瘫关联元素并对人脸形状进行更新，最后计算更新后的各组人脸形状的各种特征值，并针对特征值之间的关系对待检测用户的面瘫程度进行评测，实现对用户面瘫程度的精确评测。这样获取待检测用户脸部的静态图像及动态视频，利用面瘫关键点检测模型分别在静态图像及动态视频中提取待检测用户脸部的静态图像及动态视频的所有关键点，根据待检测用户在不同表情下面部对应关键区域面积关系综合评价检测用户面瘫程度，可以使检测模型具有较高的检测定位精度，结合优选的不同表情下面部对应关键区域面积关系，大大提升待检测用户面瘫程度综合评价及检测的精度及准度，为面瘫患者的预防发现及治疗提供有力支撑。

而且，该CV下基于H-B分级的精准面瘫程度评测方法由于可以采用计算机视觉技术检测用户的面部图像，并通过计算机执行其他步骤，这样在应用时可以直接使用在现有的手机、计算机等设备中，也可以使用在专门评估用户的面瘫程度的医疗设备中，还可以作为独立模块进行产品化应用，可以大规模、产业化应用在面瘫识别和程度评测设备中，提高现有的医疗设备的评测效率和准确性。

该CV下基于H-B分级的精准面瘫程度评测装置，其有益效果与上述的CV下基于H-B分级的精准面瘫程度评测方法的有益效果相同，在此不再做赘述。

附图说明

图1为本发明实施例1的CV下基于H-B分级的精准面瘫程度评测方法的流程图。

图2为本发明实施例1的CV下基于H-B分级的精准面瘫程度评测方法所建立的面瘫关键点检测模型中面瘫关键点在人脸中具***置分布图。

图3为本发明实施例2的CV下基于H-B分级的精准面瘫程度评测方法所建立的深度全卷积网络模型的结构示例图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

实施例1

请参阅图1，本实施例提供了一种CV下基于H-B分级的精准面瘫程度评测方法，该方法能够应用于面瘫检测设备中，作为医疗设备的检测方法对面瘫患者的面瘫程度进行检测，并且能够大规模、广泛地进行产业化应用，例如可以作为独立的程序应用在手机端、客户端中，可供面瘫患者在非治疗时期进行纠正和检查，同时也可以供非面瘫患者做预防方法使用。其中，该精准面瘫程度评测方法包括以下这些步骤，即步骤(1)-(3)。

步骤(1)：建立面瘫关键点检测模型。在本实施例中，面瘫关键点检测模型的建立方法包括以下这些步骤，即步骤(1.1)-(1.4)。

(1.1)创建深度全卷积网络模型。在深度全卷积网络模型中，下采样及上采样层数均为N₀，N₀为正整数。相邻的下采样及上采样间，或下采样与下采样间，或上采样与上采样间均堆叠多层卷积层(层数大于等于1)，输入层通道数为3或1，输出层通道数与面瘫关键点检测模型所需检测的关键点个数相同，输出层中每一个通道一一对应且仅表示面瘫关键点检测中一个具体的关键点。而且，在深度全卷积网络模型中，输出层采用one-hot编码，输入层没有激活函数，输出层的激活函数为sigmoid函数，紧邻输出层的卷积层的激活函数为tanh函数，其他所有卷积层的激活函数均为Rule函数。并且，利用高斯分布随机数初始化深度全卷积网络模型的所有权值和阈值，学习率初始化为le，模型目标Loss阈值设置为m，模型最大训练次数设置为T，并通过贝叶斯正则化或动量梯度下降进行优化，损失函数为BinaryCrossEntropy、FocalLoss、MSE中的一种。

(1.2)通过多个已标定训练样本以获取模型训练集。在本实施例中，已标定训练样本的获取方法包括以下步骤：先通过至少一个摄影设备获取包含人脸的图像Im作为模型训练集中一个训练样本的数据，再标定图像Im中所有人脸的关键点的坐标值并作为训练样本的标签，并重复进行以获得多个已标定训练样本，即重复该步骤N1次以获取N₁个已标定训练样本组成训练集P，其中N₁可以根据用户实际应用需要而自定义。

(1.3)在模型训练集中选取一组已标定训练样本输入至深度全卷积网络模型中进行训练。在本实施例中，按照一个预设前向传播公式计算深度全卷积网络模型的输出，按照一个预设误差公式计算出该已标定训练样本输入到深度全卷积网络模型后的模型输出和已标定训练样本标签间的误差，并通过反向传播更新深度全卷积网络模型所有权值和阈值。

(1.4)判断步骤(1.3)的执行次数是否达到一个预设的最大训练次数；在执行次数未达到最大训练次数时，获取深度全卷积网络模型一个周期的损失值，并判断损失值是否大于模型目标损失阈值；在损失值大于模型目标损失阈值时，执行步骤(1.3)；在损失值小于模型目标损失阈值或执行次数达到最大训练次数时，将深度全卷积网络模型作为面瘫关键点检测模型。在本步骤中，实际上为不断重复步骤(1.3)，每执行一次步骤(1.3)后获取模型一个epoch的Loss值M，若M小于模型目标Loss阈值m，或重复执行步骤(1.3)的次数达到模型最大训练次数T，则不再执行步骤(1.3)，深度全卷积网络模型训练完成，选取该已训练完成的深度全卷积网络模型作为面瘫关键点检测模型。

请参阅图2，在面瘫关键点检测模型中，定义一对眉毛的邻近两点为面瘫关键点s₁、s₂，鼻子的鼻根点为面瘫关键点s₃，鼻子的鼻梁上下两点为面瘫关键点s₄、s₅，鼻子的准头点为面瘫关键点s₆，鼻子的鼻尖为面瘫关键点s₇，上唇的中部顶点为面瘫关键点s₈，下唇的中部低点为面瘫关键点s₉，嘴角两点为面瘫关键点s₁₀、s₁₃，上唇的两个最高点为面瘫关键点s₁₁、s₁₂，一对眼睛的相邻两点为面瘫关键点s₁₄、s₁₉，其中一只眼睛的眼球与眼眶的四个交点为面瘫关键点s₁₅、s₁₆、s₁₇、s₁₈，其中另一只眼睛的眼球与眼眶的四个交点为面瘫关键点s₂₀、s₂₁、s₂₂、s₂₃。面瘫关键点s₁所在的眉毛上另外两点为面瘫关键点s₂₄、s₂₅，面瘫关键点s₂所在的眉毛上另外两点为面瘫关键点s₂₆、s₂₇。在本实施例中，定义面瘫关键点s₁₄、s₁₅、s₁₆、s₁₇、s₁₈位于面瘫关键点检测模型中整个人脸的右脸，面瘫关键点s₁₉、s₂₀、s₂₁、s₂₂、s₂₃位于面瘫关键点检测模型中整个人脸的左脸。这里需要指出的是，以所有面瘫关键点为元素形成的集合表示人脸形状。这里的左右关系是相对于待检测用户而言，而非他人所看到的待检测用户的面部情况。

步骤(2)：获取待检测数据并对待检测数据进行处理。其中，待检测数据包括待检测用户整个人脸的无表情自然状态静态图像以及待检测用户在做皱眉动作全过程中所产生的序列图像一，在做闭眼动作全过程的序列图像二，在做微笑动作全过程的序列图像三，在做吹哨动作全过程的序列图像四。在本实施例中，通过摄影设备，获取：包含待检测用户整个人脸的1张无表情自然状态静态图像Img₀；包含待检测用户整个人脸的1组(包含n张)待检测用户在做皱眉动作全过程的序列图像Img_a1，Img_a2，…，Img_an；包含待检测用户整个人脸的1组(包含n张)待检测用户在做闭眼动作全过程的序列图像Img_b1，Img_b2，…，Img_bn；包含待检测用户整个人脸的1组(包含n张)待检测用户在做微笑动作全过程的序列图像Img_c1，Img_c2，…，Img_cn；包含待检测用户整个人脸的1组(包含n张)待检测用户在做吹哨动作全过程的序列图像Img_d1，Img_d2，…，Img_dn，其中n可以根据用户实际应用需要而自定义。而待检测数据的处理方法包括以下这些步骤，即步骤(2.1)和步骤(2.2)，步骤(2.2)还可以拆分为多个子步骤单独执行。

(2.1)将无表情自然状态静态图像、序列图像一、序列图像二、序列图像三以及序列图像四依次输入至面瘫关键点检测模型中以输出相应的多组人脸形状。即：将图像Img₀，Img_a1，Img_a2...Img_an，Img_b1，Img_b2...Img_bn，Img_c1，Img_c2...Img_cn，Img_d1，Img_d2...Img_dn依次输入至面瘫关键点检测模型获得对应输出人脸形状S₀，S_a1，S_a2，…，S_an，S_b1，S_b2，…，S_bn，S_c1，S_c2，，…，S_cn，S_d1，S_d2，…，S_dn。其中：

(2.2)首先，对多组人脸形状(S₀，S_a1，S_a2，…，S_an，S_b1，S_b2，…，Sb_n，S_c1，S_c2，…，S_cn，S_d1，S_d2，…，S_dn)依次分别基于面瘫关键点s₁₄、s₁₉进行线性回归获得直线l₁，并确定面瘫关键点s₁₄、s₁₉的中点p₅。其次，基于面瘫关键点s₃、s₄、s₅、s₆、s₇、s₈及点p₅进行线性回归获得直线l₀，并确定直线l₀与直线l₁的交点p₀，还确定面瘫关键点s₁₁与s₁₂的中点p₁。然后，设置向量

向量

向量

并基于面瘫关键点s₁₅、s₁₆、s₁₇、s₁₈统计由其构成的矩形最小包围盒中所包含的像素点个数n₁，基于面瘫关键点s₂₀、s₂₁、s₂₂、s₂₃统计由其构成矩形最小包围盒中所包含的像素点个数n₂。再然后，基于面瘫关键点s₉、s₁₀、s₁₂先计算：k₁＝x_s9(y_s10-y_s12)-y_s9(x_s10-x_s12)+x_s10y_s12-x_s12y_s10，k₂＝(x_s9 ²+y_s9 ²)(y_s12-y_s10)+(x_s10 ²+y_s10 ²)(y_s9-y_s12)+(x_s12 ²+y_s12 ²)(y_s10-y_s9)，k₃＝(x_s9 ²+y_s9 ²)(x_s10-x_s12)+(x_s10 ²+y_s10 ²)(x_s12-x_s9)+(x_s12 ²+y_s12 ²)(x_s9-x_s10)，k₄＝(x_s9 ²+y_s9 ²)(x_s12y_s10-x_s10y_s12)+(x_s10 ²+y_s10 ²)(x_s9y_s12-x_s12y_s9)+(x_s12 ²+y_s12 ²)(x_s10y_s9-x_s9y_s10)，再计算：R＝(k₂ ²+k₃ ²-4k₁k₄)/4k₁ ²。再然后，基于面瘫关键点s₁、S₂₄、s₂₅进行曲线拟合(如通过SmoothingSpline算法进行拟合)获得曲线l₂，基于面瘫关键点s₂、s₂₆、s₂₇进行曲线拟合获得曲线l₃，并确定：与直线l₀平行且经过关键点s₁₇的直线l₄，与直线l₀平行且经过关键点s₁₄的直线为l₅，与直线l₀平行且经过关键点s₁₉的直线为l₆，与直线l₀平行且经过关键点s₂₃的直线为l₇，面瘫关键点s₁₄与s₁₉的欧氏距离为d。最后，将点p₀、点p₁、向量

向量

向量

像素点个数n₁、像素点个数n₂、半径R、距离d、曲线l₂、曲线l₃、直线l₄、直线l₅、直线l₆及直线l₇作为元素加入至对应的人脸形状中以获得更新后人脸形状。其中，更新后的人脸形状依次为：

步骤(3)：待检测用户的面瘫程度进行评测。其中，评测方法包括以下这些步骤，即步骤(3.1)-(3.7)。

(3.1)对于更新后的无表情自然状态人脸形状S₀，

计算：

(3.2)先依次分别统计由曲线l₂、直线l₄、直线l₅所包围封闭区域的像素点个数

并依次分别统计由曲线l₃、直线l₆、直线l₇所包围封闭区域的像素点个数

再计算：

最后计算θ₃＝min(b₁，b₂)，θ₄＝|b₁+b₂|/|b₁-b₂|。

(3.3)对于更新后的闭眼动作人脸形状S_b1，S_b2，…，S_bn，先计算

再计算

最后计算θ₅＝max(d₁，d₂)，θ₆＝|d₁+d₂|/|d₁-d₂|。

(3.4)对于更新后的微笑动作人脸形状S_c1，S_c2，…，S_cn，先依次分别计算面积

并依次分别计算面积

再计算

最后计算θ₇＝|e₃+e₄|/|e₃-e₄|，θ₈＝|e₁+e₂|/|e₁-e₂|。

(3.5)对于更新后的吹哨动作人脸形状S_d1，S_d2，…，S_dn，先计算max(R^d1，R^d2，...，R^dn)，

再计算θ₉＝|f₁+R⁰|/|f₁-R⁰|，θ₁₀＝arccos(f₂)，θ₁₁＝|θ₁₀|。

(3.6)设置θ₁对应的阈值θ’₁，θ₂对应的阈值θ’₂，θ₄对应的阈值θ’₄，θ₆对应的阈值θ’₆，θ₈对应的阈值θ’₈，θ₁₀对应的阈值θ’₁₀，θ₁₁对应的阈值θ’₁₁，并比较θ₁与θ’₁，θ₂与θ’₂，θ₄与θ’₄，θ₆与θ’₆，θ₈与θ’₈，θ₁₀与θ’₁₀，θ₁₁与θ’₁₁。其中，阈值θ’₁、θ’₂、θ’₄、θ’₆、θ’₈、θ’₁₀、θ’₁₁分别根据外部实现情况预设。

(3.7)若θ₁＞θ’₁或θ₂＜θ’₂，则判定待检测用户存在面瘫症状且属于严重面瘫，并计算相应的面瘫指数K1＝(0.2θ₁/θ₂)+(0.1d⁰/θ₃)+(0.1/θ₄)+(0.3θ₅/θ₆)+(0.3/θ₇)+(0.3/θ₈)+(0.1θ₁₁/θ₉)。若θ₁≤θ’₁且θ₂≥θ’₂，同时满足θ₆＜θ’₆或θ₈＜θ’₈或θ₁₁＞θ’₁₁时，则判定待检测用户存在面瘫症状但不属于严重面瘫，并计算相应的面瘫指数K2＝(0.1/θ₄)+(0.3/θ₆)+(0.3/θ₈)+0.1θ₁₁。若θ₁₀≠0，则判定待检测用户存在面瘫症状且属于半脸面瘫。若满足以下条件：θ₁≤θ’₁、θ₂≥θ’₂、θ₆≥θ’₆、θ₈≥θ’₈、θ₁₁≤θ’₁₁，则判定待检测用户不存在面瘫症状。在本实施例中，若θ₁₀＞0，则判定待检测用户的面瘫部位为右脸。若θ₁₀＜0，则判定待检测用户的面瘫部位为右脸。

综上所述，相较于现有的面瘫程度评测方法，本实施例的CV下基于H-B分级的精准面瘫程度评测方法具有以下优点：

该CV下基于H-B分级的精准面瘫程度评测方法，其先建立面瘫关键点检测模型，并在模型中选取面部中的眉毛、眼睛、鼻子、嘴唇等的面瘫关键点，再获取待检测用户的待检测数据并对待检测数据进行处理，采集用户在无表情、皱眉、闭眼、微笑以及吹哨过程中的图像，并将图像输入至面瘫关键点检测模型中输出多组人脸形状，随后分别对各组人脸形状进行线性回归等操作，获得一系列面瘫关联元素并对人脸形状进行更新，最后计算更新后的各组人脸形状的各种特征值，并针对特征值之间的关系对待检测用户的面瘫程度进行评测，实现对用户面瘫程度的精确评测。这样获取待检测用户脸部的静态图像及动态视频，利用面瘫关键点检测模型分别在静态图像及动态视频中提取待检测用户脸部的静态图像及动态视频的所有关键点，根据待检测用户在不同表情下面部对应关键区域面积关系综合评价检测用户面瘫程度，可以使检测模型具有较高的检测定位精度，结合优选的不同表情下面部对应关键区域面积关系，大大提升待检测用户面瘫程度综合评价及检测的精度及准度，为面瘫患者的预防发现及治疗提供有力支撑。

而且，该CV下基于H-B分级的精准面瘫程度评测方法由于可以采用计算机视觉技术检测用户的面部图像，并通过计算机执行其他步骤，这样在应用时可以直接使用在现有的手机、计算机等设备中，也可以使用在专门评估用户的面瘫程度的医疗设备中，还可以作为独立模块进行产品化应用，可以大规模、产业化应用在面瘫识别和程度评测设备中，提高现有的医疗设备的评测效率和准确性。

实施例2

请参阅图3，本实施例提供了一种CV下基于H-B分级的精准面瘫程度评测方法，该方法与实施例1的相似，区别在于本实施例的深度全卷积网络模型不同。本实施例的深度全卷积网络模型的具体结构，可根据用户具体要求而单独设计，为方便进一步介绍，现设计一个深度全卷积网络模型结构示例如图3所示。深度全卷积网络模型的下采样及上采样层数均为3层，下采样均采用maxpooling最大值池化方式，池化层尺寸均为2×2且步长均为2，上采样均采用dconv反卷积方式，反卷积层尺寸均为2×2且步长均为2，各相邻上采样或下采样间分别间隔由多层卷积层堆叠的卷积层模块conv1、conv2、conv3、conv4、conv5和conv6。其中，conv1由9层卷积层堆叠组成，conv1第一层卷积层如“64@1×1，1”表示conv1所组成的第一层卷积层的卷积核大小为1×1，数量为64，步长为1。conv1第二层卷积层如“64@3×3，1”表示conv1所组成的第二层卷积层的卷积核大小为3×3，数量为64，步长为1。conv1第三层卷积层如“128@1×1，1”表示conv1所组成的第三层卷积层的卷积核大小为1×1，数量为128，步长为1。conv1第四层卷积层如“64@1×1，1”表示conv1所组成的第四层卷积层的卷积核大小为1×1，数量为64，步长为1。conv1第五层卷积层如“64@3×3，1”表示conv1所组成的第五层卷积层的卷积核大小为3×3，数量为64，步长为1。conv1第六层卷积层如“128@1×1，1”表示conv1所组成的第六层卷积层的卷积核大小为1×1，数量为128，步长为1。conv1第七层卷积层如“64@1×1，1”表示conv1所组成的第七层卷积层的卷积核大小为1×1，数量为64，步长为1。conv1第八层卷积层如“64@3×3，1”表示conv1所组成的第八层卷积层的卷积核大小为3×3，数量为64，步长为1。conv1第九层卷积层如“128@1×1，1”表示conv1所组成的第九层卷积层的卷积核大小为1×1，数量为128，步长为1。对于其他卷积层模块conv2、conv3、conv4、conv5和conv6均具有相同规律，在此不再赘述。输入层通道数为3，输出层通道数为27，输出层采用one-hot编码并且输出层中每一个通道一一对应并仅表示面瘫关键点检测中一个具体的关键点，输入层没有激活函数，输出层的激活函数为sigmoid函数，紧邻输出层的卷积层的激活函数为tanh函数，其他所有卷积层的激活函数均为Rule函数。另外，利用高斯分布随机数初始化深度全卷积网络模型的所有权值和阈值，学习率初始化为0.001，模型目标Loss阈值为0.1，模型最大训练次数设置为20000，并通过Adam进行优化，损失函数为BinaryCrossEntropy。

实施例3

本实施例提供了一种CV下基于H-B分级的精准面瘫程度评测装置，该装置应用实施例1或实施例2的CV下基于H-B分级的精准面瘫程度评测方法。其中，精准面瘫程度评测装置包括检测模型建立模块、数据获取模块、数据处理模块以及面瘫程度综合评测模块，数据获取模块和数据处理模块可以组成一个待检测数据获取及处理模块。这些模块可以作为计算机程序模块，也可以作为硬件模块，其能够执行实施例1或实施例2中所介绍的相关步骤。

检测模型建立模块用于建立面瘫关键点检测模型，其实际上用于执行实施例1中的步骤(1)。在面瘫关键点检测模型中，定义一对眉毛的邻近两点为面瘫关键点s₁、s₂，鼻子的鼻根点为面瘫关键点s₃，鼻子的鼻梁上下两点为面瘫关键点s₄、s₅，鼻子的准头点为面瘫关键点s₆，鼻子的鼻尖为面瘫关键点s₇，上唇的中部顶点为面瘫关键点s₈，下唇的中部低点为面瘫关键点s₉，嘴角两点为面瘫关键点s₁₀、s₁₃，上唇的两个最高点为面瘫关键点s₁₁、s₁₂，一对眼睛的相邻两点为面瘫关键点s₁₄、s₁₉，其中一只眼睛的眼球与眼眶的四个交点为面瘫关键点s₁₅、s₁₆、s₁₇、s₁₈，其中另一只眼睛的眼球与眼眶的四个交点为面瘫关键点s₂₀、s₂₁、s₂₂、s₂₃，面瘫关键点s₁所在的眉毛上另外两点为面瘫关键点s₂₄、s₂₅，面瘫关键点s₂所在的眉毛上另外两点为面瘫关键点s₂₆、s₂₇，可以以所有面瘫关键点为元素形成的集合表示人脸形状。

数据获取模块用于获取待检测数据，该数据为待检测用户的面部数据。其中，待检测数据包括待检测用户整个人脸的无表情自然状态静态图像以及待检测用户在做皱眉动作全过程中所产生的序列图像一，在做闭眼动作全过程的序列图像二，在做微笑动作全过程的序列图像三，在做吹哨动作全过程的序列图像四。

数据处理模块用于对待检测数据进行处理，而且数据处理模块包括输入单元和更新单元。输入单元用于将无表情自然状态静态图像、序列图像一、序列图像二、序列图像三以及序列图像四依次输入至面瘫关键点检测模型中以输出相应的多组人脸形状。更新单元用于对多组人脸形状依次分别基于面瘫关键点s₁₄、s₁₉进行线性回归获得直线l₁，并确定面瘫关键点s₁₄、s₁₉的中点p₅。更新单元还用于基于面瘫关键点s₃、s₄、s₅、s₆、s₇、s₈及点p₅进行线性回归获得直线l₀，并确定直线l₀与直线l₁的交点p₀，还确定面瘫关键点s₁₁与s₁₂的中点p₁。更新单元还用于设置向量

向量

向量

并基于面瘫关键点s₁₅、s₁₆、s₁₇、s₁₈统计由其构成的矩形最小包围盒中所包含的像素点个数n₁，基于面瘫关键点s₂₀、s₂₁、s₂₂、s₂₃统计由其构成矩形最小包围盒中所包含的像素点个数n₂。更新单元还用于基于面瘫关键点s₉、s₁₀、s₁₂先计算：k₁＝x_s9(y_s10-y_s12)-y_s9(x_s10-x_s12)+x_s10y_s12-x_s12y_s10，k₂＝(x_s9 ²+y_s9 ²)(y_s12-y_s10)+(x_s10 ²+y_s10 ²)(y_s9-y_s12)+(x_s12 ²+y_s12 ²)(y_s10-y_s9)，k₃＝(x_s9 ²+y_s9 ²)(x_s10-x_s12)+(x_s10 ²+y_s10 ²)(x_s12-x_s9)+(x_s12 ²+y_s12 ²)(x_s9-x_s10)，k₄＝(x_s9 ²+y_s9 ²)(x_s12y_s10-x_s10y_s12)+(x_s10 ²+y_s10 ²)(x_s9y_s12-x_s12y_s9)+(x_s12 ²+y_s12 ²)(x_s10y_s9-x_s9y_s10)，再计算：R＝(k₂ ²+k₃ ²-4k₁k₄)/4k₁ ²。更新单元还用于基于面瘫关键点s₁、s₂₄、s₂₅进行曲线拟合获得曲线l₂，基于面瘫关键点s₂、s₂₆、s₂₇进行曲线拟合获得曲线l₃，并确定：与直线l₀平行且经过关键点s₁₇的直线l₄，与直线l₀平行且经过关键点s₁₄的直线为l₅，与直线l₀平行且经过关键点s₁₉的直线为l₆，与直线l₀平行且经过关键点s₂₃的直线为l₇，面瘫关键点s₁₄与s₁₉的欧氏距离为d。更新单元还用于将点p₀、点p₁、向量

向量

向量

像素点个数n₁、像素点个数n₂、半径R、距离d、曲线l₂、曲线l₃、直线l₄、直线l₅、直线l₆及直线l₇作为元素加入至对应的人脸形状中以获得更新后人脸形状。

面瘫程度综合评测模块用于对待检测用户的面瘫程度进行评测。面瘫程度综合评测模块包括计算单元一、计算单元二、计算单元三、计算单元四、计算单元五、设置比较单元以及判定单元。面瘫程度综合评测模块实际上用于执行实施例1中的步骤(3)，而各个单元则分别用于执行步骤(3.1)-(3.7)。

计算单元一用于对于更新后的无表情自然状态人脸形状S₀，计算：

计算单元二用于对于更新后的皱眉动作人脸形状S_a1，S_a2，…，S_an，先依次分别统计由曲线l₂、直线l₄、直线l₅所包围封闭区域的像素点个数

并依次分别统计由曲线l₃、直线l₆、直线l₇所包围封闭区域的像素点个数

再计算：

最后计算θ₃＝min(b₁，b₂)，θ₄＝|b₁+b₂|/|b₁-b₂|。

计算单元三用于对于更新后的闭眼动作人脸形状S_b1，S_b2，…，S_bn，先计算

再计算

最后计算θ₅＝max(d₁，d₂)，θ₆＝|d₁+d₂|/|d₁-d₂|。计算单元四用于对于更新后的微笑动作人脸形状S_c1，S_c2，…，S_cn，先依次分别计算面积

并依次分别计算面积

再计算

最后计算θ₇＝|e₃+e₄|/|e₃-e₄|，θ₈＝|e₁+e₂|/|e₁-e₂|。

计算单元五用于对于更新后的吹哨动作人脸形状Sd₁，Sd₂，…，Sdn，先计算

再计算θ₉＝|f₁+R⁰|/|f₁-R⁰|，θ₁₀＝arccos(f₂)，θ₁₁＝|θ₁₀|。设置比较单元用于设置θ₁对应的阈值θ’₁，θ₂对应的阈值θ’₂，θ₄对应的阈值θ’₄，θ₆对应的阈值θ’₆，θ₈对应的阈值θ’₈，θ₁₀对应的阈值θ’₁₀，θ₁₁对应的阈值θ’₁₁，并比较θ₁与θ’₁，θ₂与θ’₂，θ₄与θ’₄，θ₆与θ’₆，θ₈与θ’₈，θ₁₀与θ’₁₀，θ₁₁与θ’₁₁。其中，阈值θ’₁、θ′₂、θ′₄、θ’₆、θ’₁₀、θ’₁₁分别根据外部实现情况预设，即根据需要情况进行确定。判定单元用于根据设置比较单元的比较结果进行判定。若θ₁＞θ’₁或θ₂＜θ’₂，判定单元则判定待检测用户存在面瘫症状且属于严重面瘫，并计算相应的面瘫指数K1＝(0.2θ₁/θ₂)+(0.1d⁰/θ₃)+(0.1/θ₄)+(0.3θ₅/θ₆)+(0.3/θ₇)+(0.3/θ₈)+(0.1θ₁₁/θ₉)。若θ₁≤θ’₁且θ₂≥θ’₂，同时满足θ₆＜θ’₆或θ₈＜θ’₈或θ₁₁＞θ’₁₁时，判定单元则判定待检测用户存在面瘫症状但不属于严重面瘫，并计算相应的面瘫指数K2＝(0.1/θ₄)+(0.3/θ₆)+(0.3/θ₈)+0.1θ₁₁。若θ₁₀≠0，判定单元则判定待检测用户存在面瘫症状且属于半脸面瘫。若满足以下条件：θ₁≤θ’₁、θ₂≥θ’₂、θ₆≥θ’₆、θ₈≥θ’₈、θ₁₁≤θ’₁₁，判定单元则判定待检测用户不存在面瘫症状。

该CV下基于H-B分级的精准面瘫程度评测装置相较于现有面瘫程度评测设备，其所具有的优点与实施例1中的CV下基于H-B分级的精准面瘫程度评测方法的优点相同，在此不再做赘述。

实施例4

本实施例提供一种计算机终端，其包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序。处理器执行程序时实现实施例1的CV下基于H-B分级的精准面瘫程度评测方法的步骤。

实施例1的方法在应用时，可以软件的形式进行应用，如设计成独立运行的程序，安装在计算机终端上，计算机终端可以是电脑、智能手机、控制***以及其他物联网设备等。实施例1的方法也可以设计成嵌入式运行的程序，安装在计算机终端上，如安装在单片机上。

实施例5

本实施例提供一种计算机可读存储介质，其上存储有计算机程序。程序被处理器执行时，实现实施例1的CV下基于H-B分级的精准面瘫程度评测方法的步骤。

实施例1的方法在应用时，可以软件的形式进行应用，如设计成计算机可读存储介质可独立运行的程序，计算机可读存储介质可以是U盘，设计成U盾，通过U盘设计成通过外在触发启动整个方法的程序。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种CV下基于H-B分级的精准面瘫程度评测方法，其特征在于，其包括以下步骤：

(1)确定左眉毛的面瘫关键点s₁、s₂₄、s₂₅，右眉毛的面瘫关键点s₂、s₂₆、s₂₇，鼻子的面瘫关键点s₃、s₄、s₅、s₆、s₇，嘴唇的面瘫关键点s₈、s₉、s₁₀、s₁₁、s₁₂、s₁₃，左眼的面瘫关键点s₁₄、s₁₅、s₁₆、s₁₇、s₁₈，右眼的面瘫关键点s₁₉、s₂₀、s₂₁、s₂₂、s₂₃；定义(x_sm，y_sm)为面瘫关键点s_m的坐标，m＝{1，2，...，27}，以所有面瘫关键点为元素形成的集合表示人脸形状；

(2)获取待检测用户整个人脸在无表情自然状态、做皱眉动作全过程、做闭眼动作全过程以及做吹哨动作全过程中产生的多组人脸形状；多组人脸形状分别为待检测用户整个人脸的无表情自然状态静态图像以及待检测用户在做皱眉动作全过程中所产生的序列图像一，在做闭眼动作全过程的序列图像二，在做微笑动作全过程的序列图像三，在做吹哨动作全过程的序列图像四；

将所述无表情自然状态静态图像、所述序列图像一、所述序列图像二、所述序列图像三以及所述序列图像四依次输入至所述面瘫关键点检测模型中以输出相应的多组人脸形状；

对多组人脸形状依次分别基于面瘫关键点s₁₄、s₁₉进行线性回归获得直线l₁，并确定面瘫关键点s₁₄、s₁₉的中点p₅；

对多组人脸形状依次分别基于面瘫关键点s₃、s₄、s₅、s₆、s₇、s₈及点p₅进行线性回归获得直线l₀，并确定直线l₀与直线l₁的交点p₀，还确定面瘫关键点s₁₁与s₁₂的中点p₁；

设置向量

向量

向量

并基于面瘫关键点s₁₅、s₁₆、s₁₇、s₁₈统计由其构成的矩形最小包围盒中所包含的像素点个数n₁，基于面瘫关键点s₂₀、s₂₁、s₂₂、s₂₃统计由其构成矩形最小包围盒中所包含的像素点个数n₂；

基于面瘫关键点s₉、s₁₀、s₁₂，计算：k₁＝x_s9(y_s10-y_s12)-y_s9(x_s10-xs12+xs10ys12-xs12ys10，

k₂＝(x_s9 ²+y_s9 ²)(y_s12-y_s10)+(x_s10 ²+y_s10 ²)(y_s9-y_s12)+(x_s12 ²+y_s12 ²)(y_s10-y_s9)，

k₃＝(x_s9 ²+y_s9 ²)(x_s10-x_s12)+(x_s10 ²+y_s10 ²)(x_s12-x_s9)+(x_s12 ²+y_s12 ²)(x_s9-x_s10)，

k₄＝(x_s9 ²+y_s9 ²)(x_s12y_s10-x_s10y_s12)+(x_s10 ²+y_s10 ²)(x_s9y_s12-x_s12y_s9)+(x_s12 ²+y_s12 ²)(x_s10y_s9-x_s9y_s10)，R＝(k₂ ²+k₃ ²-4k₁k₄)/4k₁ ²；

基于面瘫关键点s₁、s₂₄、s₂₅进行曲线拟合获得曲线l₂，基于面瘫关键点s₂、s₂₆、s₂₇进行曲线拟合获得曲线l₃，并确定：与直线l₀平行且经过关键点s₁₇的直线l₄，与直线l₀平行且经过关键点s₁₄的直线为l₅，与直线l₀平行且经过关键点s₁₉的直线为l₆，与直线l₀平行且经过关键点s₂₃的直线为l₇，面瘫关键点s₁₄与s₁₉的欧氏距离为d；

将点p₀、点p₁、向量

向量

向量

像素点个数n₁、像素点个数n₂、半径R、距离d、曲线l₂、曲线l₃、直线l₄、直线l₅、直线l₆及直线l₇作为元素加入至对应的人脸形状中以获得更新后人脸形状；

(3)对于更新后的无表情自然状态人脸形状S₀，计算：

式中，

分别为人脸形状S₀的向量

在横纵坐标轴上的投影值，

分别为人脸形状S₀的向量

在横纵坐标轴上的投影值，

对应人脸形状S₀的像素点个数n₁、n₂；

对于更新后的皱眉动作人脸形状S_a1，S_a2，…，S_an，先依次分别统计由相应的曲线l₂、直线l₄、直线l₅所包围封闭区域的像素点个数

并依次分别统计由相应的曲线l₃、直线l₆、直线l₇所包围封闭区域的像素点个数

再计算：

最后计算θ₃＝min(b₁，b₂)，θ₄＝|b₁+b₂|/|b₁-b₂|；

对于更新后的闭眼动作人脸形状S_b1，S_b2，…，S_bn，先计算

再计算

最后计算θ₅＝max(d₁，d₂)，θ₆＝|d₁+d₂|/|d₁-d₂|；

对于更新后的微笑动作人脸形状S_c1，S_c2，…，S_cn，先依次分别计算面积

并依次分别计算面积

再计算

最后计算θ₇＝|e₃+e₄|/|e₃-e₄|，θ₈＝|e₁+e₂|/|e₁-e₂|；

对于更新后的吹哨动作人脸形状S_d1，S_d2，…，S_dn，先计算max(R^d1，R^d2，…，R^dn)，

再计算θ₉＝|f₁+R⁰|/|f₁-R⁰|，θ₁₀＝arccos(f₂)，θ₁₁＝|θ₁₀|；

将θ₁、θ₂、θ₄、θ₆、θ₈、θ₁₀、θ₁₁分别与其阈值比较；

通过比较结果对待检测用户的面瘫程度进行判定，并计算面瘫指数；

其中，步骤(3)还包括：设置θ₁对应的阈值θ′₁，θ₂对应的阈值θ′₂，θ₄对应的阈值θ’₄，θ₆对应的阈值θ’₆，θ₈对应的阈值θ′₈，θ₁₀对应的阈值θ′₁₀，θ₁₁对应的阈值θ′₁₁，并比较θ₁与θ′₁，θ₂与θ′₂，θ₄与θ’₄，θ₆与θ’₆，θ₈与θ’₈，θ₁₀与θ′₁₀，θ₁₁与θ′₁₁；其中，阈值θ′₁、θ′₂、θ′₄、θ′₆、θ′₈、θ′₁₀、θ′₁₁分别根据外部实现情况预设；

若θ₁＞θ′₁或θ₂＜θ’₂，则判定所述待检测用户存在面瘫症状且属于严重面瘫，并计算相应的面瘫指数K1＝(0.2θ₁/θ₂)+(0.1d⁰/θ₃)+(0.1/θ₄)+(0.3θ₅/θ₆)+(0.3/θ₇)+(0.3/θ₈)+(0.1θ₁₁/θ₉)；

若θ₁≤θ′₁且θ₂≥θ’₂，同时满足θ₆＜θ’₆或θ₈＜θ′₈或θ₁₁＞θ′₁₁时，则判定所述待检测用户存在面瘫症状但不属于严重面瘫，并计算相应的面瘫指数K2＝(0.1/θ₄)+(0.3/θ₆)+(0.3/θ₈)+0.1θ₁₁；

若θ₁₀≠0，则判定所述待检测用户存在面瘫症状且属于半脸面瘫；

若满足以下条件：θ₁≤θ′₁、θ₂≥θ’₂、θ₆≥θ′₆、θ₈≥θ’₈、θ₁₁≤θ′₁₁，则判定所述待检测用户不存在面瘫症状。

2.如权利要求1所述的CV下基于H-B分级的精准面瘫程度评测方法，其特征在于，步骤(1)还包括：建立面瘫关键点检测模型；在所述面瘫关键点检测模型中，一对眉毛的邻近两点为面瘫关键点s₁、s₂，鼻子的鼻根点为面瘫关键点s₃，鼻子的鼻梁上下两点为面瘫关键点s₄、s₅，鼻子的准头点为面瘫关键点s₆，鼻子的鼻尖为面瘫关键点s₇，上唇的中部顶点为面瘫关键点s₈，下唇的中部低点为面瘫关键点s₉，嘴角两点为面瘫关键点s₁₀、s₁₃，上唇的两个最高点为面瘫关键点s₁₁、s₁₂，一对眼睛的相邻两点为面瘫关键点s₁₄、s₁₉，其中一只眼睛的眼球与眼眶的四个交点为面瘫关键点s₁₅、s₁₆、s₁₇、s₁₈，其中另一只眼睛的眼球与眼眶的四个交点为面瘫关键点s₂₀、s₂₁、s₂₂、s₂₃，面瘫关键点s₁所在的眉毛上另外两点为面瘫关键点s₂₄、s₂₅，面瘫关键点s₂所在的眉毛上另外两点为面瘫关键点s₂₆、s₂₇。

3.如权利要求2所述的CV下基于H-B分级的精准面瘫程度评测方法，其特征在于，更新后人脸形状依次为：

4.如权利要求3所述的CV下基于H-B分级的精准面瘫程度评测方法，其特征在于，所述面瘫关键点检测模型的建立方法包括以下步骤：

(1.1)创建深度全卷积网络模型；

(1.2)通过多个已标定训练样本以获取模型训练集；

(1.3)在所述模型训练集中选取一组已标定训练样本输入至所述深度全卷积网络模型中进行训练；以及

(1.4)判断步骤(1.3)的执行次数是否达到一个预设的最大训练次数；

在所述执行次数未达到所述最大训练次数时，获取所述深度全卷积网络模型一个周期的损失值，并判断所述损失值是否大于模型目标损失阈值；

在所述损失值大于所述模型目标损失阈值时，执行步骤(1.3)；

在所述损失值小于所述模型目标损失阈值或所述执行次数达到所述最大训练次数时，将所述深度全卷积网络模型作为面瘫关键点检测模型；

或，

在所述深度全卷积网络模型中，下采样及上采样层数均为N₀，N₀为正整数；相邻的下采样及上采样间，或下采样与下采样间，或上采样与上采样间均堆叠多层卷积层；输入层通道数为3或1；

或，

在所述深度全卷积网络模型中，输入层没有激活函数，输出层的激活函数为sigmoid函数，紧邻输出层的卷积层的激活函数为tanh函数，其他所有卷积层的激活函数均为Rule函数；

或，

利用高斯分布随机数初始化所述深度全卷积网络模型的所有权值和阈值，学习率初始化为le，模型目标Loss阈值设置为m，模型最大训练次数设置为T，并通过贝叶斯正则化或动量梯度下降进行优化，损失函数为Binary Cross Entropy、Focal Loss、MSE中的一种；

或，

所述已标定训练样本的获取方法包括以下步骤：先通过至少一个摄影设备获取包含人脸的图像Im作为所述模型训练集中一个训练样本的数据，再标定图像Im中所有人脸的关键点的坐标值并作为训练样本的标签，并重复进行以获得多个已标定训练样本；

或，

按照一个预设前向传播公式计算所述深度全卷积网络模型的输出，按照一个预设误差公式计算出该所述已标定训练样本输入到所述深度全卷积网络模型后的模型输出和所述已标定训练样本标签间的误差，并通过反向传播更新所述深度全卷积网络模型所有权值和阈值；

或，

定义面瘫关键点s₁₄、s₁₅、s₁₆、s₁₇、s₁₈位于所述面瘫关键点检测模型中整个人脸的右脸，面瘫关键点s₁₉、s₂₀、s₂₁、s₂₂、s₂₃位于所述面瘫关键点检测模型中整个人脸的左脸；则在步骤(3.7)中，

若θ₁₀＞0，则判定所述待检测用户的面瘫部位为右脸；

若θ₁₀＜0，则判定所述待检测用户的面瘫部位为右脸；

或，

所述深度全卷积网络模型的下采样及上采样层数均为3各相邻上采样或下采样间分别间隔由多层卷积层堆叠的卷积层模块，输入层通道数为3，输出层通道数为27，学习率初始化为0.001，模型目标Loss阈值为0.1，模型最大训练次数设置为20000。

5.一种CV下基于H-B分级的精准面瘫程度评测装置，其应用于如权利要求1-4中任意一项所述的CV下基于H-B分级的精准面瘫程度评测方法，其特征在于，其包括：

检测模型建立模块，其用于建立面瘫关键点检测模型；在所述面瘫关键点检测模型中，定义一对眉毛的邻近两点为面瘫关键点s₁、s₂，鼻子的鼻根点为面瘫关键点s₃，鼻子的鼻梁上下两点为面瘫关键点s₄、s₅，鼻子的准头点为面瘫关键点s₆，鼻子的鼻尖为面瘫关键点s₇，上唇的中部顶点为面瘫关键点s₈，下唇的中部低点为面瘫关键点s₉，嘴角两点为面瘫关键点s₁₀、s₁₃，上唇的两个最高点为面瘫关键点s₁₁、s₁₂，一对眼睛的相邻两点为面瘫关键点s₁₄、s₁₉，其中一只眼睛的眼球与眼眶的四个交点为面瘫关键点s₁₅、s₁₆、s₁₇、s₁₈，其中另一只眼睛的眼球与眼眶的四个交点为面瘫关键点s₂₀、s₂₁、s₂₂、s₂₃，面瘫关键点s₁所在的眉毛上另外两点为面瘫关键点s₂₄、s₂₅，面瘫关键点s₂所在的眉毛上另外两点为面瘫关键点s₂₆、s₂₇，以所有面瘫关键点为元素形成的集合表示人脸形状；

数据获取模块，其用于获取待检测数据；其中，所述待检测数据包括待检测用户整个人脸的无表情自然状态静态图像以及所述待检测用户在做皱眉动作全过程中所产生的序列图像一，在做闭眼动作全过程的序列图像二，在做微笑动作全过程的序列图像三，在做吹哨动作全过程的序列图像四；

数据处理模块，其用于对所述待检测数据进行处理；所述数据处理模块包括输入单元和更新单元；所述输入单元用于将所述无表情自然状态静态图像、所述序列图像一、所述序列图像二、所述序列图像三以及所述序列图像四依次输入至所述面瘫关键点检测模型中以输出相应的多组人脸形状；所述更新单元用于对多组人脸形状依次分别基于面瘫关键点s₁₄、s₁₉进行线性回归获得直线l₁，并确定面瘫关键点s₁₄、s₁₉的中点p₅；所述更新单元还用于基于面瘫关键点s₃、s₄、s₅、s₆、s₇、s₈及点p₅进行线性回归获得直线l₀，并确定直线l₀与直线l₁的交点p₀，还确定面瘫关键点s₁₁与s₁₂的中点p₁；所述更新单元还用于设置向量

向量

向量

并基于面瘫关键点s₁₅、s₁₆、s₁₇、s₁₈统计由其构成的矩形最小包围盒中所包含的像素点个数n₁，基于面瘫关键点s₂₀、s₂₁、s₂₂、s₂₃统计由其构成矩形最小包围盒中所包含的像素点个数n₂；所述更新单元还用于基于面瘫关键点s₉、s₁₀、s₁₂先计算：k₁＝x_s9(y_s10-y_s12)-y_s9(x_s10-x_s12)+x_s10y_s12-x_s12y_s10，

k₂＝(x_s9 ²+y_s9 ²)(y_s12-y_s10)+(x_s10 ²+y_s10 ²)(y_s9-y_s12)+(x_s12 ²+y_s12 ²)(y_s10-y_s9)，

k₃＝(x_s9 ²+y_s9 ²)(x_s10-x_s12)+(x_s10 ²+y_s10 ²)(x_s12-x_s9)+(x_s12 ²+y_s12 ²)(x_s9-x_s10)，

k₄＝(x_s9 ²+y_s9 ²)(x_s12y_s10-x_s10y_s12)+(x_s10 ²+y_s10 ²)(x_s9y_s12-x_s12y_s9)+(x_s12 ²+y_s12 ²)(x_s10y_s9-x_s9y_s10)，

再计算：R＝(k₂ ²+k₃ ²-4k₁k₄)/4k₁ ²；所述更新单元还用于基于面瘫关键点s₁、s₂₄、s₂₅进行曲线拟合获得曲线l₂，基于面瘫关键点s₂、s₂₆、s₂₇进行曲线拟合获得曲线l₃，并确定：与直线l₀平行且经过关键点s₁₇的直线l₄，与直线l₀平行且经过关键点s₁₄的直线为l₅，与直线l₀平行且经过关键点s₁₉的直线为l₆，与直线l₀平行且经过关键点s₂₃的直线为l₇，面瘫关键点s₁₄与s₁₉的欧氏距离为d；所述更新单元还用于将点p₀、点p₁、向量

向量

向量

像素点个数n₁、像素点个数n₂、半径R、距离d、曲线l₂、曲线l₃、直线l₄、直线l₅、直线l₆及直线l₇作为元素加入至对应的人脸形状中以获得更新后人脸形状；

面瘫程度综合评测模块，其用于对待检测用户的面瘫程度进行评测；所述面瘫程度综合评测模块包括计算单元一、计算单元二、计算单元三、计算单元四、计算单元五、设置比较单元以及判定单元；所述计算单元一用于对于更新后的无表情自然状态人脸形状S₀，计算：

所述计算单元二用于对于更新后的皱眉动作人脸形状S_a1，S_a2，…，S_an，先依次分别统计由曲线l₂、直线l₄、直线l₅所包围封闭区域的像素点个数

并依次分别统计由曲线l₃、直线l₆、直线l₇所包围封闭区域的像素点个数

再计算：

最后计算θ₃＝min(b₁，b₂)，θ₄＝|b₁+b₂|/|b₁-b₂|；所述计算单元三用于对于更新后的闭眼动作人脸形状S_b1，S_b2，…，S_bn，先计算

再计算

最后计算θ₅＝max(d₁，d₂)，θ₆＝|d₁+d₂|/|d₁-d₂|；所述计算单元四用于对于更新后的微笑动作人脸形状S_c1，S_c2，…，S_cn，先依次分别计算面积

并依次分别计算面积

再计算

最后计算θ₇＝|e₃+e₄|/|e₃-e₄|，θ₈＝|e₁+e₂|/|e₁-e₂|；所述计算单元五用于对于更新后的吹哨动作人脸形状S_d1，S_d2，…，S_dn，先计算max(R^d1，R^d2，...，R^dn)，

再计算θ₉＝|f₁+R⁰|/|f₁-R⁰|，θ₁₀＝arccos(f₂)，θ₁₁＝|θ₁₀|；所述设置比较单元用于设置θ₁对应的阈值θ′₁，θ₂对应的阈值θ′₂，θ₄对应的阈值θ’₄，θ₆对应的阈值θ′₆，θ₈对应的阈值θ′₈，θ₁₀对应的阈值θ′₁₀，θ₁₁对应的阈值θ′₁₁，并比较θ₁与θ′₁，θ₂与θ’₂，θ₄与θ′₄，θ₆与θ′₆，θ₈与θ′₈，θ₁₀与θ′₁₀，θ₁₁与θ′₁₁；所述判定单元用于根据所述设置比较单元的比较结果进行判定；若θ₁＞θ’₁或θ₂＜θ’₂，所述判定单元则判定所述待检测用户存在面瘫症状且属于严重面瘫，并计算相应的面瘫指数K1＝(0.2θ₁/θ₂)+(0.1d⁰/θ₃)+(0.1/θ₄)+(0.3θ₅/θ₆)+(0.3/θ₇)+(0.3/θ₈)+(0.1θ₁₁/θ₉)；若θ₁≤θ′₁且θ₂≥θ′₂，同时满足θ₆＜θ’₆或θ₈＜θ’₈或θ₁₁＞θ′₁₁时，所述判定单元则判定所述待检测用户存在面瘫症状但不属于严重面瘫，并计算相应的面瘫指数K2＝(0.1/θ₄)+(0.3/θ₆)+(0.3/θ₈)+0.1θ₁₁；若θ₁₀≠0，所述判定单元则判定所述待检测用户存在面瘫症状且属于半脸面瘫；若满足以下条件：θ₁≤θ′₁、θ₂≥θ’₂、θ₆≥θ’₆、θ₈≥θ′₈、θ₁₁≤θ′₁₁，所述判定单元则判定所述待检测用户不存在面瘫症状。

Images