CN111680545A - 一种基于语义分割的精准面瘫程度评测方法及装置 - Google Patents
一种基于语义分割的精准面瘫程度评测方法及装置 Download PDFInfo
- Publication number
- CN111680545A CN111680545A CN202010335990.XA CN202010335990A CN111680545A CN 111680545 A CN111680545 A CN 111680545A CN 202010335990 A CN202010335990 A CN 202010335990A CN 111680545 A CN111680545 A CN 111680545A
- Authority
- CN
- China
- Prior art keywords
- theta
- point
- facial paralysis
- detected
- threshold value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 208000004929 Facial Paralysis Diseases 0.000 title claims abstract description 220
- 208000036826 VIIth nerve paralysis Diseases 0.000 title claims abstract description 220
- 230000011218 segmentation Effects 0.000 title claims abstract description 74
- 238000011156 evaluation Methods 0.000 title claims abstract description 25
- 238000000034 method Methods 0.000 claims abstract description 98
- 230000014509 gene expression Effects 0.000 claims abstract description 25
- 238000001514 detection method Methods 0.000 claims abstract description 23
- 230000003068 static effect Effects 0.000 claims abstract description 23
- 238000012545 processing Methods 0.000 claims abstract description 17
- 238000012549 training Methods 0.000 claims description 60
- 230000009471 action Effects 0.000 claims description 53
- 230000008569 process Effects 0.000 claims description 38
- 210000004709 eyebrow Anatomy 0.000 claims description 36
- 230000006870 function Effects 0.000 claims description 33
- 238000005070 sampling Methods 0.000 claims description 32
- 208000024891 symptom Diseases 0.000 claims description 19
- 230000004913 activation Effects 0.000 claims description 16
- 238000007664 blowing Methods 0.000 claims description 14
- 206010033799 Paralysis Diseases 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 12
- 230000002265 prevention Effects 0.000 abstract description 5
- 230000001815 facial effect Effects 0.000 description 5
- 238000004590 computer program Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000004399 eye closure Effects 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000012417 linear regression Methods 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 208000006373 Bell palsy Diseases 0.000 description 1
- 206010060891 General symptom Diseases 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 210000001097 facial muscle Anatomy 0.000 description 1
- 210000000256 facial nerve Anatomy 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000007659 motor function Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Biophysics (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Geometry (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于语义分割的精准面瘫程度评测方法及装置。该方法包括:建立面瘫语义分割模型;获取待检测数据并对待检测数据进行处理:将无表情自然状态静态图像、序列图像一、序列图像二、序列图像三以及序列图像四依次输入至面瘫语义分割模型中以输出相应的多组人脸形状,更新多组人脸形状;对待检测用户的面瘫程度进行评测:计算θ1、θ2、θ3、θ4、θ5、θ6、θ7、θ8、θ9、θ10、b1、b2、c1、c2、e1、e2并与其阈值比较;通过比较结果对待检测用户的面瘫程度进行判定,并计算面瘫指数。本发明可以使检测模型具有较高的检测定位精度,大大提升待检测用户面瘫程度综合评价及检测的精度及准度,为面瘫患者的预防发现及治疗提供有力支撑。
Description
技术领域
本发明涉及面瘫识别技术领域的一种精准面瘫程度评测方法,尤其涉及一 种基于语义分割的精准面瘫程度评测方法,还涉及应用该方法的基于语义分割 的精准面瘫程度评测装置。
背景技术
面瘫,一种面部肌肉运动功能受阻的常见病,患者往往难以正常完成如闭 眼、抬眉、鼓腮、皱鼻或张嘴等基本面部动作,而且在我国是发病率较高的地 区。面瘫一般称为面神经麻痹,一般症状是口眼歪斜,患者往往连最基本的抬 眉、闭眼、鼓嘴等动作都无法完成。
目前,面瘫诊断相关的面神经功能评价方法有将近20多种,如H-B分级法、 线性测量指数、诺丁汉分级***及多伦多分级法等,但这些***在评价面瘫程 度的评价标准普遍都存在一定的缺陷,如评价结果很大程度上由于人工操作的 过程中所带有的专家主观性评判,不仅效率较低而且存在较大的误差,由此大 大影响了对面瘫患者的面瘫程度的评估结果,同时对面瘫患者的治疗过程及恢 复情况没有信息化的统计记录而难于准确评价治疗效果,从而对面瘫患者的后 续治疗带来了较大的阻力。因此,需要一种利用现有计算视觉等技术而实现面 瘫程度评测方法,该方法能够应用于面瘫检测设备中,作为医疗设备的检测方 法对面瘫患者的面瘫程度进行检测,并且能够大规模、广泛地进行产业化应用, 例如可以作为独立的程序应用在手机端、客户端中,可供面瘫患者在非治疗时 期进行纠正和检查,同时也可以供非面瘫患者做预防方法使用。
发明内容
为解决现有的面瘫程度评测方法存在误差大,评测效率低的技术问题,本 发明提供一种基于语义分割的精准面瘫程度评测方法及装置。
本发明采用以下技术方案实现:一种基于语义分割的精准面瘫程度评测方 法,其包括以下步骤:
(1)确定两个眉毛区域分别为s1、s2,位于眉毛区域s1一侧的眼白区域为 s3,位于眉毛区域s2一侧的眼白区域为s4,嘴唇区域为s5,以区域s1、s3、s4、 s5为元素形成的集合表示人脸形状;
(2)获取待检测用户整个人脸在无表情自然状态、做皱眉动作全过程、做 闭眼动作全过程以及做吹哨动作全过程中产生的多组人脸形状;
依次分别计算眉毛区域s1的中心点p1,眉毛区域s2的中心点p2,眼白区域s3的中心点p3,眼白区域s4的中心点p4,嘴唇区域s5的中心点p5,点p1与点p2的 中点为p6,点p3与点p4的中点为p7,点p1与点p3的中点为p8,点p2与点p4的中 点为p9;
计算眼白区域s3内x轴取值最大的像素点p10,眼白区域s4内x轴取值最小 的像素点p11,嘴唇区域s5内x轴取值最小的像素点p12,嘴唇区域s5内x轴取值 最大的像素点p13,点p10与点p11的中点为p14;
在过点p14且与直线p10p11相垂直的直线上随机选取一点p15,并计算嘴唇区 域s5内y轴取值大于yp5的所有像素点所组成区域的中心点p16,还计算嘴唇区 域s5内y轴取值小于yp5的所有像素点所组成区域的中心点p17;
设置向量 随后统计眼白区域s3内像素点数量n1以及眼白区域 s4内像素点数量n2,计算嘴唇区域s5的最小包围圆区域s6,并统计最小包围圆 区域s6内像素点数量n3,嘴唇区域s5内像素点数量n4,像素点数量n3与像素点 数量n4的差值n5;
将点p1、点p2、点p3、点p4、点p5、点p6、点p7、点p8、点p9、点p10、点 p11、点p12、点p13、点p14、点p15、点p16、点p17、向量向量向量向量 向量向量向量向量向量向量向量向 量向量面积n1、面积n2、面积n3、面积n4及面积n5作为元素加入至 对应的人脸形状中以获得更新后人脸形状;
将θ1、θ2、θ3、θ4、θ5、θ6、θ7、θ8、θ9、θ10、b1、b2、c1、c2、e1、e2分 别与其阈值比较;
通过比较结果对待检测用户的面瘫程度进行判定,并计算面瘫指数。
本发明先确定面瘫关键点,再获取人脸形状并进行更新,最后根据更新后 的人脸形状并选取参数并对其面瘫程度进行评测,这样获取待检测用户脸部的 静态图像及动态视频,利用面瘫语义分割模型分别在静态图像及动态视频中提 取待检测用户脸部的静态图像及动态视频的所有关于眉毛、眼白及嘴唇的语义 分割信息,根据待检测用户在不同表情下面部对应关键区域间向量关系综合评 价检测用户面瘫程度,可以使检测模型具有较高的检测定位精度,结合优选的 不同表情下面部对应关键区域间向量关系,大大提升待检测用户面瘫程度综合 评价及检测的精度及准度,解决了现有的面瘫程度评测方法存在误差大,评测 效率低的技术问题,得到了面瘫程度探测准确性高,评测效率高,可大规模、 产业化应用在面瘫识别和程度评测设备中的技术效果。
作为上述方案的进一步改进,步骤(1)还包括:建立面瘫语义分割模型, 且建立方法包括以下步骤:
(1.1)创建深度全卷积网络模型;
(1.2)通过多个已标定训练样本以获取模型训练集;
(1.3)在所述模型训练集中选取一组已标定训练样本输入至所述深度全卷 积网络模型中进行训练;以及
(1.4)判断步骤(1.3)的执行次数是否达到一个预设的最大训练次数;
在所述执行次数未达到所述最大训练次数时,获取所述深度全卷积网络模 型一个周期的损失值,并判断所述损失值是否大于模型目标损失阈值;
在所述损失值大于所述模型目标损失阈值时,执行步骤(1.3);
在所述损失值小于所述模型目标损失阈值或所述执行次数达到所述最大训 练次数时,将所述深度全卷积网络模型作为面瘫语义分割模型。
进一步地,步骤(2)还包括:获取待检测数据并对所述待检测数据进行处 理;其中,所述待检测数据包括待检测用户整个人脸的无表情自然状态静态图 像以及所述待检测用户在做皱眉动作全过程中所产生的序列图像一,在做闭眼 动作全过程的序列图像二,在做微笑动作全过程的序列图像三,在做吹哨动作 全过程的序列图像四。
再进一步地,步骤(2)还包括:将所述无表情自然状态静态图像、所述序 列图像一、所述序列图像二、所述序列图像三以及所述序列图像四依次输入至 所述面瘫语义分割模型中以输出相应的多组人脸形状。
再进一步地,更新后的人脸形状依次为:
再进一步地,步骤(3)还包括:设置θ1对应的阈值θ′1,θ2对应的阈值θ′2, θ4对应的阈值θ′4,θ6对应的阈值θ′6,θ8对应的阈值θ′8,θ10对应的阈值 θ′10,θ11对应的阈值θ′11,b1对应的阈值b′1,b2对应的阈值b′2,c1对应的阈值c′1, c2对应的阈值c′2,e1对应的阈值e′1,e2对应的阈值e′2,并比较θ1与θ′1,θ2与θ′2, θ4与θ′4,θ6与θ′6,θ8与θ′8,θ10与θ′10,θ11与θ′11,b1与b′1,b2与b′2,c1与c′1,c2与c′2, e1与e′1,e2与e′2;其中,阈值θ′1、θ′2、θ′4、θ′6、θ′10、θ′11、b′1、b′2、c′1、c′2、e′1、e′2分别根据外部实现情况预设。
再进一步地,步骤(3)还包括:若θ1>θ′1或θ2<θ′2,则判定所述待检测 用户存在面瘫症状且属于严重面瘫,并计算相应的面瘫指数K1=(0.2/θ1)+ (0.2/θ2)+(0.1/θ3)+(0.1/θ4)+(0.3/θ5)+(0.3/θ6)+(0.3/θ7)+(0.3/θ8)+ (0.1θ10/θ9);
若θ1≥θ′1且θ2≥θ′2,同时满足θ4<θ′4或θ6<θ′6或θ8<θ′8或θ10>θ′10时, 则判定所述待检测用户存在面瘫症状但不属于严重面瘫,并计算相应的面瘫指 数K2=(0.1/θ4)+(0.3/θ6)+(0.3/θ8)+0.1θ10;
若b1<b′1或c1>c′1,则判定所述待检测用户的一侧上脸部存在面瘫;
若b2<b′2或c2>c′2,则判定所述待检测用户的另一侧上脸部存在面瘫;
若e1<e′1或θ11<-θ′11<0,则判定所述待检测用户的一侧下脸部存在面 瘫;
若e2<e′2或θ11>θ′11>0,则判定所述待检测用户的另一侧下脸部存在面 瘫。
再进一步地,步骤(3)还包括:若同时满足以下条件:θ1≥θ′1、θ2≥θ′2、 θ4≥θ′4、θ6≥θ′6、θ8≥θ′8、θ10≤θ′10,则判定所述待检测用户不存在面瘫症 状。
再进一步地,在所述深度全卷积网络模型中,下采样及上采样层数均为N0, N0为正整数;相邻的下采样及上采样间,或下采样与下采样间,或上采样与上 采样间均堆叠多层卷积层;输入层通道数为3或1;
或,
在所述深度全卷积网络模型中,输入层没有激活函数,输出层的激活函数 为sigmoid函数,紧邻输出层的卷积层的激活函数为tanh函数,其他所有卷积 层的激活函数均为Rule函数;
或,
利用高斯分布随机数初始化所述深度全卷积网络模型的所有权值和阈值, 学习率初始化为le,模型目标Loss阈值设置为m,模型最大训练次数设置为T, 并通过贝叶斯正则化或动量梯度下降进行优化,损失函数为Binary Cross Entropy、Focal Loss、MSE中的一种;
或,
所述已标定训练样本的获取方法包括以下步骤:先通过至少一个摄影设备 获取仅包含一个人脸的图像Im作为所述模型训练集中一个训练样本的数据,再 在图像Im中标定人脸的眉毛区域s1、s2,眼白区域s3、s4,嘴唇区域s5内的所 有像素点作为训练样本的具有5个通道的标签,并重复进行以获得多个已标定 训练样本;
或,
按照一个预设前向传播公式计算所述深度全卷积网络模型的输出,按照一 个预设误差公式计算出该所述已标定训练样本输入到所述深度全卷积网络模型 后的模型输出和所述已标定训练样本标签间的误差,并通过反向传播更新所述 深度全卷积网络模型所有权值和阈值;
或,
所述深度全卷积网络模型的下采样及上采样层数均为3层,各相邻上采样 或下采样间分别间隔由多层卷积层堆叠的卷积层模块;学习率初始化为0.001, 模型目标Loss阈值为0.1,模型最大训练次数设置为20000;
或,
所述卷积层模块的数量为六个,输入层通道数为3,输出层通道数为5,输 出层中五个通道分别表示眉毛区域s1、s2,眼白区域s3、s4,嘴唇区域s5。
本发明还提供一种基于语义分割的精准面瘫程度评测装置,其应用上述任 意所述的基于语义分割的精准面瘫程度评测方法,其包括:
检测模型建立模块,其用于建立面瘫语义分割模型;在所述面瘫语义分割 模型中,两个眉毛区域分别为s1、s2,位于眉毛区域s1一侧的眼白区域为s3,位 于眉毛区域s2一侧的眼白区域为s4,嘴唇区域为s5,以区域s1、s3、s4、s5为元 素形成的集合表示人脸形状;
数据获取模块,其用于获取待检测数据;其中,所述待检测数据包括待检 测用户整个人脸的无表情自然状态静态图像以及所述待检测用户在做皱眉动作 全过程中所产生的序列图像一,在做闭眼动作全过程的序列图像二,在做微笑 动作全过程的序列图像三,在做吹哨动作全过程的序列图像四;
数据处理模块,其用于对所述待检测数据进行处理;所述数据处理模块包 括输入单元和更新单元;所述输入单元用于将所述无表情自然状态静态图像、 所述序列图像一、所述序列图像二、所述序列图像三以及所述序列图像四依次 输入至所述面瘫语义分割模型中以输出相应的多组人脸形状;所述更新单元用 于对于多组人脸形状,先依次分别计算眉毛区域s1的中心点p1,眉毛区域s2的 中心点p2,眼白区域s3的中心点p3,眼白区域s4的中心点p4,嘴唇区域s5的中 心点p5,点p1与点p2的中点为p6,点p3与点p4的中点为p7,点p1与点p3的中点 为p8,点p2与点p4的中点为p9,再计算:眼白区域s3内x轴取值最大的像素点p10, 眼白区域s4内x轴取值最小的像素点p11,嘴唇区域s5内x轴取值最小的像素点 p12,嘴唇区域s5内x轴取值最大的像素点p13,点p10与点p11的中点为p14,然 后在过点p14且与直线p10p11相垂直的直线上随机选取一点p15,并计算嘴唇区域 s5内y轴取值大于yp5的所有像素点所组成区域的中心点p16,还计算嘴唇区域s5内y轴取值小于yp5的所有像素点所组成区域的中心点p17,再然后设置向量 随后统计眼白区域s3内像素点数量n1以及眼白区域s4内像素点数 量n2,计算嘴唇区域s5的最小包围圆区域s6,并统计最小包围圆区域s6内像素 点数量n3,嘴唇区域s5内像素点数量n4,像素点数量n3与像素点数量n4的差值n5, 最后将点p1、点p2、点p3、点p4、点p5、点p6、点p7、点p8、点p9、点p10、点 p11、点p12、点p13、点p14、点p15、点p16、点p17、向量向量向量向量 向量向量向量向量向量向量向量向 量向量面积n1、面积n2、面积n3、面积n4及面积n5作为元素加入至 对应的人脸形状中以获得更新后人脸形状;
面瘫程度综合评测模块,其用于对待检测用户的面瘫程度进行评测;所述 面瘫程度综合评测模块包括计算单元一、计算单元二、计算单元三、计算单元 四、计算单元五、设置比较单元以及判定单元;所述计算单元一用于对于更新 后的无表情自然状态人脸形状S0,先计算 再计算θ1=|a1+a2|/|a1-a2|,θ2=|a3+a4|/|a3-a4|;所述计 算单元二用于对于更新后的皱眉动作人脸形状Sa1,Sa2,……,San,先依次分别 计算 再计算最后计算 θ4=|b1+b2|/|b1-b2|;所述计算单元三用于对于更新 后的闭眼动作人脸形状Sb1,Sb2,……,Sbn,先计算 再计算 最后计算θ5=max(d1,d2),θ6=|d1+d2|/|d1-d2|; 所述计算单元四用于对于更新后的微笑动作人脸形状Sc1,Sc2,……,Scn,先依次 分别计算 并依次分别计算面积 再计算最后计算θ7= max(e1,e2),θ8=|e1+e2|/|e1-e2|;所述计算单元五用于对于更新后的吹哨 动作人脸形状Sd1,Sd2,……,Sdn,先计算 再计算θ10=max(f1 0,f1 d1,f1 d2,...,f1 dn),并计算最后计算θ11=arccos(f2);所述设置比较模块 用于设置θ1对应的阈值θ′1,θ2对应的阈值θ′2,θ4对应的阈值θ′4,θ6对应的阈值θ′6, θ8对应的阈值θ′8,θ10对应的阈值θ′10,θ11对应的阈值θ′11,b1对应的阈值b′1,b2对 应的阈值b′2,c1对应的阈值c′1,c2对应的阈值c′2,e1对应的阈值e′1,e2对应的阈 值e′2,并比较θ1与θ′1,θ2与θ′2,θ4与θ′4,θ6与θ′6,θ8与θ′8,θ10与θ′10,θ11与θ′11, b1与b′1,b2与b′2,c1与c′1,c2与c′2,e1与e′1,e2与e′2;其中,阈值θ′1、θ′2、θ′4、θ′6、θ′10、 θ′11、b′1、b′2、c′1、c′2、e′1、e′2分别根据外部实现情况预设;所述判定单元用于 根据所述设置比较模块的比较结果进行判定;若θ1>θ′1或θ2<θ′2,所述判定单 元则判定所述待检测用户存在面瘫症状且属于严重面瘫,并计算相应的面瘫指 数K1=(0.2/θ1)+(0.2/θ2)+(0.1/θ3)+(0.1/θ4)+(0.3/θ5)+(0.3/θ6)+ (0.3/θ7)+(0.3/θ8)+(0.1θ10/θ9);若θ1≥θ′1且θ2≥θ′2,同时满足θ4<θ′4或 θ6<θ′6或θ8<θ′8或θ10>θ′10时,所述判定单元则判定所述待检测用户存在面 瘫症状但不属于严重面瘫,并计算相应的面瘫指数K2=(0.1/θ4)+(0.3/θ6)+ (0.3/θ8)+0.1θ10;若b1<b′1或c1>c′1,所述判定单元则判定所述待检测用户 的一侧上脸部存在面瘫;若b2<b′2或c2>c′2,所述判定单元则判定所述待检测 用户的另一侧上脸部存在面瘫;若e1<e′1或θ11<-θ′11<0,所述判定单元则 判定所述待检测用户的一侧下脸部存在面瘫;若e2<e′2或θ11>θ′11>0,所述 判定单元则判定所述待检测用户的另一侧下脸部存在面瘫;若同时满足以下条 件:θ1≥θ′1、θ2≥θ′2、θ4≥θ′4、θ6≥θ′6、θ8≥θ′8、θ10≤θ′10,所述判定单元 则判定所述待检测用户不存在面瘫症状。
相较于现有的面瘫程度评测方法,本发明的基于语义分割的精准面瘫程度 评测方法及装置具有以下有益效果:
该基于语义分割的精准面瘫程度评测方法,其先建立面瘫语义分割模型, 并在模型中选取面部中的眉毛、眼睛、嘴唇等的面瘫关键区域,再获取待检测 用户的待检测数据并对所述待检测数据进行处理,采集用户在无表情、皱眉、 闭眼、微笑以及吹哨过程中的图像,并将图像输入至面瘫语义分割模型中输出 多组人脸形状,随后分别对各组人脸形状进行线性回归等操作,获得一系列面 瘫关联元素并对人脸形状进行更新,最后计算更新后的各组人脸形状的各种特 征值,并针对特征值之间的关系对待检测用户的面瘫程度进行评测,实现对用 户面瘫程度的精确评测。这样获取待检测用户脸部的静态图像及动态视频,利 用面瘫语义分割模型分别在静态图像及动态视频中提取待检测用户脸部的静态 图像及动态视频的所有关于眉毛、眼白及嘴唇的语义分割信息,根据待检测用 户在不同表情下面部对应关键区域间向量关系综合评价检测用户面瘫程度,可 以使检测模型具有较高的检测定位精度,结合优选的不同表情下面部对应关键 区域间向量关系,大大提升待检测用户面瘫程度综合评价及检测的精度及准度, 为面瘫患者的预防发现及治疗提供有力支撑。
而且,该基于语义分割的精准面瘫程度评测方法由于可以采用计算机视觉 技术检测用户的面部图像,并通过计算机执行其他步骤,这样在应用时可以直 接使用在现有的手机、计算机等设备中,也可以使用在专门评估用户的面瘫程 度的医疗设备中,还可以作为独立模块进行产品化应用,可以大规模、产业化 应用在面瘫识别和程度评测设备中,提高现有的医疗设备的评测效率和准确性。
该基于语义分割的精准面瘫程度评测装置,其有益效果与上述的基于语义 分割的精准面瘫程度评测方法的有益效果相同,在此不再做赘述。
附图说明
图1为本发明实施例1的基于语义分割的精准面瘫程度评测方法的流程图。
图2为本发明实施例1的基于语义分割的精准面瘫程度评测方法所建立的 面瘫语义分割模型中面瘫关键点在人脸中具***置分布图。
图3为本发明实施例2的基于语义分割的精准面瘫程度评测方法所建立的 深度全卷积网络模型的结构示例图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实 施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅 用以解释本发明,并不用于限定本发明。
实施例1
请参阅图1,本实施例提供了一种基于语义分割的精准面瘫程度评测方法, 该方法能够应用于面瘫检测设备中,作为医疗设备的检测方法对面瘫患者的面 瘫程度进行检测,并且能够大规模、广泛地进行产业化应用,例如可以作为独 立的程序应用在手机端、客户端中,可供面瘫患者在非治疗时期进行纠正和检 查,同时也可以供非面瘫患者做预防方法使用。其中,该精准面瘫程度评测方 法包括以下这些步骤,即步骤(1)-(3)。
步骤(1):建立面瘫语义分割模型。在本实施例中,面瘫语义分割模型的 建立方法包括以下这些步骤,即步骤(1.1)-(1.4)。请参阅图2,在面瘫语 义分割模型中,在面瘫语义分割模型中,两个眉毛区域分别为s1、s2,位于眉 毛区域s1一侧的眼白区域为s3,位于眉毛区域s2一侧的眼白区域为s4,嘴唇区域 为s5,,以区域s1、s3、s4、s5为元素形成的集合表示人脸形状。这里需要指出 的是,这里的左右关系是相对于观察者而言,而非待检测用户的其自己所判断 的面部情况。
(1.1)创建深度全卷积网络模型。在深度全卷积网络模型中,下采样及上 采样层数均为N0,N0为正整数。相邻的下采样及上采样间,或下采样与下采样 间,或上采样与上采样间均堆叠多层卷积层(层数大于等于1),输入层通道数 为3或1,输出层通道数与面瘫语义分割模型所需检测的关键点个数相同,输 出层中每一个通道一一对应且仅表示面瘫关键点检测中一个具体的关键点。而 且,在深度全卷积网络模型中,输出层采用one-hot编码,输入层没有激活函 数,输出层的激活函数为sigmoid函数,紧邻输出层的卷积层的激活函数为tanh 函数,其他所有卷积层的激活函数均为Rule函数。并且,利用高斯分布随机数初始化深度全卷积网络模型的所有权值和阈值,学习率初始化为le,模型目标 Loss阈值设置为m,模型最大训练次数设置为T,并通过贝叶斯正则化或动量 梯度下降进行优化,损失函数为BinaryCrossEntropy、FocalLoss、MSE中的一 种。
(1.2)通过多个已标定训练样本以获取模型训练集。在本实施例中,所述 已标定训练样本的获取方法包括以下步骤:先通过至少一个摄影设备获取仅包 含一个人脸的图像Im作为所述模型训练集中一个训练样本的数据,再在图像Im 中标定人脸的眉毛区域s1、s2,眼白区域s3、s4,嘴唇区域s5内的所有像素点作 为训练样本的具有5个通道的标签,并重复进行以获得多个已标定训练样本。 即重复该步骤N1次以获取N1个已标定训练样本组成训练集P,其中N1可以根据 用户实际应用需要而自定义。
(1.3)在模型训练集中选取一组已标定训练样本输入至深度全卷积网络模 型中进行训练。在本实施例中,按照一个预设前向传播公式计算深度全卷积网 络模型的输出,按照一个预设误差公式计算出该已标定训练样本输入到深度全 卷积网络模型后的模型输出和已标定训练样本标签间的误差,并通过反向传播 更新深度全卷积网络模型所有权值和阈值。
(1.4)判断步骤(1.3)的执行次数是否达到一个预设的最大训练次数;在 执行次数未达到最大训练次数时,获取深度全卷积网络模型一个周期的损失值, 并判断损失值是否大于模型目标损失阈值;在损失值大于模型目标损失阈值时, 执行步骤(1.3);在损失值小于模型目标损失阈值或执行次数达到最大训练次 数时,将深度全卷积网络模型作为面瘫语义分割模型。在本步骤中,实际上为 不断重复步骤(1.3),每执行一次步骤(1.3)后获取模型一个epoch的Loss 值M,若M小于模型目标Loss阈值m,或重复执行步骤(1.3)的次数达到模 型最大训练次数T,则不再执行步骤(1.3),深度全卷积网络模型训练完成, 选取该已训练完成的深度全卷积网络模型作为面瘫语义分割模型。
步骤(2):获取待检测数据并对待检测数据进行处理。其中,待检测数据 包括待检测用户整个人脸的无表情自然状态静态图像以及待检测用户在做皱眉 动作全过程中所产生的序列图像一,在做闭眼动作全过程的序列图像二,在做 微笑动作全过程的序列图像三,在做吹哨动作全过程的序列图像四。在本实施 例中,通过摄影设备,获取:仅包含单个待检测用户整个人脸的1张无表情自 然状态静态图像Img0;仅包含单个待检测用户整个人脸的1组(包含n张)待 检测用户在做皱眉动作全过程的序列图像Imga1,Imga2,......,Imgan;仅包含单 个待检测用户整个人脸的1组(包含n张)待检测用户在做闭眼动作全过程的 序列图像Imgb1,Imgb2,......,Imgbn;仅包含单个待检测用户整个人脸的1组(包 含n张)待检测用户在做微笑动作全过程的序列图像Imgc1,Imgc2,......,Imgcn; 仅包含单个待检测用户整个人脸的1组(包含n张)待检测用户在做吹哨动作 全过程的序列图像Imgd1,Imgd2,......,Imgdn,其中n可以根据用户实际应用需要 而自定义。而待检测数据的处理方法包括以下这些步骤,即步骤(2.1)和步骤 (2.2),步骤(2.2)还可以拆分为多个子步骤单独执行。
(2.1)将无表情自然状态静态图像、序列图像一、序列图像二、序列图像 三以及序列图像四依次输入至面瘫语义分割模型中以输出相应的多组人脸形状。 即:将图像Img0,Imga1,Imga2……Imgan,Imgb1,Imgb2……Imgbn,Imgc1, Imgc2……Imgcn,Imgd1,Imgd2……Imgdn依次输入至面瘫语义分割模型获得 对应输出人脸形状 S0,Sa1,Sa2,……,San,Sb1,Sb2,……,Sbn,Sc1,Sc2,,……,Scn,Sd1,Sd2,……,Sdn。 其中:
(2.2)对于多组人脸形状,先依次分别计算眉毛区域s1的中心点p1,眉毛 区域s2的中心点p2,眼白区域s3的中心点p3=(xp3,yp3),眼白区域s4的中心点 p4=(xp4,yp4),嘴唇区域s5的中心点p5=(xp5,yp5),点p1与点p2的中点为 p6=(xp6,yp6),点p3与点p4的中点为p7=(xp7,yp7),点p1与点p3的中点为 p8=(xp8,yp8),点p2与点p4的中点为p9=(xp9,yp9),再计算:眼白区域s3内x 轴取值最大的像素点p10=(xp10,yp10),眼白区域s4内x轴取值最小的像素点p11=(xp11,yp11),嘴唇区域s5内x轴取值最小的像素点p12=(xp12,yp12),嘴 唇区域s5内x轴取值最大的像素点p13=(xp13,yp13),点p10与点p11的中点为 p14=(xp14,yp14),然后在过点p14且与直线p10p11相垂直的直线上随机选取一 点p15=(xp15,yp15),并计算嘴唇区域s5内y轴取值大于yp5的所有像素点所组 成区域的中心点p16=(xp16,yp16),还计算嘴唇区域s5内y轴取值小于yp5的所 有像素点所组成区域的中心点p17=(xp17,yp17),再然后设置向量 随后统计眼白区域s3内像素点数量n1以及眼白区域s4内像素点数量n2,计算嘴唇区域 s5的最小包围圆区域s6,并统计最小包围圆区域s6内像素点数量n3,嘴唇区域s5内像素点数量n4,像素点数量n3与像素点数量n4的差值n5,最后将点p1、点p2、 点p3、点p4、点p5、点p6、点p7、点p8、点p9、点p10、点p11、点p12、点p13、 点p14、点p15、点p16、点p17、向量向量向量向量向量向量 向量向量向量向量向量向量向量面 积n1、面积n2、面积n3、面积n4及面积n5作为元素加入至对应的人脸形状中以 获得更新后人脸形状。其中,更新后的人脸形状依次为:
步骤(3):待检测用户的面瘫程度进行评测。其中,评测方法包括以下这 些步骤,即步骤(3.1)-(3.7)。
(3.6)设置θ1对应的阈值θ′1,θ2对应的阈值θ′2,θ4对应的阈值θ′4,θ6对应 的阈值θ′6,θ8对应的阈值θ′8,θ10对应的阈值θ′10,θ11对应的阈值θ′11,b1对应的 阈值b′1,b2对应的阈值b′2,c1对应的阈值c′1,c2对应的阈值c′2,e1对应的阈值e′1,e2对应的阈值e′2,并比较θ1与θ′1,θ2与θ′2,θ4与θ′4,θ6与θ′6,θ8与θ′8,θ10与 θ′10,θ11与θ′11,b1与b′1,b2与b′2,c1与c′1,c2与c′2,e1与e′1,e2与e′2。其中,阈 值θ′1、θ′2、θ′4、θ′6、θ′10、θ′11、b′1、b′2、c′1、c′2、e′1、e′2分别根据外部实现情况 预设,即各个阈值可以根据具体实现情况而具体确定。
(3.7)若θ1>θ′1或θ2<θ′2,则判定待检测用户存在面瘫症状且属于严重 面瘫,并计算相应的面瘫指数K1=(0.2/θ1)+(0.2/θ2)+(0.1/θ3)+ (0.1/θ4)+(0.3/θ5)+(0.3/θ6)+(0.3/θ7)+(0.3/θ8)+(0.1θ10/θ9);
若θ1≥θ′1且θ2≥θ′2,同时满足θ4<θ′4或θ6<θ′6或θ8<θ′8或θ10>θ′10时, 则判定待检测用户存在面瘫症状但不属于严重面瘫,并计算相应的面瘫指数 K2=(0.1/θ4)+(0.3/θ6)+(0.3/θ8)+0.1θ10;
若b1<b′1或c1>c′1,则判定待检测用户的一侧上脸部存在面瘫;
若b2<b′2或c2>c′2,则判定待检测用户的另一侧上脸部存在面瘫;
若e1<e′1或θ11<-θ′11<0,则判定待检测用户的一侧下脸部存在面瘫;
若e2<e′2或θ11>θ′11>0,则判定待检测用户的另一侧下脸部存在面瘫;
若同时满足以下条件:θ1≥θ′1、θ2≥θ′2、θ4≥θ′4、θ6≥θ′6、θ8≥θ′8、 θ10≤θ′10,则判定待检测用户不存在面瘫症状。
在本实施例中,若待检测用户属于严重面瘫或存在面瘫症状但不属于严重 面瘫,若(b1<b′1or c1>c′1),则待检测用户左上部脸存在面瘫,若 (b2<b′2or c2>c′2),则待检测用户右上部脸存在面瘫,若(e1<e′1orθ11< -θ′11<0),则待检测用户左下部脸存在面瘫,若(e2<e′2orθ11>θ′11>0), 则待检测用户右下部脸存在面瘫。
综上所述,相较于现有的面瘫程度评测方法,本实施例的基于语义分割的 精准面瘫程度评测方法具有以下优点:
该基于语义分割的精准面瘫程度评测方法,其先建立面瘫语义分割模型, 并在模型中选取面部中的眉毛、眼睛、嘴唇等的面瘫关键区域,再获取待检测 用户的待检测数据并对待检测数据进行处理,采集用户在无表情、皱眉、闭眼、 微笑以及吹哨过程中的图像,并将图像输入至面瘫语义分割模型中输出多组人 脸形状,随后分别对各组人脸形状进行线性回归等操作,获得一系列面瘫关联 元素并对人脸形状进行更新,最后计算更新后的各组人脸形状的各种特征值, 并针对特征值之间的关系对待检测用户的面瘫程度进行评测,实现对用户面瘫 程度的精确评测。这样获取待检测用户脸部的静态图像及动态视频,利用面瘫 语义分割模型分别在静态图像及动态视频中提取待检测用户脸部的静态图像及 动态视频的所有关于眉毛、眼白及嘴唇的语义分割信息,根据待检测用户在不 同表情下面部对应关键区域间向量关系综合评价检测用户面瘫程度,可以使检 测模型具有较高的检测定位精度,结合优选的不同表情下面部对应关键区域间 向量关系,大大提升待检测用户面瘫程度综合评价及检测的精度及准度,为面 瘫患者的预防发现及治疗提供有力支撑。
而且,该基于语义分割的精准面瘫程度评测方法由于可以采用计算机视觉 技术检测用户的面部图像,并通过计算机执行其他步骤,这样在应用时可以直 接使用在现有的手机、计算机等设备中,也可以使用在专门评估用户的面瘫程 度的医疗设备中,还可以作为独立模块进行产品化应用,可以大规模、产业化 应用在面瘫识别和程度评测设备中,提高现有的医疗设备的评测效率和准确性。
实施例2
请参阅图3,本实施例提供了一种基于语义分割的精准面瘫程度评测方法, 该方法与实施例1的相似,区别在于本实施例的深度全卷积网络模型不同。本 实施例的深度全卷积网络模型的具体结构,可根据用户具体要求而单独设计, 为方便进一步介绍,现设计一个深度全卷积网络模型结构示例如图3所示。深 度全卷积网络模型的下采样及上采样层数均为3层,下采样均采用maxpooling 最大值池化方式,池化层尺寸均为2×2且步长均为2,上采样均采用dconv反 卷积方式,反卷积层尺寸均为2×2且步长均为2,各相邻上采样或下采样间分 别间隔由多层卷积层堆叠的卷积层模块conv1、conv2、conv3、conv4、conv5 和conv6。其中,conv1由9层卷积层堆叠组成,conv1第一层卷积层如 “64@1×1,1”表示conv1所组成的第一层卷积层的卷积核大小为1×1,数量 为64,步长为1。conv1第二层卷积层如“64@3×3,1”表示conv1所组成的第 二层卷积层的卷积核大小为3×3,数量为64,步长为1。conv1第三层卷积层 如“128@1×1,1”表示conv1所组成的第三层卷积层的卷积核大小为1×1,数 量为128,步长为1。conv1第四层卷积层如“64@1×1,1”表示conv1所组成 的第四层卷积层的卷积核大小为1×1,数量为64,步长为1。conv1第五层卷 积层如“64@3×3,1”表示conv1所组成的第五层卷积层的卷积核大小为3×3, 数量为64,步长为1。conv1第六层卷积层如“128@1×1,1”表示conv1所组 成的第六层卷积层的卷积核大小为1×1,数量为128,步长为1。conv1第七层 卷积层如“64@1×1,1”表示conv1所组成的第七层卷积层的卷积核大小为1×1, 数量为64,步长为1。conv1第八层卷积层如“64@3×3,1”表示conv1所组成 的第八层卷积层的卷积核大小为3×3,数量为64,步长为1。conv1第九层卷 积层如“128@1×1,1”表示conv1所组成的第九层卷积层的卷积核大小为1×1, 数量为128,步长为1。对于其他卷积层模块conv2、conv3、conv4、conv5和 conv6均具有相同规律,在此不再赘述。输入层通道数为3,输出层通道数为5, 输出层中五个通道分别表示眉毛区域s1、s2,眼白区域s3、s4,嘴唇区域s5。输 出层采用one-hot编码并且输出层中每一个通道一一对应并仅表示面瘫关键点 检测中一个具体的关键点,输入层没有激活函数,输出层的激活函数为sigmoid 函数,紧邻输出层的卷积层的激活函数为tanh函数,其他所有卷积层的激活函 数均为Rule函数。另外,利用高斯分布随机数初始化深度全卷积网络模型的所 有权值和阈值,学习率初始化为0.001,模型目标Loss阈值为0.1,模型最大 训练次数设置为20000,并通过Adam进行优化,损失函数为BinaryCrossEntropy。
实施例3
本实施例提供了一种基于语义分割的精准面瘫程度评测装置,该装置应用 实施例1或实施例2的基于语义分割的精准面瘫程度评测方法。其中,精准面 瘫程度评测装置包括检测模型建立模块、数据获取模块、数据处理模块以及面 瘫程度综合评测模块,数据获取模块和数据处理模块可以组成一个待检测数据 获取及处理模块。这些模块可以作为计算机程序模块,也可以作为硬件模块, 其能够执行实施例1或实施例2中所介绍的相关步骤。
检测模型建立模块用于建立面瘫语义分割模型,其实际上用于执行实施例 1中的步骤(1)。在面瘫语义分割模型中,两个眉毛区域分别为s1、s2,位于 眉毛区域s1一侧的眼白区域为s3,位于眉毛区域s2一侧的眼白区域为s4,嘴唇区 域为s5。
数据获取模块用于获取待检测数据,该数据为待检测用户的面部数据。其 中,待检测数据包括待检测用户整个人脸的无表情自然状态静态图像以及待检 测用户在做皱眉动作全过程中所产生的序列图像一,在做闭眼动作全过程的序 列图像二,在做微笑动作全过程的序列图像三,在做吹哨动作全过程的序列图 像四。
数据处理模块用于对待检测数据进行处理,而且数据处理模块包括输入单 元和更新单元。输入单元用于将无表情自然状态静态图像、序列图像一、序列 图像二、序列图像三以及序列图像四依次输入至面瘫语义分割模型中以输出相 应的多组人脸形状。更新单元用于对于多组人脸形状,先依次分别计算眉毛区 域s1的中心点p1,眉毛区域s2的中心点p2,眼白区域s3的中心点p3,眼白区域s4的 中心点p4,嘴唇区域s5的中心点p5,点p1与点p2的中点为p6,点p3与点p4的中 点为p7,点p1与点p3的中点为p8,点p2与点p4的中点为p9,再计算:眼白区域s3内 x轴取值最大的像素点p10,眼白区域s4内x轴取值最小的像素点p11,嘴唇区域s5内x轴取值最小的像素点p12,嘴唇区域s5内x轴取值最大的像素点p13,点p10与点p11的中点为p14,然后在过点p14且与直线p10p11相垂直的直线上随机选取 一点p15,并计算嘴唇区域s5内y轴取值大于yp5的所有像素点所组成区域的中 心点p16,还计算嘴唇区域s5内y轴取值小于yp5的所有像素点所组成区域的中 心点p17,再然后设置向量 随后统计眼白区域s3内像素点数量n1以及眼白区域s4内像素点数量n2,计算嘴唇区域s5的最小包围圆区域s6,并统 计最小包围圆区域s6内像素点数量n3,嘴唇区域s5内像素点数量n4,像素点数 量n3与像素点数量n4的差值n5,最后将点p1、点p2、点p3、点p4、点p5、点p6、 点p7、点p8、点p9、点p10、点p11、点p12、点p13、点p14、点p15、点p16、点p17、向量向量向量向量向量向量向量向量向量向量 向量向量向量面积n1、面积n2、面积n3、面积n4及面积n5作为 元素加入至对应的人脸形状中以获得更新后人脸形状。
面瘫程度综合评测模块用于对待检测用户的面瘫程度进行评测。面瘫程度 综合评测模块包括计算单元一、计算单元二、计算单元三、计算单元四、计算 单元五、设置比较单元以及判定单元。面瘫程度综合评测模块实际上用于执行 实施例1中的步骤(3),而各个单元则分别用于执行步骤(3.1)-(3.7)。
计算单元一用于对于更新后的无表情自然状态人脸形状S0,先计算 再计算θ1=|a1+a2|/|a1-a2|, θ2=|a3+a4|/|a3-a4|。计算单元二用于对于更新后的皱眉动作人脸形状 Sa1,Sa2,……,San,先依次分别计算 再计算最后计算θ4=|b1+b2|/|b1-b2|。
计算单元三用于对于更新后的闭眼动作人脸形状Sb1,Sb2,……,Sbn,先计 算再计算 最后计算θ5=max(d1,d2),θ6= |d1+d2|/|d1-d2|。计算单元四用于对于更新后的微笑动作人脸形状 Sc1,Sc2,……,Scn,先依次分别计算 并依次分别计算面积 再计算最后计算θ7=max(e1,e2),θ8=|e1+e2|/|e1-e2|。计算单元五用于对于更新后的 吹哨动作人脸形状Sd1,Sd2,……,Sdn,先计算 再计算并计算 最后计算θ11=arccos(f2)。
设置比较模块用于设置θ1对应的阈值θ′1,θ2对应的阈值θ′2,θ4对应的阈值θ′4, θ6对应的阈值θ′6,θ8对应的阈值θ′8,θ10对应的阈值θ′10,θ11对应的阈值θ′11,b1对 应的阈值b′1,b2对应的阈值b′2,c1对应的阈值c′1,c2对应的阈值c′2,e1对应的阈 值e′1,e2对应的阈值e′2,并比较θ1与θ′1,θ2与θ′2,θ4与θ′4,θ6与θ′6,θ8与θ′8,θ10与 θ′10,θ11与θ′11,b1与b′1,b2与b′2,c1与c′1,c2与c′2,e1与e′1,e2与e′2。判定单元 用于根据设置比较模块的比较结果进行判定。若θ1>θ′1或θ2<θ′2,判定单元则 判定待检测用户存在面瘫症状且属于严重面瘫,并计算相应的面瘫指数 K1=(0.2/θ1)+(0.2/θ2)+(0.1/θ3)+(0.1/θ4)+(0.3/θ5)+(0.3/θ6)+(0.3/θ7)+(0.3/θ8)+(0.1θ10/θ9)。若θ1≥θ′1且θ2≥θ′2,同时满足θ4<θ′4或 θ6<θ′6或θ8<θ′8或θ10>θ′10时,判定单元则判定待检测用户存在面瘫症状但 不属于严重面瘫,并计算相应的面瘫指数K2=(0.1/θ4)+(0.3/θ6)+ (0.3/θ8)+0.1θ10。若b1<b′1或c1>c′1,判定单元则判定待检测用户的一侧上 脸部存在面瘫。若b2<b′2或c2>c′2,判定单元则判定待检测用户的另一侧上脸 部存在面瘫。若e1<e′1或θ11<-θ′11<0,判定单元则判定待检测用户的一侧 下脸部存在面瘫。若e2<e′2或θ11>θ′11>0,判定单元则判定待检测用户的另 一侧下脸部存在面瘫。若同时满足以下条件:θ1≥θ′1、θ2≥θ′2、θ4≥θ′4、θ6≥θ′6、 θ8≥θ′8、θ10≤θ′10,判定单元则判定待检测用户不存在面瘫症状。
该基于语义分割的精准面瘫程度评测装置相较于现有面瘫程度评测设备, 其所具有的优点与实施例1中的基于语义分割的精准面瘫程度评测方法的优点 相同,在此不再做赘述。
实施例4
本实施例提供一种计算机终端,其包括存储器、处理器以及存储在存储器 上并可在处理器上运行的计算机程序。处理器执行程序时实现实施例1的基于 语义分割的精准面瘫程度评测方法的步骤。
实施例1的方法在应用时,可以软件的形式进行应用,如设计成独立运行 的程序,安装在计算机终端上,计算机终端可以是电脑、智能手机、控制*** 以及其他物联网设备等。实施例1的方法也可以设计成嵌入式运行的程序,安 装在计算机终端上,如安装在单片机上。
实施例5
本实施例提供一种计算机可读存储介质,其上存储有计算机程序。程序被 处理器执行时,实现实施例1的基于语义分割的精准面瘫程度评测方法的步骤。
实施例1的方法在应用时,可以软件的形式进行应用,如设计成计算机可 读存储介质可独立运行的程序,计算机可读存储介质可以是U盘,设计成U盾, 通过U盘设计成通过外在触发启动整个方法的程序。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发 明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明 的保护范围之内。
Claims (10)
1.一种基于语义分割的精准面瘫程度评测方法,其特征在于,其包括以下步骤:
(1)确定两个眉毛区域分别为s1、s2,位于眉毛区域s1一侧的眼白区域为s3,位于眉毛区域s2一侧的眼白区域为s4,嘴唇区域为s5,以区域s1、s3、s4、s5为元素形成的集合表示人脸形状;
(2)获取待检测用户整个人脸在无表情自然状态、做皱眉动作全过程、做闭眼动作全过程以及做吹哨动作全过程中产生的多组人脸形状;
依次分别计算眉毛区域s1的中心点p1,眉毛区域s2的中心点p2,眼白区域s3的中心点p3,眼白区域s4的中心点p4,嘴唇区域s5的中心点p5,点p1与点p2的中点为p6,点p3与点p4的中点为p7,点p1与点p3的中点为p8,点p2与点p4的中点为p9;
计算眼白区域s3内x轴取值最大的像素点p10,眼白区域s4内x轴取值最小的像素点p11,嘴唇区域s5内x轴取值最小的像素点p12,嘴唇区域s5内x轴取值最大的像素点p13,点p10与点p11的中点为p14;
在过点p14且与直线p10p11相垂直的直线上随机选取一点p15,并计算嘴唇区域s5内y轴取值大于yp5的所有像素点所组成区域的中心点p16,还计算嘴唇区域s5内y轴取值小于yp5的所有像素点所组成区域的中心点p17;
设置向量 随后统计眼白区域s3内像素点数量n1以及眼白区域s4内像素点数量n2,计算嘴唇区域s5的最小包围圆区域s6,并统计最小包围圆区域s6内像素点数量n3,嘴唇区域s5内像素点数量n4,像素点数量n3与像素点数量n4的差值n5;
将点p1、点p2、点p3、点p4、点p5、点p6、点p7、点p8、点p9、点p10、点p11、点p12、点p13、点p14、点p15、点p16、点p17、向量向量向量向量向量向量向量向量向量向量向量向量向量面积n1、面积n2、面积n3、面积n4及面积n5作为元素加入至对应的人脸形状中以获得更新后人脸形状;
将θ1、θ2、θ3、θ4、θ5、θ6、θ7、θ8、θ9、θ10、b1、b2、c1、c2、e1、e2分别与其阈值比较;
通过比较结果对待检测用户的面瘫程度进行判定,并计算面瘫指数。
2.如权利要求1所述的基于语义分割的精准面瘫程度评测方法,其特征在于,步骤(1)还包括:建立面瘫语义分割模型,且建立方法包括以下步骤:
(1.1)创建深度全卷积网络模型;
(1.2)通过多个已标定训练样本以获取模型训练集;
(1.3)在所述模型训练集中选取一组已标定训练样本输入至所述深度全卷积网络模型中进行训练;以及
(1.4)判断步骤(1.3)的执行次数是否达到一个预设的最大训练次数;
在所述执行次数未达到所述最大训练次数时,获取所述深度全卷积网络模型一个周期的损失值,并判断所述损失值是否大于模型目标损失阈值;
在所述损失值大于所述模型目标损失阈值时,执行步骤(1.3);
在所述损失值小于所述模型目标损失阈值或所述执行次数达到所述最大训练次数时,将所述深度全卷积网络模型作为面瘫语义分割模型。
3.如权利要求2所述的基于语义分割的精准面瘫程度评测方法,其特征在于,步骤(2)还包括:获取待检测数据并对所述待检测数据进行处理;其中,所述待检测数据包括待检测用户整个人脸的无表情自然状态静态图像以及所述待检测用户在做皱眉动作全过程中所产生的序列图像一,在做闭眼动作全过程的序列图像二,在做微笑动作全过程的序列图像三,在做吹哨动作全过程的序列图像四。
4.如权利要求3所述的基于语义分割的精准面瘫程度评测方法,其特征在于,步骤(2)还包括:将所述无表情自然状态静态图像、所述序列图像一、所述序列图像二、所述序列图像三以及所述序列图像四依次输入至所述面瘫语义分割模型中以输出相应的多组人脸形状。
6.如权利要求5所述的基于语义分割的精准面瘫程度评测方法,其特征在于,步骤(3)还包括:设置θ1对应的阈值θ’1,θ2对应的阈值θ’2,θ4对应的阈值θ’4,θ6对应的阈值θ’6,θ8对应的阈值θ’8,θ10对应的阈值θ’10,θ11对应的阈值θ’11,b1对应的阈值b’1,b2对应的阈值b’2,c1对应的阈值c’1,c2对应的阈值c’2,e1对应的阈值e’1,e2对应的阈值e’2,并比较θ1与θ’1,θ2与θ’2,θ4与θ’4,θ6与θ’6,θ8与θ’8,θ10与θ’10,θ11与θ’11,b1与b’1,b2与b’2,c1与c’1,c2与c’2,e1与e’1,e2与e’2;其中,阈值θ’1、θ’2、θ’4、θ’6、θ’10、θ’11、b’1、b’2、c’1、c’2、e’1、e’2分别根据外部实现情况预设。
7.如权利要求6所述的基于语义分割的精准面瘫程度评测方法,其特征在于,步骤(3)还包括:若θ1>θ’1或θ2<θ’2,则判定所述待检测用户存在面瘫症状且属于严重面瘫,并计算相应的面瘫指数K1=(0.2/θ1)+(0.2/θ2)+(0.1/θ3)+(0.1/θ4)+(0.3/θ5)+(0.3/θ6)+(0.3/θ7)+(0.3/θ8)+(0.1θ10/θ9);
若θ1≥θ’1且θ2≥θ’2,同时满足θ4<θ’4或θ6<θ’6或θ8<θ’8或θ10>θ’10时,则判定所述待检测用户存在面瘫症状但不属于严重面瘫,并计算相应的面瘫指数K2=(0.1/θ4)+(0.3/θ6)+(0.3/θ8)+0.1θ10;
若b1<b’1或c1>c’1,则判定所述待检测用户的一侧上脸部存在面瘫;
若b2<b’2或c2>c’2,则判定所述待检测用户的另一侧上脸部存在面瘫;
若e1<e’1或θ11<-θ’11<0,则判定所述待检测用户的一侧下脸部存在面瘫;
若e2<e’2或θ11>θ’11>0,则判定所述待检测用户的另一侧下脸部存在面瘫。
8.如权利要求7所述的基于语义分割的精准面瘫程度评测方法,其特征在于,步骤(3)还包括:若同时满足以下条件:θ1≥θ’1、θ2≥θ’2、θ4≥θ’4、θ6≥θ’6、θ8≥θ’8、θ10≤θ’10,则判定所述待检测用户不存在面瘫症状。
9.如权利要求8所述的基于语义分割的精准面瘫程度评测方法,其特征在于,在所述深度全卷积网络模型中,下采样及上采样层数均为N0,N0为正整数;相邻的下采样及上采样间,或下采样与下采样间,或上采样与上采样间均堆叠多层卷积层;输入层通道数为3或1;
或,
在所述深度全卷积网络模型中,输入层没有激活函数,输出层的激活函数为sigmoid函数,紧邻输出层的卷积层的激活函数为tanh函数,其他所有卷积层的激活函数均为Rule函数;
或,
利用高斯分布随机数初始化所述深度全卷积网络模型的所有权值和阈值,学习率初始化为le,模型目标Loss阈值设置为m,模型最大训练次数设置为T,并通过贝叶斯正则化或动量梯度下降进行优化,损失函数为Binary Cross Entropy、Focal Loss、MSE中的一种;
或,
所述已标定训练样本的获取方法包括以下步骤:先通过至少一个摄影设备获取仅包含一个人脸的图像Im作为所述模型训练集中一个训练样本的数据,再在图像Im中标定人脸的眉毛区域s1、s2,眼白区域s3、s4,嘴唇区域s5内的所有像素点作为训练样本的具有5个通道的标签,并重复进行以获得多个已标定训练样本;
或,
按照一个预设前向传播公式计算所述深度全卷积网络模型的输出,按照一个预设误差公式计算出该所述已标定训练样本输入到所述深度全卷积网络模型后的模型输出和所述已标定训练样本标签间的误差,并通过反向传播更新所述深度全卷积网络模型所有权值和阈值;
或,
所述深度全卷积网络模型的下采样及上采样层数均为3层,各相邻上采样或下采样间分别间隔由多层卷积层堆叠的卷积层模块;学习率初始化为0.001,模型目标Loss阈值为0.1,模型最大训练次数设置为20000;
或,
所述卷积层模块的数量为六个,输入层通道数为3,输出层通道数为5,输出层中五个通道分别表示眉毛区域s1、s2,眼白区域s3、s4,嘴唇区域s5。
10.一种基于语义分割的精准面瘫程度评测装置,其应用于如权利要求1-9中任意一项所述的基于语义分割的精准面瘫程度评测方法,其特征在于,其包括:
检测模型建立模块,其用于建立面瘫语义分割模型;在所述面瘫语义分割模型中,两个眉毛区域分别为s1、s2,位于眉毛区域s1一侧的眼白区域为s3,位于眉毛区域s2一侧的眼白区域为s4,嘴唇区域为s5,以区域s1、s3、s4、s5为元素形成的集合表示人脸形状;
数据获取模块,其用于获取待检测数据;其中,所述待检测数据包括待检测用户整个人脸的无表情自然状态静态图像以及所述待检测用户在做皱眉动作全过程中所产生的序列图像一,在做闭眼动作全过程的序列图像二,在做微笑动作全过程的序列图像三,在做吹哨动作全过程的序列图像四;
数据处理模块,其用于对所述待检测数据进行处理;所述数据处理模块包括输入单元和更新单元;所述输入单元用于将所述无表情自然状态静态图像、所述序列图像一、所述序列图像二、所述序列图像三以及所述序列图像四依次输入至所述面瘫语义分割模型中以输出相应的多组人脸形状;所述更新单元用于对于多组人脸形状,先依次分别计算眉毛区域s1的中心点p1,眉毛区域s2的中心点p2,眼白区域s3的中心点p3,眼白区域s4的中心点p4,嘴唇区域s5的中心点p5,点p1与点p2的中点为p6,点p3与点p4的中点为p7,点p1与点p3的中点为p8,点p2与点p4的中点为p9,再计算:眼白区域s3内x轴取值最大的像素点p10,眼白区域s4内x轴取值最小的像素点p11,嘴唇区域s5内x轴取值最小的像素点p12,嘴唇区域s5内x轴取值最大的像素点p13,点p10与点p11的中点为p14,然后在过点p14且与直线p10p11相垂直的直线上随机选取一点p15,并计算嘴唇区域s5内y轴取值大于yp5的所有像素点所组成区域的中心点p16,还计算嘴唇区域s5内y轴取值小于yp5的所有像素点所组成区域的中心点p17,再然后设置向量 随后统计眼白区域s3内像素点数量n1以及眼白区域s4内像素点数量n2,计算嘴唇区域s5的最小包围圆区域s6,并统计最小包围圆区域s6内像素点数量n3,嘴唇区域s5内像素点数量n4,像素点数量n3与像素点数量n4的差值n5,最后将点p1、点p2、点p3、点p4、点p5、点p6、点p7、点p8、点p9、点p10、点p11、点p12、点p13、点p14、点p15、点p16、点p17、向量向量向量向量向量向量向量向量向量向量向量向量向量面积n1、面积n2、面积n3、面积n4及面积n5作为元素加入至对应的人脸形状中以获得更新后人脸形状;
面瘫程度综合评测模块,其用于对待检测用户的面瘫程度进行评测;所述面瘫程度综合评测模块包括计算单元一、计算单元二、计算单元三、计算单元四、计算单元五、设置比较单元以及判定单元;所述计算单元一用于对于更新后的无表情自然状态人脸形状S0,先计算 再计算θ1=|a1+a2|/|a1-a2|,θ2=|a3+a4|/|a3-a4|;所述计算单元二用于对于更新后的皱眉动作人脸形状Sa1,Sa2,……,San,先依次分别计算 再计算最后计算 θ4=|b1+b2|/|b1-b2|;所述计算单元三用于对于更新后的闭眼动作人脸形状Sb1,Sb2,……,Sbn,先计算 再计算 最后计算θ5=max(d1,d2),θ6=|d1+d2|/|d1-d2|;所述计算单元四用于对于更新后的微笑动作人脸形状Sc1,Sc2,……,Scn,先依次分别计算 并依次分别计算面积 再计算最后计算θ7=max(e1,e2),θ8=|e1+e2|/|e1-e2|;所述计算单元五用于对于更新后的吹哨动作人脸形状Sd1,Sd2,……,Sdn,先计算 再计算并计算最后计算θ11=arccos(f2);所述设置比较模块用于设置θ1对应的阈值θ’1,θ2对应的阈值θ’2,θ4对应的阈值θ’4,θ6对应的阈值θ’6,θ8对应的阈值θ’8,θ10对应的阈值θ’10,θ11对应的阈值θ’11,b1对应的阈值b’1,b2对应的阈值b’2,c1对应的阈值c’1,c2对应的阈值c’2,e1对应的阈值e’1,e2对应的阈值e’2,并比较θ1与θ’1,θ2与θ’2,θ4与θ’4,θ6与θ’6,θ8与θ’8,θ10与θ’10,θ11与θ’11,b1与b’1,b2与b’2,c1与c’1,c2与c’2,e1与e’1,e2与e’2;所述判定单元用于根据所述设置比较模块的比较结果进行判定;若θ1>θ’1或θ2<θ’2,所述判定单元则判定所述待检测用户存在面瘫症状且属于严重面瘫,并计算相应的面瘫指数K1=(0.2/θ1)+(0.2/θ2)+(0.1/θ3)+(0.1/θ4)+(0.3/θ5)+(0.3/θ6)+(0.3/θ7)+(0.3/θ8)+(0.1θ10/θ9);若θ1≥θ’1且θ2≥θ’2,同时满足θ4<θ’4或θ6<θ’6或θ8<θ’8或θ10>θ’10时,所述判定单元则判定所述待检测用户存在面瘫症状但不属于严重面瘫,并计算相应的面瘫指数K2=(0.1/θ4)+(0.3/θ6)+(0.3/θ8)+0.1θ10;若b1<b’1或c1>c’1,所述判定单元则判定所述待检测用户的一侧上脸部存在面瘫;若b2<b’2或c2>c’2,所述判定单元则判定所述待检测用户的另一侧上脸部存在面瘫;若e1<e’1或θ11<-θ’11<0,所述判定单元则判定所述待检测用户的一侧下脸部存在面瘫;若e2<e’2或θ11>θ’11>0,所述判定单元则判定所述待检测用户的另一侧下脸部存在面瘫;若同时满足以下条件:θ1≥θ’1、θ2≥θ’2、θ4≥θ’4、θ6≥θ’6、θ8≥θ’8、θ10≤θ’10,所述判定单元则判定所述待检测用户不存在面瘫症状。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010335990.XA CN111680545B (zh) | 2020-04-25 | 2020-04-25 | 一种基于语义分割的精准面瘫程度评测方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010335990.XA CN111680545B (zh) | 2020-04-25 | 2020-04-25 | 一种基于语义分割的精准面瘫程度评测方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111680545A true CN111680545A (zh) | 2020-09-18 |
CN111680545B CN111680545B (zh) | 2024-07-12 |
Family
ID=72452189
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010335990.XA Active CN111680545B (zh) | 2020-04-25 | 2020-04-25 | 一种基于语义分割的精准面瘫程度评测方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111680545B (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109508644A (zh) * | 2018-10-19 | 2019-03-22 | 陕西大智慧医疗科技股份有限公司 | 基于深度视频数据分析的面瘫等级评估*** |
CN109543526A (zh) * | 2018-10-19 | 2019-03-29 | 谢飞 | 基于深度差异性特征的真假面瘫识别*** |
CN109686418A (zh) * | 2018-12-14 | 2019-04-26 | 深圳先进技术研究院 | 面瘫程度评价方法、装置、电子设备及存储介质 |
CN110013227A (zh) * | 2019-05-14 | 2019-07-16 | 深圳德技创新实业有限公司 | 一种脸部皮肤检测仪 |
CN110084259A (zh) * | 2019-01-10 | 2019-08-02 | 谢飞 | 一种结合面部纹理和光流特征的面瘫分级综合评估*** |
WO2020035852A2 (en) * | 2018-08-14 | 2020-02-20 | Neurotrigger Ltd. | Method and apparatus for transcutaneous facial nerve stimulation and applications thereof |
-
2020
- 2020-04-25 CN CN202010335990.XA patent/CN111680545B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020035852A2 (en) * | 2018-08-14 | 2020-02-20 | Neurotrigger Ltd. | Method and apparatus for transcutaneous facial nerve stimulation and applications thereof |
CN109508644A (zh) * | 2018-10-19 | 2019-03-22 | 陕西大智慧医疗科技股份有限公司 | 基于深度视频数据分析的面瘫等级评估*** |
CN109543526A (zh) * | 2018-10-19 | 2019-03-29 | 谢飞 | 基于深度差异性特征的真假面瘫识别*** |
CN109686418A (zh) * | 2018-12-14 | 2019-04-26 | 深圳先进技术研究院 | 面瘫程度评价方法、装置、电子设备及存储介质 |
CN110084259A (zh) * | 2019-01-10 | 2019-08-02 | 谢飞 | 一种结合面部纹理和光流特征的面瘫分级综合评估*** |
CN110013227A (zh) * | 2019-05-14 | 2019-07-16 | 深圳德技创新实业有限公司 | 一种脸部皮肤检测仪 |
Non-Patent Citations (1)
Title |
---|
许鹏飞等: ""一种基于深度时序特征的面瘫分级评估方法"", 《自动化学报》, pages 1 - 9 * |
Also Published As
Publication number | Publication date |
---|---|
CN111680545B (zh) | 2024-07-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113077471B (zh) | 一种基于u型网络的医学图像分割方法 | |
CN110348330B (zh) | 基于vae-acgan的人脸姿态虚拟视图生成方法 | |
CN111738363B (zh) | 基于改进的3d cnn网络的阿尔茨海默病分类方法 | |
CN111784671A (zh) | 基于多尺度深度学习的病理图像病灶区域检测方法 | |
CN112507990A (zh) | 视频时空特征学习、抽取方法、装置、设备及存储介质 | |
CN110532880B (zh) | 样本筛选及表情识别方法、神经网络、设备及存储介质 | |
WO2022179083A1 (zh) | 图像检测方法、装置、设备、介质和程序 | |
CN112784929B (zh) | 一种基于双元组扩充的小样本图像分类方法及装置 | |
CN110827265B (zh) | 基于深度学习的图片异常检测方法 | |
CN110246171B (zh) | 一种实时单目视频深度估计方法 | |
Nguyen et al. | Deep visual saliency on stereoscopic images | |
CN111553250B (zh) | 一种基于人脸特征点的精准面瘫程度评测方法及装置 | |
CN112560710A (zh) | 一种用于构建指静脉识别***的方法及指静脉识别*** | |
CN113706544A (zh) | 一种基于完备注意力卷积神经网络的医学图像分割方法 | |
CN115761358A (zh) | 一种基于残差胶囊网络对心肌纤维化进行分类的方法 | |
CN116342624A (zh) | 一种结合特征融合与注意力机制的脑肿瘤图像分割方法 | |
CN114694074A (zh) | 一种使用图像生成视频的方法、装置以及存储介质 | |
CN117115900B (zh) | 一种图像分割方法、装置、设备及存储介质 | |
CN112329662B (zh) | 基于无监督学习的多视角显著性估计方法 | |
CN111401209B (zh) | 一种基于深度学习的动作识别方法 | |
CN111553249B (zh) | 一种cv下基于h-b分级的精准面瘫程度评测方法及装置 | |
CN112818774A (zh) | 一种活体检测方法及装置 | |
CN115862119B (zh) | 基于注意力机制的人脸年龄估计方法及装置 | |
CN111680545A (zh) | 一种基于语义分割的精准面瘫程度评测方法及装置 | |
CN111882551B (zh) | 病理图像细胞计数方法、***及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant |