CN111126180B - 一种基于计算机视觉的面瘫严重程度自动检测*** - Google Patents

一种基于计算机视觉的面瘫严重程度自动检测*** Download PDF

Info

Publication number
CN111126180B
CN111126180B CN201911242254.3A CN201911242254A CN111126180B CN 111126180 B CN111126180 B CN 111126180B CN 201911242254 A CN201911242254 A CN 201911242254A CN 111126180 B CN111126180 B CN 111126180B
Authority
CN
China
Prior art keywords
image
facial paralysis
classifier
patient
severe
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911242254.3A
Other languages
English (en)
Other versions
CN111126180A (zh
Inventor
赵启军
张继成
袁志
李鹏飞
谭顺娥
周秀蓉
郭子衣
邵欣
闫思岑
朱春霖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Integrative Medicine Hospital
Sichuan University
Original Assignee
Sichuan Integrative Medicine Hospital
Sichuan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Integrative Medicine Hospital, Sichuan University filed Critical Sichuan Integrative Medicine Hospital
Priority to CN201911242254.3A priority Critical patent/CN111126180B/zh
Publication of CN111126180A publication Critical patent/CN111126180A/zh
Application granted granted Critical
Publication of CN111126180B publication Critical patent/CN111126180B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Radiology & Medical Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Image Analysis (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了计算机视觉领域的一种基于计算机视觉的面瘫严重程度自动检测***。***包括：图像采集模块，信息存储模块、图像处理器和人机交互设备，其中，图像处理器，将从图像采集模块采集到的患者面部信息进行预处理，并且将预处理后的患者面部信息输入到预设的分类器中，输出面瘫严重程度判定的结果，预设的分类器包括自然表情分类器、露睛分类器、严重示齿分类器、示齿分类器和抬眉分类器。本发明所保护的检测***用于辅助医生进行面瘫严重程度评估诊断，与手工测量法相比，采用本发明的***，使用方便、效率高。

Description

一种基于计算机视觉的面瘫严重程度自动检测***
技术领域
本发明涉及人脸图像识别领域，特别涉及一种基于计算机视觉的面瘫严重程度自动检测***。
背景技术
周围性面瘫，又称为贝尔式面瘫，是一种表现为面部一侧肌肉群运动障碍的局部瘫痪疾病。患者临床表现为不能正常完成抬眉、皱鼻和示齿等日常表情动作，严重的面瘫患者甚至在自然表情下也能观察到明显的面部不对称现象。由于患者患侧无法正常运动，这样也导致患者不能正常进行喝水和吃饭等日常活动，并且在患侧常有口水流出。这样不仅对患者的形象，还会对患者的日常生活产生很大的影响。
面瘫严重等级的划分，现在最常用的是H-B(House-Brackmann)面瘫严重评估法。H-B评估法共分为0级至5级共六个面瘫严重等级，0级为面瘫严重等级最轻微的级别，患者面部完全恢复正常；5级为面瘫严重程度最严重的等级。在中医中，面瘫严重等级为4或5被认为严重面瘫，面瘫等级为3或2被认为中度面瘫，面瘫等级为1或0被认为轻度面瘫。根据H-B面瘫评估法，每一类面瘫等级及相应的临床症状如表1所示。
表1：H-B面瘫严重程度评估患者症状表
Figure BDA0002306581960000021
现阶段，医生对于患者面瘫严重程度的评估分为手工测量法和肌电图诊断法两类。对于手工测量法，首先医生会要求患者进行如抬眉或示齿等面部动作，然后测量眉毛和嘴角较静止时的移动距离来进行面瘫严重程度的评估。这样的评估方法较为准确，但是实施过程复杂且耗时，不适用于日常的面瘫严重程度诊断。肌电图诊断法是让患者进行面部肌电图的检查，了解面部神经的反应，给出面部神经正常或异常的判断。这样的方法较手工测量法简单，但是给出的面瘫严重程度结果不精确。所以需要有一种装置，用于辅助医生进行快速且准确的面瘫严重程度评估诊断。
发明内容
本发明的目的在于克服现有技术中所存在的上述不足，提供一种基于计算机视觉的面瘫严重程度自动检测***。
为了实现上述发明目的，本发明提供了以下技术方案：
一种基于计算机视觉的面瘫严重程度自动检测***，包括：图像采集模块，信息存储模块、图像处理器、人机交互设备，
图像采集模块采集用于面瘫严重程度判定的图像信息，并输出图像信息到图像处理器；
信息存储模块，用于存储图像处理器输出的面瘫严重程度判定中间判定结果；
人机交互设备，包括输入设备和显示设备，输入设备用于输入控制指令到图像处理器，显示设备接收并显示图像处理器输出的严重程度判定的结果；
图像处理器，将从图像采集模块采集到的患者面部信息进行预处理，并且将预处理后的患者面部信息输入到预设的分类器中，输出面瘫严重程度判定的结果，预设的分类器包括自然表情分类器、露睛分类器、严重示齿分类器、示齿分类器和抬眉分类器。
***进行面瘫严重程度判定的步骤包括：
S1，根据输入设备的自然面部表情控制指令，图像处理器将从图像采集模块获取的患者的自然面部表情图像经过自然面部表情预处理后输入到预设的自然表情分类器中，并输出自然表情判断结果到信息存储模块；
S2，根据输入设备的闭眼时的图像控制指令，图像处理器将从像采集模块获取的同一患者闭眼时的图像经过闭眼预处理后输入到预设的露睛分类器中，并输出露睛判断结果到信息存储模块；
S3，人机交互设备的输入设备将初步判定指令输出到图像处理器，图像处理器根据初步判定指令，从信息存储模块中读取露睛判断结果和自然表情判断结果，并根据露睛判断结果和自然表情判断结果，输出初步判定结果到显示设备和信息存储模块，初步判定结果为非严重类面瘫或严重类面瘫，当判定结果为严重类面瘫时，执行步骤S4，当判定结果为非严重面瘫时，执行步骤S5～S7；
S4，当患者为严重类面瘫时，通过人机交互设备的输入设备输入示齿动作图像采集指令到图像采集模块，并控制图像采集模块采集同一患者示齿动作的图像，并且将示齿动作的图像输入到图像处理器中，图像处理器对示齿动作的图像进行预处理，然后将预处理后的示齿动作的图像输入到预设的严重示齿分类器中，并输出严重示齿判断结果到信息存储模块中，图像处理器根据输入设备输入的严重面瘫判定指令，读取信息存储模块中的严重示齿判断结果和初步判定结果，得出患者的面瘫严重类等级，并将面瘫严重类等级显示在显示设备中；
S5，当患者为非严重类面瘫时，通过人机交互设备的输入设备输入示齿动作图像采集指令到图像采集模块，控制图像采集模块采集同一患者示齿动作的图像，并将示齿动作的图像输入到图像处理器中，图像处理器对示齿动作的图像进行预处理，然后将预处理后的示齿动作的图像输入到预设的示齿分类器中，并输出示齿判断结果到信息存储模块中；
S6，通过人机交互设备的输入设备输入抬眉动作图像采集指令到图像采集模块，控制图像采集模块再一次采集同一患者抬眉动作的图像，将抬眉动作的图像存储到信息存储模块中，并且将抬眉动作的图像输入到图像处理器中，图像处理器对抬眉动作的图像进行预处理，然后将预处理后的抬眉动作的图像输入到预设的抬眉分类器中，并输出抬眉判断结果到信息存储模块中；
S7，图像处理器根据输入设备输入的非严重面瘫判定指令，从信息存储模块中读取示齿判断结果和抬眉判断结果，由示齿判断结果和抬眉判断结果获得非严重面瘫判定系数，根据非严重面瘫判定系数确定非严重面瘫判定等级，并将非严重面瘫判定等级显示在显示设备中。
以自然表情下患者面部是否对称作为依据构建自然表情分类器，自然表情分类器的训练步骤为：
S101，根据患者眼部轮廓特征点坐标得到瞳孔中心特征点坐标；
S102，根据左右眼瞳孔中心特征点坐标，得到人脸相对水平方向的偏转角度，并根据偏转角度构建旋转矩阵；
S103，根据旋转矩阵对图像进行坐标矫正，并利用最近邻插值的方法对校正后的图像进行像素插值；
S104，对进行像素插值处理后的图像进行裁剪，并进行尺度归一化处理，得到预处理后的人脸图像；
S105，将预处理后的人脸图像利用基于径向积核的非线性SVM分类器，对预处理后的人脸图像进行训练，得到自然表情分类器。
以闭眼状态下患者是否有露睛现象作为依据构建露睛分类器，露睛分类器的训练步骤为：
S201，根据患者眼部轮廓特征点坐标得到瞳孔中心特征点坐标；
S202，根据左右眼瞳孔中心特征点坐标，得到人脸相对水平方向的偏转角度，并根据偏转角度构建旋转矩阵；
S203，根据旋转矩阵对图像进行坐标矫正，并利用最近邻插值的方法对校正后的图像进行像素插值；
S204，根据输入的患者患侧信息，对进行像素插值处理后的图像进行翻转处理，若患者属于左侧脸面瘫，不需要对患者图像进行翻转，若患者属于右侧脸面瘫，对图像进行水平翻转，将患者的右侧面瘫变为左侧面瘫。
S205，在进行翻转处理后的图像中裁剪出左眼区域，并进行尺度归一化处理；
S206，提取尺度归一化处理后的人眼区域图像的局部二值直方图特征；
S207，利用SVM分类器对局部二值直方图特征进行训练，得到露睛分类器。
以严重类面瘫患者患侧嘴部的运动情况作为依据构建严重示齿分类器，严重示齿分类器训练的步骤包括：
S301，获取严重类面瘫患者的齿视视频数据；
S302，根据嘴部特征点位置，利用梯度直方图特征提取一组嘴部区域的动作特征；
S303，将一组嘴部区域的动作特征输入到SVM分类器，训练得到示齿分类器。
步骤S302的实现步骤包括：
S3021，从严重类面瘫患者的齿视视频数据中等差地选择5帧图像作为提取运动特征的图像；
S3022，根据嘴部特征点位置，分别提取5帧图像以特征点为中心的局部图像区域In；
S3023，分别计算5帧图像以特征点为中心的局部图像区域的梯度直方图特征，排列成一个列向量组成的嘴部运动特征。
步骤S3023中，计算以特征点为中心的局部图像区域的梯度直方图特征的步骤包括：
第一步，将彩色图像变为灰度图；
第二步，采用Gamma校正法对输入的图像进行颜色空间的标准化；
第三步，计算以特征点为中心的局部图像区域中每个像素在x方向梯度Gx(x，y)和y方向的梯度Gy(x，y)；
第四步，根据每个像素在x方向梯度Gx(x，y)和y方向的梯度Gy(x，y)，计算每个像素的梯度大小G(x，y)和方向α(x，y)；
第五步，根据每个像素的梯度大小G(x，y)和方向α(x，y)获得梯度直方图特征。
以非严重类面瘫患者患侧嘴部运动情况作为依据构建示齿分类器，示齿分类器训练的步骤包括：
S401，获取非严重类面瘫患者的齿视视频数据；
S402，根据嘴部特征点位置，利用梯度直方图特征从非严重类面瘫患者的齿视视频数据中提取一组嘴部区域的动作特征；
S403，将一组嘴部区域的动作特征输入到SVM分类器，训练得到示齿分类器。
依据非严重类面瘫患者眉毛的运动程度构建抬眉分类器，抬眉分类器训练的步骤包括：
S501，获取非严重类面瘫患者的抬眉视频数据；
S502，根据眉毛特征点位置，利用梯度直方图特征从非严重类面瘫患者的齿视视频数据中提取一组眉毛区域的动作特征；
S503，将一组眉毛区域的动作特征输入到SVM分类器，训练得到抬眉分类器。
与现有技术相比，本发明的有益效果：
本发明所保护的一种基于计算机视觉的面瘫严重程度自动检测***用于辅助医生进行面瘫严重程度评估诊断，与手工测量法相比，采用本发明的***，使用方便、效率高。
附图说明
图1为一种基于计算机视觉的面瘫严重程度自动检测***的结构示意图；
图2为一种基于计算机视觉的面瘫严重程度自动检测方法的流程图；
图3为实施例1中人脸68特征点图；
图4为实施例1中自然表情下严重和非严重面瘫患者症状图；
图5为实施例1中剪裁后自然表情分类器输入的人脸图像；
图6为实施例1中闭眼状态下严重和非严重患者症状图；
图7为实施例1中剪裁后左眼区域；
图8为实施例1中自然表情分类器构建流程图；
图9为实施例1中露睛分类器构建流程图；
图10为实施例1中严重示齿分类器构建流程图；
图11为实施例1中示齿分类器构建流程图；
图12为实施例1中抬眉分类器构建流程图。
具体实施方式
下面结合试验例及具体实施方式对本发明作进一步的详细描述。但不应将此理解为本发明上述主题的范围仅限于以下的实施例，凡基于本发明内容所实现的技术均属于本发明的范围。
实施例1
一种基于计算机视觉的面瘫严重程度自动检测装置，包括图像采集模块，信息存储模块、图像处理器、人机交互设备，***的结构示意图如图1所示。
图像采集模块通过摄像头采集患者的面部图像，用于采集患者的自然表情图像、闭眼时的面部图像、示齿动作图像和抬眉动作图像等用于面瘫严重程度判定的图像信息。
信息存储模块，用于存储已经完成面瘫严重程度判定的中间结果和最终结果，以备查询。
人机交互设备，包括输入设备和显示设备，输入设备用于指令的输入和结果的输出显示，输入的指令包括拍照、评估、生成评估结果等指令。显示设备输出显示的内容包括拍摄的面部图像以及评估面瘫的严重等级。
图像处理器，存储了完成面瘫严重程度判定的程序，将采集到的患者面部信息进行预处理，并且将预处理后的患者面部信息输入到分类器中，完成面瘫严重程度的评估，分类器包括自然表情分类器、露睛分类器、严重示齿分类器、示齿分类器、抬眉分类器等。
***完成评估功能的流程图如图2所示，步骤包括：
S1，通过人机交互设备的输入设备输入图像采集指令到图像采集模块，控制图像采集模块通过摄像头采集患者的自然面部表情图像，并且将该图像输入到图像处理器中，图像处理器首先对自然面部表情进行预处理，然后将完成预处理的自然面部表情输入到预设的自然表情分类器中，运行相应的自然表情判断程序，并将自然表情判断结果(0或1)输出到信息存储模块。
S2，通过人机交互设备的输入设备输入图像采集指令到图像采集模块，控制图像采集模块通过摄像头再一次采集同一患者闭眼时的图像，并且将该图像输入到图像处理器中，图像处理器首先对闭眼时的图像进行预处理，然后将预处理后的闭眼时的图像输入到预设的露睛分类器中，运行相应的露睛判断程序，并将露睛判断结果(0或1)输出到信息存储模块。
S3，人机交互设备的输入设备输入初步判定指令，图像处理器根据输入的初步判定指令，从信息存储模块中读取自然表情判断结果和露睛判断结果，将两个结果进行叠加，获得初步判定系数，根据初步判定系数，获得初步判定结果，并将初步判定结果显示在显示设备中，初步判定结果分为非严重类面瘫或严重类面瘫。
初步判定系数的取值为0，1或2。当露睛判断结果为1，自然表情判断结果为1时，叠加后，结果为2，则患者属于严重面瘫，否则患者诊断为非严重类面瘫；非严重类面瘫的判定结果为：a、自然表情判断结果为1，露睛判断结果为0，结果为1；b、自然表情判断结果为0，露睛判断结果为1，结果为1；c、自然表情判断结果为0，露睛判断结果为0，结果为0。
S4，当初步判定结果为严重类面瘫，执行步骤S5，并输出严重类面瘫等级；当初步判定结果为非严重类面瘫，执行步骤S6和S7，并输出非严重类面瘫等级。
S5，当患者为严重类面瘫时，通过人机交互设备的输入设备输入图像采集指令到图像采集模块，控制图像采集模块通过摄像头再一次采集同一患者示齿动作的图像，并且将该图像输入到图像处理器中，图像处理器首先对示齿动作的图像进行预处理，然后将预处理后的示齿动作的图像输入到预设的严重示齿分类器中，运行相应的严重示齿判断程序，并输出严重示齿判断结果(0或1)到信息存储模块中，根据严重示齿判断结果和初步判定结果，得出患者的面瘫严重类等级，并将非严重面瘫判定等级显示在显示设备中。
若患者在第一阶段诊断为严重面瘫(初步判定系数为2)，患者的面瘫严重类等级严重示齿判断结果进行划分：若严重示齿分类器判断患者示齿动作患侧无运动，严重示齿判断结果为1，则患者的面瘫严重等级为五级；若判断患者示齿动作患侧有轻微运动，严重示齿判断结果为0，则患者的面瘫严重等级为四级。
S6，当患者为非严重类面瘫时，通过人机交互设备的输入设备输入图像采集指令到图像采集模块，控制图像采集模块通过摄像头再一次采集同一患者示齿动作的图像，并且将该图像输入到图像处理器中，图像处理器首先对示齿动作的图像进行预处理，然后将预处理后的示齿动作的图像输入到预设的示齿分类器中，运行相应的示齿判断程序，并输出示齿判断结果(0，1或2)到信息存储模块中。
S7，通过人机交互设备的输入设备输入图像采集指令到图像采集模块，控制图像采集模块通过摄像头再一次采集同一患者抬眉动作的图像，并且将该图像输入到图像处理器中，图像处理器首先对抬眉动作的图像进行预处理，然后将预处理后的抬眉动作的图像输入到预设的抬眉分类器中，运行相应的抬眉判断程序，并输出抬眉判断结果(0，1或2)到信息存储模块中。
S8，人机交互设备的输入设备输入非严重面瘫判定指令，图像处理器根据输入的非严重面瘫判定指令，从信息存储模块中读取示齿判断结果和抬眉判断结果，将两个结果进行叠加，获得非严重面瘫判定系数，获得非严重面瘫判定等级，并将非严重面瘫判定等级显示在显示设备中。
若两个结果进行叠加后结果为4，则患者的H-B面瘫严重程度为三级；若两个分类器综合评分为3分，则患者的H-B面瘫严重程度为二级；若两个分类器综合评分为2，则患者的H-B面瘫严重程度为一级；若两个结果进行叠加后结果为1或0，则患者的H-B面瘫严重等级为0。
进一步的，图像处理器在接收到图像采集模块输出的图像之后，对图像根据分类器进行处理之前，均进行了图像的预处理，预处理过程步骤包括了：
(1)人脸检测：根据图像采集模块采集的多个面部图像，图像处理器检测图像中人脸的位置及大小。
(2)人脸特征点定位：图像处理器根据检测出的人脸位置，定位人脸中68个特征点的坐标，并将这68个特征点的坐标存储在信息存储模块中。这68个特征点都有自己固定的语义信息，1至17号特征点代表脸部轮廓特征点，18至27号特征点代表眉毛特征点，28至36号特征点代表鼻子特征点，37至48号特征点代表眼睛特征点，49至68号特征点代表嘴巴处特征点。人脸68特征点图如图3所示。
(3)面瘫患侧矫正：对于面瘫患者分为左侧面瘫或右侧面瘫，根据输入设备的指令，图像处理器对面瘫图像进行左右校准工作，若患者属于左侧面瘫，则保留原始图像；若患者属于右侧面瘫，则对图像进行左右反转。
进一步地，图像处理器在进行图像分类器处理之前，生成了预设的自然表情分类器、露睛分类器、严重示齿分类器、示齿分类器和抬眉分类器。以上分类器的训练过程如下：
自然表情分类器的训练：医生通常将自然表情状态下患者面部对称情况作为判断患者是否属于严重面瘫的标准之一。面瘫患者根据面瘫严重程度在自然表情状态下会表现出不同的临床特征，对于面瘫严重程度为4或5的面瘫患者，在自然表情下会表现出“鼻歪嘴斜”的现象，也就是鼻唇沟区域以及嘴部区域不对称，自然表情下严重和非严重面瘫患者症状如图4所示；但是对于面瘫严重程度0至3的患者，会表现正常，无不对称现象。以自然表情下患者面部是否对称作为依据构建自然表情分类器。训练步骤包括：
(a)训练数据构建：
提取视频中患者维持正常表情的人脸图像数据，将面瘫严重程度4和5划分为一类，作为严重面瘫类，将严重程度0至3划分为一类，作为非严重面瘫类。
(b)数据预处理：
1)人脸校准：
(1.1)首先根据眼部轮廓特征点坐标得到瞳孔中心特征点坐标。设人脸特征点坐标为L＝{l1，l2，......l68}。左眼睛处特征点编号为36至42，右眼特征点编号为43至47，则左右瞳孔中心特征点坐标分别为：
Figure BDA0002306581960000131
(1.2)然后根据左右眼中心特征点位置，得到人脸相对水平方向的偏转角度θ，并根据偏转角度构建旋转矩阵R。
θ＝arctan(llec-lrec)×180/π
Figure BDA0002306581960000132
(1.3)最后根据旋转矩阵对图像进行矫正。其中(x，y)为图像中每个像素的坐标，(x′，y′)为经过校正后像素的坐标，(x′，y′)＝(x，y)×R-1。
(1.4)利用最近邻插值的方法对校正后的图像进行像素插值。
I′(x′，y′)＝I(x，y)
2)人脸剪裁：根据36号特征点坐标(x36，y36)、45号特征点坐标(x45，y45)和57号特征点坐标(x57，y57)，确定感兴趣区域。确定感兴趣区域后，对人脸进行剪裁，剪裁后的人脸图像如图5所示。I为原始图像，I′为经过剪裁后的人脸图像。
x1＝x36，x2＝x45，y1＝min(y36，y45)，y2＝y57
I′＝I(x1：x2，y1：y2)
3)图像尺度归一化：由于得到的图像尺度不一致，通过最近邻插值的方法，将图像尺度归一化为224*224像素。其中I′为经过剪裁后的人脸图像，它的像素尺度为w*h，I″为经过尺度归一化后的人脸图像，它的像素尺度大小为w′*h′
I″(x′i，y′i)＝I′(x′i*(w/w′)，y′i(h/h′))
(d)模型训练：通过基于径向基核函数的非线性SVM分类器对自然表情分类器进行训练。
露睛分类器的训练：当患者闭眼时，不同严重程度的患者会表现出不同的症状。当患者属于严重类面瘫，患者在闭眼状态时，患侧眼皮无法闭紧，会观察到患侧露出眼白，这样在中医学角度定义为露睛现象，但是当患者属于非严重类面瘫的情况下，患者能正常紧闭双眼，无露睛现象，闭眼状态下严重和非严重患者症状如图6所示。以闭眼状态下患者是否有露睛现象作为依据构建露睛分类器。
(a)训练数据准备
提取视频中患者维持闭眼状态的人脸图像数据，将面瘫严重程度4和5划分为一类，作为严重面瘫类，将严重程度0至3划分为一类，作为非严重面瘫类。
(b)数据预处理
1)人脸校准
(1.1)首先需要根据眼部轮廓特征点坐标得到瞳孔中心特征点坐标。设人脸特征点坐标为L＝{l1，l2，......l68}。左眼睛处特征点编号为36至42，右眼特征点编号为43至47，则左右瞳孔中心特征点坐标为
Figure BDA0002306581960000151
(1.2)然后根据左右眼中心特征点位置，得到人脸相对水平方向的偏转角度θ，并根据偏转角度构建旋转矩阵R。
θ＝arctan(llec-lrec)×180/π
Figure BDA0002306581960000152
(1.3)最后根据旋转矩阵对图像进行矫正。其中(x，y)为图像中每个像素的坐标，(x′，y′)为经过校正后像素的坐标，(x′，y′)＝(x，y)×R-1。
(1.4)利用最近邻插值的方法对校正后的图像进行像素插值。
I′(x′，y′)＝I(x，y)
2)感兴趣区域剪裁：
根据37至42号左眼特征点坐标提取出左眼区域Ile，剪裁后左眼区域图像如图7所示。
Ile＝I(x37：x40，y39：y41)
3)尺度归一化
通过最近邻插值的方式，将眼部区域图像归一化至像素单位40*110大小。其中I为原图像，它的像素尺度为w*h，I′为目标图像，它的像素尺度大小为w′*y′
I(x′i，y′i)＝I(x′i*(w/w′)，y′i*(h/h′))
(c)局部二值直方图特征提取
(1.1)设定一个3*3大小的窗口，以窗口中心元素为阈值，将相邻的8个像素的灰度值与其比较，若元素大于中心像素值，则该像素点的位置记为1，否则记为0。这样3*3邻域内的8个点经比较产生8位2进制数。即得到该窗口中心元素的局部二值特征，以此来反应这个3*3区域的纹理信息。设I(c)表示人脸眼部区域图像中某个中心像素点(xc，yc)的灰度值，I(p)为该中心像素邻域内第p个像素点的灰度值，则该像素点处的局部二值特征LBP定义为：
Figure BDA0002306581960000161
Figure BDA0002306581960000162
(1.2)根据局部二值特征***部二值直方图得到局部二值直方图特征。
(d)分类器训练
利用SVM分类器对局部二值直方图特征进行训练，得到露睛分类器。
严重示齿分类器的训练：当患者属于严重面瘫时，意味着患者的面瘫严重等级属于4或5。对于这两类面瘫患者，根据医生经验，仅能通过患侧嘴部的运动情况判断患者的面瘫严重等级。若患者患侧嘴部可以轻微移动，则患者的面瘫严重等级为4，若患者患侧嘴部无法移动，则患者的面瘫严重程度属于5。以严重类面瘫患者患侧嘴部的运动情况作为依据构建严重示齿分类器。
(a)准备训练数据
提取面瘫严重等级4和5的齿视视频数据。将面瘫严重等级4的示齿动作作为一类，面瘫严重等级5的示齿动作作为第二类。
(b)提取动作特征：
1)根据嘴部特征点位置，利用梯度直方图特征提取嘴部区域的动作特征。
具体步骤为：
(1.1)根据嘴部特征点位置，提取以特征点为中心的局部图像区域In，局部区域大小为[16*16]像素大小。
(1.2)计算In的梯度直方图特征
Figure BDA0002306581960000171
i.灰度化，将彩色图像变为灰度图；
ii.采用Gamma校正法对输入的图像进行颜色空间的标准化；
IGamma＝I1/2
iii.计算局部区域中每个像素在x方向梯度Gx(x，y)和y方向的梯度Gy(x，y)。
Gx(x，y)＝IGamma(x+1，y)-IGamma(x-1，y)
Gy(x，y)＝IGamma(x，y+1)-IGamma(x，y-1)
iv.计算每个像素点的梯度大小G(x，y)和方向α(x，y)。
Figure BDA0002306581960000172
Figure BDA0002306581960000173
v.设定需要统计的梯度方向为9个方向块，根据求得的梯度大小和梯度方向统计梯度直方图作为特征
Figure BDA0002306581960000174
(1.3)提取嘴部全部特征点的梯度直方图特征并排列成列向量，组成单帧嘴部梯度直方图特征
Figure BDA0002306581960000175
2)等差的选择5帧图像作为提取运动特征的图像。设numvideo为视频的总帧数，j为得到的图像间隔，framei第i张图像在视频中的序列位置。
j＝numvideo/5
{framei＝(i-1)*j+1|i∈[1，5]}
3)计算它们的梯度直方图特征排列成一个列向量组成嘴部运动特征。
Figure BDA0002306581960000181
(c)训练分类器：
利用基于径向基核的非线性SVM分类器对不同严重等级的面瘫患者的嘴部运动特征进行训练。
示齿分类器的训练：当患者属于非严重面瘫患者时，不同面瘫严重程度的患者在进行示齿动作时会有不同的临床症状。根据医生临床观察，在进行示齿动作时，对于患者嘴部的运动，面瘫等级3的患者嘴部不对称程度明显，不对称性严重；对于面瘫等级1或2的患者，嘴部不对称现象轻微，但仍能观察到嘴部的不对称现象；对于面瘫等级0的患者，完全恢复正常，嘴部无不对称现象。以非严重类面瘫患者患侧嘴部运动情况作为依据构建示齿分类器。
(a)准备训练数据
提取面瘫严重等级0至3的示齿视频数据。将面瘫严重等级为3的患者齿视动作作为一类；将面瘫严重等级为2和1的患者齿视动作作为一类；将面瘫严重等级为0的患者齿视动作作为一类。
(b)提取动作特征：
1)根据嘴部特征点位置，利用梯度直方图特征提取嘴部区域的动作特征。
具体步骤为：
(1.1)根据嘴部特征点位置，提取以特征点为中心的局部图像区域In，局部区域大小为[8*8]像素大小。
(1.2)计算In的梯度直方图特征
Figure BDA0002306581960000191
i.灰度化，将彩色图像变为灰度图；
ii.采用Gamma校正法对输入的图像进行颜色空间的标准化；
IGamma＝I1/2
iii.计算局部区域中每个像素在x方向梯度Gx(x，y)和y方向的梯度Gy(x，y)；
Gx(x，y)＝IGamma(x+1，y)-IGamma(x-1，y)
Gy＝IGamma(x，y+1)--IGamma(x，y-1)
iv.计算每个像素点的梯度大小G(x，y)和方向α(x，y)；
Figure BDA0002306581960000192
Figure BDA0002306581960000193
v.设定梯度方向为9个方向块，根据求得的梯度大小和梯度方向统计梯度直方图作为特征
Figure BDA0002306581960000194
(1.3)提取嘴部全部特征点的梯度直方图特征并排列成列向量，组成单帧嘴部梯度直方图特征，
Figure BDA0002306581960000195
2)等差的选择5帧图像作为提取运动特征的图像。设numvideo为视频的总帧数，j为得到的图像间隔，framei第i张图像在视频中的序列位置。
j＝numvideo/5
{framei＝(i-1)*j+1|i∈[1，5]}
3)计算5帧图像的梯度直方图特征排列成一个列向量组成嘴部运动特征。
Figure BDA0002306581960000201
(c)训练分类器：
利用SVM分类器对不同严重等级的面瘫患者的嘴部运动特征进行训练，得到示齿分类器。
抬眉分类器的训练：当患者属于非严重面瘫患者时，不同面瘫严重程度的患者在进行抬眉动作时会有不同的临床症状。根据医生临床观察，在进行抬眉动作时，对于患者眉毛的运动，面瘫等级3的患者患侧眉毛无法移动；对于面瘫等级2的患者，眉毛可以轻微移动；对于面瘫等级0或1的患者，完全恢复正常，眉毛可以正常移动。依据非严重类面瘫患者眉毛的运动程度构建抬眉分类器。
(a)分类器构建依据
当患者属于非严重面瘫患者时，不同面瘫严重程度的患者在进行抬眉动作时会有不同的临床症状。根据医生临床观察，在进行抬眉动作时，对于患者眉毛的运动，面瘫等级3的患者患侧眉毛无法移动；对于面瘫等级2的患者，眉毛可以轻微移动；对于面瘫等级0或1的患者，完全恢复正常，眉毛可以正常移动。依据非严重类面瘫患者眉毛的运动程度构建抬眉分类器。
(a)准备训练数据
提取面瘫严重等级0至3的抬眉视频数据。将面瘫严重等级为3的患者的抬眉动作作为一类；将面瘫严重等级为2的患者的抬眉动作作为一类；将面瘫严重等级为0和1的患者抬眉动作作为一类。
(b)提取动作特征：
1)根据眉毛特征点位置，利用梯度直方图特征提取眉毛区域的动作特征。具体步骤为。
(1.1)根据眉毛特征点位置，提取以特征点为中心的局部图像区域In，局部区域大小为[16*16]像素大小。
(1.2)计算In的梯度直方图特征
Figure BDA0002306581960000211
步骤包括：
i.灰度化，将彩色图像变为灰度图；
ii.采用Gamma校正法对输入的图像进行颜色空间的标准化；
IGamma＝I1/2
iii.计算局部区域中每个像素在x方向梯度Gx(x，y)和y方向的梯度Gy(x，y)；
Gx(x，y)＝IGamma(x+1，y)-IGamma(x-1，y)
Gy＝IGamma(x，y+1)--IGamma(x，y-1)
iv.计算每个像素点的梯度大小G(x，y)和方向α(x，y)；
Figure BDA0002306581960000212
Figure BDA0002306581960000213
v.设定梯度方向为9个方向块，根据求得的梯度大小和梯度方向统计梯度直方图作为特征
Figure BDA0002306581960000221
(1.3)提取眉毛全部特征点的梯度直方图特征并排列成列向量，组成单帧眉毛梯度直方图特征，
Figure BDA0002306581960000222
2)等差的选择5帧图像作为提取运动特征的图像。设numvideo为视频的总帧数，j为得到的图像间隔，framei第i张图像在视频中的序列位置。
j＝numvideo/5
{framei＝(i-1)*j+1|i∈[1，5]}
3)计算5帧图像的梯度直方图特征排列成一个列向量组成眉毛运动特征。
Figure BDA0002306581960000223
(c)训练分类器：
利用SVM分类器对不同严重等级的面瘫患者的眉毛运动特征进行训练。
自然表情分类器构建流程图如图8所示；露睛分类器构建流程图如图9所示；严重示齿分类器构建流程图如图10所示；示齿分类器构建流程图如图11所示；抬眉分类器构建流程图如图12所示。

Claims (8)

1.一种基于计算机视觉的面瘫严重程度自动检测***，其特征在于，包括：图像采集模块，信息存储模块、图像处理器、人机交互设备，
所述图像采集模块采集用于面瘫严重程度判定的图像信息，并输出所述图像信息到所述图像处理器；
所述信息存储模块，用于存储所述图像处理器输出的面瘫严重程度判定中间判定结果；
所述人机交互设备，包括输入设备和显示设备，所述输入设备用于输入控制指令到所述图像处理器，所述显示设备接收并显示所述图像处理器输出的严重程度判定的结果；
所述图像处理器，将从所述图像采集模块采集到的患者面部信息进行预处理，并且将预处理后的患者面部信息输入到预设的分类器中，输出面瘫严重程度判定的结果，所述预设的分类器包括自然表情分类器、露睛分类器、严重示齿分类器、示齿分类器和抬眉分类器；
所述***进行面瘫严重程度判定的步骤包括：
S1，根据所述输入设备的自然面部表情控制指令，所述图像处理器将从所述图像采集模块获取的患者的自然面部表情图像经过自然面部表情预处理后输入到预设的自然表情分类器中，并输出自然表情判断结果到所述信息存储模块；
S2，根据所述输入设备的闭眼时的图像控制指令，图像处理器将从所述像采集模块获取的同一患者闭眼时的图像经过闭眼预处理后输入到预设的露睛分类器中，并输出露睛判断结果到所述信息存储模块；
S3，所述人机交互设备的输入设备将初步判定指令输出到所述图像处理器，所述图像处理器根据所述初步判定指令，从所述信息存储模块中读取所述露睛判断结果和所述自然表情判断结果，并根据所述露睛判断结果和所述自然表情判断结果，输出初步判定结果到所述显示设备和所述信息存储模块，所述初步判定结果为非严重类面瘫或严重类面瘫，当判定结果为严重类面瘫时，执行步骤S4，当判定结果为非严重面瘫时，执行步骤S5～S7；
S4，当患者为严重类面瘫时，通过所述人机交互设备的输入设备输入示齿动作图像采集指令到所述图像采集模块，并控制图像采集模块采集同一患者示齿动作的图像，并且将所述示齿动作的图像输入到所述图像处理器中，所述图像处理器对所述示齿动作的图像进行预处理，然后将预处理后的示齿动作的图像输入到预设的严重示齿分类器中，并输出严重示齿判断结果到所述信息存储模块中，所述图像处理器根据所述输入设备输入的严重面瘫判定指令，读取信息存储模块中的所述严重示齿判断结果和所述初步判定结果，得出患者的面瘫严重类等级，并将所述面瘫严重类等级显示在所述显示设备中；
S5，当患者为非严重类面瘫时，通过所述人机交互设备的输入设备输入示齿动作图像采集指令到图像采集模块，所述控制图像采集模块采集同一患者示齿动作的图像，并将示齿动作的图像输入到所述图像处理器中，所述图像处理器对所述示齿动作的图像进行预处理，然后将预处理后的示齿动作的图像输入到预设的示齿分类器中，并输出示齿判断结果到所述信息存储模块中；
S6，通过所述人机交互设备的输入设备输入抬眉动作图像采集指令到所述图像采集模块，控制所述图像采集模块再一次采集同一患者抬眉动作的图像，将所述抬眉动作的图像存储到信息存储模块中，并且将所述抬眉动作的图像输入到所述图像处理器中，所述图像处理器对所述抬眉动作的图像进行预处理，然后将预处理后的抬眉动作的图像输入到预设的抬眉分类器中，并输出抬眉判断结果到所述信息存储模块中；
S7，所述图像处理器根据所述输入设备输入的非严重面瘫判定指令，从所述信息存储模块中读取所述示齿判断结果和所述抬眉判断结果，由所述示齿判断结果和所述抬眉判断结果获得非严重面瘫判定系数，根据所述非严重面瘫判定系数确定非严重面瘫判定等级，并将所述非严重面瘫判定等级显示在所述显示设备中。
2.如权利要求1所述的一种基于计算机视觉的面瘫严重程度自动检测***，其特征在于，以自然表情下患者面部是否对称作为依据构建自然表情分类器，所述自然表情分类器的训练步骤为：
S101，根据患者眼部轮廓特征点坐标得到瞳孔中心特征点坐标；
S102，根据左右眼瞳孔中心特征点坐标，得到人脸相对水平方向的偏转角度，并根据偏转角度构建旋转矩阵；
S103，根据所述旋转矩阵对图像进行坐标矫正，并利用最近邻插值的方法对校正后的图像进行像素插值；
S104，对所述进行像素插值处理后的图像进行裁剪，并进行尺度归一化处理，得到预处理后的人脸图像；
S105，将所述预处理后的人脸图像利用基于径向积核的非线性SVM分类器，对所述预处理后的人脸图像进行训练，得到自然表情分类器。
3.如权利要求1所述的一种基于计算机视觉的面瘫严重程度自动检测***，其特征在于，以闭眼状态下患者是否有露睛现象作为依据构建露睛分类器，所述露睛分类器的训练步骤为：
S201，根据患者眼部轮廓特征点坐标得到瞳孔中心特征点坐标；
S202，根据左右眼瞳孔中心特征点坐标，得到人脸相对水平方向的偏转角度，并根据偏转角度构建旋转矩阵；
S203，根据所述旋转矩阵对图像进行坐标矫正，并利用最近邻插值的方法对校正后的图像进行像素插值；
S204，根据输入的患者患侧信息，对进行像素插值处理后的图像进行翻转处理，若患者属于左侧脸面瘫，不需要对患者图像进行翻转，若患者属于右侧脸面瘫，对图像进行水平翻转，将患者的右侧面瘫变为左侧面瘫；
S205，在所述进行翻转处理后的图像中裁剪出左眼区域，并进行尺度归一化处理；
S206，提取所述尺度归一化处理后的人眼区域图像的局部二值直方图特征；
S207，利用SVM分类器对所述局部二值直方图特征进行训练，得到露睛分类器。
4.如权利要求1所述的一种基于计算机视觉的面瘫严重程度自动检测***，其特征在于，以严重类面瘫患者患侧嘴部的运动情况作为依据构建严重示齿分类器，所述严重示齿分类器训练的步骤包括：
S301，获取严重类面瘫患者的齿视视频数据；
S302，根据嘴部特征点位置，利用梯度直方图特征提取一组嘴部区域的动作特征；
S303，将所述一组嘴部区域的动作特征输入到SVM分类器，训练得到示齿分类器。
5.如权利要求4所述的一种基于计算机视觉的面瘫严重程度自动检测***，其特征在于，所述步骤S302的实现步骤包括：
S3021，从严重类面瘫患者的齿视视频数据中等差地选择5帧图像作为提取运动特征的图像；
S3022，根据嘴部特征点位置，分别提取5帧图像以特征点为中心的局部图像区域
Figure DEST_PATH_IMAGE001
；
S3023，分别计算所述5帧图像以特征点为中心的局部图像区域的梯度直方图特征，排列成一个列向量组成的嘴部运动特征。
6.如权利要求5所述的一种基于计算机视觉的面瘫严重程度自动检测***，其特征在于，步骤S3023中，计算以特征点为中心的局部图像区域的梯度直方图特征的步骤包括：
第一步，将彩色图像变为灰度图；
第二步，采用Gamma校正法对输入的图像进行颜色空间的标准化；
第三步，计算所述以特征点为中心的局部图像区域中每个像素在x方向梯度
Figure 588391DEST_PATH_IMAGE002
和y方向的梯度
Figure DEST_PATH_IMAGE003
；
第四步，根据所述每个像素在x方向梯度
Figure 730659DEST_PATH_IMAGE002
和y方向的梯度
Figure 84280DEST_PATH_IMAGE003
，计算所述每个像素的梯度大小和方向
Figure 7105DEST_PATH_IMAGE004
；
第五步，根据所述每个像素的梯度大小
Figure DEST_PATH_IMAGE005
和方向
Figure 143689DEST_PATH_IMAGE004
获得梯度直方图特征。
7.如权利要求1所述的一种基于计算机视觉的面瘫严重程度自动检测***，其特征在于，以非严重类面瘫患者患侧嘴部运动情况作为依据构建示齿分类器，所述示齿分类器训练的步骤包括：
S401，获取非严重类面瘫患者的齿视视频数据；
S402，根据嘴部特征点位置，利用梯度直方图特征从所述非严重类面瘫患者的齿视视频数据中提取一组嘴部区域的动作特征；
S403，将所述一组嘴部区域的动作特征输入到SVM分类器，训练得到示齿分类器。
8.如权利要求1所述的一种基于计算机视觉的面瘫严重程度自动检测***，其特征在于，依据非严重类面瘫患者眉毛的运动程度构建抬眉分类器，所述抬眉分类器训练的步骤包括：
S501，获取非严重类面瘫患者的抬眉视频数据；
S502，根据眉毛特征点位置，利用梯度直方图特征从所述非严重类面瘫患者的齿视视频数据中提取一组眉毛区域的动作特征；
S503，将所述一组眉毛区域的动作特征输入到SVM分类器，训练得到抬眉分类器。
CN201911242254.3A 2019-12-06 2019-12-06 一种基于计算机视觉的面瘫严重程度自动检测*** Active CN111126180B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911242254.3A CN111126180B (zh) 2019-12-06 2019-12-06 一种基于计算机视觉的面瘫严重程度自动检测***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911242254.3A CN111126180B (zh) 2019-12-06 2019-12-06 一种基于计算机视觉的面瘫严重程度自动检测***

Publications (2)

Publication Number Publication Date
CN111126180A CN111126180A (zh) 2020-05-08
CN111126180B true CN111126180B (zh) 2022-08-05

Family

ID=70497725

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911242254.3A Active CN111126180B (zh) 2019-12-06 2019-12-06 一种基于计算机视觉的面瘫严重程度自动检测***

Country Status (1)

Country Link
CN (1) CN111126180B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111553250B (zh) * 2020-04-25 2021-03-09 深圳德技创新实业有限公司 一种基于人脸特征点的精准面瘫程度评测方法及装置
CN111613306A (zh) * 2020-05-19 2020-09-01 南京审计大学 一种多特征融合的面瘫自动评估方法
CN111897986A (zh) * 2020-06-29 2020-11-06 北京大学 一种图像选取方法、装置、存储介质及终端
CN112466437A (zh) * 2020-11-03 2021-03-09 桂林医学院附属医院 一种中风信息处理***
CN112750531A (zh) * 2021-01-21 2021-05-04 广东工业大学 一种中医自动化望诊***、方法、设备和介质
CN113327247B (zh) * 2021-07-14 2024-06-18 中国科学院深圳先进技术研究院 一种面神经功能评估方法、装置、计算机设备及存储介质
CN117372437B (zh) * 2023-12-08 2024-02-23 安徽农业大学 用于面神经麻痹智能化检测与量化方法及其***

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106980815A (zh) * 2017-02-07 2017-07-25 王俊 基于h‑b分级评分监督下的面瘫客观评估方法
CN110097970A (zh) * 2019-06-26 2019-08-06 北京康健数字化健康管理研究院 一种基于深度学习的面瘫诊断***及其***建立方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2264383B1 (es) * 2005-06-03 2007-11-16 Hospital Sant Joan De Deu Dispositivo captador de movimientos oculares.
CN107713984B (zh) * 2017-02-07 2024-04-09 王俊 面瘫客观评估方法
CN109508644B (zh) * 2018-10-19 2022-10-21 陕西大智慧医疗科技股份有限公司 基于深度视频数据分析的面瘫等级评估***
CN110084259B (zh) * 2019-01-10 2022-09-20 谢飞 一种结合面部纹理和光流特征的面瘫分级综合评估***
CN110163098A (zh) * 2019-04-17 2019-08-23 西北大学 基于分层深度网络的人脸表情识别模型构建及识别方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106980815A (zh) * 2017-02-07 2017-07-25 王俊 基于h‑b分级评分监督下的面瘫客观评估方法
CN110097970A (zh) * 2019-06-26 2019-08-06 北京康健数字化健康管理研究院 一种基于深度学习的面瘫诊断***及其***建立方法

Also Published As

Publication number Publication date
CN111126180A (zh) 2020-05-08

Similar Documents

Publication Publication Date Title
CN111126180B (zh) 一种基于计算机视觉的面瘫严重程度自动检测***
US10722181B2 (en) Systems, methods, and computer-readable media for using descriptors to identify when a subject is likely to have a dysmorphic feature
Yang et al. Exploiting ensemble learning for automatic cataract detection and grading
CN109543526B (zh) 基于深度差异性特征的真假面瘫识别***
WO2018222812A1 (en) System and method for guiding a user to take a selfie
KR20190087272A (ko) 안저영상을 이용한 녹내장 진단 방법 및 이를 위한 장치
CN110555845A (zh) 眼底oct图像识别方法及设备
US11244450B2 (en) Systems and methods utilizing artificial intelligence for placental assessment and examination
WO2021114817A1 (zh) 基于神经网络的oct图像病灶检测方法、装置及介质
EP3846126A1 (en) Preprocessing method for performing quantitative analysis on fundus image, and storage device
CN112686855B (zh) 一种眼象与症状信息的信息关联方法
CN112384127A (zh) 眼睑下垂检测方法及***
CN112232128B (zh) 基于视线追踪的老年残障人士照护需求识别方法
Wong et al. Learning-based approach for the automatic detection of the optic disc in digital retinal fundus photographs
CN113782184A (zh) 一种基于面部关键点与特征预学习的脑卒中辅助评估***
CN113240655A (zh) 一种自动检测眼底图像类型的方法、存储介质及装置
WO2019073962A1 (ja) 画像処理装置及びプログラム
US20230419492A1 (en) Method and apparatus for providing information associated with immune phenotypes for pathology slide image
Kolte et al. Advancing Diabetic Retinopathy Detection: Leveraging Deep Learning for Accurate Classification and Early Diagnosis
CN111588345A (zh) 眼部疾病检测方法、ar眼镜及可读存储介质
CN116664677A (zh) 一种基于超分辨率重建的视线估计方法
WO2022137601A1 (ja) 視距離推定方法、視距離推定装置、及び視距離推定プログラム
CN112330629A (zh) 基于计算机视觉的面部神经疾病康复情况静态检测***
CN113052012A (zh) 一种基于改进d-s证据的眼疾图像识别方法及***
Akter et al. Glaucoma Detection and Feature Visualization from OCT Images Using Deep Learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant