CN109543526B - 基于深度差异性特征的真假面瘫识别*** - Google Patents

基于深度差异性特征的真假面瘫识别*** Download PDF

Info

Publication number
CN109543526B
CN109543526B CN201811220859.8A CN201811220859A CN109543526B CN 109543526 B CN109543526 B CN 109543526B CN 201811220859 A CN201811220859 A CN 201811220859A CN 109543526 B CN109543526 B CN 109543526B
Authority
CN
China
Prior art keywords
facial paralysis
facial
identification
training
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811220859.8A
Other languages
English (en)
Other versions
CN109543526A (zh
Inventor
谢飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN201811220859.8A priority Critical patent/CN109543526B/zh
Publication of CN109543526A publication Critical patent/CN109543526A/zh
Application granted granted Critical
Publication of CN109543526B publication Critical patent/CN109543526B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明公开了一种基于深度差异性特征的真假面瘫识别***，包括：训练图像获取模块，用于获取训练图像，建立训练图像集；识别网络建立模块，用于建立识别网络，并利用所述的训练图像集对识别网络进行训练，得到识别模型；所述的识别网络通过双分支卷积神经网络提取输入图像深层特征的差异性信息，再利用单分支卷积神经网络对所述的差异性信息进行进一步的特征提取得到深度特征，根据这些深度特征的差异性进行真假面瘫的识别；识别模块，用于获取待识别图像，利用所述的识别模型进行识别，以得到识别结果。本发明的识别效果好，能有效完成真假面瘫识别，在临床诊断中具有重要的实际应用价值。

Description

基于深度差异性特征的真假面瘫识别***
技术领域
本发明涉及医疗和图像识别技术领域，具体涉及一种基于深度差异性特征的真假面瘫识别***。
背景技术
面瘫是一种常见病，发病范围很广，不受年龄限制，不仅会对患者的生活造成一定的影响，同时也会对其内心造成一定的打击，严重影响着患者的身心健康。随着面瘫发病率的不断增加，越来越多的学者开始关注面瘫识别研究。
为实现面瘫的自动识别，目前国内外诸多学者已对该方面进行了研究，他们通过关注静态面部不对称和动态面部变化，跟踪关键点的运动差异，利用深度学习方法对关键点进行定位，利用DCNN提取特征等方法对面瘫进行识别。研究者们利用不同方法对面部不对称或异常进行识别，取得了一定的成果，其中深度学习的方法不仅简化了方法并达到了较高的准确率。但这些方法均根据人脸的面部异常情况进行判定，例如面部不对称，比较武断的将面部不对称或异常确定为面瘫。现实情况中存在一些面部异常情况并非是面瘫患者，这种情况我们称之为假面瘫现象。由于研究者们忽略了假面瘫现象的存在，使得现有的面瘫识别方法存在误判情况，识别结果的准确率存在一定的偏差，从而在一定程度上降低了面瘫识别的准确率。因此针对假面瘫数据对面瘫识别效果的影响，目前的面瘫识别研究领域需要一种可行的自动化识别方法对真假面瘫进行识别。
发明内容
本发明的目的是提供一种基于深度差异性特征的真假面瘫识别***，该***通过一个双分支卷积神经网络提取不同时刻图像的深层特征，并根据所提取特征计算两张图像间的特征差异；再利用单支卷积神经网络提取深层差异特征的特征，并根据特征实现真假面瘫识别，从而有效完成真假面瘫识别。
为了实现上述任务，本发明采用以下技术方案：
一种基于深度差异性特征的真假面瘫识别***，包括：
训练图像获取模块，用于获取训练图像，建立训练图像集；
识别网络建立模块，用于建立识别网络，并利用所述的训练图像集对识别网络进行训练，得到识别模型；所述的识别网络通过双分支卷积神经网络提取输入图像深层特征的差异性信息，再利用单分支卷积神经网络对所述的差异性信息进行进一步的特征提取得到深度特征，根据这些深度特征的差异性进行真假面瘫的识别；
识别模块，用于获取待识别图像，利用所述的识别模型进行识别，以得到识别结果。
进一步地，所述的识别网络的输入为两张输入图像，通过双分支卷积神经网络获取所述两张输入图像的特征图序列，将两个特征图序列分别进行融合，得到两个融合后的特征图，然后利用融合后的两个特征图构造一个用于获取差异信息的度量函数，通过这个度量函数提取所述两个特征图的差异，得到差异特征图。
进一步地，所述的单分支卷积神经网络的输入为差异特征图，通过卷积和池化操作提取差异特征图的深度特征后，再通过全连接层，通过损失函数得到分别结果。
进一步地，所述的获取训练图像，建立训练图像集，包括：
获取原始数据，包括面瘫数据、假面瘫数据，其中：
面瘫数据包括面瘫患者不同的面部动作的静态图像及视频数据，假面瘫数据包括正常人模仿面瘫患者不同的面部动作的静态图像及视频数据；
对于面部动作的视频数据，对视频数据中面部动作的起始点位置进行定位，获取面部动作发生的连续帧，并提取该连续帧的中间帧作为关键帧图像，
对于面部动作的静态图像和关键帧图像，分别进行以下处理：
区域检测，检测并提取图像中面部区域，去除与脸部信息无关的各背景信息，从而得到训练图像；
利用训练图像建立训练图像集，其中，面瘫数据对应的训练图像作为正类，假面瘫数据对应的训练图像作为负类。
进一步地，利用所述的训练图像集对识别网络进行训练时，选取训练图像集中每种面部动作在不同时刻采集的两张静态图像或关键帧图像作为一组输入图像，用于识别网络的训练。
进一步地，所述的获取待识别图像，包括：
获取待测者的面部动作的静态图像或视频数据；如果获取的是视频数据，则进行关键帧的提取，得到关键帧图像，然后对静态图像、关键帧图像进行面部区域提取，得到待识别图像；
将待测者同一面部动作在不同时刻的两张待识别图像作为一组输入图像。
进一步地，所述的识别网络的前半部分为双分支卷积神经网络，结构设置为
Figure BDA0001834731360000032
ReLU为激活函数，pooling为池化层；
所述的识别网络的后半部分为单分支卷积神经网络，结构设置为：
Figure BDA0001834731360000033
为激活函数，pooling为池化层，LRN为归一化函数，fc为全连接层，softmax为损失函数。
进一步地，所述的损失函数为：
Figure BDA0001834731360000031
其中，K表示类别，j＝1,…,K-1，e是对数据取指数，zj为当前类别的数据，zk为某一类别的数据。
进一步地，所述的双分支卷积神经网络中，每一层卷积的卷积核大小均为3×3，步长默认为1，池化层的池化大小为2×2，步长为2。
进一步地，所述的单分支卷积神经网络中，第一层卷积层采用大小为11×11，步长为4的卷积核；第二层卷积核大小为5×5，步长默认为1；前两层在进行卷积和池化的同时，利用LRN进行归一化；第三层、第四层、第五层卷积核大小均为3×3，步长默认为1；每一层的池化大小均为3×3，步长为2。
本发明与现有技术相比具有以下技术特点：
1.本发明***采用深度学习的方法对面瘫进行识别，因卷积神经网络适应极强，善于挖掘数据特征，类似于生物神经网络，并且人脸特征具有较强的自身稳定性和个体差异性，利用人脸生物特征进行面部识别，可以通过学习，从而获得对于人脸图像规则隐形的一种表达，避免进行复杂的特征提取，降低复杂度的同时提高识别率。因此对于面瘫的识别，深度学习的方法能后达到较好的识别效果。本发明***对于卷积神经网络结构进行改进，使之适用于真假面瘫识别，并且达到较高的识别准确率。
2.本发明提出利用一个双通道差异神经网络对真假面瘫进行识别，深度差异性网络的设计来源于基于孪生神经网络的图片相似度判别，孪生神经网络通过双分支卷积神经网络分别提取两张图片的特征，将两张图片的特征分别映射到一个函数上，通过计算其欧式距离(损失函数)，在数据训练的过程中，最小化来自同一类别的一对样本的损失函数，最大化来自不同类别的一对样本的损失函数判定图像相似度。
3.本发明***利用孪生神经网络的部分原理，对网络进行改进，分别通过卷积网络提取一对图像的深层特征图，特征图的提取保留了图像的纹理、形状等特征信息，弥补了孪生网络在识别真假面瘫上的缺陷，通过计算两张图像的特征图差异，从而获取特征差异图，最后通过卷积网络提取深度差异特征的特征并实现真假面瘫分类。
4.本发明***对于真假面瘫的识别，关注于人脸五官的纹理形状、位置、肌理等特征差异，不仅解决了自动化面瘫识别中由于假面瘫数据的存在而导致的面瘫误判现象，而且进一步提高了面瘫识别的准确率，为面瘫的临床诊断提供了一套更为准确、便利、高效的自动化识别方法。
附图说明
图1为不同时刻面瘫动作图像对比(闭眼)；
图2为面瘫患者部分面部动作图像；
图3为假面瘫部分面部动作图像；
图4为利用multi-stage cnns获取视频动作关键帧的示意图；
图5为利用Faster R-CNN进行目标检测示意图；
图6为识别网络的结构示意图。
具体实施方式
通过对真假面瘫的图像和视频数据进行分析，发现：面瘫患者在重复做一个动作(如：耸鼻、示齿、鼓腮、闭眼等)时，患者几乎每次所做动作均无明显差异，而对于假面瘫对象，其在不同时刻重复做相同的假面瘫动作(正常人模仿面瘫患者动作)，其动作前后往往会出现明显差异，如图1所示。
根据以上情况，我们认为识别真假面瘫的一个重要依据为不同时刻动作的前后差异，当前后动作差异较大时，存在较大概率为假面瘫，当前后动作差异较小时，较大概率为真面瘫患者。因此，若想要达到对被测数据面瘫真假性的识别，需要关注其前后两次动作图像的差异，根据其差异来对被测对象进行判别。
本发明提出了一种识别***，通过一个双分支卷积神经网络提取不同时刻图像的深层特征，并根据所提取特征计算两张图像间的特征差异；再利用单支卷积神经网络提取深层差异特征的特征，并根据特征实现真假面瘫识别，在临床诊断中具有重要的实际应用价值。该***具体如下：
一种基于深度差异性特征的真假面瘫识别***，包括：
1.训练图像获取模块，用于获取训练图像，建立训练图像集；
首先，获取原始数据，这里的原始数据是指面瘫数据和假面瘫数据，如图2和图3所示，其中：
面瘫数据包括面瘫患者不同的面部动作的静态图像及视频数据，假面瘫数据包括正常人模仿面瘫患者不同的面部动作的静态图像及视频数据；本实施例中，所述的面部动作有7种，分别为微笑、示齿、耸鼻、皱眉、抬眉、闭眼、鼓腮。所述的静态图像是指拍摄的图像，所述的视频数据是指在做出面部动作过程中拍摄的视频。为了获取适用于本发明***的训练数据，需要对原始数据进行预处理，具体如下：
(1)对于一次动作的发生，通常动作幅度的峰值大概位于动作发生过程的中间位置，因此本发明采用动作连续帧的中间帧作为实验所用关键帧图像。具体地，对于面部动作的视频数据，对视频数据中面部动作的起始点位置进行定位，获取面部动作发生的连续帧，并提取该连续帧的中间帧作为关键帧图像，如图4所示。本实施例中所采用的定位方法为multi-stage CNNs方法。
(2)对于面部动作的静态图像和关键帧图像，分别进行以下处理：
区域检测，检测并提取图像(静态图像或关键帧图像)中面部区域，去除与脸部信息无关的各背景信息，尽可能的避免因所采集数据背景不同而产生的图像之间的差异信息对实验结果所造成的影响，从而得到训练图像。
利用训练图像建立训练图像集，其中，面瘫数据对应的训练图像作为正类，假面瘫数据对应的训练图像作为负类，每类数据包括7种动作，每种动作均选取在两个不同时刻所采集的两张图像(静态图像或关键帧图像)对应的训练图像，用于识别网络的训练。
2.识别网络建立模块
本***中的识别网络建立模块用于建立识别网络，如图6所示，通过该网络进行真假面瘫的自动化识别。
在该模块中，利用所述的训练图像集对识别网络进行训练，得到识别模型；所述的识别网络通过双分支卷积神经网络提取输入图像深层特征的差异性信息，再利用单分支卷积神经网络对所述的差异性信息进行进一步的特征提取得到深度特征，根据这些深度特征的差异性进行真假面瘫的识别；具体步骤如下：
2.1所述的识别网络的前半部分为双分支卷积神经网络，用于对一组不同时刻相同动作的两张输入图像提取深度特征图，采用同一网络相同参数的模型：7个卷积层、两个池化层，同时提取两张图片的深层特征。单分支卷积神经网络的输入为差异特征图，通过卷积和池化操作提取差异特征图的深度特征后，再通过全连接层，通过损失函数得到分别结果。
双分支卷积神经网络的结构设置为：
(conv+ReLU)+(conv+ReLU+pooling)+(conv+ReLU)
+(conv+ReLU+pooling)+(conv+ReLU)×3
其中，conv为卷积层，ReLU为激活函数，pooling为池化层；每一层卷积层的卷积核大小均为3×3，步长默认为1，池化层的池化大小为2×2，步长为2。通过双分支卷积神经网络可获取两个特征图序列。
本实施例中，所述的识别网络的输入为两张输入图像，通过双分支卷积神经网络获取所述两张输入图像的特征图序列，将两个特征图序列分别进行融合，得到两个融合后的特征图，然后利用融合后的两个特征图构造一个用于获取差异信息的度量函数，通过这个度量函数提取所述两个特征图的差异，得到差异特征图。
本实施例中，对两个特征图序列进行融合，表示为：
F(I)＝(fm,1,fm,2,fm,3,…,fm,256)
Fm＝(fm,1+fm,2+fm,3+…+fm,256)/256
其中，I表示输入图像，fm,1,fm,2,fm,3,…,fm,256表示特征图，F(I)表示特征图序列，Fm表示融合后的特征图；记本实施例中两张输入图像对应的特征图分别为Fm,1、Fm,2，则构造的度量函数fd(x)＝DF＝Fm,1-Fm,2，其中DF表示差异特征图，通过这个度量函数提取两个特征图的差异，得到差异特征图。
2.2所述的识别网络的后半部分为单分支卷积神经网络，通过提取深度特征的差异特征以实现真假面瘫识别，包括5个卷积层，3个池化层，两个归一化LRN进行归一化。单分支卷积神经网络的结构设置为：
(conv+ReLU+pooling+LRN)×2+(conv+ReLU)×2
+(conv+ReLU+pooling)+(fc+ReLU)×2+softmax
其中conv为卷积层，ReLU为激活函数，pooling为池化层，LRN为归一化函数，fc为全连接层，softmax为损失函数。第一层卷积层采用大小为11×11，步长为4的卷积核；第二层卷积核大小为5×5，步长默认为1；前两层在进行卷积和池化的同时，利用LRN进行归一化；第三层、第四层、第五层卷积核大小均为3×3，步长默认为1；每一层的池化大小均为3×3，步长为2。该部分网络输入为差异特征图，通过卷积和池化提取差异特征图的深度特征后，再通过2层全连接层，利用softmax输出最终分类结果。
2.3识别网络的训练
利用训练图像集对识别网络进行训练，其中损失函数为softmax函数：
Figure BDA0001834731360000071
其中，K表示类别，j＝1,…,K-1，e是对数据取指数，zj为当前类别的数据，zk为某一类别的数据。本实施例中，j＝1,2。数据训练过程中，将训练图像集中每两张图像，即每种面部动作在不同时刻采集的两张静态图像或关键帧图像作为一组输入图像进行训练实现真假面瘫的二分类。网络训练的步骤为：
2.3.1数据准备：将训练图像集划分为训练集和校验集，将面瘫数据标记为正类，标签为0，将假面瘫数据标记为负类，标签为1，生成txt标签目录文件。
3.3.2将带有标签的数据生成lmdb文件，分别为train_lmdb，val_lmdb；生成均值文件mean.binaryproto。
3.3.3设置网络配置文件solver.prototxt及train_val.prototxt的参数。采用dropout和全连接层权值正则化的方式防止过拟合，在训练样本上也先进行了边缘填充，并从采集数据中筛选可用样本，以保证样本的多样性和平衡性，并对数据进行归一化。设置网络为二分类模型，输出类别数为2，并输出训练准确率。
3.3.4导入数据后，利用深度学习框架caffe对网络模型进行训练，将训练结果保存，得到识别模型。
3.识别模块
识别模块用于获取待识别图像，利用所述的识别模型进行识别，以得到识别结果。具体地：
3.1获取待识别图像
获取待测者的面部动作的静态图像或视频数据；如果获取的是视频数据，则进行关键帧的提取，得到关键帧图像，然后对静态图像、关键帧图像利用FasterR-CNN进行面部区域提取，对面部区域进行分割去除背景信息，得到待识别图像；最终得到的待识别图像的尺寸为224×224×3。
将待测者同一面部动作在不同时刻的两张待识别图像作为一组输入图像。
3.2识别过程
将所述的一组输入图像输入到识别模型中，得到二分类识别结果。该识别模型的输出是各类别可能的概率，最后选择概率值最高的类别作为最终label，从而输出预测类别。
本发明的识别***还可以包括：
输出模块，可采用显示屏、触摸屏、语音输出器等，用于对识别结果进行显示输出和/或语音输出。
试验部分
采集57位面瘫患者不同面部动作的静态图像及视频数据，以及采集106位正常人做假面瘫动作的静态图像及视频数据，共计2282个视频片段，1033张静态图像，进行预处理，得到训练图像，从中选取700对作为训练图像集，441对作为测试图像集进行实验。
从训练图像集中随机抽取不同的训练集进行训练，将模型训练10次获得多个的识别模型。
将10个识别模型分别在测试图像集上进行测试，获取实验结果的平均值，根据平均值确定实验结果的准确率精确率，回归率及F1值。最终本发明***的识别准确率为89.67％，精确率为88.6％，回归率为92％，F1值为90.16％。获得了较高的真假面瘫识别准确率。

Claims (9)

1.一种基于深度差异性特征的真假面瘫识别***，其特征在于，包括：
训练图像获取模块，用于获取训练图像，建立训练图像集；
识别网络建立模块，用于建立识别网络，并利用所述的训练图像集对识别网络进行训练，得到识别模型；所述的识别网络通过双分支卷积神经网络提取输入图像深层特征的差异性信息，再利用单分支卷积神经网络对所述的差异性信息进行进一步的特征提取得到深度特征，根据这些深度特征的差异性进行真假面瘫的识别；
识别模块，用于获取待识别图像，利用所述的识别模型进行识别，以得到识别结果；
所述的获取待识别图像，包括：
获取待测者的面部动作的静态图像或视频数据；如果获取的是视频数据，则进行关键帧的提取，得到关键帧图像，然后对静态图像、关键帧图像进行面部区域提取，得到待识别图像；
将待测者同一面部动作在不同时刻的两张待识别图像作为一组输入图像。
2.如权利要求1所述的基于深度差异性特征的真假面瘫识别***，其特征在于，所述的识别网络的输入为两张输入图像，通过双分支卷积神经网络获取所述两张输入图像的特征图序列，将两个特征图序列分别进行融合，得到两个融合后的特征图，然后利用融合后的两个特征图构造一个用于获取差异信息的度量函数，通过这个度量函数提取所述两个特征图的差异，得到差异特征图。
3.如权利要求2所述的基于深度差异性特征的真假面瘫识别***，其特征在于，所述的单分支卷积神经网络的输入为差异特征图，通过卷积和池化操作提取差异特征图的深度特征后，再通过全连接层，通过损失函数得到分别结果。
4.如权利要求1所述的基于深度差异性特征的真假面瘫识别***，其特征在于，所述的获取训练图像，建立训练图像集，包括：
获取原始数据，包括面瘫数据、假面瘫数据，其中：
面瘫数据包括面瘫患者不同的面部动作的静态图像及视频数据，假面瘫数据包括正常人模仿面瘫患者不同的面部动作的静态图像及视频数据；
对于面部动作的视频数据，对视频数据中面部动作的起始点位置进行定位，获取面部动作发生的连续帧，并提取该连续帧的中间帧作为关键帧图像，
对于面部动作的静态图像和关键帧图像，分别进行以下处理：
区域检测，检测并提取图像中面部区域，去除与脸部信息无关的各背景信息，从而得到训练图像；
利用训练图像建立训练图像集，其中，面瘫数据对应的训练图像作为正类，假面瘫数据对应的训练图像作为负类。
5.如权利要求1所述的基于深度差异性特征的真假面瘫识别***，其特征在于，利用所述的训练图像集对识别网络进行训练时，选取训练图像集中每种面部动作在不同时刻采集的两张静态图像或关键帧图像作为一组输入图像，用于识别网络的训练。
6.如权利要求1所述的基于深度差异性特征的真假面瘫识别***，其特征在于，所述的识别网络的前半部分为双分支卷积神经网络，结构设置为：(conv+ReLU)+(conv+ReLU+pooling)+(conv+ReLU)+(conv+ReLU+pooling)+(conv+ReLU)×3，其中，conv为卷积层，ReLU为激活函数，pooling为池化层；
所述的识别网络的后半部分为单分支卷积神经网络，结构设置为：
Figure FDA0003853633070000021
其中conv为卷积层，ReLU为激活函数，pooling为池化层，LRN为归一化函数，fc为全连接层，softmax为损失函数。
7.如权利要求6所述的基于深度差异性特征的真假面瘫识别***，其特征在于，所述的损失函数为：
Figure FDA0003853633070000022
其中，K表示类别，j＝1,…,K-1，e是对数据取指数，zj为当前类别的数据，zk为某一类别的数据。
8.如权利要求6所述的基于深度差异性特征的真假面瘫识别***，其特征在于，所述的双分支卷积神经网络中，每一层卷积的卷积核大小均为3×3，步长默认为1，池化层的池化大小为2×2，步长为2。
9.如权利要求1所述的基于深度差异性特征的真假面瘫识别***，其特征在于，所述的单分支卷积神经网络中，第一层卷积层采用大小为11×11，步长为4的卷积核；第二层卷积核大小为5×5，步长默认为1；前两层在进行卷积和池化的同时，利用LRN进行归一化；第三层、第四层、第五层卷积核大小均为3×3，步长默认为1；每一层的池化大小均为3×3，步长为2。
CN201811220859.8A 2018-10-19 2018-10-19 基于深度差异性特征的真假面瘫识别*** Active CN109543526B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811220859.8A CN109543526B (zh) 2018-10-19 2018-10-19 基于深度差异性特征的真假面瘫识别***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811220859.8A CN109543526B (zh) 2018-10-19 2018-10-19 基于深度差异性特征的真假面瘫识别***

Publications (2)

Publication Number Publication Date
CN109543526A CN109543526A (zh) 2019-03-29
CN109543526B true CN109543526B (zh) 2022-11-08

Family

ID=65844204

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811220859.8A Active CN109543526B (zh) 2018-10-19 2018-10-19 基于深度差异性特征的真假面瘫识别***

Country Status (1)

Country Link
CN (1) CN109543526B (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110689081B (zh) * 2019-09-30 2020-08-21 中国科学院大学 一种基于分歧学习的弱监督目标分类和定位方法
CN111325708B (zh) * 2019-11-22 2023-06-30 济南信通达电气科技有限公司 一种输电线路检测方法和服务器
CN111428800B (zh) * 2020-03-30 2023-07-18 南京工业大学 基于0-1模型的茶叶验真方法
CN112001213B (zh) * 2020-04-25 2024-04-12 深圳德技创新实业有限公司 一种基于3d点云分割的精准面瘫程度评测方法及装置
CN111680545B (zh) * 2020-04-25 2024-07-12 深圳德技创新实业有限公司 一种基于语义分割的精准面瘫程度评测方法及装置
CN111967344B (zh) * 2020-07-28 2023-06-20 南京信息工程大学 一种面向人脸伪造视频检测的精细化特征融合方法
CN112365462B (zh) * 2020-11-06 2022-10-04 华雁智科(杭州)信息技术有限公司 一种基于图像的变化检测方法
CN112597842B (zh) * 2020-12-15 2023-10-20 芜湖明瞳数字健康科技有限公司 基于人工智能的运动检测面瘫程度评估***
CN113080855B (zh) * 2021-03-30 2023-10-31 广东省科学院智能制造研究所 一种基于深度信息的面部疼痛表情识别方法及***
CN113379685A (zh) * 2021-05-26 2021-09-10 广东炬森智能装备有限公司 一种基于双通道特征比对模型的pcb板缺陷检测方法及装置
CN113420737B (zh) * 2021-08-23 2022-01-25 成都飞机工业（集团）有限责任公司 一种基于卷积神经网络的3d打印图形识别方法
CN113792680A (zh) * 2021-09-17 2021-12-14 平安科技（深圳）有限公司 基于图像融合的行为识别方法、装置、电子设备及介质
CN113850203B (zh) * 2021-09-28 2023-01-03 北京百度网讯科技有限公司 粘连检测模型训练、粘连检测方法及相关装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105825168B (zh) * 2016-02-02 2019-07-02 西北大学 一种基于s-tld的川金丝猴面部检测和追踪方法
US9836820B2 (en) * 2016-03-03 2017-12-05 Mitsubishi Electric Research Laboratories, Inc. Image upsampling using global and local constraints
CN105930402A (zh) * 2016-04-15 2016-09-07 乐视控股（北京）有限公司 基于卷积神经网络的视频检索方法及***
CN106250819A (zh) * 2016-07-20 2016-12-21 上海交通大学 基于脸部实时监控检测人脸对称性及异常方法
CN107871100B (zh) * 2016-09-23 2021-07-06 北京眼神科技有限公司 人脸模型的训练方法和装置、人脸认证方法和装置
CN106529571B (zh) * 2016-10-14 2018-04-20 广州视源电子科技股份有限公司 基于神经网络的多层图像特征提取建模、图像识别方法及装置
CN106980815A (zh) * 2017-02-07 2017-07-25 王俊 基于h‑b分级评分监督下的面瘫客观评估方法
CN108304754A (zh) * 2017-03-02 2018-07-20 腾讯科技（深圳）有限公司 车型的识别方法和装置
CN107292256B (zh) * 2017-06-14 2019-12-24 西安电子科技大学 基于辅任务的深度卷积小波神经网络表情识别方法
CN108363979A (zh) * 2018-02-12 2018-08-03 南京邮电大学 基于双通道三维卷积神经网络的新生儿疼痛表情识别方法
CN108416780B (zh) * 2018-03-27 2021-08-31 福州大学 一种基于孪生-感兴趣区域池化模型的物体检测与匹配方法
CN108447057B (zh) * 2018-04-02 2021-11-30 西安电子科技大学 基于显著性和深度卷积网络的sar图像变化检测方法
CN108491835B (zh) * 2018-06-12 2021-11-30 常州大学 面向面部表情识别的双通道卷积神经网络

Also Published As

Publication number Publication date
CN109543526A (zh) 2019-03-29

Similar Documents

Publication Publication Date Title
CN109543526B (zh) 基于深度差异性特征的真假面瘫识别***
CN108446730B (zh) 一种基于深度学习的ct肺结节检测装置
CN109886273B (zh) 一种cmr图像分割分类***
Zhao et al. Supervised segmentation of un-annotated retinal fundus images by synthesis
Kwasigroch et al. Deep CNN based decision support system for detection and assessing the stage of diabetic retinopathy
CN109376636B (zh) 基于胶囊网络的眼底视网膜图像分类方法
CN107273845B (zh) 一种基于置信区域和多特征加权融合的人脸表情识别方法
CN108806792B (zh) 深度学习面诊***
CN109508644B (zh) 基于深度视频数据分析的面瘫等级评估***
CN111126240B (zh) 一种三通道特征融合人脸识别方法
CN108182409A (zh) 活体检测方法、装置、设备及存储介质
CN108511055A (zh) 基于分类器融合及诊断规则的室性早搏识别***及方法
CN110503000B (zh) 一种基于人脸识别技术的教学抬头率测量方法
CN109614869B (zh) 一种基于多尺度压缩奖惩网络的病理图像分类方法
KR20190105180A (ko) 합성곱 신경망 기반의 병변 진단 장치 및 방법
CN112101424B (zh) 一种视网膜病变识别模型的生成方法、识别装置及设备
CN112465905A (zh) 基于深度学习的磁共振成像数据的特征脑区定位方法
CN106529441B (zh) 基于模糊边界分片的深度动作图人体行为识别方法
CN113920568A (zh) 基于视频图像的人脸和人体姿态情绪识别方法
CN114998651A (zh) 基于迁移学习的皮肤病变图像分类识别方法、***及介质
CN114469120A (zh) 一种基于相似度阈值迁移的多尺度Dtw-BiLstm-Gan心电信号生成方法
CN111462082A (zh) 一种病灶图片识别装置、方法、设备及可读存储介质
CN117010971B (zh) 一种基于人像识别的智能健康险提供方法及***
CN113506274A (zh) 基于视觉显著性差异图的用于人体认知状况的检测***
CN115953822A (zh) 一种基于rPPG生理信号的人脸视频鉴伪方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant