CN111466878A - 基于表情识别的卧床病人疼痛症状实时监护方法及装置 - Google Patents
基于表情识别的卧床病人疼痛症状实时监护方法及装置 Download PDFInfo
- Publication number
- CN111466878A CN111466878A CN202010289861.1A CN202010289861A CN111466878A CN 111466878 A CN111466878 A CN 111466878A CN 202010289861 A CN202010289861 A CN 202010289861A CN 111466878 A CN111466878 A CN 111466878A
- Authority
- CN
- China
- Prior art keywords
- pain
- layer
- image
- images
- convolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 30
- 238000012544 monitoring process Methods 0.000 title claims abstract description 26
- 208000024891 symptom Diseases 0.000 title claims abstract description 14
- 238000012549 training Methods 0.000 claims abstract description 25
- 238000007781 pre-processing Methods 0.000 claims abstract description 20
- 238000003062 neural network model Methods 0.000 claims abstract description 14
- 238000012545 processing Methods 0.000 claims description 34
- 239000013598 vector Substances 0.000 claims description 34
- 238000011176 pooling Methods 0.000 claims description 29
- 238000013507 mapping Methods 0.000 claims description 26
- 238000001514 detection method Methods 0.000 claims description 25
- 230000008569 process Effects 0.000 claims description 9
- 210000002569 neuron Anatomy 0.000 claims description 8
- 230000009467 reduction Effects 0.000 claims description 3
- 238000013528 artificial neural network Methods 0.000 description 15
- 238000011156 evaluation Methods 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 6
- 238000012360 testing method Methods 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 230000036544 posture Effects 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000008909 emotion recognition Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 230000008921 facial expression Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012806 monitoring device Methods 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 239000000758 substrate Substances 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000003183 myoelectrical effect Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 229910052760 oxygen Inorganic materials 0.000 description 1
- 239000001301 oxygen Substances 0.000 description 1
- 230000002688 persistence Effects 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/48—Other medical applications
- A61B5/4824—Touch or pain perception evaluation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0082—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
- A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/746—Alarms related to a physiological condition, e.g. details of setting alarm thresholds or avoiding false alarms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Animal Behavior & Ethology (AREA)
- Pathology (AREA)
- Evolutionary Computation (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- Surgery (AREA)
- Medical Informatics (AREA)
- Heart & Thoracic Surgery (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computing Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Computational Linguistics (AREA)
- Human Computer Interaction (AREA)
- Physiology (AREA)
- Psychiatry (AREA)
- Fuzzy Systems (AREA)
- Signal Processing (AREA)
- Hospice & Palliative Care (AREA)
- Pain & Pain Management (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于表情识别的卧床病人疼痛症状实时监护方法及装置，该方法包括：1建立疼痛表情训练数据集；2建立用于分析疼痛表情的神经网络模型并进行训练，从而得到疼痛分级模型；3采集得到同一时刻人脸的三张实时图像并进行预处理后输入神经网络模型中，从而得到A个疼痛级别所对应的概率；并选取最大概率所对应的疼痛级别作为当前时刻检测图像的疼痛级别，并对超过阈值的疼痛级别进行报警处理，以实现实时监护。本发明能对疼痛进行实时和自动化的准确评估，从而实现卧床病人的有效监护。
Description
技术领域
本发明涉及图像识别和医疗技术领域，具体涉及一种基于表情识别的卧床病人实时监护方法和装置。
背景技术
表情识别方面的相关技术已广泛应用于安防、娱乐、金融等领域，并发挥着重要作用。其应用方式和应用范围仍在不断进步和扩展，有广泛的发展前景。
医学上，如何实现对病人的疼痛程度的评估一直是一个重要问题。疼痛在医学上被定义为一种主观感受，病人的自我评估具有高参考价值。但是某些特殊的病人，如失去主动意识的病患、高危或失能病患，往往无法用语言描述自身疼痛程度，这时，通过医疗观察者进行人工评估，就是最常见的疼痛评估方式。但这种人工评估的方式具有很多缺点：如效率较低，持续性受限，受观察者的主观性的影响等。
目前我国面临着医疗需求攀升和医护人员紧缺的矛盾，对于卧床病人的疼痛程度缺乏有效的人力监护，难以完成对病人的疼痛程度的实时评估，从而导致医护人员对病人的实时身体状况把握存在延后或缺失，进而使得医护人员无法及时针对症状进行治疗。
基于情感识别和深度学习的自动疼痛评估技术越来越受到国内外学者的重视，目前的这些技术基本上都基于传统的机器学习算法，往往收集了如心率、血压、血氧饱和度甚至脑电波、肌电信号等许多生理指标，却缺少与疼痛识别有关的有效处理手段。在面部选取的特征点很少，对面部状况的划分较为笼统，较难准确检测出病人自身主观感受的疼痛程度。
也有一些新式方法，如通过病人疼痛时对传感器的握力等数据进行评估，需病人意识清醒且主动参与评估，受身体条件以及个体差异影响较大。
因此，如何利用情感识别等技术实现精确、高效、自动的疼痛识别以实现对卧床病人的实时监护，是一个需要解决的问题。
发明内容
本发明是为了解决上述现有技术存在的不足之处，提出一种基于表情识别的卧床病人疼痛症状实时监护方法及装置，以期能对疼痛进行实时和自动化的准确评估，从而实现卧床病人的有效监护。
本发明为达到上述发明目的，采用如下技术方案：
本发明一种基于表情识别的卧床病人疼痛症状实时监护方法的特点是按如下步骤进行：
步骤1、建立疼痛表情训练数据集：
步骤1.1、依据疼痛分级量表设置疼痛等级由低到高的A个疼痛级别，并按照不同的疼痛等级分别采集相应的疼痛表情图片数据；
步骤1.2、利用dlib工具对所有疼痛表情图片数据进行预处理，得到k×k像素的包含人脸信息的RGB图像；
步骤1.3、对所述RGB图像转化为灰度图像，从而得到疼痛表情训练数据集；
步骤2、建立用于分析疼痛表情的神经网络模型并进行训练，从而得到疼痛分级模型；
所述神经网络模型依次包含一个数据输入层、M个卷积拟合层组和一个输出处理层组；
所述数据输入层用于输入所述疼痛表情训练数据集中的N张k×k像素的灰度图像；
任意第m个所述卷积拟合层组依次包含两个卷积层、一个池化层和一个正则化层；
其中，第一个卷积层使用k×2(m-2)组卷积核，卷积的步长为s；任意n张灰度图像经过第一个卷积层的处理后得到k×2(m-2)个维度为k-(4m+2)×s×k-(4m+2)×s的特征图像，并经过第一Relu非线性映射后输入第二个卷积层；
第二个卷积层使用k×2(m-2)组卷积核，卷积的步长为s；经过第一次映射后的特征图像经过第二个卷积层的处理后得到k×2(m-2)个维度为(k-4ms)×(k-4ms)的特征图像，并经过第二Relu非线性映射后输入池化层；
第m个所述池化层对第二次映射后的特征图像使用池化核为2×2、步长为1的最大池化采样，并得到k×2(m-2)个维度为
的特征图像后输入正则化层；
第m个所述正则化层使用丢弃正则化对所输入的特征图像进行处理，得到k×2(m -2)个维度为
的特征图像；
所述输出处理层组依次包含：平坦化层、第一全连接层、第M+1个正则化层和第二全连接层；
所述平坦化层对第M个正则化层输入的特征图像进行降维处理，得到一个维度为
的特征向量后输入第一全连接层；
所述第一全连接层对所输入的特征向量全连接至自身的
个神经元并进行处理，得到一个维度为
的特征向量，再经过第2M+1个Relu非线性映射后输入第M+1个正则化层；
所述第M+1个正则化层使用丢弃正则化对第2M+1次映射后的特征图像进行处理，得到一个维度为
的特征向量后输入第二全连接层；
所述第二全连接层将第M+1个正则化层的输入的特征向量全连接至自身的A个神经元并进行处理，得到一个维度为A的特征向量后输入softmax回归分类器中，从而输出A个疼痛级别所对应的概率并完成训练；
步骤3、利用床头支架上在床头的正上方和两侧分别安装红外摄像头，从而采集得到同一时刻人脸的三张实时图像；
利用dlib工具对三张实时图像进行预处理，得到k×k像素的包含人脸信息的RGB图像，并选取人脸信息最完整的RGB图像作为检测图像；
将所述检测图像转化为k×k的灰度检测图像后输入所述神经网络模型中，从而得到A个疼痛级别所对应的概率；选取最大概率所对应的疼痛级别作为当前时刻检测图像的疼痛级别；若当前时刻的疼痛级别超过所设定的阈值，则进行报警处理，以实现实时监护。
本发明所述的卧床病人疼痛症状实时监护方法的特点也在于，步骤2中的A个疼痛级别所对应的概率是按如下方式映射成疼痛等级由低到高的(2×A+1)个疼痛级别分数中的一个分数；
步骤2.1：将A个疼痛级别所对应的概率分别记为概率集合{p0,p1,…,pa,…,pA-1}，其中，pa表示第a个疼痛级别所对应的概率，获取概率集合{p0,p1,…,pa,…,pA-1}中的最大值pmax所对应的下标max，从而得到中间变量q＝(2×max+1)；
步骤2.2：判断pmax＞z1是否成立，若成立，则输出概率集合在(2×A+1)个疼痛级别分数中所对应的分数qout＝q；否则，进入步骤2.3；其中，z1为第一阈值；
步骤2.3：判断max≠0且max≠A-1是否成立，若成立，则执行步骤2.4；否则，执行步骤2.5；
步骤2.4、判断pmax-1≥pmax+1是否成立，若成立，则输出分数qout＝q-1，否则，输出分数qout＝q+1；
步骤2.5、判断max＝0是否成立，若成立，则执行步骤2.6；否则，执行步骤2.7；
步骤2.6：判断p1＞z2是否成立，若成立，则输出分数qout＝q+1；否则输出分数qout＝q-1；其中，z2为第二阈值；
步骤2.7、判断max＝A-1是否成立，若成立，则执行步骤2.8；
步骤2.8、判断pA-2＞z2是否成立，若成立，则输出分数qout＝q-1，否则输出qout＝q+1。
本发明一种基于表情识别的实现卧床病人疼痛症状实时监护装置的特点包括：图像采集模块、预处理模块、疼痛分级识别模块、报警模块和输出模块；
所述图像采集模块利用床头支架的正上方和两侧分别安装的红外摄像头采集得到同一时刻人脸的三张实时图像并发送给所述预处理模块；
所述预处理模块利用dlib工具对三张实时图像进行预处理，得到k×k像素的包含人脸信息的RGB图像，并选取人脸信息最完整的RGB图像作为检测图像；
所述疼痛分级识别模块包含疼痛分级模型；所述疼痛分级模型包含一个数据输入层、M个卷积拟合层组和一个输出处理层组；
任意第m个所述卷积拟合层组依次包含两个卷积层、一个池化层和一个正则化层；
所述输出处理层组依次包含：平坦化层、第一全连接层、第M+1个正则化层和第二全连接层；
所述疼痛分级识别模块利用所述疼痛分级模型对所述检测图像进行疼痛等级识别，并得到A个疼痛级别所对应的概率，选取最大概率所对应的疼痛级别作为当前时刻检测图像的疼痛级别；
所述输出模块对A个疼痛级别所对应的概率和检测图像进行显示；
所述报警模块判断当前时刻的疼痛级别是否超过所设定的阈值，若超过，则进行报警处理，以实现实时监护。
与现有技术相比，本发明的有益效果在于：
1、本发明利用深度学习的技术手段，通过面部表情所包含的反映病人主观感受的特征信息来构建疼痛分级模型，实现了对一般卧床病人乃至失去主动意识或失能病人的实时自动化疼痛评估，并根据评估结果做出相应的实时反馈和保护报警；从而能减轻了医护工作者的工作负担，并能为卧床病人提供更全面的医疗保障和及时的救助。
2、本发明采用类VGG结构的神经网络，通过疼痛表情数据集的训练，得到疼痛识别模型，用于对输入的经预处理后的面部表情信息进行识别，给出疼痛识别结果，在硬件实现方面，采用了包含图像采集模块、预处理模块、疼痛分级识别模块、报警模块和输出模块的监护装置，从而能够精确、高效、自动地实现对卧床病人疼痛症状的实时监护。
3、本发明采用多角度摄像***对卧床病人面部信息进行采集并进行灰度化、尺寸缩放、提取关键信息等的图像处理；再利用深度学***低、可重复性、时效性、通用性不高等缺点，实现了卧床病人的有效监护。
4、本发明采用图像处理技术，能够在保留关键信息的同时减少无关信息，一方面提高了准确率，另一方面提高了执行效率；使用类VGG结构的卷积神经网络，其中小卷积核等技术的运用减少了参数数目，训练速度较快，此卷积神经网络具有良好的特征提取能力，能够实现86.1％的检测准确率；利用映射算法，判断结果能够适应不同的疼痛量表，与现有技术相比，具有更好的通用性；采用多角度摄像，准确性高于采用单一角度摄像的传统技术，并且适合卧床病人处于侧卧、仰卧等不同姿势时的检测，提高了通用性。
附图说明
图1为本发明一种卧床病人实时监护方法的流程图；
图2为本发明一种卧床病人实时监护装置的工作流程图；
图3为本发明神经网络原理图；
图4为本发明局部映射算法的示意图。
具体实施方式
本实施例中，如图1所示，一种基于表情识别的卧床病人疼痛症状实时监护方法是按如下步骤进行：
步骤1、建立疼痛表情训练数据集：
步骤1.1、依据疼痛分级量表设置疼痛等级由低到高的A个疼痛级别，并按照不同的疼痛等级分别采集相应的疼痛表情图片数据；
具体实施中，依据世界卫生组织疼痛程度划分表，取A的值为5，依次分成0-IV共五个级别，分别对应无痛、轻度疼痛、中度疼痛、重度疼痛、无法忍受五个疼痛级别，并以此建立疼痛表情图片数据集。
步骤1.2、利用dlib工具对所有疼痛表情图片数据进行预处理，得到k×k像素的包含人脸信息的RGB图像；此处图片像素值k取64，获取64×64像素包含人脸信息的图像。
步骤1.3、对RGB图像转化为灰度图像，从而得到疼痛表情训练数据集；
按照6：2：2的比例依次划分训练集、测试集、验证集，形成一个疼痛数据集，记为V＝{v1,v2,v3,……,vn,……,vN},其中，vn表示第n张疼痛图片的信息，N表示疼痛表情图片的数据集V内图片总张数。vn包含疼痛级别标签(标记疼痛级别0-IV)、二维像素数组{a0,a1,a2,a3...a4095}(64×64)，以及图像用途划分(用0、1、2分别表示训练、测试、验证)
步骤2、如图3所示，建立用于分析疼痛表情的神经网络模型并进行训练，从而得到疼痛分级模型；
神经网络模型依次包含一个数据输入层、M个卷积拟合层组和一个输出处理层组；
数据输入层用于输入疼痛表情训练数据集中的N张k×k像素的灰度图像；
任意第m个卷积拟合层组依次包含两个卷积层、一个池化层和一个正则化层；
其中，第一个卷积层使用k×2(m-2)组卷积核，卷积的步长为s；任意n张灰度图像经过第一个卷积层的处理后得到k×2(m-2)个维度为k-(4m+2)×s×k-(4m+2)×s的特征图像，并经过第一Relu非线性映射后输入第二个卷积层；
第二个卷积层使用k×2(m-2)组卷积核，卷积的步长为s；经过第一次映射后的特征图像经过第二个卷积层的处理后得到k×2(m-2)个维度为(k-4ms)×(k-4ms)的特征图像，并经过第二Relu非线性映射后输入池化层；
第m个池化层对第二次映射后的特征图像使用池化核为2×2、步长为1的最大池化采样，并得到k×2(m-2)个维度为
的特征图像后输入正则化层；
第m个正则化层使用丢弃正则化对所输入的特征图像进行处理，得到k×2(m-2)个维度为
的特征图像；
输出处理层组依次包含：平坦化层、第一全连接层、第M+1个正则化层和第二全连接层；
平坦化层对第M个正则化层输入的特征图像进行降维处理，得到一个维度为
的特征向量后输入第一全连接层；
第一全连接层对所输入的特征向量全连接至自身的
个神经元并进行处理，得到一个维度为
的特征向量，再经过第2M+1个Relu非线性映射后输入第M+1个正则化层；
第M+1个正则化层使用丢弃正则化对第2M+1次映射后的特征图像进行处理，得到一个维度为
的特征向量后输入第二全连接层；
第二全连接层将第M+1个正则化层的输入的特征向量全连接至自身的A个神经元并进行处理，得到一个维度为A的特征向量后输入softmax回归分类器中，从而输出A个疼痛级别所对应的概率并完成训练；
根据实际测试效果，此处的神经网络结构中，卷积步长s取1，可以对预处理后的图像进行充分的信息提取，卷积拟合层组使用次数M取3，可以达到较好提取图像特征同时又不至过拟合的效果。
具体实施中，构建的神经网络模型依次包含各层如下：
(1)数据输入层：针对包括N张疼痛表情图片的数组，将对应每一张图像数组的数据都展开成64×64大小的灰度像素值二维数组；
(2)卷积层1：采用32组卷积核，每组卷积核的尺寸为3×3×1，卷积的步长为1；卷积得到32个62×62的特征图像，卷积得到的32个62×62的特征图像再经过RELU非线性映射后送往第三层卷积层；
(3)卷积层2：采用32组卷积核，每组卷积核的尺寸为3×3×1，卷积的步长为1；卷积得到32个60×60特征图像，卷积得到的32个60×60特征图像再经过RELU非线性映射后送往第四层池化层；
(4)池化层1：使用一个池化核为2×2、步长为1的最大池化采样，得到32个30×30特征图像并送往第五层正则化层；
(5)正则化层1：使用一个dropout＝0.25的丢弃正则化，解决过拟合问题，得到32个30×30特征图像并送往第六层卷积计算层；
(6)卷积层3：采用64组卷积核，每组卷积核的尺寸为3×3×1，卷积的步长为1；卷积得到64个28×28的特征图像，卷积得到的64个28×28的特征图像再经过RELU非线性映射后送往第七层卷积层；
(7)卷积层4：采用64组卷积核，每组卷积核的尺寸为3×3×1，卷积的步长为1；卷积得到64个26×26特征图像，卷积得到的64个26×26特征图像再经过RELU非线性映射后送往第八层池化层；
(8)池化层2：使用一个池化核为2×2、步长为1的最大池化采样，得到64个13×13特征图像并送往第九层正则化层；
(9)正则化层2：使用一个dropout＝0.25的丢弃正则化，用于解决过拟合问题，得到64个13×13特征图像并送往第十层卷积计算层；
(10)卷积层5：采用128组卷积核，每组卷积核的尺寸为3×3×1，卷积的步长为1；卷积得到128个11×11的特征图像，卷积得到的128个11×11的特征图像再经过RELU非线性映射后送往第十一层卷积层；
(11)卷积层6：采用128组卷积核，每组卷积核的尺寸为3×3×1，卷积的步长为1；卷积得到128个9×9特征图像，卷积得到的128个9×9特征图像再经过RELU非线性映射后送往第十二层池化层；
(12)池化层3：使用一个池化核为2×2、步长为1的最大池化采样，得到128个4×4特征图像并送往第十三层正则化层；
(13)正则化层3：使用一个dropout＝0.25的丢弃正则化，用于解决过拟合问题，得到128个4×4特征图像并送往第十四层平坦化层；
(14)平坦化层：用来将输入压平，把多维的输入一维化，得到一个2048大小的特征向量并送往第十五层全连接层；
(15)全连接层1：将第十四层平坦化层的输出全连接至本层的256个神经元得到一个256大小的特征向量并再经过RELU非线性映射后送往第十六层正则化层；
(16)正则化层4：使用一个dropout＝0.5的丢弃正则化，用于解决过拟合问题，得到一个256大小的特征向量并送往第十七层全连接层；
(17)全连接层2：将第十六层平坦化层的输出全连接至本层的5个神经元得到一个5大小的特征向量并采用softmax回归分类器进行处理，输出的节点数为5。
然后对神经网络模型进行训练，得到用于疼痛分级的模型：
(1)针对每个疼痛级别，从该疼痛级别下的训练数据集中选取足够数量的训练样本作为样本，输入未训练的疼痛分级神经网络。
(2)针对每个输入样本，获取经过神经网络处理后得到的样本的第一维数特征向量。
(3)将上述样本的第一维数的特征向量代入损失函数进行计算，得到损失值。
(4)根据损失值对疼痛分级神经网络的网络参数进行调整，并利用验证集进行识别准确率的测试和反馈。利用上述数据集对疼痛分级神经网络进行迭代训练，迭代次数达到指定次数后停止训练，得到已训练的疼痛分级神经网络，即用于疼痛分级的模型。
在具体实施中，可采用包括而不仅限于随机梯度下降算法、自适应矩估计等算法中的一种对神经网络进行优化。
步骤3、利用床头支架上在床头的正上方和两侧分别安装红外摄像头，从而采集得到同一时刻人脸的三张实时图像；
利用dlib工具对三张实时图像进行预处理，得到k×k像素的包含人脸信息的RGB图像，并选取人脸信息最完整的RGB图像作为检测图像；
将检测图像转化为k×k的灰度检测图像后输入神经网络模型中，从而得到A个疼痛级别所对应的概率；选取最大概率所对应的疼痛级别作为当前时刻检测图像的疼痛级别；若当前时刻的疼痛级别超过所设定的阈值，则进行报警处理，以实现实时监护。
如图4所示，具体实施中，步骤2中的A个疼痛级别所对应的概率是按如下方式映射成疼痛等级由低到高的(2×A+1)个疼痛级别分数中的一个分数；
步骤2.1：将A个疼痛级别所对应的概率分别记为概率集合{p0,p1,…,pa,…,pA-1}，其中，pa表示第a个疼痛级别所对应的概率，获取概率集合{p0,p1,…,pa,…,pA-1}中的最大值pmax所对应的下标max，从而得到中间变量q＝(2×max+1)；
步骤2.2：判断pmax＞z1是否成立，若成立，则输出概率集合在(2×A+1)个疼痛级别分数中所对应的分数qout＝q；否则，进入步骤2.3；其中，z1为第一阈值；
步骤2.3：判断max≠0且max≠A-1是否成立，若成立，则执行步骤2.4；否则，执行步骤2.5；
步骤2.4、判断pmax-1≥pmax+1是否成立，若成立，则输出分数qout＝q-1，否则，输出分数qout＝q+1；
步骤2.5、判断max＝0是否成立，若成立，则执行步骤2.6；否则，执行步骤2.7；
步骤2.6：判断p1＞z2是否成立，若成立，则输出分数qout＝q+1；否则输出分数qout＝q-1；其中，z2为第二阈值；
步骤2.7、判断max＝A-1是否成立，若成立，则执行步骤2.8；
步骤2.8、判断pA-2＞z2是否成立，若成立，则输出分数qout＝q-1，否则输出qout＝q+1。
映射方法的设计，是为了满足不同使用情景下采用不同的疼痛等级医疗标准的情况。
此处以另一种常见的疼痛分级标准“疼痛程度数字评分法(NRS)”进行示例说明：
(1)将NRS中的0-10级分为012、234、456、678、89“10”五组，分别对应神经网络输出结果的0-IV级。将输出结果中概率最高的一级作为NRS评分的初选范围。此操作可将待确定NRS评分值的有效范围缩小到3个以内；
(2)如果神经网络输出结果中概率最大的一级的概率值大于0.8，则将NRS评分记为初选范围中的中间项，即1、3、5、7、9；
(3)如果神经网络输出结果中概率最大的一级为中间级I、II或III级，且其的概率值小于等于0.8，则比较神经网络输出结果中概率最大一项的左右两个概率值的大小：如左侧较大，则输出初选单位中的最小值，即2、4或6；如右侧较大，则输出初选单位中的最大值，即4、6或8；
(4)如果神经网络输出结果中概率最大的一级为0(或IV)级，且其的概率值小于等于0.8，则进行如下处理：检查神经网络输出结果中概率最大一级的相邻级(即第I或III级)的概率值，若其概率值大小超过0.2则输出2(或8)，否则输出0(或10)；
本实施例中，如图2所示，一种基于表情识别的实现卧床病人疼痛症状实时监护装置，包括：图像采集模块、预处理模块、疼痛分级识别模块、报警模块和输出模块；
图像采集模块利用床头支架的正上方和两侧分别安装的红外摄像头采集得到同一时刻人脸的三张实时图像并发送给预处理模块；具体地说，
(1)由于受试者在卧床时可能处于不同姿态，无法保证面部长时间朝向某一确定方向，故采用包括正面、左侧、右侧的不同角度的摄像头组，并在接下来的几个步骤中，对各个摄像头采集到的图像进行并行处理，以保证受试者在不同姿态下，***都可以进行有效的信息采集和进一步识别；
(2)摄像头组每间隔一定时间(如设置为至少每10秒)采集一张照片，以保证***识别和输出疼痛分级信息的实时性。
(3)摄像头组通过通讯模块将照片发送至处理终端，对照片中包含人脸的部分进行提取。
预处理模块利用dlib工具对三张实时图像进行预处理，得到k×k像素的包含人脸信息的RGB图像，并选取人脸信息最完整的RGB图像作为检测图像；具体的说，
(1)通过对面部器官的特征区域，包括眼睛、鼻子、嘴等器官的特征区域图像的识别，确认人脸位置，并对相应的部分进行ROI(Region Of Interest，感兴趣区域)框选。其中，所框选提取出的图像为正方形人脸特征图。
(2)对图像进行相应预处理：将所提取的图像，采用最近邻插值方法，通过resize函数进行缩放，转化为64×64大小的标准图像。读取出红、绿、蓝三色的分量，计算出每个像素点的灰度值，以此对像素点颜色分量重新赋值，可以得到灰度图像，便于进一步统一处理。
(3)将上一步所得到的图像保存为数组信息的形式，作为图像预处理的最终结果；
疼痛分级识别模块包含疼痛分级模型；疼痛分级模型包含一个数据输入层、M个卷积拟合层组和一个输出处理层组；
任意第m个卷积拟合层组依次包含两个卷积层、一个池化层和一个正则化层；
输出处理层组依次包含：平坦化层、第一全连接层、第M+1个正则化层和第二全连接层；
疼痛分级识别模块利用疼痛分级模型对检测图像进行疼痛等级识别，并得到A个疼痛级别所对应的概率，选取最大概率所对应的疼痛级别作为当前时刻检测图像的疼痛级别；
输出模块对A个疼痛级别所对应的概率和检测图像进行显示；
报警模块判断当前时刻的疼痛级别是否超过所设定的阈值，若超过，则进行报警处理，以实现实时监护。具体地说，
(1)将经过预处理得到的图像信息输入已训练的疼痛分级模型，由疼痛分级模型对输入信息进行处理后得到卧床病人的疼痛级别评估结果。在此环节中，可通过脚本将表情识别的任务定时化、自动化；
(2)将实时的疼痛级别评估结果传输至医护人员端，包括显示疼痛等级和所选用的有效图像，并在达到一定报警条件时(例如，在采用0-IV级分级方法的情况下，当分析得到的疼痛级别大于等于III级时)通过蜂鸣器提醒医护人员。
Claims (3)
1.一种基于表情识别的卧床病人疼痛症状实时监护方法，其特征是按如下步骤进行：
步骤1、建立疼痛表情训练数据集：
步骤1.1、依据疼痛分级量表设置疼痛等级由低到高的A个疼痛级别，并按照不同的疼痛等级分别采集相应的疼痛表情图片数据；
步骤1.2、利用dlib工具对所有疼痛表情图片数据进行预处理，得到k×k像素的包含人脸信息的RGB图像；
步骤1.3、对所述RGB图像转化为灰度图像，从而得到疼痛表情训练数据集；
步骤2、建立用于分析疼痛表情的神经网络模型并进行训练，从而得到疼痛分级模型；
所述神经网络模型依次包含一个数据输入层、M个卷积拟合层组和一个输出处理层组；
所述数据输入层用于输入所述疼痛表情训练数据集中的N张k×k像素的灰度图像；
任意第m个所述卷积拟合层组依次包含两个卷积层、一个池化层和一个正则化层；
其中，第一个卷积层使用k×2(m-2)组卷积核，卷积的步长为s；任意n张灰度图像经过第一个卷积层的处理后得到k×2(m-2)个维度为k-(4m+2)×s×k-(4m+2)×s的特征图像，并经过第一Relu非线性映射后输入第二个卷积层；
第二个卷积层使用k×2(m-2)组卷积核，卷积的步长为s；经过第一次映射后的特征图像经过第二个卷积层的处理后得到k×2(m-2)个维度为(k-4ms)×(k-4ms)的特征图像，并经过第二Relu非线性映射后输入池化层；
第m个所述池化层对第二次映射后的特征图像使用池化核为2×2、步长为1的最大池化采样，并得到k×2(m-2)个维度为
的特征图像后输入正则化层；
第m个所述正则化层使用丢弃正则化对所输入的特征图像进行处理，得到k×2(m-2)个维度为
的特征图像；
所述输出处理层组依次包含：平坦化层、第一全连接层、第M+1个正则化层和第二全连接层；
所述平坦化层对第M个正则化层输入的特征图像进行降维处理，得到一个维度为
的特征向量后输入第一全连接层；
所述第一全连接层对所输入的特征向量全连接至自身的
个神经元并进行处理，得到一个维度为
的特征向量，再经过第2M+1个Relu非线性映射后输入第M+1个正则化层；
所述第M+1个正则化层使用丢弃正则化对第2M+1次映射后的特征图像进行处理，得到一个维度为
的特征向量后输入第二全连接层；
所述第二全连接层将第M+1个正则化层的输入的特征向量全连接至自身的A个神经元并进行处理，得到一个维度为A的特征向量后输入softmax回归分类器中，从而输出A个疼痛级别所对应的概率并完成训练；
步骤3、利用床头支架上在床头的正上方和两侧分别安装红外摄像头，从而采集得到同一时刻人脸的三张实时图像；
利用dlib工具对三张实时图像进行预处理，得到k×k像素的包含人脸信息的RGB图像，并选取人脸信息最完整的RGB图像作为检测图像；
将所述检测图像转化为k×k的灰度检测图像后输入所述神经网络模型中，从而得到A个疼痛级别所对应的概率；选取最大概率所对应的疼痛级别作为当前时刻检测图像的疼痛级别；若当前时刻的疼痛级别超过所设定的阈值，则进行报警处理，以实现实时监护。
2.根据权利要求1所述的卧床病人疼痛症状实时监护方法，其特征是，步骤2中的A个疼痛级别所对应的概率是按如下方式映射成疼痛等级由低到高的(2×A+1)个疼痛级别分数中的一个分数；
步骤2.1：将A个疼痛级别所对应的概率分别记为概率集合{p0,p1,…,pa,…,pA-1}，其中，pa表示第a个疼痛级别所对应的概率，获取概率集合{p0,p1,…,pa,…,pA-1}中的最大值pmax所对应的下标max，从而得到中间变量q＝(2×max+1)；
步骤2.2：判断pmax＞z1是否成立，若成立，则输出概率集合在(2×A+1)个疼痛级别分数中所对应的分数qout＝q；否则，进入步骤2.3；其中，z1为第一阈值；
步骤2.3：判断max≠0且max≠A-1是否成立，若成立，则执行步骤2.4；否则，执行步骤2.5；
步骤2.4、判断pmax-1≥pmax+1是否成立，若成立，则输出分数qout＝q-1，否则，输出分数qout＝q+1；
步骤2.5、判断max＝0是否成立，若成立，则执行步骤2.6；否则，执行步骤2.7；
步骤2.6：判断p1＞z2是否成立，若成立，则输出分数qout＝q+1；否则输出分数qout＝q-1；其中，z2为第二阈值；
步骤2.7、判断max＝A-1是否成立，若成立，则执行步骤2.8；
步骤2.8、判断pA-2＞z2是否成立，若成立，则输出分数qout＝q-1，否则输出qout＝q+1。
3.一种基于表情识别的实现卧床病人疼痛症状实时监护装置，其特征包括：图像采集模块、预处理模块、疼痛分级识别模块、报警模块和输出模块；
所述图像采集模块利用床头支架的正上方和两侧分别安装的红外摄像头采集得到同一时刻人脸的三张实时图像并发送给所述预处理模块；
所述预处理模块利用dlib工具对三张实时图像进行预处理，得到k×k像素的包含人脸信息的RGB图像，并选取人脸信息最完整的RGB图像作为检测图像；
所述疼痛分级识别模块包含疼痛分级模型；所述疼痛分级模型包含一个数据输入层、M个卷积拟合层组和一个输出处理层组；
任意第m个所述卷积拟合层组依次包含两个卷积层、一个池化层和一个正则化层；
所述输出处理层组依次包含：平坦化层、第一全连接层、第M+1个正则化层和第二全连接层；
所述疼痛分级识别模块利用所述疼痛分级模型对所述检测图像进行疼痛等级识别，并得到A个疼痛级别所对应的概率，选取最大概率所对应的疼痛级别作为当前时刻检测图像的疼痛级别；
所述输出模块对A个疼痛级别所对应的概率和检测图像进行显示；
所述报警模块判断当前时刻的疼痛级别是否超过所设定的阈值，若超过，则进行报警处理，以实现实时监护。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010289861.1A CN111466878A (zh) | 2020-04-14 | 2020-04-14 | 基于表情识别的卧床病人疼痛症状实时监护方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010289861.1A CN111466878A (zh) | 2020-04-14 | 2020-04-14 | 基于表情识别的卧床病人疼痛症状实时监护方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111466878A true CN111466878A (zh) | 2020-07-31 |
Family
ID=71751883
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010289861.1A Pending CN111466878A (zh) | 2020-04-14 | 2020-04-14 | 基于表情识别的卧床病人疼痛症状实时监护方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111466878A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112820382A (zh) * | 2021-02-04 | 2021-05-18 | 上海小芃科技有限公司 | 乳腺癌术后智能康复训练方法、装置、设备及存储介质 |
| CN113057597A (zh) * | 2021-03-25 | 2021-07-02 | 南通市第一人民医院 | 一种实时监测产妇生产过程中生理状态的方法及*** |
| CN113080855A (zh) * | 2021-03-30 | 2021-07-09 | 广东省科学院智能制造研究所 | 一种基于深度信息的面部疼痛表情识别方法及*** |
| CN113100768A (zh) * | 2021-04-14 | 2021-07-13 | 中国人民解放军陆军特色医学中心 | 一种基于计算机视觉失能毁伤效应评估*** |
| CN113499035A (zh) * | 2021-07-12 | 2021-10-15 | 扬州大学 | 一种基于置信区间融合阈值判据的疼痛识别*** |
| CN114224286A (zh) * | 2020-09-08 | 2022-03-25 | 上海联影医疗科技股份有限公司 | 一种乳腺检查的压迫方法、装置、终端和介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110163302A (zh) * | 2019-06-02 | 2019-08-23 | 东北石油大学 | 基于正则化注意力卷积神经网络的示功图识别方法 |
| CN110175596A (zh) * | 2019-06-04 | 2019-08-27 | 重庆邮电大学 | 基于双流卷积神经网络的虚拟学习环境微表情识别与交互方法 |
| CN110321827A (zh) * | 2019-06-27 | 2019-10-11 | 嘉兴深拓科技有限公司 | 一种基于人脸疼痛表***的疼痛水平评估方法 |
| WO2019204700A1 (en) * | 2018-04-19 | 2019-10-24 | University Of South Florida | Neonatal pain identification from neonatal facial expressions |
| CN110705430A (zh) * | 2019-09-26 | 2020-01-17 | 江苏科技大学 | 基于深度学习的多人面部表情识别方法和识别*** |
-
2020
- 2020-04-14 CN CN202010289861.1A patent/CN111466878A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019204700A1 (en) * | 2018-04-19 | 2019-10-24 | University Of South Florida | Neonatal pain identification from neonatal facial expressions |
| CN110163302A (zh) * | 2019-06-02 | 2019-08-23 | 东北石油大学 | 基于正则化注意力卷积神经网络的示功图识别方法 |
| CN110175596A (zh) * | 2019-06-04 | 2019-08-27 | 重庆邮电大学 | 基于双流卷积神经网络的虚拟学习环境微表情识别与交互方法 |
| CN110321827A (zh) * | 2019-06-27 | 2019-10-11 | 嘉兴深拓科技有限公司 | 一种基于人脸疼痛表***的疼痛水平评估方法 |
| CN110705430A (zh) * | 2019-09-26 | 2020-01-17 | 江苏科技大学 | 基于深度学习的多人面部表情识别方法和识别*** |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114224286A (zh) * | 2020-09-08 | 2022-03-25 | 上海联影医疗科技股份有限公司 | 一种乳腺检查的压迫方法、装置、终端和介质 |
| CN112820382A (zh) * | 2021-02-04 | 2021-05-18 | 上海小芃科技有限公司 | 乳腺癌术后智能康复训练方法、装置、设备及存储介质 |
| CN113057597A (zh) * | 2021-03-25 | 2021-07-02 | 南通市第一人民医院 | 一种实时监测产妇生产过程中生理状态的方法及*** |
| CN113080855A (zh) * | 2021-03-30 | 2021-07-09 | 广东省科学院智能制造研究所 | 一种基于深度信息的面部疼痛表情识别方法及*** |
| CN113080855B (zh) * | 2021-03-30 | 2023-10-31 | 广东省科学院智能制造研究所 | 一种基于深度信息的面部疼痛表情识别方法及*** |
| CN113100768A (zh) * | 2021-04-14 | 2021-07-13 | 中国人民解放军陆军特色医学中心 | 一种基于计算机视觉失能毁伤效应评估*** |
| CN113100768B (zh) * | 2021-04-14 | 2022-12-16 | 中国人民解放军陆军特色医学中心 | 一种基于计算机视觉失能毁伤效应评估*** |
| CN113499035A (zh) * | 2021-07-12 | 2021-10-15 | 扬州大学 | 一种基于置信区间融合阈值判据的疼痛识别*** |
| CN113499035B (zh) * | 2021-07-12 | 2023-09-05 | 扬州大学 | 一种基于置信区间融合阈值判据的疼痛识别*** |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111466878A (zh) | 基于表情识别的卧床病人疼痛症状实时监护方法及装置 | |
| Niu et al. | Rhythmnet: End-to-end heart rate estimation from face via spatial-temporal representation | |
| CN110287805B (zh) | 基于三流卷积神经网络的微表情识别方法及*** | |
| CN109543526B (zh) | 基于深度差异性特征的真假面瘫识别*** | |
| CN107007257B (zh) | 面部不自然度的自动评级方法和装置 | |
| CN107133612A (zh) | 基于图像处理与语音识别技术的智能病房及其运行方法 | |
| CN113052113B (zh) | 一种基于紧凑型卷积神经网络的抑郁症识别方法及*** | |
| CN109508755B (zh) | 一种基于图像认知的心理测评方法 | |
| CN112906748A (zh) | 基于残差网络的12导联ecg心律失常检测分类模型构建方法 | |
| CN109805944B (zh) | 一种儿童共情能力分析*** | |
| CN110929687A (zh) | 一种基于关键点检测的多人行为识别***及工作方法 | |
| CN113076878B (zh) | 基于注意力机制卷积网络结构的体质辨识方法 | |
| CN116645721B (zh) | 基于深度学习的坐姿识别方法及*** | |
| CN109978873A (zh) | 一种基于中医影像大数据的智能体检***及其方法 | |
| CN111598868B (zh) | 一种肺部超声图像识别方法和*** | |
| CN112101424A (zh) | 一种视网膜病变识别模型的生成方法、识别装置及设备 | |
| CN114067435A (zh) | 一种基于伪3d卷积网络与注意力机制的睡眠行为检测方法和*** | |
| CN109567832A (zh) | 一种基于智能手环的检测愤怒驾驶状态的方法及*** | |
| CN114038564A (zh) | 一种糖尿病无创风险预测方法 | |
| CN114626419B (zh) | 一种基于wifi中信道状态信息和改进卷积神经网络的动作识别方法 | |
| CN112562852A (zh) | 基于肢体动作的颈椎病筛查装置 | |
| CN108511064A (zh) | 基于深度学习自动分析人体健康数据的*** | |
| CN110693510A (zh) | 一种注意力缺陷多动障碍辅助诊断装置及其使用方法 | |
| Li et al. | Multi-label constitution identification based on tongue image in traditional Chinese medicine | |
| CN110853764A (zh) | 一种糖尿病证候预测*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20200731 |