CN117064388A - 基于情绪识别实现精神障碍评估分析的*** - Google Patents
基于情绪识别实现精神障碍评估分析的*** Download PDFInfo
- Publication number
- CN117064388A CN117064388A CN202311048601.5A CN202311048601A CN117064388A CN 117064388 A CN117064388 A CN 117064388A CN 202311048601 A CN202311048601 A CN 202311048601A CN 117064388 A CN117064388 A CN 117064388A
- Authority
- CN
- China
- Prior art keywords
- emotion
- patient
- data
- emotion recognition
- execution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000008909 emotion recognition Effects 0.000 title claims abstract description 58
- 238000004458 analytical method Methods 0.000 title claims abstract description 39
- 208000020016 psychiatric disease Diseases 0.000 title claims abstract description 24
- 230000008451 emotion Effects 0.000 claims abstract description 51
- 238000011282 treatment Methods 0.000 claims abstract description 43
- 238000012545 processing Methods 0.000 claims abstract description 36
- 230000002996 emotional effect Effects 0.000 claims abstract description 18
- 238000012544 monitoring process Methods 0.000 claims abstract description 11
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 9
- 238000013135 deep learning Methods 0.000 claims abstract description 8
- 238000007405 data analysis Methods 0.000 claims abstract description 5
- 238000007619 statistical method Methods 0.000 claims abstract description 5
- 230000000007 visual effect Effects 0.000 claims abstract description 5
- 238000000034 method Methods 0.000 claims description 39
- 238000013527 convolutional neural network Methods 0.000 claims description 29
- 230000005021 gait Effects 0.000 claims description 28
- 238000012549 training Methods 0.000 claims description 23
- 230000008569 process Effects 0.000 claims description 16
- 238000005516 engineering process Methods 0.000 claims description 12
- 230000015654 memory Effects 0.000 claims description 12
- 230000000694 effects Effects 0.000 claims description 11
- 238000013528 artificial neural network Methods 0.000 claims description 10
- 238000012360 testing method Methods 0.000 claims description 9
- 230000008921 facial expression Effects 0.000 claims description 8
- 238000011176 pooling Methods 0.000 claims description 8
- 238000012795 verification Methods 0.000 claims description 8
- 238000013473 artificial intelligence Methods 0.000 claims description 7
- 230000007177 brain activity Effects 0.000 claims description 7
- 125000004122 cyclic group Chemical group 0.000 claims description 7
- 230000033001 locomotion Effects 0.000 claims description 7
- 230000003238 somatosensory effect Effects 0.000 claims description 7
- 230000009471 action Effects 0.000 claims description 6
- 229940079593 drug Drugs 0.000 claims description 6
- 239000003814 drug Substances 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 6
- 238000003066 decision tree Methods 0.000 claims description 5
- 230000014509 gene expression Effects 0.000 claims description 5
- 210000003205 muscle Anatomy 0.000 claims description 5
- 238000007637 random forest analysis Methods 0.000 claims description 5
- 230000037213 diet Effects 0.000 claims description 4
- 235000005911 diet Nutrition 0.000 claims description 4
- 238000002560 therapeutic procedure Methods 0.000 claims description 3
- 239000000284 extract Substances 0.000 abstract description 2
- 238000011084 recovery Methods 0.000 abstract 1
- 230000006870 function Effects 0.000 description 11
- 230000008859 change Effects 0.000 description 6
- 238000011156 evaluation Methods 0.000 description 6
- 208000019901 Anxiety disease Diseases 0.000 description 4
- 241000282414 Homo sapiens Species 0.000 description 4
- 230000036506 anxiety Effects 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- 201000010099 disease Diseases 0.000 description 3
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 238000011269 treatment regimen Methods 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000004424 eye movement Effects 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000002156 mixing Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 230000006403 short-term memory Effects 0.000 description 2
- 206010054196 Affect lability Diseases 0.000 description 1
- 206010002942 Apathy Diseases 0.000 description 1
- 206010012239 Delusion Diseases 0.000 description 1
- 208000004547 Hallucinations Diseases 0.000 description 1
- 208000013738 Sleep Initiation and Maintenance disease Diseases 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000036760 body temperature Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000009223 counseling Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 231100000868 delusion Toxicity 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 206010022437 insomnia Diseases 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000001404 mediated effect Effects 0.000 description 1
- 230000003340 mental effect Effects 0.000 description 1
- 230000004630 mental health Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000004393 prognosis Methods 0.000 description 1
- 230000009323 psychological health Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 230000033764 rhythmic process Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000035900 sweating Effects 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 210000001260 vocal cord Anatomy 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1103—Detecting eye twinkling
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1107—Measuring contraction of parts of the body, e.g. organ, muscle
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/389—Electromyography [EMG]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/48—Other medical applications
- A61B5/4803—Speech analysis specially adapted for diagnostic purposes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
- G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/08—Feature extraction
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Theoretical Computer Science (AREA)
- Heart & Thoracic Surgery (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Pathology (AREA)
- Animal Behavior & Ethology (AREA)
- Surgery (AREA)
- Medical Informatics (AREA)
- Data Mining & Analysis (AREA)
- Physiology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Cardiology (AREA)
- Psychiatry (AREA)
- Dentistry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Ophthalmology & Optometry (AREA)
- Pulmonology (AREA)
- Social Psychology (AREA)
- Psychology (AREA)
- Hospice & Palliative Care (AREA)
Abstract
本发明涉及一种基于情绪识别实现精神障碍评估分析的***，其中，该***包括：情绪识别处理模块，将采集到的患者的生理信号数据，提取出其中的情绪特征，再利用深度学习算法分析识别患者当前的情绪状态；个性化建议分析模块，基于识别获取到的患者的情绪特征数据，结合患者患病历史和专家经验和治疗指南，个性化的自动生成相应的分析建议；执行记录处理模块，用于根据患者的实际执行情况自动标记治疗医嘱项目执行状态；数据分析处理模块，用于存储和分析患者的情绪状态和执行数据，通过进行统计分析，提供可视化的监测界面。采用了本发明的该***，通过对患者情绪的监测和识别，结合相应的建议措施，能够对精神障碍患者的康复有积极的促进作用。
Description
技术领域
本发明涉及人工智能技术领域，尤其涉及智能医疗技术领域，具体是指一种基于情绪识别实现精神障碍评估分析的***。
背景技术
精神障碍是一类严重的心理疾病，患者通常会出现情绪不稳定、失眠、焦虑、抑郁等症状，导致患者在社交、学习、工作等方面受到严重影响。精神障碍患者的情绪表现复杂多变，如情感淡漠、幻觉妄想、恐惧焦虑等，这使得其病情的评估和治疗十分困难。
现有的评估和治疗方法多数基于医生的观察和病历记录，对患者的日常情绪变化监测较为困难，主要依赖于临床医生的经验和技能，缺乏客观的、科学的评估方法，存在诊断不准确、治疗效果不稳定等问题。因此，开发一种能够客观评估患者情绪状态和病情变化的***，对于提高精神障碍患者的治疗和康复效果具有重要意义。
发明内容
本发明的目的是克服了上述现有技术的缺点，提供了一种基于情绪识别实现精神障碍评估分析的***。
为了实现上述目的，本发明的该基于情绪识别实现精神障碍评估分析的***如下：
该基于情绪识别实现精神障碍评估分析的***，其主要特点是，所述的***包括：
情绪识别处理模块，基于人工智能技术将采集到的患者的生理信号数据，提取出其中的情绪特征，再利用深度学习算法分析识别患者当前的情绪状态；
个性化建议分析模块，与所述的情绪识别模块相连接，基于识别获取到的患者的情绪特征数据，结合患者患病历史以及专家经验和治疗指南，个性化的自动生成相应的分析建议；
执行记录处理模块，与所述的个性化建议分析模块相连接，用于根据患者的实际执行情况自动标记治疗医嘱项目执行状态；以及
数据分析处理模块，与所述的执行记录处理模块相连接，用于存储和分析患者的情绪状态和执行数据，通过进行统计分析，以为医护人员提供可视化的情绪监测界面。
较佳地，所述的***还包括：
情绪识别设备，所述的情绪识别设备具体包括：摄像头、声音采集器、心率传感器、皮肤电传感器、眼动仪和智能体感设备，用于采集患者的生理信号数据，所述的生理信号数据包括：患者的面部表情、语音语调语速、心率变化、肌肉活动、大脑活动、动作和步态。
较佳地，所述的情绪识别处理模块采用卷积神经网络CNN和循环神经网络RNN相结合的模型进行情绪识别。
较佳地，所述的情绪识别处理模块使用所述的卷积神经网络CNN对输入的图像进行特征提取，其中，所述的卷积神经网络CNN包括数个卷积层、池化层和全连接层；
所述的情绪识别处理模块使用所述的循环神经网络RNN对提取出来的特征进行分类处理，具体为采用长短期记忆模型LSTM通过对特征数据进行处理。
较佳地，所述的情绪识别处理模块通过3D姿态估计技术来识别提取的步态数据和步态表现的情绪特征，具体为：
通过所述的智能体感设备对患者的动作和步态特征进行数据采集，并将采集到的3D姿态传输到长短期记忆模型LSTM中，所述的长短期记忆模型LSTM通过从姿态序列中获取相应的特征，以此通过多个步态数据集进行模型训练，并将计算所得的情感特征与深层特征进行，与随机森林分类器相结合，通过输出多个独立决策树的平均预测，将提取的步态例子归类到相应的情绪类别中。
较佳地，所述的个性化建议分析模块生成的分析建议包括：心理治疗、药物治疗和饮食调整。
较佳地，所述的执行记录处理模块具体为：
用于显示患者对医嘱项目执行状态，包括：已完成、待执行、执行中、已暂停、已取消和已停止；
用于记录医嘱执行详情，包括：医嘱执行过程、操作人信息、执行时间和操作类型；
用于为患者提供快捷执行，包括：提供模板化内容录入；
用于上传多种附件类型：包括：图片、音频、文件和视频。
较佳地，在训练模型之前，还包括：
从公开数据集和临床数据中收集对应的情绪标注数据，并将其划分为训练集、验证集和测试集，其中，所述的训练集用于训练所述的模型，所述的验证集用于调整模型的超参数，所述的测试集用于评估模型的性能。
采用了本发明的该基于情绪识别实现精神障碍评估分析的***，具有以下有益效果：
1.客观性强：通过采集患者的生理信号数据进行情绪识别和监测，避免了人为主观因素对病情评估的影响，提高了评估结果的客观性和准确性。
2.实时性高：***在评估和治疗过程中，能够实时监测患者的情绪状态，及时发现异常情况，并提醒医护人员，有助于及时干预和治疗。
3.针对性强：***可以根据患者的情绪状态提供针对性的治疗方案，提高了治疗的效果。
4.互动性：***采用语音交互和音视频等多种形式的治疗手段，让患者更加轻松和舒适地接受治疗。
5.互联互通：***可以与其他医疗设备和临床***进行数据互联，实现医疗信息的共享和交换，提高对患者病情的综合评估能力。
6.便于操作：***为医护人员提供直观、全面的情绪监测界面，方便医护人员了解患者的情况和病情变化趋势，界面直观，操作简单。
附图说明
图1为本发明的该基于情绪识别实现精神障碍评估分析的***的结构示意图。
具体实施方式
为了能够更清楚地描述本发明的技术内容，下面结合具体实施例来进行进一步的描述。
在详细说明根据本发明的实施例前，应该注意到的是，在下文中，术语“包括”、“包含”或任何其他变体旨在涵盖非排他性的包含，由此使得包括一系列要素的过程、方法、物品或者设备不仅包含这些要素，而且还包含没有明确列出的其他要素，或者为这种过程、方法、物品或者设备所固有的要素。
请参阅图1所示，该基于情绪识别实现精神障碍评估分析的***，其中，所述的***包括：
情绪识别处理模块，基于人工智能技术将采集到的患者的生理信号数据，提取出其中的情绪特征，再利用深度学习算法分析识别患者当前的情绪状态；
个性化建议分析模块，与所述的情绪识别模块相连接，基于识别获取到的患者的情绪特征数据，结合患者患病历史以及专家经验和治疗指南，个性化的自动生成相应的分析建议；
执行记录处理模块，与所述的个性化建议分析模块相连接，用于根据患者的实际执行情况自动标记治疗医嘱项目执行状态；以及
数据分析处理模块，与所述的执行记录处理模块相连接，用于存储和分析患者的情绪状态和执行数据，通过进行统计分析，以为医护人员提供可视化的情绪监测界面。
作为本发明的优选实施方式，所述的***还包括：
情绪识别设备，所述的情绪识别设备具体包括：摄像头、声音采集器、心率传感器、皮肤电传感器、眼动仪和智能体感设备，用于采集患者的生理信号数据，所述的生理信号数据包括：患者的面部表情、语音语调语速、心率变化、肌肉活动、大脑活动、动作和步态。
作为本发明的优选实施方式，所述的情绪识别处理模块采用卷积神经网络CNN和循环神经网络RNN相结合的模型进行情绪识别。
作为本发明的优选实施方式，所述的情绪识别处理模块使用所述的卷积神经网络CNN对输入的图像进行特征提取，其中，所述的卷积神经网络CNN包括数个卷积层、池化层和全连接层；
所述的情绪识别处理模块使用所述的循环神经网络RNN对提取出来的特征进行分类处理，具体为采用长短期记忆模型LSTM通过对特征数据进行处理。
作为本发明的优选实施方式，所述的情绪识别处理模块通过3D姿态估计技术来识别提取的步态数据和步态表现的情绪特征，具体为：
通过所述的智能体感设备对患者的动作和步态特征进行数据采集，并将采集到的3D姿态传输到长短期记忆模型LSTM中，所述的长短期记忆模型LSTM通过从姿态序列中获取相应的特征，以此通过多个步态数据集进行模型训练，并将计算所得的情感特征与深层特征进行，与随机森林分类器相结合，通过输出多个独立决策树的平均预测，将提取的步态例子归类到相应的情绪类别中。
在实际应用当中，在进行特征分类时，包括：机器深度学习技术可以通过分析大数据来建立预测模型，用于心理精神方面的教育、评估和筛查，以评估被试者的心理健康状况，有效节省当前较为有限的心理精神健康医疗资源。
具体算法包括：向量机、决策树、朴素贝叶斯分类器，K近邻和逻辑回归等多种机器学习算法。
机器学习是人工智能的核心，不断优化的算法可以促使计算机更好地实现人类的学习行为，通过全新组织的知识或技能网络，不断改善自身的性能，能够发现许多传统心理研究手段无法获知的信息。
作为本发明的优选实施方式，所述的个性化建议分析模块生成的分析建议包括：心理治疗、药物治疗和饮食调整。
作为本发明的优选实施方式，所述的执行记录处理模块具体为：
用于显示患者对医嘱项目执行状态，包括：已完成、待执行、执行中、已暂停、已取消和已停止；
用于记录医嘱执行详情，包括：医嘱执行过程、操作人信息、执行时间和操作类型；
用于为患者提供快捷执行，包括：提供模板化内容录入；
用于上传多种附件类型：包括：图片、音频、文件和视频。
在实际应用当中，所述的执行记录处理模块支持根据实际执行情况自动标记治疗医嘱项目执行状态，包含已完成、待执行、执行中、已暂停、已取消、已停止。支持按照计划执行时间进行医嘱执行时效性监控，具备超时未执行页面提醒功能。
***支持用户完成治疗医嘱项目的实际执行，支持快捷执行和记录医嘱执行详情，可记录医嘱执行过程、操作人信息、执行时间、操作类型等，同时支持为用户提供模板化内容录入，减少书写时间。此外***支持以附件上传功能帮助用户全面记录患者的治疗反应和变化，附件类型包含图片、音频、文件、视频等常见格式，便于用户随时调阅并进行预后疗效比对分析。
作为本发明的优选实施方式，在训练模型之前，还包括：
从公开数据集和临床数据中收集对应的情绪标注数据，并将其划分为训练集、验证集和测试集，其中，所述的训练集用于训练所述的模型，所述的验证集用于调整模型的超参数，所述的测试集用于评估模型的性能。
在实际应用当中，本技术方案数据采集的来源包括：目标对象的面部表情、身体动作、声音、体温、心跳、出汗情况、大脑活动、心电等各个方面。利用多种传感器收集这些状态和变化作为数据，使用人工智能和机器学习等，推测作为观察对象的情绪。
例如，通过声音来检测感情，与通过表情等检测相比，被测者更加难以进行掩饰，因此适用于推测不表露出来的感情，因为几乎没有人能有意识地控制自己的声带等。而面部表情容易有意识地掩饰，推测的准确度也往往较低。另外，数据收集的难易程度也因各参数而异。表情、身体动作、声音等数据可以通过摄像机和麦克风以非接触方式进行收集。而收集心跳、出汗、大脑活动等数据，一般需要让传感器与身体接触。
在实际应用当中，本技术方案的该基于情绪识别实现精神障碍评估分析的***，具体包括：
1.情绪识别设备：用于采集患者的生理信号数据。相关设备包括摄像头、声音采集器、心率传感器、皮肤电传感器、眼动仪、智能体感设备等，用于采集患者的面部表情、语音语调语速、心率变化、肌肉活动、大脑活动、动作和步态等。
具体而言，摄像头采集患者的面部表情、声音采集器如录音设备采集语音语调语速、心率传感器采集心率变化、皮肤电传感器采集肌肉活动、眼动仪采集眼动情况、脑电图采集大脑活动、智能体感设备采集动作和步态等。
2.情绪识别处理模块：用于分析识别患者当前的情绪状态。该模块将采集到的生理信号数据进行处理，基于人工智能技术提取其中的情绪特征，利用深度学习算法对患者的情绪状态进行自动识别和分类，将患者的情绪状态分为焦虑、抑郁、愉悦、恐惧等类型等，并将情绪状态信息反馈给其他组件。具体而言，使用所述的卷积神经网络CNN对输入的图像进行特征提取，其中，所述的卷积神经网络CNN包括数个卷积层、池化层和全连接层；所述的情绪识别处理模块使用所述的循环神经网络RNN对提取出来的特征进行分类处理，具体为采用长短期记忆模型LSTM通过对特征数据进行处理。从公开数据集和临床数据中收集对应的情绪标注数据，并将其划分为训练集、验证集和测试集，其中，所述的训练集用于训练所述的模型，所述的验证集用于调整模型的超参数，所述的测试集用于评估模型的性能。
本模块还使用3D姿态估计技术来识别提取的步态和步态表现的情绪特征。这些3D姿态会被传输到能够学***均预测，将提取的步态例子分到情绪类别中。具体而言，ODONATE三维运动捕捉步态分析***深度感知技术重建被试三维运动模式，深度学习技术自动识别人体节段，深度神经网络自动进行点云配准，计算步速、步长、摆动区域和步态节奏等步态时空及运动学参数动作和步态等。
3.个性化建议分析模块：用于生成针对患者的治疗方案计划。该模块根据情绪识别模块提供的情绪状态信息，结合患者的病历数据，利用专家经验和治疗指南，自动生成相应的治疗建议，包括心理治疗、药物治疗、饮食调整等。
4.执行记录处理模块：用于将治疗计划转化为具体的执行记录。该模块可以采用虚拟现实技术、人机交互技术等，以提供互动性的治疗执行过程，并记录患者的治疗反馈，以优化治疗方案。
5.数据分析处理模块：该模块存储和分析患者的情绪状态和治疗数据，对数据进行统计分析，并为医护人员提供可视化的情绪监测界面，以便快速了解患者的情绪变化趋势，从而优化治疗方案和提高治疗效果。
在情绪识别处理模块中，采用基于深度学习的情绪识别算法技术。具体而言，我们使用了卷积神经网络(Convolutional Neural Network,CNN)和循环神经网络(RecurrentNeural Network,RNN)相结合的模型进行情绪识别。我们的模型主要分为两个部分：特征提取和情绪分类。
在特征提取阶段，我们使用CNN对输入的图像进行特征提取。CNN的结构包含多个卷积层、池化层和全连接层。在情绪分类阶段，我们使用RNN对提取出来的特征进行分类。具体而言，我们采用了长短时记忆网络(Long Short-Term Memory,LSTM)进行分类，因为LSTM可以有效地处理时序数据，并且能够避免梯度消失问题。具体而言，CNN采用以下步骤进行情感识别：
CNN模型将信号/图像或文本形式的预处理数据作为输入，使用核或滤波器对输入数据进行卷积。这发生在卷积层，卷积层中的滤波器对输入数据进行滤波，每个滤波器对输入数据的宽度和高度进行卷积，对卷积特征进行填充，以降低其维度。填充后的输出通过一个名为ReLU的激活函数，它将所有负值转换为零，并保留正值。然后将特征传递给池化层，池化层负责提取主要特征，池化层还缩短了模型的训练时间。最后，全连接层用于对这些主要特征进行分类。还可以添加损失层，对偏离预期输出的模型进行惩罚。
LSTM有三种门调节信息流:遗忘门(Forget Gate)--它负责决定哪些信息是不相关的，必须丢弃。当前输入和上一个隐藏状态(指上一个单元的输出)被传递给sigmoid函数。如果输出为1，则该信息将被网络记住；如果输出为0，则该信息将被丢弃。输入门(InputGate)--负责决定哪些信息需要添加到单元状态中。前一个隐藏状态和当前输入被传递给sigmoid函数，并找出与网络相关的信息。然后，tanh输出乘以sigmoid输出。最终输出决定了需要更新的信息。输出门—它负责决定下一个隐藏状态，当前输入和上一个隐藏状态被传递给sigmoid函数。然后将修改后的单元状态传递给tanh函数，tanh函数和sigmoid函数的输出相乘来决定隐藏状态所携带的信息。tanh的存在分布了梯度，从而防止了梯度消失。
在训练模型之前，我们需要准备情绪标注的数据集。我们从公开数据集和临床数据中收集了大量的情绪标注数据，其中包括了各种类型的情绪，例如愉快、悲伤、愤怒、喜悦、焦虑、感动、困惑等等。我们将这些标注数据集分为训练集、验证集和测试集，其中训练集用于训练模型，验证集用于调整模型的超参数，测试集用于评估模型的性能。
在训练模型之后，我们可以将其用于实时情绪识别。具体而言，我们将患者的面部表情输入到训练好的模型中，模型会自动识别出患者的情绪状态。我们可以根据患者的情绪状态，选择相应的治疗建议，例如提供心理咨询、药物治疗等等。通过这种方式，我们可以为患者提供更加个性化和有效的治疗。
本技术方案选用基于规则和基于数据的混合方法。具体而言，我们首先根据患者的情绪状态，使用规则库选择候选治疗方案。规则库包含了丰富的治疗规则，例如根据患者情绪状态选择相应的心理疏导方案、药物治疗方案等等。然后，我们使用基于数据的方法从历史治疗数据中学习，并根据患者的个人情况和治疗历史来调整候选治疗方案。通过这种混合方法，我们可以为患者提供更加个性化和有效的评估建议。首先，基于规则的推理对新病例进行评估，规则来自临床指南；其次，如果基于规则的推理无法得到准确的答案，基于病例的推理将基于相似性匹配在病例库中找到最相似的病例。
在实际应用当中，本技术方案还可以采用以下技术手段：对情绪识别模块进行优化，如引入更加先进的机器学习算法、增加更多的生理信号数据特征等，以提高情绪识别的准确性和精度；此外，还可以在***中增加自然语言处理技术，使得患者和医生之间的交流更加流畅和自然。本发明还可以与其他医疗设备进行数据互联，如将患者的生理信号数据与医院的病历***、电子健康档案***等进行数据交互，以便医护人员全面了解患者的情况和病史。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行装置执行的软件或固件来实现。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成的，程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。
在本说明书的描述中，参考术语“一实施例”、“一些实施例”、“示例”、“具体示例”、或“实施例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
采用了本发明的该基于情绪识别实现精神障碍评估分析的***，具有以下有益效果：
1.客观性强：通过采集患者的生理信号数据进行情绪识别和监测，避免了人为主观因素对病情评估的影响，提高了评估结果的客观性和准确性。
2.实时性高：***在评估和治疗过程中，能够实时监测患者的情绪状态，及时发现异常情况，并提醒医护人员，有助于及时干预和治疗。
3.针对性强：***可以根据患者的情绪状态提供针对性的治疗方案，提高了治疗的效果。
4.互动性：***采用语音交互和音视频等多种形式的治疗手段，让患者更加轻松和舒适地接受治疗。
5.互联互通：***可以与其他医疗设备和临床***进行数据互联，实现医疗信息的共享和交换，提高对患者病情的综合评估能力。
6.便于操作：***为医护人员提供直观、全面的情绪监测界面，方便医护人员了解患者的情况和病情变化趋势，界面直观，操作简单。
在此说明书中，本发明已参照其特定的实施例作了描述。但是，很显然仍可以作出各种修改和变换而不背离本发明的精神和范围。因此，说明书和附图应被认为是说明性的而非限制性的。
Claims (8)
1.一种基于情绪识别实现精神障碍评估分析的***，其特征在于，所述的***包括：
情绪识别处理模块，基于人工智能技术将采集到的患者的生理信号数据，提取出其中的情绪特征，再利用深度学习算法分析识别患者当前的情绪状态；
个性化建议分析模块，与所述的情绪识别模块相连接，基于识别获取到的患者的情绪特征数据，结合患者患病历史以及专家经验和治疗指南，个性化的自动生成相应的分析建议；
执行记录处理模块，与所述的个性化建议分析模块相连接，用于根据患者的实际执行情况自动标记治疗医嘱项目执行状态；以及
数据分析处理模块，与所述的执行记录处理模块相连接，用于存储和分析患者的情绪状态和执行数据，通过进行统计分析，以为医护人员提供可视化的情绪监测界面。
2.根据权利要求1所述的基于情绪识别实现精神障碍评估分析的***，其特征在于，所述的***还包括：
情绪识别设备，所述的情绪识别设备具体包括：摄像头、声音采集器、心率传感器、皮肤电传感器、眼动仪和智能体感设备，用于采集患者的生理信号数据，所述的生理信号数据包括：患者的面部表情、语音语调语速、心率变化、肌肉活动、大脑活动、动作和步态。
3.根据权利要求2所述的基于情绪识别实现精神障碍评估分析的***，其特征在于，所述的情绪识别处理模块采用卷积神经网络CNN和循环神经网络RNN相结合的模型进行情绪识别。
4.根据权利要求3所述的基于情绪识别实现精神障碍评估分析的***，其特征在于，
所述的情绪识别处理模块使用所述的卷积神经网络CNN对输入的图像进行特征提取，其中，所述的卷积神经网络CNN包括数个卷积层、池化层和全连接层；
所述的情绪识别处理模块使用所述的循环神经网络RNN对提取出来的特征进行分类处理，具体为采用长短期记忆模型LSTM通过对特征数据进行处理。
5.根据权利要求4所述的基于情绪识别实现精神障碍评估分析的***，其特征在于，所述的情绪识别处理模块通过3D姿态估计技术来识别提取的步态数据和步态表现的情绪特征，具体为：
通过所述的智能体感设备对患者的动作和步态特征进行数据采集，并将采集到的3D姿态传输到长短期记忆模型LSTM中，所述的长短期记忆模型LSTM通过从姿态序列中获取相应的特征，以此通过多个步态数据集进行模型训练，并将计算所得的情感特征与深层特征进行，与随机森林分类器相结合，通过输出多个独立决策树的平均预测，将提取的步态例子归类到相应的情绪类别中。
6.根据权利要求1所述的基于情绪识别实现精神障碍评估分析的***，其特征在于，所述的个性化建议分析模块生成的分析建议包括：心理治疗、药物治疗和饮食调整。
7.根据权利要求1所述的基于情绪识别实现精神障碍评估分析的***，其特征在于，所述的执行记录处理模块具体为：
用于显示患者对医嘱项目执行状态，包括：已完成、待执行、执行中、已暂停、已取消和已停止；
用于记录医嘱执行详情，包括：医嘱执行过程、操作人信息、执行时间和操作类型；
用于为患者提供快捷执行，包括：提供模板化内容录入；
用于上传多种附件类型：包括：图片、音频、文件和视频。
8.根据权利要求3所述的基于情绪识别实现精神障碍评估分析的***，其特征在于，在训练模型之前，还包括：
从公开数据集和临床数据中收集对应的情绪标注数据，并将其划分为训练集、验证集和测试集，其中，所述的训练集用于训练所述的模型，所述的验证集用于调整模型的超参数，所述的测试集用于评估模型的性能。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311048601.5A CN117064388A (zh) | 2023-08-18 | 2023-08-18 | 基于情绪识别实现精神障碍评估分析的*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311048601.5A CN117064388A (zh) | 2023-08-18 | 2023-08-18 | 基于情绪识别实现精神障碍评估分析的*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117064388A true CN117064388A (zh) | 2023-11-17 |
Family
ID=88714756
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311048601.5A Pending CN117064388A (zh) | 2023-08-18 | 2023-08-18 | 基于情绪识别实现精神障碍评估分析的*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117064388A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117942079A (zh) * | 2024-03-27 | 2024-04-30 | 山东大学 | 一种基于多维感知与融合的情绪智力分类方法及*** |
| CN117958763A (zh) * | 2024-03-29 | 2024-05-03 | 四川互慧软件有限公司 | 一种基于时间轴的患者360度指标检测方法 |
-
2023
- 2023-08-18 CN CN202311048601.5A patent/CN117064388A/zh active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117942079A (zh) * | 2024-03-27 | 2024-04-30 | 山东大学 | 一种基于多维感知与融合的情绪智力分类方法及*** |
| CN117958763A (zh) * | 2024-03-29 | 2024-05-03 | 四川互慧软件有限公司 | 一种基于时间轴的患者360度指标检测方法 |
| CN117958763B (zh) * | 2024-03-29 | 2024-05-31 | 四川互慧软件有限公司 | 一种基于时间轴的患者360度指标检测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Houssein et al. | Human emotion recognition from EEG-based brain–computer interface using machine learning: a comprehensive review | |
| Bota et al. | A review, current challenges, and future possibilities on emotion recognition using machine learning and physiological signals | |
| Panicker et al. | A survey of machine learning techniques in physiology based mental stress detection systems | |
| Ahmed et al. | A systematic survey on multimodal emotion recognition using learning algorithms | |
| Kumar et al. | Hierarchical deep neural network for mental stress state detection using IoT based biomarkers | |
| CN111728609B (zh) | 脑电信号的分类方法、分类模型的训练方法、装置及介质 | |
| WO2017193497A1 (zh) | 基于融合模型的智能化健康管理服务器、***及其控制方法 | |
| Arya et al. | A survey of multidisciplinary domains contributing to affective computing | |
| KR20200005986A (ko) | 얼굴인식을 이용한 인지장애 진단 시스템 및 방법 | |
| CN117064388A (zh) | 基于情绪识别实现精神障碍评估分析的*** | |
| Dargazany et al. | WearableDL: Wearable Internet‐of‐Things and Deep Learning for Big Data Analytics—Concept, Literature, and Future | |
| Kumar et al. | MEmoR: A multimodal emotion recognition using affective biomarkers for smart prediction of emotional health for people analytics in smart industries | |
| Seo et al. | Deep learning approach for detecting work-related stress using multimodal signals | |
| Javed et al. | Artificial intelligence for cognitive health assessment: state-of-the-art, open challenges and future directions | |
| Garg et al. | A review of deep learning based methods for affect analysis using physiological signals | |
| Dar et al. | YAAD: young adult’s affective data using wearable ECG and GSR sensors | |
| Tobón Vallejo et al. | Emotional states detection approaches based on physiological signals for healthcare applications: a review | |
| Kumar et al. | Human activity recognition (har) using deep learning: Review, methodologies, progress and future research directions | |
| Samal et al. | Role of machine learning and deep learning techniques in EEG-based BCI emotion recognition system: a review | |
| Irshad et al. | Wearable-based human flow experience recognition enhanced by transfer learning methods using emotion data | |
| Jeyarani et al. | Eye tracking biomarkers for autism spectrum disorder detection using machine learning and deep learning techniques | |
| Bakkialakshmi et al. | Effective Prediction System for Affective Computing on Emotional Psychology with Artificial Neural Network | |
| Woodward | Tangible fidgeting interfaces for mental wellbeing recognition using deep learning applied to physiological sensor data | |
| Taheri | Multimodal Multisensor attention modelling | |
| Bakkialakshmi | Effective Prediction Syste Computing On Emotional Psyc Artificial Neural Netwo |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |