CN116665281A - 一种基于医患交互的关键情绪提取方法 - Google Patents
一种基于医患交互的关键情绪提取方法 Download PDFInfo
- Publication number
- CN116665281A CN116665281A CN202310773657.0A CN202310773657A CN116665281A CN 116665281 A CN116665281 A CN 116665281A CN 202310773657 A CN202310773657 A CN 202310773657A CN 116665281 A CN116665281 A CN 116665281A
- Authority
- CN
- China
- Prior art keywords
- emotion
- patient
- key
- detection model
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000008451 emotion Effects 0.000 title claims abstract description 158
- 230000003993 interaction Effects 0.000 title claims abstract description 35
- 238000000605 extraction Methods 0.000 title claims abstract description 21
- 238000001514 detection method Methods 0.000 claims abstract description 53
- 238000000034 method Methods 0.000 claims abstract description 24
- 230000001815 facial effect Effects 0.000 claims abstract description 18
- 230000008909 emotion recognition Effects 0.000 claims abstract description 13
- 238000012545 processing Methods 0.000 claims description 6
- 238000012937 correction Methods 0.000 claims description 3
- 238000007405 data analysis Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000011156 evaluation Methods 0.000 abstract description 9
- 230000006996 mental state Effects 0.000 abstract description 9
- 230000002996 emotional effect Effects 0.000 abstract description 3
- 238000003745 diagnosis Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 238000005070 sampling Methods 0.000 description 6
- 230000008921 facial expression Effects 0.000 description 5
- 230000003340 mental effect Effects 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 238000010195 expression analysis Methods 0.000 description 2
- 208000020016 psychiatric disease Diseases 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 206010013954 Dysphoria Diseases 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
本发明公开了一种基于医患交互的关键情绪提取方法,包括以下步骤:获取患者的面部图像数据,形成第一图像集;构建人脸检测模型,并通过所述人脸检测模型对第一图像集中的图像帧进行人脸检测与识别,形成第二图像集;构建情绪帧检测模型,并通过所述情绪帧检测模型对第二图像集进行患者情绪识别,形成第三图像集;构建情绪关键帧检测模型,并通过所述情绪关键帧检测模型对所述第三图像集进行患者情绪关键帧提取,以实现医患交互过程对患者实时情绪的识别及情绪关键帧提取。本发明解决了现有的医护人员通过线下评估获知患者情绪状态的方式不够便捷以及患者精神心理状况评估不够准确的技术问题。
Description
技术领域
本发明涉及智慧医疗服务技术领域,尤其涉及一种基于医患交互的关键情绪提取方法。
背景技术
在现代医疗中,精神心理疾病已经成为社会关注的焦点之一。随着人口老龄化及生活节奏加快,各种压力和情绪问题成为人们面临的日常挑战之一。精神心理状态评估是医疗领域中的一个重要问题,可用于辅助诊断抑郁症、焦躁症等精神疾病,而情绪识别是对患者精神心理状况评估的重要一环。
目前,研究者通过利用多种技术手段,如面部表情分析、语音情感识别和生理信号监测等,探索了基于医患交互模式下患者的情绪识别;例如,通过分析医患的面部表情,利用计算机视觉技术对医生和患者的情绪进行分类和识别;通过对患者的语音和生理信号进行监测,结合机器学习技术从中提取情感特征进而对患者的情绪进行识别和分类等。面部表情情绪识别是计算机视觉和人工智能领域的一个重要分支,旨在通过计算机视觉和模式识别技术来分析面部表情,从而判断人的情绪状态。但在实际应用中,大多仍采用线下医患交互的方式进行精神心理状态的评估,并且通过面部表情分析、语音情感识别或生理信号检测进行情绪识别准确率并不高,需要获取大量的数据。因此,亟待提出一种基于医患交互的关键情绪提取方法,解决现有的医护人员通过线下评估获知患者情绪状态的方式不够便捷以及患者精神心理状况评估不够准确的技术问题。
发明内容
本发明的主要目的是提供一种基于医患交互的关键情绪提取方法,旨在解决现有的医护人员通过线下评估获知患者情绪状态的方式不够便捷以及患者精神心理状况评估不够准确的技术问题。
为实现上述目的,本发明提供一种基于医患交互的关键情绪提取方法,其中,所述基于医患交互的关键情绪提取方法包括以下步骤:
S1、获取患者的面部图像数据,形成第一图像集;
S2、构建人脸检测模型,并通过所述人脸检测模型对第一图像集中的图像帧进行人脸检测与识别,形成第二图像集;
S3、构建情绪帧检测模型,并通过所述情绪帧检测模型对第二图像集进行患者情绪识别,形成第三图像集;
S4、构建情绪关键帧检测模型,并通过所述情绪关键帧检测模型对所述第三图像集进行患者情绪关键帧提取,以实现医患交互过程对患者实时情绪的识别及情绪关键帧提取。
优选方案之一,所述步骤S1获取患者的面部图像数据,形成第一图像集,具体为:
通过图像采集设备获取患者的面部图像数据,对所述面部图像数据进行数据解析,得到若干图像帧,并对若干图像帧进行归一化处理,形成第一图像集。
优选方案之一,所述人脸检测模型采用RetinaFace网络模型架构。
优选方案之一,所述人脸检测模型包括线性整流函数,所述线性整流函数用于对第一图像集中的若干图像帧进行像素修正处理。
优选方案之一,所述人脸检测模型包括PFLD人脸关键点识别算法。
优选方案之一,所述情绪帧检测模型包括ResNet网络,所述ResNet网络用于对所述第二图像集进行患者情绪分类识别,从而得到情绪预测结果。
优选方案之一,所述情绪预测结果包括自然情绪、开心情绪、悲伤情绪、生气情绪、害怕情绪、吃惊情绪和冷淡情绪。
优选方案之一,所述步骤S4通过所述情绪关键帧检测模型对所述第三图像集进行患者情绪关键帧提取,具体为:
将每一图像帧的情绪预测结果及时间标签存储至情绪链表;
判断当前时刻与上一时刻图像帧的情绪预测结果是否一致,若不一致,则将当前图像帧设定为情绪关键帧,并更新情绪链表,若一致,则执行下一步;
统计情绪链表中各图像帧的情绪预测结果的频率值,若当前图像帧的情绪预测结果在连续时间内的频率值位于情绪频率阈值区间,则将当前图像帧设定为情绪关键帧,并更新情绪链表,反之,则设定为普通帧。
优选方案之一,所述情绪频率阈值区域为(7,10)。
优选方案之一,所述步骤S4完成患者实时情绪的识别及情绪关键帧提取之后,还包括:
采用加密算法对患者的情绪预测结果及时间标签进行加密,并将生成的哈希值上传至区块链网络中进行存储。
本发明的上述技术方案中,该基于医患交互的关键情绪提取方法包括以下步骤:获取患者的面部图像数据,形成第一图像集;构建人脸检测模型,并通过所述人脸检测模型对第一图像集中的图像帧进行人脸检测与识别,形成第二图像集;构建情绪帧检测模型,并通过所述情绪帧检测模型对第二图像集进行患者情绪识别,形成第三图像集;构建情绪关键帧检测模型,并通过所述情绪关键帧检测模型对所述第三图像集进行患者情绪关键帧提取,以实现医患交互过程对患者实时情绪的识别及情绪关键帧提取。本发明解决了解决现有的医护人员通过线下评估获知患者情绪状态的方式不够便捷以及患者精神心理状况评估不够准确的技术问题。
在本发明中,采用ResNet网络进行患者情绪的识别,并将识别的情绪预测结果提取情绪关键帧,并基于所述情绪关键帧及对应的时间标签对患者的精神心理状况进行评估,从而提高精神心理状况评估的准确性和实时性。
在本发明中,完成医患交互过程中对患者实时情绪及关键帧的识别后,对患者情绪预测结果及时间标签进行加密,并将加密后的哈希值上传至区块链网络,采用区块链网络对患者情绪预测结果及时间标签等进行上链操作,以保护患者的隐私。
附图说明
为了更清楚地说明本发明实施方式或现有技术中的技术方案,下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图示出的结构获得其他的附图。
图1为本发明实施例为一种基于医患交互的关键情绪提取方法的示意图;
图2为本发明实施例为人脸检测模型的结构示意图;
图3为本发明实施例为患者情绪帧识别的示意图;
图4为本发明实施例为情绪关键帧识别的示意图;
图5为本发明实施例为人脸检测与识别的结果示意图;
图6为本发明实施例为患者情绪识别的结果示意图;
图7为本发明实施例情绪关键帧识别的结果示意图。
本发明目的的实现、功能特点及优点将结合实施方式,参照附图做进一步说明。
具体实施方式
下面将结合本发明实施方式中的附图,对本发明实施方式中的技术方案进行清楚、完整地描述,显然,所描述的实施方式仅仅是本发明的一部分实施方式,而不是全部的实施方式。基于本发明中的实施方式,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式,都属于本发明保护的范围。
另外,在本发明中如涉及“第一”、“第二”等的描述仅用于描述目的,而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。
并且,本发明各个实施方式之间的技术方案可以相互结合,但是必须是以本领域普通技术人员能够实现为基础,当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在,也不在本发明要求的保护范围之内。
参见图1,根据本发明的一方面,本发明提供一种基于医患交互的关键情绪提取方法,其中,所述基于医患交互的关键情绪提取方法包括以下步骤:
S1、获取患者的面部图像数据,形成第一图像集;
S2、构建人脸检测模型,并通过所述人脸检测模型对第一图像集中的图像帧进行人脸检测与识别,形成第二图像集;
S3、构建情绪帧检测模型,并通过所述情绪帧检测模型对第二图像集进行患者情绪识别,形成第三图像集;
S4、构建情绪关键帧检测模型,并通过所述情绪关键帧检测模型对所述第三图像集进行患者情绪关键帧提取,以实现医患交互过程对患者实时情绪的识别及情绪关键帧提取。
具体地,在本实施例中,元诊室是一种新型的医疗场景,利用高科技设备和信息技术手段生成虚拟的医患交互诊疗环境,将医疗资源集中在一个房间内,提供一站式医疗服务的医疗场景。元诊室包括医生工作站、患者床位、诊疗设备和信息技术设备等多种功能区域,医生可在工作站上查看患者的病历资料、监测患者的生理信息、进行诊断和治疗等工作;患者可在床位上接受诊疗、监测生理信息等;诊疗设备包括各种医疗设备,如心电图机、血压计、体温计等;信息技术设备包括视频监控设备、远程医疗设备、智能诊疗设备等,能够实现医生和患者之间的远程医疗、信息共享等功能。元诊室可提供更加人性化的医疗服务,使患者与医生之间的交互更加紧密,并且可提高医疗效率,降低医疗成本,改善医疗体验,同时为医疗技术的发展提供了新的思路。本发明在元诊室场景下进行医患交互,获取患者的面部图像数据,从而实时提取患者的情绪关键帧,提高精神心理状况评估的准确性和效率,为医生提供更佳准确的诊断依据。
具体地,在本实施例中,所述步骤S1获取患者的面部图像数据之前,还包括:引导患者开启采集设备,并启动AI数字人医生,通过AI数字人医生根据精神心理评估量表对患者进行提问,以及情绪感知、游戏互动等交互,通过采集设备记录患者当前影像信息,也即患者的面部图像数据,并将所述影像信息实时上传至服务器,若AI数字人医生根据心理评估量表提问结束,则可关闭采集设备,结束医患交互,并让患者确认结束,若患者未进行确认,则采集设备超过时间阈值未捕捉到任何人脸数据,则自行关闭,所述时间阈值为10分钟,本发明不进行具体限定,具体可根据需要进行设定;若未完成,则继续根据心理评估量表进行提问;在本发明中,所述采集设备为摄像设备,本发明不进行具体限定,具体可根据需要进行设定。
具体地,在本实施例中,所述步骤S1获取患者的面部图像数据,形成第一图像集,具体为:通过图像采集设备获取患者的面部图像数据,对所述面部图像数据进行数据解析,得到若干图像帧,并对若干图像帧进行归一化处理,形成第一图像集。
具体地,在本实施例中,参见图2、图5,所述人脸检测模型采用RetinaFace网络模型架构;其中,所述RetinaFace网络模型架构采用金字塔结构;所述人脸检测模型包括线性整流函数,所述线性整流函数用于对第一图像集中的若干图像帧进行像素修正处理,并将所述第一图像集中的特征图中所有负值替换成0,也即将所述第一图像集中的若干图像帧中的所有负值替换成0,通过自底向上的卷积操作形成特征图Conv1_x、Conv2_x、Conv3_x、Conv4_x、Conv5_x;对特征层Conv5_x采用步长为1的1×1卷积操作,形成特征层M5,对特征层M5进行上采样操作,与对特征层Conv4_x采用步长为1的1×1卷积操作后的特征层进行融合,对融合的特征层在进行一次上采样操作后形成特征层M4;对特征层M4进行一次上采样操作后,与对特征层Conv3_x采用步长为1的1×1卷积操作后的特征层进行融合,对融合后的特征层再进行一次上采样操作后形成特征层M3;对特征层M3进行一次上采样操作后,与对特征层Conv2_x采用步长为1的1╳1卷积操作后的特征层进行融合,对融合的特征层再进行一次上采样操作后形成特征层M2;在对M2、M3、M4、M5、Conv5_x特征层分别采用步长为2的3╳3卷积操作,形成有效特征层P2、P3、P4、P5、P6,最后分别在有效特征层P2、P3、P4、P5、P6上进行分类、回归以及人脸关键点的预测,其中,分类任务输出人脸像素的分类类别(cls);回归任务输出图像中人脸的位置(box),包含四个顶点坐标;并采用PFLD人脸关键点识别算法进行人脸关键点的预测,输出若干数值,在本发明中,采用PFLD人脸关键点识别算法进行人脸关键点的预测(landmark),输出十个数值,分别位眼睛、鼻尖、嘴角的坐标,本发明不进行具体限定,具体可根据需要进行设定。
具体地,在本实施例中,参见图3、图6,所述情绪帧检测模型包括ResNet网络,所述ResNet网络用于对所述第二图像集进行患者情绪分类识别,从而得到情绪预测结果;所述ResNet网络已通过预先完成情绪识别的数据集进行迭代训练,从而具有情绪分类识别的功能,本发明不进行具体限定,具体采用常规技术手段进行迭代训练即可;将通过人脸检测模型识别的第二图像集中的人脸图像输入已完成预训练的ResNet网络,从而得到患者每一时刻的情绪预测结果,形成第三图像集。
具体地,在本实施例中,所述情绪预测结果包括自然情绪、开心情绪、悲伤情绪、生气情绪、害怕情绪、吃惊情绪和冷淡情绪等,本发明不进行具体限定,具体可根据需要进行设定。
具体地,在本实施例中,参见图4、图7,所述步骤S4通过所述情绪关键帧检测模型对所述第三图像集进行患者情绪关键帧提取,具体为:将每一图像帧的情绪预测结果及时间标签存储至情绪链表;判断当前时刻与上一时刻图像帧的情绪预测结果是否一致,若不一致,则将当前图像帧设定为情绪关键帧,并更新情绪链表,若一致,则执行下一步;统计情绪链表中各图像帧的情绪预测结果的频率值,若当前图像帧的情绪预测结果在连续时间内的频率值位于情绪频率阈值区间,则将当前图像帧设定为情绪关键帧,并更新情绪链表,反之,则设定为普通帧。
具体地,在本实施例中,所述情绪频率阈值区域为(7,10);本发明不进行具体限定,具体可根据需要进行设定。
具体地,在本实施例中,所述步骤S3完成医患交互过程对患者实时情绪及关键帧的识别之后,还包括:采用加密算法对患者的情绪预测结果和时间标签,以及患者身份信息、诊疗ID等进行加密,并将生成的哈希值上传至区块链网络中进行存储,以更好的保护患者隐私;其中,在本发明中,所述加密算法为国密加密算法,本发明不进行具体限定,具体可根据需要进行设定。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是在本发明的发明构思下,利用本发明说明书及附图内容所作的等效结构变换,或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围。
Claims (10)
1.一种基于医患交互的关键情绪提取方法,其特征在于,包括以下步骤:
S1、获取患者的面部图像数据,形成第一图像集;
S2、构建人脸检测模型,并通过所述人脸检测模型对第一图像集中的图像帧进行人脸检测与识别,形成第二图像集;
S3、构建情绪帧检测模型,并通过所述情绪帧检测模型对第二图像集进行患者情绪识别,形成第三图像集;
S4、构建情绪关键帧检测模型,并通过所述情绪关键帧检测模型对所述第三图像集进行患者情绪关键帧提取,以实现医患交互过程对患者实时情绪的识别及情绪关键帧提取。
2.根据权利要求1所述的一种基于医患交互的关键情绪提取方法,其特征在于,所述步骤S1获取患者的面部图像数据,形成第一图像集,具体为:
通过图像采集设备获取患者的面部图像数据,对所述面部图像数据进行数据解析,得到若干图像帧,并对若干图像帧进行归一化处理,形成第一图像集。
3.根据权利要求1-2任一项所述的一种基于医患交互的关键情绪提取方法,其特征在于,所述人脸检测模型采用RetinaFace网络模型架构。
4.根据权利要求1-2任一项所述的一种基于医患交互的关键情绪提取方法,其特征在于,所述人脸检测模型包括线性整流函数,所述线性整流函数用于对第一图像集中的若干图像帧进行像素修正处理。
5.根据权利要求1-2任一项所述的一种基于医患交互的关键情绪提取方法,其特征在于,所述人脸检测模型包括PFLD人脸关键点识别算法。
6.根据权利要求1-2任一项所述的一种基于医患交互的关键情绪提取方法,其特征在于,所述情绪帧检测模型包括ResNet网络,所述ResNet网络用于对所述第二图像集进行患者情绪分类识别,从而得到情绪预测结果。
7.根据权利要求6所述的一种基于医患交互的关键情绪提取方法,其特征在于,所述情绪预测结果包括自然情绪、开心情绪、悲伤情绪、生气情绪、害怕情绪、吃惊情绪和冷淡情绪。
8.根据权利要求6所述的一种基于医患交互的关键情绪提取方法,其特征在于,所述步骤S4通过所述情绪关键帧检测模型对所述第三图像集进行患者情绪关键帧提取,具体为:
将每一图像帧的情绪预测结果及时间标签存储至情绪链表;
判断当前时刻与上一时刻图像帧的情绪预测结果是否一致,若不一致,则将当前图像帧设定为情绪关键帧,并更新情绪链表,若一致,则执行下一步;
统计情绪链表中各图像帧的情绪预测结果的频率值,若当前图像帧的情绪预测结果在连续时间内的频率值位于情绪频率阈值区间,则将当前图像帧设定为情绪关键帧,并更新情绪链表,反之,则设定为普通帧。
9.根据权利要求8所述的一种基于医患交互的关键情绪提取方法,其特征在于,所述情绪频率阈值区域为(7,10)。
10.根据权利要求9所述的一种基于医患交互的关键情绪提取方法,其特征在于,所述步骤S4完成患者实时情绪的识别及情绪关键帧提取之后,还包括:
采用加密算法对患者的情绪预测结果及时间标签进行加密,并将生成的哈希值上传至区块链网络中进行存储。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310773657.0A CN116665281B (zh) | 2023-06-28 | 2023-06-28 | 一种基于医患交互的关键情绪提取方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310773657.0A CN116665281B (zh) | 2023-06-28 | 2023-06-28 | 一种基于医患交互的关键情绪提取方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116665281A true CN116665281A (zh) | 2023-08-29 |
CN116665281B CN116665281B (zh) | 2024-05-10 |
Family
ID=87727956
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310773657.0A Active CN116665281B (zh) | 2023-06-28 | 2023-06-28 | 一种基于医患交互的关键情绪提取方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116665281B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117671774A (zh) * | 2024-01-11 | 2024-03-08 | 好心情健康产业集团有限公司 | 一种人脸情绪智能识别分析设备 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107169426A (zh) * | 2017-04-27 | 2017-09-15 | 广东工业大学 | 一种基于深度神经网络的人群情绪异常检测和定位方法 |
CN109190487A (zh) * | 2018-08-07 | 2019-01-11 | 平安科技(深圳)有限公司 | 人脸情绪识别方法、装置、计算机设备及存储介质 |
CN110287895A (zh) * | 2019-04-17 | 2019-09-27 | 北京阳光易德科技股份有限公司 | 一种基于卷积神经网络进行情绪测量的方法 |
CN110781810A (zh) * | 2019-10-24 | 2020-02-11 | 合肥盛东信息科技有限公司 | 一种人脸情绪识别方法 |
CN110807394A (zh) * | 2019-10-23 | 2020-02-18 | 上海能塔智能科技有限公司 | 情绪识别方法、试驾体验评估方法、装置、设备与介质 |
CN112163459A (zh) * | 2020-09-04 | 2021-01-01 | 三峡大学 | 采用3d卷积的特征融合网络的人脸异常情绪识别方法 |
CN114943997A (zh) * | 2022-05-18 | 2022-08-26 | 上海大学 | 基于注意力和神经网络的脑卒中患者表情分类算法及*** |
CN116343314A (zh) * | 2023-05-30 | 2023-06-27 | 之江实验室 | 一种表情识别方法、装置、存储介质及电子设备 |
-
2023
- 2023-06-28 CN CN202310773657.0A patent/CN116665281B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107169426A (zh) * | 2017-04-27 | 2017-09-15 | 广东工业大学 | 一种基于深度神经网络的人群情绪异常检测和定位方法 |
CN109190487A (zh) * | 2018-08-07 | 2019-01-11 | 平安科技(深圳)有限公司 | 人脸情绪识别方法、装置、计算机设备及存储介质 |
WO2020029406A1 (zh) * | 2018-08-07 | 2020-02-13 | 平安科技(深圳)有限公司 | 人脸情绪识别方法、装置、计算机设备及存储介质 |
CN110287895A (zh) * | 2019-04-17 | 2019-09-27 | 北京阳光易德科技股份有限公司 | 一种基于卷积神经网络进行情绪测量的方法 |
CN110807394A (zh) * | 2019-10-23 | 2020-02-18 | 上海能塔智能科技有限公司 | 情绪识别方法、试驾体验评估方法、装置、设备与介质 |
CN110781810A (zh) * | 2019-10-24 | 2020-02-11 | 合肥盛东信息科技有限公司 | 一种人脸情绪识别方法 |
CN112163459A (zh) * | 2020-09-04 | 2021-01-01 | 三峡大学 | 采用3d卷积的特征融合网络的人脸异常情绪识别方法 |
CN114943997A (zh) * | 2022-05-18 | 2022-08-26 | 上海大学 | 基于注意力和神经网络的脑卒中患者表情分类算法及*** |
CN116343314A (zh) * | 2023-05-30 | 2023-06-27 | 之江实验室 | 一种表情识别方法、装置、存储介质及电子设备 |
Non-Patent Citations (2)
Title |
---|
SAMAN SARRAF: "Machine learning applications to recognize autism and Alzheimer\'s disease", NEUROLOGICAL DISORDERS AND IMAGING PHYSICS, vol. 3, 31 December 2019 (2019-12-31), pages 1 - 23 * |
许宏: "基于图像差分的关键帧检测技术", 计算机工程与设计, no. 12, 28 June 2010 (2010-06-28), pages 177 - 180 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117671774A (zh) * | 2024-01-11 | 2024-03-08 | 好心情健康产业集团有限公司 | 一种人脸情绪智能识别分析设备 |
CN117671774B (zh) * | 2024-01-11 | 2024-04-26 | 好心情健康产业集团有限公司 | 一种人脸情绪智能识别分析设备 |
Also Published As
Publication number | Publication date |
---|---|
CN116665281B (zh) | 2024-05-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112120716A (zh) | 一种可穿戴式多模态情绪状态监测装置 | |
JP4401079B2 (ja) | 被験者の行動解析 | |
US11699529B2 (en) | Systems and methods for diagnosing a stroke condition | |
CN111326253A (zh) | 自闭症谱系障碍患者的多模态情感认知能力的评估方法 | |
CN116665281B (zh) | 一种基于医患交互的关键情绪提取方法 | |
CN109460749A (zh) | 患者监护方法、装置、计算机设备和存储介质 | |
Wang et al. | A novel facial thermal feature extraction method for non-contact healthcare system | |
CN111920420A (zh) | 一种基于统计学习的患者行为多模态分析与预测*** | |
Li et al. | An EEG-based multi-modal emotion database with both posed and authentic facial actions for emotion analysis | |
CN108882853A (zh) | 使用视觉情境来及时触发测量生理参数 | |
CN111222464B (zh) | 情感分析方法以及*** | |
CN115299947A (zh) | 基于多模态生理数据的心理量表置信度评估方法及*** | |
CN211862821U (zh) | 一种基于深度学习的孤独症辅助评估*** | |
CN117542474A (zh) | 基于大数据的远程护理监测***及方法 | |
CN113822164A (zh) | 动态情绪识别方法、装置、计算机设备和存储介质 | |
CN112220455A (zh) | 基于视频脑电信号的情绪识别方法、装置及计算机设备 | |
CN117224080B (zh) | 大数据的人体数据监测方法装置 | |
CN113033387A (zh) | 一种自动识别老年人慢性疼痛程度的智能评估方法及*** | |
CN112741620A (zh) | 基于肢体动作的颈椎病评估装置 | |
CN117409454A (zh) | 一种基于面部肌肉运动监测的情绪动态识别方法和装置 | |
CN113326729A (zh) | 多模态的课堂专注度检测方法和装置 | |
CN117809354B (zh) | 基于头部可穿戴设备感知的情感识别方法、介质及设备 | |
CN116509419B (zh) | 一种脑电信息处理方法和*** | |
CN113887311B (zh) | 一种保护眼科患者隐私的方法、装置及存储介质 | |
Chen et al. | Emotion-reading Nursing Care Environment Based on Facial Expression Recognition |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |