CN116665281A - 一种基于医患交互的关键情绪提取方法 - Google Patents

Abstract

本发明公开了一种基于医患交互的关键情绪提取方法，包括以下步骤：获取患者的面部图像数据，形成第一图像集；构建人脸检测模型，并通过所述人脸检测模型对第一图像集中的图像帧进行人脸检测与识别，形成第二图像集；构建情绪帧检测模型，并通过所述情绪帧检测模型对第二图像集进行患者情绪识别，形成第三图像集；构建情绪关键帧检测模型，并通过所述情绪关键帧检测模型对所述第三图像集进行患者情绪关键帧提取，以实现医患交互过程对患者实时情绪的识别及情绪关键帧提取。本发明解决了现有的医护人员通过线下评估获知患者情绪状态的方式不够便捷以及患者精神心理状况评估不够准确的技术问题。

Description

一种基于医患交互的关键情绪提取方法

技术领域

本发明涉及智慧医疗服务技术领域，尤其涉及一种基于医患交互的关键情绪提取方法。

背景技术

在现代医疗中，精神心理疾病已经成为社会关注的焦点之一。随着人口老龄化及生活节奏加快，各种压力和情绪问题成为人们面临的日常挑战之一。精神心理状态评估是医疗领域中的一个重要问题，可用于辅助诊断抑郁症、焦躁症等精神疾病，而情绪识别是对患者精神心理状况评估的重要一环。

目前，研究者通过利用多种技术手段，如面部表情分析、语音情感识别和生理信号监测等，探索了基于医患交互模式下患者的情绪识别；例如，通过分析医患的面部表情，利用计算机视觉技术对医生和患者的情绪进行分类和识别；通过对患者的语音和生理信号进行监测，结合机器学习技术从中提取情感特征进而对患者的情绪进行识别和分类等。面部表情情绪识别是计算机视觉和人工智能领域的一个重要分支，旨在通过计算机视觉和模式识别技术来分析面部表情，从而判断人的情绪状态。但在实际应用中，大多仍采用线下医患交互的方式进行精神心理状态的评估，并且通过面部表情分析、语音情感识别或生理信号检测进行情绪识别准确率并不高，需要获取大量的数据。因此，亟待提出一种基于医患交互的关键情绪提取方法，解决现有的医护人员通过线下评估获知患者情绪状态的方式不够便捷以及患者精神心理状况评估不够准确的技术问题。

发明内容

本发明的主要目的是提供一种基于医患交互的关键情绪提取方法，旨在解决现有的医护人员通过线下评估获知患者情绪状态的方式不够便捷以及患者精神心理状况评估不够准确的技术问题。

为实现上述目的，本发明提供一种基于医患交互的关键情绪提取方法，其中，所述基于医患交互的关键情绪提取方法包括以下步骤：

S1、获取患者的面部图像数据，形成第一图像集；

S2、构建人脸检测模型，并通过所述人脸检测模型对第一图像集中的图像帧进行人脸检测与识别，形成第二图像集；

S3、构建情绪帧检测模型，并通过所述情绪帧检测模型对第二图像集进行患者情绪识别，形成第三图像集；

S4、构建情绪关键帧检测模型，并通过所述情绪关键帧检测模型对所述第三图像集进行患者情绪关键帧提取，以实现医患交互过程对患者实时情绪的识别及情绪关键帧提取。

优选方案之一，所述步骤S1获取患者的面部图像数据，形成第一图像集，具体为：

通过图像采集设备获取患者的面部图像数据，对所述面部图像数据进行数据解析，得到若干图像帧，并对若干图像帧进行归一化处理，形成第一图像集。

优选方案之一，所述人脸检测模型采用RetinaFace网络模型架构。

优选方案之一，所述人脸检测模型包括线性整流函数，所述线性整流函数用于对第一图像集中的若干图像帧进行像素修正处理。

优选方案之一，所述人脸检测模型包括PFLD人脸关键点识别算法。

优选方案之一，所述情绪帧检测模型包括ResNet网络，所述ResNet网络用于对所述第二图像集进行患者情绪分类识别，从而得到情绪预测结果。

优选方案之一，所述情绪预测结果包括自然情绪、开心情绪、悲伤情绪、生气情绪、害怕情绪、吃惊情绪和冷淡情绪。

优选方案之一，所述步骤S4通过所述情绪关键帧检测模型对所述第三图像集进行患者情绪关键帧提取，具体为：

将每一图像帧的情绪预测结果及时间标签存储至情绪链表；

判断当前时刻与上一时刻图像帧的情绪预测结果是否一致，若不一致，则将当前图像帧设定为情绪关键帧，并更新情绪链表，若一致，则执行下一步；

统计情绪链表中各图像帧的情绪预测结果的频率值，若当前图像帧的情绪预测结果在连续时间内的频率值位于情绪频率阈值区间，则将当前图像帧设定为情绪关键帧，并更新情绪链表，反之，则设定为普通帧。

优选方案之一，所述情绪频率阈值区域为（7,10）。

优选方案之一，所述步骤S4完成患者实时情绪的识别及情绪关键帧提取之后，还包括：

采用加密算法对患者的情绪预测结果及时间标签进行加密，并将生成的哈希值上传至区块链网络中进行存储。

本发明的上述技术方案中，该基于医患交互的关键情绪提取方法包括以下步骤：获取患者的面部图像数据，形成第一图像集；构建人脸检测模型，并通过所述人脸检测模型对第一图像集中的图像帧进行人脸检测与识别，形成第二图像集；构建情绪帧检测模型，并通过所述情绪帧检测模型对第二图像集进行患者情绪识别，形成第三图像集；构建情绪关键帧检测模型，并通过所述情绪关键帧检测模型对所述第三图像集进行患者情绪关键帧提取，以实现医患交互过程对患者实时情绪的识别及情绪关键帧提取。本发明解决了解决现有的医护人员通过线下评估获知患者情绪状态的方式不够便捷以及患者精神心理状况评估不够准确的技术问题。

在本发明中，采用ResNet网络进行患者情绪的识别，并将识别的情绪预测结果提取情绪关键帧，并基于所述情绪关键帧及对应的时间标签对患者的精神心理状况进行评估，从而提高精神心理状况评估的准确性和实时性。

在本发明中，完成医患交互过程中对患者实时情绪及关键帧的识别后，对患者情绪预测结果及时间标签进行加密，并将加密后的哈希值上传至区块链网络，采用区块链网络对患者情绪预测结果及时间标签等进行上链操作，以保护患者的隐私。

附图说明

为了更清楚地说明本发明实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。

图1为本发明实施例为一种基于医患交互的关键情绪提取方法的示意图；

图2为本发明实施例为人脸检测模型的结构示意图；

图3为本发明实施例为患者情绪帧识别的示意图；

图4为本发明实施例为情绪关键帧识别的示意图；

图5为本发明实施例为人脸检测与识别的结果示意图；

图6为本发明实施例为患者情绪识别的结果示意图；

图7为本发明实施例情绪关键帧识别的结果示意图。

本发明目的的实现、功能特点及优点将结合实施方式，参照附图做进一步说明。

具体实施方式

下面将结合本发明实施方式中的附图，对本发明实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式仅仅是本发明的一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。

另外，在本发明中如涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。

并且，本发明各个实施方式之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。

参见图1，根据本发明的一方面，本发明提供一种基于医患交互的关键情绪提取方法，其中，所述基于医患交互的关键情绪提取方法包括以下步骤：

S1、获取患者的面部图像数据，形成第一图像集；

S2、构建人脸检测模型，并通过所述人脸检测模型对第一图像集中的图像帧进行人脸检测与识别，形成第二图像集；

S3、构建情绪帧检测模型，并通过所述情绪帧检测模型对第二图像集进行患者情绪识别，形成第三图像集；

S4、构建情绪关键帧检测模型，并通过所述情绪关键帧检测模型对所述第三图像集进行患者情绪关键帧提取，以实现医患交互过程对患者实时情绪的识别及情绪关键帧提取。

具体地，在本实施例中，元诊室是一种新型的医疗场景，利用高科技设备和信息技术手段生成虚拟的医患交互诊疗环境，将医疗资源集中在一个房间内，提供一站式医疗服务的医疗场景。元诊室包括医生工作站、患者床位、诊疗设备和信息技术设备等多种功能区域，医生可在工作站上查看患者的病历资料、监测患者的生理信息、进行诊断和治疗等工作；患者可在床位上接受诊疗、监测生理信息等；诊疗设备包括各种医疗设备，如心电图机、血压计、体温计等；信息技术设备包括视频监控设备、远程医疗设备、智能诊疗设备等，能够实现医生和患者之间的远程医疗、信息共享等功能。元诊室可提供更加人性化的医疗服务，使患者与医生之间的交互更加紧密，并且可提高医疗效率，降低医疗成本，改善医疗体验，同时为医疗技术的发展提供了新的思路。本发明在元诊室场景下进行医患交互，获取患者的面部图像数据，从而实时提取患者的情绪关键帧，提高精神心理状况评估的准确性和效率，为医生提供更佳准确的诊断依据。

具体地，在本实施例中，所述步骤S1获取患者的面部图像数据之前，还包括：引导患者开启采集设备，并启动AI数字人医生，通过AI数字人医生根据精神心理评估量表对患者进行提问，以及情绪感知、游戏互动等交互，通过采集设备记录患者当前影像信息，也即患者的面部图像数据，并将所述影像信息实时上传至服务器，若AI数字人医生根据心理评估量表提问结束，则可关闭采集设备，结束医患交互，并让患者确认结束，若患者未进行确认，则采集设备超过时间阈值未捕捉到任何人脸数据，则自行关闭，所述时间阈值为10分钟，本发明不进行具体限定，具体可根据需要进行设定；若未完成，则继续根据心理评估量表进行提问；在本发明中，所述采集设备为摄像设备，本发明不进行具体限定，具体可根据需要进行设定。

具体地，在本实施例中，所述步骤S1获取患者的面部图像数据，形成第一图像集，具体为：通过图像采集设备获取患者的面部图像数据，对所述面部图像数据进行数据解析，得到若干图像帧，并对若干图像帧进行归一化处理，形成第一图像集。

具体地，在本实施例中，参见图2、图5，所述人脸检测模型采用RetinaFace网络模型架构；其中，所述RetinaFace网络模型架构采用金字塔结构；所述人脸检测模型包括线性整流函数，所述线性整流函数用于对第一图像集中的若干图像帧进行像素修正处理，并将所述第一图像集中的特征图中所有负值替换成0，也即将所述第一图像集中的若干图像帧中的所有负值替换成0，通过自底向上的卷积操作形成特征图Conv1_x、Conv2_x、Conv3_x、Conv4_x、Conv5_x；对特征层Conv5_x采用步长为1的1×1卷积操作，形成特征层M5，对特征层M5进行上采样操作，与对特征层Conv4_x采用步长为1的1×1卷积操作后的特征层进行融合，对融合的特征层在进行一次上采样操作后形成特征层M4；对特征层M4进行一次上采样操作后，与对特征层Conv3_x采用步长为1的1×1卷积操作后的特征层进行融合，对融合后的特征层再进行一次上采样操作后形成特征层M3；对特征层M3进行一次上采样操作后，与对特征层Conv2_x采用步长为1的1╳1卷积操作后的特征层进行融合，对融合的特征层再进行一次上采样操作后形成特征层M2；在对M2、M3、M4、M5、Conv5_x特征层分别采用步长为2的3╳3卷积操作，形成有效特征层P2、P3、P4、P5、P6，最后分别在有效特征层P2、P3、P4、P5、P6上进行分类、回归以及人脸关键点的预测，其中，分类任务输出人脸像素的分类类别（cls）；回归任务输出图像中人脸的位置（box），包含四个顶点坐标；并采用PFLD人脸关键点识别算法进行人脸关键点的预测，输出若干数值，在本发明中，采用PFLD人脸关键点识别算法进行人脸关键点的预测（landmark），输出十个数值，分别位眼睛、鼻尖、嘴角的坐标，本发明不进行具体限定，具体可根据需要进行设定。

具体地，在本实施例中，参见图3、图6，所述情绪帧检测模型包括ResNet网络，所述ResNet网络用于对所述第二图像集进行患者情绪分类识别，从而得到情绪预测结果；所述ResNet网络已通过预先完成情绪识别的数据集进行迭代训练，从而具有情绪分类识别的功能，本发明不进行具体限定，具体采用常规技术手段进行迭代训练即可；将通过人脸检测模型识别的第二图像集中的人脸图像输入已完成预训练的ResNet网络，从而得到患者每一时刻的情绪预测结果，形成第三图像集。

具体地，在本实施例中，所述情绪预测结果包括自然情绪、开心情绪、悲伤情绪、生气情绪、害怕情绪、吃惊情绪和冷淡情绪等，本发明不进行具体限定，具体可根据需要进行设定。

具体地，在本实施例中，参见图4、图7，所述步骤S4通过所述情绪关键帧检测模型对所述第三图像集进行患者情绪关键帧提取，具体为：将每一图像帧的情绪预测结果及时间标签存储至情绪链表；判断当前时刻与上一时刻图像帧的情绪预测结果是否一致，若不一致，则将当前图像帧设定为情绪关键帧，并更新情绪链表，若一致，则执行下一步；统计情绪链表中各图像帧的情绪预测结果的频率值，若当前图像帧的情绪预测结果在连续时间内的频率值位于情绪频率阈值区间，则将当前图像帧设定为情绪关键帧，并更新情绪链表，反之，则设定为普通帧。

具体地，在本实施例中，所述情绪频率阈值区域为（7,10）；本发明不进行具体限定，具体可根据需要进行设定。

具体地，在本实施例中，所述步骤S3完成医患交互过程对患者实时情绪及关键帧的识别之后，还包括：采用加密算法对患者的情绪预测结果和时间标签，以及患者身份信息、诊疗ID等进行加密，并将生成的哈希值上传至区块链网络中进行存储，以更好的保护患者隐私；其中，在本发明中，所述加密算法为国密加密算法，本发明不进行具体限定，具体可根据需要进行设定。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是在本发明的发明构思下，利用本发明说明书及附图内容所作的等效结构变换，或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围。

Claims (10)

1.一种基于医患交互的关键情绪提取方法，其特征在于，包括以下步骤：

S1、获取患者的面部图像数据，形成第一图像集；

S2、构建人脸检测模型，并通过所述人脸检测模型对第一图像集中的图像帧进行人脸检测与识别，形成第二图像集；

S3、构建情绪帧检测模型，并通过所述情绪帧检测模型对第二图像集进行患者情绪识别，形成第三图像集；

S4、构建情绪关键帧检测模型，并通过所述情绪关键帧检测模型对所述第三图像集进行患者情绪关键帧提取，以实现医患交互过程对患者实时情绪的识别及情绪关键帧提取。

2.根据权利要求1所述的一种基于医患交互的关键情绪提取方法，其特征在于，所述步骤S1获取患者的面部图像数据，形成第一图像集，具体为：

通过图像采集设备获取患者的面部图像数据，对所述面部图像数据进行数据解析，得到若干图像帧，并对若干图像帧进行归一化处理，形成第一图像集。

3.根据权利要求1-2任一项所述的一种基于医患交互的关键情绪提取方法，其特征在于，所述人脸检测模型采用RetinaFace网络模型架构。

4.根据权利要求1-2任一项所述的一种基于医患交互的关键情绪提取方法，其特征在于，所述人脸检测模型包括线性整流函数，所述线性整流函数用于对第一图像集中的若干图像帧进行像素修正处理。

5.根据权利要求1-2任一项所述的一种基于医患交互的关键情绪提取方法，其特征在于，所述人脸检测模型包括PFLD人脸关键点识别算法。

6.根据权利要求1-2任一项所述的一种基于医患交互的关键情绪提取方法，其特征在于，所述情绪帧检测模型包括ResNet网络，所述ResNet网络用于对所述第二图像集进行患者情绪分类识别，从而得到情绪预测结果。

7.根据权利要求6所述的一种基于医患交互的关键情绪提取方法，其特征在于，所述情绪预测结果包括自然情绪、开心情绪、悲伤情绪、生气情绪、害怕情绪、吃惊情绪和冷淡情绪。

8.根据权利要求6所述的一种基于医患交互的关键情绪提取方法，其特征在于，所述步骤S4通过所述情绪关键帧检测模型对所述第三图像集进行患者情绪关键帧提取，具体为：

将每一图像帧的情绪预测结果及时间标签存储至情绪链表；

判断当前时刻与上一时刻图像帧的情绪预测结果是否一致，若不一致，则将当前图像帧设定为情绪关键帧，并更新情绪链表，若一致，则执行下一步；

统计情绪链表中各图像帧的情绪预测结果的频率值，若当前图像帧的情绪预测结果在连续时间内的频率值位于情绪频率阈值区间，则将当前图像帧设定为情绪关键帧，并更新情绪链表，反之，则设定为普通帧。

9.根据权利要求8所述的一种基于医患交互的关键情绪提取方法，其特征在于，所述情绪频率阈值区域为（7,10）。

10.根据权利要求9所述的一种基于医患交互的关键情绪提取方法，其特征在于，所述步骤S4完成患者实时情绪的识别及情绪关键帧提取之后，还包括：

采用加密算法对患者的情绪预测结果及时间标签进行加密，并将生成的哈希值上传至区块链网络中进行存储。