CN110507335A - 基于多模态信息的服刑人员心理健康状态评估方法及*** - Google Patents

Abstract

本公开公开了基于多模态信息的服刑人员心理健康状态评估方法及***，获取已改造好的服刑人员和待测服刑人员，在虚拟现实情景体验后的生理信号、面部表情图像和语音信号，从获取的信号中提取生理信号特征、面部表情图像特征和语音信号特征；将已改造好的服刑人员的生理信号特征、面部表情图像特征和语音信号特征输入到预先训练好的神经网络模型中，输出已改造好的服刑人员的心理状态评估向量；将待测服刑人员的生理信号特征、面部表情特征和语音信号特征输入到预先训练好的神经网络模型中，输出待测服刑人员的心理状态评估向量；计算待测服刑人员与已改造好的服刑人员的心理状态评估向量的距离；根据距离评估服刑人员心理健康状态。

Description

基于多模态信息的服刑人员心理健康状态评估方法及***

技术领域

本公开涉及基于多模态信息的服刑人员心理健康状态评估方法及***。

背景技术

本部分的陈述仅仅是提到了与本公开相关的背景技术，并不必然构成现有 技术。

罪犯心理卫生，是指为使罪犯在服刑期间保持心理健康，减少和避免发生 心理疾病的措施和方法。主要有：(1)优化服刑环境。(2)帮助、指导罪犯学 会正确运用自我心理调节机制，及时进行自我心理调节，以免发生心理失衡。(3) 建立心理咨询和治疗机构，对产生心理疾患和遇到严重心理挫折、心理压力的 罪犯，及时进行心理疏导和治疗。

世界各国监狱通常使用两种量表对罪犯进行心理测验：(1)通用的人格量 表，如艾森克人格问卷、明尼苏达多相人格测量表、卡特尔十六种人格因素问 卷等，通过测试了解罪犯的人格特征和人格结构中的道德感、法制感、抑制力、 调节力等状况。(2)专用于检测犯罪心理结构状况和预测再犯罪可能性的量表， 各国以自身社会政治、经济、文化等特点独立研制。

在实现本公开的过程中，发明人发现现有技术中存在以下技术问题：

现有的心理状态评估没有考虑到服刑人员这个特殊群体，而且，也没有考 虑到利用一些电子设备采集生理信号，将多种生理信号进行处理，以实现对服 刑人员心理健康状态的快速评估和精准评估，现有技术主要依赖于心理专家， 主观性太强。

发明内容

为了解决现有技术的不足，本公开提供了基于多模态信息的服刑人员心理 健康状态评估方法及***；本公开将生理信号同表情、语音等其他方式进行融 合，通过人工神经网络的智能识别实现更加准确的心理状况评估，有效进行改 造效果评价同时指导服刑人员的改造。

第一方面，本公开提供了基于多模态信息的服刑人员心理健康状态评估方 法；

基于多模态信息的服刑人员心理健康状态评估方法，所述方法不用于疾病 的诊断；所述方法，包括：

获取已改造好的服刑人员，在虚拟现实情景体验后的生理信号、面部表情 图像和语音信号，从获取的信号中提取生理信号特征、面部表情图像特征和语 音信号特征；

获取待测服刑人员，在虚拟现实情景体验后的生理信号、面部表情图像和 语音信号，从获取的信号中提取生理信号特征、面部表情特征和语音信号特征；

将已改造好的服刑人员的生理信号特征、面部表情图像特征和语音信号特 征输入到预先训练好的神经网络模型中，输出已改造好的服刑人员的心理状态 评估向量；

将待测服刑人员的生理信号特征、面部表情特征和语音信号特征输入到预 先训练好的神经网络模型中，输出待测服刑人员的心理状态评估向量；

计算待测服刑人员与已改造好的服刑人员的心理状态评估向量的距离；

根据距离对服刑人员心理健康状态进行评估。

第二方面，本公开还提供了基于多模态信息的服刑人员心理健康状态评估 ***；

基于多模态信息的服刑人员心理健康状态评估***，包括：

改造良好服刑人员数据采集模块：获取已改造好的服刑人员，在虚拟现实 情景体验后的生理信号、面部表情图像和语音信号；

改造良好服刑人员数据特征提取模块：从获取的信号中提取生理信号特征、 面部表情图像特征和语音信号特征；

待测服刑人员数据采集模块：获取待测服刑人员，在虚拟现实情景体验后 的生理信号、面部表情图像和语音信号；

待测服刑人员数据特征提取模块：从获取的信号中提取生理信号特征、面 部表情特征和语音信号特征；

第一心理状态评估向量输出模块：将已改造好的服刑人员的生理信号特征、 面部表情图像特征和语音信号特征输入到预先训练好的神经网络模型中，输出 已改造好的服刑人员的心理状态评估向量；

第二心理状态评估向量输出模块：将待测服刑人员的生理信号特征、面部 表情特征和语音信号特征输入到预先训练好的神经网络模型中，输出待测服刑 人员的心理状态评估向量；

待测服刑人员心理健康状态评估模块：计算待测服刑人员与已改造好的服 刑人员的心理状态评估向量的欧几里得距离；根据距离评估待测服刑人员心理 健康状态。

第三方面，本公开还提供了一种电子设备，包括存储器和处理器以及存储 在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时， 完成第一方面所述方法的步骤。

第四方面，本公开还提供了一种计算机可读存储介质，用于存储计算机指 令，所述计算机指令被处理器执行时，完成第一方面所述方法的步骤。

第五方面，本公开还提供了基于多模态信息的服刑人员心理健康状态评估 ***；

基于多模态信息的服刑人员心理健康状态评估***，包括：

生理参数获取装置、图像采集装置、语音采集装置以及第三方面所述的电 子设备；

生理参数获取装置、图像采集装置和语音采集装置将采集的数据传输给电 子设备；

电子设备根据采集的数据对服刑人员的心理健康状态进行评估。

与现有技术相比，本公开的有益效果是：

(1)基于多模态信息的心理状态量化评价机制，有效改善单纯依赖心理量 表采用问答方式进行心理健康程度评估的准确性，避免因受试者情绪激动、配 合度低、主观抵制等造成的干扰。利用一些电子设备采集生理信号，将多种生 理信号进行处理，以实现对服刑人员心理健康状态的快速评估和精准评估。

面部表情(面部肌肉变化所组成的模式)和语调表情(言语的声调、节奏和 速度等方面的变化)，会反映出人的主观情感体验，同时人的情绪与心境状态的 变化会伴随某些生理特征的起伏，本公开充分利用这些信息，采用融合的策略 提取特征进行智能化情绪识别。改造良好的服刑人员面对特定的虚拟现实场景 会有相似的心理状态，将其作为对照标准，而未能完成良好思想改造的服刑人 员面对同样的场景会得到不恰当的情感体验，基于多模态信息对这种差异进行 分析和甄别，能够针对服刑人员的思想改造状况和心理健康程度得到量化的评 定结果。

(2)个性化的虚拟现实情感激发体验平台。本公开针对不同类型的服刑人 员，开发有针对性的虚拟现实体验环境，节目内容结合服刑人员的亲身经历， 同时综合考虑服刑人员的年龄教育背景等因素，使其获得感同身受的情感激发 体验。恰当的情绪激发体验带来情感状态的波动会引起面部表达、生理信号、 语音语调等信息的即时反馈，获得这些信息的特征同时通过机器学习算法智能 分析判断，可以理想量化受试人员的心理健康状态和思想改造程度。

(3)对心理状态进行有效的测量是实现心理状态评估的关键和难点，实现 对情感的准确测量需要心理学中的情感测量理论及测量工具。本公开采用PAD 三维情感模型量化情感状态，PAD情感模型由Mehrabian和Russell于1974年 提出，这一维度观测量模型可有效地解释人类的心境，它并不限于描述情感的 主观体验，同时与情感的外部表现、生理唤醒具有较好的映射关系。

(4)基于深度学习的智能预测框架。1943年，心理学家W.McCulloch和数 学家W.Pitts合作，从数理逻辑的角度，提出了神经元和神经网络最早的数学模 型。首先，具备自学习功能，可以把不同的面部表达、生理信息、语音信号等 和对应的心理状态量化评价输入人工神经网络，它能够通过自学习的功能，学 会自主识别多源信息并进行心理状态判定，这对于情感预测有十分重要的意义。 其次，具备高速寻找最优化解的能力，寻找一个复杂问题的优化解，通常需要 很大的运算量，而利用一个针对特定问题设计的人工神经网络，可以发挥计算 机的高速运算能力，迅速找到优化解。基于这一优势，神经网络能够在脑电、 心电、表情、语音等复杂信息中准确寻找出特定的分布规律，将它们与人体产 生的心理情绪建立起特定的反馈连接。本公开把人工神经网络大量的简单处理 单元连接形成自适应动力学***，依靠并行性、分布式存储、自适应学习的自 组织等功能，分析生物信号，准确客观地进行心理健康评估。

(5)以欧几里得距离为计算基础在PAD情感模型上评估受试者心理健康 程度。欧几里得距离是常见的一种相似度算法，计算人体心理情绪相似度的过 程中欧几里得距离比较直观。欧几里得距离越小，两种不同的情感状态相似度 就越大，否则相似度就越小。通过计算受试者与改造良好保持健康心理的人员 在PAD基础量表上表现的欧几里得距离，判断受试人员的思想改造情况和心理 健康程度，将传统的主观判断互动问答心理测评方式改善为以多模态信息为基 础的客观量化评价标准。

附图说明

构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申 请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。

图1是本实施例一的***结构示意图；

图2(a)和图2(b)是本实施例一的PAD三维情感模型示意图；

图3是本实施例一的整体结构框图；

图4是本实施例一的基于多层神经网络的多源生理信号情感识别示意图；

图5是本实施例一的基于卷积神经网络的面部表达情感辨识示意图；

图6是本实施例一的基于语音的心理状态辨识结构框图；

图7是本实施例一的基于语音特征的声谱图生成流程图；

图8是本实施例一的基于欧几里得距离的心理健康程度测评示意图。

具体实施方式

应该指出，以下详细说明都是示例性的，旨在对本申请提供进一步的说明。 除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的 普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图 限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确 指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说 明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、 组件和/或它们的组合。

上世纪八十年代，科学家将心理研究引入计算机学科，试图把主观的心理 状态变为可计算，即在人机交互的过程中，通过人的脸像、声音来了解这个人 的情绪反应。与人脸表情识别和语音情感理解不同，基于生理信号的心理计算 拥有独特的优势，它具备真实性、客观性和明显的不可主观操控性，可以客观 反映人的心理状况，但是对于唤醒度较高的心理状态才会有较好的识别效果。

通过罪犯心理测验进行罪犯心理诊断和再犯心理预测，一般在罪犯入监时、 服刑中期和刑满释放前进行，以确定罪犯的人格缺陷，验证矫治效果和预测再 犯罪的可能性，并以此为基础为服刑人员制定出有针对性的改造方案。基于问 卷的心理评估带有较强的主观因素，评估结果会受到外部环境和被测人意念的 干扰，同时会遇到犯人不配合无法有效沟通等情况，难以客观真实反映被测人 的心理健康状况，引起对改造效果评估的偏差。

实施例一，本实施例提供了基于多模态信息的服刑人员心理健康状态评估 方法；

基于多模态信息的服刑人员心理健康状态评估方法，所述方法不用于疾病 的诊断；所述方法，包括：

获取已改造好的服刑人员，在虚拟现实情景体验后的生理信号、面部表情 图像和语音信号，从获取的信号中提取生理信号特征、面部表情图像特征和语 音信号特征；

获取待测服刑人员，在虚拟现实情景体验后的生理信号、面部表情图像和 语音信号，从获取的信号中提取生理信号特征、面部表情特征和语音信号特征；

将已改造好的服刑人员的生理信号特征、面部表情图像特征和语音信号特 征输入到预先训练好的神经网络模型中，输出已改造好的服刑人员的心理状态 评估向量；

将待测服刑人员的生理信号特征、面部表情特征和语音信号特征输入到预 先训练好的神经网络模型中，输出待测服刑人员的心理状态评估向量；

计算待测服刑人员与已改造好的服刑人员的心理状态评估向量的欧几里得 距离；

如果欧几里得距离小于设定阈值，则表示待测服刑人员心理健康状态好； 否则，表示待测服刑人员心理健康状态不好。

作为一种实施例，预先训练好的神经网络模型的训练步骤包括：

构建神经网络模型；

获取作为训练样本的的服刑人员在虚拟现实情景体验后的生理信号、面部 表情图像和语音信号；

从获取的信号中提取生理特征、面部表情特征和语音特征；为训练样本中 每个服刑人员的生理特征、面部表情特征和语音特征标注心理状态评估向量；

利用提取生理特征、面部表情特征、语音特征和已标注的心理状态评估向 量，对神经网络模型进行训练；得到预先训练好的神经网络模型。

所述心理状态评估向量，是一个12行*1列的向量，每行包括的元素值是每 种情感状态的量化值，所述量化值为整数，所述量化值的取值范围是-4，-3，-2， -1，0，1，2，3，4；12行元素就包括12种情感状态，所述12种情感状态，包 括：愤怒、清醒、受控、友好、平静、支配、痛苦、感兴趣、谦卑、兴奋、拘 谨和有影响力。

作为一种实施例，为训练样本中每个服刑人员的生理特征、面部表情特征 和语音特征标注心理状态评估向量，是基于PAD情绪识别量表进行标注：

对同一个受试者在同一个虚拟现实情景体验后，采集受试者的三维情绪识 别量表；一共采集N次；

对同一个受试者在同一个虚拟现实情景下，将N次采集的三维情绪识别量 表的值进行求均值处理，得到的心理状态评估向量即为当前受试者在同一个虚 拟现实情景体验后的心理状态评估向量；

对同一个受试者，更换下一个虚拟现实场景进行体验，获得下一个虚拟现 实场景的心理状态评估向量；进而得到同一个受试者，在不同虚拟现实场景下 的心理状态评估向量；

然后更换下一个受试者，以此类推，即可得到不同受试者在不同虚拟现实 场景体验下的心理状态评估向量；

然后，利用得到的不同受试者在不同虚拟现实场景体验下的心理状态评估 向量，对不同受试者在不同虚拟现实场景体验下提取到的生理特征、面部表情 特征和语音特征进行标注。

作为一种实施例，虚拟现实情景，包括：根据心理测评量表制定的典型案 例再现虚拟现实场景、社会危害分析虚拟现实场景、积极改造重获新生虚拟现 实场景。

所述心理测评量表，包括：《中国罪犯心理评估***》下的六个分测验量表 或世界各国监狱通用人格量表；所述世界各国监狱通用人格量表，包括以下量 表中的一种或多种：艾森克人格问卷、明尼苏达多相人格测量表或卡特尔十六 种人格因素问卷。

作为一种实施例，如图3所示，生理信号的获取方式，包括：

通过设置在受试者拇指上的光电夹采集血容量搏动信号或心率信号；

通过设置在受试者手腕和脚踝的电极采集的心电信号；

通过设置在手指上的电导率传感器采集的皮肤电导信号；

通过设置在前臂上的电极采集的受试者的肌电图；

通过设置在受试者胸廓位置的传感器采集的呼吸信号；或，

通过脑电测试电极采集的脑电信号。

应理解的，上述信号仅仅是一些实例性的说明。

作为一种实施例，所述生理信号特征，是指：

血容量搏动信号特征，包括：血容量搏动信号幅度的均值、血容量搏动信 号幅度的方差、血容量搏动信号幅度的最大值、血容量搏动信号幅度的最小值 或血容量搏动信号幅度的中值；

心率信号特征，包括：心率信号幅度的均值、心率信号幅度的方差、心率 信号幅度的最大值、心率信号幅度的最小值或心率信号幅度的中值；

心电信号特征，是将心电图信号频谱中0-10Hz频率范围划分为8个不重叠 的子频带，获取每个子频带的傅里叶变换均值作为特征，同时将8个子频带合 并为两个子频带，1-3子频带合并为低频带，4-8子频带合并为高频带，计算两 个子频带平均傅里叶变换值的比值作为特征；

皮肤电导信号特征，包括：皮肤电导信号幅度的均值、皮肤电导信号幅度 的方差、皮肤电导信号幅度的一阶差分均值、皮肤电导信号幅度的均方根或皮 肤电导信号幅度的相邻差绝对值均值；

肌电图信号特征，包括：肌电图信号功率谱密度；

呼吸信号特征，包括：在呼吸信号的功率谱上选取0-0.1Hz、0.1-0.2Hz、 0.2-0.3Hz和0.3-0.4Hz四个频率带内的平均功率谱密度；

脑电信号特征，包括：脑电信号功率谱密度，即单位频带内的信号功率。

作为一种实施例，所述面部表情特征的获取方式，是：

通过摄像头采集服刑人员在虚拟现实情景体验后的面部表情图像；对面部 表情图像进行图像变换扩充数据集，然后进行特征提取，获取图像的纹理特征；

作为一种实施例，所述语音信号特征的获取方式，是：

通过麦克风采集服刑人员在虚拟现实情景体验后的语音信号；将语音信号 划分为若干帧，对每一帧语音信号进行快速傅里叶变换，获得频域特征，对声 音信号进行特征提取，提取音调特征或声速特征。

作为一种实施例，待测服刑人员的犯罪类型与已改造好的服刑人员的犯罪 类型相同。

作为一种实施例，利用提取生理特征、面部表情特征、语音特征和已标注 的心理状态评估向量，对神经网络模型进行训练；得到预先训练好的神经网络 模型的具体步骤为：

对生理特征、面部表情特征和语音特征进行特征融合，将融合后的特征输 入到神经模型中，输出服刑人员量化心理状态评估向量的预测值，计算服刑人 员量化心理状态评估向量的预测值与服刑人员已标注的心理状态评估向量之间 的差值，在差值最小时，停止训练，得到训练好的预测模型。

实施例二，本实施例还提供了基于多模态信息的服刑人员心理健康状态评 估***；

如图1所示，基于多模态信息的服刑人员心理健康状态评估***，包括：

改造良好服刑人员数据采集模块：获取已改造好的服刑人员，在虚拟现实 情景体验后的生理信号、面部表情图像和语音信号；

改造良好服刑人员数据特征提取模块：从获取的信号中提取生理信号特征、 面部表情图像特征和语音信号特征；

待测服刑人员数据采集模块：获取待测服刑人员，在虚拟现实情景体验后 的生理信号、面部表情图像和语音信号；

待测服刑人员数据特征提取模块：从获取的信号中提取生理信号特征、面 部表情特征和语音信号特征；

第一心理状态评估向量输出模块：将已改造好的服刑人员的生理信号特征、 面部表情图像特征和语音信号特征输入到预先训练好的神经网络模型中，输出 已改造好的服刑人员的心理状态评估向量；

第二心理状态评估向量输出模块：将待测服刑人员的生理信号特征、面部 表情特征和语音信号特征输入到预先训练好的神经网络模型中，输出待测服刑 人员的心理状态评估向量；

待测服刑人员心理健康状态评估模块：计算待测服刑人员与已改造好的服 刑人员的心理状态评估向量的欧几里得距离；根据距离评估待测服刑人员心理 健康状态。

作为一种实施例，基于多模态信息的服刑人员心理健康状态评估***，还 包括：

服刑人员犯罪类型区分模块，依据服刑人员录入的指纹信息，已知的犯罪 类型和服刑人员的指纹信息之间的一一对应关系，对服刑人员的犯罪类型进行 识别。在服刑人员入狱时，狱警会对服刑人员的犯罪类型进行数据记录，并将 犯罪类型与服刑人员的指纹信息进行关联。

虚拟现实情感激发模块，依据服刑人员的犯罪类型，从数据库中调取相应 的虚拟现实场景，通过虚拟现实头盔显示器现实给服刑人员观看。

作为一种实施例，基于多模态信息的服刑人员心理健康状态评估***，还 包括：

训练数据采集模块，获取作为训练样本的的服刑人员在虚拟现实情景体验 后的生理信号、面部表情图像和语音信号；从获取的信号中提取生理特征、面 部表情特征和语音特征；

训练数据标注模块，为训练样本中每个服刑人员的生理特征、面部表情特 征和语音特征标注心理状态评估向量；

机器学习情感预测模型训练模块，利用提取生理特征、面部表情特征、语 音特征和已标注的心理状态评估向量，对神经网络模型进行训练；得到预先训 练好的神经网络模型。

实施例三，本实施例还提供了一种电子设备，包括存储器和处理器以及存 储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行 时，完成第一个实施例所述方法的步骤。

实施例四，本实施例还提供了一种计算机可读存储介质，用于存储计算机 指令，所述计算机指令被处理器执行时，完成第一个实施例所述方法的步骤。

实施例五，本实施例还提供了基于多模态信息的服刑人员心理健康状态评 估***；

基于多模态信息的服刑人员心理健康状态评估***，包括：

生理参数获取装置、图像采集装置、语音采集装置以及第三个实施例所述 的电子设备；

生理参数获取装置、图像采集装置和语音采集装置将采集的数据传输给电 子设备；

电子设备根据采集的数据对服刑人员的心理健康状态进行评估。

所述生理参数获取装置，包括以下装置中的一种或多种：光电夹、电极或 电导率传感器。

所述图像采集装置，包括：摄像头；

所述语音采集装置，包括：麦克风。

本公开搭建虚拟现实情境体验平台，激发受试者情绪，以此为基础建立基 于面部表情和多种生理信号相结合的多模态量化心理健康评估策略，能够准确 客观反映服刑人员的改造效果，为进一步的改造工作提供参考依据。

人体生理信号的情感计算方法以情感模型为基础，包括基本情感论的情感模 型，维度空间论的情感模型和认知神经科学的情感模型。本公开以PAD三维情 感模型为心理评价依据，如图2(a)和图2(b)所示，三个维度分别包括：

愉悦度P，表示个体情感状态的正负特性；

唤醒度A，表示个体神经生理激活水平；

优势度D，表示个体对情境和他人的控制状态。

每个维度分为四个项目，项目评分从-4分到4分。

神经网络是一个具有学***。有监督或称有导师的学习是一种它的学习训练方式。本公开将受 试者的心理状态通过PAD三维情感模型进行量化表达，作为采集的多源信息所 对应的监督标签，训练设计的神经网络框架，获得一个能够通过人体面部表达、 多种生理信号、语音语调等多模态信息对心理健康状况进行客观量化评估的智 能***。

获取途径尽量避免干扰受试者观看VR节目。隐蔽处安装摄像装置，获得体 验者的同步面部表情。不同的体验环节结束以后，让受试者诉说观看体会，获 取语音信息。每个环节完成均由专业心理医师通过三维情绪识别量表(PAD) 确定受试者的情感状态，分别对已获得的生理信号、面部表情信息、语音信息 进行情感状态标注，建立一个完整的样本。同时对所有参与建立数据集人员的 分阶段PAD量表取均值，用三个十二维向量表示每个阶段不同的标准情感状态， 每个维度取值在-4到4之间。计算公式如下：

i为采集样本，n为样本数量，j为体验环节，Standard(1)表示受试者在第一次测试所获得的标准情感体验，Standard(2)表示受试者在第二次测试所获得的标准情感 体验，Standard(3)表示受试者在第三次测试所获得的标准情感体验。

如图3和图4所示，采用多层神经网络作为生理信号情感状态识别模型， 以有监督学习策略为基础，设计一个标准和进化方式，让结果与标准之间的误 差越来越少，直到误差缩小到合理的范围内并收敛。

神经网络训练步骤为：

(1)用适当的值作为初始化权重；

(2)将训练数据{输入，正确输出}中的“输入”即生理信号特征输入神经网 络中，获得模型的输出即受试者以PAD简化量表为基础的情感表达，比较正确 输出即专业心理医师针对受试者的心理状态标注与模型输出的差异，计算误差 向量E和输出节点的增量δ，即

E＝D-Y

(3)计算反向传播输出节点的增量δ，计算下一个隐藏层节点的增量，即

E^(k)＝W^Tδ

(4)重复第(3)步，直至计算进行到紧邻输入层的隐含层为止；

(5)依据特定的学习规则调整权重值，即

Δω_ij＝αδ_ix_j

ω_ij←ω_ij+Δω_ij

(6)对所有训练数据节点重复(2)-(5)步；

(7)重复(2)-(6)步，直至训练出理想的神经网络模型。

基于虚拟现实体验环节中所获取的受试者面部表情，对采集的每一张图片 进行四种变换：旋转、水平平移、垂直平移、水平翻转，扩充数据集，采用单 一的卷积神经网络(CNN)模型对人脸微表情所表现出的心理反馈进行分类标 注，标注方式为12维向量情感表达。CNN能够发现隐藏在图片中的特征，比人 工提取的特征具有更优的区分度，同时不需要对原始数据做过多的预处理。

如图5所示，本公开对输入固定大小的灰度图，构建卷积层、池化层、全 连接层搭建卷积神经网络结构，每一个池化层都在对应的卷积层之后，同时一 个卷积层的神经元只和上一层的一部分神经元连接，使每一个神经元能够感受 到局部的视觉特征，然后在更高层将局部信息进行整合，最终得到整个图片的 描述信息。采用权值共享策略提取整个图片的特征，使每一个神经元和上一层 的部分神经元所连接的每一条边的权值，与当前层其它神经元和上一层连接的 每一条边的权值相同，有效减少训练的参数个数。采用降采样策略将一定范围 内的像素点压缩为一个像素点，减少特征的维度增强泛化性。在所有的卷积层之后，连接一个包含256个输入神经元和12个输出神经元的全连接层，激活函 数采用ReLU，CNN的参数训练采用随机梯度下降算法。

如图6所示，本公开利用所采集的服刑人员在虚拟现实情境体验后的语言 表述和相对应的心理状态量化标注，建立语音库，在此基础上训练以多层感知 机模型为框架的智能心理状态测量结构。

如图7所示，每段语音被分为多帧，对每帧语音通过快速傅氏变换，获得频 率域上的表达，把每帧语音的频谱通过坐标进行表示，再旋转90度，然后把这 些幅度映射到一个灰度级表示(连续的幅度量化为256个量化值)，颜色越深， 幅度值越大，获得一段语音频谱，即描述语音信号的声谱图，同时包含静态和 动态的信息。提取了语音的特征参数后，靠多层感知机中大量的连接权对输入 模式进行非线性运算，产生最大兴奋的输入点就代表了输入模式对应的心理状 态评估。神经网络的连接权系数在使用中根据识别结果的正确与否不断的进行 自适应修正。

通过虚拟现实体验平台的有效情感激发环节，可以获得受试者基于多源生 理信号、面部信息、语音叙述等的心理状态表达。将服刑人员的这些信息输入 经过训练的机器学习模型，最终可以获得客观的心理量化评估向量，具体公式 如下：

其中j为VR体验的不同环节，j＝1表示相关案件重现环节，j＝2表示案 件所造成的社会危害环节，j＝3表示激励环节。α为背景因子，依据服刑人员 的年龄、犯罪类型、教育背景、性别等信息针对性设置。α₁为基于多源生理信 息的心理状态评估向量权值，α₂为基于面部表情的心理状态评估向量权值，α₃为 基于语言表达的心理状态评估向量权值，α₁+α₂+α₃＝1。通过设置背景因子策略， 本公开把以多模态信息为基础的心理状态评估机器学习预测模型与服刑人员不 同个体之间的显著差异相结合，同时满足客观准确性与针对性。

如图8所示，为基于欧几里得距离的心理健康程度量化测评方案，具体公 式如下：

Health(j)＝[x_i,1,x_i,2......x_i,12]

Out(j)＝[y_i,1,y_i,2......y_i,12]

其中j表示体验环节，i表示受试者，Health(j)表示经过第j次虚拟现实情境 体验环节后，已改造好的服刑人员的健康心理标准向量。

Out(j)表示受试者在虚拟现实情境体验环节后，以其生理信号、表情、语言 表达等多模态信息为基础，经过智能测评确定的心理状态评估向量。通过计算 评估值与标准值的欧几里得距离得出偏移程度，将心理健康指征量化表现。如 在体验环节1偏移程度较大，说明服刑人员对犯罪类型缺乏客观理性的认知； 如在体验环节2偏移程度较大，说明服刑人员悔罪程度较低；如在体验环节3 偏移程度较大，说明服刑人员积极正向心理评估欠缺。本公开可有效辅助预测 再犯罪可能性。

专业术语介绍：

1、典型案例再现，是指：***中社会危害较大具有典型代表性的真实 案例；暴力犯罪、职务犯罪中社会危害较大具有典型代表性的真实案例。通过 虚拟现实技术将案件场景真实再现，使受试者获得生动具体的情感体验。

2、社会危害分析，是指：相关案件对公民财产和人身安全所造成的危害、 对社会秩序和经济秩序所造成的危害等。通过虚拟现实技术将不同类型的社会 危害通过视觉场景和同步语音解说进行表达，使受试者获得生动具体的情感体 验。

3、积极改造重获新生，是指：改造过程包含组织罪犯从事生产劳动，对罪 犯进行思想教育、文化教育、技术教育，实现改造人，教育人，并最终实现使 罪犯深刻认识自身罪行回归社会不致再罪犯的目的。通过虚拟现实和视频技术 对改造良好和成功回归社会的不同类型服刑人员的改造过程和思想表达陈述进 行视听结合的真实呈现，使观看者获得生动具体的情感体验。

4、犯罪类型，包括：暴力罪犯、职务犯罪和***。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领 域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则 之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之 内。

Claims (10)

1.基于多模态信息的服刑人员心理健康状态评估方法，其特征是，所述方法不用于疾病的诊断；所述方法，包括：

获取已改造好的服刑人员，在虚拟现实情景体验后的生理信号、面部表情图像和语音信号，从获取的信号中提取生理信号特征、面部表情图像特征和语音信号特征；

获取待测服刑人员，在虚拟现实情景体验后的生理信号、面部表情图像和语音信号，从获取的信号中提取生理信号特征、面部表情特征和语音信号特征；

将已改造好的服刑人员的生理信号特征、面部表情图像特征和语音信号特征输入到预先训练好的神经网络模型中，输出已改造好的服刑人员的心理状态评估向量；

将待测服刑人员的生理信号特征、面部表情特征和语音信号特征输入到预先训练好的神经网络模型中，输出待测服刑人员的心理状态评估向量；

计算待测服刑人员与已改造好的服刑人员的心理状态评估向量的距离；

根据距离对服刑人员心理健康状态进行评估。

2.如权利要求1所述的方法，其特征是，预先训练好的神经网络模型的训练步骤包括：

构建神经网络模型；

获取作为训练样本的的服刑人员在虚拟现实情景体验后的生理信号、面部表情图像和语音信号；

从获取的信号中提取生理特征、面部表情特征和语音特征；为训练样本中每个服刑人员的生理特征、面部表情特征和语音特征标注心理状态评估向量；

利用提取生理特征、面部表情特征、语音特征和已标注的心理状态评估向量，对神经网络模型进行训练；得到预先训练好的神经网络模型。

3.如权利要求2所述的方法，其特征是，所述心理状态评估向量，是一个12行*1列的向量，每行包括的元素值是每种情感状态的量化值，所述量化值为整数，所述量化值的取值范围是-4，-3，-2，-1，0，1，2，3，4；12行元素就包括12种情感状态，所述12种情感状态，包括：愤怒、清醒、受控、友好、平静、支配、痛苦、感兴趣、谦卑、兴奋、拘谨和有影响力。

4.如权利要求2所述的方法，其特征是，为训练样本中每个服刑人员的生理特征、面部表情特征和语音特征标注心理状态评估向量，是基于PAD情绪识别量表进行标注：

对同一个受试者在同一个虚拟现实情景体验后，采集受试者的三维情绪识别量表；一共采集N次；

对同一个受试者在同一个虚拟现实情景下，将N次采集的三维情绪识别量表的值进行求均值处理，得到的心理状态评估向量即为当前受试者在同一个虚拟现实情景体验后的心理状态评估向量；

对同一个受试者，更换下一个虚拟现实场景进行体验，获得下一个虚拟现实场景的心理状态评估向量；进而得到同一个受试者，在不同虚拟现实场景下的心理状态评估向量；

然后更换下一个受试者，以此类推，即可得到不同受试者在不同虚拟现实场景体验下的心理状态评估向量；

然后，利用得到的不同受试者在不同虚拟现实场景体验下的心理状态评估向量，对不同受试者在不同虚拟现实场景体验下提取到的生理特征、面部表情特征和语音特征进行标注。

5.如权利要求1所述的方法，其特征是，生理信号的获取方式，包括：

通过设置在受试者拇指上的光电夹采集血容量搏动信号或心率信号；

通过设置在受试者手腕和脚踝的电极采集的心电信号；

通过设置在手指上的电导率传感器采集的皮肤电导信号；

通过设置在前臂上的电极采集的受试者的肌电图；

通过设置在受试者胸廓位置的传感器采集的呼吸信号；或，

通过脑电测试电极采集的脑电信号。

6.如权利要求1所述的方法，其特征是，所述生理信号特征，是指：

血容量搏动信号特征，包括：血容量搏动信号幅度的均值、血容量搏动信号幅度的方差、血容量搏动信号幅度的最大值、血容量搏动信号幅度的最小值或血容量搏动信号幅度的中值；

心率信号特征，包括：心率信号幅度的均值、心率信号幅度的方差、心率信号幅度的最大值、心率信号幅度的最小值或心率信号幅度的中值；

心电信号特征，是将心电图信号频谱中0-10Hz频率范围划分为8个不重叠的子频带，获取每个子频带的傅里叶变换均值作为特征，同时将8个子频带合并为两个子频带，1-3子频带合并为低频带，4-8子频带合并为高频带，计算两个子频带平均傅里叶变换值的比值作为特征；

皮肤电导信号特征，包括：皮肤电导信号幅度的均值、皮肤电导信号幅度的方差、皮肤电导信号幅度的一阶差分均值、皮肤电导信号幅度的均方根或皮肤电导信号幅度的相邻差绝对值均值；

肌电图信号特征，包括：肌电图信号功率谱密度；

呼吸信号特征，包括：在呼吸信号的功率谱上选取0-0.1Hz、0.1-0.2Hz、0.2-0.3Hz和0.3-0.4Hz四个频率带内的平均功率谱密度；

脑电信号特征，包括：脑电信号功率谱密度，即单位频带内的信号功率；

或者，

所述面部表情特征的获取方式，是：

通过摄像头采集服刑人员在虚拟现实情景体验后的面部表情图像；对面部表情图像进行图像变换扩充数据集，然后进行特征提取，获取图像的纹理特征；

或者，

所述语音信号特征的获取方式，是：

通过麦克风采集服刑人员在虚拟现实情景体验后的语音信号；将语音信号划分为若干帧，对每一帧语音信号进行快速傅里叶变换，获得频域特征，对声音信号进行特征提取，提取音调特征或声速特征；

或者，

利用提取生理特征、面部表情特征、语音特征和已标注的心理状态评估向量，对神经网络模型进行训练；得到预先训练好的神经网络模型的具体步骤为：

对生理特征、面部表情特征和语音特征进行特征融合，将融合后的特征输入到神经模型中，输出服刑人员量化心理状态评估向量的预测值，计算服刑人员量化心理状态评估向量的预测值与服刑人员已标注的心理状态评估向量之间的差值，在差值最小时，停止训练，得到训练好的预测模型。

7.基于多模态信息的服刑人员心理健康状态评估***，其特征是，包括：

改造良好服刑人员数据采集模块：获取已改造好的服刑人员，在虚拟现实情景体验后的生理信号、面部表情图像和语音信号；

改造良好服刑人员数据特征提取模块：从获取的信号中提取生理信号特征、面部表情图像特征和语音信号特征；

待测服刑人员数据采集模块：获取待测服刑人员，在虚拟现实情景体验后的生理信号、面部表情图像和语音信号；

待测服刑人员数据特征提取模块：从获取的信号中提取生理信号特征、面部表情特征和语音信号特征；

第一心理状态评估向量输出模块：将已改造好的服刑人员的生理信号特征、面部表情图像特征和语音信号特征输入到预先训练好的神经网络模型中，输出已改造好的服刑人员的心理状态评估向量；

第二心理状态评估向量输出模块：将待测服刑人员的生理信号特征、面部表情特征和语音信号特征输入到预先训练好的神经网络模型中，输出待测服刑人员的心理状态评估向量；

待测服刑人员心理健康状态评估模块：计算待测服刑人员与已改造好的服刑人员的心理状态评估向量的欧几里得距离；根据距离评估待测服刑人员心理健康状态。

8.一种电子设备，其特征是，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成权利要求1-6任一项方法所述的步骤。

9.一种计算机可读存储介质，其特征是，用于存储计算机指令，所述计算机指令被处理器执行时，完成权利要求1-6任一项方法所述的步骤。

10.基于多模态信息的服刑人员心理健康状态评估***，其特征是，包括：

生理参数获取装置、图像采集装置、语音采集装置以及权利要求8所述的电子设备；

生理参数获取装置、图像采集装置和语音采集装置将采集的数据传输给电子设备；

电子设备根据采集的数据对服刑人员的心理健康状态进行评估。