CN113420591B - 基于情感的occ-pad-ocean联邦认知建模方法 - Google Patents

Abstract

本发明提供的基于情感的OCC‑PAD‑OCEAN联邦认知建模方法，包括以下步骤：构建VGG‑FACS‑OCC模型，计算出被试视频的情感空间向量；依据OCC‑PAD‑OCEAN模型中的OCC情感空间与PAD心情空间的参数量化映射关系，将情感空间向量映射到PAD心情空间，得到心情空间向量；将心情空间向量映射到OCEAN人格空间，得到人格空间向量。本发明通过建立的表情‑心情映射关系将表情映射到PAD心情空间，再通过建立的心情‑人格映射关系，将一段时间内的平均心情进行映射，实现对人格特征的萃取，最终获取在人格空间上有一定统计学意义信效度的信息。

Description

基于情感的OCC-PAD-OCEAN联邦认知建模方法

技术领域

本发明涉及心理学认知建模技术领域，尤其涉及一种基于情感的 OCC-PAD-OCEAN联邦认知建模方法。

背景技术

心理学作为实验科学，绝大多数心理学研究的进展都是基于心理学实验范 式，对被试的主客观数据进行采集与分析。实验中要求主试在变量进行严格控 制的情况下对被试的各个方面行为进行观察与记录，并对采集的数据结果进行 分析。即便如此，心理学实验依然存在大量实验结果信效度不高，实验不可重 复等问题。这些问题部分来源于旁观者效应，部分来源于实验室实验的局限性等，进而导致心理学实验被局限在一定场景中，无法进行外推延展。针对以上 问题，计算机技术可发挥精准控制、量化数据的作用，这种现代心理测量技术 可以诸多益处，包括避免复杂的信度测量、改进的结构效度、避免暴露效应和高测量效率等。大多数心理实验的主要目的是探究人类行为原理或人类认知模 式：基于数据采集的角度，通过计算机技术对观测数据进行采集，能对整个实 验环境实现精确的数字控制，如准确采集视频信号、音频信号、传感器数据、人体运动信息等。基于构建实验环境的角度，计算机的辅助可以使得被试有沉 浸式的体验，例如在情绪心理学的研究中使用虚拟现实技术(VR)可以使得情 感相比于一般的图片或语言刺激，能被更有效地诱发。此外，计算机技术可以 对假设模型进行仿真，解释所观察到的行为，而在实验条件受限制的情况下， 计算机的模拟也可以对假设进行初步理想化的验证。近十年来，对人类情感行为的研究越来越受到人们的关注。情感计算正是基于心理学与计算机科学，研 究如何利用计算机识别、建模甚至表达人类情感的一门交叉学科。从情感计算 延伸出的人格计算则能够推进所有与人类行为的理解、预测的技术。

在关于人的行为、预测等方向的心理学研究中，人格是一个非常重要的决 定因素，它能描述稳定的个人特征，这些特征通常可以用定量的方式衡量，解 释和预测可观察到的行为差异。大五人格模型(FFM)是当今人格心理学中的重 要理论，是心理学研究中最有影响力的模型之一。其五因子包括开明性 (openness)、责任性(conscientiousness)、外向性(extraversion)、宜人性 (agreeableness)和神经质(neuroticism)。社会心理学家Harry Reis将FFM 述为“行为科学中最科学严谨的分类法”。大五人格模型提供了一个可以将大多 数人的人格特征进行分类的结构，通过一组高度可复制的维度，可简约且全面地描述大多数个体差异。从计算机的角度来说，特征模型用数值的形式表示个 性，可适合于计算机处理。而目前大多数人格评估都采用自我报告的形式，通 过量表中的陈述或形容词评估个性。自我报告范式简单明了却无法控制被试回 答的真实性，实验结果也受到多种无关因素的影响而容易产生较大偏差。自我 评估的重大局限性之一也在于被试可能倾向于使评分偏向于社会的期望值，尤 其是当评估可能产生负面后果时，被试可能隐藏消极的特征，从而导致结果不符合真实性格。

总体而言，虽然目前部分交叉创新研究在推进心理学理论的计算与量化， 但心理学理论仍然以传统的定性结论为主，难以给计算机的算法实现供直接的 量化模型支持。此外，计算机的算法程序也无法准确表达出心理学中的情绪理 论与情绪模型，两者之前存在较大壁垒。现存的大多数研究通常只从计算机科 学或心理学其中一个角度考虑，而非从交叉融合的视角。与此同时，虽然目前基于深度学习的人脸表情识别技术已经较为完善，但利用深度学习技术来处理 心理学信号的研究仍处于起步阶段。因而从情绪心理学基础理论出发，融合深 度学习等算法进行深层次融合的认知建模方法仍然比较欠缺，如何在高效处理 认知问题的同时提升模型的可解释性也是一个关键问题。

发明内容

本发明提供了一种基于情感的OCC-PAD-OCEAN联邦认知建模方法能够利用 深度学习技术来处理心理学信号，解决了现有技术中融合深度学习等算法进行 深层次融合的认知建模方法比较欠缺的问题。

为了解决上述技术问题，本发明提供的方法包括：S1构建VGG-FACS-OCC 模型，计算出被试视频的情感空间向量；S2依据OCC-PAD-OCEAN模型中的 OCC情感空间与PAD心情空间的参数量化映射关系，将情感空间向量映射到 PAD心情空间，得到心情空间向量；S3将心情空间向量映射到OCEAN人格空 间，通过心情空间向量得到人格空间向量。

具体地，所述S1具体包括以下步骤：S11将被试视频按时间切分为若干图 片帧Image_t，按固定频次对图片帧Image_t进行抽样得到若干抽样帧I_i，(i＝1，2，3， …，n)；S12对抽样帧I_i进行预处理，去除干扰信息；S13将预处理后的抽样帧 I_i映射到OCC情感空间，得到情感空间向量E_i。

进一步地，所述S12为采用预处理函数Pre对抽样帧I_i进行预处理，所述 S12具体包括：S121利用MTCNN人脸识别算法对抽样帧I_i进行人脸目标检测， 得到目标框集合B＝{b₁，b₂，…b_m}，其中，b_i＝(x_i，y_i，h_i，w_i，p_i)，x_i表 示目标框的左上角横坐标，y_i表示目标框的左上角纵坐标，h_i表示目标框的高度， w_i表示目标框的宽度，p_i表示目标框的置信度；S122确定高度阈值h_t、宽度阈 值w_t和置信度阈值p_t；对于任意b_i∈B，保留 B′＝{h_i＞h_t且w_i＞w_t且S123从B′中获取 置信度p_i最高的目标框b_*，根据b_*对I_i进行裁剪，并将裁剪后的I_i调整为特定大 小得到Pre(I_i)，得到情感空间向量E_i＝VGG(Pre(I_i))。

具体地，所述S2包括：S21计算心情空间向量M_i＝K×E_i，其中K为OCC 情感空间与PAD心情空间的参数量化映射关系的转换矩阵；S22将心情空间与 人格空间的映射关系连续化，得到M_i＝K×E′_i；S23计算平均心情空间向量

具体地，所述S3为计算人格空间向量P_e＝Z×M_v，其中Z为PAD心情空 间到OCEAN人格空间的转换矩阵。

上述技术方案具有如下优点或者有益效果：本发明通过建立的表情-心情映 射关系将表情映射到PAD心情空间，再通过建立的心情-人格映射关系，将一 段时间内的平均心情进行映射，利用深度学习技术来处理心理学信号，实现对 人格特征的萃取，最终获取在人格空间上有一定统计学意义信效度的信息，解决了现有技术中融合深度学习等算法进行深层次融合的认知建模方法比较欠缺 的问题。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明及其特 征、外形和优点将会变得更加明显。在全部附图中相同的标记指示相同的部分。 并未刻意按照比例绘制附图，重点在于示出本发明的主旨。

图1是本发明实施例1提供的基于情感的OCC-PAD-OCEAN联邦认知建模方法 的简要流程图；

图2是本发明实施例1提供的基于情感的OCC-PAD-OCEAN联邦认知建模方 法的模型处理示意图；

图3是本发明实施例1提供的VGG-19各层次的函数表达释意图；

图4是本发明实施例1提供的基于CK+表情特征的FACS-OCC情感映射表；

图5是本发明实施例1提供的PAD心情空间与情感的量化映射表；

图6是本发明实施例1提供的基于情感的OCC-PAD-OCEAN联邦认知建模方 法的模型的数据处理过程示意图；

图7是本发明实施例1提供的基于情感的OCC-PAD-OCEAN联邦认知建模方 法的视频所有帧中OCC六个情感维度时序数据图；

图8是本发明实施例1提供的基于情感的OCC-PAD-OCEAN联邦认知建模方 法的视频所有帧中PAD心情空间的时序数据图；

图9是本发明实施例1提供的基于情感的OCC-PAD-OCEAN联邦认知建模方 法的输出的人格雷达图；

图10是本发明实施例1提供的基于情感的OCC-PAD-OCEAN联邦认知建模 方法的全体被试五中人格偏差率。

具体实施方式

下面结合附图和具体的实施例对本发明作进一步的说明，但是不作为本发 明的限定。

实施例1：

情感能够反映人的短期状态，由于受到外界条件的变化或刺激，情感在短 时间内能够发生较大变化。OCC情感模型作为情绪合成的标准模型指定了22种 情绪类别，基于Ekman关于所有非基本情绪可以由基本情绪合成的理论，本发 明采用其定义的六种基本情感构建OCC情感空间，即愤怒(anger)、厌恶 (disgust)、恐惧(fear)、高兴(happiness)、悲伤(sadness)、惊奇(surprise)， 以向量形式表示为E＝[e_angry，e_disgust，e_fear，e_happy，e_sad，e_surprise]^T，其中各元 素取值范围为[0，1]，表示情感的强度。

心情作为情感与个性的中间量，反映的是人在一段时间内的情感状态。从 测量的角度来看，心情可以通过平均个体在一段时间内的情感状态来得到，然 而由于离散情感状态(如愤怒、厌恶、恐惧、高兴、悲伤)的组合不能有意义地平均，因此需要一个概念性的***来构建情绪的基本维度，于是本发明引入由 相互独立的三维构成的PAD心情空间，即愉悦度Pleasure(P)、唤醒度 Arousal(A)、支配度Dominance(D)，以向量形式表示为M＝[m_P，m_A，m_D]^T，元 素取值范围为[-1，1]。其中愉悦度Pleasure(P)描述积极情感状态与消极情感 状态的相对优势；唤醒度Arousal(A)衡量一个人被“高信息”(复杂的、变化 的、意想不到的)刺激唤醒的程度，以及恢复到基线水平的速度；支配度 Dominance(D)评估了一个人对其生活环境的控制感和影响力，以及被他人或事件控制和影响的感觉。

个性反映了个体之间在心理特征上的差异，在长期的过程中都不会发生较 大改变，因此本发明采用大五人格模型构建OCEAN人格空间，其5个因子分别 为：开明性(openness)，责任性(conscientiousness)，外向性(extFaveFsion)， 宜人性(agreeableness)，神经质(neuroticism)，以向量形式表示为 P＝[p_O，p_C，p_E，p_A，p_N]^T，元素取值范围为[-1，1]。其中开明性描述一个人的认 知风格，对经验寻求理解，以及对陌生情境的容忍和探索；责任性指控制、管 理和调节自身冲动的方式，评估个体在目标导向行为上的组织、坚持和动机；外向性表示人际互动的数量和密度、对刺激的需要以及获得愉悦的能力；宜人 性考察个体对其他人所持的态度；神经质反映个体情感调节过程，反映个体体验消极情绪的倾向和情绪不稳定性。

由于VGG是一类具有强大图像特征提取能力的经典深度卷积神经网络，因 此本文以在CK+数据集上训练的VGG-19作为视频-情感空间推理模型，建立 VGG-FACS-OCC模型，参照图1及图2，将意自然谈话视频V按时间切分若干图片帧Image_t，按固定频次对图片帧Image_t进行抽样得到若干抽样帧I_i，(i＝1，2，3， …，n)，设帧预处理函数为Pre，Pre具体为利用MTCNN人脸识别算法对抽样帧 I_i进行人脸目标检测，得到目标框集合B＝{b₁，b₂，…b_m}，其中， b_i＝(x_i，y_i，h_i，w_i，p_i)，x_i表示目标框的左上角横坐标，y_i表示目标框的左 上角纵坐标，h_i表示目标框的高度，w_i表示目标框的宽度，p_i表示目标框的置信 度；确定高度阈值h_t、宽度阈值w_t和置信度阈值p_t；对于任意b_i∈B，保留 B′＝{h_i＞h_t且w_i＞w_t且}；最后从B′中获取置 信度p_i最高的目标框b_*，根据b_*对I_i进行裁剪，并将裁剪后的I_i调整为特定大小 得到Pre(I_i)，得到情感空间向量E_i＝VGG(Pre(I_i))。

具体地，通过VGG将单帧图像转化为情感空间向量的方法为：假设要推理的 图片帧为像素矩阵VGG主要涉及的计算过程有卷积 层、全连接层、池化层三种，首先给出卷积运算的形式化表达：

，

其中s和p分别是步长和补零的层数，Z^l是第1层的输入且Z^0＝I，K为卷 积层的通道数，F是卷积核的高度和宽度，L_(1+1)为第1+1层卷积层输入的尺 寸，且有：σ(·)表示非线性激活函数，通常为线形整流函 数(ReLU)函数：ReLU(x)＝max(0，x)，对于输出通道数变换的情况，假设 输出通道数为K′，一般用K′个不同的卷积核进行多次二维卷积操作，然后再将 所有结果在通道维度上连接实现。

全连接层的形式化表达如下所示：

池化层的的形式化表达如下所示： 当p→∞时，池化操作成为最大池化，记为MaxPool_F，即取池化区域 内灰度值最大的像素值。即：/>

VGG的模型参数一般由预训练过程决定，其正向传播推理过程可形式化为：其中f_1，f_2，…，f_n表示神经网络的不同层次对应的函 数，/>表示函数复合，意即通过神经网络不同层次的函数复合完成模型前向传 播。对于VGG的一种实现方式，即VGG-19，其各层次的函数表达形式如图3 所示。

为调整VGG-19的参数，使得VGG-19有良好的FACS特征提取能力与情 感分类能力，本文用CK+数据集对VGG-19模型进行了训练。CK+数据集提供 了基于FACS提供了人脸图片的OCC情感标注。其FACS-OCC转化方式如下 图4所示。设FACS-AU强度向量为f，其每一维度表示与情感识别相关的FACS AU的强度，取值范围为[0，1]，将上述FACS-OCC转换法记为函数F2O(f)，则 对于训练集中的图片I和FACS-AU特征标签f，VGG模型的优化目标为： L(VGG(I)，F2O(f))＝CrossEntropy(VGG(I)，F2O(f))，其中交叉熵损失为：其中n为标签数量，对于本文中 的OCC情感分类问题，标签数量应当为6。通过批量梯度下降方式对VGG模 型以CK+数据集进行训练，最小化目标函数L，随着模型参数的调整，VGG的 隐层就可以进行FACS特征的提取，最终得到具体的OCC情感向量。

得到情感空间向量E_i＝VGG(Pre(I_i))后，计算情感空间向量到PAD心情 空间的映射，参照图5所示的PAD心情空间与情感的量化映射关系，其中情感惊讶(surprise)在原始PAD量表中无对应PAD值，我们通过观察原始量表中与惊 讶相似的情感对应的PAD值，进行分析后假定其PAD值分别为0.20、0.45、-0.45。 我们假设在上述量表中各个情感之间相互独立，当一种情感数值为最大值1， 且其余情感数值均为0时，可以映射到右侧对应的PAD值。于是，将上述量表形式化后，写为如下的映射关系：f_e(e＝1.0)＝[m_Pe，m_Ae，m_De]^T，e∈{e_angry，e_disgust，e_fear，e_happy，e_sad，e_surprise}，进一步，我们将其写为便于计算 机运算的矩阵乘法形式M_i＝K×E_i，其中为情感空间到心情空间的 转换矩阵，E_i为模为1的二值向量。通过人脸表情识别技术，我们得到情感向量为E_i＝[e_angry，e_disgust，e_fear，e_happy，e_sad，e_surprise]^T，而由于表中仅给出了离 散的对应关系，E的取值只能是1个1，5个0，例如[1，0，0，0，0，0]，[0，1，0，0，0，0]， 我们需要将其转化为一个连续的映射函数来得到与情感向量E_i对应的心情向量 M_i。于是，我们对公式进行扩展，得到心情空间向量M_i＝K×E′_i，此时E′_i为计 算机识别得到的情感向量，E′_i可以在其取值范围内取任意的值。接着计算心情 空间向量的算数平均得到平均心情空间向量

最后将平均心情空间向量M_v映射到OCEAN人格空间，通过线性回归建立心情 空间到个性空间的转换关系为：

Sophistication＝.16P+.24A+.46D

Conscientiousness＝.25P+.19D

Extraversion＝.29P+.59D

Agreeableness＝.74P+.13A-.18D

Emotional stability＝.43P-.49A

由于Sophistication和Openness都源于Cultural，因此本文假定Sophistication近 似认为与Openness同义。Emotional stability描述的是个人情绪的稳定性而Neuroticism描述的是个体情绪的不稳定性。因此假定Emotional stability与Neuroticism互为反义。即：Sophistication＝Openness；Emotional stability＝ -Neuroticism；从而得到由PAD心情空间到OCEAN人格空间的转换关系：

Openness＝.16P+.24A+.46D

Conscientiousness＝.25P++.19D

Extraversion＝.29P+.59D

Agreeableness＝.74P+.13A-.18D

Neuroticism＝-.43P+.49A

即人格空间向量P_e＝Z×M_v，其中，B为心情空间向量与人格空间向量的 转换矩阵，

为证实提出的认知建模及其计算机实现的可行性，本发明开展了相关实验， 研究对象为31位在校大学生，实验遵循心理学实验标准程序和范式。实验过程 如下，先对被测进行一段5-10分钟的访谈，访谈的内容以激发回忆与情感为主， 同时，实验中用摄像机记录下被试的表情。在访谈完成后，被测填写传统大五 人格量表。最后，通过对量表实验结果与传统大五人格量表的结果分别进行分 析，来实证模型的有效性。相关实验素材、原始数据与分析结果在GitHub中提 供开源访问。同时，关于视频的算法与结果分析处理，运行的硬件环境如下：内存：8GB；CPU：Inter(R)Core(TM)i5-7300HQ 2.50GHz 4核；***运行环境Debian 10。以被试ID为“lf”的视频数据为例进行处理流程如图6所示。

联邦认知模型(EFCM)数据处理主要过程如下，在大五人格实验中首先 与被试进行访谈，获取其视频流信息，之后利用VGG-19基于FACS-OCC情感建模将视频流数据处理为情感OCC特征数据，在结合OCC-OCEAN的认知建 模处理来最终获取被试的时序人格数据，并最终获取加权人格数据。

具体的处理流程如下。首先，通过基于CK+表情特征的FACS-OCC情感建 模，来从被试的视频流信息中获取OCC的六个表情维度时序数据，该过程处理 后的六维OCC情感时序数据如图7所示可知。被试在实验过程中OCC情感激 活情况在快乐(happy)与悲伤(sad)两种的情绪上进行不同程度的波动，且 较为频繁，而在愤怒(Angry)、尴尬(Disgust)、恐惧(Fear)、与惊喜(Surprise) 四种表情的激活相对有限。

根据上述输出的OCC六维情感时序数据，通过情感空间到心情空间的映射 处理，获取PAD的时序数据，如图8所示。

再结合的Mehrabian心情空间到个性空间的转换理论可以最终获取到动态 人格识别数据，即图9中的小圆点。同时结合心理学传统的大五人格量表，即 图9中大圆点。

根据图9可知大圆点所代表的传统大五人格数据落在算法可信识别区域内， 同时为了量化每种人格的偏差情况，我们通过计算全体被试的五种人格偏差率 来得知EFCM认知建模的准确率。具体的偏差率计算方法以开明性Openness 为例进行说明。其中Openness_rec_t表示通过算法对第t帧得到的Openness值，n表示总帧数， Openness表示由人格量表计算得到的Openness值，Openness_recmax表示所 有帧中由算法计算得到的最大的Openness值，Openness_recmin表示所有帧中 由算法计算得到的最小Openness值，为避免负数的情况，对分子取绝对值。

上式表示将算法得到的Openness值的算数平均与人格量表得到的 Openness值作差取绝对值与算法得到的Openness最小值与最大值之差的比值 即Openness偏差率。同理可分别得到Conscientiousness、Extraversion、 Agreeableness、Neuroticism偏差率如下：

根据上述计算方法，可得到图10所示EFCM认知模型的全体被试五种人 格偏差率表如下。

本法发提供的联邦认知模型在理论上打通了从视觉信息输入到最终大五人 格数据输出的全流程，并结合形式化进行了详尽的推导。模型在试验阶段证明 了，除了神经质这一种人格客观上无法被验证之外，实验结果证明，四种有效 测试的人格结果其平均偏差率在20.41％左右，即平均准确率在79.56％。

对于偏差率较大的神经质人格偏差结果，考虑到在实际测试过程中通过回 忆相对较难真实的捕捉生活中相对少见的负面情绪，故而影响了后续人格对比 结果中的被试神经质(Neuroticism)结果及偏差率。从心理学基础理论可以知 道神经质和大量负面情绪相关，而在标准的大五人格测试实验过程中，不会出现且不能刻意刺激被试负面情绪，因此被试在实验中神经质特性并不能精准的 测试并记录，客观上造成神经质Neuroticism人格的异常结果。若将模型应用于 实际场景之时，在被试无意识中被记录并进行分析，理论上是能够有效进行神 经质人格的测试。因此研究的下一步是对海量场景中，受到被试许可的前提下进行海量数据的观测和实验，用以验证联邦认知模型在大规模观测下的有效性。

以上对本发明的较佳实施例进行了描述；需要理解的是，本发明并不局限 于上述特定实施方式，其中未尽详细描述的设备和结构应该理解为用本领域中 的普通方式予以实施；任何熟悉本领域的技术人员，在不脱离本发明技术方案 作出许多可能的变动和修饰，或修改为等同变化的等效实施例，这并不影响本 发明的实质内容；因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所做的任何简单修改、等同变化及修饰，均仍属于本发明 技术方案保护的范围内。

Claims (1)

1.基于情感的OCC-PAD-OCEAN联邦认知建模方法，其特征在于，该方法包括以下步骤：

S1构建VGG-FACS-OCC模型，设FACS-AU强度向量为f，取值范围设定为[0,1]，将FACS-OCC的转换标记为函数F2O(f)；

设定VGG模型的优化目标为：

L(VGG(I),F2O(f))＝CrossEntropy(VGG(I),F2O(f))

交叉熵损失函数设置为：

通过批量梯度下降方式对VGG模型以CK+数据集进行训练，最小化目标函数L；

将被试视频按时间切分为若干图片帧Image_t，按固定频次对图片帧Image_t进行抽样得到若干抽样帧I_i，(i＝1,2,3，…,n)；

利用MTCNN人脸识别算法对抽样帧I_i进行人脸目标检测，得到目标框集合B＝{b₁，b₂，…b_m}，其中，b_i＝(x_i，y_i，h_i，w_i，p_i)，x_i表示目标框的左上角横坐标，y_i表示目标框的左上角纵坐标，h_i表示目标框的高度，w_i表示目标框的宽度，p_i表示目标框的置信度；

确定高度阈值h_t、宽度阈值w_t和置信度阈值p_t；对于任意b_i∈B，保留B′＝{h_i>h_t且w_i>w_t且

S123从B′中获取置信度p_i最高的目标框b_*，根据b_*对I_i进行裁剪，并将裁剪后的I_i调整为特定大小得到Pre(I_i)；

基于VGG的隐层进行FACS特征提取，将预处理后的抽样帧I_i映射到OCC情感空间，得到情感空间向量E_i，情感空间向量E_i＝VGG(Pre(I_i))；

S2计算心情空间向量M_i＝K×E_i，其中K为OCC情感空间与PAD心情空间的参数量化映射关系的转换矩阵；

将心情空间与人格空间的映射关系连续化，得到M_i＝K×E′_i；

计算平均心情空间向量

S3将平均心情空间向量映射到OCEAN人格空间，通过心情空间向量得到人格空间向量；人格空间向量P_e＝Z×M_v，其中Z为PAD心情空间到OCEAN人格空间的转换矩阵。