CN109464122B - 基于多模态数据的个体核心特质预测***及方法 - Google Patents

Abstract

本发明属于计算机软件技术领域，公开了一种基于多模态数据的个体核心特质预测***及方法，识别模块，用于甄别出与各个核心特质紧密相关的多模态数据变量作为预测模型的输入特征；预测模型建立模块，用于通过机器学***台，能够导出评估报告，并对相应结果进行可视化展示。通过多模态融合后的特征集合对目标变量进行预测，不仅能考虑各模态数据间的交互作用，同时也能够充分发挥各模态指标的优势，增加对目标变量的预测效力。

Description

基于多模态数据的个体核心特质预测***及方法

技术领域

本发明属于计算机软件技术领域，尤其涉及一种基于多模态数据的个体核心特质预测***及方法。

背景技术

目前，业内常用的现有技术是这样的：在人生发展历程中，影响个人身心发展和事业成功的特质有很多，其中，诸如人格、智力、情绪调节能力及创造力等核心特质更是尤为重要，通过某种客观的量化指标对各种核心特质进行预测评估始终是人们的兴趣焦点所在。目前，利用脑影像或基因等不同类型数据对个体核心特质的预测评估方案，往往仅基于某一单一模态数据，而随着机器学习的广泛应用，以及基因检测、脑影像扫描等数据采集技术的快速发展，本发明不仅能够更好地探索潜藏于个体特质性变量背后的遗传及神经机制，同时，也使得本发明有机会通过“大样本-多模态”(基因数据、脑影像学指标、生理指标，及问卷测查指标等)数据结合机器学习框架的方式对个体各方面核心特质进行预测评估。另一方面，随着“连接”概念的不断深入，人们期待以新颖的方式或评价标准，建立与他人的潜在连接关系。据此，利用脑影像等多模态数据以及聚类技术，本发明不仅可以得到对个体核心特质的预测，还能够将数据表征相似的个体聚为一类，随即可告知用户在人群之中谁与你最为相似，并且对不同的人群推送特定的心理学相关资讯等。

综上所述，现有技术存在的问题是：

(1)现有技术往往通过采集大量心理学测量问卷的手段来达到对个体核心特质的预测效果，过程繁琐而费时。

(2)由于难以在大样本中同时采集多种不同模态的数据，当前针对个体核心特质的预测方案往往采用单一模态数据作为预测指标，未能在更大程度上整合潜藏于多模态数据中的有效信息，从而达到更好的预测效果。

(3)类似技术通常仅提供预测评估报告，但未能很好满足用户其他方面的需求，如根据相似性进行社交的需求和接收具有针对性资讯的需求。

解决上述技术问题的难度和意义：

(1)大量研究证据表明，脑影像、基因及生理数据皆具有心理意义，能够在很大程度上反映出个体的多方面特质；并且，随着技术的发展，尤其是脑成像技术与基因检测技术的普遍使用，相应指标的获取越来越方便，相较于传统心理学测量问卷，本发明通过脑影像等多模态数据对个体关键特质进行评估，不仅耗时更短，且能够获得远多于传统评估方式的信息量。

(2)采用多模态数据进行模式识别已广泛流行于各个领域，相较于仅采用单一模态数据，其在信息表达的效率及完整性上都大为提升。因此，本发明依托于大样本的多模态数据，对个体核心特质的预测将具有明显的优势。

(3)除预测评估这一主要功能之外，本发明配备有相应的应用平台，使得用户的评估报告更有实际应用价值。

发明内容

针对现有技术存在的问题，本发明提供了一种基于多模态数据的个体核心特质预测***及评测报告一体化平台。

所述基于多模态数据的个体核心特质预测***及评测报告一体化平台包括：

识别模块，用于甄别出与各个核心特质紧密相关的多模态数据变量作为预测模型的输入特征；

预测模型建立模块，用于融合多模态特征，通过弹性网络回归手段，建立对相应目标变量具有实际预测效果的预测模型；

验证模块，用于通过样本内部交叉验证，及跨样本外部验证后，保留信效度良好的预测模型作为预测***的核心；

预测与分类模块，用于利用预测模型，对新输入的用户多模态数据进行预测，并输出各维度核心特质的预测值；此外，根据多模态数据的表征相似性，将用户群划归至不同的类。

评测报告模块，用于导出相应的评估报告，并对相应结果进行可视化展示；此外，基于评测结果，推送对应于特定群体的心理学相关资讯，以及为同类人搭建社交渠道。

本发明的另一目的在于提供一种应用所述基于多模态数据的个体核心特质预测***的预测分析框架，所述预测分析框架包括以下步骤：

步骤一，基于大样本多模态数据集，通过一般线性回归方法，构建各模态数据与个体不同核心特质之间在单变量水平上的相关关系，同时以相关学术研究为依托，辅以一定假设前提，并配合以元分析手段锚定与核心特质相关的多模态特征，此种特征将作为之后准备建立的预测模型的输入特征，进行更深层次水平上的探究；

步骤二，由于多模态数据中可能涉及高达数以万计的维度，从而造成所谓“维数灾难”，以此训练出来的模型可能有过拟合的问题，对模型预测准确度和泛化能力造成损失。为避免由于过拟合而造成该模型的泛化能力较差，我们将上一阶段锚定的多模态特征用自编码器进行降维处理，在最大程度保留原始数据信息的情况下，减少冗余特征，从而达到多模态特征融合的效果，优化模型对外来样本的泛化能力；

步骤三，使用弹性网络回归的方法建立降维之后的多模态特征与各个核心特质之间的关系，进而生成预测模型，同时通过样本内部交叉验证，以及跨独立样本(不参与特征选择过程)的外部验证后，保留信效度良好的预测模型作为预测***的核心(该过程是动态的，随着新样本的不断加入，模型参数将不断更新调整至最优，即模型具有学习能力)；

步骤四，根据多模态特征的表征相似性，采用自适应仿射传播聚类将人群进行聚类，该聚类方法能够在较短的时间内处理大规模数据集，是适合于多模态特征的数据聚类算法，并且可以根据样本在特征空间中的相似性对样本进行自然的聚类，自动优化最终簇类的个数，而不需要事先人为指定簇类的个数，最终输出每个个体的分类标签，其中，该算法以样本点之间的相似度矩阵为输入，相似度定义为两个样本点之间欧氏距离平方的负数，算法还引入了归属度矩阵和吸引度矩阵，分别代表样本点i选择j作为其类代表的适合程度，和样本点j适合作为样本点i的类代表点的代表程度，在计算过程中通过这两个信息矩阵的迭代更新，来优化聚类的目标函数从而达到效果最好的聚类结果。；

本发明的另一目的在于构建个性化的评测报告服务平台，所述评测报告包括以下内容：

1.个体不同模态数据的可视化展示，呈现依据大样本构建的常模，以及个体数据在常模分布中的位置，数据涉及多种模态，多个领域，通过呈现较通俗易懂的统计图表，数据和文字，不仅展示常模数据的分布，个体还能全方位了解到自己在常模中所处位置，为接下来测评结果的解释作铺垫，增加解释的可信度；

2.个体核心特质的评测结果，为个体提供多个方面特质的预测结果，包括抑郁症诊断预测，幸福感指标预测，创造性预测，尽责性预测，心理复原力预测等等。每一项预测结果都会根据多个模态，大量自建样本的分析和已有研究得出，比如，通过对自建样本的分析和大量已有研究的查阅，我们得到了高创造性思维能力主要与执行控制、注意力和记忆提取网络之间的高功能连接模式有关这样一个结论，接下来，我们就能根据收集到的个体的这些网络的脑连接模式对个体的创造性思维进行有效预测。在测评结果的呈现上，我们会对数据进行客观易懂的解释，针对每个特质进行具体描述，以及专业术语的解释等等，尽量使个体充分了解数据的确切含义；

3.个体所属的群体以及该群体的行为特点，针对群体，比如企业，班级等，提供更具个性化的分析，提供有关于群体的更丰富的信息，并且，若用户设置同组人可见，则同组内的其他用户可见该用户愿意展示的信息，同时用户可见当前样本中(公开资料的部分)与自己的多模态表征最为相似的前10名用户基本信息，提升测评的趣味性和实用性；

4.通过邮件推送符合特定人群心理需求的心理学资讯，提供周到的后续服务，具体内容可涉及一般性的心理学知识及大众感兴趣研究报告，以及针对特定群体的资讯，如为潜在情绪障碍或高负性情绪者提供心理干预方案及心理咨询热线，或为某些儿童青少年提供适宜的认知训练方案；本发明的另一目的在于提供一种实现所述基于多模态数据的个体核心特质预测方法的计算机程序。

本发明的另一目的在于提供一种实现所述基于多模态数据的个体核心特质预测方法的信息数据处理终端。

本发明的另一目的在于提供一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行所述的基于多模态数据的个体核心特质预测方法。

综上所述，本发明的优点及积极效果为：

(1)磁共振脑影像是预测个体大脑健康状况及各方面心理特征的良好模态指标；磁共振脑影像具有高空间分辨率的特点，能够更加精确地获取脑区解剖结构或血样变化等信息，同时，数据获取方便快捷，一般仅需5-8分钟左右的扫描时间，便可获得具有生理意义的影像学指标，在高校、医院或健康中心等机构受到广泛应用。在实际应用层面：首先，本发明能够有效预测个体人格、智力、情绪及创造性等方面的心理特征，打破了以往仅能通过繁复的心理学问卷考察个体心理特征的局面，简化了必要信息的采集过程；除此之外，还能对各种脑部病变或精神疾病进行有效检测或预警，比如，一个前额叶异常萎缩的个体很可能在未来表现出认知功能受损或者痴呆的症状。

(2)遗传信息(基因数据)是预测个体身心健康状况及核心特质的重要途径。个体自出生起，便携带着父母的优秀基因，随后在成展过程中不断地将这些优秀基因通过行为表现出来，然而，个体同时也会携带某些疾病风险基因，与生活环境发生交互作用，进而影响个体的健康状况，如阿尔茨海默症便是一种多基因遗传性疾病。基因不仅能够预测个体健康状况，还能够预测诸如人格等方面的核心特质。

(3)多模态数据相较于单一模态数据在预测上具有更大的优势。通过多模态融合后的特征集合对目标变量进行预测，不仅能考虑各模态数据间的交互作用，同时也能够充分发挥各模态指标的优势，增加对目标变量的预测效力。

(4)基于多模态数据预测***的多方位的评测报告功能够提供用户更为丰富的评估信息，使用户能够了解自己的核心特质、脑结构及功能是否异常、遗传上是否存在潜在的疾病风险、自己所属的人群都有哪些共性，同时***提供与同类人的交流平台，以及获取针对特定群体的更为有益的资讯。

附图说明

图1是本发明实施例提供的基于多模态数据的个体核心特质预测***的结构示意图；

图2是本发明实施例提供的基于多模态数据的个体核心特质预测方法流程图。

图3是本发明实施例提供的部分测评报告结果示意图。A、脑结构数据的可视化展示；B、相关指标在人群中的分布；C、基于多模态数据，对个部分体核心特质的预测结果。

图4是本发明实施例提供的对人群聚类效果及群体行为特点示意图。

图5是本发明实施例提供的针对特定群体的心理学及认知神经科学信息推送服务示意图。

图6是本发明实施例提供的不同分类器准确率图。

图7是本发明实施例提供的分类准确率最高时筛选出的脑区与脑区间连接示意图。

图8是本发明实施例提供的不同模型的预测表现，越高表示预测效果越好

图9是本发明实施例提供的主观幸福感的神经和基因基础；(A)和主观幸福感正相关的功能连接；(B)和主观幸福感负相关的功能连接；(C)和主观幸福感相关的子网络；(D)和主观幸福感得分相关的多基因分数。

图10是本发明实施例提供的使用全脑功能连接和基因组信息预测图画创造力流程图。

图11是本发明实施例提供的图画创造力的神经和遗传基础概述。

图12是本发明实施例提供的神经网络预测模型方法示意图。

图13是本发明实施例提供的显著预测尽责性的功能连接示意图；(A)连接矩阵图；(B)大脑连接模式。

图14是本发明实施例提供的独立成分分析分离出的73个成分示意图。

图15是本发明实施例提供的(A)模型预测值与观测到的心理复原力分数之间的相关；(B)在预测中具有贡献的大脑连接。

图中：1、识别模块；2、预测模型建立模块；3、验证模块。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明基于多模态数据的个体核心特质预测***及评测报告一体化平台：将多模态数据(磁共振影像数据、基因数据、基础生理指标及个体基本信息)作为***输入端的特征变量，将人格、智力、情绪调节能力及创造力等核心特质作为***输出端的预测变量；同时从个体多模态数据的描述性报告、核心特质的预测评估结果及心理学意义分析、所属人群以及该群体的心理行为特点，以及具有针对性的心理学资讯等方面为用户提供相应信息。

下面结合附图对本发明的应用原理作详细的描述。

如图1所示，本发明实施例提供的基于多模态数据的个体核心特质预测***包括：

识别模块1，用于甄别出与各个核心特质紧密相关的多模态数据变量作为预测模型的输入特征；

预测模型建立模块2，用于通过机器学习手段，融合多模态特征，建立对相应目标变量(个体特质)具有实际预测效果的预测模型；

验证模块3，用于通过样本内部交叉验证，及跨样本外部验证后，保留信效度良好的预测模型作为预测***的核心，并搭载配套的智能化平台，能够导出评估报告，并对相应结果进行可视化展示。

如图2所示，本发明实施例提供的基于多模态数据的个体核心特质预测方法包括以下步骤：

S201：甄别出与各个核心特质紧密相关的多模态数据变量作为预测模型的输入特征；

S202：通过机器学习手段，融合多模态特征，建立对相应目标变量(个体特质)具有实际预测效果的预测模型；

S203：通过样本内部交叉验证，及跨样本外部验证后，保留信效度良好的预测模型作为预测***的核心，并搭载配套的智能化平台，能够导出评估报告，并对相应结果进行可视化展示。

本发明实施例提供的基于多模态数据的个体核心特质预测***前期已经采集有3000多人次5-80岁样本的多模态数据，包括：脑影像(静息态功能像、任务态功能像、T1加权像及弥散加权像)、基因(血液样本)、生理指标(如身高、体重、心率及血压等)、人口统计学信息(如性别、年龄、教育背景及家庭收入水平等)与针对各个核心特质的心理测量分数(如人格、智力、工作记忆、情绪调节能力及创造性等)。计划基于现有基础，扩充及完善多模态数据库。针对个体的评估报告，为个体提供个性化的服务，内容包括：推送一般性的心理学知识及大众感兴趣研究报告；为情绪障碍或高负性情绪者提供心理干预方案及心理咨询热线；为儿童青少年提供适宜的认知训练方案，同时根据其特长，开办创新课堂。另一方面，根据用户的实际反馈，对***的预测模型进行修正与完善。

如图3所示，本发明实施例提供的部分测评报告结果示意图。

A、脑结构(灰质体积)数据的可视化展示(图中红色区域代表相应脑区灰质体积显著大于同年龄组平均水平，蓝色区域代表相应脑区灰质体积显著小于同年龄组平均水平)；

B、相关指标(以全脑灰质体积为例)在人群中的分布；

C、基于多模态数据，对个部分体核心特质的预测结果。

如图4所示，本发明实施例提供的对人群聚类效果及群体行为特点示意图。

如图5所示，本发明实施例提供的针对特定群体的心理学及认知神经科学信息推送服务示意图。

下面结合具体实施例对本发明进行进一步说明；

实施例1

本发明实施例提供的基于多模态数据的个体核心特质预测***前期已经采集有3000多人次5-80岁样本的多模态数据，包括：脑影像(静息态功能像、任务态功能像、T1加权像及弥散加权像)、基因(血液样本)、生理指标(如身高、体重、心率及血压等)、人口统计学信息(如性别、年龄、教育背景及家庭收入水平等)与针对各个核心特质的心理测量分数(如人格、智力、工作记忆、情绪调节能力及创造性等)。计划基于现有基础，扩充及完善多模态数据库。针对个体的评估报告，为个体提供个性化的服务。另一方面，根据用户的实际反馈，对***的预测模型进行修正与完善。

本发明分析了抑郁情绪、主观幸福感、尽责性、心理复原力及情绪调控能力等心理行为特质与大脑结构、功能及基因之间的关联关系，初步结果呈现如下：

1.基于部分脑网络的抑郁症诊断

如图6和图7所示，本发明是基于抑郁症患者与正常人脑网络间的差异来预测抑郁症。本发明使用了281个抑郁症患者，252个对照健康被试的静息态核磁共振图像，使用标准脑模板将全局脑划分成264个脑区。脑区的时间序列两两做相关得到每个被试的功能连接矩阵。使用抑郁症得分找到全脑功能网络中的特征边，卡多个阈值筛选出与抑郁症得分相关的脑网络。将筛选出来的边分别使用SVM、逻辑回归，卷积神经网络、深度神经网络等分类方法训练成抑郁症分类器。

实验结果证明逻辑回归算法在训练时间，准确率上一定程度上优于其他分类算法。实验结果如图6。并根据分类正确率最高的阈值筛选出相关脑网络，结果如图7。通过对抑郁脑网络的研究，可以更好的关注到军人的心理健康情况。

2.基于多模态数据预测幸福感指标

如图8和图9所示，本发明使用了多个行为指标、基因数据、被试的静息态功能像和结构像数据共同来预测被试的主观幸福感。使用主观幸福感问卷来测量被试的幸福感指标，与主观幸福感相关的行为指标，例如：自尊，行为抑制，生活事件压力，知觉压力，躯体心理紧张，情绪管理，UCLA孤独，特质-状态焦虑等，都可以作为行为方面的预测因素，结构成像方面，本发明使用基于体素形态的方法获取每个体素的灰质量；功能成像方面，本发明使用全脑的功能网络连接矩阵；基因采用371229个单核苷酸多态性作为预测指标。最终发现多个指标结合预测效果最好。通过对幸福感的预测，本发明可以更好的去衡量军人的生活满意程度。

3.基于多模态数据预测创造性

如图10和图11所示，预测分析发现，单一的静息态脑功能连接和基因数据分别能够较好的预测创新思维。而且，结合两种模态后对个体创造性分数的预测率高达78.4％。该研究首次揭示了创造性思维的神经机制和基因基础，表明创造性不仅仅与执行控制网络，注意网络，记忆网络有关，也与编码兴奋性和抑制性神经递质的遗传基因有关。

4.基于大五人格预测尽责性

如图12和图13所示，本发明采用大五人格问卷测量了365名大学生的尽责性，并应用基于脑网络的预测模型，对大学生的尽责性进行预测。根据这一方法，本发明首先根据中科院划分的大脑图谱计算出每个被试大脑246个区域的功能连接矩阵，然后使用留一交叉验证将被试划分为训练集和测试集，在训练集中使用皮尔逊相关分析选择出与尽责性的相关系数p值小于0.01的连接，再将所有相关连接的强度值进行加和并进行多元二次回归模型分析。最后，根据所得的回归方程预测测试集中的被试的尽责性分数，并计算预测值和真实值的相关程度。结果表明，这一模型可以在一定程度上预测大学生的尽责性(r＝0.172,p<0.001),尽责性与广泛的大脑连接模式有关。

5.基于静息态脑网络预测个体心理复原力

如图14和图15所示，心理复原力是指个体在面临困境、威胁、创伤或其他重大压力情境下，能够良好适应并且找出应变方法的能力。本发明采用心理复原力量表测量了212个大学生的心理复原力得分，并且所有被试均进行8分钟的静息态MRI扫描。然后利用主成分分析的方法将静息态数据分离出73个成分，组成8个大尺度脑网络，结合机器学习算法，研究了静息态下的大脑功能网络连接是否能够有效预测个体的复原力。结果发现，静息态下大尺度的功能网络连接能够有效预测个体复原力(r＝0.19,p＝0.013)，主要脑区涉及初级皮层，如视觉网络和感觉运动网络，和高级联合皮层，如默认网络和执行控制网络，以及一些皮下组织。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用全部或部分地以计算机程序产品的形式实现，所述计算机程序产品包括一个或多个计算机指令。在计算机上加载或执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输)。所述计算机可读取存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘SolidState Disk(SSD))等。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种基于多模态数据的个体核心特质预测***，其特征在于，所述基于多模态数据的个体核心特质预测***将多模态数据作为***输入端的特征变量；将智力、情绪调节能力及创造力核心特质作为***输出端的预测变量；同时从个体多模态数据的描述性报告、核心特质的预测评估结果及心理学意义分析、所属人群以及该群体的心理行为特点，以及具有针对性的心理学资讯为用户提供相应信息；

所述基于多模态数据的个体核心特质预测***包括：

识别模块，用于甄别出与各个核心特质紧密相关的多模态数据变量作为预测模型的输入特征；

预测模型建立模块，用于通过机器学习手段，融合多模态特征，建立对相应目标变量具有实际预测效果的预测模型；

验证模块，用于通过样本内部交叉验证，及跨样本外部验证后，保留信效度良好的预测模型作为预测***的核心，并搭载配套的智能化平台，导出评估报告，并对相应结果进行可视化展示；

所述多模态数据包括：磁共振影像数据、基因数据、基础生理指标及个体基本信息；

实施基于多模态数据的个体核心特质预测***的个体核心特质预测方法包括以下步骤：

步骤一，甄别出与各个核心特质紧密相关的多模态数据变量作为预测模型的输入特征；

步骤二，通过机器学习手段，融合多模态特征，建立对相应目标变量具有实际预测效果的预测模型；

步骤三，通过样本内部交叉验证，及跨样本外部验证后，保留信效度良好的预测模型作为预测***的核心，并搭载配套的智能化平台，导出评估报告，并对相应结果进行可视化展示；

所述基于多模态数据的个体核心特质预测***还包括评测报告一体化平台；所述评测报告一体化平台的评测报告包括：

(1)个体不同模态数据的可视化展示，呈现依据大样本构建的常模，以及个体数据在常模分布中的位置；

(2)个体核心特质的评测结果；

(3)个体所属的群体以及该群体的行为特点，若用户设置同组人可见，则同组内的其他用户可见该用户愿意展示的信息，同时用户可见当前样本中与自己的多模态表征最为相似的前10名用户基本信息；

(4)通过邮件推送符合特定人群心理需求的心理学资讯，具体内容可涉及一般性的心理学知识及大众感兴趣研究报告，以及针对特定群体的资讯，为潜在情绪障碍或高负性情绪者提供心理干预方案及心理咨询热线，或为某些儿童青少年提供适宜的认知训练方案。

2.一种搭载权利要求1所述基于多模态数据的个体核心特质预测***的信息数据处理终端。

3.一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行如权利要求1所述的基于多模态数据的个体核心特质预测***。

Images