CN113837445A - 基于注意力机制的人格预测方法及*** - Google Patents

基于注意力机制的人格预测方法及*** Download PDF

Info

Publication number
CN113837445A
CN113837445A CN202110997174.XA CN202110997174A CN113837445A CN 113837445 A CN113837445 A CN 113837445A CN 202110997174 A CN202110997174 A CN 202110997174A CN 113837445 A CN113837445 A CN 113837445A
Authority
CN
China
Prior art keywords
user
personality
data
social
feature vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110997174.XA
Other languages
English (en)
Inventor
孙见山
徐其瑜
刘业政
姜元春
袁昆
柴一栋
钱洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei University of Technology
Original Assignee
Hefei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei University of Technology filed Critical Hefei University of Technology
Priority to CN202110997174.XA priority Critical patent/CN113837445A/zh
Publication of CN113837445A publication Critical patent/CN113837445A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/01—Social networking

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Strategic Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • General Business, Economics & Management (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Tourism & Hospitality (AREA)
  • Marketing (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Primary Health Care (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Development Economics (AREA)
  • Game Theory and Decision Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供一种基于注意力机制的人格预测方法及***，涉及深度学习技术和人格预测技术领域。本发明首先获取用户人格数据和包括用户社交数据的用户行为数据；然后基于用户行为数据获取模型训练数据，并基于模型训练数据获取特征向量；再基于特征向量和注意力机制网络生成用户不同人格维度的用户特征向量；最后基于用户人格数据和用户不同人格维度的所述用户特征向量训练基于注意力机制的人格预测模型获取多任务人格预测模型，并基于多任务人格预测模型进行人格预测。本发明不仅提升了人格预测的精度和有效性，同时还提升了用户人格预测的整体效果。

Description

基于注意力机制的人格预测方法及***
技术领域
本发明涉及深度学习技术和人格预测技术领域，具体涉及一种基于注意力机制的人格预测方法及***。
背景技术
人格作为个人最主要的特征之一，是指个体在对人、对事、对己等方面的社会适应过程中行为上的内部倾向性和心理特征。人格特征会影响人的行为模式，同时，人的行为模式也能反映出个人的人格。随着互联网的迅速发展以及社交媒体平台的不断增加，用户在社交媒体平台上会产生多种行为，利用用户的多模态行为特征可以预测用户的人格特征，进而了解用户的心理特征，这对社交网络分析、产品推荐***、欺骗检测、情感和意见挖掘等领域都有着重要价值。
现有技术在预测用户人格特征时多采用深度学习方法，对用户单一行为产生的数据(如用户文本数据或用户点赞数据)进行分析来预测用户的人格特征；或者简单串联用户的两种行为进行人格预测研究。
上述方法虽然能够在一定程度上对用户的人格进行预测，但是却存在不足：使用用户单一行为进行用户人格预测时，表现出的人格维度会因为数据单一而不完整；而简单串联用户两种行为进行人格预测，会由于未对不同行为影响用户不同人格维度的重要性进行区分，会使得人格预测精度较低。综上可知，现有技术在对用户人格进行预测时存在准确性低的问题。
发明内容
(一)解决的技术问题
针对现有技术的不足，本发明提供了一种基于注意力机制的人格预测方法及***，解决了现有技术在对用户人格进行预测时存在准确性低的问题。
(二)技术方案
为实现以上目的，本发明通过以下技术方案予以实现：
第一方面，本发明首先提出了一种基于注意力机制的人格预测方法，所述方法包括：
获取用户人格数据和包括用户社交数据的用户行为数据；
基于所述用户行为数据获取模型训练数据，并基于所述模型训练数据获取特征向量；
基于所述特征向量和注意力机制网络生成用户不同人格维度的用户特征向量；
基于用户人格数据和不同人格维度的所述用户特征向量训练基于注意力机制的人格预测模型获取多任务人格预测模型，并基于所述多任务人格预测模型进行人格预测。
优选的，所述用户行为数据包括：用户文本数据、用户点赞数据和用户社交数据。
优选的，所述基于所述用户行为数据获取模型训练数据，并基于所述模型训练数据获取特征向量包括：
S21、分别基于预设值对所述用户文本数据、用户点赞数据和用户社交数据进行预处理，获取模型训练数据；所述模型训练数据包括文本训练数据、点赞训练数据和社交训练数据；
S22、基于所述文本训练数据利用Bert模型和卷积操作获取文本特征向量；基于点赞训练数据利用SVD奇异值分解方法获取偏好特征向量；基于社交训练数据利用Node2Vec方法获取用户的社交特征向量。
优选的，所述基于所述特征向量和注意力机制网络生成用户不同人格维度的用户特征向量包括：
将所述文本特征向量、偏好特征向量、社交特征向量输入到注意力机制网络中，获取每个特征在预测用户不同维度人格时所对应的权重，然后将每种特征向量乘以其对应的权重值并相加求和，获取用户不同人格维度的用户特征向量。
优选的，所述基于用户人格数据和不同人格维度的所述用户特征向量训练基于注意力机制的人格预测模型包括：
h1i＝W1i·Vi+b1
h’1i＝ReLu(h1i)
h2i＝W2i·h’1i+b2
h’2i＝ReLu(h2i)
h3i＝W3i·h’2i+b3
Figure BDA0003234223080000031
Vi＝aDi*D_vec+aLi*L_vec+aSi*S_vec
Figure BDA0003234223080000032
Figure BDA0003234223080000033
其中，Vi表示第i种人格的用户特征向量；D_vec表示用户文本特征向量；aDi表示第i种人格维度用户文本特征向量的权重系数；L_vec表示用户偏好特征向量；aLi表示第i种人格维度用户偏好特征向量的权重系数；S_vec表示用户社交特征向量；aSi表示第i种人格维度用户社交特征向量的权重系数；h1i表示三层全连接层中第一层的输出；h’1i表示h1i经过激活函数的输出；h2i表示三层全连接层中第二层的输出；h’2i表示h2i经过激活函数的输出；h3i表示三层全连接层中第三层的输出；Relu为激活函数；f0(x)函数为映射函数；Loss表示各个人格维度预测任务的均方误差；yi表示用户人格分数；
Figure BDA0003234223080000034
表示预测的用户人格分数；n表示人格维度的个数。
第二方面，本发明还公开了一种基于注意力机制的人格预测***，所述***包括：
原始数据获取模块，获取用户人格数据和包括用户社交数据的用户行为数据；
特征向量获取模块，用于基于所述用户行为数据获取模型训练数据，并基于所述模型训练数据获取特征向量；
用户特征向量获取模块，基于所述特征向量和注意力机制网络生成用户不同人格维度的用户特征向量；
人格预测模块，用于基于用户人格数据和不同人格维度的所述用户特征向量训练基于注意力机制的人格预测模型，获取多任务人格预测模型，并基于所述多任务人格预测模型进行人格预测。
优选的，所述原始数据获取模块中所述用户行为数据包括：用户文本数据、用户点赞数据和用户社交数据。
优选的，所述特征向量获取模块中基于所述用户行为数据获取模型训练数据，并基于所述模型训练数据获取特征向量包括：
S21、分别基于预设值对所述用户文本数据、用户点赞数据和用户社交数据进行预处理，获取模型训练数据；所述模型训练数据包括文本训练数据、点赞训练数据和社交训练数据；
S22、基于所述文本训练数据利用Bert模型和卷积操作获取文本特征向量；基于点赞训练数据利用SVD奇异值分解方法获取偏好特征向量；基于社交训练数据利用Node2Vec方法获取用户的社交特征向量。
优选的，所述用户特征向量获取模块中基于所述特征向量和注意力机制网络生成用户不同人格维度的用户特征向量包括：
将所述文本特征向量、偏好特征向量、社交特征向量输入到注意力机制网络中，获取每个特征在预测用户不同维度人格时所对应的权重，然后将每种特征向量乘以其对应的权重值并相加求和，获取用户不同人格维度的用户特征向量。
优选的，所述人格预测模块中基于用户人格数据和不同人格维度的所述用户特征向量训练基于注意力机制的人格预测模型包括：
h1i＝W1i·Vi+b1
h’1i＝ReLu(h1i)
h2i＝W2i·h’1i+b2
h’2i＝ReLu(h2i)
h3i＝W3i·h’2i+b3
Figure BDA0003234223080000051
Vi＝aDi*D_vec+aLi*L_vec+aSi*S_vec
Figure BDA0003234223080000052
Figure BDA0003234223080000053
其中，Vi表示第i种人格的用户特征向量；D_vec表示用户文本特征向量；aDi表示第i种人格维度用户文本特征向量的权重系数；L_vec表示用户偏好特征向量；aLi表示第i种人格维度用户偏好特征向量的权重系数；S_vec表示用户社交特征向量；aSi表示第i种人格维度用户社交特征向量的权重系数；h1i表示三层全连接层中第一层的输出；h’1i表示h1i经过激活函数的输出；h2i表示三层全连接层中第二层的输出；h’2i表示h2i经过激活函数的输出；h3i表示三层全连接层中第三层的输出；Relu为激活函数；f0(x)函数为映射函数；Loss表示各个人格维度预测任务的均方误差；yi表示用户人格分数；
Figure BDA0003234223080000054
表示预测的用户人格分数；n表示人格维度的个数。
(三)有益效果
本发明提供了一种基于注意力机制的人格预测方法及***。与现有技术相比，具备以下有益效果：
1、本发明基于获取的包括用户社交数据的用户行为数据获取模型训练数据，并基于模型训练数据获取特征向量；然后基于特征向量和注意力机制网络生成用户不同人格维度的用户特征向量；最后基于获取的用户人格数据和用户不同人格维度的所述用户特征向量训练基于注意力机制的人格预测模型，最终获取多任务人格预测模型，利用所述多任务人格预测模型即可进行人格预测。本发明提升了人格预测的精度和有效性，同时本发明的预测模型可从不同维度预测用户的人格，相较于只能预测用户单个人格维度人格预测算法，不仅节省了计算资源，且可以更好地综合评估人格预测效果，提升用户人格预测的整体效果。
2、本发明选取和融合包括用户社交数据在内的多种用户行为数据，用于人格预测，不仅充分发挥了代表用户社交行为的用户社交数据对于人格预测的重要性和有效性，同时还弥补了单一特征对于用户人格预测不足的情况，提升了人格预测的精度。
3、本发明利用注意力机制学习每种用户行为特征对于不同人格维度的贡献权重，从而在五个人格维度预测时综合提升了预测精度。
4、本发明构建的多任务人格预测模型可以得到用户五个人格维度的评分，相较于针对单个人格维度单独建模优化预测的方法，不仅可以节省计算资源，还可以更好地综合评估人格预测效果，提升用户人格预测的整体效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例中基于注意力机制的人格预测方法的总流程图；
图2为本发明实施例中基于注意力机制的人格预测方法流程图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本申请实施例通过提供一种基于注意力机制的人格预测方法及***，解决了现有技术在对用户人格进行预测时存在准确性低的问题，实现精准预测多任务人格的目的。
本申请实施例中的技术方案为解决上述技术问题，总体思路如下：
为了在整体上更精准的预测用户的人格评分，本发明融合了包括用户社交数据在内的多种用户行为数据；并利用注意力机制网络学习和生成不同用户行为特征对于各种维度人格预测的影响权重，经过训练之后，获取多任务人格预测模型，用户基于多任务人格预测模型便可进行人格预测。该方法提升了人格预测的精度和有效性，且在只构建一个模型的前提下，能从用户不同人格维度预测用户的人格评分，提升了用户人格预测的整体效果。
为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。
实施例1：
第一方面，本发明首先提出了一种基于注意力机制的人格预测方法，参见图1，该方法包括：
S1、获取用户人格数据和包括用户社交数据的用户行为数据；
S2、基于所述用户行为数据获取模型训练数据，并基于所述模型训练数据获取特征向量；
S3、基于所述特征向量和注意力机制网络生成用户不同人格维度的用户特征向量；
S4、基于用户人格数据和用户不同人格维度的所述用户特征向量训练基于注意力机制的人格预测模型，获取多任务人格预测模型，并基于所述多任务人格预测模型进行人格预测。
可见，本发明基于获取的包括用户社交数据的用户行为数据获取模型训练数据，并基于模型训练数据获取特征向量；然后基于特征向量和注意力机制网络生成用户不同人格维度的用户特征向量；最后基于获取的用户人格数据和用户不同人格维度的所述用户特征向量训练基于注意力机制的人格预测模型，最终获取多任务人格预测模型，利用所述多任务人格预测模型即可进行人格预测。本发明提升了人格预测的精度和有效性，同时本发明的预测模型可从不同维度预测用户的人格，相较于只能预测用户单个人格维度人格预测算法，不仅节省了计算资源，且可以更好地综合评估人格预测效果，提升用户人格预测的整体效果。
下面结合对具体步骤的解释，来详细说明本发明一个实施例的实现过程。参见图2，基于注意力机制的人格预测方法，具体为：
S1、获取用户人格数据和包括用户社交数据的用户行为数据。
本实施例从Facebook社交平台中获取用户的人格数据和包括用户社交数据的用户行为数据。具体的：
1)获取用户行为数据。用户行为数据主要包括用户发布状态(帖子)的用户文本数据、用户点赞数据和用户社交数据。
用户发布状态(帖子)的用户文本数据是指用户在社交媒体平台发布的状态内容，用户发布一个状态的文本内容看作一条记录，记为senti，其中i表示文本的序号；
用户点赞数据是指用户对其他用户发布的内容进行点赞的记录，用户点赞一条其他用户发布的内容作为一条记录，记为likej，其中j表示被点赞项目的序号；
用户社交数据是指用户关注其它用户(例如，好友)的记录，用户关注其它用户记作一条社交好友记录，记为friendl，其中l表示被关注的用户序号。
2)获取用户人格数据。用户人格数据是大五人格的五个维度的得分，分值是1-5分之间的数。
大五人格是一种人格特质理论模型，是近年来被研究者支持最多且应用最广的人格表达形式。大五人格模型将人格划分成外向性、神经质、宜人性、尽责性和开放性的五个特质维度，可以基于各个特质维度给出定量的结果。在获取用户人格数据时，可以通过志愿者问卷数据分析获得大五人格的各维度分数。
S2、基于所述用户行为数据获取模型训练数据，并基于所述模型训练数据获取特征向量。
基于用户行为数据获取模型训练数据。对上述的用户文本数据、用户点赞数据和用户社交数据分别进行预处理，分别得到文本训练数据、点赞训练数据和社交训练数据。
首先，对上述被获取数据的用户进行筛选预处理，保留有效用户及其所对应的用户行为数据。保留的有效用户应同时满足以下条件：该用户发表状态条数超过预设值(本实施例中设定发表状态条数的预设值为19)；该用户点赞其他用户的发表内容超过预设值(本实施例中设定点赞记录数据的预设值为1)，且其点赞的项目内容超过预设值(本实施例中设定预设值为19)；该用户的社交好友数量达到预设值(本实施例中设定社交好友数量的预设值为9)。即在本实施例中，保留：发布状态内容在20条，以及点赞其他用户发布的内容在2次及以上，且作为被点赞的项目即用户发布的内容被点赞次数在20次及以上，同时用户的社交好友数量在10个以上的用户，同时保留满足这些条件的用户的用户文本数据、用户点赞数据和用户社交数据。然后通过简单的数据统计，对上述数据进行过滤预处理，保留符合条件的数据用于接下来的处理及模型训练，即得到文本训练数据、点赞训练数据和社交训练数据。
基于模型训练数据获取特征向量。基于文本训练数据获取文本特征向量；基于点赞训练数据获取偏好特征向量；基于社交数据获取社交特征向量。具体的，
1)基于文本训练数据获取文本特征向量。
1.1)获取文本向量。对文本训练数据进行处理，对于用户发布的文本senti形成文本内容集合，成为一个文档，然后基于预训练的Bert模型对上述文本内容集合进行处理，得到每条文本的768维文本向量，具体可表示为：
senti_vec＝Bert(senti)
其中，senti_vec表示文本向量；senti表示第i个文本训练数据。
1.2)获取文本矩阵。对上述文本向量进行拼接处理，得到文本矩阵。文本矩阵Dmatrix可表示为：
Dmatrix＝concat(senti_vec)
其中，senti_vec表示文本向量。
1.3)获取文本特征向量。基于卷积操作对上述文本矩阵进行特征提取处理，得到文本特征向量。卷积操作通过两个卷积层实现，第一个卷积层的卷积核大小为3×3，即W1的维度为3×3，卷积核移动步长为2；第二个卷积核大小为5×5，即W2的维度为5×5，卷积核移动步长为3。经过两次卷积，得到维度为128的一维特征向量，即文本特征向量，可表示为：
Dconv1＝ReLU(W1·Dmatrix+b1)
D-vec＝ReLU(W2·Dconv1+b2)
其中，Dconv1表示卷积神经网络的输出；D-vec表示用户文本特征向量；W1和W2表示需要学习的权重矩阵；b1和b2均表示矩阵的偏置；ReLU()表示为激活函数。
2)基于点赞训练数据获取偏好特征向量。
用户点赞其他用户发布的状态内容记录，即用户的点赞历史记录，可记作：
Figure BDA0003234223080000111
其中，user1对itemm进行过点赞行为；
用户对其它用户产生的内容进行点赞，便作为一条点赞训练数据。如果用户点赞过该项目，记作值为1，否则为0，由此可构建用户项目点赞矩阵A，矩阵A可表示为：
Figure BDA0003234223080000112
然后，基于SVD奇异值分解方法获得每个用户的偏好特征向量。具体的，m*n维矩阵A被截断的SVD分解为：
Figure BDA0003234223080000113
Figure BDA0003234223080000114
其中，k表示SVD分解的奇异值个数，也是矩阵分解后的特征向量维度，且k＜＜min(m,n)；Um*k表示用户k维的点赞偏好特征向量。
经过上述处理后，获得128维的偏好特征向量。
3)基于社交训练数据获取社交特征向量。用户在社交媒体平台上可以关注其他用户形成社交关系，获取用户的社交历史记录，如果用户关注其它用户，即可作为一条社交好友记录，每一条社交好友记录作为一条社交训练数据，用户的所有社交训练数据构成一个社交网络G，可表示为：
Figure BDA0003234223080000121
其中，G中每一行表示userm与用户usern是好友关系。
构建社交网络G之后，为了能够更好的代表用户的社交行为，本实施例利用用户的社交好友关系，采用随机游走和Node2Vec方法学习用户和邻居好友的相似性及隐特征，然后利用深度学习方法提取用户的社交向量隐特征，便可以更加深刻的学习用户的社交特征，从而代表用户的社交行为，然后利用它预测用户人格，反映出用户社交行为的人格体现，最终提升用户人格预测效果。Node2Vec是用来产生网络中节点向量的模型，其输入的是网络结构，输出的是每个节点的向量。Node2Vec方法对节点网络中的节点通过特定游走方式进行采样，得到一系列的节点序列，将这些序列视为文本序列利用word2vec原理进行训练获得节点的向量。具体的，基于Node2Vec方法获得每个用户的社交特征向量，该过程可表示为：
S_vec＝Node2vec(Gn)
其中，Gn表示第n个用户。
针对特定用户usern，可以得到该用户的社交特征向量S_vec。社交特征向量S_vec的维度设定为128维。
S3、基于所述特征向量和注意力机制网络生成用户不同人格维度的用户特征向量。
构造用户特征向量时，采用注意力机制网络，将上述文本特征向量、偏好特征向量、社交特征向量输入到注意力机制网络中，可以有针对性的学习得到文本行为、点赞偏好行为、社交行为训练的文本特征向量、偏好特征向量和社交特征向量对于每个人格维度的不同表现能力，从而学习得到用于预测各人格维度的每个行为特征对应的权重，然后将每种特征向量乘以其对应的权重值，并相加求和，从而对应生成用户不同人格维度的用户特征向量。如图2所示，图2中，Aspect Importance attention对应于学习各特征向量权重的注意力网络。
S4、基于用户人格数据和用户不同人格维度的所述用户特征向量训练基于注意力机制的人格预测模型，获取多任务人格预测模型，并基于所述多任务人格预测模型进行人格预测。
将表示用户不同人格维度的用户特征向量输入到预训练的基于注意力机制的人格预测模型中，基于Adam优化方法和预设的损失函数训练模型，得到多任务人格预测模型。具体过程如下：
h1i＝W1i·Vi+b1
h’1i＝ReLu(h1i)
h2i＝W2i·h’1i+b2
h’2i＝ReLu(h2i)
h3i＝W3i·h’2i+b3
Figure BDA0003234223080000131
其中，Vi表示第i种人格的用户特征向量。
Vi＝aDi*D_vec+aLi*L_vec+aSi*S_vec
D_vec表示用户文本特征向量，aDi表示i人格维度用户文本特征向量的权重系数；L_vec表示用户偏好特征向量，aLi表示i人格维度用户偏好特征向量的权重系数；S_vec表示用户社交特征向量，aSi表示i人格维度用户社交特征向量的权重系数；
h1i表示三层全连接层中第一层的输出；h’1i表示h1i经过激活函数的输出；h2i表示三层全连接层中第二层的输出；h’2i表示h2i经过激活函数的输出；h3i表示三层全连接层中第三层的输出；
Relu为激活函数；
f0(x)函数将得到的各人格维度输出值映射到[1，5]人格评分区间内。具体的，f0(x)为
Figure BDA0003234223080000141
预设的损失函数为：
Figure BDA0003234223080000142
其中，loss表示各个人格维度预测任务的均方误差；yi表示用户人格分数，即用户人格数据；
Figure BDA0003234223080000143
表示预测的用户人格分数；n表示人格维度的个数。
通过Adam优化器对模型进行训练。Adam优化器是计算每个参数的自适应学习率的一种方法。Adam算法很容易实现，并且有很高的计算效率和较低的内存需求。Adam算法梯度的对角缩放具有不变性，很适合求解带有大规模数据或参数的问题。
经过训练后，得到多任务人格预测模型。如图2所示，图2中，DenseLayer为稠密层(即全连接层)，是最后预测模型的三层全连接层。用户可以根据实际需求利用基于注意力机制的人格预测模型获取用户在每个人格维度的评分，从而达到精准预测用户人格的目的。
实施例2：
第二方面，本发明还提供了一种基于注意力机制的人格预测***，该***包括：
原始数据获取模块，获取用户人格数据和包括用户社交数据的用户行为数据；
特征向量获取模块，用于基于所述用户行为数据获取模型训练数据，并基于所述模型训练数据获取特征向量；
用户特征向量获取模块，基于所述特征向量和注意力机制网络生成用户不同人格维度的用户特征向量；
人格预测模块，用于基于用户人格数据和不同人格维度的所述用户特征向量训练基于注意力机制的人格预测模型，获取多任务人格预测模型，并基于所述多任务人格预测模型进行人格预测。
可选的，所述原始数据获取模块中所述用户行为数据包括：用户文本数据、用户点赞数据和用户社交数据。
可选的，所述特征向量获取模块中基于所述用户行为数据获取模型训练数据，并基于所述模型训练数据获取特征向量包括：
S21、分别基于预设值对所述用户文本数据、用户点赞数据和用户社交数据进行预处理，获取模型训练数据；所述模型训练数据包括文本训练数据、点赞训练数据和社交训练数据；
S22、基于所述文本训练数据利用Bert模型和卷积操作获取文本特征向量；基于点赞训练数据利用SVD奇异值分解方法获取偏好特征向量；基于社交训练数据利用Node2Vec方法获取用户的社交特征向量。
可选的，所述用户特征向量获取模块中基于所述特征向量和注意力机制网络生成用户不同人格维度的用户特征向量包括：
将所述文本特征向量、偏好特征向量、社交特征向量输入到注意力机制网络中，获取每个特征在预测用户不同维度人格时所对应的权重，然后将每种特征向量乘以其对应的权重值并相加求和，获取用户不同人格维度的用户特征向量。
可选的，所述人格预测模块中基于用户人格数据和不同人格维度的所述用户特征向量训练基于注意力机制的人格预测模型包括：
h1i＝W1i·Vi+b1
h’1i＝ReLu(h1i)
h2i＝W2i·h’1i+b2
h’2i＝ReLu(h2i)
h3i＝W3i·h’2i+b3
Figure BDA0003234223080000151
Vi＝aDi*D_vec+aLi*L_vec+aSi*S_vec
Figure BDA0003234223080000161
Figure BDA0003234223080000162
其中，Vi表示第i种人格的用户特征向量；D_vec表示用户文本特征向量；aDi表示第i种人格维度用户文本特征向量的权重系数；L_vec表示用户偏好特征向量；aLi表示第i种人格维度用户偏好特征向量的权重系数；S_vec表示用户社交特征向量；aSi表示第i种人格维度用户社交特征向量的权重系数；h1i表示三层全连接层中第一层的输出；h’1i表示h1i经过激活函数的输出；h2i表示三层全连接层中第二层的输出；h’2i表示h2i经过激活函数的输出；h3i表示三层全连接层中第三层的输出；Relu为激活函数；f0(x)函数为映射函数；Loss表示各个人格维度预测任务的均方误差；yi表示用户人格分数；
Figure BDA0003234223080000163
表示预测的用户人格分数；n表示人格维度的个数。
可理解的是，本发明实施例提供的基于注意力机制的人格预测***与上述基于注意力机制的人格预测方法相对应，其有关内容的解释、举例、有益效果等部分可以参照基于注意力机制的人格预测方法中的相应内容，此处不再赘述。
综上所述，与现有技术相比，具备以下有益效果：
1、本发明基于获取的包括用户社交数据的用户行为数据获取模型训练数据，并基于模型训练数据获取特征向量；然后基于特征向量和注意力机制网络生成用户不同人格维度的用户特征向量；最后基于获取的用户人格数据和用户不同人格维度的所述用户特征向量训练基于注意力机制的人格预测模型，最终获取多任务人格预测模型，利用所述多任务人格预测模型即可进行人格预测。本发明提升了人格预测的精度和有效性，同时本发明的预测模型可从不同维度预测用户的人格，相较于只能预测用户单个人格维度人格预测算法，不仅节省了计算资源，且可以更好地综合评估人格预测效果，提升用户人格预测的整体效果。
2、本发明选取和融合包括用户社交数据在内的多种用户行为数据，用于人格预测，不仅充分发挥了代表用户社交行为的用户社交数据对于人格预测的重要性和有效性，同时还弥补了单一特征对于用户人格预测不足的情况，提升了人格预测的精度。
3、本发明利用注意力机制学习每种用户行为特征对于不同人格维度的贡献权重，从而在五个人格维度预测时综合提升了预测精度。
4、本发明构建的多任务人格预测模型可以得到用户五个人格维度的评分，相较于针对单个人格维度单独建模优化预测的方法，不仅可以节省计算资源，还可以更好地综合评估人格预测效果，提升用户人格预测的整体效果。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于注意力机制的人格预测方法，其特征在于，所述方法包括：
获取用户人格数据和包括用户社交数据的用户行为数据；
基于所述用户行为数据获取模型训练数据，并基于所述模型训练数据获取特征向量；
基于所述特征向量和注意力机制网络生成用户不同人格维度的用户特征向量；
基于用户人格数据和不同人格维度的所述用户特征向量训练基于注意力机制的人格预测模型获取多任务人格预测模型，并基于所述多任务人格预测模型进行人格预测。
2.如权利要求1所述的方法，其特征在于，所述用户行为数据包括：用户文本数据、用户点赞数据和用户社交数据。
3.如权利要求2所述的方法，其特征在于，所述基于所述用户行为数据获取模型训练数据，并基于所述模型训练数据获取特征向量包括：
S21、分别基于预设值对所述用户文本数据、用户点赞数据和用户社交数据进行预处理，获取模型训练数据；所述模型训练数据包括文本训练数据、点赞训练数据和社交训练数据；
S22、基于所述文本训练数据利用Bert模型和卷积操作获取文本特征向量；基于点赞训练数据利用SVD奇异值分解方法获取偏好特征向量；基于社交训练数据利用Node2Vec方法获取用户的社交特征向量。
4.如权利要求3所述的方法，其特征在于，所述基于所述特征向量和注意力机制网络生成用户不同人格维度的用户特征向量包括：
将所述文本特征向量、偏好特征向量、社交特征向量输入到注意力机制网络中，获取每个特征在预测用户不同维度人格时所对应的权重，然后将每种特征向量乘以其对应的权重值并相加求和，获取用户不同人格维度的用户特征向量。
5.如权利要求1所述的方法，其特征在于，所述基于用户人格数据和不同人格维度的所述用户特征向量训练基于注意力机制的人格预测模型包括：
h1i＝W1i·Vi+b1
h′1i＝ReLu(h1i)
h2i＝W2i·h′1i+b2
h′2i＝ReLu(h2i)
h3i＝W3i·h′2i+b3
Figure FDA0003234223070000021
Vi＝aDi*D_vec+aLi*L_vec+aSi*S_vec
Figure FDA0003234223070000022
Figure FDA0003234223070000023
其中，Vi表示第i种人格的用户特征向量；D_vec表示用户文本特征向量；aDi表示第i种人格维度用户文本特征向量的权重系数；L_vec表示用户偏好特征向量；aLi表示第i种人格维度用户偏好特征向量的权重系数；S_vec表示用户社交特征向量；aSi表示第i种人格维度用户社交特征向量的权重系数；h1i表示三层全连接层中第一层的输出；h′1i表示h1i经过激活函数的输出；h2i表示三层全连接层中第二层的输出；h′2i表示h2i经过激活函数的输出；h3i表示三层全连接层中第三层的输出；Relu为激活函数；f0(x)函数为映射函数；Loss表示各个人格维度预测任务的均方误差；yi表示用户人格分数；
Figure FDA0003234223070000024
表示预测的用户人格分数；n表示人格维度的个数。
6.一种基于注意力机制的人格预测***，其特征在于，所述***包括：
原始数据获取模块，获取用户人格数据和包括用户社交数据的用户行为数据；
特征向量获取模块，用于基于所述用户行为数据获取模型训练数据，并基于所述模型训练数据获取特征向量；
用户特征向量获取模块，基于所述特征向量和注意力机制网络生成用户不同人格维度的用户特征向量；
人格预测模块，用于基于用户人格数据和不同人格维度的所述用户特征向量训练基于注意力机制的人格预测模型，获取多任务人格预测模型，并基于所述多任务人格预测模型进行人格预测。
7.如权利要求6所述的***，其特征在于，所述原始数据获取模块中所述用户行为数据包括：用户文本数据、用户点赞数据和用户社交数据。
8.如权利要求7所述的***，其特征在于，所述特征向量获取模块中基于所述用户行为数据获取模型训练数据，并基于所述模型训练数据获取特征向量包括：
S21、分别基于预设值对所述用户文本数据、用户点赞数据和用户社交数据进行预处理，获取模型训练数据；所述模型训练数据包括文本训练数据、点赞训练数据和社交训练数据；
S22、基于所述文本训练数据利用Bert模型和卷积操作获取文本特征向量；基于点赞训练数据利用SVD奇异值分解方法获取偏好特征向量；基于社交训练数据利用Node2Vec方法获取用户的社交特征向量。
9.如权利要求8所述的***，其特征在于，所述用户特征向量获取模块中基于所述特征向量和注意力机制网络生成用户不同人格维度的用户特征向量包括：
将所述文本特征向量、偏好特征向量、社交特征向量输入到注意力机制网络中，获取每个特征在预测用户不同维度人格时所对应的权重，然后将每种特征向量乘以其对应的权重值并相加求和，获取用户不同人格维度的用户特征向量。
10.如权利要求6所述的***，其特征在于，所述人格预测模块中基于用户人格数据和不同人格维度的所述用户特征向量训练基于注意力机制的人格预测模型包括：
h1i＝W1i·Vi+b1
h′1i＝ReLu(h1i)
h2i＝W2i·h′1i+b2
h′2i＝ReLu(h2i)
h3i＝W3i·h′2i+b3
Figure FDA0003234223070000041
Vi＝aDi*D_vec+aLi*L_vec+aSi*S_vec
Figure FDA0003234223070000042
Figure FDA0003234223070000043
其中，Vi表示第i种人格的用户特征向量；D_vec表示用户文本特征向量；aDi表示第i种人格维度用户文本特征向量的权重系数；L_vec表示用户偏好特征向量；aLi表示第i种人格维度用户偏好特征向量的权重系数；S_vec表示用户社交特征向量；aSi表示第i种人格维度用户社交特征向量的权重系数；h1i表示三层全连接层中第一层的输出；h′1i表示h1i经过激活函数的输出；h2i表示三层全连接层中第二层的输出；h′2i表示h2i经过激活函数的输出；h3i表示三层全连接层中第三层的输出；Relu为激活函数；f0(x)函数为映射函数；Loss表示各个人格维度预测任务的均方误差；yi表示用户人格分数；
Figure FDA0003234223070000044
表示预测的用户人格分数；n表示人格维度的个数。
CN202110997174.XA 2021-08-27 2021-08-27 基于注意力机制的人格预测方法及*** Pending CN113837445A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110997174.XA CN113837445A (zh) 2021-08-27 2021-08-27 基于注意力机制的人格预测方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110997174.XA CN113837445A (zh) 2021-08-27 2021-08-27 基于注意力机制的人格预测方法及***

Publications (1)

Publication Number Publication Date
CN113837445A true CN113837445A (zh) 2021-12-24

Family

ID=78961358

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110997174.XA Pending CN113837445A (zh) 2021-08-27 2021-08-27 基于注意力机制的人格预测方法及***

Country Status (1)

Country Link
CN (1) CN113837445A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108399575A (zh) * 2018-01-24 2018-08-14 大连理工大学 一种基于社交媒体文本的大五人格预测方法
WO2019227629A1 (zh) * 2018-05-30 2019-12-05 平安科技（深圳）有限公司 文本信息的生成方法、装置、计算机设备及存储介质
WO2020140633A1 (zh) * 2019-01-04 2020-07-09 平安科技（深圳）有限公司 文本主题提取方法、装置、电子设备及存储介质
CN111914885A (zh) * 2020-06-19 2020-11-10 合肥工业大学 基于深度学习的多任务人格预测方法和***
CN112650861A (zh) * 2020-12-29 2021-04-13 中山大学 一种基于任务分层的人格预测方法、***及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108399575A (zh) * 2018-01-24 2018-08-14 大连理工大学 一种基于社交媒体文本的大五人格预测方法
WO2019227629A1 (zh) * 2018-05-30 2019-12-05 平安科技（深圳）有限公司 文本信息的生成方法、装置、计算机设备及存储介质
WO2020140633A1 (zh) * 2019-01-04 2020-07-09 平安科技（深圳）有限公司 文本主题提取方法、装置、电子设备及存储介质
CN111914885A (zh) * 2020-06-19 2020-11-10 合肥工业大学 基于深度学习的多任务人格预测方法和***
CN112650861A (zh) * 2020-12-29 2021-04-13 中山大学 一种基于任务分层的人格预测方法、***及装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
刘忠雨: "深入浅出图神经网络 GNN原理解析典", 机械工业出版社, pages: 135 *
王江晴;陈思敏;刘晶;毕建权;: "基于上下文语义的社交网络用户人格预测", 中南民族大学学报(自然科学版), no. 03 *
郑敬华;郭世泽;高梁;赵楠;: "基于多任务学习的大五人格预测", 中国科学院大学学报, no. 04 *

Similar Documents

Publication Publication Date Title
CN109492157B (zh) 基于rnn、注意力机制的新闻推荐方法及主题表征方法
CN109992779B (zh) 一种基于cnn的情感分析方法、装置、设备及存储介质
CN110929164A (zh) 一种基于用户动态偏好与注意力机制的兴趣点推荐方法
CN111368074A (zh) 一种基于网络结构和文本信息的链路预测方法
CN111914885B (zh) 基于深度学习的多任务人格预测方法和***
CN106570522B (zh) 物体识别模型的建立方法及物体识别方法
CN109034960B (zh) 一种基于用户节点嵌入的多属性推断的方法
CN112687374B (zh) 一种基于文本和图像信息联合计算的心理危机预警方法
CN113610552B (zh) 一种用户流失预测方法及装置
CN112528163B (zh) 一种基于图卷积网络的社交平台用户职业预测方法
CN110119849A (zh) 一种基于网络行为的人格特质预测方法及***
CN113609337A (zh) 图神经网络的预训练方法、训练方法、装置、设备及介质
WO2020091919A1 (en) Computer architecture for multiplier-less machine learning
CN112749737A (zh) 图像分类方法及装置、电子设备、存储介质
CN114692605A (zh) 一种融合句法结构信息的关键词生成方法及装置
Suddle et al. Metaheuristics based long short term memory optimization for sentiment analysis
CN116089708A (zh) 农业知识推荐方法及装置
CN116543289B (zh) 一种基于编码器-解码器及Bi-LSTM注意力模型的图像描述方法
Sarakon et al. An individual model for human activity recognition using transfer deep learning
CN113837445A (zh) 基于注意力机制的人格预测方法及***
CN113204641B (zh) 一种基于用户特征的退火注意力谣言鉴别方法及装置
CN115344794A (zh) 一种基于知识图谱语义嵌入的旅游景点推荐方法
Gao et al. Chinese short text classification method based on word embedding and Long Short-Term Memory Neural Network
CN112529637B (zh) 基于情景感知的服务需求动态预测方法及***
Hassan et al. Optimising deep learning by hyper-heuristic approach for classifying good quality images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination