CN115828109A - 基于多模态融合与表示对齐的跨社交网络虚拟身份关联方法及装置 - Google Patents

基于多模态融合与表示对齐的跨社交网络虚拟身份关联方法及装置 Download PDF

Info

Publication number
CN115828109A
CN115828109A CN202211474688.8A CN202211474688A CN115828109A CN 115828109 A CN115828109 A CN 115828109A CN 202211474688 A CN202211474688 A CN 202211474688A CN 115828109 A CN115828109 A CN 115828109A
Authority
CN
China
Prior art keywords
user
representation
social
users
alignment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211474688.8A
Other languages
English (en)
Inventor
李树栋
卢丹娜
吴晓波
韩伟红
黄倩岚
骆小静
唐可可
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou University
Original Assignee
Guangzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou University filed Critical Guangzhou University
Priority to CN202211474688.8A priority Critical patent/CN115828109A/zh
Publication of CN115828109A publication Critical patent/CN115828109A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于多模态融合与表示对齐的跨社交网络虚拟身份关联方法及装置，方法包括：对不同平台的社交网络的用户名、用户发表的文本以及用户社交关系进行特征提取，分别得到用户不同模态的特征信息；根据所述的特征信息，利用注意力机制进行多模态融合，得到一个融合多维度特征的第一用户表示；将所述的第一用户表示通过表示对齐加强用户表示，最终得到不同平台具有同一分布的第二用户表示；计算所述的第二用户表示之间的余弦相似性，得到用户之间的相似性得分，并将得分最高的用户对作为身份关联结果。本发明通过多模态融合与表示对齐的方法解决单一模态模型不能完整地描述用户问题以及不同社交平台存在分布差异的问题。

Description

基于多模态融合与表示对齐的跨社交网络虚拟身份关联方法 及装置
技术领域
本发明属于社交网络虚拟身份关联技术领域，具体涉及一种多模态融合与表示对齐的跨社交网络虚拟身份关联方法及装置。
背景技术
如今，社交网络以其高度的便捷性成为了人们生活中不可或缺的一部分。通常，人们喜欢加入多个社交平台享受不同的服务，如使用微信进行交流，使用微博看新闻或者是打卡。因此，有不少学者致力于社交网络相关的研究，而跨社交网络虚拟身份关联作为其中重要部分，目的是识别出同一自然人在不同平台的社交账号，已经在推荐***、用户行为分析、信息传播等领域引起了高度重视。
事实上，已经有不少的方法被提出应用在用户身份链接上，现阶段的方法可以分为大三类：基于用户属性的方法、基于用户生成内容的方法以及基于用户社交关系的方法。但这些方法都存在一定的缺陷。对于用户属性，出于隐私的原因，用户有选择地公开个人资料属性，并将一些敏感信息(如年龄或联系方式)保密，甚至可能会伪造或模仿信息，增加了信息的不确定性和模糊性。由于社交网络的丰富性，用户发表的帖子会存在多种多样的形式(文字、图片等)，若只使用单一的内容会造成信息损失。基于用户之间的社交关系进行研究，现有方法太过强调结构化的信息，但在社交网络中用户好友的特征对于识别用户也是有很大帮助的，毕竟有时好友的特征可能比用户本身的特征更具独特性，要是把其好友的特征考虑进来，那准确率将大大提高。因此，应该利用多模态的用户信息，而不局限于单一模态信息。另一方面，模态与模态之间刻画用户的置信度是不一样的。有时候用户的文本会比其他模态传达更多的信息，而有时候图片也会起到关键作用。因此，自适应地表征不同的模式是解决该问题的关键。
其次，虽然同一用户可能在不同的社交平台发布相似的信息，但由于平台之间数据分布不一致，这些类似的信息也可能存在不同的表征。但现有方法往往直接根据他们的表示进行用户身份链接，而没有考虑他们之间的语义差距。因此，如何使同一用户在不同平台的表示接近是另一大挑战。
发明内容
本发明的主要目的在于克服现有技术的缺点与不足，提供一种基于多模态融合与表示对齐的跨社交网络虚拟身份关联方法及装置，通过多模态融合与表示对齐的方法解决单一模型不能完整地描述用户问题以及不同社交平台存在分布差异的问题。
为了达到上述目的，本发明采用以下技术方案：
第一方面，本发明提供了一种基于多模态融合与表示对齐的跨社交网络虚拟身份关联方法，包括下述步骤：
对不同社交网络用户的用户名、用户发表的文本以及用户社交关系进行特征提取，分别得到用户名特征信息、用户发表的文本特征信息以及用户社交关系特征信息；
根据所述得到的用户名特征信息、用户发表的文本特征信息以及用户社交关系特征信息，利用注意力机制进行多模态融合，得到一个融合多维度特征的第一用户表示；
将所述的第一用户表示通过表示对齐方法进行用户表示加强处理，最终得到不同平台具有同一分布空间的第二用户表示；
计算所述的第二用户表示之间的余弦相似性，得到用户之间的相似性得分，并将得分最高的用户对作为身份关联结果。
作为优选的技术方案，所述用户名的特征提取，具体为：
对于给定用户的用户名，利用字符级Bag-of-Words模型进行特征提取，统计每个用户名中每个字符出现的次数，得到向量
Figure BDA0003959385210000021
将得到的所有用户名向量依次拼接得到用户名计数矩阵
Figure BDA0003959385210000027
由于C0是一个稀疏矩阵，为此使用一个自动编码器将其进行转换，转换的公式的具体为：
Figure BDA0003959385210000022
其中，We，be为编码器的权重和偏置，Wd，bd为解码器的权重和偏置，C1为解码器用户名向量矩阵，
Figure BDA0003959385210000023
和
Figure BDA0003959385210000024
分别为用户名向量，通过梯度下降不断训练损失函数Lc，得到最优的We和be，最终得到维度为d的用户名嵌入矩阵
Figure BDA0003959385210000025
作为优选的技术方案，所述用户发表的文本的特征提取，具体为：
将用户发表的文本输入到Word2Vec模型中，得到每条文本的嵌入向量，然后将每个用户所发表文本的嵌入向量取平均作为该用户发表文本的表示，将所有用户的文本嵌入向量依次拼接，得到维度为d的文本嵌入矩阵
Figure BDA0003959385210000026
作为优选的技术方案，所述用户社交关系的特征提取，具体为：
将由平台N1的n个用户和平台N2的m个用户组成的社交关系得到的n×m邻接矩阵通过DeepWalk模型得到每个用户社交关系的嵌入向量，将所有用户的社交关系嵌入向量依次拼接，得到维度为d的用户社交关系嵌入矩阵
Figure BDA0003959385210000031
作为优选的技术方案，所述多模态融合是将得到的三种用户特征信息的嵌入矩阵，利用注意力机制进行多模态融合，为每个模态赋予不同权重以反映不同模态之间的重要性，经过多模态融合后，得到第一用户表示矩阵Zf；计算公式为：
Figure BDA0003959385210000032
其中，αc，αT，αV分别用户名、文本、社交关系嵌入矩阵的权重；f(.)为注意力网络。
作为优选的技术方案，所述表示对齐加强用户表示的具体步骤为：
首先，将第一用户表示放入一个全连接层，以将两平台的用户表示映射到同一空间当中，得到第二用户表示，所述第二用户表示的计算公式为：
Figure BDA0003959385210000033
其中，Wl，bl分别为全连接层权重和偏置，
Figure BDA0003959385210000034
为平台N多模态融合得到的第一用户表示，Z为第二用户表示；
其次，为训练本方法中的所有权重和偏置，使用最小化EMD距离作为第一优化目标，所述第一优化目标的计算公式为：
Figure BDA0003959385210000035
Figure BDA0003959385210000036
其中，LE为第一优化目标，dij为用户
Figure BDA0003959385210000037
的第二用户表示
Figure BDA0003959385210000038
和用户
Figure BDA0003959385210000039
的第二用户表示
Figure BDA00039593852100000310
的距离，Fij为用户
Figure BDA00039593852100000311
和用户
Figure BDA00039593852100000312
之间的关联概率，
Figure BDA00039593852100000313
表示F范数的平方；
此外，通过减少用户对之间的表示距离以及Pij和Fij之间的差异，设置第二优化目标以更好地指导学习第二用户表示，所述第二优化目标的计算公式为：
Figure BDA00039593852100000314
其中，LR为第二优化目标，np为已关联用户样本对数量，λ1和λ2为超参数，对于已关联用户样本对，真实关联概率Pij＝1；
实现最终的优化目标L是第一优化目标与第二优化目标之和，即：
L＝LE+LR
最后，通过梯度下降法不断优化L得到最优的权重和偏置，最终根据最优Wl和bl得到第二用户表示Z。
作为优选的技术方案，所述身份关联结果是通过计算第二用户表示之间的余弦相似性，计算公式如下：
Figure BDA0003959385210000041
其中，
Figure BDA0003959385210000042
为平台N1的用户
Figure BDA0003959385210000043
的第二用户表示和
Figure BDA0003959385210000044
为平台N2的用户
Figure BDA0003959385210000045
的第二用户表示，Sij为用户
Figure BDA0003959385210000046
和用户
Figure BDA0003959385210000047
的余弦相似性。
第二方面，本发明还提供了一种基于多模态融合与表示对齐的跨社交网络虚拟身份关联***，应用所述的多模态融合与表示对齐的跨社交网络虚拟身份关联方法，包括特征提取模块、多模态融合模块、表示对齐模块以及身份关联模块；
所述特征提取模块，用于对不同平台的社交网络的用户名、用户发表的文本以及用户社交关系进行特征提取，分别得到用户名特征信息、用户发表的文本特征信息以及用户社交关系特征信息；
所述多模态融合模块，用于根据所述的三种用户特征信息，利用注意力机制进行多模态融合，得到一个融合多维度特征的第一用户表示；
所述表示对齐模块，用于将所述的第一用户表示通过表示对齐加强用户表示，最终得到不同平台具有同一分布的第二用户表示；
所述身份关联模块，用于计算所述的第二用户表示之间的余弦相似性，得到用户之间的相似性得分，并将得分最高的用户对作为身份关联结果。
第三方面，本发明还提供了一种电子设备，所述电子设备包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的计算机程序指令，所述计算机程序指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行所述的基于多模态融合与表示对齐的跨社交网络虚拟身份关联方法。
第四方面，本发明还提供了一种计算机可读存储介质，存储有程序，所述程序被处理器执行时，实现所述的基于多模态融合与表示对齐的跨社交网络虚拟身份关联方法。
本发明与现有技术相比，具有如下优点和有益效果：
1.本发明充分挖掘用户名、用户发表内容和社交关系三种模态信息。基于字符级的Bag-of-Words模型提取每个用户名特定构成的特征；从Word2Vec和DeepWalk模型提取文本和社交关系特征，并此基础上，利用注意力机制自动学习特征权重进行多模态融合，一定程度上解决了现有方法使用单一模态信息不能完整地描述用户，或者使用多模态信息却不能完美地融合的问题；
2.本发明在获得用户表示之后，进一步通过表示对齐加强用户表示，使不同平台属于同一自然人的用户表示尽可能靠近，解决不同社交平台存在数据分布差异问题。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例基于多模态融合与表示对齐的跨社交网络虚拟身份关联方法框架图；
图2为本发明实施例基于多模态融合与表示对齐的跨社交网络虚拟身份关联***的方框图；
图3为本发明实施例电子设备的结构图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本申请所描述的实施例可以与其它实施例相结合。
多模态融合：多模态融合是指综合来自两个或多个模态的信息以进行预测的过程。在预测的过程中，单个模态通常不能包含产生精确预测结果所需的全部有效信息，多模态融合过程结合了来自两个或多个模态的信息，实现信息补充，拓宽输入数据所包含信息的覆盖范围，提升预测结果的精度，提高预测模型的鲁棒性。
请参阅图1，在本申请的一个实施例中提供了一种多模态融合与表示对齐的跨社交网络虚拟身份关联方法，包括下述步骤：
S1、对不同社交网络的用户名、用户发表的文本以及用户社交关系进行特征提取，分别得到用户名特征信息、用户发表的文本特征信息以及用户社交关系特征信息。
S11、所述用户名的特征提取，具体为：
对于给定用户的用户名“abza12”，利用字符级Bag-of-Words模型进行特征提取，统计每个用户名中每个字符出现的次数，得到向量
Figure BDA0003959385210000061
如用户名“abza12”中a：2，b：1，z：1，“1”：1，“2”：1，因此，得到向量
Figure BDA0003959385210000062
将得到的所有用户名向量依次拼接得到用户名计数矩阵
Figure BDA0003959385210000063
由于C0是一个稀疏矩阵，为此使用一个自动编码器将其进行转换，转换的公式的具体为：
Figure BDA0003959385210000064
其中，We，be为编码器的权重和偏置，Wd，bd为解码器的权重和偏置，
Figure BDA0003959385210000065
和
Figure BDA0003959385210000066
分别为用户名向量，通过梯度下降不断训练Lc，得到最优的We和be，最终得到维度为d的用户名嵌入矩阵
Figure BDA0003959385210000067
S12、所述用户发表的文本的特征提取，具体为：
对于用户发表的文本，如“Today is a sunny day.”，去停用词后将所得的文本输入到Word2Vec模型中，得到每个单词的向量表示，进一步将每条文本的单词向量进行加和得到每条文本的嵌入向量，然后将每个用户发表所有文本的嵌入向量取平均作为该用户发表文本的表示，将所有用户的文本嵌入向量依次拼接，得到维度为d的文本嵌入矩阵
Figure BDA0003959385210000068
S13、所述用户社交关系的特征提取，具体为：
对于用户社交关系，若平台N1第i用户与平台N2第j用户存在好友关系，则将其邻接矩阵第ij个位置设置为1，由平台N1的n个用户和平台N2的m个用户组成的社交关系得到的n×m邻接矩阵通过DeepWalk模型得到每个用户社交关系的嵌入向量，将所有用户的社交关系嵌入向量依次拼接，得到维度为d的用户社交关系嵌入矩阵
Figure BDA0003959385210000069
S2、根据所述的特征信息，利用注意力机制进行多模态融合，得到一个融合多维度特征的第一用户表示。
S21、所述多模态融合是将得到的三种用户特征信息的嵌入矩阵；利用注意力机制进行多模态融合，为每个模态赋予不同权重以反映不同模态之间的重要性，经过多模态融合后，得到第一用户表示矩阵Zf；计算公式为：
Figure BDA0003959385210000071
其中，αC，αT，αV分别用户名、文本、社交关系嵌入矩阵的权重；f(.)为注意力网络。
S3、将所述的第一用户表示通过表示对齐加强用户表示，最终得到不同平台具有同一分布的第二用户表示。
S31、首先，将第一用户表示放入一个全连接层，以将两平台的用户表示映射到同一空间当中，得到第二用户表示，所述第二用户表示的计算公式为：
Figure BDA0003959385210000072
其中，Wl，bl分别为全连接层权重和偏置，
Figure BDA0003959385210000073
为平台N多模态融合得到的第一用户表示，Z为第二用户表示。
S32、其次，使用最小化EMD距离作为第一优化目标，所述第一优化目标的计算公式为：
Figure BDA0003959385210000074
Figure BDA0003959385210000075
其中，LE为第一优化目标，dij为用户
Figure BDA0003959385210000076
的第二用户表示
Figure BDA0003959385210000077
和用户
Figure BDA0003959385210000078
的第二用户表示
Figure BDA0003959385210000079
的距离，Fij为用户
Figure BDA00039593852100000710
和用户
Figure BDA00039593852100000711
之间的关联概率，
Figure BDA00039593852100000712
表示F范数的平方。
S33、本方法通过减少用户对之间的表示距离以及Pij和Fij之间的差异，设置第二优化目标以更好地指导学习第二用户表示，所述第二优化目标的计算公式为：
Figure BDA00039593852100000713
其中，LR为第二优化目标，np为已关联用户样本对数量，λ1和λ2为超参数，对于已关联用户样本对，真实关联概率Pij＝1；
实现最终的优化目标L是第一优化目标与第二优化目标之和，即：
L＝LE+LR
最后，通过梯度下降法不断优化L得到最优的权重和偏置，最终根据最优Wl和bl得到第二用户表示Z。
S4、计算所述的第二用户表示之间的余弦相似性，得到用户之间的相似性得分，并将得分最高的用户对作为身份关联结果。
S41、计算平台N1与平台N2用户之间的第二用户表示余弦相似性：
Figure BDA0003959385210000081
其中，
Figure BDA0003959385210000082
为平台N1的用户
Figure BDA0003959385210000083
的第二用户表示和
Figure BDA0003959385210000084
为平台N2的用户
Figure BDA0003959385210000085
的第二用户表示，Sij为用户
Figure BDA0003959385210000086
和用户
Figure BDA0003959385210000087
的余弦相似性；最终根据用户之间的相似性得分，并将得分最高的用户对作为身份关联结果。
需要说明的是，对于前述的各方法实施例，为了简便描述，将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其它顺序或者同时进行。
基于与上述实施例中的基于多模态融合与表示对齐的跨社交网络虚拟身份关联方法相同的思想，本发明还提供了基于多模态融合与表示对齐的跨社交网络虚拟身份关联***，该***可用于执行上述基于多模态融合与表示对齐的跨社交网络虚拟身份关联方法。为了便于说明，基于多模态融合与表示对齐的跨社交网络虚拟身份关联***实施例的结构示意图中，仅仅示出了与本发明实施例相关的部分，本领域技术人员可以理解，图示结构并不构成对装置的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
请参阅图2，在本申请的另一个实施例中，提供了一种基于多模态融合与表示对齐的跨社交网络虚拟身份关联***100，该***包括特征提取模块101、多模态融合模块102、表示对齐模块103以及身份关联模块104
所述特征提取模块101，用于对不同平台的社交网络的用户名、用户发表的文本以及用户社交关系进行特征提取，分别得到用户名特征信息、用户发表的文本特征信息以及用户社交关系特征信息；
所述多模态融合模块102，用于根据所述的三种用户特征信息，利用注意力机制进行多模态融合，得到一个融合多维度特征的第一用户表示；
所述表示对齐模块103，用于将所述的第一用户表示通过表示对齐加强用户表示，最终得到不同平台具有同一分布的第二用户表示；
所身份关联模块104，用于计算所述的第二用户表示之间的余弦相似性，得到用户之间的相似性得分，并将得分最高的用户对作为身份关联结果。
需要说明的是，本发明的基于多模态融合与表示对齐的跨社交网络虚拟身份关联***与本发明的基于多模态融合与表示对齐的跨社交网络虚拟身份关联方法一一对应，在上述基于多模态融合与表示对齐的跨社交网络虚拟身份关联方法的实施例阐述的技术特征及其有益效果均适用于基于多模态融合与表示对齐的跨社交网络虚拟身份关联***实施例中，具体内容可参见本发明方法实施例中的叙述，此处不再赘述，特此声明。
此外，上述实施例的多模态融合与表示对齐的跨社交网络虚拟身份关联***的实施方式中，各程序模块的逻辑划分仅是举例说明，实际应用中可以根据需要，例如出于相应硬件的配置要求或者软件的实现的便利考虑，将上述功能分配由不同的程序模块完成，即将所述基于多模态融合与表示对齐的跨社交网络虚拟身份关联***的内部结构划分成不同的程序模块，以完成以上描述的全部或者部分功能。
请参阅图3，在一个实施例中，提供了一种实现基于多模态融合与表示对齐的跨社交网络虚拟身份关联方法的电子设备，所述电子设备200可以包括第一处理器201、第一存储器202和总线，还可以包括存储在所述第一存储器202中并可在所述第一处理器201上运行的计算机程序，如多模态融合与表示对齐的跨社交网络虚拟身份关联程序203。
其中，所述第一存储器202至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、移动硬盘、多媒体卡、卡型存储器(例如：SD或DX存储器等)、磁性存储器、磁盘、光盘等。所述第一存储器202在一些实施例中可以是电子设备200的内部存储单元，例如该电子设备200的移动硬盘。所述第一存储器202在另一些实施例中也可以是电子设备200的外部存储设备，例如电子设备200上配备的插接式移动硬盘、智能存储卡(Smart Media Card，SMC)、安全数字(SecureDigital，SD)卡、闪存卡(Flash Card)等。进一步地，所述第一存储器202还可以既包括电子设备200的内部存储单元也包括外部存储设备。所述第一存储器202不仅可以用于存储安装于电子设备200的应用软件及各类数据，例如多模态融合与表示对齐的跨社交网络虚拟身份关联程序203的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。
所述第一处理器201在一些实施例中可以由集成电路组成，例如可以由单个封装的集成电路所组成，也可以是由多个相同功能或不同功能封装的集成电路所组成，包括一个或者多个中央处理器(Central Processing unit，CPU)、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。所述第一处理器201是所述电子设备的控制核心(Control Unit)，利用各种接口和线路连接整个电子设备的各个部件，通过运行或执行存储在所述第一存储器202内的程序或者模块，以及调用存储在所述第一存储器202内的数据，以执行电子设备200的各种功能和处理数据。
图3仅示出了具有部件的电子设备，本领域技术人员可以理解的是，图3示出的结构并不构成对所述电子设备200的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。
所述电子设备200中的所述第一存储器202存储的多模态融合与表示对齐的跨社交网络虚拟身份关联程序203是多个指令的组合，在所述第一处理器201中运行时，可以实现：
对不同社交网络的用户名、用户发表的文本以及用户社交关系进行特征提取，分别得到用户名特征信息、用户发表的文本特征信息以及用户社交关系特征信息；
根据所述的特征信息，利用注意力机制进行多模态融合，得到一个融合多维度特征的第一用户表示；
将所述的第一用户表示通过表示对齐加强用户表示，最终得到不同平台具有同一分布的第二用户表示；
计算所述的第二用户表示之间的余弦相似性，得到用户之间的相似性得分，并将得分最高的用户对作为身份关联结果。
进一步地，所述电子设备200集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个非易失性计算机可读取存储介质中。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (10)

1.基于多模态融合与表示对齐的跨社交网络虚拟身份关联方法，其特征在于，包括下述步骤：
对不同社交网络用户的用户名、用户发表的文本以及用户社交关系进行特征提取，分别得到用户名特征信息、用户发表的文本特征信息以及用户社交关系特征信息；
根据所述得到的用户名特征信息、用户发表的文本特征信息以及用户社交关系特征信息，利用注意力机制进行多模态融合，得到一个融合多维度特征的第一用户表示；
将所述的第一用户表示通过表示对齐方法进行用户表示加强处理，最终得到不同平台具有同一分布空间的第二用户表示；
计算所述的第二用户表示之间的余弦相似性，得到用户之间的相似性得分，并将得分最高的用户对作为身份关联结果。
2.根据权利要求1所述基于多模态融合与表示对齐的跨社交网络虚拟身份关联方法，其特征在于，所述用户名的特征提取，具体为：
对于给定用户的用户名，利用字符级Bag-of-Words模型进行特征提取，统计每个用户名中每个字符出现的次数，得到向量
Figure FDA0003959385200000011
将得到的所有用户名向量依次拼接得到用户名计数矩阵
Figure FDA0003959385200000012
由于C0是一个稀疏矩阵，为此使用一个自动编码器将其进行转换，转换的公式的具体为：
Figure FDA0003959385200000013
其中，We，be为编码器的权重和偏置，Wd，bd为解码器的权重和偏置，C1为解码器用户名向量矩阵，
Figure FDA0003959385200000014
和
Figure FDA0003959385200000015
分别为用户名向量，通过梯度下降不断训练损失函数Lc，得到最优的We和be，最终得到维度为d的用户名嵌入矩阵
Figure FDA0003959385200000016
3.根据权利要求1所述基于多模态融合与表示对齐的跨社交网络虚拟身份关联方法，其特征在于，所述用户发表的文本的特征提取，具体为：
将用户发表的文本输入到Word2Vec模型中，得到每条文本的嵌入向量，然后将每个用户所发表文本的嵌入向量取平均作为该用户发表文本的表示，将所有用户的文本嵌入向量依次拼接，得到维度为d的文本嵌入矩阵
Figure FDA0003959385200000017
4.根据权利要求1所述基于多模态融合与表示对齐的跨社交网络虚拟身份关联方法，其特征在于，所述用户社交关系的特征提取，具体为：
将由平台N1的n个用户和平台N2的m个用户组成的社交关系得到的n×m邻接矩阵通过DeepWalk模型得到每个用户社交关系的嵌入向量，将所有用户的社交关系嵌入向量依次拼接，得到维度为d的用户社交关系嵌入矩阵
Figure FDA0003959385200000021
5.根据权利要求1所述基于多模态融合与表示对齐的跨社交网络虚拟身份关联方法，其特征在于，所述多模态融合是将得到的三种用户特征信息的嵌入矩阵，利用注意力机制进行多模态融合，为每个模态赋予不同权重以反映不同模态之间的重要性，经过多模态融合后，得到第一用户表示矩阵Zf；计算公式为：
Figure FDA0003959385200000022
其中，αC，αT，αV分别用户名、文本、社交关系嵌入矩阵的权重；f(.)为注意力网络。
6.根据权利要求1所述基于多模态融合与表示对齐的跨社交网络虚拟身份关联方法，其特征在于，所述表示对齐加强用户表示的具体步骤为：
首先，将第一用户表示放入一个全连接层，以将两平台的用户表示映射到同一空间当中，得到第二用户表示，所述第二用户表示的计算公式为：
Figure FDA0003959385200000023
其中，Wl，bl分别为全连接层权重和偏置，
Figure FDA0003959385200000024
为平台N多模态融合得到的第一用户表示，Z为第二用户表示；
其次，为训练本方法中的所有权重和偏置，使用最小化EMD距离作为第一优化目标，所述第一优化目标的计算公式为：
Figure FDA0003959385200000025
Figure FDA0003959385200000026
其中，LE为第一优化目标，dij为用户
Figure FDA0003959385200000027
的第二用户表示
Figure FDA0003959385200000028
和用户
Figure FDA0003959385200000029
的第二用户表示
Figure FDA00039593852000000210
的距离，Fij为用户
Figure FDA00039593852000000211
和用户
Figure FDA00039593852000000212
之间的关联概率，
Figure FDA00039593852000000213
表示F范数的平方；
此外，通过减少用户对之间的表示距离以及Pij和Fij之间的差异，设置第二优化目标以更好地指导学习第二用户表示，所述第二优化目标的计算公式为：
Figure FDA00039593852000000214
其中，LR为第二优化目标，np为已关联用户样本对数量，λ1和λ2为超参数，对于已关联用户样本对，真实关联概率Pij＝1；
实现最终的优化目标L是第一优化目标与第二优化目标之和，即：
L＝LE+LR
最后，通过梯度下降法不断优化L得到最优的权重和偏置，最终根据最优Wl和bl得到第二用户表示Z。
7.根据权利要求1所述基于多模态融合与表示对齐的跨社交网络虚拟身份关联方法，其特征在于，所述身份关联结果是通过计算第二用户表示之间的余弦相似性，计算公式如下：
Figure FDA0003959385200000031
其中，
Figure FDA0003959385200000032
为平台N1的用户
Figure FDA0003959385200000033
的第二用户表示和
Figure FDA0003959385200000034
为平台N2的用户
Figure FDA0003959385200000035
的第二用户表示，Sij为用户
Figure FDA0003959385200000036
和用户
Figure FDA0003959385200000037
的余弦相似性。
8.基于多模态融合与表示对齐的跨社交网络虚拟身份关联***，其特征在于，应用于权利要求1-7中任一项所述的多模态融合与表示对齐的跨社交网络虚拟身份关联方法，包括特征提取模块、多模态融合模块、表示对齐模块以及身份关联模块；
所述特征提取模块，用于对不同平台的社交网络的用户名、用户发表的文本以及用户社交关系进行特征提取，分别得到用户名特征信息、用户发表的文本特征信息以及用户社交关系特征信息；
所述多模态融合模块，用于根据所述的三种用户特征信息，利用注意力机制进行多模态融合，得到一个融合多维度特征的第一用户表示；
所述表示对齐模块，用于将所述的第一用户表示通过表示对齐加强用户表示，最终得到不同平台具有同一分布的第二用户表示；
所述身份关联模块，用于计算所述的第二用户表示之间的余弦相似性，得到用户之间的相似性得分，并将得分最高的用户对作为身份关联结果。
9.一种电子设备，其特征在于，所述电子设备包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的计算机程序指令，所述计算机程序指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1-7中任意一项所述的基于多模态融合与表示对齐的跨社交网络虚拟身份关联方法。
10.一种计算机可读存储介质，存储有程序，其特征在于，所述程序被处理器执行时，实现权利要求1-7任一项所述的基于多模态融合与表示对齐的跨社交网络虚拟身份关联方法。
CN202211474688.8A 2022-11-23 2022-11-23 基于多模态融合与表示对齐的跨社交网络虚拟身份关联方法及装置 Pending CN115828109A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211474688.8A CN115828109A (zh) 2022-11-23 2022-11-23 基于多模态融合与表示对齐的跨社交网络虚拟身份关联方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211474688.8A CN115828109A (zh) 2022-11-23 2022-11-23 基于多模态融合与表示对齐的跨社交网络虚拟身份关联方法及装置

Publications (1)

Publication Number Publication Date
CN115828109A true CN115828109A (zh) 2023-03-21

Family

ID=85530641

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211474688.8A Pending CN115828109A (zh) 2022-11-23 2022-11-23 基于多模态融合与表示对齐的跨社交网络虚拟身份关联方法及装置

Country Status (1)

Country Link
CN (1) CN115828109A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116776193A (zh) * 2023-05-17 2023-09-19 广州大学 基于注意力机制的跨社交网络虚拟身份关联方法及装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116776193A (zh) * 2023-05-17 2023-09-19 广州大学 基于注意力机制的跨社交网络虚拟身份关联方法及装置

Similar Documents

Publication Publication Date Title
CN112417096B (zh) 问答对匹配方法、装置、电子设备及存储介质
WO2021114840A1 (zh) 基于语义分析的评分方法、装置、终端设备及存储介质
CN110032641B (zh) 计算机执行的、利用神经网络进行事件抽取的方法及装置
CN112016273A (zh) 文档目录生成方法、装置、电子设备及可读存储介质
CN111737499A (zh) 基于自然语言处理的数据搜索方法及相关设备
CN112395390B (zh) 意图识别模型的训练语料生成方法及其相关设备
CN110795938A (zh) 文本序列分词方法、装置及存储介质
CN114596566B (zh) 文本识别方法及相关装置
CN110543920B (zh) 图像识别模型的性能检测方法、装置、服务器及存储介质
CN112085091B (zh) 基于人工智能的短文本匹配方法、装置、设备及存储介质
CN113158656B (zh) 讽刺内容识别方法、装置、电子设备以及存储介质
CN115840808B (zh) 科技项目咨询方法、装置、服务器及计算机可读存储介质
CN115828109A (zh) 基于多模态融合与表示对齐的跨社交网络虚拟身份关联方法及装置
CN111368066B (zh) 获取对话摘要的方法、装置和计算机可读存储介质
CN110532543A (zh) 证据材料的分析处理方法、装置、计算机设备和存储介质
CN115640810B (zh) 一种电力***通信敏感信息识别方法、***及存储介质
CN116776193A (zh) 基于注意力机制的跨社交网络虚拟身份关联方法及装置
Ledesma et al. Enabling automated herbarium sheet image post‐processing using neural network models for color reference chart detection
CN116976341A (zh) 实体识别方法、装置、电子设备、存储介质及程序产品
CN115346095A (zh) 视觉问答方法、装置、设备及存储介质
WO2022142032A1 (zh) 手写签名校验方法、装置、计算机设备及存储介质
CN112989820A (zh) 法律文书定位方法、装置、设备及存储介质
CN113569567A (zh) 文本识别方法、装置、计算机可读介质及电子设备
CN112732913B (zh) 一种非均衡样本的分类方法、装置、设备及存储介质
CN114386431A (zh) 句式资源库的热更新方法、句式推荐方法及相关装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination