CN114398907A - 话题动态推荐方法、装置、存储介质以及电子设备 - Google Patents

话题动态推荐方法、装置、存储介质以及电子设备 Download PDF

Info

Publication number
CN114398907A
CN114398907A CN202210016016.6A CN202210016016A CN114398907A CN 114398907 A CN114398907 A CN 114398907A CN 202210016016 A CN202210016016 A CN 202210016016A CN 114398907 A CN114398907 A CN 114398907A
Authority
CN
China
Prior art keywords
information
user
session
vector
topic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210016016.6A
Other languages
English (en)
Inventor
王硕
杨康
姜娜
李霞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Mininglamp Software System Co ltd
Original Assignee
Beijing Mininglamp Software System Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Mininglamp Software System Co ltd filed Critical Beijing Mininglamp Software System Co ltd
Priority to CN202210016016.6A priority Critical patent/CN114398907A/zh
Publication of CN114398907A publication Critical patent/CN114398907A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G06F40/35—Discourse or dialogue representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种话题动态推荐方法、装置、存储介质以及电子设备。该方法包括：获取用户的用户信息和多个会话话题中每一个会话话题的会话信息，其中，会话话题为待向用户推荐的话题，用户信息包括用户的历史聊天信息、基本兴趣信息；将用户信息与会话信息输入到语言模型中，得到用户的基本兴趣向量、历史聊天信息向量以及会话信息的会话信息向量；通过大小不同的卷积核提取历史聊天信息的嵌入特征；对嵌入特征进行编码，得到用户的动态兴趣信息；根据动态兴趣信息与会话信息向量，从会话话题中确定出目标会话话题；向用户推荐目标会话话题。本发明解决了用户兴趣发生转变时无法向用户推荐更符合用户动态兴趣信息的会话话题的技术问题。

Description

话题动态推荐方法、装置、存储介质以及电子设备
技术领域
本发明涉及计算机领域，具体而言，涉及一种话题动态推荐方法、装置、存储介质以及电子设备。
背景技术
现有技术中，没有很好的推荐方法，能够有效地根据话题的转变动态识别用户的兴趣信息，向用户进行实时推荐符合用户动态兴趣信息的会话话题。传统推荐方法侧重于特征工程的构建，通过构建用户和会话话题的特征表示进行兴趣匹配，基于深度学习的推荐方法通过各类神经网络提升推荐算法的性能。但大量的对话信息使用户的兴趣兴趣不断的发生改变，当用户兴趣爱好随时间发生改变时，无法向用户推荐更符合用户动态兴趣信息的会话话题。
发明内容
本发明实施例提供了一种话题动态推荐方法、装置、存储介质以及电子设备，以至少解决用户兴趣发生转变时无法向用户推荐更符合用户动态兴趣信息的会话话题。
根据本发明实施例的一个方面，提供了一种话题动态推荐方法，包括：获取用户的用户信息和多个会话话题中每一个会话话题的会话信息，其中，上述会话话题为待向上述用户推荐的话题，上述用户信息包括上述用户的历史聊天信息、基本兴趣信息；将上述用户信息与上述会话信息输入到语言模型中，得到上述用户的基本兴趣向量、历史聊天信息向量以及上述会话信息的会话信息向量；通过大小不同的卷积核提取上述历史聊天信息的嵌入特征；对上述嵌入特征进行编码，得到上述用户的动态兴趣信息；根据上述动态兴趣信息与上述会话信息向量，从上述会话话题中确定出目标会话话题；向上述用户推荐上述目标会话话题。
根据本发明实施例的另一方面，提供了一种话题动态推荐装置，包括：获取模块，用于获取用户的用户信息和多个会话话题中每一个会话话题的会话信息，其中，上述会话话题为待向上述用户推荐的话题，上述用户信息包括上述用户的历史聊天信息、基本兴趣信息；输入模块，用于将上述用户信息与上述会话信息输入到语言模型中，得到上述用户的基本兴趣向量、历史聊天信息向量以及上述会话信息的会话信息向量；提取模块，用于通过大小不同的卷积核提取上述历史聊天信息的嵌入特征；编码模块，用于对上述嵌入特征进行编码，得到上述用户的动态兴趣信息；确定模块，用于根据上述动态兴趣信息与上述会话信息向量，从上述会话话题中确定出目标会话话题；推荐模块，用于向上述用户推荐上述目标会话话题。
作为一种可选的示例，上述提取模块包括：提取单元，用于使用特征提取模型提取上述历史聊天信息的上述嵌入特征，其中，上述特征提取模型包括词嵌入层、卷积层、池化层、全连接层，上述卷积层包括大小不同的卷积核。
作为一种可选的示例，上述提取单元包括：处理子单元，用于将历史聊天信息向量作为上述词嵌入层的输出内容；编码子单元，用于将上述输出内容采用卷积核不同的一维卷积编码，得到编码信息；池化子单元，用于对上述编码信息执行最大池化操作，得到池化信息；整合子单元，用于整合上述池化信息，得到上述嵌入特征。
作为一种可选的示例，上述编码模块包括：变换单元，用于对上述基本兴趣向量做线性变换，得到变换结果；初始化单元，用于使用上述变换结果初始化长短期记忆网络模型，得到目标长短期记忆网络模型；识别单元，用于由上述目标长短期记忆网络模型识别上述嵌入特征，得到上述动态兴趣信息。
作为一种可选的示例，上述装置还包括：处理模块，用于在获取到上述会话信息的会话信息向量之后，将上述会话信息向量输入到上述目标长短期记忆网络中，得到新的上述会话信息向量，在确定上述目标会话话题时，使用上述动态兴趣信息与新的上述会话信息向量确定上述目标会话话题。
作为一种可选的示例，上述确定模块包括：计算单元，用于计算上述动态兴趣信息和每一个上述会话信息的上述会话信息向量的向量点积；映射单元，用于将上述向量点积映射到目标区间中，得到上述会话信息的计算结果；确定单元，用于将上述计算结果最大的会话信息所对应的会话话题确定为上述目标会话话题。
根据本发明实施例的又一方面，还提供了一种存储介质，该存储介质中存储有计算机程序，其中，该计算机程序被处理器运行时执行上述话题动态推荐方法。
根据本发明实施例的又一方面，还提供了一种电子设备，包括存储器和处理器，上述存储器中存储有计算机程序，上述处理器被设置为通过上述计算机程序执行上述的话题动态推荐方法。
本申请的上述话题动态推荐方法可用于推荐技术的个性化推荐处理，在本发明实施例中，采用了获取用户的用户信息和多个会话话题中每一个会话话题的会话信息，其中，上述会话话题为待向上述用户推荐的话题，上述用户信息包括上述用户的历史聊天信息、基本兴趣信息；将上述用户信息与上述会话信息输入到语言模型中，得到上述用户的基本兴趣向量、历史聊天信息向量以及上述会话信息的会话信息向量；通过大小不同的卷积核提取上述历史聊天信息的嵌入特征；对上述嵌入特征进行编码，得到上述用户的动态兴趣信息；根据上述动态兴趣信息与上述会话信息向量，从上述会话话题中确定出目标会话话题；向上述用户推荐上述目标会话话题的方法，由于在上述方法中，采用改进的长短期记忆网络模型获得用户动态兴趣信息，通过注意力机制识别更符合用户动态兴趣的会话话题并向用户进行推荐，从而实现了向用户推荐更符合用户动态兴趣信息的会话话题的目的，进而解决了用户兴趣发生转变时无法向用户推荐更符合用户动态兴趣信息的会话话题的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是根据本发明实施例的一种可选的话题动态推荐方法的流程图；
图2是根据本发明实施例的一种可选的话题动态推荐方法的技术方案图；
图3是根据本发明实施例的一种可选的话题动态推荐方法的改进的长短期记忆网络模型结构图；
图4是根据本发明实施例的一种可选的话题动态推荐装置的结构示意图；
图5是根据本发明实施例的一种可选的电子设备的示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
根据本发明实施例的第一方面，提供了一种话题动态推荐方法，可选地，如图1所示，上述方法包括：
S102，获取用户的用户信息和多个会话话题中每一个会话话题的会话信息，其中，会话话题为待向用户推荐的话题，用户信息包括用户的历史聊天信息、基本兴趣信息；
S104，将用户信息与会话信息输入到语言模型中，得到用户的基本兴趣向量、历史聊天信息向量以及会话信息的会话信息向量；
S106，通过大小不同的卷积核提取历史聊天信息的嵌入特征；
S108，对嵌入特征进行编码，得到用户的动态兴趣信息；
S110，根据动态兴趣信息与会话信息向量，从会话话题中确定出目标会话话题；
S112，向用户推荐目标会话话题。
可选地，本实施例中会话话题可以为公众号或订阅号，会话话题的会话信息可以为宠物、读书、影视等话题内容。基本兴趣信息包括用户性别、年龄、爱好等个人信息。语言模型为根据语言客观事实而进行的语言抽象数学建模，是一种对应关系，本发明采用Bert预训练语言模型，拥有强大的语言表征能力和特征提取能力。大小不同的卷积核可以为1、2、3、4等。动态兴趣信息为用户实时变化的兴趣信息。
可选地，本实施例中获取到一个或多个会话话题和会话话题的会话信息，以及用户的历史聊天信息和基本兴趣信息，通过Bert预训练语言模型得到会话信息、基本兴趣信息以及历史聊天信息的向量，采用卷积神经网络模型通过大小不同的卷积核提取历史聊天信息的嵌入特征，卷积神经网络模型可以为textCNN模型，textCNN模型为使用卷积神经网络来处理自然语言问题的模型，能更加高效的提取重要特征。使用神经网络模型编码嵌入特征，得到用户的动态兴趣信息，神经网络模型可以使用改进的LSTM模型，改进的LSTM模型为融合了transformer模型的改进长短期记忆人工神经网络模型，为一种时间循环神经网络，具有更高的特征表达能力。最后根据动态兴趣信息确定出多个会话话题中更符合用户动态兴趣信息的会话话题并向用户进行推荐。
可选地，本实施例中，采用改进的长短期记忆网络模型获得用户动态兴趣信息，通过注意力机制识别更符合用户动态兴趣的会话话题并向用户进行推荐，从而实现了向用户推荐更符合用户动态兴趣信息的会话话题的目的，进而解决了用户兴趣发生转变时无法向用户推荐更符合用户动态兴趣信息的会话话题的技术问题。
作为一种可选的示例，通过大小不同的卷积核提取历史聊天信息的嵌入特征包括：
使用特征提取模型提取历史聊天信息的嵌入特征，其中，特征提取模型包括词嵌入层、卷积层、池化层、全连接层，卷积层包括大小不同的卷积核。
可选地，本实施例中特征提取模型可以为长短期记忆人工神经网络模型，使用长短期记忆人工神经网络模型提取历史聊天记录的嵌入特征，长短期记忆人工神经网络模型提取特征过程包括嵌入层、卷积层、池化层、全连接层，嵌入层可以将输入数据转换为具有固定大小的向量。卷积为相乘再相加，卷积层可以方便提取特征，卷积层包括大小不同的卷积核，卷积核也被称为滤波器，计算卷积的过程中需要做卷积核翻转。池化层是使用池化函数将卷积层中大小不同的卷积核提取的大小不一的特征统一维度。全连接层输入池化层得到的信息，输出嵌入特征。
作为一种可选的示例，使用特征提取模型提取历史聊天信息的嵌入特征包括：
将历史聊天信息向量作为词嵌入层的输出内容；
将输出内容采用卷积核不同的一维卷积编码，得到编码信息；
对编码信息执行最大池化操作，得到池化信息；
整合池化信息，得到嵌入特征。
可选地，本实施例中在嵌入层中将历史聊天信息输入，输出历史聊天信息向量，在卷积层中使用大小不同的卷积核对历史聊天信息向量进行一维卷积编码，得到编码信息，在池化层中使用池化函数对编码信息统一维度，得到池化信息，最后在全连接层整合池化信息，得到历史聊天信息的嵌入特征。
作为一种可选的示例，对嵌入特征进行编码，得到用户的动态兴趣信息包括：
对基本兴趣向量做线性变换，得到变换结果；
使用变换结果初始化长短期记忆网络模型，得到目标长短期记忆网络模型；
由目标长短期记忆网络模型识别嵌入特征，得到动态兴趣信息。
可选地，本实施例中线性变换为线性空间V到其自身的线性映射，使用线性函数将基本兴趣向量进行向量变换，得到向量变换结果，使用向量变换结果初始化长短期记忆网络模型，得到初始化后的目标长短期记忆网络模型，最后对历史聊天信息的嵌入特征进行识别，得到用户的动态兴趣信息。
作为一种可选的示例，上述方法还包括：
在获取到会话信息的会话信息向量之后，将会话信息向量输入到目标长短期记忆网络中，得到新的会话信息向量，在确定目标会话话题时，使用动态兴趣信息与新的会话信息向量确定目标会话话题。
可选地，本实施例中使用初始化后的目标长短期记忆网络模型将会话信息向量输出得到新的会话信息向量，根据动态兴趣信息与新的会话信息向量确定目标会话话题，可以通过注意力机制进行识别确定，效率更高，准确率更高。
作为一种可选的示例，根据动态兴趣信息与会话信息向量，从会话话题中确定出目标会话话题包括：
计算动态兴趣信息和每一个会话信息的会话信息向量的向量点积；
将向量点积映射到目标区间中，得到会话信息的计算结果；
将计算结果最大的会话信息所对应的会话话题确定为目标会话话题。
可选地，本实施例中，计算动态兴趣信息向量和会话消息向量的向量点积，将向量点积映射到目标区间中，得到会话信息的计算结果，可以采用softmax函数计算注意力机制中的注意力的权重，注意力的权重反映了会话话题和动态兴趣信息之间的相似性，该权重越大，此会话话题越符合动态兴趣信息，最后将计算结果最大即权重最大的会话话题确定为目标会话话题。
可选地，结合一个示例进行说明，整体技术方案如图2所示，具体方法步骤如下：
1.首先将会话话题信息、用户基本兴趣信息、用户历史聊天信息输入至预训练好的Bert模型中，根据会话话题信息和历史聊天记录信息的词语序列和用户基本兴趣信息进行建模，将其映射到向量空间。采用的Bert最后一层网络的输出，作为训练的句嵌入的输出，以此建模会话话题信息、用户基本兴趣信息以及用户历史聊天信息。
2.本实施例采用基于textCNN模型提取用户历史聊天信息的高层抽象特征，因为用户历史聊天信息多为短文本，且用户历史聊天信息间多存在局部依赖性，因此不同大小的卷积核可以提取聊天信息中不同的n-gram模型的关键信息。本实施例采用的textCNN模型主要包含词嵌入层、卷积层、池化层、全连接层四个部分，词嵌入层采用用户历史聊天信息经Bert预训练语言模型最后一层的输出，卷积层采用卷积核为2，3，4的一维卷积进行编码不同n-gram模型的信息，池化层采用最大池化获取用户历史聊天信息中最重要的信息，全连接层则用来对池化层获取的信息进行整合，得到用户历史聊天信息的嵌入特征。
3.基于改进的LSTM模型建模用户动态兴趣。由于用户的兴趣变化速度多样，针对长期而变化的兴趣，采用LSTM模型进行建模，由于LSTM模型提取特征的局限性，本实施例中采用融合了transformer模型的改进LSTM模型提高LSTM模型的特征表示能力。融合了transformer模型的改进LSTM模型的结构如图3所示。为了获得用户的动态兴趣，首先采用Bert模型编码用户基本兴趣信息，从而获取用户较为长期和稳定的兴趣爱好，然后将用户长期稳定的兴趣经过线性函数的变换，用来初始化改进LSTM模型的状态，最后使用LSTM模型编码用户历史聊天信息，从而获取用户动态兴趣的信息。
其中，融合transformer的改进LSTM结构的计算过程如下：
通过上个时刻的输出信息Ht-1、上一步单元状态信息Ct-1、当前输入的Xt，作为当前单元的输入。并通过遗忘门ft进行信息的选择性丢弃，其过程如公式(1)所示：
ft＝σ(Wf·[ht-1,xt]+bf) (1)
将数据输入至输入门it，使用transformer进行特征提取，Sigmoid来决定更新哪些值，同时采用tanh函数创建候选向量，计算单元状态的更新值
Figure BDA0003460816550000091
并将两个输出相乘，最后将信息合并到单元状态信息Ct中，其过程如公式(2)：
it＝σ(Wi·Transformer([ht-1,xt]+bi))
Figure BDA0003460816550000092
Figure BDA0003460816550000093
将数据输入至LSTM的输出门ot，经过transformer提取特征，并输入到Sigmoid进行非线性拟合，同时将单元状态信息Ct输入到tanh层进行拟合，最后将两个输出相乘，作为单元的输出ht，其过程如公式(3)：
ot＝σ(Wo·Transformer([ht-1,xt])+bo)
ht＝ot*tanh(Ct) (3)
利用transformer强大的特征提取能力，克服LSTM在数据特征提取上的不足，使得模型不仅可以获取到序列信息的长期依赖，同时可以很好的提取出序列的特征，从而更好的编码用户的动态兴趣信息，其中b为参数。
4.当获取到用户的动态兴趣信息后，还需要对会话话题信息进行建模，为了更好的为用户推荐合适的话题，在对会话话题信息建模时融入了用户基本兴趣信息，来表达不同用户基础兴趣信息的持续兴趣的差异性。采用步骤2中的基于改进双向LSTM的模型来编码会话信息，从而获取会话话题信息的交互式回复结构。
5.当获取到用户动态兴趣信息和会话话题信息的特征表示后，依据用户动态兴趣信息决定是否为用户推荐该会话话题。本实施例采用注意力机制来识别更符合目标用户兴趣的会话话题，首先计算用户动态兴趣信息和会话话题信息的向量点积，并采用softmax函数计算注意力的权重，注意力的权重反映了会话和目标用户最新兴趣之间的相似性，该权重越大，表明用户更有可能参与至该会话话题中。通过注意力机制获取用户对于每个会话话题信息的感兴趣的程度。
6.最后通过全连接层，来预测用户会参与的会话话题。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。
根据本申请实施例的另一方面，还提供了一种话题动态推荐装置，如图4所示，包括：
获取模块402，用于获取用户的用户信息和多个会话话题中每一个会话话题的会话信息，其中，所述会话话题为待向所述用户推荐的话题，所述用户信息包括所述用户的历史聊天信息、基本兴趣信息；
输入模块404，用于将所述用户信息与所述会话信息输入到语言模型中，得到所述用户的基本兴趣向量、历史聊天信息向量以及所述会话信息的会话信息向量；
提取模块406，用于通过大小不同的卷积核提取所述历史聊天信息的嵌入特征；
编码模块408，用于对所述嵌入特征进行编码，得到所述用户的动态兴趣信息；
确定模块410，用于根据所述动态兴趣信息与所述会话信息向量，从所述会话话题中确定出目标会话话题；
推荐模块412，用于向所述用户推荐所述目标会话话题。
可选地，本实施例中会话话题可以为公众号或订阅号，会话话题的会话信息可以为宠物、读书、影视等话题内容。基本兴趣信息包括用户性别、年龄、爱好等个人信息。语言模型为根据语言客观事实而进行的语言抽象数学建模，是一种对应关系，本发明采用Bert预训练语言模型，拥有强大的语言表征能力和特征提取能力。大小不同的卷积核可以为1、2、3、4等。动态兴趣信息为用户实时变化的兴趣信息。
可选地，本实施例中获取到一个或多个会话话题和会话话题的会话信息，以及用户的历史聊天信息和基本兴趣信息，通过Bert预训练语言模型得到会话信息、基本兴趣信息以及历史聊天信息的向量，采用卷积神经网络模型通过大小不同的卷积核提取历史聊天信息的嵌入特征，卷积神经网络模型可以为textCNN模型，textCNN模型为使用卷积神经网络来处理自然语言问题的模型，能更加高效的提取重要特征。使用神经网络模型编码嵌入特征，得到用户的动态兴趣信息，神经网络模型可以使用改进的LSTM模型，改进的LSTM模型为融合了transformer模型的改进长短期记忆人工神经网络模型，为一种时间循环神经网络，具有更高的特征表达能力。最后根据动态兴趣信息确定出多个会话话题中更符合用户动态兴趣信息的会话话题并向用户进行推荐。
可选地，本实施例中，采用改进的长短期记忆网络模型获得用户动态兴趣信息，通过注意力机制识别更符合用户动态兴趣的会话话题并向用户进行推荐，从而实现了向用户推荐更符合用户动态兴趣信息的会话话题的目的，进而解决了用户兴趣发生转变时无法向用户推荐更符合用户动态兴趣信息的会话话题的技术问题。
作为一种可选的示例，上述提取模块包括：
提取单元，用于使用特征提取模型提取历史聊天信息的嵌入特征，其中，特征提取模型包括词嵌入层、卷积层、池化层、全连接层，卷积层包括大小不同的卷积核。
可选地，本实施例中特征提取模型可以为长短期记忆人工神经网络模型，使用长短期记忆人工神经网络模型提取历史聊天记录的嵌入特征，长短期记忆人工神经网络模型提取特征过程包括嵌入层、卷积层、池化层、全连接层，嵌入层可以将输入数据转换为具有固定大小的向量。卷积为相乘再相加，卷积层可以方便提取特征，卷积层包括大小不同的卷积核，卷积核也被称为滤波器，计算卷积的过程中需要做卷积核翻转。池化层是使用池化函数将卷积层中大小不同的卷积核提取的大小不一的特征统一维度。全连接层输入池化层得到的信息，输出嵌入特征。
作为一种可选的示例，上述提取单元包括：
处理子单元，用于将历史聊天信息向量作为词嵌入层的输出内容；
编码子单元，用于将输出内容采用卷积核不同的一维卷积编码，得到编码信息；
池化子单元，用于对编码信息执行最大池化操作，得到池化信息；
整合子单元，用于整合池化信息，得到嵌入特征。
可选地，本实施例中在嵌入层中将历史聊天信息输入，输出历史聊天信息向量，在卷积层中使用大小不同的卷积核对历史聊天信息向量进行一维卷积编码，得到编码信息，在池化层中使用池化函数对编码信息统一维度，得到池化信息，最后在全连接层整合池化信息，得到历史聊天信息的嵌入特征。
作为一种可选的示例，上述编码模块包括：
变换单元，用于对基本兴趣向量做线性变换，得到变换结果；
初始化单元，用于使用变换结果初始化长短期记忆网络模型，得到目标长短期记忆网络模型；
识别单元，用于由目标长短期记忆网络模型识别嵌入特征，得到动态兴趣信息。
可选地，本实施例中线性变换为线性空间V到其自身的线性映射，使用线性函数将基本兴趣向量进行向量变换，得到向量变换结果，使用向量变换结果初始化长短期记忆网络模型，得到初始化后的目标长短期记忆网络模型，最后对历史聊天信息的嵌入特征进行识别，得到用户的动态兴趣信息。
作为一种可选的示例，上述装置还包括：
处理模块，用于在获取到会话信息的会话信息向量之后，将会话信息向量输入到目标长短期记忆网络中，得到新的会话信息向量，在确定目标会话话题时，使用动态兴趣信息与新的会话信息向量确定目标会话话题。
可选地，本实施例中使用初始化后的目标长短期记忆网络模型将会话信息向量输出得到新的会话信息向量，根据动态兴趣信息与新的会话信息向量确定目标会话话题，可以通过注意力机制进行识别确定，效率更高，准确率更高。
作为一种可选的示例，上述确定模块包括：
计算单元，用于计算动态兴趣信息和每一个会话信息的会话信息向量的向量点积；
映射单元，用于将向量点积映射到目标区间中，得到会话信息的计算结果；
确定单元，用于将计算结果最大的会话信息所对应的会话话题确定为目标会话话题。
可选地，本实施例中，计算动态兴趣信息向量和会话消息向量的向量点积，将向量点积映射到目标区间中，得到会话信息的计算结果，可以采用softmax函数计算注意力机制中的注意力的权重，注意力的权重反映了会话话题和动态兴趣信息之间的相似性，该权重越大，此会话话题越符合动态兴趣信息，最后将计算结果最大即权重最大的会话话题确定为目标会话话题。
本实施例的其他示例请参见上述示例，在此不在赘述。
图5是根据本申请实施例的一种可选的电子设备的结构框图，如图5所示，包括处理器502、通信接口504、存储器506和通信总线508，其中，处理器502、通信接口504和存储器506通过通信总线508完成相互间的通信，其中，
存储器506，用于存储计算机程序；
处理器502，用于执行存储器506上所存放的计算机程序时，实现如下步骤：
获取用户的用户信息和多个会话话题中每一个会话话题的会话信息，其中，会话话题为待向用户推荐的话题，用户信息包括用户的历史聊天信息、基本兴趣信息；
将用户信息与会话信息输入到语言模型中，得到用户的基本兴趣向量、历史聊天信息向量以及会话信息的会话信息向量；
通过大小不同的卷积核提取历史聊天信息的嵌入特征；
对嵌入特征进行编码，得到用户的动态兴趣信息；
根据动态兴趣信息与会话信息向量，从会话话题中确定出目标会话话题；
向用户推荐目标会话话题。
可选地，在本实施例中，上述的通信总线可以是PCI(Peripheral ComponentInterconnect，外设部件互连标准)总线、或EISA(Extended Industry StandardArchitecture，扩展工业标准结构)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图5中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括RAM，也可以包括非易失性存储器(non-volatile memory)，例如，至少一个磁盘存储器。可选地，存储器还可以是至少一个位于远离前述处理器的存储装置。
作为一种示例，上述存储器506中可以但不限于包括上述请求的处理装置中的获取模块402、输入模块404、提取模块406、编码模块408、确定模块410以及推荐模块412。此外，还可以包括但不限于上述请求的处理装置中的其他模块单元，本示例中不再赘述。
上述处理器可以是通用处理器，可以包含但不限于：CPU(Central ProcessingUnit，中央处理器)、NP(Network Processor，网络处理器)等；还可以是DSP(DigitalSignal Processing，数字信号处理器)、ASIC(Application Specific IntegratedCircuit，专用集成电路)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
可选地，本实施例中的具体示例可以参考上述实施例中所描述的示例，本实施例在此不再赘述。
本领域普通技术人员可以理解，图5所示的结构仅为示意，实施上述请求的处理方法的设备可以是终端设备，该终端设备可以是智能手机(如Android手机、iOS手机等)、平板电脑、掌上电脑以及移动互联网设备(Mobile Internet Devices，MID)、PAD等终端设备。图5其并不对上述电子设备的结构造成限定。例如，电子设备还可包括比图5中所示更多或者更少的组件(如网络接口、显示装置等)，或者具有与图5所示的不同的配置。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、ROM、RAM、磁盘或光盘等。
根据本发明的实施例的又一方面，还提供了一种计算机可读的存储介质，该计算机可读的存储介质中存储有计算机程序，其中，该计算机程序被处理器运行时执行上述话题动态推荐方法中的步骤。
可选地，在本实施例中，本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、只读存储器(Read-Only Memory，ROM)、随机存取器(Random Access Memory，RAM)、磁盘或光盘等。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在上述计算机可读取的存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在存储介质中，包括若干指令用以使得一台或多台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的客户端，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种话题动态推荐方法，其特征在于，包括：
获取用户的用户信息和多个会话话题中每一个会话话题的会话信息，其中，所述会话话题为待向所述用户推荐的话题，所述用户信息包括所述用户的历史聊天信息、基本兴趣信息；
将所述用户信息与所述会话信息输入到语言模型中，得到所述用户的基本兴趣向量、历史聊天信息向量以及所述会话信息的会话信息向量；
通过大小不同的卷积核提取所述历史聊天信息的嵌入特征；
对所述嵌入特征进行编码，得到所述用户的动态兴趣信息；
根据所述动态兴趣信息与所述会话信息向量，从所述会话话题中确定出目标会话话题；
向所述用户推荐所述目标会话话题。
2.根据权利要求1所述的方法，其特征在于，所述通过大小不同的卷积核提取所述历史聊天信息的嵌入特征包括：
使用特征提取模型提取所述历史聊天信息的所述嵌入特征，其中，所述特征提取模型包括词嵌入层、卷积层、池化层、全连接层，所述卷积层包括大小不同的卷积核。
3.根据权利要求2所述的方法，其特征在于，所述使用特征提取模型提取所述历史聊天信息的所述嵌入特征包括：
将历史聊天信息向量作为所述词嵌入层的输出内容；
将所述输出内容采用卷积核不同的一维卷积编码，得到编码信息；
对所述编码信息执行最大池化操作，得到池化信息；
整合所述池化信息，得到所述嵌入特征。
4.根据权利要求1-3任意一项所述的方法，其特征在于，所述对所述嵌入特征进行编码，得到所述用户的动态兴趣信息包括：
对所述基本兴趣向量做线性变换，得到变换结果；
使用所述变换结果初始化长短期记忆网络模型，得到目标长短期记忆网络模型；
由所述目标长短期记忆网络模型识别所述嵌入特征，得到所述动态兴趣信息。
5.根据权利要求4所述的方法，其特征在于，所述方法还包括：
在获取到所述会话信息的会话信息向量之后，将所述会话信息向量输入到所述目标长短期记忆网络中，得到新的所述会话信息向量，在确定所述目标会话话题时，使用所述动态兴趣信息与新的所述会话信息向量确定所述目标会话话题。
6.根据权利要求1或5所述的方法，其特征在于，所述根据所述动态兴趣信息与所述会话信息向量，从所述会话话题中确定出目标会话话题包括：
计算所述动态兴趣信息和每一个所述会话信息的所述会话信息向量的向量点积；
将所述向量点积映射到目标区间中，得到所述会话信息的计算结果；
将所述计算结果最大的会话信息所对应的会话话题确定为所述目标会话话题。
7.一种话题动态推荐装置，其特征在于，包括：
获取模块，用于获取用户的用户信息和多个会话话题中每一个会话话题的会话信息，其中，所述会话话题为待向所述用户推荐的话题，所述用户信息包括所述用户的历史聊天信息、基本兴趣信息；
输入模块，用于将所述用户信息与所述会话信息输入到语言模型中，得到所述用户的基本兴趣向量、历史聊天信息向量以及所述会话信息的会话信息向量；
提取模块，用于通过大小不同的卷积核提取所述历史聊天信息的嵌入特征；
编码模块，用于对所述嵌入特征进行编码，得到所述用户的动态兴趣信息；
确定模块，用于根据所述动态兴趣信息与所述会话信息向量，从所述会话话题中确定出目标会话话题；
推荐模块，用于向所述用户推荐所述目标会话话题。
8.根据权利要求7所述的装置，其特征在于，所述提取模块包括：
提取单元，用于使用特征提取模型提取所述历史聊天信息的所述嵌入特征，其中，所述特征提取模型包括词嵌入层、卷积层、池化层、全连接层，所述卷积层包括大小不同的卷积核。
9.一种计算机可读的存储介质，所述计算机可读的存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器运行时执行所述权利要求1至6任一项中所述的方法。
10.一种电子设备，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为通过所述计算机程序执行所述权利要求1至6任一项中所述的方法。
CN202210016016.6A 2022-01-07 2022-01-07 话题动态推荐方法、装置、存储介质以及电子设备 Pending CN114398907A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210016016.6A CN114398907A (zh) 2022-01-07 2022-01-07 话题动态推荐方法、装置、存储介质以及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210016016.6A CN114398907A (zh) 2022-01-07 2022-01-07 话题动态推荐方法、装置、存储介质以及电子设备

Publications (1)

Publication Number Publication Date
CN114398907A true CN114398907A (zh) 2022-04-26

Family

ID=81229220

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210016016.6A Pending CN114398907A (zh) 2022-01-07 2022-01-07 话题动态推荐方法、装置、存储介质以及电子设备

Country Status (1)

Country Link
CN (1) CN114398907A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115150462A (zh) * 2022-05-25 2022-10-04 东风柳州汽车有限公司 行车话题推送方法、装置、设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115150462A (zh) * 2022-05-25 2022-10-04 东风柳州汽车有限公司 行车话题推送方法、装置、设备及存储介质
CN115150462B (zh) * 2022-05-25 2023-10-31 东风柳州汽车有限公司 行车话题推送方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN110929206B (zh) 点击率预估方法、装置、计算机可读存储介质和设备
CN112085565B (zh) 基于深度学习的信息推荐方法、装置、设备及存储介质
CN108170684A (zh) 文本相似度计算方法及***、数据查询***和计算机产品
CN113283238B (zh) 文本数据处理的方法和装置、电子设备和存储介质
CN113538070B (zh) 用户生命价值周期检测方法、装置和计算机设备
CN114676704A (zh) 句子情感分析方法、装置、设备以及存储介质
CN116368796A (zh) 数据处理方法和装置
CN113239176A (zh) 语义匹配模型训练方法、装置、设备及存储介质
CN114168819B (zh) 一种基于图神经网络的岗位匹配方法及装置
CN112529149A (zh) 一种数据处理方法及相关装置
CN115879508A (zh) 一种数据处理方法及相关装置
CN115238909A (zh) 一种基于联邦学习的数据价值评估方法及其相关设备
CN113326383B (zh) 一种短文本实体链接方法、装置、计算设备与存储介质
CN113409157B (zh) 一种跨社交网络用户对齐方法以及装置
CN114398907A (zh) 话题动态推荐方法、装置、存储介质以及电子设备
CN113609819A (zh) 标点符号确定模型及确定方法
CN111445545B (zh) 一种文本转贴图方法、装置、存储介质及电子设备
CN112417874A (zh) 命名实体的识别方法和装置、存储介质、电子装置
CN115906861B (zh) 基于交互方面信息融合的语句情感分析方法以及装置
CN112528621B (zh) 文本处理、文本处理模型训练方法、装置和存储介质
CN116415624A (zh) 模型训练方法及装置、内容推荐方法及装置
CN115700550A (zh) 标签分类模型训练和对象筛选方法、设备及存储介质
CN114528491A (zh) 信息处理方法、装置、计算机设备和存储介质
CN114493674A (zh) 一种广告点击率预测模型及方法
CN113822291A (zh) 一种图像处理方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination