CN109189892A - 一种基于文章评论的推荐方法及装置 - Google Patents

Abstract

本发明实施例提供的一种基于文章评论的推荐方法及装置，属于计算机技术领域。该方法包括：采集用户评论；通过无监督聚类把所述评论分成N个类；通过信息增益、卡方检验的方式找出所述N个类中最具有代表性的关键词；通过浅层神经网络对所述关键词进行扩展，生成多个评论大类的评论词库；确定待处理评论与所述评论词库是否匹配；若所述待处理评论与所述评论词库中任一所述评论大类匹配，将所述评论大类对应的文章推荐给所述用户。从而给文章扩展更多维度的特征标签，从而有效提高对文章推荐的精准度。进而克服现有技术存在的无法精准推荐的技术问题。

Description

一种基于文章评论的推荐方法及装置

技术领域

本发明涉及计算机技术领域，具体而言，涉及一种基于文章评论的推荐方法及装置。

背景技术

目前的内容推荐模式主要根据用户基础信息、用户行为计算用户画像，再根据文章基本信息(包括标题、内容、来源等)计算文章画像，然后通过相关性计算，推荐匹配该用户画像的文章。但是某些维度的特征仅仅通过文章主体很难识别或者识别代价较高，如标题党(文章内容与标题不符)、抄袭文章、谣言、内含广告等。

发明内容

本发明实施例提供的一种基于文章评论的推荐方法及装置，可以解决现有技术中存在的无法精确识别文章的技术问题。

为了实现上述目的，本发明实施例采用的技术方案如下：

第一方面，本发明实施例提供的一种基于文章评论的推荐方法，包括：采集用户评论；通过无监督聚类把所述评论分成N个类；通过信息增益、卡方检验的方式找出所述N个类中最具有代表性的关键词；通过浅层神经网络对所述关键词进行扩展，生成多个评论大类的评论词库；确定待处理评论与所述评论词库是否匹配；若所述待处理评论与所述评论词库中任一所述评论大类匹配，将所述评论大类对应的文章推荐给所述用户。

结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，在确定待处理评论与所述评论词库是否匹配之后，还包括：若所述待处理评论与所述评论词库中任一所述评论大类均不匹配，过滤所述待处理评论。

结合第一方面，本发明实施例提供了第一方面的第二种可能的实施方式，将所述评论大类对应的文章推荐给所述用户，包括：确定所述评论大类对应的文章是否满足预设要求；若是，通过多渠道将所述文章推荐给所述用户。

结合第一方面的第二种可能的实施方式，本发明实施例提供了第一方面的第三种可能的实施方式，在确定所述评论大类对应的文章是否满足预设要求之后，还包括：若所述评论大类对应的文章不满足所述预设要求，对所述待处理评论进行标注；将标注后的所述待处理评论进行聚类处理。

结合第一方面，本发明实施例提供了第一方面的第四种可能的实施方式，通过信息增益、卡方检验的方式找出所述N个类中最具有代表性的关键词，包括：通过卡方检验和信息增益的方法从所述N个类中确定候选集；根据预设词向量对所述候选集进行K－means聚类，得到M个类；确定所述候选集中的词向量与对应所述M个类的相关性以及信息熵，将所述信息熵小的候选词选出，作为所述关键词。

第二方面，本发明实施例提供的一种基于文章评论的推荐装置，包括：采集单元，用于采集用户评论；第一处理单元，用于通过无监督聚类把所述评论分成N个类；第二处理单元，用于通过信息增益、卡方检验的方式找出所述N个类中最具有代表性的关键词；第三处理单元，用于通过浅层神经网络对所述关键词进行扩展，生成多个评论大类的评论词库；第四处理单元，用于确定待处理评论与所述评论词库是否匹配；推荐单元，用于若所述待处理评论与所述评论词库中任一所述评论大类匹配，将所述评论大类对应的文章推荐给所述用户。

结合第二方面，本发明实施例提供了第二方面的第一种可能的实施方式，在所述第四处理单元之后，所述装置还包括：第五处理单元，用于若所述待处理评论与所述评论词库中任一所述评论大类均不匹配，过滤所述待处理评论。

结合第二方面，本发明实施例提供了第二方面的第二种可能的实施方式，所述推荐单元包括：第一子单元，用于确定所述评论大类对应的文章是否满足预设要求；第二子单元，用于若是，通过多渠道将所述文章推荐给所述用户。

结合第二方面的第二种可能的实施方式，本发明实施例提供了第二方面的第三种可能的实施方式，在所述第一子单元之后，还包括：第三子单元，用于若所述评论大类对应的文章不满足所述预设要求，对所述待处理评论进行标注；第四子单元，用于将标注后的所述待处理评论进行聚类处理。

结合第二方面，本发明实施例提供了第二方面的第四种可能的实施方式，所述第二处理单元还用于：通过卡方检验和信息增益的方法从所述N个类中确定候选集；根据预设词向量对所述候选集进行K－means聚类，得到M个类；确定所述候选集中的词向量与对应所述M个类的相关性以及信息熵，将所述信息熵小的候选词选出，作为所述关键词。

与现有技术相比，本发明实施例带来了以下有益效果：

本发明实施例提供的一种基于文章评论的推荐方法及装置，通过采集用户评论；通过无监督聚类把所述评论分成N个类；通过信息增益、卡方检验的方式找出所述N个类中最具有代表性的关键词；通过浅层神经网络对所述关键词进行扩展，生成多个评论大类的评论词库；确定待处理评论与所述评论词库是否匹配；若所述待处理评论与所述评论词库中任一所述评论大类匹配，将所述评论大类对应的文章推荐给所述用户。从而给文章扩展更多维度的特征标签，从而有效提高对文章推荐的精准度。进而克服现有技术存在的无法精准推荐的技术问题。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明第一实施例提供的基于文章评论的推荐方法的流程图；

图2为本发明第二实施例提供的基于文章评论的推荐装置的功能模块示意图；

图3为本发明实施例提供的一种电子设备的结构框图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

第一实施例

请参阅图1，是本发明第一实施例提供的一种基于文章评论的推荐方法的流程图。下面将对图1所示的具体流程进行详细阐述。

步骤S101，采集用户评论。

其中，用户评论是指用户对文章的评论。

在实际使用中，可以采集当前所有种类的文章的用户评论。或者是针对每个种类采集预设数量的文章的用户评论。

其中，预设数量的设置可以根据实际需求进行选取，一般地，预设数量越大越好。

步骤S102，通过无监督聚类把所述评论分成N个类。

在实际使用中，可以基于K－means算法把所述评论分成N个类，其中，N为正整数。例如，先随机分配两个点作为每个簇的质心，然后判断全部所述评论到这两个质心的距离，与质心距离较近的标志为同种类，根据新划分的簇，重新计算质心，直到达到一定的要求(比如均方误差最小等)，从而实现将评论聚类为N个类。

举例来说，将评论根据语义属性进行不同维度的分类，如文章优质、正能量、谣言、广告、抄袭、虚假、旧闻、文不对题、辱骂等。

步骤S103，通过信息增益、卡方检验的方式找出所述N个类中最具有代表性的关键词。

其中，信息增益是非对称的，用以度量两种概率分布P和Q的差异。信息增益描述了当使用Q进行编码时，再使用P进行编码的差异。通常P代表样本或观察值的分布，也有可能是精确计算的理论分布。Q代表一种理论，模型，描述或者对P的近似。

卡方检验用于统计样本的实际观测值与理论推断值之间的偏离程度，实际观测值与理论推断值之间的偏离程度就决定卡方值的大小，卡方值越大，越不符合，偏差越小，卡方值就越小，越趋于符合，若量值完全相等时，卡方值就为0，表明理论值完全符合。

在本实施例中，通过信息增益、卡方检验的方式可以有效找到更多具有代表性的关键词，以代表每个类，从而使得在进行检索的过程中，更容易快速的进行识别检索，以检索到对应的文章，从而快速完成为用户推荐相应文章。

作为一种实施方式，步骤S103包括：通过卡方检验和信息增益的方法从所述N个类中确定候选集；根据预设词向量对所述候选集进行K－means聚类，得到M个类；确定所述候选集中的词向量与对应所述M个类的相关性以及信息熵，将所述信息熵小的候选词选出，作为所述关键词。例如，在实际使用中，首先通过卡法检验和信息增益的方法找出具有代表性关键词的候选集，同时预先为每一个类单独训练了词向量模型，并根据词向量模型进行了K－means聚类，得出M个类，最后计算候选集中词向量与对应M个类的相关性并计算信息熵，将信息熵小的候选词选出，作为最终的代表词即所述关键词。

其中，M为正整数，M可以等于N。

在本实施例中，通过选择合适的方式找到最具有代表性的关键词，从而使得在推荐文章时，能够实现提高对文章的推荐的精准度。

步骤S104，通过浅层神经网络对所述关键词进行扩展，生成多个评论大类的评论词库。

其中，浅层神经网络包括输入层、平均池化层、词向量层(输出层)ReLu(RectifiedLinear Units)激活函数以及Softmax分类器。其中，输入层包括多个文字令牌和群集令牌，平均池化层用于对输入层输入的数据取平均，并将取平均后的数据输入词向量层，通过词向量层处理后，将处理后的数据通过激活函数处理后，通过Softmax分类器进行分类处理。最终分类为多个评论大类的评论词库。

在本实施例中，通过无监督聚类进行聚类后，再找出每个类别中与其他类别最不同最具有代表性的关键词，对这些关键词进行语义扩展，形成了几十个评论大类的评论词库。评论词库里的词用于体现出对评论语义独特的理解能力。通过对文章评论(即用户评论)进行分析和大类识别，能够从客观的角度更准确地扩展文章特征，提高对文章更深入的理解，从而提高对文章推荐的精准度。

在本实施例中，通过选择浅层神经网络方式实现关键词扩展，提高对文章更深入的理解，从而提高对文章推荐的精准度。

步骤S105，确定待处理评论与所述评论词库是否匹配。

其中，所述待处理评论可以是步骤S101所采集的用户评论，也可以是新采集的用户评论，用于根据所述待处理评论为用户推荐合适的文章。

在实际使用中，通过匹配所述评论词库计算命中率(或匹配度)，当命中率为零时，则表示待处理评论与所述评论词库不匹配，反之则匹配。

其中，评论词库包括多个评论大类，若与多个评论大类中至少一个匹配时，则表示待处理评论与所述评论词库匹配。

在实际使用中，负向评论命中文章的准确率达到70％以上，正向评论命中文章的准确率达到85％以上。

在一可选的实施例中，在步骤S105之后，还包括：若所述待处理评论与所述评论词库中任一所述评论大类均不匹配，过滤所述待处理评论(或者是忽略该待处理评论，对该待处理评论不进行其他后续处理)。

步骤S106，若所述待处理评论与所述评论词库中任一所述评论大类匹配，将所述评论大类对应的文章推荐给所述用户。

当待处理评论与所述评论词库中的至少一个评论大类匹配，将所述评论大类对应的文章推荐给所述用户。

可选地，将所述评论大类对应的文章推荐给所述用户，包括：确定所述评论大类对应的文章是否满足预设要求；若是，通过多渠道将所述文章推荐给所述用户。通过多渠道推荐，可以使得用户能够更加全面的接收到该文章，避免某个渠道出现问题时用户无法接收到被推荐的文章。

其中，预设要求可以是文章质量，如当文章质量达到得分大于或大于80分时，则判定评论大类对应的文章满足预设要求，反之，则不满足。

在一可选的实施例中，在确定所述评论大类对应的文章是否满足预设要求之后还包括：若所述评论大类对应的文章不满足所述预设要求，对所述待处理评论进行标注；将标注后的所述待处理评论进行聚类处理。

通过对待处理评论进行标注，以产生真正的训练样本，根据待处理评论的语义属性，利用循环神经网络进行再训练，用于对评论进行识别分类。由于用户评论语法、用词非常随意，使用常规的分词器很难合理的对词语切分，优选地，将字作为基本的处理单位，既避免了分词错误导致的误差，也大大减小了模型的规模；另外考虑到用户的评论具有时序上的联系，通过使用循环神经网络产生的向量来作为评论的特征，使用2层的神经网络进行预测。通过将标注的评论作为真实有效的训练数据，可以持续增强训练效果，通过再训练的方式有效提高识别精度。

本实施例提供的基于文章评论的推荐方法，通过采集用户评论；通过无监督聚类把所述评论分成N个类；通过信息增益、卡方检验的方式找出所述N个类中最具有代表性的关键词；通过浅层神经网络对所述关键词进行扩展，生成多个评论大类的评论词库；确定待处理评论与所述评论词库是否匹配；若所述待处理评论与所述评论词库中任一所述评论大类匹配，将所述评论大类对应的文章推荐给所述用户。从而给文章扩展更多维度的特征标签，从而有效提高对文章推荐的精准度。进而克服现有技术存在的无法精准推荐的技术问题。

第二实施例

对应于第一实施例中的基于文章评论的推荐方法，图2示出了采用第一实施例所示的基于文章评论的推荐方法一一对应的基于文章评论的推荐装置。如图2所示，所述基于文章评论的推荐装置400包括采集单元410、第一处理单元420、第二处理单元430、第三处理单元440、第四处理单元450和推荐单元460。其中，采集单元410、第一处理单元420、第二处理单元430、第三处理单元440、第四处理单元450和推荐单元460的实现功能与第一实施例中对应的步聚一一对应，为避免赘述，本实施例不一一详述。

采集单元410，用于采集用户评论。

第一处理单元420，用于通过无监督聚类把所述评论分成N个类。

第二处理单元430，用于通过信息增益、卡方检验的方式找出所述N个类中最具有代表性的关键词。

可选地，所述第二处理单元还用于：通过卡方检验和信息增益的方法从所述N个类中确定候选集；根据预设词向量对所述候选集进行K－means聚类，得到M个类；确定所述候选集中的词向量与对应所述M个类的相关性以及信息熵，将所述信息熵小的候选词选出，作为所述关键词。

第三处理单元440，用于通过浅层神经网络对所述关键词进行扩展，生成多个评论大类的评论词库。

第四处理单元450，用于确定待处理评论与所述评论词库是否匹配。

推荐单元460，用于若所述待处理评论与所述评论词库中任一所述评论大类匹配，将所述评论大类对应的文章推荐给所述用户。

可选地，所述推荐单元460包括：第一子单元和第二子单元。

第一子单元，用于确定所述评论大类对应的文章是否满足预设要求；

第二子单元，用于若是，通过多渠道将所述文章推荐给所述用户。

可选地，在所述第一子单元之后，所述推荐单元460还包括：第三子单元和第四子单元。

第三子单元，用于若所述评论大类对应的文章不满足所述预设要求，对所述待处理评论进行标注；

第四子单元，用于将标注后的所述待处理评论进行聚类处理。

在一可选的实施例中，在所述第四处理单元450之后，所述装置400还包括：

第五处理单元，用于若所述待处理评论与所述评论词库中任一所述评论大类均不匹配，过滤所述待处理评论。

第三实施例

如图3所示，是电子设备300的示意图。所述电子设备300包括存储器302、处理器304、存储在所述存储器302中并可在所述处理器304上运行的计算机程序303，所述计算机程序303被处理器304执行时实现第一实施例中的所述基于文章评论的推荐方法，为避免重复，此处不再赘述。或者，所述计算机程序303被处理器304执行时实现第二实施例所述基于文章评论的推荐装置中各模型/单元的功能，为避免重复，此处不再赘述。

示例性的，计算机程序303可以被分割成一个或多个模块/单元，一个或者多个模块/单元被存储在存储器302中，并由处理器304执行，以完成本发明。一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序303在电子设备300中的执行过程。例如，计算机程序303可以被分割成第二实施例中的采集单元410、第一处理单元420、第二处理单元430、第三处理单元440、第四处理单元450和推荐单元460，各单元的具体功能如第一实施例或第二实施例所述，在此不一一赘述。

电子设备300可以是桌上型计算机、笔记本、掌上电脑或智能手机等设备。

其中，存储器302可以是，但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read－Only Memory，PROM)，可擦除只读存储器(Erasable Programmable Read－Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read－Only Memory，EEPROM)等。其中，存储器302用于存储程序，所述处理器304在接收到执行指令后，执行所述程序，前述本发明实施例任一实施例揭示的流程定义的方法可以应用于处理器304中，或者由处理器304实现。

处理器304可能是一种集成电路芯片，具有信号的处理能力。上述的处理器304可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(NetworkProcessor，NP)等；还可以是数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(ApplicationSpecific Integrated Circuit，ASIC)、现成可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

可以理解的是，图3所示的结构仅为电子设备300的一种结构示意图，电子设备300还可以包括比图3所示更多或更少的组件。图3中所示的各组件可以采用硬件、软件或其组合实现。

第四实施例

本发明实施例还提供一种存储介质，所述存储介质上存储有指令，当所述指令在计算机上运行时，所述计算机程序被处理器执行时实现第一实施例中的所述基于文章评论的推荐方法，为避免重复，此处不再赘述。或者，所述计算机程序被处理器执行时实现第二实施例所述基于文章评论的推荐装置中各模型/单元的功能，为避免重复，此处不再赘述。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本发明可以通过硬件实现，也可以借助软件加必要的通用硬件平台的方式来实现，基于这样的理解，本发明的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD－ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施场景的方法。

综上所述，本发明提供的一种基于文章评论的推荐方法及装置，通过采集用户评论；通过无监督聚类把所述评论分成N个类；通过信息增益、卡方检验的方式找出所述N个类中最具有代表性的关键词；通过浅层神经网络对所述关键词进行扩展，生成多个评论大类的评论词库；确定待处理评论与所述评论词库是否匹配；若所述待处理评论与所述评论词库中任一所述评论大类匹配，将所述评论大类对应的文章推荐给所述用户。从而给文章扩展更多维度的特征标签，从而有效提高对文章推荐的精准度。进而克服现有技术存在的无法精准推荐的技术问题。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

Claims (10)

1.一种基于文章评论的推荐方法，其特征在于，包括：

采集用户评论；

通过无监督聚类把所述评论分成N个类；

通过信息增益、卡方检验的方式找出所述N个类中最具有代表性的关键词；

通过浅层神经网络对所述关键词进行扩展，生成多个评论大类的评论词库；

确定待处理评论与所述评论词库是否匹配；

若所述待处理评论与所述评论词库中任一所述评论大类匹配，将所述评论大类对应的文章推荐给所述用户。

2.根据权利要求1所述的方法，其特征在于，在确定待处理评论与所述评论词库是否匹配之后，还包括：

若所述待处理评论与所述评论词库中任一所述评论大类均不匹配，过滤所述待处理评论。

3.根据权利要求1所述的方法，其特征在于，将所述评论大类对应的文章推荐给所述用户，包括：

确定所述评论大类对应的文章是否满足预设要求；

若是，通过多渠道将所述文章推荐给所述用户。

4.根据权利要求3所述的方法，其特征在于，在确定所述评论大类对应的文章是否满足预设要求之后，还包括：

若所述评论大类对应的文章不满足所述预设要求，对所述待处理评论进行标注；

将标注后的所述待处理评论进行聚类处理。

5.根据权利要求1所述的方法，其特征在于，通过信息增益、卡方检验的方式找出所述N个类中最具有代表性的关键词，包括：

通过卡方检验和信息增益的方法从所述N个类中确定候选集；

根据预设词向量对所述候选集进行K－means聚类，得到M个类；

确定所述候选集中的词向量与对应所述M个类的相关性以及信息熵，将所述信息熵小的候选词选出，作为所述关键词。

6.一种基于文章评论的推荐装置，其特征在于，包括：

采集单元，用于采集用户评论；

第一处理单元，用于通过无监督聚类把所述评论分成N个类；

第二处理单元，用于通过信息增益、卡方检验的方式找出所述N个类中最具有代表性的关键词；

第三处理单元，用于通过浅层神经网络对所述关键词进行扩展，生成多个评论大类的评论词库；

第四处理单元，用于确定待处理评论与所述评论词库是否匹配；

推荐单元，用于若所述待处理评论与所述评论词库中任一所述评论大类匹配，将所述评论大类对应的文章推荐给所述用户。

7.根据权利要求6所述的装置，其特征在于，在所述第四处理单元之后，所述装置还包括：

第五处理单元，用于若所述待处理评论与所述评论词库中任一所述评论大类均不匹配，过滤所述待处理评论。

8.根据权利要求6所述的装置，其特征在于，所述推荐单元包括：

第一子单元，用于确定所述评论大类对应的文章是否满足预设要求；

第二子单元，用于若是，通过多渠道将所述文章推荐给所述用户。

9.根据权利要求8所述的装置，其特征在于，在所述第一子单元之后，还包括：

第三子单元，用于若所述评论大类对应的文章不满足所述预设要求，对所述待处理评论进行标注；

第四子单元，用于将标注后的所述待处理评论进行聚类处理。

10.根据权利要求6所述的装置，其特征在于，所述第二处理单元还用于：

通过卡方检验和信息增益的方法从所述N个类中确定候选集；

根据预设词向量对所述候选集进行K－means聚类，得到M个类；

确定所述候选集中的词向量与对应所述M个类的相关性以及信息熵，将所述信息熵小的候选词选出，作为所述关键词。