CN111966784A - 信息推荐方法、电子设备及存储介质 - Google Patents

Abstract

本发明公开了一种信息推荐方法、计算设备及存储介质，包括获取第一信息文本，并对第一信息文本进行关键词匹配，以得到匹配数据；将匹配数据通过BERT模型得到第一语义向量；获取第二信息文本，将第二信息文本通过BERT模型得到第二语义向量；根据第一语义向量和第二语义向量的相似度比对，以得到比对数据；根据比对数据将相应的第一信息文本分发到与第一信息文本匹配的终端。应用本发明，能够有效提升信息推荐的效率。

Description

信息推荐方法、电子设备及存储介质

技术领域

本发明涉及互联网的技术领域，特别涉及一种信息推荐方法、电子设备及存储介质。

背景技术

随着信息技术发展，网络上的新闻、自媒体、论坛的信息呈***趋势，当前的舆情服务仍以关键词匹配和人工处理为主，存在处理效度低，处理速度慢，发现时间滞后，存在时间盲区等不足之处，不能适应现在舆情处理发展要求。自然语言表达有多样性，相同意思有多种表达，关键词只能匹配到固定的模式，并不能捕捉到语义。由于关键词匹配具有规模大，成本高，维护难的特点，并且，人工处理效率低下，通过网站下发，然后客户到网站查看具有延时性，增加了客户接收舆情预警的难度。

发明内容

本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出一种信息推荐方法、计算设备及存储介质，能够有效提升信息推荐的效率。

本发明实施例的第一方面，提供了一种信息推荐方法，包括以下步骤：

获取第一信息文本，并对所述第一信息文本进行关键词匹配，以得到匹配数据；

将所述匹配数据通过BERT模型得到第一语义向量；

获取第二信息文本，将所述第二信息文本通过所述BERT模型得到第二语义向量；

将所述第一语义向量和所述第二语义向量进行相似度比对，以得到比对数据；

根据所述比对数据将相应的第一信息文本分发到与所述第一信息文本匹配的终端。

根据本发明实施例的信息推荐方法，至少具有如下有益效果：获取第一信息文本，并对所述第一信息文本进行关键词匹配，以得到匹配数据。然后，将所述匹配数据通过BERT模型得到第一语义向量；获取第二信息文本，将所述第二信息文本通过所述BERT模型得到第二语义向量，将所述第一语义向量和所述第二语义向量进行相似度比对，以得到比对数据，根据所述比对数据将相应的第一信息文本分发到与所述第一信息文本匹配的终端。综上所述，本发明实施例通过BERT模型得到第一语义向量和第二语义向量，并将第一语义向量和所述第二语义向量进行相似度比对，最终得到符合用户需要的信息文本，并将该信息文本推送到用户终端。相较于当前需要人工参与的信息文本分发方式，本发明实施例能够有效提升信息推荐分发的效率。

根据本发明的一些实施例，所述获取第二信息文本，包括：

对所述第一信息文本进行相似度去重，以得到去重文本信息；

将所述去重文本信息进行时间去重，以得到所述第二信息文本。

根据本发明的一些实施例，所述对所述第一信息文本进行相似度去重，以得到去重文本信息，包括以下步骤：

获取预设时间段内的所有历史语义向量；

将所述第一语义向量与所述历史语义向量进行余弦相似度比对，得到两者数值大小的比对差异值；

将所述比对差异值大于第一预设值的第一语义向量，进行去重处理，得到去重文本信息。

根据本发明的一些实施例，所述将所述去重文本信息进行时间去重，以得到所述第二信息文本，包括：

提取所述第一信息文本的时间数据；

将所述时间数据与当前时间进行比对，以得到时间差值；

将所述时间差值超过第二预设值的所述第一信息文本进行去重处理。

根据本发明的一些实施例，所述获取第一信息文本，并对所述第一信息文本进行关键词匹配，以得到匹配数据，包括以下步骤：

获取所述第一信息文本；

将获取的所述第一信息文本进行分词操作，以得到词表；

根据关键词条件查询所述词表，以得到所述匹配数据。

根据本发明的一些实施例，所述将所述匹配数据通过BERT模型得到第一语义向量，包括以下步骤：

将所述匹配数据输入所述BERT模型；

接收所述BERT模型输出的对应所述匹配数据的第一语义向量。

根据本发明的一些实施例，所述根据所述第一语义向量和所述第二语义向量的相似度比对，以得到比对数据，包括：

获取所有的历史语义向量，计算出所有的所述历史语义向量的平均值，将所述平均值作为所述第二语义向量；

分别分析所述第一语义向量和所述第二语义向量的余弦相似度，得到所述第一语义向量和所述第二语义向量的余弦相似度值。

根据本发明的一些实施例，所述根据所述第一语义向量和所述第二语义向量的相似度比对，以得到比对数据，还包括：

将所述余弦相似度值与预设余弦相似度阈值进行比对，得到两者数值大小的比对数据。

本发明实施例的第二方面，提供了一种电子设备，包括：

至少一个存储器；

至少一个处理器；

至少一个程序；

所述程序被存储在所述存储器中，所述处理器执行所述至少一个所述程序以实现上述的信息推荐方法。

本发明实施例的第三方面，提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现上述的信息推荐方法的步骤。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1为本发明实施例的信息推荐方法的流程图；

图2为图1示出的信息推荐方法具体实施例的流程图；

图3为本发明实施例的关键词匹配具体实施例的流程图；

图4为本发明实施例的BERT模型构建语义向量具体实施例的流程图；

图5为本发明实施例的相似度去重具体实施例的流程图；

图6为本发明实施例的时间去重具体实施例的流程图；

图7为本发明实施例的电子设备的示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

在本发明的描述中，需要理解的是，涉及到方位描述，例如上、下、前、后、左、右等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

在本发明的描述中，若干的含义是一个或者多个，多个的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。

本发明的描述中，除非另有明确的限定，设置、安装、连接等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。

目前，网络上的信息数据越来越多，更新的速度也越来越快，不同的用户会不同的信息感兴趣，或者需要及时获取相关的信息。相关的技术主要通过人工对网络上的信息进行筛选，然后将符合用户需求的信息筛选出来，并推荐给匹配的客户。上述的模式效率较低，不能适应当下信息膨胀的网络环境。

参照图7，该电子设备1000的部件包括但不限于存储器1100和处理器1200。处理器1200与存储器1100通过总线1300相连接，数据库1600用于保存数据。

电子设备1000还包括接入设备1400，接入设备1400使得电子设备1000能够经由一个或多个网络1500通信。这些网络的示例包括公用交换电话网(PST N)、局域网(LAN)、广域网(WAN)、个域网(PAN)或诸如因特网的通信网络的组合。接入设备1400可以包括有线或无线的任何类型的网络接口(例如，网络接口卡(NIC))中的一个或者多个，例如IEEE802.11无线局域网(W LAN)无线接口、全球微波互联接入(Wi-MAX)接口、以太网接口、通用串行总线(USB)接口、蜂窝网络接口、蓝牙接口、近场通信(NFC)接口，等等。

在本发明的一些具体实施例中，电子设备1000的上述部件以及图7中未示出的其他部件可以彼此相连接，例如通过总线。应当理解，图7所示的电子设备结构框图仅仅是出于示例的目的，而不是对本发明范围的限制。本领域技术人员可以根据需要，增添或替换其他部件。计算设备可以是任何类型的移动计算设备，例如智能手机、智能平板等。

其中，处理器1200可以执行图1所示信息推荐方法中的步骤。图1示出了根据本发明实施例的信息推荐方法的流程图，参照图1和图2，包括步骤S100至步骤S500。

步骤S100：获取第一信息文本，并对第一信息文本进行关键词匹配，以得到匹配数据。

参照图3，具体地，首先将获取的第一信息文本进行分词操作，以得到词表，然后根据关键词条件查询词表，以得到匹配数据。例如，以人工知识为主的关键词进行匹配，关键词之间的关键有|(或)、&(与)、！(非)等，匹配方式为关键词运算，有括号作为运算优先级符号，关键词条件来源为历史沉淀的专家知识，在SPARK STREAMING实时流中计算并分发。关键词条件示例，如：(深圳&滑坡&光明)|(滑坡&2020)。文本句子为输入的文本资讯，关键词条件见上方示例，资讯进行jieba分词，得到词表，然后关键词条件进行括号解析，运算顺序为括号>非运算>与运算>或运算，运算方式为查询词表中是否存在该词，查询方式为轮询，最终得到关键词匹配结果。

步骤S200：将匹配数据通过BERT模型得到第一语义向量。

参照图4，将匹配数据输入BERT模型，接收BERT模型输出的对应匹配数据的第一语义向量。例如，建立BERT服务，使用bert_as_service模块，输入文本，调取CLS向量作为文本的语义向量。

步骤S300：获取第二信息文本，将第二信息文本通过BERT模型得到第二语义向量。

参照图5和图6，获取第二信息文本，包括对第一信息文本进行相似度去重，以得到去重文本信息；将去重文本信息进行时间去重，以得到第二信息文本。具体地，对第一信息文本进行相似度去重，以得到去重文本信息，包括获取预设时间段内的所有历史语义向量；将第一语义向量与历史语义向量进行余弦相似度比对，得到两者数值大小的比对差异值；将比对差异值大于第一预设值的第一语义向量，进行去重处理，得到去重文本信息。将去重文本信息进行时间去重，以得到第二信息文本，包括提取第一信息文本的时间数据；将时间数据与当前时间进行比对，以得到时间差值；将时间差值超过第二预设值的第一信息文本进行去重处理。

例如，信息具体重复性，反复性，相同相似信息的反复推送会是机器实时推荐棘手的问题之一，本发明实施例中利用新闻的语义向量，与一年内向客户推送成功过的新闻语义向量库进行相似度计算，如果相似值大于等于0.9，则判断为相似，走人工确认通道，如果均低于0.9，则判断为不相似，不进行去重。通过特定时间提取正则，提取信息发生的时间，与当前时间进行对比，超过一年则判断为旧闻，反之则通过；时间提取技术：特定时间提取正则：([1-2][0-9]{3})[年\--/]([0-1]？[0-9])[月\--/]([0-9]{1,2})；或者，如果正则提取不到，则结合TimeNormalizer模块进行时间归一化提取。此外，在本发明实施例中，还可以将第二信息文本存入mysql数据库。

步骤S400：将第一语义向量和第二语义向量进行相似度比对，以得到比对数据。

具体地，获取所有的历史语义向量，计算出所有的历史语义向量的平均值，将平均值作为第二语义向量；分别分析第一语义向量和第二语义向量的余弦相似度，得到第一语义向量和第二语义向量的余弦相似度值。将余弦相似度值与预设余弦相似度阈值进行比对，得到两者数值大小的比对数据。

例如，将第一语义向量与第二语义向量计算两者余弦相似度，取值大于等于0.7以上经验值，则为企业感兴趣舆情，反之则不感兴趣。

余弦相似度计算(即相似值计算公式补充)：

给定两个属性向量，A和B，其余弦相似性θ由点积和向量长度给出，如下所示：

在本发明实施例中，A和B分别指资讯向量与企业舆情向量(在公式中两者为对称关系)，Ai与Bi为指向量中各维度分向量的数值，在本发明实施例中，该维度数据与BERT中的CLS维度数量一致，为768维。

步骤S500：根据比对数据将相应的第一信息文本分发到与第一信息文本匹配的终端。

例如，通过web连接，直接将机器人识别出来企业关心的舆情推送给该企业的通信程序帐号，端对端推荐，更实时更高效。通过通信程序的机器人提供的WEB接口进行下发。

此外，在本发明实施例中，还可以设置搜索库，判断为不是用户关心信息文本，则存进ES数据库，以备人工搜索使用。

本发明实施例，通过获取第一信息文本，并对所述第一信息文本进行关键词匹配，以得到匹配数据。然后，将所述匹配数据通过BERT模型得到第一语义向量；获取第二信息文本，将所述第二信息文本通过所述BERT模型得到第二语义向量，将所述第一语义向量和所述第二语义向量进行相似度比对，以得到比对数据，根据所述比对数据将相应的第一信息文本分发到与所述第一信息文本匹配的终端。综上所述，本发明实施例通过BERT模型得到第一语义向量和第二语义向量，并将第一语义向量和所述第二语义向量进行相似度比对，最终得到符合用户需要的信息文本，并将该信息文本推送到用户终端。相较于当前需要人工参与的信息文本分发方式，本发明实施例能够有效提升信息推荐分发的效率。

本发明实施例还提供了一种电子设备，包括至少一个存储器、至少一个处理器、至少一个程序，程序被存储在存储器中，处理器执行至少一个程序以实现上述的信息推荐方法的步骤。

本发明实施例还提供了一种计算机可读存储介质的示意性方案。需要说明的是，该存储介质的技术方案与上述的信息推荐方法的技术方案属于同一构思，存储介质的技术方案未详细描述的细节内容，均可以参见上述信息推荐方法的技术方案的描述。

以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、***可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。

在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims (10)

1.一种信息推荐方法，其特征在于，包括以下步骤：

获取第一信息文本，并对所述第一信息文本进行关键词匹配，以得到匹配数据；

将所述匹配数据通过BERT模型得到第一语义向量；

获取第二信息文本，将所述第二信息文本通过所述BERT模型得到第二语义向量；

将所述第一语义向量和所述第二语义向量进行相似度比对，以得到比对数据；

根据所述比对数据将相应的第一信息文本分发到与所述第一信息文本匹配的终端。

2.根据权利要求1所述的信息推荐方法，其特征在于，所述获取第二信息文本，包括：

对所述第一信息文本进行相似度去重，以得到去重文本信息；

将所述去重文本信息进行时间去重，以得到所述第二信息文本。

3.根据权利要求2所述的信息推荐方法，其特征在于，所述对所述第一信息文本进行相似度去重，以得到去重文本信息，包括以下步骤：

获取预设时间段内的所有历史语义向量；

将所述第一语义向量与所述历史语义向量进行余弦相似度比对，得到两者数值大小的比对差异值；

将所述比对差异值大于第一预设值的第一语义向量，进行去重处理，得到去重文本信息。

4.根据权利要求3所述的信息推荐方法，其特征在于，所述将所述去重文本信息进行时间去重，以得到所述第二信息文本，包括：

提取所述第一信息文本的时间数据；

将所述时间数据与当前时间进行比对，以得到时间差值；

将所述时间差值超过第二预设值的所述第一信息文本进行去重处理。

5.根据权利要求1所述的信息推荐方法，其特征在于，所述获取第一信息文本，并对所述第一信息文本进行关键词匹配，以得到匹配数据，包括以下步骤：

获取所述第一信息文本；

将获取的所述第一信息文本进行分词操作，以得到词表；

根据关键词条件查询所述词表，以得到所述匹配数据。

6.根据权利要求1所述的信息推荐方法，其特征在于，所述将所述匹配数据通过BERT模型得到第一语义向量，包括以下步骤：

将所述匹配数据输入所述BERT模型；

接收所述BERT模型输出的对应所述匹配数据的第一语义向量。

7.根据权利要求1所述的信息推荐方法，其特征在于，所述根据所述第一语义向量和所述第二语义向量的相似度比对，以得到比对数据，包括：

获取所有的历史语义向量，计算出所有的所述历史语义向量的平均值，将所述平均值作为所述第二语义向量；

分别分析所述第一语义向量和所述第二语义向量的余弦相似度，得到所述第一语义向量和所述第二语义向量的余弦相似度值。

8.根据权利要求7所述的信息推荐方法，其特征在于，所述根据所述第一语义向量和所述第二语义向量的相似度比对，以得到比对数据，还包括：

将所述余弦相似度值与预设余弦相似度阈值进行比对，得到两者数值大小的比对数据。

9.一种电子设备，其特征在于，包括：

至少一个存储器；

至少一个处理器；

至少一个程序；

所述程序被存储在所述存储器中，所述处理器执行所述至少一个所述程序以实现如权利要求1-8任意一项所述的信息推荐方法。

10.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的信息推荐方法的步骤。

Images