CN114239587A

CN114239587A - 一种摘要生成方法、装置、电子设备及存储介质

Info

Publication number: CN114239587A
Application number: CN202111404579.4A
Authority: CN
Inventors: 杨鹏举; 李悦; 杨一帆
Original assignee: Beijing Sankuai Online Technology Co Ltd
Current assignee: Beijing Sankuai Online Technology Co Ltd
Priority date: 2021-11-24
Filing date: 2021-11-24
Publication date: 2022-03-25
Anticipated expiration: 2041-11-24
Also published as: CN114239587B

Abstract

本申请提供了一种摘要生成方法、装置、电子设备及存储介质，涉及数据处理技术领域，旨在使生成的摘要同时关注搜索词和待处理文本的语义。所述方法包括：获取搜索词和待处理文本；根据所述待处理文本中每个句子与所述搜索词的相关度，生成多个候选摘要；利用所述搜索词对所述待处理文本的表示向量进行调整；根据所述多个候选摘要各自的表示向量分别与所述待处理文本的调整后的表示向量的距离，得到所述多个候选摘要各自的分数；根据所述多个候选摘要各自的分数之间的大小关系，从所述多个候选摘要中抽取所述待处理文本的多个摘要。

Description

一种摘要生成方法、装置、电子设备及存储介质

技术领域

本申请涉及数据处理技术领域，特别是涉及一种摘要生成方法、装置、电子设备及存储介质。

背景技术

随着互联网的不断发展，网络中的文本数据呈爆发式增长，用户若想判断在互联网中，通过搜索词搜索到的文本是否包含需要的信息，需要耗费巨大的精力和时间。文本摘要可以帮助用户快速判断搜索到的文本是否包含需要的信息。

相关技术中，搜索场景下的文本摘要生成方法，只关注或者过多关注和搜索词的相关性，忽略了生成的文本摘要是否和原文语义相关。

发明内容

鉴于上述问题，本发明实施例提供了一种摘要生成方法、装置、电子设备及存储介质，以便克服上述问题或者至少部分地解决上述问题。

本发明实施例的第一方面，提供了一种摘要生成方法，所述方法包括：

获取搜索词和待处理文本；

根据所述待处理文本中每个句子与所述搜索词的相关度，生成多个候选摘要；

利用所述搜索词对所述待处理文本的表示向量进行调整；

根据所述多个候选摘要各自的表示向量分别与所述待处理文本的调整后的表示向量的距离，得到所述多个候选摘要各自的分数；

根据所述多个候选摘要各自的分数之间的大小关系，从所述多个候选摘要中抽取所述待处理文本的多个摘要。

可选地，所述方法还包括：

获取所述待处理文本的参考摘要；

根据所述待处理文本中每个句子与所述搜索词的相关度，生成多个候选摘要，包括：根据所述待处理文本中每个句子与所述搜索词的第一相关度，以及与所述参考摘要的第二相关度，生成多个候选摘要；

根据所述多个候选摘要各自的表示向量分别与所述待处理文本的调整后的表示向量的距离，得到所述多个候选摘要各自的分数，包括：根据所述多个候选摘要各自的表示向量分别与所述待处理文本的调整后的表示向量的第一距离，以及，与所述参考摘要的表示向量的第二距离，得到所述多个候选摘要各自的分数。

可选地，根据所述待处理文本中每个句子与所述搜索词的第一相关度，以及与所述参考摘要的第二相关度，生成多个候选摘要，包括：

根据所述每个句子的所述第一相关度和所述第二相关度，计算所述每个句子的总相关度；

根据所述待处理文本中每个句子的总相关度之间的大小关系，从所述待处理文本中抽取多个句子；

对所述多个句子中的至少部分句子，按照在所述待处理文本中的顺序进行组合，生成多个候选摘要。

可选地，利用所述搜索词对所述待处理文本的表示向量进行调整，包括：

利用所述搜索词对所述待处理文本中每个句子的表示向量进行调整；

根据所述待处理文本中每个句子的调整后的表示向量，得到所述待处理文本的表示向量。

可选地，所述方法还包括：

根据所述多个候选摘要各自的分数之间的大小关系，对所述多个摘要进行展示；

获取所述多个摘要各自的用户行为数据；

根据所述多个摘要各自的用户行为数据，对所述多个摘要各自的分数进行更新；

在再次获取到所述搜索词时，根据所述多个候选摘要各自的更新后分数之间的大小关系，对所述多个摘要进行再次展示。

可选地，所述方法还包括：

获取样本搜索词、对应的样本文本以及所述样本文本的样本参考摘要；

计算所述样本文本中每个句子与所述样本搜索词的第一样本相关度，以及与所述样本参考文本的第二样本相关度；

为所述样本文本中总样本相关度高于相关度阈值的句子标记正标签，以及，为所述样本文本中总样本相关度不高于所述相关度阈值的句子标记负标签，所述总样本相关度为所述第一样本相关度与所述第二样本相关度的加权和；

利用所述样本搜索词、样本参考摘要和标记后的样本文本，对第一预设模型进行训练，得到相关度预测模型；

所述待处理文本中每个句子与所述搜索词的相关度，是按照以下步骤确定的：

将所述待处理文本和所述搜索词输入所述相关度预测模型，得到所述待处理文本中每个句子与所述搜索词的相关度。

可选地，所述方法还包括：

获取多组训练样本，所述每组训练样本包括：样本搜索词、样本文本及其样本参考文本、以及所述样本文本的多个样本候选摘要；

以最小化第一样本距离与对应的第二样本距离之间的差距，且最大化多个第一样本距离之间的差距为目标，利用所述多组训练样本对第二预设模型进行训练，得到分数预测模型，其中，所述第二预设模型利用所述样本搜索词对所述样本文本的表示向量进行调整，所述第一样本距离为所述多个样本候选摘要各自的表示向量分别与所述样本文本的调整后的表示向量的距离，所述第二样本距离为所述多个样本候选摘要各自的表示向量分别与所述样本参考摘要的表示向量的第二距离；

利用所述搜索词对所述待处理文本的表示向量进行调整，根据所述多个候选摘要各自的表示向量分别与所述待处理文本的调整后的表示向量的距离，得到所述多个候选摘要各自的分数，包括：

将所述待处理文本、所述搜索词以及所述多个候选摘要输入所述分数预测模型，得到所述多个候选摘要各自的分数。

本发明实施例的第二方面，提供了一种摘要生成装置，所述装置包括：

获取模块，用于获取搜索词和待处理文本；

生成模块，用于根据所述待处理文本中每个句子与所述搜索词的相关度，生成多个候选摘要；

调整模块，用于利用所述搜索词对所述待处理文本的表示向量进行调整；

分数模块，用于根据所述多个候选摘要各自的表示向量分别与所述待处理文本的调整后的表示向量的距离，得到所述多个候选摘要各自的分数；

抽取模块，用于根据所述多个候选摘要各自的分数之间的大小关系，从所述多个候选摘要中抽取所述待处理文本的多个摘要。

本发明实施例的第三方面，提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本发明实施例的第一方面所述的摘要生成方法。

本发明实施例的第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明实施例的第一方面所述的摘要生成方法的步骤。

本发明实施例包括以下优点：

本实施例中，可以获取搜索词和待处理文本；根据所述待处理文本中每个句子与所述搜索词的相关度，生成多个候选摘要；利用所述搜索词对所述待处理文本的表示向量进行调整；根据所述多个候选摘要各自的表示向量分别与所述待处理文本的调整后的表示向量的距离，得到所述多个候选摘要各自的分数；根据所述多个候选摘要各自的分数之间的大小关系，从所述多个候选摘要中确定所述待处理文本的多个摘要。

如此，多个候选摘要是根据待处理文本中每个句子与搜索词的相关度生成的，且利用搜索词对待处理文本的表示向量进行了调整，从而保证了生成的候选摘要关注了和搜索词的相关性；多个候选摘要各自的分数，是根据多个候选摘要各自的表示向量分别与所述待处理文本的调整后的表示向量的距离得到的，待处理文本的表示向量反映了待处理文本的语义，因此候选摘要各自的分数反映了和调整后的待处理文本的语义相关度；如此，根据所述多个候选摘要各自的分数之间的大小关系，从所述多个候选摘要中确定所述待处理文本的多个摘要，保证了确定的待处理文本的摘要和待处理文本的语义相关。因此，从候选摘要中确定的待处理文本的摘要，既关注和搜索词的相关性，又关注了和待处理文本的语义相关度。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例中一种摘要生成方法的步骤流程图；

图2是本发明实施例中相关度预测模型的示意图；

图3是本发明实施例中使用总模型的流程示意图；

图4是本发明实施例中一种摘要生成装置的结构示意图。

具体实施方式

为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本申请作进一步详细的说明。

在信息***的时代，从海量信息中智能、迅速的获取摘要信息，已经成为人们日常生活中不可或缺的需求。而文本摘要技术的目的就是从一个长文本中提取简短、有价值的信息。在搜索场景下，文本摘要技术是指给定一个搜索词和一个文本，得到一个和搜索词相关的摘要，其既需要考虑和搜索词的相关度，还需要考虑和文本的语义相关度。相关技术中，在搜索场景下往往只关注或者过多关注搜索词相关度而忽略了得到的文本摘要是否和原文语义相关，造成了摘要可读性差和可解释性差等问题。

为解决相关技术中的搜索场景下的文本摘要生成方法，只关注或者过多关注和搜索词的相关性，忽略了生成的文本摘要是否和原文语义相关等问题，申请人提出：根据每个句子和搜索词的相关度来生成候选摘要，并利用搜索词对待处理文本的表示向量进行调整，以保证得到的摘要和搜索词的相关度；根据候选摘要和调整后的待处理文本的语义相关度，来确定最后得到的摘要，保证了得到的摘要和原文语义相关；如此，得到的摘要既关注和搜索词的相关性，又关注了和待处理文本的语义相关度。

参照图1所示，示出了本发明实施例中一种摘要生成方法的步骤流程图，如图1所示，该摘要生成方法具体可以包括以下步骤：

步骤S110：获取搜索词和待处理文本。

为了使得到的待处理文本的摘要关注和搜索词的相关性，需要获取搜索词和待处理文本。

步骤S120：根据所述待处理文本中每个句子与所述搜索词的相关度，生成多个候选摘要。

通过公式计算或通过相应的模型，得到待处理文本中每个句子与搜索词的相关度。获取相关度最高或者相关度高于预设相关度的N个句子，取这N个句子中的任意部分句子，按照这任意部分句子在待处理文本中的顺序，生成多个候选摘要。例如，获取相关度最高的4个句子A1、A2、A3、A4，随机抽取这4个句子中的任意3个句子，按照抽取的3个句子在待处理文本中的先后顺序，可以生成如下4个候选摘要A1A2A3、A1A2A4、A1A3A4、A2A3A4。

生成的候选摘要中每个句子的先后顺序，和其在待处理文本中的先后顺序相同，可以保证生成的候选摘要的语义可以比较贴合待处理文本的语义，避免因句子顺序颠倒而导致候选摘要偏离待处理文本的语义，以及候选摘要自身的可读性差。

步骤S130：利用所述搜索词对所述待处理文本的表示向量进行调整。

可选地，本步骤可以包括：利用所述搜索词对所述待处理文本中每个句子的表示向量进行调整；根据所述待处理文本中每个句子的调整后的表示向量，得到所述待处理文本的表示向量。

相关技术中对搜索词的利用只停留在词句子层面，本发明实施例通过注意力机制，利用搜索词对待处理文本的语义进行提纯，以满足搜索场景下用户期望搜索到与搜索词相关度高的摘要的需求。其中提纯是指：计算待处理文本中每个句子关于搜索词的注意力权重，然后利用该权重和句子的表示向量相乘，以得到句子调整后的表示向量，最后以句子调整后的表示向量，生成待处理文本的调整后的表示向量，以使待处理文本调整后的语义能够突出待处理文本与搜索词的相关度。

首先，根据每个待处理文本中每个句子与搜索词的相关度，计算待处理文本中每个句子关于搜索词的注意力权重。具体地，可以通过如下公式得到每个句子的注意力权重：

其中，Q_S_Score表示注意力权重，score(query，sent_i)表示待处理文本中第i个句子和搜索词的相关性，score(query，sent_j)表示待处理文本中第j个句子和搜索词的相关性。

然后，以每个句子的注意力权重乘以每个句子的表示向量，可以得到每个句子调整后的表示向量。

最后根据每个句子的调整后的表示向量，相加可以得到待处理文本的表示向量。或者通过将每个句子的调整后的表示向量输入到Transformer模型(一种机器翻译模型)，得到待处理文本的表示向量。

如此，待处理文本的调整后的表示向量是根据调整后的句子的表示向量得到的，侧重表达了搜索词相关的语义，因此得到的待处理文本的调整后的表示向量，更加关注了和搜索词的相关度，从而使之后得到的摘要关注了和搜索词的相关性。

步骤S140：根据所述多个候选摘要各自的表示向量分别与所述待处理文本的调整后的表示向量的距离，得到所述多个候选摘要各自的分数。

获取多个候选摘要的表示向量，并计算多个候选摘要各自的表示向量分别与待处理文本的调整后的表示向量的余弦距离，距离越大表明该候选摘要的语义和调整后的待处理文本的语义差距越大。距离越大的候选摘要，分数越小。

步骤S150：根据所述多个候选摘要各自的分数之间的大小关系，从所述多个候选摘要中抽取所述待处理文本的多个摘要。

以分数最大的预设数量的多个候选摘要，或分数高于预设分数的多个候选摘要，作为所述待处理文本的多个摘要。

采用本申请实施例的技术方案，多个候选摘要是根据待处理文本中每个句子与搜索词的相关度生成的，且利用搜索词对待处理文本的表示向量进行了调整，从而保证了生成的候选摘要关注了和搜索词的相关性；多个候选摘要各自的分数，是根据多个候选摘要各自的表示向量分别与所述待处理文本的调整后的表示向量的距离得到的，待处理文本的表示向量反映了待处理文本的语义，因此候选摘要各自的分数反映了和调整后的待处理文本的语义相关度；如此，根据所述多个候选摘要各自的分数之间的大小关系，从所述多个候选摘要中确定所述待处理文本的多个摘要，保证了确定的待处理文本的摘要和待处理文本的语义相关。因此，从候选摘要中确定的待处理文本的摘要，既关注和搜索词的相关性，又关注了和待处理文本的语义相关度。

可选地，作为一个实施例，所述摘要生成方法还包括以下步骤：

步骤S210：获取所述待处理文本的参考摘要。

在待处理文本包括参考摘要时，获取所述待处理文本的参考摘要。其中，参考摘要可以是待处理文本的原作者或其它人总结的、反映了待处理文本的核心语义的文本。但是，参考摘要和搜索词无关，其仅仅概括了待处理文本的语义，为了获取搜索场景下的待处理文本摘要还需要进行相应的处理。

步骤S220：根据所述待处理文本中每个句子与所述搜索词的相关度，生成多个候选摘要，包括：根据所述待处理文本中每个句子与所述搜索词的第一相关度，以及与所述参考摘要的第二相关度，生成多个候选摘要。

可选地，本步骤可以包括：根据所述每个句子的所述第一相关度和所述第二相关度，计算所述每个句子的总相关度；根据所述待处理文本中每个句子的总相关度之间的大小关系，从所述待处理文本中抽取多个句子；对所述多个句子中的至少部分句子，按照在所述待处理文本中的顺序进行组合，生成多个候选摘要。

通过公式计算或通过相应的模型，得到待处理文本中每个句子与搜索词的第一相关度，并得到待处理文本中每个句子与参考摘要的第二相关度。

将每个句子的第一相关度和第二相关度进行加权求和，得到每个句子的总相关度。获取总相关度最高或者相关度高于预设相关度的多个句子，取这多个句子中的至少部分句子，按照这至少部分句子在待处理文本中的顺序，生成多个候选摘要。

如此，生成的多个候选摘要，同时和搜索词、参考摘要具有较高的相关度。

步骤S230：根据所述多个候选摘要各自的表示向量分别与所述待处理文本的调整后的表示向量的距离，得到所述多个候选摘要各自的分数，包括：根据所述多个候选摘要各自的表示向量分别与所述待处理文本的调整后的表示向量的第一距离，以及，与所述参考摘要的表示向量的第二距离，得到所述多个候选摘要各自的分数。

然后利用搜索词对待处理文本的表示向量进行调整，再计算多个候选摘要各自的表示向量分别与待处理文本的调整后的表示向量的第一距离，以及多个候选摘要各自的表示向量分别与参考摘要的表示向量的第二距离，再将第一距离和第二距离进行加权求和，得到总距离。根据总距离，得到多个候选摘要的分数。最后根据所述多个候选摘要各自的分数之间的大小关系，从所述多个候选摘要中抽取所述待处理文本的多个摘要。

采用本申请实施例的技术方案，多个候选摘要是根据待处理文本中每个句子分别与搜索词和参考摘要的相关度生成的，且利用搜索词对待处理文本的表示向量进行了调整，从而保证了生成的候选摘要关注了和搜索词的相关性；多个候选摘要各自的分数，是根据多个候选摘要各自的表示向量分别与所述待处理文本的调整后的表示向量的第一距离，以及与参考摘要的表示向量的第二距离得到的，待处理文本的表示向量反映了待处理文本的语义，参考摘要的表示向量反映了待处理文本的核心语义，因此候选摘要各自的分数反映了和调整后的待处理文本以及待处理文本的核心语义的语义相关度；如此，根据所述多个候选摘要各自的分数之间的大小关系，从所述多个候选摘要中确定所述待处理文本的多个摘要，保证了确定的待处理文本的摘要和待处理文本的核心语义相关。因此，从候选摘要中确定的待处理文本的摘要，既关注和搜索词的相关性，又关注了和待处理文本核心语义的语义相关度。

可选地，作为一个实施例，所述摘要生成方法还包括：根据所述多个候选摘要各自的分数之间的大小关系，对所述多个摘要进行展示；获取所述多个摘要各自的用户行为数据；根据所述多个摘要各自的用户行为数据，对所述多个摘要各自的分数进行更新；在再次获取到所述搜索词时，根据所述多个候选摘要各自的更新后分数之间的大小关系，对所述多个摘要进行再次展示。

在得到待处理文本的摘要后，所述摘要携带了其作为候选摘要时的分数，该分数越大表征该摘要的质量越好。在用户搜索相应的搜索词，以对所述多个摘要进行展示时，根据所述多个候选摘要各自的分数之间的大小关系，其中分数越大的摘要越优先展示，或分数越大的摘要展示频率越高；或无视该分数之间的大小关系，尽量平均地展示该多个摘要。

在对摘要进行展示时，获取用户的行为数据，以对多个摘要各自的分数进行更新，包括：在对摘要进行展示时，获取其被用户执行预设行为时的次数，每被用户执行一次预设行为，为该摘要累计相应的分数，实时或间隔预设更新周期后，将该摘要累计的相应的分数，与该摘要原本的分数相加，得到更新后的摘要的分数。其中，预设行为可以是用户点击该摘要，或者用户在该摘要页面停留预设时长等，本申请对此不作限制。

在再次获取到所述搜索词时，根据所述多个候选摘要各自的更新后分数之间的大小关系，对所述多个摘要进行再次展示，包括：根据所述多个候选摘要各自的更新后分数之间的大小关系，其中分数越大的摘要越优先展示，或分数越大的摘要展示频率越高。

采用本申请实施例的技术方案，利用用户的行为数据对摘要的分数进行更新，以根据用户的行为数据去找到“高质量”和“高吸引力”的句子，并在之后的展示中，优先展示根据用户的行为数据找到的“高质量”和“高吸引力”的句子。

为了快速地得到待处理文本中每个句子与所述搜索词的相关度，申请人提出构造相关度预测模型来得到待处理文本中每个句子与所述搜索词的相关度。为了训练相关度预测模型，需要利用标注好的数据集。相关技术中，数据集的标注为人工标注，耗费大量人力资源和时间资源，为此，申请人又提出了一种数据集自动标注方法。

可选地，作为一个实施例，申请人提出的一种数据集自动标注方法包括步骤S310-步骤S330，具体如下：

步骤S310：获取样本搜索词、对应的样本文本以及所述样本文本的样本参考摘要。

为了对构造的相关度预测模型进行训练，需要先获取样本搜索词、对应的样本文本以及样本文本的样本参考摘要。其中，样本参考摘要可以是样本文本的作者或者他人总结的、反映样本文本的核心语义的文本。

步骤S320：计算所述样本文本中每个句子与所述样本搜索词的第一样本相关度，以及与所述样本参考文本的第二样本相关度。

步骤S330：为所述样本文本中总样本相关度高于相关度阈值的句子标记正标签，以及，为所述样本文本中总样本相关度不高于所述相关度阈值的句子标记负标签，所述总样本相关度为所述第一样本相关度与所述第二样本相关度的加权和。

样本文本中每个句子的总样本相关度可以通过如下公式计算得到：

Sent_score＝α*Query_Rouge_F1+β*Ref_Rouge_F1

其中，Sent_score为总样本相关度，α和β分别为预设的权重值，Query_Rouge_F1为第一样本相关度，Ref_Rouge_F1为第二样本相关度。

Rouge_F1通过准确率和召回率反映了相关度，可以通过如下公式计算得到：

其中，precision表征精确率，recall表征召回率。

其中，percision和recall可以通过如下公式计算得到：

其中，&&表征交集，count(text1)表征句子中的词、字数，count(text2)检索的文本中的词、字数，其中计算和搜索词的相关度时，所述检索的文本为搜索词，计算和参考摘要的相关度时，所述检索的文本为参考摘要；N-Gram是N个词的序列。recall反映了句子和检索的文本重合的词、字数与检索的文本的词、字数的比率，percision反映了句子和检索的文本重合的词、字数与句子的词、字数的比率。

因此，在计算样本文本中的句子和搜索词的第一样本相关度时，先计算该句子的关于搜索词的召回率和准确率，再通过准确率和召回率计算第一样本相关度；相应地，在计算样本文本中的句子和参考摘要的第二样本相关度时，先计算该句子的关于参考摘要的召回率和准确率，再通过准确率和召回率计算第二样本相关度；最后通过第一样本相关度和第二样本相关度的加权和，计算得到总样本相关度。

相关度阈值可以为每个样本文本中每个句子的平均总样本相关度，也可以为预设的相关度阈值。将样本文本中总样本相关度高于相关度阈值的句子标记正标签，将样本文本中总样本相关度不高于相关度阈值的句子标记负标签。如此，针对样本文本中的每个句子，可以自动计算其总样本相关度，并确定该句子的标签，以实现样本文本中每个句子的自动标注。

进一步地，申请人提出基于标注的样本文本训练相关度预测模型，具体包括步骤S340：利用所述样本搜索词、样本参考摘要和标记后的样本文本，对第一预设模型进行训练，得到相关度预测模型。

一个句子的质量不应该只看与搜索词的词共现关系，还应该看其在上下文的位置以及表征文本核心语义的能力。因此，将样本搜索词、样本参考摘要和标记后的样本文本输入到第一预设模型，对第一预设模型进行训练，以使得到相关度预测模型预测的句子的相关度，同时关注了搜索词、上下文位置、文本核心语义。参照图2，示出了相关度预测模型的示意图。相关度预测模型包括改造后的BERT模型(一种语言表示模型)、Transformer模型和二分类层，其中改造后的BERT模型可以同时接受多个输入。

BERT模型学习了句子的上下文语义，并输出样本文本中每个句子的表示向量和位置关系，然后Transformer模型让每个句子学习整个样本文本的表示向量，最后通过二分类层输出每个句子与搜索词和参考摘要的总相关度。其中，使第一预设模型去学习样本文本中每个句子的标签，以对第一预设模型进行训练，最后得到相关度预测模型。

步骤S350：所述待处理文本中每个句子与所述搜索词的相关度，是按照以下步骤确定的：将所述待处理文本和所述搜索词输入所述相关度预测模型，得到所述待处理文本中每个句子与所述搜索词的相关度。

训练好相关度预测模型之后，在实际应用中，只需将待处理文本中每个句子与搜索词输入到相关度预测模型，即可得到待处理文本中每个句子与所述搜索词的相关度；相应地，将待处理文本中每个句子、搜索词与待处理文本的参考摘要输入到相关度预测模型，即可得到待处理文本中每个句子与所述搜索词和所述参考摘要的总相关度。

采用本申请实施例的技术方案，可以自动标注样本文本，并基于标注的样本文本训练相关度预测模型，以在将待处理文本和搜索词输入相关度预测模型时，快速得到待处理文本中每个句子与搜索词的相关度，或在将待处理文本、搜索词和参考摘要输入相关度预测模型时，快速得到待处理文本中每个句子与搜索词和参考摘要的总相关度。

为了快速地得到待处理文本多个候选摘要的分数，申请人提出构造分数预测模型来得到待处理文本多个候选摘要的分数。可选地，作为一个实施例，所述摘要生成方法还包括：

以最小化第一样本距离与对应的第二样本距离之间的差距，且最大化多个第一样本距离之间的差距为目标，利用所述多组训练样本对第二预设模型进行训练，得到分数预测模型，其中，所述第一预设模型利用所述样本搜索词对所述样本文本的表示向量进行调整，所述第一样本距离为所述多个样本候选摘要各自的表示向量分别与所述样本文本的调整后的表示向量的距离，所述第二距离为所述多个样本候选摘要各自的表示向量分别与所述样本参考摘要的表示向量的第二距离；

首先需要构造第二预设模型，然后利用多组训练样本对第二预设模型进行训练，以得到分数预测模型。其中，每组训练样本包括：样本搜索词、样本文本及其样本参考摘要以及所述样本文本的多个样本候选摘要。样本文本的多个样本候选摘要，其中，样本搜索词、样本文本及其样本参考摘要可以是训练第一预设模型时使用的相关文本，样本候选摘要可以是样本文本的相关度分数较高的句子组成的样本候选摘要。

可选地，为了使本发明实施例的摘要生成方法更加适用于特定领域或特定场景，可以选用相应领域或相应场景的文本作为样本文本来训练预设模型。例如，为了使本发明实施例的摘要生成方法更加适用于点评平台的搜索场景，可以利用该点评平台上的用户历史上传的文本作为样本文本对模型进行训练，以使训练好的模型更加贴合点评平台的实际应用情况。

第二预设模型利用样本搜索词对样本文本的表示向量进行调整，调整的方法可以参照前述利用搜索词对待处理文本的表示向量进行调整的方法。

针对每组训练样本，计算样本文本的每个候选摘要的表示向量与样本文本的调整后的表示向量的第一样本距离，以及计算样本文本的每个候选摘要的表示向量与样本参考摘要的表示向量的第二样本距离，距离可以是余弦距离。

以最小化第一样本距离与对应的第二样本距离之间的差距，且最大化多个第一样本距离之间的差距为目标，利用所述多组训练样本对第二预设模型进行训练，得到分数预测模型，包括通过以下公式构建损失函数：

loss_1＝max{0，f(c，s)-f(c，r)+γ}

loss_2＝max{0，f(c，s_i)-f(c，s_j)+γ}

Loss＝ω₁*loss_1+ω₂*loss_2

其中，f(A,B)＝cos(A,B)表征A和B的余弦距离；λ为预设参数，ω₁和ω₂分别为预设的权重值；loss_1为第一损失函数，loss_2为第一损失函数，c表示样本文本，s表示候选摘要，r表示参考摘要，s_i表示第i个摘要，s_j表示第j个摘要，其中i和j是按照每个候选摘要的得分进行排序的。

通过第一损失函数，可以引导候选摘要向参考摘要学习，参考摘要是人工总结的，认为是值得学习的、较好的摘要的；通过第二损失函数，可以引导排名靠后的候选摘要向排名靠前的候选摘要学习，以使生成的候选摘要质量不断提高。

分数预测模型可以通过BERT模型来得到候选摘要、调整后的样本文本以及参考摘要各自的文本表示向量，并基于此确定第一样本距离和第二样本距离。分数预测模型和相关度预测模型中的BERT模型可以通用，无需引入额外的模型，减轻了模型的设计和训练负载。

采用本申请实施例的技术方案，构造了分数预测模型，以在将所述待处理文本、所述搜索词以及所述多个候选摘要输入所述分数预测模型，得到所述多个候选摘要各自的分数，或将所述待处理文本、所述搜索词、所述多个候选摘要以及参考摘要输入所述分数预测模型，得到所述多个候选摘要各自的分数。

可选地，可以将摘要生成的所有方法的执行主体设置为一个总模型，该总模型内部可以执行相关度预测模型和分数预测模型各自执行的步骤。参照图3，示出了使用总模型的流程示意图，其中数字代表步骤、矩形框代表文本、椭圆代表模型部分、圆代表文本表示向量且颜色越接近代表语义越接近。

步骤1：将待处理文本输入到模型的BERT+Transformer部分，得到待处理文本中每个句子的相关度。

步骤2：根据每个句子的相关度，生成多个候选摘要；

步骤3：获取每个候选摘要的表示向量；

步骤4：利用搜索词对待处理文本的表示向量进行调整；

步骤5：计算待处理文本的调整后的表示向量和每个候选摘要的表示向量的距离。

其中，每个步骤的具体实现方法可以参照前述实施例公开的方法。最后得到的待处理文本的摘要是多个候选摘要中分数较大的摘要。

可选地，在待处理文本包含参考摘要时，每个句子的相关度是句子和搜索词的第一相关度，以及句子和参考摘要的第二相关度；计算待处理文本的调整后的表示向量和每个候选摘要的表示向量的距离，包括：计算待处理文本的调整后的表示向量和每个候选摘要的表示向量的第一距离，以及计算参考摘要的表示向量和每个候选摘要的表示向量的第二距离。

如此，可以通过总模型直接确定待处理文本的摘要，该摘要既关注和搜索词的相关性，又关注了和待处理文本的语义相关度。

需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。

图4是本发明实施例的一种摘要生成装置的结构示意图，如图4所示，一种摘要生成装置，包括获取模块、生成模块、调整模块、分数模块和抽取模块，其中：

获取模块，用于获取搜索词和待处理文本；

可选地，作为一个实施例，所述装置还包括：

参考摘要获取模块，用于获取所述待处理文本的参考摘要；

所述生成模块包括：

生成单元，用于根据所述待处理文本中每个句子与所述搜索词的第一相关度，以及与所述参考摘要的第二相关度，生成多个候选摘要；

所述分数模块包括：

分数单元，用于根据所述多个候选摘要各自的表示向量分别与所述待处理文本的调整后的表示向量的第一距离，以及，与所述参考摘要的表示向量的第二距离，得到所述多个候选摘要各自的分数。

可选地，作为一个实施例，所述生成单元包括：

总相关度子单元，用于根据所述每个句子的所述第一相关度和所述第二相关度，计算所述每个句子的总相关度；

抽取子单元，用于根据所述待处理文本中每个句子的总相关度之间的大小关系，从所述待处理文本中抽取多个句子；

生成子单元，用于对所述多个句子中的至少部分句子，按照在所述待处理文本中的顺序进行组合，生成多个候选摘要。

可选地，作为一个实施例，所述调整模块包括：

句子调整单元，用于利用所述搜索词对所述待处理文本中每个句子的表示向量进行调整；

文本调整单元，用于根据所述待处理文本中每个句子的调整后的表示向量，得到所述待处理文本的表示向量。

可选地，作为一个实施例，所述装置还包括：

展示模块，用于根据所述多个候选摘要各自的分数之间的大小关系，对所述多个摘要进行展示；

行为数据模块，用于获取所述多个摘要各自的用户行为数据；

更新模块，用于根据所述多个摘要各自的用户行为数据，对所述多个摘要各自的分数进行更新；

再展示模块，用于在再次获取到所述搜索词时，根据所述多个候选摘要各自的更新后分数之间的大小关系，对所述多个摘要进行再次展示。

可选地，作为一个实施例，所述装置还包括：

样本获取模块，用于获取样本搜索词、对应的样本文本以及所述样本文本的样本参考摘要；

样本相关度模块，用于计算所述样本文本中每个句子与所述样本搜索词的第一样本相关度，以及与所述样本参考文本的第二样本相关度；

标签模块，用于为所述样本文本中总样本相关度高于相关度阈值的句子标记正标签，以及，为所述样本文本中总样本相关度不高于所述相关度阈值的句子标记负标签，所述总样本相关度为所述第一样本相关度与所述第二样本相关度的加权和；

第一训练模块，用于利用所述样本搜索词、样本参考摘要和标记后的样本文本，对第一预设模型进行训练，得到相关度预测模型；

所述待处理文本中每个句子与所述搜索词的相关度，是按照以下步骤确定的：将所述待处理文本和所述搜索词输入所述相关度预测模型，得到所述待处理文本中每个句子与所述搜索词的相关度。

可选地，作为一个实施例，所述装置还包括：

训练样本获取模块，用于获取多组训练样本，所述每组训练样本包括：样本搜索词、样本文本及其样本参考文本、以及所述样本文本的多个样本候选摘要；

第二训练模块，用于以最小化第一样本距离与对应的第二样本距离之间的差距，且最大化多个第一样本距离之间的差距为目标，利用所述多组训练样本对第二预设模型进行训练，得到分数预测模型，其中，所述第二预设模型利用所述样本搜索词对所述样本文本的表示向量进行调整，所述第一样本距离为所述多个样本候选摘要各自的表示向量分别与所述样本文本的调整后的表示向量的距离，所述第二样本距离为所述多个样本候选摘要各自的表示向量分别与所述样本参考摘要的表示向量的第二距离；

利用所述搜索词对所述待处理文本的表示向量进行调整，根据所述多个候选摘要各自的表示向量分别与所述待处理文本的调整后的表示向量的距离，得到所述多个候选摘要各自的分数，包括：将所述待处理文本、所述搜索词以及所述多个候选摘要输入所述分数预测模型，得到所述多个候选摘要各自的分数。

需要说明的是，装置实施例与方法实施例相近，故描述的较为简单，相关之处参见方法实施例即可。

本发明实施例还提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任一实施例所述的摘要生成方法。

本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任一实施例所述的摘要生成方法的步骤。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、装置或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明实施例是参照根据本发明实施例的方法、装置、电子设备和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。

以上对本申请所提供的一种摘要生成方法、装置、电子设备及计算机可读存储介质，进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims

1.一种摘要生成方法，其特征在于，所述方法包括：

获取搜索词和待处理文本；

利用所述搜索词对所述待处理文本的表示向量进行调整；

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

获取所述待处理文本的参考摘要；

3.根据权利要求2所述的方法，其特征在于，根据所述待处理文本中每个句子与所述搜索词的第一相关度，以及与所述参考摘要的第二相关度，生成多个候选摘要，包括：

4.根据权利要求1所述的方法，其特征在于，利用所述搜索词对所述待处理文本的表示向量进行调整，包括：

5.根据权利要求1-4任一所述的方法，其特征在于，所述方法还包括：

获取所述多个摘要各自的用户行为数据；

6.根据权利要求1-4任一所述的方法，其特征在于，所述方法还包括：

7.根据权利要求1-4任一所述的方法，其特征在于，所述方法还包括：

8.一种摘要生成装置，其特征在于，所述装置包括：

获取模块，用于获取搜索词和待处理文本；

9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7任意一项所述的摘要生成方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1至7任意一项所述的摘要生成方法的步骤。