CN110765254A - 一种融合多视角答案重排序的多文档问答***模型 - Google Patents

Abstract

一种融合多视角答案重排序的多文档问答***模型，属于计算机自然语言处理领域。具体操作步骤包含：①预处理文档数据并得出文档先验概率；②将问题文档对输入答案预测模型中得到候选答案及内在置信度；③训练分类器对候选答案计算外在置信度；④融合内在置信度、外在置信度以及文档先验概率三个视角对候选答案进行排序。本发明提出的融合多视角答案重排序的多文档问答***模型与已有技术模型相比较，添加了从多视角进行答案重排序的模块，有效解决了传统管道式模型过度依赖文档检索从而容易产生错误累积的问题。实验表明，本发明提出的方法在文本召回率ROUGE‑L和精确率BLEU‑4的评测指标上有显著提升。

Description

一种融合多视角答案重排序的多文档问答***模型

技术领域

本发明涉及一种融合多视角答案重排序的多文档问答***模型，属于自然语言处理以及问答***技术领域。

背景技术

多文档问答***模型是问答***领域中一种类型，其定义为：给定一个开放域问题以及大于一篇以上与该问题相关的文档，模型需要阅读并理解众多文本信息，从中生成或抽取出正确答案。随着互联网的迅速发展，数据规模***增长，当用户通过搜索引擎输入一个问题，多文档问答***能够从众多的相关的网页资源中，将精确的答案返还给用户，细化搜索精度，提高用户体验，具有广泛的商业应用范围。

传统的多文档问答***模型分为两类：1)管道式模型，该方法通常将整个问答***任务拆分成两个任务：文档选取和抽取式阅读理解。即给定一个问题和多个相关的文档，管道式模型能够利用文档排序的方法将最重要的部分保留下来并将其输入到阅读理解模型中获取答案。2)联合训练方法，该方法会将上述两个任务联合在一起，因此整个模型被同时训练。

然而，上述两种传统多文档问答***方法皆存在各自的缺点。其中，管道式模型方法的表现很大程度上取决于选择的文档质量，如果选取的文档质量过差，则后续的阅读理解模型无法从中抽取正确的答案，产生错误累积的现象；联合训练方法则会因为考虑所有的输入的文本信息导致训练缓慢且难以设计。

发明内容

本发明的目的是为了解决传统管道模型中错误累积的问题以及联合训练中难以训练的问题，基于管道模型，提出了一种融合多视角答案排序的多文档问答***模型；

本发明是通过以下技术方案实现的：

首先进行相关定义，具体如下：

定义1：多文档问答，是一种问答任务，具体针对一个问题从一篇以上的相关文档进行寻找答案；

定义2：置信度，即衡量答案可能性的标识；

定义3：内在置信度，即体现答案本身质量的标识；

定义4：外在置信度，即体现不同答案之间相对质量的标识；

定于5：文档先验概率，即体现文档之间质量的标识；

定义6：参***，即人工总结编写的答案；

定义7：标签答案，即必定存在于文档中的答案；

定义8：候选答案，即模型生成的可以存在的答案；

定义9：最佳答案，即候选答案集合中置信度最高的答案；

定义10：最终答案，即根据不同要求对最佳答案进行修改获得的答案；

定义11：问题文档对，即由一个问题和对应的文档拼接构成的一种结构；

定义12：问题答案对，即由一个问题和相关的答案拼接构成的一种结构；

定义13：ROUGE，即衡量生成的答案与参***之间召回率的标准；

定义14：模糊匹配度，即衡量生成的答案与参***之间字级别的匹配程度的标准；

定义15：是非题型，即问题的答案形式为是/否两种选择的题型；

所述融合多视角答案重排序的多文档问答***模型，包括如下步骤：

步骤一、预处理多文档问答数据集并得出文档先验概率；

其中，多文档问答如定义1所述；文档先验概率如定义5所述；

步骤一，包括如下子步骤：

步骤1.1：过滤并舍弃多文档问答数据集中标签答案与参***之间召回率ROUGE-L分数低于50的文档；

其中，标签答案如定义7所述；参***如定义6所述；

步骤1.2：将步骤1.1中得到的文档拆分、排序以及拼接构成问题文档对，具体为：

步骤1.2.1：将文档拆分成多个段落，计算问题与每个段落的模糊匹配度，并按照数值大小进行排序，选取前N个段落拼接构成最终文档；

其中，模糊匹配度如定义14所述；

步骤1.2.2：将步骤1.2.1输出的最终文档与问题拼接构成问题文档对；

其中，问题文档对如定义11所述；

步骤1.3：统计标签答案出现在各文档中的次数确定文档先验概率记作α；

步骤二、将步骤1.2.2拼接构成的问题文档对输入答案预测模型中得到候选答案及内在置信度；

其中，候选答案如定义8所述，内在置信度如定义3所述；

步骤2.1：通过答案预测模型对步骤1.2.2得到的问题文档对进行编码，输出为问题文档对的向量表示，记作T；

步骤2.2：将步骤2.1获得的向量表示T进行线性变化及归一化去生成答案概率，并设立训练目标函数，具体包括如下子步骤：

步骤2.2.1：初始化两组可训练矩阵S和E，将其代入如下公式(1)和(2)：

其中，T_i表示文档中第i个单词的向量表示，P_si表示文档中第i个单词是答案起始词的概率，P_Ei表示文档中第i个单词是答案结尾词的概率，S和E分别是可训练矩阵，从最高概率的起始词到最高概率的结尾词之间的区间即是抽取的候选答案；

步骤2.2.2：根据标签答案在文档的起始和终止位置，设立训练目标函数L_AP如公式(3)所示：

L_Ap＝-log(P_s)-log(P_E) (3)

其中，P_s表示当前答案起始词是标签答案起始词的概率，P_E表示当前答案结尾词是标签答案结尾词的概率；

步骤2.3：将候选答案的起始位置逻辑数和结尾逻辑数求和得到其内在置信度，记作β；

步骤2.4：使用梯度下降方法优化目标函数L_AP中S和T矩阵的数值、答案预测模型中的参数，使L_AP最小化，优化结束后得到答案预测模块中所有神经网络的最优参数，得到训练好的最优答案预测模型；

步骤三、训练分类器对候选答案计算外在置信度；

其中，外在置信度如定义4所述；

步骤3.1：使用步骤2.4中训练好的最优答案预测模型，构建供分类器训练的数据集，具体如下：

步骤3.1.1：从步骤1.1中的多文档问答数据集中抽取M个问题以及对应的文档，组成问题文档对；

其中，M的取值范围是小于等于多文档问答数据集中问题的数量；

步骤3.1.2：将步骤3.1.1中的问题文档对输入步骤2.4中训练好的最优答案预测模型，生成候选答案；

步骤3.1.3：若步骤3.1.2生成的候选答案与参***ROUGE-L值较高，则该候选答案对应的标签为正例-1，反之，则将候选答案对应的标签为负例-0；

步骤3.1.4：将步骤3.1取得的候选答案和对应的问题拼接构成问题答案对，并同步骤3.1.3中候选答案对应的标签一起构成供分类器训练的数据集；

其中，问题答案对如定义12所述；

步骤3.2：将步骤3.1.4中获得的供分类器训练的数据集输入至由双向变换器的神经语言模型BERT和一层分类层叠加构建的分类器模型中进行训练；

步骤3.3：使用梯度下降方法优化交叉熵损失函数中双向变换器的神经语言模型参数、分类层的参数，使交叉熵损失函数最小化，优化结束后得到最优分类器；

步骤3.4：将步骤3.3获得的最优分类器计算步骤2.2.1抽取的候选答案的外在置信度γ，具体如下：

步骤3.4.1：将步骤2.2.1生成的候选答案与对应的问题拼接构成问题答案对；

步骤3.4.2；将步骤3.4.1获得的问题答案对输入至步骤3.4得到的最优分类器；将分类器的输出作为候选答案的外在置信度；

步骤四、融合内在置信度、外在置信度以及文档先验概率三个视角对候选答案进行排序；

步骤4.1：将步骤2.2.1生成的候选答案进行答案排序并选取最佳答案，具体如下：

步骤4.1.1：将步骤1.3获得的文档先验概率α、步骤2.3计算的内在置信度β、步骤3.5计算的外在置信度γ代入到公式(4)中：

其中，下标j表示第j个候选答案，下标k表示同一个问题对应的多个文档编号的上限K为5，即k的取值范围为1到5；

步骤4.1.2：利用步骤4.1.1计算得到的最终置信度对步骤2.2.1生成的候选答案进行答案重排序，置信度最高的被选为最佳答案；

其中，最佳答案如定义9所述；

步骤4.2：如果最佳答案对应的问题类型不属于是非题型，跳至步骤4.3，否则若最佳答案对应的问题类型属于是非题型，则将最佳答案进一步输入至额外的分类器模型生成最终答案，具体如下：

其中，是非题型如定义15所述；

步骤4.2.1：从步骤1.1的多文档问答数据集中抽取所有是非题型答案以及标签，并构建和步骤3同一框架的分类器模型进行训练；

步骤4.2.2：将步骤4.1获得的是非题型最佳答案输入至步骤4.2.1训练最优的分类器中，输出最终答案；

其中，最终答案如定义10所述；

步骤4.3；如果最佳答案对应的问题类型不属于是非题型，则直接将步骤4.1获得最佳答案作为最终答案。

有益效果

本发明一种融合多视角答案排序的多文档问答***模型，与现有的多文档问答模型相比，具有以下增益效果：

1.在众多候选答案中，通过从多个视角分析考虑各答案的质量与置信度，对候选答案进行排序，通过答案排序技巧，质量高的答案能够与质量差的答案明确的区分出来；

2.在通过DuReader中文多文档问答数据集中进行多文档问答任务中，实验结果表明，在相同的数据集下，本发明所采用的模型与传统管道模型以及联合训练模型相比，所提出的多视角答案排序多文档问答***模型在文本召回率ROUGE和精确率BLEU的评测指标上有显著提升。

附图说明

图1为本发明一种融合多视角答案重排序的多文档问答***模型的整体框架设计流程图。

具体实施方式

下面结合附图1及实施例对本发明所述的一种融合多视角答案重排序的多文档问答***模型进行详细叙述。

实施例1

一种融合多视角答案重排序的多文档问答***模型的具体流程如图1所示,本实施例叙述了本发明所述***的流程及其具体实施例；

本实施例中使用的数据由来自DuReader中文多文档问答数据集；

本实施例中使用的融合多视角答案重排序的多文档问答***模型，其流程图如图1所示，具体步骤为：

步骤A、预处理多文档问答数据集并得出文档先验概率：

给定问题集合和文档集合，针对文档集合内的每篇文档进行步骤A.1—步骤A.3操作：

步骤A.1：过滤文档集合中标签答案与参***之间召回率ROUGE-L分数低于50的文档；

步骤A.2：将由步骤A.1得到的文档进行步骤A.2.1—步骤A.2.2操作：

步骤A.2.1：将文档拆分成多个段落,计算问题与每个段落的模糊匹配度，并按照数值大小进行排序，选取前N个段落拼接构成最终的文档；

步骤A.2.2：将文档与问题拼接构成问题文档对；

步骤A.3：通过统计标签答案出现在各文档的次数确定文档先验概率记作α；例如，统计Dureader2.0数据集中标签答案出现在前五个文档中的次数，确定文档先验概率为α＝{0.503，0.2314，0.1414，0.1031，0.0411}；

步骤B、将问题文档对输入答案预测模型中得到候选答案及内在置信度；

步骤B.1：通过基于双向变换器的神经语言模型BERT作为答案预测模型对步骤A.2.2得到的问题文档对进行编码，输出为问题文档对的向量表示，记作T；

步骤B.2：针对步骤B.1获得的向量表示T进行步骤B.2.1—步骤B.2.2操作：

步骤B.2.1：初始化两组可训练矩阵S和E，将其代入如下公式(1)和(2)：

步骤B.2.2：根据标签答案在文档的起始和终止位置，设立训练目标函数L_AP如公式(3)所示；

L_Ap＝-log(P_s)-log(P_E) (3)

步骤B.3：候选答案的内在置信度由该答案的起始位置逻辑数和结尾逻辑数求和得出记作β；

步骤B.4：使用梯度下降方法优化目标函数L_AP中S和T矩阵的数值、BERT神经语言模型中的参数，使L_AP最小化，优化结束后得到答案预测模块中所有神经网络的最优参数；

步骤C、训练分类器对候选答案计算外在置信度；

步骤C.1：根据步骤C.1.1—步骤C.1.2构建供分类器训练的数据集；

步骤C.1.1：从步骤A.1中的文档集合中抽取6万个问题以及对应的20万左右的文档，并组成问题文档对；

步骤C.1.2：将步骤C.1.1中的问题文档对输入步骤B中训练最优的答案预测模型中，生成候选答案；

步骤C.1.3：若步骤C.1.2生成的候选答案与参***ROUGE-L值较高(前30％)，则该候选答案记为正例-1，反之(后30％)，则将候选答案标记为负例-0；

步骤C.2：根据步骤C.1取得的候选答案和对应的问题拼接构成问题答案对；

步骤C.3：将步骤C.2获得的问题答案对以及步骤C.1.3标注的答案标签输入至由双向变换器的神经语言模型BERT和一层分类层叠加构建的分类器模型中进行训练；

步骤C.4：使用梯度下降方法优化交叉熵损失函数中双向变换器的神经语言模型参数、分类层的参数，使交叉熵损失函数最小化，优化结束后得到分类器模型中神经网络的最优参数；

步骤C.5：针对步骤C.4获得的最优分类器进行步骤C.5.1—步骤C.5.2操作，计算外在置信度并记作γ：

步骤C.5.1：将步骤B.2.1生成的候选答案与对应的问题拼接构成问题答案对；

步骤C.5.2；将步骤C.5.1获得问题答案对输入至步骤C.4中训练最优的分类器模型,将分类器最后的数值作为候选答案的外在置信度；

步骤D、融合内在置信度、外在置信度以及文档先验概率三个视角对候选答案进行排序,确定最终答案；

步骤D.1：给定问题“初学波比跳每天多少组？”和与问题相关的五篇文档，将问题和对应文档进行步骤A.2中的预处理，获得问题文档对；

步骤D.2：将步骤D.1中取得的问题文档对和步骤B.4得到的答案预测神经网络的最优参数代入答案预测神经网络模型，得到问题的候选答案和内在置信度β,例如，给定问题的候选答案和内在置信度如表1中候选答案和内在置信度所示；

步骤D.3：针对步骤D.2中取得的候选答案进行步骤D.3.1—步骤D.3.2操作：

步骤D.3.1：将步骤D.2中取得的候选答案和问题进行拼接，得到问题答案对；

步骤D.3.2：将步骤D.3.1中取得的问题答案对和步骤C.4中得到的分类器神经网络的最优参数代入分类器神经网络模型，得到候选答案的外在置信度γ,例如，候选答案的外在置信度如表1中外在置信度列所示；

表1本方法在Dureader数据集中具体实例上的效果

步骤D.4：针对步骤D.2生成的候选答案进行步骤D.4.1—步骤D.4.2操作步骤D.4.1：将步骤A.3获得文档先验概率α、步骤D.2计算的内在置信度β、步骤D.3计算的外在置信度γ代入到公式(4)中：

步骤D.4.2：利用步骤D.4.1计算得到的最终置信度对步骤D.2生成的候选答案进行答案重排序，置信度最高的被选为最佳答案；例如候选答案的最终之置信度如表1最终置信度列所示，候选答案“在你的能力范围内可做3至4组波比跳，每组8到20个。”的最终置信度排名第一，被选为最佳答案，包含在人工给出的参***中，正确的回答了问题；

步骤D.5：如果最佳答案对应的问题类型属于是非题型，则针对最佳答案进行步骤D.5.1—步骤D.5.2操作；

步骤D.5.1：从步骤D.1的文档集合中抽取所有是非题型答案以及标签，并构建和步骤C同一框架的分类器模型进行训练；

步骤D.5.2：将步骤D.4获得的是非题型最佳答案输入至步骤D.2.1训练最优的分类器中，输出最终答案；

步骤D.6；如果最佳答案对应的问题类型不属于是非题型，则直接将步骤D.4获得最佳答案作为最终答案。

实施例2

在通过Dureader中文多文档问答数据集中进行多文档问答任务中，实验表明，在相同的数据集下，本发明所提出的多视角答案排序多文档问答***模型与传统的管道模型及联合训练模型相比，采用文本召回率ROUGE-L和精确率表2使用本发明提出的模型与其他传统模型性能对比

BLEU-4作为评测指标，可以得到如下实验结果

表2的实验结果证明：在数据相同的情况下，采用本发明所述方法与不使用本发明的方法相比，ROUGE-L和BLUE-4评测指标有明显提升；

以上所述为本发明的较佳实施例而已，本发明不应该局限于该实例和附图所公开的内容；凡是不脱离本发明所公开的精神下所完成的等效或修改，都落入本发明的保护范围。

Claims (1)

1.一种融合多视角答案排序的多文档问答***模型，其特征在于：进行相关定义，具体如下：

定义1：多文档问答，是一种问答任务，具体针对一个问题从一篇以上的相关文档进行寻找答案；

定义2：置信度，即衡量答案可能性的标识；

定义3：内在置信度，即体现答案本身质量的标识；

定义4：外在置信度，即体现不同答案之间相对质量的标识；

定于5：文档先验概率，即体现文档之间质量的标识；

定义6：参***，即人工总结编写的答案；

定义7：标签答案，即必定存在于文档中的答案；

定义8：候选答案，即模型生成的可以存在的答案；

定义9：最佳答案，即候选答案集合中置信度最高的答案；

定义10：最终答案，即根据不同要求对最佳答案进行修改获得的答案；

定义11：问题文档对，即由一个问题和对应的文档拼接构成的一种结构；

定义12：问题答案对，即由一个问题和相关的答案拼接构成的一种结构；

定义13：ROUGE，即衡量生成的答案与参***之间召回率的标准；

定义14：模糊匹配度，即衡量生成的答案与参***之间字级别的匹配程度的标准；

定义15：是非题型，即问题的答案形式为是/否两种选择的题型；

所述融合多视角答案重排序的多文档问答***模型，包括如下步骤：

步骤一、预处理多文档问答数据集并得出文档先验概率；

其中，多文档问答如定义1所述；文档先验概率如定义5所述；

步骤一，包括如下子步骤：

步骤1.1：过滤并舍弃多文档问答数据集中标签答案与参***之间召回率ROUGE-L分数低于50的文档；

其中，标签答案如定义7所述；参***如定义6所述；

步骤1.2：将步骤1.1中得到的文档拆分、排序以及拼接构成问题文档对，具体为：

步骤1.2.1：将文档拆分成多个段落，计算问题与每个段落的模糊匹配度，并按照数值大小进行排序，选取前N个段落拼接构成最终文档；

其中，模糊匹配度如定义14所述；

步骤1.2.2：将步骤1.2.1输出的最终文档与问题拼接构成问题文档对；

其中，问题文档对如定义11所述；

步骤1.3：统计标签答案出现在各文档中的次数确定文档先验概率记作α；

步骤二、将步骤1.2.2拼接构成的问题文档对输入答案预测模型中得到候选答案及内在置信度；

其中，候选答案如定义8所述，内在置信度如定义3所述；

步骤2.1：通过答案预测模型对步骤1.2.2得到的问题文档对进行编码，输出为问题文档对的向量表示，记作T；

步骤2.2：将步骤2.1获得的向量表示T进行线性变化及归一化去生成答案概率，并设立训练目标函数，具体包括如下子步骤：

步骤2.2.1：初始化两组可训练矩阵S和E，将其代入如下公式(1)和(2)：

其中，T_i表示文档中第i个单词的向量表示，P_si表示文档中第i个单词是答案起始词的概率，P_Ei表示文档中第i个单词是答案结尾词的概率，S和E分别是可训练矩阵，从最高概率的起始词到最高概率的结尾词之间的区间即是抽取的候选答案；

步骤2.2.2：根据标签答案在文档的起始和终止位置，设立训练目标函数L_AP如公式(3)所示：

L_AP＝-log(P_s)-log(P_E) (3)

其中，P_s表示当前答案起始词是标签答案起始词的概率，P_E表示当前答案结尾词是标签答案结尾词的概率；

步骤2.3：将候选答案的起始位置逻辑数和结尾逻辑数求和得到其内在置信度，记作β；

步骤2.4：使用梯度下降方法优化目标函数L_AP中S和T矩阵的数值、答案预测模型中的参数，使L_AP最小化，优化结束后得到答案预测模块中所有神经网络的最优参数，得到训练好的最优答案预测模型；

步骤三、训练分类器对候选答案计算外在置信度；

其中，外在置信度如定义4所述；

步骤3.1：使用步骤2.4中训练好的最优答案预测模型，构建供分类器训练的数据集，具体如下：

步骤3.1.1：从步骤1.1中的多文档问答数据集中抽取M个问题以及对应的文档，组成问题文档对；

其中，M的取值范围是小于等于多文档问答数据集中问题的数量；

步骤3.1.2：将步骤3.1.1中的问题文档对输入步骤2.4中训练好的最优答案预测模型，生成候选答案；

步骤3.1.3：若步骤3.1.2生成的候选答案与参***ROUGE-L值较高，则该候选答案对应的标签为正例-1，反之，则将候选答案对应的标签为负例-0；

步骤3.1.4：将步骤3.1取得的候选答案和对应的问题拼接构成问题答案对，并同步骤3.1.3中候选答案对应的标签一起构成供分类器训练的数据集；

其中，问题答案对如定义12所述；

步骤3.2：将步骤3.1.4中获得的供分类器训练的数据集输入至由双向变换器的神经语言模型BERT和一层分类层叠加构建的分类器模型中进行训练；

步骤3.3：使用梯度下降方法优化交叉熵损失函数中双向变换器的神经语言模型参数、分类层的参数，使交叉熵损失函数最小化，优化结束后得到最优分类器；

步骤3.4：将步骤3.3获得的最优分类器计算步骤2.2.1抽取的候选答案的外在置信度γ，具体如下：

步骤3.4.1：将步骤2.2.1生成的候选答案与对应的问题拼接构成问题答案对；

步骤3.4.2；将步骤3.4.1获得的问题答案对输入至步骤3.4得到的最优分类器；将分类器的输出作为候选答案的外在置信度；

步骤四、融合内在置信度、外在置信度以及文档先验概率三个视角对候选答案进行排序；

步骤4.1：将步骤2.2.1生成的候选答案进行答案排序并选取最佳答案，具体如下：

步骤4.1.1：将步骤1.3获得的文档先验概率α、步骤2.3计算的内在置信度β、步骤3.5计算的外在置信度γ代入到公式(4)中：

其中，下标j表示第j个候选答案，下标k表示同一个问题对应的多个文档编号的上限K为5，即k的取值范围为1到5；

步骤4.1.2：利用步骤4.1.1计算得到的最终置信度对步骤2.2.1生成的候选答案进行答案重排序，置信度最高的被选为最佳答案；

其中，最佳答案如定义9所述；

步骤4.2：如果最佳答案对应的问题类型不属于是非题型，跳至步骤4.3，否则若最佳答案对应的问题类型属于是非题型，则将最佳答案进一步输入至额外的分类器模型生成最终答案，具体如下：

其中，是非题型如定义15所述；

步骤4.2.1：从步骤1.1的多文档问答数据集中抽取所有是非题型答案以及标签，并构建和步骤3同一框架的分类器模型进行训练；

步骤4.2.2：将步骤4.1获得的是非题型最佳答案输入至步骤4.2.1训练最优的分类器中，输出最终答案；

其中，最终答案如定义10所述；

步骤4.3；如果最佳答案对应的问题类型不属于是非题型，则直接将步骤4.1获得最佳答案作为最终答案。