CN108846063A - 确定问题答案的方法、装置、设备和计算机可读介质 - Google Patents

Abstract

本公开的实施例提供了一种确定问题答案的方法、装置、设备和计算机可读介质。确定问题答案的方法包括从与问题相关联的数据确定针对问题的第一候选答案和第二候选答案。该方法还包括确定第一候选答案的第一特征表示和第二候选答案的第二特征表示。该方法还包括至少基于第一特征表示和第二特征表示，生成第一候选答案的第一参考表示。该方法还包括基于第一特征表示和第一参考表示，确定第一候选答案的第一得分，第一得分指示第一候选答***性。以此方式，可以有效地整合与问题相关联的多个文本片段的信息，从而提高自动问答***的精度。本公开的实施例还可以提供一种候选答案提取模型和答案评价模型的联合训练方式。

Description

确定问题答案的方法、装置、设备和计算机可读介质

技术领域

本公开的实施例一般涉及自然语言处理领域，并且更具体地，涉及用于确定问题答案的方法、装置、设备和计算机可读介质。

背景技术

让计算机学会阅读并且理解人类的自然语言是自然语言处理领域一直以来寻求的目标。为了验证计算机的这一能力，基于阅读理解的自动问答***应运而生，其目标是根据问题和相关的数据(例如文本)给出正确的答案。在实际的阅读理解问答情形下，与一个问题相伴的往往是通过搜索引擎检索到的多条相关且独立的文本。如何充分利用这些文本的信息，对提高问答***最终给出的答***性至关重要。

发明内容

根据本公开的实施例，提供了一种确定问题答案的方案。

在本公开的第一方面，提供了一种确定问题答案的方法。该方法包括：从与问题相关联的数据确定针对问题的第一候选答案和第二候选答案；确定第一候选答案的第一特征表示和第二候选答案的第二特征表示；至少基于第一特征表示和第二特征表示，生成第一候选答案的第一参考表示；以及基于第一特征表示和第一参考表示，确定第一候选答案的第一得分，第一得分指示第一候选答***性。

在本公开的第二方面，提供了一种用于确定问题答案的装置。该装置包括：候选答案确定模块，被配置为从与问题相关联的数据确定针对问题的第一候选答案和第二候选答案；特征表示确定模块，被配置为确定第一候选答案的第一特征表示和第二候选答案的第二特征表示；参考表示生成模块，被配置为至少基于第一特征表示和第二特征表示，生成第一候选答案的第一参考表示；以及得分确定模块，被配置为基于第一特征表示和第一参考表示，确定第一候选答案的第一得分，第一得分指示第一候选答***性。

在本公开的第三方面，提供了一种电子设备。该电子设备包括：一个或多个处理器；以及存储器，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得电子设备实现根据本公开的第一方面的方法。

在本公开的第四方面，提供了一种计算机可读介质，其上存储有计算机程序，该程序被处理器执行时实现根据本公开的第一方面的方法。

应当理解，发明内容部分中所描述的内容并非旨在限定本公开的实施例的关键或重要特征，亦非用于限制本公开的范围。本公开的其它特征将通过以下的描述变得容易理解。

附图说明

结合附图并参考以下详细说明，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。在附图中，相同或相似的附图标记表示相同或相似的元素，其中：

图1示出了能够在其中实现本公开的实施例的示例性环境的示意图；

图2示出了根据本公开的实施例的用于确定问题答案的方法的流程图；

图3示出了根据本公开的实施例的用于确定问题答案的***的示意图；

图4示出了根据本公开的实施例的利用图3所示的***从输入获得输出的过程的示意图；

图5示出了根据本公开的实施例的用于联合训练候选答案提取模型和答案评价模型的架构的示意图；

图6示出了根据本公开的实施例的联合训练中的数据的示意图；

图7示出了根据本公开的实施例的用于确定问题答案的装置的框图；以及

图8示出了能够实施本公开的实施例的电子设备的框图。

具体实施方式

下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。

在本公开的实施例的描述中，术语“包括”及其类似用语应当理解为开放性包含，即“包括但不限于”。术语“基于”应当理解为“至少部分地基于”。术语“一个实施例”或“该实施例”应当理解为“至少一个实施例”。术语“第一”、“第二”等等可以指代不同的或相同的对象。下文还可能包括其他明确的和隐含的定义。

在本公开的实施例的描述中，术语“学习模型”或“模型”指的是这样的一个模型，该模型能够从训练数据中学习到相应的参数集用于表征模型输入与输出之间的关联。在训练过程中，模型的参数集从初始值起不断被更新，直到满足特定条件。在训练完成后所获得的参数集对给定的输入进行处理以生成对应的输出。“学习模型”有时也可以被称为“神经网络”、“学习网络”、“深度学习网络”或简称为“网络”。这些术语在本文中可互换地使用。

如上文所提及的，在阅读理解问答的情形下，通过搜索引擎往往检索到与一个问题相关联的多条相关且独立的文本片段。如何充分利用这些检索到的文本片段的信息，对提高自动问答***的精度是至关重要的。目前比较流行的一种方法是通过拼接多条文本片段的方式来整合所有的文本信息，进而回答问题。另一种方法是通过选择一条或少量的几条文本片段，再利用所选择的文本片段来回答问题。

第一种方法在拼接文本片段之后会产生一段非常长的文本片段，而这样的长度会给目前基于复杂神经网络和注意力机制的网络结构带来非常大的限制。同时，对这样的长文本片段直接处理，可能会遗漏散落在文本片段各处的关键信息。第二种方法需要先选择少量相关文本片段，再从所选择的文本片段中提取答案。这种方法需要选择模块和提取模块具有很高的精度，否则难以给出正确答案。同时，在问题比较复杂的情况下，少量的文本往往不足以给出正确答案。

根据本公开的实施例，提出了一种用于确定问题答案的方案。在该方案中，从与问题相关联的数据(例如多条文本片段)获取多个候选答案，例如从每个文本片段获取一个候选答案。对于每个候选答案，将该候选答案的信息与其他候选答案的信息关联起来，来确定该候选答案用于回答问题的准确性。在这样的方案中，由于针对与问题相关联的每个文本片段都会提取候选答案，所以不会遗漏掉任何文本片段中的相对关键的信息。同时，在评价一个给定候选答***性时，融入了其他候选答案的信息，而不仅仅是该给定候选答案自身的信息，实现了对所有文本信息的融合，从而使得所给出的最终答案的精度更高。

以下将参照附图来具体描述本公开的实施例。

图1示出了能够在其中实现本公开的实施例的示例环境100的示意图。在该示例环境100中，由计算设备110来确定问题130的答案140。在本公开的实施例中，在以文本形式给出的问题130、数据121、122、123、124、125以及答案140的基础上进行讨论。在一些情况下，问题130、数据121、122、123、124、125、答案140还可以以音频片段、视频片段、图像等形式给出。针对这些情况，可以将这些音频片段、视频片段、图像等形式的内容转换为文本形式。因此，本公开的实施例并不仅仅限于文本形式。

计算设备110可以从用户获取问题130。用户可以在网页的文本框中向计算设备110输入问题130，例如“朗姆酒、酸橙和可乐一起制造什么？”用户也可以通过麦克风等音频输入设备向计算设备110输入语音形式的问题，由计算设备110将语音形式的问题转换成文本形式的问题130，以便后续处理。

计算设备110可以基于问题130利用搜索引擎(图1未示出)从数据存储库120检索与问题130相关联的多个文本片段121、122、123、124、125。例如，在图1的例子中，计算设备130从数据存储库120获取到与问题130“朗姆酒、酸橙和可乐一起制造什么？”相关的文本片段121“得其利，这种混合清凉饮料用酸橙加朗姆酒的习俗，延续了很长一段时间”、文本片段122“得其利鸡尾酒的配方，经典的朗姆酒和酸橙饮料，这是每个酒保都应该知道的”、文本片段123“得其利鸡尾酒的主要成分是鸡尾酒朗姆酒和酸橙汁”、文本片段124“一个自制自由古巴的方法：要产生合适的自由古巴，需要装满冰的杯子以及半杯可乐”和文本片段125“自由古巴和朗姆酒之间的区别在于最后会挤入酸橙”。虽然在图1中仅仅示出了5个与问题130相关联的文本片段，但是本领域技术人员将理解的是，在实际情况中，与一个问题相关的文本片段可以是任何数目，图1仅仅是为了便于描述本公开实施例的一个示例性例子。

针对多个文本片段121、122、123、124、125中的每个文本片段，计算设备110从该文本片段提取针对问题130的候选答案。例如，计算设备110可以利用已经训练好的候选答案提取模型从该文本片段中提取出候选答案。候选答案提取模型是利用训练集而事先建立的模型，其中训练集中的每个训练样本由训练问题以及正确回答该训练问题的训练文本片段组成。在图1所示的例子中，例如，借助于候选答案提取模型，计算设备110可以从文本片段121中提取出候选答案“得其利”、从文本片段122中提取出候选答案“得其利”、从文本片段123中提取出候选答案“得其利”、从文本片段124中提取出候选答案“自由古巴”、以及从文本片段125中提取出候选答案“自由古巴”。

计算设备110将各个文本片段121、122、123、124、125、以及从这些文本片段中提取出的候选答案以及问题130输入到已经训练好的答案评价模型中，由答案评价模型来对各个候选答案用于回答问题130的准确性进行打分。答案评价模型是利用训练集而事先建立的模型，其中训练集中的每个训练样本由训练问题、多个文本片段、多个候选答案以及正确答案组成。

在答案评价模型内部，针对每一个候选答案，计算设备110基于问题130以及与该候选答案相关的文本片段，确定该候选答案的特征表示。对于每个候选答案，计算设备110基于该候选答案的特征表示与其他候选答案的特征表示之间的相似度，来确定该候选答案的参考表示。之后，计算设备110基于该候选答案的特征表示及其参考表示，来确定该候选答***性。以这种方式，在确定给定候选答案的得分时，将其他候选答案的信息融入到了该给定候选答案中，从而可以充分考虑其他候选答案的信息。

针对每个候选答案，计算设备110可以利用递归神经网络(RNN)或卷积神经网络(CNN)基于问题130和该候选答案所源自的文本片段，确定该候选答案本身的特征表示，其中该特征表示体现了该文本片段的上下文并融入了问题130的信息。由于候选答案的特征表示反映了与其相关的文本片段的上下文信息(这是由RNN或CNN来实现的)，所以例如针对文本片段121的候选答案“得其利”，其特征表示将会反映出“得其利”、“酸橙”、“朗姆酒”的信息；而针对文本片段122的候选答案“得其利”，其特征表示将会反映出“得其利”、“鸡尾酒”、“朗姆酒”、“酸橙”等信息；针对文本片段123的候选答案“得其利”，其特征表示将会反映出“得其利”、“鸡尾酒”、“朗姆酒”、“酸橙”等信息；针对文本片段124的候选答案，其特征表示将会反映出“自由古巴”、“冰”、“可乐”等信息；针对文本片段125，其特征表示将会反映出“自由古巴”、“朗姆酒”、“酸橙”等信息。

基于各候选答案的特征表示之间的相似度，计算设备110可以为每个候选答案确定其参考表示。例如，对于给定候选答案，可以将其参考表示确定为其他候选答案的特征表示的加权和，其中每个其他候选答案的权重与该给定候选答案与该其他候选答案的特征表示之间的相似度正相关。也可以在确定参考表示时，不考虑相似度低于预定阈值的其他候选答案。

举例而言，针对文本片段124的候选答案“自由古巴”，计算设备110可以确定与其相似度比较高的是文本片段125的候选答案的特征表示；而其与文本片段121、文本片段122、文本片段123的候选答案的特征表示的相似度较低。这样，文本片段125的信息将会给文本片段124的候选答案的参考表示带来更大的贡献，而其他文本片段对该参考表示的贡献则较小或者没有。以此方式，每个文本片段的候选答案的参考表示按照相似度不同程度地融入了其他候选答案的相关信息。

按照上面描述的方式，计算设备110可以为每个候选答案确定参考表示。之后，计算设备110基于每个候选答案的特征表示及其参考表示来确定该候选答案的得分，并选择得分最高的候选答案作为最终答案140。例如，针对文本片段124的候选答案而言，由于在对其进行评价时，不仅考虑了其自身的特征表示(其反映了“自由古巴”、“冰”)，还不同程度地考虑了其他候选答案的特征表示(例如，相对于其他文本片段，更多地考虑了文本片段125的信息，例如“朗姆酒”、“酸橙”)，从而使得针对问题130“朗姆酒、酸橙和可乐一起制造什么？”，该候选答案的得分较高。反之，如果不联合其他候选答案的信息，而是仅单独根据文本片段124或文本片段125，“自由古巴”的得分可能未必比“得其利”高。因此，由于有效地整合了与问题130相关联的各文本片段121、122、123、124、125的信息，根据本公开的实施例能够获得更准确的答案140。

应该理解，图1仅示出了本公开的实施例的一种可能的应用场景。在其他实施例中，也可以由其他计算设备来完成基于问题130对多个文本片段121、122、123、124、125的搜索。计算设备130可以从所述其他设备获取问题130以及与该问题130相关的多个文本片段121、122、123、124、125。在其他实施例中，计算设备130也可以不选择最终答案，而是将各候选答案按照得分顺序依次呈现给用户，等等。

下面将参照图2来更详细地描述本公开实施例的方案。图2示出了根据本公开的实施例的确定问题答案的方法200的流程图。方法200可以由图1所示的计算设备110来实现。为便于讨论，将参照图1来描述方法200。

在框202，计算设备110从与问题相关联的数据确定针对问题的第一候选答案和第二候选答案。为了便于描述，仅以第一候选答案和第二候选答案为例来描述方法200，但是在本公开的实施例中，候选答案的数目可以为两个或两个以上。与问题相关联的数据可以包括以下至少一项：文本片段、语音片段、视频片段和图像。在与问题相关联的数据为语音片段、视频片段或图像的情况下，计算设备110可以基于语音识别技术或图像理解技术将语音片段、视频片段或图像转换为文本片段。在一些实施例中，也可以由其他设备将语音片段、视频片段或图像转换为文本片段，然后计算设备110从其他设备获取转换后的文本片段。

计算设备110可以从用户接收问题，并基于该问题而通过搜索引擎检索到与问题相关联的多个文本。计算设备110也可以直接从其他设备接收问题和与问题相关联的多个文本片段。

在一些实施例中，计算设备110可以利用已经训练好的候选答案提取模型从多个文本片段中的每一个提取候选答案，例如可以从第一文本片段提取针对该问题的第一候选答案，以及从第二文本片段提取针对该问题的第二候候选答案，以此类推。候选答案提取模型是已经基于训练集而被建立的，训练集中的每条训练样本由训练问题、正确回答该训练问题的训练文本组成，该训练文本中针对训练问题的候选答案已经被标注。在给出一个问题和一个文本片段的情况下，从该文本片段提取出针对该问题的答案的模型，在本领域中存在多种技术用于实现在单个问题和单个文本片段的情况下的答案提取，这些方案可以均可以被使用，在此不再赘述。

在框204，计算设备110确定第一候选答案的第一特征表示和第二候选答案的第二特征表示。在本公开的实施例中，计算设备110可以基于问题和与第一候选答案相关联的第一文本片段，生成反映第一文本片段的上下文信息的第一文本表示。计算设备110可以基于第一候选答案在第一文本片段中的位置，从第一文本表示获取第一特征表示。第二候选答案的第二特征表示的获取过程与此类似。

具体地，计算设备110可以通过生成问题中的词的词表示，并将词表示进行组合，来生成问题表示。计算设备110可以通过确定第一文本片段中的词的词表示，并将这些词表示进行组合，来生成第一文本的初始表示。计算设备110可以将问题表示和第一文本的初始表示进行组合，从而引入问题和第一文本片段的交互。之后，计算设备110可以基于问题表示和第一文本片段的初始表示的组合，利用RNN或CNN生成反映第一文本的上下文信息的文本表示。在生成了反映第一文本的上下文信息的文本表示之后，计算设备110可以基于组成候选答案的各个词在第一文本片段中的位置，从该文本表示中获取相应的词表示，从而组成第一候选答案的第一特征表示。

如之前所描述的，这样获得的第一特征表示反映了第一候选答案所在的第一文本片段的上下文信息，而不仅仅是该候选答案所包括的词本身的信息。以类似的方式，计算设备110可以确定第二候选答案的第二特征表示。在候选答案为两个以上的情况下，计算设备110也可以以类似的方式确定其他候选答案的特征表示。

在框206，计算设备110至少基于第一特征表示和第二特征表示，生成第一候选答案的第一参考表示。计算设备110可以确定第二特征表示与第一特征表示之间的相似度，并基于相似度，利用第二特征表示来生成第一参考表示。在候选答案为两个以上的情况下，计算设备110可以确定第一特征表示与所有其他候选答案的特征表示之间的相似度，并基于相似度，来利用其它候选答案的特征表示来生成第一参考表示。

在本公开的实施例中，如果第二特征表示与第一特征表示之间的相似度高于预定阈值，则计算设备110可以利用该第二特征表示来生成第一参考表示，否则不利用该第二特征表示生成第一参考表示。即，在生成第一候选答案的第一参考表示时，计算设备110只利用相似度大于阈值的那些其他候选答案的特征表示来生成第一参考表示。如图1所示，针对文本片段124的候选答案，其特征表示与本文片段121、文本片段122和文本片段123的候选答案的特征表示的相似度较低，而与文本片段125的候选答案的特征表示的相似度较高。为此，在确定文本片段124的候选答案的参考表示时，可以不考虑文本片段121、文本片段122和文本片段123的候选答案，而只利用文本125的候选答案的特征表示。

以这种方式获得的参考表示，充分地融合了相似文本片段中的信息。例如，对于文本片段124的候选答案而言，其参考表示可以融入文本片段125中的“朗姆酒”、“酸橙”信息，而这些信息是文本片段124本身所不具备的。以此方式，在对该候选答案进行评价时，能够考虑更多有用的信息，进而提高所给出的最终答案的精度。

在本公开的实施例中，计算设备110也可以基于相似度对第二特征表示加权，来确定第一候选答案的参考表示。在候选答案为两个以上的情况下，计算设备110在确定第一候选答案的参考表示时，可以基于其他候选答案的特征表示与第一候选答案的特征表示的相似度，来对其他候选答案的特征表示进行加权求和。仍以图1为例，在确定针对文本片段124的候选答案的参考表示时，可以利用其与其他候选答案的特征表示之间的相似度来对其他候选答案的特征表示进行加权，来确定参考表示，使得相似度较大的其他候选答案的特征表示对参考表示的贡献较大，而相似度较小的其他候选答案的特征表示对参考表示的贡献较小。与上述通过预定阈值来选择用于确定参考表示的其他候选答案相比，对所有其他候选答案的特征表示进行加权的方式，不需要设置预定阈值，同时能够按照相似度将其他候选答案的信息不同程度地融入到参考表示中。

在框208，计算设备110基于第一特征表示和第一参考表示来确定第一候选答案的第一得分，该得分指示第一候选答***性。在本公开的实施例中，计算设备110可以将第一特征表示和第一参考表示组合起来，以形成组合表示。计算设备110可以基于组合表示来确定第一参***的第一得分。

举例而言，而非限制性的，可以采用线性回归的方式来计算候选答案的得分：其中，W＝[w₁，w₂，...，w_k]和b是在模型训练阶段已经确定出来的参数，X_i表示第i个候选答案的组合表示，y_i表示第i个候选答案的得分。

应当理解，使用线性回归来确定候选答案的得分只是示例性的，本公开的实施例并不限于此。例如，支持向量机模型、神经网络模型、决策树模型等同样也可以用来确定候选答***性。

在本公开的实施例中，计算设备110可以响应于第一得分高于预定阈值而将第一候选答案确定为最终答案。在本公开的实施例中，对于每个候选答案，计算设备110可以通过重复框204-208，来确定该候选答案的得分。计算设备110可以基于这些得分确定具有最高得分的候选答案，并将该候选答案作为最终答案。例如，计算设备110还可以至少基于第一特征表示和第二特征表示，生成第二候选答案的第二参考表示。计算设备110可以基于第二特征表示和第二参考表示，确定第二候选答案的第二得分。计算设备110可以确定第一得分和第二得分中的最高得分，并将最高得分对应的候选答案确定为针对问题的最终答案。第二参考表示、第二得分的确定过程与以上描述的第一参考表示、第一得分的确定过程类似，在此不再赘述。

在本公开的实施例中，框202中的操作可以由候选答案提取模型来执行，框204、206、208中的操作可以由答案评价模型来执行。候选答案提取模型和答案评价模型可以通过单独训练的方式获得，也可以通过联合训练的方式而获得。这在下文中将详细描述。

应该理解的是，图2仅仅是示例性的。在候选答案超过两个的情况下，对于给定候选答案，计算设备110可以分别计算该给定候选答案的特征表示与其他候选答案的特征表示之间的相似度，并基于相似度将其他候选答案的特征表示进行加权求和，来确定给定候选答案的参考表示，从而计算该给定候选答案的得分。针对每个候选答案，计算设备110可以确定其相应的得分，并基于所确定的得分来确定针对问题的最终答案。

在方法200中，由于基于相似度，通过其他候选答案引入了给定候选答案的参考表示，从而充分联合了各候选答案的信息，实现了对与一个问题相关联的所有文本信息的一个有效整合，有利地提升了自动问答***的准确性。

如上面所描述的，框202的操作可以利用候选答案提取模型来执行，而框204、206和208可以利用答案评价模型来执行。下面将结合图3和图4来描述这两个模型的使用过程。

图3示出了根据本公开的实施例的用于确定问题的答案的***300的示意图，并且图4示出了根据本公开的实施例的利用图3所示的***300从输入获得输出的过程的示意图。将结合图1来描述图3和图4。

如图3所示，***300包括候选答案提取模型310和答案评价模型320。候选答案提取模型310接收问题130以及与问题130相关联的多个文本片段121、122、123、124、125。对于每个文本片段，候选答案提取模型310针对问题从中提取候选答案，从而形成候选答案集312。如图4所示，候选答案集312包括来自文本片段121的候选答案121C、来自文本片段122的候选答案122C、来自文本片段123的候选答案123C、来自文本片段124的候选答案124C以及来自文本片段125的候选答案125C。

答案评价模型320的特征提取部分321接收候选答案集312，并针对候选答案集312中的每个候选答案，基于问题130和该候选答案所源自的文本片段，来确定该候选答案的特征表示，作为特征表示集341中的一个元素。

相似度计算部分322计算特征表示集341中的特征表示两两之间的相似度，从而输出相似度矩阵351。参考表示确定部分323基于相似度矩阵351和特征表示集341来为候选答案集312中的每个候选答案确定参考表示，以作为参考表示集361中的元素。例如，对于候选答案121C，参考表示确定部分323可以基于其他候选答案122C、123C、124C、125C的特征表示与候选答案121C的特征表示的相似度，来确定候选答案121C的参考表示。具体地，参考表示部分323可以将候选答案121C的参考表示确定为等于候选答案122C、123C、124C、125C的特征表示的加权和，每个权重与对应的相似度正相关。

举例而言，参考表示部分323可以根据以下公式来确定候选答案121C的参考表示：

其中R_i表示第i个候选答案的参考表示，n为文本片段的数目，d(i,j)表示第i个候选答案的特征表示与第j个候选答案的特征表示的相似度，F_j表示第j个候选答案的特征表示，n为大于1的整数，i，j小于等于n。

表示组合部分324可以基于特征表示集341和参考表示集361来生成组合表示集371。例如，表示组合部分324可以将特征表示集341中的一个特征表示与参考表示集361中的相应参考表示组合起来(例如拼接起来)，以形成组合表示集371中的元素。

针对每个候选答案，得分确定部分325可以基于组合表示集317中的相应组合表示，来确定该候选答案的得分，以作为得分集381中的元素。如图4所示，得分集381可以包括候选答案121C的得分121C’、候选答案122C的得分122C’、候选答案123C的得分123C’、候选答案124C的得分124C’、候选答案125C的得分125C’。

答案选择部分326可以基于得分集381，选择得分最高的候选答案作为最终答案140，予以输出。本领域技术人员将理解的是，答案评价模型也可以不包括答案选择部分326，而是直接输出各候选答案及其得分。

以上描述了候选答案提取模型310和答案评价模型320已被建立的情况下的使用过程。下面将描述这两个模型的建立过程。在本公开的实施例中，这两个模型可以通过单独训练的方式被建立。候选答案提取模型310用于实现在单个问题和单个文本片段的情况下的答案提取，在本领域中可以用多种技术来建立，在此不再赘述。

答案评价模型320是基于这样的训练集来建立的，该训练集中的每个样本由训练问题、多条训练文本、与多条训练文本对应的训练候选答案和训练答案。对于每个训练样本，计算设备110可以按照图3的方式，来确定各候选答***性得分，但是此时的准确性得分是由尚未确定的参数集来表示的，例如上面所描述的线性回归方程中的W和b。为此，答案评价模型320的训练可以被转换成利用训练集来优化参数集的过程，使最终确定的参数集能够使得训练集中作为训练答案的训练候选答案的得分尽可能高，而不是训练答案的训练候选答案的得分尽可能低。本领域技术人员将理解的是，可以采用各种方式来实现优化过程，例如引入代价函数的方式。

上面描述的是答案评价模型320和候选提取模型310各自单独训练的示例。在单独训练这两个模型的情况下，两个模型之间的信息可能不能实现有效传递；同时答案评价模型320的训练集需要关于候选答案的监督信息。为此，在本公开的实施例中，可以引入强化学习机制，来联合训练候选答案提取模型310和答案评价模型320。在联合训练中，引入随机性使得模型可以探索更多可能的情况，从中选择最为有利的情况。

下面结合图5和图6来描述候选提取模型310和答案评价模型320的联合训练过程。图5示出了根据本公开的实施例的联合训练候选答案提取模型和答案评价模型的架构500示意图，并且图6示出了根据本公开的实施例的在联合训练中数据的示意图。

在联合训练中，使用这样的训练集，训练集中的每个样本包括训练问题、与训练问题相关联的多个文本片段以及正确答案。与候选答案提取模型和答案评价模型的单独训练相比，联合训练的方式不需要候选答案这一监督信息，并能在这两个模型之间有效地传递信息。

现在将图1所示的问题130、文本片段121、122、123、124、125和答案140作为训练集中的一个训练样本，来描述联合训练的具体过程。在这个示例中，假设已知答案140是问题130的正确答案。本领域技术人员将理解的是，这仅仅是为了便于描述的目的，联合训练中使用的训练样本并不局限于图1所示的问题、文本片段和答案，而是可以选择更多、更少或者其他不同数目的问题、文本片段和答案。

在联合训练中，候选答案提取模型310接收文本片段121、122、123、124、125和问题130。候选答案提取模型310可以从这些文本片段选择多个候选答案集521、522、523。虽然图5仅示出了三个候选答案集，但是本领域技术人员将理解的是，候选答案集的数目并不限于此。

每个候选答案集由来自不同文本片段的短语组成。如图6所示的，候选答案集521由来自文本片段121的短语121₁、来自文本片段122的短语122₁、来自文本片段123的短语123₁、来自文本片段124的短语124₁以及来自文本片段125的短语125₁组成。候选答案集522由来自文本片段121的短语121₁、来自文本片段122的短语122₂、来自文本片段123的短语123₁、来自文本片段124的短语124₁以及来自文本片段125的短语125₁组成。候选答案集523由来自文本片段121的短语121₂、来自文本片段122的短语122₂、来自文本片段123的短语123₂、来自文本片段124的短语124₂以及来自文本片段125的短语125₂组成。

以下为了便于描述，以候选答案集521为例进行描述。候选答案集522、523的处理过程与此类似。

答案评价模型320接收候选答案集521，并针对候选答案集521中的每个候选答案(即短语)，基于问题130和该候选答案所源自的文本片段，来确定该候选答案的特征表示，从而形成针对候选答案集521的特征表示集。答案评价模型320可以计算特征表示集中的特征表示两两之间的相似度，并基于所计算的相似度和特征表示集来为候选答案集521中的每个候选答案确定参考表示，从而形成针对候选答案集521的参考表示集。例如，对于候选答案121₁，可以基于其他候选答案122₁、123₁、124₁、125₁的特征表示与候选答案121₁的特征表示的相似度，来确定候选答案121₁的参考表示。具体地，可以将候选答案121₁的参考表示确定为等于候选答案122₁、123₁、124₁、125₁的特征表示的加权和，每个权重与对应的相似度正相关。

答案评价模型310可以基于特征表示集和参考表示集来生成组合表示集。例如，可以将特征表示集中的一个特征表示与参考表示集中的相应参考表示组合起来(例如拼接起来)，以形成组合表示集中的元素。

针对候选答案集521中的每个候选答案，可以基于组合表示集中的相应组合表示，来确定该候选答案的得分，由此形成针对候选答案集521的得分集。图6示出了针对候选答案集521的得分集631，其包括候选答案(即短语)121₁的得分121₁-1，候选答案122₁的得分122₁-1，候选答案123₁的得分123₁-1，候选答案124₁的得分124₁-1，候选答案125₁的得分125₁-1。基于得分集631，可以从候选答案集521中确定出针对问题130的答案531。

针对候选答案集522、523，重复上述过程，可以获得得分集632、633，并基于相应的得分集从候选答案集522和候选答案集523分别确定答案532、答案533。如图6所示，针对候选答案集522，可以确定出得分集632，其包括候选答案121₁的得分121₁-2、候选答案122₂的得分122₂-2、候选答案123₁的得分123₁-2、候选答案124₁的得分124₁-2以及候选答案125₁的得分125₁-2。基于这些得分，可以从候选答案集522确定针对问题130的答案532。针对候选答案集523，可以确定出得分集633，其包括候选答案121₂的得分121₂-3、候选答案122₂的得分122₂-3、候选答案123₂的得分123₂-3、候选答案124₂的得分124₂-3以及候选答案125₂的得分125₂-3。基于这些得分，可以从候选答案集523确定出针对问题130的答案533。

参数优化部分510基于答案531、532、533是否与正确答案140匹配，来更新候选答案提取模型310和答案评价模型320的参数集，以使得参数集更新能够鼓励正确的候选答案集而抑制错误的候选答案集。

通过这种联合训练的方式，能够在模型内部发现哪些候选答案对于给出正确答案的贡献最大，而不需要在训练集中给出关于候选答案的监督信息。图7示出了根据本公开的实施例的用于确定问题答案的装置700的框图。装置700可以被包括在图1的计算设备110中或者被实现为计算设备110。如图7所示，装置700包括：候选答案确定模块710，被配置为从与问题相关联的数据确定针对问题的第一候选答案和第二候选答案。装置700还包括：特征表示确定模块720，被配置为确定第一候选答案的第一特征表示和第二候选答案的第二特征表示。装置700还包括：参考表示生成模块730，被配置为至少基于第一特征表示和第二特征表示，生成第一候选答案的第一参考表示。装置700还包括：得分确定模块740，被配置为基于第一特征表示和第一参考表示，确定第一候选答案的第一得分，所述第一得分指示第一候选答***性。

在一些实施例中，候选答案确定模块710包括候选答案提取模块，被配置为：基于候选答案提取模型，从所述数据中的第一文本片段提取第一候选答案，候选答案提取模型是基于训练问题、训练文本片段和训练答案而被建立的；以及基于候选答案提取模型，从所述数据中的第二文本片段提取第二候选答案。

在一些实施例中，特征表示确定模块720包括：文本表示生成模块，被配置为基于问题和所述数据中与第一候选答案相关联的第一文本片段，生成反映第一文本片段的上下文信息的第一文本表示；以及特征表示获取模块，被配置为基于第一候选答案在第一文本片段中的位置，从第一文本表示获取第一特征表示。

在一些实施例中，参考表示生成模块730包括：相似度确定模块，被配置为确定第二特征表示与第一特征表示之间的相似度；以及生成模块，被配置为基于相似度，利用第二特征表示生成第一参考表示。

在一些实施例中，生成模块包括：加权模块，被配置为利用相似度对第二特征表示进行加权，以生成第一参考表示。

在一些实施例中，生成模块被配置为：响应于相似度大于预定阈值，基于第二特征表示生成所述第一参考表示。

在一些实施例中，得分确定模块740包括：组合表示生成模块，被配置为通过组合第一特征表示和第一参考表示，生成针对第一候选答案的组合表示；以及确定模块，被配置为基于组合表示，确定第一候选答案的第一得分。

在一些实施例中，参考表示生成模块730还被配置为至少基于第一特征表示和所述第二特征表示，生成第二候选答案的第二参考表示；并且得分确定模块740还被配置为基于第二特征表示和第二参考表示，确定第二候选答案的第二得分，所述第二得分指示所述第二候选答***性。并且装置700还包括：最高得分确定模块，被配置为确定第一得分和第二得分中的最高得分；以及最终答案确定模块，被配置为从第一候选答案和第二候选答案中确定与最高得分相对应的候选答案，以作为针对问题的最终答案。

在一些实施例中，装置700还包括：最终答案确定模块，被配置为响应于第一得分高于预定阈值，将第一候选答案确定为针对问题的最终答案。

在一些实施例中，候选答案确定模块710通过候选答案提取模型来实现，特征表示确定模块720、参考表示生成模块730以及得分确定模块740通过答案评价模型来实现，候选答案提取模型和答案评价模型通过联合训练而获得。

在一些实施例中，与问题相关联的所述数据包括以下至少一项：文本片段、语音片段、视频片段和图像。

图8示出了可以用来实施本公开的实施例的电子设备800的示意性框图。设备800可以用于实现图1的计算设备110。如图所示，设备800包括中央处理单元(CPU)801，其可以根据存储在只读存储器(ROM)802中的计算机程序指令或者从存储单元808加载到随机访问存储器(RAM)803中的计算机程序指令，来执行各种适当的动作和处理。在RAM 803中，还可以存储设备800操作所需的各种程序和数据。CPU 801、ROM 802以及RAM 803通过总线804彼此相连。输入/输出(I/O)接口805也连接至总线804。

设备800中的多个部件连接至I/O接口805，包括：输入单元806，例如键盘、鼠标等；输出单元807，例如各种类型的显示器、扬声器等；存储单元808，例如磁盘、光盘等；以及通信单元809，例如网卡、调制解调器、无线通信收发机等。通信单元809允许设备800通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

处理单元801执行上文所描述的各个方法和处理，例如方法200。例如，在一些实施例中，方法200可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元808。在一些实施例中，计算机程序的部分或者全部可以经由ROM 802和/或通信单元809而被载入和/或安装到设备800上。当计算机程序加载到RAM 803并由CPU 801执行时，可以执行上文描述的方法200的一个或多个步骤。备选地，在其他实施例中，CPU 801可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行方法200。

本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上***的***(SOC)、负载可编程逻辑设备(CPLD)等等。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行***、装置或设备使用或与指令执行***、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体***、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

此外，虽然采用特定次序描绘了各操作，但是这应当理解为要求这样操作以所示出的特定次序或以顺序次序执行，或者要求所有图示的操作应被执行以取得期望的结果。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实现中。相反地，在单个实现的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实现中。

尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。

Claims (24)

1.一种确定问题答案的方法，包括：

从与问题相关联的数据确定针对所述问题的第一候选答案和第二候选答案；

确定所述第一候选答案的第一特征表示和所述第二候选答案的第二特征表示；

至少基于所述第一特征表示和所述第二特征表示，生成所述第一候选答案的第一参考表示；以及

基于所述第一特征表示和所述第一参考表示，确定所述第一候选答案的第一得分，所述第一得分指示所述第一候选答***性。

2.根据权利要求1所述的方法，其中确定所述第一候选答案和所述第二候选***括：

基于候选答案提取模型，从所述数据中的第一文本片段提取所述第一候选答案，所述候选答案提取模型是基于训练问题、训练文本片段和训练答案而被建立的；以及

基于所述候选答案提取模型，从所述数据中的第二文本片段提取所述第二候选答案。

3.根据权利要求1所述的方法，其中确定所述第一特征表示包括：

基于所述问题和所述数据中与所述第一候选答案相关联的第一文本片段，生成反映所述第一文本片段的上下文信息的第一文本表示；以及

基于所述第一候选答案在所述第一文本片段中的位置，从所述第一文本表示获取所述第一特征表示。

4.根据权利要求1所述的方法，其中生成所述第一候选答案的第一参考表示包括：

确定所述第二特征表示与所述第一特征表示之间的相似度；以及基于所述相似度，利用所述第二特征表示生成所述第一参考表示。

5.根据权利要求4所述的方法，其中基于所述相似度利用所述第二特征表示生成所述第一参考表示包括：

利用所述相似度对所述第二特征表示进行加权，以生成所述第一参考表示。

6.根据权利要求4所述的方法，其中基于所述相似度利用所述第二特征表示生成所述第一参考表示包括：

响应于所述相似度大于预定阈值，基于所述第二特征表示生成所述第一参考表示。

7.根据权利要求1所述的方法，其中确定所述第一候选答案的第一得分包括：

通过组合所述第一特征表示和所述第一参考表示，生成针对所述第一候选答案的组合表示；以及

基于所述组合表示，确定所述第一候选答案的所述第一得分。

8.根据权利要求1所述的方法，还包括：

至少基于所述第一特征表示和所述第二特征表示，生成所述第二候选答案的第二参考表示；

基于所述第二特征表示和所述第二参考表示，确定所述第二候选答案的第二得分，所述第二得分指示所述第二候选答***性；以及

确定所述第一得分和所述第二得分中的最高得分；

从所述第一候选答案和所述第二候选答案中确定与所述最高得分相对应的候选答案，以作为针对所述问题的最终答案。

9.根据权利要求1所述的方法，还包括：

响应于所述第一得分高于预定阈值，将所述第一候选答案确定为针对所述问题的最终答案。

10.根据权利要求1所述的方法，其中所述第一候选答案和所述第二候选答案的确定通过候选答案提取模型来执行，所述第一特征表示和所述第二特征表示的确定、所述第一参考表示的生成以及所述第一得分的确定通过答案评价模型来执行，所述候选答案提取模型和所述答案评价模型通过联合训练而获得。

11.根据权利要求1所述的方法，其中与所述问题相关联的所述数据包括以下至少一项：文本片段、语音片段、视频片段和图像。

12.一种用于确定问题答案的装置，包括：

候选答案确定模块，被配置为从与问题相关联的数据确定针对所述问题的第一候选答案和第二候选答案；

特征表示确定模块，被配置为确定所述第一候选答案的第一特征表示和所述第二候选答案的第二特征表示；

参考表示生成模块，被配置为至少基于所述第一特征表示和所述第二特征表示，生成所述第一候选答案的第一参考表示；以及

得分确定模块，被配置为基于所述第一特征表示和所述第一参考表示，确定所述第一候选答案的第一得分，所述第一得分指示所述第一候选答***性。

13.根据权利要求12所述的装置，其中所述候选答案确定模块包括候选答案提取模块，被配置为：

基于候选答案提取模型，从所述数据中的第一文本片段提取所述第一候选答案，所述候选答案提取模型是基于训练问题、训练文本片段和训练答案而被建立的；以及

基于所述候选答案提取模型，从所述数据中的第二文本片段提取所述第二候选答案。

14.根据权利要求12所述的装置，其中所述特征表示确定模块包括：

文本表示生成模块，被配置为基于所述问题和所述数据中与所述第一候选答案相关联的第一文本片段，生成反映所述第一文本片段的上下文信息的第一文本表示；以及

特征表示获取模块，被配置为基于所述第一候选答案在所述第一文本片段中的位置，从所述第一文本表示获取所述第一特征表示。

15.根据权利要求12所述的装置，其中所述参考表示生成模块包括：

相似度确定模块，被配置为确定所述第二特征表示与所述第一特征表示之间的相似度；以及

生成模块，被配置为基于所述相似度，利用所述第二特征表示生成所述第一参考表示。

16.根据权利要求15所述的装置，其中所述生成模块包括：

加权模块，被配置为利用所述相似度对所述第二特征表示进行加权，以生成所述第一参考表示。

17.根据权利要求15所述的装置，其中所述生成模块被配置为：

响应于所述相似度大于预定阈值，基于所述第二特征表示生成所述第一参考表示。

18.根据权利要求12所述的装置，其中所述得分确定模块包括：

组合表示生成模块，被配置为通过组合所述第一特征表示和所述第一参考表示，生成针对所述第一候选答案的组合表示；以及

确定模块，被配置为基于所述组合表示，确定所述第一候选答案的所述第一得分。

19.根据权利要求12所述的装置，其中：

所述参考表示生成模块还被配置为至少基于所述第一特征表示和所述第二特征表示，生成所述第二候选答案的第二参考表示；并且

所述得分确定模块还被配置为基于所述第二特征表示和所述第二参考表示，确定所述第二候选答案的第二得分，所述第二得分指示所述第二候选答***性，并且所述装置还包括：

最高得分确定模块，被配置为确定所述第一得分和所述第二得分中的最高得分；以及

最终答案确定模块，被配置为从所述第一候选答案和所述第二候选答案中确定与所述最高得分相对应的候选答案，以作为针对所述问题的最终答案。

20.根据权利要求12所述的装置，还包括：

最终答案确定模块，被配置为响应于所述第一得分高于预定阈值，将所述第一候选答案确定为针对所述问题的最终答案。

21.根据权利要求12所述的装置，其中所述候选答案确定模块通过候选答案提取模型来实现，所述特征表示确定模块、所述参考表示生成模块以及所述得分确定模块通过答案评价模型来实现，所述候选答案提取模型和所述答案评价模型通过联合训练而获得。

22.根据权利要求12所述的装置，其中与所述问题相关联的所述数据包括以下至少一项：文本片段、语音片段、视频片段和图像。

23.一种电子设备，包括：

一个或多个处理器；以及

存储器，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述电子设备实现根据权利要求1-11中任一项所述的方法。

24.一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现根据权利要求1-11中任一项所述的方法。