CN108804627A - 信息获取方法及装置 - Google Patents

Abstract

本发明实施例提供一种信息获取方法及装置，属于自然语言处理技术领域。方法包括：将问询文本和与问询文本相匹配的答复文本分别输入至N个关键内容计算模型，获取每一关键内容计算模型输出的候选关键内容；其中，关键内容计算模型是基于样本问询文本、样本答复文本以及样本答复文本中的样本关键内容进行训练后得到，每一候选关键内容是从答复文本中提取的；根据每一候选关键内容，获取最优关键内容，并将最优关键内容作为问询文本对应的答复。由于可将N个关键内容计算模型的输出结果进行融合，从而有效规避了单一模型在训练过程存在偏差的问题，进而可提高答复内容的可靠性及准确性，并提高了用户在与设备进行问答交互时的交互体验。

Description

信息获取方法及装置

技术领域

本发明实施例涉及自然语言处理技术领域，更具体地，涉及一种信息获取方法及装置。

背景技术

近年来，随着人工智能相关学科，特别是计算语言学的发展，各种各样的问答***和对话机器人应运而生，人们可通过以自然语言的方式与设备进行沟通，获取所需要的信息。在相关技术中，针对用户的提问，通常是通过一个模型来确定用户提问所对应的答复内容。由于单一模型在训练过程中难免会有偏差，难以完全拟合全部的训练数据分布，从而导致答复内容的可靠性低。

发明内容

为了解决上述问题，本发明实施例提供一种克服上述问题或者至少部分地解决上述问题的一种信息获取方法及装置。

根据本发明实施例的第一方面，提供了一种信息获取方法，该方法包括：

将问询文本和与问询文本相匹配的答复文本分别输入至N个关键内容计算模型，获取每一关键内容计算模型输出的候选关键内容；其中，关键内容计算模型是基于样本问询文本、样本答复文本以及样本答复文本中的样本关键内容进行训练后得到，每一候选关键内容是从答复文本中提取的，N为大于1的正整数；

根据每一候选关键内容，获取最优关键内容，并将最优关键内容作为问询文本对应的答复。

本发明实施例提供的方法，通过将问询文本和与问询文本相匹配的答复文本分别输入至N个关键内容计算模型，获取每一关键内容计算模型输出的候选关键内容。根据每一候选关键内容，获取最优关键内容，并将最优关键内容作为问询文本对应的答复。由于可将N个关键内容计算模型的输出结果进行融合，从而有效规避了单一模型在训练过程存在偏差，难以完全拟合全部的训练数据分布的问题，进而可提高答复内容的可靠性及准确性，并提高了用户在与设备进行问答交互时的交互体验。

根据本发明实施例的第二方面，提供了一种信息获取装置，该装置包括：

候选关键内容获取模块，用于将问询文本和与问询文本相匹配的答复文本分别输入至N个关键内容计算模型，获取每一关键内容计算模型输出的候选关键内容；其中，关键内容计算模型是基于样本问询文本、样本答复文本以及样本答复文本中的样本关键内容进行训练后得到，每一候选关键内容是从答复文本中提取的，N为大于1的正整数；

最优关键内容获取模块，用于根据每一候选关键内容，获取最优关键内容，并将最优关键内容作为问询文本对应的答复。

根据本发明实施例的第三方面，提供了一种信息获取设备，包括：

至少一个处理器；以及

与处理器通信连接的至少一个存储器，其中：

存储器存储有可被处理器执行的程序指令，处理器调用程序指令能够执行第一方面的各种可能的实现方式中任一种可能的实现方式所提供的信息获取方法。

根据本发明的第四方面，提供了一种非暂态计算机可读存储介质，非暂态计算机可读存储介质存储计算机指令，计算机指令使计算机执行第一方面的各种可能的实现方式中任一种可能的实现方式所提供的信息获取方法。

应当理解的是，以上的一般描述和后文的细节描述是示例性和解释性的，并不能限制本发明实施例。

附图说明

图1为本发明实施例的一种信息获取方法的流程示意图；

图2为本发明实施例的候选关键内容获取方法的流程示意图；

图3为本发明实施例的最优关键内容获取方法的流程示意图；

图4为本发明实施例的起始语句作为最优关键内容中起始语句时的投票分值获取方法的流程示意图；

图5为本发明实施例的结束语句作为最优关键内容中结束语句时的投票分值获取方法的流程示意图；

图6为本发明实施例的N个关键内容计算模型获取方法的流程示意图；

图7为本发明实施例的一种信息获取装置的框图；

图8为本发明实施例的一种信息获取设备的框图。

具体实施方式

下面结合附图和实施例，对本发明实施例的具体实施方式作进一步详细描述。以下实施例用于说明本发明实施例，但不用来限制本发明实施例的范围。

目前人们可通过以自然语言的方式与设备进行沟通，获取所需要的信息。在相关技术中，针对用户的提问，通常是通过一个模型来确定用户提问所对应的答复内容。由于单一模型在训练过程中难免会有偏差，难以完全拟合全部的训练数据分布，从而导致答复内容的可靠性低。针对上述情形，本发明实施例提供了一种信息获取方法。该方法可以用于智能问答场景，也可以用于需要智能问答功能的其它场景，如驾驶场景、购物场景等，本发明实施例对此不作具体限定。结合不同的使用场景，该方法可以由不同的设备执行，本发明实施例对此也不作具体限定。例如，若该方法用于驾驶场景，则该方法的执行主体可以为车载设备；若该方法用于购物场景，则该方法的执行主体可以为移动终端。参见图1，该方法包括：

101，将问询文本和与问询文本相匹配的答复文本分别输入至N个关键内容计算模型，获取每一关键内容计算模型输出的候选关键内容；其中，关键内容计算模型是基于样本问询文本、样本答复文本以及样本答复文本中的样本关键内容进行训练后得到，每一候选关键内容是从答复文本中提取的，N为大于1的正整数。

在执行上述过程之前，可先获取用户提问时的语音数据，并对语音数据进行语音识别以得到问询文本；或者，还可以直接获取用户输入的文本并作为问询文本，本发明实施例对此不作具体限定。另外，与问询文本相匹配的答复文本，可包含问询文本对应提问的答复内容。具体地，若问询文本对应提问为询问一项产品中某项功能如何使用，则与问询文本相匹配的答复文本可以为该产品的说明文档；进一步地，考虑到一项产品中通常具有多项功能，而该产品的说明文档中通常会记在该产品所有功能的使用说明信息，若预先按照每项功能将说明文档拆分成若干个结构化文本，而问询文本询问的是产品中的某项功能，则与问询文本相匹配的答复文本可以为该功能对应的结构化文本。若问询文本对应提问为一个技术术语的定义，则答复文本可以为包含该技术术语定义的技术词典。当然，答复文本除了上述列举的形式之外，还可以为其它形式，本发明实施例对此不作具体限定。

由于答复文本中可能会包含一些与问询文本对应提问无关的冗余信息，从而通过关键内容计算模型可筛选掉答复文本中的冗余信息。具体地，对于任一关键内容计算模型，在将答复文本输入至该关键内容计算模型后，可输出候选关键内容。其中，每一关键内容计算模型均对应输出一个候选关键内容。候选关键内容可以为通过关键内容计算模型从答复文本中提取得到的具体文本内容，还可以为答复文本中的分句序号，本发明实施例不对候选关键内容的内容形式作具体限定。

另外，在执行上述过程之前，还可预先训练得到N个关键内容计算模型。对于N个关键内容计算模型中的任一关键内容计算模型，可通过如下方式训练得到该关键内容计算模型，具体地：首先，收集大量样本问询文本、与样本问询文本相匹配的样本答复文本；其中，样本答复文本中的样本关键内容是预先确定的，且为样本问询文本对应提问的答复内容。基于样本问询文本、样本答复文本和样本关键内容对初始模型进行训练，从而得到该关键内容计算模型。其中，初始模型可以是单一神经网络模型，也可以是多个神经网络模型的组合，本发明实施例不对初始模型的类型和结构作具体限定。

需要说明的是，在预先训练得到N个关键内容计算模型时，对于每一关键内容计算模型，均可由相同类型的初始模型以及相同的样本训练得到。但实际实施训练过程中，可以通过调整初始模型的参数，从而得到N个具有相同功能，但具有不同输出效果的关键内容计算模型。以初始模型包括卷积神经网络或者包括长短期记忆网络为例，可通过调整卷积神经网络的卷积核大小和个数，或者调整长短期记忆网络隐含层的节点个数，以得到N个不同的关键内容计算模型。或者，还可以通过不同的训练方法，如dropout或正则化方法，以训练得到N个不同的关键内容计算模型。当然，也可以将调整不同的参数以及采用的不同训练方法，这两种方法进行结合，以训练得到N个不同的关键内容计算模型，本发明实施例对此不作具体限定。

102，根据每一候选关键内容，获取最优关键内容，并将最优关键内容作为问询文本对应的答复。

由上述步骤可知，通过N个关键内容计算模型，可输出N个候选关键内容。而不同的关键内容计算模型会有不同的输出效果，从而在本步骤中可对上述N个关键内容计算模型分别输出的候选关键内容进行融合，以得到最优关键内容。需要说明的是，由上述步骤的内容可知，候选关键内容的内容形式可以为具体文本内容，也可以是分句序号。因此，在本步骤中，最优关键内容的内容形式与候选关键内容的内容形式对应，可以为具体文本内容，也可以为分句序号，本发明实施例对此不作具体限定。

在根据每一候选关键内容获取最优关键内容时，可将每一候选关键内容输入至预设模型中，从而获取最优关键内容；或者，还可统计答复文本中每一分句在所有候选关键内容中出现的次数，从而按照出现次数的高低，从所有候选关键内容中选取分句以组成最优关键内容，本发明实施例对此不作具体限定。在得到最优关键内容后，可将最优关键内容作为问询文本对应的答复。具体地，可通过语音播报或文本显示等方式，将最优关键内容作为向用户的答复，本发明实施例对此不作具体限定。

本发明实施例提供的方法，通过将问询文本和与问询文本相匹配的答复文本分别输入至N个关键内容计算模型，获取每一关键内容计算模型输出的候选关键内容。根据每一候选关键内容，获取最优关键内容，并将最优关键内容作为问询文本对应的答复。由于可将N个关键内容计算模型的输出结果进行融合，从而有效规避了单一模型在训练过程存在偏差，难以完全拟合全部的训练数据分布的问题，进而可提高答复内容的可靠性及准确性，并提高了用户在与设备进行问答交互时的交互体验。

基于上述实施例的内容，作为一种可选实施例，本发明实施例不对将问询文本和与问询文本相匹配的答复文本分别输入至N个关键内容计算模型，获取每一关键内容计算模型输出的候选关键内容的方式作具体限定。参考图2，包括但不限于：

201，对于任一关键内容计算模型输出的候选关键内容，获取答复文本中每一分句作为候选关键内容中起始语句的起始概率，并获取答复文本中每一分句作为候选关键内容中结束语句的结束概率。

202，根据每一分句对应的起始概率，从答复文本中选取最大起始概率对应的分句作为候选关键内容的起始语句，根据每一分句对应的结束概率，从答复文本中选取最大结束概率对应的分句作为候选关键内容的结束语句。

203，将答复文本中位于起始语句及结束语句之间的分句、起始语句以及结束语句，作为候选关键内容。

以答复文本中包含8条分句为例，对于任一候选关键内容，在确定该候选关键内容中的起始语句及结束语句时，答复文本中每一分句作为该候选关键内容中起始语句的起始概率，以及答复文本中每一分句作为该候选关键内容中结束语句的结束概率，可参考如下表1：表1

如上表1所示，第4条分句的起始概率最高，第6条分句的结束概率最高。因此，可将第4条分句作为该候选关键内容的起始语句，将第6条分句作为该候选关键内容的结束语句，并将第4条、第5条及第6条分句作为该候选关键内容。通过上述示例中的过程，可得到N个候选关键内容。

本发明实施例提供的方法，通过获取答复文本中每一分句作为每一候选关键内容中起始语句的起始概率，以及作为结束语句的结束概率，再基于起始概率和结束概率确定候选关键内容，从而有助于提高关键内容计算模型的计算精度，进而可提高候选关键内容的可靠性及准确性。

由上述实施例的内容可知，单一模型在训练过程存在偏差，难以完全拟合全部的训练数据分布，从而导致通过单一模型输出的关键内容不够可靠且准确性较低。针对该情形，基于上述实施例的内容，作为一种可选实施例，本发明实施例不对根据每一候选关键内容，获取最优关键内容的方式作具体限定。参考图3，包括但不限于：

301，对于所有候选关键内容包含的起始语句中的每一起始语句，根据每一起始语句作为最优关键内容中起始语句时的投票分值，确定最优关键内容中的最优起始语句。

由上述实施例的内容可知，N个关键内容计算模型所输出的候选关键内容可能均不相同，有的候选关键内容可能会具有相同的起始语句，有的候选关键内容可能会具有相同的结束语句，而有的候选关键内容可能不存在信息交集。为了融合N个候选关键内容，以从N个候选关键内容中选取一条最优的起始语句，本发明实施例可采用投票的方式，来对所有候选关键内容中出现过的起始语句进行投票，也即确定所有出现过的起始语句中每一起始语句在投票当选过程中的投票分值，从而从所有出现过的起始语句中选取投票分值最大的起始语句，以作为最优起始语句。

其中，候选关键内容中起始语句对应的投票分值，代表该起始语句作为最优关键内容中起始语句时的准确性及可靠性。投票分值越大，则表明该起始语句对应的可靠性及准确性就越高。投票分值可根据每一候选关键内容中起始语句对应的起始概率来确定，也可以根据该起始语句在所有候选关键内容中出现的次数来确定，本发明实施例对此不作具体限定。

302，对于所有候选关键内容包含的结束语句中的每一结束语句，根据每一结束语句作为最优关键内容中结束语句时的投票分值，确定最优关键内容中的最优结束语句。

由上述实施例的内容可知，N个关键内容计算模型所输出的候选关键内容可能均不相同，有的候选关键内容可能会具有相同的起始语句，有的候选关键内容可能会具有相同的结束语句，而有的候选关键内容可能不存在信息交集。为了融合N个候选关键内容，以从N个候选关键内容中选取一条最优的结束语句，本发明实施例可采用投票的方式，来对所有候选关键内容中出现过的结束语句进行投票，也即确定所有出现过的结束语句中每一结束语句在投票当选过程中的投票分值，从而从所有出现过的结束语句中选取投票分值最大的结束语句，以作为最优结束语句。

其中，候选关键内容中结束语句对应的投票分值，代表该结束语句作为最优关键内容中结束语句时的准确性及可靠性。投票分值越大，则表明该结束语句对应的可靠性及准确性就越高。投票分值可根据每一候选关键内容中结束语句对应的起始概率来确定，也可以根据该结束语句在所有候选关键内容中出现的次数来确定，本发明实施例对此不作具体限定。

303，将答复文本中位于最优起始语句及最优结束语句之间的分句、最优起始语句以及最优结束语句，作为最优关键内容。

本发明实施例提供的方法，通过根据起始语句的投票分值和结束语句的投票分值确定最优起始语句和最优结束语句，进而确定最优关键内容，从而实现了对N个关键内容计算模型所输出的候选关键内容进行融合，进而提高了答复内容的可靠性及准确性。

由上述实施例的内容可知，可根据候选关键内容中起始语句对应的起始概率，确定候选关键内容中起始语句对应的投票分值。因此，在根据每一起始语句作为最优关键内容中起始语句时的投票分值，确定最优关键内容中的最优起始语句之前，基于该原理及上述实施例的内容，作为一种可选实施例，本发明实施例还提供了一种确定候选关键内容中起始语句对应投票分值的方式。参考图4，包括但不限于：

401，对于所有候选起始语句中的任一候选起始语句，将所有候选关键内容中满足第一预设条件的候选关键内容，作为第一目标候选关键内容，所有候选起始语句为所有候选关键内容包含的起始语句，第一预设条件为包含任一候选起始语句且任一候选起始语句作为第一条分句。

402，根据所有候选关键内容中第一目标候选关键内容的总数量、以及每一第一目标候选关键内容中起始语句对应的起始概率，计算任一候选起始语句作为最优关键内容中起始语句时的投票分值。

为了便于理解，以N为5为例，则5个关键内容计算模型可输出5个候选关键内容。为了便于描述，以起始语句在答复文本中的分句序号来代表起始语句。以候选关键内容分别为a、b、c、d及e为例，每一候选关键内容中的起始语句以及起始语句对应的起始概率可参考如下表2：

表2

由上述表2可知，上述5个候选关键内容包含的起始语句分别为答复文本中分句序号为2、3及4的分句，也即所有候选起始语句分别为分句序号为2、3及4的分句。对于其中分句序号为2的候选起始语句，以包含该候选起始语句为起始语句且该候选起始语句作为第一条分句(也即满足第一预设条件)的候选关键内容分别为a和d，也即为第一目标候选关键内容。此时，第一目标候选关键内容的总数量为2，第一目标候选关键内容a中起始语句对应的起始概率为80％，第一目标候选关键内容d中起始语句对应的起始概率为94％。根据上述参数即可计算分句序号为2的候选起始语句，在作为最优关键内容中起始语句时的投票分值。其中，具体计算过程可参考如下公式：

score_start-i＝count_start(index＝i)+sum(p_start-i)/count_start(index＝i)

其中，score_start-i为分句序号为i的候选起始语句作为最优关键内容中起始语句时的投票分值。count_start(index＝i)为第一目标候选关键内容的总数量，sum(p_start-i)表示所有第一目标候选关键内容中起始语句对应的起始概率的总和。需要说明的是，此处第一目标候选关键内容中起始语句即为分句序号为i的候选起始语句。

由上述示例中的内容可知，对于其中分句序号为2的候选起始语句，以该候选起始语句为起始语句的候选关键内容分别为a和d。结合上述示例的内容以及上述计算公式，可计算得到分句序号为2的候选起始语句在作为最优关键内容中起始语句时的投票分值为score_start-2＝2.87。

同理，对于其中分句序号为3的候选起始语句，由上表2可知，以该候选起始语句为起始语句的候选关键内容分别为c和e，也即为第一目标候选关键内容。此时，第一目标候选关键内容的总数量为2，第一目标候选关键内容c中起始语句对应的起始概率为72％，第一目标候选关键内容e中起始语句对应的起始概率为76％。基于上述参数以及上述计算公式，即可计算分句序号为3的候选起始语句，在作为最优关键内容中起始语句时的投票分值为score_start-3＝2.74。对于其中分句序号为4的候选起始语句，基于上述计算过程，可确定分句序号为4的候选起始语句，在作为最优关键内容中起始语句时的投票分值为score_start-4＝1.64。

而由上述实施例的内容可知，在确定最优关键内容中的最优起始语句时，可根据每一候选起始语句作为最优关键内容中起始语句时的投票分值，从中选取最大投票分值对应的候选起始语句作为最优关键内容中的最优起始语句。而在上述示例中，最大投票分值为score_start-2＝2.87，也即分句序号为2的候选起始语句。因此，在上述示例中可将答复文本中分句序号为2的候选起始语句，作为最优关键内容中的最优起始语句。

由上述实施例的内容可知，可根据候选关键内容中结束语句对应的结束概率，确定候选关键内容中结束语句对应的投票分值。因此，在根据每一结束语句作为最优关键内容中结束语句时的投票分值，确定最优关键内容中的最优结束语句之前，基于该原理及上述实施例的内容，作为一种可选实施例，本发明实施例还提供了一种确定候选关键内容中结束语句对应投票分值的方式。参考图5，包括但不限于：

501，对于所有候选结束语句中的任一候选结束语句，将所有候选关键内容中满足第二预设条件的候选关键内容，作为第二目标候选关键内容，所有候选结束语句为所有候选关键内容包含的结束语句，第二预设条件为包含任一候选结束语句且任一候选结束语句作为最后一条分句。

502，根据所有候选关键内容中第二目标候选关键内容的总数量、以及每一第二目标候选关键内容中结束语句对应的结束概率，计算任一候选结束语句作为最优关键内容中结束语句时的投票分值。

为了便于理解，同样以N为5为例，则5个关键内容计算模型可输出5个候选关键内容。为了便于描述，以结束语句在答复文本中的分句序号来代表结束语句。以候选关键内容分别为a、b、c、d及e为例，每一候选关键内容中的结束语句以及结束语句对应的结束概率可参考如下表3：

表3

由上述表3可知，上述5个候选关键内容包含的结束语句分别为答复文本中分句序号为3、4及5的分句，也即所有候选结束语句分别为分句序号为2、3及4的分句。对于其中分句序号为4的候选结束语句，以包含该候选结束语句且该候选结束语句作为最后一条分句(也即满足第二预设条件)的候选关键内容分别为b、d和e，也即为第二目标候选关键内容。此时，第二目标候选关键内容的总数量为3，第二目标候选关键内容b中结束语句对应的结束概率为64％，第二目标候选关键内容d中结束语句对应的结束概率为94％，第二目标候选关键内容e中结束语句对应的结束概率为76％。根据上述参数即可计算分句序号为4的候选结束语句，在作为最优关键内容中结束语句时的投票分值。其中，具体计算过程可参考如下公式：

score_end-i＝count_end(index＝i)+sum(p_end-i)/count_end(index＝i)

其中，score_end-i为分句序号为i的候选结束语句作为最优关键内容中结束语句时的投票分值。count_end(index＝i)为第二目标候选关键内容的总数量，sum(p_end-i)表示所有第二目标候选关键内容中结束语句对应的结束概率的总和。需要说明的是，此处第二目标候选关键内容中结束语句即为分句序号为i的候选结束语句。

由上述示例中的内容可知，对于其中分句序号为4的候选结束语句，以该候选结束语句为结束语句的候选关键内容分别为b、d和e。结合上述示例的内容以及上述计算公式，可计算得到分句序号为4的候选结束语句在作为最优关键内容中结束语句时的投票分值为score_end-4＝3.78。

同理，对于其中分句序号为3的候选结束语句，由上表3可知，以该候选结束语句为结束语句的候选关键内容分别为c，也即为第二目标候选关键内容。此时，第二目标候选关键内容的总数量为1，第二目标候选关键内容c中结束语句对应的起始概率为72％。基于上述参数以及上述计算公式，即可计算分句序号为3的候选结束语句，在作为最优关键内容中结束语句时的投票分值为score_end-3＝1.72。对于其中分句序号为5的候选结束语句，基于上述计算过程，可确定分句序号为5的候选结束语句，在作为最优关键内容中结束语句时的投票分值为score_end-5＝1.8。

而由上述实施例的内容可知，在确定最优关键内容中的最优结束语句时，可根据每一候选结束语句作为最优关键内容中结束语句时的投票分值，从中选取最大投票分值对应的候选结束语句作为最优关键内容中的最优结束语句。而在上述示例中，最大投票分值为score_end-4＝3.78，也即分句序号为4的候选结束语句。因此，在上述示例中可将答复文本中分句序号为4的候选结束语句，作为最优关键内容中的最优结束语句。

本发明实施例提供的方法，通过基于候选关键内容中起始语句对应的起始概率以及结束语句对应的结束概率，确定结束语句作为最优关键内容中结束语句时的投票分值，从而采用投票的方式，确定每一起始语句的投票分值及每一结束语句的投票分值，并以此为基础来推选最优关键内容中最优起始语句及最优结束语句。因此，可对N个关键内容计算模型所输出的候选关键内容进行融合，进而提高了答复内容的可靠性及准确性。

由于实际实施过程中，可能会预先训练得到多个待选关键内容计算模型。而这些待选关键内容计算模型在使用过程中，基于有些待选关键内容计算模型得到的答复内容其准确性及可靠性会比较高，而基于有些待选关键内容计算模型得到的答复内容其准确性及可靠性会比较低。因此，对于预先训练得到的待选关键内容计算模型，有必要对其进行筛选。基于该原理，若上述实施例中所涉及到的“N个关键内容计算模型”是经过筛选后得到的，则将问询文本和与问询文本相匹配的答复文本输入至N个关键内容计算模型，获取每一关键内容计算模型输出的候选关键内容之前，还可对预先训练得到的M个待选关键内容计算模型进行筛选，以得到N个关键内容计算模型。

基于上述实施例的内容，作为一种可选实施例，本发明实施例提供了一种筛选得到N个关键内容计算模型的方式。参考图6，包括但不限于：

601，将M个待选关键内容计算模型进行组合，得到若干组目标待选模型集合，每组目标待选模型集合中均包含N个待选关键内容计算模型，M不小于N。

本发明实施例涉及到的待选关键内容计算模型，均可由相同类型的初始模型以及相同的样本训练得到。实际实施训练过程中，可以通过调整初始模型的参数，从而得到多个具有相同功能，但具有不同输出效果的待选关键内容计算模型。以初始模型包括卷积神经网络或者包括长短期记忆网络为例，可通过调整卷积神经网络的卷积核大小和个数，或者调整长短期记忆网络隐含层的节点个数，从而训练得到M个不同的待选关键内容计算模型。或者，还可以通过不同的训练方法，如dropout或正则化方法，以训练得到M个不同的待选关键内容计算模型。当然，也可以将调整不同的参数以及采用的不同训练方法，这两种方法进行结合，以训练得到M个不同的待选关键内容计算模型，本发明实施例对此不作具体限定。其中，具体训练过程可参考上述实施例中关键内容计算模型的训练过程，此处不再赘述。

以M为5，且分别为A、B、C、D及E为例。若N为3，则可从上述5个待选关键内容计算模型中，通过不同的组合方式选取3个待选关键内容计算模型，从而得到若干组包含3个待选关键内容计算模型的目标待选模型集合。例如，(A，B，C)、(A，B，E)及(B，C，D)等。需要说明的是，在上述示例中，是将不同的待选关键内容计算模型进行组合，以得到目标待选模型集合。实际实施过程中，还可将相同的待选关键内容计算模型进行组合，以得到目标待选模型集合，本发明实施例对此不作具体限定。例如，得到的目标待选模型集合可以为(A，A，A)、(B，B，B)及(C，C，C)等。

602，将多个样本测试例分别输入至每组目标待选模型集合，获取每组目标待选模型集合在将每一样本测试例作为输入时所得到的样本最优关键内容；其中，每一样本测试例均包括样本问询文本和与样本问询文本相匹配的样本答复文本，每一样本测试例均对应有关键内容，每一样本测试例对应的关键内容是基于样本问询文本在样本答复文本中预先提取的。

在本步骤中，对于任一样本测试例及任一组目标待选模型集合，该组目标待选模型集合中包含N个待选关键内容计算模型，将该样本测试例输入至该目标待选模型集合，也即将样本问询文本和与样本问询文本相匹配的样本答复文本，分别输入至该组目标待选模型集合中的N个待选关键内容计算模型。与上述实施例同理，在将样本问询文本和与样本问询文本相匹配的样本答复文本，分别输入至该组目标待选模型集合中的N个待选关键内容计算模型后，可按照上述获取最优关键内容的过程，以获取样本最优关键内容。

需要说明的是，将一个样本测试例输入至一组目标待选模型集合，即可得到一个样本最优关键内容。若样本测试例的数量为m，而待选模型集合的组数为n，在将每个样本测试例分别输入至每组目标待选模型集合，则可得到m*n个样本最优关键内容。

603，将每组目标待选模型集合在将每一样本测试例作为输入时所得到的样本最优关键内容与每一样本测试例对应的关键内容进行比对，根据比对结果确定每组目标待选模型集合对应的信息获取准确率，选取最大信息获取准确率对应的目标待选模型集合作为N个关键内容计算模型。

对于样本测试例，在样本问询文本和与样本问询文本相匹配的样本答复文本都已确定的前提下，针对样本问询文本对应提问的答复内容，也即本发明实施例涉及到的关键内容，也是可预先确定的。因此，在本步骤中，对于任一样本测试例及任一组目标待选模型集合，将该组目标待选模型集合在将该样本测试例作为输入时所得到的样本最优关键内容与该样本测试例对应的关键内容进行比对，即可确定在该样本测试例作为输入时，该组目标待选模型集合的输出结果是正确还是错误的。

具体地，若该组目标待选模型集合输出的样本最优关键内容与该样本测试例对应的关键内容一致，则可确定在该样本测试例作为输入时，该组目标待选模型集合的输出结果是正确的。若该组目标待选模型集合输出的样本最优关键内容与该样本测试例对应的关键内容不一致，则可确定在该样本测试例作为输入时，该组目标待选模型集合的输出结果是错误的。

由此可知，对于任一组目标待选模型集合，每将一个样本测试例输入至该组目标待选模型集合，均可视为对该组目标待选模型集合的一次测试过程。而通过上述比对过程，能够判断出每次测试过程的输出结果正确与否。因此，对于任一组目标待选模型集合，将上述步骤中的多个样本测试例分别输入至该组目标待选模型集合，即可依据输出结果确定该组目标待选模型集合的信息获取准确率。例如，若样本测试例的个数为100个，而将100个样本测试例分别输入至该组目标待选模型集合后，输出正确结果的次数为72次，即可确定该组目标待选模型集合的信息获取准确率为72％。同理，对于若干组目标待选模型集合中的每组目标待选模型集合，均可以按照上述过程确定每组目标待选模型集合对应的信息获取准确率。

在确定若干组目标待选模型集合中每组目标待选模型集合对应的信息获取准确率后，可选取最大信息获取准确率对应的目标待选模型集合，并将该组目标待选模型集合中的N个待选关键内容计算模型，作为N个关键内容计算模型。

本发明实施例提供的方法，通过基于每组目标待选模型集合的信息获取准确率，选取最大信息获取准确率对应的目标待选模型集合作为N个关键内容计算模型，从而能够保证答复内容的可靠性及准确性。

基于上述实施例的内容，作为一种可选实施例，本发明实施例不对将M个待选关键内容计算模型进行组合，得到若干组目标待选模型集合的方式作具体限定作具体限定，包括但不限于：基于贪婪算法，按照组合后得到的待选模型集合对应的信息获取准确率，逐一对M个待选关键内容计算模型进行组合，直至得到若干组目标待选模型集合。

其中，贪婪算法是指通过一系列局部最优的选择，即贪心选择来达到所求问题的整体最优解。由上述实施例的内容可知，目标待选模型集合中包含N个待选关键内容计算模型。为了便于理解，以M个待选关键内容计算模型分别为A、B、C、D及E，N为3，并以A为起始组合模型为例，对A、B、C、D及E进行组合得到若干组目标待选模型集合的过程进行说明。

由于A是起始组合模型，从而可将先将A分别与A、B、C、D及E进行组合，可得到(A，A)、(A，B)、(A，C)、(A，D)及(A，E)。由于上述五个集合也是待选关键内容计算模型之间组合后得到的集合，从而基于上述实施例中目标待选模型集合对应的信息获取准确率的计算过程，同样可分别计算得到上述5个集合对应的信息获取准确率。由于贪婪算法是基于局部最优解，从而可从5个集合中选取最大信息获取准确率对应的集合，以继续后续的组合过程。

以集合(A，B)为最大信息获取率对应的集合为例，则可继续将(A，B)分别与A、B、C、D及E进行组合，可得到(A，B，A)、(A，B，B)、(A，B，C)、(A、B，D)及(A，B，E)。同理，按照上述计算过程可分别计算(A，B，A)、(A，B，B)、(A，B，C)、(A、B，D)及(A，B，E)对应的信息获取准确率。从该5个集合中选取最大信息获取准确率对应的集合，即可作为以A为起始组合模型所得到的目标待选模型集合。

同理，分别以B、C、D及E为起始组合模型，即可得到分别以B、C、D及E为起始组合模型的目标待选模型组合。按照上述过程得到的所有目标待选模型组合，即为若干组目标待选模型集合。

本发明实施例提供的方法，通过基于贪婪算法，按照组合后得到的待选模型集合对应的信息获取准确率，逐一对M个待选关键内容计算模型进行组合，直至得到若干组目标待选模型集合。由于可基于局部最优解的方式将M个待选关键内容计算模型进行组合，以得到若干组目标待选模型集合，从而能够保证答复内容的可靠性及准确性。

需要说明的是，上述所有可选实施例，可以采用任意结合形成本发明的可选实施例，在此不再一一赘述。

基于上述实施例的内容，本发明实施例提供了一种信息获取装置。该装置用于执行上述方法实施例中提供的信息获取方法。参考图7，该装置包括：

候选关键内容获取模块701，用于将问询文本和与问询文本相匹配的答复文本分别输入至N个关键内容计算模型，获取每一关键内容计算模型输出的候选关键内容；其中，关键内容计算模型是基于样本问询文本、样本答复文本以及样本答复文本中的样本关键内容进行训练后得到，每一候选关键内容是从答复文本中提取的，N为大于1的正整数；

最优关键内容获取模块702，用于根据每一候选关键内容，获取最优关键内容，并将最优关键内容作为问询文本对应的答复。

作为一种可选实施例，候选关键内容获取模块701，包括：

概率获取单元，用于对于任一关键内容计算模型输出的候选关键内容，获取答复文本中每一分句作为候选关键内容中起始语句的起始概率，并获取答复文本中每一分句作为候选关键内容中结束语句的结束概率；

语句获取单元，用于根据每一分句对应的起始概率，从答复文本中选取最大起始概率对应的分句作为候选关键内容的起始语句，根据每一分句对应的结束概率，从答复文本中选取最大结束概率对应的分句作为候选关键内容的结束语句；

候选关键内容确定单元，用于将答复文本中位于起始语句及结束语句之间的分句、起始语句以及结束语句，作为候选关键内容。

作为一种可选实施例，最优关键内容获取模块702，包括：

最优起始语句确定单元，用于对于所有候选关键内容包含的起始语句中的每一起始语句，根据每一起始语句作为最优关键内容中起始语句时的投票分值，确定最优关键内容中的最优起始语句；

最优结束语句确定单元，用于对于所有候选关键内容包含的结束语句中的每一结束语句，根据每一结束语句作为最优关键内容中结束语句时的投票分值，确定最优关键内容中的最优结束语句；

最优关键内容确定单元，用于将答复文本中位于最优起始语句及最优结束语句之间的分句、最优起始语句以及最优结束语句，作为最优关键内容。

作为一种可选实施例，最优关键内容获取模块702，还包括：

第一目标候选关键内容获取单元，用于对于所有候选起始语句中的任一候选起始语句，将所有候选关键内容中满足第一预设条件的候选关键内容，作为第一目标候选关键内容，所有候选起始语句为所有候选关键内容包含的起始语句，第一预设条件为包含任一候选起始语句且任一候选起始语句作为第一条分句；

起始语句投票分值获取单元，用于根据所有候选关键内容中第一目标候选关键内容的总数量、以及每一第一目标候选关键内容中起始语句对应的起始概率，计算任一候选起始语句作为最优关键内容中起始语句时的投票分值。

作为一种可选实施例，最优关键内容获取模块702，还包括：

第二目标候选关键内容获取单元，用于对于所有候选结束语句中的任一候选结束语句，将所有候选关键内容中满足第二预设条件的候选关键内容，作为第二目标候选关键内容，所有候选结束语句为所有候选关键内容包含的结束语句，第二预设条件为包含任一候选结束语句且任一候选结束语句作为最后一条分句；

结束语句投票分值获取单元，用于根据所有候选关键内容中第二目标候选关键内容的总数量、以及每一第二目标候选关键内容中结束语句对应的结束概率，计算任一候选结束语句作为最优关键内容中结束语句时的投票分值。

作为一种可选实施例，该装置还包括：

目标待选模型集合获取模块，用于将M个待选关键内容计算模型进行组合，得到若干组目标待选模型集合，每组目标待选模型集合中均包含N个待选关键内容计算模型，M不小于N；

样本最优关键内容获取模块，用于将多个样本测试例分别输入至每组目标待选模型集合，获取每组目标待选模型集合在将每一样本测试例作为输入时所得到的样本最优关键内容；其中，每一样本测试例均包括样本问询文本和与样本问询文本相匹配的样本答复文本，每一样本测试例均对应有关键内容，每一样本测试例对应的关键内容是基于样本问询文本在样本答复文本中预先提取的；

关键内容计算模型获取模块，用于将每组目标待选模型集合在将每一样本测试例作为输入时所得到的样本最优关键内容与每一样本测试例对应的关键内容进行比对，根据比对结果确定每组目标待选模型集合对应的信息获取准确率，选取最大信息获取准确率对应的目标待选模型集合作为N个关键内容计算模型。

作为一种可选实施例，样本最优关键内容获取模块，用于基于贪婪算法，按照组合后得到的待选模型集合对应的信息获取准确率，逐一对M个待选关键内容计算模型进行组合，直至得到若干组目标待选模型集合。

本发明实施例提供的装置，通过将问询文本和与问询文本相匹配的答复文本分别输入至N个关键内容计算模型，获取每一关键内容计算模型输出的候选关键内容。根据每一候选关键内容，获取最优关键内容，并将最优关键内容作为问询文本对应的答复。由于可将N个关键内容计算模型的输出结果进行融合，从而有效规避了单一模型在训练过程存在偏差，难以完全拟合全部的训练数据分布的问题，进而可提高答复内容的可靠性及准确性，并提高了用户在与设备进行问答交互时的交互体验。

其次，通过获取答复文本中每一分句作为每一候选关键内容中起始语句的起始概率，以及作为结束语句的结束概率，再基于起始概率和结束概率确定候选关键内容，从而有助于提高关键内容计算模型的计算精度，进而可提高候选关键内容的可靠性及准确性。

再次，通过根据起始语句的投票分值和结束语句的投票分值确定最优起始语句和最优结束语句，进而确定最优关键内容，从而实现了对N个关键内容计算模型所输出的候选关键内容进行融合，进而提高了答复内容的可靠性及准确性。

从次，通过基于候选关键内容中起始语句对应的起始概率以及结束语句对应的结束概率，确定结束语句作为最优关键内容中结束语句时的投票分值，从而采用投票的方式，确定每一起始语句的投票分值及每一结束语句的投票分值，并以此为基础来推选最优关键内容中最优起始语句及最优结束语句。因此，可对N个关键内容计算模型所输出的候选关键内容进行融合，进而提高了答复内容的可靠性及准确性。

另外，通过基于每组目标待选模型集合的信息获取准确率，选取最大信息获取准确率对应的目标待选模型集合作为N个关键内容计算模型，从而能够保证答复内容的可靠性及准确性。

最后，通过基于贪婪算法，按照组合后得到的待选模型集合对应的信息获取准确率，逐一对M个待选关键内容计算模型进行组合，直至得到若干组目标待选模型集合。由于可基于局部最优解的方式将M个待选关键内容计算模型进行组合，以得到若干组目标待选模型集合，从而能够保证答复内容的可靠性及准确性。

本发明实施例提供了一种信息获取设备。参见图8，该设备包括：处理器(processor)801、存储器(memory)802和总线803；

其中，处理器801及存储器802分别通过总线803完成相互间的通信；处理器801用于调用存储器802中的程序指令，以执行上述实施例所提供的信息获取方法，例如包括：将问询文本和与问询文本相匹配的答复文本分别输入至N个关键内容计算模型，获取每一关键内容计算模型输出的候选关键内容；其中，关键内容计算模型是基于样本问询文本、样本答复文本以及样本答复文本中的样本关键内容进行训练后得到，每一候选关键内容是从答复文本中提取的，N为大于1的正整数；根据每一候选关键内容，获取最优关键内容，并将最优关键内容作为问询文本对应的答复。

本发明实施例提供一种非暂态计算机可读存储介质，该非暂态计算机可读存储介质存储计算机指令，该计算机指令使计算机执行上述实施例所提供的信息获取方法，例如包括：将问询文本和与问询文本相匹配的答复文本分别输入至N个关键内容计算模型，获取每一关键内容计算模型输出的候选关键内容；其中，关键内容计算模型是基于样本问询文本、样本答复文本以及样本答复文本中的样本关键内容进行训练后得到，每一候选关键内容是从答复文本中提取的，N为大于1的正整数；根据每一候选关键内容，获取最优关键内容，并将最优关键内容作为问询文本对应的答复。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

以上所描述的信息获取设备等实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分方法。

最后，本申请的方法仅为较佳的实施方案，并非用于限定本发明实施例的保护范围。凡在本发明实施例的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明实施例的保护范围之内。

Claims (10)

1.一种信息获取方法，其特征在于，包括：

将问询文本和与所述问询文本相匹配的答复文本分别输入至N个关键内容计算模型，获取每一关键内容计算模型输出的候选关键内容；其中，所述关键内容计算模型是基于样本问询文本、样本答复文本以及所述样本答复文本中的样本关键内容进行训练后得到，每一候选关键内容是从所述答复文本中提取的，所述N为大于1的正整数；

根据每一候选关键内容，获取最优关键内容，并将所述最优关键内容作为所述问询文本对应的答复。

2.根据权利要求1所述的方法，其特征在于，所述将问询文本和与所述问询文本相匹配的答复文本分别输入至N个关键内容计算模型，获取每一关键内容计算模型输出的候选关键内容，包括：

对于任一关键内容计算模型输出的候选关键内容，获取所述答复文本中每一分句作为所述候选关键内容中起始语句的起始概率，并获取所述答复文本中每一分句作为所述候选关键内容中结束语句的结束概率；

根据每一分句对应的起始概率，从所述答复文本中选取最大起始概率对应的分句作为所述候选关键内容的起始语句，根据每一分句对应的结束概率，从所述答复文本中选取最大结束概率对应的分句作为所述候选关键内容的结束语句；

将所述答复文本中位于所述起始语句及所述结束语句之间的分句、所述起始语句以及所述结束语句，作为所述候选关键内容。

3.根据权利要求2所述的方法，其特征在于，所述根据每一候选关键内容，获取最优关键内容，包括：

对于所有候选关键内容包含的起始语句中的每一起始语句，根据每一起始语句作为所述最优关键内容中起始语句时的投票分值，确定所述最优关键内容中的最优起始语句；

对于所有候选关键内容包含的结束语句中的每一结束语句，根据每一结束语句作为所述最优关键内容中结束语句时的投票分值，确定所述最优关键内容中的最优结束语句；

将所述答复文本中位于所述最优起始语句及所述最优结束语句之间的分句、所述最优起始语句以及所述最优结束语句，作为所述最优关键内容。

4.根据权利要求3所述的方法，其特征在于，所述根据每一起始语句作为所述最优关键内容中起始语句时的投票分值，确定所述最优关键内容中的最优起始语句之前，还包括：

对于所有候选起始语句中的任一候选起始语句，将所有候选关键内容中满足第一预设条件的候选关键内容，作为第一目标候选关键内容，所述所有候选起始语句为所有候选关键内容包含的起始语句，所述第一预设条件为包含所述任一候选起始语句且所述任一候选起始语句作为第一条分句；

根据所有候选关键内容中第一目标候选关键内容的总数量、以及每一第一目标候选关键内容中起始语句对应的起始概率，计算所述任一候选起始语句作为所述最优关键内容中起始语句时的投票分值。

5.根据权利要求3或4所述的方法，其特征在于，所述根据每一结束语句作为所述最优关键内容中结束语句时的投票分值，确定所述最优关键内容中的最优结束语句之前，还包括：

对于所有候选结束语句中的任一候选结束语句，将所有候选关键内容中满足第二预设条件的候选关键内容，作为第二目标候选关键内容，所述所有候选结束语句为所有候选关键内容包含的结束语句，所述第二预设条件为包含所述任一候选结束语句且所述任一候选结束语句作为最后一条分句；

根据所有候选关键内容中第二目标候选关键内容的总数量、以及每一第二目标候选关键内容中结束语句对应的结束概率，计算所述任一候选结束语句作为所述最优关键内容中结束语句时的投票分值。

6.根据权利要求1所述的方法，其特征在于，所述将问询文本和与所述问询文本相匹配的答复文本输入至N个关键内容计算模型，获取每一关键内容计算模型输出的候选关键内容之前，还包括：

将M个待选关键内容计算模型进行组合，得到若干组目标待选模型集合，每组目标待选模型集合中均包含N个待选关键内容计算模型，所述M不小于所述N；

将多个样本测试例分别输入至每组目标待选模型集合，获取每组目标待选模型集合在将每一样本测试例作为输入时所得到的样本最优关键内容；其中，每一样本测试例均包括样本问询文本和与所述样本问询文本相匹配的样本答复文本，每一样本测试例均对应有关键内容，每一样本测试例对应的关键内容是基于所述样本问询文本在所述样本答复文本中预先提取的；

将每组目标待选模型集合在将每一样本测试例作为输入时所得到的样本最优关键内容与每一样本测试例对应的关键内容进行比对，根据比对结果确定每组目标待选模型集合对应的信息获取准确率，选取最大信息获取准确率对应的目标待选模型集合作为所述N个关键内容计算模型。

7.根据权利要求6所述的方法，其特征在于，所述将M个待选关键内容计算模型进行组合，得到若干组目标待选模型集合，包括：

按照组合后得到的待选模型集合对应的信息获取准确率，逐一对所述M个待选关键内容计算模型进行组合，直至得到所述若干组目标待选模型集合。

8.一种信息获取装置，其特征在于，包括：

候选关键内容获取模块，用于将问询文本和与所述问询文本相匹配的答复文本分别输入至N个关键内容计算模型，获取每一关键内容计算模型输出的候选关键内容；其中，所述关键内容计算模型是基于样本问询文本、样本答复文本以及所述样本答复文本中的样本关键内容进行训练后得到，每一候选关键内容是从所述答复文本中提取的，所述N为大于1的正整数；

最优关键内容获取模块，用于根据每一候选关键内容，获取最优关键内容，并将所述最优关键内容作为所述问询文本对应的答复。

9.一种信息获取设备，其特征在于，包括：

至少一个处理器；以及

与所述处理器通信连接的至少一个存储器，其中：

所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如权利要求1至7任一所述的方法。

10.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行如权利要求1至7任一所述的方法。