CN109086303A - 基于机器阅读理解的智能对话方法、装置、终端 - Google Patents

Abstract

本发明提供一种基于机器阅读理解的智能对话方法、装置、终端，上述方法包括：获取用户提出的问题与问题对应的文本；对问题和文本进行分词处理和向量化处理，得到问题向量和文本向量；将问题向量和文本向量输入注意力模型，得到第一向量和第二向量，第一向量用于指示问题对于注意到文本中任一词的影响度，第二向量用于指示文本对于生成问题的影响度；根据第一向量和第二向量在文本中确定答案起始点和答案终止点，并将答案起始点和答案终止点之间的段落确定为问题的答案。本发明的方法无需预先设置“问题‑答案”对，可灵活地回答用户的各种问题，克服了现有技术需要不断维护问题库的缺陷，减少了数据更新成本。

Description

基于机器阅读理解的智能对话方法、装置、终端

技术领域

本发明涉及人工智能技术领域，具体而言，本发明涉及一种基于机器阅读理解的智能对话方法、装置、终端。

背景技术

现有的智能对话***主要靠检索用户输入的问题获取答案。基于信息检索的自然语言对话技术需要将大规模的对话语料以“问题-答案”对的方式进行索引，在线对话时，通过搜索找到与用户输入相似的问题，并将其对应的答案返回给用户。然而，当用户输入与库中语料匹配度较低时，无法保证***返回语义相关的对话，现有的智能对话***可扩展性低，也无法产生语料从没有的回复。

因此，现有的智能对话***受限于语料库中预存的数据量，大量问题无法得到回答，尤其是当用户提出的新问题时，***更是无法回答或答非所问。此外，由于常见问题和答案时常会变动，需要耗费人力对语料库中数据进行定期更新。

发明内容

本发明的目的旨在至少能解决上述的技术缺陷之一。

第一方面，本发明提供一种基于机器阅读理解的智能对话方法，包括如下步骤：

获取用户提出的问题与问题对应的文本；

对问题和文本进行分词处理和向量化处理，得到问题中各个词对应的问题向量和文本中各个词对应的文本向量；

将问题向量和文本向量输入注意力模型，得到第一向量和第二向量，第一向量用于指示问题对于注意到文本中任一词的影响度，第二向量用于指示文本对于生成问题的影响度；

根据第一向量和第二向量在文本中确定答案起始点和答案终止点，并将答案起始点和答案终止点之间的段落确定为问题的答案。

进一步地，获取用户提出的问题与问题对应的文本，包括：获取用户提出的问题，在网络和/或数据库中搜索与问题对应的文本。

进一步地，对问题和文本进行分词处理和向量化处理，得到问题中各个词对应的问题向量和文本中各个词对应的文本向量，包括：

分别对问题和文本进行分词处理；

分别将问题和文本的分词结果输入向量化模型，得到问题中各个词对应的第一问题向量和文本中各个词对应的第一文本向量；

利用双向循环神经网络更新第一问题向量和第一文本向量，得到第一问题向量对应的问题向量和第一文本向量对应的文本向量。

进一步地，分别将问题和文本的分词结果输入向量化模型之前，方法还包括：

去除文本的分词结果和问题的分词结果中的标点符号。

进一步地，将问题向量和文本向量输入注意力模型，得到第一向量和第二向量，包括：

将问题向量和文本向量输入基于注意力机制的第一神经网络，得到注意力分配概率分布，注意力分配概率分布中的注意力值用于指示问题中任一词对于注意到文本中任一词的影响度；

以文本中各个词对应的注意力值作为权重，对问题向量进行加权平均，得到文本中各个词对应的第一向量；

从文本中各个词对应的注意力值中取最大值，将对文本中各个词对应的最大值进行归一化，以归一化后的最大值作为权重，对文本向量进行加权平均，得到第二向量。

进一步地，根据第一向量和第二向量在文本中确定答案起始点和答案终止点，并将答案起始点和答案终止点之间的段落确定为问题的答案，包括：

将第一向量和第二向量输入第二神经网络，得到文本中各个词作为答案起始点的第一概率值；

将第一向量、第二向量和第一概率值输入第三神经网络，得到文本中各个词作为答案终止点的第二概率值；

根据第一概率值和第二概率值，计算文本中各个词之间的段落作为答案的第三概率值，取最大的第三概率值对应的段落作为问题的答案。

进一步地，第二神经网络和第三神经网络均为双向LSTM时间递归神经网络。

第二方面，本发明还提供了一种基于机器阅读理解的智能对话装置，包括：

文本获取单元，用于获取用户提出的问题与问题对应的文本；

预处理单元，用于对问题和文本进行分词处理和向量化处理，得到问题中各个词对应的问题向量和文本中各个词对应的文本向量；

注意力计算单元，用于将问题向量和文本向量输入注意力模型，得到第一向量和第二向量，第一向量用于指示问题对于注意到文本中任一词的影响度，第二向量用于指示文本对于生成问题的影响度；

答案定位单元，用于根据第一向量和第二向量在文本中确定答案起始点和答案终止点，并将答案起始点和答案终止点之间的段落确定为问题的答案。

第三方面，本发明还提供一种基于机器阅读理解的智能对话终端，其包括：

一个或多个处理器；

存储器；

一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于：执行第一方面中任一实施例所述的基于机器阅读理解的智能对话方法。

第四方面，本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现第一方面中任一实施例所述的基于机器阅读理解的智能对话方法。

上述的基于机器阅读理解的智能对话方法、装置、终端及计算机可读存储介质，先基于问题检索到匹配的文本，再从检索到的文本中精准定位到可作为答案的段落，即直接从现有的文本中截取相关段落作为答案，由于现有的文本是由人撰写的，如百度百科中的内容或贴吧中用户的回答，因此，通过本实施例的方法生成的答案完全符自然语言的规则，提高了答案的可阅读性；其次，本实施例的方法无需预先设置“问题-答案”对，也不再受限于预存的问题库，可灵活地回答用户的各种问题，克服了现有技术需要不断维护问题库的缺陷，减少了数据更新的成本；此外，本实施例的方法，基于利用注意力机制，综合考虑了问题对文本、文本对问题的双向注意力影响，能够更全面地理解问题与文本之间的关系，以使得最终输出的答案更加精准，避免答非所问。

本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为一个实施例的基于机器阅读理解的智能对话方法流程图；

图2为另一个实施例的基于机器阅读理解的智能对话方法流程图；

图3为另一个实施例的基于机器阅读理解的智能对话方法流程图；

图4为一个实施例的基于机器阅读理解的智能对话方法装置的结构框图；

图5为另一个实施例的基于机器阅读理解的智能对话方法装置中预处理单元的结构框图；

图6为另一个实施例的基于机器阅读理解的智能对话方法装置中预处理单元的结构框图；

图7为一个实施例中基于机器阅读理解的智能对话方法终端的内部结构示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。

本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。

本技术领域技术人员可以理解，这里所使用的“终端”、“终端设备”既包括无线信号接收器的设备，其仅具备无发射能力的无线信号接收器的设备，又包括接收和发射硬件的设备，其具有能够在双向通讯链路上，执行双向通讯的接收和发射硬件的设备。这种设备可以包括：蜂窝或其他通讯设备，其具有单线路显示器或多线路显示器或没有多线路显示器的蜂窝或其他通讯设备；PCS(Personal Communications Service，个人通讯***)，其可以组合语音、数据处理、传真和/或数据通讯能力；PDA(Personal Digital Assistant，个人数字助理)，其可以包括射频接收器、寻呼机、互联网/内联网访问、网络浏览器、记事本、日历和/或GPS(Global Positioning System，全球定位***)接收器；常规膝上型和/或掌上型计算机或其他设备，其具有和/或包括射频接收器的常规膝上型和/或掌上型计算机或其他设备。这里所使用的“终端”、“终端设备”可以是便携式、可运输、安装在交通工具(航空、海运和/或陆地)中的，或者适合于和/或配置为在本地运行，和/或以分布形式，运行在地球和/或空间的任何其他位置运行。这里所使用的“终端”、“终端设备”还可以是通讯终端、上网终端、音乐/视频播放终端，例如可以是PDA、MID(Mobile Internet Device，移动互联网设备)和/或具有音乐/视频播放功能的移动电话，也可以是智能电视、机顶盒等设备。

本技术领域技术人员可以理解，这里所使用的远端网络设备，其包括但不限于计算机、网络主机、单个网络服务器、多个网络服务器集或多个服务器构成的云。在此，云由基于云计算(Cloud Computing)的大量计算机或网络服务器构成，其中，云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个超级虚拟计算机。本发明的实施例中，远端网络设备、终端设备与WNS服务器之间可通过任何通讯方式实现通讯，包括但不限于，基于3GPP、LTE、WIMAX的移动通讯、基于TCP/IP、UDP协议的计算机网络通讯以及基于蓝牙、红外传输标准的近距无线传输方式。

下面对本发明实施例提供的一种基于机器阅读理解的智能对话方法进行介绍，参见图1所示，本实施例的方法包括：

步骤S101、获取用户提出的问题与问题对应的文本；

步骤S102、对问题和文本进行分词处理和向量化处理，得到问题中各个词对应的问题向量和文本中各个词对应的文本向量；

步骤S103、将问题向量和文本向量输入注意力模型，得到第一向量和第二向量，第一向量用于指示问题对于注意到文本中任一词的影响度，第二向量用于指示文本对于生成问题的影响度；

步骤S104、根据第一向量和第二向量在文本中确定答案起始点和答案终止点，并将答案起始点和答案终止点之间的段落确定为问题的答案。

本发明实施例中，首先，基于用户提出的问题，自动搜索与该问题相关的文本，搜索到的文本来自于网络或数据库；然后，对问题以及搜索到的文本进行预处理(如分词、向量化处理等)，得到问题向量和文本向量，以使得问题和文本的表达方式符合注意力模型的输入；接着，将问题向量和文本向量同时输入到注意力模型中，得到共同揭示问题与文本之间相互影响度的第一向量和第二向量，即利用注意力机制(AM，Attention Mechanism)模仿人类理解文本的方式，通俗地说，就是当人类带着问题阅读文本时，会因为问题而对文本中各个词分配不同的注意力，也就是说，人们会更容易注意到文本中与问题相关的某些词，而忽略其它无关的词，第一向量和第二向量就描述了问题和文本之间的注意力分配情况；最后，根据第一向量和第二向量在文本中确定答案起始点和答案终止点，并将答案起始点和答案终止点之间的段落确定为问题的答案。

与现有技术相比，本实施例的方法，先基于问题检索到匹配的文本，再从检索到的文本中精准定位到可作为答案的段落，即直接从现有的文本中截取相关段落作为答案，由于现有的文本是由人撰写的，如百度百科中的内容或贴吧中用户的回答，因此，通过本实施例的方法生成的答案完全符自然语言的规则，提高了答案的可阅读性。其次，本实施例的方法无需预先设置“问题-答案”对，也不再受限于预存的问题库，可灵活地回答用户的各种问题，克服了现有技术需要不断维护问题库的缺陷，减少了数据更新的成本。此外，本实施例的方法，基于利用注意力机制，综合考虑了问题对文本、文本对问题的双向注意力影响，能够更全面地理解问题与文本之间的关系，以使得最终输出的答案更加精准，避免答非所问。

进一步地，步骤S101具体包括：获取用户提出的问题，在网络和/或数据库中搜索与问题对应的文本。

例如，从用户提出的问题中提取出相应的关键词，以提取出的关键词为检索词，通过爬虫技术等方式，从网络中搜索到与用户提出的问题对应的文本。其中，提取关键词的方法为现有技术，再次不在赘述。当然，也可以直接将整个问题作为检索词，在网络中搜索与用户提出的问题对应的文本。

例如，计算用户提出的问题与数据库中预存的文本的匹配度，根据匹配度计算recall(召回率)值，返回recall值最大的文本，作为与用户提出的问题对应的文本，其中，数据库中预先存储有大量的文本。实际中，可设置阈值，将recall值高于阈值的文本作为与用户提出的问题对应的文本；或，根据recall值对文本进行排序，获取排序靠前的文本作为与用户提出的问题对应的文本。

当通过网络或数据库获取到多段文本时，将这多段文本首尾相连合成一段文本，作为与用户提出的问题对应的文本，基于该合成的文本进行后续的向量化处理。

进一步地，为平衡搜索文本的准确度和效率，还可以将上述两种搜索方法结合，具体包括：在数据库中搜索与用户提出的问题对应的文本；当无法从数据库中获取到对应的文本时，在网络中搜索与用户提出的问题对应的文本。此外，在网络搜索的过程中，可以将搜索到的文本添加到数据库中，以达到自动更新、扩充数据库的目的，减少数据更新的成本。

数据库中的文本资源有限，但搜索到的文本可靠度更高；而网络中的文本资源包罗万象，但与问题的匹配度和准确度都存疑，且搜索成本较高。因此，本实施例结合数据库与网络搜索方式，优先采用数据库搜索的方式，当数据库搜索不同合适的文本时，再利用网络搜索的方式获取与用户提出的问题对应的文本，以达到平衡搜索文本的准确度和效率的目的。

进一步地，如图2所示，步骤S102具体包括：

步骤S201、分别对问题和文本进行分词处理；

步骤S202、分别将问题和文本的分词结果输入向量化模型，得到问题中各个词对应的第一问题向量和文本中各个词对应的第一文本向量；

其中，向量化模型可选用如glove、word2vec等模型。

步骤S203、利用双向循环神经网络更新第一问题向量和第一文本向量，得到第一问题向量对应的问题向量和第一文本向量对应的文本向量。

例如，用户提出的问题为“氧气袋是什么”，搜索到的与用户提出的问题对应的本文为“今天北京发了氧气袋，氧气袋是用来装氧气的袋子。”，对问题进行分词处理后得到的三个词为“氧气袋”“是”“什么”，将得到的三个词分别输入文本向量模型后得到三个第一问题向量，“氧气袋”对应的第一问题向量为X₁＝(x_1,1,x_1,2,…,x_1,v)，“是”对应的第一文本向量为X₂＝(x_2,1,x_2,2,…,x_2,v)，“什么”对应的第一问题向量为X₃＝(x_3,1,x_3,2,…,x_3,v)，其中，V为预设的向量维度。同理，对问题对应的文本进行分词处理后得到14个词，分别为“今天”“北京”“发”“了”“氧气袋”“，”“氧气袋”“是”“用来”“装”“氧气”“的”“袋子”“。”，将得到的14个词输入向量化模型，得到对应的14个第一文本向量Y₁、Y₂、…、Y₁₄，例如，“今天”对应的向量为Y₁＝(y_1,1,y_1,2,…,y_1,v)，“北京”对应的向量为Y₂＝(y_2,1,y_2,2,…,y_2,v)。

随后，通过双向循环神经网络对第一问题向量X₁、X₂、X₃进行更新，得到更新后的问题向量X'₁、X'₂、X'₃。具体过程为：得到第一问题向量的正序排列(X₁，X₂，X₃)和倒序排列(X₃，X₂，X₁)，将(X₁，X₂，X₃)和(X₃，X₂，X₁)输入双向循环神经网络进行上下文学习，通过双向循环神经网络输出更新后的3个问题向量X'₁、X'₂、X'₃。同理，得到第一文本向量的正序排列(Y₁，Y₂，…，Y₁₄)和倒序排列(Y₁₄，Y₁₃，…，Y₁)，将(Y₁，Y₂，…，Y₁₄)和(Y₁₄，Y₁₃，…，Y₁)输入双向循环神经网络中进行学习上下文，得到更新后的14个文本向量Y'₁、……、Y'₁₄。

其中，双向循环神经网络选用LSTM结构。

通过向量化模型得到的第一问题向量和第一文本向量精准度不高，因此，本实施例利用双向循环神经网络对问题和文本分别进行上下文学习，能够识别同一词语在不同语境中的不同语义，以达到对第一问题向量和第一文本向量进行优化的目的，例如，“苹果”一词在“我想吃苹果”和“我新买的电脑是苹果”中就存在不同的语义，而利用双向循环神经网络可以很好地消除歧义，使得优化后的文本向量和问题向量能过更加准确地表征问题和文本的语义。

进一步地，如图3所示，步骤S102具体包括：

步骤S301、分别对问题和文本进行分词处理；

步骤S302、去除文本的分词结果和问题的分词结果中的标点符号；

步骤S303、分别将去除标点符号的问题分词结果和文本分词结果输入向量化模型，得到问题中各个词对应的第一问题向量和文本中各个词对应的第一文本向量；

步骤S304、利用双向循环神经网络更新第一问题向量和第一文本向量，得到第一问题向量对应的问题向量和第一文本向量对应的文本向量。

通过前述例子可知，在分词结果中还包括标点符号，而这些标点符号显然对语义理解没有任何帮助，因此，在对文本和问题进行向量化处理之前，先去除问题和文本的分词结果中的标点符号，仅对分词结果中的文字部分进行向量化处理。接前述例子，针对文本仅需要对“今天”“北京”“发”“了”“氧气袋”“氧气袋”“是”“用来”“装”“氧气”“的”“袋子”这12词进行向量化处理，最终得到12个第一文本向量，降低了数据处理量，提高了处理效率。

进一步地，步骤S103具体包括：

步骤S401、将问题向量和文本向量输入基于注意力机制的第一神经网络，得到注意力分配概率分布，注意力分配概率分布中的注意力值用于指示问题中任一词对于注意到文本中任一词的影响度；

步骤S402、以文本中各个词对应的注意力值作为权重，对问题向量进行加权平均，得到文本中各个词对应的第一向量；

步骤S403、从文本中各个词对应的注意力值中取最大值，将对文本中各个词对应的最大值进行归一化，以归一化后的最大值作为权重，对文本向量进行加权平均，得到第二向量。

以前述的氧气袋为例，问题向量X'₁、X'₂、X'₃中，基于词“氧气袋”，在阅读文本“今天北京发了氧气袋，氧气袋是用来装氧气的袋子。”时，对文本中“今天”“北京”“发”“了”“氧气袋”“，”“氧气袋”“是”“用来”“装”“氧气”“的”“袋子”“。”各个词的注意力是不同的，读者不会关注对“今天”“北京”“发了”“是”等词，更容易关注“氧气袋”“是”“用来”“氧气”“袋子”等词。因此，利用注意力机制，可以得到问题向量中的各个词对注意到文本向量中各个词的影响度，将这一影响度称为注意力值。例如，通过注意力模型得到问题向量X'₁对应的一组注意力值为(α_1,1,α_1,2,…,α_1,14),其中，注意力值α_1,1为问题中的第一个词“氧气袋”对注意到文本中的第一个词“今天”的影响度，注意力值α_1,14为问题中的第一个词“氧气袋”对注意到文本中的第14个词“。”的影响度，此处，未采用滤除问题和文本中的标点符号的方案；同理，通过注意力模型得到问题向量X'₂对应的一组注意力值为(α_2,1,α_2,2,…,α_2,14)，问题向量X'₃对应的一组注意力值为(α_3,1,α_3,2,…,α_3,14)，最终得到注意力分配概率分布A，如下：

其中，α_i,j表示获知问题中的第i个词对注意到文本中第j个词的影响度，即注意力值；i为不大于n的正整数，n为问题长度，即问题分词后得到的词的数量，在上述例子中n＝3；j为不大于m的正整数，m为文本长度，即文本分词后得到的词的数量，在上述例子中m＝14。

其中，注意力模型可选用常见的神经网络训练得到，如CNN、RNN、BiRNN、GRU、LSTM、Deep LSTM等，模型的训练方法为通用的神经网络训练方法，在此不在赘述。注意力分配概率分布的计算方式可以有很多种，经过测试后优选使用表现较好的linear after MLP方法。

接着，以文本中各个词对应的注意力值作为权重，对问题向量进行加权平均，得到文本中各个词对应的第一向量，即，将注意力分配概率分布A的每一行作为权值，对问题向量X'₁、X'₂、X'₃进行加权平均，得到文本中各个词对应的第一向量，例如，文本中第一个词“今天”对应的第一向量为W₁＝α_1,1X'₁+α_2,1X'₂+α_3,1X'₃，按照上述方法一共得到14个第一向量W₁、W₂、……、W₁₄。其中，为了保证权重的客观性，已预先对注意力分配概率分布A中每一行的注意力值进行了归一化处理，如，使α_1,1+α_2,1+α_3,1＝1。

然后，从文本中各个词对应的注意力值中取最大值，即，取注意力分配概率分布A中每行的最大值，得到14个最大值max{α_1,1，α_2,1，α_3,1}、……max{α_1,14，α_2,14，α_3,14}，对14个最大值进行归一化得到(β₁,β₂,…,β₁₄)，以归一化后的最大值(β₁,β₂,…,β₁₄)作为权重，对文本向量进行加权平均，得到第二向量U＝β₁Y'₁+β₂Y'₂+…+β₁₄Y'₁₄。

进一步地，步骤S104具体包括：

步骤S501、将第一向量和第二向量输入第二神经网络，得到文本中各个词作为答案起始点的第一概率值；

步骤S502、将第一向量、第二向量和第一概率值输入第三神经网络，得到文本中各个词作为答案终止点的第二概率值；

步骤S503、根据第一概率值和第二概率值，计算文本中各个词之间的段落作为答案的第三概率值，取最大的第三概率值对应的段落作为问题的答案。

其中，第二神经网络和第三神经网络优选双向LSTM(时间递归神经网络)。

接上述例子，首先，将14个第一向量W₁、W₂、……、W₁₄和第二向量U输入第一双向LSTM，得到输出的14个第一概率值{P₁,P₂,……,P₁₄}，其中，P₁表示文本中第一个词“今天”作为答案起始点的概率。

接着，将第一概率值{P₁,P₂,……,P₁₄}、14个第一向量W₁、W₂、……、W₁₄和第二向量U输入第二双向LSTM，得到输出的14个第二概率值{Q₁,Q₂,……,Q₁₄}，其中，Q₁表示文本中第一个词“今天”作为答案终止点的概率。

最后，根据第一概率值和第二概率值，计算文本中各个词之间的段落作为答案的第三概率值，即，计算第一概率数值{P₁,P₂,……,P₁₄}与第二概率值{Q₁,Q₂,……,Q₁₄}两两组合的乘积P_i·Q_j，作为第三概率值，其中，i＝1,2…,14，j＝1,2…,14，且i<j，取所有第三概率值P_i·Q_j中的最大值，即找到一组答案起始点在答案终止点之前，且第三概率值最大的组合，该组合对应的答案起始点和答案终止点之间的段落即为问题的答案。

基于与上述基于机器阅读理解的智能对话方法相同的发明构思，如图4所示，本发明实施例还提供了一种基于机器阅读理解的智能对话装置40，包括：

文本获取单元401，用于获取用户提出的问题与问题对应的文本；

预处理单元402，用于对问题和文本进行分词处理和向量化处理，得到问题中各个词对应的问题向量和文本中各个词对应的文本向量；

注意力计算单元403，用于将问题向量和文本向量输入注意力模型，得到第一向量和第二向量，第一向量用于指示问题对于注意到文本中任一词的影响度，第二向量用于指示文本对于生成问题的影响度；

答案定位单元404，用于根据第一向量和第二向量在文本中确定答案起始点和答案终止点，并将答案起始点和答案终止点之间的段落确定为问题的答案。

进一步地，文本获取单元401具体用于：获取用户提出的问题，在网络和/或数据库中搜索与问题对应的文本。

进一步地，如图5所示，预处理单元402包括：

分词子单元501，用于分别对问题和文本进行分词处理；

向量化子单元502，用于分别将问题和文本的分词结果输入向量化模型，得到问题中各个词对应的第一问题向量和文本中各个词对应的第一文本向量；

优化子单元503，用于利用双向循环神经网络更新第一问题向量和第一文本向量，得到第一问题向量对应的问题向量和第一文本向量对应的文本向量。

进一步地，如图6所示，预处理单元中还包括过滤子单元504，过滤子单元用于去除文本的分词结果和问题的分词结果中的标点符号。

进一步地，注意力计算单元403具体用于：

将问题向量和文本向量输入基于注意力机制的第一神经网络，得到注意力分配概率分布，注意力分配概率分布中的注意力值用于指示问题中任一词对于注意到文本中任一词的影响度；

以文本中各个词对应的注意力值作为权重，对问题向量进行加权平均，得到文本中各个词对应的第一向量；

从文本中各个词对应的注意力值中取最大值，将对文本中各个词对应的最大值进行归一化，以归一化后的最大值作为权重，对文本向量进行加权平均，得到第二向量。

进一步地，答案定位单元404具体用于：

将第一向量和第二向量输入第二神经网络，得到文本中各个词作为答案起始点的第一概率值；

将第一向量、第二向量和第一概率值输入第三神经网络，得到文本中各个词作为答案终止点的第二概率值；

根据第一概率值和第二概率值，计算文本中各个词之间的段落作为答案的第三概率值，取最大的第三概率值对应的段落作为问题的答案。

其中，第二神经网络和第三神经网络均为双向LSTM时间递归神经网络。

本实施例的基于机器阅读理解的智能对话装置与基于机器阅读理解的智能对话方法采用相同的发明构思，能够取得相同的技术效果，在此不再赘述。

基于与上述基于机器阅读理解的智能对话方法相同的发明构思，本发明实施例还提供了一种基于机器阅读理解的智能对话终端，其包括：一个或多个处理器；存储器；一个或多个应用程序，其中一个或多个应用程序被存储在存储器中并被配置为由一个或多个处理器执行，一个或多个程序配置用于：执行上述任一实施例中的基于机器阅读理解的智能对话方法。

图7为一个实施例中基于机器阅读理解的智能对话终端的内部结构示意图。如图7所示，该终端包括通过***总线连接的处理器、非易失性存储介质、存储器和网络接口。其中，该计算机设备的非易失性存储介质存储有操作***、数据库和计算机可读指令，数据库中可存储有控件信息序列，该计算机可读指令被处理器执行时，可使得处理器实现一种基于机器阅读理解的智能对话方法。该计算机设备的处理器用于提供计算和控制能力，支撑整个计算机设备的运行。该计算机设备的存储器中可存储有计算机可读指令，该计算机可读指令被处理器执行时，可使得处理器执行一种基于机器阅读理解的智能对话方法。该计算机设备的网络接口用于与终端连接通信。本领域技术人员可以理解，图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

本实施例提供的基于机器阅读理解的智能对话终端，采用了与上述基于机器阅读理解的智能对话方法相同的发明构思，具有相同的有益效果，在此不再赘述。

基于与上述基于机器阅读理解的智能对话方法相同的发明构思，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现上述任一实施例的基于机器阅读理解的智能对话方法。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。

应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

以上仅是本发明的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种基于机器阅读理解的智能对话方法，其特征在于，包括如下步骤：

获取用户提出的问题与所述问题对应的文本；

对所述问题和所述文本进行分词处理和向量化处理，得到所述问题中各个词对应的问题向量和所述文本中各个词对应的文本向量；

将所述问题向量和所述文本向量输入注意力模型，得到第一向量和第二向量，所述第一向量用于指示所述问题对于注意到所述文本中任一词的影响度，所述第二向量用于指示所述文本对于生成所述问题的影响度；

根据所述第一向量和所述第二向量在所述文本中确定答案起始点和答案终止点，并将所述答案起始点和所述答案终止点之间的段落确定为所述问题的答案。

2.根据权利要求1所述的方法，其特征在于，所述获取用户提出的问题与所述问题对应的文本，包括：

获取用户提出的问题，在网络和/或数据库中搜索与所述问题对应的文本。

3.根据权利要求1所述的方法，其特征在于，所述对所述问题和所述文本进行分词处理和向量化处理，得到所述问题中各个词对应的问题向量和所述文本中各个词对应的文本向量，包括：

分别对所述问题和所述文本进行分词处理；

分别将所述问题和所述文本的分词结果输入向量化模型，得到所述问题中各个词对应的第一问题向量和所述文本中各个词对应的第一文本向量；

利用双向循环神经网络更新所述第一问题向量和所述第一文本向量，得到所述第一问题向量对应的问题向量和所述第一文本向量对应的文本向量。

4.根据权利要求3所述的方法，其特征在于，所述分别将所述问题和所述文本的分词结果输入向量化模型之前，所述方法还包括：

去除所述文本的分词结果和所述问题的分词结果中的标点符号。

5.根据权利要求1所述的方法，其特征在于，所述将所述问题向量和所述文本向量输入注意力模型，得到第一向量和第二向量，包括：

将所述问题向量和所述文本向量输入基于注意力机制的第一神经网络，得到注意力分配概率分布，所述注意力分配概率分布中的注意力值用于指示所述问题中任一词对于注意到所述文本中任一词的影响度；

以所述文本中各个词对应的注意力值作为权重，对所述问题向量进行加权平均，得到所述文本中各个词对应的第一向量；

从所述文本中各个词对应的注意力值中取最大值，将对所述文本中各个词对应的最大值进行归一化，以归一化后的最大值作为权重，对所述文本向量进行加权平均，得到第二向量。

6.根据权利要求1所述的方法，其特征在于，所述根据所述第一向量和所述第二向量在所述文本中确定答案起始点和答案终止点，并将所述答案起始点和所述答案终止点之间的段落确定为所述问题的答案，包括：

将所述第一向量和所述第二向量输入第二神经网络，得到所述文本中各个词作为答案起始点的第一概率值；

将所述第一向量、所述第二向量和所述第一概率值输入第三神经网络，得到所述文本中各个词作为答案终止点的第二概率值；

根据所述第一概率值和所述第二概率值，计算所述文本中各个词之间的段落作为答案的第三概率值，取最大的第三概率值对应的段落作为所述问题的答案。

7.根据权利要求6所述的方法，其特征在于，所述第二神经网络和所述第三神经网络均为双向LSTM时间递归神经网络。

8.一种基于机器阅读理解的智能对话装置，其特征在于，包括：

文本获取单元，用于获取用户提出的问题与所述问题对应的文本；

预处理单元，用于对所述问题和所述文本进行分词处理和向量化处理，得到所述问题中各个词对应的问题向量和所述文本中各个词对应的文本向量；

注意力计算单元，用于将所述问题向量和所述文本向量输入注意力模型，得到第一向量和第二向量，所述第一向量用于指示所述问题对于注意到所述文本中任一词的影响度，所述第二向量用于指示所述文本对于生成所述问题的影响度；

答案定位单元，用于根据所述第一向量和所述第二向量在所述文本中确定答案起始点和答案终止点，并将所述答案起始点和所述答案终止点之间的段落确定为所述问题的答案。

9.一种基于机器阅读理解的智能对话终端，其特征在于，其包括：

一个或多个处理器；

存储器；

一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于：执行根据权利要求1至7任一项所述的方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1至7任一项所述的方法。