CN110909133B - 一种智能问答的测试方法、装置、电子设备及存储介质 - Google Patents

Abstract

本发明公开了一种智能问答的测试方法、装置、电子设备及存储介质，其中，方法包括：将预设的测试问句发送至智能问答***以进行智能问答***的反馈正确性检测，得到反馈结果；将反馈结果与期望结果进行匹配分析，得到测试问句的测试结果；基于每个测试问句的测试结果统计测试数据的正确率，并依据正确率调整智能问答***；本发明的方法、装置、电子设备及存储介质，通过自动发送该预设测试问句至智能问答***，然后通过该预设的期望结果对智能问答***的反馈结果进行匹配分析，确定智能问答***针对该测试问句的反馈是否正确及智能问答***反馈的正确率；并依据该正确率确定是否对该智能问答***进行调整，以来提升智能问答***的项目质量。

Description

一种智能问答的测试方法、装置、电子设备及存储介质

技术领域

本发明涉及计算机领域，尤其涉及一种智能问答的测试方法、装置、电子设备及存储介质。

背景技术

聊天机器人可用于实用的目的，如客户服务或资讯获取。有些聊天机器人会搭载自然语言处理***，但大多简单的***只会撷取输入的关键字，再从数据库中找寻最合适的应答句。目前，聊天机器人是虚拟助理(如Google智能助理)的一部分，可以与许多组织的应用程序、网站以及即时消息平台(Facebook Messenger)连接，如：客服机器人。非助理应用程序包括娱乐目的的聊天室，研究和特定产品促销，如：社交机器人。

此外，为保证聊天机器人与用户之间的交互可以更加顺利，还需要对聊天机器人反馈给用户的输出结果的准确性进行测试。但是，在现有技术中，是通过人工向聊天机器人输入测试问句，并人工对聊天机器人反馈的输出结果是否正确、及该测试问句是否正确进行分析，而这导致测试过程十分繁杂耗时。

发明内容

本发明的主要目的在于提出一种智能问答的测试方法、装置、电子设备及存储介质，其克服了现有技术中因通过人工进行测试而导致测试过程十分繁杂耗时的问题。

根据本发明的一个方面，提供了一种智能问答的测试方法，该方法包括：预设测试数据，测试数据包括测试问句和期望结果；将每个测试问句发送至智能问答***以进行智能问答***的反馈正确性检测，得到反馈结果；将反馈结果与期望结果进行匹配分析，得到测试问句的测试结果；基于每个测试问句的测试结果统计测试数据的正确率，当正确率小于预设正确率时，根据测试结果调整智能问答***。

可选的，智能问答***包括前端知识库，前端知识库为本地数据库，反馈正确性检测包括：基于测试问句，查询前端知识库中是否有预设结果；当在前端知识库中查询到预设结果时，确定反馈结果包括预设结果及用于表征预设结果来自前端知识库的前端类型标识；期望结果包括：与测试问句对应的预存前端标识；匹配分析包括：判断预存前端标识与前端类型标识是否相同，当相同时，则测试结果表征为智能问答***响应测试问句的反馈正确；否则，测试结果表征为智能问答***响应测试问句的反馈错误。

可选的，智能问答***还包括问答知识库；若未在前端知识库中查询到预设结果，反馈正确性检测还包括：基于测试问句，查询问答知识库中是否有预设结果；当在问答知识库中查询到预设结果时，确定反馈结果包括该预设结果，而且，期望结果包括：与测试问句对应的预存结果。

可选的，预设结果包括以下一种或多种：标准问答句、至少两种标准问句、或操作指令，其中，标准问答句包括：相互对应的标准问句及标准结果；当预设结果为标准问答句时，匹配分析包括：判断标准问答句是否与预存结果中的标准问答句相同，若是，则测试结果表征为智能问答***响应测试问句的反馈正确；否则，测试结果表征为智能问答***响应测试问句的反馈错误；当预设结果为至少两种标准问句时，匹配分析包括：判断至少两种标准问句是否包括预存结果中测试问句表征的预存标准问句，若是，则测试结果表征为智能问答***响应测试问句的反馈正确；否则，测试结果表征为智能问答***响应测试问句的反馈错误；当预设结果为操作指令时，匹配分析包括：判断预设结果是否是预存结果中操作指令的响应结果，若是，则测试结果表征为智能问答***响应测试问句的反馈正确；否则，测试结果表征为智能问答***响应测试问句的反馈错误。

可选的，智能问答***还包括聊天知识库，聊天知识库为网络数据库；若未在问答知识库中查询到预设结果，反馈正确性检测还包括：基于测试问句，查询聊天知识库中是否有预设结果；当在聊天知识库中查询到预设结果时，确定反馈结果包括该预设结果及用于表征预设结果来自聊天知识库的聊天类型标识；而且，期望结果包括：与测试问句对应的预存聊天类型标识；匹配分析包括：判断预存聊天标识是否与聊天类型标识相同，若是，则测试结果表征为智能问答***响应测试问句的反馈正确；否则，测试结果表征为智能问答***响应测试问句的反馈错误。

可选的，基于每个测试问句的测试结果统计测试数据的正确率，包括：对已被智能问答***正确反馈的测试问句的数量、及所发送的测试问句的总数量进行统计；基于已被智能问答***正确反馈的测试问句的数量、及所发送的测试问句的总数量，确定测试数据的正确率。

可选的，根据测试结果调整智能问答***，包括：将测试问句存储至智能问答***的标准问句反馈数据库，其中，标准问句反馈数据库用于存储标准问句。

根据本发明的第二个方面，提供了一种智能问答的测试装置，该装置包括：预设模块，用于预设测试数据，测试数据包括测试问句和期望结果；发送模块，用于将每个测试问句发送至智能问答***以进行智能问答***的反馈正确性检测，得到反馈结果；分析模块，用于将反馈结果与期望结果进行匹配分析，得到测试问句的测试结果；调整模块，用于基于每个测试问句的测试结果统计测试数据的正确率，当正确率小于预设正确率时，根据测试结果调整智能问答***。

可选的，智能问答***包括前端知识库，前端知识库为本地数据库，发送模块包括：前端查询单元，用于基于测试问句，查询前端知识库中是否有预设结果；前端确定单元，用于在前端知识库中查询到预设结果时，确定反馈结果包括预设结果及用于表征预设结果来自前端知识库的前端类型标识；期望结果包括：与测试问句对应的预存前端标识；分析模块具体用于：判断预存前端标识与前端类型标识是否相同，当相同时，则测试结果表征为智能问答***响应测试问句的反馈正确；否则，测试结果表征为智能问答***响应测试问句的反馈错误。

可选的，智能问答***还包括问答知识库；若未在前端知识库中查询到预设结果，发送模块还包括：问答查询单元，用于基于测试问句，查询问答知识库中是否有预设结果；问答确定单元，用于当在问答知识库中查询到预设结果时，确定反馈结果包括该预设结果，而且，期望结果包括：与测试问句对应的预存结果。

可选的，预设结果包括以下一种或多种：标准问答句、至少两种标准问句、或操作指令，其中，标准问答句包括：相互对应的标准问句及标准结果；当预设结果为标准问答句时，分析模块具体用于：判断标准问答句是否与预存结果中的标准问答句相同，若是，则测试结果表征为智能问答***响应测试问句的反馈正确；否则，测试结果表征为智能问答***响应测试问句的反馈错误；当预设结果为至少两种标准问句时，分析模块具体用于：判断至少两种标准问句是否包括预存结果中测试问句表征的预存标准问句，若是，则测试结果表征为智能问答***响应测试问句的反馈正确；否则，测试结果表征为智能问答***响应测试问句的反馈错误；当预设结果为操作指令时，分析模块具体用于：判断预设结果是否是预存结果中操作指令的响应结果，若是，则测试结果表征为智能问答***响应测试问句的反馈正确；否则，测试结果表征为智能问答***响应测试问句的反馈错误。

可选的，智能问答***还包括聊天知识库，聊天知识库为网络数据库；若未在问答知识库中查询到预设结果，发送模块还包括：聊天查询单元，用于基于测试问句，查询聊天知识库中是否有预设结果；聊天确定单元，用于当在聊天知识库中查询到预设结果时，确定反馈结果包括该预设结果及用于表征预设结果来自聊天知识库的聊天类型标识；而且，期望结果包括：与测试问句对应的预存聊天类型标识；分析模块具体用于：判断预存聊天标识是否与聊天类型标识相同，若是，则测试结果表征为智能问答***响应测试问句的反馈正确；否则，测试结果表征为智能问答***响应测试问句的反馈错误。

可选的，调整模块包括：统计单元，用于对已被智能问答***正确反馈的测试问句的数量、及所发送的测试问句的总数量进行统计；正确率计算单元，用于基于已被智能问答***正确反馈的测试问句的数量、及所发送的测试问句的总数量，确定测试数据的正确率。

可选的，调整模块还包括：存储单元，用于将测试问句存储至智能问答***的标准问句反馈数据库，其中，标准问句反馈数据库用于存储标准问句。

根据本发明的第三个方面，提供了一种电子设备，包括处理器和存储器；

存储器用于存储计算机指令，处理器用于运行存储器存储的计算机指令，以实现上述的一种智能问答的测试方法。

根据本发明的第四个方面，提供了一种计算机可读存储介质，计算机可读存储介质存储有一个或者多个程序，一个或者多个程序可被一个或者多个处理器执行，以实现上述的一种智能问答的测试方法。

本发明有益效果如下：通过先预设测试问句及对应的期望结果，接着自动发送该预设测试问句至智能问答***，然后通过该预设的期望结果对智能问答***的反馈结果进行匹配分析，确定智能问答***针对该测试问句的反馈是否正确，并且还可据此得到智能问答***针对该测试问句的反馈的正确率；并依据该正确率确定是否对该智能问答***进行调整，以此来提升智能问答***的问答准确率。

附图说明

图1为本发明第一实施例一种智能问答的测试方法的流程框图；

图2为本发明第二实施例一种智能问答的测试方法的流程框图；

图3为本发明第三实施例一种智能问答的测试方法的流程框图；

图4为本发明第四实施例一种智能问答的测试方法的流程框图；

图5为本发明第五实施例一种智能问答的测试方法的流程示意图；

图6为本发明第五实施例一种智能问答的测试装置的结构示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时处理可以被终止，但是还可以具有未包括在附图中的附加步骤。处理可以对应于方法、函数、规程、子例程、子程序等等。

在上下文中所称“电子设备”，也称为“电脑”，是指可以通过运行预定程序或指令来执行数值计算和/或逻辑计算等预定处理过程的智能电子设备，其可以包括处理器与存储器，由处理器执行在存储器中预存的存续指令来执行预定处理过程，或是由ASIC、FPGA、DSP等硬件执行预定处理过程，或是由上述二者组合来实现。电子设备包括但不限于服务器、个人电脑、笔记本电脑、平板电脑、智能手机等。

所述电子设备包括用户设备与网络设备。其中，所述用户设备包括但不限于电脑、智能手机、PDA等；所述网络设备包括但不限于单个网络服务器、多个网络服务器组成的服务器组或基于云计算(CloudComputing)的由大量计算机或网络服务器构成的云，其中，云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个超级虚拟计算机。其中，所述电子设备可单独运行来实现本发明，也可接入网络并通过与网络中的其他计算机设备的交互操作来实现本发明。其中，所述电子设备所处的网络包括但不限于互联网、广域网、城域网、局域网、VPN网络等。

需要说明的是，所述用户设备、网络设备和网络等仅为举例，其他现有的或今后可能出现的电子设备或网络如可适用于本发明，也应包含在本发明保护范围以内，并以引用方式包含于此。

后面所讨论的方法(其中一些通过流程图示出)可以通过硬件、软件、固件、中间件、微代码、硬件描述语言或者其任意组合来实施。当用软件、固件、中间件或微代码来实施时，用以实施必要任务的程序代码或代码段可以被存储在机器或计算机可读介质(比如存储介质)中。(一个或多个)处理器可以实施必要的任务。

这里所公开的具体结构和功能细节仅仅是代表性的，并且是用于描述本发明的示例性实施例的目的。但是本发明可以通过许多替换形式来具体实现，并且不应当被解释成仅仅受限于这里所阐述的实施例。

应当理解的是，虽然在这里可能使用了术语“第一”、“第二”等等来描述各个单元，但是这些单元不应当受这些术语限制。使用这些术语仅仅是为了将一个单元与另一个单元进行区分。举例来说，在不背离示例性实施例的范围的情况下，第一单元可以被称为第二单元，并且类似地第二单元可以被称为第一单元。这里所使用的术语“和/或”包括其中一个或更多所列出的相关联项目的任意和所有组合。

应当理解的是，当一个单元被称为“连接”或“耦合”到另一单元时，其可以直接连接或耦合到所述另一单元，或者可以存在中间单元。与此相对，当一个单元被称为“直接连接”或“直接耦合”到另一单元时，则不存在中间单元。应当按照类似的方式来解释被用于描述单元之间的关系的其他词语(例如“处于...之间”相比于“直接处于...之间”，“与...邻近”相比于“与...直接邻近”等等)。

这里所使用的术语仅仅是为了描述具体实施例而不意图限制示例性实施例。除非上下文明确地另有所指，否则这里所使用的单数形式“一个”、“一项”还意图包括复数。还应当理解的是，这里所使用的术语“包括”和/或“包含”规定所陈述的特征、整数、步骤、操作、单元和/或组件的存在，而不排除存在或添加一个或更多其他特征、整数、步骤、操作、单元、组件和/或其组合。

还应当提到的是，在一些替换实现方式中，所提到的功能/动作可以按照不同于附图中标示的顺序发生。举例来说，取决于所涉及的功能/动作，相继示出的两幅图实际上可以基本上同时执行或者有时可以按照相反的顺序来执行。

为了便于理解本发明实施例，下面通过几个具体实施例对本发明的实施过程进行详细的阐述。

图1为本发明第一实施例一种智能问答的测试方法的流程框图。根据图1所示，本发明第一实施例提供的一种智能问答的测试方法，包括：

S11:预设测试数据，测试数据包括测试问句和期望结果。

S12:将每个测试问句发送至智能问答***以进行智能问答***的反馈正确性检测，得到反馈结果。

S13:将反馈结果与期望结果进行匹配分析，得到测试问句的测试结果。

S14:基于每个测试问句的测试结果统计测试数据的正确率，当正确率小于预设正确率时，根据测试结果调整智能问答***。

就此，通过先预设测试问句及对应的期望结果，接着自动发送该预设测试问句至智能问答***，然后通过该预设的期望结果对智能问答***的反馈结果进行匹配分析，确定智能问答***针对该测试问句的反馈是否正确，并且还可据此得到智能问答***针对该测试问句的反馈的正确率；并依据该正确率确定是否对该智能问答***进行调整，来提升智能问答***的问答准确率。

具体的，本发明第一实施例提供的一种智能问答的测试方法，包括：

S11:预设测试数据，测试数据包括测试问句和期望结果。

具体的，在本实施例中，测试问句为模拟用户提出的任意查询信息。期望结果为智能问答***在收到并响应该测试问句以输出的对应正确结果。

其中，该测试问句包括但不限于：任意问题信息、任意指令信息。而且，在本实施例中，并不对该测试问句的表达形式做出限定，如：表情符号、问句、文字符号、及操作指令。相应的，该期望结果包括但不限于：表情符号、答案、文字符号、及操作指令的响应结果。

而且，上述的智能问答***属于虚拟助理的一种，而且是一种经由对话、文字进行交谈、以及操作触发的计算机聊天***。

S12:将每个测试问句发送至智能问答***以进行智能问答***的反馈正确性检测，得到反馈结果。

在本实施例中，通过将该预设的测试问句发送至智能问答***，以供智能问答***查询自身的数据库中的对应的预设结果，从而得到智能问答***的反馈结果。

S13:将反馈结果与期望结果进行匹配分析，得到测试问句的测试结果。

在得到反馈结果后，将该反馈结果与预设的期望结果进行匹配分析，从而确定出对应的测试结果，该测试结果用于表征该智能问答***响应该测试问句的反馈结果是否正确。

S14:基于每个测试问句的测试结果统计测试数据的正确率，当正确率小于预设正确率时，根据测试结果调整智能问答***。

在确定出每个测试问句对应的测试结果后，就可以确定出对应的正确率。

针对该正确率的计算，本实施例提供的一种实现方式包括：

通过对已被智能问答***正确反馈的测试问句的数量、及所发送的测试问句的总数量进行统计；并基于已被智能问答***正确反馈的测试问句的数量、及所发送的测试问句的总数量，确定测试数据的正确率。

具体的，得到该正确率的计算方式包括但不限于：

已被智能问答***正确反馈的测试问句的数量/所发送的测试问句的总数量＝正确率。

而且，在本实施例中，在获知已被智能问答***正确反馈的测试问句的数量、及所发送的测试问句的总数量的情况下，并不对得到该正确率所需的计算方式、以及可能需要的参数进行限定，只需其满足本实施例的要求即可。

在得到该正确率后，在本实施例中，还需要依据该测试结果对该智能问答***进行调整，以提高该智能问答***响应测试问句的正确率。

具体的，将测试问句存储至智能问答***的标准问句反馈数据库，其中，标准问句反馈数据库用于存储标准问句。

就此，通过先预设测试问句及对应的期望结果，接着自动发送该预设测试问句至智能问答***，然后通过该预设的期望结果对智能问答***的反馈结果进行匹配分析，确定智能问答***针对该测试问句的反馈是否正确，并且还可据此得到智能问答***针对该测试问句的反馈的正确率；并依据该正确率确定是否对该智能问答***进行调整，来提升智能问答***的问答准确率。

图2为本发明第二实施例一种智能问答的测试方法的流程框图。根据图2所示，在第一实施例的基础上，针对上述步骤S12中的反馈正确性检测、及S13中的匹配分析，本实施例的一种实现方式包括以下步骤：

S22:将每个测试问句发送至智能问答***，并基于测试问句，查询前端知识库中是否有预设结果。

其中，智能问答***包括前端知识库。该前端知识库中存储有以下一种或多种内容：表情符号、文字符号等信息，若测试问句为表情符号、或文字符号，则基于测试问句，直接查询该前端知识库中是否有预设结果。

可选的，该前端知识库预先缓存于装载该智能问答***的终端。

S23:当查询到预设结果时，获得对应的反馈结果，其中，该反馈结果包括预设结果及用于表征预设结果来自前端知识库的前端类型标识。

S24:判断预存前端标识与前端类型标识是否相同；当相同时，执行步骤S25,否则，执行步骤S26。

其中，该预存前端标识与测试问句一一对应。此外，该前端类型标识用于表征智能问答***响应该测试问句的反馈属于“前端回复”类别。

S25:确定智能问答***响应测试问句的反馈正确。

具体的，可以获得相应的测试结果，且上述的测试结果表征为智能问答***响应测试问句的反馈正确。

S26:确定智能问答***响应测试问句的反馈错误。

具体的，可以获得相应的测试结果，且上述的测试结果表征为智能问答***响应测试问句的反馈错误；

如：若测试问句是表征“微笑”表情符号，则在本地查询该前端知识库中是否有与该表情符号对应的预设结果，在此情况下，若查询到相同的“微笑”表情符号，则反馈查询到的“微笑”表情符号以及对应的前端类型标识。若该反馈的前端类型标识与该测试问句对应的预存前端标识相同，则确定智能问答***响应测试问句的反馈正确，否则，确定智能问答***响应测试问句的反馈错误。

在本实施例的另一实现方式下，在确定出反馈结果中包括该前端类型标识的情况下，可直接确定出智能问答***响应测试问句的反馈错误。

就此，可以进一步的确定出智能问答***中至少包括缓存于装载该智能问答***的终端的前端知识库，其中，该前端知识库中存储有以下一种或多种内容：表情符号、文字符号等信息。此外，根据该前端类型标识，即可确定出智能问答***在响应该测试问句时没有经过智能引擎，而是直接由前端功能做出回复；而且，还可以直接通过前端类型标识确定出该测试问句对应的反馈结果是否正确，从而，可以加快智能问答***的回复速率，同时，也可据此增加测试效率。

图3为本发明第三实施例一种智能问答的测试方法的流程框图。根据图3所示，在第二实施例的基础上，针对上述步骤S12中的反馈正确性检测、及S13中的匹配分析，本实施例包括以下步骤：

其中，智能问答***还包括问答知识库。

其中，该问答知识库中存储有以下一种或多种内容：标准问答句、至少两种标准问句、或操作指令，其中，标准问答句包括：相互对应的标准问句及标准结果。

可选的，该问答知识库为网络数据库，当然，该问答知识库也可预先缓存于装载该智能问答***的终端。

该前端知识库的优先级大于问答知识库的优先级。

此外，在本实施例中，并不对标准问句、测试问句的具体表达形式做出限定，其可以是文字，也可以图片等其他形式，只需表达的含义相同，即可将视为同一问句。而且，预设结果及标准结果亦然。

如：“杯盖的价格是多少？”及“杯盖卖多少钱？”即可视为相同。

在基于测试问句且未在前端知识库中查询到预设结果的情况下，本实施例的一种实现方式包括：

S32:基于测试问句，查询问答知识库中是否有预设结果；

S33：当查询到预设结果时，确定反馈结果包括该预设结果；

S34：确定该预设结果的种类；当确定预设结果为标准问答句时，执行步骤S35；

S35:判断标准问答句是否与预存结果中的标准问答句相同，若是，则测试结果表征为智能问答***响应测试问句的反馈正确；否则，测试结果表征为智能问答***响应测试问句的反馈错误；

因为标准问答句包括：相互对应的标准问句及标准结果。所以，该步骤S35的具体含义包括：

判断预设结果中的标准问句及标准结果是否分别与预存结果中的标准问句及标准结果相同，若是，则测试结果表征为智能问答***响应测试问句的反馈正确；否则，测试结果表征为智能问答***响应测试问句的反馈错误；

如：若测试问句为“杯盖多少钱？”，该预存结果中与测试问句对应的标准问句为“杯盖的价格是多少？”，而且，该预存结果中与测试问句对应的标准结果为“25元”。在此情况下，如果预设结果中的标准问答句的标准问句及标准结果也分别是“杯盖的价格是多少？”及“25元”，则可以确定该测试结果表征为智能问答***响应测试问句的反馈正确。但是，如果预设结果中的标准问答句的标准问句为“杯子的价格是多少？”，或，预设结果中的标准结果为“35元”，则可以确定该测试结果表征为智能问答***响应测试问句的反馈正错误。

当然，在本实施例中，该反馈结果中也包括对应的标识，该标识用于表征智能问答***响应该测试问句的反馈属于“标准答案”类别。

当然，在另一实施例中，当预设结果为至少两种标准问句时，执行步骤S36；

S36:判断至少两种标准问句是否包括预存结果中测试问句表征的预存标准问句，若是，则测试结果表征为智能问答***响应测试问句的反馈正确；否则，测试结果表征为智能问答***响应测试问句的反馈错误；

如：若预存结果中测试问句表征的预存标准问句为“杯盖的价格是多少？”,而测试问句为“杯盖多少钱？”，预设结果包括的至少两种标准问句为“杯盖的价格是多少？”、及“杯盖卖多少钱？”。当将该测试问句输入智能问答***后，在通过智能问答***未能识别出该测试问句的准确含义的情况下，就会得到该预设结果-“杯盖的价格是多少？”、及“杯盖卖多少钱？”，此时，该预设结果包含有该预存结果中测试问句表征的预存标准问句，所以，可以确定得到的测试结果表征为智能问答***响应测试问句的反馈正确。当然，如果该预设结果不包括该预存结果中测试问句表征的预存标准问句，则可以确定该测试结果表征为智能问答***响应测试问句的反馈错误。

当然，在本实施例中，该反馈结果中也包括对应的标识，该标识用于表征智能问答***响应该测试问句的反馈属于“建议问”类别。

当然，在另一实施例中，当预设结果为操作指令时，执行步骤S37；

S37:判断预设结果是否是预存结果中操作指令的响应结果，若是，则测试结果表征为智能问答***响应测试问句的反馈正确；否则，测试结果表征为智能问答***响应测试问句的反馈错误。

具体的，当智能问答***接收到操作指令时，先依次查询前端知识库，若未在该前端知识库中查找到对应的目标指令，则在问答知识库中查找对应的目标指令，若找到，智能问答***发送相应的操作指令给相应的指令执行主体，以指示该执行主体执行预设操作。

如：智能问答***接收到“查询余额”指令，智能问答***先查询前端知识库，若未查找到对应的余额查询指令，则在问答知识库中查找对应的余额查询指令；若在问答知识库中查找到对应的余额查询指令，智能问答***发送相应的余额查询操作指令至余额***以查询余额，并反馈及显示该余额，此时，可以确定测试结果表征为智能问答***响应测试问句的反馈正确；否则，反馈失败提示信息，此时，可以确定测试结果表征为智能问答***响应测试问句的反馈错误。

当然，在本实施例中，该反馈结果中也包括对应的标识，该标识用于表征智能问答***响应该测试问句的反馈属于“指令”类别。

就此，可以进一步的确定出智能问答***中至少包括前端知识库及问答知识库，其中，该问答知识库中存储有以下一种或多种内容：标准问答句、至少两种标准问句、或操作指令。而且，可以进一步对智能问答***中的多种反馈结果是否正确进行测试，当然，也可可以加快智能问答***的回复速率，同时，也可据此增加测试效率。

图4为本发明第四实施例一种智能问答的测试方法的流程框图。根据图4所示，在第三实施例的基础上，针对上述步骤S12中的反馈正确性检测、及S13中的匹配分析，本实施例包括以下步骤：

其中，智能问答***还包括聊天知识库。

其中，该聊天知识库中存储了备用答案，该备用***括以下一种或多种内容：表情符号、文字符号等信息，若测试问句为表情符号、文字符号。在智能问答***未在问答知识库中查询到预设结果的情况下，则基于测试问句，直接查询该聊天知识库中是否有预设结果。而且，该聊天知识库为网络数据库。

该前端知识库的优先级大于问答知识库的优先级，该问答知识库的优先级大于聊天知识库的优先级。

具体的，本实施例的一种实现方式包括：

S42:基于测试问句，查询聊天知识库中是否有预设结果；

S43:当在聊天知识库中查询到预设结果时，得到反馈结果，该反馈结果包括该预设结果及用于表征预设结果来自聊天知识库的聊天类型标识；

S44：判断预存聊天标识是否与聊天类型标识相同，若是，执行步骤S45；否则，执行步骤S46；

S45：确定智能问答***响应测试问句的反馈正确；

具体的，则上述的测试结果表征为智能问答***响应测试问句的反馈正确；

S46：确定智能问答***响应测试问句的反馈错误。

具体的，则上述的测试结果表征为智能问答***响应测试问句的反馈错误。

当然，在本实施例中，该聊天类型标识用于表征智能问答***响应该测试问句的反馈属于“聊天”类别。

如：若测试问句是表征“微笑”表情符号，在前端知识库及问答知识库中均为查找到对应的类型标识的情况下，则再查询该网络数据库-聊天知识库中是否有与该表情符号对应的预设结果，在此情况下，若查询到相同的“微笑”表情符号，则反馈查询到的“微笑”表情符号以及对应的聊天类型标识。若该反馈的聊天类型标识与该测试问句对应的预存聊天标识相同，则确定智能问答***响应测试问句的反馈正确，否则，确定智能问答***响应测试问句的反馈错误。

在本实施例的另一实现方式下，若确定出反馈结果中包括该聊天类型标识的情况下，可直接确定出智能问答***响应测试问句的反馈错误。

此外，在另一实施例中，如果在聊天知识库中也未查找到预设结果，在此情况下，反馈结果包括：用于表征基于该测试问句也未能在智能问答***中查询到对应的预设结果的“无回复”标识，通过该“无回复”标识可直接确定出智能问答***响应测试问句的反馈错误。

就此，可以进一步的确定出智能问答***中至少包括前端知识库、问答知识库、及作为网络数据库的聊天知识库，其中，该聊天知识库中存储的备用***括以下一种或多种内容：表情符号、文字符号等信息。此外，根据该聊天类型标识，即可确定出智能问答***在响应该测试问句时未在前端知识库及问答知识库中查询到对应的预设结果，而且，还可以直接通过该聊天类型标识确定出该测试问句对应的反馈结果是否正确，从而，可以加快智能问答***的回复速率，同时，也可据此增加测试效率。

为了更好说明本实施例方法的实施过程，下面结合一个具体应用示例，对本实施例方法进行说明。

图5为本发明第五实施例一种智能问答的测试方法的流程示意图。根据图5所示，本发明第五实施例提供了一种智能问答的测试方法，该方法可应用在人工智能软件产品领域中。

此外，本实施例中设计的智能机器人包括：前端知识库、问答知识库、及聊天知识库，而且，前端知识库的优先级大于问答知识库的优先级，该问答知识库的优先级大于聊天知识库的优先级。

在本实施例中，以该测试工具为上述测试终端为例对本实施例的技术方案进行阐述：

具体的，需要先预设测试问数据，如：通过预先准备好测试数据导入工具将该测试问数据导入对应数据库。其中，该测试问数据包括但不限于：测试问句、与测试问句对应的期待标准问题、期望答案以及对应的平台信息，其中，借助该导入的平台信息，可以确定装载运行该智能问答***的平台，如：该平台可为：如：qq、weixin、网页，保证了测试问句与平台的对应。

其中，该测试问数据相当于第一至四实施例中的测试数据，该期望答案相当于第一至四实施例中的期望结果。此外，在本实施例中是通过知识内容在线分析模块进行相应的分析，当然，也需要配置测试环境(接口、时间等)、以及语义匹配结果的分析模块。

接着，按照设置的时间开启准确性检测机制，在开启后，将测试问句发送至智能机器人，其中，该智能机器人相当于第一至四实施例中的智能问答***。智能机器人在收到测试问句后，需要依据该测试问句查询前端知识库中是否有预设结果。其中，该前端数据库为本地数据库。当查询到预设结果时，存储表征该预设结果的数据，智能机器人反馈该预设结果及用于表征预设结果来自前端知识库的前端类型标识。其中，该前端类型标识用于表征智能问答***响应该测试问句的反馈属于“前端回复”类别。

在检测到收到的反馈中包括该前端类型标识的情况下，即可确定该智能机器人的反馈错误。

当然，如果未在前端知识库查询到预设结果时，则基于测试问句，通过智能引擎查询问答知识库中是否有预设结果，在查询到预设结果的情况下，则反馈该预设结果。接着判断预设结果是否是与预先导入的期望答案相同的期望答案，若是，则测试结果表征为智能机器人响应测试问句的反馈正确；否则，测试结果表征为智能机器人响应测试问句的反馈错误。

当然，在本实施例中，该反馈结果中也包括对应的标识，该标识用于表征该智能机器人响应该测试问句的反馈属于“标准答案”类别。

此外，在接收到预设结果后，若检测出该预设结果为至少两种标准问句，此时，若确定该至少两种标准问句中包括有该测试问句表征的预存标准问句，则测试结果表征为智能机器人响应测试问句的反馈正确；否则，测试结果表征为智能机器人响应测试问句的反馈错误。

当然，在本实施例中，该反馈结果中也包括对应的标识，该标识用于表征智能问答***响应该测试问句的反馈属于“建议问”类别。

此外，在接收到预设结果后，若检测出预设结果为操作指令的响应结果时，在确定该响应结果正确的情况下，则测试结果表征为智能机器人响应测试问句的反馈正确；否则，测试结果表征为智能机器人响应测试问句的反馈错误。

当然，在本实施例中，该反馈结果中也包括对应的标识，该标识用于表征智能问答***响应该测试问句的反馈属于“指令”类别。

当然，如果未查询到预设结果时，则基于测试问句，查询聊天知识库中是否有预设结果；当在聊天知识库中查询到预设结果时，存储表征该预设结果的数据，智能机器人反馈该预设结果及用于表征预设结果来自聊天知识库的聊天类型标识。其中，该前端类型标识用于表征智能机器人响应该测试问句的反馈属于“聊天”类别。

此外，在检测到收到的反馈中包括该聊天类型标识的情况下，即可确定该智能机器人的反馈错误。

如果在聊天知识库中也未查找到预设结果，在此情况下，反馈结果包括：用于表征基于该测试问句也未能在智能问答***中查询到对应的预设结果的“无回复”标识，通过该“无回复”标识可直接确定出智能问答***响应测试问句的反馈错误。

在确定出各个测试问句对应的反馈是否确定后，对已被智能机器人正确反馈的测试问句的数量、及所发送的测试问句的总数量进行统计；基于已被智能机器人正确反馈的测试问句的数量、及所发送的测试问句的总数量，确定测试数据的正确率。

在确定出正确率后，可以依据该正确率对智能机器人的数据库进行优化调整，如：将测试问句存储至智能机器人的机器人内容数据库，其中，该机器人内容数据库相当于第一至三实施例中的标准问句反馈数据库，其中，标准问句反馈数据库用于存储标准问句。

此外，在本实施例中还可进行以下优化调整，以使得优化完成，且前端生效：

1、将测试问句归纳总结，且在机器人后台的对应期望标准问下添加模板；

2、通过创建新的知识点，如：增加测试问句、与测试问句对应的期待标准问题、期望答案、对应的平台(如：qq、weixin、网页)、维度、分类；

3、忽略修改，标记为忽略，表示无需添加或做对应修改。

此外，在经过上述优化调整后，如果效果仍不理想时，工程师可以通过修改正确性阈值来查看准确率的变化，直到测试样例的准确率达到一个可以接受的范围。

就此，通过先预设测试问句及对应的期望结果，接着自动发送该预设测试问句至智能机器人，然后通过该预设的期望结果对智能机器人的反馈结果进行匹配分析，确定智能机器人针对该测试问句的反馈是否正确，并且还可据此得到智能机器人针对该测试问句的反馈的正确率；并依据该正确率确定是否对该智能机器人进行调整，以此来提升智能机器人的问答准确率。

图6为本发明第五实施例一种智能问答的测试装置的流程框图。根据图5所示，本发明第五实施例提供了了一种智能问答的测试装置，该装置包括：

预设模块110，用于预设测试数据，测试数据包括测试问句和期望结果；发送模块120，用于将每个测试问句发送至智能问答***以进行智能问答***的反馈正确性检测，得到反馈结果；分析模块130，用于将反馈结果与期望结果进行匹配分析，得到测试问句的测试结果；调整模块140，用于基于每个测试问句的测试结果统计测试数据的正确率，当正确率小于预设正确率时，根据测试结果调整智能问答***。

可选的，智能问答***包括前端知识库，前端知识库为本地数据库，发送模块120包括：前端查询单元，用于基于测试问句，查询前端知识库中是否有预设结果；前端确定单元，用于在前端知识库中查询到预设结果时，确定反馈结果包括预设结果及用于表征预设结果来自前端知识库的前端类型标识；期望结果包括：与测试问句对应的预存前端标识；分析模块130具体用于：判断预存前端标识与前端类型标识是否相同，当相同时，则测试结果表征为智能问答***响应测试问句的反馈正确；否则，测试结果表征为智能问答***响应测试问句的反馈错误。

可选的，智能问答***还包括问答知识库；若未在前端知识库中查询到预设结果，发送模块120还包括：问答查询单元，用于基于测试问句，查询问答知识库中是否有预设结果；问答确定单元，用于当在问答知识库中查询到预设结果时，确定反馈结果包括该预设结果，而且，期望结果包括：与测试问句对应的预存结果。

可选的，预设结果包括以下一种或多种：标准问答句、至少两种标准问句、或操作指令，其中，标准问答句包括：相互对应的标准问句及标准结果；当预设结果为标准问答句时，分析模块130具体用于：判断标准问答句是否与预存结果中的标准问答句相同，若是，则测试结果表征为智能问答***响应测试问句的反馈正确；否则，测试结果表征为智能问答***响应测试问句的反馈错误；当预设结果为至少两种标准问句时，分析模块130具体用于：判断至少两种标准问句是否包括预存结果中测试问句表征的预存标准问句，若是，则测试结果表征为智能问答***响应测试问句的反馈正确；否则，测试结果表征为智能问答***响应测试问句的反馈错误；当预设结果为操作指令时，分析模块130具体用于：判断预设结果是否是预存结果中操作指令的响应结果，若是，则测试结果表征为智能问答***响应测试问句的反馈正确；否则，测试结果表征为智能问答***响应测试问句的反馈错误。

可选的，智能问答***还包括聊天知识库，聊天知识库为网络数据库；若未在问答知识库中查询到预设结果，发送模块120还包括：聊天查询单元，用于基于测试问句，查询聊天知识库中是否有预设结果；聊天确定单元，用于当在聊天知识库中查询到预设结果时，确定反馈结果包括该预设结果及用于表征预设结果来自聊天知识库的聊天类型标识；而且，期望结果包括：与测试问句对应的预存聊天类型标识；分析模块130具体用于：判断预存聊天标识是否与聊天类型标识相同，若是，则测试结果表征为智能问答***响应测试问句的反馈正确；否则，测试结果表征为智能问答***响应测试问句的反馈错误。

可选的，调整模块140包括：统计单元，用于对已被智能问答***正确反馈的测试问句的数量、及所发送的测试问句的总数量进行统计；正确率计算单元，用于基于已被智能问答***正确反馈的测试问句的数量、及所发送的测试问句的总数量，确定测试数据的正确率。

可选的，调整模块140还包括：存储单元，用于将测试问句存储至智能问答***的标准问句反馈数据库，其中，标准问句反馈数据库用于存储标准问句。

本发明第七实施例提供了一种电子设备，包括处理器和存储器；存储器用于存储计算机指令，处理器用于运行存储器存储的计算机指令，以实现上述的一种智能问答的测试方法。

本发明第七实施例中的一种电子设备所涉及的名词及实现原理具体可以参照本发明实施例中的第一至五实施例的一种智能问答的测试方法，在此不再赘述。

本发明第八实施例提供了一种计算机可读存储介质，计算机可读存储介质存储有一个或者多个模块，一个或者多个模块可被一个或者多个处理器执行，以实现上述的一种智能问答的测试方法。

本发明第八实施例中的一种计算机可读存储介质所涉及的名词及实现原理具体可以参照本发明实施例中的第一至五实施例的一种智能问答的测试方法，在此不再赘述。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例的方法。

上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。

Claims (9)

1.一种智能问答的测试方法，其特征在于，所述方法包括：

预设测试数据，所述测试数据包括测试问句和期望结果；

将每个测试问句发送至智能问答***以进行所述智能问答***的反馈正确性检测，得到反馈结果；

将所述反馈结果与所述期望结果进行匹配分析，得到所述测试问句的测试结果；

基于每个测试问句的测试结果统计所述测试数据的正确率，当所述正确率小于预设正确率时，根据所述测试结果调整所述智能问答***；

所述智能问答***包括前端知识库，所述前端知识库为本地数据库，所述反馈正确性检测包括：

基于所述测试问句，查询所述前端知识库中是否有预设结果；

当在所述前端知识库中查询到所述预设结果时，确定所述反馈结果包括所述预设结果及用于表征所述预设结果来自所述前端知识库的前端类型标识；

所述期望结果包括：与所述测试问句对应的预存前端标识；所述匹配分析包括：判断所述预存前端标识与所述前端类型标识是否相同，当相同时，则所述测试结果表征为所述智能问答***响应所述测试问句的反馈正确；否则，所述测试结果表征为所述智能问答***响应所述测试问句的反馈错误。

2.根据权利要求1所述的方法，其特征在于，所述智能问答***还包括问答知识库；

若未在所述前端知识库中查询到预设结果，所述反馈正确性检测还包括：

基于所述测试问句，查询所述问答知识库中是否有预设结果；

当在所述问答知识库中查询到所述预设结果时，确定所述反馈结果包括该预设结果，而且，所述期望结果包括：与所述测试问句对应的预存结果。

3.根据权利要求2所述的方法，其特征在于，

所述预设结果包括以下一种或多种：标准问答句、至少两种标准问句、操作指令，其中，所述标准问答句包括：相互对应的标准问句及标准结果；

当所述预设结果为所述标准问答句时，所述匹配分析包括：判断所述标准问答句是否与所述预存结果中的标准问答句相同，若是，则所述测试结果表征为所述智能问答***响应所述测试问句的反馈正确；否则，所述测试结果表征为所述智能问答***响应所述测试问句的反馈错误；

当所述预设结果为至少两种标准问句时，所述匹配分析包括：判断所述至少两种标准问句是否包括所述预存结果中测试问句表征的预存标准问句，若是，则所述测试结果表征为所述智能问答***响应所述测试问句的反馈正确；否则，所述测试结果表征为所述智能问答***响应所述测试问句的反馈错误；

当所述预设结果为操作指令时，所述匹配分析包括：判断所述预设结果是否是所述预存结果中操作指令的响应结果，若是，则所述测试结果表征为所述智能问答***响应所述测试问句的反馈正确；否则，所述测试结果表征为所述智能问答***响应所述测试问句的反馈错误。

4.根据权利要求2或3所述的方法，其特征在于，所述智能问答***还包括聊天知识库，所述聊天数据库为网络数据库；

若未在所述问答知识库中查询到预设结果，所述反馈正确性检测还包括：

基于所述测试问句，查询所述聊天知识库中是否有预设结果；

当在所述聊天知识库中查询到所述预设结果时，确定所述反馈结果包括该预设结果及用于表征所述预设结果来自所述聊天知识库的聊天类型标识；

而且，所述期望结果包括：与所述测试问句对应的预存聊天类型标识；

所述匹配分析包括：判断所述预存聊天类型 标识是否与所述聊天类型标识相同，若是，则所述测试结果表征为所述智能问答***响应所述测试问句的反馈正确；否则，所述测试结果表征为所述智能问答***响应所述测试问句的反馈错误。

5.根据权利要求1所述的方法，其特征在于，所述基于每个测试问句的测试结果统计所述测试数据的正确率，包括：

对已被所述智能问答***正确反馈的所述测试问句的数量、及所发送的测试问句的总数量进行统计；

基于已被所述智能问答***正确反馈的所述测试问句的数量、及所发送的测试问句的总数量，确定所述测试数据的正确率。

6.根据权利要求1所述的方法，其特征在于，所述根据测试结果调整所述智能问答***，包括：

将所述测试问句存储至所述智能问答***的标准问句反馈数据库，其中，所述标准问句反馈数据库用于存储标准问句。

7.一种智能问答的测试装置，其特征在于，所述装置包括：

预设模块，用于预设测试数据，所述测试数据包括测试问句和期望结果；

发送模块，用于将每个测试问句发送至智能问答***以进行所述智能问答***的反馈正确性检测，得到反馈结果；

分析模块，用于将所述反馈结果与所述期望结果进行匹配分析，得到所述测试问句的测试结果；

调整模块，用于基于每个测试问句的测试结果统计所述测试数据的正确率，当所述正确率小于预设正确率时，根据所述测试结果调整所述智能问答***；

所述智能问答***包括前端知识库，所述前端知识库为本地数据库，所述反馈正确性检测包括：

基于所述测试问句，查询所述前端知识库中是否有预设结果；

当在所述前端知识库中查询到所述预设结果时，确定所述反馈结果包括所述预设结果及用于表征所述预设结果来自所述前端知识库的前端类型标识；

所述期望结果包括：与所述测试问句对应的预存前端标识；所述匹配分析包括：判断所述预存前端标识与所述前端类型标识是否相同，当相同时，则所述测试结果表征为所述智能问答***响应所述测试问句的反馈正确；否则，所述测试结果表征为所述智能问答***响应所述测试问句的反馈错误。

8.一种电子设备，其特征在于，包括处理器和存储器；

所述存储器用于存储计算机指令，所述处理器用于运行所述存储器存储的计算机指令，以实现权利要求1至6中任一项所述的一种智能问答的测试方法。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现权利要求1至6中任一项所述的一种智能问答的测试方法。

Images