CN110472034B - 问答***的检测方法、装置、设备及计算机可读存储介质 - Google Patents

Abstract

本申请公开了一种问答***的检测方法、装置、设备及计算机可读存储介质，涉及问答***的检测技术。具体包括：获取搜索内容，以及问答***根据搜索内容确定的反馈结果；根据搜索内容确定问答类别，并根据问答类别确定反馈结果与搜索内容是否匹配。本公开提供的问答***的检测方法、装置、设备及计算机可读存储介质，通过确定搜索内容以及反馈结果是否匹配，从而能够确定问答***能否根据搜索内容确定正确的反馈结果，尤其在问答***上线后，能够追踪问答***向用户反馈结果的准确性，从而能够对问答***进行检测。

Description

问答***的检测方法、装置、设备及计算机可读存储介质

技术领域

本公开涉及计算机技术，尤其涉及问答***的检测技术。

背景技术

目前，随着互联网技术的发展，很多用户都会在网络中搜索信息，例如，在网络平台中输入关键信息，网络平台可以对关键信息进行分析，并向用户反馈对应的答案。

现有技术中，存在很多基于知识图谱的问答***，为了保证问答***在上线后能够提供正常的功能，需要对问答***进行功能测试。

问答***的知识图谱数据库是提供正确结果的基础，因此，现有技术的方案中仅对知识图谱数据库进行测试，但是，在问答***上线后，无法确定通过问答***反馈的结果是否正确，导致无法保证已上线的问答***的质量。

发明内容

本公开提供一种问答***的检测方法、装置、设备及计算机可读存储介质，以解决现有技术中导致无法保证已上线的问答***的质量的技术问题。

本公开的第一个方面是提供一种问答***的检测方法，包括：

获取搜索内容，以及问答***根据所述搜索内容确定的反馈结果；

根据所述搜索内容确定问答类别，并根据所述问答类别确定所述反馈结果与所述搜索内容是否匹配。

本公开的另一个方面是提在一种可选的实施例中，供一种问答***的检测装置，包括：

获取模块，用于获取搜索内容，以及问答***根据所述搜索内容确定的反馈结果；

类别确定模块，用于根据所述搜索内容确定问答类别；

匹配确定模块，用于根据所述问答类别确定所述反馈结果与所述搜索内容是否匹配。

本公开的又一个方面是提供一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如第一方面所述的问答***的检测方法。

本公开的再一个方面是提供一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行如第一方面所述的问答***的检测方法

本公开提供的问答***的检测方法、装置、设备及计算机可读存储介质，包括：获取搜索内容，以及问答***根据搜索内容确定的反馈结果；根据搜索内容确定问答类别，并根据问答类别确定反馈结果与搜索内容是否匹配。本公开提供的问答***的检测方法、装置、设备及计算机可读存储介质，通过确定搜索内容以及反馈结果是否匹配，从而能够确定问答***能否根据搜索内容确定正确的反馈结果，尤其在问答***上线后，能够追踪问答***向用户反馈结果的准确性，从而能够对问答***进行检测。

附图说明

附图用于更好地理解本方案，不构成对本申请的限定。其中：

图1为本申请一示例性实施例示出的问答***的检测方法的流程图；

图1A为本申请第一示例性实施例示出的反馈结果的展示界面示意图；

图2为本申请另一示例性实施例示出的问答***的检测方法的流程图；

图2A为本申请第二示例性实施例示出的反馈结果的展示界面示意图；

图2B为本申请第三示例性实施例示出的反馈结果的展示界面示意图；

图3为本申请一示例性实施例示出的问答***的检测装置的结构图；

图4为本申请另一示例性实施例示出的问答***的检测装置的结构图；

图5为本申请一示例性实施例示出的电子设备的结构图。

具体实施方式

以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

目前，在线问答***上线后，用户可以使用该问答***。具体可以输入关键词、检索词等搜索内容，问答***能够基于知识图谱确定关键词、检索词对应的结果，并向用户反馈该结果。而反馈结果与用户输入的搜索内容是否匹配，反馈结果是否存在答非所问的情况则无法追溯。

因此，本实施例提供一种问答***的检测方案，能够确定问答***反馈的结果与用户输入的搜索内容是否匹配，从而确定问答***能否向用户反馈正确的结果。

图1为本申请一示例性实施例示出的问答***的检测方法的流程图。

如图1所示，本实施例提供的问答***的检测方法包括：

步骤101，获取搜索内容，以及问答***根据搜索内容确定的反馈结果。

可以通过具备计算能力的一个或多个电子设备执行本实施例提供的方法，该电子设备可以与问答***连接。

其中，问答***能够基于知识图谱向用户反馈结果，例如，用户在问答***中输入“一心一意”，则问答***可以基于知识图谱确定与“一心一意”的反馈结果，并将反馈结果发送到用户终端，以使用户能够浏览反馈结果。

具体的，问答***可以部署在一自助问答平台中，还可以部署在搜索引擎中。例如，用户可以在搜索引擎中输入搜索内容，搜索引擎可以反馈与搜索内容相关的链接，此外，搜索引擎中的问答***，还可以根据搜索内容确定一反馈结果，搜索引擎可以将通过问答***确定的反馈结果在搜索结果页的顶端进行显示。

图1A为本申请第一示例性实施例示出的反馈结果的展示界面示意图。

如图1A所示，用户在用户终端的输入框中输入“一心一意”，用户终端可以将输入的内容发送到问答***中，问答***能够确定与一心一意对应的反馈结果，并将其反馈给用户终端，用户终端能够对其进行显示。

进一步的，执行本实施例提供的方法的电子设备，可以获取搜索内容及其对应的反馈结果。电子设备可以与问答***连接，从而直接从问答***中获取搜索内容以及反馈结果。例如，问答***接收到搜索内容后，可以确定出对应的反馈结果，此后可以由问答***主动将搜索内容以及反馈结果发送到电子设备中，以使电子设备能够获取搜索内容及其对应的反馈结果。

实际应用时，还可以由电子设备向问答***发送获取请求，例如可以按照一定的频率向问答***发送获取请求，以使问答***向电子设备发送搜索内容及其对应的反馈结果。例如，电子设备可以每5分钟向问答***发送一次获取请求，当问答***接收到该请求后，可以将这5分钟存储的搜索内容及其对应的反馈结果发送给问答***。

步骤102，根据搜索内容确定问答类别，并根据问答类别确定反馈结果与搜索内容是否匹配。

其中，可以确定搜索内容，以及通过问答***根据搜索内容确定的反馈结果是否匹配。

具体的，可以先确定问答类别，具体可以根据搜索内容确定问答类别，不同问答类别可以采用不同的确定是否匹配的方法。例如，若搜索内容是一实体，则可以直接确定反馈结果中的关键内容与搜索内容是否一致，若一致，则认为二者匹配。再例如，若搜索内容不是明确的实体，例如是一实体与属性的组合，则可以获取反馈结果中的关键信息，并通过用户在搜索引擎中的搜索日志，统计用户搜索该组合时，点击关键信息对应的链接的点击数据，从而可以根据这一统计结果确定搜索内容与反馈结果是否一致。

进一步的，若确定反馈结果与搜索内容不匹配，则可以认为问答***确定了错误的反馈结果。若获取的反馈结果与搜索内容均匹配，则可以认为问答***能够准确的确定与搜索内容对应的反馈结果。因此，通过本实施例提供的方法，可以确定问答***确定反馈结果的准确性，从而对问答***进行检测。尤其是问答***上线后，仍然能够实时检测问答***的性能。

本实施例提供的方法用于检测问答***，该方法由设置有本实施例提供的方法的设备执行，该设备通常以硬件和/或软件的方式来实现。

本实施例提供一种问答***的检测方法，包括：获取搜索内容，以及问答***根据搜索内容确定的反馈结果；根据搜索内容确定问答类别，并根据问答类别确定反馈结果与搜索内容是否匹配。本实施例提供的问答***的检测方法，通过确定搜索内容以及反馈结果是否匹配，从而能够确定问答***能否根据搜索内容确定正确的反馈结果，尤其在问答***上线后，能够追踪问答***向用户反馈结果的准确性，从而能够对问答***进行检测。

图2为本申请另一示例性实施例示出的问答***的检测方法的流程图。

如图2所示，本实施例提供的问答***的检测方法包括：

步骤201，获取搜索内容，以及问答***根据搜索内容确定的反馈结果。

步骤201与步骤101的具体原理和实现方式类似，此处不再赘述。

步骤202，根据搜索内容确定问答类别。

其中，问答类别具体可以包括以下任意一种，但不限于此：

实体问答类别、实体与属性组合问答类别、泛需求问答类别。

具体的，实体问答类别是指搜索内容与问答***中的实体一致，例如，问答***中包括一个实体为“静夜思”，用户输入的搜索内容是“静夜思”，则可以认为该搜索内容对应的问答类别是实体问答类别。

进一步的，实体与属性组合问答类别是指，搜索内容中包括实体及其属性。例如，在问答***中一个实体具有一个属性，且该属性的值唯一，用户输入的搜索内容包括该实体及其对应的属性，则可以认为该搜索内容对应的问答类别是实体与属性组合问答类别。例如，用户输入了“x的老婆”，其中x是问答***中的一个实体，老婆是x的一个属性，则可以确定这一搜索内容是实体与属性组合问答类别。

实际应用时，实体与属性组合问答类别也可以被称为SPO类别，S是实体，P是属性，O是属性值。用户输入的搜索内容中可以是S+P的形式，问答***可以基于知识图谱查询S+P对应的值，即O，并根据O向用户的终端发送反馈结果。

其中，泛需求问答类别是指确定的属性值不唯一的问答情况。对于实体问答类别来说，在知识图谱中能够确定与搜索内容一致的实体，对于实体与属性的组合问答类别来说，在知识图谱中根据实体和属性的组合，能够确定出唯一的属性值。而对于泛需求问答来说，基于知识图谱能够确定出多个与搜索内容对应的结果。

例如，搜索内容为“李白的诗”，由于李白的诗不唯一，因此能够得到多个与李白的诗对应的属性值。

具体的，可以根据不同的问答类别采用不同的确定反馈结果与搜索内容是否匹配的方式。

进一步的，若根据搜索内容确定的问答类别是实体问答类别，则可以执行步骤203。

步骤203，获取反馈结果中的包括的关键内容。

实际应用时，可以预先设置一预设区域，具体可以获取反馈结果中预设区域中的内容。

图2A为本申请第二示例性实施例示出的反馈结果的展示界面示意图。

如图2A所示，例如通过卡片形式向用户展示反馈结果，则可以将反馈结果中的框选区域设置为预设区域，因此，可以获取该区域内的内容“一心一意”作为反馈结果中的关键内容。

再例如，若反馈结果中包括多个字段，例如标题字段、内容字段等，则还可以将标题字段确定为预设字段。这种实施方式中，可以将预设字段对应的内容作为反馈结果中包括的关键内容。

步骤204，若关键内容与搜索内容匹配，则确定反馈结果与搜索内容匹配。

步骤205，若关键内容与搜索内容不匹配，则确定反馈结果与搜索内容不匹配。

获取关键内容后，可以判断关键内容与搜索内容是否匹配。具体可以比对关键内容中包括的关键字符串与搜索内容中包括的搜索字符串，并根据比对结果确定关键内容与搜索内容是否匹配。

其中，可以提取关键内容中包括的关键字符串，还可以提取搜索内容中包括的搜索字符串。可以通过文本比对算法确定提取的字符串是否相同，若相同，则可以认为关键内容与搜索内容匹配。否则，可以认为二者不匹配。

具体的，还可以将关键内容和搜索内容分别转换为全拼形式，可以通过比对全拼拼音的方式，确定关键内容和搜索内容是否匹配。例如，若两个全拼拼音相同，则可以确定关键内容和搜索内容匹配。

进一步的，若关键内容与搜索内容匹配，则确定反馈结果与搜索内容匹配。可以认为关键内容能够代表反馈结果的主要内容，例如关键内容是“一心一意”，则可以认为该反馈结果是与一心一意相关的内容。同时，若关键内容与搜索内容匹配，则可以认为反馈结果中的内容与搜索内容对应，反馈结果是用于解释说明搜索内容的相关信息。

实际应用时，若关键内容与搜索内容不匹配，则确定反馈结果与搜索内容不匹配。若二者不匹配，则认为反馈结果不是用于解释说明搜索内容的相关信息，因此，可以确定反馈结果与搜索内容不匹配。

其中，步骤203之后，可以根据关键内容与搜索内容匹配情况执行步骤204或步骤205。

具体的，若根据搜索内容确定的问答类别是实体与属性组合问答类别，则可以执行步骤206。

步骤206，获取反馈结果中包括的关键内容，并确定关键内容与搜索内容的相似度。

实际应用时，可以预先设置一预设区域，具体可以获取反馈结果中预设区域中的内容。

其中，可以预先训练一用于确定相似度的工具，可以直接调用该工具，确定关键内容与搜索内容的相似度，具体可以确定二者的语义相似度。

具体的，可以通过搜索日志作为语料训练该相似度计算工具，可以通过搜索日志来标注两个文本的余弦相似度。例如，用户在搜索引擎中进行搜索时，可以输入一文本信息，搜索引擎还能够反馈多个链接，可以采集用户点击的链接，认为该链接的主题内容与用户输入的文本信息具有关联关系。可以根据搜索日志统计出大量的文本信息与主题内容的关联关系，进而能够基于这些关系进行训练，使得训练得到的工具能够确定两个文本的余弦相似度。

进一步的，可以将提取的关键内容、搜索内容输入该相似度计算工具，该工具能够输出对应的相似度，具体可以输出一语义相似度。

步骤207，根据相似度确定反馈结果与搜索内容是否匹配。

实际应用时，电子设备可以根据搜索内容与关键内容之间的相似度确定反馈结果与搜索内容是否匹配。

其中，若相似度较高，则可以认为搜索内容与关键内容表达的意思相似，此时，可以认为反馈结果与搜索内容匹配。若相似度较不高或较低，则可以认为搜索内容与关键内容表达的意思不相似，此时，可以认为反馈结果与搜索内容不匹配。

具体的，还可以设置一预设阈值，若相似度大于或等于该预设阈值，则可以确定反馈结果与搜索内容匹配；若相似度小于该预设阈值，则可以确定反馈结果与搜索内容不匹配。

进一步的，若关键内容与搜索内容相似度满足预设阈值，则可以认为反馈结果中的内容与搜索内容对应，反馈结果是用于解释说明搜索内容的相关信息。若二者相似度不满足于预设阈值，则认为反馈结果不是用于解释说明搜索内容的相关信息，因此，可以确定反馈结果与搜索内容不匹配。

实际应用时，若根据搜索内容确定的问答类别是泛需求问答类别，则可以执行步骤208。

步骤208，确定搜索内容在概念体系中的搜索上位概念；确定反馈结果在概念体系中的反馈上位概念。

图2B为本申请第三示例性实施例示出的反馈结果的展示界面示意图。

如图2B所示，可以输入搜索内容“李白的诗”，问答***可以确定如图2B所示的反馈结果，并发送给用户终端，从而向用户进行展示。

其中，可以预先训练一用于确定文本上位概念的工具。例如，可以根据已知的概念体系、网络中爬取的信息等作为训练数据，训练该工具。

例如，训练后的工具中可以存储有具体的概念体系，可以将搜索内容、反馈内容发送该工具，由该工具直接从已有的概念体系获取与接收内容对应的上位概念。若上述工具在已有的概念体系中，未查询到接收的相应内容，还可以通过网络数据确定该内容对应的上位概念。例如，可以通过包括接收内容的网络数据，确定其上位概念。

具体的，可以确定搜索内容的至少一个上位概念，例如，搜索内容是“李白的诗”，可以确定其多个类别的上位概念，比如culture类，概念信息是作品，life类，对应的概念信息是生活用语，role类，对应的概念信息是人物。还可以对这些上位概念进行排序，例如可以按照工具中的算法确定每个上位概念的置信度，对其进行排序，例如排序结果为culture：作品，life：生活用语，role：人物。

进一步的，可以采用相似的方式，确定反馈结果对应的至少一个上位概念。本实施方式中，搜索内容属于泛需求问答类别，因此问答***能够确定多个与泛需求问答对应的属性值，此时，可以确定多个属性值对应的上位概念。例如反馈结果中包括《黄鹤楼送孟浩然之广陵》、《将进酒君不见》、《望庐山瀑布》，则可以根据这些内容确定出反馈上位概念为culture类，对应的概念信息是诗歌。

步骤209，根据搜索上位概念、反馈上位概念确定反馈结果与搜索内容是否匹配。

实际应用时，可以比对搜索上位概念、反馈上位概念，若存在一致的上位概念，则可以确定反馈结果与搜索内容是否匹配。

其中，若包括搜索上位概念、反馈上位概念中的任一个包括多个概念，则任一搜索上位概念与任一反馈上位概念一致，则可以认为确定反馈结果与搜索内容是否匹配。例如，搜索内容对应的上位概念包括culture，反馈结果对应的上位概念也包括culture，则可以确定反馈结果与搜索内容匹配。若任一个搜索上位概念与任一个所述反馈上位概念都不相同，则可以确定反馈结果与搜索内容不匹配。

若反馈内容与反馈结果不匹配，则可以执行步骤210。

步骤210，根据搜索内容、反馈结果向异常事件集合中添加异常事件。

其中，本实施例提供的方法中，若确定反馈结果与搜索内容不匹配，则可以认为问答***根据搜索内容确定出了错误的结果，即存在答非所问的情况。此时，可以根据搜索内容、反馈结果生成一异常事件，并将其加入异常事件集合。

具体的，异常事件集合可以是预先设置，每当生成异常事件，就可以将其添加在异常事件集合中。

进一步的，可以将搜索内容与反馈结果的组合作为异常事件，也可以将问答***基于知识图谱，确定搜索内容对应的反馈结果的具体过程作为异常事件。比如问答***根据搜索内容在知识图谱中确定的实体，再根据实体确定反馈结果，此时，可以将搜索内容、实体、反馈结果的组合作为一异常事件。

研发人员可以通过异常事件集合分析异常事件产生的原因，进而能够对问答***进行优化。

可选的，本实施例中，若反馈内容与反馈结果匹配，则可以执行下述步骤：

根据搜索内容、反馈结果向正常事件集合中添加正常事件。

实际应用时，本实施例提供的方法中，若确定反馈结果与搜索内容匹配，则可以认为问答***根据搜索内容确定出了正确的结果。此时，可以根据搜索内容、反馈结果生成一正常事件，并将其加入正常事件集合。

具体的，正常事件集合可以是预先设置，每当生成正常事件，就可以将其添加到正常事件集合中。

进一步的，具体确定正常事件的方式可以与确定异常事件的方式类似，不再赘述。

可选的，本实施例提供的方法，还可以对知识图谱数据库中的数据进行质量检测，以免由于数据本身的错误，造成问答***确定出与搜索内容不匹配的反馈结果。具体可以从多个维度对数据库中的数据进行检测。

其中，可以通过检测数据库中各数据的编码是否符合预设规则，从而实现编码检测。若不符合预设规则，则认为数据的编码错误，可以对其进行修正。

具体的，还可以通过检测数据库中的数据是否有重复记录，实现重复值检测。若存在重复的数据，还可以对数据库中的重复数据进行剔除。

进一步的，可以检测数据库中的数据是否存在字段缺失的情况，实现缺失值检测。若数据库中的数据存在缺失值，则可以对其进行补充。

实际应用时，通过检测数据库中的数据是否出现处于特定分布、范围或趋势之外的数据，从而实现异常值检测。可以设置不同类型的数据对应的分布、范围，从而可以准确的对数据进行检测。

图3为本申请一示例性实施例示出的问答***的检测装置的结构图。

如图3所示，本实施例提供的问答***的检测装置，包括：

获取模块31，用于获取搜索内容，以及问答***根据所述搜索内容确定的反馈结果；

类别确定模块32，用于根据所述搜索内容确定问答类别；

匹配确定模块33，用于根据所述问答类别确定所述反馈结果与所述搜索内容是否匹配。

本实施例提供的问答***的检测装置，包括：获取模块，用于获取搜索内容，以及问答***根据搜索内容确定的反馈结果；类别确定模块，用于根据搜索内容确定问答类别；匹配确定模块，用于根据问答类别确定反馈结果与搜索内容是否匹配。本实施例提供的问答***的检测装置，通过确定搜索内容以及反馈结果是否匹配，从而能够确定问答***能否根据搜索内容确定正确的反馈结果，尤其在问答***上线后，能够追踪问答***向用户反馈结果的准确性，从而能够对问答***进行检测。

本实施例提供的问答***的检测装置的具体原理和实现方式均与图1所示的实施例类似，此处不再赘述。

图4为本申请另一示例性实施例示出的问答***的检测装置的结构图。

如图4所示，在上述实施例的基础上，本实施例提供的问答***的检测装置，可选的，所述问答类别包括以下任一种：

实体问答类别、实体与属性组合问答类别、泛需求问答类别。

可选的，若根据所述搜索内容确定的所述问答类别是所述实体问答类别，则所述匹配确定模块33，包括第一匹配单元331，用于：

获取所述反馈结果中的包括的关键内容；

若所述关键内容与所述搜索内容匹配，则确定所述反馈结果与所述搜索内容匹配；

若所述关键内容与所述搜索内容不匹配，则确定所述反馈结果与所述搜索内容不匹配。

可选的，所述匹配确定模块33还包括比对单元332，用于：

比对所述关键内容中包括的关键字符串与所述搜索内容中包括的搜索字符串，并根据比对结果确定所述关键内容与所述搜索内容是否匹配。

可选的，若根据所述搜索内容确定的所述问答类别是所述实体与属性组合问答类别，则所述匹配确定模块33包括第二匹配单元333，用于：

获取所述反馈结果中包括的关键内容，并确定所述关键内容与所述搜索内容的相似度；

根据所述相似度确定所述反馈结果与所述搜索内容是否匹配。

可选的，所述第二匹配单元333具体用于：

若所述相似度大于或等于预设阈值，则确定所述反馈结果与所述搜索内容匹配，否则，确定所述反馈结果与所述搜索内容不匹配。

可选的，若根据所述搜索内容确定的所述问答类别是所述泛需求问答类别，则所述匹配确定模块33包括第三匹配单元334，用于：

确定所述搜索内容在概念体系中的搜索上位概念；

确定所述反馈结果在所述概念体系中的反馈上位概念；

根据所述搜索上位概念、所述反馈上位概念确定所述反馈结果与所述搜索内容是否匹配。

可选的，所述第三匹配单元334具体用于：

若所述搜索上位概念与所述反馈上位概念中包括相同的概念，则确定所述反馈结果与所述搜索内容不匹配。

可选的，所述第一匹配单元331和/或第二匹配单元333，具体用于：

在所述反馈结果的预设区域获取所述关键内容。

可选的，还包括添加模块34，用于：

若所述反馈内容与所述反馈结果不匹配，则根据所述搜索内容、所述反馈结果向异常事件集合中添加异常事件。

本实施例提供的问答***的检测装置的具体原理和实现方式均与图2所示的实施例类似，此处不再赘述。

根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。

如图5所示，是本实施例提供的一种问答***的检测电子设备。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。

如图5所示，该电子设备包括：一个或多个处理器501、存储器502，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器***)。图5中以一个处理器501为例。

存储器502即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请所提供的问答***的检测方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的问答***的检测方法。

存储器502作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的问答***的检测方法对应的程序指令/模块(例如，附图3所示的获取模块31、类别确定模块32和匹配确定模块33)。处理器501通过运行存储在存储器502中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的问答***的检测方法。

存储器502可以包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需要的应用程序；存储数据区可存储根据问答***的检测的电子设备的使用所创建的数据等。此外，存储器502可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器502可选包括相对于处理器501远程设置的存储器，这些远程存储器可以通过网络连接至问答***的检测的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

问答***的检测的电子设备还可以包括：输入装置503和输出装置504。处理器501、存储器502、输入装置503和输出装置504可以通过总线或者其他方式连接，图5中以通过总线连接为例。

输入装置503可接收输入的数字或字符信息，以及产生与问答***的检测电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置504可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。

此处描述的***和技术的各种实施方式可以在数字电子电路***、集成电路***、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程***上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储***、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储***、该至少一个输入装置、和该至少一个输出装置。

这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。

为了提供与用户的交互，可以在计算机上实施此处描述的***和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的***和技术实施在包括后台部件的计算***(例如，作为数据服务器)、或者包括中间件部件的计算***(例如，应用服务器)、或者包括前端部件的计算***(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的***和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算***中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将***的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机***可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims (14)

1.一种问答***的检测方法，其特征在于，包括：

按照预设频率向问答***发送获取请求，所述获取请求用于指示所述问答***向电子设备发送搜索内容，以及问答***根据所述搜索内容确定的反馈结果；

根据所述搜索内容确定问答类别，所述问答类别包括：实体问答类别、实体与属性组合问答类别或泛需求问答类别，其中，所述实体问答类别为所述搜索内容与所述问答***中的实体一致，所述实体与属性组合问答类别为所述搜索内容中包括实体及实体对应的一个属性，且所述属性的值唯一，所述泛需求问答类别为确定的属性值不唯一；

根据所述问答类别确定匹配方式，所述匹配方式用于匹配所述反馈结果与所述搜索内容，不同的问答类别对应不同的匹配方式；

采用确定出的匹配方式，确定所述反馈结果与所述搜索内容是否匹配；

若所述问答类别为所述实体与属性组合问答类别，所述确定所述反馈结果与所述搜索内容是否匹配，包括：

获取所述反馈结果中的关键内容，所述关键内容为所述反馈结果中预设区域的内容；

基于搜索引擎的搜索日志，确定在搜索所述搜索内容时，点击所述关键内容对应的链接的点击数据；

根据所述点击数据确定搜索内容与反馈结果是否匹配；若根据所述搜索内容确定的所述问答类别是所述实体问答类别，则所述确定所述反馈结果与所述搜索内容是否匹配，还包括：

获取所述反馈结果中的包括的关键内容；

若所述关键内容与所述搜索内容匹配，则确定所述反馈结果与所述搜索内容匹配；

若所述关键内容与所述搜索内容不匹配，则确定所述反馈结果与所述搜索内容不匹配；

若根据所述搜索内容确定的所述问答类别是所述泛需求问答类别，则所述确定所述反馈结果与所述搜索内容是否匹配，包括：

确定所述搜索内容在概念体系中的搜索上位概念；

确定所述反馈结果在所述概念体系中的反馈上位概念；

根据所述搜索上位概念、所述反馈上位概念确定所述反馈结果与所述搜索内容是否匹配。

2.根据权利要求1所述的检测方法，其特征在于，还包括：

比对所述关键内容中包括的关键字符串与所述搜索内容中包括的搜索字符串，并根据比对结果确定所述关键内容与所述搜索内容是否匹配。

3.根据权利要求1所述的检测方法，其特征在于，若根据所述搜索内容确定的所述问答类别是所述实体与属性组合问答类别，则所述确定所述反馈结果与所述搜索内容是否匹配，包括：

获取所述反馈结果中包括的关键内容，并确定所述关键内容与所述搜索内容的相似度；

根据所述相似度确定所述反馈结果与所述搜索内容是否匹配。

4.根据权利要求3所述的检测方法，其特征在于，所述根据所述相似度确定所述反馈结果与所述搜索内容是否匹配，包括：

若所述相似度大于或等于预设阈值，则确定所述反馈结果与所述搜索内容匹配，否则，确定所述反馈结果与所述搜索内容不匹配。

5.根据权利要求1所述的检测方法，其特征在于，所述根据所述搜索上位概念、所述反馈上位概念确定所述反馈结果与所述搜索内容是否匹配，包括：

若所述搜索上位概念与所述反馈上位概念中包括相同的概念，则确定所述反馈结果与所述搜索内容不匹配。

6.根据权利要求1-5任一项所述的检测方法，其特征在于，还包括：

若所述反馈内容与所述反馈结果不匹配，则根据所述搜索内容、所述反馈结果向异常事件集合中添加异常事件。

7.一种问答***的检测装置，其特征在于，包括：

获取模块，用于按照预设频率向问答***发送获取请求，所述获取请求用于指示所述问答***向电子设备发送搜索内容，以及问答***根据所述搜索内容确定的反馈结果；

类别确定模块，用于根据所述搜索内容确定问答类别，所述问答类别包括：实体问答类别、实体与属性组合问答类别或泛需求问答类别，其中，所述实体问答类别为所述搜索内容与所述问答***中的实体一致，所述实体与属性组合问答类别为所述搜索内容中包括实体及实体对应的一个属性，且所述属性的值唯一，所述泛需求问答类别为确定的属性值不唯一；

匹配确定模块，用于根据所述问答类别确定匹配方式，所述匹配方式用于匹配所述反馈结果与所述搜索内容，不同的问答类别对应不同的匹配方式；并采用确定出的匹配方式，确定所述反馈结果与所述搜索内容是否匹配；

若所述问答类别为所述实体与属性组合问答类别，所述匹配模块具体用于：

获取所述反馈结果中的关键内容，所述关键内容为所述反馈结果中预设区域的内容；

基于搜索引擎的搜索日志，确定在搜索所述搜索内容时，点击所述关键内容对应的链接的点击数据；

根据所述点击数据确定搜索内容与反馈结果是否匹配；若根据所述搜索内容确定的所述问答类别是所述实体问答类别，则所述匹配确定模块，包括第一匹配单元，用于：

获取所述反馈结果中的包括的关键内容；

若所述关键内容与所述搜索内容匹配，则确定所述反馈结果与所述搜索内容匹配；

若所述关键内容与所述搜索内容不匹配，则确定所述反馈结果与所述搜索内容不匹配；

若根据所述搜索内容确定的所述问答类别是所述泛需求问答类别，则所述匹配确定模块包括第三匹配单元，用于：

确定所述搜索内容在概念体系中的搜索上位概念；

确定所述反馈结果在所述概念体系中的反馈上位概念；

根据所述搜索上位概念、所述反馈上位概念确定所述反馈结果与所述搜索内容是否匹配。

8.根据权利要求7所述的检测装置，其特征在于，所述匹配确定模块还包括比对单元，用于：

比对所述关键内容中包括的关键字符串与所述搜索内容中包括的搜索字符串，并根据比对结果确定所述关键内容与所述搜索内容是否匹配。

9.根据权利要求7所述的检测装置，其特征在于，若根据所述搜索内容确定的所述问答类别是所述实体与属性组合问答类别，则所述匹配确定模块包括第二匹配单元，用于：

获取所述反馈结果中包括的关键内容，并确定所述关键内容与所述搜索内容的相似度；

根据所述相似度确定所述反馈结果与所述搜索内容是否匹配。

10.根据权利要求9所述的检测装置，其特征在于，所述第二匹配单元具体用于：

若所述相似度大于或等于预设阈值，则确定所述反馈结果与所述搜索内容匹配，否则，确定所述反馈结果与所述搜索内容不匹配。

11.根据权利要求7所述的检测装置，其特征在于，所述第三匹配单元具体用于：

若所述搜索上位概念与所述反馈上位概念中包括相同的概念，则确定所述反馈结果与所述搜索内容不匹配。

12.根据权利要求7-11任一项所述的检测装置，其特征在于，还包括添加模块，用于：

若所述反馈内容与所述反馈结果不匹配，则根据所述搜索内容、所述反馈结果向异常事件集合中添加异常事件。

13.一种电子设备，其特征在于，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-6中任一项所述的方法。

14.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求1-6中任一项所述的方法。

Images