CN108804446A - 一种数据检索方法和*** - Google Patents

Abstract

本发明实施例提供一种数据检索方法和***，网络服务器根据预设规则将检索词进行处理成符合要求的查询字段，并将所述查询字段对应的查询请求发送给代理节点；所述代理节点根据所述查询请求确定用于处理所述查询请求的查询节点并将所述查询节点的标识发送给所述网络服务器；所述网络服务器将所述查询请求发送给所述查询节点；所述查询节点根据所述查询请求进行查询后将查询结果发送给所述网络服务器。

Description

一种数据检索方法和***

技术领域

本发明涉及计算机领域，尤其涉及一种数据检索方法和***。

背景技术

现代科学技术发展的速度越来越快，新的科技知识和信息量迅猛增加。英国学者詹姆斯〃马丁统计，人类知识的倍增周期，在19世纪为50年，20世纪前半叶为10年左右，到了70年代，缩短为5年，80年代末几乎已到了每3年翻一番的程度。近年来，全世界每天发表的论文达13000～14000篇，每年登记的新专利达70万项，每年出版的图书达50多万种。新理论、新材料、新工艺、新方法的不断出现，使知识老化的速度加快。据统计，一个人所掌握的知识半衰期在18世纪为80～90年，19～20世纪为30年，本世纪60年代为15年，进入80年代，缩短为5年左右。还有报告说，全球印刷信息的生产量每5年翻一番，《***》一周的信息量即相当于17世纪学者毕生所能接触到的信息量的总和。近30年来，人类生产的信息已超过过去5000年信息生产的总和。

随着科技的快速发展，信息资源越来越庞大，也越来越碎片化，这对数据的检索方式提出了更高的要求。要对这样海量的信息进行检索，现有的集中式搜索引擎的处理能力比较有限，存在以下问题：每条检索请求均由服务器来处理，对服务器硬件条件要求很高。

发明内容

本发明实施例提供一种数据检索方法和***，能够解决现有技术存在的每条检索请求均由服务器来处理，对服务器硬件条件要求很高的问题。

为了解决上述问题，本发明实施例提供一种数据检索方法，包括：

网络服务器根据预设规则将检索词进行处理成符合要求的查询字段，并将所述查询字段对应的查询请求发送给代理节点；

所述代理节点根据所述查询请求确定用于处理所述查询请求的查询节点并将所述查询节点的标识发送给所述网络服务器；

所述网络服务器将所述查询请求发送给所述查询节点；

所述查询节点根据所述查询请求进行查询后将查询结果发送给所述网络服务器。

可选的，所述方法之前还包括：

所述查询节点注册成功后查找代理节点并通过所述代理节点加入所述网络服务器。

可选的，所述查询节点注册成功后查找代理节点并通过所述代理节点加入所述网络服务器，包括：

所述查询节点读取配置文件，查找所述代理节点发布的地址，生成对所述代理节点的引用代理；

所述查询节点根据代理节点的反馈信息确定是否已经加入所述网络服务器。

可选的，所述方法还包括：

所述查询节点按照预设周期定期向所述代理节点发送心跳信息；

所述代理节点根据所述心跳信息更新所述查询节点的状态。

可选的，

所述查询节点按照预设周期定期向所述代理节点发送心跳信息，包括：

所述查询节点将当前状态信息封装到所述心跳信息中后发送给所述代理节点；

所述代理节点根据所述心跳信息更新所述查询节点的状态，包括：

所述代理节点根据所述心跳信息中包含的所述状态信息更新所述查询节点的状态；若超过N个预设周期未收到所述查询节点的心跳信息，则所述代理节点删除所述查询节点的注册信息，所述N为正整数。

本发明实施例还提供一种数据检索***，包括：

网络服务器，用于根据预设规则将检索词进行处理成符合要求的查询字段，并将所述查询字段对应的查询请求发送给代理节点；

所述代理节点，用于根据所述查询请求确定用于处理所述查询请求的查询节点并将所述查询节点的标识发送给所述网络服务器；

所述网络服务器，还用于将所述查询请求发送给所述查询节点；

所述查询节点，用于根据所述查询请求进行查询后将查询结果发送给所述网络服务器。

可选的，所述查询节点还用于：注册成功后查找代理节点并通过所述代理节点加入所述网络服务器。

可选的，所述查询节点具体用于：

读取配置文件，查找所述代理节点发布的地址，生成对所述代理节点的引用代理；

根据代理节点的反馈信息确定是否已经加入所述网络服务器。

可选的，

所述查询节点还用于：按照预设周期定期向所述代理节点发送心跳信息；

所述代理节点还用于：根据所述心跳信息更新所述查询节点的状态。

可选的，

所述查询节点具体用于：将当前状态信息封装到所述心跳信息中后发送给所述代理节点；

所述代理节点具体用于：根据所述心跳信息中包含的所述状态信息更新所述查询节点的状态；若超过N个预设周期未收到所述查询节点的心跳信息，则删除所述查询节点的注册信息，所述N为正整数。

本发明实施例提供的一种数据检索方法和***，网络服务器根据预设规则将检索词进行处理成符合要求的查询字段，并将所述查询字段对应的查询请求发送给代理节点；所述代理节点根据所述查询请求确定用于处理所述查询请求的查询节点并将所述查询节点的标识发送给所述网络服务器；所述网络服务器将所述查询请求发送给所述查询节点；所述查询节点根据所述查询请求进行查询后将查询结果发送给所述网络服务器。通过以上方案，降低了网络服务器的工作量，降低了对服务器的要求。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

附图说明

附图用来提供对本发明技术方案的进一步理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本发明的技术方案，并不构成对本发明技术方案的限制。

图1为本发明实施例提供的一种数据检索方法的流程示意图；

图2为本发明实施例提供的一种数据检索***的结构示意图。

具体实施方式

下面将结合附图及实施例对本发明的技术方案进行更详细的说明。

需要说明的是，如果不冲突，本发明实施例以及实施例中的各个特征可以相互结合，均在本发明的保护范围之内。另外，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

本发明实施例基于分布式搜索引擎的分层体系架构，该架构从下往上分别为物理层、抽象层、应用层和表示层，其中：

物理层提供整个结构的数据来源，是构成整个结构的基础，主要用于接收来自抽象层的检索请求，完成各个搜索引擎本身的数据检索请求任务，并且将***的标准心跳信息通过抽象层封装后发送至应用层(所述心跳信息指物理层定期地通过网络交换的信息数据包)，更新其在应用层的状态信息。物理层是由若干个分布在不同地域或环境中的同构或异构单元搜索引擎组成的综合的、分布式的一个综合搜索引擎。每个单元搜索引擎都是一个独立的、自治的搜索节点，而且其分布也可以是动态变化的。所有的单元搜索引擎协同起来为抽象层提供检索服务。因此，抽象层并不具体地依赖于某一特定的单元搜索引擎，也不依赖于特定单元搜索引擎的处理能力，它可以根据实际的需求，切合实际地把不同类型数据部署在不同的单元搜索引擎上，对该类型的数据进行特定的优化。

抽象层是一个抽象的全局的数据层，它负责接收来自应用层的检索请求，根据单元搜索引擎的异构性将查询请求封装为单元搜索引擎可接受的参数，再转发给单元搜索引擎，这些参数包括：(1)查询词，查询词的数据类型可以自定义或采用简单数据类型；(2)起始文档编号；(3)一次查询获取的文档数等。单元搜索引擎返回检索结果时，抽象层对查询结果进行处理，获取如下信息：标题(title)、与查询词相关的网格摘要等。抽象层再将获取的信息递交给应用层进行页面结果输出处理。另外，抽象层还负责物理层与应用层之间消息通信的格式转换，给相关数据的操作提供方便，屏蔽了数据的访问细节，给应用提供一致的数据源和方便统一的访问接口。通过定义一个抽象层，用户不需要知道访问每个单元搜索引擎的语法。另外，如果其中一个单元搜索引擎被替换或物理上重构，应用层的应用可不用修改。如果正确地设计了这一层，就可以做到从复杂的异构数据中分离出应用程序。

应用层是整个架构的核心层，所有的应用均在这一层完成。应用层主要用于提供数据应用的用户接口。该层接收用户的请求并且将有关的数据请求转发至抽象层，同时对抽象层返回的结果进行结果融合和优化排序后再提交给表示层。所述应用层由网络服务器组成，主要负责用户查询信息的转发和查询结果的融合，同时还负责管理各个单元搜索引擎的生存状态，运行分布式搜索引擎的前端页面，对搜索结果进行聚类分析等工作。

表示层是用户的***入口，一般是网络浏览器，为用户提供友好的检索入口和结果显示页面。

上述分层装置，在分层***的等级组织形式中，每一层都给上一层提供服务，对其下层则要求得到服务。使用这种组织方式，容易得到很多良好的特性：能够支持软件抽象层次的增长；能够有效地支持软件的升级和重用，而且能够支持层面级别上的大粒度上的软件重用。分布式的环境中，数据的存储方式和存储的位置各不相同，要很好地处理全局的有关问题，把编程人员从多层模型的复杂性中分离出来，可以将数据的存储机制分离出来成为一个新层――抽象层。抽象层的分离，不但免除了在处理多个数据源时所面临的诸如接口、协议等的麻烦，也屏蔽了***底层数据模型结构和位置的变化。在实际的应用中，还需要提供资源整合的服务，如果把一些有关资源整合的问题提出来构成一层，不但能避免在编程时的相关性，也为构造一个应用体系提供了重用和升级上的方便性和实用性。

基于上述架构，本发明实施例提供了一种数据检索方法，如图1所示，该方法包括：

步骤102、网络服务器根据预设规则将检索词进行处理成符合要求的查询字段，并将所述查询字段对应的查询请求发送给代理节点。

示例性的，网络服务器是一个容器，网络服务器除了运行***的前端页面，还进行搜索结果的聚类工作，即把搜索结果组织成一些专题分类。代理节点和查询节点对应于应用层中的应用服务器，是分布式搜索引擎***的核心部分。

步骤104、所述代理节点根据所述查询请求确定用于处理所述查询请求的查询节点并将所述查询节点的标识发送给所述网络服务器。

示例性的，代理节点是分布式搜索引擎***最顶层的调度节点，负责管理整个***，并实现以下的功能：

1、接收网络服务器输出的查询请求；

2、接受查询节点的注册请求，管理和维护其状态信息；状态信息主要由三个字段组成：存活状态(state)，处理器的利用率(cpu used)和内存的使用率(memoryused)；

3、进行查询任务分配，根据各查询节点的状态(处理器和内存状态)选择一个查询节点响应当前查询请求，并将选择结果发送给网络服务器，再由网络服务器发送查询请求给相应的查询节点。

由于代理节点是分布式搜索引擎***总的调度节点，负责管理整个***的状态信息，所以时间和空间复杂度较高的操作都不宜在代理节点内完成，以免出现瓶颈问题，而且如果代理因为负载过大而出现故障，整个分布式搜索引擎***也会瘫痪，所以代理提供的应用接口功能也比较单一，只向网络服务器提供查询节点选择服务。当接受到网络服务器的查询分配请求时，代理节点根据查询词调用节点状态管理模块的查询节点选择操作，获取一个存活的查询节点远程引用并返回给网络服务器。可以通过增加代理节点的备份节点以加强***的健壮性。

步骤106、所述网络服务器将所述查询请求发送给所述查询节点。

示例性的，多个查询节点组成查询代理池，多个查询节点并发响应用户查询，通过使用多个查询节点，解决同时响应大量请求时所产生的瓶颈问题。查询节点作为分布式搜索引擎***的中心节点，实现以下的功能：

1、与代理节点进行交互：一方面接收代理节点转发的工作节点状态更新信息并进行维护；另一方面周期性地向代理节点发送状态信息；

2、查询任务的分发：接收网络服务器的查询请求，查询后返回的命中结果进行消重、合并的处理操作，将处理后的结果发送给网络服务器，通过网络服务器展示给用户，以完成一次检索任务。

查询节点，也分为网络层、逻辑层及应用层。网络层的主要功能是与代理节点的交互通信，包括接收代理节点发送的工作节点更新状态，和主动向代理节点发送心跳状态信息。逻辑层主要负责查询节点内部逻辑功能的设计和实现；主要包括工作节点管理器和查询节点后台工作线程池两个部分。工作节点管理器负责维护工作节点的生存状态信息，周期检查工作节点的状态信息，删除超时掉线和故障的工作节点，接收代理节点发送的工作节点状态更新。查询节点后台工作线程池主要负责周期性地向代理节点报告自身的状态信息，及周期性地检查各工作节点状态并向代理节点报告。

由于查询节点主要负责查询请求的分发和查询结果的合并工作，协调各个工作节点进行分布式的检索工作，是分布式搜索引擎***中最重要的一环，所以其负载也比较大，对其稳定性的要求也比较高，所以采取由多个查询节点组成的查询代理池来解决稳定性和瓶颈问题，查询节点三层架构的设计提高了***的可扩展性、容错性和吞吐量。

步骤108、所述查询节点根据所述查询请求进行查询后将查询结果发送给所述网络服务器。

可选的，所述方法之前还可以包括：

步骤100、所述查询节点注册成功后查找代理节点并通过所述代理节点加入所述网络服务器。

可选的，步骤100可以包括：

所述查询节点读取配置文件，查找所述代理节点发布的地址，生成对所述代理节点的引用代理；

所述查询节点根据代理节点的反馈信息确定是否已经加入所述网络服务器。

可选的，所述方法还可以包括：

步骤110、所述查询节点按照预设周期定期向所述代理节点发送心跳信息；

步骤112、所述代理节点根据所述心跳信息更新所述查询节点的状态。

可选的，

步骤110，具体可以包括：所述查询节点将当前状态信息封装到所述心跳信息中后发送给所述代理节点；

步骤112，具体可以包括：

所述代理节点根据所述心跳信息中包含的所述状态信息更新所述查询节点的状态；若超过N个预设周期未收到所述查询节点的心跳信息，则所述代理节点删除所述查询节点的注册信息，所述N为正整数。

示例性的，所述各工作节点和查询节点向代理节点发送心跳信息的时间间隔10秒(即预设周期为10秒)。所述代理节点认为工作节点和查询节点超时掉线的时间设定为4(N＝4)个心跳周期，即40秒。心跳发送周期和超时时间由管理员设定。

本发明实施例提供的一种数据检索方法，网络服务器根据预设规则将检索词进行处理成符合要求的查询字段，并将所述查询字段对应的查询请求发送给代理节点；所述代理节点根据所述查询请求确定用于处理所述查询请求的查询节点并将所述查询节点的标识发送给所述网络服务器；所述网络服务器将所述查询请求发送给所述查询节点；所述查询节点根据所述查询请求进行查询后将查询结果发送给所述网络服务器。通过前述方案，能够降低网络服务器的工作量，降低对服务器的要求。

本发明实施例提供一种数据检索***00，如图2所示，所述数据检索***00包括：

网络服务器10，用于根据预设规则将检索词进行处理成符合要求的查询字段，并将所述查询字段对应的查询请求发送给代理节点20；

所述代理节点20，用于根据所述查询请求确定用于处理所述查询请求的查询节点并将所述查询节点30的标识发送给所述网络服务器10；

所述网络服务器10，还用于将所述查询请求发送给所述查询节点30；

所述查询节点30，用于根据所述查询请求进行查询后将查询结果发送给所述网络服务器10。

可选的，所述查询节点30还用于：注册成功后查找代理节点20并通过所述代理节点20加入所述网络服务器。

可选的，所述查询节点30具体用于：

读取配置文件，查找所述代理节点20发布的地址，生成对所述代理节点20的引用代理；

根据代理节点20的反馈信息确定是否已经加入所述网络服务器10。

可选的，

所述查询节点30还用于：按照预设周期定期向所述代理节点20发送心跳信息；

所述代理节点20还用于：根据所述心跳信息更新所述查询节点30的状态。

可选的，

所述查询节点30具体用于：将当前状态信息封装到所述心跳信息中后发送给所述代理节点20；

所述代理节点20具体用于：根据所述心跳信息中包含的所述状态信息更新所述查询节点30的状态；若超过N个心跳周期未收到所述查询节点30的心跳信息，则删除所述查询节点30的注册信息，所述N为正整数。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

对于方法类实施例而言，由于其与装置实施例基本相似，所以描述的比较简单，相关之处参见装置实施例的部分说明即可。

本发明实施例提供的数据检索***，网络服务器，用于根据预设规则将检索词进行处理成符合要求的查询字段，并将所述查询字段对应的查询请求发送给代理节点；所述代理节点，用于根据所述查询请求确定用于处理所述查询请求的查询节点并将所述查询节点的标识发送给所述网络服务器；所述网络服务器，还用于将所述查询请求发送给所述查询节点；所述查询节点，用于根据所述查询请求进行查询后将查询结果发送给所述网络服务器。通过前述方案，能够降低网络服务器的工作量，降低对服务器的要求。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受所述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

本领域普通技术人员可以理解上述方法中的全部或部分步骤可通过程序来指令相关硬件完成，所述程序可以存储于计算机可读存储介质中，如只读存储器、磁盘或光盘等。可选地，上述实施例的全部或部分步骤也可以使用一个或多个集成电路来实现。相应地，上述实施例中的各模块/单元可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。本发明不限制于任何特定形式的硬件和软件的结合。

虽然本发明所揭露的实施方式如上，但所述的内容仅为便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属领域内的技术人员，在不脱离本发明所揭露的精神和范围的前提下，可以在实施的形式及细节上进行任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (10)

1.一种数据检索方法，其特征在于，包括：

网络服务器根据预设规则将检索词进行处理成符合要求的查询字段，并将所述查询字段对应的查询请求发送给代理节点；

所述代理节点根据所述查询请求确定用于处理所述查询请求的查询节点并将所述查询节点的标识发送给所述网络服务器；

所述网络服务器将所述查询请求发送给所述查询节点；

所述查询节点根据所述查询请求进行查询后将查询结果发送给所述网络服务器。

2.根据权利要求1所述的方法，其特征在于，所述方法之前还包括：

所述查询节点注册成功后查找所述代理节点并通过所述代理节点加入所述网络服务器。

3.根据权利要求2所述的方法，其特征在于，所述查询节点注册成功后查找代理节点并通过所述代理节点加入所述网络服务器，包括：

所述查询节点读取配置文件，查找所述代理节点发布的地址，生成对所述代理节点的引用代理；

所述查询节点根据所述代理节点的反馈信息确定是否已经加入所述网络服务器。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

所述查询节点按照预设周期定期向所述代理节点发送心跳信息；

所述代理节点根据所述心跳信息更新所述查询节点的状态。

5.根据权利要求4所述的方法，其特征在于，

所述查询节点按照预设周期定期向所述代理节点发送心跳信息，包括：

所述查询节点将当前状态信息封装到所述心跳信息中后发送给所述代理节点；

所述代理节点根据所述心跳信息更新所述查询节点的状态，包括：

所述代理节点根据所述心跳信息中包含的所述状态信息更新所述查询节点的状态；若超过N个预设周期未收到所述查询节点的心跳信息，则所述代理节点删除所述查询节点的注册信息，所述N为正整数。

6.一种数据检索***，其特征在于，包括：

网络服务器，用于根据预设规则将检索词进行处理成符合要求的查询字段，并将所述查询字段对应的查询请求发送给代理节点；

所述代理节点，用于根据所述查询请求确定用于处理所述查询请求的查询节点并将所述查询节点的标识发送给所述网络服务器；

所述网络服务器，还用于将所述查询请求发送给所述查询节点；

所述查询节点，用于根据所述查询请求进行查询后将查询结果发送给所述网络服务器。

7.根据权利要求6所述的***，其特征在于，所述查询节点还用于：注册成功后查找代理节点并通过所述代理节点加入所述网络服务器。

8.根据权利要求7所述的***，其特征在于，所述查询节点具体用于：

读取配置文件，查找所述代理节点发布的地址，生成对所述代理节点的引用代理；

根据所述代理节点的反馈信息确定是否已经加入所述网络服务器。

9.根据权利要求6所述的***，其特征在于，

所述查询节点还用于：按照预设周期定期向所述代理节点发送心跳信息；

所述代理节点还用于：根据所述心跳信息更新所述查询节点的状态。

10.根据权利要求9所述的***，其特征在于，

所述查询节点具体用于：将当前状态信息封装到所述心跳信息中后发送给所述代理节点；

所述代理节点具体用于：根据所述心跳信息中包含的所述状态信息更新所述查询节点的状态；若超过N个预设周期未收到所述查询节点的心跳信息，则删除所述查询节点的注册信息，所述N为正整数。