CN103023938A - 一种服务器集群的服务能力控制方法和*** - Google Patents

Abstract

本申请提供了一种服务器集群的服务能力控制方法，包括：监控集群中服务器的服务状态信息，并判断所述服务状态信息是否超过预设阈值；若是，则按照所述服务状态信息确定在后的服务请求所分发的服务器数量，所述在后服务请求所分发的服务器数量小于所述服务状态信息未超过预设阈值时服务请求所分发的服务器数量；按照所述在后服务请求所分发的服务器数量，按照预置规则确定集群中相应数量的目标服务器；将接收的服务请求分发至所述目标服务器。本申请可以快速应对超过服务能力的突发流量，并确保服务不中断。

Description

一种服务器集群的服务能力控制方法和***

技术领域

本申请涉及服务器集群的技术领域，特别是涉及一种服务器集群的服务能力控制方法和***。

背景技术

目前，各类大型企业、大型网站都采用服务器集群进行资源管理。所谓服务器集群，就是指将多台服务器集中起来进行同一种服务，在客户端看来就像是只有一个服务器。集群可以利用多个计算机进行并行计算从而获得很高的计算速度，也可以用多个计算机做备份，即使其中一个机器出现故障，整个搜索服务器集群仍然能正常运行。

每个服务器集群有自己的服务极限，在面临超出自己服务能力的流量时，会导致搜索服务器集群进入部分不可服务状态，甚至完全不可服务状态。例如，搜索服务器集群资源耗尽，将导致所有的请求都不能完成或者全部超时；，搜索服务器集群被迫随机或者根据优先级抛弃部分请求。然而，在一些大型网站的应用中，尤其是在某些消费者对消费者(Customer-to-Customer，C2C)模式的电子商务网站中，由于商品数量巨大，用户数量众多，在商品搜索的过程中，面对超过服务能力的突发流量时，如果突然发生服务中断，将严重影响用户体验。

现有技术中，对于超过服务能力的突发流量时，一般采用丢弃部分请求的方式，具体为随机丢弃请求，或者根据来源、查询模式按照配置的优先级逐步丢弃不重要的请求，尽量确保重要的请求。但这种方式总是会导致服务的部分不可用。

现有技术的另一种应对超过服务能力的突发流量的方式是在集群中添加服务器，然而这种方式的缺点是反应慢，尤其是因为突发超过服务能力的流量一般来说是非正常的增长，在添加机器时，机器的准备以及数据的同步都需要时间，在这段时间内可能导致搜索服务器集群进入部分服务不可用的状态，并且，在机器添加过程中还需要人工介入，不够智能，反应滞后，不能快速应对突发的流量尖峰。

因此，目前需要本领域技术人员迫切解决的一个技术问题就是：提出一种服务器集群的服务能力控制机制，用以快速应对超过服务能力的突发流量，并确保服务不中断。

发明内容

本申请所要解决的技术问题是，提供一种服务器集群的服务能力控制方法和***，用以快速应对超过服务能力的突发流量，并确保服务不中断。

为了解决上述问题，本申请公开了一种服务器集群的服务能力控制方法，包括：

监控集群中服务器的服务状态信息，并判断所述服务状态信息是否超过预设阈值；

若是，则按照所述服务状态信息确定在后的服务请求所分发的服务器数量，所述在后服务请求所分发的服务器数量小于所述服务状态信息未超过预设阈值时服务请求所分发的服务器数量；

按照所述在后服务请求所分发的服务器数量，按照预置规则确定集群中相应数量的目标服务器；

将接收的服务请求分发至所述目标服务器。

优选的，所述集群中包括分发查询请求/合并查询结果的服务器Merger，以及，提供查询服务的服务器Searcher，其中，所述提供查询服务的服务器Searcher采用行列式分布，一行M个提供查询服务的服务器Searcher上的数据构成一份完整数据，一列N个提供查询服务的服务器Searcher上的数据是一致的；其中，M、N＞1且为整数。

优选的，所述服务状态信息为以下状态信息中的至少一种：

提供查询服务的服务器Searcher中的任务队列长度；

提供查询服务的服务器Searcher中的CPU负载情况；

提供查询服务的服务器Searcher处理一个服务请求的平均时间。

优选的，所述监控集群中服务器的服务状态信息，并判断所述服务状态信息是否超过预设阈值的步骤包括：

各台提供查询服务的服务器Searcher定时或实时汇报其自身的服务状态信息；

汇总所述各台提供查询服务的服务器Searcher汇报的服务状态信息，根据汇总后的服务状态信息，判断所述是否超过预设阈值。

优选的，所述在服务状态信息超过预设阈值时，按照服务状态信息确定在后的服务请求所分发的服务器数量的步骤包括：

在服务状态信息超过预设阈值时，按照服务状态信息确定对应的服务降级级别；

根据所述服务降级级别确定在后的服务请求所分发的服务器数量。

优选的，所述服务降级级别包括多个级别，各个服务降级级别分别具有对应的服务器分发数量信息；

所述在服务状态信息超过预设阈值时，按照服务状态信息确定对应的服务降级级别的步骤包括：

在集群中服务器当前的服务状态信息超过预设阈值的第一个取值范围时，确定对应的服务降级级别为第一服务降级级别，所述第一服务降级级别具有对应的第一服务器分发数量信息；

在集群中服务器当前的服务状态信息超过预设阈值的第二个取值范围时，确定对应的服务降级级别为第二服务降级级别，所述第二服务降级级别具有对应的第二服务器分发数量信息；依此类推。

优选的，所述按照在后服务请求所分发的服务器数量，按照预置规则确定集群中相应数量的目标服务器的步骤包括：

将确定的服务降级级别通知分发查询请求/合并查询结果的服务器Merger；

所述分发查询请求/合并查询结果的服务器Merger接收到用户提交的服务请求后，从所述请求中去除指定参数；

根据所述服务降级级别对应的服务器分发数量信息，以及，去除指定参数后的服务请求，确定固定列上的目标服务器Searcher去除。

优选的，所述N个提供查询服务的服务器Searcher上的索引数据一样，称之为1列；一份完整的索引数据由M列构成，称之为1行；其中，M＞1且为整数，

在所述按照在后服务请求所分发的服务器数量，将接收的服务请求分发至集群中相应数量的服务器上的步骤之前，所述的方法还包括：

若集群中服务器的服务状态信息，未超过预设阈值，则分发查询请求/合并查询结果的服务器Merger在收到服务请求时，在每列中抽取一台提供查询服务的服务器Searcher，总共选择M台提供查询服务的服务器Searcher，作为未超过预设阈值时服务请求所分发的服务器数量。

优选的，所述的方法，还包括：

由所述相应的提供查询服务的服务器Searcher执行搜索操作，并将搜索结果返回给分发查询请求/合并查询结果的服务器Merger；

由所述分发查询请求/合并查询结果的服务器Merger整理所述搜索结果，并将整理后的搜索结果返回给用户。

优选的，在按照在后服务请求所分发的服务器数量的步骤之前，还包括：

当集群中服务器的服务状态信息恢复至预设阈值范围内时，按照所述服务状态信息确定在后的服务请求所分发的服务器数量，所述在后服务请求所分发的服务器数量大于所述服务状态信息超过预设阈值时服务请求所分发的服务器数量。

本申请实施例还公开了一种服务器集群的服务能力控制***，包括：

监控模块，用于监控集群中服务器的服务状态信息，并判断所述服务状态信息是否超过预设阈值；若是，则调用服务降级处理模块；

服务降级处理模块，用于按照所述服务状态信息确定在后的服务请求所分发的服务器数量，所述在后服务请求所分发的服务器数量小于所述服务状态信息未超过预设阈值时服务请求所分发的服务器数量；

数据选择模块，用于按照所述在后服务请求所分发的服务器数量，按照预置规则确定集群中相应数量的目标服务器；

请求分发模块，用于将接收的服务请求分发至所述目标服务器上。

优选的，所述集群中包括分发查询请求/合并查询结果的服务器Merger，以及，提供查询服务的服务器Searcher，其中，所述提供查询服务的服务器Searcher采用行列式分布，一行M个提供查询服务的服务器Searcher上的数据构成一份完整数据，一列N个提供查询服务的服务器Searcher上的数据是一致的；其中，M、N＞1且为整数；

所述监控模块设置在提供查询服务的服务器Searcher中，所述数据选择模块和请求分发模块设置在分发查询请求/合并查询结果的服务器Merger中，所述服务降级处理模块独立设置。

与现有技术相比，本申请包括以下优点：

在搜索服务集群中通过监控搜索服务器集群能力指标，在面对超过服务能力的突发流量时自适应地对搜索服务降级，即动态减少搜索数据集的方式来迅速提升服务能力，以牺牲数据的完整性换取服务不中断，在流量恢复正常时能快速恢复搜索服务器集群服务级别。本申请针对短期的突发流量不需要人工介入，在智能的服务降级过程中快速提升服务能力确保服务的不中断。

附图说明

图1是本申请一种服务器集群的服务能力控制方法实施例的步骤流程图；

图2是本申请一种服务器集群的服务能力控制***实施例的结构框图。

具体实施方式

为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本申请作进一步详细的说明。

目前，搜索引擎通过对需要查询的文本建立倒排索引(inverted index)来支持快速的文本查询。倒排索引源于实际应用中需要根据属性的值来查找记录。这种索引表中的每一项都包括一个属性值和具有该属性值的各记录的地址。由于不是由记录来确定属性值，而是由属性值来确定记录的位置，因而称为倒排索引。

以在某大型电子商务网站的商品搜索为例，通过对商品的标题建立倒排索引，进行商品的查询流程如下：

步骤S1、接收用户端输入的查询关键词以及其他查询条件，如过滤、统计、排序等条件；

步骤S2、将查询关键词进行分词，然后分词后的每个词查询倒排表，并对这些词的倒排表进行集合运算和位置关系计算，得到该查询关键词的最终商品列表；

步骤S3、对满足条件的商品进行其他运算后返回给用户端。

大型搜索集群架构通常采用多行多列的方式来提供大规模高并发的搜索服务；大型搜索集群文档数很大，建库后索引数量也很大，通常需要将其分成多份，放在多台搜索机器(Searcher)上，即这n台机器构成完整的一份索引。并且，由于同时进行搜索的用户庞大，一台机器无法提供这样高并发的搜索服务，所以需要由具有相同索引的m个Searcher来共同提供服务。

在实际中，将具有相同索引的机器称之为1列(col)，共n列；一份完整的索引由n列构成，称之为1行(row)，共m行；即多行多列的架构。

一般而言，大型网站进行搜索查询的基本过程如下：

1、当一个搜索请求(query)到达分发请求/合并查询结果的服务器(Merger)后，从每列搜索服务器(Searcher)中随机选取1台(在实际中，1列中每台被选取的概率基本相同，以实现负载均衡)，并将query发送给这些Searcher；

2、每台Searcher收到搜索请求query后，将查询关键词进行分词，然后利用分词后的每个词根(token)查询其倒排表，并对这些token的倒排表进行集合运算和位置关系计算，得到该查询关键词的最终的搜索结果doclist；将doclist与其它查询条件做集合运算，然后进行一些统计和排序rank后将结果返回给Merger；

3、Merger收到每台Searcher的返回结果后，进行汇总，然后将结果返回用户端。

在大型搜索服务器集群行列式架构中，列数由全部数据量/单机支持数据量决定。行数由搜索服务器集群设计服务能力/单行服务能力决定。

在面对超出设计服务能力的流量时，为保证搜索服务器集群的可用性，现有技术中若采用丢弃部分请求的方式，如背景技术部分所述，此种方式总是会导致服务的部分不可用。或者，采用在集群中添加服务器的方式应对超过服务能力的突发流量，然而这种方式的缺点是反应慢，尤其是在超过服务能力的突发流量是非正常的增长的情况下，在添加机器时，必须添加一行，但由于机器的准备以及数据的同步都需要时间，在这段时间内可能导致搜索服务器集群进入部分服务不可用的状态，并且，在机器添加过程中还需要人工介入，不够智能，所以，这种方式也不能快速应对突发的流量尖峰。

针对上述问题，本专利发明人创造性地提出本申请的核心构思在于，在搜索服务集群中通过监控搜索服务器集群能力指标，在面对超过服务能力的突发流量时，自适应地对搜索服务降级，即动态减少搜索数据集的方式来迅速提升服务能力，以牺牲数据的完整性换取服务不中断，在流量恢复正常时，能快速恢复搜索服务器集群服务级别。本申请针对短期的突发流量不需要人工介入，在智能的服务降级过程中快速提升服务能力确保服务的不中断。

参照图1，其示出了本申请一种服务器集群的服务能力控制方法实施例的步骤流程图，具体可以包括以下步骤：

步骤101、监控集群中服务器的服务状态信息，并判断所述服务状态信息是否超过预设阈值；若是，则执行步骤102；

以在搜索服务器集群中应用本申请实施例为例，如本说明书上文中相关部分所述，所述集群中可以包括分发查询请求/合并查询结果的服务器Merger，以及，提供查询服务的服务器Searcher，其中，所述提供查询服务的服务器Searcher采用行列式分布，一行M个提供查询服务的服务器Searcher上的数据构成一份完整数据，一列N个提供查询服务的服务器Searcher上的数据是一致的；其中，M、N＞1且为整数。在具体实现中，所述集群中服务器的服务状态信息可以为Searcher中的任务队列长度，Searcher中的CPU负载情况，和/或，Searcher处理一个服务请求的平均时间。

其中，Searcher中的任务队列长度和Searcher中的CPU负载情况，可以通过接口程序读取操作搜索服务器集群当前状态，或者采用开源的监控软件获得此类服务状态信息。Searcher处理一个服务请求的平均时间可以通过在程序中嵌入统计代码，在运行时刻动态计算获得。

当然，上述服务状态信息的获取方式仅仅用作示例，本领域技术人员根据实际情况采用其它服务状态信息作为监控对象也是可行的，本申请对此无需加以限制。

作为本申请实施例具体应用的一种示例，所述步骤101具体可以包括以下子步骤：

子步骤S11、各台提供查询服务的服务器Searcher定时或实时汇报其自身的服务状态信息；

子步骤S12、汇总所述各台提供查询服务的服务器Searcher汇报的服务状态信息，根据汇总后的服务状态信息，判断是否超过预设阈值。

所述预设阈值可以由本领域技术人员根据实际情况任意设置。以监控Searcher中的任务队列长度为例，在线下可以根据实验确定一个合理的长度值，比如说110，为服务能力的理论上限。线上阈值配置一般略小于此理论上限，比如说100。当上报任务队列长度为50时，则可以认为是安全的，搜索服务器集群余量可以简单的任务为(100-50)/50＝100％。当上报的任务队列长度超过100时，可以认为超过阈值。

例如，集群运行时，各台Searcher在每次服务之前分别检查其自身的任务队列长度，并通过UDP(User Datagram Protocol，用户数据包协议)网络通讯包汇报任务队列长度的信息，通过汇总各台Searcher的任务队列长度，并将汇总后各台Searcher的任务队列长度与预设的服务能力极限的阈值进行对比，如果预设各台Searcher的任务队列长度极限的阈值为100，当前已有90％的Searcher的任务队列长度超过此阈值，则判定需要执行下一步骤；或者，如果所有Searcher的任务队列长度极限的阈值为10000，汇总所有Searcher的任务队列长度为10500，于是判定需要执行下一步。

当然，上述判断服务状态信息是否超过预设阈值的方法仅仅用作示例，在实际中，本领域技术人员设置任一种判断方法都是可行的，本申请对此不作限制。例如，预设各台Searcher的任务队列长度极限的阈值为100，计算当前各台Searcher的平均任务队列长度，若超过此阈值，则判定需要执行下一步。

步骤102、按照所述服务状态信息，确定在后的服务请求所分发的服务器数量；

其中，所述在后服务请求所分发的服务器数量小于所述服务状态信息未超过预设阈值时服务请求所分发的服务器数量。

本步骤用于在面对超过服务能力的突发流量时，自适应地对搜索服务进行降级。在本申请的一种优选实施例中，本步骤具体可以包括如下子步骤：

子步骤S21、在服务状态信息超过预设阈值时，按照服务状态信息确定对应的服务降级级别；

在具体实现中，所述服务降级级别可以包括多个级别，各个服务降级级别分别具有对应的服务器分发数量信息；在这种情况下，所述子步骤S21具体可以按如下方式进行操作：

在集群中服务器当前的服务状态信息超过预设阈值的第一个取值范围时，确定对应的服务降级级别为第一服务降级级别，所述第一服务降级级别具有对应的第一服务器分发数量信息；

在集群中服务器当前的服务状态信息超过预设阈值的第二个取值范围时，确定对应的服务降级级别为第二服务降级级别，所述第二服务降级级别具有对应的第二服务器分发数量信息；

依此类推。

子步骤S22、根据所述服务降级级别，确定在后的服务请求所分发的服务器数量。

进一步地，为适应实际中超过服务能力的突发流量回复至正常流量的情形，在本申请实施例中还可以通过以下步骤自适应地恢复搜索服务能力：

当集群中服务器的服务状态信息恢复至预设阈值范围内时，按照所述服务状态信息确定在后的服务请求所分发的服务器数量，所述在后服务请求所分发的服务器数量大于所述服务状态信息超过预设阈值时服务请求所分发的服务器数量。

例如，根据Searcher汇报的状态，选择一个服务降级级别，比如说M/2，以网络消息的机制通知各个Merger；Merger收到用户的搜索查询请求，选择M/2台机器，每列一台，发送用户查询请求给M/2台Searcher。

在实际应用中，降级服务下的服务能力可以通过以下公式进行计算：

单行Searcher的服务能力为P，搜索服务器集群的行数为N，一行Searcher数量为M，则搜索服务器集群的总服务能力为P*N。

在服务降级的情况下，如果Merger只发送一个服务请求到M/2个Searcher，则单行Searcher的服务能力提升为2P，搜索服务器集群的总服务能力为2P*N。

在本申请的一种优选实施例中，把一个服务请求(在搜索服务器集群的应用中即为查询请求)发送的Searcher的数量，定义为服务降级级别，则服务降级级别的选择范围为[M，1]，相应的，搜索服务器集群的总服务能力范围为[P*N，P*M*N]。在这种情况下，某一级别Q下的服务能力计算公式为：

服务能力Q＝P*N*M/Q。

在实际中，可以采用如下方式计算初始的服务降级级别：

如前所述，通过监控Searcher上能代表目前服务水平的指标，如任务队列的长度，通过大量测试，得到正常服务下该指标可接受的最大值A，通过汇总各Searcher汇报的指标后对集群服务能力状态进行判断，如果90％机器指标超过A(阈值可以根据实际需要来确定，这里取90％只是为了说明算法)，则启动降级服务。初始降级级别的选择可以根据目前服务器指标的平均值a和期望恢复到的指标(一般略小于A，这里可以取0.9A)来计算。

即级别L＝Floor(0.9AM/a)，其中，Floor为一般的地板函数。

接下来，可以进一步采用如下方式动态调整服务降级级别：

得到初始服务降级级别后，把每一个查询请求根据降级级别选择部分Searcher发送。此时，搜索服务器集群总的服务能力开始提升，考虑到流量也在不断变化，于是继续监控Searcher上汇报的指标，不断服务调整降级级别。原则为在确保服务不中断的前提下尽可能保证数据的完整性。

更具体而言，如果指标继续恶化，则采用类似初始服务降级级别选择算法继续对服务进行降级。例如，此时期望恢复到的指标可以取上次期望值的0.9；

如果指标稳定在预设阈值附近，则继续观察，不作处理；

如果指标恢复到预设阈值的范围内，则采用单步提升级别的方式逐步恢复数据完整性。每次提升后需要观察一个周期，周期时间由配置来确定，一般可以选择为分钟级别。

以C2C网站中的商品搜索为例，若搜索服务器集群配置为3台Merger，5行search，每行10台。1份完整的商品数据根据商品id平分为10份。每列的5台Searcher机器加载同样的数据，一行10台机器组成一份完整的数据。

搜索服务器集群监控指标为search上的任务队列长度，通过线下大量实验，确定任务队列长度100以下为正常状态，超过100后即搜索服务器集群陷入部分不可服务。

搜索服务器集群运行时，Searcher在每次服务之前，检查任务队列的长度，并通过UDP网络通讯包进行汇报。假如目前汇报的任务队列长度为200，则服务降级级别为5，即原来每个请求需要发给10台Searcher，现在只需要发给5台Searcher，搜索服务器集群的服务能力提升一倍。

通过控制命令把服务降级级别发送给Merger机器，Merger对后面的用户请求开始降级服务，即每个请求只发送5个Searcher机器。此时有3种可能：

第一种，流量继续增大，Searcher汇报的任务队列长度继续维持在100以上，需要加大服务降级力度，动态调整服务降级级别，具体可以采用类似初始服务降级级别选择算法继续对服务进行降级。

第二种，流量稳定，维持服务降级力度。

第三种，流量逐步减少，Searcher汇报的任务队列长度减小，则逐步恢复服务级别，此时，总控搜索服务器集群每隔1分钟发送控制命令给Merger，服务级别从6开始逐步提升到10。

步骤103、按照所述在后服务请求所分发的服务器数量，按照预置规则确定集群中相应数量的目标服务器；

在本申请的一种优选实施例中，所述步骤103具体可以包括如下子步骤：

子步骤S31、将确定的服务降级级别通知Merger；

子步骤S32、Merger接收到用户提交的服务请求后，从所述请求中去除指定参数；

在实际中，所述指定参数为影响搜索结果数据一致性的参数，比如翻页相关参数。

子步骤S33、根据所述服务降级级别对应的服务器分发数量信息，以及，去除指定参数后的服务请求，确定固定列上的目标服务器Searcher。

为了保证同一个请求查询结果的一致性，以及在用户翻页情况下搜索结果的有序性，优选地，本申请实施例不按照搜索服务器集群的服务降级级别随机选择部分Searcher发送；而是通过去除查询请求中影响数据保证一致性的参数(如翻页相关参数等)，按照搜索服务器集群降级级别选择固定列的Searcher发送请求。例如，服务器集群为8列，当前服务降级到4列，即一个查询请求需要发送到4列服务器，则去除指定参数后，相同查询条件选择相同的4列服务器。

或如，用户按照价格排序看第一页时返回的是10块到40块的商品信息，如果翻页后，发送该请求到与第一页不一样的searcher上，搜索结果返回的可能有20块的商品信息，这时数据就会出现不一致的现象，即20块的商品信息出现在40块的商品信息之后，这与设定的价格排序条件不符。此时，可通过去除查询请求中影响数据一致性的参数(如翻页相关参数等)，并选择固定列的Searcher发送请求，即若用户查看的第一页是第1、3、5列3个searcher上的搜索结果，那么用户查看的第二页是也必须是第1、3、5列3个searcher上的搜索结果。

作为本实施例具体应用的一种示例，假设当前服务降级级别为5，即对应的服务器分发数量为5，即在10台Searcher中抽取5台，此时共有252种排列组合，当然在实际中，本领域技术人员也可以根据实际情况选取其中常用的一些排列组合，如取50种常用的排列组合，并为每种排列组合分配对应的序号，当收到查询请求后，去除请求中的翻页相关参数，对去除该参数后的请求进行哈希运算(Hash)，获得一个数字，依据该数字提取对应序号的排列组合所包含的固定列的Searcher，比如为1、3、5、7、9列的Searcher，作为目标Searcher，即可在后续步骤中将接收的服务请求分发至所述目标Searcher。

步骤104、将接收的服务请求分发至所述目标服务器。

在具体实现中，若集群中服务器的服务状态信息，未超过预设阈值，则可以由Merger在收到服务请求时，在每列中抽取一台提供查询服务的服务器Searcher，总共选择M台提供查询服务的服务器Searcher，所述M即为未超过预设阈值时服务请求所分发的服务器数量，将接收的服务请求分发至所述M台Searcher上。

在具体的搜索服务器集群的应用中，所述Searcher执行搜索操作，并将搜索结果返回给Merger；然后由Merger整理所述搜索结果，并将整理后的搜索结果返回给用户。

需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。

参考图2，示出了本申请的一种服务器集群的服务能力控制***实施例的结构框图，具体可以包括以下模块：

监控模块201，用于监控集群中服务器的服务状态信息，并判断所述服务状态信息是否超过预设阈值；若是，则调用服务降级处理模块202；

服务降级处理模块202，用于按照所述服务状态信息确定在后的服务请求所分发的服务器数量，所述在后服务请求所分发的服务器数量小于所述服务状态信息未超过预设阈值时服务请求所分发的服务器数量；

数据选择模块203，用于按照所述在后服务请求所分发的服务器数量，按照预置规则确定集群中相应数量的目标服务器；

请求分发模块204，用于将接收的服务请求分发至所述目标服务器。

以在搜索服务器集群中应用本申请实施例为例，如本说明书上文中相关部分所述，所述集群中可以包括分发查询请求/合并查询结果的服务器Merger，以及，提供查询服务的服务器Searcher，其中，所述提供查询服务的服务器Searcher采用行列式分布，一行M个提供查询服务的服务器Searcher上的数据构成一份完整数据，一列N个提供查询服务的服务器Searcher上的数据是一致的；其中，M、N＞1且为整数。

如图2所示，在具体实现中，所述监控模块可以设置在Searcher中，所述数据选择模块和请求分发模块可以设置在Merger中，所述服务降级处理模块可以独立设置。

作为本申请实施例具体应用的示例，所述集群中服务器的服务状态信息可以为提供查询服务的服务器Searcher中的任务队列长度，提供查询服务的服务器Searcher中的CPU负载情况，和/或，提供查询服务的服务器Searcher处理一个服务请求的平均时间。

在本申请的一种优选实施例中，所述监控模块201具体可以包括以下模块：

汇报子模块，用于由各台提供查询服务的服务器Searcher定时或实时汇报其自身的服务状态信息；

汇总子模块，用于汇总所述各台提供查询服务的服务器Searcher汇报的服务状态信息；

判断子模块，用于根据汇总后的服务状态信息，判断所述是否超过预设阈值。

在本申请的一种优选实施例中，所述服务降级处理模块202具体可以包括以下子模块：

降低级别确定子模块，用于在服务状态信息超过预设阈值时，按照服务状态信息确定对应的服务降级级别；

服务器数量调整子模块，用于根据所述服务降级级别确定在后的服务请求所分发的服务器数量。

作为本实施例具体应用的一种救命，所述服务降级级别可以包括多个级别，各个服务降级级别分别具有对应的服务器分发数量信息；

降低级别确定子模块可以按如下方式按照服务状态信息确定对应的服务降级级别：

在集群中服务器当前的服务状态信息超过预设阈值的第一个取值范围时，确定对应的服务降级级别为第一服务降级级别，所述第一服务降级级别具有对应的第一服务器分发数量信息；

在集群中服务器当前的服务状态信息超过预设阈值的第二个取值范围时，确定对应的服务降级级别为第二服务降级级别，所述第二服务降级级别具有对应的第二服务器分发数量信息；

依此类推。

在本申请的一种优选实施例中，所述数据选择模块203具体可以包括以下子模块：

通知子模块，用于将确定的服务降级级别通知分发查询请求/合并查询结果的服务器Merger；

参数去除子模块，用于由所述分发查询请求/合并查询结果的服务器Merger接收到用户提交的服务请求后，从所述请求中去除指定参数；

目标服务器确定子模块，用于根据所述服务降级级别对应的服务器分发数量信息，以及，去除指定参数后的服务请求，确定固定列上的目标服务器Searcher。

在具体实现中，所述***实施例还可以包括以下模块：

正常处理模块，用于在集群中服务器的服务状态信息，未超过预设阈值时，分发查询请求/合并查询结果的服务器Merger在收到服务请求时，在每列中抽取一台提供查询服务的服务器Searcher，总共选择M台提供查询服务的服务器Searcher，作为未超过预设阈值时服务请求所分发的服务器数量。

在搜索服务的应用中，所述***实施例还可以包括以下模块：

搜索模块，用于由所述相应的提供查询服务的服务器Searcher执行搜索操作，并将搜索结果返回给分发查询请求/合并查询结果的服务器Merger；

结果返回模块，用于由所述分发查询请求/合并查询结果的服务器Merger整理所述搜索结果，并将整理后的搜索结果返回给用户。

为适应实际中超过服务能力的突发流量回复至正常流量的情形，本***实施例还可以包括以下模块：

能力恢复处理模块，用于在集群中服务器的服务状态信息恢复至预设阈值范围内时，按照所述服务状态信息确定在后的服务请求所分发的服务器数量，所述在后服务请求所分发的服务器数量大于所述服务状态信息超过预设阈值时服务请求所分发的服务器数量。

对于***实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本申请可用于众多通用或专用的计算***环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器***、基于微处理器的***、置顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何***或设备的分布式计算环境等等。

本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个......”限定的要素，并不去除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上对本申请所提供的一种服务器集群的服务能力控制方法和一种服务器集群的服务能力控制***进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (12)

1.一种服务器集群的服务能力控制方法，其特征在于，包括：

监控集群中服务器的服务状态信息，并判断所述服务状态信息是否超过预设阈值；

若是，则按照所述服务状态信息确定在后的服务请求所分发的服务器数量，所述在后服务请求所分发的服务器数量小于所述服务状态信息未超过预设阈值时服务请求所分发的服务器数量；

按照所述在后服务请求所分发的服务器数量，按照预置规则确定集群中相应数量的目标服务器；

将接收的服务请求分发至所述目标服务器。

2.根据权利要求1所述的方法，其特征在于，所述集群中包括分发查询请求/合并查询结果的服务器Merger，以及，提供查询服务的服务器Searcher，其中，所述提供查询服务的服务器Searcher采用行列式分布，一行M个提供查询服务的服务器Searcher上的数据构成一份完整数据，一列N个提供查询服务的服务器Searcher上的数据是一致的；其中，M、N＞1且为整数。

3.根据权利要求2所述的方法，其特征在于，所述服务状态信息为以下状态信息中的至少一种：

提供查询服务的服务器Searcher中的任务队列长度；

提供查询服务的服务器Searcher中的CPU负载情况；

提供查询服务的服务器Searcher处理一个服务请求的平均时间。

4.根据权利要求3所述的方法，其特征在于，所述监控集群中服务器的服务状态信息，并判断所述服务状态信息是否超过预设阈值的步骤包括：

各台提供查询服务的服务器Searcher定时或实时汇报其自身的服务状态信息；

汇总所述各台提供查询服务的服务器Searcher汇报的服务状态信息，根据汇总后的服务状态信息，判断所述是否超过预设阈值。

5.根据权利要求2、3或4所述的方法，其特征在于，所述在服务状态信息超过预设阈值时，按照服务状态信息确定在后的服务请求所分发的服务器数量的步骤包括：

在服务状态信息超过预设阈值时，按照服务状态信息确定对应的服务降级级别；

根据所述服务降级级别确定在后的服务请求所分发的服务器数量。

6.根据权利要求5所述的方法，其特征在于，所述服务降级级别包括多个级别，各个服务降级级别分别具有对应的服务器分发数量信息；

所述在服务状态信息超过预设阈值时，按照服务状态信息确定对应的服务降级级别的步骤包括：

在集群中服务器当前的服务状态信息超过预设阈值的第一个取值范围时，确定对应的服务降级级别为第一服务降级级别，所述第一服务降级级别具有对应的第一服务器分发数量信息；

在集群中服务器当前的服务状态信息超过预设阈值的第二个取值范围时，确定对应的服务降级级别为第二服务降级级别，所述第二服务降级级别具有对应的第二服务器分发数量信息；依此类推。

7.根据权利要求6所述的方法，其特征在于，所述按照在后服务请求所分发的服务器数量，按照预置规则确定集群中相应数量的目标服务器的步骤包括：

将确定的服务降级级别通知分发查询请求/合并查询结果的服务器Merger；

所述分发查询请求/合并查询结果的服务器Merger接收到用户提交的服务请求后，从所述请求中去除指定参数；

根据所述服务降级级别对应的服务器分发数量信息，以及，去除指定参数后的服务请求，确定固定列上的目标服务器Searcher去除。

8.根据权利要求5所述的方法，其特征在于，所述N个提供查询服务的服务器Searcher上的索引数据一样，称之为1列；一份完整的索引数据由M列构成，称之为1行；其中，M＞1且为整数，

在所述按照在后服务请求所分发的服务器数量，将接收的服务请求分发至集群中相应数量的服务器上的步骤之前，所述的方法还包括：

若集群中服务器的服务状态信息，未超过预设阈值，则分发查询请求/合并查询结果的服务器Merger在收到服务请求时，在每列中抽取一台提供查询服务的服务器Searcher，总共选择M台提供查询服务的服务器Searcher，作为未超过预设阈值时服务请求所分发的服务器数量。

9.根据权利要求8所述的方法，其特征在于，还包括：

由所述相应的提供查询服务的服务器Searcher执行搜索操作，并将搜索结果返回给分发查询请求/合并查询结果的服务器Merger；

由所述分发查询请求/合并查询结果的服务器Merger整理所述搜索结果，并将整理后的搜索结果返回给用户。

10.根据权利要求1或2或3或4所述的方法，其特征在于，在按照在后服务请求所分发的服务器数量的步骤之前，还包括：

当集群中服务器的服务状态信息恢复至预设阈值范围内时，按照所述服务状态信息确定在后的服务请求所分发的服务器数量，所述在后服务请求所分发的服务器数量大于所述服务状态信息超过预设阈值时服务请求所分发的服务器数量。

11.一种服务器集群的服务能力控制***，其特征在于，包括：

监控模块，用于监控集群中服务器的服务状态信息，并判断所述服务状态信息是否超过预设阈值；若是，则调用服务降级处理模块；

服务降级处理模块，用于按照所述服务状态信息确定在后的服务请求所分发的服务器数量，所述在后服务请求所分发的服务器数量小于所述服务状态信息未超过预设阈值时服务请求所分发的服务器数量；

数据选择模块，用于按照所述在后服务请求所分发的服务器数量，按照预置规则确定集群中相应数量的目标服务器；

请求分发模块，用于将接收的服务请求分发至所述目标服务器上。

12.根据权利要求11所述的***，其特征在于，所述集群中包括分发查询请求/合并查询结果的服务器Merger，以及，提供查询服务的服务器Searcher，其中，所述提供查询服务的服务器Searcher采用行列式分布，一行M个提供查询服务的服务器Searcher上的数据构成一份完整数据，一列N个提供查询服务的服务器Searcher上的数据是一致的；其中，M、N＞1且为整数；

所述监控模块设置在提供查询服务的服务器Searcher中，所述数据选择模块和请求分发模块设置在分发查询请求/合并查询结果的服务器Merger中，所述服务降级处理模块独立设置。

Images