CN110062038A - 一种数据传输调度方法和*** - Google Patents

Abstract

本发明公开了一种数据传输调度方法和***，所述方法涉及数据传输技术领域，所述方法包括：所述调度服务器周期性获取所有在线数据生产者在上一周期内的数据生产情况和所有在线数据消费者在上一周期内的数据消费情况；所述调度服务器根据所有在线数据生产者和所有在线数据消费者的基础设备信息，以及所述数据生产情况和所述数据消费情况，生成传输调度表；所述调度服务器向所述所有在线数据生产者提供所述传输调度表，以使所述所有在线数据生产者基于所述传输调度表进行数据传输。采用本发明，可以在数据消费集群中实现有效的负载均衡，进一步可以提高数据消费集群的数据处理质量和设备资源利用率。

Description

一种数据传输调度方法和***

技术领域

本发明涉及数据传输技术领域，特别涉及一种数据传输调度方法和***。

背景技术

随着网络技术和数据处理技术的飞速发展，CDN集群、云服务集群等业务服务集群(可称为数据生产集群)的业务规模不断扩大，服务能力不断增加。为了保证业务服务的质量，业务服务方一般会通过数据分析集群(可称为数据消费集群)对业务服务集群中的业务服务器生成的数据进行采集和分析，以便基于分析结果对业务服务器的运行状态进行调整。

由于需要采集和分析的数据量巨大，数据分析***中往往会存在大量的数据分析设备(可称为数据消费者)，而每台业务服务器(可称为数据生产者)在生成数据之后，均可以将数据传输给预先指定的数据分析设备进行分析。例如，数据分析***中存在A、B、C三台数据分析设备，网络服务***中存在30台业务服务器，可以设定第1-10台业务服务器将生成的数据传输给A进行分析，第11-20台业务服务器将生成的数据传输给B进行分析，第21-30台业务服务器将生成的数据传输给C进行分析。

在实现本发明的过程中，发明人发现现有技术至少存在以下问题：

受数据分析设备的处理能力和待分析的数据的数量的不同，每台数据分析设备的负载也不同，在上述数据传输机制下会出现部分数据分析设备持续过载的同时，部分数据分析设备长期闲置的情况，这样不仅会影响数据分析***的数据处理质量，而且数据分析***的设备资源利用率较低。

发明内容

为了解决现有技术的问题，本发明实施例提供了一种数据传输调度方法和***。所述技术方案如下：

第一方面，提供了一种数据传输调度方法，所述方法应用于数据传输调度***，所述数据传输调度***包括至少一台调度服务器、多台数据生产者和数据消费者，其中：

所述调度服务器周期性获取所有在线数据生产者在上一周期内的数据生产情况和所有在线数据消费者在上一周期内的数据消费情况；

所述调度服务器根据所有在线数据生产者和所有在线数据消费者的基础设备信息，以及所述数据生产情况和所述数据消费情况，生成传输调度表；

所述调度服务器向所述所有在线数据生产者提供所述传输调度表，以使所述所有在线数据生产者基于所述传输调度表进行数据传输。

可选的，所述调度服务器向所述所有在线数据生产者提供所述传输调度表，以使所述所有在线数据生产者基于所述传输调度表进行数据传输，包括：

对于目标在线数据生产者，所述调度服务器将所述传输调度表发送给所述目标在线数据生产者进行存储；

当需要向数据消费者传输目标数据时，所述目标在线数据生产者根据已存储的传输调度表对所述目标数据进行传输。

可选的，所述方法还包括：

所述调度服务器在服务器前端缓存所述传输调度表；

如果所述目标在线数据生产者存储的传输调度表中不存在所述目标数据对应的调度信息，所述目标在线数据生产者则向所述调度服务器发送数据调度请求；

所述调度服务器在所述服务器前端缓存的传输调度表中查找所述目标数据对应的目标调度信息，并向所述数据生产者反馈所述目标调度信息；

所述目标在线数据生产者根据所述目标调度信息传输所述目标数据。

可选的，所述目标在线数据生产者则向所述调度服务器发送数据调度请求之后，还包括：

如果所述服务器前端缓存的传输调度表中不存在所述目标数据对应的调度信息，所述调度服务器则基于所述目标在线数据生产者的基础设备信息生成所述目标数据对应的目标调度信息，并向所述目标在线数据生产者反馈所述目标调度信息。

可选的，所述调度服务器向所述所有在线数据生产者提供所述传输调度表，以使所述所有在线数据生产者基于所述传输调度表进行数据传输，包括：

所述调度服务器在服务器前端缓存所述传输调度表；

对于任一在线数据生产者，当需要向数据消费者传输目标数据时，所述在线数据生产者向所述调度服务器发送数据调度请求；

所述调度服务器在所述服务器前端缓存的传输调度表中查找所述目标数据对应的目标调度信息，并向所述在线数据生产者反馈所述目标调度信息；

所述在线数据生产者根据所述目标调度信息传输所述目标数据。

可选的，所述方法还包括：

当接收到针对目标数据生产者的注册请求或者重新上线请求时，所述调度服务器获取所述目标数据生产者的基础设备信息；

所述调度服务器将所述目标数据生产者标记为在线数据生产者，并基于所述目标在线数据生产者的基础设备信息为所述目标数据生产者分配当前周期内的在线数据消费者。

可选的，所述方法还包括：

当接收到针对目标数据生产者的注销请求或者休眠请求时，或者在预设时长内未接收到所述目标数据生产者发送的保活消息，所述调度服务器将所述目标数据生产者标记为非在线数据生产者。

可选的，所述方法还包括：

当接收到针对目标数据消费者的注册请求或者重新上线请求时，所述调度服务器获取所述目标数据消费者的基础设备信息，将所述目标数据消费者标记为在线数据消费者；

所述调度服务器根据所有在线数据生产者的基础设备信息和上一周期内的数据生产情况，以及所有在线数据消费者的基础设备信息和上一周期内的数据消费情况，生成最新传输调度表；

所述调度服务器向所述所有在线数据生产者提供所述最新传输调度表，以使所述所有在线数据生产者基于所述最新传输调度表进行数据传输。

可选的，所述方法还包括：

当接收到针对目标数据消费者的注销请求或者休眠请求时，或者在预设时长内未接收到所述目标数据消费者发送的保活消息，所述调度服务器将所述目标数据消费者标记为非在线数据消费者；

所述调度服务器根据所有在线数据生产者的基础设备信息和上一周期内的数据生产情况，以及所有在线数据消费者的基础设备信息和上一周期内的数据消费情况，生成最新传输调度表；

所述调度服务器向所述所有在线数据生产者提供所述最新传输调度表，以使所述所有在线数据生产者基于所述最新传输调度表进行数据传输。

第二方面，提供了一种数据传输调度***，所述***包括至少一台调度服务器、多台数据生产者和数据消费者，其中，所述调度服务器用于：

周期性获取所有在线数据生产者在上一周期内的数据生产情况和所有在线数据消费者在上一周期内的数据消费情况；

根据所有在线数据生产者和所有在线数据消费者的基础设备信息，以及所述数据生产情况和所述数据消费情况，生成传输调度表；

向所述所有在线数据生产者提供所述传输调度表，以使所述所有在线数据生产者基于所述传输调度表进行数据传输。

可选的，所述调度服务器，具体用于将所述传输调度表发送给所述目标在线数据生产者进行存储；

所述目标在线数据生产者，用于当需要向数据消费者传输目标数据时，根据已存储的传输调度表对所述目标数据进行传输。

可选的，所述调度服务器，还用于在服务器前端缓存所述传输调度表；

所述目标在线数据生产者，还用于如果所述目标在线数据生产者存储的传输调度表中不存在所述目标数据对应的调度信息，则向所述调度服务器发送数据调度请求；

所述调度服务器，还用于在所述服务器前端缓存的传输调度表中查找所述目标数据对应的目标调度信息，并向所述数据生产者反馈所述目标调度信息；

所述目标在线数据生产者，还用于根据所述目标调度信息传输所述目标数据。

可选的，所述调度服务器，还用于：

如果所述服务器前端缓存的传输调度表中不存在所述目标数据对应的调度信息，则基于所述目标在线数据生产者的基础设备信息生成所述目标数据对应的目标调度信息，并向所述目标在线数据生产者反馈所述目标调度信息。

可选的，所述调度服务器，具体用于在服务器前端缓存所述传输调度表；

所述在线数据生产者，用于当需要向数据消费者传输目标数据时，向所述调度服务器发送数据调度请求；

所述调度服务器，还用于在所述服务器前端缓存的传输调度表中查找所述目标数据对应的目标调度信息，并向所述在线数据生产者反馈所述目标调度信息；

所述在线数据生产者，用于根据所述目标调度信息传输所述目标数据。

可选的，所述调度服务器，还用于：

当接收到针对目标数据生产者的注册请求或者重新上线请求时，获取所述目标数据生产者的基础设备信息；

将所述目标数据生产者标记为在线数据生产者，并基于所述目标在线数据生产者的基础设备信息为所述目标数据生产者分配当前周期内的在线数据消费者。

可选的，所述调度服务器，还用于：

当接收到针对目标数据生产者的注销请求或者休眠请求时，或者在预设时长内未接收到所述目标数据生产者发送的保活消息，将所述目标数据生产者标记为非在线数据生产者。

可选的，所述调度服务器，还用于：

当接收到针对目标数据消费者的注册请求或者重新上线请求时，获取所述目标数据消费者的基础设备信息，将所述目标数据消费者标记为在线数据消费者；

根据所有在线数据生产者的基础设备信息和上一周期内的数据生产情况，以及所有在线数据消费者的基础设备信息和上一周期内的数据消费情况，生成最新传输调度表；

向所述所有在线数据生产者提供所述最新传输调度表，以使所述所有在线数据生产者基于所述最新传输调度表进行数据传输。

可选的，所述调度服务器，还用于：

当接收到针对目标数据消费者的注销请求或者休眠请求时，或者在预设时长内未接收到所述目标数据消费者发送的保活消息，将所述目标数据消费者标记为非在线数据消费者；

根据所有在线数据生产者的基础设备信息和上一周期内的数据生产情况，以及所有在线数据消费者的基础设备信息和上一周期内的数据消费情况，生成最新传输调度表；

向所述所有在线数据生产者提供所述最新传输调度表，以使所述所有在线数据生产者基于所述最新传输调度表进行数据传输。

本发明实施例提供的技术方案带来的有益效果是：

本发明实施例中，调度服务器周期性获取所有在线数据生产者在上一周期内的数据生产情况和所有在线数据消费者在上一周期内的数据消费情况；调度服务器根据所有在线数据生产者和所有在线数据消费者的基础设备信息，以及数据生产情况和数据消费情况，生成传输调度表；调度服务器向所有在线数据生产者提供传输调度表，以使所有在线数据生产者基于传输调度表进行数据传输。这样，在数据生产者和数据消费者之间部署调度服务器，调度服务器结合数据生产者和数据消费者的实时运行状态和数据的历史传输结果，不断对数据生产者和数据消费者间的数据传输进行调度，从而可以在数据消费集群中实现有效的负载均衡，进一步可以提高数据消费集群的数据处理质量和设备资源利用率。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种数据传输调度***的框架示意图；

图2是本发明实施例提供的一种数据传输调度方法的方法流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

本发明实施例提供了一种数据传输调度方法，该方法应用于数据传输调度***，数据传输调度***包括至少一台调度服务器、多台数据生产者和数据消费者，具体可以参考图1所示。其中，调度服务器可以是用于对数据生产者与数据消费者之间的数据传输进行调度的网络设备，其具体可以将调度结果以传输调度表的形式提供给数据生产者，以便数据生产者基于传输调度表将其生成的数据传输至数据消费者。数据生产者可以是数据生产集群中任意可以生产数据，且具备数据分析需求的网络设备，如可以是背景技术中提及的业务服务器，数据消费者可以是数据消费集群中用于为数据生产者提供数据分析服务的网络设备，如可以是背景技术中提及的数据分析设备。上述调度服务器可以包括处理器、存储器、收发器，处理器可以用于进行下述流程中执行数据传输调度的处理，存储器可以用于存储处理过程中需要的数据以及产生的数据，如数据生产者和数据消费者多维度的设备信息，收发器可以用于接收和发送处理过程中的相关数据，如传输调度表、数据生产/消费情况等。值得一提的是，调度服务器的功能可以由多台网络设备组成的调度集群来实现，本实施例中以单台调度服务器为例进行说明，调度集群的情况与之类似。

下面将结合具体实施方式，对图2所示的处理流程进行详细的说明，内容可以如下：

步骤201，调度服务器周期性获取所有在线数据生产者在上一周期内的数据生产情况和所有在线数据消费者在上一周期内的数据消费情况。

其中，数据生产情况可以是周期内生成的各类数据的总数据量、生成速率分布等；数据消费情况可以是周期内接收到的各类数据的总数据量、接收速率分布、设备负载、已分析数据的占比等。

在实施中，当需要通过数据传输调度***将数据生产集群生产的数据有效合理地传输至数据消费集群时，技术人员可以先在每台数据生产者和数据消费者上安装调度客户端程序，从而每台数据生产者和数据消费者可以通过该调度客户端程序与调度服务器进行数据通信，以实现对数据传输的调度。调度服务器在提供数据传输调度服务时，可以周期性地确定所有当前处于在线状态的数据生产者(可简称为在线数据生产者)和数据消费者(可简称为在线数据消费者)，然后可以获取所有在线数据生产者在上一周期内的数据生产情况和所有在线数据消费者在上一周期内的数据消费情况。具体来说，调度客户端程序可以周期性地自动采集其所属设备的数据生产情况和数据消费情况，然后以http消息的形式将这些数据传输给调度服务器。

进一步的，调度服务器和调度客户端程序之间传输的http消息中除了必要的IP地址、网络运营商信息之外，主要信息可以采用特定消息结构来记录，其中，特定消息结构主要由“A、B、C、D”4段内容组成，每段都是一个正整数，每段有不同的作用，段内的不同数据代表不同的含义。

具体的，对于调度客户端程序发往调度服务器的请求型消息来说，其特定消息结构中：A用于指示发起消息的来源者，当A取值为1时，代表消息由除调度客户端或数据生产者/数据消费者之外的其它设备发出的，当A取值为2时，代表消息由调度客户端发出的，当A取值为3时，代表消息由数据生产者/数据消费者发出的；B用于指示是数据生产者还是数据消费者，当B取值为1时，代表消息由数据生产者发出，当B取值为2时，代表消息由数据消费者发出；CD用于指示消息类型，当CD取值为01时，代表消息为调度请求，当CD取值为02时，代表消息为负载上报消息，当CD取值为03时，代表消息为数据生产者或数据消费者的注册请求，当CD取值为04时，代表消息为数据生产者或数据消费者的注销请求，当CD取值为05时，代表消息为数据生产者或数据消费者的保活消息，当CD取值为06时，代表消息为数据生产者或数据消费者的休眠请求，当CD取值为07时，代表消息为数据生产者或数据消费者的重新上线请求，当CD取值为08时，代表消息为数据生产情况的上报消息，当CD取值为09时，代表消息为数据消费情况的上报消息。

对于调度服务器向调度客户端程序反馈的返回型消息来说，其特定消息结构中：A用于指示请求消息的响应状态，当A取值为0时，代表请求消息响应正常，当A取值为1时，代表请求消息响应存在错误的可能性，当A取值为2时，代表请求消息响应错误；B用于指示消息的返回源，当B的取值为1时，代表消息由服务器前端返回，当B的取值为2时，代表消息由服务器后端返回；CD为具体的错误码，用于指示请求或响应错误的类型，当CD取值为00时，代表无错误，当CD取值为01时，代表数据生产者重复注册，当CD取值为02时，代表数据消费者重复注册，当CD取值为03时，代表请求超时，当CD取值为04时，代表请求消息的格式错误，当CD取值为05时，代表未分配到数据消费者，当CD取值为06时，代表与服务器前端的连接断开。

步骤202，调度服务器根据所有在线数据生产者和所有在线数据消费者的基础设备信息，以及数据生产情况和数据消费情况，生成传输调度表。

其中，基础设备信息可以是数据生产者或数据消费者的IP地址、所属网络运营商信息、设备注册信息等短期内不会发生变化的信息。

在实施中，在每个周期起始，调度服务器获取了所有在线数据生产者在上一周期内的数据生产情况和所有在线数据消费者在上一周期内的数据消费情况之后，可以再获取所有在线数据生产者和所有在线数据消费者的基础设备信息。该基础设备信息可以是每个数据生产者或数据消费者首次在调度服务器侧注册时上报给调度服务器，并由调度服务器存储在本地的。之后，调度服务器可以根据所有在线数据生产者和所有在线数据消费者的基础设备信息，以及步骤201中获取的数据生产情况和数据消费情况，按照预设的调度规则生成传输调度表。此处的调度规则具体可以如下：先按照所属的网络运营商将在线数据生产者和在线数据消费者进行分组，如果没有相同网络运营商则按地理位置获取主流网络提供商，然后对于同一网络运营商或同一地理位置的在线数据生产者和在线数据消费者，可以根据上一周期的数据生产量对在线数据生产者进行排序，根据数据消费能力(具体可以参考数据消费者的额定负载)对在线数据消费者进行排序，最后可以将排序后的在线数据生产者和在线数据消费者进行配对，即数据消费能力高的在线数据消费者对应数据生产量高的在线数据生产者。值得一提的是，由于在线数据生产者的数量远大于在线数据消费者，故而在配对时，可以将一个在线数据消费者与多个在线数据生产者进行配对。以下举例说明上述调度规则，如存在12台在线数据生产者A1、A2、..、A12，相应的数据生产量为A1>A2>…>A12，存在3台在线数据消费者B1、B2、B3，相应的数据消费能力为B1>B2>B3，则可以将12台在线数据生产者按顺序分别与3台在线数据消费者进行配对，配对结果可以是A1-A4对应B1，A5-A8对应B2，A9-A12对应B3，或者也可以是A1、A4、A7、A10对应B1，A2、A5、A8、A11对应B2，A3、A6、A9、A12对应B3。

步骤203，调度服务器向所有在线数据生产者提供传输调度表，以使所有在线数据生产者基于传输调度表进行数据传输。

在实施中，调度服务器在周期起始时生成了传输调度表之后，可以将传输调度表提供给所有在线数据生产者，这样，所有在线数据生产者可以基于该传输调度表进行当前周期内的数据传输处理。可以理解，此处的在线数据生产者是指周期起始时处于在线状态的数据生产者，不同周期起始的在线数据生产者也相应不同。

可选的，调度服务器向在线数据生产者提供传输调度表的方式可以至少包括将传输调度表发送给每台在线数据生产者进行存储，和将传输调度表存储在服务器前端供在线数据生产者查询，相应的，步骤203的处理可以如下：

方式一：对于目标在线数据生产者，调度服务器将传输调度表发送给目标在线数据生产者进行存储；当需要向数据消费者传输目标数据时，目标在线数据生产者根据已存储的传输调度表对目标数据进行传输。

在实施中，以目标在线数据生产者为例，调度服务器在生成传输调度表之后，可以将传输调度表发送给目标在线数据生产者，目标在线数据生产者接收到该传输调度表后，可以将其存储在调度客户端程序对应的缓存空间中。这样，当需要向数据消费者传输目标数据时，目标在线数据生产者可以调取上述缓存空间中存储的传输调度表，然后根据传输调度表对目标数据进行传输。不难想到，如果调度客户端程序对应的缓存空间中已存储有传输调度表，目标在线生产者在存储新的传输调度表时，可以对已存储的传输调度表进行覆盖存储。

可选的，在线数据生产者存储传输调度表的同时，调度服务器也可以将传输调度表缓存在服务器前端以供在线数据生产者查询，相应的处理可以如下：调度服务器在服务器前端缓存传输调度表；如果目标在线数据生产者存储的传输调度表中不存在目标数据对应的调度信息，目标在线数据生产者则向调度服务器发送数据调度请求；调度服务器在服务器前端缓存的传输调度表中查找目标数据对应的目标调度信息，并向数据生产者反馈目标调度信息；目标在线数据生产者根据目标调度信息传输目标数据。

在实施中，调度服务器在将传输调度表发送给所有在线数据生产者的同时，还可以将传输调度表缓存在服务器前端。这样，同样以目标在线数据生产者为例，当需要向数据消费者传输目标数据时，如果目标在线数据生产者存储的传输调度表中不存在目标数据对应的调度信息，目标在线数据生产者则可以向调度服务器发送数据调度请求。调度服务器在接收到该数据调度请求后，可以读取服务器前端缓存的传输调度表，并在传输调度表中查找目标数据对应的目标调度信息，进而，调度服务器可以向目标在线数据生产者反馈该目标调度信息。目标在线数据生产者接收到该目标调度信息后，可以根据目标调度信息传输目标数据。基于上述处理，对于在线数据生产者存储的传输调度表存在错误的情况，可以通过调度服务器的服务器前端缓存的传输调度表对数据调度请求进行快速响应，有效提高了数据传输调度***的调度效率。

可选的，如果无法通过传输调度表确定调度信息，则可以由调度服务器进行实时调度，相应的处理可以如下：如果服务器前端缓存的传输调度表中不存在目标数据对应的调度信息，调度服务器则基于目标在线数据生产者的基础设备信息生成目标数据对应的目标调度信息，并向目标在线数据生产者反馈目标调度信息。

在实施中，目标在线数据生产者向调度服务器发送数据调度请求之后，如果调度服务器无法在服务器前端缓存的传输调度表中查找到目标数据对应的调度信息，调度服务器则可以先获取目标在线数据生产者的基础设备信息，然后基于该基础设备信息生成目标数据对应的目标调度信息，然后可以将目标调度信息反馈给目标在线数据生产者。需要说明的是，此处的调度规则可以与步骤202中的调度规则相同，在生成目标调度信息时，对于欠缺的信息数据可以选取默认值或当前周期内所有在线数据生产者的平均值。具体的，如果可以获取到目标在线数据生产者在上一周期的数据生产量，则可以按照该数据生产量确定目标在线数据生产者在所有在线数据生产者中的排序，然后在所有在线数据消费者中选择与该排序相符的目标在线数据消费者，进而可以将目标在线数据生产者生产的数据传输至目标在线数据消费者。而如果获取不到目标在线数据生产者在上一周期的数据生产量，则可以将默认值或者上一周期所有在线数据生产者的平均数据生产量作为目标在线数据生产者在上一周期的数据生产量，然后执行后续确定目标在线数据消费者的处理。

方式二，调度服务器在服务器前端缓存传输调度表；对于任一在线数据生产者，当需要向数据消费者传输目标数据时，在线数据生产者向调度服务器发送数据调度请求；调度服务器在服务器前端缓存的传输调度表中查找目标数据对应的目标调度信息，并向在线数据生产者反馈目标调度信息；在线数据生产者根据目标调度信息传输目标数据。

在实施中，调度服务器在生成传输调度表之后，可以将传输调度表缓存在服务器前端。这样，对于任一在线数据生产者，当需要向数据消费者传输目标数据时，在线数据生产者可以向调度服务器发送数据调度请求。调度服务器在接收到该数据调度请求后，可以读取服务器前端缓存的传输调度表，并在传输调度表中查找目标数据对应的目标调度信息，进而，调度服务器可以向在线数据生产者反馈该目标调度信息。上述在线数据生产者接收到该目标调度信息后，可以根据目标调度信息传输目标数据。

可选的，数据生产者和数据消费者的状态变更时，调度服务器可以针对变更情况进行不同的处理，具体可以如下：

其一，数据生产者上线时：当接收到针对目标数据生产者的注册请求或者重新上线请求时，调度服务器获取目标数据生产者的基础设备信息；调度服务器将目标数据生产者标记为在线数据生产者，并基于目标在线数据生产者的基础设备信息为目标数据生产者分配当前周期内的在线数据消费者。

在实施中，以目标数据生产者为例，当目标数据生产者首次上线或者恢复上线状态时，技术人员可以通过目标数据生产者或者其它设备向调度服务器发送针对目标数据生产者的注册请求或者重新上线请求。这样，当接收到上述注册请求或者重新上线请求时，调度服务器可以获取目标数据生产者的基础设备信息，然后将目标数据生产者标记为在线数据生产者，并且可以基于目标在线数据生产者的基础设备信息为目标数据生产者分配当前周期内的在线数据消费者。需要说明的是，此处的调度规则可以与步骤202中的调度规则相同，在生成目标调度信息时，对于欠缺的信息数据可以选取默认值或当前周期内所有在线数据生产者的平均值。此外，上述基础设备信息可以是携带在注册请求或者重新上线请求中的，也可以是调度服务器在接收到注册请求或者重新上线请求后，主动从目标数据生产者获取的。

其二，数据生产者下线时：当接收到针对目标数据生产者的注销请求或者休眠请求时，或者在预设时长内未接收到目标数据生产者发送的保活消息，调度服务器将目标数据生产者标记为非在线数据生产者。

在实施中，以目标数据生产者为例，一方面，当目标数据生产者下线或者休眠时，技术人员可以通过目标数据生产者或者其它设备向调度服务器发送针对目标数据生产者的注销请求或者休眠请求。这样，当接收到上述注销请求或者休眠请求时，调度服务器可以将目标数据生产者标记为非在线数据生产者。另一方面，数据生产者在线上正常提供服务时，可以周期性向调度服务器发送保活消息，而如果在预设时长内调度服务器未接收到目标数据生产者发送的保活消息，则可以认为目标数据生产者已处于离线状态，故而，调度服务器可以将目标数据生产者标记为非在线数据生产者。

其三，数据消费者上线时：当接收到针对目标数据消费者的注册请求或者重新上线请求时，调度服务器获取目标数据消费者的基础设备信息，将目标数据消费者标记为在线数据消费者；调度服务器根据所有在线数据生产者的基础设备信息和上一周期内的数据生产情况，以及所有在线数据消费者的基础设备信息和上一周期内的数据消费情况，生成最新传输调度表；调度服务器向所有在线数据生产者提供最新传输调度表，以使所有在线数据生产者基于最新传输调度表进行数据传输。

在实施中，以目标数据消费者为例，当目标数据消费者首次上线或者恢复上线状态时，技术人员可以通过目标数据消费者或者其它设备向调度服务器发送针对目标数据消费者的注册请求或者重新上线请求。这样，当接收到上述注册请求或者重新上线请求时，调度服务器可以获取目标数据消费者的基础设备信息，然后将目标数据消费者标记为在线数据消费者，并且可以根据当前所有在线数据生产者的基础设备信息和上一周期内的数据生产情况，以及当前所有在线数据消费者的基础设备信息和上一周期内的数据消费情况，生成最新传输调度表。进而，调度服务器可以向所有在线数据生产者提供最新传输调度表，以使所有在线数据生产者基于最新传输调度表进行数据传输。上述的基础设备信息可以是携带在注册请求或者重新上线请求中的，也可以是调度服务器在接收到注册请求或者重新上线请求后，主动从目标数据消费者获取的。

其四，数据消费者下线时：当接收到针对目标数据消费者的注销请求或者休眠请求时，或者在预设时长内未接收到目标数据消费者发送的保活消息，调度服务器将目标数据消费者标记为非在线数据消费者；调度服务器根据所有在线数据生产者的基础设备信息和上一周期内的数据生产情况，以及所有在线数据消费者的基础设备信息和上一周期内的数据消费情况，生成最新传输调度表；调度服务器向所有在线数据生产者提供最新传输调度表，以使所有在线数据生产者基于最新传输调度表进行数据传输。

在实施中，以目标数据消费者为例，一方面，当目标数据消费者下线或者休眠时，技术人员可以通过目标数据消费者或者其它设备向调度服务器发送针对目标数据消费者的注销请求或者休眠请求。这样，当接收到上述注销请求或者休眠请求时，调度服务器可以将目标数据消费者标记为非在线数据消费者。另一方面，数据消费者在线上正常提供服务时，可以周期性向调度服务器发送保活消息，而如果在预设时长内调度服务器未接收到目标数据消费者发送的保活消息，则可以认为目标数据消费者已处于离线状态，故而，调度服务器可以将目标数据消费者标记为非在线数据消费者。之后，调度服务器可以将目标数据消费者标记为在线数据消费者，并且可以根据当前所有在线数据生产者的基础设备信息和上一周期内的数据生产情况，以及当前所有在线数据消费者的基础设备信息和上一周期内的数据消费情况，生成最新传输调度表。进而，调度服务器可以向所有在线数据生产者提供最新传输调度表，以使所有在线数据生产者基于最新传输调度表进行数据传输。

本发明实施例中，调度服务器周期性获取所有在线数据生产者在上一周期内的数据生产情况和所有在线数据消费者在上一周期内的数据消费情况；调度服务器根据所有在线数据生产者和所有在线数据消费者的基础设备信息，以及数据生产情况和数据消费情况，生成传输调度表；调度服务器向所有在线数据生产者提供传输调度表，以使所有在线数据生产者基于传输调度表进行数据传输。这样，在数据生产者和数据消费者之间部署调度服务器，调度服务器结合数据生产者和数据消费者的实时运行状态和数据的历史传输结果，不断对数据生产者和数据消费者间的数据传输进行调度，从而可以在数据消费集群中实现有效的负载均衡，进一步可以提高数据消费集群的数据处理质量和设备资源利用率。

基于相同的技术构思，本发明实施例还提供了一种数据传输调度***，所述***包括至少一台调度服务器、多台数据生产者和数据消费者，其中，所述调度服务器用于：

周期性获取所有在线数据生产者在上一周期内的数据生产情况和所有在线数据消费者在上一周期内的数据消费情况；

根据所有在线数据生产者和所有在线数据消费者的基础设备信息，以及所述数据生产情况和所述数据消费情况，生成传输调度表；

向所述所有在线数据生产者提供所述传输调度表，以使所述所有在线数据生产者基于所述传输调度表进行数据传输。

可选的，所述调度服务器，具体用于将所述传输调度表发送给所述目标在线数据生产者进行存储；

所述目标在线数据生产者，用于当需要向数据消费者传输目标数据时，根据已存储的传输调度表对所述目标数据进行传输。

可选的，所述调度服务器，还用于在服务器前端缓存所述传输调度表；

所述目标在线数据生产者，还用于如果所述目标在线数据生产者存储的传输调度表中不存在所述目标数据对应的调度信息，则向所述调度服务器发送数据调度请求；

所述调度服务器，还用于在所述服务器前端缓存的传输调度表中查找所述目标数据对应的目标调度信息，并向所述数据生产者反馈所述目标调度信息；

所述目标在线数据生产者，还用于根据所述目标调度信息传输所述目标数据。

可选的，所述调度服务器，还用于：

如果所述服务器前端缓存的传输调度表中不存在所述目标数据对应的调度信息，则基于所述目标在线数据生产者的基础设备信息生成所述目标数据对应的目标调度信息，并向所述目标在线数据生产者反馈所述目标调度信息。

可选的，所述调度服务器，具体用于在服务器前端缓存所述传输调度表；

所述在线数据生产者，用于当需要向数据消费者传输目标数据时，向所述调度服务器发送数据调度请求；

所述调度服务器，还用于在所述服务器前端缓存的传输调度表中查找所述目标数据对应的目标调度信息，并向所述在线数据生产者反馈所述目标调度信息；

所述在线数据生产者，用于根据所述目标调度信息传输所述目标数据。

可选的，所述调度服务器，还用于：

当接收到针对目标数据生产者的注册请求或者重新上线请求时，获取所述目标数据生产者的基础设备信息；

将所述目标数据生产者标记为在线数据生产者，并基于所述目标在线数据生产者的基础设备信息为所述目标数据生产者分配当前周期内的在线数据消费者。

可选的，所述调度服务器，还用于：

当接收到针对目标数据生产者的注销请求或者休眠请求时，或者在预设时长内未接收到所述目标数据生产者发送的保活消息，将所述目标数据生产者标记为非在线数据生产者。

可选的，所述调度服务器，还用于：

当接收到针对目标数据消费者的注册请求或者重新上线请求时，获取所述目标数据消费者的基础设备信息，将所述目标数据消费者标记为在线数据消费者；

根据所有在线数据生产者的基础设备信息和上一周期内的数据生产情况，以及所有在线数据消费者的基础设备信息和上一周期内的数据消费情况，生成最新传输调度表；

向所述所有在线数据生产者提供所述最新传输调度表，以使所述所有在线数据生产者基于所述最新传输调度表进行数据传输。

可选的，所述调度服务器，还用于：

当接收到针对目标数据消费者的注销请求或者休眠请求时，或者在预设时长内未接收到所述目标数据消费者发送的保活消息，将所述目标数据消费者标记为非在线数据消费者；

根据所有在线数据生产者的基础设备信息和上一周期内的数据生产情况，以及所有在线数据消费者的基础设备信息和上一周期内的数据消费情况，生成最新传输调度表；

向所述所有在线数据生产者提供所述最新传输调度表，以使所述所有在线数据生产者基于所述最新传输调度表进行数据传输。

本发明实施例中，调度服务器周期性获取所有在线数据生产者在上一周期内的数据生产情况和所有在线数据消费者在上一周期内的数据消费情况；调度服务器根据所有在线数据生产者和所有在线数据消费者的基础设备信息，以及数据生产情况和数据消费情况，生成传输调度表；调度服务器向所有在线数据生产者提供传输调度表，以使所有在线数据生产者基于传输调度表进行数据传输。这样，在数据生产者和数据消费者之间部署调度服务器，调度服务器结合数据生产者和数据消费者的实时运行状态和数据的历史传输结果，不断对数据生产者和数据消费者间的数据传输进行调度，从而可以在数据消费集群中实现有效的负载均衡，进一步可以提高数据消费集群的数据处理质量和设备资源利用率。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (14)

1.一种数据传输调度方法，其特征在于，所述方法应用于数据传输调度***，所述数据传输调度***包括至少一台调度服务器、多台数据生产者和数据消费者，其中：

所述调度服务器周期性获取所有在线数据生产者在上一周期内的数据生产情况和所有在线数据消费者在上一周期内的数据消费情况；

所述调度服务器根据所有在线数据生产者和所有在线数据消费者的基础设备信息，以及所述数据生产情况和所述数据消费情况，生成传输调度表；

所述调度服务器向所述所有在线数据生产者提供所述传输调度表，以使所述所有在线数据生产者基于所述传输调度表进行数据传输。

2.根据权利要求1所述的方法，其特征在于，所述调度服务器向所述所有在线数据生产者提供所述传输调度表，以使所述所有在线数据生产者基于所述传输调度表进行数据传输，包括：

对于目标在线数据生产者，所述调度服务器将所述传输调度表发送给所述目标在线数据生产者进行存储；

当需要向数据消费者传输目标数据时，所述目标在线数据生产者根据已存储的传输调度表对所述目标数据进行传输。

3.根据权利要求2所述的方法，其特征在于，所述方法还包括：

所述调度服务器在服务器前端缓存所述传输调度表；

如果所述目标在线数据生产者存储的传输调度表中不存在所述目标数据对应的调度信息，所述目标在线数据生产者则向所述调度服务器发送数据调度请求；

所述调度服务器在所述服务器前端缓存的传输调度表中查找所述目标数据对应的目标调度信息，并向所述数据生产者反馈所述目标调度信息；

所述目标在线数据生产者根据所述目标调度信息传输所述目标数据。

4.根据权利要求3所述的方法，其特征在于，所述目标在线数据生产者则向所述调度服务器发送数据调度请求之后，还包括：

如果所述服务器前端缓存的传输调度表中不存在所述目标数据对应的调度信息，所述调度服务器则基于所述目标在线数据生产者的基础设备信息生成所述目标数据对应的目标调度信息，并向所述目标在线数据生产者反馈所述目标调度信息。

5.根据权利要求1所述的方法，其特征在于，所述调度服务器向所述所有在线数据生产者提供所述传输调度表，以使所述所有在线数据生产者基于所述传输调度表进行数据传输，包括：

所述调度服务器在服务器前端缓存所述传输调度表；

对于任一在线数据生产者，当需要向数据消费者传输目标数据时，所述在线数据生产者向所述调度服务器发送数据调度请求；

所述调度服务器在所述服务器前端缓存的传输调度表中查找所述目标数据对应的目标调度信息，并向所述在线数据生产者反馈所述目标调度信息；

所述在线数据生产者根据所述目标调度信息传输所述目标数据。

6.根据权利要求1-5任一所述的方法，其特征在于，所述方法还包括：

当接收到针对目标数据生产者的注册请求或者重新上线请求时，所述调度服务器获取所述目标数据生产者的基础设备信息；

所述调度服务器将所述目标数据生产者标记为在线数据生产者，并基于所述目标在线数据生产者的基础设备信息为所述目标数据生产者分配当前周期内的在线数据消费者。

7.根据权利要求1-5任一所述的方法，其特征在于，所述方法还包括：

当接收到针对目标数据生产者的注销请求或者休眠请求时，或者在预设时长内未接收到所述目标数据生产者发送的保活消息，所述调度服务器将所述目标数据生产者标记为非在线数据生产者。

8.根据权利要求1-5任一所述的方法，其特征在于，所述方法还包括：

当接收到针对目标数据消费者的注册请求或者重新上线请求时，所述调度服务器获取所述目标数据消费者的基础设备信息，将所述目标数据消费者标记为在线数据消费者；

所述调度服务器根据所有在线数据生产者的基础设备信息和上一周期内的数据生产情况，以及所有在线数据消费者的基础设备信息和上一周期内的数据消费情况，生成最新传输调度表；

所述调度服务器向所述所有在线数据生产者提供所述最新传输调度表，以使所述所有在线数据生产者基于所述最新传输调度表进行数据传输。

9.根据权利要求1-5任一所述的方法，其特征在于，所述方法还包括：

当接收到针对目标数据消费者的注销请求或者休眠请求时，或者在预设时长内未接收到所述目标数据消费者发送的保活消息，所述调度服务器将所述目标数据消费者标记为非在线数据消费者；

所述调度服务器根据所有在线数据生产者的基础设备信息和上一周期内的数据生产情况，以及所有在线数据消费者的基础设备信息和上一周期内的数据消费情况，生成最新传输调度表；

所述调度服务器向所述所有在线数据生产者提供所述最新传输调度表，以使所述所有在线数据生产者基于所述最新传输调度表进行数据传输。

10.一种数据传输调度***，其特征在于，所述***包括至少一台调度服务器、多台数据生产者和数据消费者，其中，所述调度服务器用于：

周期性获取所有在线数据生产者在上一周期内的数据生产情况和所有在线数据消费者在上一周期内的数据消费情况；

根据所有在线数据生产者和所有在线数据消费者的基础设备信息，以及所述数据生产情况和所述数据消费情况，生成传输调度表；

向所述所有在线数据生产者提供所述传输调度表，以使所述所有在线数据生产者基于所述传输调度表进行数据传输。

11.根据权利要求10所述的***，其特征在于，所述调度服务器，具体用于将所述传输调度表发送给所述目标在线数据生产者进行存储；

所述目标在线数据生产者，用于当需要向数据消费者传输目标数据时，根据已存储的传输调度表对所述目标数据进行传输。

12.根据权利要求11所述的***，其特征在于，所述调度服务器，还用于在服务器前端缓存所述传输调度表；

所述目标在线数据生产者，还用于如果所述目标在线数据生产者存储的传输调度表中不存在所述目标数据对应的调度信息，则向所述调度服务器发送数据调度请求；

所述调度服务器，还用于在所述服务器前端缓存的传输调度表中查找所述目标数据对应的目标调度信息，并向所述数据生产者反馈所述目标调度信息；

所述目标在线数据生产者，还用于根据所述目标调度信息传输所述目标数据。

13.根据权利要求12所述的***，其特征在于，所述调度服务器，还用于：

如果所述服务器前端缓存的传输调度表中不存在所述目标数据对应的调度信息，则基于所述目标在线数据生产者的基础设备信息生成所述目标数据对应的目标调度信息，并向所述目标在线数据生产者反馈所述目标调度信息。

14.根据权利要求10所述的***，其特征在于，所述调度服务器，具体用于在服务器前端缓存所述传输调度表；

所述在线数据生产者，用于当需要向数据消费者传输目标数据时，向所述调度服务器发送数据调度请求；

所述调度服务器，还用于在所述服务器前端缓存的传输调度表中查找所述目标数据对应的目标调度信息，并向所述在线数据生产者反馈所述目标调度信息；

所述在线数据生产者，用于根据所述目标调度信息传输所述目标数据。