CN110874268A - 数据处理方法、装置和设备 - Google Patents

Abstract

本发明实施例提供一种数据处理方法、装置和设备，该方法包括：先获取待处理数据以及多个数据处理***各自对应的运行状态信息。根据获取到的多个数据处理***各自对应的运行状态信息分别确定各数据处理***的处理能力。根据各数据处理***的处理能力确定待处理数据中的第一数据块对应的目标数据处理***，并将此第一数据块发送至目标数据处理***，以使此目标数据处理***处理此第一数据块。通过设置多个数据处理***，能够使每个数据块都交由处理能力最适合的数据处理***来处理，使得数据块被及时处理，从而保证待处理数据能够在预设时间内全部处理完毕。用户则能够得到对应于全部待处理数据的数据处理结果，提高数据处理结果的可用性。

Description

数据处理方法、装置和设备

技术领域

本发明涉及数据处理技术领域，尤其涉及一种数据处理方法、装置和设备。

背景技术

对于存在大量待处理数据的场景中，通常的做法是采用数据处理***对此大量数据进行处理。经过处理后，数据处理***会进一步将此待处理数据的处理结果发送至用户使用的终端设备，以使用户可以获知处理结果。

但由于网络不稳定或者数据处理***的内部原因如负载过高，导致数据处理***不能在预定时间内及时地处理完全部数据。此时用户得到的数据处理结果仅是部分已处理数据对应的处理结果，并不是全部数据对应的处理结果，用户得到数据处理结果的可用性不高。

发明内容

有鉴于此，本发明实施例提供一种数据处理方法、装置和设备，用以保证数据处理结果的及时性，从而提高数据处理结果的可用性。

第一方面，本发明实施例提供一种数据处理方法，包括：

获取待处理数据；

获取多个数据处理***各自对应的运行状态信息；

根据所述运行状态信息确定所述多个数据处理***各自对应的处理能力；

根据所述处理能力确定所述待处理数据中的第一数据块对应的目标数据处理***；

将所述第一数据块发送至所述目标数据处理***中进行处理。

第二方面，本发明实施例提供一种数据处理装置，包括：

数据获取模块，用于获取待处理数据；

信息获取模块，用于获取多个数据处理***各自对应的运行状态信息；

处理能力确定模块，用于根据所述运行状态信息确定所述多个数据处理***各自对应的处理能力；

目标数据处理***确定模块，用于根据所述处理能力确定所述待处理数据中的第一数据块对应的目标数据处理***；

发送模块，用于将所述第一数据块发送至所述目标数据处理***中进行处理。

第三方面，本发明实施例提供一种数据处理设备，包括：协调器，以及分别与所述协调器通信连接的数据源装置、多个数据处理器；

所述数据源装置，用于提供待处理数据；

所述协调器，用于获取所述待处理数据；获取所述多个数据处理器各自对应的运行状态信息；根据所述运行状态信息确定所述多个数据处理器各自对应的处理能力；根据所述处理能力确定所述待处理数据中的第一数据块对应的目标数据处理器，以由所述目标数据处理器对所述第一数据块进行处理。

第四方面，本发明实施例提供了一种计算机存储介质，用于储存存储计算机程序，所述计算机程序使计算机执行时实现上述第一方面中的数据处理方法。

本发明实施例提供的数据处理方法，先获取待处理数据以及多个数据处理***各自对应的运行状态信息。然后，根据获取到的多个数据处理***各自对应的运行状态信息分别确定各数据处理***的处理能力。接着，根据各数据处理***的处理能力确定用于处理待处理数据中的第一数据块的目标数据处理***。最后，将此第一数据块发送至此目标数据处理***，以使此目标数据处理***处理此第一数据块。通过设置多个数据处理***，可以使每个数据块都交由处理能力最适合的数据处理***来处理，使得数据块可以被及时处理，从而保证待处理数据能够在预设时间内全部处理完毕。此时，用户能够得到对应于全部待处理数据的数据处理结果，提高数据处理结果的可用性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种数据处理方法的流程图；

图2为本发明实施例提供的另一种数据处理方法的流程图；

图3为本发明实施例提供的数据处理装置的结构示意图；

图4为本发明实施例提供的数据处理设备的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义，“多种”一般包含至少两种，但是不排除包含至少一种的情况。

应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

取决于语境，如在此所使用的词语“如果”、“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于识别”。类似地，取决于语境，短语“如果确定”或“如果识别(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当识别(陈述的条件或事件)时”或“响应于识别(陈述的条件或事件)”。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的商品或者***不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种商品或者***所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的商品或者***中还存在另外的相同要素。

另外，下述各方法实施例中的步骤时序仅为一种举例，而非严格限定。

图1为本发明实施例提供的一种数据处理方法的流程图，本发明实施例提供的该数据处理方法可以由协调器来执行。如图1所示，该方法包括如下步骤：

S101，获取待处理数据。

数据源服务器中可以包括大量的待处理数据，协调器可以直接获取到数据源服务器中的待处理数据。一种可选地方式，数据源服务器可以直接将待处理数据划分为若干个数据块，并将此若干个数据块发送至协调器，此时，协调器直接获取到待处理数据实际上就是若干个数据块。另一种可选地方式，数据源服务器可以不对待处理数据进行任何处理，而是直接将其发送至协调器。再由协调器对待处理数据进行数据块划分处理。也即是协调器可以通过自身对待处理数据的划分，从而得到若干个数据块。无论是以哪种形式得到的若干数据块，其中的任意一个都可为第一数据块。

对于数据块的划分，可选地，协调器可以根据每个数据自身携带的时间戳来进行数据块的划分。比如可以将时间戳处于预设时长内的数据划分为一个数据块。对于待处理数据，举例来说，其可以是视频或者音频等资源数据，其也可以是一服务平台在一定时间段内累计的业务数据等。其中，业务数据可以是一定时间段内服务平台的访问数量、各部分服务内容各自的点击数量等等。当待处理数据为资源数据时，数据携带的时间戳可以为用于表明数据播放时间的播放时间戳。假设预设时长为2分钟，则可以将播放时间处于00:00～00:02内的数据划分到一个数据块中。

S102，获取多个数据处理***各自对应的运行状态信息。

S103，根据运行状态信息确定多个数据处理***各自对应的处理能力。

接着，协调器可以进一步得到多个数据处理***各自的运行状态信息。其中，运行状态信息可以是协调器主动获取的，也可以是数据处理***主动发送至协调器的。并且可选地，运行状态信息可以包括网络质量信息和/或负载压力信息。网络质量信息可以包括网络延迟时间。负载压力信息可以包括预设时间段内数据处理***的故障次数和/或数据处理***的处理延迟时间。

获取到的运行状态信息都可以用来表征数据处理***处理能力的强弱。可选地，协调器可以根据多个数据处理***的网络质量信息来确定各自对应的处理能力。比如，网络延迟时间越短，则表征数据处理***的处理能力越好。可选地，协调器也可以根据多个数据处理***的负载压力信息来确定各自对应的处理能力。比如，处理延迟时间越短，则表征数据处理***的处理能力越好；故障次数越少，则表征数据处理***的处理能力越好。

S104，根据处理能力确定待处理数据中的第一数据块对应的目标数据处理***。

S105，将第一数据块发送至目标数据处理***中进行处理。

最后，协调器可以直接将处理能力最好的数据处理***确定为第一数据块对应的目标数据处理***，并将此第一数据块发送至此目标数据处理***中，以使其对第一数据块进行处理，从而得到此第一数据块对应的处理结果。

上述步骤101～104可以理解为是对待处理数据中的一个数据块分配的过程。但由于网络的波动或者数据处理***自身状态等原因，导致每个数据处理***的处理能力都处于实时变化的状态。因此，对全部数据块都进行上述分配处理，也即是实现了将每个数据块都交由当时处理能力最好的数据处理***来处理，以保证每个数据块都能够及时被处理。

综上，本发明实施例中，协调器先获取待处理数据以及多个数据处理***各自对应的运行状态信息。然后，根据获取到的多个数据处理***各自对应的运行状态信息分别确定各数据处理***的处理能力。接着，根据各数据处理***的处理能力确定用于处理待处理数据中的第一数据块的目标数据处理***。最后，将此第一数据块发送至目标数据处理***，以使此目标数据处理***处理此第一数据块。通过设置多个数据处理***，协调器可以将每个数据块都交由处理能力最适合的数据处理***来处理，使得数据块可以被及时处理，从而保证待处理数据能够在预设时间内全部处理完毕。此时，用户能够得到对应于全部待处理数据的数据处理结果，提高数据处理结果的可用性。

上述实施例中提及待处理数据可以是一服务平台中的不同类型的业务数据，比如是一定时间内服务平台的访问数量、不同服务内容各自的点击数量等等。而对于不同类型的业务数据，其数据总量也是不同的，并且数据处理***本身的处理能力是有限的。因此，考虑到数据处理***自身的处理能力以及数据的处理效率，图2为本发明实施例提供的另一种数据处理方法的流程图，如图2所示，可以包括如下步骤：

S201，根据待处理数据对应的业务类型，确定用于进行数据块划分的时间粒度。

S202，根据时间粒度对待处理数据进行划分，以获得待处理数据中的第一数据块。

待处理数据自身可以携带有时间戳以及业务类型标识。协调器则可以根据此业务类型标识确定待处理数据对应的业务类型，并根据业务类型与划分时间粒度之间的预设对应关系确定出时间粒度。再利用此时间粒度对此业务类型的待处理数据进行数据块划分，也即是将时间戳处于此时间粒度内的数据划分到一个数据块中，从而将全部待处理数据划分成多个数据块，其中，多个数据块中的任一个都可以认为是第一数据块。举例来说，时间粒度可以设置为1分钟，则时间戳处于10:00～10:01之间的数据会被划分到同一个数据块中。此时间粒度可以理解为上述实施例中提及的预设时长。

可选地，业务类型与时间粒度之间预设对应关系的建立规则可以为：数据总量越多的待处理数据所属的业务类型，其对应的时间粒度越小，即二者呈反相关关系。比如，一服务平台的访问量通常比此服务平台中一具体服务的点击量要高，则当待处理数据为表示服务平台访问量的业务数据时，时间粒度可以设置1分钟。而当待处理数据为表示一具体服务点击量的业务数据时，时间粒度可以设置为10分钟。

对于待处理数据，其可以是流式数据也可以是非流式数据。当待处理数据为非流式数据时，此非流式的待处理数据已经预先全部存储于协调器中。当待处理数据为流式数据时，此时，流式的待处理数据可以是不断从数据源服务器中获取到的，并且数据源服务器中待处理数据也是不断产生的。当待处理数据为业务数据时，无论此业务数据是流式数据还是非流式数据，其时间戳都可以为表示此数据产生时间的产生时间戳。

S203，获取多个数据处理***各自对应的运行状态信息。

上述步骤203执行过程与前述实施例的相应步骤相似，可以参见如图1所示实施例中的相关描述，在此再不赘述。

S204，根据运行状态信息确定多个数据处理***各自对应的处理能力。

上述实施例中已经提及数据处理***的运行状态信息可以包括网络质量信息和负载压力信息。并且协调器可以根据单一维度的信息来确定数据处理***各自的处理能力。除了上述实施例中提供的确定处理能力的方式，为了提高处理能力确定的准确性，还可以同时结合多维度的信息即同时使用网络质量信息和负载压力信息来确定数据处理***的处理能力。

一种可选地方式：根据以下公式计算任一数据处理***的健康指数：

Q＝(PD+ND)/T+e^F

其中，PD为此任一数据处理***的处理延迟时间，ND为此任一数据处理***的网络延迟时间，T为进行数据块划分的时间粒度，e为自然对数的底，F为此任一数据处理***在预设时间段内的故障次数。

通过上述方式计算出的健康指数可以用来表示数据处理***的处理能力，健康指数越低则数据处理***的处理能力越好。

S205，根据处理能力确定第一数据块对应的目标数据处理***。

接着，协调器可以根据计算得到的各数据处理***的处理能力确定第一数据块对应的目标数据处理***。除了上述实施例步骤104中提供的目标数据处理***的确定方式，另一种可选地方式，协调器可以获取此第一数据块的前一个数据块即第二数据块对应的数据处理***的处理能力。其中，第二数据块中数据的时间戳与第一数据块中数据的时间戳相邻，并且第二数据块中数据的时间戳早于第一数据块中数据的时间戳。以流式数据为例，第一数据块中数据的产生时间戳可以处于10:00～10:01之间，第二数据块中数据的产生时间戳可以处于9:59～10:00之间。

为了后续描述简洁，可以将多个数据处理***中处理能力最好的数据处理***称为第一数据处理***，将第二数据块对应的数据处理***称为第二数据处理***。在得到两个数据处理***的处理能力后，协调器会对二者进行比较：

若第二数据处理***与第一数据处理***之间的处理能力差异度小于阈值，则确定第二数据处理***为第一数据块对应的目标数据处理***。

若第二数据处理***与第一数据处理***之间的处理能力差异度大于阈值，则协调器会进一步确定多个数据处理***中处理能力最好的数据处理***，然后再将第一数据处理***确定为第一数据块对应的目标数据处理***。

上述比较并确定目标数据处理***的过程实质上就是：对于两个数据的产生时间戳相邻的第一数据块以及第二数据块，若存在一数据处理***的处理能力较为突出，则确定将第一数据块交由此能力较为突出的数据处理***进行处理。若不存在一处理能力突出的数据处理***，则确定由处理第二数据块的数据处理***继续处理第一数据块。

S206，将第一数据块发送至目标数据处理***中进行处理。

协调器将第一数据块发送至确定出的目标数据处理***，以使其对第一数据块进行处理，从而得到此第一数据块对应的处理结果。

为了保证各数据处理***对于数据块接收和处理过程的独立性以及数据块处理的效率，可选地，各个数据处理***中还设置有缓存队列。此时，协调器则可以将第一数据块发送至目标数据处理***对应的缓存队列中。目标数据处理***可以依次对缓存队列中的数据块进行处理，从而得到各数据块对应的处理结果。

本实施例中，先根据待处理数据对应的业务类型确定用于划分数据块的时间粒度，再以确定出的时间粒度对待处理数据进行划分，以得到待处理数据中的第一数据块。这样可以使划分出的数据块中包含的数据量较为合理，也即是较为符合数据处理***自身的处理能力。同时，通过多维度运行状态信息的使用可以大大提高确定出的各数据块的目标数据处理***的准确性，使得数据块分配过程更加准确。上述两方面都能够使数据处理***顺利、及时地对数据块进行处理，从而保证待处理数据能够在预设时间内全部处理完毕，使用户能够得到对应于全部待处理数据的数据处理结果，提高数据处理结果的可用性。

另外，对于流式的待处理数据，由于网络原因或者数据处理***的自身原因，对于产生时间戳位于当前时间粒度内的数据，有可能会在不同的时间被协调器接收到，而协调器通常又是定时划分数据块的，因此，会导致产生时间戳位于当前时间粒度内的数据被划分到多个数据块中。这种情况下，协调器可以将包含产生时间戳位于当前时间粒度内的数据的多个数据块交由同一数据处理***进行处理。

除此之外，上述各实施例中的待处理数据是对应于同一业务类型。但在实际应用中，数据源服务器产生的待处理数据也可以对应于多种业务类型。此时，协调器可以根据待处理数据自身携带的业务类型标签将待处理数据按照业务类型进行分类，并分别对属于同一业务类型的待处理数据进行上述处理。

以下将详细描述本发明的一个或多个实施例的数据处理装置。本领域技术人员可以理解，这些数据处理装置均可使用市售的硬件组件通过本方案所教导的步骤进行配置来构成。

图3为本发明实施例提供的数据处理装置的结构示意图，如图3所示，该装置包括：数据获取模块11、信息获取模块12、处理能力确定模块13、目标数据处理***确定模块14以及发送模块15。

数据获取模块11，用于获取待处理数据。

信息获取模块12，用于获取多个数据处理***各自对应的运行状态信息。

处理能力确定模块13，用于根据运行状态信息确定多个数据处理***各自对应的处理能力。

目标数据处理***确定模块14，用于根据处理能力确定待处理数据中的第一数据块对应的目标数据处理***。

发送模块15，用于将第一数据块发送至目标数据处理***中进行处理。

可选地，该装置还可以包括：时间粒度确定模块21，用于根据待处理数据对应的业务类型，确定用于进行数据块划分的时间粒度。

数据获取模块11，用于根据时间粒度对待处理数据进行划分，以获得第一数据块。

可选地，待处理数据为流式数据；数据获取模块11具体用于：根据流式数据中各数据的产生时间戳，将产生时间戳处于当前的时间粒度内的数据确定为第一数据块。

可选地，目标数据处理***确定模块14具体用于：确定多个数据处理***中处理能力最好的数据处理***为第一数据块对应的目标数据处理***。

可选地，目标数据处理***确定模块14具体用于

若第一数据块的前一个第二数据块对应的数据处理***与处理能力最好的数据处理***之间的处理能力差异度小于阈值，则确定第二数据块对应的数据处理***为第一数据块对应的目标数据处理***；

若第一数据块的前一个第二数据块对应的数据处理***与处理能力最好的数据处理***之间的处理能力差异度大于阈值，则确定多个数据处理***中处理能力最好的数据处理***；确定处理能力最好的数据处理***为第一数据块对应的目标数据处理***。

可选地，运行状态信息包括：网络质量信息和负载压力信息。

可选地，处理能力确定模块13具体用于：根据以下公式计算数据处理***的健康指数：Q＝(PD+ND)/T+e^F

其中，PD为负载压力信息中的处理延迟时间，ND为网络质量信息中的网络延迟时间，T为进行数据块划分的时间粒度，e为自然对数的底，F为负载压力信息中的数据处理***在预设时间段内的故障次数。

可选地，发送模块15具体用于：将第一数据块发送至目标数据处理***对应的缓存队列中。

图3所示装置可以执行图1～2所示实施例的方法，本实施例未详细描述的部分，可参考对图1～2所示实施例的相关说明。该技术方案的执行过程和技术效果参见图1～2所示实施例中的描述，在此不再赘述。

图4为本发明实施例提供的数据处理设备的结构示意图，如图4所示，该数据处理设备包括：数据源装置31、协调器32、多个数据处理器33。其中，协调器32分别与数据源装置31和多个数据处理器33通信连接。

数据源装置31，用于提供待处理数据。可选地，此数据源装置31可以理解为上述实施例中涉及的数据源服务器。

协调器32，用于获取数据源装置31提供的待处理数据；获取多个数据处理器33各自对应的运行状态信息；根据运行状态信息确定多个数据处理器33各自对应的处理能力；根据处理能力确定待处理数据中的第一数据块对应的目标数据处理器；将第一数据块发送至目标数据处理器，以由此目标数据处理器对此第一数据块进行处理。

多个数据处理器33，用于对各自接收到的数据块进行处理。

可选地，多个数据处理器33，还用于定时发送自身的运行状态信息至协调器32。并且每个数据处理器33中还可以设置有缓存队列，数据处理器33可以按照进入缓存队列的时间先后顺序处理数据块。其中，此数据处理器33也即是上述各实施例中涉及的数据处理***。

可选地，数据处理设备还包括：处理结果合成器34，用于将多个数据处理器33各自产生的处理结果进行合成，以得到一份数据处理结果。

在多个数据处理设备33分别对各自的数据块进行处理后，可以将数据块对应的处理结果发送至处理结果合成器34，并由处理结果合成器34对数据块对应的处理结果进行合成，从而得到一份完整的待处理数据对应的处理结果。

举例来说，待处理数据对应的处理结果可以具体表现为一张曲线图，而某一数据块对应的处理结果可以认为是此曲线图的一个片段。曲线图可以为表示一服务平台一天内的访问量的曲线图。此时，处理结果合成器34的作用可以理解为将多个曲线图的片段进行合成，以得到一张完成曲线图。

而本实施例未详细描述的部分，可参考对图1～2所示实施例的相关说明。该技术方案的执行过程和技术效果参见图1～2所示实施例中的描述，在此不再赘述。

另外，本发明实施例提供了一种计算机存储介质，用于储存上述电子设备所用的计算机软件指令，其包含用于执行上述图1～2所示方法实施例中数据处理方法所涉及的程序。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助加必需的通用硬件平台的方式来实现，当然也可以通过硬件和软件结合的方式来实现。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以计算机产品的形式体现出来，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种数据处理方法，其特征在于，包括：

获取待处理数据；

获取多个数据处理***各自对应的运行状态信息；

根据所述运行状态信息确定所述多个数据处理***各自对应的处理能力；

根据所述处理能力确定所述待处理数据中的第一数据块对应的目标数据处理***；

将所述第一数据块发送至所述目标数据处理***中进行处理。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

根据所述待处理数据对应的业务类型，确定用于进行数据块划分的时间粒度；

根据所述时间粒度对所述待处理数据进行划分，以获得所述第一数据块。

3.根据权利要求1或2所述的方法，其特征在于，所述待处理数据包括流式数据；

根据所述流式数据中各数据的产生时间戳，将产生时间戳处于当前的时间粒度内的数据确定为所述第一数据块。

4.根据权利要求1所述的方法，其特征在于：

确定所述多个数据处理***中处理能力最好的数据处理***为所述第一数据块对应的目标数据处理***。

5.根据权利要求1所述的方法，其特征在于：

若所述第一数据块的前一个第二数据块对应的数据处理***与所述处理能力最好的数据处理***之间的处理能力差异度小于阈值，则确定所述第二数据块对应的数据处理***为所述第一数据块对应的目标数据处理***；

若所述第一数据块的前一个第二数据块对应的数据处理***与所述处理能力最好的数据处理***之间的处理能力差异度大于阈值，则确定所述多个数据处理***中处理能力最好的数据处理***；

确定所述处理能力最好的数据处理***为所述第一数据块对应的目标数据处理***。

6.根据权利要求1所述的方法，其特征在于，所述运行状态信息包括网络质量信息和负载压力信息。

7.根据权利要求6所述的方法，其特征在于，所述根据所述运行状态信息确定所述多个数据处理***各自对应的处理能力，包括：

根据以下公式计算数据处理***的健康指数：Q＝(PD+ND)/T+e^F

其中，PD为所述负载压力信息中的处理延迟时间，ND为所述网络质量信息中的网络延迟时间，T为进行数据块划分的时间粒度，e为自然对数的底，F为所述负载压力信息中数据处理***在预设时间段内的故障次数。

8.根据权利要求1所述的方法，其特征在于，所述将所述第一数据块发送至所述目标数据处理***中进行处理，包括：

将所述第一数据块发送至所述目标数据处理***对应的缓存队列中。

9.一种数据处理装置，其特征在于，包括：

数据获取模块，用于获取待处理数据；

信息获取模块，用于获取多个数据处理***各自对应的运行状态信息；

处理能力确定模块，用于根据所述运行状态信息确定所述多个数据处理***各自对应的处理能力；

目标数据处理***确定模块，用于根据所述处理能力确定所述待处理数据中的第一数据块对应的目标数据处理***；

发送模块，用于将所述第一数据块发送至所述目标数据处理***中进行处理。

10.一种数据处理设备，其特征在于，包括：协调器，以及分别与所述协调器通信连接的数据源装置、多个数据处理器；

所述数据源装置，用于提供待处理数据；

所述协调器，用于获取所述待处理数据；获取所述多个数据处理器各自对应的运行状态信息；根据所述运行状态信息确定所述多个数据处理器各自对应的处理能力；根据所述处理能力确定所述待处理数据中的第一数据块对应的目标数据处理器，以由所述目标数据处理器对所述第一数据块进行处理。

Images