CN113687846B - 用于处理数据的方法、装置、设备和可读存储介质 - Google Patents

Abstract

本公开提供了用于处理数据的方法、装置、设备和可读存储介质，涉及数据处理技术领域，尤其涉及大数据和智能搜索领域。具体实现方案为：在第一服务器处获取由数据源产生的新版本数据的分配信息，分配信息包括新版本数据被划分成的多个数据分片的多个存储地址和与针对新版本数据的多个有序操作相对应的操作信息；使用多个数据分片中的数据分片的存储地址配置操作信息以生成针对数据分片的经配置的操作信息；确定与多个有序操作中要完成的目标操作相对应的目标状态信息；以及向第二服务器发送针对数据分片的经配置的操作信息和目标状态信息以用于处理数据分片。通过该方法，可以实现数据配送阶段的最终状态一致性，降低数据配送***的复杂度。

Description

用于处理数据的方法、装置、设备和可读存储介质

技术领域

本公开涉及数据处理技术领域，尤其涉及大数据和智能搜索等领域的用于处理数据的方法、装置、设备和可读存储介质。

背景技术

随着计算机互联网的发展，逐渐开始使用由大规模计算机程序组成的复杂的***。随着这种复杂的***的发展，与该***相关的子***以及要处理的数据越来越多。然而，由于计算设备能力受限，现在人们通常将各组成子***中程序的计算和用于该程序的数据进行分开存储。在存储分离的技术方案中，在云服务器中运行的云端程序服务通常包括程序文件和数据文件组成。在程序服务规模增长中，数据文件中包含的数据信息也相应地逐渐增大。然而，在为程序服务提供数据文件的过程中存在许多需要解决的技术问题

发明内容

本公开提供了一种用于处理数据的方法、装置、设备以及存储介质。

根据本公开的第一方面，提供了一种用于处理数据的方法。该方法包括：在第一服务器处获取由数据源产生的新版本数据的分配信息，分配信息包括新版本数据被划分成的多个数据分片的多个存储地址和与针对新版本数据的多个有序操作相对应的操作信息；使用多个数据分片中的数据分片的存储地址配置操作信息以生成针对数据分片的经配置的操作信息；确定与多个有序操作中要完成的目标操作相对应的目标状态信息；以及向第二服务器发送针对数据分片的经配置的操作信息和目标状态信息以用于处理数据分片。

根据本公开的第二方面，提供了一种用于处理数据的方法。该方法包括：在第二服务器处从第一服务器接收针对数据分片的经配置的操作信息和目标状态信息，数据分片来自对由数据源产生的新版本数据进行划分而生成的多个数据分片，经配置的操作信息与针对数据分片的多个有序操作有关，目标状态与多个有序操作中要完成的目标操作相对应；响应于从第一计算设备接收到针对数据分片的第一心跳信息，向第一计算设备发送操作信息和目标状态信息，第一心跳信息包括针对数据分片的当前状态；以及利用数据分片的当前状态来更新第一计算设备的当前状态信息。

根据本公开的第三方面，提供了一种用于处理数据的方法。该方法包括：在第一计算设备处获取要处理的数据分片的标识，数据分片来自对由数据源产生的新版本数据进行划分而生成的多个数据分片；向第二服务器发送针对数据分片的心跳消息以用于接收针对数据分片的操作信息和目标状态信息，操作信息与针对数据分片的多个有序操作有关，目标状态与多个有序操作中要完成的目标操作相对应；将数据分片的当前状态与目标状态进行比较；以及如果确定当前状态不同于目标状态，继续执行多个有序操作以完成目标操作。

根据本公开的第四方面，提供了一种用于处理数据的装置。该装置包括：分配信息获取模块，被配置为在第一服务器处获取由数据源产生的新版本数据的分配信息，分配信息包括新版本数据被划分成的多个数据分片的多个存储地址和与针对新版本数据的多个有序操作相对应的操作信息；操作信息配置模块，被配置为使用多个数据分片中的数据分片的存储地址配置操作信息以生成针对数据分片的经配置的操作信息；目标状态信息确定模块，被配置为确定与多个有序操作中要完成的目标操作相对应的目标状态信息；以及发送模块，被配置为向第二服务器发送针对数据分片的经配置的操作信息和目标状态信息以用于处理数据分片。

根据本公开的第五方面，提供了一种用于处理数据的装置。该装置包括：操作信息和目标状态信息接收模块，被配置为在第二服务器处从第一服务器接收针对数据分片的经配置的操作信息和目标状态信息，数据分片来自对由数据源产生的新版本数据进行划分而生成的多个数据分片，经配置的操作信息与针对数据分片的多个有序操作有关，目标状态与多个有序操作中要完成的目标操作相对应；第一操作信息和目标状态信息发送模块，被配置为响应于从第一计算设备接收到针对数据分片的第一心跳信息，向第一计算设备发送操作信息和目标状态信息，第一心跳信息包括针对数据分片的当前状态；以及更新模块，被配置为利用数据分片的当前状态来更新第一计算设备的当前状态信息。

根据本公开的第六方面，提供了一种用于处理数据的装置。该装置包括：标识获取模块，被配置为在第一计算设备处获取要处理的数据分片的标识，数据分片来自对由数据源产生的新版本数据进行划分而生成的多个数据分片；心跳信息发送模块，被配置为向第二服务器发送针对数据分片的心跳消息以用于接收针对数据分片的操作信息和目标状态信息，操作信息与针对数据分片的多个有序操作有关，目标状态与多个有序操作中要完成的目标操作相对应；比较模块，被配置为将数据分片的当前状态与目标状态进行比较；以及操作执行模块，被配置为如果确定当前状态不同于目标状态，继续执行多个有序操作以完成目标操作。

根据本公开的第七方面，提供了一种电子设备。该电子设备包括至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行根据本公开的第一方面的方法。

根据本公开的第八方面，提供了一种电子设备。该电子设备包括至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行根据本公开的第二方面的方法。

根据本公开的第九方面，提供了一种电子设备。该电子设备包括至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行根据本公开的第三方面的方法。

根据本公开的第十方面，提供一种存储有计算机指令的非瞬时计算机可读存储介质，计算机指令用于使计算机执行根据本公开的第一方面的方法。

根据本公开的第十一方面，提供一种存储有计算机指令的非瞬时计算机可读存储介质，计算机指令用于使计算机执行根据本公开的第二方面的方法。

根据本公开的第十二方面，提供一种存储有计算机指令的非瞬时计算机可读存储介质，计算机指令用于使计算机执行根据本公开的第三方面的方法。

根据本公开的第十三方面，提供一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现根据本公开的第一方面的方法的步骤。

根据本公开的第十四方面，提供一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现根据本公开的第二方面的方法的步骤。

根据本公开的第十五方面，提供一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现根据本公开的第三方面的方法的步骤。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1示出了本公开的多个实施例能够在其中实现的环境100的示意图；

图2示出了根据本公开的一些实施例的用于处理数据的方法200的流程图；

图3示出了根据本公开的一些实施例的分片模式的示例300的示意图；

图4示出了根据本公开的一些实施例的多个分发阶段的示例400的示意图；

图5示出了根据本公开的一些实施例的用于处理数据的方法500的流程图；

图6示出了根据本公开的一些实施例的主控服务和代理的结构600的示意图；

图7示出了根据本公开的一些实施例的用于处理数据的方法700的流程图；

图8示出了根据本公开的一些实施例的针对数据分片的多个有序操作的示例800的示意图；

图9示出了根据本公开的一些实施例的针对数据分片的多个有序操作的示例900的示意图；

图10示出了根据本公开的一些实施例的针对数据分片的多个有序操作的示例1000的示意图；

图11示出了根据本公开的一些实施例的针对数据分片的迁移数据分片的示例1100的示意图；

图12示出了根据本公开的一些实施例的用于处理数据一个示例***1200的示意图；

图13示出了根据本公开的一些实施例的用于处理数据的装置1300的框图；以及

图14示出了根据本公开的一些实施例的用于处理数据的装置1400的框图；以及

图15示出了根据本公开的一些实施例的用于处理数据的装置1500的框图；以及

图16示出了能够实施本公开的多个实施例的设备1600的框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

在本公开的实施例的描述中，术语“包括”及其类似用语应当理解为开放性包含，即“包括但不限于”。术语“基于”应当理解为“至少部分地基于”。术语“一个实施例”或“该实施例”应当理解为“至少一个实施例”。术语“第一”、“第二”等等可以指代不同的或相同的对象。下文还可能包括其他明确的和隐含的定义。

随着程序服务的规模变大，数据文件中包含的数据信息也相应地逐渐增大，通常会超过一台计算机物理内存能存放的容量。这时需要对大数据文件进行切割分片，一份大的数据文件拆分成成百上千份数据分片。因此，在分布式***解决方案，如何将数量众多的数据分片分发到分布式计算机程序中成为需要解决的技术问题。

为了解决上述问题，在一种传统方案中，通过一个中心控制服务程序，来对目标计算机上的配送地址进行通知和推送，在计算机上获取数据后放到计算机程序使用的文件路径上，实现数据的逐个配送。然而这种方案在整个数据配送机制中需要一套中心推送***，对数据进行分发和推送。对于单点计算机推送失败后，只能做有限的重新推送，最终无法做到状态的一致。同时对于在分发推送过程中，产生的新计算机节点，无法及时获取最新的数据文件，需要由中心推送***去感知新节点存在并发起额外的新增推送，在时效性和容错能力上都存在明显的不足。

另一种传统方案是对于过大的数据文件拆分成多个小数据文件，并一一对应地建立对应的数据配送，以实现多个小数据文件的数据配送功能，其中多个小数据文件的数据配送相互独立。然而在超过单台计算机容量的数据情况发生时，需要将数据拆分成小数据文件，并需要创建小文件对应的独立数据配送任务。此时需要通过采用人工的方式进行拆解和新增配送。该方式对于小数据文件的数量扩展存在非常高的维护成本，同时各个小数据的数据配送是相互独立的，无法做小数据文件之间的协同配送，对于严格一致的大数据文件是无法适用的。

还有一种传统方案是在程序和数据上不做明显的拆分。有新数据需要配送的时候，通过计算机程序包变更的方式，进行程序包迭代升级。通过逐个升级计算机程序，实现程序中使用数据文件的更新。然而，对于该方案，对于大数据拆分后的小数据文件，需要绑定到计算机程序升级上，每一次数据更新的时候，需要走计算机程序的迭代变更，逐个升级，无法做到计算机程序和数据文件的灵活解耦，也很难实现计算机程序和数据文件的技术解耦。

为了至少解决上述问题，根据本公开的实施例，提出一种用于处理数据的改进方案。在该方案中，在第一服务器处获取由数据源产生的新版本数据的分配信息，分配信息包括新版本数据被划分成的多个数据分片的多个存储地址和与针对新版本数据的多个有序操作相对应的操作信息。然后第一服务器使用多个数据分片中的数据分片的存储地址配置操作信息以生成针对数据分片的经配置的操作信息，并且确定与多个有序操作中要完成的目标操作相对应的目标状态信息。第一服务器向第二服务器发送针对所述数据分片的经配置的操作信息和目标状态信息以用于处理数据分片。通过该方法，可以实现数据配送阶段的最终状态一致性，显著降低数据配送***的复杂度，提高数据处理的稳定性。

图1示出了本公开的多个实施例能够在其中实现的环境100的示意图。该示例环境100包括服务器106、服务器112和计算设备114。

服务器106和服务器112可以是各种合适的计算设备，也可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务("Virtual Private Server"，或简称"VPS")中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式***的服务器，或者是结合了区块链的服务器。为了便于描述，服务器106可以被称为第一服务器，服务器112可以被成为第二服务器。

服务器106可以用于监测数据源生产的数据的版本是否发生变化。如果监测到新版本数据102，获取新版本数据102。对于处理数据源产生的数据的每个应用存在与该数据源对应的配置信息。配置信息至少包括新版本数据要划分成的数据分片的数目、针对该新版本数据的多个有序操作。备选地或附加地，配置信息还包括将该新版本数据发布到计算设备的多个发布阶段、各个发布阶段使用的计算设备集群的集群标识等。

该多个有序操作也可被视为状态机路径，包括针对新版本数据的按序进行的多个操作。多个有序操作至少包括下载和加载操作。在一些实施例中多个有序操作还包括配置操作，例如创建文件目录等。备选的或附加的，多个有序操作还可以包括在加载操作之后的后续操作，例如对先前接受的数据的处理操作。上述示例仅是用于描述本公开，而非对本公开的具体限定。

服务器106获取到配置信息。然后根据数据分片的数目将新版本数据102划分为多个数据分片104。服务器106可以根据配置信息和数据分片104的相关信息来生成分配信息。数据分片的相关信息包括例如数据分片的存储地址、数据版本等。该分配信息可以包括数据分片的存储地址、数据分片在目的地计算设备中的目的地地址、将新版本数据发布到计算设备的多个发布阶段、各个发布阶段使用的计算设备集群的集群标识、针对该新版本数据的多个有序操作等。

服务器106针对每个数据分片，生成对应于每个数据分片的多个有序操作的操作信息108。例如利用每个数据分片的存储地址配置该数据分片的多个有序操作中的下载操作中的下载地址。服务器106还会针对这些数据分片确定要执行的目标操作来形成目标状态信息110。备选地或附加地，利用不同的发布阶段将针对该发布阶段的计算设备集群的标识和目标操作来生成目标状态信息110，例如将计算设备集群的标识作为目标状态信息中的一个字段。

在图1中生成分配信息、配置多个有序操作及生成目标状态信息的过程在服务器106内执行，其仅是示例，而非对本共开的具体限定，上述过程可以在不同的服务器上实现，本领域技术人员可以根据需要来进行设置。

服务器112接收操作信息108和目标状态信息110。服务器112在接受到计算设备114发来的心跳信息时将在该计算设备上处理的数据分片的操作信息和目标状态信息下发给计算设备114。在一些实施例中，心跳信息中包括数据分片的标识，服务器112根据数据分片的标识来查找对应的操作信息，然后下发针对该数据分片的操作信息和目标状态信息。备选地或附加地，心跳信息中包括计算设备114所属的设备集群的集群标识，服务器112将计算设备114所属的设备集群的集群标识与目标状态信息中的集群标识进行匹配。在两者匹配时才向计算设备114下发操作信息和目标状态信息，这样保证了仅与每个发布阶段相对应的计算设备来执行处理数据分片的应用。上述示例仅是用于描述本公开，而非对本公开的具体限定。

计算设备114在获取到要处理的数据分片的标识后，向服务器112发送包括数据分片的标识的心跳信息以从服务器112来获取该分片的操作信息108和目标状态信息110。计算设备114在获取到操作信息108和目标状态信息110后，将目标状态信息110中的目标状态与现在计算设备114内的当前状态进行比较。如果目标状态与当前的状态不匹配，表明当前进行的操作还没进行到目标操作，计算设备继续进行多个有序操作中的操作。如果匹配，表明计算设备114中进行的操作已经为目标操作，不在需要继续执行后面跟的操作。

计算设备114包括但不限于个人计算机、服务器计算机、手持或膝上型设备、移动设备(诸如移动电话、个人数字助理(PDA)、媒体播放器等)、多处理器***、消费电子产品、小型计算机、大型计算机、包括上述***或设备中的任意一个的分布式计算环境等。其中服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务("Virtual Private Server"，或简称"VPS")中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式***的服务器，或者是结合了区块链的服务器。

图1示出了一个服务器112和一个计算设备114，其仅是示例，而非对本公开的具体限定，该环境100中还可以包括多个服务器112和多个计算设备。其中多个服务器112从一个服务器106接收操作信息和目标状态信息，多个计算设备114从一个服务器112接收数据信息。

通过该方法，可以实现数据配送阶段的最终状态一致性，显著降低数据配送***的复杂度，提高数据处理的稳定性。

上面结合图1描述了本公开的多个实施例的能够在其中实现的环境100。下面结合图2描述根据本公开的一些实施例的用于处理数据的方法200的流程图。图2中的方法200可以由图1中的服务器106或任意合适的计算设备执行。

在框202处，在第一服务器处获取由数据源产生的新版本数据的分配信息，分配信息包括新版本数据被划分成的多个数据分片的多个存储地址和与针对新版本数据的多个有序操作相对应的操作信息。如图1所示，服务器106获取由数据源产生的新版本数据的分配信息。在一些实施例中，服务器106从其他计算设备接收分配信息。在一些实施例中，服务器106生成分配信息。上述示例仅是用于描述本公开，而非对本公开的具体限定。

在一些实施例中，服务器106监测由数据源生成的数据是否发生变化，例如数据源生成的数据是否变化或是否更新等。如果数据发生变化，认为数据版本发生了变化。在一些实施例中，数据版本信息由时间来体现或者用户设定的各种合适的标识信息来表示。在数据发生变化时，生成新的数据版本信息。服务器检查版本信息来确定数据版本是否发生变化。上述示例仅是用于描述本公开，而非对本公开的具体限定。如果确定所述数据的版本发生变化，将新版本数据划分为多个数据分片104。通过该方式，可以快速的划分数据分片。

在一些实施例中，服务器106获取要生成的数据分片的预定数目。例如，服务器106从针对数据源的数据的配置信息中获取该预定数目。然后服务器106根据预定数目来划分新版本数据。通过该方式，可以对数据进行快速的划分。通过将新版本数据102划分为多个数据分片104，可以加快数据的处理，提高了数据处理效率。

图3示出了根据本公开的一些实施例的分片模式的示例300的示意图。在图3中，在传统的单一模式中，不同的版本的数据会生成一个数据文件，例如数据版本1 302、数据版本2 304和数据版本3 306。在本公开的实施例中，每个版本的数据可以被划分为预定数目的数据分片。在一些实施例中，如数据版本1可以被划分为三个数据分片：分片308、310和312。同样，后续的数据版本也被划分为同样数目的数据分片。在一些实施例中，可以将数据划分为任意合适数目的数据分片。上述仅是示例，而非对本公开具体描述。

现在返回图2接着进行描述，在一些实施例中，服务器106根据数据分片的地址以及版本，结合与该数据源对应的配置信息来生成分配信息。配置信息至少包括要新版本数据要划分成的数据分片的数目、将该新版本数据102发布到计算设备的多个发布阶段、各个发布阶段使用的计算设备集群的集群标识、针对该新版本数据的多个有序操作。基于上述信息来生成分配信息。在一些实施例中，服务器106从其他其服务器接收分配置信息。上述示例仅是用于描述本公开，而非对本公开的具体限定。

在框204处，使用多个数据分片中的数据分片的存储地址配置操作信息以生成针对数据分片的经配置的操作信息。例如，图1中的服务器106利用数据分片的存储地址来配置针对每个数据分片的操作信息。备选的或附加地，利用分配信息中的其他信息来配置操作信息。例如还可以配置数据分片在计算设备中的存储地址等。

在一些实施例中，服务器106从分配信息中获取针对数据分片的存储地址。然后，服务器106将存储地址关联到操作信息中的部分信息中以生成针对数据分片的经配置的操作信息，部分信息对应于多个有序操作中的下载操作。通过该方式，可以快速的确定数据分片的存储地址。

在框206处，确定与多个有序操作中要完成的目标操作相对应的目标状态信息。例如，图1中的服务器106确定与多个有序操作中要完成的目标操作相对应的目标状态信息。

在一些实施例中，数据发布阶段只有一个阶段，该目标状态信息用于运行处理数据的应用的所有计算设备，在目标状态信息中设置要完成的目标操作。

在一些实施例种，数据发布包括多个阶段，其中分配信息还包括与新版本数据的多个发布阶段中的每个发布阶段相对应的目标计算设备集群的目标集群标识。此时针对每个发布阶段，服务器106确定与发布阶段相对应的计算设备集群的目标集群标识。服务器还可以确定多个有序操作中要完成的目标操作。然后服务器基于目标操作和目标集群标识生成目标状态信息，例如目标状态信息中包括与目标操作相对应的操作标识以及目标集群标识。通过该方式，可以快速的生成针对不同阶段中的计算设备的目标状态信息。下面结合图4描述多个发布阶段，其中图4示出了根据本公开的一些实施例的多个分发阶段的示例400的示意图。

在图4中，数据发布包括4个阶段，阶段S0 402、阶段S1 404、阶段S2 406和阶段S3408。每个阶段由选定的不同计算设备执行处理数据的应用。例如，在阶段S1 404，选定了联合集群Union_ig1和Union_ig2来运行处理数据分片的应用，每个联合集群包括多个计算设备集群，例如联合集群Union_ig1包括计算设备集群ig1、ig2、ig3和ig4。每个计算设备集群包括多个计算设备实例。因此针对每个发布阶段，服务器106将不同的计算设备集群的标识放入目标状态信息中以用于向目标集群中的计算设备下发操作信息和目标状态信息。

返回图2接着进行描述，在框208处，向第二服务器发送针对数据分片的经配置的操作信息和目标状态信息以用于处理数据分片。例如，如图1所示，服务器106向服务器112发送针对数据分片的经配置的操作信息和目标状态信息以用于处理数据分片。

在一些实施例中，服务器106还会获取与目标集群标识相对应的多个计算设备的当前状态信息，当前状态信息指示多个计算设备已完成的多个有序操作中的操作。然后，服务器106确定当前状态信息与目标状态信息是否匹配。如果确定当前状态信息与目标状态信息匹配，将目标状态信息更新为与目标操作的下一操作相对应。然后服务器106向服务器112发送经更新的目标状态以用于完成下一操作。如果两个状态信息不匹配，则表明还有计算设备未执行到目标操作，再以预定时间间隔获取多个计算设备的当前状态信息以检测等待所有计算设备完成该目标操作。通过该方式，可以实现数据处理过程中的一致性。

作为一个示例，如图4所示，在发布阶段S1 404，服务器106定时查询每个计算设备实例的状态，如果计算设备集群中的每个实例的状态与目标状态匹配，则将对应的集群的状态设置为完成目标操作的状态，也成为状态回收。如果每个计算设备集群的状态为完成目标操作的状态，则可以将联合集群的状态设置为完成目标操作的状态，这也可以称为状态递归，然后通过联合集群并行推进目标状态的执行。在该阶段的所有计算设备的状态为目标状态后，服务器将目标状态信息中的目标操作调整为多个有序操作中的下一操作。

在一些实施例中，如果服务器106中又接收到更新版本的数据的发布信息，则等待该当前数据版本的有序操作完成后进行更新版本数据的发布操作。

通过该方法，可以实现数据配送阶段的最终状态一致性，显著降低数据配送***的复杂度，提高数据处理的稳定性。

上面结合图2-图4描述了本公开的多个实施例的用于处理数据的方法200的流程图。下面结合图5描述根据本公开的一些实施例的用于处理数据的方法500的流程图。图5中的方法500可以由图1中的服务器112或任意合适的计算设备执行。

在框502处，在第二服务器处从第一服务器接收针对数据分片的经配置的操作信息和目标状态信息，数据分片来自对由数据源产生的新版本数据进行划分而生成的多个数据分片，经配置的操作信息与针对数据分片的多个有序操作有关，目标状态与多个有序操作中要完成的目标操作相对应。例如，图1中的服务器112从服务器106接收针对数据分片的经配置的操作信息和目标状态信息。服务器112接收到针对数据分布的操作信息和目标状态信息后进行存储。

在框504处，确定是否从第一计算设备接收到针对数据分片的第一心跳信息。例如，服务器112监测是否从计算设备114接收到心跳信息。如果从第一计算设备114接收到针对数据分片的第一心跳信息，在框506处，向第一计算设备发送操作信息和目标状态信息，第一心跳信息包括针对数据分片的当前状态。例如，由计算设备114向服务器112发送的心跳信息包括当前状态，该当前状态指示在计算设备114上已完成的针对数据分片的操作。

在一些实施例中，第一心跳信息还包括第一计算设备所位于的参考计算设备集群的参考集群标识，目标状态信息包括与新版本数据的多个发布阶段中的每个发布阶段相对应的目标计算设备集群的目标集群标识。服务器112在向第一计算设备114发送操作信息和目标状态信息时，需要先将参考集群标识与目标集群标识进行匹配。如果确定参考集群标识与目标集群标识匹配，表明第一计算设备是该发布阶段选定的计算设备，则向第一计算设备发送操作信息和目标状态信息。如果不匹配，表明第一计算设备不是在该发布阶段选定的计算设备。因此，不需要发送操作信息和目标状态信息。通过该方式，可以准确的控制各个计算设备的操作。

利用上述心跳信息获取操作信息和目标状态信息，实质上建立了声明式配送机制，保证了数据处理的一致性。该声明式配送机制是由服务器112上的主控服务和在计算设备114上运行的代理服务实现，主控服务与代理服务是一对多关系。如图6所示，多个代理服务会与主控服务进行网络通信，同步心跳信息和获取数据文件的最新版本。主控服务维护数据文件的最新版本，同时维护最新版本的当前阶段，供代理服务查询获取。具体地，在第二服务器上运行的主控服务602包括多个有序操作，对应于多个阶段。与主控服务602相关联的多个代理运行在多个不同的计算设备上，例如代理604、606和608运行在三个计算设备上。每个代理负责管理针对数据分片610、612和614的多个不同阶段的操作。

返回图5接着进行描述，在框508处，利用数据分片的当前状态来更新第一计算设备的当前状态信息。例如，图1中的服务器112利用数据分片的当前状态来更新第一计算设备的当前状态信息，例如将当前状态存储到计算设备的状态信息列表中。

在一些实施例中，如果在服务器106中目标状态信息更新之后，服务器112从服务器106接收经更新的目标状态信息，其中经更新的目标状态信息与目标操作的下一操作相对应。然后，服务器112在接收到针对数据分片的第二心跳信息后，向第一计算设备发送操作信息和经更新的目标状态信息以用于完成下一操作。通过该方式，可以实现操作的一致性。

在一些实施例中，服务器112还会从第一计算设备114接收到包括转移数据分片的标识的第三心跳信息，在与参考计算设备集群相关联的部分数据分片的第一状态信息中查找转移数据分片的操作信息和目标状态信息，转移数据分片从第二计算设备转移到第一计算设备上。如果在第一状态信息中未查找到转移数据分片的操作信息和目标状态，在与多个数据分片相对应的第二状态信息中来查找转移数据分片的操作信息和目标状态。然后服务器112向所述第一计算设备114发送查找到的转移数据分片的操作信息和目标状态。通过该方式，可以快速实现数据分片的转移。

通过该方法，可以实现数据配送阶段的最终状态一致性，显著降低数据配送***的复杂度，提高数据处理的稳定性

上面结合图5-6描述了本公开的多个实施例的用于处理数据的方法500。下面结合图7描述根据本公开的一些实施例的用于处理数据的方法700的流程图。图7中的方法700可以由图1中的计算设备114或任意合适的计算设备执行。

在框702处，在第一计算设备处获取要处理的数据分片的标识，数据分片来自对由数据源产生的新版本数据进行划分而生成的多个数据分片。例如，计算设备114获取要处理的数据分片104的标识。

在一些实例中，与计算设备114上运行的应用相连接的应用控制***可以获得所有数据分片的信息以及可运行处理数据分片的应用的计算设备的标识，然后为每个计算设备分配可处理的数据分片。因此，计算设备114可以从应用控制***获得其要处理的数据分片的标识。

在框704处，向第二服务器发送针对数据分片的心跳消息以用于接收针对数据分片的操作信息和目标状态信息，操作信息与针对数据分片的多个有序操作有关，目标状态与多个有序操作中要完成的目标操作相对应。例如，计算设备114向服务器112发送针对数据分片的心跳消息以用于接收针对数据分片的操作信息和目标状态信息。

针对每个数据分片的多个有序操作包括多个操作。该多个有序操作至少包括下载操作和加载操作，这两个操作是处理数据分片的固定操作。用户可以在这两个操作前后设置自定义的多个操作阶段，例如在下载前的自定义的操作，例如创建文件目录等操作，在加载操作后增加自定义的操作，全部操作组成一个数据分片的操作信息。代理服务通过心跳信息将不同数据单元的当前状态上报给第二服务器112上的主控服务，主控服务会根据从代理服务的接收到的心跳信息，下发操作信息和目标状态。其中图8示出了根据本公开的一些实施例的针对数据分片的多个有序操作的示例800的示意图。

如图8所示。数据分片1 802是计算设备114处理的由第一数据源产生的数据分片，数据分片2 806是计算设备114上处理的由第二数据源产生的数据分片。针对数据分片1802存在多个有序操作804，针对数据分片2 806存在多个有序操作808，其中阶段0、阶段3和阶段4对应于用户自定义的其他操作。运行在计算设备114上的代理服务可以通过心跳信息将数据分片1的状态信息发送给服务器112的主控服务，例如与计算设备114运行完成的当前操作相对应的状态信息。同样，对于数据分片2 806，也可以将计算设备114完成的针对该数据分片的当前操作相对应的状态信息发送给服务器112中的主控服务。然后从主控服务接收针对数据分片1的操作信息以及目标状态信息和针对数据分片2的操作信息以及目标状态信息。计算设备114依据接收的操作信息和目标状态信息来对数据分片进行处理直到完成与目标状态信息相对应的操作。

上面图8示出了针对位于同一计算设备上的来自不同数据源的数据分片的多个有序操作的示意图，下面结合图9介绍针对一个数据分片的多个有序操作。

如图9所示，计算设备114上的代理服务获取针对数据分片902的操作信息和目标状态信息。该操作信息904包括多个有序操作，其中阶段0、阶段3和阶段4对应于多个自定义操作。计算设备114将目标状态信息和计算设备114上针对该数据分片的当前状态进行比较，如果状态不同，则需要继续对数据分片进行后面的操作，最终实现数据文件的当前目标状态。对于落后的操作，会根据每个阶段的定义重试次数和运行超时时间做失败后置处理，最大程度地实现目标操作的顺利达成，做到数据文件的版本阶段最终一致性。具体，针对每个操作，如果该操作不成功，可以进行重试，如果重试规定的次数不成功或者超过了一定的时间限定，则反馈针对该数据分片的处理不成功。例如加载阶段可以重试20次，并且在1200s内完成，如果未实现，则表明操作失败。因此，通过这种机制可以使得针对数据分片的处理尽可能准确的完成。然后通过控制数据分片的执行，可以实现对数据源产生的所有数据分片的控制。

对于一台新计算机或容器加入到计算机程序的服务集群中时，会根据启动的代理服务与主控服务的交互获取最新目标阶段，依次完成数据配送的目标阶段达成，最终与计算设备集群中的其他计算设备上的服务做到数据配送的一致性。

在一些实施例中，心跳消息包括确定针对数据分片的当前状态。计算设备114利用数据分片的标识和当前状态生成心跳信息。通过该方式，可以生成准确定的心跳信息。

在一些实施例中，周期性的地发送心跳信息以用于更新处理分片的第一计算设备的当前状态信息，例如每5s发送一次心跳信息。通过该方式，可以快速的更新计算设备的状态。

在框706处，将数据分片的当前状态与目标状态进行比较。例如，在图1中计算设备114将数据分片的当前状态与获得的目标状态进行比较。在框708处，如果确定当前状态不同于目标状态，继续执行多个有序操作以完成目标操作。如果当前状态与目标在状态相同，表明执行到预定的操作，则不需要再进行后续操作。

如图10所示，大的数据1002被分割成多个数据分片，例如数据分片1 1004、数据分片2 1006和数据分片3 1008。利用控制多个数据分片的多个有序操作中的目标操作，使代理服务按照目标状态进行执行，例如同时执行到数据下载完成的阶段，待收集全部数据分片完成当前目标操作后，主控服务对多个数据单元同时做下一阶段状态的目标更改，从而实现分布式数据的多个数据单元被计算机程序同时执行加载等操作。

在一些实施例中，其中多个有序操作包括下载操作，下载操作包括数据分片的存储地址。计算设备114还执行下载操作从存储地址获取数据分片。通过该方式，可以快速的从数据分片的存储位置获取到数据分片。

在一些实施例中，在已为各个运行处理数据分片的程序的计算设备分配数据分片后，还会根据计算设备的处理情况来动态调整数据分片在不同计算设备上的处理。如果确定分配给该计算设备数据分片要由第三计算设备上的应用执行，则需要从该计算设备运行的程序的描述文件中删除数据分片的标识，从而不再对该数据分片进行处理。通过该方法，可以快速的实现数据的转移。

在一些实施例中，如果该计算设备的处理能力较强，已经没有数据分片处理，可以将分配给其他计算设备的数据分片调整到该计算设备处理。例如，管理各计算设备运行程序的程序控制***会将该数据分片调整到由计算设备114处理。如果确定接收到转移数据分片的标识，向第二服务器发送包括转移数据分片的标识的心跳信息以用于获取针对转移数据分片的操作信息和目标状态。计算设备114基于转移数据分片的操作信息和目标状态来处理转移数据分片。通过该方法，可以快速的实现转移数据分片的处理。

在一个示例中，计算设备114获得转移数据分片的标识，然后将该标识加入在计算设备114上运行的处理数据分片的应用的数据描述文件中。然后代理会从数据描述文件中获取该标识，然后通过向主控服务发送包括该转移数据分片的标识的心跳信息来查找对应的操作信息和目标状态信息。

如图11所示，在计算设备1 1110中运行处理数据分片的应用1114，在计数设备2内运行处理数据分片的应用1128。针对应用1114的代理1118和针对应用1128的代理1124与主控服务1102通信。数据分片1 1120和数据分片2 1122分配给计算设备1中的应用1114处理，数据分片3 1130分配给计算设备2中的应用1128处理。在计算机应用1114中，程序所使用的分片数据文件的标识记录在针对该应用的数据描述文件1116和1126中。

当程序应用控制***将数据分片2 1122从由应用1114处理变更至由应用1128处理时，首先在针对应用1128的数据描述文件1126中加入新分片描述，这时候应用1128的数据描述文件内容变更为数据分片2和数据分片3。应用1128的代理1124使用数据描述信息与主控服务1102进行心跳通信，这时主控服务首先通过一级查询在对应配送版本信息的计算设备集群的关键信息ig_key2 1106中查找与数据分片2对应的信息，结果未查询到数据分片2的操作信息和目标状态信息，因为其被分配给关键信息为ig_key1 1104的计算设备集群中。此时，主控服务进行第二级查询，对包含全局信息的词典信息维度的存储信息Field_key 1106进行查找，可查询到数据分片2数据配送的当前版本目标阶段信息以及操作信息，从而下发给代理服务正确的数据分片2的信息。代理服务获取到数据分片的操作信息和目标状态信息后，会完对该数据分片的操作。备选地或附加地，在针对应用1114的数据描述文件1116中删除数据分片2 1122的标识。

通过该方法，可以实现数据配送阶段的最终状态一致性，显著降低数据配送***的复杂度，提高数据处理的稳定性。

上面结合图7-11描述了本公开的多个实施例的用于处理数据的方法700。下面结合图12描述根据本公开的一些实施例的用于处理数据的***1200的示意图。如图12所示，***包括构建模块1204。该构建模块1204负责对数据源的更新检查，定期巡检每一个数据文件是否有最新内容变更，做历史版本的信息比较判定，如检查发现有新数据内容则产生数据文件的一个新版本数据，与数据配送的模板配置信息进行组装，产生一次要执行的分布式数据配送，交给状态机驱动器1206进行执行。状态机驱动器1206负责对分布式数据配送的状态推荐，根据单一模式和分片模式进行不同的驱动器控制，对每个阶段内的配送目标机器进行协同，实现分片数据的状态协同和进度控制。实现分布式数据的协同操作后，对当前阶段状态进行回收检查，并推动执行到下一个阶段，直至整体数据配送结束。

***1200还包括主控服务模块1208。该主控服务模块1208接收和更新每个操作的数据文件版本信息，维护当前版本信息并与代理服务维护通信，承接代理服务的心跳信息，向代理服务传递操作信息和目标状态信息。同时汇总计算设备的数据分发状态，记录程序的实例版本信息。

***1200还包括代理模块1212。代理模块1212负责声明式的数据配送执行，根据从主控服务拿到的信息和最终状态，对数据版本进行状态更新。收集代理服务所在计算机环境信息和当前数据状态，定其上报收集的数据，获取主控服务下发的最终数据。同样，主控服务1208还会处理其他的数据1210和数据1214。

因此，对于一次新版本数据的配送过程，首先数据源端产出新内容，构建模块对数据进行感知，与配送模块进行组装和决策，产出一次数据配送发起执行。数据配送的每个阶段由状态驱动器进行控制，下发给主控服务模块。主控服务模块在接收代理服务的心跳上报信息时，将数据文件新版本信息通知下发。在代理服务中根据数据文件的版本信息和最终状态做一致性追赶和完成数据配送。

图13示出了根据本公开实施例的用于处理数据的装置1300的示意性框图。如图13所示，装置1300包括：分配信息获取模块1302，被配置为在第一服务器处获取由数据源产生的新版本数据的分配信息，分配信息包括新版本数据被划分成的多个数据分片的多个存储地址和与针对新版本数据的多个有序操作相对应的操作信息；操作信息配置模块1304，被配置为使用多个数据分片中的数据分片的存储地址配置所述操作信息以生成针对数据分片的经配置的操作信息；目标状态信息确定模块1306，被配置为确定与多个有序操作中要完成的目标操作相对应的目标状态信息；以及发送模块1308，被配置为向第二服务器发送针对数据分片的经配置的操作信息和目标状态信息以用于处理数据分片。

在一些实施例中，其中操作信息配置模块1304包括：存储地址获取模块，被配置为从分配信息中获取针对数据分片的存储地址；以及存储地址关联模块，被配置为将存储地址关联到操作信息中的部分信息中以生成针对数据分片的经配置的操作信息，部分信息对应于多个有序操作中的下载操作。

在一些实施例中，其中分配信息还包括与新版本数据的多个发布阶段中的每个发布阶段相对应的目标计算设备集群的目标集群标识，其中目标状态信息确定模块1306包括：目标集群标识确定模块，被配置为针对发布阶段，确定与发布阶段相对应的目标集群标识；目标操作确定模块，被配置为确定多个有序操作中要完成的目标操作；以及目标状态信息生成模块，被配置为基于目标操作和目标集群标识生成目标状态信息。

在一些实施例中，装置1300还包括：当前状态信息获取模块，被配置为获取与目标集群标识相对应的多个计算设备的当前状态信息，当前状态信息指示多个计算设备已完成的多个有序操作中的操作；匹配确定模块，被配置为确定当前状态信息与目标状态信息是否匹配；更新模块，被配置为如果确定当前状态信息与目标状态信息匹配，将目标状态信息更新为与目标操作的下一操作相对应；以及更新发送模块，被配置为向第二服务器发送经更新的目标状态以用于完成所述下一操作。

在一些实施例中，装置1300还包括：监测模块，被配置为监测由数据源生成的数据的版本是否发生变化；以及第一划分模块，被配置为如果确定数据的版本发生变化，将新版本数据划分为多个数据分片。

在一些实施例中，其中第一划分模块包括：预定数据获取模块，被配置为获取要生成的数据分片的预定数目；以及第二划分模块，被配置为数基于预定数目来划分新版本数据。

图14示出了根据本公开实施例的用于处理数据的装置1400的示意性框图。如图14所示，装置1400包括：操作信息和目标状态信息接收模块1402，被配置为在第二服务器处从第一服务器接收针对数据分片的经配置的操作信息和目标状态信息，所述数据分片来自对由数据源产生的新版本数据进行划分而生成的多个数据分片，经配置的操作信息与针对数据分片的多个有序操作有关，目标状态与多个有序操作中要完成的目标操作相对应；第一操作信息和目标状态信息发送模块1404，被配置为响应于从第一计算设备接收到针对数据分片的第一心跳信息，向第一计算设备发送操作信息和目标状态信息，第一心跳信息包括针对数据分片的当前状态；以及更新模块1406，被配置为利用数据分片的当前状态来更新第一计算设备的当前状态信息。

在一些实施例中，装置1400还包括：经更新的目标状态信息接收模块，被配置为从第一服务器接收经更新的目标状态信息，经更新的目标状态信息与目标操作的下一操作相对应；以及操作信息和经更新的所述目标状态信息发送模块，被配置为响应于接收到针对数据分片的第二心跳信息，向第一计算设备发送操作信息和经更新的所述目标状态信息以用于完成下一操作。

在一些实施例中，其中所述第一心跳信息还包括第一计算设备所位于的参考计算设备集群的参考集群标识，目标状态信息包括与新版本数据的多个发布阶段中的每个发布阶段相对应的目标计算设备集群的目标集群标识；其中第一操作信息和目标状态信息发送模块1404包括：匹配模块，被配置为将参考集群标识与目标集群标识进行匹配；以及第二操作信息和目标状态信息发送模块，被配置为如果确定参考集群标识与目标集群标识匹配，则向第一计算设备发送操作信息和目标状态信息。

在一些实施例中，装置1400还包括：第一查找模块，被配置为响应于从第一计算设备接收到包括转移数据分片的标识的第三心跳信息，在与参考计算设备集群相关联的部分数据分片的第一状态信息中查找转移数据分片的操作信息和目标状态信息，转移数据分片从第二计算设备转移到第一计算设备上；第二查找模块，被配置为如果在第一状态信息中未查找到转移数据分片的操作信息和目标状态，在与多个数据分片相对应的第二状态信息中来查找转移数据分片的操作信息和目标状态；以及查找结果发送模块，被配置为向第一计算设备发送查找到的转移数据分片的操作信息和目标状态。

图15示出了根据本公开实施例的用于处理数据的装置1500的示意性框图。如图15所示，装置1500包括：标识获取模块1502，被配置为在第一计算设备处获取要处理的数据分片的标识，数据分片来自对由数据源产生的新版本数据进行划分而生成的多个数据分片；心跳信息发送模块1504，被配置为向第二服务器发送针对数据分片的心跳消息以用于接收针对数据分片的操作信息和目标状态信息，操作信息与针对数据分片的多个有序操作有关，目标状态与多个有序操作中要完成的目标操作相对应；比较模块1506，被配置为将数据分片的当前状态与目标状态进行比较；以及操作执行模块1508，被配置为如果确定当前状态不同于目标状态，继续执行多个有序操作以完成目标操作。

在一些实施例中，其中所述心跳信息发送模块1504包括：当前状态确定模块，被配置为确定针对数据分片的当前状态；以及心跳信息生成模块，被配置为基于数据分片的标识和当前状态生成心跳信息。

在一些实施例中，其中心跳信息发送模块1504还包括：周期性模块，被配置为周期性的地发送心跳信息以用于更新处理分片的第一计算设备的当前状态信息。

在一些实施例中，其中所述多个有序操作包括下载操作，下载操作包括数据分片的存储地址；装置还包括:下载操作执行模块，被配置为执行下载操作从存储地址获取数据分片。

在一些实施例中，装置1500还包括：删除模块，被配置为如果确定数据分片要由第三计算设备上的应用执行，删除数据分片的标识。

在一些实施例中，装置1500还包括：发送模块，被配置为如果确定接收到转移数据分片的标识，向第二服务器发送包括转移数据分片的标识的心跳信息以用于获取针对转移数据分片的操作信息和目标状态，转移数据分片从第二计算设备转移到所述第一计算设备上；以及转移数据分片处理模块，被配置为基于转移数据分片的操作信息和目标状态来处理转移数据分片。

本公开的技术方案中，所涉及的用户个人信息的获取，存储和应用等，均符合相关法律法规的规定，且不违背公序良俗。

根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

图16示出了可以用来实施本公开的实施例的示例电子设备1600的示意性框图。该示例电子设备1600可用于实现图1中的服务器106、服务器112和计算设备114。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图16所示，设备1600包括计算单元1601，其可以根据存储在只读存储器(ROM)1602中的计算机程序或者从存储单元1608加载到随机访问存储器(RAM)1603中的计算机程序，来执行各种适当的动作和处理。在RAM 1603中，还可存储设备1600操作所需的各种程序和数据。计算单元1601、ROM 1602以及RAM 1603通过总线1604彼此相连。输入/输出(I/O)接口1605也连接至总线1604。

设备1600中的多个部件连接至I/O接口1605，包括：输入单元1606，例如键盘、鼠标等；输出单元1607，例如各种类型的显示器、扬声器等；存储单元1608，例如磁盘、光盘等；以及通信单元1609，例如网卡、调制解调器、无线通信收发机等。通信单元1609允许设备1600通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元1601可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1601的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元1601执行上文所描述的各个方法和处理，例如方法200、500和700。例如，在一些实施例中，方法200、500和700可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元1608。在一些实施例中，计算机程序的部分或者全部可以经由ROM 1602和/或通信单元1609而被载入和/或安装到设备1600上。当计算机程序加载到RAM 1603并由计算单元1601执行时，可以执行上文描述的方法200、500和700的一个或多个步骤。备选地，在其他实施例中，计算单元1601可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行方法200、500和700。

本文中以上描述的***和技术的各种实施方式可以在数字电子电路***、集成电路***、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上***的***(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程***上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储***、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储***、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行***、装置或设备使用或与指令执行***、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体***、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的***和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的***和技术实施在包括后台部件的计算***(例如，作为数据服务器)、或者包括中间件部件的计算***(例如，应用服务器)、或者包括前端部件的计算***(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的***和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算***中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将***的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机***可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式***的服务器，或者是结合了区块链的服务器。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (30)

1.一种用于处理数据的方法，包括：

在第一服务器处获取由数据源产生的新版本数据的分配信息，所述分配信息包括所述新版本数据被划分成的多个数据分片的多个存储地址和与针对所述新版本数据的多个有序操作相对应的操作信息，以及与所述新版本数据的多个发布阶段中的每个发布阶段相对应的目标计算设备集群的目标集群标识；

使用所述多个数据分片中的数据分片的存储地址配置所述操作信息以生成针对所述数据分片的经配置的操作信息；

确定与所述多个有序操作中要完成的目标操作相对应的目标状态信息；以及

向第二服务器发送针对所述数据分片的所述经配置的操作信息和所述目标状态信息以用于处理所述数据分片；

其中确定所述目标状态信息包括：

针对每个发布阶段，确定与所述发布阶段相对应的目标集群标识；

确定所述多个有序操作中要完成的目标操作；以及

基于所述目标操作和所述目标集群标识生成所述目标状态信息。

2. 根据权利要求1所述的方法，其中配置所述操作信息包括：

从所述分配信息中获取针对所述数据分片的存储地址；以及

将所述存储地址关联到所述操作信息中的部分信息中以生成针对所述数据分片的所述经配置的操作信息，所述部分信息对应于所述多个有序操作中的下载操作。

3.根据权利要求1所述的方法，还包括：

获取与所述目标集群标识相对应的多个计算设备的当前状态信息，所述当前状态信息指示所述多个计算设备已完成的所述多个有序操作中的操作；

确定所述当前状态信息与所述目标状态信息是否匹配；

如果确定所述当前状态信息与所述目标状态信息匹配，将所述目标状态信息更新为与所述目标操作的下一操作相对应；以及

向第二服务器发送经更新的所述目标状态信息以用于完成所述下一操作。

4. 根据权利要求1所述的方法，还包括：

监测由所述数据源生成的数据的版本是否发生变化；以及

如果确定所述数据的版本发生变化，将所述新版本数据划分为所述多个数据分片。

5. 根据权利要求4所述的方法，其中将所述新版本数据划分为多个数据分片包括：

获取要生成的数据分片的预定数目；以及

基于所述预定数目来划分所述新版本数据。

6.一种用于处理数据的方法，包括：

在第二服务器处从第一服务器接收针对数据分片的经配置的操作信息和目标状态信息，所述数据分片来自对由数据源产生的新版本数据进行划分而生成的多个数据分片，所述经配置的操作信息与针对所述数据分片的多个有序操作有关，所述目标状态信息与所述多个有序操作中要完成的目标操作相对应；

响应于从第一计算设备接收到针对所述数据分片的第一心跳信息，向第一计算设备发送所述操作信息和所述目标状态信息，所述第一心跳信息包括针对所述数据分片的当前状态和所述第一计算设备所位于的参考计算设备集群的参考集群标识，所述目标状态信息包括与所述新版本数据的多个发布阶段中的每个发布阶段相对应的目标计算设备集群的目标集群标识；以及

利用所述数据分片的当前状态来更新所述第一计算设备的当前状态信息；

其中向第一计算设备发送所述操作信息和所述目标状态信息包括：

将所述参考集群标识与所述目标集群标识进行匹配；以及

如果确定所述参考集群标识与所述目标集群标识匹配，则向所述第一计算设备发送所述操作信息和所述目标状态信息。

7. 根据权利要求6所述的方法，还包括：

从所述第一服务器接收经更新的所述目标状态信息，经更新的所述目标状态信息与所述目标操作的下一操作相对应；以及

响应于接收到针对所述数据分片的第二心跳信息，向所述第一计算设备发送所述操作信息和经更新的所述目标状态信息以用于完成所述下一操作。

8.根据权利要求6所述的方法，还包括：

响应于从所述第一计算设备接收到包括转移数据分片的标识的第三心跳信息，在与所述参考计算设备集群相关联的部分数据分片的第一状态信息中查找所述转移数据分片的操作信息和目标状态信息，所述转移数据分片从第二计算设备转移到所述第一计算设备上；

如果在第一状态信息中未查找到所述转移数据分片的操作信息和目标状态信息，在与所述多个数据分片相对应的第二状态信息中来查找所述转移数据分片的操作信息和目标状态信息；以及

向所述第一计算设备发送查找到的所述转移数据分片的操作信息和目标状态信息。

9.一种用于处理数据的方法，包括：

在第一计算设备处获取要处理的数据分片的标识，所述数据分片来自对由数据源产生的新版本数据进行划分而生成的多个数据分片；

向第二服务器发送针对所述数据分片的心跳消息以用于接收针对所述数据分片的操作信息和目标状态信息，所述操作信息与针对所述数据分片的多个有序操作有关，所述目标状态信息与所述多个有序操作中要完成的目标操作相对应；

其中发送所述心跳消息包括：

确定针对所述数据分片的当前状态；

基于所述数据分片的标识和所述当前状态生成所述心跳信息；以及

周期性的地发送所述心跳信息以用于更新处理所述分片的第一计算设备的当前状态信息；

将所述数据分片的当前状态与所述目标状态信息进行比较；以及

如果确定所述当前状态不同于所述目标状态信息，继续执行所述多个有序操作以完成所述目标操作。

10.根据权利要求9所述的方法，其中所述多个有序操作包括下载操作，所述下载操作包括所述数据分片的存储地址；所述方法还包括:

执行所述下载操作从所述存储地址获取所述数据分片。

11.根据权利要求9所述的方法，还包括：

如果确定所述数据分片要由第三计算设备上的应用执行，删除所述数据分片的标识。

12. 根据权利要求9所述的方法，还包括：

如果确定接收到转移数据分片的标识，向第二服务器发送包括所述转移数据分片的标识的心跳信息以用于获取针对所述转移数据分片的操作信息和目标状态信息，所述转移数据分片从第二计算设备转移到所述第一计算设备上；以及

基于所述转移数据分片的操作信息和目标状态信息来处理所述转移数据分片。

13.一种用于处理数据的装置，包括：

分配信息获取模块，被配置为在第一服务器处获取由数据源产生的新版本数据的分配信息，所述分配信息包括所述新版本数据被划分成的多个数据分片的多个存储地址和与针对所述新版本数据的多个有序操作相对应的操作信息，以及与所述新版本数据的多个发布阶段中的每个发布阶段相对应的目标计算设备集群的目标集群标识；

操作信息配置模块，被配置为使用所述多个数据分片中的数据分片的存储地址配置所述操作信息以生成针对所述数据分片的经配置的操作信息；

目标状态信息确定模块，被配置为确定与所述多个有序操作中要完成的目标操作相对应的目标状态信息；以及

发送模块，被配置为向第二服务器发送针对所述数据分片的所述经配置的操作信息和所述目标状态信息以用于处理所述数据分片；

其中所述目标状态信息确定模块包括：

目标集群标识确定模块，被配置为针对每个发布阶段，确定与所述发布阶段相对应的目标集群标识；

目标操作确定模块，被配置为确定所述多个有序操作中要完成的目标操作；以及

目标状态信息生成模块，被配置为基于所述目标操作和所述目标集群标识生成所述目标状态信息。

14. 根据权利要求13所述的装置，其中所述操作信息配置模块包括：

存储地址获取模块，被配置为从所述分配信息中获取针对所述数据分片的存储地址；以及

存储地址关联模块，被配置为将所述存储地址关联到所述操作信息中的部分信息中以生成针对所述数据分片的所述经配置的操作信息，所述部分信息对应于所述多个有序操作中的下载操作。

15.根据权利要求13所述的装置，还包括：

当前状态信息获取模块，被配置为获取与所述目标集群标识相对应的多个计算设备的当前状态信息，所述当前状态信息指示所述多个计算设备已完成的所述多个有序操作中的操作；

匹配确定模块，被配置为确定所述当前状态信息与所述目标状态信息是否匹配；

更新模块，被配置为如果确定所述当前状态信息与所述目标状态信息匹配，将所述目标状态信息更新为与所述目标操作的下一操作相对应；以及

更新发送模块，被配置为向第二服务器发送经更新的所述目标状态信息以用于完成所述下一操作。

16. 根据权利要求13所述的装置，还包括：

监测模块，被配置为监测由所述数据源生成的数据的版本是否发生变化；以及

第一划分模块，被配置为如果确定所述数据的版本发生变化，将所述新版本数据划分为所述多个数据分片。

17. 根据权利要求16所述的装置，其中所述第一划分模块包括：

预定数据获取模块，被配置为获取要生成的数据分片的预定数目；以及

第二划分模块，被配置为数基于所述预定数目来划分所述新版本数据。

18.一种用于处理数据的装置，包括：

操作信息和目标状态信息接收模块，被配置为在第二服务器处从第一服务器接收针对数据分片的经配置的操作信息和目标状态信息，所述数据分片来自对由数据源产生的新版本数据进行划分而生成的多个数据分片，所述经配置的操作信息与针对所述数据分片的多个有序操作有关，所述目标状态信息与所述多个有序操作中要完成的目标操作相对应；

第一操作信息和目标状态信息发送模块，被配置为响应于从第一计算设备接收到针对所述数据分片的第一心跳信息，向第一计算设备发送所述操作信息和所述目标状态信息，所述第一心跳信息包括针对所述数据分片的当前状态和所述第一计算设备所位于的参考计算设备集群的参考集群标识，所述目标状态信息包括与所述新版本数据的多个发布阶段中的每个发布阶段相对应的目标计算设备集群的目标集群标识；以及

更新模块，被配置为利用所述数据分片的当前状态来更新所述第一计算设备的当前状态信息；

其中所述第一操作信息和目标状态信息发送模块包括：

匹配模块，被配置为将所述参考集群标识与所述目标集群标识进行匹配；以及

第二操作信息和目标状态信息发送模块，被配置为如果确定所述参考集群标识与所述目标集群标识匹配，则向所述第一计算设备发送所述操作信息和所述目标状态信息。

19. 根据权利要求18所述的装置，还包括：

经更新的所述目标状态信息接收模块，被配置为从所述第一服务器接收经更新的所述目标状态信息，经更新的所述目标状态信息与所述目标操作的下一操作相对应；以及

操作信息和经更新的所述目标状态信息发送模块，被配置为响应于接收到针对所述数据分片的第二心跳信息，向所述第一计算设备发送所述操作信息和经更新的所述目标状态信息以用于完成所述下一操作。

20.根据权利要求18所述的装置，还包括：

第一查找模块，被配置为响应于从所述第一计算设备接收到包括转移数据分片的标识的第三心跳信息，在与所述参考计算设备集群相关联的部分数据分片的第一状态信息中查找所述转移数据分片的操作信息和目标状态信息，所述转移数据分片从第二计算设备转移到所述第一计算设备上；

第二查找模块，被配置为如果在第一状态信息中未查找到所述转移数据分片的操作信息和目标状态信息，在与所述多个数据分片相对应的第二状态信息中来查找所述转移数据分片的操作信息和目标状态信息；以及

查找结果发送模块，被配置为向所述第一计算设备发送查找到的所述转移数据分片的操作信息和目标状态信息。

21.一种用于处理数据的装置，包括：

标识获取模块，被配置为在第一计算设备处获取要处理的数据分片的标识，所述数据分片来自对由数据源产生的新版本数据进行划分而生成的多个数据分片；

心跳信息发送模块，被配置为向第二服务器发送针对所述数据分片的心跳消息以用于接收针对所述数据分片的操作信息和目标状态信息，所述操作信息与针对所述数据分片的多个有序操作有关，所述目标状态信息与所述多个有序操作中要完成的目标操作相对应；

其中所述心跳信息发送模块包括：

当前状态确定模块，被配置为确定针对所述数据分片的当前状态；以及

心跳信息生成模块，被配置为基于所述数据分片的标识和所述当前状态生成所述心跳信息；

周期性模块，被配置为周期性的地发送所述心跳信息以用于更新处理所述分片的第一计算设备的当前状态信息

比较模块，被配置为将所述数据分片的当前状态与所述目标状态信息进行比较；以及

操作执行模块，被配置为如果确定所述当前状态不同于所述目标状态信息，继续执行所述多个有序操作以完成所述目标操作。

22.根据权利要求21所述的装置，其中所述多个有序操作包括下载操作，所述下载操作包括所述数据分片的存储地址；所述装置还包括:

下载操作执行模块，被配置为执行所述下载操作从所述存储地址获取所述数据分片。

23.根据权利要求21所述的装置，还包括：

删除模块，被配置为如果确定所述数据分片要由第三计算设备上的应用执行，删除所述数据分片的标识。

24. 根据权利要求21所述的装置，还包括：

发送模块，被配置为如果确定接收到转移数据分片的标识，向第二服务器发送包括所述转移数据分片的标识的心跳信息以用于获取针对所述转移数据分片的操作信息和目标状态信息，所述转移数据分片从第二计算设备转移到所述第一计算设备上；以及

转移数据分片处理模块，被配置为基于所述转移数据分片的操作信息和目标状态信息来处理所述转移数据分片。

25. 一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-5中任一项所述的方法。

26. 一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求6-8中任一项所述的方法。

27. 一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求9-12中任一项所述的方法。

28.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-5中任一项所述的方法。

29.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求6-8中任一项所述的方法。

30.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求9-12中任一项所述的方法。