CN109597687B - 数据同步的资源分配方法、装置、存储介质和电子设备 - Google Patents

Abstract

本公开涉及一种数据同步的资源分配方法、装置、存储介质和电子设备，该方法包括：在当前迭代周期内以上一迭代周期内获取到的数据表资源配比执行每个数据表对应的数据同步任务；在该当前迭代周期中的第m个执行周期执行完成后，通过历史执行周期内采集到的每个数据表对应的多组指标参数对资源配比模型进行训练；将在该第m个执行周期采集到n个数据表对应的n组指标参数作为该资源配比模型的输入，以获取目标数据表资源配比；在下一迭代周期内以该目标数据表资源配比执行每个上述数据表对应的数据同步任务。能够根据数据表在不同执行周期的数据同步的执行状况，动态地为数据同步任务分配计算资源，增强资源分配的合理性，提高数据同步的效率。

Description

数据同步的资源分配方法、装置、存储介质和电子设备

技术领域

本公开涉及数据同步管理领域，具体地，涉及一种数据同步的资源分配方法、装置、存储介质和电子设备。

背景技术

数据同步即是将一组数据从一个数据源通过拷贝到另一个数据源的技术，数据同步的方式可以包括：存量同构数据源数据同步、存量异构数据源数据同步、实时同构数据源数据同步以及实时异构数据源数据同步。其中，不考虑数据源的同构或异构，存量数据源数据同步即是将数据源中的数据一次性地批量导入到目标数据库中；实时数据源数据同步则需要通过创建轮询任务，周期性地读取数据源库中增量数据并导入到目标数据库中。相关技术中，针对于实时数据源数据同步任务，由于无法预知每一个执行周期内增量数据的数据规模以及所需的计算资源，一般对于在同一执行周期内的每组源数据的数据同步任务都分配相同的计算资源。但是，增量数据的数据规模在一定时间内可能存在极大变化，每个执行周期内所消耗的计算资源也会随之变化，因此，在多表多任务的情况下，仅是将计算资源进行平均分配会造成资源浪费或资源缺失，影响数据同步的效率，进而影响数据同步任务的整体性能。

发明内容

为克服相关技术中存在的问题，本公开的目的是提供一种数据同步的资源分配方法、装置、存储介质和设备。

为了实现上述目的，根据本公开实施例的第一方面，提供一种数据同步的资源分配方法，所述方法包括：

针对于增量数据同步任务对应的n个数据表，在第i个迭代周期内以第一数据表资源配比执行每个所述数据表对应的数据同步任务；其中，所述第一数据表资源配比是在第i-1个迭代周期内获取到的数据表资源配比，所述第i个迭代周期包括m个执行周期，所述执行周期为对数据源中的增量数据进行轮询的时间间隔，m、n为大于1的整数，i为大于或等于1的整数，且i的起始值为1；

在所述第i个迭代周期中的第m个执行周期执行完成后，通过第一训练数据对资源配比模型进行训练，所述第一训练数据包括：历史执行周期内采集到的每个所述数据表对应的多组指标参数，所述历史执行周期包含所述第m个执行周期和所述第m个执行周期之前的所有执行周期；

在完成对所述资源配比模型的训练后，将在所述第i个迭代周期中的第m个执行周期采集到所述n个数据表对应的n组指标参数作为所述资源配比模型的输入，以获取所述资源配比模型输出的目标数据表资源配比；

在第i+1个迭代周期内以所述目标数据表资源配比执行每个所述数据表对应的数据同步任务。

可选的，在所述在第i+1个迭代周期内以所述目标数据表资源配比执行每个所述数据表对应的数据同步任务之前，所述方法还包括：

通过预设的差异度算法确定在所述第i个迭代周期内获取到的所述目标数据表资源配比与在第i-1个迭代周期内获取到的所述第一数据表资源配比之间的差异度；

当所述目标数据表资源配比与所述第一数据表资源配比之间的差异度小于预设差异度时，将第i+1个迭代周期设定为包括w个执行周期，其中，w为根据所述差异度与所述预设差异度的差值确定的执行周期个数，且w>m；或者，

当所述目标数据表资源配比与所述第一数据表资源配比之间的差异度大于预设差异度时，将所述第i+1个迭代周期设定为包括m个执行周期。

可选的，在所述在第i+1个迭代周期内以所述目标数据表资源配比执行每个所述数据表对应的数据同步任务之后，所述方法还包括：

令i＝i+1，重复执行从所述针对于增量数据同步任务对应的n个数据表，在第i个迭代周期内以第一数据表资源配比执行每个所述数据表对应的数据同步任务至所述在第i+1个迭代周期内以所述目标数据表资源配比执行每个所述数据表对应的数据同步任务的步骤，直至所述增量数据同步任务结束。

可选的，所述第一数据表资源配比是在第i-1个迭代周期内获取到的数据表资源配比，包括：

当i＝1时，所述第一数据表资源配比为在所述增量数据同步任务的任务初始化阶段预先设置的数据表资源配比；当i>1时，所述第一数据表资源配比为所述在第i-1个周期内获取到的数据表资源配比。

可选的，所述在所述第i个迭代周期中的第m个执行周期执行完成后，通过第一训练数据对资源配比模型进行训练，包括：

在所述第i个迭代周期中的第m个执行周期执行完成后，获取所述历史执行周期内的y个执行周期采集到的所述n个数据表对应的y*n组所述指标参数，作为所述第一训练数据，其中，当i＝1时，y＝m，当i>1时，y>m；

通过所述第一训练数据对所述资源配比模型进行训练。

可选的，所述数据表包括发送端数据表和接收端数据表，所述指标参数用于指示每个所述数据表对应的数据同步任务在所述历史执行周期中的执行状态，所述指标参数包括：所述执行周期的周期时长，每个所述数据表对应的数据同步任务的执行时长、数据量和数据大小，以及数据从发送端数据库导入至所述发送端数据表的导入速率和数据从所述接收端数据表导出至所述接收端数据库的导出速率。

根据本公开实施例的第二方面，提供一种数据同步的资源分配装置，所述装置包括：

第一任务执行模块，用于针对于增量数据同步任务对应的n个数据表，在第i个迭代周期内以第一数据表资源配比执行每个所述数据表对应的数据同步任务；其中，所述第一数据表资源配比是在第i-1个迭代周期内获取到的数据表资源配比，所述第i个迭代周期包括m个执行周期，所述执行周期为对数据源中的增量数据进行轮询的时间间隔，m、n为大于1的整数，i为大于或等于1的整数，且i的起始值为1；

模型训练模块，用于在所述第i个迭代周期中的第m个执行周期执行完成后，通过第一训练数据对资源配比模型进行训练，所述第一训练数据包括：历史执行周期内采集到的每个所述数据表对应的多组指标参数，所述历史执行周期包含所述第m个执行周期和所述第m个执行周期之前的所有执行周期；

配比获取模块，用于在完成对所述资源配比模型的训练后，将在所述第i个迭代周期中的第m个执行周期采集到所述n个数据表对应的n组指标参数作为所述资源配比模型的输入，以获取所述资源配比模型输出的目标数据表资源配比；

第二任务执行模块，用于在第i+1个迭代周期内以所述目标数据表资源配比执行每个所述数据表对应的数据同步任务。

可选的，所述装置还包括：

差异度确定模块，用于通过预设的差异度算法确定在所述第i个迭代周期内获取到的所述目标数据表资源配比与在第i-1个迭代周期内获取到的所述第一数据表资源配比之间的差异度；

周期设定模块，用于当所述目标数据表资源配比与所述第一数据表资源配比之间的差异度小于预设差异度时，将第i+1个迭代周期设定为包括w个执行周期，其中，w为根据所述差异度与所述预设差异度的差值确定的执行周期个数，且w>m；或者，

当所述目标数据表资源配比与所述第一数据表资源配比之间的差异度大于预设差异度时，将所述第i+1个迭代周期设定为包括m个执行周期。

可选的，所述装置还包括：

循环执行模块，用于令i＝i+1，重复执行从所述针对于增量数据同步任务对应的n个数据表，在第i个迭代周期内以第一数据表资源配比执行每个所述数据表对应的数据同步任务至所述在第i+1个迭代周期内以所述目标数据表资源配比执行每个所述数据表对应的数据同步任务的步骤，直至所述增量数据同步任务完成。

可选的，当i＝1时，所述第一数据表资源配比为在所述增量数据同步任务的任务初始化阶段预先设置的数据表资源配比；当i>1时，所述第一数据表资源配比为所述在第i-1个周期内获取到的数据表资源配比。

可选的，所述模型训练模块，包括：

数据采集子模块，用于在所述第i个迭代周期中的第m个执行周期执行完成后，获取所述历史执行周期内的y个执行周期采集到的所述n个数据表对应的y*n组所述指标参数，作为所述第一训练数据，其中，当i＝1时，y＝m，当i>1时，y>m；

模型训练子模块，用于通过所述第一训练数据对所述资源配比模型进行训练。

可选的，所述数据表包括发送端数据表和接收端数据表，所述指标参数用于指示每个所述数据表对应的数据同步任务在所述历史执行周期中的执行状态，所述指标参数包括：所述执行周期的周期时长，每个所述数据表对应的数据同步任务的执行时长、数据量和数据大小，以及数据从发送端数据库导入至所述发送端数据表的导入速率和数据从所述接收端数据表导出至所述接收端数据库的导出速率。

根据本公开实施例的第三方面，提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现本公开实施例第一方面提供的数据同步的资源分配方法的步骤。

根据本公开实施例的第四方面，提供一种电子设备，包括：

存储器，其上存储有计算机程序；

处理器，用于执行所述存储器中的所述计算机程序，以实现本公开实施例第一方面提供的数据同步的资源分配方法的步骤。

通过上述技术方案，本公开能够针对于增量数据同步任务对应的n个数据表，在第i个迭代周期内以第一数据表资源配比执行每个上述数据表对应的数据同步任务；其中，该第一数据表资源配比是在第i-1个迭代周期内获取到的数据表资源配比，该第i个迭代周期包括m个执行周期，该执行周期为对数据源中的增量数据进行轮询的时间间隔，m、n为大于1的整数，i为大于或等于1的整数，且i的起始值为1；在该第i个迭代周期中的第m个执行周期执行完成后，通过第一训练数据对资源配比模型进行训练，该第一训练数据包括：历史执行周期内采集到的每个上述数据表对应的多组指标参数，该历史执行周期包含该第m个执行周期和该第m个执行周期之前的所有执行周期；在完成对该资源配比模型的训练后，将在该第i个迭代周期中的第m个执行周期采集到上述n个数据表对应的n组指标参数作为该资源配比模型的输入，以获取该资源配比模型输出的目标数据表资源配比；在第i+1个迭代周期内以该目标数据表资源配比执行每个上述数据表对应的数据同步任务。能够根据数据表在不同执行周期的数据同步的执行状况，动态地为数据同步任务分配计算资源，增强资源分配的合理性，提高数据同步的效率。

本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。

附图说明

附图是用来提供对本公开的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本公开，但并不构成对本公开的限制。在附图中：

图1是根据一示例性实施例示出的一种数据同步的资源分配方法的流程图；

图2是根据图1所示实施例示出的另一种数据同步的资源分配方法的流程图；

图3是根据图2所示实施例示出的又一种数据同步的资源分配方法的流程图；

图4是根据图1所示实施例示出的一种资源配比模型的训练方法的流程图；

图5是根据一示例性实施例示出的一种数据同步的资源分配装置的框图；

图6是根据图5所示实施例示出的另一种数据同步的资源分配装置的框图；

图7是根据图6所示实施例示出的又一种数据同步的资源分配装置的框图；

图8是根据图5所示实施例示出的一种模型训练模块的框图；

图9是根据一示例性实施例示出的一种电子设备的框图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

图1是根据一示例性实施例示出的一种数据同步的资源分配方法的流程图，如图1所示，该方法包括：

步骤101，针对于增量数据同步任务对应的n个数据表，在第i个迭代周期内以第一数据表资源配比执行每个上述数据表对应的数据同步任务。

其中，该第一数据表资源配比是在第i-1个迭代周期内获取到的数据表资源配比，该第i个迭代周期包括m个执行周期，该执行周期为对数据源中的增量数据进行轮询的时间间隔，m、n为大于1的整数，i为大于或等于1的整数，且i的起始值为1。该数据表资源配比为在每个执行周期内为每个数据表分配计算资源的比重，该计算资源包括：CPU资源、内存资源和I/O(Input/Output，输入输出)资源等。

示例地，在进行数据同步的过程中，在上述步骤101之前，首先需要在初始化阶段对数据同步过程所需的初始化信息进行配置，该配置步骤由数据同步***中的配置驱动模块完成。该初始化信息包括：同步任务的初始数据表资源配比、同步配置信息和***配置信息其中，所述同步配置信息包括将发送端的每个数据表的哪一列用于记录数据同步过程所需要传输的数据，所述***配置信息包括接收端数据库的地址以及数据同步过程所需的驱动程序等。数据同步过程通常包括存量数据同步任务和增量数据同步任务，在完成该初始化信息的配置步骤后，需要先启动存量数据同步任务，将发送端数据源中已存在的存量数据通过多个数据表一次性地同步至发送端数据源。需要说明的是，该存量数据同步任务所依照的数据表资源配比可以为上述的初始数据表资源配比。在完成所述存量数据同步任务后，继续进行该步骤101中的增量数据同步任务，上述的存量数据同步任务和增量数据同步任务的调度管理由任务管理调度模块完成。

可以理解的是，发送端数据源中的业务数据是随着时间不断增加的，因此，在该增量数据同步任务中，需要周期性地轮询该发送端数据源，以确定该发送端数据源在每一个执行周期内新增加的业务数据(即增量数据)。此后，再将该增量数据分发至参与该增量数据同步任务的n个数据表，其中，每个数据表对应一个数据同步任务，***会将线程池组中的多个线程分配给每一个数据同步任务，本公开实施例所涉及的计算资源分配实际为每个线程执行所占用的计算资源。另外，每个上述迭代周期包含多个执行周期，每进行一次迭代意味着对下文所述的资源配比模型进行一次更新训练，进而通过该资源配比模型输出新的数据表资源配比。随着迭代周期的不断增多，该资源配比模型输出的新的数据表资源配比会越来越符合每个数据表对应的数据同步任务的执行状态，即，得到更为合理的数据表资源配比。该迭代过程也可称为自适应过程，即，根据处理数据的数据特征自动调整某种处理方法，使其与所处理的数据的结构特征相适应，以获取最佳的数据处理效果的过程。

示例地，当i＝1时，即在该增量数据同步任务的首个迭代周期(同时也是该增量数据同步任务的首个执行周期)开始时，该第一数据表资源配比为在该增量数据同步任务的任务初始化阶段预先设置的数据表资源配比(即上述的初始数据表资源配比)。该初始数据表资源配比通常为将***内可用的总计算资源平均分配至上述n个数据表。例如，当n＝5时，该初始数据表资源配比被设置为5个数据表中的每个数据表在每一个执行周期分配总计算资源的20％。在实际的储存中，该初始数据表资源配比可以为，例如，“数据表A(数据表标识)+第3执行周期(执行周期标识)+20％(分配的计算资源)”的形式。

示例地，除了该首个迭代周期外，每个迭代周期都采用上一个迭代周期内获取到的数据表资源配比进行本迭代周期的数据同步任务。即，当i>1时，该第一数据表资源配比为该在第i-1个周期内获取到的数据表资源配比。

步骤102，在该第i个迭代周期中的第m个执行周期执行完成后，通过第一训练数据对资源配比模型进行训练。

其中，该第一训练数据包括：历史执行周期内采集到的每个上述数据表对应的多组指标参数，该历史执行周期包含该第m个执行周期和该第m个执行周期之前的所有执行周期。该资源配比模型可以为基于时间序列的线性回归模型。

示例地，当每个迭代周期中的最后一个执行周期执行完成后，针对于每个数据表，采集该数据表所经历的每一个执行周期的指标参数。例如，当i＝1，n＝5时，该历史执行周期包含上述m个执行周期，以其中的数据表A为例，该数据表A经历了m个执行周期，则该数据表A对应m组指标参数，进而确定针对于5个数据表共采集到5﹡m组指标参数，即该第一训练数据中包括5﹡m组训练数据。每一组训练数据以“数据表标识+执行周期标识+包含一组指标参数的数组”的形式进行储存和应用。

示例地，该数据表实际包括发送端数据表和接收端数据表，该指标参数用于指示每个上述数据表对应的数据同步任务在该历史执行周期中的执行状态，该指标参数包括：该执行周期的周期时长，每个上述数据表对应的数据同步任务的执行时长、数据量和数据大小，以及数据从发送端数据库导入至该发送端数据表的导入速率和数据从该接收端数据表导出至该接收端数据库的导出速率。需要说明的是，对于每个数据表来说，每次数据同步任务的执行过程包括：将该发送端数据源中的增量数据写入发送端数据表，再将该增量数据从该发送端数据表同步至接收端数据表，最后将该接收端数据表中的增量数据导出至接收端数据库。因此，对于该发送端数据表和该接收端数据表而言，该指标参数中的周期时长、执行时长、数据量和数据大小都是相同的，而将该发送端数据源中的增量数据写入发送端数据表的写入速率，和将该接收端数据表中的增量数据导出至接收端数据库的导出速率是不同的。

步骤103，在完成对该资源配比模型的训练后，将在该第i个迭代周期中的第m个执行周期采集到的上述n个数据表对应的n组指标参数作为该资源配比模型的输入，以获取该资源配比模型输出的目标数据表资源配比。

示例地，此处输入该资源配比模型的数据与上述的第一训练数据的差别在于，该第一训练数据包含多个执行周期(即历史执行周期)内采集的指标参数，而此处输入该资源配比模型的数据只包含一个执行周期(即本执行周期)内采集到的指标参数。因此，当有n个数据表时，采集到的指标参数的数量也为n组。另外，此处输入该资源配比模型的数据也以“数据表标识+执行周期标识+包含一组指标参数的数组”的形式进行采集和输入。另外，此处输出的目标数据资源配比也以“数据表标识+执行周期标识+分配的计算资源”的形式进行储存和应用。

步骤104，在第i+1个迭代周期内以该目标数据表资源配比执行每个上述数据表对应的数据同步任务。

综上所述，本公开能够针对于增量数据同步任务对应的n个数据表，在第i个迭代周期内以第一数据表资源配比执行每个上述数据表对应的数据同步任务；其中，该第一数据表资源配比是在第i-1个迭代周期内获取到的数据表资源配比，该第i个迭代周期包括m个执行周期，该执行周期为对数据源中的增量数据进行轮询的时间间隔，m、n为大于1的整数，i为大于或等于1的整数，且i的起始值为1；在该第i个迭代周期中的第m个执行周期执行完成后，通过第一训练数据对资源配比模型进行训练，该第一训练数据包括：历史执行周期内采集到的每个上述数据表对应的多组指标参数，该历史执行周期包含该第m个执行周期和该第m个执行周期之前的所有执行周期；在完成对该资源配比模型的训练后，将在该第i个迭代周期中的第m个执行周期采集到上述n个数据表对应的n组指标参数作为该资源配比模型的输入，以获取该资源配比模型输出的目标数据表资源配比；在第i+1个迭代周期内以该目标数据表资源配比执行每个上述数据表对应的数据同步任务。能够根据数据表在不同执行周期的数据同步的执行状况，动态地为数据同步任务分配计算资源，增强资源分配的合理性，提高数据同步的效率。

图2是根据图1所示实施例示出的另一种数据同步的资源分配方法的流程图，如图2所示，在上述步骤104之前，该方法还可以包括：

步骤105，通过预设的差异度算法确定在该第i个迭代周期内获取到的该目标数据表资源配比与在第i-1个迭代周期内获取到的第一数据表资源配比之间的差异度。

步骤106，当该目标数据表资源配比与该第一数据表资源配比之间的差异度小于预设差异度时，将第i+1个迭代周期设定为包括w个执行周期。

其中，w为根据该差异度与该预设差异度的差值确定的执行周期个数，且w>m。

示例地，当连续两个迭代周期内获取到的数据表资源配比之间的差异很小时，可以认为对这两次采集的样本容量(即迭代周期的迭代步长)的划分过小，没有体现出该增量数据同步任务的执行状态在不同时间段的差异度，而连续地用差异度较小的数据对该资源配比模型进行训练，对该资源配模型的自适应性和成长性并无帮助。因此，在该步骤105中，需要对连续两个迭代周期内获取到的数据表资源配比之间的差异度进行确定。当连续两个迭代周期内获取到的数据表资源配比之间的差异度较小时，可以在上述连续两个迭代周期之后的下一个迭代周期内，扩大迭代周期的迭代步长，这也意味着上述第一训练数据的数据量被增大，进而该资源配比模型对该增量数据同步任务的执行状态变化的感知能力被增强。

步骤107，当该目标数据表资源配比与该第一数据表资源配比之间的差异度大于预设差异度时，将该第i+1个迭代周期设定为包括m个执行周期。

图3是根据图2所示实施例示出的又一种数据同步的资源分配方法的流程图，如图3所示，在该步骤104之后，该方法还可以包括：

步骤108，令i＝i+1，重复执行从该针对于增量数据同步任务对应的n个数据表，在第i个迭代周期内以第一数据表资源配比执行每个上述数据表对应的数据同步任务至该在第i+1个迭代周期内以该目标数据表资源配比执行每个上述数据表对应的数据同步任务的步骤，直至该增量数据同步任务结束。

示例地，在该步骤108中，重复执行从上述步骤101至上述步骤107，直至该增量数据同步任务结束。在实际应用中，增量数据的发送端数据源通常为长期运行的业务网站或应用程序，该增量数据同步任务也为一个长期的过程，因此，该增量数据同步任务的结束可以决定于人为设置的结束时间。

图4是根据图1所示实施例示出的一种资源配比模型的训练方法的流程图，如图4所示，该步骤102，可以包括：

步骤1021，在该第i个迭代周期中的第m个执行周期执行完成后，获取该历史执行周期内的y个执行周期采集到的上述n个数据表对应的y*n组该指标参数，作为该第一训练数据。

其中，当i＝1时，y＝m，当i>1时，y>m。具体地，当该第i个迭代周期为该增量数据同步任务的首个迭代周期时，可以确定该历史执行周期包含上述的m个执行周期；当该第i个迭代周期不为该增量数据同步任务的首个迭代周期时，在此处采用该历史执行周期内包含y个执行周期，并且y>m的表述，以表示将包含第m个执行周期在内的所有已经历的执行周期的总数作为所述历史执行周期所包含的执行周期的数量，这个总数显然是大于某一个迭代周期所包含的执行周期的数量的。

步骤1022，通过该第一训练数据对该资源配比模型进行训练。

综上所述，本公开能够针对于增量数据同步任务对应的n个数据表，在第i个迭代周期内以第一数据表资源配比执行每个上述数据表对应的数据同步任务；其中，该第一数据表资源配比是在第i-1个迭代周期内获取到的数据表资源配比，该第i个迭代周期包括m个执行周期，该执行周期为对数据源中的增量数据进行轮询的时间间隔，m、n为大于1的整数，i为大于或等于1的整数，且i的起始值为1；在该第i个迭代周期中的第m个执行周期执行完成后，通过第一训练数据对资源配比模型进行训练，该第一训练数据包括：历史执行周期内采集到的每个上述数据表对应的多组指标参数，该历史执行周期包含该第m个执行周期和该第m个执行周期之前的所有执行周期；在完成对该资源配比模型的训练后，将在该第i个迭代周期中的第m个执行周期采集到上述n个数据表对应的n组指标参数作为该资源配比模型的输入，以获取该资源配比模型输出的目标数据表资源配比；在第i+1个迭代周期内以该目标数据表资源配比执行每个上述数据表对应的数据同步任务。能够根据数据表在不同执行周期的数据同步的执行状况，动态地为数据同步任务分配计算资源，并且根据每个迭代周期后生成的数据表资源配比，动态地调整迭代周期的长度，提高计算资源动态分配的适应性，进而增强资源分配的合理性，提高数据同步的效率。

图5是根据一示例性实施例示出的一种数据同步的资源分配装置的框图，如图5所示，该装置500可以包括：

第一任务执行模块510，用于针对于增量数据同步任务对应的n个数据表，在第i个迭代周期内以第一数据表资源配比执行每个上述数据表对应的数据同步任务；其中，该第一数据表资源配比是在第i-1个迭代周期内获取到的数据表资源配比，该第i个迭代周期包括m个执行周期，该执行周期为对数据源中的增量数据进行轮询的时间间隔，m、n为大于1的整数，i为大于或等于1的整数，且i的起始值为1；

模型训练模块520，用于在该第i个迭代周期中的第m个执行周期执行完成后，通过第一训练数据对资源配比模型进行训练，该第一训练数据包括：历史执行周期内采集到的每个上述数据表对应的多组指标参数，该历史执行周期包含该第m个执行周期和该第m个执行周期之前的所有执行周期；

配比获取模块530，用于在完成对该资源配比模型的训练后，将在该第i个迭代周期中的第m个执行周期采集到上述n个数据表对应的n组指标参数作为该资源配比模型的输入，以获取该资源配比模型输出的目标数据表资源配比；

第二任务执行模块540，用于在第i+1个迭代周期内以该目标数据表资源配比执行每个上述数据表对应的数据同步任务。

图6是根据图5所示实施例示出的另一种数据同步的资源分配装置的框图，如图6所示，该装置500还包括：

差异度确定模块550，用于通过预设的差异度算法确定在该第i个迭代周期内获取到的该目标数据表资源配比与在第i-1个迭代周期内获取到的该第一数据表资源配比之间的差异度；

周期设定模块560，用于当该目标数据表资源配比与该第一数据表资源配比之间的差异度小于预设差异度时，将第i+1个迭代周期设定为包括w个执行周期，其中，w为根据该差异度与该预设差异度的差值确定的执行周期个数，且w>m；或者，

当该目标数据表资源配比与该第一数据表资源配比之间的差异度大于预设差异度时，将该第i+1个迭代周期设定为包括m个执行周期。

图7是根据图6所示实施例示出的又一种数据同步的资源分配装置的框图，如图7所示，该装置500，还可以包括：

循环执行模块570，用于令i＝i+1，重复执行从该针对于增量数据同步任务对应的n个数据表，在第i个迭代周期内以第一数据表资源配比执行每个上述数据表对应的数据同步任务至该在第i+1个迭代周期内以该目标数据表资源配比执行每个上述数据表对应的数据同步任务的步骤，直至该增量数据同步任务完成。

可选的，当i＝1时，该第一数据表资源配比为在该增量数据同步任务的任务初始化阶段预先设置的数据表资源配比；当i>1时，该第一数据表资源配比为该在第i-1个周期内获取到的数据表资源配比。

图8是根据图5所示实施例示出的一种模型训练模块的框图，如图8所示，该模型训练模块520，包括：

数据采集子模块521，用于在该第i个迭代周期中的第m个执行周期执行完成后，获取该历史执行周期内的y个执行周期采集到的上述n个数据表对应的y*n组该指标参数，作为该第一训练数据，其中，当i＝1时，y＝m，当i>1时，y>m；

模型训练子模块522，用于通过该第一训练数据对该资源配比模型进行训练。

可选的，该数据表包括发送端数据表和接收端数据表，该指标参数用于指示每个上述数据表对应的数据同步任务在该历史执行周期中的执行状态，该指标参数包括：该执行周期的周期时长，每个上述数据表对应的数据同步任务的执行时长、数据量和数据大小，以及数据从发送端数据库导入至该发送端数据表的导入速率和数据从该接收端数据表导出至该接收端数据库的导出速率。

综上所述，本公开能够针对于增量数据同步任务对应的n个数据表，在第i个迭代周期内以第一数据表资源配比执行每个上述数据表对应的数据同步任务；其中，该第一数据表资源配比是在第i-1个迭代周期内获取到的数据表资源配比，该第i个迭代周期包括m个执行周期，该执行周期为对数据源中的增量数据进行轮询的时间间隔，m、n为大于1的整数，i为大于或等于1的整数，且i的起始值为1；在该第i个迭代周期中的第m个执行周期执行完成后，通过第一训练数据对资源配比模型进行训练，该第一训练数据包括：历史执行周期内采集到的每个上述数据表对应的多组指标参数，该历史执行周期包含该第m个执行周期和该第m个执行周期之前的所有执行周期；在完成对该资源配比模型的训练后，将在该第i个迭代周期中的第m个执行周期采集到上述n个数据表对应的n组指标参数作为该资源配比模型的输入，以获取该资源配比模型输出的目标数据表资源配比；在第i+1个迭代周期内以该目标数据表资源配比执行每个上述数据表对应的数据同步任务。能够根据数据表在不同执行周期的数据同步的执行状况，动态地为数据同步任务分配计算资源，并且根据每个迭代周期后生成的数据表资源配比，动态地调整迭代周期的长度，提高计算资源动态分配的适应性，进而增强资源分配的合理性，提高数据同步的效率。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

图9是根据一示例性实施例示出的一种电子设备900的框图。如图9所示，该电子设备900可以包括：处理器901，存储器902，多媒体组件903，输入/输出(I/O)接口904，以及通信组件905。

其中，处理器901用于控制该电子设备900的整体操作，以完成上述的数据同步的资源分配方法中的全部或部分步骤。存储器902用于存储各种类型的数据以支持在该电子设备900的操作，这些数据例如可以包括用于在该电子设备900上操作的任何应用程序或方法的指令，以及应用程序相关的数据，例如联系人数据、收发的消息、图片、音频、视频等等。该存储器902可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(Static Random Access Memory，简称SRAM)，电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，简称EEPROM)，可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，简称EPROM)，可编程只读存储器(Programmable Read-Only Memory，简称PROM)，只读存储器(Read-Only Memory，简称ROM)，磁存储器，快闪存储器，磁盘或光盘。多媒体组件903可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏，音频组件用于输出和/或输入音频信号。例如，音频组件可以包括一个麦克风，麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器902或通过通信组件905发送。音频组件还包括至少一个扬声器，用于输出音频信号。I/O接口904为处理器901和其他接口模块之间提供接口，上述其他接口模块可以是键盘，鼠标，按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件905用于该电子设备900与其他设备之间进行有线或无线通信。无线通信，例如Wi-Fi，蓝牙，近场通信(Near FieldCommunication，简称NFC)，2G、3G或4G，或它们中的一种或几种的组合，因此相应的该通信组件905可以包括：Wi-Fi模块，蓝牙模块，NFC模块。

在一示例性实施例中，电子设备900可以被一个或多个应用专用集成电路(Application Specific Integrated Circuit，简称ASIC)、数字信号处理器(DigitalSignal Processor，简称DSP)、数字信号处理设备(Digital Signal Processing Device，简称DSPD)、可编程逻辑器件(Programmable Logic Device，简称PLD)、现场可编程门阵列(Field Programmable Gate Array，简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述的数据同步的资源分配方法。

在另一示例性实施例中，还提供了一种包括程序指令的计算机可读存储介质，例如包括程序指令的存储器902，上述程序指令可由电子设备900的处理器901执行以完成上述的数据同步的资源分配方法。

以上结合附图详细描述了本公开的优选实施方式，但是，本公开并不限于上述实施方式中的具体细节，在本公开的技术构思范围内，本领域技术人员在考虑说明书及实践本公开后，容易想到本公开的其它实施方案，均属于本公开的保护范围。

另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合。同时本公开的各种不同的实施方式之间也可以进行任意组合，只要其不违背本公开的思想，其同样应当视为本公开所公开的内容。本公开并不局限于上面已经描述出的精确结构，本公开的范围仅由所附的权利要求来限制。

Claims (14)

1.一种数据同步的资源分配方法，其特征在于，所述方法包括：

针对于增量数据同步任务对应的n个数据表，在第i个迭代周期内以第一数据表资源配比执行每个所述数据表对应的数据同步任务；其中，所述第一数据表资源配比是在第i-1个迭代周期内获取到的数据表资源配比，所述第i个迭代周期包括m个执行周期，所述执行周期为对数据源中的增量数据进行轮询的时间间隔，m、n为大于1的整数，i为大于或等于1的整数，且i的起始值为1；

在所述第i个迭代周期中的第m个执行周期执行完成后，通过第一训练数据对资源配比模型进行训练，所述第一训练数据包括：历史执行周期内采集到的每个所述数据表对应的多组指标参数，所述历史执行周期包含所述第m个执行周期和所述第m个执行周期之前的所有执行周期；

在完成对所述资源配比模型的训练后，将在所述第i个迭代周期中的第m个执行周期采集到的所述n个数据表对应的n组指标参数作为所述资源配比模型的输入，以获取所述资源配比模型输出的目标数据表资源配比；

在第i+1个迭代周期内以所述目标数据表资源配比执行每个所述数据表对应的数据同步任务。

2.根据权利要求1所述的方法，其特征在于，在所述在第i+1个迭代周期内以所述目标数据表资源配比执行每个所述数据表对应的数据同步任务之前，所述方法还包括：

通过预设的差异度算法确定在所述第i个迭代周期内获取到的所述目标数据表资源配比与在第i-1个迭代周期内获取到的所述第一数据表资源配比之间的差异度；

当所述目标数据表资源配比与所述第一数据表资源配比之间的差异度小于预设差异度时，将第i+1个迭代周期设定为包括w个执行周期，其中，w为根据所述差异度与所述预设差异度的差值确定的执行周期个数，且w>m；或者，

当所述目标数据表资源配比与所述第一数据表资源配比之间的差异度大于预设差异度时，将所述第i+1个迭代周期设定为包括m个执行周期。

3.根据权利要求1所述的方法，其特征在于，在所述在第i+1个迭代周期内以所述目标数据表资源配比执行每个所述数据表对应的数据同步任务之后，所述方法还包括：

令i＝i+1，重复执行从所述针对于增量数据同步任务对应的n个数据表，在第i个迭代周期内以第一数据表资源配比执行每个所述数据表对应的数据同步任务至所述在第i+1个迭代周期内以所述目标数据表资源配比执行每个所述数据表对应的数据同步任务的步骤，直至所述增量数据同步任务结束。

4.根据权利要求1所述的方法，其特征在于，所述第一数据表资源配比是在第i-1个迭代周期内获取到的数据表资源配比，包括：

当i＝1时，所述第一数据表资源配比为在所述增量数据同步任务的任务初始化阶段预先设置的数据表资源配比；当i>1时，所述第一数据表资源配比为所述在第i-1个周期内获取到的数据表资源配比。

5.根据权利要求1所述的方法，其特征在于，所述在所述第i个迭代周期中的第m个执行周期执行完成后，通过第一训练数据对资源配比模型进行训练，包括：

在所述第i个迭代周期中的第m个执行周期执行完成后，获取所述历史执行周期内的y个执行周期采集到的所述n个数据表对应的y*n组所述指标参数，作为所述第一训练数据，其中，当i＝1时，y＝m，当i>1时，y>m；

通过所述第一训练数据对所述资源配比模型进行训练。

6.根据权利要求1所述的方法，其特征在于，所述数据表包括发送端数据表和接收端数据表，所述指标参数用于指示每个所述数据表对应的数据同步任务在所述历史执行周期中的执行状态，所述指标参数包括：所述执行周期的周期时长，每个所述数据表对应的数据同步任务的执行时长、数据量和数据大小，以及数据从发送端数据库导入至所述发送端数据表的导入速率和数据从所述接收端数据表导出至接收端数据库的导出速率。

7.一种数据同步的资源分配装置，其特征在于，所述装置包括：

第一任务执行模块，用于针对于增量数据同步任务对应的n个数据表，在第i个迭代周期内以第一数据表资源配比执行每个所述数据表对应的数据同步任务；其中，所述第一数据表资源配比是在第i-1个迭代周期内获取到的数据表资源配比，所述第i个迭代周期包括m个执行周期，所述执行周期为对数据源中的增量数据进行轮询的时间间隔，m、n为大于1的整数，i为大于或等于1的整数，且i的起始值为1；

模型训练模块，用于在所述第i个迭代周期中的第m个执行周期执行完成后，通过第一训练数据对资源配比模型进行训练，所述第一训练数据包括：历史执行周期内采集到的每个所述数据表对应的多组指标参数，所述历史执行周期包含所述第m个执行周期和所述第m个执行周期之前的所有执行周期；

配比获取模块，用于在完成对所述资源配比模型的训练后，将在所述第i个迭代周期中的第m个执行周期采集到的所述n个数据表对应的n组指标参数作为所述资源配比模型的输入，以获取所述资源配比模型输出的目标数据表资源配比；

第二任务执行模块，用于在第i+1个迭代周期内以所述目标数据表资源配比执行每个所述数据表对应的数据同步任务。

8.根据权利要求7所述的装置，其特征在于，所述装置还包括：

差异度确定模块，用于通过预设的差异度算法确定在所述第i个迭代周期内获取到的所述目标数据表资源配比与在第i-1个迭代周期内获取到的所述第一数据表资源配比之间的差异度；

周期设定模块，用于当所述目标数据表资源配比与所述第一数据表资源配比之间的差异度小于预设差异度时，将第i+1个迭代周期设定为包括w个执行周期，其中，w为根据所述差异度与所述预设差异度的差值确定的执行周期个数，且w>m；或者，

当所述目标数据表资源配比与所述第一数据表资源配比之间的差异度大于预设差异度时，将所述第i+1个迭代周期设定为包括m个执行周期。

9.根据权利要求7所述的装置，其特征在于，所述装置还包括：

循环执行模块，用于令i＝i+1，重复执行从所述针对于增量数据同步任务对应的n个数据表，在第i个迭代周期内以第一数据表资源配比执行每个所述数据表对应的数据同步任务至所述在第i+1个迭代周期内以所述目标数据表资源配比执行每个所述数据表对应的数据同步任务的步骤，直至所述增量数据同步任务结束。

10.根据权利要求7所述的装置，其特征在于，当i＝1时，所述第一数据表资源配比为在所述增量数据同步任务的任务初始化阶段预先设置的数据表资源配比；当i>1时，所述第一数据表资源配比为所述在第i-1个周期内获取到的数据表资源配比。

11.根据权利要求7所述的装置，其特征在于，所述模型训练模块，包括：

数据采集子模块，用于在所述第i个迭代周期中的第m个执行周期执行完成后，获取所述历史执行周期内的y个执行周期采集到的所述n个数据表对应的y*n组所述指标参数，作为所述第一训练数据，其中，当i＝1时，y＝m，当i>1时，y>m；

模型训练子模块，用于通过所述第一训练数据对所述资源配比模型进行训练。

12.根据权利要求7所述的装置，其特征在于，所述数据表包括发送端数据表和接收端数据表，所述指标参数用于指示每个所述数据表对应的数据同步任务在所述历史执行周期中的执行状态，所述指标参数包括：所述执行周期的周期时长，每个所述数据表对应的数据同步任务的执行时长、数据量和数据大小，以及数据从发送端数据库导入至所述发送端数据表的导入速率和数据从所述接收端数据表导出至接收端数据库的导出速率。

13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-6中任一项所述方法的步骤。

14.一种电子设备，其特征在于，包括：

存储器，其上存储有计算机程序；

处理器，用于执行所述存储器中的所述计算机程序，以实现权利要求1-6中任一项所述方法的步骤。

Images