CN112035481B - 数据处理方法、装置、计算机设备和存储介质 - Google Patents

Abstract

本申请涉及人工智能领域，通过对待处理数据表进行时间分割，将时间分割范围内的待处理数据依次存储到目标数据库中，提高了***的数据查询性能和数据存储效率。尤其涉及一种数据处理方法、装置、计算机设备和存储介质，该数据处理方法包括：获取待处理数据，根据预设的分配策略将待处理数据分配到待处理数据表中；根据待处理数据对应的获取时间以及根据待处理数据表对应的数据量，确定待处理数据表对应的时间分割信息；根据待处理数据表对应的时间分割信息，确定待处理数据表对应的多个待执行任务，并执行多个待执行任务，以将待处理数据表中的待处理数据存储到目标数据库中。此外，本申请还涉及区块链技术，待处理数据表可存储于区块链中。

Description

数据处理方法、装置、计算机设备和存储介质

技术领域

本申请涉及人工智能领域，尤其涉及一种数据处理方法、装置、计算机设备和存储介质。

背景技术

现有的业务数据***在同步海量的业务数据时，常常需要从大数据平台中将业务数据同步到postgresql库中，再从postgresql库中将业务数据合并到目标数据库中。

在处理业务数据过程中，由于数据量过大，业务数据***无法一次处理所有的业务数据，需要分批处理。现有的业务数据***处理业务数据时，存在以下问题：在分批处理业务数据时，为了提高性能会把已经处理的业务数据进行删除，但是频繁的删除操作导致postgresql库中的vacuum进程无法回收表空间，不断地降低业务数据***的性能，影响业务数据***处理数据的效率。

因此如何提高业务数据***处理数据的性能和效率成为亟需解决的问题。

发明内容

本申请提供了一种数据处理方法、装置、计算机设备和存储介质，通过对待处理数据表中的待处理数据进行时间分割，将时间分割范围内的待处理数据依次存储到目标数据库中，提高了***的数据查询性能和数据存储效率。

第一方面，本申请提供了一种数据处理方法，所述方法包括：

获取待处理数据，根据预设的分配策略将所述待处理数据分配到待处理数据表中；

根据所述待处理数据表中的待处理数据对应的获取时间以及根据所述待处理数据表对应的数据量，确定所述待处理数据表对应的时间分割信息；

根据所述待处理数据表对应的时间分割信息，确定所述待处理数据表对应的多个待执行任务，并执行多个所述待执行任务，以将所述待处理数据表中的待处理数据存储到目标数据库中。

第二方面，本申请还提供了一种数据处理装置，所述装置包括：

数据获取模块，用于获取待处理数据，根据预设的分配策略将所述待处理数据分配到待处理数据表中；

时间分割模块，用于根据所述待处理数据表中的待处理数据对应的获取时间以及根据所述待处理数据表对应的数据量，确定所述待处理数据表对应的时间分割信息；

数据存储模块，用于根据所述待处理数据表对应的时间分割信息，确定所述待处理数据表对应的多个待执行任务，并执行多个所述待执行任务，以将所述待处理数据表中的待处理数据存储到目标数据库中。

第三方面，本申请还提供了一种计算机设备，所述计算机设备包括存储器和处理器；

所述存储器，用于存储计算机程序；

所述处理器，用于执行所述计算机程序并在执行所述计算机程序时实现如上述的数据处理方法。

第四方面，本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器实现如上述的数据处理方法。

本申请公开了一种数据处理方法、装置、计算机设备和存储介质，通过根据预设的分配策略将待处理数据分配到待处理数据表中，可以避免不同日期的待处理数据混合在一起，从而提高了查询数据的效率；通过根据待处理数据表中的待处理数据对应的获取时间以及根据待处理数据表对应的数据量，可以确定待处理数据表对应的时间分割信息；通过根据待处理数据表对应的时间分割信息，确定待处理数据表对应的多个待执行任务，实现多个待执行任务处理待处理数据表，可以提高***查询数据的性能；通过执行多个待执行任务，将待处理数据表中的待处理数据存储到目标数据库中，提高了***存储数据的效率。

附图说明

为了更清楚地说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请的实施例提供的一种数据处理方法的示意流程图；

图2是本申请的实施例提供的将待处理数据分配到待处理数据表的示意图；

图3是图1中确定待处理数据表对应的时间分割信息的子步骤的示意性流程图；

图4是图3中确定待处理数据表对应的时间分割点的子步骤的示意性流程图；

图5是本申请的实施例提供的待处理数据表中的时间分割点的示意图；

图6是本申请的实施例提供的待处理数据表对应的时间分割范围的示意图；

图7是图1中将待处理数据存储到目标数据库的子步骤的示意性流程图；

图8为本申请实施例提供的一种数据处理装置的示意性框图；

图9为本申请实施例提供的一种计算机设备的结构示意性框图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

附图中所示的流程图仅是示例说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解、组合或部分合并，因此实际执行的顺序有可能根据实际情况改变。

应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。

还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

本申请的实施例提供了一种数据处理方法、装置、计算机设备和存储介质。其中，该数据处理方法可以应用于服务器或终端的业务数据***中，实现对待处理数据表进行时间分割，将时间分割范围内的待处理数据依次存储到目标数据库中，提高了***的数据查询性能和数据存储效率。

其中，服务器可以为独立的服务器，也可以为服务器集群。终端可以是智能手机、平板电脑、笔记本电脑和台式电脑等电子设备。

下面结合附图，对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。

如图1所示，数据处理方法包括步骤S10至步骤S30。

步骤S10、获取待处理数据，根据预设的分配策略将所述待处理数据分配到待处理数据表中。

示例性的，业务数据***可以是保单业务数据***。需要说明的是，在本申请实施例中，本申请实施例中的数据处理方法可以应用于保单业务数据***同步数据，也可以应用于其它***中。例如，在保单业务数据***同步数据时，通常采用Hadoop技术从大数据平台中的海量数据中筛选出最近几个月即将到期的保单数据，将保单数据同步到保单业务数据***中的postgresql数据库，然后从postgresql数据库中分批将保单数据合并到目标数据库中。例如，目标数据库可以是续保名单数据库。

需要说明的是，Hadoop是一个用Java编写的Apache开源框架，允许使用简单的编程模型跨计算机集群分布式处理大型数据集。Hadoop框架工作的应用程序在跨计算机集群提供分布式存储和计算的环境中工作。postgresql是一个功能强大的开源对象关系数据库管理***，可以postgresql***可以对postgresql数据库进行操作；例如在postgresql中创建数据库、删除数据库、创建数据表、删除数据表，也可以在数据表中***数据、查询数据、更新数据和删除数据等等。

具体地，可以根据同步程序从大数据平台获取待处理数据。示例性的，同步程序可以包括Sqoop工具。需要说明的是，Sqoop是一款开源的工具，主要用于在Hadoop与传统的数据库间的数据传递；可以将一个关系型数据库中的数据导进到HDFS(Hadoop DistributedFile System，Hadoop分布式文件***)中，也可以将HDFS的数据导进到关系型数据库中。其中，关系型数据库可以包括但不限于MySQL、Oracle、Postgresql等等。

在一些实施例中，根据预设的分配策略将待处理数据分配到待处理数据表中，可以包括：获取待处理数据对应的获取日期，以及对预设数量的数据表进行编号；基于获取日期与数据表的编号之间预设的对应关系，根据待处理数据对应的获取日期确定待处理数据对应的目标数据表；将待处理数据存储至目标数据表中，得到待处理数据对应的待处理数据表。

其中，预设的分配策略可以包括基于获取日期与数据表的编号之间预设的对应关系，根据待处理数据对应的获取日期，将待处理数据存储至对应的目标数据表中。

可以理解的是，获取日期是指业务数据***从大数据平台同步数据的日期，同步数据的时间可能跨越数天才能完成。示例性的，获取日期可以包括星期值，例如星期一至星期日。预设数量的数据表，可以包括7个数据表；对这7个数据表进行编号，例如，数据表1、数据表2、数据表3、数据表4、数据表5、数据表6以及数据表7。

具体地，可以将获取日期与数据表的编号进行关联。例如，将星期一与数据表1关联，将星期二与数据表2关联，依次将剩余的星期值与数据表的编号进行关联，得到获取日期与数据表的编号之间预设的对应关系。

具体地，基于获取日期与数据表的编号之间预设的对应关系，根据待处理数据对应的获取日期确定待处理数据对应的目标数据表。示例性的，若待处理数据A对应的获取日期为星期一，则可以确定待处理数据A对应的目标数据表为数据表1。示例性的，若待处理数据B对应的获取日期为星期二，则可以确定待处理数据B对应的目标数据表为数据表2。如图2所示，图2是将待处理数据分配到待处理数据表的示意图。

具体地，在确定待处理数据对应的目标数据表之后，将待处理数据存储至目标数据表中，得到待处理数据对应的待处理数据表。示例性的，若确定待处理数据A对应的目标数据表为数据表1，则将待处理数据A存储至数据表1中，得到待处理数据A对应的待处理数据表1。其中，待处理数据A对应的待处理数据表1还可以包括获取日期与待处理数据A相同的其它待处理数据。例如，待处理数据表1包括获取日期为星期一的多个待处理数据。

示例性的，待处理数据表中的多个待处理数据可以按照获取时间进行排序。其中，获取时间是指获取日期内的时间点，例如0：00-23:59这一时间范围。

需要强调的是，为进一步保证上述待处理数据表的私密和安全性，上述待处理数据表还可以存储于一区块链的节点中。

通过根据预设的分配策略将待处理数据按照获取日期分配至不同的待处理数据表中存储，可以保证获取日期相同的待处理数据存储在同一个待处理数据表中；从而可以避免不同日期的待处理数据相互影响，可以提高了***查询数据的性能和效率。

步骤S20、根据所述待处理数据表中的待处理数据对应的获取时间以及根据所述待处理数据表对应的数据量，确定所述待处理数据表对应的时间分割信息。

示例性的，待处理数据表包括多个待处理数据。需要说明的是，在同一待处理数据表中，不同的待处理数据对应的获取日期相同，但不同的待处理数据对应获取时间不相同。

请参阅图3，图3是步骤S20中根据待处理数据表中的待处理数据对应的获取时间以及根据待处理数据表对应的数据量，确定待处理数据表对应的时间分割信息的示意性流程图，具体可以包括以下步骤S201至S204。

步骤S201、根据所述多个待处理数据对应的获取时间，确定所述待处理数据表对应的起始时间和结束时间。

需要说明的是，起始时间是指待处理数据表中最先被获取的待处理数据对应的时间点，即最小时间点；结束时间指待处理数据表中最后被获取的待处理数据对应的时间点，即最大时间点。

示例性的，若待处理数据表1中包括待处理数据A、待处理数据B和待处理数据C，其中，待处理数据A对应的获取时间为T1，待处理数据B对应的获取时间为T2，待处理数据A对应的获取时间为T3，且T1<T2<T3；则可以确定待处理数据表1对应的起始时间为T1，结束时间为T2。

步骤S202、根据所述待处理数据表对应的起始时间和结束时间，确定所述待处理数据表对应的时间范围。

示例性的，若待处理数据表1对应的起始时间为T1，结束时间为T2，则可以确定待处理数据表1对应的时间范围为[T1，T2]。

步骤S203、根据所述待处理数据表对应的数据量确定所述待处理数据表对应的时间范围内的时间分割点，得到所述待处理数据表对应的时间分割点。

示例性的，可以根据待处理数据表的占用内存空间确定待处理数据表对应的数据量，也可以根据待处理数据表中的剩余空间确定待处理数据表对应的数据量。

请参阅图4，图4是步骤S203中根据待处理数据表对应的数据量确定待处理数据表对应的时间范围内的时间分割点，得到所述理数据表对应的时间分割点的示意性流程图，具体可以包括以下步骤S2031至S2034。

步骤S2031、根据所述待处理数据表对应的起始时间以及预设的时间间隔，确定所述待处理数据表对应的第一时间分割点和第一分割范围。

需要说明的是，预设的时间间隔用于对待处理数据表对应的时间范围进行分割，得到多个时间分割范围。

示例性的，若根据待处理数据表1对应的起始时间为T1，且预设的时间间隔为T0，则可以确定待处理数据表1对应的第一时间分割点为T1+T0，第一分割范围为[T1，T1+T0]。剩余的时间分割点从[T1+T0，T2]中确定。

步骤S2032、根据所述第一分割范围内的数据量，对所述第一时间分割点进行调整，得到调整后的第一时间分割点。

在一些实施例中，根据第一分割范围内的数据量，对第一时间分割点进行调整，得到调整后的第一时间分割点，可以包括：获取待处理数据表在第一分割范围内的数据量，得到第一分割范围对应的数据量；若第一分割范围对应的数据量小于预设的第一数据量阈值，则根据预设的增大倍率增大预设的时间间隔，并根据增大后的时间间隔对第一时间分割点进行调整，得到调整后的第一时间分割点；或第一分割范围对应的数据量大于预设的第二数据量阈值，则根据预设的缩小倍率缩小预设的时间间隔，并根据缩小后的时间间隔对第一时间分割点进行调整，得到调整后的第一时间分割点。

示例性的，第一数据量阈值可以表示为D1，第二数据量阈值可以表示为D2。预设的增大倍率可以表示为S1，预设的缩小倍率可以表示为S2。其中，增大倍率S1和缩小倍率S2的值可以根据实际情况进行动态设定。例如，增大倍率S1可以是2、3，也可以是其它值；缩小倍率S2可以是0.8、0.5、0.3等等。

具体地，获取待处理数据表在第一分割范围内的数据量，得到第一分割范围对应的数据量。示例性的，获取待处理数据表1在第一分割范围为[T1，T1+T0]内的数据量，记为d，得到第一分割范围[T1，T1+T0]对应的数据量d。

具体地，判断第一分割范围对应的数据量与预设的第一数据量阈值之间的关系。

在一些实施例中，若第一分割范围对应的数据量小于预设的第一数据量阈值，则根据预设的增大倍率增大预设的时间间隔，并根据增大后的时间间隔对第一时间分割点进行调整，得到调整后的第一时间分割点。

示例性的，若第一分割范围[T1，T1+T0]对应的数据量d小于第一数据量阈值D1，且增大倍率S1为2，则将预设的时间间隔T0增大为2T0，得到调整后的第一时间分割点为T1+2T0，调整后的第一分割范围为[T1，T1+2T0]。

在另一些实施例中，若第一分割范围对应的数据量大于预设的第二数据量阈值，则根据预设的缩小倍率缩小预设的时间间隔，并根据缩小后的时间间隔对第一时间分割点进行调整，得到调整后的第一时间分割点。

示例性的，若第一分割范围[T1，T1+T0]对应的数据量d大于第二数据量阈值D2，且缩小倍率S2为0.5，则将预设的时间间隔T0缩小为0.5T0，得到调整后的第一时间分割点为T1+0.5T0，调整后的第一分割范围为[T1，T1+0.5T0]。

步骤S2033、若所述调整后的第一时间分割点等于或大于所述时间范围中的结束时间，则停止进行分割，得到所述待处理数据表对应的时间分割点。

示例性的，在待处理数据表1中，若调整后的第一时间分割点为T1+2T0等于或大于时间范围[T1，T2]中的结束时间T2，说明不需要对[T1，T2]继续分割，此时可以得到待处理数据表1对应的第一时间分割点为T2。即把时间范围[T1，T2]全部作为待处理数据表1对应的分割范围。

步骤S2034、若所述调整后的第一时间分割点小于所述时间范围中的结束时间，则根据所述调整后的第一时间分割点和所述预设的时间间隔循环确定所述时间范围内剩余的时间分割点，直至得到的时间分割点大于或等于所述结束时间时，停止分割，得到所述待处理数据表对应的多个时间分割点。

示例性的，在待处理数据表1中，若调整后的第一时间分割点为T1+2T0小于时间范围[T1，T2]中的结束时间T2，则还可以继续对待处理数据表1中的时间范围[T1，T2]的剩余部分[T1+2T0，T2]进行分割。

具体地，根据调整后的第一时间分割点为T1+2T0和预设的时间间隔T0确定时间范围[T1，T2]内剩余的时间分割点；例如在[T1+2T0，T2]内确定第二时间分割点，直至得到的时间分割点大于或等于结束时间T2时，停止分割，得到待处理数据表对应的多个时间分割点。

示例性的，在待处理数据表1中，得到待处理数据表1的多个时间分割点；例如，时间分割点a、b和c。如图5所示，图5是待处理数据表中的时间分割点的示意图。

通过根据预设的时间间隔、增大倍率和缩小倍率动态调整和确定待处理数据表中的时间分割点，后续可以根据时间分割点对时间范围进行分割得到时间分割范围。

步骤S204、根据所述时间分割点对所述待处理数据表对应的时间范围进行分割，得到所述待处理数据表对应的多个时间分割信息。

示例性的，时间分割信息可以包括时间分割范围。可以理解的是，分割是指根据时间分割点，将待处理数据表对应的时间范围分割成多个区域，即得到待待处理数据表对应的多个时间分割范围。

示例性的，在待处理数据表1中，若待处理数据表的时间范围为[T1，T2]，时间分割点为a、b和c；则在进行分割后，待处理数据表1对应的时间分割范围为[T1，a)、[a，b)、[b，c)和[c，T2]。如图6所示，图6是待处理数据表对应的时间分割范围的示意图。

通过根据待处理数据表对应的数据量确定时间范围中的时间分割点，可以实现根据待处理数据对应的实际数据量动态地扩大或缩小时间分割范围，使得各时间分割范围内的数据量处于稳定状态，避免后续在处理时间分割范围内的待处理数据时出现内存溢出的问题。

步骤S30、根据所述待处理数据表对应的时间分割信息，确定所述待处理数据表对应的多个待执行任务，并执行多个所述待执行任务，以将所述待处理数据表中的待处理数据存储到目标数据库中。

请参阅图7，图7是步骤S30中根据所述待处理数据表对应的时间分割信息，确定所述待处理数据表对应的多个待执行任务的示意性流程图，具体包括以下步骤S301和步骤S302。

步骤S301、确定所述待处理数据表对应的星期值。

具体地，根据待处理数据表中的待处理数据对应的星期值，确定待处理数据表对应的星期值。

可以理解的是，同一待处理数据表中，待处理数据的获取日期相同，即待处理数据对应的星期值也相同；因此可以根据待处理数据对应的星期值，确定待处理数据表对应的星期值。

示例性的，在待处理数据表1中，若待处理数据对应的星期值为星期一，则待处理数据表1对应的星期值为星期一。

步骤S302、将所述待处理数据表对应的星期值与所述待处理数据表对应的多个时间分割范围添加至任务池中，得到所述待处理数据表对应的多个待执行任务。

示例性的，任务池可以包括多个任务表。

具体地，将待处理数据表中的多个时间分割范围分别放入任务池中的任务表中，然后将待处理数据表的对应的星期值添加入任务表中，得到待处理数据表对应的多个待执行任务。其中，待执行任务包括星期值和一时间分割范围。

具体地，时间分割范围的数量与待执行任务的数量相等。例如，若时间分割范围包括[T1，a)、[a，b)、[b，c)和[c，T2]四个时间分割范围，则在任务池生成与该四个时间分割范围对应的四个待执行任务。

通过将待处理数据表的星期值和时间分割范围放入任务池中，得到多个待执行任务中；从而可以并行待处理数据表中的待处理数据，提高了***的存储数据的效率。

如图7所示，图7是步骤S30中执行多个待执行任务，以将待处理数据表中的待处理数据存储到目标数据库中的示意性流程图，具体包括以下步骤S303至步骤S305。

S303、依次确定执行器在多个所述待执行任务中的目标待执行任务，并对所述目标待执行任务进行锁表。

需要说明的是，在本申请实施例中，可以通过执行器执行任务池中的待执行任务。执行器可以将待执行任务提交给线程池，由线程池负责处理待执行任务中的内容。

具体地，在执行多个待执行任务之前，需要根据待执行任务的个数确定执行器的数量。

需要说明的是，在本申请实施例中，可以由多个执行器执行任务池中的多个待执行任务。例如，当待执行任务的个数过多时，可以增加执行器的数量。通过多个执行器并行处理任务池中的待执行任务，可以提高执行的效率。其中，执行器的数量可以根据待执行任务的个数进行动态配置。

示例性的，可以通过apollo配置中心，动态配置执行器的数量。需要说明的是，apollo是携程框架部门研发的开源配置管理中心，能够集中化管理应用不同环境、不同集群的配置，配置修改后能够实时推送到应用端，并且具备规范的权限、流程治理等特性。比如，apollo配置中心可以进行配置修改并进行热发布；客户端能实时接收最新的配置，并通知到应用程序。

示例性的，若有四个待执行任务，则执行器的数量可配置为4个。

具体地，依次确定多个待执行任务中的目标待执行任务，并对目标待执行任务进行锁表。示例性的，可以分别对执行器和待执行任务进行编号，将编号与执行器的编号相同的待执行任务作为该执行器对应的目标待执行任务。例如，对于执行器1，可以将编号为1的待执行任务1作为执行器1对应的目标待执行任务。在执行器1执行目标待执行任务时，需要对该目标待执行任务进行锁表。

其中，锁表是指目标待执行任务被加上锁时，其它的执行器不能执行它。

可以理解的是，为了防止多个执行器对同一个待执行任务重复执行，执行器在执行对应的目标待执行任务时，需要对目标待执行任务进行锁表，将目标待执行任务的状态更新为“执行中”。通过对待执行任务进行锁表操作，可以避免多个执行器从待处理数据表中读取到重复的待处理数据，可以提高***的多任务的并发性。

S304、根据所述目标待执行任务中的星期值，确定所述目标待执行任务对应的当前待处理数据表。

具体地，基于星期值与待处理数据表的编号之间预设的对应关系，根据目标待执行任务中的星期值确定目标待执行任务对应的当前待处理数据表。

示例性的，星期值与待处理数据表的编号之间预设的对应关系可以包括：星期一与待处理数据表1对应，星期二与待处理数据表2对应和星期三与待处理数据表3对应等等。

示例性的，若执行器1对应的目标待执行任务中的星期值为星期一，则执行器1可以确定目标待执行任务对应的当前待处理数据表为待处理数据表1。

S305、根据所述目标待执行任务中的时间分割范围，从所述当前待处理数据表中获取所述时间分割范围内的待处理数据，并将所述待处理数据存储到目标数据库，其中，所述目标数据库存储在区块链中。

在本申请实施例中，目标数据库可以是续保名单数据库，当然也可以是其它数据库。

需要强调的是，为进一步保证上述目标数据库的私密和安全性，上述目标数据库还可以存储于一区块链的节点中。

示例性的，若执行器1对应的目标待执行任务中的时间分割范围为[T1，a)，且对应的当前待处理数据表为待处理数据表1，则从待处理数据表1中获取时间分割范围[T1，a)内的待处理数据，并将待处理数据存储到续保名单数据库。

示例性的，若执行器2对应的目标待执行任务中的时间分割范围为[a，b)，且对应的当前待处理数据表为待处理数据表1，则从待处理数据表1中获取时间分割范围[a，b)内的待处理数据，并将待处理数据存储到续保名单数据库。

具体地，执行器将待处理数据存储到目标数据库之后，可以将目标待执行任务的状态进行更新。例如将目标待执行任务的状态由“执行中”更新为“执行完毕”，以表示该目标待执行任务已经完成。

在一些实施例中，在执行多个待执行任务，以将待处理数据表中的待处理数据存储到目标数据库中之后，还可以检测多个待执行任务对应的执行进度，当多个待执行任务都执行完毕时，可以将待处理数据表删除。

需要说明的是，在任务池中的所有待执行任务都执行完毕后，再删除待处理数据表，可以避免每一次获取待处理数据中的部分待处理数据后就进行删除操作，可以提高***的性能。

示例性的，若检测到多个待执行任务对应的执行进度全部为完成状态，则将待处理数据表删除。

示例性的，若检测到多个待执行任务的完成状态的数量等于待处理数据表对应时间分割范围的个数，则将目标待处理数据表删除。例如，对于待处理数据表1，若有四个待执行任务，且这四个待执行任务的完成状态的个数等于待处理数据1对应时间分割范围的个数，则将待处理数据1删除。

具体地，可以通过truncate命令将待处理数据表删除。可以理解的是，通过使用truncate命令删除待处理数据表，可以实现快速、高效地释放表空间，不会出现postgresql库中的vacuum进程无法回收表空间的问题。

在一些实施例中，若检测到待执行任务的执行时间大于预设的执行时间，则将待执行任务的状态标记为待处理。

其中，预设的执行时间可以根据实际情况设定，具体数据在此不作限定。

示例性的，可以通过异常监控器对任务池中的待执行任务进行监控。当异常监控器检测到待执行任务的执行时间大于预设的执行时间，则判定该待执行任务出现异常，将该待执行任务的状态由“执行中”更新为“待处理”。

可以理解的是，通过对待执行任务进行监控，可以防止由于***重启，待执行任务一直处于执行中的状态，导致任务池中的待执行任务无法全部执行。

上述实施例提供的数据处理方法，通过根据预设的分配策略将待处理数据按照获取日期分配至不同的待处理数据表中存储，可以保证获取日期相同的待处理数据存储在同一个待处理数据表中；从而可以避免不同日期的待处理数据相互影响，可以提高了***查询数据的性能和效率；通过根据待处理数据表对应的数据量确定时间范围中的时间分割点，可以实现根据待处理数据对应的实际数据量动态地扩大或缩小时间分割范围，使得各时间分割范围内的数据量处于稳定状态，避免后续在处理时间分割范围内的待处理数据时出现内存溢出的问题；通过将待处理数据表的星期值和时间分割范围放入任务池中，得到多个待执行任务中，从而可以并行待处理数据表中的待处理数据，提高了***的存储数据的效率；在任务池中的所有待执行任务都执行完毕后，再删除待处理数据表，可以避免每一次获取待处理数据中的部分待处理数据后就进行删除操作，可以提高***的性能。

请参阅图8，图8是本申请的实施例还提供一种数据处理装置100的示意性框图，该数据处理装置用于执行前述的数据处理方法。其中，该数据处理装置可以配置于服务器或终端中。

如图8所示，该数据处理装置100，包括：数据获取模块101、时间分割模块102和数据存储模块103。

数据获取模块101，用于获取待处理数据，根据预设的分配策略将所述待处理数据分配到待处理数据表中。

时间分割模块102，用于根据所述待处理数据表中的待处理数据对应的获取时间以及根据所述待处理数据表对应的数据量，确定所述待处理数据表对应的时间分割信息。

数据存储模块103，用于根据所述待处理数据表对应的时间分割信息，确定所述待处理数据表对应的多个待执行任务，并执行多个所述待执行任务，以将所述待处理数据表中的待处理数据存储到目标数据库中。

需要说明的是，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的装置和各模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

上述的装置可以实现为一种计算机程序的形式，该计算机程序可以在如图9所示的计算机设备上运行。

请参阅图9，图9是本申请实施例提供的一种计算机设备的结构示意性框图。该计算机设备可以是服务器或终端。

请参阅图9，该计算机设备包括通过***总线连接的处理器和存储器，其中，存储器可以包括非易失性存储介质和内存储器。

处理器用于提供计算和控制能力，支撑整个计算机设备的运行。

内存储器为非易失性存储介质中的计算机程序的运行提供环境，该计算机程序被处理器执行时，可使得处理器执行任意一种数据处理方法。

应当理解的是，处理器可以是中央处理单元(Central Processing Unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

其中，在一个实施例中，所述处理器用于运行存储在存储器中的计算机程序，以实现如下步骤：

获取待处理数据，根据预设的分配策略将所述待处理数据分配到待处理数据表中；根据所述待处理数据表中的待处理数据对应的获取时间以及根据所述待处理数据表对应的数据量，确定所述待处理数据表对应的时间分割信息；根据所述待处理数据表对应的时间分割信息，确定所述待处理数据表对应的多个待执行任务，并执行多个所述待执行任务，以将所述待处理数据表中的待处理数据存储到目标数据库中。

在一个实施例中，所述处理器在实现根据预设的分配策略将所述待处理数据分配到待处理数据表中时，用于实现：

获取所述待处理数据对应的获取日期，以及对预设数量的数据表进行编号；

基于获取日期与数据表的编号之间预设的对应关系，根据所述待处理数据对应的获取日期确定所述待处理数据对应的目标数据表；将所述待处理数据存储至所述目标数据表中，得到所述待处理数据对应的待处理数据表。

在一个实施例中，所述待处理数据表包括多个待处理数据；所述处理器在实现根据所述待处理数据表中的待处理数据对应的获取时间以及根据所述待处理数据表对应的数据量，确定所述待处理数据表对应的时间分割信息时，用于实现：

根据所述多个待处理数据对应的获取时间，确定所述待处理数据表对应的起始时间和结束时间；根据所述待处理数据表对应的起始时间和结束时间，确定所述待处理数据表对应的时间范围；根据所述待处理数据表对应的数据量确定所述待处理数据表对应的时间范围内的时间分割点，得到所述待处理数据表对应的时间分割点；根据所述时间分割点对所述待处理数据表对应的时间范围进行分割，得到所述待处理数据表对应的多个时间分割信息。

在一个实施例中，所述处理器在实现根据所述待处理数据表对应的数据量确定所述待处理数据表对应的时间范围内的时间分割点，得到所述待处理数据表对应的时间分割点时，用于实现：

根据所述待处理数据表对应的起始时间以及预设的时间间隔，确定所述待处理数据表对应的第一时间分割点和第一分割范围；根据所述第一分割范围内的数据量，对所述第一时间分割点进行调整，得到调整后的第一时间分割点；若所述调整后的第一时间分割点等于或大于所述时间范围中的结束时间，则停止进行分割，得到所述待处理数据表对应的时间分割点；若所述调整后的第一时间分割点小于所述时间范围中的结束时间，则根据所述调整后的第一时间分割点和所述预设的时间间隔循环确定所述时间范围内剩余的时间分割点，直至得到的时间分割点大于或等于所述结束时间时，停止分割，得到所述待处理数据表对应的多个时间分割点。

在一个实施例中，所述处理器在实现根据所述第一分割范围内的数据量，对所述第一时间分割点进行调整，得到调整后的第一时间分割点时，用于实现：

获取所述待处理数据表在所述第一分割范围内的数据量，得到所述第一分割范围对应的数据量；若所述第一分割范围对应的数据量小于预设的第一数据量阈值，则根据预设的增大倍率增大所述预设的时间间隔，并根据增大后的所述时间间隔对所述第一时间分割点进行调整，得到调整后的第一时间分割点；或若所述第一分割范围对应的数据量大于预设的第二数据量阈值，则根据预设的缩小倍率缩小所述预设的时间间隔，并根据缩小后的所述时间间隔对所述第一时间分割点进行调整，得到调整后的第一时间分割点。

在一个实施例中，所述时间分割信息包括时间分割范围；所述处理器在实现根据所述待处理数据表对应的时间分割信息，确定所述待处理数据表对应的多个待执行任务时，用于实现：

确定所述待处理数据表对应的星期值；将所述待处理数据表对应的星期值与所述待处理数据表对应的多个时间分割范围添加至任务池中，得到所述待处理数据表对应的多个待执行任务。

在一个实施例中，所述处理器在实现执行多个所述待执行任务，以将所述待处理数据表中的待处理数据存储到目标数据库中时，用于实现：

依次确定执行器在多个所述待执行任务中的目标待执行任务，并对所述目标待执行任务进行锁表；根据所述目标待执行任务中的星期值，确定所述目标待执行任务对应的当前待处理数据表；根据所述目标待执行任务中的时间分割范围，从所述当前待处理数据表中获取所述时间分割范围内的待处理数据，并将所述待处理数据存储到目标数据库。

在一个实施例中，所述处理器在实现执行多个所述待执行任务，以将所述待处理数据表中的待处理数据存储到目标数据库中之后，还用于实现：

检测多个所述待执行任务对应的执行进度；若检测到多个所述待执行任务对应的执行进度全部为完成状态，则将所述待处理数据表删除；或若检测到多个所述待执行任务的完成状态的数量等于所述待处理数据表对应时间分割范围的个数，则将所述目标待处理数据表删除。

本申请的实施例中还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序中包括程序指令，所述处理器执行所述程序指令，实现本申请实施例提供的任一项数据处理方法。

其中，所述计算机可读存储介质可以是前述实施例所述的计算机设备的内部存储单元，例如所述计算机设备的硬盘或内存。所述计算机可读存储介质也可以是所述计算机设备的外部存储设备，例如所述计算机设备上配备的插接式硬盘，智能存储卡(SmartMedia Card，SMC)，安全数字卡(Secure Digital Card，SD Card)，闪存卡(Flash Card)等。

进一步地，所述计算机可读存储介质可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序等；存储数据区可存储根据区块链节点的使用所创建的数据等。

本申请所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种数据处理方法，其特征在于，包括：

获取待处理数据，根据预设的分配策略将所述待处理数据分配到待处理数据表中；

根据所述待处理数据表中的待处理数据对应的获取时间以及根据所述待处理数据表对应的数据量，确定所述待处理数据表对应的时间分割信息；

根据所述待处理数据表对应的时间分割信息，确定所述待处理数据表对应的多个待执行任务，并执行多个所述待执行任务，以将所述待处理数据表中的待处理数据存储到目标数据库中；

所述根据预设的分配策略将所述待处理数据分配到待处理数据表中，包括：获取所述待处理数据对应的获取日期，以及对预设数量的数据表进行编号；基于获取日期与数据表的编号之间预设的对应关系，根据所述待处理数据对应的获取日期确定所述待处理数据对应的目标数据表；将所述待处理数据存储至所述目标数据表中，得到所述待处理数据对应的待处理数据表；

所述待处理数据表包括多个待处理数据；所述根据所述待处理数据表中的待处理数据对应的获取时间以及根据所述待处理数据表对应的数据量，确定所述待处理数据表对应的时间分割信息，包括：根据所述多个待处理数据对应的获取时间，确定所述待处理数据表对应的时间范围；根据所述待处理数据表对应的数据量确定所述待处理数据表对应的时间范围内的时间分割点，得到所述待处理数据表对应的时间分割点；根据所述时间分割点对所述待处理数据表对应的时间范围进行分割，得到所述待处理数据表对应的多个时间分割信息；

所述执行多个所述待执行任务，以将所述待处理数据表中的待处理数据存储到目标数据库中，包括：依次确定执行器在多个所述待执行任务中的目标待执行任务，并对所述目标待执行任务进行锁表；根据所述目标待执行任务中的星期值，确定所述目标待执行任务对应的当前待处理数据表；根据所述目标待执行任务中的时间分割范围，从所述当前待处理数据表中获取所述时间分割范围内的待处理数据，并将所述待处理数据存储到目标数据库。

2.根据权利要求1所述的数据处理方法，其特征在于，所述待处理数据表存储在区块链中。

3.根据权利要求1所述的数据处理方法，其特征在于，所述根据所述多个待处理数据对应的获取时间，确定所述待处理数据表对应的时间范围，包括：

根据所述多个待处理数据对应的获取时间，确定所述待处理数据表对应的起始时间和结束时间；

根据所述待处理数据表对应的起始时间和结束时间，确定所述待处理数据表对应的时间范围。

4.根据权利要求3所述的数据处理方法，其特征在于，所述根据所述待处理数据表对应的数据量确定所述待处理数据表对应的时间范围内的时间分割点，得到所述待处理数据表对应的时间分割点，包括：

根据所述待处理数据表对应的起始时间以及预设的时间间隔，确定所述待处理数据表对应的第一时间分割点和第一分割范围；

根据所述第一分割范围内的数据量，对所述第一时间分割点进行调整，得到调整后的第一时间分割点；

若所述调整后的第一时间分割点等于或大于所述时间范围中的结束时间，则停止进行分割，得到所述待处理数据表对应的时间分割点；

若所述调整后的第一时间分割点小于所述时间范围中的结束时间，则根据所述调整后的第一时间分割点和所述预设的时间间隔循环确定所述时间范围内剩余的时间分割点，直至得到的时间分割点大于或等于所述结束时间时，停止分割，得到所述待处理数据表对应的多个时间分割点。

5.根据权利要求4所述的数据处理方法，其特征在于，所述根据所述第一分割范围内的数据量，对所述第一时间分割点进行调整，得到调整后的第一时间分割点，包括：

获取所述待处理数据表在所述第一分割范围内的数据量，得到所述第一分割范围对应的数据量；

若所述第一分割范围对应的数据量小于预设的第一数据量阈值，则根据预设的增大倍率增大所述预设的时间间隔，并根据增大后的所述时间间隔对所述第一时间分割点进行调整，得到调整后的第一时间分割点；或

若所述第一分割范围对应的数据量大于预设的第二数据量阈值，则根据预设的缩小倍率缩小所述预设的时间间隔，并根据缩小后的所述时间间隔对所述第一时间分割点进行调整，得到调整后的第一时间分割点。

6.根据权利要求1所述的数据处理方法，其特征在于，所述时间分割信息包括时间分割范围；所述根据所述待处理数据表对应的时间分割信息，确定所述待处理数据表对应的多个待执行任务，包括：

确定所述待处理数据表对应的星期值；

将所述待处理数据表对应的星期值与所述待处理数据表对应的多个时间分割范围添加至任务池中，得到所述待处理数据表对应的多个待执行任务；

所述目标数据库存储在区块链中。

7.根据权利要求1-6中任一项所述的数据处理方法，其特征在于，所述执行多个所述待执行任务，以将所述待处理数据表中的待处理数据存储到目标数据库中之后，还包括：

检测多个所述待执行任务对应的执行进度；

若检测到多个所述待执行任务对应的执行进度全部为完成状态，则将所述待处理数据表删除；或

若检测到多个所述待执行任务的完成状态的数量等于所述待处理数据表对应时间分割范围的个数，则将所述待处理数据表删除。

8.一种数据处理装置，其特征在于，所述数据处理装置用于实现权利要求1-7任意一项所述的数据处理方法，所述数据处理装置包括：

数据获取模块，用于获取待处理数据，根据预设的分配策略将所述待处理数据分配到待处理数据表中；

时间分割模块，用于根据所述待处理数据表中的待处理数据对应的获取时间以及根据所述待处理数据表对应的数据量，确定所述待处理数据表对应的时间分割信息；

数据存储模块，用于根据所述待处理数据表对应的时间分割信息，确定所述待处理数据表对应的多个待执行任务，并执行多个所述待执行任务，以将所述待处理数据表中的待处理数据存储到目标数据库中。

9.一种计算机设备，其特征在于，所述计算机设备包括存储器和处理器；

所述存储器，用于存储计算机程序；

所述处理器，用于执行所述计算机程序并在执行所述计算机程序时实现如权利要求1至7任一项所述的数据处理方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器实现如权利要求1至7任一项所述的数据处理方法。