CN112541041A - 一种数据处理方法、装置、服务器及存储介质 - Google Patents
一种数据处理方法、装置、服务器及存储介质 Download PDFInfo
- Publication number
- CN112541041A CN112541041A CN202011545402.1A CN202011545402A CN112541041A CN 112541041 A CN112541041 A CN 112541041A CN 202011545402 A CN202011545402 A CN 202011545402A CN 112541041 A CN112541041 A CN 112541041A
- Authority
- CN
- China
- Prior art keywords
- task
- target
- fragment
- fragmentation
- processed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 20
- 239000012634 fragment Substances 0.000 claims abstract description 238
- 238000013467 fragmentation Methods 0.000 claims abstract description 185
- 238000006062 fragmentation reaction Methods 0.000 claims abstract description 185
- 238000000034 method Methods 0.000 claims abstract description 45
- 230000015654 memory Effects 0.000 claims description 14
- 238000001514 detection method Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 description 15
- 238000010586 diagram Methods 0.000 description 6
- 230000007246 mechanism Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 3
- HRANPRDGABOKNQ-ORGXEYTDSA-N (1r,3r,3as,3br,7ar,8as,8bs,8cs,10as)-1-acetyl-5-chloro-3-hydroxy-8b,10a-dimethyl-7-oxo-1,2,3,3a,3b,7,7a,8,8a,8b,8c,9,10,10a-tetradecahydrocyclopenta[a]cyclopropa[g]phenanthren-1-yl acetate Chemical compound C1=C(Cl)C2=CC(=O)[C@@H]3C[C@@H]3[C@]2(C)[C@@H]2[C@@H]1[C@@H]1[C@H](O)C[C@@](C(C)=O)(OC(=O)C)[C@@]1(C)CC2 HRANPRDGABOKNQ-ORGXEYTDSA-N 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
- G06F16/278—Data partitioning, e.g. horizontal or vertical partitioning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
- G06F9/505—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the load
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5061—Partitioning or combining of resources
- G06F9/5066—Algorithms for mapping a plurality of inter-dependent sub-tasks onto a plurality of physical CPUs
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请实施例涉及大数据领域，公开了一种数据处理方法、装置、服务器及存储介质，其中，该方法包括：获取第一目标任务，第一目标任务属于第一待处理子任务；确定第一目标任务所指示的待处理数据和数据处理方式；从数据库中获取任务分片信息，并根据任务分片信息从数据库中获取与第一目标任务对应的目标分片的分片状态；根据目标分片的分片状态，在目标分片中利用第一目标任务所指示的数据处理方式对第一目标任务所指示的待处理数据进行数据处理。通过上述方法，可以实现并发处理数据，避免重复处理数据，提高数据处理的效率。本发明涉及区块链技术，如可将上述数据写入区块链中，以用于数据取证等场景。
Description
技术领域
本申请涉及计算机技术领域，尤其涉及一种数据处理方法、装置、服务器及存储介质。
背景技术
随着计算机技术的快速发展，各种业务数据量也在不断激增，在对业务数据进行处理时，通常会以并发执行多个任务的方式对数据进行处理，而并发处理可能会出现重复处理的情况，从而影响数据处理效率，因此，如何快速、高效地处理数据，变得至关重要。
发明内容
本申请实施例提供了一种数据处理方法、装置、服务器及存储介质，可以实现并发处理数据，避免重复处理数据，提高数据处理的效率。
第一方面，本申请实施例公开了一种数据处理方法，应用于服务器，所述服务器为服务器集群中的任意一个，所述方法包括：
获取第一目标任务，其中，所述第一目标任务属于第一待处理子任务，所述第一待处理子任务是由待处理任务通过划分得到的多个待处理子任务中的任意一个；
根据所述第一目标任务确定所述第一目标任务所指示的待处理数据和数据处理方式；
从数据库中获取任务分片信息，并根据所述任务分片信息从所述数据库中获取与所述第一目标任务对应的目标分片的分片状态；
根据所述目标分片的分片状态，在所述目标分片中利用所述第一目标任务所指示的数据处理方式对所述第一目标任务所指示的待处理数据进行数据处理。
第二方面，本申请实施例公开了一种数据处理装置，所述装置包括：
第一获取单元，用于获取第一目标任务，其中，所述第一目标任务属于第一待处理子任务，所述第一待处理子任务是由待处理任务通过划分得到的多个待处理子任务中的任意一个；
确定单元，用于根据所述第一目标任务确定所述第一目标任务所指示的待处理数据和数据处理方式；
第二获取单元，用于从数据库中获取任务分片信息，并根据所述任务分片信息从所述数据库中获取与所述第一目标任务对应的目标分片的分片状态；
处理单元，用于根据所述目标分片的分片状态，在所述目标分片中利用所述第一目标任务所指示的数据处理方式对所述第一目标任务所指示的待处理数据进行数据处理。
第三方面，本申请实施例公开了一种服务器，包括处理器、存储器和网络接口，所述处理器、存储器和网络接口相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行上述第一方面的方法。
第四方面，本申请实施例公开了一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行上述第一方面的方法。
本申请实施例中，服务器可以获取第一目标任务，该第一目标任务属于第一待处理子任务，第一待处理子任务是由待处理任务通过划分得到的多个待处理子任务中的任意一个，然后，服务器可以根据第一目标任务确定第一目标任务所指示的待处理数据和数据处理方式，从数据库中获取任务分片信息，并根据所述分片信息从所述数据库中获取与第一目标任务对应的目标分片的分片状态；进一步的，服务器可以根据目标分片的分片状态，在目标分片中利用第一目标任务所指示的数据处理方式对第一目标任务所指示的待处理数据进行数据处理。可以看出，通过将任务划分为多个子任务，可以并发处理多个子任务，并且，可以根据所获取到的任务对应的分片的分片状态来确定是否进行数据处理，从而可以避免重复处理数据，也可以提高数据处理的效率。
附图说明
为了更清楚地说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种数据处理方法的流程示意图；
图2是本申请实施例提供的另一种数据处理方法的流程示意图；
图3是本申请实施例提供的又一种数据处理方法的流程示意图；
图4是本申请实施例提供的一种数据处理装置的结构示意图；
图5是本申请实施例提供的一种服务器的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
请参阅图1，图1是本申请实施例提供的一种数据处理方法的流程示意图。本实施例中所描述的数据处理方法，应用于服务器，该服务器为服务器集群中的任意一个，该数据处理方法包括以下步骤：
S101：获取第一目标任务。
在一种实现方式中，服务器可以获取第一目标任务。其中，该第一目标任务是属于第一待处理子任务的，并且该第一目标任务包含第一待处理子任务中的部分任务或全部任务，该第一待处理子任务是由待处理任务通过划分得到的多个待处理子任务中的任意一个。例如，待处理任务可以是指某一类型的操作，假设针对保单的还款期次更新，保单数量庞大，可能有一千万个保单需要处理，则需要对这一千万保单对应的还款期次同时更新操作，也就是说待处理任务是要更新一千万保单的所有还款期次。那么第一待处理子任务可以是更新一千万保单中的一百万保单的所有还款期次，而第一目标任务可以是更新一百万保单中的五十万保单的所有还款期次。这样，将大数据量的保单划分为多份，以便于并发处理保单对应的期次更新操作。
在一种实现方式中，上述服务器是服务器集群中的任意一个，在数据处理***中，可以配置多个服务器，即配置一个服务器集群，以利用多个服务器同时处理待处理任务中的多个待处理子任务。需要说明的是，一个服务器可以获取一个待处理子任务中的部分任务或全部任务，服务器可以根据自身的空闲负载量确定获取一个待处理子任务中任务数据量的大小。如果一个服务器获取的是一个待处理子任务中的部分任务，则另一个服务器可以获取该待处理子任务中除部分任务的其他任务。例如，待处理子任务为5个，服务器有3个，每个服务器可以获取待处理子任务中的任意一个待处理子任务中的部分任务或全部任务(获取任务是不相同的)，当某个服务器对应的任务处理完之后，可以再获取剩余的待处理子任务。当服务器数量大于或等于待处理子任务数量时，做同样理解，在此处不再赘述。
举例来说，待处理任务是要更新一千万保单的所有还款期次，将该待处理任务划分为5个待处理子任务，假设是平均划分，即每个待处理子任务为更新一千万保单中的二百万保单的所有还款期次。那么3个服务器可以分别获取这5个待处理子任务中的任意一个待处理子任务中的部分任务或全部任务，例如，第一个服务器可以获取第一个待处理子任务中的部分任务或全部任务，第二个服务器可以获取第一个待处理子任务中剩余任务，也可以获取其他待处理子任务中的部分任务或全部任务，第三个服务器做同样理解。
在一种实现方式中，上述服务器集群中服务器的数量也可以根据待处理任务的任务数据量或待处理任务的紧急程度来确定。例如，如果待处理任务的任务数据量较大或待处理任务的紧急程度较高，则可以配置较多的服务器。以利用较多的服务器同时处理待处理任务，提高数据处理的效率。
在一种实现方式中，待处理任务可以根据预设的划分条件划分为多个待处理子任务。具体的，该划分条件包括当前服务器的数量、待处理任务的任务数据量以及待处理任务的紧急程度等等，以根据该划分条件确定待处理子任务的数量。例如，若当前服务器的数量较多或待处理任务的任务数据量较大或待处理任务的紧急程度较高，则待处理子任务的数量也可以多些，以将待处理任务划分为多个同时处理，提高数据处理的效率。
在一种实现方式中，服务器在获取第一目标任务之后，还可以获取该第一目标任务的任务量，并检测该第一目标任务的任务量是否小于或等于服务器的空闲负载量，空闲负载量即当前服务器可以处理数据的负载量。如果检测结果为第一目标任务的任务量小于或等于服务器的空闲负载量，则执行S102的步骤，如果检测结果为第一目标任务的任务量大于服务器的空闲负载量，则可以将该第一目标任务推送给其他服务器。
S102：根据第一目标任务确定第一目标任务所指示的待处理数据和数据处理方式。
在一种实现方式中，第一目标任务可以用于指示待处理数据以及处理方式，那么服务器在对该第一目标任务对应的待处理数据进行处理时，可以根据该第一目标任务指示的处理方式对待处理数据进行处理。例如，假设第一目标任务所指示的待处理数据是一百万保单的还款期次，处理方式是对该一百万保单的还款期次进行更新，那么服务器在后续获取到第一目标任务对应的目标分片后，就可以对目标分片中第一目标任务所指示的待处理数据进行数据处理，即对一百万保单的还款期次进行更新。
S103：从数据库中获取任务分片信息，并根据任务分片信息从数据库中获取与第一目标任务对应的目标分片的分片状态。
在一种实现方式中，数据库是分片数据库，数据库中的每个分片可以是对应每个待处理子任务，数据库的分片数也就是所有待处理子任务的数量。例如，针对待处理任务是要更新一千万保单的所有还款期次，可以将一千万保单划分为12份，即12个待处理子任务，对应的，数据库中的分片也有12个，每一个分片对应于一个待处理子任务所指示的待处理数据。
在一种实现方式中，数据库还可以包括任务分片信息，该任务分片信息包括任务标识与分片标识的对应关系，以及数据库中每个分片的分片状态。分片状态可以包括第一状态和第二状态，第一状态表示的是分片是可用的，即该分片当前没有服务器占用，也就是说没有服务器对该分片中数据进行数据处理。对应的，第二状态表示的是分片是不可用的，即该分片当前被服务器占用，也就是说有服务器对该分片中数据进行数据处理。那么，在服务器获取目标分片之前，还需要获取目标分片对应的分片状态，并确定所获取到的分片状态是第一状态还是第二状态，以根据分片状态确定服务器当前是否可以获取第一目标任务对应的目标分片以进行后续的步骤。
在一种实现方式中，服务器获取的第一目标任务中携带了任务标识，任务标识可以用来指示第一目标任务所属的待处理子任务。那么服务器可以从数据库中获取任务分片信息，并获取任务分片信息中的任务标识与分片标识的对应关系，以根据该对应关系，确定与第一目标任务中携带的任务标识对应的分片标识。而在确定与第一目标任务中携带的任务标识对应的分片标识之后，就可以根据该分片标识，从任务分片信息中获取与第一目标任务中携带的任务标识的分片标识对应的目标分片的分片状态。
S104：根据目标分片的分片状态，在目标分片中利用第一目标任务所指示的数据处理方式对第一目标任务所指示的待处理数据进行数据处理。
在一种实现方式中，服务器可以根据获取到目标分片的分片状态，执行不同的操作。如果目标分片的分片状态为第一状态，则服务器可以根据与第一目标任务中携带的任务标识对应的分片标识，从数据库中获取该分片标识对应的目标分片，并在该目标分片中利用第一目标任务所指示的数据处理方式对第一目标任务所指示的待处理数据进行数据处理。如果目标分片的分片状态为第二状态，则服务器可以在预设时长内根据获取到的该目标分片的分片状态，确定是否获取该目标分片以进行数据处理。如果在预设时长内获取到的该目标分片的分片状态为第一状态，则从数据库中获取该分片标识对应的目标分片，并在在该目标分片中利用第一目标任务所指示的数据处理方式对第一目标任务所指示的待处理数据进行数据处理。如果在预设时长内获取到的该目标分片的分片状态为第二状态，则可以放弃处理第一目标任务，重新获取第二目标任务，第二目标任务为待处理子任务中除第一待处理子任务的其他任务，从而以避免服务器的等待时长过长，而影响数据处理的效率。
本申请实施例中，服务器可以获取第一目标任务，该第一目标任务属于第一待处理子任务，第一待处理子任务是由待处理任务通过划分得到的多个待处理子任务中的任意一个，然后，服务器可以根据第一目标任务确定第一目标任务所指示的待处理数据和数据处理方式，从数据库中获取任务分片信息，并根据所述分片信息从所述数据库中获取与第一目标任务对应的目标分片的分片状态；进一步的，服务器可以根据目标分片的分片状态，在目标分片中利用第一目标任务所指示的数据处理方式对第一目标任务所指示的待处理数据进行数据处理。可以看出，通过将任务划分为多个子任务，从而使得服务器集群中的服务器并发处理多个子任务，并且，可以根据所获取到的任务对应的分片的分片状态来确定是否进行数据处理，从而可以避免重复处理数据，进而提高数据处理效率。
请参阅图2，图2是本申请实施例提供的另一种数据处理方法的流程示意图。本实施例中所描述的数据处理方法，应用于服务器，该服务器为服务器集群中的任意一个，该数据处理方法包括以下步骤：
S201：获取第一目标任务。
S202：根据第一目标任务确定第一目标任务所指示的待处理数据和数据处理方式。
S203：从数据库中获取任务分片信息，并从任务分片信息中获取任务标识与分片标识的对应关系。
在一种实现方式中，数据库中可以包括两种数据，一是存储有关于任务分片的数据，即任务分片信息，二是存储有待处理任务对应的所要处理的数据。可选的，该任务分片信息可以包括任务标识与分片标识的对应关系，其中，任务标识或分片标识可以是数字编号，比特值，或者其他信息，本申请不做限定。该任务标识可以用于指示服务器获取的第一目标任务所属的具体的待处理子任务，分片标识是数据库中各分片的标识，该分片标识可以用于指示数据库中具体对应的分片。
S204：根据任务标识与分片标识的对应关系，确定与第一目标任务中携带的任务标识对应的分片标识。
在一种实现方式中，服务器可以先从服务器中获取任务分片信息，并从任务分片信息中获取任务标识与分片标识的对应关系，以根据第一目标任务中携带的任务标识和该对应关系确定与第一目标任务中携带的任务标识对应的分片标识。例如表1所示为任务标识与任务标识的对应关系，从表1中可以看出，如果第一目标任务中携带的任务标识为2，则对应的分片标识为2，如果第一目标任务中携带的任务标识为3，则对应的分片标识为3。
表1：
| 任务标识 | 分片标识 |
| 1 | 1 |
| 2 | 2 |
| 3 | 3 |
| 4 | 4 |
S205：根据与第一目标任务中携带的任务标识对应的分片标识，从任务分片信息中获取与第一目标任务中携带的任务标识的分片标识对应的目标分片的分片状态。
在一种实现方式中，数据库中任务分片信息中除了可以包括任务标识与分片标识的对应关系，还可以包括数据库中每个分片的分片状态。其中，分片状态可以包括第一状态和第二状态，第一状态表示的是分片是可用的，即该分片当前没有服务器占用，也就是说没有服务器对该分片中数据进行数据处理。对应的，第二状态表示的是分片是不可用的，即该分片当前被服务器占用，也就是说当前有服务器对该分片中数据进行数据处理。可选的，每个分片的分片状态可以利用锁机制来实现，例如，该锁机制可以是比较并交换(Compareand Swap，CAS)锁机制，即。具体地，每个分片都存在对应的CAS锁，CAS锁可以用来对分片的数据锁定，以使得其他服务器无法处理该分片的数据，避免重复处理。CAS锁的分片状态根据当前是否有服务器占用该分片来变化，如果该分片当前没有服务器占用，则该分片对应的CAS锁的分片状态为第一状态，如果该分片当前有服务器占用，则该分片对应的CAS锁的分片状态为第二状态。其中，第一状态可以利用数字“0”来表示，第二状态可以利用数字“1”来表示。
在一种实现方式中，服务器在确定与第一目标任务中携带的任务标识对应的分片标识之后，就可以从任务分片信息中获取与第一目标任务中携带的任务标识的分片标识对应的分片状态，该分片状态也就是与第一目标任务对应的目标分片的分片状态。可选的，任务分片信息中存储有分片标识与分片状态的对应关系，例如表2所示为分片标识与分片状态的对应关系，在本申请中，将分片状态所包括的第一状态用数字“0”来表示，第二状态用数字“1”来表示。从表2中可以看出，如果服务器获取的与第一目标任务中携带的任务标识的分片标识为1，则对应的分片状态为1，那么也就是表明该第一目标任务对应的目标分片是不可用的，当前该目标分片正在被服务器集群中的其他服务器占用，即有其他服务器在对该目标分片中的数据进行数据处理；如果服务器获取的与第一目标任务中携带的任务标识的分片标识为3，则对应的分片状态为0，那么也就是表明该第一目标任务对应的目标分片是可用的，当前该目标分片没有被服务器集群中的其他服务器占用，即没有服务器对该目标分片中的数据进行数据处理。
表2：
| 分片标识 | 分片状态 |
| 1 | 1 |
| 2 | 0 |
| 3 | 0 |
| 4 | 1 |
S206：根据目标分片的分片状态，在目标分片中利用第一目标任务所指示的数据处理方式对第一目标任务所指示的待处理数据进行数据处理。
在一种实现方式中，服务器可以根据目标分片的分片状态，执行不同的操作，以实现在目标分片中利用第一目标任务所指示的数据处理方式对第一目标任务所指示的待处理数据进行数据处理。
在一种实现方式中，如果目标分片的分片状态为第一状态，则表明该目标分片是可以是可用的，那么服务器可以根据与第一目标任务中携带的任务标识对应的分片标识，从数据库中获取与第一目标任务中携带的任务标识对应的分片标识对应的目标分片。那么在获取到第一目标任务对应的目标分片之后，就可以在目标分片中利用第一目标任务所指示的数据处理方式对第一目标任务所指示的待处理数据进行数据处理。
举例来说，假设第一目标任务所指示的待处理数据是一百万保单的还款期次，处理方式是对该一百万保单的还款期次进行更新，那么在服务器获取到目标分片之后，就可以对目标分片中第一目标任务指示的待处理数据，即一百万保单的还款期次进行数据处理，即对一百万保单的还款期次进行更新。
需要注意的是，服务器从数据库中获取与第一目标任务中携带的任务标识对应的分片标识对应的目标分片之后，还需要将目标分片的分片状态由第一状态更新为第二状态，以表明该目标分片是当前已被占用，那么服务器集群中的其他服务器当前是不能获取该目标分片的，从而可以避免对该目标分片中的数据重复处理。而服务器在目标分片中利用第一目标任务所指示的数据处理方式对第一目标任务所指示的待处理数据进行数据处理之后，还需要将目标分片的分片状态由第二状态更新为第一状态，以表明该目标分片当前没有被占用，是可用的，以供其他服务器后续获取该目标分片进行数据处理。
在一种实现方式中，如果目标分片的分片状态为第二状态，则表明该目标分片是可以是不可用的，当前有服务器集群中的其他服务器正在占用该目标分片进行对应的数据处理，那么，服务器可以在该目标分片处进行等候，当其他服务器在该目标分片处理完对应的数据之后，然后在目标分片中利用第一目标任务所指示的数据处理方式对第一目标任务所指示的待处理数据进行数据处理。具体地，服务器可以在预设时长内获取目标分片的分片状态，并确定目标分片的分片状态是否更新为第一状态。可选的，服务器可以在预设时长内按照预设时间间隔从任务分片信息中获取目标分片的分片状态，并确定目标分片的分片状态是否更新为第一状态。然后根据更新后的目标分片的分片状态执行不同的操作，以实现在目标分片中利用第一目标任务所指示的数据处理方式对第一目标任务所指示的待处理数据进行数据处理。
在一种实现方式中，如果服务器在预设时长内确定目标分片的分片状态更新为第一状态，则表明该目标分片当前是可用的。那么，服务器可以根据与第一目标任务中携带的任务标识对应的分片标识，从数据库中获取与第一目标任务中携带的任务标识对应的分片标识对应的目标分片。然后在获取到第一目标任务对应的目标分片之后，在目标分片中利用第一目标任务所指示的数据处理方式对第一目标任务所指示的待处理数据进行数据处理。
在一种实现方式中，如果服务器在预设时长内确定目标分片的分片状态还没有更新为第一状态，则表明该目标分片当前还是不可用的。那么，服务器可以放弃处理第一目标任务，重新获取第二目标任务，以避免服务器的等待时长过长，造成任务死锁，而影响数据处理的效率。其中，第二目标任务是属于第二待处理子任务，第二目标任务可以包含第二待处理子任务中的部分任务或全部任务，第二待处理子任务是多个待处理子任务中的任意一个，并且，第一待处理子任务与第二待处理子任务是不相同的。若服务器还是获取的第二目标任务是第一待处理子任务中的部分任务，则在后续的步骤中获取的依旧是上述的目标分片，即目标分片的分片状态处于第二状态，那么服务器还是需要等待的，故第二目标任务应不属于第一待处理子任务中的部分任务。在服务器获取到第二目标任务之后，可以根据第二目标任务所指示的数据处理方式，在目标分片中对第二目标任务所指示的待处理数据进行数据处理。需要理解的是，服务器处理第二目标任务的过程与服务器处理第一目标任务的过程是相同的，在此处不在赘述。
可选的，上述预设时长，以及预设时间间隔均可基于各种条件预先设置，例如，预设时长可以是10秒，预设时间间隔可以是2秒，本申请实施例对此不作具体限定。其中，可以根据服务器集群中服务器的数量、待处理任务的任务数据量以及待处理任务的紧急程度等等来确定预设时长以及预设时间间隔。例如，如果当前服务器的数量较多或待处理任务的任务数据量较大或待处理任务的紧急程度较高，可以将预设时长以及预设时间间隔设置较短，以便于快速处理剩余的待处理任务，从而可以避免因服务器的等候的时长过长，而影响数据处理的效率。
其中，步骤S201-S202的具体实施方式可以参见上述实施例步骤S101-S102的具体描述，此处不再赘述。
本申请实施例中，服务器可以获取第一目标任务，并根据第一目标任务确定第一目标任务所指示的待处理数据和数据处理方式，然后，从数据库中获取任务分片信息，根据任务分片信息确定第一目标任务中携带的任务标识与分片标识的对应关系，并根据任务标识与分片标识的对应关系，确定与第一目标任务中携带的任务标识对应的分片标识，进一步的，服务器可以根据与第一目标任务中携带的任务标识对应的分片标识，从任务分片信息中获取与第一目标任务中携带的任务标识的分片标识对应的目标分片的分片状态，并根据目标分片的分片状态，在目标分片中利用第一目标任务所指示的数据处理方式对第一目标任务所指示的待处理数据进行数据处理。可以看出，根据所获取到的任务对应的分片的分片状态来确定是否进行数据处理，从而可以避免重复处理数据，并且设置等待时长，且在超过等待时长的情况下，可重新获取任务，可以避免因等待时长过长而导致的数据处理效率下降，也可以避免任务死锁，从而可以提高数据处理效率。
请参阅图3，图3是本申请实施例提供的又一种数据处理方法的流程示意图。如图3所示，假设待处理任务为任务A，服务器集群中服务器的数量为N，数据库中分片的数量为M，任务A对应的子任务的数量也为M，数据库中分片的分片状态由CAS锁机制控制。具体实现中，当任务A触发时，服务器集群中的各个服务器可以任意获取任务A中的各个子任务中的部分任务或全部任务，服务器可以根据空闲负载量来确定获取多大的任务量，当空闲负载量较大，则可获取任务的任务量也可多些。而当各个服务器获取到对应的目标任务之后，各个服务器需要在数据库中获取目标任务对应的分片，以在该分片中对目标任务所指示的待处理数据进行处理。
下面以服务器集群中的一个服务器为例进行说明。服务器在并获取到目标任务之后，可以先从数据库中的任务分片信息中获取任务标识与分片标识的对应关系，以根据该对应关系和目标任务中携带的任务标识确定目标任务对应的分片标识，然后根据该分片标识获取对应的分片锁，该分片锁也就是目标任务对应的分片的分片锁，该分片锁存在两种状态，一种是“0”状态，表示该分片当前是可用的，另一种是“1”状态，表示该分片当前是不可用的，即已被占用。如果服务器获取到的分片锁的分片状态为“0”状态，即表示任务成功，则服务器可以根据分片标识从数据库中获取该分片标识对应的分片，而且，分片锁的分片状态可以从“0”状态更新为“1”状态，以显示当前该分片以被占用，那么其他服务器也就不会获取该分片以进行数据处理。而在服务器获取到目标任务对应的分片之后，就可在该分片中对目标任务所指示的待处理数据进行处理，并且在处理完成之后，分片锁的分片状态可以从“1”状态更新为“0”状态，以显示当前该分片没有被占用，那么其他服务器也就可以获取该分片以进行数据处理。如果服务器获取到的分片锁的分片状态为“1”状态，即表示任务失败，则服务器可以排队等待，直到分片锁的分片状态更新为“0”状态，而为了保证数据处理的效率，可以设置等待时长。如果在等待时长内获取到的分片锁的分片状态更新为“0”状态，则可以进行后续的数据处理。可选的，可以按照预设的时间间隔获取分片锁的分片状态。如果在等待时长内获取到的分片锁的分片状态还未更新为“0”状态，则可以放弃等待，即可放弃该目标任务，重新获取下一个任务，避免任务死锁。
请参阅图4，图4是本申请实施例提供的一种数据处理装置的结构示意图。所述数据处理装置包括：
第一获取单元401，用于获取第一目标任务，其中，所述第一目标任务属于第一待处理子任务，所述第一待处理子任务是由待处理任务通过划分得到的多个待处理子任务中的任意一个；
确定单元402，用于根据所述第一目标任务确定所述第一目标任务所指示的待处理数据和数据处理方式；
第二获取单元403，用于从数据库中获取任务分片信息，并根据所述任务分片信息从所述数据库中获取与所述第一目标任务对应的目标分片的分片状态；
处理单元404，用于根据所述目标分片的分片状态，在所述目标分片中利用所述第一目标任务所指示的数据处理方式对所述第一目标任务所指示的待处理数据进行数据处理。
在一种实现方式中，所述第一目标任务携带了任务标识，所述第二获取单元403，具体用于：
从所述任务分片信息中获取任务标识与分片标识的对应关系；
根据所述任务标识与分片标识的对应关系，确定与所述第一目标任务中携带的任务标识对应的分片标识；
根据所述与所述第一目标任务中携带的任务标识对应的分片标识，从所述任务分片信息中获取与所述第一目标任务中携带的任务标识的分片标识对应的目标分片的分片状态。
在一种实现方式中，所述分片状态包括第一状态和第二状态，所述第一状态用于指示所述目标分片未被所述服务器集群中的其他服务器占用，所述第二状态用于指示所述目标分片已被所述服务器集群中的其他服务器占用，所述处理单元404，具体用于：
若所述目标分片的分片状态为所述第一状态，则根据所述与所述第一目标任务中携带的任务标识对应的分片标识，从所述数据库中获取与所述第一目标任务中携带的任务标识对应的分片标识对应的目标分片；
在所述目标分片中利用所述第一目标任务所指示的数据处理方式对所述第一目标任务所指示的待处理数据进行数据处理。
在一种实现方式中，所述处理单元404，具体用于：
若所述目标分片的分片状态为所述第二状态，则在预设时长内按照预设时间间隔从所述任务分片信息中获取所述目标分片的分片状态，并确定所述目标分片的分片状态是否更新为所述第一状态；
若确定所述目标分片的分片状态更新为所述第一状态，则根据所述与所述第一目标任务中携带的任务标识对应的分片标识，从所述数据库中获取所述与所述第一目标任务中携带的任务标识对应的分片标识对应的目标分片；
在所述目标分片中利用所述第一目标任务所指示的数据处理方式对所述第一目标任务所指示的待处理数据进行数据处理。
在一种实现方式中，所述处理单元404，还用于：
若确定所述目标分片的分片状态不为所述第一状态，则获取第二目标任务，其中，所述第二目标任务属于第二待处理子任务，所述第二待处理子任务是所述多个待处理子任务中的任意一个，所述第一待处理子任务与所述第二待处理子任务不相同；
根据所述第二目标任务所指示的数据处理方式，在所述目标分片中对所述第二目标任务所指示的待处理数据进行数据处理。
在一种实现方式中，所述处理单元404，还用于：
将所述目标分片的分片状态由所述第一状态更新为所述第二状态；
将所述目标分片的分片状态由所述第二状态更新为所述第一状态。
在一种实现方式中，所述第一获取单元401，还用于：
获取所述第一目标任务的任务量，并检测所述第一目标任务的任务量是否小于或等于所述服务器的空闲负载量；
若检测结果为所述第一目标任务的任务量小于或等于所述服务器的空闲负载量，则执行所述根据所述第一目标任务确定所述第一目标任务所指示的待处理数据和数据处理方式的步骤；
若检测结果为所述第一目标任务的任务量大于所述服务器的空闲负载量，则将所述第一目标任务推送给其他服务器。
可以理解的是，本申请实施例所描述的数据处理装置的各功能单元的功能可根据图1或者图2所述的方法实施例中的方法具体实现，其具体实现过程可以参照图1或者图2的方法实施例的相关描述，此处不再赘述。
本申请实施例中，第一获取单元401获取第一目标任务，其中，所述第一目标任务属于第一待处理子任务，所述第一待处理子任务是由待处理任务通过划分得到的多个待处理子任务中的任意一个，接着，确定单元402根据所述第一目标任务确定所述第一目标任务所指示的待处理数据和数据处理方式，然后，第二获取单元403从数据库中获取任务分片信息，并根据所述任务分片信息从所述数据库中获取与所述第一目标任务对应的目标分片的分片状态，进一步的，处理单元404根据所述目标分片的分片状态，在所述目标分片中利用所述第一目标任务所指示的数据处理方式对所述第一目标任务所指示的待处理数据进行数据处理。通过实施上述方法，可以实现并发处理数据，避免重复处理数据，提高数据处理的效率。
请参阅图5，图5是本申请实施例提供的一种服务器的结构示意图。本实施例中所描述的服务器为服务器集群中的任意一个，该服务器包括：处理器501、存储器502以及网络接口503。上述处理器501、存储器502以及网络接口503之间可以交互数据。
上述处理器501可以是中央处理单元(Central Processing Unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
上述存储器502可以包括只读存储器和随机存取存储器，并向处理器501提供程序指令和数据。存储器502的一部分还可以包括非易失性随机存取存储器。其中，所述处理器501调用所述程序指令时用于执行：
获取第一目标任务，其中，所述第一目标任务属于第一待处理子任务，所述第一待处理子任务是由待处理任务通过划分得到的多个待处理子任务中的任意一个；
根据所述第一目标任务确定所述第一目标任务所指示的待处理数据和数据处理方式；
从数据库中获取任务分片信息，并根据所述任务分片信息从所述数据库中获取与所述第一目标任务对应的目标分片的分片状态；
根据所述目标分片的分片状态，在所述目标分片中利用所述第一目标任务所指示的数据处理方式对所述第一目标任务所指示的待处理数据进行数据处理。
在一种实现方式中，所述第一目标任务携带了任务标识，所述处理器501，具体用于：
从所述任务分片信息中获取任务标识与分片标识的对应关系；
根据所述任务标识与分片标识的对应关系，确定与所述第一目标任务中携带的任务标识对应的分片标识；
根据所述与所述第一目标任务中携带的任务标识对应的分片标识，从所述任务分片信息中获取与所述第一目标任务中携带的任务标识的分片标识对应的目标分片的分片状态。
在一种实现方式中，所述分片状态包括第一状态和第二状态，所述第一状态用于指示所述目标分片未被所述服务器集群中的其他服务器占用，所述第二状态用于指示所述目标分片已被所述服务器集群中的其他服务器占用，所述处理器501，具体用于：
若所述目标分片的分片状态为所述第一状态，则根据所述与所述第一目标任务中携带的任务标识对应的分片标识，从所述数据库中获取与所述第一目标任务中携带的任务标识对应的分片标识对应的目标分片；
在所述目标分片中利用所述第一目标任务所指示的数据处理方式对所述第一目标任务所指示的待处理数据进行数据处理。
在一种实现方式中，所述处理器501，具体用于：
若所述目标分片的分片状态为所述第二状态，则在预设时长内按照预设时间间隔从所述任务分片信息中获取所述目标分片的分片状态，并确定所述目标分片的分片状态是否更新为所述第一状态；
若确定所述目标分片的分片状态更新为所述第一状态，则根据所述与所述第一目标任务中携带的任务标识对应的分片标识，从所述数据库中获取所述与所述第一目标任务中携带的任务标识对应的分片标识对应的目标分片；
在所述目标分片中利用所述第一目标任务所指示的数据处理方式对所述第一目标任务所指示的待处理数据进行数据处理。
在一种实现方式中，所述处理器501，还用于：
若确定所述目标分片的分片状态不为所述第一状态，则获取第二目标任务，其中，所述第二目标任务属于第二待处理子任务，所述第二待处理子任务是所述多个待处理子任务中的任意一个，所述第一待处理子任务与所述第二待处理子任务不相同；
根据所述第二目标任务所指示的数据处理方式，在所述目标分片中对所述第二目标任务所指示的待处理数据进行数据处理。
在一种实现方式中，所述处理器501，还用于：
将所述目标分片的分片状态由所述第一状态更新为所述第二状态；
将所述目标分片的分片状态由所述第二状态更新为所述第一状态。
在一种实现方式中，所述处理器501，还用于：
获取所述第一目标任务的任务量，并检测所述第一目标任务的任务量是否小于或等于所述服务器的空闲负载量；
若检测结果为所述第一目标任务的任务量小于或等于所述服务器的空闲负载量，则执行所述根据所述第一目标任务确定所述第一目标任务所指示的待处理数据和数据处理方式的步骤；
若检测结果为所述第一目标任务的任务量大于所述服务器的空闲负载量，则将所述第一目标任务推送给其他服务器。
具体实现中，本申请实施例中所描述的处理器501和存储器502可执行本申请实施例图1或者图2提供的数据处理方法中所描述的实现方式，也可执行本申请实施例图4所描述的数据处理装置的实现方式，在此不再赘述。
本申请实施例中，处理器501可以获取第一目标任务，其中，所述第一目标任务属于第一待处理子任务，所述第一待处理子任务是由待处理任务通过划分得到的多个待处理子任务中的任意一个，接着，根据所述第一目标任务确定所述第一目标任务所指示的待处理数据和数据处理方式，然后，从数据库中获取任务分片信息，并根据所述任务分片信息从所述数据库中获取与所述第一目标任务对应的目标分片的分片状态，进一步的，根据所述目标分片的分片状态，在所述目标分片中利用所述第一目标任务所指示的数据处理方式对所述第一目标任务所指示的待处理数据进行数据处理。通过实施上述方法，可以实现并发处理数据，避免重复处理数据，提高数据处理的效率。
本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有程序指令，所述程序执行时可包括如图1或者图2对应实施例中的数据处理方法的部分或全部步骤。
需要说明的是，对于前述的各个方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某一些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、只读存储器(Read-Only Memory，ROM)、随机存取器(Random AccessMemory，RAM)、磁盘或光盘等。
需要强调的是，为进一步保证上述数据的私密和安全性，上述数据还可以存储于一区块链的节点中。其中，本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
以上对本申请实施例所提供的一种数据处理方法、装置、服务器及存储介质进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。
Claims (10)
1.一种数据处理方法，其特征在于，应用于服务器，所述服务器为服务器集群中的任意一个，所述方法包括：
获取第一目标任务，其中，所述第一目标任务属于第一待处理子任务，所述第一待处理子任务是由待处理任务通过划分得到的多个待处理子任务中的任意一个；
根据所述第一目标任务确定所述第一目标任务所指示的待处理数据和数据处理方式；
从数据库中获取任务分片信息，并根据所述任务分片信息从所述数据库中获取与所述第一目标任务对应的目标分片的分片状态；
根据所述目标分片的分片状态，在所述目标分片中利用所述第一目标任务所指示的数据处理方式对所述第一目标任务所指示的待处理数据进行数据处理。
2.根据权利要求1所述的方法，其特征在于，所述第一目标任务携带了任务标识；所述根据所述任务分片信息从所述数据库中获取与所述第一目标任务对应的目标分片的分片状态，包括：
从所述任务分片信息中获取任务标识与分片标识的对应关系；
根据所述任务标识与分片标识的对应关系，确定与所述第一目标任务中携带的任务标识对应的分片标识；
根据所述与所述第一目标任务中携带的任务标识对应的分片标识，从所述任务分片信息中获取与所述第一目标任务中携带的任务标识的分片标识对应的目标分片的分片状态。
3.根据权利要求2所述的方法，其特征在于，所述分片状态包括第一状态和第二状态，所述第一状态用于指示所述目标分片未被所述服务器集群中的其他服务器占用，所述第二状态用于指示所述目标分片已被所述服务器集群中的其他服务器占用；所述根据所述目标分片的分片状态，在所述目标分片中利用所述第一目标任务所指示的数据处理方式对所述第一目标任务所指示的待处理数据进行数据处理，包括：
若所述目标分片的分片状态为所述第一状态，则根据所述与所述第一目标任务中携带的任务标识对应的分片标识，从所述数据库中获取与所述第一目标任务中携带的任务标识对应的分片标识对应的目标分片；
在所述目标分片中利用所述第一目标任务所指示的数据处理方式对所述第一目标任务所指示的待处理数据进行数据处理。
4.根据权利要求3所述的方法，其特征在于，所述在所述目标分片中利用所述第一目标任务所指示的数据处理方式对所述第一目标任务所指示的待处理数据进行数据处理，包括：
若所述目标分片的分片状态为所述第二状态，则在预设时长内按照预设时间间隔从所述任务分片信息中获取所述目标分片的分片状态，并确定所述目标分片的分片状态是否更新为所述第一状态；
若确定所述目标分片的分片状态更新为所述第一状态，则根据所述与所述第一目标任务中携带的任务标识对应的分片标识，从所述数据库中获取所述与所述第一目标任务中携带的任务标识对应的分片标识对应的目标分片；
在所述目标分片中利用所述第一目标任务所指示的数据处理方式对所述第一目标任务所指示的待处理数据进行数据处理。
5.根据权利要求4所述的方法，其特征在于，所述方法还包括：
若确定所述目标分片的分片状态不为所述第一状态，则获取第二目标任务，其中，所述第二目标任务属于第二待处理子任务，所述第二待处理子任务是所述多个待处理子任务中的任意一个，所述第一待处理子任务与所述第二待处理子任务不相同；
根据所述第二目标任务所指示的数据处理方式，在所述目标分片中对所述第二目标任务所指示的待处理数据进行数据处理。
6.根据权利要求3或4所述的方法，其特征在于，所述从所述数据库中获取与所述第一目标任务中携带的任务标识对应的分片标识对应的目标分片之后，还包括：
将所述目标分片的分片状态由所述第一状态更新为所述第二状态；
所述在所述目标分片中利用所述第一目标任务所指示的数据处理方式对所述第一目标任务所指示的待处理数据进行数据处理之后，还包括：
将所述目标分片的分片状态由所述第二状态更新为所述第一状态。
7.根据权利要求1所述的方法，其特征在于，所述获取第一目标任务之后，根据所述第一目标任务确定所述第一目标任务所指示的待处理数据和数据处理方式之前，还包括：
获取所述第一目标任务的任务量，并检测所述第一目标任务的任务量是否小于或等于所述服务器的空闲负载量；
若检测结果为所述第一目标任务的任务量小于或等于所述服务器的空闲负载量，则执行所述根据所述第一目标任务确定所述第一目标任务所指示的待处理数据和数据处理方式的步骤；
若检测结果为所述第一目标任务的任务量大于所述服务器的空闲负载量，则将所述第一目标任务推送给其他服务器。
8.一种数据处理装置，其特征在于，包括：
第一获取单元，用于获取第一目标任务，其中，所述第一目标任务属于第一待处理子任务，所述第一待处理子任务是由待处理任务通过划分得到的多个待处理子任务中的任意一个；
确定单元，用于根据所述第一目标任务确定所述第一目标任务所指示的待处理数据和数据处理方式；
第二获取单元，用于从数据库中获取任务分片信息，并根据所述任务分片信息从所述数据库中获取与所述第一目标任务对应的目标分片的分片状态；
处理单元，用于根据所述目标分片的分片状态，在所述目标分片中利用所述第一目标任务所指示的数据处理方式对所述第一目标任务所指示的待处理数据进行数据处理。
9.一种服务器，其特征在于，包括处理器、存储器和网络接口，所述处理器、存储器和网络接口相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行如权利要求1-7任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行如权利要求1-7任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011545402.1A CN112541041A (zh) | 2020-12-23 | 2020-12-23 | 一种数据处理方法、装置、服务器及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011545402.1A CN112541041A (zh) | 2020-12-23 | 2020-12-23 | 一种数据处理方法、装置、服务器及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112541041A true CN112541041A (zh) | 2021-03-23 |
Family
ID=75017888
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011545402.1A Pending CN112541041A (zh) | 2020-12-23 | 2020-12-23 | 一种数据处理方法、装置、服务器及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112541041A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113515516A (zh) * | 2021-08-09 | 2021-10-19 | 北京字节跳动网络技术有限公司 | 一种数据处理方法、装置、计算机设备和计算机存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110113387A (zh) * | 2019-04-17 | 2019-08-09 | 深圳前海微众银行股份有限公司 | 一种基于分布式批量处理***的处理方法、装置及*** |
| CN110209496A (zh) * | 2019-05-20 | 2019-09-06 | 中国平安财产保险股份有限公司 | 基于数据处理的任务分片方法、装置及分片服务器 |
| CN110399394A (zh) * | 2018-04-16 | 2019-11-01 | 北京京东尚科信息技术有限公司 | 计算节点的数据遍历方法、装置及计算节点 |
| CN111752961A (zh) * | 2020-06-29 | 2020-10-09 | 深圳前海微众银行股份有限公司 | 一种数据处理方法及装置 |
-
2020
- 2020-12-23 CN CN202011545402.1A patent/CN112541041A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110399394A (zh) * | 2018-04-16 | 2019-11-01 | 北京京东尚科信息技术有限公司 | 计算节点的数据遍历方法、装置及计算节点 |
| CN110113387A (zh) * | 2019-04-17 | 2019-08-09 | 深圳前海微众银行股份有限公司 | 一种基于分布式批量处理***的处理方法、装置及*** |
| CN110209496A (zh) * | 2019-05-20 | 2019-09-06 | 中国平安财产保险股份有限公司 | 基于数据处理的任务分片方法、装置及分片服务器 |
| CN111752961A (zh) * | 2020-06-29 | 2020-10-09 | 深圳前海微众银行股份有限公司 | 一种数据处理方法及装置 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113515516A (zh) * | 2021-08-09 | 2021-10-19 | 北京字节跳动网络技术有限公司 | 一种数据处理方法、装置、计算机设备和计算机存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107528882B (zh) | 区块链共识网络中处理共识请求的方法、装置和电子设备 | |
| EP2454666B1 (en) | Fault tolerant batch processing | |
| CN110188110B (zh) | 一种构建分布式锁的方法及装置 | |
| CN109191287B (zh) | 一种区块链智能合约的分片方法、装置及电子设备 | |
| CN110162344B (zh) | 一种隔离限流的方法、装置、计算机设备及可读存储介质 | |
| CN111782383A (zh) | 任务分配方法、服务器、电子终端及计算机可读存储介质 | |
| CN108763963B (zh) | 基于数据访问权限的分布式处理方法、装置及*** | |
| CN110806942B (zh) | 数据处理的方法和装置 | |
| CN110069217B (zh) | 一种数据存储方法及装置 | |
| CN111752961A (zh) | 一种数据处理方法及装置 | |
| CN112541041A (zh) | 一种数据处理方法、装置、服务器及存储介质 | |
| CN109542922B (zh) | 针对实时服务数据的处理方法及相关*** | |
| CN110750517A (zh) | 一种本地存储引擎***的数据处理方法、装置以及设备 | |
| CN111538785A (zh) | 区块链的数据写入方法、装置、***及电子设备 | |
| US10310916B2 (en) | Scalable spinlocks for non-uniform memory access | |
| CN106815061B (zh) | 一种业务处理方法及装置 | |
| CN112732197B (zh) | 一种数据io的处理方法、装置、存储介质及设备 | |
| CN114047954A (zh) | 一种基于寄存器的数据处理方法及装置 | |
| CN113590298A (zh) | 一种资源调度方法、装置、服务器及存储介质 | |
| CN112799791A (zh) | 分布式锁的调用方法、装置、电子设备和存储介质 | |
| CN115361283B (zh) | 基于k8s的云主机管理方法、装置、计算机设备 | |
| CN115002106B (zh) | 一种区块链验证方法、装置、设备及介质 | |
| CN111476663B (zh) | 一种数据处理方法、装置、节点设备及存储介质 | |
| CN113806388A (zh) | 基于分布式锁的业务处理方法及装置 | |
| CN116976969A (zh) | 权益发放方法、装置、权益平台服务器和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |