CN108829720A - 数据处理方法及装置 - Google Patents

Abstract

本申请实施例提供了一种数据处理方法及装置，其中方法包括：利用分布式一致性算法，在数据存储集群包括的多个第一节点中确定第一主节点和第一从节点；利用分布式一致性算法，在数据缓存集群包括的多个第二节点中确定第二主节点和第二从节点；在第一主节点中进行数据更新；其中，第一从节点在第一主节点数据更新完成后，自动同步第一主节点中的数据；根据第一主节点的数据更新结果，在第二主节点中进行数据更新；其中，第二从节点在第二主节点数据更新完成后，自动同步第二主节点中的数据。通过本申请实施例，能够保证各数据节点存储的数据的一致性，并且避免数据的单点风险，提高用户的数据访问体验。

Description

数据处理方法及装置

技术领域

本申请涉及数据处理领域，尤其涉及一种数据处理方法及装置。

背景技术

目前，为了应对全球高并发场景下的数据访问问题，保证用户在各个地区读取到的同一数据的取值均相同，通常将一个国家的数据存储节点作为主数据节点，主数据节点负责数据的写入，通过消息机制或任务机制将数据同步到其他地区的分数据节点，从而实现全球高并发场景下的数据访问，并保证数据的一致性。

然而，上述过程中，当主数据节点出现故障导致保存的数据错误时，其他分数据节点同步的数据也可能出现错误，也即存在数据的单点风险。因此，有必要提出一种技术方案，以保证各数据节点存储的数据的一致性，并且避免数据的单点风险，提高用户的数据访问体验。

发明内容

本申请实施例的目的是提供一种数据处理方法及装置，以保证各数据节点存储的数据的一致性，并且避免数据的单点风险，提高用户的数据访问体验。

为达到上述目的，本申请实施例是这样实现的：

第一方面，本申请实施例提供了一种数据处理方法，包括：

利用分布式一致性算法，在数据存储集群包括的多个第一节点中确定第一主节点和第一从节点；其中，所述数据存储集群包括多个第一节点，所述第一节点用于存储数据；

利用所述分布式一致性算法，在数据缓存集群包括的多个第二节点中确定第二主节点和第二从节点；其中，所述数据缓存集群包括多个第二节点，所述第二节点用于缓存数据；

在所述第一主节点中进行数据更新；其中，所述第一从节点在所述第一主节点数据更新完成后，自动同步所述第一主节点中的数据；

根据所述第一主节点的数据更新结果，在所述第二主节点中进行数据更新；其中，所述第二从节点在所述第二主节点数据更新完成后，自动同步所述第二主节点中的数据。

第二方面，本申请实施例提供了一种数据处理装置，包括：

第一确定单元，用于利用分布式一致性算法，在数据存储集群包括的多个第一节点中确定第一主节点和第一从节点；其中，所述数据存储集群包括多个第一节点，所述第一节点用于存储数据；

第二确定单元，用于利用所述分布式一致性算法，在数据缓存集群包括的多个第二节点中确定第二主节点和第二从节点；其中，所述数据缓存集群包括多个第二节点，所述第二节点用于缓存数据；

第一更新单元，用于在所述第一主节点中进行数据更新；其中，所述第一从节点在所述第一主节点数据更新完成后，自动同步所述第一主节点中的数据；

第二更新单元，用于根据所述第一主节点的数据更新结果，在所述第二主节点中进行数据更新；其中，所述第二从节点在所述第二主节点数据更新完成后，自动同步所述第二主节点中的数据。

第三方面，本申请实施例提供了一种数据处理设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上述第一方面所述的数据处理方法的步骤。

第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述第一方面所述的数据处理方法的步骤。

本申请实施例中，在数据存储集群中确定第一主节点和第一从节点，在数据缓存集群中确定第二主节点和第二从节点，进行数据更新时，首先在第一主节点中进行数据更新，然后根据第一主节点的数据更新结果，在第二主节点中进行数据更新，其中，第一从节点在第一主节点数据更新完成后，自动同步第一主节点中的数据，第二从节点在第二主节点数据更新完成后，自动同步第二主节点中的数据。可见，通过本申请实施例，能够在数据更新后，使数据自动同步至其他从节点，从而保证各数据节点存储的数据的一致性，提高用户的数据访问体验。并且，由于第一从节点能够自动同步第一主节点中的数据，因此数据可以存在多份，从而能够避免数据的单点风险，避免用户读取到错误的数据，提高用户的数据访问体验。并且，本申请实施例中无需主动在每个节点中均执行数据更新操作，从节点可以自动同步主节点中的数据，因此数据更新方式简单，数据更新效率高。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请一实施例提供的数据处理方法的应用场景示意图；

图2为本申请一实施例提供的数据处理方法的流程示意图；

图3为本申请一实施例提供的主从节点确定示意图；

图4为本申请一实施例提供的数据修改流程示意图；

图5为本申请另一实施例提供的数据修改流程示意图；

图6为本申请一实施例提供的数据查询流程示意图；

图7为本申请一实施例提供的数据处理装置的模块组成示意图；

图8为本申请一实施例提供的数据处理设备的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

为保证各数据节点存储的数据的一致性，并且避免数据的单点风险，提高用户的数据访问体验，本申请实施例提供了一种数据处理方法及装置，下面结合附图进行详细介绍。

图1为本申请一实施例提供的数据处理方法的应用场景示意图，如图1所示，该场景中，包括数据更新集群10、数据存储集群20、数据缓存集群30和读取记录缓存集群40，图1中，数据更新集群10可以包括至少一个用于进行数据更新的节点，该节点可以为服务器或服务器集群。数据存储集群20包括至少一个第一子集群201，每个第一子集群201包括至少一个第一节点202，第一节点202用于存储数据，第一节点202可以为服务器或服务器集群。数据缓存集群30包括至少一个第二子集群301，每个第二子集群301包括至少一个第二节点302，第二节点302用于缓存数据，第二节点302可以为服务器或服务器集群。读取记录缓存集群40包括至少一个第三子集群401，每个第三子集群401包括至少一个第三节点402，第三节点402用于缓存数据读取记录，第三节点402可以为服务器或服务器集群。

值得一提的是，第一子集群201、第二子集群301、第三子集群401均可以为各地区的子集群，该地区可以为国家或者省份。第一节点202可以为永久式存储数据，第二节点302和第三节点402中缓存的数据可以具有固定的刷新周期，如每隔一天刷新一次缓存。

本申请实施例中的数据处理方法可以由图1中的数据更新集群10中的节点执行，该节点用于进行数据更新。图2为本申请一实施例提供的数据处理方法的流程示意图，如图2所示，该方法包括：

步骤S202，利用分布式一致性算法，在数据存储集群包括的多个第一节点中确定第一主节点和第一从节点；其中，数据存储集群包括多个第一节点，第一节点用于存储数据；

步骤S204，利用分布式一致性算法，在数据缓存集群包括的多个第二节点中确定第二主节点和第二从节点；其中，数据缓存集群包括多个第二节点，第二节点用于缓存数据；

步骤S206，在第一主节点中进行数据更新；其中，第一从节点在第一主节点数据更新完成后，自动同步第一主节点中的数据；

步骤S208，根据第一主节点的数据更新结果，在第二主节点中进行数据更新；其中，第二从节点在第二主节点数据更新完成后，自动同步第二主节点中的数据。

本申请实施例中，数据更新包括但不限于数据添加、数据删除、数据修改等。

本申请实施例中，在数据存储集群中确定第一主节点和第一从节点，在数据缓存集群中确定第二主节点和第二从节点，进行数据更新时，首先在第一主节点中进行数据更新，然后根据第一主节点的数据更新结果，在第二主节点中进行数据更新，其中，第一从节点在第一主节点数据更新完成后，自动同步第一主节点中的数据，第二从节点在第二主节点数据更新完成后，自动同步第二主节点中的数据。可见，通过本申请实施例，能够在数据更新后，使数据自动同步至其他从节点，从而保证各数据节点存储的数据的一致性，提高用户的数据访问体验。并且，由于第一从节点能够自动同步第一主节点中的数据，因此数据可以存在多份，从而能够避免数据的单点风险，避免用户读取到错误的数据，提高用户的数据访问体验。并且，本申请实施例中无需主动在每个节点中均执行数据更新操作，从节点可以自动同步主节点中的数据，因此数据更新方式简单，数据更新效率高。

上述步骤S202中，可以利用raft分布式一致性算法，在数据存储集群包括的全部第一节点中确定第一主节点和第一从节点，上述步骤S204中，可以利用raft分布式一致性算法，在数据缓存集群包括的全部第二节点中确定第二主节点和第二从节点。进一步地，也可以利用raft分布式一致性算法，在读取记录缓存集群包括的全部第三节点中确定第三主节点和第三从节点。

基于raft分布式一致性算法的原理可知，第一主节点能够控制各个第一从节点进行数据更新操作，第二主节点能够控制各个第二从节点进行数据更新操作，第三主节点能够控制各个第三从节点进行数据更新操作。本实施例以及下文涉及的主节点即为raft算法中的leader(领导者)，从节点即为raft算法中的follower(跟随者)。

图3为本申请一实施例提供的主从节点确定示意图，如图3所示，第一子集群、第二子集群均为不同地区对应的子集群，根据raft算法，在A地区的第一子集群中确定第一主节点，B地区和C地区的第一子集群中的第一节点即为第一从节点，类似地，根据raft算法，在A地区的第二子集群中确定第二主节点，B地区和C地区的第二子集群中的第二节点即为第二从节点，根据raft算法，在某个第三子集群中确定第三主节点，则其他第三子集群中的第三节点即为第三从节点。

上述步骤S206中，在第一主节点中进行数据更新，数据更新包括数据删除、增加、修改等。具体地，可以删除或修改第一主节点中存储的某些数据，也可以在第一主节点中增加某些数据。

由于第一主节点和第一从节点是基于分布式一致性算法确定的，因此第一主节点可以控制部分或全部第一从节点同步第一主节点中的部分或全部数据。因此本实施例中，在步骤S206中，第一从节点基于第一主节点的控制功能，在第一主节点数据更新完成后，自动同步第一主节点中的数据。其中，可以是部分第一从节点自动同步第一主节点中的数据，也可以是全部第一从节点自动同步第一主节点中的数据，第一从节点可以自动同步第一主节点中的全部数据，或者同步第一主节点中被更新的数据。

一个具体的实施例中，三个至五个第一从节点自动同步第一主节点中的全部数据，从而使得第一主节点中的数据存储多份，以避免数据的单点风险。

本申请实施例中，在第一从节点同步第一主节点中的数据完成后，确定数据存储集群的数据更新完成，然后，通过步骤S208，根据第一主节点的数据更新结果，在第二主节点中进行数据更新，其中，第一主节点的数据更新结果和第二主节点的数据更新结果相同，即二者增加、修改或删除相同的数据。本实施例中，优选每个第二节点(包括第二主节点和第二从节点)缓存的数据均相同。

本实施例中，在更新数据时，分别在数据缓存集群和数据存储集群中进行更新，且二者的数据更新结果相同，能够方便用户直接从数据缓存集群中获取所需数据，从而提高数据查询体验，最大程度优化集群响应速度。

在广告场景下，在更新数据时，分别在数据缓存集群和数据存储集群中进行更新，且二者的数据更新结果相同，能够提高并发场景下广告数据的读取性能，特别是热点广告数据的读取性能，从而最大程度优化集群响应速度。

基于前述论述，由于第二主节点和第二从节点是基于分布式一致性算法确定的，因此第二主节点可以控制部分或全部第二从节点同步第二主节点中的部分或全部数据。因此本实施例中，在步骤S208中，第二从节点基于第二主节点的控制功能，在第二主节点数据更新完成后，自动同步第二主节点中的数据。其中，可以是部分第二从节点自动同步第二主节点中的数据，也可以是全部第二从节点自动同步第二主节点中的数据，第二从节点可以自动同步第二主节点中的全部数据，或者同步第二主节点中被更新的数据。

一个具体的实施例中，全部第二从节点自动同步第二主节点中的全部数据，从而使得用户通过任意一个第二从节点均能够查询得到所需的数据。

Raft算法是分布式***中的一致性算法，是一种速度更快、实现方便、学习成本较低的算法。raft算法利用投票选举机制在多个节点中选取主节点，并且通过心跳通信机制定期投票主节点，以保证在主节点故障后重新确定主节点，保证集群的正常运作。本申请实施例中，基于raft算法确定第一主节点和第二主节点，进而使得第一主节点控制各个第一从节点进行数据更新操作，第二主节点控制各个第二从节点进行数据更新操作，具有数据更新速度快、效率高、实现方便的优点。

本申请实施例中，在第一主节点中进行数据更新，包括：在第一主节点中进行数据修改；相应地，本实施例中的方法还包括：

在第一主节点中进行数据修改前，确定读取记录缓存集群中未缓存读取时间位于指定时间范围内的待修改数据的读取记录；

其中，读取记录缓存集群用于缓存数据读取记录，所指定时间范围包括当前时间之前至当前时间的预设时间范围。

具体地，读取记录缓存集群中的各个节点用于缓存数据读取记录，以数据为key-value数据格式为例，当有数据从数据存储集群或数据缓存集群中被读取出来时，读取记录缓存集群缓存被读取的数据的key，并缓存对应的读取时间戳，key和对应的读取时间戳共同组成数据读取记录。

本实施例中，在第一主节点中进行数据修改前，判断读取记录缓存集群中是否缓存有待修改数据的读取记录，且待修改数据的读取时间位于当前时间之前至当前时间的预设时间范围内。其中，待修改数据可以为key-value数据格式，预设时间范围可以为3秒或5秒，优选预设时间范围小于等于5秒，待修改数据的读取时间可以为最近读取时间，可以通过在读取记录缓存集群中查询key数据的读取记录的方式，判断读取记录缓存集群中是否缓存有待修改数据的读取记录，且待修改数据的最近读取时间位于当前时间之前至当前时间的预设时间范围内。

比如，待修改数据为用户姓名，其具体结构为key＝“name1”，value＝“张三”，数据修改具体为，将value的值由“张三”修改为“李四”。在读取记录缓存集群中查询key＝“name1”的读取记录，若查询到，则判断key＝“name1”的读取记录的最近读取时间是否在当前时间之前且距离当前时间的3秒之内。

若通过上述过程确定读取记录缓存集群中缓存有读取时间位于指定时间范围内的待修改数据的读取记录，则确定短时间内待修改数据被读取过，为避免数据查询对数据修改的影响，取消第一主节点的数据更新动作。

若通过上述过程确定读取记录缓存集群中未缓存读取时间位于指定时间范围内的待修改数据的读取记录，则确定短时间内待修改数据没有被读取过，则在第一主节点中进行数据修改。

在一个具体的实施例中，第一主节点对应的待修改数据为多个，比如包括key＝“name1”，value＝“张三”，key＝“name2”，value＝“王五”，则在第一主节点中修改每个待修改数据之前，均执行上述的判断过程，以确定短时间内该待修改数据是否被读取过，直至判断完第一主节点对应的每个待修改数据为止，其中，基于判断结果，可能在第一主节点中修改部分或全部待修改数据，对于本次未修改的待修改数据，可以经过一段时间后再次进行修改。

图4为本申请一实施例提供的数据修改流程示意图，如图4所示，该流程包括：

步骤S402，确定待修改数据及其对应的修改方式；

步骤S404，判断读取记录缓存集群中是否缓存有读取时间位于指定时间范围内的待修改数据的读取记录；

若有，则结束本次数据修改流程，若没有，则执行步骤S406，

步骤S406，根据上述修改方式，在第一主节点中对待修改数据进行修改。

数据修改操作的本质是数据写操作，由于在相邻较近的时间内对同一数据执行读操作和写操作可能相互干扰，因此本申请实施例中，在第一主节点中进行数据修改前，判断读取记录缓存集群中是否缓存有读取时间位于指定时间范围内的待修改数据的读取记录，若缓存有，则取消第一主节点的数据修改动作，若未缓存有，则在第一主节点中进行数据修改，从而避免待修改数据的读取操作对待修改数据的写操作造成影响，保证数据的顺利更新。

另一方面，若不规避短时间内对待修改数据的读操作，直接更新数据，可能造成用户在短时间内多次读取到的待修改数据的值不同的情况，比如前次读取到修改前的值，下一次读取到修改后的值，进而影响数据的一致性，降低用户的数据查询体验，因此通过本实施例，还避免用户在短时间内多次读取到的数据的值不同的情况，从而保证数据的一致性，提高用户的数据查询体验。

进一步地，在第一主节点中进行数据更新，包括：在第一主节点中进行数据修改；

本申请实施例中的方法还包括：

在第一主节点中进行数据修改前，根据读取记录缓存集群中缓存的数据读取记录，确定第二主节点中缓存有待修改数据，并在第二主节点中删除待修改数据；其中，读取记录缓存集群用于缓存数据读取记录；第二从节点在第二主节点数据删除完成后，自动同步第二主节点中的数据；

根据第一主节点的数据更新结果，在第二主节点中进行数据更新，包括：

根据第一主节点中的数据修改结果，在第二主节点中增加修改后的数据。

具体地，以待修改数据为key-value数据为例，根据读取记录缓存集群中缓存的数据读取记录，确定第二主节点中缓存有待修改数据，具体为：根据待修改数据的key值，判断读取记录缓存集群中是否缓存有待修改数据的读取记录，若在读取记录缓存集群中查找到该key值对应的读取记录，则确定待修改数据被读取过，若在读取记录缓存集群中未查找到该key值对应的读取记录，则确定待修改数据未被读取过；由于读取过的数据均会缓存在第二主节点中，因此在确定待修改数据被读取过时，确定第二主节点中缓存有待修改数据，相应地，在确定待修改数据未被读取过时，确定第二主节点中未缓存有待修改数据。

若确定第二主节点中缓存有待修改数据，则在第二主节点中删除待修改数据，能够理解，第二从节点在第二主节点数据删除完成后，会自动同步第二主节点中的数据，比如每个第二从节点同步第二主节点中的全部数据，以使得待修改数据从数据缓存集群中删除。在第二主节点中删除待修改数据后，根据第一主节点的数据修改结果，在第二主节点中增加修改后的数据。

反之，若确定第二主节点中未缓存有待修改数据，则直接根据第一主节点的数据修改结果，在第二主节点中增加修改后的数据。

图5为本申请另一实施例提供的数据修改流程示意图，如图5所示，该流程包括：

步骤S502，确定待修改数据及其对应的修改方式；

步骤S504，根据读取记录缓存集群中缓存的数据读取记录，判断第二主节点中是否缓存有待修改数据；

若缓存有，则执行步骤S506，否则，执行步骤S508。

步骤S506，在第二主节点中删除待修改数据，其中，每个第二从节点在第二主节点数据删除完成后，均自动同步第二主节点中的数据；

步骤S508，根据上述待修改数据及其对应的修改方式，在第一主节点中进行数据修改；

步骤S510，根据第一主节点中的数据修改结果，在第二主节点中增加修改后的数据。

通过本实施例，能够在数据修改前，在数据缓存集群中删除待修改数据，从而达到更新数据前删除旧缓存数据的目的。由于旧缓存数据删除后，根据优先查询数据缓存集群的数据查询机制，用户在旧缓存数据删除后，在数据缓存集群数据更新完成前进行数据查询时，能够直接从数据存储集群中查询数据，从而查询得到更新后的数据，避免旧缓存数据没有删除，导致用户从数据缓存集群中查询到更新前的数据的问题。

通过前述过程能够知道，本申请实施例中设置有读取记录缓存集群，则本申请实施例中，还能够利用分布式一致性算法(如raft算法)，在读取记录缓存集群包括的多个第三节点中确定第三主节点和第三从节点。

具体地，读取记录缓存集群包括多个第三节点，在确定第三主节点和第三从节点后，第三从节点在第三主节点缓存数据读取记录完成后，自动同步第三主节点中的数据，第三主节点和每个第三从节点缓存相同的数据。其中，每次从数据缓存集群或数据读取集群中读取数据时，均在第三主节点中缓存对应的数据读取记录。

本实施例中，设置第三主节点中，缓存同一被读取数据对应的数据读取记录的最大数量，与该被读取数据的热度正相关，并且，第三主节点中缓存的数据读取记录的总数量不超过预设数量阈值。

具体地，被读取数据的热度，与被读取数据的读取频率有关，被读取数据的读取频率越高，被读取数据的热度越高，一个具体的实施例中，可以根据被读取数据的读取频率，计算得到被读取数据的热度。本实施例中，设置第三主节点中，缓存同一被读取数据对应的数据读取记录的最大数量，与该被读取数据的热度正相关，比如根据被读取数据a的热度，确定缓存被读取数据a对应的数据读取记录的最大数量为一万条，被读取数据a的热度大于被读取数据b的热度，根据被读取数据b的热度，确定缓存被读取数据b对应的数据读取记录的最大数量为五千条，从而保证热度较高的数据的读取记录缓存较多。

以key-value数据为例，数据读取记录包括key值和读取时间戳，则本实施例中，还可以为每个key值设置最大的过期时长，过期时长可以是每个key值对应的数据读取记录的缓存时长，当数据读取记录的缓存时长达到对应key值的过期时长时，删除该数据读取记录。可以设置key值对应的过期时长与key值对应的被读取数据的热度正相关。

本实施例中，每个第三节点缓存的数据读取记录均相同，当第三节点中缓存的数据读取记录的数量达到预设数量阈值时，优先删除缓存时长最长的数据读取记录，以保证优先缓存较新的数据读取记录。

本实施例中，设置第三主节点中缓存的数据读取记录的总数量不超过预设数量阈值，能够保证缓存的数据量不超过第三主节点的负载能力范围，保证第三主节点的正常运行。

通过以上过程可知，本申请实施例中，第一从节点可以同步第一主节点中的数据，第二从节点可以同步第二主节点中的数据，第三从节点可以同步第三主节点中的数据，基于此，本实施例中，还设置第一配置信息、第二配置信息和第三配置信息，其中，第一配置信息用于配置每次在第一主节点中数据更新完成后，数据存储集群中均有超过预设数量比例的第一从节点，自动同步第一主节点中的数据；其中，预设数量比例为进行数据同步的第一从节点的数量占全部第一从节点的数量的比例；第二配置信息用于配置每次在第二主节点中数据更新完成后，数据缓存集群中全部的第二从节点，均自动同步第二主节点中的数据；第三配置信息用于配置每次在第三主节点中缓存数据读取记录完成后，读取记录缓存集群中全部的第三从节点，均自动同步第三主节点中的数据。其中，第二配置信息还可以配置，每次在第二主节点中数据删除完成后，数据缓存集群中全部的第二从节点，均自动同步第二主节点中的数据。

举例，每次在第一主节点中数据更新完成后，数据存储集群中均有超过50％的第一从节点自动同步第一主节点中的数据，当超过50％的第一从节点数据同步完成后，确定数据存储集群数据更新完成，然后再更新数据缓存集群中的数据。

在一个具体的实施例中，第一主节点确定自身数据更新完成后，第一主节点根据第一配置信息，随机选取数量占比超过50％的第二从节点同步第一主节点中的数据，因此，多次在第一主节点中进行数据更新时，每次同步进行数据更新的第一从节点可能不同，比如在第一主节点中更新数据A时，第一主节点随机选取第一从节点a、b、c同步进行数据更新，下次在第一主节点中更新数据B时，第一主节点随机选择第一从节点b、d、f同步进行数据更新。

基于此，每次在第一主节点中进行数据更新(如写入新数据)后，都会对应部分第一从节点执行相同的数据更新过程(如写入数据)，因此对应一个数据而言，其存储在第一主节点和部分第一从节点中，基于此，第一主节点中还存储数量路由表，该路由表用于记录每个数据对应存储的第一从节点的标识，每个第一从节点也均存储该数量路由表，相应地，图6为本申请一实施例提供的数据查询流程示意图，如图6所示，该流程包括：

步骤S602，从第二主节点或第二从节点中查询目标数据；

步骤S604，若查询到，则输出目标数据；

步骤S606，若未查询到，则向第一主节点发送目标数据对应的数据查询请求，其中，第一主节点根据数据查询请求提供数据查询功能，或者，第一主节点控制存储有目标数据的第一从节点提供数据查询功能；

步骤S608，根据提供的数据查询功能获取并输出目标数据；

步骤S610，在第二主节点中缓存目标数据，其中，数据缓存集群中的第二从节点在第二主节点缓存目标数据完成后，自动同步第二主节点中的数据。

具体地，目标数据为需要查询的数据，首先在第二节点中查询目标数据，比如在第二主节点，或者通信速度最快的第二从节点中查询目标数据，其中，通信速度跟通信距离有关。若查询到目标数据，则予以输出。若未查询到目标数据，则向第一主节点发送目标数据对应的数据查询功能。

由于数据更新时，在第一主节点中进行数据更新，且还控制部分第一从节点进行同样的数据更新，因此第一主节点和部分第一从节点中存储有目标数据。因此第一主节点在接收到数据查询请求后，第一主节点根据该请求提供数据查询功能，或者，根据该请求，利用存储的数据路由表，确定存储有目标数据的第一从节点，控制存储有目标数据的第一从节点提供数据查询功能。进而，根据数据查询功能，获取目标数据。

为方便后续再查询目标数据，这里还在第二主节点中缓存目标数据，优选地，全部第二从节点在第二主节点缓存目标数据完成后，同步第二主节点中的数据，从而使得全部第二从节点均缓存目标数据，以方便后续目标数据的查询，使得通过查询数据缓存集群即能够查询得到目标数据。

本实施例中，还配置各个第一节点(包括第一从节点和第一主节点)进行第一心跳通信，配置各个第二节点(包括第二从节点和第二主节点)进行第二心跳通信，以及配置各个第三节点(包括第三从节点和第三主节点)进行第三心跳通信，根据第一心跳通信结果，判断是否存在不可用的第一节点，根据第二心跳通信结果，判断是否存在不可用的第二节点，以及，根据第三心跳通信结果，判断是否存在不可用的第三节点；若存在不可用的第一节点，则将不可用的第一节点存储的数据同步至其他可用的第一节点，若存在不可用的第二节点，则将不可用的第二节点缓存的数据同步至其他可用的第二节点，若存在不可用的第三节点，则将不可用的第三节点缓存的数据同步至其他可用的第三节点。

其中，当第一节点未在规定时间内发出心跳通信的应答数据时，确定第一节点不可用，同理，当第二节点未在规定时间内发出心跳通信的应答数据时，确定第二节点不可用，当第三节点未在规定时间内发出心跳通信的应答数据时，确定第三节点不可用。可以将不可用的第一节点的全部数据均同步至一个可用的第一节点上，同理，将不可用的第二节点的全部数据均同步至一个可用的第二节点上，将不可用的第三节点的全部数据均同步至一个可用的第三节点上。

本实施例中，设置当数据存储集群中超过50％的节点不可用时，确定数据存储集群不可用，当数据缓存集群中超过50％的节点不可用时，确定数据缓存集群不可用，当读取记录缓存集群中超过50％的节点不可用时，确定读取记录缓存集群不可用。集群不可用时，不可以接受数据的写操作，能够接受数据的读操作。

本实施例中，当第一主节点不可用时，可以根据raft算法在各个可用的第一节点中重新投票选举主节点，由于每个第一节点均存储有上述的数据路由表，因此每个第一节点均可以被选举为主节点。同样地，当第二主节点不可用时，可以根据raft算法在各个可用的第二节点中重新投票选举主节点，当第三主节点不可用时，可以根据raft算法在各个可用的第三节点中重新投票选举主节点。

本实施例中，数据缓存集群可以为redis缓存集群，其中，redis为一种高性能缓存服务中间件。

本实施例中，还利用HLC(Hybrid Logical Clock，混合逻辑时钟)设置各个第一节点、各个第二节点、各个第三节点的时间戳同步，从而保证各个集群的时间戳一致，保证数据的高度一致性。具体地，HLC使用了物理时钟和逻辑时钟，能够保证单点的时间发生器是单调递增的，从而解决不同节点之间的时钟偏差问题，能够尽量控制不同节点之间的时钟偏差在规定的误差范围内，从而保证各地区各服务器节点时间戳的一致性。

综上，本实施例中的方法能够在数据发生变化时，在全球高并发环境下，保证各地区节点数据的一致性。比如，当广告数据更新时，通过上述方法，能够更新数据缓存集群和数据存储集群中的数据，达到在短时间如3秒内同步更新世界各地区的广告数据的效果，使得用户在全球各地区看到的广告数据均相同。类似地，通过上述方法，当用户数据如红包数据、积分数据有更新时，能够达到在短时间内更新世界各地区的用户数据的效果，使得用户在全球各地区看到的红包数据、积分数据均相同。

对应上述的数据处理方法，本申请实施例还提供了一种数据处理装置，图7为本申请一实施例提供的数据处理装置的模块组成示意图，如图7所示，该装置包括：

第一确定单元71，用于利用分布式一致性算法，在数据存储集群包括的多个第一节点中确定第一主节点和第一从节点；其中，所述数据存储集群包括多个第一节点，所述第一节点用于存储数据；

第二确定单元72，用于利用所述分布式一致性算法，在数据缓存集群包括的多个第二节点中确定第二主节点和第二从节点；其中，所述数据缓存集群包括多个第二节点，所述第二节点用于缓存数据；

第一更新单元73，用于在所述第一主节点中进行数据更新；其中，所述第一从节点在所述第一主节点数据更新完成后，自动同步所述第一主节点中的数据；

第二更新单元74，用于根据所述第一主节点的数据更新结果，在所述第二主节点中进行数据更新；其中，所述第二从节点在所述第二主节点数据更新完成后，自动同步所述第二主节点中的数据。

可选地，所述第一更新单元73具体用于：在所述第一主节点中进行数据修改；

所述装置还包括：

缓存确定单元，用于在所述第一主节点中进行数据修改前，确定读取记录缓存集群中未缓存读取时间位于指定时间范围内的待修改数据的读取记录；

其中，所述读取记录缓存集群用于缓存数据读取记录，所述指定时间范围包括当前时间之前至当前时间的预设时间范围。

可选地，所述第一更新单元73具体用于：在所述第一主节点中进行数据修改；

所述装置还包括：

数据删除单元，用于在所述第一主节点中进行数据修改前，根据读取记录缓存集群中缓存的数据读取记录，确定所述第二主节点中缓存有待修改数据，并在所述第二主节点中删除所述待修改数据；其中，所述读取记录缓存集群用于缓存数据读取记录；所述第二从节点在所述第二主节点数据删除完成后，自动同步所述第二主节点中的数据；

所述第二更新单元74具体用于：

根据所述第一主节点中的数据修改结果，在所述第二主节点中增加修改后的数据。

可选地，所述装置还包括：

第三确定单元，用于利用所述分布式一致性算法，在所述读取记录缓存集群包括的多个第三节点中确定第三主节点和第三从节点；

其中，所述读取记录缓存集群包括多个第三节点，所述第三从节点在所述第三主节点缓存数据读取记录完成后，自动同步所述第三主节点中的数据；所述第三主节点中，缓存同一被读取数据对应的数据读取记录的最大数量，与该被读取数据的热度正相关。

可选地，所述装置还包括：

第一设置单元，用于设置第一配置信息；其中，所述第一配置信息用于配置每次在所述第一主节点中数据更新完成后，所述数据存储集群中均有超过预设数量比例的第一从节点，自动同步所述第一主节点中的数据；其中，所述预设数量比例为进行数据同步的所述第一从节点的数量占全部所述第一从节点的数量的比例；

第二设置单元，用于设置第二配置信息；其中，所述第二配置信息用于配置每次在所述第二主节点中数据更新完成后，所述数据缓存集群中全部的第二从节点，均自动同步所述第二主节点中的数据；

第三设置单元，用于设置第三配置信息；其中，所述第三配置信息用于配置每次在所述第三主节点中缓存数据读取记录完成后，所述读取记录缓存集群中全部的第三从节点，均自动同步所述第三主节点中的数据。

可选地，所述装置还包括数据查询单元，用于：

从所述第二主节点或所述第二从节点中查询目标数据；

若未查询到，则向所述第一主节点发送所述目标数据对应的数据查询请求，其中，所述第一主节点根据所述数据查询请求提供数据查询功能，或者，所述第一主节点控制存储有所述目标数据的第一从节点提供数据查询功能；

根据提供的所述数据查询功能获取所述目标数据；

在所述第二主节点中缓存所述目标数据，其中，所述数据缓存集群中的第二从节点在所述第二主节点缓存所述目标数据完成后，自动同步所述第二主节点中的数据。

可选地，所述装置还包括：

时钟设置单元，用于利用混合逻辑时钟HLC设置各个所述第一节点、各个所述第二节点、各个所述第三节点的时间戳同步。

本申请实施例中，在数据存储集群中确定第一主节点和第一从节点，在数据缓存集群中确定第二主节点和第二从节点，进行数据更新时，首先在第一主节点中进行数据更新，然后根据第一主节点的数据更新结果，在第二主节点中进行数据更新，其中，第一从节点在第一主节点数据更新完成后，自动同步第一主节点中的数据，第二从节点在第二主节点数据更新完成后，自动同步第二主节点中的数据。可见，通过本申请实施例，能够在数据更新后，使数据自动同步至其他从节点，从而保证各数据节点存储的数据的一致性，提高用户的数据访问体验。并且，由于第一从节点能够自动同步第一主节点中的数据，因此数据可以存在多份，从而能够避免数据的单点风险，避免用户读取到错误的数据，提高用户的数据访问体验。并且，本申请实施例中无需主动在每个节点中均执行数据更新操作，从节点可以自动同步主节点中的数据，因此数据更新方式简单，数据更新效率高。

进一步地，基于上述的数据处理方法，本申请实施例还提供了一种数据处理设备，图8为本申请一实施例提供的数据处理设备的结构示意图。

如图8所示，数据处理设备可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上的处理器801和存储器802，存储器802中可以存储有一个或一个以上存储应用程序或数据。其中，存储器802可以是短暂存储或持久存储。存储在存储器802的应用程序可以包括一个或一个以上模块(图示未示出)，每个模块可以包括对数据处理设备中的一系列计算机可执行指令。更进一步地，处理器801可以设置为与存储器802通信，在数据处理设备上执行存储器802中的一系列计算机可执行指令。数据处理设备还可以包括一个或一个以上电源803，一个或一个以上有线或无线网络接口804，一个或一个以上输入输出接口805，一个或一个以上键盘806等。

在一个具体的实施例中，数据处理设备包括处理器，存储器，存储在存储器上并可在所述处理器上运行的计算机程序，该计算机程序被处理器执行时实现上述数据处理方法实施例的各个过程，具体包括以下步骤：

利用分布式一致性算法，在数据存储集群包括的多个第一节点中确定第一主节点和第一从节点；其中，所述数据存储集群包括多个第一节点，所述第一节点用于存储数据；

利用所述分布式一致性算法，在数据缓存集群包括的多个第二节点中确定第二主节点和第二从节点；其中，所述数据缓存集群包括多个第二节点，所述第二节点用于缓存数据；

在所述第一主节点中进行数据更新；其中，所述第一从节点在所述第一主节点数据更新完成后，自动同步所述第一主节点中的数据；

根据所述第一主节点的数据更新结果，在所述第二主节点中进行数据更新；其中，所述第二从节点在所述第二主节点数据更新完成后，自动同步所述第二主节点中的数据。

可选地，所述在所述第一主节点中进行数据更新，包括：在所述第一主节点中进行数据修改；

还包括：

在所述第一主节点中进行数据修改前，确定读取记录缓存集群中未缓存读取时间位于指定时间范围内的待修改数据的读取记录；

其中，所述读取记录缓存集群用于缓存数据读取记录，所述指定时间范围包括当前时间之前至当前时间的预设时间范围。

可选地，所述在所述第一主节点中进行数据更新，包括：在所述第一主节点中进行数据修改；

还包括：

在所述第一主节点中进行数据修改前，根据读取记录缓存集群中缓存的数据读取记录，确定所述第二主节点中缓存有待修改数据，并在所述第二主节点中删除所述待修改数据；其中，所述读取记录缓存集群用于缓存数据读取记录；所述第二从节点在所述第二主节点数据删除完成后，自动同步所述第二主节点中的数据；

所述根据所述第一主节点的数据更新结果，在所述第二主节点中进行数据更新，包括：

根据所述第一主节点中的数据修改结果，在所述第二主节点中增加修改后的数据。

可选地，还包括：

利用所述分布式一致性算法，在所述读取记录缓存集群包括的多个第三节点中确定第三主节点和第三从节点；

其中，所述读取记录缓存集群包括多个第三节点，所述第三从节点在所述第三主节点缓存数据读取记录完成后，自动同步所述第三主节点中的数据；所述第三主节点中，缓存同一被读取数据对应的数据读取记录的最大数量，与该被读取数据的热度正相关。

可选地，还包括：

设置第一配置信息；其中，所述第一配置信息用于配置每次在所述第一主节点中数据更新完成后，所述数据存储集群中均有超过预设数量比例的第一从节点，自动同步所述第一主节点中的数据；其中，所述预设数量比例为进行数据同步的所述第一从节点的数量占全部所述第一从节点的数量的比例；

设置第二配置信息；其中，所述第二配置信息用于配置每次在所述第二主节点中数据更新完成后，所述数据缓存集群中全部的第二从节点，均自动同步所述第二主节点中的数据；

设置第三配置信息；其中，所述第三配置信息用于配置每次在所述第三主节点中缓存数据读取记录完成后，所述读取记录缓存集群中全部的第三从节点，均自动同步所述第三主节点中的数据。

可选地，还包括：

从所述第二主节点或所述第二从节点中查询目标数据；

若未查询到，则向所述第一主节点发送所述目标数据对应的数据查询请求，其中，所述第一主节点根据所述数据查询请求提供数据查询功能，或者，所述第一主节点控制存储有所述目标数据的第一从节点提供数据查询功能；

根据提供的所述数据查询功能获取所述目标数据；

在所述第二主节点中缓存所述目标数据，其中，所述数据缓存集群中的第二从节点在所述第二主节点缓存所述目标数据完成后，自动同步所述第二主节点中的数据。

可选地，还包括：

利用混合逻辑时钟HLC设置各个所述第一节点、各个所述第二节点、各个所述第三节点的时间戳同步。

本申请实施例中，在数据存储集群中确定第一主节点和第一从节点，在数据缓存集群中确定第二主节点和第二从节点，进行数据更新时，首先在第一主节点中进行数据更新，然后根据第一主节点的数据更新结果，在第二主节点中进行数据更新，其中，第一从节点在第一主节点数据更新完成后，自动同步第一主节点中的数据，第二从节点在第二主节点数据更新完成后，自动同步第二主节点中的数据。可见，通过本申请实施例，能够在数据更新后，使数据自动同步至其他从节点，从而保证各数据节点存储的数据的一致性，提高用户的数据访问体验。并且，由于第一从节点能够自动同步第一主节点中的数据，因此数据可以存在多份，从而能够避免数据的单点风险，避免用户读取到错误的数据，提高用户的数据访问体验。并且，本申请实施例中无需主动在每个节点中均执行数据更新操作，从节点可以自动同步主节点中的数据，因此数据更新方式简单，数据更新效率高。

进一步地，本申请实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述数据处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。其中，所述的计算机可读存储介质，如只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random AccessMemory，简称RAM)、磁碟或者光盘等。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于***实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包括在本申请的权利要求范围之内。

Claims (13)

1.一种数据处理方法，其特征在于，包括：

利用分布式一致性算法，在数据存储集群包括的多个第一节点中确定第一主节点和第一从节点；其中，所述数据存储集群包括多个第一节点，所述第一节点用于存储数据；

利用所述分布式一致性算法，在数据缓存集群包括的多个第二节点中确定第二主节点和第二从节点；其中，所述数据缓存集群包括多个第二节点，所述第二节点用于缓存数据；

在所述第一主节点中进行数据更新；其中，所述第一从节点在所述第一主节点数据更新完成后，自动同步所述第一主节点中的数据；

根据所述第一主节点的数据更新结果，在所述第二主节点中进行数据更新；其中，所述第二从节点在所述第二主节点数据更新完成后，自动同步所述第二主节点中的数据。

2.根据权利要求1所述的方法，其特征在于，所述在所述第一主节点中进行数据更新，包括：在所述第一主节点中进行数据修改；

所述方法还包括：

在所述第一主节点中进行数据修改前，确定读取记录缓存集群中未缓存读取时间位于指定时间范围内的待修改数据的读取记录；

其中，所述读取记录缓存集群用于缓存数据读取记录，所述指定时间范围包括当前时间之前至当前时间的预设时间范围。

3.根据权利要求1所述的方法，其特征在于，所述在所述第一主节点中进行数据更新，包括：在所述第一主节点中进行数据修改；

所述方法还包括：

在所述第一主节点中进行数据修改前，根据读取记录缓存集群中缓存的数据读取记录，确定所述第二主节点中缓存有待修改数据，并在所述第二主节点中删除所述待修改数据；其中，所述读取记录缓存集群用于缓存数据读取记录；所述第二从节点在所述第二主节点数据删除完成后，自动同步所述第二主节点中的数据；

所述根据所述第一主节点的数据更新结果，在所述第二主节点中进行数据更新，包括：

根据所述第一主节点中的数据修改结果，在所述第二主节点中增加修改后的数据。

4.根据权利要求2或3所述的方法，其特征在于，所述方法还包括：

利用所述分布式一致性算法，在所述读取记录缓存集群包括的多个第三节点中确定第三主节点和第三从节点；

其中，所述读取记录缓存集群包括多个第三节点，所述第三从节点在所述第三主节点缓存数据读取记录完成后，自动同步所述第三主节点中的数据；所述第三主节点中，缓存同一被读取数据对应的数据读取记录的最大数量，与该被读取数据的热度正相关。

5.根据权利要求4所述的方法，其特征在于，所述方法还包括：

设置第一配置信息；其中，所述第一配置信息用于配置每次在所述第一主节点中数据更新完成后，所述数据存储集群中均有超过预设数量比例的第一从节点，自动同步所述第一主节点中的数据；其中，所述预设数量比例为进行数据同步的所述第一从节点的数量占全部所述第一从节点的数量的比例；

设置第二配置信息；其中，所述第二配置信息用于配置每次在所述第二主节点中数据更新完成后，所述数据缓存集群中全部的第二从节点，均自动同步所述第二主节点中的数据；

设置第三配置信息；其中，所述第三配置信息用于配置每次在所述第三主节点中缓存数据读取记录完成后，所述读取记录缓存集群中全部的第三从节点，均自动同步所述第三主节点中的数据。

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

从所述第二主节点或所述第二从节点中查询目标数据；

若未查询到，则向所述第一主节点发送所述目标数据对应的数据查询请求，其中，所述第一主节点根据所述数据查询请求提供数据查询功能，或者，所述第一主节点控制存储有所述目标数据的第一从节点提供数据查询功能；

根据提供的所述数据查询功能获取所述目标数据；

在所述第二主节点中缓存所述目标数据，其中，所述数据缓存集群中的第二从节点在所述第二主节点缓存所述目标数据完成后，自动同步所述第二主节点中的数据。

7.根据权利要求4所述的方法，其特征在于，所述方法还包括：

利用混合逻辑时钟HLC设置各个所述第一节点、各个所述第二节点、各个所述第三节点的时间戳同步。

8.一种数据处理装置，其特征在于，包括：

第一确定单元，用于利用分布式一致性算法，在数据存储集群包括的多个第一节点中确定第一主节点和第一从节点；其中，所述数据存储集群包括多个第一节点，所述第一节点用于存储数据；

第二确定单元，用于利用所述分布式一致性算法，在数据缓存集群包括的多个第二节点中确定第二主节点和第二从节点；其中，所述数据缓存集群包括多个第二节点，所述第二节点用于缓存数据；

第一更新单元，用于在所述第一主节点中进行数据更新；其中，所述第一从节点在所述第一主节点数据更新完成后，自动同步所述第一主节点中的数据；

第二更新单元，用于根据所述第一主节点的数据更新结果，在所述第二主节点中进行数据更新；其中，所述第二从节点在所述第二主节点数据更新完成后，自动同步所述第二主节点中的数据。

9.根据权利要求8所述的装置，其特征在于，所述第一更新单元具体用于：在所述第一主节点中进行数据修改；

所述装置还包括：

缓存确定单元，用于在所述第一主节点中进行数据修改前，确定读取记录缓存集群中未缓存读取时间位于指定时间范围内的待修改数据的读取记录；

其中，所述读取记录缓存集群用于缓存数据读取记录，所述指定时间范围包括当前时间之前至当前时间的预设时间范围。

10.根据权利要求8所述的装置，其特征在于，所述第一更新单元具体用于：在所述第一主节点中进行数据修改；

所述装置还包括：

数据删除单元，用于在所述第一主节点中进行数据修改前，根据读取记录缓存集群中缓存的数据读取记录，确定所述第二主节点中缓存有待修改数据，并在所述第二主节点中删除所述待修改数据；其中，所述读取记录缓存集群用于缓存数据读取记录；所述第二从节点在所述第二主节点数据删除完成后，自动同步所述第二主节点中的数据；

所述第二更新单元具体用于：

根据所述第一主节点中的数据修改结果，在所述第二主节点中增加修改后的数据。

11.根据权利要求9或10所述的装置，其特征在于，所述装置还包括：

第三确定单元，用于利用所述分布式一致性算法，在所述读取记录缓存集群包括的多个第三节点中确定第三主节点和第三从节点；

其中，所述读取记录缓存集群包括多个第三节点，所述第三从节点在所述第三主节点缓存数据读取记录完成后，自动同步所述第三主节点中的数据；所述第三主节点中，缓存同一被读取数据对应的数据读取记录的最大数量，与该被读取数据的热度正相关。

12.根据权利要求11所述的装置，其特征在于，所述装置还包括：

第一设置单元，用于设置第一配置信息；其中，所述第一配置信息用于配置每次在所述第一主节点中数据更新完成后，所述数据存储集群中均有超过预设数量比例的第一从节点，自动同步所述第一主节点中的数据；其中，所述预设数量比例为进行数据同步的所述第一从节点的数量占全部所述第一从节点的数量的比例；

第二设置单元，用于设置第二配置信息；其中，所述第二配置信息用于配置每次在所述第二主节点中数据更新完成后，所述数据缓存集群中全部的第二从节点，均自动同步所述第二主节点中的数据；

第三设置单元，用于设置第三配置信息；其中，所述第三配置信息用于配置每次在所述第三主节点中缓存数据读取记录完成后，所述读取记录缓存集群中全部的第三从节点，均自动同步所述第三主节点中的数据。

13.根据权利要求8所述的装置，其特征在于，所述装置还包括数据查询单元，用于：

从所述第二主节点或所述第二从节点中查询目标数据；

若未查询到，则向所述第一主节点发送所述目标数据对应的数据查询请求，其中，所述第一主节点根据所述数据查询请求提供数据查询功能，或者，所述第一主节点控制存储有所述目标数据的第一从节点提供数据查询功能；

根据提供的所述数据查询功能获取所述目标数据；

在所述第二主节点中缓存所述目标数据，其中，所述数据缓存集群中的第二从节点在所述第二主节点缓存所述目标数据完成后，自动同步所述第二主节点中的数据。