CN109558411A - 一种基于区块链数据的下链同步方法及装置 - Google Patents

Abstract

本发明公开了一种基于区块链数据的下链同步方法及装置。同步方法包括以下步骤：(1)在链下数据库中创建与区块链数据结构相对应的数据表，根据业务需求给数据表添加索引；(2)读取区块链中的区块数据；(3)对读取的区块数据进行解析，按业务功能分解成相应的元素对象组；(4)将一个或多个对象组中的数据按顺序***到链下数据库中对应的数据表中；(5)监听区块链数据的更新，将区块链上新增的区块数据同步到链下数据库中；然后更新链下数据库中未确认的区块数据的确认状态。本发明可以在需要对区块链数据进行查询的时候，减少对区块链节点的操作，增加数据查询、统计的维度，大幅提高查询、统计操作的执行速度。

Description

一种基于区块链数据的下链同步方法及装置

技术领域

本发明涉及区块链技术领域，尤其涉及一种将区块链数据同步到链下数据库以加速数据查询、统计的方法及装置。

背景技术

基于区块链的业务数据存储结构为键值对的文档型数据库。如果在知道键的情况下，查询速度很快、很方便，但是也存在如下问题：(1)对键进行区间查找的时候，只能循环区间，每次在区块链上只能获取一个键的数据，例如，要查找1到10的键的数据，需要做10次查询操作；(2)当需要对某个值做统计的时候，只能遍历全部数据。同时，如果在不知道键的时候，也只能遍历全部数据才能确定是否能找到数据。

以上这些问题的存在，让基于区块链技术开发的应用在数据查询上远比传统技术应用效率低下。因此，现有区块链的数据查询方式单一、操作复杂，缺乏有效的多维查找、统计方法。

发明内容

为了解决区块链不便于数据做区间查询、不便于数据做统计的技术问题，本发明的目的在于提供一种将区块链数据同步到链下数据库的方法及装置，以加速区块数据的查询和统计。

为实现上述目的，本发明方法采取的技术方案为：

一种基于区块链数据的下链同步方法，该方法包括以下步骤：

(1)在链下数据库中创建与区块链数据结构相对应的数据表，根据业务需求给数据表添加索引；

(2)读取区块链中的区块数据；

(3)对读取的区块数据进行解析，按业务功能分解成相应的元素对象组；

(4)将一个或者多个对象组中的数据按顺序***到链下数据库中对应的数据表中；

(5)监听区块链数据的更新，将区块链上新增的区块数据同步到链下数据库中；然后更新链下数据库中未确认的区块数据的确认状态。

所述步骤(3)中，先将区块数据分别进行反序列化成区块对象元素，然后将区块对象元素进行二次解析，按业务功能分解成相应的元素对象组。

所述步骤(4)的具体流程为：根据区块数据的区块高度在链下数据库中查找其对应的区块数据，如果查找到有对应的区块数据，则判断区块的哈希值是否相同，如果相同则说明当前区块已经同步过了，不需要再次同步；如果区块的哈希值不同，则在数据库里的全部数据表中根据区块高度删除对应的区块数据，循环全部对象组，将数据分别***到链下数据库里对应的数据表中；如果在数据库中查找不到有对应的区块数据，则将区块数据按照分组对应关系写入相对应的数据表中。

所述步骤(5)的具体流程为：定期查询链下数据库中未确认的区块数据，根据未确认的区块数据的区块高度在区块链上获取对应的区块数据，再依据区块链的区块确认规则来判断未确认的区块数据的确认状态，并将判断的确认状态同步更新到链下数据库中。

本发明一种基于区块链数据的下链同步装置，该装置包括：

区块数据获取模块，用于获取区块链中保存的区块数据；

区块数据解析模块，用于解析区块数据，并将区块数据按业务功能做分类，形成多个对象组；

同步模块，用于将区块链的区块数据同步到链下数据库中；

区块链监控模块，用于跟踪监控区块链数据的更新，并且同步区块链上新增的区块数据、以及更新链下数据库中未确认的区块数据的确认状态。

进一步地，所述区块数据获取模块包括连接模块、读取模块和返回模块，所述连接模块发送和接收与区块链节点交互的数据请求；所述读取模块从区块链上读取区块数据。

进一步地，所述区块数据解析模块包括反序列化模块和分析模块，所述反序列化模块将读取的区块数据反序列化成区块对象元素；所述分析模块将区块对象元素进行二次解析，按业务功能分解成相应的元素对象组。

进一步地，所述同步模块包括查找模块、比较模块、数据更新模块和确认状态更新模块，所述查找模块查找区块数据是否存在于链下数据库中；所述比较模块用于比较区块链的区块数据和链下数据库中的区块数据是否完全相同；所述数据更新模块用于删除链下数据库中的错误数据，并***区块链的区块数据；所述确认状态更新模块用于更新链下数据库中区块数据的确认状态。

进一步地，所述区块链监控模块的具体处理流程为：监控区块链数据，当监控到有新的区块数据产生的时候，通知区块数据获取模块获取新的区块数据，再利用同步模块将新的区块数据同步到链下数据库中；然后将链下数据库中未确认的区块数据与区块链上具有相同区块高度的区块数据进行同步。

本发明提出的区块链数据下链同步方法及装置，能够加速数据的查询和统计。相比现有技术，本发明可以在需要对区块链数据进行查询的时候，减少对区块链节点的操作，增加数据查询、统计的维度，大幅提高查询、统计操作的执行速度。

附图说明

图1是本发明实施例的一种基于区块链数据的下链同步方法的流程示意图。

图2是本发明实施例的一种区块链数据更新监听方法的流程示意图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步详细说明。

本发明的一种基于区块链数据的下链同步方法，具体步骤如下：

(1)在链下数据库中创建与区块链数据结构相对应的数据表，根据业务需求给数据表添加索引。

(2)读取区块链中的一个区块数据，区块数据中，除了包括直接描述区块状态的字段外，还包括交易数据、日志数据等。

(3)对读取的区块数据反序列化成区块对象元素，然后将区块对象元素进行二次解析，按业务功能分解成相应的元素对象组。

(4)将一个或者多个对象组中的数据按顺序***到链下数据库中对应的数据表中。

首先检测区块对象是否在数据库中已经存在，具体地：从区块数据对象中获取区块高度，以区块高度为条件在数据库中检索，如果能获取到数据，则判断区块对象存在于数据库中，如果不能获取到数据，则判断区块对象不存在于数据库中。

如果在数据库中查找不到区块对象，则将区块数据按照分组对应关系写入相对应的数据表中。

如果在数据库中查找到区块对象，然后判断数据库中存储的区块对象是否和读取的区块链数据一致，具体地：从读取的区块对象中获取当前区块的哈希值，从数据库的区块对象中获取哈希值，然后比较这两个哈希值，如果两个哈希值完全一致则数据库中存储的区块对象和读取的区块链数据是一致的，这说明当前区块已经同步过了，不需要再次同步，此时跳过该步骤的余下部分；如果两个哈希值不同，则在数据表中根据区块高度删除对应的区块数据，然后在数据表中***区块链的当前区块数据；循环其他对象组，将数据分别***到链下数据库中对应的数据表中。

(5)监听区块链数据的更新：定时循环获取区块链的最新区块，或者通过区块链的监听接口，实时获取最新的区块数据。比较该新区块的区块高度是否和数据库中的最新区块数据的高度一致，如果不一致则需要同步这个区块到链下数据库中，即重复步骤(3)和(4)。

然后更新链下数据库中未确认的区块数据的确认状态：定期查询链下数据库中未确认的区块数据，根据未确认的区块数据的区块高度在区块链上获取对应的区块数据，再依据区块链的区块确认规则来判断未确认的区块数据的确认状态，如果为确认状态，则结束本次处理；如果不是确认状态，则计算当前区块的确认状态，更新确认状态到数据库中。

实施例

本实施例给出一种基于区块链数据的下链同步方法的具体实现过程，如图1所示，包括如下步骤：

在进行程序执行前，需要在数据库中根据要同步的区块数据，创建对应的表，并且根据业务需要创建索引。本实施例中，区块链有区块数据、交易数据、日志数据，使用MySQL数据库，创建区块表、交易表、日志表，给区块表的字段hash、number，交易表的hash、block_number字段，账户表的address字段，日志表的block_number字段加上索引，索引类型为普通索引，索引方法为BTREE。数据库的选择和索引方法不做限定。

步骤1：读取区块数据。

具体地，程序和区块链节点建立连接，然后发送读取区块i的请求，区块链响应读取请求。

步骤2：判断响应的请求中是否有区块数据。

具体地，检测响应请求的结果，区块链接口中定义好的结果字段中是否包含数据，如果响应的请求中没有区块数据，则结束本次同步流程。

步骤3：对区块数据进行反序列化。

本实施例中，对于JSON格式的数据，使用json的unmarshal方法进行反序列化，反序列化的结果可以存储在定义好的对象元素中。

步骤4：检测反序列化结果

具体地，如果响应请求返回的区块数据格式不正确，则反序列化会出错，这时就要中止处理，抛出异常。

步骤5：对区块链对象元素进行分组。

具体地，反序列化后的区块链对象数据，有其业务定义，比如区块对象，交易对象，日志对象等。根据这些不同的业务定义，分别保存在不同的对象里，同类对象如果有多个元素则形成对象数组。

步骤6：检测区块元素对象是否在数据库中

具体地，获取数据库连接，使用区块对象的区块高度字段为关键字，在数据库的区块数据表中查询，如果查不到数据则执行步骤7，如果查到数据则执行步骤10。

步骤7：按对象分组***区块数据到对应的表中。

具体地，将区块对象数据***到数据库的区块对象表中，交易对象数据***到数据库的交易对象表中，日志对象数据***到数据库的日志对象表中。

步骤8：检测***是否成功。

具体地，***数据库的时候没有返回错误信息，则***操作成功完成，至此一个区块数据已经同步到数据库中，提交事务，结束流程。如果有错误信息返回，则执行步骤9。

步骤9：回滚事务，抛出异常，结束。

步骤10：判断区块链数据是否与数据库数据相同。

具体地，在区块链数据的区块对象中取出区块哈希值，与数据库区块数据表取得的区块对象的哈希值相比较，如果一致则执行步骤11，如果不一致则执行步骤13。

步骤11：更新确认状态。

具体地，这里例举确认一个区块是否为确认状态的方法为：判断当前区块是否是最新区块的12个区块之前的块。如果是则获取区块高度H，并通过这个判断方法获取区块确认状态C，然后更新数据库中区块高度为H的数据的确认状态为C。

步骤12：检测更新是否成功。

具体地，如果数据库更新操作没有错误返回，则提交事务，结束流程。如果有错误信息返回，则执行步骤9。

步骤13：删除数据库对应区块高度的数据。

具体地，从区块i的区块对象中获取区块高度H，从数据库的区块对象表中删除区块高度为H的数据，并在数据库的其他关联表中根据区块高度H删除对应的区块数据。然后执行步骤7。

本实施例的更新监听方法的具体实现过程如图2所示，包括如下步骤：

在执行前，先从数据库中读取出保存的最新区块的区块高度数据，并赋予变量T。

步骤a：监听区块链数据更新。

具体地，通过循环读取最新的区块数据，或者通过区块链的数据监听接口，获取到最新的区块数据。把最新的区块数据按照图1的步骤3进行反序列化，得到区块对象B以及交易对象、日志对象等。获取区块对象B的区块高度，跟变量T对比，如果相等则中止后续处理。如果不想等则说明获取到的区块为一个新区块。

步骤b：同步新区块到数据库。

具体地，参照图1的步骤5到13，完成同步操作。

步骤c：询数据库中的未确认的区块。

具体地，区块链会有软分叉，在有分叉的情况下，程序也会同步分叉的数据到数据库，这就需要根据区块链的区块确认规则来确定一个区块是否被确定。以以太坊为例，一个区块要经过12个区块后才能被确认，也就是说如果一个区块距离最新区块12个以上，则认为这个区块是被确认的。这个区块确认状态随着同步步骤一起更新到数据库中，这里则从数据库中，以确认状态为条件，查询所有未确认的区块数据数组WA，循环数组WA，对每个区块W执行后续步骤。

步骤d：判断数据是否相同。

具体地，因为区块没有确认的话，则说明在区块链上对应高度的区块数据可能和数据库中的不同，所以这里通过区块高度从区块链上获取对应的区块数据BT，反序列化后获取哈希值TH，然后比较数据库中区块W的哈希值是否等于TH，如果相同则执行步骤e，如果不同则执行步骤f。

步骤e：更新确认状态到数据库。

具体地，参照步骤c，根据区块链的区块确认规则来确定当前块是否被确认，然后把确认状态更新到数据库中。

步骤f：删除数据库中对应区块高度的区块数据。

具体地，以区块W的区块高度为条件，删除数据库中相关的数据。

步骤g：将区块链上与被删除的区块高度相同的区块数据同步到数据库。

具体地，将区块数据BT的数据同步到数据库中。

通过上述实施例可知，本发明提出的区块数据下链同步方法，将区块信息重新规划，并存入数据库中，不会影响区块数据的有效性，从此可以通过数据库索引来进行多维度的查询、统计操作，有效减少对区块链的操作次数，大幅提升区间查找、条件查找，条件统计的速度，大幅提升数据查询、统计操作的便利性。

上述同步方法可以以软件产品的形式体现出来，本发明的一种基于区块链数据的下链同步装置，包括：

区块数据获取模块，具体包括：连接模块，管理与区块链节点的连接，发送、接收与区块链节点交互的数据请求；读取模块，从区块链上读取一个区块数据；返回模块；

区块数据解析模块，具体包括反序列化模块，将读取的区块数据反序列化成区块对象元素；分析模块，将区块对象元素进行二次解析，按业务功能分解成相应的元素对象组；

同步模块，具体包括：查找模块，查找区块数据是否存在于数据库中；比较模块，比较区块链数据和数据库中的是否完全相同；数据更新模块，用于删除数据库中的错误数据，***区块链数据；确认状态更新模块，更新数据库中区块数据的确认状态。

区块链监控模块，用于监控区块链数据，在有新的区块产生的时候，通知区块数据获取模块，同步新区块数据；并将数据库中的未确认区块的数据与区块链上相同高度的数据进行同步。

该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。

Claims (9)

1.一种基于区块链数据的下链同步方法，其特征在于，该方法包括以下步骤：

(1)在链下数据库中创建与区块链数据结构相对应的数据表，根据业务需求给数据表添加索引；

(2)读取区块链中的区块数据；

(3)对读取的区块数据进行解析，按业务功能分解成相应的元素对象组；

(4)将一个或者多个对象组中的数据按顺序***到链下数据库中对应的数据表中；

(5)监听区块链数据的更新，将区块链上新增的区块数据同步到链下数据库中；然后更新链下数据库中未确认的区块数据的确认状态。

2.根据权利要求1所述的一种基于区块链数据的下链同步方法，其特征在于，所述步骤(3)中，先将区块数据分别进行反序列化成区块对象元素，然后将区块对象元素进行二次解析，按业务功能分解成相应的元素对象组。

3.根据权利要求1所述的一种基于区块链数据的下链同步方法，其特征在于，所述步骤(4)的具体流程为：根据区块数据的区块高度在链下数据库中查找其对应的区块数据，如果查找到有对应的区块数据，则判断区块的哈希值是否相同，如果相同则说明当前区块已经同步过了，不需要再次同步；如果区块的哈希值不同，则在数据库里的全部数据表中根据区块高度删除对应的区块数据；循环全部对象组，将数据分别***到链下数据库里对应的数据表中；

如果在数据库中查找不到有对应的区块数据，则将区块数据按照分组对应关系写入相对应的数据表中。

4.根据权利要求1所述的一种基于区块链数据的下链同步方法，其特征在于，所述步骤(5)的具体流程为：定期查询链下数据库中未确认的区块数据，根据未确认的区块数据的区块高度在区块链上获取对应的区块数据，再依据区块链的区块确认规则来判断未确认的区块数据的确认状态，并将判断的确认状态同步更新到链下数据库中。

5.一种基于区块链数据的下链同步装置，其特征在于，该装置包括：

区块数据获取模块，用于获取区块链中保存的区块数据；

区块数据解析模块，用于解析区块数据，并将区块数据按业务功能做分类，形成多个对象组；

同步模块，用于将区块链的区块数据同步到链下数据库中；

区块链监控模块，用于跟踪监控区块链数据的更新，并且同步区块链上新增的区块数据、以及更新链下数据库中未确认的区块数据的确认状态。

6.根据权利要求5所述的一种基于区块链数据的下链同步装置，其特征在于，所述区块数据获取模块包括连接模块、读取模块和返回模块，所述连接模块发送和接收与区块链节点交互的数据请求；所述读取模块从区块链上读取区块数据。

7.根据权利要求5所述的一种基于区块链数据的下链同步装置，其特征在于，所述区块数据解析模块包括反序列化模块和分析模块，所述反序列化模块将读取的区块数据反序列化成区块对象元素；所述分析模块将区块对象元素进行二次解析，按业务功能分解成相应的元素对象组。

8.根据权利要求5所述的一种基于区块链数据的下链同步装置，其特征在于，所述同步模块包括查找模块、比较模块、数据更新模块和确认状态更新模块，所述查找模块查找区块数据是否存在于链下数据库中；所述比较模块用于比较区块链的区块数据和链下数据库中的区块数据是否完全相同；所述数据更新模块用于删除链下数据库中的错误数据，并***区块链的区块数据；所述确认状态更新模块用于更新链下数据库中区块数据的确认状态。

9.根据权利要求5所述的一种基于区块链数据的下链同步装置，其特征在于，所述区块链监控模块的具体处理流程为：监控区块链数据，当监控到有新的区块数据产生的时候，通知区块数据获取模块获取新的区块数据，再利用同步模块将新的区块数据同步到链下数据库中；然后将链下数据库中未确认的区块数据与区块链上具有相同区块高度的区块数据进行同步。