CN111159300A - 基于区块链的数据处理方法及装置 - Google Patents

Abstract

本发明公开了一种基于区块链的数据处理方法及装置，其中，该方法包括：接收来自区块链中多条数据链的多个作业数据，作业数据包括：作业执行顺序信息、作业基本信息；根据作业执行顺序信息将多个作业数据依次存储在本地数据库，本地数据库具有预先根据作业基本信息设置的索引；根据预定的订阅机制将对应的作业数据发送给订阅机制生产者，以便于转发给对应的订阅机制消费者。通过本发明，可以满足不同作业数据的查询需求，并且通过基于作业基本信息设置的索引，可以加快查询效率。

Description

基于区块链的数据处理方法及装置

技术领域

本发明涉及数据处理领域，具体涉及一种基于区块链的数据处理方法及装置。

背景技术

目前，区块链在投入生产应用后，面临的一个较大问题就是查询问题。原生区块链提供了各种不同的交易、区块数据的查询接口，但是这些查询基本都是基于区块链存储的key-value(健-值)数据库，而且基于区块的高度、ID(Identity document，身份标识号)、交易ID等要素作为KEY(健)进行查询。

然而，上述查询方式无法满足全部业务数据的查询，尤其对于在执行多维度审计、检索操作时，上述查询方式无法满足查询需求。

发明内容

有鉴于此，本发明提供一种基于区块链的数据处理方法及装置，以解决上述提及的至少一个问题。

根据本发明的第一方面，提供一种基于区块链的数据处理方法，所述方法包括：接收来自区块链中多条数据链的多个作业数据，所述作业数据包括：作业执行顺序信息、作业基本信息；根据所述作业执行顺序信息将所述多个作业数据依次存储在本地数据库，所述本地数据库具有预先根据作业基本信息设置的索引；根据预定的订阅机制将对应的作业数据发送给订阅机制生产者，以便于转发给对应的订阅机制消费者。

在接收来自区块链中多条数据链的多个作业数据之后，所述方法还包括：根据预定存储规则对所述多个作业数据进行过滤操作。

进一步地，所述方法还包括：接收并存储查询需求；根据所述查询需求通过所述索引反馈相关作业数据。

进一步地，所述方法还包括：根据所述查询需求更新所述索引。

根据本发明的第二方面，提供一种基于区块链的数据处理装置，所述装置包括：数据接收单元，用于接收来自区块链中多条数据链的多个作业数据，所述作业数据包括：作业执行顺序信息、作业基本信息；数据存储单元，用于根据所述作业执行顺序信息将所述多个作业数据依次存储在本地数据库，所述本地数据库具有预先根据作业基本信息设置的索引；数据发送单元，用于根据预定的订阅机制将对应的作业数据发送给订阅机制生产者，以便于转发给对应的订阅机制消费者。

优选地，所述装置还包括：过滤单元，用于根据预定存储规则对所述多个作业数据进行过滤操作。

进一步地，所述装置还包括：查询需求接收单元，用于接收并存储查询需求；反馈单元，用于根据所述查询需求通过所述索引反馈相关作业数据。

进一步地，所述装置还包括：更新单元，用于根据所述查询需求更新所述索引。

根据本发明的第三方面，提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述基于区块链的数据处理方法的步骤。

根据本发明的第四方面，本发明提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述基于区块链的数据处理方法的步骤。

由上述技术方案可知，通过将接收到的作业数据根据作业执行顺序依次存储到本地数据库，并根据订阅机制将对应的作业数据发送给订阅机制生产者，以便于对应的订阅机制消费者接收，由于本地数据库具有根据作业基本信息设置的索引，因而，可以满足不同作业数据的查询需求，并且通过基于作业基本信息设置的索引，可以加快查询效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明实施例的基于区块链的数据处理方法的流程图；

图2是根据本发明实施例的基于区块链的数据处理装置的结构框图；

图3是根据本发明实施例的基于区块链的数据处理装置的详细结构框图；

图4是根据本发明实施例的该区块链架构的示意图；

图5是根据本发明实施例的电子设备的示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

由于目前的区块链查询接口无法满足全部业务数据(以下称为作业数据)的查询需求，尤其是对于多维度审计和检索操作，基于此，本发明实施例提供一种基于区块链的数据处理方案，通过在本地数据库预先根据作业基本信息来设置索引，可以满足不同作业数据的查询需求，并且在查询作业数据时，可以加快查询效率。以下结合附图来详细描述本发明实施例。

图1是根据本发明实施例的基于区块链的数据处理方法的流程图，如图1所示，该方法包括：

步骤101，接收来自区块链中多条数据链的多个作业数据，所述作业数据包括：作业执行顺序信息、作业基本信息。这里的作业基本信息可以包括：与作业相关的作业时间、账号、***、涉及金额、收付款人等。

步骤102，根据所述作业执行顺序信息将所述多个作业数据依次存储在本地数据库，所述本地数据库具有预先根据作业基本信息设置的索引。

这里的本地数据库可以是关系型数据库，能够结构化存放各类区块数据，以便后续的查询。

在实际操作中，索引可以是基于作业(或称为业务)的主要字段来设置，例如，根据账号、客户号等来设置索引，也可以基于常用查询要素来设置索引。

在一个实施例中，可以通过账号、***、姓名、交易金额、收款人设置索引，也可以是几个要素组合来设置索引，例如，大概日期、大概金额、大概是谁参与了交易等作为查询条件，增加这些索引可以加快查询效率。

当接收到查询需求时，根据该查询需求通过预先设置的索引反馈相关作业数据。优选地，可以将该查询需求存储在本地，以便于后期根据该查询需求更新索引。

步骤103，根据预定的订阅机制将对应的作业数据发送给订阅机制生产者，以便于转发给对应的订阅机制消费者。

通过将接收到的作业数据根据作业执行顺序依次存储到本地数据库，并根据订阅机制将对应的作业数据发送给订阅机制生产者，以便于对应的订阅机制消费者接收，由于本地数据库具有根据作业基本信息设置的索引，因而，可以满足不同作业数据的查询需求，并且通过基于作业基本信息设置的索引，可以加快查询效率。

在具体实施过程中，区块链具有多条数据链，需要每个数据链设置同步。这样在本地数据库中，就可以有完整的数据，多个数据链之间的数据有关联，也可以体现在一个数据库中。

具体而言，每条数据链的交易(也可以称为作业)吞吐量不同，对于吞吐量较大的数据链，可以设置多个线程并发进行数据同步。在多线程同步的同时，如果交易之间出现严格的顺序类型，则可以将同步的区块链进行本地缓存、缓存的交易前后顺序连贯后，再依次存入数据库。

在一个实施例中，可以根据预定存储规则对接收到的多个作业数据进行过滤操作。也就是说，对于本地完全不需要的作业数据，可以在同步的同时进行过滤，减少本地数据库存储的压力，同时增加查询的效率。

在存储之前，数据链上的数据多半采用隐私技术进行加密，本地数据同步时，可以先将加密数据解密、JSON(JavaScript Object Notation，JS对象简谱)、XML(eXtensibleMarkup Language，可扩展标记语言)等格式数据解析后进行存储，以提高后续的查询速度。

优选地，存储接收到的多条数据链的多个作业数据之间的作业关联关系。

具体而言，对于在多个区块链上完成的交易，可以获取交易的连续特征，并保存在本地规则库中。例如，两条链之间存在客户号对应关系、时间前后关系、业务ID对照关系(例如，交易在A链中执行的业务ID为ID1，对应在B链的业务ID为IDB)，将业务在多条链之间的连续性串接并关联起来，形成全局会话交谈序列，用于本地关联性查询，可以用于追根溯源，以及多链上追踪交易去向的需求。

在步骤103中，当区块链中的交易并非都是客户端需要处理的交易时，特别只有少量是客户端交易时，就需要执行订阅机制。例如，一个机构有多个业务部门，每个部门有各自的获取需求，则每个部门可以定制自己需要的交易条件，即，设置订阅机制。这样，在区块作业数据处理过程中，会根据已经订阅的交易条件，向对应的客户端推送对应的交易信息。

在一个实施例中，可以通过订阅机制来实现监控，例如，有的交易会存在某种特征(如金额过大、过于频繁)时，可以将这类交易推送给监控终端并触发监控终端的报警机制。

在实际操作中，可以将订阅机制结合到同步机制中，在同步过程中，当获取的数据满足订阅机制时，可以将数据发送给订阅机制的生产者，生产者会自动发送给消费者。

具体而言，同步机制流程可以包括：从区块链(并发)取得数据，解析数据，过滤数据，数据排序处理并将数据保存到本地数据库。

订阅流程可以包括：客户订阅消息，通过同步机制将订阅消息发送给订阅生产者，订阅生产者推送消息给订阅消费者，订阅消费者启动相关功能接收消息。

基于相似的发明构思，本发明实施例还提供一种基于区块链的数据处理装置，优选地，该装置可以用于实现上述的方法实施例。

图2是根据本发明实施例的基于区块链的数据处理装置的结构框图，如图2所示，该装置包括：数据接收单元21、数据存储单元22和数据发送单元23，其中：

数据接收单元21，用于接收来自区块链中多条数据链的多个作业数据，所述作业数据包括：作业执行顺序信息、作业基本信息。这里的作业基本信息可以包括：与作业相关的作业时间、账号、***、涉及金额、收付款人等。

数据存储单元22，用于根据所述作业执行顺序信息将所述多个作业数据依次存储在本地数据库，所述本地数据库具有预先根据作业基本信息设置的索引。

数据发送单元23，用于根据预定的订阅机制将对应的作业数据发送给订阅机制生产者，以便于转发给对应的订阅机制消费者。

通过数据存储单元22将数据接收单元21接收到的作业数据根据作业执行顺序依次存储到本地数据库，数据发送单元23根据订阅机制将对应的作业数据发送给订阅机制生产者，以便于对应的订阅机制消费者接收，由于本地数据库具有根据作业基本信息设置的索引，因而，可以满足不同作业数据的查询需求，并且通过基于作业基本信息设置的索引，可以加快查询效率。

在实际操作中，如图3所示，上述装置还包括：过滤单元24，用于根据预定存储规则对所述多个作业数据进行过滤操作。过滤单元24可以过滤本地不需要的交易数据，在数据同步的同时进行过滤，减少本地数据库存储的压力，同时增加查询的效率。

继续参见图3，上述装置还可以包括：查询需求接收单元25和反馈单元26，其中：

查询需求接收单元25，用于接收并存储查询需求；

反馈单元26，用于根据所述查询需求通过所述索引反馈相关作业数据。

为了提高查询效率，继续参见图3，上述装置还可以包括：更新单元27，用于根据所述查询需求更新所述索引，从而实现加快查询的效率。

优选地，继续参见图3，上述装置还包括：关联关系存储单元28，用于存储接收到的所述多条数据链的多个作业数据之间的作业关联关系。

通过关联关系存储单元28，可以将业务在多条链之间的连续性串接并关联起来，形成全局会话交谈序列，用于本地关联性查询，可以用于追根溯源，以及多链上追踪交易去向的需求。

上述各单元的具体执行过程，可以参见上述方法实施例中的描述，此处不再赘述。

在实际操作中，上述各单元可以组合设置、也可以单一设置，本发明不限于此。

以下结合图4所示的区块链架构来详细本发明实施例。

如图4所示，该区块链架构包括：区块链平台节点1、接入***2、业务***3、客户端4、订阅消费者5、订阅生产者6、同步模块7、解析过滤模块8、数据查询模块9、数据库10，以下对各部分分别进行详细描述。

(1)区块链平台节点1

每条区块链需要在本地建立节点，以便本地业务***接入该链中，对于较为复杂的区块链***，一般会有多个链，这些链可以采用不同的区块链协议，例如，Fabric0.6(一种区块链架构)、Fabric1.0、以及基于Fabric或其他联盟链增加了特有合约***的联盟链，或者区块链企业自主研发的区块链***。

无论哪一种区块链，本地数据库以文件方式存储区块链的区块数据，以及最新的区块状态信息。

(2)接入***2

区块链通过接入***2连入业务***，该接入***2可以具有通过区块链平台自行开发的接口，这种接口需要为每个不同平台开发。该接入***2也可以是通过区块链企业开发的BAAS平台(为方便区块链接入的云平台)，融合了各种区块链平台，业务***只需要调用该产品提供的统一BAAS接口即可。

(3)业务***3

业务***3负责完成与区块链***直接交互的业务逻辑处理。例如，数据上链，区块链数据查询等。在本发明实施例中，业务***可以直接连接数据查询模块，通过查询本地关系型数据库，完成快速查询，而无需到区块链节点数据中查询，从而大大提高查询效率，减少业务***和区块链数据特征的耦合性。

当在业务***中，有需要被动叫起的逻辑时，例如，状态变化的准实时通知，可以通过注册订阅消费者来完成该功能，而不必定期扫描数据或者夜间批量完成，这样可以提高实时性而降低***资源消耗。

(4)客户端4

客户端4可以是实际柜员、数据中心操作员等的终端设备，通过客户端可以发起业务请求、接收数据通知等。

(5)订阅消费者5

订阅消费者5是订阅机制的消息使用者，通过消息订阅操作后，会接收到订阅生产者发送过来的消息，而不必向生产者定期发送数据请求。

订阅消费者5负责完成从订阅生产者接收消息并且启动业务***的相关逻辑或者直接展示给客户端。

(6)订阅生产者6

订阅生产者6是订阅机制的消息发送者，在同步模块发现有符合订阅逻辑的数据时，将数据打包发给相应的订阅生产者，订阅生产者会将该消息发送给所有的该消息的消费者。

(7)同步模块7

同步模块7完成从区块链***到本地数据库的稳定同步。具体而言，同步模块7可以对每个区块链进行定时扫描，对于交易量大的链，同步模块根据预设配置进行多进程分块扫描，单链的数据，如果某一类交易有顺序要求，则需要在数据内存缓冲区中等待前置区块中类似的数据完成同步后，再依次写入本地数据库。

(8)解析过滤模块8

该解析过滤模块8由同步模块预先调用，解析过滤模块8主要负责如下操作：

(a)对读到的区块数据进行交易拆解；

(b)根据交易数据格式进行数据解包(例如，json、xml等)；

(c)根据配置查看该类交易是否为需要筛选掉的数据，如果是，则忽略该数据；

(d)查看该交易是否包含加密数据，如果包含，则将加密数据采用算法解密或者采用加密机解密。

(9)数据查询模块9

数据查询模块9负责完成从本地数据库按照查询需求查询相关的数据返回给查询调用方。

具体而言，根据查询需求，对本地数据库进行查询，将结果按照需要的视图进行编制并返回给业务***或者客户端。

查询需求可以保存在本地数据库中，通过对各类数据查询需求进行统计，可以进一步优化查询检索，以提高查询性能。

(10)数据库

该数据库为关系型数据库，用于结构化存放各类区块数据。

在***搭建、加载新的数据格式、加载新的查询需求需要新的索引时，根据需要，编写创建索引和数据表的脚本，在本地关系型数据库中可以创建对应的数据表和构建新的索引，为数据查询模块的查询做好准备。

图5是根据本发明实施例的电子设备的示意图。图5所示的电子设备为通用数据处理装置，其包括通用的计算机硬件结构，其至少包括处理器501和存储器502。处理器501和存储器502通过总线503连接。存储器502适于存储处理器501可执行的一条或多条指令或程序。该一条或多条指令或程序被处理器501执行以实现上述基于区块链的数据处理方法中的步骤。

上述处理器501可以是独立的微处理器，也可以是一个或者多个微处理器集合。由此，处理器501通过执行存储器502所存储的命令，从而执行如上所述的本发明实施例的方法流程实现对于数据的处理和对于其他装置的控制。总线503将上述多个组件连接在一起，同时将上述组件连接到显示控制器504和显示装置以及输入/输出(I/O)装置505。输入/输出(I/O)装置505可以是鼠标、键盘、调制解调器、网络接口、触控输入装置、体感输入装置、打印机以及本领域公知的其他装置。典型地，输入/输出(I/O)装置505通过输入/输出(I/O)控制器506与***相连。

其中，存储器502可以存储软件组件，例如操作***、通信模块、交互模块以及应用程序。以上所述的每个模块和应用程序都对应于完成一个或多个功能和在发明实施例中描述的方法的一组可执行程序指令。

本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时以实现上述基于区块链的数据处理方法的步骤。

综上所述，本发明实施例提供了一种基于区块链的数据处理方案，通过建立本地关系型数据库，可以自行处理本地数据，例如通过检索本地数据来返回查询结果，而不影响区块链交易，从而可以减少区块链对查询的处理性能，通过设置订阅机制，可以减少数据向上同步的资源消耗，同时可以应用于报警和监控，并且，当在区块链发生异常时，不会影响历史数据的查看。

以上参照附图描述了本发明的优选实施方式。这些实施方式的许多特征和优点根据该详细的说明书是清楚的，因此权利要求旨在覆盖这些实施方式的落入其真实精神和范围内的所有这些特征和优点。此外，由于本领域的技术人员容易想到很多修改和改变，因此不是要将本发明的实施方式限于所例示和描述的精确结构和操作，而是可以涵盖落入其范围内的所有合适修改和等同物。

本领域内的技术人员应明白，本发明的实施例可提供为方法、***、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (12)

1.一种基于区块链的数据处理方法，其特征在于，所述方法包括：

接收来自区块链中多条数据链的多个作业数据，所述作业数据包括：作业执行顺序信息、作业基本信息；

根据所述作业执行顺序信息将所述多个作业数据依次存储在本地数据库，所述本地数据库具有预先根据作业基本信息设置的索引；

根据预定的订阅机制将对应的作业数据发送给订阅机制生产者，以便于转发给对应的订阅机制消费者。

2.根据权利要求1所述的基于区块链的数据处理方法，其特征在于，接收来自区块链中多条数据链的多个作业数据之后，所述方法还包括：

根据预定存储规则对所述多个作业数据进行过滤操作。

3.根据权利要求1所述的基于区块链的数据处理方法，其特征在于，所述方法还包括：

接收并存储查询需求；

根据所述查询需求通过所述索引反馈相关作业数据。

4.根据权利要求3所述的基于区块链的数据处理方法，其特征在于，所述方法还包括：

根据所述查询需求更新所述索引。

5.根据权利要求3所述的基于区块链的数据处理方法，其特征在于，所述方法还包括：

存储接收到的所述多条数据链的多个作业数据之间的作业关联关系。

6.一种基于区块链的数据处理装置，其特征在于，所述装置包括：

数据接收单元，用于接收来自区块链中多条数据链的多个作业数据，所述作业数据包括：作业执行顺序信息、作业基本信息；

数据存储单元，用于根据所述作业执行顺序信息将所述多个作业数据依次存储在本地数据库，所述本地数据库具有预先根据作业基本信息设置的索引；

数据发送单元，用于根据预定的订阅机制将对应的作业数据发送给订阅机制生产者，以便于转发给对应的订阅机制消费者。

7.根据权利要求6所述的基于区块链的数据处理装置，其特征在于，所述装置还包括：

过滤单元，用于根据预定存储规则对所述多个作业数据进行过滤操作。

8.根据权利要求6所述的基于区块链的数据处理装置，其特征在于，所述装置还包括：

查询需求接收单元，用于接收并存储查询需求；

反馈单元，用于根据所述查询需求通过所述索引反馈相关作业数据。

9.根据权利要求8所述的基于区块链的数据处理装置，其特征在于，所述装置还包括：

更新单元，用于根据所述查询需求更新所述索引。

10.根据权利要求6所述的基于区块链的数据处理装置，其特征在于，所述装置还包括：

关联关系存储单元，用于存储接收到的所述多条数据链的多个作业数据之间的作业关联关系。

11.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至5中任一项所述基于区块链的数据处理方法的步骤。

12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至5中任一项所述基于区块链的数据处理方法的步骤。

Images