CN115129781A - 数据处理方法、装置、电子设备和存储介质 - Google Patents

数据处理方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
CN115129781A
CN115129781A CN202210424812.3A CN202210424812A CN115129781A CN 115129781 A CN115129781 A CN 115129781A CN 202210424812 A CN202210424812 A CN 202210424812A CN 115129781 A CN115129781 A CN 115129781A
Authority
CN
China
Prior art keywords
data
service
hash value
storing
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210424812.3A
Other languages
English (en)
Inventor
陈耀宗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Midea Payment Technology Co ltd
Original Assignee
Shenzhen Midea Payment Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Midea Payment Technology Co ltd filed Critical Shenzhen Midea Payment Technology Co ltd
Priority to CN202210424812.3A priority Critical patent/CN115129781A/zh
Publication of CN115129781A publication Critical patent/CN115129781A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G06F16/273—Asynchronous replication or reconciliation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2228—Indexing structures
    • G06F16/2255—Hash tables
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2471—Distributed queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G06F16/278—Data partitioning, e.g. horizontal or vertical partitioning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及数据处理技术领域，提供一种数据处理方法、装置、电子设备和存储介质，该方法包括：确定待存证数据的业务原始数据，确定所述业务原始数据的哈希值数据，并将所述业务原始数据与所述哈希值数据的对应关系记录至本地数据库；将所述哈希值数据进行区块链存证；通过异步处理方式将所述业务原始数据存储至分布式存储***。本发明提供的数据处理方法通过将需要存证的数据划分为业务原始数据以及哈希值数据，区块链节点本身仅对哈希值数据进行上链存证，业务原始数据则通过异步处理方式存储至分布式存储***，从而提高了区块链节点的存储效率以及提高了整体业务数据的处理能力，满足高并发场景的数据处理需求。

Description

数据处理方法、装置、电子设备和存储介质
技术领域
本发明涉及数据处理技术领域，尤其涉及数据处理方法、装置、电子设备和存储介质。
背景技术
区块链数据存证，就是把业务数据存到区块链上，达到防篡改、可追溯、数据来源可信任的目的。这些业务数据可以是文字、视频、音频图片等任何文件形式。
目前，区块链存证基本采用本地化存储的方案，在面对海量数据和大报文的情况时，磁盘会面临很大的读写压力。因此，现有的区块链存证技术无法满足工业互联网、物流等高并发场景的数据处理需求。
发明内容
本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出一种数据处理方法，提高了区块链存证的数据处理能力，满足高并发场景的数据处理需求。
本发明还提出一种数据处理装置。
本发明还提出一种电子设备。
本发明还提出一种存储介质。
根据本发明第一方面实施例的数据处理方法，包括：
确定待存证数据的业务原始数据，确定所述业务原始数据的哈希值数据，并将所述业务原始数据与所述哈希值数据的对应关系记录至本地数据库；
将所述哈希值数据进行区块链存证；
通过异步处理方式将所述业务原始数据存储至分布式存储***。
根据本发明实施例的数据处理方法，通过将需要存证的数据划分为业务原始数据以及哈希值数据，区块链节点本身仅对哈希值数据进行上链存证，业务原始数据则通过异步处理方式存储至分布式存储***，从而提高了区块链节点的存储效率以及提高了整体业务数据的处理能力，满足高并发场景的数据处理需求。
根据本发明的一个实施例，所述将所述哈希值数据进行区块链存证，包括：
获取所述待存证数据的业务特性，从候选存证链路中匹配出与所述业务特性相对应的目标存证链路；
基于所述目标存证链路将所述哈希值数据进行区块链存证。
根据本发明实施例的数据处理方法，根据待存证数据的业务特性以及预设的匹配规则，从候选存证链路中选择与业务特性相匹配的链路来进行区块链存证，提高了存证的灵活性和可靠性。
根据本发明的一个实施例，所述目标存证链路为至少两个；
所述基于所述目标存证链路将所述哈希值数据进行区块链存证，包括：
基于至少两个所述目标存证链路，利用消息中间件通过并发处理方式将所述哈希值数据进行区块链存证。
根据本发明实施例的数据处理方法，通过利用多个链路对同一哈希值数据进行存证，实现了数据的跨链存储和多元存证，提高了业务的可拓展性，利用消息中间件实现多区块链的并发存证，实现了上层业务和底层区块链的哈希存储解耦。
根据本发明的一个实施例，所述将所述哈希值数据进行区块链存证，包括：
确定所述业务原始数据的数据量少于预设阈值，将所述业务原始数据与所述哈希值数据打包之后进行区块链存证。
根据本发明实施例的数据处理方法，若确定业务原始数据的数据量少于一定阈值，则将待存证数据直接打包进行区块链存证，且不会引起区块链节点的数据处理压力过大问题，通过将业务原始数据和哈希值数据一并上链存证，提高了数据存证的可靠性。
根据本发明的一个实施例，在所述将所述哈希值数据进行区块链存证之后，还包括：
获取所述哈希值数据完成所述区块链存证时生成的存证记录数据，将所述存证记录数据存储至所述本地数据库，并记录所述存证记录数据的所属业务节点信息。
根据本发明实施例的数据处理方法，每当完成某一业务节点的哈希值数据上链存证操作后，生成相应的存证记录数据进行存储，同时记录对应的待存证数据的所属业务节点信息，以便提供后续的数据查询服务，提高了业务的可拓展性。
根据本发明的一个实施例，在所述获取所述哈希值数据完成所述区块链存证时生成的存证记录数据，将所述存证记录数据存储至所述本地数据库，并记录所述存证记录数据的所属业务节点信息之后，还包括：
根据所述所属业务节点信息确定所述存证记录数据的所属业务节点为目标业务的最终业务节点，并将与所述目标业务相对应的所有存证记录数据打包组合为所述目标业务的归档数据；
获取所述目标业务的业务配置属性，从候选归档链路中匹配出与所述业务配置属性相对应的目标归档链路，并根据所述业务配置属性确定所述目标业务的目标公证方式；
基于所述目标归档链路将所述目标业务的归档数据进行区块链存证，并基于所述目标公证方式获取所述目标业务的公证确认函。
根据本发明实施例的数据处理方法，通过对完成所有业务节点的业务数据进行数据归档，并根据该业务的配置属性选择合适的链路进行归档数据上链存证，同时匹配适当的公证方式进行公证确认函的获取，从而根据业务场景有针对性地对业务数据进行归档存证及公证溯源，提高了业务数据存证的灵活性。
根据本发明的一个实施例，在所述通过异步处理方式将所述业务原始数据存储至分布式存储***之后，还包括：
获取所述业务原始数据的业务同步数据，并通过异步刷盘方式将所述业务同步数据存储至分布式检索引擎集群。
根据本发明实施例的数据处理方法，对于需要提供业务检索的数据，通过异步刷盘方式将同步数据存储到分布式检索引擎集群，提供了业务数据的多功能检索能力。
根据本发明第二方面实施例的数据处理装置，包括：
确定模块，用于确定待存证数据的业务原始数据，确定所述业务原始数据的哈希值数据，并将所述业务原始数据与所述哈希值数据的对应关系记录至本地数据库；
存证模块，用于将所述哈希值数据进行区块链存证；
存储模块，用于通过异步处理方式将所述业务原始数据存储至分布式存储***。
根据本发明第三方面实施例的电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述数据处理方法。
根据本发明第四方面实施例的非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述数据处理方法。
本发明实施例中的上述一个或多个技术方案，至少具有如下技术效果之一：
通过将需要存证的数据划分为业务原始数据以及哈希值数据，区块链节点本身仅对哈希值数据进行上链存证，业务原始数据则通过异步处理方式存储至分布式存储***，从而提高了区块链节点的存储效率以及提高了整体业务数据的处理能力，满足高并发场景的数据处理需求。
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的数据处理方法的流程示意图之一；
图2是本发明实施例提供的数据处理装置的结构示意图；
图3是本发明实施例提供的电子设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明的实施方式作进一步详细描述。以下实施例用于说明本发明，但不能用来限制本发明的范围。
图1是本发明实施例提供的数据处理方法的流程示意图之一。参照图1，本发明实施例提供一种数据处理方法，包括步骤：
S1、确定待存证数据的业务原始数据，确定所述业务原始数据的哈希值数据，并将所述业务原始数据与所述哈希值数据的对应关系记录至本地数据库。
需要说明的是，区块链数据存证，就是把业务数据存到区块链上，达到防篡改、可追溯、数据来源可信任的目的。这些业务数据可以是文字、视频、音频图片等任何文件形式。目前，区块链存证基本采用本地化存储的方案，在面对海量数据和大报文的情况时，区块链节点无法提供很好的并发处理能力，本地化存储的磁盘会面临很大的读写压力。因此，现有的区块链存证技术无法满足工业互联网、物流等高并发场景的数据处理需求。
有鉴于此，本发明实施例提供了基于区块链的大数据处理方案。首先，将需要进行存证的数据划分为业务原始数据和哈希值数据，具体地，可以根据待存证数据确定哪些是数据量较大的业务原始数据，具体的业务原始数据可以根据实际需求进行定义，例如根据不同的业务***定义不同的存证模板，通过存证模板获取待存证数据的业务原始数据。然后基于这些业务原始数据确定相应的哈希值数据，例如通过提取业务原始数据的关键信息或参数进行哈希值计算，确定得到该业务原始数据对应的哈希值数据。并对业务原始数据与哈希值数据的对应关系进行记录，以对区块链存证的哈希值数据与业务原始数据进行关联。
S2、将所述哈希值数据进行区块链存证。
可以理解的是，在本发明实施例中，区块链节点本身只作为可信存储部分，对业务原始数据相对应的哈希值数据进行哈希存储，由于不需要将业务原始数据进行存储，因此减轻了区块链节点的存储压力，提高了节点的存储效率，进而大大提高了业务***整体的数据处理能力。
S3、通过异步处理方式将所述业务原始数据存储至分布式存储***。
需要说明的是，在面对工业互联网、物流等场景时，业务***所产生的数据是十分庞大且是高并发的，若通过传统的区块链存证技术根本无法对这些高并发数据进行存证，因此，本发明实施例可以在业务***及区块链服务之间部署数据服务***，将数据存储分为业务原始数据分布式存储以及可信数据哈希存储。其中，对于业务原始数据的存储，通过支持高并发中间件的灵活使用，可以对高并发的海量数据进行灵活处理，完整的业务原始数据通过数据服务在分布式存储的加持下，可以实现数据存储节点的横向扩展。
在本发明实施例中，对于业务原始数据的存储，可以通过异步处理方式，将数据存储至分布式存储***。其中，可以对业务原始数据进行进一步加密后存储至分布式存储***。作为举例，分布式存储***可以采用基于HDFS的NOSQL(非关系型的数据库)数据库作为存储的主数据库，如Hbase分布式数据库，基于分布式存储的NOSQL数据库的列式存储特性，为业务可拓展性奠定了良好的基础，同时其针对ROWKEY的高并发***和查询能力，对海量数据的操作提供数据基础支撑。
可以理解的是，通过将获取到的需要存证的数据，分为业务原始数据以及对应的哈希值数据分别进行存储(调用相应接口实现)，并将两种数据的对应关系进行记录，那么在后续查询时，在获取到其中一种数据时，根据记录的对应关系能够获知其对应的另一种数据是哪些，进而再去对应的***(区块链或分布式存储***)进行数据查询。
本发明实施例提供的数据处理方法，通过将需要存证的数据划分为业务原始数据以及哈希值数据，区块链节点本身仅对哈希值数据进行上链存证，业务原始数据则通过异步处理方式存储至分布式存储***，通过对区块链存证服务和分布式存储***进行解耦，提高了区块链节点的存储效率以及提高了整体业务数据的处理能力，满足高并发场景的数据处理需求。
在一个实施例中，步骤S2可以包括步骤：
S21、获取所述待存证数据的业务特性，从候选存证链路中匹配出与所述业务特性相对应的目标存证链路；
S22、基于所述目标存证链路将所述哈希值数据进行区块链存证。
可以理解的是，对于不同的业务***产生的数据，或是对于同一业务***中的不同业务数据，通常会有不同的存证需求，甚至乎对于同一业务的不同业务节点也可能存证不同的存证需求。对此，在本发明实施例中，可以根据待存证数据的业务特性从多个候选存证链路中匹配出适当的目标存证链路进行上链存证。
例如，业务特性可以是待存证数据中携带的标识，每一种业务特性标识可以对应一个或多个候选存证链路，在需要对待存证数据进行处理时，可以根据获取到的待存证数据的业务特性标识以及预设的对应关系，确定出目标存证链路对该待存证数据对应的哈希值数据进行区块链存证；具体的标识类型以及对应关系可以根据实际应用进行设定，例如某种业务需要提供溯源服务，则将该业务的标识为能够提供溯源服务的目标存证链路。
又例如，业务特性可以是根据待存证数据中特定参数(如数据量等)计算的特征值，继而根据计算得到的特征值与预设的阈值进行比较，以确定目标存证链路。
本发明实施例提供的数据处理方法，通过根据待存证数据的业务特性以及预设的匹配规则，从候选存证链路中选择与业务特性相匹配的链路来进行区块链存证，提高了存证业务的灵活性和可靠性，若根据数据量特性来选择存证链路，则能进一步提高区块链节点的存储效率。
在一个实施例中，所述目标存证链路为至少两个；
步骤S21可以包括步骤：
S211、基于至少两个所述目标存证链路，利用消息中间件通过并发处理方式将所述哈希值数据进行区块链存证。
需要说明的是，对于较为重要的业务数据，可能存证同时通过多个区块链进行存证的需求。在本发明实施例中，当匹配到目标存证链路为两个或以上时，可以利用消息中间件通过并发处理方式将所述哈希值数据进行区块链存证，通过消息中间件可以分割不同的主题对不同的存证方和区块链提供支持，同时能够充分发挥消息中间件在削峰填谷和业务逻辑解耦上的优势，提高数据服务的横向处理能力。
本发明实施例提供的数据处理方法，通过基于消息驱动的特性，加上可配置的数据链路加持，利用多个链路对同一哈希值数据进行存证，实现了数据的跨链存储和多元存证，提高了业务的可拓展性，利用消息中间件实现多区块链的并发存证，实现了上层业务和底层区块链的哈希存储解耦。
在一个实施例中，步骤S2还可以包括步骤：
S23、确定所述业务原始数据的数据量少于预设阈值，将所述业务原始数据与所述哈希值数据打包之后进行区块链存证。
在本发明实施例中，在划分业务原始数据和相应的哈希值数据后，若判断业务原始数据的数据量少于预设的阈值，为了充分发挥区块链服务的作用，可以将业务原始数据与哈希值数据一并打包之后进行区块链存证。其中，预设的阈值可以是固定设置的阈值，也可以是根据区块链节点当前的数据处理压力实时进行自适应调整的阈值，从而更好地确保区块链节点的存储效率。
本发明实施例提供的数据处理方法，若确定业务原始数据的数据量少于一定阈值，则将待存证数据直接打包进行区块链存证，由于是在判定当前的业务原始数据足够轻量时才进行打包存证，因此在提高数据存证的可靠性的同时避免了导致区块链节点的数据处理压力过大的问题，确保了区块链节点的存储效率，从而进一步提高了整体业务数据的处理能力。
在一个实施例中，在步骤S2之后，还可以包括步骤：
S24、获取所述哈希值数据完成所述区块链存证时生成的存证记录数据，将所述存证记录数据存储至所述本地数据库，并记录所述存证记录数据的所属业务节点信息。
需要说明的是，对于已存证的数据，可以生成相应的存证记录数据进行存储备份。例如具体到某个业务，会存在多个业务节点，且该业务的多个业务节点所占时间跨度较大，则需要对该业务的每一业务节点完成存证的同时，生成相应的存证记录数据，直至该业务的最终节点完成。
本发明实施例提供的数据处理方法，每当完成某一业务节点的哈希值数据上链存证操作后，生成相应的存证记录数据进行存储，同时记录对应的待存证数据的所属业务节点信息，以便提供后续的数据查询服务，提高了业务的可拓展性。
在一个实施例中，在步骤S24之后，还可以包括步骤：
S25、根据所述所属业务节点信息确定所述存证记录数据的所属业务节点为目标业务的最终业务节点，并将与所述目标业务相对应的所有存证记录数据打包组合为所述目标业务的归档数据；
S26、获取所述目标业务的业务配置属性，从候选归档链路中匹配出与所述业务配置属性相对应的目标归档链路，并根据所述业务配置属性确定所述目标业务的目标公证方式；
S27、基于所述目标归档链路将所述目标业务的归档数据进行区块链存证，并基于所述目标公证方式获取所述目标业务的公证确认函。
在本发明实施例中，当判断某目标业务已完成所有业务节点时，则可以将该目标业务对应的所有存证记录数据进行打包为归档数据，并对归档数据进行进一步上链存证以及调用特定公证方式获取公证确认函。
作为举例，对于个人贷款业务，可以包括如注册、申请贷款、实名认证、预览合同、签署合同、合同生效、还款等多个业务节点，区块链服务在对每个节点进行存证时会返回存证记录数据(如哈希数据)，当该用户完成还款时即视为完成该业务的所有业务节点，此时将此前存储的与该业务相关的所有存证记录数据进行打包组合为该业务的归档数据，用于实现归档数据的上链存证和公证方式调用。其中，归档数据的存证可以基于该业务对应的业务配置属性，选择与该业务场景相匹配的存证链路以及适配的公证方式。
本发明实施例提供的数据处理方法，通过对完成所有业务节点的业务数据进行数据归档，并根据该业务的配置属性选择合适的链路进行归档数据上链存证，同时匹配适当的公证方式进行公证确认函的获取，从而根据业务场景有针对性地对业务数据进行归档存证及公证溯源，提高了业务数据存证的灵活性。
在一个实施例中，在步骤S3之后，还可以包括步骤：
S31、获取所述业务原始数据的业务同步数据，并通过异步刷盘方式将所述业务同步数据存储至分布式检索引擎集群。
需要说明的是，对于业务原始数据的数据服务，可以采用Elasticseach为负责数据检索的数据源，进一步地，可以采用TiDB的分布式关系型数据库作为数据分析来源。对于需要提供业务检索的数据，可以通过异步批量刷盘的方式，同步数据到多节点分布式Elasticsearch集群，前端检索通过可配置化声明书的数据对象定义，精确计算检索的数据所属索引，提供分页查询，分组查询，聚合查询等复杂数据检索能力。另外，在关键的基础数据处理上，可以利用缓存中间件，如redis，提供热点数据的查询支持。
本发明实施例提供的数据处理方法，对于需要提供业务检索的数据，通过异步刷盘方式将同步数据存储到分布式检索引擎集群，提供了业务数据的多功能检索能力，从而进一步地提高了整体业务数据的处理能力。
下面对本发明实施例提供的数据处理装置进行描述，下文描述的数据处理装置与上文描述的数据处理方法可相互对应参照。
参考图2，图2是本发明实施例提供的数据处理装置的模块示意图，本发明提供的数据处理装置，包括确定模块1、存证模块2和存储模块3；其中，
所述确定模块1，用于确定待存证数据的业务原始数据，确定所述业务原始数据的哈希值数据，并将所述业务原始数据与所述哈希值数据的对应关系记录至本地数据库；
所述存证模块2，用于将所述哈希值数据进行区块链存证；
所述存储模块3，用于通过异步处理方式将所述业务原始数据存储至分布式存储***。
在一个实施例中，所述存证模块2具体包括：
链路匹配单元，用于获取所述待存证数据的业务特性，从候选存证链路中匹配出与所述业务特性相对应的目标存证链路；
数据存证单元，用于基于所述目标存证链路将所述哈希值数据进行区块链存证。
在一个实施例中，所述目标存证链路为至少两个；
所述数据存证单元具体用于：
基于至少两个所述目标存证链路，利用消息中间件通过并发处理方式将所述哈希值数据进行区块链存证。
在一个实施例中，所述存证模块2具体还用于：
确定所述业务原始数据的数据量少于预设阈值，将所述业务原始数据与所述哈希值数据打包之后进行区块链存证。
在一个实施例中，所述数据处理装置还包括数据记录模块，其用于：
获取所述哈希值数据完成所述区块链存证时生成的存证记录数据，将所述存证记录数据存储至所述本地数据库，并记录所述存证记录数据的所属业务节点信息。
在一个实施例中，所述数据处理装置还包括数据归档模块，其用于：
根据所述所属业务节点信息确定所述存证记录数据的所属业务节点为目标业务的最终业务节点，并将与所述目标业务相对应的所有存证记录数据打包组合为所述目标业务的归档数据；
获取所述目标业务的业务配置属性，从候选归档链路中匹配出与所述业务配置属性相对应的目标归档链路，并根据所述业务配置属性确定所述目标业务的目标公证方式；
基于所述目标归档链路将所述目标业务的归档数据进行区块链存证，并基于所述目标公证方式获取所述目标业务的公证确认函。
在一个实施例中，所述数据处理装置还包括数据同步模块，其用于：
获取所述业务原始数据的业务同步数据，并通过异步刷盘方式将所述业务同步数据存储至分布式检索引擎集群。
可以理解的是上述装置项实施例，是与本发明方法项实施例相对应的，本发明实施例提供的数据处理装置，可以实现本发明任意一项方法项实施例提供的数据处理方法。
图3示例了一种电子设备的实体结构示意图，如图3所示，该电子设备可以包括：处理器(processor)310、通信接口(Communications Interface)320、存储器(memory)330和通信总线340，其中，处理器310，通信接口320，存储器 330通过通信总线340完成相互间的通信。处理器310可以调用存储器330中的逻辑指令，以执行如下方法：
S1、确定待存证数据的业务原始数据，确定所述业务原始数据的哈希值数据，并将所述业务原始数据与所述哈希值数据的对应关系记录至本地数据库；
S2、将所述哈希值数据进行区块链存证；
S3、通过异步处理方式将所述业务原始数据存储至分布式存储***。
此外，上述的存储器330中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
进一步地，本发明实施例公开一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的方法，例如包括：
S1、确定待存证数据的业务原始数据，确定所述业务原始数据的哈希值数据，并将所述业务原始数据与所述哈希值数据的对应关系记录至本地数据库；
S2、将所述哈希值数据进行区块链存证；
S3、通过异步处理方式将所述业务原始数据存储至分布式存储***。
另一方面，本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的传输方法，例如包括：
S1、确定待存证数据的业务原始数据，确定所述业务原始数据的哈希值数据，并将所述业务原始数据与所述哈希值数据的对应关系记录至本地数据库；
S2、将所述哈希值数据进行区块链存证；
S3、通过异步处理方式将所述业务原始数据存储至分布式存储***。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
以上实施方式仅用于说明本发明，而非对本发明的限制。尽管参照实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，对本发明的技术方案进行各种组合、修改或者等同替换，都不脱离本发明技术方案的精神和范围，均应涵盖在本发明的权利要求范围中。

Claims (10)

1.一种数据处理方法，其特征在于，包括：
确定待存证数据的业务原始数据，确定所述业务原始数据的哈希值数据，并将所述业务原始数据与所述哈希值数据的对应关系记录至本地数据库；
将所述哈希值数据进行区块链存证；
通过异步处理方式将所述业务原始数据存储至分布式存储***。
2.根据权利要求1所述的数据处理方法，其特征在于，所述将所述哈希值数据进行区块链存证，包括：
获取所述待存证数据的业务特性，从候选存证链路中匹配出与所述业务特性相对应的目标存证链路；
基于所述目标存证链路将所述哈希值数据进行区块链存证。
3.根据权利要求2所述的数据处理方法，其特征在于，所述目标存证链路为至少两个；
所述基于所述目标存证链路将所述哈希值数据进行区块链存证，包括：
基于至少两个所述目标存证链路，利用消息中间件通过并发处理方式将所述哈希值数据进行区块链存证。
4.根据权利要求1所述的数据处理方法，其特征在于，所述将所述哈希值数据进行区块链存证，包括：
确定所述业务原始数据的数据量少于预设阈值，将所述业务原始数据与所述哈希值数据打包之后进行区块链存证。
5.根据权利要求1所述的数据处理方法，其特征在于，在所述将所述哈希值数据进行区块链存证之后，还包括：
获取所述哈希值数据完成所述区块链存证时生成的存证记录数据，将所述存证记录数据存储至所述本地数据库，并记录所述存证记录数据的所属业务节点信息。
6.根据权利要求5所述的数据处理方法，其特征在于，在所述获取所述哈希值数据完成所述区块链存证时生成的存证记录数据，将所述存证记录数据存储至所述本地数据库，并记录所述存证记录数据的所属业务节点信息之后，还包括：
根据所述所属业务节点信息确定所述存证记录数据的所属业务节点为目标业务的最终业务节点，并将与所述目标业务相对应的所有存证记录数据打包组合为所述目标业务的归档数据；
获取所述目标业务的业务配置属性，从候选归档链路中匹配出与所述业务配置属性相对应的目标归档链路，并根据所述业务配置属性确定所述目标业务的目标公证方式；
基于所述目标归档链路将所述目标业务的归档数据进行区块链存证，并基于所述目标公证方式获取所述目标业务的公证确认函。
7.根据权利要求1-6任一项所述的数据处理方法，其特征在于，在所述通过异步处理方式将所述业务原始数据存储至分布式存储***之后，还包括：
获取所述业务原始数据的业务同步数据，并通过异步刷盘方式将所述业务同步数据存储至分布式检索引擎集群。
8.一种数据处理装置，其特征在于，包括：
确定模块，用于确定待存证数据的业务原始数据，确定所述业务原始数据的哈希值数据，并将所述业务原始数据与所述哈希值数据的对应关系记录至本地数据库；
存证模块，用于将所述哈希值数据进行区块链存证；
存储模块，用于通过异步处理方式将所述业务原始数据存储至分布式存储***。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述数据处理方法。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述数据处理方法。
CN202210424812.3A 2022-04-21 2022-04-21 数据处理方法、装置、电子设备和存储介质 Pending CN115129781A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210424812.3A CN115129781A (zh) 2022-04-21 2022-04-21 数据处理方法、装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210424812.3A CN115129781A (zh) 2022-04-21 2022-04-21 数据处理方法、装置、电子设备和存储介质

Publications (1)

Publication Number Publication Date
CN115129781A true CN115129781A (zh) 2022-09-30

Family

ID=83375882

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210424812.3A Pending CN115129781A (zh) 2022-04-21 2022-04-21 数据处理方法、装置、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN115129781A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116668451A (zh) * 2023-04-10 2023-08-29 中泰证券股份有限公司 一种证券业务的数据存证方法、设备及介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116668451A (zh) * 2023-04-10 2023-08-29 中泰证券股份有限公司 一种证券业务的数据存证方法、设备及介质
CN116668451B (zh) * 2023-04-10 2024-01-23 中泰证券股份有限公司 一种证券业务的数据存证方法、设备及介质

Similar Documents

Publication Publication Date Title
CN109410045B (zh) 一种平行链共识方法、设备和存储介质
CN110689349B (zh) 一种区块链中的交易哈希值存储和搜索方法及装置
US20120011101A1 (en) Integrating client and server deduplication systems
CN106874348B (zh) 文件存储和索引方法、装置及读取文件的方法
CN106649828B (zh) 一种数据查询方法及***
CN111651525A (zh) 区块链数据存储方法和装置
CN111435367B (zh) 知识图谱的构建方法、***、设备及存储介质
CN111858520A (zh) 一种区块链节点数据分离存储的方法和装置
CN112785408A (zh) 基于哈希的对账方法及装置
CN105975352A (zh) 一种缓存数据处理方法及服务器
CN103414762A (zh) 云备份方法和装置
CN110719526B (zh) 视频播放方法及装置
CN115858488A (zh) 基于数据治理的平行迁移方法、装置及可读介质
CN115129781A (zh) 数据处理方法、装置、电子设备和存储介质
CN108304144B (zh) 数据写入、读取方法与***、数据读写***
CN112241396B (zh) 基于Spark的对Delta进行小文件合并的方法及***
CN116756253B (zh) 关系型数据库的数据存储、查询方法、装置、设备和介质
CN112181302A (zh) 一种数据多级存储和访问方法及***
CN107436848B (zh) 一种实现用户数据和压缩数据间转换的方法及装置
CN106599326B (zh) 一种云化架构下的记录数据剔重处理方法及***
CN113709059B (zh) 一种链路流量录制方法及节点
CN115129787A (zh) 一种维护区块链数据的方法、装置、电子设备和存储介质
CN111787074B (zh) 一种文件同步方法及终端
CN111858609A (zh) 区块链模糊查询方法及装置
CN112612805A (zh) 一种hbase数据索引到查询引擎的方法和相关装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination