CN113806342A - 一种提取以太坊区块链底层数据的*** - Google Patents

一种提取以太坊区块链底层数据的*** Download PDF

Info

Publication number
CN113806342A
CN113806342A CN202110824446.6A CN202110824446A CN113806342A CN 113806342 A CN113806342 A CN 113806342A CN 202110824446 A CN202110824446 A CN 202110824446A CN 113806342 A CN113806342 A CN 113806342A
Authority
CN
China
Prior art keywords
data
module
formatting
analyzing
secondly
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110824446.6A
Other languages
English (en)
Inventor
郑程
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen Lianyin Technology Co ltd
Original Assignee
Xiamen Lianyin Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen Lianyin Technology Co ltd filed Critical Xiamen Lianyin Technology Co ltd
Priority to CN202110824446.6A priority Critical patent/CN113806342A/zh
Publication of CN113806342A publication Critical patent/CN113806342A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/252—Integrating or interfacing systems involving database management systems between a Database Management System and a front-end application
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Quality & Reliability (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开的一种提取以太坊区块链底层数据的***，属于以太坊数据提取技术领域；包括LevelDB底层连接模块、数据结构解析模块、数据格式化模块，所述LevelDB底层模块主要功能如下：一、对以太坊的LevelDB数据库实现直接访问；二、控制多线程解析时数据库锁；所述数据解析模块主要功能如下：一、解析区块头数据；二、解析区块内交易数据；三、解析区块内调用Log数据；所述数据格式化模块主要功能如下：一、十六进制交易额十进制话；二、格式化交易地址；三、格式化交易调用函数；本发明通过实现直接访问以太坊节点底层LevelDB并格式化二进制数据来导出以太坊区块链数据。使用本发明可大大缩短导出以太坊区块链数据的时间，为以太坊链上数据分析提供高效可靠的数据源。

Description

一种提取以太坊区块链底层数据的***
技术领域
本发明提供一种提取以太坊区块链底层数据的***，属于以太坊数据提取技术领域。
背景技术
以太坊(英文Ethereum)是一个开源的有智能合约功能的公共区块链平台，通过其专用 加密货币以太币(Ether，简称“ETH”)提供去中心化的以太虚拟机(Ethereum VirtualMachine) 来处理点对点合约。以太坊主链上保存了数十亿级的历史交易数据与合约调用数据，要高效 全面的分析区块链链上数据与记录需要将已压缩二进制化的区块数据解析成字段明晰、可索 引性强、可分析性强的数据录入高性能数据库，从而加速对其进行大数据挖掘分析及人工智 能聚类的能力。
以太坊中有两种截然不同的数据；永久数据和临时数据。永久数据的例子是交易，交易 被完全确认后将被记录在transaction trie，也将绝不会改变。临时数据的例子是特定以太坊帐 户地址上的余额。帐户地址的余额存储在state trie中并且每当该特定帐户的交易改变时就会 被更改。在以太坊中，永久数据和临时数据(如帐户余额)被单独存储，以太坊使用trie数 据结构来管理数据。
以太坊使用LevelDB来作为其底层数据的储存数据库，LevelDB是开源的键值对数据库， 除了数据库主要功能外，还提供对数据的前向和后向迭代，从键到值的有序映射，自定义比 较函数和自动压缩功能。使用开源Google压缩/解压缩库“Snappy”可以自动压缩数据。相 比追求最大压缩，Snappy的目标是更快的压缩速度。LevelDB提供一种重要的存储和检索机 制用于管理以太坊网络的状态。由于以太坊数据结构的复杂性，市面上现有的以太坊ETL工 具都是跨过LevelDB而直接通过对以太坊节点程序自带的RPC接口进行请求来导出历史数 据。
现有的以太坊数据导出技术都是通过对以太坊节点程序自带的RPC接口进行请求来导出 历史数据，这样的提取方式效率低下，并且会对服务器造成极大负载，全量数据导出周期长 (时长约一个月)，无法满足对以太坊数据进行快速分析的需求。
发明内容
本发明提供的一种提取以太坊区块链底层数据的***，并且可以解决现有的以太坊数据 导出技术提取效率低下的问题。
本发明为了解决上述问题，所提出的技术方案为：包括LevelDB底层连接模块、数据结 构解析模块、数据格式化模块，所述LevelDB底层模块主要功能如下：一、对以太坊的LevelDB 数据库实现直接访问；二、控制多线程解析时数据库锁；所述数据解析模块主要功能如下： 一、解析区块头数据；二、解析区块内交易数据；三、解析区块内调用Log数据；所述数据 格式化模块主要功能如下：一、十六进制交易额十进制话；二、格式化交易地址；三、格式 化交易调用函数；
其运行方式如下：
a：数据抽取，直接解析以太坊LevelDB并格式化二进制数据来获取以太坊底层数据，在 抽取的过程中需要挑选不同的抽取方法，从而尽可能的提高运行效率；
b：数据的清洗转换；
c：数据的加载；
本发明的有益效果：
本发明通过实现直接访问以太坊节点底层LevelDB并格式化二进制数据来导出以太坊区 块链数据。使用本发明可大大缩短(由一般的一个月周期缩短为2天)导出以太坊区块链数 据的时间，为以太坊链上数据分析提供高效可靠的数据源。本发明可以提升对以太坊区块链 底层数据的提取效率，并且尽可能的最大限度还原以太坊区块链底层数据原始格式。
附图说明
图1为本发明一种提取以太坊区块链底层数据的***的以太坊数据导出流程图。
具体实施方式
下面结合附图对本发明进一步说明。
根据图1所示：本发明提供了一种提取以太坊区块链底层数据的***：包括LevelDB底 层连接模块、数据结构解析模块、数据格式化模块，所述LevelDB底层模块主要功能如下： 一、对以太坊的LevelDB数据库实现直接访问；二、控制多线程解析时数据库锁；所述数据 解析模块主要功能如下：一、解析区块头数据；二、解析区块内交易数据；三、解析区块内 调用Log数据；所述数据格式化模块主要功能如下：一、十六进制交易额十进制话；二、格 式化交易地址；三、格式化交易调用函数；其运行方式如下：a：数据抽取，直接解析以太坊 LevelDB并格式化二进制数据来获取以太坊底层数据，在抽取的过程中需要挑选不同的抽取 方法，从而尽可能的提高运行效率；b：数据的清洗转换；c：数据的加载；
通过实现直接访问以太坊节点底层LevelDB并格式化二进制数据来导出以太坊区块链数 据。使用本发明可大大缩短(由一般的一个月周期缩短为2天)导出以太坊区块链数据的时 间，为以太坊链上数据分析提供高效可靠的数据源。具体方式为首先进行数据抽取，直接解 析以太坊LevelDB并格式化二进制数据来获取以太坊底层数据，在抽取的过程中需要挑选不 同的抽取方法，从而尽可能的提高运行效率，然后进行数据的清洗转换，最后进行数据的加 载。
以上对本发明及其实施方式进行了描述，这种描述没有限制性，附图中所示的也只是本 发明的实施方式之一，实际的结构并不局限于此。总而言之如果本领域的普通技术人员受其 启示，在不脱离本发明创造宗旨的情况下，不经创造性的设计出与该技术方案相似的结构方 式及实施例，均应属于本发明的保护范围。

Claims (2)

1.一种提取以太坊区块链底层数据的***，其特征在于：包括LevelDB底层连接模块、数据结构解析模块、数据格式化模块，所述LevelDB底层模块主要功能如下：一、对以太坊的LevelDB数据库实现直接访问；二、控制多线程解析时数据库锁；所述数据解析模块主要功能如下：一、解析区块头数据；二、解析区块内交易数据；三、解析区块内调用Log数据；所述数据格式化模块主要功能如下：一、十六进制交易额十进制话；二、格式化交易地址；三、格式化交易调用函数。
2.根据权利要求1所述的一种提取以太坊区块链底层数据的***，其特征在于：其运行方式如下：
a：数据抽取，直接解析以太坊LevelDB并格式化二进制数据来获取以太坊底层数据，在抽取的过程中需要挑选不同的抽取方法，从而尽可能的提高运行效率；
b：数据的清洗转换；
c：数据的加载。
CN202110824446.6A 2021-07-21 2021-07-21 一种提取以太坊区块链底层数据的*** Pending CN113806342A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110824446.6A CN113806342A (zh) 2021-07-21 2021-07-21 一种提取以太坊区块链底层数据的***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110824446.6A CN113806342A (zh) 2021-07-21 2021-07-21 一种提取以太坊区块链底层数据的***

Publications (1)

Publication Number Publication Date
CN113806342A true CN113806342A (zh) 2021-12-17

Family

ID=78893120

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110824446.6A Pending CN113806342A (zh) 2021-07-21 2021-07-21 一种提取以太坊区块链底层数据的***

Country Status (1)

Country Link
CN (1) CN113806342A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030084057A1 (en) * 2001-11-01 2003-05-01 Verisign, Inc. High speed non-concurrency controlled database
US20180019867A1 (en) * 2016-07-15 2018-01-18 Mastercard International Incorporated Method and system for partitioned blockchains and enhanced privacy for permissioned blockchains
WO2018144302A1 (en) * 2017-01-31 2018-08-09 Rush Thomas Jay Blockchain data-processing engine
CN109325855A (zh) * 2018-08-16 2019-02-12 北京京东尚科信息技术有限公司 区块链网络、部署方法及存储介质
CN109389500A (zh) * 2018-09-29 2019-02-26 重庆邮电大学 基于以太坊的数据交易平台
CN110609869A (zh) * 2019-09-10 2019-12-24 连连银通电子支付有限公司 一种基于区块链的数据存储方法、相关设备及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030084057A1 (en) * 2001-11-01 2003-05-01 Verisign, Inc. High speed non-concurrency controlled database
US20180019867A1 (en) * 2016-07-15 2018-01-18 Mastercard International Incorporated Method and system for partitioned blockchains and enhanced privacy for permissioned blockchains
WO2018144302A1 (en) * 2017-01-31 2018-08-09 Rush Thomas Jay Blockchain data-processing engine
CN109325855A (zh) * 2018-08-16 2019-02-12 北京京东尚科信息技术有限公司 区块链网络、部署方法及存储介质
CN109389500A (zh) * 2018-09-29 2019-02-26 重庆邮电大学 基于以太坊的数据交易平台
CN110609869A (zh) * 2019-09-10 2019-12-24 连连银通电子支付有限公司 一种基于区块链的数据存储方法、相关设备及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
王泓机等: "针对区块链应用的查询优化模型", 《计算机工程与应用》, pages 34 - 39 *
郑泽洲: "以太坊的存储层技术分析之三：以太坊区块读写LevelDB相关代码分析", pages 1 - 5, Retrieved from the Internet <URL:https://blog.csdn.net/wxid2798226/article/details/83689615> *

Similar Documents

Publication Publication Date Title
CN110019218B (zh) 数据存储与查询方法及设备
CN110489445B (zh) 一种基于多形态复合的海量数据快速查询方法
CN106844507B (zh) 一种数据批处理的方法及设备
CN103593422B (zh) 一种异构数据库的虚拟访问管理方法
CN107247811B (zh) 基于Oracle数据库的SQL语句性能优化方法及装置
CN112347071B (zh) 一种配电网云平台数据融合方法及配电网云平台
CN109508355A (zh) 一种数据抽取方法、***及终端设备
CN102591864B (zh) 比对***中的数据更新方法及装置
CN111291023A (zh) 一种数据迁移的方法、***、设备以及介质
KR20190063835A (ko) 인-메모리 데이터베이스의 실시간 데이터 변경 처리 시스템
CN104317957A (zh) 一种报表处理的开放平台、***及报表处理方法
US8600990B2 (en) Interacting methods of data extraction
CN112817958A (zh) 电力规划数据采集方法、装置及智能终端
US20090248691A1 (en) Interacting methods of data summarization
CN113961546B (zh) 一种支持在线分析统计的实时查询库设计方法
CN105447069A (zh) 基于bw平台的对账平台数据同步方法及***
CN113806342A (zh) 一种提取以太坊区块链底层数据的***
CN115098486A (zh) 基于海关业务大数据的实时数据采集方法
CN114722045A (zh) 时间序列数据的存储方法及装置
CN109800271A (zh) 一种基于大数据的信息采集方法
CN112507213B (zh) 一种基于行为大数据分析的推荐优化的***方案的方法
KR101024494B1 (ko) 메타데이타를 이용한 변경 데이타 추출방법
CN114519071A (zh) 规则匹配模型的生成方法、匹配方法、***、设备和介质
CN117349327A (zh) 一种内存数据获取优化的方法和***
CN111352933B (zh) 云端大数据数据库快捷建立索引***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination