CN109067719A - 区块链应用中提高数据处理效率的方法 - Google Patents
区块链应用中提高数据处理效率的方法 Download PDFInfo
- Publication number
- CN109067719A CN109067719A CN201810813881.7A CN201810813881A CN109067719A CN 109067719 A CN109067719 A CN 109067719A CN 201810813881 A CN201810813881 A CN 201810813881A CN 109067719 A CN109067719 A CN 109067719A
- Authority
- CN
- China
- Prior art keywords
- data
- block chain
- application
- hash
- handling efficiency
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/12—Applying verification of the received information
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
- H04L63/0428—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer Security & Cryptography (AREA)
- Computer Hardware Design (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种区块链应用中提高数据处理效率的方法。本方法是一种在区块链或其他类似数据处理***中在应用层面上提高处理速度、效率和容量的方法。通过减少上传到区块链或者或其他类似数据处理***中的数据量来增加应用层面的数据处理速度、效率、容量和记录成本,将部分工作量转入非分布式的服务器本地处理,并可随时通过具体需求来调配数据量的大小。
Description
技术领域
本发明涉及一种区块链应用中提高数据处理效率的方法。
背景技术
区块链技术在数据安全性、去中心化计算、公信度、不可篡改性等相对传统数据处理方法有绝对优势,但是区块链技术的瓶颈在于去中心化所带来的计算速度和效率低下的问题。在实际应用中,商业数据尤其是大数据的应用,高流量高速度是典型标志,目前所有的区块链技术都无法满足商业应用的需求,限制了其在电子币以外的所有应用。区块链提升处理速度是过去几年全世界在努力的方向,然而难度极大,进展迟缓,也导致区块链技术在比特币诞生九年之后仍然没有进展,没有任何落地的商业应用。本方法是一种基于现有的区块链技术,在不触及和改变现有的区块链技术的基础上,配合本地数据服务器,可以在应用层面大幅度提高数据处理速度、容量和效率的方法,同时继承了区块链技术在数据安全性、去中心化计算、公信度、不可篡改性的全部优势。
区块链技术的瓶颈在于去中心化这个核心逻辑所带来的计算速度和效率低下的问题。比特币的处理效率理论是每秒七笔,实际是每秒三到四笔,并且该处理速度由所有用户分享,目前每一笔数据处理通常需要等待十到二十分钟,完全不符合商业使用的需求。而在完全去中心化的基础上对区块链公链进行整体提速,目前没有任何技术可以达成目标。目前常见的方法是通过减少去中心化程度来实现部分提速,比如典型的EOS公链,通过将全节点从比特币的超过12000个降低至21个,从而提升处理速度,但是全节点的集中化违反了区块链技术的核心逻辑,让整个公链的公信度大幅度降低,数据被篡改的可能性大增。全节点大幅度降低的区块链***和传统分布式数据库区别不大,已经无法提供区块链技术所带来的数据优势。区块链技术的发展非常迟缓,因此在商业应用上需要一种独立于区块链技术自身处理速度发展能力的,能在应用层面大幅度提高数据处理速度、容量和效率的方法,同时必须能继承区块链技术全部优势的***。
发明内容
为解决上述技术问题,本发明设计了一种区块链应用中提高数据处理效率的方法。本方法是一种在区块链或其他类似数据处理***中在应用层面上提高处理速度、效率和容量的方法。同时采用了不可逆的加密方法确保了主体数据不会公开至公链,公链上的数据也不会被破解或逆向工程解码为原始数据。该方法可以处理已经存储完毕的数据库或者正在存储过程中的数据流。
本发明采用如下技术方案:
一种区块链应用中提高数据处理效率的方法,其包括如下步骤:
一、数据存储过程:
1.首先将原始数据存储按照一定顺序排列, 形成f(x1), f(x2),f(x3)…f(xn);
2.然后对原始数据进行处理, 处理方式用hash()统一指代;
3.首先对第一条数据f(x1)进行hash()获得S(x1)=hash(f(x1));
4.然后对后续数据进行处理, S(xn)=hash(S(x (n-1))+f(xn));S(x (n-1))+f(xn) 指代的是两条数据合并;
5.此时获得数据列S(x1), S(x2), S(x3)…S(xn);
6.针对S(xn)设定一个数据选择规律,选择固定间隔t作为数据挑选方式, 则将挑选出数据S(x1), S(x(1+t)), S(x(1+2t))…,将挑选出的数据上传到区块链中;
7.在这个过程中设定数据B(1)= S(x1), B(2)= S(x(1+t)), B(3)= S(x(1+2t))…B(n)= S(x(1+(n-1)t));
二、数据核对过程:
1.需要核对数据f(xn)的真实性时,先找到这条数据对应的S(xn), 然后定位离这条数据最近的前后各一条的已经上传的数据为B(x’), B(x’+1) ;
2.获取其对应的B(x’), B(x’+1)的数值;
3.比对确认S(x’)=B(x’), S(x’+t)=B(x’+1)是否满足;
4.满足的前提下从f(x’)开始, 在f(x’+t)停止,在f(x’)…f(xn)…f(x’+t)的区间内重新进行计算S(x’)…S(x’+t),得到数据记为S’(x’)…S’(x’+t);
5.对照S’(x’+t)与B(x’+1)是否一致,如果一致,则f(x’)到f(x’+t)中的数据没有被篡改,真实有效;
6.对照S’(x’+t)与B(x’+1)是否一致,如果不一致,则f(x’)到f(x’+t)中的数据至少有一条被篡改,则进入下一步核对步骤;
7.对照S’(x’+1)是否与S(x’+1)一致, 如果一致则对照S’(x’+2)是否与S(x’+2)一致,依此类推直至找到S’(x’+y)不等于S(x’+y), (其中y<=t), 此时数据f(x’+y)是数据篡改点,所有位于f(x’+y)到f(x’+t)之间的数据没有公信度;
8.如果f(xn)不位于f(x’+y)到f(x’+t)之间,则f(xn)为可信数据,未被篡改;
9.如果f(xn)位于f(x’+y)到f(x’+t)之间,则f(xn)是不可信数据,不可采用;
10. 如果比对确认S(x’)=B(x’), S(x’+t)=B(x’+1)并不满足,则需要扩大数据对比范围,并重复上述步骤,直到定位到首个发生错误的数据点,以及其所影响的数据范围区间;
三、增加链上数据处理速度和容量:
通过扩大上传到区块链中的数据间的t的平均值,减小上传到区块链中的总数据量,在不变动区块链本身属性的情况下,就可以简单的在应用层面增加处理速度和容量。
作为优选,所述数据存储过程的步骤2中,对原始数据进行处理, 处理方式可以是哈希算法、其他任意的函数或其他加密算法。
作为优选,所述数据存储过程的步骤4中,两条数据合并的具体方式可以是加法、叠加、减法或任意的数据合并方式,由具体使用中决定。
作为优选,所述数据存储过程的步骤6中,将挑选出的数据上传到区块链中可以通过API或其他方式。
本发明的有益效果是:
1、通过减少上传到区块链或者或其他类似数据处理***中的数据量来增加应用层面的数据处理速度、效率、容量和记录成本,将部分工作量转入非分布式的服务器本地处理,并可随时通过具体需求来调配数据量的大小;
2、 本方法继承了区块链技术在数据安全性、公信度、不可篡改性的优势;
3、 本方法在数据核对中只需要对f(x’)到f(x’+t)中的数据进行计算核对,运算量小;
4、 本方法可以找到被篡改的数据源头。
说明书附图
图1是本发明的一种流程图;
具体实施方式
下面通过具体实施例,并结合附图,对本发明的技术方案作进一步的具体描述:
实施例:如附图1所示,一种区块链应用中提高数据处理效率的方法,其包括如下步骤:
一、数据存储过程:
1、首先将原始数据存储按照一定顺序排列, 形成f(x1), f(x2),f(x3)…f(xn);
2、 然后对原始数据进行处理, 处理方式用hash()统一指代;
3、 首先对第一条数据f(x1)进行hash()获得S(x1)=hash(f(x1));
4、然后对后续数据进行处理, S(xn)=hash(S(x (n-1))+f(xn));S(x (n-1))+f(xn) 指代的是两条数据合并;
5、 此时获得数据列S(x1), S(x2), S(x3)…S(xn);
6、 针对S(xn)设定一个数据选择规律,选择固定间隔t作为数据挑选方式, 则将挑选出数据S(x1), S(x(1+t)), S(x(1+2t))…,将挑选出的数据上传到区块链中;
7、 在这个过程中设定数据B(1)= S(x1), B(2)= S(x(1+t)), B(3)= S(x(1+2t))…B(n)=S(x(1+(n-1)t));
二、数据核对过程:
1、需要核对数据f(xn)的真实性时,先找到这条数据对应的S(xn), 然后定位离这条数据最近的前后各一条的已经上传的数据为B(x’), B(x’+1) ;
2、 获取其对应的B(x’), B(x’+1)的数值;
3、 比对确认S(x’)=B(x’), S(x’+t)=B(x’+1)是否满足;
4、 满足的前提下从f(x’)开始, 在f(x’+t)停止,在f(x’)…f(xn)…f(x’+t)的区间内重新进行计算S(x’)…S(x’+t),得到数据记为S’(x’)…S’(x’+t);
5、 对照S’(x’+t)与B(x’+1)是否一致,如果一致,则f(x’)到f(x’+t)中的数据没有被篡改,真实有效;
6、 对照S’(x’+t)与B(x’+1)是否一致,如果不一致,则f(x’)到f(x’+t)中的数据至少有一条被篡改,则进入下一步核对步骤;
7、 对照S’(x’+1)是否与S(x’+1)一致, 如果一致则对照S’(x’+2)是否与S(x’+2)一致, 依此类推直至找到S’(x’+y)不等于S(x’+y), (其中y<=t), 此时数据f(x’+y)是数据篡改点,所有位于f(x’+y)到f(x’+t)之间的数据没有公信度;
8、 如果f(xn)不位于f(x’+y)到f(x’+t)之间,则f(xn)为可信数据,未被篡改;
9、 如果f(xn)位于f(x’+y)到f(x’+t)之间,则f(xn)是不可信数据,不可采用;
10、如果比对确认S(x’)=B(x’), S(x’+t)=B(x’+1)并不满足,则需要扩大数据对比范围,并重复上述步骤,直到定位到首个发生错误的数据点,以及其所影响的数据范围区间;
三、增加链上数据处理速度和容量:
通过扩大上传到区块链中的数据间的t的平均值,减小上传到区块链中的总数据量,在不变动区块链本身属性的情况下,就可以简单的在应用层面增加处理速度和容量。比如,采用固定间隔上传的方式,原来t=2, 则每隔两个数据上传;如果需要将处理速度翻倍, 则t=4, 则每隔四个数据上传;上传的数据量减半,在区域链原生处理能力不变的情况下,在应用层面,处理速度提高了一倍。
数据存储过程的步骤2中,对原始数据进行处理, 处理方式是哈希算法。
数据存储过程的步骤4中,两条数据合并的具体方式是加法数据合并方式。
数据存储过程的步骤6中,通过API将挑选出的数据上传到区块链中。
以上所述的实施例只是本发明的一种较佳的方案,并非对本发明作任何形式上的限制,在不超出权利要求所记载的技术方案的前提下还有其它的变体及改型。
Claims (4)
1.一种区块链应用中提高数据处理效率的方法,其特征是,其包括如下步骤:一、数据存储过程:
首先将原始数据存储按照一定顺序排列, 形成f(x1), f(x2),f(x3)…f(xn);
然后对原始数据进行处理, 处理方式用hash()统一指代;
首先对第一条数据f(x1)进行hash()获得S(x1)=hash(f(x1));
然后对后续数据进行处理, S(xn)=hash(S(x (n-1))+f(xn));S(x (n-1))+f(xn) 指代的是两条数据合并;
此时获得数据列S(x1), S(x2), S(x3)…S(xn);
针对S(xn)设定一个数据选择规律,选择固定间隔t作为数据挑选方式, 则将挑选出数据S(x1), S(x(1+t)), S(x(1+2t))…,将挑选出的数据上传到区块链中;
在这个过程中设定数据B(1)= S(x1), B(2)= S(x(1+t)), B(3)= S(x(1+2t))…B(n)= S(x(1+(n-1)t));
二、数据核对过程:
需要核对数据f(xn)的真实性时,先找到这条数据对应的S(xn), 然后定位离这条数据最近的前后各一条的已经上传的数据为B(x’), B(x’+1) ;
获取其对应的B(x’), B(x’+1)的数值;
比对确认S(x’)=B(x’), S(x’+t)=B(x’+1)是否满足;
满足的前提下从f(x’)开始, 在f(x’+t)停止,在f(x’)…f(xn)…f(x’+t)的区间内重新进行计算S(x’)…S(x’+t),得到数据记为S’(x’)…S’(x’+t);
对照S’(x’+t)与B(x’+1)是否一致,如果一致,则f(x’)到f(x’+t)中的数据没有被篡改,真实有效;
对照S’(x’+t)与B(x’+1)是否一致,如果不一致,则f(x’)到f(x’+t)中的数据至少有一条被篡改,则进入下一步核对步骤;
对照S’(x’+1)是否与S(x’+1)一致, 如果一致则对照S’(x’+2)是否与S(x’+2)一致,依此类推直至找到S’(x’+y)不等于S(x’+y), (其中y<=t), 此时数据f(x’+y)是数据篡改点,所有位于f(x’+y)到f(x’+t)之间的数据没有公信度;
如果f(xn)不位于f(x’+y)到f(x’+t)之间,则f(xn)为可信数据,未被篡改;
如果f(xn)位于f(x’+y)到f(x’+t)之间,则f(xn)是不可信数据,不可采用;
如果比对确认S(x’)=B(x’), S(x’+t)=B(x’+1)并不满足,则需要扩大数据对比范围,并重复上述步骤,直到定位到首个发生错误的数据点,以及其所影响的数据范围区间;
三、增加链上数据处理速度和容量:
通过扩大上传到区块链中的数据间的t的平均值,减小上传到区块链中的总数据量,在不变动区块链本身属性的情况下,就可以简单的在应用层面增加处理速度和容量。
2. 根据权利要求1所述的区块链应用中提高数据处理效率的方法,其特征是,所述数据存储过程的步骤2中,对原始数据进行处理, 处理方式可以是哈希算法、其他任意的函数或其他加密算法。
3.根据权利要求1所述的区块链应用中提高数据处理效率的方法,其特征是,所述数据存储过程的步骤4中,两条数据合并的具体方式可以是加法、叠加、减法或任意的数据合并方式,由具体使用中决定。
4.根据权利要求1所述的区块链应用中提高数据处理效率的方法,其特征是,所述数据存储过程的步骤6中,将挑选出的数据上传到区块链中可以通过API或其他方式。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810813881.7A CN109067719B (zh) | 2018-07-23 | 2018-07-23 | 区块链应用中提高数据处理效率的方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810813881.7A CN109067719B (zh) | 2018-07-23 | 2018-07-23 | 区块链应用中提高数据处理效率的方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109067719A true CN109067719A (zh) | 2018-12-21 |
CN109067719B CN109067719B (zh) | 2020-12-22 |
Family
ID=64836114
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810813881.7A Active CN109067719B (zh) | 2018-07-23 | 2018-07-23 | 区块链应用中提高数据处理效率的方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109067719B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111079161A (zh) * | 2019-12-12 | 2020-04-28 | 山西云海智化大数据科技有限公司 | 基于区块链技术的可信数据交换方法 |
CN111162912A (zh) * | 2019-12-30 | 2020-05-15 | 深圳前海微众银行股份有限公司 | 一种适用于区块链的验证方法及装置 |
CN113806072A (zh) * | 2021-08-10 | 2021-12-17 | 中标慧安信息技术股份有限公司 | 一种基于边缘计算的数据处理方法及*** |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170329980A1 (en) * | 2016-05-13 | 2017-11-16 | Vmware, Inc. | Secure and scalable data transfer using a hybrid blockchain-based approach |
CN107426170A (zh) * | 2017-05-24 | 2017-12-01 | 阿里巴巴集团控股有限公司 | 一种基于区块链的数据处理方法及设备 |
US20180103042A1 (en) * | 2016-10-12 | 2018-04-12 | Bank Of America Corporation | Automated data authentication and service authorization via cryptographic keys in a private blockchain |
CN108092982A (zh) * | 2017-12-22 | 2018-05-29 | 广东工业大学 | 一种基于联盟链的数据存储方法及*** |
-
2018
- 2018-07-23 CN CN201810813881.7A patent/CN109067719B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170329980A1 (en) * | 2016-05-13 | 2017-11-16 | Vmware, Inc. | Secure and scalable data transfer using a hybrid blockchain-based approach |
US20180103042A1 (en) * | 2016-10-12 | 2018-04-12 | Bank Of America Corporation | Automated data authentication and service authorization via cryptographic keys in a private blockchain |
CN107426170A (zh) * | 2017-05-24 | 2017-12-01 | 阿里巴巴集团控股有限公司 | 一种基于区块链的数据处理方法及设备 |
CN108092982A (zh) * | 2017-12-22 | 2018-05-29 | 广东工业大学 | 一种基于联盟链的数据存储方法及*** |
Non-Patent Citations (1)
Title |
---|
葛泽烽等: "区块链技术在企业即时通信***中的应用", 《软件导刊》 * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111079161A (zh) * | 2019-12-12 | 2020-04-28 | 山西云海智化大数据科技有限公司 | 基于区块链技术的可信数据交换方法 |
CN111162912A (zh) * | 2019-12-30 | 2020-05-15 | 深圳前海微众银行股份有限公司 | 一种适用于区块链的验证方法及装置 |
CN111162912B (zh) * | 2019-12-30 | 2021-06-15 | 深圳前海微众银行股份有限公司 | 一种适用于区块链的验证方法、装置及存储介质 |
CN113806072A (zh) * | 2021-08-10 | 2021-12-17 | 中标慧安信息技术股份有限公司 | 一种基于边缘计算的数据处理方法及*** |
CN113806072B (zh) * | 2021-08-10 | 2022-10-21 | 中标慧安信息技术股份有限公司 | 一种基于边缘计算的数据处理方法及*** |
Also Published As
Publication number | Publication date |
---|---|
CN109067719B (zh) | 2020-12-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10776786B2 (en) | Method for creating, registering, revoking authentication information and server using the same | |
US9971770B2 (en) | Inverted indexing | |
WO2020119053A1 (zh) | 一种图片聚类方法、装置、存储介质及终端设备 | |
CN109067719A (zh) | 区块链应用中提高数据处理效率的方法 | |
US9116879B2 (en) | Dynamic rule reordering for message classification | |
WO2022105119A1 (zh) | 意图识别模型的训练语料生成方法及其相关设备 | |
US11514003B2 (en) | Data compression based on key-value store | |
CN109359206A (zh) | 基于物联网校园管理的图像处理方法及*** | |
US20180189571A1 (en) | Method and apparatus for determining signature actor and identifying video based on probability of appearance of signature actor | |
CN103336890A (zh) | 一种快速计算软件相似度的方法 | |
CN112288025B (zh) | 基于树结构的异常案件识别方法、装置、设备及存储介质 | |
US20200372013A1 (en) | Accelerated processing apparatus for transaction considering transaction failure probability and method thereof | |
US10664664B2 (en) | User feedback for low-confidence translations | |
US9852226B2 (en) | Search engine results system using entity density | |
Celemin et al. | A proposal to speed up the computation of the centroid of an interval type‐2 fuzzy set | |
Wang et al. | A Fast and Robust Ellipse‐Detection Method Based on Sorted Merging | |
CN107329947B (zh) | 相似文本的确定方法、装置及设备 | |
Liu et al. | Density‐Based Penalty Parameter Optimization on C‐SVM | |
KR20190030434A (ko) | 상표 유사판단 결과에 기초하여 학습된 딥러닝 엔진을 이용한 상표 유사판단 방법, 장치 및 컴퓨터 판독가능한 기록 매체에 저장된 컴퓨터 소프트웨어 | |
WO2020113582A1 (en) | Providing images with privacy label | |
CN105989276B (zh) | Rbac权限体系中的角色优化方法和装置 | |
CN107436920A (zh) | Node.js权限控制方法、存储介质、电子设备及*** | |
CN109359096A (zh) | 一种基于区块链存储的数字资产安全共享方法及装置 | |
CN107256252A (zh) | 一种第三方多维数据迁移方法及装置 | |
CN115658976A (zh) | 基于局部敏感哈希的设备指纹分析方法及*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |