CN110958273B - 一种基于分布式数据流的区块链检测*** - Google Patents

一种基于分布式数据流的区块链检测*** Download PDF

Info

Publication number
CN110958273B
CN110958273B CN201911369598.0A CN201911369598A CN110958273B CN 110958273 B CN110958273 B CN 110958273B CN 201911369598 A CN201911369598 A CN 201911369598A CN 110958273 B CN110958273 B CN 110958273B
Authority
CN
China
Prior art keywords
data
mining
module
node
block chain
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911369598.0A
Other languages
English (en)
Other versions
CN110958273A (zh
Inventor
李宝次
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Taiqian Digital Technology Co.,Ltd.
Original Assignee
Shandong Gongchain Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Gongchain Information Technology Co ltd filed Critical Shandong Gongchain Information Technology Co ltd
Priority to CN201911369598.0A priority Critical patent/CN110958273B/zh
Publication of CN110958273A publication Critical patent/CN110958273A/zh
Application granted granted Critical
Publication of CN110958273B publication Critical patent/CN110958273B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/12—Applying verification of the received information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/24—Traffic characterised by specific attributes, e.g. priority or QoS
    • H04L47/2441—Traffic characterised by specific attributes, e.g. priority or QoS relying on flow classification, e.g. using integrated services [IntServ]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/12—Applying verification of the received information
    • H04L63/123—Applying verification of the received information received data contents, e.g. message integrity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于分布式数据流的区块链检测***，包括数据流，所述数据流连接有输入端，所述输入端连接有数据块和区块链，所述数据块连接于区块链，所述区块链生成有区块链节点，所述区块链节点连接有检测节点，所述数据流连接有全局挖掘模块，所述全局挖掘模块连接有检测端，所述检测端连接有输出端和节点挖掘模块，所述节点挖掘模块连接于检测节点和输出端，通过对数据流进行分流后发布到区块链上，形成区块链节点，既可以保证数据的公开安全性，同时利于分流分析，进而通过局部挖掘模块进行节点挖掘，结合全局挖掘模块，可以对分析挖掘结果进行对比，保证数据信息的安全准确性，同时提高数据的利用率，利于发展使用。

Description

一种基于分布式数据流的区块链检测***
技术领域
本发明涉及区块链检测领域，更具体地说，涉及一种基于分布式数据流的区块链检测***。
背景技术
在现在的科技发展条件下，大数据的应用非常广泛，而且对促进社会的发展也越来越重要。
但是由于现有的数据规模较大，冗余成分较多，在对大数据进行分析检测时，不仅不利于进行分流，影响检测精度，并且在对不同数据进行整合时，不能够保证其公开和安全性，限制了大数据的开发和应用，而随着区块链技术的发展成熟，以其开放式的记账特点，能够针对大数据的发布和更新进行安全保障，因此需要提出一种新的检测***和使用方法。
发明内容
针对现有技术中存在的问题，本发明的目的在于提供一种基于分布式数据流的区块链检测***，通过对数据流进行分流后发布到区块链上，形成区块链节点，既可以保证数据的公开安全性，同时利于分流分析，进而通过局部挖掘模块进行节点挖掘，结合全局挖掘模块，可以对分析挖掘结果进行对比，保证数据信息的安全准确性，同时提高数据的利用率，利于发展使用。
为解决上述问题，本发明采用如下的技术方案。
一种基于分布式数据流的区块链检测***，包括数据流，所述数据流连接有输入端，所述输入端连接有数据块和区块链，所述数据块连接于区块链，所述区块链生成有区块链节点，所述区块链节点连接有检测节点，所述数据流连接有全局挖掘模块，所述全局挖掘模块连接有检测端，所述检测端连接有输出端和节点挖掘模块，所述节点挖掘模块连接于检测节点和输出端；
所述检测***的运行方法包括如下步骤：
P1、输入端接收数据流数据，并且生成多个数据块，分类存储；
P2、输入端连接区块链，将分类存储的数据块传输至区块链；
P3、区块链接收多个数据块，分别形成区块链节点，进行数据缓存，并且在区块链节点连接处形成检测节点；
P4、检测端通过全局挖掘模块读取数据流，进行全局数据挖掘，形成全局挖掘结果，输入至输出端；
P5、检测端通过节点挖掘模块连接检测节点，对区块链节点数据进行局部数据挖掘，形成节点挖掘结果，输入至输出端；
P6、输出端的接收模块接收全局挖掘结果和节点挖掘结果，并传输至对比模块；
P7、对比模块对比两种模式的挖掘结果，对数据的完整性和准确性进行分析，输出检测结果，结合分类模块进行分类缓存；
P8、显示模块接收分类缓存数据进行结果显示。
进一步的，所述输出端包括接收模块、对比模块、分类模块和显示模块，可以通过输出端对挖掘和检测结果进行显示输出，利于使用。
进一步的，所述接收模块连接于对比模块，所述对比模块连接于分类模块，所述分类模块连接于显示模块，通过多个模块串行连接，可以对接收的数据结果进行处理。
进一步的，所述接收模块连接于检测端和节点挖掘模块，通过接收模块连接检测端和节点挖掘模块，可以对挖掘结果进行接收，利于运行处理。
进一步的，所述P4步骤的全局数据挖掘包括如下步骤：
A1、读取数据流数据，形成数据序列；
A2、对数据序列进行簇头抽取，形成簇头集合；
A3、以簇头集合为中心节点，采用K-Means算法对各数据序列进行增量更新，辨识出异常数据序列，形成小类别样本；
A4、将小类别样本进行输出即可完成全局数据挖掘。
进一步的，所述P5步骤的局部数据挖掘包括如下步骤：
B1、对检测节点进行采集，收集当前t时刻的数据；
B2、采用聚类算法将当前t时刻的数据划分成m个微簇；
B3、计算任意两个微簇合并后的合并簇的统计值，从合并簇的统计值不大于对应两个微簇的各自统计值之和的组合对中，选取各自统计值之和最小的两个微簇作为最适合合并的微簇；
B4、将选取的两个微簇进行合并，重构获得检测节点的样本数据集。
进一步的，所述P8的结果显示包括相同结果显示和相异结果对比。
相比于现有技术，本发明的优点在于：
(1)本方案通过对数据流进行分流后发布到区块链上，形成区块链节点，既可以保证数据的公开安全性，同时利于分流分析，进而通过局部挖掘模块进行节点挖掘，结合全局挖掘模块，可以对分析挖掘结果进行对比，保证数据信息的安全准确性，同时提高数据的利用率。
(2)可以通过输出端对挖掘和检测结果进行显示输出，利于使用。
(3)通过多个模块串行连接，可以对接收的数据结果进行处理。
(4)通过接收模块连接检测端和节点挖掘模块，可以对挖掘结果进行接收，利于运行处理。
(5)通过对数据流进行分流形成数据块，然后结合区块链生成区块链节点，可以提高数据监测分析效率，保证安全准确性。
(6)通过对数据流进行全局挖掘，利于对不同数据进行整合。
(7)通过对数据块进行节点挖掘，利于分析数据的完整性和准确性。
附图说明
图1为本发明的***原理框图；
图2为本发明的输入端框图。
图中标号说明：
1数据流、11输入端、12数据块、13区块链、14区块链节点、15检测节点、16全局挖掘模块、17检测端、18输出端、19节点挖掘模块、2接收模块、21对比模块、22分类模块、23显示模块。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述；显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1-2，一种基于分布式数据流的区块链检测***，包括数据流1，所述数据流1连接有输入端11，所述输入端11连接有数据块12和区块链13，所述数据块12连接于区块链13，通过区块链13接收多个数据块12，可以分别形成不同的区块链节点14，同时在结合部分形成检测节点，利于分流检测，提高检测精确度，同时保证公开安全性，所述区块链13生成有区块链节点14，所述区块链节点14连接有检测节点15，所述数据流1连接有全局挖掘模块16，所述全局挖掘模块16连接有检测端17，可以对数据进行挖掘检测，提高准确率和安全性，所述检测端17连接有输出端18和节点挖掘模块19，所述节点挖掘模块19连接于检测节点15和输出端18，所述输出端18包括接收模块2、对比模块21、分类模块22和显示模块23，所述接收模块2连接于对比模块21，所述对比模块21连接于分类模块22，所述分类模块22连接于显示模块23，所述接收模块2连接于检测端17和节点挖掘模块19。
所述检测***的运行方法包括如下步骤：
P1、输入端接收数据流数据，并且生成多个数据块，分类存储；
P2、输入端连接区块链，将分类存储的数据块传输至区块链；
P3、区块链接收多个数据块，分别形成区块链节点，进行数据缓存，并且在区块链节点连接处形成检测节点；
P4、检测端通过全局挖掘模块读取数据流，进行全局数据挖掘，形成全局挖掘结果，输入至输出端；
P5、检测端通过节点挖掘模块连接检测节点，对区块链节点数据进行局部数据挖掘，形成节点挖掘结果，输入至输出端；
P6、输出端的接收模块接收全局挖掘结果和节点挖掘结果，并传输至对比模块；
P7、对比模块对比两种模式的挖掘结果，对数据的完整性和准确性进行分析，输出检测结果，结合分类模块进行分类缓存；
P8、显示模块接收分类缓存数据进行结果显示。
作为优选的，所述P4步骤的全局数据挖掘包括如下步骤：
A1、读取数据流数据，形成数据序列；
A2、对数据序列进行簇头抽取，形成簇头集合；
A3、以簇头集合为中心节点，采用K-Means算法对各数据序列进行增量更新，辨识出异常数据序列，形成小类别样本；
A4、将小类别样本进行输出即可完成全局数据挖掘。
作为优选的，所述P5步骤的局部数据挖掘包括如下步骤：
B1、对检测节点进行采集，收集当前t时刻的数据；
B2、采用聚类算法将当前t时刻的数据划分成m个微簇；
B3、计算任意两个微簇合并后的合并簇的统计值，从合并簇的统计值不大于对应两个微簇的各自统计值之和的组合对中，选取各自统计值之和最小的两个微簇作为最适合合并的微簇；
B4、将选取的两个微簇进行合并，重构获得检测节点的样本数据集。
作为优选的，所述P8的结果显示包括相同结果显示和相异结果对比。
以上所述，仅为本发明较佳的具体实施方式；但本发明的保护范围并不局限于此。任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其改进构思加以等同替换或改变，都应涵盖在本发明的保护范围内。

Claims (7)

1.一种基于分布式数据流的区块链检测***，包括数据流(1)，其特征在于：所述数据流(1)连接有输入端(11)，所述输入端(11)连接有数据块(12)和区块链(13)，所述数据块(12)连接于区块链(13)，所述区块链(13)生成有区块链节点(14)，所述区块链节点(14)连接有检测节点(15)，所述数据流(1)连接有全局挖掘模块(16)，所述全局挖掘模块(16)连接有检测端(17)，所述检测端(17)连接有输出端(18)和节点挖掘模块(19)，所述节点挖掘模块(19)连接于检测节点(15)和输出端(18)；
所述检测***的运行方法包括如下步骤：
P1、输入端接收数据流数据，并且生成多个数据块，分类存储；
P2、输入端连接区块链，将分类存储的数据块传输至区块链；
P3、区块链接收多个数据块，分别形成区块链节点，进行数据缓存，并且在区块链节点连接处形成检测节点；
P4、检测端通过全局挖掘模块读取数据流，进行全局数据挖掘，形成全局挖掘结果，输入至输出端；
P5、检测端通过节点挖掘模块连接检测节点，对区块链节点数据进行局部数据挖掘，形成节点挖掘结果，输入至输出端；
P6、输出端的接收模块接收全局挖掘结果和节点挖掘结果，并传输至对比模块；
P7、对比模块对比两种模式的挖掘结果，对数据的完整性和准确性进行分析，输出检测结果，结合分类模块进行分类缓存；
P8、显示模块接收分类缓存数据进行结果显示。
2.根据权利要求1所述的一种基于分布式数据流的区块链检测***，其特征在于：所述输出端(18)包括接收模块(2)、对比模块(21)、分类模块(22)和显示模块(23)。
3.根据权利要求2所述的一种基于分布式数据流的区块链检测***，其特征在于：所述接收模块(2)连接于对比模块(21)，所述对比模块(21)连接于分类模块(22)，所述分类模块(22)连接于显示模块(23)。
4.根据权利要求2所述的一种基于分布式数据流的区块链检测***，其特征在于：所述接收模块(2)连接于检测端(17)和节点挖掘模块(19)。
5.根据权利要求1所述的一种基于分布式数据流的区块链检测***，其特征在于：所述P4步骤的全局数据挖掘包括如下步骤：
A1、读取数据流数据，形成数据序列；
A2、对数据序列进行簇头抽取，形成簇头集合；
A3、以簇头集合为中心节点，采用K-Means算法对各数据序列进行增量更新，辨识出异常数据序列，形成小类别样本；
A4、将小类别样本进行输出即可完成全局数据挖掘。
6.根据权利要求1所述的一种基于分布式数据流的区块链检测***，其特征在于：所述P5步骤的局部数据挖掘包括如下步骤：
B1、对检测节点进行采集，收集当前t时刻的数据；
B2、采用聚类算法将当前t时刻的数据划分成m个微簇；
B3、计算任意两个微簇合并后的合并簇的统计值，从合并簇的统计值不大于对应两个微簇的各自统计值之和的组合对中，选取各自统计值之和最小的两个微簇作为最适合合并的微簇；
B4、将选取的两个微簇进行合并，重构获得检测节点的样本数据集。
7.根据权利要求1所述的一种基于分布式数据流的区块链检测***，其特征在于：所述P8的结果显示包括相同结果显示和相异结果对比。
CN201911369598.0A 2019-12-26 2019-12-26 一种基于分布式数据流的区块链检测*** Active CN110958273B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911369598.0A CN110958273B (zh) 2019-12-26 2019-12-26 一种基于分布式数据流的区块链检测***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911369598.0A CN110958273B (zh) 2019-12-26 2019-12-26 一种基于分布式数据流的区块链检测***

Publications (2)

Publication Number Publication Date
CN110958273A CN110958273A (zh) 2020-04-03
CN110958273B true CN110958273B (zh) 2021-09-28

Family

ID=69984311

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911369598.0A Active CN110958273B (zh) 2019-12-26 2019-12-26 一种基于分布式数据流的区块链检测***

Country Status (1)

Country Link
CN (1) CN110958273B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112615881B (zh) * 2020-12-28 2022-09-30 中软数智信息技术(武汉)有限公司 一种基于区块链的数据流检测***
CN113360936B (zh) * 2021-08-09 2021-11-02 湖南和信安华区块链科技有限公司 一种基于区块链的数据分析***

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105069286A (zh) * 2015-07-24 2015-11-18 上海交通大学 基于垂直分布隐私数据保护的logistic回归分析***
CN108650649A (zh) * 2018-04-10 2018-10-12 南京邮电大学 适用于无线传感器网络的异常数据检测方法
CN109672729A (zh) * 2018-12-14 2019-04-23 福建工程学院 一种分布式数据流的动态挖掘方法
CN109740037A (zh) * 2019-01-02 2019-05-10 山东省科学院情报研究所 多源、异构流态大数据分布式在线实时处理方法及***

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160035152A1 (en) * 2013-12-31 2016-02-04 Agnik, Llc Vehicle data mining based on vehicle onboard analysis and cloud-based distributed data stream mining algorithm

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105069286A (zh) * 2015-07-24 2015-11-18 上海交通大学 基于垂直分布隐私数据保护的logistic回归分析***
CN108650649A (zh) * 2018-04-10 2018-10-12 南京邮电大学 适用于无线传感器网络的异常数据检测方法
CN109672729A (zh) * 2018-12-14 2019-04-23 福建工程学院 一种分布式数据流的动态挖掘方法
CN109740037A (zh) * 2019-01-02 2019-05-10 山东省科学院情报研究所 多源、异构流态大数据分布式在线实时处理方法及***

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
分布式深度学习框架下基于性能感知的ＤＢＳ－ＳＧＤ算法;纪泽宇等;《计算机研究与发展》;20191130;2396-2409 *

Also Published As

Publication number Publication date
CN110958273A (zh) 2020-04-03

Similar Documents

Publication Publication Date Title
CN104778245B (zh) 基于海量车牌识别数据的相似轨迹挖掘方法及装置
CN111858526B (zh) 基于信息***日志的故障时间空间预测方法及***
Garcia et al. Enhancing architectural recovery using concerns
CN110958273B (zh) 一种基于分布式数据流的区块链检测***
CN111352971A (zh) 银行***监控数据异常检测方法及***
CN110737874A (zh) 一种基于空间关系的流域水质监测异常值检测方法
CN111667476B (zh) 布料瑕疵检测方法、装置、电子设备及可读存储介质
CN115129504B (zh) 基于云边端一体化的智慧电网数据处理方法及服务器
CN112988437B (zh) 一种故障预测方法、装置及电子设备和存储介质
CN113190220A (zh) Json文件差异化对比方法及装置
CN115184054B (zh) 机械设备半监督故障检测分析方法、装置、终端及介质
CN111241072A (zh) 一种判断数据段连续性的方法及其***
CN114020593B (zh) 一种基于轨迹聚类的异质流程日志采样方法与***
CN115373976A (zh) 保险测试方法、装置、计算机设备及存储介质
CN114020811A (zh) 数据异常检测方法及其装置、电子设备
CN105138612A (zh) 数据一致性差异原因的分析和定位的方法及***
CN116703631A (zh) 对账数据处理方法及装置
CN115963344A (zh) 故障检测方法、装置、电子设备及存储介质
CN116028266A (zh) 基于流程不变式的日志异常检测***
CN111199777B (zh) 面向生物大数据的流式传输与变异实时挖掘***及方法
CN115526407A (zh) 基于因果机器学习的电网大数据安全检测预警方法及***
CN109412901B (zh) 基于时域处理的采集数据连续性检测方法及检测***
CN111209158B (zh) 服务器集群的挖矿监控方法及集群监控***
CN114417921A (zh) 轨道几何异常数据的识别方法、装置、设备和存储介质
CN114490235A (zh) 智能化识别日志数据中的数量关系及其异常的算法模型

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20231227

Address after: 518000, Tower 2001, Shenzhen International Qianhai Yidu Building, No. 99 Gangcheng Street, Nanshan Street, Qianhai Shenzhen Hong Kong Cooperation Zone, Shenzhen, Guangdong Province

Patentee after: Shenzhen Taiqian Digital Technology Co.,Ltd.

Address before: 250014 Room 301, No. 15, Yanzishan Road, Lixia District, Jinan City, Shandong Province

Patentee before: Shandong Gongchain Information Technology Co.,Ltd.

TR01 Transfer of patent right