CN113676518A - 一种基于区块的分布式数据调度汇集平台 - Google Patents

一种基于区块的分布式数据调度汇集平台 Download PDF

Info

Publication number
CN113676518A
CN113676518A CN202110853718.5A CN202110853718A CN113676518A CN 113676518 A CN113676518 A CN 113676518A CN 202110853718 A CN202110853718 A CN 202110853718A CN 113676518 A CN113676518 A CN 113676518A
Authority
CN
China
Prior art keywords
data
module
platform
scheduling
block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110853718.5A
Other languages
English (en)
Inventor
史子超
王洋
孟祥超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Building Materials Xinyun Zhilian Technology Co ltd
Cnbm Technology Corp ltd
Original Assignee
China Building Materials Xinyun Zhilian Technology Co ltd
Cnbm Technology Corp ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Building Materials Xinyun Zhilian Technology Co ltd, Cnbm Technology Corp ltd filed Critical China Building Materials Xinyun Zhilian Technology Co ltd
Priority to CN202110853718.5A priority Critical patent/CN113676518A/zh
Publication of CN113676518A publication Critical patent/CN113676518A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/602—Providing cryptographic facilities or services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
    • H04L63/0428—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/55—Push-based network services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/14—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols using a plurality of keys or algorithms
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/50—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols using hash chains, e.g. blockchains or hash trees

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Bioethics (AREA)
  • General Health & Medical Sciences (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及数据处理技术领域，具体地说，涉及一种基于区块的分布式数据调度汇集平台。包括区块基础单元、数据架构单元、数据管理单元和安全保障单元；区块基础单元用于搭建分布式数据平台的网络架构；数据架构单元用于搭建数据模型架构；数据管理单元用于对数据进行汇集及调度管理；安全保障单元用于对数据调度处理过程进行安全管理。本发明设计可以在用户或数据的近端对数据进行处理，数据分布在区块链各节点处，便于查找调用，提高计算速度；可以充分利用区块链的优势，能够快速准确地获取用户所需数据并推送到用户近端的节点服务端，且能够进行多个任务的并行处理，提高数据平台的调度效率；可以提供高质量的数据，并提高数据信息的安全性。

Description

一种基于区块的分布式数据调度汇集平台
技术领域
本发明涉及数据处理技术领域，具体地说，涉及一种基于区块的分布式数据调度汇集平台。
背景技术
计算机***平台的运行，往往都离不开数据的基础。大型的***平台中，甚至还需设置独立的数据调度汇集平台。但是，目前的数据平台一般都是集中式的，通过中央控制模块集中控制，然而针对大规模的数据处理，则会导致计算速度降低，无法满足用户的使用需求。区块链的众多优势使其可以很好地解决现有一些技术所面临的瓶颈问题，利用这些优势和传统大数据技术相结合，将促进基于区块链的分布式数据调度的一些突破和应用，为大规模的应用打下基础。然而，目前却没有功能完善的基于区块技术的数据调度汇集平台。
发明内容
本发明的目的在于提供了一种基于区块的分布式数据调度汇集平台，以解决上述背景技术中提出的问题。
为实现上述技术问题的解决，本发明的目的之一在于，提供了一种基于区块的分布式数据调度汇集平台，包括
区块基础单元、数据架构单元、数据管理单元和安全保障单元；所述区块基础单元、所述数据架构单元、所述数据管理单元与所述安全保障单元依次通过网络通信连接；所述区块基础单元用于以区块链为基础搭建分布式数据平台的网络架构；所述数据架构单元用于搭建数据模型架构并进行管理；所述数据管理单元用于从多方面对数据进行汇集及调度管理；所述安全保障单元用于对数据调度处理过程中的各类风险进行安全管理；
所述区块基础单元包括共享CDN模块、共识机制模块、算法合约模块和边缘计算模块；
所述数据架构单元包括数据源模块、数据平台模块、数据服务模块和数据应用模块；
所述数据管理单元包括元数据管理模块、质量检核模块、周期管理模块和调度处理模块；
所述安全保障单元包括数据加密模块、节点关联模块、匹配验证模块和风险管理模块。
作为本技术方案的进一步改进，所述共享CDN模块、所述共识机制模块、所述算法合约模块与所述边缘计算模块依次通过网络通信连接；所述共享CDN模块用于通过由分布在不同区域的节点服务器群组成的共享内容分发网络将内容源推送到接近用户的网络边缘节点服务器，使用户可以就近取得所需内容，可以充分利用共享的边缘节点无限扩展节点的布局和数量；所述共识机制模块用于封装管理网络节点的各类共识算法并选调相应共识算法来在区块链之间建立共识及验证行为；所述算法合约模块用于封装各类加密算法和智能合约来使链式区块结构可适用于多种场景；所述边缘计算模块用于将原先由核心节点进行的事务处理分到各个边缘节点进行梳理并靠近终端用户来布局，从而使***更高效和易于管理。
其中，节点服务器群包括但不限于电脑、手机、Pad、路由器、机顶盒、企业机房、IDC机房等设备。
其中，共识机制的种类包括但不限于工作量证明、权益证明、贡献证明机制、拜占庭共识等。
其中，加密算法包括对称及非对称式的加密算法。
作为本技术方案的进一步改进，所述边缘计算模块中，基于边缘计算的业务分类计算表达式如下：
m个子缓存管理模块由同一个边缘计算节点提供服务时，所需总带宽为c：
Figure 820231DEST_PATH_IMAGE001
式中，
Figure 629924DEST_PATH_IMAGE002
为第j级业务的包个数，
Figure 43588DEST_PATH_IMAGE003
为每个包的平均速率；
进而，边缘计算节点服务用户的总个数为N：
Figure 255127DEST_PATH_IMAGE004
其中，假设某一边缘计算节点的总调度容量为带宽C，则次边缘计算节点可同时支持包的总个数为n：
Figure 490018DEST_PATH_IMAGE005
。
作为本技术方案的进一步改进，所述数据源模块、所述数据平台模块、所述数据服务模块与所述数据应用模块依次通过网络通信连接；所述数据源模块用于对***内外部不同来源的数据进行整合管理；所述数据平台模块用于搭建数据平台来对海量的数据进行采集、整理、分析及存储操作；所述数据服务模块用于以数据为基础为数据管理操作提供多种应用服务功能；所述数据应用模块用于通过对深度挖掘分析的数据生成对应统计报表以便直观应用。
其中，数据来源包括内部数据和外部数据，内部数据包括但不限于业务***数据、数据交换平台信息、其他***数据等，外部数据包括通过互联网或物联网发布共享的数据。
其中，数据平台包括大数据平台和基础数据平台，基础数据平台一般划分为贴源层、整合层、汇总层三层结构。
作为本技术方案的进一步改进，所述数据平台模块包括结构转化模块、分析计算模块、分布数库模块和文件***模块；所述结构转化模块、所述分析计算模块、所述分布数库模块与所述文件***模块依次通过网络通信连接；所述结构转化模块用于将大数据库中杂乱的非结构化数据整理转换成结构化数据；所述分析计算模块用于通过大数据分析计算技术来对复杂的数据进行深度探索以便用户更好地理解；所述分布数库模块用于在区块节点的基础上搭建多个分布式的数据库以便存储不同类别/不同用户端的数据；所述文件***模块用于在区块节点的基础上搭建多个分布式的文件***以便接受不同用户端的文件信息并分别存储。
作为本技术方案的进一步改进，所述数据服务模块包括数据集市模块、数据接口模块、数据切分模块和数据传输模块；所述数据集市模块、所述数据接口模块、所述数据切分模块与所述数据传输模块依次通过网络通信连接；所述数据集市模块用于对从操作的数据和其他的为某个特定专业项目服务的数据源中收集数据的仓库进行分配管理；所述数据接口模块用于通过各种不同的数据接口来与不同服务端进行数据通讯以获取多方来源的数据；所述数据切分模块用于对海量的数据进行切分并按照一定的规则进行归档保存；所述数据传输模块用于对依照适当的规程、经过一条或多条链路在数据源和数据宿之间传送数据的过程进行管理及任务分配。
作为本技术方案的进一步改进，所述数据切分模块中，对数据进行分类归档采用ID3算法，其算法流程为：
设S是s个数据样本的集合，定义m个不同类Ci（i=1，2，...，m），设si是Ci类中的样本数，则对给定的样本S所期望的信息值的计算公式为：
Figure 787007DEST_PATH_IMAGE006
其中，pi是任意样本属于Ci的概率，pi=si/s；
设属性A具有不同值｛a1，a2，...，a｝，可以用属性A将样本S划分为｛S1，S2，...，SV｝，设sij是Sj中Ci类的样本数，则由A划分成子集的熵的计算公式为：
Figure 473203DEST_PATH_IMAGE007
作为本技术方案的进一步改进，所述元数据管理模块、所述质量检核模块、所述周期管理模块与所述调度处理模块依次通过网络通信连接；所述元数据管理模块用于对业务词汇表的发展、数据元素和实体的定义、业务规则和算法以及数据特征等元数据业务进行管理；所述质量检核模块用于在获取到新的数据时按照一定的规则对数据的内容、标准格式及质量等进行检查校核；所述周期管理模块用于按照数据的有效性对数据的存续生命周期进行设定和管理；所述调度处理模块用于按照用户的需求对用户所需数据进行调取、打包、分发等调度处理。
作为本技术方案的进一步改进，所述数据加密模块、所述节点关联模块、所述匹配验证模块与所述风险管理模块依次通过网络通信连接；所述数据加密模块用于通过不同的加密算法在各个节点的分布式数据库中对不同数据分别进行加密处理以避免信息泄露；所述节点关联模块用于通过特定手段在不同区块节点之间搭建安全的数据传输通道；所述匹配验证模块用于载入多种匹配算法以便通过相关描述将一个资源请求和一个资源供应进行匹配，并调用适配的共识协议对匹配行为进行安全验证；所述风险管理模块用于通过大数据分析手段对数据调度平台运行过程中可能存在的风险因素进行分析并自动对风险行为进行识别反馈。
本发明的目的之二在于，提供了一种基于区块的分布式数据调度汇集平台的运行方法，包括如下步骤：
S1、以共享CDN为基础，建设数据管理区块链，并载入各种共识机制、加密算法及智能合约等；
S2、搭建数据模型架构，通过数据接口与各种数据***之间建立连接及数据传输的通道，并从不同来源的数据平台获取海量的业务相关数据；
S3、***通过边缘计算，在数据获取近端或用户所需近端，对数据进行结构转换、切分归档、分析计算等处理，并将数据分别存储到对应的分布式数据库中；
S4、每次采集到新的数据，需先对新数据的内容、格式、标准、适量及存续周期进行检测校核，并按流畅对新数据进行分类保存；
S5、***对不同数据进行风险控制及安全管理；
S6、当用户需要调用相关数据时，***的匹配算法将用户的资源请求与供应资源的大数据库进行匹配，获取相应的数据并直接推送到接近用户的网络边缘节点服务器，用户可就近获取所需数据。
本发明的目的之三在于，提供了一种基于区块的分布式数据调度汇集平台的运行装置，包括处理器、存储器以及存储在存储器中并在处理器上运行的计算机程序，处理器用于执行计算机程序时实现上述任一的基于区块的分布式数据调度汇集平台。
本发明的目的之四在于，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述任一的基于区块的分布式数据调度汇集平台。
与现有技术相比，本发明的有益效果：
1.该基于区块的分布式数据调度汇集平台以区块链为基础，在共享CDN分布式网络的基础上搭建数据调度汇集平台，结合边缘计算，可以在用户近端或数据近端对数据进行采集、整合、分析、归类及分布保存的操作处理，数据分布在区块链各节点处，缩小了各分布式数据库的容量，便于查找调用，提高计算速度；
2.该基于区块的分布式数据调度汇集平台可以充分利用区块链的优势，通过匹配算法对用户的需求与数据资源进行匹配，能够快速准确地获取用户所需数据并推送到用户近端的节点服务端，且能够同时进行多个任务的并行处理，提高数据平台的调度效率；
3.该基于区块的分布式数据调度汇集平台通过多种加密算法及防护手段，对数据及平台的安全进行控制和保障，可以提供高质量的数据，并提高数据信息的安全性。
附图说明
图1为本发明的示例性数据模型架构框图；
图2为本发明的整体***装置结构图；
图3为本发明的局部***装置结构图之一；
图4为本发明的局部***装置结构图之二；
图5为本发明的局部***装置结构图之三；
图6为本发明的局部***装置结构图之四；
图7为本发明的局部***装置结构图之五；
图8为本发明的局部***装置结构图之六；
图9为本发明的示例性电子计算机产品装置结构示意图。
图中各个标号意义为：
100、区块基础单元；101、共享CDN模块；102、共识机制模块；103、算法合约模块；104、边缘计算模块；
200、数据架构单元；201、数据源模块；202、数据平台模块；2021、结构转化模块；2022、分析计算模块；2023、分布数库模块；2024、文件***模块；203、数据服务模块；2031、数据集市模块；2032、数据接口模块；2033、数据切分模块；2034、数据传输模块；204、数据应用模块；
300、数据管理单元；301、元数据管理模块；302、质量检核模块；303、周期管理模块；304、调度处理模块；
400、安全保障单元；401、数据加密模块；402、节点关联模块；403、匹配验证模块；404、风险管理模块。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1
如图1-图9所示，本实施例提供了一种基于区块的分布式数据调度汇集平台，包括
区块基础单元100、数据架构单元200、数据管理单元300和安全保障单元400；区块基础单元100、数据架构单元200、数据管理单元300与安全保障单元400依次通过网络通信连接；区块基础单元100用于以区块链为基础搭建分布式数据平台的网络架构；数据架构单元200用于搭建数据模型架构并进行管理；数据管理单元300用于从多方面对数据进行汇集及调度管理；安全保障单元400用于对数据调度处理过程中的各类风险进行安全管理；
区块基础单元100包括共享CDN模块101、共识机制模块102、算法合约模块103和边缘计算模块104；
数据架构单元200包括数据源模块201、数据平台模块202、数据服务模块203和数据应用模块204；
数据管理单元300包括元数据管理模块301、质量检核模块302、周期管理模块303和调度处理模块304；
安全保障单元400包括数据加密模块401、节点关联模块402、匹配验证模块403和风险管理模块404。
本实施例中，共享CDN模块101、共识机制模块102、算法合约模块103与边缘计算模块104依次通过网络通信连接；共享CDN模块101用于通过由分布在不同区域的节点服务器群组成的共享内容分发网络将内容源推送到接近用户的网络边缘节点服务器，使用户可以就近取得所需内容，可以充分利用共享的边缘节点无限扩展节点的布局和数量；共识机制模块102用于封装管理网络节点的各类共识算法并选调相应共识算法来在区块链之间建立共识及验证行为；算法合约模块103用于封装各类加密算法和智能合约来使链式区块结构可适用于多种场景；边缘计算模块104用于将原先由核心节点进行的事务处理分到各个边缘节点进行梳理并靠近终端用户来布局，从而使***更高效和易于管理。
其中，节点服务器群包括但不限于电脑、手机、Pad、路由器、机顶盒、企业机房、IDC机房等设备。
其中，共识机制的种类包括但不限于工作量证明、权益证明、贡献证明机制、拜占庭共识等。
其中，加密算法包括对称及非对称式的加密算法。
具体地，边缘计算模块104中，基于边缘计算的业务分类计算表达式如下：
m个子缓存管理模块由同一个边缘计算节点提供服务时，所需总带宽为c：
Figure 306292DEST_PATH_IMAGE008
式中，
Figure 950900DEST_PATH_IMAGE002
为第j级业务的包个数，
Figure 204027DEST_PATH_IMAGE003
为每个包的平均速率；
进而，边缘计算节点服务用户的总个数为N：
Figure 225073DEST_PATH_IMAGE009
其中，假设某一边缘计算节点的总调度容量为带宽C，则次边缘计算节点可同时支持包的总个数为n：
Figure 912668DEST_PATH_IMAGE005
。
本实施例中，数据源模块201、数据平台模块202、数据服务模块203与数据应用模块204依次通过网络通信连接；数据源模块201用于对***内外部不同来源的数据进行整合管理；数据平台模块202用于搭建数据平台来对海量的数据进行采集、整理、分析及存储操作；数据服务模块203用于以数据为基础为数据管理操作提供多种应用服务功能；数据应用模块204用于通过对深度挖掘分析的数据生成对应统计报表以便直观应用。
其中，数据来源包括内部数据和外部数据，内部数据包括但不限于业务***数据、数据交换平台信息、其他***数据等，外部数据包括通过互联网或物联网发布共享的数据。
其中，数据平台包括大数据平台和基础数据平台，基础数据平台一般划分为贴源层、整合层、汇总层三层结构。
进一步地，数据平台模块202包括结构转化模块2021、分析计算模块2022、分布数库模块2023和文件***模块2024；结构转化模块2021、分析计算模块2022、分布数库模块2023与文件***模块2024依次通过网络通信连接；结构转化模块2021用于将大数据库中杂乱的非结构化数据整理转换成结构化数据；分析计算模块2022用于通过大数据分析计算技术来对复杂的数据进行深度探索以便用户更好地理解；分布数库模块2023用于在区块节点的基础上搭建多个分布式的数据库以便存储不同类别/不同用户端的数据；文件***模块2024用于在区块节点的基础上搭建多个分布式的文件***以便接受不同用户端的文件信息并分别存储。
进一步地，数据服务模块203包括数据集市模块2031、数据接口模块2032、数据切分模块2033和数据传输模块2034；数据集市模块2031、数据接口模块2032、数据切分模块2033与数据传输模块2034依次通过网络通信连接；数据集市模块2031用于对从操作的数据和其他的为某个特定专业项目服务的数据源中收集数据的仓库进行分配管理；数据接口模块2032用于通过各种不同的数据接口来与不同服务端进行数据通讯以获取多方来源的数据；数据切分模块2033用于对海量的数据进行切分并按照一定的规则进行归档保存；数据传输模块2034用于对依照适当的规程、经过一条或多条链路在数据源和数据宿之间传送数据的过程进行管理及任务分配。
具体地，数据切分模块2033中，对数据进行分类归档采用ID3算法，其算法流程为：
设S是s个数据样本的集合，定义m个不同类Ci（i=1，2，...，m），设si是Ci类中的样本数，则对给定的样本S所期望的信息值的计算公式为：
Figure 462598DEST_PATH_IMAGE006
其中，pi是任意样本属于Ci的概率，pi=si/s；
设属性A具有不同值｛a1，a2，...，a｝，可以用属性A将样本S划分为｛S1，S2，...，SV｝，设sij是Sj中Ci类的样本数，则由A划分成子集的熵的计算公式为：
Figure 734180DEST_PATH_IMAGE007
。
本实施例中，元数据管理模块301、质量检核模块302、周期管理模块303与调度处理模块304依次通过网络通信连接；元数据管理模块301用于对业务词汇表的发展、数据元素和实体的定义、业务规则和算法以及数据特征等元数据业务进行管理；质量检核模块302用于在获取到新的数据时按照一定的规则对数据的内容、标准格式及质量等进行检查校核；周期管理模块303用于按照数据的有效性对数据的存续生命周期进行设定和管理；调度处理模块304用于按照用户的需求对用户所需数据进行调取、打包、分发等调度处理。
本实施例中，数据加密模块401、节点关联模块402、匹配验证模块403与风险管理模块404依次通过网络通信连接；数据加密模块401用于通过不同的加密算法在各个节点的分布式数据库中对不同数据分别进行加密处理以避免信息泄露；节点关联模块402用于通过特定手段在不同区块节点之间搭建安全的数据传输通道；匹配验证模块403用于载入多种匹配算法以便通过相关描述将一个资源请求和一个资源供应进行匹配，并调用适配的共识协议对匹配行为进行安全验证；风险管理模块404用于通过大数据分析手段对数据调度平台运行过程中可能存在的风险因素进行分析并自动对风险行为进行识别反馈。
本实施例的目的在于，提供了一种基于区块的分布式数据调度汇集平台的运行方法，包括如下步骤：
S1、以共享CDN为基础，建设数据管理区块链，并载入各种共识机制、加密算法及智能合约等；
S2、搭建数据模型架构，通过数据接口与各种数据***之间建立连接及数据传输的通道，并从不同来源的数据平台获取海量的业务相关数据；
S3、***通过边缘计算，在数据获取近端或用户所需近端，对数据进行结构转换、切分归档、分析计算等处理，并将数据分别存储到对应的分布式数据库中；
S4、每次采集到新的数据，需先对新数据的内容、格式、标准、适量及存续周期进行检测校核，并按流畅对新数据进行分类保存；
S5、***对不同数据进行风险控制及安全管理；
S6、当用户需要调用相关数据时，***的匹配算法将用户的资源请求与供应资源的大数据库进行匹配，获取相应的数据并直接推送到接近用户的网络边缘节点服务器，用户可就近获取所需数据。
如图9所示，本实施例还提供了一种基于区块的分布式数据调度汇集平台的运行装置，该装置包括处理器、存储器以及存储在存储器中并在处理器上运行的计算机程序。
处理器包括一个或一个以上处理核心，处理器通过总线与存储器相连，存储器用于存储程序指令，处理器执行存储器中的程序指令时实现上述的基于区块的分布式数据调度汇集平台。
可选的，存储器可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随时存取存储器（SRAM），电可擦除可编程只读存储器（EEPROM），可擦除可编程只读存储器（EPROM），可编程只读存储器（PROM），只读存储器（ROM），磁存储器，快闪存储器，磁盘或光盘。
此外，本发明还提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现上述的基于区块的分布式数据调度汇集平台。
可选的，本发明还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述各方面基于区块的分布式数据调度汇集平台。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，程序可以存储于计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的仅为本发明的优选例，并不用来限制本发明，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (10)

1.一种基于区块的分布式数据调度汇集平台，其特征在于：包括
区块基础单元（100）、数据架构单元（200）、数据管理单元（300）和安全保障单元（400）；所述区块基础单元（100）、所述数据架构单元（200）、所述数据管理单元（300）与所述安全保障单元（400）依次通过网络通信连接；所述区块基础单元（100）用于以区块链为基础搭建分布式数据平台的网络架构；所述数据架构单元（200）用于搭建数据模型架构并进行管理；所述数据管理单元（300）用于从多方面对数据进行汇集及调度管理；所述安全保障单元（400）用于对数据调度处理过程中的各类风险进行安全管理；
所述区块基础单元（100）包括共享CDN模块（101）、共识机制模块（102）、算法合约模块（103）和边缘计算模块（104）；
所述数据架构单元（200）包括数据源模块（201）、数据平台模块（202）、数据服务模块（203）和数据应用模块（204）；
所述数据管理单元（300）包括元数据管理模块（301）、质量检核模块（302）、周期管理模块（303）和调度处理模块（304）；
所述安全保障单元（400）包括数据加密模块（401）、节点关联模块（402）、匹配验证模块（403）和风险管理模块（404）。
2.根据权利要求1所述的基于区块的分布式数据调度汇集平台，其特征在于：所述共享CDN模块（101）、所述共识机制模块（102）、所述算法合约模块（103）与所述边缘计算模块（104）依次通过网络通信连接；所述共享CDN模块（101）用于通过由分布在不同区域的节点服务器群组成的共享内容分发网络将内容源推送到接近用户的网络边缘节点服务器，使用户可以就近取得所需内容，可以充分利用共享的边缘节点无限扩展节点的布局和数量；所述共识机制模块（102）用于封装管理网络节点的各类共识算法并选调相应共识算法来在区块链之间建立共识及验证行为；所述算法合约模块（103）用于封装各类加密算法和智能合约来使链式区块结构可适用于多种场景；所述边缘计算模块（104）用于将原先由核心节点进行的事务处理分到各个边缘节点进行梳理并靠近终端用户来布局，从而使***更高效和易于管理。
3.根据权利要求2所述的基于区块的分布式数据调度汇集平台，其特征在于：所述边缘计算模块（104）中，基于边缘计算的业务分类计算表达式如下：
m个子缓存管理模块由同一个边缘计算节点提供服务时，所需总带宽为c：
Figure 134999DEST_PATH_IMAGE001
式中，
Figure 968045DEST_PATH_IMAGE002
为第j级业务的包个数，
Figure 470571DEST_PATH_IMAGE003
为每个包的平均速率；
进而，边缘计算节点服务用户的总个数为N：
Figure 399212DEST_PATH_IMAGE004
其中，假设某一边缘计算节点的总调度容量为带宽C，则次边缘计算节点可同时支持包的总个数为n：
Figure 957495DEST_PATH_IMAGE005
。
4.根据权利要求1所述的基于区块的分布式数据调度汇集平台，其特征在于：所述数据源模块（201）、所述数据平台模块（202）、所述数据服务模块（203）与所述数据应用模块（204）依次通过网络通信连接；所述数据源模块（201）用于对***内外部不同来源的数据进行整合管理；所述数据平台模块（202）用于搭建数据平台来对海量的数据进行采集、整理、分析及存储操作；所述数据服务模块（203）用于以数据为基础为数据管理操作提供多种应用服务功能；所述数据应用模块（204）用于通过对深度挖掘分析的数据生成对应统计报表以便直观应用。
5.根据权利要求4所述的基于区块的分布式数据调度汇集平台，其特征在于：所述数据平台模块（202）包括结构转化模块（2021）、分析计算模块（2022）、分布数库模块（2023）和文件***模块（2024）；所述结构转化模块（2021）、所述分析计算模块（2022）、所述分布数库模块（2023）与所述文件***模块（2024）依次通过网络通信连接；所述结构转化模块（2021）用于将大数据库中杂乱的非结构化数据整理转换成结构化数据；所述分析计算模块（2022）用于通过大数据分析计算技术来对复杂的数据进行深度探索以便用户更好地理解；所述分布数库模块（2023）用于在区块节点的基础上搭建多个分布式的数据库以便存储不同类别/不同用户端的数据；所述文件***模块（2024）用于在区块节点的基础上搭建多个分布式的文件***以便接受不同用户端的文件信息并分别存储。
6.根据权利要求4所述的基于区块的分布式数据调度汇集平台，其特征在于：所述数据服务模块（203）包括数据集市模块（2031）、数据接口模块（2032）、数据切分模块（2033）和数据传输模块（2034）；所述数据集市模块（2031）、所述数据接口模块（2032）、所述数据切分模块（2033）与所述数据传输模块（2034）依次通过网络通信连接；所述数据集市模块（2031）用于对从操作的数据和其他的为某个特定专业项目服务的数据源中收集数据的仓库进行分配管理；所述数据接口模块（2032）用于通过各种不同的数据接口来与不同服务端进行数据通讯以获取多方来源的数据；所述数据切分模块（2033）用于对海量的数据进行切分并按照一定的规则进行归档保存；所述数据传输模块（2034）用于对依照适当的规程、经过一条或多条链路在数据源和数据宿之间传送数据的过程进行管理及任务分配。
7.根据权利要求6所述的基于区块的分布式数据调度汇集平台，其特征在于：所述数据切分模块（2033）中，对数据进行分类归档采用ID3算法，其算法流程为：
设S是s个数据样本的集合，定义m个不同类Ci（i=1，2，...，m），设si是Ci类中的样本数，则对给定的样本S所期望的信息值的计算公式为：
Figure 629785DEST_PATH_IMAGE006
其中，pi是任意样本属于Ci的概率，pi=si/s；
设属性A具有不同值｛a1，a2，...，a｝，可以用属性A将样本S划分为｛S1，S2，...，SV｝，设sij是Sj中Ci类的样本数，则由A划分成子集的熵的计算公式为：
Figure 190079DEST_PATH_IMAGE007
。
8.根据权利要求1所述的基于区块的分布式数据调度汇集平台，其特征在于：所述元数据管理模块（301）、所述质量检核模块（302）、所述周期管理模块（303）与所述调度处理模块（304）依次通过网络通信连接；所述元数据管理模块（301）用于对业务词汇表的发展、数据元素和实体的定义、业务规则和算法以及数据特征等元数据业务进行管理；所述质量检核模块（302）用于在获取到新的数据时按照一定的规则对数据的内容、标准格式及质量等进行检查校核；所述周期管理模块（303）用于按照数据的有效性对数据的存续生命周期进行设定和管理；所述调度处理模块（304）用于按照用户的需求对用户所需数据进行调取、打包、分发等调度处理。
9.根据权利要求1所述的基于区块的分布式数据调度汇集平台，其特征在于：所述数据加密模块（401）、所述节点关联模块（402）、所述匹配验证模块（403）与所述风险管理模块（404）依次通过网络通信连接；所述数据加密模块（401）用于通过不同的加密算法在各个节点的分布式数据库中对不同数据分别进行加密处理以避免信息泄露；所述节点关联模块（402）用于通过特定手段在不同区块节点之间搭建安全的数据传输通道；所述匹配验证模块（403）用于载入多种匹配算法以便通过相关描述将一个资源请求和一个资源供应进行匹配，并调用适配的共识协议对匹配行为进行安全验证；所述风险管理模块（404）用于通过大数据分析手段对数据调度平台运行过程中可能存在的风险因素进行分析并自动对风险行为进行识别反馈。
10.根据权利要求1所述的基于区块的分布式数据调度汇集平台，其特征在于：所述平台的运行方法包括如下步骤：
S1、以共享CDN为基础，建设数据管理区块链，并载入各种共识机制、加密算法及智能合约等；
S2、搭建数据模型架构，通过数据接口与各种数据***之间建立连接及数据传输的通道，并从不同来源的数据平台获取海量的业务相关数据；
S3、***通过边缘计算，在数据获取近端或用户所需近端，对数据进行结构转换、切分归档、分析计算等处理，并将数据分别存储到对应的分布式数据库中；
S4、每次采集到新的数据，需先对新数据的内容、格式、标准、适量及存续周期进行检测校核，并按流畅对新数据进行分类保存；
S5、***对不同数据进行风险控制及安全管理；
S6、当用户需要调用相关数据时，***的匹配算法将用户的资源请求与供应资源的大数据库进行匹配，获取相应的数据并直接推送到接近用户的网络边缘节点服务器，用户可就近获取所需数据。
CN202110853718.5A 2021-07-28 2021-07-28 一种基于区块的分布式数据调度汇集平台 Pending CN113676518A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110853718.5A CN113676518A (zh) 2021-07-28 2021-07-28 一种基于区块的分布式数据调度汇集平台

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110853718.5A CN113676518A (zh) 2021-07-28 2021-07-28 一种基于区块的分布式数据调度汇集平台

Publications (1)

Publication Number Publication Date
CN113676518A true CN113676518A (zh) 2021-11-19

Family

ID=78540493

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110853718.5A Pending CN113676518A (zh) 2021-07-28 2021-07-28 一种基于区块的分布式数据调度汇集平台

Country Status (1)

Country Link
CN (1) CN113676518A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114048517A (zh) * 2022-01-14 2022-02-15 北京大学深圳研究生院 区块链的双通道共识***和方法、计算机可读存储介质
CN115297177A (zh) * 2022-08-05 2022-11-04 中国电信股份有限公司 区块链资源匹配方法、装置、***、存储介质及电子设备

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114048517A (zh) * 2022-01-14 2022-02-15 北京大学深圳研究生院 区块链的双通道共识***和方法、计算机可读存储介质
CN114048517B (zh) * 2022-01-14 2022-05-20 北京大学深圳研究生院 区块链的双通道共识***和方法、计算机可读存储介质
CN115297177A (zh) * 2022-08-05 2022-11-04 中国电信股份有限公司 区块链资源匹配方法、装置、***、存储介质及电子设备

Similar Documents

Publication Publication Date Title
Dhaya et al. Energy-efficient resource allocation and migration in private cloud data centre
US20200143246A1 (en) Demand classification based pipeline system for time-series data forecasting
CN104092756B (zh) 一种基于dht机制的云存储***的资源动态分配方法
CN113676518A (zh) 一种基于区块的分布式数据调度汇集平台
CN104966006A (zh) 基于云变平台的智能人脸识别***
CN103561078A (zh) 电信运营***及业务服务方法
CN107612984B (zh) 一种基于互联网的大数据平台
CN103607418B (zh) 基于云服务数据特征的大规模数据分割***及分割方法
CN109639791A (zh) 一种容器环境下云工作流调度方法及***
CN111404932A (zh) 一种医疗机构***接入智慧医疗云服务平台的方法
CN109298937A (zh) 文件解析方法及网络设备
CN103198099A (zh) 基于云计算的面向电信业务的数据挖掘应用方法
CN117171711B (zh) 一种基于云平台的企业内外部数据融合共享方法及***
Qian et al. Characterization of 3g data-plane traffic and application towards centralized control and management for software defined networking
Badri et al. Risk-based optimization of resource provisioning in mobile edge computing
CN116680090B (zh) 一种基于大数据的边缘计算网络管理方法及平台
Kaur et al. Image processing on multinode hadoop cluster
CN110417860A (zh) 文件传输管理方法、装置、设备及存储介质
Pasteris et al. Data distribution and scheduling for distributed analytics tasks
CN115935235A (zh) 一种基于数据中台的大数据决策分析方法与流程
Yang et al. Replica placement in content delivery networks with stochastic demands and M/M/1 servers
Yu et al. Robust resource provisioning in time-varying edge networks
CN113377877A (zh) 多引擎大数据平台
Huang et al. On the cloud-based network traffic classification and applications identification service
CN112019592B (zh) 基于边缘计算的云制造数据高效处理***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination