CN117041264B - 一种基于数据处理的区块链资源管理***及方法 - Google Patents
一种基于数据处理的区块链资源管理***及方法 Download PDFInfo
- Publication number
- CN117041264B CN117041264B CN202311289317.7A CN202311289317A CN117041264B CN 117041264 B CN117041264 B CN 117041264B CN 202311289317 A CN202311289317 A CN 202311289317A CN 117041264 B CN117041264 B CN 117041264B
- Authority
- CN
- China
- Prior art keywords
- candidate
- servers
- migration
- node
- block chain
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims abstract description 22
- 238000000034 method Methods 0.000 title claims abstract description 21
- 238000013508 migration Methods 0.000 claims abstract description 169
- 230000005012 migration Effects 0.000 claims abstract description 168
- 238000007726 management method Methods 0.000 claims description 77
- 238000012216 screening Methods 0.000 claims description 63
- 238000011156 evaluation Methods 0.000 claims description 19
- 238000009434 installation Methods 0.000 claims description 11
- 238000007405 data analysis Methods 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 238000000513 principal component analysis Methods 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 7
- 238000013528 artificial neural network Methods 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 238000010606 normalization Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000012847 principal component analysis method Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000000306 recurrent effect Effects 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 2
- 230000015654 memory Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000004378 air conditioning Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/104—Peer-to-peer [P2P] networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/08—Configuration management of networks or network elements
- H04L41/0803—Configuration setting
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/08—Configuration management of networks or network elements
- H04L41/0894—Policy-based network configuration management
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
- H04L41/142—Network analysis or design using statistical or mathematical methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
- H04L63/0428—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer Security & Cryptography (AREA)
- Mathematical Physics (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Algebra (AREA)
- Probability & Statistics with Applications (AREA)
- Pure & Applied Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及数据处理领域，为基于数据处理的区块链资源管理***及方法，应用于计算机集群，部署有管理节点及至少一个区块链节点，方法包括：管理节点接收新增区块链节点请求，获取多台服务器的相关数据，确定候选服务器；当不满足预设部署条件时，确定节点迁移方案，对至少一个已建立区块链节点进行迁移；完成节点迁移后，再次获取多台服务器的相关数据，基于再次获取的多台服务器的相关数据，确定目标服务器；目标服务器基于新增区块链节点请求，部署新增区块链节点；能够解决区块链资源调度的问题，提高区块链资源管理的效果。
Description
技术领域
本发明涉及数据处理领域，特别涉及一种基于数据处理的区块链资源管理***及方法。
背景技术
区块链布式账本技术，是一种分布式技术，其特点是去中心化、公开透明且不可篡改。具体地说，区块链网络中的每条数据都会被广播到全部的区块链节点，每个区块链节点均可通过相应的存储资源存储相同的数据。
区块链即服务（BaaS，Blockchain as a Service）是为构建区块链应用程序的公司创建和管理基于云的网络的第三方所提供的服务。在BaaS模型中，企业和组织可以访问在云上创建和开发的BaaS。BaaS应用程序在云上开发、托管和部署。此应用程序与任何其他具有智能合约和其他相关区块链功能的本地托管区块链应用程序一样。BaaS模型应用程序的优势在于企业无需担心任何类型的基础架构（如服务器）的管理和安装，而是依赖基于云的服务提供商来完成所有这些与IT相关的工作。事实上区块链技术的应用已经远远不止在加密货币上，已经扩展到解决各种安全交易（汽车、农业等行业）等。
现有技术中，使用区块链即服务对区块链进行资源管理时，会涉及对区块链节点的管理。如何选择区块链节点部署在哪台服务器上，是一个***调度的问题。已有的容器化或微服务架构具有调度的能力，但其调度策略属于通用算法，未针对区块链的部署场景进行定制化的设计，存在调度资源方面的不足。
因此，需要提供一种基于数据处理的区块链资源管理***及方法，用于提高区块链资源管理的效果。
发明内容
本发明提供一种基于数据处理的区块链资源管理方法，应用于计算机集群，所述计算机集群包括多台服务器，所述计算机集群用于提供区块链即服务，所述计算机集群上部署有管理节点及至少一个区块链节点，包括：所述管理节点接收新增区块链节点请求；所述管理节点基于所述新增区块链节点请求，获取所述多台服务器的相关数据；所述管理节点基于所述新增区块链节点请求及所述多台服务器的相关数据，进行数据分析，确定所述多台服务器中与所述新增区块链节点请求匹配的候选服务器；当与所述新增区块链节点请求匹配的候选服务器不满足预设部署条件时，所述管理节点基于所述多台服务器的相关数据，确定节点迁移方案，基于所述节点迁移方案对至少一个已建立区块链节点进行迁移；完成节点迁移后，再次获取所述多台服务器的相关数据，基于再次获取的所述多台服务器的相关数据，确定目标服务器；当与所述新增区块链节点请求匹配的候选服务器满足预设部署条件时，所述管理节点从所述候选服务器中确定目标服务器；所述目标服务器基于所述新增区块链节点请求，部署新增区块链节点。
更进一步地，所述多台服务器的相关数据至少包括每台所述服务器的剩余资源数据、性能参数数据及状态数据；所述管理节点基于所述新增区块链节点请求及所述多台服务器的相关数据，确定所述多台服务器中与所述新增区块链节点请求匹配的候选服务器，包括：基于所述新增区块链节点请求对应的新增区块链节点的类型，确定所述新增区块链节点请求对应的节点资源要求；基于所述多台服务器的剩余资源数据及所述新增区块链节点请求对应的节点资源要求，确定与所述新增区块链节点请求匹配的候选服务器。
更进一步地，所述预设部署条件至少包括候选服务器数量要求、候选服务器性能要求及候选服务器状态要求，其中，所述候选服务器***器性能要求基于所述新增区块链节点请求确定所述新增区块链节点请求确定；所述管理节点判断与所述新增区块链节点请求匹配的候选服务器是否满足预设部署条件，包括：基于所有与所述新增区块链节点请求匹配的候选服务器的状态数据，进行第一次筛选，并确定第一次筛选后的候选服务器；当所述第一次筛选后的候选服务器的数量不满足所述服务器数量要求时，判断与所述新增区块链节点请求匹配的候选服务器不满足预设部署条件；当所述第一次筛选后的候选服务器的数量满足所述服务器数量要求时，基于所有与所述新增区块链节点请求匹配的候选服务器的性能参数数据，进行第二次筛选，并确定第二次筛选后的候选服务器；当所述第二次筛选后的候选服务器的数量不满足所述服务器数量要求时，判断与所述新增区块链节点请求匹配的候选服务器不满足预设部署条件；当所述第二次筛选后的候选服务器的数量满足所述服务器数量要求时，判断与所述新增区块链节点请求匹配的候选服务器满足预设部署条件。
更进一步地，所述管理节点基于所述多台服务器的相关数据，确定节点迁移方案，包括：通过蒙特卡洛模型基于约束条件集，生成多种候选迁移方案，其中，所述候选迁移方案包括至少一个待迁移区块链节点及每个所述待迁移区块链节点对应的目标迁移服务器；对于每种所述候选迁移方案，基于迁移评估体系，确定所述候选迁移方案对应的匹配分值，其中，所述迁移评估体系包括多个迁移指标及每个所述迁移指标对应的权重；基于每种所述候选迁移方案对应的匹配分值，从所述多种候选迁移方案中确定目标迁移方案。
更进一步地，所述迁移指标至少包括迁移次数指标、迁移后的候选服务器数量指标、负载均衡指标和/或迁移后的候选服务器性能指标；所述迁移指标对应的权重基于主成分分析法确定。
更进一步地，所述管理节点基于所述节点迁移方案对至少一个已建立区块链节点进行迁移，包括：对于每个所述待迁移区块链节点，在所述待迁移区块链节点对应的目标迁移服务器上新增迁移区块链节点，对所述待迁移区块链节点和对应的迁移区块链节点进行数据同步，数据同步后，待迁移区块链节点加入新增区块链网络，所述待迁移区块链节点退出原区块链网络，所述待迁移区块链节点所在的服务器删除所述待迁移区块链节点。
更进一步地，所述管理节点从所述候选服务器中确定目标服务器，包括：对于每台所述第二次筛选后的候选服务器，通过状态预测模型基于所述第二次筛选后的候选服务器在多个历史时间点的状态数据，预测所述第二次筛选后的候选服务器在新增所述新增区块链节点请求对应的新增区块链节点后的新增后状态数据；基于所述第二次筛选后的候选服务器的新增后状态数据、剩余资源数据及性能参数数据，确定所述目标服务器。
更进一步地，所述管理节点基于所述第二次筛选后的候选服务器的新增后状态数据、剩余资源数据及性能参数数据，确定所述目标服务器，包括：基于筛选评估体系、所述第二次筛选后的候选服务器的新增后状态数据、剩余资源数据及性能参数数据，确定每台所述第二次筛选后的候选服务器对应的优先分值；基于每台所述第二次筛选后的候选服务器对应的优先分值，确定目标服务器。
更进一步地，所述目标服务器基于所述新增区块链节点请求，部署新增区块链节点，包括：所述目标服务器从所述管理节点获取基于所述目标服务器相关数据加密后的安装包；所述目标服务器从所述管理节点获取基于所述目标服务器相关数据加密后的参数数据；所述目标服务器对所述加密后的安装包进行解密后，安装节点软件；所述目标服务器对所述加密后的参数数据进行解密后，配置节点参数；所述目标服务器启动所述节点软件，同步区块链网络上的数据，完成所述新增区块链节点的部署。
本发明为提供一种基于数据处理的区块链资源管理***，应用于计算机集群，所述计算机集群包括多台服务器，所述计算机集群用于提供区块链即服务，所述计算机集群上部署有管理节点及至少一个区块链节点，包括：部署在所述管理节点上的请求接收模块，用于接收新增区块链节点请求；部署在所述管理节点上的数据获取模块，用于基于所述新增区块链节点请求，获取所述多台服务器的相关数据；部署在所述管理节点上的部署调度模块，用于基于所述新增区块链节点请求及所述多台服务器的相关数据，确定所述多台服务器中与所述新增区块链节点请求匹配的候选服务器，当与所述新增区块链节点请求匹配的候选服务器不满足预设部署条件时，所述管理节点基于所述多台服务器的相关数据，确定节点迁移方案，基于所述节点迁移方案对至少一个已建立区块链节点进行迁移，完成节点迁移后，再次获取所述多台服务器的相关数据，基于再次获取的所述多台服务器的相关数据，确定目标服务器，当与所述新增区块链节点请求匹配的候选服务器满足预设部署条件时，所述管理节点从所述候选服务器中确定目标服务器，其中，所述目标服务器用于基于所述新增区块链节点请求，部署新增区块链节点。
相比于现有技术，本说明书提供的一种基于数据处理的区块链资源管理***及方法，至少具备以下有益效果：
1、通过设置管理节点，对计算机集群的多台服务器进行管理，接收到新增区块链节点请求后，基于新增区块链节点请求和多台服务器的相关数据，自动确定用于部署该新增区块链节点的目标服务器，并且，通过设置预设部署条件，对区块链节点实现更灵活的管理，使得目标服务器更匹配新增区块链节点的部署需求。
2、通过两次筛选，可以较为准确地判断当前的计算机集群是否需要进行节点调度，从而为新增区块链节点确定性能更匹配的服务器。
3、通过蒙特卡洛模型，可以快速确定多种候选的迁移方案，进一步地，建立迁移评估体系，并基于迁移评估体系，确定候选迁移方案对应的匹配分值，进而确定对资源利用率更高且更匹配新增区块链节点的目标迁移方案。
4、通过对安装包和节点的参数信息进行加密，有效避免了数据传输过程中的数据泄露，提高了数据传输的安全性。
附图说明
本说明书将以示例性实施例的方式进一步说明，这些示例性实施例将通过附图进行详细描述。这些实施例并非限制性的，在这些实施例中，相同的编号表示相同的结构，对本发明的每幅附图的简要说明如下：
图1是根据本说明书一些实施例所示的一种基于数据处理的区块链资源管理***的模块示意图；
图2是根据本说明书一些实施例所示的一种基于数据处理的区块链资源管理方法的流程示意图；
图3是根据本说明书一些实施例所示的判断候选服务器是否满足预设部署条件的流程示意图；
图4是根据本说明书一些实施例所示的确定节点迁移方案的流程示意图；
图5是根据本说明书一些实施例所示的部署新增区块链节点的流程示意图。
具体实施方式
图1是根据本说明书一些实施例所示的一种基于数据处理的区块链资源管理***的模块示意图，一种基于数据处理的区块链资源管理***可以应用于计算机集群，计算机集群包括多台服务器，计算机集群用于提供区块链即服务，计算机集群上部署有管理节点及至少一个区块链节点，如图1所示，一种基于数据处理的区块链资源管理***的模块可以包括部署于计算机集群的管理节点上的请求接收模块、数据获取模块及部署调度模块。
请求接收模块可以用于接收新增区块链节点请求。
数据获取模块，能够用来基于新增区块链节点请求，获取多台服务器的相关数据。
部署调度模块可以用于基于新增区块链节点请求及多台服务器的相关数据，确定多台服务器中与新增区块链节点请求匹配的候选服务器，当与新增区块链节点请求匹配的候选服务器不满足预设部署条件时，管理节点基于多台服务器的相关数据，确定节点迁移方案，基于节点迁移方案对至少一个已建立区块链节点进行迁移，完成节点迁移后，再次获取多台服务器的相关数据，基于再次获取的多台服务器的相关数据，确定目标服务器，当与新增区块链节点请求匹配的候选服务器满足预设部署条件时，管理节点从候选服务器中确定目标服务器，其中，目标服务器用于基于新增区块链节点请求，部署新增区块链节点。
关于请求接收模块、数据获取模块及部署调度模块的更多描述可以参见图2及其相关描述，此处不再赘述。
图2是根据本说明书一些实施例所示的一种基于数据处理的区块链资源管理方法的流程示意图，如图2所示，一种基于数据处理的区块链资源管理方法可以包括以下流程。
步骤210，管理节点接收新增区块链节点请求。
具体的，管理节点可以从外部数据源（例如，用户端）获取新增区块链节点请求或自动生成新增区块链节点请求。
步骤220，管理节点基于新增区块链节点请求，获取多台服务器的相关数据。
在一些实施例中，多台服务器的相关数据至少包括每台服务器的剩余资源数据、性能参数数据及状态数据。其中，服务器的剩余资源信息可以包 括CPU 剩余、内存剩余和磁盘剩余等，服务器的性能参数数据可以包括CPU频率、内存大小、硬盘的速度及硬盘的大小等，服务器的状态数据可以包括温度数据、进程CPI、目标链路（例如，IPVS的关键函数等）耗时、服务响应时间等。
步骤230，管理节点基于新增区块链节点请求及多台服务器的相关数据，进行数据分析，确定多台服务器中与新增区块链节点请求匹配的候选服务器。
其中，候选服务器可以为可以用于进行新增区块链节点部署的服务器。
在一些实施例中，管理节点基于新增区块链节点请求及多台服务器的相关数据，确定多台服务器中与新增区块链节点请求匹配的候选服务器，包括：
基于新增区块链节点请求对应的新增区块链节点的类型（例如，全节点、超节点、轻节点等），确定新增区块链节点请求对应的节点资源要求，可以理解的，不同类型的区块链节点，其对应的计算机资源需求不同，新增区块链节点请求可以包括新增区块链节点的类型信息；
基于多台服务器的剩余资源数据及新增区块链节点请求对应的节点资源要求，确定与新增区块链节点请求匹配的候选服务器。
在一些实施例中，预设部署条件至少包括候选服务器数量要求、候选服务器性能要求及候选服务器状态要求，其中，候选服务器性能要求基于新增区块链节点请求确定。
图3是根据本说明书一些实施例所示的判断候选服务器是否满足预设部署条件的流程示意图，如图3所示，在一些实施例中，管理节点判断与新增区块链节点请求匹配的候选服务器是否满足预设部署条件，包括：
基于所有与新增区块链节点请求匹配的候选服务器的状态数据，进行第一次筛选，并确定第一次筛选后的候选服务器，具体的，可以基于候选服务器的状态数据，判断候选服务器是否处于故障状态或资源竞态状态，关于故障状态和资源竞态状态的更多描述可以参见后续相关描述，此处不再赘述，将处于正常状态的候选服务器作为第一次筛选后的候选服务器；
当第一次筛选后的候选服务器的数量不满足服务器数量要求时，判断与新增区块链节点请求匹配的候选服务器不满足预设部署条件，例如，第一次筛选后的候选服务器的数量小于预设服务器数量阈值时，判断与新增区块链节点请求匹配的候选服务器不满足预设部署条件；
当第一次筛选后的候选服务器的数量满足服务器数量要求时，基于所有与新增区块链节点请求匹配的候选服务器的性能参数数据，进行第二次筛选，确定第二次筛选后的候选服务器，具体的，当第一次筛选后的候选服务器的性能参数满足预设性能参数要求时，将该第一次筛选后的候选服务器作为第二次筛选后的候选服务器；
当第二次筛选后的候选服务器的数量不满足服务器数量要求时，判断与新增区块链节点请求匹配的候选服务器不满足预设部署条件，具体的，当第二次筛选后的候选服务器的数量小于预设服务器数量阈值时，判断与新增区块链节点请求匹配的候选服务器不满足预设部署条件；
当第二次筛选后的候选服务器的数量满足服务器数量要求时，判断与新增区块链节点请求匹配的候选服务器满足预设部署条件，具体的，当第二次筛选后的候选服务器的数量大于或等于预设服务器数量阈值时，判断与新增区块链节点请求匹配的候选服务器满足预设部署条件。
可以理解的，通过两次筛选，可以较为准确地判断当前的计算机集群是否需要进行节点调度，从而为新增区块链节点确定性能更匹配的服务器。
步骤240，当与新增区块链节点请求匹配的候选服务器不满足预设部署条件时，管理节点基于多台服务器的相关数据，确定节点迁移方案，基于节点迁移方案对至少一个已建立区块链节点进行迁移。
图4是根据本说明书一些实施例所示的确定节点迁移方案的流程示意图，如图4所示，在一些实施例中，管理节点基于多台服务器的相关数据，确定节点迁移方案，包括：
通过蒙特卡洛模型基于约束条件集，生成多种候选迁移方案，其中，候选迁移方案包括至少一个待迁移区块链节点及每个待迁移区块链节点对应的目标迁移服务器，约束条件集可以至少包括待迁移区块链节点最大数量约束及迁移后的候选服务器的数量最小阈值等；
对于每种候选迁移方案，基于迁移评估体系，确定候选迁移方案对应的匹配分值，其中，迁移评估体系包括多个迁移指标及每个迁移指标对应的权重；
基于每种候选迁移方案对应的匹配分值，从多种候选迁移方案中确定目标迁移方案。
在一些实施例中，迁移指标至少包括迁移次数指标、迁移后的候选服务器数量指标、负载均衡指标和/或迁移后的候选服务器性能指标。迁移指标对应的权重基于主成分分析法确定。主成分分析法在计算分析项权重的时候，需要利用载荷系数等信息进行计算，共分为三步：第一：计算线性组合系数矩阵，公式为：loading矩阵/Sqrt(特征根)，即载荷系数除以对应特征根的平方根；第二：计算综合得分系数，公式为：累积（线性组合系数*方差解释率）/累积方差解释率，即线性组合系数分别与方差解释率相乘后累加，并且除以累积方差解释率，即得到综合得分系数，第三：计算权重，将综合得分系数进行求和归一化处理即得到各指标权重值。
在一些实施例中，对于每种候选迁移方案，管理节点可以确定该选迁移方案在多个迁移指标的得分，基于该选迁移方案在多个迁移指标的得分及每个迁移指标对应的权重，确定候选迁移方案对应的匹配分值。可以理解的，候选迁移方案对应的迁移次数越多，候选迁移方案在迁移次数指标的得分越低。迁移后的候选服务器数量指标越多，候选迁移方案在迁移后的候选服务器数量指标的得分越高，迁移后的候选服务器可以基于新增区块链节点请求及迁移后的多台服务器的相关数据，确定迁移后的多台服务器中与新增区块链节点请求匹配的候选服务器。候选迁移方案对应的迁移后的负载均衡率越大，候选迁移方案在负载均衡指标的得分越高。迁移后的候选服务器平均性能越高，候选迁移方案在迁移后的候选服务器性能指标的得分越高。
在一些实施例中，管理节点可以基于以下公式计算候选迁移方案对应的迁移后的负载均衡率：
其中，为第j种候选迁移方案对应的迁移后的负载均衡率，为第j种候选迁移方案下第l个服务器的负载，/>为第j种候选迁移方案下服务器的负载均值，/>为预设参数，L为服务器的总数。
在一些实施例中，管理节点可以基于以下公式计算候选迁移方案对应的迁移后的候选服务器平均性能：
其中，为第j种候选迁移方案对应的迁移后的候选服务器平均性能，为第j种候选迁移方案对应的迁移后的第q个候选服务器的性能分值，/>基于第j种候选迁移方案对应的迁移后的第q个候选服务器的性能参数数据确定，Q为第j种候选迁移方案对应的迁移后的候选服务器的总数。
示例性地，管理节点可以通过以下公式基于迁移评估体系，确定候选迁移方案对应的匹配分值：
其中，为第j种候选迁移方案对应的匹配分值，/>为第i个迁移指标对应的权重，/>为归一化后的第j种候选迁移方案在第i个迁移指标的得分。
在一些实施例中，管理节点可以将匹配分值最大的候选迁移方案作为目标迁移方案。
可以理解的，通过蒙特卡洛模型，可以快速确定多种候选的迁移方案，进一步地，建立迁移评估体系，并基于迁移评估体系，确定候选迁移方案对应的匹配分值，进而确定对资源利用率更高且更匹配新增区块链节点的目标迁移方案。
在一些实施例中，管理节点基于节点迁移方案对至少一个已建立区块链节点进行迁移，包括：对于每个待迁移区块链节点，在待迁移区块链节点对应的目标迁移服务器上新增迁移区块链节点，对待迁移区块链节点和对应迁移区块链节点进行数据同步，数据同步后，迁移区块链节点加入区块链网络，待迁移区块链节点退出区块链网络，待迁移区块链节点所在的服务器删除待迁移区块链节点。
步骤250，完成节点迁移后，再次获取多台服务器的相关数据，基于再次获取的多台服务器的相关数据，确定目标服务器。
其中，目标服务器可以为用于部署新增区块链节点请求对应的新增区块链节点的服务器。
在一些实施例中，完成节点迁移后，可以再次执行步骤230，以重新确定与新增区块链节点请求匹配的候选服务器，进而确定目标服务器。
步骤260，当与新增区块链节点请求匹配的候选服务器满足预设部署条件时，管理节点从候选服务器中确定目标服务器。
在一些实施例中，管理节点从候选服务器中确定目标服务器，包括：
对于每台第二次筛选后的候选服务器，通过状态预测模型基于第二次筛选后的候选服务器在多个历史时间点的状态数据（例如，温度数据、进程CPI、目标链路（例如，IPVS的关键函数等）耗时、服务响应时间等），预测第二次筛选后的候选服务器在新增区块链节点请求对应的新增区块链节点后的新增后状态数据（例如，温度数据、进程CPI、目标链路（例如，IPVS的关键函数等）耗时、服务响应时间等），其中，状态预测模型可以为人工神经网络(Artificial Neural Network，ANN)模型、循环神经网络(Recurrent Neural Networks，RNN)模型、长短时记忆网络(Long Short-Term Memory，LSTM)模型、双向循环神经网络(BRNN)模型等机器学习模型；
基于第二次筛选后的候选服务器的新增后状态数据、剩余资源数据及性能参数数据，确定目标服务器。
在一些实施例中，管理节点可以基于当前的剩余资源数据，计算部署新增区块链节点请求对应的新增区块链节点后的剩余资源数据。
在一些实施例中，管理节点基于第二次筛选后的候选服务器的新增后状态数据、剩余资源数据及性能参数数据，确定目标服务器，包括：
基于筛选评估体系、第二次筛选后的候选服务器的新增后状态数据、剩余资源数据及性能参数数据，确定每台第二次筛选后的候选服务器对应的优先分值；
基于每台第二次筛选后的候选服务器对应的优先分值，确定目标服务器。
在一些实施例中，筛选评估体系可以包括多个筛选评估指标，其中，多个筛选评估指标可以至少包括状态指标、剩余资源指标及性能参数指标。管理节点可以基于状态预测模型预测的第二次筛选后的候选服务器的新增后状态数据，计算第二次筛选后的候选服务器在状态指标的得分，基于第二次筛选后的候选服务器在部署新增区块链节点请求对应的新增区块链节点后的剩余资源数据，计算第二次筛选后的候选服务器在剩余资源指标的得分，基于第二次筛选后的候选服务器的性能参数数据，计算第二次筛选后的候选服务器在性能参数指标的得分。
示例性地，管理节点可以通过以下公式基于筛选评估体系、第二次筛选后的候选服务器的新增后状态数据、剩余资源数据及性能参数数据，确定每台第二次筛选后的候选服务器对应的优先分值：
其中，为第f个第二次筛选后的候选服务器对应的优先分值，/>、/>及均为预设权重，/>为归一化后的第f个第二次筛选后的候选服务器在状态指标的得分，/>为归一化后的第f个第二次筛选后的候选服务器在剩余资源指标的得分，/>为归一化后的第f个第二次筛选后的候选服务器在性能参数指标的得分。
在一些实施例中，管理节点可以将优先分值最大的候选服务器作为目标服务器。
步骤270，目标服务器基于新增区块链节点请求，部署新增区块链节点。
图5是根据本说明书一些实施例所示的部署新增区块链节点的流程示意图，如图5所示，在一些实施例中，目标服务器基于新增区块链节点请求，部署新增区块链节点，包括：
目标服务器从管理节点获取基于目标服务器相关信息加密后的安装包；
目标服务器从管理节点获取基于目标服务器相关信息加密后的参数信息；
目标服务器对加密后的安装包进行解密后，安装节点软件；
目标服务器对加密后的参数信息进行解密后，配置节点参数，其中，节点参数可以至少包括新增区块链节点的身份、IP地址、端口号等信息；
目标服务器启动节点软件，同步区块链网络上的数据，完成新增区块链节点的部署连接。
具体的，管理节点可以基于目标服务器对应的唯一设备标识码和公钥，对安装包进行加密，和/或对参数信息进行加密，目标服务器可以基于目标服务器对应的唯一设备标识码和私钥，对加密后的安装包进行解密，和/或对加密后的参数信息进行解密。
可以理解的，通过对安装包和节点的参数信息进行加密，有效避免了数据传输过程中的数据泄露，提高了数据传输的安全性。
最后，需要着重声明的是，本说明书中所描述的具体实施例仅仅是用于说明本发明创造的部分实施例的原则。在此基础上，再进行其他的结构简单变化也应当属于本发明创造的范围。因此，本发明创造的具体示例而并非是对本发明的限制，本发明创造的具体实施例的替代方案可视为与本发明创造相一致。相应地，本说明书的实施例不仅限于本说明书明确介绍和描述的具体实施例。
Claims (9)
1.一种基于数据处理的区块链资源管理方法，应用于计算机集群，所述计算机集群包括多台服务器，所述计算机集群用于提供区块链即服务，所述计算机集群上部署有管理节点及至少一个区块链节点，其特征在于，包括：
所述管理节点接收新增区块链节点请求；
所述管理节点基于所述新增区块链节点请求，获取所述多台服务器的相关数据；
所述管理节点基于所述新增区块链节点请求及所述多台服务器的相关数据，进行数据分析，确定所述多台服务器中与所述新增区块链节点请求匹配的候选服务器；
当与所述新增区块链节点请求匹配的候选服务器不满足预设部署条件时，所述管理节点基于所述多台服务器的相关数据，确定节点迁移方案，基于所述节点迁移方案对至少一个已建立的区块链节点进行迁移；
完成节点迁移后，再次获取所述多台服务器的相关数据，基于再次获取的所述多台服务器的相关数据，确定目标服务器；
当与所述新增区块链节点请求匹配的候选服务器满足预设部署条件时，所述管理节点从所述候选服务器中确定目标服务器；
所述目标服务器基于所述新增区块链节点请求，部署新增区块链节点；
其中，所述管理节点基于所述多台服务器的相关数据，确定节点迁移方案，包括：
通过蒙特卡洛模型基于约束条件集，生成多种候选迁移方案，其中，所述候选迁移方案包括至少一个待迁移区块链节点及每个所述待迁移区块链节点对应的目标迁移服务器；
对于每种所述候选迁移方案，基于迁移评估体系，确定所述候选迁移方案对应的匹配分值，其中，所述迁移评估体系包括多个迁移指标以及每个所述迁移指标对应的权重，所述多个迁移指标至少包括迁移次数指标、迁移后的候选服务器数量指标、负载均衡指标和/或迁移后的候选服务器性能指标；
基于每种所述候选迁移方案对应的匹配分值，从所述多种候选迁移方案中确定目标迁移方案；
具体的，基于以下公式计算候选迁移方案对应的迁移后的负载均衡率：
其中，为第j种候选迁移方案对应的迁移后的负载均衡率，为第j种候选迁移方案下第l个服务器的负载，/>为第j种候选迁移方案下服务器的负载均值，/>为预设参数，L为服务器的总数；
基于以下公式计算候选迁移方案对应的迁移后的候选服务器平均性能：
其中，为第j种候选迁移方案对应的迁移后的候选服务器平均性能，/>为第j种候选迁移方案对应的迁移后的第q个候选服务器的性能分值，/>基于第j种候选迁移方案对应的迁移后的第q个候选服务器的性能参数数据确定，Q为第j种候选迁移方案对应的迁移后的候选服务器的总数；
通过以下公式基于迁移评估体系，确定候选迁移方案对应的匹配分值：
其中，为第j种候选迁移方案对应的匹配分值，/>为第i个迁移指标对应的权重，/>为归一化后的第j种候选迁移方案在第i个迁移指标的得分。
2.如权利要求1所述的一种基于数据处理的区块链资源管理方法，其特征在于，所述多台服务器的相关数据至少包括每台所述服务器的剩余资源数据、性能参数数据及状态数据；
所述管理节点基于所述新增区块链节点请求及所述多台服务器的相关数据，确定所述多台服务器中与所述新增区块链节点请求匹配的候选服务器，包括：
基于所述新增区块链节点请求对应的新增区块链节点的类型，确定所述新增区块链节点请求对应的节点资源要求；
基于所述多台服务器的剩余资源数据及所述新增区块链节点请求对应的节点资源要求，确定与所述新增区块链节点请求匹配的候选服务器。
3. 如权利要求2所述的一种基于数据处理的区块链资源管理方法，其特征在于，所述预设部署条件至少包括候选服务器数量要求、候选服务器性能要求及候选服务器状态要求，基于所述新增区块 链节点请求来确定候选服务器性能要求；
所述管理节点判断与所述新增区块链节点请求匹配的候选服务器是否满足预设部署条件，包括：
基于所有与所述新增区块链节点请求匹配的候选服务器的状态数据，进行第一次筛选，并确定第一次筛选后的候选服务器；
当所述第一次筛选后的候选服务器的数量不满足服务器数量要求时，判断与所述新增区块链节点请求匹配的候选服务器不满足预设部署条件；
当所述第一次筛选后的候选服务器的数量满足所述服务器数量要求时，基于所有与所述新增区块链节点请求匹配的候选服务器的性能参数数据，进行第二次筛选，并确定第二次筛选后的候选服务器；
当所述第二次筛选后的候选服务器的数量不满足所述服务器数量要求时，判断与所述新增区块链节点请求匹配的候选服务器不满足预设部署条件；
当所述第二次筛选后的候选服务器的数量满足所述服务器数量要求时，判断与所述新增区块链节点请求匹配的候选服务器满足预设部署条件。
4.如权利要求1所述的一种基于数据处理的区块链资源管理方法，其特征在于，所述迁移指标至少包括迁移次数指标、迁移后的候选服务器数量指标、负载均衡指标和/或迁移后的候选服务器性能指标；
基于主成分分析法来确定迁移指标对应的权重。
5.如权利要求1所述的一种基于数据处理的区块链资源管理方法，其特征在于，所述管理节点基于所述节点迁移方案对至少一个已建立的区块链节点进行迁移，包括：
对于每个所述待迁移区块链节点，在所述待迁移区块链节点对应的目标迁移服务器上新增迁移区块链节点，对所述待迁移区块链节点和对应的迁移区块链节点进行数据同步，数据同步后，待迁移区块链节点加入新增区块链网络；待迁移区块链节点退出原区块链网络，待迁移区块链节点所在的服务器删除待迁移区块链节点。
6.如权利要求3所述的一种基于数据处理的区块链资源管理方法，其特征在于，所述管理节点从所述候选服务器中确定目标服务器，包括：
对于每台第二次筛选后的候选服务器，通过状态预测模型基于所述第二次筛选后的候选服务器在多个历史时间点的状态数据，预测第二次筛选后的候选服务器在新增区块链节点请求对应的新增区块链节点后的新增后状态数据；
基于第二次筛选后的候选服务器的新增后状态数据、剩余资源数据及性能参数数据，确定所述目标服务器。
7.如权利要求6所述的一种基于数据处理的区块链资源管理方法，其特征在于，所述管理节点基于所述第二次筛选后的候选服务器的新增后状态数据、剩余资源数据及性能参数数据，确定所述目标服务器，包括：
基于筛选评估体系、所述第二次筛选后的候选服务器的新增后状态数据、剩余资源数据及性能参数数据，确定每台第二次筛选后的候选服务器对应的优先分值；
基于每台第二次筛选后的候选服务器对应的优先分值，确定目标服务器。
8.如权利要求1-3中任一项所述的一种基于数据处理的区块链资源管理方法，其特征在于，所述目标服务器基于所述新增区块链节点请求，部署新增区块链节点，包括：
所述目标服务器从所述管理节点获取基于所述目标服务器相关信息加密后的安装包；
所述目标服务器从所述管理节点获取基于所述目标服务器相关信息加密后的参数信息；
所述目标服务器对所述加密后的安装包进行解密后，安装节点软件；
所述目标服务器对所述加密后的参数信息进行解密后，配置节点参数；
所述目标服务器启动所述节点软件，同步区块链网络上的数据，完成新增区块链节点的部署。
9.一种如权利要求1-8任一项所述的区块链资源管理方法的区块链资源管理***，应用于计算机集群，所述计算机集群包括多台服务器，所述计算机集群用于提供区块链即服务，所述计算机集群上部署有管理节点及至少一个区块链节点，其特征在于，包括：
部署在所述管理节点上的请求接收模块，用于接收新增区块链节点请求；
部署在所述管理节点上的数据获取模块，用于基于所述新增区块链节点请求，获取所述多台服务器的相关数据；
部署在所述管理节点上的部署调度模块，用于基于所述新增区块链节点请求及所述多台服务器的相关数据，确定所述多台服务器中与所述新增区块链节点请求匹配的候选服务器，当与所述新增区块链节点请求匹配的候选服务器不满足预设部署条件时，所述管理节点基于所述多台服务器的相关数据，确定节点迁移方案，基于所述节点迁移方案对至少一个已建立的区块链节点进行迁移，完成节点迁移后，再次获取所述多台服务器的相关数据，基于再次获取的所述多台服务器的相关数据，确定目标服务器，当与所述新增区块链节点请求匹配的候选服务器满足预设部署条件时，所述管理节点从所述候选服务器中确定目标服务器；所述目标服务器用于基于所述新增区块链节点请求，部署新增区块链节点。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311289317.7A CN117041264B (zh) | 2023-10-08 | 2023-10-08 | 一种基于数据处理的区块链资源管理***及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311289317.7A CN117041264B (zh) | 2023-10-08 | 2023-10-08 | 一种基于数据处理的区块链资源管理***及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117041264A CN117041264A (zh) | 2023-11-10 |
| CN117041264B true CN117041264B (zh) | 2024-01-12 |
Family
ID=88645185
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311289317.7A Active CN117041264B (zh) | 2023-10-08 | 2023-10-08 | 一种基于数据处理的区块链资源管理***及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117041264B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110795203A (zh) * | 2018-08-03 | 2020-02-14 | 阿里巴巴集团控股有限公司 | 资源调度方法、装置、***和计算设备 |
| WO2020073859A1 (zh) * | 2018-10-12 | 2020-04-16 | 阿里巴巴集团控股有限公司 | 区块链节点服务部署方法、装置、***、计算设备及介质 |
| CN111641715A (zh) * | 2020-05-29 | 2020-09-08 | 深圳壹账通智能科技有限公司 | 基于区块链的数据处理方法、装置、设备及介质 |
| CN115866059A (zh) * | 2023-01-13 | 2023-03-28 | 北京微芯区块链与边缘计算研究院 | 一种区块链节点调度方法和装置 |
| CN115952008A (zh) * | 2023-03-15 | 2023-04-11 | 之江实验室 | 一种服务器集群资源的统一调度方法和装置 |
| CN116107704A (zh) * | 2023-04-17 | 2023-05-12 | 北京邮电大学 | 区块链BaaS和多联盟部署方法、数据存储访问方法及装置 |
-
2023
- 2023-10-08 CN CN202311289317.7A patent/CN117041264B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110795203A (zh) * | 2018-08-03 | 2020-02-14 | 阿里巴巴集团控股有限公司 | 资源调度方法、装置、***和计算设备 |
| WO2020073859A1 (zh) * | 2018-10-12 | 2020-04-16 | 阿里巴巴集团控股有限公司 | 区块链节点服务部署方法、装置、***、计算设备及介质 |
| CN111641715A (zh) * | 2020-05-29 | 2020-09-08 | 深圳壹账通智能科技有限公司 | 基于区块链的数据处理方法、装置、设备及介质 |
| CN115866059A (zh) * | 2023-01-13 | 2023-03-28 | 北京微芯区块链与边缘计算研究院 | 一种区块链节点调度方法和装置 |
| CN115952008A (zh) * | 2023-03-15 | 2023-04-11 | 之江实验室 | 一种服务器集群资源的统一调度方法和装置 |
| CN116107704A (zh) * | 2023-04-17 | 2023-05-12 | 北京邮电大学 | 区块链BaaS和多联盟部署方法、数据存储访问方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117041264A (zh) | 2023-11-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112153700B (zh) | 一种网络切片资源管理方法及设备 | |
| US7478361B2 (en) | Method and system for managing application deployment | |
| CN108399101B (zh) | 资源调度的方法、装置和*** | |
| US9811445B2 (en) | Methods and systems for the use of synthetic users to performance test cloud applications | |
| Edwin et al. | An efficient and improved multi-objective optimized replication management with dynamic and cost aware strategies in cloud computing data center | |
| US20070006278A1 (en) | Automated dissemination of enterprise policy for runtime customization of resource arbitration | |
| TWI725744B (zh) | 透過多層次相關性建立系統資源預測及資源管理模型的方法 | |
| Javadpour et al. | Improving load balancing for data-duplication in big data cloud computing networks | |
| Belgaum et al. | Cloud service ranking using checkpoint-based load balancing in real-time scheduling of cloud computing | |
| EP4293510A1 (en) | Data migration method and apparatus, and device, medium and computer product | |
| JP2023541146A (ja) | 局所性鋭敏型ハッシングを使用する連合機械学習 | |
| CN106406980B (zh) | 一种虚拟机的部署方法和装置 | |
| Dadashi Gavaber et al. | BADEP: bandwidth and delay efficient application placement in fog‐based IoT systems | |
| Soleymani et al. | Fuzzy Rule‐Based Trust Management Model for the Security of Cloud Computing | |
| CN105827744A (zh) | 云存储平台的数据处理方法 | |
| WO2021000694A1 (zh) | 一种部署业务的方法以及调度装置 | |
| CN117041264B (zh) | 一种基于数据处理的区块链资源管理***及方法 | |
| CN110636072B (zh) | 一种目标域名的调度方法、装置、设备及存储介质 | |
| CN114978913B (zh) | 一种基于切链的服务功能链跨域部署方法及*** | |
| WO2023209414A1 (en) | Methods and apparatus for computing resource allocation | |
| Zhu et al. | A hybrid reliable heuristic mapping method based on survivable virtual networks for network virtualization | |
| Zaman et al. | Cost-effective data replication mechanism modelling for cloud storage | |
| CN116975158B (zh) | 请求处理方法、装置、计算机设备和存储介质 | |
| US11163732B2 (en) | Linking, deploying, and executing distributed analytics with distributed datasets | |
| Ali et al. | Vigorous replication strategy with balanced quorum for minimizing the storage consumption and response time in cloud environments |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |