CN117193987A - 一种互为中立的独立分布式计算与节点管理方法 - Google Patents
一种互为中立的独立分布式计算与节点管理方法 Download PDFInfo
- Publication number
- CN117193987A CN117193987A CN202311328959.3A CN202311328959A CN117193987A CN 117193987 A CN117193987 A CN 117193987A CN 202311328959 A CN202311328959 A CN 202311328959A CN 117193987 A CN117193987 A CN 117193987A
- Authority
- CN
- China
- Prior art keywords
- task
- computing
- subsystems
- subtasks
- computing nodes
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007726 management method Methods 0.000 title claims abstract description 37
- 230000007935 neutral effect Effects 0.000 title claims abstract description 20
- 238000000034 method Methods 0.000 claims abstract description 46
- 238000004364 calculation method Methods 0.000 claims abstract description 16
- 238000004458 analytical method Methods 0.000 claims abstract description 9
- 230000007246 mechanism Effects 0.000 claims description 17
- 238000004422 calculation algorithm Methods 0.000 claims description 16
- 238000004891 communication Methods 0.000 claims description 16
- 238000002955 isolation Methods 0.000 claims description 14
- 238000012544 monitoring process Methods 0.000 claims description 9
- 244000035744 Hura crepitans Species 0.000 claims description 6
- 230000005540 biological transmission Effects 0.000 claims description 6
- 238000013508 migration Methods 0.000 claims description 6
- 230000005012 migration Effects 0.000 claims description 6
- 238000011084 recovery Methods 0.000 claims description 6
- 230000006399 behavior Effects 0.000 claims description 5
- 238000012550 audit Methods 0.000 claims description 3
- 238000001514 detection method Methods 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 230000003993 interaction Effects 0.000 abstract description 5
- 230000008520 organization Effects 0.000 abstract description 5
- 235000019580 granularity Nutrition 0.000 description 8
- 238000010586 diagram Methods 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000013144 data compression Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 239000008186 active pharmaceutical agent Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Hardware Redundancy (AREA)
Abstract
本发明提供了一种互为中立的独立分布式计算与节点管理方法，本发明提供一种互为中立的独立分布式计算与节点管理方法，应用于分布式***，方法包括：资源管理***接收任务；对每个任务计算权重进行优先级分析，并将任务划分为多个可并行计算子任务，且将对应的任务数据进行划分；根据子任务的资源需求和子任务之间的依赖关系，选择计算节点或子***，并依据任务调度策略，将子任务分配给不同的计算节点或子***进行并行计算；根据任务数据划分的结果，将任务数据分发到相应的计算节点或子***上，确保每个子任务访问到所需的数据；本发明适应不同的计算任务需求，并对计算节点的组织、交互和运行进行管理，确保计算任务的有序性和高效性。
Description
技术领域
本发明涉及分布式计算领域，特别是指一种互为中立的独立分布式计算与节点管理方法。
背景技术
分布式计算是一种在多台计算机或节点上分布任务和数据以完成计算任务的方法。这种方法在处理大规模计算、数据分析和处理复杂问题时非常有用。然而，传统的分布式计算方法通常面临一些挑战，例如节点管理、任务调度、数据同步和安全性等问题。
节点管理是分布式计算中的一个关键方面，涉及到如何有效地管理分布式***中的各个计算节点，以确保它们的可用性、性能和稳定性。传统的节点管理方法可能存在以下不足：1、中心化管理：一些方法采用中心化管理节点，这可能导致单点故障，并限制了***的可扩展性；2、缺乏灵活性：一些方法难以适应不同类型的计算节点和应用场景，缺乏灵活性和通用性；3、节点隔离问题：在多租户环境中，节点之间的隔离可能成为一个挑战，特别是在资源共享和隔离方面；4、资源利用率不佳：传统方法可能无法实现资源的有效共享和利用，导致资源浪费。
发明内容
本发明的主要目的在于克服现有技术中的上述缺陷，提出一种互为中立的独立分布式计算与节点管理方法，实现一个可扩展、高可用的计算环境，并具有较高的灵活性和可靠性，适应不同的计算任务需求，并对计算节点的组织、交互和运行进行管理，确保计算任务的有序性和高效性。
本发明采用的技术方案，
一种互为中立的独立分布式计算与节点管理方法，应用于分布式***，分布式***包括资源管理***、分布式子***和计算节点，所述计算节点为物理服务器、虚拟机、容器形式的计算资源，所述方法包括：
资源管理***接收任务；
对每个任务计算权重进行优先级分析，并将任务划分为多个可并行计算子任务，且将对应的任务数据进行划分；
根据子任务的资源需求和子任务之间的依赖关系，选择计算节点或子***，并依据任务调度策略，将子任务分配给不同的计算节点或子***进行并行计算；
根据任务数据划分的结果，将任务数据分发到相应的计算节点或子***上，确保每个子任务访问到所需的数据。
具体地，对每个任务计算权重进行优先级分析，具体为：
对于每个任务i，计算其权重，用以下公式来计算任务i的权重Weight(i)：
Weight(i)＝w1*E(i)+w2*(1-U(i))+w3*(1-R(i)/A)+w4*P(i)
其中，E(i)：任务i的预估运行时间；U(i)：任务i的资源利用率；R(i)：任务i的资源需求；A表征可用资源，即***中可供分配给任务的资源总量；P(i)：任务i的优先级；w1、w2、w3和w4为权重系数，权重越小表示该任务的预估运行时间越短，优先级越高，资源需求较小，可利用资源较多。
具体地，将任务划分为多个可并行计算子任务，具体包括：
确定任务性能，所述任务性能包括但不限于任务计算复杂性、任务数据依赖关系、任务计算量；确定任务的输入任务数据和输出任务数据，以及任务执行的逻辑流程，确定任务划分粒度；
根据任务性能、任务执行的逻辑流程以及任务划分粒度，将任务划分为多个可并行计算子任务；
根据子任务之间的依赖关系，确保子任务的执行顺序；
根据子任务的划分和依赖关系，将输入任务数据划分为块或片段。
具体地，依据任务调度策略，将子任务分配给不同的计算节点或子***进行并行计算，所述任务调度策略，具体为：
根据任务的优先级、子任务的资源需求和可用资源，选择不同任务调度算法；
定期监控任务的执行情况和计算节点或子***的负载，动态调整任务调度算法，并设定故障恢复机制。
具体地，所述任务调度算法包括但不限于最短作业优先、先来先服务、动态优先级调度。
具体地，定期监控任务的执行情况和计算节点或子***的负载，动态调整任务调度算法，具体为：
定期监控CPU利用率、内存使用率；
若监控到计算节点或子***负载过高，则进行资源迁移，将任务从负载高的计算节点或子***迁移到负载较低的计算节点或子***上；所述资源迁移采用负载均衡算法，负载均衡算法包括但不限于最小负载优先、加权平均负载。
具体地，并设定故障恢复机制，具体为：
采取备份机制，将优先级高的任务同时分配给多个计算节点或子***执行，以防止单点故障；
采用心跳检测方式来监控计算节点或子***的可用性，当资源失效时，从可用计算节点或子***中重新调度任务。
具体地，还包括采用消息传递框架或分布式通信库，实现计算节点或子***间通信协作，具体为：
共享内存：设定共享内存空间，采用共享内存的方式，将数据保存在共享内存空间中；
同步：采用同步机制协调不同计算节点的行为，确保计算节点之间的同步，所述同步机制包括但不限于锁、信号量；
拓扑优化：建立计算节点之间的物理连接和网络拓扑信息，优化通信的路径和路由。
具体地，还包括，采用安全方法保护计算节点和子***的安全，所述安全方法包括但不限于，身份验证、访问控制、数据加密安全审计和日志或不少于上述两种方法的结合。
具体地，还包括，采用隔离方法确保每个计算节点和子***之间的相互隔离，所述隔离方法包括但不限于，虚拟化、容器化、安全沙盒、网络隔离或不少于上述两种方法的结合。
由上述对本发明的描述可知，与现有技术相比，本发明具有如下有益效果：
本发明提供一种互为中立的独立分布式计算与节点管理方法，应用于分布式***，分布式***包括资源管理***、分布式子***和计算节点，所述计算节点为物理服务器、虚拟机、容器形式的计算资源，所述方法包括：资源管理***接收任务；对每个任务计算权重进行优先级分析，并将任务划分为多个可并行计算子任务，且将对应的任务数据进行划分；根据子任务的资源需求和子任务之间的依赖关系，选择计算节点或子***，并依据任务调度策略，将子任务分配给不同的计算节点或子***进行并行计算；根据任务数据划分的结果，将任务数据分发到相应的计算节点或子***上，确保每个子任务访问到所需的数据；本发明实现一个可扩展、高可用的计算环境，并具有较高的灵活性和可靠性，适应不同的计算任务需求，并对计算节点的组织、交互和运行进行管理，确保计算任务的有序性和高效性。
附图说明
图1为本发明实施例提供的分布式***示意图；
图2为本发明实施例提供的一种互为中立的独立分布式计算与节点管理方法流程图；
图3为本发明实施例提供的一种电子设备示意图；
图4为本发明实施例提供的一种计算机可读存储介质的实施例示意图。
以下结合附图和具体实施例对本发明作进一步详述。
具体实施方式
本发明提出一种互为中立的独立分布式计算与节点管理方法，本发明实现一个可扩展、高可用的计算环境，并具有较高的灵活性和可靠性，适应不同的计算任务需求，并对计算节点的组织、交互和运行进行管理，确保计算任务的有序性和高效性。
如图1，为分布式***示意图，分布式***包括资源管理***、分布式子***和计算节点，所述计算节点为物理服务器、虚拟机、容器形式的计算资源。
图1中，一个中央的资源管理***，用于监控和管理各个计算资源和子***。每个子***都包含一个独立的计算资源，它们分别为子***1、子***2、子***3直到子***N。同样，每个子***下都有相应的计算资源，分别为计算资源1、计算资源2、计算资源3直到计算资源N；
计算节点是实际执行计算任务的节点，每个节点都具备自身的计算能力和资源管理能力。这些节点可以是物理服务器、虚拟机、容器等形式的计算资源
通过安全方法，包括身份验证、访问控制和数据加密以及安全审计和日志等，以保护计算资源和子***的安全；实际操作中采用身份验证、访问控制和数据加密结合的方法实现计算资源和子***的安全；其中访问控制中，使用访问控制列表或基于角色的访问控制来管理权限，确保每个用户只能访问其所需的资源。
而且通过实现隔离机制，确保每个计算资源和子***之间的相互隔离，防止潜在的干扰和冲突。隔离方法包括虚拟化、容器化、安全沙盒以及网络隔离；实际操作中采用容器化、安全沙盒相结合的方法，其中容器技术是将应用程序及其依赖项隔离在独立的容器中，确保不同应用之间互相隔离，防止恶意应用对***造成影响，容器化技术具有轻量级、快速启动等特点，适用于部署微服务架构；安全沙盒，为不受信任的应用程序或代码提供一个隔离的安全环境，限制其对***资源的访问权限，防止其对***造成危害，安全沙盒可以在运行时监控应用程序的行为，并根据事先定义的策略来阻止恶意行为。
图1展示了各个计算资源和子***之间的相互独立性，以及它们通过资源管理***进行协调和通信的关系；资源管理***负责监控计算资源和子***的状态、分配任务和调度资源，以实现高效的计算和资源管理。
如图2，为一种互为中立的独立分布式计算与节点管理方法流程图，具体方法如下：
S101：资源管理***接收任务；
S102：对每个任务计算权重进行优先级分析，并将任务划分为多个可并行计算子任务，且将对应的任务数据进行划分；
对每个任务计算权重进行优先级分析，具体为：
对于每个任务i，计算其权重，用以下公式来计算任务i的权重Weight(i)：
Weight(i)＝w1*E(i)+w2*(1-U(i))+w3*(1-R(i)/A)+w4*P(i)
这些变量表示以下含义：
E(i)：任务i的预估运行时间
这表示任务i完成执行所需的估计时间。通常以一种时间单位表示(例如秒)。具体数值(例如，E(i)＝10秒)
U(i)：任务i的资源利用率
这度量了任务i当前使用的分配资源的比例。通常以百分比表示，其中0％表示没有资源利用，100％表示完全资源利用。(例如，U(i)＝80％表示任务正在使用80％的资源)
R(i)：任务i的资源需求
这表示任务i成功运行所需的资源数量(例如CPU核心、内存或其他资源单位)。具体数值(例如，R(i)＝2个CPU核心，R(i)＝4GB内存等)
A：可用资源
这是***中可供分配给任务的资源总量。可以是CPU核心的总数、可用内存总量等。具体数值(例如，A＝16个CPU核心，A＝32GB内存等)
P(i)：任务i的优先级
这是分配给任务i的优先级水平。通常表示为整数值，数值越高表示优先级越高。具体数值(例如，P(i)＝3表示任务的优先级为3)
其中，w1、w2、w3和w4为权重系数，权重越小表示该任务的预估运行时间越短，优先级越高，资源需求较小，可利用资源较多，用于控制计算任务权重时每个因素的重要性，可以为每个因素分配不同的权重，以便在任务调度中优先考虑某些方面。
并将任务划分为多个可并行计算子任务，具体为；
确定任务性能，所述任务性能包括但不限于任务计算复杂性、任务数据依赖关系、任务计算量；确定任务的输入任务数据和输出任务数据，以及任务执行的逻辑流程，确定任务划分粒度；
根据任务性能、任务执行的逻辑流程以及任务划分粒度，将任务划分为多个可并行计算子任务，拆分的原则是尽量将计算密集型的部分分离出来，使得子任务之间的计算时间相对平衡，避免出现瓶颈子任务，此外需要确定任务划分粒度，不同的粒度可能对计算性能有影响；粒度过大可能导致计算不充分利用资源，粒度过小可能增加调度和通信开销。
根据子任务之间的依赖关系，确保子任务的执行顺序，有些子任务可能需要等待其他子任务的结果才能进行，这些子任务需要在其他子任务完成后再进行调度；
根据子任务的划分和依赖关系，将输入任务数据划分为块或片段，确保每个子任务所需的数据在分布式存储中就近可得，并且每个子任务之间的数据传输尽量减少。
S103：根据子任务的资源需求和子任务之间的依赖关系，选择计算节点或子***，并依据任务调度策略，将子任务分配给不同的计算节点或子***进行并行计算；
依据任务调度策略，将子任务分配给不同的计算节点或子***进行并行计算，所述任务调度策略，具体为：
根据任务的优先级、子任务的资源需求和可用资源，选择不同任务调度算法；任务调度算法包括但不限于最短作业优先、先来先服务、动态优先级调度。
定期监控任务的执行情况和计算节点或子***的负载，动态调整任务调度算法，并设定故障恢复机制。
定期监控任务的执行情况和计算节点或子***的负载，动态调整任务调度算法，具体为：
定期监控CPU利用率、内存使用率；
若监控到计算节点或子***负载过高，则进行资源迁移，将任务从负载高的计算节点或子***迁移到负载较低的计算节点或子***上；所述资源迁移采用负载均衡算法，负载均衡算法包括但不限于最小负载优先、加权平均负载；
并设定故障恢复机制，具体为：
采取备份机制，将优先级高的任务同时分配给多个计算节点或子***执行，以防止单点故障；
采用心跳检测方式来监控计算节点或子***的可用性，当资源失效时，从可用计算节点或子***中重新调度任务。
S104：根据任务数据划分的结果，将任务数据分发到相应的计算节点或子***上，确保每个子任务访问到所需的数据。
根据数据划分的结果和子任务之间的依赖关系，将数据分发到相应的计算节点上，确保每个子任务能够访问到所需的数据；在每个计算节点上并行执行子任务，保证计算节点之间的数据交换和通信开销最小化。
还包括采用消息传递框架或分布式通信库，实现计算节点或子***间通信协作，允许计算节点之间通过发送和接收消息来实现通信和协作。MPI提供了一组标准的API，使得在分布式环境下进行通信变得更加方便和高效，具体包括：
共享内存：设定共享内存空间，采用共享内存的方式，将数据保存在共享内存空间中；
同步：采用同步机制协调不同计算节点的行为，确保计算节点之间的同步，所述同步机制包括但不限于锁、信号量；
拓扑优化：建立计算节点之间的物理连接和网络拓扑信息，优化通信的路径和路由。
结果收集：在子任务执行完毕后，将计算得到的结果从各个计算节点收集到主节点或其他中央节点。收集可以采用规约、归约、收集等通信操作
异常处理：实现错误处理和容错机制，确保计算节点之间的通信和协作在出现异常情况时能够进行恢复和重试，以保障任务的可靠执行；
数据压缩与序列化：对于大规模数据的传输，可以采用数据压缩和序列化技术，减少数据传输的量和传输时间。
图3所示，本发明实施例提供了一种电子设备300，包括存储器310、处理器320及存储在存储器310上并可在处理器320上运行的计算机代码311，处理器320执行计算机代码311时实现本发明实施例提供的一种互为中立的独立分布式计算与节点管理方法。
由于本实施例所介绍的电子设备为实施本发明实施例中所采用的设备，故而基于本发明实施例中所介绍的方法，本领域所属技术人员能够了解本实施例的电子设备的具体实施方式以及其各种变化形式，所以在此对于该电子设备如何实现本发明实施例中的方法不再详细介绍，只要本领域所属技术人员实施本发明实施例中的方法所采用的设备，都属于本发明所欲保护的范围。
请参阅图4，图4为本发明实施例提供的一种计算机可读存储介质的实施例示意图。
如图4所示，本实施例提供了一种计算机可读存储介质400，其上存储有计算机程序411，该计算机程序411被处理器执行时实现本发明实施例提供的一种互为中立的独立分布式计算与节点管理方法。
需要说明的是，在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述的部分，可以参见其它实施例的相关描述。
本领域内的技术人员应明白，本发明的实施例可提供为方法、***、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明提供一种互为中立的独立分布式计算与节点管理方法，应用于分布式***，分布式***包括资源管理***、分布式子***和计算节点，所述计算节点为物理服务器、虚拟机、容器形式的计算资源，所述方法包括：资源管理***接收任务；对每个任务计算权重进行优先级分析，并将任务划分为多个可并行计算子任务，且将对应的任务数据进行划分；根据子任务的资源需求和子任务之间的依赖关系，选择计算节点或子***，并依据任务调度策略，将子任务分配给不同的计算节点或子***进行并行计算；根据任务数据划分的结果，将任务数据分发到相应的计算节点或子***上，确保每个子任务访问到所需的数据；本发明实现一个可扩展、高可用的计算环境，并具有较高的灵活性和可靠性，适应不同的计算任务需求，并对计算节点的组织、交互和运行进行管理，确保计算任务的有序性和高效性。
需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。以上所述仅是本申请的具体实施方式，使本领域技术人员能够理解或实现本申请。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。
上述仅为本发明的具体实施方式，但本发明的设计构思并不局限于此，凡利用此构思对本发明进行非实质性的改动，均属于侵犯本发明保护范围的行为。
Claims (10)
1.一种互为中立的独立分布式计算与节点管理方法，应用于分布式***，分布式***包括资源管理***、分布式子***和计算节点，所述计算节点为物理服务器、虚拟机、容器形式的计算资源，其特征在于，所述方法包括：
资源管理***接收任务；
对每个任务计算权重进行优先级分析，并将任务划分为多个可并行计算子任务，且将对应的任务数据进行划分；
根据子任务的资源需求和子任务之间的依赖关系，选择计算节点或子***，并依据任务调度策略，将子任务分配给不同的计算节点或子***进行并行计算；
根据任务数据划分的结果，将任务数据分发到相应的计算节点或子***上，确保每个子任务访问到所需的数据。
2.根据权利要求1所述的一种互为中立的独立分布式计算与节点管理方法，其特征在于，对每个任务计算权重进行优先级分析，具体为：
对于每个任务i，计算其权重，用以下公式来计算任务i的权重Weight(i)：
Weight(i)＝w1*E(i)+w2*(1-U(i))+w3*(1-R(i)/A)+w4*P(i)
其中，E(i)：任务i的预估运行时间；U(i)：任务i的资源利用率；R(i)：任务i的资源需求；A表征可用资源，即***中可供分配给任务的资源总量；P(i)：任务i的优先级；w1、w2、w3和w4为权重系数，权重越小表示该任务的预估运行时间越短，优先级越高，资源需求较小，可利用资源较多。
3.根据权利要求1所述的一种互为中立的独立分布式计算与节点管理方法，其特征在于，将任务划分为多个可并行计算子任务，具体包括：
确定任务性能，所述任务性能包括但不限于任务计算复杂性、任务数据依赖关系、任务计算量；确定任务的输入任务数据和输出任务数据，以及任务执行的逻辑流程，确定任务划分粒度；
根据任务性能、任务执行的逻辑流程以及任务划分粒度，将任务划分为多个可并行计算子任务；
根据子任务之间的依赖关系，确保子任务的执行顺序；
根据子任务的划分和依赖关系，将输入任务数据划分为块或片段。
4.根据权利要求3所述的一种互为中立的独立分布式计算与节点管理方法，其特征在于，依据任务调度策略，将子任务分配给不同的计算节点或子***进行并行计算，所述任务调度策略，具体为：
根据任务的优先级、子任务的资源需求和可用资源，选择不同任务调度算法；
定期监控任务的执行情况和计算节点或子***的负载，动态调整任务调度算法，并设定故障恢复机制。
5.根据权利要求4所述的一种互为中立的独立分布式计算与节点管理方法，其特征在于，所述任务调度算法包括但不限于最短作业优先、先来先服务、动态优先级调度。
6.根据权利要求4所述的一种互为中立的独立分布式计算与节点管理方法，其特征在于，定期监控任务的执行情况和计算节点或子***的负载，动态调整任务调度算法，具体为：
定期监控CPU利用率、内存使用率；
若监控到计算节点或子***负载过高，则进行资源迁移，将任务从负载高的计算节点或子***迁移到负载较低的计算节点或子***上；所述资源迁移采用负载均衡算法，负载均衡算法包括但不限于最小负载优先、加权平均负载。
7.根据权利要求4所述的一种互为中立的独立分布式计算与节点管理方法，其特征在于，并设定故障恢复机制，具体为：
采取备份机制，将优先级高的任务同时分配给多个计算节点或子***执行，以防止单点故障；
采用心跳检测方式来监控计算节点或子***的可用性，当资源失效时，从可用计算节点或子***中重新调度任务。
8.根据权利要求1所述的一种互为中立的独立分布式计算与节点管理方法，其特征在于，还包括采用消息传递框架或分布式通信库，实现计算节点或子***间通信协作，具体为：
共享内存：设定共享内存空间，采用共享内存的方式，将数据保存在共享内存空间中；
同步：采用同步机制协调不同计算节点的行为，确保计算节点之间的同步，所述同步机制包括但不限于锁、信号量；
拓扑优化：建立计算节点之间的物理连接和网络拓扑信息，优化通信的路径和路由。
9.根据权利要求1所述的一种互为中立的独立分布式计算与节点管理方法，其特征在于，还包括，采用安全方法保护计算节点和子***的安全，所述安全方法包括但不限于，身份验证、访问控制、数据加密安全审计和日志或不少于上述两种方法的结合。
10.根据权利要求1所述的一种互为中立的独立分布式计算与节点管理方法，其特征在于，还包括，采用隔离方法确保每个计算节点和子***之间的相互隔离，所述隔离方法包括但不限于，虚拟化、容器化、安全沙盒、网络隔离或不少于上述两种方法的结合。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311328959.3A CN117193987A (zh) | 2023-10-13 | 2023-10-13 | 一种互为中立的独立分布式计算与节点管理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311328959.3A CN117193987A (zh) | 2023-10-13 | 2023-10-13 | 一种互为中立的独立分布式计算与节点管理方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117193987A true CN117193987A (zh) | 2023-12-08 |
Family
ID=89005465
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311328959.3A Pending CN117193987A (zh) | 2023-10-13 | 2023-10-13 | 一种互为中立的独立分布式计算与节点管理方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117193987A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117806806A (zh) * | 2024-02-28 | 2024-04-02 | 湖南科技大学 | 任务部分卸载调度方法、终端设备及存储介质 |
| CN118153245A (zh) * | 2024-05-11 | 2024-06-07 | 成都锦城意象软件有限公司 | 一种分布式计算燃气管道模拟仿真方法、设备和介质 |
-
2023
- 2023-10-13 CN CN202311328959.3A patent/CN117193987A/zh active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117806806A (zh) * | 2024-02-28 | 2024-04-02 | 湖南科技大学 | 任务部分卸载调度方法、终端设备及存储介质 |
| CN117806806B (zh) * | 2024-02-28 | 2024-05-17 | 湖南科技大学 | 任务部分卸载调度方法、终端设备及存储介质 |
| CN118153245A (zh) * | 2024-05-11 | 2024-06-07 | 成都锦城意象软件有限公司 | 一种分布式计算燃气管道模拟仿真方法、设备和介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10277525B2 (en) | Method and apparatus for disaggregated overlays via application services profiles | |
| US20230129362A1 (en) | Dynamically scalable application firewall deployment for cloud native applications | |
| EP2652594B1 (en) | Multi-tenant, high-density container service for hosting stateful and stateless middleware components | |
| CN117193987A (zh) | 一种互为中立的独立分布式计算与节点管理方法 | |
| US20080222638A1 (en) | Systems and Methods for Dynamically Managing Virtual Machines | |
| Chen et al. | Elastic parameter server load distribution in deep learning clusters | |
| EP3234774A1 (en) | Elasticity for highly availabile applications | |
| Rouzaud-Cornabas | A distributed and collaborative dynamic load balancer for virtual machine | |
| Talwar et al. | An energy efficient agent aware proactive fault tolerance for preventing deterioration of virtual machines within cloud environment | |
| US20200394071A1 (en) | Systems and methods for cluster resource balancing in a hyper-converged infrastructure | |
| Vicentini et al. | A machine learning auditing model for detection of multi-tenancy issues within tenant domain | |
| US10282223B2 (en) | Methods and systems to assess efficient usage of data-center resources by virtual machines | |
| Alamro et al. | Shed+: optimal dynamic speculation to meet application deadlines in cloud | |
| Liu et al. | A Fast and Efficient Task Offloading Approach in Edge-Cloud Collaboration Environment | |
| Alonso et al. | Optimal resource allocation in a virtualized software aging platform with software rejuvenation | |
| Xiang et al. | Optimizing job reliability through contention-free, distributed checkpoint scheduling | |
| Rangarajan et al. | Managing the availability of VNFs with the availability management framework | |
| Liu et al. | Multi‐DAGs Scheduling Integrating with Security and Availability in Cloud Environment | |
| Hernández et al. | Using cloud-based resources to improve availability and reliability in a scientific workflow execution framework | |
| Wei | System Reliability Modeling and Analysis of Distributed Networks | |
| WO2019016584A1 (en) | TRIGGER CORRELATION FOR DYNAMIC SYSTEM RECONFIGURATION | |
| Shen et al. | High availability for VM placement and a stochastic model for multiple knapsack | |
| Bozyigit | History-driven dynamic load balancing for recurring applications on networks of workstations | |
| Mushtaq et al. | The Response Rank based Fault-tolerant Task Scheduling for Cloud System | |
| He et al. | Unavailability-aware shared virtual backup allocation model for middleboxes |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40097474 Country of ref document: HK |