CN114697328A - NiFi高可用集群模式的实现方法及*** - Google Patents
NiFi高可用集群模式的实现方法及*** Download PDFInfo
- Publication number
- CN114697328A CN114697328A CN202210299935.9A CN202210299935A CN114697328A CN 114697328 A CN114697328 A CN 114697328A CN 202210299935 A CN202210299935 A CN 202210299935A CN 114697328 A CN114697328 A CN 114697328A
- Authority
- CN
- China
- Prior art keywords
- node
- task
- nifi
- worker
- cluster
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 238000011084 recovery Methods 0.000 claims abstract description 43
- 230000002159 abnormal effect Effects 0.000 claims abstract description 22
- 238000005457 optimization Methods 0.000 claims abstract description 3
- 238000011156 evaluation Methods 0.000 claims description 10
- 230000006870 function Effects 0.000 description 15
- 238000010586 diagram Methods 0.000 description 6
- 238000012423 maintenance Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了NiFi高可用集群模式的实现方法及***，属于集群技术领域，本发明要解决的技术问题为如何提高NiFi集群异常恢复的自动化程度，进而提高NiFi的高可用性，采用的技术方案为：该方法是在NiFi原有的集群模式中添加Master节点和Worker节点构建优化后的NiFi集群模式，并将集群状态存储在外部Redis集群中，保证任务状态数据各个节点均能够根据任务标识进行访问，进而保证异常恢复的任务能够正常获取已经持久化的状态数据；其中，Master节点用于配置数据的备份和恢复、任务的负载均衡以及快速恢复失效节点及其上运行的任务；Worker节点用于任务运行。该***包括集群优化模块、配置模块、均衡模块及恢复模块。
Description
技术领域
本发明涉及集群技术领域，具体地说是一种NiFi高可用集群模式的实现方法及***。
背景技术
现在的社会是一个高速发展的社会，科技发达，信息流通，人们之间的交流越来越密切，生活也越来越方便，大数据就是这个高科技时代的产物。大数据是如此重要，以至于其数据采集、储存、搜索、共享、分析，乃至可视化地呈现，都成为了当前重要的研究课题，而数据集成和治理是一切大数据应用的开始和前提。在很多项目开发和实施过程中，客户与研发人员开始往往更关注数据的挖掘与分析应用等，但后期才发现数据采集和数据治理才是最大的难点和最耗时耗力的工作。能够及时、快速、准确、完整的将外部数据抽取到大数据平台，对数据进行治理，将数据进行标准化是很多开发人员面临的难题。
NiFi原有的集群模式，要求所有节点配置数据必须一致，并且各个节点全部正常运行状态，NiFi集群才能对外提供服务。集群模式如附图1所示，这种集群架构，其稳定性随着节点的增加而降低。假设，单个节点异常失效的概率为f，集群可用概率P与集群节点数量n之间关系为P＝(1-f)n，一旦节点出现异常会导致集群功能异常，存在高可用的问题。
当集群节点出现异常时，任务恢复只能手动干预，将正常节点地配置数据覆盖到异常节点，然后重启集群。原有集群模式地维护成本和维护复杂性很高。
NiFi原始集群模式下，用户创建任务时，任务会创建在每个节点上。任务运行时，绝大多数场景下，任务只在某一个节点运行。这种情况下，其他非执行任务节点的创建任务操作，会造成资源的浪费。同时，现有的指定运行节点功能不够完善，只支持指定主节点运行，会造成主节点压力过大，从而主节点异常，影响集群稳定性。
原有NiFi集群的任务恢复只能人为干预，并且在恢复过程中会导致组件持久化的状态数据丢失等问题，自动化的任务恢复功能是必要的。
综上所述，原有NiFi集群在进行数据采集、治理过程中，会存在各种问题，故如何提高NiFi集群异常恢复的自动化程度，进而提高NiFi的高可用性是目前亟待解决的技术问题。
发明内容
本发明的技术任务是提供一种NiFi高可用集群模式的实现方法及***，来解决如何提高NiFi集群异常恢复的自动化程度，进而提高NiFi的高可用性的问题。
本发明的技术任务是按以下方式实现的，一种NiFi高可用集群模式的实现方法，该方法是在NiFi原有的集群模式中添加Master节点和Worker节点构建优化后的NiFi集群模式，并将集群状态存储在外部Redis集群中，保证任务状态数据各个节点均能够根据任务标识进行访问，进而保证异常恢复的任务能够正常获取已经持久化的状态数据；
其中，Master节点用于配置数据的备份和恢复、任务的负载均衡以及快速恢复失效节点及其上运行的任务；
Worker节点用于任务运行。
作为优选，优化后的NiFi集群模式中，Worker节点失效后，在不启动新得节点场景下，失效节点最多为Worker节点总数的四分之一；具体为：
集群可用概率P与集群节点数量n之前的关系为：
其中，i为节点正常数量，j为异常节点数，f为节点失效的概率。
更优地，配置数据的备份和恢复是指Master节点将自己节点上的配置数据备份到备份数据库，并且在节点异常恢复后，恢复配置数据；即优化后的NiFi集群模式下，主节点保存着集群中所有任务的配置信息，主节点的数据不丢失，意味着集群中所有的任务配置不会丢失，从而保证所有任务在集群异常恢复后可以恢复为正常运行状态。
更优地，任务的负载均衡的策略包括轮询策略、IP哈希策略及压力最小负载策略；压力最小负载策略是通过压力指数算法选择压力指数最小的节点，节点压力指数与评价参数之间关系为：
I＝∑PiCi；
其中，I表示节点压力指数；Pi表示评价参数；Ci表示评价参数Pi的权重。
更优地，任务的负载均衡的实现方法具体如下：
将用户任务创建在不同的Worker节点；
Worker节点中任务的执行由Master节点调度，从而支持更加复杂的调度方式。
更优地，快速恢复失效节点及其上运行的任务具体如下：
Worker节点失效后，Master节点根据任务配置信息将任务恢复到Worker节点上，并且继续调度任务执行；
当Worker节点异常宕机后，异常Worker节点上的任务有两种恢复方式，具体如下：
①、新启动一个Worker节点，将失效Worker上任务恢复到新的Worker节点，更新Redis中相关组件的状态标识，恢复任务运行状态；
②、不启动新的Worker节点，将失效Worker上任务负载到其他正常的Worker中，更新Redis中相关组件的状态标识，重新调度执行。
一种NiFi高可用集群模式的实现***，该***包括，
集群优化模块，用于在NiFi原有的集群模式中添加Master节点和Worker节点构建优化后的NiFi集群模式；
配置模块，用于将Master节点自己节点上的配置数据备份到备份数据库，并且在Master节点异常恢复后，恢复配置数据；
均衡模块，用于将用户任务创建在不同的Worker节点，Worker节点中任务的执行由Master节点调度，实现任务的负载均衡；
恢复模块，用于在Worker节点失效后，Master节点根据任务配置信息将任务恢复到Worker节点上，并且继续调度任务执行，快速恢复失效节点及其上运行的任务。
作为优选，所述恢复模块在Worker节点异常宕机后，异常Worker节点上的任务有两种恢复方式，具体如下：
①、新启动一个Worker节点，将失效Worker上任务恢复到新的Worker节点，更新Redis中相关组件的状态标识，恢复任务运行状态；
②、不启动新的Worker节点，将失效Worker上任务负载到其他正常的Worker中，更新Redis中相关组件的状态标识，重新调度执行。
一种电子设备，包括：存储器和至少一个处理器；
其中，所述存储器存储计算机执行指令；
所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如上述的NiFi高可用集群模式的实现方法。
一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行时，实现如上述的NiFi高可用集群模式的实现方法。
本发明的NiFi高可用集群模式的实现方法及***具有以下优点：
(一)本发明保证了NiFi集群在有节点异常时依然正常运行，并且能够快速恢复异常节点上执行任务，同时提高了NiFi集群的高可用；
(二)本发明通过优化NiFi集群架构、增加配置数据备份恢复功能、增加任务负载均衡功能、增加节点失效任务恢复功能等，提高了集群异常恢复的自动化程度，提高了NiFi的高可用性，达到NiFi集群的高可用目的；
(三)本发明通过Master节点实现了配置数据恢复，提高了集群任务恢复地自动化，减少人工干预，降低维护人力成本和维护复杂性；
(四)本发明实现了负载均衡功能，将任务分布创建和执行，可以提高资源的利用率，从而减少Worker节点任务执行时间；
(五)本发明通过Worker节点实现了任务恢复功能，通过自动化的恢复任务，提高集群的高可用性。
附图说明
下面结合附图对本发明进一步说明。
附图1为NiFi原有集群模式的示意图；
附图2为优化后NiFi集群模式的示意图；
附图3为主节点配置数据备份恢复的示意图；
附图4为NiFi集群负载均衡的示意图；
附图5为NiFi Worker节点任务恢复方式一的示意图；
附图6为NiFi Worker节点任务恢复方式二的示意图。
具体实施方式
参照说明书附图和具体实施例对本发明的NiFi高可用集群模式的实现方法及***作以下详细地说明。
实施例1：
如附图2所示，本实施例提供了一种NiFi高可用集群模式的实现方法，该方法是在NiFi原有的集群模式中添加Master节点和Worker节点构建优化后的NiFi集群模式，并将集群状态存储在外部Redis集群中，保证任务状态数据各个节点均能够根据任务标识进行访问，进而保证异常恢复的任务能够正常获取已经持久化的状态数据；这样Worker节点数量越多，集群稳定性越高。
其中，Master节点用于配置数据的备份和恢复、任务的负载均衡以及快速恢复失效节点及其上运行的任务；
Worker节点用于任务运行。
本实施例中的优化后的NiFi集群模式中，Worker节点失效后，在不启动新得节点场景下，失效节点最多为Worker节点总数的四分之一；具体为：
集群可用概率P与集群节点数量n之前的关系为：
其中，i为节点正常数量，j为异常节点数，f为节点失效的概率。
通过可用概率对比可知，新的集群模式可用性优于原有集群模式。
如附图3所示，本实施例中的配置数据的备份和恢复是指Master节点将自己节点上的配置数据备份到备份数据库，并且在节点异常恢复后，恢复配置数据；即优化后的NiFi集群模式下，主节点保存着集群中所有任务的配置信息，主节点的数据不丢失，意味着集群中所有的任务配置不会丢失，从而保证所有任务在集群异常恢复后可以恢复为正常运行状态。
如附图4所示，本实施例中的任务的负载均衡的策略包括轮询策略、IP哈希策略及压力最小负载策略；压力最小负载策略是通过压力指数算法选择压力指数最小的节点，节点压力指数与评价参数之间关系为：
I＝∑PiCi；
其中，I表示节点压力指数；Pi表示评价参数；Ci表示评价参数Pi的权重。
目前支持的评价参数有，P1:CPU使用率，权重0.1。P2:队列缓存数据大小,权重0.3。P3:组件数量，权重0.3。P4:运行线程数量，权重0.3。
优化后的Master节点，拥有负载均衡功能，支持多种负载均衡策略，如：轮询策略、IP哈希策略、运行组件最少策略、队列数据最少策略等等。
本实施例中的任务的负载均衡的实现方法具体如下：
(1)、将用户任务创建在不同的Worker节点；
(2)、Worker节点中任务的执行由Master节点调度，从而支持更加复杂的调度方式。
本实施例中的快速恢复失效节点及其上运行的任务具体如下：
Worker节点失效后，Master节点根据任务配置信息将任务恢复到Worker节点上，并且继续调度任务执行；
当Worker节点异常宕机后，异常Worker节点上的任务有两种恢复方式，具体如下：
①、新启动一个Worker节点，将失效Worker上任务恢复到新的Worker节点，更新Redis中相关组件的状态标识，恢复任务运行状态，如附图5所示，；
②、不启动新的Worker节点，将失效Worker上任务负载到其他正常的Worker中，更新Redis中相关组件的状态标识，重新调度执行，如附图6所示。
实施例2：
本实施例提供了一种NiFi高可用集群模式的实现***，该***包括，
集群优化模块，用于在NiFi原有的集群模式中添加Master节点和Worker节点构建优化后的NiFi集群模式；
配置模块，用于将Master节点自己节点上的配置数据备份到备份数据库，并且在Master节点异常恢复后，恢复配置数据；
均衡模块，用于将用户任务创建在不同的Worker节点，Worker节点中任务的执行由Master节点调度，实现任务的负载均衡；
恢复模块，用于在Worker节点失效后，Master节点根据任务配置信息将任务恢复到Worker节点上，并且继续调度任务执行，快速恢复失效节点及其上运行的任务。
本实施例中的恢复模块在Worker节点异常宕机后，异常Worker节点上的任务有两种恢复方式，具体如下：
①、新启动一个Worker节点，将失效Worker上任务恢复到新的Worker节点，更新Redis中相关组件的状态标识，恢复任务运行状态，如附图5所示；
②、不启动新的Worker节点，将失效Worker上任务负载到其他正常的Worker中，更新Redis中相关组件的状态标识，重新调度执行，如附图6所示。
实施例3：
本实施例还提供了一种电子设备，包括：存储器和处理器；
其中，所述存储器存储计算机执行指令；
处理器执行所述存储器存储的计算机执行指令，使得处理器执行任一实施例的NiFi高可用集群模式的实现方法。
处理器可以是中央处理单元(CPU)，还可以是其他通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通过处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器可用于储存计算机程序和/或模块，处理器通过运行或执行存储在存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现电子设备的各种功能。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序等；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器还可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，只能存储卡(SMC)，安全数字(SD)卡，闪存卡、至少一个磁盘存储期间、闪存器件、或其他易失性固态存储器件。
实施例4：
本实施例还提供了一种计算机可读存储介质，其中存储有多条指令，指令由处理器加载，使处理器执行本发明任一实施例中的NiFi高可用集群模式的实现方法及***。具体地，可以提供配有存储介质的***或者装置，在该存储介质上存储着实现上述实施例中任一实施例的功能的软件程序代码，且使该***或者装置的计算机(或CPU或MPU)读出并执行存储在存储介质中的程序代码。
在这种情况下，从存储介质读取的程序代码本身可实现上述实施例中任何一项实施例的功能，因此程序代码和存储程序代码的存储介质构成了本发明的一部分。
用于提供程序代码的存储介质实施例包括软盘、硬盘、磁光盘、光盘(如CD-ROM、CD-R、CD-RW、DVD-ROM、DVD-RAM、DVD-RW、DVD+RW)、磁带、非易失性存储卡和ROM。可选择地，可以由通信网络从服务器计算机上下载程序代码。
此外，应该清楚的是，不仅可以通过执行计算机所读出的程序代码，而且可以通过基于程序代码的指令使计算机上操作的操作***等来完成部分或者全部的实际操作，从而实现上述实施例中任意一项实施例的功能。
此外，可以理解的是，将由存储介质读出的程序代码写到***计算机内的扩展板中所设置的存储器中或者写到与计算机相连接的扩展单元中设置的存储器中，随后基于程序代码的指令使安装在扩展板或者扩展单元上的CPU等来执行部分和全部实际操作，从而实现上述实施例中任一实施例的功能。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (10)
1.一种NiFi高可用集群模式的实现方法，其特征在于，该方法是在NiFi原有的集群模式中添加Master节点和Worker节点构建优化后的NiFi集群模式，并将集群状态存储在外部Redis集群中，保证任务状态数据各个节点均能够根据任务标识进行访问，进而保证异常恢复的任务能够正常获取已经持久化的状态数据；
其中，Master节点用于配置数据的备份和恢复、任务的负载均衡以及快速恢复失效节点及其上运行的任务；
Worker节点用于任务运行。
2.根据权利要求1所述的NiFi高可用集群模式的实现方法，其特征在于，优化后的NiFi集群模式中，Worker节点失效后，在不启动新得节点场景下，失效节点最多为Worker节点总数的四分之一；具体为：
集群可用概率P与集群节点数量n之前的关系为：
其中，i为节点正常数量，j为异常节点数，f为节点失效的概率。
3.根据权利要求1或2所述的NiFi高可用集群模式的实现方法，其特征在于，配置数据的备份和恢复是指Master节点将自己节点上的配置数据备份到备份数据库，并且在节点异常恢复后，恢复配置数据；即优化后的NiFi集群模式下，主节点保存着集群中所有任务的配置信息，主节点的数据不丢失，意味着集群中所有的任务配置不会丢失，从而保证所有任务在集群异常恢复后可以恢复为正常运行状态。
4.根据权利要求3所述的NiFi高可用集群模式的实现方法，其特征在于，任务的负载均衡的策略包括轮询策略、IP哈希策略及压力最小负载策略；压力最小负载策略是通过压力指数算法选择压力指数最小的节点，节点压力指数与评价参数之间关系为：
I＝∑PiCi；
其中，I表示节点压力指数；Pi表示评价参数；Ci表示评价参数Pi的权重。
5.根据权利要求4所述的NiFi高可用集群模式的实现方法，其特征在于，任务的负载均衡的实现方法具体如下：
将用户任务创建在不同的Worker节点；
Worker节点中任务的执行由Master节点调度。
6.根据权利要求5所述的NiFi高可用集群模式的实现方法，其特征在于，快速恢复失效节点及其上运行的任务具体如下：
Worker节点失效后，Master节点根据任务配置信息将任务恢复到Worker节点上，并且继续调度任务执行；
当Worker节点异常宕机后，异常Worker节点上的任务有两种恢复方式，具体如下：
①、新启动一个Worker节点，将失效Worker上任务恢复到新的Worker节点，更新Redis中相关组件的状态标识，恢复任务运行状态；
②、不启动新的Worker节点，将失效Worker上任务负载到其他正常的Worker中，更新Redis中相关组件的状态标识，重新调度执行。
7.一种NiFi高可用集群模式的实现***，其特征在于，该***包括，
集群优化模块，用于在NiFi原有的集群模式中添加Master节点和Worker节点构建优化后的NiFi集群模式；
配置模块，用于将Master节点自己节点上的配置数据备份到备份数据库，并且在Master节点异常恢复后，恢复配置数据；
均衡模块，用于将用户任务创建在不同的Worker节点，Worker节点中任务的执行由Master节点调度，实现任务的负载均衡；
恢复模块，用于在Worker节点失效后，Master节点根据任务配置信息将任务恢复到Worker节点上，并且继续调度任务执行，快速恢复失效节点及其上运行的任务。
8.根据权利要求7所述的NiFi高可用集群模式的实现***，其特征在于，所述恢复模块在Worker节点异常宕机后，异常Worker节点上的任务有两种恢复方式，具体如下：
①、新启动一个Worker节点，将失效Worker上任务恢复到新的Worker节点，更新Redis中相关组件的状态标识，恢复任务运行状态；
②、不启动新的Worker节点，将失效Worker上任务负载到其他正常的Worker中，更新Redis中相关组件的状态标识，重新调度执行。
9.一种电子设备，其特征在于，包括：存储器和至少一个处理器；
其中，所述存储器存储计算机执行指令；
所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如权利要求1至6任一所述的NiFi高可用集群模式的实现方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行时，实现如权利要求1至6中任一所述的NiFi高可用集群模式的实现方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210299935.9A CN114697328A (zh) | 2022-03-25 | 2022-03-25 | NiFi高可用集群模式的实现方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210299935.9A CN114697328A (zh) | 2022-03-25 | 2022-03-25 | NiFi高可用集群模式的实现方法及*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114697328A true CN114697328A (zh) | 2022-07-01 |
Family
ID=82138313
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210299935.9A Pending CN114697328A (zh) | 2022-03-25 | 2022-03-25 | NiFi高可用集群模式的实现方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114697328A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115883547A (zh) * | 2022-11-15 | 2023-03-31 | 浪潮云信息技术股份公司 | 一种基于DRBD的NiFi高可用部署方法及*** |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101102176A (zh) * | 2007-08-10 | 2008-01-09 | 中兴通讯股份有限公司 | 一种数据备份方法 |
| CN103516736A (zh) * | 2012-06-20 | 2014-01-15 | 中兴通讯股份有限公司 | 分布式缓存***的数据恢复方法及装置 |
| CN105630589A (zh) * | 2014-11-24 | 2016-06-01 | 航天恒星科技有限公司 | 分布式流程调度***及流程调度、执行方法 |
| CN105871603A (zh) * | 2016-03-29 | 2016-08-17 | 中国科学院软件研究所 | 一种基于内存数据网格的实时流式数据处理失效恢复***及方法 |
| CN106528324A (zh) * | 2015-09-10 | 2017-03-22 | 华为技术有限公司 | 故障恢复的方法和装置 |
| US20180032382A1 (en) * | 2015-02-12 | 2018-02-01 | Netapp Inc. | Load balancing and fault tolerant service in a distributed data system |
| CN107678883A (zh) * | 2017-09-22 | 2018-02-09 | 郑州云海信息技术有限公司 | 一种基于存储***的集群恢复方法及设备 |
| CN108733509A (zh) * | 2017-04-17 | 2018-11-02 | 伊姆西Ip控股有限责任公司 | 用于在集群***中备份和恢复数据的方法和*** |
| CN109857558A (zh) * | 2019-01-18 | 2019-06-07 | 苏宁易购集团股份有限公司 | 一种数据流处理方法及*** |
| CN110825495A (zh) * | 2019-11-08 | 2020-02-21 | 北京浪潮数据技术有限公司 | 一种容器云平台的恢复方法、装置、设备及可读存储介质 |
| CN113297173A (zh) * | 2021-05-24 | 2021-08-24 | 阿里巴巴新加坡控股有限公司 | 分布式数据库集群管理方法及装置、电子设备 |
| US20210406275A1 (en) * | 2020-06-30 | 2021-12-30 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Database-based management method, platform, electronic device and storage medium |
| CN114048067A (zh) * | 2021-10-21 | 2022-02-15 | 济南浪潮数据技术有限公司 | 一种断开节点加入集群的方法、***、存储介质及设备 |
-
2022
- 2022-03-25 CN CN202210299935.9A patent/CN114697328A/zh active Pending
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101102176A (zh) * | 2007-08-10 | 2008-01-09 | 中兴通讯股份有限公司 | 一种数据备份方法 |
| CN103516736A (zh) * | 2012-06-20 | 2014-01-15 | 中兴通讯股份有限公司 | 分布式缓存***的数据恢复方法及装置 |
| CN105630589A (zh) * | 2014-11-24 | 2016-06-01 | 航天恒星科技有限公司 | 分布式流程调度***及流程调度、执行方法 |
| US20180032382A1 (en) * | 2015-02-12 | 2018-02-01 | Netapp Inc. | Load balancing and fault tolerant service in a distributed data system |
| CN106528324A (zh) * | 2015-09-10 | 2017-03-22 | 华为技术有限公司 | 故障恢复的方法和装置 |
| CN105871603A (zh) * | 2016-03-29 | 2016-08-17 | 中国科学院软件研究所 | 一种基于内存数据网格的实时流式数据处理失效恢复***及方法 |
| CN108733509A (zh) * | 2017-04-17 | 2018-11-02 | 伊姆西Ip控股有限责任公司 | 用于在集群***中备份和恢复数据的方法和*** |
| CN107678883A (zh) * | 2017-09-22 | 2018-02-09 | 郑州云海信息技术有限公司 | 一种基于存储***的集群恢复方法及设备 |
| CN109857558A (zh) * | 2019-01-18 | 2019-06-07 | 苏宁易购集团股份有限公司 | 一种数据流处理方法及*** |
| CN110825495A (zh) * | 2019-11-08 | 2020-02-21 | 北京浪潮数据技术有限公司 | 一种容器云平台的恢复方法、装置、设备及可读存储介质 |
| US20210406275A1 (en) * | 2020-06-30 | 2021-12-30 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Database-based management method, platform, electronic device and storage medium |
| CN113297173A (zh) * | 2021-05-24 | 2021-08-24 | 阿里巴巴新加坡控股有限公司 | 分布式数据库集群管理方法及装置、电子设备 |
| CN114048067A (zh) * | 2021-10-21 | 2022-02-15 | 济南浪潮数据技术有限公司 | 一种断开节点加入集群的方法、***、存储介质及设备 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115883547A (zh) * | 2022-11-15 | 2023-03-31 | 浪潮云信息技术股份公司 | 一种基于DRBD的NiFi高可用部署方法及*** |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN1669001B (zh) | 用于在服务器整合环境中执行业务连续性策略的方法和装置 | |
| US20080307258A1 (en) | Distributed Job Manager Recovery | |
| CN113569987A (zh) | 模型训练方法和装置 | |
| CN111400011B (zh) | 一种实时任务调度方法、***、设备及可读存储介质 | |
| CN110825495A (zh) | 一种容器云平台的恢复方法、装置、设备及可读存储介质 | |
| CN105630589A (zh) | 分布式流程调度***及流程调度、执行方法 | |
| CN110895488B (zh) | 任务调度方法及装置 | |
| US7886181B2 (en) | Failure recovery method in cluster system | |
| CN115562911B (zh) | 虚拟机数据备份方法及装置、***、电子设备、存储介质 | |
| CN111209110A (zh) | 一种实现负载均衡的任务调度管理方法、***和存储介质 | |
| CN114697328A (zh) | NiFi高可用集群模式的实现方法及*** | |
| CN111290767B (zh) | 具有业务快速恢复功能的容器组更新方法及*** | |
| CN114493373A (zh) | 一种遥感卫星处理***中应急任务处理方法及装置 | |
| CN111538585B (zh) | 一种基于node.js的服务器进程调度方法、***和装置 | |
| CN110377664B (zh) | 数据同步方法、装置、服务器及存储介质 | |
| CN113778650A (zh) | 任务调度方法、装置、电子设备及存储介质 | |
| CN110287159B (zh) | 一种文件处理方法及装置 | |
| CN115437766A (zh) | 一种任务处理方法和装置 | |
| CN112540875B (zh) | 一种基于xtrabackup的mysql数据库备份、恢复校验可用性的方法 | |
| CN111324513B (zh) | 一种人工智能开发平台的监控管理方法及*** | |
| CN113515291A (zh) | 设备在线升级方法和装置 | |
| CN114237982A (zh) | ***灾备切换方法、装置、设备及存储介质 | |
| CN113759790A (zh) | 一种无人驾驶设备的***优化方法及装置 | |
| CN113296892B (zh) | 开发环境的休眠方法、装置、电子设备及存储介质 | |
| CN109885330B (zh) | 一种虚拟机生成的方法及其装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |