CN110351140A - 一种单点故障处理的方法、***、设备及计算机可读存储介质 - Google Patents

一种单点故障处理的方法、***、设备及计算机可读存储介质 Download PDF

Info

Publication number
CN110351140A
CN110351140A CN201910631154.3A CN201910631154A CN110351140A CN 110351140 A CN110351140 A CN 110351140A CN 201910631154 A CN201910631154 A CN 201910631154A CN 110351140 A CN110351140 A CN 110351140A
Authority
CN
China
Prior art keywords
resource scheduling
scheduling management
management device
state resource
activated state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910631154.3A
Other languages
English (en)
Inventor
马顺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Wave Intelligent Technology Co Ltd
Original Assignee
Suzhou Wave Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Wave Intelligent Technology Co Ltd filed Critical Suzhou Wave Intelligent Technology Co Ltd
Priority to CN201910631154.3A priority Critical patent/CN110351140A/zh
Publication of CN110351140A publication Critical patent/CN110351140A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06Management of faults, events, alarms or notifications
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06Management of faults, events, alarms or notifications
    • H04L41/0631Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/08Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0823Errors, e.g. transmission errors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1097Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Environmental & Geological Engineering (AREA)
  • Hardware Redundancy (AREA)

Abstract

本申请公开了一种单点故障处理的方法,包括:获取***中所有的资源调度管理器;在所有的资源调度管理器中选择一个作为激活态资源调度管理器处理来自客户端的请求,将剩余的资源调度管理器设置为备用态资源调度管理器;检测激活态资源调度管理器是否出现异常;若是,则在各备用态资源调度管理器中选择一个接管激活态资源调度管理器的工作。本申请不需要每个资源调度管理器都必须处于激活态便能够实现Hadoop高可用,保证服务器在单节点故障后,资源调度管理器还能工作,而且避免了对资源的过度占用。本申请同时还提供了一种单点故障处理的***、设备及计算机可读存储介质,具有上述有益效果。

Description

一种单点故障处理的方法、***、设备及计算机可读存储介质
技术领域
本申请涉及单点故障处理领域,特别涉及一种单点故障处理的方法、***、设备及计算机可读存储介质。
背景技术
Hadoop是一个能够对大量数据进行处理的分布式***基础框架,具有可靠、高效和可伸缩的特点。它主要由Hadoop分布式文件***(Hadoop Distributed File System,HDFS)和MapReduce组成。其中,MapReduce是一种分布式计算框架,主要用于大规模数据集的并行运算,其主要分为Map阶段(Map操作过程)和Reduce阶段(Reduce操作过程)。
Hadoop能够对接分布式存储***,将分布式存储***的分布式存储能力与Hadoop中MapReduce强大的并行任务处理能力相融合,同时结合HBASE面向列的非结构化数据库,从而提供更高的可靠性、更强的性能、更大的容量利用率以及更加便捷的大数据平台。
在对接***中,经常存在HDFS存储单点故障和MapReduce单点故障。为保证Hadoop对接***能够正常高效运行,Hadoop通过启动多个资源调度管理器(Resource Manager,RM)进程实现高可用,使得在一个或多个RM异常时,Hadoop MapReduce任务仍可以正常进行,然而,这种实现高可用的方式需要每个RM都必须处于激活态,造成了对资源的过度占用。
因此,如何在实现Hadoop高可用的同时减少对资源的占用是本领域技术人员目前需要解决的技术问题。
发明内容
本申请的目的是提供一种单点故障处理的方法、***、设备及计算机可读存储介质,用于在实现Hadoop高可用的同时减少对资源的占用。
为解决上述技术问题,本申请提供一种单点故障处理的方法,该方法包括:
获取***中所有的资源调度管理器;
在所有的所述资源调度管理器中选择一个作为激活态资源调度管理器处理来自客户端的请求,将剩余的所述资源调度管理器设置为备用态资源调度管理器;
检测所述激活态资源调度管理器是否出现异常;
若是,则在各所述备用态资源调度管理器中选择一个接管所述激活态资源调度管理器的工作。
可选的,还包括:
获取所述备用态资源调度管理器的数量;
当所述备用态资源调度管理器的数量小于阈值时,输出备用态资源调度管理器数量不足的提示信息。
可选的,所述检测激活态资源调度管理器是否出现异常,包括:
实时检测激活态资源调度管理器是否出现异常。
可选的,在各所述备用态资源调度管理器中选择一个接管所述激活态资源调度管理器的工作之后,还包括:
输出激活态资源调度管理器异常的提示信息。
本申请还提供一种单点故障处理的***,该***包括:
第一获取模块,用于获取***中所有的资源调度管理器;
第一选择模块,用于在所有的所述资源调度管理器中选择一个作为激活态资源调度管理器处理来自客户端的请求,将剩余的所述资源调度管理器设置为备用态资源调度管理器;
检测模块,用于检测所述激活态资源调度管理器是否出现异常;
第二选择模块,用于当所述激活态资源调度管理器出现异常时,在各所述备用态资源调度管理器中选择一个接管所述激活态资源调度管理器的工作。
可选的,还包括:
第二获取模块,用于获取所述备用态资源调度管理器的数量;
第一输出模块,用于当所述备用态资源调度管理器的数量小于阈值时,输出备用态资源调度管理器数量不足的提示信息。
可选的,所述检测模块包括:
检测子模块,用于实时检测激活态资源调度管理器是否出现异常。
可选的,还包括:
第二输出模块,用于输出激活态资源调度管理器异常的提示信息。
本申请还提供一种单点故障处理设备,该单点故障处理设备包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现如上述任一项所述单点故障处理的方法的步骤。
本申请还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如上述任一项所述单点故障处理的方法的步骤。
本申请所提供单点故障处理的方法,包括:获取***中所有的资源调度管理器;在所有的资源调度管理器中选择一个作为激活态资源调度管理器处理来自客户端的请求,将剩余的资源调度管理器设置为备用态资源调度管理器;检测激活态资源调度管理器是否出现异常;若是,则在各备用态资源调度管理器中选择一个接管激活态资源调度管理器的工作。
本申请所提供的技术方案,通过在所有的资源调度管理器中选择一个作为激活态资源调度管理器处理来自客户端的请求,当激活态资源调度管理器出现异常时,在各备用态资源调度管理器中选择一个接管激活态资源调度管理器的工作,使得不需要每个资源调度管理器都必须处于激活态便能够实现Hadoop高可用,保证服务器在单节点故障后,资源调度管理器还能工作,而且避免了对资源的过度占用。本申请同时还提供了一种单点故障处理的***、设备及计算机可读存储介质,具有上述有益效果,在此不再赘述。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本申请实施例所提供的一种单点故障处理的方法的流程图;
图2为本申请实施例所提供的一种单点故障处理的***的结构图;
图3为本申请实施例所提供的另一种单点故障处理的***的结构图;
图4为本申请实施例所提供的一种单点故障处理设备的结构图。
具体实施方式
本申请的核心是提供一种单点故障处理的方法、***、设备及计算机可读存储介质,用于在实现Hadoop高可用的同时减少对资源的占用。
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
请参考图1,图1为本申请实施例所提供的一种单点故障处理的方法的流程图。
其具体包括如下步骤:
S101:获取***中所有的资源调度管理器;
基于现有技术中,经常存在HDFS存储单点故障和MapReduce单点故障。为保证Hadoop对接***能够正常高效运行,Hadoop通过启动多个RM进程实现高可用,使得在一个或多个RM异常时,Hadoop MapReduce任务仍可以正常进行,然而,这种实现高可用的方式需要每个RM都必须处于激活态,造成了对资源的过度占用;因此,本申请提供了一种单点故障处理的方法,用于解决上述问题;
资源调度管理器的基本职能包括以下几方面:
与客户端进行交互,处理来自于客户端的请求,如查询应用的运行情况等;
启动和管理各个应用的管理器ApplicationMaster,并且为ApplicationMaster申请第一个容器用于启动和在它运行失败时将它重新启动;
管理运行在单个节点上的代理NodeManager,接收来自NodeManager的资源和节点健康情况汇报,并向NodeManager下达管理资源命令,例如释放掉某个容器;
资源管理和调度,接收来自ApplicationMaster的资源申请,并且为其进行分配。
这里提到的获取***中所有的资源调度管理器的目的在于,令客户端、ApplicationMasters和NodeManagers能够以循环的方式尝试连接RM直到连接上activeRM,当active RM不可用时,再按照循环的方式尝试连接standby RM,直到完成连接。
S102:在所有的资源调度管理器中选择一个作为激活态资源调度管理器处理来自客户端的请求,将剩余的资源调度管理器设置为备用态资源调度管理器;
例如,可以通过Active/Standby架构实现步骤S102,在任何时间点只有一个RM处于active状态,而剩余的RM(一个或多个)则处于standby状态,时刻准备着接管active的工作,RM有内置的基于ZooKeeper(一个分布式的,开放源码的分布式应用程序协调服务)的ActiveStandbyElector类,用于在active RM宕机或者无响应时自动选择一个standbyRM做为active RM。
S103:检测激活态资源调度管理器是否出现异常;
若是,则进入步骤S104;
优选的,这里提到的检测激活态资源调度管理器是否出现异常,其具体可以为:
实时检测激活态资源调度管理器是否出现异常。
S104:在各备用态资源调度管理器中选择一个接管激活态资源调度管理器的工作。
可选的,在各备用态资源调度管理器中选择一个接管激活态资源调度管理器的工作之后,还可以输出激活态资源调度管理器异常的提示信息,以提示用户对接***中出现单点故障,进而用户可以对出现故障的RM进行修理或更换;
优选的,还可以获取备用态资源调度管理器的数量,并在备用态资源调度管理器的数量小于阈值时,输出备用态资源调度管理器数量不足的提示信息,以提示用户对接***中备用态资源调度管理器的数量不足,避免出现激活态资源调度管理器故障时无备用态资源调度管理器可换的情况。
基于上述技术方案,本申请所提供的一种单点故障处理的方法,通过在所有的资源调度管理器中选择一个作为激活态资源调度管理器处理来自客户端的请求,当激活态资源调度管理器出现异常时,在各备用态资源调度管理器中选择一个接管激活态资源调度管理器的工作,使得不需要每个资源调度管理器都必须处于激活态便能够实现Hadoop高可用,保证服务器在单节点故障后,资源调度管理器还能工作,而且避免了对资源的过度占用。
请参考图2,图2为本申请实施例所提供的一种单点故障处理的***的结构图。
该***可以包括:
第一获取模块100,用于获取***中所有的资源调度管理器;
第一选择模块200,用于在所有的资源调度管理器中选择一个作为激活态资源调度管理器处理来自客户端的请求,将剩余的资源调度管理器设置为备用态资源调度管理器;
检测模块300,用于检测激活态资源调度管理器是否出现异常;
第二选择模块400,用于当激活态资源调度管理器出现异常时,在各备用态资源调度管理器中选择一个接管激活态资源调度管理器的工作。
请参考图3,图3为本申请实施例所提供的另一种单点故障处理的***的结构图。
该***还可以包括:
第二获取模块,用于获取备用态资源调度管理器的数量;
第一输出模块,用于当备用态资源调度管理器的数量小于阈值时,输出备用态资源调度管理器数量不足的提示信息。
该检测模块300可以包括:
检测子模块,用于实时检测激活态资源调度管理器是否出现异常。
该***还可以包括:
第二输出模块,用于输出激活态资源调度管理器异常的提示信息。
以上***中的各个组成部分可实际应用于以下的实施例中:
该***可以包括:
第一获取模块获取***中所有的资源调度管理器;第一选择模块在所有的资源调度管理器中选择一个作为激活态资源调度管理器处理来自客户端的请求,将剩余的资源调度管理器设置为备用态资源调度管理器;检测模块检测激活态资源调度管理器是否出现异常;当激活态资源调度管理器出现异常时,第二选择模块在各备用态资源调度管理器中选择一个接管激活态资源调度管理器的工作;第二输出模块输出激活态资源调度管理器异常的提示信息;
第二获取模块获取备用态资源调度管理器的数量;当备用态资源调度管理器的数量小于阈值时,第一输出模块输出备用态资源调度管理器数量不足的提示信息。
请参考图4,图4为本申请实施例所提供的一种单点故障处理设备的结构图。
该单点故障处理设备500可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上处理器(central processing units,CPU)522(例如,一个或一个以上处理器)和存储器532,一个或一个以上存储应用程序542或数据544的存储介质530(例如一个或一个以上海量存储设备)。其中,存储器532和存储介质530可以是短暂存储或持久存储。存储在存储介质530的程序可以包括一个或一个以上模块(图示没标出),每个模块可以包括对装置中的一系列指令操作。更进一步地,中央处理器522可以设置为与存储介质530通信,在单点故障处理设备500上执行存储介质530中的一系列指令操作。
单点故障处理设备500还可以包括一个或一个以上电源525,一个或一个以上有线或无线网络接口550,一个或一个以上输入输出接口558,和/或,一个或一个以上操作***541,例如Windows ServerTM,Mac OS XTM,UnixTM,LinuxTM,FreeBSDTM等等。
上述图1所描述的单点故障处理的方法中的步骤由单点故障处理设备基于该图4所示的结构实现。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的***,装置和模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置、设备和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个模块或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或模块的间接耦合或通信连接,可以是电性,机械或其它的形式。
作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理模块,即可以位于一个地方,或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能模块可以集成在一个处理模块中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。
集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,功能调用装置,或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上对本申请所提供的一种单点故障处理的方法、***、设备及计算机可读存储介质进行了详细介绍。本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请原理的前提下,还可以对本申请进行若干改进和修饰,这些改进和修饰也落入本申请权利要求的保护范围内。
还需要说明的是,在本说明书中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (10)

1.一种单点故障处理的方法,其特征在于,包括:
获取***中所有的资源调度管理器;
在所有的所述资源调度管理器中选择一个作为激活态资源调度管理器处理来自客户端的请求,将剩余的所述资源调度管理器设置为备用态资源调度管理器;
检测所述激活态资源调度管理器是否出现异常;
若是,则在各所述备用态资源调度管理器中选择一个接管所述激活态资源调度管理器的工作。
2.根据权利要求1所述的方法,其特征在于,还包括:
获取所述备用态资源调度管理器的数量;
当所述备用态资源调度管理器的数量小于阈值时,输出备用态资源调度管理器数量不足的提示信息。
3.根据权利要求1所述的方法,其特征在于,所述检测激活态资源调度管理器是否出现异常,包括:
实时检测激活态资源调度管理器是否出现异常。
4.根据权利要求1所述的方法,其特征在于,在各所述备用态资源调度管理器中选择一个接管所述激活态资源调度管理器的工作之后,还包括:
输出激活态资源调度管理器异常的提示信息。
5.一种单点故障处理的***,其特征在于,包括:
第一获取模块,用于获取***中所有的资源调度管理器;
第一选择模块,用于在所有的所述资源调度管理器中选择一个作为激活态资源调度管理器处理来自客户端的请求,将剩余的所述资源调度管理器设置为备用态资源调度管理器;
检测模块,用于检测所述激活态资源调度管理器是否出现异常;
第二选择模块,用于当所述激活态资源调度管理器出现异常时,在各所述备用态资源调度管理器中选择一个接管所述激活态资源调度管理器的工作。
6.根据权利要求5所述的***,其特征在于,还包括:
第二获取模块,用于获取所述备用态资源调度管理器的数量;
第一输出模块,用于当所述备用态资源调度管理器的数量小于阈值时,输出备用态资源调度管理器数量不足的提示信息。
7.根据权利要求5所述的***,其特征在于,所述检测模块包括:
检测子模块,用于实时检测激活态资源调度管理器是否出现异常。
8.根据权利要求5所述的***,其特征在于,还包括:
第二输出模块,用于输出激活态资源调度管理器异常的提示信息。
9.一种单点故障处理设备,其特征在于,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现如权利要求1至4任一项所述单点故障处理的方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至4任一项所述单点故障处理的方法的步骤。
CN201910631154.3A 2019-07-12 2019-07-12 一种单点故障处理的方法、***、设备及计算机可读存储介质 Pending CN110351140A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910631154.3A CN110351140A (zh) 2019-07-12 2019-07-12 一种单点故障处理的方法、***、设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910631154.3A CN110351140A (zh) 2019-07-12 2019-07-12 一种单点故障处理的方法、***、设备及计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN110351140A true CN110351140A (zh) 2019-10-18

Family

ID=68175155

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910631154.3A Pending CN110351140A (zh) 2019-07-12 2019-07-12 一种单点故障处理的方法、***、设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN110351140A (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106156119A (zh) * 2015-04-07 2016-11-23 阿里巴巴集团控股有限公司 一种分布式事务通信方法、***及装置
US20170206117A1 (en) * 2006-03-16 2017-07-20 Iii Holdings 12, Llc System and method for managing a hybrid compute environment
CN109446395A (zh) * 2018-09-29 2019-03-08 上海派博软件有限公司 一种提高基于Hadoop大数据综合查询引擎效率的方法及***

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170206117A1 (en) * 2006-03-16 2017-07-20 Iii Holdings 12, Llc System and method for managing a hybrid compute environment
CN106156119A (zh) * 2015-04-07 2016-11-23 阿里巴巴集团控股有限公司 一种分布式事务通信方法、***及装置
CN109446395A (zh) * 2018-09-29 2019-03-08 上海派博软件有限公司 一种提高基于Hadoop大数据综合查询引擎效率的方法及***

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
WEIXIN_30377461: ""YARN新特性-ResourceManager 高可用机制"", 《HTTPS://BLOG.CSDN.NET/WEIXIN_30377461/ARTICLE/DETAILS/99775166》 *

Similar Documents

Publication Publication Date Title
US10635664B2 (en) Map-reduce job virtualization
US10331491B2 (en) Virtual data center resource mapping method and device
CN106375420B (zh) 一种基于负载均衡的服务器集群智能监控***及方法
CN108205541B (zh) 分布式网络爬虫任务的调度方法及装置
US9405589B2 (en) System and method of optimization of in-memory data grid placement
CN108076082A (zh) 一种应用集群的扩容方法、装置和***
CN108733464B (zh) 一种确定计算任务的调度方案的方法及装置
US8843632B2 (en) Allocation of resources between web services in a composite service
CN103970520A (zh) MapReduce架构中的资源管理方法、装置和架构***
CN109614227A (zh) 任务资源调配方法、装置、电子设备及计算机可读介质
US11836067B2 (en) Hyper-converged infrastructure (HCI) log system
CN109033814A (zh) 智能合约触发方法、装置、设备及存储介质
CN109388614A (zh) 一种目录文件个数配额的方法、***及设备
WO2017118318A1 (zh) 一种数据存储与业务处理的方法及装置
CN111625419A (zh) 一种日志采集方法、***、设备及计算机可读存储介质
CN112162852A (zh) 一种多架构cpu节点的管理方法、装置及相关组件
US10031777B2 (en) Method and system for scheduling virtual machines in integrated virtual machine clusters
CN106776034B (zh) 一种任务批处理计算方法、主站计算机及***
CN113760638A (zh) 一种基于kubernetes集群的日志服务方法和装置
CN110351140A (zh) 一种单点故障处理的方法、***、设备及计算机可读存储介质
CN109254928A (zh) 一种日志处理的方法、***、设备及计算机可读存储介质
CN115774602A (zh) 一种容器资源的分配方法、装置、设备及存储介质
CN114461407A (zh) 数据处理方法、装置、分发服务器、***及存储介质
US9755925B2 (en) Event driven metric data collection optimization
CN114157583A (zh) 一种基于可靠性的网络资源启发式映射方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20191018

RJ01 Rejection of invention patent application after publication