CN117806778A - 资源管理方法、***、设备及介质 - Google Patents

资源管理方法、***、设备及介质 Download PDF

Info

Publication number
CN117806778A
CN117806778A CN202410228260.8A CN202410228260A CN117806778A CN 117806778 A CN117806778 A CN 117806778A CN 202410228260 A CN202410228260 A CN 202410228260A CN 117806778 A CN117806778 A CN 117806778A
Authority
CN
China
Prior art keywords
cache
resource
task
total
threshold
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202410228260.8A
Other languages
English (en)
Other versions
CN117806778B (zh
Inventor
侯满
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspur Jinan data Technology Co ltd
Original Assignee
Inspur Jinan data Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Jinan data Technology Co ltd filed Critical Inspur Jinan data Technology Co ltd
Priority to CN202410228260.8A priority Critical patent/CN117806778B/zh
Publication of CN117806778A publication Critical patent/CN117806778A/zh
Application granted granted Critical
Publication of CN117806778B publication Critical patent/CN117806778B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Memory System Of A Hierarchy Structure (AREA)

Abstract

本申请提供一种资源管理方法、***、设备及介质,包括响应于动态断路器开关的启动,监控当前存储集群内的总缓存区域对应的第一当前使用资源和多个缓存分区域对应的第二当前使用资源;响应于任务的下发,根据任务到达的目标缓存分区域的类型,调用与目标缓存分区域匹配的缓存控制策略;根据调用的目标缓存区域匹配的缓存控制策略、监控到的总缓存区域对应的第一当前使用资源、目标缓存分区域对应的第二当前使用资源以及任务对应的预计消耗资源,评估任务的执行状态;响应于任务的执行状态为放行状态,则调用目标缓存分区域内的资源以执行任务。提高断路保护机制的灵活性,保护集群检索任务高效有效的运行并提高集群的稳定性和可靠性。

Description

资源管理方法、***、设备及介质
技术领域
本申请涉及存储技术领域,特别涉及一种资源管理方法、***、设备及介质。
背景技术
在当前的分布式全文检索框架中,会在JVM(Java Virtual Machine,Java虚拟机)内存中规划出相关的缓存区域,这些缓存区分别负责各自对对应的业务数据进行数据缓存,以提升检索***的数据和请求处理速度。
由于存在硬件上的资源限制,JVM内存空间是有限的,当内存空间中加载了过多数据就会存在内存溢出的风险,所以目前全文检索***中存在一套静态的断路器控制机制,在某块缓存区使用达到设定的上限阈值时,进行任务的自主强行中断,以保护内存区域不会出现溢出风险进而保护检索***的正常风险。但现有方案存在较大的局限性,其提供的保护通常都是静态而死板的,并不能识别实际的节点缓存资源状态和节点运行状态,因此亟需一种动态的资源管理方法以解决上述技术问题。
发明内容
基于此,有必要针对上述技术问题,提供一种资源管理方法、***、设备及介质,以解决上述技术问题。
第一方面,本申请提供一种资源管理方法,所述方法包括:
响应于动态断路器开关的启动,监控当前存储集群内的总缓存区域对应的第一当前使用资源和多个缓存分区域对应的第二当前使用资源;
响应于任务的下发,根据所述任务到达的目标缓存分区域的类型,调用与所述目标缓存分区域匹配的缓存控制策略;
根据调用的所述目标缓存区域匹配的所述缓存控制策略、监控到的所述总缓存区域对应的第一当前使用资源、所述目标缓存分区域对应的第二当前使用资源以及所述任务对应的预计消耗资源,评估所述任务的执行状态;
响应于所述任务的执行状态为放行状态,则调用所述目标缓存分区域内的资源以执行所述任务。
在一些实施例中,所述方法还包括:
响应于所述任务的执行状态为等待状态,定时重新评估所述任务的执行状态;
若评估所述任务的执行状态为等待状态,则调用所述目标缓存分区域的资源以执行所述任务;
若评估次数到达阈值后所述任务的执行状态为等待状态,则熔断所述任务并释放所述任务占用的资源。
在一些实施例中,所述监控当前存储集群内的总缓存区域对应的第一当前使用资源和多个缓存分区域对应的第二当前使用资源,包括:
设置缓存监控器监控和心跳间隔数值;
在所述缓存监控器正常运行时,根据所述缓存监控器每间隔一次所述心跳间隔数值,检测所述当前检索***内的总缓存区域对应的第一当前使用资源和多个缓存分区域对应的第二当前使用资源并记录至缓存资源记录表中;
根据当前记录到的所述第一当前使用资源和所述第二当前使用资源,替换所述缓存资源记录表中上一次记录到的第一当前使用资源和第二当前使用资源以实现对所述缓存资源记录表的更新。
在一些实施例中,所述监控当前存储集群内的总缓存区域对应的第一当前使用资源和多个缓存分区域对应的第二当前使用资源之间,还包括检测所述缓存监控器是否正常运行:
监听所述缓存资源记录表中记录的第一当前使用资源和第二当前使用资源是否更新;
若所述缓存资源记录表中记录的第一当前使用资源和第二当前使用资源超过预设监听阈值后未更新,则判定所述缓存监控器未正常运行;
若所述缓存资源记录表中记录的第一当前使用资源和第二当前使用资源在预设监听阈值内更新,则判定所述缓存监控器正常运行。
在一些实施例中,所述方法包括:
若判定所述缓存监控器未正常运行,则生成缓存监控器重启指令;
响应于生成的缓存监控器重启指令,对所述缓存监控器进行重启;
触发重启后的所述缓存监控器检测所述当前检索***内的总缓存区域内的第一当前使用资源和多个缓存分区域内的第二当前使用资源并更新所述缓存资源记录表。
在一些实施例中,所述方法包括:
检测到所述缓存监控器重启后,若所述缓存资源记录表中记录的第一当前使用资源和第二当前使用资源超过预设监听阈值后未更新,则判定所述缓存监控器故障并生成监控器故障告警提示以提示用户对所述缓存监控器进行检修。
在一些实施例中,所述缓存控制策略包括节点缓存控制策略、分片缓存控制策略、字段缓存控制策略以及索引缓存控制策略,所述根据所述任务下发的目标缓存分区域的类型,调用与所述目标缓存分区域匹配的缓存控制策略,包括:
若所述目标缓存分区域为节点级缓存区域,则调用节点缓存控制策略;
若所述目标缓存分区域为片缓存区域,则调用分片缓存控制策略;
若所述目标缓存分区域为字段聚合缓存区域,则调用字段缓存控制策略;
若所述目标缓存分区域为索引录入缓存区域,则调用索引缓存控制策略。
在一些实施例中,调用节点缓存控制策略时,所述根据调用的所述目标缓存区域匹配的所述缓存控制策略、监控到的所述总缓存区域对应的第一当前使用资源、所述目标缓存分区域对应的第二当前使用资源以及所述任务对应的预计消耗资源,评估所述任务的执行状态,包括:
根据当前监控到的总缓存区域对应的第一当前使用资源与所述预计消耗资源的和与总缓存资源的比值,确定总预计消耗资源百分比;
根据当前监控到的节点级缓存区域内的第二当前使用资源与所述预计消耗资源的和与节点总缓存资源的比值确定第一预计消耗资源百分比;
若所述第一预计消耗资源百分比未超过第一断路器阈值,则评估所述任务的执行状态为放行状态;
若所述第一预计消耗资源百分比超过第一断路器阈值且所述总预计消耗资源百分比未超过总预设熔断阈值,则评估所述任务的执行状态为放行状态;
若所述第一预计消耗资源百分比超过第一断路器阈值且所述总预计消耗资源百分比超过总预设熔断阈值,则评估所述任务的执行状态为等待状态。
在一些实施例中,调用分片缓存控制策略时,所述根据调用的所述目标缓存区域匹配的所述缓存控制策略、监控到的所述总缓存区域对应的第一当前使用资源、所述目标缓存分区域对应的第二当前使用资源以及所述任务对应的预计消耗资源,评估所述任务的执行状态,包括:
根据当前监控到的总缓存区域对应的所述第一当前使用资源与所述预计消耗资源的和与总缓存资源的比值,确定总预计消耗资源百分比;
根据当前监控到的分片级缓存区域对应的第二当前使用资源与所述预计消耗资源的和与分片总缓存资源的比值确定第二预计消耗资源百分比;
若所述第二预计消耗资源百分比未超过第二断路器阈值,则评估所述任务的执行状态为放行状态;
若所述第二预计消耗资源百分比超过第二断路器阈值、所述总预计消耗资源百分比未超过总预设熔断阈值且当前监控到的分片级缓存区域内的第二当前使用资源与所述预计消耗资源的和与所述分片缓存区域所在节点缓存区域对应的节点总缓存资源的比值未超过第三断路器阈值,则评估所述任务的执行状态为放行状态;
若所述第二预计消耗资源百分比超过第二断路器阈值、所述总预计消耗资源百分比超过总预设熔断阈值和/或当前监控到的分片级缓存区域内的第二当前使用资源与所述预计消耗资源的和与所述分片缓存区所在节点缓存区对应的节点总缓存资源的比值超过第三断路器阈值,则评估所述任务的执行状态为等待状态。
在一些实施例中,调用索引缓存控制策略时,所述根据调用的所述目标缓存区域匹配的所述缓存控制策略、监控到的所述总缓存区域对应的第一当前使用资源、所述目标缓存分区域对应的第二当前使用资源以及所述任务对应的预计消耗资源,评估所述任务的执行状态,包括:
根据当前监控到的总缓存区域对应的所述第一当前使用资源与所述预计消耗资源的和与总缓存资源的比值,确定总预计消耗资源百分比;
根据当前监控到的索引录入缓存区域对应的第二当前使用资源与所述预计消耗资源的和与索引总缓存资源的比值确定第三预计消耗资源百分比;
若所述第三预计消耗资源百分比未超过第四断路器阈值,则评估所述任务的执行状态为放行状态;
若所述第三预计消耗资源百分比超过所述第四断路器阈值且未超过第五预设分区阈值以及所述总预计消耗资源百分比未超过总预设熔断阈值,则获取集群内当前运行任务的特征,若所述特征为多写入请求特征时,评估所述任务的执行状态为放行状态,若所述特征为多查询请求特征时,评估所述任务的执行状态为等待状态;
若所述第三预计消耗资源百分比超过所述第五预设分区阈值和/或所述总预计消耗资源百分比未超过总预设熔断阈值,则评估所述任务的执行状态为等待状态。
在一些实施例中,调用字段缓存控制策略时,所述根据调用的所述目标缓存区域匹配的所述缓存控制策略、监控到的所述总缓存区域对应的第一当前使用资源、所述目标缓存分区域对应的第二当前使用资源以及所述任务对应的预计消耗资源,评估所述任务的执行状态,包括:
根据当前监控到的总缓存区域内的所述第一当前使用资源与所述预计消耗资源的和与总缓存资源的比值,确定总预计消耗资源百分比;
根据当前监控到的字段聚合缓存区域内的第二当前使用资源与所述预计消耗资源的和与字段总缓存资源的比值确定第四预计消耗资源百分比;
若所述第四预计消耗资源百分比未超过第六预设分区阈值,则评估所述任务的执行状态为放行状态;
若所述第四预计消耗资源百分比超过所述第六预设分区阈值且所述总预计消耗资源百分比未超过总预设熔断阈值,则评估所述任务的执行状态为放行状态;
若所述第四预计消耗资源百分比超过第六预设分区阈值和/或所述总预计消耗资源百分比超过总预设熔断阈值,则评估所述任务的执行状态为等待状态。
在一些实施例中,所述定时重新评估所述任务的执行状态,包括:
间隔所述心跳间隔数值后获取一次所述缓存资源记录表中存放的总缓存区域对应的第一当前使用资源和目标缓存分区域对应的第二当前使用资源;
根据调用的所述目标缓存区域匹配的所述缓存控制策略、获取到的所述总缓存区域对应的第一当前使用资源、所述目标缓存分区域对应的第二当前使用资源以及所述任务对应的预计消耗资源,评估所述任务的执行状态。
在一些实施例中,所述方法还包括心跳间隔数值的设置:
判断所述当前存储集群对应的集群规模的等级以及所述当前存储集群内已存储的数据规模的等级;
根据所述集群规模的等级和所述数据规模的等级,设置所述心跳间隔数值。
在一些实施例中,所述判断所述当前存储集群对应的集群规模的等级以及所述当前存储集群内已存储的数据规模的等级,包括:
比较当前存储集群内的节点数量和预设节点阈值;
若所述当前存储集群内的节点数量超过预设节点阈值,则判定所述集群规模为第一集群规模等级,反之则判定所述集群规模为第二集群规模等级;
比较所述当前存储集群内的数据量和预设数据阈值;
若所述当前存储集群内的节点数量超过预设节点阈值,则判定所述数据规模为第一数据规模等级,反之则判定所述数据规模为第二数据规模等级。
在一些实施例中,所述根据所述集群规模的等级和所述数据规模的等级,设置所述心跳间隔数值,包括:
若所述集群规模为第一集群规模等级且所述数据规模等级为第一数据规模等级,则设置所述心跳间隔数值为第一间隔数值;
若所述集群规模为第一集群规模等级且所述数据规模等级为第二数据规模等级,则设置所述心跳间隔数值为第二间隔数值;
若所述集群规模为第二集群规模等级且所述数据规模等级为第一数据规模等级,则设置所述心跳间隔数值为第三间隔数值;
若所述集群规模为第二集群规模等级且所述数据规模等级为第二数据规模等级,则设置所述心跳间隔数值为第四间隔数值。
在一些实施例中,所述方法还包括:
提供动态断路器阈值设置接口以便用户对各个断路器阈值进行自定义设置,所述动态断路器阈值设置接口包括总预设熔断阈值设置接口、第一断路器阈值设置接口、第二断路器阈值设置接口、第三断路器阈值设置接口以及第四断路器阈值设置接口;
所述动态断路器阈值设置接口响应于用户的设置操作并将设置好的动态断路器阈值存储至所述缓存资源记录表中。
在一些实施例中,所述监控当前存储集群内的总缓存区域对应的第一当前使用资源和多个缓存分区域对应的第二当前使用资源之前,所述方法还包括:
响应于检测到的存储至所述缓存资源记录表中的动态断路器阈值,启动所述动态断路器的开关并关闭所述当前存储集群内的默认运行的静态断路器开关。
第二方面,本申请提供一种资源管理***,所述***包括:
数据监控模块,用于响应于动态断路器生效,监控当前存储集群内的总缓存区域对应的第一当前使用资源和多个缓存分区域对应的第二当前使用资源;
数据处理模块,用于响应于任务的下发,根据所述任务到达的目标缓存分区域的类型,调用与所述目标缓存分区域匹配的缓存控制策略;
所述数据处理模块,还用于根据调用的所述目标缓存区域匹配的所述缓存控制策略、监控到的所述总缓存区域对应的第一当前使用资源、所述目标缓存分区域对应的第二当前使用资源以及所述任务对应的预计消耗资源,评估所述任务的执行状态;
资源管理模块,用于响应于所述任务的执行状态为放行状态,调用所述目标缓存分区域内的资源以执行所述任务。
第三方面,本申请提供了一种电子设备,所述电子设备包括:
一个或多个处理器;
以及与所述一个或多个处理器关联的存储器,所述存储器用于存储程序指令,所述程序指令在被所述一个或多个处理器读取执行时,执行如下操作:
响应于动态断路器开关的启动,监控当前存储集群内的总缓存区域对应的第一当前使用资源和多个缓存分区域对应的第二当前使用资源;
响应于任务的下发,根据所述任务到达的目标缓存分区域的类型,调用与所述目标缓存分区域匹配的缓存控制策略;
根据调用的所述目标缓存区域匹配的所述缓存控制策略、监控到的所述总缓存区域对应的第一当前使用资源、所述目标缓存分区域对应的第二当前使用资源以及所述任务对应的预计消耗资源,评估所述任务的执行状态;
响应于所述任务的执行状态为放行状态,则调用所述目标缓存分区域内的资源以执行所述任务。
第四方面,本申请还提供了一种计算机可读存储介质,所述存储介质上存储计算机程序,所述计算机程序使得计算机执行如下操作:
响应于动态断路器开关的启动,监控当前存储集群内的总缓存区域对应的第一当前使用资源和多个缓存分区域对应的第二当前使用资源;
响应于任务的下发,根据所述任务到达的目标缓存分区域的类型,调用与所述目标缓存分区域匹配的缓存控制策略;
根据调用的所述目标缓存区域匹配的所述缓存控制策略、监控到的所述总缓存区域对应的第一当前使用资源、所述目标缓存分区域对应的第二当前使用资源以及所述任务对应的预计消耗资源,评估所述任务的执行状态;
响应于所述任务的执行状态为放行状态,则调用所述目标缓存分区域内的资源以执行所述任务。
本申请实现的有益效果为:
本申请提供了一种资源配置方法,包括响应于动态断路器开关的启动,监控当前存储集群内的总缓存区域对应的第一当前使用资源和多个缓存分区域对应的第二当前使用资源;响应于任务的下发,根据所述任务到达的目标缓存分区域的类型,调用与所述目标缓存分区域匹配的缓存控制策略;根据调用的所述目标缓存区域匹配的所述缓存控制策略、监控到的所述总缓存区域对应的第一当前使用资源、所述目标缓存分区域对应的第二当前使用资源以及所述任务对应的预计消耗资源,评估所述任务的执行状态;响应于所述任务的执行状态为放行状态,则调用所述目标缓存分区域内的资源以执行所述任务。通过一系列资源管理,使得原有的静态断路保护机制更加的灵活有效,减少可运行任务无效熔断的场景,保护集群检索任务高效有效的运行并提高集群的稳定性和可靠性。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图,其中:
图1是本申请实施例提供的一种资源管理方法流程图;
图2是本申请实施例提供的一种资源管理方法示意图;
图3是本申请实施例提供的一种资源管理***架构图;
图4是本申请实施例提供的电子设备结构图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
应当理解,在本申请的描述中,除非上下文明确要求,否则整个说明书和权利要求书中的“包括”、“包含”等类似词语应当解释为包含的含义而不是排他或穷举的含义;也就是说,是“包括但不限于”的含义。
还应当理解,术语“第一”、“第二”等仅用于描述目的,而不能理解为指示或暗示相对重要性。此外,在本申请的描述中,除非另有说明,“多个”的含义是两个或两个以上。
需要注意的是,术语“S1”、“S2”等仅用于步骤的描述目的,并非特别指称次序或顺位的意思,亦非用以限定本申请,其仅仅是为了方便描述本申请的方法,而不能理解为指示步骤的先后顺序。另外,各个实施例之间的技术方案可以相互结合,但是必须是以本领域普通技术人员能够实现为基础,当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在,也不在本申请要求的保护范围之内。
如背景技术所述,目前分布式检索***内应用的断路器本质上为一种静态断路器;通过对每个业务区域设置独立的断路器阈值,并设置一个总的断路器阈值,分别用于控制缓存区域和总缓存区域的资源。但现有的静态断路器存在较大的局限性,当用户使用配置项将断路器设置完成后,便无法在后续集群重新启动前对断路器设置的阈值进行修改;如果后续业务操作遭遇瓶颈达到相关的断路器阈值,则会直接触发断路器生成,进而强制停止先关业务操作并保护集群,但这种保护通常是静态而死板的,并不能识别实际的缓存区域的缓存资源状态和运行状态。
例如,对于查询缓存区域(query Cache,一种节点级别的查询结果缓存)和查询缓存对应的断路器,如果将该断路器设置为30%的保护阈值时,当查询缓存空间消耗到超过还剩30%后,将直接触发当前检索任务失败并停止检索内容,假设当前时间段除去当前的查询缓存,其它如索引缓存等使用消耗并不大,整体的JVM缓存空间足够,即使查询缓存区域超出了保护阈值,但是依旧是可以支持相关的索引查询动作,并不需要立即强制终止任务。
因此,本申请提供一种动态的资源管理方法,将静态断路器进行优化,调整为随时根据实际业务状态和资源使用进行动态变更的动态断路器,优化后的动态断路器同样设置固定的保护阈值,但在固定保护阈值外会根据实际的节点和集群资源状况进行缓存运行分析,评估当前下发的任务在动态场景中即使超出断路器阈值的情况下是否依旧能够支撑任务运行,如果缓存资源状态可用的情况下,将放行任务运行,直至任务运行成功返回检索结果。
实施例一
本申请实施例提供了一种资源管理方法,应用于分布式检索***中,如图1所示,具体的,利用本申请实施例公开的方法实现对分布式检索***内的存储集群进行资源管理,包括以下内容:
S1、响应于动态断路器开关的启动,监控当前存储集群内的总缓存区域对应的第一当前使用资源和多个缓存区域对应的第二当前使用资源。
具体的,存储集群中设置有静态断路器开关和动态断路器开关,这两种开关分别用来启用对应的断路器以进一步启动相对应的控制策略。在本申请中,上述动态断路器开关可以是直接根据需求进行控制,由用户主动开启动态断路器开关并关闭静态断路器开关;在需要使用动态断路器时开启动态断路器开关以便计算机设备执行本申请公开的与动态断路器关联的资源管理方法。
在其中一个实施例中,本申请还提出在监控当前存储集群内的总缓存区域对应的第一当前使用资源和多个缓存区域对应的第二当前使用资源之前,检测当前存储集群内是否存在对动态断路器阈值的设置动作,由于用户对动态断路器进行设定表明用户存在使用动态断路器进行资源管理的意图,进一步由于动态断路器阈值设置之后会存放在资源记录表中,因此,本申请提出响应于检测到的存储至资源记录表中的动态断路器阈值,自动启动动态断路器的开关并关闭当前存储集群内的默认运行的静态断路器开关,以实现动态断路器开关的自动打开。后续用户还可以根据需求关闭动态断路器的开关,打开静态断路器的开关,以停止使用本申请公开的与动态断路器相关的资源管理方法。
其中,上述动态断路器阈值的设定包括:监控当前存储集群内的总缓存区域对应的第一当前使用资源和多个缓存区域对应的第二当前使用资源之前,方法还包括:提供动态断路器阈值设置接口以便用户对各个断路器阈值进行自定义设置,动态断路器阈值设置接口包括总预设熔断阈值设置接口、节点级缓存区域对应的第一断路器阈值设置接口、分片级缓存区域对应的第二断路器阈值设置接口、索引缓存区域对应的第三断路器阈值设置接口、字段缓存区域对应的第四断路器阈值设置接口以及总缓存区域对应的总断路器阈值设置接口;动态断路器阈值设置接口响应于用户的设置操作并将设置好的动态断路器阈值存储至缓存资源记录表中。通过缓存阈值自定义与各缓存分区域和总缓存区域的熔断阈值,在结合实际业务场景和资源情况的基础上进行更加高效的参数设置,以使断路保护控制可以更有效高效的运行。
此外,除了提供动态断路器阈值设置接口以便用户根据需求进行设置外,还可以直接继承原有的静态断路器对应设置的一系列阈值,在此基础上,后续资源管理的标准也会按照原有设置的阈值进行管理。此外,可以理解的是设置动态断路器阈值优先级高于静态断路器阈值,即已配置动态阈值后会优先生效设置的动态断路器阈值,原有的静态断路器阈值则不再生效。
在动态断路器开关启用后,上述监控当前检索***内的总缓存区域对应的第一当前使用资源和多个缓存区域对应的第二当前使用资源,包括:设置缓存监控器监控和心跳间隔数值;在缓存监控器正常运行时,根据缓存监控器每间隔一次心跳间隔数值,检测当前检索***内的总缓存区域对应的第一当前使用资源和多个缓存区域对应的第二当前使用资源并记录至资源记录表中;根据当前记录到的第一当前使用资源和第二当前使用资源,替换资源记录表中上一次记录到的第一当前使用资源和第二当前使用资源以实现对资源记录表的更新。
具体的,首先在当前存储集群中构建并初始化缓存资源记录表,内置多个缓存区域包括节点查询缓存(queryCache)、分片查询缓存(requestCache)、字段聚合缓存(fieldDataCache)、索引录入缓存(indexBuffer)以及总缓存区域等堆内缓存区字段和总缓存区信息字段,可以资源信息字典表的形式创建,本申请对上述资源记录表的形式不做限定,且缓存资源记录表存储在堆内的独立运行区域中以保证记录表的更新速度和效率。
缓存监控器对相应的总缓存区域和不同功能的缓存区域进行监控,以实现在整个动态断路保护流程中对集群缓存资源进行近乎实时的监控,通过心跳探测的方式探测实时缓存占用和正在加载中缓存内容等多维度的信息收集和计算评估,获取总缓存区域对应的第一当前使用资源和多个缓存区域对应的第二当前使用资源,例如当前节点级缓存区域对应的第二当前使用资源换当前消耗资源,叠加正在进行的任务缓存资源得到节点级缓存区域对应的第二当前使用资源并记录至资源记录表中。需要说明的是,第二当前使用资源的数量与缓存区域的数量匹配,各缓存区域都有各自对应的第二当前使用资源。通过建立缓存监控器并构建缓存资源记录表,对分布式检索集群内的不同缓存区域和总缓存区域进行监控和记录,为后续评估下发的任务是进行放行还是进行熔断提供数据基础。
在其中一个实施方式中,上述心跳间隔数值的设置包括以下内容:判断当前存储集群对应的集群规模的等级以及当前存储集群内已存储的数据规模的等级;根据集群规模的等级和数据规模的等级,设置心跳间隔数值。对心跳间隔数值进行设置提供了一种方法,确保集群内资源稳定的同时,尽可能缩小心跳间隔数值以提高缓存监控书获取数据的精准度和后续探测任务存放队列中的任务是否达到放行条件时判断的准确性。
具体的,判断当前存储集群对应的集群规模的等级以及当前存储集群内已存储的数据规模的等级,包括:比较当前存储集群内的节点数量和预设节点阈值;若当前存储集群内的节点数量超过预设节点阈值,则判定集群规模为第一集群规模等级,此时整体节点数较多,会存在数据交互和请求计算等任务执行流程变慢;反之则判定集群规模为第二集群规模等级,此时集群体量不大,通讯交互速度较快;比较当前存储集群内的数据量和预设数据阈值;若当前存储集群内的节点数量超过预设节点阈值,则判定数据规模为第一数据规模等级,此时整体节点数较多,会存在数据交互和请求计算等任务执行流程变慢的情况;反之则判定数据规模为第二数据规模等级,此时数据分散到集群中各个节点的分片中,各个节点按照心跳间隔数值对数据进行定时收集,且消耗资源可控。优选的,上述预设节点阈值可以设置为200,上述预设数据阈值可以设置为200TB,可依据实际场景进行设置,本申请对此不做限定。
具体的,上述根据集群规模的等级和数据规模的等级,设置心跳间隔数值,包括:若集群规模为第一集群规模等级且数据规模等级为第一数据规模等级,则设置心跳间隔数值为第一间隔数值,此时集群体量大且数据体量大,需要记录的内容多,因此上述第一间隔数值优选设置为大于15s的数值;若集群规模为第一集群规模等级且数据规模等级为第二数据规模等级,则设置心跳间隔数值为第二间隔数值,此时虽然集群体量大,但集群中存储的数据量较少,因此上述第二间隔数值优选设置为10s至15s之间的任一数值;若集群规模为第二集群规模等级且数据规模等级为第一数据规模等级,则设置心跳间隔数值为第三间隔数值,此时集群体量小,但其中存储的数据量较多,因此上述第三间隔数值优选设置5s-10s之间的任一数值;若集群规模为第二集群规模等级且数据规模等级为第二数据规模等级,则设置心跳间隔数值为第四间隔数值,此时,集群体量小,集群内的数据量也小,容易进行数据探测,因此上述第四间隔数值优先设置为3s-5s之间的任一数值。本申请对上述第一间隔数值、第二间隔数值、第三间隔数值和第四间隔数值的取值只是提供了一种优选设置方式,在其他实施场景中还可根据实际场景进行设定,本申请对此不做限定。
进一步,在利用缓存监控器实现对总缓存区域和不同功能的缓存区域进行监控之前,还需要保障缓存监控器能够正常运行,具体检测缓存监控器是否正常运行包括:
监听资源记录表中记录的第一当前使用资源和第二当前使用资源是否更新;若资源记录表中记录的第一当前使用资源和第二当前使用资源超过预设监听阈值后未更新,则判定缓存监控器未正常运行;若资源记录表中记录的第一当前使用资源和第二当前使用资源在预设监听阈值内更新,则判定缓存监控器正常运行。其中预设监听阈值为人为设定的阈值,超过这个阈值未更更新则代表监控器未正常工作,通常设定为10秒或者9秒,也可依据实际场景进行设定,本申请对此不做约束。
进一步,若判定缓存监控器未正常运行,则生成缓存监控器重启指令;响应于生成的缓存监控器重启指令,对缓存监控器进行重启;触发重启后的缓存监控器检测当前检索***内的总缓存区域内的第一当前使用资源和多个缓存区域内的第二当前使用资源并更新缓存资源记录表。检测到缓存监控器重启后,若缓存资源记录表中记录的第一当前使用资源和第二当前使用资源超过预设监听阈值后仍旧未更新,即重启后缓存监控器依旧未正常运行,则此时判定缓存监控器故障并生成监控器故障告警提示以提示用户对缓存监控器进行检修。通过在利用缓存监控器监控集群内的各个缓存分区域的缓存资源变化之前,首先检查当前使用的缓存监控器是正常使用的,并在故障时进行重启和检修,实现了对缓存监控器的故障的及时反馈。
S2、响应于任务的下发,根据任务到达的目标缓存区域的类型,调用与目标缓存区域匹配的缓存控制策略。
具体的,缓存控制策略包括节点缓存控制策略、分片缓存控制策略、字段缓存控制策略以及索引缓存控制策略,上述根据任务下发的目标缓存区域的类型,调用与目标缓存区域匹配的缓存控制策略,包括:若目标缓存区域为节点级缓存区域,则调用节点缓存控制策略;若目标缓存区域为片缓存区域,则调用分片缓存控制策略;若目标缓存区域为字段聚合缓存区域,则调用字段缓存控制策略;若目标缓存区域为索引录入缓存区域,则调用索引缓存控制策略。在接收到具体的运行任务和时,根据实际到达的缓存分区域调用不同的缓存控制策略,通过针对性的调用不同的缓存控制策略,进一步提高了任务的运行状态评估的准确性。并通过计算实际任务的参数数据并结合缓存监控器的监控数据进行任务评估,判断任务在动态断路保护的设定下是否可安全的运行,不符合动态断路器要求的任务需存入任务队列并交由断路保护控制模块进行实际控制动作。
S3、根据调用的目标缓存区域匹配的缓存控制策略、监控到的总缓存区域对应的第一当前使用资源、目标缓存区域对应的第二当前使用资源以及任务对应的预计消耗资源,评估任务的执行状态,执行状态包括放行状态和等待状态。
为了对单个缓存区域进行缓存控制,每一个任务在从队列中提取并开始运行时,都需要将对该任务达到的缓存区域的当前资源情况和任务运行需要消耗的缓存空间进行评估和计算,确保任务可以安全运行,具体包括以下内容:
当任务达到节点级缓存区域时,此时目标缓存区域为节点级缓存区域,调用节点缓存控制策略,具体包括:
根据当前监控到的总缓存区域对应的第一当前使用资源与预计消耗资源的和与总缓存资源的比值,确定总预计消耗资源百分比;根据当前监控到的节点级缓存区域内的第二当前使用资源与预计消耗资源的和与节点总缓存资源的比值确定第一预计消耗资源百分比;其中,预计消耗资源由单个任务运行前评估并更新记录,即运行该任务所需消耗的资源。
若第一预计消耗资源百分比未超过第一断路器阈值,则评估任务的执行状态为放行状态,此时节点级缓存区域内预计消耗的资源占比较小,足以支撑该任务的运行;若第一预计消耗资源百分比超过第一断路器阈值且总预计消耗资源百分比未超过总预设熔断阈值,则评估任务的执行状态为放行状态,此时虽然节点级缓存区域内的缓存资源占用较多,超过了对应的第一断路器阈值,但是当前集群为非任务繁忙时间段,集群内剩余可用资源较多,也可以在保证集群正常工作的情况下支持该任务的正常运行;若第一预计消耗资源百分比超过第一断路器阈值且总预计消耗资源百分比超过总预设熔断阈值,则评估任务的执行状态为等待状态,此时集群内总缓存区域总预计消耗资源百分比过大,当前集群内剩余可用资源不多,此时无法正常运行该任务,需要将该任务添加至任务存放队列中进行等待。其中,上述第一断路器阈值为对节点级缓存区域设定的熔断阈值,根据在步骤S1中公开的节点级缓存区域对应的第一断路器阈值设置接口进行设定,优选的可以设定为15%,本申请对此不做限定。上述总断路器阈值为对节点级缓存区域设定的熔断阈值,根据在步骤S1中公开的动断路器阈值设置接口进行设定,优选的可以设定为80%,本申请对此不做限定。例如探测到queryCache的当前使用资源数已经超过整个queryCache的15%,但如果当前集群为非任务繁忙时间段,整体堆内缓存使用仅少量,剩余可用资源较多;综合计算出当前总缓存区域对应的总预计消耗百分比,判断整体的堆内缓存使用是否超出总预设熔断阈值80%,未超出则执行忽略queryCache的第一动态断路器熔断,进行任务放行,如果超出80%则将任务存放至任务存放队列中。
当任务达到分片级缓存区域时,此时目标缓存区域为分片级缓存区域,调用分片缓存控制策略,具体包括:
根据当前监控到的总缓存区域对应的第一当前使用资源与预计消耗资源的和与总缓存资源的比值,确定总预计消耗资源百分比;根据当前监控到的分片级缓存区域对应的第二当前使用资源与预计消耗资源的和与分片总缓存资源的比值确定第二预计消耗资源百分比。
若第二预计消耗资源百分比未超过第二断路器阈值,则评估任务的执行状态为放行状态,此时分片级所实现缓存区域内预计消耗的资源占比较小,足以支撑该任务的运行;若第二预计消耗资源百分比超过第二断路器阈值、总预计消耗资源百分比未超过总预设熔断阈值且当前监控到的分片级缓存区域内的第二当前使用资源与预计消耗资源的和与分片缓存区域所在节点缓存区域对应的节点总缓存资源的比值未超过第三断路器阈值,则评估任务的执行状态为放行状态,此时单个分片级缓存区域的资源占用较大,超过单个分片级缓存区域内的最高限制,但是在控制该分片的节点总缓存资源的允许占用范围内,此时运行该任务对集群正常运行并无影响;若第二预计消耗资源百分比超过第二断路器阈值、总预计消耗资源百分比超过总预设熔断阈值和/或当前监控到的分片级缓存区域内的第二当前使用资源与预计消耗资源的和与分片缓存区所在节点缓存区对应的节点总缓存资源的比值超过第三断路器阈值,则评估任务的执行状态为等待状态,此时运行该任务后分片级缓存区域对应的第二预计消耗资源百分比超过单个节点允许的上限,无法保证节点运行的安全或者运行该任务后总缓存区域的总预计消耗资源百分比超过允许上限,无法保障整个集群的安全。
其中,上述第二断路器阈值为对分片级缓存区域设定的熔断阈值,根据在步骤S1中公开的节点级缓存区域对应的第二断路器阈值设置接口进行设定,优选的可以设定为1%,本申请对此不做限定;上述第三断路器阈值为对分片级缓存区域设定的与所在节点相关的熔断阈值,根据在步骤S1中公开的节点级缓存区域对应的第二断路器阈值设置接口进行设定,优选的可以设定为3%,本申请对此不做限定。例如,当任务到达分片,探测requestCache的使用达到第二断路器阈值如1%,而requestCache为分片级别缓存,由于单节点分片可能较多,控制单节点多分片任务运行较为复杂,如果对requestCache启用动态断路器控制,则在控制整体缓存使用不超出总预设熔断阈值80%的安全阈值外,还需要控制单requestCache使用不超过单个节点的第三断路器阈值3%,以保证节点运行的安全。
任务达到索引录入缓存区域时,此时目标缓存区域为索引录入缓存区域,调用索引缓存控制策略,具体包括:
根据当前监控到的索引录入缓存区域对应的第二当前使用资源与预计消耗资源的和与索引总缓存资源的比值确定第三预计消耗资源百分比;若第三预计消耗资源百分比未超过第四断路器阈值,则评估任务的执行状态为放行状态,此时索引录入缓存区域内的资源占用较少,足以支撑该任务运行;若第三预计消耗资源百分比超过第四断路器阈值且未超过第五预设分区阈值以及总预计消耗资源百分比未超过总预设熔断阈值,则获取下发的任务的特征,特征包括多写入请求特征和多查询请求特征,此时索引录入缓存区域内的资源占用较多,需要结合集群内当前运行的任务的特征进一步判断是否放行下发的任务;若特征为多写入请求特征时,评估任务的执行状态为放行状态,此时当前运行的任务主要是写入请求,且仅有较少的查询请求,但此时集群繁忙度低,即使会消耗较多的写入缓存,但在低业务场景无影响;若特征为多查询请求特征时,评估任务的执行状态为等待状态,此时当前集群运存的任务主要是查询请求,少量为写入请求,此时即使集群业务不繁忙,但需要消耗的查询资源过多,因此需要先将索引录入缓存内的数据刷入,释放资源。若第三预计消耗资源百分比超过第五预设分区阈值和/或总预计消耗资源百分比未超过总预设熔断阈值,则评估任务的执行状态为等待状态,此时索引录入缓存区域内的资源占用过大,影响索引的正常录入,或者是当前集群内剩余可用资源不多,此时无法正常运行该任务,需要将该任务添加至任务存放队列中进行等待。其中,上述第四断路器阈值和第五断路器阈值为对索引录入缓存区域设定的熔断阈值,根据在步骤S1中公开的节点级缓存区域对应的第一断路器阈值设置接口进行设定,优选的上述第四断路器阈值可以设定为10%,上述第五断路器阈值可以设定为20%,本申请对此不做限定。
任务达到字段聚合缓存区域时,此时目标缓存区域为字段聚合缓存区域,为检索***堆内中使用量最大缓存,当存在查询任务时,存在text字段内容的初次聚合等操作均需将相关数据按照格式加载进入字段聚合缓存区域中,调用字段缓存控制策略,具体包括:
根据当前监控到的总缓存区域内的第一当前使用资源与预计消耗资源的和与总缓存资源的比值,确定总预计消耗资源百分比;根据当前监控到的字段聚合缓存区域内的第二当前使用资源与预计消耗资源的和与字段总缓存资源的比值确定第四预计消耗资源百分比。
若第四预计消耗资源百分比未超过第六预设分区阈值,则评估任务的执行状态为放行状态,此时该字段聚合缓存区域内预计消耗的资源占比较小,足以支撑该任务的正常运行;若第四预计消耗资源百分比超过第六预设分区阈值且总预计消耗资源百分比未超过总预设熔断阈值,则评估任务的执行状态为放行状态,此时即使字段聚合缓存区域内资源消耗多,但当前集群为非任务繁忙时间段,集群内剩余可用资源较多,也可以在保证集群正常工作的情况下支持该任务的正常运行;若第四预计消耗资源百分比超过第六预设分区阈值和/或总预计消耗资源百分比超过总预设熔断阈值,则评估任务的执行状态为等待状态,此时字段聚合缓存区域内可用资源少或者此时集群内总缓存区域总预计消耗资源百分比过大,当前集群内剩余可用资源不多,此时无法正常运行该任务,需要将该任务添加至任务存放队列中进行等待。此外,可以理解的是,在第四预计消耗资源百分比小于等于第六熔断器阈值时,根据现有的集群繁忙程度,例如低于单节点50条每秒任务时,进行LRU(LeastRecently Used,最少最近使用算法)回收操作,当第四预计消耗资源百分比大于第六熔断器阈值时强制进行LRU回收操作,保障字段聚合缓存区域的安全。
S4、若任务的执行状态为放行状态,则调用目标缓存区域内的资源以执行任务。
在其中一些实施方式中,本申请实施例公开的方法还包括:若任务的执行状态为等待状态,则定时重新评估任务的执行状态;若评估任务的执行状态为等待状态,则调用目标缓存分区域的资源以执行任务;若评估次数到达阈值后任务的执行状态为等待状态,则熔断任务并释放任务占用的资源。即所有的触发动态断路器但未达到熔断控制标准的任务,加入等待任务队列,该部分加入队列的任务仅为当前初步判断无法通过运行的任务,后续多次对执行状态的重新评估,在重新评估之后再进行具体任务的熔断或放行操作。上述重新评估次数的阈值优选设置为5次,也可根据实际情况进行人为设定,本申请对此不做限定。通过对任务运行控制中检测到当前资源情况不支持运行并存放在队列中的任务进行重复探测评估,确定任务最终是否可运行,并对相应的任务进行放行或强制熔断保护检索***环境,进一步提高资源利用率和任务完成率。
具体的,每间隔一次心跳间隔数值后开始获取一次缓存资源记录表中存放的总缓存区域对应的第一当前使用资源和目标缓存分区域对应的第二当前使用资源;根据调用的目标缓存区域匹配的缓存控制策略、获取到的总缓存区域对应的第一当前使用资源、目标缓存分区域对应的第二当前使用资源以及任务对应的预计消耗资源,实现对任务的执行状态的定时评估;评估任务的执行状态为放行状态时,对任务进行放行,如果重新评估后,任务的执行状态还是等待状态,此时间隔心跳间隔数值后,再次进行评估;直到评估次数达到设定的阈值,任务的执行状态还是等待状态时,对任务进行熔断并使用该任务占用的资源。
例如,按照5s的心跳间隔数值对缓存监控器资源进行获取,并计算当前队列任务对应的预计消耗资源,根据调用的目标缓存区域匹配的缓存控制策略、获取到的总缓存区域对应的第一当前使用资源、目标缓存分区域对应的第二当前使用资源以及任务对应的预计消耗资源,再次评估任务的执行状态;任务的执行状态依旧为等待状态时,需要进行重复评估;重新评估的阈值设置为5次,如果5次评估后任务的运行状态依旧为等待状态,则强行释放任务,将任务移除队列并回收所消耗资源;如果在5次之内已经评估任务的执行状态为放行状态,则进行任务运行。
综上,如图2所示,本申请公开的资源管理方法主要由缓存监控器、缓存阈值自定义、任务运行控制、断路保护等四部分构成,对分布式检索***任务运行的断路保护机制进行优化,缓存监控器可实时动态的探测和记录集群节点的实际资源使用情况,提供动态断路保护任务策略的事实数据基础,缓存阈值自定义可以在用户结合实际集群业务场景和环境自主判断后,进行灵活的更加贴合实际业务和环境场景的定义任务断路策略参数,保证任务断路保护控制更加合理高效,任务运行控制则是根据任务的实时运行状态,并结合动态断路器阈值配置和缓存监控器的监控数据进行实际的任务的运行状态评估,将评估为等待状态的任务加入等待队列,断路保护则对等待状态的任务队列进行任务重复探测评估,对有效探测次数内评估为放行状态的任务进行放行,仍不是放行状态的任务进行强制熔断并释放资源,保证集群运行的稳定和高效。
实施例二
对应上述实施例一,本申请还实施例提供了一种资源管理***,如图3所示的架构图,具体包括:
数据监控模块310,用于响应于动态断路器生效,监控当前存储集群内的总缓存区域对应的第一当前使用资源和多个缓存分区域对应的第二当前使用资源;
数据处理模块320,用于响应于任务的下发,根据所述任务到达的目标缓存分区域的类型,调用与所述目标缓存分区域匹配的缓存控制策略;
所述数据处理模块320,还用于根据调用的所述目标缓存区域匹配的所述缓存控制策略、监控到的所述总缓存区域对应的第一当前使用资源、所述目标缓存分区域对应的第二当前使用资源以及所述任务对应的预计消耗资源,评估所述任务的执行状态;
资源管理模块330,用于响应于所述任务的执行状态为放行状态,调用所述目标缓存分区域内的资源以执行所述任务。
在一些实施例中,所述数据处理模块320还用于:响应于所述任务的执行状态为等待状态,定时重新评估所述任务的执行状态;若评估所述任务的执行状态为等待状态,则调用所述目标缓存分区域的资源以执行所述任务;若评估次数到达阈值后所述任务的执行状态为等待状态,则熔断所述任务并释放所述任务占用的资源。
在一些实施例中,所述数据监控模块310,还用于设置缓存监控器监控和心跳间隔数值;在所述缓存监控器正常运行时,根据所述缓存监控器每间隔一次所述心跳间隔数值,检测所述当前检索***内的总缓存区域对应的第一当前使用资源和多个缓存分区域对应的第二当前使用资源并记录至缓存资源记录表中;根据当前记录到的所述第一当前使用资源和所述第二当前使用资源,替换所述缓存资源记录表中上一次记录到的第一当前使用资源和第二当前使用资源以实现对所述缓存资源记录表的更新。
在一些实施例中,所述数据监控模块310还用于检测所述缓存监控器是否正常运行:监听所述缓存资源记录表中记录的第一当前使用资源和第二当前使用资源是否更新;若所述缓存资源记录表中记录的第一当前使用资源和第二当前使用资源超过预设监听阈值后未更新,则判定所述缓存监控器未正常运行;若所述缓存资源记录表中记录的第一当前使用资源和第二当前使用资源在预设监听阈值内更新,则判定所述缓存监控器正常运行。
在一些实施例中,所述数据监控模块310还用于:若判定所述缓存监控器未正常运行,则生成缓存监控器重启指令;响应于生成的缓存监控器重启指令,对所述缓存监控器进行重启;触发重启后的所述缓存监控器检测所述当前检索***内的总缓存区域内的第一当前使用资源和多个缓存分区域内的第二当前使用资源并更新所述缓存资源记录表。
在一些实施例中,所述数据监控模块310还用于:检测到所述缓存监控器重启后,若所述缓存资源记录表中记录的第一当前使用资源和第二当前使用资源超过预设监听阈值后未更新,则判定所述缓存监控器故障并生成监控器故障告警提示以提示用户对所述缓存监控器进行检修。
在一些实施例中,所述缓存控制策略包括节点缓存控制策略、分片缓存控制策略、字段缓存控制策略以及索引缓存控制策略,所述根据所述任务下发的目标缓存分区域的类型,调用与所述目标缓存分区域匹配的缓存控制策略,所述数据处理模块320,还用于:若所述目标缓存分区域为节点级缓存区域,则调用节点缓存控制策略;若所述目标缓存分区域为片缓存区域,则调用分片缓存控制策略;若所述目标缓存分区域为字段聚合缓存区域,则调用字段缓存控制策略;若所述目标缓存分区域为索引录入缓存区域,则调用索引缓存控制策略。
在一些实施例中,所述数据处理模块320,还用于根据当前监控到的总缓存区域对应的第一当前使用资源与所述预计消耗资源的和与总缓存资源的比值,确定总预计消耗资源百分比;根据当前监控到的节点级缓存区域内的第二当前使用资源与所述预计消耗资源的和与节点总缓存资源的比值确定第一预计消耗资源百分比;若所述第一预计消耗资源百分比未超过第一断路器阈值,则评估所述任务的执行状态为放行状态;若所述第一预计消耗资源百分比超过第一断路器阈值且所述总预计消耗资源百分比未超过总预设熔断阈值,则评估所述任务的执行状态为放行状态;若所述第一预计消耗资源百分比超过第一断路器阈值且所述总预计消耗资源百分比超过总预设熔断阈值,则评估所述任务的执行状态为等待状态。
在一些实施例中,所述数据处理模块320,还用于根据当前监控到的总缓存区域对应的所述第一当前使用资源与所述预计消耗资源的和与总缓存资源的比值,确定总预计消耗资源百分比;根据当前监控到的分片级缓存区域对应的第二当前使用资源与所述预计消耗资源的和与分片总缓存资源的比值确定第二预计消耗资源百分比;若所述第二预计消耗资源百分比未超过第二断路器阈值,则评估所述任务的执行状态为放行状态;若所述第二预计消耗资源百分比超过第二断路器阈值、所述总预计消耗资源百分比未超过总预设熔断阈值且当前监控到的分片级缓存区域内的第二当前使用资源与所述预计消耗资源的和与所述分片缓存区域所在节点缓存区域对应的节点总缓存资源的比值未超过第三断路器阈值,则评估所述任务的执行状态为放行状态;若所述第二预计消耗资源百分比超过第二断路器阈值、所述总预计消耗资源百分比超过总预设熔断阈值和/或当前监控到的分片级缓存区域内的第二当前使用资源与所述预计消耗资源的和与所述分片缓存区所在节点缓存区对应的节点总缓存资源的比值超过第三断路器阈值,则评估所述任务的执行状态为等待状态。
在一些实施例中,所述数据处理模块320,还用于根据当前监控到的总缓存区域对应的所述第一当前使用资源与所述预计消耗资源的和与总缓存资源的比值,确定总预计消耗资源百分比;根据当前监控到的索引录入缓存区域对应的第二当前使用资源与所述预计消耗资源的和与索引总缓存资源的比值确定第三预计消耗资源百分比;若所述第三预计消耗资源百分比未超过第四断路器阈值,则评估所述任务的执行状态为放行状态;若所述第三预计消耗资源百分比超过所述第四断路器阈值且未超过第五预设分区阈值以及所述总预计消耗资源百分比未超过总预设熔断阈值,则获取集群内当前运行任务的特征,若所述特征为多写入请求特征时,评估所述任务的执行状态为放行状态,若所述特征为多查询请求特征时,评估所述任务的执行状态为等待状态;若所述第三预计消耗资源百分比超过所述第五预设分区阈值和/或所述总预计消耗资源百分比未超过总预设熔断阈值,则评估所述任务的执行状态为等待状态。
在一些实施例中,所述数据处理模块320,还用于根据当前监控到的总缓存区域内的所述第一当前使用资源与所述预计消耗资源的和与总缓存资源的比值,确定总预计消耗资源百分比;根据当前监控到的字段聚合缓存区域内的第二当前使用资源与所述预计消耗资源的和与字段总缓存资源的比值确定第四预计消耗资源百分比;若所述第四预计消耗资源百分比未超过第六预设分区阈值,则评估所述任务的执行状态为放行状态;若所述第四预计消耗资源百分比超过所述第六预设分区阈值且所述总预计消耗资源百分比未超过总预设熔断阈值,则评估所述任务的执行状态为放行状态;若所述第四预计消耗资源百分比超过第六预设分区阈值和/或所述总预计消耗资源百分比超过总预设熔断阈值,则评估所述任务的执行状态为等待状态。
在一些实施例中,所述数据处理模块320,还用于间隔所述心跳间隔数值后获取一次所述缓存资源记录表中存放的总缓存区域对应的第一当前使用资源和目标缓存分区域对应的第二当前使用资源;根据调用的所述目标缓存区域匹配的所述缓存控制策略、获取到的所述总缓存区域对应的第一当前使用资源、所述目标缓存分区域对应的第二当前使用资源以及所述任务对应的预计消耗资源,评估所述任务的执行状态。
在一些实施例中,所述数据处理模块320,还用于对心跳间隔数值进行设置:判断所述当前存储集群对应的集群规模的等级以及所述当前存储集群内已存储的数据规模的等级;根据所述集群规模的等级和所述数据规模的等级,设置所述心跳间隔数值。
在一些实施例中,所述数据处理模块320,还用于比较当前存储集群内的节点数量和预设节点阈值;若所述当前存储集群内的节点数量超过预设节点阈值,则判定所述集群规模为第一集群规模等级,反之则判定所述集群规模为第二集群规模等级;比较所述当前存储集群内的数据量和预设数据阈值;若所述当前存储集群内的节点数量超过预设节点阈值,则判定所述数据规模为第一数据规模等级,反之则判定所述数据规模为第二数据规模等级。
在一些实施例中,所述数据处理模块320,还用于:若所述集群规模为第一集群规模等级且所述数据规模等级为第一数据规模等级,则设置所述心跳间隔数值为第一间隔数值;若所述集群规模为第一集群规模等级且所述数据规模等级为第二数据规模等级,则设置所述心跳间隔数值为第二间隔数值;若所述集群规模为第二集群规模等级且所述数据规模等级为第一数据规模等级,则设置所述心跳间隔数值为第三间隔数值;若所述集群规模为第二集群规模等级且所述数据规模等级为第二数据规模等级,则设置所述心跳间隔数值为第四间隔数值。
在一些实施例中,所述数据监控模块310,还用于提供动态断路器阈值设置接口以便用户对各个断路器阈值进行自定义设置,所述动态断路器阈值设置接口包括总预设熔断阈值设置接口、第一断路器阈值设置接口、第二断路器阈值设置接口、第三断路器阈值设置接口以及第四断路器阈值设置接口;所述动态断路器阈值设置接口响应于用户的设置操作并将设置好的动态断路器阈值存储至所述缓存资源记录表中。
在一些实施例中,所述数据监控模块310,还用于响应于检测到的存储至所述缓存资源记录表中的动态断路器阈值,启动所述动态断路器的开关并关闭所述当前存储集群内的默认运行的静态断路器开关。
实施例三
对应上述所有实施例,本申请实施例提供一种电子设备,包括:一个或多个处理器;以及与一个或多个处理器关联的存储器,存储器用于存储程序指令,程序指令在被一个或多个处理器读取执行时,执行如下操作:
响应于动态断路器开关的启动,监控当前存储集群内的总缓存区域对应的第一当前使用资源和多个缓存分区域对应的第二当前使用资源;
响应于任务的下发,根据所述任务到达的目标缓存分区域的类型,调用与所述目标缓存分区域匹配的缓存控制策略;
根据调用的所述目标缓存区域匹配的所述缓存控制策略、监控到的所述总缓存区域对应的第一当前使用资源、所述目标缓存分区域对应的第二当前使用资源以及所述任务对应的预计消耗资源,评估所述任务的执行状态;
响应于所述任务的执行状态为放行状态,则调用所述目标缓存分区域内的资源以执行所述任务。
其中,图4示例性的展示出了电子设备的架构,具体可以包括处理器410,视频显示适配器411,磁盘驱动器412,输入/输出接口413,网络接口414,以及存储器420。上述处理器410、视频显示适配器411、磁盘驱动器412、输入/输出接口413、网络接口414,与存储器420之间可以通过总线430进行通信连接。
其中,处理器410可以采用通用的CPU(Central Processing Unit,中央处理器)、微处理器、应用专用集成电路(Application Specific Integrated Circuit,ASIC)、或者一个或多个集成电路等方式实现,用于执行相关程序,以实现本申请所提供的技术方案。
存储器420可以采用ROM(Read Only Memory,可编写存储器)、RAM(RandomAccess Memory,随机存取存储器)、静态存储设备,动态存储设备等形式实现。存储器420可以存储用于控制电子设备400执行的操作***421,用于控制电子设备400的低级别操作的基本输入输出***(BIOS)422。另外,还可以存储网页浏览器423,数据存储管理***424,以及图标字体处理***425等等。上述图标字体处理***425就可以是本申请实施例中具体实现前述各步骤操作的应用程序。总之,在通过软件或者固件来实现本申请所提供的技术方案时,相关的程序代码保存在存储器420中,并由处理器410来调用执行。
输入/输出接口413用于连接输入/输出模块,以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中(图中未示出),也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等,输出设备可以包括显示器、扬声器、振动器、指示灯等。
网络接口414用于连接通信模块(图中未示出),以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如USB、网线等)实现通信,也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信。
总线430包括一通路,在设备的各个组件(例如处理器410、视频显示适配器411、磁盘驱动器412、输入/输出接口413、网络接口414,与存储器420)之间传输信息。
另外,该电子设备400还可以从虚拟资源对象领取条件信息数据库中获得具体领取条件的信息,以用于进行条件判断,等等。
需要说明的是,尽管上述设备仅示出了处理器410、视频显示适配器411、磁盘驱动器412、输入/输出接口413、网络接口414,存储器420,总线430等,但是在具体实施过程中,该设备还可以包括实现正常执行所必需的其他组件。此外,本领域的技术人员可以理解的是,上述设备中也可以仅包含实现本申请方案所必需的组件,而不必包含图中所示的全部组件。
通过以上的实施方式的描述可知,本领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,云服务端,或者网络设备等)执行本申请各个实施例或者实施例的某些部分的方法。
实施例四
对应上述所有实施例,本申请实施例还提供一种计算机可读存储介质,其特征在于,其存储计算机程序,计算机程序使得计算机执行如下操作:
响应于动态断路器开关的启动,监控当前存储集群内的总缓存区域对应的第一当前使用资源和多个缓存分区域对应的第二当前使用资源;
响应于任务的下发,根据所述任务到达的目标缓存分区域的类型,调用与所述目标缓存分区域匹配的缓存控制策略;
根据调用的所述目标缓存区域匹配的所述缓存控制策略、监控到的所述总缓存区域对应的第一当前使用资源、所述目标缓存分区域对应的第二当前使用资源以及所述任务对应的预计消耗资源,评估所述任务的执行状态;
响应于所述任务的执行状态为放行状态,则调用所述目标缓存分区域内的资源以执行所述任务。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于***或***实施例而言,由于其基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。以上所描述的***及***实施例仅仅是示意性的,其中作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
以上仅为本申请的较佳实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

Claims (20)

1.一种资源管理方法,其特征在于,所述方法包括:
响应于动态断路器开关的启动,监控当前存储集群内的总缓存区域对应的第一当前使用资源和多个缓存分区域对应的第二当前使用资源;
响应于任务的下发,根据所述任务到达的目标缓存分区域的类型,调用与所述目标缓存分区域匹配的缓存控制策略;
根据调用的所述目标缓存区域匹配的所述缓存控制策略、监控到的所述总缓存区域对应的第一当前使用资源、所述目标缓存分区域对应的第二当前使用资源以及所述任务对应的预计消耗资源,评估所述任务的执行状态;
响应于所述任务的执行状态为放行状态,则调用所述目标缓存分区域内的资源以执行所述任务。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
响应于所述任务的执行状态为等待状态,定时重新评估所述任务的执行状态;
若评估所述任务的执行状态为等待状态,则调用所述目标缓存分区域的资源以执行所述任务;
若评估次数到达阈值后所述任务的执行状态为等待状态,则熔断所述任务并释放所述任务占用的资源。
3.根据权利要求2所述的方法,其特征在于,所述监控当前存储集群内的总缓存区域对应的第一当前使用资源和多个缓存分区域对应的第二当前使用资源,包括:
设置缓存监控器监控和心跳间隔数值;
在所述缓存监控器正常运行时,根据所述缓存监控器每间隔一次所述心跳间隔数值,检测所述当前检索***内的总缓存区域对应的第一当前使用资源和多个缓存分区域对应的第二当前使用资源并记录至缓存资源记录表中;
根据当前记录到的所述第一当前使用资源和所述第二当前使用资源,替换所述缓存资源记录表中上一次记录到的第一当前使用资源和第二当前使用资源以实现对所述缓存资源记录表的更新。
4.根据权利要求1所述的方法,其特征在于,所述监控当前存储集群内的总缓存区域对应的第一当前使用资源和多个缓存分区域对应的第二当前使用资源之间,还包括检测所述缓存监控器是否正常运行:
监听所述缓存资源记录表中记录的第一当前使用资源和第二当前使用资源是否更新;
若所述缓存资源记录表中记录的第一当前使用资源和第二当前使用资源超过预设监听阈值后未更新,则判定所述缓存监控器未正常运行;
若所述缓存资源记录表中记录的第一当前使用资源和第二当前使用资源在预设监听阈值内更新,则判定所述缓存监控器正常运行。
5.根据权利要求4所述的方法,其特征在于,所述方法包括:
若判定所述缓存监控器未正常运行,则生成缓存监控器重启指令;
响应于生成的缓存监控器重启指令,对所述缓存监控器进行重启;
触发重启后的所述缓存监控器检测所述当前检索***内的总缓存区域内的第一当前使用资源和多个缓存分区域内的第二当前使用资源并更新所述缓存资源记录表。
6.根据权利要求5所述的方法,其特征在于,所述方法包括:
检测到所述缓存监控器重启后,若所述缓存资源记录表中记录的第一当前使用资源和第二当前使用资源超过预设监听阈值后未更新,则判定所述缓存监控器故障并生成监控器故障告警提示以提示用户对所述缓存监控器进行检修。
7.根据权利要求1所述的方法,其特征在于,所述缓存控制策略包括节点缓存控制策略、分片缓存控制策略、字段缓存控制策略以及索引缓存控制策略,所述根据所述任务下发的目标缓存分区域的类型,调用与所述目标缓存分区域匹配的缓存控制策略,包括:
若所述目标缓存分区域为节点级缓存区域,则调用节点缓存控制策略;
若所述目标缓存分区域为片缓存区域,则调用分片缓存控制策略;
若所述目标缓存分区域为字段聚合缓存区域,则调用字段缓存控制策略;
若所述目标缓存分区域为索引录入缓存区域,则调用索引缓存控制策略。
8.根据权利要求7所述的方法,其特征在于,调用节点缓存控制策略时,所述根据调用的所述目标缓存区域匹配的所述缓存控制策略、监控到的所述总缓存区域对应的第一当前使用资源、所述目标缓存分区域对应的第二当前使用资源以及所述任务对应的预计消耗资源,评估所述任务的执行状态,包括:
根据当前监控到的总缓存区域对应的第一当前使用资源与所述预计消耗资源的和与总缓存资源的比值,确定总预计消耗资源百分比;
根据当前监控到的节点级缓存区域内的第二当前使用资源与所述预计消耗资源的和与节点总缓存资源的比值确定第一预计消耗资源百分比;
若所述第一预计消耗资源百分比未超过第一断路器阈值,则评估所述任务的执行状态为放行状态;
若所述第一预计消耗资源百分比超过第一断路器阈值且所述总预计消耗资源百分比未超过总预设熔断阈值,则评估所述任务的执行状态为放行状态;
若所述第一预计消耗资源百分比超过第一断路器阈值且所述总预计消耗资源百分比超过总预设熔断阈值,则评估所述任务的执行状态为等待状态。
9.根据权利要求7所述的方法,其特征在于,调用分片缓存控制策略时,所述根据调用的所述目标缓存区域匹配的所述缓存控制策略、监控到的所述总缓存区域对应的第一当前使用资源、所述目标缓存分区域对应的第二当前使用资源以及所述任务对应的预计消耗资源,评估所述任务的执行状态,包括:
根据当前监控到的总缓存区域对应的所述第一当前使用资源与所述预计消耗资源的和与总缓存资源的比值,确定总预计消耗资源百分比;
根据当前监控到的分片级缓存区域对应的第二当前使用资源与所述预计消耗资源的和与分片总缓存资源的比值确定第二预计消耗资源百分比;
若所述第二预计消耗资源百分比未超过第二断路器阈值,则评估所述任务的执行状态为放行状态;
若所述第二预计消耗资源百分比超过第二断路器阈值、所述总预计消耗资源百分比未超过总预设熔断阈值且当前监控到的分片级缓存区域内的第二当前使用资源与所述预计消耗资源的和与所述分片缓存区域所在节点缓存区域对应的节点总缓存资源的比值未超过第三断路器阈值,则评估所述任务的执行状态为放行状态;
若所述第二预计消耗资源百分比超过第二断路器阈值、所述总预计消耗资源百分比超过总预设熔断阈值和/或当前监控到的分片级缓存区域内的第二当前使用资源与所述预计消耗资源的和与所述分片缓存区所在节点缓存区对应的节点总缓存资源的比值超过第三断路器阈值,则评估所述任务的执行状态为等待状态。
10.根据权利要求7所述的方法,其特征在于,调用索引缓存控制策略时,所述根据调用的所述目标缓存区域匹配的所述缓存控制策略、监控到的所述总缓存区域对应的第一当前使用资源、所述目标缓存分区域对应的第二当前使用资源以及所述任务对应的预计消耗资源,评估所述任务的执行状态,包括:
根据当前监控到的总缓存区域对应的所述第一当前使用资源与所述预计消耗资源的和与总缓存资源的比值,确定总预计消耗资源百分比;
根据当前监控到的索引录入缓存区域对应的第二当前使用资源与所述预计消耗资源的和与索引总缓存资源的比值确定第三预计消耗资源百分比;
若所述第三预计消耗资源百分比未超过第四断路器阈值,则评估所述任务的执行状态为放行状态;
若所述第三预计消耗资源百分比超过所述第四断路器阈值且未超过第五预设分区阈值以及所述总预计消耗资源百分比未超过总预设熔断阈值,则获取集群内当前运行任务的特征,若所述特征为多写入请求特征时,评估所述任务的执行状态为放行状态,若所述特征为多查询请求特征时,评估所述任务的执行状态为等待状态;
若所述第三预计消耗资源百分比超过所述第五预设分区阈值和/或所述总预计消耗资源百分比未超过总预设熔断阈值,则评估所述任务的执行状态为等待状态。
11.根据权利要求7所述的方法,其特征在于,调用字段缓存控制策略时,所述根据调用的所述目标缓存区域匹配的所述缓存控制策略、监控到的所述总缓存区域对应的第一当前使用资源、所述目标缓存分区域对应的第二当前使用资源以及所述任务对应的预计消耗资源,评估所述任务的执行状态,包括:
根据当前监控到的总缓存区域内的所述第一当前使用资源与所述预计消耗资源的和与总缓存资源的比值,确定总预计消耗资源百分比;
根据当前监控到的字段聚合缓存区域内的第二当前使用资源与所述预计消耗资源的和与字段总缓存资源的比值确定第四预计消耗资源百分比;
若所述第四预计消耗资源百分比未超过第六预设分区阈值,则评估所述任务的执行状态为放行状态;
若所述第四预计消耗资源百分比超过所述第六预设分区阈值且所述总预计消耗资源百分比未超过总预设熔断阈值,则评估所述任务的执行状态为放行状态;
若所述第四预计消耗资源百分比超过第六预设分区阈值和/或所述总预计消耗资源百分比超过总预设熔断阈值,则评估所述任务的执行状态为等待状态。
12.根据权利要求3所述的方法,其特征在于,所述定时重新评估所述任务的执行状态,包括:
间隔所述心跳间隔数值后获取一次所述缓存资源记录表中存放的总缓存区域对应的第一当前使用资源和目标缓存分区域对应的第二当前使用资源;
根据调用的所述目标缓存区域匹配的所述缓存控制策略、获取到的所述总缓存区域对应的第一当前使用资源、所述目标缓存分区域对应的第二当前使用资源以及所述任务对应的预计消耗资源,评估所述任务的执行状态。
13.根据权利要求3所述的方法,其特征在于,所述方法还包括心跳间隔数值的设置:
判断所述当前存储集群对应的集群规模的等级以及所述当前存储集群内已存储的数据规模的等级;
根据所述集群规模的等级和所述数据规模的等级,设置所述心跳间隔数值。
14.根据权利要求13所述的方法,其特征在于,所述判断所述当前存储集群对应的集群规模的等级以及所述当前存储集群内已存储的数据规模的等级,包括:
比较当前存储集群内的节点数量和预设节点阈值;
若所述当前存储集群内的节点数量超过预设节点阈值,则判定所述集群规模为第一集群规模等级,反之则判定所述集群规模为第二集群规模等级;
比较所述当前存储集群内的数据量和预设数据阈值;
若所述当前存储集群内的节点数量超过预设节点阈值,则判定所述数据规模为第一数据规模等级,反之则判定所述数据规模为第二数据规模等级。
15.根据权利要求13所述的方法,其特征在于,所述根据所述集群规模的等级和所述数据规模的等级,设置所述心跳间隔数值,包括:
若所述集群规模为第一集群规模等级且所述数据规模等级为第一数据规模等级,则设置所述心跳间隔数值为第一间隔数值;
若所述集群规模为第一集群规模等级且所述数据规模等级为第二数据规模等级,则设置所述心跳间隔数值为第二间隔数值;
若所述集群规模为第二集群规模等级且所述数据规模等级为第一数据规模等级,则设置所述心跳间隔数值为第三间隔数值;
若所述集群规模为第二集群规模等级且所述数据规模等级为第二数据规模等级,则设置所述心跳间隔数值为第四间隔数值。
16.根据权利要求7所述的方法,其特征在于,所述方法还包括:
提供动态断路器阈值设置接口以便用户对各个断路器阈值进行自定义设置,所述动态断路器阈值设置接口包括总预设熔断阈值设置接口、第一断路器阈值设置接口、第二断路器阈值设置接口、第三断路器阈值设置接口以及第四断路器阈值设置接口;
所述动态断路器阈值设置接口响应于用户的设置操作并将设置好的动态断路器阈值存储至所述缓存资源记录表中。
17.根据权利要求16所述的方法,其特征在于,所述监控当前存储集群内的总缓存区域对应的第一当前使用资源和多个缓存分区域对应的第二当前使用资源之前,所述方法还包括:
响应于检测到的存储至所述缓存资源记录表中的动态断路器阈值,启动所述动态断路器的开关并关闭所述当前存储集群内的默认运行的静态断路器开关。
18.一种资源管理***,其特征在于,所述***包括:
数据监控模块,用于响应于动态断路器生效,监控当前存储集群内的总缓存区域对应的第一当前使用资源和多个缓存分区域对应的第二当前使用资源;
数据处理模块,用于响应于任务的下发,根据所述任务到达的目标缓存分区域的类型,调用与所述目标缓存分区域匹配的缓存控制策略;
所述数据处理模块,还用于根据调用的所述目标缓存区域匹配的所述缓存控制策略、监控到的所述总缓存区域对应的第一当前使用资源、所述目标缓存分区域对应的第二当前使用资源以及所述任务对应的预计消耗资源,评估所述任务的执行状态;
资源管理模块,用于响应于所述任务的执行状态为放行状态,调用所述目标缓存分区域内的资源以执行所述任务。
19.一种电子设备,其特征在于,所述电子设备包括:
一个或多个处理器;
以及与所述一个或多个处理器关联的存储器,所述存储器用于存储程序指令,所述程序指令在被所述一个或多个处理器读取执行时,执行权利要求1-17任一所述方法。
20.一种计算机可读存储介质,其特征在于,其存储计算机程序,所述计算机程序使得计算机执行权利要求1-17中任一所述方法。
CN202410228260.8A 2024-02-29 2024-02-29 资源管理方法、***、设备及介质 Active CN117806778B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410228260.8A CN117806778B (zh) 2024-02-29 2024-02-29 资源管理方法、***、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410228260.8A CN117806778B (zh) 2024-02-29 2024-02-29 资源管理方法、***、设备及介质

Publications (2)

Publication Number Publication Date
CN117806778A true CN117806778A (zh) 2024-04-02
CN117806778B CN117806778B (zh) 2024-06-07

Family

ID=90430504

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410228260.8A Active CN117806778B (zh) 2024-02-29 2024-02-29 资源管理方法、***、设备及介质

Country Status (1)

Country Link
CN (1) CN117806778B (zh)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103279429A (zh) * 2013-05-24 2013-09-04 浪潮电子信息产业股份有限公司 一种应用感知的分布式全局共享缓存分区方法
US20170185454A1 (en) * 2015-12-25 2017-06-29 Le Holdings (Beijing) Co., Ltd. Method and Electronic Device for Determining Resource Consumption of Task
CN110166282A (zh) * 2019-04-16 2019-08-23 苏宁易购集团股份有限公司 资源分配方法、装置、计算机设备和存储介质
CN110442428A (zh) * 2019-08-02 2019-11-12 北京智芯微电子科技有限公司 Docker容器的协调方法
CN110737567A (zh) * 2019-10-17 2020-01-31 吉旗(成都)科技有限公司 基于缓存的服务端接口熔断方法及装置
CN112000448A (zh) * 2020-07-17 2020-11-27 北京计算机技术及应用研究所 基于微服务架构的应用管理方法
CN112217894A (zh) * 2020-10-12 2021-01-12 浙江大学 一种基于动态权重的负载均衡***
CN113031870A (zh) * 2021-03-26 2021-06-25 山东英信计算机技术有限公司 一种集群***动态管理方法、装置、存储介质及设备
CN114003377A (zh) * 2021-10-22 2022-02-01 济南浪潮数据技术有限公司 一种基于es服务的内存熔断方法、装置、设备及可读介质
CN115150460A (zh) * 2022-06-30 2022-10-04 济南浪潮数据技术有限公司 一种节点安全注册方法、装置、设备及可读存储介质
WO2023082560A1 (zh) * 2021-11-12 2023-05-19 苏州浪潮智能科技有限公司 一种任务处理方法、装置、设备及介质
CN116701485A (zh) * 2023-06-09 2023-09-05 济南浪潮数据技术有限公司 基于分布式检索***的***优化装置、方法、设备及介质

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103279429A (zh) * 2013-05-24 2013-09-04 浪潮电子信息产业股份有限公司 一种应用感知的分布式全局共享缓存分区方法
US20170185454A1 (en) * 2015-12-25 2017-06-29 Le Holdings (Beijing) Co., Ltd. Method and Electronic Device for Determining Resource Consumption of Task
CN110166282A (zh) * 2019-04-16 2019-08-23 苏宁易购集团股份有限公司 资源分配方法、装置、计算机设备和存储介质
CN110442428A (zh) * 2019-08-02 2019-11-12 北京智芯微电子科技有限公司 Docker容器的协调方法
CN110737567A (zh) * 2019-10-17 2020-01-31 吉旗(成都)科技有限公司 基于缓存的服务端接口熔断方法及装置
CN112000448A (zh) * 2020-07-17 2020-11-27 北京计算机技术及应用研究所 基于微服务架构的应用管理方法
CN112217894A (zh) * 2020-10-12 2021-01-12 浙江大学 一种基于动态权重的负载均衡***
CN113031870A (zh) * 2021-03-26 2021-06-25 山东英信计算机技术有限公司 一种集群***动态管理方法、装置、存储介质及设备
CN114003377A (zh) * 2021-10-22 2022-02-01 济南浪潮数据技术有限公司 一种基于es服务的内存熔断方法、装置、设备及可读介质
WO2023082560A1 (zh) * 2021-11-12 2023-05-19 苏州浪潮智能科技有限公司 一种任务处理方法、装置、设备及介质
CN115150460A (zh) * 2022-06-30 2022-10-04 济南浪潮数据技术有限公司 一种节点安全注册方法、装置、设备及可读存储介质
CN116701485A (zh) * 2023-06-09 2023-09-05 济南浪潮数据技术有限公司 基于分布式检索***的***优化装置、方法、设备及介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
DURSUN K等: "Revisiting Reuse in Main Memory Database Systems", 《ACM》, 28 December 2018 (2018-12-28) *
王江林;向忠清;: "基于微服务架构的服务容错分析与实现", 自动化技术与应用, no. 03, 25 March 2020 (2020-03-25) *
程振京;李海波;黄秋兰;程耀东;陈刚;: "高能物理云平台中的弹性计算资源管理机制", 计算机工程与应用, no. 08, 15 April 2017 (2017-04-15) *

Also Published As

Publication number Publication date
CN117806778B (zh) 2024-06-07

Similar Documents

Publication Publication Date Title
US9934105B2 (en) Fault tolerance for complex distributed computing operations
US20120137101A1 (en) Optimizing memory management of an application running on a virtual machine
US8601493B2 (en) Application controlling apparatus and storage medium which stores software for the apparatus
US8117505B2 (en) Resource exhaustion prediction, detection, diagnosis and correction
US9104480B2 (en) Monitoring and managing memory thresholds for application request threads
CN109669877B (zh) 内存管理方法、装置、终端及存储介质
US9519869B2 (en) Predictive computer system resource monitoring
JP4811830B1 (ja) コンピュータリソース制御システム
CN112882832A (zh) 应用于浏览器的内存管理方法、装置、终端及存储介质
JP5942509B2 (ja) バッチ処理システム
CN111258921A (zh) 垃圾内存回收方法及装置、电子设备、存储介质
CN108196940B (zh) 删除容器的方法和相关设备
CN111880906A (zh) 虚拟机高可用性管理方法、***以及存储介质
CN111679914B (zh) 一种内存管理方法、***、计算机设备及存储介质
EP2645635A1 (en) Cluster monitor, method for monitoring a cluster, and computer-readable recording medium
Di Sanzo et al. Machine learning for achieving self-* properties and seamless execution of applications in the cloud
CN111475299A (zh) 内存分配方法、装置、存储介质及电子设备
CN117806778B (zh) 资源管理方法、***、设备及介质
CN111897626A (zh) 一种面向云计算场景的虚拟机高可靠***和实现方法
JP2001325126A (ja) コンピュータシステム監視方法及びコンピュータシステム監視装置
CN111090627A (zh) 基于池化的日志存储方法、装置、计算机设备及存储介质
JP5737789B2 (ja) 仮想マシン運用監視システム
JP2007156976A (ja) 情報処理システム
CN118245392A (zh) 内存回收方法、内存回收装置和电子设备
CN117453423B (zh) Gpu显存管理方法和***,存储介质和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant