CN114237986B - 一种集群可用性模式控制方法、装置、设备及存储介质 - Google Patents

一种集群可用性模式控制方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN114237986B
CN114237986B CN202111613066.4A CN202111613066A CN114237986B CN 114237986 B CN114237986 B CN 114237986B CN 202111613066 A CN202111613066 A CN 202111613066A CN 114237986 B CN114237986 B CN 114237986B
Authority
CN
China
Prior art keywords
mode
target
availability
cluster
read
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111613066.4A
Other languages
English (en)
Other versions
CN114237986A (zh
Inventor
侯永进
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Telecom Corp Ltd
Original Assignee
China Telecom Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Telecom Corp Ltd filed Critical China Telecom Corp Ltd
Priority to CN202111613066.4A priority Critical patent/CN114237986B/zh
Publication of CN114237986A publication Critical patent/CN114237986A/zh
Application granted granted Critical
Publication of CN114237986B publication Critical patent/CN114237986B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14Error detection or correction of the data by redundancy in operation
    • G06F11/1402Saving, restoring, recovering or retrying
    • G06F11/1446Point-in-time backing up or restoration of persistent data
    • G06F11/1458Management of the backup or restore process
    • G06F11/1464Management of the backup or restore process for networked environments

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Techniques For Improving Reliability Of Storages (AREA)

Abstract

本发明实施例提供了一种集群可用性模式控制方法、装置、设备及存储介质,该方法包括:确定目标集群中的目标用户数据;利用目标用户数据在第一历史时段内的读写状态信息,识别目标集群对应的第一模式;利用该目标用户数据在第二历史时段内的读写状态信息,预测目标集群对应的第二模式;判断第一模式和第二模式是否相同,得到判断结果;基于该判断结果,确定目标集群待适配的可用性模式,作为目标模式;若目标模式与目标集群的当前可用性模式不同,基于目标模式,对目标集群的可用性模式进行转换处理。通过本方案,可以在保障用户数据的可用性的同时,提高异地存储资源的利用率。

Description

一种集群可用性模式控制方法、装置、设备及存储介质
技术领域
本发明涉及云计算数据存储技术领域,特别是涉及一种集群可用性模式控制方法、装置、设备及存储介质。
背景技术
为了保证数据可用性,让用户随时可以根据需求获得完整、可靠的数据,需要预先把用于存储备份数据的存储节点,加入到集群的存储节点列表中,然后,依靠***的调度算法进行容灾,即利用用于存储备份数据的存储节点对用户数据进行备份。
同时,为了对抗地区性、大范围的极端自然灾害,还需要在异地的数据中心搭建至少一个镜像集群实现灾备。但是,这种方式对网络、基础设施要求较高,成本较大,而且,对于访问量较低的集群中的用户数据进行异地备份,也会占用大量的存储资源,造成能源的浪费。
因此,如何在保障数据可用性的同时,减少异地的存储资源的占用,是亟待解决的问题。
发明内容
本发明实施例的目的在于提供一种集群可用性模式控制方法、装置、设备及存储介质,以实现在保障用户数据的可用性的同时,提高异地存储资源的利用率,具体技术方案如下:
第一方面,本发明实施例提供了一种集群可用性模式控制方法,应用于电子设备,所述方法包括:
确定目标集群中的目标用户数据;其中,所述目标集群为待进行关于可用性模式的控制的集群;所述可用性模式的种类包括:表征异地全数据备份的灾备模式、表征异地增量备份的灾备模式以及表征不进行异地备份的灾备模式;
利用所述目标用户数据在第一历史时段内的读写状态信息,识别所述目标集群对应的第一模式;其中,所述第一模式为在所述第一历史时段内与所述目标集群相适配的可用性模式;
利用所述目标用户数据在第二历史时段内的读写状态信息,预测所述目标集群对应的第二模式;其中,所述第二模式为在当前时间之后的指定时段内与所述目标集群相适配的可用性模式;
判断所述第一模式和第二模式是否相同,得到判断结果;
基于所述判断结果,确定所述目标集群待适配的可用性模式,作为目标模式;
若所述目标模式与所述目标集群的当前可用性模式不同,基于所述目标模式,对所述目标集群的可用性模式进行转换处理。
可选地,所述电子设备与所述目标集群中的主控制节点相通信;
所述基于所述目标模式,对所述目标用户数据的可用性模式进行转换处理,包括:
向所述主控制节点发送针对所述目标集群的、携带有所述目标模式的模式信息的模式转换指令,以使所述主控制节点在接收到所述模式转换指令后,将所述目标集群的可用性模式转换为所述目标模式。
可选地,所述基于所述判断结果,确定所述目标集群待适配的可用性模式,作为目标模式,包括:
若所述判断结果表明所述第一模式和第二模式不同,将所述目标集群的当前可用性模式,确定为所述目标集群待适配的可用性模式,得到目标模式;
若所述判断结果表明所述第一模式和第二模式相同,将所述第二模式,确定为所述目标集群待适配的可用性模式,得到目标模式。
可选地,所述利用所述目标用户数据在第一历史时段内的读写状态信息,识别所述目标集群对应的第一模式,包括:
确定所述目标用户数据在各个目标子时段内的读写状态信息;其中,所述各个目标子时段为第一历史时段所包括的各个子时段;
针对每一目标子时段,基于所述目标用户数据在该目标子时段内的读写状态信息,计算该目标子时段内、关于读写状态的评判指标值;
若所确定出的评判指标值中,符合第一条件的评判指标值的数量所占比例大于预设比例,则确定所述目标集群对应的第一模式为表征不进行异地备份的灾备模式;其中,所述第一条件为小于第一预设阈值;
若确定出的评判指标值中,符合第二条件的评判指标值的数量所占比例大于预设比例,则确定所述目标集群对应的第一模式为表征异地全数据备份的灾备模式;所述第二条件为大于第二预设阈值,所述第二预设阈值大于所述第一预设阈值;
否则,确定所述目标集群对应的第一模式为:表征异地增量备份的灾备模式。
可选地,所述读写状态信息包括:表征发生读写的频率,和/或读写的数据量的信息;
针对每一目标子时段,基于所述目标用户数据在该目标子时段内的读写状态信息,计算该目标子时段内、关于读写状态的评判指标值,包括:
针对每一目标子时段,基于所述目标用户数据在该目标子时段内的读写状态信息,计算该目标子时段内的读写频率的平均值,和/或读写数据量的平均值。
可选地,所述利用所述目标用户数据在第二历史时段内的读写状态信息,预测所述目标集群对应的第二模式,包括:
将所述目标用户数据在第二历史时段内的读写状态信息,输入到预先训练的模式预测模型中,得到模式预测结果,作为所述目标集群对应的第二模式;
其中,所述模式预测模型是基于样本读写状态信息,以及对应的标签值所训练得到的模型,所述样本读写状态信息为:样本用户数据在样本时段内的读写状态信息,所述标签值为在所述样本时段之后的所述指定时段内,所预测的可用性模式。
可选地,所述目标集群初始的可用性模式为按照***默认灾备规则所设置的模式;
其中,所述***默认灾备规则包括:
若目标集群的可用性等级为第一级别,初始的可用性模式为表征异地全数据备份的灾备模式;
若目标集群的可用性等级为第二级别,初始的可用性模式为表征异地增量备份的灾备模式;
若目标集群的可用性等级为第三级别,初始的可用性模式为表征不进行异地备份的灾备模式;
其中,所述第一级别高于所述第二级别,所述第二级别高于第三级别。
第二方面,本发明实施例提供了一种集群可用性模式控制装置,应用于电子设备,所述装置包括:
第一确定模块,用于确定目标集群中的目标用户数据;其中,所述目标集群为待进行关于可用性模式的控制的集群,所述可用性模式的种类包括:表征异地全数据备份的灾备模式、表征异地增量备份的灾备模式以及表征不进行异地备份的灾备模式;
识别模块,用于利用所述目标用户数据在第一历史时段内的读写状态信息,识别所述目标集群对应的第一模式;其中,所述第一模式为在所述第一历史时段内与所述目标集群相适配的可用性模式;
预测模块,用于利用所述目标用户数据在第二历史时段内的读写状态信息,预测所述目标集群对应的第二模式;其中,所述第二模式为在当前时间之后的指定时段内与所述目标集群相适配的可用性模式;
判断模块,用于判断所述第一模式和第二模式是否相同,得到判断结果;
第二确定模块,用于基于所述判断结果,确定所述目标集群待适配的可用性模式,作为目标模式;
转换模块,若所述目标模式与所述目标集群的当前可用性模式不同,基于所述目标模式,对所述目标集群的可用性模式进行转换处理。
可选地,所述转换模块具体用于:
若所述目标模式与所述目标集群的当前可用性模式不同,向所述主控制节点发送针对所述目标集群的、携带有所述目标模式的模式信息的模式转换指令,以使所述主控制节点在接收到所述模式转换指令后,将所述目标集群的可用性模式转换为所述目标模式。
可选地,所述第二确定模块,包括:
第一判断子模块,用于若所述判断结果表明所述第一模式和第二模式不同,将所述目标集群的当前可用性模式,确定为所述目标集群待适配的可用性模式,得到目标模式;
第二判断子模块,用于若所述判断结果表明所述第一模式和第二模式相同,将所述第二模式,确定为所述目标集群待适配的可用性模式,得到目标模式。
可选地,所述识别模块,包括:
确定子模块,用于确定所述目标用户数据在各个目标子时段内的读写状态信息;其中,所述各个目标子时段为第一历史时段所包括的各个子时段;
计算子模块,用于针对每一目标子时段,基于所述目标用户数据在该目标子时段内的读写状态信息,计算该目标子时段内、关于读写状态的评判指标值;
第一设定子模块,用于若所确定出的评判指标值中,符合第一条件的评判指标值的数量所占比例大于预设比例,则确定所述目标集群对应的第一模式为表征不进行异地备份的灾备模式;其中,所述第一条件为小于第一预设阈值;
第二设定子模块,用于若确定出的评判指标值中,符合第二条件的评判指标值的数量所占比例大于预设比例,则确定所述目标集群对应的第一模式为表征异地全数据备份的灾备模式;所述第二条件为大于第二预设阈值,所述第二预设阈值大于所述第一预设阈值;
第三设定子模块,用于在以上情况之外,确定所述目标集群对应的第一模式为:表征异地增量备份的灾备模式。
可选地,所述读写状态信息包括:表征发生读写的频率,和/或读写的数据量的信息;
所述计算子模块,具体用于:
针对每一目标子时段,基于所述目标用户数据在该目标子时段内的读写状态信息,计算该目标子时段内的读写频率的平均值,和/或读写数据量的平均值。
可选地,所述预测模块,包括:
分析子模块,用于将所述目标用户数据在第二历史时段内的读写状态信息,输入到预先训练的模式预测模型中,得到模式预测结果,作为所述目标集群对应的第二模式;
其中,所述模式预测模型是基于样本读写状态信息,以及对应的标签值所训练得到的模型,所述样本读写状态信息为:样本用户数据在样本时段内的读写状态信息,所述标签值为在所述样本时段之后的所述指定时段内,所预测的可用性模式。
可选地,所述目标集群初始的可用性模式为按照***默认灾备规则所设置的模式;
其中,所述***默认灾备规则包括:
若目标集群的可用性等级为第一级别,初始的可用性模式为表征异地全数据备份的灾备模式;
若目标集群的可用性等级为第二级别,初始的可用性模式为表征异地增量备份的灾备模式;
若目标集群的可用性等级为第三级别,初始的可用性模式为表征不进行异地备份的灾备模式;
其中,所述第一级别高于所述第二级别,所述第二级别高于第三级别。
第三方面,本发明实施例提供了一种电子设备,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现上述集群可用性模式控制方法的步骤。
第四方面,本发明实施例提供了一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述集群可用性模式控制方法的步骤。
本发明实施例还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述集群可用性模式控制方法。
本发明实施例有益效果:
本发明实施例提供的一种集群可用性模式控制方法,根据目标集群中的目标用户数据的第一历史时间段内的读写状态信息得到第一模式,及根据第二历史时间段内的读写状态信息进行趋势预测,得到第二模式;再通过判断第一模式和第二模式是否相同,确定目标模式,其中,可用性模式的种类包括,表征异地全数据备份的灾备模式、表征异地增量备份的灾备模式以及表征不进行异地备份的灾备模式。可见,本方案可以灵活切换目标集群的可用性模式,从而节省存储资源;并判断通过第一历史时间段内的读写状态信息得到的第一模式,和根据第二历史时间段内的状态信息进行趋势预测,得到的第二模式是否相同,之后,再确定目标模式,保证了目标模式的可信度。因此,通过本方案,可以在保障用户数据的可用性的同时,提高异地存储资源的利用率。
当然,实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,还可以根据这些附图获得其他的实施例。
图1为本发明实施例所提供的一种集群可用性模式控制方法的流程图;
图2为本发明实施例所提供的数据存储***的整体架构图;
图3为本发明实施例所提供的初始化可用性模式设置模块的原理示意图;
图4为本发明实施例所提供的近期数据读写状态判别模块的算法流程图;
图5为本发明实施例所提供的历史长周期数据读写习惯分析模块进行预测的流程图;
图6为本发明实施例所提供的存储可用性安全态势判断与决策模块进行决策的一种流程图;
图7为本发明实施例所提供的可用性安全决策执行模块进行执行的一种流程图;
图8为本发明实施例所提供的池间通信模块功能示意图;
图9为本发明实施例所提供的一种集群可用性模式控制装置的结构示意图;
图10为本发明实施例所提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员基于本申请所获得的所有其他实施例,都属于本发明保护的范围。
在云计算PAAS(Platform as a Server,平台服务)中,数据可用性指,用户可以根据需要,随时从分布式存储集群中获得完整、可靠的数据。其中,分布式存储集群,一般位于同一区域,比如城市等,的资源池中。这些集群可实现对大规模图片、语音、视频等非结构化数据的分布式存储,用于支撑用户业务应用。为了保障数据的可用性,需要对集群中的用户数据进行容灾备份。相关技术中,预先把用于存储备份数据的存储节点,加入到集群的存储节点列表中,然后利用这些用于存储备份数据的存储节点对用户数据进行备份。这种实现方式中,一个集群的容灾范围仅限于其所覆盖的存储节点,而一个集群一般位于一个地区内,虽然这样成本较低,但是如果遇到地区性、大范围的极端自然灾害,这种单集群灾备方式将受到极大考验,此时云服务将面临重大灾害导致的数据丢失、服务中断的风险。
另外,如果通过在异地的数据中心搭建镜像集群的方式实现灾备(一般搭建两个),对网络、基础设施要求较高,成本较大,且对于访问量较低的集群中的用户数据进行异地备份,占用了大量的存储资源,也使得异地集群中的设备在运转时耗费大量能源。
为了解决上述问题,在保障数据可用性的同时,减少异地的存储资源的占用,本发明实施例提供了一种集群可用性模式控制方法、装置、设备及存储介质。
下面首先对本发明实施例所提供的一种集群可用性模式控制方法进行介绍。
本发明实施例所提供的一种集群可用性模式控制方法可以应用于电子设备。示例性的,在一种实现方式中,该电子设备可以为独立与集群中的主控制节点的设备,并且,与集群中的主控制节点相通信。该种实现方式中,电子设备与主控制节点相独立,物理上与集群存储层分离,不会占用存储集群的机器资源。并且,在具体应用中,该电子设备可以为服务器,也可以为终端设备,例如:智能手机、平板电脑、台式电脑,这都是合理的。
示例性的,在另一种实现方式中,该电子设备也可以为存储集群中的主控制节点。该种实现方式中,主控制节点在具有针对存储集群中的各个存储节点的管理功能的前提下,还可以实现对于用户数据的模式的智能控制。
具体而言,该集群可用性模式控制方法的执行主体可以为集群可用性模式控制装置。示例性的,当该集群可用性模式控制方法应用于主控制节点时,该集群可用性模式控制装置可以为运行于主控制节点中的计算机程序,该计算机程序可以用于实现可用性模式的切换控制。当该集群可用性模式控制方法应用于与主控节点相互独立的终端设备时,该集群可用性模式控制装置可以为运行于终端设备中的功能软件,例如:集群可用性模式控制软件。当该集群可用性模式控制方法应用于与主控制节点相互独立的服务器时,该集群可用性模式控制装置可以为运行于服务器中的计算机程序,该计算机程序可以用于实现模式的切换控制。可以理解的是,无论该集群可用性模式控制方法应用于与主控节点相互独立的终端设备还是服务器,该集群可用性模式控制装置均属于单独部署在一设备中,物理上与集群的存储层分离,即与存储集群中的存储节点分离,从而不占用存储集群的机器资源。
为了实现本发明的集群可用性模式控制方法,首先,需要确保现有的集群能够正常运行,并在用户侧完成客户端与分布式存储***存储路径的挂载,确保集群能够正常为用户提供服务。并在集群的存储层设定好相关基础参数及相关资源配置。
并且要确保分布式存储集群的主节点的秘钥已发送给从节点,使得从分布式存储集群主节点可以正常访问各个从节点,实现数据同步。
云服务运营商需事先在分布式存储集群部署资源池所在区域以外足够远,例如,相隔一千公里以外的另一城市,且网络条件稳定可靠的另一资源池中划分出一定的存储空间用于较高保障级别的用户数据的备份。这一存储空间,只需向***提必要的配置信息,不需要额外操作。其可被不同存储集群复用,可根据存储资富余源情况与公司运营情况进行调整。
本发明实施例提供的集群可用性模式控制方法,可以包括以下步骤:
确定目标集群中的目标用户数据;其中,所述目标集群为待进行关于可用性模式的控制的集群,所述可用性模式的种类包括:表征异地全数据备份的灾备模式、表征异地增量备份的灾备模式以及表征不进行异地备份的灾备模式;
利用所述目标用户数据在第一历史时段内的读写状态信息,识别所述目标集群对应的第一模式;其中,所述第一模式为在所述第一历史时段内与所述目标集群相适配的可用性模式;
利用所述目标用户数据在第二历史时段内的读写状态信息,预测所述目标集群对应的第二模式;其中,所述第二模式为在当前时间之后的指定时段内与所述目标集群相适配的可用性模式;
判断所述第一模式和第二模式是否相同,得到判断结果;
基于所述判断结果,确定所述目标集群待适配的可用性模式,作为目标模式;
若所述目标模式与所述目标集群的当前可用性模式不同,基于所述目标模式,对所述目标集群的可用性模式进行转换处理。
本发明实施例所提供的方案中,根据目标集群中的目标用户数据的第一历史时间段内的读写状态信息得到第一模式,及根据第二历史时间段内的读写状态信息进行趋势预测,得到第二模式;再通过判断第一模式和第二模式是否相同,确定目标模式,其中,可用性模式的种类包括,表征异地全数据备份的灾备模式、表征异地增量备份的灾备模式以及表征不进行异地备份的灾备模式。可见,本方案可以灵活切换目标集群的可用性模式,从而节省存储资源;并判断通过第一历史时间段内的读写状态信息得到的第一模式,和根据第二历史时间段内的状态信息进行趋势预测,得到的第二模式是否相同,之后,再确定目标模式,保证了目标模式的可信度。因此,通过本方案,可以在保障用户数据的可用性的同时,提高异地存储资源的利用率。
下面结合附图,对本发明实施例所提供的集群可用性模式控制方法进行介绍。
如图1所示,本发明实施例所提供的集群可用性模式控制方法,应用于电子设备;所述方法可以包括步骤S101-S106:
S101,确定目标集群中的目标用户数据;其中,所述目标集群为待进行关于可用性模式的控制的集群,所述目标用户数据为该目标集群所包含的全部用户数据;所述可用性模式的种类包括:表征异地全数据备份的灾备模式、表征异地增量备份的灾备模式以及表征不进行异地备份的灾备模式;
示例性的,目标用户数据可以为该目标集群所包含的全部用户数据;当然,目标用户数据也可以为目标集群中的部分数据,例如:指定类型的用户数据、指定时间段内所存储的数据,等等。
本发明实施例提供三种可用性模式,用于对目标集群进行配置:
可用性模式1:表征异地全数据备份的灾备模式;即,该模式下,在异地的资源池中的存储空间中备份对目标集群中的目标用户数据进行全量备份。
可用性模式2:表征异地增量备份的灾备模式;即,该模式下,只在异地备份该目标集群的增量数据;
可用性模式3:表征不进行异地备份的灾备模式。
此外,目标集群初始的可用性保证模式可以采用默认配置的模式,例如:表征不进行异地备份的灾备模式;也可以由运维人员根据用户需求,设定所需要的模式。另外,针对初始的可用性保证模式,运维人员的设置权重可以高于默认配置的权重,若运维人员不进行主动设置,则按默认配置的可用性保证模式来作为集群的初始模式。
示例性的,在一种实现方式中,该目标集群初始的可用性模式为按照***默认灾备规则所设置的模式;
其中,***默认灾备规则包括:
若目标集群的可用性等级为第一级别,初始的可用性模式为表征异地全数据备份的灾备模式;
若目标集群的可用性等级为第二级别,初始的可用性模式为表征异地增量备份的灾备模式;
若目标集群的可用性等级为第三级别,初始的可用性模式为表征不进行异地备份的灾备模式;
其中,所述第一级别高于所述第二级别,所述第二级别高于第三级别。
运维人员可以根据客户需求及数据的实际产生及应用场景,综合判断数据存储所需要的安全等级需求。可以理解的是,上述的“第一级别”“第二级别”和“第三级别”仅仅用于从命名上区分不同的可用性等级,在具体应用中,“第一级别”“第二级别”和“第三级别”所采用的具体命名依次可以为“高级”“中级”“一般”,当然并不局限于此。
另外,需要说明的是,本实施例中的集群可用性模式控制方法中,针对目标集群的可用性模式控制,可以周期性执行,即在进入每一周期时,可以执行S101-S106。
其中,该目标集群可以为在本地集群存储层中新建的集群,也可以为在使用本发明的集群可用性模式控制方法前已经建立的集群,且目标集群的性能要符合实施本发明集群可用性模式控制方法的灾备级别的要求。
S102,利用所述目标用户数据在第一历史时段内的读写状态信息,识别所述目标集群对应的第一模式;其中,所述第一模式为在所述第一历史时段内与所述目标集群相适配的可用性模式;
其中,该读写状态信息包括,表征发生读写的频率、和/或读写的数据量的信息,该读写状态信息可以为每个单位时长内读写的频率,和/或读写的数据量,例如,每天的读写频率。该第一历史时间段可以为以当前时间点为起点,某个近期的历史时间段,例如:前一月、前三月、前五月,等等。并且,第一模式可以是:表征异地全数据备份的灾备模式、表征异地增量备份的灾备模式,或表征不进行异地备份的灾备模式,通过对目标集群中的目标用户数据在第一历史时段内的读写状态信息进行分析,识别出在第一历史时段内与该目标集群据相适配的可用性模式,作为第一模式。
可以理解的,由于目标集群中的目标用户数据在第一历史时间段内的读写状态信息,表征了该第一历史时间段内该目标用户数据发生的读写状态,因此,可以通过对该目标集群中的目标用户数据在第一历史时间段内的读写状态信息进行分析,识别出在该第一历史时间段内与该目标集群相适配的可用性模式。
示例性的,若该第一历史时间段内读写频率较高,可以认为该目标集群中的目标用户数据的重要程度较高,那么与该目标集群相适配的可用性模式可以为表征异地全数据备份的灾备模式,以保证该目标集群中的目标用户数据的可用性;若该第一历史时间段内读写频率较低,则与该目标集群相适配的可用性模式可以为表征不进行异地备份的灾备模式,以满足节省异地存储资源的需要;若该第一历史时间段内的读写频率适中,则与该目标集群相适配的可用性模式可以为表征异地增量备份的灾备模式,在一般情况下,增量数据在未来访问频率相对较高,因此,对可用性要求不那么高的目标集群,可以只在异地的资源池中进行增量备份,即可保障可用性。
需要说明的是,该目标用户数据在第一历史时段内的读写状态信息可以是从该目标用户数据的历史日志信息中获取,具体的获取方式,本发明实施例对此不做限定。
S103,利用所述目标用户数据在第二历史时段内的读写状态信息,预测所述目标集群对应的第二模式;其中,所述第二模式为在当前时间之后的指定时段内与所述目标集群相适配的可用性模式;
其中,第二历史时段可以为以当前时间点为起点,某个长期的历史时间段,例如:前一年、前二年,等等。第二模式可以是:表征异地全数据备份的灾备模式、表征异地增量备份的灾备模式,或表征不进行异地备份的灾备模式,通过对目标集群中的目标用户数据在第二历史时段内的读写状态信息进行分析,预测出在当前时间之后的指定时段内与该目标集群相适配的可用性模式,作为第二模式。示例性的,该指定时段可以是与当前时间邻近的一个时段,例如:当前时间之后的一个月、两个月,等等。
可以理解的是,由于目标集群中的目标用户数据在第二历史时间段内的读写状态信息,表征了该第二历史时间段内该目标用户数据发生的读写状态,通过对该目标用户数据在第二历史时间段内的读写状态信息进行分析,可以挖掘出该目标用户数据在第二历史时间段内的读写状态变化的规律,从而基于该读写状态变化的规律,预测出在当前时间之后的指定时段内与该目标集群相适配的可用性模式。
可选地,在一种实现方式中,利用所述目标用户数据在第二历史时段内的读写状态信息,预测所述目标集群对应的第二模式,可以包括:
将所述目标用户数据在第二历史时段内的读写状态信息,输入到预先训练的模式预测模型中,得到模式预测结果,作为所述目标集群对应的第二模式;
其中,所述模式预测模型是基于样本读写状态信息,以及对应的标签值所训练得到的模型,所述样本读写状态信息为:样本用户数据在样本时段内的读写状态信息,所述标签值为在所述样本时段之后的所述指定时段内,所预测的可用性模式。
示例性的,在一种实现方式中,该模式预测模型可以为机器学习模型,例如:深度神经网络模型,此时,该样本时段内的读写状态信息可以是:样本用户数据在前N-1年-前N年内的读写频率,和/或读写数据量,其中,N为任意的正整数;样本数据的标签值,为在该样本时段之后的一个月内,该样本用户数据对应的可用性模式的真值。该模型的训练过程可以是:将该样本时段内的读写状态信息输入初始的深度神经网络模型,得到在该样本时段之后的一月内,所预测的可用性模式的输出结果,通过最小化该输出结果与标签值的差异,调整该深度神经网络模型的参数,得到满足要求的频率预测模型。其中,输入至模型的样本读写状态信息的具体表征形式可以为向量形式,当然并不局限于此。
在另一实现方式中,该模式预测模型还可以为用于实现可用性模式预测的数学模型,同样的,该样本时段内的读写状态信息可以是:样本用户数据在前N-1年-前N年内的读写频率,和/或读写数据量其中,N为任意的正整数;样本数据的标签值,为在该样本时段之后的一个月内,该样本用户数据的可用性模式的真值。该模型的训练过程可以是:建立模型的输出和输入之间的数学表达式,其中,模型的输入为样本时段内的读写状态信息,模型的输出为样本时段之后的一个月内,与该样本用户数据相适配的可用性模式的输出结果,通过将模型的输出结果与标签值进行比较,验证模型是否准确,基于模型的输出结果与标签值之间的误差,修改数学表达式中的参数,从而训练出符合要求的数学模型。
S104,判断所述第一模式和第二模式是否相同,得到判断结果;
可以理解的,若通过上述步骤得到的第一模式与第二模式相同,则说明该目标集群中的目标用户数据的近期读写状态与长期的读写状态的规律相符合,此时认为预测的第二模式可靠。若第一模式与第二模式不同,则说明该目标用户数据的近期读写频率与长期的读写频率规律有明显区别,则认为预测的第二模式不可靠。
其中,判断结果为,第一模式和第二模式相同,或者不相同。
S105,基于所述判断结果,确定所述目标集群待适配的可用性模式,作为目标模式;
本实施例中,目标模式为该目标集群待设置的可用性模式,该目标模式可以是第一模式,或者预测的第二模式,也可以是该目标集群当前的可用性模式。
示例性的,在一种具体的实现方式中,基于上述判断结果,确定该目标集群待适配的目标模式,可以包括步骤A1-A2:
若判断结果表明第一模式和第二模式不同,将该目标集群的当前可用性模式,确定为该目标集群待适配的可用性模式,得到目标模式;
若判断结果表明第一模式和第二模式相同,将第二模式,确定为该目标集群待适配的可用性模式,得到目标模式。
可以理解的,由于步骤S104中的判断结果,表征了该目标用户数据的近期读写状态与长期的读写状态的规律是否符合,即第二模式是否可靠,因此,可以根据判断结果,将第二模式或者该目标集群的当前可用性模式作为目标模式。
S106,若所述目标模式与所述目标集群的当前可用性模式不同,基于所述目标模式,对所述目标集群的可用性模式进行转换处理。
由于目标集群中的目标用户数据会随着时间发生读写状态的变化,可能存在某段时间读写频率高,而另一段时间读写频率低的情况。若以固定的可用性模式在异地备份目标用户数据,可能会导致对于访问量较低的用户数据占用了异地资源池的大量的存储空间,也使得异地集群中的设备在运转时耗费大量能源。因此,在通过步骤S105确定了目标模式后,若该目标模式与该目标集群的当前可用性模式不同,可以将目标集群的可用性模式转换为目标模式,从而提高异地存储资源的利用率。
可选地,在另一种实现方式中,若该集群可用性模式控制方法所应用于的电子设备为与主控制节点相互独立的设备,则上述基于所述目标模式,对所述目标集群的可用性模式进行转换处理,可以包括:
向所述主控制节点发送针对所述目标集群的、携带有所述目标模式的模式信息的模式转换指令,以使所述主控制节点在接收到所述模式转换指令后,将所述目标集群的可用性模式转换为所述目标模式。
可选地,在另一种实现方式中,若该集群可用性模式控制方法所应用于的电子设备为主控制节点,那么,此时,基于该目标模式,对该目标集群的可用性模式进行转换处理,可以包括:
将所述目标集群的可用性模式转换为所述目标模式。另外,为了方便理解方案,下述以不同的目标模式作为示例,介绍将所述目标集群的可用性模式转换为所述目标模式的具体实现方式。
示例性的,若目标集群的当前的可用性模式为表征不进行异地备份的灾备模式,目标模式为表征异地全数据备份的灾备模式,则将该目标集群的可用性模式转换为目标模式的过程可以是:在异地的资源池中申请划分出必要的存储空间,并在保持原有目标集群的存储性能以外,将目标集群中的全部用户数据通过数据传输的方式,备份到异地。
示例性的,若目标集群的当前的可用性模式为表征异地增量备份的灾备模式,目标模式为表征异地全数据备份的灾备模式,则可以利用原目标集群的副本数据逐渐补齐历史数据,最终在异地的存储空间中构建出全量的备份。
示例性的,若目标集群的当前的可用性模式为表征异地全数据备份的灾备模式,目标模式为表征不进行异地备份的灾备模式,则可以将异地存储空间中已经备份的该目标集群的目标用户数据删除,将该部分存储空间释放。
当然,上述展示的可用性模式的具体转换过程仅仅作为示例,本发明实施例对该模式转换的过程不做限定。
本实施例中,根据目标集群中的目标用户数据的第一历史时间段内的读写状态信息得到第一模式,及根据第二历史时间段内的读写状态信息进行趋势预测,得到第二模式;再通过判断第一模式和第二模式是否相同,确定目标模式,其中,可用性模式的种类包括,表征异地全数据备份的灾备模式、表征异地增量备份的灾备模式以及表征不进行异地备份的灾备模式。可见,本方案可以灵活切换目标集群的可用性模式,从而节省存储资源;并判断通过第一历史时间段内的读写状态信息得到的第一模式,和根据第二历史时间段内的状态信息进行趋势预测,得到的第二模式是否相同,之后,再确定目标模式,保证了目标模式的可信度。因此,通过本方案,可以在保障用户数据的可用性的同时,提高异地存储资源的利用率。
可选地,在一种实现方式中,利用所述目标用户数据在第一历史时段内的读写状态信息,识别所述目标集群对应的第一可用性模式,可以包括步骤B1-B5:
B1,确定所述目标用户数据在各个目标子时段内的读写状态信息;其中,所述各个目标子时段为第一历史时段所包括的各个子时段;
示例性的,若第一历史时段的时长为三个月,则可以将其分割分为三个目标子时段,每个目标子时段的时长为一个月。
B2,针对每一目标子时段,基于所述目标用户数据在该目标子时段内的读写状态信息,计算该目标子时段内、关于读写状态的评判指标值;
其中,该读写状态的评判指标值可以为用于评判目标用户数据在该目标子时段内读写状态的指标值。若读写状态信息包括表征发生读写的频率的信息,那么,评判指标值可以是该目标子时段内读写频率数据的平均值、中位数,等等。并且,本发明实施例对该评判指标值的具体形式不做限定。
示例性的,在一种具体的实现方式中,若目标子时段为一个月,该目标子时段内的评判指标值可以为一个月内各天的读写频率的平均值。示例性的,在另一种具体的实现方式中,若目标子时段为一个月,该目标子时段内的评判指标值可以为该一个月内各天的读写频率的中位数。
B3,若所确定出的评判指标值中,符合第一条件的评判指标值的数量所占比例大于预设比例,则确定所述目标集群对应的第一模式为表征不进行异地备份的灾备模式;其中,所述第一条件为小于第一预设阈值;
本实现方式中,第一预设阈值可以设置为关于目标用户数据读写状态的一个较低的数值。可以理解的是,在通过步骤B2计算出各个目标子时段内、关于读写状态的评判指标值后,评判指标值的数量有多个,若小于第一预设阈值的评判指标值的数量,所占全部数量的比例,大于预设比例,则该第一历史时段内目标用户数据的读写频率较低,或读写的数据量较少,则认为该目标集群中的目标用户数据的重要程度不高,示例性的,预设比例可以设置为,50%,也就是说,符合第一条件的评判指标值的数量大于评判指标值的数量的一半;当然预设比例还可以为其他的比例,例如:55%、60%等等。此时,确定该目标集群对应的第一模式为表征不进行异地备份的灾备模式,以节约异地的存储空间。
B4,若确定出的评判指标值中,符合第二条件的评判指标值的数量大于所述目标数量,则确定所述目标集群对应的第一模式为表征异地全数据备份的灾备模式;所述第二条件为大于第二预设阈值,所述第二预设阈值大于所述第一预设阈值;
本实现方式中,第二预设阈值可以设置为关于目标用户数据读写状态的一个较高的数值。可以理解的是,在通过步骤B2计算出各个目标子时段内、关于读写状态的评判指标值后,若该多个指标值中,有多于预设比例的评判指标值大于该第二预设阈值,则该第一历史时段内目标用户数据的读写频率较高,或读写的数据量较多,则认为该目标集群中的目标用户数据的重要程度高,此时,确定该目标集群对应的第一模式为表征异地全数据备份的灾备模式,以保障目标用户数据的可用性。
B5,否则,确定所述目标集群对应的第一模式为:表征异地增量备份的灾备模式。
也就是,若该第一历史时段内目标用户数据的读写频率,或读写数据量处于适中的状态,确定第一模式为表征异地增量备份的灾备模式。可以理解的是,一般情况下,增量数据在未来访问频率相对较高,因此,对目标用户数据在目标集群第一历史时段内的读写频率,或读写数据量相对适中,可以只在异地的资源池中进行增量备份,即可保障可用性。
可见,通过本实现方式,可以通过第一历史时段内目标用户数据的读写状态信息,快速有效地确定与该第一历史时段内目标集群相适配的第一模式。
为了更好的阐述本发明实施例的内容,下面结合图2-图8对本发明实施例的内容进行介绍。
图2展示了包含分布式存储数据可用性智能保障***的数据存储***的整体架构图。如图2所示,应用侧的客户端通过分布式存储集群的网关与分布式对象存储***进行挂载,确保分布式存储集群能够正常为用户提供服务。在存储层,设定好相关基础参数及相关资源配置,并且要确保分布式存储集群主节点的秘钥已发送给从节点,从分布式存储集群主节点可以正常访问各个从节点实现数据同步。
其中,该数据存储******中包括分布式存储集群层、存储数据可用性智能保障***和异地备份存储资源池,分布式存储集群层中的集群1-集群n为用于存储用户数据的存储层。分布式存储数据可用性智能保障***为实现上述实施例中集群可用性模式控制方法的***,其由读写状态信息采集模块和数据可用性智能分析控制***组成。具体而言,分布式存储数据可用性智能保障***即为实现本发明实施例上述的集群可用性模式控制方法的电子设备。
异地备份存储资源池为事先在分布式存储集群部署资源池所在区域以外足够远,且网络条件稳定可靠的另一资源池中划分出的存储空间,即备分布式存储集群中的暂存1-n,用于较高安全级别的用户数据临时备份。备分布式存储集群,由备存储运用控制模块在池间通信模块传递来的消息指令控制下,在异地资源池划分的存储空间中自动新建集群,用来存储相应的备份数据,使得在原集群面临重大区域性灾害时,能够马上启动支撑业务应用,做好用户侧无感知。
备存储运用控制模块,功能是接收数据可用性智能分析控制***的池间通信模块传递来的消息指令,在异地备存储资源池划分的备用分布式存储集群中执行命令与操作,并将操作结果返回给池间通信模块,同时将集群的可用性模式的变化信息通过预先设定的方式反馈给用户或运维人员,例如,通过将变化信息发送至客户端的方式。异地备存储资源池,即云服务运营方与目标资源池运营方沟通协调申请的备用存储资源。
读写状态信息采集模块可以部署在分布式存储集群层,用于采集各个集群中的用户数据的读写状态信息,并通过通信接口将采集的读写状态信息传送给数据可用性智能分析控制***,供近期数据读写状态判别模块及历史长周期数据读写习惯分析模块进行分析。此外,在分布式存储集群层中,各个集群主节点服务器中还可以部署集群可用性配置模块,用于是记录其所在的分布式存储集群的当前可用性模式,并对集群的模式转换情况进行记录。
数据可用性智能分析控制***单独部署在一台服务器上,在物理层面上与分布式存储集群层是分离的,不会占用分布式存储集群的机器资源,实际运行时部署的服务器也可视实际情况选择机器资源。物理机与虚拟机均可用于部署数据可用性智能分析控制***,物理机部署时性能会更好。其功能是,结合分布式存储集群层中各个集群的用户数据在历史长周期读写状态数据及其近期读写状态数据,进行用户历史长周期读写状态建模与预测与用户近期读写状态的判别,从而做出针对分布式存储集群层各个存储集群的用户数据存储最佳数据可用性模式的决策。并通过可用性安全决策执行模块将可用性存储安全态势判断与决策模块的决策信息转化为具体的、可执行的可用性安全决策执行方案。最终通过存储决策控制模块生成具体的执行指令,通过通信接口传送给分布式存储集群层,使之执行相应操作,并通过池间通信模块与异地备存储资源池进行通信,进行存储空间的申请或释放等请求信息的传输。
在分布式存储集群层中,通过初始化可用性模式设置模块,进行各个集群的可用性模式的初始化设置。如图3所示,初始可用性模式可以采用***默认配置的模式,例如:表征不进行异地备份的灾备模式,也可以由运维人员根据用户需求设定所需要的可用性模式。其中,可供运维人员根据用户需求进行选择、配置的可用性模式,可以包括可用性模式1、可用性模式2、可用性模式3,分别为:表征异地全数据备份的灾备模式、表征异地增量备份的灾备模式、表征不进行异地备份的灾备模式。
其中,运维人员的设置权重高于***默认配置的权重。运维人员根据客户需求及数据的实际产生及应用场景,综合判断数据存储所需要的可用性等级需求,***中可用性等级设置为三个等级:高级可用性、中级可用性和一般可用性。其中,“高级可用性”对应的初始可用性模式为:可用性模式1,即表征异地全数据备份的灾备模式;“中级可用性”对应的初始可用性模式为:可用性模式2,即表征异地增量备份的灾备模式;“一般可用性”对应的初始可用性模式为:可用性模式3,即表征不进行异地备份的灾备模式。如果运维人员此处不进行主动设置,***将按***默认配置的可用性模式来作为集群的初始可用性模式。之后将由分布式存储数据可用性智能保障***智能化决策合适的可用性模式,并自动进行可用性模式的转换。
图2中的近期数据读写状态判别模块,用于从读写状态信息采集模块获取的各个集群的用户数据中,存储的历史读写状态数据,包括用户数据近期的读写频率和读写数据量。时间范围默认设定为近三个月,也可以根据实际业务需求进行设置。示例性的,图4展示了近期数据读写状态判别模块的一个具体算法的判别流程图,如图4所示,包括如下步骤:
(1)从读写状态信息采集模块获取用户数据存储的前三个月读写频率及读写数据量,即上文中的第一历史时段内的读写状态信息,将该这三个月中每个月的每天读写频率及数据量的平均值,即上文中的评判指标值,作为输入,即X={(F1,D1),(F2,D2),(F3,D3)};
(2)判断输入X中是否有两个或多于两个数据位大于模式阈值ML2:(FL2,DL2),即上文中的第二预设阈值,其中,针对每个数据位,可以设置读写频率大于FL2,及读写数据量大于DL2,这两个条件中有一个条件满足,即认为该数据位大于ML2,也可以设置两个条件同时满足时,才认为该数据位大于ML2,具体可以根据实际的应用场景设置。若是,输出Mode1=M1,可用性模式Mode1,即上文中的第一模式,为可用性模式1;若否,执行步骤(3);
(3)判断输入X中是否有两个或多于两个数据位小于模式阈值ML1:(FL1,DL1),即上文中的第一预设阈值,同样的,针对每个数据位,也可以设置读写频率小于FL1,及读写数据量小于DL2,这两个条件中有一个条件满足,即认为该数据位小于ML2,也可以设置两个条件同时满足时,才认为该数据位小于ML2。若是,输出Mode1=M3,即可用性模式Mode1为可用性模式3;
(4)否则,输入X中有两个或多于两个数据位不小于模式阈值ML1且不大于模式阈值ML2,输出Mode1=M2,即可用性模式Mode1为可用性模式2。
图5展示了历史长周期数据读写习惯分析模块进行预测的一个流程示意图。如图5所示,读写状态信息采集模块获取一个集群中的用户数据的前一年读写频率,即上文中的第二历史时段内的读写状态信息,作为输入数据;再将该输入数据输入历史长周期数据读写习惯分析模块,得到当前时间之后一个月的读写频率预测结果(F4,D4);然后基于该预测结果,输出下一个月可用性模式的预测结果Mode2,即上文中的第二模式。
图6展示了存储可用性安全态势判断与决策模块进行决策的一种流程图。如图6所示,存储可用性安全态势判断与决策模块的核心算法逻辑如下:
输入:近期状态判别模块的输出值Mode1、长期趋势预测模块的输出值Mode2;
核心算法公式:Rmode=Mode1☉Mode2;
输出:ModeR。
Mode1与Mode2进行同或运算,如果同或的值为0,说明近期状态判别模块的输出值Mode1反映出的最近三个月读写状态,与根据过去一年内用户数据的读写规律有明显区别,该种情况下继续保持原有模式,等到下一判别周期再做判断,此时输出ModeR=0;
如果Rmode的值为1,说明近期数据读写状态判别模块与历史长周期数据读写习惯分析模块对未来一个月的可用性模式判别结果相一致。反映出最近三个月,用户数据存储的读写状态与过去一年内的读写规律基本符合,此时对下一个月的可用性模式的判断较为可信。此时输出为:ModeR=Mode1=Mode2,其值为三种可用性模式M1、M2、M3中的一个。
图7展示了可用性安全决策执行模块进行执行的一种流程图。如图7所示,可用性安全决策执行模块的内部执行的算法逻辑为:
当接收到存储可用性安全态势判断与决策模块的输出:ModeR=0时,对当前用户的数据存储可用性模式保持不变;
当接收到存储可用性安全态势判断与决策模块的输出:ModeR=M1、M2、M3中的某一个值时,会与当前集群的可用性模式进行对比。设当前集群的可用性模式为M0。
当M0=ModeR时,可用性模式不发生改变;
当M0≠ModeR时,原可用性模式变更为当前ModeR的值所对应可用性模式。
上述池间通信模块功能示意图如图8所示:
池间通信模块用于通过网关接口模块与目标灾备资源池进行***间通信以及数据传递。池间通信模块在收到可用性安全决策执行模块的用户数据存储可用性模式变更指令时,会向目标灾备资源池发送消息指令对备用存储资源空间使用情况进行确认,若对方满足实现相应级别可用性模式的基本条件,则调用预制好的分布式存储集群自动部署指令集在目标灾备资源池搭建一个相同配置的分布式存储集群。
由于分布式存储数据可用性智能保障***中可用性模式分为三个级别:一般可用性、中级可用性、高级可用性。其中,中级可用性、高级可用性两种可用性模式会进行异地灾备。
当在异地的目标灾备资源池搭建一个相同配置的分布式存储集群完毕后,池间通信模块会发送预制的测试指令验证新建集群性能是否符合相应灾备级别的需要。并控制本地集群按照可用性模式级别对应的规则,向目标灾备资源池搭建的备分布式储存集群中复制传输用户数据。具体的,通过备存储运用控制模块,接收数据可用性智能分析控制***的池间通信模块传递来的消息指令,在异地备存储资源池划分的备分布式存储集群中执行命令与操作。
为了更加清楚的理解本发明实施例的内容,下面结合一个具体示例对本发明集群可用性模式控制方法的具体实现步骤进行介绍。
步骤1:确保现有的分布式存储集群能够正常运行,并在用户侧完成客户端与分布式存储***存储路径的挂载,在集群的存储层设定好相关基础参数及相关资源配置;确保分布式存储集群主节点的秘钥已发送给从节点,从分布式存储集群主节点可以正常访问各个从节点。同时,已在异地的资源池中划分出一定的存储空间用于较高安全级别的用户数据临时备份。
步骤2:通过初始化存储可用性模式设置模块,进行用户数据的可用性模式的初始化设置;默认的可用性模式为一般可用性,即在集群可用性配置模块中采用可用性模式3。也可以由运维人员根据用户需求设定所需要的初始可用性模式。此处,运维人员的设置权重高于默认配置的权重。
分布式存储数据可用性智能保障***中对分布式存储***可用性的保障模式分为三个级别:一般可用性、中级可用性、高级可用性。
如果运维人员此处不进行主动设置,***将按默认的可用性模式,将一般可用性对应的可用性模式3,来作为集群的初始数据可用性模式。之后将由分布式存储数据可用性智能保障***,智能化决策各个集群合适的可用性模式,并根据智能分析决策方案自动进行模式转换。
步骤3:存储读写状态信息采集模块,采集集群中用户数据的读写状态信息,并通过通信接口传送给数据可用性智能分析控制***,供近期数据读写状态判别模块,及历史长周期数据读写习惯分析模块进行判别、数学建模与预测。
步骤4:数据可用性智能分析控制***,通过结合分布式存储集群层中各个集群的用户数据的历史长周期读写状态数据及其近期读写状态数据,进行用户历史长周期读写状态建模与预测,以及分析用户数据的近期读写状态,从而做出针对各个集群的可用性模式的决策。
步骤5:通过安全决策执行模块,将存储安全态势判断与决策模块的决策信息转化为具体的、可执行的方案。
步骤6:通过存储决策控制模块,按照该方案,生成具体的执行指令,并通过通信接口传送给对应的集群,使之执行相应操作。
步骤7:由安全决策执行模块,通过驱动池间通信模块与异地备存储资源池进行通信,进行存储空间的申请或释放等请求信息的传输。
步骤8:备存储运用控制模块,接收来自数据可用性智能分析控制***的池间通信模块传递来的消息指令;在异地备存储资源池中划分的备分布式存储集群中对用户数据进行备份或释放,并将操作结果返回给池间通信模块。
本实施例中,根据目标集群中的目标用户数据的第一历史时间段内的读写状态信息得到第一模式,及根据第二历史时间段内的读写状态信息进行趋势预测,得到第二模式;再通过判断第一模式和第二模式是否相同,确定目标模式,其中,可用性模式的种类包括,表征异地全数据备份的灾备模式、表征异地增量备份的灾备模式以及表征不进行异地备份的灾备模式。可见,本方案可以灵活切换目标集群的可用性模式,从而节省存储资源;并判断通过第一历史时间段内的读写状态信息得到的第一模式,和根据第二历史时间段内的状态信息进行趋势预测,得到的第二模式是否相同,之后,再确定目标模式,保证了目标模式的可信度。因此,通过本方案,可以在保障用户数据的可用性的同时,提高异地存储资源的利用率。
相应于上述方法的实施例,本发明实施例还提供了一种集群可用性模式控制装置,应用于电子设备,所述电子设备与所述存储集群中的主控制节点相通信;如图9所示,所述装置包括:
第一确定模块910,用于确定目标集群中的目标用户数据;其中,所述目标集群为待进行关于可用性模式的控制的集群,所述可用性模式的种类包括:表征异地全数据备份的灾备模式、表征异地增量备份的灾备模式以及表征不进行异地备份的灾备模式;
识别模块920,用于利用所述目标用户数据在第一历史时段内的读写状态信息,识别所述目标集群对应的第一模式;其中,所述第一模式为在所述第一历史时段内与所述目标集群相适配的可用性模式;
预测模块930,用于利用所述目标用户数据在第二历史时段内的读写状态信息,预测所述目标集群对应的第二模式;其中,所述第二模式为在当前时间之后的指定时段内与所述目标集群相适配的可用性模式;
判断模块940,用于判断所述第一模式和第二模式是否相同,得到判断结果;
第二确定模块950,用于基于所述判断结果,确定所述目标集群待适配的可用性模式,作为目标模式;
转换模块960,若所述目标模式与所述目标集群的当前可用性模式不同,基于所述目标模式,对所述目标集群的可用性模式进行转换处理。
可选地,所述转换模块具体用于:
若所述目标模式与所述目标集群的当前可用性模式不同,向所述主控制节点发送针对所述目标集群的、携带有所述目标模式的模式信息的模式转换指令,以使所述主控制节点在接收到所述模式转换指令后,将所述目标集群的可用性模式转换为所述目标模式。
可选地,所述第二确定模块,包括:
第一判断子模块,用于若所述判断结果表明所述第一模式和第二模式不同,将所述目标集群的当前可用性模式,确定为所述目标集群待适配的可用性模式,得到目标模式;
第二判断子模块,用于若所述判断结果表明所述第一模式和第二模式相同,将所述第二模式,确定为所述目标集群待适配的可用性模式,得到目标模式。
可选地,所述识别模块,包括:
确定子模块,用于确定所述目标用户数据在各个目标子时段内的读写状态信息;其中,所述各个目标子时段为第一历史时段所包括的各个子时段;
计算子模块,用于针对每一目标子时段,基于所述目标用户数据在该目标子时段内的读写状态信息,计算该目标子时段内、关于读写状态的评判指标值;
第一设定子模块,用于若所确定出的评判指标值中,符合第一条件的评判指标值的数量所占比例大于预设比例,则确定所述目标集群对应的第一模式为表征不进行异地备份的灾备模式;其中,所述第一条件为小于第一预设阈值
第二设定子模块,用于若确定出的评判指标值中,符合第二条件的评判指标值的数量所占比例大于预设比例,则确定所述目标集群对应的第一模式为表征异地全数据备份的灾备模式;所述第二条件为大于第二预设阈值,所述第二预设阈值大于所述第一预设阈值;
第三设定子模块,用于在以上情况之外,确定所述目标集群对应的第一模式为:表征异地增量备份的灾备模式。
可选地,所述读写状态信息包括:表征发生读写的频率,和/或读写的数据量的信息;
所述计算子模块,具体用于:
针对每一目标子时段,基于所述目标用户数据在该目标子时段内的读写状态信息,计算该目标子时段内的读写频率的平均值,和/或读写数据量的平均值。
可选地,所述预测模块,包括:
分析子模块,用于将所述目标用户数据在第二历史时段内的读写状态信息,输入到预先训练的模式预测模型中,得到模式预测结果,作为所述目标集群对应的第二模式;
其中,所述模式预测模型是基于样本读写状态信息,以及对应的标签值所训练得到的模型,所述样本读写状态信息为:样本用户数据在样本时段内的读写状态信息,所述标签值为在所述样本时段之后的所述指定时段内,所预测的可用性模式。
可选地,所述目标集群初始的可用性模式为按照***默认灾备规则所设置的模式;
其中,所述***默认灾备规则包括:
若目标集群的可用性等级为第一级别,初始的可用性模式为表征异地全数据备份的灾备模式;
若目标集群的可用性等级为第二级别,初始的可用性模式为表征异地增量备份的灾备模式;
若目标集群的可用性等级为第三级别,初始的可用性为表征不进行异地备份的灾备模式;
其中,所述第一级别高于所述第二级别,所述第二级别高于第三级别。
本发明实施例还提供了一种电子设备,如图10所示,包括处理器1001、通信接口1002、存储器1003和通信总线1004,其中,处理器1001,通信接口1002,存储器1003通过通信总线1004完成相互间的通信,
存储器1003,用于存放计算机程序;
处理器1001,用于执行存储器1003上所存放的程序时,实现上述集群可用性模式控制方法的步骤。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect,PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture,EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory,RAM),也可以包括非易失性存储器(Non-Volatile Memory,NVM),例如至少一个磁盘存储器。可选地,存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(Network Processor,NP)等;还可以是数字信号处理器(Digital SignalProcessor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本发明提供的又一实施例中,还提供了一种计算机可读存储介质,该计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述集群可用性模式控制方法的步骤。
在本发明提供的又一实施例中,还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述实施例中集群可用性模式控制方法的步骤。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅为本发明的较佳实施例,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。

Claims (16)

1.一种集群可用性模式控制方法,其特征在于,应用于电子设备,所述方法包括:
确定目标集群中的目标用户数据;其中,所述目标集群为待进行关于可用性模式的控制的集群;所述可用性模式的种类包括:表征异地全数据备份的灾备模式、表征异地增量备份的灾备模式以及表征不进行异地备份的灾备模式;
利用所述目标用户数据在第一历史时段内的读写状态信息,识别所述目标集群对应的第一模式;其中,所述第一模式为在所述第一历史时段内与所述目标集群相适配的可用性模式;
利用所述目标用户数据在第二历史时段内的读写状态信息,预测所述目标集群对应的第二模式;其中,所述第二模式为在当前时间之后的指定时段内与所述目标集群相适配的可用性模式;
判断所述第一模式和第二模式是否相同,得到判断结果;
基于所述判断结果,确定所述目标集群待适配的可用性模式,作为目标模式;
若所述目标模式与所述目标集群的当前可用性模式不同,基于所述目标模式,对所述目标集群的可用性模式进行转换处理。
2.根据权利要求1所述的方法,其特征在于,所述电子设备与所述目标集群中的主控制节点相通信;
所述基于所述目标模式,对所述目标用户数据的可用性模式进行转换处理,包括:
向所述主控制节点发送针对所述目标集群的、携带有所述目标模式的模式信息的模式转换指令,以使所述主控制节点在接收到所述模式转换指令后,将所述目标集群的可用性模式转换为所述目标模式。
3.根据权利要求1所述的方法,其特征在于,所述基于所述判断结果,确定所述目标集群待适配的可用性模式,作为目标模式,包括:
若所述判断结果表明所述第一模式和第二模式不同,将所述目标集群的当前可用性模式,确定为所述目标集群待适配的可用性模式,得到目标模式;
若所述判断结果表明所述第一模式和第二模式相同,将所述第二模式,确定为所述目标集群待适配的可用性模式,得到目标模式。
4.根据权利要求1-3任一项所述的方法,其特征在于,所述利用所述目标用户数据在第一历史时段内的读写状态信息,识别所述目标集群对应的第一模式,包括:
确定所述目标用户数据在各个目标子时段内的读写状态信息;其中,所述各个目标子时段为第一历史时段所包括的各个子时段;
针对每一目标子时段,基于所述目标用户数据在该目标子时段内的读写状态信息,计算该目标子时段内、关于读写状态的评判指标值;
若所确定出的评判指标值中,符合第一条件的评判指标值的数量所占比例大于预设比例,则确定所述目标集群对应的第一模式为表征不进行异地备份的灾备模式;其中,所述第一条件为小于第一预设阈值;
若确定出的评判指标值中,符合第二条件的评判指标值的数量所占比例大于预设比例,则确定所述目标集群对应的第一模式为表征异地全数据备份的灾备模式;所述第二条件为大于第二预设阈值,所述第二预设阈值大于所述第一预设阈值;
否则,确定所述目标集群对应的第一模式为:表征异地增量备份的灾备模式。
5.根据权利要求4所述的方法,其特征在于,所述读写状态信息包括:表征发生读写的频率,和/或读写的数据量的信息;
针对每一目标子时段,基于所述目标用户数据在该目标子时段内的读写状态信息,计算该目标子时段内、关于读写状态的评判指标值,包括:
针对每一目标子时段,基于所述目标用户数据在该目标子时段内的读写状态信息,计算该目标子时段内的读写频率的平均值,和/或读写数据量的平均值。
6.根据权利要求1-3任一项所述的方法,其特征在于,所述利用所述目标用户数据在第二历史时段内的读写状态信息,预测所述目标集群对应的第二模式,包括:
将所述目标用户数据在第二历史时段内的读写状态信息,输入到预先训练的模式预测模型中,得到模式预测结果,作为所述目标集群对应的第二模式;
其中,所述模式预测模型是基于样本读写状态信息,以及对应的标签值所训练得到的模型,所述样本读写状态信息为:样本用户数据在样本时段内的读写状态信息,所述标签值为在所述样本时段之后的所述指定时段内,所预测的可用性模式。
7.根据权利要求1-3任一项所述的方法,其特征在于,所述目标集群初始的可用性模式为按照***默认灾备规则所设置的模式;
其中,所述***默认灾备规则包括:
若目标集群的可用性等级为第一级别,初始的可用性模式为表征异地全数据备份的灾备模式;
若目标集群的可用性等级为第二级别,初始的可用性模式为表征异地增量备份的灾备模式;
若目标集群的可用性等级为第三级别,初始的可用性模式为表征不进行异地备份的灾备模式;
其中,所述第一级别高于所述第二级别,所述第二级别高于第三级别。
8.一种集群可用性模式控制装置,其特征在于,应用于电子设备,所述装置包括:
第一确定模块,用于确定目标集群中的目标用户数据;其中,所述目标集群为待进行关于可用性模式的控制的集群,所述可用性模式的种类包括:表征异地全数据备份的灾备模式、表征异地增量备份的灾备模式以及表征不进行异地备份的灾备模式;
识别模块,用于利用所述目标用户数据在第一历史时段内的读写状态信息,识别所述目标集群对应的第一模式;其中,所述第一模式为在所述第一历史时段内与所述目标集群相适配的可用性模式;
预测模块,用于利用所述目标用户数据在第二历史时段内的读写状态信息,预测所述目标集群对应的第二模式;其中,所述第二模式为在当前时间之后的指定时段内与所述目标集群相适配的可用性模式;
判断模块,用于判断所述第一模式和第二模式是否相同,得到判断结果;
第二确定模块,用于基于所述判断结果,确定所述目标集群待适配的可用性模式,作为目标模式;
转换模块,若所述目标模式与所述目标集群的当前可用性模式不同,基于所述目标模式,对所述目标集群的可用性模式进行转换处理。
9.根据权利要求8所述的装置,其特征在于,所述转换模块具体用于:
若所述目标模式与所述目标集群的当前可用性模式不同,向主控制节点发送针对所述目标集群的、携带有所述目标模式的模式信息的模式转换指令,以使所述主控制节点在接收到所述模式转换指令后,将所述目标集群的可用性模式转换为所述目标模式。
10.根据权利要求8所述的装置,其特征在于,所述第二确定模块,包括:
第一判断子模块,用于若所述判断结果表明所述第一模式和第二模式不同,将所述目标集群的当前可用性模式,确定为所述目标集群待适配的可用性模式,得到目标模式;
第二判断子模块,用于若所述判断结果表明所述第一模式和第二模式相同,将所述第二模式,确定为所述目标集群待适配的可用性模式,得到目标模式。
11.根据权利要求8-10任一项所述的装置,其特征在于,所述识别模块,包括:
确定子模块,用于确定所述目标用户数据在各个目标子时段内的读写状态信息;其中,所述各个目标子时段为第一历史时段所包括的各个子时段;
计算子模块,用于针对每一目标子时段,基于所述目标用户数据在该目标子时段内的读写状态信息,计算该目标子时段内、关于读写状态的评判指标值;
第一设定子模块,用于若所确定出的评判指标值中,符合第一条件的评判指标值的数量所占比例大于预设比例,则确定所述目标集群对应的第一模式为表征不进行异地备份的灾备模式;其中,所述第一条件为小于第一预设阈值;
第二设定子模块,用于若确定出的评判指标值中,符合第二条件的评判指标值的数量所占比例大于预设比例,则确定所述目标集群对应的第一模式为表征异地全数据备份的灾备模式;所述第二条件为大于第二预设阈值,所述第二预设阈值大于所述第一预设阈值;
第三设定子模块,用于在以上情况之外,确定所述目标集群对应的第一模式为:表征异地增量备份的灾备模式。
12.根据权利要求11所述的装置,其特征在于,所述读写状态信息包括:表征发生读写的频率,和/或读写的数据量的信息;
所述计算子模块,具体用于:
针对每一目标子时段,基于所述目标用户数据在该目标子时段内的读写状态信息,计算该目标子时段内的读写频率的平均值,和/或读写数据量的平均值。
13.根据权利要求8-10任一项所述的装置,其特征在于,所述预测模块,包括:
分析子模块,用于将所述目标用户数据在第二历史时段内的读写状态信息,输入到预先训练的模式预测模型中,得到模式预测结果,作为所述目标集群对应的第二模式;
其中,所述模式预测模型是基于样本读写状态信息,以及对应的标签值所训练得到的模型,所述样本读写状态信息为:样本用户数据在样本时段内的读写状态信息,所述标签值为在所述样本时段之后的所述指定时段内,所预测的可用性模式。
14.根据权利要求8-10任一项所述的装置,其特征在于,所述目标集群初始的可用性模式为按照***默认灾备规则所设置的模式;
其中,所述***默认灾备规则包括:
若目标集群的可用性等级为第一级别,初始的可用性模式为表征异地全数据备份的灾备模式;
若目标集群的可用性等级为第二级别,初始的可用性模式为表征异地增量备份的灾备模式;
若目标集群的可用性等级为第三级别,初始的可用性模式为表征不进行异地备份的灾备模式;
其中,所述第一级别高于所述第二级别,所述第二级别高于第三级别。
15.一种电子设备,其特征在于,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现权利要求1-7任一所述的方法步骤。
16.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1-7任一所述的方法步骤。
CN202111613066.4A 2021-12-27 2021-12-27 一种集群可用性模式控制方法、装置、设备及存储介质 Active CN114237986B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111613066.4A CN114237986B (zh) 2021-12-27 2021-12-27 一种集群可用性模式控制方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111613066.4A CN114237986B (zh) 2021-12-27 2021-12-27 一种集群可用性模式控制方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN114237986A CN114237986A (zh) 2022-03-25
CN114237986B true CN114237986B (zh) 2024-07-23

Family

ID=80763505

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111613066.4A Active CN114237986B (zh) 2021-12-27 2021-12-27 一种集群可用性模式控制方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN114237986B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115906170B (zh) * 2022-12-02 2023-12-15 北京金安道大数据科技有限公司 应用于存储集群的安全防护方法及ai***

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109597718A (zh) * 2018-12-10 2019-04-09 浪潮(北京)电子信息产业有限公司 一种容灾平台及一种容灾方法
CN111414279A (zh) * 2020-03-20 2020-07-14 苏州浪潮智能科技有限公司 一种Linux***下异地增量数据快速备份方法与***

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9170891B1 (en) * 2012-09-10 2015-10-27 Amazon Technologies, Inc. Predictive upload of snapshot data
US11593225B2 (en) * 2019-05-01 2023-02-28 EMC IP Holding Company LLC Method and system for live-mounting database backups
CN112948169A (zh) * 2019-11-26 2021-06-11 中兴通讯股份有限公司 数据备份的方法、装置、设备和存储介质
US20210232465A1 (en) * 2020-01-29 2021-07-29 Salesforce.Com, Inc. Generation of database backups in response to environmental signals
CN112286730A (zh) * 2020-11-03 2021-01-29 浪潮云信息技术股份公司 一种将hdfs文件进行异地全量备份与恢复的方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109597718A (zh) * 2018-12-10 2019-04-09 浪潮(北京)电子信息产业有限公司 一种容灾平台及一种容灾方法
CN111414279A (zh) * 2020-03-20 2020-07-14 苏州浪潮智能科技有限公司 一种Linux***下异地增量数据快速备份方法与***

Also Published As

Publication number Publication date
CN114237986A (zh) 2022-03-25

Similar Documents

Publication Publication Date Title
US11842208B2 (en) Virtual provisioning with implementation resource boundary awareness
CN109803004B (zh) 区块链智能合约管理方法与装置、电子设备、存储介质
CN108632365B (zh) 服务资源调整方法、相关装置和设备
CA2811020C (en) Virtual resource cost tracking with dedicated implementation resources
US10013662B2 (en) Virtual resource cost tracking with dedicated implementation resources
CN103106152B (zh) 基于层次存储介质的数据调度方法
CN102622303B (zh) 一种内存过载控制的方法及装置
CN109710405B (zh) 区块链智能合约管理方法、装置、电子设备及存储介质
CN108733509A (zh) 用于在集群***中备份和恢复数据的方法和***
CN105531696A (zh) 用于管理云存储的技术
CN109992350A (zh) 云计算***的资源池中虚拟机的迁移方法及装置
CN114237986B (zh) 一种集群可用性模式控制方法、装置、设备及存储介质
CN115033340A (zh) 一种宿主机的选择方法及相关装置
CN114844791B (zh) 基于大数据的云服务自动管理分配方法、***及存储介质
CN110166304A (zh) 一种跨域sfc的编排方法、装置、电子设备及存储介质
CN117972367B (zh) 一种数据存储预测方法、数据存储子***及智能计算平台
CN116881009A (zh) Gpu资源调度方法、装置、电子设备和可读存储介质
CN117499490A (zh) 基于多集群的网络调度方法及装置
CN117056023A (zh) 一种分布式***存储资源调度方法及装置
CN117097646A (zh) 尾延迟调整方法及装置
Baek et al. Agent chaining: An approach to dynamic mobile agent planning
CN114443293A (zh) 一种大数据平台的部署***及方法
CN113282245B (zh) 一种审计供数的方法及主机平台
CN114398006A (zh) 一种分布式存储模式控制方法、装置、设备以及存储介质
CN115190181B (zh) 一种基于云管理的资源管理方法及其***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant