CN118277336A - 元数据管理方法、元数据管理装置以及计算机存储介质 - Google Patents

元数据管理方法、元数据管理装置以及计算机存储介质 Download PDF

Info

Publication number
CN118277336A
CN118277336A CN202410276203.7A CN202410276203A CN118277336A CN 118277336 A CN118277336 A CN 118277336A CN 202410276203 A CN202410276203 A CN 202410276203A CN 118277336 A CN118277336 A CN 118277336A
Authority
CN
China
Prior art keywords
metadata
node
image file
data
deleting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202410276203.7A
Other languages
English (en)
Inventor
徐涛
施玉龙
江文龙
周明伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN202410276203.7A priority Critical patent/CN118277336A/zh
Publication of CN118277336A publication Critical patent/CN118277336A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请提出一种元数据管理方法、元数据管理装置以及计算机存储介质。所述元数据管理方法应用于一种元数据节点,所述元数据管理方法包括:响应于敏感数据,和/或高级别数据的删除指令,将所述敏感数据,和/或高级别数据的元数据信息在图像文件中标记为删除状态;获取管理员的确认指令;在所述确认指令为确认删除指令时,将所述图像文件中标记为删除状态的元数据信息删除;在所述确认指令为确认恢复指令时,将所述图像文件中标记为删除状态的元数据信息恢复为存储状态。通过上述元数据管理方法,实现删除数据恢复,保证数据删除后,经管理员确认后再将图像文件中的元数据完全删除或者进行恢复。

Description

元数据管理方法、元数据管理装置以及计算机存储介质
技术领域
本申请涉及分布式存储技术领域,特别是涉及一种元数据管理方法、元数据管理装置以及计算机存储介质。
背景技术
在云时代,存储***面对的数据规模急剧增长,为了更为有效的管理和组织存储***中的数据,引入了元数据,元数据包含了数据定位、数据控制方位、数据索引和搜索件以及空间管理等重要作用,能够保证分布式***提供更为高效,可靠的数据存储和访问服务。但是元数据异常的情况还是会发生,如果发生了元数据异常,没有一种恢复的手段,就会导致数据的读取,数据丢失,这在存储当中,是绝对不被允许的,导致数据存储错乱。
发明内容
为解决上述技术问题,本申请提出了一种元数据管理方法、元数据管理装置以及计算机存储介质。
为解决上述技术问题,本申请提出了一种元数据管理方法,所述元数据管理方法应用于一种元数据节点,所述元数据管理方法包括:
响应于敏感数据,和/或高级别数据的删除指令,将所述敏感数据,和/或高级别数据的元数据信息在图像文件中标记为删除状态;
获取管理员的确认指令;
在所述确认指令为确认删除指令时,将所述图像文件中标记为删除状态的元数据信息删除;
在所述确认指令为确认恢复指令时,将所述图像文件中标记为删除状态的元数据信息恢复为存储状态。
其中,所述元数据管理方法还包括:
响应于所述敏感数据,和/或高级别数据的删除指令,获取当前元数据日志;
分析所述当前元数据日志,判断是否存在元数据的变化情况;
若是,触发报警信号。
其中,所述将所述敏感数据,和/或高级别数据的元数据信息在图像文件中标记为删除状态,包括:
判断所述元数据信息是否存在于当前图像文件;
若是,在所述当前图像文件将所述元数据信息标记为删除状态;
若否,将所述元数据信息保存为新建图像文件,并在所述新建图像文件将所述元数据信息标记为删除状态。
其中,所述元数据管理方法,还包括:
响应于元数据管理指令,将变化后的元数据与预设元数据规则进行比较;
将不符合所述预设元数据规则的变化后的元数据进行删除或修复。
其中,所述将变化后的元数据与预设元数据规则进行比较之后,所述元数据管理方法包括:
将符合所述预设元数据规则的变化后的元数据与其他相关数据源的元数据进行比较;
将与所述其他相关数据源的元数据的数据格式不同的变化后的元数据进行删除或修复。
为解决上述技术问题,本申请还提出另一种元数据管理方法,所述元数据管理方法应用于一种元数据管理***,其中,所述元数据管理***包括主元数据节点和备元数据节点;所述元数据管理方法包括:
所述主元数据节点通过第一元数据日志记录图像文件最新生成时间点的第一标记序号;
所述备元数据节点通过第二元数据日志记录图像文件最新生成时间点的第二标记序号;
所述主元数据节点校验所述第一标记序号与所述第二标记序号是否相同;
若否,所述主元数据节点根据所述第一标记序号和所述第二标记序号将同步日志记录发送给所述备元数据节点;
所述备元数据节点根据所述同步日志记录同步所述主元数据节点的最新图像文件。
其中,所述主元数据节点根据所述第一标记序号和所述第二标记序号将同步日志记录发送给所述备元数据节点,包括:
响应于所述备元数据节点发生异常重启,所述主元数据节点将更新的第三标记序号写入第一元数据日志;
在所述备元数据节点重启完成后,所述主元数据节点根据所述第二标记序号和所述第三标记序号将同步日志记录发送给所述备元数据节点。
其中,所述备元数据节点根据所述同步日志记录同步所述主元数据节点的最新图像文件之后,所述元数据管理方法还包括:
所述主元数据节点获取当前资源使用率;
在所述当前资源使用率大于资源使用率阈值时,所述主元数据节点与所述备元数据节点按照预设周期进行元数据日志同步;
在所述当前资源使用率大于资源使用率阈值时,所述主元数据节点与所述备元数据节点实时进行元数据日志同步
为解决上述技术问题,本申请还提出一种元数据管理装置,所述元数据管理装置包括存储器以及与所述存储器耦接的处理器;其中,所述存储器用于存储程序数据,所述处理器用于执行所述程序数据以实现如上述的元数据管理方法。
为解决上述技术问题,本申请还提出一种计算机存储介质,所述计算机存储介质用于存储程序数据,所述程序数据在被计算机执行时,用以实现上述的元数据管理方法。
与现有技术相比,本申请的有益效果是:元数据节点响应于敏感数据,和/或高级别数据的删除指令,将所述敏感数据,和/或高级别数据的元数据信息在图像文件中标记为删除状态;获取管理员的确认指令;在所述确认指令为确认删除指令时,将所述图像文件中标记为删除状态的元数据信息删除;在所述确认指令为确认恢复指令时,将所述图像文件中标记为删除状态的元数据信息恢复为存储状态。通过上述元数据管理方法,实现删除数据恢复,保证数据删除后,经管理员确认后再将图像文件中的元数据完全删除或者进行恢复。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
其中:
图1是本申请提供的元数据管理方法一实施例的流程示意图;
图2是本申请提供的元数据删除的整体流程示意图;
图3是本申请提供的元数据管理方法另一实施例的流程示意图;
图4是本申请提供的元数据验证的整体流程示意图;
图5是本申请提供的元数据管理方法又一实施例的流程示意图;
图6是本申请提供的分布式存储***的结构示意图;
图7是本申请提供的元数据image文件的恢复流程示意图;
图8是本申请提供的元数据节点备份恢复的流程示意图;
图9是本申请提供的元数据管理装置一实施例的结构示意图;
图10是本申请提供的计算机存储介质一实施例的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本申请的一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例,例如能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
本申请所处的技术领域为分布式存储集群***,提供了一种实现分布式主备元数据保持一致性的方法,本申请能够防止在元数据集群发生断电等异常情况下,主备节点可能会出现元数据不一致的情况,通过该种方案,能够保证元数据的一致性,防止元数据主备切换。由于数据不一致导致数据丢失的情况发生,本申请在对数据要求较高的安防场景中,具有充分的应用场景。
具体地,本申请所涉及的元数据日志订阅技术具有以下性质:
1)分布式文件***的主备元数据的数据保持一致性,保证出现异常情况下能够恢复数据的一致性。
2)对于数据进行管理和监控,能够用来监控和管理数据的变化,比如数据的写入,删除动作。
3)对于数据的安全和合规性,能够通过监控对数据的访问和操作,确保符合法规和安全策略,能够及时的检测其潜在的安全威胁和泄露。
4)自动化任务和工作流程,通过元数据日志订阅技术,可以用来触发任务和工作流程的执行。
5)通过元数据日志订阅技术能够捕获数据源的元数据变化,能够及时发现数据源是否发生变化,以此来保证元数据一致。
具体请参阅图1和图2,图1是本申请提供的元数据管理方法一实施例的流程示意图,图2是本申请提供的元数据删除的整体流程示意图。
本申请的元数据管理方法应用于元数据管理装置,其中,本申请的元数据管理装置可以为服务器,也可以为终端设备,还可以为由服务器和终端设备相互配合的***。相应地,元数据管理装置包括的各个部分,例如各个单元、子单元、模块、子模块可以全部设置于服务器中,也可以全部设置于终端设备中,还可以分别设置于服务器和终端设备中。
进一步地,上述服务器可以是硬件,也可以是软件。当服务器为硬件时,可以实现成多个服务器组成的分布式服务器集群,也可以实现成单个服务器。当服务器为软件时,可以实现成多个软件或软件模块,例如用来提供分布式服务器的软件或软件模块,也可以实现成单个软件或软件模块,在此不做具体限定。
具体地,本申请的元数据管理方法应用于元数据管理***中的元数据节点,包括但不限于:主数据节点和备数据节点等。
如图1所示,其具体步骤如下:
步骤S11:响应于敏感数据,和/或高级别数据的删除指令,将敏感数据,和/或高级别数据的元数据信息在图像文件中标记为删除状态。
在本申请实施例中,元数据节点通过该元数据日志订阅技术,能够通过分析editlog日志,即元数据日志,能够监控和记录数据的访问和使用行为,可以自动限制或禁止敏感数据的访问。当删除或者修改被标记为敏感数据或者高级别的数据时,能够触发相应的报警。
具体如图2所示,当数据节点中的敏感数据或者高级别数据被删除时,元数据节点通过元数据日志订阅技术获知对应的editlog日志发生访问记录或者修改记录时,对应的图像文件,即image文件发生变化。此时,元数据节点触发告警信号,并通过邮件,短信等向管理员发送告警信息,防止出现数据被误删除。
进一步地,元数据节点为了防止被误删除,还可以在editlog日志将进行更新后,对image文件中对应的元数据信息进行标记为删除状态,即delete状态。
具体地,如果删除的数据是此时已经被记录到image文件中的数据,则直接标记image文件中对应的元数据信息为delete状态即可。如果删除的数据是此时还没有被记录到image文件中的数据,则将这些数据对应的元数据信息以image文件的形式保存在内存中;此时,需要占用的内存不会很大,因此,不会对实际性能有影响。
步骤S12:获取管理员的确认指令。
在本申请实施例中,当更新image文件时,元数据节点根据已经在内存中的image文件,将标记为delete状态的元数据信息输出等待管理员二次确认。
步骤S13:在确认指令为确认删除指令时,将图像文件中标记为删除状态的元数据信息删除。
在本申请实施例中,若管理员输入的确认指令为确认删除指令,则在下次更新image文件时,元数据节点将image中的所有delete状态元数据信息删除。
步骤S14:在确认指令为确认恢复指令时,将图像文件中标记为删除状态的元数据信息恢复为存储状态。
在本申请实施例中,若管理员输入的确认指令为确认删除指令,则在下次更新image文件时,元数据节点将image中的所有delete状态元数据信息恢复为存储状态,并恢复删除的敏感数据、高等级数据。
在本申请实施例中,元数据节点响应于敏感数据,和/或高级别数据的删除指令,将所述敏感数据,和/或高级别数据的元数据信息在图像文件中标记为删除状态;获取管理员的确认指令;在所述确认指令为确认删除指令时,将所述图像文件中标记为删除状态的元数据信息删除;在所述确认指令为确认恢复指令时,将所述图像文件中标记为删除状态的元数据信息恢复为存储状态。通过上述元数据管理方法,实现删除数据恢复,保证数据删除后,经管理员确认后再将图像文件中的元数据完全删除或者进行恢复。
进一步地,请继续参阅图3和图4,图3是本申请提供的元数据管理方法另一实施例的流程示意图,图4是本申请提供的元数据验证的整体流程示意图。
如图3所示,其具体步骤如下:
步骤S21:响应于元数据管理指令,将变化后的元数据与预设元数据规则进行比较。
在本申请实施例中,元数据节点通过元数据日志订阅技术,在editlog日志中记录对元数据的相关操作信息。当出现元数据的删除操作,或者更新操作时,将操作的元数据与预设的元数据规则做对比,验证变化后的元数据是否符合规范。具体地,本申请所涉及预设的元数据规则为管理员导入的关于元数据的数据格式规范,例如数据长度、数据顺序、数据文本格式、数据压缩格式等。
步骤S22:将不符合预设元数据规则的变化后的元数据进行删除或修复。
本申请实施例中,元数据节点在发现元数据的变化违反了预设元数据规则的时候,可以根据元数据的editlog日志,对元数据进行修复或者删除。其中,修复指的是根据预设元数据规则对变化后的元数据进行合规性调整。
步骤S23:将符合预设元数据规则的变化后的元数据与其他相关数据源的元数据进行比较。
本申请实施例中,元数据节点进一步将符合预设元数据规则的元数据与其他相关数据源的元数据检查是否保持一致。
具体地,检查元数据符合预设元数据规则后,元数据节点还需要保证变化后的元数据与其他相关数据源的元数据保持一致,从而保持相关数据源之间的元数据管理一致。其中,这里的一致至少包括元数据的数据格式一致。
步骤S24:将与其他相关数据源的元数据的数据格式不同的变化后的元数据进行删除或修复。
本申请实施例中,元数据节点在发现元数据的变化与其他相关数据源的元数据不一致的时候,可以根据元数据的editlog日志,对元数据进行修复或者删除。其中,修复指的是根据其他相关数据源的元数据格式对变化后的元数据进行合规性调整。
基于上述单节点的元数据管理方法,本申请还提供了一种基于元数据管理***的元数据管理方法,具体参阅图5至图7。图5是本申请提供的元数据管理方法又一实施例的流程示意图,图6是本申请提供的分布式存储***的结构示意图,图7是本申请提供的元数据image文件的恢复流程示意图。
如图6所示,本申请所涉及的分布式存储***由主元数据节点、备元数据节点以及若干个数据子节点组成。其中,图6中的Mds2为主元数据节点,Mds1为备元数据节点,DataNode1至DataNodeN为数据子节点。
其中,元数据节点负责管理数据节点的元数据相关,在元数据的管理中引入了日志订阅技术。具体地,元数据节点会将当前元数据节点的元数据内容制作成一个image文件,该image文件保存了当前文件***相关的命名空间、目录以及文件相关的所有元数据信息。该image文件代表了当前时间点的集群中的元数据的状态,通过该image文件能够保证当元数据发生异常的情况下,对元数据进行恢复。
如图5所示,其具体步骤如下:
步骤S31:主元数据节点通过第一元数据日志记录图像文件最新生成时间点的第一标记序号。
步骤S32:备元数据节点通过第二元数据日志记录图像文件最新生成时间点的第二标记序号。
在本申请实施例中,主元数据节点和备元数据节点通过editlog日志记录对元数据的各种操作,包括增删改,同时日志中还记录着image文件上个生成时间点的XID,即上个image文件生成时的线性标记序号。
步骤S33:主元数据节点校验第一标记序号与第二标记序号是否相同。
在本申请实施例中,如图7所示,本申请的元数据节点通过日志订阅,根据协议判断主备元数据节点的元数据是否一致。
具体地,元数据的主备节点通过XID判断二者image文件是否一致,如果XID不一致,那么就进行image文件的全量同步,实现主备节点的image文件同步,进入步骤S34。
步骤S34:主元数据节点根据第一标记序号和第二标记序号将同步日志记录发送给备元数据节点。
在本申请实施例中,主元数据节点根据对比主备节点最后的XID记录,从主节点editlog中获取备元数据节点XID后的所有的editlog,即获取第一标记序号和第二标记序号之间的同步日志记录。主元数据节点回读这些记录发送到备元数据节点,主元数据节点会将这些数据进行校验,将校验值加在数据尾部,并将token加密传输给备元数据节点。
步骤S35:备元数据节点根据同步日志记录同步主元数据节点的最新图像文件。
在本申请实施例中,备元数据节点首先解密token,符合后再对数据进行读取,并比对校验值,不一致则请求再次发送,如果一致,备元数据节点通过这些日志恢复元数据并同步image文件。
进一步地,本申请实施例还涉及备元数据节点的异常重启场景,具体请参阅图8,图8是本申请提供的元数据节点备份恢复的流程示意图。
如图8所示,当备元数据节点的XID与主元数据节点的XID未达成一致的情况下,主元数据节点首先将备元数据节点XID后面的editlog回读给备元数据节点。此时备元数据节点接收到该日志内容,并进行元数据的操作,补充相对应的数据信息。
当备元数据节点进行恢复的时候,此时主元数据节点将新写入的日志放于内存当中,主元数据节点日志同步写入。此时如果备元数据节点再次发生异常重启,那么主元数据节点将会立刻将所有的内存中的log写入到实时editlog中,并继续在editlog中写入,直到备元数据节点启动服务正常。
另外,图7中的元数据image文件的恢复流程中还涉及主备元数据节点同步,元数据节点根据业务量自动选择实时同步还是周期同步。
具体地,当元数据主节点和备元数据主节点的数据在一致之后,采用自适应的同步策略。具体根据业务的负载状况,设定一个资源使用率的阈值,当资源使用率大于该阈值的时候,认为当前业务处于繁忙状态,那么将使用周期性的数据同步策略,即通过设置定时的周期,周期性的对editlog进行同步。当资源使用不繁忙的时候,那么就进行实时的同步主备的数据以及editlog。
当切换至周期性同步策略的时候,首先记录实时同步的XID,如果此时实时同步上一条未完成,则等待完成后再进行记录,后续同步的时候同步该XID之后到主节点已经完成的最后一个XID,最终实现保证元数据主备节点数据一致性的目的。
本申请为了保证元数据的一致性。通过image和editlog相合作,保证了当节点元数据异常的情况下,能够进行元数据的恢复。
本申请通过image和editlog保证了,当备元数据节点由于各种异常原因导致主备数据不一致的情况下,能够迅速将主备的元数据恢复一致,提高了元数据集群的容错能力。
本申请在对数据写入,读取,删除的操作时,editlog都记录了相应的操作,能够用来监控和管理数据的变化。
本申请通过自适应的恢复备节点的元数据的方式,能够不影响集群的性能,并迅速的将数据恢复一致,最终实现了数据的一致性。
本申请能够通过监控和管理数据的访问和变化,确保数据符合法规和安全策略,并且保证数据在发生变化后,能够符合预订的规范,并且能够及时检测潜在的安全威胁和泄露。
本申请能够通过该技术,当敏感数据被访问的时候,能够及时发送告警,并且当对敏感数据进行操作的时候,虽然元数据已经被删除了,但是image中并没有将其删除,将其置为delete状态,当管理人员确认后才能删除,并且可以进行恢复,保证了数据的安全性。
本领域技术人员可以理解,在具体实施方式的上述方法中,各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定,各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
为实现上述元数据管理方法,本申请还提出了一种元数据管理装置,具体请参阅图9,图9是本申请提供的元数据管理装置一实施例的结构示意图。
本实施例的元数据管理装置400包括处理器41、存储器42、输入输出设备43以及总线44。
该处理器41、存储器42、输入输出设备43分别与总线44相连,该存储器42中存储有程序数据,处理器41用于执行程序数据以实现上述实施例所述的元数据管理方法。
在本申请实施例中,处理器41还可以称为CPU(Central Processing Unit,中央处理单元)。处理器41可能是一种集成电路芯片,具有信号的处理能力。处理器41还可以是通用处理器、数字信号处理器(DSP,Digital Signal Process)、专用集成电路(ASIC,Application Specific Integrated Circuit)、现场可编程门阵列(FPGA,FieldProgrammable Gate Array)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器41也可以是任何常规的处理器等。
本申请还提供一种计算机存储介质,请继续参阅图10,图10是本申请提供的计算机存储介质一实施例的结构示意图,该计算机存储介质600中存储有计算机程序61,该计算机程序61在被处理器执行时,用以实现上述实施例的元数据管理方法。
本申请的实施例以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器(processor)执行本申请各个实施方式所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本申请的实施方式,并非因此限制本申请的专利范围,凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本申请的专利保护范围内。

Claims (10)

1.一种元数据管理方法,其特征在于,所述元数据管理方法应用于一种元数据节点,所述元数据管理方法包括:
响应于敏感数据,和/或高级别数据的删除指令,将所述敏感数据,和/或高级别数据的元数据信息在图像文件中标记为删除状态;
获取管理员的确认指令;
在所述确认指令为确认删除指令时,将所述图像文件中标记为删除状态的元数据信息删除;
在所述确认指令为确认恢复指令时,将所述图像文件中标记为删除状态的元数据信息恢复为存储状态。
2.根据权利要求1所述的元数据管理方法,其特征在于,
所述元数据管理方法还包括:
响应于所述敏感数据,和/或高级别数据的删除指令,获取当前元数据日志;
分析所述当前元数据日志,判断是否存在元数据的变化情况;
若是,触发报警信号。
3.根据权利要求1所述的元数据管理方法,其特征在于,
所述将所述敏感数据,和/或高级别数据的元数据信息在图像文件中标记为删除状态,包括:
判断所述元数据信息是否存在于当前图像文件;
若是,在所述当前图像文件将所述元数据信息标记为删除状态;
若否,将所述元数据信息保存为新建图像文件,并在所述新建图像文件将所述元数据信息标记为删除状态。
4.根据权利要求1所述的元数据管理方法,其特征在于,
所述元数据管理方法,还包括:
响应于元数据管理指令,将变化后的元数据与预设元数据规则进行比较;
将不符合所述预设元数据规则的变化后的元数据进行删除或修复。
5.根据权利要求4所述的元数据管理方法,其特征在于,
所述将变化后的元数据与预设元数据规则进行比较之后,所述元数据管理方法包括:
将符合所述预设元数据规则的变化后的元数据与其他相关数据源的元数据进行比较;
将与所述其他相关数据源的元数据的数据格式不同的变化后的元数据进行删除或修复。
6.一种元数据管理方法,其特征在于,所述元数据管理方法应用于一种元数据管理***,其中,所述元数据管理***包括主元数据节点和备元数据节点;所述元数据管理方法包括:
所述主元数据节点通过第一元数据日志记录图像文件最新生成时间点的第一标记序号;
所述备元数据节点通过第二元数据日志记录图像文件最新生成时间点的第二标记序号;
所述主元数据节点校验所述第一标记序号与所述第二标记序号是否相同;
若否,所述主元数据节点根据所述第一标记序号和所述第二标记序号将同步日志记录发送给所述备元数据节点;
所述备元数据节点根据所述同步日志记录同步所述主元数据节点的最新图像文件。
7.根据权利要求6所述的元数据管理方法,其特征在于,
所述主元数据节点根据所述第一标记序号和所述第二标记序号将同步日志记录发送给所述备元数据节点,包括:
响应于所述备元数据节点发生异常重启,所述主元数据节点将更新的第三标记序号写入第一元数据日志;
在所述备元数据节点重启完成后,所述主元数据节点根据所述第二标记序号和所述第三标记序号将同步日志记录发送给所述备元数据节点。
8.根据权利要求6所述的元数据管理方法,其特征在于,
所述备元数据节点根据所述同步日志记录同步所述主元数据节点的最新图像文件之后,所述元数据管理方法还包括:
所述主元数据节点获取当前资源使用率;
在所述当前资源使用率大于资源使用率阈值时,所述主元数据节点与所述备元数据节点按照预设周期进行元数据日志同步;
在所述当前资源使用率大于资源使用率阈值时,所述主元数据节点与所述备元数据节点实时进行元数据日志同步。
9.一种元数据管理装置,其特征在于,所述元数据管理装置包括存储器以及与所述存储器耦接的处理器;
其中,所述存储器用于存储程序数据,所述处理器用于执行所述程序数据以实现如权利要求1至8任一项所述的元数据管理方法。
10.一种计算机存储介质,其特征在于,所述计算机存储介质用于存储程序数据,所述程序数据在被计算机执行时,用以实现如权利要求1至8任一项所述的元数据管理方法。
CN202410276203.7A 2024-03-11 2024-03-11 元数据管理方法、元数据管理装置以及计算机存储介质 Pending CN118277336A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410276203.7A CN118277336A (zh) 2024-03-11 2024-03-11 元数据管理方法、元数据管理装置以及计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410276203.7A CN118277336A (zh) 2024-03-11 2024-03-11 元数据管理方法、元数据管理装置以及计算机存储介质

Publications (1)

Publication Number Publication Date
CN118277336A true CN118277336A (zh) 2024-07-02

Family

ID=91644515

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410276203.7A Pending CN118277336A (zh) 2024-03-11 2024-03-11 元数据管理方法、元数据管理装置以及计算机存储介质

Country Status (1)

Country Link
CN (1) CN118277336A (zh)

Similar Documents

Publication Publication Date Title
US11397648B2 (en) Virtual machine recovery method and virtual machine management device
US11907561B2 (en) Data backup method and apparatus
CN111209346A (zh) 一种区块链数据归档方法、装置和计算机可读存储介质
US20070208918A1 (en) Method and apparatus for providing virtual machine backup
US20140081927A1 (en) Data node fencing in a distributed file system
CN110650164B (zh) 文件的上传方法、装置、终端以及计算机存储介质
US8612799B2 (en) Method and apparatus of backing up subversion repository
US20180121531A1 (en) Data Updating Method, Device, and Related System
CN114138549A (zh) 基于kubernetes***的数据备份和恢复方法
US11042454B1 (en) Restoration of a data source
CN111831954B (zh) 内容数据更新方法、装置、计算机设备及存储介质
CN111404737B (zh) 一种容灾处理方法以及相关装置
WO2017080362A1 (zh) 数据管理方法及装置
CN102325171B (zh) 一种监控***中数据的存储方法及其***
CN110928945B (zh) 一种针对数据库的数据处理方法及装置,数据处理***
CN107888430B (zh) 虚拟机管理操作同步方法及装置
CN113900855B (zh) 一种交换机异常状态的主动热启动方法、***及装置
CN118277336A (zh) 元数据管理方法、元数据管理装置以及计算机存储介质
CN114756410A (zh) 一种双机热备***的数据恢复方法、装置及介质
CN114490516A (zh) 文件***的处理方法、回收站管理方法、装置及设备
CN114281769A (zh) 磁盘上文件管理方法、装置、计算机设备及存储介质
CN113485872A (zh) 故障处理方法、装置及分布式存储***
US11645333B1 (en) Garbage collection integrated with physical file verification
CN113342579A (zh) 一种数据还原方法及装置
CN113127435A (zh) 一种主备***文件智能同步方法及***

Legal Events

Date Code Title Description
PB01 Publication