CN113791935A - 一种数据备份方法、网络节点及*** - Google Patents

一种数据备份方法、网络节点及*** Download PDF

Info

Publication number
CN113791935A
CN113791935A CN202111037686.8A CN202111037686A CN113791935A CN 113791935 A CN113791935 A CN 113791935A CN 202111037686 A CN202111037686 A CN 202111037686A CN 113791935 A CN113791935 A CN 113791935A
Authority
CN
China
Prior art keywords
backup
data file
node
incremental data
slave node
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111037686.8A
Other languages
English (en)
Other versions
CN113791935B (zh
Inventor
刘跃普
王磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Baoyun Information Technology Co ltd
Original Assignee
Guangzhou Baoyun Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Baoyun Information Technology Co ltd filed Critical Guangzhou Baoyun Information Technology Co ltd
Priority to CN202111037686.8A priority Critical patent/CN113791935B/zh
Publication of CN113791935A publication Critical patent/CN113791935A/zh
Application granted granted Critical
Publication of CN113791935B publication Critical patent/CN113791935B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14Error detection or correction of the data by redundancy in operation
    • G06F11/1402Saving, restoring, recovering or retrying
    • G06F11/1446Point-in-time backing up or restoration of persistent data
    • G06F11/1448Management of the data involved in backup or backup restore
    • G06F11/1451Management of the data involved in backup or backup restore by selection of backup contents
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14Error detection or correction of the data by redundancy in operation
    • G06F11/1402Saving, restoring, recovering or retrying
    • G06F11/1415Saving, restoring, recovering or retrying at system level
    • G06F11/1435Saving, restoring, recovering or retrying at system level using file system or storage system metadata
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14Error detection or correction of the data by redundancy in operation
    • G06F11/1402Saving, restoring, recovering or retrying
    • G06F11/1446Point-in-time backing up or restoration of persistent data
    • G06F11/1458Management of the backup or restore process
    • G06F11/1464Management of the backup or restore process for networked environments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/16File or folder operations, e.g. details of user interfaces specifically adapted to file systems
    • G06F16/162Delete operations

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Library & Information Science (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种数据备份方法、网络节点及***,所述数据备份方法,其包括以下步骤:根据主节点的磁盘数据文件和持久化数据,生成增量数据文件;将所述增量数据文件传输到从节点。采用上述方案,本发明的主节点和从节点灵活多变,主节点仅将增量数据文件传输到从节点,在实现数据备份的同时,还能够节省处理器计算和临时内存开销,对于节点的磁盘或者磁盘的扇区来说,这些增量数据文件是连续存放的,因此避免了在节点的磁盘写入数据时产生多个分散的存储区域。

Description

一种数据备份方法、网络节点及***
技术领域
本发明涉及数据存储技术领域,尤其涉及的是,一种数据备份方法、网络节点及***。
背景技术
随着技术的发展,数据越来越多,越来越重要。数据备份是容灾的基础,是指为防止***出现操作失误或***故障导致数据丢失,而将全部或部分数据集合从应用主机的硬盘或阵列复制到其它的存储介质的过程。传统的数据备份主要是采用内置或外置的磁带机进行冷备份。但是这种方式只能防止操作失误等人为故障,而且其恢复时间也很长。
随着技术的不断发展,数据的海量增加,不少的企业开始采用网络备份。网络备份一般通过专业的数据存储管理软件结合相应的硬件和存储设备来实现。
但是,现有技术中,为了维持写缓冲区中基于内容排序顺序的组织结构,从节点触发将写缓冲区中的数据写入磁盘时,会产生大量的处理器计算和临时内存开销;节点的磁盘写入数据时产生多个分散的存储区域,增大开销的问题。
因此,现有技术存在缺陷,需要改进。
发明内容
本发明提供一种数据备份方法、网络节点及***,所要解决的技术问题包括:如何节省处理器计算和临时内存开销、避免在节点的磁盘写入数据时产生多个分散的存储区域等。
本发明的技术方案如下:
一种数据备份方法,其包括以下步骤:
根据主节点的磁盘数据文件和持久化数据,生成增量数据文件;
将所述增量数据文件传输到从节点。
优选的,所述数据备份方法具体包括以下步骤:
S1,确定主节点和从节点;
S2,设置备份策略;
S3,根据所述备份策略建立备份任务;
S4,根据所述备份任务、所述主节点的磁盘数据文件和持久化数据,生成增量数据文件;
S5,根据所述备份任务,将所述增量数据文件传输到所述从节点。
优选的,所述数据备份方法还包括步骤:S6,根据所述增量数据文件,删除所述从节点的写缓冲区中与所述增量数据文件相关的数据。
优选的,所述数据备份方法还包括步骤:
S6,根据所述增量数据文件,删除所述从节点的写缓冲区中与所述增量数据文件相关的数据;
S7,在所述从节点的写缓冲区中整体写入所述增量数据文件。
优选的,所述数据备份方法还包括步骤:
S6,根据所述增量数据文件,删除所述从节点的写缓冲区中与所述增量数据文件相关的数据;
S7,在所述从节点的写缓冲区中整体写入所述增量数据文件;
S8,向所述主节点反馈写入报告。
优选的,S1中,还获取所述主节点和所述从节点的分布状态和/或存储状态;
S2中,根据所述主节点和所述从节点的分布状态和/或存储状态,设置所述备份策略或者调整所述备份策略。
优选的,S2中,所述备份策略包括评价指标和评价要素,根据所述主节点和所述从节点的分布状态和/或存储状态,采用所述评价要素评判所述评价指标,设置所述备份策略或者调整所述备份策略;
S4中,还根据所述增量数据文件,进行智能归纳并采用所述评价要素对智能归纳的结果进行评价,调整所述备份任务。
优选的,S4中,调整所述备份任务包括选择所述从节点、设置所述增量数据文件的数据包大小和格式、设置将所述增量数据文件传输到所述从节点的时间段。
优选的,S4中,根据所述增量数据文件,采用关键词进行智能归纳得到关键评价指标,并采用所述评价要素对所述关键评价指标进行评价,调整所述备份任务。
优选的,一种数据备份网络节点,其包括主节点和从节点,并且,根据所述主节点的磁盘数据文件和持久化数据,生成增量数据文件;将所述增量数据文件传输到所述从节点。
优选的,一种数据备份***,其包括至少两个主节点和至少两个从节点,每一个所述主节点连接至少两个所述从节点,每一个所述从节点连接至少两个所述主节点;
并且,根据所述主节点的磁盘数据文件和持久化数据,生成增量数据文件;将所述增量数据文件传输到所述从节点。
优选的,所述数据备份***还包括至少一个终端,对于任意一个所述终端,其所直接连接的节点作为所述主节点,其它节点作为所述从节点。
采用上述方案,本发明的主节点和从节点灵活多变,主节点仅将增量数据文件传输到从节点,在实现数据备份的同时,还能够节省处理器计算和临时内存开销,对于节点的磁盘或者磁盘的扇区来说,这些增量数据文件是连续存放的,因此避免了在节点的磁盘写入数据时产生多个分散的存储区域。
其他的技术方案,还设置了备份策略,优化了备份任务的产生,可以按用户预定的备份策略采用对应的指标和评价要素,生成备份任务或者选取备份任务,例如在特定时间段进行数据备份或者用不同的从节点进行数据备份,还可以进行智能归纳得到关键评价指标,因此可以做大数据管理,还可以更进一步去在区块链技术中得到应用。
总的来说,本发明的各个技术方案的整体目标就是要做到数据备份,细分来说,首要目标是节省处理器计算和临时内存开销、避免在节点的磁盘写入数据时产生多个分散的存储区域,次要目标是提高容灾效果,可以按策略灵活实现一个主节点对一个或者更多数量的从节点的备份,第三目标是采用任务制的增量备份方式,避免大量备份时发生网络拥堵,其他目标还包括提供关键评价指标以便大数据管理。
附图说明
图1为本发明的第一个实施例的示意图;
图2为本发明的第二个实施例的示意图;
图3为本发明的第三个实施例的示意图;
图4为本发明的第四个实施例的示意图;
图5为本发明的第五个实施例的示意图;
图6为本发明的第六个实施例的示意图;
图7为本发明的第七个实施例的示意图;
图8为本发明的第八个实施例的示意图;
图9为本发明的第九个实施例的示意图;
图10为本发明的第十个实施例的示意图;
图11为本发明的第十一个实施例的示意图;
图12为本发明的第十二个实施例的示意图;
图13为本发明的第十三个实施例的示意图;
图14为本发明的第十四个实施例的示意图。
具体实施方式
为了便于理解本发明,下面结合附图和具体实施例,对本发明进行更详细的说明。但是,本发明可以采用许多不同的形式来实现,并不限于本说明书所描述的实施例。需要说明的是,当元件被称为“固定于”另一个元件,它可以直接在另一个元件上或者也可以存在居中的元件。当一个元件被认为是“连接”另一个元件,它可以是直接连接到另一个元件或者可能同时存在居中元件。除非另有定义,本说明书所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本说明书中所使用的术语只是为了描述具体的实施例的目的,不是用于限制本发明。
如图1所示,本发明的一个实施例是,一种数据备份方法,其包括以下步骤:根据主节点的磁盘数据文件和持久化数据,生成增量数据文件;将所述增量数据文件传输到从节点。采用上述方案,本发明的主节点和从节点灵活多变,主节点仅将增量数据文件传输到从节点,在实现数据备份的同时,还能够节省处理器计算和临时内存开销,对于节点的磁盘或者磁盘的扇区来说,这些增量数据文件是连续存放的,因此避免了在节点的磁盘写入数据时产生多个分散的存储区域。
优选的,如图2所示,所述数据备份方法具体包括以下步骤:S1,确定主节点和从节点;S2,设置备份策略;S3,根据所述备份策略建立备份任务;S4,根据所述备份任务、所述主节点的磁盘数据文件和持久化数据,生成增量数据文件;S5,根据所述备份任务,将所述增量数据文件传输到所述从节点。较好的是,备份策略根据技术和需求而设置,用于呈现处理器计算量、内存开销、备份重要程度、备份迫切程度、从节点选择和传输速率的平衡,并据此建立也可理解为生成备份任务,建立备份任务可以逐条生成也可以根据模板配合一些选项来快速生成,就像一份选择题卷子一样。对于备份策略来说,较好的是,备份策略不是永恒不变的,而是随技术和需求一直在变化的,所述备份策略包括至少二项评价指标及其评价要素,评价要素可以单独对应每一项评价指标来设置,也可以全部评价指标共同对应一项或者一组评价要素。本实施例是对前一实施例的细化,设置了备份策略,根据备份策略来产生不同的备份任务,每个节点都可以做主节点,必要时也可以做从节点。对于服务提供商来说,可以选择一对一服务,也可以提供一对多服务。对于不同的收费业务,备份策略和由此建立的备份任务也可以是不同的,这就为差异化服务提供了基础。
优选的,所述数据备份方法还包括步骤:S6,根据所述增量数据文件,删除所述从节点的写缓冲区中与所述增量数据文件相关的数据。如图3所示,所述数据备份方法包括以下步骤:S1,确定主节点和从节点;S2,设置备份策略;S3,根据所述备份策略建立备份任务;S4,根据所述备份任务、所述主节点的磁盘数据文件和持久化数据,生成增量数据文件;S5,根据所述备份任务,将所述增量数据文件传输到所述从节点;S6,根据所述增量数据文件,删除所述从节点的写缓冲区中与所述增量数据文件相关的数据。较好的是,S4中,还生成所述增量数据文件的校验码,例如信息摘要码;S5中,还将所述校验码传输到所述从节点;S6中,删除所述从节点的写缓冲区中与所述增量数据文件相关的数据之前,还为所述从节点的磁盘数据文件中的所述增量数据文件生成新的校验码,比对前后两个校验码是否相符,是则根据所述增量数据文件,删除所述从节点的写缓冲区中与所述增量数据文件相关的数据。校验码可以是信息摘要码,例如MD5码(MD5 Message-DigestAlgorithm,信息摘要算法),它是密码散列函数所产生出一个128位(16字节)的散列值(hash value,也称为哈希值)。申请人在测试中发现,即使是增量数据文件也是有可能重复的,所以为了整体连续存放这些增量数据文件,可以在增量数据文件传输到从节点之后,将从节点的写缓冲区中与增量数据文件相关的数据删除掉,这就相当于在备份之后,优化从节点的存储结构。点滴积累,对于大量节点管理,特别是存储服务提供商的海量存储节点来说,是非常有意义的。
优选的,所述数据备份方法还包括步骤:S6,根据所述增量数据文件,删除所述从节点的写缓冲区中与所述增量数据文件相关的数据;S7,在所述从节点的写缓冲区中整体写入所述增量数据文件。如图4所示,所述数据备份方法包括以下步骤:S1,确定主节点和从节点;S2,设置备份策略;S3,根据所述备份策略建立备份任务;S4,根据所述备份任务、所述主节点的磁盘数据文件和持久化数据,生成增量数据文件;S5,根据所述备份任务,将所述增量数据文件传输到所述从节点;S6,根据所述增量数据文件,删除所述从节点的写缓冲区中与所述增量数据文件相关的数据;S7,在所述从节点的写缓冲区中整体写入所述增量数据文件。各个实施例在实际操作中,也可以这样处理,S5中,根据所述备份任务,将所述增量数据文件传输到所述从节点的写缓冲区中,S7中,从所述从节点的写缓冲区中整体写入所述增量数据文件到存储空间,例如预定的磁盘空间中。
优选的,所述数据备份方法还包括步骤:S6,根据所述增量数据文件,删除所述从节点的写缓冲区中与所述增量数据文件相关的数据;S7,在所述从节点的写缓冲区中整体写入所述增量数据文件;S8,向所述主节点反馈写入报告。如图5所示,所述数据备份方法包括以下步骤:S1,确定主节点和从节点;S2,设置备份策略;S3,根据所述备份策略建立备份任务;S4,根据所述备份任务、所述主节点的磁盘数据文件和持久化数据,生成增量数据文件;S5,根据所述备份任务,将所述增量数据文件传输到所述从节点;S6,根据所述增量数据文件,删除所述从节点的写缓冲区中与所述增量数据文件相关的数据;S7,在所述从节点的写缓冲区中整体写入所述增量数据文件;S8,向所述主节点反馈写入报告。反馈写入报告可以是简单的成功或者失败,也可以包括一串信息摘要码。反馈写入报告还可以包括任务完成状态、消耗时间和/或计算量等辅助信息。
对于主节点和从节点的总数量为多个的备份***中,优选的,S1中,还获取所述主节点和所述从节点的分布状态或存储状态;S2中,根据所述主节点和所述从节点的分布状态和存储状态,设置所述备份策略或者调整所述备份策略。较好的是,S1中,还获取所述主节点和所述从节点的分布状态和存储状态;S2中,根据所述主节点和所述从节点的分布状态和存储状态,设置所述备份策略或者调整所述备份策略。在不同的备份***配置中,多个节点包括至少一个主节点和至少两个从节点,其中的各个节点位置分布、连接状态和磁盘空间的存储状态等可能都有所区别,这种情况下会对大量数据备份造成影响,所以有必要根据主节点和从节点的分布状态和存储状态,对备份策略进行设置或者调整,使备份策略更加符合当前的主节点和从节点的分布状态和存储状态,例如按地区、按已使用空间、按传输速率等,来设置或者调整备份策略,使数据备份更接地气,更符合应用环境。如图6所示,所述数据备份方法包括以下步骤:S1,确定主节点和从节点,还获取所述主节点和所述从节点的分布状态和存储状态;S2,根据所述主节点和所述从节点的分布状态和存储状态,设置备份策略或者调整所述备份策略;S3,根据所述备份策略建立备份任务;S4,根据所述备份任务、所述主节点的磁盘数据文件和持久化数据,生成增量数据文件;S5,根据所述备份任务,将所述增量数据文件传输到所述从节点。或者如图7所示,所述数据备份方法包括以下步骤:S1,确定主节点和从节点,还获取所述主节点和所述从节点的分布状态和存储状态;S2,根据所述主节点和所述从节点的分布状态和存储状态,设置备份策略或者调整所述备份策略;S3,根据所述备份策略建立备份任务;S4,根据所述备份任务、所述主节点的磁盘数据文件和持久化数据,生成增量数据文件;S5,根据所述备份任务,将所述增量数据文件传输到所述从节点;S6,根据所述增量数据文件,删除所述从节点的写缓冲区中与所述增量数据文件相关的数据;S7,在所述从节点的写缓冲区中整体写入所述增量数据文件;S8,向所述主节点反馈写入报告。其他实施例以此类推,下面不再赘述。
优选的,S2中,所述备份策略包括评价指标和评价要素,根据所述主节点和所述从节点的分布状态和/或存储状态,采用所述评价要素评判所述评价指标,设置所述备份策略或者调整所述备份策略;S4中,还根据所述增量数据文件,进行智能归纳并采用所述评价要素对智能归纳的结果进行评价,调整所述备份任务。如图8所示,所述数据备份方法包括以下步骤:S1,确定主节点和从节点,还获取所述主节点和所述从节点的分布状态和存储状态;S2,根据所述主节点和所述从节点的分布状态和存储状态,设置备份策略或者调整所述备份策略;所述备份策略包括评价指标和评价要素,根据所述主节点和所述从节点的分布状态和/或存储状态,采用所述评价要素评判所述评价指标,设置所述备份策略或者调整所述备份策略;S3,根据所述备份策略建立备份任务;S4,根据所述备份任务、所述主节点的磁盘数据文件和持久化数据,生成增量数据文件;还根据所述增量数据文件,进行智能归纳并采用所述评价要素对智能归纳的结果进行评价,调整所述备份任务;S5,根据所述备份任务,将所述增量数据文件传输到所述从节点;S6,根据所述增量数据文件,删除所述从节点的写缓冲区中与所述增量数据文件相关的数据;S7,在所述从节点的写缓冲区中整体写入所述增量数据文件;S8,向所述主节点反馈写入报告。
采用所述评价要素评判所述评价指标,也就是根据所述主节点和所述从节点的分布状态和/或存储状态,例如根据所述主节点和所述从节点的分布状态和存储状态,或者根据所述主节点和所述从节点的分布状态或存储状态,采用所述评价要素评判所述评价指标,所述评价指标与所述主节点和所述从节点的分布状态和存储状态相关,根据需求不同,可以设置不同的评价指标。例如,评价指标用于体现所述主节点的存储状态,所述主节点和所述从节点的分布状态,特别是多个所述从节点相对于所述主节点的分布状态,还有所述从节点的存储状态等;当只有一个从节点时,采用所述评价要素评判所述评价指标,主要体现这个从节点的可靠性和可用性;当有两个或更多的从节点时,采用所述评价要素评判所述评价指标,主要体现各个从节点的优劣选择。
采用所述评价要素评判所述评价指标,可以是判断性质的评价,例如评价结果为是或非,例如是否采用某个从节点;还可以是评分性质的评价,例如某个从节点由于分布状态导致传输速率低和/或存储状态将满,得分较低,而另外一个从节点由于分布状态导致传输速率相对较高和/或存储状态余量较多,得分较高。对于多个从节点来说,由于是相互对比,所以评价也可以称作评判。
同样地,采用所述评价要素对智能归纳的结果进行评价,也可以把智能归纳的结果作为类似于所述评价指标的一个关键指标,例如称作关键评价指标,采用上述方法进行评价,也就是根据所述主节点和所述从节点的分布状态和/或存储状态,做出所述主节点和/或所述从节点的定性或者定量评价,例如一个主节点是否具备作为主节点的条件,是否需要更换硬件设备或者传输网络等。
对于AI自动智能识别来说,智能归纳往往是采用关键词来实现的。较好的是,所述评价指标包括经济性指标和安全性指标等,例如,S2中,所述备份策略包括经济性指标、安全性指标和评价要素,根据所述主节点和所述从节点的分布状态和存储状态,采用评价要素评判经济性指标和安全性指标,设置所述备份策略或者调整所述备份策略;S4中,还根据所述增量数据文件,进行智能归纳得到关键评价指标也可以称作评价关键指标,采用评价要素评判所述关键评价指标,调整所述备份任务。如图9所示,所述数据备份方法包括以下步骤:S1,确定主节点和从节点,还获取所述主节点和所述从节点的分布状态和存储状态;S2,根据所述主节点和所述从节点的分布状态和存储状态,设置备份策略或者调整所述备份策略;所述备份策略包括经济性指标、安全性指标和评价要素,根据所述主节点和所述从节点的分布状态和存储状态,采用评价要素评判经济性指标和安全性指标,设置所述备份策略或者调整所述备份策略;S3,根据所述备份策略建立备份任务;S4,根据所述备份任务、所述主节点的磁盘数据文件和持久化数据,生成增量数据文件;还根据所述增量数据文件,进行智能归纳得到关键评价指标,采用评价要素评判所述关键评价指标,调整所述备份任务;S5,根据所述备份任务,将所述增量数据文件传输到所述从节点;S6,根据所述增量数据文件,删除所述从节点的写缓冲区中与所述增量数据文件相关的数据;S7,在所述从节点的写缓冲区中整体写入所述增量数据文件;S8,向所述主节点反馈写入报告。所述备份策略中的所述评价指标还可以包括其他指标,例如速度指标和时间指标等,但是在测试中发现,经济性指标和安全性指标在影响选择方面基本上是最重要的两项,所述评价指标满足这两项基本上就可以了。
对于备份任务的调整,优选的,S4中,调整所述备份任务包括选择所述从节点、设置所述增量数据文件的数据包大小和格式、设置将所述增量数据文件传输到所述从节点的时间段。较好的是,还设置所述备份任务的优先级别。如图10所示,所述数据备份方法包括以下步骤:S1,确定主节点和从节点,还获取所述主节点和所述从节点的分布状态和存储状态;S2,根据所述主节点和所述从节点的分布状态和存储状态,设置备份策略或者调整所述备份策略;所述备份策略包括经济性指标、安全性指标和评价要素,根据所述主节点和所述从节点的分布状态和存储状态,采用评价要素评判经济性指标和安全性指标,设置所述备份策略或者调整所述备份策略;S3,根据所述备份策略建立备份任务;S4,根据所述备份任务、所述主节点的磁盘数据文件和持久化数据,生成增量数据文件;还根据所述增量数据文件,进行智能归纳得到关键评价指标,采用评价要素评判所述关键评价指标,调整所述备份任务;调整所述备份任务包括选择所述从节点、设置所述增量数据文件的数据包大小和格式、设置将所述增量数据文件传输到所述从节点的时间段;S5,根据所述备份任务,将所述增量数据文件传输到所述从节点;S6,根据所述增量数据文件,删除所述从节点的写缓冲区中与所述增量数据文件相关的数据;S7,在所述从节点的写缓冲区中整体写入所述增量数据文件;S8,向所述主节点反馈写入报告。在实际应用中,由于具体网络条件的差别,网络传输成本的差别,还有从节点自身的优劣,备份任务不是一成不变的,对高价的客户,可以给出高优先级别的备份任务,对于追求免费的客户,可以在低成本时间段提供服务。
对于根据所述增量数据文件,进行智能归纳得到关键评价指标,采用评价要素评判所述关键评价指标,调整所述备份任务,优选的,S4中,根据所述增量数据文件,采用关键词进行智能归纳得到关键评价指标,并采用所述评价要素对所述关键评价指标进行评价,调整所述备份任务。如图11所示,所述数据备份方法包括以下步骤:S1,确定主节点和从节点,还获取所述主节点和所述从节点的分布状态和存储状态;S2,根据所述主节点和所述从节点的分布状态和存储状态,设置备份策略或者调整所述备份策略;所述备份策略包括评价指标和评价要素,根据所述主节点和所述从节点的分布状态和/或存储状态,采用所述评价要素评判所述评价指标,设置所述备份策略或者调整所述备份策略;S3,根据所述备份策略建立备份任务;S4,根据所述备份任务、所述主节点的磁盘数据文件和持久化数据,生成增量数据文件;还根据所述增量数据文件,采用关键词进行智能归纳得到关键评价指标,并采用所述评价要素对所述关键评价指标进行评价,调整所述备份任务;S5,根据所述备份任务,将所述增量数据文件传输到所述从节点;S6,根据所述增量数据文件,删除所述从节点的写缓冲区中与所述增量数据文件相关的数据;S7,在所述从节点的写缓冲区中整体写入所述增量数据文件;S8,向所述主节点反馈写入报告。
较好的是,S4中,根据所述增量数据文件,采用关键词搜索、关键因子评分和/或备份登记,进行智能归纳得到所述关键评价指标。由此可以按用户预定的备份策略采用对应的指标和评价要素,生成备份任务或者选取备份任务,例如在特定时间段进行数据备份或者用不同的从节点进行数据备份,还可以进行智能归纳得到关键评价指标,因此可以做大数据管理,还可以更进一步去在区块链技术中得到应用。如图12所示,所述数据备份方法包括以下步骤:S1,确定主节点和从节点,还获取所述主节点和所述从节点的分布状态和存储状态;S2,根据所述主节点和所述从节点的分布状态和存储状态,设置备份策略或者调整所述备份策略;所述备份策略包括经济性指标、安全性指标和评价要素,根据所述主节点和所述从节点的分布状态和存储状态,采用评价要素评判经济性指标和安全性指标,设置所述备份策略或者调整所述备份策略;S3,根据所述备份策略建立备份任务;S4,根据所述备份任务、所述主节点的磁盘数据文件和持久化数据,生成增量数据文件;还根据所述增量数据文件,进行智能归纳得到关键评价指标,采用评价要素评判所述关键评价指标,调整所述备份任务;根据所述增量数据文件,采用关键词搜索、关键因子评分和/或备份登记,进行智能归纳得到所述关键评价指标;S5,根据所述备份任务,将所述增量数据文件传输到所述从节点;S6,根据所述增量数据文件,删除所述从节点的写缓冲区中与所述增量数据文件相关的数据;S7,在所述从节点的写缓冲区中整体写入所述增量数据文件;S8,向所述主节点反馈写入报告。关键词进行智能归纳,主要通过关键词搜索等方式提取出增量数据文件中的一些智能程序所认定的关键词,然后采用关键因子评分来呈现一些关键词的重要性;还可以采用备份登记来将管理者看重的词汇标记作为特定的关键词或者关联的词组。由此可以得到一些与关键词相关的数据,例如“CisXX”或者“思XX”出现10次,技术性得10点;“华XX”出现5次,技术性得15点;“思XX-华XX”关联出现3次,经济性得30点,最后关键评价指标包括技术性25点和经济性30点。采用所述评价要素对所述关键评价指标进行评价,包括但不限于取两者之和,或按预定的权重值取权重后再求和,然后得到一个量化的评价结果。根据这个量化的评价结果设置或者调整备份任务的优先级别。
特别的,当“华XX”很重要时,不仅在技术性给予体现,而且在预定的权重值也得到体现,一旦涉及“华XX”的备份数据,就优先完成。这里只是一个简单的示例说明,在真正的备份***设计里面,可能涉及的条件和参数比较多,按照数据备份领域的技术员常规理解就好了。
优选的,一种数据备份网络节点,其包括主节点和从节点,并且,根据所述主节点的磁盘数据文件和持久化数据,生成增量数据文件;将所述增量数据文件传输到所述从节点。优选的,所述数据备份网络节点根据任意一个所述数据备份方法来控制实现。
优选的,一种数据备份***,其包括至少两个主节点和至少两个从节点,每一个所述主节点连接至少两个所述从节点,每一个所述从节点连接至少两个所述主节点;并且,根据所述主节点的磁盘数据文件和持久化数据,生成增量数据文件;将所述增量数据文件传输到所述从节点。优选的,所述数据备份***根据任意一个所述数据备份方法来控制实现。
优选的,如图13所示,所述数据备份***包括至少两个主节点和至少两个从节点,每一个所述主节点分别连接各个所述从节点,每一个所述从节点分别连接各个所述主节点。
优选的,所述数据备份***还包括至少一个终端,对于任意一个所述终端,其所直接连接的节点作为所述主节点,其它节点作为所述从节点。
优选的,如图14所示,所述数据备份***还包括至少一个服务器,对于任意一个所述服务器,其分别连接各个所述主节点和各个所述从节点,所述主节点在将所述增量数据文件传输到所述从节点时,不需要经过所述服务器,所述服务器的作用是设置备份策略和备份任务。本发明的技术方案,还设置了备份策略,优化了备份任务的产生,可以按用户预定的备份策略采用对应的指标和评价要素,生成备份任务或者选取备份任务,例如在特定时间段进行数据备份或者用不同的从节点进行数据备份,还可以进行智能归纳得到关键评价指标,因此可以做大数据管理,还可以在区块链技术中得到应用。
本发明的各个实施例都是服务于同一个数据备份的整体目标,对于整体目标进行细分,又可以分成首要目标是节省处理器计算和临时内存开销、避免在节点的磁盘写入数据时产生多个分散的存储区域,次要目标是提高容灾效果,可以按策略灵活实现一个主节点对一个或者更多数量的从节点的备份,第三目标是采用任务制的增量备份方式,避免大量备份时发生网络拥堵,其他目标还包括提供关键评价指标以便大数据管理。为解决所述主节点发送的增量数据文件写入所述从节点的磁盘,所述增量数据文件由所述主节点根据持久化数据与所述主节点的磁盘数据文件生成,所述持久化数据来自所述主节点的写缓冲区并将被写入所述主节点的磁盘所述增量数据文件删除所述从节点的写缓冲区中与所述增量数据文件相关的数据。为了提高数据服务能力和抵御数据丢失风险,使用多个数据服务节点组成一个数据服务集群为客户端提供数据服务支持该***。
进一步地,本发明的实施例还包括,上述各实施例的各技术特征,相互组合形成的数据备份方法、网络节点及***。
需要说明的是,上述各技术特征继续相互组合,形成未在上面列举的各种实施例,均视为本发明说明书记载的范围;并且,对本领域普通技术人员来说,可以根据上述说明加以改进或变换,而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (10)

1.一种数据备份方法,其特征在于,包括以下步骤:
根据主节点的磁盘数据文件和持久化数据,生成增量数据文件;
将所述增量数据文件传输到从节点。
2.根据权利要求1所述数据备份方法,其特征在于,具体包括以下步骤:
S1,确定主节点和从节点;
S2,设置备份策略;
S3,根据所述备份策略建立备份任务;
S4,根据所述备份任务、所述主节点的磁盘数据文件和持久化数据,生成增量数据文件;
S5,根据所述备份任务,将所述增量数据文件传输到所述从节点。
3.根据权利要求2所述数据备份方法,其特征在于,还包括步骤:
S6,根据所述增量数据文件,删除所述从节点的写缓冲区中与所述增量数据文件相关的数据;
或者,所述数据备份方法还包括步骤:
S6,根据所述增量数据文件,删除所述从节点的写缓冲区中与所述增量数据文件相关的数据;
S7,在所述从节点的写缓冲区中整体写入所述增量数据文件;
或者,所述数据备份方法还包括步骤:
S6,根据所述增量数据文件,删除所述从节点的写缓冲区中与所述增量数据文件相关的数据;
S7,在所述从节点的写缓冲区中整体写入所述增量数据文件;
S8,向所述主节点反馈写入报告。
4.根据权利要求2或3所述数据备份方法,其特征在于,S1中,还获取所述主节点和所述从节点的分布状态和/或存储状态;
S2中,根据所述主节点和所述从节点的分布状态和/或存储状态,设置所述备份策略或者调整所述备份策略。
5.根据权利要求4所述数据备份方法,其特征在于,S2中,所述备份策略包括评价指标和评价要素,根据所述主节点和所述从节点的分布状态和/或存储状态,采用所述评价要素评判所述评价指标,设置所述备份策略或者调整所述备份策略;
S4中,还根据所述增量数据文件,进行智能归纳并采用所述评价要素对智能归纳的结果进行评价,调整所述备份任务。
6.根据权利要求5所述数据备份方法,其特征在于,S4中,调整所述备份任务包括选择所述从节点、设置所述增量数据文件的数据包大小和格式、设置将所述增量数据文件传输到所述从节点的时间段。
7.根据权利要求5所述数据备份方法,其特征在于,S4中,根据所述增量数据文件,采用关键词进行智能归纳得到关键评价指标,并采用所述评价要素对所述关键评价指标进行评价,调整所述备份任务。
8.一种数据备份网络节点,其特征在于,包括主节点和从节点,并且,根据所述主节点的磁盘数据文件和持久化数据,生成增量数据文件;将所述增量数据文件传输到所述从节点。
9.一种数据备份***,其特征在于,包括至少两个主节点和至少两个从节点,每一个所述主节点连接至少两个所述从节点,每一个所述从节点连接至少两个所述主节点;
并且,根据所述主节点的磁盘数据文件和持久化数据,生成增量数据文件;将所述增量数据文件传输到所述从节点。
10.根据权利要求9所述数据备份***,其特征在于,还包括至少一个终端,对于任意一个所述终端,其所直接连接的节点作为所述主节点,其它节点作为所述从节点。
CN202111037686.8A 2021-09-06 2021-09-06 一种数据备份方法、网络节点及*** Active CN113791935B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111037686.8A CN113791935B (zh) 2021-09-06 2021-09-06 一种数据备份方法、网络节点及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111037686.8A CN113791935B (zh) 2021-09-06 2021-09-06 一种数据备份方法、网络节点及***

Publications (2)

Publication Number Publication Date
CN113791935A true CN113791935A (zh) 2021-12-14
CN113791935B CN113791935B (zh) 2023-10-24

Family

ID=79182710

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111037686.8A Active CN113791935B (zh) 2021-09-06 2021-09-06 一种数据备份方法、网络节点及***

Country Status (1)

Country Link
CN (1) CN113791935B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101046757A (zh) * 2006-04-13 2007-10-03 华为技术有限公司 一种备份方法
CN101938660A (zh) * 2009-06-30 2011-01-05 中兴通讯股份有限公司 一种基于业务质量检测的复用热备份方法及***
CN103377100A (zh) * 2012-04-26 2013-10-30 华为技术有限公司 一种数据备份方法、网络节点及***
CN106339278A (zh) * 2016-08-24 2017-01-18 浪潮电子信息产业股份有限公司 一种网络文件***的数据备份及恢复方法
CN106662981A (zh) * 2014-06-27 2017-05-10 日本电气株式会社 存储设备、程序和信息处理方法
CN106874144A (zh) * 2016-12-30 2017-06-20 上海中信信息发展股份有限公司 基于电子档案属性的存储备份策略评价方法
CN107329853A (zh) * 2017-06-13 2017-11-07 上海微烛信息技术有限公司 数据库集群的备份方法、备份***及电子设备
US10133508B1 (en) * 2014-06-13 2018-11-20 EMC IP Holding Company LLC Method and system for data protection based on storage status
CN109901952A (zh) * 2019-03-06 2019-06-18 山东申启信息技术有限公司 一种数据备份方法、***及服务器

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101046757A (zh) * 2006-04-13 2007-10-03 华为技术有限公司 一种备份方法
CN101938660A (zh) * 2009-06-30 2011-01-05 中兴通讯股份有限公司 一种基于业务质量检测的复用热备份方法及***
CN103377100A (zh) * 2012-04-26 2013-10-30 华为技术有限公司 一种数据备份方法、网络节点及***
US10133508B1 (en) * 2014-06-13 2018-11-20 EMC IP Holding Company LLC Method and system for data protection based on storage status
CN106662981A (zh) * 2014-06-27 2017-05-10 日本电气株式会社 存储设备、程序和信息处理方法
CN106339278A (zh) * 2016-08-24 2017-01-18 浪潮电子信息产业股份有限公司 一种网络文件***的数据备份及恢复方法
CN106874144A (zh) * 2016-12-30 2017-06-20 上海中信信息发展股份有限公司 基于电子档案属性的存储备份策略评价方法
CN107329853A (zh) * 2017-06-13 2017-11-07 上海微烛信息技术有限公司 数据库集群的备份方法、备份***及电子设备
CN109901952A (zh) * 2019-03-06 2019-06-18 山东申启信息技术有限公司 一种数据备份方法、***及服务器

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JIHONG ZHAO: "An Intelligent Congestion Control Method in Software Defined Networks", 《2019 IEEE 11TH INTERNATIONAL CONFERENCE ON COMMUNICATION SOFTWARE AND NETWORKS (ICCSN)》 *
李晓乐: "多数据中心容灾备份与疏散的大量数据传输优化研究", 《中国优秀硕士论文全文数据库》 *

Also Published As

Publication number Publication date
CN113791935B (zh) 2023-10-24

Similar Documents

Publication Publication Date Title
US11327799B2 (en) Dynamic allocation of worker nodes for distributed replication
US11010240B2 (en) Tracking status and restarting distributed replication
US20200348852A1 (en) Distributed object replication architecture
US9906598B1 (en) Distributed data storage controller
US11349915B2 (en) Distributed replication and deduplication of an object from a source site to a destination site
US10467105B2 (en) Chained replication techniques for large-scale data streams
US7320060B2 (en) Method, apparatus, and computer readable medium for managing back-up
US20200012568A1 (en) Scalable log-based continuous data protection for distributed databases
US7191198B2 (en) Storage operation management program and method and a storage management computer
US9471585B1 (en) Decentralized de-duplication techniques for largescale data streams
US11314444B1 (en) Environment-sensitive distributed data management
US8615494B1 (en) Segment-based method for efficient file restoration
US8930364B1 (en) Intelligent data integration
US8135918B1 (en) Data de-duplication for iSCSI
JP2010134948A (ja) データ記憶管理システム
EP3163446B1 (en) Data storage method and data storage management server
EP1792251A2 (en) Systems and methods for organizing and mapping data
CN110825704B (zh) 一种读数据方法、写数据方法及服务器
US11507277B2 (en) Key value store using progress verification
CN104679897A (zh) 一种大数据环境下的数据检索方法
CN104679896A (zh) 一种大数据环境下的智能检索方法
CN104641369A (zh) 文件服务器、信息***及其控制方法
CN110515555B (zh) 基于多路对象存储服务的高可靠性企业级存储***及读写方法
CN104679893A (zh) 一种基于大数据的信息检索方法
KR20150061316A (ko) 네트워크 분산 파일 시스템 기반 iSCSI 스토리지 시스템에서의 부하 분산 방법 및 시스템

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant