CN112214357B - 一种hdfs数据备份恢复***及备份恢复方法 - Google Patents

一种hdfs数据备份恢复***及备份恢复方法 Download PDF

Info

Publication number
CN112214357B
CN112214357B CN202011188471.1A CN202011188471A CN112214357B CN 112214357 B CN112214357 B CN 112214357B CN 202011188471 A CN202011188471 A CN 202011188471A CN 112214357 B CN112214357 B CN 112214357B
Authority
CN
China
Prior art keywords
backup
recovery
hdfs
data
client
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011188471.1A
Other languages
English (en)
Other versions
CN112214357A (zh
Inventor
朱拓之
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Eisoo Information Technology Co Ltd
Original Assignee
Shanghai Eisoo Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Eisoo Information Technology Co Ltd filed Critical Shanghai Eisoo Information Technology Co Ltd
Priority to CN202011188471.1A priority Critical patent/CN112214357B/zh
Publication of CN112214357A publication Critical patent/CN112214357A/zh
Application granted granted Critical
Publication of CN112214357B publication Critical patent/CN112214357B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1458—Management of the backup or restore process
    • G06F11/1469—Backup restoration techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及一种HDFS数据备份恢复***及备份恢复方法，该***中，HDSF单元内HDFS客户端对应与代理客户端连接，多个代理客户端共同与虚拟客户端连接，虚拟客户端与备份服务器连接，多个代理客户端还与备份服务器连接，备份服务器内设有存储介质，备份服务器用于创建备份恢复任务，与代理客户端进行数据交互，对存储介质进行数据管理；虚拟客户端用于将备份恢复任务定位至与多个代理客户端；代理客户端用于执行备份恢复任务，以读取备份对象或写入恢复对象；HDFS客户端用于接收和响应代理客户端的读取或写入操作。与现有技术相比，本发明能够支持多种备份需求和恢复需求，能够对备份数据进行有效管理，且能通过并发执行任务提高备份恢复效率。

Description

一种HDFS数据备份恢复***及备份恢复方法
技术领域
本发明涉及数据备份恢复技术领域，尤其是涉及一种HDFS数据备份恢复***及备份恢复方法。
背景技术
FusionInsight HD是一个分布式数据处理***，对外提供大容量的数据存储、查询和分析能力，HDFS(Hadoop Distributed File System，Hadoop分布式文件***)是FusionInsight HD的底层存储，为上层应用提供高容错和高吞吐量的存储支持。怎样高效地保证FusionInsight HD的日常数据安全、以及在重大操作的时候保证***出现异常或未达到预期结果时可以及时进行数据恢复，将业务的影响降低到最低，已经成为了当前HDFS应用的任务之重。
现有的HDFS备份方案都是基于HDFS提供的快照技术，将备份数据保留在HDFS文件***中或者保存至外部存储中，这种方式存在以下缺点：
1、无法有效管理和利用备份数据；
2、在某些场景下只支持完全备份，且无法根据用户需求进行选择性恢复；
3、当存在多个备份或恢复对象时，备份恢复效率较低。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种HDFS数据备份恢复***及备份恢复方法，以实现有效管理备份数据、支持多种备份需求以及恢复需求、提高备份恢复效率的目的。
本发明的目的可以通过以下技术方案来实现：一种HDFS数据备份恢复***，包括设置有多个HDFS客户端的HDFS单元，多个HDFS客户端分别对应与多个代理客户端相互连接，多个代理客户端共同与虚拟客户端相互连接，所述虚拟客户端与备份服务器相互连接，多个代理客户端还分别与备份服务器相互连接，所述备份服务器内设置有用于存储备份数据的存储介质，所述备份服务器用于创建备份恢复任务，与代理客户端进行数据交互，以及对存储介质进行数据管理；
所述虚拟客户端用于将备份恢复任务定位至与其连接的多个代理客户端；
所述代理客户端用于执行备份恢复任务，以读取HDFS备份对象或写入HDFS恢复对象；
所述HDFS客户端用于接收和响应代理客户端提供的读取或写入操作。
进一步地，所述HDFS客户端与代理客户端均位于同一台设备上。
一种HDFS数据备份方法，包括以下步骤：
A1、根据用户选择的需要保护的数据源、备份高级参数和备份类型，由备份服务器发起备份任务，并将对应的备份指令发送给与虚拟客户端连接的多个代理客户端；
A2、多个代理客户端分别从对应的HDFS客户端获取HDFS当前时间；
A3、多个代理客户端根据接收的备份指令，确认备份模式；
A4、根据备份模式，多个代理客户端分别通过对应的HDFS客户端获取备份时间对象，并将HDFS当前时间点信息传输给备份服务器、写入存储介质中；
A5、各代理客户端通过分析备份任务中的数据源，产生备份对象列表；
A6、根据备份对象列表，各代理客户端分别依次判断各备份对象是否有被备份过、是否被过滤、是否为增量数据；
A7、各代理客户端将判断为增量数据的备份对象传输给对应的HDFS客户端，以读取该备份对象的文件块，并传输给备份服务器、写入存储介质中，同时存储对应的HDFS连接信息和时间点副本完整标记信息，以完成备份任务。
进一步地，所述步骤A1中需要保护的数据源具体为HDFS文件或目录。
进一步地，所述步骤A4具体包括以下步骤：
A41、若发起的是全量备份任务，则执行步骤A44；
A42、若发起的是增量备份任务或永久增量备份任务，则代理客户端根据备份任务，从备份服务器查询已有时间点类型，若查找到全备时间点，且全备时间点和HDFS当前时间之间的时间点副本是完整的，则执行步骤A44，否则将备份类型转为全量备份，之后执行步骤A44；
A43、若发起的是差异备份，则代理客户端根据备份任务，从备份服务器查询已有时间点类型，若最近时间为全备时间点，且时间点副本是完整的，则执行步骤A44，否则将备份类型转为全量备份，之后执行步骤A44；
A44、备份时间对象，将HDFS当前时间点信息传输给备份服务器、写入存储介质中。
进一步地，所述步骤A6具体是将备份对象通过负载均衡器，以判断该备份对象是否已被备份过；
将备份对象通过文件过滤器，以判断该备份对象是否被过滤。
进一步地，所述步骤A7具体包括以下步骤：
A71、代理客户端将备份对象传递给HDFS客户端，已读取该备份对象的文件块，并将该文件块传输给备份服务器、写入存储介质中；
A72、若备份对象成功备份，则标记时间点副本为完整，否则标记时间点副本为不完整；
A73、当备份对象列表中所有备份对象均完成备份及时间点副本标记操作后，将备份对象对应的HDFS连接信息以及时间点副本完整标记信息同时进行存储，以完成备份任务。
一种HDFS数据恢复方法，包括以下步骤：
B1、根据用户选择的恢复时间、恢复数据和恢复位置，由备份服务器发起恢复任务，并将对应的恢复指令发送给与虚拟客户端连接的多个代理客户端；
B2、多个代理客户端根据接收的恢复指令，通过解析参数，确定时间的可用性以及需要恢复的数据信息；
B3、各代理客户端通过分析恢复任务中的数据源，产生恢复对象列表；
B4、根据恢复对象列表，各代理客户端分别依次判断各恢复对象是否有被恢复过、是否被过滤；
B5、通过数据解析和新路径合成，得到恢复数据，各代理客户端将恢复数据传输给HDFS客户端，以完成恢复任务。
进一步地，所述步骤B4具体是将恢复对象通过负载均衡器，以判断该恢复对象是否已被备份过；
将恢复对象通过文件过滤器，以判断该恢复对象是否被过滤。
进一步地，所述步骤B5具体包括以下步骤：
B51、通过数据解析得到需要恢复的数据文件名；
B52、根据设定的恢复任务，若恢复任务中要求恢复到新路径，则将新路径与需要恢复的数据文件名拼接合成为恢复数据，否则将需要恢复的数据文件名作为恢复数据；
B53、各代理客户端将对应的恢复数据传输给HDFS客户端，根据覆盖规则将恢复数据写入HDFS，以完成恢复任务。
与现有技术相比，本发明具有以下优点：
一、本发明通过设置备份服务器，利用备份服务器管理所有的资源，包括虚拟客户端、代理客户端、存储介质，由备份服务器负责创建备份任务，下发备份/恢复指令给代理客户端，接收代理客户端返回的数据，和存储介质交互，读取/写入数据以及管理存储介质中的数据，从而实现对备份任务和备份数据进行有效、周期性管理的目的。
二、本发明将虚拟客户端与多个代理客户端相互连接，通过虚拟客户端将备份服务器创建的备份恢复任务定位分配给多个代理客户端，从而支持多客户端的并发备份/恢复，减少备份/恢复窗口，有效提升备份/恢复效率。
三、本发明通过获取备份对象的最后修改时间和HDFS当前时间，结合已经备份的时间点，不仅能提供全量备份，还能提供增量备份、差异备份和永久增量备份，从而实现支持多种备份需求的目的。
四、本发明在备份数据时去除文件路径，只备份文件名及备份对象属性，在恢复数据时只需拼接恢复路径和文件名，即可恢复出文件内容和文件属性，保证恢复后文件属性与备份时一致，使得恢复数据时能够支持原位置、异位置、原机、异机甚至异文件***的恢复。
附图说明
图1为本发明的***结构示意图；
图2为本发明的数据备份流程示意图；
图3为本发明的数据恢复流程示意图；
图4为实施例中代理客户端的安装流程；
图5为实施例中虚拟客户端的创建流程；
图6为实施例中数据备份的过程示意图；
图7为实施例中数据恢复的过程示意图；
图中标记说明：1、HDFS单元，11、HDFS客户端，2、代理客户端，3、虚拟客户端，4、备份服务器，41、存储介质。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。
实施例
如图1所示，一种HDFS数据备份恢复***，包括设置有多个HDFS客户端11的HDFS单元1，多个HDFS客户端11分别对应与多个代理客户端2相互连接，多个代理客户端2共同与虚拟客户端3相互连接，虚拟客户端3与备份服务器4相互连接，多个代理客户端2还分别与备份服务器4相互连接，备份服务器4内设置有用于存储备份数据的存储介质41，备份服务器4用于创建备份恢复任务，与代理客户端2进行数据交互，以及对存储介质41进行数据管理；
虚拟客户端3用于将备份恢复任务定位至与其连接的多个代理客户端2；
代理客户端2用于执行备份恢复任务，以读取HDFS备份对象或写入HDFS恢复对象；
HDFS客户端11用于接收和响应代理客户端2提供的读取或写入操作；
其中，HDFS客户端11与代理客户端2均位于同一台设备上。
具体的，备份服务器4作为备份软件的管理控制台，用于管理所有的资源，包括虚拟客户端3、代理客户端2和存储介质41，负责创建备份任务，下发备份/恢复指令给代理客户端2，接收代理客户端2返回的数据，和存储介质41交互，读取/写入数据，清除存储介质41中过期数据，通过在备份服务器中设置副本保留策略，比如副本数、保留时间、对超过设定的副本自动进行清除，以此提供备份存储空间的利用率，也可以手动将不需要的副本删除；
存储介质41是备份软件的数据存储单元，用于存储备份数据；
虚拟客户端3是一组物理的代理客户端的集合，能够保证备份/恢复任务的多客户端并发执行，虚拟客户端3用于发起备份和恢复任务，相当于备份任务恢复任务关联的虚拟客户端，管理整个任务的发起，以及执行结果，通过虚拟客户端3去找到对应的代理客户端2发起任务，任务的交互是代理客户端2自己同备份服务器4进行交互；
代理客户端2作为备份软件在客户端上的代理，负责和备份服务器4交互，接受和响应备份服务器4下达的命令，并且将执行结果返回备份服务器4；和HDFS客户端11交互，读取HDFS备份对象，写入HDFS恢复对象；
HDFS客户端11则基于FusionInsight HD提供的Hadoop client来实现，和代理客户端2处于同一台设备，接收和响应代理客户端2提供的读取/写入操作，将对应操作转发给HDFS，并将HDFS的响应返回给代理客户端2。
将上述***应用于实际，其数据备份过程如图2所示，包括以下步骤：
A1、根据用户选择的需要保护的数据源(HDFS文件或目录)、备份高级参数和备份类型，由备份服务器发起备份任务，并将对应的备份指令发送给与虚拟客户端连接的多个代理客户端；
A2、多个代理客户端分别从对应的HDFS客户端获取HDFS当前时间；
A3、多个代理客户端根据接收的备份指令，确认备份模式；
A4、根据备份模式，多个代理客户端分别通过对应的HDFS客户端获取备份时间对象，并将HDFS当前时间点信息传输给备份服务器、写入存储介质中，具体的：
A41、若发起的是全量备份任务，则执行步骤A44；
A42、若发起的是增量备份任务或永久增量备份任务，则代理客户端根据备份任务，从备份服务器查询已有时间点类型，若查找到全备时间点，且全备时间点和HDFS当前时间之间的时间点副本是完整的，则执行步骤A44，否则将备份类型转为全量备份，之后执行步骤A44；
A43、若发起的是差异备份，则代理客户端根据备份任务，从备份服务器查询已有时间点类型，若最近时间为全备时间点，且时间点副本是完整的，则执行步骤A44，否则将备份类型转为全量备份，之后执行步骤A44；
A44、备份时间对象，将HDFS当前时间点信息传输给备份服务器、写入存储介质中；
A5、各代理客户端通过分析备份任务中的数据源，产生备份对象列表；
A6、根据备份对象列表，各代理客户端分别依次判断各备份对象是否有被备份过、是否被过滤、是否为增量数据，其中，具体是将备份对象通过负载均衡器，以判断该备份对象是否已被备份过；
将备份对象通过文件过滤器，以判断该备份对象是否被过滤；
A7、各代理客户端将判断为增量数据的备份对象传输给对应的HDFS客户端，以读取该备份对象的文件块，并传输给备份服务器、写入存储介质中，同时存储对应的HDFS连接信息和时间点副本完整标记信息，以完成备份任务，具体的：
A71、代理客户端将备份对象传递给HDFS客户端，已读取该备份对象的文件块，并将该文件块传输给备份服务器、写入存储介质中；
A72、若备份对象成功备份，则标记时间点副本为完整，否则标记时间点副本为不完整；
A73、当备份对象列表中所有备份对象均完成备份及时间点副本标记操作后，将备份对象对应的HDFS连接信息以及时间点副本完整标记信息同时进行存储，以完成备份任务。
将上述***应用于实际，其数据恢复过程如图3所示，包括以下步骤：
B1、根据用户选择的恢复时间、恢复数据和恢复位置，由备份服务器发起恢复任务，并将对应的恢复指令发送给与虚拟客户端连接的多个代理客户端；
B2、多个代理客户端根据接收的恢复指令，通过解析参数，确定时间的可用性以及需要恢复的数据信息；
B3、各代理客户端通过分析恢复任务中的数据源，产生恢复对象列表；
B4、根据恢复对象列表，各代理客户端分别依次判断各恢复对象是否有被恢复过、是否被过滤，同样的，将恢复对象通过负载均衡器，以判断该恢复对象是否已被备份过；
将恢复对象通过文件过滤器，以判断该恢复对象是否被过滤；
B5、通过数据解析和新路径合成，得到恢复数据，各代理客户端将恢复数据传输给HDFS客户端，以完成恢复任务，具体的：
B51、通过数据解析得到需要恢复的数据文件名；
B52、根据设定的恢复任务，若恢复任务中要求恢复到新路径，则将新路径与需要恢复的数据文件名拼接合成为恢复数据，否则将需要恢复的数据文件名作为恢复数据；
B53、各代理客户端将对应的恢复数据传输给HDFS客户端，根据覆盖规则将恢复数据写入HDFS，以完成恢复任务。
本发明中，整个备份恢复***由代理客户端、存储介质、备份服务器、HDFS客户端组成，HDFS单元和备份服务之间通过TCP/IP协议进程传输。
备份/恢复任务执行结果，由虚拟客户端关联的所有代理客户端所决定，当所有代理客户端都失败，任务才失败，否则任务为成功或者部分成功。
为构建备份恢复***，需要安装代理客户端，并创建虚拟客户端，其中，代理客户端的安装如图4所示，虚拟客户端的创建如图5所示，备份恢复具体执行流程分别如图6和图7所示，HDFS客户端和代理客户端处于同一台机器，需要预先安装FusionInsight HD配套提供的Hadoop client，对于HDFS集群NameNode的ip必须是主NameNode的ip，单机namenode必须处于active模式，用户需具有相应的客户端代理的管理权限、具有相应的存储介质使用权限，且必须对需要备份的HDFS配置正确的NamenNode IP用户名、Kerberos等信息。
如图4所示，在代理客户端安装的时候，必须选择支持FusionInsight HD选项：
1、用户开始执行安装客户端程序；
2、选择支持FusionInsight HD安装选项；
3、输入Hadoop Client和component_env_C_example脚本位置；
4、执行步骤3提供的参数，生成环境变量文件，执行步骤5；
5、安装完成，成功则支持FusionInsight HD HDFS备份，失败则不支持FusionInsight HD HDFS备份。
如图5所示，虚拟客户端创建流程如下：
1、创建虚拟客户端，输入NameNode ip，用户名，执行步骤2；
2、选择需要绑定的物理客户端，设置每个客户端的kerbTicketCachePath，执行步骤3；
3、提交参数，执行步骤4；
4、校验参数的合法性，连接HDFS，如果校验通过，执行步骤5，否则步骤6；
5、创建成功；
6、创建失败，提示错误。
如图6所示，备份流程如下：
1、用户选择需要保护的数据源(HDFS文件或者目录)，选择备份高级参数和备份类型，并发起备份，将备份指令发往虚拟客户端绑定的备份代理客户端；
2、每个备份代理获取HDFS当前时间，执行步骤3；
3、每个备份代理收到备份指令，确认备份类型：
3.1如果发起的是全备执行步骤4；
3.2如果发起的是增量备份，备份代理根据任务参数，查询备份服务中已有时间点类型，如果找到全备时间点，并且全备时间点和当前时间之间的时间点副本是完整的，则执行步骤4，否则将备份类型转为全量备份，执行步骤4；
3.3如果发起的是差异备份，备份代理根据任务参数，查询备份服务中已有时间点类型，如果最近时间为完备时间点并且是时间点副本是完整的，则执行步骤4，否则将备份类型转为全量备份，执行步骤4；
3.4如果发起的永久备份，执行3.2步骤，；
4、备份时间对象，将时间点信息写入存储介质中，执行步骤5；
5、数据源分析，产生备份对象列表，执行步骤6；
6、备份对象通过负载均衡器(多客户端并发情况下)和文件过滤器(开启文件过滤的情况下)，执行步骤7，否则执行步骤5；
7、备份对象，如果是增量备份，判断对象是否可以有增量数据，如果可以增量，执行步骤8，否则回到步骤5；
8、将备份对象传递给HDFS Client，通过HDFS读取备份对象的文件块，并写入备份存储，执行步骤9；
9、如果备份对象成功备份，标记副本为完整，执行步骤5，否则标记为不完整副本执行步骤11；
10、所有备份对象都完成备份，则执行步骤11；
11、存储特殊元数据(HDFS连接信息)以及副本完整性，当前备份代理客户端任务结束。
如图7所示，恢复流程如下：
1、用户选择需要恢复的时间和恢复文件或者目录，选择恢复位置，发起恢复；
2、代理客户端收到恢复指令，解析参数，确定时间的可用性和需要恢复的数据信息，执行步骤3；
3、开启数据源读取器，分析数据源，产生恢复对象，执行步骤4；
4、生成恢复对象列表，依次取出备份对象，执行步骤5；
5、恢复对象通过负载均衡器(多客户端并发情况下)和文件过滤器(开启文件过滤的情况下)判断，如果通过则执行步骤6，否则执行步骤4；
6、根据恢复目的地类别，新的路径合成，进行数据恢复，执行步骤7，本实施例中，恢复目的地类别包括HDFS文件***和Linux文件***下的extx；
7、代理客户端将数据发HDFS Clinet，HDFS client根据覆盖规则将数据写入HDFS，写入成功则执行步骤5，失败执行步骤8；
8、当前代理客户端恢复任务结束。
综上所述，本发明基于HDFS提供的JNI接口数据，能够提供完全备份、增量备份、差异备份和永久增量，由于不使用快照技术，因此能够灵活地配置备份对象，在实际应用中，还可提供web的方式，一键式配置备份任务和备份存储，摆脱命令行、复杂目的地配置的，避免了复杂的配置操作，且能提供多种恢复选择。

Claims (7)

1.一种HDFS数据备份恢复***，其特征在于，包括设置有多个HDFS客户端(11)的HDFS单元(1)，多个HDFS客户端(11)分别对应与多个代理客户端(2)相互连接，所述HDFS客户端(11)与代理客户端(2)均位于同一台设备上，多个代理客户端(2)共同与虚拟客户端(3)相互连接，所述虚拟客户端(3)与备份服务器(4)相互连接，多个代理客户端(2)还分别与备份服务器(4)相互连接，所述备份服务器(4)内设置有用于存储备份数据的存储介质(41)，所述备份服务器(4)用于创建备份恢复任务，与代理客户端(2)进行数据交互，以及对存储介质(41)进行数据管理；
所述虚拟客户端(3)用于将备份恢复任务定位至与其连接的多个代理客户端(2)；
所述代理客户端(2)用于执行备份恢复任务，以读取HDFS备份对象或写入HDFS恢复对象；
所述HDFS客户端(11)用于接收和响应代理客户端(2)提供的读取或写入操作；
应用上述***，实现一种HDFS数据备份方法，包括以下步骤：
A1、根据用户选择的需要保护的数据源、备份高级参数和备份类型，由备份服务器发起备份任务，并将对应的备份指令发送给与虚拟客户端连接的多个代理客户端；
A2、多个代理客户端分别从对应的HDFS客户端获取HDFS当前时间；
A3、多个代理客户端根据接收的备份指令，确认备份模式；
A4、根据备份模式，多个代理客户端分别通过对应的HDFS客户端获取备份时间对象，并将HDFS当前时间点信息传输给备份服务器、写入存储介质中；
A5、各代理客户端通过分析备份任务中的数据源，产生备份对象列表；
A6、根据备份对象列表，各代理客户端分别依次判断各备份对象是否有被备份过、是否被过滤、是否为增量数据；
A7、各代理客户端将判断为增量数据的备份对象传输给对应的HDFS客户端，以读取该备份对象的文件块，并传输给备份服务器、写入存储介质中，同时存储对应的HDFS连接信息和时间点副本完整标记信息，以完成备份任务；
所述步骤A4具体包括以下步骤：
A41、若发起的是全量备份任务，则执行步骤A44；
A42、若发起的是增量备份任务或永久增量备份任务，则代理客户端根据备份任务，从备份服务器查询已有时间点类型，若查找到全备时间点，且全备时间点和HDFS当前时间之间的时间点副本是完整的，则执行步骤A44，否则将备份类型转为全量备份，之后执行步骤A44；
A43、若发起的是差异备份，则代理客户端根据备份任务，从备份服务器查询已有时间点类型，若最近时间为全备时间点，且时间点副本是完整的，则执行步骤A44，否则将备份类型转为全量备份，之后执行步骤A44；
A44、备份时间对象，将HDFS当前时间点信息传输给备份服务器、写入存储介质中。
2.根据权利要求1所述的一种HDFS数据备份恢复***，其特征在于，所述步骤A1中需要保护的数据源具体为HDFS文件或目录。
3.根据权利要求1所述的一种HDFS数据备份恢复***，其特征在于，所述步骤A6具体是将备份对象通过负载均衡器，以判断该备份对象是否已被备份过；
将备份对象通过文件过滤器，以判断该备份对象是否被过滤。
4.根据权利要求1所述的一种HDFS数据备份恢复***，其特征在于，所述步骤A7具体包括以下步骤：
A71、代理客户端将备份对象传递给HDFS客户端，已读取该备份对象的文件块，并将该文件块传输给备份服务器、写入存储介质中；
A72、若备份对象成功备份，则标记时间点副本为完整，否则标记时间点副本为不完整；
A73、当备份对象列表中所有备份对象均完成备份及时间点副本标记操作后，将备份对象对应的HDFS连接信息以及时间点副本完整标记信息同时进行存储，以完成备份任务。
5.一种应用权利要求1所述***的HDFS数据恢复方法，其特征在于，包括以下步骤：
B1、根据用户选择的恢复时间、恢复数据和恢复位置，由备份服务器发起恢复任务，并将对应的恢复指令发送给与虚拟客户端连接的多个代理客户端；
B2、多个代理客户端根据接收的恢复指令，通过解析参数，确定时间的可用性以及需要恢复的数据信息；
B3、各代理客户端通过分析恢复任务中的数据源，产生恢复对象列表；
B4、根据恢复对象列表，各代理客户端分别依次判断各恢复对象是否有被恢复过、是否被过滤；
B5、通过数据解析和新路径合成，得到恢复数据，各代理客户端将恢复数据传输给HDFS客户端，以完成恢复任务。
6.根据权利要求5所述的一种HDFS数据恢复方法，其特征在于，所述步骤B4具体是将恢复对象通过负载均衡器，以判断该恢复对象是否已被备份过；
将恢复对象通过文件过滤器，以判断该恢复对象是否被过滤。
7.根据权利要求5所述的一种HDFS数据恢复方法，其特征在于，所述步骤B5具体包括以下步骤：
B51、通过数据解析得到需要恢复的数据文件名；
B52、根据设定的恢复任务，若恢复任务中要求恢复到新路径，则将新路径与需要恢复的数据文件名拼接合成为恢复数据，否则将需要恢复的数据文件名作为恢复数据；
B53、各代理客户端将对应的恢复数据传输给HDFS客户端，根据覆盖规则将恢复数据写入HDFS，以完成恢复任务。
CN202011188471.1A 2020-10-30 2020-10-30 一种hdfs数据备份恢复***及备份恢复方法 Active CN112214357B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011188471.1A CN112214357B (zh) 2020-10-30 2020-10-30 一种hdfs数据备份恢复***及备份恢复方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011188471.1A CN112214357B (zh) 2020-10-30 2020-10-30 一种hdfs数据备份恢复***及备份恢复方法

Publications (2)

Publication Number Publication Date
CN112214357A CN112214357A (zh) 2021-01-12
CN112214357B true CN112214357B (zh) 2022-12-30

Family

ID=74057663

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011188471.1A Active CN112214357B (zh) 2020-10-30 2020-10-30 一种hdfs数据备份恢复***及备份恢复方法

Country Status (1)

Country Link
CN (1) CN112214357B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112800019A (zh) * 2021-03-03 2021-05-14 国网甘肃省电力公司 基于Hadoop分布式文件***的数据备份方法及***
CN113112023B (zh) * 2021-06-15 2021-08-31 苏州浪潮智能科技有限公司 AIStation推理平台的推理服务管理方法和装置
CN114153660A (zh) * 2021-11-29 2022-03-08 平安壹账通云科技(深圳)有限公司 一种数据库备份方法、装置、服务器及介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110851302A (zh) * 2019-10-31 2020-02-28 上海爱数信息技术股份有限公司 一种数据库信息的备份方法及恢复方法
CN111352700A (zh) * 2020-02-29 2020-06-30 苏州浪潮智能科技有限公司 一种虚拟机跨云在线迁移方法、***、终端及存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101741846B (zh) * 2009-12-22 2013-12-11 北京网御星云信息技术有限公司 文件下载的方法、装置及***
US8977828B2 (en) * 2012-06-21 2015-03-10 Ca, Inc. Data recovery using conversion of backup to virtual disk
CN104572357A (zh) * 2014-12-30 2015-04-29 清华大学 一种用于hdfs***的备份和恢复方法
CN106156359B (zh) * 2016-07-28 2019-05-21 广东奥飞数据科技股份有限公司 一种云计算平台下的数据同步更新方法
CN107613026A (zh) * 2017-10-31 2018-01-19 四川仕虹腾飞信息技术有限公司 基于云存储***的分布式文件管理***

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110851302A (zh) * 2019-10-31 2020-02-28 上海爱数信息技术股份有限公司 一种数据库信息的备份方法及恢复方法
CN111352700A (zh) * 2020-02-29 2020-06-30 苏州浪潮智能科技有限公司 一种虚拟机跨云在线迁移方法、***、终端及存储介质

Also Published As

Publication number Publication date
CN112214357A (zh) 2021-01-12

Similar Documents

Publication Publication Date Title
CN112214357B (zh) 一种hdfs数据备份恢复***及备份恢复方法
CN110647580A (zh) 分布式容器集群镜像管理主节点、从节点、***及方法
KR101970839B1 (ko) 서비스의 2차 위치에서의 작업의 재생 기법
US20050114854A1 (en) System and method for dynamic cooperative distributed execution of computer tasks without a centralized controller
US20120174112A1 (en) Application resource switchover systems and methods
JP5444178B2 (ja) バックアップ・リストア処理装置とバックアップ・リストア処理方法およびプログラム
EP3474143B1 (en) Method and apparatus for incremental recovery of data
CN111309524A (zh) 分布式存储***故障恢复方法、装置、终端及存储介质
CN114003439B (zh) 数据备份方法、装置、设备及存储介质
CN113438292A (zh) 一种基于自动化运维工具的代理部署方法及装置
CN110851303B (zh) 一种数据备份方法、***及设备
CN113672350A (zh) 一种应用处理方法、装置及相关设备
CN110633174A (zh) 容灾切换方法、设备以及计算机可读存储介质
CN110972497A (zh) 虚拟化平台的容灾方法及装置
CN112035062B (zh) 云计算的本地存储的迁移方法、计算机设备及存储介质
JP5352027B2 (ja) 計算機システムの管理方法及び管理装置
CN118018463A (zh) 一种故障处理方法、装置、设备及可读存储介质
CN110620798A (zh) Ftp连接的控制方法、***、设备和存储介质
CN110096226B (zh) 磁盘阵列部署方法和装置
CN115098300B (zh) 一种数据库的备份方法、容灾方法、装置及设备
CN110543385A (zh) 一种虚拟化备份方法和虚拟化备份还原方法
CN111767166A (zh) 数据备份的方法和装置
CN106209450B (zh) 服务器故障切换方法及应用自动化部署***
CN114281600A (zh) 一种容灾备份和容灾恢复方法、装置、设备及存储介质
CN112148532A (zh) 硬盘数据的批量恢复方法、装置、存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant