CN1276349C - 一种机群跨平台并行***镜像备份的方法 - Google Patents
一种机群跨平台并行***镜像备份的方法 Download PDFInfo
- Publication number
- CN1276349C CN1276349C CN 03148518 CN03148518A CN1276349C CN 1276349 C CN1276349 C CN 1276349C CN 03148518 CN03148518 CN 03148518 CN 03148518 A CN03148518 A CN 03148518A CN 1276349 C CN1276349 C CN 1276349C
- Authority
- CN
- China
- Prior art keywords
- backup
- node
- file
- address
- service
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Hardware Redundancy (AREA)
Abstract
本发明公开了一种机群跨平台并行***镜像备份的方法，至少包括：首先初始化设置后，启动待备份的多个结点机，发送定时备份命令；接着判断定时时间是否到来，如果没有到，则继续等待，如果定时时间到，进行下一步；生成远程备份用的文件，远程启动多个结点机；然后这些结点机按照启动镜像中的***备份脚本里的程序自动进行***备份，把***程序完整地并行复制到远程的结点机中；备份完成后，结点机重启，自动返回到备份前的***。本发明有效解决了大规模机群中并行镜像备份的难题，在一次备份操作中，对多个结点机的硬盘同时进行了***级备份；对可能是海量的硬盘数据按照指定的压缩方式进行了压缩。
Description
技术领域
本发明涉及计算机***管理技术，特别是涉及在由计算机机群构成的跨平台并行***中进行镜像备份的方法。
背景技术
机群是一组相互独立的、通过高速网络互联的计算机(又称为结点)的集合，机群***是以单一***的模式对机群加以管理，即充分利用机群中的每一台计算机的资源，又实现复杂运算的并行处理***。
机群***的备份一直是机群管理***的一个重要课题。它与单计算机结点(以下简称结点)备份的不同之处有：(1)机群***的备份是多结点的备份，它要对多个结点的数据内容进行备份。(2)机群备份是网络远程备份，通过网络进行备份。(3)机群备份要求是并发的。即多个结点同时进行备份，就好像对一个结点进行备份一样。
机群***的备份可简单地分为文件级备份和***级备份。文件级备份包括一般的文件或目录备份。***级备份包括文件***备份、硬盘分区备份、硬盘备份。其中硬盘备份也可称为“硬盘镜像”、“硬盘映像”或“硬盘克隆”。按数据备份的实时程度也可分为同步备份和异步备份。同步备份所使用的技术一般有RAID(redundant array of inexpensive disks)、高可用(HA)等。同步***备份要求在***运行的同时对整个软件***进行实时的完全备份，容灾备份技术就属于这一范畴，目前只有具备很强技术实力的大公司才拥有成熟的容灾备份技术。
异步备份对备份的实时程度要求不高，可以延迟一段时间后，对目标***一段时间前的数据内容进行备份，也可以使***暂时停下来对***进行备份。
目前对机群进行异步方式备份的方法主要还是基于客户端结点备份到备份服务器结点的“在线”备份方式。即结点机之间在网络联通状态下进行网络复制。这种备份方法对文件级备份比较有效，但是对***级的镜像备份几乎是无效的。因为***级备份需要保存***引导区的内容，普通的复制命令不能正确复制***引导文件；而且***在运行中有些***文件是禁止访问的。所以***级镜像备份需要采取特殊的方法。例如用***启动盘重新启动***后进行“离线”(相对于“在线”，不是真正的离线)方式的镜像备份，其典型代表是Ghost。它的缺点也是显而易见的，它必须先用外部设备(软磁盘)生成一个***启动盘。
现在，在大多数支持SCSI设备的主板BIOS里，都配备了PXE(Pre-Execution Environment，预处理环境)，简化了动态主机地址分配过程。而且Linux***本身是微内核结构，可以以很小的内核及少量的支撑文件构建起一个精简操作***，在此操作***基础上利用***常用命令就可以完成较复杂的操作，如压缩、远程调用、备份和恢复。
如果能够设计出这样一种“离线”备份技术，使得***的备份能很好地利用新的硬件技术和Linux软件的长处，既可以用于***级的镜像备份，支持定时自动备份，支持一种以上的压缩方式，体现并行技术，又不需要人为干预；将是对现有技术作出的一大贡献。
发明内容
本发明要解决的技术问题是提出一种机群跨平台并行***镜像备份的方法，使用本发明可大大降低备份和恢复过程操作复杂度，并行进行***备份，提高备份的速度，从而提高工作效率。
本发明所述机群跨平台并行***镜像备份的方法，主要包括如下步骤：
一、初始化设置后，启动待备份的多个结点机，发送定时备份命令；
二、判断定时时间是否到来，如果没有到，则继续等待，如果定时时间到，进行下一步；
三、生成远程备份用的启动镜像，远程重新启动多个结点机，该启动镜像中包含***备份脚本；
四、这些结点机按照启动镜像中的***备份脚本里的程序自动进行***备份，把***程序完整地并行复制到远程的结点机中；
五、备份完成后，结点机重启，自动返回到备份前的***。
本发明实现了对大规模机群结点的并行***备份，既利用了PXE的优势，又利用了Linux***的特点，其主要的优点和创新点有：
它有效解决了大规模机群中并行镜像备份的难题，在一次备份操作中，对多个结点机的硬盘同时进行了***级备份。
对可能是海量的硬盘数据按照指定的压缩方式进行了压缩。
无论硬盘中装的是Linux***，还是Windows***，经过备份以后，再进行恢复，***能恢复到备份前的状态，全部正常工作。
加入了定时备份功能，在指定的时间(如周末或节假日)，自动进行多结点的并发***备份，完全不用人工干预就可以完成多个结点的***备份。
附图说明
图1是本发明所述方法的总流程图；
图2是本发明所述方法中进行远程备份的流程图；
图3是本发明所述方法中备份后结点重启的流程图。
具体实施方式
对于***管理员来说，备份是经常需要考虑的问题，面对大量的服务器，如果采用Ghost或其他常规的方法进行备份，工作量非常大，而且只能一个个结点进行备份，工作效率非常低，而且备份和恢复操作的十分复杂。
本发明主要解决大型机群中多结点的并行***备份、跨平台备份、自动备份和压缩备份的问题。
如图1所示，在控制台对多个结点并行发出***备份的命令后，多个结点机几乎同时于指定时间自动生成每个结点机的启动镜像，启动镜像里包含***备份脚本程序，接着这些结点机几乎同时立刻重新启动，进入一个精简的Linux操作***环境，并能与备份服务器进行远程通讯，然后这些结点按***备份脚本里的程序自动进行***备份，把***完整地并行复制到远程的备份服务器，复制的同时还可以按指定的压缩方式压缩备份文件，备份完成后，这些结点自动返回到备份前的***，整个过程无须人为干预。
当硬盘发生物理损坏或硬盘分区出现软件故障导致***无法正常启动时，利用本发明进行恢复，可以快速地恢复原***，而不用重新装操作***、再接着装各种应用软件***最后进行复杂的配置。
图2给出了本发明所述方法中进行远程备份的具体实施过程。
首先，重新启动结点1-N，在***自检完毕后，进入各结点的CMOS设置界面，调整结点1-N的开机启动顺序(Boot Sequence)，把从“PXE”启动放在所有其他设备之前，确保“PXE”是第一启动设备。然后，下载pxelinux.0文件放在备份服务器的TFTP(简单文件传输协议)的首目录下。
接着，设置备份服务器的相关服务，包括：
打开结点1-N定时执行命令的后台服务。对于Linux结点，如果需要启动定时服务，只需要运行“/etc/rc.d/init.d/crond restart”即可。如果需要一开机就运行定时服务，以超级用户身份在命令行上运行“/sbin/chkconfig crond on”即可。对于Windows 2000 Server***的结点，如果允许程序在指定时间运行，操作步骤是：在“管理工具”的“服务”里启动“Task Scheduler”服务。
打开备份服务器的RSH(远程终端)服务，并把结点1-N的IP地址放入RSH配置文件/root/.rhosts中，允许结点1-N通过RSH访问备份服务器。
打开备份服务器的TFTP服务，允许其他结点通过TFTP协议下传文件。以超级用户身份在命令行上在备份服务器上运行“/sbin/chkconfig tftpon”和“/etc/rc.d/init.d/xinetd restart”即可。
在执行完以上步骤后，就可以按照以下步骤进行实质操作了。
控制台给结点1-N并行发送带有定时时间的***备份命令。结点1-N在各自接收到备份服务器发送来的定时的***备份命令后，把时间和命令分别提取出来，按照定时执行命令的格式把时间和命令写到定时执行命令的配置文件中，并重新启动Crond服务(Windows结点直接执行定时命令)。等到定时时间一到，结点1-N同时把本机的MAC地址、IP地址等信息作为执行参数，通过远程调用，在备份服务器上执行以下操作。
把一个共用的文件initrd装载(mount)到一个临时目录，生成一个临时文件***，这个文件***有共用的启动模块、通讯模块和必备的备份和压缩命令。如果临时目录已被装载，则等待1秒后，再尝试装载。这个文件initrd用一个特制的脚本文件生成，里面包含共用的模块、命令和库文件。
把相应的模块***命令、激活网卡并配有该结点IP地址的命令、通过RSH备份该结点硬盘并压缩备份的命令***到临时目录下的bin/init文件中，定制精简操作***执行文件init，该文件最后一条指令是执行特制的重启(reboot)命令。
把相应的板卡驱动模块复制到临时目录下的某一级目录中。
卸载临时文件***，压缩定制后的文件initrd，并把压缩后的文件改名为以结点名命名的启动镜像文件，放在TFTP首目录下。
按PXE规则生成PXE启动引导文件，在引导文件中要含有以结点名命名的启动镜像文件名内容。
生成含有结点1-N的IP地址信息、MAC信息的DHCP(动态主机配置协议)配置文件“/etc/dhcpd.conf”。
等待结点1-N的所有结点完成以上步骤，如果有某些结点机因故不能完成以上步骤，则等待一段时间后强迫往下执行。
判断有没有其他的DHCP服务器正在运行并有可能发生冲突，如果没有，则启动备份服务器的DHCP服务。
向结点1-N并行发送重新启动命令。
图3是是本发明所述方法中备份后结点重启的流程图。
结点机接收到重启指令后，正常关闭操作***并重新启动，由于第一启动项是PXE，结点机首先进入到PXE环境，向外发出含有网络接口设备MAC信息的报文，DHCP服务器(备份服务器)在接收到这个MAC地址信息后，查看在DHCP配置文件里有没有匹配的项，如果有，则查找到该MAC匹配的IP地址，给结点机返回该机的IP地址、启动文件以及其他信息；结点机则以该地址作一个映射，在DHCP服务器的首目录查找对应的文件；找到文件后，再在TFTP服务首目录中查找该MAC地址对应的启动镜像文件。
找到启动镜像文件后，DHCP服务器通过TFTP向结点机下传操作***内核和启动镜像文件。结点机开始导入操作***内核，在内存中建立一个简易文件***，之后，操作***首先执行init文件，当装载完必要的模块后，开始按照镜像文件里定义的脚本程序顺序执行命令。
脚本程序首先给网络接口配置原来的IP地址并激活，建立本地路由，经过几秒钟试探后，操作***建立起对外通讯的路由表；接着，开始执行备份任务：先用***复制命令读取本地硬盘数据，然后用RSH命令建立起远程过程调用，通过远程调用建立起一个到达备份服务器的数据通道(也称管道)，数据通过该通道前被压缩，在通道的末端存储压缩过的数据。
当所有数据都读取完以后，向远程结点发送信息，通知***备份完毕，删除DHCP服务器中本结点机的MAC、IP地址等内容，重新启动DHCP服务。接着脚本程序执行经过改造过的重启(reboot)命令。
结点重启时，虽然在PXE中将继续寻求动态IP地址，但是由于没有相应的DHCP配置项，所以该结点将得不到本机的动态地址。一般PXE都设有超时控制，超时时限一到，结点机将正常进行硬盘启动，读取硬盘上的BOOT信息，然后进入到正常的操作***中。
恢复过程与上面介绍的备份过程十分类似，除了恢复过程要使用对应的恢复命令和参数之外，与备份过程不同之处还主要有：
备份命令的参数包含有要备份的硬盘或分区名，而恢复命令相应的参数是对应的镜像文件名(或磁带机设备名)；
备份如果应用了压缩，则恢复要用对应的解压缩命令；
恢复步骤进行到重启结点之后，进入到开始执行恢复任务的时刻，先通过RSH命令建立起远程过程调用，并建立起一个到达备份服务器的数据通道(管道)，通道的开始部分用***复制命令读取远程数据，数据通过该通道时被解压缩，在通道的末端把解压缩的数据写到本地硬盘或分区上。
总之，本发明大大方便了机群中多结点***备份，可以完整地备份多种操作***，也就是说可以对多个硬盘分区或整个硬盘进行彻底的镜像备份，而不管硬盘分区和硬盘上安装的是什么操作***。本发明是一种适合于机群中跨平台的、异步方式的、***级镜像备份方法。
最后所应说明的是：以上实施例仅用以说明而非限制本发明的技术方案，尽管参照上述实施例对本发明进行了详细说明，本领域的普通技术人员应当理解：依然可以对本发明进行修改或者等同替换，而不脱离本发明的精神和范围的任何修改或局部替换，其均应涵盖在本发明的权利要求范围当中。
Claims (6)
1、一种机群跨平台并行***镜像备份的方法，其特征在于，包括如下步骤：
步骤一、初始化设置后，启动待备份的多个结点机，发送定时备份命令；
步骤二、判断定时时间是否到来，如果没有到，则继续等待，如果定时时间到，进行下一步；
步骤三、生成远程备份用的启动镜像，远程重新启动多个结点机，该启动镜像中包含***备份脚本；
步骤四、这些结点机按照启动镜像中的***备份脚本里的程序自动进行***备份，把***程序完整地并行复制到远程的结点机中；
步骤五、备份完成后，结点机重启，自动返回到备份前的***。
2、根据权利要求1所述的机群跨平台并行***镜像备份的方法，其特征在于，所述步骤三，进一步包括：
打开结点1-N定时执行命令的后台服务；
打开备份服务器的远程终端服务，并把结点1-N的IP地址放入远程终端配置文件中，允许结点1-N通过远程终端访问备份服务器；
打开备份服务器的简单文件传输协议服务，允许其他结点通过简单文件传输协议下传文件。
3、根据权利要求2所述的机群跨平台并行***镜像备份的方法，其特征在于，控制台给结点1-N并行发送带有定时时间的***备份命令，结点1-N在各自接收到备份服务器发送来的定时的***备份命令后，把时间和命令分别提取出来，按照定时执行命令的格式把时间和命令写到定时执行命令的配置文件中，并重新启动相关服务。
4、根据权利要求3所述的机群跨平台并行***镜像备份的方法，其特征在于，通过远程调用，在备份服务器上执行以下操作：
把一个共用的文件initrd装载到一个临时目录，生成一个临时文件***；
把相应的模块***命令、激活网卡并配有该结点IP地址的命令、通过RSH备份该结点硬盘并压缩备份的命令***到临时目录下的bin/init文件中，定制精简操作***执行文件init；
把相应的板卡驱动模块复制到临时目录下的某一级目录中；
卸载临时文件***，压缩定制后的文件initrd，并把压缩后的文件改名为以结点名命名的启动镜像文件，放在简单文件传输协议首目录下；
按预处理环境规则生成预处理环境启动引导文件，在引导文件中要含有以结点名命名的启动镜像文件名内容；
生成含有结点1-N的IP地址信息、MAC信息的动态主机配置协议配置文件；
等待结点1-N的所有结点完成以上步骤，判断有没有其他的动态主机配置协议服务器正在运行并有可能发生冲突，如果没有，则启动备份服务器的动态主机配置协议服务；
向结点1-N并行发送重新启动命令。
5、根据权利要求4所述的机群跨平台并行***镜像备份的方法，其特征在于，结点机接收到重启指令后，正常关闭操作***并重新启动，结点机首先进入到预处理环境，向外发出含有网络接口设备MAC信息的报文，作为备份服务器的动态主机配置协议服务器在接收到这个MAC地址信息后，查看在动态主机配置协议配置文件里有没有匹配的项，如果有，则查找到该MAC匹配的IP地址，给结点机返回该机的IP地址、启动文件以及其他信息；结点机则以该地址作一个映射，在动态主机配置协议服务器的首目录查找对应的文件；找到文件后，再在简单文件传输协议服务首目录中查找该MAC地址对应的启动镜像文件并进行相应操作。
6、根据权利要求5所述的机群跨平台并行***镜像备份的方法，其特征在于，动态主机配置协议服务器通过简单文件传输协议向结点机下传操作***内核和启动镜像文件；脚本程序首先给网络接口配置原来的IP地址并激活，建立本地路由；接着，开始执行备份任务；
当所有数据都读取完以后，向远程结点发送信息，通知***备份完毕，删除动态主机配置协议服务器中本结点机的MAC、IP地址等内容，重新启动动态主机配置协议服务；
最后脚本程序执行经过改造的重启命令。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN 03148518 CN1276349C (zh) | 2003-06-30 | 2003-06-30 | 一种机群跨平台并行***镜像备份的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN 03148518 CN1276349C (zh) | 2003-06-30 | 2003-06-30 | 一种机群跨平台并行***镜像备份的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN1567198A CN1567198A (zh) | 2005-01-19 |
| CN1276349C true CN1276349C (zh) | 2006-09-20 |
Family
ID=34472299
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN 03148518 Expired - Lifetime CN1276349C (zh) | 2003-06-30 | 2003-06-30 | 一种机群跨平台并行***镜像备份的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN1276349C (zh) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102457541A (zh) * | 2010-10-25 | 2012-05-16 | 鸿富锦精密工业（深圳）有限公司 | 无盘工作站启动过程中避免发生资源竞争的***及方法 |
| CN102591750A (zh) * | 2011-12-31 | 2012-07-18 | 曙光信息产业股份有限公司 | 集群***的恢复方法 |
| CN102664922A (zh) * | 2012-03-30 | 2012-09-12 | 浪潮电子信息产业股份有限公司 | 一种基于Linux***的高速网络启动方法 |
| CN102707968A (zh) * | 2012-04-12 | 2012-10-03 | 华平信息技术股份有限公司 | 安装备份***生成方法及生成*** |
| CN104407942A (zh) * | 2014-11-28 | 2015-03-11 | 上海爱数软件有限公司 | 一种基于异地存储的Linux操作***备份恢复方法 |
| CN106487524B (zh) * | 2015-08-27 | 2019-09-13 | 昆达电脑科技(昆山)有限公司 | 远程开机的方法 |
| CN106326051A (zh) * | 2016-08-22 | 2017-01-11 | 浪潮电子信息产业股份有限公司 | 一种pxe测试环境实现os自动切换的方法 |
| CN108804253B (zh) * | 2017-05-02 | 2021-08-06 | 中国科学院高能物理研究所 | 一种用于海量数据备份的并行作业备份方法 |
| CN114079616B (zh) * | 2021-11-02 | 2023-11-03 | 中国船舶重工集团公司第七0三研究所 | 一种非热备磁盘阵列服务器数据库冗余方法 |
-
2003
- 2003-06-30 CN CN 03148518 patent/CN1276349C/zh not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| CN1567198A (zh) | 2005-01-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11556325B2 (en) | Software installation onto a client using existing resources | |
| TWI547875B (zh) | 將機器轉換至虛擬機器的方法及電腦程式產品 | |
| US7353355B1 (en) | System and method for rapid restoration of server from backup | |
| US7937612B1 (en) | System and method for on-the-fly migration of server from backup | |
| US7984108B2 (en) | Computer system para-virtualization using a hypervisor that is implemented in a partition of the host system | |
| US7281104B1 (en) | System and method for online data migration | |
| CN111338854B (zh) | 基于Kubernetes集群快速恢复数据的方法及*** | |
| US9547562B1 (en) | Boot restore system for rapidly restoring virtual machine backups | |
| US20060143501A1 (en) | System and method for rapid restoration of server from back up | |
| CN101408856A (zh) | 一种用于容灾备份的***和方法 | |
| WO2017049828A1 (zh) | 基于Linux的数据处理方法、装置和*** | |
| US8612553B2 (en) | Method and system for dynamically purposing a computing device | |
| JP2004013563A (ja) | コンピュータシステム、ユーザデータ記憶装置、記憶装置のデータ受け渡し方法、ユーザデータのバックアップ方法、およびプログラム | |
| WO2002091179A2 (en) | Method and apparatus for migration of managed application state for a java based application | |
| CN1276349C (zh) | 一种机群跨平台并行***镜像备份的方法 | |
| CN111381933A (zh) | 一种Docker热迁移实现方法 | |
| US7506115B2 (en) | Incremental provisioning of software | |
| CN1279439C (zh) | 将数据流式传输至一网络中的计算机的***和方法 | |
| CN116383167A (zh) | 基于对象存储下的磁盘空间不足的解决方法 | |
| CN114490176A (zh) | 一种Linux跨磁盘卷组的灾备***以及灾备方法 | |
| CN1690963A (zh) | 远端部署多部计算机的方法与*** | |
| CA2555483A1 (en) | A method for providing live file transfer between machines | |
| KR100947136B1 (ko) | 소프트웨어의 증분 프로비져닝 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CX01 | Expiry of patent term |
Granted publication date: 20060920 |
|
| CX01 | Expiry of patent term |