CN107239505B - 集群镜像同步方法和*** - Google Patents

集群镜像同步方法和*** Download PDF

Info

Publication number
CN107239505B
CN107239505B CN201710328008.4A CN201710328008A CN107239505B CN 107239505 B CN107239505 B CN 107239505B CN 201710328008 A CN201710328008 A CN 201710328008A CN 107239505 B CN107239505 B CN 107239505B
Authority
CN
China
Prior art keywords
file
mirror image
information
node
current original
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710328008.4A
Other languages
English (en)
Other versions
CN107239505A (zh
Inventor
温云龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GCI Science and Technology Co Ltd
Original Assignee
GCI Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GCI Science and Technology Co Ltd filed Critical GCI Science and Technology Co Ltd
Priority to CN201710328008.4A priority Critical patent/CN107239505B/zh
Publication of CN107239505A publication Critical patent/CN107239505A/zh
Application granted granted Critical
Publication of CN107239505B publication Critical patent/CN107239505B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/16File or folder operations, e.g. details of user interfaces specifically adapted to file systems
    • G06F16/162Delete operations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/17Details of further file system functions
    • G06F16/178Techniques for file synchronisation in file systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/18File system types
    • G06F16/182Distributed file systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及一种集群镜像同步方法和***,其中方法包括以下步骤:接收镜像同步指令,所述同步指令包括集群***和原始文件信息,其中集群***包括各个节点和节点文件夹,根据镜像同步指令将当前原始文件信息镜像同步到集群***中各个节点内指定的文件夹中,得到各个节点的镜像文件;检测当前原始文件信息与各个节点的镜像文件信息;在当前原始文件信息与各个节点的镜像文件信息相同时,完成镜像同步过程。上述集群镜像同步方法和***,在镜像同步完成时,自动对原始文件信息和节点镜像文件信息进行校验,以保证镜像文件同步成功,避免对后续操作的影响,降低了用户操作难度。

Description

集群镜像同步方法和***
技术领域
本发明涉及集群镜像技术领域,特别是涉及一种集群镜像同步方法和***。
背景技术
集群***,是一种计算机***,将多台同构或异构的计算机软件和/或硬件连接起来高度紧密地协作完成计算工作,集群***对外表现为一台虚拟主机,集群***中的单个计算机通常称为节点,通常通过局域网连接,但也有其它的可能连接方式。镜像技术是将数据同时写入两份独立的磁盘中,如RAID1(Redundant Array of Independent Disks1,独立磁盘冗余阵列1),或是写入建立在多个物理资源上的卷资源中。其中,一个资源称为原始文件,另一个资源作为原始文件的副本,称为镜像文件,当原始文件故障时,可以将业务切换至镜像文件,以保证业务不中断。在建立原始文件与镜像文件的镜像关系时,通过执行同步任务将原始文件的所有数据完全同步到镜像文件,在写入业务数据时,将业务数据同时写入原始文件和镜像文件,以保证二者的数据一致。镜像同步功能是集群***工作的基础,即集群启动时需要在集群服务器之间进行镜像同步操作。而目前常用的集群镜像同步技术常常由于网络中断、读写错误等原因造成镜像同步操作失败,不能及时进行校验及修复,为后续操作造成很多不便。
发明内容
基于此,有必要针对镜像同步操作失败不能及时校验及修复,为后续操作造成不便问题,提供一种集群镜像同步方法和***。
一种集群镜像同步方法,其特征在于,包括以下步骤:
接收镜像同步指令,所述镜像同步指令包括集群***信息和原始文件信息,其中所述集群***信息包括各个节点信息和各个节点指定的文件夹信息;
根据镜像同步指令将当前原始文件镜像同步到集群***中各个节点指定的文件夹中,得到各个节点的镜像文件;
检测所述当前原始文件信息与所述各个节点的镜像文件信息;
在所述当前原始文件信息与所述各个节点的镜像文件信息相同时,完成镜像同步过程。
一种集群镜像同步***,包括:
信息获取模块,用于接收镜像同步指令,所述镜像同步指令包括集群***信息和原始文件信息,其中所述集群***信息包括各个节点信息和各个节点指定的文件夹信息;
镜像文件同步模块,用于根据镜像同步指令将当前原始文件镜像同步到集群***中各个节点指定的文件夹中,得到各个节点的镜像文件;
镜像文件检测模块,用于检测所述当前原始文件信息与所述各个节点的镜像文件信息;
镜像同步确定模块,用于在所述当前原始文件信息与所述各个节点的镜像文件信息相同时,完成镜像同步过程。
本发明的集群镜像同步方法和***,在镜像同步完成后,自动对原始文件信息和节点镜像文件信息进行校验,以保证镜像文件同步成功,避免对后续操作的影响,降低了用户操作难度。
附图说明
图1为本发明的集群镜像同步方法在一实施例中的流程示意图;
图2为本发明的集群镜像同步方法在另一实施例中的流程示意图;
图3为本发明的集群镜像同步方法在其中一实施例中的流程示意图;
图4为本发明的集群镜像同步方法在其中一实施例中的流程示意图;
图5为本发明的集群镜像同步方法在其中一实施例中的流程示意图;
图6为本发明的集群镜像同步***在其中一实施例中的结构示意图。
具体实施方式
下面将结合较佳实施例及附图对本发明的内容作进一步详细描述。显然,下文所描述的实施例仅用于解释本发明,而非对本发明的限定。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。应当说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部内容。
图1为本发明的集群镜像同步方法在一个实施例中的流程示意图,如图1所示,本发明实施例中的集群镜像同步方法,包括以下步骤:
步骤S110,接收镜像同步指令,接收镜像同步指令,所述镜像同步指令包括集群***信息和原始文件信息,其中所述集群***信息包括各个节点信息和各个节点指定的文件夹信息。
集群***是指一种由互相连接的计算机组成的并行或分布式***,可以作为单独、统一的计算资源来使用。在本实施例中,集群***是由至少一台计算机组成的***,其中将每台计算机记为一个节点。另外,每个节点中存储有至少一个文件夹。原始文件是指需要同步到集群***中各节点的原始资源。
镜像同步指令可以是用户操作的,其中镜像同步指令中包括集群***信息和原始文件信息,在镜像同步操作过程中,根据镜像同步指令将原始文件镜像同步至集群***中各个节点指定的文件夹中。
步骤S120,根据镜像同步指令将当前原始文件镜像同步到集群***中各个节点内指定的文件夹中,得到各个节点的镜像文件。
步骤S130,检测当前原始文件信息与各个节点的镜像文件信息。
步骤S140,在当前原始文件信息与各个节点的镜像文件信息相同时,完成镜像同步过程。
在将当前原始文件镜像同步至集群***中各个节点内指定的文件夹后,各个节点都会获得对应的镜像文件。对当前原始文件信息和各个节点的镜像文件信息进行检测分析,在当前原始文件信息与每一个节点的镜像文件信息都相同的时,完成镜像同步过程。
在其中的一个实施例中,如图2所示,在检测当前原始文件信息与各个节点的镜像文件信息的步骤中包括以下步骤:
步骤S131,在当前原始文件和各节点的镜像文件中,随机提取位置相同且数量相等的文件切片序列,对当前原始文件的文件切片序列和各节点的镜像文件的文件切片序列进行函数运算,得到当前原始文件的文件切片序列信息码和各节点的镜像文件的文件切片序列信息码。
具体地,所述函数运算可以是散列值函数运算和/或加密函数运算,其中散列函数可以采用MD5函数,加密函数可以采用RC4函数。MD5(Message Digest Algorithm 5,信息摘要算法5)为计算机安全领域广泛使用的一种散列函数,常被用于加密和解密技术上,可以说是文件的“数字指纹”。任何一个文件,无论是可执行程序、图像文件、临时文件或者其他任何类型的文件,不管它的体积多大,都有且只有一个独一无二的MD5信息码。MD5将整个文件当作一个大文本信息,通过其不可逆的字符串变换算法,产生了唯一的MD5信息摘要,当文件被修改时,它的MD5也将随之改变。当两个文件完全相同时,这两个文件对应的MD5值也相同。
RC4(Rivest Cipher 4)算法是密钥长度可变的流加密算法簇,是一个可以快速软件实现的新的序列密码算法。RC4算法因其算法简洁、安全性高、易于软件实现,被广泛地应用于各种商业密码产品中,它还是许多重要的加密协议和标准的一部分。对文件序列进行RC4算法运算,能产生对应的文件RC4值。如果两个文件完全相同,这两个文件对应的RC4值也相同。
采用MD5函数和/或RC4函数对文件序列进行计算,可以得到文件序列的MD5值和/或RC4值,其中文件序列MD5值和/或RC4值可以作为文件序列信息码。在本实施例中,在完成镜像同步操作后,在当前原始文件和各节点的镜像文件中,随机提取位置相同且数量相等的文件切片序列,其中提取文件切片序列的数量不是一个定值,可以根据原始文件的大小选择提取合适数量文件切片序列,通常情况下原始文件越大提取文件切片序列数量越多。在提取当前原始文件的文件切片序列与各节点的镜像文件的文件切片序列之后,对当前原始文件的文件切片序列和各节点的镜像文件的文件切片序列进行MD5值和/或RC4值计算,并比对当前原始文件的文件切片序列MD5值和/或RC4值和各节点的镜像文件的文件切片序列MD5值和/或RC4值。
由于MD5值及RC4算法在对大文件进行计算时,需要时间较长,且对***运行会产生一定影响,可能会导致***运行不流畅,因此在本实施例中,采用在当前原始文件和各节点的镜像文件中,随机提取位置相同且数量相等的文件切片序列进行MD5和/或RC4值计算比对,这种比对方式在在保证比对准确性的前提下,极大地提升了比对效率。另外,还可以提升了***运行地稳定性。
步骤S132,在当前原始文件的文件切片序列信息码和各节点的镜像文件的文件切片序列信息码相同时,完成镜像同步过程。
在当前原始文件的文件切片和各节点的镜像文件的文件切片序列MD5值和/或RC4值都相同时,就可以确定当前原始文件信息和各个节点的镜像文件信息相同,然后完成镜像同步操作。
应当理解,所述文件切片序列信息码并不限于文件切片序列MD5值和/或RC4值,根据本发明的技术启示,本领域技术人员还可以采用MD4值、MD2值以及RC2值等作为文件切片序列信息码。
在其中一个实施例中,如图2所示,所述原始文件信息包括文件名称信息和文件大小信息;所述镜像文件信息还包括文件名称信息和文件大小信息;
在所述当前原始文件和各节点的所述镜像文件中,随机提取位置相同且数量相等的文件切片序列的步骤之前,还包括以下步骤:
步骤S133,检测当前原始文件信息与各个节点的镜像文件信息的文件名称信息和文件大小信息;
在当前原始文件信息与各个节点的镜像文件信息的文件名称信息和文件大小信息相同时,随机提取相同位置且相等数量当前原始文件的文件切片序列与各节点的镜像文件的文件切片序列。
在进行镜像同步时,将原始文件中的所有数据完全同步到各个节点,所以正常情况下原始文件信息与各个节点的镜像文件信息应该完成相同,即原始文件信息与各个节点的镜像文件信息中的数据完成一致。但在实际同步操作过程中,由于网络中断、读写错误等原因,致使原始文件信息与各个节点的镜像文件信息可能不相同。因此在完成镜像同步操作后,要对原始文件信息和各个节点的镜像文件信息进行检测。
首先,对原始文件和各个节点的镜像文件的文件名称信息和文件大小信息进行检测对比,当原始文件和各个节点的镜像文件的名称和文件大小信息都不相同时,原始文件信息与各个节点的镜像文件信息肯定不相同,即原始文件与各个节点的镜像同步文件中的数据必然不是完全一致的,提高检测效率。
应当理解,所述当前原始文件信息与各个节点的镜像文件信息并不限于切片序列信息码,根据本发明的技术启示,本领域技术人员还可以采用其他信息作为所述当前原始文件信息和镜像文件信息,实现当前原始文件和镜像文件的比对。
在其中一个实施例中,如图3所示,本发明的集群镜像同步方法,还包括:
步骤S134,在当前原始文件信息与所述各个节点的镜像文件信息不相同时,删除各个节点的镜像文件,重新将当前原始文件镜像同步到集群***中各个节点。
具体地,在将当前原始文件镜像同步到各节点后,检测当前原始文件信息与各个节点的镜像文件的文件信息,在当前原始文件信息与所述各个节点的镜像文件信息不相同时,表明当前原始文件与各个节点的镜像文件不相同,镜像同步操作失败。在这种情况下,删除所有的镜像文件,重新进行镜像同步操作。在发现同步操作失败后,及时进行修复,方便用户后期对文件的使用。
在其中一个具体实施例中,在当前原始文件与各个节点的镜像文件的文件名称信息和文件大小信息不相同,删除各个节点的镜像文件,重新将当前原始文件镜像同步到集群***中各个节点。
具体而言,在当前原始文件和各个节点的镜像文件的文件名称信息和文件大小信息不相同时,即当前原始文件与各个节点的镜像文件不相同,表明镜像同步操作失败,在这种情况下,删除所有的镜像文件,重新进行镜像同步操作。在发现同步操作失败后,及时进行修复,方便用户后期对文件的使用。
或者当前原始文件的文件切片序列信息码和各节点的镜像文件的文件切片序列信息码不相同时,在这种情况下,删除所有的镜像文件,重新进行镜像同步操作。在发现同步操作失败后,及时进行修复,方便用户后期对文件的使用。
在其中一个具体实施例中,在当前原始文件的文件切片序列信息码和各节点的镜像文件的文件切片序列信息码不相同时,删除各个节点的镜像文件,重新将当前原始文件镜像同步到集群***中各个节点。
具体地,在镜像同步操作完成后,首先检测当前原始文件和各个节点的镜像文件的文件名称信息和文件大小信息。在当前原始文件和各个节点的镜像文件的文件名称信息和文件大小信息相同时,检测当前原始文件的文件切片序列信息码和各节点的镜像文件的文件切片序列信息码,在在当前原始文件的文件切片序列信息码和各节点的镜像文件的文件切片序列信息码不相同时,表明镜像同步操作失败,在这种情况下,删除所有的镜像文件,重新进行镜像同步操作。在发现同步操作失败后,及时进行修复,方便用户后期对文件的使用。
在一种可选的实施方式中,如图3所示,删除各个节点的镜像文件,重新将所述当前原始文件镜像同步到集群***中各个节点之后,还包括:
步骤S135,检测当前原始文件信息与各节点的镜像文件信息。
步骤S136,直至当前原始文件信息与各节点的镜像文件信息相同且当前原始文件镜像同步操作次数小于预设的次数时,完成镜像同步操作。
本实施例中的镜像同步操作预设的次数是可以选择的,可以是***默认的数值,也可以是在进行镜像同步操作之前,用户选择的操作次数。综合考虑镜像同步操作对***的影响(例如:运行时间以及运行效率)等因素,镜像同步操作次数不应该太多也不应该太少。一般选择镜像同步操作的次数为3次。
在一种可选的实施方式中,如图4所示,删除各个节点的镜像文件,重新将所述当前原始文件镜像同步到集群***中各个节点之后,还包括:
步骤S135,检测当前原始文件信息与各节点的镜像文件信息。
步骤S137,在当前原始文件信息与各节点的镜像文件信息不相同且当前原始文件镜像同步操作次数大于预设的次数时,记录镜像同步操作的错误信息。
具体地,在检测当前原始文件与各个节点的镜像文件的文件名称信息和文件大小信息不相同或在当前原始文件的文件切片序列信息码和各节点的镜像文件的文件切片序列信息码不相同时,删除各个节点的镜像文件,重新将当前原始文件镜像同步到集群***中各个节点,并检测当前原始文件信息与所述各节点的镜像文件信息,在当前原始文件信息与所述各节点的镜像文件信息不相同且当前原始文件镜像同步操作次数大于预设的次数时,记录镜像同步操作的错误信息。
在多次重新镜像同步操作后(即镜像同步操作的次数大于规定的次数时),当前原始文件信息与各节点的镜像文件信息依然不相同时,记录镜像同步操作的错误信息。可选地,可以将镜像同步操作的错误信息记录在日志中,并返回错误信息,其中镜像同步操作的错误信息可以包括当前的镜像同步文件信息、镜像同步操作错误的原因等,便于***维护人员的查看,增加了维护的效率。
在一种可选的实施方式中,接收镜像同步指令之前,还包括:
步骤S150,启动Wed***,Web***调用shutil模块发送镜像同步指令。
web***的启动,需要一条全局命令,例如python manager.py。web***启动脚本依赖于某种运行环境和启动命令,如:javac/python/php,或是已封装好的tomcat脚本./start.sh;***启动后,用户在web端进行镜像启用操作,后台接受到用户操作后,使用shutil模块将用户选择的原始文件镜像同步至集群***各节点指定文件夹中,然后利用shutil模块对原始文件信息和各节点镜像文件信息进行检测。
为了便于理解本发明,提供一个更加详细的实施例。如图5所示,一种集群镜像同步方法,具体步骤如下:
步骤510,启动web***。
步骤511,***启动后,用户在web端选择原始文件信息和集群***,发送镜像同步操作指令至镜像同步***;
步骤512,镜像同步***接收镜像同步指令后,使用shutil模块将用户选择的镜像文件同步至集群服务器指定文件夹中;
步骤513,镜像同步操作完成后,校验原始文件信息与各节点镜像文件信息文件名;
步骤514,校验原始文件信息与各节点镜像文件信息;若是,进行步骤515;若否,进行步骤518;
步骤515,随机抽取等数量且相同位置的原始文件的文件切片序列与各节点镜像文件的子文件切片序列,其中抽取文件切片序列的数量由镜像文件大小决定;若是,进行步骤516;若否,进行步骤518;
步骤516,原始文件的文件切片序列与各节点镜像文件的子文件切片序列进行MD5值及RC4值计算,并进行比对;若是,进行步骤518;若否,进行步骤518;
步骤517,若比对结果为相同,则操作成功,完成镜像同步过;否则进行步骤518;
步骤518,校验不一致;
步骤519,删除各节点镜像文件信息并重复步骤512-517;并记录镜像同步操作次数;
步骤520,判断镜像同步操作次数是否小于三次;若是,进行步骤521;若否,进行步骤512。
步骤521,记录错误信息至日志文件并返回同步结果至web端用户。
根据上述本发明的集群镜像同步方法,本发明还提供一种集群镜像同步***,下面结合附图及较佳实施例对本发明的集群镜像同步***进行详细说明。
图6为本发明的集群镜像同步***在一个实施例中的结构示意图。如图6所示,该实施例中的集群镜像同步***,包括:
信息获取模块10,用于接收镜像同步指令,镜像同步指令包括集群***信息和原始文件信息,其中集群***信息包括各个节点信息和各个节点指定的文件夹信息。
镜像文件同步模块20,用于根据镜像同步指令将当前原始文件镜像同步到集群***中各个节点指定的文件夹中,得到各个节点的镜像文件。
镜像文件检测模块30,用于检测当前原始文件信息与各个节点的镜像文件信息。
镜像同步确定模块40,用于在当前原始文件信息与各个节点的镜像文件信息相同时,完成镜像同步过程。
在其中一个实施例中,参照图6所示,镜像文件检测模块30还包括文件切片信息码计算模块31:
文件切片信息码计算模块31,用于在当前原始文件和各节点的镜像文件中,随机提取位置相同且数量相等的文件切片序列,对当前原始文件的文件切片序列和各节点的镜像文件的文件切片序列进行函数运算,得到当前原始文件的文件切片序列信息码和各节点的镜像文件的文件切片序列信息码。
镜像确定模块40用于在所述当前原始文件的文件切片序列信息码和所述各节点的镜像文件的文件切片序列信息码相同时,完成镜像同步过程。
在其中一个实施例中,参照图6所示,所述原始文件信息还包括文件名称信息和文件大小信息;所述镜像文件信息还包括文件名称信息和文件大小信息;
镜像文件检测模块30还包括文件属性信息检测模块:
文件属性信息检测模块32用于检测当前原始文件信息与各个节点的镜像文件信息的文件名称信息和文件大小信息;
文件切片信息码计算模块31用于在当前原始文件信息与各个节点的镜像文件信息的文件名称信息和文件大小信息相同,随机提取相同位置且相等数量当前原始文件的文件切片序列与各节点的镜像文件的文件切片序列,对当前原始文件的文件切片序列和各节点的镜像文件的文件切片序列进行函数运算,得到所述当前原始文件的文件切片序列信息码和各节点的镜像文件的文件切片序列信息码。
在其中一个实施例中,参照图6所示,镜像文件同步模块20还用于在当前原始文件信息与各个节点的镜像文件信息不相同时,删除各个节点的镜像文件,重新将当前原始文件镜像同步到集群***中各个节点。
在其中一个实施例中,参照图6所示,镜像文件检测模块30还用于检测当前原始文件信息与各节点的镜像文件信息。
镜像同步确定模块40还用于在当前原始文件信息与所述各节点的镜像文件信息相同且当前原始文件镜像同步操作次数小于预设的次数时,完成镜像同步操作。
在其中一个实施例中,参照图6所示,还包括镜像错误信息存储模块50:
镜像文件检测模块30用于检测所述当前原始文件信息与所述各节点的镜像文件信息
镜像错误信息存储模块50用于在所述当前原始文件信息与所述各节点的镜像文件信息不相同且当前原始文件镜像同步操作次数大于预设的次数时,记录镜像同步操作的错误信息。
在其中一个实施例中,参照图6所示,还包括:
Web启动模块60,用于启动Wed***,Web***调用shutil模块发送镜像同步指令。
上述集群镜像同步***可执行本发明实施例所提供的集群镜像同步方法,具备执行方法相应的功能模块和有益效果。至于其中各个功能模块所执行的处理方法,例如信息获取模块10、镜像文件同步模块20、镜像文件检测模块30、镜像同步确定模块40、镜像错误信息存储模块50,可参照上述方法实施例中的描述,此处不再进行赘述。
以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种集群镜像同步方法,其特征在于,包括以下步骤:
接收镜像同步指令,所述镜像同步指令包括集群***信息和原始文件信息,其中所述集群***信息包括各个节点信息和各个节点指定的文件夹信息;
根据镜像同步指令将当前原始文件镜像同步到集群***中各个节点指定的文件夹中,得到各个节点的镜像文件;
检测所述当前原始文件信息与各个节点的镜像文件信息的文件名称信息和文件大小信息;其中,所述原始文件信息包括所述文件名称信息和所述文件大小信息;所述镜像文件信息还包括文件名称信息和文件大小信息;
在所述当前原始文件信息与各个节点的镜像文件信息的文件名称信息和文件大小信息相同时,根据所述原始文件的大小选则提取的文件切片序列的数量;
根据选定的文件切片序列的数量,随机提取相同位置且相等数量当前原始文件的文件切片序列与各节点的镜像文件的文件切片序列;
在所述当前原始文件的文件切片序列信息码和所述各节点的镜像文件的文件切片序列信息码相同时,完成镜像同步过程。
2.根据权利要求1所述的集群镜像同步方法,其特征在于,在所述当前原始文件的文件切片序列信息码和所述各节点的镜像文件的文件切片序列信息码相同时,完成镜像同步过程的步骤中包括以下步骤:
对当前原始文件的文件切片序列和各节点的镜像文件的文件切片序列进行函数运算,得到所述当前原始文件的文件切片序列信息码和所述各节点的镜像文件的文件切片序列信息码;
在所述当前原始文件的文件切片序列信息码和所述各节点的镜像文件的文件切片序列信息码相同时,完成镜像同步过程。
3.根据权利要求2所述的集群镜像同步方法,其特征在于,对当前原始文件的文件切片序列和各节点的镜像文件的文件切片序列进行函数运算,得到所述当前原始文件的文件切片序列信息码和所述各节点的镜像文件的文件切片序列信息码的步骤包括以下步骤:
采用MD5函数和RC4函数对文件序列进行计算,可以得到所述当前原始文件的文件切片序列的MD5值和RC4值以及所述各节点的镜像文件的文件序列的MD5值和RC4值;
在所述当前原始文件的文件切片序列信息码和所述各节点的镜像文件的文件切片序列信息码相同时,完成镜像同步过程的步骤包括:
在所述当前原始文件的文件切片序列的MD5值和RC4值以及所述各节点的镜像文件的文件序列的MD5值和RC4值均对应相同时,完成镜像同步过程。
4.根据权利要求1-3任一项所述的集群镜像同步方法,其特征在于,还包括:
在所述当前原始文件信息与所述各个节点的镜像文件信息不相同时,删除各个节点的镜像文件,重新将所述当前原始文件镜像同步到集群***中各个节点。
5.根据权利要求4所述的集群镜像同步方法,其特征在于,删除各个节点的镜像文件,重新将所述当前原始文件镜像同步到集群***中各个节点之后,还包括:
检测所述当前原始文件信息与所述各节点的镜像文件信息;
直至所述当前原始文件信息与所述各节点的镜像文件信息相同且当前原始文件镜像同步操作次数小于预设的次数时,完成镜像同步操作。
6.根据权利要求4所述的集群镜像同步方法,其特征在于,删除各个节点的镜像文件,重新将所述当前原始文件镜像同步到集群***中各个节点之后,还包括:
检测所述当前原始文件信息与所述各节点的镜像文件信息;
在所述当前原始文件信息与所述各节点的镜像文件信息不相同且当前原始文件镜像同步操作次数大于预设的次数时,记录镜像同步操作的错误信息。
7.一种集群镜像同步***,其特征在于,包括:
信息获取模块,用于接收镜像同步指令,所述镜像同步指令包括集群***信息和原始文件信息,其中所述集群***信息包括各个节点信息和各个节点指定的文件夹信息;
镜像文件同步模块,用于根据镜像同步指令将当前原始文件镜像同步到集群***中各个节点指定的文件夹中,得到各个节点的镜像文件;
镜像文件检测模块,用于检测所述当前原始文件信息与各个节点的镜像文件信息的文件名称信息和文件大小信息;其中,所述原始文件信息包括所述文件名称信息和所述文件大小信息;所述镜像文件信息还包括文件名称信息和文件大小信息;还用于在所述当前原始文件信息与各个节点的镜像文件信息的文件名称信息和文件大小信息相同时,根据所述原始文件的大小选则提取的文件切片序列的数量;并根据选定的文件切片序列的数量,随机提取相同位置且相等数量当前原始文件的文件切片序列与各节点的镜像文件的文件切片序列;
镜像同步确定模块,用于在所述当前原始文件的文件切片序列信息码和所述各节点的镜像文件的文件切片序列信息码相同时,完成镜像同步过程。
8.根据权利要求7所述的集群镜像同步***,其特征在于,所述镜像文件检测模块还包括:
文件切片信息码计算模块,用于对当前原始文件的文件切片序列和各节点的镜像文件的文件切片序列进行函数运算,得到所述当前原始文件的文件切片序列信息码和所述各节点的镜像文件的文件切片序列信息码;
所述镜像确定模块用于在所述当前原始文件的文件切片序列信息码和所述各节点的镜像文件的文件切片序列信息码相同时,完成镜像同步过程。
9.根据权利要求8所述的集群镜像同步***,其特征在于,所述文件切片信息码计算模块还用于采用MD5函数和RC4函数对文件序列进行计算,可以得到所述当前原始文件的文件切片序列的MD5值和RC4值以及所述各节点的镜像文件的文件序列的MD5值和RC4值;
镜像同步确定模块,用于在所述当前原始文件的文件切片序列的MD5值和RC4值以及所述各节点的镜像文件的文件序列的MD5值和RC4值均对应相同时,完成镜像同步过程。
10.根据权利要求7-9任一项所述的集群镜像同步***,其特征在于,
所述镜像文件同步模块优选用于在所述当前原始文件信息与所述各个节点的镜像文件信息不相同时,删除各个节点的镜像文件,重新将所述当前原始文件镜像同步到集群***中各个节点;
所述镜像同步确定模块优先用于在所述当前原始文件信息与所述各节点的镜像文件信息相同且当前原始文件镜像同步操作次数小于预设的次数时,完成镜像同步操作;
或所述镜像错误信息存储模块优选用于在所述当前原始文件信息与所述各节点的镜像文件信息不相同且当前原始文件镜像同步操作次数大于预设的次数时,记录镜像同步操作的错误信息。
CN201710328008.4A 2017-05-10 2017-05-10 集群镜像同步方法和*** Active CN107239505B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710328008.4A CN107239505B (zh) 2017-05-10 2017-05-10 集群镜像同步方法和***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710328008.4A CN107239505B (zh) 2017-05-10 2017-05-10 集群镜像同步方法和***

Publications (2)

Publication Number Publication Date
CN107239505A CN107239505A (zh) 2017-10-10
CN107239505B true CN107239505B (zh) 2020-09-15

Family

ID=59985513

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710328008.4A Active CN107239505B (zh) 2017-05-10 2017-05-10 集群镜像同步方法和***

Country Status (1)

Country Link
CN (1) CN107239505B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113315795B (zh) * 2020-02-26 2024-03-05 顺丰科技有限公司 云主机镜像的同步方法、装置和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1862504A (zh) * 2005-05-11 2006-11-15 华为技术有限公司 多机备份的方法
CN101309167A (zh) * 2008-06-27 2008-11-19 华中科技大学 基于集群备份的容灾***及方法
CN102012846A (zh) * 2010-12-12 2011-04-13 成都东方盛行电子有限责任公司 大视频文件完整性校验方法
CN105872056A (zh) * 2016-04-01 2016-08-17 浪潮电子信息产业股份有限公司 一种快速同步计算机集群数据的方法和***
CN106250781A (zh) * 2016-07-31 2016-12-21 山东大学 一种基于虚拟机增量镜像的用户信息保护方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1862504A (zh) * 2005-05-11 2006-11-15 华为技术有限公司 多机备份的方法
CN101309167A (zh) * 2008-06-27 2008-11-19 华中科技大学 基于集群备份的容灾***及方法
CN102012846A (zh) * 2010-12-12 2011-04-13 成都东方盛行电子有限责任公司 大视频文件完整性校验方法
CN105872056A (zh) * 2016-04-01 2016-08-17 浪潮电子信息产业股份有限公司 一种快速同步计算机集群数据的方法和***
CN106250781A (zh) * 2016-07-31 2016-12-21 山东大学 一种基于虚拟机增量镜像的用户信息保护方法

Also Published As

Publication number Publication date
CN107239505A (zh) 2017-10-10

Similar Documents

Publication Publication Date Title
US11086825B2 (en) Telemetry system for a cloud synchronization system
CN105376277B (zh) 一种数据同步方法及装置
WO2018049983A1 (zh) 数据同步方法、***、同步获取方法及装置
CN110716895A (zh) 目标数据归档方法、装置、计算机设备及介质
WO2014169738A1 (zh) 主、备数据库及一致性检测、修复方法和装置、存储介质
CN105138347A (zh) 一种差分升级包生成方法、软件升级方法及相应装置
CN106844102B (zh) 数据恢复方法和装置
US20120296878A1 (en) File set consistency verification system, file set consistency verification method, and file set consistency verification program
CN109325016B (zh) 数据迁移方法、装置、介质及电子设备
CN106445643B (zh) 克隆、升级虚拟机的方法及设备
US20130246358A1 (en) Online verification of a standby database in log shipping physical replication environments
CN109672752A (zh) 数据同步的方法及节点
CN114238255A (zh) 同步文件的方法、装置、电子设备及计算机可读存储介质
CN111339551B (zh) 数据的验证方法及相关装置、设备
CN109299116B (zh) 一种数据同步方法、装置、设备及可读存储介质
CN111008053A (zh) 一种虚拟桌面的自动同步方法及装置
CN107239505B (zh) 集群镜像同步方法和***
CN112738249B (zh) 基于量化交易的文件上传方法、装置、设备及存储介质
Du et al. Deduplicated disk image evidence acquisition and forensically-sound reconstruction
CN111209597B (zh) 数据校验方法及应用***
CN114490570A (zh) 生产数据同步方法、装置、数据同步***及服务器
CN105765908A (zh) 一种多站点自动更新方法、客户端和***
CN113704176B (zh) 文件扫描方法、装置、电子设备及存储介质
CN115686477A (zh) 应用程序的创建方法、装置及电子设备
JP2018018121A (ja) データベース制御プログラム、データベース制御方法及びデータベース制御装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant