CN103294704A - 文件同步***及方法 - Google Patents

文件同步***及方法 Download PDF

Info

Publication number
CN103294704A
CN103294704A CN2012100473148A CN201210047314A CN103294704A CN 103294704 A CN103294704 A CN 103294704A CN 2012100473148 A CN2012100473148 A CN 2012100473148A CN 201210047314 A CN201210047314 A CN 201210047314A CN 103294704 A CN103294704 A CN 103294704A
Authority
CN
China
Prior art keywords
file
storage unit
unit
distributed memory
memory system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2012100473148A
Other languages
English (en)
Inventor
李忠一
林海洪
李大鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hongfujin Precision Industry Shenzhen Co Ltd
Hon Hai Precision Industry Co Ltd
Original Assignee
Hongfujin Precision Industry Shenzhen Co Ltd
Hon Hai Precision Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hongfujin Precision Industry Shenzhen Co Ltd, Hon Hai Precision Industry Co Ltd filed Critical Hongfujin Precision Industry Shenzhen Co Ltd
Priority to CN2012100473148A priority Critical patent/CN103294704A/zh
Priority to TW101107261A priority patent/TW201335779A/zh
Priority to PCT/CN2012/078808 priority patent/WO2013127147A1/zh
Priority to US13/813,671 priority patent/US20140379649A1/en
Publication of CN103294704A publication Critical patent/CN103294704A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/178—Techniques for file synchronisation in file systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Computer And Data Communications (AREA)

Abstract

本发明提供一种文件同步***。该同步***接收客户端通过访问入口传送的文件，指定该文件该在分布式存储***中的多个存储路径，并根据指定的存储路径将该文件分别存储到相应的多个存储单元。之后，该同步***在各存储单元上产生单元文件日志，在所述访问入口产生***文件日志，并定时搜集各存储单元存储的单元文件日志，将搜集到的单元文件日志存储到一个预设的存储位置。当某个存储单元中存储的文件需要修复时，该同步***比较搜集到的单元文件日志及***文件日志确定该存储单元原本存储的文件及与该存储单元存储有相同文件的其它存储单元，并从该其它存储单元复制该文件到该存储单元。本发明还提供一种文件同步方法。

Description

文件同步***及方法
技术领域
本发明涉及一种文件管理***及方法，尤其是一种应用于分布式存储***的文件同步***及方法。
背景技术
目前常见分布式存储***的文件同步机制有两种。一种是使用Metadata服务器维护***存储的所有文件的信息，所有文件的操作都需要经过Metadata服务器。当故障发生时，通过Metadata服务器上存储的文件信息进行恢复。这种方法能在最快的时间内恢复损毁的文件，但随着文件数量的增加，Metadata服务器的压力和风险也随之增大，变成整个***的瓶颈。另外一种方法不使用Metadata服务器存储文件信息，当***故障发生后，通过扫描***存储的全部文件恢复损毁的文件。这种方法可以规避第一种方法因Metadata服务器所造成的***瓶颈问题，但在恢复过程中因需要扫描全部文件所以恢复时间较长。
发明内容
鉴于以上内容，有必要提供一种文件同步***及方法，既可以避免因Metadata服务器所造成的分布式存储***的瓶颈问题，又可以较快的速度恢复分布式存储***中损毁的文件。
一种文件同步***，应用于分布式存储***。该文件同步***包括指定模块、存储模块、日志模块、搜集模块及修复模块。指定模块接收客户端通过访问入口传送的文件，指定该文件该在分布式存储***中的多个存储路径。存储模块根据指定的存储路径将该文件分别存储到分布式存储***中相应的多个存储单元。日志模块在各存储单元上产生单元文件日志记录该存储单元存储的文件的存储信息，在所述访问入口产生***文件日志记录所有存储单元上存储的文件的存储信息。搜集模块定时搜集各存储单元存储的单元文件日志，将搜集到的单元文件日志存储到分布式存储***中一个预设的存储位置。当第一存储单元中存储的文件需要修复时，修复模块比较搜集到的单元文件日志及***文件日志确定该第一存储单元需要修复的文件及与存储有该需要修复的文件的第二存储单元，并从该第二存储单元复制该需要修复的文件到该第一存储单元。
一种文件同步方法，应用于分布式存储***。该方法包括步骤：(A)接收客户端通过访问入口传送的文件；(B)指定该文件该在分布式存储***中的多个存储路径；(C)根据指定的存储路径将该文件分别存储到分布式存储***中相应的多个存储单元；(D)在各存储单元上产生单元文件日志记录该存储单元存储的文件的存储信息，在所述访问入口产生***文件日志记录所有存储单元上存储的文件的存储信息；(E)定时搜集各存储单元存储的单元文件日志，将搜集到的单元文件日志存储到分布式存储***中一个预设的存储位置；及(F)当第一存储单元中存储的文件需要修复时，比较搜集到的单元文件日志及***文件日志确定该第一存储单元需要修复的文件及与存储有该需要修复的文件的第二存储单元，并从该第二存储单元复制该需要修复的到该第一存储单元。
相较于现有技术，本发明提供的文件同步***及方法，既可以避免因Metadata服务器所造成的分布式存储***的瓶颈问题，又可以较快的速度恢复分布式存储***中损毁的文件。
附图说明
图1是本发明文件同步***较佳实施例的应用环境图。
图2是本发明文件同步***较佳实施例的功能模块图。
图3是本发明文件同步方法较佳实施例的流程图。
主要元件符号说明
  客户端   200
  分布式存储***   100
  访问入口   10
  存储单元   20、30、40
  文件   21、31、41
  单元文件日志   22、32、42
  ***文件日志   11
  文件同步***   50
  设置模块   51
  存储模块   52
  日志模块   53
  搜集模块   54
  读取模块   55
  修复模块   56
如下具体实施方式将结合上述附图进一步说明本发明。
具体实施方式
参阅图1所示，是本发明文件同步***30较佳实施例的应用环境图。该文件同步***50应用于分布式存储***100。该分布式存储***100包括访问入口10以及多个存储单元，例如图中示出的存储单元20、30、40。存储单元是存储服务器分配给分布式存储***100的存储空间。通常一台服务器可以提供一个或多个存储空间。例如图1中的存储单元20、30、40可以由同一台服务器提供，或者由不同的服务器提供。客户端200通过访问入口10向分布式存储***100写入文件，为了保证信息安全，分布式存储***100将同一份文件分别存储在多个相互独立的存储空间。例如所述存储单元20、30、40。
访问入口10提供客户端200与分布式存储***100之间的访问协议，该访问入口可以为网络文件***(network file system，NFS)，文件传输协议(file transfer protocol，FTP)，等等。客户端200可以为PC机或是服务器。
文件同步***50指定同一份文件在分布式存储***100中的不同存储路径，根据存储路径将该文件分别存储到相应的存储单元，例如将文件A分别存储到存储单元20、30、40得到文件21、31、41。文件同步***50还在访问入口产生***文件日志11记录所有文件的存储信息，在每个存储单元(例如存储单元20、30、40)上产生单元文件日志(例如单元文件日志22、32、42)记录该存储单元存储的文件(例如文件21、31、41)的存储信息。当某个存储单元A存储的文件丢失或损毁时，文件同步***50根据所述***文件日志11及单元文件日志确定该存储单元A需要修复的文件及存储有相同文件的另一个存储单元B，并从该存储单元B复制该相同文件到存储单元A。
参阅图2所示，是本发明文件同步***50较佳实施例的功能模块图。该文件同步***50包括设置模块51、存储模块52、日志模块53、搜集模块54、读取模块55及修复模块56。模块51-56包括计算机程序化代码，这些计算机程序代码存储在分布式存储***100提供的存储设备中，分布式存储***100的处理设备执行该计算机程序代码，提供文件同步***50的上述功能。所述存储设备、处理设备可以由提供存储单元的服务器之外的计算机或服务器提供。模块51-56的具体功能参见图3的描述。
参阅图3所示，是本发明文件同步方法较佳实施例的流程图。
步骤S301，访问入口10接收客户端200传送的文件，例如文件名为“volume1”的文件。
步骤S303，设置模块51指定该文件在分布式存储***100中的多个存储路径。例如，在本实施例中，设置模块31指定文件“volume1”存储到三个不同的存储路径：szunit01、szunit02、szunit03。
步骤S305，存储模块52根据指定的存储路径将该文件分别存储到分布式存储***100中相应的多个存储单元。例如假设存储路径szunit01、szunit02、szunit03分别对应存储单元20、30、40，则存储模块32将文件“volume1”分别存储至存储单元20、30、40得到文件21、31、41。
步骤S307，日志模块53在各存储单元上产生单元文件日志记录该存储单元存储的文件的存储信息，在访问入口10产生***文件日志11记录所有存储单元上存储的文件的存储信息。所述存储信息包括文件名、文件的存储时间、存储路径等信息。例如文件“volume1”分别存储至存储单元20、30、40后，日志模块53在存储单元20、30、40分别产生单元文件日志22、32、42。单元文件日志22记录的信息格式可能为“Nov1106:40:51szunit01/volume1.file”，单元文件日志32记录的信息格式可能为“Nov 1106:40:51szunit02/volume1.file”，单元文件日志42记录的信息格式可能为“Nov 1106:40:51szunit03/volume1.file”。其中，“Nov 1106:40:51”表示文件20、30、40创建的时间；szunit01、szunit02、szunit03表示该文件“volume1”在存储单元20、30、40对应的存储路径；“volume1”为文件20、30、40的文件名。访问入口10处产生的***文件日志11包括所有存储单元上存储的单元文件日志包括的信息，例如上述单元文件日志22、32、42中包括的信息。
步骤S309，搜集模块54定时搜集各存储单元存储的单元文件日志，将搜集到的单元文件日志存储到分布式存储***100中一个预设的存储位置。该预设的存储位置为独立于所述存储单元的其它存储空间，保证当存储单元发生损毁时不会导致搜集到的单元文件日志受损或遗失。定时可以为周期性或非周期性的固定时间。
步骤S311，读取模块55试图从一个存储单元A读取文件，并判断是否能从该存储单元A读取到该文件。例如，读取模块55试图从存储单元20读取文件21。该读取操作的触发可以应客户端200的访问请求，也可以为应分布式存储***100对存储的资料安全性的检查、维护和修复等作业。若读取模块35从该存储单元A读取文件成功，则表明该存储单元A存储的文件完好，流程结束。若读取模块35从该存储单元A读取文件失败，则表明该存储单元A存储的文件受到损坏或丢失。例如，存储单元A的损坏可能导致其存储的文件受到损坏或丢失。则流程进入步骤S313。
步骤S313，修复模块56比较搜集到的单元文件日志及访问入口10存储的***文件日志11确定该存储单元A需要修复的文件及存储有该需要修复的文件的存储单元B。例如，当存储单元20中的文件21受损或丢失，修复模块56比较搜集到的单元文件日志及访问入口10存储的***文件日志11，确定存储单元20中原本存储的是文件21、且存储单元30、40中存储的文件31、41是与文件21相同的文件(即文件名相同的文件)。
步骤S315，修复模块56将该需要修复的文件从存储单元B复制到存储单元A。例如，修复模块56从存储单元30复制文件31到存储单元20，或从存储单元40复制文件41到存储单元20。
最后所应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照以上较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。

Claims (10)

1.一种文件同步方法，应用于分布式存储***，其特征在于，该方法包括：
接收客户端通过访问入口传送的文件；
指定该文件该在分布式存储***中的多个存储路径；
根据指定的存储路径将该文件分别存储到分布式存储***中相应的多个存储单元；
在各存储单元上产生单元文件日志记录该存储单元存储的文件的存储信息，在所述访问入口产生***文件日志记录所有存储单元上存储的文件的存储信息；
定时搜集各存储单元存储的单元文件日志，将搜集到的单元文件日志存储到分布式存储***中一个预设的存储位置；及
当第一存储单元中存储的文件需要修复时，比较搜集到的单元文件日志及***文件日志确定该第一存储单元需要修复的文件及存储有该需要修复的文件的第二存储单元，并从该第二存储单元复制该需要修复的文件到该第一存储单元。
2.如权利要求1所述的文件同步方法，其特征在于，所述访问入口提供客户端与分布式存储***之间的访问协议。
3.如权利要求1所述的文件同步方法，其特征在于，所述多个存储单元是由分布式存储***中的同一台服务器提供的相互独立的存储空间，或者是由分布式存储***中的不同服务器提供的相互独立的存储空间。
4.如权利要求1所述的文件同步方法，其特征在于，所述文件的存储信息包括文件名、文件的存储时间及存储路径信息。
5.如权利要求1所述的文件同步方法，其特征在于，所述预设的存储位置为分布式存储***提供的独立于所述多个存储单元的其它存储空间。
6.一种文件同步***，应用于分布式存储***，其特征在于，该文件同步***包括：
指定模块，用于接收客户端通过访问入口传送的文件，指定该文件该在分布式存储***中的多个存储路径；
存储模块，用于根据指定的存储路径将该文件分别存储到分布式存储***中相应的多个存储单元；
日志模块，用于在各存储单元上产生单元文件日志记录该存储单元存储的文件的存储信息，在所述访问入口产生***文件日志记录所有存储单元上存储的文件的存储信息；
搜集模块，用于定时搜集各存储单元存储的单元文件日志，将搜集到的单元文件日志存储到分布式存储***中一个预设的存储位置；及
修复模块，用于当第一存储单元中存储的文件需要修复时，比较搜集到的单元文件日志及***文件日志确定该第一存储单元需要修复的文件及存储有该需要修复的文件的第二存储单元，并从该第二存储单元复制该需要修复的文件到该第一存储单元。
7.如权利要求6所述的文件同步***，其特征在于，所述访问入口提供客户端与分布式存储***之间的访问协议。
8.如权利要求6所述的文件同步***，其特征在于，所述多个存储单元是由分布式存储***中的同一台服务器提供的相互独立的存储空间，或者是由分布式存储***中的不同服务器提供的相互独立的存储空间。
9.如权利要求6所述的文件同步***，其特征在于，所述文件的存储信息包括文件名、文件的存储时间及存储路径信息。
10.如权利要求6所述的文件同步***，其特征在于，所述预设的存储位置为分布式存储***提供的独立于所述多个存储单元的其它存储空间。
CN2012100473148A 2012-02-28 2012-02-28 文件同步***及方法 Pending CN103294704A (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN2012100473148A CN103294704A (zh) 2012-02-28 2012-02-28 文件同步***及方法
TW101107261A TW201335779A (zh) 2012-02-28 2012-03-05 檔案同步系統及方法
PCT/CN2012/078808 WO2013127147A1 (zh) 2012-02-28 2012-07-18 文件同步***及方法
US13/813,671 US20140379649A1 (en) 2012-02-28 2012-07-18 Distributed storage system and file synchronization method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2012100473148A CN103294704A (zh) 2012-02-28 2012-02-28 文件同步***及方法

Publications (1)

Publication Number Publication Date
CN103294704A true CN103294704A (zh) 2013-09-11

Family

ID=49081578

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2012100473148A Pending CN103294704A (zh) 2012-02-28 2012-02-28 文件同步***及方法

Country Status (4)

Country Link
US (1) US20140379649A1 (zh)
CN (1) CN103294704A (zh)
TW (1) TW201335779A (zh)
WO (1) WO2013127147A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103617283A (zh) * 2013-12-11 2014-03-05 北京京东尚科信息技术有限公司 一种存储日志的方法及装置
CN109613420A (zh) * 2019-01-30 2019-04-12 上海华虹宏力半导体制造有限公司 芯片的测试方法
CN111866178A (zh) * 2020-08-04 2020-10-30 蝉鸣科技(西安)有限公司 一种分布式ftp/ftps文件传输方法、装置及计算机存储介质
CN113704212A (zh) * 2020-05-22 2021-11-26 深信服科技股份有限公司 服务器的数据同步方法、装置、设备及计算机存储介质

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3024869B1 (fr) * 2014-08-14 2016-08-26 Zodiac Aero Electric Systeme de distribution electrique pour un aeronef et procede de commande correspondant
US10574442B2 (en) 2014-08-29 2020-02-25 Box, Inc. Enhanced remote key management for an enterprise in a cloud-based environment
CN115225345B (zh) * 2022-06-29 2024-06-14 郑州浪潮数据技术有限公司 一种日志下载方法、装置及其介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5600834A (en) * 1993-05-14 1997-02-04 Mitsubishi Electric Information Technology Center America, Inc. Method and apparatus for reconciling different versions of a file
TW200516500A (en) * 2003-11-14 2005-05-16 Hon Hai Prec Ind Co Ltd System and method of synchronizing documents in an electronic filing operation
CN101149755A (zh) * 2007-10-25 2008-03-26 中国科学院计算技术研究所 一种分布式文件***的文件写入***和方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8037056B2 (en) * 2005-02-18 2011-10-11 International Business Machines Corporation Online repair of a replicated table

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5600834A (en) * 1993-05-14 1997-02-04 Mitsubishi Electric Information Technology Center America, Inc. Method and apparatus for reconciling different versions of a file
TW200516500A (en) * 2003-11-14 2005-05-16 Hon Hai Prec Ind Co Ltd System and method of synchronizing documents in an electronic filing operation
CN101149755A (zh) * 2007-10-25 2008-03-26 中国科学院计算技术研究所 一种分布式文件***的文件写入***和方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103617283A (zh) * 2013-12-11 2014-03-05 北京京东尚科信息技术有限公司 一种存储日志的方法及装置
CN103617283B (zh) * 2013-12-11 2017-10-27 北京京东尚科信息技术有限公司 一种存储日志的方法及装置
CN109613420A (zh) * 2019-01-30 2019-04-12 上海华虹宏力半导体制造有限公司 芯片的测试方法
CN109613420B (zh) * 2019-01-30 2021-04-06 上海华虹宏力半导体制造有限公司 芯片的测试方法
CN113704212A (zh) * 2020-05-22 2021-11-26 深信服科技股份有限公司 服务器的数据同步方法、装置、设备及计算机存储介质
CN111866178A (zh) * 2020-08-04 2020-10-30 蝉鸣科技(西安)有限公司 一种分布式ftp/ftps文件传输方法、装置及计算机存储介质

Also Published As

Publication number Publication date
TW201335779A (zh) 2013-09-01
WO2013127147A1 (zh) 2013-09-06
US20140379649A1 (en) 2014-12-25

Similar Documents

Publication Publication Date Title
CN103294704A (zh) 文件同步***及方法
CN106843750B (zh) 分布式存储***
CN102891849B (zh) 业务数据同步方法、恢复方法及装置和网络设备
CN102937931B (zh) 一种日志数据传输的方法和***
CN105376277B (zh) 一种数据同步方法及装置
CN104077380B (zh) 一种重复数据删除方法、装置及***
CN102096615A (zh) 远程增量备份方法及***
CN104252500A (zh) 一种数据库管理平台的故障修复方法和装置
CN105550229A (zh) 分布式存储***数据修复的方法和装置
WO2014059804A1 (zh) 数据同步方法及***
CN102043686A (zh) 一种内存数据库的容灾方法、备用服务器及***
CN103902405B (zh) 一种准连续性数据复制方法及装置
CN103138912A (zh) 数据同步方法及***
CN103716384A (zh) 跨数据中心实现云存储数据同步的方法和装置
CN102508740A (zh) 文件***远程复制方法
CN102722584A (zh) 数据存储***及方法
CN104750755A (zh) 一种数据库主备切换后的数据回补方法及***
CN103973727A (zh) 数据同步方法及装置
CN104699592A (zh) 一种日志数据传输的方法和***
KR101605455B1 (ko) 데이터 손실 없는 데이터베이스 리두 로그 이중화 방법 및 그를 위한 시스템
CN104965835A (zh) 一种分布式文件***的文件读写方法及装置
US20160139996A1 (en) Methods for providing unified storage for backup and disaster recovery and devices thereof
CN105550230B (zh) 分布式存储***节点故障的侦测方法和装置
CN104714880A (zh) 日志数据传输方法、***及日志服务器
CN110866068B (zh) 一种基于hdfs的公告数据存储方法及其装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20130911