CN114422503B - 一种多节点文件传输***智能选择文件传输模式的方法 - Google Patents
一种多节点文件传输***智能选择文件传输模式的方法 Download PDFInfo
- Publication number
- CN114422503B CN114422503B CN202210080823.4A CN202210080823A CN114422503B CN 114422503 B CN114422503 B CN 114422503B CN 202210080823 A CN202210080823 A CN 202210080823A CN 114422503 B CN114422503 B CN 114422503B
- Authority
- CN
- China
- Prior art keywords
- file
- data block
- transmitted
- server
- client
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000005540 biological transmission Effects 0.000 title claims abstract description 74
- 238000000034 method Methods 0.000 title claims abstract description 23
- 238000012986 modification Methods 0.000 claims abstract description 28
- 230000004048 modification Effects 0.000 claims abstract description 28
- 230000001360 synchronised effect Effects 0.000 claims description 9
- 238000012795 verification Methods 0.000 description 2
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/13—File access structures, e.g. distributed indices
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/17—Details of further file system functions
- G06F16/178—Techniques for file synchronisation in file systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本发明公开一种多节点文件传输***智能选择文件传输模式的方法。本发明通过通过客户端的本地数据块与服务端的远端数据块进行匹配，可以选择最优的传输模式，在少量修改文件的情况下，通过使用增量传输模式，降低了网络带宽要求，增加了传输速度；当文件修改较大的时，采用全同步传输模式，保障了***的兼容性。本地数据块或远端数据块从待传输文件的前端、尾端分别开始划分，极大的保证了远端数据块与本地数据块对比的有效性，对比更加高效。
Description
技术领域
本发明涉及文件传输技术领域，尤其涉及一种多节点文件传输***智能选择文件传输模式的方法。
背景技术
高可用多节点文件传输***是由客户端和服务端组成的具有高速传输，异常快速恢复传输，千万级文件传输***。客户端由一个客户端控制节点和多个客户端传输节点组成，每一个节点都有存储器。服务端由redis服务端、一个服务端控制节点和多个服务端传输节点组成，每一个节点都有存储器。
目前的高可用多节点文件传输***中，大多采用文件全同步或文件增量同步单种传输模式。文件增量同步是指传输的文件已经在服务端存在，通过本地文件和服务端文件数据块的校验，只传输文件修改的部分，相对文件全同步来说减少了数据传输部分，多了数据块校验部分。在应用中发现，文件修改较小的情况下增量同步速度优于全同步。反之，文件数据修改较大全同步速度优于增量同步。
高可用多节点文件传输***的问题是，支持单种传输模式无法达到速度的最大化，如果采用两种传输模式，很难决定什么时候用全同步什么时候用增量同步；目前为了保障高可用多节点文件传输***能够正常工作，大部分采用单一传输模式作为传输方式方式。
因此，现有技术存在缺陷，需要改进。
发明内容
本发明要解决是技术问题是：提供一种多节点文件传输***智能选择文件传输模式的方法，智能选择传输模式，采用最佳的传输模式进行文件传输。
本发明的技术方案如下：提供一种多节点文件传输***智能选择文件传输模式的方法，多节点文件传输***包括：客户端，与客户端连接的服务端；包括以下步骤。
S1：客户端向服务端请求待传输文件的信息。
S2：服务端将待传输文件是否已经存在服务端、文件大小、文件修改时间返回给客户端。
S3：客户端判断返回的文件信息；如果文件不存在，则直接使用全同步传输模式；如果客户端中的待传输文件的文件修改时间、文件大小与服务端中的文件修改时间、文件大小一致，则不传输待传输文件；如果都不成立，客户端向服务端请求存储在服务端中的待传输文件的信息。
S4：服务端收到请求后，将存储在服务端中的待传输文件分成若干远端数据块并编号，计算远端数据块的MD5值，远端数据块的大小为200-3000字节；回传远端数据块的信息给客户端。
S5：客户端根据收到的服务端传来的远端数据块信息，客户端从待传输文件的开始位置和/或结束位置读取远端数据块大小的数据，获得本地数据块，并计算本地数据块的MD5值，并将本地数据块的MD5值与步骤S4中的远端数据块的MD5值匹配；如果匹配成功率大于60％，则采用增量同步模式传输，否则采用全同步模式传输。
进一步地，在步骤S5中，每次移动远端数据块大小的4-13倍长度在客户端的待传输文件上选取本地数据块进行计算MD5值。
进一步地，在步骤S5中，每次移动远端数据块大小的6-10倍长度在客户端的待传输文件上选取本地数据块进行计算MD5值。
进一步地，在步骤S5中，取远端数据块总数的0.4％-6％为匹配次数。
进一步地，所述数据块的取值为500～1000字节。
通过客户端的本地数据块与服务端的远端数据块进行匹配，可以选择最优的传输模式，在少量修改文件的情况下，通过使用增量传输模式，降低了网络带宽要求，增加了传输速度；当文件修改较大的时，采用全同步传输模式，保障了***的兼容性。本地数据块或远端数据块从待传输文件的前端、尾端分别开始划分，极大的保证了远端数据块与本地数据块对比的有效性，对比更加高效。
本发明还提供另一种多节点文件传输***智能选择文件传输模式的方法，多节点文件传输***包括：客户端，分别与客户端连接的服务端；包括以下步骤。
SS1：客户端向服务端请求待传输文件的信息。
SS2：服务端将待传输文件是否已经存在服务端、文件大小、文件修改时间返回给客户端。
SS3：客户端判断返回的文件信息；如果文件不存在，则直接使用全同步传输模式；如果客户端中的待传输文件的文件修改时间、文件大小与服务端中的文件修改时间、文件大小一致，则不传输待传输文件；如果都不成立，客户端将待传输文件分成若干本地数据块并编号，同时计算本地数据块的MD5值，本地数据块的大小取值200～3000字节，并向服务端传输本地数据块的信息。
SS4：服务端收到本地数据块信息，对服务端中的待传输文件的开始位置和/或结束位置读取本地数据块大小的数据，获得远端数据块，并计算远端数据块的MD5值，并将远端数据块的MD5值与步骤SS3中的本地数据块的MD5值匹配；并将匹配成功率数据发送给客户端。
SS5：客户端根据收到的服务端传来的匹配成功率信息，如果匹配成功率大于60％，则采用增量同步模式传输，否则采用全同步模式传输。
进一步地，在步骤SS5中，每次移动本地数据块大小的4-13倍长度在服务端的待传输文件上选取远端数据块进行计算MD5值。
进一步地，在步骤SS5中，每次移动本地数据块大小的6-10倍长度在服务端的待传输文件上选取远端数据块进行计算MD5值。
进一步地，在步骤SS4中，取本地数据块总数的0.4％-6％为匹配次数。
进一步地，所述本地数据块的取值为500～1000字节。
通过客户端的本地数据块与服务端的远端数据块进行匹配，可以选择最优的传输模式，在少量修改文件的情况下，通过使用增量传输模式，降低了网络带宽要求，增加了传输速度；当文件修改较大的时，采用全同步传输模式，保障了***的兼容性。本地数据块或远端数据块从待传输文件的前端、尾端分别开始划分，极大的保证了远端数据块与本地数据块对比的有效性，对比更加高效。
采用上述方案，本发明提供一种多节点文件传输***智能选择文件传输模式的方法，通过客户端的本地数据块与服务端的远端数据块进行匹配，可以选择最优的传输模式，在少量修改文件的情况下，通过使用增量传输模式，降低了网络带宽要求，增加了传输速度；当文件修改较大的时，采用全同步传输模式，保障了***的兼容性。本地数据块或远端数据块从待传输文件的前端、尾端分别开始划分，极大的保证了远端数据块与本地数据块对比的有效性，对比更加高效。
附图说明
图1为本发明的实施例1的流程图；
图2为本发明的实施例2的流程图。
具体实施方式
以下结合附图和具体实施例，对本发明进行详细说明。
实施例1
请参阅图1，本实施例提供一种多节点文件传输***智能选择文件传输模式的方法，多节点文件传输***包括：客户端，与客户端连接的服务端；包括以下步骤。
S1：客户端向服务端请求待传输文件的信息。
S2：服务端将待传输文件是否已经存在服务端、文件大小、文件修改时间返回给客户端。
S3：客户端判断返回的文件信息；如果文件不存在，则直接使用全同步传输模式；如果客户端中的待传输文件的文件修改时间、文件大小与服务端中的文件修改时间、文件大小一致，则不传输待传输文件；如果都不成立，客户端向服务端请求存储在服务端中的待传输文件的信息。
S4：服务端收到请求后，将存储在服务端中的待传输文件分成若干远端数据块并编号，计算远端数据块的MD5值，远端数据块的大小为200-3000字节；回传远端数据块的信息给客户端。
S5：客户端根据收到的服务端传来的远端数据块信息，客户端从待传输文件的开始位置和/或结束位置读取远端数据块大小的数据，获得本地数据块，并计算本地数据块的MD5值，并将本地数据块的MD5值与步骤S4中的远端数据块的MD5值匹配；如果匹配成功率大于60％，则采用增量同步模式传输，否则采用全同步模式传输。
优选的，在步骤S5中，每次移动远端数据块大小的4-13倍长度在客户端的待传输文件上选取本地数据块进行计算MD5值。在更优的方案中，在步骤S5中，每次移动远端数据块大小的6-10倍长度在客户端的待传输文件上选取本地数据块进行计算MD5值。
在步骤S5中，取远端数据块总数的0.4％-6％为匹配次数。
优选的，所述数据块的取值为500～1000字节。
通过客户端的本地数据块与服务端的远端数据块进行匹配，可以选择最优的传输模式，在少量修改文件的情况下，通过使用增量传输模式，降低了网络带宽要求，增加了传输速度；当文件修改较大的时，采用全同步传输模式，保障了***的兼容性。本地数据块或远端数据块从待传输文件的前端、尾端分别开始划分，极大的保证了远端数据块与本地数据块对比的有效性，对比更加高效。
实施例2
请参阅图2，本实施例提供一种多节点文件传输***智能选择文件传输模式的方法，多节点文件传输***包括：客户端，分别与客户端连接的服务端；包括以下步骤。
SS1：客户端向服务端请求待传输文件的信息。
SS2：服务端将待传输文件是否已经存在服务端、文件大小、文件修改时间返回给客户端。
SS3：客户端判断返回的文件信息；如果文件不存在，则直接使用全同步传输模式；如果客户端中的待传输文件的文件修改时间、文件大小与服务端中的文件修改时间、文件大小一致，则不传输待传输文件；如果都不成立，客户端将待传输文件分成若干本地数据块并编号，同时计算本地数据块的MD5值，本地数据块的大小取值200～3000字节，并向服务端传输本地数据块的信息。
SS4：服务端收到本地数据块信息，对服务端中的待传输文件的开始位置和/或结束位置读取本地数据块大小的数据，获得远端数据块，并计算远端数据块的MD5值，并将远端数据块的MD5值与步骤SS3中的本地数据块的MD5值匹配；并将匹配成功率数据发送给客户端。
SS5：客户端根据收到的服务端传来的匹配成功率信息，如果匹配成功率大于60％，则采用增量同步模式传输，否则采用全同步模式传输。
优选的，在步骤SS5中，每次移动本地数据块大小的4-13倍长度在服务端的待传输文件上选取远端数据块进行计算MD5值。在更优的方案中，在步骤SS5中，每次移动本地数据块大小的6-10倍长度在服务端的待传输文件上选取远端数据块进行计算MD5值。
优选的，在步骤SS4中，取本地数据块总数的0.4％-6％为匹配次数。
优选的，所述本地数据块的取值为500～1000字节。
通过客户端的本地数据块与服务端的远端数据块进行匹配，可以选择最优的传输模式，在少量修改文件的情况下，通过使用增量传输模式，降低了网络带宽要求，增加了传输速度；当文件修改较大的时，采用全同步传输模式，保障了***的兼容性。本地数据块或远端数据块从待传输文件的前端、尾端分别开始划分，极大的保证了远端数据块与本地数据块对比的有效性，对比更加高效。
综上所述，本发明提供一种多节点文件传输***智能选择文件传输模式的方法，通过客户端的本地数据块与服务端的远端数据块进行匹配，可以选择最优的传输模式，在少量修改文件的情况下，通过使用增量传输模式，降低了网络带宽要求，增加了传输速度；当文件修改较大的时，采用全同步传输模式，保障了***的兼容性。本地数据块或远端数据块从待传输文件的前端、尾端分别开始划分，极大的保证了远端数据块与本地数据块对比的有效性，对比更加高效。
以上仅为本发明的较佳实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种多节点文件传输***智能选择文件传输模式的方法，其特征在于，多节点文件传输***包括：客户端，与客户端连接的服务端；包括以下步骤：
S1：客户端向服务端请求待传输文件的信息；
S2：服务端将待传输文件是否已经存在服务端、文件大小、文件修改时间返回给客户端；
S3：客户端判断返回的文件信息；如果文件不存在，则直接使用全同步传输模式；如果客户端中的待传输文件的文件修改时间、文件大小与服务端中的文件修改时间、文件大小一致，则不传输待传输文件；如果都不成立，客户端向服务端请求存储在服务端中的待传输文件的信息；
S4：服务端收到请求后，将存储在服务端中的待传输文件分成若干远端数据块并编号，计算远端数据块的MD5值，远端数据块的大小为200-3000字节；回传远端数据块的信息给客户端；
S5：客户端根据收到的服务端传来的远端数据块信息，客户端从待传输文件的开始位置和/或结束位置读取远端数据块大小的数据，获得本地数据块，并计算本地数据块的MD5值，并将本地数据块的MD5值与步骤S4中的远端数据块的MD5值匹配；如果匹配成功率大于60%，则采用增量同步模式传输，否则采用全同步模式传输。
2.根据权利要求1所述的一种多节点文件传输***智能选择文件传输模式的方法，其特征在于，在步骤S5中，每次移动远端数据块大小的4-13倍长度在客户端的待传输文件上选取本地数据块进行计算MD5值。
3.根据权利要求1所述的一种多节点文件传输***智能选择文件传输模式的方法，其特征在于，在步骤S5中，每次移动远端数据块大小的6-10倍长度在客户端的待传输文件上选取本地数据块进行计算MD5值。
4.根据权利要求1所述的一种多节点文件传输***智能选择文件传输模式的方法，其特征在于，在步骤S5中，取远端数据块总数的0.4%-6%为匹配次数。
5.根据权利要求1所述的一种多节点文件传输***智能选择文件传输模式的方法，其特征在于，所述数据块的取值为500~1000字节。
6.一种多节点文件传输***智能选择文件传输模式的方法，其特征在于，多节点文件传输***包括：客户端，与客户端连接的服务端；包括以下步骤：
SS1：客户端向服务端请求待传输文件的信息；
SS2：服务端将待传输文件是否已经存在服务端、文件大小、文件修改时间返回给客户端；
SS3：客户端判断返回的文件信息；如果文件不存在，则直接使用全同步传输模式；如果客户端中的待传输文件的文件修改时间、文件大小与服务端中的文件修改时间、文件大小一致，则不传输待传输文件；如果都不成立，客户端将待传输文件分成若干本地数据块并编号，同时计算本地数据块的MD5值，本地数据块的大小取值200~3000字节，并向服务端传输本地数据块的信息；
SS4：服务端收到本地数据块信息，对服务端中的待传输文件的开始位置和/或结束位置读取本地数据块大小的数据，获得远端数据块，并计算远端数据块的MD5值，并将远端数据块的MD5值与步骤SS3中的本地数据块的MD5值匹配；并将匹配成功率数据发送给客户端；
SS5：客户端根据收到的服务端传来的匹配成功率信息，如果匹配成功率大于60%，则采用增量同步模式传输，否则采用全同步模式传输。
7.根据权利要求6所述的一种多节点文件传输***智能选择文件传输模式的方法，其特征在于，在步骤SS5中，每次移动本地数据块大小的4-13倍长度在服务端的待传输文件上选取远端数据块进行计算MD5值。
8.根据权利要求6所述的一种多节点文件传输***智能选择文件传输模式的方法，其特征在于，在步骤SS5中，每次移动本地数据块大小的6-10倍长度在服务端的待传输文件上选取远端数据块进行计算MD5值。
9.根据权利要求6所述的一种多节点文件传输***智能选择文件传输模式的方法，其特征在于，在步骤SS4中，取本地数据块总数的0.4%-6%为匹配次数。
10.根据权利要求6所述的一种多节点文件传输***智能选择文件传输模式的方法，其特征在于，所述本地数据块的取值为500~1000字节。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210080823.4A CN114422503B (zh) | 2022-01-24 | 2022-01-24 | 一种多节点文件传输***智能选择文件传输模式的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210080823.4A CN114422503B (zh) | 2022-01-24 | 2022-01-24 | 一种多节点文件传输***智能选择文件传输模式的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114422503A CN114422503A (zh) | 2022-04-29 |
| CN114422503B true CN114422503B (zh) | 2024-01-30 |
Family
ID=81277085
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210080823.4A Active CN114422503B (zh) | 2022-01-24 | 2022-01-24 | 一种多节点文件传输***智能选择文件传输模式的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114422503B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104410692A (zh) * | 2014-11-28 | 2015-03-11 | 上海爱数软件有限公司 | 一种用于重复文件上传的方法和*** |
| CN104580454A (zh) * | 2014-12-31 | 2015-04-29 | 乐视网信息技术（北京）股份有限公司 | 一种数据同步方法、装置及*** |
| CN107491565A (zh) * | 2017-10-10 | 2017-12-19 | 语联网（武汉）信息技术有限公司 | 一种数据同步方法 |
| CN110474937A (zh) * | 2018-05-09 | 2019-11-19 | 深圳企业云科技股份有限公司 | 超大文件分段续传方法及其*** |
| CN113282540A (zh) * | 2021-06-04 | 2021-08-20 | 深圳大学 | 一种云对象存储同步方法、装置、计算机设备及存储介质 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8271837B2 (en) * | 2010-06-07 | 2012-09-18 | Salesforce.Com, Inc. | Performing asynchronous testing of an application occasionally connected to an online services system |
| US9235593B2 (en) * | 2010-09-30 | 2016-01-12 | Emc Corporation | Transmitting filesystem changes over a network |
-
2022
- 2022-01-24 CN CN202210080823.4A patent/CN114422503B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104410692A (zh) * | 2014-11-28 | 2015-03-11 | 上海爱数软件有限公司 | 一种用于重复文件上传的方法和*** |
| CN104580454A (zh) * | 2014-12-31 | 2015-04-29 | 乐视网信息技术（北京）股份有限公司 | 一种数据同步方法、装置及*** |
| CN107491565A (zh) * | 2017-10-10 | 2017-12-19 | 语联网（武汉）信息技术有限公司 | 一种数据同步方法 |
| CN110474937A (zh) * | 2018-05-09 | 2019-11-19 | 深圳企业云科技股份有限公司 | 超大文件分段续传方法及其*** |
| CN113282540A (zh) * | 2021-06-04 | 2021-08-20 | 深圳大学 | 一种云对象存储同步方法、装置、计算机设备及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 面向多应用的文件同步方法;曾珊;周薇;韩冀中;;计算机应用与软件(第10期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114422503A (zh) | 2022-04-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8943022B2 (en) | Distributed file system | |
| US6571278B1 (en) | Computer data sharing system and method for maintaining replica consistency | |
| US7143254B2 (en) | Remote copy system | |
| US7130975B2 (en) | Data processing system | |
| CN108989432B (zh) | 用户态的文件发送方法、文件接收方法和文件收发装置 | |
| CN103095769B (zh) | 跨机房的数据同步方法以及*** | |
| EP1585274B1 (en) | Asynchronous data segmentation/transmission method for synchronous ethernet and data structure used therein | |
| JPH076099A (ja) | リモート・データの２重化のためのシステム及び方法 | |
| JPH0133062B2 (zh) | ||
| JPS6338130B2 (zh) | ||
| US5293487A (en) | Network adapter with high throughput data transfer circuit to optimize network data transfers, with host receive ring resource monitoring and reporting | |
| CN105760519A (zh) | 一种集群文件***及其文件锁分配方法 | |
| US7069305B2 (en) | Computer system and a data transfer method thereof using remote direct memory access | |
| JPS63279633A (ja) | 同報通信システム | |
| US7218648B1 (en) | Method and apparatus for communicating control data in an asynchronous communications channel | |
| CN105812492B (zh) | 一种数据同步方法及*** | |
| CN1095134C (zh) | 使用***总线控制器的模块间通信的设备和方法 | |
| CN114422503B (zh) | 一种多节点文件传输***智能选择文件传输模式的方法 | |
| US9767023B2 (en) | Method of controlling data writing to persistent storage device | |
| CN113905054A (zh) | 基于RDMA的Kudu集群数据同步方法、装置、*** | |
| US7779299B2 (en) | Efficiently re-starting and recovering synchronization operations between a client and server | |
| CN112540966A (zh) | 一种文件同步的方法及装置 | |
| CN103442091A (zh) | 一种数据传输方法及装置 | |
| CN106230989A (zh) | 将实时连续产生的定位数据同步到服务器的方法和*** | |
| CN107659623B (zh) | 一种np数据分发方法及*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |