CN106453577A - 一种在云存储***中实现文件快速上传的方法 - Google Patents
一种在云存储***中实现文件快速上传的方法 Download PDFInfo
- Publication number
- CN106453577A CN106453577A CN201610917625.3A CN201610917625A CN106453577A CN 106453577 A CN106453577 A CN 106453577A CN 201610917625 A CN201610917625 A CN 201610917625A CN 106453577 A CN106453577 A CN 106453577A
- Authority
- CN
- China
- Prior art keywords
- file
- cloud storage
- stored
- storage system
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种在云存储***中实现文件快速上传的方法,所述方法在使用HTTP1.1协议向云存储服务上传文件时,云存储服务判断该文件是否已经被存储过,如果该文件已经存储过,则云存储中断接受文件,向用户发送已经成功接受的消息。本发明方法不是加快了网络传输速率,而是阻止了不必要上传文件的上传操作,节省了传输时间,从而实现文件的快速上传,极大的节省网络资源及时间成本。
Description
技术领域
本发明涉及计算机软件及网络应用技术领域,具体涉及一种在云存储***中实现文件快速上传的方法。
背景技术
随着云计算时代的到来,可扩展、高可用、高安全的云存储成为一个主流方向。公有云、私有云、企业云等纷纷出现,向大众或小区域的用户提供云存储服务。
用户数据内容多种多样。但某些云存储***所面向的用户拥有的数据可能具有很大的重复性。若云存储***针能够辨别这类数据,不仅能够节省存储空间,同样可以节省服务的网络资源以及服务提供者和用户的时间成本,提高用户体验。
当前的某些云存储环境主要使用场景是存储用户上传的数据文件,不同用户的文件可能会具有较高的重复性。
发明内容
本发明要解决的技术问题是:本发明针对以上问题,提供一种在云存储***中实现文件快速上传的方法。
本发明所采用的技术方案为:
一种在云存储***中实现文件快速上传的方法,所述方法在使用HTTP1.1协议向云存储服务上传文件时,云存储服务判断该文件是否已经被存储过,如果该文件已经存储过,则云存储中断接受文件,向用户发送已经成功接受的消息,从而实现文件的快速上传,极大的节省网络资源及时间成本。
当前的某些云存储环境主要使用场景是存储用户上传的数据文件,不同用户的文件可能会具有较高的重复性。本发明不是加快了网络传输速率,而是阻止了不必要上传文件的上传操作,节省了传输时间。
所述方法通过在云存储服务端持久化当前被存储的每个文件的摘要信息,在用户上传文件时通过对比摘要信息判断被上传的文件是否已经存在于云存储服务中而实现文件的快速上传。
持久化(Persistence),即把数据(如内存中的对象)保存到可永久保存的存储设备中(如磁盘)。持久化的主要应用是将内存中的对象存储在关系型的数据库中,当然也可以存储在磁盘文件中、XML数据文件中等等。持久化是将程序数据在持久状态和瞬时状态间转换的机制。
所述文件摘要信息的获取方式及两个文件是否相同的判断过程如下:
1)通过云存储服务端一个云存储***软件,其内部持久化了当前所有已存储文件各自的MD5值以及各自头部1024字节数据的MD5值;
2)用户在向云存储***上传数据时,预先计算出该文件的MD5值,将其写入上传请求的标头Header中;
3) 云存储***在接受到请求后,第一步先接收1024字节的数据,计算MD5值,同时读取用户计算出的文件整体MD5值,与持久化的数据对比,判断该文件是否已经存储过;
4)如果已经存储过,则中断上传请求;如果未存储过,则继续收数据进行存储。
从而实现了在一个HTTP请求中实现文件快速上传的方法。
标头 (header) 是服务器以 HTTP 协议传 HTML 资料到浏览器前所送出的字串,在标头与 HTML 文件之间尚需空一行分隔。
计算文件的MD5值(一般可把MD5称为文件的“摘要信息”)进行判断是一种有效且高效的方法。两段不同数据的MD5值相同的概率极低,甚至可以说不会相同;如果采用二次判断的方式,对比不同文件两处数据段的MD5值,我们这里认为它们绝对不会相同。本发明正是基于这个假设做出的设计。
基于TCP协议的HTTP协议是一种用普遍使用的可靠数据传输方式。HTTP1.1协议支持用户在请求中添加自定义的Header向服务器传输区别于被上传数据额外的信息。数据的MD5值可以通过这种方式发送给服务器。
本发明的有益效果为:
本发明方法不是加快了网络传输速率,而是阻止了不必要上传文件的上传操作,节省了传输时间,从而实现文件的快速上传,极大的节省网络资源及时间成本。
具体实施方式
下面结合具体实施方式对本发明进一步说明:
实施例1:
一种在云存储***中实现文件快速上传的方法,所述方法在使用HTTP1.1协议向云存储服务上传文件时,云存储服务判断该文件是否已经被存储过,如果该文件已经存储过,则云存储中断接受文件,向用户发送已经成功接受的消息,从而实现文件的快速上传,极大的节省网络资源及时间成本。
当前的某些云存储环境主要使用场景是存储用户上传的数据文件,不同用户的文件可能会具有较高的重复性。本发明不是加快了网络传输速率,而是阻止了不必要上传文件的上传操作,节省了传输时间。
实施例2
在实施例1的基础上,本实施例所述方法通过在云存储服务端持久化当前被存储的每个文件的摘要信息,在用户上传文件时通过对比摘要信息判断被上传的文件是否已经存在于云存储服务中而实现文件的快速上传。
持久化(Persistence),即把数据(如内存中的对象)保存到可永久保存的存储设备中(如磁盘)。持久化的主要应用是将内存中的对象存储在关系型的数据库中,当然也可以存储在磁盘文件中、XML数据文件中等等。持久化是将程序数据在持久状态和瞬时状态间转换的机制。
实施例3
在实施例2的基础上,本实施例所述文件摘要信息的获取方式及两个文件是否相同的判断过程如下:
1)通过云存储服务端一个云存储***软件,其内部持久化了当前所有已存储文件各自的MD5值以及各自头部1024字节数据的MD5值;
2)用户在向云存储***上传数据时,预先计算出该文件的MD5值,将其写入上传请求的标头Header中;
3) 云存储***在接受到请求后,第一步先接收1024字节的数据,计算MD5值,同时读取用户计算出的文件整体MD5值,与持久化的数据对比,判断该文件是否已经存储过;
4)如果已经存储过,则中断上传请求;如果未存储过,则继续收数据进行存储。
从而实现了在一个HTTP请求中实现文件快速上传的方法。
标头 (header) 是服务器以 HTTP 协议传 HTML 资料到浏览器前所送出的字串,在标头与 HTML 文件之间尚需空一行分隔。
实施方式仅用于说明本发明,而并非对本发明的限制,有关技术领域的普通技术人员,在不脱离本发明的精神和范围的情况下,还可以做出各种变化和变型,因此所有等同的技术方案也属于本发明的范畴,本发明的专利保护范围应由权利要求限定。
Claims (3)
1.一种在云存储***中实现文件快速上传的方法,其特征在于,所述方法在使用HTTP1.1协议向云存储服务上传文件时,云存储服务判断该文件是否已经被存储过,如果该文件已经存储过,则云存储中断接受文件,向用户发送已经成功接受的消息。
2.根据权利要求1所述的一种在云存储***中实现文件快速上传的方法,其特征在于,所述方法通过在云存储服务端持久化当前被存储的每个文件的摘要信息,在用户上传文件时通过对比摘要信息判断被上传的文件是否已经存在于云存储服务中而实现文件的快速上传。
3.根据权利要求1所述的一种在云存储***中实现文件快速上传的方法,其特征在于,
所述文件摘要信息的获取方式及两个文件是否相同的判断过程如下:
1)通过一个云存储***软件,其内部持久化了当前所有已存储文件各自的MD5值以及各自头部1024字节数据的MD5值;
2)用户在向云存储***上传数据时,预先计算出该文件的MD5值,将其写入上传请求的标头中;
3) 云存储***在接受到请求后,第一步先接收1024字节的数据,计算MD5值,同时读取用户计算出的文件整体MD5值,与持久化的数据对比,判断该文件是否已经存储过;
4)如果已经存储过,则中断上传请求;如果未存储过,则继续收数据进行存储。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610917625.3A CN106453577A (zh) | 2016-10-21 | 2016-10-21 | 一种在云存储***中实现文件快速上传的方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610917625.3A CN106453577A (zh) | 2016-10-21 | 2016-10-21 | 一种在云存储***中实现文件快速上传的方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN106453577A true CN106453577A (zh) | 2017-02-22 |
Family
ID=58176477
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610917625.3A Pending CN106453577A (zh) | 2016-10-21 | 2016-10-21 | 一种在云存储***中实现文件快速上传的方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106453577A (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101552669A (zh) * | 2008-04-02 | 2009-10-07 | 林兆祥 | 数据传输的方法及*** |
CN101699822A (zh) * | 2009-08-06 | 2010-04-28 | 腾讯科技(深圳)有限公司 | 一种文件上传方法、装置和海量存储*** |
CN102857578A (zh) * | 2012-09-25 | 2013-01-02 | 新浪网技术(中国)有限公司 | 一种网络硬盘的文件上传方法、***及网盘客户端 |
CN103248711A (zh) * | 2013-05-23 | 2013-08-14 | 华为技术有限公司 | 一种文件上传的方法和服务器 |
-
2016
- 2016-10-21 CN CN201610917625.3A patent/CN106453577A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101552669A (zh) * | 2008-04-02 | 2009-10-07 | 林兆祥 | 数据传输的方法及*** |
CN101699822A (zh) * | 2009-08-06 | 2010-04-28 | 腾讯科技(深圳)有限公司 | 一种文件上传方法、装置和海量存储*** |
CN102857578A (zh) * | 2012-09-25 | 2013-01-02 | 新浪网技术(中国)有限公司 | 一种网络硬盘的文件上传方法、***及网盘客户端 |
CN103248711A (zh) * | 2013-05-23 | 2013-08-14 | 华为技术有限公司 | 一种文件上传的方法和服务器 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9203734B2 (en) | Optimized bi-directional communication in an information centric network | |
US10594606B2 (en) | Wired data-connection aggregation | |
US9130991B2 (en) | Processing data packets in performance enhancing proxy (PEP) environment | |
US8898311B2 (en) | Data communication method and information processing device | |
CN104811459A (zh) | 用于消息服务的处理方法、装置及***、消息服务*** | |
WO2018121742A1 (zh) | 一种流数据的传输方法和装置 | |
US9794354B1 (en) | System and method for communication between networked applications | |
US20150032798A1 (en) | Method And Apparatus For Providing Redundant Data Access | |
CN106331184A (zh) | 基于互联网的大数据分发方法和分发平台 | |
US10601692B2 (en) | Integrating a communication bridge into a data processing system | |
EP2439890A1 (en) | Method and system for processing mobile multimedia data broadcasting service | |
CN106059936A (zh) | 云***组播文件的方法及装置 | |
CN109995664A (zh) | 一种发送数据流的方法、设备和*** | |
CN106101184B (zh) | 一种文件下载方法和播放设备 | |
CN107451092A (zh) | 一种基于ib网络的数据传输*** | |
US20160065644A1 (en) | Method and system for efficient enrichment of upper layer protocol content in transmission control program (tcp) based sessions | |
US20140143315A1 (en) | Communication device and communication method | |
CN111835801B (zh) | 文件下载方法、装置、服务器、边缘设备、终端及介质 | |
CN115361455B (zh) | 一种数据传输存储方法、装置以及计算机设备 | |
CN106453577A (zh) | 一种在云存储***中实现文件快速上传的方法 | |
CN114244785B (zh) | 5g数据流量乱序处理方法及其装置 | |
US10992702B2 (en) | Detecting malware on SPDY connections | |
US10250515B2 (en) | Method and device for forwarding data messages | |
WO2016176942A1 (zh) | 一种基于负载均衡器的链路复用方法及*** | |
WO2014100978A1 (zh) | 一种数据备份方法、装置和*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20170222 |
|
RJ01 | Rejection of invention patent application after publication |