CN104954497B - 一种云存储***中数据传输方法和*** - Google Patents

一种云存储***中数据传输方法和*** Download PDF

Info

Publication number
CN104954497B
CN104954497B CN201510388348.7A CN201510388348A CN104954497B CN 104954497 B CN104954497 B CN 104954497B CN 201510388348 A CN201510388348 A CN 201510388348A CN 104954497 B CN104954497 B CN 104954497B
Authority
CN
China
Prior art keywords
cloud storage
transmission data
data
compression
transmission
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510388348.7A
Other languages
English (en)
Other versions
CN104954497A (zh
Inventor
孔军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspur Beijing Electronic Information Industry Co Ltd
Original Assignee
Inspur Beijing Electronic Information Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Beijing Electronic Information Industry Co Ltd filed Critical Inspur Beijing Electronic Information Industry Co Ltd
Priority to CN201510388348.7A priority Critical patent/CN104954497B/zh
Publication of CN104954497A publication Critical patent/CN104954497A/zh
Application granted granted Critical
Publication of CN104954497B publication Critical patent/CN104954497B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/565—Conversion or adaptation of application format or content
    • H04L67/5651—Reducing the amount or size of exchanged application data

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Transfer Between Computers (AREA)
  • Computer And Data Communications (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种云存储***中数据传输方法和***，包括：云存储客户端预先设置数据块的压缩门限；在云存储客户端向云存储服务端传送数据前，如果确定传送数据的数据块大小超过压缩门限，则对传送数据执行压缩优化，在压缩的传送数据中标记压缩属性后发送至云存储服务端；云存储服务端接收到来自云存储客户端的传送数据，确定传送数据携带有压缩属性后，根据压缩属性对传送数据进行解压缩优化，并对传送数据进行存储处理。通过本发明，能够解决云存储***中网络带宽瓶颈的问题。

Description

一种云存储***中数据传输方法和***
技术领域
本发明涉及数据传输技术领域，尤指一种云存储***中数据传输方法和***。
背景技术
云存储提供的是存储服务，存储服务通过网络将本地数据存放在存储服务提供商(SSP)提供的在线存储空间。需要存储服务的用户不再需要建立自己的数据中心，只需向SSP申请存储服务，从而避免了存储平台的重复建设，节约了昂贵的软硬件基础设施投资。
云存储实现了海量数据的统一管理。在现有云存储***中，对于网络带宽要求都非常高，至少是千兆网络带宽，甚至一些高端云存储***要求万兆网络带宽，无形中增加了云存储***建设成本，即使万兆网络环境也常常出现网络带宽紧张带来云存储***性能下降，造成网络带宽成为云存储***性能的瓶颈，同时高速后端存储设备就无法发挥至极致，造成云存储***后端资源浪费。
发明内容
为了解决上述技术问题，本发明提供了一种云存储***中数据传输方法和***，能够解决云存储***中网络带宽瓶颈的问题。
为了达到本发明目的，本发明提供了一种云存储***中数据传输方法，包括：云存储***中数据传输方法，应用于云存储***中的云存储客户端和云存储服务端，包括：云存储客户端预先设置数据块的压缩门限；在云存储客户端向云存储服务端传送数据前，如果确定传送数据的数据块大小超过压缩门限，则对传送数据执行压缩优化，在压缩的传送数据中标记压缩属性后发送至云存储服务端；云存储服务端接收到来自云存储客户端的传送数据，确定传送数据携带有压缩属性后，根据压缩属性对传送数据进行解压缩优化，并对传送数据进行存储处理。
进一步地，所述压缩门限为128KB；所述压缩优化和解压缩优化的算法为LZ4算法。
进一步地，所述压缩属性至少包括已压缩标识，或者，所述压缩属性包括已压缩标识、算法库类型、压缩前大小、压缩后大小和压缩比。
进一步地，所述方法还包括：云存储客户端确定传送数据的数据块大小没有超过压缩门限，则将传送数据发送至云存储服务端；云存储服务端确定传送数据没有携带压缩属性后，对传送数据进行存储处理。
进一步地，所述对传送数据进行存储处理，具体为：云存储服务端对接收到的传送数据或解压缩后的传送数据进行校验，通过校验后的传送数据进行存储处理。
本发明还提供了一种云存储***，包括云存储客户端和云存储服务端，其中，云存储客户端，用于预先设置数据块的压缩门限；向云存储服务端传送数据前，如果确定传送数据的数据块大小超过压缩门限，则对传送数据执行压缩优化，在压缩的传送数据中标记压缩属性后发送至云存储服务端；云存储服务端，用于接收到来自云存储客户端的传送数据，确定传送数据携带有压缩属性后，根据压缩属性对传送数据进行解压缩优化，并对传送数据进行存储处理。
与现有技术相比，本发明云存储客户端在发送数据到云存储服务端前，先对传送数据进行压缩，然后通过网络发送至云存储服务端，云存储服务端接收到传送数据后，先对传送数据执行解压缩，然后云存储服务端即可按照原有数据存储操作进行后续操作。通过本发明，解决了传送数据在网络传输中对带宽占用造成网络带宽成为性能瓶颈的缺陷，且对现有云存储***不会造成影响，并具有很强的通用性。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
附图用来提供对本发明技术方案的进一步理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本发明的技术方案，并不构成对本发明技术方案的限制。
图1是本发明的一种实施例中云存储***中数据传输方法的流程示意图。
图2是本发明的一种实施例中云存储***中数据传输***的架构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下文中将结合附图对本发明的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。
在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机***中执行。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
图1是本发明的一种实施例中云存储***中数据传输方法的流程示意图。该云存储***中数据传输方法应用于云存储***中的云存储客户端和云存储服务端，如图1所示，该方法包括：
步骤101，在云存储客户端预先设置数据块的压缩门限。
在本步骤中，用户可以在云存储客户端预先设置数据块的压缩门限，例如压缩门限为128KB，当然也可以是其它值，在此不限定。
步骤102，在云存储客户端向云存储服务端传送数据前，判断传送数据的数据块大小是否超过压缩门限，如果超过，进行步骤103；如果没有超过，进行步骤104。
在本步骤中，在云存储客户端向云存储服务端传送数据前，先进行传送数据的数据块大小是否超过压缩门限的判断，例如判断数据块大小是否大于128KB。
步骤103，云存储客户端对传送数据执行压缩优化，在压缩后的传送数据中标记压缩属性，然后进行步骤104。
相对于现有技术，本发明的云存储客户端在发送传送数据到服务端前，先对传送数据进行压缩，然后通过网络发送至服务端，从而可以大幅度减少传送数据在网络传输中对带宽的占用。
在本步骤中，如果传送数据的数据块大小超过压缩门限128KB，则云存储客户端对传送数据执行网络数据通信压缩优化，该压缩优化可以采用LZ4压缩算法，LZ4是一个快速的无损压缩算法，压缩速度在单核300MB/S，可扩展支持多核CPU。它还具有一个非常快速的解码器，速度单核可达到和超越1GB/s，通常能够达到多核***上的RAM速度限制。当然还可以使用其它的压缩算法，在此不限制。
压缩优化完成后，在压缩的传送数据中标记压缩属性，该压缩属性至少包括已压缩标识，还可以包括算法库类型、压缩前大小、压缩后大小、压缩比等信息。
步骤104，云存储客户端将传送数据发送至云存储服务端。
在本步骤中，如果传送数据的数据块大小超过压缩门限128KB，则云存储客户端对传送数据执行网络数据通信压缩优化并标记压缩属性后将传送数据发送至云存储服务端；如果传送数据的数据块大小没有超过压缩门限128KB，则云存储客户端直接将传送数据发送至云存储服务端。
步骤105，云存储服务端接收到来自云存储客户端的传送数据，判断是否需要对传送数据进行解压缩，如果是，进行步骤106；如果否，进行步骤107
在本步骤中，根据接收到的传送数据是否携带压缩属性来判断是否需要对传送数据进行解压缩。
步骤106，云存储服务端对传送数据进行解压缩优化，然后进行步骤107。
在本步骤中，确定该传送数据携带有压缩属性后，根据该压缩属性对传送数据进行解压缩优化，该解压缩优化可以采用LZ4压缩算法，当然还可以使用其它的压缩算法，在此不限制。
步骤107，云存储服务端对传送数据进行存储处理。
在本步骤中，云存储服务端对传送数据进行校验，通过校验后的传送数据进行存储处理。如何进行数据校验为本领域技术人员所熟知，在此不赘述。
图2是本发明的一种实施例中云存储***的架构示意图。如图2所示，该云存储***包括云存储客户端和云存储服务端，其中，
云存储客户端，用于预先设置数据块的压缩门限；向云存储服务端传送数据前，判断传送数据的数据块大小是否超过压缩门限，如果超过对传送数据执行网络数据通信压缩优化，在压缩的传送数据中标记压缩属性并发送至云存储服务端，如果没有超过，将传送数据发送至云存储服务端；
云存储服务端，用于接收到来自云存储客户端的传送数据，根据是否携带压缩属性判断是否需要对传送数据进行解压缩；如果需要，根据该压缩属性对传送数据进行解压缩优化后对传送数据进行存储处理，如果不需要，对传送数据进行存储处理。
云存储***的具体实现细节和云存储***中数据传输方法相似，故在此不赘述。
本发明对现有云存储***不会造成影响，且具有很强的通用性。云存储客户端在发送数据到云存储服务端前，先对传送数据进行压缩，然后通过网络发送至云存储服务端，云存储服务端接收到传送数据后，先对传送数据执行解压缩，然后云存储服务端即可按照原有数据存储操作进行后续操作，从而解决了传送数据在网络传输中对带宽占用造成网络带宽成为性能瓶颈的缺陷。
虽然本发明所揭露的实施方式如上，但所述的内容仅为便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属领域内的技术人员，在不脱离本发明所揭露的精神和范围的前提下，可以在实施的形式及细节上进行任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (8)

1.一种云存储***中数据传输方法，应用于云存储***中的云存储客户端和云存储服务端，其特征在于，包括：
云存储客户端预先设置数据块的压缩门限；
在云存储客户端向云存储服务端传送数据前，如果确定传送数据的数据块大小超过压缩门限，则对传送数据执行压缩优化，在压缩的传送数据中标记压缩属性后发送至云存储服务端，如果确定所述传送数据的数据块大小没有超过所述压缩门限，则将所述传送数据发送至所述云存储服务端；
云存储服务端接收到来自云存储客户端的传送数据，如果确定传送数据携带有压缩属性后，根据压缩属性对传送数据进行解压缩优化，并对传送数据进行存储处理，如果确定所述传送数据没有携带所述压缩属性后，对所述传送数据进行存储处理。
2.根据权利要求1所述的云存储***中数据传输方法，其特征在于，所述压缩门限为128KB；
所述压缩优化和解压缩优化的算法为LZ4算法。
3.根据权利要求1所述的云存储***中数据传输方法，其特征在于，所述压缩属性至少包括已压缩标识，或者，
所述压缩属性包括已压缩标识、算法库类型、压缩前大小、压缩后大小和压缩比。
4.根据权利要求1所述的云存储***中数据传输方法，其特征在于，所述对传送数据进行存储处理，具体为：
云存储服务端对接收到的传送数据或解压缩后的传送数据进行校验，通过校验后的传送数据进行存储处理。
5.一种云存储***，包括云存储客户端和云存储服务端，其特征在于：
云存储客户端，用于预先设置数据块的压缩门限；向云存储服务端传送数据前，如果确定传送数据的数据块大小超过压缩门限，则对传送数据执行压缩优化，在压缩后的传送数据中标记压缩属性后发送至云存储服务端，如果确定所述传送数据的数据块大小没有超过所述压缩门限，则将所述传送数据发送至所述云存储服务端；
云存储服务端，用于接收到来自云存储客户端的传送数据，确定传送数据携带有压缩属性后，根据压缩属性对传送数据进行解压缩优化，并对传送数据进行存储处理，如果确定所述传送数据没有携带所述压缩属性后，对所述传送数据进行存储处理。
6.根据权利要求5所述的云存储***，其特征在于，所述压缩门限为128KB；所述压缩优化和解压缩优化的算法为LZ4算法。
7.根据权利要求5所述的云存储***，其特征在于，所述压缩属性至少包括已压缩标识，或者，
所述压缩属性包括已压缩标识、算法库类型、压缩前大小、压缩后大小和压缩比。
8.根据权利要求5所述的云存储***，其特征在于，所述云存储服务端，还用于对接收到的传送数据或解压缩的传送数据进行校验，通过校验后的传送数据进行存储处理。
CN201510388348.7A 2015-07-03 2015-07-03 一种云存储***中数据传输方法和*** Active CN104954497B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510388348.7A CN104954497B (zh) 2015-07-03 2015-07-03 一种云存储***中数据传输方法和***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510388348.7A CN104954497B (zh) 2015-07-03 2015-07-03 一种云存储***中数据传输方法和***

Publications (2)

Publication Number Publication Date
CN104954497A CN104954497A (zh) 2015-09-30
CN104954497B true CN104954497B (zh) 2018-09-14

Family

ID=54168839

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510388348.7A Active CN104954497B (zh) 2015-07-03 2015-07-03 一种云存储***中数据传输方法和***

Country Status (1)

Country Link
CN (1) CN104954497B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105516307A (zh) * 2015-12-09 2016-04-20 浪潮电子信息产业股份有限公司 一种基于压缩的优化云存储***日志存储的方法
CN106101218A (zh) * 2016-06-12 2016-11-09 乐视控股（北京）有限公司 终端数据的上报方法及装置
CN106412093B (zh) * 2016-10-25 2019-07-23 Oppo广东移动通信有限公司 一种数据的上传方法、装置及***
CN106909398B (zh) * 2017-03-10 2020-10-16 深圳创维－Rgb电子有限公司 一种可执行文件的压缩方法及装置
CN109325006A (zh) * 2018-08-23 2019-02-12 郑州云海信息技术有限公司 一种压缩存储的方法和装置、解压下载的方法和装置
CN112347399A (zh) * 2019-08-08 2021-02-09 武汉东湖大数据交易中心股份有限公司 一种基于大数据的智能推荐***

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102143198A (zh) * 2010-09-30 2011-08-03 华为技术有限公司 消息传送方法、装置和***
CN102546740A (zh) * 2011-06-24 2012-07-04 奇智软件（北京）有限公司 一种基于云压缩文件的压缩和解压缩方法、装置及***
CN102802197A (zh) * 2011-05-23 2012-11-28 中兴通讯股份有限公司 应用数据的传输方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
MXPA02004015A (es) * 1999-10-22 2003-09-25 Activesky Inc Un sistema de video orientado a los objetos.

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102143198A (zh) * 2010-09-30 2011-08-03 华为技术有限公司 消息传送方法、装置和***
CN102802197A (zh) * 2011-05-23 2012-11-28 中兴通讯股份有限公司 应用数据的传输方法及装置
CN102546740A (zh) * 2011-06-24 2012-07-04 奇智软件（北京）有限公司 一种基于云压缩文件的压缩和解压缩方法、装置及***

Also Published As

Publication number Publication date
CN104954497A (zh) 2015-09-30

Similar Documents

Publication Publication Date Title
CN104954497B (zh) 一种云存储***中数据传输方法和***
CN103248452B (zh) 数据发送装置、数据接收装置、终端和数据传输方法
CN107634915A (zh) 数据传输方法、装置及储存介质
CN104219298B (zh) 集群***及其数据备份的方法
CN105207975A (zh) 一种vdi架构下的usb图像设备数据传输方法和***
CN104243610A (zh) 一种分布式文件传输服务方法
KR101419437B1 (ko) 데이터 가속 알고리즘을 선택하여 콘텐츠를 제공하는 방법 및 장치
US11991061B2 (en) Processing local area network diagnostic data
CN110855512A (zh) 基于边缘计算的超大规模dpi数据的处理***
US20140074912A1 (en) Communication apparatus, relay apparatus and communication method
CN205540723U (zh) 一种基于云计算的信息检索***
CN104702596B (zh) 一种基于数据包长度的信息隐藏与传输的方法及***
CN110611937B (zh) 数据分流方法、装置、边缘数据中心和可读存储介质
CN105072057B (zh) 一种用于网络数据传输的中间交换设备及其方法和***
US20160261719A1 (en) Information processing system, control program, and control method
TW201436533A (zh) 資料流傳輸系統及方法
CN112422525B (zh) 一种故障数据传输方法、装置、设备及存储介质
CN101662466A (zh) 通信***中协议数据的传输方法、通信设备及通信***
CN113766020A (zh) 面向卫星导航接收机设备的远程控制***及其控制方法
CN107800758A (zh) 风控数据处理方法、装置及***
CN110730126B (zh) 链路汇聚***、数据帧的发送或接收方法及其装置
CN102957633A (zh) 一种消息中间件的数据打包传输方法和***
CN103888586A (zh) 一种传输数据的方法和终端
KR101331095B1 (ko) 개방형 모바일 기기관리 기반의 ｘｍｌ 메시지 압축 전송방법 및 그 시스템
JP6298013B2 (ja) ポリシー制御システム、および、ポリシー制御方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant