CN106648471A - 云平台数据存储方法及装置 - Google Patents

云平台数据存储方法及装置 Download PDF

Info

Publication number
CN106648471A
CN106648471A CN201611255523.6A CN201611255523A CN106648471A CN 106648471 A CN106648471 A CN 106648471A CN 201611255523 A CN201611255523 A CN 201611255523A CN 106648471 A CN106648471 A CN 106648471A
Authority
CN
China
Prior art keywords
data
cloud platform
performance parameter
stored
storage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201611255523.6A
Other languages
English (en)
Inventor
张勤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SHENZHEN ZHONGBO KECHUANG INFORMATION TECHNOLOGY Co Ltd
Original Assignee
SHENZHEN ZHONGBO KECHUANG INFORMATION TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SHENZHEN ZHONGBO KECHUANG INFORMATION TECHNOLOGY Co Ltd filed Critical SHENZHEN ZHONGBO KECHUANG INFORMATION TECHNOLOGY Co Ltd
Priority to CN201611255523.6A priority Critical patent/CN106648471A/zh
Publication of CN106648471A publication Critical patent/CN106648471A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0602Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0626Reducing size or complexity of storage systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G06F3/0656Data buffering arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0668Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种云平台数据存储方法,包括步骤:当接收到客户端发送过来的需要存储在云平台的数据时,判断云平台的写入性能参数是否小于预设的写入性能参数;当云平台的写入性能参数小于预设的写入性能参数时,缓存所述数据;当云平台的写入性能参数大于或等于预设的写入性能参数时,将所述数据发送至云平台以进行存储。本发明还公开了一种云平台数据存储装置。本发明在客户端向云平台存储数据时,通过将数据进行缓存再存入云平台,无需使用价格昂贵的更高性能的硬盘,即能满足客户端对数据存储效率高的需求。

Description

云平台数据存储方法及装置
技术领域
本发明涉及云存储技术领域,尤其涉及一种云平台数据存储方法及装置。
背景技术
网关(gateway)又称为网间连接器、协议转换器;在网络层以上实现网络互连,用于两个高层协议不同的网络互连。网关是承担转换任务的计算机***或者设备,在使用不同的通信协议、数据格式的***之间充当翻译器。
云存储中的对于网关技术的引入,使得用户无需改变本地文件***接口,使用现有的访问方式就能访问的云存储的相关服务。
云存储是在云计算(cloud computing)概念上延伸和发展出来的一个新的概念,是指通过集群应用、网格技术或分布式文件***等功能,将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作,共同对外提供数据存储和业务访问功能的一个***。当云计算***运算和处理的核心是大量数据的存储和管理时,云计算***中就需要配置大量的存储设备,那么云计算***就转变成为一个云存储***,所以云存储是一个以数据存储和管理为核心的云计算***。
随着存储地位日益提高,对存储效率也提出了更高的要求。想要得到更高存储效率,必须使用更高性能的硬盘,而更高性能的硬盘价格昂贵难以普及。
上述内容仅用于辅助理解本发明的技术方案,并不代表承认上述内容是现有技术。
发明内容
本发明的主要目的在于提供一种云平台数据存储方法及装置,旨在解决使用更高性能的硬盘提高存储效率导致价格昂贵难以普及的问题。
为实现上述目的,本发明提供的一种云平台数据存储方法,包括以下步骤:
当接收到客户端发送过来的需要存储在云平台的数据时,判断云平台的写入性能参数是否小于预设的写入性能参数;
当云平台的写入性能参数小于预设的写入性能参数时,缓存所述数据;
当云平台的写入性能参数大于或等于预设的写入性能参数时,将所述数据发送至云平台以进行存储。
优选地,所述接收到客户端发送过来的需要存储在云平台的数据的步骤之后,还包括:
判断客户端的输出性能参数是否大于预设的输出性能参数;
当客户端的输出性能参数大于预设的输出性能参数时,缓存所述数据;
当客户端的输出性能参数小于或等于预设的输出性能参数时,将数据发送至云平台以进行存储。
优选地,所述将所述数据发送至云平台以进行存储的步骤包括:
将数据拆分成若干大小相同的小块数据并附加分片信息形成切片数据;
将切片数据发送至云平台以进行存储。
优选地,所述将数据拆分成若干大小相同的小块数据并附加分片信息形成切片数据的步骤之后,还包括:
对每一个切片数据生成至少1个副本数据和/或为切片数据配置纠删码。
优选地,所述方法还包括:
当缓存数据达预设阀值时,将数据发送至云平台以进行存储。
此外,为实现上述目的,本发明还提供一种云平台数据存储装置,包括:
判断模块,用于当接收到客户端发送过来的需要存储在云平台的数据时,判断云平台的写入性能参数是否小于预设的写入性能参数;
缓存模块,用于当云平台的写入性能参数小于预设的写入性能参数时,缓存所述数据;
发送模块,用于当云平台的写入性能参数大于或等于预设的写入性能参数时,将所述数据发送至云平台以进行存储。
优选地,所述判断模块,还用于判断客户端的输出性能参数是否大于预设的输出性能参数;
所述缓存模块,还用于当客户端的输出性能参数大于预设的输出性能参数时,缓存所述数据;
所述发送模块,还用于当客户端的输出性能参数小于或等于预设的输出性能参数时,将数据发送至云平台以进行存储。
优选地,所述发送模块包括:
切片单元,用于将数据拆分成若干大小相同的小块数据并附加分片信息形成切片数据;
发送单元,用于将切片数据发送至云平台以进行存储。
优选地,所述切片单元,还用于对每一个切片数据生成至少1个副本数据和/或为切片数据配置纠删码。
优选地,所述发送模块,还用于当缓存数据达预设阀值时,将数据发送至云平台以进行存储。
本发明当接收到客户端发送过来的需要存储在云平台的数据时,判断云平台的写入性能参数是否小于预设的写入性能参数;当云平台的写入性能参数小于预设的写入性能参数时,缓存所述数据;当云平台的写入性能参数大于或等于预设的写入性能参数时,将所述数据发送至云平台以进行存储。本发明在客户端向云平台存储数据时,通过将数据进行缓存再存入云平台,无需使用价格昂贵的更高性能的硬盘,即能满足客户端对数据存储效率高的需求。
附图说明
图1为本发明云平台数据存储方法的第一实施例的流程示意图;
图2为图1中步骤S30一实施例的细化流程示意图;
图3为本发明云平台数据存储方法的第二实施例的流程示意图;
图4为本发明云平台数据存储方法的第三实施例的流程示意图;
图5为本发明云平台数据存储方法的第四实施例的流程示意图;
图6为本发明云平台数据存储装置的优选实施例的功能模块示意图;
图7为图6中发送模块一实施例的细化功能模块示意图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
本发明提供一种云平台数据存储方法。
参照图1,图1为本发明云平台数据存储方法的第一实施例的流程示意图。
在一实施例中,所述云平台数据存储方法包括:
步骤S10,当接收到客户端发送过来的需要存储在云平台的数据时,判断云平台的写入性能参数是否小于预设的写入性能参数;
使用云平台存储数据的好处有:企业不需投入大量的固定资产采购软硬件,也不需要增加信息管理人员,只要透过云平台服务供货商所提供的服务,在很短的时间内就可以迅速取得服务。这对一些分秒必争的企业营运来说,将会产生相当大的帮助。有了虚拟化的技术,企业放在云端的资料备份及备援将会得到相当程度的保障。这让企业愿意将数据及应用程序放在云端,透过网络让各分公司能够及时取得服务,达到随选服务的要求,加快整体公司的营运效率。另外整体连网装置将涵盖计算机、智能型手机、电子书等,再加上网络的普及频宽的提升、企业全球化的浪潮,行动办公室对信息的取得将更为迫切。而透过云平台服务供货商提供的服务让信息流可以随时流入自己的手持装置中,迅速做出决策,将是提升企业竞争力的首要关键。网关(gateway),又称为网间连接器、协议转换器;在网络层以上实现网络互连,用于两个高层协议不同的网络互连。网关是充当转换任务的计算机***或者设备,在使用不同的通信协议、数据格式的***之间的翻译器。本发明一实施例引入存储网关,这一***的引入是基于网络存储的私有云存储体系的关键。存储网关不仅仅承担存储的设备连接任务,还承载着对存储的I/O请求的处理任务。其主要软件功能包括I/O请求包的获取与转发、虚拟存储池的管理与映射逻辑管理、高可用性等其他数据保障技术支持等。由此可见,存储网关的功能特点中,并不需要对存储设备进行存储模式的改变,当然这并不意味着不能对存储模式进行改变,如果有更好的存储模式、更有效的存储管理功能、而存储设备中又不存在需要迁移或只有极少量的数据需要迁移的话,对其存储模式进行改变就是一个不错的选择。存储网关的存储I/O请求,其主要的任务事实上是转发,即将服务器针对存储池中的虚拟设备的I/O请求转换成对物理存储设备的I/O请求。由于存储池的存在,存储池中的虚拟设备与实际的存储物理设备间有某种映射关系存在,存储网关的主要作用就是将这种映射关系清晰的定义出来,并将服务器的I/O请求转换为对物理设备的I/O请求。虚拟存储设备的I/O请求可以完全与服务器对实际物理存储设备的I/O请求一致,这样,存储网关的主要作用将变成简单的I/O请求包的转发及对存储池的管理。随着数据增大、用户增加,当用户希望数据能够快速写入云平台时,云平台可能因为存储量增加导致存储性能下降而不能满足用户需求。针对这类情况,本发明一实施例通过在接收到客户端发送过来的需要存储在云平台的数据时,所述网关判断云平台的写入性能参数是否小于预设的写入性能参数,预设的写入性能参数可以是一个固定的参数,也可以根据用户不同、上传的数据不同而设置不同的参数,以判断云平台的写入性能是否能达到用户需求。
步骤S20,当云平台的写入性能参数小于预设的写入性能参数时,缓存所述数据;
当云平台的写入性能参数小于预设的写入性能参数时,即云平台的写入性能不能满足客户端快速存储的需求,为了满足客户端快速存储的需求,不能将客户端的数据直接发送至云平台进行存储,本发明一实施例通过将数据在存储网关进行缓存,从而对客户端而言,实现了数据的快速存储。
步骤S30,当云平台的写入性能参数大于或等于预设的写入性能参数时,将所述数据发送至云平台以进行存储。
当云平台的写入性能参数大于或等于预设的写入性能参数时,即云平台的写入性能能够满足客户端快速存储的需求,所述网关可以将客户端的数据直接发送至云平台进行存储,也可以将存储网关中缓存的数据存入云平台。
参照图2,图2为图1中步骤S30一实施例的细化流程示意图;所述步骤S30包括:
步骤S31,将数据拆分成若干大小相同的小块数据并附加分片信息形成切片数据;
步骤S32,将切片数据发送至云平台以进行存储。
随着互联网应用的广泛普及,海量数据的存储和访问成为了***设计的瓶颈问题。对于一个大型的互联网应用,每天几十亿的页面浏览量无疑对数据库造成了相当高的负载。对于***的稳定性和扩展性造成了极大的问题。通过数据切分来提高网站性能,横向扩展数据层已经成为架构研发人员首选的方式。水平切分数据库,可以降低单台机器的负载,同时最大限度的降低了宕机造成的损失。通过负载均衡策略,有效的降低了单台机器的访问负载,降低了宕机的可能性;通过集群方案,解决了数据库宕机带来的单点数据库不能访问的问题;通过读写分离策略更是最大限度的提高了应用中读取数据的速度和并发量。为了实现数据库切分,在进行数据存储时即可将数据进行切片,即将数据拆分成若干大小相同的小块数据并附加分片信息形成切片数据;将切片数据发送至云平台以进行存储。分片信息(如总片数、当前第几片、文件大小、时间等)附加在每个分片数据开头一并进行存储,以便在读取时进行解析并根据操作类型做相应操作。进一步地,还可以对发送至云平台进行存储的数据进行加密,可以使用非对称加密算法,提高数据的保密性。
本实施例在客户端向云平台存储数据时,通过将数据进行缓存再存入云平台,无需使用价格昂贵的更高性能的硬盘,即能满足客户端对数据存储效率高的需求。
参照图3,图3为本发明云平台数据存储方法的第二实施例的流程示意图。基于上述云平台数据存储方法的第一实施例,所述步骤S31之后,还包括:
步骤S33,对每一个切片数据生成至少1个副本数据和/或为切片数据配置纠删码。
随着信息化进程的不断推进,需要存储的各种数据量也不断增加。传统集中存储模式存在一定的性能瓶颈,已经不能满足大规模存储的需求。分布式存储一般可以基于集群的存储方式和基于P2P(peer-to-peer,对等互联网络技术或点对点网络技术)的存储方式。由于P2P存储可以提供存储的高效率、高可扩展性以及较好的鲁棒性和负载均衡性。随着分布式存储***的不断发展,人们对存储***的性能要求也越来越高。存储***有许多评价指标和功能需求。***的吞吐量和请求响应时间是存储***的两个主要评价指标。为了提高存储***的可用性和可靠性,本发明一实施例对每一个切片数据生成至少1个副本数据,即在存储***中采用多副本存储的方式,且同一个切片数据的多个副本会存放在不同节点上,采用这种多副本方式有以下几个优点:1)可以让用户从不同的切片数据中读取数据,加快传输速度;2)可以判断数据传输是否出错;3)可以保证某个切片数据失效的情况下,不会丢失数据。然而,采用多副本存储的方式需要占用更多的存储空间,对于防止数据丢失而言,本发明一实施例提出了为切片数据配置纠删码的方式,纠删码是在丢失部分数据的情况下根据剩余数据将丢失的数据重建的一组算法。例如,当切片数据中存在k个数据,使用纠删算法后生成k+m个数据,再将k+m个数据发送给云平台中的多个不同节点,从而实现数据的冗余。当有数据出错时,根据剩余的任何k个数据都能还原出原始的k个数据;当然,当出错数据超过纠正范围时,即剩余的正确数据个数少于k个,已经无法还原出原始的k个数据,则可把无法纠错的信息删除。使用纠删码的方式比多副本存储的方式占用更少的云存储空间。纠删码和多副本存储的方式也可以结合使用,能够达到防数据丢失,且存储空间占用较少,用户读取数据速度较快的目的。
本实施例通过使用纠删码和多副本存储的方式,能够达到防数据丢失,且存储空间占用较少,用户读取数据速度较快的目的。
参照图4,图4为本发明云平台数据存储方法的第三实施例的流程示意图。基于上述云平台数据存储方法的第二实施例,所述步骤S10中接收到客户端发送过来的需要存储在云平台的数据的步骤之后,还包括:
步骤S40,判断客户端的输出性能参数是否大于预设的输出性能参数;
步骤S50,当客户端的输出性能参数大于预设的输出性能参数时,缓存所述数据;
步骤S60,当客户端的输出性能参数小于或等于预设的输出性能参数时,将数据发送至云平台以进行存储。
前述实施例是通过判断云平台的写入性能是否能达到用户需求,以控制对数据缓存或存入云平台,本发明一实施例进一步提出,所述网关对客户端存储性能需求进行判断,对于不同客户端和/或不同数据,需要的存储性能不一定相同,例如,当客户端向云平台存储小文件时,云平台的写入性能高低对存储时间等影响差距不大,则可以直接存入云平台;当然,对于输出性能较差的客户端,也可以直接存入云平台。因此,在接收到客户端发送过来的需要存储在云平台的数据时,判断客户端的输出性能参数是否大于预设的输出性能参数;当客户端的输出性能参数大于预设的输出性能参数时,缓存所述数据;当客户端的输出性能参数小于或等于预设的输出性能参数时,将数据发送至云平台以进行存储。根据客户端及云平台的性能状态控制数据存储,从而提高数据存储的处理能力。
本实施例根据客户端及云平台的性能状态控制数据存储,从而提高数据存储的处理能力。
参照图5,图5为本发明云平台数据存储方法的第四实施例的流程示意图。基于上述云平台数据存储方法的第三实施例,所述方法还包括:
步骤S70,当缓存数据达预设阀值时,将数据发送至云平台以进行存储。
如前所述,当云平台的写入性能参数小于预设的写入性能参数时,所述网关(执行缓存功能的设备)对数据进行缓存;但是,执行缓存功能的设备的容量也是有限的,如果云平台的写入性能持续处于不能满足数据写入的状态,或者,数据缓存的速度大于云平台存储数据的速度,则执行缓存功能的设备中存储的数据量将越来越多,然而,执行缓存功能的设备不可能无限量的缓存数据,特别是当缓存数据过多时,将导致执行缓存功能的设备本身工作性能下降,因此,当缓存数据达预设阀值时,将数据发送至云平台以进行存储。例如,当缓存数据达容量的80%时,不论云平台的存储性能如何,均强制将数据发送至云平台以进行存储。
本实施例通过设置缓存数据的预设阀值,可以保证执行缓存功能的设备中不至于因缓存过多数据而导致本身工作性能下降,从而保证***的稳定性。
本发明进一步提供一种云平台数据存储装置。
参照图6,图6为本发明云平台数据存储装置的第一实施例的功能模块示意图。
在一实施例中,所述云平台数据存储装置包括:判断模块10、缓存模块20及发送模块30。
所述判断模块10,用于当接收到客户端发送过来的需要存储在云平台的数据时,判断云平台的写入性能参数是否小于预设的写入性能参数;
使用云平台存储数据的好处有:企业不需投入大量的固定资产采购软硬件,也不需要增加信息管理人员,只要透过云平台服务供货商所提供的服务,在很短的时间内就可以迅速取得服务。这对一些分秒必争的企业营运来说,将会产生相当大的帮助。有了虚拟化的技术,企业放在云端的资料备份及备援将会得到相当程度的保障。这让企业愿意将数据及应用程序放在云端,透过网络让各分公司能够及时取得服务,达到随选服务的要求,加快整体公司的营运效率。另外整体连网装置将涵盖计算机、智能型手机、电子书等,再加上网络的普及频宽的提升、企业全球化的浪潮,行动办公室对信息的取得将更为迫切。而透过云平台服务供货商提供的服务让信息流可以随时流入自己的手持装置中,迅速做出决策,将是提升企业竞争力的首要关键。网关(gateway),又称为网间连接器、协议转换器;在网络层以上实现网络互连,用于两个高层协议不同的网络互连。网关是充当转换任务的计算机***或者设备,在使用不同的通信协议、数据格式的***之间的翻译器。本发明一实施例引入存储网关,这一***的引入是基于网络存储的私有云存储体系的关键。存储网关不仅仅承担存储的设备连接任务,还承载着对存储的I/O请求的处理任务。其主要软件功能包括I/O请求包的获取与转发、虚拟存储池的管理与映射逻辑管理、高可用性等其他数据保障技术支持等。由此可见,存储网关的功能特点中,并不需要对存储设备进行存储模式的改变,当然这并不意味着不能对存储模式进行改变,如果有更好的存储模式、更有效的存储管理功能、而存储设备中又不存在需要迁移或只有极少量的数据需要迁移的话,对其存储模式进行改变就是一个不错的选择。存储网关的存储I/O请求,其主要的任务事实上是转发,即将服务器针对存储池中的虚拟设备的I/O请求转换成对物理存储设备的I/O请求。由于存储池的存在,存储池中的虚拟设备与实际的存储物理设备间有某种映射关系存在,存储网关的主要作用就是将这种映射关系清晰的定义出来,并将服务器的I/O请求转换为对物理设备的I/O请求。虚拟存储设备的I/O请求可以完全与服务器对实际物理存储设备的I/O请求一致,这样,存储网关的主要作用将变成简单的I/O请求包的转发及对存储池的管理。随着数据增大、用户增加,当用户希望数据能够快速写入云平台时,云平台可能因为存储量增加导致存储性能下降而不能满足用户需求。针对这类情况,本发明一实施例通过在接收到客户端发送过来的需要存储在云平台的数据时,所述网关判断云平台的写入性能参数是否小于预设的写入性能参数,预设的写入性能参数可以是一个固定的参数,也可以根据用户不同、上传的数据不同而设置不同的参数,以判断云平台的写入性能是否能达到用户需求。
所述缓存模块20,用于当云平台的写入性能参数小于预设的写入性能参数时,缓存所述数据;
当云平台的写入性能参数小于预设的写入性能参数时,即云平台的写入性能不能满足客户端快速存储的需求,为了满足客户端快速存储的需求,不能将客户端的数据直接发送至云平台进行存储,本发明一实施例通过将数据在存储网关进行缓存,从而对客户端而言,实现了数据的快速存储。
所述发送模块30,用于当云平台的写入性能参数大于或等于预设的写入性能参数时,将所述数据发送至云平台以进行存储。
当云平台的写入性能参数大于或等于预设的写入性能参数时,即云平台的写入性能能够满足客户端快速存储的需求,所述网关可以将客户端的数据直接发送至云平台进行存储,也可以将存储网关中缓存的数据存入云平台。
参照图7,图7为图6中发送模块30一实施例的细化功能模块示意图;所述发送模块30包括:
切片单元31,用于将数据拆分成若干大小相同的小块数据并附加分片信息形成切片数据;
发送单元32,用于将切片数据发送至云平台以进行存储。
随着互联网应用的广泛普及,海量数据的存储和访问成为了***设计的瓶颈问题。对于一个大型的互联网应用,每天几十亿的页面浏览量无疑对数据库造成了相当高的负载。对于***的稳定性和扩展性造成了极大的问题。通过数据切分来提高网站性能,横向扩展数据层已经成为架构研发人员首选的方式。水平切分数据库,可以降低单台机器的负载,同时最大限度的降低了宕机造成的损失。通过负载均衡策略,有效的降低了单台机器的访问负载,降低了宕机的可能性;通过集群方案,解决了数据库宕机带来的单点数据库不能访问的问题;通过读写分离策略更是最大限度的提高了应用中读取数据的速度和并发量。为了实现数据库切分,在进行数据存储时即可将数据进行切片,即将数据拆分成若干大小相同的小块数据并附加分片信息形成切片数据;将切片数据发送至云平台以进行存储。分片信息(如总片数、当前第几片、文件大小、时间等)附加在每个分片数据开头一并进行存储,以便在读取时进行解析并根据操作类型做相应操作。进一步地,还可以对发送至云平台进行存储的数据进行加密,可以使用非对称加密算法,提高数据的保密性。
本实施例在客户端向云平台存储数据时,通过将数据进行缓存再存入云平台,无需使用价格昂贵的更高性能的硬盘,即能满足客户端对数据存储效率高的需求。
进一步地,所述切片单元31,还用于对每一个切片数据生成至少1个副本数据和/或为切片数据配置纠删码。
随着信息化进程的不断推进,需要存储的各种数据量也不断增加。传统集中存储模式存在一定的性能瓶颈,已经不能满足大规模存储的需求。分布式存储一般可以基于集群的存储方式和基于P2P(peer-to-peer,对等互联网络技术或点对点网络技术)的存储方式。由于P2P存储可以提供存储的高效率、高可扩展性以及较好的鲁棒性和负载均衡性。随着分布式存储***的不断发展,人们对存储***的性能要求也越来越高。存储***有许多评价指标和功能需求。***的吞吐量和请求响应时间是存储***的两个主要评价指标。为了提高存储***的可用性和可靠性,本发明一实施例对每一个切片数据生成至少1个副本数据,即在存储***中采用多副本存储的方式,且同一个切片数据的多个副本会存放在不同节点上,采用这种多副本方式有以下几个优点:1)可以让用户从不同的切片数据中读取数据,加快传输速度;2)可以判断数据传输是否出错;3)可以保证某个切片数据失效的情况下,不会丢失数据。然而,采用多副本存储的方式需要占用更多的存储空间,对于防止数据丢失而言,本发明一实施例提出了为切片数据配置纠删码的方式,纠删码是在丢失部分数据的情况下根据剩余数据将丢失的数据重建的一组算法。例如,当切片数据中存在k个数据,使用纠删算法后生成k+m个数据,再将k+m个数据发送给云平台中的多个不同节点,从而实现数据的冗余。当有数据出错时,根据剩余的任何k个数据都能还原出原始的k个数据;当然,当出错数据超过纠正范围时,即剩余的正确数据个数少于k个,已经无法还原出原始的k个数据,则可把无法纠错的信息删除。使用纠删码的方式比多副本存储的方式占用更少的云存储空间。纠删码和多副本存储的方式也可以结合使用,能够达到防数据丢失,且存储空间占用较少,用户读取数据速度较快的目的。
本实施例通过使用纠删码和多副本存储的方式,能够达到防数据丢失,且存储空间占用较少,用户读取数据速度较快的目的。
进一步地,所述判断模块10,还用于判断客户端的输出性能参数是否大于预设的输出性能参数;
所述缓存模块20,还用于当客户端的输出性能参数大于预设的输出性能参数时,缓存所述数据;
所述发送模块30,还用于当客户端的输出性能参数小于或等于预设的输出性能参数时,将数据发送至云平台以进行存储。
前述实施例是通过判断云平台的写入性能是否能达到用户需求,以控制对数据缓存或存入云平台,本发明一实施例进一步提出,所述网关对客户端存储性能需求进行判断,对于不同客户端和/或不同数据,需要的存储性能不一定相同,例如,当客户端向云平台存储小文件时,云平台的写入性能高低对存储时间等影响差距不大,则可以直接存入云平台;当然,对于输出性能较差的客户端,也可以直接存入云平台。因此,在接收到客户端发送过来的需要存储在云平台的数据时,判断客户端的输出性能参数是否大于预设的输出性能参数;当客户端的输出性能参数大于预设的输出性能参数时,缓存所述数据;当客户端的输出性能参数小于或等于预设的输出性能参数时,将数据发送至云平台以进行存储。根据客户端及云平台的性能状态控制数据存储,从而提高数据存储的处理能力。
本实施例根据客户端及云平台的性能状态控制数据存储,从而提高数据存储的处理能力。
进一步地,所述发送模块30,还用于当缓存数据达预设阀值时,将数据发送至云平台以进行存储。
如前所述,当云平台的写入性能参数小于预设的写入性能参数时,所述网关(执行缓存功能的设备)对数据进行缓存;但是,执行缓存功能的设备的容量也是有限的,如果云平台的写入性能持续处于不能满足数据写入的状态,或者,数据缓存的速度大于云平台存储数据的速度,则执行缓存功能的设备中存储的数据量将越来越多,然而,执行缓存功能的设备不可能无限量的缓存数据,特别是当缓存数据过多时,将导致执行缓存功能的设备本身工作性能下降,因此,当缓存数据达预设阀值时,将数据发送至云平台以进行存储。例如,当缓存数据达容量的80%时,不论云平台的存储性能如何,均强制将数据发送至云平台以进行存储。
本实施例通过设置缓存数据的预设阀值,可以保证执行缓存功能的设备中不至于因缓存过多数据而导致本身工作性能下降,从而保证***的稳定性。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种云平台数据存储方法,其特征在于,包括以下步骤:
当接收到客户端发送过来的需要存储在云平台的数据时,判断云平台的写入性能参数是否小于预设的写入性能参数;
当云平台的写入性能参数小于预设的写入性能参数时,缓存所述数据;
当云平台的写入性能参数大于或等于预设的写入性能参数时,将所述数据发送至云平台以进行存储。
2.如权利要求1所述的云平台数据存储方法,其特征在于,所述接收到客户端发送过来的需要存储在云平台的数据的步骤之后,还包括:
判断客户端的输出性能参数是否大于预设的输出性能参数;
当客户端的输出性能参数大于预设的输出性能参数时,缓存所述数据;
当客户端的输出性能参数小于或等于预设的输出性能参数时,将数据发送至云平台以进行存储。
3.如权利要求1或2所述的云平台数据存储方法,其特征在于,所述将所述数据发送至云平台以进行存储的步骤包括:
将数据拆分成若干大小相同的小块数据并附加分片信息形成切片数据;
将切片数据发送至云平台以进行存储。
4.如权利要求3所述的云平台数据存储方法,其特征在于,所述将数据拆分成若干大小相同的小块数据并附加分片信息形成切片数据的步骤之后,还包括:
对每一个切片数据生成至少1个副本数据和/或为切片数据配置纠删码。
5.如权利要求3所述的云平台数据存储方法,其特征在于,所述方法还包括:
当缓存数据达预设阀值时,将数据发送至云平台以进行存储。
6.一种云平台数据存储装置,其特征在于,包括:
判断模块,用于当接收到客户端发送过来的需要存储在云平台的数据时,判断云平台的写入性能参数是否小于预设的写入性能参数;
缓存模块,用于当云平台的写入性能参数小于预设的写入性能参数时,缓存所述数据;
发送模块,用于当云平台的写入性能参数大于或等于预设的写入性能参数时,将所述数据发送至云平台以进行存储。
7.如权利要求6所述的云平台数据存储装置,其特征在于,所述判断模块,还用于判断客户端的输出性能参数是否大于预设的输出性能参数;
所述缓存模块,还用于当客户端的输出性能参数大于预设的输出性能参数时,缓存所述数据;
所述发送模块,还用于当客户端的输出性能参数小于或等于预设的输出性能参数时,将数据发送至云平台以进行存储。
8.如权利要求6或7所述的云平台数据存储装置,其特征在于,所述发送模块包括:
切片单元,用于将数据拆分成若干大小相同的小块数据并附加分片信息形成切片数据;
发送单元,用于将切片数据发送至云平台以进行存储。
9.如权利要求8所述的云平台数据存储装置,其特征在于,所述切片单元,还用于对每一个切片数据生成至少1个副本数据和/或为切片数据配置纠删码。
10.如权利要求8所述的云平台数据存储装置,其特征在于,所述发送模块,还用于当缓存数据达预设阀值时,将数据发送至云平台以进行存储。
CN201611255523.6A 2016-12-29 2016-12-29 云平台数据存储方法及装置 Pending CN106648471A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611255523.6A CN106648471A (zh) 2016-12-29 2016-12-29 云平台数据存储方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611255523.6A CN106648471A (zh) 2016-12-29 2016-12-29 云平台数据存储方法及装置

Publications (1)

Publication Number Publication Date
CN106648471A true CN106648471A (zh) 2017-05-10

Family

ID=58837777

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611255523.6A Pending CN106648471A (zh) 2016-12-29 2016-12-29 云平台数据存储方法及装置

Country Status (1)

Country Link
CN (1) CN106648471A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107277129A (zh) * 2017-06-15 2017-10-20 北京睿至大数据有限公司 云存储平台和云存储终端
CN111176121A (zh) * 2020-02-06 2020-05-19 山东大学 一种基于云平台的整车控制器优化***及方法
CN111327600A (zh) * 2020-01-21 2020-06-23 成都信息工程大学 一种基于SaaS云平台制造服务资源集成***与方法
CN114928621A (zh) * 2022-02-15 2022-08-19 杭州瑞网广通信息技术有限公司 一种云存储***的数据写入方法以及装置
CN115250293A (zh) * 2022-06-30 2022-10-28 深圳水趣智能零售***有限公司 数据上传方法、装置及计算机可读存储介质
CN118170552A (zh) * 2024-05-15 2024-06-11 中国铁塔股份有限公司 云***的任务处理方法、装置及电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104767810A (zh) * 2015-04-07 2015-07-08 中国海洋大学 云-端协同服务***及云-端协同工作方法
CN104994141A (zh) * 2015-06-16 2015-10-21 四川长虹电器股份有限公司 缓解云服务器存储和计算压力的协同存储***
CN106060176A (zh) * 2016-08-04 2016-10-26 上海上大海润信息***有限公司 一种基于混合云的云计算应用架构及云计算服务方法
CN106100801A (zh) * 2016-08-29 2016-11-09 湖南大学 一种云存储***的非均匀纠删编码方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104767810A (zh) * 2015-04-07 2015-07-08 中国海洋大学 云-端协同服务***及云-端协同工作方法
CN104994141A (zh) * 2015-06-16 2015-10-21 四川长虹电器股份有限公司 缓解云服务器存储和计算压力的协同存储***
CN106060176A (zh) * 2016-08-04 2016-10-26 上海上大海润信息***有限公司 一种基于混合云的云计算应用架构及云计算服务方法
CN106100801A (zh) * 2016-08-29 2016-11-09 湖南大学 一种云存储***的非均匀纠删编码方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107277129A (zh) * 2017-06-15 2017-10-20 北京睿至大数据有限公司 云存储平台和云存储终端
CN111327600A (zh) * 2020-01-21 2020-06-23 成都信息工程大学 一种基于SaaS云平台制造服务资源集成***与方法
CN111327600B (zh) * 2020-01-21 2022-03-18 成都信息工程大学 一种基于SaaS云平台制造服务资源集成***与方法
CN111176121A (zh) * 2020-02-06 2020-05-19 山东大学 一种基于云平台的整车控制器优化***及方法
CN114928621A (zh) * 2022-02-15 2022-08-19 杭州瑞网广通信息技术有限公司 一种云存储***的数据写入方法以及装置
CN115250293A (zh) * 2022-06-30 2022-10-28 深圳水趣智能零售***有限公司 数据上传方法、装置及计算机可读存储介质
CN118170552A (zh) * 2024-05-15 2024-06-11 中国铁塔股份有限公司 云***的任务处理方法、装置及电子设备

Similar Documents

Publication Publication Date Title
CN106648471A (zh) 云平台数据存储方法及装置
US11928029B2 (en) Backup of partitioned database tables
US11036591B2 (en) Restoring partitioned database tables from backup
US11327949B2 (en) Verification of database table partitions during backup
US11093455B2 (en) Log-structured storage systems
US10789215B1 (en) Log-structured storage systems
CN106294585B (zh) 一种云计算平台下的存储方法
US9779109B2 (en) Storing a file in a cloud storage solution using multiple process threads
US8234372B2 (en) Writing a file to a cloud storage solution
US8260913B2 (en) Reading a file from a cloud storage solution
US11074017B2 (en) Log-structured storage systems
TWI766309B (zh) 日誌結構儲存系統
US11423015B2 (en) Log-structured storage systems
CN102411637B (zh) 分布式文件***的元数据管理方法
WO2017133216A1 (zh) 分布式存储方法和设备
CN104391930A (zh) 分布式文件存储装置和方法
CN105025053A (zh) 基于云存储技术的分布式文件的上传方法及其***
US10903981B1 (en) Log-structured storage systems
CN105940396A (zh) 分布式存储***中对象的层级组块
CN102307221A (zh) 一种云存储***及其实现方法
CN109583221A (zh) 基于多云服务器架构的网盘***
CN105868333A (zh) 文件处理方法及装置
Hsu et al. Causal consistency algorithms for partially replicated and fully replicated systems
CN109597903A (zh) 图像文件处理装置和方法、文件存储***及存储介质
Mseddi et al. On optimizing replica migration in distributed cloud storage systems

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170510