CN106302659A - 一种基于云存储***中提升访问数据快速存储方法 - Google Patents
一种基于云存储***中提升访问数据快速存储方法 Download PDFInfo
- Publication number
- CN106302659A CN106302659A CN201610624940.7A CN201610624940A CN106302659A CN 106302659 A CN106302659 A CN 106302659A CN 201610624940 A CN201610624940 A CN 201610624940A CN 106302659 A CN106302659 A CN 106302659A
- Authority
- CN
- China
- Prior art keywords
- data
- storage server
- server
- data storage
- client
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/56—Provisioning of proxy services
- H04L67/561—Adding application-functional data or data for application control, e.g. adding metadata
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Library & Information Science (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种基于云存储***中提升访问数据快速存储方法。所述云存储***包括元数据服务器、数据存储服务器以及客户端，元数据服务器与客户端之间只进行控制信号的传输，不进行存储数据流的传输；客户端与数据存储服务器之间进行存储数据流传输；单个数据文件读写并发进行；客户端写数据时，数据被分成各个数据块，写每个数据块根据以下步骤进行操作，并行的向数据存储服务器写数据块。本发明作为大量用户数据存储支撑的云存储***的高速并发访问性能方面出发，提出一种能满足多用户、高并发访问的需求的方法，给现实应用调用提供方便、高性能的存储支撑。
Description
技术领域
本发明属于计算机存储技术领域，特别是涉及一种基于云存储***中提升访问数据快速存储方法。
背景技术
随着互联网技术的快速发展，互联网的业务范围也在不断扩大，互联网己经成为人们日常生活中不可或缺的重要组成部分。用户对互联网的使用需求己经从传统的门户网站逐渐转向了高业务量的互联网服务。与此同时，数据呈现出***性的增长，对于互联网服务方来说，新扩展的业务中所需要的存储资源和计算机硬件的成本在不断地提髙，数据中心的建设和维护成本在逐年升高，人员管理和资源的消耗也在不断增加。要解决这一系列的问题，必须要建立一个新的平台和处理机制来协调和调度有限的资源，使数据的收集、处理和计算变得更为髙效、快捷。
云计算不断研究与发展的同时，其核心的技术云存储也被越来越多地被人们所关注。云存储是集群应用、网格技术和分布式文件***等将网络中大量不同类型的存储设格通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能，它为用户节省了大量成本，因此得到了广泛的支持和应用。
发明内容
本发明的目的在于提供一种基于云存储***中提升访问数据快速存储方法，通过采用访问云数据进行分割的方式，进行单个处理，作为大量用户数据存储支撑的云存储***的高速并发访问性能方面出发。
本发明是通过以下技术方案实现的：
本发明为一种基于云存储***中提升访问数据快速存储方法，所述云存储***包括元数据服务器、数据存储服务器以及客户端，其特征在于，包括如下步骤：
元数据服务器与客户端之间只进行控制信号的传输，不进行存储数据流的传输；
客户端与数据存储服务器之间进行存储数据流传输；
将大于阈值的数据文件均匀分割为各个数据块，分布式存储在每个数据存储服务器上；
单个数据文件读写并发进行；
客户端写数据时，数据被分成各个数据块，写每个数据块根据以下步骤进行操作，并行的向数据存储服务器写数据块：
a客户端向元数据服务器发起数据写请求；
b元数据服务器根据其管理的数据存储服务器的负载均衡的方法计算目的数据存储服务器，在目的数据存储服务器上创建新的数据块；
c目的数据存储服务器的数据块创建成功，将结果返回给元数据服务器；
d元数据服务器备份并同步此数据信息，并将目的数据存储服务器信息返回给客户端；
e客户端根据得到的目的数据存储服务器信息，向对应目的数据存储服务器发出数据写请求，并向目的数据存储服务器发送数据；
f目的数据存储服务器接收数据并存储到对应数据块，同时也向其他数据存储服务器备份；
g当本地数据写入以及备份完成后，目的数据存储服务器将完成信息返回给客户端；
客户端收到完成信息后，即完成数据的写入。
优选地，所述将大于阈值的数据文件均匀分割为各个数据块，分布式存储在每个数据存储服务器上的具体步骤：
S1客户端根据读数据文件时的请求偏移量除以数据块的大小得到数据块索引，并向元数据服务器发起数据读请求；
S2元数据服务器返回该数据块所在的数据存储服务器的列表，数据存储服务器列表包括每个数据存储服务器的地址和序号；
S3客户端向读写请求数最少的数据存储服务器发送读数据块请求；
S4数据存储服务器从本地文件***读出数据块，并返回数据块给客户端。
优选地，所述负载均衡的方法为：遍历所有数据存储服务器列表，数据存储服务器列表包括每个数据存储服务器的地址，分别以每个数据存储服务器的空间除以最大数据存储服务器的空间作为每个数据存储服务器的动态加权因子，加权因子取值范围0.0～1.0，加权因子与数据存储服务器的当前权值之和构成新的权值，对所有数据存储服务器权重进行排序，把负载最小的数据存储服务器排列在列表前面，然后返回可用数据存储服务器的地址，其权值减1。
本发明具有以下有益效果：
1、本发明作为大量用户数据存储支撑的云存储***的高速并发访问性能方面出发，提出一种能满足多用户、高并发访问的需求的方法，给现实应用调用提供方便、高性能的存储支撑。
2、本发明作为大量用户数据存储支撑的云存储***的高速并发访问性能方面出发，采用访问云数据进行分割的方式，进行单个处理。
当然，实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的一种基于云存储***中提升访问数据快速存储方法的框架图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
请参阅图1所示，本发明为一种基于云存储***中提升访问数据快速存储方法，所述云存储***包括元数据服务器、数据存储服务器以及客户端，包括如下步骤：
元数据服务器与客户端之间只进行控制信号的传输，不进行存储数据流的传输；
客户端与数据存储服务器之间进行存储数据流传输；
将大于阈值的数据文件均匀分割为各个数据块，分布式存储在每个数据存储服务器上；
单个数据文件读写并发进行；
客户端写数据时，数据被分成各个数据块，写每个数据块根据以下步骤进行操作，并行的向数据存储服务器写数据块：
a客户端向元数据服务器发起数据写请求；
b元数据服务器根据其管理的数据存储服务器的负载均衡的方法计算目的数据存储服务器，在目的数据存储服务器上创建新的数据块；
c目的数据存储服务器的数据块创建成功，将结果返回给元数据服务器；
d元数据服务器备份并同步此数据信息，并将目的数据存储服务器信息返回给客户端；
e客户端根据得到的目的数据存储服务器信息，向对应目的数据存储服务器发出数据写请求，并向目的数据存储服务器发送数据；
f目的数据存储服务器接收数据并存储到对应数据块，同时也向其他数据存储服务器备份；
g当本地数据写入以及备份完成后，目的数据存储服务器将完成信息返回给客户端；
客户端收到完成信息后，即完成数据的写入。
优选地，所述将大于阈值的数据文件均匀分割为各个数据块，分布式存储在每个数据存储服务器上的具体步骤：
S1客户端根据读数据文件时的请求偏移量除以数据块的大小得到数据块索引，并向元数据服务器发起数据读请求；
S2元数据服务器返回该数据块所在的数据存储服务器的列表，数据存储服务器列表包括每个数据存储服务器的地址和序号；
S3客户端向读写请求数最少的数据存储服务器发送读数据块请求；
S4数据存储服务器从本地文件***读出数据块，并返回数据块给客户端。
其中，负载均衡的方法为：遍历所有数据存储服务器列表，数据存储服务器列表包括每个数据存储服务器的地址，分别以每个数据存储服务器的空间除以最大数据存储服务器的空间作为每个数据存储服务器的动态加权因子，加权因子取值范围0.0～1.0，加权因子与数据存储服务器的当前权值之和构成新的权值，对所有数据存储服务器权重进行排序，把负载最小的数据存储服务器排列在列表前面，然后返回可用数据存储服务器的地址，其权值减1。
值得注意的是，上述***实施例中，所包括的各个单元只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
另外，本领域普通技术人员可以理解实现上述各实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，相应的程序可以存储于一计算机可读取存储介质中，所述的存储介质，如ROM/RAM、磁盘或光盘等。
以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。
Claims (3)
1.一种基于云存储***中提升访问数据快速存储方法，所述云存储***包括元数据服务器、数据存储服务器以及客户端，其特征在于，包括如下步骤：
元数据服务器与客户端之间只进行控制信号的传输，不进行存储数据流的传输；
客户端与数据存储服务器之间进行存储数据流传输；
将大于阈值的数据文件均匀分割为各个数据块，分布式存储在每个数据存储服务器上；
单个数据文件读写并发进行；
客户端写数据时，数据被分成各个数据块，写每个数据块根据以下步骤进行操作，并行的向数据存储服务器写数据块：
a客户端向元数据服务器发起数据写请求；
b元数据服务器根据其管理的数据存储服务器的负载均衡的方法计算目的数据存储服务器，在目的数据存储服务器上创建新的数据块；
c目的数据存储服务器的数据块创建成功，将结果返回给元数据服务器；
d元数据服务器备份并同步此数据信息，并将目的数据存储服务器信息返回给客户端；
e客户端根据得到的目的数据存储服务器信息，向对应目的数据存储服务器发出数据写请求，并向目的数据存储服务器发送数据；
f目的数据存储服务器接收数据并存储到对应数据块，同时也向其他数据存储服务器备份；
g当本地数据写入以及备份完成后，目的数据存储服务器将完成信息返回给客户端；
客户端收到完成信息后，即完成数据的写入。
2.根据权利要求1所述的一种基于云存储***中提升访问数据快速存储方法，其特征在于，所述将大于阈值的数据文件均匀分割为各个数据块，分布式存储在每个数据存储服务器上的具体步骤：
S1客户端根据读数据文件时的请求偏移量除以数据块的大小得到数据块索引，并向元数据服务器发起数据读请求；
S2元数据服务器返回该数据块所在的数据存储服务器的列表，数据存储服务器列表包括每个数据存储服务器的地址和序号；
S3客户端向读写请求数最少的数据存储服务器发送读数据块请求；
S4数据存储服务器从本地文件***读出数据块，并返回数据块给客户端。
3.根据权利要求1所述的一种基于云存储***中提升访问数据快速存储方法，其特征在于，所述负载均衡的方法为：遍历所有数据存储服务器列表，数据存储服务器列表包括每个数据存储服务器的地址，分别以每个数据存储服务器的空间除以最大数据存储服务器的空间作为每个数据存储服务器的动态加权因子，加权因子取值范围0.0～1.0，加权因子与数据存储服务器的当前权值之和构成新的权值，对所有数据存储服务器权重进行排序，把负载最小的数据存储服务器排列在列表前面，然后返回可用数据存储服务器的地址，其权值减1。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610624940.7A CN106302659A (zh) | 2016-08-02 | 2016-08-02 | 一种基于云存储***中提升访问数据快速存储方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610624940.7A CN106302659A (zh) | 2016-08-02 | 2016-08-02 | 一种基于云存储***中提升访问数据快速存储方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN106302659A true CN106302659A (zh) | 2017-01-04 |
Family
ID=57664212
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610624940.7A Pending CN106302659A (zh) | 2016-08-02 | 2016-08-02 | 一种基于云存储***中提升访问数据快速存储方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106302659A (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108052284A (zh) * | 2017-12-08 | 2018-05-18 | 北京奇虎科技有限公司 | 一种分布式数据存储方法及装置 |
| CN108268344A (zh) * | 2017-12-26 | 2018-07-10 | 华为技术有限公司 | 一种数据处理方法和装置 |
| CN109240624A (zh) * | 2018-09-29 | 2019-01-18 | 郑州云海信息技术有限公司 | 一种数据处理方法和装置 |
| CN110620802A (zh) * | 2018-06-20 | 2019-12-27 | 华为技术有限公司 | 一种负载均衡方法和装置 |
| CN111124280A (zh) * | 2019-11-29 | 2020-05-08 | 浪潮电子信息产业股份有限公司 | 一种数据追加写入方法、装置及电子设备和存储介质 |
| CN112667150A (zh) * | 2020-12-07 | 2021-04-16 | 沈阳飞机设计研究所扬州协同创新研究院有限公司 | 一种航空电子***数据的远程存储方法 |
| CN112882647A (zh) * | 2019-11-29 | 2021-06-01 | 伊姆西Ip控股有限责任公司 | 存储和访问数据的方法、电子设备和计算机程序产品 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2020802A2 (en) * | 2007-08-03 | 2009-02-04 | Nintendo Co., Ltd. | Handheld wireless game device server, handheld wireless device client and system using same |
| CN102185910A (zh) * | 2011-04-22 | 2011-09-14 | 湖南大学 | 基于ssd和hdd混合存储的无盘网络服务器数据分布方法 |
| CN102307221A (zh) * | 2011-03-25 | 2012-01-04 | 国云科技股份有限公司 | 一种云存储***及其实现方法 |
| CN102523258A (zh) * | 2011-11-30 | 2012-06-27 | 广东电子工业研究院有限公司 | 一种面向云操作***的数据存储架构及其负载均衡方法 |
| CN102882983A (zh) * | 2012-10-22 | 2013-01-16 | 南京云创存储科技有限公司 | 一种云存储***中提升并发访问性能的数据快速存储方法 |
-
2016
- 2016-08-02 CN CN201610624940.7A patent/CN106302659A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2020802A2 (en) * | 2007-08-03 | 2009-02-04 | Nintendo Co., Ltd. | Handheld wireless game device server, handheld wireless device client and system using same |
| CN102307221A (zh) * | 2011-03-25 | 2012-01-04 | 国云科技股份有限公司 | 一种云存储***及其实现方法 |
| CN102185910A (zh) * | 2011-04-22 | 2011-09-14 | 湖南大学 | 基于ssd和hdd混合存储的无盘网络服务器数据分布方法 |
| CN102523258A (zh) * | 2011-11-30 | 2012-06-27 | 广东电子工业研究院有限公司 | 一种面向云操作***的数据存储架构及其负载均衡方法 |
| CN102882983A (zh) * | 2012-10-22 | 2013-01-16 | 南京云创存储科技有限公司 | 一种云存储***中提升并发访问性能的数据快速存储方法 |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108052284A (zh) * | 2017-12-08 | 2018-05-18 | 北京奇虎科技有限公司 | 一种分布式数据存储方法及装置 |
| WO2019109538A1 (zh) * | 2017-12-08 | 2019-06-13 | 北京奇虎科技有限公司 | 一种分布式数据存储方法及装置 |
| CN108052284B (zh) * | 2017-12-08 | 2020-11-06 | 北京奇虎科技有限公司 | 一种分布式数据存储方法及装置 |
| CN108268344A (zh) * | 2017-12-26 | 2018-07-10 | 华为技术有限公司 | 一种数据处理方法和装置 |
| CN110620802A (zh) * | 2018-06-20 | 2019-12-27 | 华为技术有限公司 | 一种负载均衡方法和装置 |
| CN110620802B (zh) * | 2018-06-20 | 2021-04-09 | 华为技术有限公司 | 一种负载均衡方法和装置 |
| CN109240624A (zh) * | 2018-09-29 | 2019-01-18 | 郑州云海信息技术有限公司 | 一种数据处理方法和装置 |
| CN111124280A (zh) * | 2019-11-29 | 2020-05-08 | 浪潮电子信息产业股份有限公司 | 一种数据追加写入方法、装置及电子设备和存储介质 |
| CN112882647A (zh) * | 2019-11-29 | 2021-06-01 | 伊姆西Ip控股有限责任公司 | 存储和访问数据的方法、电子设备和计算机程序产品 |
| CN112667150A (zh) * | 2020-12-07 | 2021-04-16 | 沈阳飞机设计研究所扬州协同创新研究院有限公司 | 一种航空电子***数据的远程存储方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106302659A (zh) | 一种基于云存储***中提升访问数据快速存储方法 | |
| US9311020B2 (en) | Method and apparatus for automated migration of data among storage centers | |
| CN106775446A (zh) | 基于固态硬盘加速的分布式文件***小文件访问方法 | |
| CN102882983A (zh) | 一种云存储***中提升并发访问性能的数据快速存储方法 | |
| CN104065568A (zh) | 一种Web服务器集群的路由方法 | |
| CN103491155B (zh) | 一种实现移动计算和获取移动数据的云计算方法及*** | |
| CN104133882A (zh) | 一种基于hdfs的小文件处理方法 | |
| CN105144121A (zh) | 高速缓存内容可寻址数据块以供存储虚拟化 | |
| CN102629941A (zh) | 云计算***中虚拟机镜像缓存的方法 | |
| CN109151824B (zh) | 一种基于5g架构的图书馆数据服务扩展***及方法 | |
| CN104270412A (zh) | 一种基于Hadoop分布式文件***的三级缓存方法 | |
| CN102013991B (zh) | 自动扩容的方法、管理设备及*** | |
| Ye et al. | A novel blocks placement strategy for Hadoop | |
| CN103440290A (zh) | 大数据加载***和方法 | |
| CN102207937A (zh) | 一种数据库访问方法和*** | |
| CN105141656B (zh) | 一种基于云平台的互联网轻量级应用的负载均衡实现方法 | |
| CN101256599B (zh) | 基于网格的分布仿真平台数据收集*** | |
| CN103618804A (zh) | 一种基于性能差异的分布式键值存储***负载均衡方法 | |
| CN104158863A (zh) | 基于事务级别全程高速缓冲的云存储机制 | |
| CN106919696A (zh) | Seo站点构建方法及seo请求的响应方法 | |
| Irie et al. | A novel automated tiered storage architecture for achieving both cost saving and qoe | |
| CN103870510A (zh) | 一种基于分布式并行处理模式的社交网络好友过滤方法 | |
| CN102724290A (zh) | 一种获取目标客户群的方法、设备及*** | |
| CN104391947A (zh) | 海量gis数据实时处理方法及*** | |
| CN109831502A (zh) | 新型网站云虚拟主机架构 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20170104 |
|
| RJ01 | Rejection of invention patent application after publication |