CN102377809A - 客户端读取云存储空间数据的方法 - Google Patents
客户端读取云存储空间数据的方法 Download PDFInfo
- Publication number
- CN102377809A CN102377809A CN2010102615888A CN201010261588A CN102377809A CN 102377809 A CN102377809 A CN 102377809A CN 2010102615888 A CN2010102615888 A CN 2010102615888A CN 201010261588 A CN201010261588 A CN 201010261588A CN 102377809 A CN102377809 A CN 102377809A
- Authority
- CN
- China
- Prior art keywords
- cloud
- cache memory
- file destination
- memory space
- file
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Computer And Data Communications (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供一种客户端读取云存储空间数据的方法,该方法包括:将云存储空间中所有文件的列表存储至云存储池中;客户端通过存储服务器访问云存储池,以确定所需访问的目标文件;判断高速缓冲存储器中是否有所述目标文件;及根据高速缓冲存储器中是否有所述目标文件,客户端从高速缓冲存储器或云存储空间中读取所述目标文件。利用本发明,可以提高从云存储空间中读取数据的速度。
Description
技术领域
本发明涉及一种客户端读取云存储空间数据的方法。
背景技术
云存储这个概念一经提出,就得到了众多厂商的支持和关注,例如:Amazon在两年前就推出的Elastic Compute Cloud(EC2:弹性计算云)云存储产品,旨在为用户提供互联网服务形式同时提供更强的存储和计算功能。
现有的客户端读取云存储空间数据的方式有两种,包括直接读取数据的方式和以特定格式读取数据的方式。所述直接读取数据的方式是指客户端通过互联网直接访问云存储空间中的数据,但是,当网络频宽不足时,将面临数据读取速度过慢的问题。所述以特定格式读取数据的方式是指将云存储空间中的每一笔数据拆分成block-level,分别存放于本地存储器和云存储空间。当客户端需要一笔数据时,从云存储空间读取该笔数据的部分数据,将从云存储空间读取的该笔数据的部分数据和本地存储器的该笔数据的部分数据进行组合,还原成需要读取的该笔数据。然而,客户端所使用的操作***多种多样,例如:Windows,Linux,拆分后的block-level的格式只能支持某一类型的操作***,例如:若拆分后的block-level可以被支持Windows操作***的客户端所读取,则支持Linux操作***的客户端无法读取拆分后的block-level;若拆分后的block-level可以被支持Linux操作***的客户端所读取,则支持Windows操作***的客户端无法读取拆分后的block-level。
发明内容
鉴于以上内容,有必要提供一种客户端读取云存储空间数据的方法,提高了从云存储空间中读取数据的速度。
一种客户端读取云存储空间数据的方法,该方法包括:将云存储空间中所有文件的列表存储至云存储池中;客户端通过存储服务器访问云存储池,以确定所需访问的目标文件;判断高速缓冲存储器中是否有所述目标文件;及根据高速缓冲存储器中是否有所述目标文件,客户端从高速缓冲存储器或云存储空间中读取所述目标文件。
相较于现有技术,本发明提供的客户端读取云存储空间数据的方法,将云存储空间中频繁被读取的数据存储至高速缓冲存储器,当客户端需要读取云存储空间中的数据时,从高速缓冲存储器中读取该数据,提高了从云存储空间中读取数据的速度。
附图说明
图1是本发明客户端读取云存储空间数据的方法较佳实施例的应用环境图。
图2是本发明客户端读取云存储空间数据的方法较佳实施例的具体实施流程图。
图3和图4是图2中步骤S13的具体流程图。
图5是图2中步骤S14的具体流程图。
主要元件符号说明
云存储空间 | 1 |
云存储空间访问接口 | 2 |
云存储池 | 3 |
高速缓冲存储器 | 4 |
存储服务器 | 5 |
网络 | 6 |
客户端 | 7 |
具体实施方式
图1是本发明客户端读取云存储空间数据的方法较佳实施例的应用环境图。其中,云存储空间1用于存储大量文件。云存储池3通过云存储空间访问接口2和云存储空间1进行通信。该云存储池3是一个虚拟的文件夹,用于存储云存储空间1中所有文件的列表。通过访问云存储池3中,用户可以看到云存储空间1中所有文件的列表,以选取所需要读取的文件。所述高速缓冲存储器4是一种高速小容量的临时存储器,用于存储云存储空间1中频繁被存储服务器5访问的文件。至少一个客户端7通过网络6与存储服务器5相连,客户端7通过存储服务器5访问云存储池3,查看云存储池3中所存储的云存储空间1中所有文件的列表,以确定所需读取的目标文件,在高速缓冲存储器4中查找所述目标文件,若高速缓冲存储器4中存在所述目标文件,则直接从从高速缓冲存储器4中读取所述目标文件。
如图2所示,是本发明客户端读取云存储空间数据的方法较佳实施例的具体实施流程图。
步骤S11,将云存储空间1中所有文件的列表存储至云存储池3中。
步骤S12,客户端7通过存储服务器5访问云存储池3,以确定所需访问的目标文件。其中,云存储池3存储有云存储空间1中所有文件的列表。用户通过访问云存储池3,即可获知云存储空间1中存储有哪些文件。
步骤S13,客户端7通过存储服务器5从高速缓冲存储器4或云存储空间1中读取所述目标文件。所述高速缓冲存储器4的数据读取速度比云存储空间1快,但是容量比云存储空间1小。所述高速缓冲存储器4用于存储云存储空间1中频繁被存储服务器5读取的数据。存储服务器5在高速缓冲存储器4中查询所述目标文件,若高速缓冲存储器4中有所述目标文件,则从高速缓冲存储器4读取所述目标文件;或者,若高速缓冲存储器4中没有所述目标文件,且云存储空间1中的目标文件的大小未超出高速缓冲存储器4的可用空间,则将云存储空间1中的目标文件存储至高速缓冲存储器4,并从高速缓冲存储器4中读取所述目标文件;或者,若高速缓冲存储器4中没有所述目标文件,且云存储空间1中的目标文件的大小超出高速缓冲存储器4的可用空间,则从云存储空间1中读取目标文件。
步骤S14,若客户端7对从高速缓冲存储器4中读取的文件进行了修改,则高速缓冲存储器4将修改后的文件更新至云存储空间1,以确保高速缓冲存储器4中的文件和云存储空间1中相对应文件的一致性。
如图3和图4所示,是图2中步骤S13的具体流程图。
步骤S130,判断高速缓冲存储器4中是否有所述目标文件。
步骤S131,若高速缓冲存储器4中有所述目标文件,判断高速缓冲存储器4中的目标文件和云存储空间1中的目标文件是否一致。在本实施例中,判断的方法包括:第一,高速缓冲存储器4中有目标文件的MD5值。第二,云存储空间1中也有目标文件的MD5值,且云存储空间1中的MD5值产生的时间比云存储空间1中目标文件产生的时间晚。第三,高速缓冲存储器4中目标文件的MD5值和云存储空间1中目标文件的MD5值相同。若同时满足以上三个条件,则判断高速缓冲存储器4中的目标文件和云存储空间1中的目标文件一致。
步骤S132,若高速缓冲存储器4中的目标文件和云存储空间1中的目标文件一致,则直接从高速缓冲存储器4中读取目标文件。
步骤S133,若高速缓冲存储器4中的目标文件和云存储空间1中的目标文件不一致,判断云存储空间1中的目标文件的大小是否超出高速缓冲存储器4的可用空间。步骤S134,若云存储空间1中的目标文件的大小没有超出高速缓冲存储器4的可用空间,则将云存储空间1中的目标文件存储至高速缓冲存储器4。步骤S135,从高速缓冲存储器4中读取目标文件。步骤S136,若云存储空间1中的目标文件的大小超出高速缓冲存储器4的可用空间,则从云存储空间1中读取目标文件。
或者,若高速缓冲存储器4中没有所述目标文件,则转至步骤S133,判断云存储空间1中的目标文件的大小是否超出高速缓冲存储器4的可用空间。步骤S134,若云存储空间1中的目标文件的大小没有超出高速缓冲存储器4的可用空间,则将云存储空间1中的目标文件存储至高速缓冲存储器4。步骤S135,从高速缓冲存储器4中读取目标文件。步骤S136,若云存储空间1中的目标文件的大小超出高速缓冲存储器4的可用空间,则从云存储空间1中读取目标文件。
如图5所示,是图2中步骤S14的具体流程图。
步骤S140,若客户端7对从高速缓冲存储器4中的文件进行了修改,则在高速缓冲存储器4中将修改后的文件复制一份,以建立修改后文件的副本。
步骤S141,计算高速缓冲存储器4中修改后文件的MD5值。
步骤S142,将高速缓冲存储器4中修改后文件的副本和所述修改后文件的MD5值上传至云存储空间1。其中,先上传高速缓冲存储器4中修改后文件的副本至云存储空间1,然后上传高速缓冲存储器4中所述修改后文件的MD5值上传至云存储空间1。
步骤S143,判断是否上传成功。若高速缓冲存储器4中修改后文件的副本和所述修改后文件的MD5值已全部上传至云存储空间1,则判断上传成功。
步骤S144,若上传成功,则删除高速缓冲存储器4中修改后文件的副本。
最后所应说明的是,以上实施例仅用以说明本发明的技术方案而非限制,尽管参照以上较佳实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或等同替换,而不脱离本发明技术方案的精神和范围。
Claims (6)
1.一种客户端读取云存储空间数据方法,其特征在于,该方法包括:
(a)将云存储空间中所有文件的列表存储至云存储池中;
(b)客户端通过存储服务器访问云存储池,以确定所需访问的目标文件;
(c)判断高速缓冲存储器中是否有所述目标文件;及
(d)根据高速缓冲存储器中是否有所述目标文件,客户端从高速缓冲存储器或云存储空间中读取所述目标文件。
2.如权利要求1所述的客户端读取云存储空间数据方法,其特征在于,所述步骤(d)包括:
(d1)若高速缓冲存储器中有所述目标文件,则执行步骤(d2),若高速缓冲存储器中没有所述目标文件,则执行步骤(d5);
(d2)判断高速缓冲存储器中的目标文件和云存储空间中的目标文件是否一致;
(d3)若高速缓冲存储器中的目标文件和云存储空间中的目标文件一致,则直接从高速缓冲存储器中读取目标文件;
(d4)若高速缓冲存储器中的目标文件和云存储空间中的目标文件不一致,则判断云存储空间中的目标文件的大小是否超出高速缓冲存储器的可用空间;
(d5)判断云存储空间中的目标文件的大小有没有超出高速缓冲存储器的可用空间;
(d6)若云存储空间中的目标文件的大小没有超出高速缓冲存储器的可用空间,则将云存储空间中的目标文件存储至高速缓冲存储器,从高速缓冲存储器中读取目标文件;若云存储空间中的目标文件的大小超出高速缓冲存储器的可用空间,则从云存储空间中读取目标文件。
3.如权利要求2所述的客户端读取云存储空间数据方法,其特征在于,所述判断高速缓冲存储器中的目标文件和云存储空间中的目标文件一致的条件包括:高速缓冲存储器中有目标文件的MD5值;云存储空间中也有目标文件的MD5值,且云存储空间中的MD5值产生的时间比云存储空间中目标文件产生的时间晚;高速缓冲存储器中目标文件的MD5值和云存储空间中目标文件的MD5值相同。
4.如权利要求1所述的客户端读取云存储空间数据方法,其特征在于,该方法还包括:
(g)若客户端对从高速缓冲存储器中读取的文件进行了修改,则高速缓冲存储器将修改后的文件更新至云存储空间。
5.如权利要求4所述的客户端读取云存储空间数据方法,其特征在于,所述步骤(g)包括:
(g1)在高速缓冲存储器中将修改后的文件复制一份,以建立修改后文件的副本;
(g2)计算高速缓冲存储器中修改后文件的MD5值;
(g3)将高速缓冲存储器中修改后文件的副本和所述修改后文件的MD5值上传至云存储空间;
(g4)若高速缓冲存储器中修改后文件的副本和所述修改后文件的MD5值成功上传至云存储空间,则删除高速缓冲存储器中修改后文件的副本。
6.如权利要求5所述的客户端读取云存储空间数据方法,其特征在于,所述步骤(g3)先上传高速缓冲存储器中修改后文件的副本至云存储空间,然后上传高速缓冲存储器中所述修改后文件的MD5值上传至云存储空间。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2010102615888A CN102377809A (zh) | 2010-08-24 | 2010-08-24 | 客户端读取云存储空间数据的方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2010102615888A CN102377809A (zh) | 2010-08-24 | 2010-08-24 | 客户端读取云存储空间数据的方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN102377809A true CN102377809A (zh) | 2012-03-14 |
Family
ID=45795763
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2010102615888A Pending CN102377809A (zh) | 2010-08-24 | 2010-08-24 | 客户端读取云存储空间数据的方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN102377809A (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102724301A (zh) * | 2012-05-29 | 2012-10-10 | 中国联合网络通信集团有限公司 | 云数据库***以及云数据读写处理方法、设备 |
CN105009072A (zh) * | 2013-01-31 | 2015-10-28 | 惠普发展公司,有限责任合伙企业 | 更新提交列表以指示数据将被写入固件接口变量存储库 |
CN111565144A (zh) * | 2020-04-26 | 2020-08-21 | 广州数源畅联科技有限公司 | 一种对即时通讯工具的数据分层存储管理方法 |
CN111858766A (zh) * | 2020-07-24 | 2020-10-30 | 苏州浪潮智能科技有限公司 | 一种文件复制方法、装置及可读存储介质 |
WO2021057639A1 (zh) * | 2019-09-25 | 2021-04-01 | 阿里巴巴集团控股有限公司 | 云存储区间更新方法、装置、电子设备及计算机存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1451116A (zh) * | 1999-11-22 | 2003-10-22 | 阿茨达科姆公司 | 分布式高速缓存同步协议 |
CN1794207A (zh) * | 2004-12-20 | 2006-06-28 | 国际商业机器公司 | 实现缓存一致性的方法和*** |
CN101431525A (zh) * | 2007-11-06 | 2009-05-13 | 陈明杰 | 网络内容加载的加速方法、***及其服务器和终端 |
CN101662483A (zh) * | 2008-08-28 | 2010-03-03 | 盛大计算机(上海)有限公司 | 云计算网络的缓存***及其方法 |
US7680875B1 (en) * | 2002-04-01 | 2010-03-16 | Novell, Inc. | Markers for cached objects |
CN101674329A (zh) * | 2009-09-27 | 2010-03-17 | 卓望数码技术(深圳)有限公司 | 一种互联网访问方法和互联网访问*** |
-
2010
- 2010-08-24 CN CN2010102615888A patent/CN102377809A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1451116A (zh) * | 1999-11-22 | 2003-10-22 | 阿茨达科姆公司 | 分布式高速缓存同步协议 |
US7680875B1 (en) * | 2002-04-01 | 2010-03-16 | Novell, Inc. | Markers for cached objects |
CN1794207A (zh) * | 2004-12-20 | 2006-06-28 | 国际商业机器公司 | 实现缓存一致性的方法和*** |
CN101431525A (zh) * | 2007-11-06 | 2009-05-13 | 陈明杰 | 网络内容加载的加速方法、***及其服务器和终端 |
CN101662483A (zh) * | 2008-08-28 | 2010-03-03 | 盛大计算机(上海)有限公司 | 云计算网络的缓存***及其方法 |
CN101674329A (zh) * | 2009-09-27 | 2010-03-17 | 卓望数码技术(深圳)有限公司 | 一种互联网访问方法和互联网访问*** |
Non-Patent Citations (1)
Title |
---|
MOON: "自动分层***帮助云存储迈入主流", 《网络与信息》, no. 5, 31 May 2010 (2010-05-31) * |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102724301A (zh) * | 2012-05-29 | 2012-10-10 | 中国联合网络通信集团有限公司 | 云数据库***以及云数据读写处理方法、设备 |
CN102724301B (zh) * | 2012-05-29 | 2015-02-04 | 中国联合网络通信集团有限公司 | 云数据库***以及云数据读写处理方法、设备 |
CN105009072A (zh) * | 2013-01-31 | 2015-10-28 | 惠普发展公司,有限责任合伙企业 | 更新提交列表以指示数据将被写入固件接口变量存储库 |
CN105009072B (zh) * | 2013-01-31 | 2018-11-23 | 慧与发展有限责任合伙企业 | 更新提交列表以指示数据将被写入固件接口变量存储库 |
WO2021057639A1 (zh) * | 2019-09-25 | 2021-04-01 | 阿里巴巴集团控股有限公司 | 云存储区间更新方法、装置、电子设备及计算机存储介质 |
CN111565144A (zh) * | 2020-04-26 | 2020-08-21 | 广州数源畅联科技有限公司 | 一种对即时通讯工具的数据分层存储管理方法 |
CN111858766A (zh) * | 2020-07-24 | 2020-10-30 | 苏州浪潮智能科技有限公司 | 一种文件复制方法、装置及可读存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11733871B2 (en) | Tier-optimized write scheme | |
US11687423B2 (en) | Prioritizing highly performant storage systems for servicing a synchronously replicated dataset | |
US11086555B1 (en) | Synchronously replicating datasets | |
US11520720B1 (en) | Weighted resource allocation for workload scheduling | |
US10019459B1 (en) | Distributed deduplication in a distributed system of hybrid storage and compute nodes | |
US9928210B1 (en) | Constrained backup image defragmentation optimization within deduplication system | |
US8990171B2 (en) | Optimization of a partially deduplicated file | |
US8315982B2 (en) | Method, apparatus, program and system for migrating NAS system | |
US9223788B2 (en) | File system consistency check on part of a file system | |
US20170115883A1 (en) | Processing of Incoming Blocks in Deduplicating Storage System | |
CN102708165B (zh) | 分布式文件***中的文件处理方法及装置 | |
US10102210B2 (en) | Systems and methods for multi-threaded shadow migration | |
CN105183839A (zh) | 一种基于Hadoop的小文件分级索引的存储优化方法 | |
US20140081919A1 (en) | Distributed backup system for determining access destination based on multiple performance indexes | |
US10108644B1 (en) | Method for minimizing storage requirements on fast/expensive arrays for data mobility and migration | |
US11579790B1 (en) | Servicing input/output (‘I/O’) operations during data migration | |
JP2007241486A (ja) | 記憶装置システム | |
CN110413694A (zh) | 元数据管理方法及相关装置 | |
CN110737924B (zh) | 一种数据保护的方法和设备 | |
CN103631894A (zh) | 一种基于hdfs的动态副本管理方法 | |
CN102377809A (zh) | 客户端读取云存储空间数据的方法 | |
US11789780B1 (en) | Preserving quality-of-service (‘QOS’) to storage system workloads | |
US9015526B2 (en) | Restoring method and computer system | |
CN103501319A (zh) | 一种低延迟的面向小文件的分布式存储*** | |
CN104054076A (zh) | 数据存储方法、数据库存储节点故障处理方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C12 | Rejection of a patent application after its publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20120314 |