CN102377809A - 客户端读取云存储空间数据的方法 - Google Patents

客户端读取云存储空间数据的方法 Download PDF

Info

Publication number
CN102377809A
CN102377809A CN2010102615888A CN201010261588A CN102377809A CN 102377809 A CN102377809 A CN 102377809A CN 2010102615888 A CN2010102615888 A CN 2010102615888A CN 201010261588 A CN201010261588 A CN 201010261588A CN 102377809 A CN102377809 A CN 102377809A
Authority
CN
China
Prior art keywords
cloud
cache memory
file destination
memory space
file
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2010102615888A
Other languages
English (en)
Inventor
赖建邦
黄智源
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hongfujin Precision Industry Shenzhen Co Ltd
Hon Hai Precision Industry Co Ltd
Original Assignee
Hongfujin Precision Industry Shenzhen Co Ltd
Hon Hai Precision Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hongfujin Precision Industry Shenzhen Co Ltd, Hon Hai Precision Industry Co Ltd filed Critical Hongfujin Precision Industry Shenzhen Co Ltd
Priority to CN2010102615888A priority Critical patent/CN102377809A/zh
Publication of CN102377809A publication Critical patent/CN102377809A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Computer And Data Communications (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种客户端读取云存储空间数据的方法，该方法包括：将云存储空间中所有文件的列表存储至云存储池中；客户端通过存储服务器访问云存储池，以确定所需访问的目标文件；判断高速缓冲存储器中是否有所述目标文件；及根据高速缓冲存储器中是否有所述目标文件，客户端从高速缓冲存储器或云存储空间中读取所述目标文件。利用本发明，可以提高从云存储空间中读取数据的速度。

Description

客户端读取云存储空间数据的方法
技术领域
本发明涉及一种客户端读取云存储空间数据的方法。
背景技术
云存储这个概念一经提出，就得到了众多厂商的支持和关注，例如：Amazon在两年前就推出的Elastic Compute Cloud(EC2：弹性计算云)云存储产品，旨在为用户提供互联网服务形式同时提供更强的存储和计算功能。
现有的客户端读取云存储空间数据的方式有两种，包括直接读取数据的方式和以特定格式读取数据的方式。所述直接读取数据的方式是指客户端通过互联网直接访问云存储空间中的数据，但是，当网络频宽不足时，将面临数据读取速度过慢的问题。所述以特定格式读取数据的方式是指将云存储空间中的每一笔数据拆分成block-level，分别存放于本地存储器和云存储空间。当客户端需要一笔数据时，从云存储空间读取该笔数据的部分数据，将从云存储空间读取的该笔数据的部分数据和本地存储器的该笔数据的部分数据进行组合，还原成需要读取的该笔数据。然而，客户端所使用的操作***多种多样，例如：Windows，Linux，拆分后的block-level的格式只能支持某一类型的操作***，例如：若拆分后的block-level可以被支持Windows操作***的客户端所读取，则支持Linux操作***的客户端无法读取拆分后的block-level；若拆分后的block-level可以被支持Linux操作***的客户端所读取，则支持Windows操作***的客户端无法读取拆分后的block-level。
发明内容
鉴于以上内容，有必要提供一种客户端读取云存储空间数据的方法，提高了从云存储空间中读取数据的速度。
一种客户端读取云存储空间数据的方法，该方法包括：将云存储空间中所有文件的列表存储至云存储池中；客户端通过存储服务器访问云存储池，以确定所需访问的目标文件；判断高速缓冲存储器中是否有所述目标文件；及根据高速缓冲存储器中是否有所述目标文件，客户端从高速缓冲存储器或云存储空间中读取所述目标文件。
相较于现有技术，本发明提供的客户端读取云存储空间数据的方法，将云存储空间中频繁被读取的数据存储至高速缓冲存储器，当客户端需要读取云存储空间中的数据时，从高速缓冲存储器中读取该数据，提高了从云存储空间中读取数据的速度。
附图说明
图1是本发明客户端读取云存储空间数据的方法较佳实施例的应用环境图。
图2是本发明客户端读取云存储空间数据的方法较佳实施例的具体实施流程图。
图3和图4是图2中步骤S13的具体流程图。
图5是图2中步骤S14的具体流程图。
主要元件符号说明
  云存储空间   1
  云存储空间访问接口   2
  云存储池   3
  高速缓冲存储器   4
  存储服务器   5
  网络   6
  客户端   7
具体实施方式
图1是本发明客户端读取云存储空间数据的方法较佳实施例的应用环境图。其中，云存储空间1用于存储大量文件。云存储池3通过云存储空间访问接口2和云存储空间1进行通信。该云存储池3是一个虚拟的文件夹，用于存储云存储空间1中所有文件的列表。通过访问云存储池3中，用户可以看到云存储空间1中所有文件的列表，以选取所需要读取的文件。所述高速缓冲存储器4是一种高速小容量的临时存储器，用于存储云存储空间1中频繁被存储服务器5访问的文件。至少一个客户端7通过网络6与存储服务器5相连，客户端7通过存储服务器5访问云存储池3，查看云存储池3中所存储的云存储空间1中所有文件的列表，以确定所需读取的目标文件，在高速缓冲存储器4中查找所述目标文件，若高速缓冲存储器4中存在所述目标文件，则直接从从高速缓冲存储器4中读取所述目标文件。
如图2所示，是本发明客户端读取云存储空间数据的方法较佳实施例的具体实施流程图。
步骤S11，将云存储空间1中所有文件的列表存储至云存储池3中。
步骤S12，客户端7通过存储服务器5访问云存储池3，以确定所需访问的目标文件。其中，云存储池3存储有云存储空间1中所有文件的列表。用户通过访问云存储池3，即可获知云存储空间1中存储有哪些文件。
步骤S13，客户端7通过存储服务器5从高速缓冲存储器4或云存储空间1中读取所述目标文件。所述高速缓冲存储器4的数据读取速度比云存储空间1快，但是容量比云存储空间1小。所述高速缓冲存储器4用于存储云存储空间1中频繁被存储服务器5读取的数据。存储服务器5在高速缓冲存储器4中查询所述目标文件，若高速缓冲存储器4中有所述目标文件，则从高速缓冲存储器4读取所述目标文件；或者，若高速缓冲存储器4中没有所述目标文件，且云存储空间1中的目标文件的大小未超出高速缓冲存储器4的可用空间，则将云存储空间1中的目标文件存储至高速缓冲存储器4，并从高速缓冲存储器4中读取所述目标文件；或者，若高速缓冲存储器4中没有所述目标文件，且云存储空间1中的目标文件的大小超出高速缓冲存储器4的可用空间，则从云存储空间1中读取目标文件。
步骤S14，若客户端7对从高速缓冲存储器4中读取的文件进行了修改，则高速缓冲存储器4将修改后的文件更新至云存储空间1，以确保高速缓冲存储器4中的文件和云存储空间1中相对应文件的一致性。
如图3和图4所示，是图2中步骤S13的具体流程图。
步骤S130，判断高速缓冲存储器4中是否有所述目标文件。
步骤S131，若高速缓冲存储器4中有所述目标文件，判断高速缓冲存储器4中的目标文件和云存储空间1中的目标文件是否一致。在本实施例中，判断的方法包括：第一，高速缓冲存储器4中有目标文件的MD5值。第二，云存储空间1中也有目标文件的MD5值，且云存储空间1中的MD5值产生的时间比云存储空间1中目标文件产生的时间晚。第三，高速缓冲存储器4中目标文件的MD5值和云存储空间1中目标文件的MD5值相同。若同时满足以上三个条件，则判断高速缓冲存储器4中的目标文件和云存储空间1中的目标文件一致。
步骤S132，若高速缓冲存储器4中的目标文件和云存储空间1中的目标文件一致，则直接从高速缓冲存储器4中读取目标文件。
步骤S133，若高速缓冲存储器4中的目标文件和云存储空间1中的目标文件不一致，判断云存储空间1中的目标文件的大小是否超出高速缓冲存储器4的可用空间。步骤S134，若云存储空间1中的目标文件的大小没有超出高速缓冲存储器4的可用空间，则将云存储空间1中的目标文件存储至高速缓冲存储器4。步骤S135，从高速缓冲存储器4中读取目标文件。步骤S136，若云存储空间1中的目标文件的大小超出高速缓冲存储器4的可用空间，则从云存储空间1中读取目标文件。
或者，若高速缓冲存储器4中没有所述目标文件，则转至步骤S133，判断云存储空间1中的目标文件的大小是否超出高速缓冲存储器4的可用空间。步骤S134，若云存储空间1中的目标文件的大小没有超出高速缓冲存储器4的可用空间，则将云存储空间1中的目标文件存储至高速缓冲存储器4。步骤S135，从高速缓冲存储器4中读取目标文件。步骤S136，若云存储空间1中的目标文件的大小超出高速缓冲存储器4的可用空间，则从云存储空间1中读取目标文件。
如图5所示，是图2中步骤S14的具体流程图。
步骤S140，若客户端7对从高速缓冲存储器4中的文件进行了修改，则在高速缓冲存储器4中将修改后的文件复制一份，以建立修改后文件的副本。
步骤S141，计算高速缓冲存储器4中修改后文件的MD5值。
步骤S142，将高速缓冲存储器4中修改后文件的副本和所述修改后文件的MD5值上传至云存储空间1。其中，先上传高速缓冲存储器4中修改后文件的副本至云存储空间1，然后上传高速缓冲存储器4中所述修改后文件的MD5值上传至云存储空间1。
步骤S143，判断是否上传成功。若高速缓冲存储器4中修改后文件的副本和所述修改后文件的MD5值已全部上传至云存储空间1，则判断上传成功。
步骤S144，若上传成功，则删除高速缓冲存储器4中修改后文件的副本。
最后所应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照以上较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。

Claims (6)

1.一种客户端读取云存储空间数据方法，其特征在于，该方法包括：
(a)将云存储空间中所有文件的列表存储至云存储池中；
(b)客户端通过存储服务器访问云存储池，以确定所需访问的目标文件；
(c)判断高速缓冲存储器中是否有所述目标文件；及
(d)根据高速缓冲存储器中是否有所述目标文件，客户端从高速缓冲存储器或云存储空间中读取所述目标文件。
2.如权利要求1所述的客户端读取云存储空间数据方法，其特征在于，所述步骤(d)包括：
(d1)若高速缓冲存储器中有所述目标文件，则执行步骤(d2)，若高速缓冲存储器中没有所述目标文件，则执行步骤(d5)；
(d2)判断高速缓冲存储器中的目标文件和云存储空间中的目标文件是否一致；
(d3)若高速缓冲存储器中的目标文件和云存储空间中的目标文件一致，则直接从高速缓冲存储器中读取目标文件；
(d4)若高速缓冲存储器中的目标文件和云存储空间中的目标文件不一致，则判断云存储空间中的目标文件的大小是否超出高速缓冲存储器的可用空间；
(d5)判断云存储空间中的目标文件的大小有没有超出高速缓冲存储器的可用空间；
(d6)若云存储空间中的目标文件的大小没有超出高速缓冲存储器的可用空间，则将云存储空间中的目标文件存储至高速缓冲存储器，从高速缓冲存储器中读取目标文件；若云存储空间中的目标文件的大小超出高速缓冲存储器的可用空间，则从云存储空间中读取目标文件。
3.如权利要求2所述的客户端读取云存储空间数据方法，其特征在于，所述判断高速缓冲存储器中的目标文件和云存储空间中的目标文件一致的条件包括：高速缓冲存储器中有目标文件的MD5值；云存储空间中也有目标文件的MD5值，且云存储空间中的MD5值产生的时间比云存储空间中目标文件产生的时间晚；高速缓冲存储器中目标文件的MD5值和云存储空间中目标文件的MD5值相同。
4.如权利要求1所述的客户端读取云存储空间数据方法，其特征在于，该方法还包括：
(g)若客户端对从高速缓冲存储器中读取的文件进行了修改，则高速缓冲存储器将修改后的文件更新至云存储空间。
5.如权利要求4所述的客户端读取云存储空间数据方法，其特征在于，所述步骤(g)包括：
(g1)在高速缓冲存储器中将修改后的文件复制一份，以建立修改后文件的副本；
(g2)计算高速缓冲存储器中修改后文件的MD5值；
(g3)将高速缓冲存储器中修改后文件的副本和所述修改后文件的MD5值上传至云存储空间；
(g4)若高速缓冲存储器中修改后文件的副本和所述修改后文件的MD5值成功上传至云存储空间，则删除高速缓冲存储器中修改后文件的副本。
6.如权利要求5所述的客户端读取云存储空间数据方法，其特征在于，所述步骤(g3)先上传高速缓冲存储器中修改后文件的副本至云存储空间，然后上传高速缓冲存储器中所述修改后文件的MD5值上传至云存储空间。
CN2010102615888A 2010-08-24 2010-08-24 客户端读取云存储空间数据的方法 Pending CN102377809A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2010102615888A CN102377809A (zh) 2010-08-24 2010-08-24 客户端读取云存储空间数据的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2010102615888A CN102377809A (zh) 2010-08-24 2010-08-24 客户端读取云存储空间数据的方法

Publications (1)

Publication Number Publication Date
CN102377809A true CN102377809A (zh) 2012-03-14

Family

ID=45795763

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2010102615888A Pending CN102377809A (zh) 2010-08-24 2010-08-24 客户端读取云存储空间数据的方法

Country Status (1)

Country Link
CN (1) CN102377809A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102724301A (zh) * 2012-05-29 2012-10-10 中国联合网络通信集团有限公司 云数据库***以及云数据读写处理方法、设备
CN105009072A (zh) * 2013-01-31 2015-10-28 惠普发展公司，有限责任合伙企业 更新提交列表以指示数据将被写入固件接口变量存储库
CN111565144A (zh) * 2020-04-26 2020-08-21 广州数源畅联科技有限公司 一种对即时通讯工具的数据分层存储管理方法
CN111858766A (zh) * 2020-07-24 2020-10-30 苏州浪潮智能科技有限公司 一种文件复制方法、装置及可读存储介质
WO2021057639A1 (zh) * 2019-09-25 2021-04-01 阿里巴巴集团控股有限公司 云存储区间更新方法、装置、电子设备及计算机存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1451116A (zh) * 1999-11-22 2003-10-22 阿茨达科姆公司 分布式高速缓存同步协议
CN1794207A (zh) * 2004-12-20 2006-06-28 国际商业机器公司 实现缓存一致性的方法和***
CN101431525A (zh) * 2007-11-06 2009-05-13 陈明杰 网络内容加载的加速方法、***及其服务器和终端
CN101662483A (zh) * 2008-08-28 2010-03-03 盛大计算机（上海）有限公司 云计算网络的缓存***及其方法
US7680875B1 (en) * 2002-04-01 2010-03-16 Novell, Inc. Markers for cached objects
CN101674329A (zh) * 2009-09-27 2010-03-17 卓望数码技术（深圳）有限公司 一种互联网访问方法和互联网访问***

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1451116A (zh) * 1999-11-22 2003-10-22 阿茨达科姆公司 分布式高速缓存同步协议
US7680875B1 (en) * 2002-04-01 2010-03-16 Novell, Inc. Markers for cached objects
CN1794207A (zh) * 2004-12-20 2006-06-28 国际商业机器公司 实现缓存一致性的方法和***
CN101431525A (zh) * 2007-11-06 2009-05-13 陈明杰 网络内容加载的加速方法、***及其服务器和终端
CN101662483A (zh) * 2008-08-28 2010-03-03 盛大计算机（上海）有限公司 云计算网络的缓存***及其方法
CN101674329A (zh) * 2009-09-27 2010-03-17 卓望数码技术（深圳）有限公司 一种互联网访问方法和互联网访问***

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
MOON: "自动分层***帮助云存储迈入主流", 《网络与信息》, no. 5, 31 May 2010 (2010-05-31) *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102724301A (zh) * 2012-05-29 2012-10-10 中国联合网络通信集团有限公司 云数据库***以及云数据读写处理方法、设备
CN102724301B (zh) * 2012-05-29 2015-02-04 中国联合网络通信集团有限公司 云数据库***以及云数据读写处理方法、设备
CN105009072A (zh) * 2013-01-31 2015-10-28 惠普发展公司，有限责任合伙企业 更新提交列表以指示数据将被写入固件接口变量存储库
CN105009072B (zh) * 2013-01-31 2018-11-23 慧与发展有限责任合伙企业 更新提交列表以指示数据将被写入固件接口变量存储库
WO2021057639A1 (zh) * 2019-09-25 2021-04-01 阿里巴巴集团控股有限公司 云存储区间更新方法、装置、电子设备及计算机存储介质
CN111565144A (zh) * 2020-04-26 2020-08-21 广州数源畅联科技有限公司 一种对即时通讯工具的数据分层存储管理方法
CN111858766A (zh) * 2020-07-24 2020-10-30 苏州浪潮智能科技有限公司 一种文件复制方法、装置及可读存储介质

Similar Documents

Publication Publication Date Title
US11733871B2 (en) Tier-optimized write scheme
US11687423B2 (en) Prioritizing highly performant storage systems for servicing a synchronously replicated dataset
US11086555B1 (en) Synchronously replicating datasets
US11520720B1 (en) Weighted resource allocation for workload scheduling
US10019459B1 (en) Distributed deduplication in a distributed system of hybrid storage and compute nodes
US9928210B1 (en) Constrained backup image defragmentation optimization within deduplication system
US8990171B2 (en) Optimization of a partially deduplicated file
US8315982B2 (en) Method, apparatus, program and system for migrating NAS system
US9223788B2 (en) File system consistency check on part of a file system
US20170115883A1 (en) Processing of Incoming Blocks in Deduplicating Storage System
CN102708165B (zh) 分布式文件***中的文件处理方法及装置
US10102210B2 (en) Systems and methods for multi-threaded shadow migration
CN105183839A (zh) 一种基于Hadoop的小文件分级索引的存储优化方法
US20140081919A1 (en) Distributed backup system for determining access destination based on multiple performance indexes
US10108644B1 (en) Method for minimizing storage requirements on fast/expensive arrays for data mobility and migration
US11579790B1 (en) Servicing input/output (‘I/O’) operations during data migration
JP2007241486A (ja) 記憶装置システム
CN110413694A (zh) 元数据管理方法及相关装置
CN110737924B (zh) 一种数据保护的方法和设备
CN103631894A (zh) 一种基于hdfs的动态副本管理方法
CN102377809A (zh) 客户端读取云存储空间数据的方法
US11789780B1 (en) Preserving quality-of-service (‘QOS’) to storage system workloads
US9015526B2 (en) Restoring method and computer system
CN103501319A (zh) 一种低延迟的面向小文件的分布式存储***
CN104054076A (zh) 数据存储方法、数据库存储节点故障处理方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C12 Rejection of a patent application after its publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20120314