JP5569074B2 - ストレージシステム - Google Patents
ストレージシステム Download PDFInfo
- Publication number
- JP5569074B2 JP5569074B2 JP2010063453A JP2010063453A JP5569074B2 JP 5569074 B2 JP5569074 B2 JP 5569074B2 JP 2010063453 A JP2010063453 A JP 2010063453A JP 2010063453 A JP2010063453 A JP 2010063453A JP 5569074 B2 JP5569074 B2 JP 5569074B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- read
- divided data
- divided
- storage
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
複数の記憶手段と、
データを複数に分割した分割データを上記複数の記憶手段に分散して記憶すると共に、上記複数の記憶手段から分割データを読み出して分割前のデータを復元するデータ処理手段と、
上記記憶手段から読み出した分割データを一時的に格納するキャッシュメモリと、を備える。
そして、上記データ処理手段は、上記記憶手段から読み出した分割データの読み出しにかかった時間に応じて、当該分割データを上記キャッシュメモリに格納すると共に、当該キャッシュメモリに格納された分割データを用いてデータの復元を行う、
という構成をとる。
データを複数に分割した分割データを複数の記憶手段に分散して記憶すると共に、複数の記憶手段から分割データを読み出して分割前のデータを復元するデータ処理手段と、
上記記憶手段から読み出した分割データを一時的に格納するキャッシュメモリと、を備える。
そして、上記データ処理手段は、上記記憶手段から読み出した分割データの読み出しにかかった時間に応じて、当該分割データを上記キャッシュメモリに格納すると共に、当該キャッシュメモリに格納された分割データを用いてデータの復元を行う、
という構成をとる。
キャッシュメモリを備えた情報処理装置に、
データを複数に分割した分割データを複数の記憶手段に分散して記憶すると共に、複数の記憶手段から分割データを読み出して分割前のデータを復元するデータ処理手段を実現させるプログラムである。
そして、上記データ処理手段は、上記記憶手段から読み出した分割データの読み出しにかかった時間に応じて、当該分割データを上記キャッシュメモリに格納すると共に、当該キャッシュメモリに格納された分割データを用いてデータの復元を行う、
という構成をとる。
キャッシュメモリを備えた情報処理装置にて、
データ書き込み時に、データを複数に分割した分割データを複数の記憶手段に分散して記憶し、
データ読み出し時に、複数の記憶手段から分割データを読み出して分割前のデータを復元する、というデータ記憶再生方法である。
そして、上記データ読み出し時に、上記記憶手段から読み出した分割データの読み出しにかかった時間に応じて、当該分割データを上記キャッシュメモリに格納すると共に、当該キャッシュメモリに格納された分割データを用いてデータの復元を行う、
という構成をとる。
本発明の第1の実施形態を、図1乃至図5を参照して説明する。図1は、ストレージシステムの構成を示す機能ブロック図である。図2は、ストレージシステムに書き込まれるデータの構造を示す図である。図3乃至図5は、ストレージシステムの動作を示すフローチャートである。
図1に示すように、本実施形態におけるストレージシステムは、ネットワークNを介して接続された複数のストレージ装置1,2,3を備えている。なお、以下では、各ストレージ装置を「サイト」と呼ぶこととし、n個のサイトがネットワークNを介して接続されていることとする。そして、各サイト間の距離は問わず、サイトが世界各地に点在しているシステムであってもよい。
次に、上述したストレージシステムの動作を、図3乃至図5を参照して説明する。まず、図3を参照してサイト1のアプリケーション11からデータを書き込む場合の動作を説明する。
次に、本発明の第2の実施形態を、図6乃至図9を参照して説明する。図6は、ストレージシステムの構成を示す機能ブロック図である。図7は、ストレージシステムに書き込まれるデータの構造を示す図である。図8乃至図9は、ストレージシステムの動作を示すフローチャートである。
図6に示すように、本実施形態におけるストレージシステムは、上述した実施形態1と同様に、ネットワークNを介して接続された複数のストレージ装置101,102,103を備えている。なお、以下では、各ストレージ装置を「サイト」と呼ぶこととし、n個のサイトがネットワークNを介して接続されていることとする。
次に、上述したストレージシステムの動作を、図8乃至図9を参照して説明する。まず、図8を参照してサイト1のアプリケーション11からデータを書き込む場合の動作を説明する。
上記実施形態の一部又は全部は、以下の付記のようにも記載されうる。以下、本発明におけるストレージシステム及びストレージ装置201の構成の概略について図10を参照して説明する。また、本発明における、プログラム、データ記憶再生方法の構成について説明する。但し、本発明は、以下の構成に限定されない。
複数の記憶手段210と、
データを複数に分割した分割データを前記複数の記憶手段210に分散して記憶すると共に、前記複数の記憶手段210から分割データを読み出して分割前のデータを復元するデータ処理手段211と、
前記記憶手段210から読み出した分割データを一時的に格納するキャッシュメモリと212、を備え、
前記データ処理手段211は、前記記憶手段210から読み出した分割データの読み出しにかかった時間に応じて、当該分割データを前記キャッシュメモリ212に格納すると共に、当該キャッシュメモリ212に格納された分割データを用いてデータの復元を行う、
ストレージシステム。
付記1に記載のストレージシステムであって、
前記データ処理手段は、前記記憶手段から読み出した分割データの読み出しにかかった時間が、設定された基準時間よりも長いもののみを前記キャッシュメモリに格納する、
ストレージシステム。
付記2に記載のストレージシステムであって、
前記基準時間は、読み出された分割データのうち所定の条件を満たす分割データ群の読み出し時間の平均時間に基づく値である、
ストレージシステム。
付記3に記載のストレージシステムであって、
前記基準時間は、読み出された分割データの読み出し時間のばらつきの度合いに応じて設定された条件を満たす分割データ群の読み出し時間の平均時間に基づく値である、
ストレージシステム。
付記3又は4に記載のストレージシステムであって、
前記基準時間は、直近の一定期間に読み出された分割データ群の読み出し時間の平均時間に基づく値である、
ストレージシステム。
付記3又は4に記載のストレージシステムであって、
前記基準時間は、前記記憶手段毎に対応して設定された、当該記憶手段から読み出された分割データ群の読み出し時間の平均時間に基づく値であり、
前記データ処理手段は、特定の前記記憶手段から読み出した分割データの読み出しにかかった時間が、当該特定の記憶手段に対応して設定された前記基準時間よりも長いもののみを前記キャッシュメモリに格納する、
ストレージシステム。
付記3又は4に記載のストレージシステムであって、
前記基準時間は、分割前のデータ毎に対応して設定された、当該データから分割された分割データ群の読み出し時間の平均時間に基づく値であり、
前記データ処理手段は、特定のデータから分割された分割データの読み出しにかかった時間が、当該特定のデータに対応して設定された前記基準時間よりも長いもののみを前記キャッシュメモリに格納する、
ストレージシステム。
付記1乃至7のいずれかに記載のストレージシステムであって、
前記データ処理手段は、分割前のデータを識別する識別情報を、当該データを分割した分割データに付加して格納すると共に、当該識別情報が同一の分割データを用いてデータの復元を行う、
ストレージシステム。
付記8に記載のストレージシステムであって、
前記識別情報は、前記データの更新時を特定する情報を含み、
前記データ処理手段は、復元するデータを構成する分割データのうち前記識別情報が他と異なる分割データを前記キャッシュメモリから削除する、
ストレージシステム。
データを複数に分割した分割データを複数の記憶手段に分散して記憶すると共に、複数の記憶手段から分割データを読み出して分割前のデータを復元するデータ処理手段と、
前記記憶手段から読み出した分割データを一時的に格納するキャッシュメモリと、を備え、
前記データ処理手段は、前記記憶手段から読み出した分割データの読み出しにかかった時間に応じて、当該分割データを前記キャッシュメモリに格納すると共に、当該キャッシュメモリに格納された分割データを用いてデータの復元を行う、
ストレージ装置。
付記10に記載のストレージ装置であって、
前記データ処理手段は、前記記憶手段から読み出した分割データの読み出しにかかった時間が、設定された基準時間よりも長いもののみを前記キャッシュメモリに格納する、
ストレージ装置。
キャッシュメモリを備えた情報処理装置に、
データを複数に分割した分割データを複数の記憶手段に分散して記憶すると共に、複数の記憶手段から分割データを読み出して分割前のデータを復元するデータ処理手段を実現させると共に、
前記データ処理手段は、前記記憶手段から読み出した分割データの読み出しにかかった時間に応じて、当該分割データを前記キャッシュメモリに格納すると共に、当該キャッシュメモリに格納された分割データを用いてデータの復元を行う、
プログラム。
付記12に記載のプログラムであって、
前記データ処理手段は、前記記憶手段から読み出した分割データの読み出しにかかった時間が、設定された基準時間よりも長いもののみを前記キャッシュメモリに格納する、
プログラム。
キャッシュメモリを備えた情報処理装置にて、
データ書き込み時に、データを複数に分割した分割データを複数の記憶手段に分散して記憶し、
データ読み出し時に、複数の記憶手段から分割データを読み出して分割前のデータを復元すると共に、
前記データ読み出し時に、前記記憶手段から読み出した分割データの読み出しにかかった時間に応じて、当該分割データを前記キャッシュメモリに格納すると共に、当該キャッシュメモリに格納された分割データを用いてデータの復元を行う、
データ記憶再生方法。
付記14に記載のデータ記憶再生方法であって、
前記データ読み出し時に、前記記憶手段から読み出した分割データの読み出しにかかった時間が、設定された基準時間よりも長いもののみを前記キャッシュメモリに格納する、
データ記憶再生方法。
11 アプリケーション
12 キャッシュ
13,22,32 分散制御部
14 統計情報解析部
15,23,33 ディスクアクセス部
16,21,31 ネットワークアクセス部
17,24,34 ディスク装置
101,102,103 ストレージ装置
111 アプリケーション
112 キャッシュ
113,122,132 分散制御部
114 統計情報解析部
115,123,133 ディスクアクセス部
116,121,131 ネットワークアクセス部
117,124,134 ディスク装置
118 ファイルシステム制御部
201 ストレージ装置
210 記憶手段
211 データ処理手段
212 キャッシュメモリ
N ネットワーク
Claims (9)
- 複数の記憶手段と、
データを複数に分割した分割データを前記複数の記憶手段に分散して記憶すると共に、前記複数の記憶手段から分割データを読み出して分割前のデータを復元するデータ処理手段と、
前記記憶手段から読み出した分割データを一時的に格納するキャッシュメモリと、を備え、
前記データ処理手段は、前記記憶手段から読み出した分割データの読み出しにかかった時間に応じて、当該読み出した分割データのみを前記キャッシュメモリに格納すると共に、当該キャッシュメモリに格納された分割データを用いて、当該分割データの分割前のデータの復元を行う、
ストレージシステム。 - 請求項1に記載のストレージシステムであって、
前記データ処理手段は、前記記憶手段から読み出した分割データの読み出しにかかった時間が、設定された基準時間よりも長いもののみを前記キャッシュメモリに格納する、
ストレージシステム。 - 請求項2に記載のストレージシステムであって、
前記基準時間は、読み出された分割データのうち所定の条件を満たす分割データ群の読み出し時間の平均時間に基づく値である、
ストレージシステム。 - 請求項3に記載のストレージシステムであって、
前記基準時間は、読み出された分割データの読み出し時間のばらつきの度合いに応じて設定された条件を満たす分割データ群の読み出し時間の平均時間に基づく値である、
ストレージシステム。 - 請求項1乃至4のいずれかに記載のストレージシステムであって、
前記データ処理手段は、分割前のデータを識別する識別情報を、当該データを分割した分割データに付加して格納すると共に、当該識別情報が同一の分割データを用いてデータの復元を行う、
ストレージシステム。 - 請求項5に記載のストレージシステムであって、
前記識別情報は、前記データの更新時を特定する情報を含み、
前記データ処理手段は、復元するデータを構成する分割データのうち前記識別情報が他と異なる分割データを前記キャッシュメモリから削除する、
ストレージシステム。 - データを複数に分割した分割データを複数の記憶手段に分散して記憶すると共に、複数の記憶手段から分割データを読み出して分割前のデータを復元するデータ処理手段と、
前記記憶手段から読み出した分割データを一時的に格納するキャッシュメモリと、を備え、
前記データ処理手段は、前記記憶手段から読み出した分割データの読み出しにかかった時間に応じて、当該読み出した分割データのみを前記キャッシュメモリに格納すると共に、当該キャッシュメモリに格納された分割データを用いて、当該分割データの分割前のデータの復元を行う、
ストレージ装置。 - キャッシュメモリを備えた情報処理装置に、
データを複数に分割した分割データを複数の記憶手段に分散して記憶すると共に、複数の記憶手段から分割データを読み出して分割前のデータを復元するデータ処理手段を実現させると共に、
前記データ処理手段は、前記記憶手段から読み出した分割データの読み出しにかかった時間に応じて、当該読み出した分割データのみを前記キャッシュメモリに格納すると共に、当該キャッシュメモリに格納された分割データを用いて、当該分割データの分割前のデータの復元を行う、
プログラム。 - キャッシュメモリを備えた情報処理装置にて、
データ書き込み時に、データを複数に分割した分割データを複数の記憶手段に分散して記憶し、
データ読み出し時に、複数の記憶手段から分割データを読み出して分割前のデータを復元すると共に、
前記データ読み出し時に、前記記憶手段から読み出した分割データの読み出しにかかった時間に応じて、当該読み出した分割データのみを前記キャッシュメモリに格納すると共に、当該キャッシュメモリに格納された分割データを用いて、当該分割データの分割前のデータの復元を行う、
データ記憶再生方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010063453A JP5569074B2 (ja) | 2010-03-19 | 2010-03-19 | ストレージシステム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010063453A JP5569074B2 (ja) | 2010-03-19 | 2010-03-19 | ストレージシステム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011197977A JP2011197977A (ja) | 2011-10-06 |
JP5569074B2 true JP5569074B2 (ja) | 2014-08-13 |
Family
ID=44876104
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010063453A Expired - Fee Related JP5569074B2 (ja) | 2010-03-19 | 2010-03-19 | ストレージシステム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5569074B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107368401A (zh) * | 2016-05-12 | 2017-11-21 | 广达电脑股份有限公司 | 管理***与管理方法 |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9225675B2 (en) | 2012-08-08 | 2015-12-29 | Amazon Technologies, Inc. | Data storage application programming interface |
US10120579B1 (en) | 2012-08-08 | 2018-11-06 | Amazon Technologies, Inc. | Data storage management for sequentially written media |
US8805793B2 (en) | 2012-08-08 | 2014-08-12 | Amazon Technologies, Inc. | Data storage integrity validation |
US9904788B2 (en) | 2012-08-08 | 2018-02-27 | Amazon Technologies, Inc. | Redundant key management |
AU2013299731A1 (en) * | 2012-08-08 | 2015-02-26 | Amazon Technologies, Inc. | Archival data storage system |
JP5966184B2 (ja) * | 2012-09-12 | 2016-08-10 | 西日本電信電話株式会社 | 管理システム |
US10558581B1 (en) | 2013-02-19 | 2020-02-11 | Amazon Technologies, Inc. | Systems and techniques for data recovery in a keymapless data storage system |
WO2014155553A1 (ja) * | 2013-03-27 | 2014-10-02 | 富士通株式会社 | 分散処理のための情報処理方法、情報処理装置及びプログラム、並びに分散処理システム |
US9158472B2 (en) * | 2013-06-25 | 2015-10-13 | Google Inc. | Hierarchical chunking of objects in a distributed storage system |
JP6052812B2 (ja) | 2014-07-11 | 2016-12-27 | インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation | テープ上のファイルの管理、書き込み、及び読み出し方法 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07225652A (ja) * | 1994-02-14 | 1995-08-22 | Hitachi Ltd | 集合型ファイル装置の制御方式 |
JP2000172449A (ja) * | 1998-12-09 | 2000-06-23 | Nec Corp | ディスク装置 |
JP2002140169A (ja) * | 2000-11-06 | 2002-05-17 | Nec Corp | ディスクアレイ制御装置及びディスクアレイ制御方法 |
JP2002351705A (ja) * | 2001-05-23 | 2002-12-06 | Matsushita Electric Ind Co Ltd | デジタル信号記録再生装置、及びデジタル信号記録再生方法 |
JP2004126844A (ja) * | 2002-10-01 | 2004-04-22 | Turf Media System:Kk | キャッシュメモリー制御機能付きサーバコンピュータ装置 |
-
2010
- 2010-03-19 JP JP2010063453A patent/JP5569074B2/ja not_active Expired - Fee Related
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107368401A (zh) * | 2016-05-12 | 2017-11-21 | 广达电脑股份有限公司 | 管理***与管理方法 |
CN107368401B (zh) * | 2016-05-12 | 2020-12-25 | 广达电脑股份有限公司 | 管理***与管理方法 |
Also Published As
Publication number | Publication date |
---|---|
JP2011197977A (ja) | 2011-10-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5569074B2 (ja) | ストレージシステム | |
US8930648B1 (en) | Distributed deduplication using global chunk data structure and epochs | |
US10019459B1 (en) | Distributed deduplication in a distributed system of hybrid storage and compute nodes | |
US9330108B2 (en) | Multi-site heat map management | |
US9977746B2 (en) | Processing of incoming blocks in deduplicating storage system | |
US9286003B1 (en) | Method and apparatus for creating a short hash handle highly correlated with a globally-unique hash signature | |
US8712963B1 (en) | Method and apparatus for content-aware resizing of data chunks for replication | |
US9348842B2 (en) | Virtualized data storage system optimizations | |
US8639669B1 (en) | Method and apparatus for determining optimal chunk sizes of a deduplicated storage system | |
US20200117372A1 (en) | Available storage space in a system with varying data redundancy schemes | |
CN105027069A (zh) | 卷区域的重复数据删除 | |
US20130232215A1 (en) | Virtualized data storage system architecture using prefetching agent | |
KR20140117994A (ko) | 복제 파일 중복 제거 방법 및 장치 | |
KR101709118B1 (ko) | 하이브리드 스토리지 시스템의 파일 관리 방법 및 장치 | |
KR20150131359A (ko) | 데이터의 융통성있는 배치를 위한 다층형 저장 관리 | |
CN108431815B (zh) | 在处理器网格中的分布式数据的去重复数据 | |
CN110147203B (zh) | 一种文件管理方法、装置、电子设备及存储介质 | |
US9369527B2 (en) | File server, file server control method, and storage system | |
US20150012709A1 (en) | Progressive virtual lun | |
US8775775B1 (en) | Dynamic prefetch throttling for multi-controller systems | |
US20210286734A1 (en) | Persistent read cache in a scale out storage system | |
US20190056878A1 (en) | Storage control apparatus and computer-readable recording medium storing program therefor | |
US9575679B2 (en) | Storage system in which connected data is divided | |
JP5585116B2 (ja) | ストレージシステム | |
EP3819754B1 (en) | Information processing apparatus and recording medium storing information processing program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD07 | Notification of extinguishment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7427 Effective date: 20120717 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130206 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20131031 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20131112 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140106 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140527 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140609 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5569074 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |