JP6135226B2 - 情報処理装置、情報処理方法、ストレージシステム及びコンピュータプログラム - Google Patents
情報処理装置、情報処理方法、ストレージシステム及びコンピュータプログラム Download PDFInfo
- Publication number
- JP6135226B2 JP6135226B2 JP2013058473A JP2013058473A JP6135226B2 JP 6135226 B2 JP6135226 B2 JP 6135226B2 JP 2013058473 A JP2013058473 A JP 2013058473A JP 2013058473 A JP2013058473 A JP 2013058473A JP 6135226 B2 JP6135226 B2 JP 6135226B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- storage
- unit
- node
- parity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/08—Error detection or correction by redundancy in data representation, e.g. by using checking codes
- G06F11/10—Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's
- G06F11/1076—Parity data used in redundant arrays of independent storages, e.g. in RAID systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/0671—In-line storage system
- G06F3/0683—Plurality of storage devices
- G06F3/0689—Disk arrays, e.g. RAID, JBOD
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2211/00—Indexing scheme relating to details of data-processing equipment not covered by groups G06F3/00 - G06F13/00
- G06F2211/10—Indexing scheme relating to G06F11/10
- G06F2211/1002—Indexing scheme relating to G06F11/1076
- G06F2211/1023—Different size disks, i.e. non uniform size of disks in RAID systems with parity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2211/00—Indexing scheme relating to details of data-processing equipment not covered by groups G06F3/00 - G06F13/00
- G06F2211/10—Indexing scheme relating to G06F11/10
- G06F2211/1002—Indexing scheme relating to G06F11/1076
- G06F2211/1028—Distributed, i.e. distributed RAID systems with parity
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- Human Computer Interaction (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
はじめに、本発明の第1の実施形態に係るストレージシステム1について説明する。図1は、本発明の第1の実施形態に係るストレージシステム1の構成を例示するブロック図である。図1に示すように、ストレージシステム1は、アクセスノード(AN)100とストレージノード(SN)200とが、ネットワーク300を介して通信可能に接続されることにより構成される。ストレージシステム1は、ノードの追加及び交換を行うことにより容量や性能の拡張が可能なストレージシステムを想定している。アクセスノード100は、主にストレージノード200に記憶されるデータの管理や制御等を行う。アクセスノード100についての詳細は後述する。また、本実施形態において、1つのアクセスノード100について説明するが、ストレージシステム100は、複数のアクセスノード100が複数のストレージノード200に接続されることにより構成されていてもよい。
図6〜図8を参照して、アクセスノード100におけるデータ書き込み処理について説明する。
図12〜図16を参照して、再配置処理について説明する。
図13は、再配置処理における、各ストレージノード200に対するフラグメント540の割当条件1を例示した図である。条件1において、再配置部126は、パリティフラグメント530の数に着目することにより、フラグメント540の割り当てを実行する。具体的には、再配置部126は、あるストレージノード200に割り当てられたフラグメント540の数が、パリティフラグメント530の数と同じになった場合、該ストレージノード200にフラグメント540を割り当てないようにする。この場合、再配置部126は、次のシステム番号を持つ容量単位ノード252を有するストレージノード200に対して、フラグメント540の割り当てを実行する。
図14は、再配置処理における、各ストレージノード200に対するフラグメント540の割当条件2を例示した図である。条件2において、再配置部126は、各ストレージノード200に割り当て済のオリジナルフラグメント520の数に着目することにより、フラグメント540の割り当てを実行する。具体的には、再配置部126は、次にフラグメント540を割り当てようとするストレージノード200に割り当て済のオリジナルフラグメント520の数を、その他のストレージノード200に割り当て済のオリジナルフラグメント520の数と比較する。
次に、図17及び図18を参照して、データ読み込み処理について説明する。
本発明の第2の実施形態に係る情報処理装置400について説明する。図19は、本発明の第2の実施形態に係る情報処理装置400の機能構成を概念的に例示するブロック図である。本発明の第2の実施形態に係る情報処理装置400は、上述した実施形態に共通する構成である。
本発明の活用例として、複数のストレージを仮想的な1つのストレージに統合するグリッドストレージシステムが考えられる。また、本発明は、重複排除機能を有するストレージについて利用可能であると考えられる。
10 CPU
12 メモリ
14 HDD
16 通信IF
18 入力装置
20 出力装置
22 リーダーライター
24 記憶媒体
26 バス
100 アクセスノード
200 ストレージノード
300 ネットワーク
110,210 通信部
120,220 データ処理部
122,222 データ送受信部
124,224,424 データ書き込み部
126,226,426 再配置部
128,228,428 データ読み込み部
130,230 ノード情報処理部
132,232 構成変更部
134,234 状態監視部
140,240 記憶装置
250 データ格納部
252 容量単位ノード
254 故障単位ノード
500 データ
510 データブロック
520 分割データ(オリジナルフラグメント)
530 パリティデータ(パリティフラグメント)
540 フラグメント
Claims (9)
- 受信したデータを複数の分割データに分割し、エラーが起きた前記受信データを再構築する際に利用可能な複数のパリティデータを生成し、前記分割データと前記パリティデータとを、複数のストレージノードに書き込むデータ書き込み部と、
前記データ書き込み部により書き込まれた前記データの再配置位置を、所定の条件に基づいて前記複数のストレージノードに割り当て、前記割り当てられたストレージノードに前記データを格納する再配置部と、
前記複数のストレージノードに格納されたパリティデータを識別することにより、該パリティデータを読み込まないよう前記分割データを読み込むデータ読み込み部と、
を備え、
前記再配置部は、前記複数のストレージノードに対して再配置位置を割り当てる際、前記書き込み部によって生成されたパリティデータと同じ数の前記分割データが、連続して同一のストレージノードに割り当てられた場合、他のストレージノードに対して前記分割データを格納するよう再配置位置を割り当てる
情報処理装置。 - 前記再配置部は、前記複数のストレージノードの中で、容量の大きいストレージノードに対して、より多くのデータを格納するよう再配置位置を割り当てる請求項1に記載の情報処理装置。
- 前記再配置部は、前記容量の大きいストレージノードに対してより多くの前記パリティデータを格納するよう再配置位置を割り当てる請求項2に記載の情報処理装置。
- 前記再配置部は、前記複数のストレージノードに対して再配置位置を割り当てる際、注目するデータを割り当てようとしているストレージノードよりも割り当て済の分割データが少ないストレージノードがある場合、前記注目するデータを割り当てようとしているストレージノードに対して前記パリティデータを格納するよう再配置位置を割り当てる請求項1乃至3の何れかに記載の情報処理装置。
- 前記再配置部は、前記複数のストレージノードに対して再配置位置を割り当てる際、再配置位置を割り当てていないデータが前記分割データのみ又は前記パリティデータのみとなった場合、前記注目するデータを割り当てようとしているストレージノードに対して前記パリティデータを格納するように再配置位置を割り当てることを止め、前記所定の条件に基づいて前記複数のストレージノードに対して残りのデータを格納するよう再配置位置を割り当てる請求項4に記載の情報処理装置。
- 前記データ読み込み部は、前記複数のストレージノードに格納された前記分割データを読み込む際、前記分割データの中に読み込めない分割データが存在した場合、前記パリティデータを読み込む請求項1乃至5の何れかに記載の情報処理装置。
- 請求項1乃至6の何れかに記載の前記情報処理装置と前記ストレージノードとがネットワークを介して接続されているストレージシステム。
- 受信したデータを複数の分割データに分割し、エラーが起きた前記受信データを再構築する際に利用可能な複数のパリティデータを生成し、前記分割データと前記パリティデータとを、複数のストレージノードに送信し、
書き込まれた前記データの再配置位置を、所定の条件に基づいて前記複数のストレージノードに割り当て、前記割り当てられたストレージノードに前記データを格納し、
前記複数のストレージノードに格納されたパリティデータを識別することにより、該パリティデータを読み込まないよう前記分割データを読み込み、
前記複数のストレージノードに対して再配置位置を割り当てる際、前記生成されたパリティデータと同じ数の前記分割データが、連続して同一のストレージノードに割り当てられた場合、他のストレージノードに対して前記分割データを格納するよう再配置位置を割り当てる
情報処理方法。 - 受信したデータを複数の分割データに分割し、エラーが起きた前記受信データを再構築する際に利用可能な複数のパリティデータを生成し、前記分割データと前記パリティデータとを、複数のストレージノードに書き込む処理と、
書き込まれた前記データの再配置位置を、所定の条件に基づいて前記複数のストレージノードに割り当て、前記割り当てられたストレージノードに前記データを格納する処理と、
前記複数のストレージノードに格納されたパリティデータを識別することにより、該パリティデータを読み込まないよう前記分割データを読み込む処理と、
前記複数のストレージノードに対して再配置位置を割り当てる際、前記生成されたパリティデータと同じ数の前記分割データが、連続して同一のストレージノードに割り当てられた場合、他のストレージノードに対して前記分割データを格納するよう再配置位置を割り当てる処理と、
をコンピュータに実行させるコンピュータプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013058473A JP6135226B2 (ja) | 2013-03-21 | 2013-03-21 | 情報処理装置、情報処理方法、ストレージシステム及びコンピュータプログラム |
US14/173,031 US9891992B2 (en) | 2013-03-21 | 2014-02-05 | Information processing apparatus, information processing method, storage system and non-transitory computer readable storage media |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013058473A JP6135226B2 (ja) | 2013-03-21 | 2013-03-21 | 情報処理装置、情報処理方法、ストレージシステム及びコンピュータプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014182737A JP2014182737A (ja) | 2014-09-29 |
JP6135226B2 true JP6135226B2 (ja) | 2017-05-31 |
Family
ID=51570023
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013058473A Active JP6135226B2 (ja) | 2013-03-21 | 2013-03-21 | 情報処理装置、情報処理方法、ストレージシステム及びコンピュータプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US9891992B2 (ja) |
JP (1) | JP6135226B2 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6269530B2 (ja) * | 2015-02-26 | 2018-01-31 | 日本電気株式会社 | 記憶システム、記憶方法、及び、プログラム |
US9843453B2 (en) * | 2015-10-23 | 2017-12-12 | Pure Storage, Inc. | Authorizing I/O commands with I/O tokens |
CN110383251B (zh) * | 2017-03-28 | 2023-04-07 | 株式会社日立制作所 | 存储***、计算机可读记录介质、***的控制方法 |
US10545826B2 (en) * | 2017-05-25 | 2020-01-28 | Scality, S.A. | Layered error correction encoding for large scale distributed object storage system |
JP6668309B2 (ja) * | 2017-11-30 | 2020-03-18 | 株式会社日立製作所 | 記憶システム及びその制御方法 |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09305328A (ja) * | 1996-05-13 | 1997-11-28 | Fujitsu Ltd | ディスクアレイ装置 |
JPH10107748A (ja) | 1996-09-30 | 1998-04-24 | Sanyo Electric Co Ltd | データ放送システムの受信機におけるデータ読み込み処理方法 |
JP2000099275A (ja) * | 1998-09-25 | 2000-04-07 | Sony Corp | ディスクアレイ制御方法及びディスクアレイ装置 |
JP4236590B2 (ja) * | 2002-03-13 | 2009-03-11 | 富士通株式会社 | Raid装置の制御装置 |
JP4068473B2 (ja) * | 2003-02-19 | 2008-03-26 | 株式会社東芝 | ストレージ装置、分担範囲決定方法及びプログラム |
US7185144B2 (en) * | 2003-11-24 | 2007-02-27 | Network Appliance, Inc. | Semi-static distribution technique |
US7395369B2 (en) * | 2004-05-18 | 2008-07-01 | Oracle International Corporation | Distributing data across multiple storage devices |
US7653829B2 (en) * | 2005-12-08 | 2010-01-26 | Electronics And Telecommunications Research Institute | Method of data placement and control in block-divided distributed parity disk array |
GB0610335D0 (en) * | 2006-05-24 | 2006-07-05 | Oxford Semiconductor Ltd | Redundant storage of data on an array of storage devices |
US20080155191A1 (en) * | 2006-12-21 | 2008-06-26 | Anderson Robert J | Systems and methods for providing heterogeneous storage systems |
JP4696089B2 (ja) | 2007-03-30 | 2011-06-08 | 三菱電機インフォメーションシステムズ株式会社 | 分散ストレージシステム |
JP2010049634A (ja) * | 2008-08-25 | 2010-03-04 | Hitachi Ltd | ストレージシステム及びストレージシステムにおけるデータ移行方法 |
JP5470974B2 (ja) | 2009-03-31 | 2014-04-16 | 日本電気株式会社 | 分散ファイルシステム及び分散ファイル格納方法 |
JP5585116B2 (ja) * | 2010-02-19 | 2014-09-10 | 日本電気株式会社 | ストレージシステム |
-
2013
- 2013-03-21 JP JP2013058473A patent/JP6135226B2/ja active Active
-
2014
- 2014-02-05 US US14/173,031 patent/US9891992B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2014182737A (ja) | 2014-09-29 |
US9891992B2 (en) | 2018-02-13 |
US20140289489A1 (en) | 2014-09-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10852959B2 (en) | Data storage system, process and computer program for such data storage system for reducing read and write amplifications | |
US11182258B2 (en) | Data rebuild using dynamic peer work allocation | |
US9411685B2 (en) | Parity chunk operating method and data server apparatus for supporting the same in distributed raid system | |
US8010753B2 (en) | Systems and methods for temporarily transferring use of portions of partitioned memory between host computers | |
US9477429B2 (en) | Block storage gateway module, method for providing access to block storage, mediator system and mediating method for storage, cloud storage system, and content delivery apparatus | |
JP5561425B2 (ja) | ストレージシステム | |
JP6135226B2 (ja) | 情報処理装置、情報処理方法、ストレージシステム及びコンピュータプログラム | |
US20210004171A1 (en) | I/o request processing method and device | |
US9612760B2 (en) | Modular block-allocator for data storage systems | |
JP6526235B2 (ja) | データチェック方法および記憶システム | |
JP2008234158A (ja) | ストレージ装置及び記憶領域配置方法 | |
WO2018121456A1 (zh) | 一种数据存储方法、服务器以及存储*** | |
US20150288753A1 (en) | Remote monitoring pool management | |
CN113126890B (zh) | 用于存储的方法、设备和计算机程序产品 | |
CN109582213A (zh) | 数据重构方法及装置、数据存储*** | |
CN105930545B (zh) | 一种文件迁移的方法和装置 | |
US10394484B2 (en) | Storage system | |
US20190347165A1 (en) | Apparatus and method for recovering distributed file system | |
JP5391705B2 (ja) | ストレージシステム | |
JP6233403B2 (ja) | ストレージシステム、ストレージ装置、ストレージ装置の制御方法及び制御プログラム、管理装置、管理装置の制御方法及び制御プログラム | |
JP7075077B2 (ja) | バックアップサーバ、バックアップ方法、プログラム、ストレージシステム | |
US20180131758A1 (en) | Memory system including plurality of server nodes sharing storage array and operating method of memory system | |
WO2011108041A1 (ja) | ストレージ装置 | |
US10768834B2 (en) | Methods for managing group objects with different service level objectives for an application and devices thereof | |
US11144206B2 (en) | Method and system for sharing data reduction metadata with storage systems |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160217 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20161226 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170117 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170314 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170328 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170410 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6135226 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |