JP5637791B2 - 計算機システム及びそのデータ処理方法 - Google Patents
計算機システム及びそのデータ処理方法 Download PDFInfo
- Publication number
- JP5637791B2 JP5637791B2 JP2010220223A JP2010220223A JP5637791B2 JP 5637791 B2 JP5637791 B2 JP 5637791B2 JP 2010220223 A JP2010220223 A JP 2010220223A JP 2010220223 A JP2010220223 A JP 2010220223A JP 5637791 B2 JP5637791 B2 JP 5637791B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- distributed
- computer
- execution
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003672 processing method Methods 0.000 title claims description 16
- 230000015654 memory Effects 0.000 claims description 160
- 238000000034 method Methods 0.000 claims description 57
- 238000003860 storage Methods 0.000 claims description 28
- 230000004044 response Effects 0.000 claims description 8
- 239000006185 dispersion Substances 0.000 claims 1
- 230000005055 memory storage Effects 0.000 description 121
- 230000010076 replication Effects 0.000 description 41
- 238000010586 diagram Methods 0.000 description 16
- 230000008707 rearrangement Effects 0.000 description 3
- 230000006798 recombination Effects 0.000 description 2
- 238000005215 recombination Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000010437 gem Substances 0.000 description 1
- 229910001751 gemstone Inorganic materials 0.000 description 1
- 230000005764 inhibitory process Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1479—Generic software techniques for error detection or fault masking
- G06F11/1482—Generic software techniques for error detection or fault masking by means of middleware or OS functionality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/16—Error detection or correction of the data by redundancy in hardware
- G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Hardware Redundancy (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
メモリ122、計算機120をネットワーク100に接続するインタフェース123、及
びストレージ装置130が接続されるインタフェース124を含んで構成される。
散メモリ管理クライアントプログラム210によって、メモリストレージ領域213が確
保される。これら複数のメモリストレージ領域213は、分散メモリ管理サーバプログラ
ム221、及び分散メモリ管理クライアントプログラム210により、論理的に1つのス
トレージとして提供される。本明細書ではこのストレージのことを分散メモリと呼ぶ。分
散メモリに格納されるデータは、分散データ214として、複数のメモリ112に確保さ
れたメモリストレージ領域213に分散して配置される。各計算機110のメモリ112
には、それぞれの分散メモリ管理クライアントプログラム210が、メモリストレージ領
域213に配置された分散データ214を管理するために用いるメモリストレージ管理情
報212が保持される。
動作する計算機のメモリ112に確保されたメモリストレージ領域213に配置された分
散データ214を管理するメモリストレージ管理情報212のデータ構成を示す概念図で
ある。図において、メモリストレージ管理情報212は、テーブル形式で管理された情報
として示されているが、具体的には、配列、あるいはリスト構造等、各情報項目間を関連
づけることのできる任意のデータ構造を用いて実現することができる。このことは、以降
説明する他の情報についても同様である。
の元のデータであるストレージ130に格納されたデータ230を識別するデータ識別子
300、データを構成する各レコードのレコード長310、データ230を分散メモリに
分散して配置する際にキーとして使用されたフィールドの識別子である分散キー320、メモリストレージ領域213へ配置されている分散データ214を識別する分散データ識別子330、分散データ識別子330で識別される各分散データ214に含まれ、分散キー320で特定されるフィールドの値の範囲を示す分散キーレンジ340、分散データ識別子330で識別される分散データ214に含まれるレコードの数を示すレコード数350、及び、分散データ識別子330で識別される分散データ214のメモリストレージ領域213内での配置位置を示す情報としてメモリアドレス360を含んでいる。
図8は、分散データ配置ヒント情報226の構成を示す概念図である。
る場合、自計算機110内の分散メモリ管理クライアントプログラム210に、データ2
30の識別子とアクセスしようとするレコードにおけるキーとを含むアクセス要求を発行
する。この場合のキーは、データ230の分散配置の際にデータ230を分割するために
用いられた分散キー320で指定されたフィールドの値である。アクセス要求が、分散デ
ータへのアクセス要求である場合には、元のデータ230の識別子に代えて、該当する分
散データの識別子が指定される。分散メモリ管理クライアントプログラム210は、これ
らアクセス要求を受け付けると、メモリストレージ管理情報212を参照して、受け付け
たアクセス要求が自計算機110のメモリストレージ領域214に保持された分散データ
214の元のデータ230の識別子を指定したアクセス要求か否か判定する(ステップ1
300)。
一方、すべてのジョブがまだ正常終了していない場合、ジョブ実行管理部221は、ジョブ実行管理情報222を参照して、分散データを使用した実行待ちのジョブ200が存在するか判定する。分散データを使用した実行待ちのジョブ200が存在しない場合、ジョブ実行管理部221は、ステップ2000の処理に戻る(ステップ2100)。ステップ2100で、分散データを使用した実行待ちのジョブ200が存在する場合、ジョブ実行管理部221は、ジョブ実行管理情報222を参照して、当該実行待ちのジョブの実行に割り当てられた計算機110の中に、他のジョブを実行中の計算機110が存在するか判定する。他のジョブを実行中の計算機110がある場合、ジョブ実行管理部221は、そのままステップ2000の処理に戻る(ステップ2110)。
また、分散メモリ管理クライアントプログラムにより、再分散した分散データの複製に対するジョブからのアクセスを、元の分散データに対するアクセスと透過に見せることで、再分散して処理することが不可能な分散データであっても計算機のメモリ使用量を平準化するように複製を分散配置することが可能になる。
110 計算機
111 プロセッサ
112 メモリ
113 インタフェース
120 計算機
121 プロセッサ
122 メモリ
123 インタフェース
124 インタフェース
130 ストレージ装置
200 ジョブプログラム
210 分散メモリ管理クライアントプログラム
212 メモリストレージ管理情報
213 メモリストレージ領域
214 分散データ
220 分散メモリ管理サーバプログラム
221 ジョブ実行管理部
222 ジョブ実行管理情報
223 分散メモリストレージ管理部
224 分散メモリストレージ管理情報
225 分散データ配置情報
226 分散データ配置ヒント情報
Claims (10)
- データ処理を分散して実行する複数の第1の計算機と、前記複数の第1の計算機での前
記データ処理の実行を管理する第2の計算機と、前記データ処理で利用されるデータを格
納するストレージ装置と、前記複数の第1の計算機、前記第2の計算機、および、前記ス
トレージ装置を相互に接続するネットワークとを含んで構成される計算機システムにおけ
るデータ処理方法であって、
前記第2の計算機に与えられ、前記複数の第1の計算機への前記データの分散配置に関
する指針を示すヒント情報にしたがって前記ストレージ装置に保持されたデータを複数の
分散データに分割し、前記分散データおよび前記分散データの各々の複製データを前記複
数の第1の計算機のメモリに分散させて配置し、
前記複数の第1の計算機により、前記第1の計算機のそれぞれに配置された前記分散デ
ータを用いてデータ処理を実施し、
前記第1の計算機のいずれかで障害が発生した場合、当該障害が発生した第1の計算機
に配置された分散データの複製が配置された第1の計算機で前記障害が発生した第1の計
算機で行われていたデータ処理を再実行し、
前記ヒント情報は、前記分散データをさらに分散させて配置させることが可能か否かを
示す情報を含むとともに、前記複製データによるデータ処理の再実行の結果に対する処理方法を指定する情報を含むことを特徴とするデータ処理方法。 - 前記分散させて配置する際に、前記ヒント情報が前記分散データをさらに分散させることが可能であることを示す場合、前記分散データの各々を前記ヒント情報に従ってさらに分割して前記複製データを生成し、前記複製データの各々を、その複製データの元とされた分散データとは異なる第1の計算機に配置させることを特徴とする請求項1記載のデータ処理方法。
- 前記分散させて配置する際に、前記ヒント情報が前記分散データをさらに分散させることができないことを示す場合、前記分散データの各々の複製を前記第1の計算機の各々に配置された分散データおよび複製データの量が平準化するよう前記複製データを配置させることを特徴とする請求項1記載のデータ処理方法。
- 前記複製データによるデータ処理の再実行の後、前記処理方法を指定する情報に従って、前記複製データによるデータ処理の再実行の結果に対する処理を前記第2の計算機から
前記第1の計算機に要求することを特徴とする請求項1記載のデータ処理方法。 - 前記分散させて配置する際に、前記ヒント情報が前記分散データをさらに分散させることができないことを示す場合、配置された前記分散データの量がもっとも少ない第1の計算機に前記複製データを配置させることを特徴とする請求項1記載のデータ処理方法。
- データを格納したストレージ装置と、前記ストレージ装置が接続されて前記データを用
いたデータ処理を管理する第1の計算機と、該第1の計算機に接続され、前記データ処理
を分散して実行する複数の第2の計算機とを有し、
前記第1の計算機は、与えられた前記複数の第2の計算機への前記データの分散配置に
関する指針を示すヒント情報を参照し、前記ストレージ装置に保持されたデータを複数の
分散データに分割し、前記分散データおよび前記分散データの各々の複製データを前記複数の第2の計算機のメモリに分散させて配置させる分散配置手段、および、前記第2の計
算機にデータ処理の実行を要求し、前記第2の計算機のいずれかで障害が発生した場合、
当該障害が発生した第2の計算機に配置された分散データの複製が配置された第2の計算
機に、前記障害が発生した第2の計算機で行われていたデータ処理の再実行を要求する実
行管理手段を有し、
前記第2の計算機は、前記分散配置手段からの要求に応じて、前記分散データを自計算
機のメモリに保持するメモリ管理手段、および、前記実行管理手段からの要求に応じてデ
ータ処理を実行するデータ処理手段を有し、
前記ヒント情報は、前記分散データの各々の複製をさらに分散させて配置することが可
能か否かを示す情報を含むとともに、前記複製データによるデータ処理の再実行の結果に
対する処理方法を指定する情報を含むことを特徴とする計算機システム。
- 前記分散配置手段は、前記ヒント情報が前記分散データをさらに分散させることが可能
であることを示す場合、前記分散データの各々を前記ヒント情報に従ってさらに分割して
前記複製データを生成し、前記複製データの各々を、その複製データの元とされた分散デ
ータとは異なる第2の計算機に配置させることを特徴とする請求項6記載の計算機システム。 - 前記分散配置手段は、前記ヒント情報が前記分散データをさらに分散させることができ
ないことを示す場合、前記分散データの各々の複製を前記第2の計算機の各々に配置され
た分散データおよび複製データの量が平準化するよう前記複製データを配置させることを
特徴とする請求項6記載の計算機システム。 - 前記分散配置手段は、前記ヒント情報が前記分散データをさらに分散させることができ
ないことを示す場合、配置された前記分散データの量がもっとも少ない第2の計算機に前
記複製データを配置させることを特徴とする請求項6記載の計算機システム。 - 前記分散配置手段は、前記複製データによるデータ処理の再実行の後、前記処理方法を
指定する情報に従って、前記複製データによるデータ処理の再実行の結果に対する処理を
前記第2の計算機に要求することを特徴とする請求項6記載の計算機システム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010220223A JP5637791B2 (ja) | 2010-09-30 | 2010-09-30 | 計算機システム及びそのデータ処理方法 |
US13/012,094 US8555107B2 (en) | 2010-09-30 | 2011-01-24 | Computer system and data processing method for computer system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010220223A JP5637791B2 (ja) | 2010-09-30 | 2010-09-30 | 計算機システム及びそのデータ処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012073975A JP2012073975A (ja) | 2012-04-12 |
JP5637791B2 true JP5637791B2 (ja) | 2014-12-10 |
Family
ID=45890861
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010220223A Expired - Fee Related JP5637791B2 (ja) | 2010-09-30 | 2010-09-30 | 計算機システム及びそのデータ処理方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US8555107B2 (ja) |
JP (1) | JP5637791B2 (ja) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5964950B2 (ja) * | 2012-04-12 | 2016-08-03 | 株式会社日立製作所 | 計算機システム、データ配置管理方法及びプログラム |
JP5757276B2 (ja) * | 2012-07-31 | 2015-07-29 | 日本電気株式会社 | 無停止演算処理装置、無停止演算処理システム、無停止演算処理方法、及び、無停止演算処理プログラム |
CN106155802B (zh) * | 2015-03-30 | 2020-03-13 | 阿里巴巴集团控股有限公司 | 任务调度方法、装置及控制节点 |
WO2016166844A1 (ja) * | 2015-04-15 | 2016-10-20 | 株式会社日立製作所 | 分散処理システム、タスク処理方法、記憶媒体 |
WO2017064775A1 (ja) * | 2015-10-14 | 2017-04-20 | 株式会社日立製作所 | 分散メモリ処理システム及び分散メモリ処理方法 |
CN107038059A (zh) * | 2016-02-03 | 2017-08-11 | 阿里巴巴集团控股有限公司 | 虚拟机部署方法及装置 |
CN108804693A (zh) * | 2018-06-15 | 2018-11-13 | 郑州云海信息技术有限公司 | 一种分布式存储方法和装置 |
JP2021135981A (ja) * | 2020-02-28 | 2021-09-13 | 京セラドキュメントソリューションズ株式会社 | データ連携システムおよび処理監視システム |
JP7237436B1 (ja) | 2022-03-29 | 2023-03-13 | 三菱電機株式会社 | エレベータ情報処理装置 |
Family Cites Families (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5555404A (en) * | 1992-03-17 | 1996-09-10 | Telenor As | Continuously available database server having multiple groups of nodes with minimum intersecting sets of database fragment replicas |
JPH07334382A (ja) * | 1994-06-07 | 1995-12-22 | Hitachi Ltd | マルチコントローラシステム |
EP0854423A1 (en) * | 1997-01-20 | 1998-07-22 | TELEFONAKTIEBOLAGET L M ERICSSON (publ) | Data partitioning and duplication in a distributed data processing system |
US6415373B1 (en) * | 1997-12-24 | 2002-07-02 | Avid Technology, Inc. | Computer system and process for transferring multiple high bandwidth streams of data between multiple storage units and multiple applications in a scalable and reliable manner |
JPH11338834A (ja) * | 1998-05-26 | 1999-12-10 | Ai System Kk | 同期型並列処理システムおよび同期型並列処理方法 |
JP2000322292A (ja) * | 1999-05-10 | 2000-11-24 | Nec Corp | クラスタ型データサーバシステム及びデータ格納方法 |
JP3067774B1 (ja) | 1999-09-27 | 2000-07-24 | 稔 稲葉 | ステレオスライドマウント並びにステレオカメラ |
JP2003132039A (ja) * | 2001-10-22 | 2003-05-09 | Nippon Telegr & Teleph Corp <Ntt> | シナリオ分割方式 |
JP2003132040A (ja) * | 2001-10-22 | 2003-05-09 | Nippon Telegr & Teleph Corp <Ntt> | シナリオ分割方式 |
US20050010835A1 (en) * | 2003-07-11 | 2005-01-13 | International Business Machines Corporation | Autonomic non-invasive backup and storage appliance |
US7203871B2 (en) * | 2004-06-03 | 2007-04-10 | Cisco Technology, Inc. | Arrangement in a network node for secure storage and retrieval of encoded data distributed among multiple network nodes |
US7734643B1 (en) * | 2004-06-30 | 2010-06-08 | Oracle America, Inc. | Method for distributed storage of data |
JP2007018407A (ja) * | 2005-07-11 | 2007-01-25 | Hitachi Ltd | データ複製システム |
US20070234107A1 (en) * | 2006-03-31 | 2007-10-04 | International Business Machines Corporation | Dynamic storage data protection |
US7844851B2 (en) * | 2006-12-13 | 2010-11-30 | Oracle International Corporation | System and method for protecting against failure through geo-redundancy in a SIP server |
WO2008114441A1 (ja) * | 2007-03-20 | 2008-09-25 | Fujitsu Limited | ストレージ管理プログラム、ストレージ管理方法およびストレージ管理装置 |
US8762664B2 (en) * | 2007-08-30 | 2014-06-24 | Red Hat, Inc. | Replicating cache nodes in a cluster |
US7836174B2 (en) * | 2008-01-30 | 2010-11-16 | Commvault Systems, Inc. | Systems and methods for grid-based data scanning |
US8281181B2 (en) * | 2009-09-30 | 2012-10-02 | Cleversafe, Inc. | Method and apparatus for selectively active dispersed storage memory device utilization |
US8566552B2 (en) * | 2010-03-12 | 2013-10-22 | Cleversafe, Inc. | Dispersed storage network resource allocation |
-
2010
- 2010-09-30 JP JP2010220223A patent/JP5637791B2/ja not_active Expired - Fee Related
-
2011
- 2011-01-24 US US13/012,094 patent/US8555107B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
US20120084597A1 (en) | 2012-04-05 |
JP2012073975A (ja) | 2012-04-12 |
US8555107B2 (en) | 2013-10-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5637791B2 (ja) | 計算機システム及びそのデータ処理方法 | |
WO2017119091A1 (ja) | 分散型ストレージシステム、データ格納方法、およびソフトウェアプログラム | |
CN102521297B (zh) | 无共享数据库集群中实现***动态扩展的方法 | |
US8417991B2 (en) | Mitigating reduction in availability level during maintenance of nodes in a cluster | |
JP3851272B2 (ja) | ステートフル・プログラム・エンティティの作業負荷管理 | |
US9727522B1 (en) | Multi-tenant storage service object lifecycle management using transition job objects | |
JP5254611B2 (ja) | 固定内容分散データ記憶のためのメタデータ管理 | |
US10366075B2 (en) | Database management system and method | |
US9323791B2 (en) | Apparatus and method for expanding a shared-nothing system | |
US9223626B2 (en) | Task execution and management in a clustered computing environment | |
EP3391249B1 (en) | Replication of structured data records among partitioned data storage spaces | |
US10242044B2 (en) | System and method of rolling upgrades of data traits | |
US11669427B2 (en) | Query-attempt processing in a database environment | |
US20150236974A1 (en) | Computer system and load balancing method | |
US20120284244A1 (en) | Transaction processing device, transaction processing method and transaction processing program | |
US9984139B1 (en) | Publish session framework for datastore operation records | |
CN112596762A (zh) | 一种滚动升级方法及装置 | |
US11494271B2 (en) | Dynamically updating database archive log dependency and backup copy recoverability | |
US11966297B2 (en) | Identifying database archive log dependency and backup copy recoverability | |
JP6033420B2 (ja) | ストレージシステムおよびストレージシステムの制御方法 | |
CN108351801A (zh) | 多版本移除管理器 | |
US8584117B2 (en) | Method to make SMP/E based products self describing | |
EP3629178B1 (en) | System and method for providing backup services to high availability applications | |
JP2008186141A (ja) | データ管理方法、データ管理プログラム、データ管理システム、および、構成管理装置 | |
JP5832592B1 (ja) | データ管理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20120518 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130219 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140418 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140507 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140704 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140722 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140905 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140924 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20141021 |
|
LAPS | Cancellation because of no payment of annual fees |