JP2001101149A - 分散並列型データ処理装置及び分散並列型データ処理プログラムを記録した記録媒体並びに分散並列型データ処理システム - Google Patents

Abstract

(57)【要約】 【課題】 二次記憶装置からの読み出し処理が中心のデ
ータ処理の並列化において、各計算機の負荷を均一化し
てシステム全体のスループットを最大化させる。さら
に、一部の計算機が停止した場合でも、肩代わり負荷を
残りの計算機で均一化し、著しい性能の低下を防ぐ。 【解決手段】 大規模データを分割して各計算機に分散
格納し、さらに分割データの複製を重複しないように冗
長格納し、同じ分割データを対象とした処理を異なる計
算機で行えるようにしておく。二次記憶装置からの読み
出し時間も含めた処理時間を測定し、処理時間の長い計
算機への処理の依頼回数を減らし、処理時間の短い計算
機への処理の依頼回数を増やすように分配比率を計算
し、処理を肩代わりさせる。さらに、一部の計算機が停
止した場合、停止した計算機への分配比率を0に固定し
て、分配比率の再計算を行うことによって、肩代わり処
理の集中を防ぎ負荷を分散させる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、利用者からの処理
要求を複数の計算機が独立に処理し、各計算機の処理結
果を統合して利用者に返答する分散並列型データ処理装
置及び分散並列型データ処理プログラムを記録した記録
媒体並びに分散並列型データ処理システム（以下、単に
分散並列型データ処理装置と記載する。）に関し、特に
各計算機が持つ二次記憶装置の入出力処理の時間を基に
各計算機の負荷を均一化する分散並列型データ処理装置
に関する。

【０００２】

【従来の技術】従来、計算機によって大規模なデータに
対する検索や集計、加工などの処理を行う場合、二次記
憶装置からのデータの読み込みや書き込みなどの入出力
処理がボトルネックになる。このため、データを分割し
て複数の二次記憶装置に分散格納し、並列に入出力処理
を行う方法が一般に行われている。

【０００３】複数の独立した計算機から構成される分散
並列型データ処理装置においては、検索や集計、加工な
ど、利用者からの処理要求に対し、個々の計算機の二次
記憶装置に格納されている分割データをそれぞれ並列か
つ独立に読み出すことによって、処理の高速化を行うこ
とができる。

【０００４】大規模なデータを対象として並列に処理を
行うアプリケーションとしては、膨大な文書群から、利
用者が指定したキーワードを含む文書の一覧を返す全文
検索システムや、データベース管理システム上のオンラ
イントランザクション処理サーバや、音声・動画データ
を供給するマルチメディアストリームサーバなどがあ
る。

【０００５】例えば、大規模なデータベースから、指定
された条件を満たすレコードを抽出する検索処理では、
データベースを分割して分散格納することによって処理
を容易に並列化できる。この場合の処理の流れは以下の
ようになる。利用者は、受付役の計算機に条件式を送信
する。受付役の計算機は条件式から、処理対象となる分
割データを指定した部分処理を作成し、該当分割データ
を持つすべての計算機に送信する。各計算機は自分の持
っている分割データを独立に読み込んで、条件を満たす
レコードを部分結果として受付役の計算機に送信する。
受付役の計算機はすべての部分結果を収集、統合、編集
し、利用者に返答する。

【０００６】このように、元の文書群が大規模であって
も、各計算機が独立、並列に処理を行うことができるた
め、高速な応答が可能となる。さらに、あらかじめ各条
件について、該当するレコードをインデックス化した補
助ファイルを作成しておくことによって、不要なデータ
の読み込みを省略し、検索処理をさらに高速化すること
が可能である。

【０００７】このような分散並列型データ処理装置で
は、各計算機間の負荷が不均一であると、常に処理中の
忙しい計算機が存在する一方で、処理待ちの遊休時間を
過ごす暇な計算機が出現して全体の処理効率を低下させ
てしまう問題がある。

【０００８】そのため、各計算機の負荷を均一化させる
ために、古くから数多くの提案がなされている。

【０００９】例えば第1の従来技術として、特許番号第2
638065号に示される特許掲載公報に記載された特許のよ
うに、CPUの利用率に着目した負荷分散方法が挙げられ
る。この方法によれば、まずあらかじめCPUが実行可能
な全てのタスクについて、CPU動作とディスクI/O動作の
割合を求めておく。次にシステムの動作中に各CPUの利
用率を測定し、利用率の高いCPUにはディスクI/O動作の
割合の高いタスクを依頼し、利用率の低いCPUにはCPU動
作の割合が高いタスクを依頼することによって、負荷を
均一化している。

【００１０】その他に第2の従来技術として、例えば特
開平6-271227号公報に示された発明のように、分散格納
する分割データ量を均等化することによって負荷分散を
行う方法が挙げられる。この方法によれば、データベー
スを各計算機に分散格納する際に、各項目に対するレコ
ード数が均等となるように分割しておく。そのため、検
索処理を行う場合、各計算機が自分の所有している分割
データを全て読み込んで条件に該当しているレコードを
抽出するため、各計算機の負荷を均一化できる。

【００１１】また、分散並列型データ処理装置において
は、各分割データの複製を作成し冗長格納することによ
って、故障などの理由により一部の計算機が停止した状
態でも、複製の分割データを所有する他の計算機が処理
を肩代わりすることによって、サービスを無停止で継続
できることも大きな特徴である。

【００１２】例えば第3の従来技術として、分散並列型
データ処理装置で無停止サービスを実現させる方法につ
いて、ビデオストリームサーバに関する例が1998年3
月、アイビーエム ジャーナル・オブ・リサーチ・アン
ド・ディベロプメント、第42巻、第2号、187〜189頁(IB
M J. Res.Develop., Vol.42, No.2, p187-189, March,1
998)に記載されている。この文献によれば、あらかじめ
個々の計算機に格納されている分割データをさらに細か
く分割し、細分割データの複製を異なる計算機に冗長格
納させておく。これにより、ある計算機または二次記憶
装置に障害が発生しても、複製の細分割データを持つ計
算機が処理を肩代わりすることができるため、サービス
を無停止で継続することができる。

【００１３】またこの時、1台の計算機に格納されてい
た原本の分割データは、細分割して複数の計算機に分散
して格納されているため、肩代わり処理による負荷の増
加も複数の計算機の間で分散させることが可能である。
特に、ビデオストリームサーバでは、ファイルを先頭か
ら最後まで順番に読み出す処理が中心であるため、均等
な容量で細分割していれば、肩代わり処理による負荷も
均一である。

【００１４】

【発明が解決しようとする課題】しかしながら、上述し
た従来の分散並列型データ処理装置において、大規模デ
ータに対する検索や集計などの処理を行う場合、下記に
挙げる問題点が存在する。

【００１５】第1の問題点は、大規模データに対する処
理においては、第1の従来技術のように、CPUの利用率に
従って負荷分散制御を行っても、各計算機の処理時間は
必ずしも均一化されないことである。

【００１６】その理由は、大規模データに対する処理時
間の大半はCPU処理時間よりもむしろ、二次記憶装置か
らの読み出し時間に依存しているからである。

【００１７】第2の問題点は、検索処理の高速化のため
にデータをインデックス化している場合などでは、第2
の従来技術のように分散格納するデータ量を均等化して
も、必ずしも各計算機の処理時間が均一化されないこと
である。

【００１８】その理由は、データがインデックス化され
ている場合、条件に該当するデータの個数によって読み
出すデータ量が異なるため、各計算機の処理時間にばら
つきが生じてしまうからである。

【００１９】また仮に、インデックス中の各条件に該当
するレコードの個数が各計算機で等しくなるように分散
格納しようとすると、同一のレコードが異なるインデッ
クスに登録される場合が生ずる。そのため、複合条件の
処理を行う際に各計算機間で大量の部分結果をやり取り
する必要があり、読み出すデータ量は均一化されても、
通信処理が増大し、逆に並列化の効率が大幅に減少して
しまう。

【００２０】第3の問題点は、各データに対するアクセ
ス頻度の分布が変化してしまうと、第3の従来技術のよ
うにデータを分散格納するだけでは対応が困難なことで
ある。その理由は、アクセス頻度の分布が変化すると、
第3の従来技術では、データの分割および分散格納方法
を変える必要があるからである。

【００２１】第4の問題点は、各計算機が異なるデータ
量を読み出して処理を行う場合において、計算機や二次
記憶装置に障害が発生すると、第3の従来技術のように
読み出し量を一定にしておく負荷分散方法では、肩代わ
り負荷に不均衡が存在するため性能が低下してしまうこ
とである。その理由は、第2の問題点と同じである。

【００２２】本発明の主たる目的は、インデックス化さ
れた大規模データに対する検索や集計などの処理を行う
場合でも、正常時と障害発生時の両方で、常に負荷分散
を行うことができる分散並列型データ処理装置を提供す
ることにある。そのために、下記の4つの目的を実現さ
せる。

【００２３】第1の目的は、各計算機の処理時間が二次
記憶装置からの入出力処理に依存している場合でも、各
計算機間の負荷を均一化し、システム全体のスループッ
トを最大化させることである。

【００２４】第2の目的は、各計算機で読み出すデータ
量が異なる処理であっても、各計算機の全体の処理時間
を均一化し、システム全体のスループットを最大化させ
ることである。

【００２５】第3の目的は、各データに対するアクセス
頻度の分布が変化しても、自動的に各計算機の全体の処
理時間を均一化させることである。

【００２６】第4の目的は、一部の計算機または二次記
憶装置が停止した場合においても、その肩代わり負荷を
均一化することによって性能低下を防ぐことである。

【００２７】

【課題を解決するための手段】本発明の第1の分散並列
型データ処理装置は、大規模データを分割して各計算機
に分散格納し、さらにその分割データの複製を作成し
て、重複しないように冗長格納し、同じ分割データを対
象とした部分処理を異なる複数の計算機で行うことがで
きる。そのため、ある計算機の負荷が大きくなったり、
ある計算機が停止した場合、その計算機が所有している
分割データと同一の分割データを所有する他の計算機
が、処理を肩代わりできる。

【００２８】また、各分割データに対して、二次記憶装
置の入出力処理も含めた処理時間を測定する負荷監視手
段と、負荷監視手段が測定した各分割データに対する処
理時間を基に、処理時間の長い計算機への部分処理の依
頼回数を減らし、処理時間の短い計算機への部分処理の
依頼回数を増やすように分配比率を計算する分配比率計
算手段と、分配比率計算手段によって求められた分配比
率に従って依頼先の計算機を決定する負荷分散手段を有
する。

【００２９】このような構成を採用し、二次記憶装置の
入出力処理も含めた処理時間を負荷分散の指標として用
い、全ての計算機における処理時間を均一化する分配比
率を求めることにより、本発明の第1および第2の目的を
達成することができる。

【００３０】また、本発明の第1の分散並列型データ処
理装置が有する分配比率計算手段は、一定周期毎に起動
して負荷を均一化する分配比率を計算するように構成し
てもよい。さらに、本発明の第2の分散並列型データ処
理装置は、本発明の第1の分散並列型データ処理装置の
構成に加え、各計算機の負荷の偏りを検出して分配比率
計算手段を起動させる計算時間制御手段を有する。

【００３１】このような構成を採用し、定期的あるいは
各計算機の負荷に偏りが生じた時点で、負荷を均一化す
る分配比率を再計算するため、本発明の第3の目的を達
成することができる。また、本発明の第1の分散並列型
データ処理装置は、停止した計算機を検出する障害検出
手段と、各計算機に依頼した処理を保持しておく依頼処
理管理手段を有する。

【００３２】このような構成を採用し、一部の計算機が
停止した時に停止した計算機への分配比率を0に固定し
て分配比率の再計算を行い、停止した計算機を除く構成
で負荷を分散させることによって、本発明の第4の目的
を達成することができる。

【００３３】

【発明の実施の形態】次に、本発明の実施の形態につい
て図面を参照して詳細に説明する。 ［第１の実施の形態］図1を参照すると、本発明の第1の
実施の形態は、外部通信網3で接続されたn台の独立な計
算機1_1〜1_n（nは1以上の整数。nを計算機台数とす
る。）と、計算機1_1〜1_nが独立に所有する二次記憶装
置2_1〜2_nから構成される。

【００３４】各二次記憶装置は、大規模データをm×n個
（mは1以上の整数。mを粒度と呼ぶことにする。）に分
割した分割データをm個づつ分散格納している。また、
各分割データのコピーをr個（rは1以上の整数。rを冗長
度と呼ぶことにする。）作成し、同じ二次記憶装置に重
複しないように冗長格納しておく。ここでは便宜上、大
規模データをm×n個に分割して作成されたデータを原本
分割データと呼び、原本分割データをコピーして作成さ
れた分割データを、複製分割データと呼ぶこととする。

【００３５】図2を用いて分割データの分散および冗長
格納方法について説明する。まず、大規模データをmラn
個に分割し、原本分割データD11〜Dnmを作成する。次
に、原本分割データD11〜D1mを二次記憶装置2_1に格納
し、原本分割データD21〜D2mを二次記憶装置2_2に格納
する。同様に、原本分割データDi1〜Dim（iは1以上n以
下の整数）を二次記憶装置2_iに分散格納する。

【００３６】次に、分割データD11〜Dnmの複製を作成
し、複製分割データD11を二次記憶装置2_2に格納し、複
製分割データD12を二次記憶装置2_3に格納し、同様に複
製分割データD1j（jは1以上m以下の整数）を二次記憶装
置2_j+1に格納する。さらに、複製分割データD21を二次
記憶装置2_3に格納し、複製分割データD22を二次記憶装
置2_4に格納し、以下同様に、複製分割データD2jを二次
記憶装置2_j+2に格納する。同様にして、すべての複製
分割データDijを二次記憶装置2_(i+j)に冗長格納する。
ただし、添え字(i+j)がnを越えた場合、(i+j)をnで割っ
た余りを添え字とし、格納先の二次記憶装置を循環させ
るものとする。

【００３７】冗長度rが2の場合、複製分割データDijを
さらに一台づつずらして、二次記憶装置2_(i+j+1)にも
格納する。この場合も、(i+j+1)がnを越えた場合、(i+j
+1)をnで割った余りを添え字とし、循環して格納してい
く。

【００３８】一般的に、冗長度rの場合、複製されたr個
の分割データDijを二次記憶装置2_(i+j+s)（sは0以上r-
1以下の整数）にそれぞれ格納することによって、同一
の二次記憶装置に重複しないように分割データを冗長格
納できる。ただし、(i+j+s)がnを越えた場合、(i+j+s)
をnで割った余りを添え字とし、循環して格納するもの
とする。冗長度が大きい程、負荷を均一化しやすくな
り、同時に停止可能な計算機の数も増加する。

【００３９】以上のような分割データの配置によって、
ある計算機が停止した場合でも、別の計算機が処理を肩
代わりすることができる。なお、分散および冗長格納方
法は、同一の二次記憶装置に同一の分割データが重複し
ない配置を実現できるのであれば、ここで説明した方法
に限定されない。

【００４０】図1を参照すると、計算機1_i（iは1以上n
以下の整数）は、大きく受付処理部11、負荷管理部12、
データ処理部13の3つの制御部を含む。受付処理部11
は、利用者からの処理要求を受け付けて結果を応答する
制御部であり、要求受付手段111、要求分配手段112、分
割データ管理手段113、部分結果統合手段114、障害検出
手段115、依頼処理管理手段116を備えている。負荷管理
部12は、各計算機の処理時間を測定し負荷を均一化する
制御部であり、負荷監視手段121、分配比率計算手段12
2、負荷分散手段123を備えている。データ処理部13は、
受付処理部から依頼された部分処理要求を実行する制御
部であり、要求処理手段131を備えている。

【００４１】要求受付手段111は、外部通信網3を介して
利用者から処理要求を受け付け、m×n個の分割データを
対象とした部分処理を作成する。

【００４２】要求分配手段112は、負荷分散手段121によ
って指定された計算機内の要求処理手段131に、外部通
信網3を介して部分処理を依頼する。分割データ管理手
段113は、m×n個の原本分割データと、r×m×n個の複製
分割データが、それぞれどの二次記憶装置に格納されて
いるかを分割データ管理表によって管理する。例えば、
図2のように分割データが配置されている場合、分割デ
ータ管理手段113が作成する分割データ管理表は図3のよ
うになる。図3を見ると、分割データD11を所有する計算
機は、1_1,1_2,1_3であることがわかる。部分結果統合
手段114は、各計算機の要求処理手段131からm×n個の分
割データに対する部分処理の結果を収集し、統合、編集
して外部通信網3を通じて利用者に応答する。障害検出
手段115は、故障などの理由により停止した計算機の検
出を行う。依頼処理管理手段116は、各計算機に依頼し
た部分処理要求のうち、未処理の部分処理を図4に示す
ような依頼処理管理表として保存しておく。図4を見る
と、異なる処理要求Q1、Q2について、計算機1_1には分
割データD14,D1mを対象とした部分処理(Q1,D14),(Q1,D1
m)と、分割データD11を対象とした部分処理(Q2,D11)を
依頼中で結果が未返答であることがわかる。

【００４３】負荷監視手段121は、各分割データに対す
る部分処理について、二次記憶装置からの入出力処理も
含めた平均処理時間を測定する。分配比率計算手段122
は、負荷分散手段121が測定した各分割データに対する
部分処理の平均処理時間を基に、各計算機の処理時間が
均一になるような部分処理の分配比率を計算し、図5に
示すような分配比率表を作成する。図5を見ると、分割
データD11に対する部分処理は、計算機1_1, 1_2, 1_3に
それぞれ40%, 20%, 30%の比率の回数で依頼することが
わかる。負荷分散手段123は、分配比率計算手段122が計
算した分配比率を基に部分処理の分配先を決定し、要求
分配手段112に通知する。

【００４４】要求処理手段131は、要求分配手段112から
依頼された部分処理を実行し、部分処理結果を部分結果
統合手段114に返答する。

【００４５】次に、図1から図6を参照して本実施の形態
の動作について詳細に説明する。利用者は、検索や集計
などの処理要求を、外部通信網3を通じて任意の計算機1
_a（aは1以上n以下の整数）の要求受付手段111に送信す
る（図6のステップS11）。要求受付手段111は、受け付
けた処理要求について、処理対象となる分割データを指
定したm×n個の部分処理を作成し、負荷分散手段123に
渡す（図6のステップS12）。負荷分散手段123は、すべ
ての部分処理について、分配比率計算手段122によって
あらかじめ作成された分配比率表を参照して依頼先の計
算機を決定し、要求分配手段112に渡す。要求分配手段1
12は、外部通信網3を通じて、指定された依頼先の計算
機の要求処理手段131に部分処理を依頼する（図6のステ
ップS13、S14）。

【００４６】同時に、依頼処理管理手段116が、依頼し
た部分処理を依頼処理管理表に登録する。

【００４７】依頼先の計算機の要求処理手段131は、依
頼された部分処理を実行する。依頼先の計算機の要求処
理手段131が別の部分処理を処理中である場合は、待ち
行列につないでおき、順次処理を行っていく。あるい
は、要求処理手段131が複数の部分処理を同時に並行に
処理してもよい。

【００４８】次に、部分処理を依頼された計算機は、要
求処理手段131によって得られた部分処理の結果を、外
部通信網3を通じて依頼元の計算機1_a内の部分結果統合
手段114に返答する（図6のステップS15）。また、該部
分処理に要した処理時間を、依頼元の計算機1_a内の負
荷監視手段121に送信する。同時に、計算機1_a内の依頼
処理管理手段116が、返答された部分処理を依頼処理管
理表から削除する。計算機1_aの部分結果統合手段114
は、部分処理の結果を受け付けて保持しておき、m×n個
の分割データに対する部分結果がすべてそろった時点で
統合・編集し、外部通信網3を介して利用者に応答する
（図6のステップS16、S17）。

【００４９】ここでは、利用者からの処理要求が返答さ
れるまでの流れを、逐次処理的に説明したが、図6の各
ステップを非同期で並列に行うことによって、各計算機
の遊休時間を削減でき、より並列化の効率を向上させる
ことが可能である。

【００５０】次に、分配比率計算手段122が、負荷を均
一化させるために部分処理の分配比率を計算する方法に
ついて図7を用いて説明する。

【００５１】任意の分割データDij（iは1以上n以下の整
数。jは1以上m以下の整数）に対する部分処理の平均処
理時間をT(Dij)と記述することにする。また、分割デー
タDijについて、計算機1_k（kは1以上n以下の整数）に
部分処理を依頼する回数の割合をd(Dij,1_k)と記述する
ことにする。ここで、ある計算機1_kに格納されている
分割データが、D11、D12、D13のみであったとすると、
計算機1_kの平均処理時間E(1_k)は、近似的に E(1_k)=T(D11)ラd(D11,1_k)+T(D12)ラd(D12,1_k)+T(D13)ラ
d(D13,1_k) と計算できる。

【００５２】分配比率計算手段122は、負荷監視手段121
が測定した個々の分割データに対する部分処理の処理時
間と、分割データ管理手段113が保持する分割データ管
理表を基に、一定期間ごとに上記の計算方法によって、
各計算機の平均処理時間を計算する（図7のステップS2
1）。次に、平均処理時間が最大の計算機1_e（eは1以上
n以下の整数）を特定し（図7のステップS23）、計算機1
_eに格納されているのと同一の分割データを所有する計
算機のうち、平均処理時間が最小の計算機1_fを特定す
る（図7のステップS24）。さらに、計算機1_eと1_fが共
通して所有する分割データの分配比率について、計算機
1_eに依頼する回数の比率を下げ、計算機1_fに依頼する
比率を上げる（図7のステップS25）。再び各計算機の平
均処理時間を計算し（図7のステップS21）、平均処理時
間が均一になっていれば終了し、均一でなければ分配比
率の変更を繰り返す（図7のステップS22）。これによっ
て、各計算機の平均処理時間を均一化できる分配比率を
計算することが可能である。

【００５３】ここでは、図7のステップS22で、平均処理
時間が均一になるまで繰り返すとしたが、各計算機の処
理時間の平均値の変化が定常状態になった時点で計算を
打ち切っても良い。また、あらかじめ繰り返し回数を決
めておき途中で計算を打ち切るなどの方法も考えられ
る。

【００５４】次に、図8を参照して、一部の計算機また
は二次記憶装置に故障などの障害が発生した場合の動作
について説明する。

【００５５】ある瞬間に、故障などの予期しない理由に
よって計算機1_h（hは1以上n以下の整数）が停止してし
まったとする。障害検出手段115は、計算機1_hが停止し
たことを検出して分配比率計算手段122に知らせ、割り
込み処理を起動する（図8のステップS31）。障害検出の
方法としては、各計算機と定期的に外部通信網3を介し
て小さなデータ交換を行い、データ交換が不能になった
時にその計算機に障害が起きたものと判断する方法があ
る。あるいは、ハードウェアで専用の故障診断機構を取
り入れる方法もある。

【００５６】障害時の割り込み処理を起動された分配比
率計算手段122は、計算機1_hへの分配比率を0に固定し
て、図7に示す方法に従って分配比率を再計算する（図8
のステップS32およびS33）。次に、依頼処理管理手段11
6が保持している依頼処理管理表を参照して、計算機1_h
に依頼後結果が未返答な部分処理を負荷分散手段123に
渡し、停止していない計算機に再分配する（図8のステ
ップS34）。

【００５７】これ以降、入力される処理要求についての
部分処理は、計算機1_hへの分配比率が0になっているの
で、計算機1_hに依頼されることはない。計算機1_hが回
復した場合は、計算機1_hへの分配比率を適当に与えて
から分配比率計算手段122によって分配比率を再々計算
することによって、計算機1_hを含んだ構成で負荷の均
一化を行うことができる。

【００５８】次に、本実施の形態の効果について説明す
る。

【００５９】本実施の形態では、複数の異なる計算機間
で同一な分割データを所有し、部分処理の分配比率を変
化させることによって、平均処理時間の長い計算機への
部分処理の依頼回数を減らし、平均処理時間の短い計算
機への部分処理の依頼回数を増やしている。そのため、
各計算機で読み出すデータ量が異なる処理であっても、
各計算機の全体の処理時間を均一化することが可能であ
り、システム全体のスループットを最大化できる。

【００６０】本実施の形態の第2の効果は、分配比率の
計算には各分割データに対する部分処理の平均処理時間
を用いているために、二次記憶装置の入出力処理の時間
を反映した負荷の均一化が可能なことである。

【００６１】本実施の形態の第3の効果は、一定期間毎
に分配比率計算手段が各計算機の処理時間を均一化する
ように分配比率を計算するために、ある時点で各データ
へのアクセス頻度の分布が変化しても、柔軟に対応でき
ることである。

【００６２】本実施の形態の第4の効果は、障害発生時
において停止した計算機を除く構成で分配比率の再計算
を行い、停止した計算機から未返答の部分処理を他の計
算機に再分配するため、予期しない理由による障害が発
生した場合でも無停止でサービスを継続でき、しかも、
停止した計算機の肩代わり負荷も均一化して障害発生時
の性能低下を防ぐことができることである。

【００６３】［第２の実施の形態］次に、本発明の第2
の実施の形態について図面を参照して詳細に説明する。

【００６４】図17を参照すると、本発明の第2の実施の
形態は、計算機1_1〜1_n（nは1以上n以下の整数）が有
する負荷管理部12が、負荷監視手段121、分配比率計算
手段122、負荷分散手段123の構成に加え、計算時間制御
手段124を有する点で異なる。

【００６５】計算時間制御手段124は、各計算機に依頼
後未返答の部分処理の数を計数し、その偏りが大きくな
ると、分配比率計算手段122を起動する。本実施の形態
の動作を図面を参照して詳細に説明する。

【００６６】二次記憶装置2_1〜2_nへの分割データの格
納方法および、計算機1_1〜1_nの受付処理部11が含む要
求受付手段111、要求分配手段112、分割データ管理手段
113、部分結果統合手段114、障害検出手段115、依頼処
理管理手段116、およびデータ処理部13が含む要求処理
手段131、および負荷管理部12内の負荷監視手段121、負
荷分散手段123の動作は、第1の実施の形態の各手段の動
作と同一のため、説明は省略する。

【００６７】第1の実施の形態では、分配比率計算手段1
22は、あらかじめ指定された一定の時間間隔で起動さ
れ、各計算機の負荷を均一化する分配比率を計算してい
た。本実施の形態では、各計算機に依頼後未返答の部分
処理の数の偏りが大きくなると、分配比率計算手段122
を起動して分配比率を再計算する。

【００６８】図18を参照すると、計算時間制御手段124
は、負荷分散手段123が部分処理の依頼先を決定するた
びに起動され、依頼処理管理手段116が保持している依
頼処理管理表を参照して、各計算機に依頼後未返答の部
分処理の数を計数する（図18のS41）。次に、計算時間
制御手段124は、各計算機が持っている未返答の部分処
理の偏りVを計算する（図18のS42）。ここで偏りVと
は、全計算機の未返答の部分処理の数うち、最大値Umax
と最小値Uminの比Umax/Uminと定義する。この偏りV=Uma
x/Uminが、あらかじめ定めておいた閾値を越えると、分
配比率計算手段122を起動し、分配比率を再計算して補
正する。

【００６９】なお、ここでは偏りVを未返答の部分処理
数の最大値と最小値の比としたが、他にも、平均値と最
大値の比や、各計算機における分散などを用いてもよ
い。

【００７０】次に、本実施の形態の効果について説明す
る。

【００７１】本実施の形態では、計算時間制御手段124
が各計算機に依頼後未返答の部分処理の数の偏りが大き
くなると、分配比率計算手段122を起動して、分配比率
を再計算する。これにより、各分割データに対する平均
処理時間が突然変わり、負荷の均衡が破れても、柔軟に
対応することができる。

【００７２】［第３の実施の形態］次に、本発明の第3
の実施の形態について図面を参照して詳細に説明する。
図20を参照すると、本発明の第3の実施の形態は、本発
明の第1および第2の実施の形態と同様に、計算機1_1〜1
_n、二次記憶装置2_1〜2_n、外部通信網3を備え、さら
に、制御プログラムを記録した記録媒体4を備える。こ
の記録媒体4は磁気ディスク、半導体メモリ、CD-ROMそ
の他の記録媒体であってよい。

【００７３】制御プログラムは記録媒体4から計算機1_1
に読み込まれ、さらに外部通信網3を通じて計算機1_2〜
1_nに読み込まれる。また、制御プログラムは計算機1_1
〜1_nの動作を制御し、二次記憶装置2_1〜2_nに分割デ
ータを分散冗長格納する。計算機1_1〜1_nは、制御プロ
グラムの制御により、第1および第2の実施の形態におけ
る計算機1_1〜1_nによる処理と同一の処理を実行する。

【００７４】

【実施例】次に、具体的な実施例を用いて本発明の第一
の実施の形態の動作を説明する。ここでは、第一の実施
の形態を用いた構成例として、大規模な文書群からキー
ワードなどの条件に一致した文書群を応答する全文検索
システムを挙げる。

【００７５】図9に本実施の形態を用いて構成した全文
検索システムを示す。図9を参照すると本実施例は、そ
れぞれローカルな二次記憶装置を所有した計算機とし
て、汎用のパーソナル・コンピュータP1_1,P1_2,P1_3
と、それをつなぐ外部通信網としてEthernetから構成さ
れている。ここでは、計算機の台数n=3の場合について
説明する。

【００７６】パーソナル・コンピュータ1_1〜1_3は受付
処理部11、負荷管理部12、データ処理部13の3つの制御
部として機能する中央演算装置と、二次記憶装置として
ハードディスクを備えている。また、受付処理部11は要
求受付手段111、要求分配手段112、分割データ管理手段
113、部分結果統合手段114、障害検出手段115、依頼処
理管理手段116の機能を備え、負荷管理部12は負荷監視
手段121、分配比率計算手段122、負荷分散手段123の機
能を備え、データ処理部13は要求処理手段131の機能を
備えている。

【００７７】図10を用いて、ハードディスクへの分割デ
ータの分散および冗長格納方法について、粒度m=2、冗
長度r=1の場合について説明する。また、この例では、
検索対象文書として、6万件の大規模文書群があるもの
とする。検索対象文書にはそれぞれID00001〜ID60000の
文書番号を付与してある。

【００７８】まず、6万件の大規模文書群を、10000件ず
つmラn=2ラ3=6個に分割する。ここでは、分割文書群D11に
はID00001〜ID10000の文書が含まれ、分割文書群D12に
はID10001〜ID20000の文書が含まれている。以下同様に
分割文書群Dij（iは1以上3以下の整数。jは1以上2以下
の整数。）にはID((k-1)ラ10000+1)〜ID(kラ10000)(ただ
しk=(i-1)*2+j)の文書が含まれている。ここでは、文書
数を基準に分割したが、他にも文書容量を基準にして分
割を行うなどの方法がある。

【００７９】この、分割文書群D11〜D32を分散格納し、
各分割文書群に対して線形探索による検索を行ってもよ
いが、通常は検索速度を向上させるために、あらかじめ
各文書群からインデックスを作成しておくことが一般的
である。ここで、インデックスとは、文書群中に出現す
る全ての単語について、それが出現する文書番号の一覧
を作成したファイルのことである。このインデックスフ
ァイルを用いることによって、検索時にすべての文書群
を読み出すことなく、指定された単語が出現する文書群
の一覧を得ることができる。

【００８０】図10では、分割文書群D11から分割インデ
ックスX11が作成され、分割文書群D12から分割インデッ
クスX12が作成されている。以下、同様に分割文書群Dij
（iは1以上3以下の整数。jは1以上2以下の整数。）か
ら、分割インデックスXijが作成される。ここで作成し
た分割インデックスを、原本分割インデックスとする。

【００８１】ここで、原本分割インデックスXi1〜Xim
（iは1以上3以下の整数）がハードディスク2_iに格納さ
れる。具体的には、原本分割インデックスX11,X12をハ
ードディスクP2_1に格納し、原本分割インデックスX21,
X22をハードディスクP2_2に格納し、原本分割インデッ
クスX31,X32をハードディスクP2_3に格納する。さら
に、各分割インデックスのコピーをr=1個づつ作成し、
複製分割インデックスDij（iは1以上3以下の整数。jは1
以上2以下の整数。）を循環させながらハードディスクP
2_(i+j)に冗長格納する。具体的には、複製分割インデ
ックスX11はハードディスクP2_2に、複製分割インデッ
クスX12はハードディスクP2_3に、複製分割インデック
スX21はハードディスクP2_3に格納されている。さら
に、複製分割インデックスX22とX31はハードディスクP2
_4ではなく、添え字を3で割った余りとしてハードディ
スクP2_1に循環して格納し、複製分割インデックスX32
は同様にハードディスクP2_2に循環して格納している。

【００８２】この時、パーソナル・コンピュータ1_1〜1
_3の中央演算装置が含む分割データ管理手段は、図11に
示すような分割データ管理表を作成する。

【００８３】また、パーソナル・コンピュータ1_1〜1_3
の中央演算装置が有する分配比率計算手段によって、分
割インデックスへの部分処理の分配比率が図12(a)のよ
うに求まっているものとする。

【００８４】次に、正常時の動作について説明する。あ
る時点で、Ethernetを通じて利用者から検索処理の要求
が、パーソナル・コンピュータP1_3に送信されたとす
る。パーソナル・コンピュータP1_3の中央演算装置が有
する要求受付手段は、この検索要求を受け取って分割イ
ンデックスX11〜X32を検索対象とする6つの部分処理を
作成する。

【００８５】次に、パーソナル・コンピュータP1_3の中
央演算装置が有する負荷分散手段が、6つの部分処理の
依頼先を決定する。負荷分散手段が部分処理の依頼先を
決定する方法の一例を図12(b)を用いて示す。図12(b)を
参照すると、負荷分散手段は、あらかじめ分割インデッ
クスX11〜X32に対し、それぞれ長さ100の配列を用意
し、分配比率計算手段が求めた分配比率に従って塗り分
けを行っておく。例えば、分割インデックスX11は、パ
ーソナル・コンピュータP1_1とP1_2にそれぞれ40％, 60
%の比率で部分処理を依頼するため、長さ100の配列の初
めの40要素にはパーソナル・コンピュータP1_1を示す番
号を代入し、残りの60要素にはパーソナル・コンピュー
タP1_2を示す番号を代入しておく。部分処理の依頼先を
決定する場合、まず1から100までの乱数xを発生し、配
列のx番目の要素を参照すれば、分配比率に従って依頼
先のパーソナル・コンピュータを決定できる。

【００８６】なお、負荷分散手段が分配比率に従って部
分処理の依頼先を決定する方法としては、あらかじめ分
配比率を満たすように各パーソナル・コンピュータへの
依頼順序を定めておき、それに従う方法などがあり、こ
こに挙げた方法に限定されない。

【００８７】仮に、パーソナル・コンピュータ1_3の中
央演算装置が有する負荷分散手段が、検索条件Q1につい
て分割インデックスX22を検索対象とする部分処理(Q1,X
22)を、パーソナル・コンピュータ1_2に依頼することに
決定したとする。依頼先が決定された部分処理(Q1, X2
2)は、パーソナル・コンピュータP1_3の中央演算装置が
有する要求分配手段によって、Ethernetを通じて指定さ
れたパーソナル・コンピュータP1_2の中央演算装置が有
する要求処理手段に依頼される。同時に、パーソナル・
コンピュータP1_3の中央演算装置が有する依頼処理管理
手段が、部分処理(Q1,X22)をどのパーソナル・コンピュ
ータに依頼したかを依頼処理管理表に記録する。ある時
点での、依頼処理管理表の一例を図13に示す。

【００８８】部分処理(Q1,X22)を依頼されたパーソナル
・コンピュータP1_2は、中央演算装置が有する要求処理
手段によって検索対象の分割インデックスX22を検索し
て、検索条件Q1を満たす文書群の一覧を得る。これを部
分結果とし、Ethernetを介して依頼元であるパーソナル
・コンピュータP1_3の中央演算装置が有する部分結果統
合手段に送信する。また、部分処理(Q1,X22)を実行する
のに要した処理時間を、依頼元であるパーソナル・コン
ピュータP1_3の中央演算装置が有する負荷監視手段に送
信する。同時にパーソナル・コンピュータP1_3の中央演
算装置が有する依頼処理管理手段は、図13の依頼処理管
理表から、部分処理(Q1, X22)を削除する。

【００８９】一方、パーソナル・コンピュータP1_3の中
央演算装置が有する部分結果統合手段は、検索条件Q1に
ついて分割インデックスX11〜X32を対象としたすべての
部分処理の結果がそろった時点で、結果を統合し、キー
ワードの出現頻度などを基準にして文書の順序を並べ替
え、利用者に応答する。

【００９０】ここで、パーソナル・コンピュータP1_3の
中央演算装置が有する分配比率計算手段が、負荷を均一
化させるために部分処理の分配比率を計算する方法につ
いて、具体例を示して説明する。

【００９１】ある一定期間において、パーソナル・コン
ピュータP1_3の中央演算装置が有する負荷監視手段が測
定した、各分割インデックスに対する平均処理時間が図
14のようになったとする。また、この時点での分配比率
が図12(a)に示す値だった場合、パーソナル・コンピュ
ータP1_1〜P1_3の平均処理時間は図15のようにして求め
ることができる。例えば、パーソナル・コンピュータP1
_1の平均処理時間E(P1_1)は、 E(P1_1)=T(X11)ラd(X11,P1_1)+T(X12)ラd(X12,P1_1)+T(X2
2)ラd(X22,P1_1)+T(X31)ラd(X31,P1_1) = 100×0.4＋200×0.8＋100×0.5＋400×0.5 = 450 として計算している。

【００９２】図15を見ると、パーソナル・コンピュータ
1_3の平均処理時間が最も長いことがわかる。また、図1
1に示す分割データ管理表を参照すると、パーソナル・
コンピュータP1_3と同一の分割インデックスを所有し、
最も平均処理時間が短いのはパーソナル・コンピュータ
P1_2であることがわかる。

【００９３】そこで、パーソナル・コンピュータP1_3と
P1_2が共通して所有している分割インデックスX21につ
いて、パーソナル・コンピュータP1_3に分配する比率を
下げ、パーソナル・コンピュータP1_2に分配する比率を
上げる。ここでは、新たにP1_2:P1_3 = 50:50にしたと
する。

【００９４】新しい分配比率を用いて、各パーソナル・
コンピュータP1_1〜P1_3の平均処理時間を再計算する
と、それぞれ450, 350, 400となる。今度はパーソナル
・コンピュータP1_1の平均処理時間が最大であり、平均
処理時間が最小のパーソナル・コンピュータP1_2と、分
割インデックスX14を共通に所有している。

【００９５】そこで、新たに分割インデックスX14に対
し、パーソナル・コンピュータP1_1への分配比率を下
げ、パーソナル・コンピュータP1_2への分配比率を上げ
る。例えば、新たにP1_2:P1_1 = 100:0とすると、各パ
ーソナル・コンピュータ1_1〜1_3の平均処理時間はすべ
て400になり、以後の平均処理時間を均一化できる。

【００９６】なお、ここではヒューリスティックに分配
比率を変化させる方法を説明したが、分配比率を変化さ
せる単位を決めておき、単位ごとに徐々に分配比率を変
化させ、再計算を繰り返しながら自動的に収束させる方
法や、負荷が均一化された時の平均処理時間を目標値と
して、最大処理時間が目標値に一致するように分配比率
を変化させることを繰り返して自動的に分配比率を計算
するなどの方法もある。

【００９７】次に、一部のパーソナル・コンピュータが
停止した場合の動作について、具体例を用いて説明す
る。

【００９８】通常、パーソナル・コンピュータP1_1〜P1
_3の中央演算装置が含んでいる障害検出手段は、お互い
に定期的に微少データをやりとりし、相手が正常に動作
しているか確認している。ある時点で、パーソナル・コ
ンピュータP1_1に予期しない障害が発生し停止してしま
うと、パーソナル・コンピュータP1_1からの返答がなく
なるため、パーソナル・コンピュータP1_2、P1_3の中央
演算装置が有する障害検出手段は、障害を検出できる。
この時、パーソナル・コンピュータP1_2、P1_3の両方と
も、障害時の割り込み処理を行うが、ここでは、パーソ
ナル・コンピュータP1_3に注目して説明する。

【００９９】パーソナル・コンピュータP1_3の中央演算
装置が有する障害検出手段は、パーソナル・コンピュー
タP1_1が停止したと判断すると、パーソナル・コンピュ
ータP1_3の中央演算装置が有する分配比率計算手段に知
らせる。分配比率計算手段は、パーソナル・コンピュー
タP1_1への部分処理の分配比率を0にする。すると、分
配比率は図16のようになる。

【０１００】このままでは、パーソナル・コンピュータ
P1_2とパーソナル・コンピュータP1_3の処理時間に偏り
ができてしまうため、分配比率計算手段は分配比率の再
計算を行う。再計算の方法は、パーソナル・コンピュー
タ1_1への部分処理の分配比率を0に固定して行うことの
他は、前述の正常時の計算方法と同じである。

【０１０１】各分割インデックスの平均処理時間が図14
のようになっている場合、図16の分配比率では、パーソ
ナル・コンピュータP1_2, P1_3の平均処理時間E(P1_2),
E(P1_3)は、それぞれ以下のように計算できる。 E(P1_2)= T(X21)ラd(X21,P1_2)+T(X22)ラd(X22,P1_2)+T(X
11)ラd(X11,P1_2)+T(X32)ラd(X32,P1_2) = 300×0.5＋100×1＋100×1＋100×0.1 = 360 E(P1_3)= T(X31)ラd(X31,P1_2)+T(X32)ラd(X32,P1_2)+T(X
12)ラd(X12,P1_2)+T(X21)ラd(X21,P1_2) = 400×1＋100×0.9＋200×1＋300×0.5 = 840

【０１０２】そこで、パーソナル・コンピュータP1_2、
P1_3が共通に所有している分割インデックスX21につい
て、パーソナル・コンピュータP1_2に分配する比率を上
げてパーソナル・コンピュータP1_3に分配する比率を下
げる。新たにP1_2:P1_3 = 100:0にすると、E(P1_2) = 5
10、E(P1_3) = 690となる。これでもまだ偏りは残って
いるが、さらにパーソナル・コンピュータP1_2、P1_3が
共通に所有している分割インデックスX32について、分
配比率を新たにP1_3:P1_2 = 0:100に変更すると、E(P1_
2) = E(P1_3) = 600となり、障害発生時の肩代わり負荷
も、均一化できる。

【０１０３】次に、パーソナル・コンピュータP1_3の中
央演算装置は、パーソナル・コンピュータP1_1に依頼
後、結果が未返答の部分処理を、依頼処理管理手段が作
成した依頼処理管理表を参照して負荷分散手段に渡し、
新しい分配比率に従って再分配を行う。

【０１０４】次に第2の実施例を、図面を参照して説明
する。かかる実施例は、第2の実施の形態に対応するも
のである。

【０１０５】本実施例は、第1の実施例と構成を同じと
するが、パーソナル・コンピュータP1_1〜P1_3が、分配
比率計算手段の起動のタイミングを決定する起動時間制
御手段としても機能する点で第1の実施例と異なる。

【０１０６】分割データの格納方法、正常時の動作、分
配比率の計算方法および一部のパーソナル・コンピュー
タが停止した状態の動作は、第1の実施例と同一である
ため、ここでは省略する。

【０１０７】パーソナル・コンピュータP1_1の中央演算
装置が含む起動時間制御手段が、分配比率計算手段を起
動させるタイミングを決定する方法について説明する。
ここでは、未返答の部分処理の偏りVを、最大値Umaxと
最小値Uminの比Umax/Uminと定義し、分配比率計算手段
を起動させる条件として、偏りVの閾値を3とする。

【０１０８】ある時点において、パーソナル・コンピュ
ータP1_1の中央演算装置が含む計算時間制御手段が、各
計算機へ依頼後未返答の部分処理の数を計数したとこ
ろ、図19(a)のようになったとする。この時、未返答の
部分処理の数の最大値Umaxが7、最小値Uminが4であるの
で、偏りV=Umax/Umin=1.75である。これは、閾値3より
も小さいため、負荷は均一化されているものと判断し、
分配比率計算手段は起動せずに続行する。

【０１０９】次に、別の時点で、パーソナル・コンピュ
ータP1_1の中央演算装置が含む計算時間制御手段が、各
計算機へ依頼後未返答の部分処理の数を計数したとこ
ろ、図19(b)のようになったとする。この時、未返答の
部分処理の数の最大値Umaxが10、最小値Uminが2である
ので、偏りV=Umax/Umin=5である。これは、閾値3よりも
大きいため、各分割データに対する平均処理時間の変化
などから、負荷の均衡が崩れてしまったと判断し、パー
ソナル・コンピュータP1_1の中央演算装置が含む分配比
率計算手段を起動し、分配比率を再計算して補正する。

【０１１０】

【発明の効果】第1の効果は、二次記憶装置からの入出
力処理を反映した負荷の均一化が可能なことである。そ
の理由は、二次記憶装置からの入出力処理を含む部分処
理の平均処理時間を用いて、処理時間を均一化させる分
配比率を求めているからである。

【０１１１】第2の効果は、各計算機で読み出すデータ
量や処理量が異なる処理であっても、各計算機の処理時
間を均一化し、システム全体のスループットを最大化で
きることである。その理由は、異なる計算機間で複数の
同一な分割データを分散および冗長格納しておき、平均
処理時間の長い計算機への部分処理の依頼回数を減ら
し、平均処理時間の短い計算機への部分処理の依頼回数
を増やすことによって処理を肩代わりさせ、各計算機の
全体の処理時間を均一化させるためである。

【０１１２】第3の効果は、各データに対するアクセス
頻度の分布が変化しても、柔軟に各計算機の全体の処理
時間を均一化できることである。その理由は、定期的あ
るいは各計算機の負荷に偏りが生じた時点で、負荷を均
一化する分配比率を再計算するためである。

【０１１３】第4の効果は、障害や保守などの理由で一
部の計算機が停止した状態でもサービスの継続が可能で
あり、しかも大幅な性能低下を防ぐことである。その理
由は、障害発生時において停止した計算機を除く構成で
分配比率の再計算を行い、停止した計算機から未返答の
部分処理を他の計算機に再分配するためである。

【図面の簡単な説明】

【図１】本発明の第一の実施の形態の構成概要図

【図２】分割データの作成方法と分散および冗長格納方
法を示す概要図

【図３】分割データ管理手段が作成する分割データ管理
表の例

【図４】依頼処理管理手段が作成する依頼処理管理表の
例

【図５】分配比率計算手段が計算した分配比率の例

【図６】本発明の第一の実施の形態の動作を示すフロー
チャート

【図７】分配比率計算手段が分配比率を計算する手順を
示すフローチャート

【図８】本発明の第一の実施の形態において、障害が発
生時の動作を示すフローチャート

【図９】本発明の第一の実施例の構成概要図

【図１０】本発明の第一の実施例における分割データの
格納方法を示す概要図

【図１１】本発明の第一の実施例における分割データ管
理表

【図１２】本発明の第一の実施例における分配比率と、
分配方法の例

【図１３】本発明の第一の実施例における依頼処理管理
表

【図１４】本発明の第一の実施例において、負荷監視手
段が測定した各分割インデックスの処理時間

【図１５】本発明の第一の実施例における各計算機の処
理時間の計算方法の説明図

【図１６】本発明の第一の実施例における障害発生時の
分配比率再計算を説明する図

【図１７】本発明の第二の実施の形態の構成概要図

【図１８】本発明の第二の実施の形態の動作を示すフロ
ーチャート

【図１９】本発明の第二の実施例における依頼処理管理
表

【図２０】本発明の第三の実施の形態の構成概要図

【符号の説明】

1_1〜1_n 計算機 2_1〜2_n 二次記憶装置 3 外部通信網 4 記録媒体 11 受付処理部 12 負荷管理部 13 データ処理部 111 要求受付手段 112 求分配手段 113 分割データ管理手段 114 部分結果統合手段 115 障害検出手段 116 依頼処理管理手段 121 負荷監視手段 122 分配比率計算手段 123 負荷分散手段 124 計算時間制御手段 131 要求処理手段 D11〜Dnm 分割データ X11〜X32 分割インデックス

Claims (14)

【特許請求の範囲】
1. 【請求項１】検索対象となるデータを分割した分割デー
   タを複数以上の計算機に備える二次記憶装置に分散格納
   し、かつ前記分割データの複製を作成して重複しないよ
   うに該二次記憶装置に冗長格納しておき、 計算機の負荷状況または該計算機の障害状況のどちらか
   一方もしくは両方を勘案して各分割データに対する部分
   処理を行う計算機を決定することを特徴とする分散並列
   型データ処理装置。
2. 【請求項２】検索対象となるデータを分割した分割デー
   タを分散格納した二次記憶装置に対して検索処理を行う
   分散並列型データ処理装置であって、 前記分割データに対する処理時間を測定した結果を基に
   前記二次記憶装置を管理する計算機の負荷を均一化可能
   な分配比率を求め、 この求めた分配比率を基に各分割データに対する部分処
   理を行う計算機を決定し、この決定に応じて該当する計
   算機に対して該部分処理要求を送信することを特徴とす
   る分散並列型データ処理装置。
3. 【請求項３】検索対象となるデータを分割した分割デー
   タを分散格納した二次記憶装置に対して検索処理を行う
   分散並列型データ処理装置であって、 利用者からの処理要求を受け付け、対象となる分割デー
   タを指定した複数の部分処理を作成する要求受付手段
   と、 指定された計算機に部分処理を送信する要求分配手段
   と、 各分割データの格納先を保持する分割データ管理手段
   と、 前記分割データに対する部分処理の結果を収集、統合、
   編集して利用者に応答する部分結果統合手段と、 各分割データに対する処理時間を測定する負荷監視手段
   と、 前記負荷監視手段が測定した各分割データに対する処理
   時間を基に、あらかじめ各計算機の負荷を均一化可能な
   分配比率を求める分配比率計算手段と、 前記計算された分配比率を基に、各分割データに対する
   部分処理を分配する計算機を決定し前記要求分配手段に
   指定する負荷分散手段と、 前記二次記憶装置に格納された分割データに対して部分
   処理を行う要求処理手段と、を備えることを特徴とする
   分散並列型データ処理装置。
4. 【請求項４】検索対象となるデータを分割した分割デー
   タを分散格納した二次記憶装置に対して検索処理を行う
   分散並列型データ処理装置であって、 利用者からの処理要求を受け付け、対象となる分割デー
   タを指定した複数の部分処理を作成する要求受付手段
   と、 指定された計算機に部分処理を送信する要求分配手段
   と、 各分割データの格納先を保持する分割データ管理手段
   と、 前記分割データに対する部分処理の結果を収集、統合、
   編集して利用者に応答する部分結果統合手段と、 停止した計算機を自動的に検出する障害検出手段と、 他の計算機に依頼した部分処理を保持しておき、障害発
   生時に停止した計算機から未返答の部分処理を再分配す
   る依頼処理管理手段と、 各分割データに対する処理時間を測定する負荷監視手段
   と、 前記負荷監視手段が測定した各分割データに対する処理
   時間を基に、障害発生時に停止した計算機への分配比率
   を0にして再計算を行う分配比率計算手段と、 あらかじめ計算された分配比率を基に、各分割データに
   対する部分処理を分配する計算機を決定し、前記要求分
   配手段に指定する負荷分散手段と、 前記二次記憶装置に格納された分割データに対して部分
   処理を行う要求処理手段と、を備えることを特徴とする
   分散並列型データ処理装置。
5. 【請求項５】検索対象となるデータを分割した分割デー
   タを分散格納した二次記憶装置に対して検索処理を行う
   分散並列型データ処理装置であって、 利用者からの処理要求を受け付け、対象となる分割デー
   タを指定した複数の部分処理を作成する要求受付手段
   と、 指定された計算機に部分処理を送信する要求分配手段
   と、 各分割データの格納先を保持する分割データ管理手段
   と、 前記分割データに対する部分処理の結果を収集、統合、
   編集して利用者に応答する部分結果統合手段と、 各分割データに対する処理時間を測定する負荷監視手段
   と、 前記負荷監視手段が測定した各分割データに対する処理
   時間を基に、あらかじめ各計算機の負荷を均一化可能な
   分配比率を求める分配比率計算手段と、 あらかじめ計算された分配比率を基に、各分割データに
   対する部分処理を分配する計算機を決定し、要求分配手
   段に指定する負荷分散手段と、 各計算機に依頼後未返答の部分処理の数の偏りが大きく
   なると、分配比率計算手段を起動させる計算時間制御手
   段と、 前記二次記憶装置に格納された分割データに対して部分
   処理を行う要求処理手段と、を備えることを特徴とする
   分散並列型データ処理装置。
6. 【請求項６】検索対象となるデータを分割した分割デー
   タを分散格納した二次記憶装置に対して検索処理を行う
   分散並列型データ処理装置であって、 利用者からの処理要求を受け付け、対象となる分割デー
   タを指定した複数の部分処理を作成する要求受付手段
   と、 指定された計算機に部分処理を送信する要求分配手段
   と、 各分割データの格納先を保持する分割データ管理手段
   と、 前記分割データに対する部分処理の結果を収集、統合、
   編集して利用者に応答する部分結果統合手段と、 停止した計算機を自動的に検出する障害検出手段と、 他の計算機に依頼した部分処理を保持しておき、障害発
   生時に停止した計算機から未返答の部分処理を再分配す
   る依頼処理管理手段と、 各分割データに対する処理時間を測定する負荷監視手段
   と、 前記負荷監視手段が測定した各分割データに対する処理
   時間を基に、障害発生時に停止した計算機への分配比率
   を0にして再計算を行う分配比率計算手段と、 あらかじめ計算された分配比率を基に、各分割データに
   対する部分処理を分配する計算機を決定し、要求分配手
   段に指定する負荷分散手段と、 各計算機に依頼後未返答の部分処理の数の偏りが大きく
   なると、分配比率計算手段を起動させる計算時間制御手
   段と、 前記二次記憶装置に格納された分割データに対して部分
   処理を行う要求処理手段と、を備えることを特徴とする
   分散並列型データ処理装置。
7. 【請求項７】検索対象となるデータを分割した分割デー
   タを分散格納した二次記憶装置に対して計算機を用いて
   検索処理を行うための分散並列型データ処理プログラム
   を記録した記録媒体であって、 コンピュータに、 利用者からの処理要求を受け付け、対象となる分割デー
   タを指定した複数の部分処理を作成する要求受付機能
   と、 指定された計算機に部分処理を送信する要求分配機能
   と、 各分割データの格納先を保持する分割データ管理機能
   と、 前記分割データに対する部分処理の結果を収集、統合、
   編集して利用者に応答する部分結果統合機能と、 各分割データに対する処理時間を測定する負荷監視機能
   と、 前記負荷監視機能によって測定された各分割データに対
   する処理時間を基に、あらかじめ各計算機の負荷を均一
   化可能な分配比率を求める分配比率計算機能と、 前記計算された分配比率を基に、各分割データに対する
   部分処理を分配する計算機を決定し前記要求分配機能に
   指定する負荷分散機能と、 前記二次記憶装置に格納された分割データに対して部分
   処理を行う要求処理機能と、を実現することを特徴とす
   る分散並列型データ処理プログラムを記録した記録媒
   体。
8. 【請求項８】検索対象となるデータを分割した分割デー
   タを分散格納した二次記憶装置に対して計算機を用いて
   検索処理を行うための分散並列型データ処理プログラム
   を記録した記録媒体であって、 コンピュータに、 利用者からの処理要求を受け付け、対象となる分割デー
   タを指定した複数の部分処理を作成する要求受付機能
   と、 指定された計算機に部分処理を送信する要求分配機能
   と、 各分割データの格納先を保持する分割データ管理機能
   と、 前記分割データに対する部分処理の結果を収集、統合、
   編集して利用者に応答する部分結果統合機能と、 停止した計算機を自動的に検出する障害検出機能と、 他の計算機に依頼した部分処理を保持しておき、障害発
   生時に停止した計算機から未返答の部分処理を再分配す
   る依頼処理管理機能と、 各分割データに対する処理時間を測定する負荷監視機能
   と、 前記負荷監視機能によって測定された各分割データに対
   する処理時間を基に、障害発生時に停止した計算機への
   分配比率を0にして再計算を行う分配比率計算機能と、 あらかじめ計算された分配比率を基に、各分割データに
   対する部分処理を分配する計算機を決定し、前記要求分
   配機能に指定する負荷分散機能手段と、 前記二次記憶装置に格納された分割データに対して部分
   処理を行う要求処理機能と、を実現することを特徴とす
   る分散並列型データ処理プログラムを記録した記録媒
   体。
9. 【請求項９】検索対象となるデータを分割した分割デー
   タを分散格納した二次記憶装置に対して計算機を用いて
   検索処理を行うための分散並列型データ処理プログラム
   を記録した記録媒体であって、 コンピュータに、 利用者からの処理要求を受け付け、対象となる分割デー
   タを指定した複数の部分処理を作成する要求受付機能
   と、 指定された計算機に部分処理を送信する要求分配機能
   と、 各分割データの格納先を保持する分割データ管理機能
   と、 前記分割データに対する部分処理の結果を収集、統合、
   編集して利用者に応答する部分結果統合機能と、 各分割データに対する処理時間を測定する負荷監視機能
   と、 前記負荷監視機能によって測定された各分割データに対
   する処理時間を基に、あらかじめ各計算機の負荷を均一
   化可能な分配比率を求める分配比率計算機能と、 あらかじめ計算された分配比率を基に、各分割データに
   対する部分処理を分配する計算機を決定し、要求分配機
   能に指定する負荷分散機能と、 各計算機に依頼後未返答の部分処理の数の偏りが大きく
   なると、分配比率計算機能を起動させる計算時間制御機
   能と、 前記二次記憶装置に格納された分割データに対して部分
   処理を行う要求処理機能と、を実現することを特徴とす
   る分散並列型データ処理プログラムを記録した記録媒
   体。
10. 【請求項１０】検索対象となるデータを分割した分割デ
    ータを分散格納した二次記憶装置に対して計算機を用い
    て検索処理を行うための分散並列型データ処理プログラ
    ムを記録した記録媒体であって、 コンピュータに、 利用者からの処理要求を受け付け、対象となる分割デー
    タを指定した複数の部分処理を作成する要求受付機能
    と、 指定された計算機に部分処理を送信する要求分配機能
    と、 各分割データの格納先を保持する分割データ管理機能
    と、 前記分割データに対する部分処理の結果を収集、統合、
    編集して利用者に応答する部分結果統合機能と、 停止した計算機を自動的に検出する障害検出機能と、 他の計算機に依頼した部分処理を保持しておき、障害発
    生時に停止した計算機から未返答の部分処理を再分配す
    る依頼処理管理機能と、 各分割データに対する処理時間を測定する負荷監視機能
    と、 前記負荷監視機能によって測定された各分割データに対
    する処理時間を基に、障害発生時に停止した計算機への
    分配比率を0にして再計算を行う分配比率計算機能と、 あらかじめ計算された分配比率を基に、各分割データに
    対する部分処理を分配する計算機を決定し、要求分配手
    段に指定する負荷分散機能と、 各計算機に依頼後未返答の部分処理の数の偏りが大きく
    なると、分配比率計算手段を起動させる計算時間制御機
    能と、 前記二次記憶装置に格納された分割データに対して部分
    処理を行う要求処理機能と、を実現することを特徴とす
    る分散並列型データ処理プログラムを記録した記録媒
    体。
11. 【請求項１１】外部通信網で接続された複数の計算機か
    ら構成され、各計算機がローカルな二次記憶装置を持
    ち、検索対象となる大規模データを分割して二次記憶装
    置に分散格納し、該分割データの複製を同一の二次記憶
    装置に重複しないように冗長格納した無共有型クラスタ
    システムの上で、二次記憶装置に記憶された分割データ
    に対する処理を並列に行う分散並列型データ処理システ
    ムであって、 利用者からの処理要求を受け付け、対象となる分割デー
    タを指定した複数の部分処理を作成する要求受付手段
    と、 指定された計算機に部分処理を送信する要求分配手段
    と、 各分割データの格納先を保持する分割データ管理手段
    と、 前記分割データに対する部分処理の結果を収集、統合、
    編集して利用者に応答する部分結果統合手段と、 各分割データに対する処理時間を測定する負荷監視手段
    と、 前記負荷監視手段によって測定された各分割データに対
    する処理時間を基に、あらかじめ各計算機の負荷を均一
    化可能な分配比率を求める分配比率計算手段と、 あらかじめ計算された分配比率を基に、各分割データに
    対する部分処理を分配する計算機を決定し、要求分配手
    段に指定する負荷分散手段と、 前記二次記憶装置に格納された分割データに対して部分
    処理を行う要求処理手段と、を備えることを特徴とする
    分散並列型データ処理システム。
12. 【請求項１２】外部通信網で接続された複数の計算機か
    ら構成され、各計算機がローカルな二次記憶装置を持
    ち、対象となる大規模データを分割して二次記憶装置に
    分散格納し、分割データの複製を同一の二次記憶装置に
    重複しないように冗長格納した無共有型クラスタシステ
    ムの上で、二次記憶装置に記憶された分割データに対す
    る処理を並列に行う分散並列型データ処理システムであ
    って、 利用者からの処理要求を受け付け、対象となる分割デー
    タを指定した複数の部分処理を作成する要求受付手段
    と、 指定された計算機に部分処理を送信する要求分配手段
    と、 各分割データの格納先を保持する分割データ管理手段
    と、 前記分割データに対する部分処理の結果を収集、統合、
    編集して利用者に応答する部分結果統合手段と、 停止した計算機を自動的に検出する障害検出手段と、 他の計算機に依頼した部分処理を保持しておき、障害発
    生時に停止した計算機から未返答の部分処理を再分配す
    る依頼処理管理手段と、 各分割データに対する処理時間を測定する負荷監視手段
    と、 前記負荷監視手段によって測定された各分割データに対
    する処理時間を基に、障害発生時に停止した計算機への
    分配比率を0にして再計算を行う分配比率計算手段と、 あらかじめ計算された分配比率を基に、各分割データに
    対する部分処理を分配する計算機を決定し、要求分配手
    段に指定する負荷分散手段と、 二次記憶装置に格納された分割データに対して部分処理
    を行う要求処理手段と、を備えることを特徴とする分散
    並列型データ処理システム。
13. 【請求項１３】外部通信網で接続された複数の計算機か
    ら構成され、各計算機がローカルな二次記憶装置を持
    ち、対象となる大規模データを分割して二次記憶装置に
    分散格納し、分割データの複製を同一の二次記憶装置に
    重複しないように冗長格納した無共有型クラスタシステ
    ムの上で、二次記憶装置に記憶された分割データに対す
    る処理を並列に行う分散並列型データ処理システムであ
    って、 利用者からの処理要求を受け付け、対象となる分割デー
    タを指定した複数の部分処理を作成する要求受付手段
    と、 指定された計算機に部分処理を送信する要求分配手段
    と、 各分割データの格納先を保持する分割データ管理手段
    と、 前記分割データに対する部分処理の結果を収集、統合、
    編集して利用者に応答する部分結果統合手段と、 各分割データに対する処理時間を測定する負荷監視手段
    と、 前記負荷監視手段で測定された各分割データに対する処
    理時間を基に、あらかじめ各計算機の負荷を均一化可能
    な分配比率を求める分配比率計算手段と、 あらかじめ計算された分配比率を基に、各分割データに
    対する部分処理を分配する計算機を決定し、要求分配手
    段に指定する負荷分散手段と、 各計算機に依頼後未返答の部分処理の数の偏りが大きく
    なると、分配比率計算手段を起動させる計算時間制御手
    段と、 二次記憶装置に格納された分割データに対して部分処理
    を行う要求処理手段と、を備えることを特徴とする分散
    並列型データ処理システム。
14. 【請求項１４】外部通信網で接続された複数の計算機か
    ら構成され、各計算機がローカルな二次記憶装置を持
    ち、対象となる大規模データを分割して二次記憶装置に
    分散格納し、分割データの複製を同一の二次記憶装置に
    重複しないように冗長格納した無共有型クラスタシステ
    ムの上で、二次記憶装置に記憶された分割データに対す
    る処理を並列に行う分散並列型データ処理システムであ
    って、 利用者からの処理要求を受け付け、対象となる分割デー
    タを指定した複数の部分処理を作成する要求受付手段
    と、 指定された計算機に部分処理を送信する要求分配手段
    と、 各分割データの格納先を保持する分割データ管理手段
    と、 前記分割データに対する部分処理の結果を収集、統合、
    編集して利用者に応答する部分結果統合手段と、 停止した計算機を自動的に検出する障害検出手段と、 他の計算機に依頼した部分処理を保持しておき、障害発
    生時に停止した計算機から未返答の部分処理を再分配す
    る依頼処理管理手段と、 各分割データに対する処理時間を測定する負荷監視手段
    と、 前記負荷監視手段で測定された各分割データに対する処
    理時間を基に、障害発生時に停止した計算機への分配比
    率を0にして再計算を行う分配比率計算手段と、 あらかじめ計算された分配比率を基に、各分割データに
    対する部分処理を分配する計算機を決定し、要求分配手
    段に指定する負荷分散手段と、 各計算機に依頼後未返答の部分処理の数の偏りが大きく
    なると、分配比率計算手段を起動させる計算時間制御手
    段と、 二次記憶装置に格納された分割データに対して部分処理
    を行う要求処理手段と、を備えることを特徴とする分散
    並列型データ処理システム。