JPH06243112A - マルチプロセッサ装置 - Google Patents

Abstract

(57)【要約】 【目的】異機種混在のネットワーク環境でのマルチプロ
セッサ並列処理システムにおいて、他プロセッサの負荷
検出を行ない、最適負荷分散を図る。 【構成】他プロセッサに処理単位を分散し、並列実行に
よって処理時間の短縮を図る際にプロセッサ毎に待ち行
列４および負荷判定手段２を設ける。負荷判定手段２は
待ち行列４の長さ、及び前回までの処理時間の実績ΔＴ
0、ΔＴ1を用いて演算を行ない、次の処理の終了時間の
期待値Ｍを返す。処理分散手段３はこのＭの値の最も小
さいプロセッサ装置に処理を分散し、待ち行列４にエン
キューする。また処理分散手段３はどれか処理が完了と
なった場合、処理時間を記録すると共に待ち行列４から
処理単位をデキューする。負荷分散手段１は負荷判定手
段２、処理分散手段３、待ち行列４によって構成され、
通信を用いることなく他プロセッサの負荷を知り、処理
分散を行なう事が出来る。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、ローカルエリアネット
ワークに代表される通信手段を用いて接続した複数のプ
ロセッサにより構成されるマルチプロセッサシステムに
おいて、目的プログラムの並列実行を行う際に負荷を均
等に分散させる手法に関する。

【０００２】

【従来の技術】マルチプロセッサシステムによって処理
対象のプログラムを並列処理し、処理の高速化を図る技
術では、各プロセッサの負荷が均等になる様に処理単位
を配置する手段が重要である。

【０００３】個々のプロセッサに過度の負荷の集中ある
いは処理の過疎が発生することのないように処理単位を
配置するためには、各プロセッサの負荷を検出する機構
が必要である。この機構の実現には、プロセッサの結合
状態について、共有メモリの有無、通信速度の高低など
を考慮した手段が要求される。

【０００４】ローカルエリアネットワーク等の通信手段
を用いたプロセッサ間の疎結合の並列処理では、プロセ
ッサ負荷検出のための通信時間が処理時間の多くの比率
を占めてはならない。言うまでも無く、このような本来
の処理目的に不要な処理は可能な限り排除し、システム
全体のプロセッサ資源を目的処理に集中することが重要
である。

【０００５】この分野に対してなされた従来の発明に
は、特開昭63-211060号がある。この従来発明は、「自
プロセッサの負荷状態を、実行プロセス数や待ち行列の
長さ等から常時判断し、高負荷に変化した時、または低
負荷に変動した時、通信手段により他の全プロセッサに
負荷状態を通知する」という処理を特徴としている。ま
た、この通信により得られた他プロセッサの負荷状態と
自プロセッサの負荷状態は個々に記録され、プロセスの
処理分散の時点で参照される構成である。

【０００６】この従来発明は技術要素に分解すると次の
４点で構成された発明と言える。

【０００７】（１）個々のプロセッサは自分の負荷状況
を常時監視する。 （２）個々のプロセッサはあらかじめ負荷の値の閾値を
定め、これを上回った時点と下がった時点で他の全プロ
セッサへ通知する。 （３）個々のプロセッサは他プロセッサ、自プロセッサ
の負荷の最新の値を記録として保持している。 （４）プロセッサの負荷は処理中のプロセス数と待ち行
列の長さによって判定される。

【０００８】

【発明が解決しようとする課題】しかし、従来発明は上
記（１）と（２）の不必要な処理によってプロセッサ資
源およびネットワーク資源を消費するという問題点があ
った。（１）と（２）が不要であるのは以下の２つの理
由による。 ・あるプロセッサの負荷はこのプロセッサに処理分散を
しようとするプロセスが調べれば良く、要求が無いにも
係らず常に自プロセッサの負荷を調べる必要は無い。 ・各プロセッサが負荷変動のある都度にネットワーク上
の全プロセッサに通信（ブロードキャスト）を発生する
事は、不必要な通信でネットワークの負荷の増大を招
く。

【０００９】結局、複数のプロセッサ間の疎結合の並列
処理において、最適負荷分散のために必要な構成技術
は、処理分散対象のプロセッサ（自プロセッサも含め）
の負荷を知る手段だけである。

【００１０】さらに、従来発明にはもう一つの問題点が
あった。それは、各プロセッサ装置の性能の差で生じる
処理時間の不均質を評価出来ない点である。これは上記
（４）の構成から生じる問題点である。

【００１１】この問題は、ワークステーション等の性能
は著しく向上し、１年で２倍程度の処理速度向上が達成
されているため、一つのネットワーク上に数倍〜１０数
倍の処理速度差のあるプロセッサ装置群が接続される異
機種混在環境が現れたために生じたものである。つま
り、異機種混在環境における並列処理では各プロセッサ
の処理待ち行列の長さが同じであってもプロセッサの負
荷は同じとは言えないために、次の処理要求の完了時刻
の期待値が等しくはならないということである。

【００１２】

【課題を解決するための手段】この様な課題を解決する
ために本発明のマルチプロセッサ装置では、ローカルエ
リアネットワークによって接続された複数台のプロセッ
サ装置を用いて一つの目的プログラムの処理を複数のプ
ロセスに分割し、これを複数のプロセッサ装置に分散し
て並列して実行する場合において、並列処理開始を記述
した文を含む並列処理要求の発生源プロセスが、該プロ
セス中の分散記述に従って発生した子プロセスを複数の
プロセッサ装置に配置する配置手段と、前記の複数のプ
ロセッサ装置に子プロセスを分散処理要求するための負
荷分散制御手段と、を有し、しかも前述の負荷分散制御
手段が、処理分散対象のプロセッサ装置ごとに要求プロ
セスの待ち行列を作成する待ち行列作成手段と、前記要
求プロセスの発生から完了までの処理時間を計測する計
数手段と、前記待ち行列作成手段によって作成された要
求プロセスの待ち行列の長さと前記計数手段によって計
測された前回以前の要求プロセスの処理時間とをパラメ
ータとする演算によって個々のプロセッサ装置の負荷を
判定する負荷判定手段と、該負荷判定手段の結果に従っ
て処理を分散する処理分散手段と、を有することを特徴
としている。

【００１３】

【作用】本発明のマルチプロセッサ装置は、異機種混在
環境で処理の多重化（並列化）による処理時間短縮の効
果を最大限に利用するために、次の処理要求完了時間が
均等になる様に処理単位を分散するよう作用する。

【００１４】

【実施例】本発明の実施例について以下の項目に従い、
図を用いて説明を行なう。

【００１５】１．本実施例の特徴（従来発明との違い） ２．負荷検出手段の動作 ２．１ オペレーティングシステムによるマルチタスク
処理の概要 ２．２ 処理要求発生源プロセス２２の動作 ２．３ 負荷分散制御手段１の動作 ３．説明の補足（並列処理の実現） １．本実施例の特徴（従来発明との違い） 本発明が実施されるのに好適な一つの環境の説明図を図
３に示す。本実施例は、ワークステーション、パーソナ
ルコンピュータなど、プロセッサ資源を有する複数台の
情報機器がネットワーク２１によって接続された環境で
の、プログラムの並列処理を主な応用の対象としてい
る。

【００１６】目的プログラム２２はパーソナルコンピュ
ータ３３で起動される。２２に含まれる並列処理のオブ
ジェクトコードが複数のプロセス３６、２０６らを発生
する。これらプロセス３６、２０６は、ネットワーク２
１を介して処理分散される。パーソナルコンピュータ３
４あるいはワークステーション２００は、プロセス３
６、２０６らを実行する。目的プログラム２２は、この
プロセス３６、２０６が並列して実行される事によって
逐次実行に比較し短時間で処理を終える事が出来る。

【００１７】ここでプロセスとは、オペレーティングシ
ステムにおける、プロセッサ資源、メモリ資源割り当て
の実行時の単位である。本実施例のプロセスの構造を図
４に示す。本実施例において、プロセス４０は、プロセ
スの識別子４１及び実行管理、メモリ管理のための情報
を含むプロセス管理情報４２と、中断の際に現在のプロ
セッサのレジスタの状態を保存するためのカーネルスタ
ック４３と、オブジェクト領域４６、プロセススタック
４４、ヒープ領域４５からなる管理単位であるとして説
明を続ける。この意味で目的プログラム２２は、やはり
一つのプロセスと見なせる。以下の説明では、”最初に
処理並列化を要求する”という意味で目的プログラムを
「処理要求の発生源プロセス」と呼ぶ。

【００１８】本実施例のマルチプロセッサ装置と、従来
発明（特開昭63-211060号）との大きな違いは次の３点
である。

【００１９】（１）本実施例の処理要求の発生源プロセ
スは、他のプロセッサへの負荷の均等な分散をそれぞれ
管理する。 （２）本実施例の処理要求の発生源プロセスは、他プロ
セッサの負荷判定に際し、他のプロセッサの状態を通信
により知る処理を必要としない。 （３）本実施例の処理要求の発生源プロセスは、他のプ
ロセッサの負荷を判定する際、待ち行列の長さ情報に加
え、前回までの処理時間の情報を使用する。

【００２０】以上の（１）〜（３）によって本実施例で
は発生源プロセスが負荷の判定と処理分散の動作を完全
に自己の処理で完結する。これを「自律的な判定」と書
く。すなわち本実施例が従来発明に比較し異なる最大の
点は、他のプロセッサ装置の負荷を自律的に判定する点
である。これによって、従来発明で行なわれた負荷変動
通知のためのデータ転送は不要になる。

【００２１】以上に挙げた本実施例の特徴を次に詳しく
説明する。

【００２２】２．負荷検出手段の動作 図２は本実施例のマルチプロセッサ装置全体の概略構成
図である。また図１は、本実施例の中において特徴的な
構成を実現する、負荷分散制御手段１の構成図である。

【００２３】本実施例の特徴をなす負荷分散制御手段１
は、負荷判定手段２、処理分散手段３、待ち行列４から
構成される。負荷分散制御手段１は、本実施例のマルチ
プロセッサ装置の処理分散を管理する機構であり、単独
のワークステーション２００等に実装されたオペレーテ
ィングシステム２０１のスケジューラ２０２とは異な
る。この点を明らかにするために、図２によって全体の
動作を説明する。

【００２４】２．１ オペレーティングシステムによる
マルチタスク処理の概要 複数台のワークステーション２００が、ネットワーク２
１を介し接続されている。あるパーソナルコンピュータ
３３で実行されている処理要求発生源プロセス２２は、
説明の簡単のために、直接ネットワーク２１に接続され
ているように図示した。ワークステーション２００は、
オペレーティングシステム２０１（以下ＯＳ２０１と
略）によって管理される。ＯＳ２０１はマルチタスクを
行なう。このためにＯＳ２０１は、スケジューラ２０２
と、これに対する待ち行列２０５を持つ。ＯＳ２０１
は、複数のユーザプログラムの中からどれか一つのユー
ザプログラムを選んで実行する。ある条件が成立すると
（後述）、ＯＳ２０１はこのユーザプログラムの実行を
一時中断し、他のユーザプログラムを実行する。これに
よってＯＳ２０１はマルチタスクを実現する。

【００２５】一つのユーザプログラムは、ＯＳ２０１の
管理下で一つのプロセスとして起動される。起動後にこ
のプロセスがＯＳ２０１の機能のサービスを受けて、更
に別のプロセスを作る事が許される。前述したユーザプ
ログラムのマルチタスクは、ＯＳ２０１の管理から見る
とユーザプログラムを形成する一つないし複数のプロセ
スに対する「プロセッサ割り当ての切り替え」によって
実現される。

【００２６】あるプロセスがＯＳ２０１の機能のサービ
スを利用する手段は、ソフトウェア割り込みである。こ
の割り込みが発生すると、プロセッサのプログラムカウ
ンタがＯＳ２０１内部の処理番地の値に書き変わる。こ
れによりプロセッサ処理は、ユーザのプロセスからＯＳ
２０１の内部に入る事ができる。

【００２７】ユーザプロセスからの処理要求（上記ソフ
トウェア割り込み）が発生すると、プロセッサ処理は最
初にアプリケーションインターフェース２０４に移る。
ここで要求の処理内容が判断され、サービスプログラム
２０３が実行される。一部の要求（ハードディスク装置
からの読み込み等）は、実際の処理完了までに時間待ち
を伴う。この場合、要求を発生したプロセスは休眠状態
に入る。すなわち、プロセスが待ち行列２０５にエンキ
ューされ、次にＯＳ２０１によって起動されプロセッサ
割り当てを受けるまで停止する。

【００２８】また、これ以外の場合でもプロセスが予め
定められた数ミリ秒〜数１０ミリ秒のプロセッサ割り当
て時間を消費した場合は、タイマ割り込みによってＯＳ
２０１の内部の処理プログラムが動作し、このプロセス
を停止する。この場合も、プロセスが待ち行列２０５に
エンキューされ、次にＯＳ２０１によって起動されプロ
セッサ割り当てを受けるまで停止する。

【００２９】ＯＳ２０１はタイムスライスの経過または
処理待ちを伴うサービスで、プロセスを休眠させるとス
ケジューラ２０２を用いて次に実行するプロセスを選択
する。以上がＯＳ２０１によるマルチタスク処理の概要
である。

【００３０】２．２ 処理要求発生源プロセス２２の動
作 本実施例の処理要求発生源プロセス２２は、ＯＳ２０１
と同等のオペレーティングシステムに管理される一つの
プロセスである。処理要求発生源プロセス２２はユーザ
プログラムとして起動され、cobegin文等（３節で後述
する）に代表される並列記述により処理単位Ｊ１、Ｊ
２、Ｊ３を並列して動作させる。ここで、処理単位のど
れか、例えばＪ２内にさらに並列処理記述がふくまれる
場合、次はＪ２が新たな処理要求発生源プロセス２２と
して動作する。

【００３１】処理要求発生源プロセス２２の目的コード
は、ソースコードをコンパイルして得られたものであ
り、特定のプロセッサの機械語で構成される。従って、
プロセス２２のオブジェクトコードをそのまま他のワー
クステーション２００に転送しても動作は保証されな
い。本実施例は、異機種コンピュータ間の並列処理を目
的とするので、この不都合を除くために仮想プロセッサ
とその機械語を導入する。仮想プロセッサの機械語は特
定のハードウェアに依存しないものであり、仮想機械語
のインタープリタ２１２によって実行される。

【００３２】処理要求発生源プロセス２２と処理受け取
りプロセス２０７は、そのプロセスの構造上は同じであ
り、プロセスの構造４０（図４）からなる。オブジェク
ト領域４６は各プロセスの動作を記述したオブジェクト
コードを格納した領域であり、仮想機械語のインタープ
リタ２１２はこの領域に含まれる。また、仮想機械のプ
ログラムカウンタ、スタックポインタ、レジスタ、フラ
グから構成される仮想プロセッサ２１１は、各プロセス
のヒープ領域４５に作られる。また、プロセス自体が動
作のためにメモリ領域を必要とするが、この領域はプロ
セス内に作業メモリ２１０として確保される。

【００３３】仮想機械によるプロセス４７はヒープ領域
４５に配置される。プロセス４７は、仮想機械の機械語
で形成されるオブジェクトコードと、作業メモリ（ヒー
プ、スタック）からなるデータ構造で、ＯＳ２０１が管
理するプロセスの構造４０を仮想機械でシミュレートし
た構造である。

【００３４】以下の説明において、処理の流れは図５に
示した。

【００３５】プロセス２２の処理単位Ｊ１、Ｊ２、Ｊ３
はいずれも仮想機械によるプロセス４７である（説明の
ため、同様の処理単位を一般にＪｎと書く）。プロセス
２２は、cobegin文による分岐２３によってランタイム
・ルーチン２４を呼び出してＪ１、Ｊ２、Ｊ３をどのプ
ロセッサ装置に分散すべきか判断し、処理分散を行な
う。

【００３６】cobegin文による機械語は、並列処理モー
ドであることを内部フラグに記録する処理を行ない（Ｓ
５０１）、実際の処理分散は処理単位Ｊｎを呼び出す機
械語のランタイム・ルーチン２４が行なう。

【００３７】負荷判定手段２は、各プロセッサ装置毎に
用意した待ち行列４から、処理完了待ちのプロセス数
（待ち行列の長さ）と、前回までの処理時間とを取り出
し、プロセッサ装置の負荷を求め、次の処理の完了時間
の期待値Ｍを返す（Ｓ５０２）。処理分散手段３は、こ
の値Ｍに基づき、最も処理完了時間の予測値の短いプロ
セッサ装置の装置番号Ｐを返す。すなわち、負荷判定手
段２の返したＭが現在最小の値より小さければ（Ｓ５０
３）、最小値の更新およびプロセッサ装置の装置番号Ｐ
の記録を行ない（Ｓ５０４）、これを全プロセッサ検査
完了まで繰り返す（Ｓ５０５）。

【００３８】負荷分散制御手段１は、上記手順で見つけ
た装置番号Ｐのプロセッサに処理単位Ｊ１を転送し、処
理要求を発行する（Ｓ５０６）。Ｊ２、Ｊ３についても
同様の手段が行なわれる。

【００３９】もちろん処理の一部は自プロセッサ装置で
実行されても良い。待ち行列４、および負荷判定手段２
は自プロセッサ装置に対しても作られるので、負荷分散
制御手段１が、自プロセッサ装置に処理単位Ｊｎを割り
当てる事がある。この場合Ｊｎを形成する仮想機械のプ
ロセス４７は、自プロセッサ上に作られた新しいプロセ
ス２０７で処理される。割り当ては、とにかく終了時間
の期待値が最も早いプロセッサ装置を指定するだけであ
る。

【００４０】上記から分かる様に、処理単位Ｊｎは、他
プロセッサ装置に送られる場合とそうでない場合があ
る。通信手段５は、処理単位Ｊｎと、装置番号Ｐを受け
取り、処理の転送を行なう。通信手段５は、受け取った
装置番号Ｐが自プロセッサの値であれば、通信せず処理
し、それ以外の場合、通信を発生し、他プロセッサ装置
の処理受け取りプロセス２０７と接続する（Ｓ５０
７）。

【００４１】プロセス２０７は、ネットワーク２１を介
して送られてくる処理単位Ｊｎを処理し、処理完了時点
で処理完了を通知し、処理結果を返す動作をする。既に
述べた様に、Ｊｎは仮想機械のプロセス４７の構造をと
るから、処理結果はプロセス４７のスタックに残され
る。

【００４２】プロセス２０７は、ネットワーク２１に接
続された複数のプロセッサ装置らからランダムに到着す
る要求に応えなければならない。そのために、処理単位
Ｊｎを受け取った時プロセス２０７は直接これを実行す
ることはせず、子プロセス２０６を生成し、処理を行な
う。プロセス２０７は、通信手段２０８によって処理単
位Ｊｎを受け取ると、プロセス生成・起動処理２０９を
実行する（Ｓ５０８）。プロセス生成・起動処理２０９
は、ＯＳ２０１のアプリケーションインターフェース２
０４を利用し、ＯＳ２０１に子プロセス２０６の生成を
要求する（Ｓ５０９）。ＯＳ２０１はサービスプログラ
ム２０３を実行し、子プロセス２０６を作る。

【００４３】ＯＳ２０１の子プロセス生成は、「親のプ
ロセスと同じものを複製する」処理である。この時、ス
タックの内容、プログラムカウンタ等各種レジスタの
値、全てが親プロセスの構造４０と同一に作られる。従
って、子プロセス２０６での次の実行開始番地は、直前
に親プロセスで実行されていた番地に引き続く番地であ
る。親プロセス２０７では、この直前に仮想機械語のイ
ンタープリタ２１２を実行する処理位置であった。より
詳しく言うと、通信手段２０８から仮想機械語を受け取
り、インタープリタ２１２に入力として与える位置であ
った。一方、受け取った仮想機械語のデータ列は、仮想
機械のプロセス４７の構造をとっており、このプロセス
４７のプログラムカウンタは、cobegin文から生成され
た仮想機械語に続く、次の命令語の位置を指し示してい
る。そこで、子プロセス２０６も仮想機械語のインター
プリタ２１２処理に入り、cobegin文の次に続く文の位
置から処理を開始し、Ｊｎを処理する事ができる（Ｓ５
１０）。

【００４４】プロセス２０７はプロセス２２と同一の構
造である。プロセス２０７が受け取った処理単位Ｊｎが
更に並列処理を含んでいる場合、今度はプロセス２０７
が作った子プロセス２０６が新しい並列処理要求の発生
源のプロセスとなる。

【００４５】以上で処理分散に関わる処理要求発生源プ
ロセス２２の動作の説明を終わる。続いて、負荷分散制
御手段１の動作を説明する。

【００４６】２．３ 負荷分散制御手段１の動作 負荷分散制御手段１の構成は図１で示される。既に述べ
た様に、負荷判定手段２、処理分散手段３、待ち行列４
が主たる構成要素である。「１．本実施例の特徴」に述
べた様に、本実施例では通信を発生して他のプロセッサ
装置の負荷を調べる必要が無い。その代わり自プロセッ
サも含め、利用出来る全てのプロセッサ装置について待
ち行列４と、負荷判定手段２を用意する図１は、分かり
やすくするために負荷判定手段２を一つだけ取り出して
記載した。

【００４７】利用出来る他プロセッサ装置の装置番号は
予め自プロセッサ装置に初期設定として与える。また各
プロセッサ装置はマルチタスク処理出来ることが必要条
件であり、予め処理受け取りプロセス２０７がバックグ
ランドで動作している事が必要である。

【００４８】既に「２．１ …マルチタスク処理の概
要」に書いた様に、各プロセッサ装置２００において、
ＯＳ２０１がプロセス２０７に処理時間を割り当て、並
列処理の要求が実行される。プロセス２２が処理単位Ｊ
ｎを分散してから処理結果が得られるまでには、時間の
遅延が発生する。そこで処理分散手段３はＪｎをどれか
のプロセッサ装置２００に送った時点でその処理単位Ｊ
ｎ（仮想機械によるプロセス４７と見なされる）にプロ
セス番号を与え、待ち行列４に記録する（エンキュ
ー）。同じく処理分散手段３はＪｎが処理完了し、処理
結果が戻った場合は、その時点で待ち行列４から該当す
るプロセス番号のエントリを取り除く（デキュー）。

【００４９】処理分散手段３は、エンキューからデキュ
ーまでの時間を待ち行列４が併せ持つデータ構造に記録
する。この処理の結果、負荷判定手段２は待ち行列４の
データ構造を調べ、現在の待ち行列４の長さと、前回ま
での処理時間の実績値を取り出すことが出来る。計数手
段６は待ち行列４の長さを取り出す。時間幅測定手段７
は前回までの処理時間の実績値を取り出す。

【００５０】メモリスペースが許せば、待ち行列４のデ
ータ構造に前回までの全ての処理の処理時間を記録する
ことも可能である。しかし、それによって次の処理完了
時間の期待値が正確に求まる保証は無い。そこで、本実
施例では直前の処理時間（これをΔＴ1と書く）とそれ
以前までの実績値（これをΔＴ0と書く）を用いて今回
実績時間(これをΔＴと書く）を決定した。すなわち ΔＴ＝（ΔＴ1＋ΔＴ0）÷２ とした。またこの次以降の実績値は、現在待ち行列４に
ある未完了のどれかの処理が完了した時点で更新され
る。すなわち新たに完了した処理のプロセス番号が待ち
行列４からデキューされ、処理時間ΔＴ1が更新され
る。次に代入 ΔＴ0 ＝ ΔＴ により、実績値が新しい値で更新される。

【００５１】演算手段８は、計数手段６が取り出した待
ち行列の長さと、時間幅測定手段７が求めた今回実績値
ΔＴの積を求める。これを Ｍ＝（待ち行列の長さ）×ΔＴ で表す。比較手段９はここで求めたＭが予め定めた値を
越えた時、「処理不可能」を返し、それ以外は値Ｍをそ
のまま返す。また、今回初めて処理を割り当てる場合
は、実績値の値として予め定めたΔＴの値を与える。ま
た、待ち行列の長さは＝１である。

【００５２】再び図２に戻り説明を続ける。負荷判定手
段２は比較手段９の値により、各プロセッサ装置２００
の負荷を返す。処理分散手段３は、「処理不可能」な場
合を除いて戻り値であるＭを比較し、最も短い（つまり
早く処理完了すると期待出来る）プロセッサ装置を選択
し、処理要求を発行する。

【００５３】処理単位Ｊｎの大きさ、負荷は様々であ
り、処理時間には大きなバラツキがあると予想される。
従って、本実施例の方法が正しく処理時間の期待値を与
える事にはならない。しかし、処理要求自体がランダム
に発生すること、処理単位Ｊｎのバラツキもランダムで
あることを考えると、およそ適切な負荷配分を定める方
法であると言える。しかも、負荷検出に通信を使用しな
い点が大きな特徴である。

【００５４】これまでの説明は、負荷分散制御手段１が
プロセス２２の中に実現されている場合について書い
た。しかし、以上の説明から明らかな様に負荷分散制御
手段１は、プロセス２２の中で処理の並列化要求が有っ
た場合、プロセッサ装置（の装置番号）を指定して処理
を分散する機能を実現出来れば良い。そこで別の実施例
として負荷分散制御手段１だけを独立したプロセスとす
る方法が考えられる。この場合は、負荷分散制御手段１
のために設けたプロセスに対し、並列処理要求の発生源
プロセス２２が、プロセス間通信によって処理依頼を発
行すれば良い。負荷分散制御手段１の独立プロセスは常
時バックグランドに走行させる事が可能で有る。実際、
多くのオペレーティングシステムにバックグランド処理
のための機能と、プロセス間通信の機能が用意されてい
る。従って、負荷分散制御手段１を独立のプロセスとす
る事は簡単な変更である。この場合も処理内容は上記手
順と同様である。

【００５５】また負荷判定手段２も別の方法が考えられ
る。一例として前回までの実績値を指数平滑法などで処
理し、次回の処理時間予測値を求めれば良い。いずれに
せよ本実施例は、過去の処理時間の値と待ち行列の長さ
に基づき、他プロセッサの負荷判定を行なう事が特徴の
一つであり、これによって異機種混在環境のマルチプロ
セッサ装置の最適負荷分散を行なうものである。

【００５６】以上で本実施例における負荷判定と処理分
散の手段の説明を終わる。次に並列記述の手段について
説明の補足をする。

【００５７】３．説明の補足（並列処理の実現） 並列処理を行なうために何らかの並列モデルに従い、問
題の記述と実行のできる処理系が必要である。この処理
系の形式として、比較的容易に実現出来るのは次の３通
りである。

【００５８】（Ａ）相互接続された複数のプロセッサ資
源、メモリ資源を動的に管理できるＯＳを用意し、この
ＯＳの管理下で並列記述が可能な言語仕様の開発言語を
用いて目的プログラムの記述、コンパイル、実行を行な
う。

【００５９】（Ｂ）目的プログラムに対する任意の開発
言語（C,Fortran,Pascal等の汎用言語）と、これら開発
言語用の「遠隔手続き呼び出し」のライブラリを用意
し、個々の要求に応じて、毎回目的プログラムを書き下
し、コンパイルと実行をオペレーティングシステム（以
下ＯＳと略）の管理下で行なう。

【００６０】（Ｃ）並列記述が可能な言語仕様の開発言
語を用意し、目的プログラムを記述し、コンパイルと実
行をＯＳの管理下で行なう。

【００６１】以上の中で（Ａ）の実現には少なくとも同
一のＯＳを実装したプロセッサ装置からなるマルチプロ
セッサ環境が必要である。現時点（１９９２年）でより
一般的な（Ｂ）と（Ｃ）は実質的に同様の処理を行なう
ものである。（Ｂ）の場合、使用者は「遠隔手続き呼び
出し」の個々の関数仕様に基づいて、正しい手順、正し
い引数を満たす様にソースコードを書く事が要求され
る。一方使用者が（Ｃ）の方式を用いる場合は、高水準
の言語記述によって実行の並列化を記述する事が可能で
ある。よって（Ｃ）の方式が記述容易性に優れている。

【００６２】本実施例では、（Ｃ）の方式を用いて並列
記述を行なった場合を例にとり説明を加えた。方式
（Ｃ）に必要な事項と、これに対する本実施例の手段を
次に挙げる。

【００６３】要請３．１：（Ｂ）の「遠隔手続き呼び出
し」または、（Ａ）の動的資源管理に代替する手段が必
要。

【００６４】手段３．１：本実施例は、通信手段２０
８、プロセス生成・起動処理２０９により構成された処
理受け取りプロセス２０７を、並列処理対象の各プロセ
ッサ装置２００で予め実行する。これは、プロセッサ装
置２００の起動後直ちに実行され、バックグランドで走
り続けるプログラムとして設定することによって実現さ
れる。現在多くのオペレーティングシステムでこのよう
な処理手順は周知である。

【００６５】要請３．２：プロセッサの機械語をはじめ
とし、アーキテクチャの異なる機器において、プログラ
ムの処理単位（この実施例では個々のプロセス）の目的
コードを実行するための手段が必要。

【００６６】手段３．２：本実施例は、プロセッサ固有
の機械語に依存しない仮想プロセッサ２１１を論理的に
作りだした。実際の処理は仮想プロセッサ２１１の機械
語を用い、個々のプロセッサ装置２００上で、この仮想
機械語のインタープリタ２１２実行する。処理受け取り
プロセス２０７は、ＯＳ２０１のサービスを利用し自己
と同一のプロセスの複製２０６を生成し、他プロセッサ
装置からの要求を処理する。

【００６７】要請３．３：目的プログラムを記述する段
階で処理対象の問題に有る並列性を取り出し、ソースコ
ード中に記述するための開発言語が必要。

【００６８】手段３．３：本実施例では簡単のため、
「２．２ 処理要求発生源プロセス２２の動作」で、”
cobegin文による並列処理”と書いた。cobegin文はPasc
al系の言語を並列処理向けに拡張した際に用いられる事
が多い。図６は言語Pascalに{cobegin, coend}の２語を
拡張した場合の記述の例を示した図である。プログラム
リスト６００は、Ｐ１という名前を持つプログラムが、
手続きＪ１、Ｊ２、Ｊ３を持ち、これを並列に実行（６
０１）するという内容の例である。

【００６９】言うまでもなく、手段３．３は目的プログ
ラムを作成する段階で並列処理を記述することが出来る
仕様であれば、どんな言語を用いても良い。リスト６０
０は、例えば最も簡単な場合、リスト６０２の機械語リ
ストの様にコンパイルできる。ここで、各命令語は次の
通りである。

【００７０】(1) JP プログラムカウンタを書き換
え処理を移動する（ジャンプ） (2) COBEGIN cobegin文の置き換え (3) COEND coend文の置き換え (4) JSR サブルーチンへの分岐 (5) HALT 処理停止 リスト６０２の処理において、COBEGIN行６０３では、
他プロセッサ装置との通信の確立、および並列実行モー
ド内部フラグ設定を行なう。続くJSR行６０４は、並列
処理時と、それ以外の場合で処理内容が異なる。

【００７１】（並列処理時）流れ図５に示した一連の処
理を行なう。

【００７２】（逐次処理時）現在の処理番地の次の番地
を戻り番地として記録した後、指定された番地へジャン
プする。

【００７３】本実施例は以上の手段で並列処理を記述し
た。

【００７４】

【発明の効果】以上の実施例が明らかにした様に、本発
明の構成要素の一つである負荷分散制御手段は、他プロ
セッサへの処理要求待ち行列の長さと、前回までの応答
時間実績値に基づいて、対象となるプロセッサの負荷を
自律的に判断する。この結果、負荷検出に伴う通信が不
要となるために、ネットワーク資源、プロセッサ資源の
それぞれに関し、目的プログラムの処理に割り当てる時
間の比率を向上させることが可能となる。

【００７５】さらに、負荷分散制御手段の構成要素であ
る負荷判定手段が、処理時間の時間幅測定手段を持つ構
成とすることで性能の異なる様々なプロセッサ装置から
なる混在環境においても前回実績時間を加味してプロセ
ッサの処理速度を反映した負荷判定を行なう事が可能で
ある。この結果、結合されるプロセッサ装置の速度特性
を事前に設定する等の手順を用いる事無く、自動的に最
適負荷分散を行なう事ができる。これは、マルチプロセ
ッサ装置全体の運用の容易性を向上させる効果が多大で
ある。

【図面の簡単な説明】

【図１】本発明の特徴である負荷分散制御手段の説明
図。

【図２】本発明の一つの実施例の構成図。

【図３】図２の実施例の実行環境の説明図。

【図４】実施例で用いたプロセスの構造の説明図。

【図５】実行単位分散の処理手順の流れ図。

【図６】並列処理記述の例の説明図。

【符号の説明】

１…負荷分散制御手段 ２…負荷判定手段 ３…処理分散手段 ４…待ち行列 ５…通信手段 ６…計数手段 ７…時間幅測定手段 ８…演算手段 ９…比較手段 ２１…ネットワーク ２２…並列処理要求発生源プロセス（目的プログラム） ２３…分岐 ２４…ランタイム・ルーチン ３３、３４…パーソナルコンピュータ ３６…並行して実行されるプロセス ４０…プロセスの構造 ４１…プロセス識別子 ４２…プロセス管理情報 ４３…カーネルスタック ４４…プロセススタック ４５…ヒープ領域 ４６…オブジェクト領域 ４７…仮想機械のプロセス ２００…ワークステーション ２０１…オペレーティングシステム ２０２…スケジューラ ２０３…サービスプログラム ２０４…アプリケーションインターフェース ２０５…待ち行列 ２０６…子プロセス ２０７…処理受け取りプロセス ２０８…通信手段 ２０９…プロセス生成・起動処理 ２１０…作業メモリ ２１１…仮想プロセッサ ２１２…仮想機械語インタープリタ

Claims (2)

【特許請求の範囲】
1. 【請求項１】 ローカルエリアネットワークによって接
   続された複数台のワークステーションあるいはパーソナ
   ルコンピュータなど（以下、総称してプロセッサ装置と
   書く）を用いて、一つの目的プログラムの処理を複数の
   プロセスに分割し、これを複数のプロセッサ装置に分散
   して並列して実行することを特徴とするマルチプロセッ
   サ装置において、並列処理開始を記述した文を含むプロ
   グラムの一単位（これを並列処理要求の発生源プロセス
   と書く）が、該プロセス中の分散記述に従って発生した
   子プロセスを複数のプロセッサ装置に配置する配置手段
   と、前記の複数のプロセッサ装置に子プロセスを分散処
   理要求するための負荷分散制御手段と、を有する事を特
   徴とするマルチプロセッサ装置。
2. 【請求項２】 前述の負荷分散制御手段が、処理分散対
   象のプロセッサ装置ごとに要求プロセスの待ち行列を作
   成する待ち行列作成手段と、前記要求プロセスの発生か
   ら完了までの処理時間を計測する計数手段と、前記待ち
   行列作成手段によって作成された要求プロセスの待ち行
   列の長さと、前記計数手段によって計測された前回以前
   の要求プロセスの処理時間と、をパラメータとする演算
   によって個々のプロセッサ装置の負荷を判定する負荷判
   定手段と、該負荷判定手段の結果に従って処理を分散す
   る処理分散手段と、を有することを特徴とする請求項１
   記載のマルチプロセッサ装置。