JPH0696032A

JPH0696032A - 並列処理システム

Info

Publication number: JPH0696032A
Application number: JP24752392A
Authority: JP
Inventors: Teruo Tanaka; 輝雄田中; Yoshiko Tamaoki; 由子玉置; Yasuhiro Inagami; 泰弘稲上; Tadayuki Sakakibara; 忠幸榊原; Masanao Ito; 昌尚伊藤
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 1992-09-17
Filing date: 1992-09-17
Publication date: 1994-04-08

Abstract

(57)【要約】【目的】複数のサブシステム間を結合する共有拡張記
憶上の共有データを各サブシステム内の主記憶に転送オ
ーバヘッド少なく取り込み、効率良い並列処理を実現す
る。【構成】主記憶１１０と命令プロセサ１８０と入出力
プロセサ１９０と局所拡張記憶１１２からなるサブシス
テムを複数設け、これらのサブシステム間を共有拡張記
憶３００で接続し、並列システムを構成する。さらに、
非同期型命令で共有拡張記憶３００から局所拡張記憶１
１２に直接にデータを転送する手段を設ける。このデー
タ転送手段は、命令プロセサ１８０からの主記憶アクセ
スには影響を与えない。さらに、局所拡張記憶１１２か
ら主記憶１１０へのデータ転送は、共有拡張記憶３００
から主記憶１１０より高速に行うことができる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、疎結合型マルチプロセ
サシステムに関して、特に大規模なデータを扱う処理の
高速化に関する。

【０００２】

【従来の技術】近年スーパコンピュータの登場により科
学技術計算処理のニーズは高まり、より大規模に、より
高速にとその要求はとどまるところをしらない。前者の
大規模化に対して、たとえば日立製作所のスーパコンピ
ュータＨＩＴＡＣＳ−８２０では、計算機システム内
に主記憶より容量の大きい拡張記憶装置（局所拡張記憶
装置）を備えている。この拡張記憶装置上の大規模デー
タを分割し、分割された部分データごとに、主記憶装置
上に読込み、演算処理を行い、その結果をまた拡張記憶
装置に書出すことを繰り返すことにより、主記憶装置の
容量を越える大規模なデータを扱う計算を可能としてい
る。

【０００３】後者の高速化に関しては、１台の命令プロ
セサの高速化のみでなく、複数の命令プロセサを同時に
動作させる並列処理が一般化しつつある。この並列処理
をさらに拡張したひとつの構成方式として、主記憶装置
とその主記憶装置を共有する１台以上の命令プロセサお
よび１台以上の入出力プロセサからなるサブシステムを
複数用意し、そのサブシステム間を拡張記憶装置（共有
拡張記憶装置）で接続するシステムが特開平１−７８３
６１に開示されている。この拡張記憶装置上に複数のサ
ブシステム間で共有するデータ群を保持し、複数のサブ
システムを用いた並列処理を可能とする。

【０００４】ここで、各サブシステム内の拡張記憶装置
を局所拡張記憶装置、サブシステム間を接続する拡張記
憶装置を共有拡張記憶装置と呼ぶ。これらの拡張記憶装
置に対しては、命令プロセサで行う同期型命令あるいは
入出力プロセサで行う非同期型命令でアクセスすること
ができる。

【０００５】これまでに示した２種の拡張記憶装置を比
較する。後者の共有拡張記憶装置は各サブシステムから
アクセスすることが可能であるが、各サブシステムと独
立に実装されるため、各サブシステム内の主記憶装置あ
るいは命令プロセサと疎な結合となる。それに対して、
前者の局所拡張記憶装置は各サブシステム内にあり、主
記憶装置あるいはサブシステム内の命令プロセサと密に
結合することができるため、共有拡張記憶装置より高速
にアクセスすることができる。

【０００６】

【発明が解決しようとする課題】複数のサブシステムを
用いて並列処理を行う場合、サブシステム間の共有デー
タは、共有拡張記憶に配置する。各サブシステムは必要
な共有データを共有拡張記憶から読み出し、主記憶に配
置し、命令プロセサで演算処理を行い、その結果を共有
データとして主記憶から共有拡張記憶に書き戻す。この
時の各サブシステムの動作の例を図８(ａ)に示す。図８
(ａ)では、共有拡張記憶から主記憶へのデータ転送処理
(ＣＭ)、演算処理(Ｅ)、主記憶から共有拡張記憶へのデ
ータ転送処理(ＭＣ)の各処理を繰り返す。１回の繰り返
しで必要なそれぞれの処理量を、ここでは、相対的に、
１単位、８単位、１単位と仮定する。

【０００７】図８(ｂ)は、それぞれが１台の命令プロセ
サと入出力プロセサをもつ２つのサブシステム間で並列
処理を行う場合を示している。この時、２つのサブシス
テムからの共有拡張記憶へのアクセスは競合し、このア
クセスは逐次的に処理される。したがって、１回の繰り
返しに１１単位の処理時間がかかる。したがって、台数
効果は１．５倍(＝８＊２／１１)となる。

【０００８】図８(ｃ)では、共有拡張記憶へのアクセス
を入出力プロセサが非同期命令を用いて行い、演算処理
とオーバラップさせる場合を示している。ここで、次の
２つを仮定する。(1)非同期命令は同期命令より２倍の
時間がかかる、(2)非同期命令による主記憶アクセスの
ため、命令プロセサによる主記憶アクセスに影響があ
り、演算処理(Ｅ)とデータ転送処理((ＣＭ)あるいは(Ｍ
Ｃ))がオーバラップする範囲の処理時間が１．５倍に伸
びる。このため、１回の繰返しは１０単位の処理とな
り、このときの台数効果は１．６倍(＝８＊２／１０)と
なる。したがって、ただ単に共有拡張記憶へのアクセス
を同期型命令から非同期型命令にしただけでは、ほとん
ど性能向上を図ることができない。

【０００９】

【課題を解決するための手段】上記課題を解決するため
には、(手段１)共有拡張記憶と局所拡張記憶との間に専
用のデータ転送手段を設け、命令プロセサの主記憶アク
セスに影響させずに、入出力プロセサが実行する非同期
処理で共有拡張記憶上の必要な共有データを局所拡張記
憶に転送し、(手段２)さらに、入出力プロセサが実行す
る非同期処理で局所拡張記憶上のデータを主記憶装置に
転送する。

【００１０】

【作用】上記並列処理により、データ転送処理時間を演
算処理時間とオーバラップさせ、かつ、演算処理との主
記憶のアクセス競合を(手段１)では全くなし、(手段２)
では局所拡張記憶は共有拡張記憶より高速にアクセスで
きるため、その影響を受ける時間を短縮し、演算時間
(Ｅ)の伸びを最小限に抑えることができる。

【００１１】

【実施例】以下、本発明の１実施例を図にしたがって説
明する。

【００１２】図１は本発明の１実施例である並列プロセ
サシステムの構成を示す。図中、１００ないし２００は
サブシステム、１１０は主記憶、１１２は局所拡張記
憶、１３０は主記憶制御部、１５０は局所拡張記憶制御
部、１７０ないし１７２はセレクタ、１８０ないし１８
２は命令プロセサ、１９０ないし１９２は入出力プロセ
サをそれぞれあらわしている。各サブシステム１００な
いし２００内の構成はすべて同一である。さらに、３０
０は共有拡張記憶、３１０は共有拡張記憶制御部であ
る。もちろん、共有拡張記憶３００に接続するサブシス
テムの数は３組以上でもよい。ここで、複数の拡張記憶
を区別するために、それぞれに識別子ＥＳＩＤがつけら
れている。本実施例では、サブシステム１００内の局所
拡張記憶１１２にはＥＳＩＤ＝１が、サブシステム２０
０内の局所拡張記憶(図示せず)にはＥＳＩＤ＝２が、さ
らに、共有拡張記憶３００には、ＥＳＩＤ＝９が設定さ
れているとする。

【００１３】以下では、記憶装置間のデータ転送処理に
おいて、それぞれの記憶装置を制御する主記憶制御部１
２０、局所拡張記憶制御部１５０および共有拡張記憶制
御部３１０の動作を順に説明する。

【００１４】まず、主記憶１１０と命令プロセサ１８０
および１８２、あるいは、入出力プロセサ１９０および
１９２との間のデータ転送、および主記憶１１０と局所
拡張記憶１５０あるいは共有拡張記憶３００との間のデ
ータ転送時に主記憶１１０を制御する主記憶制御部１２
０の動作を図２を用いて説明する。

【００１５】図中、１２１ないし１２２はデータ通信先
の拡張記憶の識別子ＥＳＩＤを保持するレジスタ、１２
３ないし１３０はＡＮＤゲート、１３１ないし１３４は
プライオリティ回路、１３５ないし１３９はセレクタ、
１４０ないし１４１は＋ｍカウンタ、１４２ないし１４
３はアドレス生成部をそれぞれ示している。

【００１６】線Ｌ１ないし線Ｌ４からは、各命令プロセ
サ１８０および１８２、あるいは入出力プロセサ１９２
および１９２からの主記憶アクセス要求が送られてく
る。この要求情報には、データの通信先が要求元プロセ
サであるのか、または、拡張記憶であるかの情報を含ん
でいる。プライオリティ回路１３１では、プロセサとの
データ通信要求の場合のプライオリティを決める。プラ
イオリティ回路１３２では、局所拡張記憶へのデータ転
送要求の場合のプライオリティを決める。プライオリテ
ィ回路１３３では、共有拡張記憶へのデータ転送要求の
場合のプライオリティを決める。転送先の拡張記憶の区
別は，レジスタ１２０あるいは１２２に保持されている
識別子ＥＳＩＤ番号との比較により行なう。それぞれの
プライオリティ回路１３１ないし１３３の出力により、
セレクタ１３７ないし１３９を切り換える。セレクタ１
３７ないし１３９には、線Ｌ５ないし線Ｌ８を介して、
各命令プロセサ１８０および１８２、あるいは入出力プ
ロセサ１９２および１９２からのアクセスすべき主記憶
アドレスが送られてきている。データ通信先が拡張記憶
の場合、そのデータ転送は、ｍバイト単位に複数回くり
かえし、あるまとまった単位(たとえば４ＫＢの整数倍)
で行なわれる。そのために、拡張記憶との間のデータ通
信の場合は、線Ｌ５ないし線Ｌ８から送られてきたアド
レス情報(たとえば、転送データの先頭アドレスとデー
タ通信量)をもとに主記憶へアクセスするアドレスを生
成する必要がある。この処理を共有拡張記憶に対しては
＋ｍカウンタ１４０とアドレス生成回路１４２で行な
い、局所拡張記憶に対しては＋ｍカウンタ１４１とアド
レス生成回路１４３で行なう。ここで、生成されたアド
レスは、さらに、プライオリティ回路１３４で制御され
るセレクタ１３５を介して、主記憶へ送られ、同じくプ
ライオリティ回路１３４で制御されるセレクタ１３６を
介してデータ転送が行なわれる。さらに、線Ｌ１ないし
線Ｌ４からの要求信号が共有拡張記憶との間のデータ転
送を示している場合、この要求は、プライオリティ回路
１３３、線Ｌ１５を介して共有拡張記憶制御部に転送さ
れる。

【００１７】つぎに、命令プロセサ１８０ないし１８２
で行なう演算処理とは独立に、入出力プロセサ１９０な
いし１９２が、サブシステム１００内の局所拡張記憶１
５０と共有拡張記憶３００との非同期データ転送処理を
実現する方法を説明する。

【００１８】非同期データ転送処理は、命令プロセサ１
８０ないし１８２が実行したSTARTSUBCHANNEL命令など
の入出力命令により起動された入出力プロセサ１９０な
いし１９２により実行される。入出力プロセサ１９０あ
るいは１９２はチャネルコマンド語(ＣＣＷ)のコマンド
により入出力処理を実行する。この入出力処理は、命令
プロセサ１８０および１８２の命令実行とは独立に非同
期に行われる。

【００１９】拡張記憶間の非同期データ転送処理に使用
するＣＣＷは、図５(ａ)に示す準備ＣＣＷと図５(ｂ)に
示す実行ＣＣＷである。図中の数字０および３１はビッ
ト位置を示す。

【００２０】まずは、共有拡張記憶３００から局所拡張
記憶１１２にデータを転送する場合について説明する。

【００２１】準備ＣＣＷ(図５(ａ))では、コマンド部
(ＣＭＤ)で、ここでは共有拡張記憶からの読み出し準備
を指示するとともに、主記憶上におかれた拡張記憶用Ｉ
ＤＡＷ(Indirect Data Address Word)のアドレス(ＥＳ
−ＩＤＡＷアドレス)を示す。このＩＤＡＷは拡張記憶
の絶対アドレスを示す。ＩＤＡＷの形式を図６に示す。
ＩＤＡＷ中、ＥＳＩＤは拡張記憶を区別する識別子で、
ここではＥＳＩＤ＝９とし共有拡張記憶３００を示す。
拡張記憶ブロックアドレスは拡張記憶装置上の絶対ブロ
ックアドレスを示す。拡張記憶間のデータ転送はブロッ
ク単位(たとえば４ＫＢ)で行う。

【００２２】一方、実行ＣＣＷ(図５(ｂ))では、コマン
ド部ＣＭＤで、準備ＣＣＷのコマンドの実行を指示する
とともに、フラグ、転送ブロック長、ＥＳ−ＩＤＡＷ
アドレスを示す。通常のＣＣＷでは、ＥＳ−ＩＤＡＷ
アドレスのフィールドにはデータ転送先として主記憶の
アドレスを示すが、ここでは、拡張記憶間のデータ転送
を行うため、このフィールドがＥＳ−ＩＤＡＷアドレ
スを示すことをフラグ内のビットで指定する。

【００２３】入出力プロセサ１９０あるいは１９２は、
準備ＣＣＷ、実行ＣＣＷを解読し、転送するデータ量
(ブロック長)、拡張記憶アドレスを線Ｌ７を介して局所
拡張記憶制御部１３２に送り、線Ｌ３を介してコマンド
(読み出しあるいは書き込み)を局所拡張記憶制御部１３
２に送り起動をかける。

【００２４】これらＣＣＷで示されたサブシステム１０
０内の局所拡張記憶制御部１３２の動作を図３を用いて
説明する。

【００２５】図中、１５１はデータ通信先の拡張記憶の
識別子ＥＳＩＤを保持するレジスタ、１５２ないし１５
５はＡＮＤゲート、１５６ないし１５８はプライオリテ
ィ回路、１５９ないし１６２はセレクタ、１６３は＋ｍ
カウンタ、１６４はアドレス生成部をそれぞれ示してい
る。

【００２６】入出力プロセサ１９０あるいは１９２から
送られてきたデータ転送要求は、線Ｌ３を介して局所拡
張記憶制御部１３２に送られる。この要求は、共有拡張
記憶との間のデータ転送なので、識別子ＥＳＩＤ１５１
と比較され、プライオリティ回路１５７でプライオリテ
ィがとられ、セレクタ１６１を制御し、さらに、線Ｌ２
１を介して、この要求は、共有拡張記憶制御部に転送さ
れる。

【００２７】アドレス生成部１６４と＋ｍカウンタ１６
４の役割は主記憶制御部１２０の時と同様である。

【００２８】次に、データ転送先である共有拡張記憶３
００について説明する。共有拡張記憶３００へのアクセ
スは、複数のサブシステムから行なわれる。サブシステ
ム＃１からは、線Ｌ２１あるいは線Ｌ１５を介して要求
信号が送られ、線Ｌ３０を介して共有拡張記憶３００上
のアドレス情報が送られる。転送データは線Ｌ３１を介
して転送しあう。これらの信号線はサブシステム＃２か
らも同様に設定されている。線Ｌ４０あるいは線Ｌ４１
を介して要求信号が送られ、線Ｌ４２を介してアドレス
情報が送られる。線Ｌ４３がデータ転送路である。この
共有記憶３００を制御する共有拡張記憶制御部３１０の
動作を図４を用いて説明する。

【００２９】図中、３１１はプライオリティ回路、３１
２ないし３１３はセレクタ、３１４は＋ｍカウンタ、３
１５はアドレス生成部をそれぞれ示している。

【００３０】サブシステム＃１あるいはサブシステム＃
２から送られてきたデータ転送要求は、プライオリティ
回路３１１でプライオリティがとられ、セレクタ３１１
を制御する。アドレス生成部３１５と＋ｍカウンタ３１
４の役割は主記憶制御部１２０の時と同様である。

【００３１】サブシステム＃１の局所拡張記憶からの要
求の場合、要求は線Ｌ２１を介して届き、データは、線
Ｌ３１を介して転送される。

【００３２】この一連の拡張記憶間のデータ転送処理を
行う間、サブシステム１００内の各命令プロセサ１８０
あるいは１８２は主記憶制御部１２０を介して主記憶装
置１１０にアクセスしている。この時、入出力プロセサ
１９０あるいは１９２による拡張記憶間のデータ転送処
理によって、命令プロセサ１８０あるいは１８２の主記
憶アクセスへの影響はない。

【００３３】次に、サブシステム１００内において、別
の入出力命令で起動された入出力プロセサにより、局所
拡張記憶１１２から主記憶１１０への非同期データ転送
を行う。この処理の手順は、先ほどのように準備ＣＣＷ
および実行ＣＣＷを用いて指定するが、準備ＣＣＷ(図
５(ｂ))のＥＳ−ＩＤＡＷアドレスフィールドが主記
憶上のアドレスをあらわしているように変更されること
のみが異なる。この非同期データ転送は、各命令プロセ
サ１８０ないし１８２の主記憶装置１１０へのアクセス
に影響を与える。しかし、局所拡張記憶１１２から主記
憶１１０へのデータ転送時間は、共有拡張記憶３００か
ら主記憶１１０へのデータ転送時間に比べて短い(共有
拡張記憶３００はすべてのサブシステムをサービスする
必要があるため)ので、各命令プロセサの主記憶アクセ
スへの影響を抑えることができる。

【００３４】一方、サブシステム１００内の主記憶１１
０から局所拡張記憶１１２への非同期データ転送、さら
に、局所拡張記憶１１２から共有拡張記憶３００への非
同期データ転送処理については、準備ＣＣＷのコマンド
部(ＣＭＤ)の内容および実行ＣＣＷのコマンド部(ＣＭ
Ｄ)およびフラグ部の内容を変更する(つまり、データ転
送方向を逆向きにする)だけで実現することができる。
このとき、局所拡張記憶１１２から読みだされたデータ
は、局所拡張記憶制御部１５０から線Ｌ２０、線Ｌ３
１、そして、共有記憶制御部３１０を介して共有拡張記
憶３００に書き込まれる。線Ｌ２０は主記憶１１０から
共有拡張記憶３００にデータ転送する場合に用いる線Ｌ
１３とセレクタ１７２を介して線Ｌ３１に絞られる。セ
レクタ１７２は、主記憶制御部１２０および線Ｌ１５を
介して共有拡張記憶記憶制御部３１０に送られる要求信
号、あるいは、局所拡張記憶制御部１５０および線Ｌ２
１を介して共有拡張記憶記憶制御部３１０に送られる要
求信号によって制御される。このセレクタ１７２によ
り、共有記憶制御部３２０のポート数を抑えることがで
きる(共有記憶制御部３２０は複数のサブシステムと接
続する必要があるため)。この拡張記憶間のデータ転送
処理も命令プロセサ１８０ないし１８２の主記憶アクセ
スに対して影響を与えない。

【００３５】これまでは、拡張記憶間のデータ転送を非
同期型命令で実現する方法を示したが、同様の処理を命
令プロセサで実行する同期型命令で実現することも可能
である。

【００３６】同期型命令のフォーマットを図７(ａ)に示
す。命令コード(ＯＰ)は拡張記憶間のデータ転送(ＭＯ
ＶＥ)を示す。命令で指示された２つのレジスタの内容
を図７(ｂ)に示す。レジスタ(Ｒ１)、レジスタ(Ｒ２)で
はそれぞれ主記憶上の拡張記憶制御パラメタアドレスを
示す。主記憶上の拡張記憶制御パラメタアドレス１には
データ転送先の拡張記憶絶対アドレスと転送すべきブロ
ック数があらかじめ保持されている。拡張記憶制御パラ
メタアドレス２には、データ転送元の拡張記憶絶対アド
レスがあらかじめ保持されている。この拡張記憶絶対ア
ドレスは、非同期転送の場合と同じく図６のフォーマッ
トをしており、対象とする拡張記憶のＥＳＩＤとその拡
張記憶内の絶対アドレスを示している。これらの拡張記
憶絶対アドレスのかわりに拡張記憶相対アドレスを用い
る場合もある。このときは、アドレスリロケーションを
行い、拡張記憶相対アドレスをＥＳＩＤとその拡張記憶
内の絶対アドレスに変換する。このアドレスリロケーシ
ョンの方法については、特開平２−７７８６７に開示さ
れている。

【００３７】

【発明の効果】本発明によれば、サブシステム内の局所
拡張記憶と共有拡張記憶間のデータ転送を各命令プロセ
サからの主記憶アクセスに影響を与えずに、並行して行
うことができる。したがって、共有拡張記憶上の共有デ
ータを主記憶に取り込む場合、共有拡張記憶よりは高速
の局所拡張記憶からデータを主記憶に取込むことができ
る。図８(ｃ)にこの場合のタイムチャートを示す。１回
の繰り返し処理が８．５単位となり、台数効果は１．９
倍まで向上する。本発明のような局所拡張記憶と共有拡
張記憶間の直接データ転送を実現することにより、図５
(ａ)の場合に比べて、１１単位から８．５単位と２２％
の時間を短縮することができる。これは、本来の演算時
間８単位以外をすべてオーバヘッドとすると，オーバヘ
ッド部分を３単位から０．５単位に８３％も削減できる
ことを示している。

【図面の簡単な説明】

【図１】記憶制御部を中心とする並列計算機システムの
構成図。

【図２】主記憶制御部の詳細図。

【図３】局所拡張記憶制御部の詳細図。

【図４】共有拡張記憶制御部の詳細図。

【図５】拡張記憶装置間のデータ転送命令の形式(ＣＣ
Ｗ)の一例を示す図。

【図６】主記憶上の拡張記憶絶対アドレスフォーマット
の一例を示す図。

【図７】同期型拡張記憶間データ転送命令フォーマット
とその構成図。

【図８】並列処理時の演算処理とデータ転送処理の基本
タイムチャート。

【符号の説明】

１００、２００…サブシステム、１１０…主記憶、１３
０…主記憶制御部、１１２…局所拡張記憶、、１
５０…局所拡張記憶制御部、１８０、１８２…命令プロ
セサ、１９０、１９２…入出力プロセサ、３００…共有
拡張記憶、、３１０…共有拡張記憶制御部。

───────────────────────────────────────────────────── フロントページの続き (72)発明者榊原忠幸東京都国分寺市東恋ケ窪１丁目280番地株式会社日立製作所中央研究所内 (72)発明者伊藤昌尚東京都国分寺市東恋ケ窪１丁目280番地株式会社日立製作所中央研究所内

Claims

【特許請求の範囲】

【請求項１】主記憶装置と該主記憶装置に接続され命令
を実行する少なくとも１つの命令処理装置と少なくとも
１つの入出力装置とランダムアクセスメモリから構成さ
れ該主記憶装置の２次記憶として接続される局所拡張記
憶装置とからなる複数のサブシステムと、ランダムアク
セスメモリから構成され上記サブシステム間で共有され
る共有拡張記憶装置とを有する並列処理システムにおい
て、該局所拡張記憶装置と共有拡張記憶装置間で直接デ
ータを転送するデータ転送手段を有することを特徴とす
る並列処理システム。
【請求項２】上記並列処理システムにおいて、直接、該
局所拡張記憶装置と該共有拡張記憶装置間でデータを転
送するために、２つの拡張記憶装置を指定する拡張記憶
間データ転送命令を設けることを特徴とする特許請求項
１の並列処理システム。