JP2906819B2 - 並列計算機及びデータ交換制御装置 - Google Patents
並列計算機及びデータ交換制御装置Info
- Publication number
- JP2906819B2 JP2906819B2 JP4092783A JP9278392A JP2906819B2 JP 2906819 B2 JP2906819 B2 JP 2906819B2 JP 4092783 A JP4092783 A JP 4092783A JP 9278392 A JP9278392 A JP 9278392A JP 2906819 B2 JP2906819 B2 JP 2906819B2
- Authority
- JP
- Japan
- Prior art keywords
- memory
- data
- processor
- processing element
- address
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Advance Control (AREA)
- Multi Processors (AREA)
Description
【０００１】
【産業上の利用分野】この発明は、複数のプロセッシン
グエレメントを備えた並列計算機に関するものである。
グエレメントを備えた並列計算機に関するものである。
【０００２】
【従来の技術】図７は例えば「特願平３−０４９５６
５」に示された従来の分散共有メモリ方式並列計算機を
示すシステム構成図である。図において、１はプロセッ
シングエレメント（以下、ＰＥともいう）である。ＰＥ
は並列計算機の基本単位であり、並列計算機は任意個の
ＰＥにより構成される。２はプロセッサ（ＭＰＵ）であ
り、５は各ＰＥに分散配置された分散共有メモリであ
る。６はシステム全体のＰＥを接続するシステムバスで
ある。２９はＰＥからの出力データをバッファすると共
に転送タイミングを制御する機能を持ったＦＩＦＯレジ
スタ（以下、ＦＩＦＯともいう）である。３０はシステ
ム全体のデータ転送を制御するデータ転送制御用プロセ
ッサ（以下、転送用ＰＥともいう）である。この構成に
おいて、分散配置された共有メモリは全てのＰＥが全て
のアドレスをアクセスできるが、同じＰＥ内に配置され
たメモリアドレスは高速にアクセスできる。
５」に示された従来の分散共有メモリ方式並列計算機を
示すシステム構成図である。図において、１はプロセッ
シングエレメント（以下、ＰＥともいう）である。ＰＥ
は並列計算機の基本単位であり、並列計算機は任意個の
ＰＥにより構成される。２はプロセッサ（ＭＰＵ）であ
り、５は各ＰＥに分散配置された分散共有メモリであ
る。６はシステム全体のＰＥを接続するシステムバスで
ある。２９はＰＥからの出力データをバッファすると共
に転送タイミングを制御する機能を持ったＦＩＦＯレジ
スタ（以下、ＦＩＦＯともいう）である。３０はシステ
ム全体のデータ転送を制御するデータ転送制御用プロセ
ッサ（以下、転送用ＰＥともいう）である。この構成に
おいて、分散配置された共有メモリは全てのＰＥが全て
のアドレスをアクセスできるが、同じＰＥ内に配置され
たメモリアドレスは高速にアクセスできる。
【０００３】次に動作について説明する。このシステム
においては、各ＰＥがプログラムを実行する際に必要と
するデータは自ＰＥ内の分散共有メモリ内に置くことを
基本としている。この方針により、演算とデータの関係
が自ＰＥ内に閉じている限りは、データをシステムバス
経由でアクセスする必要がないので、メモリを高速にア
クセスできる。しかし、１つのプロセスを複数ＰＥで分
担して実行する際にはほとんどの場合にＰＥ間でのデー
タ交換が必要となる。このシステムでは、このデータ交
換を効率良く実行するために、専用に設けたデータ転送
制御用プロセッサ３０がＰＥ間のデータ転送を全て担当
している。まず、各ＰＥでの演算結果を他のＰＥに転送
する必要が生じるとＭＰＵはそのデータをＦＩＦＯ２９
に格納する。転送用ＰＥ３０にはあらかじめ各ＰＥがデ
ータをＦＩＦＯに格納する順番とそのデータの転送先が
転送用プログラムにより示されており、各演算担当ＰＥ
のＭＰＵの動作とは非同期にデータ転送動作を実行でき
る。また、ＦＩＦＯ２９は転送用ＰＥ３０に対し要求さ
れたデータの有無を示す割り込み制御機構を備えている
ので、転送用ＰＥ３０は最小限の同期オーバヘッドで転
送を行うことができる。
においては、各ＰＥがプログラムを実行する際に必要と
するデータは自ＰＥ内の分散共有メモリ内に置くことを
基本としている。この方針により、演算とデータの関係
が自ＰＥ内に閉じている限りは、データをシステムバス
経由でアクセスする必要がないので、メモリを高速にア
クセスできる。しかし、１つのプロセスを複数ＰＥで分
担して実行する際にはほとんどの場合にＰＥ間でのデー
タ交換が必要となる。このシステムでは、このデータ交
換を効率良く実行するために、専用に設けたデータ転送
制御用プロセッサ３０がＰＥ間のデータ転送を全て担当
している。まず、各ＰＥでの演算結果を他のＰＥに転送
する必要が生じるとＭＰＵはそのデータをＦＩＦＯ２９
に格納する。転送用ＰＥ３０にはあらかじめ各ＰＥがデ
ータをＦＩＦＯに格納する順番とそのデータの転送先が
転送用プログラムにより示されており、各演算担当ＰＥ
のＭＰＵの動作とは非同期にデータ転送動作を実行でき
る。また、ＦＩＦＯ２９は転送用ＰＥ３０に対し要求さ
れたデータの有無を示す割り込み制御機構を備えている
ので、転送用ＰＥ３０は最小限の同期オーバヘッドで転
送を行うことができる。
【０００４】このシステムを従来の集中配置型共有メモ
リ＋キャッシュ方式（以下、集中方式と呼ぶ）と比較す
ると、集中方式ではＰＥ間のデータ転送にキャッシュか
らメモリへの書き戻しと、メモリからキャッシュへの書
き込みの２回のバス上のデータ転送が必要となってい
た。また、集中方式では各ＰＥの演算にデータが必要に
なってからメモリからキャッシュへの転送が発生するた
めに転送タイミングが固定的で、転送動作が競合する可
能性が高く、その競合が直接演算の待ちにつながってい
た。それに対し、ここに示した分散共有メモリ方式では
データ転送の回数が半分になると共に、データ転送のタ
イミングの自由度が向上し、実質的なバス性能が向上す
る。
リ＋キャッシュ方式（以下、集中方式と呼ぶ）と比較す
ると、集中方式ではＰＥ間のデータ転送にキャッシュか
らメモリへの書き戻しと、メモリからキャッシュへの書
き込みの２回のバス上のデータ転送が必要となってい
た。また、集中方式では各ＰＥの演算にデータが必要に
なってからメモリからキャッシュへの転送が発生するた
めに転送タイミングが固定的で、転送動作が競合する可
能性が高く、その競合が直接演算の待ちにつながってい
た。それに対し、ここに示した分散共有メモリ方式では
データ転送の回数が半分になると共に、データ転送のタ
イミングの自由度が向上し、実質的なバス性能が向上す
る。
【０００５】
【発明が解決しようとする課題】従来の分散共有メモリ
方式並列計算機におけるデータ転送制御プロセッサ方式
では、転送動作のためには各アプリケーションごとに専
用のデータ転送用プログラムが必要であり、プログラム
設計が複雑になるという問題と、データ転送用プログラ
ムを作成するために、あらかじめスタティックに負荷分
散法を定義しておく必要があり、実行中のダイナミック
な負荷分散が困難であるという問題があった。
方式並列計算機におけるデータ転送制御プロセッサ方式
では、転送動作のためには各アプリケーションごとに専
用のデータ転送用プログラムが必要であり、プログラム
設計が複雑になるという問題と、データ転送用プログラ
ムを作成するために、あらかじめスタティックに負荷分
散法を定義しておく必要があり、実行中のダイナミック
な負荷分散が困難であるという問題があった。
【０００６】この発明は、並列計算機におけるＰＥ間の
負荷分散によるデータ転送先のアドレス指定をアドレス
マッピング方式により行い、更にメモリの一部をブロー
ドキャスト領域として用いることにより、コンパイラの
設計を容易にし、また、アプリケーションプログラムの
設計における複雑さを低減することを目的としている。
負荷分散によるデータ転送先のアドレス指定をアドレス
マッピング方式により行い、更にメモリの一部をブロー
ドキャスト領域として用いることにより、コンパイラの
設計を容易にし、また、アプリケーションプログラムの
設計における複雑さを低減することを目的としている。
【０００７】また、この発明はブロードキャスト手段と
非同期アクセス手段を備えたデータ交換制御装置の実現
可能な方式を得ることを目的としている。
非同期アクセス手段を備えたデータ交換制御装置の実現
可能な方式を得ることを目的としている。
【０００８】
【課題を解決するための手段】この発明に係る並列計算
機は、データ処理を行なうプロセッサを有する複数のプ
ロセッシングエレメントを有し、データを記憶する複数
のメモリを上記複数のプロセッシングエレメントにそれ
ぞれ配置して、配置した各メモリを他のプロセッシング
エレメントと共有する分散共有メモリとして使用する並
列計算機において、 各プロセッシングエレメントは、 デ
ータが配置される分散共有メモリのデータ領域に対しア
ドレスマッピングを行うアドレスマッピング手段と、 上
記アドレスマッピング手段によりマッピングされる分散
共有メモリのデータ領域の特定の領域を各プロセッシン
グエレメントに共通のブロードキャスト領域として扱う
ブロードキャスト手段と、 上記アドレスマッピング手段
およびブロードキャスト手段に基づく自プロセッシング
エレメント内および他プロセッシングエレメント内のプ
ロセッサのメモリアクセス要求を受けて、その要求に対
応する実際のメモリアクセスを要求元のプロセッサの命
令実行動作とは非同期に実行する非同期アクセス手段と
を有するとともに、 上記並列計算機は、 上記ブロードキ
ャスト領域として、各プロセッシングエレメントに配置
された各メモリの特定の領域を各プロセッシングエレメ
ント毎にそれぞれ物理的に確保し、 上記ブロードキャス
ト領域に対する書き込みは、上記各プロセッシングエレ
メント毎にそれぞれ物理的に確保された各メモリの特定
の領域に対して各非同期アクセス手段によりそれぞれ行
われ、 上記ブロードキャスト領域に対する読み出しは、
読み出しを行なうプロセッシングエレメント毎にそれぞ
れで物理的に確保されたメモリの特定の領域に対して該
プロセッシングエレメントの非同期アクセス手段により
行われることを特徴とする。
機は、データ処理を行なうプロセッサを有する複数のプ
ロセッシングエレメントを有し、データを記憶する複数
のメモリを上記複数のプロセッシングエレメントにそれ
ぞれ配置して、配置した各メモリを他のプロセッシング
エレメントと共有する分散共有メモリとして使用する並
列計算機において、 各プロセッシングエレメントは、 デ
ータが配置される分散共有メモリのデータ領域に対しア
ドレスマッピングを行うアドレスマッピング手段と、 上
記アドレスマッピング手段によりマッピングされる分散
共有メモリのデータ領域の特定の領域を各プロセッシン
グエレメントに共通のブロードキャスト領域として扱う
ブロードキャスト手段と、 上記アドレスマッピング手段
およびブロードキャスト手段に基づく自プロセッシング
エレメント内および他プロセッシングエレメント内のプ
ロセッサのメモリアクセス要求を受けて、その要求に対
応する実際のメモリアクセスを要求元のプロセッサの命
令実行動作とは非同期に実行する非同期アクセス手段と
を有するとともに、 上記並列計算機は、 上記ブロードキ
ャスト領域として、各プロセッシングエレメントに配置
された各メモリの特定の領域を各プロセッシングエレメ
ント毎にそれぞれ物理的に確保し、 上記ブロードキャス
ト領域に対する書き込みは、上記各プロセッシングエレ
メント毎にそれぞれ物理的に確保された各メモリの特定
の領域に対して各非同期アクセス手段によりそれぞれ行
われ、 上記ブロードキャスト領域に対する読み出しは、
読み出しを行なうプロセッシングエレメント毎にそれぞ
れで物理的に確保されたメモリの特定の領域に対して該
プロセッシングエレメントの非同期アクセス手段により
行われることを特徴とする。
【０００９】また、この発明に係るデータ交換制御装置
は、以下の要素を有するものである。 （ａ）自プロセッシングエレメントのプロセッサからの
メモリアクセス要求を受け、ブロードキャストアクセス
要求か否かを判断してアドレスマッピングを行なうとと
もに、プロセッサと非同期にメモリアクセス要求を完了
させる自プロセッシングエレメントマスタ要求制御手
段、（ｂ）他プロセッシングエレメントのプロセッサか
らのメモリアクセス要求を受け、ブロードキャストアク
セス要求か否かを判断してアドレスマッピングを行なう
とともに、プロセッサと非同期にメモリアクセス要求を
完了させる他プロセッシングエレメントマスタ要求制御
手段、（ｃ）上記自プロセッシングエレメントマスタ要
求制御手段及び他プロセッシングエレメントマスタ要求
制御手段によるデータ転送路経由のデータ交換を制御す
る通信制御手段。
は、以下の要素を有するものである。 （ａ）自プロセッシングエレメントのプロセッサからの
メモリアクセス要求を受け、ブロードキャストアクセス
要求か否かを判断してアドレスマッピングを行なうとと
もに、プロセッサと非同期にメモリアクセス要求を完了
させる自プロセッシングエレメントマスタ要求制御手
段、（ｂ）他プロセッシングエレメントのプロセッサか
らのメモリアクセス要求を受け、ブロードキャストアク
セス要求か否かを判断してアドレスマッピングを行なう
とともに、プロセッサと非同期にメモリアクセス要求を
完了させる他プロセッシングエレメントマスタ要求制御
手段、（ｃ）上記自プロセッシングエレメントマスタ要
求制御手段及び他プロセッシングエレメントマスタ要求
制御手段によるデータ転送路経由のデータ交換を制御す
る通信制御手段。
【００１０】
【作用】この発明における並列計算機は、各ＰＥへのデ
ータ分割をアドレスマッピングにより制御する。また、
配列など論理アドレス上は一つにまとまったデータを複
数のＰＥに分割する場合には、メモリ上に置いたブロー
ドキャスト領域にマッピングすることにより、データ分
割の変更によるアドレスマッピングの変更が発生しな
い。たとえば、各ＰＥ内に分散配置された共有メモリの
メモリアドレスが、ＰＥアドレスを含む上位アドレスと
オフセットアドレスを用いた下位アドレスで表されるよ
うなシステムにおいて、各ＰＥを示すそれぞれのＰＥア
ドレスの他にあらかじめ定めた特定の１つのＰＥアドレ
スをブロードキャストアドレスとして認識することによ
り、アドレスマッピング機能と組み合わせてブロードキ
ャスト機能を実現する。
ータ分割をアドレスマッピングにより制御する。また、
配列など論理アドレス上は一つにまとまったデータを複
数のＰＥに分割する場合には、メモリ上に置いたブロー
ドキャスト領域にマッピングすることにより、データ分
割の変更によるアドレスマッピングの変更が発生しな
い。たとえば、各ＰＥ内に分散配置された共有メモリの
メモリアドレスが、ＰＥアドレスを含む上位アドレスと
オフセットアドレスを用いた下位アドレスで表されるよ
うなシステムにおいて、各ＰＥを示すそれぞれのＰＥア
ドレスの他にあらかじめ定めた特定の１つのＰＥアドレ
スをブロードキャストアドレスとして認識することによ
り、アドレスマッピング機能と組み合わせてブロードキ
ャスト機能を実現する。
【００１１】また、この発明におけるデータ交換制御装
置は、上記ブロードキャスト手段と非同期アクセス手段
を実現するためのもので、プロセッサからのアクセス要
求の制御およびデータ交換制御装置間の通信制御を自分
のプロセッサの演算動作と非同期に行うとともに、ブロ
ードキャストアクセス要求か否かを判断して、ブロード
キャストアクセス要求のための通信制御およびメモリア
クセスを行なう。
置は、上記ブロードキャスト手段と非同期アクセス手段
を実現するためのもので、プロセッサからのアクセス要
求の制御およびデータ交換制御装置間の通信制御を自分
のプロセッサの演算動作と非同期に行うとともに、ブロ
ードキャストアクセス要求か否かを判断して、ブロード
キャストアクセス要求のための通信制御およびメモリア
クセスを行なう。
【００１２】
実施例１．以下、この発明の一実施例を図について説明
する。図１において、１はプロセッシングエレメント
（ＰＥ）で、ここでは４個のＰＥが記載されているが、
実際には任意個数のＰＥで並列計算機が構成される。ま
た、各ＰＥはそれぞれ以下の２から５の要素で構成され
る。２はプロセッサ（ＭＰＵ）である。３はメモリ管理
ユニット（ＭＭＵ）で論理アドレスから物理アドレスへ
のアドレス変換を担当する。４はデータ交換制御装置
（ＤＸＵ）でメモリアクセスの制御を全て担当する。５
は分散共有メモリである。分散共有メモリは計算機シス
テム全体で１つのリニアな物理アドレスを持つ共有メモ
リである。しかし、各ＰＥに分散して配置されているた
め、ローカルメモリ的な性質を兼ね備えており、各ＭＰ
Ｕにとって、自ＰＥ内のメモリは他のＰＥのメモリより
高速にアクセスできる。６はシステムバスで並列計算機
内の全てのＰＥを接続する。本システムではＤＸＵ４が
このシステムバスと接続されている。
する。図１において、１はプロセッシングエレメント
（ＰＥ）で、ここでは４個のＰＥが記載されているが、
実際には任意個数のＰＥで並列計算機が構成される。ま
た、各ＰＥはそれぞれ以下の２から５の要素で構成され
る。２はプロセッサ（ＭＰＵ）である。３はメモリ管理
ユニット（ＭＭＵ）で論理アドレスから物理アドレスへ
のアドレス変換を担当する。４はデータ交換制御装置
（ＤＸＵ）でメモリアクセスの制御を全て担当する。５
は分散共有メモリである。分散共有メモリは計算機シス
テム全体で１つのリニアな物理アドレスを持つ共有メモ
リである。しかし、各ＰＥに分散して配置されているた
め、ローカルメモリ的な性質を兼ね備えており、各ＭＰ
Ｕにとって、自ＰＥ内のメモリは他のＰＥのメモリより
高速にアクセスできる。６はシステムバスで並列計算機
内の全てのＰＥを接続する。本システムではＤＸＵ４が
このシステムバスと接続されている。
【００１３】次に図２はＤＸＵ４の内部構成を示すブロ
ック図である。７は自分のＰＥ内のマスタ（ＭＰＵ２お
よびＭＭＵ３）からのアクセス要求に伴なう制御を担当
する自ＰＥマスタ要求制御部である。８は同じく他のＰ
Ｅのマスタからのアクセス要求を制御する他ＰＥマスタ
要求制御部である。９はアクセス要求の種類によってそ
の優先度の判断をする優先度制御部である。１０は自分
のＰＥ内の分散共有メモリ５を実際にアクセスするメモ
リアクセス制御部である。１１はバスを経由したＤＸＵ
間通信を制御するＤＸＵ間通信制御部である。これらは
内部に適宜バッファを持つ。また、自ＰＥマスタ要求制
御部７、他ＰＥマスタ要求制御部８、ＤＸＵ間通信制御
部１１は、自分のＰＥ内のマスタ（ＭＰＵ２およびＭＭ
Ｕ３）及び他のＰＥのマスタと非同期に動作するように
設計されている。
ック図である。７は自分のＰＥ内のマスタ（ＭＰＵ２お
よびＭＭＵ３）からのアクセス要求に伴なう制御を担当
する自ＰＥマスタ要求制御部である。８は同じく他のＰ
Ｅのマスタからのアクセス要求を制御する他ＰＥマスタ
要求制御部である。９はアクセス要求の種類によってそ
の優先度の判断をする優先度制御部である。１０は自分
のＰＥ内の分散共有メモリ５を実際にアクセスするメモ
リアクセス制御部である。１１はバスを経由したＤＸＵ
間通信を制御するＤＸＵ間通信制御部である。これらは
内部に適宜バッファを持つ。また、自ＰＥマスタ要求制
御部７、他ＰＥマスタ要求制御部８、ＤＸＵ間通信制御
部１１は、自分のＰＥ内のマスタ（ＭＰＵ２およびＭＭ
Ｕ３）及び他のＰＥのマスタと非同期に動作するように
設計されている。
【００１４】次に動作について説明する。まず、図１の
４個のＰＥがひとまとまりの処理を分担する場合につい
て説明する。この場合に論理アドレス空間はシステム全
体で１つである。各ＭＰＵはそれぞれ独自のＭＭＵを持
っているがそのアドレスマッピングテーブルはＯＳより
システム全体で一元的に管理されている。このＯＳによ
り管理されるアドレスマッピングテーブルはプロセスの
起動前に設定したものを実行中固定的に使用してもよい
し、プロセスの実行中にダイナミックスケジューリング
に伴い変更しても良い。
４個のＰＥがひとまとまりの処理を分担する場合につい
て説明する。この場合に論理アドレス空間はシステム全
体で１つである。各ＭＰＵはそれぞれ独自のＭＭＵを持
っているがそのアドレスマッピングテーブルはＯＳより
システム全体で一元的に管理されている。このＯＳによ
り管理されるアドレスマッピングテーブルはプロセスの
起動前に設定したものを実行中固定的に使用してもよい
し、プロセスの実行中にダイナミックスケジューリング
に伴い変更しても良い。
【００１５】メモリは分散配置されているが、共有メモ
リなので、図３に示すように論理アドレス空間１２の各
領域はそれぞれ物理アドレス空間１３のどこかの領域に
１対１に割り当てられる。この方式において、たとえ
ば、「論理アドレス空間でのアドレス」１５はインデッ
クス番号（上位アドレス）とオフセットアドレス（下位
アドレス）で構成される。ＭＭＵはこの「論理アドレス
空間でのアドレス」１５のインデックス番号をページ番
号に変換することにより、「物理アドレス空間でのアド
レス」１６を生成する。この「物理アドレス空間でのア
ドレス」１６におけるページ番号は、たとえば、ＰＥ番
号とページ番号から構成することもでき、このようにＰ
Ｅ番号とページ番号から上位アドレスを構成することに
より、「分散配置された物理アドレス空間でのアドレ
ス」１７が構成できる。ＰＥ番号は、ＰＥのアドレスを
示すものであり、たとえば、４個のＰＥがある場合、Ｐ
Ｅ番号（ＰＥアドレスともいう）は、“００”、“０
１”、“１０”、“１１”を用いることができる。この
ように、物理アドレスの上位ビットはＰＥを特定するＰ
Ｅアドレスとして使われる。したがって、全てのＭＰＵ
は特定のデータが自ＰＥの物理アドレス空間に割り当て
られているか他ＰＥの物理アドレス空間に割り当てられ
ているかを意識する必要はなく、どちらの場合でも自由
にアクセスすることができる。但し、アクセス速度は異
なるので従来方式同様に必要なデータをなるべく自ＰＥ
の領域に置くようにする。
リなので、図３に示すように論理アドレス空間１２の各
領域はそれぞれ物理アドレス空間１３のどこかの領域に
１対１に割り当てられる。この方式において、たとえ
ば、「論理アドレス空間でのアドレス」１５はインデッ
クス番号（上位アドレス）とオフセットアドレス（下位
アドレス）で構成される。ＭＭＵはこの「論理アドレス
空間でのアドレス」１５のインデックス番号をページ番
号に変換することにより、「物理アドレス空間でのアド
レス」１６を生成する。この「物理アドレス空間でのア
ドレス」１６におけるページ番号は、たとえば、ＰＥ番
号とページ番号から構成することもでき、このようにＰ
Ｅ番号とページ番号から上位アドレスを構成することに
より、「分散配置された物理アドレス空間でのアドレ
ス」１７が構成できる。ＰＥ番号は、ＰＥのアドレスを
示すものであり、たとえば、４個のＰＥがある場合、Ｐ
Ｅ番号（ＰＥアドレスともいう）は、“００”、“０
１”、“１０”、“１１”を用いることができる。この
ように、物理アドレスの上位ビットはＰＥを特定するＰ
Ｅアドレスとして使われる。したがって、全てのＭＰＵ
は特定のデータが自ＰＥの物理アドレス空間に割り当て
られているか他ＰＥの物理アドレス空間に割り当てられ
ているかを意識する必要はなく、どちらの場合でも自由
にアクセスすることができる。但し、アクセス速度は異
なるので従来方式同様に必要なデータをなるべく自ＰＥ
の領域に置くようにする。
【００１６】まず、プロセスの実行を通して常に特定の
ＰＥだけに係わるデータはそのＰＥのメモリにマッピン
グする。問題はプロセスの実行中にＰＥ間で大規模なデ
ータ交換を行わざるを得ない場合の対処法である。その
様な例を図４に示す。これは配列データに対する演算で
ある。まず、配列Ａに対して処理１を実行する場合に図
に示すように行単位に分割して各ＰＥに割り当てたとす
る。ここでアクセスを高速化するために処理の分割と同
様に配列データも行単位に各ＰＥに割り当てると処理１
の実行中は互いにデータ交換の必要なく処理を実行でき
る。次にこの処理の結果として配列Ｂができる。この場
合にデータはＢ−１のように各ＰＥの分散共有メモリに
分割されている。ここで次の処理２がこの配列のデータ
をＢ−２のように分割して各ＰＥで処理する必要がある
場合にＰＥ間で大規模なデータ交換が発生する。
ＰＥだけに係わるデータはそのＰＥのメモリにマッピン
グする。問題はプロセスの実行中にＰＥ間で大規模なデ
ータ交換を行わざるを得ない場合の対処法である。その
様な例を図４に示す。これは配列データに対する演算で
ある。まず、配列Ａに対して処理１を実行する場合に図
に示すように行単位に分割して各ＰＥに割り当てたとす
る。ここでアクセスを高速化するために処理の分割と同
様に配列データも行単位に各ＰＥに割り当てると処理１
の実行中は互いにデータ交換の必要なく処理を実行でき
る。次にこの処理の結果として配列Ｂができる。この場
合にデータはＢ−１のように各ＰＥの分散共有メモリに
分割されている。ここで次の処理２がこの配列のデータ
をＢ−２のように分割して各ＰＥで処理する必要がある
場合にＰＥ間で大規模なデータ交換が発生する。
【００１７】この様な場合について、ＰＥ間データ交換
を高速に実行する方法と、配列Ａ、配列Ｂ、配列Ｃなど
を各ＰＥに分割する際のアドレスマッピング法を以下に
説明する。まず、図３に示すように、ＰＥが４個ある場
合を例にＰＥ間データ交換を高速に実行する方法を説明
する。「処理１」が演算結果を順次出力する際に配列Ｂ
−１のように出力するのではなく、次の「処理２」に合
わせて分割された配列Ｂ−２のように直接出力する。す
なわち、処理１の出力として、ＰＥ１は、データＸ１１
をＰＥ１の分散共有メモリに出力し、データＸ１２をＰ
Ｅ２の分散共有メモリに直接出力し、データＸ１３をＰ
Ｅ３の分散共有メモリに直接出力し、データＸ１４をＰ
Ｅ４の分散共有メモリに直接出力する。同様に、ＰＥ２
は、データＸ２１をＰＥ１の分散共有メモリに出力し、
データＸ２２をＰＥ２の分散共有メモリに直接出力し、
データＸ２３をＰＥ３の分散共有メモリに直接出力し、
データＸ２４をＰＥ４の分散共有メモリに直接出力す
る。以下、データＸ３１〜Ｘ４４についても同様であ
る。その結果、データ転送は次の処理にデータが必要に
なってからではなく、前の処理が終わったらすぐに、前
倒しに転送することができる。また、この時ＤＸＵの各
制御部はＭＰＵと非同期に動作する機能を持っているの
で、バスネックによる転送待ちが発生しても、それが直
ちにＭＰＵのオーバヘッドにはならない。その結果、バ
スのデータ転送性能が実質的に向上する。
を高速に実行する方法と、配列Ａ、配列Ｂ、配列Ｃなど
を各ＰＥに分割する際のアドレスマッピング法を以下に
説明する。まず、図３に示すように、ＰＥが４個ある場
合を例にＰＥ間データ交換を高速に実行する方法を説明
する。「処理１」が演算結果を順次出力する際に配列Ｂ
−１のように出力するのではなく、次の「処理２」に合
わせて分割された配列Ｂ−２のように直接出力する。す
なわち、処理１の出力として、ＰＥ１は、データＸ１１
をＰＥ１の分散共有メモリに出力し、データＸ１２をＰ
Ｅ２の分散共有メモリに直接出力し、データＸ１３をＰ
Ｅ３の分散共有メモリに直接出力し、データＸ１４をＰ
Ｅ４の分散共有メモリに直接出力する。同様に、ＰＥ２
は、データＸ２１をＰＥ１の分散共有メモリに出力し、
データＸ２２をＰＥ２の分散共有メモリに直接出力し、
データＸ２３をＰＥ３の分散共有メモリに直接出力し、
データＸ２４をＰＥ４の分散共有メモリに直接出力す
る。以下、データＸ３１〜Ｘ４４についても同様であ
る。その結果、データ転送は次の処理にデータが必要に
なってからではなく、前の処理が終わったらすぐに、前
倒しに転送することができる。また、この時ＤＸＵの各
制御部はＭＰＵと非同期に動作する機能を持っているの
で、バスネックによる転送待ちが発生しても、それが直
ちにＭＰＵのオーバヘッドにはならない。その結果、バ
スのデータ転送性能が実質的に向上する。
【００１８】次に図５に示すように、ＰＥアドレスが４
個分あってＰＥが３個ある場合を例に、配列を各ＰＥに
分割する際のアドレスマッピング法を説明する。このよ
うに、以下に示す方式では実際のＰＥ数より１個多いＰ
Ｅアドレスが必要である。一般的に配列は論理アドレス
上では一塊に配置される。これを複数のＰＥに分割する
のに、ここに示す方式では論理アドレスから物理アドレ
スへのアドレスマッピングを利用する。しかし、このア
ドレスマッピングはページ単位で行われるため希望する
分割法を実現するのは容易ではなく、論理アドレス上で
あらかじめ特殊な配置をするなどの工夫が必要となる。
この様な問題を解決するため、このシステムではメモリ
にブロードキャスト領域を導入する。まず、論理アドレ
ス上の特定領域をブロードキャスト領域と定義し、コン
パイラなどが配列をこの領域に配置することでＯＳ等に
対してこの配列を物理的に各ＰＥの分散共有メモリにブ
ロードキャストすることを指定する。このアドレスとし
て、本実施例では４個目のＰＥアドレス、すなわち、
“１１”を割り当てるものとする。ＭＭＵにより論理ア
ドレスをリニアな物理アドレスにマッピングする際に、
このブロードキャスト領域だけはＰＥアドレスが固定で
同じＰＥアドレス“１１”にマッピングされる。ただし
ページアドレスは一般領域と競合しない範囲で自由にマ
ッピングできる。更に図に示すように物理アドレス上の
この領域はＤＸＵの機能により、実際の物理メモリに対
しては全ＰＥの同じページに同時にマッピングされる。
個分あってＰＥが３個ある場合を例に、配列を各ＰＥに
分割する際のアドレスマッピング法を説明する。このよ
うに、以下に示す方式では実際のＰＥ数より１個多いＰ
Ｅアドレスが必要である。一般的に配列は論理アドレス
上では一塊に配置される。これを複数のＰＥに分割する
のに、ここに示す方式では論理アドレスから物理アドレ
スへのアドレスマッピングを利用する。しかし、このア
ドレスマッピングはページ単位で行われるため希望する
分割法を実現するのは容易ではなく、論理アドレス上で
あらかじめ特殊な配置をするなどの工夫が必要となる。
この様な問題を解決するため、このシステムではメモリ
にブロードキャスト領域を導入する。まず、論理アドレ
ス上の特定領域をブロードキャスト領域と定義し、コン
パイラなどが配列をこの領域に配置することでＯＳ等に
対してこの配列を物理的に各ＰＥの分散共有メモリにブ
ロードキャストすることを指定する。このアドレスとし
て、本実施例では４個目のＰＥアドレス、すなわち、
“１１”を割り当てるものとする。ＭＭＵにより論理ア
ドレスをリニアな物理アドレスにマッピングする際に、
このブロードキャスト領域だけはＰＥアドレスが固定で
同じＰＥアドレス“１１”にマッピングされる。ただし
ページアドレスは一般領域と競合しない範囲で自由にマ
ッピングできる。更に図に示すように物理アドレス上の
この領域はＤＸＵの機能により、実際の物理メモリに対
しては全ＰＥの同じページに同時にマッピングされる。
【００１９】この機能を実現するＤＸＵの動作を具体的
に説明する。図５はＰＥが３個ある場合のアドレスマッ
ピングを示す図であり、各ＰＥ内のメモリアドレスは図
３の１７に示したようにＰＥ番号（ＰＥアドレス）が異
なるだけで、ページ番号、オフセットアドレス（下位ア
ドレス）は全く同様に設定されているものとする。ＤＸ
ＵはこのＰＥアドレスを判断して自分の担当メモリであ
れば行動を起こす。特定のＰＥアドレス、例えば、“１
１”を持つアドレスをブロードキャストアドレスと定義
し、このアドレスの場合は全ＤＸＵがアクセス動作を起
こし、このブロードキャスト領域への書き込みを各ＰＥ
の分散共有メモリのブロードキャストアドレスのページ
及びオフセットアドレスと同じアドレスへの書き込みと
する（書き込みの場合）。これによってブロードキャス
トができる。但し、このＰＥアドレスに対する読み出し
を命令された場合は自ＰＥ内でローカルに処理する。す
なわちブロードキャスト領域に割り当てられた配列など
に対して、書き込みは全ＰＥの分散共有メモリに行わ
れ、読み出しは自分の分散共有メモリから行なう。な
お、論理アドレス割り付け時に、ＰＥアドレスを１１と
することによってＯＳに対してブロードキャスト要求の
意思表示を行うことができることを示したが、ＰＥがど
れだけ増えてもブロードキャスト領域の最大容量は各Ｐ
Ｅの最大メモリ量と等しく一定なのでこの方式で対応で
きる。また、この方式では書き込み動作は直ちに全メモ
リに反映されるのでコヒーレンシが保たれる。また、ア
クセスの種類についての優先度付けを定義することによ
りコヒーレンシの質を高く保ち、また、性能を向上させ
ることができる。
に説明する。図５はＰＥが３個ある場合のアドレスマッ
ピングを示す図であり、各ＰＥ内のメモリアドレスは図
３の１７に示したようにＰＥ番号（ＰＥアドレス）が異
なるだけで、ページ番号、オフセットアドレス（下位ア
ドレス）は全く同様に設定されているものとする。ＤＸ
ＵはこのＰＥアドレスを判断して自分の担当メモリであ
れば行動を起こす。特定のＰＥアドレス、例えば、“１
１”を持つアドレスをブロードキャストアドレスと定義
し、このアドレスの場合は全ＤＸＵがアクセス動作を起
こし、このブロードキャスト領域への書き込みを各ＰＥ
の分散共有メモリのブロードキャストアドレスのページ
及びオフセットアドレスと同じアドレスへの書き込みと
する（書き込みの場合）。これによってブロードキャス
トができる。但し、このＰＥアドレスに対する読み出し
を命令された場合は自ＰＥ内でローカルに処理する。す
なわちブロードキャスト領域に割り当てられた配列など
に対して、書き込みは全ＰＥの分散共有メモリに行わ
れ、読み出しは自分の分散共有メモリから行なう。な
お、論理アドレス割り付け時に、ＰＥアドレスを１１と
することによってＯＳに対してブロードキャスト要求の
意思表示を行うことができることを示したが、ＰＥがど
れだけ増えてもブロードキャスト領域の最大容量は各Ｐ
Ｅの最大メモリ量と等しく一定なのでこの方式で対応で
きる。また、この方式では書き込み動作は直ちに全メモ
リに反映されるのでコヒーレンシが保たれる。また、ア
クセスの種類についての優先度付けを定義することによ
りコヒーレンシの質を高く保ち、また、性能を向上させ
ることができる。
【００２０】実施例２．なお、ＤＸＵにバッファを設け
ることにより、非同期アクセスの機能がより向上し、さ
らに自由度を高めることができる。
ることにより、非同期アクセスの機能がより向上し、さ
らに自由度を高めることができる。
【００２１】実施例３． また、このブロードキャスト領域は論理アドレス空間で
の領域割り付けにより０からシステムの全領域までペー
ジ単位でその適応範囲を変更することができる。
の領域割り付けにより０からシステムの全領域までペー
ジ単位でその適応範囲を変更することができる。
【００２２】実施例４．また、上記実施例では、ＰＥが
４個又は３個の場合を示したが、その数に制限はない。
４個又は３個の場合を示したが、その数に制限はない。
【００２３】実施例５．次に複数のプロセスが同時に走
る場合について説明する。この場合は論理アドレス空間
が複数存在し、それが一つの物理アドレス空間にマッピ
ングされる。これはアドレスマッピングテーブルをその
様に作成するだけで、シングルプロセスの場合とまった
く同様に扱うことができる。
る場合について説明する。この場合は論理アドレス空間
が複数存在し、それが一つの物理アドレス空間にマッピ
ングされる。これはアドレスマッピングテーブルをその
様に作成するだけで、シングルプロセスの場合とまった
く同様に扱うことができる。
【００２４】実施例６．上記実施例１では並列計算機全
体を１本のシステムバスで接続した場合について説明し
たが、図６に示すように複数のバスに分割して接続され
ていても良い。これは前述の「特願平３−０４９５６
５」で示されている多重クラスタバスを用いた並列計算
機の構成図である。実施例１で示した方式は、図６のよ
うにシステム内に複数のクラスタが形成された場合にも
適用することができる。アドレスマッピングテーブルは
システム全体を通して一元的に管理し、各プロセスをそ
れぞれ１つのクラスタ内に閉じるように割り付ける。こ
のようにするとブロードキャストアクセス要求の適用範
囲を物理的にクラスタ内に制限できるので、各クラスタ
ごとに同じオフセット領域を別の配列の格納に利用でき
る。また、バス負荷を低減できるという利点もある。
体を１本のシステムバスで接続した場合について説明し
たが、図６に示すように複数のバスに分割して接続され
ていても良い。これは前述の「特願平３−０４９５６
５」で示されている多重クラスタバスを用いた並列計算
機の構成図である。実施例１で示した方式は、図６のよ
うにシステム内に複数のクラスタが形成された場合にも
適用することができる。アドレスマッピングテーブルは
システム全体を通して一元的に管理し、各プロセスをそ
れぞれ１つのクラスタ内に閉じるように割り付ける。こ
のようにするとブロードキャストアクセス要求の適用範
囲を物理的にクラスタ内に制限できるので、各クラスタ
ごとに同じオフセット領域を別の配列の格納に利用でき
る。また、バス負荷を低減できるという利点もある。
【００２５】
【発明の効果】以上のように、この発明によれば並列計
算機において各ＰＥにデータを分割する場合のアドレス
指定をアドレスマッピングにより行うようにし、かつ、
ブロードキャスト機能を設けたので、配列のような論理
アドレス上ではひとかたまりのものとして扱われるデー
タを複数のＰＥに分割する場合に、プログラム設計時に
そのデータを格納する変数をブロードキャスト変数とし
て指定するだけで任意の分割に対応でき、また、実行時
にダイナミックにデータ分割を変更することもできると
いう効果がある。また、上記に加えてＤＸＵがＭＰＵと
非同期にデータ転送動作を実行するように構成したの
で、従来同様転送の自由度を保持し、バスの実効的な性
能を高く保つことができる。
算機において各ＰＥにデータを分割する場合のアドレス
指定をアドレスマッピングにより行うようにし、かつ、
ブロードキャスト機能を設けたので、配列のような論理
アドレス上ではひとかたまりのものとして扱われるデー
タを複数のＰＥに分割する場合に、プログラム設計時に
そのデータを格納する変数をブロードキャスト変数とし
て指定するだけで任意の分割に対応でき、また、実行時
にダイナミックにデータ分割を変更することもできると
いう効果がある。また、上記に加えてＤＸＵがＭＰＵと
非同期にデータ転送動作を実行するように構成したの
で、従来同様転送の自由度を保持し、バスの実効的な性
能を高く保つことができる。
【図１】この発明の一実施例による並列計算機のシステ
ム構成図である。
ム構成図である。
【図２】この発明の一実施例におけるデータ交換制御装
置の構成図である。
置の構成図である。
【図３】この発明の一実施例におけるアドレスマッピン
グを示す説明図である。
グを示す説明図である。
【図４】この発明が課題としているＰＥ間のデータ交換
を示す説明図である。
を示す説明図である。
【図５】この発明の一実施例におけるブロードキャスト
領域のマッピング法を示す説明図である。
領域のマッピング法を示す説明図である。
【図６】従来の並列計算機のシステム構成図であり、こ
の発明の適用可能な一実施例を示す並列計算機のシステ
ム構成図でもある。
の発明の適用可能な一実施例を示す並列計算機のシステ
ム構成図でもある。
【図７】従来の並列計算機のシステム構成図である。
１ プロセッシングエレメント（ＰＥ） ２ プロセッサ（ＭＰＵ） ３ メモリ管理ユニット（ＭＭＵ） ４ データ交換制御装置（ＤＸＵ） ５ 分散共有メモリ ６ システムバス ７ 自ＰＥマスタ要求制御部 ８ 他ＰＥマスタ要求制御部 ９ 優先度制御部 １０ メモリアクセス制御部 １１ ＤＸＵ間通信制御部
───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.6，ＤＢ名) G06F 15/16 645 G06F 9/38 370 G06F 15/177 682
Claims (2)
- 【請求項１】 データ処理を行なうプロセッサを有する
複数のプロセッシングエレメントを有し、データを記憶
する複数のメモリを上記複数のプロセッシングエレメン
トにそれぞれ配置して、配置した各メモリを他のプロセ
ッシングエレメントと共有する分散共有メモリとして使
用する並列計算機において、 各プロセッシングエレメントは、 データが配置される分散共有メモリのデータ領域に対し
アドレスマッピングを行うアドレスマッピング手段と、 上記アドレスマッピング手段によりマッピングされる分
散共有メモリのデータ領域の特定の領域を各プロセッシ
ングエレメントに共通のブロードキャスト領域として扱
うブロードキャスト手段と、 上記アドレスマッピング手段およびブロードキャスト手
段に基づく自プロセッシングエレメント内および他プロ
セッシングエレメント内のプロセッサのメモリアクセス
要求を受けて、その要求に対応する実際のメモリアクセ
スを要求元のプロセッサの命令実行動作とは非同期に実
行する非同期アクセス手段とを有するとともに、 上記並列計算機は、 上記ブロードキャスト領域として、各プロセッシングエ
レメントに配置された各メモリの特定の領域を各プロセ
ッシングエレメント毎にそれぞれ物理的に確保し、 上記ブロードキャスト領域に対する書き込みは、上記各
プロセッシングエレメント毎にそれぞれ物理的に確保さ
れた各メモリの特定の領域に対して各非同期アクセス手
段によりそれぞれ行われ、 上記ブロードキャスト領域に対する読み出しは、読み出
しを行なうプロセッシングエレメント毎にそれぞれで物
理的に確保されたメモリの特定の領域に対して該プロセ
ッシングエレメントの非同期アクセス手段により行われ
ることを特徴とする並列計算機。 - 【請求項２】 以下の要素を有し請求項第１項記載の並
列計算機に用いられるデータ交換制御装置 （ａ）自プロセッシングエレメントのプロセッサからの
メモリアクセス要求を受け、ブロードキャストアクセス
要求か否かを判断してアドレスマッピングを行なうとと
もに、プロセッサと非同期にメモリアクセス要求を完了
させる自プロセッシングエレメントマスタ要求制御手
段、 （ｂ）他プロセッシングエレメントのプロセッサからの
メモリアクセス要求を受け、ブロードキャストアクセス
要求か否かを判断してアドレスマッピングを行なうとと
もに、プロセッサと非同期にメモリアクセス要求を完了
させる他プロセッシングエレメントマスタ要求制御手
段、 （ｃ）上記自プロセッシングエレメントマスタ要求制御
手段及び他プロセッシングエレメントマスタ要求制御手
段によるデータ転送路経由のデータ交換を制御する通信
制御手段。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP4092783A JP2906819B2 (ja) | 1992-04-13 | 1992-04-13 | 並列計算機及びデータ交換制御装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP4092783A JP2906819B2 (ja) | 1992-04-13 | 1992-04-13 | 並列計算機及びデータ交換制御装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH05290000A JPH05290000A (ja) | 1993-11-05 |
| JP2906819B2 true JP2906819B2 (ja) | 1999-06-21 |
Family
ID=14064021
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP4092783A Expired - Fee Related JP2906819B2 (ja) | 1992-04-13 | 1992-04-13 | 並列計算機及びデータ交換制御装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2906819B2 (ja) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003006177A (ja) * | 1995-03-14 | 2003-01-10 | Mitsubishi Electric Corp | 分散共有メモリ監視装置、分散共有メモリネットワーク追跡装置および分散共有メモリネットワーク設定支援装置。 |
| JP3661235B2 (ja) * | 1995-08-28 | 2005-06-15 | 株式会社日立製作所 | 共有メモリシステム、並列型処理装置並びにメモリｌｓｉ |
| JP5241384B2 (ja) * | 2008-08-29 | 2013-07-17 | ルネサスエレクトロニクス株式会社 | 分散共有メモリ型マルチプロセッサ及びデータ処理方法 |
| CN103152394B (zh) * | 2013-02-06 | 2016-09-28 | 华为技术有限公司 | 数据存取***、内存共享设备及数据读取方法 |
| JP2019079175A (ja) * | 2017-10-23 | 2019-05-23 | 日本電気株式会社 | 情報処理システム、及び、情報処理システムによる制御方法 |
-
1992
- 1992-04-13 JP JP4092783A patent/JP2906819B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH05290000A (ja) | 1993-11-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5940870A (en) | Address translation for shared-memory multiprocessor clustering | |
| US5263169A (en) | Bus arbitration and resource management for concurrent vector signal processor architecture | |
| US7360035B2 (en) | Atomic read/write support in a multi-module memory configuration | |
| US5729714A (en) | Shared memory access method and apparatus with address translation | |
| JP2002500395A (ja) | 最適な多チャネル記憶制御システム | |
| JPH04348451A (ja) | 並列計算機 | |
| US5761455A (en) | Dynamic bus reconfiguration logic | |
| JP2906819B2 (ja) | 並列計算機及びデータ交換制御装置 | |
| JPH10187631A (ja) | 拡張された対称マルチプロセッサ・アーキテクチャ | |
| JPH08235143A (ja) | クラスタ構成の並列計算機 | |
| JP2002163228A (ja) | 多重コアｄｓｐ装置のための外部バス裁定技術 | |
| US20030229721A1 (en) | Address virtualization of a multi-partitionable machine | |
| JPH09146904A (ja) | アドレス空間共有システム | |
| JPH04288643A (ja) | マルチプロセッサシステムのメモリマッピング方式 | |
| JP2780662B2 (ja) | マルチプロセッサシステム | |
| JP2602241B2 (ja) | 並列計算機 | |
| JP3304445B2 (ja) | プログラム生成処理装置 | |
| JPH08339326A (ja) | マルチプロセッサ装置 | |
| JPH0330175B2 (ja) | ||
| Masko | Atomic operations for task scheduling for systems based on communication on-the-fly between SMP clusters | |
| JP2000067020A (ja) | マルチプロセッサシステム | |
| JP2823663B2 (ja) | マルチプロセッサシステム | |
| JPS6345669A (ja) | マルチプロセツサシステム | |
| JP4214521B2 (ja) | 情報処理システム及びマルチプロセッサ・システム | |
| JP2001273191A (ja) | コンピュータシステム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| LAPS | Cancellation because of no payment of annual fees |