JP3404386B2

JP3404386B2 - メモリアクセスレイテンシ増加回避方式

Info

Publication number: JP3404386B2
Application number: JP2001071315A
Authority: JP
Inventors: 真一嶋田
Original assignee: NEC Computertechno Ltd
Current assignee: NEC Computertechno Ltd
Priority date: 2001-03-14
Filing date: 2001-03-14
Publication date: 2003-05-06
Anticipated expiration: 2021-03-14
Also published as: JP2002269064A

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、複数のＣＰＵ（Ｃ
ｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）カー
ド（各ＣＰＵカードは以下のａおよびｂに示す特徴を備
えている）間を信号線で接続したＮＵＭＡ（Ｎｏｎ−Ｕ
ｎｉｆｏｒｍＭｅｍｏｒｙＡｃｃｅｓｓ。不均一メ
モリアクセスモデル）型マルチプロセッサシステムにお
けるメモリアクセスレイテンシ増加回避方式に関する。

【０００２】ａ．内蔵キャッシュを有するプロセッサを
１個または複数個有する。

【０００３】ｂ．他のＣＰＵカード上のプロセッサから
もアクセス可能なメモリを有する（このために、複数の
ＣＰＵカード間が相互に信号線で接続されている）。

【０００４】

【従来の技術】一般的に、ＮＵＭＡ型マルチプロセッサ
システムにおいては、メモリリードリクエストを発行す
るプロセッサを搭載するＣＰＵカードとそのメモリリー
ドリクエストのリクエスト対象のメモリを搭載するＣＰ
Ｕカードとが同一の場合に、「メモリライト（更新）リ
クエストや他のＣＰＵカードからのメモリリードリクエ
ストとは異なるパスを使用してメモリアクセスレイテン
シを短くする」という制御が行われ、性能向上が図られ
ている。

【０００５】このようなＮＵＭＡ型マルチプロセッサシ
ステムには、コヒーレンシ制御のために、各メモリアク
セスリクエスト（メモリリードリクエストおよびメモリ
ライトリクエスト）から見て論理的に一意に決まるコヒ
ーレンシ制御ポイントが存在する。このコヒーレンシ制
御ポイントは、各ＣＰＵカードを接続する信号線からメ
モリアクセスリクエストを受け付けるコヒーレンシ制御
部に置かれる。そして、当該ＮＵＭＡ型マルチプロセッ
サシステムにおけるコヒーレンシは、コヒーレンシ制御
部に各メモリアクセスリクエストが転送された順序で保
証されることになる。

【０００６】メモリリードリクエストを発行するプロセ
ッサを搭載するＣＰＵカードとリクエスト対象のメモリ
を搭載するＣＰＵカードとが同一のＣＰＵカードである
場合には、当該メモリリードリクエストは、メモリアク
セス（メモリリード）を目的として直接メモリアクセス
リクエスト制御部に転送されるリクエスト（メモリリー
ド用リクエスト）と、コヒーレンシ制御を目的としてＣ
ＰＵカード間を接続する信号線を介して全ＣＰＵカード
のコヒーレンシ制御部に転送されるリクエスト（コヒー
レンシ制御用リクエスト）とに分割される。

【０００７】そして、メモリリード用リクエストによる
メモリリードは、コヒーレンシ制御用リクエストとは無
関係に（独立して）実行される。これにより、メモリア
クセスレイテンシの短縮が可能となる。

【０００８】しかし、上記のような制御においては、場
合によっては、以下に示すような不都合が生じる。

【０００９】すなわち、メモリリード用リクエストによ
るメモリリードからコヒーレンシ制御用リクエストがコ
ヒーレンシ制御部に受け付けられるまでの間に、他のＣ
ＰＵカードからメモリ更新を行うようなメモリアクセス
リクエスト（メモリライトリクエスト）が発行された場
合に、コヒーレンシ制御の観点から見て当該メモリリー
ドリクエストは当該メモリライトリクエストによるメモ
リ更新後のデータを得るべきであるにも関わらず、メモ
リ更新前のデータを得ることになる。

【００１０】そこで、メモリリードリクエストを発行し
たプロセッサを搭載するＣＰＵカードでは、そのような
メモリライトリクエストの存在がチェックされ、もしそ
のようなメモリライトリクエストが存在するのならば、
先行して行われたメモリリードによって読み出されたデ
ータがプロセッサに返却される前に廃棄され、当該プロ
セッサに対して再度メモリリードリクエストを発行する
ことが要求される。

【００１１】現状の制御では、自ＣＰＵカード上のメモ
リに対するメモリリードリクエストによるメモリアクセ
ス（メモリリード）が他のメモリアクセスリクエストに
よるメモリアクセスとは異なるパスを使用して行われる
ため、そのメモリリードリクエストに対応するコヒーレ
ンシ制御用リクエストがコヒーレンシ制御部に到達する
までの間に、同一アドレスへのメモリライトリクエスト
が発行されメモリが更新されるという状態が頻発した場
合に、メモリリードリクエストがそのたびに再発行され
ることになる。

【００１２】

【発明が解決しようとする課題】上述したように、従来
の技術では、自ＣＰＵカード上のメモリに対するメモリ
リードリクエストによるメモリリードが、他のメモリア
クセスリクエストによるメモリアクセスとは異なるパス
を使用して行われるため、そのメモリリードに対応する
コヒーレンシ制御用リクエストがコヒーレンシ制御部に
到達するまでの間にメモリライトリクエストが発行され
メモリが更新されるという状態が頻発した場合に、その
たびにメモリリードリクエストが再発行される（当該メ
モリリードリクエストは正しいデータを得ることができ
ずプロセッサからメモリリードリクエストの再発行が繰
り返される）ので、結果として自ＣＰＵカード上のプロ
セッサが最初のメモリリードリクエストを発行してから
最終的に正当なデータを得るまでのメモリアクセスレイ
テンシが増加する可能性があるという問題点があった。

【００１３】本発明の目的は、上述の点に鑑み、プロセ
ッサが自ＣＰＵカード上のメモリに発行するメモリリー
ドリクエストの処理開始から終了までを管理し、そのメ
モリリードリクエストにより取得されたデータが廃棄対
象となった回数をカウントし、ハードウェア的にメモリ
リードリクエストの再実行を行い、再実行回数が規定回
数に達したならばメモリリードリクエストの実行をコヒ
ーレンシ制御部経由のメモリリクエスト実行パス（競合
するメモリライトリクエストの後にメモリリードアクセ
スを行うことが可能なパス）に切り替えて常に正当なデ
ータを得られるようにすることにより、ある一定値以上
にメモリアクセスレイテンシが増加することを回避でき
るようにするメモリアクセスレイテンシ増加回避方式を
提供することにある。

【００１４】

【課題を解決するための手段】本発明のメモリアクセス
レイテンシ増加回避方式は、複数のＣＰＵカード間を信
号線で接続したＮＵＭＡ型マルチプロセッサシステムに
おいて、自ＣＰＵカード内のプロセッサからローカルメ
モリリードリクエストを受けた際に、当該ローカルメモ
リリードリクエストの再発行要求が規定回数続く前には
性能向上を目的としてローカルメモリリードパスを使用
してメモリリードリクエストを行い、当該ローカルメモ
リリードリクエストの再発行要求が規定回数続いた時に
は非ローカルメモリリードパスを使用してメモリリード
リクエストを行うように制御するＲＲＭを備える各ＣＰ
Ｕカード内のプロセッサリクエスト制御部と、前記プロ
セッサリクエスト制御部からのローカルメモリリードリ
クエスト発行指示に基づいて仕掛かり中のローカルメモ
リリードリクエストに関する情報を保持し、当該保持情
報およびコヒーレンシ制御部からの処理中リクエスト情
報に基づき、ローカルメモリリードリクエストのメモリ
リードから当該ローカルメモリリードリクエストに対応
するコヒーレンシ制御用リクエストがコヒーレンシ制御
部に受け付けられるまでの期間を管理し、この期間中に
当該ローカルメモリリードリクエストのアクセス対象の
アドレスと同一アドレスに対するメモリライトリクエス
トがコヒーレンシ制御部に受け付けられたか否かをチェ
ックし、そのようなメモリライトリクエストが存在した
ならばローカルメモリリードリクエスト再発行指示を出
力するＬＲＭを備えるローカルメモリリードリクエスト
制御部とを有する。

【００１５】

【発明の実施の形態】次に、本発明について図面を参照
して詳細に説明する。

【００１６】（１）第１の実施の形態

【００１７】図１は、本発明の第１の実施の形態に係る
メモリアクセスレイテンシ増加回避方式が適用されるＮ
ＵＭＡ型マルチプロセッサシステムの構成を示すブロッ
ク図である。

【００１８】図１を参照すると、このＮＵＭＡ型マルチ
プロセッサシステムは、複数のＣＰＵカード（プロセッ
サ１０１が搭載されたＣＰＵ１０およびプロセッサ１０
２が搭載されたＣＰＵ１１）によって構成され、各々の
ＣＰＵカード１０およびＣＰＵ１１に全プロセッサで共
有可能なメモリ１２４およびメモリ１２５が搭載され、
ＣＰＵカード１０とＣＰＵ１１との間が双方向バス（共
有バスである第２のバス１０９および第３のバス１３
０）で接続されて構成されている。

【００１９】本実施の形態では、本発明を説明するにあ
たり、簡単化のため、各ＣＰＵカード１０および１１に
搭載されるプロセッサ数を１個とした。しかし、当該プ
ロセッサ数が複数でもかまわないことはいうまでもな
い。また、ＣＰＵカード数は２枚以上ならば何枚でもか
まわない（第２のバス１０９および第３のバス１３０が
全てのＣＰＵカードで共有される）。

【００２０】ＣＰＵ１０／１１（ＣＰＵ１０およびＣＰ
Ｕ１１の各々）は、プロセッサ１０１／１０２と、第１
のバス１０３／１０４と、ＲＲＭ５００（図５参照）を
有するプロセッサリクエスト制御部１０５／１０６と、
バス出力リクエスト制御部１０７／１０８と、第２のバ
ス１０９と、コヒーレンシ制御部１１０／１１１と、Ｔ
ＡＧ（自プロセッサ（プロセッサ１０１／１０２）対応
ＴＡＧメモリ）１１２／１１３と、ＬＲＭ２００（図２
参照）を有するローカルメモリリードリクエスト制御部
１１４／１１５と、ローカルメモリリード発行線１１６
／１１７と、ローカルメモリリード再発行要求線１１８
／１１９と、キャッシュインバリデート要求線１２０／
１２１と、メモリアクセスリクエスト制御部１２２／１
２３と、メモリ（主記憶）１２４／１２５と、自ＣＰＵ
カードリードリプライ線１２６／１２７と、他ＣＰＵカ
ードリードリプライ線１２８／１２９と、第３のバス１
３０とを含んで構成されている。

【００２１】プロセッサ１０１／１０２は、ＣＰＵカー
ド１０／１１上のプロセッサであり、内蔵キャッシュを
有している。本実施の形態では、このプロセッサ内蔵キ
ャッシュは、ストアスルー方式のキャッシュであるもの
とする。ただし、本発明の考え方は、ストアイン方式の
プロセッサ内蔵キャッシュを有するＮＵＭＡ型マルチプ
ロセッサシステムにも適用できる。

【００２２】プロセッサリクエスト制御部１０５／１０
６は、プロセッサ１０１／１０２からのリクエストの受
け付け，プロセッサ１０１／１０２へのリプライデータ
の返却，プロセッサ１０１／１０２へのメモリリードリ
クエストの再実行要求，およびプロセッサ１０１／１０
２へのプロセッサ内蔵キャッシュのインバリデート要求
を行う（第１のバス１０３／１０４を介しリクエストや
データのやりとりを行う）。

【００２３】プロセッサリクエスト制御部１０５／１０
６がプロセッサ１０１／１０２から受け付けたリクエス
トのうち、メモリライト（更新）リクエストおよび他の
ＣＰＵカード１１／１０上のメモリ１２５／１２４(リ
モートメモリ)へのメモリアクセスリクエスト（「リモ
ートメモリアクセスリクエスト」と称する）は、第２の
バス１０９に出力される。このようなメモリアクセスリ
クエスト（メモリライトリクエストおよびリモートメモ
リアクセスリクエスト）は、それぞれのＣＰＵカード１
０／１１上のコヒーレンシ制御部１１０／１１１に受け
付けられた順序でメモリアクセスが実行されるように制
御される。

【００２４】プロセッサリクエスト制御部１０５／１０
６がプロセッサ１０１／１０２から受け付けたメモリア
クセスリクエストのうち、当該プロセッサリクエスト制
御部１０５／１０６が搭載されたＣＰＵカード１０／１
１内のメモリ１２４／１２５（ローカルメモリ）にアク
セスするためのメモリリードリクエスト（「ローカルメ
モリリードリクエスト」と称する）は、メモリライトリ
クエストおよびリモートメモリアクセスリクエストと同
様にコヒーレンシ制御を目的として第２のバス１０９に
出力されるとともに、性能向上を目的として直接メモリ
アクセスリクエスト制御部１２２／１２３に対してロー
カルメモリリード発行線１１６／１１７を介して発行さ
れる。このとき、コヒーレンシ制御を目的として第２の
バス１０９に発行されたリクエスト（コヒーレンシ制御
用リクエスト）によっては、ＴＡＧ１１２／１１３の検
索および必要に応じた更新が行われるのみで、コヒーレ
ンシ制御部１１０／１１１からメモリアクセスリクエス
ト制御部１２２／１２３へのメモリリードリクエストの
発行は行われない。

【００２５】バス出力リクエスト制御部１０７／１０８
は、ＣＰＵカード１０／１１上のプロセッサリクエスト
制御部１０５／１０６を介してプロセッサ１０１／１０
２により発行されたリクエストを受け付ける。

【００２６】第２のバス１０９は、ＣＰＵカード１０と
ＣＰＵカード１１とを接続している。この第２のバス１
０９に対するリクエストの出力の可否は、各ＣＰＵカー
ド１０／１１上のバス出力リクエスト制御部１０７／１
０８内でまったく同じ制御が行われるアービタにより決
定される。

【００２７】コヒーレンシ制御部１１０／１１１は、他
のＣＰＵカード１１／１０のコヒーレンシ制御部１１１
／１１０とまったく同じタイミングで第２のバス１０９
からリクエストを受け付け、自ＣＰＵカード（ＣＰＵカ
ード１０／１１）に搭載されたＴＡＧ１１２／１１３の
検索および必要に応じた更新を行い、場合によってはキ
ャッシュインバリデート要求線１２０／１２１を使用し
てプロセッサリクエスト制御部１０５／１０６に対して
自ＣＰＵカードに搭載されたプロセッサ内蔵キャッシュ
のインバリデート要求リクエストを発行する（このイン
バリデート要求リクエストに基づき第１のバス１０３／
１０４へのキャッシュインバリデート要求の発行が行わ
れる）。

【００２８】また、コヒーレンシ制御部１１０／１１１
は、メモリアクセスリクエストのリクエストアドレスに
基づき「自ＣＰＵカード搭載メモリ（メモリ１２４／１
２５）へのアクセスであること」および「ローカルメモ
リリード時のコヒーレンシ制御用リクエストではないこ
と」という条件を判別し、当該条件が満たされる場合に
はメモリアクセスリクエスト制御部１２２／１２３に対
して当該メモリアクセスリクエストを転送する。

【００２９】さらに、コヒーレンシ制御部１１０／１１
１は、メモリアクセスリクエストがローカルメモリリー
ドリクエストに対応するコヒーレンシ制御用リクエスト
である場合には、ローカルメモリリードリクエスト制御
部１１４／１１５内のＬＲＭ２００中のＣＨＫ−Ｆｌａ
ｇ２１２（図２参照）の内容に基づいて、当該ローカル
メモリリードリクエスト（メモリリード用リクエスト）
によるメモリアクセス（メモリリード）から当該コヒー
レンシ制御用リクエストがコヒーレンシ制御部１１０／
１１１に受け付けられるまでの期間にメモリライトリク
エストが存在したか否かを識別し、存在しなかったなら
ばＴＡＧ１１２／１１３をメモリデータとプロセッサ内
蔵キャッシュ内データとが同一であることを示すＳｈａ
ｒｅという状態に更新する（存在したならばローカルメ
モリリードリクエスト自身の再発行となるためＴＡＧ１
１２／１１３の更新は行われない）。

【００３０】ＴＡＧ１１２／１１３は、自ＣＰＵカード
（ＣＰＵカード１０／１１）に搭載されたプロセッサ内
蔵キャッシュのアドレスアレイのコピーである。

【００３１】ローカルメモリリードリクエスト制御部１
１４／１１５は、ローカルメモリリードリクエストのメ
モリアクセス（メモリリード用リクエストによるローカ
ルメモリリード）から対応するコヒーレンシ制御用リク
エストがコヒーレンシ制御部１１０／１１１に受け付け
られるまでの期間を管理し、この期間中に当該ローカル
メモリリードリクエストのアクセス対象のアドレスと同
一アドレスに対するメモリライトリクエストがコヒーレ
ンシ制御部１１０／１１１に受け付けられたか否かをチ
ェックする。もし、そのようなメモリライトリクエスト
が存在したならば、ローカルメモリリード再発行要求線
１１８／１１９により、先行して行われたローカルメモ
リリードによって読み出されたデータの廃棄と、そのロ
ーカルメモリリードリクエストの再発行とを要求する。

【００３２】ここで、従来の技術では、メモリリードリ
クエストの再発行をプロセッサに対して要求していた
が、プロセッサはその内部処理によっては同じメモリリ
ードリクエストを再発行しない可能性がある。本発明で
は、再発行要求頻発時のメモリアクセスレイテンシ増加
の回避を目的として再発行要求対象となったローカルメ
モリリードリクエストに対してハードウェアリソースを
割り当てるため、もしプロセッサ１０１／１０２が同一
のローカルメモリリードリクエストの再発行を行わなか
った場合には、そのハードウェアリソースの解放ができ
ないことになる。そこで、本発明では、対象となるロー
カルメモリリードリクエストの再発行は、プロセッサリ
クエスト制御部１０５／１０６の内部に新設する機能
（後述の図５に示すＲＲＭ５００の機能）によってハー
ドウェア的に行われる。

【００３３】メモリ１２４／１２５は、全てのＣＰＵカ
ード１０／１１上のプロセッサ１０１／１０２が使用可
能なメモリ（主記憶）である。

【００３４】各メモリ１２４／１２５に対するメモリア
クセスリクエスト制御部１２２／１２３は、メモリ１２
４／１２５に対するデータの書き込み指示および読み出
し指示を行い、自ＣＰＵカード（ＣＰＵカード１０／１
１）上のプロセッサ１０１／１０２からのメモリリード
リクエストに対するリプライデータについては自ＣＰＵ
カードリードリプライ線１２６／１２７を用いてプロセ
ッサリクエスト制御部１０５／１０６に返却し、他ＣＰ
Ｕカード（ＣＰＵカード１１／１０）上のプロセッサ１
０２／１０１からのメモリリードリクエストに対するリ
プライデータについてはＣＰＵカード間データ転送用の
第３のバス１３０を介して相手のＣＰＵカード１１／１
０の他ＣＰＵカードリードリプライ線１２９／１２８を
用いてプロセッサリクエスト制御部１０６／１０５に返
却する（プロセッサリクエスト制御部１０５／１０６は
各リプライデータをプロセッサ１０１／１０２に返却す
る）。

【００３５】図２は、ローカルメモリリードリクエスト
制御部１１４／１１５内に存在し、ローカルメモリリー
ドリクエストのメモリリードから当該ローカルメモリリ
ードリクエストに対応するコヒーレンシ制御用リクエス
トがコヒーレンシ制御部１１０／１１１に受け付けられ
るまでの期間（ＬＲＭ管理期間）を管理するローカルメ
モリリードリクエスト管理機能部（「ＬＲＭ（Ｌｏｃａ
ｌｍｅｍｏｒｙＲｅａｄＭａｎａｇｅｒ）」と称
する）２００の構成を示すブロック図である。なお、こ
こでは、ＬＲＭ２００は、説明の簡易化のために１エン
トリの構成として記述するが、複数エントリとして複数
リクエストを同時に取り扱うように構成してもよい。

【００３６】ＬＲＭ２００は、コヒーレンシ制御部１１
０／１１１からの処理中リクエスト情報（ストローブ２
０１，リクエストコード２０２，リクエストアドレス２
０３，およびリクエストＩＤ（ＩＤｅｎｔｉｆｉｃａｔ
ｉｏｎ）２０４）およびプロセッサリクエスト制御部１
０５／１０６からのローカルメモリリードリクエスト発
行指示（ストローブ２０５，リクエストアドレス２０
６，およびリクエストＩＤ２０７）を入力し、ローカル
メモリリードリクエスト再発行指示（Ｖ２１３，Ｓ２１
４，およびリクエストＩＤ２１５）を出力し、ライトリ
クエスト識別回路２０８と、Ｖレジスタ２０９と、リク
エストアドレスレジスタ２１０と、リクエストＩＤレジ
スタ２１１と、ＣＨＫ（ＣＨｅｃＫ）−Ｆｌａｇ２１２
とを含んで構成されている。

【００３７】２０１〜２０４の符号で示される入力情報
は、コヒーレンシ制御部１１０／１１１で処理中のメモ
リアクセスリクエストに関する情報（処理中リクエスト
情報）である。

【００３８】ストローブ２０１は、処理中リクエストの
有効信号（ストローブ）であり、本信号が「１」のとき
のみ２０２〜２０４の符号で示される情報が有効とな
る。

【００３９】リクエストコード２０２は、本ＮＵＭＡ型
マルチプロセッサシステムにおけるリクエストの種類を
規定する情報である。ここで、リクエストコードの具体
例を、図３に示す。

【００４０】リクエストアドレス２０３は、リクエスト
対象のアドレスを示す情報である。

【００４１】リクエストＩＤ２０４は、仕掛かり中（処
理中）リクエストに対して、システム（本ＮＵＭＡ型マ
ルチプロセッサシステム）内で唯一となるようにプロセ
ッサリクエスト制御部１０５／１０６において制御（付
与）されている識別情報である。したがって、このリク
エストＩＤ２０４のコードが後述のリクエストＩＤレジ
スタ２１１のコードと一致すれば、そのときのコヒーレ
ンシ制御部１１０／１１１からのリクエストは、ＬＲＭ
２００で管理されているローカルメモリリードリクエス
トに対応するコヒーレンシ制御用リクエストであるとい
える。

【００４２】２０５〜２０７の符号で示される入力情報
は、プロセッサリクエスト制御部１０５／１０６からの
ローカルメモリリードリクエスト発行指示である。

【００４３】ストローブ２０５は、ローカルメモリリー
ドリクエスト発行指示のストローブ（有効信号）であ
り、メモリアクセスリクエスト制御部１２２／１２３へ
の発行指示のストローブと同じものである。２０６およ
び２０７の符号で示される情報は、このストローブ２０
５が「１」のときのみ有効となる。なお、ストローブ２
０５が「１」のときには、必ずリクエストコードはロー
カルメモリリードリクエストを示すものであるので、リ
クエストコード自身は転送されない。

【００４４】リクエストアドレス２０６は、ローカルメ
モリリードリクエストのリクエストアドレスを示す情報
である。

【００４５】リクエストＩＤ２０７は、ローカルメモリ
リードリクエストのリクエストＩＤを示す情報である。
コヒーレンシ制御部１１０／１１１からのリクエストＩ
Ｄ２０４と同様に、仕掛かり中リクエストについてシス
テム内で唯一となるように制御（付与）されている。

【００４６】ライトリクエスト識別回路２０８は、リク
エストコード２０２のデコーダであり、コヒーレンシ制
御部１１０／１１１内のリクエストがメモリライトリク
エストであるときに「１」を出力する。

【００４７】Ｖレジスタ（バリッドレジスタまたは有効
ビットレジスタ）２０９は、プロセッサリクエスト制御
部１０５／１０６からのストローブ２０５が「１」のと
きに「１」にセットされ、仕掛かり中のローカルメモリ
リードリクエストに対応するコヒーレンシ制御用リクエ
ストをコヒーレンシ制御部１１０／１１１が受け付けた
ならば、すなわちコヒーレンシ制御部１１０／１１１か
らのリクエストＩＤ２０４とリクエストＩＤレジスタ２
１１の値とが一致したならば「０」にリセットされる。

【００４８】リクエストアドレスレジスタ２１０は、仕
掛かり中のローカルメモリリードリクエストのアドレス
を保持するレジスタであり、ストローブ２０５をトリガ
としてリクエストアドレス２０６を格納する。

【００４９】リクエストＩＤレジスタ２１１は、仕掛か
り中のローカルメモリリードリクエストのＩＤを保持す
るレジスタであり、リクエストアドレスレジスタ２１０
におけるリクエストアドレス２０６の格納と同タイミン
グで、リクエストＩＤ２０７を格納する。

【００５０】ＣＨＫ−Ｆｌａｇ２１２は、ＬＲＭ管理期
間中における仕掛かり中のローカルメモリリードリクエ
ストの対象アドレスと同一のアドレスに対するメモリラ
イトリクエストについての検出フラグレジスタであり、
Ｖレジスタ２０９，リクエストアドレスレジスタ２１
０，およびリクエストＩＤレジスタ２１１に対するセッ
トと同タイミングで、「０」にリセットされる。そし
て、ＣＨＫ−Ｆｌａｇ２１２は、Ｖレジスタ２０９が
「１」であり、かつ、リクエストアドレスレジスタ２１
０の値とコヒーレンシ制御部１１０／１１１からのリク
エストアドレス２０３とが一致し、かつ、コヒーレンシ
制御部１１０／１１１からのリクエストがメモリライト
リクエストである（ライトリクエスト識別回路２０８の
出力信号が「１」である）ときに、「１」にセットされ
る。

【００５１】２１３〜２１５の符号で示される出力情報
は、プロセッサリクエスト制御部１０５／１０６へのロ
ーカルメモリリードリクエスト再発行指示である（ロー
カルメモリリード再発行要求線１１８／１１９上に出力
される再発行要求に相当する）。

【００５２】Ｖ２１３は、当該ローカルメモリリードリ
クエスト再発行指示（再発行要求）の有効信号であり、
Ｖレジスタ２０９のリセットと同タイミングで「１」と
なり、このときにだけＳ２１４およびリクエストＩＤ２
１５が有効になる。

【００５３】Ｓ２１４は、当該ローカルメモリリードリ
クエスト再発行指示の指示内容を示す情報である。Ｓ２
１４は、ＣＨＫ−Ｆｌａｇ２１２の値であり、その値が
「１」のときに「先行して行われたローカルメモリリー
ドの読み出しデータが不正であること」を示す。

【００５４】ここで、上記のＶ２１３とＳ２１４との組
み合わせによる意味は、図４に示すとおりである。

【００５５】リクエストＩＤ２１５は、再発行対象のリ
クエストＩＤであり、どのローカルメモリリードリクエ
ストが再発行対象であるかをプロセッサリクエスト制御
部１０５／１０６に通知するための識別情報である。

【００５６】図３は、先に言及したように、リクエスト
コードの内容の具体例を示す図である。本実施の形態で
は、リクエストコードの「００００００００（００
ｈ）」がリクエスト種類の「非ローカルメモリリードリ
クエスト」を示し、「０００００００１（０１ｈ）」が
「ローカルメモリリードリクエスト／コヒーレンシ制御
用リクエスト」を示し、「００００００１０（０２
ｈ）」が「メモリライトリクエスト」を示し、上記以外
のコードが「非メモリアクセスリクエスト」を示す。

【００５７】図４は、先に言及したように、ローカルメ
モリリードリクエスト再発行指示におけるＶとＳとの組
み合わせによる意味を示す図である。ローカルメモリリ
ードリクエスト再発行指示におけるＶとＳとの組み合わ
せが「１」と「０」との組み合わせである場合には「正
常終了（再発行不要）」を意味し、「１」と「１」との
組み合わせである場合には「再発行必要」を意味する。
なお、この組み合わせが「０」と「ｘ」（任意の値）と
の組み合わせである場合には、「Ｄｏｎ’ｔＣａｒｅ
（意味を持たない）」を意味し、この信号パターンを受
け付けた場合の動作はＮＯＰ（ＮｏＯｐｅｒａｔｉｏ
ｎ）となる。

【００５８】図５は、プロセッサリクエスト制御部１０
５／１０６内に存在するローカルメモリリードリクエス
ト再発行機能部（「ＲＲＭ（Ｒｅｔｒａｎｓｍｉｔｌ
ｏｃａｌｍｅｍｏｒｙＲｅａｄｒｅｑｕｅｓｔ
Ｍａｎａｇｅｒ）」と称する）５００の構成を示すブロ
ック図である。なお、ここでは、ＲＲＭ５００は、説明
の簡易化のために１エントリの構成として記述するが、
複数エントリとして複数リクエストを同時に扱うように
構成してもよい。ただし、ＲＲＭ５００のエントリ数
は、ＬＲＭ２００（図２参照）のエントリ数と同じにす
る必要がある。

【００５９】ＲＲＭ５００は、プロセッサ発行リクエス
ト情報（ストローブ５０１，リクエストコード５０２，
リクエストアドレス５０３，およびリクエストＩＤ５０
４）およびＬＲＭ２００から出力されたローカルメモリ
リードリクエスト再発行指示（Ｖ５０５，Ｓ５０６，お
よびリクエストＩＤ５０７）を入力し、バス出力リクエ
スト制御部１０７／１０８にリクエストが発行されるこ
とを示すリクエスト発行信号５２２，ローカルメモリリ
ードリクエスト制御部１１４／１１５およびメモリアク
セスリクエスト制御部１２２／１２３にリクエストが発
行されることを示すリクエスト発行信号５２３，ならび
にバス出力リクエスト制御部１０７／１０８，ローカル
メモリリードリクエスト制御部１１４／１１５，および
メモリアクセスリクエスト制御部１２２／１２３に転送
されるリクエストコード５２４，リクエストアドレス５
２５，およびリクエストＩＤ５２６を出力し、ローカル
メモリリード判定回路５０８と、Ｖレジスタ５０９と、
リクエストアドレスレジスタ５１０と、リクエストＩＤ
レジスタ５１１と、リトライ回数カウンタ５１２と、信
号線５１３と、ＡＮＤゲート５１４と、ＡＮＤゲート・
ＯＲゲート５１５と、ＡＮＤゲート５１６と、比較回路
５１７と、ＮＬＰ（Ｎｏｎ−Ｌｏｃａｌｍｅｍｏｒｙ
ｒｅａｄＰａｔｈ）−Ｆｌａｇ５１８と、ＡＮＤゲ
ート５１９と、ＬＰ（Ｌｏｃａｌｍｅｍｏｒｙｒｅ
ａｄＰａｔｈ）−Ｆｌａｇ５２０と、ＡＮＤゲート５
２１とを含んで構成されている。

【００６０】５０１〜５０４の符号で示される入力情報
は、プロセッサ発行リクエスト（プロセッサ１０１／１
０２から発行されるリクエスト）に関する情報（プロセ
ッサ発行リクエスト情報）である。

【００６１】ストローブ５０１は、プロセッサ発行リク
エストの有効信号（ストローブ）である。本信号が
「１」のときのみ、５０２〜５０４の符号で示される情
報が有効となる。

【００６２】リクエストコード５０２は、プロセッサ発
行リクエストの種類を規定する情報である（リクエスト
コードとリクエスト種類との対応については図３参
照）。

【００６３】リクエストアドレス５０３は、プロセッサ
発行リクエストのリクエスト対象のアドレスを示す情報
である。

【００６４】リクエストＩＤ５０４は、当該プロセッサ
発行リクエストに対して、仕掛かり中リクエストとして
はシステム内で唯一となるようにプロセッサリクエスト
制御部１０５／１０６において制御（付与）される識別
情報である。

【００６５】５０５〜５０７の符号で示される入力情報
は、ローカルメモリリードリクエスト制御部１１４／１
１５からのローカルメモリリードリクエスト再発行指示
である。ここで、Ｖ５０５は図２中のＶ２１３に相当
し、Ｓ５０６はＳ２１４に相当し、リクエストＩＤ５０
７はリクエストＩＤ２１５に相当する。

【００６６】ローカルメモリリード判定回路５０８は、
リクエストコード５０２およびリクエストアドレス５０
３を入力し、当該プロセッサ発行リクエストがローカル
メモリリードリクエストであると判別した場合に「１」
を出力する。

【００６７】Ｖレジスタ５０９は、「１」のとき、仕掛
かり中のローカルメモリリードリクエストが存在するこ
とを示す（Ｖレジスタ５０９が「１」となることによっ
て、リクエストアドレスレジスタ５１０およびリクエス
トＩＤレジスタ５１１が有効となり、リトライ回数カウ
ンタ５１２が０クリアされる）。このＶレジスタ５０９
は、プロセッサ発行リクエストがローカルメモリリード
リクエストであった場合に、ＡＮＤゲート５１４の出力
信号により「１」にセットされる。また、ローカルメモ
リリードリクエスト制御部１１４／１１５からのＶ５０
５（図２中のＶ２１３）およびＳ５０６（図２中のＳ２
１４）が「正常終了」を示す組み合わせになったとき、
またはリトライ回数カウンタ５１２が規定値（規定回
数）に達してＲＲＭ内リクエスト（ＲＲＭ５００で仕掛
かり中のローカルメモリリードリクエスト）を非ローカ
ルメモリリードパスで実行したときに（ＲＲＭ内リクエ
ストをそれ以上再発行してメモリアクセスレイテンシが
増加することを回避するためにこのような実行が行われ
る）、ＡＮＤゲート・ＯＲゲート５１５の出力信号によ
り「０」にリセットされる。

【００６８】リクエストアドレスレジスタ５１０は、仕
掛かり中のローカルメモリリードリクエストのアドレス
を格納するレジスタである。

【００６９】リクエストＩＤレジスタ５１１は、仕掛か
り中のローカルメモリリードリクエストのリクエストＩ
Ｄを格納するレジスタである。

【００７０】リクエストアドレスレジスタ５１０および
リクエストＩＤレジスタ５１１は、Ｖレジスタ５０９に
「１」がセットされるタイミングで、リクエストアドレ
ス５０３およびリクエストＩＤ５０４を格納する。

【００７１】リトライ回数カウンタ５１２は、仕掛かり
中のローカルメモリリードリクエストに対してローカル
メモリリードリクエスト制御部１１４／１１５から今ま
でに何回再発行要求（ＡＮＤゲート５１６の出力信号が
「１」となること）があったかを示す。ここでは、簡単
化のため１ビットのカウンタとする。リトライ回数カウ
ンタ５１２は、Ｖレジスタ５０９を「１」にセットする
タイミングで「０」にリセットされる。また、ローカル
メモリリードリクエスト制御部１１４／１１５からのロ
ーカルメモリリードリクエスト再発行指示があり（ＡＮ
Ｄゲート５１６の出力信号が「１」となり）、かつ、そ
れがＲＲＭ内リクエストに対するものである（比較回路
５１７の出力信号が「１」となる）場合に、１の加算
（＋１）を行う。その他はホールドである。

【００７２】信号線５１３上の信号は、ＲＲＭ内リクエ
ストに対して規定回数の再発行要求（指示）があった場
合に「１」となる信号である（ここでは、規定回数を２
回とする）。すなわち、リトライ回数カウンタ５１２の
キャリーアウト信号である。

【００７３】ＮＬＰ−Ｆｌａｇ５１８は、ＲＲＭ内リク
エストの非ローカルメモリリードパスでのメモリリード
リクエスト再発行要求指示フラグレジスタに該当し、他
のプロセッサ発行リクエストが存在するときにＲＲＭ内
リクエスト（再発行対象のローカルメモリリードリクエ
スト）が発行順番を待ち受けるためのレジスタである。

【００７４】ローカルメモリリードリクエスト制御部１
１４／１１５からのローカルメモリリードリクエスト再
発行指示があり（ＡＮＤゲート５１６の出力信号が
「１」となり）、かつ、リトライ回数カウンタ５１２が
規定値に達した（信号線５１３上の信号が「１」となっ
た）場合に、ＡＮＤゲート５１９の出力信号が「１」と
なり、ＮＬＰ−Ｆｌａｇ５１８が「１」にセットされ
る。そして、プロセッサ発行リクエストと競合しないと
き、すなわちプロセッサ発行リクエスト情報のストロー
ブ５０１が「０」のときに、バス出力リクエスト制御部
１０７／１０８にローカルメモリリードリクエスト（Ｒ
ＲＭ内リクエスト）が発行され（リクエスト発行信号５
２２が「１」となり）、ＮＬＰ−Ｆｌａｇ５１８は
「０」にリセットされる。このとき、バス出力リクエス
ト制御部１０７／１０８に発行されるリクエストのリク
エストコードは００ｈ（非ローカルメモリリードリクエ
ストを示すコード。図３参照）である。

【００７５】ＬＰ−Ｆｌａｇ５２０は、ＲＲＭ内リクエ
ストのローカルメモリリードパスでのメモリリードリク
エスト再発行要求指示フラグレジスタに該当し、他のプ
ロセッサ発行リクエストが存在するときにＲＲＭ内リク
エストが発行順番を待ち受けるためのレジスタである。

【００７６】ローカルメモリリードリクエスト制御部１
１４／１１５からのローカルメモリリードリクエスト再
発行指示があり（ＡＮＤゲート５１６の出力信号が
「１」となり）、かつ、リトライ回数カウンタ５１２が
規定値に達していない（信号線５１３上の信号が「０」
である）場合に、ＡＮＤゲート５２１の出力信号が
「１」となり、ＬＰ−Ｆｌａｇ５２０が「１」にセット
される。そして、プロセッサ発行リクエストと競合しな
いとき、すなわちプロセッサ発行リクエスト情報のスト
ローブ５０１が「０」のときに、バス出力リクエスト制
御部１０７／１０８に当該ＲＲＭ内リクエストに対応す
るコヒーレンシ制御用リクエストが発行され（ＡＮＤゲ
ート５２１の出力信号が「１」となり）、ローカルメモ
リリードリクエスト制御部１１４／１１５およびメモリ
アクセスリクエスト制御部１２２／１２３にローカルメ
モリリードパスを使用したローカルメモリリードリクエ
ストの発行が行われ（リクエスト発行信号５２３が
「１」となり）、ＬＰ−Ｆｌａｇ５２０は「０」にリセ
ットされる。このとき、バス出力リクエスト制御部１０
７／１０８，ローカルメモリリードリクエスト制御部１
１４／１１５，およびメモリアクセスリクエスト制御部
１２２／１２３に発行されるリクエストのコードは全て
０１ｈ（ローカルメモリリードリクエスト／コヒーレン
シ制御用リクエストを示すコード。図３参照）である。

【００７７】リクエスト発行信号５２２は、バス出力リ
クエスト制御部１０７／１０８へのリクエスト発行の有
無を示す信号であり、プロセッサ１０１／１０２からの
非ローカルメモリリードリクエストまたはＲＲＭ内リク
エストに対応するコヒーレンシ制御用リクエストの発行
時に「１」となる。どちらのリクエストであるかの識別
は、同時に転送されるリクエストコード５２４によって
行われる。

【００７８】リクエスト発行信号５２３は、ローカルメ
モリリードリクエスト制御部１１４／１１５およびメモ
リアクセスリクエスト制御部１２２／１２３へのリクエ
スト発行の有無を示す信号であり、プロセッサ１０１／
１０２からのローカルメモリリードリクエストまたはＲ
ＲＭ内リクエスト（ローカルメモリリードリクエスト）
のローカルメモリリードパスによる発行時に「１」とな
る。

【００７９】５２４〜５２６の符号で示される出力情報
は、バス出力リクエスト制御部１０７／１０８，ローカ
ルメモリリードリクエスト制御部１１４／１１５，およ
びメモリアクセスリクエスト制御部１２２／１２３に転
送される情報であり、上記のリクエスト発行信号５２２
および／または５２３が「１」のときに有効となる。

【００８０】リクエストコード５２４は、非ローカルメ
モリリードパスからのＲＲＭ内リクエストの発行時には
図３に示す非ローカルメモリリードリクエストを示すコ
ード（００ｈ）となり、ローカルメモリリードパスから
のＲＲＭ内リクエストの発行時にはローカルメモリリー
ドリクエスト／コヒーレンシ制御用リクエストを示すコ
ード（０１ｈ）となり、それ以外のときにはプロセッサ
発行リクエストのリクエストコード（リクエストコード
５０２）の値となる。

【００８１】リクエストアドレス５２５は、プロセッサ
発行リクエストストローブ（ストローブ５０１）が
「１」のときにはプロセッサ発行リクエストのリクエス
トアドレス（リクエストアドレス５０３）の値となり、
それ以外のときにはＲＲＭ５００のリクエストアドレス
レジスタ５１０の値となる。

【００８２】リクエストＩＤ５２６は、プロセッサ発行
リクエストストローブが「１」のときにはプロセッサ発
行リクエストのリクエストＩＤ（リクエストＩＤ５０
４）の値となり、それ以外のときにはＲＲＭ５００のリ
クエストＩＤレジスタ５１１の値となる。

【００８３】本実施の形態、ひいては本発明では、上記
のようなＲＲＭ５００の機能を用いて、通常時には性能
向上を目的としてローカルメモリリードパスを使用し、
再発行要求（指示）が規定回数続いた場合にはそれ以上
再発行要求の発生しない非ローカルメモリアクセスパス
に切り替えて、ローカルメモリリードリクエストを実行
することにより、メモリアクセスレイテンシ増加の可能
性を回避している。

【００８４】図６は、本実施の形態に係るメモリアクセ
スレイテンシ増加回避方式の具体的な動作を説明するた
めの図であり、プロセッサ１０１がローカルメモリリー
ドリクエストを発行した際のタイミングチャートを示す
図である。なお、図６中のＴｎ（ｎは正整数）は時間経
過を示す値であり、ＴｎとＴｎ＋１との間が必ずしも１
ＣＬＫ（クロック）である必要はない。

【００８５】次に、図１〜図６を参照して、上記のよう
に構成された本実施の形態に係るメモリアクセスレイテ
ンシ増加回避方式の具体的な動作について説明する。

【００８６】図６に示すように、Ｔ３で、ＣＰＵカード
１０上のプロセッサ１０１が第１のバス１０３にローカ
ルメモリリードリクエスト（リクエスト対象のアドレス
を「Ａ」とする）を発行した場合を考える。

【００８７】この場合に、プロセッサリクエスト制御部
１０５により当該プロセッサ発行リクエストがローカル
メモリリードリクエストであると判別されたならば、Ｔ
４で、プロセッサリクエスト制御部１０５内のＲＲＭ５
００中のＶレジスタ５０９（図６中のＲＲＭＶ）が
「１」にセットされ、リクエストアドレスレジスタ５１
０（図６中のＲＲＭアドレス）およびリクエストＩＤレ
ジスタ５１１（図６中のＲＲＭリクエストＩＤ）に当該
プロセッサ発行リクエストのリクエストアドレス５０３
（ここでは、アドレスＡ）およびリクエストＩＤ５０４
が格納され、リトライ回数カウンタ５１２（図６中のＲ
ＲＭリトライ回数カウンタ）が「０」にリセットされ
る。

【００８８】同時に（Ｔ４で）、メモリアクセスリクエ
スト制御部１２２に、当該メモリリードリクエスト（Ｒ
ＤＡ）が発行される。このメモリリードリクエストによ
り、Ｔ４で、メモリ１２４のデータ（アドレスＡのデー
タ）が読み出され、そのデータは自ＣＰＵカードリード
リプライ線１２６が使用されてプロセッサリクエスト制
御部１０５に転送される（このデータは後述のＷＴＡ
（１）による更新前のデータである）。

【００８９】プロセッサリクエスト制御部１０５では、
即座にはこのデータの処置（プロセッサ１０１への返却
または棄却）が行われず、ローカルメモリリードリクエ
スト制御部１１４からのローカルメモリリード再発行要
求線１１８の値（Ｖ２１３の値。図６中の再発行要求
Ｖ）が「１」になるまで待ち受けられる。

【００９０】同じＴ４のタイミングで、ローカルメモリ
リードリクエスト制御部１１４にも当該メモリリードリ
クエスト（ＲＤＡ）が発行され、ローカルメモリリード
リクエスト制御部１１４内のＬＲＭ２００中のＶレジス
タ２０９（図６中のＬＲＭＶ）が「１」にセットされ、
対応するリクエストアドレス２０６およびリクエストＩ
Ｄ２０７がリクエストアドレスレジスタ２１０（図６中
のＬＲＭアドレス）およびリクエストＩＤレジスタ２１
１（図６中のＬＲＭリクエストＩＤ）に格納され、ＣＨ
Ｋ−Ｆｌａｇ２１２（図６中のＬＲＭチェックフラグ）
が「０」にリセットされる。

【００９１】このとき、バス出力リクエスト制御部１０
７に転送された当該ローカルメモリリードリクエストに
対応するコヒーレンシ制御用リクエストは、出力調停待
ちによりＴ１３で第２のバス１０９に発行されたものと
し、それに先んじてＴ８で同一アドレス（アドレスＡ）
に対するメモリライトリクエスト（図６中のＷＴＡ
（１））がＣＰＵカード１１側で第２のバス１０９に発
行されたものとする。

【００９２】このようなケースでは、本来ならば、ロー
カルメモリリードリクエストは、メモリライトリクエス
トによるメモリ更新後のデータを読み出す必要がある。
しかし、Ｔ４で、メモリライトリクエストによるメモリ
更新前のデータを読み出してしまっている。したがっ
て、先にプロセッサリクエスト制御部１０５に返却され
たデータを使用することはできない。

【００９３】ローカルメモリリードリクエスト制御部１
１４内のＬＲＭ２００では、Ｔ９で、コヒーレンシ制御
部１１０内の処理中リクエスト（ＷＴＡ（１））のリク
エストコード２０２およびリクエストアドレス２０３が
チェックされ、当該ローカルメモリリードリクエストの
対象アドレスと同一アドレスに対するメモリライトリク
エストが存在することが認識される。そして、Ｔ１０
で、ＣＨＫ−Ｆｌａｇ２１２に「１」がセットされる。

【００９４】Ｔ１４で、コヒーレンシ制御部１１０に受
け付けられたコヒーレンシ制御用リクエスト（当該ロー
カルメモリリードリクエストに対応するコヒーレンシ制
御用リクエスト）により、ＬＲＭ２００がチェックさ
れ、ＣＨＫ−Ｆｌａｇ２１２が「１」であることから、
対応するローカルメモリリードリクエストによる読み出
し後にメモリ１２４が更新されたことが認識され、ＴＡ
Ｇ１１２の更新が抑止される。

【００９５】また、Ｔ１４で、ローカルメモリリードリ
クエスト制御部１１４では、ＬＲＭ２００からプロセッ
サリクエスト制御部１０５に対してローカルメモリリー
ドリクエスト再発行指示が行われる（図６中の再発行要
求Ｖおよび再発行要求Ｓが「１」となる）。

【００９６】さらに、Ｔ１５で、ＬＲＭ２００内のＶレ
ジスタ２０９が「０」にリセットされる。

【００９７】ローカルメモリリードリクエスト再発行指
示を受けて、プロセッサリクエスト制御部１０５では、
Ｔ１５で、ＲＲＭ５００内のリトライ回数カウンタ５１
２に１が加算され（＋１され）、まだリトライ回数が規
定値（２回）に達していないことが認識され、再度、ロ
ーカルメモリリード発行線１１６からのローカルメモリ
リードリクエスト制御部１１４およびメモリアクセスリ
クエスト制御部１２２へのローカルメモリリードリクエ
ストの発行ならびにバス出力リクエスト制御部１０７へ
のコヒーレンシ制御用リクエストの発行が行われる。

【００９８】この再発行ローカルメモリリードリクエス
トに対しても、一度目の発行時と同様に、メモリリード
（Ｔ１６）からコヒーレンシ制御用リクエストのコヒー
レンシ制御部１１０による受け付け（Ｔ２７）までの期
間中に、同一のアドレス（アドレスＡ）に対するメモリ
ライトリクエスト（図６中のＷＴＡ（２））が発行され
たものとする（Ｔ２０，Ｔ２１，およびＴ２２参照）。

【００９９】したがって、Ｔ２７で、ローカルメモリリ
ードリクエスト制御部１１４からプロセッサリクエスト
制御部１０５に対して、再度、ローカルメモリリードリ
クエスト再発行指示が行われる（再発行要求Ｖおよび再
発行要求Ｓが「１」となる）。

【０１００】このローカルメモリリードリクエスト再発
行指示を受け付けたプロセッサリクエスト制御部１０５
では、ＲＲＭ５００内のリトライ回数カウンタ５１２に
１が加算される。ここでは、規定値の２回に達するた
め、Ｔ２８のタイミングで、バス出力リクエスト制御部
１０７に対してのみローカルメモリリードリクエストが
リクエストコードを非ローカルメモリリードリクエスト
（００ｈ）として発行され、ローカルメモリリードパス
の使用が取り止められる。

【０１０１】このリクエスト発行を待って、Ｔ２９で、
ＲＲＭ５００内のＶレジスタ５０９が「０」にリセット
される。

【０１０２】Ｔ３９で、このローカルメモリリードリク
エストはコヒーレンシ制御部１１０に受け付けられる。
このとき、もし、上記の１回目および２回目のメモリリ
ードリクエスト発行時と同様に、それ以前に同一アドレ
スに対するメモリライトリクエストが存在したとしても
（ここでは、Ｔ３４でＷＴＡ（３）が存在している）、
Ｔ４０でメモリ１２４から読み出されるデータはそのメ
モリライトリクエストによる更新後のデータであるので
使用可能である。したがって、さらなる再発行要求は発
生しない。このデータは、自ＣＰＵカードリードリプラ
イ線１２６を介してプロセッサリクエスト制御部１０５
に返却され、さらに第１のバス１０３を介してプロセッ
サ１０１に返却される。

【０１０３】（２）第２の実施の形態

【０１０４】図７は、本発明の第２の実施の形態に係る
メモリアクセスレイテンシ増加回避方式を説明するため
のブロック図である。

【０１０５】本実施の形態に係るメモリアクセスレイテ
ンシ増加回避方式は、上記の第１の実施の形態に対し
て、複数のＣＰＵカードの接続方法および共有バス（Ｃ
ＰＵカード間接続バス）へのリクエストの入出力に関す
る調停方法についての変形形態に該当する。

【０１０６】上記の第１の実施の形態では、第２のバス
１０９によるＣＰＵカード（ＣＰＵカード１０およびＣ
ＰＵカード１１）間接続が行われ、リクエスト出力時の
分散調停方式がとられていた。すなわち、第１の実施の
形態の構成では、リクエストの転送に関してただ１本の
バス接続信号線によって各ＣＰＵカードが接続され、出
力時に全ＣＰＵカードで同一のアービタにより調停が行
われ、ただひとつのＣＰＵカードのみがリクエスト出力
許可を得ていた。

【０１０７】これに対して、本実施の形態では、図７に
示すように、各ＣＰＵカード（ＣＰＵカード７０，７
１，７２，および７３）は、各々がリクエストの出力専
用に使用する１本の信号線と、リクエストの入力に使用
するｍ本（ｍは他ＣＰＵカード枚数により決まる値）の
信号線群とを含んで構成されている。すなわち、信号線
７０１，７０２，７０３，および７０４を有している。

【０１０８】また、本実施の形態における構成では、各
ＣＰＵカード７０，７１，７２，および７３は、リクエ
スト入出力時の調停に関して、バス出力リクエスト制御
部とともに、バスリクエスト受け付け調停部７０５，７
０６，７０７，および７０８を有している。

【０１０９】本実施の形態に係るメモリアクセスレイテ
ンシ増加回避方式では、各ＣＰＵカード７０〜７３は、
まったく独立したタイミングでリクエストを自分の出力
専用の信号線７０１〜７０４を用い、自分自身も含めた
全てのＣＰＵカード７０〜７３に転送する。

【０１１０】このリクエストは、全ＣＰＵカード７０〜
７３において同タイミングで、バスリクエスト受け付け
調停部７０５〜７０８で受け付けられる。

【０１１１】当該バスリクエスト受け付け調停部７０５
〜７０８は、全ＣＰＵカード７０〜７３で同一のアービ
タを備えており、複数ＣＰＵカードからのリクエストを
同タイミングで受け付けたならば、全ＣＰＵカード７０
〜７３で共通のアービタ論理により、どのリクエストを
先に処理するかを決定する。このアービタ論理として
は、例えば、「カード番号の小さいＣＰＵカードからの
リクエストを優先的に処理する」といったものが考えら
れる。

【０１１２】なお、上記のような本実施の形態（第２の
実施の形態）で特有な構成および動作以外の構成および
動作は、第２の実施の形態も第１の実施の形態と同様で
ある。

【０１１３】また、全ＣＰＵカード上のコヒーレンシ制
御部においてまったく同一の順序で共有バスからの入力
リクエストが認識できるのであれば、上記の第１の実施
の形態および第２の実施の形態の調停方法以外のＣＰＵ
間リクエスト入出力調停方法を採用することも可能であ
る。さらに、ＣＰＵカード間の接続方法も、全ＣＰＵカ
ードで同じ順番でリクエストを受け取ること等ができれ
ば、どのような接続方法でもかまわない。

【０１１４】

【発明の効果】以上説明したように、本発明によると、
従来の「メモリアクセスレイテンシ短縮を目的とするが
再発行要求が頻発した際には結果として最初のリクエス
ト発行から最終的に正当なデータが得られるまでのレイ
テンシが増加する可能性のあるローカルメモリリードリ
クエスト処理方式」に対して、再発行要求が頻発するお
それがある場合にそれ以上再発行要求が発生することが
ない非ローカルメモリリードパスを使用したローカルメ
モリリードリクエスト実行処理に切り替える機能（ＬＲ
ＭおよびＲＲＭによる機能）を加えることにより、メモ
リアクセスレイテンシがある一定値以上増加することを
回避できるという効果が生じる。

【図面の簡単な説明】

【図１】本発明の第１の実施の形態に係るメモリアクセ
スレイテンシ増加回避方式が適用されるＮＵＭＡ型マル
チプロセッサシステムの構成を示すブロック図である。

【図２】図１中のＬＲＭの構成を示すブロック図（回路
構成図）である。

【図３】図１に示すＮＵＭＡ型マルチプロセッサシステ
ムで使用されるリクエストコードの一例を示す図であ
る。

【図４】図１中のローカルメモリリードリクエスト制御
部からプロセッサリクエスト制御部に通知されるローカ
ルメモリリードリクエスト再発行指示の意味を示す図で
ある。

【図５】図１中のＲＲＭの構成を示すをブロック図（回
路構成図）である。

【図６】図１に示すメモリアクセスレイテンシ増加回避
方式の具体的な動作の一例を示すタイミングチャートで
ある。

【図７】本発明の第２の実施の形態に係るメモリアクセ
スレイテンシ増加回避方式を説明するためのブロック図
である。

【符号の説明】

１０，１１，７０，７１，７２，７３ＣＰＵカード１０１，１０２プロセッサ１０３，１０４第１のバス１０５，１０６プロセッサリクエスト制御部１０７，１０８バス出力リクエスト制御部１０９第２のバス１１０，１１１コヒーレンシ制御部１１２，１１３ＴＡＧ１１４，１１５ローカルメモリリードリクエスト制御
部１１６，１１７ローカルメモリリード発行線１１８，１１９ローカルメモリリード再発行要求線１２０，１２１キャッシュインバリデート要求線１２２，１２３メモリアクセスリクエスト制御部１２４，１２５メモリ１２６，１２７自ＣＰＵカードリードリプライ線１２８，１２９他ＣＰＵカードリードリプライ線１３０第３のバス２００ＬＲＭ２０１，２０５，５０１ストローブ２０２，５０２，５２４リクエストコード２０３，２０６，５０３，５２５リクエストアドレス２０４，２０７，２１５，５０４，５０７，５２６リ
クエストＩＤ２１３，５０５Ｖ２１４，５０６Ｓ２０８ライトリクエスト識別回路２０９，５０９Ｖレジスタ２１０，５１０リクエストアドレスレジスタ２１１，５１１リクエストＩＤレジスタ２１２ＣＨＫ−Ｆｌａｇ５００ＲＲＭ５０８ローカルメモリリード判定回路５１２リトライ回数カウンタ５１３，７０１，７０２，７０３，７０４信号線５１４，５１６，５１９，５２１ＡＮＤゲート５１５ＡＮＤゲート・ＯＲゲート５１７比較回路５１８ＮＬＰ−Ｆｌａｇ５２０ＬＰ−Ｆｌａｇ５２２，５２３リクエスト発行信号７０５，７０６，７０７，７０８バスリクエスト受け
付け調停部

フロントページの続き (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06F 15/16 - 15/177 G06F 12/00 550 - 12/06 G06F 13/16 - 13/18

Claims

(57)【特許請求の範囲】

【請求項１】複数のＣＰＵカード間を信号線で接続し
たＮＵＭＡ型マルチプロセッサシステムにおいて、自Ｃ
ＰＵカード内のプロセッサからローカルメモリリードリ
クエストを受けた際に、当該ローカルメモリリードリク
エストの再発行要求が規定回数続く前には性能向上を目
的としてローカルメモリリードパスを使用してメモリリ
ードリクエストを行い、当該ローカルメモリリードリク
エストの再発行要求が規定回数続いた時には非ローカル
メモリリードパスを使用してメモリリードリクエストを
行うように制御するＲＲＭを備える各ＣＰＵカード内の
プロセッサリクエスト制御部と、前記プロセッサリクエ
スト制御部からのローカルメモリリードリクエスト発行
指示に基づいて仕掛かり中のローカルメモリリードリク
エストに関する情報を保持し、当該保持情報およびコヒ
ーレンシ制御部からの処理中リクエスト情報に基づき、
ローカルメモリリードリクエストのメモリリードから当
該ローカルメモリリードリクエストに対応するコヒーレ
ンシ制御用リクエストがコヒーレンシ制御部に受け付け
られるまでの期間を管理し、この期間中に当該ローカル
メモリリードリクエストのアクセス対象のアドレスと同
一アドレスに対するメモリライトリクエストがコヒーレ
ンシ制御部に受け付けられたか否かをチェックし、その
ようなメモリライトリクエストが存在したならばローカ
ルメモリリードリクエスト再発行指示を出力するＬＲＭ
を備えるローカルメモリリードリクエスト制御部とを有
することを特徴とするメモリアクセスレイテンシ増加回
避方式。
【請求項２】ＬＲＭが、ストローブ，リクエストコー
ド，リクエストアドレス，およびリクエストＩＤを有す
るコヒーレンシ制御部からの処理中リクエスト情報なら
びにストローブ，リクエストアドレス，およびリクエス
トＩＤを有するプロセッサリクエスト制御部からのロー
カルメモリリードリクエスト発行指示を入力し、ローカ
ルメモリリードリクエスト再発行指示を出力し、ライト
リクエスト識別回路と、Ｖレジスタと、リクエストアド
レスレジスタと、リクエストＩＤレジスタと、ＣＨＫ−
Ｆｌａｇとを含んで構成されていることを特徴とする請
求項１記載のメモリアクセスレイテンシ増加回避方式。
【請求項３】ＲＲＭが、ストローブ，リクエストコー
ド，リクエストアドレス，およびリクエストＩＤを有す
るプロセッサ発行リクエスト情報ならびにＬＲＭから出
力されたローカルメモリリードリクエスト再発行指示を
入力し、バス出力リクエスト制御部にリクエストが発行
されることを示すリクエスト発行信号，ローカルメモリ
リードリクエスト制御部およびメモリアクセスリクエス
ト制御部にリクエストが発行されることを示すリクエス
ト発行信号，ならびにバス出力リクエスト制御部，ロー
カルメモリリードリクエスト制御部，およびメモリアク
セスリクエスト制御部に転送されるリクエストコード，
リクエストアドレス，およびリクエストＩＤを出力し、
ローカルメモリリード判定回路と、Ｖレジスタと、リク
エストアドレスレジスタと、リクエストＩＤレジスタ
と、リトライ回数カウンタと、ＮＬＰ−Ｆｌａｇと、Ｌ
Ｐ−Ｆｌａｇとを含んで構成されていることを特徴とす
る請求項１または請求項２記載のメモリアクセスレイテ
ンシ増加回避方式。
【請求項４】複数のＣＰＵカードの接続方法およびＣ
ＰＵカード間接続バスへのリクエストの入出力に関する
調停方法が「リクエストの転送に関して１本のバス接続
信号線によって各ＣＰＵカードを接続し、リクエストの
出力時に全ＣＰＵカードで同一のアービタにより調停を
行い、ただひとつのＣＰＵカードのみがリクエスト出力
許可を得る方法」であることを特徴とする請求項１，請
求項２，または請求項３記載のメモリアクセスレイテン
シ増加回避方式。
【請求項５】複数のＣＰＵカードの接続方法およびＣ
ＰＵカード間接続バスへのリクエストの入出力に関する
調停方法が「各ＣＰＵカードがリクエストの出力専用に
使用する信号線とリクエストの入力に使用する信号線群
とを含んで構成され、各ＣＰＵカードは独立したタイミ
ングでリクエストを自分の出力専用の信号線を用いて自
分自身も含めた全てのＣＰＵカードに転送し、各ＣＰＵ
内のバスリクエスト受け付け調停部が当該リクエストを
全ＣＰＵカードにおいて同タイミングで受け付けて全Ｃ
ＰＵカードで共通のアービタ論理によりどのリクエスト
を先に処理するかを決定する方法」であることを特徴と
する請求項１，請求項２，または請求項３記載のメモリ
アクセスレイテンシ増加回避方式。
【請求項６】プロセッサ内蔵キャッシュにストアスル
ー方式が採用されているＮＵＭＡ型マルチプロセッサシ
ステムに適用されることを特徴とする請求項１，請求項
２，請求項３，請求項４，または請求項５記載のメモリ
アクセスレイテンシ増加回避方式。