JP2001005725A

JP2001005725A - キャッシュ記憶装置

Info

Publication number: JP2001005725A
Application number: JP11173656A
Authority: JP
Inventors: Satoru Nishimoto; 哲西本; Takayoshi Iizuka; 孝好飯塚; Eiki Kamata; 栄樹釜田
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 1999-06-21
Filing date: 1999-06-21
Publication date: 2001-01-12

Abstract

(57)【要約】【課題】セットアソシアティブ方式のキャッシュ記憶
装置において、ブロック競合によるキャッシュミス回数
を低減するキャッシュ記憶装置を提供すること。【解決手段】データとタグを保持するメモリセル部
と、キャッシュブロックの参照履歴情報を表すＬＲＵメ
モリ部と、ヒット／ミスを判定する回路を具備するセッ
トアソシアティブ方式のキャッシュメモリ装置におい
て、該当キャッシュブロックのＬＲＵを最も遠い昔に参
照したブロックに変更する命令を備える。前記命令の実
行時に、ＬＲＵエンコード回路１１０において該当ブロ
ックのＬＲＵを最も遠い昔に参照したブロックに変更す
る。

Description

【発明の詳細な説明】

【発明の属する技術分野】本発明はプロセッサにおける
キャッシュ記憶装置に係わり、特に、将来使用される可
能性の高いデータのキャッシュからの追い出しを抑止す
ることができるキャッシュ記憶装置に関する。

【従来の技術】キャッシュ記憶装置については、富田
眞治、村上和彰、新實治男訳：”コンピュータアー
キテクチャ：設計・実現・評価の定量的アプローチ”：
Ｐ４０３〜Ｐ４２８：日経ＢＰ、において詳しく述べら
れている。コンピュータプログラムの主記憶参照には局
所性がある。この性質を利用して、頻繁にアクセスされ
る主記憶データをキャッシュ記憶装置と呼ばれる高速で
小容量のメモリにコピーし、主記憶へのアクセスをこの
キャッシュ記憶装置に対して行なうことによって、メモ
リアクセスを高速化させることが行なわれている。キャ
ッシュ記憶装置と主記憶の間のデータの管理は、ブロッ
クと呼ぶ適当な大きさを単位として行なわれる。ブロッ
クの大きさをブロックサイズと呼ぶ。キャッシュ記憶装
置には複数のブロックが格納されており、例えばキャッ
シュサイズが１２８Ｋバイト、ブロックサイズが１２８
バイトの場合、キャッシュ記憶装置には１０２４個のブ
ロックが格納される。キャッシュに格納されたデータは
データアレイと呼ぶメモリに保持される。またデータと
同様にキャッシュが主記憶上のどのブロックを保持する
かを識別するために、ブロックのアドレスがアドレスア
レイと呼ばれるメモリに保持される。プロセッサが参照
するデータがキャッシュ上にあるかどうかは、アドレス
アレイと、命令が参照するアドレスを比較することで判
定する。主記憶上のブロックをキャッシュ上のどこに配
置するかによって、キャッシュの構成は３つに分類でき
る。主記憶上の各ブロックのキャッシュ上での位置がそ
のアドレスによって一意に決められている場合をダイレ
クトマップ方式と呼び、主記憶上の各ブロックをキャッ
シュ上の任意の場所に配置して良い場合をフルアソシア
ティブ方式と呼び、主記憶上のブロックをキャッシュ上
のある決められた範囲内の中だけに配置することができ
る場合を、セットアソシアティブ方式と呼ぶ。一般にフ
ルアソシアティブ方式の場合、キャッシュ上にデータが
存在するかどうかを判定するためには、命令が参照する
アドレスと、キャッシュに格納されている全てのブロッ
クのアドレスを比較しなければならず、ハードウエア量
の点から現実的ではない。そのためブロックのマッピン
グには、従来からダイレクトマップ方式と、セットアソ
シアティブ方式が使用されている。セットアソシアティ
ブ方式の概要を図４に示す。セットアソシアティブ方式
では、キャッシュメモリをＮ行Ｍ列のブロックに分割す
る。各ブロックにはデータとブロックのアドレスが格納
されている。ここでキャッシュの各行をカラムと呼び、
各列をロー（ＲＯＷ）と呼ぶ。図４は、キャッシュサイ
ズが１２８Ｋバイト、ブロックサイズが１２８バイトの
４ウエイセットアソシアティブのキャッシュを表してい
る。この例では、各カラムは４個のブロックから構成さ
れ、キャッシュは２５６個のカラムから構成される。メ
モリアクセスが図４の４０１、４０２、４０３に示す４
０ビットのアドレスで行なわれると仮定すると、４０３
の７ビットはブロック内のオフセットを表し、４０２の
８ビットは、キャッシュのカラム番号を表し、４０１の
２５ビットは、同一カラムに格納される可能性のある主
記憶上のブロックのインデックスを表す。したがって、
アドレスアレイには４０１に示すブロックのインデック
スが格納される。メモリ参照命令が実行されると、まず
４０２で示されるカラムアドレスによって、キャッシュ
がアクセスされる。ここでカラムアドレスがｉならば、
キャッシュメモリのカラムｉ上の４個のブロックがアク
セスされる。次に上記で読み出された４個のブロックの
アドレスと、４０１で与えられるブロックのインデック
スの一致を検査する。４個のいずれかのブロックとアド
レスが一致していれば、キャッシュにヒットしたとい
い、参照するデータがキャッシュ上に存在することが分
かる。４個のどのブロックとも一致しなければ、キャッ
シュミスしたといい、参照するデータはキャッシュ上に
存在しないことが分かる。この場合、主記憶からブロッ
クをキャッシュ上にコピーする。セットアソシアティブ
方式では、主記憶からフェッチしたブロックを格納する
キャッシュ上の位置の決定において、カラム番号はフェ
ッチしたブロックのアドレスによって一意に決まるが、
カラム内のどのＲＯＷにブロックを登録するかは、なん
らかの方法で決定しなければならない。該当カラム内に
有効でないＲＯＷが存在すれば、そのＲＯＷを置き換え
対象とできるが、全てのＲＯＷが有効である場合は、カ
ラム内のいずれかのＲＯＷを追い出して、その後、該当
ＲＯＷに主記憶からのブロックをコピーする必要があ
る。上記の追い出しが発生する場合の、追い出し対象と
なるＲＯＷを決定する方法として、一般にＬＲＵ（Ｌｅ
ａｓｔＲｅｃｅｎｔｌｙＵｓｅｄ）アルゴリズムが使
用されている。これは、最も遠い過去に参照されたブロ
ックを追い出し対象とする方式である。図４におけるＬ
ＲＵ４０７は、カラム内の４個のブロックの参照履歴情
報を格納するためのメモリであり、カラム毎に対応する
ＬＲＵ情報を保持している。このＬＲＵ情報を用いて、
カラム内の４個のブロックの中で最も遠い昔に参照され
たブロックを検出する。

【発明が解決しようとする課題】一般にプログラムのメ
モリアクセスパターンを解析すると、次のような特徴が
現れる場合が非常に多い。（１）あるアドレスのデータに対するアクセスは比較的
短い時間内に再発する。（２）ある一定時間内にアクセスされるデータは比較的
近いアドレスに分布する。前者は「時間的局所性」、後
者は「空間的局所性」と呼ばれる。セットアソシアティ
ブ方式において、追い出しアルゴリズムにＬＲＵを用い
た場合、最も最近アクセスされたブロックは追い出され
ないので、メモリアクセスパターンに、”空間的局所性
はあるが、時間的局所性がない”という特徴を持つ大き
な配列をアクセスする場合、キャッシュ内のブロックが
上記配列によって全て上書きされ、スタック上のデータ
などの時間的局所性があるデータが追い出され、この追
い出された時間的局所性のあるデータへの参照が再び発
生した時にキャッシュミスが発生する場合がある。図５
は、上記の問題が発生するプログラム例である。この例
では、キャッシュサイズが１２８Ｋバイト、ブロックサ
イズが１２８バイトの４ウエイセットアソシアティブの
キャッシュを仮定する。５０１はソーププログラムであ
り、配列の各要素が８バイトである１００×１６０００
の配列Ｓを１００×１６０００の配列Ｔにコピーする。
内側ループ５０４で１６０００個の要素のコピーを行な
い、外側ループ５０２を１００回繰り返すことで、全要
素のコピーを行なう。また外側ループの各繰り返しにお
いて、外側ループ５０２内には、内側ループ５０４の実
行が始まる前にスタック上の局所変数へのアクセス５０
３があると仮定する。また配列Ｓ、Ｔは１２８バイト境
界に配置されていると仮定する。５０１のプログラムに
おいて、配列Ｓ、Ｔに対するメモリ参照は、ある一定時
間内に比較的近いアドレスに分布するが、同一アドレス
に対する参照は一度しか発生しない。したがって、配列
Ｓ、Ｔのメモリアクセスパターンには、空間的局所性は
あるが、時間的局所性はないと考えられる。一方、局所
変数の使用５０３で参照されるスタック上のデータは、
外側ループ５０２の繰り返し毎に同一アドレスが参照さ
れるので、時間的局所性があると考えられる。５１０は
５０１の内側ループを疑似命令列で書き換えたものであ
る。５１０の内側ループ５１３は、配列Ｓの各要素をロ
ードして、配列Ｔの各要素にストアする疑似命令列にな
る。内側ループ５１３は１６０００回繰り返され、かつ
配列Ｓの要素は８バイトなので、外側ループ５１１の１
回の繰り返しで、キャッシュサイズと同じ１２８Ｋバイ
トメモリをシーケンシャルにアクセスする。このプログ
ラムを実行すると、まず外側ループ５１１の最初の繰り
返しで、局所変数の使用５１２によって、スタックのデ
ータを格納するブロックがキャッシュ上にコピーされ
る。その後、内側ループ５１３の実行によって、１２８
Ｋバイトのメモリがアクセスされるため、スタックのデ
ータを格納するキャッシュ上のブロックはキャッシュか
ら追い出され、キャッシュ上のデータは全て配列Ｓによ
って上書きされてしまう。その後、外側ループ５１１の
次の繰り返しの局所変数の使用５１２において、再びス
タックが参照されたとき、キャッシュミスが発生する。
スタック上のデータには時間的局所があるため、この例
では外側ループ５１１の繰り返し毎に、局所変数の使用
５１２でキャッシュミスが発生する。このような、時間
的局所性のあるブロックが、空間的局所性はあるが時間
的局所性のないブロックによってキャッシュから追い出
されるという問題を解決するために、特開平７−２８１
９５７号で示されているＬＲＵのロック方式を使用する
ことができる。上記特許によれば、再利用される可能性
のあるデータの最初の参照でLRUをロックし、該当デー
タの最後の参照でＬＲＵのロックを解除する。この方法
を、前記のプログラム例に適用すると、スタックの最初
の参照でＬＲＵをロックし、関数を抜けるときにＬＲＵ
のロックを解除することになる。これにより、スタック
のデータを保持するブロックはキャッシュ上で常に最新
のままになるので、配列Ｓの参照によってスタックデー
タが追い出されることはなくなる。しかしながら、ＬＲ
Ｕのロック方式ではプロセスが切り替わった時にＬＲＵ
が動作しない可能性があり、キャッシュの使用率が低下
するという問題がある。例えば、プロセスＡにおいて、
前記のプログラム５１０を実行し、スタックの最初の参
照でＬＲＵをロックした後で、ＬＲＵのロックが解除さ
れる前にプロセスＡがプロセスＢに切り替わった場合を
考える。プロセスがＢに切り替わっても、キャッシュの
ＬＲＵはロックされたままなので、ロックされたカラム
における追い出し対象のブロックは、常にＬＲＵがロッ
クされたときに追い出し対象であったブロックとなり、
プロセスＢにおける該当カラムは、ダイレクトマップの
キャッシュと同様の動作になってしまい、キャッシュの
使用率が著しく低下する。またこれを避けるために、プ
ロセスがＡからＢに切り替わる時、ＯＳによってＬＲＵ
のロックを全て解除することも考えられるが、この処理
は大きなオーバーヘッドとなる。以上のように、従来方
式では、ＬＲＵによって性能が低下する場合があり、か
つ前記特許に示されているＬＲＵのロック方式を使用し
た場合もマルチプロセス環境においてキャッシュの使用
率が低下するという問題が発生する。本発明の目的は、
前記のプログラム例５０１に示すような、空間的局所性
はあるが、時間的局所性が無いデータの参照によって、
時間的局所性のあるデータがキャッシュから追い出され
ることを減少させることができ、かつマルチプロセス環
境においても特別な処理を行なうことなくＬＲＵを正常
に動作させることができる、キャッシュ記憶装置を提供
することである。

【課題を解決するための手段】本発明は、ブロックの追
い出しアルゴリズムにＬＲＵを使用するキャッシュ記憶
装置において、キャッシュブロックのＬＲＵ化を指示で
きるメモリ参照命令を実行したとき、キャッシュ上の該
当ブロックをＬＲＵ化することができる回路を備えるこ
とを特徴とする。従来、キャッシュブロックが参照され
た場合、該当するブロックのＬＲＵは最新となり、最も
追い出されにくくなるが、本発明は、該当ブロックの最
後の参照時に上記ＬＲＵ化命令を使用することで、アク
セスしたキャッシュブロックを最も遠い昔に参照された
ブロックにし（ブロックのＬＲＵ化）、次に同一カラム
の追い出しが発生したときに、前記ＬＲＵ化したブロッ
クを最も追い出され易くすることを特徴とする。

【発明の実施の形態】以下、図面を参照して本発明の実
施例を詳細に説明する。本実施例では、以下のキャッシ
ュ記憶装置を例に説明する。（１）キャッシュのサイズは、１２８Ｋバイト（２）キャッシュのブロックサイズは１２８バイト（３）４ウエイセットアソシアティブ（４）ブロック置き換えアルゴリズムにはＬＲＵを使用（５）ストアスルー方式なお、本発明は、ブロック置き換えアルゴリズムにＬＲ
Ｕを使用したセットアソシアティブ方式のキャッシュ記
憶装置に適用するものあり、上記仮定におけるキャッシ
ュサイズ、ブロックサイズ、ウエイ数が異なるキャッシ
ュにも適用可能であり、またストアイン方式のキャッシ
ュにも適用可能である。従来技術のセットアソシアティ
ブ方式の説明において使用した図４は、本実施例で使用
するキャッシュのメモリ部分の構造を示している。キャ
ッシュメモリ部の動作は従来技術で説明した通りであ
る。図１は、図４をメモリ部とする本発明のキャッシュ
記憶装置の概略構成図である。１０１は図４におけるデ
ータおよびアドレスアレイ４０６であり、１１１は図４
におけるＬＲＵ４０７に対応する。本実施例のキャッシ
ュ記憶装置は、キャッシュメモリが格納するデータおよ
びそのアドレスを保持するデータアレイおよびアドレス
アレイ１０１と、参照履歴情報を保持するＬＲＵアレイ
１１１と、読み出したデータをセレクトするセレクタ１
０８と、ヒット／ミスを判定するＨＩＴ／ＭＩＳＳ判定
回路１２２と、ＬＲＵアレイに書き込むＬＲＵの値を作
成するＬＲＵエンコード回路１１０と、読み出したＬＲ
Ｕの値から追い出すＲＯＷを決定するＬＲＵデコード回
路１１２と、データアレイおよびアドレスアレイから読
み出したカラム内の４個のブロックのデータのうちの１
つを選択するためのセレクト信号１１８を作成する選択
ＲＯＷ制御回路１１３と、データアレイ／アドレスアレ
イ／ＬＲＵアレイへの書き込みおよび読み出しを制御す
るＤＡＴＡ／ＴＡＧ／ＬＲＵ制御回路１２３から構成さ
れる。以下では、まず通常のロード命令を実行したとき
の、図１のキャッシュ記憶装置の動作、特にＬＲＵデコ
ード回路１１２とＬＲＵエンコード回路１１０の動作に
ついて説明し、その後、本発明で提案するＬＲＵ化ロー
ドを実行したときの、図１のキャッシュ記憶装置の動
作、特にＬＲＵエンコード回路１１０の動作について説
明する。通常のロード命令を実行すると、命令が参照す
るアドレス１０２と、データおよびタグを更新するか否
かを表すデータ／タグ更新信号１０６と、キャッシュか
らのデータの読み出しを指示するキャッシュ読み出し信
号１０７が与えられる。上記信号が与えられると、まず
アドレス１０２のカラムアドレス部によって、データア
レイ／アドレスアレイがアクセスされ、該当カラム内の
ＲＯＷ０、ＲＯＷ１、ＲＯＷ２、ＲＯＷ３に格納されて
いるデータおよびアドレスが、それぞれデータ０、１、
２、３およびタグ０、１、２、３に読み出される。次に
ＨＩＴ／ＭＩＳＳ判定回路１２２において、読み出され
た４個のタグの値とロード命令が参照するアドレスのう
ちのブロックアドレス部分を比較する。前記の４個の比
較結果のうちのいずれかが一致していれば、ロード命令
が参照するブロックがキャッシュ上に存在し、ＨＩＴ／
ＭＩＳＳ判定回路１２２からのヒット信号１１６が１と
なる。いずれのＲＯＷとも一致しなければ、ロード命令
が参照するブロックはキャッシュ上には存在せず、ヒッ
ト信号１１６は０となる。ＨＩＴ／ＭＩＳＳ判定回路１
２２は、上記のヒット信号１１６とともに、ヒットした
ＲＯＷ番号を信号１１９に出力する。選択ＲＯＷ制御回
路１１３は、ヒット／ミスに応じて、読み出すべきＲＯ
Ｗを決定する。ここでヒットならば、ヒットＲＯＷ１１
９によって与えられるＲＯＷ番号を選択ＲＯＷ信号１１
７に出力し、かつこれをセレクタ１０８のセレクト信号
１１８に出力する。セレクタ１０８では、セレクト信号
１１８を使用して、同時に読み出した４個のデータおよ
びタグから１つをセレクトし、キャッシュからの読み出
しデータ１１４および読み出しタグ１１５をロード命令
の結果として出力する。ＨＩＴ／ＭＩＳＳ判定回路１２
２の結果がミスの場合、選択ＲＯＷ制御回路１１３は、
ＬＲＵデコード回路１１２から出力される追い出し対象
ＲＯＷを選択ＲＯＷ信号１１７に出力する。その後、主
記憶からのデータのフェッチを行ない、フェッチした１
ブロック分のデータをキャッシュに書き込む。ここでデ
ータは、前述した、キャッシュミス時に選択ＲＯＷ信号
１１７から出力された追い出し対象ＲＯＷに書き込む。
前述のとおり、キャッシュミス時に追い出し対象となる
ＲＯＷは、ＬＲＵデコード回路１１２で決定される。こ
のＬＲＵデコード回路１１２の動作を図２および図３を
用いて説明する。図２は、従来から使用されている４ウ
エイセットアソシアティブのＬＲＵの実現方法を表して
いる。この方法によると、４ウエイのＬＲＵを６ビット
で表し、かつ最も最近アクセスされたＲＯＷの決定およ
び、最も最近アクセスされたＲＯＷへのＬＲＵの更新
を、前記６ビットのうちの３ビットだけを用いて行なう
ことができる。本実施例におけるＬＲＵの実現方法も、
この従来技術を使用する。図２の各ノード２０１、２０
２、２０３、２０４は４ウエイセットアソシアティブに
おける各ＲＯＷを表し、ノード間のエッジＮＥＷＥＲ
（０）〜ＮＥＷＥＲ（５）はノード間の参照の新旧関係
を表す。このエッジは有向エッジであり、矢印が指すノ
ードは、矢印が出るノードよりも最近アクセスがあった
ＲＯＷであることを表す。したがって、４ノードのうち
で最も遠い昔にアクセスされたノード（追い出し対象と
なるノード）は、どこからも矢印が指されていないノー
ドとなる。図２に示す矢印の向きを初期状態とし、ＮＥ
ＷＥＲ（０−５）＝（０、０、０、０、０、０）とす
る。この場合、初期状態で最も遠い昔にアクセスされた
ノードはＲＯＷ０である。以上のように４ウエイのＬＲ
Ｕを実現するために、１つのカラムに対して６ビットＮ
ＥＷＥＲを使用する。本実施例ではＮＥＷＥＲは、図１
のＬＲＵアレイ１１１が保持する。キャッシュミスが発
生すると、該当カラム内のＲＯＷのうちで、最も遠い昔
にアクセスされたＲＯＷを追い出し対象のＲＯＷとして
選択する。前述のように最も遠い昔に参照されたＲＯＷ
は、どこからも矢印が示されていないＲＯＷである。キ
ャッシュミス時の追い出し対象のＲＯＷは、キャッシュ
アクセス時にＬＲＵアレイから読み出される該当カラム
のＮＥＷＥＲ（０−５）をＬＲＵデコード回路１１２で
デコードして得られるＲＯＷを使用する。図３の表３０
１はＬＲＵデコード回路１１２の制御を表している。表
３０１はＮＥＷＥＲ（０−５）が与えられたときに、最
も遠い昔に参照されたＲＯＷを検出する論理である。例
えば、ＲＯＷ０が最も遠い昔にアクセスされたＲＯＷと
なるのは、ＲＯＷ０とつながる矢印ＮＥＷＥＲ（０）、
ＮＥＷＥＲ（３）、ＮＥＷＥＲ（４）が全てＲＯＷ０か
ら出ている場合である。すなわち各矢印が初期状態と同
じＮＥＷＥＲ（０、３、４）＝（０、０、０）の場合で
ある。同様にＲＯＷ１が追い出し対象となるのは、ＮＥ
ＷＥＲ（０）だけが初期状態と異なる、ＮＥＷＥＲ
（０、１、５）＝（１、０、０）の場合である。以上
が、通常のロード命令を実行したときの、ＬＲＵによる
追い出しＲＯＷの決定方法（ＬＲＵデコード回路１１０
の動作）である。次に通常ロード命令を実行したとき
の、ＬＲＵの更新動作（ＬＲＵエンコード回路１１２の
動作）について説明する。通常のロード命令の実行で
は、以下の場合にＬＲＵを更新する。（１）キャッシュヒット時（２）キャッシュミス時の主記憶からのデータのキャッ
シュへの書き込み時（１）（２）のケースは共に該当ＲＯＷのＬＲＵを最新
（最も最近参照されたＲＯＷ）に変更する。（１）のケ
ースでは、キャッシュにヒットすると、ＨＩＴ／ＭＩＳ
Ｓ判定回路１２２よって出力されるヒットＲＯＷ１１９
が、選択ＲＯＷ制御回路１１３で選択され、選択ＲＯＷ
信号１１７に出力される。その後、選択ＲＯＷ信号１１
７はＬＲＵエンコード回路１１０に入力され、ＬＲＵエ
ンコード回路１１０において、ＲＯＷ番号がＬＲＵアレ
イに登録するＮＥＷＥＲ（０−５）にエンコードされ、
ＬＲＵアレイが更新される。通常のロード命令の実行に
おいて、ＬＲＵエンコード回路１１０は、図３の表３０
２にしたがって動作する。例えば、ＬＲＵエンコード回
路１１０への入力がＲＯＷ０である場合、ＲＯＷ０が最
新になるように、該当カラムのＮＥＷＥＲ（０−５）を
変更する。表３０２によると、このケースではＮＥＷＥ
Ｒ（０、３、４）＝（１、１、１、）に変更する。これ
は図２におけるＲＯＷ０に繋がる矢印が全てＲＯＷ０を
向くように変更することを意味する。同様にＬＲＵエン
コード回路１１０への入力がＲＯＷ１は、ＲＯＷ１を最
も最近参照したＲＯＷに変更するために、ＬＲＵアレイ
の該当カラムにＮＥＷＥＲ（０、１、５）＝（０、１、
１）を登録する。次に（２）のキャッシュへの書き込み
ケースについて説明する。まずキャッシュミスが生じる
と、ＬＲＵアレイから該当カラムのＮＥＷＥＲ（０−
５）が出力される。これがＬＲＵデコード回路１１２に
入力され、最も遠い昔に参照されたＲＯＷが追い出し対
象として出力される。ＬＲＵデコード回路１１２の処理
は、前述した図３の表３０１にしたがって行なわれる。
この追い出し対象のＲＯＷは選択ＲＯＷ制御回路１１３
に入力され、選択ＲＯＷ信号として出力される。その
後、主記憶からデータが戻り、キャッシュに書き込むと
きに、（１）のケースと同様に、前記の追い出し対象Ｒ
ＯＷ番号が、ＬＲＵエンコード回路１１０に入力され、
データを書き込むと同時に該当ＲＯＷが最も最近参照さ
れたＲＯＷとなるように該当カラムのＬＲＵアレイを変
更する。ここでＬＲＵエンコード回路１１０における処
理は、（１）のケースと同様に、図３の表３０２に基づ
いて動作する。以上が通常のロード命令を実行したとき
のキャッシュ記憶装置の動作である。次に本発明で開示
するＬＲＵ化ロード命令を実行した時のキャッシュメモ
リの動作について説明する。上述したように、通常のロ
ード命令を実行すると、参照したブロックのＬＲＵは最
新になるのに対して、ＬＲＵ化ロード命令を実行する
と、参照したブロックのＬＲＵは、最も遠い昔に参照し
たブロックになる。これにより、後続の命令で同一カラ
ムを参照し、かつキャッシュミスが発生した場合は、Ｌ
ＲＵ化ロード命令で参照され、ＬＲＵ化されたＲＯＷが
追い出し対象になる。ＬＲＵ化ロード命令が実行される
と、通常のロード命令の場合と同様に、参照するアドレ
スのカラム部によってデータアレイ、アドレスアレイ、
ＬＲＵアレイがアクセスされ、該当するカラムのデー
タ、タグ、ＬＲＵが読み出される。ここでヒットすれ
ば、ヒットしたＲＯＷのデータとタグが読み出しデータ
１１４および読み出しタグ１１５によって返される。次
にＬＲＵ化ロード命令の実行によるＬＲＵアレイの更新
について説明する。ＬＲＵの更新は通常ロードと同様
に、以下のケースで発生する。（１）キャッシュヒット時（２）キャッシュミス時の主記憶からのデータのキャッ
シュへの書き込み時ＬＲＵ化ロード命令を実行するときは、（１）（２）の
ケースは共に該当ＲＯＷのＬＲＵを最も遠い昔に参照さ
れたＲＯＷに変更する。（１）のヒット時には、ＨＩＴ
／ＭＩＳＳ判定回路１２２からヒットしたＲＯＷ１１９
が出力され、選択ＷＡＹ信号１１７に、１１９で示され
るＲＯＷが出力される。その後、選択ＷＡＹ信号１１７
はＬＲＵエンコード回路１１０に入力され、ＬＲＵアレ
イ１１１に書き込むべきＮＥＷＥＲ（０−５）の値を決
定する。ＬＲＵ化ロード時は、ＬＲＵエンコード回路１
１０は図３の表３０３にしたがって動作する。例えば、
ＬＲＵ化ロード命令がＲＯＷ０にヒットした場合、ＬＲ
Ｕエンコード回路１１０に、ＲＯＷ０が入力される。表
３０３によると、ＲＯＷ０が入力されると、ＮＥＷＥＲ
（０、３、４）＝（０、０、０）が出力される。これは
図２におけるノードＲＯＷ０に繋がっている矢印が、通
常のロード命令とは逆に、全てＲＯＷ０から出るように
ＮＥＷＥＲを変更することを意味しており、これにより
ＲＯＷ０は該当カラム内で最も遠い昔に参照されたＲＯ
Ｗに変更される。同様にＬＲＵ化ロード命令がＲＯＷ１
にヒットした場合、ＬＲＵエンコード回路１１０にはＲ
ＯＷ１が入力され、ＮＥＷＥＲ（０、１、５）＝（１、
０、０）が出力される。これは図２におけるノードＲＯ
Ｗ１に繋がっている矢印が、通常のロード命令とは逆
に、全てＲＯＷ１から出るようにＮＥＷＥＲを変更する
ことを意味しており、これによりＲＯＷ１は該当カラム
内で最も遠い昔に参照されたＲＯＷに変更される。次に
（２）のキャッシュへの書き込み時の動作について説明
する。ＬＲＵ化ロード命令によるキャッシュアクセスで
ミスが発生すると、ＨＩＴ／ＭＩＳＳ判定回路１２２か
らヒット信号１１６によってミスが発生したことが選択
ＲＯＷ制御回路１１３に伝えられる。またＬＲＵデコー
ド回路１１２からは、ＬＲＵ化ロード命令がアクセスし
たカラム内の最も遠い昔に参照されたＲＯＷが作成さ
れ、選択ＲＯＷ制御回路１１３に入力される。選択ＲＯ
Ｗ制御回路はキャッシュミスが発生すると、選択ＲＯＷ
信号１１７にＬＲＵデコード回路１１３から入力される
ＲＯＷ番号を、追い出し対象ＲＯＷとして出力する。Ｌ
ＲＵ化ロード命令のキャッシュミスによって主記憶から
データがフェッチされると、そのデータをキャッシュに
書き込むと同時にＬＲＵの更新も行なう。ここで新しい
ＬＲＵの値は、ＬＲＵ化ロード命令のミス時に追い出し
ＲＯＷとして選択ＲＯＷ信号１１７から出力されたＲＯ
Ｗ番号であり、この値はＬＲＵエンコード回路１１０に
入力され、ＬＲＵアレイ１１１への入力信号が作成され
る。なお、ＬＲＵ化ロード命令による書き込み時の、Ｌ
ＲＵエンコード回路１１０は、前述したＬＲＵ化ロード
命令のヒットケースと同様に、図３の表３０３にしたが
って動作する。すなわち、ＬＲＵエンコード回路１１０
に入力された書き込みＲＯＷのＬＲＵが、最も遠い昔に
アクセスしたＲＯＷとなるように、ＬＲＵアレイへの入
力信号ＮＥＷＥＲ（０−５）が作成される。上記実施例
では、通常のロード命令の機能と、該当キャッシュブロ
ックをＬＲＵ化する機能を備えるＬＲＵ化ロード命令に
ついて説明したが、請求項で示した以下の命令について
も同様に実施することができる。・ＬＲＵ化ストア命令通常のストア命令の機能と、該当キャッシュブロックを
ＬＲＵ化する機能備えた命令。・ＬＲＵ化専用命令命令で指定したアドレスのブロックがキャッシュ上にあ
れば、そのブロックをＬＲＵ化するための専用命令。・ＬＲＵ化プリフェッチ命令通常のプリフェッチ命令の機能と、プリフェッチしたキ
ャッシュブロックをＬＲＵ化する機能を備えた命令。・ＬＲＵ化オフセット指定付きプリフェッチ命令通常のプリフェッチ命令の機能と、プリフェッチアドレ
スから、命令で指定されたオフセットだけ離れたアドレ
スのブロックがキャッシュ上にあれば、このブロックを
ＬＲＵ化する機能を備えた命令。・ＬＲＵ化オフセット指定付きメモリ参照命令ロード命令、ストア命令といった通常のメモリ参照命令
の機能と、メモリ参照するアドレスから、命令で指定さ
れたオフセットだけ離れたアドレスのブロックがキャッ
シュ上にあれば、このブロックをＬＲＵ化する機能を備
えた命令。以下では、これらの命令を実行したときの、
本実施例のキャッシュ記憶装置の動作について説明す
る。ＬＲＵ化ストア命令を実行すると、まず与えられた
アドレスで、キャッシュをアクセスし、ヒットチェック
を行なう。キャッシュミスならば、本実施例はストアス
ルーを仮定しているので、主記憶にデータを書き込んで
処理を終了する。キャッシュヒットの場合は、ヒットし
たＲＯＷが選択ＲＯＷ信号１１７から出力される。その
後、ストアデータをキャッシュに書き込む時に、前記選
択ＲＯＷ信号１１７がＬＲＵエンコード回路１１０に入
力され、ＬＲＵエンコード回路１１０によって、ＬＲＵ
アレイ１１１に書き込むべき値が作成され、キャッシュ
のデータを更新する共にＬＲＵの値も更新される。な
お、ここでＬＲＵエンコード回路１１０は、前述したＬ
ＲＵ化ロード命令におけるＬＲＵの更新時と同様に、図
３の表３０３にしたがって動作する。これにより、ＬＲ
Ｕ化ストア命令によってデータが書き込まれたブロック
のＬＲＵは、最も遠い昔にアクセスされたブロックとな
る。ＬＲＵ化専用命令を実行すると、まず指定されたア
ドレスでキャッシュのヒットチェックを行なう。キャッ
シュミスならば処理を終了する。キャッシュヒットなら
ば、ヒットしたＲＯＷが選択ＲＯＷ信号１１７から出力
され、ＬＲＵエンコード回路１１０に入力される。ＬＲ
Ｕエンコード回路１１０では、ＬＲＵ化ロード命令にお
けるＬＲＵの更新時と同様に、図３の表３０３にしたが
って、更新するＬＲＵの値を生成し、ＬＲＵアレイ１１
１に書き込む。これにより、ＬＲＵ化専用命令によって
アクセスされたキャッシュブロックは最も遠い昔にアク
セスされたブロックとなる。ＬＲＵ化プリフェッチ命令
を実行すると、まずプリフェッチアドレスでキャッシュ
をアクセスし、ヒットチェックを行なう。キャッシュミ
スならば、主記憶からのデータのフェッチを行なう。こ
こでフェッチしたデータを書き込むキャッシュのＲＯＷ
は、選択ＲＯＷ信号１１７から出力される。このＲＯＷ
番号は、ＬＲＵ化ロード命令におけるキャッシュミス時
と同様にＬＲＵデコード回路１１２によって作成され
る。フェッチしたデータを書き込む時に、前記の書き込
むべきＲＯＷ番号をＬＲＵエンコード回路１１０に入力
し、更新するＬＲＵの値を決定する。ＬＲＵエンコード
回路１１０は、ＬＲＵ化ロード命令におけるＬＲＵの更
新時と同様に、図３の表３０３にしたがって動作する。
これによりキャッシュに書き込んだブロックは、最も遠
い昔にアクセスされたブロックとなる。なお、プリフェ
ッチ命令では、主記憶からフェッチしたデータのレジス
タへの転送は行なわない。次にＬＲＵ化プリフェッチ命
令でキャッシュヒットした場合は、ＬＲＵ化専用命令で
キャッシュヒットした場合と同様に動作する。アドレス
アレイが２ポートのキャッシュにおいて、ＬＲＵ化オフ
セット指定付きプリフェッチ命令を実行すると、まず指
定されたプリフェッチアドレスと、前記プリフェッチア
ドレスから命令で指定されたオフセット分離れたアドレ
ス（以後、”ＬＲＵ化アドレス”と呼ぶ）によってキャ
ッシュをアクセスし、ヒットチェックを前記の２個のア
ドレスで同時に行なう。プリフェッチアドレスによるキ
ャッシュアクセスは、通常のプリフェッチ命令の動作と
同様に行なう。すなわちヒットしていれば、データのレ
ジスタへの転送は行なわず、ミスしていれば主記憶から
データをフェッチするが、レジスタへのデータの転送は
行なわない。なお、プリフェッチアドレスによるキャッ
シュアクセスでは、アクセスしたキャッシュブロックの
ＬＲＵは、従来のプリフェッチ命令と同様に最新のブロ
ックに変更する。一方ＬＲＵ化アドレスによってアクセ
スされたキャッシュブロックはＬＲＵ化する。このＬＲ
Ｕ化の動作は、ＬＲＵ化専用命令の動作と同様である。
これにより、プリフェッチしたデータを保持するキャッ
シュブロックのＬＲＵは最新となり、プリフェッチアド
レスとオフセットによって生成したＬＲＵ化アドレスを
保持するキャッシュブロックのＬＲＵは、最も遠い昔に
参照されたブロックとなる。最後に、ＬＲＵ化オフセッ
ト指定付きメモリ参照命令を、アドレスアレイが２ポー
トのキャッシュで実行した場合を説明する。前記命令を
実行すると、まずメモリ参照するアドレスと、前記メモ
リ参照アドレスから命令で指定されたオフセット分離れ
たアドレス（ＬＲＵ化アドレス）によってキャッシュを
アクセスし、ヒットチェックを前記の２個のアドレスで
同時に行なう。メモリ参照アドレスによるキャッシュア
クセスは、通常のメモリ参照命令と同様に行なう。すな
わち、該当するキャッシュブロックのＬＲＵは最も最近
参照されたブロックとなるように変更する。一方ＬＲＵ
化アドレスによってアクセスされたキャッシュブロック
はＬＲＵ化する。ＬＲＵ化の動作は前述したＬＲＵ化オ
フセット指定付きプリフェッチ命令におけるＬＲＵ化ア
ドレスによるキャッシュアクセスと同様である。なお上
記のＬＲＵ化オフセット指定付きプリフェッチ命令とＬ
ＲＵ化オフセット指定付きメモリ参照命令の実施例で
は、ＬＲＵ化アドレスを、プリフェッチアドレスおよび
メモリ参照アドレスからオフセット分離れたアドレスと
したが、オフセット×ブロックサイズ分離れたアドレス
とする等、オフセットを用いてＬＲＵ化アドレスをエン
コードすることも可能である。また、上記実施例では、
２ポートのアドレスアレイを用いて、プリフェッチアド
レスおよびメモリ参照アドレスと、ＬＲＵ化アドレスで
同時にキャッシュをアクセスしたが、１ポートのキャッ
シュで実施する場合は、２度キャッシュをアクセスする
ことで同様の動作を実現することができる。以上、本発
明で提供するキャッシュ記憶装置において、各ＬＲＵ化
命令を実行したときの、キャッシュ記憶装置の動作につ
いて説明した。以下では、従来技術で問題が発生したプ
ログラム例５０１に、ＬＲＵ化命令を適用することで、
前記の問題が解決できることを示す。なお、プログラム
例５０１の動作および仮定は、従来技術の説明と同じで
ある。図５の５２０は、５１０にＬＲＵ化ロード命令お
よびＬＲＵ化ストア命令を適用した、変換後のプログラ
ムである。５２０では、ＬＲＵ化命令の適用のために、
まず内側ループ５１３を１６回展開して内側ループ５２
３に変換する。これにより、内側ループは、１回の繰り
返しでキャッシュ１ブロック分の１２８バイトのデータ
を参照するコードになる。次にキャッシュブロックの最
後の参照命令でる５２５と５２６をＬＲＵ化命令に変換
する。５２０を実行すると、内側ループのＬＲＵ化命令
を実行したとき、従来は該当ブロックのＬＲＵが最新に
なるところが、ＬＲＵが最も遠い昔に参照された状態に
なり、次に同一カラムへのアクセスが発生した時には、
ＬＲＵ化したブロックが追い出し対象になる。これによ
り、配列Ｓはキャッシュの各カラムの１つのＲＯＷを使
い回すことになり、内側ループが終了したときも、局所
変数が配列Ｓによって追い出されず、局所変数の使用５
２２でキャッシュにヒットする。

【発明の効果】本発明によれば、命令セットにＬＲＵ化
命令を設け、かつこのＬＲＵ化命令が実行されたとき、
該当するキャッシュブロックのＬＲＵ情報を、最も遠い
昔に参照されたブロック変更する回路をキャッシュ記憶
装置に具備することにより、空間的局所性はあるが、時
間的局所性のないデータの参照によって、時間的局所性
のあるデータがキャッシュからおいだされることを抑止
することができる。またＬＲＵ化命令は、将来参照され
ないブロックを追い出し対象のブロックに変更する命令
であり、ＬＲＵの変更をロックする方式のように、ロッ
クを解除する必要がないため、プロセスが切り替わって
もＬＲＵは動作し続け、キャッシュの使用効率を低下さ
せることはない。

【図面の簡単な説明】

【図１】本発明の一実施例であるキャッシュ記憶装置の
概略構成図である。

【図２】図１に示すキャッシュ記憶装置におけるＬＲＵ
方式の追い出しアルゴリズムの実現方法を示す図であ
る。

【図３】図１に示すＬＲＵエンコード回路およびＬＲＵ
デコード回路の制御方法を示す図である。

【図４】従来例および本発明のセットアソシアティブキ
ャッシュのメモリ部の概略構成を示す図である。

【図５】従来例で性能が低下する場合のプログラム例お
よび、このプログラム例に対して本発明を適用したとき
に生成されるプログラム例を示す図である。

【符号の説明】

１００…キャッシュ記憶装置、１０１…メモリ部、１０
２…キャッシュを参照するアドレス、１０３…キャッシ
ュを更新するデータ、１０４…キャッシュを更新するタ
グ、１０５…更新するＬＲＵの入力、１０６…データお
よびタグを更新することを伝える信号、１０７…キャッ
シュの読み出しを指示する信号、１０８…各ＲＯＷから
読み出したデータのセレクタ、１０９…ＬＲＵ更新時の
ＬＲＵのセレクタ、１１０…ＬＲＵエンコード回路、１
１１…ＬＲＵメモリ部、１１２…最も遠い昔に参照され
たＲＯＷを検出するＬＲＵデコード回路、１１３…読み
出したＬＲＵのセレクト回路、１１４…読み出しデー
タ、１１５…読み出しタグ、１１６…ヒット信号、１１
７…選択ＲＯＷ制御回路、１１９…ＨＩＴＲＯ制御回
路、１２０…データ／タグ／ＬＲＵ制御信号、１２２…
ヒット／ミス判定回路、１２３…データ／タグ／ＬＲＵ
の制御回路。

フロントページの続き (72)発明者釜田栄樹神奈川県秦野市堀山下１番地株式会社日立製作所エンタープライズサーバ事業部内Ｆターム(参考） 5B005 JJ13 MM01 QQ02 TT02

Claims

【特許請求の範囲】

【請求項１】キャッシュブロックの追い出しアルゴリズ
ムにＬＲＵを使用したセットアソシアティブ方式のキャ
ッュ記憶装置を備えるプロセッサにおいて、キャッシュ
キャッシュブロックが最も遠い昔にアクセスされたブロ
ックとなるように、キャッシュブロックの参照履歴情報
を更新する（以後”ＬＲＵ化する”と呼ぶ）命令（以
後、”ＬＲＵ化命令”と呼ぶ）を備えることを特徴とす
るプロセッサ。