JP2868654B2 - キャッシュメモリ制御方法 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は電子計算機装置に関わ
り、特に高速化のためのキャッシュメモリ装置における
キャッシュメモリ制御方法に関する。

【０００２】

【従来の技術】通常のキャッシュメモリに於いては、図
７のように、キャッシュミスが発生すると、必要とする
データがキャッシュに取り込まれてから実行を再開して
いた。その際はその近くのデータも必要とするケースが
多いために、通常は一定数の複数のデータを同時に取り
込んでいた。この方式は、キャッシュミスの比率が低い
ときには、うまく作動するものである。この関係を式で
表すと、以下のようになる。 Ｎｅ＝（１−Ｋｍ）＊Ｃａ＋Ｋｍ＋Ｃｃ

【０００３】ちなみに、Ｎｅは、実効的なメモリのアク
セス時間で、キャッシュメモリの性能を示すものであ
る。またＫｍは、キャッシュメモリのミス率で、この値
は、キャッシュメモリの大きさ、問題の性質などによ
り、変化するものである。またＣａは、キャッシュメモ
リがヒットした場合のアクセス時間で、Ｃｃはキャッシ
ュメモリを入れ換えるのに必要な時間である。通常のケ
ースでは、時間をクロックのサイクル数で測ると、Ｃａ
は１、Ｃｃは１０程度、Ｋｍは、１％〜５％程度なの
で、Ｎｅは、１．１〜１．５程度になる。この値は、通
常キャッシュメモリを使用しない場合の２〜３程度に比
較して十分小さい値であるので、キャッシュメモリを使
用する効果があることになる。しかし問題によっては、
キャッシュミス率が極めて高くなるケースが存在する。
このようなケースでは、キャッシュメモリは、その効果
がなくなり、かえって悪くなることも有り得る。このよ
うなケースは、問題を解くために使用するデータ量が多
くなるとともに、キャッシュメモリまで含んだマイクロ
プロセサを開発するためにキャッシュメモリのサイズが
それほど大きくとれないことから、顕著になってきてい
る。またたとえ、一定数のデータを連続してリフィルし
てミスの率を多少減らしたとしても、命令キャッシュに
関しては、データ（命令の）がない限り実行が不可能な
ため、リフェル中に処理が中断してしまうという問題は
解決しなかった。

【０００４】

【発明が解決しようとする課題】上述したように従来の
キャッシュメモリシステムでは、リフィル中に計算が停
止してしまうために、ミス率の増大が即ちキャッシュメ
モリの性能の低下を意味し、大きな問題に対して無力で
あるばかりでなくかえって害になるケースもあり、特に
１チップにキャッシュメモリを取り込んだマイクロプロ
セサの性能向上を妨げていた。

【０００５】本発明はこのような事情を鑑みてなされた
もので、その目的とするところは、１回のミスで、連続
して使用される領域を全てリフィルして、ミスの率を減
らし、またリフィル中も停止することなく計算を続行
し、高い性能を得ることのできるキャッシュメモリ装置
を提供することにある。

【０００６】

【課題を解決するための手段】本発明に係るキャッシュ
メモリ装置におけるキャッシュメモリ制御方法は、電子
計算機が必要とするデータが上位のキャッシュメモリに
存在しなかった場合に、より下位のキャッシュメモリま
たはメインメモリから前記目的のデータを入れ換える手
段を備えたキャッシュメモリ装置であって、前記メイン
メモリに格納された予めデータの入れ換えの終了条件を
設定したプログラムにより設定されたデータを記憶する
終了パターンレジスタを設け、データキャッシュにおい
て、より下位のキャッシュまたはメインメモリからのデ
ータの入れ換えは、目的のデータが存在しなかった場合
にこのデータを指定するアドレスから開始し、前記デー
タを指定するアドレスを増加しながら前記入れ替えを継
続し、前記入れ換えの終了は、前記終了パターンレジス
タに記憶されたプログラムにより設定されたデータに基
づき、より下位のキャッシュまたはメインメモリから読
み込まれてきたデータが前記設定した終了条件と一致し
た場合に、前記入れ換えの終了を決定することを特徴と
する。

【０００７】また、上記のキャッシュメモリ装置におけ
るキャッシュメモリ制御方法において、読み込まれてき
たデータの内容に拘らず、増加させたアドレスが既に上
位のキャッシュメモリ中に存在しているデータのアドレ
スと一致した場合に、入れ換えの終了を決定することを
特徴とするものである。

【０００８】

【０００９】

【作用】ミスが発生した際のデータの入れ換えを、１回
のミスに対して固定長継続するのではなく、リフィルさ
れるデータの内容をチェックしながらリフィルを継続
し、チェックされた内容によりその終了を決定すること
により、可変長継続することができる。それにより、ミ
スの回数を減らすことができ、また不要なデータの入れ
換えも防ぐ事ができる。また、これらの入れ換えは計算
機の実行とは関わりなく独立して並行に行うことができ
るので、計算機を停止させることなく、キャッシュ中の
データの入れ換えを進めることにより、大きなブロック
を計算機を止めずにリフィルすることができる。

【００１０】

【実施例】以下図面を参照しながら本発明の一実施例に
ついて説明する。図１は本発明の一実施例に係るキャッ
シュメモリ装置の構成を表すブロック図である。図１中
のリフィル制御部４の動作の流れを図２に示す。

【００１１】動作を簡単に説明すると、まずＣＰＵ１が
キャッシュメモリを読み出す際には、アドレスを与え
て、１ｓｔキャッシュのタグ部２とデータ部３に同時に
アクセスする。もしもそこでヒットすれば（タグ部２の
アドレスとＣＰＵ１から送られたアドレスが一致するこ
とを比較器６が検出すれば）、１ｓｔキャッシュのデー
タ部３から読み出したものは正しかったことになり、こ
の読み出したデータを使う。この場合は１クロックでデ
ータにアクセスできる。

【００１２】１ｓｔキャッシュでミスだった場合は、読
み出そうとするアドレスを、リフィル制御部４を通し
て、２ｎｄキャッシュメモリ５（これはメインメモリで
もよい）にアクセスする（Ｓ２）。そこで２ｎｄキャッ
シュの場合ヒットを確認した後、データにアクセスす
る。そこで読み出されたデータは、リフィル制御部４を
経て１ｓｔキャッシュに渡され（Ｓ３）、１ｓｔキャッ
シュのタグ部２及びデータ部３を書き換えるとともに、
ＣＰＵ１にもデータを送る。

【００１３】上記の過程で、データが２ｎｄキャッシュ
メモリ５からリフィル制御部４へ渡される際に、分岐命
令検出器８がリフィル中のデータを監視し、ブランチ命
令かどうかを検出する（Ｓ４）。もしブランチ命令でな
い場合は（Ｓ４No）、２ｎｄキャッシュまたはメインメ
モリに与えるアドレスを増加しながら（Ｓ９）、次々に
リフィルを続ける（Ｓ１０，Ｓ３）。こうすることによ
り、一度キャッシュミスをすると、ブランチ命令までリ
フィルされるため、ブランチまではキャッシュミスをし
ないことになる。また固定長でブロック（一度にリフィ
ルを行うデータの単位）を大きくとると同様の効果はあ
るものの、使わない領域までリフィルする必要があるた
め無駄があったが、それも防げる。実際には、単にブラ
ンチを検出するだけでなく、当然既にキャッシュに登録
されている際はリフィルは無駄なので、２ｎｄキャッシ
ュに与えるアドレスが１ｓｔキャッシュのラグ部にある
アドレスと一致した段階（Ｓ１１Yes ）で、リフィルを
中止する（Ｓ１２）。

【００１４】キャッシュメモリの実際の作り方として
は、タグメモリの容量を減らすために、図６のように、
一つのタグに対して複数のバリッドビットを持つように
するのが効果的である。この例では、１つのタグ（アド
レス）に対して、４単位のデータ部（Ｖ０，Ｖ１，Ｖ
２，Ｖ３）を対応させている。尚図中Ｍというビット
は、これらのデータ部のデータのうち少なくとも１つが
無効である（書き換えられている）ことを表すためのも
のである。各バリッドビットは１回のリフィルの幅とす
れば、無駄を最小限にする事ができる。

【００１５】またブランチターゲットバッファ（分岐予
測装置）を備えている場合は、ブランチでフィリルを途
ぎらせることなく、ブランチターゲットバッファの予測
先からさらに、リフィルを継続することにより、ブラン
チがあっても効果的にリフィルを継続できる。ここでブ
ランチターゲットバッファの機能を図３を用いて説明す
る。まず通常のＣＰＵが行う命令フェッチの様子を
（ａ）に示す。１０１番地の命令がブランチ命令である
場合この分岐先が２０１番地であることがわかるのは命
令を実行した後であるので、この実行前のサイクルでフ
ェッチした１０２、１０３番地の命令は無駄になってし
まう。そこで、一度上記のことが起こると、１０１番地
の命令の分岐予測先として２０１番地を（ｂ）のような
分岐予測テーブルに記憶する。そして、（ｃ）のよう
に、ＣＰＵが１０１番地の命令をフェッチすると共に分
岐予測テーブルを引き、次のサイクルで２０１番地の命
令をフェッチすることができる。これを本実施例に適用
した場合の動作を、再度図２を用いて説明する。まず分
岐命令検出器８でリフィル中のデータが分岐命令である
ことを検出した際（Ｓ４Yes ）、この検出信号でもって
分岐予測器７を起動し、リフィル制御部４より前記のデ
ータのアドレスを分岐予測器７に送り（Ｓ５）、分岐予
測テーブルに登録されているかどうかを、チェックす
る。もし分岐予測器に予測先が登録されていれば（Ｓ６
Yes ）、分岐予測器７は予想される分岐先のアドレスを
リフィル制御部４に送る（Ｓ７）。リフィル制御部４で
は、その予想されるアドレスからさらにリフィルを続行
する（Ｓ８，Ｓ３）。予測先が登録されていなければ
（Ｓ６No）、データが分岐命令でなかった場合と同様、
アドレスを増加しながらリフィルを続行する。このよう
にすることにより、効果的にリフィルを継続できる。

【００１６】この機構は、上述の例では命令のフェッチ
について説明したが、そればかりでなくデータのフェッ
チにも利用可能である。例えば、図４（ｂ）のように、
可変長のデータで、データの終了がある特定のパターン
で示されるようなケースに有効である。終了判定のため
のパターンはプログラムにより可変である事が望まし
く、また連続リフィルの最大値もセットできる方が望ま
しいため、この場合のキャッシュメモリ装置は図４
（ａ）に示されるブロック図のように構成する。また、
図中のリフィル制御部４の動作の流れを図５に示す。ま
ず終了パターンレジスタ１２にあらかじめプログラムで
終了パターン値をセットしておき、さらにデータにバグ
があることを考慮して、最大リフィル回数を最大回数レ
ジスタ１１にセットしておく。そして、リフィルの終了
条件は、リフィル中のデータが上記の終了パターン値と
一致するか（Ｓ２５）、または、連続リフィル回数が上
記の最大リフィル回数を越えたか（Ｓ２７）のどちらか
一方が満たされたときに、リフィルを中止する（Ｓ３
０）ものとする。これ以外の動作は既に説明済みのもの
と同様である。

【００１７】また、これらリフィルの一連の動作をＣＰ
Ｕの動作と並行して行うことにより、１ｓｔキャッシュ
メモリがミスしても、最初のデータが揃った段階でＣＰ
Ｕは実行を再開し処理が進むようになる。そのため、リ
フィルの速度がＣＰＵよりも速ければ、１度のミスでブ
ランチがくるまで、分岐予測装置がついていればブラン
チ以降も、計算を停止することなく実行を継続できる。
このことを図８のタイミング図を例にとり説明する。図
８の横の一マスはクロックを表す。Ａ１が１ｓｔキャッ
シュでミスすると、ここからリフィルを継続して行って
いる。そして、この図の場合には、Ａの系列と関係のな
いＢの系列についてもパイプライン的に処理を開始し、
Ｂ１が１ｓｔキャッシュでミスすると、ここからリフィ
ルをＡの系列のリフィルと並行して継続している。この
パイプライン処理は、リフィル制御部４にアドレスラッ
チとデータラッチを設け、さらに、プログラムをＡの系
列と関係のないＢの系列を間に挟み込むよう命令を並べ
換えて最適化することにより実現できる。このパイプラ
イン処理をすれば、リフィルの速度がＣＰＵより遅いよ
うな場合（リフィル時のタイミングが複数クロック毎で
ある場合等）であっても、計算が停止することをなくす
ことができる。つまり、クロック（８）以降はデータが
１ｓｔキャッシュに揃っているため、ＣＰＵが処理を停
止している時間はなくなり、Ａ１、Ｂ１で継続している
リフィルを追いかけるように、リフィルされたデータを
用いた処理をＣＰＵが行うことになる。しかもこのリフ
ィルとＣＰＵの動作は並列に行われている。リフィルの
速度がＣＰＵより速い場合というのは、例えばＡ２、Ａ
３におけるＣＰＵ使用が複数クロックにわたる場合であ
って、このときはＡ２がＣＰＵを使用している間にＡ３
で用いるデータのリフィルが完了しているから、リフィ
ルの開始及び継続はＡ１のみで十分に効果があることに
なる。

【００１８】また上記の実施例では、１ｓｔキャッシュ
と２ｎｄキャッシュ間のリフィルについて説明したが、
このリフィルの方式は様々なメモリ構成に適用できる。
例えば、２ｎｄキャッシュの代わりにメインメモリのあ
る構成でも良いし、１ｓｔキャッシュ、２ｎｄキャッシ
ュ、メインメモリがあり、１ｓｔと２ｎｄ間、２ｎｄと
メイン間にそれぞれリフィル制御部を設け、並行してリ
フィルを行うような構成でも良い。また、ＣＰＵ、１ｓ
ｔキャッシュを１チップに登載し、リフィル制御部、２
ｎｄキャッシュをチップ外に設ける構成としても良い
し、リフィル制御部をもチップ内に設けるようにして
も、あるいは、１ｓｔキャッシュがチップ外にあっても
良い。また、２ｎｄキャッシュは、さきにタグ部を引い
てヒットかミスかを確認してから、データ部にアクセス
して引いてくる構成でも良いし、２ｎｄキャッシュも１
ｓｔキャッシュと同様にタグとデータを同時に引く構成
にもできる。

【００１９】また上記の実施例では、リフィルが１系統
の場合を説明したが、これを複数系統に（図１、図４に
おける各信号線をそれぞれ２本あるいはそれ以上に）し
ても良い。

【００２０】また上記のデータキャッシュに関する実施
例の最大リフィル回数レジスタ１１を、命令キャッシュ
に適用することもできる。この場合、図１に最大回数レ
ジスタを加え、リフィル制御部４で連続リフィル回数を
カウントすると共に、ＣＰＵ１からレジスタにセットし
た最大リフィル回数との比較を行い（例えば図２のＳ３
とＳ４の間で）、カウント数が最大回数を越えた時点で
リフィルを中止する。また、図２ではリフィルしようと
するアドレスが１ｓｔキャッシュに既登録ならばその時
点でリフィルを中止するようにしているが、これを既登
録が所定の回数続いたときに中止するようにしても良い
し、また、リフィルを継続している途中で、ＣＰＵから
別のフェッチが要求されそれが１ｓｔキャッシュでミス
した場合には、継続しているリフィルを中止して別のリ
フィルを優先して開始するようにすることもできる。但
し上述したようにリフィルの系統が複数あれば、継続し
ているリフィルと別の新たなリフィルとを並行して行う
こともできる。

【００２１】

【発明の効果】以上説明してきたように、本発明によれ
ば、キャッシュミスが発生した場合、計算を中断するこ
となく必要な分だけリフィルを継続して行うことによ
り、ミス率を減らし、小さな１ｓｔキャッシュを持った
ケースでも高性能を発揮できるキャッシュメモリ装置を
実現できる等の実用上多大なる効果が奏せられる。

【図面の簡単な説明】

【図１】 本発明の一実施例に係るキャッシュメモリ装
置の構成を示す図。

【図２】 図１のリフィル制御部４の動作を表すフロー
図。

【図３】 本実施例における分岐予測器７の機能を説明
するための図。

【図４】 （ａ）本発明をデータキャッシュメモリに適
用した一実施例の構成を示す図。（ｂ）終了マークを持
つデータの例を示す図。

【図５】 図４（ａ）のリフィル制御部４の動作を表す
フロー図。

【図６】 本実施例におけるキャッシュのタグ部の構成
例を示す図。

【図７】 従来のキャッシュメモリ装置の動作のタイミ
ングを示す図。

【図８】 ＣＰＵの動作とリフィル制御部の動作を並行
して行った場合の動作のタイミングの一例を示す図。

【符号の説明】

１ ＣＰＵ、 ２ １ｓｔキャッシュタグ部、 ３ １
ｓｔキャッシュデータ部、 ４ リフィル制御部、 ５
２ｎｄキャッシュメモリ、 ６，１３ 比較器、 ７
分岐予測器、 ８ 分岐命令検出器、 １１ 最大回
数レジスタ、 １２ 終了パターンレジスタ

Claims (2)

(57)【特許請求の範囲】
1. 【請求項１】 上位のキャッシュメモリに目的のデータ
   が存在しなかった場合に、より下位のキャッシュメモリ
   またはメインメモリから前記目的のデータを入れ換える
   手段を備えたキャッシュメモリ装置において、 前記メインメモリに格納された予めデータの入れ換えの
   終了条件を設定したプログラムにより設定されたデータ
   を記憶する終了パターンレジスタを設け、 データキャッシュにおいて、より下位のキャッシュまた
   はメインメモリからのデータの入れ換えは、目的のデー
   タが存在しなかった場合にこのデータを指定するアドレ
   スから開始し、前記データを指定するアドレスを増加し
   ながら前記入れ替えを継続し、前記入れ換えの終了は、
   前記終了パターンレジスタに記憶されたプログラムによ
   り設定されたデータに基づき、より下位のキャッシュま
   たはメインメモリから読み込まれてきたデータが前記設
   定した終了条件と一致した場合に、前記入れ換えの終了
   を決定することを特徴とするキャッシュメモリ制御方
   法。
2. 【請求項２】 最大リフィル回数を予め設定した最大回
   数レジスタを設け、 前記終了条件は、前記プログラムにより予め設定した終
   了パターン値と一致した場合か、または連続リフィル回
   数が前記最大回数レジスタに予め設定した最大リフィル
   回数を超えた場合のどちらか一方を満足した場合とする
   ことを特徴とする請求項１記載のキャッシュメモリ制御
   方法。