JP5293001B2 - キャッシュメモリ装置及びその制御方法 - Google Patents

Description

本発明は、キャッシュメモリ装置に関するものであり、より詳細には、データをキャッシュラインで記憶する１次キャッシュメモリを備えるキャッシュメモリ装置及びその制御方法に関するものである。

一般的に、キャッシュメモリ階層間において、上の階層のラインサイズは下の階層のラインサイズと比較して、同一、または、大きいことを想定してメモリシステムが構成されている。

また、１次キャッシュメモリをスキップして、直接的に２次キャッシュメモリに対してデータを格納するストア命令が出された場合、キャッシュメモリ階層間での整合性を確保するために、１次キャッシュメモリをスヌーピング処理し、適切なキャッシュラインの無効化が必要になる。このスヌーピング処理は、少なくともストア命令のスループットを十分にカバーするものでなくてはならない。さらに、大規模なＳＭＰ（Symmetric Multiple Processing）装置では、他のプロセッサに対するキャッシュコヒーレンシを保つためのスヌーピングパケットを処理する必要が生じる。この無効化要求は、ＳＭＰが大きくなるほど大量に発行される。

したがって、上記スヌーピング処理を実現するために、多数のタグアレイのコピーを用意して、複数のリクエストを並列処理する必要が生じる。一方、このタグアレイのコピーは、ハードウェアコストがかかるため、出来るだけ小規模に実現することが望ましい。その一つの方法として、１次キャッシュメモリのラインサイズを大きくしつつ、１次キャッシュメモリのタグアレイのサイズを小さくする方法が考えられる。この場合、キャッシュメモリの容量を減少させることなく、上記のハードウェアコストを減少させることができる。

一方で、空間局所性の少ないジョブに対しては、ラインサイズを小さくするのが効果的である。これは、ラインサイズが大きいと、利用されない無駄なデータをメインメモリ（主記憶装置）からキャッシュメモリへ転送する必要が生じるからである。また、近年の処理装置（プロセッサ）において、メモリ領域は貴重なリソースであり、無駄なデータ転送は貴重な資源の無駄遣いになる。この無駄遣いによるシステム性能の低下を軽減するために、ラインサイズの小さい２次キャッシュメモリを採用することが望ましい。

さらに、データをキャッシュライン単位で記憶する１次キャッシュメモリ及び２次キャッシュメモリを備えるキャッシュコヒーレンス装置が知られている（例えば、特許文献１参照）。
特開２００６−２１６０７５号公報

ところで、上述の如く、１次キャッシュメモリのラインサイズを大きくしつつ、２次キャッシュメモリのラインサイズを小さくするような階層メモリシステムを構築すると、メモリ階層間でキャッシュメモリのラインサイズに不均衡が生じる。この場合、２次キャッシュメモリのラインサイズは、１次キャッシュのラインサイズよりも小さくなり、以下のような問題が生じ得る。

例えば、１次キャッシュメモリのラインサイズが２次キャッシュメモリのラインサイズの４倍の大きさである場合を想定する。この場合、２次キャッシュメモリから１次キャッシュメモリに対してフィル処理を行うためには、１次キャッシュメモリのキャッシュライン１個に対して、２次キャッシュメモリのキャッシュライン４個分のデータを揃える必要が生じる。

そこで、複数の２次キャッシュメモリのキャッシュラインに対して、アクセスを行い、各キャッシュラインからフィル処理用のデータを、１次キャッシュラインへ持ってくる場合が想定される。このとき、２次キャッシュメモリのうち一方のキャッシュラインには２次キャッシュヒットするが、他方のキャッシュラインには２次キャッシュミスする可能性がある。つまり、一度の１次キャッシュメモリへのフィル処理で、２次キャッシュヒットと２次キャッシュミスとが並列して発生する可能性がある。

この状況では、一部分のフィル処理が２次キャッシュヒットのレイテンシ（待ち時間）でフィル処理完了するのに対して、残り部分のフィル処理が２次キャッシュミスのレイテンシでフィル処理完了することとなる。さらに、そのキャッシュライン全てがフィル処理完了するまで、そのキャッシュラインにアクセスすることができないこととなる。

なお、２次キャッシュヒットしたときのレイテンシと、２次キャッシュミスしたときのレイテンシとは、一般的に、１０倍程度の時間差が生じる。したがって、より高速処理が可能となる２次キャッシュヒットしたデータを十分に有効活用できず、処理性能の低下を招く虞がある。

一方で、上記特許文献１に示すキャッシュコヒーレンス装置においては、フィル処理について開示されており、例えば、１次キャッシュメモリのラインサイズが２次キャッシュメモリのラインサイズよりも小さいことが想定される。また、主記憶装置から２次キャッシュメモリへのデータ転送は、常にラインサイズ毎で行われているため、無駄なデータ転送に起因して処理性能を低下させる虞がある。

本発明は、このような問題点を解決するためになされたものであり、処理性能を向上させたキャッシュメモリ装置及びその制御方法を提供することを主たる目的とする。

上記目的を達成するための本発明の一態様は、データをキャッシュラインで記憶する１次キャッシュメモリを備えるキャッシュメモリ装置であって、前記１次キャッシュメモリのラインサイズは、２次キャッシュメモリのラインサイズよりも大きくなるように構成されており、前記１次キャッシュメモリのキャッシュラインは、データを記憶する複数のデータエントリ部と、該データエントリ部に対応して、前記データが有効又は無効であること示す複数の有効ビット部と、前記キャッシュラインのアドレスを記憶するアドレスエントリ部と、を含む、ことを特徴とするキャッシュメモリ装置である。

また、上記目的を達成するための本発明の一態様は、１次キャッシュメモリのラインサイズは、２次キャッシュメモリのラインサイズよりも大きくなるように構成されており、前記１次キャッシュメモリのキャッシュラインは、データを記憶する複数のデータエントリ部と、該データエントリ部に対応して、前記データが有効又は無効であること示す複数の有効ビット部と、前記キャッシュラインのアドレスを記憶するアドレスエントリ部と、を含むキャッシュメモリ装置の制御方法であって、フィル処理の対象となる前記アドレスエントリ部を決定する決定工程と、該決定工程で決定された前記アドレスエントリ部の前記キャッシュラインに含まれる前記複数の有効ビット部のうち、前記無効の有効ビット部及び対応する前記データエントリ部に対してフィル処理を実行するフィル処理工程と、を含むことを特徴とするキャッシュメモリ装置の制御方法であってもよい。

本発明によれば、キャッシュメモリ装置及びその制御方法における処理性能を向上させることができる。

以下、本発明を実施するための最良の形態について、添付図面を参照しながら一実施形態を挙げて説明する。図１は、本発明の一実施形態に係るキャッシュメモリ装置の機能ブロック図である。本発明の一実施形態に係るキャッシュメモリ装置１０は、データをキャッシュライン１１で記憶する１次キャッシュメモリ１を備えている。

また、１次キャッシュメモリ１のラインサイズは、２次キャッシュメモリ２のラインサイズよりも大きくなるように構成されている。さらに、１次キャッシュメモリ１のキャッシュライン１１は、データを記憶する複数のデータエントリ部１１ａと、対応するデータエントリ部１１ａのデータが有効又は無効であることを示す複数の有効ビット部１１ｂと、各キャッシュライン１１のアドレスを記憶するアドレスエントリ部１１ｃと、を含んでいる。これにより、ＣＰＵ等の処理装置は、２次キャッシュメモリ２から１次キャッシュメモリ１へのフィル処理を待つことなく、１次キャッシュメモリ１に対して高速にアクセスすることができる。したがって、キャッシュメモリ装置１０の処理性能を向上させることができる。

図２は、本発明の一実施形態に係るキャッシュメモリ装置のシステム構成の概略を示すブロック図である。本実施形態に係るキャッシュメモリ装置１０は、１次キャッシュメモリ１と、１次キャッシュメモリ１を制御する少なくとも１つのキャッシュメモリ制御部３と、を備えている。

各キャッシュメモリ制御部３は、スヌープアドレスを記憶するスヌープアドレス部３１と、タグコピー部３２と、タグアドレスを記憶するタグアレイ本体３３と、比較器３４と、デコーダ３５と、を有している。

比較器３４は、スヌープアドレス部３１からのスヌープアドレスと、タグアレイ本体３３からのタグアドレスとを比較し、その比較結果をデコーダ３５に対して出力する。

デコーダ３５は、比較器３４からの比較結果に基づいて、１次キャッシュメモリ１の各キャッシュライン１１のうち、無効化の対象となる有効ビット部１００を選択し、その有効ビット部１００の無効化を行う。

なお、デコーダ３５として、例えば、無効化制御用の任意の無効化ユニット３５を用いることができる。また、本実施形態のキャッシュメモリ装置１０において、４つのキャッシュメモリ制御部（スヌープ用タグコピー）３が用いられているが、用いられるキャッシュメモリ制御部３の数は任意でよく、スヌーピング制御等に必要な数だけ存在してもよい。

１次キャッシュメモリ１は、複数のウェイ１２から構成されており、各ウェイ１２は複数のキャッシュライン（ブロック）１１から構成されている。各キャッシュライン１１は、各キャッシュライン１１のアドレスを記憶する１つのアドレスエントリ部（タグアレイ）１１ｃと、複数（例えば、４つ）の有効ビット部１１ｂと、各有効ビット部１１ｂに対応して、データを記憶する複数（例えば、４つ）のデータエントリ部１１ａと、から構成されている。

ここで、各有効ビット部１１ｂは、無効状態（例えば、「０」）と有効状態（例えば、「１」）との２つの状態を有しており、各データエントリ部１１ａに夫々対応付けられている。したがって、有効ビット部１１ｂが有効状態「１」のときは、対応するデータエントリ部１１ａのデータも有効となる。一方、有効ビット部１１ｂが無効化され無効状態「０」になると、対応するデータエントリ部１１ａのデータも無効となる。

なお、各キャッシュライン１１に構成される有効ビット部１１ｂ及びデータエントリ部１１ａの数は、任意に設定可能である。

各キャッシュメモリ制御部３のデコーダ３５は、１次キャッシュメモリ１に接続され、上述の如く、各キャッシュライン１１の有効ビット部１１ｂの無効化を行う。

次に、本発明の一実施形態に係るキャッシュメモリ装置１０のフィル制御方法について、詳細に説明する。図３は、本実施形態に係るキャッシュメモリ装置のフィル制御方法におけるリプレース処理の一例を示す図である。ここで、リプレース処理とは、例えば、１次キャッシュメモリ１に記憶した古いアドレス及びデータを、新しいアドレス及びデータに置換する処理を指す。

まず、１次キャッシュメモリ１の各キャッシュライン１１に含まれるデータエントリ部１１ａ及び有効ビット部１１ｂを無効化する場合において、新しいアドレス１０１が、各キャッシュメモリ制御部３のタグアレイ本体３３に入力される。そして、各タグアレイ本体３３は、古いタグアドレス１０２を、入力された新しいタグアドレス１０１に置換し、置換したタグアドレス１０１を各比較器３４に対して出力する。各比較器３４は、スヌープアドレス部３１からのスヌープアドレスと、タグアレイ本体３３からのタグアドレス１０１とを比較し、その比較結果を無効化ユニット３５に対して出力する。無効化ユニット３５は、比較器３４からの比較結果に基づいて、無効化される各キャッシュライン１１のアドレスエントリ部１１ｃのアドレス１０３を特定し、そのアドレス１０３に対応する有効ビット部１０４の無効化（例えば、有効「１」を無効「０」に変更）を行う。これにより、各キャッシュライン１１の有効ビット部１１ｂ及びデータエントリ部１１ａを無効化することができる。

一方で、１次キャッシュメモリ１の各キャッシュライン１１に含まれるデータエントリ部１１ａ及び有効ビット部１１ｂを有効化する場合において、図３に示すように、キャッシュメモリ制御部３は、新しいリプライデータ１０５に基づいて、新しいデータを対応するデータエントリ部１０６に上書きし、記憶させる。そして、キャッシュメモリ制御部３は、無効化ユニット３５を制御して、そのデータエントリ部１０６に対応する有効ビット部１０７を、無効状態から有効状態へ有効化する。

次に、本実施形態に係るキャッシュメモリ装置１０におけるリフィル制御方法について、詳細に説明する。図４に示すように、１次キャッシュメモリ１には、データの保持状態に応じて、例えば、有効状態にある有効ビット部１１ｂと、無効状態にある有効ビット部１１ｂと、データが記憶されているデータエントリ部１１ａと、データが記憶されていないデータエントリ部１１ａと、が混在している。

なお、従来のキャッシュメモリ装置は、リフィル制御において、入力されたアドレスと、アドレスエントリ部のアドレスとが、一致した場合、そのアドレスに対応するデータ全体に対して、フィル処理を実行している。

一方で、本実施形態に係るキャッシュメモリ装置１０は、入力されたアドレスとアドレスエントリ部１１ｃのアドレス１０７とが一致した場合、そのアドレス１０７に対応する複数のデータエントリ部１１ａのうち、有効ビット部１１ｂが無効状態にある部分エントリ（斜線部）１０８に対してのみ、フィル処理を個別に実行することができる。

ここで、部分エントリ１０８とは、有効ビット部１１ｂ及びこれに対応するデータエントリ部１１ａを指すものとする。このように、キャッシュメモリ制御部３は、リプライデータ１０９が入力されると、部分エントリ１０８に対してフィル処理を実行しており、この部分エントリ１０８がリプレース対象１１０となる。

なお、例えば、１次キャッシュメモリ１のラインサイズは、２次キャッシュメモリ２のラインサイズの数倍（４倍等）となるように構成されていてもよい。また、１次キャッシュメモリ１のキャッシュライン１１における１組の有効ビット部１１ｂ及びデータエントリ部１１ａのサイズを、２次キャッシュメモリ２のラインサイズと略同一にしてもよい。

また、１次キャッシュメモリ１の同一のキャッシュライン１１において、有効ビット部１１ｂが有効状態にあるデータエントリ部１１１と、有効ビット部１１ｂが無効状態にあるデータエントリ部１１２とが混在し得る。そして、この有効ビット部１１ｂが無効状態にあるデータエントリ部１１２により、キャッシュミスが発生し得る。

この場合、従来のキャッシュメモリ装置においては、キャッシュラインの全てのデータをリフィルする必要が生じているが、本実施形態に係るキャッシュメモリ装置１０においては、各キャッシュライン１１の部分エントリ１０８に対してのみリフィル処理を行えばよいため、従来のキャッシュメモリ装置と比較して、上述のようなよりきめ細かいリフィル制御が可能となる。

次に、本実施形態に係るキャッシュメモリ装置１０におけるスヌーピング制御について、詳細に説明する。キャッシュメモリ装置１０におけるスヌーピング制御において、図２に示すように、キャッシュメモリ制御部３の比較器３４は、スヌープアドレス部３１からのスヌープアドレスと、タグアレイ本体３３からのタグアドレスとを比較する。そして、比較器３４が、スヌープアドレス部３１のスヌープアドレスと、タグアレイ本体３３のタグアドレスとが一致していると判断すると、無効化ユニット３５は、その比較結果に基づいて、そのアドレスに対応するキャッシュライン１１に含まれる有効ビット部１１ｂ及びデータエントリ部１１ａを無効化する。

ここで、図２に示すように、各キャッシュライン１１には複数の有効ビット部１００が存在するため、キャッシュメモリ装置１０は、対応するキャッシュメモリ制御部３を用いて、各キャッシュライン１１を部分的、すなわち、夫々の有効ビット部１１ｂ及びデータエントリ部１１ａを個別に無効化することができる。このように、スヌーピング制御における無効化は、キャッシュライン１１に含まれる全ての有効ビット部１１ｂ及びデータエントリ部１１ａに対して行われるわけではないため、キャッシュヒット率の向上も期待できる。以上のようにして、キャッシュメモリ装置１０において、より高速かつ効率的なスヌーピング制御が実現可能となる。

次に、本実施形態に係るキャッシュメモリ装置１０における初期化制御について、詳細に説明する。

図５に示す如く、本実施形態に係るキャッシュメモリ装置１０において初期化制御が開始されると、初期化ユニット３６は、初期化の対象となる初期化アドレスを生成する。そして、初期化ユニット３６は、その初期化アドレスと一致するキャッシュライン１１のアドレスエントリ部１１３を抽出する。さらに、初期化ユニット３６は、対応する無効化ユニット３５を制御して、抽出したアドレスエントリ部１１３のキャッシュライン１１に含まれる有効ビット部１１４を無効化し、対応するデータエントリ部１１５を無効化する。このようにして、初期化の対象となる初期化アドレスのキャッシュライン１１を無効化し、初期化を行うことができる。

次に、本実施形態に係るキャッシュメモリ装置１０におけるライトバックキャッシュのデータ書出し制御方法について、詳細に説明する。

図６に示すように、本実施形態に係るキャッシュメモリ装置１０に対して、ライトバックキャッシュを開始するためのライトバック要求１１６が入力されると、キャッシュメモリ制御部３は、データ書出し対象となるアドレスエントリ部１１７を抽出する。そして、キャッシュメモリ制御部３は、抽出したアドレスエントリ部１１７のキャッシュライン１１８に含まれる複数の有効ビット部１１ｂのうち、有効状態の有効ビット部１１９に対応するデータエントリ部１２０のデータのみを、２次キャッシュメモリ２に対して書き出す。このとき、キャッシュメモリ制御部３は、抽出したアドレスエントリ部１１７のキャッシュライン１１８に含まれる複数の有効ビット部１１ｂのうち、無効状態の有効ビット部１２１に対応するデータエントリ部１２２のデータについては、２次キャッシュメモリ２に対して書き出さない。

以上、本実施形態に係るキャッシュメモリ装置１０において、１次キャッシュメモリ１のラインサイズは、２次キャッシュメモリ２のラインサイズよりも大きくなるように構成されている。さらに、１次キャッシュメモリ１のキャッシュライン１１は、データを記憶する複数のデータエントリ部１１ａと、対応するデータエントリ部１１ａのデータが有効又は無効であることを示す複数の有効ビット部１１ｂと、キャッシュライン１１のアドレスを記憶するアドレスエントリ部１１ｃと、を含んでいる。これにより、ＣＰＵ等の処理装置は、２次キャッシュメモリ２から１次キャッシュメモリ１へのフィル処理を待つことなく、１キャッシュメモリ１に対して高速にアクセスすることができる。したがって、キャッシュメモリ装置１０の処理性能を向上させることができる。

例えば、２次キャッシュメモリ２の一部がキャッシュミスして、その他の部分がキャッシュヒットした場合、通常、キャッシュヒットした部分に対応する１次キャッシュメモリ１のフィル処理完了は、２次キャッシュメモリ２へのアクセス時間と略同一になる。また、キャッシュミスした部分に対応する１次キャッシュメモリ１のフィル処理完了は、主記憶装置へのアクセス時間と略同一となり、時間差が生じる。一方、本実施形態に係るキャッシュメモリ装置１０においては、２次キャッシュメモリ２から転送されるデータが１次キャッシュメモリ１に到着したときに、直ちに、そのフィル処理を実行し、完了させることができる。さらに、１次キャッシュメモリ１のフィル処理中においても、処理装置は、１次キャッシュメモリ１にアクセスすることができる。このようにして、２次キャッシュメモリ２を効率的に活用して、フィル制御を実行することができ、キャッシュメモリ装置１０の処理性能を向上させることができる。

また、上述の如く、１次キャッシュメモリ１のラインサイズを大きくしつつ、２次キャッシュメモリ２のラインサイズを小さくして、１次キャッシュメモリ１のラインサイズは、２次キャッシュメモリ２のラインサイズよりも大きくなるように構成されている。これにより、無駄なデータ転送を除去し、主記憶装置の記憶領域を有効利用したキャッシュメモリ装置１０の階層化を実現している。したがって、処理装置は十分な記憶領域を確保できるため、装置全体の処理性能を大幅に向上させることができる。

なお、本発明を実施するための最良の形態について一実施形態を用いて説明したが、本発明はこうした一実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において、上述した一実施形態に種々の変形及び置換を加えることができる。

本発明の一実施形態に係るキャッシュメモリ装置の機能ブロック図である。 本発明の一実施形態に係るキャッシュメモリ装置のシステム構成の概略を示すブロック図である。 本発明の一実施形態に係るキャッシュメモリ装置におけるフィル制御方法のリプレース処理の一例を示す図である。 本発明の一実施形態に係るキャッシュメモリ装置におけるリフィル制御方法の一例を示す図である。 本発明の一実施形態に係るキャッシュメモリ装置における初期化制御の一例を示す図である。 本発明の一実施形態に係るキャッシュメモリ装置におけるライトバックキャッシュのデータ書出し制御方法の一例を示す図である。

符号の説明

１ １次キャッシュメモリ
２ ２次キャッシュメモリ
３ キャッシュメモリ制御部
１０ キャッシュメモリ装置
１１ キャッシュライン
１１ａ データエントリ部
１１ｂ 有効ビット部
１１ｃ アドレスエントリ部
１２ ウェイ
３１ スヌープアドレス部
３２ タグコピー部
３３ タグアレイ本体
３４ 比較器
３５ デコーダ（無効化ユニット）
３６ 初期化ユニット

Claims (5)

1. データをキャッシュラインで記憶する１次キャッシュメモリを備えるキャッシュメモリ装置であって、
   前記１次キャッシュメモリのラインサイズは、２次キャッシュメモリのラインサイズよりも大きくなるように構成されており、
   前記１次キャッシュメモリのキャッシュラインは、データを記憶する複数のデータエントリ部と、該データエントリ部に対応して、前記データが有効又は無効であること示す複数の有効ビット部と、前記キャッシュラインのアドレスを記憶するアドレスエントリ部と、を含む、ことを特徴とするキャッシュメモリ装置。
2. 請求項１記載のキャッシュメモリ装置であって、
   前記１次キャッシュメモリのキャッシュラインに対して、スヌーピング処理を実行するキャッシュメモリ制御部を更に備える、ことを特徴とするキャッシュメモリ装置。
3. 請求項１又は２記載のキャッシュメモリ装置であって、
   前記１次キャッシュメモリのキャッシュラインに対して、リプレース処理を実行するキャッシュメモリ制御部を更に備える、ことを特徴とするキャッシュメモリ装置。
4. １次キャッシュメモリのラインサイズは、２次キャッシュメモリのラインサイズよりも大きくなるように構成されており、
   前記１次キャッシュメモリのキャッシュラインは、データを記憶する複数のデータエントリ部と、該データエントリ部に対応して、前記データが有効又は無効であること示す複数の有効ビット部と、前記キャッシュラインのアドレスを記憶するアドレスエントリ部と、を含むキャッシュメモリ装置の制御方法であって、
   フィル処理の対象となる前記アドレスエントリ部を決定する決定工程と、
   該決定工程で決定された前記アドレスエントリ部の前記キャッシュラインに含まれる前記複数の有効ビット部のうち、前記無効であることを示す有効ビット部及び対応する前記データエントリ部に対してフィル処理を実行するフィル処理工程と、を含むことを特徴とするキャッシュメモリ装置の制御方法。
5. 請求項４記載のキャッシュメモリ装置の制御方法であって、
   スヌーピング処理の対象となる前記アドレスエントリ部を決定する決定工程と、
   該決定工程で決定された前記アドレスエントリ部の前記キャッシュラインに含まれる前記有効ビット部のうち、前記無効であることを示す有効ビット部及び対応する前記データエントリ部に対してスヌーピング処理を実行するスヌーピング処理工程と、を更に含むことを特徴とするキャッシュメモリ装置の制御方法。

Images