JP5659160B2 - 動画像復号装置、動画像符号化装置、動画像復号回路及び動画像復号方法 - Google Patents

Description

本発明は、動画像復号装置、動画像符号化装置、動画像復号回路及び動画像復号方法に関し、特に、動画像符号化ストリームを復号するために可変係数動き補償画面間予測で使用するフィルタ係数に関する動画像復号装置、動画像符号化装置、動画像復号回路及び動画像復号方法に関するものである。

近年、広く利用されている動画像圧縮技術の標準規格がある。例えば、ＩＴＵ−Ｔ（国際電気通信連合 電気通信標準化部門）のＨ．２６１及びＨ．２６３、ＩＳＯ／ＩＥＣ（国際標準化機構 国際電気標準会議）のＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）−１、ＭＰＥＧ２及びＭＰＥＧ４など、並びに、ＩＴＵ−ＴとＭＰＥＧの合同であるＪＶＴ（ＪｏｉｎｔＶｉｄｅｏＴｅａｍ）のＨ．２６４（ＭＰＥＧ４−ＡＶＣ）などがある。更に、次世代の動画像圧縮技術がＩＴＵ−ＴやＩＳＯ／ＩＥＣなどで検討されている。

一般に、動画像圧縮技術の重要な要素として、動画像を構成する連続した複数の画面の持つ時間方向の冗長性を削減することで情報量の圧縮を行う動き補償画面間予測がある。ここで、動き補償画面間予測とは、符号化対象画面内のマクロブロック、または、サブマクロブロック（以下、「マクロブロック等」ともいう）が、符号化対象画面の前方または後方に位置する参照画面内のどの方向にどの程度動いたかを検出して、予測画像の作成を行い、得られた予測画像と符号化対象画面との差分値に対して符号化を行う手法である。なお、符号化対象画面内のマクロブロック等が、符号化対象画面の前方または後方に位置する参照画面内のどの方向にどの程度動いたかを示す情報を動きベクトルという。また、その際、参照される画面を参照画面と呼ぶ。

動き補償画面間予測を用いて符号化された動画像符号化ストリームの復号に際しては、復号した復号画面をフレームメモリに保持し、後の復号画面の復号において参照画面として利用する。

また、動き補償画面間予測で符号化されたマクロブロックの予測画像生成に際しては、以下のとおりである。まず、動画像符号化ストリーム内の動きベクトルを復号し、動きベクトルが指し示す参照画素領域を参照画面が保持されているフレームメモリから取得し、必要に応じて参照画素領域に対しフィルタリング処理を行うことで予測画像を生成する。そして、整数画素以下の予測画像を生成するために、整数画素に対しフィルタリング処理を行う。

例えば、Ｈ．２６４では規格で定義された固定のフィルタ係数を用いた６タップのＦＩＲフィルタ（フィルタ係数：１、−５、２０、２０、−５、１）を用いて１／２画素精度の予測画像を生成し、次に、規格で定義された固定のフィルタ係数を用いた２タップの平均値フィルタ（フィルタ係数：１／２、１／２）により１／４画素精度の予測画像を生成する。このとき、整数画素以下の予測画像を生成するために利用するフィルタ係数は、画像の特性によらず常に同じ値（固定値）が使用される。

それに対して、より良い符号化効率を実現するために、整数画素以下の予測画像を生成する際のフィルタリングに使用するフィルタ係数を画像の特性などに応じて適応的に変化させる動き補償技術（以下、「可変係数動き補償」ともいう）が提案されている（例えば、非特許文献１、２及び３）。この可変係数動き補償は、ＩＴＵ−ＴやＩＳＯ／ＩＥＣなどで次世代の動画像圧縮技術、具体的には次世代の動き補償画面間予測技術、として提案されている。

例えば、非特許文献１には、整数画素以下の予測画像を生成するために利用するフィルタ係数を、従来の固定値ではなく、画像の特性などに応じて適応的に変化させる技術について提案されている。また、例えば、非特許文献２には、動きベクトルの小数部の値毎に、符号化ストリームで定義された異なるフィルタ係数を使用して予測画像を生成する際にフィルタリング処理を実施する技術が提案されている。また、例えば、非特許文献３には、同一ピクチャ内であっても、場所によって最適なフィルタ係数が異なることに注目して、マクロブロック単位で動き補償画面間予測のフィルタリングに利用するフィルタ係数を切り替える技術が提案されている。

特開２００５−３５４６７３号公報

Ｔｈｏｍａｓ Ｗｅｄｉ著「ＡＤＡＰＴＩＶＥ ＩＮＴＥＲＰＯＬＡＴＩＯＮ ＦＩＬＴＥＲ ＦＯＲ ＭＯＴＩＯＮ ＣＯＭＰＥＮＳＡＴＥＤ ＨＹＢＲＩＤ ＶＩＤＥＯ ＣＯＤＩＮＧ」 Ｐｒｏｃ． Ｐｉｃｔｕｒｅ Ｃｏｄｉｎｇ Ｓｙｍｐｏｓｉｕｍ（ＰＣＳ２００１）、 Ｓｅｏｕｌ、 Ｋｏｒｅａ、 Ａｐｒｉｌ ２００１ Ｙ．Ｖａｔｉｓ ｅｔ ａｌ著「Ｔｗｏ ｄｉｍｅｎｓｉｏｎａｌ ｎｏ−ｓｅｐａｒａｔａｂｌｅ Ａｐｄａｐｔｉｖｅ Ｗｉｅｎｅｒ Ｉｎｔｅｒｐｏｌａｔｉｏｎ Ｆｉｌｔｅｒ ｆｏｒ Ｈ．２６４／ＡＶＣ」 ＩＴＵ − Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ Ｓｅｃｔｏｒ ＳＴＵＤＹ ＧＲＯＵＰ １６ Ｑｕｅｓｔｉｏｎ ６ Ｖｉｄｅｏ Ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ（ＶＣＥＧ） ｄｏｃｕｍｅｎｔ ＶＣＥＧ−Ｚ１７、 １６ Ａｐｒ ２００５ Ｋａｉ Ｚｈａｎｇ ｅｔ ａｌ著「Ｓｉｎｇｌｅ−Ｐａｓｓ Ｅｎｃｏｄｉｎｇ Ｕｓｉｎｇ Ｍｕｌｔｉｐｌｅ Ａｄａｐｔｉｖｅ Ｉｎｔｅｒｐｏｌａｔｉｏｎ Ｆｉｌｔｅｒｓ」 ＩＴＵ − Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ Ｓｅｃｔｏｒ ＳＴＵＤＹ ＧＲＯＵＰ １６ Ｑｕｅｓｔｉｏｎ ６ Ｖｉｄｅｏ Ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ（ＶＣＥＧ） ｄｏｃｕｍｅｎｔ ＶＣＥＧ−ＡＫ２６、 １５−１８ Ａｐｒ ２００９

しかしながら、次世代の動画像圧縮技術に提案されている動き補償画面間予測では、非常に多くのフィルタリング係数候補の中から、フィルタリング係数を頻繁に選択し、予測画像を生成するフィルタリング処理に利用することになる。そのため、フィルタリング係数を保持するメモリのメモリ容量やメモリ帯域、メモリアクセスレイテンシは一般的に極めて大きくなると予想される。

ところで、動き補償画面間予測を用いて符号化された動画像符号化ストリームの復号すなわち動き補償を伴う復号において、復号画面をフレームメモリへ格納すること、及び、フレームメモリから参照画素領域を読み出すことが必要である。そのため、次世代の動画像圧縮技術に提案されている動き補償画面間予測を用いた場合、復号画面の格納や参照画素領域の読み出しにより、及び、その表示などのアクセスにより、フレームメモリのメモリ帯域及びメモリアクセスレイテンシも一般的に極めて大きくなると予想される。

それに対して、フレームメモリのメモリ容量、メモリ帯域またはメモリアクセスレイテンシを低減する方法として、これまでに様々な技術が提案されている（例えば特許文献１）。例えば、特許文献１には、動き補償画面間予測を行う場合に、フレームメモリから参照画素領域を複数分局所メモリへまとめて転送した方が効率的なときには、参照画素領域を局所メモリへ一括転送する。それによって複数のブロック間で重複している参照領域をブロック処理ごとに重複して転送する必要がなくなるため、フレームメモリへのアクセス数を減少させることができる。このようにしてフレームメモリのメモリ帯域、メモリアクセスレイテンシ削減及び処理サイクルの削減が実現できる。

しかしながら、特許文献１では、参照画像を格納するフレームメモリのメモリ帯域及びメモリアクセスレイテンシ削減を実現する構成が開示されているに過ぎない。言い換えると、次世代の動画像圧縮技術に提案されている可変係数動き補償画面間予測で使用するフィルタ係数のメモリアクセスについての記載（開示）はない。そのため、特許文献１に開示される構成では、可変係数動き補償画面間予測を用いた場合のフィルタ係数のメモリ帯域及びメモリアクセスレイテンシの低減はできない。

そこで、本発明は、上述の事情を鑑みてなされたもので、可変係数動き補償画面間予測を行う際に使用する動き補償フィルタ係数のメモリ帯域の低減及びメモリアクセスレイテンシの低減を可能とする動画像復号装置、動画像符号化装置、動画像復号回路及び動画像復号方法を提供することを目的とする。

上記従来の課題を解決するために、本発明の動画像復号装置は、動画像が動き補償を用いて符号化された符号化ストリームに対して動き補償を伴う動き補償復号を行う動画像復号装置であって、前記符号化ストリームから、動き補償復号に利用される複数の動き補償フィルタ係数を復号する復号部と、前記復号部により復号された前記符号化ストリームに含まれる前記複数の動き補償フィルタ係数を保持するためのメモリと、前記メモリに保持されている複数の動き補償フィルタ係数のうち、前記動き補償を行うときに必要な動き補償フィルタ係数を保持するためのフィルタ係数記憶部と、前記フィルタ係数記憶部に保持された動き補償フィルタ係数を用いて動き補償を行う動き補償部と、前記復号部により復号された複数の動き補償フィルタ係数を前記メモリに書き出し、前記フィルタ係数記憶部が前記一部の動き補償フィルタ係数を保持していない場合のみ、前記メモリから前記フィルタ係数記憶部に、前記一部の動き補償フィルタ係数を転送する転送制御部とを備える。

本構成によって、可変係数動き補償画面間予測を行う際に使用する動き補償フィルタ係数のメモリ帯域の低減及びメモリアクセスレイテンシの低減を可能とする動画像復号装置を実現することができる。

また、上記従来の課題を解決するために、本発明の動画像符号化装置は、符号化対象画像と参照画像とを用いて、動き補償を伴う符号化である動き補償符号化を行う動画像符号化装置であって、前記動き補償符号化に利用される複数の動き補償フィルタ係数を生成する生成部と、前記生成部より生成された複数の動き補償フィルタ係数を保持するためのメモリと、前記メモリに保持されている複数の動き補償フィルタ係数のうち、前記動き補償を行うときに必要な動き補償フィルタ係数を保持するためのフィルタ係数記憶部と、前記フィルタ係数記憶部に保持されている前記一部の動き補償フィルタ係数を用いて前記符号化対象画像と前記参照画像とから前記動き補償を行って予測画像を生成する動き検出部と、前記生成部により生成された複数の動き補償フィルタ係数を前記メモリに書き出し、前記フィルタ係数記憶部が前記一部の動き補償フィルタ係数を保持していない場合のみ、前記メモリから前記フィルタ係数記憶部に前記一部の動き補償フィルタ係数を転送する転送制御部とを備える。

本構成によって、可変係数動き補償画面間予測を行う際に使用する動き補償フィルタ係数のメモリ帯域の低減及びメモリアクセスレイテンシの低減を可能とする動画像符号化装置を実現することができる。

なお、本発明は、装置として実現するだけでなく、このような装置が備える処理手段を備える集積回路として実現したり、その装置を構成する処理手段をステップとする方法として実現したりすることもできる。

本発明によれば、可変係数動き補償画面間予測を行う際に使用するフィルタ係数のメモリ帯域の低減及びメモリアクセスレイテンシの低減を可能とする動画像復号装置、動画像符号化装置、動画像復号回路及び動画像復号方法を実現することができる。

図１は、本発明の実施の形態１における復号装置の構成を示すブロック図である。 図２Ａは、動画像圧縮技術の標準規格に準じて符号化された符号化ストリームの概要を示す図である。 図２Ｂは、動画像圧縮技術の標準規格に準じて符号化された符号化ストリームの概要を示す図である。 図２Ｃは、本発明の符号化ストリームの一例を示す図である。 図３は、フィルタ係数記憶状態管理テーブルが保持する情報の一例である。 図４は、本発明の実施の形態１における復号装置の復号処理動作を示すフローチャートである。 図５は、本発明の実施の形態１における復号装置の最小構成を示すブロック図である。 図６は、本発明の実施の形態２における復号装置の構成を示すブロック図である。 図７Ａは、本発明のフィルタ係数参照履歴管理テーブルが保持する情報の一例である。 図７Ｂは、本発明のフィルタ係数参照履歴管理テーブルが保持する情報の一例である。 図８は、本発明の実施の形態２における復号装置の復号処理動作を示すフローチャートである。 図９は、本発明の実施の形態３における復号装置の構成を示すブロック図である。 図１０は、フィルタ係数統計情報管理テーブルが保持する情報の一例である。 図１１は、フィルタ係数統計情報管理テーブルが保持する情報の一例である。 図１２Ａは、フィルタ係数統計情報管理テーブルに基づいてフィルタ係数記憶部の動き補償フィルタ係数が更新される様子を示す図である。 図１２Ｂは、フィルタ係数統計情報管理テーブルに基づいてフィルタ係数記憶部の動き補償フィルタ係数が更新される様子を示す図である。 図１３Ａは、フィルタ係数統計情報管理テーブルに基づいてフィルタ係数記憶部の動き補償フィルタ係数が更新される様子を示す図である。 図１３Ｂは、フィルタ係数統計情報管理テーブルに基づいてフィルタ係数記憶部の動き補償フィルタ係数が更新される様子を示す図である。 図１４は、本発明の実施の形態３における復号装置の復号処理動作を示すフローチャートである。 図１５は、本発明の実施の形態３における復号装置の最小構成を示すブロック図である。 図１６は、本発明の実施の形態４における復号装置の構成を示すブロック図である。 図１７は、本発明の実施の形態４における復号装置の復号処理動作を示すフローチャートである。 図１８は、本発明の実施の形態５における符号化装置の構成を示すブロック図である。 図１９は、フィルタ係数記憶状態管理テーブルが保持する情報の一例である。 図２０は、動き検出部が、動き補償フィルタ係数ＩＤを決定する方法を説明するための図である。 図２１は、本発明の実施の形態５における符号化装置の符号化処理動作を示すフローチャートである。 図２２は、本発明の実施の形態６における符号化装置の構成を示すブロック図である。 図２３は、本発明の実施の形態６における符号化装置の符号化処理動作を示すフローチャートである。 図２４は、本発明の実施の形態７における符号化装置の構成を示すブロック図である。 図２５は、本発明の実施の形態７における符号化装置の構成を示すフローチャートである。 図２６は、コンテンツ配信サービスを実現するコンテンツ供給システムの全体構成図である。 図２７は、デジタル放送用システムの全体構成図である。 図２８は、テレビの構成例を示すブロック図である。 図２９は、光ディスクである記録メディアに情報の読み書きを行う情報再生／記録部の構成例を示すブロック図である。 図３０は、光ディスクである記録メディアの構造例を示す図である。 図３１は、各実施の形態の動画像符号化方法及び動画像復号方法を実現する集積回路の構成例を示すブロック図である。 図３２は、集積回路で実現される各実施の形態の動画像符号化処理を示すブロック図である。 図３３は、集積回路で実現される各実施の形態の動画像復号処理を示すブロック図である。

以下、本発明の実施の形態について、図面を参照しながら説明する。

（実施の形態１）
図１は、本発明の実施の形態１における復号装置の構成図である。図２Ａ及び図２Ｂは、動画像圧縮技術の標準規格に準じて符号化された符号化ストリームの概要を示す図である。図２Ｃは、本発明の符号化ストリームの一例を示す図である。図３は、フィルタ係数記憶状態管理テーブルが保持する情報の一例である。

図１に示す復号装置１００は、動画像が動き補償を用いて符号化された符号化ストリームに対して動き補償を伴う動き補償復号を行う動画像復号装置であって、復号部１０１、フィルタ係数転送制御部１０２、フィルタ係数記憶部１０３、フィルタ係数記憶状態管理テーブル１０４、参照画像転送制御部１０５、参照画像記憶部１０６、動き補償部１０７、加算器１０８、メモリ１０９を備える。

復号部１０１は、符号化ストリームから、動き補償復号に利用される複数の動き補償フィルタ係数を少なくとも復号する。具体的には、復号部１０１は、動画像圧縮技術の標準規格に準じて符号化されたストリームの復号を行い、少なくともヘッダ情報と予測誤差信号とを出力する機能を有する。

ここで、動画像圧縮技術の標準規格に準じて符号化されたストリームについて、図２Ａ及び図２Ｂを用いて説明する。図２Ａに示すように、符号化ストリームにおいて、一連の画像（動画像）は階層的な構成を有している。例えば、複数のピクチャを１まとまりにしたシーケンス（若しくは、ＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅｓ）という）がある。シーケンスを構成する各ピクチャはスライスに分割され、さらに１６ｘ１６画素からなるマクロブロックに分割された構成を有する。なお、ピクチャをスライスに分割しない場合もある。そして、復号装置１００は、スライスまたはマクロブロックを単位として復号動作を行う。

また、符号化ストリームでは、図２Ｂに示すように、これらを階層的に符号化されており、シーケンスを制御するシーケンスヘッダ、ピクチャを制御するピクチャヘッダ、スライスを制御するスライスヘッダ、マクロブロックデータなどから構成されている。マクロブロックデータは、さらに、マクロブロック種別、面内予測（イントラ予測）モード、動きベクトル情報、量子化パラメータなどの符号化情報及び各画素データに対応する係数情報に分けられる。なお、Ｈ．２６４規格では、シーケンスヘッダをＳＰＳ（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）、ピクチャヘッダをＰＰＳ（Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）と呼んでいる。

例えば、図２Ｃに示すような構造でもよい。すなわち、ＧＯＰ若しくはシーケンス中のそれぞれのピクチャのヘッダ（ピクチャヘッダ）に、そのピクチャ中で動き補償フィルタ係数と復号するスライスまたはマクロブロックを動き補償する際にどの動き補償フィルタ係数を用いるかを特定する（示す）情報（以下、「動き補償フィルタ係数ＩＤ」ともいう）とが全て含まれているとする。そして、ピクチャ中のスライスへッダでは、動き補償フィルタ係数ＩＤのみが含まれているとする。なお、動き補償フィルタ係数ＩＤは、本発明における特定情報に相当する。

なお、動き補償フィルタ係数と動き補償フィルタ係数ＩＤとはピクチャ単位ではなく、ＧＯＰ若しくはシーケンス単位でもよい。また、スライス単位で動き補償フィルタ係数と動き補償フィルタ係数ＩＤとを含むとし、マクロブロック単位でそのマクロブロックに用いらる動き補償フィルタ係数ＩＤを含むとしてもよい。つまり、上述したどの組合せを単位としてもよいし、別の組合せを単位としてもよい。

フィルタ係数転送制御部１０２は、本発明の転送制御部に相当し、復号部１０１により復号された複数の動き補償フィルタ係数をメモリ１０９に書き出し、フィルタ係数記憶部１０３が動き補償処理に必要な動き補償フィルタ係数を保持していない場合のみ、メモリ１０９からフィルタ係数記憶部１０３に、必要な動き補償フィルタ係数を転送する。具体的には、フィルタ係数転送制御部１０２は、符号化ストリーム中に定義され、動き補償処理に用いるフィルタ係数すなわち動き補償フィルタ係数をメモリ１０９に書き込む機能を有する。また、フィルタ係数転送制御部１０２は、復号部１０１が復号する際の動き補償にどの動き補償フィルタ係数を用いるかを示す情報すなわち、動き補償フィルタ係数ＩＤを元に、フィルタ係数記憶状態管理テーブル１０４の情報を参照する機能を有する。そして、フィルタ係数転送制御部１０２は、フィルタ係数記憶状態管理テーブル１０４の情報により、動き補償フィルタ係数ＩＤが示す動き補償フィルタ係数がフィルタ係数記憶部１０３に保持されているかを確認する。

例えば、フィルタ係数転送制御部１０２は、動き補償フィルタ係数ＩＤの示す動き補償フィルタ係数がフィルタ係数記憶部１０３に保持されていないことを確認した場合、メモリ１０９から動き補償フィルタ係数ＩＤが示す動き補償フィルタ係数を読み出し、フィルタ係数記憶部１０３に書き込む（転送する）。一方、フィルタ係数転送制御部１０２は、動き補償フィルタ係数ＩＤが示す動き補償フィルタ係数がフィルタ係数記憶部１０３に保持（記憶）されていることを確認した場合は、動き補償フィルタ係数をメモリ１０９から読み出さない（転送しない）。

なお、フィルタ係数転送制御部１０２は、動き補償フィルタ係数をメモリ１０９に書き込む命令のみを復号部１０１に行い、復号部１０１が動き補償フィルタ係数をメモリ１０９に書き込むとしてもよい。同様に、フィルタ係数転送制御部１０２は、メモリ１０９から動き補償フィルタ係数ＩＤが示す動き補償フィルタ係数を読み出す命令のみをフィルタ係数記憶部１０３に行い、フィルタ係数記憶部１０３がメモリ１０９から動き補償フィルタ係数ＩＤが示す動き補償フィルタ係数を読み出し、保持するとしてもよい。

フィルタ係数記憶部１０３は、メモリ１０９に保持されている複数の動き補償フィルタ係数のうち、動き補償を行うときに必要な動き補償フィルタ係数を保持するためのものである。具体的には、フィルタ係数記憶部１０３は、メモリ１０９から転送された動き補償フィルタ係数を少なくとも２種類以上保持する機能と、動き補償フィルタ係数ＩＤが示す動き補償フィルタ係数を動き補償部１０７に設定する機能とを有する。

フィルタ係数記憶状態管理テーブル１０４は、本発明の記憶状態管理部に相当し、動き補償フィルタ係数ＩＤによって特定された動き補償フィルタ係数をフィルタ係数記憶部１０３が保持しているかどうかを示す情報を管理する。具体的には、フィルタ係数記憶状態管理テーブル１０４は、動き補償フィルタ係数ＩＤを入力とし、フィルタ係数記憶部１０３へ動き補償フィルタ係数ＩＤが示す動き補償フィルタ係数を保持しているか否かの情報を出力する機能を有する。フィルタ係数記憶状態管理テーブル１０４は、例えば、図３に示すような情報を保持している。すなわち、フィルタ係数記憶状態管理テーブル１０４は、復号部１０１が復号する符号化ストリームの例えばシーケンスヘッダやピクチャヘッダなどのヘッダ情報に含まれる動き補償フィルタ係数ＩＤすべてをフィルタ係数ＩＤとして保持している。そして、動き補償フィルタ係数ＩＤそれぞれにより特定される動き補償フィルタ係数がフィルタ係数記憶部１０３に記憶されているか否かを記憶状態として保持している。

参照画像転送制御部１０５は、復号部１０１が出力した動きベクトル及び参照画面情報などを含むヘッダ情報に基づき、動き補償に必要な参照画素をメモリ１０９から読み出し、参照画像記憶部１０６に書き込む機能を有する。

なお、参照画像転送制御部１０５は、復号部１０１が出力した動きベクトル及び参照画面情報などを含むヘッダ情報に基づき、動き補償に必要な参照画素をメモリ１０９から読み出す命令のみを参照画像記憶部１０６に行い、参照画像記憶部１０６が動き補償に必要な参照画素をメモリ１０９から読み出し保持するとしてもよい。

参照画像記憶部１０６は、メモリ１０９から転送された参照画素を保持する機能を有する。

動き補償部１０７は、少なくともフィルタ係数記憶部１０３に保持された動き補償フィルタ係数を用いて動き補償を行う。具体的には、動き補償部１０７は、復号部１０１が出力した動きベクトル及び動き補償フィルタ係数ＩＤなどを含むヘッダ情報と、参照画像記憶部１０６が保持している動きベクトルが指し示す動き補償に必要な参照画素と、フィルタ係数記憶部１０３が保持している動き補償フィルタ係数ＩＤが示す動き補償フィルタ係数とを取得する機能を有する。そして、動き補償部１０７は、それらを用いて動き補償処理を行って予測画像生成し、加算器１０８へ出力する機能を有する。

加算器１０８は、復号部１０１が出力した予測誤差信号、及び、動き補償部１０７が出力した予測画像を加算し、復号画像として出力する機能、並びに、その復号画像をメモリ１０９へ転送する機能を有する。

メモリ１０９は、復号部１０１により復号された符号化ストリームに含まれる複数の動き補償フィルタ係数を少なくとも保持するためのものである。具体的には、メモリ１０９は、動き補償フィルタ係数と、動き補償部１０７が参照する参照画面を保持する機能を有する。なお、メモリ１０９は、動き補償フィルタ係数を保持するだけとしてもよい。その場合、動き補償部１０７が参照する参照画面を保持するフレームメモリを復号装置１００が別途備えればよい。

以上のようにして、復号装置１００は構成される。

次に、この復号装置１００の復号処理動作について説明する。図４は、本発明の実施の形態１における復号装置の復号処理動作を示すフローチャートである。

図４に示すように、復号装置１００において、まず、符号化ストリームを受けた復号部１０１は、符号化ストリームを構成するヘッダ情報を復号し（Ｓ１０１）、ヘッダ情報として少なくとも動き補償フィルタ係数を出力する。そして、フィルタ係数転送制御部１０２が、Ｓ１０１において復号部１０１により復号された動き補償フィルタ係数すべてをメモリ１０９に書き込む（Ｓ１０２）。

次に、復号部１０１は、復号対象の画像のピクチャタイプがＰ若しくはＢまたはＩであるかを判定する（Ｓ１０３）。復号部１０１は、復号対象の画像のピクチャタイプが、ＰまたはＢである場合には（Ｓ１０３のＰ、Ｂの場合）、動き補償処理が必要と判断して符号化ストリームを構成するヘッダ情報と予測残差信号とを復号し（Ｓ１０４）、ヘッダ情報として少なくとも動き補償フィルタ係数情報ＩＤ、動きベクトル情報、予測残差信号を出力する。一方、復号部１０１は、復号対象の画像のピクチャタイプが、Ｉである場合には（Ｓ１０３のＩの場合）、動き補償処理が不要と判断してＳ１１４へ進み、画面内復号を行い、Ｓ１１３へと進む。

次に、フィルタ係数転送制御部１０２は、Ｓ１０４にて復号された動き補償フィルタ係数ＩＤが示す動き補償フィルタ係数をフィルタ係数記憶部１０３が保持しているかどうかを、フィルタ係数記憶状態管理テーブル１０４を参照して調べる（Ｓ１０５）。

フィルタ係数転送制御部１０２は、フィルタ係数記憶部１０３が動き補償フィルタ係数ＩＤの示す動き補償フィルタ係数を保持していない場合（Ｓ１０５のＮの場合）、メモリ１０９から動き補償フィルタ係数ＩＤが示す動き補償フィルタ係数を読み出す。そして、フィルタ係数記憶部１０３で例えば最も古くメモリ１０９から読み出された動き補償フィルタ係数が記憶されている領域に書き込む（Ｓ１０６）。続いて、フィルタ係数転送制御部１０２は、フィルタ係数記憶状態管理テーブル１０４を更新する（Ｓ１０７）。具体的には、フィルタ係数転送制御部１０２は、フィルタ係数記憶状態管理テーブル１０４の読み出した動き補償フィルタ係数の記憶状態を「保持している」に変更し、消去した動き補償フィルタ係数の記憶状態を「保持していない」に変更する。

一方、フィルタ係数転送制御部１０２は、フィルタ係数記憶部１０３が動き補償フィルタ係数ＩＤの示す動き補償フィルタ係数を保持している場合（Ｓ１０５のＹの場合）、動き補償フィルタ係数をメモリ１０９から読み出さず、Ｓ１０８へと進む。

次に、参照画像転送制御部１０５は、参照画像を取得する（Ｓ１０８）。具体的には、参照画像転送制御部１０５は、Ｓ１０４にて復号部１０１が出力した動きベクトル及び参照画面情報などを含むヘッダ情報を元に、メモリ１０９から動き補償処理に利用する参照画像を読み出す。そして、読み出した参照画像を参照画像記憶部１０６に書き込む。

次に、動き補償部１０７は、Ｓ１０４にて復号部１０１が出力した動きベクトルを設定する（Ｓ１０９）。次いで、Ｓ１０４にて復号部１０１が出力した動き補償フィルタ係数ＩＤと動きベクトルとから、動き補償に利用する動き補償フィルタ係数を特定し、フィルタ係数記憶部１０３から読み出す（Ｓ１１０）。そして、動き補償部１０７は、参照画像記憶部１０６が保持している参照画像を読み出して、動き補償処理を行って予測画像生成し、加算器１０８へ出力する（Ｓ１１１）。

次に、加算器１０８は、Ｓ１１１にて動き補償部１０７が出力した予測画像と、Ｓ１０４にて復号部１０１が出力した予測残差信号とを加算し出力する（Ｓ１１２）。

次に、復号部１０１は、Ｓ１０１で復号した動き補償フィルタ係数を用いて動き補償を行う必要がある動き補償ブロックを全て復号したかを判定し（Ｓ１１３）、そうであるなら（Ｓ１１３のＹの場合）、復号を完了する。反対に、まだ、復号していない動き補償ブロックがある場合は（Ｓ１１３のＮの場合）、Ｓ１０３に戻り処理を繰り返す。

以上のようにして、復号装置１００は復号処理動作を行う。

なお、復号装置１００は、シーケンスまたはＧＯＰに含まれる画像（ピクチャ）を復号する最初のときには、Ｓ１０２において、ステップＳ１０１において復号部１０１により復号された動き補償フィルタ係数すべてをメモリ１０９に書き込まれるものの、フィルタ係数記憶状態管理テーブル１０４には、書き込まれない。その後、Ｓ１０３〜Ｓ１１３の処理を繰り返すことにより、フィルタ係数記憶部１０３に動き補償フィルタ係数の一部が保持される。

以上、実施の形態１によれば、フィルタ係数記憶状態管理テーブル１０４を参照した結果、フィルタ係数記憶部１０３に動き補償フィルタ係数ＩＤの示す動き補償フィルタが存在する場合には、動き補償フィルタ係数をメモリ１０９から読み出さない。そのため、メモリ１０９へのアクセス回数を減らすことが可能となる。これにより、動き補償フィルタ係数に関するメモリ帯域の低減及びメモリアクセスレイテンシの低減が可能となる。

なお、上記において、フィルタ係数記憶部１０３が動き補償フィルタ係数ＩＤが示す動き補償フィルタ係数を保持していない場合、フィルタ係数転送制御部１０２がメモリ１０９から動き補償フィルタ係数ＩＤが示す動き補償フィルタ係数を読み出す。そして、フィルタ係数記憶部１０３の最も古くフレームメモリから読み出された動き補償フィルタ係数が記憶されている領域に書き込む場合を説明したが、それに限らない。例えば最も新しくメモリ１０９から読み出された動き補償フィルタ係数が記憶されている領域に書き込むとしても良いし、フィルタ係数が格納されている領域をランダムに選択して書き込むとしても良い。これは、メモリ１０９へのアクセスを低減させることができ、かつ、フィルタ係数記憶部１０３の容量も低減させることができる方法であればいずれを選択しても良い。

また、上記では、動き補償フィルタ係数ＩＤは、動きベクトルとは異なるヘッダ情報として説明したが、それに限られない。例えば動きベクトルを動き補償フィルタ係数ＩＤとしても良いし、動きベクトルとは異なるヘッダ情報だけでなく、動きベクトルを含めたものを動き補償フィルタＩＤとしても良い。

また、上記では、動き補償部１０７に動きベクトルを設定するとしたが、動きベクトルの小数部を設定するとしても良い。

また、上記では、復号装置１００は、復号部１０１、フィルタ係数転送制御部１０２、フィルタ係数記憶部１０３、フィルタ係数記憶状態管理テーブル１０４、参照画像転送制御部１０５、参照画像記憶部１０６、動き補償部１０７、加算器１０８及びメモリ１０９を備えるとしたが、それに限られない。図５に示すように、復号装置１００の最小構成として、復号装置部１０を備えていればよい。すなわち、復号部１０１、フィルタ係数転送制御部１０２、フィルタ係数記憶部１０３、メモリ１０９及び動き補償部１０７を有する復号装置部１０を備えていればよい。

さらに具体的には、この復号装置部１０は、動画像が動き補償を用いて符号化された符号化ストリームに対して動き補償を伴う動き補償復号を行う動画像復号装置であって、符号化ストリームから、動き補償復号に利用される複数の動き補償フィルタ係数を復号する復号部１０１と、復号部１０１により復号された符号化ストリームに含まれる複数の動き補償フィルタ係数を保持するためのメモリ１０９と、メモリ１０９に保持されている複数の動き補償フィルタ係数のうち、動き補償を行うときに必要な動き補償フィルタ係数を保持するためのフィルタ係数記憶部１０３と、フィルタ係数記憶部１０３に保持された動き補償フィルタ係数を用いて動き補償を行う動き補償部１０７と、復号部１０１により復号された複数の動き補償フィルタ係数をメモリ１０９に書き出し、フィルタ係数記憶部１０３が上記必要な動き補償フィルタ係数を保持していない場合のみ、メモリ１０９からフィルタ係数記憶部１０３に、上記必要な動き補償フィルタ係数を転送するフィルタ係数転送制御部１０２とを備えていればよい。

復号装置１００は、最小構成として復号装置部１０を少なくとも備えることにより、メモリ１０９に記憶され、動き補償を伴う復号に用いられる動き補償フィルタ係数の少なくとも一部がフィルタ係数転送制御部１０２によりフィルタ係数記憶部に転送され保持される。それにより、メモリ１０９へ直接アクセスする回数を低減することができる。

（実施の形態２）
図６は、本発明の実施の形態２における復号装置の構成図である。図７Ａ及び図７Ｂは、フィルタ係数参照履歴管理テーブルが保持する情報の一例である。図６において、図１と同じ構成要素については同じ符号を用い、説明を省略する。

図６に示す復号装置２００は、復号部１０１、フィルタ係数転送制御部１０２、フィルタ係数記憶部１０３、フィルタ係数記憶状態管理テーブル１０４、参照画像転送制御部１０５、参照画像記憶部１０６、動き補償部１０７、加算器１０８、メモリ１０９、及び、フィルタ係数参照履歴管理テーブル２０１を備える。図６に示す復号装置２００は、実施の形態１に係る復号装置１００に対して、フィルタ係数参照履歴管理テーブル２０１を備えている点で構成が異なる。

フィルタ係数参照履歴管理テーブル２０１は、本発明の参照管理部に相当し、符号化ストリームに含まれる複数の動き補償フィルタ係数毎の、復号開始から参照された回数を示す利用履歴情報を管理する。具体的には、フィルタ係数参照履歴管理テーブル２０１は、動き補償フィルタ係数ＩＤを入力とし、フィルタ係数記憶部１０３において、動き補償フィルタ係数ＩＤの示す動き補償フィルタ係数が復号開始から参照された回数を出力する機能を有する。フィルタ係数参照履歴管理テーブル２０１は、例えば、図７Ａに示すような情報を保持している。すなわち、フィルタ係数参照履歴管理テーブル２０１は、復号部１０１が復号する符号化ストリームの例えばヘッダ情報に含まれる動き補償フィルタ係数ＩＤをフィルタ係数ＩＤとして保持している。そして、動き補償フィルタ係数ＩＤそれぞれによって特定される動き補償フィルタ係数が復号開始から参照された回数をこれまでのストリームでの参照回数として保持している。

なお、フィルタ係数参照履歴管理テーブル２０１は、動き補償フィルタ係数ＩＤを入力とし、フィルタ係数記憶部１０３において、動き補償フィルタ係数ＩＤの示す動き補償フィルタ係数が現在動き補償部１０７の行っている動き補償処理の何回前に参照されたかの回数を出力する機能を有するとしてもよい。その場合、フィルタ係数参照履歴管理テーブル２０１は、例えば、図７Ｂに示すような情報を保持する。すなわち、フィルタ係数参照履歴管理テーブル２０１は、復号部１０１が復号する符号化ストリームの例えばヘッダ情報に含まれる動き補償フィルタ係数ＩＤをフィルタ係数ＩＤとして保持している。そして、動き補償フィルタ係数ＩＤの示す動き補償フィルタ係数が現在動き補償部１０７の行っている動き補償処理の何回前に参照されたかを示す情報（回数）を、何回前に参照されたかとして保持している。

次に、以上のように構成される復号装置２００の復号処理動作について説明する。図８は、本発明の実施の形態２における復号装置の復号処理動作を示すフローチャートである。

図８に示すように、復号装置２００において、まず、符号化ストリームを受けた復号部１０１は、符号化ストリームを構成するヘッダ情報を復号し（Ｓ２０１）、ヘッダ情報として少なくとも動き補償フィルタ係数を出力する。そして、フィルタ係数転送制御部１０２が、復号部１０１によって復号された動き補償フィルタ係数すべてをメモリ１０９に書き込む（Ｓ２０２）。

次に、復号部１０１は、復号対象の画像のピクチャタイプがＰ若しくはＢまたはＩであるかを判定する（Ｓ２０３）。復号部１０１は、復号対象の画像のピクチャタイプが、ＰまたはＢである場合には（Ｓ２０３のＰ、Ｂの場合）、動き補償処理が必要と判断して符号化ストリームを構成するヘッダ情報と予測残差信号とを復号し（Ｓ２０４）、ヘッダ情報として少なくとも動き補償フィルタ係数情報ＩＤ、動きベクトル情報、予測残差信号を出力する。一方、復号部１０１は、復号対象の画像のピクチャタイプが、Ｉである場合には（Ｓ２０３のＩの場合）、動き補償処理が不要と判断してＳ２１５へ進み、画面内復号を行い、Ｓ２１４へと進む。

次に、フィルタ係数転送制御部１０２が、Ｓ２０４にて復号された動き補償フィルタ係数ＩＤが示す動き補償フィルタ係数をフィルタ係数記憶部１０３が保持しているかどうかを、フィルタ係数記憶状態管理テーブル１０４を参照して調べる（Ｓ２０５）。

フィルタ係数転送制御部１０２は、フィルタ係数記憶部１０３が動き補償フィルタ係数ＩＤの示す動き補償フィルタ係数を保持していない場合（Ｓ２０５のＮの場合）、メモリ１０９から動き補償フィルタ係数ＩＤが示す動き補償フィルタ係数を読み出す。そして、フィルタ係数記憶部１０３で例えばこれまでに最も参照回数が少ない動き補償フィルタ係数が記憶されている領域に書き込む（Ｓ２０６）。ここで、フィルタ係数転送制御部１０２は、フィルタ係数参照履歴管理テーブル２０１を参照し、最も参照回数が少ない動き補償フィルタ係数を特定している。

次いで、フィルタ係数転送制御部１０２は、フィルタ係数参照履歴管理テーブル２０１の、参照した動き補償フィルタ係数の参照回数を増やす（Ｓ２０７）。

また、フィルタ係数転送制御部１０２は、フィルタ係数記憶状態管理テーブル１０４を更新する（Ｓ２０８）。具体的には、フィルタ係数転送制御部１０２は、フィルタ係数記憶状態管理テーブル１０４の読み出した動き補償フィルタ係数の記憶状態を「保持している」に変更し、消去した動き補償フィルタ係数の記憶状態を「保持していない」に変更する。

一方、フィルタ係数転送制御部１０２は、フィルタ係数記憶部１０３が動き補償フィルタ係数ＩＤの示す動き補償フィルタ係数を保持している場合（Ｓ２０５のＹの場合）、動き補償フィルタ係数をメモリ１０９から読み出さず、Ｓ２０９へと進む。

次に、参照画像転送制御部１０５は、参照画像を取得する（Ｓ２０９）。具体的には、参照画像転送制御部１０５は、Ｓ２０４にて復号部１０１が出力した動きベクトル及び参照画面情報などを含むヘッダ情報を元に、メモリ１０９から動き補償処理に利用する参照画像を読み出す。そして、読み出した参照画像を参照画像記憶部１０６に書き込む。

次に、動き補償部１０７は、Ｓ２０４にて復号部１０１が出力した動きベクトルを設定する（Ｓ２１０）。次いで、Ｓ２０４にて復号部１０１が出力した動き補償フィルタ係数ＩＤと動きベクトルとから、動き補償に利用する動き補償フィルタ係数を特定し、フィルタ係数記憶部１０３から読み出して設定する（Ｓ２１１）。そして、動き補償部１０７は、参照画像記憶部１０６が保持している参照画像を読み出して、動き補償処理を行って予測画像生成し、加算器１０８へ出力する（Ｓ２１２）。

次に、加算器１０８は、Ｓ２１２にて動き補償部１０７が出力した予測画像と、Ｓ２０４にて復号部１０１が出力した予測残差信号とを加算し出力する（Ｓ２１３）。

次に、復号部１０１は、Ｓ２０１で復号した動き補償フィルタ係数を用いて動き補償を行う必要がある動き補償ブロックを全て復号したかを判定し（Ｓ２１４）、そうであるなら（Ｓ２１４のＹの場合）、復号を完了する。反対に、まだ、復号していない動き補償ブロックがある場合は（Ｓ２１４のＮの場合）、Ｓ２０３に戻り処理を繰り返す。

以上のようにして、復号装置２００は復号処理動作を行う。

以上、実施の形態２によれば、フィルタ係数参照履歴管理テーブル２０１を参照することで、最も参照回数が少ない動き補償フィルタ係数を特定する。そして、フィルタ係数転送制御部１０２がフィルタ係数記憶部１０３に書き込む際に、これまでに最も参照回数が少ない動き補償フィルタ係数が記憶されている領域に書き込む。それにより、参照される可能性の低い動き補償フィルタ係数はフィルタ係数記憶部１０３に保持されず、頻繁に参照される可能性の高い動き補償フィルタ係数をフィルタ係数記憶部１０３で保持することが可能となる。その結果、メモリ１０９へのアクセス回数を減らすことが可能となる。これにより、動き補償フィルタ係数に関するメモリ帯域及びメモリアクセスレイテンシの低減が可能となる。

なお、上記において、フィルタ係数記憶部１０３が動き補償フィルタ係数ＩＤの示す動き補償フィルタ係数を保持していない場合、フィルタ係数参照履歴管理テーブル２０１を参照することで、最も参照回数が少ない動き補償フィルタ係数を特定する。そして、フィルタ係数転送制御部１０２がメモリ１０９から動き補償フィルタ係数ＩＤの示す動き補償フィルタ係数を読み出し、フィルタ係数記憶部１０３のこれまでに最も参照回数が少ない動き補償フィルタ係数が記憶されている領域に書き込むとしたが、それに限らない。例えば、最近（現在から所定期間の過去）において最も使われていない動き補償フィルタ係数が記憶されている領域に書き込むとしてもよいし、最近において最も使われている動き補償フィルタ係数が記憶されている領域に書き込むとしてもよいし、これまでに最も参照回数が多い動き補償フィルタ係数が記憶されている領域に書き込むとしてもよい。メモリ１０９へのアクセスを低減させることができ、かつ、フィルタ係数記憶部１０３の容量も低減させることができる方法であればいずれを選択しても良い。

また、上記では、動き補償フィルタ係数ＩＤは、動きベクトルとは異なるヘッダ情報として説明したが、それに限られない。例えば動きベクトルを動き補償フィルタ係数ＩＤとしても良いし、動きベクトルとは異なるヘッダ情報だけでなく、動きベクトルを含めたものを動き補償フィルタＩＤとしても良い。

また、上記では、動き補償部１０７に動きベクトルを設定するとしたが、動きベクトルの小数部を設定するとしても良い。

（実施の形態３）
図９は、本発明の実施の形態３における復号装置の構成を示すブロック図である。図１０及び図１１は、フィルタ係数統計情報管理テーブルが保持する情報の一例である。図９において、図１と同じ構成要素については同じ符号を用い、説明を省略する。

図９に示す復号装置３００は、復号部１０１、フィルタ係数転送制御部１０２、フィルタ係数記憶部１０３、フィルタ係数記憶状態管理テーブル１０４、参照画像転送制御部１０５、参照画像記憶部１０６、動き補償部１０７、加算器１０８、メモリ１０９、前復号部３０１、及び、フィルタ係数統計情報管理テーブル３０２を備える。図９に示す復号装置３００は、実施の形態１に係る復号装置１００に対して、前復号部３０１及びフィルタ係数統計情報管理テーブル３０２を備えている点で構成が異なる。

前復号部３０１は、復号部１０１よりも先行して符号化ストリームから、符号化ストリームに含まれる複数の動き補償フィルタ係数の少なくとも一部を復号する。具体的には、前復号部３０１は、復号部１０１より少なくとも１ビット以上符号化ストリームを先行して、動画像圧縮技術の標準規格に準じて符号化された符号化ストリームの一部または全ての復号を行う。ここで、前復号部３０１は、少なくとも動き補償フィルタ係数ＩＤを出力する機能を有する。

なお、前復号部３０１は、復号装置３００が別途備える例えばＣＡＢＡＣ（Ｃｏｎｔｅｘｔ−ｂａｓｅｄ Ａｄａｐｔｉｖｅ Ｂｉｎａｒｙ Ａｒｉｔｈｍｅｔｉｃ Ｃｏｄｉｎｇ）などの算術符号を復号するＣＡＢＡＣ復号部に構成されるとしてもよい。また、復号部１０１の前段に備えられてもよい。すなわち、前復号部３０１は、画像までは復号せず、復号部１０１より少なくとも１ビット以上符号化ストリームを先行して、動き補償フィルタ係数ＩＤを復号し、フィルタ係数統計情報管理テーブル３０２に出力する構成であればよい。

フィルタ係数統計情報管理テーブル３０２は、本発明の統計情報管理部に相当し、前復号部３０１により復号され、かつ、復号部１０１によりこれから復号される動き補償フィルタ係数毎の利用状況を管理する。具体的には、フィルタ係数統計情報管理テーブル３０２は、前復号部３０１が出力した動き補償フィルタ係数ＩＤを入力とし、復号部１０１がこれから（以後または今後）復号する符号化ストリームに含まれる動き補償フィルタ係数ＩＤ毎の動き補償フィルタの利用回数を出力する機能を有する。

フィルタ係数統計情報管理テーブル３０２は、例えば、図１０に示すような情報を保持している。すなわち、フィルタ係数統計情報管理テーブル３０２は、前復号部３０１が復号した符号化ストリームのヘッダ情報に含まれる動き補償フィルタ係数ＩＤをフィルタ係数ＩＤとして保持している。また、今後のストリームでの参照回数として、動き補償フィルタ係数ＩＤにより特定される動き補償フィルタ係数が復号部１０１の復号で参照されるまでの回数が保持されている。また、フィルタ係数統計情報管理テーブル３０２は、例えば、図１１に示すような情報を保持していてもよい。すなわち、フィルタ係数統計情報管理テーブル３０２は、前復号部３０１が復号した符号化ストリームのヘッダ情報に含まれる動き補償フィルタ係数ＩＤをフィルタ係数ＩＤとして保持していてもよい。また、今後のストリーム中において何ブロック先で参照されるかを示す情報として、動き補償フィルタ係数ＩＤにより特定される動き補償フィルタ係数が復号部１０１の復号で参照されるまでの回数が保持されているとしてもよい。

以上のようにして、復号装置３００は構成される。具体的には、復号部１０１がこれから復号する動き補償フィルタ係数ＩＤの出現頻度をフィルタ係数統計情報管理テーブル３０２で管理することで、これから復号部１０１が復号する動き補償フィルタ係数ＩＤが出現する確率が予め知ることができる。そのため、フィルタ係数記憶部１０３にこれからの出現確率が高い動き補償フィルタ係数を保持させ、これからの出現確率が低い動き補償フィルタ係数を破棄させることができる。それにより、メモリ１０９へのアクセス回数を削減することが可能となるだけでなく、フィルタ係数記憶部１０３のメモリ帯域の低減が可能となる。

ここで、図１０に示される今後のストリーム中において何ブロック先で参照されるかを示す情報と図１１に示される今後のストリームでの参照回数を示す情報との効果の違いについて例を挙げて説明する。

図１２Ａ及び図１２Ｂ並びに図１３Ａ及び図１３Ｂは、フィルタ係数統計情報管理テーブルに基づいてフィルタ係数記憶部の動き補償フィルタ係数が更新される様子を示す図である。ここで、図１３Ａ及び図１３Ｂは、図１２Ａ及び図１２Ｂと時間的に連続しており、図１２Ａ及び図１２Ｂに比べて１マクロブロック後の復号が復号部１０１により行われるときの様子を示している。なお、前復号部３０１は、符号化ストリームに対して復号部１０１よりも例えば２マクロブロック分先行して復号するとする。また、フィルタ係数記憶部１０３は、動き補償フィルタ係数を２つしか保持できない構成であるとする。

前復号部３０１は、図１２Ａに示すように、符号化ストリームに対して復号部１０１よりも例えば３マクロブロック分先行して復号し、フィルタ係数統計情報管理テーブル３０２に図１２Ｂに示す情報を保持している。例えば、フィルタ係数統計情報管理テーブル３０２は、前復号部３０１が符号化ストリームに対して今まで復号したフィルタ係数ＩＤ（０、１、２）と、それらが今後のストリーム中において何ブロック先で参照されるかを示す情報（∞、２、１）とを保持している。ここで、図１２Ｂにおいて、∞は、前復号部３０１が復号部１０１に先んじて復号した２マクロブロック先にはフィルタＩＤが０のものはないことを示している。それに対して、フィルタ係数ＩＤが１のものは、復号部１０１がこれから（１ブロック先）復号する際に参照することを示している。同様に、フィルタＩＤが２のものは、復号部１０１が２ブロック先で復号する際に参照することを示している。

そのため、フィルタ係数転送制御部１０２は、フィルタ係数統計情報管理テーブル３０２と、フィルタ係数記憶状態管理テーブル１０４とを参照し、フィルタ係数記憶部１０３に保持されているフィルタ係数ＩＤ（０、１）に対応する動き補償フィルタ係数のうち、フィルタ係数ＩＤが０に対応する動き補償フィルタ係数を記憶する領域を変更する。すなわち、フィルタ係数転送制御部１０２は、フィルタ係数記憶部１０３に保持されているフィルタ係数ＩＤ＝０に対応する動き補償フィルタ係数をフィルタ係数ＩＤ＝２に対応する動き補償フィルタ係数に変更する。

そして、図１３Ａ及び図１３Ｂに示す場合も同様である。具体的には、フィルタ係数転送制御部１０２は、フィルタ係数統計情報管理テーブル３０２と、フィルタ係数記憶状態管理テーブル１０４とを参照し、フィルタ係数記憶部１０３に保持されているフィルタ係数ＩＤ（２、１）に対応する動き補償フィルタ係数のうち、どちらを変更すべきかを決定する。ここでは、フィルタ係数統計情報管理テーブル３０２を参照することにより、フィルタ係数ＩＤが２に対応する動き補償フィルタ係数を記憶する領域を変更するべきと判断できる。しかし、フィルタ係数転送制御部１０２は、フィルタ係数記憶状態管理テーブル１０４を参照することにより、フィルタ係数記憶部１０３にフィルタ係数ＩＤ＝１に対応する動き補償フィルタ係数が保持されているのを確認できる。そのため、フィルタ係数転送制御部１０２は、フィルタ係数記憶部１０３に対して変更の必要はないと判断し、フィルタ係数記憶部１０３に対してなにもしない（転送しない）。

このようにして、これから復号部１０１が復号する動き補償フィルタ係数ＩＤが出現する確率を予め知ることにより、メモリ１０９へのアクセス回数を削減することが可能となる。

次に、以上のように構成される復号装置３００の復号処理動作について説明する。図１４は、本発明の実施の形態３における復号装置の復号処理動作を示すフローチャートである。

図１４に示すように、復号装置３００において、まず、符号化ストリームを受けた復号部１０１は、符号化ストリームを構成するヘッダ情報を復号し（Ｓ３０１）、ヘッダ情報として少なくとも動き補償フィルタ係数を出力する。そして、フィルタ係数転送制御部１０２は、Ｓ３０１にて復号部１０１により復号された動き補償フィルタ係数すべてをメモリ１０９に書き込む（Ｓ３０２）。次に、復号部１０１は、復号対象の画像のピクチャタイプがＰ若しくはＢ、または、Ｉであるかを判定する（Ｓ３０３）。前復号部３０１は、復号部１０１により復号対象の画像のピクチャタイプが、ＰまたはＢであると判定された場合には（Ｓ３０３のＰ、Ｂの場合）、動き補償処理が必要と判断し、復号部１０１に先行して符号化ストリームの復号を行い（Ｓ３０４）、フィルタ係数統計情報管理テーブル３０２を更新する（Ｓ３０５）。具体的には、復号部１０１に先行して、符号化ストリームの復号を行い、復号部１０１でまだ復号していない符号化ストリーム内にある動き補償フィルタ係数ＩＤの出現頻度をフィルタ係数統計情報管理テーブル３０２に書き込む。

次いで、復号部１０１は、符号化ストリームを構成するヘッダ情報と予測残差信号とを復号し、ヘッダ情報として少なくとも動き補償フィルタ係数情報ＩＤ、動きベクトル情報及び予測残差信号を出力する（Ｓ３０６）。

なお、復号部１０１は、復号対象の画像のピクチャタイプが、Ｉであると判定した場合には（Ｓ３０３のＩの場合）、Ｓ３１６へ進み、画面内復号を行い、Ｓ３１５へと進む。

次に、フィルタ係数転送制御部１０２は、Ｓ３０６で復号部１０１によって復号された動き補償フィルタ係数ＩＤが示す動き補償フィルタ係数をフィルタ係数記憶部１０３が保持しているかどうかを、フィルタ係数記憶状態管理テーブル１０４を参照して調べる（Ｓ３０７）。

フィルタ係数転送制御部１０２は、フィルタ係数記憶部１０３が動き補償フィルタ係数ＩＤの示す動き補償フィルタ係数を保持していない場合（Ｓ３０７のＮの場合）、メモリ１０９から動き補償フィルタ係数ＩＤが示す動き補償フィルタ係数を読み出す。そして、フィルタ係数記憶部１０３で例えばこれから最も参照回数が少ない動き補償フィルタ係数が記憶されている領域に書き込む（Ｓ３０８）。ここで、フィルタ係数転送制御部１０２は、フィルタ係数統計情報管理テーブル３０２を参照し、復号部１０１が今後復号するうちで最も参照回数が少ない動き補償フィルタ係数を特定している。

次いで、フィルタ係数転送制御部１０２は、フィルタ係数記憶状態管理テーブル１０４を更新する（Ｓ３０９）。具体的には、フィルタ係数転送制御部１０２は、フィルタ係数記憶状態管理テーブル１０４の読み出した動き補償フィルタ係数の記憶状態を「保持している」に変更し、消去した動き補償フィルタ係数の記憶状態を「保持していない」に変更する。

一方、フィルタ係数転送制御部１０２は、フィルタ係数記憶部１０３が動き補償フィルタ係数ＩＤの示す動き補償フィルタ係数を保持している場合（Ｓ３０７のＹの場合）、動き補償フィルタ係数をメモリ１０９から読み出さず（転送せず）、Ｓ３１０へと進む。

なお、Ｓ３１０〜Ｓ３１５の処理は、Ｓ２０９〜Ｓ２１４と同様であるので説明を省略する。

以上のようにして、復号装置３００は復号処理動作を行う。

以上、実施の形態３によれば、前復号部３０１は復号部１０１よりも先行してストリームを復号し、復号部１０１がこれから復号する動き補償フィルタ係数ＩＤの出現頻度をフィルタ係数統計情報管理テーブル３０２で管理する。それにより、復号部１０１がこれから復号する動き補償フィルタ係数ＩＤの出現する確率が予め知ることができるようになる。そして、フィルタ係数記憶部１０３にこれからの出現確率が高い動き補償フィルタ係数を保持することによりメモリ１０９へのアクセス回数を削減することが可能となり、動き補償フィルタ係数に関するメモリ帯域の低減及びメモリアクセスレイテンシの低減が可能となる。

なお、上記において、フィルタ係数記憶部１０３が動き補償フィルタ係数ＩＤの示す動き補償フィルタ係数を保持していない場合、フィルタ係数統計情報管理テーブル３０２を参照することで、今後最も参照回数が少ない動き補償フィルタ係数を特定する。そして、フィルタ係数転送制御部１０２がメモリ１０９から動き補償フィルタ係数ＩＤの示す動き補償フィルタ係数を読み出し、フィルタ係数記憶部１０３の今後最も参照回数が少ない動き補償フィルタ係数が記憶されている領域に書き込むとしたが、それに限らない。例えば、今後しばらく使われないすなわち、今後所定の期間参照回数が少ない動き補償フィルタ係数が記憶されている領域に書き込むとしてもよい。このように、メモリ１０９へのアクセスを低減させることができ、かつ、フィルタ係数記憶部１０３の容量も低減させることができる方法であればいずれを選択しても良い。

また、上記では、動き補償フィルタ係数ＩＤは、動きベクトルとは異なるヘッダ情報として説明したが、それに限られない。例えば動きベクトルを動き補償フィルタ係数ＩＤとしても良いし、動きベクトルとは異なるヘッダ情報だけでなく、動きベクトルを含めたものを動き補償フィルタＩＤとしても良い。

また、上記では、動き補償部１０７に動きベクトルを設定するとしたが、動きベクトルの小数部を設定するとしても良い。

また、上記では、復号装置３００は、復号部１０１、フィルタ係数転送制御部１０２、フィルタ係数記憶部１０３、フィルタ係数記憶状態管理テーブル１０４、参照画像転送制御部１０５、参照画像記憶部１０６、動き補償部１０７、加算器１０８、メモリ１０９、前復号部３０１、及び、フィルタ係数統計情報管理テーブル３０２を備えるとしたが、それに限られない。図１５に示すように、復号装置３００の最小構成として、復号装置部３５０を備えていればよい。すなわち、復号部１０１、フィルタ係数転送制御部１０２、フィルタ係数記憶部１０３、メモリ１０９及び前復号部を有する復号装置部３５０を備えていればよい。ここで、図１５は、本発明の実施の形態３における復号装置の最小構成を示すブロック図である。

具体的には、この復号装置部３５０は、符号化ストリームから、動き補償を伴う復号に利用される複数の動き補償フィルタ係数を復号する復号部１０１と、復号部１０１よりも先行して、符号化ストリームから複数の動き補償フィルタ係数を復号する前復号部３０１と、前復号部３０１により復号された複数の動き補償フィルタ係数を保持するためのメモリ１０９と、復号部１０１により復号された複数の動き補償フィルタ係数のうち、動き補償を行うときに必要な一部の動き補償フィルタ係数を保持するためのフィルタ係数記憶部１０３と、前復号部３０１により復号された動き補償フィルタ係数に基づいて、前記一部の動き補償フィルタ係数をフィルタ係数記憶部１０３に保持させるフィルタ係数転送制御部１０２と、を備えていればよい。

復号装置部３５０は、最小構成として復号装置部１０を少なくとも備えることにより、前復号部３０１により復号された動き補償フィルタ係数により先読み解析を行うことで、動き補償を伴う復号に用いられる動き補償フィルタ係数の一部がフィルタ係数記憶部１０３に保持される。それにより、フィルタ係数記憶部１０３に保持されている場合には、フィルタ係数記憶部１０３に保持されている動き補償フィルタ係数を用いることにより、メモリ１０９へ直接アクセスする回数を低減することができるという効果を奏する。

（実施の形態４）
図１６は、本発明の実施の形態４における復号装置の構成を示すブロック図である。図１５において、図１と同じ構成要素については同じ符号を用い、説明を省略する。

図１６に示す復号装置４００は、復号部１０１、フィルタ係数転送制御部１０２、フィルタ係数記憶部１０３、参照画像転送制御部１０５、参照画像記憶部１０６、動き補償部１０７、加算器１０８、メモリ１０９、可逆符号化部４０１、可逆復号部４０２を備える。ここで、図１６に示す復号装置４００は、実施の形態１に係る復号装置１００に対して、可逆符号化部４０１及び可逆復号部４０２を備え、フィルタ係数記憶状態管理テーブル１０４を備えていない点で構成が異なる。

可逆符号化部４０１は、符号化ストリームに含まれる複数の動き補償フィルタ係数を可逆符号化する。具体的には、可逆符号化部４０１は、復号部１０１が復号した動き補償フィルタ係数を可逆符号化しメモリ１０９に書き込む機能を有する。

可逆復号部４０２は、可逆符号化部４０１により可逆符号化された複数の動き補償フィルタ係数のうち、動き補償に必要な動き補償フィルタ係数を可逆復号し、可逆復号した動き補償フィルタ係数を、フィルタ係数転送制御部１０２を介してフィルタ係数記憶部１０３に書き込む。具体的には、可逆復号部４０２は、メモリ１０９に格納された動き補償フィルタ係数を読み出して、可逆復号し、フィルタ係数転送制御部１０２を介してフィルタ係数記憶部１０３に書き込む機能を有する。なお、可逆復号部４０２は、フィルタ係数転送制御部１０２を介さずに、フィルタ係数記憶部１０３に書き込むとしてもよい。

次に、以上のように構成される復号装置４００の復号処理動作について説明する。図１７は、本発明の実施の形態４における復号装置の復号処理動作を示すフローチャートである。

図１７に示すように、復号装置４００において、まず、符号化ストリームを受けた復号部１０１は、符号化ストリームを構成するヘッダ情報を復号し（Ｓ４０１）、ヘッダ情報として少なくとも動き補償フィルタ係数を出力する。次いで、可逆符号化部４０１は、復号部１０１が復号した動き補償フィルタ係数を可逆符号化する（Ｓ４０２）。次いで、フィルタ係数転送制御部１０２は、可逆符号化部４０１により可逆符号化された動き補償フィルタ係数をメモリ１０９に書き込む（Ｓ４０３）。

次に、復号部１０１は、復号対象の画像のピクチャタイプがＰ若しくはＢまたはＩであるかを判定する（Ｓ４０４）。復号部１０１は、復号対象の画像のピクチャタイプが、ＰまたはＢである場合には（Ｓ４０４のＰ、Ｂの場合）、動き補償処理が必要と判断して符号化ストリームを構成するヘッダ情報と予測残差信号を復号し（Ｓ４０５）、ヘッダ情報として少なくとも動き補償フィルタ係数情報ＩＤ、動きベクトル情報、予測残差信号を出力する。一方、復号部１０１は、復号対象の画像のピクチャタイプが、Ｉである場合には（Ｓ４０４のＩの場合）、動き補償処理が不要と判断してＳ４１４へ進み、画面内復号を行い、Ｓ４１３へと進む。

次に、フィルタ係数転送制御部１０２は、メモリ１０９から動き補償フィルタ係数ＩＤの示す可逆符号化された動き補償フィルタ係数を読み出す（Ｓ４０６）。続いて、可逆復号部４０２は、可逆符号化された動き補償フィルタ係数を可逆復号し、フィルタ係数記憶部１０３に書き込む（Ｓ４０７）。

なお、Ｓ４０８〜Ｓ４１３の処理は、Ｓ１０８〜Ｓ１１２と同様であるので説明を省略する。

以上のようにして、復号装置４００は復号処理動作を行う。

以上、実施の形態４によれば、可逆符号化部４０１により動き補償フィルタ係数を圧縮することで、メモリ１０９へ格納する動き補償フィルタ係数のデータサイズを小さくすることができる。これにより、動き補償フィルタ係数に関するメモリ容量の削減が可能となる。

なお、図１６に示す復号装置４００が、上述したフィルタ係数記憶状態管理テーブル１０４を少なくとも備え、フィルタ係数参照履歴管理テーブル２０１またはフィルタ係数統計情報管理テーブルを備えるとしてもよい。その場合には、動き補償フィルタ係数に関するメモリ容量の削減だけでなく、上述したように、メモリ帯域の低減及びメモリアクセスレイテンシの低減も可能となり、さらに好ましい。

また、上記において、復号部１０１で一度動き補償フィルタ係数を復号し、可逆符号化部４０１で符号化しなおしてメモリ１０９に格納し、可逆復号部４０２で復号する場合を説明したが、それに限らない。例えば、復号部１０１で動き補償フィルタ係数を復号せずに、符号化ストリーム内の動き補償フィルタ係数部分をメモリ１０９に格納するとし、可逆復号部４０２で復号するとしても良い。

また、可逆符号化部４０１で利用する符号化アルゴリズムは、可逆で、かつ、入力サイズより出力サイズが小さくなる符号化方法であれば如何なるものでもよい。

また、上記において、動き補償フィルタ係数ＩＤは、動きベクトルとは異なるヘッダ情報として説明したが、それに限られない。例えば動きベクトルを動き補償フィルタ係数ＩＤとしても良いし、動きベクトルとは異なるヘッダ情報だけでなく、動きベクトルを含めたものを動き補償フィルタＩＤとしても良い。

また、上記では、動き補償部１０７に動きベクトルを設定するとしたが、動きベクトルの小数部を設定するとしても良い。

（実施の形態５）
図１８は、本発明の実施の形態５における符号化装置の構成を示すブロック図である。

図１８に示す符号化装置５００は、符号化対象画像と参照画像とを用いて、動き補償を伴う符号化である動き補償符号化を行う符号化装置であって、フィルタ係数生成部５０１、フィルタ係数転送制御部５０２、フィルタ係数記憶部５０３、フィルタ係数記憶状態管理テーブル５０４、参照画像転送制御部５０５、参照画像記憶部５０６、動き検出部５０７、減算器５０８、メモリ５０９及び符号化部５１０を備える。

フィルタ係数生成部５０１は、本発明の生成部に相当し、動き補償符号化に利用される複数の動き補償フィルタ係数を生成する。具体的には、フィルタ係数生成部５０１は、符号化対象画像を入力として、または、符号化対象画像及び参照画像を入力として、可変係数動き補償の動き補償フィルタ係数を生成する機能を有する。典型的には、フィルタ係数生成部５０１は、符号化部５１０が符号化する符号化ストリームの例えばＧＯＰまたはシーケンスのピクチャ単位などのヘッダ情報に含めることになる可変係数動き補償に用いるフィルタ係数（動き補償フィルタ係数）を生成する。ここで、動き補償フィルタ係数は、ピクチャ単位だけでなく、ＧＯＰ単位若しくはシーケンス単位で生成されたとしてもよいし、スライス単位またはマクロブロック単位で生成されたとしてもよい。また、それらを組み合わせたものであっても構わない。

フィルタ係数転送制御部５０２は、フィルタ係数生成部５０１により生成された複数の動き補償フィルタ係数をメモリ５０９に書き出し、フィルタ係数記憶部５０３が、動き補償処理に必要な動き補償フィルタ係数を保持していない場合のみ、メモリ５０９からフィルタ係数記憶部５０３に上記必要な動き補償フィルタ係数を転送する。具体的には、フィルタ係数転送制御部５０２は、フィルタ係数生成部５０１で生成された動き補償フィルタ係数をメモリ５０９に書き込む機能を有する。また、動き検出部５０７が決定した動き補償にどの動き補償フィルタ係数を用いるかを示す情報（動き補償フィルタ係数ＩＤ）を元に、フィルタ係数記憶状態管理テーブル５０４の情報を参照する機能を有する。フィルタ係数転送制御部５０２は、フィルタ係数記憶状態管理テーブル５０４の情報により、動き補償フィルタ係数ＩＤの示す動き補償フィルタ係数がフィルタ係数記憶部５０３に保持されているかを確認することができる。

例えば、フィルタ係数転送制御部５０２は、動き補償フィルタ係数ＩＤの示す動き補償フィルタ係数がフィルタ係数記憶部５０３に保持されていないことを確認した場合、メモリ５０９から動き補償フィルタ係数ＩＤの示す動き補償フィルタ係数を読み出し、フィルタ係数記憶部５０３に書き込む（転送する）。一方、フィルタ係数転送制御部５０２は、動き補償フィルタ係数ＩＤの示す動き補償フィルタ係数がフィルタ係数記憶部５０３に保持されていることを確認した場合は、動き補償フィルタ係数をメモリ５０９から読み出さない（転送しない）。

なお、フィルタ係数転送制御部５０２は、動き補償フィルタ係数をメモリ５０９に書き込む命令のみをフィルタ係数生成部５０１に行い、フィルタ係数生成部５０１が動き補償フィルタ係数をメモリ５０９に書き込むとしてもよい。同様に、フィルタ係数転送制御部５０２は、メモリ５０９から動き補償フィルタ係数ＩＤが示す動き補償フィルタ係数を読み出す命令のみをフィルタ係数記憶部５０３に行い、フィルタ係数記憶部５０３がメモリ５０９から動き補償フィルタ係数ＩＤが示す動き補償フィルタ係数を読み出し、保持するとしてもよい。

フィルタ係数記憶部５０３は、メモリ５０９に保持されている複数の動き補償フィルタ係数のうち、動き補償を行うときに必要な動き補償フィルタ係数を保持するためのものである。具体的には、フィルタ係数記憶部５０３は、メモリ５０９から転送された動き補償フィルタ係数を少なくとも２種類以上保持する機能と、動き補償フィルタ係数ＩＤが示す動き補償フィルタ係数を動き検出部５０７に設定する機能を有する。

フィルタ係数記憶状態管理テーブル５０４は、フィルタ係数記憶部５０３が動き補償フィルタ係数ＩＤにより特定された動き補償フィルタ係数を保持しているかどうかを示す情報を管理する。具体的には、フィルタ係数記憶状態管理テーブル５０４は、動き補償フィルタ係数ＩＤを入力とし、フィルタ係数記憶部５０３が動き補償フィルタ係数ＩＤの示す動き補償フィルタ係数を保持しているか否かの情報をフィルタ係数転送制御部５０２に出力する機能を有する。フィルタ係数記憶状態管理テーブル５０４は、例えば、上述した図３に示すように、動き補償フィルタ係数ＩＤの示す動き補償フィルタ係数がフィルタ係数記憶部５０３に保持されているか否かを示す記憶状態をテーブル（情報）として保持している。

参照画像転送制御部５０５は、動き検出に用いる参照画像内の探索領域の位置情報に基づき、動き検出に必要な参照画素をメモリ５０９から読み出し、参照画像記憶部５０６に書き込む機能を有する。

なお、参照画像転送制御部５０５は、動き検出に用いる参照画像内の探索領域の位置情報に基づき、動き検出に必要な参照画素をメモリ５０９から読み出す命令のみを参照画像記憶部５０６に行い、参照画像記憶部５０６が動き補償に必要な参照画素をメモリ５０９から読み出し保持するとしてもよい。

参照画像記憶部５０６は、メモリ５０９から転送された参照画素を保持する機能を有する。

動き検出部５０７は、フィルタ係数記憶部５０３に保持されている動き補償に必要な動き補償フィルタ係数を用いて符号化対象画像と前記参照画像とから動き補償を行って予測画像を生成する。具体的には、動き検出部５０７は、符号化画像、及び、参照画像を入力として、動きベクトルと動き補償に利用する動き補償フィルタ係数の種類を示す動き補償フィルタ係数ＩＤとを決定して符号化部５１０へ出力する機能を有している。そして、動き検出部５０７は、決定した動き補償フィルタ係数ＩＤをフィルタ係数転送制御部５０２へ出力する機能を有している。また、動き検出部５０７は、参照画像記憶部５０６が保持している動きベクトルが指し示す動き補償に必要な参照画素と、フィルタ係数記憶部５０３が保持している動き補償フィルタ係数ＩＤが示す動き補償フィルタ係数とを取得し、それらの情報を用いて動き補償処理を行って予測画像を生成し、減算器５０８へと出力する機能を有する。

ここで、動き検出部５０７が動き補償フィルタ係数ＩＤを決定する方法について一例を挙げて説明する。図１９は、フィルタ係数記憶状態管理テーブルが保持する情報の一例である。図２０は、動き検出部５０７が、動き補償フィルタ係数ＩＤを決定する方法を説明するための図である。

なお、ここで、図１９に示すように、フィルタ係数記憶状態管理テーブルは、動き補償フィルタ係数ＩＤが０〜１００と、それらに対応する動き補償フィルタ係数のフィルタ係数記憶部５０３における記憶状態とを保持しているとする。また、フィルタ係数記憶部５０３には、動き補償フィルタ係数ＩＤ ７０〜７９に対応する動き補償フィルタ係数が記憶されているとする。さらに、フィルタ係数記憶部５０３は２０個の動き補償フィルタ係数しか保持することができないとする。すなわち、フィルタ係数記憶部５０３は、図２０（ａ）に示すように動き補償フィルタ係数ＩＤ ７０〜７９に対応する動き補償フィルタ係数を１０個保持しており、あと１０個の動き補償フィルタ係数を保持可能な領域がある。

この場合において、動き検出部５０７は、動き補償に利用する動き補償フィルタ係数の種類を示す動き補償フィルタ係数ＩＤを次のように決定する。

まず、動き検出部５０７は、図２０（ｂ）に示すように、フィルタ係数転送制御部５０２に、動き補償フィルタ係数ＩＤ ０〜９に対応する動き補償フィルタ係数をフィルタ係数記憶部５０３に書き込みさせて、動き補償に利用する補償フィルタ係数ＩＤか否かを確認する。

次に、動き検出部５０７は、同様に、図２０（ｃ）に示すように、フィルタ係数転送制御部５０２に、動き補償フィルタ係数ＩＤ １０〜１９に対応する動き補償フィルタ係数をフィルタ係数記憶部５０３に書き込みさせて、動き補償に利用する補償フィルタ係数ＩＤか否かを確認する。

このように、動き検出部５０７は、同様にして、動き補償フィルタ係数ＩＤ ０〜６９および８０〜１００に対応する動き補償フィルタ係数をフィルタ係数記憶部５０３に書き込みさせて、動き補償に利用する補償フィルタ係数ＩＤか否かを確認する。

一方、動き補償フィルタ係数ＩＤ ７０〜７９に対応する動き補償フィルタ係数は、予めフィルタ係数記憶部５０３に保持されている。そのため、フィルタ係数転送制御部５０２は動き補償フィルタ係数ＩＤ ７０〜７９に対応する動き補償フィルタ係数を転送しない。このようにして、動き補償フィルタ係数に関するメモリ帯域の低減及びメモリアクセスレイテンシの低減が可能となる。

なお、動き検出部５０７が動き補償フィルタ係数ＩＤを決定する方法として上記で説明した方法は、一例であり、その他の方法でもよいのは言うまでもない。

減算器５０８は、入力された符号化画像と動き検出部５０７が出力した予測誤差信号とを減算し、予測誤差信号として符号化部５１０へ出力する機能を有する。

メモリ５０９は、動き補償フィルタ係数と、動き検出部５０７が参照する参照画面とを保持する機能を有する。なお、メモリ５０９は、動き補償フィルタ係数を保持するだけとしてもよい。その場合、動き検出部５０７が参照する参照画面を保持するフレームメモリを符号化装置５００が別途備えればよい。

符号化部５１０は、少なくとも減算器５０８が出力した予測誤差信号と動き検出部５０７が出力した動きベクトル、及び、動き補償フィルタ係数ＩＤを入力とし、それらに対し動画像圧縮技術の標準規格に準じて符号化を行い、符号化ストリームを出力する機能を有する。

以上のようにして、符号化装置５００は構成される。

次に、この符号化装置５００の符号化処理動作について説明する。図２１は、本発明の実施の形態５における符号化装置の符号化処理動作を示すフローチャートである。

図２１に示すように、符号化装置５００において、まず、符号化対象画像を受けたフィルタ係数生成部５０１は、以後の符号化に用いる動き補償フィルタ係数を生成し出力する（Ｓ５０１）。そして、フィルタ係数転送制御部５０２は、Ｓ５０１にてフィルタ係数生成部５０１により生成されたすべての動き補償フィルタ係数をメモリ５０９に書き込む（Ｓ５０２）。

次に、符号化装置５００は、符号化対象の画像（ブロック）について、Ｓ５０３での画面内予測と、Ｓ５０４〜Ｓ５１１での画面間予測との両方を実施する。画面内予測については、従来の方法を適用すればよいので説明を省略する。以下、Ｓ５０４〜Ｓ５１１での画面間予測の実施について説明する。

Ｓ５０４において、参照画像転送制御部５０５は、動き検出に用いる参照画像内の探索領域の位置情報に基づき、動き検出に必要な参照画素をメモリ５０９から読み出し、参照画像記憶部５０６に書き込む。

次に、動き検出部５０７は、符号化画像、及び、参照画像を入力として符号化画像と相関の高い参照画像内の画素位置の情報を動きベクトルとして出力し（Ｓ５０５）、更に予測誤差が小さくなるような動き補償フィルタ係数を特定し、動き補償フィルタ係数ＩＤとして出力する。

次に、フィルタ係数転送制御部５０２は、Ｓ５０６にて特定された動き補償フィルタ係数ＩＤが示す動き補償フィルタ係数をフィルタ係数記憶部５０３が保持しているかどうかを、フィルタ係数記憶状態管理テーブル５０４を参照して調べる（Ｓ５０７）。

次に、フィルタ係数転送制御部５０２は、Ｓ５０７にて、フィルタ係数記憶部５０３が動き補償フィルタ係数ＩＤの示す動き補償フィルタ係数を保持していない場合（Ｓ５０７のＮの場合）、メモリ５０９から動き補償フィルタ係数ＩＤの示す動き補償フィルタ係数を読み出す。そして、フィルタ係数記憶部５０３で例えば最も古くメモリ５０９から読み出された動き補償フィルタ係数が記憶されている領域に書き込む（Ｓ５０８）。続いて、フィルタ係数転送制御部５０２は、フィルタ係数記憶状態管理テーブル５０４を更新する（Ｓ５０９）。具体的には、フィルタ係数転送制御部５０２は、フィルタ係数記憶状態管理テーブル５０４の読み出した動き補償フィルタ係数の記憶状態を「保持している」に変更し、消去した動き補償フィルタ係数の記憶状態を「保持していない」に変更する。

一方、フィルタ係数転送制御部５０２は、フィルタ係数記憶部５０３が動き補償フィルタ係数ＩＤの示す動き補償フィルタ係数を保持している場合（Ｓ５０７のＹの場合）、動き補償フィルタ係数をメモリ５０９から読み出さず（転送せず）、Ｓ５１０へと進む。

次に、動き検出部５０７は、決定した動きベクトルと特定した動き補償フィルタ係数ＩＤとから、動き補償に利用する動き補償フィルタ係数をフィルタ係数記憶部５０３から読み出して設定する（Ｓ５１０）。そして、参照画像記憶部５０６の保持している参照画像を読み出して、動き補償処理を行って、予測画像生成し（Ｓ５１１）、減算器５０８へ出力する。

このように、符号化装置５００は、符号化対象の画像（ブロック）について、Ｓ５０３での画面内予測を実施し、Ｓ５０４〜Ｓ５１１での画面間予測を実施する。そして、符号化部５１０は、実施した画面内予測と画面間予測とから、画面間符号化する場合の符号化効率と画面内符号化する場合の符号化効率とのうち、どちらの符号化モードで符号化する方がより符号化効率が良くなるかを判定する。符号化部５１０は、符号化効率が良くなると判定した方の符号化モードを符号化対象の画像（ブロック）の符号化モード（マクロブロックタイプ）に決定する（Ｓ５１２）。

次に、減算器５０８は、Ｓ５１２で決定された符号化対象の画像（ブロック）の符号化モードに従って減算する。具体的には、符号化対象の画像（ブロック）の符号化モードが画面間予測であると決定された場合（Ｓ５１２）、Ｓ５１１にて動き検出部５０７が出力した予測画像と、符号化対象画像とを減算し（Ｓ５１３）、予測残差（予測誤差）信号を出力する。一方、符号化対象の画像（ブロック）の符号化モードが画面内予測であると決定された場合（Ｓ５１２）、Ｓ５０３で出力された予測画像と、符号化対象画像とを減算し（Ｓ５１３）、減算した予測残渣（誤差）信号を出力する。

次に、符号化部５１０は、少なくとも減算器５０８が出力した予測残渣（誤差）信号と、動き検出部５０７が出力した動きベクトル及び動き補償フィルタ係数ＩＤとを入力とし、それらに対し動画像圧縮技術の標準規格に準じて符号化を行い、符号化ストリームを出力する（Ｓ５１４）。

次に、符号化部５１０は、動き補償フィルタ係数を用いて動き補償を行う必要がある動き補償ブロックを全て符号化したかを判定し（Ｓ５１５）、そうであるなら（Ｓ５１５のＹの場合）、符号化を完了する。反対に、まだ、符号化していない動き補償ブロックがある場合は（Ｓ５１５のＮの場合）、Ｓ５０３及びＳ５０４に戻り処理を繰り返す。

以上のようにして、符号化装置５００は符号化処理動作を行う。

以上、実施の形態５によれば、フィルタ係数記憶状態管理テーブル５０４を参照した結果、フィルタ係数記憶部５０３に動き補償フィルタ係数ＩＤの示す動き補償フィルタが存在する場合には、動き補償フィルタ係数をメモリ５０９から読み出さない（転送しない）。そのため、メモリ５０９へのアクセス回数を減らすことが可能となる。これにより、動き補償フィルタ係数に関するメモリ帯域の低減及びメモリアクセスレイテンシの低減が可能となる。

なお、上記において、フィルタ係数記憶部５０３が動き補償フィルタ係数ＩＤの示す動き補償フィルタ係数を保持していない場合、フィルタ係数転送制御部５０２がメモリ５０９から動き補償フィルタ係数ＩＤの示す動き補償フィルタ係数を読み出す（転送する）。そして、フィルタ係数記憶部５０３の最も古くメモリ５０９から読み出された動き補償フィルタ係数が記憶されている領域に書き込む場合を説明したが、それに限らない。例えば最も新しくメモリ５０９から読み出された動き補償フィルタ係数が記憶されている領域に書き込むとしても良いし、フィルタ係数が格納されている領域をランダムに選択して書き込むとしても良い。メモリ１０９へのアクセスを低減させることができ、かつ、フィルタ係数記憶部１０３の容量も低減させることができる方法であればいずれを選択しても良い。

また、上記では、動き補償フィルタ係数ＩＤは動きベクトルとは異なるヘッダ情報として説明したが、それに限られない。例えば動きベクトルを動き補償フィルタ係数ＩＤとしても良いし、動きベクトルとは異なるヘッダ情報だけでなく、動きベクトルを動き補償フィルタＩＤとしても良い。

また、上記では符号化装置５００は、フィルタ係数生成部５０１、フィルタ係数転送制御部５０２、フィルタ係数記憶部５０３、フィルタ係数記憶状態管理テーブル５０４、参照画像転送制御部５０５、参照画像記憶部５０６、動き検出部５０７、減算器５０８、メモリ５０９及び符号化部５１０を備えるとしたが、それに限られない。符号化装置５００の最小構成として、フィルタ係数生成部５０１、フィルタ係数転送制御部５０２、フィルタ係数記憶部５０３、動き検出部５０７及びメモリ５０９を備えていればよい。

さらに具体的には、符号化装置５００は、符号化対象画像と参照画像とを用いて、動き補償を伴う符号化である動き補償符号化を行う動画像符号化装置であって、動き補償符号化に利用される複数の動き補償フィルタ係数を生成するフィルタ係数生成部５０１と、フィルタ係数生成部５０１より生成された複数の動き補償フィルタ係数を保持するためのメモリ５０９と、メモリ５０９に保持されている複数の動き補償フィルタ係数のうち、動き補償を行うときに必要な動き補償フィルタ係数を保持するためのフィルタ係数記憶部５０３と、フィルタ係数記憶部５０３に保持されている上記必要な動き補償フィルタ係数を用いて符号化対象画像と参照画像とから動き補償を行って予測画像を生成する動き検出部５０７と、フィルタ係数生成部５０１により生成された複数の動き補償フィルタ係数をメモリ５０９に書き出し、フィルタ係数記憶部５０３が上記必要な動き補償フィルタ係数を保持していない場合のみ、メモリ５０９からフィルタ係数記憶部５０３に必要な動き補償フィルタ係数を転送するフィルタ係数転送制御部５０２とを備えていればよい。

この最小構成により、フィルタ係数記憶部５０３に動き補償フィルタ係数ＩＤの示す動き補償フィルタが存在する場合には、動き補償フィルタ係数をメモリ５０９から読み出さないことができる。そのため、メモリ５０９へのアクセス回数を減らすことが可能となる。これにより、動き補償フィルタ係数に関するメモリ帯域の低減及びメモリアクセスレイテンシの低減が可能となる。

（実施の形態６）
図２２は、本発明の実施の形態６における符号化装置の構成を示すブロック図である。図２２において、図１８と同じ構成要素については同じ符号を用い、説明を省略する。

図２２に示す符号化装置６００は、フィルタ係数生成部５０１、フィルタ係数転送制御部５０２、フィルタ係数記憶部５０３、フィルタ係数記憶状態管理テーブル５０４、参照画像転送制御部５０５、参照画像記憶部５０６、動き検出部５０７、減算器５０８、メモリ５０９、符号化部５１０、フィルタ係数参照履歴管理テーブル６０１を備える。ここで、図２２に示す符号化装置６００は、実施の形態５に係る符号化装置５００に対して、フィルタ係数参照履歴管理テーブル６０１を備える点で構成が異なる。

フィルタ係数参照履歴管理テーブル６０１は、動き補償に利用する動き補償フィルタ係数毎の、動き補償の開始から参照された回数を示す利用履歴情報を管理する。具体的には、フィルタ係数参照履歴管理テーブル６０１は、動き補償フィルタ係数ＩＤを入力とし、フィルタ係数記憶部５０３へ動き補償フィルタ係数ＩＤの示す動き補償フィルタが符号化開始から参照された回数を出力する機能を有する。なお、フィルタ係数参照履歴管理テーブル６０１が保持する情報は、図７Ａ及び図７Ｂで示した内容と同様であるため、説明を省略する。

次に、以上のように構成された符号化装置６００の符号化処理動作について説明する。図２３は、本発明の実施の形態６における符号化装置の符号化処理動作を示すフローチャートである。

図２３に示すように、符号化装置６００において、まず、符号化対象画像を受けたフィルタ係数生成部５０１は、以後の符号化に用いる動き補償フィルタ係数を生成し出力する（Ｓ６０１）。なお、Ｓ６０２の処理は、Ｓ５０２と同様のため説明を省略する。

次に、符号化装置６００は、符号化対象の画像（ブロック）について、Ｓ６０３での画面内予測と、Ｓ６０４〜Ｓ６１２での画面間予測との両方を実施する。画面内予測については、Ｓ５０３と同様に従来の方法を適用すればよいので説明を省略する。以下、Ｓ６０４〜Ｓ６１２での画面間予測の実施について説明する。ここで、Ｓ６０４からＳ６０６の処理は、Ｓ５０４〜Ｓ５０６と同様のため説明を省略する。

次に、Ｓ６０７において、フィルタ係数転送制御部５０２は、フィルタ係数記憶部５０３が動き補償フィルタ係数ＩＤの示す動き補償フィルタ係数を保持していない場合（Ｓ６０７のＮの場合）、メモリ５０９から動き補償フィルタ係数ＩＤの示す動き補償フィルタ係数を読み出す。そして、フィルタ係数記憶部５０３で例えばこれまでに最も参照回数が少ない動き補償フィルタ係数が記憶されている領域に書き込む（Ｓ６０８）。ここで、フィルタ係数転送制御部５０２は、フィルタ係数参照履歴管理テーブル６０１を参照し、最も参照回数が少ない動き補償フィルタ係数を特定している。

次いで、フィルタ係数転送制御部５０２は、フィルタ係数参照履歴管理テーブル６０１を更新する（Ｓ６０９）。具体的には、フィルタ係数参照履歴管理テーブル６０１において参照した動き補償フィルタ係数の参照回数を増やす。

次いで、フィルタ係数転送制御部５０２は、フィルタ係数記憶状態管理テーブル５０４を更新する（Ｓ６１０）。具体的には、フィルタ係数転送制御部５０２は、フィルタ係数記憶状態管理テーブル５０４において、読み出した動き補償フィルタ係数の記憶状態を「保持している」に変更し、消去した動き補償フィルタ係数の記憶状態を「保持していない」に変更する。

一方、フィルタ係数転送制御部５０２は、フィルタ係数記憶部５０３が動き補償フィルタ係数ＩＤの示す動き補償フィルタ係数を保持している場合（Ｓ６０７のＹの場合）、動き補償フィルタ係数をメモリ５０９から読み出さず（転送せず）、Ｓ６１１へと進む。

次に、動き検出部５０７は、決定した動きベクトルと特定した動き補償フィルタ係数ＩＤとから、動き補償に利用する動き補償フィルタ係数をフィルタ係数記憶部５０３から読み出して設定する（Ｓ６１１）。なお、Ｓ６１１の処理は、Ｓ５１０と同様のため説明を省略する。

このように符号化装置６００は、符号化対象の画像（ブロック）について、Ｓ６０３で画面内予測を実施し、Ｓ６０４〜Ｓ６１２で画面間予測を実施する。そして、符号化部５１０は、実施した画面内予測と画面間予測とから、画面間符号化する場合の符号化効率と画面内符号化する場合の符号化効率とのうち、どちらの符号化モードで符号化する方がより符号化効率が良くなるかを判定する。符号化部５１０は、符号化効率が良くなると判定した方の符号化モードを符号化対象の画像（ブロック）の符号化モード（マクロブロックタイプ）に決定する。

以下のＳ６１４〜Ｓ６１６の処理は、Ｓ５１３〜Ｓ５１５と同様のため説明を省略する。

以上のようにして、符号化装置６００は符号化処理動作を行う。

以上、実施の形態６によれば、フィルタ係数参照履歴管理テーブル６０１を参照することで、最も参照回数が少ない動き補償フィルタ係数を特定する。そして、フィルタ係数転送制御部５０２がフィルタ係数記憶部５０３に書き込む際に、これまでに最も参照回数が少ない動き補償フィルタ係数が記憶されている領域に書き込む。それにより、参照される可能性の低い動き補償フィルタ係数はフィルタ係数記憶部５０３に保持されず、頻繁に参照される可能性の高い動き補償フィルタ係数がフィルタ係数記憶部５０３に保持されることになる。その結果、メモリ５０９へのアクセス回数を減らすことが可能となる。このようにして、動き補償フィルタ係数に関するメモリ帯域の低減及びメモリアクセスレイテンシの低減が可能となる。

なお、上記において、フィルタ係数記憶部５０３が動き補償フィルタ係数ＩＤの示す動き補償フィルタ係数を保持していない場合、フィルタ係数参照履歴管理テーブル６０１を参照することで、最も参照回数が少ない動き補償フィルタ係数を特定する。そして、フィルタ係数転送制御部５０２がメモリ５０９から動き補償フィルタ係数ＩＤが示す動き補償フィルタ係数を読み出し、フィルタ係数記憶部５０３のこれまでに最も参照回数が少ない動き補償フィルタ係数が記憶されている領域に書き込む場合を説明としたが、それに限らない。例えば最近最も使われていない動き補償フィルタ係数が記憶されている領域に書き込むとしてもよいし、最近最も使われている動き補償フィルタ係数が記憶されている領域に書き込むとしてもよいし、これまでに最も参照回数が多い動き補償フィルタ係数が記憶されている領域に書き込むとしてもよい。すなわち、メモリ１０９へのアクセスを低減させることができ、かつ、フィルタ係数記憶部１０３の容量も低減させることができる方法であればいずれを選択しても良い。

また、上記では、動き補償フィルタ係数ＩＤは動きベクトルとは異なるヘッダ情報として説明したが、それに限られない。例えば動きベクトルを動き補償フィルタ係数ＩＤとしても良いし、動きベクトルとは異なるヘッダ情報だけでなく、動きベクトルを動き補償フィルタＩＤとしても良い。

（実施の形態７）
図２４は、本発明の実施の形態７における符号化装置の構成を示すブロック図である。図２４において、図１８と同じ構成要素については同じ符号を用い、説明を省略する。

図２４に示す符号化装置７００は、フィルタ係数生成部５０１、フィルタ係数転送制御部５０２、フィルタ係数記憶部５０３、参照画像転送制御部５０５、参照画像記憶部５０６、動き検出部５０７、減算器５０８、メモリ５０９、符号化部５１０、可逆符号化部７０１、及び、可逆復号部７０２を備える。ここで、図２４に示す符号化装置７００は、実施の形態５に係る符号化装置５００に対して、フィルタ係数記憶状態管理テーブル５０４を備えず、可逆符号化部７０１及び可逆復号部７０２を備える点で構成が異なる。

可逆符号化部７０１は、複数の動き補償フィルタ係数を可逆符号化する。具体的には、可逆符号化部７０１は、フィルタ係数生成部５０１が生成した動き補償フィルタ係数を可逆符号化し、メモリ５０９に書き込む機能を有する。

可逆復号部７０２は、可逆符号化部７０１により可逆符号化された複数の動き補償フィルタ係数のうち、必要な動き補償フィルタ係数を可逆復号し、可逆復号した動き補償フィルタ係数を、フィルタ係数転送制御部５０２を介してフィルタ係数記憶部５０３に書き込む。具体的には、可逆復号部７０２は、メモリ５０９に格納された動き補償フィルタ係数を読み出して、可逆復号し、フィルタ係数転送制御部５０２を介してフィルタ係数記憶部５０３に書き込む機能を有する。なお、可逆復号部７０２は、フィルタ係数転送制御部５０２を介さずに、フィルタ係数記憶部５０３に書き込むとしてもよい。

次に、以上のように構成された符号化装置７００の符号化処理動作について説明する。図２５は、本発明の実施の形態７における符号化装置の符号化処理動作を示すフローチャートである。

図２５に示すように、符号化装置７００において、まず、符号化対象画像を受けたフィルタ係数生成部５０１は、以後の符号化に用いる動き補償フィルタ係数を生成し出力する（Ｓ７０１）。

次に、可逆符号化部７０１は、フィルタ係数生成部５０１が生成した動き補償フィルタ係数を可逆符号化する（Ｓ７０２）。

次に、フィルタ係数転送制御部５０２は、Ｓ７０２にて可逆符号化部７０１により可逆符号化された動き補償フィルタ係数をメモリ５０９に書き込む（Ｓ７０３）。

次に、符号化装置７００は、符号化対象の画像（ブロック）について、Ｓ７０４での画面内予測と、Ｓ７０５〜Ｓ７１１での画面間予測との両方を実施する。画面内予測については、Ｓ５０３と同様に従来の方法を適用すればよいので説明を省略する。以下、Ｓ７０５〜Ｓ７１１での画面間予測の実施について説明する。なお、Ｓ７０５からＳ７０７の処理は、Ｓ５０４〜Ｓ５０６と同様のため説明を省略する。

次に、Ｓ７０７において、フィルタ係数転送制御部５０２は、メモリ５０９から動き補償フィルタ係数ＩＤの示す、可逆符号化された動き補償フィルタ係数を読み出す（Ｓ７０８）。そして、可逆復号部７０２は、可逆符号化された動き補償フィルタ係数を可逆復号し、フィルタ係数記憶部５０３に書き込む（Ｓ７０９）。

次に、動き検出部５０７は、特定した動き補償フィルタ係数ＩＤと決定した動きベクトルから、動き補償に利用する動き補償フィルタ係数をフィルタ係数記憶部５０３から読み出して設定する（Ｓ７１０）。そして、参照画像記憶部５０６が保持している参照画像を読み出して、動き補償処理を行って、予測画像生成し（Ｓ７１１）、減算器５０８へ出力する。

このように符号化装置７００は、符号化対象の画像（ブロック）について、Ｓ７０４で画面内予測を実施し、Ｓ７０５〜Ｓ７１１で画面間予測を実施する。そして、符号化部５１０は、実施した画面内予測と画面間予測とから、画面間符号化する場合の符号化効率と画面内符号化する場合の符号化効率とのうち、どちらの符号化モードで符号化する方がより符号化効率が良くなるかを判定する。符号化部５１０は、符号化効率が良くなると判定した方の符号化モードを符号化対象の画像（ブロック）の符号化モード（マクロブロックタイプ）に決定する。

なお、以下のＳ７１３からＳ７１５の処理は、Ｓ５１３〜Ｓ５１５と同様のため説明を省略する。

以上のようにして、符号化装置７００は符号化処理動作を行う。

以上、実施の形態７によれば、可逆符号化部７０１により動き補償フィルタ係数を圧縮することで、メモリ５０９へ格納する動き補償フィルタ係数のデータサイズを小さくすることができる。これにより、動き補償フィルタ係数に関するメモリ容量の低減が可能となる。

なお、図２３に示す符号化装置７００が、上述したフィルタ係数記憶状態管理テーブル５０４を少なくとも備え、フィルタ係数参照履歴管理テーブル６０１を備えるとしてもよい。その場合には、動き補償フィルタ係数に関するメモリ容量の削減だけでなく、上述したように、メモリ帯域の低減及びメモリアクセスレイテンシの低減も可能となり、さらに好ましい。

また、上記において、復号部１０１で一度動き補償フィルタ係数を復号し、可逆符号化部４０１で符号化しなおしてメモリ１０９に格納し、可逆復号部４０２で復号する場合を説明したが、それに限らない。例えば、符号化部５１０で符号化ストリーム内へ符号化した動き補償フィルタ係数部分をメモリ５０９に格納するとし、可逆復号部７０２で復号するとしても良い。

また、可逆符号化部７０１で利用する符号化アルゴリズムは、可逆で、かつ、入力サイズより出力サイズが小さくなるような符号化方法であれば如何なるものでもよい。

また、上記において、動き補償フィルタ係数ＩＤは、動きベクトルとは異なるヘッダ情報として説明したが、それに限られない。例えば動きベクトルを動き補償フィルタ係数ＩＤとしても良いし、動きベクトルとは異なるヘッダ情報だけでなく、動きベクトルを動き補償フィルタＩＤとしても良い。

以上のように、実施の形態１〜７によれば、可変係数動き補償画面間予測を行う際に使用するフィルタ係数のメモリ帯域の低減及びメモリアクセスレイテンシの低減を可能とする動画像復号装置、動画像符号化装置、動画像復号回路及び動画像復号方法を実現することができる。

なお、 実施の形態１〜７において、メモリ１０９、メモリ５０９、フィルタ係数記憶部１０３及びフィルタ係数記憶部５０３は、典型的にはＤＤＲで構成されるが、必ずしもＤＤＲで構成される必要はなく、ＳＲＡＭで構成されていてもよいし、フリップフロップで構成されていても良い。つまり、記憶可能な素子で構成されていれば良い。その際、メモリ１０９及びメモリ５０９は、低速な記憶素子から構成され、フィルタ係数記憶部１０３及びフィルタ係数記憶部５０３は、高速な記憶素子で構成されるのが好ましい。

（実施の形態８）
上記各実施の形態で説明した動画像符号化装置、動画像復号装置、動画像符号化方法または動画像復号方法は、アプリケーションとしても応用できる。

例えば、上記各実施の形態で示した動画像符号化方法または動画像復号方法を実現するためのプログラムを記憶メディアに記録することにより、上記各実施の形態で示した処理を独立したコンピュータシステムにおいて簡単に実施することが可能となる。なお、記憶メディアは、磁気ディスク、光ディスク、光磁気ディスク、ＩＣカード、半導体メモリ等のいずれでもよく、プログラムを記録できるものであればよい。

以下、上記各実施の形態で示した動画像符号化方法や動画像復号方法等の応用例とそれを用いたシステムを説明する。

図２６は、コンテンツ配信サービスを実現するコンテンツ供給システムｅｘ１００の全体構成を示す図である。図２６に示すコンテンツ供給システムｅｘ１００において、通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ｅｘ１０７〜ｅｘ１１０が設置されている。

コンテンツ供給システムｅｘ１００では、インターネットｅｘ１０１にインターネットサービスプロバイダｅｘ１０２、電話網ｅｘ１０４及び基地局ｅｘ１０７〜ｅｘ１１０を介して、コンピュータｅｘ１１１、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）ｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４及びゲーム機ｅｘ１１５などの各機器が接続される。

なお、コンテンツ供給システムｅｘ１００は、図２６のような構成に限定されず、いずれかの要素を組合せて接続するようにしてもよい。また、コンテンツ供給システムｅｘ１００は、固定無線局である基地局ｅｘ１０７〜ｅｘ１１０を介さずに、各機器が電話網ｅｘ１０４に直接接続されてもよい。また、各機器が近距離無線等を介して直接相互に接続されていてもよい。

例えば、カメラｅｘ１１３は、デジタルビデオカメラ等の動画撮影が可能な機器である。また、カメラｅｘ１１６は、デジタルカメラ等の静止画撮影、動画撮影が可能な機器である。

携帯電話ｅｘ１１４は、ＧＳＭ（Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｆｏｒ Ｍｏｂｉｌｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）方式、ＣＤＭＡ（Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）方式、Ｗ−ＣＤＭＡ（Ｗｉｄｅｂａｎｄ−Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）方式、若しくはＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）方式、ＨＳＰＡ（Ｈｉｇｈ Ｓｐｅｅｄ Ｐａｃｋｅｔ Ａｃｃｅｓｓ）を用いる携帯電話機またはＰＨＳ（Ｐｅｒｓｏｎａｌ Ｈａｎｄｙｐｈｏｎｅ Ｓｙｓｔｅｍ）であり、いずれでも構わない。

コンテンツ供給システムｅｘ１００では、カメラｅｘ１１３等が基地局ｅｘ１０９、電話網ｅｘ１０４を通じてストリーミングサーバｅｘ１０３に接続されることで、ライブ配信等が可能になる。

具体的には、ライブ配信では、ユーザがカメラｅｘ１１３を用いて撮影するコンテンツ（例えば、音楽ライブの映像等）に対して上記各実施の形態で説明した符号化処理を行い、ストリーミングサーバｅｘ１０３に送信する。一方、ストリーミングサーバｅｘ１０３は要求のあったクライアントに対して送信されたコンテンツデータをストリーム配信する。クライアントとしては、上記符号化処理されたデータを復号することが可能な、コンピュータｅｘ１１１、ＰＤＡｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４、ゲーム機ｅｘ１１５等がある。配信されたデータを受信した各機器では、受信したデータを復号処理して再生する。

なお、撮影したデータの符号化処理は、カメラｅｘ１１３で行っても、データの送信処理をするストリーミングサーバｅｘ１０３で行ってもよいし、これらが互いに分担して行ってもよい。同様に、配信されたデータの復号処理はクライアントで行っても、ストリーミングサーバｅｘ１０３で行ってもよいし、互いに分担して行ってもよい。

また、カメラｅｘ１１３に限らず、カメラｅｘ１１６で撮影した静止画像データ及び／または動画像データを、コンピュータｅｘ１１１を介してストリーミングサーバｅｘ１０３に送信してもよい。この場合の符号化処理はカメラｅｘ１１６、コンピュータｅｘ１１１、ストリーミングサーバｅｘ１０３のいずれで行ってもよいし、互いに分担して行ってもよい。

これら符号化・復号処理は、一般的にコンピュータｅｘ１１１や各機器が有するＬＳＩｅｘ５００において処理する。ここで、ＬＳＩｅｘ５００は、ワンチップであっても複数チップからなる構成であってもよい。なお、動画像符号化・復号用のソフトウェアをコンピュータｅｘ１１１等で読み取り可能な何らかの記録メディア（ＣＤ−ＲＯＭ、フレキシブルディスク、ハードディスクなど）に組み込み、そのソフトウェアを用いて符号化・復号処理を行うとしてもよい。さらに、携帯電話ｅｘ１１４がカメラ付きである場合には、そのカメラで取得した動画データを送信してもよい。このときの動画データは、携帯電話ｅｘ１１４が有するＬＳＩｅｘ５００で符号化処理されたデータである。

また、ストリーミングサーバｅｘ１０３は複数のサーバや複数のコンピュータであって、データを分散して処理したり記録したり配信するものであってもよい。

以上のようにして、コンテンツ供給システムｅｘ１００では、符号化されたデータをクライアントが受信して再生することができる。

このようにコンテンツ供給システムｅｘ１００では、ユーザが送信した情報をリアルタイムでクライアントが受信して復号し、再生することができ、特別な権利や設備を有さないユーザでも個人放送を実現できる。

なお、上記各実施の形態の少なくとも動画像符号化装置及び動画像復号装置のいずれかが組み込まれる例としてはコンテンツ供給システムｅｘ１００の例に限られない。図２７に示すように、デジタル放送用システムｅｘ２００にも、組み込むとしてもよい。以下、それを用いて説明する。図２７は、デジタル放送用システムｅｘ２００の全体構成を示す図である。

具体的には、放送局ｅｘ２０１では、映像情報のビットストリームが電波を介して通信または放送衛星ｅｘ２０２に伝送される。このビットストリームは上記各実施の形態で説明した動画像符号化方法により符号化された符号化ビットストリームである。

放送衛星ｅｘ２０２は、これを受けて放送用の電波を発信する。

アンテナｅｘ２０４は、衛星放送の受信が可能な家庭のアンテナであり、放送衛星ｅｘ２０２からの放送用の電波を受信する。

テレビ（受信機）ｅｘ３００またはセットトップボックス（ＳＴＢ）ｅｘ２１７等の装置は、アンテナｅｘ２０４から受信した放送用の電波に含まれるビットストリームを、復号して再生する。

リーダ／レコーダｅｘ２１８は、ＤＶＤ、ＢＤ等の記録メディアｅｘ２１５に記録された符号化ビットストリームを読み取って復号することが可能である。また記録メディアｅｘ２１５に映像信号を符号化して書き込むことが可能である。ここで、リーダ／レコーダｅｘ２１８は、上記各実施の形態で示した動画像復号装置または動画像符号化装置を実装する。その場合、リーダ／レコーダｅｘ２１８で再生された映像信号はモニタｅｘ２１９に表示され、符号化ビットストリームが記録された記録メディアｅｘ２１５により他の装置やシステムにおいて映像信号を再生することができる。

なお、セットトップボックスｅｘ２１７は、ケーブルテレビ用のケーブルｅｘ２０３または衛星／地上波放送のアンテナｅｘ２０４に接続され、自装置内に動画像復号装置を実装し、これをテレビのモニタｅｘ２１９で表示するとしてもよい。また、セットトップボックスｅｘ２１７ではなく、テレビｅｘ３００内に動画像復号装置を組み込んでもよい。

図２８は、テレビｅｘ３００の構成例を示すブロック図である。

テレビｅｘ３００は、上記各実施の形態で説明した動画像復号方法及び動画像符号化方法を用いている。テレビｅｘ３００は、上記放送を受信するアンテナｅｘ２０４またはケーブルｅｘ２０３等を介して映像情報のビットストリームを取得、または出力するチューナｅｘ３０１と、受信した符号化データを復調する、または外部に送信する符号化データに変調する変調／復調部ｅｘ３０２と、復調した映像データ、音声データを分離する、または符号化された映像データ、音声データを多重化する多重／分離部ｅｘ３０３とを備える。また、テレビｅｘ３００は、音声データ及び映像データそれぞれを復号する、またはそれぞれの情報を符号化する音声信号処理部ｅｘ３０４及び映像信号処理部ｅｘ３０５を有する信号処理部ｅｘ３０６と、復号した音声信号を出力するスピーカｅｘ３０７及び復号した映像信号を表示するディスプレイ等の表示部ｅｘ３０８を有する出力部ｅｘ３０９とを有する。さらに、テレビｅｘ３００は、ユーザ操作の入力を受け付ける操作入力部ｅｘ３１２等を有するインタフェース部ｅｘ３１７を有する。さらに、テレビｅｘ３００は、各部を統括的に制御する制御部ｅｘ３１０、各部に電力を供給する電源回路部ｅｘ３１１を有する。

なお、インタフェース部ｅｘ３１７は、操作入力部ｅｘ３１２以外に、リーダ／レコーダｅｘ２１８等の外部機器と接続されるブリッジｅｘ３１３と、ＳＤカード等の記録メディアｅｘ２１６を装着可能とするためのスロット部ｅｘ３１４と、ハードディスク等の外部記録メディアと接続するためのドライバｅｘ３１５と、電話網と接続するモデムｅｘ３１６等とを有していてもよい。また、記録メディアｅｘ２１６は、格納する不揮発性／揮発性の半導体メモリ素子により電気的に情報の記録を可能としたものである。テレビｅｘ３００の各部は同期バスを介して互いに接続されている。

続いて、まず、テレビｅｘ３００がアンテナｅｘ２０４等により外部から取得したデータを復号し、再生する構成について説明する。

テレビｅｘ３００は、リモートコントローラｅｘ２２０等からのユーザ操作を受け、ＣＰＵ等を有する制御部ｅｘ３１０の制御に基づいて、変調／復調部ｅｘ３０２で復調した映像データ、音声データを多重／分離部ｅｘ３０３で分離する。さらにテレビｅｘ３００は、分離した音声データを音声信号処理部ｅｘ３０４で復号し、分離した映像データを映像信号処理部ｅｘ３０５で上記各実施の形態で説明した復号方法を用いて復号する。復号した音声信号、映像信号は、それぞれ出力部ｅｘ３０９から外部に向けて出力される。出力する際には、音声信号と映像信号が同期して再生するよう、バッファｅｘ３１８、ｅｘ３１９等に一旦これらの信号を蓄積するとよい。

なお、テレビｅｘ３００は、放送等からではなく、磁気／光ディスク、ＳＤカード等の記録メディアｅｘ２１５、ｅｘ２１６から符号化された符号化ビットストリームを読み出してもよい。

次に、テレビｅｘ３００が音声信号や映像信号を符号化し、外部に送信または記録メディア等に書き込む構成について説明する。

テレビｅｘ３００は、リモートコントローラｅｘ２２０等からのユーザ操作を受け、制御部ｅｘ３１０の制御に基づいて、音声信号処理部ｅｘ３０４で音声信号を符号化し、映像信号処理部ｅｘ３０５で映像信号を上記各実施の形態で説明した符号化方法を用いて符号化する。符号化した音声信号、映像信号は多重／分離部ｅｘ３０３で多重化され外部に出力される。多重化する際には、音声信号と映像信号が同期するように、バッファｅｘ３２０、ｅｘ３２１等に一旦これらの信号を蓄積するとよい。なお、バッファｅｘ３１８〜ｅｘ３２１は図示しているように複数備えていてもよいし、１つ以上のバッファを共有する構成であってもよい。さらに、図示している以外に、例えば変調／復調部ｅｘ３０２や多重／分離部ｅｘ３０３の間等でもシステムのオーバフロー、アンダーフローを避ける緩衝材としてバッファにデータを蓄積することとしてもよい。

また、テレビｅｘ３００は、放送等や記録メディア等から音声データ、映像データを取得する以外に、マイクやカメラのＡＶ入力を受け付ける構成を備え、それらから取得したデータに対して符号化処理を行ってもよい。

なお、ここではテレビｅｘ３００は上記の符号化処理、多重化、及び外部出力ができる構成として説明したが、これらの処理を行うことはできず、上記受信、復号処理、外部出力のみが可能な構成であってもよい。

また、リーダ／レコーダｅｘ２１８で記録メディアから符号化ビットストリームを読み出す、または書き込む場合には、上記復号処理または符号化処理はテレビｅｘ３００、リーダ／レコーダｅｘ２１８のいずれで行ってもよいし、テレビｅｘ３００とリーダ／レコーダｅｘ２１８が互いに分担して行ってもよい。

一例として、光ディスクからデータの読み込みまたは書き込みをする場合の情報再生／記録部ｅｘ４００の構成を図２９に示す。図２９は、光ディスクである記録メディアに情報の読み書きを行う情報再生／記録部の構成例を示すブロック図である。

図２９に示す情報再生／記録部ｅｘ４００は、以下に説明する要素ｅｘ４０１〜ｅｘ４０７を備える。

光ヘッドｅｘ４０１は、光ディスクである記録メディアｅｘ２１５の記録面にレーザスポットを照射して情報を書き込み、記録メディアｅｘ２１５の記録面からの反射光を検出して情報を読み込む。

変調記録部ｅｘ４０２は、光ヘッドｅｘ４０１に内蔵された半導体レーザを電気的に駆動し記録データに応じてレーザ光の変調を行う。

再生復調部ｅｘ４０３は、光ヘッドｅｘ４０１に内蔵されたフォトディテクタにより記録面からの反射光を電気的に検出した再生信号を増幅し、記録メディアｅｘ２１５に記録された信号成分を分離して復調し、必要な情報を再生する。

バッファｅｘ４０４は、記録メディアｅｘ２１５に記録するための情報及び記録メディアｅｘ２１５から再生した情報を一時的に保持する。

ディスクモータｅｘ４０５は記録メディアｅｘ２１５を回転させる。

サーボ制御部ｅｘ４０６は、ディスクモータｅｘ４０５の回転駆動を制御しながら光ヘッドｅｘ４０１を所定の情報トラックに移動させ、レーザスポットの追従処理を行う。

システム制御部ｅｘ４０７は、情報再生／記録部ｅｘ４００全体の制御を行う。上記の読み出しや書き込みの処理はシステム制御部ｅｘ４０７が、バッファｅｘ４０４に保持された各種情報を利用し、また必要に応じて新たな情報の生成・追加を行うと共に、変調記録部ｅｘ４０２、再生復調部ｅｘ４０３、サーボ制御部ｅｘ４０６を協調動作させながら、光ヘッドｅｘ４０１を通して、情報の記録再生を行うことにより実現される。システム制御部ｅｘ４０７は例えばマイクロプロセッサで構成され、読み出し書き込みのプログラムを実行することでそれらの処理を実行する。

なお、上記では、光ヘッドｅｘ４０１はレーザスポットを照射するとして説明したが、近接場光を用いてより高密度な記録を行う構成であってもよい。

図３０は、光ディスクである記録メディアの構造例を示す図である。図３０には、光ディスクである記録メディアｅｘ２１５の模式図が示されている。

記録メディアｅｘ２１５の記録面には案内溝（グルーブ）がスパイラル状に形成され、情報トラックｅｘ２３０には、予めグルーブの形状の変化によってディスク上の絶対位置を示す番地情報が記録されている。この番地情報は、データを記録する単位である記録ブロックｅｘ２３１の位置を特定するための情報を含む。記録や再生を行う装置において情報トラックｅｘ２３０を再生し、この番地情報を読み取ることで記録ブロックを特定することができる。また、記録メディアｅｘ２１５は、データ記録領域ｅｘ２３３、内周領域ｅｘ２３２、外周領域ｅｘ２３４を含んでいる。ユーザデータを記録するために用いる領域がデータ記録領域ｅｘ２３３であり、データ記録領域ｅｘ２３３より内周または外周に配置されている内周領域ｅｘ２３２と外周領域ｅｘ２３４は、ユーザデータの記録以外の特定用途に用いられる。

情報再生／記録部ｅｘ４００は、このような記録メディアｅｘ２１５のデータ記録領域ｅｘ２３３に対して、符号化された音声データ、映像データまたはそれらのデータを多重化した符号化データの読み書きを行う。

なお、上記では、１層のＤＶＤ、ＢＤ等の光ディスクを例に挙げ説明したが、これらに限ったものではなく、多層構造であって表面以外にも記録可能な光ディスクであってもよい。また、ディスクの同じ場所にさまざまな異なる波長の色の光を用いて情報を記録したり、さまざまな角度から異なる情報の層を記録したりするなど、多次元的な記録／再生を行う構造の光ディスクであってもよい。

また、デジタル放送用システムｅｘ２００において、アンテナｅｘ２０５を有する車ｅｘ２１０で放送衛星ｅｘ２０２等からデータを受信し、車ｅｘ２１０が有するカーナビゲーションｅｘ２１１等の表示装置に動画を再生することも可能である。なお、カーナビゲーションｅｘ２１１の構成は例えば図２８に示す構成のうち、ＧＰＳ受信部を加えた構成が考えられ、同様なことがコンピュータｅｘ１１１や携帯電話ｅｘ１１４等でも考えられる。また、上記携帯電話ｅｘ１１４等の端末は、テレビｅｘ３００と同様に、符号化器・復号器を両方持つ送受信型端末の他に、符号化器のみの送信端末、復号器のみの受信端末という３通りの実装形式が考えられる。

このように、上記各実施の形態で示した動画像符号化方法あるいは動画像復号方法を上述したいずれの機器・システムに用いることは可能であり、そうすることで、上記各実施の形態で説明した効果を得ることができる。

また、本発明はかかる上記実施形態に限定されるものではなく、本発明の範囲を逸脱することなく種々の変形または修正が可能である。

（実施の形態９）
上記各実施の形態で示した動画像符号化方法及び装置、動画像復号方法及び装置は、典型的には集積回路であるＬＳＩで実現される。一例として、図３１に１チップ化されたＬＳＩｅｘ５００の構成を示す。ここで、図３１は、各実施の形態の動画像符号化方法及び動画像復号方法を実現する集積回路の構成例を示すブロック図である。

ＬＳＩｅｘ５００は、以下に説明する要素ｅｘ５０１〜ｅｘ５０９を備え、各要素はバスｅｘ５１０を介して接続している。電源回路部ｅｘ５０５は電源がオン状態の場合に各部に対して電力を供給することで動作可能な状態に起動する。

例えば符号化処理を行う場合には、ＬＳＩｅｘ５００は、ＣＰＵｅｘ５０２、メモリコントローラｅｘ５０３、ストリームコントローラｅｘ５０４等を有する制御部ｅｘ５０１の制御に基づいて、ＡＶ Ｉ／Ｏｅｘ５０９によりマイクｅｘ１１７やカメラｅｘ１１３等からＡＶ信号を入力する。入力されたＡＶ信号は、一旦ＳＤＲＡＭ等の外部のメモリｅｘ５１１に蓄積される。制御部ｅｘ５０１の制御に基づいて、蓄積したデータは処理量や処理速度に応じて適宜複数回に分けるなどされ信号処理部ｅｘ５０７に送られ、信号処理部ｅｘ５０７において音声信号の符号化及び／または映像信号の符号化が行われる。ここで映像信号の符号化処理は上記各実施の形態で説明した符号化処理である。信号処理部ｅｘ５０７ではさらに、場合により符号化された音声データと符号化された映像データを多重化するなどの処理を行い、ストリームＩ／Ｏｅｘ５０６から外部に出力する。この出力されたビットストリームは、基地局ｅｘ１０７に向けて送信されたり、または記録メディアｅｘ２１５に書き込まれたりする。なお、多重化する際には同期するよう、一旦バッファｅｘ５０８にデータを蓄積するとよい。

図３２は、ここでの符号化処理を簡単に示すブロック図である。すなわち、図３２は、集積回路で実現される各実施の形態の動画像符号化処理を示すブロック図である。図３２に示すように、まず、入力信号と予測信号との差分である予測誤差信号は変換部ｅｘ６０１で変換され、量子化部ｅｘ６０２で量子化される。量子化係数はエントロピー符号化部ｅｘ６０６でエントロピー符号化され、符号化信号が出力される。この出力は、図２８でテレビｅｘ３００を例に挙げて説明したように、符号化された音声データと多重化するために一旦バッファｅｘ５０８やメモリｅｘ５１１に蓄積される構成であってもよい。逆量子化部ｅｘ６０４、逆変換部ｅｘ６０５、予測部ｅｘ６０８は、対象信号とそれ以前の信号から生成された予測信号の比較を可能とする遅延部として動作する。

なお、ＬＳＩｅｘ５００上では、緩衝材として量子化係数を一端内部のバッファｅｘ５０８やメモリｅｘ５１１に蓄積するなど、処理のオーバフロー、アンダーフローがおきないように調整するとよい。量子化係数以外にも処理量や処理速度に応じて、データを複数に分けて並列に処理をし、内部や外部のメモリ等の記録部に処理中のデータを適宜蓄積しながら処理を調整するとよい。

以上の処理は制御部ｅｘ５０１の制御に基づいて行う。

また、例えば復号処理を行う場合には、ＬＳＩｅｘ５００は、制御部ｅｘ５０１の制御に基づいて、ストリームＩ／Ｏｅｘ５０６によって基地局ｅｘ１０７を介して、または記録メディアｅｘ２１５から読み出して得た符号化データを一旦メモリｅｘ５１１等に蓄積する。制御部ｅｘ５０１の制御に基づいて、蓄積したデータは処理量や処理速度に応じて適宜複数回に分けるなどされ信号処理部ｅｘ５０７に送られ、信号処理部ｅｘ５０７において音声データの復号及び／または映像データの復号が行われる。ここで映像信号の復号処理は上記各実施の形態で説明した復号処理である。さらに、場合により復号された音声信号と復号された映像信号を同期して再生できるようそれぞれの信号を一旦バッファｅｘ５０８等に蓄積するとよい。復号された出力信号はメモリｅｘ５１１等を適宜介しながら、携帯電話ｅｘ１１４、ゲーム機ｅｘ１１５、テレビｅｘ３００等の各出力部から出力される。

図３３は、ここでの復号処理を簡単に示すブロック図である。すなわち、図３３は、集積回路で実現される各実施の形態の動画像復号処理を示すブロック図である。

図３３に示すように、まず入力された符号化信号はエントロピー復号部ｅｘ７０１でエントロピー復号される。エントロピー復号により得た量子化係数は逆量子化部ｅｘ７０３で逆量子化され、逆変換部ｅｘ７０４で逆変換される。ここでの逆変換とは、復号処理における変換という意味であり、必ずしも符号化処理における変換の逆に限定されるものではない。復号変換入力は、予測信号を加えて復号信号として外部に出力される。メモリｅｘ５１１は、復号信号を蓄積し、後続の符号化信号の復号における参照を可能とする遅延部として動作する。予測部ｅｘ７０５は、メモリｅｘ５１１に蓄積された復号済みの復号信号に基づいて予測信号を生成する。外部への出力の際には図２８でテレビｅｘ３００を例に挙げて説明したように、復号された音声信号と同期して表示するために、一旦バッファｅｘ５０８や外部のメモリｅｘ５１１に蓄積される構成であってもよい。ここでも量子化係数をバッファｅｘ５０８やメモリｅｘ５１１に蓄積するなど、処理のオーバフロー、アンダーフローがおきないように、所定の処理単位に分割しながら並列に処理を行うとよい。以上の処理は制御部ｅｘ５０１の制御に基づいて行う。

なお、上記では、メモリｅｘ５１１がＬＳＩｅｘ５００の外部の構成として説明したが、ＬＳＩｅｘ５００の内部に含まれる構成であってもよい。バッファｅｘ５０８も１つに限ったものではなく、複数のバッファを備えていてもよい。また、ＬＳＩｅｘ５００は１チップ化されてもよいし、複数チップ化されてもよい。

また、ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩまたはウルトラＬＳＩと呼称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。

さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。

以上のように、上記各実施の形態で説明した動画像符号化装置、動画像復号装置、動画像符号化方法または動画像復号方法は、アプリケーションとしても応用できる。

なお、実施の形態１において図１に示される復号装置１００を構成する各機能ブロックは、典型的には集積回路であるＬＳＩとして実現される。これらはさらに復号回路、外部メモリのように個別にチップ化されても良いし、一部または全てを含むように１チップ化、つまり単一のＬＳＩ内に統合されたシステムとして実現されても良い。

また、同様に、実施の形態２において図６に示される復号装置２００を構成する各機能ブロックは、典型的には集積回路であるＬＳＩとして実現される。これらはさらに復号回路、外部メモリのように個別にチップ化されても良いし、一部または全てを含むように１チップ化、つまり単一のＬＳＩ内に統合されたシステムとして実現されても良い。

また、同様に、実施の形態３において図９に示される復号装置３００を構成する各機能ブロックは、典型的には集積回路であるＬＳＩとして実現される。これらはさらに復号回路、外部メモリのように個別にチップ化されても良いし、一部または全てを含むように１チップ化、つまり単一のＬＳＩ内に統合されたシステムとして実現されても良い。

また、同様に、実施の形態４において図１６に示される復号装置４００を構成する各機能ブロックは、典型的には集積回路であるＬＳＩとして実現される。これらはさらに復号回路、外部メモリのように個別にチップ化されても良いし、一部または全てを含むように１チップ化、つまり単一のＬＳＩ内に統合されたシステムとして実現されても良い。

また、同様に、実施の形態５において図１８に示される符号化装置５００を構成する各機能ブロックは、典型的には集積回路であるＬＳＩとして実現される。これらはさらに符号化回路、外部メモリのように個別にチップ化されても良いし、一部または全てを含むように１チップ化、つまり単一のＬＳＩ内に統合されたシステムとして実現されても良い。

また、同様に、実施の形態６において図２２に示される符号化装置６００を構成する各機能ブロックは、典型的には集積回路であるＬＳＩとして実現される。これらはさらに符号化回路、外部メモリのように個別にチップ化されても良いし、一部または全てを含むように１チップ化、つまり単一のＬＳＩ内に統合されたシステムとして実現されても良い。

また、同様に、実施の形態７において図２４に示される符号化装置７００を構成する各機能ブロックは、典型的には集積回路であるＬＳＩとして実現される。これらはさらに符号化回路、外部メモリのように個別にチップ化されても良いし、一部または全てを含むように１チップ化、つまり単一のＬＳＩ内に統合されたシステムとして実現されても良い。

また、実施の形態１〜７において、参照画像と動き補償フィルタ係数をメモリ１０９、または、メモリ５０９に格納するとしたが、参照画像と動き補償フィルタ係数は必ずしも同じメモリに格納されていなくても良い。

また、上述したように、実施の形態１〜７において、メモリ１０９、及び、メモリ５０９は、典型的にはＤＤＲで構成されるが、必ずしもＤＤＲで構成される必要はなく、ＳＲＡＭで構成されていてもよいし、フリップフロップで構成されていても良い。つまり、記憶可能な素子で構成されていれば良い。

以上、本発明の動画像復号装置、動画像符号化装置、動画像復号回路及び動画像復号方法について、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の範囲内に含まれる。

本発明は、動画像復号装置、動画像符号化装置、動画像復号回路及び動画像復号方法に利用でき、特に、携帯電話、ＤＶＤ装置、ＢＤ装置、パソコン、テレビ電話、セットトップボックス、デジタルテレビ、自動車及びセキュリティシステムなど動画像を構成するピクチャを復号あるいは表示する機器において有用である。

１０１ 復号部
１０２、５０２ フィルタ係数転送制御部
１０３、５０３ フィルタ係数記憶部
１０４、５０４ フィルタ係数記憶状態管理テーブル
１０５、５０５ 参照画像転送制御部
１０６、５０６ 参照画像記憶部
１０７ 動き補償部
１０８ 加算器
１０９、５０９ メモリ
２０１、６０１ フィルタ係数参照履歴管理テーブル
３０１ 前復号部
３０２ フィルタ係数統計情報管理テーブル
４０１、７０１ 可逆符号化部
４０２、７０２ 可逆復号部
５０１ フィルタ係数生成部
５０７ 動き検出部
５０８ 減算器
５１０ 符号化部
ｅｘ１００ コンテンツ供給システム
ｅｘ１０１ インターネット
ｅｘ１０２ インターネットサービスプロバイダ
ｅｘ１０３ ストリーミングサーバ
ｅｘ１０４ 電話網
ｅｘ１０６、ｅｘ１０７、ｅｘ１０８、ｅｘ１０９、ｅｘ１１０ 基地局
ｅｘ１１１ コンピュータ
ｅｘ１１２ ＰＤＡ
ｅｘ１１３ カメラ
ｅｘ１１４ 携帯電話
ｅｘ１１５ ゲーム機
ｅｘ１１６ カメラ
ｅｘ１１７ マイク
ｅｘ２００ デジタル放送用システム
ｅｘ２０１ 放送局
ｅｘ２０２ 放送衛星
ｅｘ２０３ ケーブル
ｅｘ２０４、ｅｘ２０５ アンテナ
ｅｘ２１０ 車
ｅｘ２１１ カーナビゲーション
ｅｘ２１２ 再生装置
ｅｘ２１３ モニタ
ｅｘ２１５、ｅｘ２１６ 記録メディア
ｅｘ２１７ セットトップボックス
ｅｘ２１８ リーダ／レコーダ
ｅｘ２１９ モニタ
ｅｘ２３０ 情報トラック
ｅｘ２３１ 記録ブロック
ｅｘ２３２ 内周領域
ｅｘ２３３ データ記録領域
ｅｘ２３４ 外周領域
ｅｘ３００ テレビ
ｅｘ３０１ チューナ
ｅｘ３０２ 変調／復調部
ｅｘ３０３ 多重／分離部
ｅｘ３０４ 音声信号処理部
ｅｘ３０５ 映像信号処理部
ｅｘ３０６ 信号処理部
ｅｘ３０７ スピーカ
ｅｘ３０８ 表示部
ｅｘ３０９ 出力部
ｅｘ３１０ 制御部
ｅｘ３１１ 電源回路部
ｅｘ３１２ 操作入力部
ｅｘ３１３ ブリッジ
ｅｘ３１４ スロット部
ｅｘ３１５ ドライバ
ｅｘ３１６ モデム
ｅｘ３１７ インタフェース部
ｅｘ３１８、ｅｘ３１９ バッファ
ｅｘ４００ 情報再生／記録部
ｅｘ４０１ 光ヘッド
ｅｘ４０２ 変調記録部
ｅｘ４０３ 再生復調部
ｅｘ４０４ バッファ
ｅｘ４０５ ディスクモータ
ｅｘ４０６ サーボ制御部
ｅｘ４０７ システム制御部
ｅｘ５００ ＬＳＩ
ｅｘ５０１ 制御部
ｅｘ５０２ ＣＰＵ
ｅｘ５０３ メモリコントローラ
ｅｘ５０４ ストリームコントローラ
ｅｘ５０５ 電源回路部
ｅｘ５０６ ストリームＩ／Ｏ
ｅｘ５０７ 信号処理部
ｅｘ５０８ バッファ
ｅｘ５０９ ＡＶ Ｉ／Ｏ
ｅｘ５１０ バス
ｅｘ５１１ メモリ
ｅｘ６０１ 変換部
ｅｘ６０２ 量子化部
ｅｘ６０４ 逆量子化部
ｅｘ６０５ 逆変換部
ｅｘ６０６ エントロピー符号化部
ｅｘ６０８ 予測部
ｅｘ７０１ エントロピー復号部
ｅｘ７０３ 逆量子化部
ｅｘ７０４ 逆変換部
ｅｘ７０５ 予測部

Claims (21)

1. 動画像が動き補償を用いて符号化された符号化ストリームに対して動き補償を伴う動き補償復号を行う動画像復号装置であって、
   前記符号化ストリームから、動き補償復号に利用される複数の動き補償フィルタ係数を復号する復号部と、
   前記復号部により復号された前記符号化ストリームに含まれる前記複数の動き補償フィルタ係数を保持するためのメモリと、
   前記メモリに保持されている複数の動き補償フィルタ係数のうち、前記動き補償を行うときに必要な一部の動き補償フィルタ係数を保持するためのフィルタ係数記憶部と、
   前記フィルタ係数記憶部に保持された一部の動き補償フィルタ係数を用いて動き補償を行う動き補償部と、
   前記復号部により復号された複数の動き補償フィルタ係数を前記メモリに書き出し、前記メモリから前記フィルタ係数記憶部に、前記一部の動き補償フィルタ係数を転送する転送制御部とを備える
   動画像復号装置。
2. 前記転送制御部は、前記フィルタ係数記憶部が前記一部の動き補償フィルタ係数を保持していない場合のみ、前記メモリから前記フィルタ係数記憶部に、前記一部の動き補償フィルタ係数を転送する
   請求項１に記載の動画像復号装置。
3. 前記復号部は、前記符号化ストリームから、動き補償復号に利用される複数の動き補償フィルタ係数と、前記一部の動き補償フィルタ係数を特定する特定情報とを少なくとも復号し、
   前記動画像復号装置は、さらに、
   前記特定情報によって特定された前記一部の動き補償フィルタ係数を前記フィルタ係数記憶部が保持しているかどうかを示す情報を管理する記憶状態管理部を備え、
   前記転送制御部は、前記記憶状態管理部が管理する情報に基づいて、前記メモリから前記フィルタ係数記憶部に前記一部の動き補償フィルタ係数を転送する
   請求項２に記載の動画像復号装置。
4. 前記転送制御部は、
   前記記憶状態管理部が管理する情報を参照して、前記フィルタ係数記憶部が前記特定情報によって特定された前記一部の動き補償フィルタ係数を保持していない場合のみ、前記フィルタ係数記憶部の動き補償フィルタ係数が記憶されている領域であって前記メモリから最も古く転送された動き補償フィルタ係数が記憶されている領域に、前記特定情報によって特定された前記一部の動き補償フィルタ係数を前記メモリから転送する
   請求項３に記載の動画像復号装置。
5. 前記転送制御部は、
   前記記憶状態管理部が管理する情報を参照して、前記特定情報によって特定された前記一部の動き補償フィルタ係数を前記フィルタ係数記憶部が保持していない場合のみ、前記フィルタ係数記憶部の動き補償フィルタ係数が記憶されている領域であって前記メモリから最も新しく転送された動き補償フィルタ係数が記憶されている領域に、前記特定情報によって特定された前記一部の動き補償フィルタ係数を前記メモリから転送する
   請求項３に記載の動画像復号装置。
6. 前記転送制御部は、
   前記記憶状態管理部が管理する情報を参照して、前記フィルタ係数記憶部が前記特定情報によって特定された前記一部の動き補償フィルタ係数を保持していない場合のみ、前記フィルタ係数記憶部の動き補償フィルタ係数が記憶されている領域をランダムに選択して、前記特定情報によって特定された前記一部の動き補償フィルタ係数を前記メモリから選択された前記領域に転送する
   請求項３に記載の動画像復号装置。
7. 前記動画像復号装置は、さらに、
   前記符号化ストリームに含まれる複数の動き補償フィルタ係数毎の、復号開始から参照された回数を示す利用履歴情報を管理する参照管理部を備え、
   前記転送制御部は、前記記憶状態管理部が管理する情報と前記参照管理部が管理する情報とに基づいて、前記メモリから前記フィルタ係数記憶部に前記一部の動き補償フィルタ係数を転送する
   請求項３に記載の動画像復号装置。
8. 前記転送制御部は、
   前記記憶状態管理部が管理する情報を参照して、前記フィルタ係数記憶部が前記特定情報によって特定された前記一部の動き補償フィルタ係数を保持していない場合のみ、前記参照管理部が管理する情報を参照して、前記メモリから前記フィルタ係数記憶部の動き補償フィルタ係数が記憶されている領域であって最も参照回数が少ない動き補償フィルタ係数が記憶されている領域に、前記特定情報によって特定された前記一部の動き補償フィルタ係数を転送する
   請求項７に記載の動画像復号装置。
9. 前記転送制御部は、
   前記記憶状態管理部が管理する情報を参照して、前記フィルタ係数記憶部が前記特定情報によって特定された前記一部の動き補償フィルタ係数を保持していない場合のみ、前記参照管理部が管理する情報を参照して、前記フィルタ係数記憶部の動き補償フィルタ係数が記憶されている領域であって現在から所定期間の過去に最も利用されていない動き補償フィルタ係数が記憶されている領域に、前記特定情報によって特定された前記一部の動き補償フィルタ係数を前記メモリから転送する
   請求項７に記載の動画像復号装置。
10. 前記転送制御部は、
    前記記憶状態管理部が管理する情報を参照して、前記フィルタ係数記憶部が前記特定情報によって特定された前記一部の動き補償フィルタ係数を保持していない場合のみ、前記参照管理部が管理する情報を参照して、前記フィルタ係数記憶部の動き補償フィルタ係数が記憶されている領域であって現在から所定期間の過去に最も利用されている動き補償フィルタ係数が記憶されている領域に、前記特定情報によって特定された前記一部の動き補償フィルタ係数を前記メモリから転送する
    請求項７に記載の動画像復号装置。
11. 前記転送制御部は、
    前記記憶状態管理部が管理する情報を参照して、前記フィルタ係数記憶部が前記特定情報によって特定された前記一部の動き補償フィルタ係数を保持していない場合のみ、前記参照管理部が管理する情報を参照して、前記フィルタ係数記憶部の動き補償フィルタ係数が記憶されている領域であってこれまでに最も参照回数が多い動き補償フィルタ係数が記憶されている領域に、前記特定情報によって特定された前記一部の動き補償フィルタ係数を前記メモリから転送する
    請求項７に記載の動画像復号装置。
12. 前記復号部は、前記符号化ストリームから、動き補償復号に利用される複数の動き補償フィルタ係数と、前記一部の動き補償フィルタ係数を特定する前記特定情報とを復号し、
    前記動画像復号装置は、さらに、
    前記復号部よりも先行して前記符号化ストリームから、少なくとも前記符号化ストリームに含まれる前記複数の動き補償フィルタ係数の一部を復号する前復号部と、
    前記特定情報によって特定された前記一部の動き補償フィルタ係数を前記フィルタ係数記憶部が保持しているかどうかの情報を管理する記憶状態管理部と、
    前記前復号部により復号され、かつ、前記復号部によりこれから復号される前記動き補償フィルタ係数毎の利用状況を管理する統計情報管理部とを備え、
    前記転送制御部は、
    前記記憶状態管理部が管理する情報と前記統計情報管理部が管理する利用状況とに基づいて、前記メモリから前記フィルタ係数記憶部に前記一部の動き補償フィルタ係数を転送する
    請求項２に記載の動画像復号装置。
13. 前記転送制御部は、
    前記記憶状態管理部が管理する情報を参照して、前記フィルタ係数記憶部が前記特定情報によって特定された前記一部の動き補償フィルタ係数を保持していない場合のみ、前記統計情報管理部が管理する利用状況を参照して、前記メモリから前記フィルタ係数記憶部の今後最も参照回数が少ない動き補償フィルタ係数が記憶されている領域に、前記特定情報によって特定された前記一部の動き補償フィルタ係数を転送する
    請求項１２に記載の動画像復号装置。
14. 前記転送制御部は、
    前記記憶状態管理部が管理する情報を参照して、前記フィルタ係数記憶部が前記特定情報によって特定された前記一部の動き補償フィルタ係数を保持していない場合のみ、前記統計情報管理部が管理する利用状況を参照して、前記メモリから前記フィルタ係数記憶部の今後の所定の期間参照回数が少ない動き補償フィルタ係数が記憶されている領域に、前記特定情報によって特定された前記一部の動き補償フィルタ係数を転送する
    請求項１２に記載の動画像復号装置。
15. 前記動画像復号装置は、さらに、
    前記符号化ストリームに含まれる前記複数の動き補償フィルタ係数を可逆符号化する可逆符号化部と、
    前記可逆符号化部により可逆符号化された前記複数の動き補償フィルタ係数のうち、前記一部の動き補償フィルタ係数を可逆復号し、可逆復号した前記一部の動き補償フィルタ係数を前記転送制御部を介して前記フィルタ係数記憶部に書き込む可逆復号部とを備える
    請求項２〜１４のいずれか１項に記載の動画像復号装置。
16. 符号化対象画像と参照画像とを用いて、動き補償を伴う符号化である動き補償符号化を行う動画像符号化装置であって、
    前記動き補償符号化に利用される複数の動き補償フィルタ係数を生成する生成部と、
    前記生成部より生成された複数の動き補償フィルタ係数を保持するためのメモリと、
    前記メモリに保持されている複数の動き補償フィルタ係数のうち、前記動き補償を行うときに必要な一部の動き補償フィルタ係数を保持するためのフィルタ係数記憶部と、
    前記フィルタ係数記憶部に保持されている前記一部の動き補償フィルタ係数を用いて前記符号化対象画像と前記参照画像とから前記動き補償を行って予測画像を生成する動き検出部と、
    前記生成部により生成された複数の動き補償フィルタ係数を前記メモリに書き出し、前記フィルタ係数記憶部が前記一部の動き補償フィルタ係数を保持していない場合のみ、前記メモリから前記フィルタ係数記憶部に前記一部の動き補償フィルタ係数を転送する転送制御部とを備える
    動画像符号化装置。
17. 前記動き検出部は、少なくとも前記動き補償に用いる一部の動き補償フィルタ係数を特定する特定情報を生成し、
    前記動画像符号化装置は、さらに、
    前記フィルタ係数記憶部が前記特定情報により特定された前記一部の動き補償フィルタ係数を保持しているかどうかを示す情報を管理する記憶状態管理部を備え、
    前記転送制御部は、
    前記記憶状態管理部が管理する情報に基づいて、前記メモリから前記フィルタ係数記憶部に前記一部の動き補償フィルタ係数を転送する
    請求項１６に記載の動画像符号化装置。
18. 前記動き検出部は、少なくとも前記動き補償に用いる一部の動き補償フィルタ係数を特定する特定情報を生成し、
    前記動画像符号化装置は、さらに、
    動き補償に利用する前記動き補償フィルタ係数毎の、前記動き補償の開始から参照された回数を示す利用履歴情報を管理する参照管理部と、
    前記特定情報により特定された前記一部の動き補償フィルタ係数を前記フィルタ係数記憶部が保持しているかどうかを示す情報を管理する記憶状態管理部とを備え、
    前記転送制御部は、
    前記参照管理部が管理する利用履歴情報と前記記憶状態管理部が管理する情報とに基づいて、前記メモリから前記フィルタ係数記憶部に前記一部の動き補償フィルタ係数を転送する
    請求項１６に記載の動画像符号化装置。
19. 前記動画像符号化装置は、さらに、
    前記複数の動き補償フィルタ係数を可逆符号化する可逆符号化部と、
    前記可逆符号化部により可逆符号化された複数の動き補償フィルタ係数のうち、前記一部の動き補償フィルタ係数を可逆復号し、可逆復号した前記一部の動き補償フィルタ係数を、前記転送制御部を介して前記フィルタ係数記憶部に書き込む可逆復号部とを備え、
    前記転送制御部は、前記可逆符号化された複数の動き補償フィルタ係数を前記メモリに書き出し、前記メモリから前記一部の動き補償フィルタ係数を読み出し、前記可逆復号部に転送する
    請求項１６〜１８のいずれか１項に記載の動画像符号化装置。
20. 動き補償を用いて動画像が符号化された符号化ストリームに対して動き補償を伴う動き補償復号を行う集積回路であって、
    前記符号化ストリームから、動き補償復号に利用される複数の動き補償フィルタ係数を復号する復号部と、
    前記復号部により復号された前記符号化ストリームに含まれる前記複数の動き補償フィルタ係数を保持するためのメモリと、
    前記メモリに保持されている複数の動き補償フィルタ係数のうち、前記動き補償を行うときに必要な一部の動き補償フィルタ係数を保持するためのフィルタ係数記憶部と、
    前記フィルタ係数記憶部に保持された一部の動き補償フィルタ係数を用いて動き補償を行う動き補償部と、
    前記復号部により復号された複数の動き補償フィルタ係数を前記メモリに書き出し、前記フィルタ係数記憶部が前記一部の動き補償フィルタ係数を保持していない場合のみ、前記メモリから前記フィルタ係数記憶部に前記一部の動き補償フィルタ係数を転送する転送制御部とを備える
    集積回路。
21. 動き補償を用いて動画像が符号化された符号化ストリームに対して動き補償を伴う動き補償復号を行う動画像復号方法であって、
    前記符号化ストリームから、動き補償復号に利用される複数の動き補償フィルタ係数を復号する復号ステップと、
    前記復号ステップにおいて復号された前記符号化ストリームに含まれる前記複数の動き補償フィルタ係数をメモリに保持するためのメモリ保持ステップと、
    前記メモリに保持されている前記複数の動き補償フィルタ係数のうち、前記動き補償を行うときに必要な一部の動き補償フィルタ係数をフィルタ係数記憶部に保持するためのフィルタ係数記憶ステップと、
    前記フィルタ係数記憶部に保持された一部の動き補償フィルタ係数を用いて動き補償を行う動き補償ステップと、
    前記復号ステップにおいて復号された複数の動き補償フィルタ係数を前記メモリに書き出し、前記フィルタ係数記憶部が前記動き補償を行うときに必要な前記一部の動き補償フィルタ係数を保持していない場合のみ、前記メモリから前記フィルタ係数記憶部に前記動き補償を行うときに必要な前記一部の動き補償フィルタ係数を転送する転送制御ステップとを含む
    動画像復号方法。

Images