JP5513333B2 - 動画像符号化装置、動画像符号化方法、およびプログラム - Google Patents

Description

本発明は、動画像符号化装置、動画像符号化方法、およびプログラムに関する。

非特許文献１には、フレーム間予測を許容する映像圧縮符号化の標準規格が示されている。フレーム間予測では、既に符号化を行った画像から、符号化対象領域の絵柄に類似した絵柄を有する領域を探し、探した領域の画素値を符号化対象領域の予測値とする。以降では、フレーム間予測により予測誤差を求める処理を、動き補償と呼び、符号化対象領域から符号化済みである類似領域までの空間的なベクトルを、動きベクトル（ＭＶ；Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ）と呼ぶものとする。

非特許文献１に記載の手法では、類似領域の探索（動き探索）の際に、整数サンプリング位置（整数精度画素）の画素値だけでなく、中間的な位置（小数精度画素）の画素値を補間により生成して、この補間により生成した画素値を予測値とすることもできる。非特許文献１に記載の手法では、１／４精度画素までフレーム間予測が許容される。

一方、非特許文献２には、小数精度の動き探索における補間処理（補間フィルタ係数を用いる処理）について、映像特徴などに適応的に処理する手法（適応的な補間フィルタ係数を用いる手法）が示されている。この非特許文献２に記載の手法によれば、上述の非特許文献１に記載の手法と比べて、高い符号化性能を得ることができる。

また、非特許文献３には、第１の手法と、第２の手法と、が示されている。第１の手法では、画面を複数の領域に分割し、分割領域ごとに最適な補間フィルタ係数を算出して設定する。この第１の手法によれば、同一フレーム内で動きといった特徴の異なるオブジェクトが混在している場合に、オブジェクトごとに最適な補間フィルタ係数を設定することができる。このため、同一フレーム内で共通の補間フィルタ係数を設定する、非特許文献１に記載の手法や非特許文献２に記載の手法と比べて、高い符号化性能を得ることができる。ところが、第１の手法では、スライスごとに、分割領域の位置や形状を示す情報を付与する必要があり、画面内で局所的に最適な補間フィルタ係数を設定するために必要な情報量が増加してしまう。

これに対して、第２の手法では、動きベクトルの大きさや向きといった映像特徴ごとに、適切な補間フィルタ係数を算出して設定する。この第２の手法によれば、上述の第１の手法のように画面を複数の領域に分割する必要がないので、分割領域の位置や形状を示す情報が不要となり、画面内で局所的に最適な補間フィルタ係数を設定するために必要な情報量が増加してしまうのを抑制できる。

Joint Video Team(JVT) of ISO/IEC MPEG and ITU-T VCEG, "Text of ISO/IEC 14496-10 Advanced Video Coding," July 2004. Thomas Wedi, "Adaptive Interpolation Filters and High-Resolution Displacements for Video Coding," IEEE Trans. On Circuits and Systems for Video Technology, Vol.16, No.4, April 2006. 松尾他, "符号化情報を利用した適応補間フィルタ改善手法に関する検討", 電子情報通信学会 総合大会2010, March 2010. G. J. Sullivan, Thomas Wiegand, "Rate-Distortion Optimization for Video Compression," IEEE Signal Processing Magazine, pp.74-90, Nov. 1998.

ところが、非特許文献３に示された第２の手法では、補間フィルタ係数の切替精度が不十分であり、符号化性能を十分には向上させることができない場合があった。

そこで、本発明は、上述の課題に鑑みてなされたものであり、画面内で局所的に最適な補間フィルタ係数を設定でき、かつ、画面内で局所的に最適な補間フィルタ係数を設定するために必要な情報量を抑制できる動画像符号化装置、動画像符号化方法、およびプログラムを提供することを目的とする。

本発明は、上記の課題を解決するために、以下の事項を提案している。

（１） 本発明は、フレーム間予測において小数画素位置（例えば、図３の１／２画素位置や１／４画素位置に相当）における補間値の参照を許容する動画像符号化装置であって、小数画素位置ごとに補間フィルタ係数を設定する補間フィルタ係数設定手段（例えば、図２のフィルタ係数算出部２１に相当）と、前記補間フィルタ係数設定手段により設定された補間フィルタ係数を用いて、動き補償予測画像を生成する予測画像生成手段（例えば、図２の動き補償処理部２３に相当）と、を備えることを特徴とする動画像符号化装置を提案している。

この発明によれば、フレーム間予測において小数画素位置における補間値の参照を許容する動画像符号化装置に、補間フィルタ係数設定手段および予測画像生成手段を設けた。そして、補間フィルタ係数設定手段により、小数画素位置ごとに補間フィルタ係数を設定し、予測画像生成手段により、補間フィルタ係数設定手段により設定された補間フィルタ係数を用いて、動き補償予測画像を生成することとした。

このため、（１）の動画像符号化装置は、小数画素位置ごとに最適な補間フィルタ係数を設定することで、画面内で局所的に最適な補間フィルタ係数を設定することができる。また、上述の非特許文献３に示された第１の手法と比べて、分割領域の位置や形状を示す情報をスライスごとに付与する必要がないため、画面内で局所的に最適な補間フィルタ係数を設定するために必要な情報量を抑制できる。

（２） （１）の動画像符号化装置について、前記補間フィルタ係数設定手段は、小数画素位置ごとに、予め定められた複数種類の補間フィルタ係数の中から１つを設定することを特徴とする動画像符号化装置を提案している。

この発明によれば、（１）の動画像符号化装置において、補間フィルタ係数設定手段により、小数画素位置ごとに、予め定められた複数種類の補間フィルタ係数の中から１つを設定することとした。

このため、（２）の動画像符号化装置は、小数画素位置ごとに設定する補間フィルタ係数を、予め定められた複数種類の補間フィルタ係数の中から選択することができる。

（３） （２）の動画像符号化装置について、前記補間フィルタ係数設定手段は、Ｒ−Ｄ最適化法におけるＲ−Ｄコストの評価値に基づいて、小数画素位置ごとに補間フィルタ係数を設定することを特徴とする動画像符号化装置を提案している。

この発明によれば、（２）の動画像符号化装置において、補間フィルタ係数設定手段により、Ｒ−Ｄ最適化法におけるＲ−Ｄコストの評価値に基づいて、小数画素位置ごとに補間フィルタ係数を設定することとした。

このため、（３）の動画像符号化装置は、Ｒ−Ｄ最適化法におけるＲ−Ｄコストの評価値に基づいて、最適な補間フィルタ係数を、小数画素位置ごとに設定することができる。

（４） （２）の動画像符号化装置について、前記補間フィルタ係数設定手段は、予測誤差の絶対値和または２乗和の評価値に基づいて、小数画素位置ごとに補間フィルタ係数を設定することを特徴とする動画像符号化装置を提案している。

この発明によれば、（２）の動画像符号化装置において、補間フィルタ係数設定手段により、予測誤差の絶対値和または２乗和の評価値に基づいて、小数画素位置ごとに補間フィルタ係数を設定することとした。

このため、（４）の動画像符号化装置は、予測誤差の絶対値和または２乗和の評価値に基づいて、最適な補間フィルタ係数を、小数画素位置ごとに設定することができる。

（５） （３）または（４）の動画像符号化装置について、前記補間フィルタ係数設定手段は、画面全体で前記評価値を評価し、評価結果に基づいて、小数画素位置ごとに補間フィルタ係数を設定することを特徴とする動画像符号化装置を提案している。

この発明によれば、（３）または（４）の動画像符号化装置において、補間フィルタ係数設定手段により、画面全体で評価値を評価し、評価結果に基づいて、小数画素位置ごとに補間フィルタ係数を設定することとした。

このため、（５）の動画像符号化装置は、（３）または（４）の評価値を画面全体で評価し、評価結果に基づいて、小数画素位置ごとに設定する補間フィルタ係数を設定する。したがって、画面内で局所的に最適な補間フィルタ係数を設定しつつ、画面全体としても最適な補間フィルタ係数を設定することができる。

（６） （３）または（４）の動画像符号化装置について、前記補間フィルタ係数設定手段は、各小数画素位置を参照する動きベクトルに限定して前記評価値を評価し、評価結果に基づいて、小数画素位置ごとに補間フィルタ係数を設定することを特徴とする動画像符号化装置を提案している。

この発明によれば、（３）または（４）の動画像符号化装置において、補間フィルタ係数設定手段により、各小数画素位置を参照する動きベクトルに限定して評価値を評価し、評価結果に基づいて、小数画素位置ごとに補間フィルタ係数を設定することとした。

このため、（６）の動画像符号化装置は、（３）または（４）の評価値を各小数画素位置を参照する動きベクトルに限定して評価し、評価結果に基づいて、小数画素位置ごとに設定する補間フィルタ係数を設定することができる。

（７） 本発明は、フレーム間予測において小数画素位置（例えば、図３の１／２画素位置や１／４画素位置に相当）における補間値の参照を許容する動画像符号化方法であって、小数画素位置ごとに補間フィルタ係数を設定する第１のステップ（例えば、図８のステップＳ４の処理に相当）と、前記第１のステップにおいて設定した補間フィルタ係数を用いて、動き補償予測画像を生成する第２のステップ（例えば、図８のステップＳ６の処理に相当）と、を備えることを特徴とする動画像符号化方法を提案している。

この発明によれば、小数画素位置ごとに補間フィルタ係数を設定し、設定した補間フィルタ係数を用いて、動き補償予測画像を生成することとした。これによれば、上述した効果と同様の効果を奏することができる。

（８） 本発明は、フレーム間予測において小数画素位置（例えば、図３の１／２画素位置や１／４画素位置に相当）における補間値の参照を許容する動画像符号化方法を、コンピュータに実行させるためのプログラムであって、小数画素位置ごとに補間フィルタ係数を設定する第１のステップ（例えば、図８のステップＳ４の処理に相当）と、前記第１のステップにおいて設定した補間フィルタ係数を用いて、動き補償予測画像を生成する第２のステップ（例えば、図８のステップＳ６の処理に相当）と、をコンピュータに実行させるためのプログラムを提案している。

この発明によれば、プログラムをコンピュータに実行させることで、小数画素位置ごとに補間フィルタ係数を設定し、設定した補間フィルタ係数を用いて、動き補償予測画像を生成することとした。これによれば、上述した効果と同様の効果を奏することができる。

本発明によれば、画面内で局所的に最適な補間フィルタ係数を設定でき、かつ、画面内で局所的に最適な補間フィルタ係数を設定するために必要な情報量を抑制できる。

本発明の一実施形態に係る動画像符号化装置の構成を示すブロック図である。 前記動画像符号化装置が備えるインター符号化予測値生成部の構成を示すブロック図である。 １／４精度動き補償における小数画素位置を示す図である。 予め定められた複数種類の補間フィルタ係数の一例を示す図である。 小数画素位置ごとに補間フィルタ係数を設定した一例を示す図である。 小数画素位置ごとに補間フィルタ係数を設定した一例を示す図である。 小数画素位置ごとに補間フィルタ係数を設定した一例を示す図である。 前記動画像符号化装置の動作を示すフローチャートである。 本発明の一実施形態に係る動画像復号装置の構成を示すブロック図である。 前記動画像復号装置が備えるインター予測値生成部の構成を示すブロック図である。

以下、本発明の実施の形態について図面を参照しながら説明する。なお、以下の実施形態における構成要素は適宜、既存の構成要素等との置き換えが可能であり、また、他の既存の構成要素との組合せを含む様々なバリエーションが可能である。したがって、以下の実施形態の記載をもって、特許請求の範囲に記載された発明の内容を限定するものではない。

［動画像符号化装置ＡＡの構成］
図１は、本発明の一実施形態に係る動画像符号化装置ＡＡの構成を示すブロック図である。動画像符号化装置ＡＡは、イントラ符号化予測値生成部１、インター符号化予測値生成部２、モード判定制御部３、ＤＣＴ／量子化部４、ＩＤＣＴ／逆量子化部５、エントロピー符号化部６、第１のローカルメモリ７、および第２のローカルメモリ８を備え、マクロブロック単位で符号化を行う。

イントラ符号化予測値生成部１は、入力映像ａと、符号化済みブロックにおける局所復号値ｄと、符号化済みブロックにおける予測方向情報ｅと、を入力とする。このイントラ符号化予測値生成部１は、符号化済みブロックにおける局所復号値ｄに基づいて、予測値を生成し、生成した予測値と入力信号との差分を求めることで、符号化歪みを算出する。そして、算出した符号化歪みと、符号化済みブロックにおける予測方向情報ｅと、に基づいて、符号化に要する符号化コスト値ｈを算出する。そして、イントラ予測値ｆと、イントラ予測情報（動きベクトルを含む）ｇと、符号化コスト値ｈと、を出力する。

インター符号化予測値生成部２は、入力映像ａと、符号化済みブロックにおける局所復号値ｄと、符号化済みブロックにおける予測方向情報ｅと、を入力とする。このインター符号化予測値生成部２は、これら入力に基づいて、インター予測値ｉと、インター予測情報（動きベクトルを含む）ｊと、係数情報ｂと、符号化コスト値ｍと、を出力する。係数情報ｂには、小数画素位置ごとに設定した補間フィルタ係数が含まれる。

図２は、インター符号化予測値生成部２の構成を示すブロック図である。インター符号化予測値生成部２は、フィルタ係数算出部２１、小数位置補間値生成部２２、および動き補償処理部２３を備える。

フィルタ係数算出部２１は、入力映像ａと、符号化済みブロックにおける局所復号値ｄと、を入力とする。このフィルタ係数算出部２１は、これら入力に基づいて、小数画素位置ごとに補間フィルタ係数を設定し、小数画素位置ごとに設定した補間フィルタ係数を含む係数情報ｂを出力する。小数画素位置ごとに補間フィルタ係数を設定する方法としては、例えば、上述の非特許文献４に示されたＲ−Ｄ最適化法に基づく設定方法や、予測誤差情報に基づく設定方法を適用することができる。

＜Ｒ−Ｄ最適化法に基づく設定方法＞
Ｒ−Ｄ最適化法に基づく設定方法には、フレームでのＲ−Ｄコスト比較による設定方法と、各小数画素位置を参照する動きベクトルに限定したＲ−Ｄコスト比較による設定方法と、がある。

（フレームでのＲ−Ｄコスト比較による設定方法）
フレームでのＲ−Ｄコスト比較による設定方法では、まず、同一フレーム内の全ての小数画素位置のそれぞれについて、予め定められた複数種類の補間フィルタ係数のそれぞれを用いて符号化する。例えば、Ｎ種類の補間フィルタ係数について、Ｍ個の小数画素位置が存在する場合には、Ｎ^Ｍ通りの符号化を行うこととなる。なお、上述の予め定められた複数種類の補間フィルタ係数は、例えば非特許文献１に記載の手法により、定めることができる。

次に、符号化に用いた補間フィルタ係数ごとに、フレーム全体での符号量Ｒおよび符号化歪み（原画像と符号化画像との差分二乗和）Ｄを算出し、式（１）に示すＲ−Ｄコスト関数を用いてＲ−Ｄコスト値Ｊを算出する。なお、式（１）において、λは、量子化パラメータによって定まるラグランジュ乗数である。

次に、小数画素位置ごとに、符号化に用いた補間フィルタ係数ごとのＲ−Ｄコスト値Ｊを比較して、Ｒ−Ｄコスト値Ｊの最も小さい補間フィルタ係数を、その小数画素位置における補間フィルタ係数として設定する。

ここで、Ｒ−Ｄコスト値は、マクロブロックごとに独立であり、フレーム全体のＲ−Ｄコスト値は、同一フレーム内の各マクロブロックにおけるＲ−Ｄコスト値の合計に等しくなる。このため、十分な性能を得られない場合のＲ−Ｄコスト値の算出（符号化処理）について、途中で打ち切ることができる。

具体的には、ある補間フィルタ係数を用いた符号化において、各マクロブロックの符号化が完了するたびに、Ｒ−Ｄコスト値を加算する。そして、Ｒ−Ｄコスト値の総計が、フレーム全体のＲ−Ｄコスト値の算出を完了した場合におけるＲ−Ｄコスト値を上回った場合には、符号化中である補間フィルタ係数が選択されることはないので、この補間フィルタ係数についてのＲ−Ｄコスト値の算出を打ち切ることができる。これによれば、各小数画素位置における補間フィルタ係数を設定する際の処理量を、削減することができる。

（各小数画素位置を参照する動きベクトルに限定したＲ−Ｄコスト比較による設定方法）
各小数画素位置を参照する動きベクトルに限定したＲ−Ｄコスト比較による設定方法では、まず、フレーム単位でＲ−Ｄコスト値Ｊを算出する。例えば、Ｐ種類の補間フィルタ係数について、Ｑ個の小数画素位置が存在する場合には、Ｐ×Ｑ通りの符号化を行うこととなる。なお、上述の予め定められた複数種類の補間フィルタ係数は、例えば、非特許文献１に記載の手法により、定めることができる。また、小数画素位置のうち、補間フィルタ係数を設定する小数画素位置を除くものについては、上述の非特許文献１に記載の手法により求めることのできる補間フィルタ係数を用いる。また、Ｒ−Ｄコスト値Ｊの算出は、上述の式（１）により行う。

次に、小数画素位置ごとに、符号化に用いた補間フィルタ係数ごとのＲ−Ｄコスト値Ｊを比較して、Ｒ−Ｄコスト値Ｊの最も小さい補間フィルタ係数を、その小数画素位置における補間フィルタ係数として設定する。

なお、各小数画素位置に限定したＲ−Ｄコスト比較による設定方法では、上述のフレームでのＲ−Ｄコスト比較による設定方法と同様に、十分な性能を得られない場合のＲ−Ｄコスト値の算出（符号化処理）を途中で打ち切って、各小数画素位置における補間フィルタ係数を設定する際の処理量を、削減することができる。

＜予測誤差情報に基づく設定方法＞
予測誤差情報に基づく設定方法には、フレームでの予測誤差情報比較による設定方法と、各小数画素位置を参照する動きベクトルに限定した予測誤差情報比較による設定方法と、がある。ここで、予測誤差情報とは、予測誤差に関する絶対値和（ＳＡＤ；Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）、または、予測誤差に関する２乗誤差和（ＳＳＤ；Ｓｕｍ ｏｆ Ｓｑｕａｒｅ Ｄｉｆｆｅｒｅｎｃｅ）のことである。

（フレームでの予測誤差情報比較による設定方法）
フレームでの予測誤差情報比較による設定方法では、まず、上述のフレームでのＲ−Ｄコスト比較による設定方法と同様に、同一フレーム内の全ての小数画素位置のそれぞれについて、予め定められた複数種類の補間フィルタ係数のそれぞれを用いて符号化する。次に、符号化に用いた補間フィルタ係数ごとに、フレーム全体でのＳＡＤまたはＳＳＤを算出する。

次に、小数画素位置ごとに、符号化に用いた補間フィルタ係数ごとのＳＡＤまたはＳＳＤを比較して、ＳＡＤまたはＳＳＤの最も小さい補間フィルタ係数を、その小数画素位置における補間フィルタ係数として設定する。

なお、フレームでの予測誤差情報比較による設定方法では、上述のフレームでのＲ−Ｄコスト比較による設定方法と同様に、十分な性能を得られない場合のＳＡＤまたはＳＳＤの算出を途中で打ち切って、各小数画素位置における補間フィルタ係数を設定する際の処理量を、削減することができる。

（各小数画素位置を参照する動きベクトルに限定した予測誤差情報比較による設定方法）
各小数画素位置を参照する動きベクトルに限定した予測誤差情報比較による設定方法では、まず、上述の各小数画素位置を参照する動きベクトルに限定したＲ−Ｄコスト比較による設定方法と同様に、フレーム単位でＳＡＤまたはＳＳＤを算出する。なお、小数画素位置のうち、補間フィルタ係数を設定する小数画素位置を除くものについては、上述の非特許文献１に記載の手法により求めることのできる補間フィルタ係数を用いる。

次に、小数画素位置ごとに、符号化に用いた補間フィルタ係数ごとのＳＡＤまたはＳＳＤを比較して、ＳＡＤまたはＳＳＤの最も小さい補間フィルタ係数を、その小数画素位置における補間フィルタ係数として設定する。

なお、フレームでの予測誤差情報比較による設定方法では、上述の各小数画素位置を参照する動きベクトルに限定したＲ−Ｄコスト比較による設定方法と同様に、十分な性能を得られない場合のＳＡＤまたはＳＳＤの算出を途中で打ち切って、各小数画素位置における補間フィルタ係数を設定する際の処理量を、削減することができる。

図３は、１／４精度動き補償における小数画素位置を示す図である。１／４精度動き補償においては、１つの整数画素位置に対して１５種類の小数画素位置Ｘ１〜Ｘ１５が存在する。

ここで、上述の予め定められた複数種類の補間フィルタ係数として、図４の（ａ）に示す第１の補間フィルタ係数と、図４の（ｂ）に示す第２の補間フィルタ係数と、が定められたものとする。すると、フィルタ係数算出部２１は、上述のフレームでのＲ−Ｄコスト比較による設定方法や、上述の各小数画素位置を参照する動きベクトルに限定したＲ−Ｄコスト比較による設定方法や、上述のフレームでの予測誤差情報比較による設定方法や、上述の各小数画素位置を参照する動きベクトルに限定した予測誤差情報比較による設定方法により、小数画素位置Ｘ１〜Ｘ１５のそれぞれについて、第１の補間フィルタ係数または第２の補間フィルタ係数を設定することとなる。

図５、図６、図７は、小数画素位置Ｘ１〜Ｘ１５のそれぞれについて、第１の補間フィルタ係数または第２の補間フィルタ係数を設定した一例を示す図である。

図２に戻って、小数位置補間値生成部２２は、係数情報ｂと、符号化済みブロックにおける局所復号値ｄと、を入力とする。この小数位置補間値生成部２２は、符号化済みブロックにおける局所復号値ｄに対して、係数情報ｂに含まれる小数画素位置ごとの補間フィルタ係数を用いて小数画素位置における補間値を生成し、局所復号値ｄに関する小数画素位置における補間値ｑとして出力する。

動き補償処理部２３は、入力映像ａと、符号化済みブロックにおける局所復号値ｄと、符号化済みブロックにおける予測方向情報ｅと、局所復号値ｄに関する小数画素位置における補間値ｑと、を入力とする。この動き補償処理部２３は、入力映像ａと、符号化済みブロックにおける局所復号値ｄと、局所復号値ｄに関する小数画素位置における補間値ｑと、に基づいて、この符号化済みブロックにおける動き補償予測を行って動きベクトルを求める。そして、求めた動きベクトルと、符号化済みブロックにおける予測方向情報ｅから求められる予測ベクトルと、の差分を計算し、符号化すべきインター予測情報を求める。また、予測誤差および発生符号量に基づいて、インター符号化におけるコスト値を求める。そして、インター予測値ｉ、インター予測情報（動きベクトルを含む）ｊ、および符号化コスト値ｍとして出力する。

図１に戻って、モード判定制御部３は、イントラ符号化予測値生成部１から出力される符号化コスト値ｈと、インター符号化予測値生成部２から出力される符号化コスト値ｍと、を入力とする。このモード判定制御部３は、これら入力される符号化コスト値ｈ、ｍの比較を行い、処理ブロックに適する符号化モードを選択する。

ＤＣＴ／量子化部４は、入力映像ａと、イントラ予測値ｆおよびインター予測値ｉのうちモード判定制御部３により選択された符号化モードに応じたものと、の差分を入力とする。ここで、イントラ予測値ｆおよびインター予測値ｉのうちモード判定制御部３により選択された符号化モードに応じたものとは、モード判定制御部３によりイントラ符号化が選択された場合にはイントラ予測値ｆのことであり、モード判定制御部３によりインター符号化が選択された場合にはインター予測値ｉのことである。このＤＣＴ／量子化部４は、入力される信号に対してＤＣＴ処理および量子化処理を施し、量子化されたＤＣＴ係数（残差信号）ｎとして出力する。

ＩＤＣＴ／逆量子化部５は、量子化されたＤＣＴ係数（残差信号）ｎを入力とする。このＩＤＣＴ／逆量子化部５は、入力される信号に対して逆量子化処理および逆ＤＣＴ処理を施し、逆ＤＣＴされた画素信号ｐとして出力する。

エントロピー符号化部６は、係数情報ｂと、量子化されたＤＣＴ係数（残差信号）ｎと、イントラ予測情報ｇおよびインター予測情報ｊのうちモード判定制御部３により選択された符号化モードに応じたものと、を入力とする。ここで、イントラ予測情報ｇおよびインター予測情報ｊのうちモード判定制御部３により選択された符号化モードに応じたものとは、モード判定制御部３によりイントラ符号化が選択された場合にはイントラ予測情報ｇのことであり、モード判定制御部３によりインター符号化が選択された場合にはインター予測情報ｊのことである。このエントロピー符号化部６は、入力される信号に対してエントロピー符号化を行ったり、小数画素位置ごとに設定された補間フィルタ係数をスライスヘッダに記述してエントロピー符号化を行ったりして、符号化データｃとして出力する。

第１のローカルメモリ７は、イントラ予測値ｆおよびインター予測値ｉのうちモード判定制御部３により選択された符号化モードに応じたものと、逆ＤＣＴされた画素信号ｐと、の和をとった信号、すなわち符号化済みブロックにおける局所復号値ｄを入力とする。この第１のローカルメモリ７は、符号化済みブロックにおける局所復号値ｄを蓄積し、適宜、イントラ符号化予測値生成部１およびインター符号化予測値生成部２に供給する。

第２のローカルメモリ８は、イントラ予測情報ｇおよびインター予測情報ｊのうちモード判定制御部３により選択された符号化モードに応じたもの、すなわち符号化済みブロックにおける予測方向情報ｅを入力とする。ここで、イントラ予測情報ｇおよびインター予測情報ｊのうちモード判定制御部３により選択された符号化モードに応じたものとは、モード判定制御部３によりイントラ符号化が選択された場合にはイントラ予測情報ｇのことであり、モード判定制御部３によりインター符号化が選択された場合にはインター予測情報ｊのことである。この第２のローカルメモリ８は、符号化済みブロックにおける予測方向情報ｅを蓄積し、適宜、イントラ符号化予測値生成部１およびインター符号化予測値生成部２に供給する。

［動画像符号化装置ＡＡの動作］
図８は、動画像符号化装置ＡＡの動作を示すフローチャートである。

ステップＳ１において、動画像符号化装置ＡＡは、モード判定制御部３により、処理ブロックに適する符号化モードがインター符号化であるか否かを判別する。そして、インター符号化であると判別した場合には、ステップＳ３に処理を移し、インター符号化ではないと判別した場合には、ステップＳ２に処理を移す。

ステップＳ２において、動画像符号化装置ＡＡは、イントラ符号化予測値生成部１によりイントラ符号化を行った結果をエントロピー符号化部６に出力し、図８の処理を終了する。

ステップＳ３において、動画像符号化装置ＡＡは、インター符号化予測値生成部２により、例えば非特許文献１に記載の手法により、複数種類の補間フィルタ係数を定め、ステップＳ４に処理を移す。

ステップＳ４において、動画像符号化装置ＡＡは、インター符号化予測値生成部２により、上述のフレームでのＲ−Ｄコスト比較による設定方法や、上述の各小数画素位置を参照する動きベクトルに限定したＲ−Ｄコスト比較による設定方法や、上述のフレームでの予測誤差情報比較による設定方法や、上述の各小数画素位置を参照する動きベクトルに限定した予測誤差情報比較による設定方法により、小数画素位置ごとに、ステップＳ３において定めた複数種類の補間フィルタ係数の中から最適なものを１つ設定し、ステップＳ５に処理を移す。

ステップＳ５において、動画像符号化装置ＡＡは、インター符号化予測値生成部２により、全ての小数画素位置について、補間フィルタ係数を設定したか否かを判別する。そして、設定したと判別した場合には、ステップＳ６に処理を移し、設定していないと判別した場合には、ステップＳ４に処理を移す。

ステップＳ６において、動画像符号化装置ＡＡは、ステップＳ４において設定した補間フィルタ係数を用いてインター符号化予測値生成部２によりインター符号化を行った結果をエントロピー符号化部６に出力し、図８の処理を終了する。

［動画像復号装置ＢＢの構成］
図９は、本発明の一実施形態に係る動画像復号装置ＢＢの構成を示すブロック図である。動画像復号装置ＢＢは、符号化データ解析部１１０、予測手法制御部１２０、インター予測値生成部１３０、イントラ予測値生成部１４０、およびメモリ１５０を備え、動画像符号化装置ＡＡにおいて生成された符号化データｃを復号する。

符号化データ解析部１１０は、符号化データｃを入力とする。この符号化データ解析部１１０は、まず、符号化シンタックスに従って、符号化データｃに記載されている内容を解析し、エントロピー復号する。そして、エントロピー復号の結果として得られる、エントロピー復号された残差信号Ｂと、上述の小数画素位置ごとに設定された補間フィルタ係数Ｃと、エントロピー復号された予測情報Ｄと、を出力する。

予測手法制御部１２０は、エントロピー復号された予測情報Ｄを入力とする。この予測手法制御部１２０は、エントロピー復号された予測情報Ｄが、イントラ予測に関するものであるのか、インター予測に関するものであるのかを識別し、イントラ予測とインター予測とを切り替えるための制御信号Ｅを出力する。

インター予測値生成部１３０には、小数画素位置ごとに設定された補間フィルタ係数Ｃが入力されるとともに、制御信号Ｅに応じて、復号済み画素値Ａと、エントロピー復号された予測情報Ｄと、が入力される場合がある。具体的には、復号済み画素値Ａと、エントロピー復号された予測情報Ｄとは、エントロピー復号された予測情報Ｄがインター予測に関するものであると予測手法制御部１２０により識別された場合に、インター予測値生成部１３０に入力される。このインター予測値生成部１３０は、復号済み画素値Ａを元に、エントロピー復号された予測情報Ｄに従ってインター予測値Ｆを生成し、出力する。

図５は、インター予測値生成部１３０の構成を示すブロック図である。インター予測値生成部１３０は、小数位置補間値生成部１３１および動き補償処理部１３２を備える。

小数位置補間値生成部１３１は、復号済み画素値Ａと、小数画素位置ごとに設定された補間フィルタ係数Ｃと、を入力とする。この小数位置補間値生成部１３１は、復号済み画素値Ａに対して、小数画素位置ごとに設定された補間フィルタ係数Ｃに従って、復号済み画素値Ａに関する小数画素位置における補間値Ｈを生成し、出力する。

動き補償処理部１３２は、復号済み画素値Ａと、小数画素位置ごとに設定された補間フィルタ係数Ｃと、エントロピー復号された予測情報Ｄと、復号済み画素値Ａに関する小数画素位置における補間値Ｈと、を入力とする。この動き補償処理部１３２は、エントロピー復号された予測情報Ｄから生成される動きベクトルに基づいて、復号済み画素値Ａを参照してインター予測値Ｆを生成し、出力する。

図９に戻って、イントラ予測値生成部１４０には、制御信号Ｅに応じて、復号済み画素値Ａと、エントロピー復号された予測情報Ｄと、が入力される場合がある。具体的には、復号済み画素値Ａと、エントロピー復号された予測情報Ｄとは、エントロピー復号された予測情報Ｄがイントラ予測に関するものであると予測手法制御部１２０により識別された場合に、イントラ予測値生成部１４０に入力される。このイントラ予測値生成部１４０は、復号済み画素値Ａを元に、エントロピー復号された予測情報Ｄに従ってイントラ予測値Ｇを生成し、出力する。

メモリ１５０は、エントロピー復号された残差信号Ｂと、インター予測値Ｆおよびイントラ予測値Ｇのうち制御信号Ｅに応じたものと、の和をとった信号、すなわち復号済み画素値Ａを入力とする。ここで、インター予測値Ｆおよびイントラ予測値Ｇのうち制御信号Ｅに応じたものとは、エントロピー復号された予測情報Ｄがインター予測に関するものであると予測手法制御部１２０により識別された場合には、インター予測値Ｆのことであり、エントロピー復号された予測情報Ｄがイントラ予測に関するものであると予測手法制御部１２０により識別された場合には、イントラ予測値Ｇのことである。メモリ１５０は、入力された復号済み画素値Ａを蓄積し、未復号ブロックの復号処理を行う際に、適宜、インター予測値生成部１３０またはイントラ予測値生成部１４０に供給する。

以上の動画像符号化装置ＡＡによれば、小数画素位置ごとに、予め定められた複数種類の補間フィルタ係数の中から最適なものを選択し、小数画素位置ごとに補間フィルタ係数を設定する。このため、画面内で局所的に最適な補間フィルタ係数を設定することができる。

また、動画像符号化装置ＡＡによれば、非特許文献３に示された第１の手法と比べて、分割領域の位置や形状を示す情報をスライスごとに付与する必要がないため、画面内で局所的に最適な補間フィルタ係数を設定するために必要な情報量を抑制できる。

なお、本発明の動画像符号化装置ＡＡの処理や、動画像復号装置ＢＢの処理を、コンピュータ読み取り可能な記録媒体に記憶し、記録媒体に記録されたプログラムを動画像符号化装置ＡＡや、動画像復号装置ＢＢに読み込ませ、実行することによって、本発明を実現できる。

また、上述のプログラムは、このプログラムを記憶装置などに格納した動画像符号化装置ＡＡや動画像復号装置ＢＢから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネットなどのネットワーク（通信網）や電話回線などの通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。

また、上述のプログラムは、上述の機能の一部を実現するためのものであってもよい。さらに、上述の機能を動画像符号化装置ＡＡや動画像復号装置ＢＢにすでに記録されているプログラムとの組合せで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

以上、この発明の実施形態につき、図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計なども含まれる。

例えば、上述の実施形態では、１／４精度動き補償を行う場合について説明したが、これに限らず、例えば１／２精度動き補償や１／８精度動き補償を行う場合についても、本発明を適用することができる。また、上述の実施形態では、予め定められた複数種類の補間フィルタ係数として、２種類の補間フィルタ係数を用いる場合について説明したが、これに限らず、２種類以上の補間フィルタ係数を用いる場合について、本発明を適用することができる。なお、予め定められた補間フィルタ係数の数が、小数画素位置の数より多くなることが好ましい。

また、上述の実施形態では、小数画素位置ごとの補間フィルタ係数について、上述のフレームでのＲ−Ｄコスト比較による設定方法や、上述の各小数画素位置を参照する動きベクトルに限定したＲ−Ｄコスト比較による設定方法や、上述のフレームでの予測誤差情報比較による設定方法や、上述の各小数画素位置を参照する動きベクトルに限定した予測誤差情報比較による設定方法により、設定するものとしたが、これに限らない。例えば、上述のような設定方法により、小数画素位置ごとに補間フィルタ係数を決定した後に、決定した補間フィルタ係数の数が、予め定められた複数種類の補間フィルタ係数の種類間で略等しくなるように、決定した補間フィルタ係数を適宜変更して、小数画素位置ごとに補間フィルタ係数を設定してもよい。これによれば、予め定められた複数種類の補間フィルタ係数のそれぞれについて、小数画素位置ごとに設定された数が略等しくなる。このため、予め定められた複数種類の補間フィルタ係数において、小数画素位置ごとに設定される補間フィルタ係数の種類に偏りが発生してしまうのを防止できる。したがって、仮に、設定した補間フィルタ係数が小数画素位置にとって最適ではなかった場合でも、符号化性能の低下を抑制できる。よって、画面内で局所的に最適な補間フィルタ係数を設定しつつ、画面全体としても最適な補間フィルタ係数を設定することができる。

また、上述の各実施形態では、動き補償予測におけるフィルタ処理に本発明を適用する場合について説明したが、これに限らず、本発明は、スケーラブル符号化におけるレイヤ間予測や、多視点映像符号化における視差補償予測など、動き補償予測と同様の処理に対しても適用することができる。

ＡＡ・・・動画像符号化装置
ＢＢ・・・動画像復号装置
１・・・イントラ符号化予測値生成部
２・・・インター符号化予測値生成部
３・・・モード判定制御部
４・・・ＤＣＴ／量子化部
５・・・ＩＤＣＴ／逆量子化部
６・・・エントロピー符号化部
７・・・第１のローカルメモリ
８・・・第２のローカルメモリ
２１・・・フィルタ係数算出部
２２・・・小数位置補間値生成部
２３・・・動き補償処理部
１１０・・・符号化データ解析部
１２０・・・予測手法制御部
１３０・・・インター予測値生成部
１４０・・・イントラ予測値生成部
１５０・・・メモリ
１３１・・・小数位置補間値生成部
１３２・・・動き補償処理部

Claims (7)

1. フレーム間予測において小数画素位置における補間値の参照を許容する動画像符号化装置であって、
   小数画素位置ごとに補間フィルタ係数を設定する補間フィルタ係数設定手段と、
   前記補間フィルタ係数設定手段により設定された補間フィルタ係数を用いて、動き補償予測画像を生成する予測画像生成手段と、を備え、
   前記補間フィルタ係数設定手段は、
   小数画素位置ごとに、予め定められた複数種類の補間フィルタ係数の中から１つを設定して、
   フレームごとに、小数画素位置ごとに設定した補間フィルタ係数の数を、前記複数種類の補間フィルタ係数の種類間で等しくすることを特徴とする動画像符号化装置。
2. 請求項１に記載の動画像符号化装置において、
   前記補間フィルタ係数設定手段は、Ｒ−Ｄ最適化法におけるＲ−Ｄコストの評価値に基づいて、小数画素位置ごとに補間フィルタ係数を設定することを特徴とする動画像符号化装置。
3. 請求項１に記載の動画像符号化装置において、
   前記補間フィルタ係数設定手段は、予測誤差の絶対値和または２乗和の評価値に基づいて、小数画素位置ごとに補間フィルタ係数を設定することを特徴とする動画像符号化装置。
4. 請求項２または３に記載の動画像符号化装置において、
   前記補間フィルタ係数設定手段は、画面全体で前記評価値を評価し、評価結果に基づいて、小数画素位置ごとに補間フィルタ係数を設定することを特徴とする動画像符号化装置。
5. 請求項２または３に記載の像画像符号化装置において、
   前記補間フィルタ係数設定手段は、各小数画素位置を参照する動きベクトルに限定して前記評価値を評価し、評価結果に基づいて、小数画素位置ごとに補間フィルタ係数を設定することを特徴とする動画像符号化装置。
6. フレーム間予測において小数画素位置における補間値の参照を許容する動画像符号化方法であって、
   小数画素位置ごとに補間フィルタ係数を設定する第１のステップと、
   前記第１のステップにおいて設定した補間フィルタ係数を用いて、動き補償予測画像を生成する第２のステップと、を備え、
   前記第１のステップでは、
   小数画素位置ごとに、予め定められた複数種類の補間フィルタ係数の中から１つを設定して、
   フレームごとに、小数画素位置ごとに設定した補間フィルタ係数の数を、前記複数種類の補間フィルタ係数の種類間で等しくすることを特徴とする動画像符号化方法。
7. フレーム間予測において小数画素位置における補間値の参照を許容する動画像符号化方法を、コンピュータに実行させるためのプログラムであって、
   小数画素位置ごとに補間フィルタ係数を設定する第１のステップと、
   前記第１のステップにおいて設定した補間フィルタ係数を用いて、動き補償予測画像を生成する第２のステップと、をコンピュータに実行させ、
   前記第１のステップでは、
   小数画素位置ごとに、予め定められた複数種類の補間フィルタ係数の中から１つを設定して、
   フレームごとに、小数画素位置ごとに設定した補間フィルタ係数の数を、前記複数種類の補間フィルタ係数の種類間で等しくするためのプログラム。