JP5670226B2 - 動画像符号化装置、動画像符号化方法、およびプログラム - Google Patents

Description

本発明は、動画像符号化装置、動画像符号化方法、およびプログラムに関する。

非特許文献１には、フレーム間予測を許容する映像圧縮符号化の標準規格が示されている。フレーム間予測では、既に符号化を行った画像から、符号化対象領域の絵柄に類似した絵柄を有する領域を探し、探した領域の画素値を符号化対象領域の予測値とする。以降では、フレーム間予測により予測誤差を求める処理を、動き補償と呼び、符号化対象領域から符号化済みである類似領域までの空間的なベクトルを、動きベクトル（ＭＶ；Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ）と呼ぶものとする。

非特許文献１に示されている手法では、類似領域の探索（動き探索）の際に、整数サンプリング位置（整数精度画素）の画素値だけでなく、中間的な位置（小数精度画素）の画素値を補間により生成して、この補間により生成した画素値を予測値とすることもできる。非特許文献１に示されている手法では、１／４精度画素までフレーム間予測が許容される。

一方、非特許文献２には、小数精度の動き探索における補間処理（補間フィルタを用いる処理）について、映像特徴などに適応的に処理する手法（適応的な補間フィルタを用いる手法）が示されている。この非特許文献２に示されている手法によれば、上述の非特許文献１に示されている手法と比べて、高い符号化性能を得ることができる。

Joint Video Team(JVT) of ISO/IEC MPEG and ITU-T VCEG, "Text of ISO/IEC 14496-10 Advanced Video Coding," July 2004. Thomas Wedi, "Adaptive Interpolation Filters and High-Resolution Displacements for Video Coding," IEEE Trans. On Circuits and Systems for Video Technology, Vol.16, No.4, April 2006. Tomonobu Yoshino et. al, "Low-complexity Scheme for Adaptive Interpolation Filter Based on Amplitude Characteristic Analysis", ICIP2010, Sep. 2010 K. Ugur, et.al "Video coding technology proposal by Tandberg, Nokia, and Ericsson", JCTVC-A119, Apr. 2010. M. Karczewicz, et.al "Video coding technology proposal by Qualcomm", JCTVC-A121, Apr. 2010. K. McCann, et.al, "Video coding technology proposal by Samsung (and BBC)", JCTVC-A124, Apr. 2010.

非特許文献２に示されている手法を実現するためには、多大な処理コストが必要となる。一方、動画像符号化装置や動画像復号装置については、実時間処理に対するニーズが高い。このため、これら動画像符号化装置や動画像復号装置に適応的な補間フィルタを適用するためには、補間フィルタ係数の算出に要する処理コストの低減が求められていた。

これに対して、非特許文献３には、映像特徴を解析して、特徴量に応じた補間フィルタ係数を推定する手法が示されている。この手法によれば、適応的な補間フィルタについて、上述の非特許文献２に示されている手法で算出された補間フィルタ係数に類似した特性を有する補間フィルタ係数を、上述の非特許文献２に示されている手法と比べて少ない処理コストで算出することができる。ところが、この手法では、映像特徴によっては推定精度が低下してしまい、不適切な補間フィルタ係数が算出されるおそれがあった。不適切な補間フィルタ係数を有する不適切な補間フィルタを適用することは、符号化性能の低下を招いてしまう。

そこで、本発明は、上述の課題に鑑みてなされたものであり、算出に要する処理コストの低減と、符号化性能の向上と、を実現できる適応的なフィルタを適用できる動画像符号化装置、動画像符号化方法、およびプログラムを提供することを目的とする。

本発明は、上記の課題を解決するために、以下の事項を提案している。

（１） 本発明は、フレーム間予測において予測値に対するフィルタ処理を許容する動画像符号化装置（例えば、図１の動画像符号化装置ＡＡに相当）であって、入力画像および符号化済み画像の周波数特性解析の結果に基づいて、小数精度動き補償補間フィルタ係数を算出するフィルタ係数算出手段（例えば、図２のフィルタ係数推定部２１に相当）と、前記フィルタ係数算出手段により算出された補間フィルタ係数について、動き補償予測性能を評価する予測性能評価手段（例えば、図２の推定フィルタ予測性能評価部２３に相当）と、前記予測性能評価手段による評価結果に基づいて、前記フィルタ係数算出手段による補間フィルタ係数の算出をやり直すか否かを判定するフィルタ係数制御手段（例えば、図２のフィルタ係数制御部２４に相当）と、を備え、前記フィルタ係数算出手段は、前記フィルタ係数制御手段によりやり直すと判定されると（例えば、図３のステップＳ３においてループ継続条件を満たしていると判別された場合に相当）、当該やり直すと判定された補間フィルタ係数を用いて、補間フィルタ係数の算出をやり直し、前記予測性能評価手段は、前記フィルタ係数制御手段によりやり直すと判定されると、当該やり直すと判定された補間フィルタ係数を算出する際に前記フィルタ係数算出手段により用いられた動きベクトル情報および符号化済み画像を用いて、前記フィルタ係数算出手段におけるやり直しにより算出された補間フィルタ係数について、動き補償予測性能を評価することを特徴とする動画像符号化装置を提案している。

この発明によれば、フレーム間予測において予測値に対するフィルタ処理を許容する動画像符号化装置に、フィルタ係数算出手段、予測性能評価手段、およびフィルタ係数制御手段を設けた。そして、フィルタ係数算出手段により、入力画像および符号化済み画像の周波数特性解析の結果に基づいて、小数精度動き補償補間フィルタ係数を算出することとした。特に、フィルタ係数制御手段によりやり直すと判定されると、やり直すと判定された補間フィルタ係数を用いて、補間フィルタ係数の算出をやり直すこととした。また、予測性能評価手段により、フィルタ係数算出手段により算出された補間フィルタ係数について、動き補償予測性能を評価することとした。特に、フィルタ係数制御手段によりやり直すと判定されると、やり直すと判定された補間フィルタ係数を算出する際にフィルタ係数算出手段により用いられた動きベクトル情報および符号化済み画像を用いて、フィルタ係数算出手段におけるやり直しにより算出された補間フィルタ係数について、動き補償予測性能を評価することとした。また、フィルタ係数制御手段により、予測性能評価手段による評価結果に基づいて、フィルタ係数算出手段による補間フィルタ係数の算出をやり直すか否かを判定することとした。

このため、（１）の動画像符号化装置は、入力画像および符号化済み画像の周波数特性解析の結果に基づいて、補間フィルタ係数を算出することができるので、上述の非特許文献３に示されている手法と同様に、補間フィルタ係数の算出に要する処理コストを低減できる。

また、（１）の動画像符号化装置は、フィルタ係数制御手段による判定結果に応じて、補間フィルタ係数の算出をやり直すことができる。このため、不適切な補間フィルタ係数が算出されてしまった場合には、補間フィルタ係数の算出をやり直して、符号化性能を向上させることができる。

（２） 本発明は、（１）の動画像符号化装置について、前記予測性能評価手段は、動き補償誤差に関する絶対値和または誤差二乗和を用いて、動き補償予測性能を評価することを特徴とする動画像符号化装置を提案している。

この発明によれば、予測性能評価手段により、動き補償誤差に関する絶対値和または誤差二乗和を用いて、動き補償予測性能を評価することができる。

（３） 本発明は、（１）または（２）の動画像符号化装置について、前記フィルタ係数制御手段は、前記予測性能評価手段による評価値と、予め定められた閾値と、を比較する第１の判定手順（例えば、後述の第５の条件を満たすか否かを判定する手順に相当）と、前記予測性能評価手段による評価値と、当該予測性能評価手段による前回の評価値と、の差分を求め、当該差分と、予め定められた閾値と、を比較する第２の判定手順（例えば、後述の第２の条件を満たすか否かを判定する手順に相当）と、前記予測性能評価手段による直近Ｎ回（Ｎは、Ｎ≧１を満たす整数）の評価値の変化の幅と、予め定められた閾値と、を比較する第３の判定手順（例えば、後述の第４の条件を満たすか否かを判定する手順に相当）と、前記フィルタ係数制御手段によりやり直すと継続して判定された回数と、予め定められた閾値と、を比較する第４の判定手順（例えば、後述の第１の条件を満たすか否かを判定する手順に相当）と、のうち少なくとも１つを行って、前記算出をやり直すか否かを判定することを特徴とする動画像符号化装置を提案している。

この発明によれば、フィルタ係数制御手段により、第１の判定手順、第２の判定手順、第３の判定手順、および第４の判定手順のうち、少なくとも１つを行って、補間フィルタ係数の算出をやり直すか否かを判定することとした。第１の判定手順とは、予測性能評価手段による評価値と、予め定められた閾値と、を比較する手順のことである。第２の判定手順とは、予測性能評価手段による評価値と、予測性能評価手段による前回の評価値と、の差分を求め、求めた差分と、予め定められた閾値と、を比較する手順のことである。第３の判定手順とは、予測性能評価手段による直近Ｎ回の評価値の変化の幅と、予め定められた閾値と、を比較する手順のことである。第４の判定手順とは、フィルタ係数制御手段によりやり直すと継続して判定された回数と、予め定められた閾値と、を比較する手順のことである。

このため、（３）の動画像符号化装置は、例えば第２の判定手順や第３の判定手順を行うことで、補間フィルタ係数の算出を１回または複数回やり直したにもかかわらず、符号化性能をあまり向上できなかった場合には、やり直しをやめることができるので、補間フィルタ係数の算出に要する処理コストの増加を抑制できる。また、例えば第４の判定手順を行うことで、補間フィルタ係数の算出をやり直す回数を制限することができるので、補間フィルタ係数の算出に要する処理コストの増加を抑制できる。

（４） 本発明は、（１）〜（３）の動画像符号化装置について、予め定められたフィルタ係数（例えば、後述のデフォルトフィルタ係数に相当）について、動き補償予測性能を評価するデフォルト性能評価手段（例えば、図２のデフォルトフィルタ予測性能評価部２２に相当）を備え、前記フィルタ係数制御手段は、前記予測性能評価手段による評価結果と、前記デフォルト性能評価手段による評価結果と、に基づいて、前記フィルタ係数算出手段により算出された補間フィルタ係数と、前記予め定められたフィルタ係数と、のいずれが適当であるかを判定し（例えば、図３のステップＳ１の処理に相当）、前記予め定められたフィルタ係数の方が適当であると判定すると（例えば、図３のステップＳ１においてＶｅがＶｄ以上である場合に相当）、前記算出をやり直すか否かを判定することを特徴とする動画像符号化装置を提案している。

この発明によれば、（１）〜（３）の動画像符号化装置に、予め定められたフィルタ係数について動き補償予測性能を評価するデフォルト性能評価手段をさらに設けた。そして、フィルタ係数制御手段により、まず、予測性能評価手段による評価結果と、デフォルト性能評価手段による評価結果と、に基づいて、フィルタ係数算出手段により算出された補間フィルタ係数と、予め定められたフィルタ係数と、のいずれが適当であるかを判定することとした。次に、予め定められたフィルタ係数の方が適当であると判定すると、算出をやり直すか否かを判定することとした。

このため、（４）の動画像符号化装置は、予め定められたフィルタ係数と比べて、算出した補間フィルタ係数の方が符号化性能を向上できる場合には、この補間フィルタ係数を適用し、算出した補間フィルタ係数と比べて、予め定められたフィルタ係数の方が符号化性能を向上できる場合には、補間フィルタ係数の算出をやり直すことができる。このため、予め定められたフィルタ係数を適切に設定することで、補間フィルタ係数の算出に要する処理コストの低減と、符号化性能の向上と、をより高度に両立させることができる。

（５） 本発明は、フレーム間予測において予測値に対するフィルタ処理を許容する動画像符号化方法であって、入力画像および符号化済み画像の周波数特性解析の結果に基づいて、小数精度動き補償補間フィルタ係数を算出する第１のステップ（例えば、図２のフィルタ係数推定部２１による処理に相当）と、前記第１のステップにおいて算出した補間フィルタ係数について、動き補償予測性能を評価する第２のステップ（例えば、図２の推定フィルタ予測性能評価部２３による処理に相当）と、前記第２のステップにおける評価結果に基づいて、前記第１のステップにおける補間フィルタ係数の算出をやり直すか否かを判定する第３のステップ（例えば、図２のフィルタ係数制御部２４による処理に相当）と、を備え、前記第１のステップでは、前記第３のステップにおいてやり直すと判定すると（例えば、図３のステップＳ３においてループ継続条件を満たしていると判別した場合に相当）、当該やり直すと判定された補間フィルタ係数を用いて、補間フィルタ係数の算出をやり直し、前記第２のステップでは、前記第３のステップにおいてやり直すと判定すると、当該やり直すと判定された補間フィルタ係数を算出する際に前記第１のステップにおいて用いた動きベクトル情報および符号化済み画像を用いて、前記第１のステップのやり直しにより算出された補間フィルタ係数について、動き補償予測性能を評価することを特徴とする動画像符号化方法を提案している。

この発明によれば、まず、入力画像および符号化済み画像の周波数特性解析の結果に基づいて、小数精度動き補償補間フィルタ係数を算出する。次に、算出した補間フィルタ係数について、動き補償予測性能を評価する。次に、評価結果に基づいて、補間フィルタ係数の算出をやり直すか否かを判定する。そして、やり直すと判定すると、やり直すと判定された補間フィルタ係数を用いて、補間フィルタ係数の算出をやり直すとともに、やり直すと判定された補間フィルタ係数を算出する際に用いた動きベクトル情報および符号化済み画像を用いて、やり直しにより算出された補間フィルタ係数について、動き補償予測性能を評価する。これによれば、上述した効果と同様の効果を奏することができる。

（６） 本発明は、フレーム間予測において予測値に対するフィルタ処理を許容する動画像符号化方法を、コンピュータに実行させるためのプログラムであって、入力画像および符号化済み画像の周波数特性解析の結果に基づいて、小数精度動き補償補間フィルタ係数を算出する第１のステップ（例えば、図２のフィルタ係数推定部２１による処理に相当）と、前記第１のステップにおいて算出した補間フィルタ係数について、動き補償予測性能を評価する第２のステップ（例えば、図２の推定フィルタ予測性能評価部２３による処理に相当）と、前記第２のステップにおける評価結果に基づいて、前記第１のステップにおける補間フィルタ係数の算出をやり直すか否かを判定する第３のステップ（例えば、図２のフィルタ係数制御部２４による処理に相当）と、をコンピュータに実行させ、前記第１のステップでは、前記第３のステップにおいてやり直すと判定すると（例えば、図３のステップＳ３においてループ継続条件を満たしていると判別した場合に相当）、当該やり直すと判定された補間フィルタ係数を用いて、補間フィルタ係数の算出をやり直させ、前記第２のステップでは、前記第３のステップにおいてやり直すと判定すると、当該やり直すと判定された補間フィルタ係数を算出する際に前記第１のステップにおいて用いた動きベクトル情報および符号化済み画像を用いて、前記第１のステップのやり直しにより算出された補間フィルタ係数について、動き補償予測性能を評価させるためのプログラムを提案している。

この発明によれば、プログラムをコンピュータに実行させることで、まず、入力画像および符号化済み画像の周波数特性解析の結果に基づいて、小数精度動き補償補間フィルタ係数を算出する。次に、算出した補間フィルタ係数について、動き補償予測性能を評価する。次に、評価結果に基づいて、補間フィルタ係数の算出をやり直すか否かを判定する。そして、やり直すと判定すると、やり直すと判定された補間フィルタ係数を用いて、補間フィルタ係数の算出をやり直すとともに、やり直すと判定された補間フィルタ係数を算出する際に用いた動きベクトル情報および符号化済み画像を用いて、やり直しにより算出された補間フィルタ係数について、動き補償予測性能を評価する。これによれば、上述した効果と同様の効果を奏することができる。

本発明によれば、補間フィルタ係数の算出に要する処理コストの低減と、符号化性能の向上と、を実現できる。

本発明の一実施形態に係る動画像符号化装置の構成を示すブロック図である。 前記動画像符号化装置が備えるインター符号化予測値生成部の構成を示すブロック図である。 前記インター符号化予測値生成部が備えるフィルタ係数制御部の動作を示すフローチャートである。 本発明の一実施形態に係る動画像復号装置の構成を示すブロック図である。

以下、本発明の実施の形態について図面を参照しながら説明する。なお、以下の実施形態における構成要素は適宜、既存の構成要素等との置き換えが可能であり、また、他の既存の構成要素との組合せを含む様々なバリエーションが可能である。したがって、以下の実施形態の記載をもって、特許請求の範囲に記載された発明の内容を限定するものではない。

［動画像符号化装置ＡＡの構成］
図１は、本発明の一実施形態に係る動画像符号化装置ＡＡの構成を示すブロック図である。動画像符号化装置ＡＡは、イントラ符号化予測値生成部１、インター符号化予測値生成部２、モード判定制御部３、ＤＣＴ／量子化部４、ＩＤＣＴ／逆量子化部５、エントロピー符号化部６、第１のローカルメモリ７、および第２のローカルメモリ８を備える。

イントラ符号化予測値生成部１は、入力画像ａと、符号化済みブロックにおける局所復号値ｃと、符号化済みブロックにおける予測方向情報ｄと、を入力とする。このイントラ符号化予測値生成部１は、符号化済みブロックにおける局所復号値ｃに基づいて、予測値を生成し、生成した予測値と入力信号との差分を求めることで、符号化歪みを算出する。そして、算出した符号化歪みと、符号化済みブロックにおける予測方向情報ｄと、に基づいて、符号化に要する符号化コスト値ｇを算出する。そして、イントラ予測値ｅと、イントラ予測情報（動きベクトルを含む）ｆと、符号化コスト値ｇと、を出力する。

インター符号化予測値生成部２は、入力画像ａと、符号化済みブロックにおける局所復号値ｃと、符号化済みブロックにおける予測方向情報ｄと、を入力とする。このインター符号化予測値生成部２は、これら入力に基づいて、インター予測値ｈと、インター予測情報（動きベクトルを含む）ｉと、補間フィルタ係数ｊと、符号化コスト値ｋと、を出力する。

図２は、インター符号化予測値生成部２の構成を示すブロック図である。インター符号化予測値生成部２は、フィルタ係数推定部２１、デフォルトフィルタ予測性能評価部２２、推定フィルタ予測性能評価部２３、フィルタ係数制御部２４、および動き補償処理部２５を備える。

フィルタ係数推定部２１は、入力画像ａと、符号化済みブロックにおける局所復号値ｃと、符号化済みブロックにおける予測方向情報ｄと、を入力とする。また、フィルタ係数推定部２１には、後述の推定補間フィルタ係数ｐが入力される場合がある。

推定補間フィルタ係数ｐが入力されていない場合、すなわちフィルタ係数制御部２４により後述のループバック制御が行われなかった場合、より具体的には現在の処理フレームに対する補間フィルタ係数の推定が１回目の場合には、フィルタ係数推定部２１は、符号化済みブロックにおける局所復号値ｃと、符号化済みブロックにおける予測方向情報ｄと、デフォルトフィルタ係数と、に基づいて動き補償誤差を推定する。そして、この動き補償誤差の周波数特性解析を行うとともに、入力画像ａの周波数特性解析を行う。そして、これら周波数特性解析の結果に基づいて、補間フィルタ係数の推定を行って、推定補間フィルタ係数ｐとして出力する。なお、本実施形態では、上述のデフォルトフィルタ係数として、Ｈ．２６４に用いられるものが適用され、このデフォルトフィルタ係数は、図示しない記憶部に記憶されているものとする。

一方、推定補間フィルタ係数ｐが入力されている場合、すなわちフィルタ係数制御部２４により後述のループバック制御が行われた場合、より具体的には現在の処理フレームに対する補間フィルタ係数の推定が２回目以降の場合には、フィルタ係数推定部２１は、符号化済みブロックにおける局所復号値ｃと、符号化済みブロックにおける予測方向情報ｄと、入力された推定補間フィルタ係数ｐと、に基づいて動き補償誤差を推定する。そして、この動き補償誤差の周波数特性解析を行うとともに、入力画像ａの周波数特性解析を行う。そして、これら周波数特性解析の結果に基づいて、補間フィルタ係数の推定のやり直しを行って、新たな推定補間フィルタ係数ｐとして出力する。

デフォルトフィルタ予測性能評価部２２は、入力画像ａと、符号化済みブロックにおける局所復号値ｃと、符号化済みブロックにおける予測方向情報ｄと、を入力とする。このデフォルトフィルタ予測性能評価部２２は、符号化済みブロックにおける局所復号値ｃと、符号化済みブロックにおける予測方向情報ｄと、上述のデフォルトフィルタ係数と、に基づいて、デフォルトフィルタ係数に対して期待されるＭＣ予測値を生成する。そして、入力画像ａと、生成したＭＣ予測値と、に基づいて、期待されるＭＣ誤差を評価し、ＭＣ誤差の評価値を算出して、デフォルトフィルタ係数に対して期待されるＭＣ誤差の評価値ｑとして出力する。

推定フィルタ予測性能評価部２３は、入力画像ａと、符号化済みブロックにおける局所復号値ｃと、符号化済みブロックにおける予測方向情報ｄと、推定補間フィルタ係数ｐと、を入力とする。

フィルタ係数制御部２４により後述のループバック制御が行われなかった場合、すなわち現在の処理フレームに対する補間フィルタ係数の推定が１回目の場合には、推定フィルタ予測性能評価部２３は、符号化済みブロックにおける局所復号値ｃと、符号化済みブロックにおける予測方向情報ｄと、推定補間フィルタ係数ｐと、に基づいて、推定補間フィルタ係数ｐに対して期待されるＭＣ予測値を生成する。そして、入力画像ａと、生成したＭＣ予測値と、に基づいて、期待されるＭＣ誤差を評価し、ＭＣ誤差の評価値を算出して、推定補間フィルタ係数ｐに対して期待されるＭＣ誤差の評価値ｒとして出力する。

一方、フィルタ係数制御部２４により後述のループバック制御が行われた場合、すなわち現在の処理フレームに対する補間フィルタ係数の推定が２回目以降の場合には、推定フィルタ予測性能評価部２３は、まず、以下のように小数精度動き補償（ＭＣ）をシミュレートする。具体的には、後述のループバック制御によりフィルタ係数推定部２１に戻された推定補間フィルタ係数ｐを求める際にフィルタ係数推定部２１が用いた、処理フレームにおける原画像の画素値と、参照フレームにおける符号化済み画像の画素値と、動きベクトル情報と、を用いて、フィルタ係数推定部２１におけるやり直しにより求められた新たな推定補間フィルタ係数ｐについて、小数精度動き補償（ＭＣ）をシミュレートする。次に、シミュレート結果に基づいて、期待されるＭＣ誤差を評価し、ＭＣ誤差の評価値を算出して、新たな推定補間フィルタ係数ｐに対して期待されるＭＣ誤差の評価値ｒとして出力する。

なお、推定フィルタ予測性能評価部２３は、上述のように小数精度動き補償（ＭＣ）をシミュレートするために、後述のループバック制御によりフィルタ係数推定部２１に戻された推定補間フィルタ係数ｐを求める際にフィルタ係数推定部２１が用いた、処理フレームにおける原画像の画素値と、参照フレームにおける符号化済み画像の画素値と、動きベクトル情報と、について、ループバック制御が継続している間、すなわち補間フィルタ係数ｊとして推定補間フィルタ係数ｐまたはデフォルトフィルタ係数が出力されるまでの間、保持し続ける。

また、上述のＭＣ誤差の評価値を算出する際には、例えば差分絶対値和や誤差二乗和を用いることができる。

フィルタ係数制御部２４は、デフォルトフィルタ係数に対して期待されるＭＣ誤差の評価値ｑと、推定補間フィルタ係数ｐに対して期待されるＭＣ誤差の評価値ｒと、を入力とする。このフィルタ係数制御部２４は、入力された２つの評価値を比較して、評価値の小さい方のフィルタ係数を適当であると判定し、比較結果に応じた処理を行う。

図３は、フィルタ係数制御部２４が行うフィルタ係数制御処理のフローチャートである。

ステップＳ１において、デフォルトフィルタ係数に対して期待されるＭＣ誤差の評価値ｑと、推定補間フィルタ係数ｐに対して期待されるＭＣ誤差の評価値ｒと、を比較する。ここで、デフォルトフィルタ係数に対して期待されるＭＣ誤差の評価値ｑをＶｄと表し、推定補間フィルタ係数ｐに対して期待されるＭＣ誤差の評価値ｒをＶｅと表すこととする。すると、ＶｅがＶｄ未満である場合には、デフォルトフィルタ係数よりも推定補間フィルタ係数ｐの方が適当であると判定し、ステップＳ２に処理を移す。一方、ＶｅがＶｄ以上である場合には、推定補間フィルタ係数ｐよりもデフォルトフィルタ係数の方が適当であると判定し、ステップＳ３に処理を移す。

ステップＳ２において、推定補間フィルタ係数ｐを、補間フィルタ係数ｊとして出力させて、フィルタ係数制御処理を終了する。

ステップＳ３において、ループ継続条件を満たしているか否かを判別し、満たしている場合には、ステップＳ４に処理を移し、満たしていない場合には、ステップＳ５に処理を移す。なお、本実施形態では、ループ継続条件として以下の３つの条件を適用しており、これら３つの条件を全て満たしていれば、ループ継続条件を満たしているものとする。

第１の条件とは、ステップＳ４において後述するループバック制御を現在の処理フレームにおいて継続して行った回数が、予め定められた上限値未満であるということである。このため、上限値を設定することで、１つの処理フレームにおいてループバック制御を行う回数を制限することができる。

第２の条件とは、推定補間フィルタ係数ｐに対して期待されるＭＣ誤差の評価値ｒについて、現在の処理フレームに対して前回求めた推定補間フィルタ係数ｐに対するものと、今回求めた推定補間フィルタ係数ｐに対するものと、の差分が予め定められた閾値より大きいということである。このため、閾値を設定することで、前回と比べて期待されるＭＣ誤差の評価値にあまり改善がみられなければ、ループバック制御を行わないようにすることができる。

第３の条件とは、推定補間フィルタ係数ｐに対して期待されるＭＣ誤差の評価値ｒについて、現在の処理フレームに対して前回求めた推定補間フィルタ係数ｐに対するものと比べて、今回求めた推定補間フィルタ係数ｐに対するものの方が小さいということである。このため、前回と比べて期待されるＭＣ誤差の評価値に改善がみられなければ、ループバック制御を行わないようにすることができる。

なお、フィルタ係数制御部２４は、上述の第２の条件および第３の条件を満たしているか否かを判別するために、上述の推定補間フィルタ係数ｐに対して期待されるＭＣ誤差の評価値ｒについて、直近の２つを保持する。

ステップＳ４において、ループバック制御を行って、フィルタ係数制御処理を終了する。このループバック制御では、補間フィルタ係数の推定のやり直しを行うために、フィルタ係数推定部２１から出力された推定補間フィルタ係数ｐを、フィルタ係数推定部２１に戻す。これによれば、上述のように、フィルタ係数推定部２１に推定補間フィルタ係数ｐが入力されることとなる。

ステップＳ５において、上述のデフォルトフィルタ係数を、補間フィルタ係数ｊとして出力させて、フィルタ係数制御処理を終了する。

なお、フィルタ係数初期値のＭＣ誤差の評価値を算出する際の評価尺度は、デフォルトフィルタ予測性能評価部２２や推定フィルタ予測性能評価部２３における評価尺度と同一であるものとする。

図２に戻って、動き補償処理部２５は、入力画像ａと、符号化済みブロックにおける局所復号値ｃと、符号化済みブロックにおける予測方向情報ｄと、補間フィルタ係数ｊと、を入力とする。この動き補償処理部２５は、入力画像ａと、符号化済みブロックにおける局所復号値ｃと、に基づいて、この符号化済みブロックにおける動き補償予測を行って動きベクトルを求める。そして、求めた動きベクトルと、符号化済みブロックにおける予測方向情報ｄから求められる予測ベクトルと、の差分を計算し、符号化すべきインター予測情報を求める。また、予測誤差および発生符号量に基づいて、インター符号化におけるコスト値を求める。そして、インター予測値ｈ、インター予測情報（動きベクトルを含む）ｉ、および符号化コスト値ｋとして出力する。

図１に戻って、モード判定制御部３は、イントラ符号化予測値生成部１から出力される符号化コスト値ｇと、インター符号化予測値生成部２から出力される符号化コスト値ｋと、を入力とする。このモード判定制御部３は、これら入力される符号化コスト値ｇ、ｋの比較を行い、処理ブロックに適する符号化モードを選択する。

ＤＣＴ／量子化部４は、入力画像ａと、イントラ予測値ｅおよびインター予測値ｈのうちモード判定制御部３により選択された符号化モードに応じたものと、の差分を入力とする。ここで、イントラ予測値ｅおよびインター予測値ｈのうちモード判定制御部３により選択された符号化モードに応じたものとは、モード判定制御部３によりイントラ符号化が選択された場合にはイントラ予測値ｅのことであり、モード判定制御部３によりインター符号化が選択された場合にはインター予測値ｈのことである。このＤＣＴ／量子化部４は、入力される信号に対してＤＣＴ処理および量子化処理を施し、量子化されたＤＣＴ係数（残差信号）ｍとして出力する。

ＩＤＣＴ／逆量子化部５は、量子化されたＤＣＴ係数（残差信号）ｍを入力とする。このＩＤＣＴ／逆量子化部５は、入力される信号に対して逆量子化処理および逆ＤＣＴ処理を施し、逆ＤＣＴされた画素信号ｎとして出力する。

エントロピー符号化部６は、イントラ予測情報（動きベクトルを含む）ｆおよびインター予測情報（動きベクトルを含む）ｉのうちモード判定制御部３により選択された符号化モードに応じたものと、補間フィルタ係数ｊと、量子化されたＤＣＴ係数（残差信号）ｍと、を入力とする。ここで、イントラ予測情報（動きベクトルを含む）ｆおよびインター予測情報（動きベクトルを含む）ｉのうちモード判定制御部３により選択された符号化モードに応じたものとは、モード判定制御部３によりイントラ符号化が選択された場合にはイントラ予測情報（動きベクトルを含む）ｆのことであり、モード判定制御部３によりインター符号化が選択された場合にはインター予測情報（動きベクトルを含む）ｉのことである。このエントロピー符号化部６は、エントロピー符号化を行い、符号化データｂとして出力する。

第１のローカルメモリ７は、イントラ予測値ｅおよびインター予測値ｈのうちモード判定制御部３により選択された符号化モードに応じたものと、逆ＤＣＴされた画素信号ｎと、の和をとった信号、すなわち符号化済みブロックにおける局所復号値ｃを入力とする。この第１のローカルメモリ７は、符号化済みブロックにおける局所復号値ｃを蓄積し、適宜、イントラ符号化予測値生成部１およびインター符号化予測値生成部２に供給する。

第２のローカルメモリ８は、イントラ予測情報（動きベクトルを含む）ｆおよびインター予測情報（動きベクトルを含む）ｉのうちモード判定制御部３により選択された符号化モードに応じたもの、すなわち符号化済みブロックにおける予測方向情報ｄを入力とする。ここで、イントラ予測情報（動きベクトルを含む）ｆおよびインター予測情報（動きベクトルを含む）ｉのうちモード判定制御部３により選択された符号化モードに応じたものとは、モード判定制御部３によりイントラ符号化が選択された場合にはイントラ予測情報（動きベクトルを含む）ｆのことであり、モード判定制御部３によりインター符号化が選択された場合にはインター予測情報（動きベクトルを含む）ｉのことである。この第２のローカルメモリ８は、符号化済みブロックにおける予測方向情報ｄを蓄積し、適宜、イントラ符号化予測値生成部１およびインター符号化予測値生成部２に供給する。

［動画像復号装置ＢＢの構成］
図４は、本発明の第１実施形態に係る動画像復号装置ＢＢの構成を示すブロック図である。動画像復号装置ＢＢは、符号化データ解析部１１０、予測手法制御部１２０、インター予測値生成部１３０、イントラ予測値生成部１４０、およびメモリ１５０を備え、動画像符号化装置ＡＡにおいて生成された符号化データｂを復号する。

符号化データ解析部１１０は、符号化データｂを入力とする。この符号化データ解析部１１０は、まず、符号化シンタックスに従って、符号化データｂに記載されている内容を解析し、エントロピー復号する。そして、エントロピー復号の結果として得られる、残差信号Ｂと、補間フィルタ係数Ｃと、予測情報Ｄと、を出力する。

予測手法制御部１２０は、予測情報Ｄを入力とする。この予測手法制御部１２０は、予測情報Ｄが、イントラ予測に関するものであるのか、インター予測に関するものであるのかを識別し、イントラ予測とインター予測とを切り替えるための制御信号Ｅを出力する。

インター予測値生成部１３０には、補間フィルタ係数Ｃが入力されるとともに、制御信号Ｅに応じて、復号済み画素値Ａと、予測情報Ｄと、が入力される場合がある。具体的には、復号済み画素値Ａと、予測情報Ｄとは、予測情報Ｄがインター予測に関するものであると予測手法制御部１２０により識別された場合に、インター予測値生成部１３０に入力される。このインター予測値生成部１３０は、復号済み画素値Ａを元に、予測情報Ｄに従ってインター予測値Ｆを生成し、出力する。

イントラ予測値生成部１４０には、制御信号Ｅに応じて、復号済み画素値Ａと、予測情報Ｄと、が入力される場合がある。具体的には、復号済み画素値Ａと、予測情報Ｄとは、予測情報Ｄがイントラ予測に関するものであると予測手法制御部１２０により識別された場合に、イントラ予測値生成部１４０に入力される。このイントラ予測値生成部１４０は、復号済み画素値Ａを元に、予測情報Ｄに従ってイントラ予測値Ｇを生成し、出力する。

メモリ１５０は、残差信号Ｂと、インター予測値Ｆおよびイントラ予測値Ｇのうち制御信号Ｅに応じたものと、の和をとった信号、すなわち復号済み画素値Ａを入力とする。ここで、インター予測値Ｆおよびイントラ予測値Ｇのうち制御信号Ｅに応じたものとは、予測情報Ｄがインター予測に関するものであると予測手法制御部１２０により識別された場合には、インター予測値Ｆのことであり、予測情報Ｄがイントラ予測に関するものであると予測手法制御部１２０により識別された場合には、イントラ予測値Ｇのことである。メモリ１５０は、入力された復号済み画素値Ａを蓄積し、未復号ブロックの復号処理を行う際に、適宜、インター予測値生成部１３０またはイントラ予測値生成部１４０に供給する。

以上の動画像符号化装置ＡＡによれば、フィルタ係数推定部２１による画像の周波数特性解析により、補間フィルタ係数を推定する。このため、上述の非特許文献３に示されている手法と同様に、補間フィルタ係数ｊの算出に要する処理コストを低減できる。

また、動画像符号化装置ＡＡによれば、ステップＳ３においてループ継続条件を満たしていれば、補間フィルタ係数の推定をやり直すため、符号化性能を向上させることができる。

また、動画像符号化装置ＡＡによれば、例えば差分絶対値和や誤差二乗和を用いて、ＭＣ誤差の評価値を算出することができる。

また、動画像符号化装置ＡＡによれば、ステップＳ３においてループ継続条件として上述の３つの条件を全て満たしていれば、ループ継続条件を満たしているものとした。このため、補間フィルタ係数の推定をやり直す回数を制限できるとともに、やり直したにもかかわらず符号化性能をあまり向上できなかった場合にはやり直しをやめることができる。したがって、補間フィルタ係数ｊの算出に要する処理コストの増加を抑制できる。

また、動画像符号化装置ＡＡによれば、ＶｅがＶｄ未満である場合には、推定補間フィルタ係数ｐを補間フィルタ係数ｊとして出力する。一方、ＶｅがＶｄ以上である場合には、上述のようにループ継続条件を満たしているか否かを判別し、満たしている場合にはやり直しを行い、満たしていない場合にはデフォルトフィルタ係数を補間フィルタ係数ｊとして出力する。このため、デフォルトフィルタ係数を適切に設定することで、補間フィルタ係数ｊの算出に要する処理コストの低減と、符号化性能の向上と、をより高度に両立させることができる。

なお、本実施形態によれば、ＨＤ素材に対して、動画像符号化装置ＡＡによらず低処理コストＡＩＦ（Adaptive Interpolation Filter）方式を適用した場合と比べて、処理コストの増加を１％以下に抑えつつ、平均で０．０４ｄＢ程度の画質改善を見込むことができる。

なお、本発明の動画像符号化装置ＡＡの処理や、動画像復号装置ＢＢの処理を、コンピュータ読み取り可能な記録媒体に記憶し、記録媒体に記録されたプログラムを動画像符号化装置ＡＡや動画像復号装置ＢＢに読み込ませ、実行することによって、本発明を実現できる。

また、上述のプログラムは、このプログラムを記憶装置などに格納した動画像符号化装置ＡＡや動画像復号装置ＢＢから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネットなどのネットワーク（通信網）や電話回線などの通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。

また、上述のプログラムは、上述の機能の一部を実現するためのものであってもよい。さらに、上述の機能を動画像符号化装置ＡＡや動画像復号装置ＢＢにすでに記録されているプログラムとの組合せで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

以上、この発明の実施形態につき、図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計なども含まれる。

例えば、上述の実施形態では、デフォルトフィルタ係数として、Ｈ．２６４に用いられるものを適用したが、これに限らない。例えば、上述の非特許文献４に示されているＤＣＴＩＦや、上述の非特許文献５に示されているＤＩＦや、上述の非特許文献６に示されているＳＩＦＯに用いられているものを、適用してもよい。

また、上述の実施形態では、ステップＳ３において、ループ継続条件として上述の３つの条件を適用したが、これに限らない。例えば、推定補間フィルタ係数ｐに対して期待されるＭＣ誤差の評価値ｒについて、ループバック制御継続中の直近Ｎ回（ループバック制御が継続されている回数をＭ回とすると、Ｎは、１≦Ｎ≦Ｍを満たす整数）を保持しておき、これら直近Ｎ回の評価値ｒの変化の幅が予め定められた閾値以上であることを第４の条件として追加してもよい。また、例えば、推定補間フィルタ係数ｐに対して期待されるＭＣ誤差の評価値ｒが予め定められた閾値未満であることを第５の条件として追加してもよい。また、例えば、上述の５つのうち少なくとも１つ以上を組み合わせて適用してもよい。

また、上述の実施形態では、ステップＳ３において、ループ継続条件として上述の３つの条件を全て満たしているか否かを判別したが、これに限らず、例えば上述の３つの条件のうち、少なくとも１つを満たしているか否かを判別したり、少なくとも２つを満たしているか否かを判別したりしてもよい。

また、上述の実施形態では、ステップＳ１において、デフォルトフィルタ係数に対して期待されるＭＣ誤差の評価値ｑをＶｄと表すこととしたが、これに限らず、例えば予め定められた閾値をＶｄと表すこととしてもよい。

ＡＡ・・・動画像符号化装置
ＢＢ・・・動画像復号装置
１・・・イントラ符号化予測値生成部
２・・・インター符号化予測値生成部
３・・・モード判定制御部
４・・・ＤＣＴ／量子化部
５・・・ＩＤＣＴ／逆量子化部
６・・・エントロピー符号化部
７・・・第１のローカルメモリ
８・・・第２のローカルメモリ
９・・・第３のローカルメモリ
２１・・・フィルタ係数推定部
２２・・・デフォルトフィルタ予測性能評価部
２３・・・推定フィルタ予測性能評価部
２４・・・フィルタ係数制御部
２５・・・動き補償処理部

Claims (6)

1. フレーム間予測において予測値に対するフィルタ処理を許容する動画像符号化装置であって、
   入力画像および符号化済み画像の周波数特性解析の結果に基づいて、小数精度動き補償補間フィルタ係数を算出するフィルタ係数算出手段と、
   前記フィルタ係数算出手段により算出された補間フィルタ係数について、動き補償予測性能を評価して評価値を算出する予測性能評価手段と、
   前記予測性能評価手段による評価結果に基づいて、前記フィルタ係数算出手段による補間フィルタ係数の算出をやり直すか否かを判定するフィルタ係数制御手段と、を備え、
   前記フィルタ係数算出手段は、前記フィルタ係数制御手段によりやり直すと判定されると、当該やり直すと判定された補間フィルタ係数を用いて、補間フィルタ係数の算出をやり直し、
   前記予測性能評価手段は、前記フィルタ係数制御手段によりやり直すと判定されると、当該やり直すと判定された補間フィルタ係数を算出する際に前記フィルタ係数算出手段により用いられた動きベクトル情報および符号化済み画像を用いて、前記フィルタ係数算出手段におけるやり直しにより算出された補間フィルタ係数について、動き補償予測性能を評価し、
   前記フィルタ係数制御手段は、
   前記予測性能評価手段による評価値と、当該予測性能評価手段による前回の評価値と、の差分を求め、当該差分と、予め定められた閾値と、を比較する第１の判定手順と、
   前記予測性能評価手段による直近Ｎ回（Ｎは、Ｎ≧２を満たす整数）の評価値の変化の幅と、予め定められた閾値と、を比較する第２の判定手順と、を行って、前記算出をやり直すか否かを判定することを特徴とする動画像符号化装置。
2. 前記フィルタ係数制御手段は、当該フィルタ係数制御手段によりやり直すと継続して判定した回数が予め定められた閾値以上になると、前記算出のやり直しを禁止することを特徴とする請求項１に記載の動画像符号化装置。
3. 請求項１または２に記載の動画像符号化装置において、
   前記予測性能評価手段は、動き補償誤差に関する絶対値和または誤差二乗和を用いて、動き補償予測性能を評価することを特徴とする動画像符号化装置。
4. 請求項１から３のいずれかに記載の動画像符号化装置において、
   予め定められたフィルタ係数について、動き補償予測性能を評価するデフォルト性能評価手段を備え、
   前記フィルタ係数制御手段は、
   前記予測性能評価手段による評価結果と、前記デフォルト性能評価手段による評価結果と、に基づいて、前記フィルタ係数算出手段により算出された補間フィルタ係数と、前記予め定められたフィルタ係数と、のいずれが適当であるかを判定し、
   前記フィルタ係数算出手段により算出された補間フィルタ係数の方が適当であると判定すると、前記算出のやり直しを禁止することを特徴とする動画像符号化装置。
5. フレーム間予測において予測値に対するフィルタ処理を許容する動画像符号化方法であって、
   入力画像および符号化済み画像の周波数特性解析の結果に基づいて、小数精度動き補償補間フィルタ係数を算出する第１のステップと、
   前記第１のステップにおいて算出した補間フィルタ係数について、動き補償予測性能を評価して評価値を算出する第２のステップと、
   前記第２のステップにおける評価結果に基づいて、前記第１のステップにおける補間フィルタ係数の算出をやり直すか否かを判定する第３のステップと、を備え、
   前記第１のステップでは、前記第３のステップにおいてやり直すと判定すると、当該やり直すと判定された補間フィルタ係数を用いて、補間フィルタ係数の算出をやり直し、
   前記第２のステップでは、前記第３のステップにおいてやり直すと判定すると、当該やり直すと判定された補間フィルタ係数を算出する際に前記第１のステップにおいて用いた動きベクトル情報および符号化済み画像を用いて、前記第１のステップのやり直しにより算出された補間フィルタ係数について、動き補償予測性能を評価し、
   前記第３のステップでは、
   前記第２のステップによる評価値と、当該第２のステップによる前回の評価値と、の差分を求め、当該差分と、予め定められた閾値と、を比較する第１の判定手順と、
   前記第２のステップによる直近Ｎ回（Ｎは、Ｎ≧２を満たす整数）の評価値の変化の幅と、予め定められた閾値と、を比較する第２の判定手順と、を行って、前記算出をやり直すか否かを判定することを特徴とする動画像符号化方法。
6. フレーム間予測において予測値に対するフィルタ処理を許容する動画像符号化方法を、コンピュータに実行させるためのプログラムであって、
   入力画像および符号化済み画像の周波数特性解析の結果に基づいて、小数精度動き補償補間フィルタ係数を算出する第１のステップと、
   前記第１のステップにおいて算出した補間フィルタ係数について、動き補償予測性能を評価して評価値を算出する第２のステップと、
   前記第２のステップにおける評価結果に基づいて、前記第１のステップにおける補間フィルタ係数の算出をやり直すか否かを判定する第３のステップと、をコンピュータに実行させ、
   前記第１のステップでは、前記第３のステップにおいてやり直すと判定すると、当該やり直すと判定された補間フィルタ係数を用いて、補間フィルタ係数の算出をやり直させ、
   前記第２のステップでは、前記第３のステップにおいてやり直すと判定すると、当該やり直すと判定された補間フィルタ係数を算出する際に前記第１のステップにおいて用いた動きベクトル情報および符号化済み画像を用いて、前記第１のステップのやり直しにより算出された補間フィルタ係数について、動き補償予測性能を評価し、
   前記第３のステップでは、
   前記第２のステップによる評価値と、当該第２のステップによる前回の評価値と、の差分を求め、当該差分と、予め定められた閾値と、を比較する第１の判定手順と、
   前記第２のステップによる直近Ｎ回（Ｎは、Ｎ≧２を満たす整数）の評価値の変化の幅と、予め定められた閾値と、を比較する第２の判定手順と、を行って、前記算出をやり直すか否かを判定するためのプログラム。

Images