JP6069128B2 - 変換量子化方法、変換量子化装置及び変換量子化プログラム - Google Patents

Description

本発明は、高効率動画像圧縮符号化規格であるＨＥＶＣに準拠した符号化器（エンコーダ）に用いる変換量子化方法、変換量子化装置及び変換量子化プログラムに関する。

近年、高効率動画像圧縮符号化（ＨＥＶＣ）は、４Ｋ（横方向の解像度が、ＨＤＴＶの２倍となる４０００画素の高解像度動画像）のような高解像度動画像を処理するために、Joint Collaborative Team on Video Coding共同研究部会（ＪＣＴ−ＶＣ）で審議されている（例えば、非特許文献１、２、３参照）。ＨＥＶＣはＨ．２６４／ＡＶＣの後継として、演算量は複数倍必要であるが、同じ主観画質で少なくとも４０％のビットレートを削減できている。ＨＥＶＣの主な技術的革新は、四分木構造でブロックサイズが変化する符号化ユニット（ＣＵ）と、予測ユニット（ＰＵ）と、変換単位処理ユニット（ＴＵ）があることである。異なるサイズ（すなわち、四分木の深さ）でＲＤ（レート歪み）コストを再帰的に測定することによって最も圧縮率の高い符号化モードを算出することができる。さらに、レート歪み最適量子化（ＲＤＯＱ）や、非正方形四分木変換（ＮＳＱＴ）というような新たな符号化ツールが追加されているため、効率がさらに良くなる反面、対応するハードウェアの開発がさらに困難になっている。

ＴＵの処理の高速化に関して提案されている既存の方法は、主に高速バタフライ構造と早期終了メカニズムの二つのクラスに分類することができる。例えば、非特許文献１、２、３、４に記載されているように、高速バタフライ構造は、変換または量子化演算そのものの強化に焦点を当てているが、最終的に使用されない候補を含めて四分木構造すべての残差ブロックを計算する必要がある。非特許文献４では非ゼロＤＣＴ係数の数に基づいて、初期の段階でＴＵの四分木をカットすることで、ＴＵ分割を早期に決定する方法を提案している。

しかし、処理の結果オールゼロブロック（ＡＺＢ：変換量子化後の係数成分がすべてゼロとなり、結果として係数を符号化する必要がないブロック）となるＴＵについても変換量子化の演算を行うため、冗長な計算が発生する。非特許文献５では、大きなブロックがオールゼロブロックになった場合、そこに含まれる小さなブロックもオールゼロブロックとなりやすい性質を使用して、冗長な計算を減少させている。ただし、判定処理が繰り返し行われるため、ハードウェア実装が困難である。非特許文献６では周辺の残差の統計を取りながら、できるだけ大きな変換サイズを使用する提案を行っているが、判定結果が正確ではない問題がある。

K. Ugur, K. Andersson, A. Fuldseth, G. Bjontegaard, L.P. Endresen, J. Lainema, A. Hallapuro, J. Ridge, D. Rusanovskyy, and C. Zhang, ''High performance, low complexity video coding and the emerging hevc standard,'' Circuits and Systems for Video Technology, IEEE Transactions on, vol. 20, no. 12, pp. 1688--1697, 2010. W.J. Han, J. Min, I.K. Kim, E. Alshina, A. Alshin, T. Lee, J. Chen, V. Seregin, S. Lee, and Y.M. Hong, ''Improved video compression efficiency through flexible unit representation and corresponding extension of coding tools,'' Circuits and Systems for Video Technology, IEEE Transactions on, vol. 20, no. 12, pp. 1709--1720, 2010. F. Bossen, V. Drugeon, E. Francois, J. Jung, S. Kanumuri, M. Narroschke, H. Sasai, J. Sole, Y. Suzuki, and T.K. Tan, ''Video coding using a simplified block structure and advanced coding techniques,'' Circuits and Systems for Video Technology, IEEE Transactions on, vol.20, no. 12, pp. 1667--1675, 2010. A. Tanizawa, J. Yamaguchi, T. Shiodera, T. Chujoh, and T. Yamakage, ''Improvement of intra coding by bidirectional intra prediction and 1 dimensional directional unified transform,'' Joint Collaborative Team onVideo Coding, JCTVC-B042, Geneva, 2010. Felix C. A. Fernandes, ''Low complexity rotational transform,'' Joint Collaborative Team on Video Coding, JCTVC-C096, Guangzhou, 2010. Yoon Mi Hong, Kyo-Hyuk Lee Il-Koo Kim, Madhu Krishnan Wei Dai, and Pankaj Topiwala, ''Low complexity 16x16 and 32x32 transforms and partial frequency transform,'' Joint Collaborative Team on Video Coding, JCTVC-C209, Guangzhou, 2010.

前述したように、ＴＵの処理は複雑かつ計算負荷が高いため、ハードウェア実装が容易でないという問題がある。

本発明は、このような事情に鑑みてなされたもので、計算負荷を高めることなく、変換単位処理ユニット（ＴＵ）の処理を行うことができる変換量子化方法、変換量子化装置及び変換量子化プログラムを提供することを目的とする。

本発明は、画像符号化におけるインター予測残差とその差分絶対値和から量子化変換係数を算出する変換量子化方法であって、変換量子化サイズ、ＱＰ値、ビット深度と変換係数閾値の関係を示す変換係数閾値表から画像符号化対象である２Ｎ×２Ｎサイズのブロック（Ｎ＝２^ｎ，ｎは３以上の整数）の変換量子化サイズ２Ｎ、入力されたＱＰ値及びビット深度に対応する変換係数閾値を求める変換係数閾値特定ステップと、前記変換量子化サイズに対して定まる第１の調整係数を前記変換係数閾値に掛けた結果を第１の差分絶対値和上限値とする第１の差分絶対値和上限値算出ステップと、２Ｎ×２Ｎサイズのブロックに対する差分絶対値和と前記第１の差分絶対値和上限値とを比較する第１の判定ステップと、前記第１の判定ステップにより２Ｎ×２Ｎサイズのブロックに対する差分絶対値和の方が前記第１の差分絶対値和上限値より小さいと判定された場合には、量子化変換係数をゼロとする第１の量子化変換係数決定ステップとを有することを特徴とする。

本発明は、前記変換量子化サイズに対して定まる第２の調整係数を前記変換係数閾値に掛けた結果を第２の差分絶対値和上限値とする第２の差分絶対値和上限値算出ステップと、前記第１の判定ステップにより２Ｎ×２Ｎサイズのブロックに対する差分絶対値和の方が前記第１の差分絶対値和上限値より大きいか等しいと判定された場合には、前記２Ｎ×２Ｎのブロックサイズに対する差分絶対値和と前記第２の差分絶対値和上限値とを比較する第２の判定ステップと、前記第２の判定ステップにより２Ｎ×２Ｎサイズのブロックに対する差分絶対値和の方が前記第２の差分絶対値和上限値より小さいと判定された場合には、変換量子化サイズを２Ｎ×２Ｎとして変換量子化演算を実行する第２の量子化変換係数決定ステップと、をさらに有することを特徴とする。

本発明は、前記第２の判定ステップにより２Ｎ×２Ｎサイズのブロックに対する差分絶対値和の方が前記第２の差分絶対値和上限値より大きいか等しいと判定された場合には、前記２Ｎ×２Ｎサイズのブロックを４つに分割し、各Ｎ×Ｎサイズのブロックに対する差分絶対値和と前記２Ｎ×２Ｎサイズのブロックに対する差分絶対値和に１／４を乗じた値とを比較する第３の判定ステップと、前記第３の判定ステップによりいずれか一つのＮ×Ｎサイズのブロックに対する差分絶対値和の方が前記２Ｎ×２Ｎサイズのブロックに対する差分絶対値和に１／４を乗じた値より大きいか等しいと判定された場合には、前記２Ｎ×２Ｎサイズのブロックに対して再帰的に変換量子化演算を実行する第３の量子化変換係数決定ステップとをさらに有することを特徴とする。

本発明は、前記変換係数閾値表は、インター予測残差と変換係数がガウス分布に従うとしたうえで、画像符号化対象のブロックの量子化変換係数の絶対値がすべて１より小さいとした場合に導出される差分絶対値和についての不等式から特定される値を変換係数閾値として定めることを特徴とする。

本発明は、画像符号化におけるインター予測残差とその差分絶対値和から量子化変換係数を算出する変換量子化装置であって、変換量子化サイズ、ＱＰ値、ビット深度と変換係数閾値の関係を示す変換係数閾値表から画像符号化対象である２Ｎ×２Ｎサイズのブロック（Ｎ＝２^ｎ，ｎは３以上の整数）の変換量子化サイズ２Ｎ、入力されたＱＰ値及びビット深度に対応する変換係数閾値を求める変換係数閾値特定手段と、前記変換量子化サイズに対して定まる第１の調整係数を前記変換係数閾値に掛けた結果を第１の差分絶対値和上限値とする第１の差分絶対値和上限値算出手段と、２Ｎ×２Ｎサイズのブロックに対する差分絶対値和と前記第１の差分絶対値和上限値とを比較する第１の判定手段と、前記第１の判定手段により２Ｎ×２Ｎサイズのブロックに対する差分絶対値和の方が前記第１の差分絶対値和上限値より小さいと判定された場合には、量子化変換係数をゼロとする第１の量子化変換係数決定手段とを備えることを特徴とする。

本発明は、コンピュータに、前記変換量子化方法を実行させるための変換量子化プログラムである。

本発明によれば、計算負荷を高めることなく、変換単位処理ユニット（ＴＵ）の処理を行うことができるという効果が得られる。

本発明の一実施形態の構成を示す変換量子化装置の構成を示すブロック図である。 図１に示すＡＺＢ判定部２が行う各ブロックに対する役割の割り当て処理動作を示すフローチャートである。 対象としたテストシーケンスの残差ブロックを示す図である。 エネルギー分布の例を示す図である。 対象としたテストシーケンスの残差ブロックを示す図である。 エネルギー分布の例を示す図である。 符号化効率を示す図である。

以下、図面を参照して、本発明の一実施形態による変換量子化装置を説明する。ＨＥＶＣの符号化装置において、動き予測（符号化対象画像と、参照画像との間で動きベクトルの探索を行う処理。インター予測ともいう）を行った後、インター予測結果の残差が、ＴＵ処理の入力となる。例えば、ＴＵデプス（四分木の深さ）が３の設定で６４×６４のＣＵが一つ入力された場合、再帰的なＲＤ計算を行う従来の方式では、４回の３２×３２の整数変換量子化、１６回の１６×１６の整数変換量子化と６４回の８×８の整数変換量子化をすべて計算し、その後、ＲＤコストを使って、レート歪み最適化されたＴＵサイズを決定することになる。異なるサイズのＣＵに対して、これらのプロセスを繰り返すことによって、変換量子化係数と共に最適化されたＴＵ分割の形態、すなわちＴＵパーティションマップが計算される。その際に、再帰的な計算によって、多くの冗長演算が引き起こされる。さらに、一般的には多くの残差ブロックにおいて、ＴＵ処理後に係数がすべてゼロとなっている現象が発生する。したがって、本実施形態では図１に示すように、変換量子化（特に変換量子化の後にゼロになるような残差ブロックの変換量子化）を計算することなく、最適化されたＴＵのパーティションマップと、変換量子化係数がオールゼロとなるか否かを事前に予測する方法を実現する。

図１は同実施形態による変換量子化装置の構成を示すブロック図である。図１において、符号１は、インター予測を行うインター予測部である。符号２は、役割の割り当てを判定するＡＺＢ判定部である。符号３は、全サイズ全深さの整数変換量子化を行うトラバーサル整数変換量子化部である。符号４は、予測ＴＵサイズの整数変換量子化を行う予測ＴＵサイズの整数変換量子化部である。符号５は、エントロピー符号化を行って出力ビットストリームを出力するエントロピー符号化部である。

次に、図１に示す変換量子化装置の動作を説明する。まず、インター予測部１は、入力原画像からインター予測を処理した後、インター予測画像と原画像との差分画像である残差ｒ_ｉｊとそのＳＡＤ（差分絶対値和）を出力する。この残差ｒ_ｉｊとそのＳＡＤは、変換・量子化の計算が必要とされているかどうかを判定するために、ＡＺＢ判定部２に送られる。ここでＳＡＤの値は、ＡＺＢ判定部２でＳＡＤの値を再計算する必要をなくすために、インター予測部１から送られている。後述のＡＺＢ判定方法に従い、ブロックがＬブロックとして判定されると、当該ブロックはオールゼロブロックと判定され、変換・量子化行列ｑ_ｉｊをすべて直接０に設定し、エントロピー符号化部５に出力する。ＱＰ（量子化パラメータ）の値はインター予測部１、ＡＺＢ判定部２、トラバーサル整数変換量子化部３及びエントロピー符号化部５に入力される。

一方、ＡＺＢ判定方法に従い、ブロックがＴＷブロックとして判定されると、残差ｒ_ｉｊがトラバーサル整数変換量子化部３へ送られる。そして、トラバーサル整数変換量子化部３によって変換・量子化行列ｑ_ｉｊがエントロピー符号化部５に出力される。また、ＡＺＢ判定方法に従い、ブロックがＭブロックとして判定されると、予測ＴＵサイズと残差ｒ_ｉｊが予測ＴＵサイズの整数変換量子化部４へ送られる。そして、予測ＴＵサイズの整数変換量子化部４によって変換・量子化行列ｑ_ｉｊがエントロピー符号化部５に出力される。エントロピー符号化部５は、変換・量子化行列ｑ_ｉｊに基づき、符号化を行って出力ビットストリームを出力する。

次に、図２を参照して、図１に示すＡＺＢ判定部２の処理動作を説明する、図２は、図１に示すＡＺＢ判定部２が行う各ブロックに対する役割の割り当て処理動作を示すフローチャートである。ここでは、最も大きな変換量子化サイズを２Ｎ×２Ｎ（Ｎは自然数）として、Ｎ×Ｎと（Ｎ／２）×（Ｎ／２）の合計３サイズが選択可能という条件で説明する。変換量子化サイズ（Ｎ）、ＱＰ値（ＱＰ）、ビット深度（ＢｉｔＤｅｐｔｈ）それぞれの閾値（ＴＨの値）テーブルは、表１、表２に示すように、事前に計算される（表１、表２はＢｉｔＤｅｐｔｈが８の場合である）。表１、表２の計算方法は後述する。

まず、ＡＺＢ判定部２は、インター予測処理部１から残差ｒ_ｉｊ、そのＳＡＤを、外部からＱＰ値を入力する（ステップＳ１）。インター予測処理部１において、ＳＡＤは、コーディングユニット（ＣＵ）それぞれについて動き推定を行って計算される。続いて、ＡＺＢ判定部２は、現在入力されている残差のサイズ（変換量子化サイズと同じ）におけるＳＡＤ_{２Ｎ×２Ｎ}の値と、対応する閾値ＴＨ_{２Ｎ×２Ｎ}［ＱＰ］とを比較し（ステップＳ２）、ＳＡＤが閾値よりも小さい場合には、現在の残差ブロック（２Ｎ×２Ｎ）は、Ｌブロック（２Ｎ×２Ｎ）と判定し、この判定結果を出力する（ステップＳ９）。Ｌブロック（Ｌｅａｄｅｒ：リーダーブロック）とは、前述のようにオールゼロブロックと判定されるブロックを意味し、変換・量子化行列ｑ_ｉｊをすべて直接０に設定し、変換量子化演算処理をスキップできるブロックである。

一方、ステップＳ２の条件が満たされない場合、対応する閾値ＴＨ’_{２Ｎ×２Ｎ}［ＱＰ］と比較し（ステップＳ３）、ＳＡＤが閾値よりも小さい場合には、現在の残差ブロック（２Ｎ×２Ｎ）は、Ｍブロック（２Ｎ×２Ｎ）と判定し、この判定結果を出力する（ステップＳ１０）。Ｍブロック（Ｍｅｍｂｅｒ：メンバーブロック）とは、変換・量子化サイズが決定された状態で、変換・量子化演算を行うブロックを意味し、Ｍブロック（２Ｎ×２Ｎ）では、変換量子化サイズを２Ｎ×２Ｎに決定した状態で変換・量子化演算を行い、Ｎ×Ｎや（Ｎ／２）×（Ｎ／２）の変換・量子化ブロックの演算はスキップできる。

一方、ステップＳ３の条件が満たされない場合、２Ｎ×２Ｎを構成している４つのＮ×Ｎブロックそれぞれについて、ＳＡＤ（Ｎ×Ｎ）の値と、ＳＡＤ（２Ｎ×２Ｎ）の１／４の値とを比較する（ステップＳ４）。４つのＮ×Ｎブロックのいずれか一つでも、ＳＡＤ（Ｎ×Ｎ）が１／４のＳＡＤ（２Ｎ×２Ｎ）よりも小さいという条件を満たさないブロックが存在した場合には、現在の残差ブロック（２Ｎ×２Ｎ）は、ＴＷブロック（２Ｎ×２Ｎ）と判定し、この判定結果を出力する（ステップＳ１６）。ＴＷブロック（Ｔｅｍｐｏｒａｒｙ Ｗｏｒｋｅｒ：テンポラリワーカーブロック）とは、現在のサイズ、および現在よりも小さなサイズ（すなわち、２Ｎ×２Ｎ、Ｎ×Ｎ、（Ｎ／２）×（Ｎ／２）の３サイズ）について、変換量子化演算を再帰的に実施するブロックを意味し、これは従来の再帰的な決定手法と同一のものである。すなわち、ＴＷブロックと判定されたブロックについては、変換量子化サイズを再帰的に決定する。

次に、４つのＮ×Ｎブロックすべてが、ＳＡＤ（Ｎ×Ｎ）が１／４のＳＡＤ（２Ｎ×２Ｎ）よりも小さい場合、残差ブロックはさらに小さいサイズに分割されて同様の判定を行う。すなわち、４つのＮ×Ｎブロックそれぞれについて、ＳＡＤ（Ｎ×Ｎ）の値と、対応する閾値ＴＨ_Ｎ×Ｎ［ＱＰ］とを比較し（ステップＳ５）、ＳＡＤ（Ｎ×Ｎ）＜ＴＨ_Ｎ×Ｎ［ＱＰ］の条件が満たされる場合、このブロックはＮ×ＮのＬブロックと判定され、この判定結果を出力する（ステップＳ１１）。すなわち、オールゼロブロックと判定されて変換・量子化演算をスキップする。ステップＳ５の条件を満たさない場合、ＳＡＤ（Ｎ×Ｎ）＜ＴＨ’_Ｎ×Ｎ［ＱＰ］の条件が満たされるか否かを判定し（ステップＳ６）、満たされるならばこのブロックはＮ×ＮのＭブロックと判定され、この判定結果を出力する（ステップＳ１２）。すなわちサイズをＮ×Ｎに決定して変換・量子化演算が行われる。

次に、ＳＡＤ（Ｎ×Ｎ）＜ＴＨ’_Ｎ×Ｎ［ＱＰ］の条件が満たされないのであれば、Ｎ×Ｎを構成している４つの（Ｎ／２）×（Ｎ／２）ブロックそれぞれについて、ＳＡＤ（（Ｎ／２）×（Ｎ／２））の値と、ＳＡＤ（Ｎ×Ｎ）の１／４の値とを比較する（ステップＳ７）。４つの（Ｎ／２）×（Ｎ／２）ブロックのいずれか一つでも、ＳＡＤ（（Ｎ／２）×（Ｎ／２））が１／４のＳＡＤ（Ｎ×Ｎ）よりも小さいという条件を満たさないブロックが存在した場合には、現在の残差ブロックＮ×Ｎは、ＴＷブロック（Ｎ×Ｎ）として判定し、この判定結果を出力する（ステップＳ１５）。すなわち、このブロックは、現在のサイズ、および現在よりも小さなサイズ（すなわち、Ｎ×Ｎ、（Ｎ／２）×（Ｎ／２）の２サイズ）について、変換量子化演算を再帰的に実施する。

一方、４つの（Ｎ／２）×（Ｎ／２）ブロックのいずれも、ＳＡＤ（（Ｎ／２）×（Ｎ／２））が１／４のＳＡＤ（Ｎ×Ｎ）よりも小さいという条件を満たす場合は、４つの（Ｎ／２）×（Ｎ／２）ブロックそれぞれについて、ＳＡＤ（（Ｎ／２）×（Ｎ／２））の値と、対応する閾値ＴＨ_{Ｎ／２×Ｎ／２}［ＱＰ］とを比較し（ステップＳ８）、ＳＡＤ（（Ｎ／２）×（Ｎ／２））＜ＴＨ_{Ｎ／２×Ｎ／２}［ＱＰ］の条件が満たされる場合、このブロックは（Ｎ／２）×（Ｎ／２）のＬブロックと判定し、この判定結果を出力する（ステップＳ１３）。また、条件が満たされない場合は（Ｎ／２）×（Ｎ／２）のＭブロックと判定し、この判定結果を出力する（ステップＳ１４）。

この例では、処理順序が大きなサイズから小さなサイズに向けて行うようになっているので、より大きなサイズのブロックが、より事前にチェックされることになる。これによって、より大きなサイズでＬブロックと判定されてしまう影響がある。それはＬブロックがより小さいＴＵサイズで発生したときが最適解であっても、それが無視されることを意味する。この欠陥を克服するために、上述のように条件を満たさないブロックは全部ＴＷブロックと判定し、再帰的な変換・量子化演算を行っている。なお、判定処理を高速に行うために、各ＴＵサイズに対応する閾値テーブルを事前に計算して使用する。閾値テーブルの事前計算手法、および役割の割り当ての詳細は後述する。

次に、変換量子化係数の事前予測に使用する閾値を事前に決定するために、まず、残差とＴＵ・パーティション間の対応を明らかにするための残差周波数解析を行った結果について説明する。残差周波数解析は以下のステップによって行われる。解析のためのテストビデオ・シーケンスは、本実施形態とは別のＨＥＶＣ符号化器、例えばＨＥＶＣ標準化に用いられる参照エンコーダソフトウェアであるＨＭ（ＨＥＶＣ試験モデル）によって事前にエンコードされる。ＨＭは、符号化に用いられる複数のモードやパラメータについて、網羅的に符号化を試し、その中で符号化効率（ビットレート−歪み特性）がもっとも優れたモードやパラメータを選び出して符号化を行うため、エンコードした結果はビットレート−歪み特性が最適化された状態にあり、事前の分析に適している。

本実施形態ではＨＭでエンコードした結果を分析して、レート歪み最適化されたＴＵパーティション分割マップを得る。まず、残差信号を、インター予測が終了した直後に抽出する。続いて、異なるサイズの整数変換結果（整数変換を行い、量子化を行う前の係数値）を、最大のＴＵサイズから、最小のＴＵサイズにわたってそれぞれ計算させ、抽出する。こうして抽出された算出結果に基づいて、変換係数のエネルギー分布が描かれている。上記のような事前解析により、最適なＴＵサイズと、複数の異なるサイズでＤＣＴ変換を行った場合の周波数エネルギー分布との関係性を明らかにすることができる。そこで、最適なＴＵサイズの事前判定手法は、この関係性をモデル化することで得られることになる。

このようにして描かれたエネルギー分布の例を図３〜図６に示す。図３、図４は入力された６４×６４ＣＵ全体にわたる分布であり、図４、図５は、入力された６４×６４ＣＵのうち左上にある１６×１６残差ブロックの部分を拡大した頻度分布である。図３、図５は残差ブロックユニットを示しており、図４、図６の（ａ）（ｂ）（ｃ）は３つの周波数ユニットを示している。図３、図５は、対象としたテストシーケンスの残差ブロックであり、線は実際に選択されたＴＵ分割結果（ＴＵパーティションマップ）を示している。分割結果が４×４の場合のみ、強調のため太い線を使用している。図４、図６の（ａ）（ｂ）（ｃ）の３つの周波数ユニットは、３つある各サイズに固定して、変換演算を行った後の周波数エネルギー分布を表示している。周波数分布とＴＵパーティションマップを並べて見ることにより、最適化されたＴＵサイズがどのように決定されているかを観察することが目的である。

ここで、ＴＵの構造を決定するにあたり、リーダー（Ｌ）、メンバー（Ｍ）とテンポラリーワーカー（ＴＷ）という３種類の役割を定義する。周波数ユニットの図で、丸印は、平均して非常に小さな周波数エネルギーしか持っていないブロックを示しており、これをリーダーブロックと定義する。これは、対応するサイズの変換計算後、これらのブロックの周波数エネルギー成分は非常に小さくなることを意味している。これらのブロックの変換係数は、ビットストリーム上では非常に少ないビット数しか消費しない。したがって、リーダーブロックが発生するような変換サイズを選択することは、最適なＴＵパーティションを選択していると考えることができる。

したがって、これらリーダーブロックを残差ブロックから検出することができるならば、これらのＬブロックを利用してＴＵパーティションの基本構造を決定することが有効と考えられる。ダイヤモンド印によって示されるメンバーブロックは、リーダーブロックと同じ分割領域から発生している。リーダーブロックのように、周波数エネルギーがＴＵ構造を導くほど十分に小さくないのでこれらはリーダーブロックが主導で決定されるＴＵパーティション構造に付随するものとして扱われる。最後に、三角形印で示されるテンポラリワーカーは、残差ブロックから判定を行うのが困難なブロックであり、これらはレート・歪みコストをもとに再帰的にサイズを判定するしかないものである。

次に、閾値の決定について説明する。閾値を導出するにあたっては、インター予測残差である残差サンプルｒ_ｉｊと量子化前変換係数ｄ_ｉｊがガウシアンモデルに基づいていることを前提とする。変換量子化係数ｑ_ｉｊの絶対値がすべて１未満となる場合（すなわち、オールゼロブロックとなる場合）変換量子化に入力される残差の係数はすべて、分散がＱＰ（量子化ステップ）の１ステップの範囲に収まっていることが推定される。そこで、２つのガウスモデルの分散の関係を計算することによって、ＳＡＤ値と閾値との関係性が構築される。閾値の導出方法を以下に説明する。

変換量子化係数の絶対値が１未満、すなわち、｜ｑ_ｕｖ｜＜１の場合、このブロックは、オールゼロブロックである。ＨＭにおいて、変換量子化係数ｑ_ｉｊは、
ｑ_ｉｊ ＝（ｄ_ｉｊ×ｆ［ＱＰ％６］＋ｏｆｆｓｅｔ）＞＞（２９＋ＱＰ／６−ｌｏｇ_２Ｎ− ＢｉｔＤｅｐｔｈ）ｉ，ｊ＝０．．．Ｎ−１
のように求められる。
ただし、
ｆ［ｘ］＝ ｛２６２１４，２３３０２，２０５６０，１８３９６，１６３８４，１４５６４｝，ｘ＝０，…，５
２^{２８＋ＱＰ／６−ｌｏｇ} _２ ^{Ｎ−ＢｉｔＤｅｐｔｈ}＜ｏｆｆｓｅｔ＜２^{２９＋ＱＰ／６−ｌｏｇ} _２ ^{Ｎ−ＢｉｔＤｅｐｔｈ}
であり、ＢｉｔＤｅｐｔｈは、ピクセルのビット深度と定義される。

量子化前変換係数ｄ_ｕｖがＱＰの１ステップ未満となるたるための条件は
と求められる。ただしｓｈｉｆｔ＝２９＋ＱＰ／６−ｌｏｇ_２Ｎ−Ｂｉｔｄｅｐｔｈである。

量子化前変換係数ｄ_ｉｊの分布と、インター予測残差ｒ_ｉｊの分布がそれぞれガウス分布と仮定した場合、この分布の分散間で成立する関係（近似式）は、次のように導出される。
ここで、ＴはＨＭで定義されている正規化された変換行列である。

［Ａ］_ｕ，_ｕは行列Ａの（ｕ，ｕ）番目のコンポーネントである。Ｒ_ｉｊ＝ρ^{｜ｊ−ｉ｜}ρ＝０．６では、σ^２ _Ｔ（ｕ，ｖ）は下記のように計算される。

上記のとおり、σ^２ _Ｔ（ｕ，ｖ）の中で最大の値は、ＤＣ成分で発生しているので、以下のようになる。

残差サンプルｒ_ｉｊ（ｉ，ｊ＝０．．．Ｎ−１）と量子化前変換係数ｄ_ｉｊは、ガウス分布としてモデル化しているので、ｄ_ｉｊの分布は（−ｎσ，ｎσ）の範囲内に収まると現される。ｎはゼロ以上の実数であり、ｎ＝３の場合、ｄ_ｉｊがこの範囲に収まる確率は約９９％である。それゆえ、変換係数の分布σ_Ｔ（ｕ，ｖ）と、インター予測残差の分布σ_ｒには、次の関係が成り立つ。
ＴＨ［ＱＰ］＞ｎ×σ_Ｔ

一方、
であり、
Ｎ＝８の場合、
である。

８×８ブロックの場合におけるＳＡＤと変換係数閾値の関係（不等式）は、インター予測残差の分布の分散がＳＡＤを用いた式で近似できることから、下記のように導出される。

８×８以外のブロックの関係も、下記のように導出される。

この実施形態中では、画質を保つため、閾値ＴＨ［ＱＰ］に乗じる調整係数を求めるための係数ｎの値は２に、ＴＨ’［ＱＰ］に乗じる調整係数を求めるための係数ｎの値は１に設定されている。なお、図１中の閾値ＴＨ［ＱＰ］及びＴＨ’［ＱＰ］は、それぞれ上記のＴＨ［ＱＰ］、ＴＨ’［ＱＰ］に調整係数を乗じたものを改めてＴＨ［ＱＰ］及びＴＨ’［ＱＰ］としたものである。

次に、本実施形態による変換量子化装置によって生じる効果について説明する。本実施形態による変換量子化装置の効果を明らかにするために、符号化効率と演算時間の評価を行った。大小の動き、クローズアップや広い範囲の画像、パンやシーンチェンジなどを含んだクラスＡ（２５６０×１６００）、およびクラスＢ（１９２０×１０８０）のＨＥＶＣテストシーケンスを使用した。表３はＢＤビットレート（参考文献「G. Bjontegard, ''Calculation of average PSNR differences between RD-curves,'' ITU-T VCEG-M33, 2001.」）を、変換量子化時間の短縮効果を表４に記載している。
ここで、総符号化時間の短縮（ＴＲ）は、ＨＭの符号化時間ＴＩＭＥ_ＨＥＶＣと、提案方式の符号化時間ＴＩＭＥ_{ｐｒｏｐｏｓａｌ}によって以下のように計算している。

ＴＲは、前述した手法とＨＭとでの変換量子化時間短縮の割合を示す。ＩはＲＤＯＱオフと提案方式、ＩＩはＲＤＯＱオンと前述した方式で、ＩＩＩはＲＤＯＱオフでＴＵサイズを固定したＣＵ、ＩＶはＲＤＯＱオンでＴＵサイズを固定している。前述した手法はＲＤＯＱオフとオンの双方において、それぞれ１．００％と０．８０％のＢＤビットレート削減を達成するとともに、１２．８％と２６．３％の総エンコード時間短縮を達成している。

また、符号化効率を図７に示す。横軸は総符号化時間比、元のＨＭ６．３合計符号化時間の占有率を表す。縦軸はＢＤのビットレートを示す。これらの結果から、ＴＵサイズをＣＵサイズと等しくする手法と比べて、符号化時間が短縮され、符号化効率も向上していることが確認できる。符号化時間が短縮される主な原因は、リーダーブロックによるＴＱの演算が省略できるためである。

以上説明したように、全サイズ全深さで変換量子化の計算を行うことなく、最適化されたＴＵパーティションを事前に判定するようにしたため、残差ブロックの特徴分析を行うことによって、異なった役割が残差ブロックに割り当てられることになり、対応する変換と量子化のみ計算を行えばよくなる。

これにより、再帰的なＲＤ計算を行うことなく最適化されたＴＵサイズを事前に高精度に判定するとともに、オールゼロとなるブロックもあわせて事前に判定することによって冗長な演算を抑制し、結果として演算量を削減することができる。特に、事前の準備として、周波数領域における残差の特性を分析することで、最適化されたＴＵサイズと残差との間の相関関係を明らかにし、そのうえで、ＴＵのブロック分割（ＴＵパーティション）の予測のために、残差周波数の分析を行ってブロックのモデリング（役割の割り当て）を行う。その後、役割の割り当てに基づいて変換パーティションの事前判定を行い、ＴＵサイズおよびオールゼロブロックの事前判定を行うようにした。このため、計算負荷を高めることなく、ＴＵに関する処理を行うことができる。

前述した実施形態における変換量子化装置をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されるものであってもよい。

以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の技術思想及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行ってもよい。

計算負荷を高めることなく、変換単位処理ユニット（ＴＵ）の処理を行うことが不可欠な用途にも適用できる。

１・・・インター予測部、２・・・ＡＺＢ判定部、３・・・トラバーサル整数変換量子化部、４・・・予測ＴＵサイズの整数変換量子化部、５・・・エントロピー符号化部

Claims (6)

1. 画像符号化におけるインター予測残差とその差分絶対値和から量子化変換係数を算出する変換量子化方法であって、
   変換量子化サイズ、ＱＰ値、ビット深度と変換係数閾値の関係を示す変換係数閾値表から画像符号化対象である２Ｎ×２Ｎサイズのブロック（Ｎ＝２ｎ，ｎは３以上の整数）の変換量子化サイズ２Ｎ、入力されたＱＰ値及びビット深度に対応する変換係数閾値を求める変換係数閾値特定ステップと、
   前記変換量子化サイズに対して定まる第１の調整係数を前記変換係数閾値に掛けた結果を第１の差分絶対値和上限値とする第１の差分絶対値和上限値算出ステップと、
   ２Ｎ×２Ｎサイズのブロックに対する差分絶対値和と前記第１の差分絶対値和上限値とを比較する第１の判定ステップと、
   前記第１の判定ステップにより２Ｎ×２Ｎサイズのブロックに対する差分絶対値和の方が前記第１の差分絶対値和上限値より小さいと判定された場合には、量子化変換係数をゼロとする第１の量子化変換係数決定ステップと、
   前記変換量子化サイズに対して定まる第２の調整係数を前記変換係数閾値に掛けた結果を第２の差分絶対値和上限値とする第２の差分絶対値和上限値算出ステップと、
   前記第１の判定ステップにより２Ｎ×２Ｎサイズのブロックに対する差分絶対値和の方が前記第１の差分絶対値和上限値より大きいか等しいと判定された場合には、前記２Ｎ×２Ｎのブロックサイズに対する差分絶対値和と前記第２の差分絶対値和上限値とを比較する第２の判定ステップと、
   前記第２の判定ステップにより２Ｎ×２Ｎサイズのブロックに対する差分絶対値和の方が前記第２の差分絶対値和上限値より小さいと判定された場合には、変換量子化サイズを２Ｎ×２Ｎとして変換量子化演算を実行する第２の量子化変換係数決定ステップと、
   を有することを特徴とする変換量子化方法。
2. 前記第２の判定ステップにより２Ｎ×２Ｎサイズのブロックに対する差分絶対値和の方が前記第２の差分絶対値和上限値より大きいか等しいと判定された場合には、前記２Ｎ×２Ｎサイズのブロックを４つに分割し、各Ｎ×Ｎサイズのブロックに対する差分絶対値和と前記２Ｎ×２Ｎサイズのブロックに対する差分絶対値和に１／４を乗じた値とを比較する第３の判定ステップと、
   前記第３の判定ステップによりいずれか一つのＮ×Ｎサイズのブロックに対する差分絶対値和の方が前記２Ｎ×２Ｎサイズのブロックに対する差分絶対値和に１／４を乗じた値より大きいか等しいと判定された場合には、前記２Ｎ×２Ｎサイズのブロックに対して再帰的に変換量子化演算を実行する第３の量子化変換係数決定ステップと
   をさらに有することを特徴とする請求項１に記載の変換量子化方法。
3. 画像符号化におけるインター予測残差とその差分絶対値和から量子化変換係数を算出する変換量子化方法であって、
   変換量子化サイズ、ＱＰ値、ビット深度と変換係数閾値の関係を示す変換係数閾値表から画像符号化対象である２Ｎ×２Ｎサイズのブロック（Ｎ＝２ｎ，ｎは３以上の整数）の変換量子化サイズ２Ｎ、入力されたＱＰ値及びビット深度に対応する変換係数閾値を求める変換係数閾値特定ステップと、
   前記変換量子化サイズに対して定まる第１の調整係数を前記変換係数閾値に掛けた結果を第１の差分絶対値和上限値とする第１の差分絶対値和上限値算出ステップと、
   ２Ｎ×２Ｎサイズのブロックに対する差分絶対値和と前記第１の差分絶対値和上限値とを比較する第１の判定ステップと、
   前記第１の判定ステップにより２Ｎ×２Ｎサイズのブロックに対する差分絶対値和の方が前記第１の差分絶対値和上限値より小さいと判定された場合には、量子化変換係数をゼロとする第１の量子化変換係数決定ステップと、
   前記変換係数閾値表は、
   インター予測残差と変換係数がガウス分布に従うとしたうえで、画像符号化対象のブロックの量子化変換係数の絶対値がすべて１より小さいとした場合に導出される差分絶対値和についての不等式から特定される値を変換係数閾値として定めることを特徴とする変換量子化方法。
4. 画像符号化におけるインター予測残差とその差分絶対値和から量子化変換係数を算出する変換量子化装置であって、
   変換量子化サイズ、ＱＰ値、ビット深度と変換係数閾値の関係を示す変換係数閾値表から画像符号化対象である２Ｎ×２Ｎサイズのブロック（Ｎ＝２ｎ，ｎは３以上の整数）の変換量子化サイズ２Ｎ、入力されたＱＰ値及びビット深度に対応する変換係数閾値を求める変換係数閾値特定手段と、
   前記変換量子化サイズに対して定まる第１の調整係数を前記変換係数閾値に掛けた結果を第１の差分絶対値和上限値とする第１の差分絶対値和上限値算出手段と、
   ２Ｎ×２Ｎサイズのブロックに対する差分絶対値和と前記第１の差分絶対値和上限値とを比較する第１の判定手段と、
   前記第１の判定手段により２Ｎ×２Ｎサイズのブロックに対する差分絶対値和の方が前記第１の差分絶対値和上限値より小さいと判定された場合には、量子化変換係数をゼロとする第１の量子化変換係数決定手段と、
   前記変換量子化サイズに対して定まる第２の調整係数を前記変換係数閾値に掛けた結果を第２の差分絶対値和上限値とする第２の差分絶対値和上限値算出ステップと、
   前記第１の判定ステップにより２Ｎ×２Ｎサイズのブロックに対する差分絶対値和の方が前記第１の差分絶対値和上限値より大きいか等しいと判定された場合には、前記２Ｎ×２Ｎのブロックサイズに対する差分絶対値和と前記第２の差分絶対値和上限値とを比較する第２の判定ステップと、
   前記第２の判定ステップにより２Ｎ×２Ｎサイズのブロックに対する差分絶対値和の方が前記第２の差分絶対値和上限値より小さいと判定された場合には、変換量子化サイズを２Ｎ×２Ｎとして変換量子化演算を実行する第２の量子化変換係数決定ステップと、
   を備えることを特徴とする変換量子化装置。
5. 画像符号化におけるインター予測残差とその差分絶対値和から量子化変換係数を算出する変換量子化装置であって、
   変換量子化サイズ、ＱＰ値、ビット深度と変換係数閾値の関係を示す変換係数閾値表から画像符号化対象である２Ｎ×２Ｎサイズのブロック（Ｎ＝２ｎ，ｎは３以上の整数）の変換量子化サイズ２Ｎ、入力されたＱＰ値及びビット深度に対応する変換係数閾値を求める変換係数閾値特定手段と、
   前記変換量子化サイズに対して定まる第１の調整係数を前記変換係数閾値に掛けた結果を第１の差分絶対値和上限値とする第１の差分絶対値和上限値算出手段と、
   ２Ｎ×２Ｎサイズのブロックに対する差分絶対値和と前記第１の差分絶対値和上限値とを比較する第１の判定手段と、
   前記第１の判定手段により２Ｎ×２Ｎサイズのブロックに対する差分絶対値和の方が前記第１の差分絶対値和上限値より小さいと判定された場合には、量子化変換係数をゼロとする第１の量子化変換係数決定手段と、
   前記変換係数閾値表は、
   インター予測残差と変換係数がガウス分布に従うとしたうえで、画像符号化対象のブロックの量子化変換係数の絶対値がすべて１より小さいとした場合に導出される差分絶対値和についての不等式から特定される値を変換係数閾値として定めることを特徴とする変換量子化装置。
6. コンピュータに、請求項１から３のいずれか１項に記載の変換量子化方法を実行させるための変換量子化プログラム。