JP2016032182A

JP2016032182A - 動画像符号化装置及び動画像復号装置並びに動画像符号化・復号方法及びプログラム

Info

Publication number: JP2016032182A
Application number: JP2014153302A
Authority: JP
Inventors: 翠王; Cui Wang; 知伸吉野; Tomonobu Yoshino
Original assignee: KDDI Corp
Current assignee: KDDI Corp
Priority date: 2014-07-28
Filing date: 2014-07-28
Publication date: 2016-03-07
Also published as: WO2016017338A1

Abstract

【課題】高い符号化効率を達成することが可能な、インター予測残差信号に対してイントラ予測を許容する動画像符号化装置を提供する。
【解決手段】二次イントラ予測部104は、インター予測残差信号に対して、ブロックごとに所定の予測方向で予測を行う。二次非因果的予測部105は、インター予測残差信号に対して、ブロックごとに属している各信号をその周囲の信号に基づいて予測する。選択部106は、ブロックごとに、二次イントラ予測部104又は二次非因果的予測部105のいずれによって予測を行うかを決定する
【選択図】図１

Description

本発明は、動画像符号化装置及び動画像復号装置並びに動画像符号化・復号方法及びプログラムに関し、特に、インター予測残差信号に対してイントラ予測を許容する動画像符号化装置及び動画像復号装置並びに動画像符号化・復号方法及びプログラムに関する。

非特許文献１には、映像圧縮符号化の標準規格が開示されている。同規格では、フレーム間予測(以下、インター予測)を行う際に、動き補償残差信号に対して直交変換および符号化を行う。

これに対して、非特許文献２では、予測性能の向上による符号化性能改善を目的として、動き補償残差信号に対してフレーム内予測（以下、イントラ予測）を行う方式が開示されている。当該方式は、インター予測にさらにイントラ予測を適用することで二重に予測を行っていることから、同文献では当該予測を二次予測(Second order prediction)と呼んでいる。

"Draft ITU-T recommendation and final draft international standard of joint video specification (ITU-T Rec. H.264/ISO/IEC 14 496-10 AVC),"in Joint Video Team (JVT) of ISO/IEC MPEG and ITU-T VCEG, JVTG050, 2003. S. Li, S. Chen, J. Wang, and L. Yu, "Second order prediction on H.264/AVC," in PCS: 2009 Picture Coding Symposium, 2009, pp. 85-88, Picture Coding Symposium 2009, Chicago, IL, May 06-08, 2009. A. Asif and J. M. F. Moura, "Image Codec with Non-causal Prediction, Residual Mean Removal, and Cascaded VQ," IEEE Trans. on Video Tech., vol. 6, no. 1, Feb. 1996.

しかしながら、以上のような従来技術は、符号化効率をさらに向上させる余地が残っているという点で課題があった。

標準規格を開示している非特許文献１に示されているインター予測では、映像における時間相関性を低減できるものの、空間方向の予測は行われないために空間方向で画素値の冗長性が残っている。

非特許文献２の方式では、インター予測残差信号に対して空間予測を行うため、空間方向の冗長性を低減することができる。しかしながら、同方式では、非特許文献１などに採用されている標準規格のイントラ予測を行うため、イントラ予測の参照画素をインター予測ブロックの外側に生成する必要がある。

また、インター予測残差信号は、空間方向の冗長性が残るものの、一般的な映像信号よりは隣接画素間の画素値の相関性が低い。一般に、隣接画素間の画素値の相関性をρ(ρは1以下)とすると、N画素離れた画素間の相関性はρのN乗に比例する。したがって、インター予測残差信号に対して、非特許文献１のような参照画素値を予測方向に沿って予測値として適用する予測を行うという非特許文献２の方式では、参照画素から離れるほど予測性能の低下が顕著になるため、イントラ予測を適用することによる符号化性能向上への効果は限定的である。

すなわち、非特許文献２では、インター予測にさらにイントラ予測を適用するという二次予測の枠組みで、非特許文献１等の枠組みよりも符号化効率の向上を図っているものの、さらなる向上の余地が残っている。特に、非特許文献２の大きな課題として、インター予測残差信号の特徴を考慮せずに、参照画素値を予測方向に沿って予測値として設定するイントラ予測方式（非特許文献１の方式）を用いている点が挙げられる。

ここで、非特許文献１のイントラ予測は、符号化済みの画素（過去の画素）から符号化対象の画素（未来の画素）を予測するという点で、因果的予測という枠組みに該当する。一方、因果的予測に対して、非特許文献３に開示されているような非因果的予測という枠組みが存在する。

図３は、因果的予測と非因果的予測とをそれぞれ概念的に示す図である。[1]に示す因果的予測においては、一般に予測対象の位置(i, j)の画素x_i,jは、例えばその左あるいは上の画素x_i-1,j-1, x_i,j-1, x_i-1,j等から予測されることとなる。このように予測方向が制限されているため、前述のように画素位置が互いに離れるほど相関が低くなることにより、符号化効率を低下させてしまう。一方、[2]に示す非因果的予測においては、予測方向は制限されておらず、一般に予測対象の位置(i, j)の画素x_i,jはその周囲の全ての画素、例えば画素x_i,j-1, x_i-1,j, x_i+1,j, x_i,j+1等から予測されることとなる。このように、因果的予測と比べ、非因果的予測の方が予測のために参照する画素が多い且つ全方向の隣接画素を使うことが可能なため、画素位置が離れた際の相関低下の影響が少なくなり、優れた予測ができることが期待できる。

しかしながら、非特許文献３に開示の非因果的予測は、非特許文献２におけるような、インター予測残差信号に対してイントラ予測を適用する二次予測の枠組みにおいて使うことが、そもそも想定されていない。特に、インター予測残差信号ではなく画素を対象としており、符号化効率の向上のために画像全体を一括処理する必要があり、多大な計算コストを要するという課題があった。具体的には以下の通りである。

すなわち、非特許文献３において処理対象信号は画素値であるため、復号装置では右方向及び下方向の画素は未知である。また、非因果的方式の予測誤差信号の電力は小さいものの、復号時に用いられる予測関数が非直交のため、誤差が拡大する可能性がある。したがって、当該誤差拡大を抑制するために、因果的予測に基づく復号装置より計算負荷が重くなることが知られている。実際に復号を行う時には、符号化効率を保つために反復処理アルゴリズム（iterative processing algorithm）または再帰的アルゴリズム(recursive algorithm)を利用しなければならない。

非特許文献３では、再帰的フレームワークという方式を利用している。符号化装置と復号装置はそれぞれ再帰的な操作を行い、高効率符号化が実現する。具体的には、符号化側で、以下のステップ1〜4を行う。

[ステップ1] 画像全体を処理対象として以下の四種類のパラメータを求め、画像の各行に対して最適なパラメータセットを反復で探す。
(1)全画面の平均値、(2)ゼロ平均画像(zero mean image)、(3)画像全体の電力（sample power）、(4)画像の相関係数(sample correlations)。
[ステップ2] ステップ1で得られたパラメータセットを使い、再帰的な行列を生成する。
[ステップ3] 最後の行から再帰的な行列を使い予測誤差画像を生成し、予測誤差画像を量子化する。こうして、復号装置へ送られるものは、量子化された予測誤差画像のエントロピー符号化した後の値と、非因果的予測のパラメータ（ステップ1で求めたもの）となる。

以上の符号化装置の処理に応じて復号装置は、以下のステップ1〜3を行う。
[ステップ1] 得られた信号をエントロピー復号し、逆量子化して誤差画像を生成する。
[ステップ2] 得られたパラメータの情報によって符号化側のステップ2の出力と同じ再帰的な行列を計算する。
[ステップ3] 再帰的な行列によって再構成行列を生成し、画像の最後行から一回で一行を再構成する。

以上のように、非特許文献３における非因果的モデルの画面内予測は、符号化効率を保つために（パラメータを全画面に対して最適化するために）全画面を再帰的な処理のもとで一括処理しなければならないので、実装の時に、計算の複雑度が非常に高くなる。特に、超高解像度画像に対しては、リアルタイム処理の実現は不可能と考えられる。

上記従来技術の課題に鑑み、本発明は、高い符号化効率を達成することが可能な、インター予測残差信号に対してイントラ予測を許容する動画像符号化装置を提供することを目的とする。

また、本発明は、前記動画像符号化装置に対応する動画像復号装置を提供することを目的とする。

さらに、本発明は、高い符号化効率を達成することが可能な、インター予測残差信号に対してイントラ予測を許容する動画像符号化・復号方法及びプログラムを提供することを目的とする。

上記目的を達成するため、本発明は、インター予測残差信号に対してイントラ予測を許容する動画像符号化装置であって、インター予測残差信号に対して、ブロックごとに所定の予測方向で予測を行う二次イントラ予測部と、インター予測残差信号に対して、ブロックごとに属している各信号をその周囲の信号に基づいて予測する二次非因果的予測部と、
ブロックごとに、前記二次イントラ予測部又は前記二次非因果的予測部のいずれによって予測を行うかを決定する選択部と、を備えることを特徴とする。

また、本発明は、インター予測残差信号に対してイントラ予測を許容する動画像復号装置であって、インター予測残差信号に対して、ブロックごとに所定の予測方向で予測を行う二次イントラ予測部と、インター予測残差信号に対して、ブロックごとに属している各信号をその周囲の信号に基づいて予測する二次非因果的予測部と、ブロックごとに、前記二次イントラ予測部又は前記二次非因果的予測部のいずれによって予測を行うかを決定する選択部と、を備えることを特徴とする。

また、本発明は、インター予測残差信号に対してイントラ予測を許容する動画像符号化・復号方法であって、符号化対象のインター予測残差信号に対して、ブロックごとに所定の予測方向で予測を行う符号化側二次イントラ予測段階と、符号化対象のインター予測残差信号に対して、ブロックごとに属している各信号をその周囲の信号に基づいて予測する符号化側二次非因果的予測段階と、符号化対象のブロックごとに、前記符号化側二次イントラ予測段階又は前記符号化側二次非因果的予測段階のいずれによって予測を行うかを選択する符号化側選択段階と、前記選択された予測を適用して符号化対象のブロックごとに符号化を行ってビットストリームとする符号化段階と、前記ビットストリームを復号する復号段階と、復号対象のインター予測残差信号に対して、ブロックごとに所定の予測方向で予測を行う復号側二次イントラ予測段階と、復号対象のインター予測残差信号に対して、ブロックごとに属している各信号をその周囲の信号に基づいて予測する復号側二次非因果的予測段階と、復号対象のブロックごとに、前記復号対象二次イントラ予測部段階又は前記復号対象二次非因果的予測段階のいずれによって予測を行うかを選択する復号側選択段階と、を備えることを特徴とする。

また、本発明は、コンピュータに前記動画像符号化・復号方法を実行させるプログラムであることを特徴とする。

本発明によれば、インター予測残差信号に対してイントラ予測を適用するに際して、二次イントラ予測部又は二次非因果的予測部のいずれかを選択することができるので、信号特性に応じた予測手段を適用することで、高い符号化効率を達成することができる。

一実施形態に係る動画像符号化装置の機能ブロック図である。一実施形態に係る動画像復号装置の機能ブロック図である。因果的予測と非因果的予測とをそれぞれ概念的に示す図である。非因果的内挿予測の計算を説明するための図である。一般的な非因果的予測の式を説明するための図である。

図１は、一実施形態に係る動画像符号化装置の機能ブロック図である。動画像符号化装置100は、イントラ予測部101、インター予測部102、動き補償部103、二次イントラ予測部104（以下、SOP部104[Second Order Prediction]とする）、二次非因果的予測部105（以下、NCSOP部105[Non Causal Second Order Prediction]とする）、選択部106、変換・量子化部107、逆量子化・逆変換部108、スイッチ109、加算器110、フィルタ部111、第一メモリ112、符号化部113及び差分器120及び差分器130を備える。

動画像符号化装置100は、当該構成を備えることにより、符号化対象の動画像をフレームごとに読み込み、当該フレームをブロックに分割してブロックごとに、構成されている画素に種々の予測を適用し、その残差を変換・量子化して符号化し、ビットストリームとする。

図２は、図１の動画像符号化装置100により符号化されたビットストリームを復号する、一実施形態に係る動画像復号装置200の機能ブロック図である。動画像復号装置200は、イントラ予測部201、動き補償部203、二次イントラ予測部204（以下、SOP部204[Second Order Prediction]とする）、二次非因果的予測部205（以下、NCSOP部205[Non Causal Second Order Prediction]とする）、選択部206、逆量子化・逆変換部208、スイッチ219、加算器210、フィルタ部211、第一メモリ212、復号部213、第二メモリ214及びスイッチ229を備える。

ここで、動画像符号化装置100及び動画像復号装置200の各部の詳細を説明するに先立ってまず、その全体的な特徴を説明する。

動画像符号化装置100及び動画像復号装置200の各部で、互いに共通の機能部名称を付し、下2桁の参照番号が共通する機能部同士、例えば、イントラ予測部101及びイントラ予測部201は、その処理内容は共通である。

動画像符号化装置100の特徴的構成は、機能ブロック群B100として示すSOP部104、NCSOP部105及び選択部106（及び差分器130）である。これらの特徴的構成を仮に全て省略したとすると、動画像符号化装置100は、非特許文献１に開示されている標準規格と同様の構成となる。また、これらの特徴的構成のうち、NCSOP部105のみを仮に省略したとすると、動画像符号化装置100は、非特許文献２に開示されているのと同様の構成となる。

当該特徴的構成により、動画像符号化装置100は、インター予測残差信号に対する二次予測として、非特許文献３に提案されている非因果的内挿予測に基づく画面内予測を本願発明特有の手法によって用いることを許容し、インター予測残差信号の特徴に応じて、二次予測に用いるイントラ符号化方式を適応的に選択する。こうして、インター予測残差における空間方向の冗長性の低減を可能とする二次予測方式（非特許文献２の方式）のさらなる予測性能向上を達成する。

すなわち、非特許文献２の方式では、SOP部104のみしか利用しないために、インター予測残差信号の特性によっては符号化効率が不十分となる場合があったのに対して、本願発明においては、当該信号特性に適したNCSOP部105を選択的に利用することにより、符号化効率を向上させる。

同様に、動画像復号装置200の特徴的構成は、機能ブロック群B200として示すSOP部204、NCSOP部205及び選択部206である。これらの特徴的構成を仮に全て省略したとすると、動画像復号装置200は、非特許文献１に開示されている標準規格と同様の構成となる。また、これらの特徴的構成のうち、NCSOP部205のみを仮に省略したとすると、動画像復号装置200は、非特許文献２に開示されているのと同様の構成となる。

当該特徴的構成により、動画像復号装置200は、インター予測残差における空間方向の冗長性の低減を可能とする二次予測方式（非特許文献２の方式）のさらなる予測性能向上を達成する動画像符号化装置100に対応した復号処理が可能となる。

以下、図１及び図２の各部の詳細を説明する。なお、前述のように、動画像符号化装置100及び動画像復号装置200の各部の多くは、処理内容自体は共通であり、データの流れが異なっている。従って、共通処理内容の機能部については、動画像符号化装置100及び動画像復号装置200で並行して説明を行い、異なるデータの流れについては別途に説明することとする。また、当該並行して説明を行う便宜上、動画像符号化装置100をエンコーダ、動画像復号装置200をデコーダと略称する。

イントラ予測部101,201では、非特許文献１におけるフレーム内予測処理を行う。イントラ予測符号化（画面内予測符号化とも言う）の場合、正方形のブロック単位で行う。N×Nブロックの場合、左ブロックの中の右端N画素、上ブロック中の下端N画素、右上ブロック中の下端4画素と左上ブロック中の右下１画素の中のいくつか画素からブロック内のN×N画素の値を予測し符号化する。用いる近傍の符号化済み画素の位置と使い方によっていくつかの予測モードがある。最も高い符号化性能が期待される予測方向による予測値が出力される。

エンコーダ、デコーダ共通の流れとして、イントラ予測部101,201は、予測基準の符号化済み画素（復号済み画素）を保持している第一メモリ112,212を参照して、予測値を出力する。エンコーダでは予測値は差分器120に、デコーダでは予測値はスイッチ219,229を経て加算器210に出力される。エンコーダではさらに、予測モード（イントラ予測情報）が符号化部113に出力される。

インター予測部102では、フレーム間予測に用いる動きベクトルを決定する。同部では、処理ブロックに関して参照フレームにおいて予測に適したブロックを評価し、予測に最適な位置と処理ブロックの空間的な変位をベクトルで表現し、動きベクトルとする。ここで、参照フレームは、第一メモリ112が保持している。同部の出力として、動きベクトルを出力して、動き補償部103及び符号化部113に渡す。

動き補償103,203部では、上記のように推定された動きベクトルを用いて、第一メモリ112,212が保持している参照フレームの該当箇所より予測値を生成する。同部の出力として、生成された予測値を出力し、エンコーダでは差分器120に、デコーダではスイッチ219,229を経て加算器210へと出力する。

デコーダ側にて、スイッチ219は、イントラ予測部201あるいは動き補償部203のいずれかより予測信号が送られると、当該予測信号をスイッチ229に送る。スイッチ229は、スイッチ219あるいは機能ブロック群B200のいずれかより予測信号が送られると、当該予測信号を加算器210に送る。

SOP部104は、非特許文献２で提案されている二次予測（インター予測残差へのイントラ予測の適用）を行う。すなわち、インター予測残差（動き補償による残差信号）に対して、フレーム内予測を行う。具体的には、動き補償の残差信号に関して、処理ブロックの上、左、左上、右上の復号画素値と、動き補償の参照先ブロックの上、左、左上、右上の復号画素値の差分を予測値とし、フレーム内予測を行う。

ここで、予測対象のインター予測残差信号は、符号化対象ブロックを読み込んでインター予測部102及び動き補償部103で処理して得られるインター予測信号と、当該符号化対象ブロック自身の信号と、の差分を差分器120において生成することにより、得られる。

また、参照するインター予測残差信号は、上記の差分器120の出力をSOP部104に出力するのと並行して、変換・量子化部107にも出力しておき、変換・量子化部107及び逆量子化・逆変換部108を経た後、スイッチ109によって線L100の方に流れが切り替えられることで第一メモリ112に保持させておく。これにより、当該時点における符号化対象ブロックのフレームが以降の時点でインター予測の基準フレームとなった際に、参照用のインター予測残差信号を提供することが可能となる。

SOP部104の出力として、動き補償による予測値とフレーム内予測値を加算した値を予測値として出力し、差分器130において当該予測値と、符号化対象との信号の差分を求めたうえで、変換・量子化部107に渡す。なお、動き補償による予測値は、当該符号化対象ブロックについて上記の差分器120へ入力する前に動き補償部103部で得ている結果を受け取ればよい。（当該受け取る際のデータ授受の流れは図１では不図示である。）

一方、対応するデコーダ側のSOP部204は、非特許文献２で示されているSOPに基づく復号側での予測値生成を行う。同部では、処理ブロックの上、左、左上、右上の復号済み画素と、動きベクトルによって指し示される参照先の上、左、左上、右上の復号済み画素の差分を、イントラ予測の参照画素として、制御情報のイントラ予測方向に従って予測値を生成する。次に、前述の予測値と、動き補償による予測値を加算した値を、SOPの予測値とする。同部の出力として、SOPの予測値を出力し、スイッチ229を経て加算器210に渡す。

デコーダ側のSOP部204が当該処理を行うには、参照画素としてのインター予測残差信号が必要となるが、これはエンコーダ側と同様の処理によって、動き補償部203が第一メモリ212に保存しておく。このため、デコーダ側では動き補償部203が予測信号を求めると共に、第一メモリ212を参照して、当該求めた予測信号と参照信号との差分としてインター予測残差信号を求め、線L200として示すように再度、第一メモリ212に保存しておくものとする。

エンコーダ側のSOP104で得られた予測値から差分器130によって求まった差分値は、変換・量子化部107及び符号化部113によって符号化された後、デコーダ側に渡り、復号部213及び逆量子化部208で差分値に戻り、加算器210にて上記のデコーダ側のSOP部204が求めた予測値と加算されることで、復号画素値となる。

変換・量子化部107では、予測誤差信号を入力とし、同信号に対して直交変換と量子化を行う。同部の出力として、量子化された変換係数を出力し、逆量子化・逆変換部108及び符号化部113に渡す。当該入力される予測誤差信号に適用されうる予測は、イントラ予測部101、動き補償部103、SOP部104又はNCSOP部105のいずれかによるものとなる。

逆量子化・逆変換部108,208では、量子化された変換係数を入力とする。同部では、同部への入力信号に対して逆量子化および逆変換を行い、残差信号を得る。同部の出力として、得られた残差信号を出力し、エンコーダ側ではスイッチ109に、デコーダ側では加算器210に渡す。なお、図２に一点鎖線L250で示すようにデコーダ側では、NCSOP部205を適用する残差の場合のみ、残差信号は選択部206を経てNCSOP部205に渡される。

スイッチ109は、SOP部104で説明したように、SOP部104で予測の基準として用いるためのインター予測残差信号を線L100で示すように第一メモリ112へと渡し、これ以外の種類の残差信号については、加算器110に渡すというスイッチング処理を行う。

加算器110,210は、スイッチ109あるいは逆量子化・逆変換部208から送られる残差と、各予測部から送られる予測信号とを加算して再構成された画素信号（復号画像の信号）を得て、フィルタ部111,211に渡す。

フィルタ部111,211は、第一メモリ112,212に復号画像を格納するに先立ち、画像の符号化時に生じるブロック歪を減少させるためのフィルタである。同部の出力として、フィルタ処理後の復号画像を出力する。

符号化部113は、量子化された係数、符号化モード、動きベクトルの情報などに対してエントロピー符号化を行う。同部の出力として、符号化されたビットストリームを出力する。

復号部213は、上記の符号化部113により得られたビットストリームに対してエントロピーデコードし、符号化モードなどの制御情報と残差信号を取得する。同部の出力として、取得した制御情報と残差信号を出力する。残差信号は逆量子化・逆変換部208に渡し、制御情報は第二メモリ214に渡す。

第一メモリ112, 212は、復号画像を蓄積するためのメモリであり、イントラ予測部101,201、動き補償部103,203、SOP部104,204に対して必要に応じて復号画素値を供給する。

第二メモリ214は、制御情報（予測モードの情報等）を蓄積するためのメモリであり、各種の予測等をイントラ予測部201、動き補償部203及びSOP部204等で実施するに際して、必要に応じて制御情報を供給する。

以下、本発明における特徴的構成であり、選択部106,206により選択的に適用される、NCSOP部105,205について説明する。

まず、選択部106では、動き補償残差信号に対して画面内予測符号化を行い、画面内予測方法に関して複数の候補から適切な予測方法の選択を可能とする。特に、符号化処理単位において、SOP部104もしくはNCSOP部105のどちらを採用すべきであるかを決定する。

当該決定した情報は、（図１にその流れは不図示であるが）制御情報として符号化部113に送られて符号化されビットストリームに付与される。当該情報は復号され、デコーダ側の選択部206が受信することで、SOP部204あるいはNCSOP部205のいずれを採用するかをデコーダ側においても同様に決定する。

スライス全体で、どちらか一方の予測が効果的と見込まれる場合は、スライスヘッダに識別情報を付与して、スライス内は識別情報に示される一方の予測のみを使うこととする。また、この評価の結果、当該スライス内ではどちらも用いないことを識別情報で示すことができることとする。更に、どちらか一方を用いる、もしくはどちらも用いないことの識別は、スライスヘッダよりも上位の符号化シンタックスで識別することも可能である。

スライス全体でどちらか一方を決めない場合は、動き補償の残差信号に対して画面内予測を行うブロックにおいて、どちらの予測を用いるかを示す識別情報をブロック毎に付与する。

スライス単位でどちらか一方を決める方法として、スライス内の画素値の分散値を用いる方法が可能である。ブロック単位でどちらか一方を決める方法として、処理ブロックの画素値の分散値、動き補償残差信号の分散値および画素間相関、それぞれの予測に基づく符号化性能が可能である。

当該各単位において決定する基準として、処理ブロックの画素値の分散値、動き補償残差信号の分散値および画素間相関、それぞれの予測に基づく符号化性能（符号化誤差と発生符号量とに基づいて評価する符号化性能）などといったような、種々の符号化性能見込みの評価指標を利用することができる。分散値や画素間相関の大小は、例えば閾値に基づいて判定すればよい。符号化性能については、実際に評価したうえで、高い性能の方に決定すればよい。

なお、SOP部104で用いられる予測方向に基づくイントラ予測の性質を考慮すると、複雑なテクスチャでは著しい予測性能の低下が懸念される。したがって、分散値が高い領域や、画素間相関が低い領域では、NCSOP部105が適している。

NCSOP部105では、動き補償の残差信号に対して、画面内予測として非特許文献３に提案された非因果的内挿予測を、本願発明に特化した手法で用いて予測値を生成する。同部での予測値生成方法の詳細は後述する。

NCSOP部105における非因果的内挿予測では、同予測対象のフレーム間予測残差信号に対して、内挿予測関数による行列演算を行う。符号化の手順を図４のN画素×Mライン行列として構成された画像を例に説明する。

図４にN画素×Mラインの符号化ブロックにおける非因果的内挿予測の処理の例を示す。同図では、画素座標2, N+1, N+3, 2N+2における予測誤差信号値x₂, x_N+1, x_N+3, x_2N+2を用いて、画素座標N+2における符号化対象値y_N+2を算出する例が示されている。

また、図４では、灰色の四隅の画素は予測処理を行わない画素である。当該画素では、(第1次予測である)動き補償予測の残差信号を、エントロピー符号化する。白の画素は予測処理を行う画素である。第2次予測の非因果的内挿予測では、ブロック内の各画素における動き補償予測の残差信号値X={x_n | n=1,2,…NM}を用いて、残差信号に対する符号化対象値Y={y_n | n=1,2,…,NM}を算出し、Yに対してエントロピー符号化を行う。

例えば、画素N+2, 2N, (M-1)(N+3)について、残差信号値x_N+2, x_2N, x_(M-1)N+3を用いて、符号化対象値y_N+2, y_2N, y_(M-1)N+3を算出する処理は、

となる。このように全ての画素を予測すると、一般的な非因果的予測は式4で表すことができる。

ただし、β_v, β_h, β_ldとβ_rdがそれぞれ垂直、水平、左対角と右対角の予測係数で、値はその値の範囲が[0,1]内(0以上1以下)となるような所定値をそれぞれ用いる。またy_ijが予測誤差となる。なお、式4の座標位置の表記は、（図４とは異なり、）図５に示す通りである。

このように、対象画素の周囲8画素の全部又は一部を用いた所定の線形和として、非因果的予測を予め定義しておくことができる。さらに、図５に示すよりも広い所定の範囲を用いて、同様に非因果的予測を定義してもよい。

非因果的内挿予測に関して、上記の予測処理に対する符号化処理および復号処理を式5および式6に示す。すなわち、エンコーダ側のNCSOP部106は当該式5の処理を行い、デコーダ側のNCSOP部206は当該式6の処理を行うこととなる。

式5は、N×Mの行列Lで表される符号化ブロックに対する予測符号化を示している。すなわち、以上の(1)〜(3)や(4)で説明した各画素の処理を、ブロック全体の演算として示したものが式5である。

ただし、CがNM×NMの符号化行列で、vec(X)はNM次元でのすべての画素のベクトルで、vec(E)はNM次元での符号化後のベクトルである。

また、式6は復号処理を表している。C^-1は、前述のCの逆行列を示している。

以上の説明から明らかなように、本発明では、フレーム間残差信号に対して空間相関性を除去するためのSOPにおいて複数のブロックサイズに対する非因果的内挿イントラ予測方式を提案する。因果的予測と比べ、非因果的予測のほうが予測のために参照する画素が多い且つ全方向の隣接画素を使うため、優れた予測ができることが知られている。

特に、本発明の非因果的内挿イントラ予測方式は、非特許文献３のものとは異なり、予め固定された情報として、行列C及びその逆行列の情報のみを、エンコーダ側及びデコーダ側で利用して、符号化対象・復号対象のブロック単位で演算を行うだけでよい。従って、反復計算等は不要であり、低い計算負荷で符号化及び復号が可能である。

以上に基づき、デコーダ側では以下のように動作することが可能となる。

選択部206では、インター予測残差信号に対して画面内予測を可能とし、ビットストリームに記載の予測情報に従って、複数存在する画面内予測方法から1つの予測方法を選択する。すなわち、SOP部104又はNCSOP部105のいずれかの利用を選択する。

NCSOP部205では、以上説明したように本発明に特有の非因果的内挿イントラ予測方式に基づく予測値生成を行う。すなわち、同部では、復号部213から出力され、逆量子化・逆変換部208で処理されて得られる残差信号（図２中、１点鎖線でその流れを表記してある）に対して、式6の符号化行列Cの逆行列をかけることで非因果的内挿予測の復号処理を行う。同結果に対して、加算部210において動き補償の予測値を加えることで、処理ブロックの復号値を得ることができる。

（補足事項１）本発明は、コンピュータを動画像符号化装置100又は動画像復号装置200として機能させるプログラムとしても提供可能である。当該コンピュータには、CPU(中央演算装置)、メモリ及び各種I/Fといった周知のハードウェア構成のものを採用することができ、CPUが図１又は図２の各部の機能に対応する命令を実行することとなる。

（補足事項２）本発明は、動画像符号化装置100及び動画像復号装置200を備える動画像符号化・復号システムとしても提供可能である。この場合、当該システムにおいては、動画像符号化装置100が符号化部113において符号化したビットストリームを、動画像復号装置200の復号部213で受信して復号化することとなる。当該システム内における動画像符号化装置100及び動画像復号装置200のそれぞれの動作は、以上説明したのと同様である。

（補足事項３）本発明は、上記の動画像符号化装置100及び動画像復号装置200を備える動画像符号化・復号システムの動作方法（動画像符号化・復号方法）としても提供可能であり、当該動画像符号化・復号方法をコンピュータに実行させるプログラムとしても提供可能である。当該コンピュータのハードウェア構成等については（補足事項１）で説明したのと同様である。

100…動画像符号化装置、200…動画像復号装置、101,201…イントラ予測部、102,202…インター予測部、103,203…動き補償部、104,204…二次イントラ予測部、105,205…二次非因果的予測部、106,206…選択部、107…変換・量子化部、108,208…逆量子化・逆変換部、110,210…加算器、111,211…フィルタ部、112,212…第一メモリ、214…第二メモリ、113…符号化部、213…復号部、120,130…差分器、109,219,229…スイッチ

Claims

インター予測残差信号に対してイントラ予測を許容する動画像符号化装置であって、
インター予測残差信号に対して、ブロックごとに所定の予測方向で予測を行う二次イントラ予測部と、
インター予測残差信号に対して、ブロックごとに属している各信号をその周囲の信号に基づいて予測する二次非因果的予測部と、
ブロックごとに、前記二次イントラ予測部又は前記二次非因果的予測部のいずれによって予測を行うかを選択する選択部と、を備えることを特徴とする動画像符号化装置。
前記二次非因果的予測部は、ブロックごとに属している各信号をその周囲の信号の線形和に基づいて予測することを特徴とする請求項１に記載の動画像符号化装置。
前記選択部は、前記二次イントラ予測部又は前記二次非因果的予測部のそれぞれの符号化性能見込みを評価し、当該評価結果に基づいて前記選択することを特徴とする請求項１または２に記載の動画像符号化装置。
前記選択部は、前記符号化性能見込みを評価するに際して、符号化誤差と発生符号量に基づく符号化性能評価、処理単位における画素値の分散値、又は、処理単位における画素間相関を用いることを特徴とする請求項３に記載の動画像符号化装置。
前記二次イントラ予測部又は前記二次非因果的予測部のいずれが前記選択部により選択されたかを、処理単位ごとに識別情報として符号化することを特徴とすることを特徴とする請求項１ないし４のいずれかに記載の動画像符号化装置。
前記処理単位が、ブロック、スライス又は上位の符号化制御シンタックスの何れか１つ以上の組み合わせで与えられることを特徴とする請求項５に記載の動画像符号化装置。
インター予測残差信号に対してイントラ予測を許容する動画像復号装置であって、
インター予測残差信号に対して、ブロックごとに所定の予測方向で予測を行う二次イントラ予測部と、
インター予測残差信号に対して、ブロックごとに属している各信号をその周囲の信号に基づいて予測する二次非因果的予測部と、
ブロックごとに、前記二次イントラ予測部又は前記二次非因果的予測部のいずれによって予測を行うかを選択する選択部と、を備えることを特徴とする動画像復号装置。
前記二次非因果的予測部は、ブロックごとに属している各信号をその周囲の信号の線形和に基づいて予測することを特徴とする請求項７に記載の動画像復号装置。
前記二次イントラ予測部又は前記二次非因果的予測部のいずれを前記選択部により選択すべきかが、処理単位ごとに識別情報として符号化されており、
当該識別情報に従って、前記選択部は前記二次イントラ予測部又は前記二次非因果的予測部のいずれかを選択することを特徴とする請求項７または８に記載の動画像復号装置。
前記処理単位が、ブロック、スライス又は上位の符号化制御シンタックスの何れか１つ以上の組み合わせで与えられることを特徴とする請求項９に記載の動画像復号装置。
インター予測残差信号に対してイントラ予測を許容する動画像符号化・復号方法であって、
符号化対象のインター予測残差信号に対して、ブロックごとに所定の予測方向で予測を行う符号化側二次イントラ予測段階と、
符号化対象のインター予測残差信号に対して、ブロックごとに属している各信号をその周囲の信号に基づいて予測する符号化側二次非因果的予測段階と、
符号化対象のブロックごとに、前記符号化側二次イントラ予測段階又は前記符号化側二次非因果的予測段階のいずれによって予測を行うかを選択する符号化側選択段階と、
前記選択された予測を適用して符号化対象のブロックごとに符号化を行ってビットストリームとする符号化段階と、
前記ビットストリームを復号する復号段階と、
復号対象のインター予測残差信号に対して、ブロックごとに所定の予測方向で予測を行う復号側二次イントラ予測段階と、
復号対象のインター予測残差信号に対して、ブロックごとに属している各信号をその周囲の信号に基づいて予測する復号側二次非因果的予測段階と、
復号対象のブロックごとに、前記復号対象二次イントラ予測部段階又は前記復号対象二次非因果的予測段階のいずれによって予測を行うかを選択する復号側選択段階と、を備えることを特徴とする動画像符号化・復号方法。
コンピュータに請求項１１に記載の動画像符号化・復号方法を実行させることを特徴とするプログラム。