JP2010157949A - 動画像符号化／復号化方法及び装置 - Google Patents

Abstract

【課題】非分離型フィルタと同等の符号化効率を維持しながら演算量を削減した動画像符号化・復号化装置及び方法を提供する。
【解決手段】入力画像に対応する局所復号画像を生成する信号処理器と、入力画像に応じてフィルタを設計するフィルタ設計器と、設計されたフィルタによって前記局所復号画像にフィルタ処理を行なうフィルタ処理器と、フィルタ処理が施された画像を蓄積するフレームメモリと、蓄積された画像を用いて予測画像を生成する予測器と、フィルタに関する情報を符号化データとして出力する可変長符号化器とを備え、フィルタ処理器において、フィルタ処理対象画素を通る水平方向、垂直方向、斜め４５度方向の直線上に位置する画素のみを用いた畳み込み演算によってフィルタ処理を行なう。
【選択図】図３

Description

本発明は、参照画像又は出力画像に対してフィルタ処理を行なうことにより符号化効率を向上させる動画像符号化／復号化方法及び装置に関する。

復号画像にフィルタ処理したものを出力する技術として、符号化装置で符号化対象画像と復号画像にフィルタ処理を行なった画像の誤差を最小化するようにフィルタを設計し、フィルタの情報を送信し、復号装置ではその情報を基に復号画像にフィルタ処理した画像を出力するものがある（下記「非特許文献１」参照）。これにより、復号装置では符号化対象画像との誤差が少ない出力画像を得ることができる。

類似する技術として、非特許文献１と同様の処理に加えて復号画像にフィルタ処理を行なった画像を予測画像生成の際に参照画像として用いるものがある（下記「非特許文献２」参照）。これにより、参照画像と符号化対象画像の誤差が少なくなるため、次のフレームを予測した際に予測誤差を削減する効果を得ることができる。

上記の技術に用いる２次元フィルタはフィルタ処理を水平方向と垂直方向の１次元の処理に分離できるもの（以下、「分離型フィルタ」）とできないもの（以下、「非分離型フィルタ」）に分類できる。分離型フィルタは非分離型フィルタと比較して演算量が少ない一方でフィルタの設計の自由度が低いことが知られている。このため、演算量削減のために分離型フィルタを用いた場合、フィルタ処理した画像と符号化対象画像との誤差を十分少なくすることができず、非分離型フィルタに対して符号化効率が低下する問題がある。

S.Wittmann and T.Wedi,"Post-filter SEI message for 4:4:4 coding," JVT of ISO/IEC MPEG&ITU-T VCEG,JVT-S030,April 2006. T.Chujoh,G.Yasuda,N.Wada,T.Watanabe,T.Yamakage," Block-based Adaptive Loop Filter," ITU-T VCEG,VCEG-AI18,July 2008.

上記の技術に対して演算量削減のために分離型フィルタを適用した場合、非分離型フィルタに対して符号化効率が低下する問題があった。

本発明は、フィルタ処理対象画素を通る水平方向、垂直方向、斜め４５度方向の直線上に位置する画素のみを用いてフィルタ処理の畳み込み演算を行なうことにより、非分離型フィルタと同等の符号化効率を維持しながら演算量を削減した動画像符号化・復号化装置及び方法を提供することを目的とする。

本発明の第１の観点によると、入力画像に対応する局所復号画像を生成する画像処理手段と、前記局所復号画像にフィルタ処理を行なうフィルタ処理手段と、前記フィルタ処理が施された局所復号画像を用いて予測画像を生成する予測手段とを備え、前記フィルタ処理手段は、フィルタ処理対象画素を通る水平方向、垂直方向、斜め４５度方向の直線上に位置する画素のみを用いた畳み込み演算によって前記フィルタ処理を行うことを特徴とする動画像符号化装置が提供される。

本発明の第２の観点によると、符号化データを復号して復号画像を得る信号処理手段と、前記復号画像にフィルタ処理を行なうフィルタ処理手段とを備え、前記フィルタ処理手段は、前記復号画像におけるフィルタ処理対象画素を通る水平方向、垂直方向、斜め４５度方向の直線上に位置する画素のみを用いた畳み込み演算によって前記フィルタ処理を行うことを特徴とする動画像復号化装置が提供される。

本発明によれば、フィルタ処理対象画素を通る水平方向、垂直方向、斜め４５度方向の直線上に位置する画素のみを用いた畳み込み演算によってフィルタ処理を行なうことにより、非分離型フィルタと同等の符号化効率を維持しながら演算量を削減することが可能となる。また、フィルタ係数の数が削減されるため、フィルタに関する情報の符号量を削減することが可能となる。

本発明の第１の実施形態に係わる動画像符号化装置の構成を示すブロック図 本発明の第１の実施形態に係わる動画像符号化装置の信号処理器の構成を示すブロック図 本発明の実施形態に係るフィルタ処理の例を示す図 本発明の実施形態に係るフィルタ処理の例を示す図 非分離型のフィルタ処理の例を示す図 本発明の実施形態に係るフィルタ処理の例を示す図 本発明の実施形態に係るフィルタ処理の例を示す図 本発明の実施形態に係るフィルタ処理の例を示す図 本発明の第２の実施形態に係わる動画像復号化装置の構成を示すブロック図 本発明の第２の実施形態に係わる動画像復号化装置の信号処理器の構成を示すブロック図 本発明の第３の実施形態に係わる動画像復号化装置の構成を示すブロック図 本発明の第４の実施形態に係わる動画像復号化装置の構成を示すブロック図

（第１の実施形態）
図１を用いて本発明の第一の実施形態に係る動画像符号化装置について説明する。この動画像符号化装置は、符号化器１１５とフィルタ設計器１１６を有する。入力画像信号１０１は信号処理器１１０に入力される。信号処理器１１０では、予測画像信号１０５と入力画像信号１０１との残差信号が生成され、残差信号を変換した残差情報１０２が生成され、出力される。また、予測画像信号１０５と残差信号から局所復号画像信号１０３が生成され、出力される。残差情報１０２は可変長符号化器１１３に入力され、局所復号画像信号１０３はフレームメモリ１１１に蓄積される。

ここで信号処理器１１０の例について図２を用いて説明する。入力画像信号１０１が信号処理器１１０に入力される。入力画像信号１０１は減算器１２１に入力される。減算器１２１では、入力画像信号１０１と予測画像信号１０５の差分をとることにより残差信号１１７が生成される。直交変換器１２２では、残差信号１１７に直交変換が施され、変換係数１１８が生成される。量子化器１２３では変換係数１１８が量子化される。量子化された変換係数は、一方で残差情報１０２として可変長符号化器１１３に入力され、他方で逆量子化器１２４によって逆量子化された後、逆直交変換器１２５で逆直交変換される。加算器１２６では、再生された残差信号１２０と予測画像信号１０５が加算されることによって、局所復号画像信号１０３が生成される。局所復号画像信号１０３はフレームメモリ１１１に記憶される。

フィルタ設計器１１６では、フィルタが設計される。例えば、符号化器１１５から得られる入力画像信号１０１と局所復号画像信号１０３を用いてWiener-Hopf方程式を構成し解を求めることにより、入力画像信号１０１と局所復号画像信号１０３にフィルタ処理を施した画像信号との二乗誤差を最小にするフィルタを設計することができる。設計されたフィルタに関する情報１０９（以下、「フィルタ情報」）は、フィルタ処理器１１４及び可変長符号化器１１３に入力される。フィルタ情報１０９の具体例としては、フィルタ係数を用いればよい。

フレームメモリ１１１に蓄積された局所復号画像１０７は、フィルタ処理器１１４に入力される。

フィルタ処理器１１４では、フィルタ情報１０９に従って局所復号画像にフィルタ処理を行ない、画像信号１０８を生成する。生成された画像信号１０８は、フレームメモリ１１１に蓄積される。

フィルタ処理について詳しく説明する。フィルタ処理は、フィルタ処理対象画素を通る水平方向、垂直方向、斜め４５度方向の直線上に位置する画素のみを用いた畳み込み演算によって行なう。例えば、図３のようにフィルタ処理対象画素を中心とする７×７の範囲内にある画素のうち、フィルタ処理対象画素を通る水平方向、垂直方向、斜め４５度方向の直線上に位置する画素のみを用いる場合、フィルタ処理は次式で表される。

ここで、復号画像の位置(x,y)の画素値をs_{y x}とし、フィルタ処理によって生成される画像の位置(x,y)の画素値をs’_{y x}とし、フィルタ係数をa_i，b_i，c_i，d_i（-3≦i≦3, i≠0），e₀とする。フィルタ係数は図３に示すように画素位置と対応しているものとする。

図４のようにフィルタ処理対象画素に対して対称な位置にある画素についてはフィルタ係数が等しいフィルタを用いる場合、フィルタ処理は次式で表される。

浮動小数点演算を避けるために前記のフィルタ処理を加算、乗算、ビットシフト演算で実現することもできる。例えば、図３に示されるフィルタ処理については、

図４に示されるフィルタ処理については、

とすればよい。ここで、nは任意の正整数、δ=2^n-1とする。

以上のようなフィルタ処理を行なうことにより、非分離型の２次元フィルタと比較して加算、乗算の演算回数を削減することができる。例えば、図５のようにフィルタ処理対象画素を中心とする７×７の範囲内にある画素を用いる非分離型フィルタの処理は次式で表される。

ここで、フィルタ係数をh_{j i}とする。フィルタ係数は図５に示すように画素位置と対応しているものとする。

図３で示される本実施形態のフィルタ処理は２４回の加算と２５回の乗算を必要とする。図４で示される本実施形態のフィルタ処理は２４回の加算と１３回の乗算を必要とする。図５で示される非分離型フィルタ処理は４８回の加算と４９回の乗算を必要とする。本実施形態のフィルタ処理を行なうことにより、非分離型フィルタ処理と比較して演算量を削減できる。

前記のフィルタ処理では、水平方向、垂直方向に加えて斜め方向の画素を用いており、斜め方向の画素の相関を利用することができる。このため、フィルタ処理した画像と入力画像の誤差を十分少なくすることができ、水平方向と垂直方向のみの１次元の処理に分離する分離型フィルタのように非分離型フィルタに対して符号化効率を低下させることなく、同等に保つことができる。

また、図３で示される本実施形態のフィルタ処理では２５個のフィルタ係数が用いられる（ａ_１〜ａ_３、ｂ_１〜ｂ_３、ｃ_１〜ｃ_３、ａ_−１〜ａ_−３、ｂ_−１〜ｂ_−３、ｃ_−１〜ｃ_−３、ｅ_０）。図４で示される本実施形態のフィルタ処理では１３個のフィルタ係数が用いられる（ａ_１〜ａ_３、ｂ_１〜ｂ_３、ｃ_１〜ｃ_３、ｅ_０）。図５で示される非分離型フィルタ処理では４９個のフィルタ係数が用いられる（ｈ_{−３ −３}〜ｈ_{３ ３}）。本実施形態のフィルタ処理では非分離型フィルタ処理に比べてフィルタ係数の数が削減されるため、符号化データに付加されるフィルタ情報に関する符号量を削減することができる。

図３、図４で示されるフィルタ処理では、各方向について７画素を用いているが、図６、図７、図８のように各方向について異なる画素数を用いてもよい。斜め４５度方向のうち、右上、右下、左下、左上の全ての方向の相関を利用するためには、図７のように右上、右下、左下、左上の各方向について少なくとも１画素を用いる必要がある。また、水平、垂直方向の画素のみを用いたフィルタに対して優位であるためには、図８のように斜め４５度方向に位置する画素のうち少なくとも１画素を用いて斜め方向の相関を利用する必要がある。

フレームメモリ１１１に蓄積された画像信号が参照画像信号として読み出され、予測器１１２に入力される。予測器１１２では、参照画像信号１０４を用いて予測が行なわれ、予測画像信号１０５が生成される。予測画像信号１０５は信号処理器１１０に入力される。可変長符号化器１１３では、残差情報１０２、フィルタ情報１０９が可変長符号化され、それらの符号を含む符号化データ１０６が生成される。

フィルタ処理については、ピクチャ又はスライス単位で前記のフィルタとその他の複数のフィルタを切り替えてもよい。この場合、可変長符号化器１１３において、適用するフィルタを指定する情報をフィルタ情報に付加し、ピクチャ又はスライス単位で符号化する。また、各方向について用いる画素数をピクチャ又はスライス単位で変更してもよい。この場合、可変長符号化器１１３において、各方向について用いる画素数を指定する情報を付加したフィルタ情報をピクチャ又はスライス単位で符号化する。また、図４のようにフィルタ処理対象画素に対して対称な位置にある画素についてはフィルタ係数が等しいフィルタと図３のように対称性を持たないフィルタをピクチャ又はスライス単位で切り替えてもよい。この場合、可変長符号化器１１３において、適用するフィルタを指定する情報を付加したフィルタ情報をピクチャ又はスライス単位で符号化する。

（第２の実施形態）
図９を用いて本発明の第２の実施形態に係る動画像復号化装置について説明する。復号対象の符号化データ２０１として、図１の動画像符号化装置から出力される符号化データ１０６が蓄積系または伝送系を経て入力される。復号対象の符号化データ２０１には、残差情報、フィルタ情報の符号が含まれている。これらの各符号は可変長復号化器２０９によって復号されることにより、残差情報２０２、フィルタ情報２０８が出力される。残差情報２０２は信号処理器２１０に入力され、フィルタ情報２０８はフィルタ処理器２１３に入力される。信号処理器２１０では残差情報２０２を基に残差が再生され、予測画像信号２０７と再生された残差から復号画像信号２０３が生成される。

ここで信号処理器２１０の例について図１０を用いて説明する。符号化データは図２を用いて説明した信号処理器１１０を持つ第一の実施形態の動画像符号化装置によって生成されたものとする。残差情報２０２として量子化された直交変換係数が逆量子化器２１６に入力される。量子化された直交変換係数は逆量子化器２１６によって逆量子化された後、逆直交変換器２１７により逆直交変換されることによって、残差信号２１５が生成される。加算器２１８では残差信号２１５に予測画像信号２０７が加算されることにより、復号画像信号２０３が得られる。

復号画像信号２０３はフレームメモリ２１１に蓄積され、フレームメモリ２１１から読み出される復号画像信号２０４はフィルタ処理器２１３に入力される。

フィルタ処理器２１３では、第一の実施形態のフィルタ処理器１１４と同様にフィルタ情報２０８を用いて復号画像信号２０４に対してフィルタ処理を行い、画像信号２０５を生成する。画像信号２０５はフレームメモリ２１１に蓄積されるともに出力画像信号として出力される。フレームメモリ２１１に蓄積された画像信号が参照画像信号として読み出され、予測器２１２に入力される。予測器２１２では参照画像信号２０６を用いて予測が行なわれ、予測画像信号２０７が生成される。予測画像信号２０７は信号処理器２１０に入力される。

フィルタ処理については、ピクチャ又はスライス単位で前記のフィルタとその他の複数のフィルタを切り替えてもよい。この場合、ピクチャ又はスライス単位にフィルタ情報から得られる、適用するフィルタを指定する情報を用いて切り替えを行なう。また、各方向について用いる画素数をピクチャ又はスライス単位で変更してもよい。この場合、ピクチャ又はスライス単位にフィルタ情報から得られる、各方向について用いる画素数を指定する情報を用いて切り替え行なう。また、図４のようにフィルタ処理対象画素に対して対称な位置にある画素についてはフィルタ係数が等しいフィルタと図３のように対称性を持たないフィルタをピクチャ又はスライス単位で切り替えてもよい。この場合、ピクチャ又はスライス単位にフィルタ情報から得られる、適用するフィルタを指定する情報を用いて切り替えを行なう。

（第３の実施形態）
図１１を用いて本発明の第３の実施形態に係る動画像符号化装置について説明する。本実施形態に関する動画像符号化装置の基本構成は、第１の実施形態と同様である。ただし、フィルタ処理器が存在しない点が異なる。フィルタ設計器５１３では、復号化装置のフィルタ処理器で適用するフィルタが設計される。設計方法については、第１の実施形態のフィルタ設計器１１６の説明で用いた例と同様にすればよい。

（第４の実施形態）
図１２を用いて本発明の第４の実施形態に係る動画像復号化装置について説明する。本実施形態に関する動画像復号化装置の基本構成は、第２の実施形態と同様である。ただし、フィルタ処理器６１２からフレームメモリ６１０に画像信号６０６の入力がない点が異なっている。復号対象の符号化データ６０１として、図１１の動画像符号化装置から出力される符号化データ５０６が蓄積系または伝送系を経て入力される。

第１から第４の実施形態は、画像の局所領域の性質に応じて領域毎に複数のフィルタを切り替えるまたは単一のフィルタの適用・非適用を切り替えるような場合についても適用することができる。

上述した本発明の各実施形態に係る動画像符号化装置及び動画像復号化装置は、例えば、汎用のコンピュータ装置を基本ハードウェアとして用いることでも実現することが可能である。このとき、動画像符号化装置及び動画像復号化装置が備える構成要素は、該コンピュータ装置に搭載されたプロセッサにプログラムを実行させることにより実現することができる。

また、動画像符号化装置及び動画像復号化装置を上記のプログラムをコンピュータ装置にあらかじめインストールすることで実現しても良いし、ＣＤ−ＲＯＭなどの記憶媒体に記憶して、あるいはネットワークを介して上記のプログラムを配布して、このプログラムをコンピュータ装置に適宜インストールすることで実現しても良い。

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

１０１…入力画像信号
１０２…残差情報
１０３…局所復号画像信号
１０４…参照画像信号
１０５…予測画像信号
１０６…符号化データ
１０７…局所復号画像信号
１０８…画像信号
１０９…フィルタ情報
１１０…信号処理器
１１１…フレームメモリ
１１２…予測器
１１３…可変長符号化器
１１４…フィルタ処理器
１１５…符号化器
１１６…フィルタ設計器
１１７…残差信号
１１８、１１９…変換係数
１２０…再生された残差信号
１２１…減算器
１２２…直交変換器
１２３…量子化器
１２４…逆量子化器
１２５…逆直交変換器
１２６…加算器
２０１…符号化データ
２０２…残差情報
２０３、２０４…復号画像信号
２０５…画像信号
２０６…参照画像信号
２０７…予測画像信号
２０８…フィルタ情報
２０９…可変長復号器
２１０…信号処理器
２１１…フレームメモリ
２１２…予測器
２１３…フィルタ処理器
２１４…変換係数
２１５…再生された残差信号
２１６…逆量子化器
２１７…逆直交変換器
２１８…加算器
５０１…入力画像信号
５０２…残差情報
５０３…局所復号画像信号
５０４…参照画像信号
５０５…予測画像信号
５０６…符号化データ
５０７…フィルタ情報
５０８…信号処理器
５０９…フレームメモリ
５１０…予測器
５１１…可変長符号化器
５１２…符号化器
５１３…フィルタ設計器
６０１…符号化データ
６０２…残差情報
６０３…復号画像信号
６０４…参照画像信号
６０５…予測画像信号
６０６…画像信号
６０７…フィルタ情報
６０８…可変長復号器
６０９…信号処理器
６１０…フレームメモリ
６１１…予測器
６１２…フィルタ処理器

Claims (13)

1. 入力画像に対応する局所復号画像を生成する画像処理手段と、
   前記局所復号画像にフィルタ処理を行なうフィルタ処理手段と、
   前記フィルタ処理が施された局所復号画像を用いて予測画像を生成する予測手段とを備え、
   前記フィルタ処理手段は、フィルタ処理対象画素を通る水平方向、垂直方向、斜め４５度方向の直線上に位置する画素のみを用いた畳み込み演算によって前記フィルタ処理を行うことを特徴とする動画像符号化装置。
2. 符号化する画像に応じてフィルタを設計するフィルタ設計手段と、
   前記フィルタに関する情報を符号化データに付加する符号化手段とをさらに備え、
   前記フィルタ処理手段は、前記フィルタを用いてフィルタ処理を行なうことを特徴とする請求項１記載の動画像符号化装置。
3. 前記フィルタ処理手段は、前記フィルタ処理対象画素に関して対称な位置にある画素についてはフィルタ係数が等しいフィルタを用いる請求項１記載の動画像符号化装置。
4. 前記フィルタ処理対象画素を通る水平方向、垂直方向、斜め４５度方向の直線上に位置する画素のみを用いた畳み込み演算によるフィルタと、予め用意されたその他複数のフィルタのいずれかとを切り替えて適用する制御手段をさらに備え、
   適用されたフィルタを指定する情報が符号化データに付加されることを特徴とする請求項１記載の動画像符号化装置。
5. 前記フィルタ処理手段は、各方向について用いる画素数を変更して前記フィルタ処理を行ない、
   前記各方向について用いる画素数を指定する情報が符号化データに付加されることを特徴とする請求項１記載の動画像符号化装置。
6. 前記フィルタ処理対象画素に関して対称な位置にある画素についてはフィルタ係数が等しいフィルタと、対称性を持たないフィルタとを切り替えて適用する制御手段をさらに備え、
   適用されたフィルタを指定する情報が符号化データに付加されることを特徴とする請求項１記載の動画像符号化装置。
7. 符号化データを復号して復号画像を得る信号処理手段と、
   前記復号画像にフィルタ処理を行なうフィルタ処理手段とを備え、
   前記フィルタ処理手段は、前記復号画像におけるフィルタ処理対象画素を通る水平方向、垂直方向、斜め４５度方向の直線上に位置する画素のみを用いた畳み込み演算によって前記フィルタ処理を行うことを特徴とする動画像復号化装置。
8. 前記フィルタ処理が施された画像を用いて予測画像を生成する予測手段をさらに備えることを特徴とする請求項７記載の動画像復号化装置。
9. 前記信号処理手段は、前記符号化データを復号してフィルタに関する情報を取得し、
   前記フィルタ処理手段は、前記フィルタに関する情報によって指定されるフィルタを用いてフィルタ処理を行うことを特徴とする請求項７又は８記載の動画像復号化装置。
10. 前記フィルタ処理手段は、前記フィルタ処理対象画素に関して対称な位置にある画素についてはフィルタ係数が等しいフィルタを用いる請求項７又は８記載の動画像復号化装置。
11. 前記信号処理手段は、フィルタ処理に適用するフィルタを指定する情報を前記符号化データを復号して取得し、
    前記情報に従って、前記フィルタ処理対象画素を通る水平方向、垂直方向、斜め４５度方向の直線上に位置する画素のみを用いた畳み込み演算によるフィルタと、予め用意されたその他複数のフィルタのいずれかとを切り替えて適用する制御手段をさらに備える請求項７又は８記載の動画像復号化装置。
12. 前記信号処理手段は、フィルタ処理において各方向について用いる画素数を指定する情報を前記符号化データを復号して取得し、
    前記フィルタ処理手段は、前記情報に従って、各方向について用いる画素数を変更してフィルタ処理を行なう請求項７又は８記載の動画像復号化装置。
13. 符号化データを復号し、復号データからフィルタ処理に適用するフィルタを指定する情報を取得する復号手段と、
    前記情報に従って、前記フィルタ処理対象画素に関して対称な位置にある画素についてはフィルタ係数が等しいフィルタと、対称性を持たないフィルタとを切り替えて適用する制御手段とをさらに備えることを特徴とする請求項７又は８記載の動画像復号化装置。

Images