JP2006211152A - 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法、画像符号化用プログラム、画像復号用プログラム - Google Patents

Abstract

【課題】 動画像や静止画像等の原画像が本来もつ高周波成分が失われず、復号して得られる画像の品質の劣化をなるべく防止すること。
【解決手段】 フィルタ係数算出部１５０は、加算器１４０を介し入力した復号画像と、原画像である入力動画像とに基づいて、動画像復号装置側における２次元ＦＩＲフィルタ２５０のフィルタ係数演算処理を行い、入力動画像と復号画像との間における符号化誤差を最小にするフィルタ係数を求め可変長符号化部１８０へ出力する。可変長符号化部１８０は、符号化部１２０からの符号化画像や、フィルタ係数算出部１５０からのフィルタ係数、動き検出部１７０からの動きベクトル等を可変長符号化して送信部１９０へ出力する。送信部１９０は、可変長符号化部１８０にて可変長符号化された動画像ビットストリームを動画像復号装置へ送信する。
【選択図】 図１

Description

本発明は、地上波ディジタル放送や、ＤＶＤ、インターネットでの動画像配信などのビデオ符号化方式として、ＭＰＥＧ−１符号化やＭＰＥＧ−２符号化、motionＪＰＥＧなどの動画像の符号化方式や、ＪＰＥＧやＪＰＥＧ２０００等の静止画像の符号化方式により符号化された動画像や静止画像を復号する復号方式等を採用する画像符号化装置、画像復号装置、画像符号化方法、画像復号方法、画像符号化用プログラム、画像復号用プログラムに関する。

ＭＰＥＧ−２等の符号化方式では、ブロック単位での動き補償および離散コサイン変換（ＤＣＴ）を行い、ＤＣＴ係数を量子化することで、効率的な圧縮を実現している。しかしながら、低ビットレートで符号化を行った場合、各ブロックを独立にＤＣＴするため、復号画像のブロック境界部分にブロックひずみと呼ばれる階調の不連続が生じる。また、エッジの近傍では、ＤＣＴ係数の量子化に伴なう高周波成分の欠落によって、リンギングと呼ばれる高周波雑音が発生し、復号画像の品質が劣化するという問題が生じる。

このような問題に対し、低域通過フィルタを復号画像に適用することで劣化を軽減する手法が種々提案されている(非特許文献１〜４参照)。
R. Rosenholtz and A. Zakhor 著 "Iterative procedures forreduction of blocking effects in transform image coding,"IEEE Trans. Circuits Syst. Video Technol., vol. 2, no. 1,pp. 91-95, Mar. 1992. Y. Yang, N. P. Galatsanos and A. K. Katsaggelos 著"Projection-based spatially adaptive reconstruction of block-transform cmpressed images," IEEE Trans. Image Processing, vol. 4, no. 7, pp. 896-908, Dec. 1993. H. Peak, R. Kim and S. Lee 著"On the POCS-based postprocessing technique to reduce the blocking artifacts in transform coded images," IEEE Trans. Circuits Syst. Video Technol.,vol. 8, no. 3, pp. 358-367, Jun. 1998. 加瀬沢正 著"方向性適応フィルタによる変換符号化画像における量子化雑音の軽減," 電子情報通信学会論文誌(D-II), vol.J87-D-II, no. 2, pp. 595-607, Feb. 2004.

しかしながら、これらの手法は、復号側でのみフィルタ処理を行うため、原画像が本来もつ高周波成分が失われ、復号して得られる画像の品質が劣化する場合がある。

本発明は、かかる点に鑑みてなされたものであり、静止画像や動画像等の原画像が本来もつ高周波成分が失われず、復号画像の品質の劣化をなるべく防止することができる画像符号化装置、画像復号装置、画像符号化方法、画像復号方法、画像符号化用プログラム、画像復号用プログラムを提供することを目的とする。

前記課題を解決するため、本発明の画像符号化装置では、入力画像を符号化して符号化画像を生成すると共に、その符号化画像をローカル復号して復号画像を生成し、前記符号化画像を画像復号装置へ送信する画像符号化装置であって、前記入力画像と前記復号画像とに基づいて、前記画像復号装置のフィルタのフィルタ係数を算出するフィルタ係数算出部と、前記フィルタ係数を前記符号化画像と共に前記画像復号装置側へ送信する送信部、を有する。

特に、上記画像符号化装置において、前記フィルタは、２次元ＦＩＲフィルタであり、前記フィルタのフィルタ係数は、前記２次元ＦＩＲフィルタによるフィルタ処理後の出力画像と、前記入力画像との間の平均二乗誤差が最小となる値である。

また、上記画像符号化装置において、前記入力画像は、動画像である。

また、本発明の画像復号装置は、画像符号化装置にて符号化された符号化画像を復号して出力画像とする画像復号装置であって、前記画像符号化装置に入力した入力画像と前記画像符号化装置にてローカル復号された復号画像とに基づき算出されたフィルタ係数と、前記符号化画像とを受信する受信部と、前記符号化画像を復号して復号画像を生成する復号部と、前記フィルタ係数により前記復号部により生成された復号画像をフィルタ処理して出力画像とするフィルタと、を有する。

また、本発明の画像符号化方法は、入力画像を符号化して符号化画像を生成すると共に、その符号化画像をローカル復号して復号画像を生成し、前記符号化画像を画像復号装置へ送信する際の画像符号化方法であって、前記入力画像と前記復号画像とに基づいて、前記画像復号装置のフィルタのフィルタ係数を算出して、そのフィルタ係数を前記符号化画像と共に前記画像復号装置側へ送信する。

特に、上記画像符号化方法において、前記フィルタのフィルタ係数は、前記フィルタによるフィルタ処理後の出力画像と、前記入力画像との間の平均二乗誤差が最小となる値である。

また、本発明の画像復号方法は、画像符号化装置にて符号化された符号化画像を復号して出力画像とする際の画像復号方法であって、前記画像符号化装置に入力した入力画像と前記画像符号化装置にてローカル復号された復号画像とに基づき算出されたフィルタ係数と、前記符号化画像とを入力し、前記符号化画像を復号して復号画像を生成し、前記フィルタ係数により前記復号画像をフィルタ処理して出力画像とする。

また、本発明の画像符号化用プログラムは、入力画像を符号化して符号化画像を生成すると共に、その符号化画像をローカル復号して復号画像を生成し、前記符号化画像を画像復号装置へ送信する処理を、コンピュータに実行させる画像符号化用プログラムであって、前記入力画像と前記復号画像とに基づいて、前記画像復号装置側におけるフィルタのフィルタ係数を算出して、そのフィルタ係数を前記符号化画像と共に前記画像復号装置側へ送信する、ことをコンピュータに実行させる。

また、本発明の画像復号用プログラムは、画像符号化装置にて符号化された符号化画像を復号して出力画像とする際の処理を、コンピュータに実行させる処理を、コンピュータに実行させる画像復号用プログラムであって、前記画像符号化装置に入力した入力画像と前記画像符号化装置にてローカル復号された復号画像とに基づき算出されたフィルタ係数と、前記符号化画像とを入力し、前記符号化画像を復号して復号画像を生成し、前記フィルタ係数により前記復号画像をフィルタ処理して出力画像とする、ことをコンピュータに実行させる。

以上説明したように、本発明の画像符号化装置、画像符号化方法および画像符号化用プログラムによれば、入力画像と復号画像とに基づいて、画像復号装置の２次元ＦＩＲフィルタのフィルタ係数を算出して、そのフィルタ係数を符号化画像と共に画像復号装置側へ送信する一方、本発明の画像復号装置、画像復号方法および画像復号用プログラムは、画像符号化装置に入力した入力画像と画像符号化装置にてローカル復号された復号画像とに基づき算出されたフィルタ係数と、符号化画像とを入力し、符号化画像を復号して復号画像を生成し、フィルタ係数により復号画像を２次元ＦＩＲフィルタ処理して出力画像とするようにしたため、復号側単独でフィルタ処理する従来手法に比べ、入力画像である静止画像や動画像等の原画像が本来もつ高周波成分が失われず、出力画像の品質の劣化をなるべく防止することができる。

ＭＰＥＧ−１や、ＭＰＥＧ−２では、ブロック単位での動き補償およびＤＣＴを用いているため、低ビットレートで符号化を行った場合に、復号画像にブロックひずみやリンギングといった劣化が生じる。これらの劣化を軽減するための代表的な手法として、前記非特許文献１〜４の手法が挙げられる。しかしながら、これらの手法は、復号側で低域通過処理を行うため、原画像が本来もつ高周波成分が失われる場合がある。

そこで、本発明の実施形態では、符号化側で原画像と復号側における復号画像との間の符号化誤差を最小にする２次元ＦＩＲフィルタ（Finite Impulse Response Filter）のフィルタ係数を設計し、そのフィルタ係数を符号化画像に動きベクトル等の符号化パラメータと共に付加して復号側へ送信する手法を提案する。本提案手法を用いることで、復号側単独でフィルタ処理する従来手法に比べ、高品質な画像を得ることが可能となる。以下に、本発明に係る画像符号化装置、画像復号装置、画像符号化方法、画像復号方法、画像符号化用プログラム、画像復号用プログラムの実施の形態について、図面を参照して詳細に説明する。なお、本実施の形態では、ＭＰＥＧ−２の動画像符号化方式を一例に説明するが、本発明は、ＭＰＥＧ−１やＭＰＥＧ−４、Ｈ．２６４／ＡＶＣ等の他の動画像符号化方式でも勿論良いし、ＪＰＥＧやＪＰＥＧ２０００等の静止画の符号化方式にも勿論適用可能である。

図１は、本発明に係る動画像符号化装置の実施の形態の構成を示す図である。

図において、動画像符号化装置１００は、減算器１１０と、符号化部１２０と、復号部１３０と、加算器１４０と、フィルタ係数算出部１５０と、フレームメモリ１６０と、動き検出部１７０と、可変長符号化部１８０を有している。

図２は、本発明に係る動画像復号装置の実施の形態の構成を示す図である。

また、動画像復号装置２００は、受信部２１０と、可変長復号部２２０と、復号部２３０と、加算器２４０と、２次元ＦＩＲフィルタ２５０と、フレームメモリ２６０と、を有している。

次に動作を説明する。

まず、動画像符号化装置１００では、本装置１００に入力する動画像を、フレーム内（イントラ）符号化する場合には、減算器１１０を介さずに、フレーム間（インター）符号化する場合には、減算器１１０を介して符号化部１２０へ出力する。

符号化部１２０では、ＤＣＴやウエーブレット変換等の直行変換および量子化処理の符号化処理を行い、符号化画像を生成して、可変長符号化部１８０と復号部１３０へ出力する。

復号部１３０では、符号化画像に対し符号化部１２０と逆の処理、すなわち逆直行変換および逆量子化処理のローカル復号処理を施し、加算器１４０へ出力する。

加算器１４０では、減算器１１０が動作しないとき、すなわち符号化部１２０が入力動画像をそのままフレーム内符号化した場合には、復号部１３０からの復号画像をそのままフィルタ係数算出部１５０およびフレームメモリ１６０へ出力する。一方、減算器１１０が動作したとき、すなわち符号化部１２０が入力動画像と、動き検出部１７０が検出した動きベクトルに基づくフレームメモリ１６０からの予測画像との間の誤差画像をフレーム間（インター）符号化した場合には、加算器１４０は復号部１３０からの復号画像と予測画像とを加算してフィルタ係数算出部１５０およびフレームメモリ１６０へ出力する。

フィルタ係数算出部１５０では、加算器１４０を介し入力した復号画像と、原画像である入力動画像とに基づいて、後述するように動画像復号装置２００側における２次元ＦＩＲフィルタ２５０のフィルタ係数演算処理を行い、原画像である入力動画像および復号装置側での復号画像における符号化誤差を最小にするフィルタ係数を求め、可変長符号化部１８０へ出力する。

ここで、フィルタ係数算出部１５０におけるフィルタ係数算出処理について説明する。

まず、フィルタ係数算出部１５０では、加算器１４０から入力した復号画像と、原画像である入力動画像とに基づいてフィルタ係数演算処理を行い、原画像と復号画像との間における符号化誤差を最小にするフィルタ係数を、入力動画像の１フレームごと算出する。

つまり、フィルタ係数算出部１５０は、符号量を抑制するため、上記のように求めた符号化誤差を最小にするフィルタ係数を、次式（１）で示される浮動小数ｒに量子化する。

ただし、上式（１）において。ｎ_ｆは仮数部のビット数、ｎ_ｅは指数部のビット数、ｅ_ｏは仮数部のオフセット数を表す。

フィルタ係数算出部１５０は、このようにして量子化したフィルタ係数を、可変長符号化部１８０へ出力して、符号化画像や、動きベクトル等の符号化パラメータと共に、復号装置２００へ送信する。

そして、フレームメモリ１６０では、加算器１４０からの復号画像を、参照画像として記憶する。

動き検出部１７０は、入力動画像が入力してフレーム間符号化が行われる度に、その入力動画像と、フレームメモリ１６０に格納された参照画像とに基づき、動き補償予測を行って、入力動画像と誤差の少ない予測画像を求めてフレームメモリ１６０から減算器１１０へ出力させると共に、その際の動きベクトルを検出して、可変長符号化部１８０へ出力する。

可変長符号化部１８０では、符号化部１２０からの符号化画像や、フィルタ係数算出部１５０からのフィルタ係数、動き検出部１７０からの動きベクトル等の符号化パラメータを、ハフマン符号化や算術符号化等により可変長符号化して送信部１９０へ出力する。

送信部１９０では、可変長符号化部１８０にて可変長符号化された動画像ビットストリームを、図２に示す動画像復号装置２００へ送信する。

次に、図２に示す動画像復号装置２００における動作について説明する。

動画像復号装置２００では、受信部２１０が図１に示す動画像符号化装置１００からの動画像ビットストリームを受信して、可変長復号部２２０へ出力する。

可変長復号部２２０では、可変長符号化部１８０とは逆の可変長復号処理を行い、符号化画像と、動きベクトルと、フィルタ係数とを、それぞれ、復号部２３０、フレ−ムメモリ２６０、２次元ＦＩＲフィルタ２５０へ出力する。

復号部２３０では、符号化画像を逆量子化および逆直行変換して復号画像を生成して、加算器２４０へ出力する。

フレームメモリ２６０では、復号部２３０にて復号された復号画像がフレーム間符号化された符号化画像である場合には、可変長復号部２２０からの動きベクトルに基づき、予測画像を生成して、加算器２４０へ出力する。なお、復号部２３０にて復号された復号画像がフレーム内符号化された符号化画像である場合には、予測符号化されていないので、予測画像を出力しない。

加算器２４０では、復号部２３０からの復号画像と、復号部２３０にて復号された復号画像がフレーム間符号化された符号化画像である場合にはフレームメモリ２６０からの予測画像とを加算して画像を復元し、２次元ＦＩＲフィルタ２５０へ出力すると共に、フレームメモリ２６０へ出力して参照画像として記憶させる。なお、復号部２３０にて復号された復号画像が、フレーム内符号化された符号化画像である場合には、予測符号化されていないので、復号部２３０からの復号画像をそのまま２次元ＦＩＲフィルタ２５０へ出力する。

２次元ＦＩＲフィルタ２５０では、動画像符号化装置１００におけるフィルタ係数算出部１５０から送信されたフィルタ係数により構成される２次元ＦＩＲフィルタを、加算器２４０からの復号画像に対し、例えば、１フレームごとに施し、原画像と復号画像との間における符号化誤差を最小にして、出力画像とする。

このように、本実施の形態によれば、原画像である動画像符号化装置１００側の入力動画像と、動画像復号装置２００側の復号画像との間における符号化誤差を最小に設計したフィルタ係数を設計し、画像復号装置２００の２次元ＦＩＲフィルタ２５０にてこのフィルタを復号画像に適用することで、復号側単独でフィルタ係数を設計しフィルタ処理する従来手法と比べ、高品質な画像を得ることが可能となる。

次に、本実施の形態における２次元ＦＩＲフィルタ２５０について説明する。

図３に、本実施の形態における２次元ＦＩＲフィルタ２５０の一例を示す。

この２次元ＦＩＲフィルタ２５０は、例えば、５×５タップの２次元ＦＩＲフィルタであり、そのタップ数は、下記のようにＫ_１＝２，Ｋ_２＝２と設定したものである。

そして、本実施の形態では、動画像符号化装置１００側のフィルタ係数算出部１５０にて、動画像復号装置２００側の復号画像に適用する２次元ＦＩＲフィルタ２５０からの出力画像と、動画像符号化装置１００側における入力動画像である原画像との間の平均二乗誤差が最小となるように２次元ＦＩＲフィルタ２５０を設計する。以下で、その設計法について説明する。

図３に示すような、復号画像に適用する２次元ＦＩＲフィルタ２５０の出力画像ｙ^（ｎ_１，ｎ_２）は、次式により定義される。

ただし、u（ｎ_１，ｎ_２）（ｎ_１∈{０，・・・，Ｎ_１−１}，ｎ_２∈{０，・・・，Ｎ_２−１}）は、符号化部１２０および復号部１３０、または符号化部１２０および復号部２３０によって得られるＮ_１×Ｎ_２画素の復号画像である。ｆ（ｋ_１，ｋ_２）（ｋ_１∈{−ｋ_１，・・・，ｋ_１}，ｋ_２∈{−ｋ_２，・・・，ｋ_２}）は、フィルタ係数である。

また、２次元ＦＩＲフィルタの出力画像ｙ^（ｎ_１，ｎ_２）と、原画像ｙ（ｎ_１，ｎ_２）との間の平均二乗誤差Ｅ（Ｋ_１，Ｋ_２）は、以下の式（３）ように定義される。

本実施の形態で用いる２次元ＦＩＲフィルタ２５０のフィルタ係数ｆ（ｋ_１，ｋ_２）は、上記式（３）で定義された２次元ＦＩＲフィルタ２５０からの出力画像ｙ^（ｎ_１，ｎ_２）と、原画像ｙ（ｎ_１，ｎ_２）との間の平均二乗誤差Ｅ（Ｋ_１，Ｋ_２）を最小とするため、次式（４）の条件を満たすように算出される。

ここで、フィルタ係数ｆ（ｋ_１，ｋ_２）を、ベクトルｆを用いて次式（５）のように定義する。

ただし、

とする。

上記式(２)を、上記式（３）に代入し、上記式（５）に示したｆを用いることにより、上記式（４）の条件を満たすフィルタ係数は、次式（７）で表される。本実施の形態のフィルタ係数算出部１５０では、次式（７）を満足するフィルタ係数ｆ（ｋ_１，ｋ_２）であるベクトルｆを算出して、動画像復号装置２００の２次元ＦＩＲフィルタ２５０へ設定するのである。

上式（７）において、ベクトルｒは、以下に示す復号画像と原画像との相関関数のベクトルを表している。

ただし、

である。

また、式（７）で示される行列Ｒは、以下に示す復号画像の自己共分散行列を表す。

ただし、

である。

また、上式（１１）において、Ｒ（ｉ_１，ｉ_２）は、以下のように定義する。

その結果、上記式（９）、（１２）から、本発明の実施の形態において用いられる２次元ＦＩＲフィルタ２５０は、符号化部１２０および復号部１３０、あるいは符号化部１２０および復号部２３０で処理された復号画像ｕ（ｎ_１，ｎ_２）と、動画像符号化装置１００における入力画像である原画像ｙ（ｎ_１，ｎ_２）とから設計できることがわかる。

このような復号画像ｕ（ｎ_１，ｎ_２）と、原画像ｙ（ｎ_１，ｎ_２）と間の符号化誤差を最小にする２次元ＦＩＲフィルタ２５０を用いることで、本実施の形態は、高品質な出力画像を得ることが可能となる。

次に、本実施の形態の有効性を確認するために、実際の画像を用いて実験を行った結果を簡単に示す。

まず、復号画像に生じる劣化の軽減に関する提案手法の有効性を確認する。次に、同一ビットレートにおいて、上記非特許文献４と、本実施の形態の方法により得られる画像の品質を比較する。

復号画像における劣化の軽減、つまり、復号画像に発生するブロックひずみ、およびリンギングの軽減に関する本実施の形態の方法の有効性を確認するため、実験を行った結果を示す。

実験対象画像には、ＩＴＥ標準動画像である、Crowded Crosswalk （７２０×４８０画素、９０フレーム）を用いる。この画像の輝度成分に対して、本実施の形態の方法を適用する。

ただし、本実施の形態の方法において、上記式（１）におけるフィルタ係数を量子化する際のパラメータは、ｎ_ｆ＝８、ｎ_ｅ＝７、ｅ_ｏ＝０とする。

図４に、本実施の形態における符号化条件の一例を示す。

図４に示すように、本実施の形態における符号化条件は、符号化方式は、ＭＰＥＧ−２ ＴＭ５（ISO/IEC JTC1/SC29/WG11 Test Model Editing Committee,“ＭＰＥＧ−２ video test model5,” ISO/IECJTC1/SC29/WG11 Doc.N0400, 1993.）であり、ＧＯＰ構造は、Ｍ＝３，Ｎ＝１５である。また、動きベクトル探索範囲は、片方向予測のＰピクチャで±３１×±３１、1フレーム間の両方向予測Ｂピクチャで±１５×±１５、２フレーム間の両方向予測Ｂピクチャで±３１×±３１、動きベクトル探索精度は半画素精度、量子化スケールは非線形、フレームレートは３０ｆｐｓである。また、符号化レートは、２Ｍｂｐｓで行なう。

実験の結果、ブロックひずみや、リンギングが発生して劣化が発生している復号画像に対して、本実施の形態の方法で用いる２次元ＦＩＲフィルタ２５０を適用した結果、符号化によって発生するブロックひずみ、およびリンギングが軽減することが立証された。

次に、本実施の形態の方法の有効性を示すため、同一ビットレートにおいて本実施の形態の方法と、非特許文献４の手法により得られる出力画像の品質に関する比較実験を行った結果を説明する。

実験対象画像には、ＩＴＥ標準動画像であるCrowded Crosswalk、Flower Basket(７２０×４８０画素、各９０フレーム)を用いる。これらの画像の輝度成分に対して本実施の形態の方法および非特許文献４の手法を適用する。

なお、符号化は、図４に示す符号化条件に基づいて行い、本実施の形態の方法のパラメータも前述の値を用いる。

また、非特許文献４の手法において、方向性をもつ低域通過フィルタの個数Ｒおよび低域通過フィルタ選択のために用いるプロトタイプＺ_Ｎ（_ｑ），Ｚ_Ｆ（_ｑ）は、非特許文献４と同様に、Ｒ＝４、Ｚ_Ｎ（_ｑ）＝６、Ｚ_Ｆ（_ｑ）＝０．４３７５_ｑとする（ｑは、量子化スケールの値である。)。

本実施の形態の方法、および非特許文献４の手法により得られた画像のＰＳＮＲおよびビットレートを図５、図６に示す。なお、ＰＳＮＲの値は、次式（１３）により算出する。

ただし、上式（１３）においてｂ_ｍａｘは原画像の最大輝度値であり、ＭＳＥは、Ｎ_１×Ｎ_２画素の原画像の輝度値ｂ（ｎ_１，ｎ_２）および出力画像の輝度値ｂ^（ｎ_１，ｎ_２）を用いて、以下式（１４）のように定義される。

図５（ａ），（ｂ）は、それぞれ、２〜６Ｍｂｐｓ、１１〜１５ＭｂｐｓのビットレートにおけるCrowded Crosswalk画像における各復号画像のＰＳＮＲを示す図である。

図５において、○は、本実施の形態の２次元ＦＩＲフィルタ２５０によるフィルタ処理前の復号画像のＰＳＮＲ、△は、前記非特許文献４によるフィルタ処理による復号画像のＰＳＮＲ、□は本実施の形態の２次元ＦＩＲフィルタ２５０によるフィルタ処理後の復号画像のＰＳＮＲを示している。

図５より、２〜６Ｍｂｐｓ、１１〜１５Ｍｂｐｓのビットレート共に、□で示す本実施の形態の２次元ＦＩＲフィルタ２５０によるフィルタ処理後の復号画像が、最もＰＳＮＲが向上しているのがわかる。

図６（ａ），（ｂ）は、それぞれ、２〜６Ｍｂｐｓ、１１〜１５ＭｂｐｓのビットレートにおけるFlower Basket画像における各復号画像のＰＳＮＲを示す図である。

図５と同様に、図６において、○は、本実施の形態の２次元ＦＩＲフィルタ２５０によるフィルタ処理前の復号画像のＰＳＮＲ、△は、前記非特許文献４によるフィルタ処理による復号画像のＰＳＮＲ、□は本実施の形態の２次元ＦＩＲフィルタ２５０によるフィルタ処理後の復号画像のＰＳＮＲを示している。

図６より、図５と同様に、２〜６Ｍｂｐｓ、１１〜１５Ｍｂｐｓのビットレート共に、□で示す本実施の形態の２次元ＦＩＲフィルタ２５０によるフィルタ処理後の復号画像が、最もＰＳＮＲが向上しているのがわかる。

よって、図５、図６より、Crowded CrosswalkおよびFlower Basketどちらの画像においても、本実施の形態の方法は、非特許文献４の手法と比較して、同一ビットレートで高品質な画像が得られていることが確認できる。

さらに、図５（ｂ）および図６（ｂ）から、特に２〜６Ｍｂｐｓの場合より１１〜１５Ｍｂｐｓの場合の高ビットレートにおいて、本実施の形態の方法は、非特許文献４の手法よりもＰＳＮＲが高い値を示していることがわかる。

これは、非特許文献４の手法は、復号側でＲ＋１種類の方向性をもつフィルタから１つを選択して１つのビットストリームに適用にするのに用いるのに対し、本実施の形態の方法は、フレーム（画像）ごとに符号化誤差を最小にする２次元ＦＩＲフィルタ２５０を用いるため、高ビットレートにおいて、より高品質な画像が得られたものだからである。

以上より、本実施の形態の方法は、復号画像に発生した劣化を軽減し、復号画像および非特許文献４の手法に比べ、同一ビットレートにおいて高品質な画像を得ることができるものである。

このように、本実施の形態では、復号画像に生じるブロックひずみや、リンギングを軽減するため、符号化側で原画像と復号画像との間の符号化誤差を最小にするフィルタを設計し、そのフィルタ係数を符号化画像と、動きベクトル等の符号化パラメータと共に多重化して動画像復号装置２００側へ送信し、動画像復号装置２００では、２次元ＦＩＲフィルタ２５０がそのフィルタ係数により復号画像をフィルタ処理するようにしたため、復号側単独でフィルタ係数を設定してフィルタ処理する従来手法に比べ、入力動画像である原画像が本来もつ高周波成分が失われず、出力画像の品質の劣化をなるべく防止することができる。

また、本実施の形態の方法を複数の画像に適用し、実験を行った結果、本実施の形態の方法は、符号化によって発生した劣化を軽減することが確認できた。さらに、同一ビットレートにおいて、本実施の形態の方法は従来手法に比べ高品質な画像を得ることが確認された。

なお、本実施の形態では、実験において本実施の形態の方法で用いるフィルタ係数は１６ｂｉｔの浮動小数の値に量子化して実験をしているが、本発明では、これに限らず、仮数部および指数部のビット数を適切な値を設定することで、付加するビット数を削減するようにしても勿論よい。

また、本実施の形態では、動画像符号化装置１００のフィルタ係数算出部１５０では、１フレームごとにフィルタ係数を検出するように説明したが、本発明では、これに限らず、ＧＯＰ毎等の所定フレーム数毎に、あるいはシーンが切り替わる毎等の任意のフレーム毎に、フィルタ係数を算出して、所定フレーム数毎あるいは任意のフレーム毎に復号側へ送信するようにしても勿論よい。このように、所定フレーム数毎あるいは任意のフレーム毎にフィルタ係数を算出して復号側へ送信するようにすれば、フィルタ係数の算出および送信する回数が減るので、処理負荷や送信データ量を削減することが可能となる。

また、本実施の形態では、動画像符号化装置１００では、図１に示すように、ローカル復号した復号画像を２次元ＦＩＲフィルタによるフィルタ処理しないように説明したが、本発明では、図７の動画像符号化装置３００に示すように、ローカル復号した復号画像を２次元ＦＩＲフィルタ１５５によりフィルタ処理して参照画像としてフレームメモリ１６０へ格納するようにしても勿論よい。この場合、動画像復号装置４００は、図８に示すように、２次元ＦＩＲフィルタ２５０によるフィルタ処理後の復号を参照画像としてフレームメモリ２６０へ格納することになる。このようにすれば、２次元ＦＩＲフィルタ１５５，２５０によりフィルタ処理された参照画像を用いて動き補償予測が実行できるため、処理負荷が増えるものの、動き補償予測がより正確となり、符号化画像や符号化パラメータ等の復号側への伝送量を減少させることが可能となる。

また、本実施の形態では、動画像符号化装置１００におけるフィルタ係数算出部１５０を、加算器１４０の後段に設けて、原画像である入力動画像と復号画像との平均２乗誤差が最小になるようにフィルタ係数を算出するように説明したが、本発明では、これに限らず、フィルタ係数算出部１５０を、符号化部１２０におけるＤＣＴの後であって量子化処理の前に設けるようにしても勿論良い。この場合、そのＤＣＴ係数との比較対象画像は、復号部１３０における逆ＤＣＴの後であって逆量子化処理前の逆ＤＣＴ係数となるので、ＤＣＴ係数と逆ＤＣＴ係数との間の平均２乗誤差が最小になるようにフィルタ係数を算出することにより符号化誤差のうち量子化誤差による符号化誤差を小さくしたフィルタ係数の設定が可能となる。

また、本実施の形態では、動画像復号装置２００側で復号画像をフィルタリング処理するフィルタとして、巡回型フィルタである２次元ＦＩＲフィルタ２５０を一例に説明したが、本発明では、これに限らず、非巡回型フィルタであるＩＩＲ（Infinite Impulse Response）フィルタを利用しても良いし、またフィルタの型は、非対称型でも、対称型でもどちらでも良い。

また、本実施の形態では、動画像符号化装置１００側で２次元ＦＩＲフィルタ２５０のフィルタ係数を求める際、前述のような演算式により２次元ＦＩＲフィルタ２５０によるフィルタ処理後の出力画像と入力画像との間の平均二乗誤差が最小となる値を求めているが、本発明ではこれに限らず、フラクタル理論や、カオス理論、さらには遺伝的アルゴリズム（ＧＡ）等の手法により、２次元ＦＩＲフィルタ２５０によるフィルタ処理後の出力画像と入力画像との間の平均二乗誤差が最小となる値を求めるようにしても勿論よい。

また、本実施の形態では、１フレーム毎、あるいは所定のフレーム毎に符号化誤差を最小にする２次元ＦＩＲフィルタ２５０のフィルタ係数を算出するように説明したが、本発明では、これに限らず、１６×１６のマクロブロックや、８×８のブロック、さらには、任意の大きさのブロック毎に、２次元ＦＩＲフィルタ２５０のフィルタ係数を算出するようにしても勿論良い。

また、本実施の形態では、動画像符号化装置１００および動画像復号装置２００をそれぞれ図１および図２に示すようにハードウエア（回路）的に構成して説明したが、本発明では、これに限らず、例えば、ソフトウエア的、つまり、動画像符号化装置１００および動画像復号装置２００と同様の機能を実行させるための動画像符号化用プログラムおよび動画像復号用プログラムを、ＣＤ等の記録媒体やネットワークを介しコンピュータ内のメモリやハードディスクに格納しておき、コンピュータ内のＣＰＵがそのプログラムを読み出して実行するようにしても勿論よい。

本発明の動画像符号化装置、動画像符号化方法および動画像符号化用プログラムによれば、入力動画像と復号画像とに基づいて、動画像復号装置の２次元ＦＩＲフィルタのフィルタ係数を算出して、そのフィルタ係数を符号化画像と共に動画像復号装置側へ送信する一方、本発明の動画像復号装置、動画像復号方法および動画像復号用プログラムによれば、動画像符号化装置に入力した入力動画像と動画像符号化装置にてローカル復号された復号画像とに基づき算出されたフィルタ係数と、符号化画像とを入力し、符号化画像を復号して復号画像を生成し、フィルタ係数により復号画像を２次元ＦＩＲフィルタ処理して出力画像とするようにしたため、復号側単独でフィルタ処理する従来手法に比べ、入力動画像である原画像が本来もつ高周波成分が失われず、出力画像の品質の劣化をなるべく防止することができる、という有利な効果を奏し、地上波ディジタル放送や、ＤＶＤ、インターネットでの動画像配信などにおけるＭＰＥＧ−１符号化やＭＰＥＧ−２、ＭＰＥＧ−４、Ｈ．２６１、Ｈ．２６３、Ｈ．２６４／ＡＶＣ符号化等の各種符号化方式や復号方式に有用である。

本発明に係る動画像符号化装置の実施の形態の構成を示す図 本発明に係る動画像復号装置の実施の形態の構成を示す図 本実施の形態における２次元ＦＩＲフィルタ（５×５タップ）の一例を示す図 本実施の形態における符号化条件を示す図 （ａ），（ｂ）、それぞれ、２〜６Ｍｂｐｓ、１１〜１５ＭｂｐｓのビットレートにおけるCrowded Crosswalk画像における各復号画像のＰＳＮＲを示す図 （ａ），（ｂ）、それぞれ、２〜６Ｍｂｐｓ、１１〜１５ＭｂｐｓのビットレートにおけるFlower Basket画像における各復号画像のＰＳＮＲを示す図 本発明に係る動画像符号化装置の実施の形態の別の構成例を示す図 本発明に係る動画像復号装置の実施の形態の別の構成例を示す図

符号の説明

１００，３００ 動画像符号化装置
１１０ 減算器
１２０ 符号化部
１３０ 復号部
１４０ 加算器
１５０ フィルタ係数算出部
１６０ フレームメモリ
１７０ 動き検出部
１８０ 可変長符号化部
１９０ 送信部
２００，４００ 動画像復号装置
２１０ 受信部
２２０ 可変長復号部
２３０ 復号部
２４０ 加算器
１５５，２５０ ２次元ＦＩＲフィルタ
２６０ フレームメモリ

Claims (9)

1. 入力画像を符号化して符号化画像を生成すると共に、その符号化画像をローカル復号して復号画像を生成し、前記符号化画像を画像復号装置へ送信する画像符号化装置であって、
   前記入力画像と前記復号画像とに基づいて、前記画像復号装置のフィルタのフィルタ係数を算出するフィルタ係数算出部と、
   前記フィルタ係数を前記符号化画像と共に前記画像復号装置側へ送信する送信部、
   を有することを特徴とする画像符号化装置。
2. 請求項１記載の画像符号化装置であって、
   前記フィルタは、２次元ＦＩＲフィルタであり、
   前記フィルタのフィルタ係数は、前記２次元ＦＩＲフィルタによるフィルタ処理後の出力画像と、前記入力画像との間の平均二乗誤差が最小となる値である、
   ことを特徴とする画像符号化装置。
3. 請求項１記載の画像符号化装置であって、
   前記入力画像は、動画像であることを特徴とする画像符号化装置。
4. 画像符号化装置にて符号化された符号化画像を復号して出力画像とする画像復号装置であって、
   前記画像符号化装置に入力した入力画像と前記画像符号化装置にてローカル復号された復号画像とに基づき算出されたフィルタ係数と、前記符号化画像とを受信する受信部と、
   前記符号化画像を復号して復号画像を生成する復号部と、
   前記フィルタ係数により前記復号部により生成された復号画像をフィルタ処理して出力画像とするフィルタと、
   を有することを特徴とする画像復号装置。
5. 入力画像を符号化して符号化画像を生成すると共に、その符号化画像をローカル復号して復号画像を生成し、前記符号化画像を画像復号装置へ送信する際の画像符号化方法であって、
   前記入力画像と前記復号画像とに基づいて、前記画像復号装置のフィルタのフィルタ係数を算出して、そのフィルタ係数を前記符号化画像と共に前記画像復号装置側へ送信する、
   ことを特徴とする画像符号化方法。
6. 請求項５記載の画像符号化方法であって、
   前記フィルタのフィルタ係数は、前記フィルタによるフィルタ処理後の出力画像と、前記入力画像との間の平均二乗誤差が最小となる値である、
   ことを特徴とする画像符号化方法。
7. 画像符号化装置にて符号化された符号化画像を復号して出力画像とする際の画像復号方法であって、
   前記画像符号化装置に入力した入力画像と前記画像符号化装置にてローカル復号された復号画像とに基づき算出されたフィルタ係数と、前記符号化画像とを入力し、前記符号化画像を復号して復号画像を生成し、前記フィルタ係数により前記復号画像をフィルタ処理して出力画像とする、
   ことを特徴とする画像復号方法。
8. 入力画像を符号化して符号化画像を生成すると共に、その符号化画像をローカル復号して復号画像を生成し、前記符号化画像を画像復号装置へ送信する処理を、コンピュータに実行させる画像符号化用プログラムであって、
   前記入力画像と前記復号画像とに基づいて、前記画像復号装置側におけるフィルタのフィルタ係数を算出して、そのフィルタ係数を前記符号化画像と共に前記画像復号装置側へ送信する、
   ことをコンピュータに実行させることを特徴とする画像符号化用プログラム。
9. 画像符号化装置にて符号化された符号化画像を復号して出力画像とする際の処理を、コンピュータに実行させる処理を、コンピュータに実行させる画像復号用プログラムであって、
   前記画像符号化装置に入力した入力画像と前記画像符号化装置にてローカル復号された復号画像とに基づき算出されたフィルタ係数と、前記符号化画像とを入力し、前記符号化画像を復号して復号画像を生成し、前記フィルタ係数により前記復号画像をフィルタ処理して出力画像とする、
   ことをコンピュータに実行させることを特徴とする画像復号用プログラム。
   
   

Images