JP4530288B2

JP4530288B2 - 画像処理装置およびプリフィルタ制御装置

Info

Publication number: JP4530288B2
Application number: JP2006038292A
Authority: JP
Inventors: 亮一川田
Original assignee: KDDI Corp
Current assignee: KDDI Corp
Priority date: 2006-02-15
Filing date: 2006-02-15
Publication date: 2010-08-25
Anticipated expiration: 2026-02-15
Also published as: JP2007221354A

Description

本発明は、画像処理装置およびプリフィルタ制御装置に関し、特に、動画像がディジタル圧縮符号化された場合の符号化劣低減量、さらに符号化劣化量あるいは発生情報量を推定する画像処理装置、およびディジタル圧縮符号化による符号化劣化を抑制するために、推定された符号化劣化低減量や符号化劣化量をもとにプリフィルタを制御するプリフィルタ制御装置に関する。

従来、動画像のディジタル圧縮符号化においては、MPEGなどのブロックベースの動き補償予測符号化方式が用いられる。ディジタル圧縮符号化による符号化劣化量は、画像の絵柄や画面(フレーム)内の物体の動きの複雑さ、さらには伝送情報速度(ビットレート)によって決まってくる。

MPEGなどのブロックベースの符号化において符号化劣化量が大きい場合、特にブロック歪みが発生し、ブロック歪みによりブロック同士の境界が目立つようになる。フレームの画質を表すために、PSNR(Peak Signal to Noise Ratio)などの客観指標が用いられるが、ブロック歪みは、客観指標で表される数値以上に、視覚上目立つ劣化となる。

なお、PSNRは、式(1)で求められる。ここで、MSEは、b(x,y)を原画像(8ビット表現)、b_ｐ(x,y)を原画像の処理画像としたとき、式(2)で表されるものであり、対象となる全画素分の差分2乗和を全画素数Nで割った値となる。

従来、符号化によって生じるブロック歪みを目立たなくするために、プリフィルタ制御方式が提案されている。これは、符号化に先だってフィルタで画像を故意にぼかすことによってその情報量を低減させ、符号化劣化をその分抑えるというものである。

特許文献１には、画像符号化におけるプリフィルタ制御装置が記載されている。ここに記載されたプリフィルタ制御装置では、符号化装置と一体化してプリフィルタ制御装置やプリフィルタを設け、量子化ステップサイズなどの符号化制御情報によりプリフィルタのオンオフや強弱を制御する。

例えば、量子化ステップサイズが大きい場合、画像の符号化劣化が大きくなる。この場合には予めフィルタを強くかけて画像をぼかし、情報量を低減させるという制御を行う。ここで、符号化劣化が大きい場合にだけフィルタをかけるのは、符号化劣化が小さい場合にもフィルタをかけると、画像がぼけるという望ましくない副作用が生じてしまうからである．
特開平６−２２５２７６号公報

特許文献１に記載されたプリフィルタ制御装置は、量子化ステップサイズなどの符号化制御情報を符号化装置から導出し、この符号化制御情報に基づいてプリフィルタを制御するので、予めプリフィルタ制御装置やプリフィルタが符号化装置と一体化して構成されることが想定されている。

しかしながら、符号化装置が１つのブロックとして既に構成されており、このような既存の符号化装置で符号化された後の画像においても符号化劣化を目立たなくしたい場合がある。

このような場合、符号化装置の前段にプリフィルタを設け、動画像に適宜プリフィルタをかけた後、符号化を行うことが考えられるが、既存の符号化装置からは符号化制御情報を得ることができない、すなわち、後段の符号化装置で符号化した場合に符号化劣化が大きいかどうかを示す情報を符号化装置から導出することができないので、特許文献１に開示された技術を適用することはできない。

また、符号化劣化が大きい場合であってもプリフィルタをかけたことによる改善効果が小さい絵柄も存在し、プリフィルタをかけると画像のボケが強まるだけでブロック歪みの符号化劣化は相変わらず存在するという絵柄も存在する。このような場合には、むしろプリフィルタをかけない方が望ましい。

本発明の目的は、上記課題を解決し、符号化装置が既存のものであって、符号化装置から符号化情報を導出できない条件下においても、ディジタル圧縮符号化の際の符号化劣化低減量、さらに符号化劣化量あるいは発生情報量を推定でき、ディジタル圧縮符号化による符号化劣化を抑制できる画像処理装置およびプリフィルタ制御装置を提供することにある。

上記課題を解決するために、本発明は、動画像がディジタル圧縮符号化された場合のプリフィルタによる符号化劣化低減量を推定するための画像処理装置であって、入力動画像の各フレームの画像をブロックに分割する分割手段と、前記分割手段により分割されたブロックごとに前フレームの画像による動き補償予測を行い、動き補償予測画像を生成する動き補償予測手段と、前記動き補償予測手段により生成された動き補償予測画像と現画像との差分画像を生成する差分画像生成手段と、前記差分画像生成手段により生成された差分画像における画素間相関係数をブロックごとに算出する画素間相関係数計算手段と、
画面内線形プリフィルタの複数ある係数の２乗和を算出する係数２乗和計算手段と、
前記画面内線形プリフィルタの複数ある係数のうち隣り合う係数同士の積の加算値を算出する係数積和計算手段と、前記係数２乗和計算手段により算出された２乗和と、前記係数積和計算手段により算出された加算値と画素間相関係数の積の、加算値をブロックごとに算出する加算手段と、前記加算手段により算出された加算値の対数を算出する対数計算手段と、前記対数計算手段により対数化されたブロックごとの加算値をフレーム内で加算するフレーム内加算手段を備え、前記フレーム内加算手段による加算値と動画像がディジタル圧縮符号化された場合のプリフィルタによる符号化劣化低減量の関係を示す理論モデル式を用い、前記フレーム内加算手段による加算値をもとに、動画像がディジタル圧縮符号化された場合のプリフィルタによる符号化劣化低減量を推定することを特徴としている。
また、本発明は、さらに、前記差分画像生成手段により生成された差分画像におけるブロックごとの分散値を算出する分散値計算手段と、前記分散値計算手段により算出された分散値の対数を算出する対数計算手段と、前記対数計算手段により対数化されたブロックごとの分散値をフレーム内で加算するフレーム内加算手段を備え、前記フレーム内加算手段による加算値およびデジタル圧縮符号化での伝送情報速度と動画像がデジタル圧縮符号化された場合の符号化劣化量の関係を示す理論モデル式を用い、該理論モデル式においてディジタル圧縮符号化での伝送情報速度を固定とし、該伝送情報速度と前記フレーム内加算手段による加算値をもとに、動画像がディジタル圧縮符号化された場合の符号化劣化量を推定することを特徴としている。
また、本発明は、前記理論モデル式においてディジタル圧縮符号化での伝送情報速度を固定とするのに代えて、ディジタル圧縮符号化で許容される符号化劣化量を固定とし、該符号化劣化量と前記フレーム内加算手段による加算値をもとに、動画像がディジタル圧縮符号化された場合の発生情報量を推定することを特徴としている。

また、本発明は、ディジタル圧縮符号化に先だって動画像にプリフィルタをかけるか否かを制御するためのプリフィルタ制御装置であって、上記により推定された符号化劣化低減量に基づき、プリフィルタをかけるか否かを決定することを特徴としている。

また、本発明は、推定された符号化劣化量および符号化劣化低減量の両方に基づき、推定された符号化劣化量が第１の所定値以上に大きく、かつ符号化劣化低減量が第２の所定値以上に大きい場合にのみ、プリフィルタをかけるように決定することを特徴としている。

本発明では、入力動画像の各フレームの画像をブロックに分割し、各ブロックごとに動き補償予測誤差を算出し、該動き補償予測誤差の画素間相関係数と画面内線形プリフィルタの係数をもとに求められた、フレーム内加算手段による加算値と符号化劣化低減量との関係を示す理論モデル式を用いて、プリフィルタをかけた場合の符号化劣化がプリフィルタをかけなかった場合よりどのくらい改善するかの符号化劣化低減量を推定するので、符号化装置が既存のものであって、符号化装置から符号化情報を導出できない条件下においても、ディジタル圧縮符号化された場合の符号化劣化低減量を事前に推定できる。
また、それに加えて、入力動画像の各フレームの画像をブロックに分割し、各ブロックごとに動き補償予測誤差を算出し、該動き補償予測誤差の分散値のフレーム内加算値を算出し、該フレーム内加算値とデジタル圧縮符号化での伝送情報速度と動画像がデジタル圧縮符号化された場合の符号化劣化量の関係を示す理論モデル式を用い、ディジタル圧縮符号化での伝送情報速度を固定とし、該伝送情報速度と前記フレーム内加算手段による加算値をもとに、デジタル圧縮符号化された場合の符号化劣化を推定するので、符号化装置が既存のものであって、符号化装置から符号化情報を導出できない条件下においても、符号化による符号化劣化量も事前に推定できる。
また、ディジタル圧縮符号化での伝送情報速度を固定とするのに代えて、ディジタル圧縮符号化で許容される符号化劣化量を固定とし、該符号化劣化量と前記フレーム内加算手段による加算値をもとに、動画像がディジタル圧縮符号化された場合の発生情報量を推定するので、符号化装置が既存のものであって、符号化装置から符号化情報を導出できない条件下においても、符号化による発生情報量も事前に推定できる。

さらに、推定された符号化劣化量と符号化劣化低減量の少なくとも一方に基づいて、動画像にプリフィルタをかけるかどうかを決定することにより、プリフィルタをかけたことによるボケなどの副作用を抑えつつ効果的に符号化劣化を低減させることができる。例えば、符号化劣化が大きいと推定され、かつプリフィルタによる符号化劣化低減量が大きいと推定された場合に限ってプリフィルタをかけることにより、効果的なプリフィルタを行うことができる。

最初に本発明の原理を説明する。まず、符号化でのブロックごとの動き補償予測誤差の分散および画素間相関係数について説明する。ここでは、符号化装置の前段にプリフィルタとして画面内線形フィルタ(線形FIRフィルタ)が配置され、この線形FIRフィルタは、m個の係数a_ｉ(i=1,・・・,m)を持つとする。

この場合、プリフィルタの入力画素、出力画素をそれぞれ、X_ｉ、〈X〉とすると、出力画素〈X〉は、式(3)で表され、動き補償予測誤差xは、式(4)で表される。

ここで、X^ｒｅｆ _ｑは、符号化ノイズが重畳されたプリフィルタをかけた後の参照画像(動き補償予測画像)の画素値である。すなわち、符号化ノイズをx_ｑ(参照画像における符号化ノイズx^ｒｅｆ _ｑ)とすると、X^ｒｅｆ _ｑは、式(5)で表される。なお、〈X〉^ｒｅｆは、符号化ノイズx^ｒｅｆ _ｑがない場合の参照画像の画素値である。

式(3)および式(5)を用いると、式(4)の動き補償予測誤差xは、式(6)で表される。

式(6)は、動き補償予測誤差xが、処理画像と参照画像内の、フィルタリングに寄与する原画素どうしのフレーム間差分値の加重和と符号化ノイズの差であることを示している。

ここで、符号化ノイズは、原画素どうしのフレーム間差分値の加重和に対して十分小さいとして無視し、動き補償予測誤差xにおける分散、共分散をそれぞれ、Var(・)、Cov(・,・) と表現すると、予測誤差分散σ_ｘ ^２は、式(7)で表される。

式(7)において、Var(X_ｉ-X_ｉ ^ｒｅｆ)は、原画素同士の動き補償予測誤差の分散を表している。これをσ_ｘ０ ^２とおき、また、その画素間相関係数をρ(i,j)とおくと、Cov(X_ｉ-X_ｉ ^ｒｅｆ,X_ｊ-X_ｊ ^ｒｅｆ) は、式(8)で表される。

ここで、簡単のためプリフィルタとして水平1次元フィルタを考える。水平画素間相関係数を新たにρとおくと、画像信号の性質から、式(8)は式(9)で表される。画素信号の性質については、吹抜敬彦「画像のディジタル信号処理増補版」(日刊工業新聞社)130ページに詳しく説明されている。

予測誤差の画素間相関係数は一般に小さいので、その2乗以上を無視すると、式(7)の予測誤差分散σ_ｘ ^２は、式(10)のように書き換えることができる。

次に、MPEGに代表される、ブロックベースのMC-DCT(動き補償予測DCT)符号化において、ビットレートとブロックごとの予測誤差分散が既知の場合に、PSNR最大の規範で最適符号化された場合の符号化劣化(符号化ノイズの分散)について検討する。

符号化対象画像、すなわち動き補償予測誤差画像がM個のMB(マクロブロック)からなるとし、k番目のMBの予測誤差分散をσ_ｋ ^２(k=1,・・・,M)とおく。また、符号化の結果、各MBにつき符号化ノイズn_ｋが重畳されるとする。

この時、目的関数は、式(11)で表される。すなわち、符号化ノイズn_ｋの最小化である。また、制約条件は、式(12)で表されるように、発生情報量Rが固定、すなわちブロックごとの発生情報量の和が一定であるということである。

なお、σ_ｋ ^２、n_ｋのもとでの発生情報量は、例えば、R.J.Clarke:“Transform coding of images”(Academic Press, 1985)368ページに詳しく記載されているように、画素間相関が十分小さいときには、1/2(log_２(σ_ｋ ^２/n_ｋ))[bpp]となる。

これをラグランジェの未定定数法で解くと、Lagrangianは、式(13)で得られる。

これより、最適候補は、式(14)を満たすものとなる。

μ_ｋ=0となるマクロブロックkについては、式(14)より式(15)が得られる。式(15)は、符号化ノイズが原画像の分散と同じになる、すなわち切捨て状態になるMB以外は全て、等劣化になるのが最適であることを示している。

このとき、式(12)より式(16)が得られ、式(16)によってλ、したがってn_ｋが決まる。Rが十分大きく、全ブロックについてlog_２((σ_ｋ ^２ln2)/λ)＞0であれば、n_ｋは式(17)で表される。

そこで、式(10)をブロックごとに考えると、式(17)より、プリフィルタなしの場合の符号化劣化n_{ｎｏｆｉｌ}は式(18)で表され、プリフィルタありの場合の符号化劣化n_ｆｉｌは式(19)で表される。

また、式(18)、式(19)より、プリフィルタをかけた場合の符号化劣化低減分は、式(20)で表される。

符号化に伴う符号化劣化量とフィルタによる符号劣化低減量はそれぞれ、式(18)、式(20)で表され、それら対数化すると式(21)、式(22)が得られる。式(18)、式(20)あるいは式(21)、式(22)で、符号化に伴う符号化劣化量とフィルタによる符号劣化低減量を推定できることとなる。以上が、本発明の原理である。

以下に、上記原理に従って構成した本発明の実施形態について説明する。図１は、本発明の一実施形態を示すブロック図である。本実施形態では、動画像をディジタル圧縮符号化するに際し、式(21)に従って符号化劣化量を推定し、式(22)に従って符号化劣化低減量を推定する。さらに、後段の符号化装置による符号化劣化が抑制されるように、推定された符号化劣化量および符号化劣化低減量に基づき、符号化装置前段のプリフィルタを制御する。

本実施形態は、動き推定手段11、フレームメモリ12、動き補償予測手段13、減算器14、ブロック内分散計算手段15、対数化フレーム内加算手段16,24、符号化劣化量推定手段17、ブロック内画素間相関係数計算手段18、フィルタ係数2乗和計算手段19、隣接フィルタ係数積和計算手段20、乗算器21,22、加算器23、符号化劣化低減量推定手段25、フィルタ制御手段26、符号化装置(図示せず)の前段に配置された画面内線形フィルタ(以下、単に線形フィルタと称す)27を備える。

以下、図１の装置における入力動画像の処理について説明する。なお、入力動画像はフレームごとに処理する。

動き推定手段11で、入力動画像の各フレームの画像に対して動き推定を行い、これにより得られる動き情報を動き補償予測手段13に出力する。動き推定手段11では簡易な動き推定を行えばよく、例えば、川田,浜田,松本:“動き補正テレビ方式変換の改善”,映像情報メディア学会誌,Vol.51,No.9,pp.1577-1586(1997)に記載されているような、小回路規模でオプティカルフローを推定可能な、反復勾配法をベースとした手法を利用できる。

動き補償予測手段13は、動き推定手段11からの動き情報でフレームメモリ12からの前フレームの画像を動き補償予測し、現フレームの動き補償予測画像を生成する。

次に、減算器14で、入力動画像の現フレームの画像と動き補償予測手段13からの動き補償予測画像の差分画像を作成し、この差分画像をブロック内分散計算手段15およびブロック内画素間相関係数計算手段18の両者に入力する。

図１の15〜17の構成は、入力動画像にプリフィルタをかけない場合の符号化劣化量を推定するための構成である。

まず、ブロック内分散計算手段15で、差分画像について、ブロック(例えば16x16画素の方形ブロック)ごとに分散(式(21)のσ_ｘ０ｋ ^２)を算出し、次に、対数化フレーム内加算手段16で、ブロックごとの分散値を対数化するとともに、対数化された分散値をフレーム内で加算する。

符号化劣化量推定手段17は、このフレーム内加算値と符号化での伝送情報速度(ビットレート)をもとに、式(18)もしくは式(21)を目安に、入力動画像にプリフィルタをかけない場合の符号化劣化量を推定する。式(18)は式(21)と等価であるが、式(21)の方が計算が簡単になる。

式(18)もしくは式(21)の右辺を計算することにより符号劣化量を推定できるが、より正確な符号劣化量の推定を可能にするため、予め作成された推定テーブルを参照して符号劣化量を推定するのが望ましい。

すなわち、式(18)や式(21)は理論モデル式であり、実際には若干のずれが生じることも想定されるので、実際に使用するコーデックで様々な画像を用いて実際に求められる符号劣化量と式(18)もしくは式(21)の右辺の計算上で求められる符号劣化量との対応を予め推定テーブルとして作成しておき、この推定テーブルを参照して符号劣化量を推定する。なお、コーデックごとの推定テーブルがある場合には、コーデックの情報で推定テーブルを指定し、指定された推定テーブルを使用する。

図１の18〜25の構成は、入力動画像にプリフィルタをかけた場合の符号化劣化低減量を推定するための構成である。

まず、ブロック内画素間相関係数計算手段18で、差分画像について、ブロックごとに画素間相関係数(式(22)のρ)を算出する。フィルタ係数2乗和計算手段19は、線形フィルタ27の複数ある係数の2乗和(式(22)のａ_ｉ ^２)を算出し、隣接フィルタ係数積和計算手段20は、線形フィルタ27の複数ある係数のうち隣接する係数同士の積(式(22)のａ_ｉａ_ｉ＋１)の加算値を算出する。

乗算器21で、隣接フィルタ係数積和計算手段20からの加算値に2を乗算し、乗算器22で、2が乗算された加算値をブロック内画素間相関係数計算手段18からの画素間相関係数に乗算する。さらに、加算器23で、乗算器22の出力にフィルタ係数2乗和計算手段19からの2乗和を加算する。対数化フレーム内加算手段16は、加算器23の出力を対数化するとともに、対数化された値をフレーム内で加算する。

符号化劣化低減量推定手段25は、対数化フレーム内加算手段16からのフレーム内加算値をもとに、式(20)もしくは式(22)を目安に、入力画像にプリフィルタをかけた場合の符号化劣化低減量を推定する。式(20)は式(22)と等価であるが、式(22)の方が計算が簡単になる。

ここでも、式(20)もしくは式(22)の右辺を計算することにより符号劣化低減量を推定できるが、より正確な符号劣化低減量の推定を可能にするため、予め作成された推定テーブルを参照して符号劣化低減量を推定するのが望ましい。

すなわち、式(20)や式(22)は理論モデル式であり、実際には若干のずれが生じることも想定されるので、実際に使用するコーデック(符号化ビットレートなど)で様々な画像を用いて実際に求められる符号劣化低減量と式(20)もしくは式(22)の右辺の計算上で求められる符号劣化低減量との対応を予め推定テーブルとして作成しておき、この推定テーブルを参照して符号劣化低減量を推定する。なお、コーデックごとの推定テーブルが作成されている場合には、コーデックの情報で推定テーブルを指定し、指定された推定テーブルを使用する。

以上、デジタル圧縮符号化の際の符号化劣化量および符号化劣化低減量の推定について説明したが、このようにして推定された符号化劣化量および符号化劣化低減量を用いて、符号化装置の前段に配置された線形フィルタ27のオン・オフをフィルタ制御手段26で制御することにより、符号化装置での符号化劣化を自動で効果的に抑制することができる。入力動画像は、線形フィルタ27を介して符号化装置に入力され、圧縮符号化される。

フィルタ制御手段26は、例えば、符号化劣化量が比較的大きく、かつプリフィルタをかけた場合の符号化劣化低減量が比較的大きいと推定された場合のみ、入力動画像にプリフィルタをかけるように線形フィルタ27を制御する。また、符号化劣化量が比較的大きいと推定される場合、あるいはプリフィルタをかけた場合の符号化劣化の低減量が比較的大きいと推定された場合に、プリフィルタをかけるような制御形態も可能である。

次に、上記推定テーブルの作成について説明する。推定テーブルは、実際に符号化の際に使用するコーデックで様々な画像を用いて実験により符号化劣化量および符号化劣化低減量を求め、計算上で推定された符号化劣化量との対応を求めることにより作成できる。

実際に行った実験では、フィルタとして11タップの1/3帯域制限フィルタを使用した。このフィルタの係数は、図２の通りである。また、ブロックごとの相関係数などを計算する際のブロックサイズは、符号化の際のマクロブロックサイズに合わせて16x16とした。また、符号化にはH.264を使用し、符号化ビットレートを0.5Mbps,1.0Mbps,2.0Mbpsの3種類とした。

テスト画像としては、様々な絵柄が含まれるように、SDTV(525)のITU-R標準テスト画像10種類(Balls of wool,Birches,Cheerleaders,Flower garden,Horse riding,Kiel Harbour-4,Mobile and calendar,Popple,Summer flowers,Temp.eteを各約500フレーム)を使用した。

図３(a)〜(c)は、式(21)の右辺を計算して得られた符号化劣化のMSE(フレームごと)の推定値(Estimated MSE)と実験により得られた実際値(Actual MSE)の組を符号化レート2Mbps,1Mbps,0.5Mbpsごとにプロットした図である。

図３より、図中破線で示した回帰直線は符号化レートにより異なるものの、H.264符号化によるフレームごとのPSNRを、実際値との誤差約±5dBで予め推定可能であり、これにより、符号化劣化が十分小さいと考えられるケースでプリフィルタをオフにするというプリフィルタ制御が実現可能であることが確認できる。

図４(a)〜(c)は、式(22)の右辺を計算して得られたPSNRの増加分(フレームごと)の推定値(Estimated improvement in PSNR)と実験により得られた実際値(Actual improv.)の組を符号化レート2Mbps,1Mbps,0.5Mbpsごとにプロットした図である。

図４から、画像ごとに傾向の差異はあるものの、プリフィルタをかけた場合のフレームごとの符号化劣化低減量を、実際値との誤差約±3dBで予め推定可能であり、これにより、プリフィルタによる符号化劣化の改善度が大きいと推定される場合にのみプリフィルタをオンにするというプリフィルタ制御が実現可能であることが確認できる。

符号化劣化量や符号化劣化低減量の推定をより正確にするため、図３および図４中に破線で示した回帰直線を推定テーブルとして予め作成しておく。これにより作成された推定テーブルは、符号化の際に使用するコーデックによって変わってくる可能性がある。そこで実際に装置として実用化する場合には、上述のように、予めいくつかのテスト画像を用いて実験を行い、符号化後の画像における符号化劣化量や符号化劣化低減量をフィードバックしてコーデックごとの専用の回帰直線を推定テーブルとして作成しておくことが望ましい。

図３および図４中に示される回帰直線を推定テーブルとして用いた場合、例えば、プリフィルタなしの場合に推定される符号化劣化n_{ｎｏｆｉｌ}が20dB以上(PSNRが28dB以下)かつプリフィルタをかけた場合に推定される劣化低減量が4dB以上の範囲でプリフィルタをかけるという制御を行うことが考えられる。

以上は、１つのプリフィルタをオンオフ制御する場合であるが、複数のプリフィルタを設け、それらのオンオフを組み合わせるようにしてもよい。この場合は動画像に対し滑らかにプリフィルタをかけることができる。

また、以上では、伝送情報量を固定とし、そのもとで符号化劣化量や符号化劣化低減量を推定する場合について説明したが、本発明は、符号化劣化量を一定とし、そのもとで符号化で発生する発生情報量を推定する画像処理装置としても実現できる。すなわち、式(21)によれば、符号化劣化一定のもとでの発生情報量Rを推定することもできる。

本発明の一実施形態を示すブロック図である。フィルタ(実験で用いたフィルタ)の係数を示す図である。符号化劣化量の推定値と実験で得られた実際値の組をプロットした図である。符号化劣化低減量の推定値と実験で得られた実際値の組をプロットした図である。

符号の説明

1・・・動き推定手段、12・・・フレームメモリ、13・・・動き補償予測手段、14・・・減算器、15・・・ブロック内分散計算手段、16,24・・・対数化フレーム内加算手段、17・・・符号化劣化量推定手段、18・・・ブロック内画素間相関係数計算手段、19・・・フィルタ係数2乗和計算手段、20・・・隣接フィルタ係数積和計算手段、21,22・・・乗算器、23・・・加算器、25・・・符号化劣化低減量推定手段、26・・・フィルタ制御手段、27・・・画面内線形フィルタ

Claims

動画像がディジタル圧縮符号化された場合のプリフィルタによる符号化劣化低減量を推定するための画像処理装置であって、
入力動画像の各フレームの画像をブロックに分割する分割手段と、
前記分割手段により分割されたブロックごとに前フレームの画像による動き補償予測を行い、動き補償予測画像を生成する動き補償予測手段と、
前記動き補償予測手段により生成された動き補償予測画像と現画像との差分画像を生成する差分画像生成手段と、
前記差分画像生成手段により生成された差分画像における画素間相関係数をブロックごとに算出する画素間相関係数計算手段と、
画面内線形プリフィルタの複数ある係数の２乗和を算出する係数２乗和計算手段と、
前記画面内線形プリフィルタの複数ある係数のうち隣り合う係数同士の積の加算値を算出する係数積和計算手段と、
前記係数２乗和計算手段により算出された２乗和と、前記係数積和計算手段により算出された加算値と画素間相関係数の積の、加算値をブロックごとに算出する加算手段と、
前記加算手段により算出された加算値の対数を算出する対数計算手段と、
前記対数計算手段により対数化されたブロックごとの加算値をフレーム内で加算するフレーム内加算手段を備え、
前記フレーム内加算手段による加算値と動画像がディジタル圧縮符号化された場合のプリフィルタによる符号化劣化低減量の関係を示す理論モデル式を用い、前記フレーム内加算手段による加算値をもとに、動画像がディジタル圧縮符号化された場合のプリフィルタによる符号化劣化低減量を推定することを特徴とする画像処理装置。
さらに、前記差分画像生成手段により生成された差分画像におけるブロックごとの分散値を算出する分散値計算手段と、
前記分散値計算手段により算出された分散値の対数を算出する対数計算手段と、
前記対数計算手段により対数化されたブロックごとの分散値をフレーム内で加算するフレーム内加算手段を備え、
前記フレーム内加算手段による加算値およびデジタル圧縮符号化での伝送情報速度と動画像がデジタル圧縮符号化された場合の符号化劣化量の関係を示す理論モデル式を用い、該理論モデル式においてディジタル圧縮符号化での伝送情報速度を固定とし、該伝送情報速度と前記フレーム内加算手段による加算値をもとに、動画像がディジタル圧縮符号化された場合の符号化劣化量を推定することを特徴とする請求項１に記載の画像処理装置。
前記理論モデル式においてディジタル圧縮符号化での伝送情報速度を固定とするのに代えて、ディジタル圧縮符号化で許容される符号化劣化量を固定とし、該符号化劣化量と前記フレーム内加算手段による加算値をもとに、動画像がディジタル圧縮符号化された場合の発生情報量を推定することを特徴とする請求項２に記載の画像処理装置。
ディジタル圧縮符号化に先だって動画像にプリフィルタをかけるか否かを制御するためのプリフィルタ制御装置であって、
請求項１に記載された画像処理装置により推定された符号化劣化低減量に基づき、プリフィルタをかけるか否かを決定することを特徴とするプリフィルタ制御装置。
ディジタル圧縮符号化に先だって動画像にプリフィルタをかけるか否かを制御するためのプリフィルタ制御装置であって、
請求項２に記載の画像処理装置により推定された符号化劣化低減量および符号化劣化量の少なくとも一方に基づき、プリフィルタをかけるか否かを決定することを特徴とするプリフィルタ制御装置。
ディジタル圧縮符号化に先だって動画像にプリフィルタをかけるか否かを制御するためのプリフィルタ制御装置であって、
請求項２に記載の画像処理装置により推定された符号化劣化量および符号化劣化低減量の両方に基づき、推定された符号化劣化量が第１の所定値以上に大きく、かつ符号化劣化低減量が第２の所定値以上に大きい場合にのみ、プリフィルタをかけるように決定することを特徴とするプリフィルタ制御装置。