JP4463341B2 - ビデオシーケンスのノイズレベルの推定方法 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、ビデオシーケンスのノイズレベルの推定方法に関する。
【０００２】
【従来の技術】
EP-A-0735747は、ブロックマッチング動き推定アルゴリズムに関連したノイズ測定方法を開示している。その原理は、移動したフィールドあるいはフレームの差分値（DFD)を導くために、画素の差分値の絶対値の総和の最小値からノイズレベルを得るものであり、予め定められた画素ブロックに亘って総和が計算される。
【０００３】
Q.Zhang 及びR.Wardによる”テレビジョン画像の信号対熱雑音比の自動的な評価方法”IEEE Transactions on Consumer Electronics Vol.41，No.1（1995年２月）と題する論文は、上記のような方法でTV信号からノイズレベルを測定する方法を開示している。この方法は、大部分の（ノイズではない）映像成分を取り除くための映像の二次元高域通過フィルタの出願に基づいている。それから、画像の最も平坦な領域、即ち、輝度変化に関してエネルギーの最小な領域が選択され、それらに残存する平均電力からノイズ電力が評価される。
【０００４】
その論文は、ディジタル画像処理においては、画像の熱雑音のレベルを評価するための通例の手順は、平坦な領域、即ち、一定の輝度（灰色のレベル) を持った領域の解析を行うことであると述べている。
【０００５】
【発明が解決しようとする課題】
EP-A-0735747に記載された方法は、単に画像の各ブロックの推定値の分布の最小値に基づいているだけなので強さにかけ、またそれゆえに、この分布の形と偏差に依存する。Zang他により記載された方法は、ノイズレベルの計算が結局１枚の画像の複数の副画像に亘ったノイズエネルギーの分布のすその部分に基づいているので、同じ欠点を持つ。従って、空間周波数の高い領域がほとんど無い画像に対しては、ノイズレベルを過小評価する危険がある。提案する方法は、ノイズエネルギーの測定値の最小値よりも、主に平均値に関する評価に偏らせることによりこの問題を緩和する。静的な領域に亘って行われる測定は、特に、画像の空間周波数成分に独立である。
【０００６】
【発明を解決するための手段】
この発明の一つの目的は、信頼性を向上したノイズ推定方法を開示することである。この目的は、請求項１に記載された方法により達成される。
発明の中では、例えば、動き補償された補間による付加的な動き情報が、ビデオシーケンスの中のノイズレベルの更に強く且つ正確な推定を計算するために使用される。理想的には、もし動き推定にエラーが起きないなら、推定された動きベクトルにより対応付けられた２つの入力画像ブロックの灰色レベルの入力画素間の差に残存するのは、ノイズの結果に違いない。付加的な動き情報は、MPEGビットストリームの動きベクトル情報からも得られよう。
【０００７】
入力画像の間に時間的に画像を補間することによってビデオシーケンスのフィールドあるいはフレームレートを変更することは、画像レートを高くする変換又は、規格変換が必要とされる。もし、もとのシーケンスの中の物体の動きが推定され、その動きに付随した動きベクトルの方向に沿って各画素を補間するのに使用すれば、変換の品質は最も良くなる。この技術のもう一つの応用は、例えば、MPEG2 符号化器のような画質又は符号化効率のどちらかの改善を目的とした時間フィルターによるノイズ低減である。動き推定は、前又は現在の画像から次の画像へマップされた画素または画素のブロック間で最も良く合致するベクトルを見つけることにより行われる。動きベクトルの選択に使用する数学的な基準は、図１に示すように、通常は画素ブロックの移動したフィールドの差分値又は移動したフレームの差分値の絶対値の合計の最小化である。補完されるべき中間フィールド又はフレームIFは、前フィールド又はフレームPFと次フィールド又はフレームNFの間に時間的に配置される。PFとNFの間の時間的な距離をT とし、PFとIFの時間的距離をα*T、IFとNFの時間的距離を（1-α)*T とする。ゼロベクトル０は=(0,0)はPFの中の I ^p(x, y)、IFの中のI(x,y)とNFの中の Iⁿ (x, y)を通る。現在の候補の動きベクトルv =(_{x, y} ) は、PFの中の I^p (x- α*v_x , y-α*v_y ) 、IFの中の I(x,y) とNFの中の Iⁿ (x+(1-α)* _x , y+(1-α)* _y ) を通る。フレームの差分値（ベクトル０に対する）は
FD= Iⁿ (x, y)- I^p (x, y)である。
ベクトルv に関する移動したフレームの差分値は、
DFD(v)= I ⁿ( x+(1- α)* v_x , y+(1- α)* _y )-I ^p (x- α* v _x , y-α* v _y ) である。
【０００８】
出力画像の補間は、推定された動きベクトルの方向に沿って行われる。補間の品質は、動きが正確にゼロであることが知られている画像の静的な部分を除いて、動きベクトルの正確さによって制限される。それゆえ、入力画像の静的な領域を検出し、そして動きのある画素に特別な補間モードを実行することは有利であり、それによって、補間出力解像度の最適化ができる。そのような静的な領域を検出する特別な解決方法は、出願人の、同日に出願された国内番号PF980013のもう一つの出願に開示されている。しかし、その発明のノイズレベル推定は、入力画像のみに基づいている。それゆえ、もし図１がノイズレベル推定に適用されれば、中間フィールド又はフレームIFはその画像のノイズレベルが推定されるべき現在の画像である。発明によると、２つの異なったノイズレベルの計算方法は、ノイズレベル推定の信頼性を向上するために、結合して使用されることができる。１つの計算は、DFD の解析に依存しており、他は、静的な領域に亘ったフィールドまたはフレーム差分値に基づいている。
【０００９】
ノイズレベルの正確な推定は潜在的に、アルゴリズムのパラメータやしきい値をノイズレベルに合わせることを可能とするので、ノイズが存在する多くの画像処理アルゴリズムの性能を改善する。出願は、動き推定、ノイズ低減、静的領域の検出、フィルムモードとフィルム位相の検出、カットの検出及び多くのその他のものを含む。
【００１０】
原理的には、発明の方法は、前フィールド又はフレームのブロックの画素値と次フィールド又はフレームの対応するブロックの対応する画素値の差分値に基づいており、ビデオシーケンスの現在の入力フィールド又はフレームのノイズレベルの推定に好適である。それにおいては、前記した前又は次フィールド又はフレームのどちらかは、前記現行フィールド又はフレームそれ自身であることができ、そしてそれにおいては、各々の一対となるブロックの最低１ブロックは、動き補償画素ブロックまたは付随した動きベクトル推定により他のブロックにマップされている。加えて、静的な画像領域が決定されそして、前フィールド又はフレームの静的な画像領域のブロックの画素値と次フィールド又はフレームの対応するブロックの対応する画素値の差分値を次のノイズレベルの推定に使用することができる。そしてその推定は、最終のノイズレベル推定値を形成するために、前記ノイズレベル推定と結合している。
【００１１】
そこでは、静的な画像のブロックの画素値の間の前記差分値の推定に使用する前記した前及び又は前記した次フィールド又はフレームは、前記動き補償画素ブロック又は前記マップされたブロックに関した差分値の推定に使用する前記した前及び又は前記した次フィールド又はフレームと異なっていることができる。
【００１２】
【発明の実施の形態】
発明の方法の有利な付加的な実施例がそれぞれの従属請求項について開示されている。
以下、本発明の実施の形態を図面に基づいて詳細に説明する。
発明のノイズレベル推定の入力データ（以下現在のフィールド又はフレームとして参照する１フィールド又は１フレーム内）は、以下を含む：
−動き推定の副産物であっても良い移動したフィールド又はフレームの差分値のマップ；
−動き無しとして検出された入力画素又は画素のブロックのマップ；
−前フレームと次フレームの間で計算され、もし入力画像がプログレシブ画像なら現在のフレームの前および次にそれぞれ時間的に配置された、
又は、インターレース入力画像の場合には、前及び次フィールドは例えば両方がトップフィールド又は両方がボトムフィールドと言った同じ偶奇性を持つという制約を持った前フィールドと次フィールドの間で計算され、現在のフィールドの前および次にそれぞれ時間的に配置された、
両方の場合において前フィールド又はフレーム又は次フィールド又はフレームは現在のフィールド又はフレームである、
フィールド又はフレームの差分値のマップ；
−前の入力フィールド又はフレームから得られたノイズレベルの推定値。
【００１３】
計算は以下のステップ（図２参照）を含む：
a)現在の入力フィールド又はフレームをFDブロックの予め定められたラスターに分割し、静的な領域のマップで静的と分類された排他的な画素からなるFDブロックのみに亘ってFDブロックの絶対値を積算する；
b)結果のブロックのFDを予め定められたノイズモデルに従ったノイズの標準偏差の最初の仮の推定値に翻訳する；
c)現在のフィールド又はフレームをDFD ブロックの予め定められたラスターに分割しこれらのブロックに亘ってDFD の絶対値を積算する；
d)結果のブロックのDFD を予め定められたノイズモデルに従ったノイズの標準偏差の第２及び第３の仮の推定値に翻訳する；
e)最初の３つの仮の推定値の関数として現在のノイズレベルの第４の予め定められた推定値を計算する；
f)現在のフィールド又はフレームについての最終ノイズレベルの推定値を供給するために前フィールド又はフレームのために計算された最終のノイズレベル推定値を用いて第４の仮の推定値にフィルタをかける。
【００１４】
ノイズモデルは、検出されたブロックの画素差分値の総和の分布を、対応するノイズレベルに割り当てる。
理想的には、動き推定にエラーが起きないなら、動きベクトルに対応する又は動きベクトルによってマップされた２つの入力画像ブロックからの灰色レベルの入力画素の残存する差分値はノイズの結果に違いない。このようにDFD の統計分布はノイズレベル評価の有利な開始点となる。しかしながら実際のシステムでは、動き推定の正確さは、ベクトル要素の有限な符号化精度や、入力画像の有限な空間解像度、通常は移行的な動きである想定した動き方向モデルからの実際のシーンの動きの偏差、例えば周期的な構造を含んだ物体や、また、遮蔽されたり／されなかったりする領域、又は静的な領域を含む画素ブロックの中や、より小さな動く物体などによる動き分析の失敗による避けられない推定誤差などの要素によって制限される。動き推定の不正確さの結果は、ノイズに貢献する残存するDFD 項に変換される。そして、このように真のノイズレベルの推定に悪影響を及ぼす。
【００１５】
それにもかかわらず、完全な、即ち無限精度の動き推定は、もし例えばカメラがパンしている間のようではない場合の画像が現在の画像中に存在するなら、そして、動きベクトル情報を使っても使わなくても良いようなこれらの領域の安全な検出方法が利用できるなら、入力シーケンスの動きの無い部分については達成できる。確かに、静的な領域の動きベクトル成分は、正確にゼロである。その結果、移動していないフレームの差分値又は同じ偶奇性のフィールドの差分値は、静的な画像領域上で計算された場合には、動き推定の不正確さから生じるいかなる残留項によっても損なわれていない画素に関したフレーム間のノイズ信号の差分値のサンプルを与える。
【００１６】
有利なことに、発明では、１つはDFD に基づき、もう一つは、静的な画像領域のFDに基づいているこれらの２つの手続きが結合される。例えば全画素が動いておりそれゆえFDからノイズレベル推定を行うことができないカメラのパンの場合に、代替補佐の機構が有利に利用される。例えば、これらの場合においては、DFD 情報だけを評価の基にするのか、前フィールド又はフレームで計算された推定値を保持するのかを決めることができる。
【００１７】
ステップa)では、現在のフィールド又はフレームの予め定められたブロックに亘ってFDサンプルの絶対値が集められ、その後、重なっていても或いはいなくても良いFDブロックDFB(i,j)として参照される。静的な領域のマップで動きが無いと分類された画素が排他的に占めるFDブロックのみが、推定過程で使用される。これらの各FDブロックに対しては、合計されたフレーム差分値AFD(i,j)がブロックを構成する画素の付随したFDの絶対値の合計として計算される。
【００１８】
ステップb)の目的は、｛AFD(i,j)｝の組から灰色レベルで表現されたノイズの標準偏差の最初の仮の推定値σp1を得ることである。この計算は、前のノイズモデルに適合させられる。発明の一実施例では、静的な画素に付随したFDの絶対値の分布は、その平均ｍ｜_FD｜は推定されるべきノイズレベルの標準偏差σに比例している、と仮定される：ｍ｜_FD｜=k* σ。
【００１９】
この仮定は、特に、入力ノイズのサンプルは空間的であり、時間的に無相関で、ガウス分布に従う時に保たれる。その場合にはk は2/√( π) ≒1.13に等しい。発明の一実施例では、k はこの値に設定される。現在のフィールド又はフレーム内の静的なブロックに 亘ってAFD(i,j)の算術平均｛AFD(i,j)｝により近似されたAFD の数学的な期待値は、 N _FDB* m ｜_FD｜により与えられる。ここで、 N _FDBは、FDブロックの画素数を表す。
【００２０】
したがって、σに対する良い近似は次のように得られる。
σp1= ｛AFD(i,j)｝/( k * N _FDB)
ステップc)では、ステップa)と似ているが、DFD サンプルの絶対値が現在のフィールド又はフレームの予め定められたブロックに 亘って集められ、その後、DFD ブロックDFDB(i,j) として参照される。これらのブロックは重なっていてもいなくとも良い。各DFD ブロックDFDB(i,j) に対して、｛ADFD(i,j) ｝として参照される積算されたDFD は、ブロックを構成する画素に付随したDFD の絶対値の合計として計算される。
【００２１】
ステップd)では、ステップb)と似ているが、｛ADFD(i,j) ｝の組が灰色レベルとして表現された標準ノイズ偏差の第２のσp2及び第３のσp3の仮の推定値に変換される。｛AFD(i,j)｝の組が｛ADFD(i, j) ｝の組によって置換された場合を除いて、σp2の派生体は、σp1の派生体と同一である。N _DFDBはDFD ブロックの画素の数とし、また、｛ADFD(i,j) ｝は現在のフィールド又はフレームのADFDの平均とする。そこで、σp2は、次のように計算される。
【００２２】
σp2 =｛ADFD(i,j) ｝/(k*N _DFDB)
しかし、FDと異なり、DFD に基づいたノイズレベルの推定は、上で説明したように、動き推定の不完全さの結果による残留項により偏っている可能性がある。これは、処理を行ったフィールド又はフレームが高い空間勾配の領域を含む場合に起ここる可能性がある。提案した方法の強さを改善するために、第３の仮の推定値σp3がADFD(I,J) の平均よりも最小値から得られる：

ステップe)では、単一の仮の推定値σp が、σp1、σp2及びσｐ３から得られる。最初に、比r=σp2/ σp3は、どちらの仮の推定値を使用すべきかを決定するためにしきい値と比較される。予め定められた１から５の間の範囲の値、発明の一実施例では好ましくは”２”の値、に設定されたしきい値Trよりも上のr の値はテクスチャーの大きな変化を示し、そしてそれゆえ入力画像の高い勾配の領域の比率が多いことを示す。そのような場合には、σp2は信用できないと考えられ、仮の推定値σp が、σp1とσp3のみから計算される。逆に、もしｒがTrよりも小さい場合には、ブロックDFD から計算される推定値の一貫性を示し、σp1と同様に、σp2とσp3も使用される。有利に、σp は次のように得られる。
【００２３】
σp=(σp1+σp3)/2 σp2/σp3>Trの場合
σp=median(σp1,(σp1+σp2)/2,σp3) σp2/σp3≦Trの場合
ここで、median()は３タップのメディアンフィルターを示す。放送画像シーケンスの実際のノイズレベルの高速変動は非常にまれなので、ステップf)では、ノイズレベル推定の強さを更に改善するために時間的な低域通過フィルターがσpに適用される。ノイズレベルの標準偏差の最終的な推定値σは、σp及び前フレーム又はフィールド或いは対応する偶奇性のフィールドのノイズレベル推定値σprevから以下のように計算される。
【００２４】
σ=median(σ_prev- Δv _low , σp, σ_prev+ Δv _high)
Δv _low とΔv _highは、１つの推定周期 (例えばフィールド又はフレーム）からの次の周期への推定ノイズレベル変化の最大変化を規定する予め定められた定数である。発明の一実施例においてΔv _low とΔv _highは、はそれぞれ約"1" と約"0.25"の灰色レベルの組である。この出願の中で与えられたしきい値は画素値の８ビット表現に基づいている。もしこれらの画素値が異なった分解能を持っているなら、しきい値もそれに従うべきである。
【００２５】
動き推定は連続しないフィールド又はフレームの組に対して行っても良く、その場合にはノイズレベルを推定する現在の入力画像と動き推定に使用する画像とが異なっていても良い。これは現行フレームがB-フレームの場合の例えばMPEG2 符号化機構の場合である。
静止画像領域に関した画素の差分値FDを決めるのに使用する１つの又は両方の前記フィールド又はフレームは、動き補償されたブロックの組或いは付随した動きベクトルによりマップされたブロックの組に関した画素の差分値DFD を決めるのに使用する１つの又は両方の前記フィールド又はフレームと異なっていても良い。
【００２６】
ノイズレベル計算に関係したフィールド又はフレームの有効な部分の全ブロックを使用しても良い。しかしながら、動きのある画像部の境界に配置された画素ブロックは、特にそのようなブロックの動き情報は信頼性が低いので考慮しないことも又可能である。また、画像毎に考慮するブロックの数を更に制限することも可能である。
【００２７】
【発明の効果】
以上、詳細に説明したように、本発明によれば、空間周波数の高い領域がほとんど無い画像に対しても、ノイズレベルを過小評価する危険をなくすことができる。
【図面の簡単な説明】
【図１】前の入力画像又は次の入力画像との間又はから補完される画像、又は、前の入力画像と次の入力画像の間の現ノイズレベルが推定されるべき現在の入力画像。
【図２】発明のノイズレベル計算のフローチャート。
【符号の説明】
無し。

Claims (11)

1. ビデオシーケンス入力画像画素の輝度レベル間の差分により生じるノイズレベルの推定方法であって、
   静的画像領域を決定し、前フィールドまたはフレームの静的画像領域中のブロックの画素値と、次フィールドまたはフレーム中の対応するブロックの対応する画素値との間の差分値を用いて、第１のノイズレベル推定値を計算する段階と、
   ビデオシーケンスの現在のソースフィールドまたはフレームについて、前フィールドまたはフレーム中のブロックの画素値と、次フィールドまたはフレーム中の対応するブロックの対応する画素値との間の差に基づき、次のノイズレベル推定値を計算する段階であって、前記前または次フィールドまたはフレームを前記現在のフィールドまたはフレーム自体といえ、対応する各ブロック対のうち少なくとも一方のブロックが動き補償された画素ブロックであり、すなわち関連する動きベクトル推定により他方のブロックにマップされる段階と、
   最終的なノイズレベル推定値を求めるために、前記第１のノイズレベル推定値を前記次のノイズレベル推定値を結合する段階と
   を含む方法。
2. 静的な画像領域のブロックの画素値の間の前記差分値の推定に使用される前記前及び／又は前記次フィールド又はフレームは、前記動き補償された画素ブロックまたはマップされたブロックに関する差分値の推定に使用される前記前及び／又は前記次フィールド又はフレームと異なりうる、請求項１記載の方法。
3. 画素値の間の前記差分値の合計値は、各ブロックに対して積算された値である、請求項１又は２記載の方法。
4. 前記ブロックは重なっている、請求項１ないし３いずれか一項記載の方法。
5. 前記次のノイズレベル推定値に対し２つの推定値が計算され、一方の推定値は，現在のフィールド又はフレームに対し積算されたブロックの画素の差分値の平均値から得られ、他方の推定値は，現在のフィールド又はフレームの積算されたブロック画素の差分値の最小値から得られる、請求項１ないし４いずれか一項記載の方法。
6. 前記次のノイズレベル推定値の第１の推定値と第２の推定値の比が所定のしきい値、特に約"２"より大きい場合には、前記最終ノイズレベル推定値は、前記第１のノイズレベル推定値と前記次のノイズレベル推定値の２つ目の推定値の平均であり、
   前記次のノイズレベル推定値の第１の推定値と第２の推定値の比が前記所定のしきい値に等しいか又は小さい場合には、前記最終ノイズレベル推定値は前記第１のノイズレベル推定値と、前記第１のノイズレベル推定値及び前記次のノイズレベル推定値の第１の推定値の平均と、前記次のノイズレベル推定値の前記第２の推定値とのメディアンである、請求項５記載の方法。
7. 最終出力ノイズレベル推定値を形成するために、前記最終ノイズレベル推定値は、第１の所定の定数が減算された前フレーム又はフィールドに対するノイズレベル推定値と、現在のフレーム又はフィールドのノイズレベル推定値と、第２の所定の定数が加算された前フレーム又はフィールドのノイズレベル推定値とのメディアン値である、請求項６記載の方法。
8. 前記第１の及び第２の所定の定数は、１つの推定周期から次の推定周期への推定されたノイズレベル変化の最大偏差を規定する、請求項７記載の方法。
9. 前記第１の所定の定数は約"１"の値を持つ、請求項７又は８記載の方法。
10. 前記第２の所定の定数は、約"０．２５"の値を有する請求項７から９のうちいずれか一項記載の方法。
11. 画像の全ての又はほとんど全ての画素は動きがある状態で、代替補佐のノイズレベル推定が行われ、その推定は、動き補償補間された画素ブロック又は付随した動きベクトル推定によりマップされたブロックに関する画素の差分値の決定にのみ基づき、又は前フィールド又はフレームに対して計算されたノイズレベルの推定値に基づく、請求項１ないし１０いずれか一項記載の方法。

Images