JP4857916B2 - ノイズ抑圧方法、ノイズ抑圧方法のプログラム、ノイズ抑圧方法のプログラムを記録した記録媒体及びノイズ抑圧装置 - Google Patents

Description

本発明は、ノイズ抑圧方法、ノイズ抑圧方法のプログラム、ノイズ抑圧方法のプログラムを記録した記録媒体及びノイズ抑圧装置に関し、特に映像信号のノイズを除去する時間巡回形のノイズフィルタに適用することができる。本発明は、入力映像信号において信号レベルが急激に変化した後のフィールド数、フレーム数をカウントし、このカウント値に応じて帰還率が順次増大するように動的に帰還率を制御することにより、従来に比して高速度かつ十分にノイズを抑圧することができるようにする。

従来、時間巡回形のノイズフィルタは、図１３に示すように、フィールド間差分、フレーム間差分を利用して映像信号のノイズを抑圧している。すなわちこのノイズフィルタ１において、遅延信号生成部２は、出力映像信号Ｓ２を１フィールド又は１フレームの期間だけ遅延してノイズ成分抽出用の参照映像信号Ｓ３を出力する。なおここで参照映像信号Ｓ３は、出力映像信号Ｓ２を動き補正して生成するようにしてもよい。減算回路３は、入力映像信号Ｓ１から参照映像信号Ｓ３を減算して差分信号Ｓ４を生成する。補正用信号生成部４は、この差分信号Ｓ４を帰還率ｋで乗算してノイズ補正用信号Ｓ５を生成する。なおこのとき、例えば振幅が小さいほどノイズらしいとして帰還率を大きな値に設定し、逆に振幅が大きいほどノイズらしくないとして帰還率を小さい値に設定し、ノイズ補正用信号Ｓ５を生成する場合もある。また差分信号Ｓ４を帯域分割して処理する場合もある。減算回路５は、このノイズ補正用信号Ｓ５を入力映像信号Ｓ１から減算して出力映像信号Ｓ２を生成する。

このような時間巡回形のノイズフィルタに関して、特開２００１−１３６４１６号公報等には、ノイズレベルを計測し、ノイズレベル計測結果に基づいてノイズ補正用信号Ｓ５の信号レベルを自動的に設定する工夫が提案されている。

ところでこのような時間巡回形のノイズフィルタにおけるノイズ低減処理は、次式の漸化式で表すことができる。なおここでＩ_tは、入力映像信号Ｓ１の信号レベル、Ｏ_tは、出力映像信号Ｓ２の信号レベルである。また各符号の添え字ｔは、時刻であり、入力映像信号Ｓ１の処理単位がフレーム及びフィールドの場合に、それぞれ先頭からのフレーム、フィールドの番号である。従って単に出力映像信号Ｓ２を遅延させて帰還する構成では、Ｏ_t-1は、参照映像信号Ｓ３の信号レベルであり、また（Ｉ_t−Ｏ_t-1）は、差分信号Ｓ４の信号レベルである。なおここでは、入力映像信号Ｓ１の平均信号レベルが０レベルであり、この入力映像信号Ｓ１が分散σ₀ ²のノイズ成分のみから構成されていると仮定する。

ノイズは平均すると信号レベルが０レベルとなり、連続するフィールド、フレームで相関が無いことから、時刻ｔにおける参照映像信号Ｓ３の分散σ_t ² は、（１）式に基づいて次式で表すことができる。

この（２）式の漸化式を解くと、時刻ｔにおける出力映像信号Ｓ２の分散は、次式の一般式で表すことができる。

ここで帰還率ｋは値１より値が小さいことから（ｋ＜１）、時刻ｔを無限大としたときの出力映像信号Ｓ２の分散²は、次式で表すことができる。

ここでσ_t ²／σ₀ ²は、時点ｔにおけるノイズ低減率を表すことになる。従って帰還率ｋによる無限大時点のノイズ低減率は、図１４に示すように表される。従ってこの図１４、（４）式から、従来の時間巡回形のノイズフィルタでは、帰還率ｋを大きく設定する程、ノイズ低減効果が大きくなることが判る。

これに対して上述の関係式から、出力映像信号Ｓ２における分散σ_t ²と、時刻ｔとの関係は、図１５に示すように表される。従って従来の時間巡回形のノイズフィルタでは、帰還率ｋを大きく設定すると、収束までに時間を要することが判る。

これにより従来の時間巡回形のノイズフィルタでは、ノイズ低減効果が大きくなるように設定すると、動きの激しい部分で十分にノイズ低減効果を確保できない問題があった。すなわち例えば図１６に示すように、静止した背景の前面を移動物体７Ａ、７Ｂが高速度で移動している場合に、矢印Ａで示すこの移動物体７Ａ、７Ｂが横切る背景の一部分について見ると、この一部分では、図１７及び図１８に示すように、時点ｔ１、ｔ２、ｔ３、……で背景が現れたり、移動物体７Ａ、７Ｂが現れたりすることになる。この場合に、帰還率ｋを小さくすると、図１７に示すように、移動物体７Ａ、７Ｂの移動速度に対応して十分に高速度でノイズを抑圧することができるものの、ノイズ低減効果が小さくなる。またこの場合、移動物体７Ａ、７Ｂが横切らない背景部分については、帰還率ｋが小さいことにより、十分にノイズ抑圧効果を確保することが困難になる。

これとは逆に帰還率ｋを大きくすると、移動物体７Ａ、７Ｂが横切らない背景部分については、十分にノイズ抑圧効果を確保することができるものの、移動物体７Ａ、７Ｂが横切る部分については、図１８に示すように、移動物体７Ａ、７Ｂの移動速度に対応して十分に高速度でノイズを抑圧することが困難になる。
特開２００１−１３６４１６号公報

本発明は以上の点を考慮してなされたもので、従来に比して高速度かつ十分にノイズを抑圧することができるノイズ抑圧方法、ノイズ抑圧方法のプログラム、ノイズ抑圧方法のプログラムを記録した記録媒体及びノイズ抑圧装置を提案しようとするものである。

上記の課題を解決するため、本開示に係るノイズ抑制方法は、入力映像信号のノイズを抑圧して出力映像信号を出力するノイズ抑圧方法に適用して、前記入力映像信号と前記出力映像信号とのフィールド間又はフレーム間の差分信号を生成する差分信号生成のステップと、前記差分信号を帰還率で乗算してノイズ補正用信号を生成する補正用信号生成のステップと、前記ノイズ補正用信号を前記入力映像信号から減算するノイズ補正用信号減算のステップと、前記帰還率を制御する帰還率制御のステップとを有し、前記帰還率制御のステップは、前記入力映像信号を水平方向および垂直方向に所定画素単位で区切ることにより設定される領域毎に、判定基準値により前記差分信号の信号レベルを判定し、前記入力映像信号における急激な信号レベルの変化を検出する信号レベル判定ステップと、前記領域毎に、前記信号レベル判定ステップにおいて、前記急激な信号レベルの変化が検出されると、前記入力映像信号のフィールド数又はフレーム数のカウントを開始するカウントステップと、前記急激な信号レベルの変化が検出されてから次の急激な信号レベルの変化が検出されるまでの間における前記カウントステップによるカウント値に応じて、前記領域毎に、前記帰還率を設定する帰還率設定のステップとを有し、前記帰還率設定のステップは、前記カウント値が増大するに従って、値０から値が順次増大するように前記帰還率を設定する。

また、本開示に係るノイズ抑制方法のプログラムは、入力映像信号のノイズを抑圧して出力映像信号を出力するノイズ抑圧方法のプログラムに適用して、前記入力映像信号と前記出力映像信号とのフィールド間又はフレーム間の差分信号を生成する差分信号生成のステップと、前記差分信号を帰還率で乗算してノイズ補正用信号を生成する補正用信号生成のステップと、前記ノイズ補正用信号を前記入力映像信号から減算するノイズ補正用信号減算のステップと、前記帰還率を制御する帰還率制御のステップとを有し、前記帰還率制御のステップは、前記入力映像信号を水平方向および垂直方向に所定画素単位で区切ることにより設定される領域毎に、判定基準値により前記差分信号の信号レベルを判定し、前記差分信号における急激な信号レベルの変化を検出する信号レベル判定ステップと、前記領域毎に、前記信号レベル判定ステップにおいて、前記急激な信号レベルの変化が検出されると、前記入力映像信号のフィールド数又はフレーム数のカウントを開始するカウントステップと、前記急激な信号レベルの変化が検出されてから次の急激な信号レベルの変化が検出されるまでの間における前記カウントステップによるカウント値に応じて、前記領域毎に、前記帰還率を設定する帰還率設定のステップとを有し、前記帰還率設定のステップは、前記カウント値が増大するに従って、値０から値が順次増大するように前記帰還率を設定する。

また、本開示に係るノイズ抑制方法のプログラムを記録した記録媒体は、入力映像信号のノイズを抑圧して出力映像信号を出力するノイズ抑圧方法のプログラムを記録した記録媒体に適用して、前記ノイズ抑圧方法のプログラムは、前記入力映像信号と前記出力映像信号とのフィールド間又はフレーム間の差分信号を生成する差分信号生成のステップと、前記差分信号を帰還率で乗算してノイズ補正用信号を生成する補正用信号生成のステップと、前記ノイズ補正用信号を前記入力映像信号から減算するノイズ補正用信号減算のステップと、前記帰還率を制御する帰還率制御のステップとを有し、前記帰還率制御のステップは、前記入力映像信号を水平方向および垂直方向に所定画素単位で区切ることにより設定される領域毎に、判定基準値により前記差分信号の信号レベルを判定し、前記入力映像信号における急激な信号レベルの変化を検出する信号レベル判定ステップと、前記領域毎に、前記信号レベル判定ステップにおいて、前記急激な信号レベルの変化が検出されると、前記入力映像信号のフィールド数又はフレーム数のカウントを開始するカウントステップと、 前記急激な信号レベルの変化が検出されてから次の急激な信号レベルの変化が検出されるまでの間における前記カウントステップによるカウント値に応じて、前記領域毎に、前記帰還率を設定する帰還率設定のステップとを有し、前記帰還率設定のステップは、前記カウント値が増大するに従って、値０から値が順次増大するように前記帰還率を設定する。

また、本開示に係るノイズ抑制装置は、入力映像信号のノイズを抑圧して出力映像信号を出力するノイズ抑圧装置に適用して、前記入力映像信号と前記出力映像信号とのフィールド間又はフレーム間の差分信号を生成する差分信号生成部と、前記差分信号を帰還率で乗算してノイズ補正用信号を生成する補正用信号生成部と、前記ノイズ補正用信号を前記入力映像信号から減算するノイズ補正用信号減算回路と、前記帰還率を制御する帰還率制御部とを有し、前記帰還率制御部は、前記入力映像信号を水平方向および垂直方向に所定画素単位で区切ることにより設定される領域毎に、判定基準値により前記差分信号の信号レベルを判定し、前記入力映像信号における急激な信号レベルの変化を検出する信号レベル判定部と、前記領域毎に、前記信号レベル判定部において、前記急激な信号レベルの変化が検出されると、前記入力映像信号のフィールド数又はフレーム数のカウントを開始するカウント部と、前記急激な信号レベルの変化が検出されてから次の急激な信号レベルの変化が検出されるまでの間における前記カウント部のカウント値に応じて、前記領域毎に、前記帰還率を設定する帰還率設定部とを有し、前記帰還率設定部は、前記カウント値が増大するに従って、値０から値が順次増大するように前記帰還率を設定する。

請求項１、請求項６、請求項７又は請求項８の構成によれば、入力映像信号で急激な信号レベルの変化が検出された後のフィールド、フレームで動的に帰還率を変化させて、徐々に帰還率が増大することから、帰還率の値が大きい場合の大きなノイズ抑圧効果と、帰還率の値が小さい場合の収束に要する時間を短くすることとの両立を図ることができ、従来に比して高速度かつ十分にノイズを抑圧することができる。

本発明によれば、従来に比して高速度かつ十分にノイズを抑圧することができる。

以下、適宜図面を参照しながら本発明の実施例を詳述する。

（１）実施例の構成
図１は、本発明の実施例１のノイズフィルタを示すブロック図である。このノイズフィルタ１０は、時間巡回形のノイズフィルタであり、フィールド間差分、又はフレーム間差分を利用して入力映像信号Ｓ１のノイズを抑圧し、出力映像信号Ｓ２を出力する。

このノイズフィルタ１０において、参照映像信号生成部１１は、出力映像信号Ｓ２を１フィールド又は１フレームの期間だけ遅延させて参照映像信号Ｓ１１を出力する。より具体的に、参照映像信号生成部１１は、出力映像信号Ｓ２を動き補正して参照映像信号Ｓ１１を生成する。

すなわち図２に示すように、参照映像信号生成部１１において、遅延信号生成部１２は、出力映像信号Ｓ２を１フィールド又は１フレームの期間だけ遅延させて遅延映像信号Ｓ１２を生成する。動きベクトル検出部１３は、この遅延映像信号Ｓ１２を基準にして入力映像信号Ｓ１から動きベクトルＭＶを検出する。なおここでこの動きベクトルの検出は、ブロックマッチング法、勾配法等、種々の動きベクトル検出手法を適用することができる。また動きベクトルの精度は、整数画素精度、小数画素精度のいずれでもよい。

動き補正映像信号生成部１４は、この動きベクトルＭＶを用いて遅延映像信号Ｓ１２を動き補正して参照映像信号Ｓ３を出力する。なおここでこの参照映像信号Ｓ３は、実用上十分な特性を確保できる場合には、図３に示すように、遅延信号生成部１２で、単に、出力映像信号Ｓ２を１フィールド又は１フレームの期間だけ遅延させて生成してもよい。

差分信号生成部１６は、減算回路１７で、入力映像信号Ｓ１から参照映像信号Ｓ３を減算し、入力映像信号Ｓ１と出力映像信号Ｓ２とのフィールド間差分又はフレーム間差分である差分信号Ｓ４を出力する。

補正用信号生成部１８は、増幅回路１９において、この差分信号Ｓ４を帰還率ｋで乗算してノイズ補正用信号ＳＮを生成する。

ノイズ減算処理部２０は、減算回路２１において、入力映像信号Ｓ１からノイズ補正用信号ＳＮを減算して入力映像信号Ｓ１のノイズを抑圧し、出力映像信号Ｓ２を出力する。

このノイズフィルタ１０は、帰還率制御部２３において、帰還率ｋを制御し、この帰還率ｋの制御により従来に比して高速度かつ十分に入力映像信号Ｓ１のノイズを抑圧する。

ここで帰還率制御部２３において、ノイズレベル計測部２４は、入力映像信号Ｓ１の画素毎に入力映像信号Ｓ１のノイズレベルを計測し、ノイズレベル計測結果ＮＬを出力する。なおここでこのノイズレベルの計測は、例えば計測対象画素を中心にした水平方向及び垂直方向の一定範囲において、２次元のハイパスフィルタで高域成分を抽出して信号レベルを検出すること等により実行することができる。また入力映像信号Ｓ１に代えて、差分信号Ｓ４を用いて入力映像信号Ｓ１のノイズレベルを検出するようにしてもよい。

シーンチェンジ検出部２５は、入力映像信号Ｓ１のシーンチェンジを検出し、シーンチェンジ検出フラグＦＳを出力する。なおシーンチェンジの検出は、例えはフレーム間差分の絶対値和を所定のしきい値で判定する場合等、種々のシーンチェンジ検出手法を広く適用することができる。また入力映像信号Ｓ１に代えて、差分信号Ｓ４を用いて入力映像信号Ｓ１のシーンチェンジを検出するようにしてもよい。

巡回判定部２７は、画素毎に、ノイズレベル計測部２４で検出されるノイズレベルＮＬを基準にして、入力映像信号Ｓ１における急激な信号レベルの変化を検出する。すなわち巡回判定部２７は、画素毎に、ノイズレベル計測部２４で検出されるノイズレベルＮＬに所定の定数αを乗算し、入力映像信号Ｓ１の判定基準値Cth （NL・α）を生成する。さらに巡回判定部２７は、この判定基準値Cth で差分信号Ｓ４の振幅値|Diff(x,y)| を判定し、ノイズレベルＮＬを基準にして入力映像信号Ｓ１の信号レベルが急激に変化している部分を検出する。ここでこのように急激に信号レベルが変化している部分は、ノイズである可能性が低く、本来の入力映像信号Ｓ１における変化である可能性が高い。より具体的には、図１６において説明した移動体により背景が隠れたり、隠れた背景が現れたりした場合である。

そこで巡回判定部２７は、振幅値|Diff(x,y)| が判定基準値Cth より小さい場合、この信号成分の抑圧を指示する巡回識別フラグＦ１を設定する。なおこの判定基準値Cth は、定数αをユーザー設定可能としてユーザーにより調整可能としてもよく、またノイズレベルＮＬとは無関係にユーザーにより調整可能としてもよく、さらには実用上十分な特性を確保することができる場合には、固定値としてもよい。

巡回履歴情報記憶部２８は、入力映像信号Ｓ１に設定した領域毎に、連続した巡回識別フラグＦ１の設定回数ｎをカウントすることにより、入力映像信号Ｓ１において、急激に信号レベルが変化した後、続いて急激に信号レベルが変化するまでのフィールド数又はフレーム数をカウントして出力する。

すなわち図４に示すように、巡回履歴情報記憶部２８において、部分領域巡回判定部２９は、入力映像信号Ｓ１に設定した領域毎に巡回識別フラグＦ１の設定を判定する。ここで図５に示すように、この実施例では、入力映像信号Ｓ１の１画面を、水平方向、垂直方向に所定画素単位で区切って複数の領域が設定され、部分領域巡回判定部２９は、領域毎に、巡回識別フラグＦ１の設定回数を集計する。またこの集計結果をそれぞれ所定のしきい値で判定し、このしきい値より巡回識別フラグＦ１の設定回数が多い領域で領域巡回識別フラグＦ１Ｐを立ち上げる。なおこの図５の例では、１つの領域を水平方向及び垂直方向に６画素及び４画素の領域に設定しているが、領域の設定はこの大きさに限らず種々に設定することができ、また１画面の各部で領域の大きさを異ならせるようにしてもよい。部分領域巡回判定部２９は、この巡回識別フラグＦ１の設定回数のしきい値による判定により、例えば図１６において、移動体７Ａ、７Ｂにより隠されるようになった背景の領域、さらには移動体７Ａ、７Ｂの移動により現れるようになった背景の領域を検出する。

巡回回数メモリ３０は、入力映像信号Ｓ１の領域毎に、連続した領域巡回識別フラグＦ１Ｐの設定回数を記録して保持し、巡回回数カウンタ部３１は、部分領域巡回判定部２９から出力される領域巡回識別フラグＦ１Ｐに応じて、この巡回回数メモリ３０に保持した対応する領域の設定回数を更新する。すなわち巡回回数カウンタ部３１は、部分領域巡回判定部２９によって領域巡回識別フラグＦ１Ｐが設定されない領域については、巡回回数メモリ３０に保持して対応する領域の設定回数を値０に初期化する。また部分領域巡回判定部２９によって領域巡回識別フラグＦ１Ｐが設定されると、巡回回数メモリ３０に保持した対応する領域の設定回数を値１だけインクリメントする。このとき巡回回数メモリ３０に保持した対応する領域の設定回数が所定値まで増大している場合、インクリメントの処理を中止する。

巡回回数メモリ３０は、シーンチェンジ検出部２５でシーンチェンジが検出されてシーンチェンジ検出フラグＦＳが立ち上げられると、保持した全領域の設定回数を値０に初期化する。また巡回回数メモリ３０は、保持した各領域の設定回数ｎを、続くフィールド又はフレームの対応する領域の増幅回路１９における処理に対応するタイミングで出力する。従って入力映像信号Ｓ１がインタレース方式の映像信号の場合、１フィールドの期間だけ遅延させて出力する。また入力映像信号Ｓ１がノンインタレース方式の映像信号の場合、１フレームの期間だけ遅延させて出力する。

巡回回数補正部３２は、この巡回回数メモリ３０から出力される各領域の設定回数ｎを入力映像信号Ｓ１のフォーマットに対応するように補正して出力する。すなわち入力映像信号Ｓ１がインタレース方式の映像信号の場合にあって、差分信号Ｓ４がフィールド間差分の場合、また入力映像信号Ｓ１がノンインタレース方式の映像信号の場合にあって、差分信号Ｓ４がフレーム間差分の場合、巡回回数補正部３２は、巡回回数メモリ３０から出力される各領域の設定回数ｎを何ら補正することなく出力する。これに対して入力映像信号Ｓ１がインタレース方式の映像信号の場合にあって、差分信号Ｓ４がフレーム間差分の場合、巡回回数メモリ３０から出力される各領域の設定回数ｎを１／２に補正して出力する。なお入力映像信号Ｓ１がインタレース方式の映像信号の場合にあって、差分信号Ｓ４がフレーム間差分の場合、差分信号Ｓ４は、偶数フィールド間、奇数フィールド間でそれぞれ求められることになる。従ってこれに対応して偶数フィールドの処理系統と奇数フィールドの処理系統とを巡回履歴情報記憶部２８に設けるようにして、この各系統で検出される設定回数ｎを交互に出力するようにしてもよい。なおこの場合、巡回回数補正部３２は省略することができる。またこの巡回回数補正部３２の構成を省略して、後述する帰還率設定部３５における帰還率の設定で、設定回数ｎを補正する処理を併せて実行するようにしてもよい。

帰還率設定部３５は、この巡回履歴情報記憶部２８から出力される設定回数ｎに応じて、画素毎に、帰還率ｋｔを設定する。期間率設定部３５は、設定回数ｎに応じて値の変化する帰還率ｋｈと、ノイズレベルＮＬに対する差分信号Ｓ４の振幅に応じた帰還率ｋｃとをそれぞれ求め、この２つのｋｈ、ｋｃを乗算して最終的な帰還率ｋｔを求める。

ここで（２）式は、時刻ｔにおける出力映像信号Ｓ２の分散を示しており、この分散を最小にする帰還率ｋを求めるために（２）式を１次微分すると、次式の関係式を得ることができる。

ここでこの（５）式をｋについて解けば、時刻ｔの分散σ_t ²を最小にする帰還率ｋｈを次式により表すことができる。

従って各時点ｔにおいてσ_t ²を最小とする帰還率ｋｈは、図６に示すように、連続した設定回数ｎを用いてｎ／（ｎ＋１）で表すことができる。なおここでｎ＝０は、上述したようにシーンチェンジ直後のフレーム、フィールド、又は図１６に示すように移動体７Ａ、７Ｂにより隠されるようになった背景の領域、さらには移動体７Ａ、７Ｂの移動により現れるようになった背景の領域であることから、この場合、直前フィールド又は直前フレームとの間の差分信号Ｓ４によるノイズ補正用信号ＳＮについては、帰還率ｋｔが値０に設定されて入力映像信号Ｓ１から減算しないように設定されることになる。また以降のフレーム、フィールドでは、順次、連続するフレーム、フィールドに応じた値ｎに応じて値が増大するように帰還率ｋｈが設定されることになる。なお帰還率設定部３５は、巡回履歴情報記憶部２８から出力される設定回数ｎによりルックアップテーブルを参照してこの帰還率ｋｔを求める。なお演算により帰還率ｋｈを求めるようにしてもよい。また帰還率ｋｔを有限ビット長に制限した値としてもよい。

また帰還率設定部３５は、ノイズレベルＮＬに所定の定数βを乗算し、差分信号Ｓ４の第１の判定基準値Lth （NL・β）を生成する。さらに帰還率設定部３５は、この判定基準値Lth に値１より小さな定数γを乗算し、差分信号Ｓ４の第２の判定基準値Coth（Lth ・γ）を生成する。帰還率設定部３５は、図７に示すように、差分信号Ｓ４の振幅値|Diff(x,y)| をこの第１及び第２の判定基準値Lth （NL・β）及びCoth（Lth ・γ）で判定し、振幅値|Diff(x,y)| が第１の判定基準値Lth （NL・β）より大きい場合、帰還率ｋｃを値０に設定する。また振幅値|Diff(x,y)| が第２の判定基準値Coth（Lth ・γ）より小さい場合、帰還率ｋｃを値１以下の固定値に設定する。また振幅値|Diff(x,y)| が第１及び第２の判定基準値Lth （NL・β）及びCoth（Lth ・γ）の間の値の場合、振幅値|Diff(x,y)| に応じた直線補間により帰還率ｋｃの値を設定する。これにより帰還率設定部３５は、ノイズレベル計測結果に対する差分信号の振幅値が大きくなるに従って値が小さくなるように帰還率ｋｃを設定する。なお帰還率設定部３５は、画素毎に帰還率ｋｃを設定する。

（２）実施例の動作
以上の構成において、順次入力される入力映像信号Ｓ１（図１）は、ノイズフィルタ１０に順次入力され、減算回路２１でノイズ補正用信号ＳＮが減算されてノイズが抑圧され、出力映像信号Ｓ２として出力される。入力映像信号Ｓ１は、この出力映像信号Ｓ２が参照映像信号生成部１１で処理されて参照映像信号Ｓ３が生成され、減算回路１７でこの参照映像信号Ｓ３が減算されて差分信号Ｓ４が生成される。またこの差分信号Ｓ４が補正用信号生成部１８で処理されてノイズ補正用信号ＳＮが生成される。これにより入力映像信号Ｓ１は、時間巡回形のノイズフィルタ１０において、補正用信号生成部１８における帰還率ｋｔの設定に応じた特性によりノイズが抑圧される。

しかしながら図８に示すように、この帰還率ｋｔの値を大きくして一定値に設定すると、最終的なノイズ抑圧効果は大きくなるものの、収束するのに時間を要することになり、激しい動きに対応できなくなる。これに対してこの帰還率ｋｔの値を小さくして一定値に設定すると、収束する時間は短くなるものの、最終的なノイズ抑圧効果は小さくなる。

そこでこのノイズフィルタ１０において、入力映像信号Ｓ１は、ノイズレベル計測部２４でノイズレベルＮＬが計測され、このノイズレベルＮＬに基づいて、差分信号Ｓ４の判定基準値Cth が設定される。またこの判定基準値Cth で差分信号Ｓ４の振幅値|Diff(x,y)| が判定され、差分信号Ｓ４の振幅値|Diff(x,y)| が判定基準値Cth より小さい場合、ノイズにより差分信号Ｓ４の信号レベルが変化している画素としてこのノイズの抑圧を指示する巡回識別フラグＦ１が設定される。

入力映像信号Ｓ１は、部分領域巡回判定部２９（図４）において、入力映像信号Ｓ１の１画面に設定された領域毎（図５）に、この巡回識別フラグＦ１が集計されて領域巡回識別フラグＦ１Ｐが設定される。また領域毎に、この巡回識別フラグＦ１の連続した設定が巡回回数カウンタ部３１でカウントされ、このカウント結果である設定回数ｎに応じた帰還率ｋｈ（図６）が帰還率設定部３５により設定される。

ここでこの帰還率設定部３５による帰還率の設定は、当初、小さな値に設定され、設定回数ｎが増大するに従って順次増大するように設定される（図６）。これにより入力映像信号Ｓ１は、連続したフィールド又はフレームにおいて、当初、値の小さな帰還率により急速に収束するように分散の値が低下し（図８）、その後、徐々に帰還率の値が増大して最終的なノイズ抑圧効果が大きくなるように設定される。従ってこのノイズフィルタ１０では、この帰還率の動的な設定により、帰還率の値が大きい場合の最終的な大きなノイズ抑圧効果と、帰還率の値が小さい場合の収束に要する時間を短くすることとの両立を図ることができ、従来に比して高速度かつ十分にノイズを抑圧することができる。

このとき入力映像信号Ｓ１は、差分信号Ｓ４の振幅値|Diff(x,y)| が判定基準値Cth より小さい場合についてのみ、巡回識別フラグＦ１を設定して順次帰還率の値が可変され、差分信号Ｓ４の振幅値|Diff(x,y)| が判定基準値Cth より大きい場合には巡回識別フラグＦ１が設定されないで帰還率ｋｔは値０に設定される。これにより入力映像信号Ｓ１は、動的に帰還率を設定する構成を有効に利用して動画領域ではノイズ抑圧しないように設定され、移動物体におけるいわゆる尾引きであるボケの発生を防止することができる。

またこのとき入力映像信号Ｓ１は、この差分信号Ｓ４の振幅値|Diff(x,y)| の判定基準値Cth がノイズレベルＮＬに応じて設定され、これによりノイズレベルが増大して静止画領域を誤って動画領域と判定するような状況を有効に回避することができ、その結果、入力映像信号Ｓ１のノイズレベルが大きい場合でも、十分にノイズを抑圧することができる。

さらに入力映像信号Ｓ１は、シーンチェンジ検出部２５においてシーンチェンジが検出され、シーンチェンジが発生した場合にも、動画領域の場合と同様に、設定回数ｎが初期値に設定され、帰還率ｋｈが初期値０に設定される。従って入力映像信号Ｓ１は、動的に帰還率を設定する構成を有効に利用して、シーンチェンジが発生した場合にも、ノイズ抑圧しないように設定され、シーンチェンジの部分におけるボケの発生を防止することができる。

また入力映像信号Ｓ１は、帰還率設定部３５において、ノイズレベルＮＬに所定の定数βを乗算して求められた第１の判定基準値Lth （NL・β）と、この判定基準値Lth に値１より小さな定数γを乗算して生成された第２の判定基準値Coth（Lth ・γ）とにより差分信号Ｓ４の振幅値|Diff(x,y)| が判定され、振幅値|Diff(x,y)| が小さい場合程、値が大きくなるように帰還率ｋｃが生成される（図７）。またこの帰還率ｋｃを繰り返しの回数である設定回数ｎによる帰還率ｋｈに乗算して最終的な帰還率ｋｔが設定される。

これにより入力映像信号Ｓ１は、動的に帰還率を設定する構成を有効に利用して、大振幅成分は抑圧してノイズ補正用信号ＳＮが生成され、エッジ等の入力映像信号Ｓ１本来の高域成分の劣化が防止される。またこのときもノイズレベルＮＬに応じてこれら第１及び第２の判定基準値Lth （NL・β）及びCoth（Lth ・γ）が設定されていることにより、ノイズ量に応じて適切に入力映像信号Ｓ１本来の高域成分の劣化が防止される。

（３）実施例の効果
以上の構成によれば、入力映像信号において信号レベルが急激に変化した後のフィールド数、フレーム数をカウントし、このカウント値に応じて帰還率が順次増大するように動的に帰還率を制御することにより、従来に比して高速度かつ十分にノイズを抑圧することができる。

またこのときノイズレベル計測結果に基づいて判定基準値を設定して信号レベルが急激に変化した領域を検出することにより、ノイズレベルによる静止画部分と動画部分との誤検出を有効に回避して、確実にノイズ抑圧効果を得ることができる。

またシーンチェンジの検出により、全ての領域のカウント値を値０に初期化することにより、シーンチェンジ後について、従来に比して高速度かつ十分にノイズを抑圧することができる。

またノイズレベル計測結果に対する差分信号の振幅値が大きくなるに従って値が小さくなるように帰還率ｋｃを生成し、この帰還率ｋｃを帰還率ｋｈに乗算して帰還率を補正することにより、帰還率を動的に可変制御する構成を有効に利用して、大振幅成分については抑圧するようにしてノイズレベル抑圧することができ、適切にノイズレベルを抑圧することができる。

図９は、本発明の実施例２のノイズフィルタを示すブロック図である。このノイズフィルタ４０において、実施例１のノイズフィルタ１０と同一の構成は、対応する符号を付して示し、重複した説明は省略する。

このノイズフィルタ４０において、帯域分割部４１は、画素領域の信号である差分信号Ｓ４を周波数領域上の複数帯域の部分差分信号Ｓ４Ｂに変換して出力する。ここでこの周波数領域上への変換処理は、例えばHadamard変換、Haar変換、ディスクリートコサイン変換等の直交変換処理、フィルタバンクを利用したwavelet 変換、サブバンド分割等、種々の手法を適用することができる。

補正用信号生成部４２は、この帯域分割部４１で複数帯域に分割された複数の部分差分信号Ｓ４Ｂについて、それぞれ増幅回路４４で各帯域の帰還率ｋｔＢを乗算して複数帯域のノイズ補正用信号ＳＮＢを生成する。

帯域合成部４５は、この補正用信号生成部４２から出力される複数帯域のノイズ補正用信号ＳＮＢを画素領域の信号に変換して補正用信号ＳＮを生成する。これによりこのノイズフィルタ４０は、差分信号Ｓ４を帯域分割し、帯域毎に帰還率ｋｔＢを設定して入力映像信号Ｓ１のノイズレベルを抑圧する。

この構成に対応して帰還率制御部４７は、帯域毎に帰還率ｋｔＢを設定する。このため帰還率制御部４７において、ノイズレベル計測部４８、シーンチェンジ検出部４９は、帯域分割された部分差分信号Ｓ４Ｂをそれぞれ処理して、帯域毎にノイズレベルＮＬＢ、シーンチェンジ検出フラグＦＳＢを設定する。

巡回判定部５１は、実施例１について上述した巡回判定部２７と同様にして、帯域毎に、部分差分信号Ｓ４Ｂの振幅値を判定して巡回識別フラグＦ１Ｂを出力する。従って図１０に示すように、差分信号Ｓ４を水平方向、垂直方向にそれぞれ８個及び４個の帯域に分割した場合、部分差分信号Ｓ４Ｂは、結局、３２系統の信号に分割されることになる。従って巡回判定部５１は、帯域毎に、各画素に対応するノイズレベルＮＬＢに定数αを乗算して各帯域の判定基準値Cth Ｂ（NL・α）を生成し、この判定基準値Cth Ｂで対応する部分差分信号Ｓ４Ｂの振幅値|Diff(x,y)Ｂ| を判定して巡回識別フラグＦ１Ｂを設定する。なおここで次式は、このしきい値の設定、フラグの設定に係る関係式である。ここでbx、byは水平方向及び垂直方向に各帯域を特定する変数であり、 NL_bx,byは、変数bx、byにより特定される帯域のノイズレベル、Cth_bx,byは、変数bx、byにより特定される帯域のしきい値、|Diff _bx,by(x,y)|は、水平方向及び垂直方向の座標（ｘ，ｙ）の画素において、bx、byにより特定される帯域の振幅値である。巡回判定部５１は、（８）式の関係式が成立する場合に、対応する帯域の巡回識別フラグＦ１Ｂを設定する。なおしきい値は、実施例１について上述したと同様に、種々に設定することができる。

巡回履歴情報記憶部５２は、実施例１について上述した巡回履歴情報記憶部２８と同様にして、帯域毎に、帰還率ｋｃＢを繰り返しの設定回数ｎＢを求めて出力する。ここで図１１は、巡回履歴情報記憶部５２を示すブロック図である。巡回履歴情報記憶部５２において、部分領域巡回判定部５３は、実施例１について上述した部分領域巡回判定部２９と同様に、領域毎に、巡回識別フラグＦ１Ｂの数を判定して領域巡回識別フラグＦ１ＰＢを設定する。このとき部分領域巡回判定部５３は、帯域毎に、領域巡回識別フラグＦ１ＰＢを設定する。またさらに図１２に示すように、水平方向及び又は垂直方向に周波数が隣接する複数帯域でまとめて領域巡回識別フラグＦ１ＰＢを設定し、後段の処理を簡略化する。なお図１２に示す例では、水平方向及び垂直方向にそれぞれ隣接する２×２の帯域を１つにまとめて、このまとめた帯域毎に領域巡回識別フラグＦ１ＰＢを設定する例であり、１つの領域に対して８個の領域巡回識別フラグＦ１ＰＢを設定する例である。なおこのように複数帯域でまとめることなく、元の帯域毎に、領域巡回識別フラグＦ１ＰＢを設定するようにしてもよい。

巡回回数カウンタ部５５、巡回回数メモリ５６、巡回回数補正部５７は、それぞれ実施例１について上述した巡回回数カウンタ部３１、巡回回数メモリ３０、巡回回数補正部３２と同様にして、帯域毎に、設定回数ｎＢを計算して出力する。

帰還率設定部５９は、実施例１について上述した帰還率設定部３５と同様にして、帯域毎に帰還率ｋｔを計算して出力する。

この実施例によれば、帯域毎に帰還率を設定することにより、実施例１に比して一段と確実にノイズを低減することができる。

なお上述の実施例においては、領域毎に設定した帰還率ｋｈと画素毎に設定した帰還率ｋｃとを乗算して最終的な帰還率ｋｔを求める場合について述べたが、本発明はこれに限らず、実用上十分な特性を確保することができる場合には、領域毎に設定した帰還率ｋｈのみでノイズ補正用信号を生成するようにしてもよい。

また上述の実施例においては、ハードウエアによりノイズフィルタを構成する場合について述べたが、本発明はこれに限らず、演算処理手段によるプログラムの実行により構成するようにしてもよい。なおこの場合、このプログラムは、事前にインストールして提供するようにしてもよく、光ディスク、磁気ディスク、メモリカード等の記録媒体に記録して提供するようにしてもよく、さらにはインターネット等のネットワークを介したダウンロードにより提供するようにしてもよい。

本発明は、例えば映像信号のノイズを除去する時間巡回形のノイズフィルタに適用することができる。

本発明の実施例１のノイズフィルタを示すブロック図である。 図１のノイズフィルタにおける参照映像信号生成部の構成を示すブロック図である。 図１の参照映像信号生成部の他の例の構成を示すブロック図である。 図１のノイズフィルタにおける巡回履歴情報記憶部の構成を示すブロック図である。 図４の巡回履歴情報記憶部の説明に供する平面図である。 図１のノイズフィルタにおける帰還率設定部の説明に供する平面図である。 図１のノイズフィルタにおける帰還率設定部における帰還率の設定の説明に供する平面図である。 図１のノイズフィルタの特性を示す特性曲線図である。 本発明の実施例１のノイズフィルタを示すブロック図である。 図９のノイズフィルタにおける巡回判定部の説明に供する平面図である。 図９のノイズフィルタにおける巡回履歴情報記憶部の構成を示すブロック図である。 図１０の巡回履歴情報記憶部の説明に供する平面図である。 従来の時間巡回形のノイズフィルタを示すブロック図である。 帰還率の説明に供する特性曲線図である。 帰還率による特性の変化を示す特性曲線図である。 動きの激しい映像の例を示す平面図である。 帰還率が小さい場合の特性を示す特性曲線図である。 帰還率が大きい場合の特性を示す特性曲線図である。

符号の説明

１、１０４０……ノイズフィルタ、３、５、１７、２１……減算回路、４、１８、４２……補正用信号生成部、１１……参照映像信号生成部、１６……差信号生成部、１９、４４……増幅回路、２０……ノイズ減算処理部、２３……帰還率制御部、２４、４８……ノイズレベル計測部、２５、４９……シーンチェンジ検出部、２７、５１……巡回判定部、２８、５２……巡回履歴情報記憶部、２９、５３……部分領域巡回判定部、３０、５５……巡回回数メモリ、３１、５６……巡回回数カウンタ部、３２、５７……巡回回数補正部、３５、５９……帰還率設定部、４１……海域分割部、４５……帯域合成部

Claims (8)

1. 入力映像信号のノイズを抑圧して出力映像信号を出力するノイズ抑圧方法において、
   前記入力映像信号と前記出力映像信号とのフィールド間又はフレーム間の差分信号を生成する差分信号生成のステップと、
   前記差分信号を帰還率で乗算してノイズ補正用信号を生成する補正用信号生成のステップと、
   前記ノイズ補正用信号を前記入力映像信号から減算するノイズ補正用信号減算のステップと、
   前記帰還率を制御する帰還率制御のステップとを有し、
   前記帰還率制御のステップは、
   前記入力映像信号を水平方向および垂直方向に所定画素単位で区切ることにより設定される領域毎に、判定基準値により前記差分信号の信号レベルを判定し、前記入力映像信号における急激な信号レベルの変化を検出する信号レベル判定ステップと、
   前記領域毎に、前記信号レベル判定ステップにおいて、前記急激な信号レベルの変化が検出されると、前記入力映像信号のフィールド数又はフレーム数のカウントを開始するカウントステップと、
   前記急激な信号レベルの変化が検出されてから次の急激な信号レベルの変化が検出されるまでの間における前記カウントステップによるカウント値に応じて、前記領域毎に、前記帰還率を設定する帰還率設定のステップとを有し、
   前記帰還率設定のステップは、
   前記カウント値が増大するに従って、値０から値が順次増大するように前記帰還率を設定する
   ことを特徴とするノイズ抑圧方法。
2. 前記入力映像信号のノイズレベルを計測してノイズレベル計測結果を出力するノイズレベル計測ステップと、
   前記ノイズレベル計測結果に基づいて、前記判定基準値を設定する判定基準値設定ステップとを有する
   ことを特徴とする請求項１に記載のノイズ抑圧方法。
3. 前記入力映像信号におけるシーンチェンジを検出するシーンチェンジ検出ステップを有し、
   前記カウントステップは、
   前記シーンチェンジ検出ステップによるシーンチェンジの検出により、全ての前記領域の前記カウント値を値０に初期化する
   ことを特徴とする請求項１に記載のノイズ抑圧方法。
4. 前記入力映像信号のノイズレベルを計測してノイズレベル計測結果を出力するノイズレベル計測ステップを有し、
   帰還率設定のステップは、
   前記ノイズレベル計測結果に対する前記差分信号の振幅値が大きくなるに従って値が小さくなるように、前記帰還率を補正する帰還率補正のステップを有する
   ことを特徴とする請求項１に記載のノイズ抑圧方法。
5. 前記差分信号生成のステップは、
   前記差分信号を複数帯域に帯域分割して出力し、
   前記補正用信号生成のステップは、
   前記複数の帯域毎に、対応する帯域の帰還率で前記差分信号を乗算した後、帯域合成して前記ノイズ補正用信号を生成し、
   前記帰還率制御のステップは、
   前記帯域毎に、前記帰還率を制御する
   ことを特徴とする請求項１に記載のノイズ抑圧方法。
6. 入力映像信号のノイズを抑圧して出力映像信号を出力するノイズ抑圧方法のプログラムにおいて、
   前記入力映像信号と前記出力映像信号とのフィールド間又はフレーム間の差分信号を生成する差分信号生成のステップと、
   前記差分信号を帰還率で乗算してノイズ補正用信号を生成する補正用信号生成のステップと、
   前記ノイズ補正用信号を前記入力映像信号から減算するノイズ補正用信号減算のステップと、
   前記帰還率を制御する帰還率制御のステップとを有し、
   前記帰還率制御のステップは、
   前記入力映像信号を水平方向および垂直方向に所定画素単位で区切ることにより設定される領域毎に、判定基準値により前記差分信号の信号レベルを判定し、前記入力映像信号における急激な信号レベルの変化を検出する信号レベル判定ステップと、
   前記領域毎に、前記信号レベル判定ステップにおいて、前記急激な信号レベルの変化が検出されると、前記入力映像信号のフィールド数又はフレーム数のカウントを開始するカウントステップと、
   前記急激な信号レベルの変化が検出されてから次の急激な信号レベルの変化が検出されるまでの間における前記カウントステップによるカウント値に応じて、前記領域毎に、前記帰還率を設定する帰還率設定のステップとを有し、
   前記帰還率設定のステップは、
   前記カウント値が増大するに従って、値０から値が順次増大するように前記帰還率を設定する
   ことを特徴とするノイズ抑圧方法のプログラム。
7. 入力映像信号のノイズを抑圧して出力映像信号を出力するノイズ抑圧方法のプログラムを記録した記録媒体において、
   前記ノイズ抑圧方法のプログラムは、
   前記入力映像信号と前記出力映像信号とのフィールド間又はフレーム間の差分信号を生成する差分信号生成のステップと、
   前記差分信号を帰還率で乗算してノイズ補正用信号を生成する補正用信号生成のステップと、
   前記ノイズ補正用信号を前記入力映像信号から減算するノイズ補正用信号減算のステップと、
   前記帰還率を制御する帰還率制御のステップとを有し、
   前記帰還率制御のステップは、
   前記入力映像信号を水平方向および垂直方向に所定画素単位で区切ることにより設定される領域毎に、判定基準値により前記差分信号の信号レベルを判定し、前記入力映像信号における急激な信号レベルの変化を検出する信号レベル判定ステップと、
   前記領域毎に、前記信号レベル判定ステップにおいて、前記急激な信号レベルの変化が検出されると、前記入力映像信号のフィールド数又はフレーム数のカウントを開始するカウントステップと、
   前記急激な信号レベルの変化が検出されてから次の急激な信号レベルの変化が検出されるまでの間における前記カウントステップによるカウント値に応じて、前記領域毎に、前記帰還率を設定する帰還率設定のステップとを有し、
   前記帰還率設定のステップは、
   前記カウント値が増大するに従って、値０から値が順次増大するように前記帰還率を設定する
   ことを特徴とするノイズ抑圧方法のプログラムを記録した記録媒体。
8. 入力映像信号のノイズを抑圧して出力映像信号を出力するノイズ抑圧装置において、
   前記入力映像信号と前記出力映像信号とのフィールド間又はフレーム間の差分信号を生成する差分信号生成部と、
   前記差分信号を帰還率で乗算してノイズ補正用信号を生成する補正用信号生成部と、
   前記ノイズ補正用信号を前記入力映像信号から減算するノイズ補正用信号減算部と、
   前記帰還率を制御する帰還率制御部とを有し、
   前記帰還率制御部は、
   前記入力映像信号を水平方向および垂直方向に所定画素単位で区切ることにより設定される領域毎に、判定基準値により前記差分信号の信号レベルを判定し、前記入力映像信号における急激な信号レベルの変化を検出する信号レベル判定部と、
   前記領域毎に、前記信号レベル判定部において、前記急激な信号レベルの変化が検出されると、前記入力映像信号のフィールド数又はフレーム数のカウントを開始するカウント部と、
   前記急激な信号レベルの変化が検出されてから次の急激な信号レベルの変化が検出されるまでの間における前記カウント部のカウント値に応じて、前記領域毎に、前記帰還率を設定する帰還率設定部とを有し、
   前記帰還率設定部は、
   前記カウント値が増大するに従って、値０から値が順次増大するように前記帰還率を設定する
   ことを特徴とするノイズ抑圧装置。
   

Images