JP4886663B2 - 動画像用ノイズ低減装置及び動画像用ノイズ低減プログラム - Google Patents

Description

本発明は、動画像のノイズを低減する動画像用ノイズ低減装置及び動画像用ノイズ低減プログラムに関する。

従来、動画像のノイズを低減するものには、連続するフレーム間の画素値の違いに着目した一般的な動画像用ノイズ低減技術があり、また、例えば、デジタルフィルタを使用して、当該動画像のノイズ（例えば、ランダムノイズ）を除去する方法がある（非特許文献１参照）。
この方法は、プログラムを変更することでデジタルフィルタの特性を変更することができ、様々なタイプのノイズに対応させることができるものである。

また、近年、静止画像のノイズを低減するものとして、ＴＶ（Ｔｏｔａｌ Ｖａｒｉａｔｉｏｎ）法（例えば、非特許文献２参照）が開示されている。このＴＶ法は、画像の輝度値の全変動（Ｔｏｔａｌ Ｖａｒｉａｔｉｏｎ）が最小になるように、数値近似による漸化式の計算を繰り返し行うことで、ノイズの低減を図るものである。ちなみに、静止画像のノイズの低減を図る場合、漸化式の計算を繰り返す回数は、１００回程度である。そして、静止画像に対して、ＴＶ法を用いると、従来のノイズ低減方法に比べて鮮明な画像が得られることが知られている。
八木、井上、林、奥井、合志共著 「Ｃ言語で学ぶ実践ディジタル映像処理」 オーム社 ２００１ Ｌｅｏｉｄ Ｉ．Ｒｕｄｉｎ，Ｓｔａｎｌｅｙ Ｏｓｈｅｒ ａｎｄ Ｅｍａｄ Ｆａｔｅｍｉ "Ｎｏｎｌｉｎｅａｒ ｔｏｔａｌ ｖａｒｉａｔｉｏｎ ｂａｓｅｄ ｎｏｉｓｅ ｒｅｍｏｖａｌ ａｌｇｏｒｉｔｈｍｓ" Ｐｈｙｓｉｃａ Ｄ６０（１９９２） ２５９−２６８

しかしながら、動画像のノイズを低減することに、ＴＶ法を用いようとすると、当該ＴＶ法がそもそも静止画像に適用する方法であったので、画像の数（フレーム数）の増加に伴って、計算量が飛躍的に増加してしまうという問題がある。
また、一般的な動画像用ノイズ低減技術では、例えば、フレーム間の画素値を平均化しようとすると、動き部分にボケが発生してしまうという問題がある。

さらに、ＴＶ法では、繰り返し計算する漸化式のパラメータの違いによって、鮮明な画像が得られないことがあり、当該漸化式中のパラメータを設定することが困難である場合が多いという問題がある。

そこで、本発明では、前記した問題を解決し、計算に用いる式のパラメータ設定を容易にすると共に、計算量の増加を抑えて、動き部分にボケが発生することなく動画像のノイズを低減することができる動画像用ノイズ低減装置及び動画像用ノイズ低減プログラムを提供することを目的とする。

前記課題を解決するため、請求項１に記載の動画像用ノイズ低減装置は、入力された入力動画像のノイズを低減したノイズ低減動画像を出力する動画像用ノイズ低減装置であって、領域決定手段と、変化量決定手段と、トータルバリエーション法適用手段と、を備え、前記簡略化トータルバリエーション法が、ｕを画素値、ｋを適用回数、ｉ及びｊをフレーム内の画素のｘ座標及びｙ座標、ｈを１／√（横解像度×縦解像度）、Δ^ｘ _＋を水平方向における画素値の後方向差分、Δ^ｘ ₋を水平方向における画素値の前方向差分、Δ^ｙ _＋を垂直方向における画素値の後方向差分、Δ^ｙ ₋を垂直方向における画素値の前方向差分、ｍをｍｉｎｍｏｄ関数とした際に以下に示す式によって画素値を求めることを特徴とする。

かかる構成によれば、動画像用ノイズ低減装置は、領域決定手段によって、入力動画像の連続するフレーム内における画素の輝度値の変化を検出し、この輝度値の変化を合計した合計値が最小となる所定数の画素からなる領域を、ノイズの分散のパラメータσ^２の値を抽出する領域として決定する。動画像用ノイズ低減装置は、変化量決定手段によって、領域決定手段で決定された領域に対し、簡略化したトータルバリエーション法を、予め設定したｎ回数適用した画素値から適用する前の画素値を減算した際の分散値が前記パラメータσ^２に所定係数（０より大きく１より小さい）を乗算した値以上になると共に、ｎ−１回数適用した画素値から適用する前の画素値を減算した際の分散値が前記パラメータσ^２に前記所定係数を乗算した値よりも小さくなるように、前記簡略化したトータルバリエーション法における前記ノイズの減少幅を規定する変化量のパラメータΔｔを決定する。そして、動画像用ノイズ低減装置は、トータルバリエーション法適用手段によって、変化量決定手段で決定されたパラメータΔｔを用いて、簡略化したトータルバリエーション法を、領域決定手段で領域を抽出したフレームそれぞれの画素値に適用し、ノイズを当初のノイズよりも低減したノイズ低減動画像を出力する。

請求項２に記載の動画像用ノイズ低減装置は、入力された入力動画像のノイズを低減したノイズ低減動画像を出力する動画像用ノイズ低減装置であって、入力手段と、フレーム差分取得手段と、エッジ抽出手段と、輝度平均最小ブロック抽出手段と、変化量決定手段と、トータルバリエーション法適用手段と、を備え、前記簡略化トータルバリエーション法が、ｕを画素値、ｋを適用回数、ｉ及びｊをフレーム内の画素のｘ座標及びｙ座標、ｈを１／√（横解像度×縦解像度）、Δ^ｘ _＋を水平方向における画素値の後方向差分、Δ^ｘ ₋を水平方向における画素値の前方向差分、Δ^ｙ _＋を垂直方向における画素値の後方向差分、Δ^ｙ ₋を垂直方向における画素値の前方向差分、ｍをｍｉｎｍｏｄ関数とした際に以下に示す式によって画素値を求めることを特徴とする。

かかる構成によれば、動画像用ノイズ低減装置は、入力手段によって、入力動画像の連続するフレームのフレーム番号を入力する。そして、動画像用ノイズ低減装置は、フレーム差分取得手段によって、入力手段によって入力されたフレーム番号に従って、当該フレーム番号に該当する２つのフレーム内の画素の輝度値について差分を取得する。そして、動画像用ノイズ低減装置は、エッジ抽出手段によって、入力手段によって入力されたフレーム番号に従って、当該フレーム番号に該当する２つフレームそれぞれについて、エッジを抽出する。そして、動画像用ノイズ低減装置は、輝度平均最小ブロック抽出手段によって、フレーム差分取得手段で取得された差分と、エッジ抽出手段で抽出されたエッジとを足し合わせることで、輝度値の平均が最小となるブロックを、ノイズの分散のパラメータσ^２の値を抽出する領域とする。そして、動画像用ノイズ低減装置は、変化量決定手段によって、輝度平均最小ブロック抽出手段で決定された領域に対し、簡略化した簡略化トータルバリエーション法を、予め設定したｎ回数適用した画素値から適用する前の画素値を減算した際の分散値が前記パラメータσ^２に所定係数を乗算した値以上になると共に、ｎ−１回数適用した画素値から適用する前の画素値を減算した際の分散値が前記パラメータσ^２に前記所定係数を乗算した値よりも小さくなるように、前記簡略化バリエーション法における前記ノイズの減少幅を規定する変化量のパラメータΔｔを決定する。そして、動画像用ノイズ低減装置は、トータルバリエーション法適用手段によって、変化量決定手段で決定されたパラメータΔｔを用いて、前記簡略化トータルバリエーション法を、領域決定手段で領域を抽出したフレームそれぞれの画素値に適用し、ノイズ低減動画像を出力する。

請求項３に記載の動画像用ノイズ低減装置は、請求項１又は２に記載の動画像用ノイズ低減装置において、前記変化量決定手段が、調整手段を備えることを特徴とする。

かかる構成によれば、動画像用ノイズ低減装置は、変化量決定手段の調整手段によって、領域に対し、簡略化トータルバリエーション法を、前記ｎ回未満のｉ回適用した際に、前記ｉ回数適用した画素値から適用する前の画素値を減算した値が前記パラメータσ^２に所定係数を乗算した値以上になった場合に、前記ｉ回数目の前記簡略化トータルバリエーション法に用いた変化量のパラメータΔｔよりも小さな値の変化量のパラメータΔｔにすると共に、前記ｎ回数適用した画素値から適用する前の画素値を減算した値が前記パラメータσ^２に所定係数を乗算した値よりも小さくなった場合に、前記ｎ回数目の前記簡略化トータルバリエーション法に用いた変化量のパラメータΔｔよりも大きな値の変化量のパラメータΔｔにする。

請求項４に記載の動画像用ノイズ低減装置は、請求項１ないし３のいずれか一項に記載の動画像用ノイズ低減装置において、前記トータルバリエーション法適用手段が、複数の演算手段を備え、この演算手段が直列に接続されていることを特徴とする。

かかる構成によれば、動画像用ノイズ低減装置は、トータルバリエーション法適用手段の演算手段によって、簡略化したトータルバリエーション法による演算を行う。

請求項５に記載の動画像用ノイズ低減プログラムは、入力された入力動画像のノイズを低減したノイズ低減動画像を出力するために、コンピュータを、領域決定手段、変化量決定手段、トータルバリエーション法適用手段、として機能させ、前記簡略化トータルバリエーション法が、ｕを画素値、ｋを適用回数、ｉ及びｊをフレーム内の画素のｘ座標及びｙ座標、ｈを１／√（横解像度×縦解像度）、Δ^ｘ _＋を水平方向における画素値の後方向差分、Δ^ｘ ₋を水平方向における画素値の前方向差分、Δ^ｙ _＋を垂直方向における画素値の後方向差分、Δ^ｙ ₋を垂直方向における画素値の前方向差分、ｍをｍｉｎｍｏｄ関数とした際に以下に示す式によって画素値を求めることを特徴とする。

かかる構成によれば、動画像用ノイズ低減プログラムは、領域決定手段によって、入力動画像の連続するフレーム内における画素の輝度値の変化を検出し、この輝度値の変化を合計した合計値が最小となる所定数の画素からなる領域を、ノイズの分散のパラメータσ^２の値を抽出する領域として決定し、変化量決定手段によって、領域決定手段で決定された領域に対し、簡略化したトータルバリエーション法を、予め設定したｎ回数適用した画素値から適用する前の画素値を減算した際の分散値が前記パラメータσ^２に所定係数を乗算した値以上になると共に、ｎ−１回数適用した画素値から適用する前の画素値を減算した際の分散値が前記パラメータσ^２に前記所定係数を乗算した値よりも小さくなるように、前記簡略化バリエーション法における前記ノイズの減少幅を規定する変化量のパラメータΔｔを決定する。そして、動画像用ノイズ低減プログラムは、トータルバリエーション法適用手段によって、変化量決定手段で決定されたパラメータΔｔを用いて、簡略化したトータルバリエーション法を、領域決定手段で領域を抽出したフレームそれぞれの画素値に適用し、ノイズを当初のノイズよりも低減したノイズ低減動画像を出力する。

請求項１、５に記載の発明によれば、簡略化したトータルバリエーション法を適用することで、パラメータ設定を容易に行うことができ、初期フレームの画像値を繰り返し用いることがないので、計算量の増加を抑えて、動画像のノイズを低減することができる。

請求項２に記載の発明によれば、フレーム番号のみを指定するだけで、フレーム内の画素の座標を指定することなく、ノイズの分散のパラメータσ^２の値を抽出する領域を決定することができ、さらに、簡略化したトータルバリエーション法を適用することで、パラメータ設定を容易に行うことができ、初期フレームの画像値を繰り返し用いることがないので、計算量の増加を抑えて、動画像のノイズを低減することができる。

請求項３に記載の発明によれば、変化量のパラメータΔｔを、簡略化したトータルバリエーション法を適用する回数に応じて変化させることで、適切に簡略化したトータルバリエーション法を用いることができ、ノイズを低減した動画像を出力することができる。

請求項４に記載の発明によれば、簡略化したトータルバリエーション法による演算を複数回行うことで、計算量の増加を抑えて、ノイズを低減した動画像を出力することができる。

次に、本発明の実施形態について、適宜、図面を参照しながら詳細に説明する。
（動画像用ノイズ低減装置の構成）
図１は、動画像用ノイズ低減装置のブロック図である。この図１に示すように、動画像用ノイズ低減装置１は、入力動画像を入力することで、ノイズを低減した出力動画像（ノイズ低減動画像）を出力するもので、領域決定手段３と、バッファ５と、変化量決定手段７と、ＴＶ法適用手段９と、制御手段１１とを備えている。また、この動画像用ノイズ低減装置１は、当該装置１のユーザが用いて、フレーム番号やフレーム内の座標、簡略化したトータルバリエーション法（以下、簡略化ＴＶ法という）の適用回数等を入力するインターフェースであるユーザ入力手段（入力手段）２が備えられている。

動画像用ノイズ低減装置１は、動画像の各フレームに対し、簡略化ＴＶ法を適用することで、計算量の増加を抑えつつ、当該動画像のノイズ低減を図ったものであり、動画像のノイズを低減する際に、当該動画像にぼけが生じることなく、且つ、確実にノイズ低減できるように、後記する変化量のパラメータΔｔを適宜変更しながら簡略化ＴＶ法を適用するものである。

動画像用ノイズ低減装置１の入力動画像が、輝度成分ｙ、色差成分ｕ，ｖからなるカラー動画像である場合には、輝度成分ｙに対してのみ簡略化ＴＶ法を適用すれば十分なノイズ低減効果が得られる。もちろん、色差成分ｕ，ｖに対しても同様に簡略化ＴＶ法を適用しても、動画像用ノイズ低減装置１において、ノイズ低減効果が得られる。

なお、ここで、輝度値（つまり、輝度成分の画素値）と画素値との差を明確にしておくと、白黒の動画像の場合、画素値が輝度成分のみからなるので、輝度値と画素値とが同義（同じ値）となる。カラーの動画像の場合、画素値が輝度成分及び色差成分からなるので、画素値といった場合、輝度成分の画素値又は色差成分の画素値であることを意味し、厳密に言えば、輝度値は輝度成分の画素値である。

領域決定手段３は、入力動画像のフレーム内の所定数の画素からなる領域を決定するものである。所定数の画素からなる領域とは、最小で４画素からなる領域である。そして、この領域は、入力動画像のノイズの分散のパラメータσ^２の値を抽出するのに用いるものであり、この領域の画素値の分散がノイズの分散のパラメータσ^２となる。なお、一般に画像に付加されているノイズの分散のパラメータσ^２の値は未知である。この領域決定手段３の構成例について、図２を参照して説明する。

図２（ａ）に示すように、領域決定手段３は、領域抽出手段３１を備える構成としている。この領域抽出手段３１は、ユーザ入力手段２から入力されたフレーム番号及びフレーム内座標（ｘ座標、ｙ座標で表され、少なくとも１つの座標）に従って、入力動画像のフレームの領域ｓを抽出するものである。

つまり、この領域抽出手段３１は、フレーム番号と、フレーム内座標との双方が入力された場合に、いわゆる手動で領域ｓを特定するものである。すなわち、この領域ｓは、ユーザが入力動画像のフレームを実際にみた結果、ユーザによって選択された、平坦な領域（ノイズが付加されていない状態では、輝度値の変化がほぼないと推定できる領域）又は平坦にしたい領域（ノイズを少なくし、できるだけ輝度値の変化を少なくしたい領域）である。

領域抽出手段３１は、フレーム番号で入力動画像のフレームを特定し、この特定したフレームのフレーム内座標が１つ指定されている場合には、この指定されたフレーム内座標を中心に、画素数が所定数の範囲で領域ｓを抽出する。また、フレーム内座標が複数指定されている場合、指定された複数のフレーム内座標を含むように領域ｓを抽出する。なお、３つ以上のフレーム内座標が指定されている場合には、フレーム内座標で囲める範囲を領域ｓとして抽出する。

また、図２（ｂ）は、領域決定手段３の他の実施形態を示した図である。この図２（ｂ）に示すように、領域決定手段３は、フレーム差分取得手段３２と、エッジ抽出手段３３と、加算手段３４と、輝度平均最小ブロック抽出手段３５とを備えている。

そして、この図２（ｂ）に示したように、この領域決定手段３の構成例は、ユーザ入力手段２からフレーム番号のみが入力された場合に、いわゆる自動で領域ｓを決定することができるものである。すなわち、この領域ｓは、少なくとも１フレーム前又は後の連続したフレームで変化が少なく、フレーム内でも変化がほぼない領域が自動抽出された結果であり、平坦な領域である。

フレーム差分取得手段３２は、入力動画像の連続するフレームについて、当該フレーム間の画素の輝度値の変化（輝度値の差分）を取得するものである。このフレーム差分取得手段３２では、指定された番号のフレームと連続するフレーム（例えば、フレーム番号５及びフレーム番号６）について、フレーム内の全画素について、フレーム間の輝度値の差分を取得する。なお、フレーム差分取得手段３２によって輝度値の差分を取得する仕方は既存の方法でよい。また、輝度値の差分は、例えば、絶対値差分である。そして、フレーム差分取得手段３２は、輝度値の差分を加算手段３４に出力する。

エッジ抽出手段３３は、入力動画像の指定された番号のフレームのエッジを抽出するものである。なお、エッジの抽出の仕方は既存の方法でよい。例えば、ラプラシアンフィルタを用いてエッジを抽出してもよい。そして、エッジ抽出手段３３は、抽出したエッジ（エッジ部分の座標、画素値）を加算手段３４に出力する。

加算手段３４は、フレーム差分取得手段３２で取得された輝度値の差分と、エッジ抽出手段３３で抽出されたエッジとを加算するものである。この加算手段３４は、一般的な加算器で構成されている。そして、この加算手段３４は、加算した結果を輝度平均最小ブロック抽出手段３５に出力する。

輝度平均最小ブロック抽出手段３５は、加算手段３４で加算された結果である１フレーム分の領域から、画素の輝度値の平均が最小になるような領域ｓ（ブロック領域）を抽出するものである。つまり、このブロック領域は、フレーム内において、最も平坦であると推定された平坦な領域である箇所といえる。図１に戻る。

なお、この実施形態では、領域決定手段３において、少なくとも当該装置１のユーザがフレーム番号を入力することを前提としているが、常に、入力動画像の所定のフレーム（例えば、最初のフレームや、シーンチェンジが検出されたフレーム）から領域を決定する構成としてもよい。

バッファ５は、入力動画像の各フレームを一時的にストックすると共に、領域決定手段３で決定された各フレーム内の領域ｓを、該当するフレーム共にストックすることで対応付けて、ＴＶ法適用手段９に出力するものである。

変化量決定手段７は、領域決定手段３で決定された領域ｓに対し、簡略化ＴＶ法を、予め設定したｎ回数適用したときに、ノイズの分散のパラメータσ^２を用いた条件式を満たすような変化量のパラメータΔｔを決定するものである。

この変化量のパラメータΔｔは、領域ｓにおけるノイズの減少量を規定したものであるといえる。そして、この変化量のパラメータΔｔを大きくすると、入力動画像が平坦になりやすくなる（輝度値の変化が小さくなるため、ノイズが少なく見える）という性質を持ち、その反面、同時に当該画像にぼけが発生してしまうという性質を持っている。それゆえ、この変化量決定手段７では、ノイズの分散のパラメータσ^２を用いた条件式を満たす、できるだけ小さい値となる変化量のパラメータΔｔを決定することとしている。この変化量のパラメータΔｔは、ノイズを除去する前の動画像と、ノイズを除去した後の動画像とが、ノイズの分散のパラメータσ^２を所定の範囲に保てるように求めたものである。

簡略化ＴＶ法は、通常のトータルバリエーション法が入力動画像の当初のフレームである初期フレームの画素値とｎ回数トータルバリエーション法を適用した画素値とを用いて、ｎ＋１回目にトータルバリエーション法を適用した画素値を計算するのに対し、初期フレームの画素値の代わりにｎ回数トータルバリエーション法を適用した画素値を用いて、ｎ＋１回目にトータルバリエーション法を適用した画素値を計算する方法である。

予め設定したｎ回数は、領域ｓに含まれる画素の画素値に対し、簡略化ＴＶ法を適用する回数、つまり、反復計算回数である。この実施形態では、ｎを３０以下としており、実験結果等から、実際には１０回程度で十分に入力動画像のノイズを低減することができる。

そして、この簡略化ＴＶ法で用いる数式について、次に示す数式（１）と数式（２）とを用いて説明する。

数式（１）が通常のＴＶ法に用いる漸化式である。この数式（１）において、ｕ_ｉｊ ^ｎ＋１は座標（ｉ，ｊ）の画素値について、ｎ＋１回ＴＶ法を適用した結果を示しており、ｕ_ｉｊ ^ｎなら、ｎ回ＴＶ法を適用したことを示し、ｎ＋１が０なら０回、つまり、ＴＶ法を適用していない初期フレームの画素値（ノイズがある原画像の画素値）を示している。

また、数式（１）において、ｈは、ＴＶ法を適用するフレームの解像度を示すパラメータである。数式（１）において、横解像度（水平画素数）＝縦解像度（垂直画素数）＝Ｎであるときにｈ＝１／Ｎで表される。なお、多くの動画像のフレームは、横解像度と縦解像度は異なっており、この結果、ｈ＝１／√（横解像度×縦解像度）で与えられるものとする。例えば、ＳＤ解像度の場合、ｈ＝１／√（７２０×４８０）≒０．００１７となる。

さらに、数式（１）において、Δ^ｘ _＋は水平方向における画素値の後方向差分、Δ^ｘ ₋は水平方向における画素値の前方向差分、Δ^ｙ _＋は垂直方向における画素値の後方向差分、Δ^ｙ ₋は垂直方向における画素値の前方向差分を示している。

またさらに、数式（１）において、ｍは制限関数ｍｉｎｍｏｄである。また、この制限関数ｍｉｎｍｏｄにおいて、ｓｇｎｘは、引数をｘとするｓｇｎ関数と、ｓｇｎｙは、引数をｙとするｓｇｎ関数である。また、数式（１）において、λを含む項は、画像に付加されているノイズの分散がパラメータσ^２であることの拘束条件を示している。そして、λを含む項を除去する代わりに、前記したように変化量のパラメータΔｔを求めている。

また、数式（２）は、簡略化ＴＶ法に用いる漸化式である。この数式（２）において、ｎの代わりにｋ（簡略化ＴＶ法を適用する回数）が用いられており、座標（ｉ，ｊ）における画素値について、簡略化ＴＶ法をｋ＋１回適用した画素値ｕ_ｉｊ ^ｋ＋１を計算する際には、ノイズの分散のパラメータσ^２が不要となる。

さらに、λを含む項の計算が不要となり、従来のＴＶ法の漸化式の計算に比べ、計算量を抑えることできる（計算を簡略化することができる）。このことは、実際にノイズを付加した入力動画像に対し、当該ノイズを低減する実験を行った結果から得られたことである。すなわち、λの項の影響よりも、変化量のパラメータΔｔの影響の方が大きく、簡略化ＴＶ法では、従来のＴＶ法におけるλの項を無視（省略）しても、十分にノイズの低減が図れる。

ただし、簡略化ＴＶ法を用いた場合であっても、ノイズの分散のパラメータσ^２を完全に無視することができず、変化量決定手段７では、この簡略化ＴＶ法を領域ｓに対してｎ回数適用した画素値ｕ^ｎから初期フレームの画素値ｕ^０を減算した分散がσ^２になる拘束条件（条件式）を満たすように、変化量のパラメータΔｔを決定する。

変化量決定手段７では、領域ｓにおける変化量のパラメータΔｔを、予め設定した反復計算回数ｎを用いて、以下に示す計算で求めている。なお、この実施形態では、ｎ＝１５としている。
条件式は、変化量のパラメータΔｔ＝Δｔ_０としたきに、次に示す数式（３）で表される。

この数式（３）において、αは、変化量のパラメータΔｔを現在の値よりも大きくするか小さくするのかを決める閾値を決定するための０＜α＜１の定数値であり、この実施形態では０．９としている。このαの値を０．９としたのは、画像が平坦（付加されていたノイズが低減されて輝度値の変化がほぼない状態）になった際に以下に示す数式（４）を満たすこと（つまり、α＝１）となることが理想であるが、実際には画像が平坦な状態に収束することが期待できないためである。なお、αの値を小さくすると、ぼけの少ない画像（出力動画像）が得られる傾向にあるが、同時にノイズの低減が不十分となる可能性もある。

この変化量決定手段７では、変化量のパラメータΔｔの初期値として、前記した数式（１）のｈを採用するとよい。なお、この初期値は任意の値を与えることが可能である。

そして、変化量決定手段７は、数式（３）に示した条件式が満たされている場合には、変化量のパラメータΔｔ＝Δｔ_０である。また、ｉ＜ｎで次に示す数式（５）となった場合には、変化量のパラメータΔｔを現在よりも小さい値にする。例えば、Δｔ＝ａ＊Δｔ（０＜ａ＜１）とする。

そして、変化量決定手段７は、次に示す数式（６）となった場合に、変化量のパラメータΔｔを現在よりも大きい値にする。例えば、Δｔ＝ｂ＊Δｔ（ｂ＞１、ｂ＊ａ≠１）とする。

ＴＶ法適用手段９は、変化量決定手段７で決定された変化量のパラメータΔｔを用いて、簡略化ＴＶ法を、領域決定手段３で決定された領域ｓを抽出したフレーム及び一連のフレームの画素値に適用し、当初よりもノイズが低減された出力動画像（ノイズ低減動画像）を出力するものである。

ここで、図３を参照して、変化量決定手段７及びＴＶ法適用手段９の詳細な構成について説明する。
この図３（ａ）、図３（ｂ）に示すように、変化量決定手段７はΔｔ調整手段７１を備えており、ＴＶ法適用手段９は、簡略ＴＶ法実行手段９_１、９_２、９_３、・・・、９_ｎを備えている。

なお、図３（ａ）は、変化量決定手段７において、変化量のパラメータΔｔを決定する際の動作を詳細な構成と共に示しており、図３（ｂ）は、ＴＶ法適用手段９において、簡略化ＴＶ法を適用する際の動作を詳細な構成と共に示している。すなわち、図３（ａ）における変化量のパラメータΔｔがＴＶ法適用手段９で試行される際に用いられるのに対し、図３（ｂ）における変化量のパラメータΔｔ_０が試行された結果求められたもので、ＴＶ法適用手段９において、入力動画像μ_０から出力動画像μ_ｎを算出する際に用いられる。

図３（ａ）は、変化量のパラメータΔｔをΔｔ調整手段７１で微調整をしながら、領域ｓに対し、簡略ＴＶ法実行手段９_１〜９_ｎにて簡略化ＴＶ法を繰り返し適用（試行）することで、実際にノイズを低減したい入力動画像μ_０（図３（ｂ）参照）に簡略化ＴＶ法を適用する際の変化量のパラメータΔｔ_０（図３（ｂ）参照）を求める際の流れについて示したものである。

すなわち、変化量のパラメータΔｔ_０は、各簡略ＴＶ法実行手段９_１〜９_ｎで簡略化ＴＶ法が適用された結果がすべてΔｔ調整手段７１に入力された後に、別の変化量のパラメータΔｔに設定され、この繰り返しにより求められる。

Δｔ調整手段７１は、前記した数式（３）から数式（６）までの条件式を記憶していると共に、領域ｓに対し、簡略ＴＶ法実行手段９で簡略化ＴＶ法を適用した画素値を得て、変化量のパラメータΔｔを出力するものである。

すなわち、Δｔ調整手段７１では、簡略ＴＶ法実行手段９_１、９_２、９_３、・・・、９_ｎが出力する画素値に応じ、領域ｓにおいて条件式を満たすか満たさないかを判定した結果、変化量のパラメータΔｔを調整し、調整したΔｔを、簡略ＴＶ法実行手段９_１、９_２、９_３、・・・、９_ｎのそれぞれに出力している。

簡略ＴＶ法実行手段９_１、９_２、９_３、・・・、９_ｎは、これらが直列に接続されたパイプラインで構成されており、数式（２）で表される簡略化ＴＶ法の１回分を適用するものである。そして、パイプラインの段数ｎが反復計算回数ｎと同値になるように構成されている。従って、パイプラインのｎ段目の出力は、簡略化ＴＶ法をｎ回分適用したものとなる。図１に戻る。

制御手段１１は、動画像用ノイズ低減装置１の制御を司るもので、各手段３〜９に対して、各手段３〜９を制御するための制御信号を出力すると共に、各手段３〜９における処理状態を表す出力信号を受信するものである。

この動画像用ノイズ低減装置１によれば、ＴＶ法適用手段９の簡略ＴＶ法実行手段９_１、９_２、９_３、・・・、９_ｎによって、簡略化ＴＶ法を適用することで、初期フレームの画像値を繰り返し用いることがないので、計算量の増加を抑えて、動画像のノイズを低減することができる。

また、動画像用ノイズ低減装置１は、領域決定手段３によって、フレーム番号のみを指定するだけで、フレーム内の画素の座標を指定することなく、ノイズの分散のパラメータσ^２の値を抽出する領域を決定することができる。

さらに、動画像用ノイズ低減装置１は、変化量決定手段７によって、変化量のパラメータΔｔを、簡略化ＴＶ法を適用する回数に応じて変化させることで、適切に簡略化ＴＶ法を用いることができ、ノイズを低減した動画像を出力することができる。

（動画像用ノイズ低減装置の動作）
次に、図４、図５に示すフローチャートを参照して、動画像用ノイズ低減装置１の動作について説明する（適宜、図１参照）。図４は動画像用ノイズ低減装置１の全体動作を、図５は変化量のパラメータΔｔを決定する際の動作を示したフローチャートである。

図４に示したように、まず、動画像用ノイズ低減装置１は、領域決定手段３によって、入力動画像のフレーム内の領域ｓを決定する（ステップＳ１）。続いて、動画像用ノイズ低減装置１は、決定した領域ｓにおけるノイズの分散のパラメータ（領域ｓにおける画素値の分散）σ^２を算出する（ステップＳ２）。

そして、動画像用ノイズ低減装置１は、領域ｓに対し、変化量決定手段７によって、簡略化ＴＶ法を適用しながら、変化量のパラメータΔｔを決定する（ステップＳ３）。そして、動画像用ノイズ低減装置１は、図３（ｂ）に示すように、ＴＶ法適用手段９によって、各フレームに対して、簡略化ＴＶ法を適用し、出力動画像を出力する（ステップＳ４）。

なお、入力動画像のノイズは、例えば、シーンチェンジが検出されるまでなどの一連のフレームでは同様の性質となることが想定される。従って、当該一連のフレームにおいては、同じ値の変化量のパラメータΔｔを用いてもよい。そして、この変化量のパラメータΔｔは、例えば、最初のフレームから導出する。

図５に示したように、動画像用ノイズ低減装置１は、図３（ａ）に示す変化量決定手段７によって、変化量のパラメータΔｔで、簡略化ＴＶ法をＴＶ法適用手段９でｋ回数適用したときに、（数式（３）において、ｎ＝ｋを代入した）条件式を満たすようなｋを求める（ステップＳ１１）。なお、この条件式は、次に示す数式（７）で表される。

そうすると、動画像用ノイズ低減装置１は、回数ｋが予め設定した回数ｎよりも大きいか否かを判定し（ステップＳ１２）、大きいと判定された場合（ステップＳ１２でＹｅｓ）、変化量のパラメータΔｔを現在の値よりも大きい値にして（ステップＳ１３）、ステップＳ１１に戻る。

また、動画像用ノイズ低減装置１は、ステップＳ１２にて、回数ｋが予め設定した回数ｎよりも大きいと判定されなかった場合（ステップＳ１２でＮｏ）、回数ｋが予め設定した回数ｎよりも小さいか否かを判定し（ステップＳ１４）、小さいと判定された場合（ステップＳ１４でＹｅｓ）、変化量のパラメータΔｔを現在の値よりも小さい値にして（ステップＳ１５）、ステップＳ１１に戻る。

そして、動画像用ノイズ低減装置１は、ステップＳ１４にて、回数ｋが予め設定した回数ｎよりも小さいと判定されなかった場合（ステップＳ１４でＮｏ）、ｋ＝＝ｎ（ｋがｎと等しくなった）となり、変化量のパラメータΔｔを決定する（ステップＳ１６）。

なお、動画像用ノイズ低減装置１の動作において、実際には、回数ｋが予め設定した回数ｎよりも大きいという判定（ステップＳ１２でＹｅｓ）は、前記した数式（６）の条件を満たすことによってなされ、回数ｋが予め設定した回数ｎよりも小さいという判定（ステップＳ１４でＹｅｓ）は、前記した数式（５）の条件を満たすことによってなされる。

（動画像用ノイズ低減装置の適用例）
本発明の動画像用ノイズ低減装置１の適用例について説明する。
例えば、動画像用ノイズ低減装置１は、映像符号化器のプリフィルタとして用いることに適している。この理由は、映像符号化の前処理としてノイズを低減することにより、符号化効率が向上することが従来から知られているからである。

また、本発明の動画像適用ノイズ低減装置１は、高感度カメラで撮影した動画像に用いることに適している。この理由は、高感度カメラで撮影した動画像（高感度カメラ映像）には、ガウスノイズである熱雑音と、高感度カメラで撮影する際に当該高感度カメラ内の受光体に取り込まれる光子数のゆらぎによって発生するショットノイズという異なる性質のランダムノイズが含まれるからである。そして、本発明の動画像適用ノイズ低減装置１は、熱雑音及びショットノイズを低減できることが、実験によって確かめられている。

以上、本発明の実施形態について説明したが、本発明は前記実施形態には限定されない。例えば、本実施形態では、動画像用ノイズ低減装置１として説明したが、各手段の動作を実行可能に記述した動画像用ノイズ低減プログラムとして構成することも可能である。

本発明の実施形態に係る動画像用ノイズ低減装置のブロック図である。 領域決定手段の構成例を示した図である。 変化量決定手段及びＴＶ法適用手段の構成例を示した図である。 図１に示した動画像用ノイズ低減装置の全体動作を説明するためのフローチャートである。 変化量のパラメータΔｔを決定する際の動作を説明するためのフローチャートである。

符号の説明

１ 動画像用ノイズ低減装置
３ 領域決定手段
５ バッファ
７ 変化量決定手段
９ ＴＶ法適用手段
１１ 制御手段

Claims (5)

1. 入力された入力動画像のノイズを低減したノイズ低減動画像を出力する動画像用ノイズ低減装置であって、
   前記入力動画像の連続する２つのフレーム内における画素の輝度値の差を得て、この輝度値の差を合計した合計値が最小となる所定数の画素からなる領域を、前記ノイズの分散のパラメータσ^２の値を抽出する領域として決定する領域決定手段と、
   この領域決定手段で決定された領域に対し、簡略化した簡略化トータルバリエーション法を、予め設定したｎ回数適用した画素値から適用する前の画素値を減算した際の分散値が前記パラメータσ^２に所定係数を乗算した値以上になると共に、ｎ−１回数適用した画素値から適用する前の画素値を減算した際の分散値が前記パラメータσ^２に前記所定係数を乗算した値よりも小さくなるように、前記簡略化バリエーション法における前記ノイズの減少幅を規定する変化量のパラメータΔｔを決定する変化量決定手段と、
   この変化量決定手段で決定されたパラメータΔｔを用いて、前記簡略化トータルバリエーション法を、前記領域決定手段で領域を抽出したフレームそれぞれの画素値に適用し、前記ノイズ低減動画像を出力するトータルバリエーション法適用手段と、を備え、
   前記簡略化トータルバリエーション法が、ｕを画素値、ｋを適用回数、ｉ及びｊをフレーム内の画素のｘ座標及びｙ座標、ｈを１／√（横解像度×縦解像度）、Δ^ｘ _＋を水平方向における画素値の後方向差分、Δ^ｘ ₋を水平方向における画素値の前方向差分、Δ^ｙ _＋を垂直方向における画素値の後方向差分、Δ^ｙ ₋を垂直方向における画素値の前方向差分、ｍをｍｉｎｍｏｄ関数とした際に以下に示す式によって画素値を求めることを特徴とする動画像用ノイズ低減装置。
   

   
2. 入力された入力動画像のノイズを低減したノイズ低減動画像を出力する動画像用ノイズ低減装置であって、
   前記入力動画像の連続するフレームのフレーム番号を入力する入力手段と、
   この入力手段によって入力されたフレーム番号に従って、当該フレーム番号に該当する２つのフレーム内の画素の輝度値について差分を取得するフレーム差分取得手段と、
   前記入力手段によって入力されたフレーム番号に従って、当該フレーム番号に該当する２つフレームそれぞれについて、エッジを抽出するエッジ抽出手段と、
   前記フレーム差分取得手段で取得された差分と、前記エッジ抽出手段で抽出されたエッジとを足し合わせることで、輝度値の平均が最小となるブロックを、前記ノイズの分散のパラメータσ^２の値を抽出する領域とする輝度平均最小ブロック抽出手段と、
   この輝度平均最小ブロック抽出手段で決定された領域に対し、簡略化した簡略化トータルバリエーション法を、予め設定したｎ回数適用した画素値から適用する前の画素値を減算した際の分散値が前記パラメータσ^２に所定係数を乗算した値以上になると共に、ｎ−１回数適用した画素値から適用する前の画素値を減算した際の分散値が前記パラメータσ^２に前記所定係数を乗算した値よりも小さくなるように、前記簡略化バリエーション法における前記ノイズの減少幅を規定する変化量のパラメータΔｔを決定する変化量決定手段と、
   この変化量決定手段で決定されたパラメータΔｔを用いて、前記簡略化トータルバリエーション法を、前記領域決定手段で領域を抽出したフレームそれぞれの画素値に適用し、前記ノイズ低減動画像を出力するトータルバリエーション法適用手段と、を備え、
   前記簡略化トータルバリエーション法が、ｕを画素値、ｋを適用回数、ｉ及びｊをフレーム内の画素のｘ座標及びｙ座標、ｈを１／√（横解像度×縦解像度）、Δ^ｘ _＋を水平方向における画素値の後方向差分、Δ^ｘ ₋を水平方向における画素値の前方向差分、Δ^ｙ _＋を垂直方向における画素値の後方向差分、Δ^ｙ ₋を垂直方向における画素値の前方向差分、ｍをｍｉｎｍｏｄ関数とした際に以下に示す式によって画素値を求めることを特徴とする動画像用ノイズ低減装置。
   

   
3. 前記変化量決定手段は、前記領域に対し、前記簡略化トータルバリエーション法を、前記ｎ回未満のｉ回適用した際に、前記ｉ回数適用した画素値から適用する前の画素値を減算した値が前記パラメータσ^２に所定係数を乗算した値以上になった場合に、前記ｉ回数目の前記簡略化トータルバリエーション法に用いた変化量のパラメータΔｔよりも小さな値の変化量のパラメータΔｔにすると共に、前記ｎ回数適用した画素値から適用する前の画素値を減算した値が前記パラメータσ^２に所定係数を乗算した値よりも小さくなった場合に、前記ｎ回数目の前記簡略化トータルバリエーション法に用いた変化量のパラメータΔｔよりも大きな値の変化量のパラメータΔｔにする調整手段を備えることを特徴とする請求項１又は２に記載の動画像用ノイズ低減装置。
4. 前記トータルバリエーション法適用手段は、前記簡略化トータルバリエーション法による演算を行う複数の演算手段を備え、この演算手段が直列に接続されていることを特徴とする請求項１ないし３のいずれか一項に記載の動画像用ノイズ低減装置。
5. 入力された入力動画像のノイズを低減したノイズ低減動画像を出力するために、コンピュータを、
   前記入力動画像の連続する２つのフレーム内における画素の輝度値の差を得て、この輝度値の差を合計した合計値が最小となる所定数の画素からなる領域を、前記ノイズの分散のパラメータσ^２の値を抽出する領域として決定する領域決定手段、
   この領域決定手段で決定された領域に対し、簡略化した簡略化トータルバリエーション法を、予め設定したｎ回数適用した画素値から適用する前の画素値を減算した際の分散値が前記パラメータσ^２に所定係数を乗算した値以上になると共に、ｎ−１回数適用した画素値から適用する前の画素値を減算した際の分散値が前記パラメータσ^２に前記所定係数を乗算した値よりも小さくなるように、前記簡略化バリエーション法における前記ノイズの減少幅を規定する変化量のパラメータΔｔを決定する変化量決定手段、
   この変化量決定手段で決定されたパラメータΔｔを用いて、前記簡略化トータルバリエーション法を、前記領域決定手段で領域を抽出したフレームそれぞれの画素値に適用し、前記ノイズ低減動画像を出力するトータルバリエーション法適用手段、として機能させ、
   前記簡略化トータルバリエーション法が、ｕを画素値、ｋを適用回数、ｉ及びｊをフレーム内の画素のｘ座標及びｙ座標、ｈを１／√（横解像度×縦解像度）、Δ^ｘ _＋を水平方向における画素値の後方向差分、Δ^ｘ ₋を水平方向における画素値の前方向差分、Δ^ｙ _＋を垂直方向における画素値の後方向差分、Δ^ｙ ₋を垂直方向における画素値の前方向差分、ｍをｍｉｎｍｏｄ関数とした際に以下に示す式によって画素値を求めることを特徴とする動画像用ノイズ低減プログラム。
   

   

Images