JP5123839B2 - ノイズ低減装置及びそのプログラム - Google Patents

Description

本発明は、デジタル映像信号に重畳されたノイズを低減するノイズ低減装置及びそのプログラムに関する。

一般に、アナログ映像信号には本来の映像そのもの以外に、伝送路等で付加されたノイズが重畳されている。従来、このようなノイズを低減する技術として、ノイズリデューサと呼ばれる技術があり、これまで種々の方式が提案されてきた（例えば、特許文献１参照）。

ここで、例えば、特許文献１に記載のノイズリデューサを動作させるためには、ノイズを低減させる基準として、画面内のノイズ成分のレベル（ノイズレベル）がどの程度であるかを検出する必要がある。例えば、特許文献１に記載されたノイズリデューサ（雑音低減回路）では、アナログ映像信号のブランキング期間の信号からノイズレベルを検出している。このブランキング期間は、信号が平坦（電圧レベルが一定）であるため、この期間に僅かでも信号成分が重畳されていれば、それをノイズとみなすことができる。そこで、従来は、このブランキング期間の信号に重畳されたノイズを映像信号全体に重畳されたノイズとみなすことで、ノイズ量に応じたノイズの低減処理を行っている。

一方、デジタル映像信号は、映像信号のデータが離散値であるため、伝送路上において、アナログ映像信号と比べて劣化しにくく、伝送ノイズが重畳した場合であっても、誤り訂正等によって、ノイズを低減させることができる。
特許第３２９９０２６号公報（特開平７−２５０２６４号公報）

しかし、近年、デジタル映像信号においても、ノイズが問題となってきている。例えば、高感度カメラでの撮影又は暗い照明下での撮影では、カメラの増幅器によるガウス性ノイズの他、ショットノイズと呼ばれるパルス性ノイズも発生してしまう。また、ニュース等の映像の多様化により、夜間の撮影も増加し、ノイズを多く含む映像を放送してしまう。

ここで、特許文献１に記載の３タップメディアンフィルタをそのまま用いた場合、パルス性ノイズに対してこの３タップメディアンフィルタが大きな出力値を出力する。そして、この出力値を用いてノイズ低減処理を行うと、必要以上にノイズを低減してしまい、かえって映像（画質）を損ねることがある。

また、特許文献１に係る発明では、画像の狭いエリアからメディアン値を取得しているため、画面全体に広がったノイズを映像信号と判断してしまい、このような画面全体に広がるノイズに対応できない。

そこで、本発明は、パルス性ノイズ又は画面全体に広がったノイズを含むデジタル映像信号においても、ノイズ低減処理の効果が高いノイズ低減装置及びそのプログラムを提供することを目的とする。

前記した課題を解決するため、請求項１に係るノイズ低減装置は、デジタル映像信号に重畳されたノイズを低減するノイズ低減装置であって、映像信号入力手段と、ノイズレベル検出手段と、第１遅延手段と、第１遅延手段で遅延させたデジタル映像信号を構成するフレームに予め設定された対象画素における画素値の中央値を選択するメディアンフィルタを複数備えるメディアンフィルタ群と、フィルタと、第２遅延手段と、比較手段と、選択加減算手段とを備え、ノイズレベル検出手段が、ブロック分割手段と、直交変換手段と、高周波成分検出手段と、高周波成分累計手段と、ノイズレベル判定手段と、を備える構成とした。

かかる構成によれば、ノイズ低減装置は、映像信号入力手段によって、外部からデジタル映像信号を入力する。また、ノイズ低減装置は、ノイズレベル検出手段によって、映像信号入力手段で入力されたデジタル映像信号に重畳されているノイズレベルの大きさを示すレベル値として検出する。また、ノイズ低減装置は、第１遅延手段によって、デジタル映像信号を、ノイズレベル検出手段におけるフレーム処理時間分遅延させる。

また、ノイズ低減装置は、メディアンフィルタ群によって、メディアンフィルタのそれぞれが出力する中央値（メディアン値）を候補値として複数出力する。そして、ノイズ低減装置は、フィルタによって、メディアンフィルタ群が出力した複数の候補値における中央値又は平均値である基準値を算出する。これによって、ノイズ低減装置は、様々な位置の対象画素における候補値から基準値を求めるため、ノイズ低減処理の基準となる基準値を、パルス性ノイズ及び画面全体に広がったノイズを含むデジタル映像信号に対しても、ノイズ低減処理に適切な値にできる。

また、ノイズ低減装置は、第２遅延手段によって、少なくともメディアンフィルタ群における画素選択時間分について、第１遅延手段で遅延させたデジタル映像信号をさらに遅延させる。また、比較手段によって、第２遅延手段で遅延させたデジタル映像信号の画素ごとに、順次、当該画素値と、フィルタが出力した基準値とで信号レベルの大きさを比較する。また、ノイズ低減装置は、選択加減算手段によって、比較手段において、デジタル映像信号の画素値が基準値よりも大きいと判定された場合に、当該画素値からレベル値を減算した信号を出力信号とし、当該画素値が基準値よりも小さいと判定された場合に、当該画素値にレベル値を加算した信号を出力信号とし、当該画素値が基準値と等しいと判定された場合に、当該画素値を出力信号として出力する。これによって、ノイズ低減装置は、パルス性ノイズ及び画面全体に広がったノイズを含むデジタル映像信号のノイズを低減できる。
さらに、ノイズ低減装置のノイズレベル検出手段は、ブロック分割手段によって、デジタル映像信号を画面ごとに予め定めた大きさのブロックに分割する。この画面を分割したブロックには、画面内において、少なくとも画素値の変化が少ない平坦な部分が含まれている。また、ノイズレベル検出手段は、直交変換手段によって、ブロック分割手段で分割されたブロックを、ブロックごとに直交変換する。これによって、ブロックの画素値が周波数成分の係数に変換されることになる。
さらに、ノイズレベル検出手段は、高周波成分検出手段によって、直交変換手段で変換されたブロックの直流成分と予め定めた当該直流成分近傍とを除く高周波成分の係数を当該ブロック内で平均化し、当該ブロックの高周波成分のレベルとして検出する。
さらに、ノイズレベル検出手段は、高周波成分累計手段によって、高周波成分検出手段で検出された高周波成分のレベルに対応するブロック数を当該レベルごとに累計する。なお、画素値の変化が少ない平坦な部分からなるブロックの高周波成分は、ノイズがなければ、ほとんど“０”となるため、平坦なブロックの高周波成分は、ノイズとみなすことができる。
さらに、ノイズレベル検出手段は、ノイズレベル判定手段によって、高周波成分累計手段で累計された高周波成分のレベルの低レベル値から所定数分のブロック数に応じた平均値を、ノイズレベルと判定し出力する。なお、この低レベル値は、高周波成分のレベルの最小値としてもよいし、最小値から予め定めたレベル分大きな値を用いても構わない。これによって、平坦なブロックの高周波成分を精度よく検出することができ、ノイズレベルを判定することができる。

また、前記した課題を解決するため、請求項２に係るノイズ低減装置は、デジタル映像信号に重畳されたノイズを低減するノイズ低減装置であって、映像信号入力手段と、ノイズレベル検出手段と、第１遅延手段と、第１遅延手段で遅延させたデジタル映像信号を構成するフレームに予め設定された対象画素における画素値の中央値を選択するメディアンフィルタを複数備えるメディアンフィルタ群と、フィルタと、第２遅延手段と、比較手段と、選択加減算手段とを備え、ノイズレベル検出手段が、ライン抽出手段と、ライン間ノイズレベル検出手段と、レベル累計手段と、ノイズレベル判定手段と、を備える構成とした。

かかる構成によれば、ノイズ低減装置は、映像信号入力手段によって、外部からデジタル映像信号を入力する。また、ノイズ低減装置は、ノイズレベル検出手段によって、デジタル映像信号に重畳されているフレームごとのノイズレベルの大きさをレベル値として検出する。また、ノイズ低減装置は、第１遅延手段によって、デジタル映像信号をノイズレベル検出手段におけるフレーム処理時間分遅延させる。

また、ノイズ低減装置は、メディアンフィルタ群によって、メディアンフィルタのそれぞれが出力する中央値（メディアン値）を候補値として複数出力する。そして、ノイズ低減装置は、フィルタによって、メディアンフィルタ群が出力した複数の候補値における中央値又は平均値である基準値を算出する。これによって、ノイズ低減装置は、様々な位置の対象画素における候補値から基準値を求めるため、ノイズ低減処理の基準となる基準値を、パルス性ノイズ及び画面全体に広がったノイズを含むデジタル映像信号に対しても、ノイズ低減処理に適切な値にできる。

また、ノイズ低減装置は、第２遅延手段によって、少なくともメディアンフィルタにおける画素選択時間分について、第１遅延手段で遅延させたデジタル映像信号を遅延させる。また、ノイズ低減装置は、比較手段によって、第２遅延手段により遅延させたデジタル映像信号の画素ごとに、順次、当該画素値と、フィルタが出力した基準値とで信号レベルの大きさを比較する。また、ノイズ低減装置は、選択加減算手段によって、比較手段において、デジタル映像信号の画素値が基準値よりも大きいと判定された場合に、当該画素値からレベル値を減算した信号を出力信号とし、当該画素値が基準値よりも小さいと判定された場合に、当該画素値にレベル値を加算した信号を出力信号とし、当該画素値が基準値と等しいと判定された場合に、当該画素値を出力信号として出力する。これによって、ノイズ低減装置は、パルス性ノイズ及び画面全体に広がったノイズを含むデジタル映像信号のノイズを低減できる。
さらに、ノイズ低減装置のノイズレベル検出手段は、ライン抽出手段によって、デジタル映像信号から画面を構成するラインである対象ラインと当該対象ラインに隣接する隣接ラインとを相関ライン群として順次抽出する。なお、この相関ライン群（対象ライン、隣接ライン）は、画面に対し水平方向のラインとしてもよいし、垂直方向のラインとしてもよい。
さらに、ノイズレベル検出手段は、ライン間ノイズレベル検出手段によって、ライン抽出手段で抽出された相関ライン群において、対象ラインと隣接ラインとの対応する画素の画素値の差分を平均化する。ここで、対応する画素とは、ラインを水平に選択した場合は、同一の水平位置の画素をいい、ラインを垂直に選択した場合は、同一の垂直位置の画素をいう。
なお、隣接ラインの画素値の差分は、画像成分が小さくなり、無相関ノイズの成分が大きくなる。この場合、通常、無相関ノイズは、画像成分よりも２倍（３ｄＢ）程度高くなる。そこで、ライン間ノイズレベル検出手段は、対象ラインと隣接ラインとの画素値の差分の平均値を、対象ラインの相関ライン群におけるライン間ノイズレベルとして検出する。ここで、隣接ラインは、画面上において、対象ラインのいずれか一方（水平方向のラインの場合は上または下、垂直方向のラインの場合は右または左）の１ライン、あるいは、その両方であってもよい。
さらに、ノイズレベル検出手段は、レベル累計手段によって、ライン間ノイズレベル検出手段で検出されたライン間ノイズレベルに対応するライン数を当該ライン間ノイズレベルごとに累計する。このように累計されたライン間ノイズレベルのうち、当該レベルが小さいものほど、無相関ノイズによって発生したノイズであるとみなすことができる。
さらに、ノイズレベル検出手段は、ノイズレベル判定手段によって、レベル累計手段で累計されたライン間ノイズレベルの低レベル値から所定数分のライン数に応じた平均値を、ノイズレベルと判定し出力する。なお、この低レベル値は、ライン間ノイズレベルの最小値としてもよいし、最小値から予め定めたレベル分大きな値を用いても構わない。これによって、無相関ノイズの成分を精度よく検出することができ、ノイズレベルを判定することができる。

また、請求項３に係るノイズ低減装置は、請求項１又は請求項２に記載のノイズ低減装置において、前記メディアンフィルタ群は、前記メディアンフィルタのそれぞれが、連続する３以上の前記フレームにおいて、同一の画面位置の画素を前記対象画素として予め設定し、当該対象画素ごとに前記画素値の前記中央値を選択して前記候補値として出力することを特徴とする。

かかる構成によれば、ノイズ低減装置は、連続する３以上のフレームにおいて、同一の画面位置の対象画素の候補値から基準値を算出するため、フレーム（時間）ごとにノイズレベルが大きく変化する場合でも、ノイズ低減処理に適切な基準値を算出できる。

また、請求項４に係るノイズ低減装置は、請求項１又は請求項２に記載のノイズ低減装置において、前記メディアンフィルタ群は、前記メディアンフィルタのそれぞれが、当該フレームにおいて、垂直又は水平に位置する３以上の画素を前記対象画素として予め設定し、当該対象画素ごとに前記画素値の前記中央値を選択して前記候補値として出力することを特徴とする。

かかる構成によれば、ノイズ低減装置は、同一フレームで異なる位置の対象画素の候補値から基準値を算出するため、画面全体に広がったノイズのノイズ低減処理に適切な基準値を算出できる。

また、請求項５に係るノイズ低減装置は、請求項１から請求項４の何れか一項に記載のノイズ低減装置において、前記メディアンフィルタ群は、前記メディアンフィルタのそれぞれが、タップが非対象に配置された非対称メディアンフィルタであることを特徴とする。

かかる構成によれば、ノイズ低減装置は、非対称メディアンフィルタを用いると、複数のタップ型メディアンフィルタをカスケード接続した場合と同程度の正確さでノイズ低減処理を行うことができる。

また、前記した課題を解決するため、請求項６に記載のノイズ低減プログラムは、デジタル映像信号に重畳されたノイズを低減させるために、コンピュータを、請求項１から請求項５の何れか一項に記載のノイズ低減装置として機能させる構成とした。

本発明によれば、以下のような優れた効果を奏する。
請求項１，２に係る発明では、ノイズ低減処理の基準となる基準値を適切な値にできるため、パルス性ノイズ及び画面全体に広がったノイズを含むデジタル映像信号のノイズを低減でき、ノイズ低減処理の効果を高くすることができる。
また、請求項１，２に記載の発明によれば、ブランキング期間が存在しないデジタル映像信号であっても、デジタル映像信号に重畳されたノイズレベルを検出することができ、デジタル映像信号から精度よくノイズを除去することができる。

請求項３に係るノイズ低減装置は、フレーム（時間）ごとにノイズレベルが大きく変化する場合でも、ノイズ低減処理に適切な基準値を算出するため、ノイズ低減処理の効果をより高くすることができる。

請求項４に係るノイズ低減装置は、画面全体に広がったノイズのノイズ低減処理に適切な基準値を算出するため、画面全体に広がったノイズに対して、ノイズ低減処理の効果をより高くすることができる。

請求項５に係るノイズ低減装置は、１個の非対称メディアンフィルタによって、複数のタップ型メディアンフィルタをカスケード接続した場合と同程度の正確さでノイズ低減処理を行うことができ、ノイズ低減装置を簡易な構成としつつ、ノイズ低減処理の効果を高くすることができる。

以下、本発明の実施形態について、適宜図面を参照しながら詳細に説明する。なお、各実施形態において、同一の機能を有する手段及び同一の部材には同一の符号を付し、説明を省略した。

［第１実施形態：ノイズ低減装置の構成］
まず、図１を参照して、本発明の第１実施形態に係るノイズ低減装置の構成について説明する。図１は、本発明の第１実施形態に係るノイズ低減装置の構成を示すブロック構成図である。

このノイズ低減装置１は、ノイズが重畳されたデジタル映像信号（以下、単に映像信号という）から、ノイズを低減させるものである。ここでは、ノイズ低減装置１は、ノイズレベル検出装置２と、遅延装置３とを接続している。

ノイズレベル検出装置２は、映像信号に重畳されているノイズレベルを検出するものである。ここでは、ノイズレベル検出装置２は、デジタル映像信号に重畳されているノイズレベルをフレーム単位で検出するものとする。なお、このノイズレベル検出装置２については、後で詳細に説明を行うことにする。

遅延装置３は、ノイズレベル検出装置２における信号の遅延時間を補償するものである。ここでは、遅延装置３は、ノイズレベル検出装置２が、フレーム単位でノイズレベルを検出するため、当該フレームの処理時間分だけ映像信号をフレーム遅延させることとする。
このように、ノイズ低減装置１は、ノイズレベル検出装置２から、ノイズレベル（レベル値）を入力し、ノイズレベルが検出されたフレームごとに、遅延装置３から、映像信号を入力する。

以下、ノイズ低減装置１の詳細な構成について説明する。ここでは、ノイズ低減装置１は、フィルタ群１０と、遅延手段３０と、比較手段４０と、選択加減算手段５０と、を備えている。なお、ノイズ低減装置１は、ノイズレベル検出装置２から出力されるノイズレベル（レベル値）を、入力端子（ノイズレベル入力手段）Ｔ_ＩＮ２を介して入力することとし、遅延装置３から出力される映像信号を、入力端子（映像信号入力手段）Ｔ_ＩＮ１を介して入力することとする。また、ノイズ低減装置１は、ノイズが低減された映像信号を、出力端子（映像信号出力手段）Ｔ_ＯＵＴを介して外部に出力することとする。

フィルタ群１０は、図１に示すように、メディアンフィルタ群１１と、フィルタ１３とを含むものである。
メディアンフィルタ群１１は、入力端子（ノイズレベル入力手段）Ｔ_ＩＮ１に入力されたデジタル映像信号を構成するフレームに予め設定された対象画素における画素値の中央値を選択するメディアンフィルタ１１_１・・・１１ｎを複数備えるものである。そして、メディアンフィルタ群１１は、メディアンフィルタ１１_１・・・１１ｎのそれぞれが出力する中央値を候補値として複数出力する。ここで、図１に示すように、メディアンフィルタ群１１は、メディアンフィルタ１１_１，メディアンフィルタ１１_２・・・メディアンフィルタ１１ｎ（ｎは３以上の整数）というように、ｎ個のメディアンフィルタ１１を備える。
フィルタ１３は、メディアンフィルタ群１１が出力した複数の候補値における中央値又は平均値である基準値を算出する。つまり、フィルタ１３は、メディアンフィルタ群１１が出力した候補値の中央値を選択するメディアンフィルタ、又は、メディアンフィルタ群１１が出力した候補値の平均値を算出する平均値フィルタである。

以下、図２，図３を参照して、図１のメディアンフィルタの詳細を説明する（適宜図１参照）。図２は、図１のメディアンフィルタの詳細を説明する図であり、（ａ）は３タップメディアンフィルタの図であり、（ｂ）は５タップメディアンフィルタの図であり、（ｃ）は非対称メディアンフィルタの図である。また、図３は、図１のメディアンフィルタ群１１の詳細を説明する図であり、（ａ）はライン方向のメディアンフィルタの図であり、（ｂ）はフレーム間のメディアンフィルタの図である。

図２（ａ）に示すように、メディアンフィルタ１１_１として、３タップメディアンフィルタを用いてもよい。また、図２（ｂ）に示すように、メディアンフィルタ１１_１として、例えば、５タップメディアンフィルタを用いてもよい。さらに、図２（ｃ）に示すように、メディアンフィルタ１１_１として、例えば、タップが非対称に配置された非対称メディアンフィルタを用いてもよい。これによって、ノイズ低減装置１は、複数のタップ型メディアンフィルタをカスケードで接続したときに近いノイズ低減処理の効果を、１個の非対称メディアンフィルタによって得ることができる。

また、図３（ａ）に示すように、メディアンフィルタ１１は、ライン方向のメディアンフィルタとしてもよい。また、図３（ｂ）に示すように、メディアンフィルタ１１は、フレーム間のメディアンフィルタとしてもよい。以下、図４を参照して、本発明におけるフレーム間のメディアンフィルタの処理を説明する（適宜図１参照）。なお、メディアンフィルタ群１１の他のメディアンフィルタについても、図２及び図３と同様に構成してよいことは言うまでもない。

＜フレーム間のメディアンフィルタの処理＞
図４は、本発明におけるフレーム間のメディアンフィルタの処理を説明する図である。なお、図４の例では、メディアンフィルタ群１１は、メディアンフィルタ１１_１、メディアンフィルタ１１_２、メディアンフィルタ１１_３と、３個のメディアンフィルタ１１を備える。また、図４では、フレーム＃Ｎ−１、フレーム＃Ｎ、フレーム＃Ｎ＋１という３枚の連続したフレームを示した。そして、フレーム＃Ｎ−１、フレーム＃Ｎ、フレーム＃Ｎ＋１のそれぞれには、同一の画面位置に対象画素αが設定されている。

まず、図４に示すように、メディアンフィルタ１１_１は、フレーム＃Ｎ−１の対象画素αにおける画素値の中央値（メディアン値）を算出して、候補値として出力する。具体的には、メディアンフィルタ１１_１は、フレーム＃Ｎ−１の対象画素αの周囲に存在する画素（例えば、８画素）の画素値を取得し、これら画素値の中央値（例えば、１００）を選択する。なお、中央値を選択する画素は、８画素に限られない。

また、メディアンフィルタ１１_２は、メディアンフィルタ１１_１と同様に、フレーム＃Ｎの対象画素αにおける画素値の中央値（例えば、１０５）を選択して、候補値として出力する。さらに、メディアンフィルタ１１_３は、メディアンフィルタ１１_１と同様に、フレーム＃Ｎ＋１の対象画素αにおける画素値の中央値（例えば、１５０）を選択して、候補値として出力する。

フィルタ１３がメディアンフィルタである場合、フィルタ１３は、メディアンフィルタ１１_１、メディアンフィルタ１１_２及びメディアンフィルタ１１_３が出力した３個の候補値について、中央値（例えば、１００、１０５及び１５０の中央値１０５）を選択する。

また、フィルタ１３がメディアンフィルタである場合、フィルタ１３は、メディアンフィルタ１１_１、メディアンフィルタ１１_２及びメディアンフィルタ１１_３が出力した３個の候補値について、平均値（例えば、１００、１０５及び１５０の平均値１１８）を算出する。なお、４以上のフレームに対象画素をそれぞれ設定し、メディアンフィルタ群１１は、４以上の対象画素から候補値を出力してもよい。

＜ライン方向のメディアンフィルタの処理＞
以下、図５を参照して、本発明におけるライン方向のメディアンフィルタの処理を説明する。図５は、本発明におけるライン方向のメディアンフィルタの処理を説明する図である。図５の例では、メディアンフィルタ群１１は、メディアンフィルタ１１_１、メディアンフィルタ１１_２、メディアンフィルタ１１_３という３個のメディアンフィルタ１１を備える。また、図５では、フレーム＃Ｎという１枚の連続したフレームを示した。そして、画面（フレーム＃Ｎ）の垂直方向のライン上に、３個の対象画素αが予め設定されている。

まず、図５に示すように、メディアンフィルタ１１_１は、フレーム＃Ｎの対象画素α１における画素値の中央値を選択して、候補値として出力する。具体的には、メディアンフィルタ１１_１は、フレーム＃Ｎの対象画素α１の周囲に存在する画素（例えば、８画素）の画素値を取得し、これら画素値の中央値（例えば、１００）を選択する。

また、メディアンフィルタ１１_２は、メディアンフィルタ１１_１と同様に、フレーム＃Ｎの対象画素α２における画素値の中央値（例えば、１０５）を選択して、候補値として出力する。さらに、メディアンフィルタ１１_３は、メディアンフィルタ１１_１と同様に、フレーム＃Ｎの対象画素α３における画素値の中央値（例えば、１５０）を選択して、候補値として出力する。

フィルタ１３がメディアンフィルタである場合、フィルタ１３は、メディアンフィルタ１１_１、メディアンフィルタ１１_２及びメディアンフィルタ１１_３が出力した３個の候補値について、中央値（例えば、１００、１０５及び１５０の中央値１０５）を選択する。

また、フィルタ１３がメディアンフィルタである場合、フィルタ１３は、メディアンフィルタ１１_１、メディアンフィルタ１１_２及びメディアンフィルタ１１_３が出力した３個の候補値について、平均値（例えば、１００、１０５及び１５０の平均値１１８）を算出する。なお、図５では、垂直方向に対象画素α１〜α３を設定したが、画面（フレーム）の水平方向に対象画素α１〜α３を設定してもよい。さらに、対象画素を４以上設定し、メディアンフィルタ群１１は、４以上の対象画素から候補値を出力してもよい。

以下、図１に戻り、ノイズ低減装置の構成について、説明を続ける。遅延手段３０は、メディアンフィルタ群１１における信号の遅延時間と、フィルタ１３がメディアンフィルタである場合にはフィルタ１３における信号の遅延時間とを補償するものである。この遅延手段３０は、入力端子Ｔ_ＩＮ１から入力された映像信号を、予め定めたメディアンフィルタのタップ数に応じて、映像信号を画素遅延させることとする。この遅延手段３０で遅延された映像信号は、比較手段４０および選択加減算手段５０に出力される。なお、遅延手段３０から出力される画素値の大きさ（信号レベル）を図１中ではＥ_１で表している。

比較手段４０は、遅延手段３０で遅延された映像信号の画素ごとに、順次、当該画素値と、フィルタ１３が出力する基準値とで信号レベル（画素値）の大きさを比較するものである。ここでは、比較手段４０は、減算手段４１を備え、フィルタ１３から出力される信号レベル（基準値）Ｅ_２と、遅延手段３０から入力される信号レベル（画素値）Ｅ_３との減算処理を行い、その大小関係を示す符号（“＋”、“−”、“０”）を識別信号として選択加減算手段５０に出力する。

選択加減算手段５０は、比較手段４０の比較結果（識別信号）に基づいて、遅延手段３０からの入力された映像信号の画素ごとの信号レベル（画素値）Ｅ_１に対し、入力端子Ｔ_ＩＮ２から入力されたノイズレベル検出装置２が検出したノイズレベルのレベル値（画素値）Ｅ_３を加減算するものである。ここでは、選択加減算手段５０は、加算手段５１と、減算手段５２と、選択手段５３とを備えている。

加算手段５１は、遅延手段３０から入力された映像信号の信号レベルＥ_１にノイズレベルのレベル値Ｅ_３を加算（Ｅ_１＋Ｅ_３）するものである。また、減算手段５２は、信号レベルＥ_１からレベル値Ｅ_３を減算（Ｅ_１−Ｅ_３）するものである。

選択手段５３は、識別信号（“＋”、“−”、“０”）により、Ｅ_１の信号レベルがＥ_２の信号レベルよりも小さい場合（Ｅ_１＜Ｅ_２）には、加算手段５１の加算信号（Ｅ_１＋Ｅ_３）を、逆に、大きい場合（Ｅ_１＞Ｅ_２）には、減算手段５２の減算信号（Ｅ_１−Ｅ_３）を、また、等しい場合（Ｅ_１＝Ｅ_２）には、信号Ｅ_１を選択する。この選択加減算手段５０で選択された信号（画素値）は、出力端子Ｔ_ＯＵＴを介して、外部にノイズ低減映像信号として出力される。

以上説明したように、ノイズ低減装置１は、フィルタ群１０以降の処理により、パルス性ノイズ及び画面全体に広がったノイズを含むデジタル映像信号のノイズを低減でき、ノイズ低減処理の効果を高くすることができる。
なお、ノイズ低減装置１は、一般的なコンピュータを、前記した各手段として機能させるノイズ低減プログラムによって動作させることができる。

［第１実施形態：ノイズ低減装置の動作］
次に、図６を参照（構成については適宜図１参照）して、本発明の第１実施形態に係るノイズ低減装置の動作について説明する。図６は、本発明の第１実施形態に係るノイズ低減装置の動作を示すフローチャートである。
まず、ノイズ低減装置１は、入力端子Ｔ_ＩＮ２を介して、ノイズレベル検出装置２が検出したノイズレベル（レベル値）を入力するとともに、入力端子Ｔ_ＩＮ１を介して、ノイズレベル検出装置２のノイズレベルの検出タイミングに同期した映像信号を、遅延装置３から入力する（ステップＳ１）。

その後、ノイズ低減装置１は、メディアンフィルタ群１１によって、映像信号入力手段に入力されたデジタル映像信号を構成するフレームにおける予め設定された対象画素ごとに画素値の中央値を選択して候補値として出力する（ステップＳ２）。そして、ノイズ低減装置１は、フィルタ１３によって、メディアンフィルタ群１１が出力した候補値の中央値又は平均値である基準値を算出する（ステップＳ３）。

その後、ノイズ低減装置１は、比較手段４０によって、ステップＳ３で出力した基準値Ｅ_２と、ステップＳ１で入力され、フィルタ群１０の処理時間分、遅延手段３０で遅延された映像信号の信号レベルＥ_１との大きさを比較する（ステップＳ４）。より具体的には、ノイズ低減装置１は、減算手段４１によって、信号レベルＥ_１およびＥ_２の減算結果による符号（識別信号）をその比較結果とする。

そして、その比較結果が（Ｅ_１＞Ｅ_２）の場合、ノイズ低減装置１は、選択加減算手段５０によって、減算手段５２による減算結果（Ｅ_１−Ｅ_３）を選択し、出力する（ステップＳ５）。また、比較結果が（Ｅ_１＝Ｅ_２）の場合、ノイズ低減装置１は、選択加減算手段５０によって、Ｅ_１を選択し、そのまま出力する（ステップＳ６）。さらに、比較結果が（Ｅ_１＜Ｅ_２）の場合、ノイズ低減装置１は、選択加減算手段５０によって、加算手段５１による加算結果（Ｅ_１＋Ｅ_３）を選択し、出力する（ステップＳ７）。

そして、ノイズ低減装置１は、１フレーム分の映像信号（１フレームの画素数分）のノイズ低減を行っていない場合（ステップＳ８でＮｏ）、ステップＳ２に戻って、順次画素ごとにノイズ低減を行う。一方、ノイズ低減装置１は、１フレーム分の映像信号のノイズ低減を行った場合（ステップＳ８でＹｅｓ）、さらに次フレームの映像信号が入力された場合（ステップＳ９でＹｅｓ）には、ステップＳ１に戻って、次フレームについてノイズ低減動作を続け、映像信号の入力が終了した場合（ステップＳ９でＮｏ）には、動作を終了する。

以上、第１実施形態におけるノイズ低減装置１について説明したが、本発明は、この実施形態に限定されるものではない。なお、第１実施形態においては、ノイズレベル検出装置２と遅延装置３とを、ノイズ低減装置１の外部に備える構成としたが、ノイズレベル検出装置２の代わりに、マニュアル操作によってレベル値を調整可能な入力装置（図示せず）を介して、レベル値を入力することとしてもよい。この場合、遅延装置３は不要となる。

また、ノイズレベル検出装置２と遅延装置３とを、ノイズ低減装置１の内部に備える構成としてもよい。以下、本構成について、第２実施形態として説明する。

［第２実施形態：ノイズ低減装置］
図７を参照して、本発明の第２実施形態に係るノイズ低減装置の構成について説明する。図７は、本発明の第２実施形態に係るノイズ低減装置の構成を示すブロック構成図である。ここでは、ノイズ低減装置１Ｃは、ノイズレベル検出手段２と、フィルタ群１０と、第１遅延手段３０Ａと、第２遅延手段３０Ｂと、比較手段４０と、選択加減算手段５０と、を備えている。

ノイズレベル検出手段２は、図１で説明したノイズレベル検出装置２に相当するものである。この場合、ノイズレベル検出手段２は、入力端子（映像信号入力手段）Ｔ_ＩＮ１を介して、映像信号を入力し、ノイズレベルを検出した後、そのノイズレベル（レベル値）を選択加減算手段５０に出力する。

第１遅延手段３０Ａは、図１で説明した遅延装置３に相当するものである。この場合、第１遅延手段３０Ａは、入力端子（映像信号入力手段）Ｔ_ＩＮ１を介して、映像信号を入力し、ノイズレベル検出手段２がノイズレベルを検出するフレーム単位の処理時間分だけ映像信号をフレーム遅延させる。この遅延された映像信号は、フィルタ群１０と、第２遅延手段３０Ｂとに出力される。

第２遅延手段３０Ｂは、図１で説明した遅延手段３０と同一のものである。また、それ以外の構成については、図１で説明したノイズ低減装置１と同一の構成であるため、同一の符号を付して説明を省略する。
また、ノイズ低減装置１Ｃの動作は、基本的に図５で説明したノイズ低減装置１（図１）の動作と同一であるため説明を省略する。

これによって、ノイズ低減装置１Ｃは、１入力１出力の構成で映像信号からノイズを軽減した映像信号を生成することができる。

［ノイズレベル検出装置（手段）の構成］
次に、図１、図７で説明したノイズレベル検出装置２、ノイズレベル検出手段２（以下、ノイズレベル検出装置２として説明する）の構成について、詳細に説明を行う。
このノイズレベル検出装置２は、ノイズが重畳された映像信号から、ノイズのレベルを検出するものである。ここでは、ノイズレベル検出装置（手段）２の例として、２つの構成を例として説明する。

第１の例は、ノイズレベル検出装置２が、映像を構成するフレーム（画面）内において、所定のブロックごとに、少なくとも画素値の変化が少ない平坦な部分を探索し、その部分に重畳されている信号成分をノイズのレベルとして検出するものである。
第２の例は、ノイズレベル検出装置２が、映像を構成するフレーム（画面）内のラインの相関によって、映像信号内に重畳されているノイズレベルを検出するものである。

（第１の例：ノイズレベル検出装置〔ブロック型ノイズレベル検出〕の構成）
まず、図８を参照して、第１の例に係るノイズレベル検出装置２の構成について説明する。図８は、第１の例に係るノイズレベル検出装置の構成を示すブロック構成図である。
通常、映像の画面（画像）には、画素値の変化が少ない平坦な部分、例えば、空のような無限遠の領域や、カメラのピントが合っていない領域等が存在する。これらの領域は、画像の周波数成分において、高周波成分の少ない領域である。一方、ノイズは、粒子が細かい高周波成分である。すなわち、画面内において、高周波成分の少ない領域における高周波成分は、ノイズによって重畳されたものとみなすことができる。

そこで、ノイズレベル検出装置２は、画面内において、高周波成分の少ない領域における高周波成分から、ノイズレベルを検出する。
ここでは、ノイズレベル検出装置２は、ブロック化手段２１と、直交変換手段２２と、高周波成分検出手段２３と、高周波成分累計手段２４と、ノイズレベル判定手段２５と、を備えている。

ブロック化手段２１は、映像信号を所定の大きさのブロックごとのデータに変換するものである。このブロック化手段２１は、外部から映像信号を入力し、分割したブロックを直交変換手段２２に出力する。ここでは、ブロック化手段２１は、ブロック分割手段２１ａと、ブロック選択手段２１ｂと、を備えている。

ブロック分割手段２１ａは、画面ごと、すなわち、画面を構成するフィールドまたはフレームごとに、映像信号を予め定めた大きさのブロックに分割するものである。このブロックの大きさは、特に限定するものではないが、例えば、４×４画素〜１２８×１２８画素程度の大きさに分割する。

ブロック選択手段２１ｂは、ブロック分割手段２１ａで分割されたブロックを、画面内において画面全体に対して予め定めた割合以上となるように部分的に選択するものである。このブロック選択手段２１ｂで選択されたブロックは、直交変換手段２２に出力される。例えば、ブロック選択手段２１ｂは、図９（ａ）に示すように、画面Ｄ内において、ブロックＢごとに隙間を設け、画面全体の５０％以上（より好ましくは７０％以上）の領域をカバーするように複数のブロックＢ，Ｂ，…を選択する。これによって、画面内において、画素値の変化が少ない平坦な部分の候補となる領域を含んだブロックが選択されることになる。

なお、ここでは、ブロック選択手段２１ｂが、画面内から予め定めた割合以上となるように部分的にブロックを選択することとしたが、図９（ｂ）に示すように、画面Ｄ全体のブロックを選択することとしてもよい。この場合、ブロック選択手段２１ｂを構成から省き、ブロック分割手段２１ａで分割されたブロックのすべてが、直交変換手段２２に出力されることになる。

直交変換手段２２は、ブロック化手段２１から出力されるブロックを、ブロックごとに直交変換するものである。この直交変換手段２２は、各ブロックを直交変換することで、ブロックを周波数成分に変換する。この周波数成分は、高周波成分検出手段２３に出力される。例えば、直交変換手段２２は、直交変換の一種である離散コサイン変換（ＤＣＴ：Discrete Cosine Transform）により、ブロックを周波数成分に変換する。これによって、図１０に示すように、例えば、４×４画素のブロックＢの画素値（ｐ_１１〜ｐ_１４，ｐ_２１〜ｐ_２４，ｐ_３１〜ｐ_３４，ｐ_４１〜ｐ_４４）は、画素数と同数の周波数成分の大きさを示す値（ＤＣＴ係数；ｘ_１１〜ｘ_１４，ｘ_２１〜ｘ_２４，ｘ_３１〜ｘ_３４，ｘ_４１〜ｘ_４４）に変換される。このＤＣＴ係数は、図中、左上の係数ｘ_１１が直流成分を表し、右下、左下方向に向かって周波数が高くなっていく。

なお、この直交変換は、ブロックの離散信号を周波数領域に変換するものであれば、ＤＣＴ変換以外の変換を用いてもよい。例えば、離散サイン変換（ＤＳＴ：Discrete Sine Transform）、高速フーリエ変換（ＦＦＴ：Fast Fourier Transform）、アダマール変換等を用いることができる。このように、ブロックの離散信号を周波数領域に変換することで、各ブロックがどの周波数成分を有しているのかを解析することが可能になる。

高周波成分検出手段２３は、直交変換手段２２で変換されたブロックの直流成分と予め定めた当該直流成分近傍とを除く高周波成分の係数を当該ブロック内で平均化し、当該ブロックの高周波成分のレベルとして検出するものである。

なお、直交変換された周波数成分において、直流成分を含む低周波成分は、画像信号の周波数成分を多く含む成分である。そこで、ここでは、高周波成分検出手段２３は、その低周波数成分の係数を“０”とし、他の領域の高周波数成分の係数をブロック内で平均化することで、当該ブロックの高周波成分のレベルとみなすこととする。なお、この平均化は、各高周波成分の係数の二乗平均和の平方根、絶対値平均等により算出することができる。

ここで、図１１を参照（適宜図８参照）して、高周波成分検出手段２３が、ブロックの周波数成分から高周波成分のレベルを検出する手法について説明する。図１１は、ブロックの周波数成分から高周波成分のレベルを検出する手法を説明するための模式的な説明図である。図１１（ａ）は、直交変換手段２２によって求められたあるブロックの周波数係数（図１０（ｂ）相当）を示し、図１１（ｂ）は、その周波数成分から高周波成分のみを抽出した状態を示している。なお、ここでは、説明を簡略化するため、ブロックの大きさを４×４画素の大きさとする。

図１１（ａ）に示すように、直交変換手段２２によって、あるブロックを直交変換し、ブロックの画素数と同数（ここでは、４×４個）の係数が求められているとする。
このとき、高周波成分検出手段２３は、直流成分および直流成分の近傍の係数として、直流成分と直流成分を含んだ水平周波数成分および垂直周波数成分との係数を“０”とみなし（図１１（ｂ）参照）、他の係数を高周波成分の係数として抽出する。すなわち、係数ｘ_１１，ｘ_１２，ｘ_１３，ｘ_１４，ｘ_２１，ｘ_３１，ｘ_４１を“０”とみなし、他の係数ｘ_２２，ｘ_２３，ｘ_２４，ｘ_３２，ｘ_３３，ｘ_３４，ｘ_４２，ｘ_４３，ｘ_４４を高周波成分の係数として抽出する。

そして、高周波成分検出手段２３は、高周波成分の係数として抽出した各係数を、ブロック内で平均化することで、当該ブロックの高周波成分のレベルとする。ここで、二乗平均和の平方根により平均化を行う場合、高周波成分検出手段２３は、以下の（１）式により、高周波成分のレベルＬを算出する。

あるいは、絶対値平均により平均化を行う場合、高周波成分検出手段２３は、以下の（２）式により、高周波成分のレベルＬを算出する。

前記した（１）式、（２）式において、係数１６／９は、正規化係数であって、９個の高周波成分の係数を、ブロック全体の１６個分の係数に正規化するための係数である。このように正規化することで、ブロック全体に対する高周波成分のレベルを求めることができる。

なお、ここでは、直流成分および直流成分近傍の係数として、直流成分を含んだ水平および垂直周波数成分を“０”とみなして、ブロックの高周波成分のレベルを算出したが、“０”とみなす係数は、直流成分を含んでいれば種々のパターンを用いることができる。例えば、高周波成分検出手段２３は、図１２（ａ）のパターンＡに示すように、最小垂直周波成分かつ最大水平周波数成分の係数の位置と、最大垂直周波数成分かつ最小水平周波数成分の係数の位置とを対角線として２つの領域Ｒ_１，Ｒ_２にブロックを区分し、直流成分を含んだ領域Ｒ_１の係数を“０”とみなし、他方の領域Ｒ_２の係数により、高周波成分のレベルを算出する。

また、例えば、図１２（ｂ）に示すように、図１２（ａ）で示した対角線を、高周波成分をより多く含むように曲線化して２つの領域Ｒ_１，Ｒ_２に区分してもよい。これによって、画像内における高周波成分をより多く抽出することができる。また、例えば、図１２（ｃ）に示すように、直流成分を含んだ水平周波数成分と垂直周波数分を除く高周波成分側の領域に対し、直流成分側の係数を一部含んだ領域Ｒ_１と、それ以外の領域Ｒ_２とにブロックを区分してもよい。これによって、画像内における高周波成分のうちで、直流成分に近い成分を除去して高周波成分を抽出することができる。
図８に戻って、ノイズレベル検出装置の構成について説明を続ける。

高周波成分累計手段２４は、高周波成分検出手段２３で検出された高周波成分のレベルに対応するブロック数を当該レベルごとに累計するものである。なお、高周波成分累計手段２４は、画面を構成するフィールドまたはフレーム単位で、高周波成分のレベルに対応するブロック数を当該レベルごとに累計（ヒストグラム化）する（図１３参照）。これによって、画面内において、どの高周波成分のレベルがどれだけ分布しているのかが解析されることになる。この高周波成分累計手段２４で累計されたレベルごとの累計値は、ノイズレベル判定手段２５に出力される。

ノイズレベル判定手段２５は、高周波成分累計手段２４で累計された高周波成分のレベルの低レベル値または当該低レベル値から所定数分のブロック数に応じた平均値を、ノイズレベルと判定するものである。なお、図１１で説明したように、高周波成分検出手段２３が高周波成分として検出する係数（例えば、図１１（ｂ）の係数ｘ_２２，ｘ_２３，ｘ_２４，ｘ_３２，ｘ_３３，ｘ_３４，ｘ_４２，ｘ_４３，ｘ_４４）は、画面の画素値の変化が少ない平坦な部分であれば、その値は、ほぼ“０”となるため、当該平坦な部分にノイズが重畳されていれば、その高周波数成分は、ノイズであるといえる。そこで、ノイズレベル判定手段２５は、高周波成分累計手段２４が累計した高周波成分を有するブロックの累計において、高周波成分のレベルの低レベル値または当該低レベル値から所定数分（例えば、２〜５個）のブロック数に応じた平均値（加重平均値）を、ノイズレベルと判定する。

ここでは、高周波成分のレベルの低レベル値として、高周波成分累計手段２４で累計された高周波成分のレベルの最小値を用いることとする。なお、画面の明るさによって、ＣＣＤ等で撮像した画像のノイズレベルが異なる場合があり、高周波成分のレベルの最小値を用いた場合では、ノイズレベルを低いレベルで判定してしまう場合もある。そこで、この低レベル値は、必ずしも最小値に限定する必要はなく、最小値から、予め定めた範囲で最小値よりも大きい値を用いてもよい。

ここで、図１３を参照（適宜図８参照）して、ノイズレベル判定手段２５のノイズレベル判定手法について説明する。図１３は、高周波成分のレベルごとのブロックの累計値（度数）をヒストグラムとして表したグラフである。なお、このグラフは、ブロックの累計値を視覚的に説明するための図であって、高周波成分累計手段２４が、当該グラフを生成することを意味しているものではない。

通常、高周波成分は、映像の高周波成分とノイズを同時に含んでいる。このとき、図１３のグラフにおいて、高周波成分の大きいグラフ中央から右のヒストグラムは、映像（ノイズを含む）の高周波成分と考えられる。一方、グラフ左側端の数本のヒストグラムは、映像の高周波成分を含まない、ほぼノイズのみの成分であると考えられる。
そこで、ノイズレベル判定手段２５は、グラフ左側端の数本のヒストグラムに対応する累計値から平均値を算出し、ノイズレベルとして決定する。

例えば、図１３に示したように、３本のヒストグラムからノイズレベルを決定する場合、ノイズレベル判定手段２５は、高周波成分のレベルの低いＬ_１,Ｌ_２,Ｌ_３を選択し、それぞれの度数Ｃ_１，Ｃ_２，Ｃ_３により、以下の（３）式により平均値（加重平均値）を求め、ノイズレベルＮ_Ｌとする。

なお、ここでは、ノイズレベル判定手段２５は、複数の高周波成分のレベルの加重平均によりノイズレベルを求めたが、度数を考慮せず、高周波成分のレベルの相加平均によりノイズレベルを求めてもよい。また、ノイズレベル判定手段２５は、単に最小の高周波成分のレベル（図１３の場合、Ｌ_１）をノイズレベルとすることとしてもよい。

そして、ノイズレベル判定手段２５は、判定したノイズレベル（レベル値）をノイズ低減装置１（図１）に出力する。なお、ノイズレベル検出装置２が、ノイズ低減装置１に組み込まれている場合は、ノイズレベル判定手段２５は、判定したノイズレベル（レベル値）をノイズ低減装置１Ｃ（図７）の選択加減算手段５０に出力する。

なお、ここでは、ノイズレベル検出装置２が、映像信号のノイズレベルを、画面単位（空間方向）で検出する例で説明したが、図１４に示すように、複数の画面（複数のフィールドまたはフレーム）ごと（空間＋時間方向）で検出することとしてもよい。すなわち、ノイズレベル検出装置２は、高周波成分累計手段２４において、予め定めた時間分（複数フィールド、複数フレームに相当する時間）だけ高周波成分のレベルに対応するブロックを累計し、ノイズレベル判定手段２５によって、その累計結果によりノイズレベルを判定することとしてもよい。

また、ここでは、ノイズレベル検出装置２が、ノイズレベル判定手段２５によって、高周波成分累計手段２４で累計された高周波成分のレベルごとのブロックのヒストグラムにおいて、レベルの低レベル値または当該低レベル値から所定数分のブロック数に応じた平均値（加重平均等）を、ノイズレベルと判定することとした。しかし、ノイズレベル判定手段２５は、ブロック数に関係なく、単に、高周波成分検出手段２３で検出された高周波成分のレベルのうち、低レベル値（最小値）または当該低レベル値から所定数分のレベル値の平均値をノイズレベルと判定することとしてもよい。この場合、ノイズレベル検出装置２は、構成から高周波成分累計手段２４を省いて構成することができる。

（第１の例：ノイズレベル検出装置の動作）
次に、図１５を参照（構成については適宜図８参照）して、第１の例に係るノイズレベル検出装置２の動作について説明する。図１５は、第１の例に係るノイズレベル検出装置の動作を示すフローチャートである。

まず、ノイズレベル検出装置２は、ブロック化手段２１のブロック分割手段２１ａによって、映像信号を予め定めた大きさ（例えば、４×４画素〜１２８×１２８画素）のブロックに分割する（ステップＳ１１）。
さらに、ノイズレベル検出装置２は、ブロック化手段２１のブロック選択手段２１ｂによって、ステップＳ１１で分割されたブロックを、画面内において画面全体に対して予め定めた割合（例えば、７０％）以上となるように部分的に選択する（ステップＳ１２）。このように選択されたブロックには、画面内で画素値の変化が少ない平坦な部分を含んだブロックが含まれている。

そして、ノイズレベル検出装置２は、直交変換手段２２によって、ステップＳ１２で選択されたブロックごとに、直交変換により各ブロックを周波数成分に変換する（ステップＳ１３）。その後、ノイズレベル検出装置２は、高周波成分検出手段２３によって、ステップＳ１３で求められた周波数成分において、直流成分と予め定めた当該直流成分近傍とを除く高周波成分の係数を当該ブロック内で平均化し、当該ブロックの高周波成分のレベルとして検出する（ステップＳ１４）。これによって、ノイズレベル検出装置２は、ノイズが重畳された映像の高周波成分のレベルと、ノイズのみで発生している高周波成分のレベルとを混在して検出する。

そして、ノイズレベル検出装置２は、高周波成分累計手段２４によって、ステップＳ１４で検出された高周波成分のレベルに対応するブロック数を当該レベルごとに画面単位で累計する（ステップＳ１５）。これによって、ノイズレベル検出装置２は、各ブロックの高周波成分のレベルの分布を解析することができる。このとき、高周波成分のレベルが低いブロックは、ほぼノイズのみによって高周波成分が発生しているものといえる。

そこで、ノイズレベル検出装置２は、ノイズレベル判定手段２５によって、ステップＳ１５で累計された高周波成分のレベルの最小値（低レベル値）または最小値から所定数分（例えば、２〜５個）のブロック数に応じた平均値を、画面内のノイズレベルと判定する（ステップＳ１６）。
これによって、ノイズレベル検出装置２は、映像信号に重畳されたノイズレベルを映像そのものから検出することができる。

（第２の例：ノイズレベル検出装置〔ライン相関ノイズ検出〕の構成）
次に、図１６を参照して、第２の例に係るノイズレベル検出装置２の構成について説明する。図１６は、第２の例に係るノイズレベル検出装置の構成を示すブロック構成図である。
通常、映像の画面（画像）において、隣接するラインの画素値の差分は、画像成分が小さくなり、無相関ノイズの成分が大きくなる。よって、画素値の差分がより小さいものほど、その差分は、無相関ノイズによって発生したノイズであるとみなすことができる。

そこで、ノイズレベル検出装置２は、画面内において、隣接するラインの画素値の差分から、ノイズレベルを検出する。ここでは、ノイズレベル検出装置２は、ライン抽出手段２６と、ライン間ノイズレベル検出手段２７と、レベル累計手段２８と、ノイズレベル判定手段２９と、を備えている。

ライン抽出手段２６は、走査線に沿って、映像信号から画面を構成するラインである対象ラインと当該対象ラインに隣接する隣接ラインとを相関ライン群（より具体的には、相関ライン群ごとの画素）として抽出するものである。なお、ここでは、ライン抽出手段２６は、画面内において画面全体に対して予め定めた割合以上となるように部分的にラインを抽出することとする。このライン抽出手段２６で抽出されたラインの各画素の画素値は、ライン間ノイズレベル検出手段２７に出力される。

ここで、図１７を参照（適宜図１６参照）して、ライン抽出手段２６が抽出するライン（相関ライン群）について説明する。図１７は、ライン抽出手段における２ラインの相関ライン群の抽出手法を説明するための説明図である。
図１７（ａ）に示すように、ライン抽出手段２６は、画面Ｄ（２次元画像）の主走査単位で、Ｎ番目のライン（対象ライン）と、（Ｎ＋１）番目のライン（隣接ライン）の２つの隣接するラインを順次相関ライン群として抽出する。このとき、ライン抽出手段２６は、隣接する相関ライン群ごとに隙間を設け、画面Ｄ全体の５０％以上（より好ましくは７０％以上）の領域をカバーするように複数の相関ライン群を抽出する。これによって、ライン抽出手段２６は、画面Ｄ内において、少なくともライン間の画素値の変化が少ない相関ライン群を抽出することができる。

なお、図１７（ａ）では、ライン抽出手段２６は、ラインとして、画面の水平幅分のラインを抽出する例を示したが、図１７（ｂ）に示すように、画面の水平幅よりも短いラインの一部を部分的に抽出することとしてもよい。
さらに、ライン抽出手段２６は、図１７（ｃ）に示すように、時間方向に連続する画面（フレーム）において、同一の水平位置におけるラインである、時刻ｔにおける画面のＮ_ｔ番目のラインと、時刻（ｔ＋１）における画面のＮ_ｔ＋１番目のラインとを相関ライン群として抽出することとしてもよい。なお、この場合も、図１７（ｂ）と同様に、必ずしもラインは、画面の水平方向の幅分を用いる必要はなく、部分的に抽出することとしてもよい。

また、ここでは、走査線に沿った水平方向にラインを抽出した例を示したが、垂直方向にラインを抽出することとしてもよい。
また、ここでは、ライン抽出手段２６が、画面内から予め定めた割合以上となるように部分的に相関ライン群を抽出することとしたが、画面Ｄ全体の相関ライン群を抽出することとしてもよい。図１６に戻って、ノイズレベル検出装置２の構成について説明を続ける。

ライン間ノイズレベル検出手段２７は、ライン抽出手段２６で抽出されたラインにおいて、隣接する相関ライン群ごとに、それぞれ対応する画素（ここでは、同一水平位置における画素）の画素値の差分を平均化し、対象ラインの相関ライン群におけるライン間ノイズレベルとして検出するものである。なお、この平均化は、各相関ライン群における画素値の差分の二乗平均和の平方根、絶対値平均等により算出することができる。

ここで、図１８を参照（適宜図１６参照）して、ライン間ノイズレベル検出手段２７が、隣接するラインの画素値からライン間ノイズレベルを検出する手法について説明する。図１８は、隣接するラインの画素値からライン間ノイズレベルを検出する手法を説明するための模式的な説明図である。

図１８に示すように、ライン抽出手段２６によって、あるＮ番目のラインの画素と、それに隣接する（Ｎ＋１）番目のラインの画素が抽出されていることとする。また、各ラインは、水平方向にＭ画素存在することとする。ここで、Ｎ番目のラインの画素の画素値を、ｐ_Ｎ，１、ｐ_Ｎ，２、ｐ_Ｎ，３、…、ｐ_Ｎ，Ｍとし、（Ｎ＋１）番目のラインの画素の画素値を、ｐ_{Ｎ＋１，１}、ｐ_{Ｎ＋１，２}、ｐ_{Ｎ＋１，３}、…、ｐ_{Ｎ＋１，Ｍ}とする。

そして、ライン間ノイズレベル検出手段２７は、Ｎ番目のラインと（Ｎ＋１）番目のラインとで、同一水平位置における各画素の画素値の差分を平均化することで、当該相関ライン群におけるライン間ノイズレベルとする。ここで、二乗平均和の平方根により平均化を行う場合、ライン間ノイズレベル検出手段２７は、以下の（４）式により、ライン間ノイズレベルＬを算出する。

あるいは、絶対値平均により平均化を行う場合、ライン間ノイズレベル検出手段２７は、以下の（５）式により、ライン間ノイズレベルＬを算出する。

なお、ここでは、同一画面（フレーム）上でライン間ノイズレベルを検出する手法について説明したが、図１７（ｃ）に示したように、隣接するフレーム間でライン間ノイズレベルを検出してもよい。この場合、前記した（４）式、（５）式において、画素値ｐ_Ｎ，ｉ、ｐ_{Ｎ＋１，ｉ}が、それぞれ時刻ｔに応じた画素値ｐ_Ｎｔ，ｉ、ｐ_{Ｎｔ＋１，ｉ}となるだけで、同様にライン間ノイズレベルを算出することができる。
図１６に戻って、ノイズレベル検出装置の構成について説明を続ける。

レベル累計手段２８は、ライン間ノイズレベル検出手段２７で検出されたライン間ノイズレベルに対応するライン数を当該レベルごとに累計するものである。なお、レベル累計手段２８は、画面単位で、ライン間ノイズレベルに対応するライン数を当該レベルごとに累計（ヒストグラム化）する（図１９参照）。これによって、画面内において、どのライン間ノイズレベルがどれだけ分布しているのかが解析されることになる。このレベル累計手段２８で累計されたレベルごとの累計値は、ノイズレベル判定手段２９に出力される。

ノイズレベル判定手段２９は、レベル累計手段２８で累計されたライン間ノイズレベルの低レベル値または当該低レベル値から所定数分のライン数に応じた平均値を、ノイズレベルと判定するものである。なお、ライン間ノイズレベル検出手段２７が検出するライン間ノイズレベルは、隣接するライン間では画像成分が小さくなるため、その値が小さいほど、ノイズレベルに近似した値となる。そこで、ノイズレベル判定手段２９は、レベル累計手段２８が累計したライン間ノイズレベルごとのライン数の累計において、ライン間ノイズレベルの最小値または最小値から所定数分（例えば、２〜５個）のライン数に応じた平均値（加重平均値）を、ノイズレベルと判定する。

ここでは、ライン間ノイズレベルの低レベル値として、レベル累計手段２８で累計されたライン間ノイズレベルの最小値を用いることとする。なお、ライン間ノイズレベルは、画像によっては、偶然、ノイズに関係なく最小値が検出される場合があるため、この低レベル値は、必ずしも最小値に限定する必要はなく、最小値から、予め定めた範囲で最小値よりも大きい値を用いてもよい。

ここで、図１９を参照（適宜図１６参照）して、ノイズレベル判定手段２９のノイズレベル判定手法について説明する。図１９は、ライン間ノイズレベルごとのライン数の累計値（度数）をヒストグラムとして表したグラフである。なお、このグラフは、ライン数の累計値を視覚的に説明するための図であって、レベル累計手段２８が、当該グラフを生成することを意味しているものではない。

ライン間の画素値の差分は、画像成分の差分とノイズ成分とを同時に含んでいる。このとき、図１９のグラフにおいて、ライン間ノイズレベルの大きいグラフ中央から右のヒストグラムは、映像（ノイズを含む）の画像成分の差分が多く含まれていると考えられる。一方、グラフ左側端の数本のヒストグラムは、映像の画像成分の差分を含まない、ほぼノイズのみの成分であると考えられる。
そこで、ノイズレベル判定手段２９は、グラフ左側端の数本のヒストグラムに対応する累計値から平均値を算出し、ノイズレベルとして決定する。

例えば、図１９に示したように、３本のヒストグラムからノイズレベルを決定する場合、ノイズレベル判定手段２９は、ライン間ノイズレベルの低いＬ_１,Ｌ_２,Ｌ_３を選択し、それぞれの度数Ｃ_１，Ｃ_２，Ｃ_３により、以下の（６）式により平均値（加重平均値）を求め、ノイズレベルＮ_Ｌとする。

なお、ここでは、ノイズレベル判定手段２９は、複数のライン間ノイズレベルの加重平均によりノイズレベルを求めたが、度数を考慮せず、ライン間ノイズレベルの相加平均によりノイズレベルを求めてもよい。また、ノイズレベル判定手段２９は、単に最小のライン間ノイズレベル（図１９の場合、Ｌ_１）をノイズレベルとすることとしてもよい。

そして、ノイズレベル判定手段２９は、判定したノイズレベル（レベル値）をノイズ低減装置１（図１）に出力する。なお、ノイズレベル検出装置２が、ノイズ低減装置１に組み込まれている場合は、ノイズレベル判定手段２９は、判定したノイズレベル（レベル値）をノイズ低減装置１Ｃ（図７）の選択加減算手段５０に出力する。

なお、ここでは、ノイズレベル検出装置２が、ライン抽出手段２６によって、相関ライン群として、対象ラインと１つの隣接ラインの計２ラインを順次抽出し、ライン間ノイズレベル検出手段２７によって、２つのラインの画素値からライン間ノイズレベルを検出することとした。しかし、相関ライン群は２ラインに限定されるものではない。例えば、対象ラインと２つの隣接ラインの計３ラインでライン間ノイズレベルを検出することとしてもよい。

ここで、図２０を参照（適宜図１６参照）して、３つのラインでライン間ノイズレベルを検出する手法について説明する。図２０は、ライン抽出手段における３ラインの相関ライン群の抽出手法を説明するための説明図である。

図２０（ａ）に示すように、例えば、ライン抽出手段２６は、画面Ｄ（２次元画像）の主走査単位で、Ｎ番目のライン（対象ライン）と、（Ｎ−１）および（Ｎ＋１）番目のライン（隣接ライン）の３つの隣接するラインを順次相関ライン群として抽出する。このとき、ライン抽出手段２６は、隣接する相関ライン群ごとに隙間を設け、画面Ｄ全体の５０％以上（より好ましくは７０％以上）の領域をカバーするように複数の相関ライン群を抽出する。

また、図２０（ｂ）に示すように、画面の水平幅よりも短いラインの一部を部分的に３ライン抽出することとしてもよい。
さらに、ライン抽出手段２６は、図２０（ｃ）に示すように、時間方向に連続する画面（フレーム）において、同一の水平位置におけるラインである、時刻ｔにおける画面のＮ_ｔ番目のライン（対象ライン）と、時刻（ｔ−１）および（ｔ＋１）における画面のＮ_ｔ−１およびＮ_ｔ＋１番目の２ライン（隣接ライン）とを相関ライン群として抽出することとしてもよい。なお、この場合も、図１７（ｂ）と同様に、必ずしもラインは、画面の水平方向の幅分を用いる必要はなく、部分的に抽出することとしてもよい。

このように、ライン抽出手段２６が順次３ラインの相関ライン群を抽出した場合、ノイズレベル検出装置２は、ライン間ノイズレベル検出手段２７によって、相関ライン群の対応する画素ごとに対象ラインの一方に隣接するライン（第１隣接ライン）および他方に隣接するライン（第２隣接ライン）の画素値の和の１／２と、対象ラインの画素値との差分を求め、当該相関ライン群において差分を平均化した値をライン間ノイズレベルとする。

すなわち、ライン間ノイズレベル検出手段２７は、３ラインのそれぞれ対応する画素の画素値に（−１／２，１，−１／２）または（１／２，−１，１／２）を乗算し加算することで、対象ラインと隣接ラインとの差分を求める。そして、ライン間ノイズレベル検出手段２７は、この差分から、前記した（４）式または（５）式により、相関ライン群におけるライン間ノイズレベルを算出する。
このように、３ラインによって、ノイズレベルを検出することで、２ラインでノイズレベルを検出する場合に比べて、画像成分が分散され、より精度よくノイズレベルを検出することができる。

また、ここでは、ノイズレベル検出装置２が、ノイズレベル判定手段２９によって、レベル累計手段２８で累計されたライン間ノイズレベルごとのライン数のヒストグラムにおいて、レベルの低レベル値または当該低レベル値から所定数分のライン数に応じた平均値（加重平均等）を、ノイズレベルと判定することとした。しかし、ノイズレベル判定手段２９は、ライン数に関係なく、単に、ライン間ノイズレベル検出手段２７で検出されたライン間ノイズレベルのうち、低レベル値（最小値）または当該低レベル値から所定数分のレベル値の平均値をノイズレベルと判定することとしてもよい。この場合、ノイズレベル検出装置２は、構成からレベル累計手段２８を省いて構成することができる。

（第２の例：ノイズレベル検出装置の動作）
次に、図２１を参照（構成については適宜図１６参照）して、第２の例に係るノイズレベル検出装置２の動作について説明する。図２１は、第２の例に係るノイズレベル検出装置の動作を示すフローチャートである。

まず、ノイズレベル検出装置２は、ライン抽出手段２６によって、走査線に沿って、映像信号からライン（相関ライン群）を抽出する（ステップＳ２１）。なお、このライン抽出手段２６は、画面全体のラインを抽出することとしてもよいし、画面内において画面全体に対して予め定めた割合（例えば、７０％）以上となるように部分的にラインを選択することとしてもよい。

そして、ノイズレベル検出装置２は、ライン間ノイズレベル検出手段２７によって、ステップＳ２１で選択されたラインにおいて、隣接するライン（相関ライン群）ごとに、同一水平位置における画素値の差分を平均化し、相関ライン群におけるライン間ノイズレベルとして検出する（ステップＳ２２）。なお、このライン間ノイズレベルは、映像のライン間における画像成分の差分とノイズ成分とが混在したレベルとなっている。

そして、ノイズレベル検出装置２は、レベル累計手段２８によって、ステップＳ２２で検出されたライン間ノイズレベルに対応するライン数を当該レベルごとに画面単位で累計する（ステップＳ２３）。これによって、ノイズレベル検出装置２は、画面内におけるライン間ノイズレベルの分布を解析することができる。このとき、レベルが低いライン間ノイズレベルは、ほぼノイズのみの成分であるといえる。

そこで、ノイズレベル検出装置２は、ノイズレベル判定手段２９によって、ステップＳ２３で累計されたライン間ノイズレベルの最小値（低レベル値）または最小値から所定数分（例えば、２〜５個）のライン数に応じた平均値を、画面内のノイズレベルと判定する（ステップＳ２４）。
これによって、ノイズレベル検出装置２は、映像信号に重畳されたノイズレベルを映像そのものから検出することができる。

本発明の第１実施形態に係るノイズ低減装置の構成を示すブロック構成図である。 図１のメディアンフィルタの詳細を説明する図であり、（ａ）は３タップメディアンフィルタの図であり、（ｂ）は５タップメディアンフィルタの図であり、（ｃ）は非対称メディアンフィルタの図である。 図１のメディアンフィルタの詳細を説明する図であり、（ａ）はライン方向のメディアンフィルタの図であり、（ｂ）はフレーム間のメディアンフィルタの図である。 本発明におけるフレーム間のメディアンフィルタの処理を説明する図である。 本発明におけるライン方向のメディアンフィルタの処理を説明する図である。 本発明の第１実施形態に係るノイズ低減装置の動作を示すフローチャートである。 本発明の第２実施形態に係るノイズ低減装置の構成を示すブロック構成図である。 ノイズレベル検出装置（第１の例）の構成を示すブロック構成図である。 画面におけるブロックを選択する領域を示す模式図であって、（ａ）はブロック間の隙間を空けて選択した場合、（ｂ）は画面全体をブロックとして選択する場合を示す図である。 ブロックの画素値と直交変換による周波数成分との関係を示す図である。 ブロックの周波数成分から高周波成分のレベルを検出する手法を説明するための模式的な説明図である。 高周波成分のレベルを検出するために対象となる周波数成分の領域を説明するためのパターン例を示す図である。 高周波成分のレベルごとのブロックの累計値をヒストグラムとして表したグラフである。 ブロックを複数のフィールドまたはフレームにまたがって抽出する例を示す図である。 ノイズレベル検出装置（第１の例）の動作を示すフローチャートである。 ノイズレベル検出装置（第２の例）の構成を示すブロック構成図である。 ライン抽出手段における２ラインの相関ライン群の抽出手法を説明するための説明図である。 隣接するラインの画素値からライン間ノイズレベルを検出する手法を説明するための模式的な説明図である。 ライン間ノイズレベルごとのライン数の累計値をヒストグラムとして表したグラフである。 ライン抽出手段における３ラインの相関ライン群の抽出手法を説明するための説明図である。 ノイズレベル検出装置（第２の例）の動作を示すフローチャートである。

符号の説明

１ ノイズ低減装置
１Ｃ ノイズ低減装置
１０ フィルタ群
１１ メディアンフィルタ群
１１_１ メディアンフィルタ
１１_２ メディアンフィルタ
１１_ｎ メディアンフィルタ
３０ 遅延手段
３０Ａ 第１遅延手段
３０Ｂ 第２遅延手段
４０ 比較手段
５０ 選択加減算手段
２ ノイズレベル検出装置（ノイズレベル検出手段）
２１ ブロック化手段
２２ 直交変換手段
２３ 高周波成分検出手段
２４ 高周波成分累計手段
２５ ノイズレベル判定手段
２６ ライン抽出手段
２７ ライン間ノイズレベル検出手段
２８ レベル累計手段
２９ ノイズレベル判定手段
３ 遅延装置
Ｔ_ＩＮ１ 映像入力手段
Ｔ_ＩＮ２ ノイズレベル入力手段
Ｔ_ＯＵＴ 映像信号出力手段

Claims (6)

1. デジタル映像信号に重畳されたノイズを低減するノイズ低減装置であって、
   前記デジタル映像信号を入力する映像信号入力手段と、
   前記映像信号入力手段で入力されたデジタル映像信号に重畳されているノイズレベルの大きさを示すレベル値として検出するノイズレベル検出手段と、
   前記デジタル映像信号を、前記ノイズレベル検出手段におけるフレーム処理時間分遅延させる第１遅延手段と、
   前記第１遅延手段で遅延させたデジタル映像信号を構成するフレームに予め設定された対象画素における画素値の中央値を選択するメディアンフィルタを複数備え、当該メディアンフィルタのそれぞれが出力する中央値を候補値として複数出力するメディアンフィルタ群と、
   当該メディアンフィルタ群が出力した複数の候補値における中央値又は平均値である基準値を算出するフィルタと、
   少なくとも前記メディアンフィルタ群における画素選択時間分について、前記第１遅延手段で遅延させたデジタル映像信号をさらに遅延させる第２遅延手段と、
   前記第２遅延手段で遅延させたデジタル映像信号の画素ごとに、順次、当該画素値と、前記フィルタが出力した基準値とで信号レベルの大きさを比較する比較手段と、
   前記比較手段において、前記デジタル映像信号の画素値が前記基準値よりも大きいと判定された場合に、当該画素値から前記レベル値を減算した信号を出力信号とし、当該画素値が前記基準値よりも小さいと判定された場合に、当該画素値に前記レベル値を加算した信号を出力信号とし、当該画素値が前記基準値と等しいと判定された場合に、当該画素値を出力信号として出力する選択加減算手段と、を備え、
   前記ノイズレベル検出手段は、
   前記デジタル映像信号を画面ごとに予め定めた大きさのブロックに分割するブロック分割手段と、
   このブロック分割手段で分割されたブロックを、ブロックごとに直交変換する直交変換手段と、
   この直交変換手段で変換されたブロックの直流成分と予め定めた当該直流成分近傍とを除く高周波成分の係数を当該ブロック内で平均化し、当該ブロックの高周波成分のレベルとして検出する高周波成分検出手段と、
   この高周波成分検出手段で検出された高周波成分のレベルに対応するブロック数を当該レベルごとに累計する高周波成分累計手段と、
   この高周波成分累計手段で累計された高周波成分のレベルの低レベル値から所定数分のブロック数に応じた平均値を、前記ノイズ値と判定するノイズレベル判定手段と、
   を備えることを特徴とするノイズ低減装置。
2. デジタル映像信号に重畳されたノイズを低減するノイズ低減装置であって、
   前記デジタル映像信号を入力する映像信号入力手段と、
   前記映像信号入力手段で入力されたデジタル映像信号に重畳されているノイズレベルの大きさを示すレベル値として検出するノイズレベル検出手段と、
   前記デジタル映像信号を、前記ノイズレベル検出手段におけるフレーム処理時間分遅延させる第１遅延手段と、
   前記第１遅延手段で遅延させたデジタル映像信号を構成するフレームに予め設定された対象画素における画素値の中央値を選択するメディアンフィルタを複数備え、当該メディアンフィルタのそれぞれが出力する中央値を候補値として複数出力するメディアンフィルタ群と、
   当該メディアンフィルタ群が出力した複数の候補値における中央値又は平均値である基準値を算出するフィルタと、
   少なくとも前記メディアンフィルタ群における画素選択時間分について、前記第１遅延手段で遅延させたデジタル映像信号をさらに遅延させる第２遅延手段と、
   前記第２遅延手段で遅延させたデジタル映像信号の画素ごとに、順次、当該画素値と、前記フィルタが出力した基準値とで信号レベルの大きさを比較する比較手段と、
   前記比較手段において、前記デジタル映像信号の画素値が前記基準値よりも大きいと判定された場合に、当該画素値から前記レベル値を減算した信号を出力信号とし、当該画素値が前記基準値よりも小さいと判定された場合に、当該画素値に前記レベル値を加算した信号を出力信号とし、当該画素値が前記基準値と等しいと判定された場合に、当該画素値を出力信号として出力する選択加減算手段と、を備え、
   前記ノイズレベル検出手段は、
   前記デジタル映像信号から、画面を構成するラインである対象ラインと当該対象ラインに隣接する隣接ラインとを相関ライン群として順次抽出するライン抽出手段と、
   このライン抽出手段で抽出された相関ライン群において、前記対象ラインと前記隣接ラインとの対応する画素の画素値の差分を平均化し、前記対象ラインの前記相関ライン群におけるライン間ノイズレベルとして検出するライン間ノイズレベル検出手段と、
   このライン間ノイズレベル検出手段で検出されたライン間ノイズレベルに対応する前記対象ラインのライン数を当該ライン間ノイズレベルごとに累計するレベル累計手段と、
   このレベル累計手段で累計されたライン間ノイズレベルの低レベル値から所定数分のライン数に応じた平均値を、前記レベル値と判定するノイズレベル判定手段と、
   を備えることを特徴とするノイズ低減装置。
3. 前記メディアンフィルタ群は、前記メディアンフィルタのそれぞれが、連続する３以上の前記フレームにおいて、同一の画面位置の画素を前記対象画素として予め設定し、当該対象画素ごとに前記画素値の前記中央値を選択して前記候補値として出力することを特徴とする請求項１又は請求項２に記載のノイズ低減装置。
4. 前記メディアンフィルタ群は、前記メディアンフィルタのそれぞれが、当該フレームにおいて、垂直又は水平に位置する３以上の画素を前記対象画素として予め設定し、当該対象画素ごとに前記画素値の前記中央値を選択して前記候補値として出力することを特徴とする請求項１又は請求項２に記載のノイズ低減装置。
5. 前記メディアンフィルタ群は、前記メディアンフィルタのそれぞれが、タップが非対象に配置された非対称メディアンフィルタであることを特徴とする請求項１から請求項４の何れか一項に記載のノイズ低減装置。
6. デジタル映像信号に重畳されたノイズを低減するために、コンピュータを、請求項１から請求項５の何れか一項に記載のノイズ低減装置として機能させるためのノイズ低減プログラム。

Images