JP5075804B2 - ノイズ低減装置 - Google Patents

ノイズ低減装置 Download PDF

Info

Publication number
JP5075804B2
JP5075804B2 JP2008325948A JP2008325948A JP5075804B2 JP 5075804 B2 JP5075804 B2 JP 5075804B2 JP 2008325948 A JP2008325948 A JP 2008325948A JP 2008325948 A JP2008325948 A JP 2008325948A JP 5075804 B2 JP5075804 B2 JP 5075804B2
Authority
JP
Japan
Prior art keywords
noise
value
level
noise level
frequency component
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008325948A
Other languages
English (en)
Other versions
JP2010148015A (ja
Inventor
清一 合志
和久 井口
孝一 山口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Broadcasting Corp
Original Assignee
Japan Broadcasting Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Japan Broadcasting Corp filed Critical Japan Broadcasting Corp
Priority to JP2008325948A priority Critical patent/JP5075804B2/ja
Publication of JP2010148015A publication Critical patent/JP2010148015A/ja
Application granted granted Critical
Publication of JP5075804B2 publication Critical patent/JP5075804B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Picture Signal Circuits (AREA)

Description

本発明は、デジタル映像信号に重畳されたノイズを低減させるノイズ低減装置に関する。
一般に、アナログ映像信号には本来の映像そのもの以外に、伝送路等で付加されたノイズが重畳されている。従来、このようなノイズを低減する技術として、ノイズリデューサと呼ばれる技術があり、これまで種々の方式が提案されてきた(例えば、特許文献1参照)。
例えば、特許文献1に記載されたノイズリデューサ(雑音低減回路)では、メディアンフィルタにより得られたアナログ映像信号の画素点信号列のメディアン(MEDIAN)値と、原映像信号の画素点信号の画素値とを比較し、その比較結果に基づいて、原映像信号の画素点信号の画素値に対して、予め検出した映像信号に重畳されている中高周波のノイズレベルを、加減算処理することで、ノイズの低減を行っている。
一方、デジタル映像信号は、映像信号のデータが離散値であるため、伝送路上において、アナログ映像信号と比べ劣化しにくく、伝送ノイズが重畳した場合であっても、誤り訂正等によって、ノイズを低減させることができる。
しかし、近年、デジタル映像信号において、高精細化されたカメラから出力される信号に重畳されるノイズ(カメラノイズ)が問題となってきている。従来、伝送路上で混入するノイズが、カメラノイズを凌駕していたため、当該ノイズはあまり問題にはならなかった。しかし、スーパーハイビジョンのように、高精細度化した固体撮像素子(CCD、CMOSセンサ等)の小面積化により、単位受光体当たりに得られる光エネルギが低下するため、出力画像には、中高域ノイズに加え、クランプノイズ的な低域ノイズが混入している。
従来は、特許文献1に記載された発明のように、中高域のノイズレベルを低減させる技術は存在する。しかし、前記したように、低域ノイズに中高域ノイズが多重化された映像信号から、ノイズを低減させる技術は存在しないのが現状である。
特許第3299026号公報
前記したように、近年のデジタル映像信号は、映像の高精細化に伴い、低域ノイズに中高域ノイズが多重化されて重畳されるという問題がある。
このようなノイズは、砂粒状の細かい粒子を持ち画面上で動くため、映像の画質を劣化させている。また、粒子が細かいということは高周波成分であることを意味し、このノイズは、符号化の際に情報量を増大させてしまう。このため、ノイズが多く含まれる映像を符号化すると、ノイズを伝送するために伝送ビットが占有され、復号された映像は、当初の映像よりもさらに劣化した映像となってしまうという問題がある。
また、特許文献1に記載された発明のように、画素点信号列のメディアン値と原映像信号の画素点信号の画素値との比較結果によりノイズを低減させる手法を用いると、ノイズに低域ノイズが多重化されている場合、以下に示す問題がある。
例えば、図23(a)に示すように、理想の映像信号の画素点列における各画素値が、時刻t、t、tの時点において、それぞれp、p、pで、その大きさが、p<p<pであった場合、メディアン値としては、時刻tにおける画素値pが選択されなければならない。
しかし、図23(b)に示すような、低域信号(低域ノイズ)が傾斜状に映像信号に重畳された場合、映像信号の画素点列は、図23(c)に示すように、各画素値にノイズ成分が加算され、各画素の画素値が、時刻t、t、tの時点において、それぞれp′、p′、p′で、その大きさが、p′<p′<p′の順となり、メディアン値として時刻tにおける画素値p′が誤って選択されることになる。このように、従来の手法では、誤った判定に基づいて、映像信号からノイズレベルを加減算するため、ノイズを精度よく低減させることができないという問題がある。
本発明は、以上のような課題を解決するためになされたものであり、映像信号に低域ノイズと中高域ノイズとが多重化して重畳されている場合であっても、ノイズを精度よく低減させることが可能なノイズ低減装置を提供することを目的とする。
本発明は、前記目的を達成するために創案されたものであり、まず、請求項1に記載のノイズ低減装置は、デジタル映像信号に重畳されたノイズを低減させるノイズ低減装置であって、映像信号入力手段と、ノイズレベル検出手段と、第1遅延手段と、低域成分除去フィルタと、メディアンフィルタと、第2遅延手段と、比較手段と、選択加減算手段と、を備え、ノイズレベル検出手段が、ブロック分割手段と、直交変換手段と、高周波成分検出手段と、高周波成分累計手段と、ノイズレベル判定手段と、を備える構成とした。
かかる構成において、ノイズ低減装置は、映像信号入力手段によって、外部からデジタル映像信号を入力する。そして、ノイズ低減装置は、ノイズレベル検出手段によって、デジタル映像信号に重畳されているフレームごとのノイズレベルの大きさをレベル値として検出する。さらに、ノイズ低減装置は、第1遅延手段によって、デジタル映像信号をノイズレベル検出手段におけるフレーム処理時間分遅延させる。
そして、ノイズ低減装置は、低域成分除去フィルタによって、デジタル映像信号の予め定めた低域成分を除去する。これによって、ノイズ低減装置は、映像信号に傾斜状に重畳されている低域ノイズを除去することができる。
そして、ノイズ低減装置は、メディアンフィルタによって、低域成分除去フィルタで低域成分が除去された信号において、予め定めた画素数ごとに、画素値の中央値を選択する。これによって、ノイズ低減装置は、信号の立ち上がりまたは立ち下がりを保持しつつ、画素列ごとのノイズレベルを平坦化することができる。
さらに、ノイズ低減装置は、第2遅延手段によって、メディアンフィルタにおける画素選択時間分、第1遅延手段で遅延させたデジタル映像信号を遅延させる。
そして、ノイズ低減装置は、比較手段によって、第2遅延手段により遅延させたデジタル映像信号の画素ごとに、順次、当該画素値と、メディアンフィルタで選択された中央値とを比較する。これによって、ノイズ低減装置は、ノイズに伴う画素値の信号レベルの振幅方向を得ることができる。
そして、ノイズ低減装置は、選択加減算手段によって、比較手段において、デジタル映像信号の画素値が中央値よりも大きいと判定された場合に、当該画素値からレベル値を減算した信号を出力信号とし、当該画素値が中央値よりも小さいと判定された場合に、当該画素値にレベル値を加算した信号を出力信号とし、当該画素値が中央値と等しいと判定された場合に、当該画素値を出力信号として出力する。これによって、ノイズ低減装置は、出力信号における中高域のノイズ成分振幅を小さくことができる。
また、かかる構成において、ノイズ低減装置のノイズレベル検出手段は、ブロック分割手段によって、デジタル映像信号を画面ごとに予め定めた大きさのブロックに分割する。この画面を分割したブロックには、画面内において、少なくとも画素値の変化が少ない平坦な部分が含まれている。そして、ノイズレベル検出手段は、直交変換手段によって、ブロック分割手段で分割されたブロックを、ブロックごとに直交変換する。これによって、ブロックの画素値が周波数成分の係数に変換されることになる。
そして、ノイズレベル検出手段は、高周波成分検出手段によって、直交変換手段で変換されたブロックの直流成分と予め定めた当該直流成分近傍とを除く高周波成分の係数を当該ブロック内で平均化し、当該ブロックの高周波成分のレベルとして検出する。
さらに、ノイズレベル検出手段は、高周波成分累計手段によって、高周波成分検出手段で検出された高周波成分のレベルに対応するブロック数を当該レベルごとに累計する。なお、画素値の変化が少ない平坦な部分からなるブロックの高周波成分は、ノイズがなければ、ほとんど“0”となるため、平坦なブロックの高周波成分は、ノイズとみなすことができる。
そこで、ノイズレベル検出手段は、ノイズレベル判定手段によって、高周波成分累計手段で累計された高周波成分のレベルの低レベル値から所定数分のブロック数に応じた平均値を、レベル値と判定し出力する。なお、判定に用いる低レベル値は、高周波成分のレベルの最小値としてもよいし、最小値から予め定めたレベル分大きな値を用いても構わない。これによって、平坦なブロックの高周波成分を精度よく検出することができ、レベル値を判定することができる。
また、請求項に記載のノイズ低減装置は、請求項1に記載のノイズ低減装置と同様の映像信号入力手段と、ノイズレベル検出手段と、第1遅延手段と、低域成分除去フィルタと、メディアンフィルタと、第2遅延手段と、比較手段と、選択加減算手段と、を備えるとともに、ノイズレベル検出手段が、ライン抽出手段と、ライン間ノイズレベル検出手段と、レベル累計手段と、ノイズレベル判定手段と、を備える構成とした。
かかる構成において、ノイズ低減装置のノイズレベル検出手段は、ライン抽出手段によって、デジタル映像信号から画面を構成するラインである対象ラインと当該対象ラインに隣接する隣接ラインとを相関ライン群として順次抽出する。なお、この相関ライン群(対象ライン、隣接ライン)は、画面に対し水平方向のラインとしてもよいし、垂直方向のラインとしてもよい。
そして、ノイズレベル検出手段は、ライン間ノイズレベル検出手段によって、ライン抽出手段で抽出された相関ライン群において、対象ラインと隣接ラインとの対応する画素の画素値の差分を平均化する。ここで、対応する画素とは、ラインを水平に選択した場合は、同一の水平位置の画素をいい、ラインを垂直に選択した場合は、同一の垂直位置の画素をいう。
なお、隣接ラインの画素値の差分は、画像成分が小さくなり、無相関ノイズの成分が大きくなる。この場合、通常、無相関ノイズは、画像成分よりも2倍(3dB)程度高くなる。そこで、ライン間ノイズレベル検出手段は、対象ラインと隣接ラインとの画素値の差分の平均値を、対象ラインの相関ライン群におけるライン間ノイズレベルとして検出する。ここで、隣接ラインは、画面上において、対象ラインのいずれか一方(水平方向のラインの場合は上または下、垂直方向のラインの場合は右または左)の1ライン、あるいは、その両方であってもよい。
そして、ノイズレベル検出手段は、レベル累計手段によって、ライン間ノイズレベル検出手段で検出されたライン間ノイズレベルに対応するライン数を当該ライン間ノイズレベルごとに累計する。このように累計されたライン間ノイズレベルのうち、当該レベルが小さいものほど、無相関ノイズによって発生したノイズであるとみなすことができる。
そこで、ノイズレベル検出手段は、ノイズレベル判定手段によって、レベル累計手段で累計されたライン間ノイズレベルの低レベル値から所定数分のライン数に応じた平均値を、レベル値と判定し出力する。なお、判定に用いる低レベル値は、ライン間ノイズレベルの最小値としてもよいし、最小値から予め定めたレベル分大きな値を用いても構わない。これによって、無相関ノイズの成分を精度よく検出することができ、レベル値を判定することができる。
本発明は、以下に示す優れた効果を奏するものである。
請求項1,に記載の発明によれば、低域ノイズに中高域ノイズが多重化されて重畳された映像信号であっても、予め低域ノイズを除去したのちに、中高域ノイズを除去することができるため、映像信号から精度よくノイズを除去することができる。また、これによって、デジタル映像信号に重畳されているカメラノイズを低減させることができ、スーパーハイビジョンのような高精細映像においても、精度よくノイズを除去することができる。
また、請求項1,2に記載の発明によれば、ブランキング期間が存在しないデジタル映像信号であっても、デジタル映像信号に重畳されたノイズレベルを検出することができ、デジタル映像信号から精度よくノイズを除去することができる。
参考例:ノイズ低減装置の構成]
まず、図1を参照して、参考例のノイズ低減装置の構成について説明する。図1は、参考例のノイズ低減装置の構成を示すブロック構成図である。
このノイズ低減装置1は、ノイズが重畳されたデジタル映像信号(以下、単に映像信号という)から、ノイズを低減させるものである。ここでは、ノイズ低減装置1は、ノイズレベル検出装置2と、遅延装置3とを接続している。
ノイズレベル検出装置2は、映像信号に重畳されているノイズレベルを検出するものである。ここでは、ノイズレベル検出装置2は、デジタル映像信号に重畳されているノイズレベルをフレーム単位で検出するものとする。なお、このノイズレベル検出装置2については、後で詳細に説明を行うことにする。
遅延装置3は、ノイズレベル検出装置2における信号の遅延時間を補償するものである。ここでは、遅延装置3は、ノイズレベル検出装置2が、フレーム単位でノイズレベルを検出するため、当該フレームの処理時間分だけ映像信号をフレーム遅延させることとする。
このように、ノイズ低減装置1は、ノイズレベル検出装置2から、ノイズレベル(レベル値)を入力し、ノイズレベルが検出されたフレームごとに、遅延装置3から、映像信号を入力する。
以下、ノイズ低減装置1の詳細な構成について説明する。ここでは、ノイズ低減装置1は、低域成分除去フィルタ10と、メディアンフィルタ20と、遅延手段30と、比較手段40と、選択加減算手段50と、を備えている。なお、ノイズ低減装置1は、ノイズレベル検出装置2から出力されるノイズレベル(レベル値)を、入力端子(ノイズレベル入力手段)TIN2を介して入力することとし、遅延装置3から出力される映像信号を、入力端子(映像信号入力手段)TIN1を介して入力することとする。また、ノイズ低減装置1は、ノイズが低減された映像信号を、出力端子(映像信号出力手段)TOUTを介して外部に出力することとする。
低域成分除去フィルタ10は、入力端子(映像信号入力手段)TIN1を介して入力された映像信号から予め定めた低域成分を除去するものである。この低域成分が除去された映像信号は、メディアンフィルタ20に出力される。
この低域成分除去フィルタ10は、例えば、予め定めた周波数以下の成分をカットするハイパスフィルタ(HPF)を用いることができる。あるいは、予め定めた低周波領域の成分を部分的にカットするバンドパスフィルタ(BPF)を用いることとしてもよい。以下の説明においては、低域成分除去フィルタ10をHPF10として説明する。
HPF10は、映像信号から低域成分を除去するため、図2(a)に示すように、原画像である映像信号に低域信号(ノイズ成分)が傾斜状に重畳されている場合に、図2(b)に示すように、そのノイズ成分を除去した映像信号を生成することができる。
図2(a)の例では、時刻t、t、tの時点において、それぞれの画素値がp′、p′、p′で、その大きさが、p′<p′<p′であるため、HPF10を通さなければ、後段のメディアンフィルタ20において、時刻tにおける画素値p′が選択されることになる。しかし、HPF10を通すことで、映像信号から低域信号が除去されて、図2(b)に示すように、時刻t、t、tの時点において、それぞれの画素値がp、p、pで、その大きさが、p<p<pであるため、後段のメディアンフィルタ20において、時刻tにおける画素値pが選択されることになる。
メディアンフィルタ20は、HPF10で低域成分が除去された信号において、予め定めた画素数ごとに、画素値の中央値を選択するものである。このメディアンフィルタ20で選択された画素値の中央値は、比較手段40に出力される。なお、メディアンフィルタ20から出力される中央値(メディアン値)を図1中ではEで表している。
ここで、図3を参照して、メディアンフィルタ20の構成例について説明する。図3は、メディアンフィルタの一例である3タップ形メディアンフィルタの構成を示すブロック構成図である。図3に示すように、メディアンフィルタ20は、サンプル遅延手段201(201a,201b)と、中間値選択手段202と、を備えている。
サンプル遅延手段201は、映像信号を画素単位で遅延させるもので、“タップ数−1”の数(ここでは、“3−1=2”)だけ直列に接続されている。図3の場合、サンプル遅延手段201aは、入力された映像信号を1画素信号分遅延させて、中間値選択手段202とサンプル遅延手段201bとに出力する。また、サンプル遅延手段201bは、さらに映像信号を1画素信号分遅延させて、中間値選択手段202に出力する。
中間値選択手段202は、サンプル遅延手段201a,201bでそれぞれ遅延された画素信号、並びに、現時点で入力された画素信号の3つの画素信号の中央値を選択し、出力するものである。
これによって、メディアンフィルタ20は、図4に示すように、順次入力される映像信号の画素点列において、時刻t〜tにおける各画素値p〜pが、例えば、p<p<pの大きさの順である場合に、その中央値であるpを選択し、出力する。
なお、ここでは、メディアンフィルタ20を、水平3タップ形メディアンフィルタとして説明したが、この構成に限定されるものではなく、水平Nタップ形メディアンフィルタ(N:3以上の整数)を用いることができる。あるいは、垂直Nタップ形メディアンフィルタ(N:3以上の整数)を用いてもよい。この場合、Nは3〜7タップ程度で十分な効果が得られる。また、メディアンフィルタ20は、1次元(水平、垂直)のフィルタに限定されず2次元のフィルタを用いてもよい。この場合も、3×3から7×7程度の2次元のメディアンフィルタで十分な効果を得ることができる。
図1に戻って、ノイズ低減装置1の構成について説明を続ける。
遅延手段30は、メディアンフィルタ20における信号の遅延時間を補償するものである。この遅延手段30は、入力端子TIN1から入力された映像信号を、予め定めたメディアンフィルタ20のタップ数に応じて、画素遅延させることとする。この遅延手段30で遅延された映像信号は、比較手段40および選択加減算手段50に出力される。なお、遅延手段30から出力される映像信号の画素値を図1中ではEで表している。
比較手段40は、遅延手段30で遅延された映像信号の画素ごとに、順次、当該画素値と、メディアンフィルタ20で選択された中央値とを比較するものである。ここでは、比較手段40は、減算手段41を備え、メディアンフィルタ20から入力される映像信号の中央値Eと、遅延手段30から入力される映像信号の画素値Eとの減算処理を行い、その大小関係を示す符号(“+”、“−”、“0”)を識別信号として選択加減算手段50に出力する。
選択加減算手段50は、比較手段40の比較結果(識別信号)に基づいて、遅延手段30からの入力された映像信号の画素ごとの信号レベル(画素値)Eに対し、入力端子TIN2から入力されたノイズレベル検出装置2が検出したノイズレベルのレベル値(画素値)Eを加減算するものである。ここでは、選択加減算手段50は、加算手段51と、減算手段52と、選択手段53とを備えている。
加算手段51は、遅延手段30から入力された映像信号の画素値Eにノイズレベルのレベル値Eを加算(E+E)するものである。また、減算手段52は、映像信号の画素値Eからレベル値Eを減算(E−E)するものである。
選択手段53は、識別信号(“+”、“−”、“0”)により、Eの信号レベルがEの信号レベルよりも小さい場合(E<E)には、加算手段51の加算結果(E+E)を、逆に、大きい場合(E>E)には、減算手段52の減算結果(E−E)を、また、等しい場合(E=E)には、映像信号の画素値Eを選択する。この選択加減算手段50で選択された信号(画素値)は、出力端子TOUTを介して、外部にノイズ低減映像信号として出力される。
これによって、選択加減算手段50は、低域ノイズが低減された映像信号から、信号内の雑音波の振幅を小さくすることで、中高域ノイズを低減させることができる。
以上説明したように、ノイズ低減装置1は、HPF10によって、映像信号から低域ノイズを除去した後に、メディアンフィルタ20以降の処理により、中高域ノイズを除去する。このため、ノイズ低減装置1は、低域ノイズによる影響を低減して中高域ノイズを精度よく低減させることができる。
なお、ノイズ低減装置1は、一般的なコンピュータを、前記した各手段として機能させるノイズ低減プログラムによって動作させることができる。
参考例:ノイズ低減装置の動作]
次に、図5を参照(構成については適宜図1参照)して、参考例のノイズ低減装置の動作について説明する。図5は、参考例のノイズ低減装置の動作を示すフローチャートである。
まず、ノイズ低減装置1は、入力端子TIN2を介して、ノイズレベル検出装置2が検出したノイズレベル(レベル値)を入力するとともに、入力端子TIN1を介して、ノイズレベル検出装置2のノイズレベルの検出タイミングに同期した映像信号を、遅延装置3から入力する(ステップS1)。
そして、ノイズ低減装置1は、HPF10によって、ステップS1で入力した映像信号から、低域信号(低域ノイズ)を除去する(ステップS2)。さらに、ノイズ低減装置1は、メディアンフィルタ20によって、ステップS2で低域信号が除去された信号において、順次、画素値のメディアン値(中央値)Eを選択する(ステップS3)。
その後、ノイズ低減装置1は、比較手段40によって、ステップS3で選択されたメディアン値Eと、ステップS1で入力され、メディアンフィルタ20の処理時間分、遅延手段30で遅延された映像信号の画素値Eとの大きさを画素ごとに比較する(ステップS4)。より具体的には、ノイズ低減装置1は、減算手段41によって、EおよびEの減算結果による符号(識別信号)をその比較結果とする。
そして、その比較結果が(E>E)の場合、ノイズ低減装置1は、選択加減算手段50によって、減算手段52による減算結果(E−E)を選択し、出力する(ステップS5)。また、比較結果が(E=E)の場合、ノイズ低減装置1は、選択加減算手段50によって、Eを選択し、そのまま出力する(ステップS6)。さらに、比較結果が(E<E)の場合、ノイズ低減装置1は、選択加減算手段50によって、加算手段51による加算結果(E+E)を選択し、出力する(ステップS7)。
そして、ノイズ低減装置1は、1フレーム分の映像信号(1フレームの画素数分)のノイズ低減を行っていない場合(ステップS8でNo)、ステップS2に戻って、順次画素ごとにノイズ低減を行う。一方、ノイズ低減装置1は、1フレーム分の映像信号のノイズ低減を行った場合(ステップS8でYes)、さらに次フレームの映像信号が入力された場合(ステップS9でYes)には、ステップS1に戻って、次フレームについてノイズ低減動作を続け、映像信号の入力が終了した場合(ステップS9でNo)には、動作を終了する。
なお、参考例のノイズ低減装置1では、低域成分除去フィルタ(HPFまたはBPF)10を、メディアンフィルタ20の前段に1つ備える構成としたが、図6のノイズ低減装置1Bにように、ノイズ低減装置1の遅延手段30から比較手段40への経路に、さらに低域成分除去フィルタ(第2低域成分除去フィルタ:HPFまたはBPF)10Bを備えることとしてもよい。なお、低域成分除去フィルタ10Bは、低域成分除去フィルタ10と同様の機能を有するものである。
この場合、比較手段40は、低域成分除去フィルタ10Bで低域成分が除去された信号の画素ごとに、順次、当該画素値E′と、メディアンフィルタ20で選択されたメディアン値Eとを比較する。
このように、低域成分除去フィルタ10Bを設けることで、比較手段40に入力される信号が、一方は、低域成分除去フィルタ10によって低域成分が除去された信号で、他方が低域成分除去フィルタ10Bによって低域成分が除去された信号となるため、メディアン値を用いた比較手段40における高周波成分の識別精度をより高めることができ、より精度よくノイズを低減させることができる。
なお、参考例においては、ノイズレベル検出装置2と遅延装置3とを、ノイズ低減装置1(1B)の外部に備える構成としたが、ノイズレベル検出装置2の代わりに、マニュアル操作によってレベル値を調整可能な入力装置(図示せず)を介して、レベル値を入力することとしてもよい。この場合、遅延装置3は不要となる。
また、ノイズレベル検出装置2と遅延装置3とを、ノイズ低減装置1(1B)の内部に備える構成としてもよい。以下、本構成について、本発明の実施形態として説明する。
本発明の実施形態:ノイズ低減装置]
図7を参照して、本発明の実施形態に係るノイズ低減装置の構成について説明する。図7は、本発明の実施形態に係るノイズ低減装置の構成を示すブロック構成図である。ここでは、ノイズ低減装置1Cは、ノイズレベル検出手段2と、低域成分除去フィルタ10と、メディアンフィルタ20と、第1遅延手段30Aと、第2遅延手段30Bと、比較手段40と、選択加減算手段50と、を備えている。
ノイズレベル検出手段2は、図1で説明したノイズレベル検出装置2に相当するものである。この場合、ノイズレベル検出手段2は、入力端子(映像信号入力手段)TIN1を介して入力された映像信号のノイズレベルを検出した後、そのノイズレベル(レベル値)を選択加減算手段50に出力する。
第1遅延手段30Aは、図1で説明した遅延装置3に相当するものである。この場合、第1遅延手段30Aは、入力端子(映像信号入力手段)TIN1を介して入力された映像信号を、ノイズレベル検出手段2がノイズレベルを検出するフレーム単位の処理時間分だけフレーム遅延させる。この遅延された映像信号は、低域成分除去フィルタ10と、第2遅延手段30Bとに出力される。
第2遅延手段30Bは、図1で説明した遅延手段30と同一のものである。また、それ以外の構成については、図1で説明したノイズ低減装置1と同一の構成であるため、同一の符号を付して説明を省略する。
また、ノイズ低減装置1Cの動作は、基本的に図5で説明したノイズ低減装置1(図1)の動作と同一であるため説明を省略する。
これによって、ノイズ低減装置1Cは、1入力1出力の構成で映像信号からノイズを軽減した映像信号を生成することができる。なお、本構成においても、図8に示したノイズ低減装置1Dのように、ノイズ低減装置1Cの第2遅延手段30Bから比較手段40への経路に、さらに低域成分除去フィルタ(第2低域成分除去フィルタ:HPFまたはBPF)10Bを備えることとしてもよい。この場合の作用、効果は、図6で説明したノイズ低減装置1Bと同様である。
[ノイズレベル検出装置(ノイズレベル検出手段)の構成]
次に、図1、図6〜8で説明したノイズレベル検出装置2、ノイズレベル検出手段2(以下、ノイズレベル検出装置2として説明する)の構成について、詳細に説明を行う。
このノイズレベル検出装置2は、ノイズが重畳された映像信号から、ノイズのレベルを検出するものである。ここでは、ノイズレベル検出装置(ノイズレベル検出手段)2の例として、2つの構成を例として説明する。
第1の例は、ノイズレベル検出装置2が、映像を構成するフレーム(画面)内において、所定のブロックごとに、少なくとも画素値の変化が少ない平坦な部分を探索し、その部分に重畳されている信号成分をノイズのレベル(レベル値E;図1参照)として検出するものである。
第2の例は、ノイズレベル検出装置2が、映像を構成するフレーム(画面)内のラインの相関によって、映像信号内に重畳されているノイズレベル(レベル値E;図1参照)を検出するものである。
(第1の例:ノイズレベル検出装置〔ブロック型ノイズレベル検出〕の構成)
まず、図9を参照して、第1の例に係るノイズレベル検出装置2の構成について説明する。図9は、第1の例に係るノイズレベル検出装置の構成を示すブロック構成図である。
通常、映像の画面(画像)には、画素値の変化が少ない平坦な部分、例えば、空のような無限遠の領域や、カメラのピントが合っていない領域等が存在する。これらの領域は、画像の周波数成分において、高周波成分の少ない領域である。一方、ノイズは、粒子が細かい高周波成分である。すなわち、画面内において、高周波成分の少ない領域における高周波成分は、ノイズによって重畳されたものとみなすことができる。
そこで、ノイズレベル検出装置2は、画面内において、高周波成分の少ない領域における高周波成分から、ノイズレベルを検出する。
ここでは、ノイズレベル検出装置2は、ブロック化手段21と、直交変換手段22と、高周波成分検出手段23と、高周波成分累計手段24と、ノイズレベル判定手段25と、を備えている。
ブロック化手段21は、映像信号を所定の大きさのブロックごとのデータに変換するものである。このブロック化手段21は、外部から映像信号を入力し、分割したブロックを直交変換手段22に出力する。ここでは、ブロック化手段21は、ブロック分割手段21aと、ブロック選択手段21bと、を備えている。
ブロック分割手段21aは、画面ごと、すなわち、画面を構成するフィールドまたはフレームごとに、映像信号を予め定めた大きさのブロックに分割するものである。このブロックの大きさは、特に限定するものではないが、例えば、4×4画素〜128×128画素程度の大きさに分割する。
ブロック選択手段21bは、ブロック分割手段21aで分割されたブロックを、画面内において画面全体に対して予め定めた割合以上となるように部分的に選択するものである。このブロック選択手段21bで選択されたブロックは、直交変換手段22に出力される。例えば、ブロック選択手段21bは、図10(a)に示すように、画面D内において、ブロックBごとに隙間を設け、画面全体の50%以上(より好ましくは70%以上)の領域をカバーするように複数のブロックB,B,…を選択する。これによって、画面内において、画素値の変化が少ない平坦な部分の候補となる領域を含んだブロックが選択されることになる。
なお、ここでは、ブロック選択手段21bが、画面内から予め定めた割合以上となるように部分的にブロックを選択することとしたが、図10(b)に示すように、画面D全体のブロックを選択することとしてもよい。この場合、ブロック選択手段21bを構成から省き、ブロック分割手段21aで分割されたブロックのすべてが、直交変換手段22に出力されることになる。
直交変換手段22は、ブロック化手段21から出力されるブロックを、ブロックごとに直交変換するものである。この直交変換手段22は、各ブロックを直交変換することで、ブロックを周波数成分に変換する。この周波数成分は、高周波成分検出手段23に出力される。例えば、直交変換手段22は、直交変換の一種である離散コサイン変換(DCT:Discrete Cosine Transform)により、ブロックを周波数成分に変換する。これによって、図11に示すように、例えば、4×4画素のブロックBの画素値(p11〜p14,p21〜p24,p31〜p34,p41〜p44)は、画素数と同数の周波数成分の大きさを示す値(DCT係数;x11〜x14,x21〜x24,x31〜x34,x41〜x44)に変換される。このDCT係数は、図中、左上の係数x11が直流成分を表し、右下、左下方向に向かって周波数が高くなっていく。
なお、この直交変換は、ブロックの離散信号を周波数領域に変換するものであれば、DCT変換以外の変換を用いてもよい。例えば、離散サイン変換(DST:Discrete Sine Transform)、高速フーリエ変換(FFT:Fast Fourier Transform)、アダマール変換等を用いることができる。このように、ブロックの離散信号を周波数領域に変換することで、各ブロックがどの周波数成分を有しているのかを解析することが可能になる。
高周波成分検出手段23は、直交変換手段22で変換されたブロックの直流成分と予め定めた当該直流成分近傍とを除く高周波成分の係数を当該ブロック内で平均化し、当該ブロックの高周波成分のレベルとして検出するものである。
なお、直交変換された周波数成分において、直流成分を含む低周波成分は、映像信号の周波数成分を多く含む成分である。そこで、ここでは、高周波成分検出手段23は、その低周波成分の係数を“0”とし、他の領域の高周波成分の係数をブロック内で平均化することで、当該ブロックの高周波成分のレベルとみなすこととする。なお、この平均化は、各高周波成分の係数の二乗平均和の平方根、絶対値平均等により算出することができる。
ここで、図12を参照(適宜図9参照)して、高周波成分検出手段23が、ブロックの周波数成分から高周波成分のレベルを検出する手法について説明する。図12は、ブロックの周波数成分から高周波成分のレベルを検出する手法を説明するための模式的な説明図である。図12(a)は、直交変換手段22によって求められたあるブロックの周波数成分の係数(図11(b)相当)を示し、図12(b)は、その周波数成分から高周波成分のみを抽出した状態を示している。なお、ここでは、説明を簡略化するため、ブロックの大きさを4×4画素の大きさとする。
図12(a)に示すように、直交変換手段22によって、あるブロックを直交変換し、ブロックの画素数と同数(ここでは、4×4個)の係数が求められているとする。
このとき、高周波成分検出手段23は、直流成分および直流成分の近傍の係数として、直流成分と直流成分を含んだ水平周波数成分および垂直周波数成分との係数を“0”とみなし(図12(b)参照)、他の係数を高周波成分の係数として抽出する。すなわち、係数x11,x12,x13,x14,x21,x31,x41を“0”とみなし、他の係数x22,x23,x24,x32,x33,x34,x42,x43,x44を高周波成分の係数として抽出する。
そして、高周波成分検出手段23は、高周波成分の係数として抽出した各係数を、ブロック内で平均化することで、当該ブロックの高周波成分のレベルとする。ここで、二乗平均和の平方根により平均化を行う場合、高周波成分検出手段23は、以下の(1)式により、高周波成分のレベルLを算出する。
Figure 0005075804
あるいは、絶対値平均により平均化を行う場合、高周波成分検出手段23は、以下の(2)式により、高周波成分のレベルLを算出する。
Figure 0005075804
前記した(1)式、(2)式において、係数16/9は、正規化係数であって、9個の高周波成分の係数を、ブロック全体の16個分の係数に正規化するための係数である。このように正規化することで、ブロック全体に対する高周波成分のレベルを求めることができる。
なお、ここでは、直流成分および直流成分近傍の係数として、直流成分を含んだ水平および垂直周波数成分を“0”とみなして、ブロックの高周波成分のレベルを算出したが、“0”とみなす係数は、直流成分を含んでいれば種々のパターンを用いることができる。例えば、高周波成分検出手段23は、図13(a)のパターンAに示すように、最小垂直周波成分かつ最大水平周波数成分の係数の位置と、最大垂直周波数成分かつ最小水平周波数成分の係数の位置とを対角線として2つの領域R,Rにブロックを区分し、直流成分を含んだ領域Rの係数を“0”とみなし、他方の領域Rの係数により、高周波成分のレベルを算出する。
また、例えば、図13(b)に示すように、図13(a)で示した対角線を、高周波成分をより多く含むように曲線化して2つの領域R,Rに区分してもよい。これによって、画像内における高周波成分をより多く抽出することができる。また、例えば、図13(c)に示すように、直流成分を含んだ水平周波数成分と垂直周波数分を除く高周波成分側の領域に対し、直流成分側の係数を一部含んだ領域Rと、それ以外の領域Rとにブロックを区分してもよい。これによって、画像内における高周波成分のうちで、直流成分に近い成分を除去して高周波成分を抽出することができる。
図9に戻って、ノイズレベル検出装置2の構成について説明を続ける。
高周波成分累計手段24は、高周波成分検出手段23で検出された高周波成分のレベルに対応するブロック数を当該レベルごとに累計するものである。なお、高周波成分累計手段24は、画面を構成するフィールドまたはフレーム単位で、高周波成分のレベルに対応するブロック数を当該レベルごとに累計(ヒストグラム化)する(図14参照)。これによって、画面内において、どの高周波成分のレベルがどれだけ分布しているのかが解析されることになる。この高周波成分累計手段24で累計されたレベルごとの累計値は、ノイズレベル判定手段25に出力される。
ノイズレベル判定手段25は、高周波成分累計手段24で累計された高周波成分のレベルの低レベル値または当該低レベル値から所定数分のブロック数に応じた平均値を、ノイズレベル(レベル値)と判定するものである。なお、図12で説明したように、高周波成分検出手段23が高周波成分として検出する係数(例えば、図12(b)の係数x22,x23,x24,x32,x33,x34,x42,x43,x44)は、画面の画素値の変化が少ない平坦な部分であれば、その値は、ほぼ“0”となるため、当該平坦な部分にノイズが重畳されていれば、その高周波数成分は、ノイズであるといえる。そこで、ノイズレベル判定手段25は、高周波成分累計手段24が累計した高周波成分を有するブロックの累計において、高周波成分のレベルの低レベル値または当該低レベル値から所定数分(例えば、2〜5個)のブロック数に応じた平均値(加重平均値)を、ノイズレベルと判定する。
ここでは、高周波成分のレベルの低レベル値として、高周波成分累計手段24で累計された高周波成分のレベルの最小値を用いることとする。なお、画面の明るさによって、CCD等で撮像した画像のノイズレベルが異なる場合があり、高周波成分のレベルの最小値を用いた場合では、ノイズレベルを低いレベルで判定してしまう場合もある。そこで、この低レベル値は、必ずしも最小値に限定する必要はなく、最小値から、予め定めた範囲で最小値よりも大きい値を用いてもよい。
ここで、図14を参照(適宜図9参照)して、ノイズレベル判定手段25のノイズレベル判定手法について説明する。図14は、高周波成分のレベルごとのブロックの累計値(度数)をヒストグラムとして表したグラフである。なお、このグラフは、ブロックの累計値を視覚的に説明するための図であって、高周波成分累計手段24が、当該グラフを生成することを意味しているものではない。
通常、高周波成分は、映像の高周波成分とノイズを同時に含んでいる。このとき、図14のグラフにおいて、高周波成分の大きいグラフ中央から右のヒストグラムは、映像(ノイズを含む)の高周波成分と考えられる。一方、グラフ左側端の数本のヒストグラムは、映像の高周波成分を含まない、ほぼノイズのみの成分であると考えられる。
そこで、ノイズレベル判定手段25は、グラフ左側端の数本のヒストグラムに対応する累計値から平均値を算出し、ノイズレベルとして決定する。
例えば、図14に示したように、3本のヒストグラムからノイズレベルを決定する場合、ノイズレベル判定手段25は、高周波成分のレベルの低いL,L,Lを選択し、それぞれの度数C,C,Cにより、以下の(3)式により平均値(加重平均値)を求め、ノイズレベルNとする。このノイズレベルNは、レベル値Eに相当する。
Figure 0005075804
なお、ここでは、ノイズレベル判定手段25は、複数の高周波成分のレベルの加重平均によりノイズレベルを求めたが、度数を考慮せず、高周波成分のレベルの相加平均によりノイズレベルを求めてもよい。また、ノイズレベル判定手段25は、単に最小の高周波成分のレベル(図14の場合、L)をノイズレベルとすることとしてもよい。
そして、ノイズレベル判定手段25は、判定したノイズレベル(レベル値E)をノイズ低減装置1、1B(図1、6)に出力する。なお、ノイズレベル検出装置2が、ノイズ低減装置1に組み込まれている場合は、ノイズレベル判定手段25は、判定したノイズレベル(レベル値E)をノイズ低減装置1C、1D(図7、8)の選択加減算手段50に出力する。
なお、ここでは、ノイズレベル検出装置2が、映像信号のノイズレベルを、画面単位(空間方向)で検出する例で説明したが、図15に示すように、複数の画面(複数のフィールドまたはフレーム)ごと(空間+時間方向)で検出することとしてもよい。すなわち、ノイズレベル検出装置2は、高周波成分累計手段24において、予め定めた時間分(複数フィールド、複数フレームに相当する時間)だけ高周波成分のレベルに対応するブロックを累計し、ノイズレベル判定手段25によって、その累計結果によりノイズレベルを判定することとしてもよい。
また、ここでは、ノイズレベル検出装置2が、ノイズレベル判定手段25によって、高周波成分累計手段24で累計された高周波成分のレベルごとのブロックのヒストグラムにおいて、レベルの低レベル値または当該低レベル値から所定数分のブロック数に応じた平均値(加重平均等)を、ノイズレベルと判定することとした。しかし、ノイズレベル判定手段25は、ブロック数に関係なく、単に、高周波成分検出手段23で検出された高周波成分のレベルのうち、低レベル値(最小値)または当該低レベル値から所定数分のレベル値の平均値をノイズレベルと判定することとしてもよい。
(第1の例:ノイズレベル検出装置の動作)
次に、図16を参照(構成については適宜図9参照)して、第1の例に係るノイズレベル検出装置2の動作について説明する。図16は、第1の例に係るノイズレベル検出装置の動作を示すフローチャートである。
まず、ノイズレベル検出装置2は、ブロック化手段21のブロック分割手段21aによって、映像信号を予め定めた大きさ(例えば、4×4画素〜128×128画素)のブロックに分割する(ステップS11)。
さらに、ノイズレベル検出装置2は、ブロック化手段21のブロック選択手段21bによって、ステップS11で分割されたブロックを、画面内において画面全体に対して予め定めた割合(例えば、70%)以上となるように部分的に選択する(ステップS12)。このように選択されたブロックには、画面内で画素値の変化が少ない平坦な部分を含んだブロックが含まれている。
そして、ノイズレベル検出装置2は、直交変換手段22によって、ステップS12で選択されたブロックごとに、直交変換により各ブロックを周波数成分に変換する(ステップS13)。その後、ノイズレベル検出装置2は、高周波成分検出手段23によって、ステップS13で求められた周波数成分において、直流成分と予め定めた当該直流成分近傍とを除く高周波成分の係数を当該ブロック内で平均化し、当該ブロックの高周波成分のレベルとして検出する(ステップS14)。これによって、ノイズレベル検出装置2は、ノイズが重畳された映像の高周波成分のレベルと、ノイズのみで発生している高周波成分のレベルとを混在して検出する。
そして、ノイズレベル検出装置2は、高周波成分累計手段24によって、ステップS14で検出された高周波成分のレベルに対応するブロック数を当該レベルごとに画面単位で累計する(ステップS15)。これによって、ノイズレベル検出装置2は、各ブロックの高周波成分のレベルの分布を解析することができる。このとき、高周波成分のレベルが低いブロックは、ほぼノイズのみによって高周波成分が発生しているものといえる。
そこで、ノイズレベル検出装置2は、ノイズレベル判定手段25によって、ステップS15で累計された高周波成分のレベルの最小値(低レベル値)または最小値から所定数分(例えば、2〜5個)のブロック数に応じた平均値を、画面内のノイズレベルと判定する(ステップS16)。
これによって、ノイズレベル検出装置2は、映像信号に重畳されたノイズレベルを映像そのものから検出することができる。
(第2の例:ノイズレベル検出装置〔ライン相関ノイズ検出〕の構成)
次に、図17を参照して、第2の例に係るノイズレベル検出装置2の構成について説明する。図17は、第2の例に係るノイズレベル検出装置の構成を示すブロック構成図である。
通常、映像の画面(画像)において、隣接するラインの画素値の差分は、画像成分が小さくなり、無相関ノイズの成分が大きくなる。よって、画素値の差分がより小さいものほど、その差分は、無相関ノイズによって発生したノイズであるとみなすことができる。
そこで、ノイズレベル検出装置2は、画面内において、隣接するラインの画素値の差分から、ノイズレベルを検出する。ここでは、ノイズレベル検出装置2は、ライン抽出手段26と、ライン間ノイズレベル検出手段27と、レベル累計手段28と、ノイズレベル判定手段29と、を備えている。
ライン抽出手段26は、走査線に沿って、映像信号から画面を構成するラインである対象ラインと当該対象ラインに隣接する隣接ラインとを相関ライン群(より具体的には、相関ライン群ごとの画素)として抽出するものである。なお、ここでは、ライン抽出手段26は、画面内において画面全体に対して予め定めた割合以上となるように部分的にラインを抽出することとする。このライン抽出手段26で抽出されたラインの各画素の画素値は、ライン間ノイズレベル検出手段27に出力される。
ここで、図18を参照(適宜図17参照)して、ライン抽出手段26が抽出するライン(相関ライン群)について説明する。図18は、ライン抽出手段における2ラインの相関ライン群の抽出手法を説明するための説明図である。
図18(a)に示すように、ライン抽出手段26は、画面D(2次元画像)の主走査単位で、N番目のライン(対象ライン)と、(N+1)番目のライン(隣接ライン)の2つの隣接するラインを順次相関ライン群として抽出する。このとき、ライン抽出手段26は、隣接する相関ライン群ごとに隙間を設け、画面D全体の50%以上(より好ましくは70%以上)の領域をカバーするように複数の相関ライン群を抽出する。これによって、ライン抽出手段26は、画面D内において、少なくともライン間の画素値の変化が少ない相関ライン群を抽出することができる。
なお、図18(a)では、ライン抽出手段26は、ラインとして、画面の水平幅分のラインを抽出する例を示したが、図18(b)に示すように、画面の水平幅よりも短いラインの一部を部分的に抽出することとしてもよい。
さらに、ライン抽出手段26は、図18(c)に示すように、時間方向に連続する画面(フレーム)において、同一の水平位置におけるラインである、時刻tにおける画面のN番目のラインと、時刻(t+1)における画面のNt+1番目のラインとを相関ライン群として抽出することとしてもよい。なお、この場合も、図18(b)と同様に、必ずしもラインは、画面の水平方向の幅分を用いる必要はなく、部分的に抽出することとしてもよい。
また、ここでは、走査線に沿った水平方向にラインを抽出した例を示したが、垂直方向にラインを抽出することとしてもよい。
また、ここでは、ライン抽出手段26が、画面内から予め定めた割合以上となるように部分的に相関ライン群を抽出することとしたが、画面D全体の相関ライン群を抽出することとしてもよい。図17に戻って、ノイズレベル検出装置2の構成について説明を続ける。
ライン間ノイズレベル検出手段27は、ライン抽出手段26で抽出されたラインにおいて、隣接する相関ライン群ごとに、それぞれ対応する画素(ここでは、同一水平位置における画素)の画素値の差分を平均化し、対象ラインの相関ライン群におけるライン間ノイズレベルとして検出するものである。なお、この平均化は、各相関ライン群における画素値の差分の二乗平均和の平方根、絶対値平均等により算出することができる。
ここで、図19を参照(適宜図17参照)して、ライン間ノイズレベル検出手段27が、隣接するラインの画素値からライン間ノイズレベルを検出する手法について説明する。図19は、隣接するラインの画素値からライン間ノイズレベルを検出する手法を説明するための模式的な説明図である。
図19に示すように、ライン抽出手段26によって、あるN番目のラインの画素と、それに隣接する(N+1)番目のラインの画素が抽出されていることとする。また、各ラインは、水平方向にM画素存在することとする。ここで、N番目のラインの画素の画素値を、pN,1、pN,2、pN,3、…、pN,Mとし、(N+1)番目のラインの画素の画素値を、pN+1,1、pN+1,2、pN+1,3、…、pN+1,Mとする。
そして、ライン間ノイズレベル検出手段27は、N番目のラインと(N+1)番目のラインとで、同一水平位置における各画素の画素値の差分を平均化することで、当該相関ライン群におけるライン間ノイズレベルとする。ここで、二乗平均和の平方根により平均化を行う場合、ライン間ノイズレベル検出手段27は、以下の(4)式により、ライン間ノイズレベルLを算出する。
Figure 0005075804
あるいは、絶対値平均により平均化を行う場合、ライン間ノイズレベル検出手段27は、以下の(5)式により、ライン間ノイズレベルLを算出する。
Figure 0005075804
なお、ここでは、同一画面(フレーム)上でライン間ノイズレベルを検出する手法について説明したが、図18(c)に示したように、隣接するフレーム間でライン間ノイズレベルを検出してもよい。この場合、前記した(4)式、(5)式において、画素値pN,i、pN+1,iが、それぞれ時刻tに応じた画素値pNt,i、pNt+1,iとなるだけで、同様にライン間ノイズレベルを算出することができる。
図17に戻って、ノイズレベル検出装置の構成について説明を続ける。
レベル累計手段28は、ライン間ノイズレベル検出手段27で検出されたライン間ノイズレベルに対応するライン数を当該レベルごとに累計するものである。なお、レベル累計手段28は、画面単位で、ライン間ノイズレベルに対応するライン数を当該レベルごとに累計(ヒストグラム化)する(図20参照)。これによって、画面内において、どのライン間ノイズレベルがどれだけ分布しているのかが解析されることになる。このレベル累計手段28で累計されたレベルごとの累計値は、ノイズレベル判定手段29に出力される。
ノイズレベル判定手段29は、レベル累計手段28で累計されたライン間ノイズレベルの低レベル値または当該低レベル値から所定数分のライン数に応じた平均値を、ノイズレベル(レベル値)と判定するものである。なお、ライン間ノイズレベル検出手段27が検出するライン間ノイズレベルは、隣接するライン間では画像成分が小さくなるため、その値が小さいほど、ノイズレベルに近似した値となる。そこで、ノイズレベル判定手段29は、レベル累計手段28が累計したライン間ノイズレベルごとのライン数の累計において、ライン間ノイズレベルの最小値または最小値から所定数分(例えば、2〜5個)のライン数に応じた平均値(加重平均値)を、ノイズレベルと判定する。
ここでは、ライン間ノイズレベルの低レベル値として、レベル累計手段28で累計されたライン間ノイズレベルの最小値を用いることとする。なお、ライン間ノイズレベルは、画像によっては、偶然、ノイズに関係なく最小値が検出される場合があるため、この低レベル値は、必ずしも最小値に限定する必要はなく、最小値から、予め定めた範囲で最小値よりも大きい値を用いてもよい。
ここで、図20を参照(適宜図17参照)して、ノイズレベル判定手段29のノイズレベル判定手法について説明する。図20は、ライン間ノイズレベルごとのライン数の累計値(度数)をヒストグラムとして表したグラフである。なお、このグラフは、ライン数の累計値を視覚的に説明するための図であって、レベル累計手段28が、当該グラフを生成することを意味しているものではない。
ライン間の画素値の差分は、画像成分の差分とノイズ成分とを同時に含んでいる。このとき、図20のグラフにおいて、ライン間ノイズレベルの大きいグラフ中央から右のヒストグラムは、映像(ノイズを含む)の画像成分の差分が多く含まれていると考えられる。一方、グラフ左側端の数本のヒストグラムは、映像の画像成分の差分を含まない、ほぼノイズのみの成分であると考えられる。
そこで、ノイズレベル判定手段29は、グラフ左側端の数本のヒストグラムに対応する累計値から平均値を算出し、ノイズレベルとして決定する。
例えば、図20に示したように、3本のヒストグラムからノイズレベルを決定する場合、ノイズレベル判定手段29は、ライン間ノイズレベルの低いL,L,Lを選択し、それぞれの度数C,C,Cにより、以下の(6)式により平均値(加重平均値)を求め、ノイズレベルNとする。このノイズレベルNは、レベル値Eに相当する。
Figure 0005075804
なお、ここでは、ノイズレベル判定手段29は、複数のライン間ノイズレベルの加重平均によりノイズレベルを求めたが、度数を考慮せず、ライン間ノイズレベルの相加平均によりノイズレベルを求めてもよい。また、ノイズレベル判定手段29は、単に最小のライン間ノイズレベル(図20の場合、L)をノイズレベルとすることとしてもよい。
そして、ノイズレベル判定手段29は、判定したノイズレベル(レベル値)をノイズ低減装置1、1B(図1、6)に出力する。なお、ノイズレベル検出装置2が、ノイズ低減装置1に組み込まれている場合は、ノイズレベル判定手段29は、判定したノイズレベル(レベル値)をノイズ低減装置1C、1D(図7、8)の選択加減算手段50に出力する。
なお、ここでは、ノイズレベル検出装置2が、ライン抽出手段26によって、相関ライン群として、対象ラインと1つの隣接ラインの計2ラインを順次抽出し、ライン間ノイズレベル検出手段27によって、2つのラインの画素値からライン間ノイズレベルを検出することとした。しかし、相関ライン群は2ラインに限定されるものではない。例えば、対象ラインと2つの隣接ラインの計3ラインでライン間ノイズレベルを検出することとしてもよい。
ここで、図21を参照(適宜図17参照)して、3つのラインでライン間ノイズレベルを検出する手法について説明する。図21は、ライン抽出手段における3ラインの相関ライン群の抽出手法を説明するための説明図である。
図21(a)に示すように、例えば、ライン抽出手段26は、画面D(2次元画像)の主走査単位で、N番目のライン(対象ライン)と、(N−1)および(N+1)番目のライン(隣接ライン)の3つの隣接するラインを順次相関ライン群として抽出する。このとき、ライン抽出手段26は、隣接する相関ライン群ごとに隙間を設け、画面D全体の50%以上(より好ましくは70%以上)の領域をカバーするように複数の相関ライン群を抽出する。
また、図21(b)に示すように、画面の水平幅よりも短いラインの一部を部分的に3ライン抽出することとしてもよい。
さらに、ライン抽出手段26は、図21(c)に示すように、時間方向に連続する画面(フレーム)において、同一の水平位置におけるラインである、時刻tにおける画面のN番目のライン(対象ライン)と、時刻(t−1)および(t+1)における画面のNt−1およびNt+1番目の2ライン(隣接ライン)とを相関ライン群として抽出することとしてもよい。なお、この場合も、図21(b)と同様に、必ずしもラインは、画面の水平方向の幅分を用いる必要はなく、部分的に抽出することとしてもよい。
このように、ライン抽出手段26が順次3ラインの相関ライン群を抽出した場合、ノイズレベル検出装置2は、ライン間ノイズレベル検出手段27によって、相関ライン群の対応する画素ごとに対象ラインの一方に隣接するライン(第1隣接ライン)および他方に隣接するライン(第2隣接ライン)の画素値の和の1/2と、対象ラインの画素値との差分を求め、当該相関ライン群において差分を平均化した値をライン間ノイズレベルとする。
すなわち、ライン間ノイズレベル検出手段27は、3ラインのそれぞれ対応する画素の画素値に(−1/2,1,−1/2)または(1/2,−1,1/2)を乗算し加算することで、対象ラインと隣接ラインとの差分を求める。そして、ライン間ノイズレベル検出手段27は、この差分から、前記した(4)式または(5)式により、相関ライン群におけるライン間ノイズレベルを算出する。
このように、3ラインによって、ノイズレベルを検出することで、2ラインでノイズレベルを検出する場合に比べて、画像成分が分散され、より精度よくノイズレベルを検出することができる。
また、ここでは、ノイズレベル検出装置2が、ノイズレベル判定手段29によって、レベル累計手段28で累計されたライン間ノイズレベルごとのライン数のヒストグラムにおいて、レベルの低レベル値または当該低レベル値から所定数分のライン数に応じた平均値(加重平均等)を、ノイズレベルと判定することとした。しかし、ノイズレベル判定手段29は、ライン数に関係なく、単に、ライン間ノイズレベル検出手段27で検出されたライン間ノイズレベルのうち、低レベル値(最小値)または当該低レベル値から所定数分のレベル値の平均値をノイズレベルと判定することとしてもよい。
(第2の例:ノイズレベル検出装置の動作)
次に、図22を参照(構成については適宜図17参照)して、第2の例に係るノイズレベル検出装置2の動作について説明する。図22は、第2の例に係るノイズレベル検出装置の動作を示すフローチャートである。
まず、ノイズレベル検出装置2は、ライン抽出手段26によって、走査線に沿って、映像信号からライン(相関ライン群)を抽出する(ステップS21)。なお、このライン抽出手段26は、画面全体のラインを抽出することとしてもよいし、画面内において画面全体に対して予め定めた割合(例えば、70%)以上となるように部分的にラインを選択することとしてもよい。
そして、ノイズレベル検出装置2は、ライン間ノイズレベル検出手段27によって、ステップS21で選択されたラインにおいて、隣接するライン(相関ライン群)ごとに、同一水平位置における画素値の差分を平均化し、相関ライン群におけるライン間ノイズレベルとして検出する(ステップS22)。なお、このライン間ノイズレベルは、映像のライン間における画像成分の差分とノイズ成分とが混在したレベルとなっている。
そして、ノイズレベル検出装置2は、レベル累計手段28によって、ステップS22で検出されたライン間ノイズレベルに対応するライン数を当該レベルごとに画面単位で累計する(ステップS23)。これによって、ノイズレベル検出装置2は、画面内におけるライン間ノイズレベルの分布を解析することができる。このとき、レベルが低いライン間ノイズレベルは、ほぼノイズ成分のみであるといえる。
そこで、ノイズレベル検出装置2は、ノイズレベル判定手段29によって、ステップS23で累計されたライン間ノイズレベルの最小値(低レベル値)または最小値から所定数分(例えば、2〜5個)のライン数に応じた平均値を、画面内のノイズレベルと判定する(ステップS24)。
これによって、ノイズレベル検出装置2は、映像信号に重畳されたノイズレベルを映像そのものから検出することができる。
参考例のノイズ低減装置の構成を示すブロック構成図である。 低域成分除去フィルタによる低域信号を除去する手法を説明するための説明図である。 メディアンフィルタの一例である3タップ形メディアンフィルタの構成を示すブロック構成図である。 メディアンフィルタの動作を説明するための説明図である。 参考例のノイズ低減装置の動作を示すフローチャートである。 参考例のノイズ低減装置にさらに低域成分除去フィルタを付加した構成を示すブロック構成図である。 本発明の実施形態に係るノイズ低減装置の構成を示すブロック構成図である。 本発明の実施形態に係るノイズ低減装置にさらに低域成分除去フィルタを付加した構成を示すブロック構成図である。 ノイズレベル検出装置(第1の例)の構成を示すブロック構成図である。 画面におけるブロックを選択する領域を示す模式図であって、(a)はブロック間の隙間を空けて選択した場合、(b)は画面全体をブロックとして選択する場合を示す図である。 ブロックの画素値と直交変換による周波数成分との関係を示す図である。 ブロックの周波数成分から高周波成分のレベルを検出する手法を説明するための模式的な説明図である。 高周波成分のレベルを検出するために対象となる周波数成分の領域を説明するためのパターン例を示す図である。 高周波成分のレベルごとのブロックの累計値をヒストグラムとして表したグラフである。 ブロックを複数のフィールドまたはフレームにまたがって抽出する例を示す図である。 ノイズレベル検出装置(第1の例)の動作を示すフローチャートである。 ノイズレベル検出装置(第2の例)の構成を示すブロック構成図である。 ライン抽出手段における2ラインの相関ライン群の抽出手法を説明するための説明図である。 隣接するラインの画素値からライン間ノイズレベルを検出する手法を説明するための模式的な説明図である。 ライン間ノイズレベルごとのライン数の累計値をヒストグラムとして表したグラフである。 ライン抽出手段における3ラインの相関ライン群の抽出手法を説明するための説明図である。 ノイズレベル検出装置(第2の例)の動作を示すフローチャートである。 従来のノイズ低減装置におけるメディアンフィルタの動作を説明するための説明図である。
符号の説明
1、1B、1C、1D ノイズ低減装置
10 低域成分除去フィルタ(HPF、BPF)
10B 第2低域成分除去フィルタ(HPF、BPF)
20 メディアンフィルタ
30 遅延手段
30A 第1遅延手段
30B 第2遅延手段
40 比較手段
50 選択加減算手段
2 ノイズレベル検出装置(ノイズレベル検出手段)
21 ブロック化手段
22 直交変換手段
23 高周波成分検出手段
24 高周波成分累計手段
25 ノイズレベル判定手段
26 ライン抽出手段
27 ライン間ノイズレベル検出手段
28 レベル累計手段
29 ノイズレベル判定手段
3 遅延装置
IN1 映像入力手段
IN2 ノイズレベル入力手段
OUT 映像信号出力手段

Claims (2)

  1. デジタル映像信号に重畳されたノイズを低減させるノイズ低減装置であって、
    前記デジタル映像信号を入力する映像信号入力手段と、
    この映像信号入力手段で入力されたデジタル映像信号に重畳されているフレームごとのノイズレベルの大きさをレベル値として検出するノイズレベル検出手段と、
    前記デジタル映像信号を、前記ノイズレベル検出手段におけるフレーム処理時間分遅延させる第1遅延手段と、
    この第1遅延手段で遅延させたデジタル映像信号の予め定めた低域成分を除去する低域成分除去フィルタと、
    この低域成分除去フィルタで低域成分が除去された信号において、予め定めた画素数ごとに、画素値の中央値を選択するメディアンフィルタと、
    このメディアンフィルタにおける画素選択時間分、前記第1遅延手段で遅延させたデジタル映像信号をさらに遅延させる第2遅延手段と、
    この第2遅延手段で遅延させたデジタル映像信号の画素ごとに、順次、当該画素値と、前記メディアンフィルタで選択された中央値とを比較する比較手段と、
    この比較手段において、前記デジタル映像信号の画素値が前記中央値よりも大きいと判定された場合に、当該画素値から前記レベル値を減算した信号を出力信号とし、当該画素値が前記中央値よりも小さいと判定された場合に、当該画素値に前記レベル値を加算した信号を出力信号とし、当該画素値が前記中央値と等しいと判定された場合に、当該画素値を出力信号として出力する選択加減算手段と、を備え、
    前記ノイズレベル検出手段は、
    前記デジタル映像信号を画面ごとに予め定めた大きさのブロックに分割するブロック分割手段と、
    このブロック分割手段で分割されたブロックを、ブロックごとに直交変換する直交変換手段と、
    この直交変換手段で変換されたブロックの直流成分と予め定めた当該直流成分近傍とを除く高周波成分の係数を当該ブロック内で平均化し、当該ブロックの高周波成分のレベルとして検出する高周波成分検出手段と、
    この高周波成分検出手段で検出された高周波成分のレベルに対応するブロック数を当該レベルごとに累計する高周波成分累計手段と、
    この高周波成分累計手段で累計された高周波成分のレベルの低レベル値から所定数分のレベルの平均値を、前記レベル値と判定するノイズレベル判定手段と、
    を備えることを特徴とするノイズ低減装置。
  2. デジタル映像信号に重畳されたノイズを低減させるノイズ低減装置であって、
    前記デジタル映像信号を入力する映像信号入力手段と、
    この映像信号入力手段で入力されたデジタル映像信号に重畳されているフレームごとのノイズレベルの大きさをレベル値として検出するノイズレベル検出手段と、
    前記デジタル映像信号を、前記ノイズレベル検出手段におけるフレーム処理時間分遅延させる第1遅延手段と、
    この第1遅延手段で遅延させたデジタル映像信号の予め定めた低域成分を除去する低域成分除去フィルタと、
    この低域成分除去フィルタで低域成分が除去された信号において、予め定めた画素数ごとに、画素値の中央値を選択するメディアンフィルタと、
    このメディアンフィルタにおける画素選択時間分、前記第1遅延手段で遅延させたデジタル映像信号をさらに遅延させる第2遅延手段と、
    この第2遅延手段で遅延させたデジタル映像信号の画素ごとに、順次、当該画素値と、前記メディアンフィルタで選択された中央値とを比較する比較手段と、
    この比較手段において、前記デジタル映像信号の画素値が前記中央値よりも大きいと判定された場合に、当該画素値から前記レベル値を減算した信号を出力信号とし、当該画素値が前記中央値よりも小さいと判定された場合に、当該画素値に前記レベル値を加算した信号を出力信号とし、当該画素値が前記中央値と等しいと判定された場合に、当該画素値を出力信号として出力する選択加減算手段と、を備え、
    前記ノイズレベル検出手段は、
    前記デジタル映像信号から、画面を構成するラインである対象ラインと当該対象ラインに隣接する隣接ラインとを相関ライン群として順次抽出するライン抽出手段と、
    このライン抽出手段で抽出された相関ライン群において、前記対象ラインと前記隣接ラインとの対応する画素の画素値の差分を平均化し、前記対象ラインの前記相関ライン群におけるライン間ノイズレベルとして検出するライン間ノイズレベル検出手段と、
    このライン間ノイズレベル検出手段で検出されたライン間ノイズレベルに対応する前記対象ラインのライン数を当該ライン間ノイズレベルごとに累計するレベル累計手段と、
    このレベル累計手段で累計されたライン間ノイズレベルの低レベル値から所定数分のライン間ノイズレベルの平均値を、前記レベル値と判定するノイズレベル判定手段と、
    を備えることを特徴とするノイズ低減装置。
JP2008325948A 2008-12-22 2008-12-22 ノイズ低減装置 Expired - Fee Related JP5075804B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008325948A JP5075804B2 (ja) 2008-12-22 2008-12-22 ノイズ低減装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008325948A JP5075804B2 (ja) 2008-12-22 2008-12-22 ノイズ低減装置

Publications (2)

Publication Number Publication Date
JP2010148015A JP2010148015A (ja) 2010-07-01
JP5075804B2 true JP5075804B2 (ja) 2012-11-21

Family

ID=42567927

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008325948A Expired - Fee Related JP5075804B2 (ja) 2008-12-22 2008-12-22 ノイズ低減装置

Country Status (1)

Country Link
JP (1) JP5075804B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8654259B2 (en) 2010-02-18 2014-02-18 Sharp Kabushiki Kaisha Image processing system and display device
US8687125B2 (en) 2010-05-18 2014-04-01 Sharp Kabushiki Kaisha Image processing system and display device for carrying out subtraction or addition of a pixel value of a target pixel in accordance with a value equivalent to a noise quantity
CN106296609B (zh) * 2016-08-09 2023-09-12 广东盈动高科自动化有限公司 用于容栅的全波和数字滤波去噪方法和电路
CN110706170B (zh) * 2019-09-26 2023-03-14 哈尔滨工业大学 一种便携式b型超声诊断设备图像的去噪方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05344346A (ja) * 1992-06-08 1993-12-24 Casio Comput Co Ltd 画像圧縮装置
JP3218828B2 (ja) * 1993-12-24 2001-10-15 松下電器産業株式会社 雑音除去装置
JP3299026B2 (ja) * 1994-03-10 2002-07-08 日本放送協会 雑音低減回路
JPH0832839A (ja) * 1994-07-19 1996-02-02 Sharp Corp 雑音除去装置
JPH09319869A (ja) * 1996-05-28 1997-12-12 Nippon Hoso Kyokai <Nhk> 画像エンハンサ
JP4192493B2 (ja) * 2002-05-13 2008-12-10 株式会社豊田中央研究所 画像ノイズ検出方法及びそれを用いた画像処理装置
JP2005031769A (ja) * 2003-07-07 2005-02-03 Ricoh Co Ltd 画像評価装置、画像評価方法、および同方法のプログラムを記録した記録媒体
JP4280614B2 (ja) * 2003-12-09 2009-06-17 Okiセミコンダクタ株式会社 ノイズ低減回路及び方法
JP4260707B2 (ja) * 2004-08-05 2009-04-30 三菱電機株式会社 撮像装置
JP2008294696A (ja) * 2007-05-24 2008-12-04 Sony Corp 映像信号処理方法、映像信号処理方法のプログラム、映像信号処理方法のプログラムを記録した記録媒体及び映像信号処理装置

Also Published As

Publication number Publication date
JP2010148015A (ja) 2010-07-01

Similar Documents

Publication Publication Date Title
US8072506B2 (en) Method for flicker detection in image signal
JP4668185B2 (ja) 画像処理方法
KR101544032B1 (ko) 영상 노이즈 제거 방법 및 장치
KR100677133B1 (ko) 이미지 디테일 강조에 있어서 잡음 있는 가장자리의 검출및 처리를 위한 방법 및 장치
JP2012004787A (ja) 画像処理装置、および画像処理方法、並びにプログラム
Coltuc et al. Context embedding for raster-scan rhombus based reversible watermarking
JP5075804B2 (ja) ノイズ低減装置
JP2005228333A (ja) 画像データからハーフトーンスクリーンの周波数および大きさを推定する方法および装置
KR101140700B1 (ko) 고화질 동영상 워터마킹의 비가시성 향상을 위한 복합 마스킹 시스템
US7295715B2 (en) Apparatus and method for detecting frequency
JP5123839B2 (ja) ノイズ低減装置及びそのプログラム
JP5084755B2 (ja) ノイズ低減装置及びそのプログラム
CN106846262B (zh) 去除蚊式噪声的方法及***
JP4333150B2 (ja) 信号処理装置および方法、記録媒体、並びにプログラム
JP4380399B2 (ja) 撮像装置、ノイズリダクション装置およびノイズリダクション方法並びにプログラム
US20110129160A1 (en) Image processing apparatus and image processing method in the image processing apparatus
JP5039017B2 (ja) ノイズレベル検出装置
JP5091880B2 (ja) 動画像ノイズ除去装置および動画像ノイズ除去プログラム
Yun et al. Color interpolation by expanding a gradient method
JP2009017004A (ja) 画像処理装置及び画像処理方法
US9147231B2 (en) Resolution determination device, image processing device, and image display apparatus
JP6339811B2 (ja) ノイズ判定装置、ノイズ判定方法
Jung et al. Detecting re-captured videos using shot-based photo response non-uniformity
JP5091850B2 (ja) ノイズレベル検出装置
JP2007274064A (ja) ノイズ低減装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110322

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120511

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120605

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120706

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120731

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120827

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150831

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees