JP2012231389A - 画像処理装置、画像処理方法、及びプログラム - Google Patents
画像処理装置、画像処理方法、及びプログラム Download PDFInfo
- Publication number
- JP2012231389A JP2012231389A JP2011099539A JP2011099539A JP2012231389A JP 2012231389 A JP2012231389 A JP 2012231389A JP 2011099539 A JP2011099539 A JP 2011099539A JP 2011099539 A JP2011099539 A JP 2011099539A JP 2012231389 A JP2012231389 A JP 2012231389A
- Authority
- JP
- Japan
- Prior art keywords
- noise
- image
- unit
- region
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Abandoned
Links
- 238000012545 processing Methods 0.000 title claims abstract description 84
- 238000003672 processing method Methods 0.000 title claims description 7
- 230000033001 locomotion Effects 0.000 claims abstract description 104
- 238000004364 calculation method Methods 0.000 claims abstract description 35
- 238000000034 method Methods 0.000 claims abstract description 21
- 230000008569 process Effects 0.000 claims abstract description 16
- 238000001514 detection method Methods 0.000 claims description 100
- 238000012937 correction Methods 0.000 claims description 96
- 238000002156 mixing Methods 0.000 claims description 35
- 230000009467 reduction Effects 0.000 claims description 16
- 230000003068 static effect Effects 0.000 claims description 8
- 239000006185 dispersion Substances 0.000 description 31
- 238000003384 imaging method Methods 0.000 description 24
- 238000005259 measurement Methods 0.000 description 19
- 238000000926 separation method Methods 0.000 description 19
- 238000010586 diagram Methods 0.000 description 7
- 230000006835 compression Effects 0.000 description 5
- 238000007906 compression Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 3
- 238000011946 reduction process Methods 0.000 description 3
- 238000003786 synthesis reaction Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000005684 electric field Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
- H04N5/213—Circuitry for suppressing or minimising impulsive noise
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Picture Signal Circuits (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
【課題】画像上の動き領域又は静止領域の少なくとも一方を精度良く検出する。
【解決手段】平坦検出部は、入力された第1の画像を構成する各画素の画素値の分散に基づいて、第1の画像上の平坦領域を検出し、差分算出部は、第1の画像と、第1の画像の前又は後に連続する第2の画像との対応する画素の画素値どうしの差分を算出し、ノイズレベル検出部は、第1の画像上の平坦領域を構成する各画素に対応する差分の分散に基づいて、ノイズレベルを検出し、動きレベル検出部は、第1の画像を構成する各画素に対応する差分の分散とノイズレベルとの比較結果に基づいて、第1の画像上の静止領域又は動き領域の少なくとも一方を検出する。本開示は、例えば、画像を処理する画像処理装置に適用できる。
【選択図】図1
【解決手段】平坦検出部は、入力された第1の画像を構成する各画素の画素値の分散に基づいて、第1の画像上の平坦領域を検出し、差分算出部は、第1の画像と、第1の画像の前又は後に連続する第2の画像との対応する画素の画素値どうしの差分を算出し、ノイズレベル検出部は、第1の画像上の平坦領域を構成する各画素に対応する差分の分散に基づいて、ノイズレベルを検出し、動きレベル検出部は、第1の画像を構成する各画素に対応する差分の分散とノイズレベルとの比較結果に基づいて、第1の画像上の静止領域又は動き領域の少なくとも一方を検出する。本開示は、例えば、画像を処理する画像処理装置に適用できる。
【選択図】図1
Description
本開示は、画像処理装置、画像処理方法、及びプログラムに関し、特に、例えば、画像上から、動きのあるオブジェクトが表示された動き領域、又は動きのないオブジェクトが表示された静止領域の少なくとも一方を精度良く検出できるようにした画像処理装置、画像処理方法、及びプログラムに関する。
例えば、画像から、動き領域と静止領域とを検出するようにして、動き領域と静止領域とで異なるノイズ低減処理を行うノイズ低減技術が存在する(例えば、引用文献1参照)。
このノイズ低減技術によれば、画像を複数のブロックに区分し、複数のブロック毎に、ブロックマッチング等を用いて、ブロックの動きを表す動きベクトルを検出する。また、ブロック毎に検出した動きベクトルに基づいて、ブロックが、動き領域であるのか、静止領域であるのかを検出する。
そして、動き領域として検出されたブロックには、空間方向にノイズを低減する第1のノイズ低減処理を行い、静止領域として検出されたブロックには、時間方向にノイズを低減する第2のノイズ低減処理を行う。
ところで、上述のノイズ低減技術では、画像上に生じているノイズの量を表すノイズ量が多くなるほどに、そのノイズに起因して、各ブロックの動きベクトルを誤って検出してしまう。
このため、例えば、静止領域として検出すべきブロックを動き領域として検出し、検出したブロックに第1のノイズ低減処理を行ってしまうことが生じ得る。また、反対に、動き領域として検出すべきブロックを静止領域として検出し、第2のノイズ低減処理を行ってしまうことが生じ得る。
したがって、画像上のノイズを効果的に低減するためには、画像上の動き領域と静止領域とを精度良く検出する必要がある。
本開示は、このような状況に鑑みてなされたものであり、画像上の動き領域又は静止領域の少なくとも一方を精度良く検出できるようにするものである。
本開示の一側面の画像処理装置は、入力された第1の画像を構成する各画素の画素値の分散に基づいて、前記第1の画像上の、各画素の画素値が平坦な平坦領域を検出する平坦検出部と、前記第1の画像と、前記第1の画像の前又は後に連続する第2の画像との対応する画素の画素値どうしの差分を算出する差分算出部と、前記第1の画像上の前記平坦領域を構成する各画素に対応する前記差分の分散に基づいて、前記第1の画像を構成する各画素に生じているノイズの統計的なノイズ量を表すノイズレベルを検出するノイズレベル検出部と、前記第1の画像を構成する各画素に対応する前記差分の分散と前記ノイズレベルとの比較結果に基づいて、前記第1の画像上に存在するオブジェクトが静止している領域を表す静止領域、又は前記オブジェクトが動いている領域を表す動き領域の少なくとも一方を検出する動き検出部とを含む画像処理装置である。
前記第1の画像上の前記静止領域を構成する各画素に対応する前記差分に基づいて、前記静止領域に生じているノイズの性質を表すノイズ性質情報を検出するノイズ性質検出部をさらに設けることができる。
前記ノイズ検出性質部には、前記静止領域を構成する各画素に対応する前記差分を、それぞれ、予め決められた周波数成分に分離して得られる複数のパワーレベルの最大値であって、複数の前記周波数成分毎に得られる前記最大値を、前記ノイズ性質情報として検出させることができる。
前記ノイズ性質情報又は前記ノイズレベルの少なくとも一方に基づいて、前記第1の画像に生じているノイズを低減するノイズ低減部をさらに設けることができる。
前記ノイズ低減部は、前記ノイズ性質情報に基づいて、前記静止領域に生じているノイズを低減するための第1の補正量を算出する第1の補正量算出部と、前記ノイズレベルに基づいて、前記動き領域に生じているノイズを低減するための第2の補正量を算出する第2の補正量算出部と、前記第1の補正量と前記第2の補正量とを混合する混合部と、前記混合部の混合により得られる第3の補正量に基づいて、前記第1の画像の各画素の画素値を補正する補正部とを有するようにすることができる。
前記ノイズレベル検出部には、前記第1の画像上の前記平坦領域を構成する各画素に対応する前記差分の分散のうち、最頻の前記分散を、前記ノイズレベルとして検出させることができる。
本開示の一側面の画像処理方法は、入力される画像を処理する画像処理装置の画像処理方法であって、前記画像処理装置による、入力された第1の画像を構成する各画素の画素値の分散に基づいて、前記第1の画像上の、各画素の画素値が平坦な平坦領域を検出する平坦検出ステップと、前記第1の画像と、前記第1の画像の前又は後に連続する第2の画像との対応する画素の画素値どうしの差分を算出する差分算出ステップと、前記第1の画像上の前記平坦領域を構成する各画素に対応する前記差分の分散に基づいて、前記第1の画像を構成する各画素に生じているノイズの統計的なノイズ量を表すノイズレベルを検出するノイズレベル検出ステップと、前記第1の画像を構成する各画素に対応する前記差分の分散と前記ノイズレベルとの比較結果に基づいて、前記第1の画像上に存在するオブジェクトが静止している領域を表す静止領域、又は前記オブジェクトが動いている領域を表す動き領域の少なくとも一方を検出する動き検出ステップとを含む画像処理方法である。
本開示の一側面のプログラムは、コンピュータを、入力された第1の画像を構成する各画素の画素値の分散に基づいて、前記第1の画像上の、各画素の画素値が平坦な平坦領域を検出する平坦検出部と、前記第1の画像と、前記第1の画像の前又は後に連続する第2の画像との対応する画素の画素値どうしの差分を算出する差分算出部と、前記第1の画像上の前記平坦領域を構成する各画素に対応する前記差分の分散に基づいて、前記第1の画像を構成する各画素に生じているノイズの統計的なノイズ量を表すノイズレベルを検出するノイズレベル検出部と、前記第1の画像を構成する各画素に対応する前記差分の分散と前記ノイズレベルとの比較結果に基づいて、前記第1の画像上に存在するオブジェクトが静止している領域を表す静止領域、又は前記オブジェクトが動いている領域を表す動き領域の少なくとも一方を検出する動き検出部として機能させるためのプログラムである。
本開示によれば、入力された第1の画像を構成する各画素の画素値の分散に基づいて、前記第1の画像上の、各画素の画素値が平坦な平坦領域が検出され、前記第1の画像と、前記第1の画像の前又は後に連続する第2の画像との対応する画素の画素値どうしの差分が算出され、前記第1の画像上の前記平坦領域を構成する各画素に対応する前記差分の分散に基づいて、前記第1の画像を構成する各画素に生じているノイズの統計的なノイズ量を表すノイズレベルが検出され、前記第1の画像を構成する各画素に対応する前記差分の分散と前記ノイズレベルとの比較結果に基づいて、前記第1の画像上に存在するオブジェクトが静止している領域を表す静止領域、又は前記オブジェクトが動いている領域を表す動き領域の少なくとも一方が検出される。
本開示によれば、画像上の動き領域又は静止領域の少なくとも一方を精度良く検出することが可能となる。
以下、本開示における実施の形態(以下、実施の形態という)について説明する。なお、説明は以下の順序で行う。
1.第1の実施の形態(ノイズレベルに応じて、静止領域と動き領域とを区別するようにして、動き適応型のノイズリダクションを行う場合の一例)
2.第2の実施の形態(ノイズレベルに応じて、静止領域と動き領域とを区別するようにして、動き補償型のノイズリダクションを行う場合の一例)
3.変形例
1.第1の実施の形態(ノイズレベルに応じて、静止領域と動き領域とを区別するようにして、動き適応型のノイズリダクションを行う場合の一例)
2.第2の実施の形態(ノイズレベルに応じて、静止領域と動き領域とを区別するようにして、動き補償型のノイズリダクションを行う場合の一例)
3.変形例
<1.第1の実施の形態>
[画像処理装置21の構成例]
図1は、第1の実施の形態である画像処理装置21の構成例を示している。
[画像処理装置21の構成例]
図1は、第1の実施の形態である画像処理装置21の構成例を示している。
なお、この画像処理装置21は、例えば、撮像を行う撮像部(図示せず)と、その撮像により得られる各フレームにより構成される動画像を記憶するハードディスク(図示せず)との間に設けられる。そして、この画像処理装置21は、撮像部の撮像によりn番目に得られるフレームnに生じているノイズを除去(低減)するノイズ除去処理を行い、ノイズ除去処理後のフレームnをハードディスクに供給して記憶させる。
ここで、本実施の形態では、フレーム(の画像)に生じているノイズを除去することについて説明するが、その他、例えば、フィールド(の画像)に生じているノイズを除去するように構成できる。
画像処理装置21は、差分算出部41、平坦検出部42、ノイズレベル検出部43、動きレベル検出部44、ノイズ性質検出部45、時間方向NR(noise reduction)部46、空間方向NR部47、混合部48、及び補正部49から構成される。
差分算出部41には、例えば、図示せぬ撮像部の撮像により得られるフレームn-1及びフレームnが入力される。
差分算出部41は、フレームn上の輝度値Y(x,y)から、フレームn-1上の輝度値Y(x,y)'を減算し、その減算により得られる差分値diffy(x,y)を、フレーム差分信号として、ノイズレベル検出部43乃至時間方向NR部46に供給する。
ここで、輝度値Y(x,y)とは、例えば、フレームnの左上を原点(0,0)とし、水平方向の座標をxとし、垂直方向の座標をyとしたときの位置(x,y)に存在する画素p(x,y)の輝度値を表す。このことは、輝度値Y(x,y)'についても同様である。
なお、第1の実施の形態では、フレームn上の画素の画素値として、輝度値Y(x,y)を補正してノイズを除去することを説明するが、補正の対象とされる画素値は、輝度値Y(x,y)に限定されない。すなわち、例えば、輝度値Y(x,y)とともに、又は輝度値Y(x,y)に代えて、色差等も補正の対象とすることができる。
平坦検出部42には、図示せぬ撮像部からフレームnが供給される。平坦検出部42は、供給されるフレームnの各画素p(x,y)に順次注目し、注目している注目画素p(x,y)の平坦度f(x,y)を検出する。
ここで、注目画素p(x,y)のブロックは、注目画素p(x,y)を中心とするM×N(横×縦)個の画素により構成されており、輝度平均Ave0は、注目画素p(x,y)のブロックに含まれるM×N個の各画素の輝度値Y(x,y)の平均を表す。
平坦検出部42は、算出した輝度平均Ave0と、注目画素p(x,y)のブロックを構成するM×N個の各画素の輝度値Y(x,y)に基づいて、次式(2)により、注目画素p(x,y)の空間分散値var0を算出する。
ここで、空間分散値var0とは、注目画素p(x,y)の輝度値Y(x,y)の分散を表す。また、空間分散値var0が小さい程に、フレームn上の、注目画素p(x,y)のブロック(が表す領域)は、各画素の輝度値Y(x,y)が平坦な領域となる。すなわち、注目画素p(x,y)のブロックにおける各画素の輝度値Y(x,y)が(殆ど)同一となる領域、つまり、注目画素p(x,y)のブロックにおける各画素の輝度値Y(x,y)どうしの変化が(殆ど)ない領域となる。
したがって、平坦検出部42は、注目画素p(x,y)の空間分散値var0の逆数1/var0を、注目画素p(x,y)の平坦度f(x,y)(=1/var0)として検出する。この場合、平坦度f(x,y)が高い程に、対応する注目画素p(x,y)は平坦なものとなる。
平坦検出部42は、フレームn上の各画素p(x,y)毎に検出された平坦度f(x,y)が、予め決められた閾値以上であるか否かを判定する。
そして、平坦検出部42は、その判定結果に基づいて、予め決められた閾値以上となる平坦度f(x,y)に対応する画素p(x,y)により構成される平坦な領域を、平坦領域D(x,y)として検出し、ノイズレベル検出部43に供給する。
ノイズレベル検出部43は、差分算出部41からのフレーム差分信号としての複数の差分値diffy(x,y)のうち、平坦検出部42からの平坦領域D(x,y)に対応する差分値diffy(x,y)に基づいて、フレームnのノイズレベルを検出する。
ここで、ノイズレベルとは、フレームn上の各画素p(x,y)に生じているノイズの統計的な量を表す。
なお、ノイズレベル検出部43において、平坦領域D(x,y)に対応する差分値diffy(x,y)を用いてノイズレベルを検出するのは、以下の理由による。
すなわち、差分値diffy(x,y)は、主に、フレーム上に存在するオブジェクトの動き等により、フレームn-1とフレームnとの対応する画素どうしの位置がずれる位置ズレと、フレーム上の画素に生じるノイズとにより変化する。
上述のように、ノイズレベル検出部43は、フレームn上の各画素p(x,y)に生じているノイズの統計的な量を表すノイズレベルを検出する。このため、ノイズレベルの検出に用いる差分値diffy(x,y)は、対応する画素どうしの位置ズレでは変化せず、フレーム上の画素に生じるノイズにより変化するという条件を満たすものであることが望ましい。
上述したように、平坦領域D(x,y)とは、平坦領域D(x,y)を構成する各画素の輝度値Y(x,y)が(殆ど)同一となる領域である。このため、平坦領域D(x,y)において、位置ズレが生じたとしても、平坦領域D(x,y)に対応する差分値diffy(x,y)は、殆ど変化せず、フレーム上の画素に生じるノイズにより変化するものとなり、上述の条件を満たす。
よって、ノイズレベル検出部43は、平坦領域D(x,y)に対応する差分値diffy(x,y)に基づいて、ノイズレベルを検出するようにしている。
すなわち、例えば、ノイズレベル検出部43は、フレームn上の平坦領域D(x,y)を構成する各画素p(x,y)dに順次注目し、次式(3)により、注目している注目画素p(x,y)dのブロックにおける差分平均Ave1を算出する。
ここで、差分平均Ave1は、注目画素p(x,y)dのブロックを構成する各画素に対応する差分値diffy(x,y)の平均を表す。
ノイズレベル検出部43は、算出した差分平均Ave1と、注目画素p(x,y)dのブロックを構成する各画素に対応する差分値diffy(x,y)に基づいて、次式(4)により、注目画素p(x,y)dの時間分散値var1を算出する。
ここで、時間分散値var1とは、注目画素p(x,y)dに対応する差分値diffy(x,y)の分散を表す。
いまの場合、ノイズレベル検出部43は、差分値diffy(x,y)が、フレーム上の画素に生じるノイズのみにより変化する平坦領域D(x,y)上の各画素p(x,y)dについて、時間分散値var1を算出するようにしている。
したがって、この時間分散値var1は、平坦領域D(x,y)上の各画素p(x,y)dに生じているノイズの量を表すものとなる。
ノイズレベル検出部43は、フレームn上の平坦領域D(x,y)を構成する各画素p(x,y)dにすべて注目し、各画素p(x,y)d毎に時間分散値var1を算出する。そして、ノイズレベル検出部43は、算出した各画素p(x,y)d毎の時間分散値var1に基づいて、図2に示されるようなヒストグラムを計測する。なお、図2において、横軸は時間分散値var1を表し、縦軸は画素p(x,y)dの画素の画素数を表す。
ノイズレベル検出部43は、計測したヒストグラムの極大部分(頻度の最も高い時間分散値var1)を、ノイズレベルとして、動きレベル検出部44に供給する。
動きレベル検出部44は、差分算出部41からのフレーム差分信号としての差分値diffy(x,y)に基づいて、式(3)及び(4)により、フレームn上の各画素p(x,y)の時間分散値var1を算出する。
そして、動きレベル検出部44は、算出したフレームn上の各画素p(x,y)の時間分散値var1が、ノイズレベル検出部43のからのノイズレベル以下であるか否かに基づいて、フレームn上の静止領域Ds(x,y)を検出する。
なお、静止領域Ds(x,y)とは、領域Ds(x,y)上に存在するオブジェクトが静止している(動いていない)領域をいい、対応する差分値diffy(x,y)が所定の閾値未満となる領域をいう。
ここで、静止領域Ds(x,y)では、静止領域Ds(x,y)上に存在するオブジェクトが静止しているため、そのオブジェクトの動きによる差分値diffy(x,y)の増加はなく、ノイズに起因して差分値diffy(x,y)が増加する。
したがって、静止領域Ds(x,y)上の画素p(x,y)の時間分散値var1は、フレームnの各画素p(x,y)に生じている統計的なノイズの量を表すノイズレベル以下となる。
また、フレームn上の動き領域では、画素に生じているノイズの他、動き領域上に存在するオブジェクトの動きに起因して、差分値diffy(x,y)が増加する。なお、動き領域とは、その領域上に存在するオブジェクトが動いている領域をいい、対応する差分値diffy(x,y)が所定の閾値以上となる領域をいう。
したがって、動き領域上の画素p(x,y)の時間分散値var1は、フレームnの各画素p(x,y)に生じている統計的なノイズの量を表すノイズレベルよりも大となる。
よって、動きレベル検出部44は、上述のように、算出したフレームn上の各画素p(x,y)の時間分散値var1が、ノイズレベル検出部43からのノイズレベル以下であるか否かに基づいて、フレームn上の静止領域Ds(x,y)を検出する。
動きレベル検出部44は、検出した静止領域Ds(x,y)(を表す情報)を、ノイズ性質検出部45に供給する。
また、例えば、動きレベル検出部44は、図3に示されるように、フレームn上の各画素p(x,y)の時間分散値var1を、それぞれ、最大の時間分散値max(var1)で正規化(除算)して、各画素の動きレベルを検出し、混合部48に供給する。
なお、図3に示されるように、時間分散値var1がノイズレベルであるときの動きレベルが0.5である場合、0.5以下の動きレベルに対応する画素p(x,y)は、静止領域Ds(x,y)上の画素p(x,y)とされ、0.5より大の動きレベルに対応する画素p(x,y)は、動き領域上の画素p(x,y)とされる。
ノイズ性質検出部45は、差分算出部41からのフレーム差分信号としての複数の差分値diffy(x,y)のうち、動きレベル検出部44からの静止領域Ds(x,y)に対応する差分値diffy(x,y)に基づいて、静止領域Ds(x,y)に生じているノイズの性質を表すノイズ性質情報を検出する。
ここで、静止領域Ds(x,y)上に存在するオブジェクトは、フレームn-1からフレームnにおいて静止している(動かない)ので、静止領域Ds(x,y)に対応する差分値diffy(x,y)は、静止領域Ds(x,y)上に生じるノイズのみに応じて変化するものとなる。
このため、ノイズ性質検出部45は、静止領域Ds(x,y)に対応する差分値diffy(x,y)に基づいて、ノイズ性質情報を検出する。なお、ノイズ性質検出部45の詳細は、図4を参照して詳述する。
時間方向NR部46は、差分算出部41からのフレーム差分信号としての差分値diffy(x,y)、及びノイズ性質検出部45からのノイズ性質情報に基づいて、補正量Aを算出して混合部48に供給する。
ここで、補正量Aとは、フレームn上の静止領域Ds(x,y)に生じているノイズを時間方向に除去するために、フレームnの輝度値Y(x,y)の負値{-Y(x,y)}と加算される値である。
なお、時間方向NR部46が行う処理の詳細は、図8及び図9を参照して詳述する。
空間方向NR部47は、図示せぬ撮像部からのフレームnと、ノイズレベル検出部43からのノイズレベルとに基づいて、補正量Bを算出して混合部48に供給する。
ここで、補正量Bとは、フレームn上の動き領域に生じているノイズを空間方向に除去するために、フレームnの輝度値Y(x,y)の負値{-Y(x,y)}と加算される値である。
なお、空間方向NR部47が行う処理の詳細は、図10及び図11を参照して詳述する。
混合部48は、動きレベル検出部44からの、フレームn上の各画素毎の動きレベルに基づいて、フレームn上の各画素毎に、時間方向NR部46からの補正量A、及び空間方向NR部47からの補正量Bを混合する。
すなわち、例えば、混合部48は、動きレベル検出部44からの動きレベルに基づいて、補正量Aに乗算される重み(1-α)と、補正量Bに乗算される重みαを決定する。但し、重みαは0以上1以下の値とされる。
そして、混合部48は、補正量Aと補正量Bとを、(1-α)対αの割合で混合し、その混合結果{(1-α)×A+α×B}を、補正量Cとして、補正部49に供給する。なお、混合部48が行う処理の詳細は、図12及び図13を参照して詳述する。
補正部49は、混合部48からの補正量Cに基づいて、図示せぬ撮像部からのフレームnを補正して、例えば図示せぬハードディスク等に供給して記憶させる。
すなわち、例えば、補正部49は、混合部48から供給される、フレームn上の各画素の補正量C(=(1-α)×A+α×B)から、図示せぬ撮像部からのフレームnの各画素のうち、対応する輝度値Y(x,y)を減算する(輝度値{-Y(x,y)}を加算する)。
そして、補正部49は、その減算により、フレームn上の各画素毎に得られる値を輝度値とするフレームを、補正後のフレームnとして、図示せぬハードディスク等に供給して記憶させる。
[ノイズ性質検出部45の詳細]
次に、図4は、ノイズ性質検出部45の詳細な構成例を示している。
次に、図4は、ノイズ性質検出部45の詳細な構成例を示している。
ノイズ性質検出部45は、帯域分離部61、ヒストグラム計測部62乃至65から構成される。
帯域分離部61は、差分算出部41からのフレーム差分信号を、異なる周波数成分(例えば、高域成分、中高域成分、中低域成分、及び低域成分等)毎のパワーレベルに分離する。
ここで、パワーレベルとは、フレーム差分信号としての各差分値diffy(x,y)毎に算出されるものであり、所定の周波数成分に分離する際に用いるフィルタ係数と、フレーム差分信号としての差分値diffy(x,y)との積和演算により算出される。
すなわち、例えば、帯域分離部61は、差分算出部41からのフレーム差分信号としての複数の差分値diffy(x,y)に順次注目する。
帯域分離部61は、フレーム差分信号に対応する差分フレームのうち、注目している注目差分値diffy(x,y)を中心とするブロックを構成する各画素の差分値diffy(x,y)と、高域成分を分離するためにフィルタ係数wとのそれぞれによる積和演算を演算する。
そして、帯域分離部61は、積和演算により得られる、注目差分値diffy(x,y)の高域パワーレベルを、ヒストグラム計測部62に供給する。これにより、帯域分離部61からヒストグラム計測部62には、フレーム差分信号に対応する各差分値diffy(x,y)毎の高域パワーレベルが供給される。
ヒストグラム計測部62は、動きレベル検出部44からの静止領域Ds(x,y)に対応する各差分値diffy(x,y)毎の高域パワーレベルPL(x,y)について、例えば図5に示されるような分布のヒストグラム(高域パワーヒストグラム)を計測する。なお、図5において、横軸は、高域パワーレベルを表し、縦軸は高域パワーレベルPL(x,y)に対応する静止領域Ds(x,y)上の画素の画素数を表す。
ここで、上述したように、静止領域Ds(x,y)に対応する各差分値diffy(x,y)は、静止領域Ds(x,y)に生じるノイズのみに応じて変化する。
このため、高域パワーレベルPL(x,y)は、フレームn上の静止領域Ds(x,y)の高域成分に生じているノイズの高域パワーレベルを表す。したがって、高域パワーヒストグラムは、フレームn上の静止領域Ds(x,y)の高域成分に生じているノイズの高域パワーレベルの分布を表している。
ヒストグラム計測部62は、高域パワーヒストグラムに基づいて、高域パワーレベルの最大値を、高域ノイズパワー最大値として、時間方向NR部46に供給する。
なお、帯域分離部61は、同様にして、フレーム差分信号に対応する各差分値diffy(x,y)毎の中高域パワーレベルを算出し、ヒストグラム計測部63に供給する。また、帯域分離部61は、フレーム差分信号に対応する各差分値diffy(x,y)毎の中低域パワーレベルを算出し、ヒストグラム計測部64に供給する。さらに、帯域分離部61は、フレーム差分信号に対応する各差分値diffy(x,y)毎の低域パワーレベルを算出し、ヒストグラム計測部65に供給する。
ヒストグラム計測部63乃至65には、ヒストグラム計測部62と同様に、動きレベル検出部44から静止領域が供給され、ヒストグラム計測部63乃至65は、ヒストグラム計測部62と同様の処理を行う。
すなわち、例えば、ヒストグラム計測部63は、中高域パワーヒストグラムに基づいて、中高域パワーレベルの最大値を、中高域ノイズパワー最大値として、時間方向NR部46に供給する。また、ヒストグラム計測部64は、中低域パワーヒストグラムに基づいて、中低域パワーレベルの最大値を、中低域ノイズパワー最大値として、時間方向NR部46に供給する。さらに、ヒストグラム計測部65は、低域パワーヒストグラムに基づいて、低域パワーレベルの最大値を、低域ノイズパワー最大値として、時間方向NR部46に供給する。
換言すれば、高域ノイズパワー最大値、中高域ノイズパワー最大値、中低域ノイズパワー最大値、及び低域ノイズパワー最大値が、ノイズ性質情報として、ヒストグラム計測部62乃至65から時間方向NR部46に供給される。
次に、図6及び図7を参照して、高域ノイズパワー最大値、中高域ノイズパワー最大値、中低域ノイズパワー最大値、及び低域ノイズパワー最大値が、静止領域Ds(x,y)上に生じているノイズの性質を表すことを説明する。
図6は、MPEG(moving picture experts group)圧縮等により圧縮されていないフレームnのノイズ性質情報の一例を示している。
図6A乃至図6Dには、ノイズ性質情報として、それぞれ、高域ノイズパワー最大値、中高域ノイズパワー最大値、中低域ノイズパワー最大値、及び低域ノイズパワー最大値が示されている。
フレームnが、MPEG圧縮等により圧縮されていない場合、図6A乃至図6Dに示されるように、高域ノイズパワー最大値、中高域ノイズパワー最大値、中低域ノイズパワー最大値、及び低域ノイズパワー最大値のいずれも殆ど等しいものとなる。
つまり、フレームn上の静止領域Ds(x,y)に生じているノイズの性質として、いずれの周波数成分においても、同様のノイズが生じていることがわかる。
図7は、MPEG圧縮等により圧縮されたフレームnのノイズ性質情報の一例を示している。
図7A乃至図7Dには、ノイズ性質情報として、それぞれ、高域ノイズパワー最大値、中高域ノイズパワー最大値、中低域ノイズパワー最大値、及び低域ノイズパワー最大値が示されている。
フレームnが、MPEG圧縮等により圧縮されている場合、高域成分ほど粗く量子化されるため、図7A乃至図7Dに示されるように、周波数成分が高い程に、ノイズパワー最大値が小さくなることがわかる。
つまり、フレームn上の静止領域Ds(x,y)に生じているノイズの性質として、周波数成分が高い程に、ノイズパワー最大値が小さくなっていることがわかる。
[時間方向NR部46の詳細]
次に、図8は、時間方向NR部46の詳細な構成例を示している。
次に、図8は、時間方向NR部46の詳細な構成例を示している。
時間方向NR部46は、帯域分離部81、補正部82乃至85、及び帯域合成部86から構成される。
帯域分離部81は、帯域分離部61と同様にして、差分算出部41からのフレーム差分信号を、高域パワーレベル、中高域パワーレベル、中低域パワーレベル、及び低域パワーレベルに分離する。
そして、帯域分離部81は、高域パワーレベルを補正部82、中高域パワーレベルを補正部83、中低域パワーレベルを補正部84、低域パワーレベルを補正部85にそれぞれ供給する。
補正部82には、図4のヒストグラム計測部62から高域ノイズパワー最大値が供給される。補正部82は、帯域分離部81からの高域パワーレベルのうち、ヒストグラム計測部62からの高域ノイズパワー最大値以下の高域パワーレベルに対して、ノイズ除去処理を施す。
すなわち、高域ノイズパワー最大値は、フレームn上の静止領域Ds(x,y)に生じているノイズの高域パワーレベルの最大値を表している。したがって、高域ノイズパワー最大値以下の高域パワーレベルは、画素の動きに起因するものではなく、ノイズに起因するものであるため、時間方向におけるノイズ除去処理の対象とされる。
したがって、例えば、補正部82は、高域ノイズパワー最大値に近づくにつれてノイズの除去量を大きくし、高域ノイズパワー最大値から遠のくにつれ、ノイズの除去量を小さくする。
次に、図9は、補正部82が行うノイズ除去処理の様子を示している。
図9において、関数101は、ノイズを除去する程度を表す除去量を表しており、関数102は、補正部82から入力される高域パワーレベルを、除去量に応じて補正して得られる補正後の高域パワーレベルの出力を表す。
補正部82は、帯域分離部81からの高域パワーレベルを、関数102のように、高域ノイズパワー最大値に近づくにつれて大きく補正するようにして得られる高域補正パワーレベルを帯域合成部86に供給する。
なお、補正部83乃至85は、補正部82と同様の処理を行う。
すなわち、例えば、補正部83は、帯域分離部81からの中高域パワーレベルのうち、ヒストグラム計測部63からの中高域ノイズパワー最大値以下の中高域パワーレベルに対して、補正部82と同様のノイズ除去処理を施し、その結果得られる中高域補正パワーレベルを帯域合成部86に供給する。
また、例えば、補正部84は、帯域分離部81からの中低域パワーレベルのうち、ヒストグラム計測部64からの中低域ノイズパワー最大値以下の中低域パワーレベルに対して、補正部82と同様のノイズ除去処理を施し、その結果得られる中低域補正パワーレベルを帯域合成部86に供給する。
さらに、例えば、補正部85は、帯域分離部81からの低域パワーレベルのうち、ヒストグラム計測部65からの低域ノイズパワー最大値以下の低域パワーレベルに対して、補正部82と同様のノイズ除去処理を施し、その結果得られる低域補正パワーレベルを帯域合成部86に供給する。
帯域合成部86は、補正部82からの高域補正パワーレベル、補正部83からの中高域補正パワーレベル、補正部84からの中低域補正パワーレベル、及び補正部85からの低域補正パワーレベルを合成し、その結果得られる補正量Aを混合部48に供給する。なお、補正量Aは、フレームnの各画素毎に算出される。
[空間方向NR部47の詳細]
図10は、空間方向NR部47の詳細な構成例を示している。
図10は、空間方向NR部47の詳細な構成例を示している。
空間方向NR部47は、イプシロン算出部121、垂直処理部122、及び水平処理部123から構成される。
イプシロン算出部121は、ノイズレベル検出部43からのノイズレベルに基づいて、図11に示されるようにして、イプシロンフィルタに用いる値ε(イプシロン)を算出し、垂直処理部122及び水平処理部123に供給する。
垂直処理部122は、図示せぬ撮像部からのフレームnに対して、垂直方向にイプシロンフィルタを用いたフィルタ処理を行う。すなわち、例えば、垂直処理部122は、図示せぬ撮像部からのフレームnの各画素に注目し、注目している画素と垂直方向に隣接している画素との画素値の差分絶対値を算出する。
そして、垂直処理部122は、算出した差分絶対値が、イプシロン算出部121からの値ε以上ではない場合、フレームn上の注目画素に対して、ローパスフィルタを用いたフィルタ処理を施す。なお、垂直処理部122は、算出した差分絶対値が、イプシロン算出部121からの値ε以上である場合、フィルタ処理を行わない。
垂直処理部122は、フレームn上の各画素全てに注目した後、処理後のフレームnを、水平処理部123に供給する。
水平処理部123は、垂直処理部122からのフレームnに対して、水平方向にイプシロンフィルタを用いたフィルタ処理を行う。すなわち、例えば、水平処理部123は、垂直処理部122からのフレームnの各画素に注目し、注目している画素と水平方向に隣接している画素との画素値の差分絶対値を算出する。
そして、水平処理部123は、算出した差分絶対値が、イプシロン算出部121からの値ε以上ではない場合、フレームn上の注目画素に対して、ローパスフィルタを用いたフィルタ処理を施す。なお、水平処理部123は、算出した差分絶対値が、イプシロン算出部121からの値ε以上である場合、フィルタ処理を行わない。
水平処理部123は、フレームn上の各画素全てに注目した後、処理後のフレームnの各画素の輝度値を、フレームnの各画素毎の補正量Bとして、混合部48に供給する。
[混合部48の詳細]
図12は、混合部48の詳細な構成例を示している。
図12は、混合部48の詳細な構成例を示している。
混合部48は、重み計算部141、減算部142、乗算部143、乗算部144、及び加算部145から構成される。
重み計算部141は、動きレベル検出部44からの、フレームnの各画素毎の動きレベルに基づいて、各画素毎に、輝度値Y(x,y)と乗算される補正量Bの重みαを計算し、減算部142及び乗算部143に供給する。
減算部142は、予め保持している値1から、重み計算部141からの重みαを減算して得られる重み(1-α)を、乗算部144に供給する。
乗算部143は、空間方向NR部47からの補正量Bに対して、重み計算部141からの重みαを乗算し、その乗算結果(α×B)を、加算部145に供給する。
乗算部144は、時間方向NR部46からの補正量Aに対して、減算部142からの重み(1-α)を乗算し、その乗算結果{(1-α)×A}を、加算部145に供給する。
加算部145は、乗算部143からの乗算結果(α×B)、及び乗算部144からの乗算結果{(1-α)×A}を加算し、その加算結果{(1-α)×A+α×B}を、補正量Cとして、補正部49に供給する。
すなわち、混合部48は、図13に示されるように、フレームnの各画素の動きレベルに応じて、補正量Bの重みαを決定するようにしている。
[画像処理装置21の動作説明]
次に、図14のフローチャートを参照して、画像処理装置21が行う画像処理について説明する。
次に、図14のフローチャートを参照して、画像処理装置21が行う画像処理について説明する。
この画像処理は、図示せぬ撮像部の撮像により得られる動画像を構成するフレームnが供給されたときに開始される。
ステップS21において、差分算出部41は、図示せぬ撮像部から入力されるフレームn上の輝度値Y(x,y)から、フレームn-1上の輝度値Y(x,y)'を減算し、その結果得られる差分値diffy(x,y)を、フレーム差分信号としてノイズレベル検出部43乃至時間方向NR部46に供給する。
ステップS22において、平坦検出部42には、図示せぬ撮像部から入力されるフレームnの各画素p(x,y)に注目し、式(1)及び(2)により、注目している注目画素p(x,y)の輝度値Y(x,y)の分散を表す空間分散値var0を算出する。
また、平坦検出部42は、フレームnの各画素p(x,y)全てに注目した後、フレームnの各画素p(x,y)毎に算出された空間分散値var0に基づいて、各画素p(x,y)毎の平坦度f(x,y)を検出する。
そして、平坦検出部42は、フレームn上の各画素p(x,y)毎に検出された平坦度f(x,y)に基づいて、フレームn上の平坦領域D(x,y)を検出し、ノイズレベル検出部43に供給する。
ステップS23において、ノイズレベル検出部43は、差分算出部41からのフレーム差分信号としての複数の差分値diffy(x,y)のうち、平坦検出部42からの平坦領域D(x,y)に対応する差分値diffy(x,y)に基づいて、式(3)及び(4)により、平坦領域D(x,y)に対応する差分値diffy(x,y)の分散を表す時間分散値var1を算出する。
そして、ノイズレベル検出部43は、図2に示されるように、算出した時間分散値var1の分布に基づいて、フレームnのノイズレベルを検出し、動きレベル検出部44及び空間方向NR部47に供給する。
ステップS24において、動きレベル検出部44は、差分算出部41からのフレーム差分信号としての差分値diffy(x,y)に基づいて、式(3)及び(4)により、フレームn上の各画素p(x,y)の時間分散値var1を算出する。
そして、動きレベル検出部44は、算出したフレームn上の各画素p(x,y)の時間分散値var1が、ノイズレベル検出部43のから供給されるノイズレベル以下であるか否かに基づいて、フレームn上の静止領域Ds(x,y)を検出し、ノイズ性質検出部45に供給する。
ステップS25において、動きレベル検出部44は、図3に示されるように、フレームn上の各画素p(x,y)の時間分散値var1を、それぞれ、最大時間分散値max(var1)で正規化(除算)して、各画素の動きレベルを検出し、混合部48に供給する。
ステップS26において、ノイズ性質検出部45は、差分算出部41からのフレーム差分信号としての各差分値diffy(x,y)のうち、動きレベル検出部44からの静止領域Ds(x,y)に対応する差分値diffy(x,y)に基づいて、静止領域Ds(x,y)のノイズ性質情報を検出し、時間方向NR部46に供給する。
ステップS27において、時間方向NR部46は、差分算出部41からのフレーム差分信号としての差分値diffy(x,y)、及びノイズ性質検出部45からのノイズ性質情報に基づいて、補正量Aを算出して混合部48に供給する。
ステップS28において、空間方向NR部47は、図示せぬ撮像部からのフレームnと、ノイズレベル検出部43からのノイズレベルとに基づいて、補正量Bを算出して混合部48に供給する。
ステップS29において、混合部48は、動きレベル検出部44からの、フレームnの各画素毎の動きレベルに基づいて、フレームn上の各画素毎に、時間方向NR部46からの補正量A、及び空間方向NR部47からの補正量Bを、所定の割合で混合し、その混合結果として得られる補正量Cを、補正部49に供給する。
ステップS30において、補正部49は、混合部48からの補正量Cに基づいて、図示せぬ撮像部からのフレームnを補正して、図示せぬハードディスク等に供給して記憶させる。図示せぬ撮像部からのフレームnを全て処理した後、画像処理は終了される。
以上説明したように、画像処理によれば、ノイズレベルに応じて、静止領域を検出するようにしたので、フレームに生じているノイズのノイズ量の多寡に拘らず、精度良く静止領域を検出することが可能となる。
また、動きレベル検出部44は、フレームn上の各画素p(x,y)の時間分散値var1が、ノイズレベル検出部43からのノイズレベル以下であるか否かに基づいて、フレームn上の静止領域Ds(x,y)とともに、又は静止領域Ds(x,y)に代えて、動き領域を検出するようにすることができる。
この場合についても同様に、フレームnに生じているノイズのノイズ量の多寡に拘らず、精度良く動き領域を検出することが可能となる。
したがって、フレームn上の静止領域と動き領域とを精度良く検出できるようになるので、静止領域と動き領域とで適切なノイズの除去を行なうことができるようになる。このため、例えば、動き領域に時間方向のノイズ除去を誤って行ってしまうことにより生じる動きボケ等を防止することが可能となる。
また、画像処理によれば、ノイズのみに起因して差分値diffy(x,y)が変化する静止領域からノイズ性質情報を検出するようにした。したがって、例えば、ノイズの他、オブジェクトの動きに起因して差分値diffy(x,y)が変化する動き領域から、ノイズ性質情報を検出する場合と比較して、より正確なノイズ性質情報を検出することが可能となる。
このため、例えば、AD(analog to digital)変換時のサンプリング誤差に起因して発生する伝送ノイズ、チューナ等に起因して発生する弱電界ノイズ、カメラの撮像素子に起因して発生するセンサノイズ、MPEG圧縮等により変質したノイズ、フレームを所定の大きさにスケーリングしたことにより周波数の劣化したノイズ等の、種々のノイズを精度良く除去することが可能となる。
<2.第2の実施の形態>
[画像処理装置161の構成例]
図15は、第2の実施の形態である画像処理装置161の構成例を示している。
[画像処理装置161の構成例]
図15は、第2の実施の形態である画像処理装置161の構成例を示している。
なお、画像処理装置161は、図1の画像処理装置21と同様に構成される部分については、同一の符号を付しているため、それらの説明は、以下、適宜省略する。
すなわち、この画像処理装置161は、図1の時間方向NR部46乃至補正部49に代えて、MC型NR部181が設けられている他は、同様に構成されている。
MC型NR部181は、動き補償型(MC型)のノイズ除去(低減)を行う。
すなわち、例えば、MC型NR部181は、図示せぬ撮像部からのフレームn-1及びフレームn、ノイズレベル検出部43からのノイズレベル、動きレベル検出部44からの各画素の動きレベル、及びノイズ性質検出部45からのノイズ性質情報に基づいて、フレームnに生じているノイズを除去し、ノイズを除去後のフレームnを、図示せぬハードディスク等に供給して記憶させる。
具体的には、例えば、MC型NR部181は、ノイズレベル検出部43からのノイズレベルが予め決められた閾値未満である場合、フレームnにノイズが殆どないものと判定する。
フレームnにノイズが殆どない場合、第1の実施の形態で説明したようにして静止領域等を検出する場合よりも、動きベクトルを用いて静止領域と動き領域とを検出する精度のほうが高いものとなる。
したがって、この場合、例えば、MC型NR部181は、図示せぬ撮像部からのフレームnを複数のブロックに区分する。また、MC型NR部181は、図示せぬ撮像部からのフレームn-1及びフレームnに基づいて、フレームn上の複数のブロック毎に、そのブロックの動きを表す動きベクトルを検出する。
そして、MC型NR部181は、複数のブロック毎の動きベクトルに基づいて、各ブロックが、静止領域であるのか、動き領域であるのかを検出する。
MC型NR部181は、動き領域として検出されたブロックに対して、ノイズレベル検出部43からのノイズレベルに応じた強さで、空間方向にノイズを除去する処理を行う。
また、MC型NR部181は、静止領域として検出されたブロックに対して、ノイズ性質検出部45からのノイズ性質情報に応じた強さで、周波数成分毎に、時間方向にノイズを除去する処理を行う。
さらに、例えば、MC型NR部181は、ノイズレベル検出部43からのノイズレベルが予め決められた閾値以上である場合、フレームnにノイズが多く生じているものと判定する。
フレームnにノイズが多く生じている場合、動きベクトルを誤って検出する事態が生じ易くなるので、MC型NR部181は、図1の時間方向NR部46乃至補正部49と同様の処理を行うようにして、フレームn上のノイズを除去する。
このように構成されるMC型NR部181では、静止領域と動き領域とを精度良く検出するようにしたので、動きボケが非常に少ないノイズの除去を行うことが可能となる。
また、フレームnにノイズが多く生じている場合には、MC型NR部181は、図1の時間方向NR部46乃至補正部49と同様の処理を行うようにしたので、ブロックに生じているノイズに起因して、動きベクトルを誤って検出する事態を防止(抑止)できるようになる。
このため、例えば、MC型NR部181では、動きベクトルを誤って検出してしまうことに起因して、静止領域と動き領域とで適切なノイズの除去を行うことができない場合に生じるノイズ暴れや水平線崩れのような事態を防止することが可能となる。
ここで、ノイズ暴れとは、フレームn上に生じるノイズが止まったり動いたりを繰り返す現象をいい、水平線崩れとは、フレームn上のブロックに存在する水平線の輪郭がガタガタに崩れてしまう現象をいう。
<3.変形例>
第1及び第2の実施の形態では、差分算出部41において、フレームnの輝度値Y(x,y)から、フレームn-1の輝度値Y(x,y)'を減算して差分値diffy(x,y)を算出するようにしたが、差分値diffy(x,y)の算出方法は、これに限定されない。
第1及び第2の実施の形態では、差分算出部41において、フレームnの輝度値Y(x,y)から、フレームn-1の輝度値Y(x,y)'を減算して差分値diffy(x,y)を算出するようにしたが、差分値diffy(x,y)の算出方法は、これに限定されない。
すなわち、例えば、差分算出部41は、フレームnの輝度値Y(x,y)から、フレームn+1の輝度値Y(x,y)''を減算して差分値diffy(x,y)を算出するようにしてもよい。
なお、本技術は、以下のような構成をとることができる。
(1)入力された第1の画像を構成する各画素の画素値の分散に基づいて、前記第1の画像上の、各画素の画素値が平坦な平坦領域を検出する平坦検出部と、前記第1の画像と、前記第1の画像の前又は後に連続する第2の画像との対応する画素の画素値どうしの差分を算出する差分算出部と、前記第1の画像上の前記平坦領域を構成する各画素に対応する前記差分の分散に基づいて、前記第1の画像を構成する各画素に生じているノイズの統計的なノイズ量を表すノイズレベルを検出するノイズレベル検出部と、前記第1の画像を構成する各画素に対応する前記差分の分散と前記ノイズレベルとの比較結果に基づいて、前記第1の画像上に存在するオブジェクトが静止している領域を表す静止領域、又は前記オブジェクトが動いている領域を表す動き領域の少なくとも一方を検出する動き検出部とを含む画像処理装置。
(2)前記第1の画像上の前記静止領域を構成する各画素に対応する前記差分に基づいて、前記静止領域に生じているノイズの性質を表すノイズ性質情報を検出するノイズ性質検出部をさらに含む前記(1)に記載の画像処理装置。
(3)前記ノイズ検出性質部は、前記静止領域を構成する各画素に対応する前記差分を、それぞれ、予め決められた周波数成分に分離して得られる複数のパワーレベルの最大値であって、複数の前記周波数成分毎に得られる前記最大値を、前記ノイズ性質情報として検出する前記(2)に記載の画像処理装置。
(4)前記ノイズ性質情報又は前記ノイズレベルの少なくとも一方に基づいて、前記第1の画像に生じているノイズを低減するノイズ低減部をさらに含む前記(2)又は(3)に記載の画像処理装置。
(5)前記ノイズ低減部は、前記ノイズ性質情報に基づいて、前記静止領域に生じているノイズを低減するための第1の補正量を算出する第1の補正量算出部と、前記ノイズレベルに基づいて、前記動き領域に生じているノイズを低減するための第2の補正量を算出する第2の補正量算出部と、前記第1の補正量と前記第2の補正量とを混合する混合部と、前記混合部の混合により得られる第3の補正量に基づいて、前記第1の画像の各画素の画素値を補正する補正部とを有する前記(4)に記載の画像処理装置。
(6)前記ノイズレベル検出部は、前記第1の画像上の前記平坦領域を構成する各画素に対応する前記差分の分散のうち、最頻の前記分散を、前記ノイズレベルとして検出する前記(1)に記載の画像処理装置。
(1)入力された第1の画像を構成する各画素の画素値の分散に基づいて、前記第1の画像上の、各画素の画素値が平坦な平坦領域を検出する平坦検出部と、前記第1の画像と、前記第1の画像の前又は後に連続する第2の画像との対応する画素の画素値どうしの差分を算出する差分算出部と、前記第1の画像上の前記平坦領域を構成する各画素に対応する前記差分の分散に基づいて、前記第1の画像を構成する各画素に生じているノイズの統計的なノイズ量を表すノイズレベルを検出するノイズレベル検出部と、前記第1の画像を構成する各画素に対応する前記差分の分散と前記ノイズレベルとの比較結果に基づいて、前記第1の画像上に存在するオブジェクトが静止している領域を表す静止領域、又は前記オブジェクトが動いている領域を表す動き領域の少なくとも一方を検出する動き検出部とを含む画像処理装置。
(2)前記第1の画像上の前記静止領域を構成する各画素に対応する前記差分に基づいて、前記静止領域に生じているノイズの性質を表すノイズ性質情報を検出するノイズ性質検出部をさらに含む前記(1)に記載の画像処理装置。
(3)前記ノイズ検出性質部は、前記静止領域を構成する各画素に対応する前記差分を、それぞれ、予め決められた周波数成分に分離して得られる複数のパワーレベルの最大値であって、複数の前記周波数成分毎に得られる前記最大値を、前記ノイズ性質情報として検出する前記(2)に記載の画像処理装置。
(4)前記ノイズ性質情報又は前記ノイズレベルの少なくとも一方に基づいて、前記第1の画像に生じているノイズを低減するノイズ低減部をさらに含む前記(2)又は(3)に記載の画像処理装置。
(5)前記ノイズ低減部は、前記ノイズ性質情報に基づいて、前記静止領域に生じているノイズを低減するための第1の補正量を算出する第1の補正量算出部と、前記ノイズレベルに基づいて、前記動き領域に生じているノイズを低減するための第2の補正量を算出する第2の補正量算出部と、前記第1の補正量と前記第2の補正量とを混合する混合部と、前記混合部の混合により得られる第3の補正量に基づいて、前記第1の画像の各画素の画素値を補正する補正部とを有する前記(4)に記載の画像処理装置。
(6)前記ノイズレベル検出部は、前記第1の画像上の前記平坦領域を構成する各画素に対応する前記差分の分散のうち、最頻の前記分散を、前記ノイズレベルとして検出する前記(1)に記載の画像処理装置。
ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、又は、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のコンピュータなどに、プログラム記録媒体からインストールされる。
[コンピュータの構成例]
図16は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示している。
図16は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示している。
CPU(Central Processing Unit)201は、ROM(Read Only Memory)202、又は記憶部208に記憶されているプログラムに従って各種の処理を実行する。RAM(Random Access Memory)203には、CPU201が実行するプログラムやデータ等が適宜記憶される。これらのCPU201、ROM202、及びRAM203は、バス204により相互に接続されている。
CPU201にはまた、バス204を介して入出力インタフェース205が接続されている。入出力インタフェース205には、キーボード、マウス、マイクロホン等よりなる入力部206、ディスプレイ、スピーカ等よりなる出力部207が接続されている。CPU201は、入力部206から入力される指令に対応して各種の処理を実行する。そして、CPU201は、処理の結果を出力部207に出力する。
入出力インタフェース205に接続されている記憶部208は、例えばハードディスクからなり、CPU201が実行するプログラムや各種のデータを記憶する。通信部209は、ネットワークやローカルエリアネットワーク等のネットワークを介して外部の装置と通信する。
また、通信部209を介してプログラムを取得し、記憶部208に記憶してもよい。
入出力インタフェース205に接続されているドライブ210は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等のリムーバブルメディア211が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータ等を取得する。取得されたプログラムやデータは、必要に応じて記憶部208に転送され、記憶される。
コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを記録(記憶)する記録媒体は、図16に示すように、磁気ディスク(フレキシブルディスクを含む)、光ディスク(CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)を含む)、光磁気ディスク(MD(Mini-Disc)を含む)、もしくは半導体メモリ等よりなるパッケージメディアであるリムーバブルメディア211、又は、プログラムが一時的もしくは永続的に格納されるROM202や、記憶部208を構成するハードディスク等により構成される。記録媒体へのプログラムの記録は、必要に応じてルータ、モデム等のインタフェースである通信部209を介して、ローカルエリアネットワーク、ネットワーク、デジタル衛星放送といった、有線又は無線の通信媒体を利用して行われる。
なお、本明細書において、上述した一連の処理を記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
また、本開示の実施の形態は、上述した本実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
21 画像処理装置, 41 差分算出部, 42 平坦検出部, 43 ノイズレベル検出部, 44 動きレベル検出部, 45 ノイズ性質検出部, 46 時間方向NR部, 47 空間方向NR部, 48 混合部, 49 補正部, 161 画像処理装置, 181 MC型NR部
Claims (8)
- 入力された第1の画像を構成する各画素の画素値の分散に基づいて、前記第1の画像上の、各画素の画素値が平坦な平坦領域を検出する平坦検出部と、
前記第1の画像と、前記第1の画像の前又は後に連続する第2の画像との対応する画素の画素値どうしの差分を算出する差分算出部と、
前記第1の画像上の前記平坦領域を構成する各画素に対応する前記差分の分散に基づいて、前記第1の画像を構成する各画素に生じているノイズの統計的なノイズ量を表すノイズレベルを検出するノイズレベル検出部と、
前記第1の画像を構成する各画素に対応する前記差分の分散と前記ノイズレベルとの比較結果に基づいて、前記第1の画像上に存在するオブジェクトが静止している領域を表す静止領域、又は前記オブジェクトが動いている領域を表す動き領域の少なくとも一方を検出する動き検出部と
を含む画像処理装置。 - 前記第1の画像上の前記静止領域を構成する各画素に対応する前記差分に基づいて、前記静止領域に生じているノイズの性質を表すノイズ性質情報を検出するノイズ性質検出部を
さらに含む請求項1に記載の画像処理装置。 - 前記ノイズ検出性質部は、前記静止領域を構成する各画素に対応する前記差分を、それぞれ、予め決められた周波数成分に分離して得られる複数のパワーレベルの最大値であって、複数の前記周波数成分毎に得られる前記最大値を、前記ノイズ性質情報として検出する
請求項2に記載の画像処理装置。 - 前記ノイズ性質情報又は前記ノイズレベルの少なくとも一方に基づいて、前記第1の画像に生じているノイズを低減するノイズ低減部を
さらに含む請求項2に記載の画像処理装置。 - 前記ノイズ低減部は、
前記ノイズ性質情報に基づいて、前記静止領域に生じているノイズを低減するための第1の補正量を算出する第1の補正量算出部と、
前記ノイズレベルに基づいて、前記動き領域に生じているノイズを低減するための第2の補正量を算出する第2の補正量算出部と、
前記第1の補正量と前記第2の補正量とを混合する混合部と、
前記混合部の混合により得られる第3の補正量に基づいて、前記第1の画像の各画素の画素値を補正する補正部と
を有する請求項4に記載の画像処理装置。 - 前記ノイズレベル検出部は、前記第1の画像上の前記平坦領域を構成する各画素に対応する前記差分の分散のうち、最頻の前記分散を、前記ノイズレベルとして検出する
請求項1に記載の画像処理装置。 - 入力される画像を処理する画像処理装置の画像処理方法において、
前記画像処理装置による、
入力された第1の画像を構成する各画素の画素値の分散に基づいて、前記第1の画像上の、各画素の画素値が平坦な平坦領域を検出する平坦検出ステップと、
前記第1の画像と、前記第1の画像の前又は後に連続する第2の画像との対応する画素の画素値どうしの差分を算出する差分算出ステップと、
前記第1の画像上の前記平坦領域を構成する各画素に対応する前記差分の分散に基づいて、前記第1の画像を構成する各画素に生じているノイズの統計的なノイズ量を表すノイズレベルを検出するノイズレベル検出ステップと、
前記第1の画像を構成する各画素に対応する前記差分の分散と前記ノイズレベルとの比較結果に基づいて、前記第1の画像上に存在するオブジェクトが静止している領域を表す静止領域、又は前記オブジェクトが動いている領域を表す動き領域の少なくとも一方を検出する動き検出ステップと
を含む画像処理方法。 - コンピュータを、
入力された第1の画像を構成する各画素の画素値の分散に基づいて、前記第1の画像上の、各画素の画素値が平坦な平坦領域を検出する平坦検出部と、
前記第1の画像と、前記第1の画像の前又は後に連続する第2の画像との対応する画素の画素値どうしの差分を算出する差分算出部と、
前記第1の画像上の前記平坦領域を構成する各画素に対応する前記差分の分散に基づいて、前記第1の画像を構成する各画素に生じているノイズの統計的なノイズ量を表すノイズレベルを検出するノイズレベル検出部と、
前記第1の画像を構成する各画素に対応する前記差分の分散と前記ノイズレベルとの比較結果に基づいて、前記第1の画像上に存在するオブジェクトが静止している領域を表す静止領域、又は前記オブジェクトが動いている領域を表す動き領域の少なくとも一方を検出する動き検出部と
して機能させるためのプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011099539A JP2012231389A (ja) | 2011-04-27 | 2011-04-27 | 画像処理装置、画像処理方法、及びプログラム |
US13/449,962 US8712106B2 (en) | 2011-04-27 | 2012-04-18 | Image processing apparatus, image processing method, and program |
CN2012101189789A CN102761681A (zh) | 2011-04-27 | 2012-04-20 | 图像处理装置、图像处理方法以及程序 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011099539A JP2012231389A (ja) | 2011-04-27 | 2011-04-27 | 画像処理装置、画像処理方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012231389A true JP2012231389A (ja) | 2012-11-22 |
JP2012231389A5 JP2012231389A5 (ja) | 2014-04-24 |
Family
ID=47055996
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011099539A Abandoned JP2012231389A (ja) | 2011-04-27 | 2011-04-27 | 画像処理装置、画像処理方法、及びプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US8712106B2 (ja) |
JP (1) | JP2012231389A (ja) |
CN (1) | CN102761681A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6002324B2 (ja) * | 2013-07-03 | 2016-10-05 | 株式会社日立製作所 | 放射線画像生成装置及び画像処理方法 |
WO2016185708A1 (ja) * | 2015-05-18 | 2016-11-24 | 日本電気株式会社 | 画像処理装置、画像処理方法、および、記憶媒体 |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103973969B (zh) * | 2013-02-01 | 2017-09-15 | 宏达国际电子股份有限公司 | 电子装置及其影像选择方法 |
JP6222854B2 (ja) * | 2013-10-23 | 2017-11-01 | 株式会社K−Will | 映像検査方法及び音声検査方法 |
JP2015231086A (ja) | 2014-06-04 | 2015-12-21 | 三星ディスプレイ株式會社Samsung Display Co.,Ltd. | 制御装置、およびプログラム |
CN104023166B (zh) * | 2014-06-20 | 2017-08-11 | 武汉烽火众智数字技术有限责任公司 | 一种环境自适应视频图像降噪方法及装置 |
US10140548B2 (en) * | 2014-08-15 | 2018-11-27 | Lenovo (Singapore) Pte. Ltd. | Statistical noise analysis for motion detection |
US9986155B2 (en) * | 2014-09-05 | 2018-05-29 | Htc Corporation | Image capturing method, panorama image generating method and electronic apparatus |
US10674045B2 (en) | 2017-05-31 | 2020-06-02 | Google Llc | Mutual noise estimation for videos |
CN108111762A (zh) * | 2017-12-27 | 2018-06-01 | 努比亚技术有限公司 | 一种图像处理方法、终端及计算机可读存储介质 |
HK1252299A2 (zh) * | 2018-10-30 | 2019-05-24 | Logistics And Supply Chain Multitech R&D Centre Ltd | 用於檢測非活動對象的系統和方法 |
CN113438386B (zh) * | 2021-05-20 | 2023-02-17 | 珠海全志科技股份有限公司 | 一种应用于视频处理的动静判定方法及装置 |
CN116567196A (zh) * | 2022-01-27 | 2023-08-08 | 北京字跳网络技术有限公司 | 视频噪声检测方法、装置、设备及介质 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6771793B1 (en) * | 1999-02-17 | 2004-08-03 | Fuji Photo Film Co., Ltd. | Image processing method and apparatus |
JP3526020B2 (ja) | 1999-12-02 | 2004-05-10 | 松下電器産業株式会社 | ノイズ低減装置 |
JP4392584B2 (ja) * | 2003-06-27 | 2010-01-06 | ソニー株式会社 | 信号処理装置および信号処理方法、並びにプログラムおよび記録媒体 |
-
2011
- 2011-04-27 JP JP2011099539A patent/JP2012231389A/ja not_active Abandoned
-
2012
- 2012-04-18 US US13/449,962 patent/US8712106B2/en not_active Expired - Fee Related
- 2012-04-20 CN CN2012101189789A patent/CN102761681A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6002324B2 (ja) * | 2013-07-03 | 2016-10-05 | 株式会社日立製作所 | 放射線画像生成装置及び画像処理方法 |
WO2016185708A1 (ja) * | 2015-05-18 | 2016-11-24 | 日本電気株式会社 | 画像処理装置、画像処理方法、および、記憶媒体 |
Also Published As
Publication number | Publication date |
---|---|
CN102761681A (zh) | 2012-10-31 |
US20120275655A1 (en) | 2012-11-01 |
US8712106B2 (en) | 2014-04-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2012231389A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP5576812B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラム、及び、撮像装置 | |
US8072506B2 (en) | Method for flicker detection in image signal | |
JP4816725B2 (ja) | 倍率色収差を画像解析する画像処理装置、画像処理プログラム、電子カメラ、および画像処理方法 | |
US8160369B2 (en) | Image processing apparatus and method | |
US20110142368A1 (en) | Method and apparatus for block-based image denoising | |
US9509993B2 (en) | Image processing device and method, program, and recording medium | |
US20150187051A1 (en) | Method and apparatus for estimating image noise | |
JPWO2006025396A1 (ja) | 画像処理装置および画像処理プログラム | |
KR101004064B1 (ko) | 영상정합 처리장치 및 영상정합방법 | |
US20070139538A1 (en) | Apparatus for processing a digital image signal and methods for processing a digital image signal | |
US9584807B2 (en) | Method and apparatus for motion estimation in a video system | |
JP2011055259A (ja) | 画像処理装置、画像処理方法、画像処理プログラムおよび画像処理プログラムが格納されたプログラム記憶媒体 | |
US20080037893A1 (en) | Block noise removal device | |
KR20050049064A (ko) | 영상신호의 노이즈 측정장치 및 그 측정방법 | |
JP5841345B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラム、及び、撮像装置 | |
US8601042B2 (en) | Signal processing device and method, and signal processing program | |
US8244055B2 (en) | Image processing apparatus and method, and program | |
US20130084017A1 (en) | Image processing apparatus and method, program and recording medium | |
KR20070094521A (ko) | 화상 처리 장치 및 화상처리 방법과 프로그램 | |
US8300150B2 (en) | Image processing apparatus and method | |
JP2012227791A (ja) | 画像処理装置および方法、プログラム、並びに記録媒体 | |
JP5039017B2 (ja) | ノイズレベル検出装置 | |
JP2005229166A (ja) | 映像信号のノイズ量測定装置および測定方法 | |
US8265421B2 (en) | Video system with blocking artifact two-dimensional cross filtering |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140311 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140311 |
|
A762 | Written abandonment of application |
Free format text: JAPANESE INTERMEDIATE CODE: A762 Effective date: 20150402 |