JP2011041183A - Image processing apparatus and method, and program - Google Patents
Image processing apparatus and method, and program Download PDFInfo
- Publication number
- JP2011041183A JP2011041183A JP2009189108A JP2009189108A JP2011041183A JP 2011041183 A JP2011041183 A JP 2011041183A JP 2009189108 A JP2009189108 A JP 2009189108A JP 2009189108 A JP2009189108 A JP 2009189108A JP 2011041183 A JP2011041183 A JP 2011041183A
- Authority
- JP
- Japan
- Prior art keywords
- intensity
- pixel
- value
- noise
- noise removal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Picture Signal Circuits (AREA)
Abstract
Description
本発明は画像処理装置および方法、並びにプログラムに関し、特に、画像からノイズを除去するときに用いて好適な画像処理装置および方法、並びにプログラムに関する。 The present invention relates to an image processing apparatus, method, and program, and more particularly, to an image processing apparatus, method, and program suitable for use in removing noise from an image.
従来、ビデオカメラ等の撮像装置では、デジタルの入力映像信号のS/N(シグナル/ノイズ)比を向上させる目的で、２次元ノイズリダクション（２ＤＮＲ）や３次元ノイズリダクション（３ＤＮＲ）等のノイズ除去を行うノイズ除去回路が採用されていた。図１に、従来の２ＤＮＲ回路の一例の構成を示す。 Conventionally, in an imaging apparatus such as a video camera, noise removal such as two-dimensional noise reduction (2DNR) and three-dimensional noise reduction (3DNR) is performed for the purpose of improving the S / N (signal / noise) ratio of a digital input video signal. The noise removal circuit which performs was adopted. FIG. 1 shows an exemplary configuration of a conventional 2DNR circuit.
図１に示した２ＤＮＲ回路１０は、撮像部１１、ＡＧＣ（Automatic Gain Control）部１２、Ａ／Ｄ（Analog/Digital）変換部１３、２ＤＮＲ処理部１４、および、ノイズ除去強度制御部１５を含む構成とされている。撮像部１１で撮像された所定の画像のデータは、ＡＧＣ部１２に供給される。ＡＧＣ部１２は、供給されたデータの信号が強くなると利得を抑えて出力が大きくならないようにし、信号が弱くなると利得を上げて出力が小さくならないように制御することで、一定の強度を有する信号をＡ／Ｄ変換部１３とノイズ除去強度制御部１５に供給する。
The
Ａ／Ｄ変換部１３は、供給された信号をデジタル信号（データ）に変換し、２ＤＮＲ処理部１４に供給する。ノイズ除去強度制御部１５は、ノイズを除去するための強度を、ＡＧＣ部１２からの信号を基に設定し、その設定でノイズ除去をするように、２ＤＮＲ処理部１４に指示する。２ＤＮＲ処理部１４は、ノイズ除去強度制御部１５からの指示に基づき、Ａ／Ｄ変換部１３からの信号からノイズを除去する処理を施す。
The A /
２ＤＮＲとは一般的に、ノイズ成分に対して空間的なフィルタ処理を行い、出力画像の S/N 比向上を図るものである。図１に示した２ＤＮＲ回路１０において実行される２ＤＮＲのフィルタ処理について １次元のモデルを用いて簡単に説明する。
In general, 2DNR is intended to improve the S / N ratio of an output image by performing spatial filtering on noise components. The 2DNR filter processing executed in the
図２に示した５画素からなる配列を例にあげて説明する。図２に示した５画素は、画素ｎを中央とし、図中右側（ｘ軸プラス方向）に、画素ｎ＋１、画素ｎ＋２が位置し、図中左側（ｘ軸マイナス方向）に、画素ｎ−１、画素ｎ−２が位置している。この中央の画素ｎを注目画素としてフィルタ処理を行うとする。このとき、図３Ａに示すように、注目画素ｎの画素値が、周囲の画素ｎ−２，ｎ−１、ｎ＋１，ｎ＋２のそれぞれの画素値より大きい場合、出力信号の強度は、フィルタ処理により、周囲画素の影響を受け、図３Ｂに示したような画素値（強度）となる。 An example of the array of five pixels shown in FIG. 2 will be described. The five pixels shown in FIG. 2 have the pixel n as the center, the pixel n + 1 and the pixel n + 2 are located on the right side (x-axis plus direction) in the drawing, and the pixel n−1 on the left side (x-axis minus direction) in the drawing. , Pixel n-2 is located. It is assumed that the filtering process is performed with the central pixel n as a target pixel. At this time, as shown in FIG. 3A, when the pixel value of the target pixel n is larger than the respective pixel values of the surrounding pixels n−2, n−1, n + 1, and n + 2, the intensity of the output signal is obtained by filtering. Under the influence of surrounding pixels, the pixel value (intensity) as shown in FIG. 3B is obtained.
すなわち、注目画素ｎの画素値は、周囲の画素の画素値が小さいために、その影響を受け、フィルタ処理後の画素値は、入力時の画素値よりも小さくなる。このときの周囲画素の影響の強さをノイズ除去強度αとする。この例の場合、ノイズ除去強度αが大きいほど 注目画素ｎの出力値は、周辺画素の画素値に近づくことになる。従って、２ＤＮＲ では 隣接する画素値の差分が小さくなって出力されるため、画の解像感が劣化する可能性があった。 That is, the pixel value of the target pixel n is influenced by the pixel values of surrounding pixels, and the pixel value after the filter processing is smaller than the pixel value at the time of input. The intensity of influence of surrounding pixels at this time is defined as a noise removal intensity α. In this example, the output value of the target pixel n approaches the pixel values of the surrounding pixels as the noise removal strength α increases. Therefore, in 2DNR, since the difference between adjacent pixel values is reduced and output, the resolution of the image may be degraded.
図４は、従来の３ＤＮＲ回路の一例の構成を示す。図４に示した３ＤＮＲ回路５０は、撮像部５１、ＡＧＣ部５２、Ａ／Ｄ変換部５３、減算部５４、減算部５５、ノイズ除去部５６、ノイズ除去強度制御部５７、およびメモリ５８を含む構成とされている。撮像部５１で撮像された所定の画像のデータは、ＡＧＣ部５２に供給される。ＡＧＣ部５２は、供給されたデータの信号が強くなると利得を抑えて出力が大きくならないようにし、信号が弱くなると利得を上げて出力が小さくならないように制御することで、一定の強度を有する信号をＡ／Ｄ変換部５３とノイズ除去強度制御部５７に供給する。
FIG. 4 shows an exemplary configuration of a conventional 3DNR circuit. 4 includes an
Ａ／Ｄ変換部５３は、供給された信号をデジタル信号（データ）に変換し、減算部５４と減算部５５に供給する。減算部５５には、メモリ５８からのデータも供給される。メモリ５８には、減算部５４からのデータが保存されている。すなわち、メモリ５８には、減算部５４から出力されたフレームのデータが記憶され、減算部５５には、Ａ／Ｄ変換部５３からの現在のフレームのデータとメモリ５８からの過去のフレームのデータが供給される。
The A /
減算部５５は、現在のフレームと過去のフレームとの差分を算出し、その差分値をノイズ除去部５６に出力する。ノイズ除去部５６は、ノイズ除去強度制御部５７の指示により差分値から、ノイズ成分を除去する。ノイズ除去強度制御部５７は、ノイズを除去するための強度を、ＡＧＣ部５２からの信号を基に設定し、その設定でノイズ除去するように、ノイズ除去部５６に指示する。
The
ノイズ成分が除去された差分値は、減算部５４に供給される。減算部５４は、Ａ／Ｄ変換部５３からの信号、すなわち現在のフレームから、ノイズ除去部５６からの差分値を減算したデータを、その時点でのフレームのデータとして出力する。
The difference value from which the noise component has been removed is supplied to the subtracting
図５を参照し、図４に示した３ＤＮＲ回路５０の処理についてさらに説明を加える。フレームｎ−１は、メモリ５８に記憶されている過去のフレームのデータであり、フレームｎは、Ａ／Ｄ変換部５３から出力される現フレームのデータである。減算部５５は、フレームｎ−１とフレームｎの差分値を算出する。算出された差分値を差分値Ｍｎとする。この差分値Ｍｎには、被写体の動きによる変化とランダムノイズが含まれている。
The processing of the
ノイズ除去部５６は、ノイズによる寄与の大きさを算出し、減算部５４ にて現フレームの映像信号（フレームｎ）からノイズによる寄与のみを除去する。フレームｎ−１と入力フレームｎの差分値Ｍｎに、ノイズ除去強度制御部５７からのノイズ除去強度αが乗算されて差分値Ｍｎ’が算出され、その差分値Ｍｎ’だけの差分を有するフレームｎが出力される。
The
差分値Ｍｎが、ノイズ除去強度制御部５７からのノイズ除去強度αが乗算された差分値Ｍｎ’とされることにより、減算部５４から出力される出力フレームは、被写体の動きによる情報を保持しつつノイズが除去されたものとなる。
Since the difference value Mn is set to a difference value Mn ′ multiplied by the noise removal intensity α from the noise removal
ところで、ランダムノイズは、撮像部１１（撮像部５１）を構成するＣＣＤ（Charge Coupled Device Image Sensor）などから入力信号を取り出す際に発生するため、その振幅は、入力信号に対しＡＧＣ部１２（ＡＧＣ部５２）でかける利得（ＡＧＣゲイン）の大きさに依存する。そのためノイズ除去強度制御部１５（ノイズ除去強度制御部５７） にて、ＡＧＣゲインの大きさから、動きによる変化とランダムノイズとの閾値（ノイズ除去強度）が算出される。そして、ノイズ除去部５６は、ノイズ除去強度を基にノイズ除去制御を行う(例えば、特許文献１参照)。
By the way, random noise is generated when an input signal is extracted from a CCD (Charge Coupled Device Image Sensor) or the like constituting the imaging unit 11 (imaging unit 51), and therefore the amplitude thereof is AGC unit 12 (AGC) with respect to the input signal. Depends on the magnitude of the gain (AGC gain) applied by the unit 52). Therefore, the noise removal strength control unit 15 (noise removal strength control unit 57) calculates a threshold (noise removal strength) between a change due to motion and random noise from the magnitude of the AGC gain. And the
ＡＧＣゲインは、処理対象とされた画像内の全画素に均一にかけられるため、ランダムノイズの振幅も、全ての画素で同程度であり、３ＤＮＲにおけるノイズ除去の処理も全画素同一のノイズ除去強度にて行われる。ここで高輝度画素と低輝度画素で信号強度に差分がある撮像条件に対して３ＤＮＲを適用する場合を考える。高輝度画素の信号強度を強度SH、低輝度画素の信号強度を強度SLとし、３ＤＮＲにて出力信号のS/N比をR以下に抑えるものとする。このとき、S/N=Rを実現しうるノイズ振幅はそれぞれNH=SH/R,NL=SL/Rとなる。このようにS/N=Rを実現するノイズ振幅は信号強度によって差分が存在する。 Since the AGC gain is uniformly applied to all pixels in the image to be processed, the amplitude of random noise is the same for all pixels, and the noise removal processing in 3DNR has the same noise removal strength for all pixels. Done. Here, consider a case where 3DNR is applied to an imaging condition in which there is a difference in signal intensity between a high luminance pixel and a low luminance pixel. Assume that the signal intensity of the high-luminance pixel is intensity SH, the signal intensity of the low-luminance pixel is intensity SL, and the S / N ratio of the output signal is suppressed to R or less at 3DNR. At this time, noise amplitudes that can realize S / N = R are NH = SH / R and NL = SL / R, respectively. Thus, there is a difference in the noise amplitude that realizes S / N = R depending on the signal intensity.
一方で前述のとおり、３ＤＮＲのノイズ除去強度は全画素で同一とされている。例えば、低輝度画素にてS/N=Rを満たすように３ＤＮＲを行う場合、低輝度画素、高輝度画素双方の画素に対して、ノイズ振幅がNHになるように３ＤＮＲがかかる。高輝度画素ではNLよりも大きいノイズ振幅NHにてS/N=Rが実現可能であり、S/N=Rに対し過度に３ＤＮＲがかかっていることになる。 On the other hand, as described above, the noise removal strength of 3DNR is the same for all pixels. For example, when 3DNR is performed so that S / N = R is satisfied in a low-luminance pixel, 3DNR is applied so that the noise amplitude is NH for both the low-luminance pixel and the high-luminance pixel. In a high luminance pixel, S / N = R can be realized with a noise amplitude NH larger than NL, and 3DNR is excessively applied to S / N = R.
３ＤＮＲには、出力画像の動解像度の劣化があることが一般に知られている。従って、それぞれの画素に対し、目標とするS/N比に対し最適なノイズ除去強度にて３ＤＮＲを行うことで、動解像度の劣化を最低限に抑えることが必要である。それに対し、従来の３ＤＮＲは全画素同一のノイズ除去強度にてノイズ除去が行われるため、一方の画素では適切なノイズ除去が行えても、他方の画素では適切なノイズ除去ではない可能性があった。またこのようなことは、２ＤＮＲにおいても発生する可能性があった。 It is generally known that 3DNR has a degradation in dynamic resolution of an output image. Therefore, it is necessary to suppress the degradation of the dynamic resolution to the minimum by performing 3DNR for each pixel with the optimum noise removal strength for the target S / N ratio. In contrast, the conventional 3DNR performs noise removal with the same noise removal strength for all pixels, so even if one pixel can perform appropriate noise removal, the other pixel may not perform proper noise removal. It was. Such a situation may also occur in 2DNR.
本発明は、このような状況に鑑みてなされたものであり、画像内のノイズを適切に除去できるようにすることができるようにするものである。 The present invention has been made in view of such a situation, and makes it possible to appropriately remove noise in an image.
本発明の一側面の画像処理装置は、処理対象とされている画像からノイズを除去するための強度を算出するノイズ除去強度算出手段と、前記画像を構成する全画素の輝度値の平均値である第１の平均輝度値と、前記画像内のノイズを除去する対象とされている画素を含む有限領域内の画素の輝度値の平均値である第２の平均輝度値を取得し、前記第１の平均輝度値と前記第２の平均輝度値の差分を算出する差分値算出手段と、前記差分値算出手段で算出された差分値から、前記ノイズ除去強度算出手段により算出された前記強度を補正するための補正係数を導出する導出手段と、前記導出手段により導出された前記補正係数で前記強度を補正することで、前記ノイズを除去する対象とされている画素に対するノイズ除去のための強度を設定する設定手段とを備える。 An image processing apparatus according to an aspect of the present invention includes a noise removal intensity calculation unit that calculates an intensity for removing noise from an image to be processed, and an average value of luminance values of all pixels constituting the image. Obtaining a first average luminance value and a second average luminance value, which is an average value of the luminance values of pixels in a finite region including the pixel from which noise is to be removed in the image; A difference value calculating means for calculating a difference between an average luminance value of 1 and the second average luminance value; and the intensity calculated by the noise removal intensity calculating means from the difference value calculated by the difference value calculating means. Deriving means for deriving a correction coefficient for correction, and intensity for noise removal with respect to a pixel that is a target for removing the noise by correcting the intensity with the correction coefficient derived by the deriving means. Set And a setting means.
前記導出手段は、前記差分値と前記補正係数との相関に基づく演算を行うことで、前記補正係数を導出するようにすることができる。 The derivation unit can derive the correction coefficient by performing an operation based on a correlation between the difference value and the correction coefficient.
前記差分値と前記補正係数とを関連付けたテーブルであり、前記差分値から一意に前記補正係数を読み出せるテーブルを保持するテーブル保持手段をさらに備え、前記導出手段は、前記テーブル保持手段で保持されている前記テーブルを参照して前記補正係数を導出するようにすることができる。 It is a table in which the difference value and the correction coefficient are associated with each other, further comprising table holding means for holding a table from which the correction coefficient can be uniquely read from the difference value, and the derivation means is held by the table holding means. The correction coefficient can be derived with reference to the table.
前記補正係数は、前記差分値に対し負の依存性を持ち、前記差分値が０のとき１となるようにすることができる。 The correction coefficient has a negative dependency on the difference value, and can be 1 when the difference value is zero.
２ＤＮＲ（２次元ノイズリダクション）、または３ＤＮＲ（３次元ノイズリダクション）の処理を行う回路に組み込まれるようにすることができる。 It can be incorporated in a circuit that performs 2DNR (2D noise reduction) or 3DNR (3D noise reduction) processing.
本発明の一側面の画像処理方法は、処理対象とされている画像からノイズを除去するための強度を算出し、前記画像を構成する全画素の輝度値の平均値である第１の平均輝度値と、前記画像内のノイズを除去する対象とされている画素を含む有限領域内の画素の輝度値の平均値である第２の平均輝度値を取得し、前記第１の平均輝度値と前記第２の平均輝度値の差分を算出し、前記差分値から、前記強度を補正するための補正係数を導出し、導出された前記補正係数で前記強度を補正することで、前記ノイズを除去する対象とされている画素に対するノイズ除去のための強度を設定するステップを含む。 An image processing method according to one aspect of the present invention calculates a strength for removing noise from an image to be processed, and a first average luminance that is an average value of luminance values of all pixels constituting the image. A second average luminance value that is an average value of a value and a luminance value of a pixel in a finite area including a pixel that is a target for removing noise in the image, and the first average luminance value The difference between the second average luminance values is calculated, a correction coefficient for correcting the intensity is derived from the difference value, and the intensity is corrected by the derived correction coefficient, thereby removing the noise. A step of setting an intensity for removing noise with respect to a pixel to be processed.
本発明の一側面のプログラムは、処理対象とされている画像からノイズを除去するための強度を算出し、前記画像を構成する全画素の輝度値の平均値である第１の平均輝度値と、前記画像内のノイズを除去する対象とされている画素を含む有限領域内の画素の輝度値の平均値である第２の平均輝度値を取得し、前記第１の平均輝度値と前記第２の平均輝度値の差分を算出し、前記差分値から、前記強度を補正するための補正係数を導出し、導出された前記補正係数で前記強度を補正することで、前記ノイズを除去する対象とされている画素に対するノイズ除去のための強度を設定するステップを含む処理をコンピュータに実行させる。 A program according to one aspect of the present invention calculates a strength for removing noise from an image to be processed, and a first average luminance value that is an average value of luminance values of all pixels constituting the image; , Obtaining a second average luminance value that is an average value of the luminance values of pixels in a finite area including pixels that are targeted for noise removal in the image, and the first average luminance value and the first A target for removing the noise by calculating a difference between two average luminance values, deriving a correction coefficient for correcting the intensity from the difference value, and correcting the intensity with the derived correction coefficient The computer is caused to execute a process including a step of setting an intensity for removing noise with respect to the pixel.
本発明の一側面の画像処理装置および方法、並びにプログラムにおいては、処理対象とされている画像からノイズを除去するための強度が、画像を構成する全画素の輝度値の平均値である第１の平均輝度値と、画像内のノイズを除去する対象とされている画素を含む有限領域内の画素の輝度値の平均値である第２の平均輝度値の差分に依存する補正係数で補正される。その補正係数で補正された強度で、ノイズ除去のための処理が実行される。 In the image processing apparatus, method, and program according to one aspect of the present invention, the intensity for removing noise from an image to be processed is an average value of luminance values of all the pixels constituting the image. Is corrected with a correction coefficient that depends on the difference between the average luminance value of the second average luminance value that is the average value of the luminance values of the pixels in the finite area including the pixel that is the target of removing noise in the image. The A process for noise removal is executed with the intensity corrected by the correction coefficient.
本発明の一側面によれば、画像内のノイズを適切に除去できるようになる。 According to one aspect of the present invention, noise in an image can be appropriately removed.
以下に、本発明の実施の形態について図面を参照して説明する。 Embodiments of the present invention will be described below with reference to the drawings.
ビデオカメラ等の撮像装置では、デジタルの入力映像信号のS/N(シグナル/ノイズ)比を向上させる目的で、２次元ノイズリダクション（２ＤＮＲ）や３次元ノイズリダクション（３ＤＮＲ）等のノイズ除去を行うノイズ除去回路が採用されている。本発明は、この２ＤＮＲや３ＤＮＲに係わる発明である。 In an imaging apparatus such as a video camera, noise removal such as two-dimensional noise reduction (2DNR) and three-dimensional noise reduction (3DNR) is performed for the purpose of improving the S / N (signal / noise) ratio of a digital input video signal. A noise removal circuit is adopted. The present invention relates to 2DNR and 3DNR.
［３ＤＮＲの構成について］
図６は、本発明を適用した３ＤＮＲ回路の一実施の形態の構成を示す図である。図６に示した３ＤＮＲ回路１００は、撮像部１０１、ＡＧＣ部１０２、Ａ／Ｄ変換部１０３、減算部１０４、減算部１０５、ノイズ除去部１０６、ノイズ除去強度制御部１０７、メモリ１０８、ＯＰＤ（Optical Detector）１０９、および強度補正部１１０を含む構成とされている。
[Configuration of 3DNR]
FIG. 6 is a diagram showing a configuration of an embodiment of a 3DNR circuit to which the present invention is applied. 6 includes an
撮像部１０１は、ＣＣＤ（Charge Coupled Device Image Sensor）などの撮像素子を含む構成とされ、画像や映像を撮像する。撮像部１０１で撮像された所定の画像のデータは、ＡＧＣ部１０２に供給される。ＡＧＣ部１０２は、供給されたデータの信号が強くなると利得を抑えて出力が大きくならないようにし、信号が弱くなると利得を上げて出力が小さくならないように制御することで、一定の強度を有する信号をＡ／Ｄ変換部１０３とノイズ除去強度制御部１０７に供給する。
The
Ａ／Ｄ変換部１０３は、供給された信号をデジタル信号（データ）に変換し、減算部１０４、減算部１０５、およびＯＰＤ１０９に供給する。減算部１０５には、メモリ１０８からのデータも供給される。メモリ１０８には、減算部１０４からのデータが保存されている。メモリ１０８には、減算部１０４から出力されたフレームのデータが記憶され、減算部１０５には、Ａ／Ｄ変換部１０３からの現在のフレームのデータとメモリ１０８からの過去のフレームのデータが供給される構成とされている。
The A /
減算部１０５は、現在のフレームと過去のフレームとの差分を算出し、その差分値をノイズ除去部１０６に出力する。ノイズ除去部１０６は、強度補正部１１０からの指示（詳細は後述する）により差分値から、ノイズ成分を除去する。強度補正部１１０には、ノイズ除去強度制御部１０７からのデータと、ＯＰＤ１０９からのデータが供給される。ノイズ除去強度制御部１０７は、ノイズを除去するための強度を、ＡＧＣ部１０２からの信号を基に設定し、その設定でノイズ除去をするように、ノイズ除去部１０６に指示するが、本実施の形態においては、ノイズ除去部１０６に直接指示を出す構成とされておらず、強度補正部１１０を介して指示が出される構成とされている。
The
撮像部１０１を構成するＣＣＤなどから入力信号を取り出す際に発生するため、その振幅は、入力信号に対しＡＧＣ部１０２でかける利得（ＡＧＣゲイン）の大きさに依存する。そのためノイズ除去強度制御部１０７ にて、ＡＧＣ部１０２のＡＧＣゲインの大きさから、動きによる変化とランダムノイズとの閾値（ノイズ除去強度α）が算出される。このノイズ除去強度αが、強度補正部１１０に供給され、補正される。そして、その補正されたノイズ除去強度α’により、ノイズ除去部１０６は、ノイズを除去する処理を実行する。
Since it occurs when an input signal is taken out from a CCD or the like constituting the
ＯＰＤ１０９は、ある期間、例えば１フィールド期間において輝度信号成分あるいはクロマ信号成分を検波（積分）する。ＯＰＤ１０９は、図示していない制御部からの指示に基づき、検波領域を切り出す検波枠信号を生成し、当該検波枠信号を基に検波領域切り出し、この切り出した検波領域のデジタル映像信号、例えば輝度信号を積分し、その輝度積分データを強度補正部１１０に供給する。
The
強度補正部１１０には、ＯＰＤ１０９から、全画素平均の輝度値と処理対象とされている領域の平均の輝度値が供給される。ここでは、“全画素平均の輝度値”とは、処理対象とされている１フレーム（画像）内の全画素の輝度値の平均値であるとして説明を続ける。また、“処理対象とされている領域”とは、ノイズ除去の対象とされた注目画素を含む領域であり、所定の数の画素を含む有限領域である。
The
ノイズ除去部１０６により、ノイズ成分が除去された差分値は、減算部１０４に供給される。減算部１０４は、Ａ／Ｄ変換部１０３からの信号、すなわち現在のフレームから、ノイズ除去部１０６からの差分値を減算したデータを、その時点でのフレームのデータとして出力する。その出力されたフレームデータは、メモリ１０８にも供給され、記憶される。
The difference value from which the noise component has been removed by the
［強度補正部の構成について］
図７は、強度補正部１１０の構成を示す図である。強度補正部１１０は、減算部１５１、係数導出部１５２、および乗算部１５３を備える構成とされている。減算部１５１には、ＯＰＤ１０９（図６）から全画素の輝度値の平均値（以下、平均輝度値ＬALLと記述する）と、ノイズ除去対象の画素を含む有限領域の輝度値の平均値（以下、平均輝度値Ｌxと記述する）が供給される。減算部１５１は、供給された平均輝度値Ｌxから平均輝度値ＬALLを減算する。
[Configuration of intensity correction unit]
FIG. 7 is a diagram illustrating a configuration of the
すなわち、減算部１５１は、処理対象とされているフレーム内にある処理対象とされている領域の輝度値の平均値から、フレーム内の全画素の輝度値の平均値を減算する。その減算結果（以下、差分値（Ｌｘ−ＬALL）と記述する）は、係数導出部１５２に供給される。係数導出部１５２は、所定の演算式に差分値（Ｌｘ−ＬALL）を代入することで、補正係数ｋを導出する。導出された補正係数ｋは、乗算部１５３に供給される。
That is, the
乗算部１５３には、ノイズ除去強度制御部１０７から、ノイズを除去するためのノイズ除去強度αと、係数導出部１５２からの補正係数ｋが供給される。乗算部１５３は、供給されたノイズ除去強度αに補正係数ｋを乗算することで、補正後のノイズ除去強度α’を算出し、ノイズ除去部１０６（図６）に供給する。
The
除去されるノイズのうち、ランダムノイズは、撮像部１０１から入力信号を取り出す際に発生するため、その振幅は、入力信号に対しＡＧＣ部１０２でかける利得（ＡＧＣゲイン）の大きさに依存する。そのためノイズ除去強度制御部１０７ にて、ＡＧＣゲインの大きさから、動きによる変化とランダムノイズとの閾値（ノイズ除去強度α）が算出される。
Among the noises to be removed, random noise is generated when an input signal is extracted from the
ノイズ除去強度制御部１０７で算出されるノイズ除去強度αは、フレーム内の全画素に対するノイズ除去強度αであるため、必ずしも、フレーム内の全画素に適した強度であるとは限らない。ここで高輝度画素と低輝度画素で信号強度に差分がある撮像条件に対して３ＤＮＲを適用する場合を考える。例えば、図８に示したような画像が撮像され、ノイズ除去の対象とされている場合を考える。
Since the noise removal strength α calculated by the noise removal
図８に示した画像は、右側が、低輝度領域１６１であり、左側が、高輝度領域１６２である。低輝度領域内の低輝度画素の信号強度を強度SLとし、高輝度領域１６２内の高輝度画素の信号強度を強度SHとした場合、３ＤＮＲにて出力信号のS/N比をR以下に抑えるとき、S/N=Rを実現しうるノイズ振幅はそれぞれNH=SH/R,NL=SL/Rとなる。このようにS/N=Rを実現するノイズ振幅は信号強度によって差分が存在する。
In the image shown in FIG. 8, the right side is a
一方で前述のとおり、３ＤＮＲのノイズ除去強度は全画素で同一とされている。例えば、低輝度画素にてS/N=Rを満たすように３ＤＮＲを行う場合、低輝度画素、高輝度画素双方の画素に対して、ノイズ振幅がNHになるように３ＤＮＲがかかる。高輝度画素ではNLよりも大きいノイズ振幅NHにてS/N=Rが実現可能であり、S/N=Rに対し過度に３ＤＮＲがかかっていることになる。 On the other hand, as described above, the noise removal strength of 3DNR is the same for all pixels. For example, when 3DNR is performed so that S / N = R is satisfied in a low-luminance pixel, 3DNR is applied so that the noise amplitude is NH for both the low-luminance pixel and the high-luminance pixel. In a high luminance pixel, S / N = R can be realized with a noise amplitude NH larger than NL, and 3DNR is excessively applied to S / N = R.
このように、全画素に対して同一のノイズ除去強度αを適用して処理すると、例えば、高輝度の画素に対して適切なノイズ除去強度αであっても、低輝度の画素に対しては不適切なノイズ除去強度αで処理された画像となってしまう可能性がある。 In this way, if the same noise removal strength α is applied to all the pixels and processed, for example, even if the noise removal strength α is appropriate for high luminance pixels, There is a possibility that the image is processed with an inappropriate noise removal strength α.
そこで、輝度の違いにより適切なノイズ除去強度が適用されるように、強度補正部１１０では、フレーム内の処理対象とされている領域毎に、ノイズ除去強度制御部１０７からのノイズ除去強度αに、補正係数ｋを乗算し、その領域にあったノイズ除去強度α’を算出する。強度補正部１１０がこのように、領域毎にノイズ除去強度α’を算出するので、１つのフレーム（画像）内の全画素に同一のノイズ除去強度αが適用されることなく、１つのフレーム内で、複数のノイズ除去強度α’が、領域毎に、その領域に適した値に設定され、適用される。
Therefore, the
このようなノイズ除去強度αをノイズ除去強度α’に変換するための処理を、強度補正部１１０は行う。再度図７を参照するに、係数導出部１５２は、補正係数ｋを算出するとき、所定の演算式に、差分値（Ｌｘ−ＬALL）を代入することで算出する。ここでは、演算式と表記したが、予め定められた差分値（Ｌx - ＬALL）と補正係数ｋとの相関Ｆ（Ｌｘ−ＬALL）に基づき、補正係数ｋが導出される。
ｋ＝Ｆ（Ｌｘ−ＬALL）
The
k = F (Lx-LALL)
この相関は、補正係数ｋが、差分値（Ｌx - ＬALL）に対し負の依存性を持ち、差分値（Ｌx - ＬALL）＝０ にてｋ＝１ となるように設定されている。差分値（Ｌx - ＬALL）と 補正係数ｋとの相関Ｆ（Ｌｘ−ＬALL）の一例を、図９に示す。図９に示した相関は、
差分値（Ｌx - ＬALL）＝０ のとき ｋ＝１
差分値（Ｌx - ＬALL）＜１ のとき ｋ＞１
差分値（Ｌx - ＬALL）＞１ のとき ｋ＜１
の関係を満たしている。
This correlation is set so that the correction coefficient k has a negative dependency on the difference value (Lx−LALL), and k = 1 when the difference value (Lx−LALL) = 0. FIG. 9 shows an example of the correlation F (Lx−LALL) between the difference value (Lx−LALL) and the correction coefficient k. The correlation shown in FIG.
When the difference value (Lx-LALL) = 0, k = 1
When difference value (Lx-LALL) <1, k> 1
When the difference value (Lx-LALL)> 1, k <1
Meet the relationship.
図９に示した補正係数ｋと差分値（Ｌx - ＬALL）の相関は一例であり、限定を示すものではない。図９に示した相関が用いられ、補正係数ｋが算出される場合、補正後のノイズ除去強度α’は、図１０に示したような値をとる。すなわち、処理対象とされている領域の平均輝度値Ｌｘが、処理対象とされているフレーム内の全画素の輝度値の平均輝度値ＬALLよりも小さい場合（低輝度の場合であり、輝度値が輝度値ＬLの場合）、ノイズ除去強度制御部１０７からのノイズ除去強度αは、補正係数ｋが乗算されることにより、ノイズ除去強度αよりも大きな値を有するノイズ除去強度αLに補正される。
The correlation between the correction coefficient k and the difference value (Lx−LALL) shown in FIG. 9 is an example, and is not a limitation. When the correlation shown in FIG. 9 is used and the correction coefficient k is calculated, the noise removal intensity α ′ after correction takes a value as shown in FIG. That is, when the average luminance value Lx of the region to be processed is smaller than the average luminance value LALL of the luminance values of all the pixels in the frame to be processed (in the case of low luminance, the luminance value is In the case of the luminance value LL), the noise removal strength α from the noise removal
一方、平均輝度値Ｌｘが、平均輝度値ＬALLよりも大きい場合（高輝度の場合であり、輝度値が輝度値ＬHである場合）、ノイズ除去強度αは、補正係数ｋが乗算されることにより、ノイズ除去強度αよりも小さな値を有するノイズ除去強度αHに補正される。平均輝度値Ｌｘが、平均輝度値ＬALLと同じ場合、ノイズ除去強度αは、補正係数ｋ＝１が乗算されることにより、ノイズ除去強度αと同じ値を有するノイズ除去強度αに補正される。 On the other hand, when the average luminance value Lx is larger than the average luminance value LALL (in the case of high luminance and the luminance value is the luminance value LH), the noise removal intensity α is multiplied by the correction coefficient k. The noise removal strength αH having a value smaller than the noise removal strength α is corrected. When the average luminance value Lx is the same as the average luminance value LALL, the noise removal strength α is corrected to the noise removal strength α having the same value as the noise removal strength α by being multiplied by the correction coefficient k = 1.
このように、処理対象とされている領域が、その領域を含む画像全体に対して、低輝度であると判断される場合には、例えば、図８における低輝度領域１６１であると判断される場合には、ノイズ除去強度が強く補正される。そして、処理対象とされている領域が、その領域を含む画像全体に対して、高輝度であると判断される場合には、例えば、図８における高輝度領域１６２であると判断される場合には、ノイズ除去強度が弱く補正される。
As described above, when it is determined that the region to be processed has low luminance with respect to the entire image including the region, for example, it is determined that the region is the
このように、補正係数ｋを算出し、ノイズ除去強度αを補正することで、信号強度が大きく比較的S/N比のよい高輝度領域に対するノイズ除去強度を弱くし、S/N比の悪い低輝度領域に対するノイズ除去強度を強くする、というような各信号のS/N比に応じて、ノイズ除去強度を調節することが可能となる。 Thus, by calculating the correction coefficient k and correcting the noise removal strength α, the noise removal strength for a high luminance region having a large signal strength and a relatively good S / N ratio is weakened, and the S / N ratio is poor. It is possible to adjust the noise removal strength in accordance with the S / N ratio of each signal such as increasing the noise removal strength for the low luminance region.
３ＤＮＲでは動解像度の劣化というようにノイズ除去制御には副作用が伴う可能性があるが、本発明を適用することで、S/N比に対してノイズ除去強度の最適化を図られるため、S/N比のよい高輝度領域での副作用の発現を抑えながら、低輝度領域の S/N比の改善を図ることが可能となる。さらに、信号強度の差分の大きい撮像条件、すなわちダイナミックレンジの高い撮像条件にて、より効果的なノイズ除去を行うことが可能となる。 In 3DNR, noise removal control may have side effects such as degradation of dynamic resolution. However, by applying the present invention, noise removal strength can be optimized with respect to the S / N ratio. It is possible to improve the S / N ratio in the low luminance area while suppressing the occurrence of side effects in the high luminance area with a good / N ratio. Furthermore, more effective noise removal can be performed under imaging conditions with a large difference in signal intensity, that is, imaging conditions with a high dynamic range.
このような補正係数ｋを算出し、ノイズ除去強度αを補正する図７に示した強度補正部１１０の処理について、図１１のフローチャートを参照して説明する。ステップＳ１１において、強度補正部１１０の減算部１５１は、ＯＰＤ１０９（図６）から、全画素の平均輝度値ＬALLと、ノイズ除去対象の画素を含む有限領域の平均輝度値Ｌｘを取得する。
The processing of the
ステップＳ１２において、減算部１５１は、取得した平均輝度値ＬALLと平均輝度値Ｌxとの差分を算出する。ここでは、平均輝度値Ｌxから平均輝度値ＬALLが減算されるとして説明を続ける。
In step S12, the
仮に、平均輝度値ＬALLから平均輝度値Ｌxが減算されるようにした場合、補正係数ｋと差分値（ＬALL―Ｌx）との相関は、図９に示した相関とは逆の相関となるようにすればよい。すなわち、差分値（ＬALL―Ｌx）に対し正の依存性を持ち、差分値（Ｌx - ＬALL）＝０にてｋ＝１ となるように設定される。式で表せば、
差分値（ＬALL―Ｌx）＝０ のとき ｋ＝１
差分値（ＬALL―Ｌx）＜１ のとき ｋ＜１
差分値（ＬALL―Ｌx）＞１ のとき ｋ＞１
の関係を満たす相関であればよい。
If the average luminance value Lx is subtracted from the average luminance value LALL, the correlation between the correction coefficient k and the difference value (LALL-Lx) is opposite to the correlation shown in FIG. You can do it. That is, the difference value (LALL−Lx) is positively dependent, and is set so that k = 1 when the difference value (Lx−LALL) = 0. Expressed as an expression,
When difference value (LALL-Lx) = 0, k = 1
When difference value (LALL-Lx) <1, k <1
When difference value (LALL-Lx)> 1, k> 1
Any correlation that satisfies this relationship may be used.
図１１に示したフローチャートの説明に戻り、ステップＳ１２において、減算部１５１により、平均輝度値Ｌｘから平均輝度値ＬALLが減算された差分値（Ｌx - ＬALL）が算出されると、その差分値（Ｌx - ＬALL）は、係数導出部１５２（図７）に供給される。ステップＳ１３において、係数導出部１５２は、減算部１５１からの差分値（Ｌx - ＬALL）から、補正係数ｋを算出する。この算出については、既に説明した通り、差分値（Ｌx - ＬALL）と補正係数ｋの相関により求められる。
Returning to the description of the flowchart shown in FIG. 11, when the difference value (Lx−LALL) obtained by subtracting the average luminance value LALL from the average luminance value Lx is calculated by the
ステップＳ１３において、係数導出部１５２で補正係数ｋが算出されると、その補正係数ｋは、乗算部１５３に供給される。乗算部１５３は、ノイズ除去強度制御部１０７からのノイズ除去強度αに、係数導出部１５２からの補正係数ｋを乗算することで、補正後のノイズ除去強度α’を算出し、ノイズ除去部１０６に供給する。
When the correction coefficient k is calculated by the
このようにして、強度補正部１１０は、ノイズ除去強度αを補正する。
In this way, the
すなわち、本実施の形態においては、ノイズ除去強度制御部１０７により算出された処理対象とされている画像からノイズを除去するためのノイズ除去強度αが補正される。その補正のために、画像を構成する全画素の輝度値の平均値である平均輝度値ＬALLと、画像内のノイズを除去する対象とされている画素を含む有限領域内の画素の輝度値の平均値である平均輝度値Ｌｘが取得され、その平均輝度値同士の差分が算出され、その差分値から、ノイズ除去強度αを補正するための補正係数ｋが導出される。そして、補正係数ｋがノイズ除去強度αに乗算されることで、ノイズを除去する対象とされている画素に対するノイズ除去のためのノイズ除去強度α’が設定される。
That is, in the present embodiment, the noise removal intensity α for removing noise from the image to be processed calculated by the noise removal
さらに、補正係数ｋは、差分値と補正係数との相関に基づく演算を行うことで導出される。 Further, the correction coefficient k is derived by performing an operation based on the correlation between the difference value and the correction coefficient.
ここで図８に示したような低輝度領域１６１と高輝度領域１６２を含む画像に対して、上記したノイズ除去の処理が行われる場合を考える。低輝度領域１６１の画素による入力信号の信号強度は図１２Ａのようにランダムノイズにより時間的に変化している。画素ｎＬの信号強度ｎＬ、画素ｎＬ＋１の信号強度ｎＬ＋１、画素ｎＬ＋２の信号強度ｎＬ＋２、画素ｎＬ＋３の信号強度ｎＬ＋３は、それぞれ異なる。このように、低輝度領域１６１内の画素の入力信号の信号強度は、ほぼ同一の値になるような状況であっても、ランダムノイズの影響などで、異なる強度となる。
Here, a case is considered where the above-described noise removal processing is performed on an image including the
図１２Ｂは、現フレームの所定の画素の入力信号の信号強度と、その画素に対応する１フレーム前の画素の出力信号の信号強度の差分値（Ｍn＝ＩＮn−ＯＵＴn-1）を示す図である。図１２Ｂに示すように、現フレームの画素ｎＬの信号強度ｎＬと、その画素ｎＬに対して１フレーム前の画素の信号強度との差分は０であり、現フレームの画素ｎＬ＋１の信号強度ｎＬ＋１と、その画素ｎＬ＋１に対して１フレーム前の画素の信号強度との差分は差分値ＭＬ＋１であると算出される。また、現フレームの画素ｎＬ＋２の信号強度ｎＬ＋２と、その画素ｎＬ＋２に対して１フレーム前の画素の信号強度との差分は差分値ＭＬ＋２であり、現フレームの画素ｎＬ＋３の信号強度ｎＬ＋３と、その画素ｎＬ＋３に対して１フレーム前の画素の信号強度との差分は差分値ＭＬ＋３であると算出される。
FIG. 12B is a diagram showing a difference value (Mn = INn−OUTn−1) between the signal strength of the input signal of a predetermined pixel in the current frame and the signal strength of the output signal of the pixel one frame before corresponding to the pixel. is there. As shown in FIG. 12B, the difference between the signal strength nL of the pixel nL in the current frame and the signal strength of the pixel one frame before the pixel nL is 0, and the signal strength nL + 1 of the pixel nL + 1 in the current frame is The difference between the pixel nL + 1 and the signal intensity of the pixel one frame before is calculated as a difference
このような場合、ノイズ振幅Δnに応じたノイズ除去強度αL（補正係数ｋが乗算されたノイズ除去強度α’）が設定されることで、そのノイズ除去強度α’内にある、現フレームの入力画素の画素値と、１フレーム前の出力画素の画素値との信号強度の差分である差分値ＭＬ＋１、差分値ＭＬ＋２、および差分値ＭＬ＋３は、それぞれ殆どノイズであると判別される。 In such a case, by setting the noise removal strength αL (noise removal strength α ′ multiplied by the correction coefficient k) corresponding to the noise amplitude Δn, the input of the current frame within the noise removal strength α ′ is set. The difference value ML + 1, the difference value ML + 2, and the difference value ML + 3, which are signal intensity differences between the pixel value of the pixel and the pixel value of the output pixel one frame before, are each determined to be almost noise.
このようなとき、図６に示した３ＤＮＲ回路１００で３ＤＮＲ処理が施されることで、図１２Ｃに示すような出力信号が出力される。図１２Ｃにおいて、実線は、出力信号の強度を表し、点線は、参考のために記載した入力信号の強度を表す。
In such a case, the 3DNR process is performed by the
図１２Ｃにおいて、画素ｎＬの信号強度ｎＬはノイズが除去されることにより信号強度ｎＬ’になる。ただし、この画素ｎＬを基準とした場合、信号強度ｎＬと信号強度ｎＬ’は同じ強度である。同様に、画素ｎＬ＋１の信号強度ｎＬ＋１は、差分値ＭＬ＋１のうち、ノイズであると判断されたノイズ除去強度αL内の強度分が、信号強度ｎＬ＋１から減算された信号強度ｎＬ＋１’とされ出力される。 In FIG. 12C, the signal intensity nL of the pixel nL becomes the signal intensity nL ′ by removing the noise. However, when the pixel nL is used as a reference, the signal intensity nL and the signal intensity nL ′ are the same intensity. Similarly, the signal intensity nL + 1 of the pixel nL + 1 is output as the signal intensity nL + 1 ′ obtained by subtracting the intensity within the noise removal intensity αL determined to be noise from the difference value ML + 1 from the signal intensity nL + 1. .
画素ｎＬ＋２の信号強度ｎＬ＋２は、差分値ＭＬ＋２のうち、ノイズであると判断されたノイズ除去強度αL内の強度分が、信号強度ｎＬ＋２から減算された信号強度ｎＬ＋２’とされ出力される。画素ｎＬ＋３の信号強度ｎＬ＋３は、差分値ＭＬ＋３のうち、ノイズであると判断されたノイズ除去強度αL内の強度分が、信号強度ｎＬ＋３から減算された信号強度ｎＬ＋３’とされ出力される。 The signal intensity nL + 2 of the pixel nL + 2 is output as the signal intensity nL + 2 ′ obtained by subtracting the intensity within the noise removal intensity αL determined to be noise from the difference value ML + 2 from the signal intensity nL + 2. The signal intensity nL + 3 of the pixel nL + 3 is output as the signal intensity nL + 3 ′ obtained by subtracting the intensity within the noise removal intensity αL determined to be noise from the difference value ML + 3 from the signal intensity nL + 3.
このように、図１２Ｃに示したように、出力信号のS/N比は大きく改善されたものとすることが可能である。 Thus, as shown in FIG. 12C, the S / N ratio of the output signal can be greatly improved.
一方、高輝度領域１６２の画素による入力信号の信号強度は、低輝度領域１６１の画素に比べて比較的大きいものとなる。高輝度領域１６２内における画素値の時間変化において、ノイズによる差分以上に、被写体の動きによる差分の方が支配的である。高輝度領域１６２の動被写体の動きにより、図１３Ａに示したような入力信号の時間的変化があったとする。
On the other hand, the signal intensity of the input signal by the pixels in the
画素ｎＨの信号強度ｎＨ、画素ｎＨ＋１の信号強度ｎＨ＋１、画素ｎＨ＋２の信号強度ｎＨ＋２、画素ｎＨ＋３の信号強度ｎＨ＋３は、それぞれ異なる。このような、高輝度領域１６２内の画素の信号強度の違いは、被写体の動きによる差分、換言すれば、動き量によるところが大きい。
The signal intensity nH of the pixel nH, the signal intensity nH + 1 of the pixel nH + 1, the signal intensity nH + 2 of the pixel nH + 2, and the signal intensity nH + 3 of the pixel nH + 3 are different from each other. Such a difference in the signal intensity of the pixels in the
図１３Ｂは、現フィールドの所定の画素の入力信号の信号強度と、その画素に対応する１フィールド前の画素の入力信号の信号強度の差分値（入力動き量ΔＩＮ＝ＩＮn−ＩＮn-1）を示す図である。 FIG. 13B shows a difference value (input motion amount ΔIN = INn−INn−1) between the signal strength of the input signal of a predetermined pixel in the current field and the signal strength of the input signal of the pixel one field before corresponding to the pixel. FIG.
図１３Ｂに示すように、現フィールドの画素ｎＬの信号強度ｎＬと、その画素ｎＬに対して１フィールド前の画素の信号強度との入力動き量は０である。現フィールドの画素ｎＬ＋１の信号強度ｎＬ＋１と、その画素ｎＬ＋１に対して１フィールド前の画素の信号強度との入力動き量は、入力動き量Ｐ１である。現フィールドの画素ｎＬ＋２の信号強度ｎＬ＋２と、その画素ｎＬ＋２に対して１フィールド前の画素の信号強度との入力動き量は、入力動き量Ｐ２である。現フィールドの画素ｎＬ＋３の信号強度ｎＬ＋３と、その画素ｎＬ＋３に対して１フィールド前の画素の信号強度との入力動き量は、入力動き量Ｐ３である。 As shown in FIG. 13B, the input motion amount between the signal intensity nL of the pixel nL in the current field and the signal intensity of the pixel one field before the pixel nL is zero. The input motion amount between the signal strength nL + 1 of the pixel nL + 1 in the current field and the signal strength of the pixel one field before the pixel nL + 1 is the input motion amount P1. The input motion amount of the signal strength nL + 2 of the pixel nL + 2 in the current field and the signal strength of the pixel one field before the pixel nL + 2 is the input motion amount P2. The input motion amount of the signal strength nL + 3 of the pixel nL + 3 in the current field and the signal strength of the pixel one field before the pixel nL + 3 is the input motion amount P3.
これらの入力動き量Ｐ１、入力動き量Ｐ２、および入力動き量Ｐ３は、それぞれ、動被写体の動きに対応した量である。この量は、ノイズではなく、ノイズ除去処理により除去されない量とする必要がある。 These input motion amount P1, input motion amount P2, and input motion amount P3 are amounts corresponding to the motion of the moving subject. This amount is not noise and needs to be an amount that is not removed by the noise removal process.
ここで、このような入力動き量が得られる状況のときに、本発明を適用していない従来の３ＤＮＲ回路、例えば、図４に示した３ＤＮＲ回路５０でノイズ除去を行った場合について、図１４を参照して説明する。またここでは、このような差分値が算出された高輝度領域１６２が存在する画像には、低輝度領域１６１が存在し、図８に示したような画像であるとして説明を続ける。よって、従来の３ＤＮＲ５０においては、低輝度領域１６１で算出されたノイズ除去強度αL（図１２で低輝度領域１６１内でノイズを除去するときのノイズ除去強度）が、高輝度領域１６２においても適用される。
Here, in a situation where such an input motion amount is obtained, a case where noise is removed by a conventional 3DNR circuit to which the present invention is not applied, for example, the
図１４Ａは、低輝度領域１６１の説明のときに用いた図１２Ｂに対応する図であり、現フレームの所定の画素の入力信号の信号強度と、その画素に対応する１フレーム前の画素の出力信号の信号強度の差分値（Ｍn＝ＩＮn−ＯＵＴn-1）を示す図である。
FIG. 14A is a diagram corresponding to FIG. 12B used in the description of the
図１４Ａに示すように、現フレームの画素ｎＨの信号強度ｎＨと、その画素ｎＨに対して１フレーム前の画素の信号強度との差分は０である。現フレームの画素ｎＨ＋１の信号強度ｎＨ＋１と、その画素ｎＨ＋１に対して１フレーム前の画素の信号強度との差分は、差分値ＭＨ＋１’である。現フレームの画素ｎＨ＋２の信号強度ｎＨ＋２と、その画素ｎＨ＋２に対して１フレーム前の画素の信号強度との差分は、差分値ＭＨ＋２’である。現フレームの画素ｎＨ＋３の信号強度ｎＨ＋３と、その画素ｎＨ＋３に対して１フレーム前の画素の信号強度との差分は、差分値ＭＨ＋３’である。 As shown in FIG. 14A, the difference between the signal intensity nH of the pixel nH in the current frame and the signal intensity of the pixel one frame before the pixel nH is zero. The difference between the signal intensity nH + 1 of the pixel nH + 1 in the current frame and the signal intensity of the pixel one frame before the pixel nH + 1 is a difference value MH + 1 ′. The difference between the signal intensity nH + 2 of the pixel nH + 2 in the current frame and the signal intensity of the pixel one frame before the pixel nH + 2 is a difference value MH + 2 ′. The difference between the signal intensity nH + 3 of the pixel nH + 3 in the current frame and the signal intensity of the pixel one frame before the pixel nH + 3 is a difference value MH + 3 ′.
このような場合、ノイズ振幅Δnに応じたノイズ除去強度αLが設定され、すなわち、従来の３ＤＮＲ回路５０では、処理対象とされている画像内の全画素に対して同一のノイズ除去強度αLが設定され、ノイズ除去の処理が実行される。そのため、その出力信号の強度は、図１４Ｂに示したようになる。
In such a case, the noise removal strength αL corresponding to the noise amplitude Δn is set, that is, in the
図１４Ｂにおいて、画素ｎＨの信号強度ｎＨはノイズが除去されることにより信号強度ｎＨ’になる。ただし、この画素ｎＨを基準とした場合、信号強度ｎＨと信号強度ｎＨ’は同じ強度である。同様に、画素ｎＨ＋１の信号強度ｎＨ＋１は、差分値ＭＨ＋１のうち、ノイズであると判断されたノイズ除去強度αL内の強度分が、信号強度ｎＨ＋１から減算された信号強度ｎＨ＋１’とされ出力される。 In FIG. 14B, the signal intensity nH of the pixel nH becomes the signal intensity nH ′ by removing the noise. However, when the pixel nH is used as a reference, the signal intensity nH and the signal intensity nH ′ are the same intensity. Similarly, the signal intensity nH + 1 of the pixel nH + 1 is output as the signal intensity nH + 1 ′ obtained by subtracting the intensity within the noise removal intensity αL determined to be noise from the difference value MH + 1 from the signal intensity nH + 1. .
画素ｎＨ＋２の信号強度ｎＨ＋２は、差分値ＭＨ＋２のうち、ノイズであると判断されたノイズ除去強度αL内の強度分が、信号強度ｎＨ＋２から減算された信号強度ｎＨ＋２’とされ出力される。画素ｎＨ＋３の信号強度ｎＨ＋３は、差分値ＭＨ＋３のうち、ノイズであると判断されたノイズ除去強度αL内の強度分が、信号強度ｎＨ＋３から減算された信号強度ｎＨ＋３’とされ出力される。 The signal intensity nH + 2 of the pixel nH + 2 is output as the signal intensity nH + 2 ′ obtained by subtracting the intensity within the noise removal intensity αL determined to be noise from the difference value MH + 2 from the signal intensity nH + 2. The signal intensity nH + 3 of the pixel nH + 3 is output as the signal intensity nH + 3 ′ obtained by subtracting the intensity within the noise removal intensity αL determined to be noise from the difference value MH + 3 from the signal intensity nH + 3.
図１４Ｃは、現フィールドの所定の画素の出力信号の信号強度と、その所定の画素に対応し、１フィールド前の出力信号の信号強度との差分 (出力動き量ΔＯＵＴ＝ＯＵＴn−ＯＵＴn-1)を表す図である。 FIG. 14C shows the difference between the signal strength of the output signal of a predetermined pixel in the current field and the signal strength of the output signal of the previous field corresponding to the predetermined pixel (output motion amount ΔOUT = OUTn−OUTn−1). FIG.
図１４Ｃに示すように、現フィールドの画素ｎＨの出力信号の信号強度ｎＨ’と、その画素ｎＨに対して１フィールド前の画素の出力信号の信号強度との出力動き量は０である。現フィールドの画素ｎＨ＋１の出力信号の信号強度ｎＨ＋１’と、その画素ｎＨ＋１’に対して１フィールド前の画素の出力信号の信号強度との出力動き量は出力動き量Ｐ１’である。 As shown in FIG. 14C, the output motion amount between the signal intensity nH ′ of the output signal of the pixel nH in the current field and the signal intensity of the output signal of the pixel one field before the pixel nH is zero. The output motion amount P1 'is an output motion amount between the signal strength nH + 1' of the output signal of the pixel nH + 1 in the current field and the signal strength of the output signal of the pixel one field before the pixel nH + 1 '.
現フィールドの画素ｎＨ＋２の出力信号の信号強度ｎＨ＋２’と、その画素ｎＨ＋２’に対して１フィールド前の画素の出力信号の信号強度との出力動き量は出力動き量Ｐ２’である。現フィールドの画素ｎＨ＋３の出力信号の信号強度ｎＨ＋３’と、その画素ｎＨ＋３’に対して１フィールド前の画素の出力信号の信号強度との出力動き量は出力動き量Ｐ３’である。 The amount of output motion between the signal strength nH + 2 'of the output signal of the pixel nH + 2 in the current field and the signal strength of the output signal of the pixel one field before the pixel nH + 2' is the output motion amount P2 '. The output motion amount P3 'is the output motion amount P3' between the signal strength nH + 3 'of the output signal of the pixel nH + 3 in the current field and the signal strength of the output signal of the pixel one field before the pixel nH + 3'.
この出力動き量Ｐ１’、出力動き量Ｐ２’、出力動き量Ｐ３’の絶対値は、それぞれ、入力動き量Ｐ１、入力動き量Ｐ２、入力動き量Ｐ３（図１３Ｂ）の絶対値と比較して小さくなる傾向にある。例えば、図１３Ｂに示した、入力動き量Ｐ２が有限の大きさを有しているのに対して、図１４Ｃに示した、出力動き量Ｐ２’は０となっている。これは入力信号に対して、出力信号の動解像度が劣化していることを意味している。 The absolute values of the output motion amount P1 ′, the output motion amount P2 ′, and the output motion amount P3 ′ are respectively compared with the absolute values of the input motion amount P1, the input motion amount P2, and the input motion amount P3 (FIG. 13B). It tends to be smaller. For example, the input motion amount P2 shown in FIG. 13B has a finite size, whereas the output motion amount P2 ′ shown in FIG. 14C is zero. This means that the dynamic resolution of the output signal is degraded with respect to the input signal.
このように従来の３ＤＮＲ回路５０（図４）でノイズ除去の処理を実行したときには、１フレーム（１フィールド）内の全ての画素に対して、同一の強度でノイズ除去の処理が実行されるため、低輝度領域のS/N比の改善に伴い、高輝度領域での動解像度の劣化が起こる可能性があった。 As described above, when the noise removal processing is executed by the conventional 3DNR circuit 50 (FIG. 4), the noise removal processing is executed with the same intensity for all the pixels in one frame (one field). With the improvement of the S / N ratio in the low brightness area, there is a possibility that the dynamic resolution in the high brightness area may deteriorate.
しかしながら、図１５を参照して説明するように、本発明を適用した３ＤＮＲ回路１００（図６）によれば、低輝度領域のS/N比の改善に伴い、高輝度領域での動解像度の劣化が起こる可能性を低減させることが可能となる。 However, as described with reference to FIG. 15, according to the 3DNR circuit 100 (FIG. 6) to which the present invention is applied, the dynamic resolution in the high luminance region is improved with the improvement of the S / N ratio in the low luminance region. It is possible to reduce the possibility of deterioration.
図８に示したような画像を処理する場合、低輝度領域１６１の平均輝度値を平均輝度値ＬL、高輝度領域１６２の平均輝度値を平均輝度値ＬH、画面全体の平均輝度値を平均輝度値ＬALLとすると、
平均輝度値ＬH＞平均輝度値ＬALL＞平均輝度値ＬL
なる関係が成り立つ。
When processing an image as shown in FIG. 8, the average luminance value LL is the average luminance value of the
Average luminance value LH> Average luminance value LALL> Average luminance value LL
The relationship becomes true.
図１５Ａは低輝度領域１６１の説明のときに用いた図１２Ｂに対応する図であり、現フレームの所定の画素の入力信号の信号強度と、その画素に対応する１フレーム前の画素の出力信号の信号強度の差分値（Ｍn＝ＩＮn−ＯＵＴn-1）を示す図である。
FIG. 15A is a diagram corresponding to FIG. 12B used in the description of the
図１５Ａに示すように、現フレームの画素ｎＨの入力信号の信号強度ｎＨと、その画素ｎＨに対して１フレーム前の画素の信号強度との差分は０であり、現フレームの画素ｎＨ＋１の入力信号の信号強度ｎＨ＋１と、その画素ｎＨ＋１に対して１フレーム前の画素の出力信号の信号強度との差分は、差分値ＭＨ＋１”である。 As shown in FIG. 15A, the difference between the signal strength nH of the input signal of the pixel nH of the current frame and the signal strength of the pixel one frame before the pixel nH is 0, and the input of the pixel nH + 1 of the current frame The difference between the signal strength nH + 1 of the signal and the signal strength of the output signal of the pixel one frame before the pixel nH + 1 is a difference value MH + 1 ″.
現フレームの画素ｎＨ＋２の入力信号の信号強度ｎＨ＋２と、その画素ｎＨ＋２に対して１フレーム前の画素の出力信号の信号強度との差分は、差分値ＭＨ＋２”である。現フレームの画素ｎＨ＋３の入力信号の信号強度ｎＨ＋３と、その画素ｎＨ＋３に対して１フレーム前の画素の出力信号の信号強度との差分は、差分値ＭＨ＋３”である。 The difference between the signal strength nH + 2 of the input signal of the pixel nH + 2 in the current frame and the signal strength of the output signal of the pixel one frame before the pixel nH + 2 is the difference value MH + 2 ″. Input of the pixel nH + 3 of the current frame The difference between the signal strength nH + 3 of the signal and the signal strength of the output signal of the pixel one frame before the pixel nH + 3 is a difference value MH + 3 ″.
図１４Ａと図１５Ａを比較すると異なることがわかる。例えば、差分値ＭＨ＋３’と差分値ＭＨ＋３”は異なる値となっている。図１４Ａと図１５Ａは、ともに、図１３Ａに示したような入力信号強度の入力信号が入力されたときの差分値であるが、出力信号が異なるため、現フレームの所定の画素の入力信号の信号強度と、その画素に対応する１フレーム前の画素の出力信号の信号強度の差分値は異なる値となる。 It can be seen that FIG. 14A and FIG. 15A are different. For example, the difference value MH + 3 ′ and the difference value MH + 3 ″ are different values. Both FIG. 14A and FIG. 15A are difference values when an input signal having an input signal strength as shown in FIG. 13A is input. However, since the output signals are different, the difference value between the signal strength of the input signal of a predetermined pixel in the current frame and the signal strength of the output signal of the pixel one frame before corresponding to the pixel is different.
このような場合、ノイズ振幅Δnに応じたノイズ除去強度αH（補正係数ｋが乗算されたノイズ除去強度α”）を設定されてノイズ除去の処理が実行されるため、その出力信号の強度は、図１５Ｂに示したようになる。 In such a case, the noise removal strength αH (noise removal strength α ″ multiplied by the correction coefficient k) corresponding to the noise amplitude Δn is set and the noise removal processing is executed. As shown in FIG. 15B.
図１５Ｂにおいて、画素ｎＨの入力信号の信号強度ｎＨは、ノイズが除去されることにより信号強度ｎＨ”になる。ただし、この画素ｎＨを基準とした場合、信号強度ｎＨと信号強度ｎＨ”は同じ強度である。同様に、画素ｎＨ＋１の入力信号の信号強度ｎＨ＋１は、差分値ＭＨ＋１”のうち、ノイズであると判断されたノイズ除去強度αH内の強度分が、信号強度ｎＨ＋１から減算された信号強度ｎＨ＋１”とされ出力される。 In FIG. 15B, the signal intensity nH of the input signal of the pixel nH becomes the signal intensity nH ″ by removing noise. However, when the pixel nH is used as a reference, the signal intensity nH and the signal intensity nH ″ are the same. It is strength. Similarly, the signal intensity nH + 1 of the input signal of the pixel nH + 1 is the signal intensity nH + 1 ″ obtained by subtracting the intensity within the noise removal intensity αH determined to be noise from the difference value MH + 1 ″ from the signal intensity nH + 1. And output.
画素ｎＨ＋２の入力信号の信号強度ｎＨ＋２は、差分値ＭＨ＋２”のうち、ノイズであると判断されたノイズ除去強度αH内の強度分が、信号強度ｎＨ＋２から減算された信号強度ｎＨ＋２”とされ出力される。画素ｎＨ＋３の入力信号の信号強度ｎＨ＋３は、差分値ＭＨ＋３”のうち、ノイズであると判断されたノイズ除去強度αH内の強度分が、信号強度ｎＨ＋３から減算された信号強度ｎＨ＋３”とされ出力される。 The signal intensity nH + 2 of the input signal of the pixel nH + 2 is output as the signal intensity nH + 2 ″ obtained by subtracting the intensity within the noise removal intensity αH determined to be noise from the difference value MH + 2 ″ from the signal intensity nH + 2. The The signal intensity nH + 3 of the input signal of the pixel nH + 3 is output as the signal intensity nH + 3 ″ obtained by subtracting the intensity within the noise removal intensity αH determined to be noise from the difference value MH + 3 ″ from the signal intensity nH + 3. The
ノイズ除去強度αHは、図１４Ａに示したノイズ除去強度αLと比較して、小さい値であることがわかる。これは、上述したように、同一画像内に低輝度領域１６１と高輝度領域１６２が存在するような場合、補正係数が乗算されることで、低輝度領域１６１内に適用するノイズ除去強度αLの方が、高輝度領域１６２内に適用するノイズ除去強度αHのよりも大きな値になるように設定されているからである。
It can be seen that the noise removal strength αH is smaller than the noise removal strength αL shown in FIG. 14A. As described above, when the
よって、高輝度領域１６２内では、ノイズ成分は除去されるが、動き成分は除去されず、適切なノイズ除去が行われる。その結果、図１５Ｂに示すような強度を有する出力信号が出力され、図１５Ｃに示すような出力動き量が得られることになる。
Therefore, in the
図１５Ｃは、現フィールドの所定の画素の出力信号の信号強度と、その所定の画素に対応し、１フィールド前の出力信号の信号強度との差分 (出力動き量ΔＯＵＴ＝ＯＵＴn−ＯＵＴn-1)を表す図である。 FIG. 15C shows the difference between the signal intensity of the output signal of a predetermined pixel in the current field and the signal intensity of the output signal of the previous field corresponding to the predetermined pixel (output motion amount ΔOUT = OUTn−OUTn−1). FIG.
図１５Ｃに示すように、現フィールドの画素ｎＨの出力信号の信号強度ｎＨ”と、その画素ｎＨに対して１フィールド前の画素の出力信号の信号強度との出力動き量は０である。現フィールドの画素ｎＨ＋１の出力信号の信号強度ｎＨ＋１”と、その画素ｎＨ＋１”に対して１フィールド前の画素の出力信号の信号強度との出力動き量は出力動き量Ｐ１”である。 As shown in FIG. 15C, the output motion amount between the signal intensity nH ″ of the output signal of the pixel nH in the current field and the signal intensity of the output signal of the pixel one field before the pixel nH is 0. The amount of output motion between the signal strength nH + 1 ″ of the output signal of the pixel nH + 1 in the field and the signal strength of the output signal of the pixel one field before the pixel nH + 1 ″ is the output motion amount P1 ″.
現フィールドの画素ｎＨ＋２の出力信号の信号強度ｎＨ＋２”と、その画素ｎＨ＋２”に対して１フィールド前の画素の出力信号の信号強度との出力動き量は出力動き量Ｐ２”である。現フィールドの画素ｎＨ＋３の出力信号の信号強度ｎＨ＋３”と、その画素ｎＨ＋３”に対して１フィールド前の画素の出力信号の信号強度との出力動き量は出力動き量Ｐ３”である。 The output motion amount between the signal strength nH + 2 ″ of the output signal of the pixel nH + 2 in the current field and the signal strength of the output signal of the pixel one field before the pixel nH + 2 ″ is the output motion amount P2 ″. The output motion amount between the signal strength nH + 3 ″ of the output signal of the pixel nH + 3 and the signal strength of the output signal of the pixel one field before the pixel nH + 3 ″ is the output motion amount P3 ″.
本発明を適用した３ＤＮＲ回路１００で、ノイズ除去強度αHにて３ＤＮＲの処理を行った場合、出力動き量ΔOUTと入力動き量ΔINとの差分は、従来の３ＤＮＲ回路５０でノイズ除去強度αLにて３ＤＮＲの処理を行ったときと比べて小さくなる。例えば、図１５Ｃに示した出力動き量Ｐ３”と例えば、図１３Ｂに示した入力動き量Ｐ３との差分（３ＤＮＲ回路１００で処理した場合の差分）は、例えば、図１４Ｃに示した出力動き量Ｐ３’と例えば、図１３Ｂに示した入力動き量Ｐ１との差分（３ＤＮＲ回路５０で処理した場合の差分）よりも小さいものとなる。
When 3DNR processing is performed with the noise removal strength αH in the
このことは、本発明を用いて３ＤＮＲでノイズ除去の処理を行うことで、高輝度領域の動解像度の劣化を抑えながら、低輝度領域におけるS/N比の改善を行うことが可能となることを示している。すなわち、１つの画像内に、高輝度の領域と低輝度の領域が存在しているような場合であっても、その高輝度の領域と低輝度の領域の両方に適したノイズ除去を適切に行うことが可能となる。 This means that by performing noise removal processing with 3DNR using the present invention, it is possible to improve the S / N ratio in the low luminance region while suppressing deterioration of the dynamic resolution in the high luminance region. Is shown. In other words, even if there is a high-brightness region and a low-brightness region in one image, noise removal suitable for both the high-brightness region and the low-brightness region is properly performed. Can be done.
［強度補正部の他の構成について］
図７に示した強度補正部１１０においては、処理対象とされているフレーム内にある処理対象とされている領域の輝度値の平均値である平均輝度値Ｌｘから、フレーム内の全画素の輝度値の平均値である平均輝度値ＬALLを減算した差分値（Ｌｘ−ＬALL）と、補正係数ｋとの相関Ｆ（Ｌｘ−ＬALL）に基づき、補正係数ｋが導出されるとして説明した。換言すれば、差分値（Ｌｘ−ＬALL）を所定の演算式に代入し、演算することで、補正係数ｋが算出されるとして説明した。
[Other configurations of intensity correction unit]
In the
この相関関係を、予めテーブルとして保持し、そのテーブルが参照されることで、補正係数ｋが算出されるようにしても良い。テーブルを保持し、そのテーブルが参照されて補正係数ｋが算出されるようにした場合、強度補正部１１０の構成は、図１６に示したようになる。
The correlation may be stored in advance as a table, and the correction coefficient k may be calculated by referring to the table. When the table is held and the correction coefficient k is calculated by referring to the table, the configuration of the
図１６は、強度補正部１１０の他の構成を示す図である。図１６に示した強度補正部１１０は、減算部１７１、係数導出部１７２、乗算部１７３、およびテーブル保持部１７４を備える構成とされている。減算部１７１には、ＯＰＤ１０９（図６）から全画素の輝度値の平均値である平均輝度値ＬALLと、ノイズ除去対象を含む有限領域の輝度値の平均値である平均輝度値Ｌxが供給される。減算部１７１は、供給された平均輝度値Ｌxから平均輝度値ＬALLを減算する。
FIG. 16 is a diagram illustrating another configuration of the
すなわち、減算部１７１は、処理対象とされているフレーム内にある処理対象とされている領域の輝度値の平均値から、フレーム内の全画素の輝度値の平均値を減算する。その減算結果である差分値（Ｌｘ−ＬALL）は、係数導出部１７２に供給される。係数導出部１７２は、テーブル保持部１７４を参照し、差分値（Ｌｘ−ＬALL）に対応する補正係数ｋを導出する。テーブル保持部１７４が保持するテーブルは、差分値（Ｌｘ−ＬALL）と補正係数ｋが関連付けられているテーブルであり、差分値（Ｌｘ−ＬALL）から一意に補正係数ｋを読み出せるテーブルである。
That is, the subtracting
テーブルに書き込まれている補正係数ｋは、図７に示した強度補正部１１０の説明でした、図９に示すような相関関係を満たす。すなわち、補正係数ｋは、差分値（Ｌx - ＬALL）に対し負の依存性を持ち、差分値（Ｌx - ＬALL）＝０ にてｋ＝１ となるように設定されている。差分値（Ｌx - ＬALL）と補正係数ｋとの相関を満たす補正係数ｋが差分値（Ｌx - ＬALL）と関連付けられてテーブルに記載されている。図９に示した相関は、
差分値（Ｌx - ＬALL）＝０ のとき ｋ＝１
差分値（Ｌx - ＬALL）＜１ のとき ｋ＞１
差分値（Ｌx - ＬALL）＞１ のとき ｋ＜１
の関係を満たし、この関係を満たす補正係数ｋが差分値（Ｌx - ＬALL）と関連付けられてテーブルに記載されている。
The correction coefficient k written in the table satisfies the correlation as shown in FIG. 9, which is the description of the
When the difference value (Lx-LALL) = 0, k = 1
When difference value (Lx-LALL) <1, k> 1
When the difference value (Lx-LALL)> 1, k <1
The correction coefficient k satisfying this relationship is described in the table in association with the difference value (Lx−LALL).
図１６に示した強度補正部１１０の説明に戻り、テーブル保持部１７４が参照されて導出された補正係数ｋは、乗算部１７３に供給される。乗算部１７３には、ノイズ除去強度制御部１０７から、ノイズを除去するためのノイズ除去強度αと、係数導出部１７２からの補正係数ｋが供給される。乗算部１７３は、供給されたノイズ除去強度αに補正係数ｋを乗算することで、補正後のノイズ除去強度α’を算出し、ノイズ除去部１０６（図６）に供給する。
Returning to the description of the
基本的な動作は、図７に示した強度補正部１１０と同様であるが、補正係数ｋが、テーブルを参照して導出される点が異なる。図１６に示した強度補正部１１０も、図１１に示したフローチャートに基づいて処理を行うため、その説明は省略する。ただし、ステップＳ１３において行われる補正係数ｋの導出に関する処理は、テーブル保持部１７４に保持されているテーブルが参照されて行われる点が異なる。
The basic operation is the same as that of the
このように、テーブルが参照されて補正係数ｋが導出される場合も、相関から補正係数ｋが導出される場合と同じく、高輝度領域の動解像度の劣化を抑えながら、低輝度領域におけるS/N比の改善を行うことが可能となるノイズ除去を実現できる。 In this way, when the correction coefficient k is derived by referring to the table, the S / S in the low luminance region is suppressed while suppressing the deterioration of the dynamic resolution in the high luminance region, as in the case where the correction coefficient k is derived from the correlation. Noise removal that can improve the N ratio can be realized.
［２ＤＮＲ回路の構成について］
上述した実施の形態は、３ＤＮＲ回路においてノイズを除去する場合であった。本発明は、２ＤＮＲ回路にも適用できる。図１７は、本発明を２ＤＮＲ回路に適用したときの一実施の形態の構成を示す図である。
[Configuration of 2DNR circuit]
The embodiment described above is a case where noise is removed in the 3DNR circuit. The present invention can also be applied to a 2DNR circuit. FIG. 17 is a diagram showing a configuration of an embodiment when the present invention is applied to a 2DNR circuit.
図１７に示した２ＤＮＲ回路２００は、撮像部２０１、ＡＧＣ部２０２、Ａ／Ｄ変換部２０３、２ＤＮＲ処理部２０４、ノイズ除去強度制御部２０５、ＯＰＤ２０６、および強度補正部２０７を含む構成とされている。撮像部２０１で撮像された所定の画像のデータは、ＡＧＣ部２０２に供給される。ＡＧＣ部２０２は、供給されたデータの信号が強くなると利得を抑えて出力が大きくならないようにし、信号が弱くなると利得を上げて出力が小さくならないように制御することで、一定の強度を有する信号をＡ／Ｄ変換部２０３とノイズ除去強度制御部２０５に供給する。
The 2DNR circuit 200 illustrated in FIG. 17 includes an
Ａ／Ｄ変換部２０３は、供給された信号をデジタル信号（データ）に変換し、２ＤＮＲ処理部２０４とＯＰＤ２０６に供給する。ノイズ除去強度制御部２０５は、ノイズを除去するための強度（ノイズ除去強度α）を、ＡＧＣ部２０２からの信号を基に設定し、強度補正部２０７に供給する。強度補正部２０７は、ＯＰＤ２０６から供給される全画素平均の輝度値と処理対象とされている領域の平均の輝度値である平均輝度値ＬALLと、処理対象とされている領域内の画素の平均の輝度値である平均輝度値Ｌｘを用いて、ノイズ除去強度制御部２０５からのノイズ除去強度αを補正する。
The A /
補正されたノイズ除去強度α’は、２ＤＮＲ処理部２０４に供給される。２ＤＮＲ処理部２０４は、Ａ／Ｄ変換部２０３からの信号を、ノイズ除去強度α’に基づき、ノイズを除去する処理を施す。
The corrected noise removal strength α ′ is supplied to the
このように構成される２ＤＮＲ回路２００におけるＯＰＤ２０６は、図６に示した３ＤＮＲ回路１００のＯＰＤ１０９と同じ構成とすることができる。また、２ＤＮＲ回路２００における強度補正部２０７は、図６に示した３ＤＮＲ回路１００の強度補正部１１０と同じ構成とすることができる。すなわち、強度補正部２０７は、図７に示した強度補正部１１０または図１６に示した強度補正部１１０と同じ構成とすることが可能である。
The
よって、強度補正部２０７は、図７に示した強度補正部１１０または図１６に示した強度補正部１１０と同じ処理を実行することで、換言すれば、図１１に示したフローチャートの処理を実行することで、供給されたノイズ除去強度αを補正し、ノイズ除去強度α’を生成する。
Therefore, the
本発明を２ＤＮＲに適用した場合も、３ＤＮＲに適用した場合と同じ効果を得ることができる。すなわち、S/N比の比較的高い高輝度域における解像感の劣化を抑制しつつ、低輝度域のS/N比を高めることが可能となる。 When the present invention is applied to 2DNR, the same effect as when applied to 3DNR can be obtained. That is, it is possible to increase the S / N ratio in the low luminance region while suppressing deterioration of the resolution in the high luminance region having a relatively high S / N ratio.
このように、本発明を適用してノイズ除去を行うことで、信号強度が大きく比較的S/Nのよい高輝度領域に対するノイズ除去強度を弱くし、S/N比の悪い低輝度領域に対するノイズ除去強度を強くする、というように各信号のS/N比に応じて、ノイズ除去強度を調節することが可能となる。 As described above, by applying the present invention to perform noise removal, the noise removal strength for the high luminance region having a large signal strength and a relatively good S / N is weakened, and the noise for the low luminance region having a poor S / N ratio is obtained. It is possible to adjust the noise removal strength according to the S / N ratio of each signal, such as increasing the removal strength.
３ＤＮＲでは動解像度の劣化、２ＤＮＲでは解像感の劣化、というようにノイズ除去制御には副作用が伴うが、本発明を適用することで、S/N比に対してノイズ除去強度の最適化を図られるため、S/N比のよい高輝度領域での副作用の発現を抑えながら、低輝度領域のS/N比改善を図ることが可能となる。特に信号強度の差分の大きい撮像条件、すなわちダイナミックレンジの高い撮像条件にて、より効果を期待できる。 Noise removal control has side effects, such as degradation of dynamic resolution with 3DNR and degradation of resolution with 2DNR. Therefore, it is possible to improve the S / N ratio in the low luminance region while suppressing the occurrence of side effects in the high luminance region with a good S / N ratio. In particular, an effect can be expected more in an imaging condition having a large signal intensity difference, that is, an imaging condition having a high dynamic range.
なお、上述した実施の形態において、例えば、図９に示した差分値（Ｌｘ―ＬALL）と補正係数ｋとの相関関係は、一例であり、他の相関関係、例えば、一次関数に基づく相関関係であっても良い。 In the above-described embodiment, for example, the correlation between the difference value (Lx−LALL) and the correction coefficient k illustrated in FIG. 9 is an example, and other correlations, for example, correlations based on a linear function. It may be.
また、ノイズ除去強度αに、補正係数ｋが乗算されることで、ノイズ除去強度α’が算出されるとして説明したが、補正係数ｋが乗算される以外にも、例えば補正係数kが加算、減算、または除算されることによりノイズ除去強度α’が算出されるようにしても良い。 In addition, the noise removal intensity α is multiplied by the correction coefficient k to calculate the noise removal intensity α ′. The noise removal strength α ′ may be calculated by subtraction or division.
［記録媒体について］
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
[About recording media]
The series of processes described above can be executed by hardware or can be executed by software. When a series of processing is executed by software, a program constituting the software is installed in the computer. Here, the computer includes, for example, a general-purpose personal computer capable of executing various functions by installing various programs by installing a computer incorporated in dedicated hardware.
図１８は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。コンピュータにおいて、ＣＰＵ（Central Processing Unit）１００１、ＲＯＭ（Read Only Memory）１００２、ＲＡＭ（Random Access Memory）１００３は、バス１００４により相互に接続されている。バス１００４には、さらに、入出力インタフェース１００５が接続されている。入出力インタフェース１００５には、入力部１００６、出力部１００７、記憶部１００８、通信部１００９、及びドライブ１０１０が接続されている。
FIG. 18 is a block diagram illustrating an example of a hardware configuration of a computer that executes the above-described series of processes using a program. In a computer, a CPU (Central Processing Unit) 1001, a ROM (Read Only Memory) 1002, and a RAM (Random Access Memory) 1003 are connected to each other by a
入力部１００６は、キーボード、マウス、マイクロフォンなどよりなる。出力部１００７は、ディスプレイ、スピーカなどよりなる。記憶部１００８は、ハードディスクや不揮発性のメモリなどよりなる。通信部１００９は、ネットワークインタフェースなどよりなる。ドライブ１０１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア１０１１を駆動する。
The
以上のように構成されるコンピュータでは、ＣＰＵ１００１が、例えば、記憶部１００８に記憶されているプログラムを、入出力インタフェース１００５及びバス１００４を介して、ＲＡＭ１００３にロードして実行することにより、上述した一連の処理が行われる。
In the computer configured as described above, the
コンピュータ（ＣＰＵ１００１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア１０１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。 The program executed by the computer (CPU 1001) can be provided by being recorded on the removable medium 1011 as a package medium, for example. The program can be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
コンピュータでは、プログラムは、リムーバブルメディア１０１１をドライブ１０１０に装着することにより、入出力インタフェース１００５を介して、記憶部１００８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１００９で受信し、記憶部１００８にインストールすることができる。その他、プログラムは、ＲＯＭ１００２や記憶部１００８に、あらかじめインストールしておくことができる。
In the computer, the program can be installed in the
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。 The program executed by the computer may be a program that is processed in time series in the order described in this specification, or in parallel or at a necessary timing such as when a call is made. It may be a program for processing.
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。 Further, in this specification, the system represents the entire apparatus constituted by a plurality of apparatuses.
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。 The embodiment of the present invention is not limited to the above-described embodiment, and various modifications can be made without departing from the gist of the present invention.
１００ ３ＤＮＲ回路， １０１ 撮像部， １０２ ＡＧＣ部， １０３ Ａ／Ｄ変換部， １０４ 減算部， １０５ 減算部， １０６ ノイズ除去部， １０７ ノイズ除去強度制御部， １０８ メモリ， １０９ ＯＰＤ， １１０ 強度補正部， １５１ 減算部， １５２ 係数導出部， １５３ 乗算部， １７１ 減算部， １７２ 係数導出部， １７３ 乗算部， １７４ テーブル保持部， ２０１ 撮像部， ２０２ ＡＧＣ部， ２０３ Ａ／Ｄ変換部， ２０４ ２ＤＮＲ処理部， ２０５ ノイズ除去強度制御部， ２０６ ＯＰＤ， ２０７ 強度補正部 100 3DNR circuit, 101 imaging unit, 102 AGC unit, 103 A / D conversion unit, 104 subtraction unit, 105 subtraction unit, 106 noise removal unit, 107 noise removal intensity control unit, 108 memory, 109 OPD, 110 intensity correction unit, 151 subtracting unit, 152 coefficient deriving unit, 153 multiplying unit, 171 subtracting unit, 172 coefficient deriving unit, 173 multiplying unit, 174 table holding unit, 201 imaging unit, 202 AGC unit, 203 A / D converting unit, 204 2DNR processing unit , 205 Noise removal intensity control unit, 206 OPD, 207 intensity correction unit
Claims (7)
前記画像を構成する全画素の輝度値の平均値である第１の平均輝度値と、前記画像内のノイズを除去する対象とされている画素を含む有限領域内の画素の輝度値の平均値である第２の平均輝度値を取得し、前記第１の平均輝度値と前記第２の平均輝度値の差分を算出する差分値算出手段と、
前記差分値算出手段で算出された差分値から、前記ノイズ除去強度算出手段により算出された前記強度を補正するための補正係数を導出する導出手段と、
前記導出手段により導出された前記補正係数で前記強度を補正することで、前記ノイズを除去する対象とされている画素に対するノイズ除去のための強度を設定する設定手段と
を備える画像処理装置。 Noise removal intensity calculating means for calculating intensity for removing noise from an image to be processed;
The first average luminance value that is the average value of the luminance values of all the pixels constituting the image, and the average value of the luminance values of the pixels in the finite area including the pixel that is the target for removing noise in the image Difference value calculating means for acquiring a second average luminance value that is, and calculating a difference between the first average luminance value and the second average luminance value;
Deriving means for deriving a correction coefficient for correcting the intensity calculated by the noise removal intensity calculating means from the difference value calculated by the difference value calculating means;
An image processing apparatus comprising: setting means for setting an intensity for noise removal with respect to a pixel that is a target of noise removal by correcting the intensity with the correction coefficient derived by the derivation means.
請求項１に記載の画像処理装置。 The image processing apparatus according to claim 1, wherein the derivation unit derives the correction coefficient by performing an operation based on a correlation between the difference value and the correction coefficient.
前記導出手段は、前記テーブル保持手段で保持されている前記テーブルを参照して前記補正係数を導出する
請求項１に記載の画像処理装置。 A table in which the difference value and the correction coefficient are associated with each other, further comprising table holding means for holding a table from which the correction coefficient can be uniquely read from the difference value;
The image processing apparatus according to claim 1, wherein the deriving unit derives the correction coefficient with reference to the table held by the table holding unit.
請求項１乃至３のいずれかに記載の画像処理装置。 The image processing apparatus according to claim 1, wherein the correction coefficient has a negative dependency on the difference value, and is 1 when the difference value is 0. 5.
請求項１乃至４のいずれかに記載の画像処理装置。 The image processing apparatus according to claim 1, wherein the image processing apparatus is incorporated in a circuit that performs 2DNR (2D noise reduction) or 3DNR (3D noise reduction) processing.
前記画像を構成する全画素の輝度値の平均値である第１の平均輝度値と、前記画像内のノイズを除去する対象とされている画素を含む有限領域内の画素の輝度値の平均値である第２の平均輝度値を取得し、前記第１の平均輝度値と前記第２の平均輝度値の差分を算出し、
前記差分値から、前記強度を補正するための補正係数を導出し、
導出された前記補正係数で前記強度を補正することで、前記ノイズを除去する対象とされている画素に対するノイズ除去のための強度を設定する
ステップを含む画像処理方法。 Calculate the strength to remove noise from the image being processed,
The first average luminance value that is the average value of the luminance values of all the pixels constituting the image, and the average value of the luminance values of the pixels in the finite area including the pixel that is the target for removing noise in the image A second average luminance value is calculated, and a difference between the first average luminance value and the second average luminance value is calculated,
Deriving a correction coefficient for correcting the intensity from the difference value,
An image processing method including a step of setting an intensity for noise removal for a pixel from which the noise is to be removed by correcting the intensity with the derived correction coefficient.
前記画像を構成する全画素の輝度値の平均値である第１の平均輝度値と、前記画像内のノイズを除去する対象とされている画素を含む有限領域内の画素の輝度値の平均値である第２の平均輝度値を取得し、前記第１の平均輝度値と前記第２の平均輝度値の差分を算出し、
前記差分値から、前記強度を補正するための補正係数を導出し、
導出された前記補正係数で前記強度を補正することで、前記ノイズを除去する対象とされている画素に対するノイズ除去のための強度を設定する
ステップを含む処理をコンピュータに実行させるプログラム。 Calculate the strength to remove noise from the image being processed,
The first average luminance value that is the average value of the luminance values of all the pixels constituting the image, and the average value of the luminance values of the pixels in the finite area including the pixel that is the target for removing noise in the image A second average luminance value is calculated, and a difference between the first average luminance value and the second average luminance value is calculated,
Deriving a correction coefficient for correcting the intensity from the difference value,
A program that causes a computer to execute processing including a step of setting an intensity for noise removal for a pixel that is a target of noise removal by correcting the intensity with the derived correction coefficient.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009189108A JP2011041183A (en) | 2009-08-18 | 2009-08-18 | Image processing apparatus and method, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009189108A JP2011041183A (en) | 2009-08-18 | 2009-08-18 | Image processing apparatus and method, and program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2011041183A true JP2011041183A (en) | 2011-02-24 |
Family
ID=43768449
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009189108A Withdrawn JP2011041183A (en) | 2009-08-18 | 2009-08-18 | Image processing apparatus and method, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2011041183A (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2013161840A1 (en) * | 2012-04-26 | 2013-10-31 | 日本電気株式会社 | Image processing method and image processing device |
| WO2013161838A1 (en) * | 2012-04-26 | 2013-10-31 | 日本電気株式会社 | Image processing method and image processing device |
| WO2013161839A1 (en) * | 2012-04-26 | 2013-10-31 | 日本電気株式会社 | Image processing method and image processing device |
-
2009
- 2009-08-18 JP JP2009189108A patent/JP2011041183A/en not_active Withdrawn
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2013161840A1 (en) * | 2012-04-26 | 2013-10-31 | 日本電気株式会社 | Image processing method and image processing device |
| WO2013161838A1 (en) * | 2012-04-26 | 2013-10-31 | 日本電気株式会社 | Image processing method and image processing device |
| WO2013161839A1 (en) * | 2012-04-26 | 2013-10-31 | 日本電気株式会社 | Image processing method and image processing device |
| US9135685B2 (en) | 2012-04-26 | 2015-09-15 | Nec Corporation | Image processing method and image processing device |
| JPWO2013161838A1 (en) * | 2012-04-26 | 2015-12-24 | 日本電気株式会社 | Image processing method and image processing apparatus |
| JPWO2013161840A1 (en) * | 2012-04-26 | 2015-12-24 | 日本電気株式会社 | Image processing method and image processing apparatus |
| JPWO2013161839A1 (en) * | 2012-04-26 | 2015-12-24 | 日本電気株式会社 | Image processing method and image processing apparatus |
| US9501711B2 (en) | 2012-04-26 | 2016-11-22 | Nec Corporation | Image processing method and image processing device with correction of pixel statistical values to reduce random noise |
| US9519958B2 (en) | 2012-04-26 | 2016-12-13 | Nec Corporation | Image processing method and image processing device with pixel correction |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8243150B2 (en) | Noise reduction in an image processing method and image processing apparatus | |
| JP4290193B2 (en) | Image processing device | |
| JP5974250B2 (en) | Image processing apparatus, image processing method, image processing program, and recording medium | |
| JP5191224B2 (en) | Image processing device | |
| JP6785456B2 (en) | Image processing equipment, image processing methods and programs | |
| JP2011086275A5 (en) | ||
| US20100033596A1 (en) | Solid-state image-capturing apparatus, camera, and method of processing signal | |
| JP2007329524A (en) | Noise suppression method, program for noise suppression method, recording medium with program for noise suppression method recorded thereon, and noise suppression apparatus | |
| US9525824B2 (en) | Method and apparatus for processing image according to image conditions | |
| JP5701640B2 (en) | Image processing device | |
| US8750635B2 (en) | Image processing apparatus, image processing method, program, and recording medium | |
| KR101336240B1 (en) | Method and apparatus for image processing using saved image | |
| JP2006197455A (en) | Noise reduction device | |
| JP2011055259A (en) | Image processing apparatus, image processing method, image processing program and program storage medium stored with image processing program | |
| US20110091129A1 (en) | Image processing apparatus and method, and program | |
| JP2011041183A (en) | Image processing apparatus and method, and program | |
| US8159566B2 (en) | Method and apparatus for compensating signal distortion caused by noise | |
| JP2005150903A (en) | Image processing apparatus, noise elimination method, and noise elimination program | |
| US20190191057A1 (en) | Image processing device, image processing method, and program | |
| JP7117532B2 (en) | Image processing device, image processing method and program | |
| JP2010200236A (en) | Lateral noise correcting method | |
| JP2010074373A (en) | Imaging apparatus | |
| JP2013026875A (en) | Image processing system | |
| JP2010068090A (en) | Method and device for processing image | |
| JP2010141813A (en) | Video processing apparatus and method of controlling video processing apparatus |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20121106 |