JP2010171517A - Noise reduction circuit - Google Patents
Noise reduction circuit Download PDFInfo
- Publication number
- JP2010171517A JP2010171517A JP2009009980A JP2009009980A JP2010171517A JP 2010171517 A JP2010171517 A JP 2010171517A JP 2009009980 A JP2009009980 A JP 2009009980A JP 2009009980 A JP2009009980 A JP 2009009980A JP 2010171517 A JP2010171517 A JP 2010171517A
- Authority
- JP
- Japan
- Prior art keywords
- noise reduction
- motion
- coefficient
- accumulation
- filter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 claims abstract description 38
- 238000001914 filtration Methods 0.000 claims abstract description 8
- 238000009825 accumulation Methods 0.000 claims description 86
- 125000004122 cyclic group Chemical group 0.000 claims description 40
- 238000003384 imaging method Methods 0.000 abstract description 4
- 230000006870 function Effects 0.000 description 29
- 238000000034 method Methods 0.000 description 12
- 230000000694 effects Effects 0.000 description 5
- 206010047571 Visual impairment Diseases 0.000 description 4
- 230000035945 sensitivity Effects 0.000 description 4
- 230000007423 decrease Effects 0.000 description 3
- 230000001186 cumulative effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Landscapes
- Picture Signal Circuits (AREA)
Abstract
Description
本発明は、映像(画像)の信号などのノイズ成分を除去するノイズリダクション回路に関し、特に、巡回型ノイズリダクション機能と長時間蓄積動作機能の両立を実現したノイズリダクション回路に関する。 The present invention relates to a noise reduction circuit that removes noise components such as video (image) signals, and more particularly to a noise reduction circuit that realizes both a cyclic noise reduction function and a long-time accumulation operation function.
例えば、映像信号のノイズ成分を除去する回路(ノイズ除去回路)としては、巡回型ノイズリダクション回路が効果的であり、従来から利用されている。
図5には、巡回型ノイズリダクション回路の一例を示してある。
本例の巡回型ノイズリダクション回路は、乗算器101、加算器102、フレームメモリ103、乗算器104、フィルタ係数Kの出力部105、フィルタ係数(1−K)の出力部106を備えている。
この方式では、巡回型フィルタを用いて累積加算する構成により、ランダム成分であるノイズのみがキャンセルされ、信号成分を有効に取り出すことができる。
For example, a cyclic noise reduction circuit is effective as a circuit for removing a noise component of a video signal (noise removal circuit) and has been conventionally used.
FIG. 5 shows an example of a cyclic noise reduction circuit.
The cyclic noise reduction circuit of this example includes a
In this method, by the cumulative addition using a recursive filter, only noise that is a random component is canceled, and a signal component can be extracted effectively.
また、巡回型フィルタでは、動きのある画像については、フィルタの時定数により、残像が発生する。このため、一般的には、動き検出機能付きの巡回型ノイズリダクション回路を用いて、動きを検出し、動きの量に応じて係数を制御する。具体的には、動きが大きい画像については、残像を抑えるために、フィルタ係数Kを小さくして、巡回フィルタの効果を弱める一方、動きの無い画像については、フィルタ係数Kを大きくして、巡回フィルタの効果を強める。 In the cyclic filter, an afterimage is generated for a moving image due to the time constant of the filter. For this reason, generally, a cyclic noise reduction circuit with a motion detection function is used to detect motion and control the coefficient according to the amount of motion. Specifically, for an image with a large amount of motion, the filter coefficient K is reduced to reduce the effect of the cyclic filter in order to suppress the afterimage, while for an image with no motion, the filter coefficient K is increased to increase the cyclicity. Strengthen the filter effect.
図6には、動き検出機能付きの巡回型ノイズリダクション回路の一例を示してある。
本例の動き検出機能付きの巡回型ノイズリダクション回路は、乗算器111、加算器112、フレームメモリ113、乗算器114、フィルタ係数Kの出力部115、フィルタ係数(1−K)の出力部116、フィルタ係数を制御する動き検出部117を備えている。
なお、動き検出部117は、例えば、過去のフレームを記憶するメモリを内部或いは外部に有している。
FIG. 6 shows an example of a cyclic noise reduction circuit with a motion detection function.
The cyclic noise reduction circuit with a motion detection function of this example includes a
Note that the
次に、撮像素子における蓄積動作について説明する。
図7(a)には、撮像素子における通常の蓄積動作の一例を示してあり、図7(b)には、撮像素子における2倍の蓄積動作の一例を示してある。
図7(a)に示されるように、通常の蓄積処理では、フレーム単位で行うため、毎フレームで信号が出力されるが、図7(b)に示されるように、蓄積時間が長い場合には、間欠フレームが発生する。このとき、カメラシステムでは、例えば、メモリを用いて間欠フレームを補間して、無信号期間の穴埋めをする。
Next, the accumulation operation in the image sensor will be described.
FIG. 7A illustrates an example of a normal accumulation operation in the image sensor, and FIG. 7B illustrates an example of a double accumulation operation in the image sensor.
As shown in FIG. 7A, since the normal accumulation process is performed in units of frames, a signal is output every frame. However, as shown in FIG. 7B, when the accumulation time is long. Intermittent frames occur. At this time, in the camera system, for example, intermittent frames are interpolated using a memory to fill in a no-signal period.
ここで、図7(b)には、蓄積時間が2倍である場合を示してある。
蓄積時間が2倍である場合には、電荷が2倍溜まるため、感度は2倍上がり、つまり、2倍明るくなる。
このように蓄積時間を長くする構成は、例えば、夜間などのように光量が少なくなる場合に感度向上の目的で適用される。但し、間欠処理となるため、映像の動きに不連続性が発生し得る。
Here, FIG. 7B shows a case where the accumulation time is doubled.
When the accumulation time is double, the charge is doubled, so that the sensitivity is doubled, that is, twice as bright.
Such a configuration in which the accumulation time is extended is applied for the purpose of improving sensitivity when the amount of light decreases, for example, at night. However, since the process is intermittent, discontinuity may occur in the motion of the video.
しかしながら、従来では、上述した巡回型ノイズリダクション機能と、上述した長時間蓄積動作機能については、何れか一方を選択する構成しかなく、巡回型ノイズリダクション機能と長時間蓄積動作機能の両立を図ることが望まれていた。
本発明は、このような従来の事情に鑑み為されたもので、巡回型ノイズリダクション機能と長時間蓄積動作機能の両立を実現したノイズリダクション回路を提供することを目的とする。
Conventionally, however, there is only a configuration for selecting either the cyclic noise reduction function or the long-time accumulation operation function described above, and both the cyclic noise reduction function and the long-time accumulation operation function are achieved. Was desired.
The present invention has been made in view of such a conventional situation, and an object of the present invention is to provide a noise reduction circuit that realizes both a cyclic noise reduction function and a long-time accumulation operation function.
上記目的を達成するため、本発明では、撮像素子における電荷蓄積により取得された信号のノイズを除去するノイズリダクション回路において、次のような構成とした。
すなわち、巡回型フィルタ手段が、前記信号に対して、フィルタ係数を使用して、巡回型のフィルタリングを行う。動き検出手段が、前記信号の動きを検出する。動き係数決定手段が、前記動き検出手段により検出された動きの量に応じて、フィルタ係数の値を決定する。
また、蓄積時間変更手段が、前記撮像素子における電荷蓄積の蓄積時間を変更する。フィルタ係数制御手段が、前記蓄積時間変更手段により変更された蓄積時間が所定の閾値以下(又は、未満)である場合には、前記動き係数決定手段により決定されるフィルタ係数の値が前記巡回型フィルタ手段により使用されるように制御し、前記蓄積時間変更手段により変更された蓄積時間が前記所定の閾値を超える(又は、それ以上である)場合には、所定の固定係数の値が前記巡回型フィルタ手段によりフィルタ係数として使用されるように制御する。
In order to achieve the above object, in the present invention, a noise reduction circuit that removes noise of a signal acquired by charge accumulation in an image sensor has the following configuration.
That is, the recursive filter means performs recursive filtering on the signal using a filter coefficient. A motion detection means detects the motion of the signal. The motion coefficient determining means determines a filter coefficient value according to the amount of motion detected by the motion detecting means.
Further, the storage time changing means changes the charge storage storage time in the image sensor. When the storage time changed by the storage time changing means is less than (or less than) a predetermined threshold, the filter coefficient control means determines that the value of the filter coefficient determined by the motion coefficient determination means is the cyclic type When the accumulation time controlled by the filter means is changed and the accumulation time changed by the accumulation time changing means exceeds (or exceeds) the predetermined threshold, the value of a predetermined fixed coefficient is It is controlled so as to be used as a filter coefficient by the mold filter means.
従って、撮像素子における電荷蓄積の蓄積時間の長さに応じて、動きの量に応じたフィルタ係数を巡回型フィルタで使用するか或いは所定の固定係数からなるフィルタ係数を巡回型フィルタで使用するかが制御されるため、巡回型ノイズリダクション機能と長時間蓄積動作機能の両立を実現することができる。
なお、巡回型ノイズリダクション機能をオフとして長時間蓄積動作機能のみを実行する場合があってもよい。
Therefore, depending on the length of charge accumulation time in the image sensor, whether the filter coefficient corresponding to the amount of motion is used in the cyclic filter or the filter coefficient consisting of a predetermined fixed coefficient is used in the cyclic filter Therefore, it is possible to realize both the cyclic noise reduction function and the long-time accumulation operation function.
There may be a case where the cyclic noise reduction function is turned off and only the long-time accumulation operation function is executed.
ここで、撮像素子としては、種々なものが用いられてもよい。また、撮像素子により取得される信号は例えば映像信号となる。
また、ノイズを除去する程度としては、必ずしもノイズをゼロにする態様が用いられなくともよく、実用上で有効な程度でノイズを低減することができればよい。
また、巡回型フィルタの構成としては、種々なものが用いられてもよい。
また、信号の動きの量としては、例えば、映像信号の時間的な変化の量が用いられ、一例として、1つ前のフレームと現フレームとの間における特定の対象物(映像に映っているもの)又は映像の全体などの動き(変化)の量に基づいて検出することができる。
Here, various types of imaging devices may be used. Moreover, the signal acquired by the image sensor is, for example, a video signal.
Further, as a degree of removing noise, an aspect of making noise zero is not necessarily used, and it is only necessary that noise can be reduced to a practically effective level.
Various configurations of the recursive filter may be used.
Further, as the amount of movement of the signal, for example, the amount of temporal change of the video signal is used. As an example, a specific object (shown in the video) between the previous frame and the current frame is used. Or the amount of movement (change) such as the whole image.
また、動きの量に応じてフィルタ係数(実施例で示すK)の値を決定する手法としては、例えば、動きの量が大きくなるに従ってフィルタ係数Kの値を小さくするような手法を用いることができる。
また、撮像素子における電荷蓄積の蓄積時間に関する所定の閾値としては、種々な値が用いられてもよく、一例として、映像の1フレームの期間以上に長い期間(又は、映像の1フレームの期間より長い期間)が用いられる。なお、蓄積時間が1フレームの期間と同一である場合には、毎フレームの蓄積が行われて、間欠フレームは発生しないため、本明細書では、このような場合を蓄積オフと言っている。
また、フィルタ係数として使用される所定の固定係数としては、種々な値が用いられてもよく、例えば、蓄積時間の長さが大きくなるに従って固定係数の値を小さくするといったように、可変なものが用いられてもよい。
Further, as a method of determining the value of the filter coefficient (K shown in the embodiment) according to the amount of motion, for example, a method of decreasing the value of the filter coefficient K as the amount of motion increases is used. it can.
In addition, various values may be used as the predetermined threshold relating to the accumulation time of the charge accumulation in the image sensor, and as an example, a period longer than one frame period of video (or longer than one frame period of video). Long period) is used. When the accumulation time is the same as the period of one frame, every frame is accumulated and no intermittent frame is generated. Therefore, in this specification, such a case is referred to as accumulation off.
In addition, various values may be used as the predetermined fixed coefficient used as the filter coefficient. For example, the predetermined fixed coefficient is variable such that the value of the fixed coefficient decreases as the accumulation time increases. May be used.
本発明に係るノイズリダクション回路では、一構成例として、次のような構成とした。
すなわち、前記巡回型フィルタ手段により過去のフィルタリング結果のフレームを記憶しておくメモリ及び間欠動作時に補間用フレームとして出力する過去のフィルタリング結果のフレームを記憶しておくメモリとして、共通のメモリを用いた。
The noise reduction circuit according to the present invention has the following configuration as one configuration example.
That is, a common memory is used as a memory for storing past filtering result frames by the recursive filter means and a memory for storing past filtering result frames output as an interpolation frame during intermittent operation. .
従って、巡回型ノイズリダクション用メモリと長時間蓄積動作用(間欠補間用)メモリとを共用することができる。
ここで、例えば蓄積時間が1フレームの期間を超える(2フレーム以上の期間となる)と、フレームの欠落が生じて、間欠動作となる。
Accordingly, the cyclic noise reduction memory and the long-time storage operation (intermittent interpolation) memory can be shared.
Here, for example, when the accumulation time exceeds a period of 1 frame (a period of 2 frames or more), frames are lost and an intermittent operation is performed.
以上説明したように、本発明に係るノイズリダクション回路によると、巡回型ノイズリダクション機能と長時間蓄積動作機能の両立を実現することができる。 As described above, according to the noise reduction circuit of the present invention, it is possible to realize both the cyclic noise reduction function and the long-time accumulation operation function.
本発明に係る実施例を図面を参照して説明する。
図1には、本発明の一実施例に係るノイズリダクション回路の構成例を示してある。本例では、カメラシステムに適用した場合を示してある。
本例のノイズリダクション回路は、撮像素子1、乗算器2、加算器3、フレームメモリ4、乗算器5、フィルタ係数Kの出力部6、フィルタ係数(1−K)の出力部7、メモリ8、動き検出部9、固定係数部10、切り替え部11、蓄積制御部12を備えている。
Embodiments according to the present invention will be described with reference to the drawings.
FIG. 1 shows a configuration example of a noise reduction circuit according to an embodiment of the present invention. In this example, the case where it applies to a camera system is shown.
The noise reduction circuit of this example includes an
まず、本例のノイズリダクション回路において行われる動作の概要を示す。なお、本例では、主に、デジタル処理が行われる。
撮像素子1は、カメラに設けられており、入射された光を電気信号へ変換して、乗算器2、メモリ8、動き検出部9へ出力する。また、撮像素子1では、蓄積制御部12からの制御により、電荷蓄積の蓄積時間が変更され得る。
First, an outline of the operation performed in the noise reduction circuit of this example is shown. In this example, digital processing is mainly performed.
The
出力部6は、所定のフィルタ係数Kを乗算器5、出力部7へ出力する。
出力部7は、出力部6からの入力に基づいて、フィルタ係数(1−K)を乗算器2へ出力する。
乗算器2は、撮像素子1からの入力信号と出力部7から入力されるフィルタ係数(1−K)とを乗算して、その結果を加算器3へ出力する。
加算器3は、乗算器2からの入力信号と乗算器5からの入力信号を加算して、その結果をノイズリダクション回路からの出力信号として出力するとともに、フレームメモリ4へ出力する。
フレームメモリ4は、加算器3から入力された信号(映像信号)をフレーム毎に記憶し、記憶した信号をフレーム毎に乗算器5へ出力する。
乗算器5は、フレームメモリ4からの入力信号と出力部6から入力されるフィルタ係数Kとを乗算して、その結果を加算器3へ出力する。
The
The
The
The
The
The
メモリ8は、撮像素子1からの入力信号を記憶し、記憶した信号を動き検出部9へ出力する。
動き検出部9は、撮像素子1からの入力信号とメモリ8からの入力信号(例えば、所定のフレーム(或いは、所定の時間)だけずれたもの)を比較して、映像(画像)における動きを検出し、検出した動きの量に応じた動き係数R(i、j)を切り替え部11へ出力する。具体的には、動きが大きい画像については、残像を抑えるために、フィルタ係数Kとして使用される動き係数R(i、j)を小さくして、巡回フィルタの効果を弱める一方、動きの無い画像については、動き係数R(i、j)を大きくして、巡回フィルタの効果を強める。
固定係数部10は、所定の係数(本例で、固定係数と言う)Rを切り替え部10へ出力する。なお、固定係数Rは、例えば外部の制御部からの制御などにより、変更され得る。
The memory 8 stores an input signal from the
The
The fixed
切り替え部11は、蓄積制御部12からの制御に従って、動き検出部9から入力される動き係数R(i、j)を出力部6へ出力する状態と、固定係数部10から入力される固定係数Rを出力部6へ出力する状態を切り替える。本例では、出力部6に動き係数R(i、j)が入力される場合にはその値がフィルタ係数Kとして使用され、出力部6に固定係数Rが入力される場合にはその値がフィルタ係数Kとして使用される。
The switching unit 11 outputs the motion coefficient R (i, j) input from the
蓄積制御部12は、撮像素子1における電荷蓄積の蓄積時間を制御し、また、切り替え部11を制御することでフィルタ係数Kを制御する。なお、蓄積時間については、蓄積オフの状態に設定することも可能である。
ここで、撮像素子1における電荷蓄積の蓄積時間の長さは、例えば、周囲の光量などに基づいて制御され、具体例として、夜間などのように光量が少なくなる場合には感度向上の目的で蓄積時間を長くする。但し、蓄積時間を長くすると、間欠処理となるため、映像の動きに不連続性が発生し得る。
また、切り替え部11に対する制御は、例えば、予め定められた条件に従って、撮像素子1における電荷蓄積の蓄積時間の長さに応じた態様で行われる。
なお、蓄積制御部12により行われる制御は、例えば、ユーザ(人)から受け付けられる指示などに基づいて行われてもよく、或いは、予め設定された制御手順(例えば、プログラム)に従って行われてもよい。
The
Here, the length of the charge accumulation time in the
Further, the control for the switching unit 11 is performed in a manner corresponding to the length of charge accumulation time in the
Note that the control performed by the
次に、図2、図3、図4に示されるタイムチャートを参照して、ノイズリダクション動作の例を示す。なお、図2〜図4における符号A、B、C、Dは、それぞれ、図1に示される同一の符号の位置に対応している。また、動作の全体的な制御は、例えば、図示しない上位の制御部(或いは、蓄積制御部12などでもよい)により行われる。
本例では、例えば、ブランキング期間と映像期間を有する1フレームを1サイクルの単位として処理が行われる。本例では、z番目のフレームのサイクルをs(z)で表す(z=・・・、−3、−2、−1、0、1、2、3、・・・)。
Next, an example of the noise reduction operation will be described with reference to the time charts shown in FIGS. 2 to 4 correspond to the positions of the same reference numerals shown in FIG. 1, respectively. Further, overall control of the operation is performed by, for example, a higher-level control unit (or the
In this example, for example, processing is performed with one frame having a blanking period and a video period as a unit of one cycle. In this example, the cycle of the zth frame is represented by s (z) (z =..., −3, −2, −1, 0, 1, 2, 3,...).
図2には、蓄積オフ時におけるノイズリダクション動作の一例を示してある。本例では、蓄積オフ時には、動き検出部9からの動き係数R(i、j)がフィルタ係数Kとして使用されるように設定される。
サイクルs(1)において、撮像素子1からの出力(A)である信号S(1)が、動き検出用のメモリ8にライトされる(書き込まれる)。
FIG. 2 shows an example of the noise reduction operation when the accumulation is off. In this example, when accumulation is turned off, the motion coefficient R (i, j) from the
In the cycle s (1), the signal S (1), which is the output (A) from the
サイクルs(2)において、撮像素子1からの出力(A)である信号S(2)が、動き検出用のメモリ8にライトされる。同時に、メモリ8からの出力(B)として前フレームの信号S(1)がリードされる(読み出される)。動き検出部9により、これらの信号S(1)と信号S(2)とで動き検出を行い、動き係数R(2、1)を算出する。
一方、巡回型フィルタ用のフレームメモリ4からの出力(D)である信号DNR_R(1)を読み出して、信号S(2)と、動き係数R(2、1)を合わせて用いて、加算器3により加算演算を行って、ノイズリダクション結果DNR_R(2)を得る。このノイズリダクション結果DNR_R(2)は、ノイズリダクション回路からの出力(C)として出力されると同時に、フレームメモリ4にライトされる。
In the cycle s (2), the signal S (2) which is the output (A) from the
On the other hand, the signal DNR_R (1) which is the output (D) from the
サイクルs(3)においては、上記と同様に、例えば、フレームメモリ4からの出力(D)である信号DNR_R(2)を読み出して、信号S(3)と、動き係数R(3、2)を合わせて用いて、加算器3により加算演算を行って、ノイズリダクション結果DNR_R(3)を得る。
以降のサイクルs(z)についても、同様である。
In the cycle s (3), similarly to the above, for example, the signal DNR_R (2) which is the output (D) from the
The same applies to the subsequent cycles s (z).
図3には、2倍蓄積時におけるノイズリダクション動作の一例を示してある。本例では、2倍蓄積時には、動き検出部9からの動き係数R(i、j)がフィルタ係数Kとして使用されるように設定される。
サイクルs(1)において、撮像素子1からの出力(A)である信号S(1)が、動き検出用のメモリ8にライトされる。
サイクルs(2)においては、撮像素子1からの出力(A)である信号は、無信号期間であるため、間欠となる。このとき、動き検出用のメモリ8へのライト/リード動作は停止する。
FIG. 3 shows an example of the noise reduction operation at the time of double accumulation. In this example, at the time of double accumulation, the motion coefficient R (i, j) from the
In the cycle s (1), the signal S (1), which is the output (A) from the
In the cycle s (2), the signal that is the output (A) from the
サイクルs(3)において、撮像素子1からの出力(A)である信号S(3)が、動き検出用のメモリ8にライトされる。同時に、メモリ8からの出力(B)として前フレームの信号S(1)がリードされる。動き検出部9により、これらの信号S(1)と信号S(3)とで動き検出を行い、動き係数R(3、1)を算出する。
一方、巡回型フィルタ用のフレームメモリ4からの出力(D)である信号DNR_R(1)を読み出して、信号S(3)と、動き係数R(3、1)を合わせて用いて、加算器3により加算演算を行って、ノイズリダクション結果DNR_R(3)を得る。このノイズリダクション結果DNR_R(3)は、ノイズリダクション回路からの出力(C)として出力されると同時に、フレームメモリ4にライトされる。
In the cycle s (3), the signal S (3) that is the output (A) from the
On the other hand, the signal DNR_R (1) that is the output (D) from the
サイクルs(4)においては、撮像素子1からの出力(A)である信号は無信号期間であるため間欠となるが、補間処理として、サイクルs(3)でのノイズリダクション結果DNR_R(3)をフレームメモリ4から読み出して、ノイズリダクション回路からの出力(C)として出力する。
サイクルs(5)においては、上記と同様に、例えば、フレームメモリ4からの出力(D)である信号DNR_R(3)を読み出して、信号S(5)と、動き係数R(5、3)を合わせて用いて、加算器3により加算演算を行って、ノイズリダクション結果DNR_R(5)を得る。
以降のサイクルs(z)についても、同様である。
In the cycle s (4), the signal that is the output (A) from the
In the cycle s (5), similarly to the above, for example, the signal DNR_R (3) which is the output (D) from the
The same applies to the subsequent cycles s (z).
上述のような2倍蓄積時におけるノイズリダクション動作では、巡回型ノイズリダクション動作と蓄積補間動作とが、同一のメモリ(本例では、フレームメモリ4)で共用されて、両立される。
なお、フレームメモリ4からの出力信号をそのままノイズリダクション回路からの出力(C)とする場合には、例えば、フィルタ係数Kを1(K=1)に設定すればよく、或いは、フレームメモリ4からの出力信号をそのままノイズリダクション回路から出力するための経路が設けられてもよい。
In the noise reduction operation at the time of double accumulation as described above, the cyclic noise reduction operation and the accumulation interpolation operation are shared by the same memory (in this example, the frame memory 4) and are compatible.
When the output signal from the
次に、所定の時間長(閾値)よりも蓄積時間が長い場合について説明する。
この場合、動き検出を行う上で、精度を欠いてしまうため、ノイズリダクションのフィルタ係数Kを、動きに適応する係数R(i、j)から、固定係数Rへ切り替える。
なお、本例では、4倍以上の蓄積動作時にフィルタ係数Kを固定係数Rへ切り替える場合を示すが、何倍の蓄積動作からフィルタ係数Kを切り替えるかについては、一例であって、本質的なことではなく、種々な値が用いられてもよい。
Next, a case where the accumulation time is longer than a predetermined time length (threshold value) will be described.
In this case, since accuracy is lost in motion detection, the noise reduction filter coefficient K is switched from the coefficient R (i, j) adapted to motion to the fixed coefficient R.
In this example, the case where the filter coefficient K is switched to the fixed coefficient R at the time of the accumulation operation of 4 times or more is shown. However, how many times the accumulation operation is switched from the filter coefficient K is an example, and is essential. Rather, various values may be used.
図4には、4倍蓄積時におけるノイズリダクション動作の一例を示してある。本例では、4倍蓄積時には、固定係数部10からの固定係数Rがフィルタ係数Kとして使用されるように設定される。
サイクルs(1)において、撮像素子1からの出力(A)である信号S(1)が、動き検出用のメモリ8にライトされる。
ここで、4倍蓄積動作時には、動きに適応する係数は用いないが、4倍蓄積動作から2倍蓄積動作へ戻る瞬間又は蓄積オフ動作へ戻る瞬間におけるメモリ情報が必要であるため、動き適応用のメモリ8の動作は継続する。
FIG. 4 shows an example of the noise reduction operation at the time of 4 times accumulation. In this example, it is set so that the fixed coefficient R from the fixed
In the cycle s (1), the signal S (1), which is the output (A) from the
Here, in the 4 × accumulation operation, the coefficient adapted to the motion is not used, but the memory information at the moment of returning from the 4 × accumulation operation to the 2 × accumulation operation or the moment of returning to the accumulation OFF operation is necessary. The operation of the memory 8 continues.
サイクルs(2)からサイクルs(4)においては、撮像素子1からの出力(A)である信号は無信号期間であるため間欠となる。このとき、動き検出用のメモリ8へのライト/リード動作は停止する。
In the cycle s (2) to the cycle s (4), the signal that is the output (A) from the
サイクルs(5)において、撮像素子1からの出力(A)である信号S(5)が、動き検出用のメモリ8にライトされる。同時に、メモリ8からの出力(B)として前フレームの信号S(1)がリードされる。動き検出部9により、これらの信号S(1)と信号S(5)とで動き検出を行い、動き係数R(5、1)を算出する。
但し、本例では、動き係数R(5、1)は使用せずに、固定係数Rをフィルタ係数Kとする。
In the cycle s (5), the signal S (5) that is the output (A) from the
However, in this example, the motion coefficient R (5, 1) is not used, and the fixed coefficient R is used as the filter coefficient K.
ここで、本例では、固定係数Rが蓄積時間の長さに応じて小さくなるように制御される。具体的には、例えば予め定められた態様で、蓄積時間が長くなるに従って、ノイズリダクションの効果が小さくなる方向に切り替えていく。つまり、蓄積時間を長くして感度を上げた場合には、ノイズリダクションの意味合いも薄れ、逆に残像感を増すだけであるため、ノイズリダクションはオフの方向に切り替える。 Here, in this example, the fixed coefficient R is controlled so as to become smaller according to the length of the accumulation time. Specifically, for example, in a predetermined manner, the noise reduction effect is reduced as the accumulation time becomes longer. That is, when the sensitivity is increased by extending the accumulation time, the meaning of noise reduction is reduced, and on the contrary, only the afterimage feeling is increased, and therefore noise reduction is switched to the off direction.
一方、巡回型フィルタ用のフレームメモリ4からの出力(D)である信号DNR_R(1)を読み出して、信号S(5)と、固定係数Rを合わせて用いて、加算器3により加算演算を行って、ノイズリダクション結果DNR_R(5)を得る。このノイズリダクション結果DNR_R(5)は、ノイズリダクション回路からの出力(C)として出力されると同時に、フレームメモリ4にライトされる。
On the other hand, the signal DNR_R (1) that is the output (D) from the
サイクルs(6)からサイクルs(8)においては、撮像素子1からの出力(A)である信号は無信号期間であるため間欠となるが、補間処理として、サイクルs(5)でのノイズリダクション結果DNR_R(5)をフレームメモリ4から読み出して、ノイズリダクション回路からの出力(C)として出力する。
サイクルs(9)においては、上記と同様に、例えば、巡回型フィルタ用のフレームメモリ4からの出力(D)である信号DNR_R(5)を読み出して、信号S(9)と、固定係数Rを合わせて用いて、加算器3により加算演算を行って、ノイズリダクション結果DNR_R(9)を得る。
In the cycle s (6) to the cycle s (8), the signal that is the output (A) from the
In the cycle s (9), similarly to the above, for example, the signal DNR_R (5) that is the output (D) from the
上述のような4倍蓄積時におけるノイズリダクション動作では、巡回型ノイズリダクション動作と蓄積補間動作とが、同一のメモリ(本例では、フレームメモリ4)で共用されて、両立される。 In the noise reduction operation at the time of quadruple accumulation as described above, the cyclic noise reduction operation and the accumulation interpolation operation are shared by the same memory (in this example, the frame memory 4) and are compatible.
以上のように、本例のノイズリダクション回路では、撮像素子1にて光を電気信号へ変換し、変換した信号に信号処理を行うカメラシステムにおいて、巡回型フィルタにてノイズ除去処理を行う機能を有し、動きを検出する機能を有し、動きの量に応じて巡回型フィルタの係数Kを制御する機能を有し、また、撮像素子1における電荷蓄積の蓄積時間を変更する機能を有し、そして、蓄積時間を標準のフレーム走査時間より長く設定し、撮像素子1からの出力信号として、信号があるフレームと、無信号であるフレームが存在する間欠信号となる動作状態において、その間欠フレーム期間の長さに応じて、巡回型フィルタの係数Kとして、動きに応じた係数R(i、j)を用いるか、或いは、固定係数Rを用いるかを適応的に制御する。
また、本例のノイズリダクション回路では、巡回型ノイズリダクション用メモリと蓄積間欠フレーム補間用メモリとで1個のメモリ(本例では、巡回型ノイズリダクション用のフレームメモリ4)を共用している。
As described above, the noise reduction circuit of this example has a function of performing noise removal processing with a recursive filter in a camera system that converts light into an electrical signal by the
In the noise reduction circuit of this example, the cyclic noise reduction memory and the accumulated intermittent frame interpolation memory share one memory (in this example, the cyclic noise reduction frame memory 4).
このように、本例のノイズリダクション回路では、蓄積制御の際、蓄積時間に応じて巡回型ノイズリダクションのフィルタ係数Kを切り替えることが行われ、巡回型ノイズリダクション機能と長時間蓄積動作機能の両立を図ることができる。 As described above, in the noise reduction circuit of this example, during the accumulation control, the filter coefficient K of the cyclic noise reduction is switched according to the accumulation time, so that both the cyclic noise reduction function and the long-time accumulation operation function are achieved. Can be achieved.
ここで、本例では、蓄積時間が長くなると、巡回型ノイズリダクション用の動き検出回路(本例では、動き検出部9)において、動き検出の精度が落ちてしまうため、巡回型ノイズリダクションのフィルタ係数Kを、蓄積時間が長くなるに従って、動き検出制御値R(i、j)から固定係数制御値Rへ切り替える処理動作を示したが、更なる構成例として、例えば所定の閾値よりも、更に蓄積時間が長くなったときに、巡回型ノイズリダクションの動作をオフにして、蓄積動作のみを行うように制御するような構成が用いられてもよい。例えば、固定係数R=フィルタ係数K=0に設定すると、巡回型のフィルタリングがオフとなる。 Here, in this example, if the accumulation time becomes long, the motion detection accuracy in the motion detection circuit for cyclic noise reduction (in this example, the motion detection unit 9) is reduced. Therefore, the cyclic noise reduction filter is used. Although the processing operation for switching the coefficient K from the motion detection control value R (i, j) to the fixed coefficient control value R as the accumulation time becomes longer is shown, as a further configuration example, for example, more than a predetermined threshold value A configuration may be used in which when the accumulation time becomes long, the cyclic noise reduction operation is turned off and only the accumulation operation is controlled. For example, if the fixed coefficient R = filter coefficient K = 0 is set, the cyclic filtering is turned off.
なお、本例のノイズリダクション回路では、乗算器2、加算器3、フレームメモリ4、乗算器5、出力部6、出力部7の機能により巡回型フィルタ手段が構成されており、メモリ8や動き検出部9の機能により動き検出手段が構成されており、動き検出部9の機能により動き係数決定手段が構成されており、蓄積制御部12の機能により撮像素子1における蓄積時間の変更手段が構成されており、蓄積制御部12や切り替え部11や固定係数部10の機能によりフィルタ係数制御手段が構成されている。また、本例では、フレームメモリ4が、巡回型ノイズリダクション用と間欠補間用とで共用されている。
In the noise reduction circuit of this example, the cyclic filter means is configured by the functions of the
ここで、本発明に係るシステムや装置などの構成としては、必ずしも以上に示したものに限られず、種々な構成が用いられてもよい。また、本発明は、例えば、本発明に係る処理を実行する方法或いは方式や、このような方法や方式を実現するためのプログラムや当該プログラムを記録する記録媒体などとして提供することも可能であり、また、種々なシステムや装置として提供することも可能である。
また、本発明の適用分野としては、必ずしも以上に示したものに限られず、本発明は、種々な分野に適用することが可能なものである。
また、本発明に係るシステムや装置などにおいて行われる各種の処理としては、例えばプロセッサやメモリ等を備えたハードウエア資源においてプロセッサがROM(Read Only Memory)に格納された制御プログラムを実行することにより制御される構成が用いられてもよく、また、例えば当該処理を実行するための各機能手段が独立したハードウエア回路として構成されてもよい。
また、本発明は上記の制御プログラムを格納したフロッピー(登録商標)ディスクやCD(Compact Disc)−ROM等のコンピュータにより読み取り可能な記録媒体や当該プログラム(自体)として把握することもでき、当該制御プログラムを当該記録媒体からコンピュータに入力してプロセッサに実行させることにより、本発明に係る処理を遂行させることができる。
Here, the configuration of the system and apparatus according to the present invention is not necessarily limited to the configuration described above, and various configurations may be used. The present invention can also be provided as, for example, a method or method for executing the processing according to the present invention, a program for realizing such a method or method, or a recording medium for recording the program. It is also possible to provide various systems and devices.
The application field of the present invention is not necessarily limited to the above-described fields, and the present invention can be applied to various fields.
In addition, as various processes performed in the system and apparatus according to the present invention, for example, the processor executes a control program stored in a ROM (Read Only Memory) in hardware resources including a processor and a memory. A controlled configuration may be used, and for example, each functional unit for executing the processing may be configured as an independent hardware circuit.
The present invention can also be understood as a computer-readable recording medium such as a floppy (registered trademark) disk or a CD (Compact Disc) -ROM storing the control program, and the program (itself). The processing according to the present invention can be performed by inputting the program from the recording medium to the computer and causing the processor to execute the program.
1・・撮像素子、 2、5、101、104、111、114・・乗算器、 3、102、112・・加算器、 4、103、113・・フレームメモリ、 6、7、105、106、115、116・・出力部、 8・・メモリ、 9、117・・動き検出部、 10・・固定係数部、 11・・切り替え部、 12・・蓄積制御部、
1 ....
Claims (2)
前記信号に対してフィルタ係数を使用して巡回型のフィルタリングを行う巡回型フィルタ手段と、
前記信号の動きを検出する動き検出手段と、
前記動き検出手段により検出された動きの量に応じてフィルタ係数の値を決定する動き係数決定手段と、
前記撮像素子における電荷蓄積の蓄積時間を変更する蓄積時間変更手段と、
前記蓄積時間変更手段により変更された蓄積時間が所定の閾値以下又は未満である場合には、前記動き係数決定手段により決定されるフィルタ係数の値が前記巡回型フィルタ手段により使用されるように制御し、前記蓄積時間変更手段により変更された蓄積時間が前記所定の閾値を超える又はそれ以上である場合には、所定の固定係数の値が前記巡回型フィルタ手段によりフィルタ係数として使用されるように制御するフィルタ係数制御手段と、
を備えたことを特徴とするノイズリダクション回路。 In the noise reduction circuit that removes the noise of the signal acquired by the charge accumulation in the image sensor,
Recursive filter means for performing recursive filtering on the signal using a filter coefficient;
Motion detection means for detecting the motion of the signal;
Motion coefficient determining means for determining a value of a filter coefficient in accordance with the amount of motion detected by the motion detecting means;
Accumulation time changing means for changing the accumulation time of charge accumulation in the image sensor;
When the accumulation time changed by the accumulation time changing means is less than or less than a predetermined threshold value, control is performed so that the value of the filter coefficient determined by the motion coefficient determining means is used by the cyclic filter means. When the accumulation time changed by the accumulation time changing means exceeds or exceeds the predetermined threshold, a value of a predetermined fixed coefficient is used as a filter coefficient by the cyclic filter means. Filter coefficient control means for controlling;
A noise reduction circuit comprising:
前記巡回型フィルタ手段により過去のフィルタリング結果のフレームを記憶しておくメモリ及び間欠動作時に補間用フレームとして出力する過去のフィルタリング結果のフレームを記憶しておくメモリとして、共通のメモリを用いた、
ことを特徴とするノイズリダクション回路。 The noise reduction circuit according to claim 1,
A common memory was used as a memory for storing past filtering result frames by the recursive filter means and a memory for storing past filtering result frames to be output as interpolation frames during intermittent operation.
A noise reduction circuit characterized by that.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009009980A JP5464541B2 (en) | 2009-01-20 | 2009-01-20 | Noise reduction circuit |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009009980A JP5464541B2 (en) | 2009-01-20 | 2009-01-20 | Noise reduction circuit |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010171517A true JP2010171517A (en) | 2010-08-05 |
JP5464541B2 JP5464541B2 (en) | 2014-04-09 |
Family
ID=42703252
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009009980A Active JP5464541B2 (en) | 2009-01-20 | 2009-01-20 | Noise reduction circuit |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5464541B2 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019149787A (en) * | 2018-02-28 | 2019-09-05 | 株式会社ニコン | Imaging apparatus, image processing apparatus, and image processing program |
CN110445951A (en) * | 2018-05-02 | 2019-11-12 | 腾讯科技(深圳)有限公司 | Filtering method and device, storage medium, the electronic device of video |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH01129580A (en) * | 1987-11-16 | 1989-05-22 | Hitachi Ltd | Television camera |
JPH09139869A (en) * | 1995-11-16 | 1997-05-27 | Sharp Corp | Noise reduction circuit |
JPH10243290A (en) * | 1997-02-28 | 1998-09-11 | Mitsubishi Electric Corp | Video camera |
JP2005175864A (en) * | 2003-12-11 | 2005-06-30 | Konica Minolta Photo Imaging Inc | Image pickup device and image processing method |
JP2005210216A (en) * | 2004-01-20 | 2005-08-04 | Konica Minolta Photo Imaging Inc | Image pickup device and method of processing noise in motion image |
JP2005303803A (en) * | 2004-04-14 | 2005-10-27 | Olympus Corp | Imaging apparatus, image recording medium, image processing unit, and image processing program and recording medium thereof |
JP2007213191A (en) * | 2006-02-08 | 2007-08-23 | Fujitsu Ltd | Motion detection program, motion detection method, motion detection device |
JP2008294601A (en) * | 2007-05-23 | 2008-12-04 | Sony Corp | Image processing method, and image processor |
-
2009
- 2009-01-20 JP JP2009009980A patent/JP5464541B2/en active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH01129580A (en) * | 1987-11-16 | 1989-05-22 | Hitachi Ltd | Television camera |
JPH09139869A (en) * | 1995-11-16 | 1997-05-27 | Sharp Corp | Noise reduction circuit |
JPH10243290A (en) * | 1997-02-28 | 1998-09-11 | Mitsubishi Electric Corp | Video camera |
JP2005175864A (en) * | 2003-12-11 | 2005-06-30 | Konica Minolta Photo Imaging Inc | Image pickup device and image processing method |
JP2005210216A (en) * | 2004-01-20 | 2005-08-04 | Konica Minolta Photo Imaging Inc | Image pickup device and method of processing noise in motion image |
JP2005303803A (en) * | 2004-04-14 | 2005-10-27 | Olympus Corp | Imaging apparatus, image recording medium, image processing unit, and image processing program and recording medium thereof |
JP2007213191A (en) * | 2006-02-08 | 2007-08-23 | Fujitsu Ltd | Motion detection program, motion detection method, motion detection device |
JP2008294601A (en) * | 2007-05-23 | 2008-12-04 | Sony Corp | Image processing method, and image processor |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019149787A (en) * | 2018-02-28 | 2019-09-05 | 株式会社ニコン | Imaging apparatus, image processing apparatus, and image processing program |
JP7098958B2 (en) | 2018-02-28 | 2022-07-12 | 株式会社ニコン | Image pickup device, image processing device, and image processing program |
CN110445951A (en) * | 2018-05-02 | 2019-11-12 | 腾讯科技(深圳)有限公司 | Filtering method and device, storage medium, the electronic device of video |
CN110445951B (en) * | 2018-05-02 | 2022-02-22 | 腾讯科技(深圳)有限公司 | Video filtering method and device, storage medium and electronic device |
Also Published As
Publication number | Publication date |
---|---|
JP5464541B2 (en) | 2014-04-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4969508B2 (en) | Vibration correction control circuit and imaging apparatus equipped with the same | |
KR102182695B1 (en) | Method and Apparatus for Noise Reduction | |
KR102668130B1 (en) | Generating static images with an event camera | |
KR101738933B1 (en) | Image stabilization apparatus, control method therefor, storage medium storing control program therefor, and image pickup apparatus equipped with image stabilization apparatus | |
US9544505B2 (en) | Image processing apparatus for synthesizing images based on a plurality of exposure time periods and image processing method thereof | |
JP5417746B2 (en) | Motion adaptive noise reduction device, image signal processing device, image input processing device, and motion adaptive noise reduction method | |
JP4969509B2 (en) | Vibration correction control circuit and imaging apparatus equipped with the same | |
JP2008118647A (en) | High-speed device and method for efficient noise reduction, and software | |
JP2018185635A (en) | Moving object detection device and its control method | |
JP7113911B2 (en) | Blurring correction control device, imaging device, blur correction method for imaging device, and program | |
JP4842991B2 (en) | Vibration correction control circuit and imaging apparatus equipped with the same | |
WO2003088648A1 (en) | Motion detector, image processing system, motion detecting method, program, and recording medium | |
JP5464541B2 (en) | Noise reduction circuit | |
JP6338587B2 (en) | Prevent motion artifacts by intelligently disabling video stabilization | |
WO2010106739A1 (en) | Image processing device, image processing method, and image processing program | |
JP2007208832A (en) | Digital camera | |
JP2009265446A (en) | Vibration correction control circuit and imaging apparatus equipped therewith | |
JP2014027496A (en) | Image processing apparatus, image processing method and image processing program | |
US9300869B2 (en) | Reduction of spatial resolution for temporal resolution | |
US11019348B2 (en) | Image processing apparatus and image processing method | |
WO2015008663A1 (en) | Focus control device, and focus control method | |
JP2009094784A (en) | Noise reduction processing apparatus, noise reduction processing method, and electronic apparatus | |
JPH04154278A (en) | Low frequency noise suppress circuit | |
JP2009265447A (en) | Vibration correction control circuit and imaging apparatus equipped therewith | |
JP4311191B2 (en) | Imaging device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20101128 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20110620 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120113 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20121217 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20121225 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130212 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20131015 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20131029 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20131224 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140114 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5464541 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |