JP2010074373A - Imaging apparatus - Google Patents

Imaging apparatus Download PDF

Info

Publication number
JP2010074373A
JP2010074373A JP2008237963A JP2008237963A JP2010074373A JP 2010074373 A JP2010074373 A JP 2010074373A JP 2008237963 A JP2008237963 A JP 2008237963A JP 2008237963 A JP2008237963 A JP 2008237963A JP 2010074373 A JP2010074373 A JP 2010074373A
Authority
JP
Japan
Prior art keywords
pixel
value
image
calculation unit
motion amount
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008237963A
Other languages
Japanese (ja)
Other versions
JP5213604B2 (en
Inventor
Kengo Masaoka
賢悟 正岡
Satoru Takeuchi
悟 竹内
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sanyo Electric Co Ltd
Original Assignee
Sanyo Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sanyo Electric Co Ltd filed Critical Sanyo Electric Co Ltd
Priority to JP2008237963A priority Critical patent/JP5213604B2/en
Publication of JP2010074373A publication Critical patent/JP2010074373A/en
Application granted granted Critical
Publication of JP5213604B2 publication Critical patent/JP5213604B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Picture Signal Circuits (AREA)
  • Studio Devices (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide an imaging apparatus capable of performing proper control by calculating a moving amount with high accuracy in accordance with a state. <P>SOLUTION: A noise reduction processing part 60 is provided with: a noise elimination amount calculating part 61 for calculating a noise elimination amount on the basis of a difference value between the input image of the current frame and the output image of the preceding frame; a moving amount calculating part 62 for calculating a moving amount on the basis of the difference value between the input image of the current frame and the output image of the preceding frame; and a noise eliminating part for controlling a noise elimination amount in accordance with the moving amount and subtracting the noise elimination amount from the input image of the current frame. The moving amount calculating part 62 calculates a moving amount by giving weight to the difference value and adding them. The weight is set in accordance with the input image of the current frame or the output image of the preceding frame. <P>COPYRIGHT: (C)2010,JPO&INPIT

Description

本発明は、撮像して得られる画像にノイズ低減処理を施す撮像装置に関する。   The present invention relates to an imaging apparatus that performs noise reduction processing on an image obtained by imaging.

近年、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complimentary Metal Oxide Semiconductor）センサなどのイメージセンサを用いて撮像を行うデジタルスチルカメラやデジタルビデオカメラなどの撮像装置や、画像を表示する液晶ディスプレイなどの表示装置が広く普及している。そして、このような撮像装置によって撮像される画像や、表示装置によって表示される画像のノイズを低減するための各種のノイズ低減技術が提案されている（特許文献１参照）。   In recent years, an imaging device such as a digital still camera or a digital video camera that performs imaging using an image sensor such as a charge coupled device (CCD) or a complementary metal oxide semiconductor (CMOS) sensor, or a display device such as a liquid crystal display that displays an image. Is widely spread. And various noise reduction techniques for reducing the noise of the image imaged by such an imaging device and the image displayed by a display apparatus are proposed (refer patent document 1).

このノイズ低減技術の１つとして、時間的に異なる２つのフレームの画像信号の差分値からノイズ成分を求め、画像信号からノイズ成分を除去することでノイズを低減する３次元ノイズ低減処理が用いられることがある。また、２つのフレームの画像信号の差分値から動き量を求め、これをノイズ低減処理に利用することがある。例えば、動き量が小さい箇所では、ノイズ成分の減算量を大きくする制御を行い効果的にノイズを除去する。一方、動き量が大きい箇所では、ノイズ成分の減算量を小さくして尾引きや残像などの発生を抑制する制御を行う。   As one of the noise reduction techniques, a three-dimensional noise reduction process is used in which a noise component is obtained from a difference value between two temporally different image signals and noise is reduced by removing the noise component from the image signal. Sometimes. In some cases, the amount of motion is obtained from the difference value between the image signals of two frames, and this is used for noise reduction processing. For example, at locations where the amount of motion is small, control is performed to increase the subtraction amount of the noise component, and noise is effectively removed. On the other hand, at locations where the amount of motion is large, control is performed to reduce the subtraction amount of the noise component to suppress the occurrence of tailing or afterimages.

このようなノイズ低減処理を行うノイズ低減処理装置に実装される動き量算出部について、図２０を参照して説明する。図２０は、従来のノイズ低減処理装置に実装される動き量算出部の構成を示す模式図である。   A motion amount calculation unit implemented in a noise reduction processing apparatus that performs such noise reduction processing will be described with reference to FIG. FIG. 20 is a schematic diagram illustrating a configuration of a motion amount calculation unit implemented in a conventional noise reduction processing device.

図２０に示すように、動き量算出部１００は、現フレームと１つ前のフレームの画像信号の差分値を算出する差分値算出部１０１と、差分値算出部１０１から出力される差分値の絶対値を算出する絶対値算出部１０２と、絶対値算出部１０２から出力される差分値の絶対値を平滑化処理（特に、注目画素及び周辺画素のそれぞれに乗算するフィルタ係数が１であり、乗算後の各値を合算して得られた値を画素数で除算する処理）して動き量を算出するフィルタ部１０３と、を備える。   As illustrated in FIG. 20, the motion amount calculation unit 100 includes a difference value calculation unit 101 that calculates a difference value between image signals of the current frame and the previous frame, and a difference value output from the difference value calculation unit 101. An absolute value calculation unit 102 that calculates an absolute value, and a smoothing process (in particular, a filter coefficient that multiplies each of the target pixel and the surrounding pixels by 1) is smoothed by the absolute value of the difference value output from the absolute value calculation unit 102, And a filter unit 103 that calculates a motion amount by dividing a value obtained by adding the respective values after multiplication by the number of pixels.

特開２０００−１１５５８６号公報JP 2000-115586 A

しかしながら、図２０に示す動き量算出部では、動き量が精度良く算出されない場合が生じ得る。この場合について図２１を参照して説明する。図２１は、従来のノイズ低減処理装置に実装される動き量算出部の動作例を示す模式図である。図２１では、注目画素（図中の太線で囲われた画素）とその周囲の画素とをあわせた３５個の画素値に基づいて動き量を算出する場合について示している。また、説明の簡略化のために、画素値は１００または０のいずれか一方の値をとるものとする。なお、物体を示す画素の画素値を１００とし、背景を示す画素の画素値を０とする。   However, in the motion amount calculation unit shown in FIG. 20, the motion amount may not be calculated accurately. This case will be described with reference to FIG. FIG. 21 is a schematic diagram illustrating an operation example of a motion amount calculation unit implemented in a conventional noise reduction processing device. FIG. 21 shows a case where the amount of motion is calculated based on 35 pixel values including the target pixel (pixels surrounded by a thick line in the figure) and the surrounding pixels. Further, for simplification of description, the pixel value is assumed to be either 100 or 0. Note that the pixel value of the pixel indicating the object is 100, and the pixel value of the pixel indicating the background is 0.

図２１（ａ）は、注目画素の画素値が変動せずに、物体が右方から左方に移動した場合について示している。図２１（ａ）に示す場合、絶対値算出部１０２から出力される差分値の絶対値は、１０個の画素（右方から２列目及び３列目の画素）が１００、他の２５個の画素が０となる。そのため、動き量は１００×１０／３５≒２９となる。   FIG. 21A illustrates a case where the object moves from the right to the left without changing the pixel value of the target pixel. In the case illustrated in FIG. 21A, the absolute value of the difference value output from the absolute value calculation unit 102 is 10 pixels (the pixels in the second and third columns from the right) are 100, and the other 25 This pixel becomes 0. Therefore, the amount of motion is 100 × 10 / 35≈29.

一方、図２１（ｂ）は、注目画素の画素値が変動し、物体が左方から右方に移動した場合について示している。図２１（ｂ）に示す場合、絶対値算出部１０２から出力される差分値の絶対値は図２１（ａ）に示す場合と同様に、１０個の画素（左方から３列目及び４列目の画素）が１００、他の２５個の画素が０となる。そのため、動き量は１００×１０／３５≒２９となる。   On the other hand, FIG. 21B shows a case where the pixel value of the target pixel fluctuates and the object moves from left to right. In the case shown in FIG. 21B, the absolute value of the difference value output from the absolute value calculation unit 102 is 10 pixels (third and fourth columns from the left), as in the case shown in FIG. Eye pixel) is 100, and the other 25 pixels are 0. Therefore, the amount of motion is 100 × 10 / 35≈29.

図２１（ａ）に示す場合では、注目画素の画素値が変動しておらず、注目画素の動き量が小さくなる（静止していると判定される）ことが好ましい。一方、図２１（ｂ）に示す場合では、注目画素の画素値が変動しており、注目画素の動き量が大きくなる（動きが発生していると判定される）ことが好ましい。しかしながら、どちらの動き量も同じ値となってしまうため、同様の制御が施されてしまう。   In the case illustrated in FIG. 21A, it is preferable that the pixel value of the target pixel does not change and the amount of motion of the target pixel is small (determined to be stationary). On the other hand, in the case shown in FIG. 21B, it is preferable that the pixel value of the pixel of interest fluctuates and the amount of movement of the pixel of interest becomes large (determined that movement has occurred). However, since both motion amounts have the same value, the same control is performed.

したがって、特に図２１（ａ）の場合、ノイズが十分に減算されない場合が生じ得る。また、特に図２１（ｂ）の場合、動きによる画素値の変動がノイズと誤認されるとともに、誤認されたノイズを減算する処理が行われ、尾引きや残像などが発生する場合が生じ得る。   Therefore, particularly in the case of FIG. 21A, there may occur a case where noise is not sufficiently subtracted. In particular, in the case of FIG. 21B, a change in pixel value due to motion is mistaken as noise, and a process of subtracting the mistaken noise may be performed to cause tailing or afterimage.

以上の問題を鑑みて、本発明は、状況に応じて動き量を精度良く算出して適切な制御を行うことを可能とする撮像装置を提供することを目的とする。   In view of the above problems, an object of the present invention is to provide an imaging apparatus that can perform appropriate control by calculating the amount of movement with high accuracy according to the situation.

上記目的を達成するために、本発明の撮像装置は、撮像して画像を得る撮像部と、当該撮像部により得られた画像にノイズ低減処理を施して出力画像を得るノイズ低減処理部と、を備えた撮像装置において、前記ノイズ低減処理部が、前記撮像部により撮像されたタイミングが異なる第１画像及び第２画像の、対応するそれぞれの画素の画素値の差分値に基づいて動き量を算出する動き量算出部と、前記第１画像の画素の画素値から除去値を減算して出力画像を得るノイズ除去部と、を備え、前記動き量算出部が、前記第１画像及び前記第２画像の対応するそれぞれの画素の画素値の差分値に重みを与えるとともに合算した値に基づいて、前記動き量を算出するものであり、当該重みを前記第１画像または前記第２画像に基づいて設定し、前記ノイズ除去部が、前記動き量に基づいて前記除去値を設定することを特徴とする。   In order to achieve the above object, an imaging apparatus of the present invention includes an imaging unit that captures an image to obtain an image, a noise reduction processing unit that obtains an output image by performing noise reduction processing on the image obtained by the imaging unit, The noise reduction processing unit calculates a motion amount based on a difference value between pixel values of corresponding pixels of the first image and the second image captured at different timings by the imaging unit. A motion amount calculating unit for calculating, and a noise removing unit for obtaining an output image by subtracting a removal value from a pixel value of the pixel of the first image, wherein the motion amount calculating unit includes the first image and the first image. A weight is given to a difference value between pixel values of corresponding pixels of two images, and the amount of motion is calculated based on a summed value, and the weight is calculated based on the first image or the second image. Set and before Noise removal unit, and sets the removal value based on the motion amount.

なお、以下の実施形態においては、重みの一例としてフィルタ係数を挙げて説明する。   In the following embodiments, a filter coefficient will be described as an example of the weight.

また、上記構成の撮像装置において、前記除去値が、前記第１画像及び前記第２画像の対応するそれぞれの画素の画素値の差分値に基づいて算出されるとともに、前記動き量が大きくなるほど小さい値となるように設定され、前記動き量算出部が、前記第１画像及び前記第２画像の対応するそれぞれの画素の画素値の差分値に前記重みを与えるとともに合算した値を、前記重みを合算した値で除算して、前記動き量を算出することとしても構わない。   Further, in the imaging apparatus having the above-described configuration, the removal value is calculated based on a difference value between pixel values of corresponding pixels of the first image and the second image, and decreases as the amount of motion increases. And the motion amount calculation unit gives the weight to the difference value between the pixel values of the corresponding pixels of the first image and the second image and adds the weight to the weight. The motion amount may be calculated by dividing by the summed value.

このように構成すると、除去値が、第１画像及び第２画像のそれぞれの画素の画素値の差分値に基づいたものとなる。そのため、ノイズなどによって第１画像の画素の画素値が変動した場合に、画素値から除去値を減算することで好適にノイズを低減することが可能となる。また、被写体などが動いて動き量が大きくなる場合、第１画像の画素の画素値から除去値を減算すると、尾引きや残像が発生する。しかしながら、本構成のように動き量が大きいほど除去値を低減することで、尾引きや残像の発生を抑制することが可能となる。   If comprised in this way, a removal value will be based on the difference value of the pixel value of each pixel of a 1st image and a 2nd image. For this reason, when the pixel value of the pixel of the first image fluctuates due to noise or the like, it is possible to suitably reduce the noise by subtracting the removal value from the pixel value. Also, when the subject moves and the amount of motion increases, if the removal value is subtracted from the pixel value of the pixel of the first image, tailing or afterimage occurs. However, by reducing the removal value as the amount of movement increases as in this configuration, it is possible to suppress the occurrence of tailing and afterimages.

また、上記構成の撮像装置において、前記動き量算出部が、前記第１画像に基づいて前記重みを設定し、前記動き量を算出することとしても構わない。また、前記第２画像が、前記第１画像よりも前に撮像されたものであるとともに、前記ノイズ低減処理が施された出力画像であることとしても構わない。   Further, in the imaging apparatus having the above configuration, the motion amount calculation unit may set the weight based on the first image and calculate the motion amount. In addition, the second image may be an output image that has been captured before the first image and has been subjected to the noise reduction processing.

また、上記構成の撮像装置において、前記第２画像が、前記第１画像よりも前に撮像されたものであるとともに、前記ノイズ低減処理が施された出力画像であり、前記動き量算出部が、前記第２画像に基づいて前記重みを設定し、前記動き量を算出することとしても構わない。   In the imaging device having the above-described configuration, the second image is an output image that has been captured before the first image and has been subjected to the noise reduction processing. The weight may be set based on the second image, and the amount of motion may be calculated.

このように構成すると、ノイズが低減された第２画像に基づいて重みを設定することが可能となる。そのため、重みを設定する画像に、ノイズなどによる異常な画素値を備える画素が含まれることを抑制することが可能となる。したがって、精度良く動き量を算出することが可能となる。   If comprised in this way, it will become possible to set a weight based on the 2nd image in which noise was reduced. For this reason, it is possible to prevent pixels having abnormal pixel values due to noise or the like from being included in an image for which weights are set. Therefore, it is possible to calculate the motion amount with high accuracy.

また、上記構成の撮像装置において、前記動き量算出部が、前記第１画像に基づいて設定される前記重みと、前記第２画像に基づいて設定される前記重みと、から所定の条件に近い方の前記重みを選択し、当該重みを用いて前記動き量を算出することとしても構わない。   In the imaging device having the above configuration, the motion amount calculation unit is close to a predetermined condition from the weight set based on the first image and the weight set based on the second image. One of the weights may be selected, and the amount of motion may be calculated using the weight.

このように構成すると、第１画像から算出される重みと第２画像から算出される重みとのうち、良好な方の結果を利用することが可能となる。したがって、精度良く動き量を算出することが可能となる。なお、上記の所定の条件に近い方の重みを、合算した値が所定の値に近い方の重み、としても構わない。   If comprised in this way, it will become possible to utilize the better result among the weight calculated from the first image and the weight calculated from the second image. Therefore, it is possible to calculate the motion amount with high accuracy. Note that the weight that is closer to the predetermined condition may be the weight that is the sum of the values closer to the predetermined value.

重みを合算した値が大きい場合、多数の画素の画素値が動き量に反映されることとなる。そのため、注目画素における被写体の動きの大小を判定することが困難となる。一方、重みを合算した値が小さい場合、少数の画素の画素値が動き量に反映されることとなる。そのため、ノイズなどが含まれてこれらの画素の画素値が異常なものとなる場合、除去値が不適となりノイズ低減処理後の画素の画素値が不適なものとなりやすい。したがって例えば、重みを合算した値が、取り得る範囲の略中間値であることを上記の所定の条件とすると好適である。   When the sum of the weights is large, the pixel values of a large number of pixels are reflected in the motion amount. For this reason, it is difficult to determine the magnitude of the movement of the subject in the target pixel. On the other hand, when the sum of the weights is small, the pixel values of a small number of pixels are reflected in the motion amount. For this reason, when noise or the like is included and the pixel values of these pixels become abnormal, the removal value is inappropriate, and the pixel value of the pixel after the noise reduction processing tends to be inappropriate. Therefore, for example, it is preferable that the above-mentioned predetermined condition is that the value obtained by adding up the weights is a substantially intermediate value in a possible range.

また、上記構成の撮像装置において、前記動き量算出部が、前記第１画像または前記第２画像の注目画素と、当該注目画素の周辺画素と、を備える画素群のそれぞれの画素の画素値に基づいて前記動き量を算出するものであり、前記画素群に備えられるそれぞれの画素のうち、前記注目画素の画素値との差が小さい画素値を有する画素ほど、前記重みが大きくなるように設定されることとしても構わない。   In the imaging device having the above-described configuration, the motion amount calculation unit may calculate a pixel value of each pixel of a pixel group including a target pixel of the first image or the second image and a peripheral pixel of the target pixel. The amount of motion is calculated based on the setting, and among the pixels provided in the pixel group, the weight is set to be larger for a pixel having a smaller difference from the pixel value of the target pixel. It does not matter if it is done.

このように構成すると、簡易な構成で動き量を算出することが可能となる。   With this configuration, it is possible to calculate the amount of motion with a simple configuration.

また、上記構成の撮像装置において、前記動き量算出部が、前記第１画像または前記第２画像の注目画素と、当該注目画素の周辺画素と、を備える画素群のそれぞれの画素の画素値に基づいて前記動き量を算出するものであり、前記画素群に備えられるそれぞれの画素のうち、前記注目画素及びその近傍の画素の画素値を平滑化した値との差が小さい画素値を有する画素ほど、前記重みが大きくなるように設定されることとしても構わない。   In the imaging device having the above-described configuration, the motion amount calculation unit may calculate a pixel value of each pixel of a pixel group including a target pixel of the first image or the second image and a peripheral pixel of the target pixel. A pixel having a small difference between a pixel value of the pixel of interest and a value obtained by smoothing a pixel value in the vicinity of the pixel of interest among the pixels included in the pixel group. The weight may be set so as to increase.

このように構成すると、ノイズなどによって注目画素の画素値が不適なものとなる場合でも、精度良く重みが設定される。したがって、精度良く動き量を算出することが可能となる。   With this configuration, even when the pixel value of the target pixel becomes inappropriate due to noise or the like, the weight is accurately set. Therefore, it is possible to calculate the motion amount with high accuracy.

また、上記構成の撮像装置において、前記動き量算出部が、前記第１画像または前記第２画像の注目画素と、当該注目画素の周辺画素と、を備える画素群のそれぞれの画素の画素値に基づいて前記動き量を算出するものであり、前記動き量算出部が、前記注目画素の位置と前記周辺画素の位置とに基づいて得られる第１成分と、前記注目画素の画素値と前記周辺画素の画素値との差分値に基づいて得られる第２成分と、を算出し、前記第１成分と前記第２成分とを乗算した値を前記重みとすることとしても構わない。   In the imaging device having the above-described configuration, the motion amount calculation unit may calculate a pixel value of each pixel of a pixel group including a target pixel of the first image or the second image and a peripheral pixel of the target pixel. The motion amount is calculated based on the first component obtained based on the position of the target pixel and the positions of the peripheral pixels, the pixel value of the target pixel, and the peripheral A second component obtained based on a difference value from a pixel value of a pixel may be calculated, and a value obtained by multiplying the first component and the second component may be used as the weight.

このように構成すると、精度良く動き量を算出することが可能となる。なお、以下の実施形態においては、第１成分の一例としてドメインフィルタ係数を挙げ、第２成分としてレンジフィルタ係数を挙げて説明する。   If comprised in this way, it will become possible to calculate a motion amount with sufficient precision. In the following embodiments, a domain filter coefficient will be described as an example of the first component, and a range filter coefficient will be described as the second component.

また、上記構成の撮像装置において、前記動き量算出部が、前記重みを合算した値が小さくなるほど、前記動き量が小さくなるように設定することとしても構わない。   In the imaging apparatus having the above-described configuration, the motion amount calculation unit may be set so that the motion amount decreases as the value obtained by adding the weights decreases.

重みを合算した値が僅かな値であるとき、ノイズの影響を受けている画素の画素値が動き量に強く反映されている可能性が高くなる。そのため、動き量が大きくなりノイズが十分に低減されない可能性が高くなる。しかしながら、上記の構成とすることにより、動き量を小さくして効果的にノイズを低減することが可能となる。   When the sum of the weights is a slight value, there is a high possibility that the pixel value of the pixel affected by the noise is strongly reflected in the motion amount. Therefore, there is a high possibility that the amount of motion becomes large and noise is not sufficiently reduced. However, with the above configuration, it is possible to reduce the amount of motion and effectively reduce noise.

本発明によると、動き量を算出するために用いる重みを、入力される画像の画素値の状況に応じて設定することとしている。そのため、動き量を精度良く算出することが可能となるとともに、効果的にノイズを低減し、かつ、尾引きや残像などが発生することを抑制することが可能となる。   According to the present invention, the weight used for calculating the amount of motion is set according to the state of the pixel value of the input image. As a result, the amount of motion can be calculated with high accuracy, noise can be effectively reduced, and the occurrence of tailing, afterimages, and the like can be suppressed.

本発明における撮像装置の実施形態について、図面を参照して説明する。また、撮像装置として、デジタルカメラなどの音声、動画及び静止画の記録が可能な撮像装置を例に挙げて説明する。   An embodiment of an imaging apparatus according to the present invention will be described with reference to the drawings. In addition, as an imaging apparatus, an imaging apparatus capable of recording audio, moving images, and still images, such as a digital camera, will be described as an example.

＜＜撮像装置＞＞
まず、撮像装置の構成について、図１を参照して説明する。図１は、本発明の実施形態における撮像装置の構成を示すブロック図である。 << Imaging device >>
First, the configuration of the imaging apparatus will be described with reference to FIG. FIG. 1 is a block diagram illustrating a configuration of an imaging apparatus according to an embodiment of the present invention.

図１に示すように、撮像装置１は、入射される光学像を電気信号に変換するＣＣＤまたはＣＭＯＳセンサなどの固体撮像素子から成るイメージセンサ２と、被写体の光学像をイメージセンサ２に結像させるとともに光量などの調整を行うレンズ部３と、を備える。レンズ部３とイメージセンサ２とで撮像部が構成され、この撮像部によって画像信号が生成される。なお、レンズ部３は、ズームレンズやフォーカスレンズなどの各種レンズ（不図示）や、イメージセンサ２に入力される光量を調整する絞り（不図示）などを備える。   As shown in FIG. 1, the imaging apparatus 1 forms an image sensor 2 composed of a solid-state imaging device such as a CCD or CMOS sensor that converts an incident optical image into an electrical signal, and an optical image of a subject on the image sensor 2. And a lens unit 3 that adjusts the amount of light and the like. The lens unit 3 and the image sensor 2 constitute an imaging unit, and an image signal is generated by the imaging unit. The lens unit 3 includes various lenses (not shown) such as a zoom lens and a focus lens, and a diaphragm (not shown) that adjusts the amount of light input to the image sensor 2.

さらに、撮像装置１は、イメージセンサ２から出力されるアナログ信号である画像信号をデジタル信号に変換するとともにゲインの調整を行うＡＦＥ（Analog Front End）４と、入力される音声を電気信号に変換するマイク５と、ＡＦＥ４から出力されるＲ（赤）Ｇ（緑）Ｂ（青）のデジタル信号となる画像信号をＹ（輝度信号）Ｕ，Ｖ（色差信号）を用いた信号に変換するとともに画像信号に各種画像処理を施す画像処理部６と、マイク５から出力されるアナログ信号である音声信号をデジタル信号に変換する音声処理部７と、画像処理部６から出力される画像信号に対してＪＰＥＧ（Joint Photographic Experts Group）圧縮方式などの静止画用の圧縮符号化処理を施したり画像処理部６から出力される画像信号と音声処理部７からの音声信号とに対してＭＰＥＧ（Moving Picture Experts Group）圧縮方式などの動画用の圧縮符号化処理を施したりする圧縮処理部８と、圧縮処理部８で圧縮符号化された圧縮符号化信号を記録する外部メモリ１０と、画像信号を外部メモリ１０に記録したり読み出したりするドライバ部９と、ドライバ部９において外部メモリ１０から読み出した圧縮符号化信号を伸長して復号する伸長処理部１１と、を備える。なお、画像処理部６は、入力される画像信号にノイズ低減処理を施すノイズ低減処理部６０を備える。   Further, the imaging apparatus 1 converts an image signal, which is an analog signal output from the image sensor 2, into a digital signal and converts an input sound into an electric signal, and an AFE (Analog Front End) 4 that adjusts the gain. In addition to converting the image signal, which is an R (red), G (green), and B (blue) digital signal output from the AFE 4 into a signal using Y (luminance signal) U and V (color difference signal). An image processing unit 6 that performs various image processing on the image signal, an audio processing unit 7 that converts an audio signal that is an analog signal output from the microphone 5 into a digital signal, and an image signal that is output from the image processing unit 6 The image signal output from the image processing unit 6 and the audio signal from the audio processing unit 7 are subjected to compression encoding processing for still images such as JPEG (Joint Photographic Experts Group) compression method. A compression processing unit 8 that performs compression encoding processing for moving images such as a PEG (Moving Picture Experts Group) compression method, and an external memory 10 that records a compression encoded signal compression encoded by the compression processing unit 8; A driver unit 9 that records or reads an image signal in the external memory 10 and a decompression processing unit 11 that decompresses and decodes the compressed and encoded signal read from the external memory 10 in the driver unit 9 are provided. The image processing unit 6 includes a noise reduction processing unit 60 that performs noise reduction processing on the input image signal.

また、撮像装置１は、伸長処理部１１で復号された画像信号をディスプレイなどの表示装置（不図示）で表示可能な形式の信号に変換する画像出力回路部１２と、伸長処理部１１で復号された音声信号をスピーカなどの再生装置（不図示）で再生可能な形式の信号に変換する音声出力回路部１３と、を備える。   The imaging device 1 also includes an image output circuit unit 12 that converts the image signal decoded by the expansion processing unit 11 into a signal that can be displayed on a display device (not shown) such as a display, and the expansion processing unit 11 decodes the image signal. And an audio output circuit unit 13 that converts the audio signal into a signal that can be reproduced by a reproduction device (not shown) such as a speaker.

また、撮像装置１は、撮像装置１内全体の動作を制御するＣＰＵ（Central Processing Unit）１４と、各処理を行うための各プログラムを記憶するとともにプログラム実行時の信号の一時保管を行うメモリ１５と、撮像を開始するボタンや各種設定の決定を行うボタンなどのユーザからの指示が入力される操作部１６と、各部の動作タイミングを一致させるためのタイミング制御信号を出力するタイミングジェネレータ（ＴＧ）部１７と、ＣＰＵ１４と各部との間で信号のやりとりを行うためのバス回線１８と、メモリ１５と各部との間で信号のやりとりを行うためのバス回線１９と、を備える。   The imaging apparatus 1 also stores a CPU (Central Processing Unit) 14 that controls the entire operation of the imaging apparatus 1 and a memory 15 that stores each program for performing each process and temporarily stores a signal when the program is executed. A timing generator (TG) that outputs a timing control signal for matching the operation timing of the operation unit 16 to which an instruction from a user such as a button for starting imaging or a button for determining various settings is input. The unit 17 includes a bus line 18 for exchanging signals between the CPU 14 and each unit, and a bus line 19 for exchanging signals between the memory 15 and each unit.

なお、外部メモリ１０は画像信号や音声信号を記録することができればどのようなものでも構わない。例えば、ＳＤ（Secure Digital）カードのような半導体メモリ、ＤＶＤなどの光ディスク、ハードディスクなどの磁気ディスクなどをこの外部メモリ１０として使用することができる。また、外部メモリ１０を撮像装置１から着脱自在としても構わない。   The external memory 10 may be anything as long as it can record image signals and audio signals. For example, a semiconductor memory such as an SD (Secure Digital) card, an optical disk such as a DVD, a magnetic disk such as a hard disk, or the like can be used as the external memory 10. Further, the external memory 10 may be detachable from the imaging device 1.

次に、撮像装置１の基本動作について図１を用いて説明する。まず、撮像装置１は、レンズ部３より入射される光をイメージセンサ２において光電変換することによって、電気信号である画像信号を取得する。そして、イメージセンサ２は、ＴＧ部１７から入力されるタイミング制御信号に同期して、所定のフレーム周期（例えば、１／６０秒）で順次ＡＦＥ４に画像信号を出力する。そして、ＡＦＥ４によってアナログ信号からデジタル信号へと変換された画像信号は、画像処理部６に入力される。画像処理部６では、画像信号がＹＵＶを用いた信号に変換されるとともに、階調補正や輪郭強調等の各種画像処理が施される。また、メモリ１５はフレームメモリとして動作し、画像処理部６が処理を行なう際に画像信号を一時的に保持する。   Next, the basic operation of the imaging apparatus 1 will be described with reference to FIG. First, the imaging device 1 acquires an image signal that is an electrical signal by photoelectrically converting light incident from the lens unit 3 in the image sensor 2. Then, the image sensor 2 sequentially outputs image signals to the AFE 4 in a predetermined frame period (for example, 1/60 seconds) in synchronization with the timing control signal input from the TG unit 17. Then, the image signal converted from the analog signal to the digital signal by the AFE 4 is input to the image processing unit 6. In the image processing unit 6, the image signal is converted into a signal using YUV, and various image processes such as gradation correction and contour enhancement are performed. The memory 15 operates as a frame memory, and temporarily holds an image signal when the image processing unit 6 performs processing.

また、このとき画像処理部６に入力される画像信号に基づき、レンズ部３において、各種レンズの位置が調整されてフォーカスの調整が行われたり、絞りの開度が調整されて露出の調整が行われたりする。このフォーカスや露出の調整は、それぞれ最適な状態となるように所定のプログラムに基づいて自動的に行われたり、ユーザの指示に基づいて手動で行われたりする。また、画像処理部６に備えられるノイズ低減処理部６０は、入力される画像信号に対してノイズ低減処理を施す。   At this time, based on the image signal input to the image processing unit 6, the lens unit 3 adjusts the position of various lenses to adjust the focus, or adjusts the aperture and adjusts the exposure. It is done. This adjustment of focus and exposure is automatically performed based on a predetermined program so as to be in an optimum state, or manually performed based on a user instruction. The noise reduction processing unit 60 provided in the image processing unit 6 performs noise reduction processing on the input image signal.

動画を記録する場合であれば、画像信号だけでなく音声信号も記録される。マイク５において電気信号に変換されて出力される音声信号は音声処理部７に入力されてデジタル化されるとともにノイズ除去などの処理が施される。そして、画像処理部６から出力される画像信号と、音声処理部７から出力される音声信号と、はともに圧縮処理部８に入力され、圧縮処理部８において所定の圧縮方式で圧縮される。このとき、画像信号と音声信号とは時間的に関連付けられており、再生時に画像と音とがずれないように構成される。そして、圧縮された画像信号及び音声信号はドライバ部９を介して外部メモリ１０に記録される。   In the case of recording moving images, not only image signals but also audio signals are recorded. An audio signal converted into an electrical signal and output by the microphone 5 is input to the audio processing unit 7 and digitized and subjected to processing such as noise removal. The image signal output from the image processing unit 6 and the audio signal output from the audio processing unit 7 are both input to the compression processing unit 8 and compressed by the compression processing unit 8 using a predetermined compression method. At this time, the image signal and the audio signal are temporally associated with each other, and are configured so that the image and the sound are not shifted during reproduction. The compressed image signal and audio signal are recorded in the external memory 10 via the driver unit 9.

一方、静止画や音声のみを記録する場合であれば、画像信号または音声信号が圧縮処理部８において所定の圧縮方法で圧縮され、外部メモリ１０に記録される。なお、動画を記録する場合と静止画を記録する場合とで、画像処理部６において行われる処理を異なるものとしても構わない。   On the other hand, when only a still image or sound is recorded, the image signal or sound signal is compressed by the compression processing unit 8 by a predetermined compression method and recorded in the external memory 10. Note that the processing performed in the image processing unit 6 may be different depending on whether a moving image is recorded or a still image is recorded.

外部メモリ１０に記録された圧縮後の画像信号及び音声信号は、ユーザの指示に基づいて伸長処理部１１に読み出される。伸長処理部１１では、圧縮された画像信号及び音声信号を伸長し、画像信号を画像出力回路部１２、音声信号を音声出力回路部１３にそれぞれ出力する。そして、画像出力回路部１２や音声出力回路部１３において、表示装置やスピーカで表示または再生可能な形式の信号に変換されて出力される。   The compressed image signal and audio signal recorded in the external memory 10 are read out to the expansion processing unit 11 based on a user instruction. The decompression processing unit 11 decompresses the compressed image signal and audio signal, and outputs the image signal to the image output circuit unit 12 and the audio signal to the audio output circuit unit 13, respectively. Then, the image output circuit unit 12 and the audio output circuit unit 13 convert the signal into a signal that can be displayed or reproduced by a display device or a speaker, and output the signal.

なお、表示装置やスピーカは、撮像装置１と一体となっているものでも構わないし、別体となっており、撮像装置１に備えられる端子とケーブル等を用いて接続されるようなものでも構わない。   The display device and the speaker may be integrated with the imaging device 1 or may be separated and connected to a terminal provided in the imaging device 1 using a cable or the like. Absent.

また、画像信号の記録を行わずに表示装置などに表示される画像をユーザが確認する、所謂プレビューモードである場合に、画像処理部６から出力される画像信号を圧縮せずに画像出力回路部１２に出力することとしても構わない。また、動画の画像信号を記録する際に、圧縮処理部８で圧縮して外部メモリ１０に記録するのと並行して、画像出力回路部１２を介して表示装置などに画像信号を出力することとしても構わない。   Further, in a so-called preview mode in which the user confirms an image displayed on a display device or the like without recording an image signal, the image output circuit without compressing the image signal output from the image processing unit 6 It may be output to the unit 12. In addition, when recording an image signal of a moving image, the image signal is output to a display device or the like via the image output circuit unit 12 in parallel with being compressed by the compression processing unit 8 and recorded in the external memory 10. It does not matter.

＜＜ノイズ低減処理部＞＞
次に、図１に示したノイズ低減処理部６０の構成について図面を参照して説明する。図２は、本発明の実施形態における撮像装置に備えられるノイズ低減処理部の構成を示すブロック図である。なお、以下では説明の具体化のために、ノイズ低減処理部６０に入力されてノイズ低減処理が行われる画像信号を画像として表現するとともに、「入力画像」と呼ぶこととする。また、ノイズ低減処理部６０から出力される画像信号を「出力画像」と呼ぶこととする。 << Noise reduction processing section >>
Next, the configuration of the noise reduction processing unit 60 shown in FIG. 1 will be described with reference to the drawings. FIG. 2 is a block diagram illustrating a configuration of a noise reduction processing unit provided in the imaging apparatus according to the embodiment of the present invention. In the following, for the sake of concrete description, an image signal that is input to the noise reduction processing unit 60 and subjected to noise reduction processing is expressed as an image and is also referred to as an “input image”. In addition, an image signal output from the noise reduction processing unit 60 is referred to as an “output image”.

また、順次入出力される入力画像及び出力画像の順序を、フレームを用いて表現する。特に、ノイズ低減処理が行われる対象となる入力画像を現フレームの入力画像とし、この現フレームの入力画像にノイズ低減処理が施されて出力される出力画像を現フレームの出力画像とする。また、現フレームの入力画像の前にノイズ低減処理部６０に入力される入力画像を前フレームの入力画像とし、この前フレームの入力画像にノイズ低減処理が施されて出力される出力画像を前フレームの出力画像とする。   In addition, the order of input and output images that are sequentially input and output is expressed using frames. In particular, an input image to be subjected to noise reduction processing is set as an input image of the current frame, and an output image output by applying noise reduction processing to the input image of the current frame is set as an output image of the current frame. Further, the input image input to the noise reduction processing unit 60 before the input image of the current frame is set as the input image of the previous frame, and the output image output by applying noise reduction processing to the input image of the previous frame is output as the previous image. The output image of the frame.

図２に示すように、ノイズ低減処理部６０は、現フレームの入力画像とフレームメモリ５０に一時的に記憶された前フレームの出力画像とに基づいてノイズ除去量を算出するノイズ除去量算出部６１と、現フレームの入力画像とフレームメモリ５０に一時的に記憶された前フレームの出力画像とに基づいて動き量を算出する動き量算出部６２と、動き量に基づいて帰還係数を算出する帰還係数算出部６３と、ノイズ除去量と帰還係数とに基づいて現フレームの入力画像のノイズを低減して現フレームの出力画像を生成するノイズ低減部６４と、を備える。   As shown in FIG. 2, the noise reduction processing unit 60 calculates a noise removal amount based on the input image of the current frame and the output image of the previous frame temporarily stored in the frame memory 50. 61, a motion amount calculation unit 62 that calculates a motion amount based on the input image of the current frame and the output image of the previous frame temporarily stored in the frame memory 50, and calculates a feedback coefficient based on the motion amount. A feedback coefficient calculation unit 63; and a noise reduction unit 64 that generates an output image of the current frame by reducing noise of the input image of the current frame based on the noise removal amount and the feedback coefficient.

＜ノイズ除去量算出部＞
ノイズ除去量算出部６１について図面を参照して説明する。図３は、ノイズ除去量算出部の構成を示す模式図である。図３に示すように、ノイズ除去量算出部６１は、現フレームの入力画像と前フレームの出力画像との差分値を求める差分値算出部６１ａと、差分値算出部６１ａより得られる差分値に基づいてノイズ除去量を設定するノイズ除去量設定部６１ｂと、を備える。なお、差分値算出部６１ａで求められる差分値は、画素毎の値となる。 <Noise removal amount calculation unit>
The noise removal amount calculation unit 61 will be described with reference to the drawings. FIG. 3 is a schematic diagram illustrating a configuration of the noise removal amount calculation unit. As illustrated in FIG. 3, the noise removal amount calculation unit 61 includes a difference value calculation unit 61 a that calculates a difference value between the input image of the current frame and the output image of the previous frame, and a difference value obtained from the difference value calculation unit 61 a. A noise removal amount setting unit 61b for setting a noise removal amount based on the noise removal amount. In addition, the difference value calculated | required by the difference value calculation part 61a becomes a value for every pixel.

ノイズ除去量設定部６１ｂは、例えば、図４に示すような方法でノイズ除去量を設定する。図４は、ノイズ除去量の設定方法の一例を示すグラフである。図４に示すように、ノイズ除去量設定部６１ｂは、画素毎に求められる差分値ｘに基づいてノイズ除去量ｎ（ｘ）を設定する。なお、図４に示すようにノイズ除去量を設定する場合、ｎ（ｘ）は下記式（１）に示すものとなる。   For example, the noise removal amount setting unit 61b sets the noise removal amount by a method as shown in FIG. FIG. 4 is a graph illustrating an example of a method for setting the noise removal amount. As illustrated in FIG. 4, the noise removal amount setting unit 61b sets the noise removal amount n (x) based on the difference value x obtained for each pixel. When the noise removal amount is set as shown in FIG. 4, n (x) is expressed by the following formula (1).

Figure 2010074373
Figure 2010074373

上記式（１）に示されるｎ（ｘ）では、差分値ｘの絶対値が閾値ｔｈ（ｔｈ＞０）を超える場合、ノイズ除去量ｎ（ｘ）が抑制される。そのため、被写体や撮像装置の動きなどによって画素値に大きな変動が生じた場合に、ノイズによる変動と誤認されてノイズ除去量が大きく設定されることが抑制される。したがって、尾引きや残像などの発生を抑制することが可能となる。   In n (x) shown in the above equation (1), when the absolute value of the difference value x exceeds the threshold th (th> 0), the noise removal amount n (x) is suppressed. For this reason, when a large variation occurs in the pixel value due to the movement of the subject or the imaging device, it is suppressed that the noise removal amount is mistakenly recognized as a variation due to noise and a large amount of noise removal is set. Therefore, it is possible to suppress the occurrence of tailing and afterimages.

＜帰還係数算出部＞
次に、帰還係数算出部６３について図面を参照して説明する。図５は、帰還係数の設定方法の一例を示すグラフである。図５に示すように、帰還係数は、動き量が増大するほど小さくなる。例えば、動き量が０であれば１となり、動き量が閾値ｔｈＭを超えると０となる。なお、動き量算出部６２の構成や動き量の算出方法の詳細については後述するが、概ね、現フレームの入力画像の画素値と前フレームの出力画像の画素値との差分値の絶対値が大きいほど動き量も大きくなる。 <Feedback coefficient calculation unit>
Next, the feedback coefficient calculation unit 63 will be described with reference to the drawings. FIG. 5 is a graph showing an example of a feedback coefficient setting method. As shown in FIG. 5, the feedback coefficient decreases as the amount of motion increases. For example, if the amount of motion is 0, it is 1, and if the amount of motion exceeds the threshold thM, it is 0. Although the details of the configuration of the motion amount calculation unit 62 and the motion amount calculation method will be described later, generally, the absolute value of the difference value between the pixel value of the input image of the current frame and the pixel value of the output image of the previous frame is The greater the amount, the greater the amount of movement.

＜ノイズ低減部＞
図２に示すように、ノイズ低減部６４は、ノイズ除去量に帰還係数を乗じて除去値を算出する乗算部６４ａと、現フレームの入力画像から除去値を減算する減算部６４ｂと、を備える。 <Noise reduction part>
As shown in FIG. 2, the noise reduction unit 64 includes a multiplication unit 64a that multiplies a noise removal amount by a feedback coefficient to calculate a removal value, and a subtraction unit 64b that subtracts the removal value from the input image of the current frame. .

上述のように、動き量が大きいと帰還係数が小さくなる。そのため、ノイズ除去量に帰還係数を乗じて算出される除去値は、ノイズ除去量を大きく低減したものとなり、小さい値となる。動き量が大きい場合、現フレームの入力画像と前フレームの出力画像との差分値は、主に被写体や撮像装置１の動きによって発生するブレなどによるものと考えられる。そのため、除去値を小さいものとして、現フレームの入力画像を略そのまま現フレームの出力画像として出力する。これにより、尾引きや残像の発生を抑制することが可能となる。   As described above, the feedback coefficient decreases when the amount of motion is large. For this reason, the removal value calculated by multiplying the noise removal amount by the feedback coefficient is a value obtained by greatly reducing the noise removal amount, and is a small value. When the amount of motion is large, the difference value between the input image of the current frame and the output image of the previous frame is considered to be mainly due to blurring caused by the motion of the subject or the imaging device 1. Therefore, the input value of the current frame is output as it is as the output image of the current frame with the removal value being small. Thereby, it is possible to suppress the occurrence of tailing and afterimages.

一方、動き量が小さいと帰還係数が大きくなる。そのため、ノイズ除去量に帰還係数を乗じて算出される除去値は、ノイズ除去量をあまり低減しないものとなり、大きい値となる。動き量が小さい場合、現フレームの入力画像と前フレームの出力画像との差分値は、主にランダムに発生するノイズに起因するものと考えられる。そのため、除去値を大きいものとして、現フレームの入力画像から好適にノイズを低減する。   On the other hand, if the amount of motion is small, the feedback coefficient increases. For this reason, the removal value calculated by multiplying the noise removal amount by the feedback coefficient does not reduce the noise removal amount so much and is a large value. When the amount of motion is small, the difference value between the input image of the current frame and the output image of the previous frame is considered to be mainly due to randomly generated noise. For this reason, the noise is suitably reduced from the input image of the current frame with a large removal value.

＜動き量算出部＞
次に、動き量算出部６２の各実施例について、以下説明する。 <Motion amount calculation unit>
Next, each example of the motion amount calculation unit 62 will be described below.

（第１実施例）
動き量算出部の第１実施例について図面を参照して説明する。図６は、動き量算出部の第１実施例の構成を示す模式図である。図６に示すように、本実施例の動き量算出部６２ａは、現フレームの入力画像と前フレームの出力画像との差分値を画素毎に算出する差分値算出部６２１と、差分値算出部６２１から出力される差分値の絶対値を算出する絶対値算出部６２２と、絶対値算出部６２２から出力される差分値の絶対値に平滑化処理を行い動き量を算出するフィルタ部６２３と、現フレームの入力画像に基づいてフィルタ部６２３のフィルタ係数を算出するフィルタ係数算出部６２４ａと、を備える。 (First embodiment)
A first embodiment of the motion amount calculation unit will be described with reference to the drawings. FIG. 6 is a schematic diagram illustrating the configuration of the first example of the motion amount calculation unit. As illustrated in FIG. 6, the motion amount calculation unit 62a of the present embodiment includes a difference value calculation unit 621 that calculates a difference value between the input image of the current frame and the output image of the previous frame for each pixel, and a difference value calculation unit. An absolute value calculation unit 622 that calculates the absolute value of the difference value output from 621, a filter unit 623 that performs a smoothing process on the absolute value of the difference value output from the absolute value calculation unit 622, and calculates a motion amount; A filter coefficient calculation unit 624a that calculates a filter coefficient of the filter unit 623 based on the input image of the current frame.

フィルタ部６２３は、例えば、注目画素及び周辺画素のそれぞれに所定のフィルタ係数を乗算し、乗算後の各値を合算して得られた値を所定の数（以下、除数とする）で除算するフィルタである。また、フィルタ部６２３は、フィルタ係数が可変であり除数も可変であるものとする。なお、フィルタ部６２３の具体的な構成例については後述する。   For example, the filter unit 623 multiplies each of the pixel of interest and the surrounding pixels by a predetermined filter coefficient, and divides the value obtained by adding the respective values after the multiplication by a predetermined number (hereinafter referred to as a divisor). It is a filter. The filter unit 623 is assumed to have a variable filter coefficient and a variable divisor. A specific configuration example of the filter unit 623 will be described later.

次に、動き量算出部６２ａの動作について図面を参照して説明する。図７は、動き量算出部の第１実施例の動作例を示す模式図である。図７では、注目画素を太線の実線で示し、重みが大きいフィルタ係数が乗算される画素の範囲を太線の破線で示している。また、説明の簡略化のために、画素値は１００または０のいずれかの値をとるものとする。なお、物体を示す画素の画素値を１００とし、背景を示す画素の画素値を０とする。   Next, the operation of the motion amount calculation unit 62a will be described with reference to the drawings. FIG. 7 is a schematic diagram illustrating an operation example of the first embodiment of the motion amount calculation unit. In FIG. 7, the target pixel is indicated by a thick solid line, and the range of pixels to be multiplied by a filter coefficient having a large weight is indicated by a thick broken line. Further, for simplification of description, the pixel value is assumed to be either 100 or 0. Note that the pixel value of the pixel indicating the object is 100, and the pixel value of the pixel indicating the background is 0.

図６に示すように、本実施例の動き量算出部６２ａは、まず、差分値算出部６２１で現フレームの入力画像と前フレームの出力画像との差分値が画素毎に算出される。このとき、例えば、注目画素と注目画素を中心とした周囲画素とを併せた３５個（水平方向に７行、垂直方向に５列）の画素のそれぞれについて、差分値が算出される。そして、得られた差分値は絶対値算出部６２２に入力され、絶対値が算出される。   As shown in FIG. 6, in the motion amount calculation unit 62a of the present embodiment, first, the difference value calculation unit 621 calculates a difference value between the input image of the current frame and the output image of the previous frame for each pixel. At this time, for example, a difference value is calculated for each of 35 pixels (7 rows in the horizontal direction and 5 columns in the vertical direction) including the target pixel and surrounding pixels centered on the target pixel. Then, the obtained difference value is input to the absolute value calculation unit 622, and the absolute value is calculated.

一方、フィルタ係数算出部６２４ａは、現フレームの入力画像に基づいてフィルタ係数を算出する。具体的に例えば、まず、注目画素の画素値と略等しい画素値（例えば、注目画素の画素値との差が所定の範囲内となる画素値）を有する画素を検出する。そして、フィルタ部６２３が動き量を算出する際に、当該検出された画素の画素値の重みが大きくなるようにフィルタ係数を設定する。   On the other hand, the filter coefficient calculation unit 624a calculates a filter coefficient based on the input image of the current frame. Specifically, for example, first, a pixel having a pixel value substantially equal to the pixel value of the target pixel (for example, a pixel value whose difference from the pixel value of the target pixel is within a predetermined range) is detected. Then, when the filter unit 623 calculates the amount of motion, the filter coefficient is set so that the weight of the pixel value of the detected pixel becomes large.

以下では、上記のようにして検出された画素に乗算されるフィルタ係数を１とし、それ以外の画素に乗算されるフィルタ係数を０とする場合を例に挙げて説明する。なお、乗算後の各値を合算して得られた値を除算する除数は、設定されるフィルタ係数を合算した値（即ち、本例ではフィルタ係数＝１が乗算される画素の数）とする。   In the following, an example will be described in which the filter coefficient to be multiplied by the pixels detected as described above is set to 1, and the filter coefficient to be multiplied to other pixels is set to 0. Note that the divisor for dividing the value obtained by adding the respective values after multiplication is a value obtained by adding the set filter coefficients (that is, the number of pixels multiplied by filter coefficient = 1 in this example). .

図７（ａ）に示す例では、現フレームの入力画像の注目画素の画素値が１００である。また、図中の太線の破線で示すように、画素値が１００となる画素は水平方向の左方から４列分の２０個である。本実施例では、これら２０個の画素の差分値の絶対値のそれぞれに対してフィルタ係数＝１が乗算される。そして、乗算後の各値を合算して得られた値が、除数＝２０で除算される。なお、図７（ａ）に示す場合では、２０個全ての画素の差分値の絶対値が０となる。そのため、（０×２０）／２０＝０が動き量となる。   In the example shown in FIG. 7A, the pixel value of the target pixel of the input image of the current frame is 100. Further, as indicated by a thick broken line in the figure, the number of pixels having a pixel value of 100 is 20 for four columns from the left in the horizontal direction. In this embodiment, each of the absolute values of the difference values of these 20 pixels is multiplied by the filter coefficient = 1. Then, the value obtained by adding the respective values after multiplication is divided by a divisor = 20. In the case shown in FIG. 7A, the absolute value of the difference value of all 20 pixels is zero. Therefore, (0 × 20) / 20 = 0 is the amount of motion.

図７（ｂ）に示す例では、現フレームの入力画像の注目画素の画素値が１００である。また、図中の太線の破線で示すように、画素値が１００となる画素は水平方向の左方から４列分の２０個となる。本実施例では、これら２０個の画素の差分値の絶対値のそれぞれに対して、フィルタ係数＝１が乗算される。そして、乗算後の各値を合算して得られた値が、除数＝２０で除算される。図７（ｂ）に示す場合では、１０個の画素の差分値の絶対値が０となり、１０個の画素の差分値の絶対値が１００となる。そのため、（０×１０＋１００×１０）／２０＝５０が動き量となる。   In the example shown in FIG. 7B, the pixel value of the target pixel of the input image of the current frame is 100. Further, as indicated by a thick broken line in the figure, the number of pixels having a pixel value of 100 is 20 for four columns from the left in the horizontal direction. In this embodiment, each of the absolute values of the difference values of these 20 pixels is multiplied by the filter coefficient = 1. Then, the value obtained by adding the respective values after multiplication is divided by a divisor = 20. In the case shown in FIG. 7B, the absolute value of the difference value of 10 pixels is 0, and the absolute value of the difference value of 10 pixels is 100. Therefore, the amount of movement is (0 × 10 + 100 × 10) / 20 = 50.

本実施例の動き量算出部６２ａによると、現フレームの注目画素と画素値が略等しい画素の重みを大きくして動き量を算出するため、注目画素の画素値の変動に対応する動き量をより精度良く算出することが可能となる。   According to the motion amount calculation unit 62a of the present embodiment, since the motion amount is calculated by increasing the weight of a pixel whose pixel value is substantially equal to the target pixel of the current frame, the motion amount corresponding to the change in the pixel value of the target pixel is calculated. It becomes possible to calculate more accurately.

具体的に、図７（ａ）,（ｂ）のそれぞれの場合について説明する。図７（ａ）に示す場合、物体に動きはあるが、注目画素の画素値が変動していないため、動きが小さいと判定されることが好ましい。本実施例の場合、動き量算出部６２ａから出力される動き量は０となり、動きが小さい（静止している）と判定される。したがって、ノイズ低減部６４に入力される帰還係数が大きくなることで除去値が大きくなり、ノイズを効果的に抑制することが可能となる。   Specifically, the cases of FIGS. 7A and 7B will be described. In the case shown in FIG. 7A, it is preferable that the object is moving, but it is determined that the movement is small because the pixel value of the target pixel has not changed. In the case of the present embodiment, the motion amount output from the motion amount calculation unit 62a is 0, and it is determined that the motion is small (still). Therefore, the removal value increases as the feedback coefficient input to the noise reduction unit 64 increases, and noise can be effectively suppressed.

一方、図７（ｂ）に示す場合では、物体に動きがあり、注目画素の画素値が変動しているため、動きが大きいと判定されることが好ましい。本実施例の場合、動き量算出部６２ａから出力される動き量は５０となり、動きが大きいと判定される。したがって、ノイズ低減部６４に入力される帰還係数が小さくなることで除去値が小さくなり、尾引きや残像の発生を抑制することが可能となる。   On the other hand, in the case shown in FIG. 7B, it is preferable to determine that the movement is large because the object has movement and the pixel value of the target pixel fluctuates. In the case of the present embodiment, the motion amount output from the motion amount calculation unit 62a is 50, and it is determined that the motion is large. Accordingly, the feedback value input to the noise reduction unit 64 becomes small, so that the removal value becomes small, and the occurrence of tailing and afterimage can be suppressed.

（第２実施例）
動き量算出部の第２実施例について図面を参照して説明する。図８は、動き量算出部の第２実施例の構成を示す模式図であり、第１実施例について示した図６に相当するものである。なお、第１実施例と同様となる部分には同じ符号を付し、詳細な説明については省略する。 (Second embodiment)
A second embodiment of the motion amount calculation unit will be described with reference to the drawings. FIG. 8 is a schematic diagram showing the configuration of the second embodiment of the motion amount calculation unit, and corresponds to FIG. 6 shown for the first embodiment. In addition, the same code | symbol is attached | subjected to the part similar to 1st Example, and detailed description is abbreviate | omitted.

図８に示すように、本実施例の動き量算出部６２ｂは、差分値算出部６２１と、絶対値算出部６２２と、フィルタ部６２３と、前フレームの出力画像に基づいてフィルタ部６２３のフィルタ係数を算出するフィルタ係数算出部６２４ｂと、を備える。   As shown in FIG. 8, the motion amount calculation unit 62b of the present embodiment includes a difference value calculation unit 621, an absolute value calculation unit 622, a filter unit 623, and a filter of the filter unit 623 based on the output image of the previous frame. A filter coefficient calculation unit 624b that calculates a coefficient.

次に、動き量算出部６２ｂの動作について図面を参照して説明する。図９は、動き量算出部の第２実施例の動作例を示す模式図であり、第１実施例について示した図７に相当するものである。なお、図７と同様に図９でも、注目画素を太線の実線で示し、重みが大きいフィルタ係数が乗算される画素の範囲を太線の破線で示している。また、説明の簡略化のために、画素値は１００または０のいずれかの値をとるものとする。なお、物体を示す画素の画素値を１００とし、背景を示す画素の画素値を０とする。   Next, the operation of the motion amount calculation unit 62b will be described with reference to the drawings. FIG. 9 is a schematic diagram showing an operation example of the second embodiment of the motion amount calculation unit, and corresponds to FIG. 7 shown for the first embodiment. As in FIG. 7, in FIG. 9, the target pixel is indicated by a thick solid line, and the range of pixels to be multiplied by a filter coefficient having a large weight is indicated by a thick broken line. Further, for simplification of description, the pixel value is assumed to be either 100 or 0. Note that the pixel value of the pixel indicating the object is 100, and the pixel value of the pixel indicating the background is 0.

図８に示すように、本実施例の動き量算出部６２ｂは、まず、差分値算出部６２１で現フレームの入力画像と前フレームの出力画像との差分値が画素毎に算出される。例えば、第１実施例と同様に３５個の画素のそれぞれについて差分値が算出される。そして、得られた差分値は絶対値算出部６２２に入力され、絶対値が算出される。   As shown in FIG. 8, in the motion amount calculation unit 62b of the present embodiment, first, the difference value calculation unit 621 calculates a difference value between the input image of the current frame and the output image of the previous frame for each pixel. For example, the difference value is calculated for each of the 35 pixels as in the first embodiment. Then, the obtained difference value is input to the absolute value calculation unit 622, and the absolute value is calculated.

一方、フィルタ係数算出部６２４ｂは、前フレームの出力画像に基づいてフィルタ係数を算出する。具体的に例えば、まず、注目画素の画素値と略等しい画素値（例えば、注目画素の画素値との差が所定の範囲内となる画素値）を有する画素を検出する。そして、フィルタ部６２３が動き量を算出する際に、当該検出された画素の画素値の重みが大きくなるようにフィルタ係数を設定する。なお、以下の説明においても、第１実施例と同様に、当該検出された画素に乗算されるフィルタ係数を１とし、それ以外の画素に乗算されるフィルタ係数を０とする。また、乗算後の各値を合算して得られた値を除算する除数は、設定されるフィルタ係数を合算した値（即ち、本例ではフィルタ係数＝１が乗算される画素の数）とする。   On the other hand, the filter coefficient calculation unit 624b calculates a filter coefficient based on the output image of the previous frame. Specifically, for example, first, a pixel having a pixel value substantially equal to the pixel value of the target pixel (for example, a pixel value whose difference from the pixel value of the target pixel is within a predetermined range) is detected. Then, when the filter unit 623 calculates the amount of motion, the filter coefficient is set so that the weight of the pixel value of the detected pixel becomes large. In the following description, similarly to the first embodiment, the filter coefficient to be multiplied by the detected pixel is set to 1, and the filter coefficient to be multiplied to other pixels is set to 0. In addition, the divisor for dividing the value obtained by adding the respective values after multiplication is a value obtained by adding the set filter coefficients (that is, the number of pixels multiplied by filter coefficient = 1 in this example). .

図９（ａ）に示す例では、前フレームの出力画像の注目画素の画素値が１００である。また、図中の太線の破線で示すように、画素値が１００となる画素は水平方向の左方から６列分の３０個である。本実施例では、これら３０個の画素の差分値の絶対値のそれぞれに対して、フィルタ係数＝１が乗算される。そして、乗算後の各値を合算して得られた値が、除数＝３０で除算される。なお、図９（ａ）に示す場合では、２０個の画素の差分値の絶対値が０となり、１０個の画素の差分値の絶対値が１００となる。そのため、（０×２０＋１００×１０）／３０≒３３が動き量となる。   In the example shown in FIG. 9A, the pixel value of the target pixel of the output image of the previous frame is 100. Further, as indicated by the bold broken line in the figure, the number of pixels having a pixel value of 100 is 30 for six columns from the left in the horizontal direction. In this embodiment, each of the absolute values of the difference values of these 30 pixels is multiplied by the filter coefficient = 1. Then, the value obtained by adding the respective values after multiplication is divided by a divisor = 30. In the case shown in FIG. 9A, the absolute value of the difference value of 20 pixels is 0, and the absolute value of the difference value of 10 pixels is 100. Therefore, (0 × 20 + 100 × 10) / 30≈33 is the amount of motion.

図９（ｂ）に示す例では、現フレームの入力画像の注目画素の画素値が１００である。また、図中の太線の破線で示すように、画素値が１００となる画素は水平方向の右方から５列分の２５個となる。本実施例では、これら２５個の画素の差分値の絶対値のそれぞれに対して、フィルタ係数＝１が乗算される。そして、乗算後の各値を合算して得られた値が、除数＝２５で除算される。なお、図９（ｂ）に示す場合では、１５個の画素の差分値の絶対値が０となり、１０個の画素の差分値の絶対値が１００となる。そのため、（０×１５＋１００×１０）／２５＝４０が動き量となる。   In the example shown in FIG. 9B, the pixel value of the target pixel of the input image of the current frame is 100. Further, as indicated by a thick broken line in the figure, the number of pixels having a pixel value of 100 is 25 for five columns from the right in the horizontal direction. In this embodiment, each of the absolute values of the difference values of these 25 pixels is multiplied by the filter coefficient = 1. Then, the value obtained by adding the respective values after multiplication is divided by a divisor = 25. In the case shown in FIG. 9B, the absolute value of the difference value of 15 pixels is 0, and the absolute value of the difference value of 10 pixels is 100. Therefore, the amount of movement is (0 × 15 + 100 × 10) / 25 = 40.

本実施例の動き量算出部６２ｂは、前フレームの出力画像の注目画素と画素値が略等しい画素の重みを大きくして動き量を算出する。そのため、第１実施例の動き量算出部６２ａと同様に、注目画素の画素値の変動に対応する動き量をより精度良く算出することが可能となる。   The motion amount calculation unit 62b of the present embodiment calculates the motion amount by increasing the weight of a pixel whose pixel value is substantially equal to the target pixel of the output image of the previous frame. Therefore, similarly to the motion amount calculation unit 62a of the first embodiment, it is possible to calculate the motion amount corresponding to the fluctuation of the pixel value of the target pixel with higher accuracy.

具体的に、図９（ａ）,（ｂ）のそれぞれの場合について説明する。図９（ａ）に示す場合、物体に動きはあるが、注目画素の画素値が変動していないため、動きが小さいと判定されることが好ましい。本実施例の場合、動き量算出部６２ｂから出力される動き量は３３となり、動きが比較的小さいと判定される。したがって、ノイズ低減部６４に入力される帰還係数が大きくなることで除去値が大きくなり、ノイズを効果的に抑制することが可能となる。   Specifically, the cases of FIGS. 9A and 9B will be described. In the case illustrated in FIG. 9A, it is preferable that the object is in motion but it is determined that the motion is small because the pixel value of the target pixel has not changed. In the case of the present embodiment, the motion amount output from the motion amount calculation unit 62b is 33, and it is determined that the motion is relatively small. Therefore, the removal value increases as the feedback coefficient input to the noise reduction unit 64 increases, and noise can be effectively suppressed.

一方、図９（ｂ）に示す場合では、物体に動きがあり、注目画素の画素値が変動しているため、動きが大きいと判定されることが好ましい。本実施例の場合、動き量算出部６２ｂから出力される動き量は４０となり、動きが比較的大きいと判定される。したがって、ノイズ低減部６４に入力される帰還係数が小さくなることで除去値が小さくなり、尾引きや残像の発生を抑制することが可能となる。   On the other hand, in the case shown in FIG. 9B, it is preferable to determine that the movement is large because the object has movement and the pixel value of the target pixel fluctuates. In the case of the present embodiment, the motion amount output from the motion amount calculation unit 62b is 40, and it is determined that the motion is relatively large. Accordingly, the feedback value input to the noise reduction unit 64 becomes small, so that the removal value becomes small, and the occurrence of tailing and afterimage can be suppressed.

また、本実施例の動き量算出部６２ｂは、ノイズ低減処理が既に施されている前フレームの出力画像の注目画素を基準としてフィルタ係数を設定する。そのため、フィルタ係数を算出する際に、ノイズの影響を抑制することが可能となる。具体的には、ノイズの影響で注目画素やその他の画素の画素値が異常な値となるためにフィルタ係数が精度良く算出されなくなることを、抑制することが可能となる。したがって、さらに精度良く動き量を算出することが可能となる。   In addition, the motion amount calculation unit 62b of the present embodiment sets the filter coefficient with reference to the target pixel of the output image of the previous frame that has already been subjected to the noise reduction process. Therefore, it is possible to suppress the influence of noise when calculating the filter coefficient. Specifically, it is possible to prevent the filter coefficient from being accurately calculated because the pixel values of the target pixel and other pixels become abnormal values due to the influence of noise. Therefore, it is possible to calculate the motion amount with higher accuracy.

また、本実施例の構成であれば、例えば画素値が一様となる平坦部分においても、効果的にノイズを低減することが可能となる。これについて図面を参照して説明する。図１０は、動き量算出部の第２実施例の動作例を示す模式図であり、図９と同様のものである。図１０（ａ），（ｂ）は、ノイズによって画素値が変動する場合を示したものである。なお、説明の簡略化のために、ノイズが含まれる画素の画素値を全て５００とする。   Further, with the configuration of the present embodiment, for example, noise can be effectively reduced even in a flat portion where pixel values are uniform. This will be described with reference to the drawings. FIG. 10 is a schematic diagram showing an operation example of the second embodiment of the motion amount calculation unit, which is the same as FIG. FIGS. 10A and 10B show the case where the pixel value fluctuates due to noise. For simplification of description, the pixel values of pixels including noise are all 500.

図１０（ａ）は、前フレームの出力画像において、注目画素とその近傍（注目画素の下部の画素１個）にのみノイズが含まれている場合を示している。この場合、この２個の画素の差分値の絶対値に対して、フィルタ係数＝１が乗算される。そして、乗算後の各値を合算して得られた値が、除数＝２で除算される。図１０（ａ）に示す場合では、現フレームの入力画像にはノイズの影響がなく、動き量が算出される３５個の画素の画素値の全てが０である。そのため、２個の画素の差分値の絶対値はそれぞれ５００となる。したがって、（５００×２）／２＝５００が動き量となる。   FIG. 10A shows a case in which noise is included only in the target pixel and its vicinity (one pixel below the target pixel) in the output image of the previous frame. In this case, the absolute value of the difference value between the two pixels is multiplied by the filter coefficient = 1. Then, the value obtained by adding the respective values after multiplication is divided by the divisor = 2. In the case shown in FIG. 10A, the input image of the current frame is not affected by noise, and all of the pixel values of the 35 pixels for which the motion amount is calculated are zero. Therefore, the absolute value of the difference value between the two pixels is 500 for each. Therefore, (500 × 2) / 2 = 500 is the amount of motion.

図１０（ａ）に示すように、動きが発生していない場合でも、ノイズなどの影響によって動き量が大きくなる。そしてこの場合、帰還係数が小さくなり、ノイズを含んだ前フレームの出力画像と現フレームの入力画像との差分値に基づいて設定された不適なノイズ除去量の帰還が抑制される（除去値が小さくなる）。したがって、現フレームの出力画像の画素の画素値が不適なものになることが抑制される。   As shown in FIG. 10A, even when no movement occurs, the amount of movement increases due to the influence of noise or the like. In this case, the feedback coefficient is reduced, and feedback of an inappropriate noise removal amount set based on the difference value between the output image of the previous frame including noise and the input image of the current frame is suppressed (the removal value is Smaller). Therefore, the pixel value of the pixel of the output image of the current frame is suppressed from becoming inappropriate.

また図１０（ｂ）は、前フレームの出力画像において、注目画素の近傍（注目画素の左方の画素２個）にのみノイズが含まれ、注目画素にノイズが含まれていない場合を示している。この場合、この２個の画素を除く３３個の画素の差分値の絶対値に対して、フィルタ係数＝１が乗算される。そして、乗算後の各値を合算して得られた値が、除数＝３３で除算される。図１０（ｂ）に示す場合では、現フレームの入力画像の注目画素にのみノイズが含まれている。そのため、注目画素の差分値の絶対値は５００となり、他の３２個の画素の差分値の絶対値は０となる。したがって、（５００×１＋０×３２）／３３≒１５が動き量となる。   FIG. 10B shows a case where noise is included only in the vicinity of the target pixel (two pixels to the left of the target pixel) and no noise is included in the target pixel in the output image of the previous frame. Yes. In this case, the absolute value of the difference value of the 33 pixels excluding the two pixels is multiplied by the filter coefficient = 1. Then, the value obtained by adding the respective values after multiplication is divided by a divisor = 33. In the case shown in FIG. 10B, noise is included only in the target pixel of the input image of the current frame. Therefore, the absolute value of the difference value of the target pixel is 500, and the absolute value of the difference value of the other 32 pixels is 0. Therefore, the amount of motion is (500 × 1 + 0 × 32) / 33≈15.

図１０（ｂ）に示すように、前フレームの出力画像の注目画素以外の画素にノイズが含まれると、動き量が小さくなる。すると、これによって帰還係数が大きくなり、ノイズ除去量の帰還が大きくなる（除去値が大きくなる）。そのため、現フレームの注目画素にノイズが含まれたとしても、除去値が大きくなるために効果的にノイズを低減することが可能となる。   As shown in FIG. 10B, when noise is included in pixels other than the target pixel in the output image of the previous frame, the amount of motion becomes small. As a result, the feedback coefficient increases, and the feedback of the noise removal amount increases (the removal value increases). For this reason, even if noise is included in the target pixel of the current frame, the removal value becomes large, so that noise can be effectively reduced.

（第３実施例）
動き量算出部の第３実施例について図面を参照して説明する。図１１は、動き量算出部の第３実施例の構成を示す模式図であり、第１実施例について示した図６に相当するものである。なお、第１実施例と同様となる部分には同じ符号を付し、詳細な説明については省略する。 (Third embodiment)
A third embodiment of the motion amount calculation unit will be described with reference to the drawings. FIG. 11 is a schematic diagram showing the configuration of the third embodiment of the motion amount calculation unit, and corresponds to FIG. 6 shown for the first embodiment. In addition, the same code | symbol is attached | subjected to the part similar to 1st Example, and detailed description is abbreviate | omitted.

図１１に示すように、本実施例の動き量算出部６２ｃは、差分値算出部６２１と、絶対値算出部６２２と、フィルタ部６２３ｃと、現フレームの入力画像に基づいてフィルタ部６２３ｃのフィルタ係数を算出するフィルタ係数算出部６２４ｃ１と、前フレームの出力画像に基づいてフィルタ部６２３ｃのフィルタ係数を算出するフィルタ係数算出部６２４ｃ２とを備える。なお、フィルタ係数算出部６２４ｃ１は、図６に示した第１実施例の動き量算出部６２ａのフィルタ係数算出部６２４ａと同様のものとなる。また、フィルタ係数算出部６２４ｃ２は、図８に示した第２実施例の動き量算出部６２ｂのフィルタ係数算出部６２４ｂと同様のものとなる。   As shown in FIG. 11, the motion amount calculation unit 62c of the present embodiment includes a difference value calculation unit 621, an absolute value calculation unit 622, a filter unit 623c, and a filter of the filter unit 623c based on the input image of the current frame. A filter coefficient calculation unit 624c1 that calculates a coefficient, and a filter coefficient calculation unit 624c2 that calculates the filter coefficient of the filter unit 623c based on the output image of the previous frame. The filter coefficient calculation unit 624c1 is similar to the filter coefficient calculation unit 624a of the motion amount calculation unit 62a of the first embodiment illustrated in FIG. The filter coefficient calculation unit 624c2 is the same as the filter coefficient calculation unit 624b of the motion amount calculation unit 62b of the second embodiment shown in FIG.

フィルタ部６２３ｃは、フィルタ係数算出部６２４ｃ１から出力されるフィルタ係数と、フィルタ係数算出部６２４ｃ２から出力されるフィルタ係数と、から一方を選択する。そして、選択されたフィルタ係数を用いて、絶対値算出部６２２から出力される差分値の絶対値に平滑化処理を行い、動き量を算出する。   The filter unit 623c selects one of the filter coefficient output from the filter coefficient calculation unit 624c1 and the filter coefficient output from the filter coefficient calculation unit 624c2. Then, smoothing processing is performed on the absolute value of the difference value output from the absolute value calculation unit 622 using the selected filter coefficient, and the amount of motion is calculated.

次に、動き量算出部６２ｃの動作について図面を参照して説明する。図１２は、動き量算出部の第３実施例の動作例を示す模式図であり、第１実施例について示した図７に相当するものである。なお、図７と同様に図１２でも、注目画素を太線の実線で示し、重みが大きいフィルタ係数が乗算される画素の範囲を太線の破線で示している。また、説明の簡略化のために、画素値は１００または０のいずれかの値をとるものとする。なお、物体を示す画素の画素値を１００とし、背景を示す画素の画素値を０とする。   Next, the operation of the motion amount calculation unit 62c will be described with reference to the drawings. FIG. 12 is a schematic diagram showing an operation example of the third embodiment of the motion amount calculation unit, and corresponds to FIG. 7 shown for the first embodiment. As in FIG. 7, in FIG. 12, the target pixel is indicated by a thick solid line, and the range of pixels to be multiplied by a filter coefficient having a large weight is indicated by a thick broken line. Further, for simplification of description, the pixel value is assumed to be either 100 or 0. Note that the pixel value of the pixel indicating the object is 100, and the pixel value of the pixel indicating the background is 0.

図１１に示すように、本実施例の動き量算出部６２ｃは、まず、差分値算出部６２１で現フレームの入力画像と前フレームの出力画像との差分値が画素毎に算出される。例えば、第１実施例と同様に３５個の画素のそれぞれについて差分値が算出される。そして、得られた差分値は絶対値算出部６２２に入力され、絶対値が算出される。   As shown in FIG. 11, in the motion amount calculation unit 62 c of this embodiment, first, the difference value calculation unit 621 calculates a difference value between the input image of the current frame and the output image of the previous frame for each pixel. For example, the difference value is calculated for each of the 35 pixels as in the first embodiment. Then, the obtained difference value is input to the absolute value calculation unit 622, and the absolute value is calculated.

フィルタ係数算出部６２４ｃ１は、現フレームの入力画像に基づいてフィルタ係数を算出する。具体的には、まず、注目画素の画素値と略等しい画素値（例えば、注目画素の画素値との差が所定の範囲内となる画素値）を有する画素を検出する。そして、フィルタ部６２３ｃが動き量を算出する際に、当該検出された画素の画素値の重みが大きくなるようにフィルタ係数を設定する。なお、以下の説明においても、第１実施例と同様に、当該検出された画素に乗算されるフィルタ係数を１とし、それ以外の画素に乗算されるフィルタ係数を０とする。また、乗算後の各値を合算して得られた値を除算する除数は、設定されるフィルタ係数を合算した値（即ち、本例ではフィルタ係数＝１が乗算される画素の数）とする。なお、フィルタ係数算出部６２４ｃ１は、第１実施例のフィルタ係数算出部６２４ａと同様の動作を行う。   The filter coefficient calculation unit 624c1 calculates a filter coefficient based on the input image of the current frame. Specifically, first, a pixel having a pixel value substantially equal to the pixel value of the target pixel (for example, a pixel value whose difference from the pixel value of the target pixel is within a predetermined range) is detected. Then, when the filter unit 623c calculates the motion amount, the filter coefficient is set so that the weight of the pixel value of the detected pixel becomes large. In the following description, similarly to the first embodiment, the filter coefficient to be multiplied by the detected pixel is set to 1, and the filter coefficient to be multiplied to other pixels is set to 0. In addition, the divisor for dividing the value obtained by adding the respective values after multiplication is a value obtained by adding the set filter coefficients (that is, the number of pixels multiplied by filter coefficient = 1 in this example). . The filter coefficient calculation unit 624c1 performs the same operation as the filter coefficient calculation unit 624a of the first embodiment.

また、フィルタ係数算出部６２４ｃ２は、前フレームの出力画像に基づいて、フィルタ係数を算出する。なお、算出方法自体は、フィルタ係数算出部６２４ｃ１と同様のものとなる。即ち、注目画素の画素値と略等しい画素値を有する画素を検出し、フィルタ部６２３ｃが動き量を算出する際に当該検出された画素の重みが大きくなるようなフィルタ係数を算出する。また、乗算後の各値を合算して得られた値を除算する除数は、設定されるフィルタ係数を合算した値（即ち、本例ではフィルタ係数＝１が乗算される画素の数）である。なお、フィルタ係数算出部６２４ｃ２は、第２実施例のフィルタ係数算出部６２４ｂと同様の動作を行う。   In addition, the filter coefficient calculation unit 624c2 calculates a filter coefficient based on the output image of the previous frame. The calculation method itself is the same as that of the filter coefficient calculation unit 624c1. That is, a pixel having a pixel value substantially equal to the pixel value of the target pixel is detected, and a filter coefficient is calculated so that the weight of the detected pixel becomes large when the filter unit 623c calculates a motion amount. Further, the divisor that divides the value obtained by adding the respective values after multiplication is a value obtained by adding the set filter coefficients (that is, in this example, the number of pixels multiplied by the filter coefficient = 1). . The filter coefficient calculation unit 624c2 performs the same operation as the filter coefficient calculation unit 624b of the second embodiment.

フィルタ部６２３ｃは、フィルタ係数算出部６２４ｃ１から入力されるフィルタ係数と、フィルタ係数算出部６２４ｃ２から入力されるフィルタ係数と、から一方を選択する。具体的には、除数（フィルタ係数＝１が乗算される画素の数）が、所定の値ｊに近い方のフィルタ係数を選択する。なお、所定の値ｊは、フィルタ部６２３ｃに入力される差分値の絶対値の数の半分（即ち、３５の半分≒１８）程度の大きさとすると、好ましい。   The filter unit 623c selects one of the filter coefficient input from the filter coefficient calculation unit 624c1 and the filter coefficient input from the filter coefficient calculation unit 624c2. Specifically, a filter coefficient whose divisor (the number of pixels multiplied by filter coefficient = 1) is closer to a predetermined value j is selected. The predetermined value j is preferably about half the number of absolute values of difference values input to the filter unit 623c (ie, half of 35≈18).

所定の値ｊを１８とする場合について以下説明する。図１２（ａ）に示す場合、フィルタ係数算出部６２４ｃ１から出力されるフィルタ係数における、フィルタ係数＝１が乗算される画素の数は２０となる（図７（ａ）参照）。一方、フィルタ係数算出部６２４ｃ２から出力されるフィルタ係数における、フィルタ係数＝１が乗算される画素の数は３０となる（図９（ａ）参照）。そのため、図１２（ａ）に示す場合では、フィルタ係数算出部６２４ｃ１から出力されるフィルタ係数が選択されることとなる。   The case where the predetermined value j is 18 will be described below. In the case illustrated in FIG. 12A, the number of pixels multiplied by the filter coefficient = 1 in the filter coefficient output from the filter coefficient calculation unit 624c1 is 20 (see FIG. 7A). On the other hand, in the filter coefficient output from the filter coefficient calculation unit 624c2, the number of pixels multiplied by the filter coefficient = 1 is 30 (see FIG. 9A). Therefore, in the case shown in FIG. 12A, the filter coefficient output from the filter coefficient calculation unit 624c1 is selected.

また、図１２（ｂ）に示す場合、フィルタ係数算出部６２４ｃ２から出力されるフィルタ係数における、フィルタ係数＝１が乗算される画素の数は２０となる（図７（ｂ）参照）。一方、フィルタ係数算出部６２４ｃ２から出力されるフィルタ係数における、フィルタ係数＝１が乗算される画素の数は２５となる（図９（ｂ）参照）。そのため、図１２（ｂ）に示す場合では、フィルタ係数算出部６２４ｃ１から出力されるフィルタ係数が選択されることとなる。   In the case illustrated in FIG. 12B, the number of pixels multiplied by the filter coefficient = 1 in the filter coefficient output from the filter coefficient calculation unit 624c2 is 20 (see FIG. 7B). On the other hand, in the filter coefficient output from the filter coefficient calculation unit 624c2, the number of pixels multiplied by the filter coefficient = 1 is 25 (see FIG. 9B). Therefore, in the case shown in FIG. 12B, the filter coefficient output from the filter coefficient calculation unit 624c1 is selected.

以上のようにフィルタ部６２３ｃでフィルタ係数が選択され、動き量が算出される。具体的に例えば、図１２（ａ）に示すように算出される。図１２（ａ）に示す例では、現フレームの入力画像の注目画素の画素値が１００、画素値が１００となる画素は水平方向の左方から４列分の２０個である。これら２０個の画素の差分値の絶対値のそれぞれに対してフィルタ係数＝１が乗算され、乗算後の各値を合算して得られた値が、除数＝２０で除算される。そして、（０×２０）／２０＝０が動き量となる。   As described above, the filter coefficient is selected by the filter unit 623c, and the amount of motion is calculated. Specifically, for example, it is calculated as shown in FIG. In the example shown in FIG. 12A, the pixel value of the target pixel of the input image of the current frame is 100, and there are 20 pixels corresponding to four columns from the left in the horizontal direction. Each of the absolute values of the difference values of these 20 pixels is multiplied by a filter coefficient = 1, and a value obtained by adding the values after multiplication is divided by a divisor = 20. Then, (0 × 20) / 20 = 0 is the amount of motion.

図１２（ｂ）に示す例では、現フレームの入力画像の注目画素の画素値が１００、画素値が１００となる画素は水平方向の左方から４列分の２０個となる。これら２０個の画素の差分値の絶対値のそれぞれに対して、フィルタ係数＝１が乗算され、乗算後の各値を合算して得られた値が、除数＝２０で除算される。そして、（０×１０＋１００×１０）／２０＝５０が動き量となる。   In the example shown in FIG. 12B, the pixel value of the target pixel of the input image of the current frame is 100, and the number of pixels having the pixel value of 100 is 20 for four columns from the left in the horizontal direction. Each of the absolute values of the difference values of these 20 pixels is multiplied by the filter coefficient = 1, and the value obtained by adding the values after multiplication is divided by the divisor = 20. The amount of motion is (0 × 10 + 100 × 10) / 20 = 50.

本実施例の動き量算出部６２ｃは、現フレームの入力画像または前フレームの出力画像の注目画素と画素値が略等しい画素の重みを大きくして動き量を算出する。そのため、第１実施例の動き量算出部６２ａと同様に、注目画素の変動に対応する動き量をより精度良く算出することが可能となる。したがって、効果的にノイズを低減したり、尾引きや残像の発生を抑制したりすることが可能となる。   The motion amount calculation unit 62c of the present embodiment calculates the motion amount by increasing the weight of a pixel whose pixel value is substantially equal to the target pixel of the input image of the current frame or the output image of the previous frame. Therefore, similarly to the motion amount calculation unit 62a of the first embodiment, it is possible to calculate the motion amount corresponding to the variation of the target pixel with higher accuracy. Therefore, it is possible to effectively reduce noise and to suppress the occurrence of tailing and afterimages.

さらに、フィルタ係数の重みを大きくする画素の数を、適切な値（所定の値ｊ）に近づけることが可能となる。例えば、フィルタ係数＝１を乗算する画素の数を多くすると、多数の画素の画素値の影響を受けた動き量が算出される。そのため、注目画素における動きの大小の判定が困難となる。反対に、フィルタ係数＝１を乗算する画素の数を少なくすると、ノイズによる画素値の変動が動き量に強く反映され得るため、動き量が不適切な値になる可能性が高くなる。したがって、本実施例の動き量算出部６２ｃのようにフィルタ係数を選択可能なものとすることで、最適なフィルタ係数を用いてさらに正確な動き量を算出することが可能となる。   Furthermore, the number of pixels for increasing the weight of the filter coefficient can be brought close to an appropriate value (predetermined value j). For example, when the number of pixels multiplied by the filter coefficient = 1 is increased, the amount of motion affected by the pixel values of many pixels is calculated. For this reason, it is difficult to determine the magnitude of the motion in the target pixel. On the other hand, if the number of pixels to be multiplied by the filter coefficient = 1 is reduced, the fluctuation of the pixel value due to noise can be strongly reflected in the amount of motion, so the possibility that the amount of motion becomes an inappropriate value increases. Therefore, by making the filter coefficient selectable as in the motion amount calculation unit 62c of the present embodiment, it is possible to calculate a more accurate motion amount using the optimum filter coefficient.

なお、第１〜第３実施例の動き量算出部６２ａ〜６２ｃについて、注目画素の画素値と略等しい画素値の画素に乗算されるフィルタ係数を１、それ以外の画素に乗算されるフィルタ係数を０としたが、注目画素の画素値と略等しい画素値の画素の重みが大きいものであれば、この値に限られない。例えば、注目画素の画素値と略等しい画素値の画素に乗算されるフィルタ係数をｖ、その他の画素に乗算されるフィルタ係数をｍとしても構わない（ただし、ｖ＞ｍとする）。   In addition, with respect to the motion amount calculation units 62a to 62c of the first to third embodiments, a filter coefficient that is multiplied by a pixel having a pixel value substantially equal to the pixel value of the target pixel is 1, and a filter coefficient that is multiplied by other pixels However, the value is not limited to this value as long as the weight of a pixel having a pixel value substantially equal to the pixel value of the target pixel is large. For example, a filter coefficient that is multiplied by a pixel having a pixel value substantially equal to the pixel value of the target pixel may be v, and a filter coefficient that is multiplied by another pixel may be m (provided that v> m).

また、選択され得るフィルタ係数の値を、２値以上としても構わない。特に、注目画素の画素値との差が大きい画素に乗算されるフィルタ係数ほど、小さい値になるように設定しても構わない。   The filter coefficient values that can be selected may be two or more. In particular, a filter coefficient that is multiplied by a pixel having a large difference from the pixel value of the target pixel may be set to a smaller value.

また例えば、下記式（２）に示すように動き量Ｍを算出しても構わない。なお、下記式（２）は一般式であり、フィルタ係数を０または１の２値とする上述の場合にも適用され得る。また、下記式（２）において、ｆkはｋ番目の画素の画素値に乗算するフィルタ係数、ｐckは現フレームの入力画像におけるｋ番目の画素の画素値、ｐpkは前フレームの出力画像におけるｋ番目の画素の画素値である。また、０〜Ｎ番目までのＮ＋１個（上記例では３５個）の画素の画素値に基づいて動き量Ｍを算出する場合について示したものである。 Further, for example, the movement amount M may be calculated as shown in the following formula (2). The following formula (2) is a general formula, and can be applied to the above-described case where the filter coefficient is a binary value of 0 or 1. In the following equation (2), f k is a filter coefficient for multiplying the pixel value of the k th pixel, p ck is the pixel value of the k th pixel in the input image of the current frame, and p pk is the output image of the previous frame. Is the pixel value of the k-th pixel. Further, the case where the motion amount M is calculated based on the pixel values of N + 1 (35 in the above example) pixels from 0 to Nth is shown.

Figure 2010074373
Figure 2010074373

また、ノイズ低減処理部６０に入力される入力画像がＲ、Ｇ及びＢの３種類の画素値を備えるものである場合、それぞれの種類毎（即ち、１種類毎）にノイズ低減処理を施すこととしても構わない。また、ＲＡＷデータ（色同時化前のデータ、１つの画素に１色の画素値を有するデータ）に対してノイズ低減処理を施しても構わない。   When the input image input to the noise reduction processing unit 60 has three types of pixel values of R, G, and B, noise reduction processing is performed for each type (that is, for each type). It does not matter. Further, noise reduction processing may be performed on RAW data (data before color synchronization and data having a pixel value of one color per pixel).

また、入力画像がＹ、Ｕ及びＶの３種類の画素値を備えるものである場合でも同様に、それぞれの種類毎にノイズ低減処理を施すこととしても構わない。さらに、入力画像がＲＧＢ、ＹＵＶ以外の種類の画素値を備える場合についても、同様に処理しても構わない。   Similarly, when the input image has three types of pixel values Y, U, and V, similarly, noise reduction processing may be performed for each type. Furthermore, the same processing may be performed when the input image includes pixel values of types other than RGB and YUV.

また、動き量算出部６２ａ〜６２ｃが、入力画像の輝度（例えば、画素値Ｙや、ＲＧＢの画素値から算出されるＹに相当する値）に基づいて、動き量を算出することとしても構わない。また、処理されるそれぞれの画素値（ＲＧＢやＹＵＶのそれぞれ）に基づいて動き量を算出することとしても構わない。   The motion amount calculation units 62a to 62c may calculate the motion amount based on the luminance of the input image (for example, the pixel value Y or a value corresponding to Y calculated from the RGB pixel values). Absent. The amount of motion may be calculated based on each pixel value to be processed (RGB or YUV).

また、ノイズ低減処理部６０に入力されて処理される画像を、現フレームの入力画像と前フレームの出力画像としたが、撮像タイミングが異なる画像であれば、他の画像であっても構わない。例えば、現フレームの入力画像と前フレームの入力画像としても構わないし、連続的に撮像されて得られた画像でなくても構わない。   In addition, although the image input to the noise reduction processing unit 60 and processed is the input image of the current frame and the output image of the previous frame, other images may be used as long as the imaging timing is different. . For example, the input image of the current frame and the input image of the previous frame may be used, and the images may not be obtained by continuously capturing images.

＜＜変形例＞＞
＜フィルタ部の構成例＞
次に、上記のフィルタ部６２３，６２３ｃの構成例について図面を参照して説明する。図１３は、フィルタ部の構成例について示すブロック図である。なお、以下では、フィルタ部に入力される現フレームの入力画像の画素と前フレームの出力画像の画素との差分値の絶対値を、差分値絶対値と呼ぶこととする。 << Modification >>
<Configuration example of filter unit>
Next, a configuration example of the filter units 623 and 623c will be described with reference to the drawings. FIG. 13 is a block diagram illustrating a configuration example of the filter unit. Hereinafter, the absolute value of the difference value between the pixel of the input image of the current frame and the pixel of the output image of the previous frame that is input to the filter unit is referred to as a difference value absolute value.

図１３は、フィルタ部の一部を示したものとなり得る。特に、図１３は、水平方向に整列する１行分の画素の差分値絶対値を平滑化処理する構成について示したものである。そのため、複数行にわたって整列する画素の差分値絶対値に対して平滑化処理を施す構成とする場合は、図１３はフィルタ部の一部を示したものとなる。なお、以下ではフィルタ部が、注目画素と注目画素を中心とした周囲画素とを併せた３５個（垂直方向に５行、水平方向に７列）の画素の差分値絶対値に対して平滑化処理を施す構成である場合について説明する。   FIG. 13 may show a part of the filter unit. In particular, FIG. 13 shows a configuration for smoothing the difference value absolute value of pixels for one row aligned in the horizontal direction. Therefore, in the case where the smoothing process is performed on the difference value absolute value of the pixels aligned over a plurality of rows, FIG. 13 shows a part of the filter unit. In the following, the filter unit smoothes the absolute value of the difference value of 35 pixels (5 rows in the vertical direction and 7 columns in the horizontal direction) including the target pixel and surrounding pixels centered on the target pixel. The case where it is the structure which performs a process is demonstrated.

フィルタ部（一部）は、順次入力される差分値絶対値ｚ0〜ｚ6を一時的に記憶するとともに新たな差分値絶対値が入力される際に後段に出力する遅延部ｄ1〜ｄ6と、差分値絶対値ｚ0〜ｚ6にフィルタ係数ｆ0〜ｆ6を乗算する乗算部ｍ0〜ｍ6と、乗算された値を合算する加算部ａ1〜ａ6と、合算された値を除数で除算する除算部ｄｉｖと、を備える。 Filter unit (in part) a delay unit d 1 to be output to the subsequent stage when the new difference value absolute value temporarily stores a difference value absolute value z 0 to z 6 which are sequentially input is inputted ~d 6 , multiplication units m 0 to m 6 that multiply the difference value absolute values z 0 to z 6 by filter coefficients f 0 to f 6, and addition units a 1 to a 6 that sum the multiplied values. A division unit div for dividing the obtained value by the divisor.

遅延部ｄ1〜ｄ6は直列的に接続される構成となる。遅延部ｄ１に入力される差分値絶対値ｚ0は、乗算部ｍ0にも入力される。遅延部ｄ1〜ｄ5のそれぞれに記憶されたそれぞれの差分値絶対値ｚ1〜ｚ5は、遅延部ｄ1〜ｄ5のそれぞれから出力されて遅延部ｄ2〜ｄ6のそれぞれに入力されるとともに、乗算部ｍ1〜ｍ5のそれぞれにも入力される。また、遅延部ｄ6に記憶された差分値絶対値ｚ6は、遅延部ｄ6から出力されて乗算部ｍ6に入力される。なお、差分値絶対値ｚ0〜ｚ6は、水平方向に整列する画素から得られるものである。 The delay units d 1 to d 6 are connected in series. The difference value absolute value z 0 input to the delay unit d1 is also input to the multiplication unit m 0 . Delay unit d 1 to d each difference value absolute value z 1 to z 5 stored in each of the 5 input to each of the delay units d 1 to d delay portion d 2 is output from each of the 5 to d 6 And is also input to each of the multipliers m 1 to m 5 . Also, the difference value absolute value z 6 stored in the delay unit d 6 is input to the multiplier m 6 are outputted from the delay section d 6. The difference value absolute values z 0 to z 6 are obtained from pixels aligned in the horizontal direction.

乗算部ｍ0〜ｍ6は、それぞれ入力される差分値絶対値ｚ0〜ｚ6に、フィルタ係数ｆ0〜ｆ6を乗算する。そして、乗算後の値は加算部ａ1〜ａ6に入力されて合算され、除算部ｄｉｖに入力される。除算部ｄｉｖでは、所定の除数で合算後の値が除算され、水平方向に一列に整列した画素（７個分）の動き量が算出される。 The multipliers m 0 to m 6 multiply the input difference value absolute values z 0 to z 6 by filter coefficients f 0 to f 6 , respectively. The values after multiplication are input to the addition units a 1 to a 6 and added together, and input to the division unit div. In the division unit div, the value after the addition is divided by a predetermined divisor, and the amount of motion of the pixels (for 7 pixels) aligned in a line in the horizontal direction is calculated.

なお、上記のような３５個の画素の差分値絶対値に基づいて動き量を求める場合は、５行分の画素の差分値絶対値に対して同様の方法を用いることで動き量を算出する。例えば、３５個の画素の差分値絶対値のそれぞれにフィルタ係数を乗算した値を加算部によって全て合算し、合算されて得られる値を除数（５行分＝３５個分のフィルタ係数の合算値）で除算することで動き量を得る。   In addition, when calculating | requiring a motion amount based on the difference value absolute value of 35 pixels as mentioned above, a motion amount is calculated by using the same method with respect to the difference value absolute value of the pixels for five rows. . For example, all values obtained by multiplying the absolute values of the difference values of 35 pixels by the filter coefficient are added together by the adding unit, and the value obtained by the addition is a divisor (5 rows = the total value of 35 filter coefficients) ) To get the amount of movement.

＜フィルタ係数算出部の第１構成例＞
上記のフィルタ係数算出部６２４ａ，６２４ｂ，６２４ｃ１，６２４ｃ２の第１構成例について図面を参照して説明する。図１４は、フィルタ係数算出部の第１構成例を示すブロック図である。また、本構成例のフィルタ係数算出部は、ε−フィルタの考え方を利用した構成である。 <First Configuration Example of Filter Coefficient Calculation Unit>
A first configuration example of the filter coefficient calculation units 624a, 624b, 624c1, and 624c2 will be described with reference to the drawings. FIG. 14 is a block diagram illustrating a first configuration example of the filter coefficient calculation unit. In addition, the filter coefficient calculation unit of the present configuration example is configured using the concept of the ε-filter.

図１４は、フィルタ係数算出部の一部を示したものとなり得る。図１４は、水平方向に整列する１行分の画素（注目画素を含む）の画素値に乗算するフィルタ係数を算出する構成について示したものである。そのため、複数行にわたって整列する画素に乗算するフィルタ係数を算出する構成とする場合は、図１４はフィルタ係数算出部の一部を示したものとなる。以下ではフィルタ係数算出部が、注目画素と注目画素を中心とした周囲画素とを併せた３５個（垂直方向に５行、水平方向に７列）の画素に乗算するフィルタ係数を算出する構成である場合について説明する。   FIG. 14 may show a part of the filter coefficient calculation unit. FIG. 14 shows a configuration for calculating a filter coefficient that multiplies the pixel values of one row of pixels (including the target pixel) aligned in the horizontal direction. Therefore, in the case of calculating a filter coefficient for multiplying pixels aligned over a plurality of rows, FIG. 14 shows a part of the filter coefficient calculation unit. In the following configuration, the filter coefficient calculation unit calculates a filter coefficient for multiplying 35 pixels (5 rows in the vertical direction and 7 columns in the horizontal direction) including the target pixel and surrounding pixels centered on the target pixel. A case will be described.

図１４に示すように、フィルタ係数算出部（一部）は、順次入力される画素値ｐ0〜ｐ6を一時的に記憶するとともに新たな画素値が入力される際に後段に出力する遅延部ｅ1〜ｅ6と、入力される画素値ｐ0〜ｐ6と注目画素の画素値ｐ3との差分値を求める減算部ｓ0〜ｓ6と、減算部ｓ0〜ｓ6から出力される差分値と所定の値とを比較するとともに比較結果に基づいてフィルタ係数を出力する比較部ｃ0〜ｃ6と、比較部の出力を合算する加算部ｂ1〜ｂ6と、を備える。 As illustrated in FIG. 14, the filter coefficient calculation unit (part) temporarily stores sequentially input pixel values p 0 to p 6 and outputs to the subsequent stage when a new pixel value is input. a Department e 1 to e 6, a subtracting section s 0 ~s 6 for obtaining a difference value between the pixel value p 3 of a pixel of interest and the pixel value p 0 ~p 6 input, output from the subtraction unit s 0 ~s 6 Comparison units c 0 to c 6 that compare the difference value to a predetermined value and output a filter coefficient based on the comparison result, and addition units b 1 to b 6 that sum the outputs of the comparison unit. .

遅延部ｅ1〜ｅ6は直列的に接続される構成となる。遅延部ｅ1に入力される画素値ｐ0は、減算部ｓ0にも入力される。遅延部ｅ1〜ｅ5のそれぞれに記憶されたそれぞれの画素値ｐ1〜ｐ5は、遅延部ｅ1〜ｅ5のそれぞれから出力されて遅延部ｅ2〜ｅ6のそれぞれに入力されるとともに、減算部ｓ1〜ｓ5のそれぞれにも入力される。また、遅延部ｅ6に記憶された画素値ｐ6は、遅延部ｅ6から出力されて減算部ｓ6に入力される。なお、画素値ｐ0〜ｐ6は、水平方向に一列に整列する画素の画素値である。また、画素値ｐ3が注目画素の画素値となる。 The delay units e 1 to e 6 are connected in series. The pixel value p 0 input to the delay unit e 1 is also input to the subtraction unit s 0 . Each pixel value p 1 ~p 5 stored in each of the delay units e 1 to e 5, is input to each of the delay units e 1 delay portion is output from each of ~e 5 e 2 ~e 6 At the same time, it is also input to each of the subtraction units s 1 to s 5 . Further, the pixel value p 6 stored in the delay unit e 6 is input to the subtraction unit s 6 are outputted from the delay section e 6. The pixel value p 0 ~p 6 are values of the pixels aligned in a row in the horizontal direction. Further, the pixel value p 3 is the pixel value of the target pixel.

減算部ｓ0〜ｓ6は、それぞれ入力される画素値ｐ0〜ｐ6と、注目画素の画素値ｐ3との差分値を算出する。例えば、画素値ｐ0〜ｐ6のそれぞれから注目画素の画素値ｐ3を減算することで差分値を算出する。得られた差分値は比較部ｃ0〜ｃ6のそれぞれに入力され、閾値Ｔと比較される。特に、差分値の絶対値が、閾値Ｔ以下か否かが判定される。 The subtraction units s 0 to s 6 calculate difference values between the input pixel values p 0 to p 6 and the pixel value p 3 of the target pixel, respectively. For example, the difference value is calculated by subtracting the pixel value p 3 of the target pixel from each of the pixel values p 0 to p 6 . The obtained difference value is input to each of the comparison units c 0 to c 6 and compared with the threshold value T. In particular, it is determined whether or not the absolute value of the difference value is equal to or less than a threshold value T.

ここで、上述したように、フィルタ係数として１または０の値が算出される構成とすると、下記式（３）に示すようになる。下記式（３）中、ｐkは任意の画素の画素値、ｐcは注目画素の画素値である。下記式（３）に示すように、閾値Ｔ以下と判定される比較部ｃ0〜ｃ6からは、フィルタ係数＝１が出力される。一方、閾値Ｔより大きいと判定される比較部ｃ0〜ｃ6からは、フィルタ係数＝０が出力される。 Here, as described above, when a value of 1 or 0 is calculated as the filter coefficient, the following equation (3) is obtained. In the following formula (3), pk is a pixel value of an arbitrary pixel, and pc is a pixel value of a target pixel. As shown in the following equation (3), the filter coefficient = 1 is output from the comparison units c 0 to c 6 determined to be equal to or less than the threshold value T. On the other hand, the filter coefficient = 0 is output from the comparison units c 0 to c 6 determined to be larger than the threshold T.

Figure 2010074373
Figure 2010074373

また、比較部ｃ0〜ｃ6から出力される各値は、加算部ｂ1〜ｂ6に入力されて合算される。合算されて得られる値は、水平方向に整列した画素（７個分）の除数となる。上記のような３５個の画素に対してフィルタ係数が算出される場合、例えば、同様にして求められる５行分の除数を合算して得られる値が、フィルタ係数算出部から出力される除数となる。 Each value output from the comparator c 0 to c 6 are summed is input to the addition unit b 1 ~b 6. The value obtained by the addition is a divisor of pixels (for 7 pixels) aligned in the horizontal direction. When the filter coefficient is calculated for the 35 pixels as described above, for example, a value obtained by adding the divisors for 5 rows obtained in the same manner is a divisor output from the filter coefficient calculation unit. Become.

本構成例のように、ε−フィルタの考え方を利用してフィルタ係数を算出するとともに、動き量を算出することとすると、簡易な構成を用いて精度良く動き量を算出することが可能となる。   If the filter coefficient is calculated using the concept of ε-filter and the amount of motion is calculated as in this configuration example, the amount of motion can be calculated with high accuracy using a simple configuration. .

なお、図１５に、水平方向に整列する画素（注目画素を含まない）の画素値に乗算するフィルタ係数を算出する構成について示す。図１５に示す構成は図１４に示す構成と略等しいものとなる。具体的には、図１５の遅延部ｅ11〜ｅ16、減算部ｓ10〜ｓ16、比較部ｃ10〜ｃ16、加算部ｂ11〜ｂ16は、図１４の遅延部ｅ1〜ｅ6、減算部ｓ0〜ｓ6、比較部ｃ0〜ｃ6、加算部ｂ1〜ｂ6のそれぞれに相当する。ただし、注目画素の画素値ｐ3が外部から入力され、それぞれの減算部ｓ10〜ｓ16に入力される点において、図１５に示す構成は図１４に示す構成と異なる。 FIG. 15 shows a configuration for calculating a filter coefficient for multiplying the pixel value of pixels aligned in the horizontal direction (not including the target pixel). The configuration shown in FIG. 15 is substantially the same as the configuration shown in FIG. Specifically, the delay units e 11 to e 16 , the subtraction units s 10 to s 16 , the comparison units c 10 to c 16 , and the addition units b 11 to b 16 in FIG. 15 are the delay units e 1 to e in FIG. 6 , the subtraction units s 0 to s 6 , the comparison units c 0 to c 6 , and the addition units b 1 to b 6 , respectively. However, the configuration illustrated in FIG. 15 is different from the configuration illustrated in FIG. 14 in that the pixel value p 3 of the target pixel is input from the outside and input to each of the subtraction units s 10 to s 16 .

また、上述したように、フィルタ係数を０以上１以下の値とし、注目画素の画素値との差が大きい画素値の画素に乗算されるものほど小さい値となるように設定する場合の、比較部の出力例を、図１６に示す。図１６は、比較部の出力例を示すグラフである。   Further, as described above, the comparison is made when the filter coefficient is set to a value of 0 or more and 1 or less, and the pixel value having a large difference from the pixel value of the target pixel is set to be a smaller value. FIG. 16 shows an output example of the unit. FIG. 16 is a graph illustrating an output example of the comparison unit.

図１６に示す例では、ある画素の画素値ｐkと注目画素の画素値ｐcとの差分値の絶対値が、閾値Ｔ以下である場合のフィルタ係数が１で一定となる。また、ある画素の画素値ｐkと注目画素の画素値ｐcとの差分値の絶対値が、閾値Ｔより大きくなるにつれて減少し、０に近づく。なお、図１６では線形に減少する場合について示しているが、非線形に減少することとしても構わない。 In the example shown in FIG. 16, the absolute value of the difference value between the pixel value p c of the pixel of interest and the pixel value p k of a pixel is, the filter coefficient when it is below the threshold T is constant at 1. The absolute value of the difference value between the pixel value p c of the pixel of interest and the pixel value p k of a pixel is decreased as greater than the threshold T, it approaches zero. In addition, although FIG. 16 shows the case of linearly decreasing, it may be decreased nonlinearly.

このように構成すると、動き量を精密に算出することが可能となる。そのため、さらに正確な動き量を算出することが可能となる。   If comprised in this way, it will become possible to calculate a motion amount precisely. For this reason, it is possible to calculate a more accurate amount of motion.

＜フィルタ係数算出部の第２構成例＞
次に、上記のフィルタ係数算出部６２４ａ，６２４ｂ，６２４ｃ１，６２４ｃ２の第２構成例について図面を参照して説明する。図１７は、フィルタ係数算出部の第２構成例を示すブロック図であり、第１構成例について示した図１４に相当するものである。また、第１構成例と同様となる部分については同じ符号を付し、詳細な説明については省略する。 <Second Configuration Example of Filter Coefficient Calculation Unit>
Next, a second configuration example of the filter coefficient calculation units 624a, 624b, 624c1, and 624c2 will be described with reference to the drawings. FIG. 17 is a block diagram illustrating a second configuration example of the filter coefficient calculation unit, and corresponds to FIG. 14 illustrating the first configuration example. In addition, parts that are the same as those in the first configuration example are given the same reference numerals, and detailed descriptions thereof are omitted.

図１７は、フィルタ係数算出部の一部を示したものとなり得る。図１７は、水平方向に整列する１行分の画素（注目画素を含む）の画素値に乗算するフィルタ係数を算出する構成について示したものである。そのため、複数行にわたって整列する画素に乗算するフィルタ係数を算出する構成とする場合は、図１７はフィルタ係数算出部の一部を示したものとなる。以下ではフィルタ係数算出部が、注目画素と注目画素を中心とした周囲画素とを併せた３５個（垂直方向に５行、水平方向に７列）の画素に乗算するフィルタ係数を算出する構成である場合について説明する。   FIG. 17 may show a part of the filter coefficient calculation unit. FIG. 17 shows a configuration for calculating a filter coefficient for multiplying a pixel value of one row of pixels (including a target pixel) aligned in the horizontal direction. Therefore, in the case of a configuration for calculating a filter coefficient for multiplying pixels aligned over a plurality of rows, FIG. 17 shows a part of the filter coefficient calculation unit. In the following configuration, the filter coefficient calculation unit calculates filter coefficients for multiplying 35 pixels (5 rows in the vertical direction and 7 columns in the horizontal direction) including the target pixel and the surrounding pixels centered on the target pixel. A case will be described.

図１７に示すように、フィルタ係数算出部（一部）は、遅延部ｅ1〜ｅ6と、減算部ｓ0〜ｓ6と、比較部ｃ0〜ｃ6と、加算部ｂ1〜ｂ6と、注目画素の画素値ｐ3とその近傍画素の画素値ｐ2，ｐ4とを平滑化する平滑化部ＳＭと、を備える。また、平滑化部ＳＭは、注目画素の画素値ｐ3とその近傍の画素の画素値ｐ2，ｐ4とを合算する加算部ｇ0，ｇ1と、加算部ｇ0，ｇ1で合算された値を加算した画素数で除算する除算部ｈと、を備える。 As illustrated in FIG. 17, the filter coefficient calculation unit (part) includes delay units e 1 to e 6 , subtraction units s 0 to s 6 , comparison units c 0 to c 6 , and addition units b 1 to b. 6 and a smoothing unit SM that smoothes the pixel value p 3 of the target pixel and the pixel values p 2 and p 4 of the neighboring pixels. Further, the smoothing unit SM adds the addition unit g 0 , g 1 that adds the pixel value p 3 of the target pixel and the pixel values p 2 , p 4 of the neighboring pixels, and the addition unit g 0 , g 1 . A division unit h that divides the obtained value by the number of added pixels.

第１構成例と同様に、遅延部ｅ1〜ｅ6は直列的に接続される。また、遅延部ｅ1に入力される画素値ｐ0は減算部ｓ0にも入力され、遅延部ｅ1〜ｅ5のそれぞれに記憶されたそれぞれの画素値ｐ1〜ｐ5は遅延部ｅ2〜ｅ6のそれぞれに入力されるとともに減算部ｓ1〜ｓ5のそれぞれにも入力され、遅延部ｅ6に記憶された画素値ｐ6は減算部ｓ6に入力される。ただし、注目画素の画素値ｐ3とその近傍画素の画素値ｐ2，ｐ4は、遅延部ｅ2と遅延部ｅ1，ｅ3とからそれぞれ出力され、平滑化部ＳＭに入力される。 Similarly to the first configuration example, the delay units e 1 to e 6 are connected in series. The delay unit e pixel value p 0 to be input to 1 also input to the subtraction unit s 0, each pixel value p 1 ~p 5 stored in each of the delay units e 1 to e 5 delay portion e 2 is input to each of the to e 6 to each of the subtraction unit s 1 ~s 5 is input, the pixel values p 6 stored in the delay unit e 6 is inputted to the subtraction unit s 6. However, the pixel value p 3 of the target pixel and the pixel values p 2 and p 4 of the neighboring pixels are output from the delay unit e 2 and the delay units e 1 and e 3 , respectively, and input to the smoothing unit SM.

平滑化部ＳＭでは、まず、加算部ｇ0，ｇ1によって入力される画素値ｐ2〜ｐ4を合算する。そして、合算して得られた値を除算部ｈで除算する。本例では、３つの画素値ｐ2〜ｐ4を平滑化するため３で除算し、平滑化後の画素値ｐaを得る。なお、図１７では説明の具体化のために、平滑化する画素値の数を３としているが、他の数であっても構わない。 In the smoothing unit SM, first, the pixel values p 2 to p 4 input by the adding units g 0 and g 1 are added together. Then, the value obtained by the addition is divided by the division unit h. In this example, three pixel value p 2 ~p 4 divided by 3 for smoothing to obtain the pixel values p a of the smoothed. In FIG. 17, the number of pixel values to be smoothed is 3 for the sake of concrete description, but other numbers may be used.

減算部ｓ0〜ｓ6は、それぞれ入力される画素値ｐ0〜ｐ6と、画素値ｐaとの差分値を算出する。例えば、画素値ｐ0〜ｐ6のそれぞれから画素値ｐaを減算することで差分値を算出する。減算後のそれぞれの値は比較部ｃ0〜ｃ6のそれぞれに入力され、閾値Ｔと比較される。特に、差分値の絶対値が、閾値Ｔ以下か否かが判定される。 Subtraction unit s 0 ~s 6 includes a pixel value p 0 ~p 6 respectively input, calculates a difference value between the pixel value p a. For example, to calculate a difference value by subtracting the pixel values p a of each pixel value p 0 ~p 6. Each value after the subtraction is input to each of the comparison units c 0 to c 6 and compared with the threshold value T. In particular, it is determined whether or not the absolute value of the difference value is equal to or less than a threshold value T.

比較部ｃ0〜ｃ6は、第１構成例と同様の動作を行う。例えば、フィルタ係数として１または０の値が算出される構成である場合、上記式（３）に示すように判定される（ただし、式（３）中の注目画素の画素値ｐcを、平滑化後の画素値ｐaに変更する）。そして、比較部ｃ0〜ｃ6からフィルタ係数ｆ0〜ｆ6がそれぞれ出力される。 The comparison units c 0 to c 6 perform the same operation as in the first configuration example. For example, in the case of a configuration in which a value of 1 or 0 is calculated as the filter coefficient, determination is made as shown in the above equation (3) (however, the pixel value pc of the target pixel in equation (3) is smoothed) changing the pixel values p a later reduction). Then, the filter coefficients f 0 to f 6 are output from the comparison units c 0 to c 6, respectively.

また、比較部ｃ0〜ｃ6から出力される各値は、加算部ｂ1〜ｂ6に入力されて合算される。合算されて得られる値は、水平方向に整列した画素（７個分）の除数となる。上記のような３５個の画素に対してフィルタ係数が算出される場合、例えば、同様にして求められる５行分の除数を合算して得られる値が、フィルタ係数算出部から出力される除数となる。さらにこの場合、平滑化後の画素値ｐaを算出するために、複数の行の画素の画素値を用いることとしても構成としても構わない。 Each value output from the comparator c 0 to c 6 are summed is input to the addition unit b 1 ~b 6. The value obtained by the addition is a divisor of pixels (for 7 pixels) aligned in the horizontal direction. When the filter coefficient is calculated for the 35 pixels as described above, for example, a value obtained by adding the divisors for 5 rows obtained in the same manner is a divisor output from the filter coefficient calculation unit. Become. In this case, in order to calculate the pixel value p a of the smoothed, it may be configured as the use of the pixel values of the pixels of the plurality of rows further.

本構成例では、注目画素の画素値だけでなくその周辺の画素の画素値をも用いて画素値ｐaを求め、画素値ｐaと各画素値との差分値に応じたフィルタ係数を算出することとしている。そのため、ノイズなどの影響で注目画素の画素値が異常な値となったとしても、精度よく動き量を求めることが可能となる。したがって、効果的にノイズを低減したり、尾引きや残像の発生を抑制したりすることが可能となる。 In this configuration example, obtains the pixel values p a with not only the pixel value of the pixel of interest is also the pixel values of neighboring pixels, calculates a filter coefficient according to the difference value between each pixel value and the pixel value p a To do. For this reason, even if the pixel value of the target pixel becomes an abnormal value due to the influence of noise or the like, it is possible to obtain the motion amount with high accuracy. Therefore, it is possible to effectively reduce noise and to suppress the occurrence of tailing and afterimages.

なお、本構成例においても、フィルタ係数を０以上１以下の値とし、注目画素の画素値との差が大きい画素値の画素に乗算されるものほど小さい値となるように設定しても構わない。即ち、比較部ｃ0〜ｃ6が、例えば図１６に示したようなフィルタ係数を出力することとしても構わない。 Also in this configuration example, the filter coefficient may be set to a value of 0 or more and 1 or less, and may be set so that a value that is multiplied by a pixel value having a large difference from the pixel value of the target pixel becomes a smaller value. Absent. That is, the comparison units c 0 to c 6 may output filter coefficients as shown in FIG. 16, for example.

＜フィルタ係数算出部の第３構成例＞
次に、上記のフィルタ係数算出部６２４ａ，６２４ｂ，６２４ｃ１，６２４ｃ２の第３構成例について図面を参照して説明する。図１８は、フィルタ係数算出部の第３構成例を示すブロック図であり、第１構成例について示した図１４に相当するものである。また、第１構成例と同様となる部分については同じ符号を付し、詳細な説明については省略する。また、本構成例のフィルタ係数算出部は、バイラテラルフィルタの考え方を利用した構成となる。 <Third Configuration Example of Filter Coefficient Calculation Unit>
Next, a third configuration example of the filter coefficient calculation units 624a, 624b, 624c1, and 624c2 will be described with reference to the drawings. FIG. 18 is a block diagram illustrating a third configuration example of the filter coefficient calculation unit, and corresponds to FIG. 14 illustrating the first configuration example. In addition, parts that are the same as those in the first configuration example are given the same reference numerals, and detailed descriptions thereof are omitted. In addition, the filter coefficient calculation unit of this configuration example has a configuration using the concept of a bilateral filter.

図１８は、フィルタ係数算出部の一部を示したものとなり得る。特に、図１８は、水平方向に整列する１行分の画素（注目画素を含む）の画素値に乗算するフィルタ係数を算出する構成について示したものである。そのため、複数行にわたって整列する画素に乗算するフィルタ係数を算出する構成とする場合は、図１８はフィルタ係数算出部の一部を示したものとなる。以下ではフィルタ係数算出部が、注目画素と注目画素を中心とした周囲画素とを併せた３５個（垂直方向に５行、水平方向に７列）の画素に乗算するフィルタ係数を算出する構成である場合について説明する。   FIG. 18 may show a part of the filter coefficient calculation unit. In particular, FIG. 18 shows a configuration for calculating a filter coefficient that multiplies the pixel values of pixels (including a target pixel) for one row aligned in the horizontal direction. Therefore, in the case of calculating a filter coefficient for multiplying pixels aligned over a plurality of rows, FIG. 18 shows a part of the filter coefficient calculation unit. In the following configuration, the filter coefficient calculation unit calculates a filter coefficient for multiplying 35 pixels (5 rows in the vertical direction and 7 columns in the horizontal direction) including the target pixel and surrounding pixels centered on the target pixel. A case will be described.

図１８に示すように、フィルタ係数算出部（一部）は、遅延部ｅ1〜ｅ6と、減算部ｓ0〜ｓ6と、減算部ｓ0〜ｓ6から出力される差分値と調整用係数σrとを用いてフィルタ係数を算出する演算部ｑ0〜ｑ6と、演算部ｑ0〜ｑ6の出力を合算する加算部ｂ1〜ｂ6と、を備える。 As illustrated in FIG. 18, the filter coefficient calculation unit (a part) adjusts the difference values output from the delay units e 1 to e 6 , the subtraction units s 0 to s 6, and the subtraction units s 0 to s 6. Computation units q 0 to q 6 that calculate filter coefficients using the use coefficient σ r and addition units b 1 to b 6 that sum the outputs of the computation units q 0 to q 6 are provided.

第１構成例と同様に、遅延部ｅ1〜ｅ6は直列的に接続される。また、遅延部ｅ1に入力される画素値ｐ0は減算部ｓ0にも入力され、遅延部ｅ1〜ｅ5のそれぞれに記憶されたそれぞれの画素値ｐ1〜ｐ5は遅延部ｅ2〜ｅ6のそれぞれに入力されるとともに減算部ｓ1〜ｓ5のそれぞれにも入力され、遅延部ｅ6に記憶された画素値ｐ6は減算部ｓ6に入力される。また、注目画素の画素値はｐ3となる。 Similarly to the first configuration example, the delay units e 1 to e 6 are connected in series. The delay unit e pixel value p 0 to be input to 1 also input to the subtraction unit s 0, each pixel value p 1 ~p 5 stored in each of the delay units e 1 to e 5 delay portion e 2 is input to each of the to e 6 to each of the subtraction unit s 1 ~s 5 is input, the pixel values p 6 stored in the delay unit e 6 is inputted to the subtraction unit s 6. In addition, the pixel value of the pixel of interest becomes p 3.

減算部ｓ0〜ｓ6は、それぞれ入力される画素値ｐ0〜ｐ6と、注目画素の画素値ｐ3との差分値を算出する。例えば、画素値ｐ0〜ｐ6のそれぞれから注目画素の画素値ｐ3を減算することで差分値を算出する。得られた差分値は演算部ｑ0〜ｑ6のそれぞれに入力される。また、演算部ｑ0〜ｑ6には、演算に必要な調整用係数σrが入力される。 The subtraction units s 0 to s 6 calculate difference values between the input pixel values p 0 to p 6 and the pixel value p 3 of the target pixel, respectively. For example, the difference value is calculated by subtracting the pixel value p 3 of the target pixel from each of the pixel values p 0 to p 6 . The obtained difference value is input to each of the arithmetic units q 0 to q 6 . In addition, an adjustment coefficient σ r necessary for calculation is input to the calculation units q 0 to q 6 .

演算部ｑ0〜ｑ6の動作について図面を参照して説明する。図１９は、演算部の動作を説明する模式図である。なお、以下では説明の簡略化のため、画素値の符号を振り直すこととする。特に、注目画素の画素値ｐ3を画素値Ｐ18とするとともに、画素値ｐ0〜ｐ6をＰ15〜Ｐ21とする。また、注目画素が含まれないそれぞれの行の画素を、上方から、Ｐ1〜Ｐ7、Ｐ8〜Ｐ14、Ｐ22〜Ｐ28、Ｐ29〜Ｐ35とする。 The operation of the arithmetic units q 0 to q 6 will be described with reference to the drawings. FIG. 19 is a schematic diagram for explaining the operation of the calculation unit. In the following, for simplification of description, the pixel values are re-assigned. In particular, the pixel value p 3 of the pixel of interest is set to the pixel value P 18, and the pixel values p 0 to p 6 are set to P 15 to P 21 . Further, the pixels of each row to which the pixel of interest does not contain, from above, and P 1 ~P 7, P 8 ~P 14, P 22 ~P 28, P 29 ~P 35.

図１９（ａ）は、それぞれの演算部に入力される画素値Ｐ1〜Ｐ35を示すものである。なお、上述の演算部ｑ0〜ｑ6のそれぞれには、画素値Ｐ15〜Ｐ21が入力される。また、図１９（ｂ）は、画素値Ｐ1〜Ｐ35のそれぞれに対応するドメインフィルタ係数Ｄ1〜Ｄ35を示すものである。また、図１９（ｃ）は、画素値Ｐ1〜Ｐ35のそれぞれに対応するレンジフィルタ係数Ｒ1〜Ｒ35を示すものである。 FIG. 19A shows the pixel values P 1 to P 35 input to the respective calculation units. Note that pixel values P 15 to P 21 are input to the above-described arithmetic units q 0 to q 6 , respectively. FIG. 19B shows domain filter coefficients D 1 to D 35 corresponding to the pixel values P 1 to P 35 , respectively. FIG. 19C shows range filter coefficients R 1 to R 35 corresponding to the pixel values P 1 to P 35 , respectively.

ドメインフィルタ係数Ｄiは、注目画素の位置と演算部に入力される画素の位置とに基づいて設定される重みである。そのため、それぞれの演算部ごとに決まった値となる。このドメインフィルタ係数Ｄiは、下記式（４）に示すように設定される。下記式（４）において、ｘi及びｙiは演算部に入力される画素値を有する画素の位置を示し、ｘ18及びｙ18は注目画素の位置を示す。また、σdはドメインフィルタ係数Ｄiの値を調整するための係数である。なお、このドメインフィルタ係数Ｄiを、それぞれの演算部に記録させる構成としても構わない。 The domain filter coefficient D i is a weight set based on the position of the target pixel and the position of the pixel input to the calculation unit. Therefore, the value is determined for each calculation unit. This domain filter coefficient D i is set as shown in the following equation (4). In the following equation (4), x i and y i indicate the positions of pixels having pixel values input to the calculation unit, and x 18 and y 18 indicate the positions of the target pixel. Σ d is a coefficient for adjusting the value of the domain filter coefficient D i . The domain filter coefficient D i may be recorded in each calculation unit.

Figure 2010074373
Figure 2010074373

レンジフィルタ係数Ｒiは、注目画素の画素値と演算部に入力される画素の画素値との差分値に基づいて設定される重みである。このレンジフィルタ係数Ｒiは、下記式（５）に示すように設定される。下記式（５）において、Ｐiは演算部に入力される画素値であり、Ｐ18は注目画素の画素値である。また、σrはレンジフィルタ係数Ｒiの値を調整するための係数である。 The range filter coefficient R i is a weight set based on a difference value between the pixel value of the target pixel and the pixel value of the pixel input to the calculation unit. This range filter coefficient R i is set as shown in the following equation (5). In the following formula (5), P i is a pixel value input to the calculation unit, and P 18 is a pixel value of the target pixel. Σ r is a coefficient for adjusting the value of the range filter coefficient R i .

Figure 2010074373
Figure 2010074373

演算部では、ドメインフィルタ係数Ｄiとレンジフィルタ係数Ｒiとを乗算した値、即ち、Ｄi×Ｒiが出力される。そして、この出力される値がフィルタ係数となる。特に、演算部ｑ0〜ｑ6からはフィルタ係数ｆ0〜ｆ6（Ｄ15×Ｒ15〜Ｄ21×Ｒ21）が出力される。 The arithmetic unit outputs a value obtained by multiplying the domain filter coefficient D i and the range filter coefficient R i , that is, D i × R i . This output value becomes the filter coefficient. In particular, filter coefficients f 0 to f 6 (D 15 × R 15 to D 21 × R 21 ) are output from the arithmetic units q 0 to q 6 .

また、演算部ｑ0〜ｑ6から出力されるフィルタ係数ｆ0〜ｆ6は、加算部ｂ1〜ｂ6に入力されて合算され、水平方向に整列した画素（７個分）の除数としてフィルタ部に入力される。上記のような３５個の画素に対してフィルタ係数が算出される場合、例えば、同様にして求められる５行分の除数を合算して得られる値が、フィルタ係数算出部から出力される除数となる。なお、注目画素が含まれない行の画素が入力される場合、図１５と同様に、注目画素の画素値ｐ3が他から入力される構成としても構わない。 The filter coefficients f 0 ~f 6 output from the arithmetic unit q 0 to q 6 are summed is input to the addition unit b 1 ~b 6, as the divisor of the pixels aligned in the horizontal direction (seven minutes) Input to the filter section. When the filter coefficient is calculated for the 35 pixels as described above, for example, a value obtained by adding the divisors for 5 rows obtained in the same manner is a divisor output from the filter coefficient calculation unit. Become. When pixels in a row not including the target pixel are input, the pixel value p 3 of the target pixel may be input from another as in FIG.

また、本構成例の場合、動き量算出部全体から出力される動き量Ｍは、下記式（６）に示すものとなる。なお、下記式（６）において、Ｐciは現フレームの入力画像におけるｉ番目の画素の画素値、Ｐpiは前フレームの出力画像におけるｉ番目の画素の画素値である。 In the case of this configuration example, the motion amount M output from the entire motion amount calculation unit is expressed by the following equation (6). In the following equation (6), P ci is the pixel value of the i th pixel in the input image of the current frame, and P pi is the pixel value of the i th pixel in the output image of the previous frame.

Figure 2010074373
Figure 2010074373

本構成例のように、バイラテラルフィルタの考え方を利用してフィルタ係数を算出するとともに、動き量を算出することとすると、さらに精度良く動き量を算出することが可能となる。   If the filter coefficient is calculated using the concept of the bilateral filter and the motion amount is calculated as in this configuration example, the motion amount can be calculated with higher accuracy.

なお、本構成例においても、第２構成例と同様に、注目画素の画素値ｐ3を用いる代わりに、平滑化を行った画素値ｐaを用いることとしても構わない。 Also in this configuration example, similarly to the second configuration example, instead of using the pixel value p 3 of a pixel of interest, it may be possible to use a pixel value p a of performing smoothing.

＜その他の構成例＞
第１〜第３の構成例について、除数が小さければ小さいほど、出力される動き量が抑制される構成としても構わない。例えば、第１構成例について、除数が１（フィルタ係数＝１となる画素の数が１）であれば、算出された動き量を１６分の１に小さくして出力しても構わない。同様に、除数が２であれば動き量を８分の１に小さくし、除数が３であれば動き量を４分の１に小さくし、除数が４であれば動き量を２分の１に小さくし、除数が５以上であれば算出された動き量をそのまま出力することとしても構わない。 <Other configuration examples>
About the 1st-3rd structural example, it is good also as a structure by which the amount of motion output is suppressed, so that a divisor is small. For example, in the first configuration example, if the divisor is 1 (the number of pixels with filter coefficient = 1), the calculated motion amount may be reduced to 1/16 and output. Similarly, if the divisor is 2, the amount of movement is reduced to 1/8, if the divisor is 3, the amount of movement is reduced to 1/4, and if the divisor is 4, the amount of movement is reduced to 1/2. If the divisor is 5 or more, the calculated motion amount may be output as it is.

除数が小さい場合とは、注目画素の画素値などに近い画素値を有する画素が僅かな領域にのみ存在することを示すこととなる。即ち、その画素の画素値はノイズの影響を受けている可能性が高い。しかしながら、除数が小さいと、この画素の画素値の影響が大きくなるため、動き量が大きくなる。そして、静止している状態と判断されずに除去値が小さくなり、ノイズが十分に低減されなくなる。   The case where the divisor is small indicates that pixels having pixel values close to the pixel value of the target pixel exist only in a small area. That is, the pixel value of the pixel is highly likely to be affected by noise. However, if the divisor is small, the influence of the pixel value of this pixel increases, and the amount of motion increases. Then, the removal value is reduced without being determined to be stationary, and noise is not sufficiently reduced.

本構成例の構成とすることによって、除数が小さく動き量が大きい場合が生じることを抑制することが可能となる。そして、発生したノイズを効果的に低減することが可能となる。   By adopting the configuration of this configuration example, it is possible to suppress the case where the divisor is small and the amount of motion is large. And it becomes possible to reduce the generated noise effectively.

また、上述した動き量の算出やノイズ低減処理は、例えば、動画の撮像時や再生時、静止画の撮像時に利用することが可能である。ただし、静止画の撮像時に利用する場合、撮像時に複数フレームの画像を取得することとする。   Further, the above-described motion amount calculation and noise reduction processing can be used, for example, when a moving image is captured or reproduced, or when a still image is captured. However, when used when capturing a still image, a plurality of frames of images are acquired at the time of imaging.

また、本発明の実施形態における撮像装置１について、画像処理部６やノイズ低減処理部６０、動き量算出部６２，６２ａ〜６２ｃなどのそれぞれの動作を、マイコンなどの制御装置が行うこととしても構わない。さらに、このような制御装置によって実現される機能の全部または一部をプログラムとして記述し、該プログラムをプログラム実行装置（例えばコンピュータ）上で実行することによって、その機能の全部または一部を実現するようにしても構わない。   In the imaging apparatus 1 according to the embodiment of the present invention, a control device such as a microcomputer may perform the operations of the image processing unit 6, the noise reduction processing unit 60, the motion amount calculation units 62 and 62a to 62c, and the like. I do not care. Further, all or part of the functions realized by such a control device are described as a program, and the program is executed on a program execution device (for example, a computer) to realize all or part of the functions. It doesn't matter if you do.

また、上述した場合に限らず、図１の撮像装置１及びノイズ低減処理部６０、図２の動き量算出部６２、図６の動き量算出部６２ａ、図８の動き量算出部６２ｂ、図１１の動き量算出部６２ｃ、図１３のフィルタ部、図１４，図１５，図１７及び図１８のフィルタ係数算出部は、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって実現可能である。また、ソフトウェアを用いて撮像装置１や動き量算出部６２，６２ａ〜６２ｃ、フィルタ部、フィルタ係数算出部を構成する場合、ソフトウェアによって実現される部位についてのブロック図は、その部位の機能ブロック図を表すこととする。   In addition to the above-described case, the imaging apparatus 1 and the noise reduction processing unit 60 in FIG. 1, the motion amount calculation unit 62 in FIG. 2, the motion amount calculation unit 62a in FIG. 6, the motion amount calculation unit 62b in FIG. 11 motion amount calculation unit 62c, the filter unit in FIG. 13, and the filter coefficient calculation unit in FIGS. 14, 15, 17, and 18 can be realized by hardware or a combination of hardware and software. Further, when the imaging apparatus 1, the motion amount calculation units 62, 62a to 62c, the filter unit, and the filter coefficient calculation unit are configured using software, a block diagram of a part realized by software is a functional block diagram of the part Is represented.

以上、本発明の実施形態についてそれぞれ説明したが、本発明の範囲はこれに限定されるものではなく、発明の主旨を逸脱しない範囲で種々の変更を加えて実行することができるものである。   As mentioned above, although each embodiment of the present invention was described, the scope of the present invention is not limited to this, and can be executed with various modifications without departing from the gist of the invention.

本発明は、撮像して得られる画像に対してノイズ低減処理を施す撮像装置に適用することが可能であり、静止画像を撮像するデジタルスチルカメラ、動画像を撮影するデジタルビデオなどの各種撮像装置に適用可能である。   The present invention can be applied to an imaging device that performs noise reduction processing on an image obtained by imaging, and various imaging devices such as a digital still camera that captures a still image and a digital video that captures a moving image. It is applicable to.

は、本発明の実施形態における撮像装置の構成を示すブロック図である。These are block diagrams which show the structure of the imaging device in embodiment of this invention. は、本発明の実施形態における撮像装置に備えられるノイズ低減処理部の構成を示すブロック図である。These are block diagrams which show the structure of the noise reduction process part with which the imaging device in embodiment of this invention is equipped. は、ノイズ除去量算出部の構成を示す模式図である。These are the schematic diagrams which show the structure of a noise removal amount calculation part. は、ノイズ除去量の設定方法の一例を示すグラフである。These are the graphs which show an example of the setting method of noise removal amount. は、帰還係数の設定方法の一例を示すグラフである。These are the graphs which show an example of the setting method of a feedback coefficient. は、動き量算出部の第１実施例の構成を示す模式図である。These are the schematic diagrams which show the structure of 1st Example of a motion amount calculation part. は、動き量算出部の第１実施例の動作例を示す模式図である。These are the schematic diagrams which show the operation example of 1st Example of a motion amount calculation part. は、動き量算出部の第２実施例の構成を示す模式図である。These are the schematic diagrams which show the structure of 2nd Example of a motion amount calculation part. は、動き量算出部の第２実施例の動作例を示す模式図である。These are the schematic diagrams which show the operation example of 2nd Example of a motion amount calculation part. は、動き量算出部の第２実施例の動作例を示す模式図である。These are the schematic diagrams which show the operation example of 2nd Example of a motion amount calculation part. は、動き量算出部の第３実施例の構成を示す模式図である。These are the schematic diagrams which show the structure of 3rd Example of a motion amount calculation part. は、動き量算出部の第３実施例の動作例を示す模式図である。These are the schematic diagrams which show the operation example of 3rd Example of a motion amount calculation part. は、フィルタ部の構成例について示すブロック図である。These are block diagrams shown about the structural example of a filter part. は、フィルタ係数算出部の第１構成例を示すブロック図である。These are block diagrams which show the 1st structural example of a filter coefficient calculation part. は、フィルタ係数算出部の第１構成例を示すブロック図である。These are block diagrams which show the 1st structural example of a filter coefficient calculation part. は、比較部の出力例を示すグラフである。These are the graphs which show the example of an output of a comparison part. は、フィルタ係数算出部の第２構成例を示すブロック図である。These are block diagrams which show the 2nd structural example of a filter coefficient calculation part. は、フィルタ係数算出部の第３構成例を示すブロック図である。These are block diagrams which show the 3rd structural example of a filter coefficient calculation part. は、演算部の動作を説明する模式図である。These are the schematic diagrams explaining operation | movement of a calculating part. は、従来のノイズ低減処理装置に実装される動き量算出部の構成を示す模式図である。These are the schematic diagrams which show the structure of the motion amount calculation part mounted in the conventional noise reduction processing apparatus. は、従来のノイズ低減処理装置に実装される動き量算出部の動作例を示す模式図である。These are the schematic diagrams which show the operation example of the motion amount calculation part mounted in the conventional noise reduction processing apparatus.

符号の説明Explanation of symbols

１ 撮像装置
２ イメージサンサ
３ レンズ部
４ ＡＦＥ
５ マイク
６ 画像処理部
６０ ノイズ低減処理部
６１ ノイズ除去量算出部
６１ａ 差分値算出部
６１ｂ ノイズ除去量設定部
６２，６２ａ〜６２ｃ 動き量算出部
６２１ 差分値算出部
６２２ 絶対値算出部
６２３，６２３ｃ フィルタ部
６２４ａ，６２４ｂ，６２４ｃ１，６２４ｃ２ フィルタ係数算出部
６３ 帰還係数算出部
６４ ノイズ低減部
６４ａ 乗算部
６４ｂ 減算部
７ 音声処理部
８ 圧縮処理部
９ ドライバ部
１０ 外部メモリ
１１ 伸長処理部
１２ 画像出力回路部
１３ 音声出力回路部
１４ ＣＰＵ
１５ メモリ
１６ 操作部
１７ ＴＧ部
１８ バス
１９ バス DESCRIPTION OF SYMBOLS 1 Imaging device 2 Image sensor 3 Lens part 4 AFE
5 microphone 6 image processing unit 60 noise reduction processing unit 61 noise removal amount calculation unit 61a difference value calculation unit 61b noise removal amount setting unit 62, 62a to 62c motion amount calculation unit 621 difference value calculation unit 622 absolute value calculation unit 623, 623c Filter unit 624a, 624b, 624c1, 624c2 Filter coefficient calculation unit 63 Feedback coefficient calculation unit 64 Noise reduction unit 64a Multiplication unit 64b Subtraction unit 7 Audio processing unit 8 Compression processing unit 9 Driver unit 10 External memory 11 Decompression processing unit 12 Image output circuit Unit 13 Audio output circuit unit 14 CPU
15 Memory 16 Operation section 17 TG section 18 Bus 19 Bus

Claims (8)

撮像して画像を得る撮像部と、当該撮像部により得られた画像にノイズ低減処理を施して出力画像を得るノイズ低減処理部と、を備えた撮像装置において、
前記ノイズ低減処理部が、
前記撮像部により撮像されたタイミングが異なる第１画像及び第２画像の、対応するそれぞれの画素の画素値の差分値に基づいて動き量を算出する動き量算出部と、
前記第１画像の画素の画素値から除去値を減算して出力画像を得るノイズ除去部と、を備え、
前記動き量算出部が、前記第１画像及び前記第２画像の対応するそれぞれの画素の画素値の差分値に重みを与えるとともに合算した値に基づいて、前記動き量を算出するものであり、当該重みを前記第１画像または前記第２画像に基づいて設定し、
前記ノイズ除去部が、前記動き量に基づいて前記除去値を設定することを特徴とする撮像装置。 In an imaging device comprising: an imaging unit that captures an image and a noise reduction processing unit that obtains an output image by performing noise reduction processing on the image obtained by the imaging unit;
The noise reduction processing unit
A motion amount calculation unit that calculates a motion amount based on a difference value between pixel values of corresponding pixels of the first image and the second image captured at different timings captured by the imaging unit;
A noise removing unit that obtains an output image by subtracting a removal value from a pixel value of a pixel of the first image,
The motion amount calculation unit calculates the motion amount based on a value obtained by adding a weight to a difference value between pixel values of corresponding pixels of the first image and the second image, Setting the weight based on the first image or the second image;
The imaging apparatus, wherein the noise removing unit sets the removal value based on the amount of motion. 前記除去値が、前記第１画像及び前記第２画像の対応するそれぞれの画素の画素値の差分値に基づいて算出されるとともに、前記動き量が大きくなるほど小さい値となるように設定され、
前記動き量算出部が、前記第１画像及び前記第２画像の対応するそれぞれの画素の画素値の差分値に前記重みを与えるとともに合算した値を、前記重みを合算した値で除算して、前記動き量を算出することを特徴とする請求項１に記載の撮像装置。 The removal value is calculated based on a difference value between pixel values of corresponding pixels of the first image and the second image, and is set to be a smaller value as the amount of motion increases.
The motion amount calculation unit divides a value obtained by adding and adding the weight to a difference value of pixel values of corresponding pixels of the first image and the second image by a value obtained by adding the weight, The imaging apparatus according to claim 1, wherein the movement amount is calculated. 前記第２画像が、前記第１画像よりも前に撮像されたものであるとともに、前記ノイズ低減処理が施された出力画像であり、
前記動き量算出部が、前記第２画像に基づいて前記重みを設定し、前記動き量を算出することを特徴とする請求項１または請求項２に記載の撮像装置。 The second image is an output image that has been captured before the first image and has been subjected to the noise reduction processing,
The imaging device according to claim 1, wherein the motion amount calculation unit sets the weight based on the second image and calculates the motion amount. 前記動き量算出部が、前記第１画像に基づいて設定される前記重みと、前記第２画像に基づいて設定される前記重みと、から所定の条件に近い方の前記重みを選択し、当該重みを用いて前記動き量を算出することを特徴とする請求項１または請求項２に記載の撮像装置。   The motion amount calculation unit selects the weight that is closer to a predetermined condition from the weight set based on the first image and the weight set based on the second image, and The imaging apparatus according to claim 1, wherein the amount of motion is calculated using a weight. 前記動き量算出部が、前記第１画像または前記第２画像の注目画素と、当該注目画素の周辺画素と、を備える画素群のそれぞれの画素の画素値に基づいて前記動き量を算出するものであり、
前記画素群に備えられるそれぞれの画素のうち、前記注目画素の画素値との差が小さい画素値を有する画素ほど、前記重みが大きくなるように設定されることを特徴とする請求項１〜請求項４のいずれかに記載の撮像装置。 The motion amount calculation unit calculates the motion amount based on a pixel value of each pixel of a pixel group including a target pixel of the first image or the second image and a peripheral pixel of the target pixel. And
2. The weight is set so that a pixel having a smaller pixel value with respect to a pixel value of the target pixel among the respective pixels included in the pixel group is set to be larger. Item 5. The imaging device according to any one of Items 4 to 5. 前記動き量算出部が、前記第１画像または前記第２画像の注目画素と、当該注目画素の周辺画素と、を備える画素群のそれぞれの画素の画素値に基づいて前記動き量を算出するものであり、
前記画素群に備えられるそれぞれの画素のうち、前記注目画素及びその近傍の画素の画素値を平滑化した値との差が小さい画素値を有する画素ほど、前記重みが大きくなるように設定されることを特徴とする請求項１〜請求項４のいずれかに記載の撮像装置。 The motion amount calculation unit calculates the motion amount based on a pixel value of each pixel of a pixel group including a target pixel of the first image or the second image and a peripheral pixel of the target pixel. And
Among the pixels included in the pixel group, the weight is set to be larger as the pixel has a smaller pixel value than the value obtained by smoothing the pixel value of the pixel of interest and its neighboring pixels. The imaging apparatus according to any one of claims 1 to 4, wherein the imaging apparatus is characterized. 前記動き量算出部が、前記第１画像または前記第２画像の注目画素と、当該注目画素の周辺画素と、を備える画素群のそれぞれの画素の画素値に基づいて前記動き量を算出するものであり、
前記動き量算出部が、前記注目画素の位置と前記周辺画素の位置とに基づいて得られる第１成分と、前記注目画素の画素値と前記周辺画素の画素値との差分値に基づいて得られる第２成分と、を算出し、前記第１成分と前記第２成分とを乗算した値を前記重みとすることを特徴とする請求項１〜請求項４のいずれかに記載の撮像装置。 The motion amount calculation unit calculates the motion amount based on a pixel value of each pixel of a pixel group including a target pixel of the first image or the second image and a peripheral pixel of the target pixel. And
The movement amount calculation unit is obtained based on a first component obtained based on the position of the target pixel and the position of the peripheral pixel, and a difference value between the pixel value of the target pixel and the pixel value of the peripheral pixel. The imaging device according to claim 1, wherein the second component is calculated, and a value obtained by multiplying the first component and the second component is used as the weight. 前記動き量算出部が、前記重みを合算した値が小さくなるほど、前記動き量が小さくなるように設定することを特徴とする請求項１〜請求項７のいずれかに記載の撮像装置。   The imaging apparatus according to claim 1, wherein the motion amount calculation unit sets the motion amount to be smaller as a value obtained by adding the weights is smaller.
JP2008237963A 2008-09-17 2008-09-17 Imaging device Active JP5213604B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008237963A JP5213604B2 (en) 2008-09-17 2008-09-17 Imaging device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008237963A JP5213604B2 (en) 2008-09-17 2008-09-17 Imaging device

Publications (2)

Publication Number Publication Date
JP2010074373A true JP2010074373A (en) 2010-04-02
JP5213604B2 JP5213604B2 (en) 2013-06-19

Family

ID=42205774

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008237963A Active JP5213604B2 (en) 2008-09-17 2008-09-17 Imaging device

Country Status (1)

Country Link
JP (1) JP5213604B2 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016010121A (en) * 2014-06-26 2016-01-18 ハンファテクウィン株式会社Ｈａｎｗｈａ Ｔｅｃｈｗｉｎ Ｃｏ．，Ｌｔｄ． Image processing apparatus and image processing method
JP2017147651A (en) * 2016-02-18 2017-08-24 東芝メディカルシステムズ株式会社 Signal processing apparatus and image noise reduction method
CN110858867A (en) * 2018-08-07 2020-03-03 瑞昱半导体股份有限公司 Image processing device and method thereof

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000341559A (en) * 1999-06-01 2000-12-08 Sony Corp Device and method for processing image and device and method for estimating noise quantity
JP2002314842A (en) * 2001-04-17 2002-10-25 Matsushita Electric Ind Co Ltd Motion detector
JP2005347821A (en) * 2004-05-31 2005-12-15 Toshiba Corp Noise elimination apparatus and image display
JP2007166400A (en) * 2005-12-15 2007-06-28 Toshiba Corp Noise reduction apparatus and noise reduction method

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000341559A (en) * 1999-06-01 2000-12-08 Sony Corp Device and method for processing image and device and method for estimating noise quantity
JP2002314842A (en) * 2001-04-17 2002-10-25 Matsushita Electric Ind Co Ltd Motion detector
JP2005347821A (en) * 2004-05-31 2005-12-15 Toshiba Corp Noise elimination apparatus and image display
JP2007166400A (en) * 2005-12-15 2007-06-28 Toshiba Corp Noise reduction apparatus and noise reduction method

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016010121A (en) * 2014-06-26 2016-01-18 ハンファテクウィン株式会社Ｈａｎｗｈａ Ｔｅｃｈｗｉｎ Ｃｏ．，Ｌｔｄ． Image processing apparatus and image processing method
JP2017147651A (en) * 2016-02-18 2017-08-24 東芝メディカルシステムズ株式会社 Signal processing apparatus and image noise reduction method
CN110858867A (en) * 2018-08-07 2020-03-03 瑞昱半导体股份有限公司 Image processing device and method thereof
CN110858867B (en) * 2018-08-07 2021-12-10 瑞昱半导体股份有限公司 Image processing device and method thereof

Also Published As

Publication number Publication date
JP5213604B2 (en) 2013-06-19

Similar Documents

Publication Publication Date Title
US8982232B2 (en) Image processing apparatus and image processing method
US8072511B2 (en) Noise reduction processing apparatus, noise reduction processing method, and image sensing apparatus
JP2008015741A (en) Image processor, image processing method, and image pickup device using the same
JP6720881B2 (en) Image processing apparatus and image processing method
JP2008258848A (en) Noise reduction device, noise reduction method, and electronic equipment
JP5541205B2 (en) Image processing apparatus, imaging apparatus, image processing program, and image processing method
JP2010136224A (en) Imaging apparatus and imaging method
JP2010109834A (en) Noise reduction apparatus, noise reduction method, and program
US10091415B2 (en) Image processing apparatus, method for controlling image processing apparatus, image pickup apparatus, method for controlling image pickup apparatus, and recording medium
US8345121B2 (en) Image processing apparatus, method, and program
JP2004363853A (en) Method and device for reducing noise of image signal
JP6092690B2 (en) Imaging apparatus and control method thereof
JP5213604B2 (en) Imaging device
WO2012070440A1 (en) Image processing device, image processing method, and image processing program
JP2013223061A (en) Image processing device
JP2008288947A (en) Image processing apparatus and program thereof
JP6032912B2 (en) Imaging apparatus, control method thereof, and program
JP5451056B2 (en) Image processing apparatus and imaging apparatus
JP5497420B2 (en) Image processing apparatus and imaging apparatus
JP2009081526A (en) Imaging apparatus
JP5370345B2 (en) Image processing apparatus, imaging apparatus, and image processing program
JP4785698B2 (en) Imaging device
JP6858073B2 (en) Image processing device, image processing method, and program
JP5299910B2 (en) Imaging apparatus and imaging method
JP2010118942A (en) Image processor and imaging apparatus

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110829

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120921

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121002

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121127

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130129

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130226

R151 Written notification of patent or utility model registration

Ref document number: 5213604

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160308

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160308

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250