JP2003230045A - Signal processing method and apparatus - Google Patents
Signal processing method and apparatusInfo
- Publication number
- JP2003230045A JP2003230045A JP2002025974A JP2002025974A JP2003230045A JP 2003230045 A JP2003230045 A JP 2003230045A JP 2002025974 A JP2002025974 A JP 2002025974A JP 2002025974 A JP2002025974 A JP 2002025974A JP 2003230045 A JP2003230045 A JP 2003230045A
- Authority
- JP
- Japan
- Prior art keywords
- background image
- pixel
- signal processing
- pixel value
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Picture Signal Circuits (AREA)
- Studio Circuits (AREA)
- Studio Devices (AREA)
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】本発明は、例えば撮像装置に
よる連写画像や予め記憶装置に格納された連写画像を処
理するための信号処理方法および装置に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a signal processing method and apparatus for processing, for example, a continuous shot image by an image pickup device or a continuous shot image stored in advance in a storage device.
【０００２】[0002]
【従来の技術】従来より、高速連写機能を有する各種の
撮像装置（撮像管、ＣＣＤ型センサ、ＣＭＯＳ型センサ
など）が提供されている。また、この種の高速連写を行
う撮像装置としては、例えば特開２０００−１３６８１
号公報に開示されるように、複数枚の連写画像から背景
を分離することにより、静止被写体の撮像時に写った移
動体像を除去するようにしたものが提案されている。2. Description of the Related Art Conventionally, various image pickup devices (image pickup tubes, CCD type sensors, CMOS type sensors, etc.) having a high-speed continuous shooting function have been provided. Further, as an image pickup apparatus for performing high-speed continuous shooting of this type, for example, Japanese Patent Laid-Open No. 2000-13681
As disclosed in Japanese Patent Laid-Open Publication No. JP-A-2003-264, there is proposed a method in which a background is separated from a plurality of continuously shot images so as to remove a moving body image taken at the time of capturing a still subject.
【０００３】[0003]
【発明が解決しようとする課題】しかしながら、従来の
高速連写では、連写スピードを上げると感光期間が短く
なるため、撮像装置の感度が低下し、その分、撮像信号
のゲインを増大してもＳ／Ｎが悪くなるという問題点が
あった。特に、ＣＭＯＳ型センサでは、読み出しの自由
度が高いため、連写スピードはやり方によってはいくら
でも上げることができる。しかし、特殊な状況では強力
な光源を用いることができるが、そうでない一般の場合
は、連写スピードの限界をＳ／Ｎが決定していた。な
お、このような感度の低下によって生じるＳ／Ｎを低下
させるノイズは、ランダムノイズ（時間的に信号値がラ
ンダムに揺らぐノイズ）である。However, in the conventional high-speed continuous shooting, if the continuous shooting speed is increased, the exposure period is shortened, so that the sensitivity of the image pickup apparatus is lowered and the gain of the image pickup signal is increased accordingly. However, there is a problem that the S / N becomes worse. In particular, since the CMOS sensor has a high degree of freedom in reading, the continuous shooting speed can be increased depending on the method. However, although a strong light source can be used in a special situation, in the general case where it is not, the S / N determines the limit of the continuous shooting speed. The noise that reduces the S / N caused by such a decrease in sensitivity is random noise (noise in which the signal value randomly fluctuates over time).
【０００４】また、上記特開２０００−１３６８１号公
報に開示される撮像装置では、複数枚の連写画像から背
景を分離する方法として、複数枚の画像を「順次」比較
し、一致した画像部分を「順次」合成しているが、この
方法では画像枚数だけ比較・合成が必要となるので、そ
のための計算量が膨大になるという問題がある。また、
背景を分離したところでランダムノイズの問題は解決し
ていないという問題がある。Further, in the image pickup apparatus disclosed in Japanese Patent Laid-Open No. 2000-13681, as a method of separating a background from a plurality of consecutively shot images, a plurality of images are compared "sequentially" and the matched image portions However, this method requires a large number of images to be compared and combined, which results in an enormous amount of calculation. Also,
There is a problem that the problem of random noise is not solved when the background is separated.
【０００５】そこで本発明の目的は、撮像装置の連写画
像について簡易な演算処理によって背景画像を作成する
ことができ、さらに背景画像のランダムノイズを除去す
ることも可能な信号処理方法および装置を提供すること
にある。Therefore, an object of the present invention is to provide a signal processing method and apparatus capable of creating a background image by a simple arithmetic process for continuous images of an image pickup apparatus and further removing random noise of the background image. To provide.
【０００６】[0006]
【課題を解決するための手段】本発明は前記目的を達成
するため、連写された複数枚の元画像から各画素に対す
る画素値のヒストグラムを作成するヒストグラム作成ス
テップと、前記ヒストグラム作成ステップによって作成
されたヒストグラムに基づいて背景画像を作成する背景
画像作成ステップとを有することを特徴とする。また本
発明は、連写された複数枚の元画像から各画素に対する
画素値のヒストグラムを作成するヒストグラム作成手段
と、前記ヒストグラム作成ステップによって作成された
ヒストグラムに基づいて背景画像を作成する背景画像作
成手段を有することを特徴とする。In order to achieve the above-mentioned object, the present invention creates a histogram of pixel values for each pixel from a plurality of continuous original images, and a histogram creating step. A background image creating step for creating a background image based on the generated histogram. Further, the present invention is a histogram creating means for creating a histogram of pixel values for each pixel from a plurality of continuous original images, and a background image creating for creating a background image based on the histogram created by the histogram creating step. It is characterized by having means.
【０００７】このような本発明の信号処理方法および装
置では、連写された複数枚の元画像から各画素に対する
画素値のヒストグラムを作成し、このヒストグラムに基
づいて背景画像を作成する。したがって、ヒストグラム
を作るという複雑な計算が不要な処理により、順次画像
を比較するような煩雑な処理をせずに、全ての連写画像
のデータから一括して背景画像を作成することができ
る。In such a signal processing method and apparatus of the present invention, a histogram of pixel values for each pixel is created from a plurality of continuously shot original images, and a background image is created based on this histogram. Therefore, it is possible to collectively create the background image from the data of all the continuous images without performing a complicated process of sequentially comparing images by a process that does not require a complicated calculation of creating a histogram.
【０００８】[0008]
【発明の実施の形態】以下、本発明による信号処理方法
および装置の実施の形態例について図面を用いて詳細に
説明する。なお、以下に説明する実施の形態は、本発明
の好適な具体例であり、技術的に好ましい種々の限定が
付されているが、本発明の範囲は、以下の説明におい
て、特に本発明を限定する旨の記載がない限り、これら
の態様に限定されないものとする。本実施の形態による
信号処理方法および装置は、ＣＭＯＳ型センサの連写画
像から各画素に対して画素値のヒストグラムを作成し、
頻度が最大となる画素値によって背景画像を作成する。
そして、連写画像の画素値が背景画像としきい値以内の
差の場合は、連写画像の画素値を背景画像の画素値に置
き換えることにより、背景をランダムノイズのない画像
とし、また、動き部分を際立たせ、画像データサイズを
小さくできるようにしたものである。BEST MODE FOR CARRYING OUT THE INVENTION Embodiments of a signal processing method and apparatus according to the present invention will be described in detail below with reference to the drawings. The embodiments described below are preferred specific examples of the present invention, and various technically preferable limitations are given. However, the scope of the present invention is not limited to the present invention in the following description. Unless otherwise stated, the present invention is not limited to these embodiments. The signal processing method and apparatus according to the present embodiment creates a histogram of pixel values for each pixel from a continuous image of a CMOS sensor,
A background image is created with a pixel value that maximizes the frequency.
If the pixel value of the continuous shot image is within a threshold value of the background image, the pixel value of the continuous shot image is replaced with the pixel value of the background image to make the background an image without random noise, and The image data size can be reduced by making the parts stand out.
【０００９】まず、本発明の第１の実施の形態例につい
て説明する。図１は本発明の第１の実施の形態例による
信号処理装置の概略構成を示すブロック図である。本実
施の形態例による信号処理装置は、記憶装置１０、ヒス
トグラム作成部２０、背景画像作成回路３０、および比
較・置換回路４０を有する。記憶装置１０は、例えば１
００枚分の連写画像データを格納するものであり、ハー
ドディスク等で構成されている。なお、図１の例では連
写画像データを１００枚としているが、例えば１０枚〜
１００枚の範囲の連写画像データを扱うものとする。ヒ
ストグラム作成部２０は、連写画像データから各画素毎
の画素値のヒストグラムを作成するものであり、この作
成したヒストグラムを格納するフレームメモリ１を有し
て構成されている。First, a first embodiment of the present invention will be described. FIG. 1 is a block diagram showing a schematic configuration of a signal processing device according to a first embodiment of the present invention. The signal processing device according to the present embodiment has a storage device 10, a histogram creation unit 20, a background image creation circuit 30, and a comparison / replacement circuit 40. The storage device 10 is, for example, 1
It stores 00 continuously shot image data, and is configured by a hard disk or the like. In the example of FIG. 1, the continuous shooting image data is set to 100, but for example, 10 to
It is assumed that continuous shot image data in a range of 100 sheets is handled. The histogram creation unit 20 creates a histogram of pixel values for each pixel from the continuously shot image data, and has a frame memory 1 for storing the created histogram.
【００１０】背景画像作成回路３０は、ヒストグラム作
成部２０で作成したヒストグラムから頻度が最大となる
画素値を当該画素の背景値として選択して背景画像を作
成するものであり、この作成した背景画像を格納するフ
レームメモリ２を有して構成されている。比較・置換回
路４０は、記憶装置１０からの連写画像データを順次読
み込み、背景画像作成回路３０によって作成された背景
画像の各画素値と比較し、指定されたしきい値以下の差
であれば、連写画像データの画素値を背景画像の画素値
に置き換える処理を行うものである。The background image creating circuit 30 creates a background image by selecting the pixel value having the highest frequency from the histogram created by the histogram creating section 20 as the background value of the pixel, and the created background image. And a frame memory 2 for storing. The comparison / replacement circuit 40 sequentially reads the continuously shot image data from the storage device 10, compares it with each pixel value of the background image created by the background image creation circuit 30, and if the difference is less than or equal to a specified threshold value. For example, the pixel value of the continuous shot image data is replaced with the pixel value of the background image.
【００１１】次に、このような信号処理装置の処理動作
の詳細について説明する。図２は連写画像データに含ま
れるある画素の画素値の変化とヒストグラムの一例を示
す説明図である。図２（Ａ）に示すように、連写画像の
各画素には、背景部分１Ａと動き部分１Ｂとを含み、動
き部分１Ｂでは画素値が大きく変動する。また、それ以
外の部分は、背景部分１Ａであり、変動幅は小さいが、
時間（連写画像の順番）と共に、ランダムノイズによる
画素値のばらつきが生じている。Next, details of the processing operation of such a signal processing apparatus will be described. FIG. 2 is an explanatory diagram showing an example of a change in the pixel value of a pixel included in the continuously shot image data and a histogram. As shown in FIG. 2A, each pixel of the continuous shot image includes a background portion 1A and a moving portion 1B, and the pixel value greatly changes in the moving portion 1B. Further, the other portion is the background portion 1A, and the fluctuation range is small,
Pixel value variations due to random noise occur with time (the order of consecutively shot images).
【００１２】このような連写画像データから、図２
（Ｂ）に示すような画素値と出現頻度のヒストグラムを
作成する。このようなヒストグラムを各画素に対して作
成し、ヒストグラム作成部２０のフレームメモリ１に記
録する。次に、このような各画素毎のヒストグラムから
頻度が最大となる画素値を選択し、この画素値を当該画
素における背景値として決定する。そして、この背景値
を背景画像作成回路３０のフレームメモリ２に格納し、
背景画像を作成する。この後、再び連写画像データを順
次読み込み、比較・置換回路４０においてフレームメモ
リ２の背景画像と比較する。ここで、連写画像の画素値
と背景画像の画素値との差が予め設定されたしきい値以
下の差であれば、連写画像の画素値を背景画像の画素値
に書き換える。また、しきい値より大きい差であれば、
そのまま何もしない。このようにして補正済み連写画像
データを得る。そして、以上のようにして得られた背景
画像作成回路３０のフレームメモリ２の背景画像と、比
較・置換回路４０の補正済み連写画像データを出力す
る。From such continuous shot image data, as shown in FIG.
A histogram of pixel values and appearance frequencies as shown in (B) is created. Such a histogram is created for each pixel and recorded in the frame memory 1 of the histogram creating unit 20. Next, a pixel value with the highest frequency is selected from such a histogram for each pixel, and this pixel value is determined as the background value for the pixel. Then, this background value is stored in the frame memory 2 of the background image creating circuit 30,
Create a background image. After that, the continuously shot image data is sequentially read again and compared with the background image in the frame memory 2 in the comparison / replacement circuit 40. If the difference between the pixel value of the continuous shot image and the pixel value of the background image is less than or equal to a preset threshold value, the pixel value of the continuous shot image is rewritten to the pixel value of the background image. If the difference is greater than the threshold,
Do nothing as it is. In this way, corrected continuous shot image data is obtained. Then, the background image in the frame memory 2 of the background image creating circuit 30 obtained as described above and the corrected continuous shot image data of the comparison / replacement circuit 40 are output.
【００１３】上記しきい値は、例えば画像データが１０
ｂｉｔデジタルデータの場合は、±３ＬＳＢ（なお、Ｌ
ＳＢとは、デジタルの１単位であり、例えば１０ｂｉｔ
は、２１０＝１０２４ＬＳＢ）に設定することができ
る。あるいは、背景画像の画素値がｎＬＳＢである場合
に、ＩＮＴ［（√ｎ）／２＋２］ＬＳＢとすることがで
きる。ここで、ＩＮＴは、実数値の少数点以下を切り捨
てて整数化する関数である。これは、ランダムノイズの
一成分であるショットノイズが、信号値の平方根に比例
するので、それに対応したしきい値調節機能を入れたも
のである。また、＋２の部分は、ショットノイズ以外の
回路系等に起因する一定値のランダムノイズに対応させ
ている。すなわち、本例で用いるしきい値は、信号値の
大きい場合に大きい値となるように設定され、その関数
形が定数と信号値の１／２乗に比例する項の和となって
いる。The threshold value is, for example, 10 for image data.
In the case of bit digital data, ± 3 LSB (L
SB is a digital unit, for example, 10 bits.
Can be set to 210 = 1024 LSB). Alternatively, when the pixel value of the background image is nLSB, INT [(√n) / 2 + 2] LSB can be set. Here, INT is a function that rounds down the decimal points below the real value to make it an integer. This is because the shot noise, which is one component of the random noise, is proportional to the square root of the signal value, so a threshold adjustment function corresponding to it is added. Further, the +2 portion corresponds to random noise of a constant value due to a circuit system other than shot noise. That is, the threshold value used in this example is set to a large value when the signal value is large, and its functional form is the sum of a constant and a term proportional to the 1/2 power of the signal value.
【００１４】以上のような本実施の形態例による信号処
理方法は、背景画像を順次比較して構成するのではな
く、全部の画像を読み込んで得たヒストグラムから一度
に背景画像を作成するものである。ここで、ヒストグラ
ムを作成するのは、各画素のデータを置いて行くだけの
処理であり、時間的、空間的相関に関する計算処理を一
切しないので、簡単な処理で実行でき、処理速度が速い
ものである。また、元画像と背景画像との比較により、
その差がしきい値以下の場合に元画像のデータを置き換
えることにより、元画像の背景部分のランダムノイズを
取り除くものである。したがって、背景部分と動き部分
との間に最低でもしきい値分の信号差ができるので、動
き部分の輪郭がはっきりするという利点がある。The signal processing method according to the present embodiment as described above does not construct the background images sequentially by comparison, but creates the background image at once from the histogram obtained by reading all the images. is there. Here, creating a histogram is a process that only puts data of each pixel and does not perform any calculation process related to temporal and spatial correlation, so it can be executed with a simple process and has a high processing speed. Is. Also, by comparing the original image with the background image,
When the difference is less than or equal to the threshold value, the original image data is replaced to remove random noise in the background portion of the original image. Therefore, since there is a signal difference of at least the threshold value between the background portion and the moving portion, there is an advantage that the contour of the moving portion becomes clear.
【００１５】次に、本発明の第２の実施の形態例につい
て説明する。図３は本発明の第２の実施の形態例による
信号処理装置の概略構成を示すブロック図である。図示
のように、この信号処理装置は、記憶装置１０、ヒスト
グラム作成部２０、背景画像作成回路３０とを有する点
で図１に示す例と共通であり、記憶装置１０、ヒストグ
ラム作成部２０、および背景画像作成回路３０の動作も
上述した第１の実施の形態例と共通であるが、本実施の
形態例では、比較・置換回路４０ではなく比較・差分回
路４１を備える。比較・差分回路４１において、連写画
像を背景画像と比較する際に、背景画像に対して指定さ
れたしきい値以上の差がある画素値（すなわち、１００
枚の差分データ）のみを出力する。Next, a second embodiment of the present invention will be described. FIG. 3 is a block diagram showing a schematic configuration of a signal processing device according to the second embodiment of the present invention. As shown in the figure, this signal processing device is common to the example shown in FIG. 1 in that it includes a storage device 10, a histogram creation unit 20, and a background image creation circuit 30, and the storage device 10, the histogram creation unit 20, and The operation of the background image creating circuit 30 is also common to the above-described first embodiment, but this embodiment includes a comparison / difference circuit 41 instead of the comparison / replacement circuit 40. In the comparison / difference circuit 41, when comparing the continuous shot image with the background image, pixel values having a difference equal to or more than a specified threshold value with respect to the background image (that is, 100
Only the difference data of one sheet) is output.
【００１６】図４は図３に示す信号処理装置における背
景画像と差分画像の処理方法を示す説明図である。図示
のように分離して格納した背景画像２と差分画像３−
１、３−２、３−３、……とを用いて連写画像を再構成
するには、背景画像は全ての連写画像に対して用い、差
分画像データがあるところは差分画像データを用いて表
示する。また、インデックスとして１枚目だけを表示
し、要求があったときだけ１００枚分の展開を行うよう
にしてもよい。このような信号処理方法を採用すること
により、処理するデータ量の縮小化を達成できる。な
お、しきい値については上述した第１の実施の形態例と
同様に設定できる。また、処理が簡単で速いこと、背景
のランダムノイズがなくなること、動き部分の輪郭がは
っきりするといった利点は、第１の実施の形態と同様で
ある。FIG. 4 is an explanatory diagram showing a method of processing the background image and the difference image in the signal processing device shown in FIG. The background image 2 and the difference image 3-stored separately as shown in the figure
In order to reconstruct a continuous shot image using 1, 3-2, 3-3, ..., The background image is used for all continuous shot images, and the difference image data is used where there is difference image data. Use to display. Alternatively, only the first page may be displayed as an index and 100 pages may be expanded only when requested. By adopting such a signal processing method, it is possible to reduce the amount of data to be processed. The threshold value can be set in the same manner as in the first embodiment described above. Further, the advantages that the processing is simple and fast, the random noise in the background is eliminated, and the contour of the moving portion is clear are the same as those in the first embodiment.
【００１７】次に、本発明の第３の実施の形態例につい
て説明する。上述した第１、第２の実施の形態例では、
すでに記憶装置１０に記録済みの画像データを変換した
が、以下の実施の形態例では、撮影時点で連写画像を出
力するためのデジタルカメラの構成例について説明す
る。図５は本発明の第３の実施の形態によるデジタルカ
メラの構成例を示すブロック図である。なお、破線Ａで
示す部分が本発明に係る信号処理を行う信号処理回路で
ある。また、図６は図５に示す各処理ブロックのうち本
発明に係る機能に関係するブロックを取り出して示した
ブロック図である。Next, a third embodiment of the present invention will be described. In the above-described first and second exemplary embodiments,
The image data already recorded in the storage device 10 has been converted, but in the following embodiments, a configuration example of a digital camera for outputting continuous images at the time of shooting will be described. FIG. 5 is a block diagram showing a configuration example of a digital camera according to the third embodiment of the present invention. The portion indicated by the broken line A is a signal processing circuit that performs signal processing according to the present invention. Further, FIG. 6 is a block diagram showing, out of the processing blocks shown in FIG. 5, blocks related to the functions according to the present invention.
【００１８】図５に示すように、このデジタルカメラ
は、撮像素子としてＣＭＯＳ型センサ６０を用いたもの
であり、被写体像をＣＭＯＳ型センサ６０に結像させる
光学系５０と、本発明に係る信号処理を行う信号処理回
路７０と、手ぶれ補正を行うための手ぶれ補正回路８０
と、信号処理回路７０による信号処理以外の信号処理
（例えば輝度信号と色信号の分離など）を行う信号処理
回路９０と、撮像画像を表示する液晶表示装置１００
と、各種入力を行う操作ボタン類等よりなる入力装置１
１０と、駆動電源等を供給する電源系１２０と、システ
ム全体を制御する制御回路１３０と、この制御回路１３
０が動作するためのプログラムや固定データを格納した
ＲＯＭ１４０と、各種データの書き込みや読み出しに用
いるＤＲＡＭ１５０と、外部からの各種情報を設定する
ためのメモリカードリーダ１６０等を有する。なお、Ｃ
ＭＯＳ型センサ６０には、信号レベルが適度になるよう
にゲインを調節するＰＧＡ（Programmable Gain Amp ）
回路やアナログ撮像信号をデジタル信号に変換して出力
するためのＡ／Ｄ変換器を設けた構成例を示している。As shown in FIG. 5, this digital camera uses a CMOS type sensor 60 as an image pickup element, and an optical system 50 for forming a subject image on the CMOS type sensor 60, and a signal according to the present invention. A signal processing circuit 70 for performing processing and an image stabilization circuit 80 for performing image stabilization.
A signal processing circuit 90 that performs signal processing other than signal processing by the signal processing circuit 70 (for example, separation of a luminance signal and a color signal), and a liquid crystal display device 100 that displays a captured image.
And an input device 1 including operation buttons for various inputs
10, a power supply system 120 for supplying driving power, a control circuit 130 for controlling the entire system, and the control circuit 13
It has a ROM 140 storing a program for operating 0 and fixed data, a DRAM 150 used for writing and reading various data, a memory card reader 160 for setting various information from the outside, and the like. Note that C
The MOS sensor 60 has a PGA (Programmable Gain Amp) that adjusts the gain so that the signal level becomes appropriate.
The example of composition provided with the A / D converter for converting a circuit and an analog image pick-up signal into a digital signal, and outputting it is shown.
【００１９】また、信号処理回路７０は、連写画像デー
タを順次記憶する連写画像バッファ７１と、連写画像デ
ータからヒストグラムを作成して記憶するヒストグラム
作成部（フレームメモリ）７２と、このヒストグラム作
成部７２によって得られたヒストグラムから背景画像を
作成して記憶する背景画像バッファ７３と、連写画像バ
ッファ７１に格納された連写画像と背景画像バッファ７
３に格納された背景画像とを比較して上述した補正済み
連写画像データ（図１）または差分データ（図３）を出
力する比較・置換回路７４とを有する。なお、図６に示
す例では、信号処理回路７０で補正済み連写画像データ
を出力し、信号処理回路９０で色関係等の信号処理をし
て出力する例である。このような構成のデジタルカメラ
では、連写されたＣＭＯＳ型センサの出力を信号処理回
路７０に入力し、上述した第１の実施の形態や第２の実
施の形態で説明した処理を行い、後段の信号処理回路９
０に出力することにより、迅速な処理で背景のランダム
ノイズを除去し、動き部分の輪郭がはっきりした連写画
像出力を行うことが可能となる。なお、その他の構成は
基本的には通常のデジタルカメラに搭載されたものであ
るので説明は省略する。Further, the signal processing circuit 70 includes a continuous shot image buffer 71 for sequentially storing continuous shot image data, a histogram creating section (frame memory) 72 for creating and storing a histogram from the continuous shot image data, and this histogram. A background image buffer 73 that creates and stores a background image from the histogram obtained by the creation unit 72, and the continuously shot image and background image buffer 7 stored in the continuously shot image buffer 71.
3 and a background image stored in No. 3, and outputs the above-described corrected continuous shot image data (FIG. 1) or difference data (FIG. 3). The example shown in FIG. 6 is an example in which the signal processing circuit 70 outputs the corrected continuous shot image data, and the signal processing circuit 90 performs signal processing such as color relationship output. In the digital camera having such a configuration, the output of the CMOS-type sensor that has been continuously shot is input to the signal processing circuit 70, and the processing described in the above-described first and second embodiments is performed, and the latter stage is performed. Signal processing circuit 9
By outputting to 0, random noise in the background can be removed by rapid processing, and continuous shooting images with clear contours of moving parts can be output. Note that the other configurations are basically mounted on a normal digital camera, and therefore description thereof will be omitted.
【００２０】また、図７〜図９は、図６に示した各処理
ブロックを入れ換えた構成した変形例を示すブロック図
である。なお、これらの図では、図６に対応して本発明
に係る機能に関する部分を示しており、その他の周辺ブ
ロックは例えば図５に示す例と共通であるので省略して
いる。図７に示す例は、図５および図６に示した信号処
理回路９０および手ぶれ補正回路８０を信号処理回路７
０の前段に設けて信号処理回路１７０としたものであ
る。この場合は色信号処理した信号に連写画像処理を行
うことになる。また、図８に示す例は、図６の例に対し
て、背景画像と連写差分画像を出力する点が異なる。そ
のために、比較・置換回路７４ではなく比較・差分回路
７５を備えている。色信号等の処理を行う信号処理回路
１８０は、背景画像と連写差分画像を受取り、それぞれ
に対する処理をした後に出力する。さらに、図９に示す
例は、図７に示した構成に対して、背景画像と連写差分
画像を出力す点が異なる。そのために、比較・置換回路
７４ではなく比較・差分回路７５を備えている。7 to 9 are block diagrams showing modified examples in which the processing blocks shown in FIG. 6 are replaced. It should be noted that in these figures, the portions related to the functions according to the present invention are shown corresponding to FIG. 6, and other peripheral blocks are omitted since they are common to the example shown in FIG. 5, for example. In the example shown in FIG. 7, the signal processing circuit 90 and the camera shake correction circuit 80 shown in FIGS.
The signal processing circuit 170 is provided before 0. In this case, continuous image processing is performed on the color signal processed signal. The example shown in FIG. 8 is different from the example in FIG. 6 in that a background image and a continuous shooting difference image are output. Therefore, a comparison / difference circuit 75 is provided instead of the comparison / replacement circuit 74. A signal processing circuit 180 for processing a color signal or the like receives the background image and the continuous shooting difference image, processes them, and outputs them. Further, the example shown in FIG. 9 differs from the configuration shown in FIG. 7 in that a background image and a continuous shooting difference image are output. Therefore, a comparison / difference circuit 75 is provided instead of the comparison / replacement circuit 74.
【００２１】以上のような本発明の実施の形態例によれ
ば、次のような効果を得ることが可能である。
（１）ヒストグラムを作るという、複雑な計算が不要な
処理により、順次画像を比較するような煩雑な処理をせ
ずに、全ての連写画像のデータから一括して背景画像を
作成することができる。
（２）背景画像のランダムノイズを除去し、Ｓ／Ｎを上
げることができる。連写スピードも上げることができ
る。
（３）動き部分と背景画像とがしきい値分以上の差を有
するため、動き部分の輪郭がはっきりする。
（４）第２の実施の形態では、１枚の背景画像と動き部
分のみの差分連写画像を保持して処理することができ、
データ量を減少することが可能となる。According to the embodiment of the present invention as described above, the following effects can be obtained. (1) It is possible to create a background image collectively from the data of all continuous shot images without performing a complicated process of sequentially comparing images by a process that does not require complicated calculation, such as creating a histogram. it can. (2) The random noise of the background image can be removed to improve the S / N. The continuous shooting speed can also be increased. (3) Since the moving part and the background image have a difference equal to or more than the threshold value, the contour of the moving part is clear. (4) In the second embodiment, it is possible to hold and process one background image and the differential continuous shooting image of only the moving part,
It is possible to reduce the amount of data.
【００２２】なお、以上はＣＭＯＳ型センサを撮像素子
としたデジタルカメラに本実施の形態による信号処理を
適用したが、本発明はこれに限定されるものではなく、
撮像管やＣＣＤ型センサを用いた各種のカメラシステム
に適用し得るものである。また、本発明の信号処理装置
は、カメラシステムに限らず、画像を処理する各種のシ
ステムに広く適用し得るものである。Although the signal processing according to the present embodiment has been applied to the digital camera using the CMOS type sensor as the image pickup element, the present invention is not limited to this.
It can be applied to various camera systems using an image pickup tube or a CCD type sensor. Further, the signal processing device of the present invention is not limited to the camera system, but can be widely applied to various systems that process images.
【００２３】[0023]
【発明の効果】以上説明したように本発明の信号処理方
法によれば、連写された複数枚の元画像から各画素に対
する画素値のヒストグラムを作成し、このヒストグラム
に基づいて背景画像を作成することから、ヒストグラム
を作るという複雑な計算が不要な処理により、順次画像
を比較するような煩雑な処理をせずに、全ての連写画像
のデータから一括して背景画像を作成することができ
る。また、ヒストグラムから作成された背景画像の各画
素の画素値と元画像の対応する各画素の画素値との差を
所定のしきい値と比較し、画素値の差がしきい値以内で
ある場合には、元画像の画素値を背景画像の画素値に置
換することにより、背景画像のランダムノイズを除去す
ることも可能である。As described above, according to the signal processing method of the present invention, a histogram of pixel values for each pixel is created from a plurality of continuously shot original images, and a background image is created based on this histogram. Therefore, it is possible to create a background image collectively from the data of all continuous shot images without performing a complicated process of sequentially comparing images by a process that does not require complicated calculation of creating a histogram. it can. Further, the difference between the pixel value of each pixel of the background image created from the histogram and the pixel value of each corresponding pixel of the original image is compared with a predetermined threshold value, and the difference in pixel value is within the threshold value. In this case, it is also possible to remove the random noise of the background image by replacing the pixel value of the original image with the pixel value of the background image.
【００２４】また、本発明の信号処理装置によれば、連
写された複数枚の元画像から各画素に対する画素値のヒ
ストグラムを作成し、このヒストグラムに基づいて背景
画像を作成することから、ヒストグラムを作るという複
雑な計算が不要な処理により、順次画像を比較するよう
な煩雑な処理をせずに、全ての連写画像のデータから一
括して背景画像を作成することができる。また、ヒスト
グラムから作成された背景画像の各画素の画素値と元画
像の対応する各画素の画素値との差を所定のしきい値と
比較し、画素値の差がしきい値以内である場合には、元
画像の画素値を背景画像の画素値に置換することによ
り、背景画像のランダムノイズを除去することも可能で
ある。Further, according to the signal processing apparatus of the present invention, a histogram of pixel values for each pixel is created from a plurality of continuous original images, and a background image is created based on this histogram. By performing a process that does not require a complicated calculation of creating a background image, it is possible to collectively create a background image from the data of all continuous shot images without performing a complicated process of sequentially comparing images. Further, the difference between the pixel value of each pixel of the background image created from the histogram and the pixel value of each corresponding pixel of the original image is compared with a predetermined threshold value, and the difference in pixel value is within the threshold value. In this case, it is also possible to remove the random noise of the background image by replacing the pixel value of the original image with the pixel value of the background image.
【図１】本発明の第１の実施の形態例による信号処理装
置の概略構成を示すブロック図である。FIG. 1 is a block diagram showing a schematic configuration of a signal processing device according to a first exemplary embodiment of the present invention.
【図２】図１に示す信号処理装置で扱う連写画像データ
に含まれる画素値の変化とヒストグラムの一例を示す説
明図である。FIG. 2 is an explanatory diagram showing an example of changes in pixel values and histograms included in continuously shot image data handled by the signal processing device shown in FIG.
【図３】本発明の第２の実施の形態例による信号処理装
置の概略構成を示すブロック図である。FIG. 3 is a block diagram showing a schematic configuration of a signal processing device according to a second exemplary embodiment of the present invention.
【図４】図３に示す信号処理装置における背景画像と差
分画像の処理方法を示す説明図である。FIG. 4 is an explanatory diagram showing a method of processing a background image and a difference image in the signal processing device shown in FIG.
【図５】図１に示す信号処理装置を搭載したデジタルカ
メラの一例を示すブロック図である。5 is a block diagram showing an example of a digital camera equipped with the signal processing device shown in FIG.
【図６】図５に示すデジタルカメラの要部のブロックを
取り出して示すブロック図である。FIG. 6 is a block diagram showing a block of essential parts of the digital camera shown in FIG.
【図７】図６に示した各処理ブロックを入れ換えた構成
した第１の変形例を示すブロック図である。7 is a block diagram showing a first modified example in which the processing blocks shown in FIG. 6 are replaced.
【図８】図６に示した各処理ブロックを図３に示した信
号処理装置に入れ換えて構成した第２の変形例を示すブ
ロック図である。8 is a block diagram showing a second modification example in which the processing blocks shown in FIG. 6 are replaced with the signal processing device shown in FIG.
【図９】図８に示した各処理ブロックを入れ換えて構成
した第３の変形例を示すブロック図である。9 is a block diagram showing a third modified example configured by replacing the processing blocks shown in FIG.
１０……記憶装置、２０、７２……ヒストグラム作成
部、３０……背景画像作成回路、４０、７４……比較・
置換回路、７５……比較・差分回路、５０……光学系、
６０……ＣＭＯＳ型センサ、７０、９０、１７０、１８
０……信号処理回路、７１……連写画像バッファ、７３
……背景画像バッファ、８０……手ぶれ補正回路、１０
０……液晶表示装置、１１０……入力装置、１２０……
電源系、１３０……制御回路、１４０……ＲＯＭ、１５
０……ＤＲＡＭ、１６０……メモリカードリーダ。10 ... Storage device, 20, 72 ... Histogram creating unit, 30 ... Background image creating circuit, 40, 74 ... Comparison /
Replacement circuit, 75 ... Comparison / difference circuit, 50 ... Optical system,
60 ... CMOS type sensor, 70, 90, 170, 18
0 ... Signal processing circuit, 71 ... Continuous shooting image buffer, 73
...... Background image buffer, 80 …… Image stabilization circuit, 10
0 ... Liquid crystal display device, 110 ... Input device, 120 ...
Power system, 130 ... Control circuit, 140 ... ROM, 15
0 ... DRAM, 160 ... Memory card reader.
Claims (16)
対する画素値のヒストグラムを作成するヒストグラム作
成ステップと、 前記ヒストグラム作成ステップによって作成されたヒス
トグラムに基づいて背景画像を作成する背景画像作成ス
テップと、 を有することを特徴とする信号処理方法。1. A histogram creating step of creating a histogram of pixel values for each pixel from a plurality of continuously shot original images, and a background image creating of creating a background image based on the histogram created by the histogram creating step. A signal processing method comprising:
ストグラムによる頻度の最大点から背景画像を作成する
ことを特徴とする請求項１記載の信号処理方法。2. The signal processing method according to claim 1, wherein in the background image creating step, a background image is created from a maximum frequency point of the histogram.
よって作成された背景画像の各画素の画素値と前記元画
像の対応する各画素の画素値との差を所定のしきい値と
比較し、画素値の差が前記しきい値以内である場合に
は、元画像の画素値を背景画像の画素値に置換する比較
・置換ステップを有することを特徴とする請求項１記載
の信号処理方法。3. The difference between the pixel value of each pixel of the background image created by the background image creating step of the original image and the pixel value of each corresponding pixel of the original image is compared with a predetermined threshold value, 2. The signal processing method according to claim 1, further comprising a comparing / replacement step of replacing the pixel value of the original image with the pixel value of the background image when the difference between the pixel values is within the threshold value.
前記しきい値より大きい場合にのみ元画像の画素値を記
憶することを特徴とする請求項３記載の信号処理方法。4. The signal processing method according to claim 3, wherein the pixel value of the original image is stored only when the difference between the pixel values is larger than the threshold value in the comparing and replacing step.
場合に大きい値となるように設定されていることを特徴
とする請求項２記載の信号処理方法。5. The signal processing method according to claim 2, wherein the predetermined threshold value is set to a large value when the signal value is large.
１／２乗に比例する項の和であることを特徴とする請求
項５記載の信号処理方法。6. The signal processing method according to claim 5, wherein the functional form of the threshold value is a sum of a constant and a term proportional to the 1/2 power of the signal value.
された背景画像と、前記比較・置換ステップによって画
素値の差が前記しきい値より大きい場合に記憶された画
素値とを用いて、複数枚の元画像を再構成する再構成ス
テップを有することを特徴とする請求項４記載の信号処
理方法。7. Using a background image created by the background image creating step and a pixel value stored when the difference in pixel value is larger than the threshold value by the comparing / replacement step, a plurality of pixel values are stored. The signal processing method according to claim 4, further comprising a reconstruction step of reconstructing an original image.
・置換ステップによって画素値の差が前記しきい値より
大きい場合に記憶された画素値がある画素について、当
該画素値を前記背景画像の画素値に優先して出力するこ
とを特徴とする請求項７記載の信号処理方法。8. In the reconstructing step, for a pixel having a pixel value stored when the pixel value difference in the comparing / replacement step is larger than the threshold value, the pixel value is set to the pixel value of the background image. 8. The signal processing method according to claim 7, wherein the signal is output in priority to the output.
対する画素値のヒストグラムを作成するヒストグラム作
成手段と、 前記ヒストグラム作成手段によって作成されたヒストグ
ラムに基づいて背景画像を作成する背景画像作成手段
と、 を有することを特徴とする信号処理装置。9. A histogram creating means for creating a histogram of pixel values for each pixel from a plurality of continuous original images, and a background image creating for creating a background image based on the histogram created by the histogram creating means. A signal processing device comprising:
トグラムによる頻度の最大点から背景画像を作成するこ
とを特徴とする請求項９記載の信号処理装置。10. The signal processing apparatus according to claim 9, wherein the background image creating means creates a background image from the maximum frequency of the histogram.
って作成された背景画像の各画素の画素値と前記元画像
の対応する各画素の画素値との差を所定のしきい値と比
較し、画素値の差が前記しきい値以内である場合には、
元画像の画素値を背景画像の画素値に置換する比較・置
換手段を有することを特徴とする請求項９記載の信号処
理装置。11. The difference between the pixel value of each pixel of the background image created by the background image creating means of the original image and the pixel value of each corresponding pixel of the original image is compared with a predetermined threshold value, If the pixel value difference is within the threshold,
10. The signal processing device according to claim 9, further comprising a comparison / replacement unit that replaces the pixel value of the original image with the pixel value of the background image.
記しきい値より大きい場合にのみ元画像の画素値を記憶
することを特徴とする請求項１１記載の信号処理装置。12. The signal processing apparatus according to claim 11, wherein the pixel value of the original image is stored only when the difference between the pixel values is larger than the threshold value by the comparison / replacement means.
い場合に大きい値となるように設定されていることを特
徴とする請求項１０記載の信号処理装置。13. The signal processing apparatus according to claim 10, wherein the predetermined threshold value is set to a large value when the signal value is large.
の１／２乗に比例する項の和であることを特徴とする請
求項１３記載の信号処理装置。14. The signal processing device according to claim 13, wherein the functional form of the threshold value is a sum of a constant and a term proportional to a 1/2 power of a signal value.
れた背景画像と、前記比較・置換手段によって画素値の
差が前記しきい値より大きい場合に記憶された画素値と
を用いて、複数枚の元画像を再構成する再構成手段を有
することを特徴とする請求項１２記載の信号処理装置。15. A plurality of sheets are created using the background image created by the background image creating means and the pixel value stored by the comparing / replacement means when the difference in pixel value is larger than the threshold value. 13. The signal processing apparatus according to claim 12, further comprising a reconstructing unit that reconstructs an original image.
置換手段によって画素値の差が前記しきい値より大きい
場合に記憶された画素値がある画素について、当該画素
値を前記背景画像の画素値に優先して出力することを特
徴とする請求項１５記載の信号処理装置。16. The reconstructing means comprises:
16. The pixel value having a pixel value stored when the pixel value difference is larger than the threshold value by the replacing means outputs the pixel value with priority over the pixel value of the background image. The signal processing device described.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002025974A JP3965558B2 (en) | 2002-02-01 | 2002-02-01 | Signal processing method and apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002025974A JP3965558B2 (en) | 2002-02-01 | 2002-02-01 | Signal processing method and apparatus |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003230045A true JP2003230045A (en) | 2003-08-15 |
| JP3965558B2 JP3965558B2 (en) | 2007-08-29 |
Family
ID=27747963
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002025974A Expired - Fee Related JP3965558B2 (en) | 2002-02-01 | 2002-02-01 | Signal processing method and apparatus |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3965558B2 (en) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2008103772A1 (en) * | 2007-02-20 | 2008-08-28 | Microsoft Corporation | Pixel extraction and replacement |
| WO2010018610A1 (en) * | 2008-08-11 | 2010-02-18 | 株式会社エム・ソフト | Background video generating method and background video generating system |
| JP2010282616A (en) * | 2010-05-14 | 2010-12-16 | Ricoh Co Ltd | Image information processing system and image information processing method |
| CN102025895A (en) * | 2009-09-18 | 2011-04-20 | 索尼公司 | Imaging apparatus and method, electronic device, and program |
| JP2013070332A (en) * | 2011-09-26 | 2013-04-18 | Olympus Corp | Image processing device |
| JP2014057261A (en) * | 2012-09-13 | 2014-03-27 | Olympus Corp | Image generating apparatus, image generating method, imaging apparatus and imaging method |
-
2002
- 2002-02-01 JP JP2002025974A patent/JP3965558B2/en not_active Expired - Fee Related
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2008103772A1 (en) * | 2007-02-20 | 2008-08-28 | Microsoft Corporation | Pixel extraction and replacement |
| US7920717B2 (en) | 2007-02-20 | 2011-04-05 | Microsoft Corporation | Pixel extraction and replacement |
| WO2010018610A1 (en) * | 2008-08-11 | 2010-02-18 | 株式会社エム・ソフト | Background video generating method and background video generating system |
| US8611647B2 (en) | 2008-08-11 | 2013-12-17 | M. Soft Co., Ltd. | Method for generating background image and system for generating background image |
| CN102025895A (en) * | 2009-09-18 | 2011-04-20 | 索尼公司 | Imaging apparatus and method, electronic device, and program |
| US8466990B2 (en) | 2009-09-18 | 2013-06-18 | Sony Corporation | Imaging apparatus and method, electronic device, and program |
| CN102025895B (en) * | 2009-09-18 | 2014-08-20 | 索尼公司 | Imaging apparatus, method and electronic device |
| JP2010282616A (en) * | 2010-05-14 | 2010-12-16 | Ricoh Co Ltd | Image information processing system and image information processing method |
| JP2013070332A (en) * | 2011-09-26 | 2013-04-18 | Olympus Corp | Image processing device |
| JP2014057261A (en) * | 2012-09-13 | 2014-03-27 | Olympus Corp | Image generating apparatus, image generating method, imaging apparatus and imaging method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3965558B2 (en) | 2007-08-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP2410734B1 (en) | Image synthesizing device, image synthesizing method and computer readable medium | |
| CN102034222B (en) | Image processing apparatus and image processing method | |
| CN103581556A (en) | Imaging device, image signal processing method, and program | |
| KR101755608B1 (en) | Method and camera for producing an image stabilized video | |
| US20090273717A1 (en) | Noise reduction processing apparatus, noise reduction processing method, and image sensing apparatus | |
| CN103685968A (en) | Image processing apparatus and image processing method | |
| JP2008015741A (en) | Image processor, image processing method, and image pickup device using the same | |
| CN108337450B (en) | Image processing apparatus, image processing method, and recording medium | |
| US9832382B2 (en) | Imaging apparatus and imaging method for outputting image based on motion | |
| JP5976315B2 (en) | Imaging device | |
| JP2008160881A (en) | Solid-state imaging apparatus, and imaging method | |
| JP2007243335A (en) | Camera shake correction method, camera shake correction apparatus, and imaging apparatus | |
| US20080158376A1 (en) | Image-capturing device | |
| JP2003230045A (en) | Signal processing method and apparatus | |
| JP2005064851A (en) | Digital camera and solid-state image pickup device | |
| WO2017104102A1 (en) | Imaging device | |
| JP2006050042A (en) | Image processing apparatus | |
| JP2003319269A (en) | Solid-state image pickup apparatus and image pickup method | |
| JP2010147774A (en) | Imaging apparatus | |
| US8358869B2 (en) | Image processing apparatus and method, and a recording medium storing a program for executing the image processing method | |
| US11394856B2 (en) | Image processing apparatus and method, and image capturing apparatus | |
| JP6557451B2 (en) | Imaging apparatus, control method therefor, and program | |
| JP2017229025A (en) | Image processing apparatus, image processing method, and program | |
| JP2005277618A (en) | Photography taking apparatus and device and method for correcting shading | |
| JP5012656B2 (en) | Image processing apparatus, imaging apparatus, image processing method, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041129 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060914 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060919 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061120 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070502 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070515 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100608 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |