JP2003230045A - Signal processing method and apparatus - Google Patents
Signal processing method and apparatusInfo
- Publication number
- JP2003230045A JP2003230045A JP2002025974A JP2002025974A JP2003230045A JP 2003230045 A JP2003230045 A JP 2003230045A JP 2002025974 A JP2002025974 A JP 2002025974A JP 2002025974 A JP2002025974 A JP 2002025974A JP 2003230045 A JP2003230045 A JP 2003230045A
- Authority
- JP
- Japan
- Prior art keywords
- background image
- pixel
- signal processing
- pixel value
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Picture Signal Circuits (AREA)
- Studio Circuits (AREA)
- Studio Devices (AREA)
Abstract
Description
【0001】[0001]
【発明の属する技術分野】本発明は、例えば撮像装置に
よる連写画像や予め記憶装置に格納された連写画像を処
理するための信号処理方法および装置に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a signal processing method and apparatus for processing, for example, a continuous shot image by an image pickup device or a continuous shot image stored in advance in a storage device.
【0002】[0002]
【従来の技術】従来より、高速連写機能を有する各種の
撮像装置(撮像管、CCD型センサ、CMOS型センサ
など)が提供されている。また、この種の高速連写を行
う撮像装置としては、例えば特開2000−13681
号公報に開示されるように、複数枚の連写画像から背景
を分離することにより、静止被写体の撮像時に写った移
動体像を除去するようにしたものが提案されている。2. Description of the Related Art Conventionally, various image pickup devices (image pickup tubes, CCD type sensors, CMOS type sensors, etc.) having a high-speed continuous shooting function have been provided. Further, as an image pickup apparatus for performing high-speed continuous shooting of this type, for example, Japanese Patent Laid-Open No. 2000-13681
As disclosed in Japanese Patent Laid-Open Publication No. JP-A-2003-264, there is proposed a method in which a background is separated from a plurality of continuously shot images so as to remove a moving body image taken at the time of capturing a still subject.
【0003】[0003]
【発明が解決しようとする課題】しかしながら、従来の
高速連写では、連写スピードを上げると感光期間が短く
なるため、撮像装置の感度が低下し、その分、撮像信号
のゲインを増大してもS/Nが悪くなるという問題点が
あった。特に、CMOS型センサでは、読み出しの自由
度が高いため、連写スピードはやり方によってはいくら
でも上げることができる。しかし、特殊な状況では強力
な光源を用いることができるが、そうでない一般の場合
は、連写スピードの限界をS/Nが決定していた。な
お、このような感度の低下によって生じるS/Nを低下
させるノイズは、ランダムノイズ(時間的に信号値がラ
ンダムに揺らぐノイズ)である。However, in the conventional high-speed continuous shooting, if the continuous shooting speed is increased, the exposure period is shortened, so that the sensitivity of the image pickup apparatus is lowered and the gain of the image pickup signal is increased accordingly. However, there is a problem that the S / N becomes worse. In particular, since the CMOS sensor has a high degree of freedom in reading, the continuous shooting speed can be increased depending on the method. However, although a strong light source can be used in a special situation, in the general case where it is not, the S / N determines the limit of the continuous shooting speed. The noise that reduces the S / N caused by such a decrease in sensitivity is random noise (noise in which the signal value randomly fluctuates over time).
【0004】また、上記特開2000−13681号公
報に開示される撮像装置では、複数枚の連写画像から背
景を分離する方法として、複数枚の画像を「順次」比較
し、一致した画像部分を「順次」合成しているが、この
方法では画像枚数だけ比較・合成が必要となるので、そ
のための計算量が膨大になるという問題がある。また、
背景を分離したところでランダムノイズの問題は解決し
ていないという問題がある。Further, in the image pickup apparatus disclosed in Japanese Patent Laid-Open No. 2000-13681, as a method of separating a background from a plurality of consecutively shot images, a plurality of images are compared "sequentially" and the matched image portions However, this method requires a large number of images to be compared and combined, which results in an enormous amount of calculation. Also,
There is a problem that the problem of random noise is not solved when the background is separated.
【0005】そこで本発明の目的は、撮像装置の連写画
像について簡易な演算処理によって背景画像を作成する
ことができ、さらに背景画像のランダムノイズを除去す
ることも可能な信号処理方法および装置を提供すること
にある。Therefore, an object of the present invention is to provide a signal processing method and apparatus capable of creating a background image by a simple arithmetic process for continuous images of an image pickup apparatus and further removing random noise of the background image. To provide.
【0006】[0006]
【課題を解決するための手段】本発明は前記目的を達成
するため、連写された複数枚の元画像から各画素に対す
る画素値のヒストグラムを作成するヒストグラム作成ス
テップと、前記ヒストグラム作成ステップによって作成
されたヒストグラムに基づいて背景画像を作成する背景
画像作成ステップとを有することを特徴とする。また本
発明は、連写された複数枚の元画像から各画素に対する
画素値のヒストグラムを作成するヒストグラム作成手段
と、前記ヒストグラム作成ステップによって作成された
ヒストグラムに基づいて背景画像を作成する背景画像作
成手段を有することを特徴とする。In order to achieve the above-mentioned object, the present invention creates a histogram of pixel values for each pixel from a plurality of continuous original images, and a histogram creating step. A background image creating step for creating a background image based on the generated histogram. Further, the present invention is a histogram creating means for creating a histogram of pixel values for each pixel from a plurality of continuous original images, and a background image creating for creating a background image based on the histogram created by the histogram creating step. It is characterized by having means.
【0007】このような本発明の信号処理方法および装
置では、連写された複数枚の元画像から各画素に対する
画素値のヒストグラムを作成し、このヒストグラムに基
づいて背景画像を作成する。したがって、ヒストグラム
を作るという複雑な計算が不要な処理により、順次画像
を比較するような煩雑な処理をせずに、全ての連写画像
のデータから一括して背景画像を作成することができ
る。In such a signal processing method and apparatus of the present invention, a histogram of pixel values for each pixel is created from a plurality of continuously shot original images, and a background image is created based on this histogram. Therefore, it is possible to collectively create the background image from the data of all the continuous images without performing a complicated process of sequentially comparing images by a process that does not require a complicated calculation of creating a histogram.
【0008】[0008]
【発明の実施の形態】以下、本発明による信号処理方法
および装置の実施の形態例について図面を用いて詳細に
説明する。なお、以下に説明する実施の形態は、本発明
の好適な具体例であり、技術的に好ましい種々の限定が
付されているが、本発明の範囲は、以下の説明におい
て、特に本発明を限定する旨の記載がない限り、これら
の態様に限定されないものとする。本実施の形態による
信号処理方法および装置は、CMOS型センサの連写画
像から各画素に対して画素値のヒストグラムを作成し、
頻度が最大となる画素値によって背景画像を作成する。
そして、連写画像の画素値が背景画像としきい値以内の
差の場合は、連写画像の画素値を背景画像の画素値に置
き換えることにより、背景をランダムノイズのない画像
とし、また、動き部分を際立たせ、画像データサイズを
小さくできるようにしたものである。BEST MODE FOR CARRYING OUT THE INVENTION Embodiments of a signal processing method and apparatus according to the present invention will be described in detail below with reference to the drawings. The embodiments described below are preferred specific examples of the present invention, and various technically preferable limitations are given. However, the scope of the present invention is not limited to the present invention in the following description. Unless otherwise stated, the present invention is not limited to these embodiments. The signal processing method and apparatus according to the present embodiment creates a histogram of pixel values for each pixel from a continuous image of a CMOS sensor,
A background image is created with a pixel value that maximizes the frequency.
If the pixel value of the continuous shot image is within a threshold value of the background image, the pixel value of the continuous shot image is replaced with the pixel value of the background image to make the background an image without random noise, and The image data size can be reduced by making the parts stand out.
【0009】まず、本発明の第1の実施の形態例につい
て説明する。図1は本発明の第1の実施の形態例による
信号処理装置の概略構成を示すブロック図である。本実
施の形態例による信号処理装置は、記憶装置10、ヒス
トグラム作成部20、背景画像作成回路30、および比
較・置換回路40を有する。記憶装置10は、例えば1
00枚分の連写画像データを格納するものであり、ハー
ドディスク等で構成されている。なお、図1の例では連
写画像データを100枚としているが、例えば10枚〜
100枚の範囲の連写画像データを扱うものとする。ヒ
ストグラム作成部20は、連写画像データから各画素毎
の画素値のヒストグラムを作成するものであり、この作
成したヒストグラムを格納するフレームメモリ1を有し
て構成されている。First, a first embodiment of the present invention will be described. FIG. 1 is a block diagram showing a schematic configuration of a signal processing device according to a first embodiment of the present invention. The signal processing device according to the present embodiment has a storage device 10, a histogram creation unit 20, a background image creation circuit 30, and a comparison / replacement circuit 40. The storage device 10 is, for example, 1
It stores 00 continuously shot image data, and is configured by a hard disk or the like. In the example of FIG. 1, the continuous shooting image data is set to 100, but for example, 10 to
It is assumed that continuous shot image data in a range of 100 sheets is handled. The histogram creation unit 20 creates a histogram of pixel values for each pixel from the continuously shot image data, and has a frame memory 1 for storing the created histogram.
【0010】背景画像作成回路30は、ヒストグラム作
成部20で作成したヒストグラムから頻度が最大となる
画素値を当該画素の背景値として選択して背景画像を作
成するものであり、この作成した背景画像を格納するフ
レームメモリ2を有して構成されている。比較・置換回
路40は、記憶装置10からの連写画像データを順次読
み込み、背景画像作成回路30によって作成された背景
画像の各画素値と比較し、指定されたしきい値以下の差
であれば、連写画像データの画素値を背景画像の画素値
に置き換える処理を行うものである。The background image creating circuit 30 creates a background image by selecting the pixel value having the highest frequency from the histogram created by the histogram creating section 20 as the background value of the pixel, and the created background image. And a frame memory 2 for storing. The comparison / replacement circuit 40 sequentially reads the continuously shot image data from the storage device 10, compares it with each pixel value of the background image created by the background image creation circuit 30, and if the difference is less than or equal to a specified threshold value. For example, the pixel value of the continuous shot image data is replaced with the pixel value of the background image.
【0011】次に、このような信号処理装置の処理動作
の詳細について説明する。図2は連写画像データに含ま
れるある画素の画素値の変化とヒストグラムの一例を示
す説明図である。図2(A)に示すように、連写画像の
各画素には、背景部分1Aと動き部分1Bとを含み、動
き部分1Bでは画素値が大きく変動する。また、それ以
外の部分は、背景部分1Aであり、変動幅は小さいが、
時間(連写画像の順番)と共に、ランダムノイズによる
画素値のばらつきが生じている。Next, details of the processing operation of such a signal processing apparatus will be described. FIG. 2 is an explanatory diagram showing an example of a change in the pixel value of a pixel included in the continuously shot image data and a histogram. As shown in FIG. 2A, each pixel of the continuous shot image includes a background portion 1A and a moving portion 1B, and the pixel value greatly changes in the moving portion 1B. Further, the other portion is the background portion 1A, and the fluctuation range is small,
Pixel value variations due to random noise occur with time (the order of consecutively shot images).
【0012】このような連写画像データから、図2
(B)に示すような画素値と出現頻度のヒストグラムを
作成する。このようなヒストグラムを各画素に対して作
成し、ヒストグラム作成部20のフレームメモリ1に記
録する。次に、このような各画素毎のヒストグラムから
頻度が最大となる画素値を選択し、この画素値を当該画
素における背景値として決定する。そして、この背景値
を背景画像作成回路30のフレームメモリ2に格納し、
背景画像を作成する。この後、再び連写画像データを順
次読み込み、比較・置換回路40においてフレームメモ
リ2の背景画像と比較する。ここで、連写画像の画素値
と背景画像の画素値との差が予め設定されたしきい値以
下の差であれば、連写画像の画素値を背景画像の画素値
に書き換える。また、しきい値より大きい差であれば、
そのまま何もしない。このようにして補正済み連写画像
データを得る。そして、以上のようにして得られた背景
画像作成回路30のフレームメモリ2の背景画像と、比
較・置換回路40の補正済み連写画像データを出力す
る。From such continuous shot image data, as shown in FIG.
A histogram of pixel values and appearance frequencies as shown in (B) is created. Such a histogram is created for each pixel and recorded in the frame memory 1 of the histogram creating unit 20. Next, a pixel value with the highest frequency is selected from such a histogram for each pixel, and this pixel value is determined as the background value for the pixel. Then, this background value is stored in the frame memory 2 of the background image creating circuit 30,
Create a background image. After that, the continuously shot image data is sequentially read again and compared with the background image in the frame memory 2 in the comparison / replacement circuit 40. If the difference between the pixel value of the continuous shot image and the pixel value of the background image is less than or equal to a preset threshold value, the pixel value of the continuous shot image is rewritten to the pixel value of the background image. If the difference is greater than the threshold,
Do nothing as it is. In this way, corrected continuous shot image data is obtained. Then, the background image in the frame memory 2 of the background image creating circuit 30 obtained as described above and the corrected continuous shot image data of the comparison / replacement circuit 40 are output.
【0013】上記しきい値は、例えば画像データが10
bitデジタルデータの場合は、±3LSB(なお、L
SBとは、デジタルの1単位であり、例えば10bit
は、210=1024LSB)に設定することができ
る。あるいは、背景画像の画素値がnLSBである場合
に、INT[(√n)/2+2]LSBとすることがで
きる。ここで、INTは、実数値の少数点以下を切り捨
てて整数化する関数である。これは、ランダムノイズの
一成分であるショットノイズが、信号値の平方根に比例
するので、それに対応したしきい値調節機能を入れたも
のである。また、+2の部分は、ショットノイズ以外の
回路系等に起因する一定値のランダムノイズに対応させ
ている。すなわち、本例で用いるしきい値は、信号値の
大きい場合に大きい値となるように設定され、その関数
形が定数と信号値の1/2乗に比例する項の和となって
いる。The threshold value is, for example, 10 for image data.
In the case of bit digital data, ± 3 LSB (L
SB is a digital unit, for example, 10 bits.
Can be set to 210 = 1024 LSB). Alternatively, when the pixel value of the background image is nLSB, INT [(√n) / 2 + 2] LSB can be set. Here, INT is a function that rounds down the decimal points below the real value to make it an integer. This is because the shot noise, which is one component of the random noise, is proportional to the square root of the signal value, so a threshold adjustment function corresponding to it is added. Further, the +2 portion corresponds to random noise of a constant value due to a circuit system other than shot noise. That is, the threshold value used in this example is set to a large value when the signal value is large, and its functional form is the sum of a constant and a term proportional to the 1/2 power of the signal value.
【0014】以上のような本実施の形態例による信号処
理方法は、背景画像を順次比較して構成するのではな
く、全部の画像を読み込んで得たヒストグラムから一度
に背景画像を作成するものである。ここで、ヒストグラ
ムを作成するのは、各画素のデータを置いて行くだけの
処理であり、時間的、空間的相関に関する計算処理を一
切しないので、簡単な処理で実行でき、処理速度が速い
ものである。また、元画像と背景画像との比較により、
その差がしきい値以下の場合に元画像のデータを置き換
えることにより、元画像の背景部分のランダムノイズを
取り除くものである。したがって、背景部分と動き部分
との間に最低でもしきい値分の信号差ができるので、動
き部分の輪郭がはっきりするという利点がある。The signal processing method according to the present embodiment as described above does not construct the background images sequentially by comparison, but creates the background image at once from the histogram obtained by reading all the images. is there. Here, creating a histogram is a process that only puts data of each pixel and does not perform any calculation process related to temporal and spatial correlation, so it can be executed with a simple process and has a high processing speed. Is. Also, by comparing the original image with the background image,
When the difference is less than or equal to the threshold value, the original image data is replaced to remove random noise in the background portion of the original image. Therefore, since there is a signal difference of at least the threshold value between the background portion and the moving portion, there is an advantage that the contour of the moving portion becomes clear.
【0015】次に、本発明の第2の実施の形態例につい
て説明する。図3は本発明の第2の実施の形態例による
信号処理装置の概略構成を示すブロック図である。図示
のように、この信号処理装置は、記憶装置10、ヒスト
グラム作成部20、背景画像作成回路30とを有する点
で図1に示す例と共通であり、記憶装置10、ヒストグ
ラム作成部20、および背景画像作成回路30の動作も
上述した第1の実施の形態例と共通であるが、本実施の
形態例では、比較・置換回路40ではなく比較・差分回
路41を備える。比較・差分回路41において、連写画
像を背景画像と比較する際に、背景画像に対して指定さ
れたしきい値以上の差がある画素値(すなわち、100
枚の差分データ)のみを出力する。Next, a second embodiment of the present invention will be described. FIG. 3 is a block diagram showing a schematic configuration of a signal processing device according to the second embodiment of the present invention. As shown in the figure, this signal processing device is common to the example shown in FIG. 1 in that it includes a storage device 10, a histogram creation unit 20, and a background image creation circuit 30, and the storage device 10, the histogram creation unit 20, and The operation of the background image creating circuit 30 is also common to the above-described first embodiment, but this embodiment includes a comparison / difference circuit 41 instead of the comparison / replacement circuit 40. In the comparison / difference circuit 41, when comparing the continuous shot image with the background image, pixel values having a difference equal to or more than a specified threshold value with respect to the background image (that is, 100
Only the difference data of one sheet) is output.
【0016】図4は図3に示す信号処理装置における背
景画像と差分画像の処理方法を示す説明図である。図示
のように分離して格納した背景画像2と差分画像3−
1、3−2、3−3、……とを用いて連写画像を再構成
するには、背景画像は全ての連写画像に対して用い、差
分画像データがあるところは差分画像データを用いて表
示する。また、インデックスとして1枚目だけを表示
し、要求があったときだけ100枚分の展開を行うよう
にしてもよい。このような信号処理方法を採用すること
により、処理するデータ量の縮小化を達成できる。な
お、しきい値については上述した第1の実施の形態例と
同様に設定できる。また、処理が簡単で速いこと、背景
のランダムノイズがなくなること、動き部分の輪郭がは
っきりするといった利点は、第1の実施の形態と同様で
ある。FIG. 4 is an explanatory diagram showing a method of processing the background image and the difference image in the signal processing device shown in FIG. The background image 2 and the difference image 3-stored separately as shown in the figure
In order to reconstruct a continuous shot image using 1, 3-2, 3-3, ..., The background image is used for all continuous shot images, and the difference image data is used where there is difference image data. Use to display. Alternatively, only the first page may be displayed as an index and 100 pages may be expanded only when requested. By adopting such a signal processing method, it is possible to reduce the amount of data to be processed. The threshold value can be set in the same manner as in the first embodiment described above. Further, the advantages that the processing is simple and fast, the random noise in the background is eliminated, and the contour of the moving portion is clear are the same as those in the first embodiment.
【0017】次に、本発明の第3の実施の形態例につい
て説明する。上述した第1、第2の実施の形態例では、
すでに記憶装置10に記録済みの画像データを変換した
が、以下の実施の形態例では、撮影時点で連写画像を出
力するためのデジタルカメラの構成例について説明す
る。図5は本発明の第3の実施の形態によるデジタルカ
メラの構成例を示すブロック図である。なお、破線Aで
示す部分が本発明に係る信号処理を行う信号処理回路で
ある。また、図6は図5に示す各処理ブロックのうち本
発明に係る機能に関係するブロックを取り出して示した
ブロック図である。Next, a third embodiment of the present invention will be described. In the above-described first and second exemplary embodiments,
The image data already recorded in the storage device 10 has been converted, but in the following embodiments, a configuration example of a digital camera for outputting continuous images at the time of shooting will be described. FIG. 5 is a block diagram showing a configuration example of a digital camera according to the third embodiment of the present invention. The portion indicated by the broken line A is a signal processing circuit that performs signal processing according to the present invention. Further, FIG. 6 is a block diagram showing, out of the processing blocks shown in FIG. 5, blocks related to the functions according to the present invention.
【0018】図5に示すように、このデジタルカメラ
は、撮像素子としてCMOS型センサ60を用いたもの
であり、被写体像をCMOS型センサ60に結像させる
光学系50と、本発明に係る信号処理を行う信号処理回
路70と、手ぶれ補正を行うための手ぶれ補正回路80
と、信号処理回路70による信号処理以外の信号処理
(例えば輝度信号と色信号の分離など)を行う信号処理
回路90と、撮像画像を表示する液晶表示装置100
と、各種入力を行う操作ボタン類等よりなる入力装置1
10と、駆動電源等を供給する電源系120と、システ
ム全体を制御する制御回路130と、この制御回路13
0が動作するためのプログラムや固定データを格納した
ROM140と、各種データの書き込みや読み出しに用
いるDRAM150と、外部からの各種情報を設定する
ためのメモリカードリーダ160等を有する。なお、C
MOS型センサ60には、信号レベルが適度になるよう
にゲインを調節するPGA(Programmable Gain Amp )
回路やアナログ撮像信号をデジタル信号に変換して出力
するためのA/D変換器を設けた構成例を示している。As shown in FIG. 5, this digital camera uses a CMOS type sensor 60 as an image pickup element, and an optical system 50 for forming a subject image on the CMOS type sensor 60, and a signal according to the present invention. A signal processing circuit 70 for performing processing and an image stabilization circuit 80 for performing image stabilization.
A signal processing circuit 90 that performs signal processing other than signal processing by the signal processing circuit 70 (for example, separation of a luminance signal and a color signal), and a liquid crystal display device 100 that displays a captured image.
And an input device 1 including operation buttons for various inputs
10, a power supply system 120 for supplying driving power, a control circuit 130 for controlling the entire system, and the control circuit 13
It has a ROM 140 storing a program for operating 0 and fixed data, a DRAM 150 used for writing and reading various data, a memory card reader 160 for setting various information from the outside, and the like. Note that C
The MOS sensor 60 has a PGA (Programmable Gain Amp) that adjusts the gain so that the signal level becomes appropriate.
The example of composition provided with the A / D converter for converting a circuit and an analog image pick-up signal into a digital signal, and outputting it is shown.
【0019】また、信号処理回路70は、連写画像デー
タを順次記憶する連写画像バッファ71と、連写画像デ
ータからヒストグラムを作成して記憶するヒストグラム
作成部(フレームメモリ)72と、このヒストグラム作
成部72によって得られたヒストグラムから背景画像を
作成して記憶する背景画像バッファ73と、連写画像バ
ッファ71に格納された連写画像と背景画像バッファ7
3に格納された背景画像とを比較して上述した補正済み
連写画像データ(図1)または差分データ(図3)を出
力する比較・置換回路74とを有する。なお、図6に示
す例では、信号処理回路70で補正済み連写画像データ
を出力し、信号処理回路90で色関係等の信号処理をし
て出力する例である。このような構成のデジタルカメラ
では、連写されたCMOS型センサの出力を信号処理回
路70に入力し、上述した第1の実施の形態や第2の実
施の形態で説明した処理を行い、後段の信号処理回路9
0に出力することにより、迅速な処理で背景のランダム
ノイズを除去し、動き部分の輪郭がはっきりした連写画
像出力を行うことが可能となる。なお、その他の構成は
基本的には通常のデジタルカメラに搭載されたものであ
るので説明は省略する。Further, the signal processing circuit 70 includes a continuous shot image buffer 71 for sequentially storing continuous shot image data, a histogram creating section (frame memory) 72 for creating and storing a histogram from the continuous shot image data, and this histogram. A background image buffer 73 that creates and stores a background image from the histogram obtained by the creation unit 72, and the continuously shot image and background image buffer 7 stored in the continuously shot image buffer 71.
3 and a background image stored in No. 3, and outputs the above-described corrected continuous shot image data (FIG. 1) or difference data (FIG. 3). The example shown in FIG. 6 is an example in which the signal processing circuit 70 outputs the corrected continuous shot image data, and the signal processing circuit 90 performs signal processing such as color relationship output. In the digital camera having such a configuration, the output of the CMOS-type sensor that has been continuously shot is input to the signal processing circuit 70, and the processing described in the above-described first and second embodiments is performed, and the latter stage is performed. Signal processing circuit 9
By outputting to 0, random noise in the background can be removed by rapid processing, and continuous shooting images with clear contours of moving parts can be output. Note that the other configurations are basically mounted on a normal digital camera, and therefore description thereof will be omitted.
【0020】また、図7〜図9は、図6に示した各処理
ブロックを入れ換えた構成した変形例を示すブロック図
である。なお、これらの図では、図6に対応して本発明
に係る機能に関する部分を示しており、その他の周辺ブ
ロックは例えば図5に示す例と共通であるので省略して
いる。図7に示す例は、図5および図6に示した信号処
理回路90および手ぶれ補正回路80を信号処理回路7
0の前段に設けて信号処理回路170としたものであ
る。この場合は色信号処理した信号に連写画像処理を行
うことになる。また、図8に示す例は、図6の例に対し
て、背景画像と連写差分画像を出力する点が異なる。そ
のために、比較・置換回路74ではなく比較・差分回路
75を備えている。色信号等の処理を行う信号処理回路
180は、背景画像と連写差分画像を受取り、それぞれ
に対する処理をした後に出力する。さらに、図9に示す
例は、図7に示した構成に対して、背景画像と連写差分
画像を出力す点が異なる。そのために、比較・置換回路
74ではなく比較・差分回路75を備えている。7 to 9 are block diagrams showing modified examples in which the processing blocks shown in FIG. 6 are replaced. It should be noted that in these figures, the portions related to the functions according to the present invention are shown corresponding to FIG. 6, and other peripheral blocks are omitted since they are common to the example shown in FIG. 5, for example. In the example shown in FIG. 7, the signal processing circuit 90 and the camera shake correction circuit 80 shown in FIGS.
The signal processing circuit 170 is provided before 0. In this case, continuous image processing is performed on the color signal processed signal. The example shown in FIG. 8 is different from the example in FIG. 6 in that a background image and a continuous shooting difference image are output. Therefore, a comparison / difference circuit 75 is provided instead of the comparison / replacement circuit 74. A signal processing circuit 180 for processing a color signal or the like receives the background image and the continuous shooting difference image, processes them, and outputs them. Further, the example shown in FIG. 9 differs from the configuration shown in FIG. 7 in that a background image and a continuous shooting difference image are output. Therefore, a comparison / difference circuit 75 is provided instead of the comparison / replacement circuit 74.
【0021】以上のような本発明の実施の形態例によれ
ば、次のような効果を得ることが可能である。
(1)ヒストグラムを作るという、複雑な計算が不要な
処理により、順次画像を比較するような煩雑な処理をせ
ずに、全ての連写画像のデータから一括して背景画像を
作成することができる。
(2)背景画像のランダムノイズを除去し、S/Nを上
げることができる。連写スピードも上げることができ
る。
(3)動き部分と背景画像とがしきい値分以上の差を有
するため、動き部分の輪郭がはっきりする。
(4)第2の実施の形態では、1枚の背景画像と動き部
分のみの差分連写画像を保持して処理することができ、
データ量を減少することが可能となる。According to the embodiment of the present invention as described above, the following effects can be obtained. (1) It is possible to create a background image collectively from the data of all continuous shot images without performing a complicated process of sequentially comparing images by a process that does not require complicated calculation, such as creating a histogram. it can. (2) The random noise of the background image can be removed to improve the S / N. The continuous shooting speed can also be increased. (3) Since the moving part and the background image have a difference equal to or more than the threshold value, the contour of the moving part is clear. (4) In the second embodiment, it is possible to hold and process one background image and the differential continuous shooting image of only the moving part,
It is possible to reduce the amount of data.
【0022】なお、以上はCMOS型センサを撮像素子
としたデジタルカメラに本実施の形態による信号処理を
適用したが、本発明はこれに限定されるものではなく、
撮像管やCCD型センサを用いた各種のカメラシステム
に適用し得るものである。また、本発明の信号処理装置
は、カメラシステムに限らず、画像を処理する各種のシ
ステムに広く適用し得るものである。Although the signal processing according to the present embodiment has been applied to the digital camera using the CMOS type sensor as the image pickup element, the present invention is not limited to this.
It can be applied to various camera systems using an image pickup tube or a CCD type sensor. Further, the signal processing device of the present invention is not limited to the camera system, but can be widely applied to various systems that process images.
【0023】[0023]
【発明の効果】以上説明したように本発明の信号処理方
法によれば、連写された複数枚の元画像から各画素に対
する画素値のヒストグラムを作成し、このヒストグラム
に基づいて背景画像を作成することから、ヒストグラム
を作るという複雑な計算が不要な処理により、順次画像
を比較するような煩雑な処理をせずに、全ての連写画像
のデータから一括して背景画像を作成することができ
る。また、ヒストグラムから作成された背景画像の各画
素の画素値と元画像の対応する各画素の画素値との差を
所定のしきい値と比較し、画素値の差がしきい値以内で
ある場合には、元画像の画素値を背景画像の画素値に置
換することにより、背景画像のランダムノイズを除去す
ることも可能である。As described above, according to the signal processing method of the present invention, a histogram of pixel values for each pixel is created from a plurality of continuously shot original images, and a background image is created based on this histogram. Therefore, it is possible to create a background image collectively from the data of all continuous shot images without performing a complicated process of sequentially comparing images by a process that does not require complicated calculation of creating a histogram. it can. Further, the difference between the pixel value of each pixel of the background image created from the histogram and the pixel value of each corresponding pixel of the original image is compared with a predetermined threshold value, and the difference in pixel value is within the threshold value. In this case, it is also possible to remove the random noise of the background image by replacing the pixel value of the original image with the pixel value of the background image.
【0024】また、本発明の信号処理装置によれば、連
写された複数枚の元画像から各画素に対する画素値のヒ
ストグラムを作成し、このヒストグラムに基づいて背景
画像を作成することから、ヒストグラムを作るという複
雑な計算が不要な処理により、順次画像を比較するよう
な煩雑な処理をせずに、全ての連写画像のデータから一
括して背景画像を作成することができる。また、ヒスト
グラムから作成された背景画像の各画素の画素値と元画
像の対応する各画素の画素値との差を所定のしきい値と
比較し、画素値の差がしきい値以内である場合には、元
画像の画素値を背景画像の画素値に置換することによ
り、背景画像のランダムノイズを除去することも可能で
ある。Further, according to the signal processing apparatus of the present invention, a histogram of pixel values for each pixel is created from a plurality of continuous original images, and a background image is created based on this histogram. By performing a process that does not require a complicated calculation of creating a background image, it is possible to collectively create a background image from the data of all continuous shot images without performing a complicated process of sequentially comparing images. Further, the difference between the pixel value of each pixel of the background image created from the histogram and the pixel value of each corresponding pixel of the original image is compared with a predetermined threshold value, and the difference in pixel value is within the threshold value. In this case, it is also possible to remove the random noise of the background image by replacing the pixel value of the original image with the pixel value of the background image.
【図1】本発明の第1の実施の形態例による信号処理装
置の概略構成を示すブロック図である。FIG. 1 is a block diagram showing a schematic configuration of a signal processing device according to a first exemplary embodiment of the present invention.
【図2】図1に示す信号処理装置で扱う連写画像データ
に含まれる画素値の変化とヒストグラムの一例を示す説
明図である。FIG. 2 is an explanatory diagram showing an example of changes in pixel values and histograms included in continuously shot image data handled by the signal processing device shown in FIG.
【図3】本発明の第2の実施の形態例による信号処理装
置の概略構成を示すブロック図である。FIG. 3 is a block diagram showing a schematic configuration of a signal processing device according to a second exemplary embodiment of the present invention.
【図4】図3に示す信号処理装置における背景画像と差
分画像の処理方法を示す説明図である。FIG. 4 is an explanatory diagram showing a method of processing a background image and a difference image in the signal processing device shown in FIG.
【図5】図1に示す信号処理装置を搭載したデジタルカ
メラの一例を示すブロック図である。5 is a block diagram showing an example of a digital camera equipped with the signal processing device shown in FIG.
【図6】図5に示すデジタルカメラの要部のブロックを
取り出して示すブロック図である。FIG. 6 is a block diagram showing a block of essential parts of the digital camera shown in FIG.
【図7】図6に示した各処理ブロックを入れ換えた構成
した第1の変形例を示すブロック図である。7 is a block diagram showing a first modified example in which the processing blocks shown in FIG. 6 are replaced.
【図8】図6に示した各処理ブロックを図3に示した信
号処理装置に入れ換えて構成した第2の変形例を示すブ
ロック図である。8 is a block diagram showing a second modification example in which the processing blocks shown in FIG. 6 are replaced with the signal processing device shown in FIG.
【図9】図8に示した各処理ブロックを入れ換えて構成
した第3の変形例を示すブロック図である。9 is a block diagram showing a third modified example configured by replacing the processing blocks shown in FIG.
10……記憶装置、20、72……ヒストグラム作成
部、30……背景画像作成回路、40、74……比較・
置換回路、75……比較・差分回路、50……光学系、
60……CMOS型センサ、70、90、170、18
0……信号処理回路、71……連写画像バッファ、73
……背景画像バッファ、80……手ぶれ補正回路、10
0……液晶表示装置、110……入力装置、120……
電源系、130……制御回路、140……ROM、15
0……DRAM、160……メモリカードリーダ。10 ... Storage device, 20, 72 ... Histogram creating unit, 30 ... Background image creating circuit, 40, 74 ... Comparison /
Replacement circuit, 75 ... Comparison / difference circuit, 50 ... Optical system,
60 ... CMOS type sensor, 70, 90, 170, 18
0 ... Signal processing circuit, 71 ... Continuous shooting image buffer, 73
...... Background image buffer, 80 …… Image stabilization circuit, 10
0 ... Liquid crystal display device, 110 ... Input device, 120 ...
Power system, 130 ... Control circuit, 140 ... ROM, 15
0 ... DRAM, 160 ... Memory card reader.
Claims (16)
対する画素値のヒストグラムを作成するヒストグラム作
成ステップと、 前記ヒストグラム作成ステップによって作成されたヒス
トグラムに基づいて背景画像を作成する背景画像作成ス
テップと、 を有することを特徴とする信号処理方法。1. A histogram creating step of creating a histogram of pixel values for each pixel from a plurality of continuously shot original images, and a background image creating of creating a background image based on the histogram created by the histogram creating step. A signal processing method comprising:
ストグラムによる頻度の最大点から背景画像を作成する
ことを特徴とする請求項1記載の信号処理方法。2. The signal processing method according to claim 1, wherein in the background image creating step, a background image is created from a maximum frequency point of the histogram.
よって作成された背景画像の各画素の画素値と前記元画
像の対応する各画素の画素値との差を所定のしきい値と
比較し、画素値の差が前記しきい値以内である場合に
は、元画像の画素値を背景画像の画素値に置換する比較
・置換ステップを有することを特徴とする請求項1記載
の信号処理方法。3. The difference between the pixel value of each pixel of the background image created by the background image creating step of the original image and the pixel value of each corresponding pixel of the original image is compared with a predetermined threshold value, 2. The signal processing method according to claim 1, further comprising a comparing / replacement step of replacing the pixel value of the original image with the pixel value of the background image when the difference between the pixel values is within the threshold value.
前記しきい値より大きい場合にのみ元画像の画素値を記
憶することを特徴とする請求項3記載の信号処理方法。4. The signal processing method according to claim 3, wherein the pixel value of the original image is stored only when the difference between the pixel values is larger than the threshold value in the comparing and replacing step.
場合に大きい値となるように設定されていることを特徴
とする請求項2記載の信号処理方法。5. The signal processing method according to claim 2, wherein the predetermined threshold value is set to a large value when the signal value is large.
1/2乗に比例する項の和であることを特徴とする請求
項5記載の信号処理方法。6. The signal processing method according to claim 5, wherein the functional form of the threshold value is a sum of a constant and a term proportional to the 1/2 power of the signal value.
された背景画像と、前記比較・置換ステップによって画
素値の差が前記しきい値より大きい場合に記憶された画
素値とを用いて、複数枚の元画像を再構成する再構成ス
テップを有することを特徴とする請求項4記載の信号処
理方法。7. Using a background image created by the background image creating step and a pixel value stored when the difference in pixel value is larger than the threshold value by the comparing / replacement step, a plurality of pixel values are stored. The signal processing method according to claim 4, further comprising a reconstruction step of reconstructing an original image.
・置換ステップによって画素値の差が前記しきい値より
大きい場合に記憶された画素値がある画素について、当
該画素値を前記背景画像の画素値に優先して出力するこ
とを特徴とする請求項7記載の信号処理方法。8. In the reconstructing step, for a pixel having a pixel value stored when the pixel value difference in the comparing / replacement step is larger than the threshold value, the pixel value is set to the pixel value of the background image. 8. The signal processing method according to claim 7, wherein the signal is output in priority to the output.
対する画素値のヒストグラムを作成するヒストグラム作
成手段と、 前記ヒストグラム作成手段によって作成されたヒストグ
ラムに基づいて背景画像を作成する背景画像作成手段
と、 を有することを特徴とする信号処理装置。9. A histogram creating means for creating a histogram of pixel values for each pixel from a plurality of continuous original images, and a background image creating for creating a background image based on the histogram created by the histogram creating means. A signal processing device comprising:
トグラムによる頻度の最大点から背景画像を作成するこ
とを特徴とする請求項9記載の信号処理装置。10. The signal processing apparatus according to claim 9, wherein the background image creating means creates a background image from the maximum frequency of the histogram.
って作成された背景画像の各画素の画素値と前記元画像
の対応する各画素の画素値との差を所定のしきい値と比
較し、画素値の差が前記しきい値以内である場合には、
元画像の画素値を背景画像の画素値に置換する比較・置
換手段を有することを特徴とする請求項9記載の信号処
理装置。11. The difference between the pixel value of each pixel of the background image created by the background image creating means of the original image and the pixel value of each corresponding pixel of the original image is compared with a predetermined threshold value, If the pixel value difference is within the threshold,
10. The signal processing device according to claim 9, further comprising a comparison / replacement unit that replaces the pixel value of the original image with the pixel value of the background image.
記しきい値より大きい場合にのみ元画像の画素値を記憶
することを特徴とする請求項11記載の信号処理装置。12. The signal processing apparatus according to claim 11, wherein the pixel value of the original image is stored only when the difference between the pixel values is larger than the threshold value by the comparison / replacement means.
い場合に大きい値となるように設定されていることを特
徴とする請求項10記載の信号処理装置。13. The signal processing apparatus according to claim 10, wherein the predetermined threshold value is set to a large value when the signal value is large.
の1/2乗に比例する項の和であることを特徴とする請
求項13記載の信号処理装置。14. The signal processing device according to claim 13, wherein the functional form of the threshold value is a sum of a constant and a term proportional to a 1/2 power of a signal value.
れた背景画像と、前記比較・置換手段によって画素値の
差が前記しきい値より大きい場合に記憶された画素値と
を用いて、複数枚の元画像を再構成する再構成手段を有
することを特徴とする請求項12記載の信号処理装置。15. A plurality of sheets are created using the background image created by the background image creating means and the pixel value stored by the comparing / replacement means when the difference in pixel value is larger than the threshold value. 13. The signal processing apparatus according to claim 12, further comprising a reconstructing unit that reconstructs an original image.
置換手段によって画素値の差が前記しきい値より大きい
場合に記憶された画素値がある画素について、当該画素
値を前記背景画像の画素値に優先して出力することを特
徴とする請求項15記載の信号処理装置。16. The reconstructing means comprises:
16. The pixel value having a pixel value stored when the pixel value difference is larger than the threshold value by the replacing means outputs the pixel value with priority over the pixel value of the background image. The signal processing device described.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002025974A JP3965558B2 (en) | 2002-02-01 | 2002-02-01 | Signal processing method and apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002025974A JP3965558B2 (en) | 2002-02-01 | 2002-02-01 | Signal processing method and apparatus |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003230045A true JP2003230045A (en) | 2003-08-15 |
JP3965558B2 JP3965558B2 (en) | 2007-08-29 |
Family
ID=27747963
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002025974A Expired - Fee Related JP3965558B2 (en) | 2002-02-01 | 2002-02-01 | Signal processing method and apparatus |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3965558B2 (en) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2008103772A1 (en) * | 2007-02-20 | 2008-08-28 | Microsoft Corporation | Pixel extraction and replacement |
WO2010018610A1 (en) * | 2008-08-11 | 2010-02-18 | 株式会社エム・ソフト | Background video generating method and background video generating system |
JP2010282616A (en) * | 2010-05-14 | 2010-12-16 | Ricoh Co Ltd | Image information processing system and image information processing method |
CN102025895A (en) * | 2009-09-18 | 2011-04-20 | 索尼公司 | Imaging apparatus and method, electronic device, and program |
JP2013070332A (en) * | 2011-09-26 | 2013-04-18 | Olympus Corp | Image processing device |
JP2014057261A (en) * | 2012-09-13 | 2014-03-27 | Olympus Corp | Image generating apparatus, image generating method, imaging apparatus and imaging method |
-
2002
- 2002-02-01 JP JP2002025974A patent/JP3965558B2/en not_active Expired - Fee Related
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2008103772A1 (en) * | 2007-02-20 | 2008-08-28 | Microsoft Corporation | Pixel extraction and replacement |
US7920717B2 (en) | 2007-02-20 | 2011-04-05 | Microsoft Corporation | Pixel extraction and replacement |
WO2010018610A1 (en) * | 2008-08-11 | 2010-02-18 | 株式会社エム・ソフト | Background video generating method and background video generating system |
US8611647B2 (en) | 2008-08-11 | 2013-12-17 | M. Soft Co., Ltd. | Method for generating background image and system for generating background image |
CN102025895A (en) * | 2009-09-18 | 2011-04-20 | 索尼公司 | Imaging apparatus and method, electronic device, and program |
US8466990B2 (en) | 2009-09-18 | 2013-06-18 | Sony Corporation | Imaging apparatus and method, electronic device, and program |
CN102025895B (en) * | 2009-09-18 | 2014-08-20 | 索尼公司 | Imaging apparatus, method and electronic device |
JP2010282616A (en) * | 2010-05-14 | 2010-12-16 | Ricoh Co Ltd | Image information processing system and image information processing method |
JP2013070332A (en) * | 2011-09-26 | 2013-04-18 | Olympus Corp | Image processing device |
JP2014057261A (en) * | 2012-09-13 | 2014-03-27 | Olympus Corp | Image generating apparatus, image generating method, imaging apparatus and imaging method |
Also Published As
Publication number | Publication date |
---|---|
JP3965558B2 (en) | 2007-08-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP2410734B1 (en) | Image synthesizing device, image synthesizing method and computer readable medium | |
CN102034222B (en) | Image processing apparatus and image processing method | |
CN103581556A (en) | Imaging device, image signal processing method, and program | |
KR101755608B1 (en) | Method and camera for producing an image stabilized video | |
US20090273717A1 (en) | Noise reduction processing apparatus, noise reduction processing method, and image sensing apparatus | |
CN103685968A (en) | Image processing apparatus and image processing method | |
JP2008015741A (en) | Image processor, image processing method, and image pickup device using the same | |
CN108337450B (en) | Image processing apparatus, image processing method, and recording medium | |
US9832382B2 (en) | Imaging apparatus and imaging method for outputting image based on motion | |
JP5976315B2 (en) | Imaging device | |
JP2008160881A (en) | Solid-state imaging apparatus, and imaging method | |
JP2007243335A (en) | Camera shake correction method, camera shake correction apparatus, and imaging apparatus | |
US20080158376A1 (en) | Image-capturing device | |
JP2003230045A (en) | Signal processing method and apparatus | |
JP2005064851A (en) | Digital camera and solid-state image pickup device | |
WO2017104102A1 (en) | Imaging device | |
JP2006050042A (en) | Image processing apparatus | |
JP2003319269A (en) | Solid-state image pickup apparatus and image pickup method | |
JP2010147774A (en) | Imaging apparatus | |
US8358869B2 (en) | Image processing apparatus and method, and a recording medium storing a program for executing the image processing method | |
US11394856B2 (en) | Image processing apparatus and method, and image capturing apparatus | |
JP6557451B2 (en) | Imaging apparatus, control method therefor, and program | |
JP2017229025A (en) | Image processing apparatus, image processing method, and program | |
JP2005277618A (en) | Photography taking apparatus and device and method for correcting shading | |
JP5012656B2 (en) | Image processing apparatus, imaging apparatus, image processing method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041129 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060914 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060919 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061120 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070502 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070515 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100608 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |