JP2007266709A - Imaging apparatus - Google Patents
Imaging apparatus Download PDFInfo
- Publication number
- JP2007266709A JP2007266709A JP2006085675A JP2006085675A JP2007266709A JP 2007266709 A JP2007266709 A JP 2007266709A JP 2006085675 A JP2006085675 A JP 2006085675A JP 2006085675 A JP2006085675 A JP 2006085675A JP 2007266709 A JP2007266709 A JP 2007266709A
- Authority
- JP
- Japan
- Prior art keywords
- primary color
- color signal
- period
- level
- detection means
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Color Television Image Signal Generators (AREA)
- Processing Of Color Television Signals (AREA)
Abstract
Description
本発明は撮像装置に関する。詳しくは、オートホワイトバランス制御を行なう撮像装置に係るものである。 The present invention relates to an imaging apparatus. Specifically, the present invention relates to an imaging apparatus that performs auto white balance control.
一般にディスプレイでは、赤・青・緑の３原色をすべて発光させた状態で白色を表現するため、それぞれの色の発色具合により、例えば白色が赤に偏ったり、青に偏ったりすることがある。そこで、各色の発色具合を調整して、白色が正しく表示できるようにする必要があり、こうした処理をホワイトバランス処理と称している。また、ホワイトバランスを自動で調節する機能をオートホワイトバランス機能と称している。
以下、オートホワイトバランス機能を有する撮像装置（例えば、特許文献１参照。）について説明を行う。
In general, in a display, white is expressed in a state where all three primary colors of red, blue, and green are emitted. For example, white may be biased to red or blue depending on the color development state of each color. Therefore, it is necessary to adjust the color development of each color so that white can be displayed correctly. This process is called white balance process. The function for automatically adjusting the white balance is called the auto white balance function.
Hereinafter, an imaging device having an auto white balance function (for example, see Patent Document 1) will be described.
図５は従来の撮像装置の一例を示すブロック図であり、ここで示す撮像装置１０１は、固体撮像素子１０２、ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ Ｐｒｏｃｅｓｓｏｒ）１０３及びデジタル信号処理部１０４を有して構成されている。
FIG. 5 is a block diagram illustrating an example of a conventional imaging device. The
固体撮像素子は、例えばＣＣＤ構造を有し、半導体基板上にマトリクス状に配列された光センサーにより被写体からの光をレンズ１０５を通じ検出して信号電荷を生成し、この信号電荷を垂直電荷転送レジスタや水平電荷転送レジスタにより転送した上で被写体の画像信号を出力する様に構成されている。また、光センサーのそれぞれには赤、青、緑のフィルターが装着されており、赤、青、緑の光を個別に検出することでカラー撮影が可能となっている。更に、固体撮像素子はタイミングジェネレータ（ＴＧ）１０６から供給されるクロック信号、垂直同期信号、水平同期信号に基づいて動作し、例えばインターレース方式により１フレーム分の画像信号を偶数フィールドと奇数フィールドとに分けて出力できる様に構成されている。
The solid-state imaging device has, for example, a CCD structure, detects light from a subject through a
ＡＦＥは、ＣＤＳ（Ｃｏｒｒｅｌａｔｉｏｎ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ）回路及びＡＧＣ（自動利得制御）回路を有し、固体撮像素子からの画像信号に対し、ＣＤＳを行なって画像信号に含まれる固定パターンノイズを除去するとともに、ＡＧＣにより信号レベルを安定化できる様に構成されている。 The AFE has a CDS (Correlation Double Sampling) circuit and an AGC (Automatic Gain Control) circuit, and performs CDS on the image signal from the solid-state imaging device to remove fixed pattern noise included in the image signal, and AGC. Thus, the signal level can be stabilized.
デジタル信号処理部は、ＡＦＥの出力信号に対して、自動露光制御及びオートホワイトバランス調整を行い、出力形式に準じた画像信号へ変換するための回路であり、アナログデジタル変換器（ＡＤＣ）１０７、輝度信号処理ブロック１０８、色信号処理ブロック１０９、マイクロコンピュータ１１０、オプティカルディテクター（ＯＰＤ）１１１、混合回路（ＹＣＭＩＸ）１１２及びデジタルアナログ変換器（ＤＡＣ）１１３を有して構成されている。
The digital signal processing unit is a circuit that performs automatic exposure control and auto white balance adjustment on the output signal of the AFE, and converts the signal into an image signal conforming to the output format. The analog-to-digital converter (ADC) 107, A luminance
ＡＤＣはＡＦＥの出力信号をデジタル化し、輝度信号処理ブロックはこのデジタル化された画像信号に対して、自動露光制御として信号レベルを適切なレベルとする信号処理を施す様に構成されている。色信号処理ブロックは、原色分離回路１１４及びＷＢ制御回路（ホワイトバランス制御回路）１１５を有し、原色分離回路はＡＤＣの出力信号より赤、青、緑の３つの原色信号を抽出し、ＷＢ制御回路はこれらの原色信号に対して、マイクロコンピュータから与えられる係数を乗じて信号レベルを制御できる様に構成されている。
The ADC digitizes the output signal of the AFE, and the luminance signal processing block is configured to perform signal processing for setting the signal level to an appropriate level as the automatic exposure control for the digitized image signal. The color signal processing block includes a primary
ＯＰＤは、ＷＢ制御回路が上記した係数を乗じた原色信号を、それぞれ垂直同期信号の周期ごとに、即ちフィールドごとに、例えばＩＩＲ（Ｉｎｆｎｉｔｅ Ｉｍｐｕｌｓｅ Ｒｅｓｐｏｎｓｅ）フィルターにより積分することによって各フィールドにおける各原色信号の平均的な信号レベル（平均レベル）を算出できる様に構成されている。 The OPD integrates the primary color signal obtained by multiplying the above-described coefficient by the WB control circuit for each period of the vertical synchronization signal, that is, for each field, for example, by an IIR (Infinite Impulse Response) filter. The average signal level (average level) can be calculated.
マイクロコンピュータは、ＣＰＵ、ＲＯＭ及びＲＡＭを有し、ＣＰＵがＲＯＭに格納されたプログラムデータに基づき、適宜ＲＡＭを使用して動作することで各種の機能を果たす様に構成されている。そして、特にオートホワイトバランス制御に関しては、ＯＰＤが算出した各原色信号の平均レベルに基づいて、これらの原色信号の平均レベルを均一化すべく上記係数を生成し、ＷＢ制御回路に供給する様に構成されている。 The microcomputer includes a CPU, a ROM, and a RAM, and the CPU is configured to perform various functions by appropriately operating the RAM based on program data stored in the ROM. In particular, regarding the auto white balance control, the coefficient is generated based on the average level of each primary color signal calculated by the OPD so as to equalize the average level of these primary color signals, and is supplied to the WB control circuit. Has been.
混合回路は、輝度信号処理ブロックが出力する輝度信号と、色信号処理ブロックが出力する３つの原色信号とを合成してビデオ信号を生成し、ＤＡＣはこのビデオ信号をアナログのビデオ信号に変換して出力できる様に構成されている。また、ＴＧは、マイクロコンピュータの制御に基づいて固体撮像素子と共に各部にクロック及び同期信号を供給できる様に構成されている。 The mixing circuit combines the luminance signal output from the luminance signal processing block and the three primary color signals output from the color signal processing block to generate a video signal, and the DAC converts the video signal into an analog video signal. Are configured so that they can be output. Further, the TG is configured to be able to supply a clock and a synchronization signal to each part together with the solid-state imaging device based on the control of the microcomputer.
以下、上記の様に構成された撮像装置の動作について説明を行う。
先ず、被写体からの光１１６はレンズを通じて固体撮像素子に入射し、固体撮像素子の受光面に被写体の像が形成される。固体撮像素子はこの像を電気信号に変換して、各フィールドの画像信号をタイミングジェネレータから供給される垂直同期信号に同期して出力する。また、ＡＦＥは固体撮像素子が出力する画像信号に対して、ＣＤＳを行なって画像信号に含まれる固定パターンノイズを除去すると共に、ＡＧＣにより信号レベルの安定化を図る。
Hereinafter, the operation of the imaging apparatus configured as described above will be described.
First,
次に、ＡＤＣはＡＦＥの出力信号をデジタル化し、輝度信号処理ブロックはデジタル化された画像信号に対して、自動露光処理として信号レベルを適切なレベルとすべく信号処理を行なう。一方、色信号処理ブロック、ＯＰＤ並びにマイクロコンピュータは、ＡＤＣによりデジタル化された画像信号に対してオートホワイトバランス制御としてデジタル信号処理を以下の様に行なう。なお、図６は従来技術におけるオートホワイトバランス制御の係数と時間軸との関係を表す模式図である。 Next, the ADC digitizes the output signal of the AFE, and the luminance signal processing block performs signal processing on the digitized image signal to set the signal level to an appropriate level as automatic exposure processing. On the other hand, the color signal processing block, the OPD, and the microcomputer perform digital signal processing as auto white balance control on the image signal digitized by the ADC as follows. FIG. 6 is a schematic diagram showing the relationship between the coefficient of auto white balance control and the time axis in the prior art.
上記したデジタル信号処理では、先ず、原色分離回路がＡＤＣの出力信号より、赤、青、緑の３つの原色信号を抽出し、ＷＢ制御回路はこれらの原色信号のうち、例えば赤及び青の原色信号に対して、マイクロコンピュータから与えられる係数を乗じることにより信号レベルを制御する。ＯＰＤは、緑の原色信号及び係数を乗じた赤及び青の原色信号をＷＢ制御回路から受け取り、それぞれの垂直同期信号の周期ごとに、即ちフィールド（フィールドについては図６中符合Ｔｆで示す）ごとに積分して各フィールドにおける各原色信号の平均レベルを算出する。
マイクロコンピュータは、このＯＰＤが算出した各原色信号の平均レベルを取り込み、赤及び青の原色信号の平均レベルに上記係数を乗じた際に３つの原色信号の平均レベルが同一となるように、つまり平均レベルが均一となるように、赤及び青の原色信号に乗じる上記係数をそれぞれ算出し、これらの係数をＷＢ制御回路に供給する。ＷＢ制御回路がこれらの係数を赤及び青の原色信号に乗じることでオートホワイトバランス制御が行なわれる。
In the digital signal processing described above, first, the primary color separation circuit extracts three primary color signals of red, blue, and green from the output signal of the ADC, and the WB control circuit detects, for example, the primary colors of red and blue among these primary color signals. The signal level is controlled by multiplying the signal by a coefficient given from a microcomputer. The OPD receives the green primary color signal and the red and blue primary color signals multiplied by the coefficients from the WB control circuit, and for each period of each vertical synchronizing signal, that is, for each field (the field is indicated by the symbol Tf in FIG. 6). And the average level of each primary color signal in each field is calculated.
The microcomputer takes in the average level of each primary color signal calculated by this OPD, and when the average level of the primary color signals of red and blue is multiplied by the above coefficient, the average level of the three primary color signals becomes the same. The coefficients to be multiplied by the primary color signals of red and blue are calculated so that the average level is uniform, and these coefficients are supplied to the WB control circuit. The white balance control is performed by the WB control circuit multiplying these coefficients by the primary color signals of red and blue.
具体的には、先ず、第１のフィールド（図６中の時間軸が"−２"であるフィールド）では、第１のフィールドの有効領域の全期間（図６中の有効映像信号がハイレベルとなっている期間）における各原色信号の平均レベルをＯＰＤによって算出する。
次に、第１のフィールドの翌周期の第２のフィールド（図６中の時間軸が"−１"であるフィールド）では、第１のフィールドでＯＰＤにより算出した各原色信号の平均レベルに乗じることで３つの原色信号の平均レベルが同一となるような係数、即ち、第１のフィールドでＯＰＤにより算出した各原色信号の平均レベルに乗じることで３つの原色信号の平均レベルが均一となるような係数を算出する。
その後、第２のフィールドの翌周期の第３のフィールド（図６中の時間軸が"０"であるフィールド）では、第２のフィールドで算出した係数を赤及び青の原色信号に乗じることでオートホワイトバランス制御が行なわれるのである。
Specifically, first, in the first field (the field whose time axis is “−2” in FIG. 6), the entire period of the effective area of the first field (the effective video signal in FIG. 6 is at a high level). The average level of each primary color signal during the period is calculated by OPD.
Next, in the second field (the field whose time axis is “−1” in FIG. 6) in the next cycle of the first field, the average level of each primary color signal calculated by OPD in the first field is multiplied. Thus, the average level of the three primary color signals is made uniform by multiplying the coefficient so that the average levels of the three primary color signals are the same, that is, the average level of each primary color signal calculated by OPD in the first field. Calculate the correct coefficient.
Thereafter, in the third field of the next period of the second field (the field whose time axis is “0” in FIG. 6), the red and blue primary color signals are multiplied by the coefficients calculated in the second field. Auto white balance control is performed.
なお、第２のフィールドでは、第１のフィールドでＯＰＤにより算出した各原色信号の平均レベルに乗じることで３つの原色信号の平均レベルが同一となるような係数の算出を行なうと共に、第２のフィールドの有効期間の全期間における各原色信号の平均レベルをＯＰＤによって算出し、第２のフィールドでＯＰＤにより算出した各原色信号の平均レベルに乗じることで３つの原色信号の平均レベルが同一となるような係数を第３のフィールドで算出し、算出された係数を第４のフィールド（第３のフィールドの翌周期のフィールド）で赤及び青の原色信号に乗じるといった具合に、継続的に処理が行われている。 In the second field, a coefficient is calculated so that the average levels of the three primary color signals are the same by multiplying the average levels of the primary color signals calculated by OPD in the first field, and the second field is calculated. The average level of each primary color signal in the effective period of the field is calculated by OPD, and the average level of each primary color signal calculated by OPD in the second field is multiplied to make the average levels of the three primary color signals the same. Such a coefficient is calculated in the third field, and the calculated coefficient is multiplied by the red and blue primary color signals in the fourth field (the field of the next period of the third field). Has been done.
従って、従来の撮像装置では、２つ前のフィールドで算出された各原色信号の平均レベルに基づいて係数（新しい係数）が算出され、この係数（新しい係数）がＷＢ制御回路に供給されて、２つ後のフィールドで係数（新しい係数）に基づいて原色信号のレベルが調整される。その後、色信号処理ブロックが出力する３つの原色信号及び輝度信号処理ブロックが出力する画像信号が混合回路により合成され、ＤＡＣによってアナログ信号に変換されてビデオ信号として出力される。 Therefore, in the conventional imaging apparatus, a coefficient (new coefficient) is calculated based on the average level of each primary color signal calculated in the previous two fields, and this coefficient (new coefficient) is supplied to the WB control circuit, In the second field, the level of the primary color signal is adjusted based on the coefficient (new coefficient). Thereafter, the three primary color signals output from the color signal processing block and the image signal output from the luminance signal processing block are combined by the mixing circuit, converted into an analog signal by the DAC, and output as a video signal.
しかしながら、上記した様な従来の撮像装置におけるオートホワイトバランス制御では、フィールドごとに算出した係数を２つ後のフィールドの原色信号に乗じるので、この時間的なズレに起因して、被写体が蛍光灯で照明されている場合にオートホワイトバランス制御が正しく機能せず、カラーローリングと呼ばれる現象が生じることがある。
以下、カラーローリングについて詳細に説明を行う。
However, in the auto white balance control in the conventional imaging apparatus as described above, the coefficient calculated for each field is multiplied by the primary color signal of the next field, so that the subject is fluorescent light due to this temporal shift. Auto white balance control may not function correctly when illuminated with a, and a phenomenon called color rolling may occur.
Hereinafter, the color rolling will be described in detail.
即ち、蛍光灯は電源周波数に応じた周期で点滅するが、各点滅周期内の発光タイミングにより蛍光灯の分光特性は変化しており、蛍光灯の光は厳密には常に白色とはなっていない。そのため、固体撮像素子の電子シャッター機能により短い露光時間で撮像した場合、露光のタイミングと蛍光灯の発光タイミングとの関係によっては、撮像結果は色づいたものとなる。 That is, the fluorescent lamp blinks at a cycle corresponding to the power supply frequency, but the spectral characteristics of the fluorescent lamp change depending on the light emission timing within each blinking cycle, and the light from the fluorescent lamp is not always white. . Therefore, when imaging is performed with a short exposure time by the electronic shutter function of the solid-state imaging device, the imaging result is colored depending on the relationship between the exposure timing and the light emission timing of the fluorescent lamp.
また、撮像装置がＮＴＳＣ（Ｎａｔｉｏｎａｌ ＴＶ Ｓｔａｎｄａｒｄｓ Ｃｏｍｍｉｔｔｅｅ）方式に対応しており、被写体が６０Ｈｚの電源で点灯する蛍光灯によって照明されている場合、撮像装置のフィールド周波数５９．９４Ｈｚと蛍光灯の電源周波数６０Ｈｚとはわずかに異なるため、撮像装置のフィールドと蛍光灯の点滅との位相関係は比較的長い周期で周期的に変化する。 In addition, when the imaging apparatus is compatible with the NTSC (National TV Standards Committee) system and the subject is illuminated by a fluorescent lamp that is lit with a 60 Hz power supply, the field frequency of the imaging apparatus is 59.94 Hz and the fluorescent lamp power supply frequency. Since it is slightly different from 60 Hz, the phase relationship between the field of the imaging device and the flickering of the fluorescent lamp periodically changes with a relatively long period.
従来の撮像装置では、上述にようにＯＰＤにより平均レベルを求めた原色信号と、ＷＢ制御回路で係数を乗じる原色信号とは２フィールド分だけズレているので、現在のフィールドと２つ後のフィールドとの間で露光時の照明光が異なった色調となると、オートホワイトバランス制御は正しく機能せず、画像は色づいたものとなってしまう。そして、撮像装置のフィールドと電源との位相関係は上述の様に変化するので、ビデオ信号により表示したビデオ画像の色調は上記位相関係の変化に応じて周期的に変化することになる。 In the conventional imaging apparatus, the primary color signal obtained by calculating the average level by OPD as described above and the primary color signal multiplied by the coefficient by the WB control circuit are shifted by 2 fields, so that the current field and the field after 2 are shifted. If the illumination light at the time of exposure has a different color tone, the auto white balance control does not function correctly and the image becomes colored. Since the phase relationship between the field of the imaging device and the power supply changes as described above, the color tone of the video image displayed by the video signal periodically changes in accordance with the change in the phase relationship.
撮像装置がＰＡＬ（Ｐｈａｓｅ Ａｌｔｅｒｎａｔｉｎｇ Ｌｉｎｅ）方式に対応し、蛍光灯の電源周波数が５０Ｈｚの場合にも、フィールド周波数と蛍光灯の電源周波数とは規格上は一致するものの、両者には誤差が存在するため、上述の場合と同様にカラーローリング現象が発生する。 Even when the imaging apparatus is compatible with the PAL (Phase Alternating Line) system and the power supply frequency of the fluorescent lamp is 50 Hz, the field frequency and the power supply frequency of the fluorescent lamp match in the standard, but there is an error in both. Therefore, the color rolling phenomenon occurs as in the above case.
本発明は以上の点に鑑みて創案されたものであり、オートホワイトバランス制御に伴うカラーローリング現象を回避することができる撮像装置を提供することを目的とするものである。 The present invention has been made in view of the above points, and an object of the present invention is to provide an imaging apparatus capable of avoiding a color rolling phenomenon associated with auto white balance control.
上記の目的を達成するために、本発明に係る撮像装置は、同期信号に同期して被写体を繰り返し撮像し画像信号を出力するイメージセンサと、前記画像信号より複数の原色信号を分離する原色分離手段と、前記同期信号の周期ごとに、同周期の実効領域の全期間における前記原色分離手段が分離した各原色信号の平均レベルを取得する第１の原色信号レベル検出手段と、前記同期信号の周期ごとに、同周期の有効領域の最初から同有効領域内の所定のタイミングまでの期間における前記原色分離手段が分離した各原色信号の平均レベルを取得する第２の原色信号レベル検出手段と、第Ｎ周期（Ｎ：自然数）に前記第１の原色信号レベル検出手段が各原色信号の平均レベルを取得すると、第Ｎ周期に前記第１の原色信号レベル検出手段が取得した各原色信号の平均レベルに乗じた結果が略均一となる様な係数を算出する係数算出手段と、第Ｎ周期に前記第２の原色信号レベル検出手段が取得した各原色信号の平均レベル及び第（Ｎ＋ｍ）周期（ｍ：自然数）に前記第２の原色信号レベル検出手段が取得した各原色信号の平均レベルに基づいて、前記係数算出手段が第Ｎ周期に前記第１の原色信号レベル検出手段が取得した各原色信号の平均レベルから算出した前記係数を補正する係数補正手段と、該係数補正手段によって補正された前記係数を第Ｎ周期に前記第１の原色信号レベル検出手段が取得した各原色信号の平均レベルに乗じて各原色信号のレベルを制御するレベル制御手段とを備える。 In order to achieve the above object, an imaging apparatus according to the present invention includes an image sensor that repeatedly captures an image of a subject in synchronization with a synchronization signal and outputs an image signal, and primary color separation that separates a plurality of primary color signals from the image signal. A first primary color signal level detection means for acquiring an average level of each primary color signal separated by the primary color separation means for the entire period of the effective area of the same period for each period of the synchronization signal; Second primary color signal level detection means for obtaining an average level of each primary color signal separated by the primary color separation means in a period from the beginning of the effective area of the same period to a predetermined timing in the effective area for each period; When the first primary color signal level detection means acquires the average level of each primary color signal in the Nth period (N: natural number), the first primary color signal level detection means acquires in the Nth period. Coefficient calculation means for calculating a coefficient such that the result obtained by multiplying the average level of each primary color signal becomes substantially uniform; and the average level and the first level of each primary color signal acquired by the second primary color signal level detection means in the Nth period. Based on the average level of each primary color signal acquired by the second primary color signal level detection means in the (N + m) period (m: natural number), the coefficient calculation means performs the first primary color signal level detection means in the Nth period. The coefficient correction unit that corrects the coefficient calculated from the average level of each primary color signal acquired by the first correction unit and the coefficient corrected by the coefficient correction unit acquired by the first primary color signal level detection unit in the Nth period. Level control means for controlling the level of each primary color signal by multiplying the average level of the primary color signal.
ここで、係数算出手段が第Ｎ周期に第１の原色信号レベル検出手段が取得した各原色信号の平均レベルに基づいて係数を算出するために、係数算出手段によって算出された係数は被写体には依存しない。
即ち、第２の原色信号レベル検出手段が取得する各原色信号の平均レベル（周期の有効領域の最初から同有効領域内の所定のタイミングまでの期間における各原色信号の平均レベル）については、画面内の同位置における時間的差分を検出するためのみに使用し、ホワイトバランス制御を行うための係数は第１の原色信号レベル検出手段が取得する各原色信号の平均レベル（周期の実効領域の全期間における各原色信号の平均レベル）に基づいて算出するために、係数算出手段によって算出された係数は被写体には依存しない。
Here, since the coefficient calculation means calculates the coefficient based on the average level of each primary color signal acquired by the first primary color signal level detection means in the Nth period, the coefficient calculated by the coefficient calculation means Do not depend.
That is, the average level of each primary color signal acquired by the second primary color signal level detection means (the average level of each primary color signal in the period from the beginning of the effective area of the cycle to a predetermined timing in the effective area) is displayed on the screen. The coefficient for performing white balance control is used only for detecting the temporal difference at the same position in the image, and the average level of each primary color signal acquired by the first primary color signal level detection means (the entire effective area of the period) The coefficient calculated by the coefficient calculation means does not depend on the subject.
また、係数補正手段が、第Ｎ周期に第２の原色信号レベル検出手段が取得した各原色信号の平均レベルと第（Ｎ＋ｍ）周期に第２の原色信号レベル検出手段が取得した各原色信号の平均レベルに基づいて、第Ｎ周期に第１の原色信号レベル検出手段が取得した各原色信号の平均レベルから係数算出手段が算出した係数を補正するために、第Ｎ周期と第（Ｎ＋ｍ）周期のタイミングのズレ、即ち、係数算出手段が係数を算出するための基礎とする第１の原色信号レベル検出手段が各原色信号の平均レベルを取得するタイミング（第Ｎ周期）とホワイトバランス制御を行うべくレベル制御手段が各原色信号のレベルを制御するタイミング（第（Ｎ＋ｍ）周期）のズレに起因した分光特性変化による時間的な係数の誤差を緩和することができる。 Further, the coefficient correction means detects the average level of each primary color signal acquired by the second primary color signal level detection means in the Nth period and each primary color signal acquired by the second primary color signal level detection means in the (N + m) period. Based on the average level, in order to correct the coefficient calculated by the coefficient calculation means from the average level of each primary color signal acquired by the first primary color signal level detection means in the Nth period, the Nth period and the (N + m) period , I.e., the timing at which the first primary color signal level detection means, which is the basis for the coefficient calculation means to calculate the coefficient, acquires the average level of each primary color signal (Nth period) and white balance control is performed. Accordingly, it is possible to reduce the error of the temporal coefficient due to the change in the spectral characteristics caused by the deviation of the timing ((N + m) period) when the level control means controls the level of each primary color signal.
なお、上記した様に、係数算出手段が第Ｎ周期に第１の原色信号レベル検出手段が取得した各原色信号の平均レベルに基づいて係数を算出しているために、係数算出手段が算出した係数は被写体による依存性はない。しかし、第１の原色信号レベル検出手段が取得する各原色信号の平均レベルと第２の原色信号レベル検出手段が取得する各原色信号の平均レベルとの間には、即ち、周期の実効領域の全期間における各原色信号の平均レベルと周期の有効領域の最初から同有効領域内の所定のタイミングまでの期間における各原色信号の平均レベルとの間には被写体による依存性が生じる可能性がある。そこで、係数補正手段では、第Ｎ周期に第２の原色信号レベル検出手段が取得した各原色信号の平均レベルと第（Ｎ＋ｍ）周期に第２の原色信号レベル検出手段が取得した各原色信号の平均レベルに基づいて補正を行うこととして補正の妥当性を確保している。 As described above, since the coefficient calculation means calculates the coefficient based on the average level of each primary color signal acquired by the first primary color signal level detection means in the Nth period, the coefficient calculation means calculates The coefficient does not depend on the subject. However, between the average level of each primary color signal acquired by the first primary color signal level detection means and the average level of each primary color signal acquired by the second primary color signal level detection means, that is, in the effective region of the period. There is a possibility that the subject depends on the average level of each primary color signal in the entire period and the average level of each primary color signal in the period from the beginning of the effective area of the cycle to a predetermined timing in the effective area. . Therefore, in the coefficient correction unit, the average level of each primary color signal acquired by the second primary color signal level detection unit in the Nth period and each primary color signal acquired by the second primary color signal level detection unit in the (N + m) period. The validity of the correction is ensured by performing the correction based on the average level.
また、係数補正手段が、第Ｎ周期に第２の原色信号レベル検出手段が取得した各原色信号の平均レベルと第（Ｎ＋ｍ）周期（ｍ：自然数）に第２の原色信号レベル検出手段が取得した各原色信号の平均レベルのみに基づいて係数を補正するのではなく、第Ｎ周期に第１の原色信号レベル検出手段が取得した各原色信号の平均レベル、第（Ｎ＋ｎ）周期（ｎ：自然数、ｎ＜ｍ）に第１の原色信号レベル検出手段が取得した各原色信号の平均レベル、第Ｎ周期に第２の原色信号レベル検出手段が取得した各原色信号の平均レベル及び第（Ｎ＋ｎ）周期に第２の原色信号レベル検出手段が取得した各原色信号の平均レベルにも基づいて補正を行なうことによって、係数の補正の信憑性を高めることができる。
即ち、ホワイトバランス制御を行うための係数を算出する基礎となる各原色信号の平均レベルの取得時（第Ｎ周期）と、算出された係数に基づいて行なうホワイトバランス制御時（第（Ｎ＋ｍ）周期）とのタイミングのズレを低減するための係数を補正するにあたって、第Ｎ周期と第（Ｎ＋ｎ）周期とのタイミングのズレを反映させることで、係数の補正の信憑性を高めることができるのである。
Further, the coefficient correction means acquires the average level of each primary color signal acquired by the second primary color signal level detection means in the Nth period and the second primary color signal level detection means in the (N + m) period (m: natural number). Rather than correcting the coefficient based only on the average level of each primary color signal, the average level of each primary color signal acquired by the first primary color signal level detection means in the Nth period, the (N + n) period (n: natural number) , N <m), the average level of each primary color signal acquired by the first primary color signal level detection means, the average level of each primary color signal acquired by the second primary color signal level detection means in the Nth period, and the (N + n) th By performing correction based on the average level of each primary color signal acquired by the second primary color signal level detection means in a cycle, the reliability of coefficient correction can be improved.
That is, when an average level of each primary color signal that is a basis for calculating a coefficient for performing white balance control is acquired (Nth cycle), and when white balance control is performed based on the calculated coefficient (Nth + N) cycle. ), The reliability of the correction of the coefficient can be improved by reflecting the timing shift between the Nth period and the (N + n) period. .
上記した本発明の撮像装置では、係数補正手段によって係数の補正を行っているために、ホワイトバランス制御を行う係数を算出するための各原色信号の平均レベルの取得時（第Ｎ周期）と、算出された係数に基づいて行なうホワイトバランス制御時（第（Ｎ＋ｍ）周期）のタイミングのズレを低減することができ、時間的に変化する蛍光灯の分光特性変化による係数誤差を緩和して、オートホワイトバランス制御に伴うカラーローリング現象の影響を抑制することができる。 In the imaging apparatus of the present invention described above, since the coefficient is corrected by the coefficient correction means, when the average level of each primary color signal for calculating the coefficient for white balance control is acquired (Nth period), It is possible to reduce the timing shift at the time of white balance control (the (N + m) period) based on the calculated coefficient, reduce the coefficient error due to the change in spectral characteristics of the fluorescent lamp that changes with time, and The influence of the color rolling phenomenon accompanying white balance control can be suppressed.
以下、本発明の実施の形態について図面を参照しながら説明し、本発明の理解に供する。
図１は本発明を適用した撮像装置の一例を示すブロック図であり、ここで示す撮像装置１は、固体撮像素子２、ＡＦＥ３及びデジタル信号処理部４を有して構成されている。以下で詳細に説明を行うが、本実施例の撮像装置が上記した従来の撮像装置と特に異なるのは、デジタル信号処理部において２つのＯＰＤが設けられている点と、マイクロコンピュータに生成した係数の補正を行なう機能を追加した点である。なお、固体撮像素子はイメージセンサの一例である。
Hereinafter, embodiments of the present invention will be described with reference to the drawings to facilitate understanding of the present invention.
FIG. 1 is a block diagram showing an example of an imaging apparatus to which the present invention is applied. The
固体撮像素子は、例えばＣＣＤ構造を有し、半導体基板上にマトリクス状に配列された光センサーにより被写体からの光をレンズ５を通じ検出して信号電荷を生成し、この信号電荷を垂直電荷転送レジスタや水平電荷転送レジスタにより転送した上で被写体の画像信号を出力する様に構成されている。また、光センサーのそれぞれには、赤、青、緑のフィルターが装着されており、赤、青、緑の光を個別に検出することでカラー撮影が可能となっている。更に、固体撮像素子はＴＧ６から供給されるクロック信号、垂直同期信号、水平同期信号に基づいて動作し、例えばインターレース方式により１フレーム分の画像信号を偶数フィールドと奇数フィールドとに分けて出力できる様に構成されている。
The solid-state imaging device has a CCD structure, for example, detects light from a subject through a
ＡＦＥは、ＣＤＳ回路及びＡＧＣ回路を有し、固体撮像素子からの画像信号に対し、ＣＤＳを行って画像信号に含まれる固定パターンノイズを除去するとともに、ＡＧＣにより信号レベルを安定化できる様に構成されている。 The AFE has a CDS circuit and an AGC circuit, and performs a CDS on the image signal from the solid-state image sensor to remove fixed pattern noise included in the image signal, and can be configured to stabilize the signal level by AGC. Has been.
デジタル信号処理部は、ＡＦＥの出力信号に対して、自動露光制御及びオートホワイトバランス調整を行うための回路であり、アナログデジタル変換器（ＡＤＣ）７、輝度信号処理ブロック８、色信号処理ブロック９、マイクロコンピュータ１０、第１のＯＰＤ１１ａ、第２のＯＰＤ１１ｂ、混合回路（ＹＣＭＩＸ）１２及びデジタルアナログ変換器１３を有して構成されている。なお、第１のＯＰＤは第１の原色信号レベル検出手段の一例であり、第２のＯＰＤは第２の原色信号レベル検出手段の一例である。
The digital signal processing unit is a circuit for performing automatic exposure control and auto white balance adjustment on the output signal of the AFE, and an analog-digital converter (ADC) 7, a luminance
ＡＤＣはＡＦＥの出力信号をデジタル化し、輝度信号処理ブロックはこのデジタル化された画像信号に対して、自動露光制御として信号レベルを適切なレベルとする信号処理を施す様に構成されている。色信号処理ブロックは、原色分離回路１４及びＷＢ制御回路１５を有し、原色分離回路はＡＤＣの出力信号より赤、青、緑の３つの原色信号を抽出し、ＷＢ制御回路はこれらの原色信号に対して、マイクロコンピュータから与えられる係数を乗じて信号レベルを制御できる様に構成されている。なお、原色分離回路は原色分離手段の一例である。
The ADC digitizes the output signal of the AFE, and the luminance signal processing block is configured to perform signal processing for setting the signal level to an appropriate level as the automatic exposure control for the digitized image signal. The color signal processing block has a primary
第１のＯＰＤは、ＷＢ制御回路が上記した係数を乗じた原色信号を、それぞれ垂直同期信号の周期ごとに、即ちフィールドごとに、各フィールドの実効領域の全期間を例えばＩＩＲフィルターにより積分することによって各フィールドの全期間における各原色信号の平均的な信号レベル（平均レベル）、即ち、１フィールド分の積分結果を算出することができる様に構成されている（第１のＯＰＤの積分領域については図２を参照。）。
また、第２のＯＰＤは、ＷＢ制御回路が上記した係数を乗じた原色信号を、それぞれ垂直同期信号の周期ごとに、即ちフィールドごとに、各フィールドの有効領域の最初から同周期の有効領域内の所定のタイミングまでの期間を例えばＩＩＲフィルターにより積分することによって各フィールドの有効画素の開始数ライン分における各原色信号の平均的な信号レベル（平均レベル）、即ち、部分積分結果を算出することができる様に構成されている（第２のＯＰＤの積分領域については図２を参照。）。
ここでの実効領域とは実際に画像出力される領域を示し、有効領域とは撮像素子として画像を認識できる領域を示す（図２を参照）。
この為、第２のＯＰＤは、有効領域内の所定のタイミングまでの期間は、実効領域に含まれない領域を指定する事が望ましい。
In the first OPD, the primary color signal multiplied by the above-mentioned coefficient is integrated by the WB control circuit for each period of the vertical synchronizing signal, that is, for each field, and for the entire period of the effective area of each field, for example, by an IIR filter. Can be used to calculate an average signal level (average level) of each primary color signal over the entire period of each field, that is, an integration result for one field (for the integration region of the first OPD). (See FIG. 2).
The second OPD also applies the primary color signal multiplied by the above-mentioned coefficient by the WB control circuit within the effective area of the same period from the beginning of the effective area of each field for each period of the vertical synchronizing signal, that is, for each field. The average signal level (average level) of each primary color signal, that is, the partial integration result is calculated for the number of effective pixel start lines of each field by integrating the period up to a predetermined timing of, for example, by an IIR filter. (Refer to FIG. 2 for the integration region of the second OPD).
Here, the effective area indicates an area where an image is actually output, and the effective area indicates an area where an image can be recognized as an image sensor (see FIG. 2).
For this reason, it is desirable for the second OPD to designate an area that is not included in the effective area for a period up to a predetermined timing within the effective area.
マイクロコンピュータは、ＣＰＵ、ＲＯＭ及びＲＡＭを有し、ＣＰＵがＲＯＭに格納されたプログラムデータに基づき、適宜ＲＡＭを使用して動作することで各種の機能を果たす様に構成されている。そして、特にオートホワイトバランス制御に関しては、第１のＯＰＤが算出した１フィールド分の積分結果に基づいて各原色信号の平均レベルを均一化する係数を生成すると共に、第１のＯＰＤが算出した１フィールド分の積分結果及び第２のＯＰＤが算出した部分積分結果に基づいて生成した係数の補正を行なった後に、ＷＢ制御回路に供給する様に構成されている。なお、本実施例では、係数算出手段及び係数補正手段の役割をマイクロコンピュータが担っている。 The microcomputer includes a CPU, a ROM, and a RAM, and the CPU is configured to perform various functions by appropriately operating the RAM based on program data stored in the ROM. In particular, regarding auto white balance control, a coefficient for equalizing the average level of each primary color signal is generated based on the integration result for one field calculated by the first OPD, and the 1 calculated by the first OPD. After correcting the coefficient generated based on the integration result for the field and the partial integration result calculated by the second OPD, the coefficient is supplied to the WB control circuit. In the present embodiment, the microcomputer plays the role of the coefficient calculation means and the coefficient correction means.
混合回路は、輝度信号処理ブロックが出力する輝度信号と、色信号処理ブロックが出力する３つの原色信号とを合成してビデオ信号を生成し、ＤＡＣはこのビデオ信号をアナログのビデオ信号に変換して出力できる様に構成されている。また、ＴＧは、マイクロコンピュータの制御に基づいて固体撮像素子と共に各部にクロック及び同期信号を供給できる様に構成されている。 The mixing circuit combines the luminance signal output from the luminance signal processing block and the three primary color signals output from the color signal processing block to generate a video signal, and the DAC converts the video signal into an analog video signal. Are configured so that they can be output. Further, the TG is configured to be able to supply a clock and a synchronization signal to each part together with the solid-state imaging device based on the control of the microcomputer.
以下、上記の様に構成された撮像装置の動作について説明を行う。
先ず、被写体からの光１６はレンズを通じて固体撮像素子に入射し、固体撮像素子の受光面に被写体の像が形成される。固体撮像素子はこの像を電気信号に変換して、各フィールドの画像信号をタイミングジェネレータから供給される垂直同期信号に同期して出力する。また、ＡＦＥは固体撮像素子が出力する画像信号に対して、ＣＤＳを行って画像信号に含まれる固定パターンノイズを除去すると共に、ＡＧＣにより信号レベルの安定化を図る。
Hereinafter, the operation of the imaging apparatus configured as described above will be described.
First, the light 16 from the subject enters the solid-state image sensor through the lens, and an image of the subject is formed on the light receiving surface of the solid-state image sensor. The solid-state imaging device converts this image into an electric signal, and outputs the image signal of each field in synchronization with the vertical synchronization signal supplied from the timing generator. The AFE performs CDS on the image signal output from the solid-state imaging device to remove fixed pattern noise included in the image signal, and stabilizes the signal level by AGC.
次に、ＡＤＣはＡＦＥの出力信号をデジタル化し、輝度信号処理ブロックはデジタル化された画像信号に対して、自動露光処理として信号レベルを適切なレベルとすべく信号処理を行なう。一方、色信号処理ブロック、第１のＯＰＤ、第２のＯＰＤ及びマイクロコンピュータは、ＡＤＣによりデジタル化された画像信号に対してオートホワイトバランス制御としてデジタル信号処理を以下の様に行なう。なお、図３は本実施例におけるホワイトバランス制御の係数の補正処理のフローチャートであり、図４は本実施例におけるホワイトバランス制御の係数と時間軸との関係を表す模式図である。 Next, the ADC digitizes the output signal of the AFE, and the luminance signal processing block performs signal processing on the digitized image signal to set the signal level to an appropriate level as automatic exposure processing. On the other hand, the color signal processing block, the first OPD, the second OPD, and the microcomputer perform digital signal processing on the image signal digitized by the ADC as auto white balance control as follows. FIG. 3 is a flowchart of white balance control coefficient correction processing in this embodiment, and FIG. 4 is a schematic diagram showing the relationship between the white balance control coefficient and the time axis in this embodiment.
上記したデジタル信号処理は、先ず、原色分離回路がＡＤＣの出力信号より、赤、青、緑の３つの原色信号を抽出し、ＷＢ制御回路はこれらの原色信号のうち、例えば赤及び青の原色信号に対して、マイクロコンピュータから与えられる係数を乗じることにより信号レベルを制御する。第１のＯＰＤ及び第２のＯＰＤは、緑の原色信号及び係数を乗じた赤及び青の原色信号をＷＢ制御回路から受け取り、それぞれの垂直同期信号の周期ごとに、即ちフィールドごとに積分して各フィールドにおける１フィールド分の積分結果や部分積分結果を算出する。
マイクロコンピュータは、この第１のＯＰＤや第２のＯＰＤが算出した１フィールド分の積分結果や部分積分結果を取り込み、赤及び青の原色信号の平均レベルに上記係数を乗じた際に３つの原色信号の平均レベルが同一となるように、つまり平均レベルが均一となるように、赤及び青の原色信号の乗じる上記係数をそれぞれ算出し、これらの係数をＷＢ制御回路に供給する。ＷＢ制御回路がこれらの係数を赤及び青の原色信号に乗じることでオートホワイトバランス制御が行われる。
In the digital signal processing described above, first, the primary color separation circuit extracts the three primary color signals of red, blue, and green from the output signal of the ADC, and the WB control circuit uses, for example, the primary colors of red and blue among these primary color signals. The signal level is controlled by multiplying the signal by a coefficient given from a microcomputer. The first OPD and the second OPD receive the green primary color signal and the red and blue primary color signals multiplied by the coefficients from the WB control circuit, and integrate them for each period of the vertical synchronizing signal, that is, for each field. An integration result or partial integration result for one field in each field is calculated.
The microcomputer takes in the integration results and partial integration results for one field calculated by the first OPD and the second OPD, and multiplies the three primary colors by multiplying the average level of the red and blue primary color signals by the above coefficient. The coefficients multiplied by the red and blue primary color signals are calculated so that the average level of the signals is the same, that is, the average level is uniform, and these coefficients are supplied to the WB control circuit. The WB control circuit multiplies these coefficients by the red and blue primary color signals to perform auto white balance control.
以下、オートホワイトバランス制御について具体的に説明を行う。
即ち、第１のフィールド（図４中の時間軸が"−２"であるフィールド）では、第１のＯＰＤが緑の原色信号及び係数を乗じた赤及び青の原色信号をＷＢ制御回路から受け取り、それぞれの垂直同期信号の周期ごとに、即ちフィールドごとに１フィールド分の積分結果を算出する。なお、こうした積分結果がホワイトバランス制御係数算出の基礎データＢ−２となる。同時に第２のＯＰＤが緑の原色信号及び係数を乗じた赤及び青の原色信号をＷＢ制御回路から受け取り、それぞれの垂直同期信号の周期ごとに、即ちフィールドごとに部分積分結果を算出する。なお、こうした積分結果が補正用リファレンスデータＡ−２となる。
The auto white balance control will be specifically described below.
That is, in the first field (the field whose time axis is “−2” in FIG. 4), the first OPD receives the primary color signal of red and blue obtained by multiplying the primary color signal of green and the coefficient from the WB control circuit. The integration result for one field is calculated for each period of each vertical synchronizing signal, that is, for each field. Such an integration result is the basic data B- 2 for calculating the white balance control coefficient. At the same time, the second OPD receives the green primary color signal and the red and blue primary color signals multiplied by the coefficients from the WB control circuit, and calculates a partial integration result for each period of the vertical synchronizing signal, that is, for each field. Such an integration result becomes correction reference data A- 2 .
時間軸上の次のフィールドである第２のフィールド（図４中の時間軸が"−１"であるフィールド）では、第１のフィールドで算出した基礎データＢ−２を用いたホワイトバランス制御係数の算出を行うと共に、第１のフィールドと同様に、第２のフィールドにおけるホワイトバランス制御係数の算出の基礎データＢ−１及び第２のフィールドにおける補正用リファレンスデータＡ−１を算出する。 In the second field (the field where the time axis in FIG. 4 is “−1”) as the next field on the time axis, the white balance control coefficient using the basic data B- 2 calculated in the first field In the same manner as the first field, the basic data B −1 for calculating the white balance control coefficient in the second field and the correction reference data A −1 in the second field are calculated.
更に、時間軸上の次のフィールドである第３のフィールド（図４中の時間軸が"０"であるフィールド）では、第１のフィールド及び第２のフィールドと同様に第３のフィールドにおける補正用リファレンスデータＡを算出し、補正用リファレンスデータＡと補正用リファレンスデータＡ−２とを比較してホワイトバランス制御係数の基礎補正係数Ａ０２を算出する。 Further, in the third field that is the next field on the time axis (the field in which the time axis in FIG. 4 is “0”), the correction in the third field is the same as in the first field and the second field. calculating a use reference data a, to calculate a basic correction coefficient a 02 of the white balance control coefficient by comparing the correction reference data a and the correction reference data a -2.
そして、基礎データＢ−２と基礎データＢ−１との相対比Ｂ１２及び補正用リファレンスデータＡ−２と補正用リファレンスデータＡ−１との相対比Ａ１２との比率関係から、基礎補正係数Ａ０２に対して補正がなされてホワイトバランス補正係数βを得ることができ、第２のフィールドで算出されたホワイトバランス制御係数に対してホワイトバランス補正係数を用いて補正を行なって、補正されたホワイトバランス制御係数を赤及び青の原色信号に乗じることでオートホワイトバランス制御が行われる。 Then, from the ratio relationship between the basic data B -2 and the relative ratio A 12 in the relative proportions of basic data B -1 B 12 and the correction reference data A -2 and correction reference data A -1, basic correction factor A 02 is corrected to obtain a white balance correction coefficient β, and the white balance control coefficient calculated in the second field is corrected by using the white balance correction coefficient. Auto white balance control is performed by multiplying the red and blue primary color signals by the white balance control coefficient.
なお、オートホワイトバランス制御は画像が静止画像を前提としているために、補正用リファレンスデータＡ−２と補正用リファレンスデータＡ−１との相対比Ａ１２が所定の閾値Ａｔｈｒｅｓ以上である場合、即ち、相対比Ａ１２が大きく第１のフィールドと第２のフィールドとで全体の画像が変化したと判断できる場合（図３（１）参照。）にはオートホワイトバランス制御係数の補正を停止する。これは、通常のオートホワイトバランス制御が必要な場合にまでオートホワイトバランス制御係数の補正を打ち消してしまわない様にするためである。
同様に、補正用リファレンスデータＡ−１と補正用リファレンスデータＡとの相対比Ａ０１が所定の閾値Ａｔｈｒｅｓ以上である場合、即ち、相対比Ａ０１が大きく第２のフィールドと第３のフィールドとで全体の画像が変化したと判断できる場合（図３（２）参照。）や、基礎データＢ−２と基礎データＢ−１との相対比Ｂ１２が所定の閾値Ｂｔｈｒｅｓ以上である場合、即ち、相対比Ｂ１２が大きく第１のフィールドと第２のフィールドとで全体の画像が変化したと判断できる場合（図３（３）参照。）にはオートホワイトバランス制御係数の補正を停止する。
更に、α＝Ｂ１２／Ａ１２とし、β＝Ａ０２×αとして、α、β及びγが所定の各閾値以上である場合、即ち、全体の画像が変化したと判断できる場合（図３（４）参照。）にはオートホワイトバランス制御係数の補正を停止する。
In order auto white balance control is an image presupposes a still image, if the relative ratio A 12 between the correction reference data A -2 and correction reference data A -1 is the predetermined threshold value A thres above, that is, if it can be determined that the entire image has changed greatly relative ratio a 12 and the first field second field (Fig. 3 (1) reference.) stops the correction of the automatic white balance control coefficient . This is to prevent the correction of the auto white balance control coefficient from being canceled until normal auto white balance control is necessary.
Similarly, if the relative ratio A 01 between the correction reference data A -1 and the correction reference data A is the predetermined threshold value A thres above, i.e., the relative ratio A 01 is larger second field and the third field If (see FIG. 3 (2).) that the entire image can be determined to have changed between or, if the relative ratio B 12 of the underlying data B -2 and basic data B -1 is the predetermined threshold value B thres more , i.e., if it can be determined that the entire image is changed by the relative ratio B 12 and a large first field and the second field (Fig. 3 (3) reference.) stop correction of automatic white balance control coefficients in To do.
Further, when α = B 12 / A 12 and β = A 02 × α and α, β, and γ are equal to or greater than predetermined threshold values, that is, when it can be determined that the entire image has changed (FIG. 3 ( In 4), the correction of the auto white balance control coefficient is stopped.
上記の様に、本実施例の撮像装置では、ホワイトバランス制御係数に対してホワイトバランス補正係数を用いて補正を行なって係数（新しい係数）が導かれ、この新しい係数がＷＢ制御回路に供給されて原色信号のレベルが調整される。その後、色信号処理ブロックが出力する３つの原色信号及び輝度信号処理ブロックが出力する画像信号が混合回路により合成され、ＤＡＣによってアナログ信号に変換されてビデオ信号として出力される。 As described above, in the imaging apparatus of the present embodiment, the white balance control coefficient is corrected using the white balance correction coefficient to derive a coefficient (new coefficient), and this new coefficient is supplied to the WB control circuit. The primary color signal level is adjusted. Thereafter, the three primary color signals output from the color signal processing block and the image signal output from the luminance signal processing block are combined by the mixing circuit, converted into an analog signal by the DAC, and output as a video signal.
本発明を適用した撮像装置では、第１のフィールドにおける部分積分結果及び第３のフィールドにおける部分積分結果から導かれるホワイトバランス制御係数の基礎補正係数を利用してホワイトバランス補正係数を算出して、こうして算出されたホワイトバランス補正係数に基づいてホワイトバランス制御係数を補正しているために、時間的に変化する蛍光灯の分光特性変化による係数誤差を緩和することができ、カラーローリングの影響を低減することができる。
なお、補正後の係数の算出はハードウエア上で行なうこととし、同一フィールドに対して即座に結果を反映することができるように構成することで、係数の補正自体に反映データとの時間的差分が発生しないようにすることが可能である。
In the imaging apparatus to which the present invention is applied, the white balance correction coefficient is calculated using the basic correction coefficient of the white balance control coefficient derived from the partial integration result in the first field and the partial integration result in the third field, Since the white balance control coefficient is corrected based on the white balance correction coefficient calculated in this way, the coefficient error due to the change in the spectral characteristics of the fluorescent lamp that changes with time can be mitigated, and the effect of color rolling is reduced. can do.
Note that the coefficient after correction is calculated on the hardware, and it is configured so that the result can be immediately reflected in the same field. It is possible not to occur.
また、部分積分結果は、画面内の同位置における時間的差分を検出するためのみに使用して、ホワイトバランス制御係数は１フィールド分の積分結果に基づいて算出するために、算出される係数は被写体に依存することはない。 In addition, the partial integration result is used only for detecting a temporal difference at the same position in the screen, and the white balance control coefficient is calculated based on the integration result for one field. It does not depend on the subject.
更に、ホワイトバランス制御係数の基礎補正係数に対して、基礎データＢ−２と基礎データＢ−１との相対比Ｂ１２と補正用リファレンスデータＡ−２と補正用リファレンスデータＡ−１との相対比Ａ１２との比率関係から補正を行なっているために、時間的差分を低減するために導かれる補正後の係数の信憑性を高めることができる。 Furthermore, relative to relative to the base correction coefficient of the white balance control coefficient, the relative ratio B 12 of the underlying data B -2 and basic data B -1 and correction reference data A -2 and correction reference data A -1 for doing the correct from the ratio relationship between the ratio a 12, it is possible to increase the credibility of corrected coefficient derived in order to reduce the time difference.
１ 撮像装置
２ 固体撮像素子
３ ＡＦＥ
４ デジタル信号処理部
５ レンズ
６ タイミングジェネレータ
７ アナログデジタル変換器
８ 輝度信号処理ブロック
９ 色信号処理ブロック
１０ マイクロコンピュータ
１１ａ 第１のＯＰＤ
１１ｂ 第２のＯＰＤ
１２ 混合回路
１３ デジタルアナログ変換器
１４ 原色分離回路
１５ ホワイトバランス制御回路
１６ 光
DESCRIPTION OF
4 Digital
11b Second OPD
12
Claims (4)
前記画像信号より複数の原色信号を分離する原色分離手段と、
前記同期信号の周期ごとに、同周期の実効領域の全期間における前記原色分離手段が分離した各原色信号の平均レベルを取得する第１の原色信号レベル検出手段と、
前記同期信号の周期ごとに、同周期の有効領域の最初から同有効領域内の所定のタイミングまでの期間における前記原色分離手段が分離した各原色信号の平均レベルを取得する第２の原色信号レベル検出手段と、
第Ｎ周期（Ｎ：自然数）に前記第１の原色信号レベル検出手段が各原色信号の平均レベルを取得すると、第Ｎ周期に前記第１の原色信号レベル検出手段が取得した各原色信号の平均レベルに乗じた結果が略均一となる様な係数を算出する係数算出手段と、
第Ｎ周期に前記第２の原色信号レベル検出手段が取得した各原色信号の平均レベル及び第（Ｎ＋ｍ）周期（ｍ：自然数）に前記第２の原色信号レベル検出手段が取得した各原色信号の平均レベルに基づいて、前記係数算出手段が第Ｎ周期に前記第１の原色信号レベル検出手段が取得した各原色信号の平均レベルから算出した前記係数を補正する係数補正手段と、
該係数補正手段によって補正された前記係数を第Ｎ周期に前記第１の原色信号レベル検出手段が取得した各原色信号の平均レベルに乗じて各原色信号のレベルを制御するレベル制御手段とを備える
ことを特徴とする撮像装置。 An image sensor that repeatedly captures a subject in synchronization with the synchronization signal and outputs an image signal;
Primary color separation means for separating a plurality of primary color signals from the image signal;
First primary color signal level detection means for obtaining an average level of each primary color signal separated by the primary color separation means for the entire period of the effective area of the same period for each period of the synchronization signal;
A second primary color signal level for obtaining an average level of each primary color signal separated by the primary color separation means in a period from the beginning of the effective area of the same period to a predetermined timing in the effective area for each period of the synchronization signal Detection means;
When the first primary color signal level detection means acquires the average level of each primary color signal in the Nth period (N: natural number), the average of each primary color signal acquired by the first primary color signal level detection means in the Nth period. Coefficient calculation means for calculating a coefficient such that the result multiplied by the level is substantially uniform;
The average level of each primary color signal acquired by the second primary color signal level detection means in the Nth period and each primary color signal acquired by the second primary color signal level detection means in the (N + m) period (m: natural number). Coefficient correction means for correcting the coefficient calculated from the average level of each primary color signal acquired by the first primary color signal level detection means in the Nth period based on the average level;
Level control means for controlling the level of each primary color signal by multiplying the coefficient corrected by the coefficient correction means by the average level of each primary color signal acquired by the first primary color signal level detection means in the Nth period. An imaging apparatus characterized by that.
第Ｎ周期に前記第１の原色信号レベル検出手段が取得した各原色信号の平均レベル、第（Ｎ＋ｎ）周期（ｎ：自然数、ｎ＜ｍ）に前記第１の原色信号レベル検出手段が取得した各原色信号の平均レベル、第Ｎ周期に前記第２の原色信号レベル検出手段が取得した各原色信号の平均レベル及び第（Ｎ＋ｎ）周期に前記第２の原色信号レベル検出手段が取得した各原色信号の平均レベルに基づいて、前記係数算出手段が第Ｎ周期に前記第１の原色信号レベル検出手段が取得した各原色信号の平均レベルから算出した前記係数を補正する
ことを特徴とする請求項１に記載の撮像装置。 The coefficient correction means includes an average level of each primary color signal acquired by the second primary color signal level detection means in the Nth period and a second primary color signal level detection means in the (N + m) period (m: natural number). Along with the average level of each acquired primary color signal,
The average level of each primary color signal acquired by the first primary color signal level detection means in the Nth period, and the first primary color signal level detection means acquired in the (N + n) period (n: natural number, n <m). The average level of each primary color signal, the average level of each primary color signal acquired by the second primary color signal level detection means in the Nth period, and each primary color acquired by the second primary color signal level detection means in the (N + n) period The coefficient calculation unit corrects the coefficient calculated from the average level of each primary color signal acquired by the first primary color signal level detection unit in the Nth period based on the average level of the signal. The imaging apparatus according to 1.
ことを特徴とする請求項１に記載の撮像装置。 The average level of each primary color signal acquired by the first primary color signal level detection means in the Nth period and each primary color signal acquired by the first primary color signal level detection means in the (N + a) period (a: natural number). The imaging apparatus according to claim 1, wherein when the ratio to the average level is equal to or greater than a predetermined value, control of the level of each primary color signal by the level control unit is stopped.
ことを特徴とする請求項１に記載の撮像装置。 The average level of each primary color signal acquired by the second primary color signal level detection means in the Nth period and each primary color signal acquired by the second primary color signal level detection means in the (N + b) period (b: natural number). The imaging apparatus according to claim 1, wherein when the ratio to the average level is equal to or greater than a predetermined value, control of the level of each primary color signal by the level control unit is stopped.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006085675A JP2007266709A (en) | 2006-03-27 | 2006-03-27 | Imaging apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006085675A JP2007266709A (en) | 2006-03-27 | 2006-03-27 | Imaging apparatus |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2007266709A true JP2007266709A (en) | 2007-10-11 |
Family
ID=38639310
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2006085675A Pending JP2007266709A (en) | 2006-03-27 | 2006-03-27 | Imaging apparatus |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2007266709A (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102008042754A1 (en) | 2007-10-12 | 2009-05-20 | Ishikawa Gasket Co., Ltd. | metal seal |
-
2006
- 2006-03-27 JP JP2006085675A patent/JP2007266709A/en active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102008042754A1 (en) | 2007-10-12 | 2009-05-20 | Ishikawa Gasket Co., Ltd. | metal seal |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4371108B2 (en) | Imaging apparatus and method, recording medium, and program | |
| JP4106554B2 (en) | Imaging environment determination method and imaging apparatus | |
| JP2007174537A (en) | Imaging apparatus | |
| KR20050073423A (en) | Color image processing method, and color imaging apparatus | |
| JPWO2017217137A1 (en) | Imaging control apparatus, imaging control method, and program | |
| JP2003259189A (en) | Imaging device and image processing method | |
| JP2010251980A (en) | Image data processor and imaging device | |
| JP2010114667A (en) | Automatic white balance adjustment system | |
| EP3474544B1 (en) | Image processing device, image processing method, and program | |
| JP5440245B2 (en) | Imaging device | |
| JP2007266709A (en) | Imaging apparatus | |
| JP2004215184A (en) | Clamp circuit | |
| JP2006303774A (en) | Imaging apparatus | |
| US8988550B2 (en) | Image-pickup apparatus and method of controlling the same | |
| JP2000032352A (en) | Video camera device | |
| JP3959707B2 (en) | Imaging device and white balance control method of imaging device | |
| JPH1169217A (en) | Electronic camera and its electronic shutter control method | |
| JP2007329604A (en) | Fluorescent light flicker detection circuit | |
| JP2008085736A (en) | Imaging apparatus, camera and image processing method | |
| US11310446B2 (en) | Imaging device, image processing method, and program | |
| JP2003274278A (en) | Television camera | |
| JP7237164B2 (en) | IMAGING DEVICE, IMAGING METHOD, AND VIDEO PROCESSING PROGRAM | |
| JP4096698B2 (en) | Line crawl correction device | |
| JP2005354292A (en) | Imaging apparatus and imaging method | |
| JP2010147565A (en) | Imaging apparatus |