JP2009055589A

JP2009055589A - Imaging apparatus

Info

Publication number: JP2009055589A
Application number: JP2008108014A
Authority: JP
Inventors: Kazuto Sasaki; 一人佐々木; Hiroo Takemura; 村裕夫竹; Hironaga Honda; 多浩大本; Tatsuya Shimoike; 池辰也下
Original assignee: OKUTO EIZO KENKYUSHO KK; Toshiba Corp
Current assignee: OKUTO EIZO KENKYUSHO KK; Toshiba Corp
Priority date: 2007-07-27
Filing date: 2008-04-17
Publication date: 2009-03-12
Anticipated expiration: 2028-04-17
Also published as: JP5106221B2

Abstract

<P>PROBLEM TO BE SOLVED: To provide an imaging apparatus capable of improving signal to noise ratios (S/N) of color signals and image quality by using an existing sensor in a Bayer array. <P>SOLUTION: An imaging apparatus comprises: a lens 1; a CMOS image sensor 2 including a photoelectric conversion device for each pixel; a color filter array 3 disposed on the photoelectric conversion devices of the sensor 2; and a signal processing circuit 4. A virtual pixel arithmetic circuit 12 includes a peripheral B signal extraction circuit 21, a peripheral R signal extraction circuit 22, a peripheral G signal extraction circuit 23, and an arithmetic circuit 24. At a pixel position of a reference G pixel within a pixel block, a virtual R signal and a virtual B signal are calculated by a pixel value of the G pixel itself, and pixel values of surrounding R and B pixels. Thus, the R pixels and B pixels within the pixel block are increased from two pixels to six pixels, respectively, and color resolutions and S/Ns of the R signal and the B signal can be remarkably improved. <P>COPYRIGHT: (C)2009,JPO&INPIT

Description

本発明は、ベイヤ配列の画素を備えた撮像装置に関する。 The present invention relates to an imaging apparatus including pixels with a Bayer array.

従来、ＣＭＯＳイメージセンサを用いたカラーカメラではＲＧＢの原色フィルタを市松状に配列させた、いわゆるベイヤ（Bayer）配列の色フィルタが用いられてきた。ベイヤ配列では、先ずＧ画素を市松状に配列させ、残りの部分にＲ画素とＢ画素とをそれぞれ市松状に配列させている。 Conventionally, color cameras using CMOS image sensors have used so-called Bayer color filters in which RGB primary color filters are arranged in a checkered pattern. In the Bayer arrangement, first, G pixels are arranged in a checkered pattern, and R pixels and B pixels are arranged in a checkered pattern in the remaining part.

これに対して、Ｇ画素の一つをＷ画素に置き換えることにより、光の透過率をよくしてＳ／Ｎ改善を図ったイメージセンサが最近発表されている（非特許文献１〜３参照）。 On the other hand, an image sensor that has improved light transmittance and improved S / N by replacing one of the G pixels with a W pixel has recently been announced (see Non-Patent Documents 1 to 3). .

非特許文献１，２は、この色フィルタ配列において、Ｗ画素の画素位置に、以下の（１）〜（３）式に基づいてＲＧＢ画素値（ＲＷ、ＧＷ、ＢＷ）を生成して、ＲＧＢ信号のＳ／Ｎの改善を図っている。
ＲＷ＝Ｗ×Ｒaverage／（Ｒaverage＋Ｇaverage＋Ｂaverage） …（１）
ＧＷ＝Ｗ×Ｇaverage／（Ｒaverage＋Ｇaverage＋Ｂaverage） …（２）
ＢＷ＝Ｗ×Ｂaverage／（Ｒaverage＋Ｇaverage＋Ｂaverage） …（３）
ここで、Ｒaverageは、Ｗ画素周辺の２つのＲ画素の平均から算出される。同様に、ＢaverageはＷ画素周辺２つのＢ画素の平均から算出され、ＧaverageはＷ画素周辺４つのＧ画素の平均から算出される。
Hiroto Honda, et al : A novel Bayer-like WRGB color filter array for CMOS Image Sensors, Proc. of SPIE-IS&T Electronic Imaging, SPIE Vol.6492, pp. 64921J-1-10, 2007. Hiroto Honda, et al : High Sensitivity Color CMOS Image Sensor with WRGB Color Filter Array and Color Separation Process using Edge Detection, 2007 International Image Sensor Workshop, June 7-10, 2007. Eastman Kodak News Release June 14,2007. Non-Patent Documents 1 and 2 generate RGB pixel values (RW, GW, BW) based on the following formulas (1) to (3) at the pixel position of the W pixel in this color filter array. The signal S / N is improved.
RW = W × Raverage / (Raverage + Gaverage + Baverage) (1)
GW = W × Gaverage / (Raverage + Gaverage + Baverage) (2)
BW = W × Baverage / (Raverage + Gaverage + Baverage) (3)
Here, Raverage is calculated from the average of two R pixels around the W pixel. Similarly, Baverage is calculated from the average of two B pixels around the W pixel, and Gaverage is calculated from the average of four G pixels around the W pixel.
Hiroto Honda, et al: A novel Bayer-like WRGB color filter array for CMOS Image Sensors, Proc. Of SPIE-IS & T Electronic Imaging, SPIE Vol.6492, pp. 64921J-1-10, 2007. Hiroto Honda, et al: High Sensitivity Color CMOS Image Sensor with WRGB Color Filter Array and Color Separation Process using Edge Detection, 2007 International Image Sensor Workshop, June 7-10, 2007. Eastman Kodak News Release June 14,2007.

非特許文献１〜３では、Ｗ画素を有するイメージセンサを使用することを前提としており、センサのコストが高くなるおそれがある。また、既存のベイヤ配列のセンサを使用できないため、普及に時間がかかることが予想され、また、Ｗ画素を有するセンサの電気的特性についての検証も必要となる。特に、Ｗ画素とそれ以外の画素との感度差やフィルタ特性のばらつきなどの不具合が生じる可能性もある。 Non-Patent Documents 1 to 3 are based on the premise that an image sensor having W pixels is used, which may increase the cost of the sensor. In addition, since existing Bayer array sensors cannot be used, it is expected that it will take time to spread, and it is also necessary to verify the electrical characteristics of sensors having W pixels. In particular, inconveniences such as sensitivity differences between W pixels and other pixels and variations in filter characteristics may occur.

本発明は、既存のベイヤ配列のセンサを用いて、色信号のＳ／Ｎと画質を向上可能な撮像装置を提供するものである。 The present invention provides an imaging apparatus capable of improving the S / N of color signals and the image quality using an existing Bayer array sensor.

本発明の一態様によれば、レンズと、
画素ごとに設けられ、ベイヤ配列で配置される第１の色フィルタ、第２の色フィルタおよび第３の色フィルタと、
前記レンズを経由して前記第１〜第３の色フィルタを通過した光を光電変換して、前記第１の色フィルタに対応する第１の色信号と、前記第２の色フィルタに対応する第２の色信号と、前記第３の色フィルタに対応する第３の色信号とを生成するイメージセンサと、
前記第１〜第３の色信号に対して信号処理を行う信号処理部と、を備え、
前記第１の色フィルタは市松状に配置されて、前記第１の色フィルタに対応する画素のうち一つが基準画素として用いられ、
前記信号処理部は、
前記基準画素に対応して、前記基準画素の周囲に位置する画素の前記第２の色信号と、前記基準画素の周囲に位置する画素の前記第１の色信号との比率に基づいて、前記基準画素に対応する第４の色信号を生成する第１の色生成手段と、
前記基準画素に対応して、前記基準画素の周囲に位置する画素の前記第３の色信号と、前記基準画素の周囲に位置する画素の前記第１の色信号との比率に基づいて、前記基準画素に対応する第５の色信号を生成する第２の色生成手段と、
前記第１〜第５の色信号に基づいて、所定の画像処理を行ってカラー信号を生成する特性変換手段と、を有することを特徴とする撮像装置が提供される。 According to one aspect of the invention, a lens;
A first color filter, a second color filter, and a third color filter provided for each pixel and arranged in a Bayer array;
The first color signal corresponding to the first color filter and the second color filter are converted by photoelectrically converting the light that has passed through the first to third color filters via the lens. An image sensor that generates a second color signal and a third color signal corresponding to the third color filter;
A signal processing unit that performs signal processing on the first to third color signals,
The first color filter is arranged in a checkered pattern, and one of the pixels corresponding to the first color filter is used as a reference pixel;
The signal processing unit
Corresponding to the reference pixel, based on the ratio of the second color signal of the pixels located around the reference pixel and the first color signal of the pixels located around the reference pixel, First color generation means for generating a fourth color signal corresponding to the reference pixel;
Corresponding to the reference pixel, based on the ratio of the third color signal of the pixels located around the reference pixel and the first color signal of the pixels located around the reference pixel, Second color generation means for generating a fifth color signal corresponding to the reference pixel;
There is provided an imaging apparatus comprising: characteristic conversion means for generating a color signal by performing predetermined image processing based on the first to fifth color signals.

本発明によれば、既存のベイヤ配列のセンサを用いて、色信号のＳ／Ｎと画質を向上できる。 According to the present invention, it is possible to improve the S / N and the image quality of a color signal using an existing Bayer array sensor.

以下、図面を参照しながら、本発明の一実施形態について説明する。 Hereinafter, an embodiment of the present invention will be described with reference to the drawings.

図１は本発明の一実施形態による撮像装置の概略構成を示すブロック図である。図１の撮像装置は、レンズ１と、画素ごとに光電変換素子を有するＣＭＯＳイメージセンサ２と、センサ２の各光電変換素子の上に配置される色フィルタアレイ３と、信号処理回路４とを備えている。 FIG. 1 is a block diagram showing a schematic configuration of an imaging apparatus according to an embodiment of the present invention. 1 includes a lens 1, a CMOS image sensor 2 having a photoelectric conversion element for each pixel, a color filter array 3 disposed on each photoelectric conversion element of the sensor 2, and a signal processing circuit 4. I have.

信号処理回路４は、３×３画素からなる画素ブロック単位で画素値を並列出力する同時化回路１１と、後に詳述する仮想画素演算回路（第１の色生成手段、第２の色生成手段）１２と、カラー信号を生成する特性変換回路（特性変換手段）１３とを有する。 The signal processing circuit 4 includes a synchronization circuit 11 that outputs pixel values in parallel in units of 3 × 3 pixel blocks, and a virtual pixel arithmetic circuit (first color generation unit, second color generation unit) described in detail later. ) 12 and a characteristic conversion circuit (characteristic conversion means) 13 for generating a color signal.

被写体の光学像は、レンズ１を通過して、ＣＭＯＳイメージセンサ２の撮像面に結像される。撮像面には、色フィルタアレイ３が設けられており、色フィルタアレイ３を通過した波長の光が光電変換素子で光電変換されてカラー情報が得られる。 The optical image of the subject passes through the lens 1 and is formed on the imaging surface of the CMOS image sensor 2. A color filter array 3 is provided on the imaging surface, and light having a wavelength that has passed through the color filter array 3 is photoelectrically converted by a photoelectric conversion element to obtain color information.

ＣＭＯＳイメージセンサ２から出力される信号は色フィルタアレイ３に対応したＲＧＢ色信号であり、通常は不図示のＡ／Ｄ変換器によりデジタル信号に変換された後に、信号処理回路４に入力される。 The signal output from the CMOS image sensor 2 is an RGB color signal corresponding to the color filter array 3 and is normally input to the signal processing circuit 4 after being converted into a digital signal by an A / D converter (not shown). .

信号処理回路４に入力されるＲＧＢ色信号は点順次信号（シリアル信号）である。同時化回路１１は、画素ブロックを構成する３×３画素分の色信号を同タイミングで並列出力する。仮想画素演算回路１２は、Ｒ信号、Ｇ信号およびＢ信号から新たに仮想Ｒ信号と仮想Ｂ信号を生成して、特性変換回路１３に供給する。 The RGB color signal input to the signal processing circuit 4 is a dot sequential signal (serial signal). The synchronization circuit 11 outputs the color signals for 3 × 3 pixels constituting the pixel block in parallel at the same timing. The virtual pixel arithmetic circuit 12 newly generates a virtual R signal and a virtual B signal from the R signal, the G signal, and the B signal, and supplies the virtual R signal and the virtual B signal to the characteristic conversion circuit 13.

特性変換回路１３は、仮想画素演算回路１２で生成された仮想Ｒ信号および仮想Ｂ信号と、信号処理回路４に入力された色信号とを用いて、マトリックス演算、輪郭補正、ガンマ補正などの非直線処理を行い、カラー信号を例えばＹＵＶ信号またはＲＧＢ信号の形式で出力する。 The characteristic conversion circuit 13 uses the virtual R signal and the virtual B signal generated by the virtual pixel calculation circuit 12 and the color signal input to the signal processing circuit 4 to perform non-matrix operations such as matrix calculation, contour correction, and gamma correction. Straight line processing is performed, and a color signal is output in the form of, for example, a YUV signal or an RGB signal.

次に、仮想画素演算回路１２を詳細に説明する。図２は本実施形態による色フィルタアレイ３の色配置を示す図、図３は単板式カラーカメラで使われている各色信号の分光感度特性を示す図である。 Next, the virtual pixel arithmetic circuit 12 will be described in detail. FIG. 2 is a diagram showing the color arrangement of the color filter array 3 according to this embodiment, and FIG. 3 is a diagram showing the spectral sensitivity characteristics of each color signal used in the single-plate color camera.

イメージセンサ２から出力されるＲＧＢ各色信号の大きさは図３の色フィルタの波長特性とイメージセンサ２の分光感度特性との掛け算を波長ごとに積分した値になる。現在、多くの単板式カラーカメラで使われている各色信号の分光感度特性は図３に示すような曲線となっている。 The magnitude of each RGB color signal output from the image sensor 2 is a value obtained by integrating the wavelength characteristic of the color filter of FIG. 3 and the spectral sensitivity characteristic of the image sensor 2 for each wavelength. At present, the spectral sensitivity characteristic of each color signal used in many single-panel color cameras has a curve as shown in FIG.

ここで、各色特性は主として信頼性の観点から染料が限定されるため、シャープカットオフではなく、他の色特性の領域まで入り込んでいる。特に、図３に示すように、Ｇ色フィルタではこれが顕著であり、Ｇ成分に対応する本来の波長の他に、Ｒ成分とＢ成分がかなり入り込んでいる。一般に使用されているＧ色フィルタでも、実際の波長特性は、ブロードな特性になっており、Ｇ色フィルタに対応する画素にはＲとＢ成分も含まれている。 Here, since each color characteristic is limited to a dye mainly from the viewpoint of reliability, it is not a sharp cut-off, but extends into other color characteristic regions. In particular, as shown in FIG. 3, this is remarkable in the G color filter, and in addition to the original wavelength corresponding to the G component, the R component and the B component are considerably included. Even in a commonly used G color filter, the actual wavelength characteristics are broad, and the pixels corresponding to the G color filter include R and B components.

一方、各画素には１つの色フィルタと、それに対応した信号配線しか設けられていないため、Ｇフィルタが配列された画素からはＧ信号しか得られない。ベイヤ配列では、Ｒ，Ｂの色フィルタはＧフィルタに比べて半分の数しか設けられていないため、Ｒ信号とＢ信号はＧ信号に比べて信号量が少なくなる。 On the other hand, since each pixel is provided with only one color filter and a corresponding signal wiring, only the G signal can be obtained from the pixel in which the G filter is arranged. In the Bayer array, only half of the R and B color filters are provided as compared with the G filter, so that the R signal and the B signal have a smaller signal amount than the G signal.

そこで、本実施形態では、ベイヤ配列の色フィルタアレイ３を用いた場合に、基準画素の色フィルタの色とは異なる色の色信号を類推して基準画素の位置に設定する。このようにして、類推された画素を仮想画素と呼ぶことにする。 Therefore, in the present embodiment, when the Bayer array color filter array 3 is used, a color signal of a color different from the color of the color filter of the reference pixel is estimated and set at the position of the reference pixel. In this way, the analogized pixel is referred to as a virtual pixel.

このような本実施形態の処理は一般に、画像情報では隣接画素の相関が強いこと、多くの被写体では特定の波長成分だけが形成されることはなく、ある程度ブロードな波長特性を持っているという事実に基づいている。 In general, the processing according to the present embodiment has a strong correlation between adjacent pixels in image information, and in many subjects, only a specific wavelength component is not formed and has a broad wavelength characteristic to some extent. Based on.

図４は仮想Ｂ信号と仮想Ｒ信号の生成を説明する図であり、図４（ａ）はベイヤ配列の色フィルタアレイ３を示し、図４（ｂ）は基準画素Ｇ２２から仮想画素Ｂｖ２２を生成する例を示し、図４（ｃ）は基準画素Ｇ２２から仮想画素Ｒｖ２２を生成する例を示している。 4A and 4B are diagrams for explaining generation of the virtual B signal and the virtual R signal. FIG. 4A shows the color filter array 3 in the Bayer array, and FIG. 4B generates the virtual pixel Bv22 from the reference pixel G22. FIG. 4C shows an example in which the virtual pixel Rv22 is generated from the reference pixel G22.

先ず、図４（ｂ）に示すように、基準画素Ｇ２２から仮想画素ＢＶ２２を生成する方法を説明する。基準画素Ｇ２２の周囲には４つの画素Ｇ１１、Ｇ１３、Ｇ３１、Ｇ３３と２つの画素Ｂ２１、Ｂ２３が存在する。基準画素Ｇ２２の位置のＢ信号、すなわち仮想画素ＢＶ２２の色信号は、前述したように、隣接画素である２つのＢ画素Ｂ２１、Ｂ２３の色信号から大きくかけ離れていることはない。しかし色信号の大きさは正確にはわからない。 First, as shown in FIG. 4B, a method for generating the virtual pixel BV22 from the reference pixel G22 will be described. Around the reference pixel G22, there are four pixels G11, G13, G31, G33 and two pixels B21, B23. As described above, the B signal at the position of the reference pixel G22, that is, the color signal of the virtual pixel BV22 is not significantly different from the color signals of the two B pixels B21 and B23 that are adjacent pixels. However, the magnitude of the color signal is not accurately known.

そこで、本実施形態では、基準画素Ｇ２２の色信号の大きさを基準にして、２つの隣接画素のＢ信号Ｂ２１、Ｂ２３と周辺の４画素のＧ信号Ｇ１１、Ｇ１３、Ｇ３１、Ｇ３３を用いて、Ｂ成分とＧ成分の比率を算出して、基準画素位置にＢ成分を生成する。 Therefore, in the present embodiment, using the B signals B21 and B23 of the two adjacent pixels and the G signals G11, G13, G31, and G33 of the four neighboring pixels based on the magnitude of the color signal of the reference pixel G22, The ratio between the B component and the G component is calculated, and the B component is generated at the reference pixel position.

より具体的には、以下の（４）式に示すように、隣接画素である２つのＢ信号Ｂ２１、Ｂ２３の平均値（Ｂ２１＋Ｂ２３）／２と、４つのＧ信号Ｇ１１、Ｇ１３、Ｇ３１、Ｇ３３の平均値（Ｇ１１＋Ｇ１３＋Ｇ３１＋Ｇ３３）／４との比率２（Ｂ２１＋Ｂ２３）／（Ｇ１１＋Ｇ１３＋Ｇ３１＋Ｇ３３）に、Ｇ２２信号を乗じた値を仮想Ｂｖとする。
Ｂｖ＝Ｇ２２×２（Ｂ２１＋Ｂ２３）／（Ｇ１１＋Ｇ１３＋Ｇ３１＋Ｇ３３） …（４） More specifically, as shown in the following equation (4), an average value (B21 + B23) / 2 of two B signals B21 and B23, which are adjacent pixels, and four G signals G11, G13, G31, and G33. A value obtained by multiplying the ratio 22 (B21 + B23) / (G11 + G13 + G31 + G33) with the average value (G11 + G13 + G31 + G33) / 4 by the G22 signal is defined as a virtual Bv.
Bv = G22 × 2 (B21 + B23) / (G11 + G13 + G31 + G33) (4)

同様にして、図４（ｃ）に示すように、基準画素Ｇ２２を用いて仮想Ｒｖを算出する。Ｇ２２の周囲には４つのＧ信号Ｇ１１、Ｇ１３、Ｇ３１、Ｇ３３と２つのＲ１２、Ｒ３２が存在する。そこで、基準画素であるＧ２２の位置のＲ信号、すなわち仮想ＲｖはＧ２２信号の大きさを基準にして、周辺のＲ成分とＧ成分の比率を算出してＧ成分をＲ成分に置き換えることができる。この演算を行うと、基準画素Ｇ２２の位置での仮想Ｒｖは以下の（５）式で求められる。
Ｒｖ＝Ｇ２２×２（Ｒ１２＋Ｒ３２）／（Ｇ１１＋Ｇ１３＋Ｇ３１＋Ｇ３３） …（５） Similarly, as shown in FIG. 4C, the virtual Rv is calculated using the reference pixel G22. Around G22, there are four G signals G11, G13, G31, G33 and two R12, R32. Therefore, the R signal at the position of the reference pixel G22, that is, the virtual Rv, can calculate the ratio of the peripheral R component to the G component on the basis of the magnitude of the G22 signal and replace the G component with the R component. . When this calculation is performed, the virtual Rv at the position of the reference pixel G22 is obtained by the following equation (5).
Rv = G22 × 2 (R12 + R32) / (G11 + G13 + G31 + G33) (5)

上記（４）（５）式により、基準画素Ｇ２２の位置での仮想Ｂｖ信号、仮想Ｒｖ信号が求められる。 The virtual Bv signal and the virtual Rv signal at the position of the reference pixel G22 are obtained by the above equations (4) and (5).

その後、横方向に２画素ずらした新たな画素ブロックの基準画素Ｇ３３の位置での仮想Ｂｖ信号、仮想Ｒｖ信号を算出する。図２に示すように、基準Ｇ３３の周囲には４つの画素Ｇ２２、Ｇ２４、Ｇ４２、Ｇ４４と２つの画素Ｒ３２、Ｒ３４が存在する。そこで、基準画素Ｇ３３の位置のＲ信号、すなわち仮想Ｒｖは以下の（６）式で求められる。
Ｒｖ＝Ｇ３３×２（Ｒ３２＋Ｒ３４）／（Ｇ２２＋Ｇ２４＋Ｇ４２＋Ｇ４４） …（６） Thereafter, a virtual Bv signal and a virtual Rv signal at the position of the reference pixel G33 of the new pixel block shifted by two pixels in the horizontal direction are calculated. As shown in FIG. 2, there are four pixels G22, G24, G42, G44 and two pixels R32, R34 around the reference G33. Therefore, the R signal at the position of the reference pixel G33, that is, the virtual Rv is obtained by the following equation (6).
Rv = G33 × 2 (R32 + R34) / (G22 + G24 + G42 + G44) (6)

同様にして、基準画素Ｇ３３の位置での仮想Ｂｖ信号を算出する。基準画素Ｇ３３の周囲には４つの画素Ｇ２２、Ｇ２４、Ｇ４２、Ｇ４４と２つの画素Ｂ２３、Ｂ４３が存在する。そこで、基準画素Ｇ３３の位置のＢ信号、すなわち仮想Ｂｖは以下の（７）式で求められる。
Ｂｖ＝Ｇ３３×２（Ｂ２３＋Ｂ４３）／（Ｇ２２＋Ｇ２４＋Ｇ４２＋Ｇ４４） …（７） Similarly, a virtual Bv signal at the position of the reference pixel G33 is calculated. Around the reference pixel G33, there are four pixels G22, G24, G42, and G44 and two pixels B23 and B43. Therefore, the B signal at the position of the reference pixel G33, that is, the virtual Bv is obtained by the following equation (7).
Bv = G33 × 2 (B23 + B43) / (G22 + G24 + G42 + G44) (7)

上記（６）（７）式により、基準Ｇ３３の位置での仮想Ｒｖ信号、仮想Ｂｖ信号が求められる。 The virtual Rv signal and the virtual Bv signal at the position of the reference G33 are obtained by the above equations (6) and (7).

このようにして、Ｒ画素とＢ画素が存在しないＧ画素（基準画素）の画素位置に、Ｇ画素自身の画素値と、周囲のＲ、Ｂ画素の画素値とによって、仮想Ｒ信号、仮想Ｂ信号を算出することができる。 In this way, the virtual R signal, the virtual B signal are detected at the pixel position of the G pixel (reference pixel) where the R pixel and the B pixel do not exist, by the pixel value of the G pixel itself and the pixel values of the surrounding R and B pixels. A signal can be calculated.

これにより、図５（ａ）と図５（ｂ）に示すように、３×３画素からなる画素ブロック内にそれぞれ４つの仮想Ｒｖ画素と４つの仮想Ｂｖ画素の色信号を算出することができる。 As a result, as shown in FIGS. 5A and 5B, color signals of four virtual Rv pixels and four virtual Bv pixels can be calculated in a pixel block composed of 3 × 3 pixels, respectively. .

本実施形態によれば、画素ブロック内のＲ画素とＢ画素を各々２画素から６画素に増やすことができ、Ｒ信号とＢ信号の色解像度とＳ／Ｎを大きく向上させることができる。 According to this embodiment, the R pixel and B pixel in the pixel block can be increased from 2 pixels to 6 pixels, respectively, and the color resolution and S / N of the R signal and B signal can be greatly improved.

上述した仮想画素ＲｖとＢｖは、通常の補間処理で生成した見かけの画素Ｂａとは物理的な性質が大きく相違している。以下、この相違点を詳述する。 The virtual pixels Rv and Bv described above are greatly different in physical properties from the apparent pixel Ba generated by the normal interpolation process. Hereinafter, this difference will be described in detail.

通常の補間処理にて、図４（ａ）の基準画素Ｇ２２の位置にＢ画素情報Ｂａを割り当てる場合、Ｇ２２画素位置にはＢ画素が存在しないため、Ｇ２２画素に隣接する２画素Ｂ２１，Ｂ２３を用いて、以下の（８）式により補間処理を行う。
Ｂａ＝（Ｂ２１＋Ｂ２３）／２ …（８） When the B pixel information Ba is assigned to the position of the reference pixel G22 in FIG. 4A in a normal interpolation process, since there is no B pixel at the G22 pixel position, the two pixels B21 and B23 adjacent to the G22 pixel are The interpolation processing is performed by the following equation (8).
Ba = (B21 + B23) / 2 (8)

上記（８）式は単なる平均化処理であり、新たな画素情報を追加しているわけではない。このような補間処理にて追加された画素情報Ｂａは、周囲のＢ信号Ｂ２１、Ｂ２３を平均化したにすぎず、Ｂ２１信号とＢ２３信号に含まれていたノイズも平均化され、決してＳ／Ｎは向上しない。 The above equation (8) is merely an averaging process and does not add new pixel information. The pixel information Ba added by such an interpolation process only averages the surrounding B signals B21 and B23, and the noise contained in the B21 signal and the B23 signal is also averaged and never S / N. Does not improve.

これに対して、本実施形態による仮想画素は、上記（４）〜（７）式に示すように、仮想Ｒｖ信号または仮想Ｂｖ信号を生成する画素位置の基準画素Ｇ２２やＧ３３の画素値をそのまま用いて画素値を計算している。また、周囲のＲ信号またはＢ信号を平均化するだけでなく、周囲のＲ信号またはＢ信号の平均値と周囲のＧ信号の平均値との比率を計算している。 On the other hand, the virtual pixel according to the present embodiment uses the pixel values of the reference pixels G22 and G33 at the pixel position where the virtual Rv signal or the virtual Bv signal is generated as shown in the above equations (4) to (7). To calculate the pixel value. In addition to averaging the surrounding R signal or B signal, the ratio of the average value of the surrounding R signal or B signal and the average value of the surrounding G signal is calculated.

すなわち、本実施形態では、上記比率と基準画素の画素値とを乗じることにより仮想画素Ｂｖ、Ｒｖを算出している。これにより、本実施形態では、周囲の画素を平均化して仮想画素を求めるのではなく、新たな画素情報を創出している。 That is, in the present embodiment, the virtual pixels Bv and Rv are calculated by multiplying the ratio and the pixel value of the reference pixel. Thus, in the present embodiment, new pixel information is created instead of averaging surrounding pixels and obtaining a virtual pixel.

上記の手順により、新たな画素情報を創出できる理由は、明るさ情報がＲ信号、Ｇ信号、Ｂ信号から成り立っていることと、画像の多くが水平垂直に相関を持っていることとによる。すなわち、多くの被写体では明るさが変化するとＲ信号、Ｇ信号、Ｂ信号がほぼ比例して変化する。したがって、Ｒ、Ｇ、Ｂ信号の１つ、例えばＧ信号が大きくなれば残りのＲ信号、Ｂ信号も大きくなる場合がほとんどであり、これはすなわちＧ信号からＲ信号とＢ信号を生成できることに他ならない。 The reason why new pixel information can be created by the above procedure is that the brightness information is composed of the R signal, G signal, and B signal, and that many of the images are correlated horizontally and vertically. That is, in many subjects, when the brightness changes, the R signal, the G signal, and the B signal change approximately proportionally. Therefore, when one of the R, G, and B signals, for example, the G signal increases, the remaining R signal and B signal also increase in most cases, which means that the R signal and the B signal can be generated from the G signal. There is nothing else.

一方、多くの画像では、Ｒ信号、Ｇ信号、Ｂ信号が２次元の空間で、水平方向と垂直方向に各々強い相関を有している。ＰＣ等による特殊な人工的に作られたパターンを除くと、Ｒ信号、Ｇ信号、Ｂ信号がイメージセンサ２の画素ごとに大きく変化することはない。細かい変化は明暗の白黒情報であり、色情報が含まれることは少ない。 On the other hand, in many images, the R signal, the G signal, and the B signal have a strong correlation with each other in the horizontal direction and the vertical direction in a two-dimensional space. Except for a special artificially created pattern such as a PC, the R signal, the G signal, and the B signal do not change greatly for each pixel of the image sensor 2. Small changes are light and dark black and white information, and color information is rarely included.

そこで、個々の画素から得られるＲＧＢ信号成分の比率とその周囲のＲＧＢ信号成分の比率とは大きく異なることは少ない。したがって、Ｒ／ＧやＢ／Ｇの比率は画素ごとに変化することは少なく、何画素かにまたがって緩やかに変化する。 Therefore, the ratio of the RGB signal components obtained from each pixel and the ratio of the surrounding RGB signal components are not very different. Therefore, the ratio of R / G and B / G rarely changes from pixel to pixel, and gradually changes across several pixels.

Ｇ信号の大きさを基準にして、その周辺のＢ信号とＧ信号の比率を乗じると、Ｇ信号が有していた明るさの情報を維持したままで、Ｂ信号を創り出すことができる。すなわち、明るさの情報をＧ信号から得て、色情報は周辺のＢとＧの割合、各々の画素平均値から演算により得ている。同様に、Ｇ信号の大きさを基準にして、その周辺のＲ信号とＧ信号の比率をかけてやればＲ信号が創出される。これらの演算は仮想画素演算回路１２により行われる。 By multiplying the ratio of the surrounding B signal and G signal on the basis of the magnitude of the G signal, the B signal can be created while maintaining the brightness information possessed by the G signal. That is, the brightness information is obtained from the G signal, and the color information is obtained by calculation from the ratio of the surrounding B and G and the average value of each pixel. Similarly, the R signal is created by multiplying the ratio of the surrounding R signal and the G signal by using the magnitude of the G signal as a reference. These calculations are performed by the virtual pixel calculation circuit 12.

図６は仮想画素演算回路１２の内部構成の一例を示すブロック図である。図示のように、仮想画素演算回路１２は、周辺Ｂ信号抽出回路２１と、周辺Ｒ信号抽出回路２２と、周辺Ｇ信号抽出回路２３と、演算回路２４とを有する。なお、以下の説明および図６では、基準画素をＧ２２としている。 FIG. 6 is a block diagram illustrating an example of the internal configuration of the virtual pixel arithmetic circuit 12. As illustrated, the virtual pixel calculation circuit 12 includes a peripheral B signal extraction circuit 21, a peripheral R signal extraction circuit 22, a peripheral G signal extraction circuit 23, and an arithmetic circuit 24. In the following description and FIG. 6, the reference pixel is G22.

周辺Ｂ信号抽出回路２１は、仮想Ｒ信号と仮想Ｂ信号を生成する対象となる基準画素Ｇ２２の周囲の２画素Ｂ２１、Ｂ２３信号を抽出する。周辺Ｒ信号抽出回路２２は、基準画素Ｇ２２の周囲の２画素Ｇ２１、Ｇ２３信号を抽出する。周辺Ｇ信号抽出回路２３は、基準画素Ｇ２２の周囲の４画素Ｇ１２、Ｇ１３、Ｇ３１、Ｇ３３信号を抽出する。 The peripheral B signal extraction circuit 21 extracts two pixel B21 and B23 signals around the reference pixel G22 that is a target for generating the virtual R signal and the virtual B signal. The peripheral R signal extraction circuit 22 extracts the two pixels G21 and G23 around the reference pixel G22. The peripheral G signal extraction circuit 23 extracts the four pixels G12, G13, G31, and G33 signals around the reference pixel G22.

演算回路２４は、例えば（４）式に従って仮想Ｂｖ信号を生成する。同様にして、演算回路２４は（５）式に従って仮想Ｒｖ信号も生成する。 The arithmetic circuit 24 generates a virtual Bv signal according to, for example, the equation (4). Similarly, the arithmetic circuit 24 generates a virtual Rv signal according to the equation (5).

図７は図１に示した同時化回路１１と仮想画素演算回路１２の詳細構成の一例を示すブロック図である。図示のように、同時化回路１１は、１Ｈ遅延回路３１と、２Ｈ遅延回路３２と、１画素遅延回路３３，３４とを有する。仮想画素演算回路１２は、周辺Ｂ信号抽出回路２１と、周辺Ｒ信号抽出回路２２と、周辺Ｇ信号抽出回路２３と、演算回路２４とを有する。周辺Ｂ信号抽出回路２１は、Ｂ加算回路３５と、１／２回路３６とを有する。周辺Ｒ信号抽出回路２２は、Ｒ加算回路３７と、１／２回路３８とを有する。周辺Ｇ信号抽出回路２３は、Ｇ加算回路３９と、１／４回路４０とを有する。演算回路２４は、Ｂ：Ｇ演算回路４１と、Ｒ：Ｇ演算回路４２と、Ｂｖ算出回路４３と、Ｒｖ算出回路４４とを有する。 FIG. 7 is a block diagram showing an example of a detailed configuration of the synchronization circuit 11 and the virtual pixel arithmetic circuit 12 shown in FIG. As illustrated, the synchronization circuit 11 includes a 1H delay circuit 31, a 2H delay circuit 32, and 1-pixel delay circuits 33 and 34. The virtual pixel arithmetic circuit 12 includes a peripheral B signal extraction circuit 21, a peripheral R signal extraction circuit 22, a peripheral G signal extraction circuit 23, and an arithmetic circuit 24. The peripheral B signal extraction circuit 21 includes a B addition circuit 35 and a 1/2 circuit 36. The peripheral R signal extraction circuit 22 includes an R addition circuit 37 and a 1/2 circuit 38. The peripheral G signal extraction circuit 23 includes a G addition circuit 39 and a ¼ circuit 40. The arithmetic circuit 24 includes a B: G arithmetic circuit 41, an R: G arithmetic circuit 42, a Bv calculation circuit 43, and an Rv calculation circuit 44.

同時化回路１１は、イメージセンサ２から出力された信号を、３×３画素からなる画素ブロック単位で並列処理できるように、画素ブロック内の画素位置に応じて、１Ｈ遅延回路３１と２Ｈ遅延回路３２で１ラインか２ライン分遅延させ、その後に１画素遅延回路３３，３４にて、１画素か２画素分遅延させる。これにより、図４に示すように、基準画素Ｇ２２を中心とした周囲８画素の信号を同時に処理することができる。 The synchronization circuit 11 performs a parallel processing on the signal output from the image sensor 2 in units of 3 × 3 pixel blocks, and the 1H delay circuit 31 and the 2H delay circuit according to the pixel position in the pixel block. 32 is delayed by one line or two lines, and thereafter, one pixel delay circuits 33 and 34 are delayed by one pixel or two pixels. Thereby, as shown in FIG. 4, the signals of the surrounding 8 pixels centering on the reference pixel G22 can be processed simultaneously.

仮想画素演算回路１２内の周辺Ｂ信号抽出回路２１は、Ｂ加算回路３５にて基準画素の周囲２画素のＢ信号を加算し、１／２回路３６にてこれら２画素のＢ信号を平均化する。同様に、周辺Ｒ信号抽出回路２２は、Ｒ加算回路３７にて基準画素の周囲２画素のＲ信号を加算し、１／２回路３８にてこれら２画素のＲ信号を平均化する。同様に、周辺Ｇ信号抽出回路２３は、Ｇ加算回路３９にて基準画素の周囲４画素のＧ信号を加算し、１／４回路４０にてこれら４画素のＧ信号を平均化する。 The peripheral B signal extraction circuit 21 in the virtual pixel arithmetic circuit 12 adds the B signals of the two pixels around the reference pixel by the B addition circuit 35 and averages the B signals of the two pixels by the ½ circuit 36. To do. Similarly, the peripheral R signal extraction circuit 22 adds the R signals of the two pixels around the reference pixel by the R addition circuit 37 and averages the R signals of these two pixels by the ½ circuit 38. Similarly, the peripheral G signal extraction circuit 23 adds the G signals of the four pixels around the reference pixel by the G addition circuit 39, and averages the G signals of these four pixels by the ¼ circuit 40.

仮想画素演算回路１２内のＢ：Ｇ演算回路４１は、基準画素の周囲２画素のＢ信号の平均値と周囲４画素のＧ信号の平均値との比率を計算する。Ｒ：Ｇ演算回路４２は、基準画素の周囲２画素のＧ信号の平均値と周囲４画素のＧ信号の平均値との比率を計算する。Ｂｖ算出回路４３は、Ｂ：Ｇ演算回路４１で計算した比率に基準画素Ｇ２２のＧ信号を乗じた値を仮想Ｂｖ信号として出力する。Ｒｖ算出回路４４は、Ｒ：Ｇ演算回路４２で計算した比率に基準画素Ｇ２２のＧ信号を乗じた値を仮想Ｒｖ信号として出力する。 The B: G calculation circuit 41 in the virtual pixel calculation circuit 12 calculates a ratio between the average value of the B signal of the two surrounding pixels of the reference pixel and the average value of the G signal of the four surrounding pixels. The R: G arithmetic circuit 42 calculates the ratio between the average value of the G signal of the two surrounding pixels of the reference pixel and the average value of the G signal of the four surrounding pixels. The Bv calculation circuit 43 outputs a value obtained by multiplying the ratio calculated by the B: G calculation circuit 41 by the G signal of the reference pixel G22 as a virtual Bv signal. The Rv calculation circuit 44 outputs a value obtained by multiplying the ratio calculated by the R: G calculation circuit 42 by the G signal of the reference pixel G22 as a virtual Rv signal.

仮想Ｂｖ信号、Ｒｖ信号は、元のＲＧＢ信号とともに特性変換回路１３に入力されて、カラー信号ＹＵＶまたはＲＧＢが生成される。 The virtual Bv signal and Rv signal are input to the characteristic conversion circuit 13 together with the original RGB signal, and a color signal YUV or RGB is generated.

一つの画素ブロックについての処理が終了すると、縦または横方向に２画素分シフトして、新たな３×３画素からなる画素ブロックを単位として、その中心の基準画素に対応する仮想Ｂｖ信号、Ｒｖ信号を計算する。 When the processing for one pixel block is completed, the virtual Bv signal corresponding to the center reference pixel, Rv is shifted in units of a new 3 × 3 pixel block by shifting by two pixels vertically or horizontally. Calculate the signal.

図８は仮想画素演算回路１２の処理動作の一例を示すフローチャートである。まず、基準画素Ｇ２２を中心に含む３×３画素からなる画素ブロックのＲＧＢ信号を抽出する（ステップＳ１）。次に、基準画素の周囲の２画素Ｂ２１、Ｂ２３信号を抽出する処理（ステップＳ２）と、基準画素の周囲の２画素Ｒ１２、Ｒ３２信号を抽出する処理（ステップＳ３）と、基準画素のＧ２２信号を抽出する処理（ステップＳ４）と、基準画素の周囲の４画素Ｇ１１、Ｇ１３、Ｇ３１、Ｇ３３信号を抽出する処理（ステップＳ５）とを並行して行う。 FIG. 8 is a flowchart showing an example of the processing operation of the virtual pixel arithmetic circuit 12. First, an RGB signal of a pixel block composed of 3 × 3 pixels including the reference pixel G22 as a center is extracted (step S1). Next, a process of extracting the two pixels B21 and B23 around the reference pixel (step S2), a process of extracting the two pixels R12 and R32 around the reference pixel (step S3), and the G22 signal of the reference pixel Is extracted in parallel with the process of extracting the four pixels G11, G13, G31, and G33 around the reference pixel (step S5).

次に、ステップＳ２で抽出したＢ２１、Ｂ２３信号を加算する処理（ステップＳ６）と、ステップＳ３で抽出したＲ２１、Ｒ２３信号を加算する処理（ステップＳ７）と、ステップＳ５で抽出したＧ１１、Ｇ１３、Ｇ３１、Ｇ３３信号を加算する処理（ステップＳ８）とを並行して行う。 Next, a process of adding the B21 and B23 signals extracted in step S2 (step S6), a process of adding the R21 and R23 signals extracted in step S3 (step S7), and G11, G13, extracted in step S5, The process of adding the G31 and G33 signals (step S8) is performed in parallel.

次に、ステップＳ６の加算結果を１／２して平均化する処理（ステップＳ９）と、ステップＳ７の加算結果を１／２して平均化する処理（ステップＳ１０）と、ステップＳ８の加算結果を１／４して平均化する処理（ステップＳ１１）とをｊ並行して行う。 Next, a process of halving and averaging the addition result of step S6 (step S9), a process of halving and averaging the addition result of step S7 (step S10), and an addition result of step S8 The processing (step S11) for averaging by 1/4 is performed in parallel with j.

次に、基準画素の周囲２画素のＢ信号と周囲４画素のＧ信号との比率を計算する処理（ステップＳ１２）と、基準画素の周囲２画素のＲ信号と周囲４画素のＧ信号との比率を計算する処理（ステップＳ１３）とを並行して行う。 Next, a process of calculating the ratio of the B signal of the two surrounding pixels of the reference pixel and the G signal of the four surrounding pixels (step S12), and the R signal of the two surrounding pixels of the reference pixel and the G signal of the four surrounding pixels The processing for calculating the ratio (step S13) is performed in parallel.

次に、ステップＳ１２の演算結果にＧ２２信号を乗じて仮想Ｂｖ信号を算出する処理（ステップＳ１４）と、ステップＳ１３の演算結果にＧ２２信号を乗じて仮想Ｒｖ信号を算出する処理（ステップＳ１５）とを並行して行う。 Next, a process of calculating the virtual Bv signal by multiplying the calculation result of step S12 by the G22 signal (step S14), and a process of calculating the virtual Rv signal by multiplying the calculation result of step S13 by the G22 signal (step S15). In parallel.

上記では仮想Ｒｖと仮想Ｂｖの一例を示したが、以下では仮想Ｒｖと仮想Ｂｖの一般式について説明する。 Although an example of virtual Rv and virtual Bv has been described above, general formulas of virtual Rv and virtual Bv will be described below.

基準画素Ｇa,bが図２の偶数列にある場合、すなわち、基準画素Ｇa,bがＧ２２、Ｇ２４、…、Ｇ４２、Ｇ４４、…などの場合は、Ｂ画素は基準画素Ｇa,bの水平両隣のＢa,b-1信号、Ｂa,b+1信号を用い、Ｒ画素は基準画素Ga,bの垂直両隣のＲa-1,b信号とＲa+1,b信号を用いることになる。したがって、偶数列の仮想Ｒｖと仮想Ｂｖは、以下の（９）式と（１０）式で表される。
Ｂｖa,b＝２Ｇa,b（Ｂa,b-1＋Ｂa,b+1）
／（Ｇa-1,b-1＋Ｇa-1,b+1＋Ｇa+1,b-1＋Ｇa+1,b+1） …（９）
Ｒｖa,b＝２Ｇa,b（Ｒa,b-1＋Ｒa,b+1）
／（Ｇa-1,b-1＋Ｇa-1,b+1＋Ｇa+1,b-1＋Ｇa+1,b+1） …（１０） When the reference pixel Ga, b is in an even column in FIG. 2, that is, when the reference pixel Ga, b is G22, G24,..., G42, G44,..., The B pixel is horizontally adjacent to the reference pixel Ga, b. The Ba, b-1 signal and the Ba, b + 1 signal are used for the R pixel, and the Ra-1, b signal and the Ra + 1, b signal adjacent to the reference pixel Ga, b are used for the R pixel. Therefore, the virtual Rv and virtual Bv of the even-numbered columns are expressed by the following expressions (9) and (10).
Bva, b = 2Ga, b (Ba, b-1 + Ba, b + 1)
/ (Ga-1, b-1 + Ga-1, b + 1 + Ga + 1, b-1 + Ga + 1, b + 1) (9)
Rva, b = 2Ga, b (Ra, b-1 + Ra, b + 1)
/ (Ga-1, b-1 + Ga-1, b + 1 + Ga + 1, b-1 + Ga + 1, b + 1) (10)

一方、基準画素Ga,bが図２の奇数列にある場合、すなわち、基準画素Ｇa,bがＧ１１、Ｇ１３、…、Ｇ３１、Ｇ３３、…などの場合は、Ｂ画素は基準画素Ｇa,bの垂直両隣のＢa-1,b信号、Ｂa+1,b信号を用い、Ｒ画素は基準画素Ｇa,bの水平両隣のＲa,b-1信号、Ｒa,b+1信号を用いることになる。したがって、奇数列の仮想Ｒｖと仮想Ｂｖは、以下の（１１）式と（１２）式で表される。
Ｂｖa,b＝２Ｇa,b（Ｂa-1,b＋Ｂa+1,b）
／（Ｇa-1,b-1＋Ｇa-1,b+1＋Ｇa+1,b-1＋Ｇa+1,b+1） …（１１）
Ｒｖa,b＝２Ｇa,b（Ｒa,b-1＋Ｒa,b+1）
／（Ｇa-1,b-1＋Ｇa-1,b+1＋Ｇa+1,b-1＋Ｇa+1,b+1） …（１２） On the other hand, when the reference pixels Ga, b are in the odd columns of FIG. 2, that is, when the reference pixels Ga, b are G11, G13,..., G31, G33,. The vertically adjacent Ba-1, b and Ba + 1, b signals are used, and the R pixel uses the horizontally adjacent Ra, b-1 and Ra, b + 1 signals of the reference pixel Ga, b. Accordingly, the odd-numbered virtual Rv and virtual Bv are expressed by the following equations (11) and (12).
Bva, b = 2Ga, b (Ba-1, b + Ba + 1, b)
/ (Ga-1, b-1 + Ga-1, b + 1 + Ga + 1, b-1 + Ga + 1, b + 1) (11)
Rva, b = 2Ga, b (Ra, b-1 + Ra, b + 1)
/ (Ga-1, b-1 + Ga-1, b + 1 + Ga + 1, b-1 + Ga + 1, b + 1) (12)

上記（９）〜（１２）式に従って仮想Ｒｖと仮想Ｂｖを生成することにより、ＲとＢの画素数が本来の画素数の３倍となり、色信号のＳ／Ｎは９．５dB向上する。 By generating virtual Rv and virtual Bv according to the above equations (9) to (12), the number of R and B pixels becomes three times the original number of pixels, and the S / N of the color signal is improved by 9.5 dB.

なお、上述した手法で仮想Ｒｖと仮想Ｂｖを生成すると、図９（ａ）に示すように仮想Ｂｖに隣接するＲ画素（図示の空白領域）にはＢ画素成分は割り当てられず、図９（ｂ）に示すように仮想Ｒｖに隣接するＢ画素（図示の空白領域）にはＲ画素成分は割り当てられない。すべての画素にＲ画素成分またはＢ画素成分を割り当てるには、画素ブロックのサイズを３×３画素よりも大きく、例えば３×５画素まで広げればよい。 When the virtual Rv and the virtual Bv are generated by the above-described method, the B pixel component is not assigned to the R pixel (blank area in the drawing) adjacent to the virtual Bv as shown in FIG. As shown in b), the R pixel component is not assigned to the B pixel (blank area in the drawing) adjacent to the virtual Rv. In order to assign the R pixel component or the B pixel component to all the pixels, the size of the pixel block may be larger than 3 × 3 pixels, for example, expanded to 3 × 5 pixels.

例えば、図１０の太実線で示す３×５画素の画素ブロック内の中心であるＲ３４画素についてＢ画素成分Ｂｖ34を生成する例を説明する。Ｒ３４画素を中心とした水平５画素、垂直３画素の領域を見ると、ここにはＲ３４画素の他にＲが２画素、Ｂが4画素含まれている。そこでこれら6画素から比率を算出すると上式と同様に、Ｒ３４画素位置での仮想Ｂｖ34画素は、以下の（１３）式で表される。
Ｂｖ34＝Ｒ３４（Ｂ２３＋Ｂ２５＋Ｂ４３＋Ｂ４５）／２（Ｒ３２＋Ｒ３６）
…（１３） For example, an example will be described in which the B pixel component Bv34 is generated for the R34 pixel that is the center in the pixel block of 3 × 5 pixels indicated by the thick solid line in FIG. Looking at the region of 5 horizontal pixels and 3 vertical pixels centered on the R34 pixel, this includes 2 pixels for R and 4 pixels for B in addition to the R34 pixel. Therefore, when the ratio is calculated from these six pixels, the virtual Bv34 pixel at the R34 pixel position is expressed by the following equation (13), as in the above equation.
Bv34 = R34 (B23 + B25 + B43 + B45) / 2 (R32 + R36)
... (13)

この（１３）式では、画素ブロック内の４つのＢ画素の平均値と２つのＲ画素の平均値との比率に、基準画素であるＲ３４画素値を乗じて、基準画素位置での仮想Ｂｖ34を生成している。 In this equation (13), the ratio of the average value of the four B pixels in the pixel block and the average value of the two R pixels is multiplied by the R34 pixel value that is the reference pixel, and the virtual Bv34 at the reference pixel position is obtained. Is generated.

同様にして、Ｂ２３画素を中心とした図１０の破線で示す縦３×横５画素の画素ブロック内には、Ｂ２３画素の他にＢが２画素、Ｒが4画素含まれている。そこでこれら6画素から比率を算出すると上式と同様に、Ｂ２３画素位置での仮想Ｒｖ23画素信号は、以下の（１４）式で表される。
Ｒｖ23＝Ｂ２３（Ｒ１２＋Ｒ１４＋Ｒ３２＋Ｒ３４）／２（Ｂ２１＋Ｂ２５）
…（１４） Similarly, in the pixel block of 3 × 5 pixels shown by the broken line in FIG. 10 centering on the B23 pixel, in addition to the B23 pixel, 2 B and 4 R are included. Therefore, when the ratio is calculated from these six pixels, the virtual Rv23 pixel signal at the B23 pixel position is expressed by the following equation (14), as in the above equation.
Rv23 = B23 (R12 + R14 + R32 + R34) / 2 (B21 + B25)
... (14)

上記では、縦３×横５画素の画素ブロックについて説明したが、図１０の基準画素を中心とする縦５×横５画素の画素ブロック内の画素値を用いて、基準画素位置での仮想Ｒｖまたは仮想Ｂｖを生成してもよい。この場合、仮想Ｂｖ34を生成するのに用いるＲ画素が２画素から４画素に増えるため、Ｂ／Ｒの比率をＳ／Ｎ比を高くして得ることができる。 In the above description, the pixel block of 3 × 5 pixels has been described. However, the virtual Rv at the reference pixel position using the pixel values in the 5 × 5 pixel block centered on the reference pixel in FIG. Alternatively, a virtual Bv may be generated. In this case, since the R pixels used to generate the virtual Bv34 increase from 2 pixels to 4 pixels, the B / R ratio can be obtained by increasing the S / N ratio.

なお、３×５画素あるいは５×５画素の画素ブロックについて、上記（１３）式や（１４）式等を用いて仮想Ｒｖと仮想Ｂｖを生成すると、計算が煩雑になる可能性がある。これを避けるための簡易的な手法として、周囲画素からの加算平均で補間することも可能である。例えば、図１０のＲ３２画素位置での仮想Ｂａ32は以下の（１５）式または（１６）式で補間することができる。仮想Ｒｖについても同様である。
Ｂａ32＝（Ｂ２１＋Ｂ２３＋Ｂ４１＋Ｂ４３）／４ …（１５）
Ｂａ32＝（Ｂ３１＋Ｂ３３＋Ｂ２２＋Ｂ４２）／４ …（１６） Note that if a virtual Rv and a virtual Bv are generated for the 3 × 5 pixel block or the 5 × 5 pixel block using the above formulas (13) and (14), the calculation may be complicated. As a simple method for avoiding this, it is also possible to interpolate with the addition average from surrounding pixels. For example, the virtual Ba32 at the R32 pixel position in FIG. 10 can be interpolated by the following equation (15) or (16). The same applies to the virtual Rv.
Ba32 = (B21 + B23 + B41 + B43) / 4 (15)
Ba32 = (B31 + B33 + B22 + B42) / 4 (16)

上記（１３）式と（１４）式の演算処理は、図１の同期化回路１１と仮想画素演算回路１２が行う。図１１は上記（１３）式と（１４）式の演算を行う同期化回路１１と仮想画素演算回路１２の内部構成の一例を示すブロック図である。同期化回路１１は、縦続接続された３つの１Ｈ遅延回路５１〜５３と、縦続接続された５つの１画素遅延回路５４〜５８とを有する。 The calculation processing of the above formulas (13) and (14) is performed by the synchronization circuit 11 and the virtual pixel calculation circuit 12 of FIG. FIG. 11 is a block diagram showing an example of the internal configuration of the synchronization circuit 11 and the virtual pixel calculation circuit 12 that perform the calculations of the equations (13) and (14). The synchronization circuit 11 includes three 1H delay circuits 51 to 53 connected in cascade and five 1-pixel delay circuits 54 to 58 connected in cascade.

仮想画素演算回路１２は、仮想Ｒｖ画素を計算するためのＲ加算回路５９、Ｂ加算回路６０、２倍回路６１、Ｒ：Ｂ演算回路６２および乗算回路６３と、仮想Ｂｖ画素を計算するためのＢ加算回路６４、Ｒ加算回路６５、２倍回路６６、Ｂ：Ｒ演算回路６７および乗算回路６８と、特性変換回路１３とを有する。 The virtual pixel calculation circuit 12 includes an R addition circuit 59, a B addition circuit 60, a double circuit 61, an R: B calculation circuit 62 and a multiplication circuit 63 for calculating a virtual Rv pixel, and a virtual Bv pixel. A B addition circuit 64, an R addition circuit 65, a double circuit 66, a B: R operation circuit 67, a multiplication circuit 68, and a characteristic conversion circuit 13 are included.

以下では、図１０の仮想Ｒｖ23画素と仮想Ｂｖ34画素を生成する場合を例に取って、図１１の回路の動作を説明する。１Ｈ遅延回路５１はＢ２１画素値を出力する。１Ｈ遅延回路５２はＧ３１画素値を出力する。１Ｈ遅延回路５３はＢ４１画素値を出力する。１画素遅延回路５４は、上から順にＲ１２，Ｇ２２，Ｒ３２，Ｇ４２の各画素値を出力する。１画素遅延回路５５は、上から順にＧ１３，Ｂ２３，Ｇ３３，Ｂ４３の各画素値を出力する。１画素遅延回路５６は、上から順にＲ１４，Ｇ２４，Ｒ３４，Ｇ４４の各画素値を出力する。１画素遅延回路５７は、上から順にＢ２５，Ｇ３５，Ｂ４５の各画素値を出力する。１画素遅延回路５８は、Ｒ３６画素値を出力する。 In the following, the operation of the circuit of FIG. 11 will be described by taking as an example the case of generating the virtual Rv23 pixel and the virtual Bv34 pixel of FIG. The 1H delay circuit 51 outputs the B21 pixel value. The 1H delay circuit 52 outputs the G31 pixel value. The 1H delay circuit 53 outputs the B41 pixel value. The one-pixel delay circuit 54 outputs pixel values R12, G22, R32, and G42 in order from the top. The one-pixel delay circuit 55 outputs pixel values G13, B23, G33, and B43 in order from the top. The one-pixel delay circuit 56 outputs the pixel values R14, G24, R34, and G44 in order from the top. The one-pixel delay circuit 57 outputs the pixel values B25, G35, and B45 in order from the top. The one-pixel delay circuit 58 outputs the R36 pixel value.

Ｒ加算回路５９は、（Ｒ１２＋Ｒ１４＋Ｒ３２＋Ｒ３４）を計算する。Ｂ加算回路６０は、（Ｂ２１＋Ｂ２５）を計算する。２倍回路６１は、２（Ｂ２１＋Ｂ２５）を計算する。Ｒ：Ｂ演算回路６２は、（Ｒ１２＋Ｒ１４＋Ｒ３２＋Ｒ３４）／２（Ｂ２１＋Ｂ２５）を計算する。乗算回路６３は最終的に（１４）式の計算を行ってＲｖ23を生成する。 The R addition circuit 59 calculates (R12 + R14 + R32 + R34). The B addition circuit 60 calculates (B21 + B25). The double circuit 61 calculates 2 (B21 + B25). The R: B arithmetic circuit 62 calculates (R12 + R14 + R32 + R34) / 2 (B21 + B25). Multiplier circuit 63 finally performs calculation of equation (14) to generate Rv23.

Ｂ加算回路６４は、（Ｂ２３＋Ｂ２５＋Ｂ４３＋Ｂ４５）を計算する。Ｒ加算回路６５は、（Ｒ３２＋Ｒ３６）を計算する。２倍回路６６は、２（Ｒ３２＋Ｒ３６）を計算する。Ｂ：Ｒ演算回路６７は、（Ｂ２３＋Ｂ２５＋Ｂ４３＋Ｂ４５）／２（Ｒ３２＋Ｒ３６）を計算する。乗算回路６８は、最終的に（１３）式の計算を行ってＢｖ34を生成する。 The B addition circuit 64 calculates (B23 + B25 + B43 + B45). The R addition circuit 65 calculates (R32 + R36). The double circuit 66 calculates 2 (R32 + R36). The B: R operation circuit 67 calculates (B23 + B25 + B43 + B45) / 2 (R32 + R36). The multiplier circuit 68 finally calculates the equation (13) to generate Bv34.

生成された仮想Ｒｖ23信号と仮想Ｂｖ23信号は、特性変換回路１３に入力されて、カラー信号ＹＵＶまたはＲＧＢが生成される。 The generated virtual Rv23 signal and virtual Bv23 signal are input to the characteristic conversion circuit 13 to generate a color signal YUV or RGB.

上記では、仮想Ｒ信号と仮想Ｂ信号が基準のＧ画素の周囲にあれば、水平垂直のどちらの方向からでも平均化の演算を行う例を説明した。これに対して、水平方向だけ、あるいは垂直方向だけについて、平均化の演算を行うようにしてもよい。 In the above description, the example in which the averaging calculation is performed from both the horizontal and vertical directions when the virtual R signal and the virtual B signal are around the reference G pixel has been described. On the other hand, averaging may be performed only in the horizontal direction or only in the vertical direction.

図１２は水平方向だけについて仮想画素の演算を行う例を示す図である。図１２（ａ）はベイヤ配列、図１２（ｂ）は仮想Ｂｖ画素の生成を説明する図、図１２（ｃ）は仮想Ｒｖ画素の生成を説明する図である。図１２の場合は、一つの画素ブロックの基準画素には、仮想Ｒｖ画素と仮想Ｂｖ画素のいずれか一つだけが生成される。すなわち、仮想Ｒｖ画素と仮想Ｂｖ画素は互いに異なる画素ブロックから生成される。したがって、図１３に示すように、元のＧ画素の位置に、Ｒ信号とＢ信号が垂直方向に交互に設定されることになる。図１３（ａ）は仮想Ｂｖ画素の生成後の画素配列を示す図、図１３（ｂ）は仮想Ｒｖ画素の生成後の画素配列を示す図である。 FIG. 12 is a diagram illustrating an example in which a virtual pixel is calculated only in the horizontal direction. 12A is a diagram illustrating a Bayer array, FIG. 12B is a diagram illustrating generation of virtual Bv pixels, and FIG. 12C is a diagram illustrating generation of virtual Rv pixels. In the case of FIG. 12, only one of the virtual Rv pixel and the virtual Bv pixel is generated as the reference pixel of one pixel block. That is, the virtual Rv pixel and the virtual Bv pixel are generated from different pixel blocks. Therefore, as shown in FIG. 13, the R signal and the B signal are alternately set in the vertical direction at the position of the original G pixel. FIG. 13A is a diagram illustrating a pixel array after generation of virtual Bv pixels, and FIG. 13B is a diagram illustrating a pixel array after generation of virtual Rv pixels.

一方、図１４は垂直方向だけについて仮想画素の演算を行う場合を示している。この場合も、一つの画素ブロックの基準画素には、仮想Ｒｖ画素と仮想Ｂｖ画素のいずれか一つだけが生成される。したがって、図１５に示したように、Ｒ信号、Ｂ信号が水平方向に交互に設定されることになる。 On the other hand, FIG. 14 shows a case where a virtual pixel is calculated only in the vertical direction. Also in this case, only one of the virtual Rv pixel and the virtual Bv pixel is generated as the reference pixel of one pixel block. Therefore, as shown in FIG. 15, the R signal and the B signal are alternately set in the horizontal direction.

図１２〜図１５の場合、一つの画素ブロックからは仮想Ｒｖ画素と仮想Ｂｖ画素のいずれか一方のみが生成される。すなわち仮想Ｒｖ画素を生成する画素ブロックと仮想Ｂｖ画素を生成する画素ブロックとは異なっている。この点でも、図４のように一つの画素ブロックから仮想Ｒｖ画素と仮想Ｂｖ画素を生成する方式とは異なっている。 12 to 15, only one of the virtual Rv pixel and the virtual Bv pixel is generated from one pixel block. That is, a pixel block that generates a virtual Rv pixel is different from a pixel block that generates a virtual Bv pixel. This is also different from the method of generating virtual Rv pixels and virtual Bv pixels from one pixel block as shown in FIG.

図１２〜図１５の方式は、偽信号を考慮してデモザイキングを行う際にＲ信号とＢ信号を得やすいという特徴がある。すなわち、垂直方向と水平方向の相関をとる場合に、画素の関連が明確になっているので、デモザイキングの処理を簡易化できると共に、偽信号発生による妨害信号が出にくくなる。 The method of FIGS. 12-15 has the characteristic that it is easy to obtain R signal and B signal when performing demosaicing in consideration of a false signal. That is, when the correlation between the vertical direction and the horizontal direction is taken, the relationship between the pixels is clear, so that the demosaicing process can be simplified and an interference signal due to generation of a false signal is hardly generated.

自然画像ではあまり起こりえないが、場合によっては赤や青の単一波長に近い被写体を撮像する場合があり得る。このような被写体を撮像すると、赤信号や青信号に比べてＧ信号成分が極端に小さくなる。このときに上記の仮想画素演算によって赤信号や青信号を算出すると、かえってノイズの大きな信号になる場合がある。このような場合は、上記の演算処理を停止してＳ／Ｎ低下を抑制してもよい。すなわち、信号に閾値を設けておいて、Ｇ信号が一定レベル以下の小さなレベルになったときは上記演算処理を停止して、仮想Ｂｖ信号、Ｒｖ信号を生成しないようにしてもよい。あるいは、これと同様に、Ｒｖ信号、Ｂｖ信号が本来のＲ信号、Ｂ信号と比較して、Ｓ／Ｎが低下している場合には加算をしないという選択回路を設けることも可能である。 Although it does not occur very often with natural images, in some cases, a subject close to a single wavelength of red or blue may be imaged. When such a subject is imaged, the G signal component becomes extremely smaller than the red signal and the blue signal. At this time, if a red signal or a blue signal is calculated by the above virtual pixel calculation, a signal with a large noise may be obtained. In such a case, the above arithmetic processing may be stopped to suppress the S / N decrease. That is, a threshold value may be provided for the signal, and when the G signal becomes a small level equal to or lower than a certain level, the above arithmetic processing may be stopped so that the virtual Bv signal and Rv signal are not generated. Alternatively, similarly to this, it is possible to provide a selection circuit that does not perform addition when the S / N is lower than the original R signal and B signal for the Rv signal and Bv signal.

上述の演算では、基準のＧ画素の周囲８画素だけで仮想Ｂｖ信号とＲｖ信号を生成したが、もっと広い範囲の画素情報を用いて仮想Ｂｖ信号とＲｖ信号を生成してもよい。範囲を広げるほど、信号レベルが小さい場合に平均化の際のノイズの影響を低減できる。 In the above-described calculation, the virtual Bv signal and the Rv signal are generated using only 8 pixels around the reference G pixel. However, the virtual Bv signal and the Rv signal may be generated using a wider range of pixel information. The wider the range, the lower the influence of noise during averaging when the signal level is small.

上述の説明では、基準画素の周囲の画素の平均値を演算して、その演算結果に基づいて比率を求めているが、単なる平均値を演算する代わりに、重み付け加算やその他の種々の関数を利用して演算した結果を用いて比率を求めてもよい。 In the above description, the average value of pixels around the reference pixel is calculated, and the ratio is obtained based on the calculation result. Instead of calculating the average value, weighted addition and other various functions are performed. You may obtain | require a ratio using the result calculated using.

上記ではイメージセンサ２としてＣＭＯＳセンサ２を用いる例を説明したが、ベイヤ方式の色フィルタを有するＣＣＤを用いた場合にも、同様の処理を行うことができる。 Although the example using the CMOS sensor 2 as the image sensor 2 has been described above, the same processing can be performed when a CCD having a Bayer color filter is used.

このように、本実施形態では、特定色の色フィルタが設けられていない画素位置に、その特定色の色情報を追加できるという大きな特徴がある。これによって、色解像度が向上し、色信号のＳ／Ｎを向上できる。 As described above, the present embodiment has a great feature that color information of a specific color can be added to a pixel position where a color filter of the specific color is not provided. This improves the color resolution and improves the S / N of the color signal.

また、本実施形態では、Ｗ画素を備えた特殊なイメージセンサではなく、ベイヤ配列の通常のイメージセンサ２を用いるため、色特性もよく、色再現のよいカラー画像が得られる。 In this embodiment, since a normal image sensor 2 having a Bayer array is used instead of a special image sensor having W pixels, a color image with good color characteristics and good color reproduction can be obtained.

さらに、従来の単なる補間処理では、画素の平均化を行うだけであり、新たな画素を生成するわけではないが、本実施形態では、単に平均化を行うわけではなく、基準画素位置に他の色の新たな画素を生成できるという効果が得られる。 Furthermore, in the conventional simple interpolation process, only pixel averaging is performed and new pixels are not generated. However, in the present embodiment, averaging is not performed, and another pixel is not added to the reference pixel position. The effect that a new pixel of color can be generated is obtained.

以下、本実施形態の効果を具体的に説明する。
（１）イメージセンサ２がＷＲＧＢ配列だと、入力光のレベルがＷで制限されて、標準状態のＳ／Ｎが低下するのに対し、本実施形態ではＲＧＢ配列を採用するため、Ｗ画素がない分、信号出力のバランスがよくなり、標準状態でもＳ／Ｎを改善できる。
（２）Ｗ画素を用いると、色フィルタで得られたＲ＋Ｇ＋Ｂは厳密にはＷとならないので、演算してＲＧＢ信号が得られたとしても正しいＲＧＢ信号にはならない。これに対し、正しいＧ信号を基準にして、ＲＢ信号を算出することから、特性の正しいＲＧＢ信号が得られ、色再現性を向上できる。
（３）Ｇ信号については仮想Ｇを生成せずに直接取得するため、従来のベイヤ方式と同様に、精度のよいＧ成分が得られ、正しいＧ信号になる。そのため、正確な分光特性を持つＧ信号が得られ、色再現性が向上する。また、ベイヤ方式と同等の優れた色再現性が保たれる。
（４）Ｒ、Ｂの算出が等しくできる。 Hereinafter, the effect of this embodiment will be described in detail.
(1) When the image sensor 2 is a WRGB array, the level of input light is limited by W, and the S / N in the standard state is lowered. Therefore, the signal output balance is improved, and the S / N can be improved even in the standard state.
(2) When W pixels are used, R + G + B obtained by the color filter does not strictly become W, so even if an RGB signal is obtained by calculation, a correct RGB signal is not obtained. On the other hand, since the RB signal is calculated based on the correct G signal, an RGB signal having the correct characteristics can be obtained, and the color reproducibility can be improved.
(3) Since the G signal is directly acquired without generating a virtual G, an accurate G component is obtained and becomes a correct G signal as in the conventional Bayer method. Therefore, a G signal having accurate spectral characteristics can be obtained, and color reproducibility is improved. In addition, excellent color reproducibility equivalent to the Bayer method is maintained.
(4) R and B can be calculated equally.

Ｗ画素の場合にはＲ信号は水平平均、Ｂ信号は垂直平均で得られるので、垂直方向、水平方向に相関がある場合に誤差が生じるおそれがあるが、仮想Ｒｖ信号と仮想Ｂｖ信号をそれぞれ水平方向の隣接Ｒ信号の平均と隣接Ｂ信号の平均から算出することで、誤差を低減できる。 In the case of W pixels, the R signal is obtained by the horizontal average, and the B signal is obtained by the vertical average. Therefore, an error may occur when there is a correlation in the vertical direction and the horizontal direction, but the virtual Rv signal and the virtual Bv signal are respectively obtained. By calculating from the average of adjacent R signals in the horizontal direction and the average of adjacent B signals, errors can be reduced.

同様に、仮想Ｒｖ信号と仮想Ｂｖ信号をそれぞれ垂直方向の隣接Ｒ信号の平均と隣接Ｂ信号の平均から算出することで、誤差を低減できる。 Similarly, the error can be reduced by calculating the virtual Rv signal and the virtual Bv signal from the average of the adjacent R signals in the vertical direction and the average of the adjacent B signals, respectively.

図１６はＷ画素を含むセンサのＢ画素のピッチとその空間周波数を示す図、図１７は本実施形態による仮想画素演算を行った後のＢ画素のピッチとその空間周波数を示す図である。 FIG. 16 is a diagram showing the pitch of the B pixel and its spatial frequency of the sensor including the W pixel, and FIG. 17 is a diagram showing the pitch of the B pixel and the spatial frequency after performing the virtual pixel calculation according to this embodiment.

従来のベイヤ方式では図１６（ａ）に示したように、B画素はピッチ２ａで水平垂直に配置されているから、空間周波数は図１６（ｂ）に示したように、水平、垂直ともに１／２ａの正方形の範囲で分布される。 In the conventional Bayer method, as shown in FIG. 16A, the B pixels are arranged horizontally and vertically at a pitch of 2a. Therefore, the spatial frequency is 1 both horizontally and vertically as shown in FIG. 16B. / 2a square distribution.

これに対し、本実施形態によれば、図１７（ａ）に示すように、Ｂ画素が実効的に増加し、Ｇ画素と同じように、斜め成分が増加する。Ｂ画素のピッチはａとなるから、空間周波数は図１７（ｂ）に示すように、水平、垂直ともに１／ａの正方形の範囲で分布される。図１７（ｂ）の点線は図１６（ｂ）の空間周波数を示しており、空間周波数が広がっていることがわかる。これにより、本実施形態によれば、解像度の向上が図れる。 On the other hand, according to the present embodiment, as shown in FIG. 17A, the B pixel effectively increases, and the diagonal component increases like the G pixel. Since the pitch of the B pixel is a, the spatial frequency is distributed in a square range of 1 / a both horizontally and vertically as shown in FIG. The dotted line in FIG. 17B indicates the spatial frequency in FIG. 16B, and it can be seen that the spatial frequency is widened. Thereby, according to this embodiment, the resolution can be improved.

また、従来、ベイヤ方式の撮像装置では、色偽信号の発生が大きな問題となっていた。ベイヤ配列では、Ｇ画素がＲ、Ｂ画素の２倍の数だけ市松状に配置されているので、空間周波数は図１７（ｂ）と同様に広範囲であるのに対し、Ｒ、Ｂ信号は図１６（ｂ）に示すように範囲が狭く、しかも正方形で形が異なっていた。このため、Ｒ、Ｂ信号とＧ信号とで、特性が異なり、光学ＬＰＦの設計が難しくなる。光学ＬＰＦの設計をＧ信号にあわせると、Ｒ、Ｂの偽信号が大きく発生して画質を著しく低下する。また、Ｒ、Ｂ信号に合わせて光学ＬＰＦのカットオフ周波数を下げると、全体の解像度が低下して、鮮明な画像が得られなくなるという欠点があった。 Conventionally, the generation of color false signals has been a major problem in Bayer imaging devices. In the Bayer array, since the G pixels are arranged in a checkered pattern twice as many as the R and B pixels, the spatial frequency is wide as in FIG. As shown in 16 (b), the range was narrow, and the shape was square and different. For this reason, the R, B signal and G signal have different characteristics, making it difficult to design an optical LPF. If the design of the optical LPF is matched to the G signal, a large number of R and B false signals are generated and the image quality is significantly reduced. Further, when the cutoff frequency of the optical LPF is lowered in accordance with the R and B signals, there is a drawback that the overall resolution is lowered and a clear image cannot be obtained.

これに対し、本実施形態によれば、ＲＧＢの各信号で、空間周波数の形が等しくなるために、サンプリングに伴う偽信号の発生も同等となる。そこで、光学ＬＰＦの設計が容易になり、偽信号をほとんど完全に除去でき、偽信号の発生が小さくなり、画質が著しく向上するという大きな効果がある。また、光学ＬＰＦのカットオフ周波数を高い方に設定できるため、カラー画像の解像度がよくなり、鮮明な画像が得られるという大きな特徴がある。 On the other hand, according to the present embodiment, since the spatial frequency forms are the same for each of the RGB signals, the generation of a false signal accompanying sampling is also equivalent. Therefore, the optical LPF can be easily designed, the false signal can be almost completely removed, the generation of the false signal is reduced, and the image quality is remarkably improved. In addition, since the cutoff frequency of the optical LPF can be set higher, there is a great feature that the resolution of the color image is improved and a clear image can be obtained.

上述した（４）〜（７）式では、仮想Ｂｖ信号と仮想Ｒｖ信号を生成する際に、中心画素の周囲３×３画素からなる画素ブロック内の画素値を用いたが、画素ブロックのサイズを３×５画素または５×５画素に拡大することにより、比率計算のＳ／Ｎ比を改善することができる。しかしながら、画素ブロックのサイズを大きくすると、画像の変化が大きい場合には誤差が増大するという欠点がある。したがって、画素ブロックのサイズをどの程度に設定するかは、画像の内容に応じて選択できるようにしてもよい。 In the expressions (4) to (7) described above, when generating the virtual Bv signal and the virtual Rv signal, the pixel value in the pixel block composed of 3 × 3 pixels around the center pixel is used. Can be increased to 3 × 5 pixels or 5 × 5 pixels to improve the S / N ratio of the ratio calculation. However, when the size of the pixel block is increased, there is a disadvantage that the error increases when the change of the image is large. Therefore, how much the pixel block size is set may be selected according to the content of the image.

例えば、図１８は基準画素Ｇ３３の周囲に縦３×横５画素からなる画素ブロックを設定する例を示す図である。基準画素Ｇ３３の位置での仮想画素Ｂｖ33とＲｖ33は、以下の（１７）式と（１８）式で表される。
Ｂｖ33＝Ｇ３３（Ｂ２１＋Ｂ２３＋Ｂ２５＋Ｂ４１＋Ｂ４３＋Ｂ４５）
／（Ｇ２２＋Ｇ２４＋Ｇ３１＋Ｇ３５＋Ｇ４２＋Ｇ４４） …（１７）
Ｒｖ33＝３Ｇ３３（Ｒ３２＋Ｒ３４）
／（Ｇ２２＋Ｇ２４＋Ｇ３１＋Ｇ３５＋Ｇ４２＋Ｇ４４） …（１８） For example, FIG. 18 is a diagram illustrating an example in which a pixel block composed of 3 × 5 pixels is set around the reference pixel G33. Virtual pixels Bv33 and Rv33 at the position of the reference pixel G33 are expressed by the following equations (17) and (18).
Bv33 = G33 (B21 + B23 + B25 + B41 + B43 + B45)
/ (G22 + G24 + G31 + G35 + G42 + G44) (17)
Rv33 = 3G33 (R32 + R34)
/ (G22 + G24 + G31 + G35 + G42 + G44) (18)

上記（１７）式では、画素ブロック内の６つのＢ画素の平均値と６つのＧ画素の平均値との比率に基準画素Ｇ３３を乗じることにより、仮想Ｂｖ33画素を生成する。 In the above equation (17), a virtual Bv33 pixel is generated by multiplying the ratio of the average value of the six B pixels in the pixel block and the average value of the six G pixels by the reference pixel G33.

上記（１８）式では、画素ブロック内の２つのＲ画素の平均値と６つのＧ画素の平均値との比率に基準画素Ｇ３３を乗じることにより、仮想Ｒｖ33画素を生成する。 In the above equation (18), the virtual Rv33 pixel is generated by multiplying the ratio of the average value of the two R pixels in the pixel block and the average value of the six G pixels by the reference pixel G33.

仮想Ｂｖ33画素は、６画素分のＢの平均値を用いて比率を算出するため、２画素分のＲの平均値を用いる仮想Ｒｖ33画素よりも、Ｂ／Ｇの比率のＳ／Ｎ比が６ｄＢ程度よくなる。 Since the virtual Bv33 pixel calculates the ratio using the average value of B for six pixels, the S / N ratio of the ratio of B / G is 6 dB compared to the virtual Rv33 pixel using the average value of R for two pixels. It gets better.

Ｒｖ33画素についても、図１９の太実線の画素ブロックに基づいて画素値を計算すれば、６画素分のＲの平均値を用いて比率を算出できるため、（１７）式の仮想Ｂｖ33と同様のＳ／Ｎ比を得ることができる。 For the Rv33 pixel, if the pixel value is calculated based on the pixel block of the thick solid line in FIG. 19, the ratio can be calculated using the average value of R for six pixels, so that the same as the virtual Bv33 in the equation (17) An S / N ratio can be obtained.

例えば、図１９の太実線で示す縦５×横３画素からなる画素ブロックに基づいて、基準画素Ｇ３３の位置での仮想画素Ｂｖ33とＲｖ33は以下の（１９）式と（２０）式で表される。
Ｂｖ33＝３Ｇ３３（Ｂ２３＋Ｒ４３）
／（Ｇ１３＋Ｇ２２＋Ｇ２４＋Ｇ４２＋Ｇ４４＋Ｇ５３） …（１９）
Ｒｖ33＝Ｇ３３（Ｒ１２＋Ｒ１４＋Ｒ３２＋Ｒ３４＋Ｒ５２＋Ｒ５４）
／（Ｇ１３＋Ｇ２２＋Ｇ２４＋Ｇ４２＋Ｇ４４＋Ｇ５３） …（２０） For example, based on a pixel block composed of 5 × 3 pixels shown by a thick solid line in FIG. 19, virtual pixels Bv33 and Rv33 at the position of the reference pixel G33 are expressed by the following equations (19) and (20). The
Bv33 = 3G33 (B23 + R43)
/ (G13 + G22 + G24 + G42 + G44 + G53) (19)
Rv33 = G33 (R12 + R14 + R32 + R34 + R52 + R54)
/ (G13 + G22 + G24 + G42 + G44 + G53) (20)

このように、画素ブロックは縦３×横５画素でも、縦５×横３画素でもよく、基準画素が奇数列か偶数列かによって、画素ブロックのサイズを決定してもよい。例えば、基準画素が奇数列の場合は、縦方向の上下にＢ画素があるため、仮想Ｂｖ信号の算出には、縦３×横５画素の画素ブロックを用い、仮想Ｒｖ信号の算出には、横方向の左右にＲ画素があるため、縦５×横３画素の画素ブロックを用いることが考えられる。一方、基準画素が偶数列の場合は、縦方向の上下にＲ画素があるため、仮想Ｒｖ信号の算出には縦３×横５画素の画素ブロックを用い、仮想Ｂｖ信号の算出には、横方向の左右にＢ画素があるため、縦５×横３画素の画素ブロックを用いる。このようにすると、少ない画素数で効率よく仮想Ｒｖ信号と仮想Ｂｖ信号を生成することができる。 As described above, the pixel block may be 3 × 5 pixels in the vertical direction or 3 pixels in the 5 × width direction, and the size of the pixel block may be determined depending on whether the reference pixel is an odd column or an even column. For example, when the reference pixel is an odd-numbered column, there are B pixels above and below in the vertical direction. Therefore, a virtual Bv signal is calculated using a pixel block of 3 × 5 pixels, and a virtual Rv signal is calculated using Since there are R pixels on the left and right in the horizontal direction, it is conceivable to use a pixel block of 5 × 3 pixels. On the other hand, when the reference pixel is an even-numbered column, since there are R pixels above and below in the vertical direction, a pixel block of 3 × 5 pixels is used for calculating the virtual Rv signal, and a horizontal block is used for calculating the virtual Bv signal. Since there are B pixels on the left and right of the direction, a pixel block of 5 × 3 pixels is used. In this way, a virtual Rv signal and a virtual Bv signal can be efficiently generated with a small number of pixels.

図２０は上記（１７）式と（１８）式の演算を行う同期化回路１１と仮想画素演算回路１２の内部構成の一例を示す図である。図２０の同期化回路１１は、縦続接続された１Ｈ遅延回路７１〜７３と、縦続接続された１画素遅延回路７４〜７７を有する。仮想画素演算回路１２は、Ｒ加算回路７８と、Ｇ加算回路７９と、Ｂ加算回路８０と、Ｂ：Ｇ演算回路８１と、乗算回路８２と、３倍回路８３と、Ｒ：Ｇ演算回路８４と、乗算回路８５とを有する。乗算回路８２から（１７）式の演算結果であるＢｖ33信号が出力され、乗算回路８５から（１８）式の演算結果であるＲｖ33信号が出力される。 FIG. 20 is a diagram showing an example of the internal configuration of the synchronization circuit 11 and the virtual pixel calculation circuit 12 that perform the calculations of the equations (17) and (18). The synchronization circuit 11 in FIG. 20 includes 1H delay circuits 71 to 73 connected in cascade and 1 pixel delay circuits 74 to 77 connected in cascade. The virtual pixel calculation circuit 12 includes an R addition circuit 78, a G addition circuit 79, a B addition circuit 80, a B: G calculation circuit 81, a multiplication circuit 82, a triple circuit 83, and an R: G calculation circuit 84. And a multiplication circuit 85. The multiplication circuit 82 outputs the Bv33 signal that is the calculation result of the expression (17), and the multiplication circuit 85 outputs the Rv33 signal that is the calculation result of the expression (18).

図２１は上記（１９）式と（２０）式の演算を行う同期化回路１１と仮想画素演算回路１２の内部構成の一例を示す図である。図２１の同期化回路１１は、縦続接続された１Ｈ遅延回路９１〜９４と、縦続接続された１画素遅延回路９５，９６とを有する。仮想画素演算回路１２は、Ｒ加算回路９７と、Ｇ加算回路９８と、Ｂ加算回路９９と、Ｂ：Ｇ演算回路１００と、３倍回路１０１と、乗算回路１０２と、Ｒ：Ｇ演算回路１０３と、乗算回路１０４とを有する。乗算回路１０１から（１９）式の演算結果であるＢｖ33信号が出力され、乗算回路１０４から（２０）式の演算結果であるＲｖ33信号が出力される。 FIG. 21 is a diagram showing an example of the internal configuration of the synchronization circuit 11 and the virtual pixel calculation circuit 12 that perform the calculations of the equations (19) and (20). The synchronization circuit 11 of FIG. 21 includes 1H delay circuits 91 to 94 connected in cascade, and 1-pixel delay circuits 95 and 96 connected in cascade. The virtual pixel calculation circuit 12 includes an R addition circuit 97, a G addition circuit 98, a B addition circuit 99, a B: G calculation circuit 100, a triple circuit 101, a multiplication circuit 102, and an R: G calculation circuit 103. And a multiplication circuit 104. The multiplication circuit 101 outputs a Bv33 signal that is the calculation result of the equation (19), and the multiplication circuit 104 outputs an Rv33 signal that is the calculation result of the equation (20).

なお、仮想画素を生成するための同期化回路１１と仮想画素演算回路１２の内部構成は、図７、図１１、図２０および図２１に図示したものに限定されない。 Note that the internal configurations of the synchronization circuit 11 and the virtual pixel arithmetic circuit 12 for generating virtual pixels are not limited to those illustrated in FIGS. 7, 11, 20, and 21.

本発明の一実施形態による撮像装置の概略構成を示すブロック図。1 is a block diagram showing a schematic configuration of an imaging apparatus according to an embodiment of the present invention. 本実施形態による色フィルタアレイ３の色配置を示す図。FIG. 3 is a diagram showing a color arrangement of a color filter array 3 according to the present embodiment. 単板式カラーカメラで使われている各色信号の分光感度特性を示す図。The figure which shows the spectral sensitivity characteristic of each color signal used with the single-panel color camera. （ａ）はベイヤ配列の色フィルタアレイ３を示し、（ｂ）は基準画素Ｇ２２から仮想画素Ｂｖ２２を生成する例を示し、（ｃ）は基準画素Ｇ２２から仮想画素Ｒｖ２２を生成する例を示す図。(A) shows the color filter array 3 of Bayer arrangement, (b) shows the example which produces | generates virtual pixel Bv22 from the reference pixel G22, (c) is a figure which shows the example which produces | generates virtual pixel Rv22 from the reference pixel G22. . （ａ）は仮想Ｂｖのパターン配列を示す図、（ｂ）は仮想Ｒｖのパターン配列を示す図。(A) is a figure which shows the pattern arrangement | sequence of virtual Bv, (b) is a figure which shows the pattern arrangement | sequence of virtual Rv. 仮想画素演算回路１２の内部構成の一例を示すブロック図。FIG. 3 is a block diagram illustrating an example of an internal configuration of a virtual pixel arithmetic circuit 12. 図１に示した同時化回路１１と仮想画素演算回路１２の詳細構成の一例を示すブロック図。FIG. 2 is a block diagram illustrating an example of a detailed configuration of a synchronization circuit 11 and a virtual pixel calculation circuit 12 illustrated in FIG. 1. 仮想画素演算回路１２の処理動作の一例を示すフローチャート。7 is a flowchart showing an example of processing operation of the virtual pixel arithmetic circuit 12. （ａ）は仮想Ｂｖを生成した例を示す図、（ｂ）は仮想Ｒｖを生成した例を示す図。(A) is a figure which shows the example which produced | generated virtual Bv, (b) is a figure which shows the example which produced | generated virtual Rv. ３×５画素からなる画素ブロックの一例を示す図。The figure which shows an example of the pixel block which consists of 3x5 pixels. （１３）式と（１４）式の演算を行う同期化回路１１と仮想画素演算回路１２の内部構成の一例を示すブロック図。The block diagram which shows an example of the internal structure of the synchronizing circuit 11 and the virtual pixel arithmetic circuit 12 which perform the calculation of (13) Formula and (14) Formula. （ａ）〜（ｃ）は水平方向だけについて仮想画素の演算を行う例を示す図。(A)-(c) is a figure which shows the example which calculates a virtual pixel only about a horizontal direction. （ａ）〜（ｃ）は図１１の処理結果を示す図。(A)-(c) is a figure which shows the processing result of FIG. （ａ）〜（ｃ）は垂直方向だけについて仮想画素の演算を行う例を示す図。(A)-(c) is a figure which shows the example which calculates a virtual pixel only about the orthogonal | vertical direction. （ａ）〜（ｃ）は図１３の処理結果を示す図。(A)-(c) is a figure which shows the processing result of FIG. Ｗ画素を含むセンサのＢ画素のピッチとその空間周波数を示す図。The figure which shows the pitch of the B pixel of a sensor containing W pixel, and its spatial frequency. 本実施形態による仮想画素演算を行った後のＢ画素のピッチとその空間周波数を示す図。The figure which shows the pitch of B pixel after performing the virtual pixel calculation by this embodiment, and its spatial frequency. 基準画素Ｇ３３の周囲に縦３×横５画素からなる画素ブロックを設定する例を示す図。The figure which shows the example which sets the pixel block which consists of 3 vertical x 5 pixels around the reference | standard pixel G33. 基準画素Ｇ３３の周囲に縦５×横３画素からなる画素ブロックを設定する例を示す図。The figure which shows the example which sets the pixel block which consists of 5 vertical x 3 horizontal pixels around the reference | standard pixel G33. （１７）式と（１８）式の演算を行う同期化回路１１と仮想画素演算回路１２の内部構成の一例を示す図。The figure which shows an example of the internal structure of the synchronizing circuit 11 and the virtual pixel arithmetic circuit 12 which perform the calculation of (17) Formula and (18) Formula. （１９）式と（２０）式の演算を行う同期化回路１１と仮想画素演算回路１２の内部構成の一例を示す図。The figure which shows an example of the internal structure of the synchronizing circuit 11 and the virtual pixel calculating circuit 12 which perform the calculation of (19) Formula and (20) Formula.

符号の説明Explanation of symbols

１レンズ
２ＣＭＯＳイメージセンサ
３色フィルタアレイ
１１同時化回路
１２仮想画素演算回路
１３特性変換回路
１４信号処理回路
２１周辺Ｂ信号抽出回路
２２周辺Ｒ信号抽出回路
２３周辺Ｇ信号抽出回路
２４演算回路
３１１Ｈ遅延回路
３２２Ｈ遅延回路
３３，３４１画素遅延回路 DESCRIPTION OF SYMBOLS 1 Lens 2 CMOS image sensor 3 Color filter array 11 Synchronization circuit 12 Virtual pixel arithmetic circuit 13 Characteristic conversion circuit 14 Signal processing circuit 21 Peripheral B signal extraction circuit 22 Peripheral R signal extraction circuit 23 Peripheral G signal extraction circuit 24 Arithmetic circuit 31 1H Delay circuit 32 2H delay circuit 33, 34 1 pixel delay circuit

Claims

レンズと、
画素ごとに設けられ、ベイヤ配列で配置される第１の色フィルタ、第２の色フィルタおよび第３の色フィルタと、
前記レンズを経由して前記第１〜第３の色フィルタを通過した光を光電変換して、前記第１の色フィルタに対応する第１の色信号と、前記第２の色フィルタに対応する第２の色信号と、前記第３の色フィルタに対応する第３の色信号とを生成するイメージセンサと、
前記第１〜第３の色信号に対して信号処理を行う信号処理部と、を備え、
前記第１の色フィルタは市松状に配置されて、前記第１の色フィルタに対応する画素のうち一つが基準画素として用いられ、
前記信号処理部は、
前記基準画素に対応して、前記基準画素の周囲に位置する画素の前記第２の色信号と、前記基準画素の周囲に位置する画素の前記第１の色信号との比率に基づいて、前記基準画素に対応する第４の色信号を生成する第１の色生成手段と、
前記基準画素に対応して、前記基準画素の周囲に位置する画素の前記第３の色信号と、前記基準画素の周囲に位置する画素の前記第１の色信号との比率に基づいて、前記基準画素に対応する第５の色信号を生成する第２の色生成手段と、
前記第１〜第５の色信号に基づいて、所定の画像処理を行ってカラー信号を生成する特性変換手段と、を有することを特徴とする撮像装置。 A lens,
A first color filter, a second color filter, and a third color filter provided for each pixel and arranged in a Bayer array;
The first color signal corresponding to the first color filter and the second color filter are converted by photoelectrically converting the light that has passed through the first to third color filters via the lens. An image sensor that generates a second color signal and a third color signal corresponding to the third color filter;
A signal processing unit that performs signal processing on the first to third color signals,
The first color filter is arranged in a checkered pattern, and one of the pixels corresponding to the first color filter is used as a reference pixel;
The signal processing unit
Corresponding to the reference pixel, based on the ratio of the second color signal of the pixels located around the reference pixel and the first color signal of the pixels located around the reference pixel, First color generation means for generating a fourth color signal corresponding to the reference pixel;
Corresponding to the reference pixel, based on the ratio of the third color signal of the pixels located around the reference pixel and the first color signal of the pixels located around the reference pixel, Second color generation means for generating a fifth color signal corresponding to the reference pixel;
An image pickup apparatus comprising: characteristic conversion means for generating a color signal by performing predetermined image processing based on the first to fifth color signals.

前記第１の色生成手段は、前記基準画素の周囲に位置する複数画素の前記第２の色信号の平均値と、前記基準画素の周囲に位置する複数画素の前記第１の色信号の平均値との比率に、前記基準画素の前記第１の色信号を乗じることにより、前記基準画素に対応する前記第４の色信号を計算し、
前記第２の色生成手段は、前記基準画素の周囲に位置する複数画素の前記第３の色信号の平均値と、前記基準画素の周囲に位置する複数画素の前記第１の色信号の平均値との比率に、前記基準画素の前記第１の色信号を乗じることにより、前記基準画素に対応する前記第５の色信号を計算することを特徴とする請求項１に記載の撮像装置。 The first color generation means includes an average value of the second color signals of a plurality of pixels located around the reference pixel and an average of the first color signals of the plurality of pixels located around the reference pixel. Multiplying the ratio with the value by the first color signal of the reference pixel to calculate the fourth color signal corresponding to the reference pixel;
The second color generation means includes an average value of the third color signals of a plurality of pixels located around the reference pixel and an average of the first color signals of the plurality of pixels located around the reference pixel. The imaging apparatus according to claim 1, wherein the fifth color signal corresponding to the reference pixel is calculated by multiplying a ratio with a value by the first color signal of the reference pixel.

前記第１の色生成手段は、前記基準画素を中心に含む縦横複数画素からなる画素ブロックごとに、前記画素ブロック内の複数画素の前記第２の色信号の平均値と、前記画素ブロック内の前記基準画素以外の複数画素の前記第１の色信号の平均値との比率を計算し、
前記第２の色生成手段は、前記基準画素を中心に含む縦横複数画素からなる画素ブロックごとに、前記画素ブロック内の複数画素の前記第３の色信号の平均値と、前記画素ブロック内の前記基準画素以外の複数画素の前記第１の色信号の平均値との比率を計算することを特徴とする請求項１または２に記載の撮像装置。 The first color generation means, for each pixel block composed of a plurality of vertical and horizontal pixels including the reference pixel as a center, an average value of the second color signals of a plurality of pixels in the pixel block, and a value in the pixel block Calculating a ratio with the average value of the first color signals of a plurality of pixels other than the reference pixel;
The second color generation means, for each pixel block composed of a plurality of vertical and horizontal pixels including the reference pixel as a center, an average value of the third color signal of a plurality of pixels in the pixel block, and a value in the pixel block The imaging device according to claim 1, wherein a ratio of the average value of the first color signals of a plurality of pixels other than the reference pixel is calculated.

前記第１の色生成手段は、前記基準画素の左右に隣接する２画素の前記第２の色信号の平均値と、前記基準画素に隣接する４画素の前記第１の色信号の平均値との比率を計算し、
前記第２の色生成手段は、前記基準画素の左右に隣接する２画素の前記第３の色信号の平均値と、前記基準画素に隣接する４画素の前記第１の色信号の平均値との比率を計算することを特徴とする請求項３に記載の撮像装置。 The first color generation means includes an average value of the second color signal of two pixels adjacent to the left and right of the reference pixel, and an average value of the first color signal of four pixels adjacent to the reference pixel. The ratio of
The second color generation means includes an average value of the third color signal of two pixels adjacent to the left and right of the reference pixel, and an average value of the first color signal of four pixels adjacent to the reference pixel. The image pickup apparatus according to claim 3, wherein the ratio of is calculated.

前記第１の色生成手段は、前記基準画素の上下に隣接する２画素の前記第２の色信号の平均値と、前記基準画素に隣接する４画素の前記第１の色信号の平均値との比率を計算し、
前記第２の色生成手段は、前記基準画素の上下に隣接する２画素の前記第３の色信号の平均値と、前記基準画素に隣接する４画素の前記第１の色信号の平均値との比率を計算することを特徴とする請求項３に記載の撮像装置。 The first color generation means includes an average value of the second color signals of two pixels adjacent above and below the reference pixel, and an average value of the first color signals of four pixels adjacent to the reference pixel. The ratio of
The second color generation means includes an average value of the third color signal of two pixels adjacent above and below the reference pixel, and an average value of the first color signal of four pixels adjacent to the reference pixel. The image pickup apparatus according to claim 3, wherein the ratio of is calculated.

前記第１の色生成手段と前記第２の色生成手段とは、互いに異なる前記基準画素を用いて前記比率を計算することを特徴とする請求項４または５に記載の撮像装置。 The imaging apparatus according to claim 4, wherein the first color generation unit and the second color generation unit calculate the ratio using the different reference pixels.

前記第１の色生成手段と前記第２の色生成手段とは、縦または横方向に２画素ずらすか、ままたは縦横に１画素ずつずらして生成される前記画素ブロックごとに前記比率を計算することを特徴とする請求項３に記載の撮像装置。 The first color generation unit and the second color generation unit calculate the ratio for each of the pixel blocks generated by shifting two pixels in the vertical or horizontal direction or shifting one pixel in the vertical or horizontal direction. The imaging apparatus according to claim 3.

前記第１の色生成手段は、前記画素ブロック内の前記基準画素が属する行または列に隣接する行または列内の計６画素の前記第２の色信号の平均値と、前記画素ブロック内の６画素の前記第１の色信号の平均値との比率を計算することを特徴とする請求項３に記載の撮像装置。 The first color generation means includes an average value of the second color signals of a total of six pixels in a row or column adjacent to a row or column to which the reference pixel in the pixel block belongs, and a value in the pixel block The image pickup apparatus according to claim 3, wherein a ratio with the average value of the first color signals of six pixels is calculated.

前記第１の色生成手段は、前記画素ブロック内の前記基準画素が属する行または列内において前記基準画素を挟んで両側に隣接する計２画素の前記第２の色信号の平均値と、前記画素ブロック内の６画素の前記第１の色信号の平均値との比率を計算することを特徴とする請求項３に記載の撮像装置。 The first color generation means includes an average value of the second color signals of a total of two pixels adjacent to both sides of the reference pixel in a row or column to which the reference pixel in the pixel block belongs, The imaging apparatus according to claim 3, wherein a ratio of the average value of the first color signals of six pixels in the pixel block is calculated.

前記第２の色生成手段は、前記画素ブロック内の前記基準画素が属する行または列に隣接する行または列内の計６画素の前記第３の色信号の平均値と、前記画素ブロック内の６画素の前記第１の色信号の平均値との比率を計算することを特徴とする請求項３に記載の撮像装置。 The second color generation means includes an average value of the third color signals of a total of 6 pixels in a row or column adjacent to a row or column to which the reference pixel in the pixel block belongs, and a value in the pixel block The image pickup apparatus according to claim 3, wherein a ratio with the average value of the first color signals of six pixels is calculated.

前記第２の色生成手段は、前記画素ブロック内の前記基準画素が属する行または列内において前記基準画素を挟んで両側に隣接する計２画素の前記第３の色信号の平均値と、前記画素ブロック内の６画素の前記第１の色信号の平均値との比率を計算することを特徴とする請求項３に記載の撮像装置。 The second color generation means includes an average value of the third color signals of a total of two pixels adjacent to both sides across the reference pixel in the row or column to which the reference pixel belongs in the pixel block, The imaging apparatus according to claim 3, wherein a ratio of the average value of the first color signals of six pixels in the pixel block is calculated.