JP2009055151A - Color solid-state imaging apparatus - Google Patents

Abstract

<P>PROBLEM TO BE SOLVED: To solve the problems of a conventional color solid-state imaging apparatus that sensitivity is lowered and color reproduction is deteriorated due to crosstalk between adjacent pixels when the pixel size of an image sensor (especially CMOS sensor) is microfabricated. <P>SOLUTION: The color solid-state imaging apparatus includes: a color filter having a structure in which a first transparent filter and a second complementary color filter are sequentially arranged on a first horizontal line and a first transparent filter and a third complementary color filter are sequentially arranged on a second horizontal line in accordance with each of photoelectric conversion elements of the image sensor, the filters being sequentially arranged in a vertical direction. The color solid-state imaging apparatus subtracts a signal from a photoelectric conversion element corresponding to the second filter and a signal from a photoelectric conversion element adjacent to the third filter in the first filter, and subtracts a signal from a photoelectric conversion element corresponding to the third filter and a signal from a photoelectric conversion element adjacent to the second filter in the first filter, thereby reducing crosstalk components with high sensitivity. <P>COPYRIGHT: (C)2009,JPO&INPIT

Description

本発明の目的は微細セルのCMOSセンサーを使用したカラー固体撮像装置において、高感度で、高解像度であり、かつ、良好な色再現の画像を得ることを目的とする。
本発明の他の目的は補色のカラーフィルターにより低照度でもSNRの良い画像を得ることを目的とする。
本発明の他の目的はイメージセンサー内の隣接画素から発生するクロストークの影響による混色での色再現の低下を無くすることを目的とする。
本発明の他の目的は使用する全フィルターに緑色（Green）を通過させて輝度信号の解像度を容易にイメージセンサーの画素数の限界まで得ることを目的とする。
本発明の他の目的は原色フィルターを使用したベイヤー方式の良好な色再現性と、補色フィルターを使用した色差順次方式の高感度の両方を併せ持たせることを目的とする。 An object of the present invention is to obtain an image with high sensitivity, high resolution, and good color reproduction in a color solid-state imaging device using a fine cell CMOS sensor.
Another object of the present invention is to obtain an image with good SNR even at low illuminance by a complementary color filter.
Another object of the present invention is to eliminate deterioration in color reproduction due to color mixture due to the influence of crosstalk generated from adjacent pixels in an image sensor.
Another object of the present invention is to pass the green color through all the filters used to easily obtain the resolution of the luminance signal up to the limit of the number of pixels of the image sensor.
Another object of the present invention is to provide both the good color reproducibility of the Bayer method using the primary color filter and the high sensitivity of the color difference sequential method using the complementary color filter.

従来のカラー固体撮像装置のカラーフィルターは第1図（a）に示すように、Greenフィルター（G）を市松状に、ラインに毎にRed（R）とBlue（B）フィルターを配したベイヤー方式（USP 3971065）か、同図（b）に示すように第1の1ラインをYellow（Ye）とCyan(C)フィルターを順次配列し、第2のラインにMagenta（Mg）とGreen（G）フィルターを順次配列し、この2ラインを同時に1ラインとして読み出し、次の2ラインには上記の配列のどちらか一方ラインの順番を反転させた構成のフィルターとし、この2ラインを同時に読み出し、次のフィールドでは、１ラインずらせて次のラインと同時に読み出す色差順次方式（特公開平5-100110）か、同図（C）に示すようにRed（R）フィルターとGreen（G）フィルターとBlue（B）フィルターを順次列方向に配列したストライプ方式（非特許文献「CCDカメラ技術入門」コロナ社 1997年）の3種類が実用化されてきた。
なお、これら３種類のカラーフィルター方式では、各々の色フィルターはここに示した色フィルターに限定されるものではなく、各種の色フィルターが実験されたが、現状では、ここに示した色フィルターを使用したものに集約されている。
USP 3971065 Color Imaging Array (Bayer Patent) 特公開平5-100110 撮像装置 (色差順次方式) 「CCDカメラ技術入門」コロナ社 1997年 As shown in Fig. 1 (a), the color filter of the conventional color solid-state imaging device is a Bayer system with a green filter (G) in a checkered pattern and a red (R) and blue (B) filter on each line. (USP 3971065) or, as shown in the figure (b), the first line is arranged sequentially with Yellow (Ye) and Cyan (C) filters, and the second line is Magenta (Mg) and Green (G) Filters are arranged in sequence, these two lines are read out as one line at the same time, and the next two lines are made up of filters in which the order of either one of the above arrangements is reversed. In the field, the color difference sequential method (1-5-100110) that reads out one line and reads it out simultaneously with the next line, or the Red (R) filter, Green (G) filter, and Blue (B ) Stripe method with filters arranged in the row direction ( 3 types of patent literature "CCD camera technology Introduction to" Corona Publishing Co., 1997) have been put into practical use.
In these three types of color filter systems, each color filter is not limited to the color filter shown here, and various color filters have been experimented. However, at present, the color filter shown here is used. It is summarized in what was used.
USP 3971065 Color Imaging Array (Bayer Patent) Japanese Patent Publication 5-100110 Imaging device (Sequential color difference method) "Introduction to CCD camera technology" Corona, 1997

第1図の従来例、（a）のベイヤー方式は原色フィルターを使用するため、色信号の処理が単純で色再現も容易に得られるが、特に小型セルのCMOSセンサーではクロストークの影響が大きく、隣接画素による混色を発生するのでマトリックスでの補正が必要になるが、マトリックスによる演算でSNRを低下させる上に、原色フィルターの透過率は補色フィルターより悪いため、SNRを劣化させ、従って感度が良くない問題がある。   The conventional example in Fig. 1, the Bayer method in (a) uses a primary color filter, so color signal processing is simple and color reproduction is easy to obtain. In particular, small-cell CMOS sensors are greatly affected by crosstalk. However, since color mixture occurs due to adjacent pixels, correction in the matrix is necessary. There is a bad problem.

次の従来例、（b）の色差順次方式は補色フィルターを使用しているので、フィルターの透過率が高く感度は良いが、2ラインを加算して同時に読み出すため、垂直方向の解像度が低下する問題がある。
インターレース信号として取り扱う時は便利であるが、プログレッシブ信号の場合は色フィルターの配列を変更する必要がある。
この方式は補色フィルターを使用しているので、色再現性を確保するためにRGBに変換して信号処理を処理せねばならないため、処理回路が複雑になる。
また、クロストークの影響も色フィルターがモザイクであるので、ベイヤー方式と同様に混色を発生する。 The following conventional example, (b) color difference sequential method uses a complementary color filter, so the transmittance of the filter is high and the sensitivity is good, but since the two lines are added and read simultaneously, the resolution in the vertical direction decreases. There's a problem.
This is convenient when handled as an interlace signal, but in the case of a progressive signal, it is necessary to change the arrangement of the color filters.
Since this method uses a complementary color filter, in order to ensure color reproducibility, it must be converted to RGB and signal processing must be processed, which complicates the processing circuit.
In addition, since the color filter is a mosaic due to the influence of crosstalk, color mixing occurs as in the Bayer method.

従来例、（ｃ）のストライプ方式は通常は原色を使用するが、補色のフィルターでも可能なため、補色フィルターでは感度の問題は解決できるが、3種類のフィルターを水平方向に３画素の繰り返しになるため、水平方向の解像度がナイキスト限界の2/3に低下する問題がある。
しかし、この方式はクロストークの影響は色フィルターがストライプ状のため、垂直方向のクロストークは混色にならないので、上記２つの方法に比べ軽減され、フレームトランスファーCCDでは良く使用された。しかし、フレームトランスファーCCDが使われなくなるに従い現状ではほとんど使用されなくなった。
このように、従来の固体撮像装置のカラーフィルター方式では感度と解像度と色再現のカメラとしての重要な３大性能を同時に解決することは出来なかった。 In the conventional example, the stripe method in (c) usually uses the primary color, but it is possible to use a complementary color filter, so the complementary color filter can solve the problem of sensitivity, but three types of filters can be repeated in the horizontal direction for 3 pixels. Therefore, there is a problem that the horizontal resolution is reduced to 2/3 of the Nyquist limit.
However, the influence of the crosstalk in this method is reduced compared to the above two methods because the color filter has a stripe shape and the crosstalk in the vertical direction is not mixed, and is often used in the frame transfer CCD. However, as the frame transfer CCD is no longer used, it is almost no longer used.
As described above, the color filter method of the conventional solid-state imaging device cannot simultaneously solve the three important performances as a camera for sensitivity, resolution, and color reproduction.

イメージセンサーの２次元に配列したフォトダイオードに対応した色フィルターにおいて、第1の水平ラインには第１の分光特性のフィルターと第２の分光特性のフィルターを順次配列し、第2の水平ラインには第1の分光特性のフィルターと第3の分光特性のフィルターを順次配列した構成の色フィルターとし、第２の分光特性のフィルターに対応したフォトダイオードの信号と、第１の分光特性のフィルターで第３の分光特性のフィルターに隣接するフォトダイオードからの信号との差を取り出すことを特徴とするカラー固体撮像装置。   In the color filter corresponding to the two-dimensionally arranged photodiodes of the image sensor, a first spectral characteristic filter and a second spectral characteristic filter are sequentially arranged on the first horizontal line, and the second horizontal line is arranged. Is a color filter with a configuration in which a first spectral characteristic filter and a third spectral characteristic filter are arranged in sequence, a photodiode signal corresponding to the second spectral characteristic filter, and a first spectral characteristic filter. A color solid-state imaging device, wherein a difference from a signal from a photodiode adjacent to a filter having a third spectral characteristic is extracted.

本発明の効果は微細セルでの課題である感度低下を大幅に改善することと、隣接画素間で発生するクロストークをキャンセルすることが出来る。
本発明の他の効果は微細セルのCMOSセンサーでも、隣接画素からのクロストークがキャンセルできるので、混色のない色再現の良いカメラ画像を得ることが出来る。
本発明の他の効果は微細セルのCMOSセンサーでも、透過率の高い透明と補色フィルターを使用し、さらにクロストークをキャンセルしているため、リニアーマトリックスの補正係数も少なく、高感度でSNRの良い画像を得ることが出来る。
本発明の他の効果は微細セルのセンサーでも色フィルターによる透過率の低下や、クロストークによる混色の性能劣化を無くすることが出来るため、センサーの小型化が可能になり、カメラの小型化と高感度化を実現することができる。 The effect of the present invention can greatly improve the sensitivity reduction, which is a problem in a fine cell, and can cancel the crosstalk that occurs between adjacent pixels.
Another effect of the present invention is that even with a fine cell CMOS sensor, crosstalk from adjacent pixels can be canceled, so that a camera image with good color reproduction without color mixture can be obtained.
Another advantage of the present invention is that even a fine cell CMOS sensor uses transparent and complementary color filters with high transmittance, and further cancels crosstalk. Therefore, there are few linear matrix correction factors, high sensitivity and good SNR. An image can be obtained.
Another advantage of the present invention is that even with a fine cell sensor, it is possible to eliminate the decrease in transmittance due to the color filter and the deterioration in the performance of color mixing due to crosstalk, so the sensor can be miniaturized and the camera can be miniaturized. High sensitivity can be realized.

本発明のカラーフィルター構成の具体例を第２図（a）に示す。   A specific example of the color filter configuration of the present invention is shown in FIG.

同図に示すように第１の水平ラインは透明フィルター（W1）とYellowフィルターの繰り返しで、第2の水平ラインは透明フィルター（W2）とCyanフィルターの繰り返しで構成され、これらを垂直方向に順次配列した構成とする。
この透明フィルターのW1とW2は同一特性の透明フィルターであるため、実質は、縦可視光透過のストライプ状である。 As shown in the figure, the first horizontal line is composed of a transparent filter (W1) and a yellow filter, and the second horizontal line is composed of a transparent filter (W2) and a cyan filter. An arrangement is used.
Since the transparent filters W1 and W2 are transparent filters having the same characteristics, they are substantially in the form of stripes that transmit vertical visible light.

同図（b）に代表的なこれらの色フィルターの分光特性を示す。
微細セルのCMOSセンサーでは各画素間にクロストークが発生するが、このクロストークは入射光の波長に関係し、長波長になるほど入射したフォトンはフォトダイオードを突き抜けてSi部の深い位置まで到達するので、隣接のフォトダイオードに到達するクロストークが増加する。 The spectral characteristics of these typical color filters are shown in FIG.
In a micro cell CMOS sensor, crosstalk occurs between pixels. This crosstalk is related to the wavelength of incident light, and the longer the wavelength, the more incident photons pass through the photodiode and reach a deeper position in the Si section. Therefore, crosstalk reaching the adjacent photodiode increases.

これを波長400nmから500nmをB成分、500nmから600nmをＧ成分、600nmから700nmをＲ成分として分けて示すと、第３図に示すように、クロストークのB成分は少なく、G成分、R成分と、長波長になるに従って多くなっている。
現状の構造では、２μ程度のセルサイズのCMOSセンサーでは１画素あたりR成分のクロストークは７％〜１４％、G成分のクロストークは３％〜７％も発生しているが、短波長のB成分は２％程度である。 If this is divided into wavelengths from 400nm to 500nm as B component, 500nm to 600nm as G component, and 600nm to 700nm as R component, as shown in Fig. 3, there are few crosstalk B components, G component and R component As the wavelength becomes longer, it increases.
In the current structure, a CMOS sensor having a cell size of about 2μ generates 7% to 14% of R component crosstalk and 3% to 7% of G component crosstalk per pixel. B component is about 2%.

さらにセルサイズが微細になるとこのクロストークはさらに増加する。
また当然、対象の画素が２画素に隣接している時は２倍、４画素に隣接している時は４倍のクロストーク量になり、R成分やG成分のクロストークは連接画素に大きな混色を発生することになる。 Further, the crosstalk further increases as the cell size becomes finer.
Naturally, when the target pixel is adjacent to two pixels, the crosstalk amount is doubled and when the target pixel is adjacent to four pixels, the crosstalk amount is four times, and the crosstalk of the R component and the G component is large in the connected pixel. Color mixing will occur.

第４図に微細セルのセンサーの隣接画素からのクロストークを示す。
同図に示すように中心画素がYeフィルターの時は、上下はCyフィルターであり、左右はW1フィルターになる。
対角画素からのクロストークは構造上ほとんど発生しなく、実質上無視できる。
従って、中心がYe画素の時には、本来のYe信号に上下のCy画素からのクロストークCy”ｘ２と、左右のW1画素からのクロストークW1”ｘ２が加算されて、
Ye’=Ye+2Cy”+2W1”となる。 FIG. 4 shows crosstalk from adjacent pixels of the sensor of the fine cell.
As shown in the figure, when the central pixel is a Ye filter, the top and bottom are Cy filters, and the left and right are W1 filters.
Crosstalk from diagonal pixels hardly occurs in the structure and can be substantially ignored.
Therefore, when the center is the Ye pixel, the crosstalk Cy ″ x2 from the upper and lower Cy pixels and the crosstalk W1 ″ x2 from the left and right W1 pixels are added to the original Ye signal,
Ye '= Ye + 2Cy ”+ 2W1”.

第５図は、このYe画素とその隣接画素からのクロストークを模式的に示したものである。
同図ではCy”はＢ”成分＋Ｇ”成分に、W1”はR”成分＋G”成分＋B”成分で表示すると、Cy画素からのG”成分とB”成分はW1画素からのG”成分とB”成分と同じ分光特性を持つとして計算でき、これらを加算されて次のように示される。
Ye’=Ye+2(G”+B”)+2(R”+G”+B”)=Ye+(2R”+4G”+4B”) FIG. 5 schematically shows crosstalk from this Ye pixel and its adjacent pixels.
In the figure, Cy ″ is displayed as B ″ component + G ″ component, and W1 ″ is displayed as R ″ component + G ″ component + B ″ component. G ″ component from Cy pixel and B ″ component are G ″ component from W1 pixel. It can be calculated as having the same spectral characteristics as the B ″ component, and these are added together to show:
Ye '= Ye + 2 (G "+ B") + 2 (R "+ G" + B ") = Ye + (2R" + 4G "+ 4B")

第６図は、Cy画素とその隣接画素からのクロストークを模式的に示したものである。
同図に示すように、中心がCy画素の時は、本来のCy信号に、上下のYe画素からのクロストークYe”ｘ２と、左右のW2画素からのクロストークW2”ｘ２が加算されて、
Cy’=Cy+2Ye”+2W2”となる。
ここでも、Ye”はＧ”成分＋Ｒ”成分に、W2はR”成分＋G”成分＋B”成分で表示すると、Ye画素からのG”成分とR”成分はW1画素からのG”成分とR”成分と同じ分光特性を持つとして計算でき、これらを加算されて次のように示される。
Cy’=Cy+2(G”+R”)+2(R”+G”+B”)=Cy+(4R”+4G”+2B”) FIG. 6 schematically shows crosstalk from a Cy pixel and its adjacent pixels.
As shown in the figure, when the center is the Cy pixel, the crosstalk Ye "x2 from the upper and lower Ye pixels and the crosstalk W2" x2 from the left and right W2 pixels are added to the original Cy signal,
Cy '= Cy + 2Ye ”+ 2W2”.
Here, Ye ″ is displayed as G ″ component + R ″ component, and W2 is displayed as R ″ component + G ″ component + B ″ component. G ″ component and R ″ component from Ye pixel are G ″ component and R from W1 pixel. "It can be calculated as having the same spectral characteristics as the component, and these are added together to show:
Cy '= Cy + 2 (G "+ R") + 2 (R "+ G" + B ") = Cy + (4R" + 4G "+ 2B")

第７図は、W1画素とその隣接画素からのクロストークを模式的に示したものである。
中心がW1画素の時は、本来のW1信号に、左右のYe画素からのクロストークYe”ｘ２と、上下のW2画素からのクロストークW2”ｘ２が加算されて
W1’=W1+2Ye”＋2W2”となる。
この左右のYe画素からのクロストークYe”は前記のCy画素に混入した上下のYe画素からのクロストークとほぼ同じ量であるので、（正方画素では左右の和と上下の和はほぼ等しい）
W1’=W1+2(G”+R”)+2(R”+G”+B”)=W1+(4R”+４G”+2B”) となる。 FIG. 7 schematically shows crosstalk from the W1 pixel and its adjacent pixels.
When the center is the W1 pixel, the crosstalk Ye "x2 from the left and right Ye pixels and the crosstalk W2" x2 from the upper and lower W2 pixels are added to the original W1 signal.
W1 '= W1 + 2Ye ”+ 2W2”.
Since the crosstalk Ye ”from the left and right Ye pixels is substantially the same amount as the crosstalk from the upper and lower Ye pixels mixed in the Cy pixel, the left and right sum and the upper and lower sum are almost equal in the square pixel.
W1 '= W1 + 2 (G "+ R") + 2 (R "+ G" + B ") = W1 + (4R" + 4G "+ 2B").

第８図は、W2画素とその隣接画素からのクロストークを模式的に示したものである。
中心がW2画素の時は、本来のW2信号に、上下のW1画素からのクロストークW1”ｘ２と左右のCy画素からのクロストークCy”ｘ２が加算されて、
W2’=W2+2Cy”＋2W1”となる。
この左右のCy画素からのクロストークCy”は前記のYe画素に混入した上下のCy画素からのクロストークとほぼ同じ量であるので、
W2’=W2+2(G”+B”)+2(R”+G”+B”)=W2+(2R”+４G”+4B”) となる。 FIG. 8 schematically shows crosstalk from the W2 pixel and its adjacent pixels.
When the center is the W2 pixel, the crosstalk W1 "x2 from the upper and lower W1 pixels and the crosstalk Cy" x2 from the left and right Cy pixels are added to the original W2 signal,
W2 '= W2 + 2Cy ”+ 2W1”.
Since the crosstalk Cy ”from the left and right Cy pixels is almost the same amount as the crosstalk from the upper and lower Cy pixels mixed in the Ye pixel,
W2 '= W2 + 2 (G "+ B") + 2 (R "+ G" + B ") = W2 + (2R" + 4G "+ 4B").

このように、センサーから出力される信号は本来のYe, Cy, でなく、また、同一分光特性の透明フィルターW1、W2も異なる信号量、即ち、隣接画素からのクロストークを含んだYe’, W1’, Cy’, W2’となる。
ここでのクロストーク量は上記の通り、非常に多く、色再現を大幅に悪化させることになる。 Thus, the signal output from the sensor is not the original Ye, Cy, and the transparent filters W1 and W2 having the same spectral characteristics also have different signal amounts, that is, Ye ′, which includes crosstalk from adjacent pixels. W1 ', Cy', W2 '.
The crosstalk amount here is very large as described above, and the color reproduction is greatly deteriorated.

これらの信号を、
W1’−Cy’=R
W2’−Ye’=B
即ち、減算する時に隣接していない画素間での演算をすることにより、クロストークをキャンセルしたR、Bの各信号を得ることができ、さらに、
（W1’+W2’）/2−K(R+B)=G
の演算でG信号のクロストークもキャンセルすることが出来る。
第９図にクロストークがキャンセルされたR, B信号およびG信号を模式的に示す。 These signals are
W1'−Cy '= R
W2'−Ye '= B
That is, by performing computation between pixels that are not adjacent when subtracting, it is possible to obtain R and B signals with crosstalk canceled,
(W1 '+ W2') / 2−K (R + B) = G
The crosstalk of the G signal can also be canceled by this calculation.
FIG. 9 schematically shows R, B and G signals from which crosstalk has been canceled.

第１０図にこのセンサー出力信号を処理する信号処理回路のブロックの具体例を示す。
同図に示すように、センサーからの信号を分離回路と補間（Interpolation）回路で、内挿されたYe’、W1’、Cy’、W2’ の各信号を作る。
この時、W1’ とW2’ 信号を補間する時は、それぞれ区別して補間する必要がある。
輝度信号はこれらYe’, W1’, Cy’, W2’の各信号を加算器で1.1、0.5、0.4、0.5の比率で加算すれば、輝度信号Yは、
Y=0.35R+0.42G+0.23Bを作ることが出来る。
このとき、各信号の加算する比率をさらに調整すれば、
Y=0.3R+0.59G+0.11Bの標準輝度信号に近づけることが可能である。 FIG. 10 shows a specific example of a block of a signal processing circuit for processing the sensor output signal.
As shown in the figure, the signals from the sensor are interpolated by a separation circuit and an interpolation circuit to generate Ye ′, W1 ′, Cy ′, and W2 ′ signals.
At this time, when interpolating the W1 ′ and W2 ′ signals, it is necessary to interpolate them separately.
The luminance signal Y can be obtained by adding these Ye ', W1', Cy ', W2' signals at a ratio of 1.1, 0.5, 0.4, 0.5 using an adder.
Y = 0.35R + 0.42G + 0.23B can be made.
At this time, if the ratio of adding each signal is further adjusted,
It is possible to approximate the standard luminance signal of Y = 0.3R + 0.59G + 0.11B.

一方、色信号は同図に示すクロストークキャンセル回路で、
W1’−Cy’=R、
W2’−Ye’=B
（W1’+W2’)/2−ka(R+B)=G、
の演算をし、クロストークをキャンセルするとともにR、G、B信号を作る。
この処理により、第９図に示したように、Ye’に含まれるクロストーク成分２W1”+２Cy”はW2’に含まれるクロストーク成分２W1”+２Cy”とほぼ同じであるので、これらを減算して得る信号（W2’−Ye’）はクロストークを完全にキャンセルしたB信号（W2−Ye=B）となる。（正方画素では、上下の画素からのクロストークと左右の画素からのクロストークはほぼ等しい）
W2’−Ye’=(W2+2R”+4G”+4B”)−(Ye+2R”+4G”+4B”)=W2−Ye＝B On the other hand, the color signal is the crosstalk cancellation circuit shown in the figure,
W1'−Cy '= R,
W2'−Ye '= B
(W1 '+ W2') / 2−ka (R + B) = G,
The crosstalk is canceled and R, G, and B signals are generated.
As a result of this processing, as shown in FIG. 9, the crosstalk component 2W1 "+ 2Cy" included in Ye 'is substantially the same as the crosstalk component 2W1 "+ 2Cy" included in W2'. The signal (W2′−Ye ′) obtained in this way is a B signal (W2−Ye = B) in which crosstalk is completely canceled. (For square pixels, the crosstalk from the top and bottom pixels is almost equal to the crosstalk from the left and right pixels)
W2'-Ye '= (W2 + 2R "+ 4G" + 4B ")-(Ye + 2R" + 4G "+ 4B") = W2-Ye = B

同様にW1’−Cy’=Rの処理で得られる信号もクロストーク成分を完全にキャンセルされたR信号（W−Cy=R）となる。
W1’−Cy’=(W1+4R”+4G”+2B”)−(Cy+4R”+4G”+2B”)=W1−Cy＝R
また、G信号はW1’とW2’の平均を取り、適当な比率のR+B信号を減算することにより、
(W1’+W2’)/2=W+(3R”+4G”+3B”)=(R+3R”)+(G+4G”)+(B+3B”)＝G+4G”+ｋa(R+B)
となり、ｋa(R+B)を減算すれば、
＝G+４G”＝kgG
を得ることが出来る。
（GとG”は同一分光特性であり他画素からのクロストーク成分ではない） Similarly, a signal obtained by the processing of W1′−Cy ′ = R is also an R signal (W−Cy = R) in which the crosstalk component is completely canceled.
W1'-Cy '= (W1 + 4R "+ 4G" + 2B ")-(Cy + 4R" + 4G "+ 2B") = W1-Cy = R
In addition, G signal takes the average of W1 'and W2', and subtracts R + B signal of appropriate ratio,
(W1 '+ W2') / 2 = W + (3R "+ 4G" + 3B ") = (R + 3R") + (G + 4G ") + (B + 3B") = G + 4G "+ ka ( R + B)
And subtracting ka (R + B)
= G + 4G "= kgG
Can be obtained.
(G and G ″ have the same spectral characteristics, not crosstalk components from other pixels)

このようにクロストークを除去したRGB信号は、第１０図に示すMatrix回路でカメラとしての最適な色再現が得られるように演算する。
第１１図にこのMatrixの代表的な行列式を示す。
前記のクロストークキャンセル回路とこのMatrixを一体として４ｘ３のMatrixとして、一度で演算することも可能である。（第１２図） The RGB signal from which the crosstalk has been removed in this way is calculated by a Matrix circuit shown in FIG. 10 so that optimum color reproduction as a camera can be obtained.
FIG. 11 shows a typical determinant of this Matrix.
The crosstalk cancellation circuit and this Matrix can be integrated into a 4 × 3 Matrix and can be calculated at once. (Fig. 12)

このようにしてクロストーク成分を除去し、最適の色再現のRGB信号は同図に示すように、通常のカメラ信号と同様に、ホワイトバランス（WB）回路とGamma補正回路を通し、さらにY, Cr, Cb変換回路でCr、Cbに変換して、色差信号の出力信号とする。   In this way, the crosstalk component is removed, and the RGB signal for optimum color reproduction is passed through a white balance (WB) circuit and a gamma correction circuit, as in the case of a normal camera signal. It is converted into Cr and Cb by a Cr and Cb conversion circuit and used as an output signal of color difference signal.

前記、加算器で作られた輝度信号（Y）はLevel AdjustでRGB信号とレベルを合わせてRGB信号と同様にGamma補正回路でガンマ処理をかける。
Gamma処理された輝度信号はアパーチャー補正回路でレンズやセンサーでのMTFの低下分を補正した輝度信号Yとして出力信号とする。
また、ここでは同時に高周波成分と低周波成分に分けてノイズ低減等も行うことが出来る。 The luminance signal (Y) generated by the adder is subjected to gamma processing by the Gamma correction circuit in the same manner as the RGB signal by matching the level with the RGB signal by Level Adjust.
The luminance signal subjected to the gamma processing is used as an output signal as a luminance signal Y obtained by correcting the decrease in MTF in the lens or sensor by the aperture correction circuit.
Further, here, noise reduction or the like can be performed by dividing into high-frequency components and low-frequency components simultaneously.

このようにして、Wのストライプ状フィルターとYe、Cyのモザイク状フィルターを組み合わせた新しい色フィルターと、左右に隣接していない画素間で減算する特殊な演算のクロストークキャンセル回路により、透過率の良い色フィルターでの高感度と、さらにクロストークによる混色を無くしたカメラ出力信号（輝度信号Yと色差信号Cr、Cb）を得ることが出来る。
この時、輝度信号Yはセンサーからの出力信号のYe, W1, W2, Cy信号を補間しているため、各信号のMTFは多少落ちるが、加算された信号は全ての信号がGreen信号成分を有しているので、解像度としては全画素がGreenフィルターの時と同様に画素数で決まるナイキスト限界まで高く取れる。 In this way, a new color filter that combines a W stripe filter and a Ye and Cy mosaic filter, and a special crosstalk cancellation circuit that subtracts between pixels that are not adjacent to the left and right, thereby reducing the transmittance. It is possible to obtain a camera output signal (luminance signal Y and color difference signals Cr, Cb) that eliminates color mixing due to crosstalk and high sensitivity with a good color filter.
At this time, the luminance signal Y interpolates the Ye, W1, W2, and Cy signals output from the sensor, so the MTF of each signal will drop slightly, but all signals will have the Green signal component added. As a result, all pixels can be taken up to the Nyquist limit determined by the number of pixels as in the case of the Green filter.

この実施例ではWフィルターは垂直方向ストライプ状で説明したが、水平方向Wストライプでも、YeおよびCy信号を減算してRおよびB信号を得るときに、お互いが上下に隣接していないW信号で演算すると、各画素に混入したクロストークはキャンセルすることが可能である。
これらの実施例では透明フィルターとYellowおよびCyanフィルターを使用して説明したが、透明フィルターをGreenフィルターとした構成でも同様の処理をすることによりクロストークをキャンすることが出来る。
ここでは、クロストークは一方的に受ける方向のみ示しているが、当然、反対方向にも発生するが、基本的には同様な動作であり、説明も複雑となるので省略した。 In this embodiment, the W filter has been described as a vertical stripe, but even in the horizontal W stripe, when the R and B signals are obtained by subtracting the Ye and Cy signals, the W signals are not adjacent to each other. When calculated, the crosstalk mixed in each pixel can be canceled.
In these embodiments, the transparent filter and the Yellow and Cyan filters have been described. However, even when the transparent filter is a Green filter, crosstalk can be canceled by performing the same process.
Here, only the direction in which crosstalk is received is shown, but naturally it occurs in the opposite direction, but it is omitted because it is basically the same operation and the explanation becomes complicated.

本発明のカラー撮像装置はセルサイズが微細化されたイメージセンサー（特にCMOSセンサー）を使用した小型カメラの性能を大幅に向上させる事が出来る。   The color imaging device of the present invention can greatly improve the performance of a small camera using an image sensor (particularly a CMOS sensor) with a fine cell size.

カラー撮像装置に使用されている色フィルターの従来例を示す。The conventional example of the color filter currently used for the color imaging device is shown. 本発明に使用する色フィルター配列と分光特性を示す。The color filter array and spectral characteristics used in the present invention are shown. CMOSセンサーで発生するクロストークの波長特性を示す。This shows the wavelength characteristics of crosstalk generated in CMOS sensors. CMOSセンサーで周囲の画素から受けるクロストークを示す。Indicates crosstalk received from surrounding pixels by the CMOS sensor. Ye画素を中心とした隣接画素からのクロストークを示す。Crosstalk from adjacent pixels centered on Ye pixels is shown. Cy画素を中心とした隣接画素からのクロストークを示す。Crosstalk from adjacent pixels centered on Cy pixels is shown. W1画素を中心とした隣接画素からのクロストークを示す。Crosstalk from adjacent pixels centered on the W1 pixel is shown. W2画素を中心とした隣接画素からのクロストークを示す。Crosstalk from adjacent pixels centered on the W2 pixel is shown. 本発明の演算によりクロストークをキャンセルすることを示す。It shows that crosstalk is canceled by the calculation of the present invention. 本発明の信号処理ブロック図を示す。The signal processing block diagram of this invention is shown. 本発明に使用するカラーマトリックスの係数の具体例を示す。The specific example of the coefficient of the color matrix used for this invention is shown. クロストークのキャンセルとカラーマトリックスを同時にするときの信号処理マトリックスを示す。A signal processing matrix when canceling crosstalk and color matrix at the same time is shown.

符号の説明Explanation of symbols

なし（記号で直接記入）
None (Enter directly with a symbol)

Claims (6)

撮像手段の２次元に配列した光電変換手段に対応した色フィルターにおいて、第1の水平ラインには第１の分光特性のフィルターと第２の分光特性のフィルターを順次配列し、第2の水平ラインには第1の分光特性のフィルターと第3の分光特性のフィルターを順次配列した構成の色フィルターとし、第２の分光特性のフィルターに対応した光電変換手段の信号と、第１の分光特性のフィルターで第３の分光特性のフィルターに隣接する光電変換手段からの信号との差を取り出すことを特徴とするカラー固体撮像装置。   In the color filter corresponding to the photoelectric conversion means arranged in two dimensions of the imaging means, the first horizontal line and the second spectral line are sequentially arranged on the first horizontal line, and the second horizontal line. Is a color filter having a configuration in which a filter having a first spectral characteristic and a filter having a third spectral characteristic are sequentially arranged. The signal of the photoelectric conversion means corresponding to the second spectral characteristic filter and the first spectral characteristic A color solid-state imaging device, wherein a difference between a signal from a photoelectric conversion means adjacent to a filter having a third spectral characteristic is extracted by a filter. 請求項１において、第１の分光特性のフィルターは全色光を透過する分光特性とし、第２の分光特性のフィルター、第３の分光特性のフィルターを異なる補色の分光特性を有するフィルターとすることを特徴とするカラー固体撮像装置。   2. The filter according to claim 1, wherein the first spectral characteristic filter is a spectral characteristic that transmits all color light, and the second spectral characteristic filter and the third spectral characteristic filter are filters having different complementary color spectral characteristics. A featured color solid-state imaging device. 請求項２において、第２の分光特性のフィルターを補色のYellowとし、第３の分光特性のフィルターを補色のCyanとした構成の色フィルターを有することを特徴とするカラー固体撮像装置。   3. The color solid-state imaging device according to claim 2, further comprising a color filter having a configuration in which the second spectral characteristic filter is a complementary color yellow and the third spectral characteristic filter is a complementary color cyan. 請求項１において、第１の分光特性のフィルターに対応する光電変換手段からの信号で第２の分光特性のフィルターに隣接する光電変換手段と、第３の分光特性のフィルターに隣接する光電変換手段からの信号と、第２の色フィルターに対応する光電変換手段と、第３の色フィルターに対応する光電変換手段からの信号との４種類に区別して分離、内挿補間することを特徴とするカラー固体撮像装置。   2. The photoelectric conversion means adjacent to the second spectral characteristic filter by the signal from the photoelectric conversion means corresponding to the first spectral characteristic filter and the photoelectric conversion means adjacent to the third spectral characteristic filter according to claim 1. Are separated and interpolated by distinguishing them into four types: a signal from the above, a photoelectric conversion means corresponding to the second color filter, and a signal from the photoelectric conversion means corresponding to the third color filter. Color solid-state imaging device. 請求項４において、輝度信号は分離された４種類の信号の比率を調整し加算して得、色信号は前記４種類の信号を演算して得ることを特徴とするカラー固体撮像装置。   5. The color solid-state imaging device according to claim 4, wherein the luminance signal is obtained by adjusting and adding the ratio of the four kinds of separated signals, and the color signal is obtained by calculating the four kinds of signals. 請求項１において、各分光特性のフィルター配列の水平方向と垂直方向を入れ替えた配列の色フィルターを設置し、第２の分光特性のフィルターに対応した光電変換手段の信号と、垂直方向の第１の分光特性のフィルターで第３の分光特性のフィルターに隣接する光電変換手段からの信号との差を取り出すことを特徴とするカラー固体撮像装置。   2. The color filter having an arrangement in which the horizontal direction and the vertical direction of the filter arrangement of each spectral characteristic are exchanged, and the signal of the photoelectric conversion means corresponding to the filter of the second spectral characteristic, and the first in the vertical direction. A color solid-state imaging device characterized in that the difference between the signal from the photoelectric conversion means adjacent to the third spectral characteristic filter is extracted by the spectral characteristic filter.

Images