JP3499985B2 - Imaging device - Google Patents

Description

【発明の詳細な説明】Detailed Description of the Invention

【０００１】[0001]

【発明の属する技術分野】本発明は、モザイク型のカラ
ーフィルタが装着された固体撮像素子を用いる撮像装置
に関し、特に、ＶＧＡ(Video Graphics Array)に対応し
て画像データを得られるようにした撮像装置に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image pickup apparatus using a solid-state image pickup device having a mosaic type color filter mounted thereon, and particularly to an image pickup device capable of obtaining image data corresponding to VGA (Video Graphics Array). Regarding the device.

【０００２】[0002]

【従来の技術】単一の撮像素子を用いてカラー撮像を行
う場合には、撮像素子の受光部にストライプ型やモザイ
ク型のカラーフィルタが装着され、受光部の各画素が所
定の色成分に対応付けられる。このような撮像素子から
出力される画像信号は、装着されるカラーフィルタの配
列構成に対応し、各色成分を表す画像情報が所定の順序
で連続する。そして、撮像素子から出力される画像信号
に対する信号処理の過程では、色成分情報の生成と輝度
情報の生成とがそれぞれ独立して行われる。例えば、各
色成分に対応付けられた画像情報をマトリクス処理する
ことにより所望の色成分情報が生成され、各色成分を表
す画像情報を所定の割合で合成することにより輝度情報
が生成される。これらの輝度情報及び色成分情報は、所
定の変調処理を経て、表示側のテレビジョン方式に従う
フォーマットのテレビジョン信号に変換された後に表示
装置や記録装置等に供給される。2. Description of the Related Art When performing color image pickup using a single image pickup device, a stripe type or mosaic type color filter is attached to the light receiving part of the image pickup device so that each pixel of the light receiving part has a predetermined color component. Is associated. The image signal output from such an image sensor corresponds to the arrangement configuration of the color filters to be mounted, and the image information representing each color component continues in a predetermined order. Then, in the process of signal processing on the image signal output from the image sensor, the generation of the color component information and the generation of the luminance information are independently performed. For example, desired color component information is generated by performing a matrix process on image information associated with each color component, and luminance information is generated by combining image information representing each color component at a predetermined ratio. The luminance information and the color component information are supplied to a display device, a recording device, etc. after being converted into a television signal of a format according to the television system on the display side through a predetermined modulation process.

【０００３】図１３は、カラー撮像を行う撮像装置の構
成を示すブロック図である。ＣＣＤ固体撮像素子１は、
行列配置される複数の受光画素及び各受光画素に対応す
る複数のシフトレジスタを有し、受光面には、各受光画
素を所定の色成分に対応付けるカラーフィルタが装着さ
れる。このＣＣＤ１は、水平同期信号及び垂直同期信号
に従う多相のクロックパルスによってパルス駆動され、
各受光画素に蓄積される情報電荷が、それぞれ所定のタ
イミングでシフトレジスタを介して順次転送出力され
る。そして、ＣＣＤ１の出力側において、情報電荷の電
荷量が１画素単位で電圧値に変換され、１行単位で連続
する画像信号Ｙ0(t)として出力される。この画像信号Ｙ
0(t)は、１画素分の画像情報が１つの色成分を表してお
り、その色成分の出力順序が、ＣＣＤ１に装着されるカ
ラーフィルタの配列構成に対応する。アナログ処理回路
２は、ＣＣＤ１から出力される画像信号Ｙ0(t)に対して
サンプルホールド、ＡＧＣ（自動利得制御）等の処理を
施し、波形整形された画像信号Ｙ1(t)としてＡ／Ｄ変換
回路３に供給する。例えば、サンプルホールド処理で
は、ＣＣＤ１の出力動作に同期して基準電位と信号電位
とが繰り返される画像信号Ｙ0(t)を受け、基準電位部分
と信号電位部分とをそれぞれサンプリングし、その電位
差を取り出す。これにより、ＣＣＤ１の各受光画素に蓄
積される情報電荷の量に対応した電位レベルが１クロッ
ク期間維持される画像信号を得ている。そして、ＡＧＣ
処理では、サンプルホールド処理された画像信号に対
し、１垂直走査期間の平均レベルに応じたゲインを与
え、各垂直走査期間毎の平均レベルが略均一になるよう
に制御する。このアナログ処理回路２においては、画像
信号の各色成分は区別されず、共通の処理が施される。
Ａ／Ｄ変換回路３は、アナログ信号処理部２から出力さ
れる画像信号Ｙ1(t)を、ＣＣＤ１の出力動作、即ち、ア
ナログ信号処理部２の信号処理動作に同期して順次アナ
ログ／デジタル変換し、ＣＣＤ１の各受光画素に対応す
る画像データＩ(n)を生成する。FIG. 13 is a block diagram showing the arrangement of an image pickup apparatus for performing color image pickup. CCD solid-state image sensor 1
It has a plurality of light receiving pixels arranged in rows and columns and a plurality of shift registers corresponding to the respective light receiving pixels, and a color filter for associating each light receiving pixel with a predetermined color component is mounted on the light receiving surface. The CCD 1 is pulse-driven by a multi-phase clock pulse according to a horizontal synchronizing signal and a vertical synchronizing signal,
The information charge accumulated in each light receiving pixel is sequentially transferred and output via the shift register at a predetermined timing. Then, on the output side of the CCD 1, the charge amount of the information charges is converted into a voltage value on a pixel-by-pixel basis and is output as a continuous image signal Y0 (t) on a row-by-row basis. This image signal Y
0 (t) indicates that one pixel of image information represents one color component, and the output order of the color component corresponds to the arrangement configuration of the color filters mounted on the CCD 1. The analog processing circuit 2 subjects the image signal Y0 (t) output from the CCD 1 to processing such as sample hold and AGC (automatic gain control), and performs A / D conversion as a waveform-shaped image signal Y1 (t). Supply to the circuit 3. For example, in the sample hold process, the image signal Y0 (t) in which the reference potential and the signal potential are repeated in synchronization with the output operation of the CCD 1 is received, the reference potential portion and the signal potential portion are sampled, and the potential difference between them is extracted. . As a result, an image signal in which the potential level corresponding to the amount of information charges accumulated in each light receiving pixel of the CCD 1 is maintained for one clock period is obtained. And AGC
In the processing, a gain corresponding to the average level in one vertical scanning period is applied to the image signal subjected to the sample hold processing, and control is performed so that the average level in each vertical scanning period becomes substantially uniform. In the analog processing circuit 2, each color component of the image signal is not distinguished and common processing is performed.
The A / D conversion circuit 3 sequentially performs analog / digital conversion of the image signal Y1 (t) output from the analog signal processing unit 2 in synchronization with the output operation of the CCD 1, that is, the signal processing operation of the analog signal processing unit 2. Then, the image data I (n) corresponding to each light receiving pixel of the CCD 1 is generated.

【０００４】色成分データ生成回路４は、Ａ／Ｄ変換回
路３から出力される画像データを取り込み、所定のマト
リクス演算を施すことで所望の色成分の情報を表す色成
分データを生成する。同時に、各色成分毎のバランスを
調整（ホワイトバランス調整）して、再生側で表示され
る画面の色を被写体の色に近付けるようにしている。輝
度データ生成回路５は、Ａ／Ｄ変換回路３から出力され
る画像データを取り込み、各色成分を所定の割合で合成
することにより輝度データを生成する。これら色成分デ
ータ生成回路４及び輝度データ生成回路５は、それぞれ
デジタル処理回路によって構成される。The color component data generation circuit 4 takes in the image data output from the A / D conversion circuit 3 and performs a predetermined matrix operation to generate color component data representing information of a desired color component. At the same time, the balance of each color component is adjusted (white balance adjustment) so that the color of the screen displayed on the reproduction side approaches the color of the subject. The brightness data generation circuit 5 takes in the image data output from the A / D conversion circuit 3 and combines the color components at a predetermined ratio to generate brightness data. The color component data generation circuit 4 and the luminance data generation circuit 5 are each configured by a digital processing circuit.

【０００５】ところで、ＣＣＤ１の受光部に装着される
カラーフィルタについては、モザイク型の場合、ストラ
イプ型と比較してフィルタの構成が複雑になるが、水平
解像度を高くすることができるという利点を有してい
る。このため、高解像度化が望まれるビデオカメラ等に
おいては、主としてモザイク型のカラーフィルタを装着
した固体撮像素子が採用される。By the way, regarding the color filter mounted on the light receiving portion of the CCD 1, the mosaic type has a complicated filter structure as compared with the stripe type, but has an advantage that the horizontal resolution can be increased. is doing. For this reason, in a video camera or the like in which high resolution is desired, a solid-state image pickup device equipped with a mosaic type color filter is mainly used.

【０００６】図１４は、モザイク型のカラーフィルタの
一例を示す平面図である。ＣＣＤ１の受光部の各画素に
対応して複数のセグメントに分割され、各セグメントに
例えば、Ｙｅ（イエロー）、Ｃｙ（シアン）、Ｗ（ホワ
イト）及びＧ（グリーン）の各色成分が周期的に割り当
てられる。ここでは、Ｗ及びＧの各成分が奇数行に交互
に配置され、Ｙｅ及びＣｙの各成分が偶数行に交互に配
置されている。このようなカラーフィルタがＣＣＤ１に
装着された場合、色成分データ生成回路４においては、
Ｗ成分とＹｅ成分との差またはＣｙ成分とＧ成分との差
からＢ（ブルー）成分を表す色成分データが生成され、
Ｗ成分とＣｙ成分との差またはＹｅ成分とＧ成分との差
からＲ（レッド）成分を表す色成分データが生成され
る。そして、輝度データ生成回路５においては、各色成
分を平均化することにより、輝度データが生成される。
即ち、４つの色成分をそのまま合成すれば、 Ｙｅ＋Ｃｙ＋Ｇ＋Ｗ＝（Ｂ＋Ｇ）＋（Ｒ＋Ｇ）＋Ｇ＋（Ｒ＋Ｇ＋Ｂ） ＝２Ｒ＋４Ｇ＋２Ｂ となり、Ｒ、Ｇ及びＢの各成分が１：２：１の割合で合
成された輝度信号を得ることができる。本来、輝度信号
は、ＮＴＳＣ方式の規格によれば、Ｒ、Ｇ及びＢの各成
分を３：６：１の割合で合成して生成されるものである
が、これに近い割合で合成して生成したものであれば、
実用的に問題は生じない。FIG. 14 is a plan view showing an example of a mosaic type color filter. The CCD 1 is divided into a plurality of segments corresponding to each pixel of the light receiving portion, and for example, Ye (yellow), Cy (cyan), W (white), and G (green) color components are periodically allocated to each segment. To be Here, the W and G components are alternately arranged in odd rows, and the Ye and Cy components are alternately arranged in even rows. When such a color filter is attached to the CCD 1, in the color component data generation circuit 4,
Color component data representing the B (blue) component is generated from the difference between the W component and the Ye component or the difference between the Cy component and the G component,
Color component data representing the R (red) component is generated from the difference between the W component and the Cy component or the difference between the Ye component and the G component. Then, in the luminance data generation circuit 5, the luminance data is generated by averaging each color component.
That is, if the four color components are combined as they are, Ye + Cy + G + W = (B + G) + (R + G) + G + (R + G + B) = 2R + 4G + 2B, and the brightness of the respective components of R, G, and B is 1: 2: 1. You can get a signal. Originally, the luminance signal is generated by synthesizing each component of R, G, and B at a ratio of 3: 6: 1 according to the standard of NTSC system, but is synthesized at a ratio close to this. If you generated
Practically no problem occurs.

【０００７】[0007]

【発明が解決しようとする課題】各種の色成分からなる
カラーフィルタが装着されたＣＣＤ１では、各色成分に
対応する受光画素の感度にばらつきが生じる。即ち、カ
ラーフィルタを構成する各セグメント毎に光の透過効率
が異なるため、ＣＣＤ１の各受光画素自体が同じ感度を
有しているとしても、各色成分毎の感度は一致しなくな
る。例えば、カラーフィルタのＧ層をＹｅ層とＣｙ層と
の重ね合わせにより形成する場合、Ｇ成分の受光画素の
感度がＹｅ成分及びＣｙ成分の受光画素の感度より低く
なるのに対して、着色層が形成されないＷ成分の受光画
素の感度はＹｅ成分及びＣｙ成分の受光画素の感度より
高くなる。従って、図１５に示すように、各色成分毎に
受光感度がばらつくことになる。さらに、各受光画素の
情報電荷の蓄積容量は均一であるため、出力電圧の飽和
レベルは各色成分で一定の電圧Ｖsaとなるが、各受光画
素がその飽和レベルに達する入射光量は、感度の高い受
光画素ほど少なくなる。例えば、感度の高いＷ成分の画
素が入射光量Ａの時点で出力電圧がＶsaに達するのに対
し、Ｙｅ成分またはＣｙ成分の画素は、入射光量Ａより
も高い入射光量Ｂの時点までＶsaには達しない。さらに
感度の低いＧ成分の画素では、入射光量Ｂよりも高い入
射光量Ｃの時点までＶsaには達しない。In the CCD 1 equipped with the color filters composed of various color components, the sensitivity of the light receiving pixels corresponding to each color component varies. That is, since the light transmission efficiency is different for each segment forming the color filter, even if each light receiving pixel of the CCD 1 itself has the same sensitivity, the sensitivity for each color component does not match. For example, when the G layer of the color filter is formed by superimposing the Ye layer and the Cy layer, the sensitivity of the light receiving pixel of the G component is lower than the sensitivity of the light receiving pixels of the Ye component and Cy component, while the color layer is formed. The sensitivity of the light receiving pixel of the W component in which is not formed is higher than the sensitivity of the light receiving pixels of the Ye component and the Cy component. Therefore, as shown in FIG. 15, the light receiving sensitivity varies for each color component. Further, since the storage capacity of the information charge of each light receiving pixel is uniform, the saturation level of the output voltage becomes a constant voltage Vsa for each color component, but the incident light amount at which each light receiving pixel reaches the saturation level is highly sensitive. The number of light receiving pixels decreases. For example, an output voltage of a highly sensitive W component pixel reaches Vsa at the time of the incident light amount A, whereas a pixel of the Ye component or Cy component does not reach Vsa until the incident light amount B higher than the incident light amount A. Not reach In the case of the G component pixel having lower sensitivity, Vsa does not reach until the point of the incident light amount C higher than the incident light amount B.

【０００８】このような各色成分毎の受光画素の光学的
特性の差は、輝度データにノイズ成分を重畳させるた
め、再生画面上で被写体の輪郭を乱す、いわゆるモアレ
を発生させる原因となる。そこで本発明は、モザイク型
のカラーフィルタを装着した固体撮像素子を用いた撮像
装置でモアレの発生を抑圧することを目的とする。Such a difference in the optical characteristic of the light receiving pixel for each color component causes noise components to be superimposed on the luminance data, and thus causes so-called moire, which disturbs the contour of the subject on the reproduction screen. Therefore, it is an object of the present invention to suppress the occurrence of moire in an image pickup apparatus using a solid-state image pickup element equipped with a mosaic type color filter.

【０００９】[0009]

【課題を解決するための手段】本発明は、上述の課題を
解決するために成されたもので、各種の色成分にそれぞ
れ対応付けられた複数の受光画素がマトリクス配置さ
れ、入射光に応答して発生する情報電荷を各受光画素に
蓄積する固体撮像素子と、この固体撮像素子の出力に対
して素子の出力動作に同期したタイミングで信号処理を
施し、所定のフォーマットに従う画像信号を生成する信
号処理回路と、上記画像信号をデジタル化して上記固体
撮像素子の各受光画素に対応する第１の画像データを生
成するＡ／Ｄ変換回路と、上記各色成分に対応して個別
に設定されるゲインを上記第１の画像データに与えて各
色成分毎の平均レベルが均一化された第２の画像信号を
生成するバランス補正回路と、上記第２の画像データに
対して水平方向及び垂直方向の適数画素を合成して輝度
データを生成する２次元フィルタ回路と、を備えたこと
を特徴としている。The present invention has been made to solve the above-mentioned problems, and a plurality of light-receiving pixels respectively associated with various color components are arranged in a matrix to respond to incident light. And a solid-state image sensor that accumulates the information charges generated in each light-receiving pixel, and performs signal processing on the output of this solid-state image sensor at a timing synchronized with the output operation of the element to generate an image signal according to a predetermined format. A signal processing circuit, an A / D conversion circuit that digitizes the image signal to generate first image data corresponding to each light receiving pixel of the solid-state image sensor, and is individually set corresponding to each color component. A balance correction circuit that applies a gain to the first image data to generate a second image signal in which the average level of each color component is made uniform; Is characterized by comprising a two-dimensional filter circuit for generating a synthesized and luminance data the proper number of pixels in the linear direction.

【００１０】これにより、各色成分毎の受光感度のばら
つきがバランス補正回路によってほぼ均一になるように
補正され、さらに、水平方向及び垂直方向に隣接する受
光画素間の高周波成分が除去されることになる。従っ
て、輝度データの生成時にモアレの原因となるノイズ成
分が発生しにくくなる。さらに本発明は、上記第２の画
像データが一定のクリップレベルを越えたときに上記第
２の画像データをクリップレベルに固定するクリップ回
路と、上記第２の画像データの内、特定の色成分に対応
するデータを選択的に取り出し、上記クリップ回路のク
リップレベルとの差に対して一定の係数を乗じて補償デ
ータを生成する補償データ生成回路と、上記第２の画像
データが上記クリップ回路のクリップレベルを越えたと
きに上記補償データを上記クリップ回路のクリップレベ
ルに加算して第３の画像データを生成する加算回路と、
をさらに備えたことを特徴としている。As a result, the variation of the light receiving sensitivity for each color component is corrected by the balance correction circuit to be substantially uniform, and the high frequency component between the light receiving pixels adjacent in the horizontal and vertical directions is removed. Become. Therefore, a noise component that causes moire is less likely to occur when the luminance data is generated. Further, according to the present invention, a clip circuit for fixing the second image data to the clip level when the second image data exceeds a certain clip level, and a specific color component of the second image data. A data corresponding to the clip circuit, and a compensation data generation circuit for generating compensation data by multiplying a difference from the clip level of the clip circuit by a constant coefficient; An adder circuit for adding the compensation data to the clip level of the clip circuit to generate third image data when the clip level is exceeded;
It is characterized by further equipped with.

【００１１】これにより、相対的に感度の高い色成分に
対応する受光画素がオーバーフロー状態となり、その受
光画素に対応する画像データが飽和したとき、その他の
感度の低い受光画素に対応する画像データから生成され
る補償データによって画像データが擬似的に生成され
る。従って、オーバーフロー状態にある受光画素に対応
する画像データが入射光量の増大に応じて見かけ上大き
くなるため、固体撮像素子のダイナミックレンジを拡大
することができる。As a result, when the light-receiving pixel corresponding to the color component having a relatively high sensitivity is in an overflow state and the image data corresponding to the light-receiving pixel is saturated, the image data corresponding to the other light-receiving pixel having a low sensitivity is detected. Image data is pseudo-generated by the generated compensation data. Therefore, the image data corresponding to the light-receiving pixel in the overflow state apparently becomes large as the amount of incident light increases, so that the dynamic range of the solid-state image sensor can be expanded.

【００１２】[0012]

【発明の実施の形態】図１は、本発明の撮像装置の構成
を示すブロック図であり、図２及び図３は各部の動作を
説明するタイミング図である。図２は、奇数ラインの画
素に対応した輝度データを得る場合を示し、図３は、偶
数ラインの画素に対応した輝度データを得る場合を示
す。尚、図１では、輝度データＹの生成過程のみを示
し、色成分データの生成過程は省略してある。DESCRIPTION OF THE PREFERRED EMBODIMENTS FIG. 1 is a block diagram showing the structure of an image pickup apparatus of the present invention, and FIGS. 2 and 3 are timing charts for explaining the operation of each section. FIG. 2 shows a case where luminance data corresponding to pixels of an odd line is obtained, and FIG. 3 shows a case where luminance data corresponding to pixels of an even line is obtained. In FIG. 1, only the process of generating the luminance data Y is shown, and the process of generating the color component data is omitted.

【００１３】ＣＣＤ１、アナログ信号処理回路２及びＡ
／Ｄ変換回路３は、図１３と同一のものであり、ＣＣＤ
１から出力される画像信号Ｙ0(t)から画像データＹ1(t)
が生成され、この画像データＹ1(t)がデジタルデータに
変換されて画像データＩ(n)が生成されるように構成さ
れる。ラインメモリ回路１１は、Ａ／Ｄ変換回路３から
１行単位で連続して出力される画像データＩ(n)を目標
画素が含まれる１行とその上下２行との合計３行分記憶
する。３行分記憶された画像データＩ(n)は、各行毎に
画像データＩl、Ｉm、Ｉnとして同時に出力される。こ
れらの画像データＩl、Ｉm、Ｉnは、ＣＣＤ１に装着さ
れるカラーフィルタの構成に対応し、所定の色成分が連
続する。例えば、カラーフィルタが図１４に示す構成の
場合、目標画素が奇数行にあるときには、図２に示すよ
うに、画像データＩmでＣｙ（シアン）成分とＹｅ（イ
エロー）成分とが交互に繰り返され、画像データＩl、
ＩnでＷ（ホワイト）成分とＧ（グリーン）成分とが交
互に繰り返される。そして、目標画素が偶数行にあると
きには、色成分の配列が入れ代わり、画像データＩmで
Ｗ成分とＧ成分とが交互に繰り返され、画像データＩ
l、ＩnでＹｅ成分とＣｙ成分とが交互に繰り返される。CCD 1, analog signal processing circuit 2 and A
The / D conversion circuit 3 is the same as that shown in FIG.
Image signal Y1 (t) from image signal Y0 (t) output from 1
Is generated, and the image data Y1 (t) is converted into digital data to generate image data I (n). The line memory circuit 11 stores the image data I (n) continuously output from the A / D conversion circuit 3 on a row-by-row basis for a total of three rows including one row including the target pixel and two rows above and below the row. . The image data I (n) stored for three lines are simultaneously output as image data Il, Im, In for each line. These image data Il, Im, and In correspond to the configuration of the color filter mounted on the CCD 1, and the predetermined color components are continuous. For example, in the case where the color filter has the configuration shown in FIG. 14, when the target pixel is in an odd row, as shown in FIG. 2, the Cy (cyan) component and the Ye (yellow) component are alternately repeated in the image data Im. , Image data Il,
At W, the W (white) component and the G (green) component are alternately repeated. Then, when the target pixel is in an even-numbered row, the arrangement of the color components is replaced, and the W component and the G component are alternately repeated in the image data Im, and the image data I
The Ye component and the Cy component are alternately repeated with l and In.

【００１４】２次元フィルタ回路１２は、前段フィルタ
１３及び後段フィルタ１４からなり、ラインメモリ回路
１１から出力される画像データＩl、Ｉm、Ｉnに基づい
て、目標画素の上下２行の受光画素と左右２列の受光画
素の合計９画素の画像データＩ(n)に対してフィルタリ
ング処理を施し、輝度データＹを生成する。まず、前段
フィルタ１３は、画像データＩl、Ｉm、Ｉnを受け、目
標画素の画像データＩmから画像データＩpを生成し、目
標画素の上下の受光画素の画像データＩl、Ｉnから画像
データＩqを生成する。即ち、前段フィルタ１３は、目
標画素が含まれる行から得ることのできない色成分を目
標画素の上下の行から生成することにより、目標画素が
含まれる行から全ての色成分を擬似的に得られるように
する。例えば、目標画素が奇数行にあるとき、画像デー
タＩmにＷ成分とＧ成分とが含まれていないため、画像
データＩl及びＩnからＷ成分とＧ成分とを得るようにし
ている。同様に、目標画素が偶数行にあるときには、画
像データＩmにＹｅ成分とＣｙ成分とが含まれていない
ため、画像データＩl及びＩnからＹｅ成分とＣｙ成分と
を得るようにしている。これにより、前段フィルタ１３
から出力される画像データＩp、Ｉqで表される画像の重
心を一致させることができる。The two-dimensional filter circuit 12 is composed of a pre-stage filter 13 and a post-stage filter 14, and based on the image data Il, Im, In output from the line memory circuit 11, the light-receiving pixels in the upper and lower two rows of the target pixel and the left and right pixels. Image data I (n) of a total of 9 pixels of light receiving pixels in 2 columns is subjected to a filtering process to generate luminance data Y. First, the pre-stage filter 13 receives the image data Il, Im and In, generates image data Ip from the image data Im of the target pixel, and generates image data Iq from the image data Il and In of the light receiving pixels above and below the target pixel. To do. That is, the pre-stage filter 13 pseudo-obtains all the color components from the row including the target pixel by generating color components that cannot be obtained from the row including the target pixel from the rows above and below the target pixel. To do so. For example, when the target pixel is in an odd row, since the image data Im does not include the W component and the G component, the W component and the G component are obtained from the image data Il and In. Similarly, when the target pixel is in an even row, since the image data Im does not include the Ye component and the Cy component, the Ye component and the Cy component are obtained from the image data Il and In. As a result, the pre-stage filter 13
The centroids of the images represented by the image data Ip and Iq output from can be matched.

【００１５】色分離回路１５は、１行毎に反転する第１
の分離パルスＤ１及び１列毎に反転する第２の分離パル
スＤ２に応答して、前段フィルタ１３から出力される画
像データＩp、Ｉqを各色成分別に分離し、Ｇ、Ｗ、Ｙｅ
及びＣｙの各色成分に対応した画像データＩg1、Ｉw1、
Ｉy1、Ｉc1を出力する。例えば、図２に示すように、画
像データＩpがＹｅ成分とＣｙ成分とを繰り返し、画像
データＩqがＧ成分とＷ成分とを繰り返しているときに
は、画像データＩpを振り分けて画像データＩy1、Ｉc1
を生成し、画像データＩqを振り分けて画像データＩg
1、Ｉw1を生成する。また、図３に示すように、画像デ
ータＩpがＧ成分とＷ成分とを繰り返し、画像データＩq
がＹｅ成分とＣｙ成分とを繰り返しているときには、画
像データＩpを振り分けて画像データＩg1、Ｉw1を生成
し、画像データＩqを振り分けて画像データＩy1、Ｉc1
を生成する。尚、第１及び第２の分離パルスＤ１、Ｄ２
は、ＣＣＤ１の駆動タイミングを決定するタイミングパ
ルスと同時に生成され、第１の分離パルスＤ１は水平走
査のタイミングに同期し、第２の分離パルスＤ２はＣＣ
Ｄ１の出力動作に同期する。The color separation circuit 15 has a first
Image data Ip and Iq output from the pre-stage filter 13 in response to the separation pulse D1 of FIG. 1 and the second separation pulse D2 which is inverted for each column, G, W and Ye are separated.
And image data Ig1, Iw1 corresponding to each color component of Cy,
It outputs Iy1 and Ic1. For example, as shown in FIG. 2, when the image data Ip repeats the Ye component and the Cy component and the image data Iq repeats the G component and the W component, the image data Ip is distributed and the image data Iy1 and Ic1 are distributed.
Is generated, and the image data Iq is sorted to generate the image data Ig.
1, Iw1 is generated. Further, as shown in FIG. 3, the image data Ip repeats the G component and the W component to obtain the image data Iq.
When the Ye component and the Cy component are repeated, the image data Ip is distributed to generate the image data Ig1 and Iw1, and the image data Iq is distributed to the image data Iy1 and Ic1.
To generate. The first and second separation pulses D1 and D2
Is generated at the same time as the timing pulse that determines the driving timing of the CCD 1, the first separation pulse D1 is synchronized with the horizontal scanning timing, and the second separation pulse D2 is CC.
It is synchronized with the output operation of D1.

【００１６】バランス補正回路１６は、各色成分毎に個
別のゲイン係数を設定し、そのゲイン係数を各画像デー
タＩg1、Ｉw1、Ｉy1、Ｉc1に乗算することにより、各色
成分毎の見かけ上の感度のバランスを調整する。即ち、
ＣＣＤ１においては、各色成分毎に感度が異なるため、
同じ輝度の光に対しても色成分毎の画像データＩg1、Ｉ
w1、Ｉy1、Ｉc1のレベルがばらつくため、色成分毎に個
別に設定されるゲイン係数を乗算することにより、ばら
つきをなくした画像データＩg2、Ｉw2、Ｉy2、Ｉc2を生
成する。例えば、最も感度の高いＷ成分を表す画像デー
タＩw1をそのまま画像データＩw2とし、この画像データ
Ｉw2に合わせるようにしてその他の色成分を表す画像デ
ータＩg1、Ｉy1、Ｉc1に対する乗数を設定するように構
成される。従って、各画素の入射光量に対する各画像デ
ータＩg2、Ｉw2、Ｉy2、Ｉc2の変化は、図４に示すよう
に、各色成分で一致することになる。但し、各画像デー
タＩg2、Ｉw2、Ｉy2、Ｉc2毎に掛けられたゲイン係数が
異なっているため、それぞれの飽和レベルＤsa、Ｄsb、
Ｄscは一致しない。The balance correction circuit 16 sets an individual gain coefficient for each color component, and multiplies the gain coefficient by each image data Ig1, Iw1, Iy1, Ic1 to obtain the apparent sensitivity of each color component. Adjust the balance. That is,
In the CCD 1, since each color component has different sensitivity,
Image data Ig1 and I1 for each color component for light of the same brightness
Since the levels of w1, Iy1, and Ic1 vary, the image data Ig2, Iw2, Iy2, and Ic2 without variations are generated by multiplying the gain coefficient set individually for each color component. For example, the image data Iw1 representing the W component having the highest sensitivity is directly used as the image data Iw2, and the multipliers for the image data Ig1, Iy1 and Ic1 representing the other color components are set in accordance with the image data Iw2. To be done. Therefore, changes in the image data Ig2, Iw2, Iy2, Ic2 with respect to the incident light amount of each pixel are the same in each color component as shown in FIG. However, since the gain coefficients multiplied by the respective image data Ig2, Iw2, Iy2, Ic2 are different, the respective saturation levels Dsa, Dsb,
Dsc does not match.

【００１７】後段フィルタ１４は、画像データＩg2、Ｉ
w2、Ｉy2、Ｉc2を取り込み、それらを全て加算すること
で、前段フィルタ１３の処理と合わせて垂直方向の３画
素に対するフィルタリング処理を完了させる。さらに、
各画像データＩg2、Ｉw2、Ｉy2、Ｉc2の加算値に基づい
て、水平方向の３画素に対するフィルタリング処理を施
し、輝度データＹを生成する。この結果、２次元フィル
タ回路１２は、画像データＩ(n)に対して、水平方向及
び垂直方向の２方向でノッチフィルタを構成し、所定の
周波数成分を取り除く。詳しくは、図５に示すように、
サンプリング周波数ｆSの１／２の周波数成分を取り除
くことができる。尚、サンプリング周波数ｆsとは、Ａ
／Ｄ変換回路３のサンプリング周波数であり、アナログ
信号処理回路２でのサンプルホールド処理及びＣＣＤ１
の出力動作の周波数に一致する。また、サンプリング周
波数ｆsの１／２以下の周波数成分については、ＣＣＤ
１に照射される光の光路に回折格子等の光学的なローパ
スフィルタを設けることにより予め除去されており、２
次元フィルタ回路１２の出力側には表れない。The post-stage filter 14 has image data Ig2, I2.
By incorporating w2, Iy2, and Ic2 and adding all of them, the filtering process for the three pixels in the vertical direction is completed together with the process of the pre-stage filter 13. further,
Based on the added value of each image data Ig2, Iw2, Iy2, Ic2, filtering processing is performed on three pixels in the horizontal direction to generate luminance data Y. As a result, the two-dimensional filter circuit 12 forms a notch filter in the horizontal direction and the vertical direction with respect to the image data I (n), and removes a predetermined frequency component. For details, as shown in FIG.
It is possible to remove half the frequency component of the sampling frequency fS. The sampling frequency fs is A
The sampling frequency of the D / D conversion circuit 3, the sample hold processing in the analog signal processing circuit 2, and the CCD 1
Matches the output operation frequency. For frequency components less than 1/2 of the sampling frequency fs, the CCD
It is removed in advance by providing an optical low-pass filter such as a diffraction grating in the optical path of the light irradiated to 1.
It does not appear on the output side of the dimensional filter circuit 12.

【００１８】以上のようにして生成される輝度データＹ
については、バランス補正回路１６によって色成分毎の
ばらつきが補正されており、さらには、２次元フィルタ
回路１２によってサンプリングノイズが取り除かれてい
るため、再生画像の輪郭を乱すモアレの原因となるノイ
ズ成分が大幅に抑圧されている。図６は、ラインメモリ
回路１１及び２次元フィルタ回路１２の前段フィルタ１
３の構成を示すブロック図で、図７は、２次元フィルタ
回路１２の後段フィルタ１４の構成を示すブロック図で
ある。Luminance data Y generated as described above
With respect to the above, since the variation for each color component is corrected by the balance correction circuit 16 and the sampling noise is removed by the two-dimensional filter circuit 12, a noise component that causes moire that disturbs the contour of the reproduced image Is greatly suppressed. FIG. 6 shows the pre-stage filter 1 of the line memory circuit 11 and the two-dimensional filter circuit 12.
3 is a block diagram showing the configuration of FIG. 3, and FIG. 7 is a block diagram showing the configuration of the post-stage filter 14 of the two-dimensional filter circuit 12.

【００１９】ラインメモリ回路１１は、第１〜第３のラ
インメモリ２１、２２、２３により構成される。第１〜
第３のラインメモリ２１、２２、２３は、それぞれ１行
分の画像データＩ(n)を記憶する容量を有し、互いに直
列に接続されて画像データＩ(n)を１行単位で順次記憶
する。即ち、第１のラインメモリ２１の読み出し出力が
第２のラインメモリ２２の書き込み入力に接続され、さ
らに、第２のラインメモリ２２の読み出し出力が第３の
ラインメモリ２３の書き込み入力に接続され、第１及び
第２のラインメモリ２１、２２から読み出される画像デ
ータＹ2がそのまま第２及び第３のラインメモリ２２、
２３に書き込まれるように構成される。これにより、第
１〜第３のラインメモリ２１、２２、２３には、連続す
る３行（ｊ＋１行、ｊ行、ｊ−１行）の画像データＹ2
(j+1)、Ｙ2(j)、Ｙ2(j-1)が記憶される。The line memory circuit 11 is composed of first to third line memories 21, 22, 23. First to
The third line memories 21, 22, and 23 each have a capacity for storing one row of image data I (n), are connected in series with each other, and sequentially store the image data I (n) row by row. To do. That is, the read output of the first line memory 21 is connected to the write input of the second line memory 22, and the read output of the second line memory 22 is connected to the write input of the third line memory 23. The image data Y2 read from the first and second line memories 21 and 22 is the same as the second and third line memories 22 and 22,
23. As a result, in the first to third line memories 21, 22, and 23, the image data Y2 of three consecutive rows (j + 1 row, j row, j-1 row) is stored.
(j + 1), Y2 (j) and Y2 (j-1) are stored.

【００２０】前段フィルタ１３は、乗算器２４及び加算
器２５により構成される。乗算器２４は、第２のライン
メモリ２２から読み出される画像データＩmに乗数
「２」を乗算し、画像データＩpとして出力する。加算
器２５は、第１のラインメモリ２１から読み出される画
像データＩlと、第３のラインメモリ２３から読み出さ
れる画像データＩnとを加算し、画像データＩqとして出
力する。このようにして生成される画像データＩp、Ｉq
については、それぞれが表す画像の重心が一致すると同
時に、互いのゲインも一致している。The pre-stage filter 13 comprises a multiplier 24 and an adder 25. The multiplier 24 multiplies the image data Im read from the second line memory 22 by a multiplier "2", and outputs it as image data Ip. The adder 25 adds the image data Il read from the first line memory 21 and the image data In read from the third line memory 23, and outputs it as image data Iq. The image data Ip and Iq generated in this way
For, the center of gravity of the image represented by each of the two matches, and the gains of the two also match.

【００２１】後段フィルタ１４は、加算器２６、第１〜
第３のラッチ２７、２８、２９、乗算器３０、加算器３
１及び除算器３２より構成される。加算器２６は、各画
像データＩg2、Ｉw2、Ｉy2、Ｉc2をそれぞれ加算し、画
像データＩ2として第１のラッチ２７に供給する。ここ
で、各画像データＩg2、Ｉw2、Ｉy2、Ｉc2については、
図２及び図３に示す画像データＩg1、Ｉw1、Ｉy1、Ｉc1
と同様に、それぞれ１画素（１列）おきの間欠的なデー
タであるため、加算器２６では、常に２つの成分のみが
加算されることになる。この結果、画像データＩ2は、
目標画素が奇数行にあるとき、 Ｗ(l)＋Ｗ(n)＋２Ｃｙ(m)（＝２Ｗ＋２Ｃｙ） Ｇ(l)＋Ｇ(n)＋２Ｙｅ(m)（＝２Ｇ＋２Ｙｅ） の２種類の成分が交互に繰り返され、目標画素が偶数行
にあるとき、 Ｃｙ(l)＋Ｃｙ(n)＋２Ｗ(m)（＝２Ｗ＋２Ｃｙ） Ｙｅ(l)＋Ｙｅ(n)＋２Ｇ(m)（＝２Ｇ＋２Ｙｅ） の２種類の成分が交互に繰り返されることになる。第１
〜第３のラッチ２７、２８、２９は、直列に接続されて
シフトレジスタを成し、連続する画像データＩ2(i+1)、
Ｉ2(i)、Ｉ2(i-1)をそれぞれ記憶する。乗算器３０は、
第２のラッチ２８にラッチされた画像データＩ2(i)に係
数「２」を乗算し、乗算結果を加算器３１に供給する。
加算器３１は、乗算器３０から得られる乗算結果に、第
１のラッチ２７にラッチされた画像データＩ2(i+1)と第
３のラッチ２９にラッチされた画像データＩ2(i-1)とを
加算し、その加算結果を除算器３２に供給する。除算器
３２は、加算器３１から与えられる加算結果を除数「１
６」で除算し、除算結果を輝度データＹとして出力す
る。以上のように、輝度データＹは、 Ｙ=（Ｉ2(i+1)＋２Ｉ2(i)＋Ｉ2(i-1)）／１６ によって与えられることになる。尚、乗算器３２の除数
については、輝度データＹのビット数を画像データＩ
(n)と一致させる場合に「１６」となるのであり、輝度
データＹのビット数に制限がなければ、その他の値とす
ることも可能である。ここで、画像データＩ2が２Ｗ＋
２Ｃｙ及び２Ｇ＋２Ｙｅの成分の繰り返しであることを
考えると、輝度データは、以下のようになる。The post-stage filter 14 includes an adder 26, first to first
Third latches 27, 28, 29, multiplier 30, adder 3
1 and a divider 32. The adder 26 adds each of the image data Ig2, Iw2, Iy2, and Ic2 and supplies the result as image data I2 to the first latch 27. Here, regarding each image data Ig2, Iw2, Iy2, Ic2,
The image data Ig1, Iw1, Iy1, Ic1 shown in FIG. 2 and FIG.
Similarly, since the data is intermittent every other pixel (one column), the adder 26 always adds only two components. As a result, the image data I2 is
When the target pixel is in an odd row, two kinds of components W (l) + W (n) + 2Cy (m) (= 2W + 2Cy) G (l) + G (n) + 2Ye (m) (= 2G + 2Ye) are alternately repeated. When the target pixel is in an even row, two types of components, Cy (l) + Cy (n) + 2W (m) (= 2W + 2Cy) Ye (l) + Ye (n) + 2G (m) (= 2G + 2Ye), alternate. Will be repeated. First
~ The third latches 27, 28, 29 are connected in series to form a shift register, and continuous image data I2 (i + 1),
I2 (i) and I2 (i-1) are stored respectively. The multiplier 30 is
The image data I2 (i) latched by the second latch 28 is multiplied by the coefficient "2", and the multiplication result is supplied to the adder 31.
The adder 31 adds the image data I2 (i + 1) latched by the first latch 27 and the image data I2 (i-1) latched by the third latch 29 to the multiplication result obtained from the multiplier 30. And are added, and the addition result is supplied to the divider 32. The divider 32 divides the addition result given from the adder 31 by the divisor “1”.
6 ”, and the result of the division is output as luminance data Y. As described above, the luminance data Y is given by Y = (I2 (i + 1) + 2I2 (i) + I2 (i-1)) / 16. As for the divisor of the multiplier 32, the number of bits of the luminance data Y is set to the image data I.
When it matches with (n), the value is "16", and if the number of bits of the luminance data Y is not limited, other values can be used. Here, the image data I2 is 2W +
Considering that the components of 2Cy and 2G + 2Ye are repeated, the luminance data is as follows.

【００２２】 Ｙ＝（２Ｗ＋２Ｃｙ＋２（２Ｇ＋２Ｙｅ）＋２Ｗ＋２Ｃｙ）／１６ ＝（８Ｒ＋１６Ｇ＋８Ｂ）／１６ ＝Ｒ／２＋Ｇ＋Ｂ／２ このような演算は、全ての受光画素に対して同一の結果
となり、全ての受光画素から同一成分により構成される
輝度データＹを得ることができる。Y = (2W + 2Cy + 2 (2G + 2Ye) + 2W + 2Cy) / 16 = (8R + 16G + 8B) / 16 = R / 2 + G + B / 2 Such an operation gives the same result to all the light receiving pixels, and the same from all the light receiving pixels. It is possible to obtain the luminance data Y composed of the components.

【００２３】ところで、バランス補正回路１６から得ら
れる画像データＩg2、Ｉw2、Ｉy2、Ｉc2については、画
像データＩg1、Ｉw1、Ｉy1、Ｉc1にそれぞれ異なるゲイ
ン係数を乗算して得られるものであるため、図４に示す
ように、それぞれの飽和レベルが互いに異なっている。
例えば、相対的な感度が最も高く、最小のゲイン係数が
乗算されるＷ成分を表す画像データＩw2の飽和レベルが
Ｄsaであるとすると、Ｗ成分よりも感度の低いＹｅ成分
及びＣｙ成分を表す画像データＩy2、Ｉc2の飽和レベル
はＤsaよりも高いＤsbとなる。さらに感度の低いＧ成分
を表す画像データＩg2の飽和レベルについては、Ｄsbよ
りもさらに高いＤscとなる。このため、Ｗ成分に対応し
た受光画素が飽和状態になった後、即ち、図４で入射光
量がＡを越えた時点から、バランス補正回路１６では各
色成分のバランスの調整が不可能になる。従って、特定
の色成分（ここではＷ成分）が飽和状態となった時点
で、各色成分を表す画像データのレベルをクリップする
必要が生じる。しかしながら、各色成分を飽和レベルよ
りも小さいレベルでクリップすると、ＣＣＤ１のダイナ
ミックレンジを十分に活用することができなる。By the way, the image data Ig2, Iw2, Iy2 and Ic2 obtained from the balance correction circuit 16 are obtained by multiplying the image data Ig1, Iw1, Iy1 and Ic1 by different gain coefficients. As shown in FIG. 4, the respective saturation levels are different from each other.
For example, if the saturation level of the image data Iw2 representing the W component having the highest relative sensitivity and multiplied by the minimum gain coefficient is Dsa, the image representing the Ye component and the Cy component having lower sensitivity than the W component. The saturation levels of the data Iy2 and Ic2 are Dsb higher than Dsa. The saturation level of the image data Ig2 representing the G component having lower sensitivity is Dsc higher than Dsb. Therefore, the balance correction circuit 16 cannot adjust the balance of each color component after the light-receiving pixel corresponding to the W component is saturated, that is, after the incident light amount exceeds A in FIG. Therefore, when a specific color component (here, the W component) becomes saturated, it becomes necessary to clip the level of the image data representing each color component. However, if each color component is clipped at a level smaller than the saturation level, the dynamic range of the CCD 1 can be fully utilized.

【００２４】そこで、飽和状態となった受光画素に対応
する画像データをその他の画像データを用いて補償する
ように構成すれば、ＣＣＤ１のダイナミックレンジの低
下を少なくすることが可能である。図８は、特定の色成
分を表す画像データが飽和したとき、その他の色成分を
表す画像データを用いて補償するようにした撮像装置の
構成を示すブロック図である。Therefore, if the image data corresponding to the light-receiving pixel in the saturated state is compensated by using the other image data, the decrease in the dynamic range of the CCD 1 can be suppressed. FIG. 8 is a block diagram showing a configuration of an image pickup apparatus which is configured to compensate, when image data representing a specific color component is saturated, by using image data representing another color component.

【００２５】この図において、ＣＣＤ１からＡ／Ｄ変換
回路３までと、ラインメモリ回路１１、色分離回路１５
及びバランス補正回路１６は、図１と同一である。ま
た、２次元フィルタ回路１２は、前段フィルタ１３のみ
図１と同一である。オーバークリップ回路１７は、バラ
ンス補正回路１６と後段フィルタ１４’との間に設けら
れ、バランス補正回路１６から入力される画像データＩ
g2、Ｉw2、Ｉy2、Ｉc2を所定のレベル以下にクリップし
て画像データＩg3、Ｉw3、Ｉy3、Ｉc3として出力する。
即ち、入力される画像データＩg2、Ｉw2、Ｉy2、Ｉc2が
クリップレベルＬに達していないときには、画像データ
Ｉg2、Ｉw2、Ｉy2、Ｉc2がそのまま画像データＩg3、Ｉ
w3、Ｉy3、Ｉc3として出力され、画像データＩg2、Ｉw
2、Ｉy2、Ｉc2がクリップレベルＬを越えたときには、
一定値であるクリップレベルＬが画像データＩg3、Ｉw
3、Ｉy3、Ｉc3として出力される。このオーバークリッ
プ回路１７のクリップレベルＬは、画像データＩg2、Ｉ
w2、Ｉy2、Ｉc2の各飽和レベルの内、最も低いレベルに
対応して設定される。例えば、図４に示すような特性を
示す画像データＩg2、Ｉw2、Ｉy2、Ｉc2に対しては、ク
リップレベルはＤsaまたはＤsa以下に設定される。In this figure, from CCD 1 to A / D conversion circuit 3, line memory circuit 11, color separation circuit 15
The balance correction circuit 16 is the same as that shown in FIG. In the two-dimensional filter circuit 12, only the pre-stage filter 13 is the same as that in FIG. The overclip circuit 17 is provided between the balance correction circuit 16 and the post-stage filter 14 ′, and the image data I input from the balance correction circuit 16 is input.
The g2, Iw2, Iy2, and Ic2 are clipped below a predetermined level and output as image data Ig3, Iw3, Iy3, and Ic3.
That is, when the input image data Ig2, Iw2, Iy2, Ic2 has not reached the clip level L, the image data Ig2, Iw2, Iy2, Ic2 are the same as the image data Ig3, Ic2.
Image data Ig2, Iw output as w3, Iy3, Ic3
When 2, Iy2 and Ic2 exceed the clip level L,
The clip level L that is a constant value is the image data Ig3, Iw.
It is output as 3, Iy3, and Ic3. The clip level L of the overclip circuit 17 is the image data Ig2, I2.
It is set corresponding to the lowest level among the saturation levels of w2, Iy2, and Ic2. For example, for image data Ig2, Iw2, Iy2, Ic2 having the characteristics shown in FIG. 4, the clip level is set to Dsa or less than Dsa.

【００２６】補償データ生成回路１８は、バランス補正
回路１６で生成される画像データＩg2、Ｉw2、Ｉy2、Ｉ
c2の内、最も飽和レベルが高くなるもの、例えば、Ｇ成
分を表す画像データＩg2を取り込み、この画像データＩ
g2及びクリップレベルＬに基づいて補償データＣを生成
する。そして、後段フィルタ１４’は、画像データＩg
3、Ｉw3、Ｉy3、Ｉc3を取り込み、各画像データＩg3、
Ｉw3、Ｉy3、Ｉc3にそれぞれ補償データＳを加算した
後、図１に示す後段フィルタ１４と同一のフィルタリン
グ処理を施す。これにより、所定の周波数成分（サンプ
リング周波数ｆsの１／２の周波数）が取り除かれて輝
度データＹが生成される。The compensation data generation circuit 18 includes image data Ig2, Iw2, Iy2, I generated by the balance correction circuit 16.
Of c2, the one having the highest saturation level, for example, the image data Ig2 representing the G component is fetched, and this image data I
Compensation data C is generated based on g2 and the clip level L. Then, the post-stage filter 14 ′ uses the image data Ig
3, Iw3, Iy3, Ic3 are taken in and each image data Ig3,
After adding the compensation data S to each of Iw3, Iy3, and Ic3, the same filtering process as the post-stage filter 14 shown in FIG. 1 is performed. As a result, the predetermined frequency component (half the sampling frequency fs) is removed and the luminance data Y is generated.

【００２７】このようにして輝度データＹが生成される
と、感度の高い画素が飽和状態となっている場合でも、
補償データＳを得る画素が飽和レベルに達するまでは、
図９に示すように、補償データＳの増加に応じて感度の
高い画素に対応する画像データの値を擬似的に増加させ
ることができる。図１０は、補償データ生成回路１８の
構成を示すブロック図である。When the luminance data Y is generated in this way, even if a pixel with high sensitivity is in a saturated state,
Until the pixel for which the compensation data S is obtained reaches the saturation level,
As shown in FIG. 9, as the compensation data S increases, the value of the image data corresponding to the highly sensitive pixel can be increased in a pseudo manner. FIG. 10 is a block diagram showing the configuration of the compensation data generation circuit 18.

【００２８】補償データ生成回路１８は、減算器３３、
除算器３４、アンダーフロー回路３５及びラッチ３６よ
り構成される。減算器３３は、画像データＩg2からオー
バークリップ回路１７のクリップレベルＬを減算し、そ
の減算結果を除算器３４に供給する。除算器３４は、減
算器３３の減算結果を所定の係数ｎで除算し、その除算
結果をアンダーフロー回路３５に供給する。即ち、減算
器３３及び除算器３４により、画像データＩg2に対し
て、（Ｉg2−Ｌ）／ｎなる演算が実行される。アンダー
フロー回路３５は、その演算結果の正負を判定し、演算
結果が正の値のときには、演算結果をそのまま補償デー
タＳとし、負の値となったときには、演算結果を「０」
に置き換えて補償データＳとする。ラッチ３６は、アン
ダーフロー回路３５から供給される補償データＳを２デ
ータ期間だけ保持し、各データ期間に補償データＳを後
段フィルタ１４’に供給する。即ち、バランス補正回路
１６から取り出される画像データＩg2については、１画
素おきに間欠的に得られるため、補償データＳも間欠的
になり、ラッチ３６によって１画素分だけ補償データＳ
を保持することで後段フィルタ１４’に補償データＳを
連続的に供給できるようにしている。The compensation data generation circuit 18 includes a subtractor 33,
It is composed of a divider 34, an underflow circuit 35, and a latch 36. The subtractor 33 subtracts the clip level L of the overclip circuit 17 from the image data Ig2 and supplies the subtraction result to the divider 34. The divider 34 divides the subtraction result of the subtractor 33 by a predetermined coefficient n and supplies the division result to the underflow circuit 35. That is, the subtractor 33 and the divider 34 perform an operation of (Ig2-L) / n on the image data Ig2. The underflow circuit 35 determines whether the operation result is positive or negative. When the operation result is a positive value, the operation result is directly used as the compensation data S, and when the operation result is a negative value, the operation result is "0".
To be compensation data S. The latch 36 holds the compensation data S supplied from the underflow circuit 35 for only two data periods, and supplies the compensation data S to the post-stage filter 14 ′ in each data period. That is, since the image data Ig2 taken out from the balance correction circuit 16 is intermittently obtained every other pixel, the compensation data S also becomes intermittent, and the latch 36 compensates the compensation data S for one pixel.
By holding the above, the compensation data S can be continuously supplied to the post-stage filter 14 ′.

【００２９】図１１は、補償データ生成回路１８の他の
構成を示すブロック図である。この補償データ生成回路
１８’は、図１０に示す補償データ生成回路１８のラッ
チ３６に代えて、第１〜第３のラッチ３７〜３９、乗算
器４０、加算器４１及び除算器４２が画像データＩg2の
入力側に接続される。各ラッチ３７〜３９は、直列に接
続されて３段のシフトレジスタを構成し、画像データＩ
g2を３画素分保持する。但し、画像データＩg2は、１画
素おきの間欠的なデータであるため、各ラッチ３７〜３
９には１つおきにデータが保持される。例えば、第２の
ラッチ３８に画像データＩg2が保持されているときに
は、第１及び第３のラッチ３７、３９に画像データＩg2
は保持されず、第１及び第３のラッチ３７、３９に画像
データＩg2が保持されているときには、第２のラッチ３
８に画像データＩg2は保持されない。乗算器４０は、第
２のラッチ３８に保持された画像データＩg2に乗数
「２」を乗算し、乗算結果を加算器４２に供給する。加
算器４１は、乗算器４０の乗算結果に第１及び第３のラ
ッチ３７、３９に保持された画像データＩg2をそれぞれ
加算し、加算結果を除算器４２に供給する。そして、除
算器４２は、加算器４１の加算結果を除数「２」で除算
し、除算結果を加算器３３に供給する。この加算器３３
以降の処理については、ラッチ３６を除いて図１０の補
償データ生成回路１８と同一である。これらの第１〜第
３のラッチ３７〜３９、乗算器４０、加算器４１及び除
算器４２によれば、第２のラッチ３８にのみ画像データ
Ｉg2が保持されているときには、その画像データＩg2が
そのまま加算器３３に供給されることになり、第１及び
第３のラッチ３７、３９にのみ画像データＩg2が保持さ
れているときには、各ラッチ３７、３９にそれぞれ保持
されている画像データＩg2の平均値が加算器３３に供給
される。従って、加算器３３の入力段階で、画像データ
Ｉg2の間欠部分がその前後のデータで補間されており、
連続的に補償データＳを生成することができる。この場
合、画像データＩg2の間欠部分をその前後のデータの平
均値で補間しているため、図１０に示す補償データ生成
回路１８においてラッチ３６で補間して補償データＳを
生成する場合と比べて、より円滑な補償処理が可能にな
る。FIG. 11 is a block diagram showing another configuration of the compensation data generation circuit 18. In this compensation data generation circuit 18 ′, instead of the latch 36 of the compensation data generation circuit 18 shown in FIG. 10, first to third latches 37 to 39, a multiplier 40, an adder 41 and a divider 42 are used as image data. Connected to the input side of Ig2. The latches 37 to 39 are connected in series to form a three-stage shift register, and the image data I
Hold g2 for 3 pixels. However, since the image data Ig2 is intermittent data every other pixel, each of the latches 37 to 3 is
Every other data is held in 9. For example, when the image data Ig2 is held in the second latch 38, the image data Ig2 is stored in the first and third latches 37 and 39.
Is not held, and when the image data Ig2 is held in the first and third latches 37 and 39, the second latch 3
The image data Ig2 is not stored in 8. The multiplier 40 multiplies the image data Ig2 held in the second latch 38 by the multiplier “2” and supplies the multiplication result to the adder 42. The adder 41 adds the image data Ig2 held in the first and third latches 37 and 39 to the multiplication result of the multiplier 40, and supplies the addition result to the divider 42. Then, the divider 42 divides the addition result of the adder 41 by the divisor “2” and supplies the division result to the adder 33. This adder 33
The subsequent processing is the same as that of the compensation data generation circuit 18 of FIG. 10 except for the latch 36. According to the first to third latches 37 to 39, the multiplier 40, the adder 41, and the divider 42, when the image data Ig2 is held only in the second latch 38, the image data Ig2 is stored. When the image data Ig2 is held only in the first and third latches 37 and 39, the average of the image data Ig2 held in the respective latches 37 and 39 is averaged. The value is supplied to the adder 33. Therefore, at the input stage of the adder 33, the intermittent part of the image data Ig2 is interpolated by the data before and after that,
The compensation data S can be continuously generated. In this case, since the intermittent portion of the image data Ig2 is interpolated by the average value of the data before and after that, compared with the case where the compensation data S is generated by the latch 36 in the compensation data generation circuit 18 shown in FIG. Therefore, a smoother compensation process becomes possible.

【００３０】図１２は、後段フィルタ１４’の構成を示
すブロック図である。後段フィルタ１４’は、図７に示
す後段フィルタ１４に４つの加算器４３〜４６が付加さ
れて構成される。４つの加算器４３〜４６は、入力側に
接続され、各画像データＩg3、Ｉw3、Ｉy3、Ｉc3にそれ
ぞれ補償データＳを加算する。これら各加算器４３〜４
６の加算結果は、加算器２６に供給され、全てが加算さ
れる。この加算器２６以降の処理については、図７と同
一である。尚、各加算器４３〜４６については、画像デ
ータＩg3、Ｉw3、Ｉy3、Ｉc3が入力されないときには、
加算を行わず、加算器２６にデータを供給しない。実際
に各画像データＩg3、Ｉw3、Ｉy3、Ｉc3は、画像データ
Ｉg1、Ｉw1、Ｉy1、Ｉc1と同様に、１画素おきの間欠的
なデータであるため、各加算器４３〜４６では、常に画
像データＩg3、Ｉw3、Ｉy3、Ｉc3の内の２つに対して補
償データＳの加算が行われることになる。また、４つの
加算器４３〜４６に代えて、補償データＳを２倍する乗
算器を設け、その乗算結果を画像データＩg3、Ｉw3、Ｉ
y3、Ｉc3と共に加算器２６で加算するようにしても同じ
演算結果を得ることができる。FIG. 12 is a block diagram showing the configuration of the post-stage filter 14 '. The post-stage filter 14 'is configured by adding four adders 43 to 46 to the post-stage filter 14 shown in FIG. The four adders 43 to 46 are connected to the input side and add the compensation data S to the respective image data Ig3, Iw3, Iy3, Ic3. Each of these adders 43 to 4
The addition result of 6 is supplied to the adder 26 and all are added. The processing after the adder 26 is the same as that in FIG. 7. The image data Ig3, Iw3, Iy3, and Ic3 are not input to the adders 43 to 46, respectively.
No addition is performed and no data is supplied to the adder 26. Actually, each of the image data Ig3, Iw3, Iy3, Ic3 is intermittent data every other pixel like the image data Ig1, Iw1, Iy1, Ic1. The compensation data S is added to two of Ig3, Iw3, Iy3 and Ic3. Further, a multiplier for doubling the compensation data S is provided in place of the four adders 43 to 46, and the multiplication result is the image data Ig3, Iw3, I.
Even if y3 and Ic3 are added by the adder 26, the same calculation result can be obtained.

【００３１】以上の実施例においては、垂直方向の３画
素及び水平方向の３画素の合計９画素の画像データに対
して２次元のフィルタリング処理を施す場合を例示した
が、フィルタリング処理を施す際の画素数については、
５画素あるいは７画素以上とすることも可能である。In the above embodiment, the case where the two-dimensional filtering process is applied to the image data of 9 pixels in total including the three pixels in the vertical direction and the three pixels in the horizontal direction has been described. For the number of pixels,
It is also possible to have 5 pixels or 7 pixels or more.

【００３２】[0032]

【発明の効果】本発明によれば、モザイク型のカラーフ
ィルタが装着されたＣＣＤを用いた撮像装置において、
色成分毎の感度のばらつきを補正し、さらに、２次元の
フィルタを構成することにより、輝度データに重畳され
るノイズを抑圧してモアレの発生を防止することができ
る。According to the present invention, in an image pickup device using a CCD equipped with a mosaic type color filter,
By correcting the sensitivity variation for each color component and by configuring a two-dimensional filter, it is possible to suppress the noise superimposed on the luminance data and prevent the occurrence of moire.

【００３３】さらに、特定の色成分の画素でオーバーフ
ローが生じたとき、その色成分を他の色成分を用いて表
すようにしたことで、補償用の画像データを得る色成分
でオーバーフローが生じるまでは、各色成分のバランス
が大きくくずれることがなくなる。従って、特定の色成
分の画素のオーバーフローによるノイズ成分の発生を抑
圧すると同時に、撮像素子のダイナミックレンジが狭く
なるの防止することができる。Furthermore, when an overflow occurs in a pixel of a specific color component, the color component is represented by using another color component, so that the overflow occurs in the color component for obtaining the image data for compensation. , The balance of each color component will not be greatly lost. Therefore, it is possible to suppress the generation of a noise component due to the overflow of pixels of a specific color component, and at the same time, prevent the dynamic range of the image sensor from narrowing.

【図面の簡単な説明】[Brief description of drawings]

【図１】本発明の撮像装置の第１の実施形態を示すブロ
ック図である。FIG. 1 is a block diagram showing a first embodiment of an image pickup apparatus of the present invention.

【図２】本発明の撮像装置の第１の動作を説明するタイ
ミング図である。FIG. 2 is a timing diagram illustrating a first operation of the image pickup apparatus of the present invention.

【図３】本発明の撮像装置の第２の動作を説明するタイ
ミング図である。FIG. 3 is a timing diagram illustrating a second operation of the image pickup apparatus of the present invention.

【図４】バランス補正回路で補正した画像データの特性
を示す図である。FIG. 4 is a diagram showing characteristics of image data corrected by a balance correction circuit.

【図５】２次元フィルタ回路の周波数特性を示す図であ
る。FIG. 5 is a diagram showing frequency characteristics of a two-dimensional filter circuit.

【図６】ラインメモリ及び前段フィルタの構成を示すブ
ロック図である。FIG. 6 is a block diagram showing configurations of a line memory and a pre-stage filter.

【図７】後段フィルタの構成を示すブロック図である。FIG. 7 is a block diagram showing a configuration of a post-stage filter.

【図８】本発明の撮像装置の第２の実施形態を示すブロ
ック図である。FIG. 8 is a block diagram showing a second embodiment of the image pickup apparatus of the present invention.

【図９】補償データにより補償される画像データの特性
を示す図である。FIG. 9 is a diagram showing characteristics of image data compensated by compensation data.

【図１０】補償データ生成回路の構成を示すブロック図
である。FIG. 10 is a block diagram showing a configuration of a compensation data generation circuit.

【図１１】補償データ生成回路のその他の構成を示すブ
ロック図である。FIG. 11 is a block diagram showing another configuration of the compensation data generation circuit.

【図１２】後段フィルタの構成を示すブロック図であ
る。FIG. 12 is a block diagram showing a configuration of a post-stage filter.

【図１３】従来の撮像装置の構成を示すブロック図であ
る。FIG. 13 is a block diagram showing a configuration of a conventional imaging device.

【図１４】固体撮像素子に装着されるカラーフィルタの
構成図である。FIG. 14 is a configuration diagram of a color filter mounted on a solid-state image sensor.

【図１５】固体撮像素子の色成分毎の出力電圧の特性を
表す図である。FIG. 15 is a diagram illustrating characteristics of an output voltage for each color component of the solid-state image sensor.

【符号の説明】[Explanation of symbols]

１ ＣＣＤ固体撮像素子 ２ アナログ信号処理回路 ３ Ａ／Ｄ変換回路 ４ 色成分データ生成回路 ５ 輝度データ生成回路 １１ ラインメモリ １２ ２次元フィルタ回路 １３ 前段フィルタ １４ 後段フィルタ １５ 色分離回路 １６ バランス補正回路 １７ オーバークリップ回路 １８ 補償データ生成回路 ２１〜２３ ラインメモリ ２４、３０、４０ 乗算器 ２５、２６、３１、３３、４１、４３〜４６ 加算器 ２７〜２９、３６、３７〜３９ ラッチ ３２、３４、４２ 除算器 ３５ アンダーフロー回路 1 CCD solid-state image sensor 2 Analog signal processing circuit 3 A / D conversion circuit 4-color component data generation circuit 5 Luminance data generation circuit 11 line memory 12 Two-dimensional filter circuit 13 pre-filter 14 Rear filter 15 color separation circuit 16 Balance correction circuit 17 Over clip circuit 18 Compensation data generation circuit 21-23 line memory 24, 30, 40 Multiplier 25, 26, 31, 33, 41, 43 to 46 adder 27-29, 36, 37-39 Latch 32, 34, 42 divider 35 Underflow circuit

Claims (2)

(57)【特許請求の範囲】(57) [Claims] 【請求項１】 各種の色成分にそれぞれ対応付けられた
複数の受光画素がマトリクス配置され、入射光に応答し
て発生する情報電荷を各受光画素に蓄積する固体撮像素
子と、この固体撮像素子の出力に対して素子の出力動作
に同期したタイミングで信号処理を施し、所定のフォー
マットに従う画像信号を生成する信号処理回路と、上記
画像信号をデジタル化して上記固体撮像素子の各受光画
素に対応する第１の画像データを生成するＡ／Ｄ変換回
路と、上記各色成分に対応して個別に設定されるゲイン
を上記第１の画像データに与えて各色成分毎の平均レベ
ルが均一化された第２の画像信号を生成するバランス補
正回路と、上記第２の画像データに対して水平方向及び
垂直方向の適数画素を合成して輝度データを生成する２
次元フィルタ回路と、上記第２の画像データが一定のク
リップレベルを越えたときに上記第２の画像データをク
リップレベルに固定するクリップ回路と、上記第２の画
像データの内、特定の色成分に対応するデータを選択的
に取り出し、上記クリップ回路のクリップレベルとの差
に対して一定の係数を乗じて補償データを生成する補償
データ生成回路と、上記第２の画像データが上記クリッ
プ回路のクリップレベルを越えたときに上記補償データ
を上記クリップ回路のクリップレベルに加算して第３の
画像データを生成する加算回路と、を備えたことを特徴
とする撮像装置。1. A solid-state image sensor in which a plurality of light-receiving pixels respectively associated with various color components are arranged in a matrix, and information charges generated in response to incident light are accumulated in each light-receiving pixel, and the solid-state image sensor. A signal processing circuit that performs signal processing on the output of the device at a timing synchronized with the output operation of the device to generate an image signal according to a predetermined format, and corresponds to each light receiving pixel of the solid-state image sensor by digitizing the image signal The A / D conversion circuit for generating the first image data and the gains individually set corresponding to the respective color components are given to the first image data to uniformize the average level of each color component. A balance correction circuit for generating a second image signal and a suitable number of pixels in the horizontal and vertical directions for the second image data are combined to generate luminance data.
The two- dimensional filter circuit and the second image data have a constant
When the lip level is exceeded, the second image data
Clip circuit for fixing to lip level and the second screen
Selects image data that corresponds to a specific color component
To the clip level of the above clip circuit
Compensation to generate compensation data by multiplying by a constant coefficient
The data generation circuit and the second image data are
Compensation data when the clip level of the loop circuit is exceeded
Is added to the clipping level of the above clipping circuit to obtain the third
An image pickup apparatus comprising: an adder circuit that generates image data . 【請求項２】 上記補償データ生成回路は、上記バラン
ス補正回路で最大のゲイン係数が乗算される色成分のデ
ータを取り込んで補償データを生成することを特徴とす
る請求項１に記載の撮像装置。 2. The image pickup apparatus according to claim 1 , wherein the compensation data generation circuit takes in data of a color component multiplied by the maximum gain coefficient in the balance correction circuit to generate compensation data. .