JP2003116147A - Solid-state image pickup device - Google Patents

Abstract

PROBLEM TO BE SOLVED: To provide a solid-state image pickup device capable of obtaining image data with versatility and high resolution for both a still picture and a moving picture and photographing an object with high sensitivity. SOLUTION: In a color filter arrangement pattern of an image pickup means, a Cy is placed at four corners of a square grid 62, Mg and G are placed as a diagonal set of a square grid 64 deviated in horizontal and vertical directions relative to the square grid 62 by a half pitch in which any Cy is placed in the middle, and the same color is adjacently placed in the horizontal direction. In a color filter arrangement pattern of the other imaging generating means, a Ye is placed at four corners of a square grid 66, G and Mg are placed as a diagonal set of a square grid 68 deviated in horizontal and vertical directions relative to the square grid 66 by a half pitch in which any Ye is placed in the middle, and the same color is adjacently placed in the horizontal direction. Then pixel data obtained via respective color filters are composed so as not to be overlapped in the square grids so as to obtain pixel data with the complete color difference sequential arrangement.

Description

【発明の詳細な説明】Detailed Description of the Invention

【０００１】[0001]

【発明の属する技術分野】本発明は、固体撮像装置にか
かり、特に、デジタルカメラや動画撮影に用いられる固
体撮像装置に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a solid-state image pickup device, and more particularly to a solid-state image pickup device used for digital cameras and moving image shooting.

【０００２】[0002]

【従来の技術】現在、固体撮像素子を適用したデジタル
カメラが普及しつつある。この普及は、銀塩カメラの解
像度に相当する画像が得られ、搭載した液晶表示モニタ
ですぐに鑑賞できる点や撮影することによって得られる
画像データをコンピュータに取り込んで活用できる点な
どが挙げられる。特に、画像の解像度を向上させると共
に、コストダウンも鑑みて、撮像素子の画素サイズは小
さくなる傾向にある。この場合、光源変換を行なう固体
撮像素子（受光素子）は画素数の増加に伴って１個あた
りの受光単位面積が小さくなるため感度を低下させてし
まう。画像の高画質化には、解像度と感度の両方を高め
る必要があるが、解像度と感度は相反するものである。2. Description of the Related Art Currently, digital cameras to which a solid-state image pickup device is applied are becoming popular. This popularization includes the point that an image corresponding to the resolution of a silver halide camera can be obtained, and that it can be viewed immediately on a mounted liquid crystal display monitor, and that the image data obtained by shooting can be loaded into a computer and utilized. In particular, the pixel size of the image sensor tends to be small in view of cost reduction as well as image resolution improvement. In this case, the solid-state image sensor (light-receiving element) that performs light source conversion has a reduced light-receiving unit area per one pixel with an increase in the number of pixels, thus degrading the sensitivity. In order to improve the image quality of an image, it is necessary to increase both the resolution and the sensitivity, but the resolution and the sensitivity are in conflict with each other.

【０００３】この問題に対して、ＣＣＤを３個設けると
共に、各ＣＣＤにそれぞれ赤色、緑色及び青色を透過さ
せるフィルタを設けた、所謂３板色撮像装置を採用して
高解像度なＲＧＢ信号を得ることが可能である。しかし
ながら、原色フィルタを用いるため補色に比べて感度が
低い。To solve this problem, a so-called three-plate color image pickup device, which is provided with three CCDs and each CCD is provided with a filter for transmitting red, green and blue colors, is used to obtain a high resolution RGB signal. It is possible. However, since the primary color filter is used, the sensitivity is lower than that of the complementary color.

【０００４】また、このような多板方式の撮像装置の例
としては、例えば、特開平６−８６３０１号公報や特開
平７−２８８８２４号公報に記載の技術などが挙げられ
る。As an example of such a multi-plate type image pickup device, for example, there are the techniques described in JP-A-6-86301 and JP-A-7-288824.

【０００５】特開平６−８６３０１号公報及び特開平７
−２８８８２４号公報に記載の技術では、２つのＣＣＤ
上にそれぞれ同じ配列の補色市松カラーフィルタを設
け、それぞれのＣＣＤ上に設ける補色市松カラーフィル
タの位置関係が水平方向に１画素ずれるように配置して
いる。すなわち、第１のフィルタのマゼンタ（Ｍｇ）に
第２のフィルタのグリーン（Ｇ）が対応し、第１のフィ
ルタのイエロー（Ｙｅ）に第２のフィルタのシアン（Ｃ
ｙ）が対応する、と言ったように配置し、垂直方向に並
ぶ４画素の信号からＲ、Ｇ、Ｂを抽出するようにしてい
る。このように配置することによって、水平方向の解像
度を上げることができ、補色フィルタを用いることによ
る感度を向上させることができる。Japanese Unexamined Patent Publication Nos. 6-86301 and 7
In the technique disclosed in Japanese Patent No. 288824, two CCDs are used.
The complementary color checkered color filters having the same arrangement are provided on the upper side, and the complementary color checkered color filters provided on the respective CCDs are arranged so that the positional relationship is shifted by one pixel in the horizontal direction. That is, the magenta (Mg) of the first filter corresponds to the green (G) of the second filter, and the yellow (Ye) of the first filter corresponds to the cyan (C) of the second filter.
y) correspond to each other, and R, G, and B are extracted from signals of four pixels arranged in the vertical direction. By arranging in this way, the resolution in the horizontal direction can be increased, and the sensitivity due to the use of the complementary color filter can be improved.

【０００６】[0006]

【発明が解決しようとする課題】しかしながら、特開平
６−８６３０１号公報及び特開平７−２８８８２４号公
報に記載の技術では、水平方向の解像度を向上すること
ができるので、動画では解像度向上が見込めるが、静止
画では垂直方向の解像度を向上できない、という問題が
ある。However, the techniques disclosed in Japanese Patent Application Laid-Open No. 6-86301 and Japanese Patent Application Laid-Open No. 7-288824 can improve the resolution in the horizontal direction. However, there is a problem that the vertical resolution cannot be improved for still images.

【０００７】本発明は、上記事実を考慮して成されたも
ので、静止画、動画共に汎用性のある高解像度な画像デ
ータを得ることができると共に、高感度な撮像ができる
固体撮像装置の提供を目的とする。The present invention has been made in consideration of the above facts, and provides a solid-state image pickup device capable of obtaining high-resolution image data having versatility for both still images and moving images and high sensitivity. For the purpose of provision.

【０００８】[0008]

【課題を解決するための手段】上記目的を達成するため
に請求項１に記載の発明は、光電変換する複数の受光素
子が２次元的に配列された受光部における単位受光部配
列が非正方格子配列とされ、光入射側に補色の色フィル
タが設けられた２つの撮像手段と、前記２つの撮像手段
の各々に同一被写体像を結像するように入射光を案内す
る案内手段と、前記２つの撮像手段のそれぞれの光電変
換により得られる非正方格子配列の画像データにおける
それぞれの前記受光部中心位置を重ね合わせることによ
り、前記撮像手段の各々の受光素子の各々の位置が重複
しない正方格子配列の画像データとなるように合成する
合成手段と、を含むことを特徴としている。In order to achieve the above object, the invention according to claim 1 is characterized in that the unit light receiving portion array in the light receiving portion in which a plurality of light receiving elements for photoelectric conversion are two-dimensionally arranged is non-square. Two image pickup means having a lattice arrangement and provided with color filters of complementary colors on the light incident side; guide means for guiding the incident light so as to form the same subject image on each of the two image pickup means; A square lattice in which the respective positions of the light receiving elements of the image pickup unit do not overlap by overlapping the respective center positions of the light receiving units in the image data of the non-square lattice array obtained by photoelectric conversion of the two image pickup units. And a synthesizing unit for synthesizing the image data of the array.

【０００９】請求項１に記載の発明によれば、２つの撮
像手段は、光電変換する複数の受光素子が２次元的に配
列された受光部における単位受光部配列が非正方格子配
列とされている。例えば、非正方格子配列とされたそれ
ぞれの撮像手段は、受光素子と該受光素子に隣接する受
光素子とが水平及び垂直方向にそれぞれずらされて配置
された、所謂ハニカム形状のＣＣＤを用いることができ
る。また、それぞれの撮像手段の光入射側には、補色の
色フィルタが設けられており、原色の色フィルタに比べ
て撮像手段の感度を高感度にすることができる。According to the first aspect of the present invention, in the two image pickup means, the unit light receiving unit array in the light receiving unit in which a plurality of light receiving elements for photoelectric conversion are two-dimensionally arrayed is a non-square lattice array. There is. For example, as each of the image pickup means having the non-square grid arrangement, a so-called honeycomb CCD in which a light receiving element and a light receiving element adjacent to the light receiving element are horizontally and vertically displaced from each other is used. it can. In addition, a color filter of a complementary color is provided on the light incident side of each image pickup means, and the sensitivity of the image pickup means can be made higher than that of the color filter of the primary color.

【００１０】案内手段では、２つの撮像手段へ同一被写
体像が結像するように入射光が案内されるので、２つの
撮像手段には、同一被写体像が結像される。案内手段と
しては、例えば、ビームスプリッタやハーフミラー等を
用いることが可能である。In the guiding means, the incident light is guided so that the same image of the subject is formed on the two image pickup means, so that the same image of the subject is formed on the two image pickup means. As the guide means, for example, a beam splitter or a half mirror can be used.

【００１１】そして、合成手段では、２つの撮像手段よ
り得られる非正方格子配列の画像データにおける受光部
中心位置を重ね合わせることにより、撮像手段の各々の
受光素子の各々の位置が重複しない正方格子配列の画像
データとなるように合成される。すなわち、非正方格子
配列の２つの撮像手段それぞれより得られる画像データ
における仮想画素がそれぞれの撮像手段より得られる画
像データにより補間され、静止画や動画に拘わらず虚画
素補間処理を行うことなく高解像度な正方格子配列の画
像データを得ることができる。Then, in the synthesizing means, the center positions of the light receiving portions in the image data of the non-square grid array obtained by the two image pickup means are overlapped, so that the respective positions of the light receiving elements of the image pickup means are not overlapped. The image data of the array is combined. That is, the virtual pixels in the image data obtained by each of the two image pickup devices in the non-square grid arrangement are interpolated by the image data obtained by each image pickup device, and the virtual pixel interpolation processing is performed without performing the imaginary pixel interpolation process regardless of the still image or the moving image. Image data of a square grid array with high resolution can be obtained.

【００１２】従って、静止画、動画共に汎用性のある高
解像度な画像データを得ることができると共に、高感度
な撮像ができる。Therefore, it is possible to obtain general-purpose high-resolution image data for both still images and moving images, and it is possible to pick up images with high sensitivity.

【００１３】なお、請求項２に記載の発明のように、合
成後の正方格子配列の画像データにおける色配列が完全
色差順次配列となるように２つの撮像手段の補色フィル
タを配列することにより、静止画、動画共に汎用性のあ
る高解像度な画像データを得ることができると共に、高
感度な撮像が可能となる。According to the second aspect of the present invention, by arranging the complementary color filters of the two image pickup means so that the color arrangement in the image data of the square lattice arrangement after combination is a perfect color difference sequential arrangement, High-resolution image data having general versatility can be obtained for both still images and moving images, and high-sensitivity imaging can be performed.

【００１４】完全色差順次配列となる２つの撮像手段の
補色フィルタ配列としては、例えば、請求項３に記載の
発明のように、一方の撮像手段に設けられた補色の色フ
ィルタ配列を、シアンの色フィルタを４隅に配置する正
方格子と、水平方向に隣接する色フィルタが同色でかつ
対角の組がマゼンタ及びグリーンの色フィルタとなるよ
うに配置すると共に、４隅に配置されたシアンの色フィ
ルタの何れかが中心となるように水平及び垂直方向にそ
れぞれずらした正方格子と、を含む配列とし、他方の撮
像手段に設けられた補色の色フィルタ配列を、イエロー
の色フィルタを４隅に配置する正方格子と、水平方向に
隣接する色フィルタが同色かつ対角の組がグリーン及び
マゼンタの色フィルタとなるように配置すると共に、４
隅に配置されたイエローの色フィルタの何れかが中心と
なるように水平及び垂直方向にそれぞれずらした正方格
子と、を含む配列とし、それぞれの撮像手段より得られ
る画像データを合成することによって完全色差順次配列
の画像データを得ることが可能である。As the complementary color filter array of the two image pickup means forming the complete color difference sequential array, for example, as in the invention described in claim 3, the complementary color filter array provided in one of the image pickup means is replaced by a cyan color filter array. A square lattice in which color filters are arranged at the four corners and color filters adjacent to each other in the horizontal direction have the same color, and diagonal pairs are magenta and green color filters, and the cyan filters arranged at the four corners are arranged. An array including a square lattice that is shifted in the horizontal and vertical directions such that one of the color filters is at the center, and a complementary color filter array provided in the other image pickup unit is used to set the yellow color filter to four corners. The square lattice arranged in the same direction and the horizontally adjacent color filters have the same color and diagonal pairs are green and magenta color filters.
An array that includes a square grid that is horizontally and vertically shifted so that one of the yellow color filters located at the corners is at the center, and combine the image data obtained from each image capturing unit to complete It is possible to obtain image data of a color difference sequential array.

【００１５】さらに、請求項４に記載の発明のように、
合成後の正方格子配列の画像データにおける色配列が色
差順次配列となるように２つの撮像手段の補色フィルタ
を配列することにより、静止画、動画共に汎用性のある
高解像度な画像データを得ることができると共に、高感
度な撮像が可能となる。Further, as in the invention described in claim 4,
By arranging the complementary color filters of the two image pickup means so that the color arrangement in the image data of the square grid arrangement after the combination becomes the color difference sequential arrangement, it is possible to obtain high-resolution image data having versatility for both still images and moving images. In addition to the above, high-sensitivity imaging is possible.

【００１６】色差順次配列となる２つの撮像手段の補色
フィルタ配列としては、例えば、請求項５に記載の発明
のように、一方の撮像手段に設けられた補色の色フィル
タ配列を、シアンの色フィルタを４隅に配置する正方格
子と、マゼンタの色フィルタを４隅に配置すると共に、
４隅に配置されたシアンの色フィルタの何れかが中心と
なるように水平及び垂直方向にそれぞれずらした正方格
子と、を含む配列とし、他方の撮像手段に設けられた補
色の色フィルタ配列を、イエローの色フィルタを４隅に
配置する正方格子と、グリーンの色フィルタを４隅に配
置すると共に、４隅に配置されたイエローの色フィルタ
の何れかが中心となるように水平及び垂直方向にそれぞ
れずらした正方格子と、を含む配列とし、それぞれの撮
像手段より得られる画像データを合成することによって
色差順次配列の画像データを得ることが可能である。As the complementary color filter array of the two image pickup means forming the color difference sequential arrangement, for example, the complementary color filter array provided in one of the image pickup means may be replaced by the cyan color filter. A square grid with filters placed at the four corners and a magenta color filter at the four corners,
An array including a square lattice that is shifted in the horizontal and vertical directions so that any one of the cyan color filters arranged at the four corners becomes the center, and a color filter array of complementary colors provided in the other image pickup means. , A square lattice in which yellow color filters are arranged in four corners, and a green color filter in four corners, and horizontal and vertical directions are arranged so that one of the yellow color filters arranged in four corners becomes the center. It is possible to obtain image data of a color difference sequential array by synthesizing image data obtained from the respective image pickup means in an array including square grids shifted from each other.

【００１７】[0017]

【発明の実施の形態】以下、図面を参照して本発明の実
施の形態の一例を詳細に説明する。BEST MODE FOR CARRYING OUT THE INVENTION Hereinafter, an example of an embodiment of the present invention will be described in detail with reference to the drawings.

【００１８】本発明の実施の形態に係るデジタルスチル
カメラ１０の構成を図１に示す。FIG. 1 shows the configuration of a digital still camera 10 according to the embodiment of the present invention.

【００１９】図１に示すように、本発明の実施の形態に
係るデジタルスチルカメラ１０は、光学レンズ系１２、
操作部１４、システム制御部１８、信号発生部２０、タ
イミング信号発生部２２、ドライバ部２４、絞り調節機
構２６、光学ローパスフィルタ２８、赤外光遮光フィル
タ（ＩＲカットフィルタ）ＩＲ、撮像部３０、前処理部
３２、Ａ／Ｄ変換部３４、信号処理部（Digital Signal
Processor：ＤＳＰ）３６、圧縮／伸張部３８、記録再
生部４０、及びモニタ４２が備えられている。これら各
部を順次説明する。光学レンズ系１２は、例えば、複数
枚の光学レンズを組み合わせて構成されている。光学レ
ンズ系１２には、図示しないこれら光学レンズを配置す
る位置を調節して画面の画角を操作部１４からの操作信
号１４Ａに応じて調節するズーム機構や被写体とデジタ
ルスチルカメラ１０との距離に応じてピント調節するＡ
Ｆ（Automatic Focus：自動焦点）調節機構が含まれて
いる。操作部１４より出力される操作信号１４Ａは、シ
ステムバス１６を介してシステム制御部１８に供給され
る。光学レンズ系１２には、後述する信号発生部２０、
タイミング信号発生部２２、ドライバ部２４を介してこ
れらの機構を動作させる駆動信号２４Ａが供給される。As shown in FIG. 1, a digital still camera 10 according to an embodiment of the present invention comprises an optical lens system 12,
The operation unit 14, the system control unit 18, the signal generation unit 20, the timing signal generation unit 22, the driver unit 24, the diaphragm adjustment mechanism 26, the optical low-pass filter 28, the infrared light blocking filter (IR cut filter) IR, the imaging unit 30, Pre-processing unit 32, A / D conversion unit 34, signal processing unit (Digital Signal
A processor (DSP) 36, a compression / expansion unit 38, a recording / reproducing unit 40, and a monitor 42 are provided. Each of these parts will be described sequentially. The optical lens system 12 is configured by combining a plurality of optical lenses, for example. The optical lens system 12 includes a zoom mechanism that adjusts the positions where these optical lenses (not shown) are arranged to adjust the angle of view of the screen according to the operation signal 14A from the operation unit 14, and the distance between the subject and the digital still camera 10. A to adjust the focus according to
An F (Automatic Focus) adjustment mechanism is included. The operation signal 14A output from the operation unit 14 is supplied to the system control unit 18 via the system bus 16. The optical lens system 12 includes a signal generation unit 20, which will be described later.
A drive signal 24A for operating these mechanisms is supplied via the timing signal generator 22 and the driver unit 24.

【００２０】操作部１４には、図示しないシャッタスイ
ッチや例えばモニタ画面に表示される項目を選択するカ
ーソル選択機能等が備えられている。特に、シャッタス
イッチは、複数の段階のそれぞれでデジタルスチルカメ
ラ１０の操作を行なうようにシステムバス１６を介して
第１のモードと第２のモードの何れかが選択されたかを
操作信号１４Ａによりシステム制御部１８に出力して報
知する。The operation unit 14 is provided with a shutter switch (not shown) and a cursor selection function for selecting an item displayed on the monitor screen, for example. In particular, the shutter switch uses the operation signal 14A to determine whether the first mode or the second mode is selected via the system bus 16 so as to operate the digital still camera 10 in each of a plurality of stages. It is output to the control unit 18 to notify it.

【００２１】システム制御部１８は、例えばＣＰＵ（Ce
ntral Processing Unit：中央演算処理装置）を備えて
いる。システム制御部１８には、デジタルスチルカメラ
１０の動作手順が書き込まれたＲＯＭ（Read Only Memo
ry：読み出し専用メモリ）が含まれる。システム制御部
１８は、例えば、ユーザの操作に伴って操作部１４から
供給される操作信号１４ＡとこのＲＯＭに記憶された情
報を用いて各部の動作を制御する制御信号１８Ａを生成
する。システム制御部１８は、生成した制御信号１８Ａ
を信号発生部２０、前処理部３２、Ａ／Ｄ変換部３４の
他に、システムバス１６を介してＤＳＰ３６、圧縮／伸
張部３８、記録再生部４０、及びモニタ４２にも供給す
る。The system controller 18 is, for example, a CPU (Ce
ntral Processing Unit: Central processing unit. The system control unit 18 has a ROM (Read Only Memo) in which an operation procedure of the digital still camera 10 is written.
ry: read-only memory) is included. The system control unit 18 generates a control signal 18A for controlling the operation of each unit using, for example, the operation signal 14A supplied from the operation unit 14 according to the user's operation and the information stored in the ROM. The system control unit 18 generates the control signal 18A
Is supplied to the DSP 36, the compression / expansion unit 38, the recording / reproducing unit 40, and the monitor 42 as well as the signal generation unit 20, the preprocessing unit 32, and the A / D conversion unit 34.

【００２２】信号発生部２０はシステム制御部１８から
の制御に応じてシステムクロック２０Ａを図示しない発
振器により発生する。信号発生部２０は、このシステム
クロック２０Ａをタイミング信号発生部２２及びＤＳＰ
３６に供給する。また、システムクロック２０Ａは、例
えば、システムバス１６を介してシステム制御部１８の
動作タイミングとしても供給される。The signal generator 20 generates a system clock 20A by an oscillator (not shown) under the control of the system controller 18. The signal generator 20 uses the system clock 20A as the timing signal generator 22 and the DSP.
Supply to 36. The system clock 20A is also supplied as the operation timing of the system control unit 18 via the system bus 16, for example.

【００２３】タイミング信号発生部２２は、供給される
システムクロック２０Ａを制御信号１８Ａに基づいて各
部を動作させるタイミング信号２２Ａを生成する回路を
含む。タイミング信号発生部２２は、生成したタイミン
グ信号２２Ａを図１に示すように各部に出力すると共
に、ドライバ部２４にも供給する。ドライバ部２４は、
上述した光学レンズ系１２のズーム調節機構及びＡＦ調
節機構の他、絞り調節機構２６及び撮像部３０にも駆動
信号２４Ａをそれぞれ供給する。The timing signal generating section 22 includes a circuit for generating a timing signal 22A for operating each section based on the control signal 18A from the supplied system clock 20A. The timing signal generation unit 22 outputs the generated timing signal 22A to each unit as shown in FIG. 1 and also supplies it to the driver unit 24. The driver unit 24 is
The drive signal 24A is supplied to the diaphragm adjusting mechanism 26 and the image pickup unit 30 in addition to the zoom adjusting mechanism and the AF adjusting mechanism of the optical lens system 12 described above.

【００２４】絞り調節機構２６は、被写体の撮影におい
て最適な入射光の光束を撮像部３０に供給するように入
射光束断面積（すなわち、絞り開口面積）を調節する機
構である。絞り調節機構２６にもドライバ部２４から駆
動信号２４Ａが供給される。この駆動信号２４Ａは、上
述したシステム制御部１８からの制御に応じて行なう動
作のための信号である。この場合、システム制御部１８
は、撮像部３０で光電変換した信号電荷を基にＡＥ（Au
tomatic Exposure：自動露出）処理として絞り・露光時
間を算出している。この算出した値に対応する制御信号
２４Ａがタイミング信号発生部２２に供給された後、絞
り調節機構２６には、このタイミング信号発生部２２か
らのタイミング信号２２Ａに応じた駆動信号２４Ａがド
ライバ部２４から供給される。The diaphragm adjusting mechanism 26 is a mechanism for adjusting the incident light beam cross-sectional area (that is, the aperture area of the diaphragm) so as to supply the image pickup unit 30 with a light beam of incident light which is optimum for photographing a subject. The drive signal 24A is also supplied from the driver unit 24 to the diaphragm adjusting mechanism 26. The drive signal 24A is a signal for an operation performed according to the control from the system controller 18 described above. In this case, the system control unit 18
On the basis of the signal charges photoelectrically converted by the image pickup unit 30
The aperture / exposure time is calculated as tomatic exposure (automatic exposure) processing. After the control signal 24A corresponding to the calculated value is supplied to the timing signal generator 22, the diaphragm adjusting mechanism 26 receives the drive signal 24A corresponding to the timing signal 22A from the timing signal generator 22. Supplied from

【００２５】撮像部３０は、案内手段としてのハーフミ
ラー３０Ｚ及び２つの撮像手段３０Ｘ、３０Ｙが設けら
れている。ハーフミラー３０Ｚは、光学レンズ系１２よ
り入射される入射光を案内し、それぞれ２つの撮像手段
３０Ｘ、３０Ｙに入射光を結像するようになっている。
なお、案内手段としては、ハーフミラー３０Ｚの他にビ
ームスプリッタ等を用いることも可能である。The image pickup section 30 is provided with a half mirror 30Z as guide means and two image pickup means 30X and 30Y. The half mirror 30Z guides the incident light incident from the optical lens system 12, and forms an image of the incident light on the two image pickup means 30X and 30Y, respectively.
A beam splitter or the like can be used as the guide means in addition to the half mirror 30Z.

【００２６】それぞれの撮像手段３０Ｘ、３０Ｙでは光
電変換する撮像素子（受光素子）を光学レンズ系１２よ
り入射される光の光軸と直交する平面（撮像面）が形成
されるように配置されていると共に、それぞれの撮像手
段３０Ｘ、３０Ｙの光入射側には、入射される光を色分
解する色フィルタＣＦ（図３参照）が設けられている。
また、ハーフミラー３０Ｚの入射光側には、個々の撮像
素子に対応して光学像の空間周波数をナイキスト周波数
以下に制限する光学ローパスフィルタ２８と一体的に赤
外光を遮光するＩＲカットフィルタＩＲが一体的に配設
されている。撮像手段３０Ｘ、３０Ｙには、ＣＣＤ（Ch
arge Coupled Device：電荷結合素子）やＭＯＳ（Metal
Oxide Semiconductor：金属酸化型半導体）タイプの固
体撮像デバイスが適用される。撮像手段３０Ｘ、３０Ｙ
では、供給される駆動信号２４Ａに応じて光電変換によ
って得られた信号電荷を所定のタイミングとして、例え
ば、信号読み出し期間における電子シャッタのオフの期
間にフィールドシフトにより垂直転送路に読み出され、
この垂直転送路をラインシフトした信号電荷が水平転送
路に供給され、この水平転送路を経た信号電荷が図示し
ない出力回路による電流／電圧変換によってアナログ電
圧信号３０Ａにされ、前処理部３２に出力される。撮像
手段３０Ｘ、３０Ｙは、ＣＣＤタイプでは信号電荷の読
み出しモードに応じてフィールド蓄積２行混合読み出し
の色多重化方式や全画素読み出し方式を用いる。これら
の信号読み出し方式については後述する。In each of the image pickup means 30X and 30Y, an image pickup element (light receiving element) for photoelectric conversion is arranged so as to form a plane (image pickup surface) orthogonal to the optical axis of the light incident from the optical lens system 12. In addition, a color filter CF (see FIG. 3) that color-separates the incident light is provided on the light incident side of each of the image pickup units 30X and 30Y.
On the incident light side of the half mirror 30Z, an IR cut filter IR that shields infrared light integrally with an optical low-pass filter 28 that limits the spatial frequency of an optical image to the Nyquist frequency or lower corresponding to each image sensor. Are integrally arranged. The image pickup means 30X and 30Y have CCD (Ch
arge Coupled Device: MOS (Metal)
Oxide Semiconductor: Metal oxide semiconductor type solid-state imaging device is applied. Imaging means 30X, 30Y
Then, the signal charges obtained by the photoelectric conversion according to the supplied drive signal 24A are read out to the vertical transfer path by field shift at a predetermined timing, for example, during the off period of the electronic shutter in the signal reading period,
The signal charge line-shifted from the vertical transfer path is supplied to the horizontal transfer path, and the signal charge passing through the horizontal transfer path is converted into an analog voltage signal 30A by current / voltage conversion by an output circuit (not shown) and output to the preprocessing unit 32. To be done. In the CCD type, the image pickup means 30X and 30Y use a color multiplexing method of field accumulation two-row mixed readout or an all-pixel readout method according to a readout mode of signal charges. These signal reading methods will be described later.

【００２７】前処理部３２には、図示しないＣＤＳ（Co
rrelated Double Sampling：相関二重サンプリング：以
下ＣＤＳという）部を含んで構成されている。ＣＤＳ部
は、例えば、ＣＣＤ型の撮像素子を用いて、基本的にそ
の素子により生じる各種のノイズをタイミング信号発生
部２２からのタイミング信号２２Ａによりクランプする
クランプ回路と、タイミング信号２２Ａによりアナログ
電圧信号３０Ａをホールドするサンプルホールド回路を
有する。ＣＤＳ部は、ノイズ成分を除去してアナログ出
力信号３２ＡをＡ／Ｄ変換部３４に送る。Ａ／Ｄ変換部
３４は、供給されるアナログ出力信号３２Ａの信号レベ
ルを所定の量子化レベルにより量子化してデジタル信号
３４Ａに変換するＡ／Ｄ変換器を有する。Ａ／Ｄ変換部
３４は、タイミング信号発生部２２から供給される変換
クロック等のタイミング信号２２Ａにより変換したデジ
タル信号３４ＡをＤＳＰ３６に出力する。The pre-processing unit 32 includes a CDS (Co
rrelated Double Sampling: hereinafter referred to as CDS). The CDS unit uses, for example, a CCD type image pickup device, and basically, a clamp circuit that clamps various noises generated by the device by the timing signal 22A from the timing signal generation unit 22, and an analog voltage signal by the timing signal 22A. It has a sample hold circuit for holding 30A. The CDS section removes noise components and sends the analog output signal 32A to the A / D conversion section 34. The A / D converter 34 has an A / D converter that quantizes the signal level of the supplied analog output signal 32A by a predetermined quantization level and converts it into a digital signal 34A. The A / D converter 34 outputs to the DSP 36 a digital signal 34A converted by the timing signal 22A such as a conversion clock supplied from the timing signal generator 22.

【００２８】ＤＳＰ３６は、撮像部３０の読み出しモー
ド（フィールド蓄積２行混合読み出し等の多重化方式や
全画素読み出し方式）に応じて信号処理を行なうように
なっている。The DSP 36 is adapted to perform signal processing in accordance with the read mode of the image pickup section 30 (multiplexing method such as field accumulation two-row mixed reading or all pixel reading method).

【００２９】ＤＳＰ３６は、全画素読み出し方式に対応
して、図２に示すように、データ補正部４４、Ｙｈ補間
部４６、及び加算器４８を含んで構成されている。デー
タ補正部４４は、入力されるデジタルデータのゲインバ
ランスを調整するゲイン補正、補色を原色に変換するマ
トリクス（３×３行の行列等を使用）、自動的にホワイ
トバランスの調整を行なうＡＷＢ（Automatic White Ba
lance）や色の補正を行なうガンマ補正等を行なう。特
にガンマ補正は、ＲＯＭ（Read Only Memory）に供給さ
れるデジタル信号とこのデジタル信号に対応して出力す
る補正データとを組にした複数のデータセットの集まり
であるルックアップテーブルを用いる。これら一連のデ
ータ補正においてもタイミング信号発生部２２からのタ
イミング信号２２Ａに応じて各補正を行なう。データ補
正部４４は、この処理した補正信号（補正データ）を補
色から原色に色変換した色（Ｒ、Ｇ、Ｂ）毎に加算器４
８に出力する。The DSP 36 includes a data correction unit 44, a Yh interpolation unit 46, and an adder 48, as shown in FIG. 2, corresponding to the all-pixel reading method. The data correction unit 44 adjusts the gain balance of the input digital data, a matrix for converting complementary colors into primary colors (using a matrix of 3 × 3 rows, etc.), and an AWB (for automatically adjusting white balance). Automatic White Ba
lance) and gamma correction for color correction. In particular, gamma correction uses a look-up table, which is a collection of a plurality of data sets each including a digital signal supplied to a ROM (Read Only Memory) and correction data output corresponding to the digital signal. Even in the series of data correction, each correction is performed according to the timing signal 22A from the timing signal generator 22. The data correction unit 44 adds the processed correction signal (correction data) to the adder 4 for each color (R, G, B) obtained by color conversion from the complementary color to the primary color.
Output to 8.

【００３０】また、Ｙｈ補間部４６は、それぞれの撮像
手段３０Ｘ、３０Ｙの撮像によってＡ／Ｄ変換部３４を
介して得られるデジタル信号（Ｇ、Ｃｙ、Ｙｅ色フィル
タセグメントの３色の画素データ）を基に、それぞれの
撮像手段３０Ｘ、３０Ｙの色セグメント配列が重複しな
い正方格子となるように合成、すなわち、一方の撮像手
段３０Ｘより得られるデジタル信号の仮想画素が他方の
撮像手段３０Ｙより得られるデジタル信号画素で補間さ
れるように合成を行う。合成は、図７に示すように色フ
ィルタセグメントの配置が完全色差順次配列となるよう
に合成する。そして、合成されたデジタル信号から輝度
データ（Ｙｈ信号）を生成する機能を有する。Ｙｈ補間
部４６は、Ｈｐｆ（High Pass Filter）５０を介して生
成したＹｈ信号を加算器４８に出力する。なお、Ｈｐｆ
５０は、供給されるプレーンなＹｈ信号の高域成分だけ
を通過させるデジタルフィルタである。The Yh interpolating section 46 also obtains digital signals (three-color pixel data of G, Cy, Ye color filter segments) obtained through the A / D converting section 34 by the image pickup means 30X and 30Y. Based on the above, the image pickup means 30X and 30Y are combined so as to form a square lattice in which the color segment arrangements do not overlap, that is, virtual pixels of a digital signal obtained from one image pickup means 30X are obtained from the other image pickup means 30Y. The synthesis is performed so that the digital signal pixels are interpolated. The composition is such that the color filter segments are arranged in a complete color difference sequential array as shown in FIG. Then, it has a function of generating luminance data (Yh signal) from the combined digital signal. The Yh interpolation unit 46 outputs the Yh signal generated via the Hpf (High Pass Filter) 50 to the adder 48. In addition, Hpf
Reference numeral 50 is a digital filter that passes only the high frequency components of the supplied plain Yh signal.

【００３１】加算器４８は、データ補正部４４によって
各補正が行なわれることによって得られるＲＧＢ画素デ
ータ（ｒ、ｇ、ｂ）及びＹｈ補間部４６によって生成さ
れたＹｈ信号５０Ａを加算することにより、高域成分を
有するプレーンな画素データを生成する。加算器４８は
プレーンな画素データを色差マトリクス５２に出力す
る。The adder 48 adds the RGB pixel data (r, g, b) obtained by each correction performed by the data correction unit 44 and the Yh signal 50A generated by the Yh interpolation unit 46, Generates plain pixel data having high frequency components. The adder 48 outputs the plain pixel data to the color difference matrix 52.

【００３２】色差マトリクス５２は、供給されるプレー
ンな画素データ（Ｒ、Ｇ、Ｂ各色毎のデータ）に基づい
て帯域の延びた輝度データＹ、色差データ（Ｒ−Ｙ）、
（Ｂ−Ｙ）を生成する。これら３つの画素データは、各
色に定めた混合割合で乗算演算することによって得られ
る。混合割合を決める係数は、従来からの値を用いる。
色差マトリクス５２は得られたデータを各成分毎にＬｐ
ｆ（Low Pass Filter）５４に出力する。The color difference matrix 52 includes luminance data Y, color difference data (RY), whose band is extended based on the supplied plain pixel data (data for each color of R, G, B).
(BY) is generated. These three pixel data are obtained by multiplying by the mixing ratios determined for each color. A conventional value is used as the coefficient for determining the mixing ratio.
The color difference matrix 52 uses the obtained data as Lp for each component.
Output to f (Low Pass Filter) 54.

【００３３】Ｌｐｆ５４は、色差マトリクス５２から供
給される信号に周波数折り返し歪が生じないように緩や
かな傾斜でレベルを低下させる周波数特性を持たせてい
る。Ｌｐｆ５４は、輝度データＹ、色差データ（Ｒ−
Ｙ）、（Ｂ−Ｙ）の各帯域をカバーする３つのローパス
フィルタからなる。Ｌｐｆ５４を通過した輝度データＹ
は、輝度データ補正部５６へ出力され、色差データ（Ｒ
−Ｙ）、（Ｂ−Ｙ）は、色差ゲイン調整部５８、６０に
出力される。The Lpf 54 has a frequency characteristic that the level of the signal supplied from the color difference matrix 52 is lowered with a gentle slope so that frequency aliasing distortion does not occur. Lpf54 is luminance data Y and color difference data (R-
It consists of three low-pass filters that cover each band of Y) and (B-Y). Luminance data Y that passed Lpf 54
Is output to the luminance data correction unit 56, and the color difference data (R
-Y) and (BY) are output to the color difference gain adjustment units 58 and 60.

【００３４】輝度データ補正部５６は、供給される輝度
データＹに対して高域でのレスポンスの低下を補うよう
に、例えばトランスバーサルフィルタ等によって構成さ
れている。この処理を施すことにより、画像表示した際
に画像の輪郭が強調される。また、色差ゲイン調整部５
８、６０は、それぞれ色差データ（Ｒ−Ｙ）、（Ｂ−
Ｙ）を表す色差データのゲインを調整する。このよう
に、輝度データ補正部５６、色差ゲイン調整部５８、６
０によってデータが処理されて色信号のレベルが向上す
ることにより、画像表示した際の映像を高品位な解像度
及び彩度の高いものにすることができる。輝度データ補
正部５６、色差ゲイン調整部５８、６０はそれぞれ、輝
度データＹ、色差データ（Ｒ−Ｙ）、（Ｂ−Ｙ）を図１
に示す圧縮／伸張部３８に出力する。The brightness data correction unit 56 is composed of, for example, a transversal filter or the like so as to compensate for the deterioration of the response in the high frequency band with respect to the supplied brightness data Y. By performing this processing, the contour of the image is emphasized when the image is displayed. In addition, the color difference gain adjustment unit 5
8 and 60 are color difference data (RY) and (B-, respectively).
The gain of the color difference data representing Y) is adjusted. In this way, the brightness data correction unit 56 and the color difference gain adjustment units 58 and 6
Since the data is processed by 0 to improve the level of the color signal, it is possible to make the image displayed as an image have high resolution and high saturation. The luminance data correction unit 56 and the color difference gain adjustment units 58 and 60 respectively show the luminance data Y, the color difference data (RY), and (BY) in FIG.
To the compression / expansion unit 38 shown in FIG.

【００３５】圧縮／伸張部３８は、例えば、直交変換を
用いたＪＰＥＧ（Joint Photographic Experts Group）
規格での圧縮を施す回路と、この圧縮した画像を再び元
のデータに伸張する回路とを有する。圧縮／伸張部３８
は、システム制御部１８の制御により記録時には圧縮し
たデータをシステムバス１６を介して記録再生部４０に
供給する。また、圧縮／伸張部３８は、図２に示す色差
マトリクス５２で得られるデータをシステム制御部１８
の制御によりスルーさせ、システムバス１６を介してモ
ニタ４２に供給することもできる。圧縮／伸張部３８が
伸張処理を行なう場合、逆に記録再生部４０から読み出
したデータをシステムバス１６を介して圧縮／伸張部３
８に取り込んで処理する。ここで、処理されたデータも
モニタ４２に供給して表示させる。The compression / expansion unit 38 is, for example, a JPEG (Joint Photographic Experts Group) using orthogonal transformation.
It has a circuit for performing compression according to the standard and a circuit for expanding the compressed image again to original data. Compression / expansion section 38
Supplies data compressed during recording under the control of the system control unit 18 to the recording / reproducing unit 40 via the system bus 16. Further, the compression / expansion unit 38 uses the data obtained by the color difference matrix 52 shown in FIG.
It is also possible to supply the monitor 42 through the system bus 16 through the control of the above. When the compression / expansion unit 38 performs the expansion process, conversely, the data read from the recording / reproduction unit 40 is compressed / expanded by the compression / expansion unit 3 via the system bus 16.
Take in 8 and process. Here, the processed data is also supplied to the monitor 42 and displayed.

【００３６】また、ＤＳＰ３６は、上述の多重化方式に
対応して、モニタ３６に表示するために、撮像手段３０
Ｘ、３０Ｙより得られた補色を含む画素データを、上述
とは異なる方法で、輝度データＹ、色差データ（Ｒ−
Ｙ）、（Ｂ−Ｙ）に変換する処理も行なうようになって
いる。例えば、周知の技術を用いて、撮像手段３０Ｘ、
３０Ｙより得られる補色を含む画素データからフィール
ド蓄積２行混合の色多重方式に基づいてそれぞれを合成
して３原色ＲＧＢの画素データを生成し、生成された３
原色ＲＧＢの画素データを基に輝度データＹ、色差デー
タ（Ｒ−Ｙ）、（Ｂ−Ｙ）をマトリクス演算等によって
生成し、生成された輝度データＹ、色差データ（Ｒ−
Ｙ）、（Ｂ−Ｙ）をモニタに供給することにより、ムー
ビーモードやシャッターの半押しによるファインダモー
ドの表示を行なうようになっている。なお、ムービーモ
ードやファインダモード等で行なう上述の多重化方式の
信号処理選択は、システム制御部１８からの制御信号１
８Ａに基づいて行なわれる。In addition, the DSP 36 corresponds to the above-mentioned multiplexing system, so that the image pickup means 30 can be displayed on the monitor 36.
Pixel data including complementary colors obtained from X and 30Y are processed by a method different from the above to obtain luminance data Y and color difference data (R-
Y) and (B-Y) are also converted. For example, the imaging means 30X,
3Y RGB pixel data are generated by synthesizing pixel data including complementary colors obtained from 30Y based on a field multiplexing two-row mixing color multiplexing method.
Luminance data Y, color difference data (RY), (BY) are generated by matrix calculation based on pixel data of the primary colors RGB, and the generated luminance data Y and color difference data (R-
By supplying Y) and (BY) to the monitor, the display in the movie mode or the viewfinder mode by half-pressing the shutter is performed. The signal processing selection of the above-described multiplexing method performed in the movie mode or the finder mode is performed by the control signal 1 from the system control unit 18.
8A.

【００３７】記録再生部４０は、記録媒体に記録する記
録処理部と、記録媒体から記録した画像データを読み出
す再生処理部とを含む。記録媒体には、例えば、所謂ス
マートメディアのような半導体メモリや磁気ディスク、
光ディスク等がある。磁気ディスク、光ディスクを用い
る場合、画像データを変調する変調部と共に、この画像
データを書き込むヘッドがある。The recording / reproducing unit 40 includes a recording processing unit for recording on a recording medium and a reproduction processing unit for reading out image data recorded from the recording medium. The recording medium is, for example, a semiconductor memory such as a so-called smart medium or a magnetic disk,
There are optical disks and the like. When using a magnetic disk or an optical disk, there is a head for writing this image data together with a modulator for modulating the image data.

【００３８】モニタ４２は、システム制御部１８の制御
に応じてシステムバス１６を介して供給される輝度デー
タ及び色差データ、又は３原色ＲＧＢのデータを、画面
の大きさを考慮すると共に、タイミング調整して表示す
る機能を有する。The monitor 42 adjusts the timing of the brightness data and the color difference data or the data of the three primary colors RGB supplied via the system bus 16 under the control of the system controller 18 while considering the size of the screen. Has the function of displaying.

【００３９】本実施の形態に係るデジタルスチルカメラ
１０は、このように構成して補色を含んで得られたカラ
ー撮像信号の広帯域化を図っている。このデジタルスチ
ルカメラ１０の動作を説明する前に色フィルタＣＦの色
配置と撮像部３０の撮像手段３０Ｘ、３０Ｙの関係につ
いて説明する。撮像手段３０Ｘ、３０Ｙは、図３に示す
ように、入射する光を光電変換する受光素子ＰＤに隣接
した受光素子ＰＤが垂直方向及び水平方向にずらされた
２次元配置された受光部３０Ｐと、この受光部３０Ｐの
前面に形成された開口部ＡＰを迂回するように配置さ
れ、かつ受光素子ＰＤからの信号を取り出す電極ＥＬ
と、この電極ＥＬを介して供給される信号を受光部３０
Ｐの垂直方向に順次転送する垂直転送レジスタＶＲ１〜
ＶＲ４とを備えている。The digital still camera 10 according to the present embodiment is configured in this manner to achieve a wide band of the color image pickup signal obtained by including the complementary colors. Before describing the operation of the digital still camera 10, the relationship between the color arrangement of the color filter CF and the image pickup means 30X and 30Y of the image pickup section 30 will be described. As shown in FIG. 3, the image pickup units 30X and 30Y include a light receiving unit 30P in which a light receiving element PD adjacent to a light receiving element PD for photoelectrically converting incident light is two-dimensionally arranged in which the light receiving element PD is vertically and horizontally displaced. An electrode EL which is arranged so as to bypass the opening AP formed in the front surface of the light receiving portion 30P and which extracts a signal from the light receiving element PD.
And a signal supplied via this electrode EL to the light receiving unit 30.
Vertical transfer registers VR1 to VR1 for sequentially transferring in the vertical direction of P
And VR4.

【００４０】垂直転送レジスタＶＲ１〜ＶＲ４は、供給
される垂直転送駆動信号Ｖ１〜Ｖ４に応じて信号を転送
している。すなわち、垂直転送レジスタは１受光部あた
り４電極構造になっている。また、１受光部領域の水平
隣接領域が２電極構造で上述した画素ずれしている。本
実施の形態の撮像部３０に形成された開口部ＡＰは、六
角形のハニカム形状に形成する。開口形状は、一般的に
正方格子であるがこの形状は、感度を向上させると共
に、素直転送レジスタの幅を同じにして転送効率を低下
させないようにする条件を満たせばよい。このことから
判る形状は、多角形でもよく、この他の例としては、正
方格子４５°回転させた開口形状として、例えば、菱形
等があり、さらに八角形等にしてもよい。The vertical transfer registers VR1 to VR4 transfer signals according to the supplied vertical transfer drive signals V1 to V4. That is, the vertical transfer register has a four-electrode structure for each light receiving portion. Further, the horizontally adjacent area of one light receiving area has the above-described pixel shift in the two-electrode structure. The opening AP formed in the imaging unit 30 of the present embodiment is formed in a hexagonal honeycomb shape. The shape of the opening is generally a square lattice, but this shape should meet the conditions of improving the sensitivity and making the width of the direct transfer register the same so as not to lower the transfer efficiency. The shape that can be understood from this may be a polygonal shape, and as another example, as an opening shape rotated by 45 ° on a square lattice, there is, for example, a rhombic shape, or an octagonal shape.

【００４１】開口部ＡＰは、図３に示すように各開口部
ＡＰを覆う色フィルタＣＦの直下にそれぞれ対応して配
置される受光素子ＰＤの間隔を各方向毎の画素ピッチＰ
Ｐとするとき、開口部ＡＰの配列は、一列毎に垂直方向
にあるいは一行毎に水平方向に画素ピッチＰＰ分だけ移
動させた２次元配置になっている。四角形以上の多角形
を用いる場合、開口形状に合わせて開口部ＡＰを隙間な
く、隣接する開口部ＡＰが稠密な配置するようにしても
よい。図３のように六角形の場合、稠密な配置は、水平
・垂直方向とも上述した画素ピッチＰＰの半分だけずら
した配置により形成できる。このように稠密な配置を得
るには開口部ＡＰの形状に依存する。As shown in FIG. 3, the openings AP are arranged so that the intervals between the light receiving elements PD arranged immediately below the color filters CF covering the openings AP respectively correspond to the pixel pitch P in each direction.
When P is set, the arrangement of the openings AP is a two-dimensional arrangement that is moved in the vertical direction for each column or in the horizontal direction for each row by the pixel pitch PP. When a polygon having a quadrangle or more is used, adjacent openings AP may be densely arranged without gaps according to the shape of the openings. In the case of a hexagon as shown in FIG. 3, a dense arrangement can be formed by an arrangement that is shifted by half the pixel pitch PP described above in both the horizontal and vertical directions. Obtaining such a dense arrangement depends on the shape of the opening AP.

【００４２】ここで、撮像手段３０Ｘ、３０Ｙが一般的
に用いられる正方格子状の場合とハニカム形状の場合の
配置関係を比較すると、ハニカム形状の配置は、画素ピ
ッチＰＰをそれぞれＮ（μｍ）の正方格子状には位置し
た受光素子がそれぞれ４５°回転させた場合の配置であ
る。ハニカム形状の配置、すなわち画素の半ピッチずれ
を有する配置では、正方格子状の配置における水平／垂
直方向の隣接画素間距離｜ＰＰ｜＝Ｎ（μｍ）を基準に
検討すると、輪説画素間距離がＮ×（２）^-1/2と隣接画
素間距離｜ＰＰ｜＝Ｎより短くなる。従って、ハニカム
形状の配置は、正方格子状の配置よりも画素が稠密に配
置されるので、原理的に水平・垂直方向の解像度を
（２）^1/2倍に向上させることができる。また、本実施
の形態では、ハニカム形状の配置から出力形態に見合う
正方格子状の配置に展開する場合、２つの撮像手段３０
Ｘ、３０Ｙより得られる画素データにおける仮想画素を
それぞれの撮像手段３０Ｘ、３０Ｙより得られる画素デ
ータで補間し合うようにＤＳＰ３６で合成処理が行われ
るようになっている。この合成処理を行うことにより、
解像度は単に正方格子状に受光素子ＰＤを配置したとき
より高くできる。Here, comparing the arrangement relationship between the case where the image pickup means 30X and 30Y are generally used in a square lattice shape and the case where they are in a honeycomb shape, the arrangement in the honeycomb shape has a pixel pitch PP of N (μm). The square grid is an arrangement in which the light receiving elements located are rotated by 45 °. In a honeycomb-shaped arrangement, that is, an arrangement having a half-pitch shift of pixels, when the distance between adjacent pixels in the horizontal / vertical direction | PP | = N (μm) in the square lattice arrangement is considered as a reference, the inter-pixel distance between Becomes N × (2) ^−1/2, which is shorter than the distance between adjacent pixels | PP | = N. Therefore, in the honeycomb-shaped arrangement, the pixels are arranged more densely than in the square lattice-shaped arrangement, so that the resolution in the horizontal / vertical direction can be improved by (2) ^1/2 times in principle. Further, in the present embodiment, when the honeycomb-shaped arrangement is expanded to the square lattice-shaped arrangement suitable for the output form, the two imaging means 30 are used.
The DSP 36 performs a combining process so that the virtual pixels in the pixel data obtained from X and 30Y are interpolated with the pixel data obtained from the image pickup means 30X and 30Y. By performing this combining process,
The resolution can be made higher than when the light receiving elements PD are simply arranged in a square lattice shape.

【００４３】本実施の形態では上述したように色フィル
タＣＦに補色の色フィルタセグメントを用いている。こ
の色フィルタを用いる特徴について簡単に説明する。現
在、チップサイズの小型化を図っても撮像の感度特性を
保つために入射光を有効に用いる必要が生じている。こ
こで、分光エネルギーが波長に関わらず一定な入射光３
０Ｉを入射させた際に、波長に応じた比視感度（比視感
度曲線３０Ｃ）とアンプゲインを掛けて波長に依存した
測光量を求めると図４に示す測光の分光曲線３０Ｍが得
られる。さらに、原色フィルタＲ、Ｇ、Ｂで撮像した場
合（Ａ）と補色フィルタＭｇ、Ｙｅ、Ｇ、Ｃｙで撮影し
た場合（Ｂ）との分光感度の比較を相対感度表示（図５
参照）及び最大感度によるＲＧＢ正規化表示（図６参
照）で行なう。相対感度表示から補色フィルタで撮像し
た場合（Ｂ）の方が原色フィルタを用いた場合（Ａ）よ
り高い相対感度が得られることがわかる。この関係をＲ
ＧＢ正規化表示で見ると、この表示でも補色フィルタで
撮像した場合（Ｂ）の方が原色フィルタを用いた場合
（Ａ）より各曲線で作る面積が大きい。すなわち入射光
を有効に信号電荷への変換にも寄与している。このよう
な検討結果から補色フィルタが入射光量の有効な利用に
効果的であることがわかる。In this embodiment, as described above, the color filter CF uses the complementary color filter segment. The features of using this color filter will be briefly described. At present, it is necessary to effectively use the incident light in order to maintain the sensitivity characteristic of imaging even if the chip size is reduced. Here, the incident light 3 whose spectral energy is constant regardless of wavelength 3
When 0I is made incident, the spectral luminous efficiency curve 30M shown in FIG. 4 is obtained by multiplying the spectral luminous efficiency (specific luminous efficiency curve 30C) corresponding to the wavelength by the amplifier gain to obtain the photometric amount depending on the wavelength. Further, a comparison of spectral sensitivities when the primary color filters R, G, and B are used for image pickup (A) and the complementary color filters Mg, Ye, G, and Cy are used for image pickup (B) is shown by relative sensitivity display (FIG. 5).
(See FIG. 6) and the RGB normalized display by the maximum sensitivity (see FIG. 6). It can be seen from the relative sensitivity display that a higher relative sensitivity can be obtained when the image is captured with the complementary color filter (B) than when the primary color filter is used (A). This relationship is R
When viewed in the GB normalized display, even in this display, the area formed by each curve is larger in the case of imaging with the complementary color filter (B) than in the case of using the primary color filter (A). That is, it effectively contributes to conversion of incident light into signal charges. From such examination results, it is found that the complementary color filter is effective for effective use of the amount of incident light.

【００４４】この結果を受けてハニカム形状の配置と等
価な補色系の色フィルタセグメントを用いた色フィルタ
ＣＦの例を模式的に図８に示す。図８（Ａ）（Ｂ）には
それぞれ撮像手段３０Ｘ、３０Ｙに適用する補色系の色
フィルタセグメントを用いた色フィルタ配列を示す。In response to this result, an example of a color filter CF using a color filter segment of a complementary color system equivalent to the honeycomb arrangement is schematically shown in FIG. FIGS. 8A and 8B show color filter arrays using complementary color filter segments applied to the image pickup means 30X and 30Y, respectively.

【００４５】図８（Ａ）に示す色フィルタ配置パターン
は、Ｇ、Ｃｙ、Ｍｇの補色系の３色を用いる。この配置
パターンは、正方格子６２の４隅にＣｙの色フィルタセ
グメントを配置し、正方格子６２の何れかのＣｙの色フ
ィルタセグメントを中心に配置すると共に、正方格子６
２に対して水平及び垂直方向にピッチの半分の距離ずれ
た正方格子６４の対角の組がＭｇとＧとなるように色フ
ィルタセグメントを配置し、それぞれ水平方向に隣接す
る色フィルタセグメントを同色に配置する。The color filter layout pattern shown in FIG. 8A uses three colors of complementary colors of G, Cy and Mg. In this arrangement pattern, the Cy color filter segments are arranged at the four corners of the square lattice 62, one of the Cy color filter segments of the square lattice 62 is arranged at the center, and the square lattice 6 is formed.
The color filter segments are arranged so that the diagonal pairs of the square lattice 64 shifted by a distance of half the pitch in the horizontal and vertical directions with respect to 2 are Mg and G, and the color filter segments adjacent in the horizontal direction have the same color. To place.

【００４６】また、図８（Ｂ）に示す色フィルタ配置パ
ターンは、Ｙｅ、Ｇ、Ｍｇの補色系の３色を用いる。こ
の配置パターンは、正方格子６６の４隅にＹｅの色フィ
ルタセグメントを配置し、正方格子６６の何れかのＹｅ
の色フィルタセグメントを中心に配置すると共に、正方
格子６６に対して水平及び垂直方向にピッチの半分の距
離ずれた正方格子６８の対角の組がＧとＭｇとなるよう
に色フィルタセグメントを配置し、それぞれ水平方向に
隣接する色フィルタセグメントを同色に配置する。The color filter arrangement pattern shown in FIG. 8B uses three complementary colors of Ye, G and Mg. In this arrangement pattern, Ye color filter segments are arranged at the four corners of the square lattice 66, and any one of the Ye of the square lattice 66 is arranged.
The color filter segments are arranged in the center, and the color filter segments are arranged so that the diagonal pairs of the square lattice 68, which are horizontally and vertically displaced from the square lattice 66 by half the pitch, are G and Mg. Then, the color filter segments adjacent to each other in the horizontal direction are arranged in the same color.

【００４７】そして、それぞれの撮像手段３０Ｘ、３０
Ｙに設けられた色フィルタセグメントは、撮像手段３０
Ｘ、３０Ｙより得られる画素データを重ね合わせてそれ
ぞれの撮像手段３０Ｘ、３０Ｙの画素が重複しない正方
格子となるように合成すると、図７に示すように、完全
色差順次の配列の画素データを得ることができる。Then, the respective image pickup means 30X, 30
The color filter segment provided in Y is the image pickup means 30.
When the pixel data obtained from X and 30Y are overlapped and combined so that the pixels of the image pickup means 30X and 30Y form a non-overlapping square grid, pixel data of a complete color difference sequential array is obtained as shown in FIG. be able to.

【００４８】次にデジタルスチルカメラ１０の動作につ
いて説明する。デジタルスチルカメラ１０は、図９に示
すメインフローチャートに従って動作する。デジタルス
チルカメラ１０に電源を投入した後に、システム制御部
１８によって各種の初期設定が行われ、操作可能状態に
なる。このとき一般的にデジタルスチルカメラ１０はモ
ニタ４２に撮像画像を表示させるモード（ムービーモー
ドやファインダモード）にしてモニタ表示させたり、ユ
ーザによるレリーズボタンの半押し操作が行われる。す
なわち、ステップ１００では、レリーズボタンが半押し
又はムービーであるか否か判定される。該判定が肯定さ
れた場合にはステップ１０２へ移行して、否定すなわち
レリーズボタンが全押し操作された場合には、ステップ
１１６へ移行する。Next, the operation of the digital still camera 10 will be described. The digital still camera 10 operates according to the main flowchart shown in FIG. After the power of the digital still camera 10 is turned on, various initial settings are made by the system controller 18 and the digital still camera 10 becomes operable. At this time, generally, the digital still camera 10 is set in a mode (movie mode or finder mode) in which the captured image is displayed on the monitor 42 and is displayed on the monitor, or the user half-presses the release button. That is, in step 100, it is determined whether the release button is half-pressed or a movie. When the determination is affirmative, the process proceeds to step 102, and when the determination is negative, that is, the release button is fully pressed, the process proceeds to step 116.

【００４９】各撮像手段３０Ｘ、３０Ｙにおけるそれぞ
れの色フィルタＣＦの色フィルタセグメントの配置は、
図８に示した色フィルタセグメントの配置を適用してい
る。この色フィルタＣＦを用いて、ステップ１０２で混
合読み出しする場合、供給される駆動信号に応じて撮像
部３０のそれぞれの撮像手段３０Ｘ、３０Ｙからの撮像
信号の読出しが行われる。この読出しは、インターレー
ス走査して得られた同一フィールドの信号電荷を混合し
て読み出すフィールド蓄積２ライン混合読出しである。The arrangement of the color filter segments of the respective color filters CF in the image pickup means 30X and 30Y is as follows.
The arrangement of the color filter segments shown in FIG. 8 is applied. When mixed reading is performed in step 102 using the color filter CF, the image pickup signals are read from the image pickup means 30X and 30Y of the image pickup unit 30 in accordance with the supplied drive signal. This read is a field accumulation two-line mixed read in which the signal charges of the same field obtained by interlaced scanning are mixed and read.

【００５０】次にステップ１０４では、このステップ１
０２で読み出された信号に対して、前処理が行われる。
前処理としては、前処理部３２で例えば、ＣＤＳ処理を
行って撮像部３０からの信号に含まれるノイズ成分を除
去している。Next, in step 104, this step 1
Pre-processing is performed on the signal read in 02.
As pre-processing, the pre-processing unit 32 performs, for example, CDS processing to remove noise components included in the signal from the imaging unit 30.

【００５１】次にステップ１０６では、ノイズ除去当が
施されたアナログ出力信号３２ＡをＡ／Ｄ変換部３４で
デジタル信号３４Ａに変換する。この変換により各受光
素子ＰＤからの信号電荷が画素データに変換される。こ
の変換により以後の信号処理をデジタル処理で行う。Next, at step 106, the analog output signal 32A subjected to noise removal is converted into a digital signal 34A by the A / D converter 34. By this conversion, the signal charge from each light receiving element PD is converted into pixel data. With this conversion, the subsequent signal processing is performed digitally.

【００５２】ステップ１０８では、画素データ変換処理
が行われる。すなわち、上述したように、撮像手段３０
Ｘ、３０Ｙより得られる補色を含む画素データからフィ
ールド蓄積２ライン混合の色多重方式で信号電荷が読み
出され、それぞれの撮像手段３０Ｘ、３０Ｙより得られ
る画素データが重複しない正方格子となるように合成さ
れる。すなわち、図７に示すように完全色差順次配列と
なるようにそれぞれの撮像手段３０Ｘ、３０Ｙより得ら
れる画素データが合成される。従って、仮想画素（虚画
素）を補間することなく良好な色解像度の画素データを
得ることができる。At step 108, pixel data conversion processing is performed. That is, as described above, the image pickup means 30
Signal charges are read out from pixel data including complementary colors obtained by X and 30Y by a color multiplexing method of field storage 2-line mixing so that the pixel data obtained by the respective image pickup means 30X and 30Y form a non-overlapping square grid. Is synthesized. That is, as shown in FIG. 7, pixel data obtained from the image pickup means 30X and 30Y are combined so as to form a complete color difference sequential array. Therefore, it is possible to obtain pixel data with good color resolution without interpolating virtual pixels (imaginary pixels).

【００５３】そして、合成画素データに基づいて３原色
の画素データが生成され、該生成された３原色の画素デ
ータがマトリクス演算当によって、輝度データＹ、色差
データ（Ｒ−Ｙ）、（Ｂ−Ｙ）に変換されて、システム
バス１６を介してモニタ４２に供給される。なお、上述
の色多重方式に基づいて生成された３原色の画素データ
は、ＡＥ処理を行うためにシステムバス１６を介してシ
ステム制御部１８に供給される。Then, pixel data of the three primary colors is generated based on the combined pixel data, and the generated pixel data of the three primary colors is subjected to a matrix calculation to obtain luminance data Y, color difference data (RY), (B- Y) is converted and supplied to the monitor 42 via the system bus 16. The pixel data of the three primary colors generated based on the above-described color multiplexing method is supplied to the system control unit 18 via the system bus 16 for performing the AE processing.

【００５４】本実施の形態では、３原色の画素データの
生成は、例えば、以下に示すような方法によって生成す
ることができる。In the present embodiment, the pixel data of the three primary colors can be generated by, for example, the following method.

【００５５】まず、３原色の画素データを生成する上
で、原色系の色と補色系の色Ｍｇ、Ｃｙ、Ｙｅとの間に
は以下のような関係がある。First, in generating the pixel data of the three primary colors, there is the following relationship between the primary color and the complementary colors Mg, Cy and Ye.

【００５６】Ｒ＋Ｂ＝Ｍｇ Ｇ＋Ｂ＝Ｃｙ Ｒ＋Ｇ＝Ｙｅ 例えば、３原色の画素データは、混合画素の差分（Ｃ
１、Ｃ２）を算出すると共に、混合画素データの総和Ｓ
を算出し、これらの得られたパラメータをデータに用い
て３原色の画素データＲＧＢを生成している。すなわ
ち、以下のようにしてＣ１、Ｃ２、Ｓを求める。R + B = Mg G + B = Cy R + G = Ye For example, the pixel data of the three primary colors is the difference (C
1, C2) is calculated, and the sum S of the mixed pixel data is calculated.
And pixel parameters RGB of the three primary colors are generated by using these obtained parameters as data. That is, C1, C2, and S are obtained as follows.

【００５７】 Ｃ１＝（Ｃｙ＋Ｍｇ）−（Ｙｅ＋Ｇ）＝２Ｂ−Ｇ Ｃ２＝（Ｃｙ＋Ｍｇ）−（Ｃｙ＋Ｇ）＝２Ｒ−Ｇ Ｓ＝（Ｃｙ＋Ｍｇ）＋（Ｙｅ＋Ｇ）＝（Ｙｅ＋Ｍｇ）＋（Ｃｙ＋Ｇ） ＝Ｙｅ＋Ｍｇ＋Ｃｙ＋Ｇ これらＣ１、Ｃ２、Ｓを用いて３原色の画素データＲＧ
Ｂを以下に示すように算出する。C1 = (Cy + Mg) − (Ye + G) = 2B−G C2 = (Cy + Mg) − (Cy + G) = 2R−G S = (Cy + Mg) + (Ye + G) = (Ye + Mg) + (Cy + G) = Ye + Mg + Cy + G These C1 , C2, S using three primary color pixel data RG
B is calculated as shown below.

【００５８】Ｇ＝（４Ｓ−Ｃ１−Ｃ２）／５ Ｂ＝（Ｃ１＋Ｇ）／２ Ｒ＝（Ｃ２＋Ｇ）／２ このように、２つの撮像手段３０Ｘ、３０Ｙに設けられ
た色フィルタセグメントの配列それぞれを合成すること
によって完全色差順次配列となるように配置するので、
従来の動画処理を活用して、３原色の画素データを得る
ことができる。また、２つの撮像手段３０Ｘ、３０Ｙよ
り得られる画素データの合成は、２つの撮像手段３０
Ｘ、３０Ｙより得られる画素データのそれぞれの仮想画
素がそれぞれの撮像手段３０Ｘ、３０Ｙより得られる画
素データによって補間し合うので、仮想画素（虚画素）
の補間処理を行うことなく高解像度の画素データを得る
ことができる。G = (4S-C1-C2) / 5 B = (C1 + G) / 2 R = (C2 + G) / 2 In this way, the arrangements of the color filter segments provided in the two image pickup means 30X and 30Y are respectively set. Since they are arranged so as to form a complete color difference sequential array by combining,
Pixel data of three primary colors can be obtained by utilizing the conventional moving image processing. The combination of the pixel data obtained from the two image pickup means 30X and 30Y is performed by the two image pickup means 30.
The virtual pixels of the pixel data obtained from X and 30Y are interpolated by the pixel data obtained from the image pickup means 30X and 30Y, respectively, so that virtual pixels (imaginary pixels)
It is possible to obtain high-resolution pixel data without performing the interpolation processing of.

【００５９】ステップ１１０では、システム制御部１８
において、自動的に適正な露出制御を行わせるための自
動制御演算処理が行われる。自動制御演算処理は、上述
のようにしてえられる３原色の画素データＲＧＢを用い
て行われる。さらに、ここで得られた値に応じて制御信
号１８Ａが上述した各部に供給され絞り調節機構２６や
ＡＦ（Automatic Focus：自動焦点）調節機構が調節さ
れる。In step 110, the system controller 18
At, automatic control calculation processing for automatically performing appropriate exposure control is performed. The automatic control calculation process is performed using the pixel data RGB of the three primary colors obtained as described above. Further, the control signal 18A is supplied to each of the above-mentioned parts according to the value obtained here, and the diaphragm adjusting mechanism 26 and the AF (Automatic Focus) adjusting mechanism are adjusted.

【００６０】ここで、自動制御演算処理について図１０
のフローチャートを参照して詳細に説明する。なお、本
実施の形態における自動制御としては、ＡＦ、ＡＥ、Ａ
ＷＢ等がある。このうち、ＡＦ、ＡＥについて説明す
る。Here, the automatic control calculation process is shown in FIG.
This will be described in detail with reference to the flowchart of FIG. The automatic control in this embodiment includes AF, AE, A
There are WB etc. Of these, AF and AE will be described.

【００６１】システム制御部１８では、ステップ１５０
で、供給された画素データから被写体とデジタルスチル
カメラ１０との間の距離が測定される。ステップ１５２
では、測距により得られたデータに基づいて、システム
制御部１８では制御信号が生成され、ＡＦ調節機構に供
給される。この制御を受けてＡＦ（Automatic Focus：
自動焦点）調節機構が調節される。なお、このとき光学
レンズの位置において第２の測光を行っている。In the system control unit 18, step 150
Then, the distance between the subject and the digital still camera 10 is measured from the supplied pixel data. Step 152
Then, based on the data obtained by the distance measurement, the system control unit 18 generates a control signal and supplies the control signal to the AF adjustment mechanism. AF (Automatic Focus:
The autofocus) adjustment mechanism is adjusted. At this time, the second photometry is performed at the position of the optical lens.

【００６２】ステップ１５４では、この光学レンズ系１
２における光学レンズの移動後の測光で得られた結果、
光学レンズが撮像部３０のＣＣＤ受光面に焦点の合った
光学像を結ぶか否か判断される。該判断が肯定すなわち
焦点が合った場合には、ステップ１５６へ移行し、判定
が否定すなわち焦点が合わない場合には、上述のステッ
プ１５０〜ステップ１５４が繰り返される。In step 154, the optical lens system 1
The result obtained by the photometry after the movement of the optical lens in 2,
It is determined whether or not the optical lens forms an in-focus optical image on the CCD light receiving surface of the imaging unit 30. If the determination is affirmative, that is, the focus is achieved, the process proceeds to step 156, and if the determination is negative, that is, the focus is not achieved, steps 150 to 154 described above are repeated.

【００６３】ステップ１５６では、ステップ１５０〜１
５４のＡＦ制御で得られている３原色の画素データを用
いて最適な露出値、シャッタ速度が、システム制御部１
８で、例えばプログラム線図によって対応する値の組が
抽出されることによって算出される。システム制御部１
８では算出した値に応じて制御信号が生成される。生成
された制御信号はシステムバス１６を介してドライバ部
２４に供給されてステップ１５８へ移行する。In step 156, steps 150-1
The optimum exposure value and shutter speed are determined by the system controller 1 using the pixel data of the three primary colors obtained by the AF control 54.
At 8, it is calculated, for example, by extracting the corresponding set of values by means of a program diagram. System control unit 1
In 8, a control signal is generated according to the calculated value. The generated control signal is supplied to the driver unit 24 via the system bus 16 and the process proceeds to step 158.

【００６４】ステップ１５８では、ドライバ部２４にお
いて供給された制御信号に応じた駆動信号が生成されて
絞り調節機構２６に供給される。これによって絞り調節
機構２６では、駆動信号２４Ａにより指示された調節が
施され、ステップ１６０へ移行する。In step 158, a drive signal corresponding to the control signal supplied from the driver section 24 is generated and supplied to the diaphragm adjusting mechanism 26. As a result, the diaphragm adjustment mechanism 26 makes the adjustment instructed by the drive signal 24A, and the process proceeds to step 160.

【００６５】ステップ１６０では、ステップ１５８の調
節が行われた結果、絞りが所定の値に対応した位置に設
定されたか否か判定される。該判定が否定、すなわち、
調節が不十分な場合や測光が継続中に非写界の明るさが
変化した場合当に応じてそれぞれステップ１５６又はス
テップ１５８に戻る。なお、図１０では、調節が不十分
な場合を想定して処理を戻す場合を示す。この調節が良
好に行われた場合、すなわち、ステップ１６０の判定が
肯定された場合には、リターンに進んで自動制御処理が
終了される。In step 160, it is determined whether or not the aperture has been set to a position corresponding to a predetermined value as a result of the adjustment in step 158. The determination is negative, that is,
When the adjustment is insufficient or when the brightness of the non-field changes while the photometry is continued, the process returns to step 156 or step 158, respectively. Note that FIG. 10 shows a case where the process is returned assuming that the adjustment is insufficient. When this adjustment is performed well, that is, when the determination in step 160 is affirmative, the routine proceeds to return and the automatic control processing is ended.

【００６６】すなわち、従来から行われているＡＦ、Ａ
Ｅ、ＡＷＢ等の自動制御演算処理を、２つの撮像手段３
０Ｘ、３０Ｙより得られる画素データに基づいて生成さ
れた３原色の画素データを用いて行うことができる。That is, AF, A which has been conventionally performed
E, AWB, and other automatic control arithmetic processing are performed by the two imaging means 3
This can be performed using the pixel data of the three primary colors generated based on the pixel data obtained from 0X and 30Y.

【００６７】一方、上述のようにして図９に示すステッ
プ１１０の自動制御演算処理が行われると、ステップ１
１２へ移行する。ステップ１１２では、モニタ４２にデ
ータ（輝度データ、色差データ）が供給されると、画像
がモニタ４２に表示される。この後、デジタルスチルカ
メラ１０の動作を停止させる。すなわち、ステップ１１
４では、電源オフになったか否か判定される。電源がオ
フになっていない時、すなわち、ステップ１１４の判定
が肯定された場合には、ステップ１００に戻って上述の
処理が繰り返される。電源がオフになっている時、すな
わち、ステップ１１４の判定が肯定された場合には、全
ての処理が終了される。On the other hand, when the automatic control arithmetic processing of step 110 shown in FIG. 9 is performed as described above, step 1
Move to 12. In step 112, when data (luminance data, color difference data) is supplied to the monitor 42, an image is displayed on the monitor 42. After that, the operation of the digital still camera 10 is stopped. That is, step 11
At 4, it is determined whether the power is off. When the power is not turned off, that is, when the determination in step 114 is affirmative, the process returns to step 100 and the above process is repeated. When the power is off, that is, when the determination in step 114 is affirmative, all processing is ended.

【００６８】また、上述のように、レリーズボタンが全
押しされた場合、操作部１４にはこのモードに応じた駆
動信号２４Ａが供給される。この場合、操作部１４で
は、全画素読出しが行われる（ステップ１１６）。これ
以後、読み出された信号に対して順次前処理、Ａ／Ｄ変
換処理が行われる（ステップ１１８、ステップ１２
０）。ここでの各処理は上述したステップ１０４及び１
０６と同様に処理されるので、説明を省略する。Further, as described above, when the release button is fully pressed, the operation section 14 is supplied with the drive signal 24A corresponding to this mode. In this case, the operation unit 14 reads out all pixels (step 116). Thereafter, pre-processing and A / D conversion processing are sequentially performed on the read signal (step 118, step 12).
0). Each processing here is performed in steps 104 and 1 described above.
Since it is processed in the same manner as 06, the description is omitted.

【００６９】それぞれの撮像手段３０Ｘ、３０Ｙより全
画素読出しされた信号（補色の画素データ）は、ＤＳＰ
３６に供給される。ＤＳＰ３６のデータ補正部４４で
は、供給された画素データに対して各種補正が施され、
Ｙｈ補間部４６では、それぞれの撮像手段３０Ｘ、３０
Ｙより得られる画素データが重複しない正方格子となる
ように合成されて輝度データ（Ｙｈ信号）が生成され、
加算器４８では、データ補正部４４によって各種補正が
なされることによって得られた３原色ＲＧＢの画素デー
タｒ、ｇ、ｂと、Ｙｈ補間部４６で生成されたＹｈ信号
５０Ａと、が加算されて高解像度広帯域信号の３原色画
素データが生成される（ステップ１２２）。The signals (complementary color pixel data) read out from all pixels by the respective image pickup means 30X and 30Y are processed by the DSP.
36. The data correction unit 44 of the DSP 36 performs various corrections on the supplied pixel data,
The Yh interpolation unit 46 uses the image pickup means 30X and 30X.
Luminance data (Yh signal) is generated by synthesizing pixel data obtained from Y so as to form a square lattice that does not overlap,
In the adder 48, the pixel data r, g, and b of the three primary colors RGB obtained by performing various corrections by the data correction unit 44 and the Yh signal 50A generated by the Yh interpolation unit 46 are added to each other. The three primary color pixel data of the high resolution wide band signal is generated (step 122).

【００７０】なお、空間サンプル点の周辺に位置する４
画素（それぞれ２つの撮像手段３０Ｘ、３０Ｙより得ら
れる画素）の加算により生成することができる。すなわ
ち、Ｓ＝Ｙｅ＋Ｍｇ＋Ｃｙ＋Ｇ＝３Ｇ＋２Ｒ＋２ＢをＨ
ＰＦ（高域通過）処理することによってＹｈ信号を生成
することが可能である。ここで、水平、垂直又は対角方
向の相関を検出して相関のある方向の重み付け加算をす
るとさらによい。It should be noted that 4 located around the spatial sample point
It can be generated by adding pixels (pixels obtained from the two image pickup units 30X and 30Y, respectively). That is, S = Ye + Mg + Cy + G = 3G + 2R + 2B is set to H
It is possible to generate a Yh signal by performing PF (high pass) processing. Here, it is more preferable to detect the correlation in the horizontal, vertical or diagonal directions and perform weighted addition in the directions having the correlation.

【００７１】ステップ１２４では、ステップ１２２の高
解像度広帯域信号生成処理によって得られた画像データ
に対して周波数領域で見た場合、信号処理を施すことに
よってより画素データの帯域を広帯域化している。広帯
域化する方法も各種ある。In step 124, when the image data obtained by the high-resolution wideband signal generation processing in step 122 is viewed in the frequency domain, the bandwidth of the pixel data is broadened by performing signal processing. There are various methods to widen the band.

【００７２】この広帯域化画素データの各データから輝
度データＹ、色差データ（Ｒ−Ｙ）、（Ｒ−Ｂ）（又は
Ｃｒ、Ｃｂ）へと信号出力形式の変換がなされると共
に、画像として表示した際の品質をより高くする信号処
理がなされる。すなわち、静止画においても動画と同様
に従来からの静止画処理を活用して、高品質の信号処理
を行うことができる。The signal output format is converted from each of the wide band pixel data to the luminance data Y and the color difference data (RY), (RB) (or Cr, Cb), and is displayed as an image. Signal processing is performed to further improve the quality of the process. In other words, even with a still image, high-quality signal processing can be performed by utilizing conventional still image processing as with moving images.

【００７３】次にステップ１２６では、これらの信号処
理によって得られた輝度データＹ、色差データ（Ｒ−
Ｙ）、（Ｒ−Ｂ）が図１に示す圧縮／伸張部３８、シス
テムバス１６を介して記録再生部４０やモニタ４２にそ
れぞれ供給される。この供給に際してシステム制御部１
８は、表示と記録の場合に応じて圧縮／伸張部３８に異
なる制御をするようにしてもよい。この制御としては、
例えば、信号処理したこれらのデータを表示させる場
合、圧縮／伸張部３８はスルー処理し、すでに記録済み
の圧縮データを再生する場合、圧縮／伸張部３８は圧縮
データに伸張処理を施してモニタ４２に出力する手順と
がある。Next, at step 126, the luminance data Y and the color difference data (R-
Y) and (RB) are supplied to the recording / reproducing unit 40 and the monitor 42 via the compression / expansion unit 38 and the system bus 16 shown in FIG. 1, respectively. At the time of this supply, the system control unit 1
8 may control the compression / expansion unit 38 differently depending on the case of display and recording. For this control,
For example, when displaying these signal-processed data, the compression / decompression unit 38 performs through processing, and when reproducing already recorded compressed data, the compression / decompression unit 38 performs decompression processing on the compressed data and monitors 42. There is a procedure to output to.

【００７４】また、撮像して信号処理されたこれらデー
タを記録する場合、圧縮／伸張部３８は、例えば、ＪＰ
ＥＧといった圧縮処理を施し（ステップ１２６）、情報
量を減少させて半導体メモリ、光記録媒体、磁気記録媒
体、又は光磁気記録媒体等を含む記録再生部４０に供給
される。そして、ステップ１２８では、圧縮されたデー
タが記録再生部４０の記録媒体に記録される。このと
き、圧縮前の画像を間引いてモニタ４２に表示させる
と、撮像タイミングでの取り込んだ画像の良否もチェッ
クすることができる。この圧縮前の画像を外部の高品位
なモニタに供給すると、従来の補間した画像に比べても
一層高い画質の画像を表示することができることは言う
までもない。この記録処理の後、上述したステップ１１
４へ移行する。When recording the image-captured and signal-processed data, the compression / decompression unit 38 uses, for example, JP
A compression process such as EG is performed (step 126), the amount of information is reduced, and the information is supplied to the recording / reproducing unit 40 including a semiconductor memory, an optical recording medium, a magnetic recording medium, a magneto-optical recording medium, or the like. Then, in step 128, the compressed data is recorded on the recording medium of the recording / reproducing unit 40. At this time, if the uncompressed images are thinned out and displayed on the monitor 42, it is possible to check the quality of the captured image at the imaging timing. Needless to say, if the image before compression is supplied to an external high-quality monitor, it is possible to display an image with higher image quality than the conventional interpolated image. After this recording process, step 11 described above is performed.
Go to 4.

【００７５】ステップ１１４では、撮影を終了、電源オ
フか否か判定している。撮影を継続する場合には、判定
が否定されたステップ１００に戻って、上述の処理が繰
り返される。また、判定が肯定されて撮影が終了された
場合、一連の処理が終了される。In step 114, it is determined whether the photographing is finished and the power is off. In the case of continuing shooting, the process returns to step 100 where the determination is negative and the above processing is repeated. If the determination is affirmative and the shooting is ended, the series of processes is ended.

【００７６】なお、上記の実施の形態では、２つの撮像
手段３０Ｘ、３０Ｙの色フィルタ配列を図８に示すよう
に配置し、それぞれを合成して完全色差順次配列となる
ようにしたが、これに限るものではなく、例えば、２つ
の撮像手段３０Ｘ、３０Ｙの色フィルタ配列を図１１
（Ａ）、（Ｂ）に示すように配置し、それぞれを合成し
て図１２に示すように色差順次配列となるようにしても
よい。すなわち、図１１（Ａ）に示す色フィルタ配置パ
ターンは、Ｃｙ、Ｍｇの補色系の２色を用いる。この配
置パターンは、正方格子７０の４隅にＣｙの色フィルタ
セグメントを配置し、正方格子７０の何れかのＣｙの色
フィルタセグメントを中心に配置すると共に、正方格子
７０に対して水平及び垂直方向にピッチの半分の距離ず
れた正方格子７２の４隅がＭｇとなるように色フィルタ
セグメントを配置する。また、図１１（Ｂ）に示す色フ
ィルタ配置パターンは、Ｙｅ、Ｇの補色系の２色を用い
る。この配置パターンは、正方格子７４の４隅にＹｅの
色フィルタセグメントを配置し、正方格子７４の何れか
のＹｅの色フィルタセグメントを中心に配置すると共
に、正方格子７４に対して水平及び垂直方向にピッチの
半分の距離ずれた正方格子７６の４隅がＧとなるように
色フィルタセグメントを配置する。In the above embodiment, the color filter arrays of the two image pickup means 30X and 30Y are arranged as shown in FIG. 8 and the respective color filters are combined to form a complete color difference sequential array. For example, the color filter arrays of the two image pickup means 30X and 30Y are not limited to those shown in FIG.
It is also possible to arrange them as shown in (A) and (B) and combine them to form a color difference sequential array as shown in FIG. That is, the color filter arrangement pattern shown in FIG. 11A uses two colors of complementary colors of Cy and Mg. In this arrangement pattern, the Cy color filter segments are arranged at the four corners of the square lattice 70, one of the Cy color filter segments of the square lattice 70 is arranged at the center, and the horizontal and vertical directions with respect to the square lattice 70. The color filter segments are arranged so that the four corners of the square lattice 72 displaced by a distance of half the pitch are Mg. The color filter arrangement pattern shown in FIG. 11B uses two complementary colors of Ye and G. In this arrangement pattern, Ye color filter segments are arranged at the four corners of the square lattice 74, and any Ye color filter segment of the square lattice 74 is arranged at the center, and the horizontal and vertical directions with respect to the square lattice 74 are arranged. The color filter segments are arranged so that the four corners of the square lattice 76 displaced by a distance of half the pitch are G.

【００７７】このように、それぞれの撮像手段３０Ｘ、
３０Ｙの色フィルタＣＦを配置して、それぞれの撮像手
段３０Ｘ、３０Ｙより得られる画素データを合成するこ
とにより、図１２に示すような色差順次配列の画素デー
タを得ることができる。In this way, the respective image pickup means 30X,
By disposing the color filter CF of 30Y and synthesizing the pixel data obtained from the respective image pickup means 30X and 30Y, it is possible to obtain the pixel data of the color difference sequential array as shown in FIG.

【００７８】また、上記の実施の形態では、２つの撮像
手段３０Ｘ、３０Ｙを用いてそれぞれの撮像手段３０
Ｘ、３０Ｙより得られる画像データを合成するようにし
たが、２つの撮像手段に限るものではなく、例えば、３
つ以上の撮像手段を用いるようにしてもよい。例えば、
３つ以上の撮像手段を用いて各色が重複しないように３
つ以上の撮像手段より得られる画像データを合成するこ
とにより、完全色差順次配列または色差順次配列の画像
データを得ることが可能である。Further, in the above embodiment, the two image pickup means 30X and 30Y are used and the respective image pickup means 30 are used.
Although the image data obtained from X and 30Y are combined, the number of image pickup means is not limited to two.
You may make it use one or more imaging means. For example,
Use three or more imaging means so that the colors do not overlap.
By combining image data obtained from one or more image pickup means, it is possible to obtain image data having a perfect color difference sequential arrangement or a color difference sequential arrangement.

【００７９】[0079]

【発明の効果】以上説明したように本発明によれば、複
数の受光素子が２次元的に配列された受光部における単
位受光部中心が非正方格子配列とされ、光入射側に補色
の色フィルタが設けられた２つの撮像手段に、同一被写
体像を結像して、それぞれの撮像手段より得られる非正
方格子配列の画像データにおけるそれぞれの受光部中心
位置を重ね合わせることにより、撮像手段の各々の受光
素子の各々の位置が重複しない正方格子配列の画像デー
タとなるように合成するので、非正方格子配列の２つの
撮像手段それぞれより得られる画素データにおける仮想
画素がそれぞれの撮像手段より得られる画像データによ
り補間されて、静止画や動画に拘わらず虚画素補間処理
を行うことなく高解像度な正方格子配列の画像データを
得ることができ、補色の色フィルタにより撮像手段の感
度を高感度化できるので、静止画、動画共に汎用性のあ
る高解像度な画像データを得ることができると共に、高
感度な撮像ができる、という効果がある。As described above, according to the present invention, the center of the unit light receiving portion in the light receiving portion in which a plurality of light receiving elements are two-dimensionally arranged is a non-square lattice arrangement, and a complementary color is formed on the light incident side. The same image of the subject is formed on the two image pickup means provided with the filters, and the center positions of the respective light receiving portions in the image data of the non-square lattice array obtained by the respective image pickup means are overlapped, whereby the image pickup means Since the light receiving elements are combined so as to form image data of a square lattice array in which the respective positions do not overlap, virtual pixels in pixel data obtained by the two image capturing means of the non-square lattice array are obtained by the respective image capturing means. Interpolated by the image data to be obtained, it is possible to obtain high-resolution square lattice array image data without performing imaginary pixel interpolation processing regardless of a still image or a moving image, Since the sensitivity of the imaging means by the color color filter can sensitivity, a still image, it is possible to obtain a high-resolution image data having versatility video both can highly sensitive imaging, there is an effect that.

【図面の簡単な説明】[Brief description of drawings]

【図１】本発明の実施の形態に係るデジタルスチルカメ
ラの概略的な構成を示すブロック図である。FIG. 1 is a block diagram showing a schematic configuration of a digital still camera according to an embodiment of the present invention.

【図２】本発明の実施の形態に係るデジタルスチルカメ
ラにおけるＤＳＰの概略的な構成を示すブロック図であ
る。FIG. 2 is a block diagram showing a schematic configuration of a DSP in the digital still camera according to the embodiment of the present invention.

【図３】本発明の実施の形態に係るデジタルスチルカメ
ラにおける撮像手段の受光部を入射光の入射側から見た
色フィルタ、受光素子の開口部、及び転送路の関係を示
す模式図である。FIG. 3 is a schematic diagram showing a relationship between a color filter, an opening of a light receiving element, and a transfer path when a light receiving unit of an image pickup unit in a digital still camera according to an embodiment of the present invention is viewed from an incident light incident side. .

【図４】撮像手段の入射光の分光エネルギー、比視感度
特性及び測定した際の波長依存の分光エネルギーの関係
を表すグラフである。FIG. 4 is a graph showing the relationship between the spectral energy of incident light of the image pickup means, the relative luminous efficiency characteristic, and the wavelength-dependent spectral energy when measured.

【図５】入射光を（Ａ）原色撮像と、（Ｂ）補色撮像し
た際の波長に対する相対感度を表すグラフである。FIG. 5 is a graph showing relative sensitivities with respect to wavelengths of (A) primary color imaging and (B) complementary color imaging of incident light.

【図６】入射光を（Ａ）原色撮像と、（Ｂ）補色撮像し
た際における最大感度で正規化した波長に対する相対感
度を表すグラフである。FIG. 6 is a graph showing relative sensitivities with respect to wavelengths normalized by maximum sensitivity in (A) primary color imaging and (B) complementary color imaging of incident light.

【図７】完全色差順次配列を示す色配列を示す図であ
る。FIG. 7 is a diagram showing a color arrangement showing a complete color difference sequential arrangement.

【図８】本発明の実施の形態に係るデジタルスチルカメ
ラにおける２つの撮像手段に適用する色フィルタ配列を
示す図である。FIG. 8 is a diagram showing a color filter array applied to two image pickup means in the digital still camera according to the embodiment of the present invention.

【図９】本発明の実施の形態に係るデジタルスチルカメ
ラの動作の一例を示すメインフローチャートである。FIG. 9 is a main flowchart showing an example of the operation of the digital still camera according to the embodiment of the present invention.

【図１０】メインフローチャートにおける自動制御演算
処理を表すフローチャートである。FIG. 10 is a flowchart showing an automatic control calculation process in the main flowchart.

【図１１】本発明の実施の形態に係るデジタルスチルカ
メラにおける２つの撮像手段に適用する色フィルタ配列
の他の例を示す図である。FIG. 11 is a diagram showing another example of a color filter array applied to two image pickup means in the digital still camera according to the embodiment of the present invention.

【図１２】色差順次配列を示す色配列を示す図である。FIG. 12 is a diagram showing a color arrangement showing a color difference sequential arrangement.

【符号の説明】[Explanation of symbols]

３０ 撮像部 ３０Ｘ、３０Ｙ 撮像手段 ３０Ｚ ハーフミラー ３６ ＤＳＰ ６２、６４、６６、６８、７０、７２、７４、７６
正方格子 ＣＦ 色フィルタ ＰＤ 受光素子30 image pickup unit 30X, 30Y image pickup unit 30Z half mirror 36 DSP 62, 64, 66, 68, 70, 72, 74, 76
Square lattice CF Color filter PD Light receiving element

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 4M118 AB01 BA10 GC07 GC09 GC11 GD03 5C024 CX06 CX38 CX41 EX17 EX18 EX41 EX52 GY01 HX18 HX28 HX51 5C065 AA01 AA03 BB48 CC03 CC07 CC09 DD02 EE01 EE02 EE07 GG15 GG18 GG21    ─────────────────────────────────────────────────── ─── Continued front page    F-term (reference) 4M118 AB01 BA10 GC07 GC09 GC11                       GD03                 5C024 CX06 CX38 CX41 EX17 EX18                       EX41 EX52 GY01 HX18 HX28                       HX51                 5C065 AA01 AA03 BB48 CC03 CC07                       CC09 DD02 EE01 EE02 EE07                       GG15 GG18 GG21

Claims (5)

【特許請求の範囲】[Claims] 【請求項１】 光電変換する複数の受光素子が２次元的
に配列された受光部における単位受光部配列が非正方格
子配列とされ、光入射側に補色の色フィルタが設けられ
た２つの撮像手段と、 前記２つの撮像手段の各々に同一被写体像を結像するよ
うに入射光を案内する案内手段と、 前記２つの撮像手段のそれぞれの光電変換により得られ
る非正方格子配列の画像データにおけるそれぞれの前記
受光部中心位置を重ね合わせることにより、前記撮像手
段の各々の受光素子の各々の位置が重複しない正方格子
配列の画像データとなるように合成する合成手段と、 を含む固体撮像装置。1. An image pickup device, in which a plurality of light receiving elements for photoelectric conversion are two-dimensionally arranged, a unit light receiving section array is a non-square grid array, and two color filters of complementary colors are provided on a light incident side. Means, guide means for guiding the incident light so as to form the same subject image on each of the two image pickup means, and image data of a non-square lattice array obtained by photoelectric conversion of each of the two image pickup means. A solid-state imaging device comprising: a superimposing unit that superimposes the center positions of the respective light-receiving units so that the respective light-receiving elements of the image-capturing unit are combined so as to form image data of a square lattice array that does not overlap. 【請求項２】 前記合成後の正方格子配列の画像データ
における色配列が完全色差順次配列となるように前記２
つの撮像手段の補色フィルタを配列することを特徴とす
る請求項１に記載の固体撮像装置。2. The color arrangement in the image data of the square grid arrangement after the combination is set to the perfect color difference sequential arrangement.
The solid-state image pickup device according to claim 1, wherein complementary color filters of one image pickup means are arranged. 【請求項３】 一方の前記撮像手段に設けられた補色の
色フィルタ配列は、シアンの色フィルタを４隅に配置す
る正方格子と、水平方向に隣接する色フィルタが同色で
かつ対角の組がマゼンタ及びグリーンの色フィルタとな
るように配置すると共に、前記シアンの色フィルタの何
れかが中心となるように水平及び垂直方向にそれぞれず
らした正方格子と、を含む配列とし、 他方の前記撮像手段に設けられた補色の色フィルタ配列
は、イエローの色フィルタを４隅に配置する正方格子
と、水平方向に隣接する色フィルタが同色かつ対角の組
がグリーン及びマゼンタの色フィルタとなるように配置
すると共に、前記イエローの色フィルタの何れかが中心
となるように水平及び垂直にずらした正方格子と、を含
む配列とすることを特徴とする請求項２に記載の固体撮
像装置。3. The complementary color filter array provided in one of the image pickup means is a combination of a square grid having cyan color filters arranged at four corners and a color filter adjacent in the horizontal direction having the same color and diagonal. Are arranged so as to be magenta and green color filters, and a square lattice horizontally and vertically shifted so that either of the cyan color filters is at the center, and an array including The complementary color filter array provided in the means is such that a square lattice in which yellow color filters are arranged at four corners and color filters adjacent in the horizontal direction have the same color and diagonal pairs are green and magenta color filters. And a square lattice that is horizontally and vertically shifted so that any one of the yellow color filters is at the center. The solid-state imaging device according to. 【請求項４】 前記合成後の正方格子配列の画像データ
における色配列が色差順次配列となるように前記２つの
撮像手段の補色フィルタを配列することを特徴とする請
求項１に記載の固体撮像装置。4. The solid-state image pickup according to claim 1, wherein the complementary color filters of the two image pickup means are arranged such that the color arrangement in the image data of the square lattice arrangement after the combination is a color difference sequential arrangement. apparatus. 【請求項５】 一方の前記撮像手段に設けられた補色の
色フィルタ配列は、シアンの色フィルタを４隅に配置す
る正方格子と、マゼンタの色フィルタを４隅に配置する
と共に、前記シアンの色フィルタの何れかが中心となる
ように水平及び垂直方向にそれぞれずらした正方格子
と、を含む配列とし、 他方の前記撮像手段に設けられた補色の色フィルタ配列
は、イエローの色フィルタを４隅に配置する正方格子
と、グリーンの色フィルタを４隅に配置すると共に、前
記イエローの色フィルタの何れかが中心となるように水
平及び垂直方向にそれぞれずらした正方格子と、を含む
配列とすることを特徴とする請求項４に記載の固体撮像
装置。5. The complementary color filter array provided in one of the image pickup means has a square grid in which cyan color filters are arranged at four corners and a magenta color filter at four corners, and the cyan An array including a square lattice that is shifted in the horizontal and vertical directions so that any one of the color filters is at the center, and the complementary color filter array provided in the other image pickup unit includes four yellow color filters. An array including a square lattice arranged in a corner and a square lattice arranged in four corners of a green color filter and horizontally and vertically shifted so that any one of the yellow color filters is a center; The solid-state imaging device according to claim 4, wherein