JP2000316167A - Color image pickup element and device - Google Patents

Abstract

PROBLEM TO BE SOLVED: To provide a color image pickup element and device for substantially solving the problem of generating color moire fringes caused by a periodic coding array, for realizing miniaturization, low costs and color image pickup with high resolution, and for sharply increasing an image pickup dynamic range. SOLUTION: This color image pickup device is provided with a CCD image pickup element 4 having a six color random array in which a color coding array fulfills an array limiting condition that an arbitrary pixel under consideration is made adjacent to pixels in the five colors other than the color of the pixel under consideration at the four sides or four angles of the pixel under consideration, and in which the six colors constituting the six color random array are constituted of three primary colors with two sensitivities for each color, a digital process circuit 7 which performs color separation processing based on a random color coding array, and a storage means constituted of a mask ROM or EEPROM 17 which stores array data related to the random color coding array.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【０００１】[0001]

【発明の属する技術分野】この発明は、色モアレの発生
を防止できるようにしたカラー撮像素子及びそのカラー
撮像素子を用いたカラー撮像装置に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a color image pickup device capable of preventing occurrence of color moire and a color image pickup device using the color image pickup device.

【０００２】[0002]

【従来の技術】一般に、撮像管及び固体撮像素子に代表
される撮像素子は、撮像装置に広く用いられている。特
に、単管又は単板（Single Sensor)カラー撮像装置に使
用されるカラー撮像素子は、１つの撮像素子でカラー撮
像装置を構成できるため、色分離プリズムが不要でレン
ズの小型化が可能であり、またレジストレーションに代
表される多板式の各種調整の必要がなく、更に消費電力
が小さいなど多くの特徴を有し、カラー撮像装置の小型
化・消電力化に多くの貢献を果しており、特に固体撮像
素子であるカラーＣＣＤ撮像素子を用いた単板カラーカ
メラは、撮像装置の主流となっている。2. Description of the Related Art Generally, an image pickup device represented by an image pickup tube and a solid-state image pickup device is widely used in an image pickup apparatus. In particular, a color image pickup device used for a single tube or a single plate (Single Sensor) color image pickup device can constitute a color image pickup device with one image pickup device, so that a color separation prism is not required and the lens can be miniaturized. In addition, there is no need for various adjustments of a multi-plate type represented by registration, and it has many features such as low power consumption, and has made many contributions to miniaturization and power consumption reduction of color imaging devices. A single-chip color camera using a color CCD image pickup device, which is a solid-state image pickup device, has become a mainstream imaging device.

【０００３】上記カラー撮像素子は、いずれも一つの受
光面で色情報を得るため、ストライプフィルタ又はモザ
イクフィルタなどと称される色フィルタを用いて、受光
平面内で色変調（色コーディング）を行っている。すな
わち、例えばＲＧＢ３色のフィルタを所定の規則的配列
で各光電変換素子（画素）上に張り付けることで、各画
素毎に異なる分光感度を持たせている。従って、被写体
撮像によって得られた映像信号には、このフィルタ配列
にしたがった点順次の色情報が含まれているから、上記
所定の配列にしたがって各色フィルタに対応した信号毎
に分離して、その分離した信号を取り出すことにより色
情報が取り出せる。輝度信号（Ｙ信号）を得るためには
ＲＧＢ情報が全て必要であるから、１画素の輝度情報を
得るためには最低３画素（ＲＧＢ各１画素ずつ）を必要
とし、輝度解像度は犠牲になるものの一つの撮像素子で
カラー撮像を行うことができるようになっている。In order to obtain color information on one light receiving surface, each of the above color image pickup devices performs color modulation (color coding) in a light receiving plane using a color filter called a stripe filter or a mosaic filter. ing. That is, for example, by attaching filters of three colors of RGB in a predetermined regular arrangement on each photoelectric conversion element (pixel), each pixel has a different spectral sensitivity. Therefore, since the video signal obtained by subject imaging contains dot-sequential color information according to the filter array, the video signal is separated into signals corresponding to the respective color filters in accordance with the above-described predetermined array. By extracting the separated signal, color information can be extracted. In order to obtain a luminance signal (Y signal), all of the RGB information is required. To obtain the luminance information of one pixel, at least three pixels (one for each of RGB) are required, and the luminance resolution is sacrificed. However, color imaging can be performed with one imaging device.

【０００４】上記フィルタ配列には、ＲＧＢストライ
プ、ベイヤ型ＲＧＢモザイク（各種あり）などの３原色
フィルタ、ＹｅＭｇＣｙストライプ、ＹｅＭｇＣｙＷ４
色モザイク、ＹｅＭｇＣｙＧ４色モザイクなどの補色フ
ィルタ等、多種多様の色コーディングパターンが提案さ
れて実用化されている。The above filter arrangement includes three primary color filters such as an RGB stripe, a Bayer type RGB mosaic (various types), a YeMgCy stripe, and a YeMgCyW4.
Various color coding patterns, such as complementary color filters such as a color mosaic and a YeMgCyG four-color mosaic, have been proposed and put to practical use.

【０００５】[0005]

【発明が解決しようとする課題】本発明は、上記カラー
撮像素子の電気的構成（撮像管か固体撮像素子か、ある
いはＣＣＤか他のタイプかなど）や色コーディングの種
類（原色か補色か、あるいは３色か４色かなど）につい
ては、関わりなく有する本質的問題点を指摘し、その解
決手段を示すものであるから、以下の説明においては特
にことわらないない限り、その一例についてのみ取り上
げ、説明を行うこととする。SUMMARY OF THE INVENTION The present invention relates to an electric configuration of the above-mentioned color image pickup device (such as an image pickup tube or a solid-state image pickup device, or a CCD or another type) and a type of color coding (primary color or complementary color). Or three or four colors), which point out the essential problems that they have, regardless of which one they have, and suggest solutions to them. In the following description, only one example will be used unless otherwise specified. , Will be described.

【０００６】上記従来の色コーディング配列の中、ＲＧ
Ｂベイヤ配列の一例を図５の（Ａ），（Ｂ）に基づいて
説明する。ＲＧＢベイヤ配列は、図５の（Ａ）に示す２
×２の４画素を基本配列とし、この基本配列を図５の
（Ｂ）に示すように順次並べて平面を埋めつくすように
配列するものであって、ＲＧＢの各色への画素数の配分
比率を１：２：１として、輝度信号に対する寄与の大き
いＧの密度を高めることで輝度解像度を高くした点に特
徴があるものである。また、垂直及び水平の２方向に等
方的に配置しているので、ストライプフィルタと異なり
等方的な解像度が得られるようになっている。なお、図
５の（Ｂ）は任意の８×８＝64画素に関して例示してい
る。In the above conventional color coding arrangement, RG
An example of the B-Bayer array will be described with reference to FIGS. The RGB Bayer arrangement is the same as that shown in FIG.
The four pixels of × 2 are used as a basic array, and the basic arrays are sequentially arranged as shown in FIG. 5B so as to fill up the plane, and the distribution ratio of the number of pixels to each color of RGB is determined. The characteristic is that the luminance resolution is increased by increasing the density of G that greatly contributes to the luminance signal as 1: 2: 1. In addition, since it is isotropically arranged in two directions, vertical and horizontal, an isotropic resolution can be obtained unlike a stripe filter. FIG. 5B illustrates an example of arbitrary 8 × 8 = 64 pixels.

【０００７】しかしながら、ベイヤ配列においては上記
のように規則的な配列を用いているため、その配列によ
る空間サンプリングに基づいた偽解像、いわゆる色モア
レの発生を伴うという大きな問題を有していた。すなわ
ち、本来色のない白黒被写体において上記配列周期と同
じ周期の輝度変化（白黒パターン）を有する周期的被写
体が存在した場合、例えば１水平ラインとしてＲＧ行に
着目しＲで白、Ｇで黒であったとすると、輝度変化のな
い赤い被写体から得られる信号と同等の信号が出力され
るため、本来は存在しない色出力を生じてしまう。この
ような縞模様状の繰り返しパターンによって生じた偽色
信号すなわち色モアレは、いわゆる周波数折り返し（エ
リアジング）によって低周波域に生ずるため、後段の色
帯域抑圧を含めた電気的フィルタ処理等によっても取り
除くことができない。However, since the Bayer array uses a regular array as described above, there is a serious problem that false resolution based on spatial sampling by the array, that is, so-called color moire occurs. . That is, when there is a periodic subject having a luminance change (monochrome pattern) having the same cycle as the above-described arrangement cycle in a black and white subject having no color, for example, paying attention to the RG row as one horizontal line, R is white and G is black. If so, a signal equivalent to a signal obtained from a red subject having no change in luminance is output, so that a color output that does not exist originally occurs. Since a false color signal, that is, a color moiré, generated by such a striped repetition pattern is generated in a low frequency region by so-called frequency aliasing (aliasing), the false color signal can also be obtained by an electrical filtering process including color band suppression in a subsequent stage. It cannot be removed.

【０００８】このため、従来の単板カラー撮像装置は、
画質確保のためには光学系に水晶などの光学ローパスフ
ィルタを必須としており、これが小型化や低コスト化の
大きな制約となるばかりか、それでもなお残存する色モ
アレによる画質劣化は避けられなかった。For this reason, the conventional single-chip color image pickup device is
In order to ensure image quality, an optical low-pass filter such as quartz is essential for the optical system, which not only imposes a great restriction on miniaturization and cost reduction, but also inevitably causes image quality deterioration due to remaining color moiré.

【０００９】一方この問題とは別に、従来の撮像装置に
おいては被写体に対する撮像ダイナミックレンジ（輝度
再現域）の確保については特別な考慮がなされておら
ず、輝度分布が高輝度から低輝度まで輝度レンジの大き
な被写体の撮影に際しては、白飛びや黒潰れを生じやす
いという問題点があった。[0009] On the other hand, apart from this problem, in the conventional imaging apparatus, no special consideration is given to securing the imaging dynamic range (luminance reproduction area) for the subject, and the luminance distribution ranges from high luminance to low luminance. When photographing a subject having a large size, there is a problem that overexposure and underexposure occur easily.

【００１０】この問題点に関して詳述すれば、撮像レン
ジは単純に撮像素子だけでは決まらず、それを使用した
撮像装置の信号処理も含めた全体で決まるが、少なくと
も高輝度側は撮像素子の飽和レベルが限界になり、低輝
度側は撮像装置に組み込まれた状態での撮像素子出力の
ノイズレベルが限界になるから、少なくともそれを超え
た撮像レンジを得ることはできない。従来、一般的な撮
像素子を用いて撮像装置を構成した場合の撮像素子の光
電変換特性は、例えば図６で模式的に示されるようなも
のであった。To describe this problem in detail, the image pickup range is not simply determined by the image pickup device alone, but is determined by the whole including the signal processing of the image pickup device using the image pickup device. Since the level becomes the limit and the noise level of the image sensor output in the state of being incorporated in the image pickup device on the low luminance side becomes the limit, it is impossible to obtain an image pickup range at least exceeding the limit. Conventionally, the photoelectric conversion characteristics of an imaging device when an imaging device is configured using a general imaging device are, for example, those schematically shown in FIG.

【００１１】図６において、横軸は入射光量を、縦軸は
信号レベルをそれぞれ対数的に示している。また、図中
ＵＬは高輝度側限界レベルを、ＬＬは低輝度側限界レベ
ルをそれぞれ示しており、ＵＬは撮像素子の飽和レベル
にほぼ対応するレベルであり、一方ＬＬについてはノイ
ズレベルＮＬそのものではなく、ノイズと共存しても鑑
賞に堪える所定の限界Ｓ／Ｎ比を有する信号レベルとし
て定まる。そしてＵＬとＬＬの間が有効輝度域となり、
これらの（対数軸上での）差：Ｒange＝ＵＬ−ＬＬが撮
像ダイナミックレンジとなる。In FIG. 6, the horizontal axis represents the amount of incident light, and the vertical axis represents the signal level logarithmically. In the figure, UL indicates a high-luminance-side limit level, LL indicates a low-luminance-side limit level, and UL indicates a level substantially corresponding to the saturation level of the image sensor, whereas LL indicates a noise level NL itself. Instead, the signal level is determined as a signal level having a predetermined limit S / N ratio that allows the viewer to endure appreciation even when coexisting with noise. And, between UL and LL is the effective luminance range,
The difference between these (on the logarithmic axis): Range = UL-LL is the imaging dynamic range.

【００１２】この撮像ダイナミックレンジは、撮像装置
の設計製造によって異なるが、多くの場合５〜６ＥＶ
（30〜36dB）程度であり、更なる改善が望まれていた。
しかしながら、撮像素子の飽和レベルやノイズレベルの
改善には限界があり、実現が困難であるという問題があ
った。Although the imaging dynamic range varies depending on the design and manufacture of the imaging device, it is often 5 to 6 EV.
(30-36 dB), and further improvement was desired.
However, there is a limit to the improvement of the saturation level and noise level of the image sensor, and there is a problem that it is difficult to realize the improvement.

【００１３】本発明は、従来のカラー撮像装置における
上記周期的色コーディング配列に伴う問題を本質的に解
決すると共に撮像ダイナミックレンジを改善するために
なされたもので、周期的な輝度変化をもつ被写体でも色
モアレを発生させず、また撮像ダイナミックレンジを飛
躍的に向上させることができ、小型低コストで高画質な
カラー撮像の可能な撮像装置を提供すること、及びそれ
を可能とするカラー撮像素子を提供することを目的とす
る。請求項毎の目的を述べると、請求項１に係る発明
は、規則性を有しないランダムな色コーディング配列に
よる被写体撮像を行うことを可能とし、且つ全撮像領域
に亘って所定値以上の高解像度を確保すると共に画質性
能や機能を向上させることの可能なカラー撮像素子を提
供することを目的とする。請求項２に係る発明は、撮像
ダイナミックレンジを飛躍的に向上させることの可能な
カラー撮像素子を提供することを目的とする。請求項３
に係る発明は、請求項１又は２に係るカラー撮像素子を
用いて、該撮像素子のランダム色コーディング配列情報
に基づく色分離を行えるようにしたカラー撮像装置を提
供することを目的とする。請求項４に係る発明は、ラン
ダム色コーディング配列情報に基づく色分離を容易に且
つ確実に行うことができるカラー撮像装置を提供するこ
とを目的とする。請求項５に係る発明は、低コストで大
量製造することができるランダム色コーディング配列デ
ータを記憶する手段を備えたカラー撮像装置を提供する
ことを目的とする。請求項６に係る発明は、色コーディ
ング配列の異なるカラー撮像素子の色分離処理にも容易
に対応することが可能なカラー撮像装置を提供すること
を目的とする。SUMMARY OF THE INVENTION The present invention has been made to substantially solve the problems associated with the above-described periodic color coding arrangement in a conventional color imaging apparatus and to improve the imaging dynamic range. However, it is possible to provide a small, low-cost, and high-quality color image pickup apparatus that does not generate color moiré and can dramatically improve the image pickup dynamic range, and a color image pickup element that enables it. The purpose is to provide. To state the purpose of each claim, the invention according to claim 1 enables imaging of a subject by a random color coding arrangement having no regularity, and a high resolution equal to or higher than a predetermined value over the entire imaging region. It is an object of the present invention to provide a color imaging device capable of ensuring image quality and improving image quality performance and functions. A second object of the present invention is to provide a color imaging device capable of dramatically improving the imaging dynamic range. Claim 3
It is an object of the present invention to provide a color image pickup apparatus capable of performing color separation based on random color coding arrangement information of the image pickup element by using the color image pickup element according to claim 1 or 2. A fourth object of the present invention is to provide a color imaging apparatus capable of easily and reliably performing color separation based on random color coding arrangement information. A fifth object of the present invention is to provide a color image pickup apparatus having means for storing random color coding arrangement data which can be mass-produced at low cost. It is an object of the present invention to provide a color imaging apparatus which can easily cope with color separation processing of color imaging elements having different color coding arrangements.

【００１４】[0014]

【課題を解決するための手段】上記問題点を解決するた
め、請求項１に係る発明は、光電変換素子からなる画素
を複数個配列してなる画素群を有するカラー撮像素子で
あって、該カラー撮像素子の色コーディング配列は、任
意の着目画素が該着目画素の色以外の他の５色の画素と
該着目画素の４辺又は４角のいずれかにおいて隣接する
配列制限条件を満たす６色ランダム配列としてカラー撮
像素子を構成するものである。このように構成したカラ
ー撮像素子においては、周期性を有しないランダムな色
コーディング配列で被写体を撮像することができ、した
がって周期的な輝度変化をもつ被写体でも色モアレの発
生を防止することができる。そして、任意の着目画素が
該着目画素の色以外の他の５色の画素と該着目画素の４
辺又は４角のいずれかにおいて隣接するという配列制限
条件を満たす６色ランダム配列としているため、ランダ
ムでありながらも全ての撮像領域に亘って所定値以上の
高解像度を確保すると共に、画質性能や機能を向上させ
ることができる。According to a first aspect of the present invention, there is provided a color image sensor having a pixel group in which a plurality of pixels each including a photoelectric conversion element are arranged. The color coding arrangement of the color image pickup device is such that a given pixel of interest satisfies an array restriction condition that is adjacent to a pixel of another five colors other than the color of the pixel of interest on any of four sides or four corners of the pixel of interest. The color image sensor is configured as a random array. In the color imaging device configured as described above, a subject can be imaged in a random color coding arrangement having no periodicity, and therefore, even in a subject having a periodic luminance change, occurrence of color moiré can be prevented. . Then, an arbitrary pixel of interest is a pixel of five colors other than the color of the pixel of interest and 4 pixels of the pixel of interest.
Since a six-color random array that satisfies the array restriction condition of being adjacent at any of the sides or the four corners is used, a high-resolution equal to or higher than a predetermined value is secured over the entire imaging area while being random. Function can be improved.

【００１５】請求項２に係る発明は、請求項１に係るカ
ラー撮像素子において、前記６色ランダム配列を構成す
る６色は、１つの色（相対分光感度特性）に関してそれ
ぞれ２つの感度（絶対感度特性）を有する３原色である
ことを特徴とするものである。このように６色ランダム
配列における６色を、２つの感度を有する３原色で構成
することにより、撮像ダイナミックレンジを飛躍的に向
上させることができる。According to a second aspect of the present invention, in the color imaging device according to the first aspect, each of the six colors constituting the six-color random array has two sensitivities (absolute sensitivities) for one color (relative spectral sensitivity characteristic). (Primary characteristics). By configuring the six colors in the six-color random array with three primary colors having two sensitivities, the imaging dynamic range can be dramatically improved.

【００１６】請求項３に係る発明は、前記請求項１又は
２に係るカラー撮像素子を備え、該カラー撮像素子の出
力信号に対して該カラー撮像素子のランダム色コーディ
ング配列に基づく色分離処理を行う色分離手段を設けて
カラー撮像装置を構成するものである。このように構成
することにより、色モアレを発生させず所定値以上の高
解像度を備えると共に画質性能や機能を向上させること
ができ、且つ撮像ダイナミックレンジを飛躍的に向上さ
せることが可能なカラー撮像素子の色コーディング配列
情報に基づく色分離を、確実に行うことができるカラー
撮像装置を実現することができる。According to a third aspect of the present invention, there is provided the color image sensor according to the first or second aspect, wherein a color separation process based on a random color coding arrangement of the color image sensor is performed on an output signal of the color image sensor. The color image pickup apparatus is configured by providing a color separation unit for performing the color separation. With this configuration, it is possible to provide a high-resolution image having a predetermined value or more without causing color moiré, to improve image quality performance and functions, and to dramatically improve an imaging dynamic range. A color imaging device that can reliably perform color separation based on color coding arrangement information of elements can be realized.

【００１７】請求項４に係る発明は、請求項３に係るカ
ラー撮像装置において、前記色分離手段で色分離処理を
行うための、前記カラー撮像素子のランダム色コーディ
ング配列に関する配列データを記憶する記憶手段を備え
ていることを特徴とするものである。このようにカラー
撮像素子の色コーディング配列データを記憶する記憶手
段を備えることにより、ランダム色コーディング配列情
報に基づく色分離を容易に且つ確実に行うことができ
る。According to a fourth aspect of the present invention, in the color imaging device according to the third aspect, storage for storing array data relating to a random color coding array of the color imaging element for performing color separation processing by the color separation means. Means are provided. The provision of the storage means for storing the color coding arrangement data of the color image pickup device makes it possible to easily and reliably perform color separation based on the random color coding arrangement information.

【００１８】請求項５に係る発明は、請求項４に係るカ
ラー撮像装置において、前記記憶手段をマスクＲＯＭで
構成することを特徴とするものである。このように色コ
ーディング配列データの記憶手段としてマスクＲＯＭを
用いることにより、記憶手段をひいてはカラー撮像装置
を低コストで大量製造することが可能となる。According to a fifth aspect of the present invention, in the color imaging apparatus according to the fourth aspect, the storage means is constituted by a mask ROM. By using the mask ROM as the storage means of the color coding arrangement data, it becomes possible to mass-produce the storage means and hence the color image pickup device at low cost.

【００１９】請求項６に係る発明は、請求項４に係るカ
ラー撮像装置において、前記記憶手段をＥＥＰＲＯＭで
構成することを特徴とするものである。このように色コ
ーディング配列データの記憶手段としてＥＥＰＲＯＭを
用いることにより、色コーディング配列の異なるカラー
撮像素子の色分離処理にも容易に対応することが可能と
なる。According to a sixth aspect of the present invention, in the color imaging apparatus according to the fourth aspect, the storage means is constituted by an EEPROM. By using the EEPROM as the storage means of the color coding arrangement data, it is possible to easily cope with the color separation processing of the color imaging devices having different color coding arrangements.

【００２０】[0020]

【発明の実施の形態】次に実施の形態について説明す
る。図１は、本発明に係るカラー撮像素子を用いたカラ
ー撮像装置（ディジタルカメラ）の実施の形態を示すブ
ロック構成図である。図１において、１はレンズ系、２
はレンズ駆動機構、３は露出制御機構、４はＣＣＤ撮像
素子、５はＣＣＤドライバ、６はＡ／Ｄ変換器を含むプ
リプロセス回路、７はディジタルプロセス回路で、ハー
ドとしてメモリを含み、全てのディジタルプロセス処理
を行うものである。８はメモリカードインターフェー
ス、９はメモリカード、10はＬＣＤ画像表示系、11は主
たる構成としてマイコンを含むシステムコントローラ、
12は操作スイッチ系、13は操作表示系、14はストロボ、
15はレンズドライバ、16は露出制御ドライバ、17はＥＥ
ＰＲＯＭである。Next, an embodiment will be described. FIG. 1 is a block diagram showing an embodiment of a color imaging device (digital camera) using a color imaging device according to the present invention. In FIG. 1, 1 is a lens system, 2
Is a lens driving mechanism, 3 is an exposure control mechanism, 4 is a CCD image sensor, 5 is a CCD driver, 6 is a pre-processing circuit including an A / D converter, 7 is a digital processing circuit, and includes a memory as hardware, It performs digital process processing. 8 is a memory card interface, 9 is a memory card, 10 is an LCD image display system, 11 is a system controller including a microcomputer as a main configuration,
12 is an operation switch system, 13 is an operation display system, 14 is a strobe,
15 is a lens driver, 16 is an exposure control driver, 17 is EE
PROM.

【００２１】図１に示した実施の形態においてカラー撮
像素子として用いているＣＣＤ撮像素子４のランダム配
列の色フィルタ配列例を図２に示す。このＣＣＤ撮像素
子の画素数は、任意ではあるが仮に 100万画素程度を想
定しており、図２においては、中央部分の８×８＝64画
素に対応するフィルタ配列だけを表示している。以下の
説明では、このようなランダム配列を得るための手順を
具体的に説明するものであり、図示はあくまでもこの理
解を助けるためのものであり、この程度の領域の図示で
充分理解されるであろう。（また、ランダム配列が本発
明の本質であるから、全領域のパターンを例示すること
は無意味且つ不可能でもある。）図２において、ＬＲは
Light Red ，ＤＲはDark Red，ＬＧはLight Green ，Ｄ
ＧはDarkGreen，ＬＢはLight Blue，ＤＢはDark Blue
をそれぞれ表し、それぞれ上記従来のベイヤ配列の撮像
素子のＲ，Ｇ，Ｂ各フィルタと同じ色（相対分光透過
率）のフィルタであるが、ＬＸはＸフィルタの２倍の透
過率、ＤＸはＸフィルタの１／２の透過率を有してい
る。（但しＸは、Ｒ，Ｇ，Ｂのいずれかを表すものとす
る。以下同じ。）このような色フィルタコーディング
を、以下では２濃度ＲＧＢ６色（省略して２濃度ＲＧＢ
又はＲＧＢ６色という）ランダムコーディングと称す
る。FIG. 2 shows an example of a random arrangement of color filters of the CCD image sensor 4 used as a color image sensor in the embodiment shown in FIG. The number of pixels of the CCD image pickup device is arbitrary, but is assumed to be about 1 million pixels. In FIG. 2, only the filter arrangement corresponding to 8 × 8 = 64 pixels at the center is shown. In the following description, a procedure for obtaining such a random sequence is specifically described, and the illustration is merely to assist the understanding, and the illustration of such a region is sufficiently understood. There will be. (In addition, since the random arrangement is the essence of the present invention, it is meaningless and impossible to exemplify the pattern of the entire region.) In FIG.
Light Red, DR is Dark Red, LG is Light Green, D
G is DarkGreen, LB is Light Blue, DB is Dark Blue
, And are filters of the same color (relative spectral transmittance) as the R, G, and B filters of the above-described conventional Bayer array image sensor. LX is twice the transmittance of the X filter, and DX is X. It has half the transmittance of the filter. (However, X represents any one of R, G, and B. The same applies to the following.) Such color filter coding is hereinafter referred to as two density RGB six colors (abbreviated as two density RGB).
Or it is called random coding (referred to as RGB 6 colors).

【００２２】次に、このようなコーディングを得るため
の手順例について説明する。このコーディングはランダ
ムコーディングであるから、各画素の色フィルタを決定
するために、２濃度ＲＧＢの６色にそれぞれ１面ずつを
割り当てたサイコロを使用してもよいのは勿論である
が、その煩雑さを減じるため表計算ソフトウェア等を用
いて、全画素配列に相当する表配列を準備する。そし
て、配列の各セルに数式ＭＯＤ（ＲＮＤ／６）（但し、
ＲＮＤは適当な桁数の乱数関数、ＭＯＤ（ｎ／ｄ）はｎ
をｄで除した剰余関数）を割り当てて得られた数値に対
して、例えば０→ＬＲ，１→ＬＧ，２→ＬＢ，３→Ｄ
Ｒ，４→ＤＧ，５→ＤＢを適用すればよい。Next, an example of a procedure for obtaining such coding will be described. Since this coding is random coding, it is of course possible to use dice in which one surface is assigned to each of the six colors of two density RGB in order to determine the color filter of each pixel. In order to reduce the size, a table array corresponding to all pixel arrays is prepared using spreadsheet software or the like. Then, the formula MOD (RND / 6) (where,
RND is a random number function with an appropriate number of digits, and MOD (n / d) is n
Is divided by d), and for the numerical value obtained by assigning, for example, 0 → LR, 1 → LG, 2 → LB, 3 → D
R, 4 → DG, 5 → DB may be applied.

【００２３】このようにして得られた配列は、統計学的
には通常は特に大きな偏りは持たないが、ただ１回の試
行によって得たものは確率的に低いとはいえ、極端に色
による画素数の多寡があったり、大面積にわたる特定色
の集中があったりする可能性を有している。あるいは、
従来例のような周期性を有したパターンになる可能性も
極めて低いが０ではない。従って、上記手法によって数
回の試行を行い複数の配列サンプルを得た上で、実写に
よる撮像試験（現実にはシミュレーションを用いるのが
好適）を行って、評価結果のよいものを採用することが
望ましい。The sequences obtained in this way usually do not have a statistically significant bias, but those obtained by a single trial are extremely stochastically low, although they are extremely low in color. There is a possibility that the number of pixels is large or small and a specific color is concentrated over a large area. Or,
The possibility of a pattern having periodicity as in the conventional example is extremely low, but is not zero. Therefore, after performing a plurality of trials by the above method to obtain a plurality of array samples, it is possible to perform an imaging test (actually, it is preferable to use a simulation) by a real photograph and adopt a sample having a good evaluation result. desirable.

【００２４】しかしながら、このような試行的なやり方
は、最終的な配列選択に際しては避けられないものであ
るとしても、設計当初から全て試行のみによることは、
一般的には設計効率を著しく低下させるものであって好
ましくない。あるいは試行によって得られた配列を評価
するに当たっても、良い撮像画質を得るためには、必須
となるような配列自体に要求される客観的な要件といっ
たものがあるはずで（極端な例として、全てが一つの色
の画素のみになってはならないことは自明である）、こ
のような条件を具体的に見出し、これを制限条件（判定
基準）として採用することが極めて有効である。However, even if such a trial method is inevitable in the final sequence selection, it is difficult to perform all trials from the beginning of design.
Generally, it is not preferable because it significantly lowers the design efficiency. Alternatively, even when evaluating an array obtained by trial, in order to obtain good image quality, there must be objective requirements required for the array itself which are essential (for extreme examples, all It is self-evident that the condition must not be a pixel of only one color.) It is extremely effective to specifically find such a condition and adopt this as a limiting condition (judgment criterion).

【００２５】具体的には、本実施の形態におけるＣＣＤ
撮像素子の２濃度ＲＧＢ６色ランダム配列は、任意の着
目画素が該着目画素のフィルタの色（自己の色）以外の
他の５色の画素と該着目画素の４辺又は４角のいずれか
において隣接するということを制約条件として採用して
いる。すなわち、仮に着目画素のフィルタの色（自己の
色）がＬＲであったとすれば、その上下左右及び斜め四
方の隣接８画素のうちにＬＧ，ＬＢ，ＤＲ，ＤＧ，ＤＢ
が少なくとも１画素ずつは含まれているという条件であ
る。この条件は、後述の色分離処理における最近接画素
情報による補完が、必ず上下左右及び斜め四方のいずれ
かの隣接画素によってなされることを保証するものであ
って、その結果として一定値以上の高解像度の確保を保
証するものである。図２の例において、周辺各１列の画
素は見かけ上上記条件を満たしていないものもあるが、
これは図示されてない更に外側の画素の存在によって条
件を満たしているものである。このような事情から、撮
像素子の光電変換面は、有効画像領域よりも４周それぞ
れにつき１〜数行（列）の余裕を見て、いわゆる捨て画
素領域（画像信号生成に関与するが、有効画像領域では
ない領域）を設けてある。More specifically, the CCD in the present embodiment
The two-density RGB 6-color random array of the image sensor has a structure in which an arbitrary pixel of interest is a pixel of the other five colors other than the filter color (own color) of the pixel of interest and any one of four sides or four corners of the pixel of interest. Adjacent is adopted as a constraint. That is, if the color (own color) of the filter of the pixel of interest is LR, LG, LB, DR, DG, DB
Is a condition that at least one pixel is included. This condition guarantees that complementation with the nearest pixel information in the color separation processing described later is always performed by any of the adjacent pixels in the up, down, left, right, and diagonal directions. This ensures the resolution. In the example of FIG. 2, some pixels in each peripheral row do not seem to satisfy the above condition,
This satisfies the condition by the presence of a further outer pixel not shown. Under such circumstances, the photoelectric conversion surface of the image sensor has a margin of one to several rows (columns) for each of the four turns than the effective image area, so that a so-called discarded pixel area (which is involved in image signal generation, (An area that is not an image area).

【００２６】なお、このような制約条件を満たす配列
は、上記完全にランダムな配列を試行により多数用意
し、それを上記条件で検定することによっても、あるい
は例えば表計算等のソフトウェア処理による配列生成に
当たって、予め制約条件を課した上で生成することによ
っても、いずれでも得ることができる。The sequence satisfying such a constraint condition can be prepared by preparing a large number of completely random sequences by trial and testing them under the above conditions, or by generating a sequence by software processing such as a spreadsheet. In this case, any of them can be obtained by imposing constraints beforehand and generating them.

【００２７】さて、このようなランダムカラーフィルタ
配列を備えたＣＣＤ撮像素子４を用いたカラー撮像装置
（ディジタルカメラ）においては、従来のカメラと同様
に信号を読み出して処理し、撮像画像をメモリカード９
に記録、あるいはＬＣＤ画像表示系10に表示する。従来
と異なる動作は色分離処理であるが、その処理は、ディ
ジタルプロセス回路７がシステムコントローラ11の制御
下において行うようになっている。無論、色分離処理と
は、基本的には対応色信号の存在しない画素（例えば従
来のＲＧＢフィルタ撮像素子を用いたＢ信号生成処理に
おけるＲフィルタ画素など）に対する近隣画素情報等を
用いた信号補完処理であって、この点に関しては従来と
何等変わるところはない。しかしながら従来の色分離
が、ＣＣＤ撮像素子の規則的色コーディングに対応し
て、順列に基づいた規則的サンプリングを行いホールド
回路等を用いた単純な補完や、更に必要に応じて画素間
の加算減算等を行っていた（具体的な処理についてはア
ナグロ処理、ディジタル処理、混成処理等多種にわた
る）のに対して、本発明において適用するランダムコー
ディングは規則性がないので、このような処理はできな
い。そこで、使用するＣＣＤ撮像素子の各画素に関して
のフィルタコーディングデータ（上記図２に相当する全
画素のフィルタテーブル）を参照して、色分離処理を行
う。このコーディングデータはＥＥＰＲＯＭ17に記憶さ
れており、使用するＣＣＤ撮像素子の色コーディングが
異なる場合にも対応できるようになっている。In a color image pickup apparatus (digital camera) using the CCD image pickup device 4 having such a random color filter array, signals are read out and processed in the same manner as in a conventional camera, and the picked-up image is stored in a memory card. 9
Or displayed on the LCD image display system 10. An operation different from the conventional one is a color separation process, which is performed by the digital process circuit 7 under the control of the system controller 11. Needless to say, color separation processing basically means signal complementation using pixel information adjacent to pixels that do not have a corresponding color signal (for example, R filter pixels in a B signal generation process using a conventional RGB filter image sensor). This is a process, and there is no difference in this point from the conventional one. However, in the conventional color separation, regular sampling based on permutation is performed in accordance with the regular color coding of the CCD image pickup device, and simple complementation using a hold circuit or the like, and addition and subtraction between pixels as necessary. (Specific processing includes various types such as analog processing, digital processing, and hybrid processing), but the random coding applied in the present invention has no regularity, and thus such processing cannot be performed. Therefore, the color separation process is performed with reference to the filter coding data (the filter table of all the pixels corresponding to FIG. 2) for each pixel of the CCD image sensor to be used. This coding data is stored in the EEPROM 17, so that it is possible to cope with the case where the color coding of the CCD image pickup device used is different.

【００２８】これとは別に従来の処理と大きく異なる点
は、言うまでもなくＲ，Ｇ，Ｂ各色に感度の異なる２種
類の画素が存在していることであって、撮像素子から読
み出される画素情報信号の光電変換特性は、Ｒ，Ｇ，Ｂ
の各色間の感度の違いをさておけば、Ｒ，Ｇ，Ｂのいず
れかである着目する色Ｘ（ＬＸ，ＤＸ）については、図
３に示すようなものとなっている。すなわち、従来の色
Ｘの特性をＬＸ，ＤＸの各フィルタ透過率の違いに相当
する分だけ左右に平行移動させたものになっている。
（図３の基準感度線Ａは従来の色Ｘの有効輝度域の光電
変換特性に対応する補助線である。）Apart from this, a significant difference from the conventional processing is, needless to say, that there are two types of pixels having different sensitivities for each of R, G, and B colors, and a pixel information signal read from the image pickup device. The photoelectric conversion characteristics of R, G, B
Considering the difference in sensitivity between the colors, the target color X (LX, DX), which is one of R, G, and B, is as shown in FIG. That is, the characteristics of the conventional color X are shifted in the horizontal direction by an amount corresponding to the difference between the transmittances of the filters LX and DX.
(The reference sensitivity line A in FIG. 3 is a conventional auxiliary line corresponding to the photoelectric conversion characteristic in the effective luminance range of the color X.)

【００２９】そして、本実施の形態に係るカラー撮像装
置における色信号の生成処理は従来のものとは異なり、
各色Ｘに対応するＸ信号はＬＸ画素情報とＤＸ画素情報
との２種の画素情報から生成される。具体的な各Ｘ信号
の生成処理は以下のようにして行われる。但し、Ｙ画素
とはＬＸ，ＤＸ以外の４種の画素（例えばＸ＝Ｇの時、
ＬＲ，ＤＲ，ＬＢ，ＤＢのいずれか）を示す。The color signal generation processing in the color image pickup apparatus according to the present embodiment is different from the conventional one.
An X signal corresponding to each color X is generated from two types of pixel information, LX pixel information and DX pixel information. The specific process of generating each X signal is performed as follows. However, Y pixels are four types of pixels other than LX and DX (for example, when X = G,
LR, DR, LB, or DB).

【００３０】ＬＸ画素： （１）自己（着目画素）の画素情報信号がＵＬ（ＬＸ）
より小さい値の時→自己の画素情報信号の値の１／２の
値をＸ信号値とする。 （２）自己の画素情報信号がＵＬ（ＬＸ）以上の時→自
己に隣接するＤＸ画素（少なくとも１つ存在する）の画
素情報信号の値を判定した結果によって、（２−Ａ）そ
れがＬＬ（ＤＸ）より大きくＵＬ（ＤＸ）より小さい時
→そのＤＸ画素の値（複数ある場合はその代表値）の２
倍の値をＸ信号値とする。 （２−Ｂ）その全てがＬＬ（ＤＸ）以下又はＵＬ（Ｄ
Ｘ）以上の時→自己の画素情報信号の値の１／２の値を
Ｘ信号値とする。LX pixel: (1) The pixel information signal of the self (pixel of interest) is UL (LX)
When the value is smaller → A value of の of the value of the own pixel information signal is set as the X signal value. (2) When its own pixel information signal is equal to or greater than UL (LX) → Based on the result of determining the value of the pixel information signal of the DX pixel (at least one existing) adjacent to itself, (2-A) When greater than (DX) and less than UL (DX) → 2 of the value of the DX pixel (or the representative value if there are a plurality)
Let the double value be the X signal value. (2-B) All of them are equal to or less than LL (DX) or UL (D
X) or more → A value of 画素 of the value of the own pixel information signal is set as the X signal value.

【００３１】ＤＸ画素： （１）自己の画素情報信号がＬＬ（ＤＸ）より大きい値
の時→自己の画素情報信号の値の２倍の値をＸ信号値と
する。 （２）自己の画素情報信号がＬＬ（ＤＸ）以下の時→自
己に隣接するＬＸ画素（少なくとも１つ存在する）の画
素情報信号の値を判定した結果によって、（２−Ａ）そ
れがＬＬ（ＬＸ）より大きくＵＬ（ＬＸ）より小さい時
→そのＬＸ画素の値（複数ある場合はその代表値）の１
／２の値をＸ信号値とする。 （２−Ｂ）その全てがＬＬ（ＬＸ）以下又はＵＬ（Ｌ
Ｘ）以上の時→自己の画素情報信号の値の２倍の値をＸ
信号値とする。DX pixel: (1) When its own pixel information signal has a value larger than LL (DX) → Two times the value of its own pixel information signal is set as the X signal value. (2) When its own pixel information signal is equal to or less than LL (DX) → Based on the result of determining the value of the pixel information signal of the LX pixel (at least one existing) adjacent to itself, (2-A) When it is larger than (LX) and smaller than UL (LX) → 1 of the value of the LX pixel (the representative value when there are a plurality of pixels)
/ 2 is defined as the X signal value. (2-B) All of them are equal to or less than LL (LX) or UL (L
X) or more → Double the value of the pixel information signal of itself to X
Let it be a signal value.

【００３２】Ｙ画素：自己に隣接するＸ画素（ＬＸ画素
又はＤＸ画素：これは少なくとも２つ存在する）の出力
するＸ信号値（但し、上記条件（１）を満足するものを
優先し、これが複数ある場合はその代表値）を自己のＸ
信号値とする。なお、上記複数の値から「代表値」を得
ることに関しては、選択法（例えば必ず下より上且つ右
より左を選択する。解像度が高い。）あるいは補間法
（平均値を算出する。擬似信号の発生レベルが小さ
い。）のいずれを用いてもよい。Y pixel: X signal value output by an X pixel (LX pixel or DX pixel: at least two of which are present) adjacent to itself (however, the one that satisfies the above condition (1) is prioritized, and If there is more than one, its representative value is
Let it be a signal value. In order to obtain the “representative value” from the plurality of values, a selection method (for example, always select a value higher than below and a value left than right; resolution is high) or an interpolation method (calculate an average value. Is low.) May be used.

【００３３】上記のような色分離処理の結果得られた色
信号は、全画素に関する同時化されたＲＧＢ３原色信号
として、従来のＲＧＢ３原色信号と同様に後段の回路で
処理され、最終的にメモリカード９に記録、あるいはＬ
ＣＤ画像表示系10に表示される。なお、この後段の回路
における処理は、その必要に応じて適宜使用されるそれ
自体は公知の、例えば色バランス処理、マトリクス演算
による輝度−色差信号への変換あるいはその逆変換処
理、帯域制限等による偽色除去あるいは低減処理、γ変
換に代表される各種非線型処理、各種情報圧縮処理、等
々である。The color signals obtained as a result of the above-described color separation processing are processed as a synchronized RGB three-primary-color signal for all the pixels by a subsequent circuit in the same manner as a conventional RGB three-primary-color signal, and finally are stored in a memory. Recorded on card 9 or L
The image is displayed on the CD image display system 10. The processing in the circuit at the subsequent stage is appropriately used according to the necessity, and is known per se, for example, by color balance processing, conversion into a luminance-color difference signal by matrix operation or inverse conversion processing thereof, band limitation, and the like. False color removal or reduction processing, various non-linear processing represented by γ conversion, various information compression processing, and the like.

【００３４】上記Ｘ信号生成処理において、条件（１）
とは要するにＬＸ，ＤＸ画素それぞれについて「所定の
撮像レンジ（有効輝度域）に収まっている場合は、その
画素の情報をそのまま使用する」ということであり、そ
の際各画素が従来技術におけるＸ相当の「基準となる感
度に対して有している感度差を所定の係数を乗じて（す
なわちディジタルゲイン調節を行って）補償」している
ものである。したがって、ＬＸ，ＤＸ共通のレンジ内の
被写体に関しては、ＬＸ，ＤＸが個別のＸ画素として機
能した高解像度のＸ（ＲＧＢ）信号が得られる。In the X signal generation processing, the condition (1)
In short, this means that if the LX and DX pixels are within the predetermined imaging range (effective luminance range), the information of the pixel is used as it is. In this case, each pixel corresponds to X in the related art. Is compensated by multiplying a sensitivity difference with respect to a reference sensitivity by a predetermined coefficient (that is, by performing digital gain adjustment). Therefore, for a subject within the common range of LX and DX, a high-resolution X (RGB) signal in which LX and DX function as individual X pixels is obtained.

【００３５】これに対して条件（２−Ａ）は、「自己の
画素情報信号がレンジを逸脱している場合、隣接の他方
のＸが逸脱していない場合はそれで補完する」ことを意
味している。すなわち、どちらか一方の画素のレンジで
のみカバーされる高輝度や低輝度の被写体部分」に関し
ては、画素密度が半分になった状態でのＸ信号が得られ
ることになるが、この場合の補完は必ず隣接画素によっ
て行われる。したがって、Ｙ画素における補完の条件と
同じであり、解像度の劣化は極めて小さい。On the other hand, the condition (2-A) means that “if the pixel information signal deviates from the range, if the other X adjacent does not deviate, complement it with it”. ing. That is, for the "high-luminance or low-luminance object portion covered only by one of the pixel ranges," an X signal in a state where the pixel density is reduced to half is obtained. Is always performed by adjacent pixels. Accordingly, the condition is the same as the complement condition for the Y pixel, and the deterioration of the resolution is extremely small.

【００３６】この場合、従来のＸを基準にとると、ＬＸ
は２倍、ＤＸは１／２の感度であるから、それぞれ低輝
度側、高輝度側に１ＥＶ（６dB）ずつ撮像レンジがシフ
トしたことになり、合わせて２ＥＶ（12dB）撮像レンジ
が拡大したことになる。従来の撮像素子を用いた場合
に、ダイナミックレンジ：Ｒange＝６ＥＶ（36dB）が限
界であったとすれば、本実施の形態によって８ＥＶ（48
dB）の広ダイナミックレンジの撮像装置を得ることがで
きる。In this case, based on the conventional X, LX
Is twice as high and DX is half the sensitivity, so the imaging range has been shifted by 1 EV (6 dB) to the low-luminance side and high-luminance side, respectively, and the 2 EV (12 dB) imaging range has been expanded accordingly. become. Assuming that the dynamic range: Range = 6 EV (36 dB) is the limit in the case of using the conventional image pickup device, according to the present embodiment, 8 EV (48
An imaging device having a wide dynamic range (dB) can be obtained.

【００３７】上記のような色信号の生成処理によって得
られる総合特性を図４に示す。この総合特性は、上記デ
ィジタルゲイン調節によって、ＬＸ，ＤＸの２つの特性
が上下に平行移動して一つに重なった特性となってい
る。ＥＵＬ，ＥＬＬ等はそれぞれ拡大された高輝度、低
輝度の限界レベルである。FIG. 4 shows the overall characteristics obtained by the above-described color signal generation processing. The overall characteristic is a characteristic in which the two characteristics of LX and DX are moved in parallel up and down and overlapped by the digital gain adjustment. EUL, ELL, and the like are enlarged high luminance and low luminance limit levels, respectively.

【００３８】なお、この場合、上記共通レンジ（より高
解像度の得られるレンジ）は４ＥＶあるが、上記のとお
り解像度劣化の影響は小さいから、上記フィルタ透過率
及びゲイン調節の係数を変えて共通レンジがほぼ０にな
るように設定したものを変形例として挙げておく。この
変形例によれば、12ＥＶ（72dB）の飛躍的に広い撮像ダ
イナミックレンジを得ることが可能になる。In this case, the above-mentioned common range (a range in which higher resolution can be obtained) is 4 EV. However, since the influence of the resolution degradation is small as described above, the common range is changed by changing the coefficient of the filter transmittance and the gain adjustment. Are set as approximately 0 as a modified example. According to this modification, it is possible to obtain a remarkably wide imaging dynamic range of 12 EV (72 dB).

【００３９】上記のようにＲＧＢ各信号のダイナミック
レンジが拡大するから、被写体撮像に関して直接的に効
果を発揮し、輝度再現域並びに色再現域が飛躍的に拡大
すると共に、低輝度部でのＳ／Ｎ向上の結果、視覚的な
色忠実度も向上する。As described above, since the dynamic range of each of the RGB signals is expanded, the effect is directly exerted with respect to the imaging of the subject, the luminance reproduction area and the color reproduction area are greatly expanded, and the S in the low luminance area is increased. As a result, the visual color fidelity is also improved.

【００４０】一方条件（２−Ｂ）は、「ＬＧ，ＤＧいず
れの撮像レンジも逸脱している場合は、本来の画素の情
報をそのまま（ゲイン調節は行い）使用する」ことを意
味している。したがって、拡大された総合レンジをも逸
脱する被写体（例えば解像度チャートのような完全な白
黒パターン）に対しては、再び画素密度が高い状態での
撮像が可能になっている。On the other hand, the condition (2-B) means that when the imaging range of both LG and DG deviates, the original pixel information is used as it is (gain adjustment is performed). . Therefore, for a subject (for example, a complete black and white pattern such as a resolution chart) that also deviates from the enlarged overall range, it is possible to capture an image with a high pixel density again.

【００４１】そして、この際撮像によって生じる偽色に
関して考察すると、白黒のナイフエッジや孤立的な白点
（線）等の被写体に関しては、当然ながら平面的なカラ
ーコーディングの影響で従来のコーディングと同様に偽
色を生じる。しかしながら、これらはいずれも孤立的に
発生する（偽の）色点や色線であって、その主要エネル
ギーは高周波域に分布しているから、従来公知の電気的
フィルタ処理等の手法で除去あるいは低減することが可
能である。そして、従来最大の問題であった縞模様状の
繰り返しパターンの撮像に関しては、コーディングがラ
ンダムであるため、少なくとも低周波に折返った低域の
偽色（色モアレ）は発生せず、本実施の形態においては
上記除去あるいは低減可能な孤立的な偽色の発生にとど
まるものである。従って本実施の形態においては、従来
この種のディジタルカメラにおいて必須であった光学ロ
ーパスフィルタを使用していないにも関わらず、視覚的
に問題となる偽色がほとんど発生せず高画質が得られ
る。Considering the false color caused by the imaging at this time, it is obvious that the subject such as a black-and-white knife edge and an isolated white point (line) is subjected to the flat color coding as well as the conventional coding. Produces false color. However, these are all isolated (false) color points and color lines, and their main energy is distributed in a high frequency range. It is possible to reduce. In the imaging of a striped repetitive pattern, which has been the biggest problem in the past, since coding is random, at least a low-frequency false color (color moiré) folded to a low frequency does not occur. In the embodiment, only the generation of the isolated false color that can be removed or reduced is described above. Therefore, in the present embodiment, a high quality image can be obtained with virtually no false colors that are visually problematic despite the fact that an optical low-pass filter, which is conventionally required in this type of digital camera, is not used. .

【００４２】しかも、色分離処理における最近接画素情
報による補完が、必ず上下左右又は斜め四方のいずれか
の隣接画素によってなされるから、画素のぼけの最大値
すなわちＰＳＦ（点像分布関数）の幅の最大値は、上記
共通レンジを逸脱している領域を含めても、少なくとも
水平垂直方向に関しては３画素にとどまり、「従来のベ
イヤ配列で色分離の際の補完に１画素でなく周辺画素の
平均値を用いた場合」と比較して、Ｇ情報で同程度、Ｒ
Ｂ情報に関しては２倍程度の解像度を確保することがで
きる。しかも、これは純粋な画素サンプリングによる効
果のみの比較であるが、更に光学ローパスフィルタを使
用していないから、これによるレスポンスの低下がな
く、従来解像不可能であった周波数領域にまで解像度を
拡大することが可能になる。Further, since the nearest pixel information in the color separation processing is always complemented by any one of adjacent pixels in the vertical, horizontal, or oblique directions, the maximum value of the pixel blur, that is, the width of the point spread function (PSF). Is limited to three pixels at least in the horizontal and vertical directions, even if the area deviates from the common range described above. In the case of using the average value, the G information
About twice the resolution of the B information can be secured. Moreover, this is a comparison of only the effect of pure pixel sampling, but since the optical low-pass filter is not used, there is no reduction in response and the resolution can be reduced to the frequency range where resolution was impossible in the past. It is possible to expand.

【００４３】以上本発明について上記実施の形態に基づ
いて説明を行ったが、上記実施の形態には様々な変形例
が考えられる。まず、上記実施の形態では、コーディン
グデータはＥＥＰＲＯＭ17に記憶されており、使用する
ＣＣＤ撮像素子のコーディングが異なる場合にも対応で
きるようになっていたものを示した。ＣＣＤ撮像素子は
量産ばらつきに起因して１個毎に異なる画素欠陥データ
等を必要とする場合も多いから、このためのメモリを兼
用する上からも、ＥＥＰＲＯＭを用いることは利点とな
り得るが、一方通常一つの撮像装置本体に対して適用さ
れる撮像素子は一種（量産ばらつきを除けば同一）であ
り、特にカラーコーディングを変える必要もないから、
コーディングデータ自身は全て同じデータを用いること
ができる。この点に着目すれば、上記ＥＥＰＲＯＭはマ
スクＲＯＭに置き換えることが可能である。マスクＲＯ
Ｍに置き換えた場合、より低コストに構成することがで
きる。そしてまた、いずれの態様の場合も、システムコ
ントローラ11の有するマイクロコンピュータのプログラ
ム格納メモリと兼用することが可能であることは言うま
でもない。Although the present invention has been described based on the above embodiment, various modifications can be considered for the above embodiment. First, in the above embodiment, the coding data is stored in the EEPROM 17 so that it is possible to cope with the case where the coding of the CCD image pickup device used is different. In many cases, CCD image sensors require different pixel defect data due to variations in mass production. Therefore, the use of an EEPROM can be advantageous from the viewpoint of using the memory for this purpose as well. Usually, the type of imaging device applied to one imaging device body is the same (the same except for mass production variation), and there is no need to change color coding.
The coding data itself can use the same data. Focusing on this point, the EEPROM can be replaced with a mask ROM. Mask RO
When replaced with M, it can be configured at lower cost. Further, in any case, it is needless to say that the memory can be used also as the program storage memory of the microcomputer of the system controller 11.

【００４４】また、上記実施の形態において示した「ラ
ンダムコーディングを得るための手順」は、あくまでも
一例に過ぎず、ランダムコーディング自体は任意の方法
によって得ることができる。すなわち、当該カラーコー
ディング配列が、従来公知であった規則的配列とは異な
り、光電変換素子配列の少なくとも数画素〜数十画素以
上の所定の領域に着目したときに顕著な規則的（周期
的）構造を有しておらず、その結果として従来の規則的
配列によって生じる縞模様状の繰り返しパターン入力に
対する低域偽色の発生が低減したならば、その配列は本
発明におけるランダム色コーディング配列となる。The “procedure for obtaining random coding” described in the above embodiment is merely an example, and the random coding itself can be obtained by any method. That is, unlike the conventionally known regular arrangement, the color coding arrangement is noticeably regular (periodic) when focusing on a predetermined area of at least several pixels to several tens of pixels of the photoelectric conversion element arrangement. If it does not have a structure and consequently reduces the occurrence of low-frequency false colors for a striped repetitive pattern input caused by a conventional regular arrangement, that arrangement will be a random color coding arrangement in the present invention. .

【００４５】また、上記実施の形態において、各ＬＸフ
ィルタの透過率は従来のＸフィルタの２倍として説明を
行ったが、従来のＸフィルタのピーク波長における透過
率が50％以上の場合はこれは実現不可能である。この問
題に対する解決を示すために、仮想的に従来のＸフィル
タのピーク波長透過率が 100％であった場合を想定し
て、変形例を挙げておく。すなわちＬＸフィルタを従来
のＸフィルタと同じ透過率とし、ＤＸフィルタを１／４
の透過率とする例である。（ゲイン補正の数値も対応し
て変えることはいうまでもない。以下の例でも同じ。）
この場合、Ｘ信号の撮像レンジは高輝度側にのみ２ＥＶ
拡大することになる。なお、上記実施の形態とこの変形
例に従って、各Ｘフィルタのピーク波長透過率に関し
て、これら２つの例の中間の値は勿論任意の値に対して
も、本発明を自明的に容易に適用することができる。ま
た上記実施の形態及びその変形例では、各Ｘ（ＲＧＢ）
フィルタに対してＬ及びＤの相対的透過率設定は同じ値
としたものを示したが、ＲＧＢ毎に異なる値を用いても
よいことは明らかで、任意の値に対しても本発明を自明
的に容易に適用することができる。Further, in the above-described embodiment, the description has been made assuming that the transmittance of each LX filter is twice that of the conventional X filter. However, if the transmittance of the conventional X filter at the peak wavelength is 50% or more, this is not applied. Is not feasible. In order to show a solution to this problem, a modified example will be given on the assumption that the peak wavelength transmittance of the conventional X filter is virtually 100%. That is, the LX filter has the same transmittance as the conventional X filter, and the DX filter has
It is an example in which the transmittance is set to. (It goes without saying that the numerical value of the gain correction also changes correspondingly. The same applies to the following examples.)
In this case, the imaging range of the X signal is 2 EV only on the high luminance side.
It will expand. According to the above-described embodiment and this modified example, the present invention can be easily and clearly applied to any value as well as an intermediate value between these two examples with respect to the peak wavelength transmittance of each X filter. be able to. In the above-described embodiment and its modified example, each X (RGB)
Although the relative transmittance settings of L and D are set to the same value for the filter, it is clear that different values may be used for each of RGB, and the present invention is obvious for any value. It can be easily applied.

【００４６】また、上記実施の形態あるいは変形例にお
ける透過率等の数字は、あくまでも一例であり、必要に
応じて任意に変更し得ることは言うまでもない。Further, the numerical values of the transmittance and the like in the above-described embodiment or modified examples are merely examples, and it goes without saying that they can be arbitrarily changed as needed.

【００４７】更にまた、上記実施の形態あるいは変形例
では６色ランダムコーディングとして２濃度ＲＧＢ６色
ランダムコーディングを用いたものを示したが、例えば
減色混合の３原色であるＹｅＭｇＣｙ（通称：補色）フ
ィルタを用いた２濃度ＹｅＭｇＣｙ３原色ランダムコー
ディングでもよい。また、ＲＧＢ３原色フィルタに色再
現改善用のｎＧ（狭帯域緑フィルタ）、高感度用のＷ
（フィルタなし）、赤外域撮像用ＩＲ（可視光カットフ
ィルタ）を加えた６色を用いて高画質多機能の同時実現
を図ることもできる。すなわち、任意の６色コーディン
グに応用することができる。更にいわゆる光学的なフィ
ルタを使用せず、撮像素子自体の素子構造で分光特性を
異ならしめ、色コーディングを施したものであってもよ
い。Further, in the above-described embodiment or the modified example, the one using the two-density RGB six-color random coding as the six-color random coding is described. For example, a YeMgCy (commonly called complementary color) filter that is the three primary colors of the subtractive color mixing is used. The used two density YeMgCy three primary color random coding may be used. Further, nG (narrow band green filter) for improving color reproduction and W for high sensitivity are provided in the RGB three primary color filters.
Simultaneous realization of high image quality and multiple functions can be achieved by using 6 colors including an IR (visible light cut filter) for infrared imaging (no filter). That is, it can be applied to any six-color coding. Further, a color coding may be performed without using a so-called optical filter, but with different spectral characteristics depending on the element structure of the imaging element itself.

【００４８】[0048]

【発明の効果】以上実施の形態に基づいて説明したよう
に、本発明によれば周期的色コーディング配列に伴う問
題を本質的に解決し、周期的な輝度変化をもった被写体
でも色モアレを発生しない小型低コストで高画質なカラ
ー撮像の可能なカラー撮像素子及びカラー撮像装置を得
ることができ、特に請求項１に係る発明によれば、周期
性を有しないランダムな色コーディング配列による被写
体撮像を行うことを可能とし、しかも任意の着目画素が
該着目画素の色以外の他の５色の画素と該着目画素の４
辺又は４角のいずれかにおいて隣接するという配列制限
条件を満たす６色ランダム配列としているので、色モア
レを発生させず且つ全撮像領域に亘って所定値以上の高
解像度を確保でき、また画質性能や機能を向上させるこ
とができるカラー撮像素子を実現することができる。ま
た請求項２に係る発明によれば、６色ランダム配列にお
ける６色を２つの感度を有する３原色で構成しているの
で、撮像ダイナミックレンジを飛躍的に向上させること
ができる。また請求項３に係る発明によれば、色モアレ
を発生させず所定値以上の高解像度を備えると共に画質
性能や機能を向上させることができ、且つ撮像ダイナミ
ックレンジを飛躍的に向上させることが可能なカラー撮
像素子の、色コーディング配列情報に基づく色分離を確
実に行うことができるカラー撮像装置を実現することが
できる。また請求項４に係る発明によれば、カラー撮像
素子のランダム色コーディング配列データを記憶する記
憶手段を備えているので、ランダム色コーディング配列
情報に基づく色分離を容易に且つ確実に行うことができ
る。また請求項５に係る発明によれば、色コーディング
配列データの記憶手段としてマスクＲＯＭを用いている
ので、記憶手段をひいてはカラー撮像装置を低コストで
大量製造することが可能となる。また請求項６に係る発
明によれば、色コーディング配列データの記憶手段とし
てＥＥＰＲＯＭを用いているので、色コーディング配列
の異なるカラー撮像素子の色分離処理にも容易に対応す
ることが可能となる。As described above with reference to the embodiments, according to the present invention, the problem associated with the periodic color coding arrangement is essentially solved, and the color moiré can be reduced even in a subject having a periodic luminance change. It is possible to obtain a color image pickup device and a color image pickup apparatus capable of performing high-quality color image pickup at a small size and at low cost without generation of a subject. In particular, according to the invention according to claim 1, a subject having a random color coding arrangement having no periodicity It is possible to perform imaging, and an arbitrary pixel of interest is a pixel of five colors other than the color of the pixel of interest and 4 pixels of the pixel of interest.
Since it is a six-color random array that satisfies the array restriction condition of being adjacent on either side or four corners, color moire does not occur, and a high resolution equal to or higher than a predetermined value can be secured over the entire imaging area, and image quality performance And a color imaging device capable of improving functions. According to the second aspect of the present invention, since six colors in the six-color random array are composed of three primary colors having two sensitivities, the imaging dynamic range can be significantly improved. According to the third aspect of the present invention, it is possible to provide a high resolution not less than a predetermined value without color moiré, to improve image quality performance and functions, and to dramatically improve an imaging dynamic range. It is possible to realize a color imaging device capable of reliably performing color separation based on color coding arrangement information of a simple color imaging device. According to the fourth aspect of the present invention, since the storage means for storing the random color coding arrangement data of the color imaging device is provided, color separation based on the random color coding arrangement information can be easily and reliably performed. . According to the fifth aspect of the present invention, since the mask ROM is used as the storage means of the color coding arrangement data, it becomes possible to mass-produce the storage means and hence the color image pickup device at low cost. According to the invention of claim 6, since the EEPROM is used as the storage means for the color coding arrangement data, it is possible to easily cope with the color separation processing of the color image pickup devices having different color coding arrangements.

【図面の簡単な説明】[Brief description of the drawings]

【図１】本発明に係るカラー撮像素子及びカラー撮像装
置の実施の形態を示すブロック構成図である。FIG. 1 is a block diagram showing an embodiment of a color imaging device and a color imaging device according to the present invention.

【図２】図１に示した実施の形態におけるＣＣＤ撮像素
子のランダム色フィルタ配列の一例を示す図である。FIG. 2 is a diagram showing an example of a random color filter array of the CCD image sensor in the embodiment shown in FIG.

【図３】本発明の実施の形態におけるＣＣＤ撮像素子か
ら読み出される画素情報信号の光電変換特性を示す図で
ある。FIG. 3 is a diagram showing a photoelectric conversion characteristic of a pixel information signal read from a CCD image pickup device according to the embodiment of the present invention.

【図４】本発明の実施の形態における色信号の生成処理
によって得られる総合特性を示す図である。FIG. 4 is a diagram illustrating overall characteristics obtained by a color signal generation process according to the embodiment of the present invention.

【図５】ＲＧＢベイヤ配列の基本配列と全体配列の一例
を示す図である。FIG. 5 is a diagram showing an example of a basic array and an overall array of an RGB Bayer array.

【図６】一般的な撮像素子の光電変換特性を示す図であ
る。FIG. 6 is a diagram illustrating a photoelectric conversion characteristic of a general imaging element.

【符号の説明】[Explanation of symbols]

１ レンズ系 ２ レンズ駆動機構 ３ 露出制御機構 ４ ＣＣＤ撮像素子 ５ ＣＣＤドライバ ６ プリプロセス回路 ７ ディジタルプロセス回路 ８ メモリカードインターフェース ９ メモリカード 10 ＬＣＤ画像表示系 11 システムコントローラ 12 操作スイッチ系 13 操作表示系 14 ストロボ 15 レンズドライバ 16 露出制御ドライバ 17 ＥＥＰＲＯＭ DESCRIPTION OF SYMBOLS 1 Lens system 2 Lens drive mechanism 3 Exposure control mechanism 4 CCD image sensor 5 CCD driver 6 Pre-process circuit 7 Digital process circuit 8 Memory card interface 9 Memory card 10 LCD image display system 11 System controller 12 Operation switch system 13 Operation display system 14 Strobe 15 Lens driver 16 Exposure control driver 17 EEPROM

Claims (6)

【特許請求の範囲】[Claims] 【請求項１】 光電変換素子からなる画素を複数個配列
してなる画素群を有するカラー撮像素子であって、該カ
ラー撮像素子の色コーディング配列は、任意の着目画素
が該着目画素の色以外の他の５色の画素と該着目画素の
４辺又は４角のいずれかにおいて隣接する配列制限条件
を満たす６色ランダム配列であることを特徴とするカラ
ー撮像素子。1. A color imaging device having a pixel group formed by arranging a plurality of pixels composed of photoelectric conversion elements, wherein a color coding arrangement of the color imaging device is such that an arbitrary pixel of interest has a color other than the color of the pixel of interest. A six-color random array that satisfies an array restriction condition adjacent to the pixel of the other five colors on either the four sides or the four corners of the pixel of interest. 【請求項２】 前記６色ランダム配列を構成する６色
は、１つの色に関してそれぞれ２つの感度を有する３原
色であることを特徴とする請求項１に係るカラー撮像素
子。2. The color imaging device according to claim 1, wherein the six colors forming the six-color random array are three primary colors each having two sensitivities for one color. 【請求項３】 前記請求項１又は２に係るカラー撮像素
子を備え、該カラー撮像素子の出力信号に対して該カラ
ー撮像素子のランダム色コーディング配列に基づく色分
離処理を行う色分離手段を有していることを特徴とする
カラー撮像装置。3. A color image pickup device comprising the color image pickup device according to claim 1 and a color separation unit for performing a color separation process on an output signal of the color image pickup device based on a random color coding arrangement of the color image pickup device. A color imaging device, comprising: 【請求項４】 前記色分離手段で色分離処理を行うため
の、前記カラー撮像素子のランダム色コーディング配列
に関する配列データを記憶する記憶手段を備えているこ
とを特徴とする請求項３に係るカラー撮像装置。4. A color according to claim 3, further comprising storage means for storing array data relating to a random color coding array of said color image pickup device for performing color separation processing by said color separation means. Imaging device. 【請求項５】 前記記憶手段は、マスクＲＯＭで構成さ
れていることを特徴とする請求項４に係るカラー撮像装
置。5. The color imaging apparatus according to claim 4, wherein said storage means is constituted by a mask ROM. 【請求項６】 前記記憶手段は、ＥＥＰＲＯＭで構成さ
れているこを特徴とする請求項４に係るカラー撮像装
置。6. The color imaging apparatus according to claim 4, wherein said storage means is constituted by an EEPROM.