JP2000299871A - Color image pickup element and color image pickup device - Google Patents
Color image pickup element and color image pickup deviceInfo
- Publication number
- JP2000299871A JP2000299871A JP11107371A JP10737199A JP2000299871A JP 2000299871 A JP2000299871 A JP 2000299871A JP 11107371 A JP11107371 A JP 11107371A JP 10737199 A JP10737199 A JP 10737199A JP 2000299871 A JP2000299871 A JP 2000299871A
- Authority
- JP
- Japan
- Prior art keywords
- color
- image pickup
- coding
- array
- random
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000926 separation method Methods 0.000 claims abstract description 25
- 238000003384 imaging method Methods 0.000 claims description 43
- 238000012545 processing Methods 0.000 claims description 20
- 238000003860 storage Methods 0.000 claims description 14
- 238000006243 chemical reaction Methods 0.000 claims description 7
- 238000000034 method Methods 0.000 abstract description 12
- 239000003086 colorant Substances 0.000 abstract description 8
- 230000000737 periodic effect Effects 0.000 abstract description 8
- 230000008569 process Effects 0.000 abstract description 5
- 230000008859 change Effects 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 230000000295 complement effect Effects 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000003252 repetitive effect Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000004042 decolorization Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 239000010453 quartz Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- VYPSYNLAJGMNEJ-UHFFFAOYSA-N silicon dioxide Inorganic materials O=[Si]=O VYPSYNLAJGMNEJ-UHFFFAOYSA-N 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Landscapes
- Exposure Control For Cameras (AREA)
- Color Television Image Signal Generators (AREA)
Abstract
Description
【0001】[0001]
【発明の属する技術分野】この発明は、色モアレの発生
を防止できるようにしたカラー撮像素子及びそのカラー
撮像素子を用いたカラー撮像装置に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a color image pickup device capable of preventing occurrence of color moire and a color image pickup device using the color image pickup device.
【0002】[0002]
【従来の技術】一般に、撮像管及び固体撮像素子に代表
される撮像素子は、撮像装置に広く用いられている。特
に、単管又は単板(Single Sensor)カラー撮像装置に使
用されるカラー撮像素子は、1つの撮像素子でカラー撮
像装置を構成できるため、色分離プリズムが不要でレン
ズの小型化が可能であり、またレジストレーションに代
表される多板式の各種調整の必要がなく、更に消費電力
が小さいなど多くの特徴を有し、カラー撮像装置の小型
化・消電力化に多くの貢献を果しており、特に固体撮像
素子であるカラーCCD撮像素子を用いた単板カラーカ
メラは、撮像装置の主流となっている。2. Description of the Related Art Generally, an image pickup device represented by an image pickup tube and a solid-state image pickup device is widely used in an image pickup apparatus. In particular, a color image pickup device used for a single tube or a single plate (Single Sensor) color image pickup device can constitute a color image pickup device with one image pickup device, so that a color separation prism is not required and the lens can be miniaturized. In addition, there is no need for various adjustments of a multi-plate type represented by registration, and it has many features such as low power consumption, and has made many contributions to miniaturization and power consumption reduction of color imaging devices. A single-chip color camera using a color CCD image pickup device, which is a solid-state image pickup device, has become a mainstream imaging device.
【0003】上記カラー撮像素子は、いずれも一つの受
光面で色情報を得るため、ストライプフィルタ又はモザ
イクフィルタなどと称される色フィルタを用いて、受光
平面内で色変調(色コーディング)を行っている。すな
わち、例えばRGB3色のフィルタを所定の規則的配列
で各光電変換素子(画素)上に張り付けることで、各画
素毎に異なる分光感度を持たせている。従って、被写体
撮像によって得られた映像信号には、このフィルタ配列
にしたがった点順次の色情報が含まれているから、上記
所定の配列にしたがって各色フィルタに対応した信号毎
に分離して、その分離した信号を取り出すことにより色
情報が取り出せる。輝度信号(Y信号)を得るためには
RGB情報が全て必要であるから、1画素の輝度情報を
得るためには最低3画素(RGB各1画素ずつ)を必要
とし、輝度解像度は犠牲になるものの一つの撮像素子で
カラー撮像を行うことができるようになっている。In order to obtain color information on one light receiving surface, each of the above color image pickup devices performs color modulation (color coding) in a light receiving plane using a color filter called a stripe filter or a mosaic filter. ing. That is, for example, by attaching filters of three colors of RGB in a predetermined regular arrangement on each photoelectric conversion element (pixel), each pixel has a different spectral sensitivity. Therefore, since the video signal obtained by subject imaging contains dot-sequential color information according to the filter array, the video signal is separated into signals corresponding to the respective color filters in accordance with the above-described predetermined array. By extracting the separated signal, color information can be extracted. In order to obtain a luminance signal (Y signal), all of the RGB information is required. To obtain the luminance information of one pixel, at least three pixels (one for each of RGB) are required, and the luminance resolution is sacrificed. However, color imaging can be performed with one imaging device.
【0004】上記フィルタ配列には、RGBストライ
プ、ベイヤ型RGBモザイク(各種あり)などの3原色
フィルタ、YeMgCyストライプ、YeMgCyW4
色モザイク、YeMgCyG4色モザイクなどの補色フ
ィルタ等、多種多様の色コーディングパターンが提案さ
れて実用化されている。The above filter arrangement includes three primary color filters such as an RGB stripe, a Bayer type RGB mosaic (various types), a YeMgCy stripe, and a YeMgCyW4.
Various color coding patterns, such as complementary color filters such as a color mosaic and a YeMgCyG four-color mosaic, have been proposed and put to practical use.
【0005】[0005]
【発明が解決しようとする課題】本発明は、上記カラー
撮像素子の電気的構成(撮像管か固体撮像素子か、ある
いはCCDか他のタイプかなど)や色コーディングの種
類(原色か補色か、あるいは3色か4色かなど)につい
ては、関わりなく有する本質的問題点を指摘し、その解
決手段を示すものであるから、以下の説明においては特
にことわらないない限り、その一例についてのみ取り上
げ、説明を行うこととする。SUMMARY OF THE INVENTION The present invention relates to an electric configuration of the above-mentioned color image pickup device (such as an image pickup tube or a solid-state image pickup device, or a CCD or another type) and a type of color coding (primary color or complementary color). Or three or four colors), which point out the essential problems that they have, regardless of which one they have, and suggest solutions to them. In the following description, only one example will be used unless otherwise specified. , Will be described.
【0006】上記従来の色コーディング配列の中、RG
Bベイヤ配列の一例を図3の(A),(B)に基づいて
説明する。RGBベイヤ配列は、図3の(A)に示す2
×2の4画素を基本配列とし、この基本配列を図3の
(B)に示すように順次並べて平面を埋めつくすように
配列するものであって、RGBの各色への画素数の配分
比率を1:2:1として、輝度信号に対する寄与の大き
いGの密度を高めることで輝度解像度を高くした点に特
徴があるものである。また、垂直及び水平の2方向に等
方的に配置しているので、ストライプフィルタと異なり
等方的な解像度が得られるようになっている。なお、図
3の(B)は任意の8×8=64画素に関して例示してい
る。In the above conventional color coding arrangement, RG
An example of the B-Bayer array will be described with reference to FIGS. The RGB Bayer arrangement corresponds to the 2 shown in FIG.
The basic array is composed of four pixels of × 2, and the basic arrays are sequentially arranged as shown in FIG. 3B so as to fill up the plane, and the distribution ratio of the number of pixels to each color of RGB is determined. The characteristic is that the luminance resolution is increased by increasing the density of G that greatly contributes to the luminance signal as 1: 2: 1. In addition, since it is isotropically arranged in two directions, vertical and horizontal, an isotropic resolution can be obtained unlike a stripe filter. FIG. 3B illustrates an example of arbitrary 8 × 8 = 64 pixels.
【0007】しかしながら、ベイヤ配列においては上記
のように規則的な配列を用いているため、その配列によ
る空間サンプリングに基づいた偽解像、いわゆる色モア
レの発生を伴うという大きな問題を有していた。すなわ
ち、本来色のない白黒被写体において上記配列周期と同
じ周期の輝度変化(白黒パターン)を有する周期的被写
体が存在した場合、例えば1水平ラインとしてRG行に
着目しRで白、Gで黒であったとすると、輝度変化のな
い赤い被写体から得られる信号と同等の信号が出力され
るため、本来は存在しない色出力を生じてしまう。この
ような縞模様状の繰り返しパターンによって生じた偽色
信号すなわち色モアレは、いわゆる周波数折り返し(エ
リアジング)によって低周波域に生ずるため、後段の色
帯域抑圧を含めた電気的フィルタ処理等によっても取り
除くことができない。However, since the Bayer array uses a regular array as described above, there is a serious problem that false resolution based on spatial sampling by the array, that is, so-called color moire occurs. . That is, when there is a periodic subject having a luminance change (monochrome pattern) having the same cycle as the above-described arrangement cycle in a black and white subject having no color, for example, paying attention to the RG row as one horizontal line, R is white and G is black. If so, a signal equivalent to a signal obtained from a red subject having no change in luminance is output, so that a color output that does not exist originally occurs. Since a false color signal, that is, a color moiré, generated by such a striped repetition pattern is generated in a low frequency region by so-called frequency aliasing (aliasing), the false color signal can also be obtained by an electrical filtering process including color band suppression in a subsequent stage. It cannot be removed.
【0008】このため、従来の単板カラー撮像装置は、
画質確保のためには光学系に水晶などの光学ローパスフ
ィルタを必須としており、これが小型化や低コスト化の
大きな制約となるばかりか、それでもなお残存する色モ
アレによる画質劣化は避けられなかった。For this reason, the conventional single-chip color image pickup device is
In order to ensure image quality, an optical low-pass filter such as quartz is essential for the optical system, which not only imposes a great restriction on miniaturization and cost reduction, but also inevitably causes image quality deterioration due to remaining color moiré.
【0009】本発明は、従来のカラー撮像装置における
上記周期的色コーディング配列に伴う問題を本質的に解
決するためになされたもので、小型低コストで高画質な
カラー撮像の可能な撮像装置を提供すること、及びそれ
を可能とするカラー撮像素子を提供することを目的とす
る。請求項毎の目的を述べると、請求項1に係る発明
は、規則性を有しないランダムな色コーディング配列に
よる被写体撮像を行うことができ、光学的ローパスフィ
ルタを用いることなく色モアレの発生させないカラー撮
像素子を提供することを目的とする。請求項2に係る発
明は、請求項1に係るカラー撮像素子を用いて、該撮像
素子のランダム色コーディング配列情報に基づく色分離
を行えるようにしたカラー撮像装置を提供することを目
的とする。請求項3に係る発明は、ランダム色コーディ
ング配列情報に基づく色分離を容易に且つ確実に行うこ
とができるカラー撮像装置を提供することを目的とす
る。請求項4に係る発明は、低コストで大量製造するこ
とができるランダム色コーディング配列データを記憶す
る手段を備えたカラー撮像装置を提供することを目的と
する。請求項5に係る発明は、色コーディング配列の異
なるカラー撮像素子の色分離処理にも容易に対応するこ
とが可能なカラー撮像装置を提供することを目的とす
る。SUMMARY OF THE INVENTION The present invention has been made to substantially solve the problem associated with the above-described periodic color coding arrangement in a conventional color image pickup apparatus. It is an object of the present invention to provide a color image sensor capable of providing the same. According to the object of each claim, the invention according to claim 1 can perform imaging of a subject by a random color coding arrangement having no regularity, and can use a color that does not generate color moire without using an optical low-pass filter. It is an object to provide an imaging device. A second object of the present invention is to provide a color image pickup apparatus capable of performing color separation based on random color coding arrangement information of the image pickup element by using the color image pickup element according to the first embodiment. A third object of the present invention is to provide a color imaging apparatus capable of easily and reliably performing color separation based on random color coding arrangement information. A fourth object of the present invention is to provide a color image pickup apparatus having means for storing random color coding arrangement data which can be mass-produced at low cost. It is another object of the present invention to provide a color imaging apparatus which can easily cope with color separation processing of color imaging elements having different color coding arrangements.
【0010】[0010]
【課題を解決するための手段】上記問題点を解決するた
め、請求項1に係る発明は、所定配列の光電変換素子群
を有するカラー撮像素子であって、該カラー撮像素子の
色コーディング配列をランダム配列としてカラー撮像素
子を構成するものである。このように構成したカラー撮
像素子においては、規則性を有しないランダムな色コー
ディング配列による被写体撮像を行うことができ、光学
的ローパスフィルタを用いることなく、周期的な輝度変
化をもった被写体でも色モアレの発生しないカラー撮像
が可能となる。According to a first aspect of the present invention, there is provided a color imaging device having a group of photoelectric conversion elements arranged in a predetermined arrangement. The color image sensor is configured as a random array. In the color image sensor configured as described above, it is possible to image a subject using a random color coding arrangement having no regularity, and to perform color imaging even on a subject having a periodic luminance change without using an optical low-pass filter. Color imaging free from moire can be achieved.
【0011】請求項2に係る発明は、前記請求項1に係
るカラー撮像素子を備え、該カラー撮像素子の出力信号
に対して該カラー撮像素子のランダム色コーディング配
列に基づく色分離処理を行う色分離手段を設けてカラー
撮像装置を構成するものである。このように構成するこ
とにより、色モアレを発生させないカラー撮像素子の色
コーディング配列情報に基づく色分離を、確実に行うこ
とができるカラー撮像装置を実現することができる。According to a second aspect of the present invention, there is provided a color imaging device comprising the color imaging device according to the first aspect, wherein a color separation process is performed on an output signal of the color imaging device based on a random color coding arrangement of the color imaging device. The color image pickup device is constituted by providing a separating means. With this configuration, it is possible to realize a color imaging device that can reliably perform color separation based on color coding arrangement information of a color imaging device that does not generate color moiré.
【0012】請求項3に係る発明は、請求項2に係るカ
ラー撮像装置において、前記色分離手段で色分離処理を
行うための、前記カラー撮像素子のランダム色コーディ
ング配列に関する配列データを記憶する記憶手段を備え
ていることを特徴とするものである。このようにカラー
撮像素子の色コーディング配列データを記憶する記憶手
段を備えることにより、ランダム色コーディング配列情
報に基づく色分離を容易に且つ確実に行うことができ
る。According to a third aspect of the present invention, in the color imaging apparatus according to the second aspect, storage for storing array data relating to a random color coding array of the color imaging element for performing color separation processing by the color separation means. Means are provided. The provision of the storage means for storing the color coding arrangement data of the color image pickup device makes it possible to easily and reliably perform color separation based on the random color coding arrangement information.
【0013】請求項4に係る発明は、請求項3に係るカ
ラー撮像装置において、前記記憶手段をマスクROMで
構成することを特徴とするものである。このように色コ
ーディング配列データの記憶手段としてマスクROMを
用いることにより、記憶手段をひいてはカラー撮像装置
を低コストで大量製造することが可能となる。According to a fourth aspect of the present invention, in the color imaging apparatus according to the third aspect, the storage means is constituted by a mask ROM. By using the mask ROM as the storage means of the color coding arrangement data, it becomes possible to mass-produce the storage means and hence the color image pickup device at low cost.
【0014】請求項5に係る発明は、請求項3に係るカ
ラー撮像装置において、前記記憶手段をEEPROMで
構成することを特徴とするものである。このように色コ
ーディング配列データの記憶手段としてEEPROMを
用いることにより、色コーディング配列の異なるカラー
撮像素子の色分離処理にも容易に対応することが可能と
なる。According to a fifth aspect of the present invention, in the color imaging apparatus according to the third aspect, the storage means is constituted by an EEPROM. By using the EEPROM as the storage means of the color coding arrangement data, it is possible to easily cope with the color separation processing of the color imaging devices having different color coding arrangements.
【0015】[0015]
【発明の実施の形態】次に実施の形態について説明す
る。図1は、本発明に係るカラー撮像素子を用いたカラ
ー撮像装置(ディジタルカメラ)の実施の形態を示すブ
ロック構成図である。図1において、1はレンズ系、2
はレンズ駆動機構、3は露出制御機構、4はCCD撮像
素子、5はCCDドライバ、6はA/D変換器を含むプ
リプロセス回路、7はディジタルプロセス回路で、ハー
ドとしてメモリを含み、全てのディジタルプロセス処理
を行うものである。8はメモリカードインターフェー
ス、9はメモリカード、10はLCD画像表示系、11は主
たる構成としてマイコンを含むシステムコントローラ、
12は操作スイッチ系、13は操作表示系、14はストロボ、
15はレンズドライバ、16は露出制御ドライバ、17はEE
PROMである。Next, an embodiment will be described. FIG. 1 is a block diagram showing an embodiment of a color imaging device (digital camera) using a color imaging device according to the present invention. In FIG. 1, 1 is a lens system, 2
Is a lens driving mechanism, 3 is an exposure control mechanism, 4 is a CCD image sensor, 5 is a CCD driver, 6 is a pre-processing circuit including an A / D converter, 7 is a digital processing circuit, and includes a memory as hardware, It performs digital process processing. 8 is a memory card interface, 9 is a memory card, 10 is an LCD image display system, 11 is a system controller including a microcomputer as a main configuration,
12 is an operation switch system, 13 is an operation display system, 14 is a strobe,
15 is a lens driver, 16 is an exposure control driver, 17 is EE
PROM.
【0016】図1に示した実施の形態においてカラー撮
像素子として用いているCCD撮像素子4のランダム配
列の色フィルタ配列例を図2に示す。このCCD撮像素
子の画素数は、任意ではあるが仮に 100万画素程度を想
定しており、図2においては、中央部分の8×8=64画
素に対応するフィルタ配列だけを表示している。以下の
説明では、このようなランダム配列を得るための手順を
具体的に説明するものであり、図示はあくまでもこの理
解を助けるためのものであり、この程度の領域の図示で
充分理解されるであろう。本実施の形態におけるフィル
タの種類は、いわゆるRGB3原色を使用したもので、
そのコーディングはRGBランダムフィルタコーディン
グとなっている。FIG. 2 shows an example of a random arrangement of color filters of the CCD image sensor 4 used as a color image sensor in the embodiment shown in FIG. The number of pixels of the CCD image pickup device is arbitrary, but is assumed to be about 1 million pixels. In FIG. 2, only the filter arrangement corresponding to 8 × 8 = 64 pixels at the center is shown. In the following description, a procedure for obtaining such a random sequence is specifically described, and the illustration is merely to assist the understanding, and the illustration of such a region is sufficiently understood. There will be. The type of filter in the present embodiment uses so-called RGB primary colors.
The coding is RGB random filter coding.
【0017】次に、このようなコーディングを得るため
の手順例について説明する。このコーディングはランダ
ムコーディングであるから、各画素の色フィルタを決定
するためにRGBにそれぞれ2面を割り当てたサイコロ
を使用してもよいのは勿論であるが、その煩雑さを減じ
るため表計算ソフトウェア等を用いて、全画素配列に相
当する表配列を準備する。そして、配列の各セルに数式
RST(RND/3)(但し、RNDは適当な桁数の乱
数関数、RST(n/d)はnをdで除した剰余関数)
を割り当てて得られた数値に対して、例えば0→R,1
→G,2→Bを適用すればよい。Next, an example of a procedure for obtaining such coding will be described. Since this coding is random coding, it is a matter of course that dice having two planes each assigned to RGB may be used to determine the color filter of each pixel. However, in order to reduce the complexity, spreadsheet software is used. A table array corresponding to the entire pixel array is prepared using the above method. Then, in each cell of the array, the formula RST (RND / 3) (where RND is a random number function having an appropriate number of digits, and RST (n / d) is a remainder function obtained by dividing n by d)
Is assigned to, for example, 0 → R, 1
→ G, 2 → B may be applied.
【0018】このようにして得られた配列は、統計学的
には通常は特に大きな偏りは持たないが、ただ1回の試
行によって得たものは確率的に低いとはいえ、極端に色
による画素数の多寡があったり、大面積にわたる特定色
の集中があったりする可能性を有している。あるいは、
従来例のような周期性を有したパターンになる可能性も
極めて低いが0ではない。従って、上記手法によって数
回の試行を行い複数の配列サンプルを得た上で、実写に
よる撮像試験(現実にはシミュレーションを用いるのが
好適)を行って、評価結果のよいものを採用することが
望ましい。統計学的には、3〜4回程度以下の試行によ
って、上記のような特殊な偏り配列を問題なく排除する
ことができる。The sequences obtained in this way usually do not have a particularly large bias statistically, but those obtained by only one trial are extremely stochastically low, although they are extremely low in color. There is a possibility that the number of pixels is large or small and a specific color is concentrated over a large area. Or,
The possibility of a pattern having periodicity as in the conventional example is extremely low, but is not zero. Therefore, after performing a plurality of trials by the above method to obtain a plurality of array samples, it is possible to perform an imaging test (actually, it is preferable to use a simulation) by a real photograph and adopt a sample having a good evaluation result. desirable. Statistically, the above-described special bias arrangement can be eliminated without any problem by performing about 3 to 4 or less trials.
【0019】さて、このようなランダムカラーフィルタ
配列を備えたCCD撮像素子4を用いたカラー撮像装置
(ディジタルカメラ)においては、従来のカメラと同様
に信号を読み出して処理し、撮像画像をメモリカード9
に記録、あるいはLCD画像表示系10に表示する。従来
と異なる動作は色分離処理であるが、その処理は、ディ
ジタルプロセス回路7がシステムコントローラ11の制御
下において行うようになっている。In a color image pickup apparatus (digital camera) using the CCD image pickup device 4 having such a random color filter array, signals are read out and processed in the same manner as in a conventional camera, and the picked-up image is stored in a memory card. 9
Or displayed on the LCD image display system 10. An operation different from the conventional one is a color separation process, which is performed by the digital process circuit 7 under the control of the system controller 11.
【0020】従来の色分離が、CCD撮像素子の規則的
色コーディングに対応して、順列に基づいた規則的サン
プリングを行い、更に画素間の加算減算等を行っていた
(具体的な処理についてはアナグロ処理、ディジタル処
理、混成処理等多種にわたる)のに対して、本発明にお
いて適用するランダムコーディングは規則性がないの
で、このような処理はできない。そこで、使用するCC
D撮像素子の各画素に関してのフィルタコーディングデ
ータ(上記図2に相当する全画素のフィルタテーブル)
を参照して、色分離処理を行う。このコーディングデー
タはEEPROM17に記憶されており、使用するCCD
撮像素子の色コーディングが異なる場合にも対応できる
ようになっている。In the conventional color separation, regular sampling based on permutation is performed in accordance with regular color coding of a CCD image pickup device, and addition and subtraction between pixels are performed. On the other hand, random coding applied in the present invention does not have regularity, whereas such processing cannot be performed. So, CC to use
Filter coding data for each pixel of the D image sensor (filter table for all pixels corresponding to FIG. 2 above)
, And performs color separation processing. This coding data is stored in the EEPROM 17 and used by the CCD.
It is possible to cope with the case where the color coding of the image sensor is different.
【0021】具体的な本実施の形態の色分離(各色信号
生成)処理は、次のようにして行われる。すなわち、
「着目する処理対象画素に関して、まずコーディングデ
ータを参照し、その画素自身のフィルタの色に関する色
信号については、その画素の信号レベルをそのまま信号
として出力し、他の色信号についてはコーディングデー
タに基づき近傍の画素の中で最近接の対応する色フィル
タの画素を探して、該当する画素の信号レベルをその色
信号として出力する。」という処理を行う。The specific color separation (color signal generation) processing of this embodiment is performed as follows. That is,
"For the processing target pixel of interest, first refer to the coding data. For the color signal related to the color of the filter of the pixel itself, output the signal level of the pixel as it is as a signal, and for the other color signals, based on the coding data. A pixel of the closest corresponding color filter is searched for among the neighboring pixels, and the signal level of the corresponding pixel is output as the color signal. "
【0022】着目する処理対象画素のフィルタがRであ
る場合に関して、その色分離処理を例示すると、次のと
おりである。 R信号:コーディングデータの参照結果がRであるの
で、その画素の信号レベルをそのままR信号として出力
する。 G信号:参照結果がGでないので、コーディングデータ
に基づき近傍の画素の中で最近接のG画素を探して該当
する画素の信号レベルをG信号として出力する。 B信号:参照結果がBでないので、コーディングデータ
に基づき近傍の画素の中で最近接のB画素を探して該当
する画素の信号レベルをB信号として出力する。An example of the color separation processing when the filter of the target pixel to be processed is R is as follows. R signal: Since the reference result of the coding data is R, the signal level of the pixel is output as it is as an R signal. G signal: Since the reference result is not G, the nearest G pixel is searched for among the neighboring pixels based on the coding data, and the signal level of the corresponding pixel is output as the G signal. B signal: Since the reference result is not B, the nearest B pixel is searched for among the neighboring pixels based on the coding data, and the signal level of the corresponding pixel is output as the B signal.
【0023】上記色分離処理例において、例えば着目す
るRフィルタ画素の(上、下、左、右)に(R、G、
B、B)フィルタ画素が並んでいたとすると、「最近接
のB」画素は左右に2つ存在することになるが、このよ
うな場合はどちらか一方のみの信号レベルを採用するよ
うにしても、双方の信号レベルの平均値を採用するよう
にしてもよい。In the above example of the color separation processing, for example, (R, G,
B, B) Assuming that the filter pixels are arranged, two "nearest B" pixels exist on the left and right. In such a case, only one of the signal levels is adopted. Alternatively, an average value of both signal levels may be adopted.
【0024】上記のような色分離処理の結果得られた色
信号は、全画素に関する同時化されたRGB3原色信号
として、従来のRGB3原色信号と同様に後段の回路で
処理され、最終的にメモリカード9に記録、あるいはL
CD画像表示系10に表示される。なお、この後段の回路
における処理は、その必要に応じて適宜使用されるそれ
自体は公知の、例えば色バランス処理、マトリクス演算
による輝度−色差信号への変換あるいはその逆変換処
理、帯域制限等による偽色除去あるいは低減処理、γ変
換に代表される各種非線型処理、各種情報圧縮処理、等
々である。The color signals obtained as a result of the above-described color separation processing are processed as a synchronized RGB primary color signal for all the pixels by a subsequent circuit in the same manner as the conventional RGB primary color signal, and finally are stored in a memory. Recorded on card 9 or L
The image is displayed on the CD image display system 10. The processing in the circuit at the subsequent stage is appropriately used according to the necessity, and is known per se, for example, by color balance processing, conversion into a luminance-color difference signal by matrix operation or inverse conversion processing thereof, band limitation, and the like. False color removal or reduction processing, various non-linear processing represented by γ conversion, various information compression processing, and the like.
【0025】その際生じる偽色に関して考察すると、白
黒のナイフエッジや孤立的な白点(線)等の被写体に関
しては、当然ながら平面的なカラーコーディングの影響
で従来のコーディングと同様に偽色を生じる。しかしな
がら、これらはいずれも孤立的に発生する(偽の)色点
や色線であって、その主要エネルギーは高周波域に分布
しているから、従来公知の電気的フィルタ処理等の手法
で充分に低減することが可能である。そして、従来最大
の問題であった縞模様状の繰り返しパターンの撮像に関
しては、コーディングがランダムであるため、少なくと
も低周波に折返った低域の偽色(色モアレ)は発生せ
ず、本実施の形態においては上記低減可能な孤立的な偽
色の発生にとどまるものである。従って本実施の形態に
おいては、従来この種のディジタルカメラにおいて必須
であった光学ローパスフィルタを使用していないにも関
わらず、視覚的に問題となる偽色がほとんど発生せず高
画質が得られる。Considering the false color generated at that time, regarding a subject such as a black-and-white knife edge and an isolated white point (line), the false color is naturally affected by the planar color coding as in the conventional coding. Occurs. However, these are all isolated (false) color points and color lines, and their main energy is distributed in a high frequency range. It is possible to reduce. In the imaging of a striped repetitive pattern, which has been the biggest problem in the past, since coding is random, at least a low-frequency false color (color moiré) folded to a low frequency does not occur. In the embodiment, only the occurrence of the above-mentioned isolated false colors that can be reduced is limited. Therefore, in the present embodiment, a high quality image can be obtained with virtually no false colors that are visually problematic despite the fact that an optical low-pass filter, which is conventionally required in this type of digital camera, is not used. .
【0026】以上本発明について上記実施の形態に基づ
いて説明を行ったが、上記実施の形態には様々な変形例
が考えられる。まず、上記実施の形態では、コーディン
グデータはEEPROM17に記憶されており、使用する
CCD撮像素子のコーディングが異なる場合にも対応で
きるようになっていたものを示した。CCD撮像素子は
量産ばらつきに起因して1個毎に異なる画素欠陥データ
等を必要とする場合も多いから、このためのメモリを兼
用する上からも、EEPROMを用いることは利点とな
り得るが、一方通常一つの撮像装置本体に対して適用さ
れる撮像素子は一種(量産ばらつきを除けば同一)であ
り、特にカラーコーディングを変える必要もないから、
コーディングデータ自身は全て同じデータを用いること
ができる。この点に着目すれば、上記EEPROMはマ
スクROMに置き換えることが可能である。マスクRO
Mに置き換えた場合、より低コストに構成することがで
きる。そしてまた、いずれの態様の場合も、システムコ
ントローラ11の有するマイクロコンピュータのプログラ
ム格納メモリと兼用することが可能であることは言うま
でもない。Although the present invention has been described based on the above embodiment, various modifications of the above embodiment are conceivable. First, in the above embodiment, the coding data is stored in the EEPROM 17 so that it is possible to cope with the case where the coding of the CCD image pickup device used is different. In many cases, CCD image sensors require different pixel defect data due to variations in mass production. Therefore, the use of an EEPROM can be advantageous from the viewpoint of using the memory for this purpose as well. Usually, the type of imaging device applied to one imaging device body is the same (the same except for mass production variation), and there is no need to change color coding.
The coding data itself can use the same data. Focusing on this point, the EEPROM can be replaced with a mask ROM. Mask RO
When replaced with M, it can be configured at lower cost. Further, in any case, it is needless to say that the memory can be used also as the program storage memory of the microcomputer of the system controller 11.
【0027】また冒頭でも述べたように、本発明は撮像
素子の電気的構成(撮像管か固体撮像素子か、あるいは
CCDか他のタイプかなど)や、色コーディングの種類
(原色か補色か、あるいは3色か4色かなど)について
は、関わりなく有する本質的な問題点を取り上げ解決し
ようとするものであるから、上記実施の形態に限られ
ず、これらを含む全てのカラー撮像素子及びそれを用い
たカラー撮像装置に応用できる。例えば、多板カメラに
応用してもよい。例えばG,R/B式2板カラーカメラ
のR/Bセンサにはそのまま応用することができる。Also, as described at the beginning, the present invention relates to the electrical configuration of the image pickup device (such as an image pickup tube or a solid-state image pickup device, or a CCD or another type) and the type of color coding (primary color or complementary color, Or, three colors or four colors) is intended to address and solve the essential problems irrespective of the color, and the present invention is not limited to the above-described embodiment, and all color imaging devices including these and the It can be applied to the used color imaging device. For example, the present invention may be applied to a multi-panel camera. For example, the present invention can be applied to an R / B sensor of a G, R / B type two-plate color camera as it is.
【0028】更に、上記実施の形態において示した「ラ
ンダムコーディングを得るための手順」は、あくまでも
一例に過ぎず、ランダムコーディング自体は任意の方法
によって得ることができる。すなわち、当該カラーコー
ディング配列が、従来公知であった規則的配列とは異な
り、光電変換素子配列の少なくとも数画素〜数十画素以
上の所定の領域に着目したときに顕著な規則的(周期
的)構造を有しておらず、その結果として従来の規則的
配列によって生じる縞模様状の繰り返しパターン入力に
対する低域偽色の発生が低減したならば、その配列は本
発明に言うランダム色コーディング配列となる。Furthermore, the “procedure for obtaining random coding” described in the above embodiment is merely an example, and the random coding itself can be obtained by any method. That is, unlike the conventionally known regular arrangement, the color coding arrangement is noticeably regular (periodic) when focusing on a predetermined area of at least several pixels to several tens of pixels of the photoelectric conversion element arrangement. If it does not have a structure and consequently reduces the occurrence of low-pass false color for a striped repetitive pattern input caused by a conventional regular arrangement, the arrangement is a random color coding arrangement as referred to in the present invention. Become.
【0029】[0029]
【発明の効果】以上実施の形態に基づいて説明したよう
に、本発明によれば周期的色コーディング配列に伴う問
題を本質的に解決し、周期的な輝度変化をもった被写体
でも色モアレを発生しない小型低コストで高画質なカラ
ー撮像の可能なカラー撮像素子及びカラー撮像装置を得
ることができ、特に請求項1に係る発明によれば、規則
性を有しないランダムな色コーディング配列による被写
体撮像を行うことができ、光学的ローパスフィルタを用
いることなく、周期的な輝度変化をもった被写体でも色
モアレの発生しないカラー撮像素子を実現することがで
きる。また請求項2に係る発明によれば、色モアレを発
生させないカラー撮像素子の色コーディング配列情報に
基づく色分離を確実に行うことができるカラー撮像装置
を実現することができる。また請求項3に係る発明によ
れば、カラー撮像素子のランダム色コーディング配列を
記憶する記憶手段を備えているので、ランダム色コーデ
ィング配列情報に基づいた色分離を容易に且つ確実に行
うことができる。また請求項4に係る発明によれば、色
コーディング配列データの記憶手段としてマスクROM
を用いているので、記憶手段をひいてはカラー撮像装置
を低コストで大量製造することが可能となる。また請求
項5に係る発明によれば、色コーディング配列データの
記憶手段としてEEPROMを用いているので、色コー
ディング配列の異なるカラー撮像素子の色分離処理にも
容易に対応することが可能となる。As described above with reference to the embodiments, according to the present invention, the problem associated with the periodic color coding arrangement is essentially solved, and color moiré can be reduced even in a subject having a periodic luminance change. It is possible to obtain a color image pickup device and a color image pickup device capable of performing high-quality color image pickup at a small size and at low cost without generation of a subject. In particular, according to the invention according to claim 1, a subject with a random color coding arrangement having no regularity Imaging can be performed, and a color image pickup device in which color moiré does not occur even in a subject having a periodic luminance change can be realized without using an optical low-pass filter. Further, according to the second aspect of the present invention, it is possible to realize a color imaging apparatus capable of reliably performing color separation based on color coding arrangement information of a color imaging element that does not generate color moire. According to the third aspect of the present invention, since the storage means for storing the random color coding arrangement of the color image pickup device is provided, color separation based on the random color coding arrangement information can be easily and reliably performed. . According to the fourth aspect of the present invention, a mask ROM is used as storage means for storing color coding array data.
Therefore, it is possible to mass-produce the color image pickup device at low cost by using the storage means. According to the fifth aspect of the present invention, since the EEPROM is used as the storage means of the color coding arrangement data, it is possible to easily cope with the color separation processing of the color imaging devices having different color coding arrangements.
【図1】本発明に係るカラー撮像素子及びカラー撮像装
置の実施の形態を示すブロック構成図である。FIG. 1 is a block diagram showing an embodiment of a color imaging device and a color imaging device according to the present invention.
【図2】図1に示した実施の形態におけるCCD撮像素
子のランダム色フィルタ配列の一例を示す図である。FIG. 2 is a diagram showing an example of a random color filter array of the CCD image sensor in the embodiment shown in FIG.
【図3】RGBベイヤ配列の基本配列と全体配列の一例
を示す図である。FIG. 3 is a diagram showing an example of a basic array and an overall array of an RGB Bayer array.
1 レンズ系 2 レンズ駆動機構 3 露出制御機構 4 CCD撮像素子 5 CCDドライバ 6 プリプロセス回路 7 ディジタルプロセス回路 8 メモリカードインターフェース 9 メモリカード 10 LCD画像表示系 11 システムコントローラ 12 操作スイッチ系 13 操作表示系 14 ストロボ 15 レンズドライバ 16 露出制御ドライバ 17 EEPROM DESCRIPTION OF SYMBOLS 1 Lens system 2 Lens drive mechanism 3 Exposure control mechanism 4 CCD image sensor 5 CCD driver 6 Pre-process circuit 7 Digital process circuit 8 Memory card interface 9 Memory card 10 LCD image display system 11 System controller 12 Operation switch system 13 Operation display system 14 Strobe 15 Lens driver 16 Exposure control driver 17 EEPROM
───────────────────────────────────────────────────── フロントページの続き Fターム(参考) 2H002 DB01 DB19 EB00 FB21 HA00 JA07 JA08 ZA01 ZA02 5C065 AA01 BB13 BB43 CC01 CC09 DD17 DD20 EE03 FF02 FF03 GG18 GG31 ──────────────────────────────────────────────────続 き Continued on the front page F term (reference) 2H002 DB01 DB19 EB00 FB21 HA00 JA07 JA08 ZA01 ZA02 5C065 AA01 BB13 BB43 CC01 CC09 DD17 DD20 EE03 FF02 FF03 GG18 GG31
Claims (5)
ー撮像素子であって、該カラー撮像素子の色コーディン
グ配列がランダム配列であることを特徴とするカラー撮
像素子。1. A color imaging device having a predetermined arrangement of photoelectric conversion element groups, wherein the color coding arrangement of the color imaging device is a random arrangement.
え、該カラー撮像素子の出力信号に対して該カラー撮像
素子のランダム色コーディング配列に基づく色分離処理
を行う色分離手段を備えていることを特徴とするカラー
撮像装置。2. The color image pickup device according to claim 1, further comprising: a color separation unit that performs a color separation process on an output signal of the color image pickup device based on a random color coding arrangement of the color image pickup device. A color imaging device characterized by the above-mentioned.
の、前記カラー撮像素子のランダム色コーディング配列
に関する配列データを記憶する記憶手段を備えているこ
とを特徴とする請求項2に係るカラー撮像装置。3. A color according to claim 2, further comprising storage means for storing array data relating to a random color coding array of said color image pickup device for performing color separation processing by said color separation means. Imaging device.
れていることを特徴とする請求項3に係るカラー撮像装
置。4. The color image pickup apparatus according to claim 3, wherein said storage means comprises a mask ROM.
れているこを特徴とする請求項3に係るカラー撮像装
置。5. The color imaging apparatus according to claim 3, wherein said storage means is constituted by an EEPROM.
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP11107371A JP2000299871A (en) | 1999-04-15 | 1999-04-15 | Color image pickup element and color image pickup device |
US09/551,143 US7123299B1 (en) | 1999-04-15 | 2000-04-14 | Color image pickup device and color image pickup apparatus including a randomized color coding array |
US11/519,823 US7593046B2 (en) | 1999-04-15 | 2006-09-13 | Color image pickup apparatus having random color coding array |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP11107371A JP2000299871A (en) | 1999-04-15 | 1999-04-15 | Color image pickup element and color image pickup device |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2000299871A true JP2000299871A (en) | 2000-10-24 |
Family
ID=14457414
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP11107371A Pending JP2000299871A (en) | 1999-04-15 | 1999-04-15 | Color image pickup element and color image pickup device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2000299871A (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8049797B2 (en) | 2007-05-08 | 2011-11-01 | Canon Kabushiki Kaisha | Image sensor and color imaging apparatus |
-
1999
- 1999-04-15 JP JP11107371A patent/JP2000299871A/en active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8049797B2 (en) | 2007-05-08 | 2011-11-01 | Canon Kabushiki Kaisha | Image sensor and color imaging apparatus |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4098438B2 (en) | Color imaging device and color imaging device | |
JP5108172B2 (en) | Image data size conversion processing apparatus, electronic still camera, and image data size conversion processing recording medium | |
JPH11122626A (en) | Image processing method, system and record medium recording image processing program | |
JP4796871B2 (en) | Imaging device | |
EP2685725B1 (en) | Imaging device and imaging program | |
US6867802B2 (en) | Camera with color filter | |
CN103430552B (en) | Imaging device | |
US7236194B2 (en) | Image signal processing apparatus | |
JP2000316168A (en) | Color image pickup element and device | |
JP4119566B2 (en) | Color imaging device and color imaging device | |
JP2000308071A (en) | Color image pickup element and color image pickup device | |
JP5411390B2 (en) | Color image sensor | |
JP3143245B2 (en) | Imaging device, photometric method therefor, focusing control method therefor, and imaging method | |
JP2000316166A (en) | Color image pickup element and device | |
JP2000299871A (en) | Color image pickup element and color image pickup device | |
JP4311807B2 (en) | Color imaging device and color imaging device | |
JP4311808B2 (en) | Color imaging device and color imaging device | |
JP2000299872A (en) | Color image pickup unit | |
JP2000315784A (en) | Color image pickup element and image pickup device | |
JP2000316165A (en) | Color image pickup element and device | |
JP4119565B2 (en) | Color imaging device and color imaging device | |
JP4309506B2 (en) | Imaging device and imaging apparatus | |
JP3954204B2 (en) | Signal processing apparatus and signal processing method thereof | |
JP2006050584A (en) | Image processing device | |
JP2002209224A (en) | Image processing unit, image processing method and recording medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20040127 |