JP4119566B2

JP4119566B2 - Color imaging device and color imaging device

Info

Publication number: JP4119566B2
Application number: JP12549599A
Authority: JP
Inventors: 英明吉田
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 1999-05-06
Filing date: 1999-05-06
Publication date: 2008-07-16
Anticipated expiration: 2019-05-06
Also published as: JP2000316169A

Description

【０００１】
【発明の属する技術分野】
この発明は、色モアレの発生を防止できるようにしたカラー撮像素子及びそのカラー撮像素子を用いたカラー撮像装置に関する。
【０００２】
【従来の技術】
一般に、撮像管及び固体撮像素子に代表される撮像素子は、撮像装置に広く用いられている。特に、単管又は単板（Single Sensor)カラー撮像装置に使用されるカラー撮像素子は、１つの撮像素子でカラー撮像装置を構成できるため、色分離プリズムが不要でレンズの小型化が可能であり、またレジストレーションに代表される多板式の各種調整の必要がなく、更に消費電力が小さいなど多くの特徴を有し、カラー撮像装置の小型化・消電力化に多くの貢献を果しており、特に固体撮像素子であるカラーＣＣＤ撮像素子を用いた単板カラーカメラは、撮像装置の主流となっている。
【０００３】
上記カラー撮像素子は、いずれも一つの受光面で色情報を得るため、ストライプフィルタ又はモザイクフィルタなどと称される色フィルタを用いて、受光平面内で色変調（色コーディング）を行っている。すなわち、例えばＲＧＢ３色のフィルタを所定の規則的配列で各光電変換素子（画素）上に張り付けることで、各画素毎に異なる分光感度を持たせている。従って、被写体撮像によって得られた映像信号には、このフィルタ配列にしたがった点順次の色情報が含まれているから、上記所定の配列にしたがって各色フィルタに対応した信号毎に分離して、その分離した信号を取り出すことにより色情報が取り出せる。輝度信号（Ｙ信号）を得るためにはＲＧＢ情報が全て必要であるから、１画素の輝度情報を得るためには最低３画素（ＲＧＢ各１画素ずつ）を必要とし、輝度解像度は犠牲になるものの一つの撮像素子でカラー撮像を行うことができるようになっている。
【０００４】
上記フィルタ配列には、ＲＧＢストライプ、ベイヤ型ＲＧＢモザイク（各種あり）などの３原色フィルタ、ＹｅＭｇＣｙストライプ、ＹｅＭｇＣｙＷ４色モザイク、ＹｅＭｇＣｙＧ４色モザイクなどの補色フィルタ等、多種多様の色コーディングパターンが提案されて実用化されている。
【０００５】
【発明が解決しようとする課題】
本発明は、上記カラー撮像素子の電気的構成（撮像管か固体撮像素子か、あるいはＣＣＤか他のタイプかなど）や色コーディングの種類（原色か補色か、あるいは３色か４色かなど）については、関わりなく有する本質的問題点を指摘し、その解決手段を示すものであるから、以下の説明においては特にことわらないない限り、その一例についてのみ取り上げ、説明を行うこととする。
【０００６】
上記従来の色コーディング配列の中、ＲＧＢベイヤ配列の一例を図５の（Ａ），（Ｂ）に基づいて説明する。ＲＧＢベイヤ配列は、図５の（Ａ）に示す２×２の４画素を基本配列とし、この基本配列を図５の（Ｂ）に示すように順次並べて平面を埋めつくすように配列するものであって、ＲＧＢの各色への画素数の配分比率を１：２：１として、輝度信号に対する寄与の大きいＧの密度を高めることで輝度解像度を高くした点に特徴があるものである。また、垂直及び水平の２方向に等方的に配置しているので、ストライプフィルタと異なり等方的な解像度が得られるようになっている。なお、図５の（Ｂ）は任意の８×８＝64画素に関して例示している。
【０００７】
しかしながら、ベイヤ配列においては上記のように規則的な配列を用いているため、その配列による空間サンプリングに基づいた偽解像、いわゆる色モアレの発生を伴うという大きな問題を有していた。すなわち、本来色のない白黒被写体において上記配列周期と同じ周期の輝度変化（白黒パターン）を有する周期的被写体が存在した場合、例えば１水平ラインとしてＲＧ行に着目しＲで白、Ｇで黒であったとすると、輝度変化のない赤い被写体から得られる信号と同等の信号が出力されるため、本来は存在しない色出力を生じてしまう。このような縞模様状の繰り返しパターンによって生じた偽色信号すなわち色モアレは、いわゆる周波数折り返し（エリアジング）によって低周波域に生ずるため、後段の色帯域抑圧を含めた電気的フィルタ処理等によっても取り除くことができない。
【０００８】
このため、従来の単板カラー撮像装置は、画質確保のためには光学系に水晶などの光学ローパスフィルタを必須としており、これが小型化や低コスト化の大きな制約となるばかりか、それでもなお残存する色モアレによる画質劣化は避けられなかった。
【０００９】
一方この問題とは別に、従来の撮像装置においては被写体に対する撮像ダイナミックレンジ（輝度再現域）の確保については特別な考慮がなされておらず、輝度分布が高輝度から低輝度まで輝度レンジの大きな被写体の撮影に際しては、白飛びや黒潰れを生じやすいという問題点があった。
【００１０】
この問題点に関して詳述すれば、撮像レンジは単純に撮像素子だけでは決まらず、それを使用した撮像装置の信号処理も含めた全体で決まるが、少なくとも高輝度側は撮像素子の飽和レベルが限界になり、低輝度側は撮像装置に組み込まれた状態での撮像素子出力のノイズレベルが限界になるから、少なくともそれを超えた撮像レンジを得ることはできない。従来、一般的な撮像素子を用いて撮像装置を構成した場合の撮像素子の光電変換特性は、例えば図６で模式的に示されるようなものであった。
【００１１】
図６において、横軸は入射光量を、縦軸は信号レベルをそれぞれ対数的に示している。また、図中ＵＬは高輝度側限界レベルを、ＬＬは低輝度側限界レベルをそれぞれ示しており、ＵＬは撮像素子の飽和レベルにほぼ対応するレベルであり、一方ＬＬについてはノイズレベルＮＬそのものではなく、ノイズと共存しても鑑賞に堪える所定の限界Ｓ／Ｎ比を有する信号レベルとして定まる。そしてＵＬとＬＬの間が有効輝度域となり、これらの（対数軸上での）差：Ｒange＝ＵＬ−ＬＬが撮像ダイナミックレンジとなる。
【００１２】
この撮像ダイナミックレンジは、撮像装置の設計製造によって異なるが、多くの場合５〜６ＥＶ（30〜36dB）程度であり、更なる改善が望まれていた。しかしながら、撮像素子の飽和レベルやノイズレベルの改善には限界があり、実現が困難であるという問題があった。
【００１３】
本発明は、従来のカラー撮像装置における上記周期的色コーディング配列に伴う問題を本質的に解決すると共に撮像ダイナミックレンジを改善するためになされたもので、周期的な輝度変化をもつ被写体でも色モアレを発生させず、また撮像ダイナミックレンジを飛躍的に向上させることができ、小型低コストで高画質なカラー撮像の可能な撮像装置を提供すること、及びそれを可能とするカラー撮像素子を提供することを目的とする。請求項毎の目的を述べると、請求項１に係る発明は、規則性を有しないランダムな色コーディング配列による被写体撮像を行うことを可能とし、且つ全撮像領域に亘って所定値以上の高解像度を確保すると共に画質性能や機能を向上させると共に、孤立的画素欠陥が存在しても解像度の劣化を実質的に生じさせないようにしたカラー撮像素子を提供することを目的とする。請求項２に係る発明は、撮像ダイナミックレンジを飛躍的に向上させることの可能なカラー撮像素子を提供することを目的とする。請求項３に係る発明は、請求項１又は２に係るカラー撮像素子を用いて、該撮像素子のランダム色コーディング配列情報に基づく色分離を行えるようにしたカラー撮像装置を提供することを目的とする。請求項４に係る発明は、ランダム色コーディング配列情報に基づく色分離を容易に且つ確実に行うことができるカラー撮像装置を提供することを目的とする。請求項５に係る発明は、低コストで大量製造することができるランダム色コーディング配列データを記憶する手段を備えたカラー撮像装置を提供することを目的とする。請求項６に係る発明は、色コーディング配列の異なるカラー撮像素子の色分離処理にも容易に対応することが可能なカラー撮像装置を提供することを目的とする。
【００１４】
【課題を解決するための手段】
上記問題点を解決するため、請求項１に係る発明は、光電変換素子からなる画素を複数個配列してなる画素群を有するカラー撮像素子であって、該カラー撮像素子の色コーディング配列は、任意の着目画素が該着目画素の色を含む６色の画素と該着目画素の４辺又は４角のいずれかにおいて隣接する配列制限条件を満たす６色ランダム配列としてカラー撮像素子を構成するものである。このように構成したカラー撮像素子においては、周期性を有しないランダムな色コーディング配列で被写体を撮像することができ、したがって周期的な輝度変化をもつ被写体でも色モアレの発生を防止することができる。そして、任意の着目画素が該着目画素の色を含む６色の画素と該着目画素の４辺又は４角のいずれかにおいて隣接するという配列制限条件を満たす６色ランダム配列としているため、ランダムでありながらも全ての撮像領域に亘って所定値以上の高解像度を確保すると共に、画質性能や機能を向上させることができ、同時に孤立的画素欠陥が存在しても解像度の劣化を実質的に阻止することができる。
【００１５】
請求項２に係る発明は、請求項１に係るカラー撮像素子において、前記６色ランダム配列を構成する６色は、１つの色（相対分光感度特性）に関してそれぞれ２つの感度（絶対感度特性）を有する３原色であることを特徴とするものである。このように６色ランダム配列における６色を、２つの感度を有する３原色で構成することにより、撮像ダイナミックレンジを飛躍的に向上させることができる。
【００１６】
請求項３に係る発明は、前記請求項１又は２に係るカラー撮像素子を備え、該カラー撮像素子の出力信号に対して該カラー撮像素子のランダム色コーディング配列に基づく色分離処理を行う色分離手段を設けてカラー撮像装置を構成するものである。このように構成することにより、色モアレを発生させず所定値以上の高解像度を備えると共に画質性能や機能を向上させることができ、同時に孤立的画素欠陥が存在しても解像度の劣化を実質的に生じさせず、且つ撮像ダイナミックレンジを飛躍的に向上させることが可能なカラー撮像素子の色コーディング配列情報に基づく色分離を、確実に行うことができるカラー撮像装置を実現することができる。
【００１７】
請求項４に係る発明は、請求項３に係るカラー撮像装置において、前記色分離手段で色分離処理を行うための、前記カラー撮像素子のランダム色コーディング配列に関する配列データを記憶する記憶手段を備えていることを特徴とするものである。このようにカラー撮像素子の色コーディング配列データを記憶する記憶手段を備えることにより、ランダム色コーディング配列情報に基づく色分離を容易に且つ確実に行うことができる。
【００１８】
請求項５に係る発明は、請求項４に係るカラー撮像装置において、前記記憶手段をマスクＲＯＭで構成することを特徴とするものである。このように色コーディング配列データの記憶手段としてマスクＲＯＭを用いることにより、記憶手段をひいてはカラー撮像装置を低コストで大量製造することが可能となる。
【００１９】
請求項６に係る発明は、請求項４に係るカラー撮像装置において、前記記憶手段をＥＥＰＲＯＭで構成することを特徴とするものである。このように色コーディング配列データの記憶手段としてＥＥＰＲＯＭを用いることにより、色コーディング配列の異なるカラー撮像素子の色分離処理にも容易に対応することが可能となる。
【００２０】
【発明の実施の形態】
次に実施の形態について説明する。図１は、本発明に係るカラー撮像素子を用いたカラー撮像装置（ディジタルカメラ）の実施の形態を示すブロック構成図である。図１において、１はレンズ系、２はレンズ駆動機構、３は露出制御機構、４はＣＣＤ撮像素子、５はＣＣＤドライバ、６はＡ／Ｄ変換器を含むプリプロセス回路、７はディジタルプロセス回路で、ハードとしてメモリを含み、全てのディジタルプロセス処理を行うものである。８はメモリカードインターフェース、９はメモリカード、10はＬＣＤ画像表示系、11は主たる構成としてマイコンを含むシステムコントローラ、12は操作スイッチ系、13は操作表示系、14はストロボ、15はレンズドライバ、16は露出制御ドライバ、17はＥＥＰＲＯＭである。
【００２１】
図１に示した実施の形態においてカラー撮像素子として用いているＣＣＤ撮像素子４のランダム配列の色フィルタ配列例を図２に示す。このＣＣＤ撮像素子の画素数は、任意ではあるが仮に 100万画素程度を想定しており、図２においては、中央部分の８×８＝64画素に対応するフィルタ配列だけを表示している。以下の説明では、このようなランダム配列を得るための手順を具体的に説明するものであり、図示はあくまでもこの理解を助けるためのものであり、この程度の領域の図示で充分理解されるであろう。（また、ランダム配列が本発明の本質であるから、全領域のパターンを例示することは無意味且つ不可能でもある。）図２において、ＬＲはLight Red ，ＤＲはDark Red，ＬＧはLight Green ，ＤＧはDark Green，ＬＢはLight Blue，ＤＢはDark Blue をそれぞれ表し、それぞれ上記従来のベイヤ配列の撮像素子のＲ，Ｇ，Ｂ各フィルタと同じ色（相対分光透過率）のフィルタであるが、ＬＸはＸフィルタの２倍の透過率、ＤＸはＸフィルタの１／２の透過率を有している。（但しＸは、Ｒ，Ｇ，Ｂのいずれかを表すものとする。以下同じ。）このような色フィルタコーディングを、以下では２濃度ＲＧＢ６色（省略して２濃度ＲＧＢ又はＲＧＢ６色という）ランダムコーディングと称する。
【００２２】
次に、このようなコーディングを得るための手順例について説明する。このコーディングはランダムコーディングであるから、各画素の色フィルタを決定するために、２濃度ＲＧＢの６色にそれぞれ１面ずつを割り当てたサイコロを使用してもよいのは勿論であるが、その煩雑さを減じるため表計算ソフトウェア等を用いて、全画素配列に相当する表配列を準備する。そして、配列の各セルに数式ＭＯＤ（ＲＮＤ／６）（但し、ＲＮＤは適当な桁数の乱数関数、ＭＯＤ（ｎ／ｄ）はｎをｄで除した剰余関数）を割り当てて得られた数値に対して、例えば０→ＬＲ，１→ＬＧ，２→ＬＢ，３→ＤＲ，４→ＤＧ，５→ＤＢを適用すればよい。
【００２３】
このようにして得られた配列は、統計学的には通常は特に大きな偏りは持たないが、ただ１回の試行によって得たものは確率的に低いとはいえ、極端に色による画素数の多寡があったり、大面積にわたる特定色の集中があったりする可能性を有している。あるいは、従来例のような周期性を有したパターンになる可能性も極めて低いが０ではない。従って、上記手法によって数回の試行を行い複数の配列サンプルを得た上で、実写による撮像試験（現実にはシミュレーションを用いるのが好適）を行って、評価結果のよいものを採用することが望ましい。
【００２４】
しかしながら、このような試行的なやり方は、最終的な配列選択に際しては避けられないものであるとしても、設計当初から全て試行のみによることは、一般的には設計効率を著しく低下させるものであって好ましくない。あるいは試行によって得られた配列を評価するに当たっても、良い撮像画質を得るためには、必須となるような配列自体に要求される客観的な要件といったものがあるはずで（極端な例として、全てが一つの色の画素のみになってはならないことは自明である）、このような条件を具体的に見出し、これを制限条件（判定基準）として採用することが極めて有効である。
【００２５】
具体的には、本実施の形態におけるＣＣＤ撮像素子の２濃度ＲＧＢ６色ランダム配列は、任意の着目画素が該着目画素のフィルタの色（自己の色）を含む６色の画素と該着目画素の４辺又は４角のいずれかにおいて隣接するということを制約条件として採用している。すなわち、仮に着目画素のフィルタの色（自己の色）がＬＲであったとすれば、その上下左右及び斜め四方の隣接８画素のうちにＬＲ，ＬＧ，ＬＢ，ＤＲ，ＤＧ，ＤＢが少なくとも１画素ずつは含まれているという条件である。この条件は、後述の色分離処理における最近接画素情報による補完が、必ず上下左右及び斜め四方のいずれかの隣接画素によってなされることを保証するものであって、その結果として一定値以上の高解像度の確保を保証するものである。なお且つ、仮に画素欠陥（但し孤立的なものを想定している）が生じても着目画素のフィルタの色（自己の色）が上下左右斜め四方の隣接８画素のうちに必ず存在しているから、これによってその欠陥を補完すれば、解像度の劣化が事実生じないものである。図２の例において、周辺各１列の画素は見かけ上上記条件を満たしていないものもあるが、これは図示されてない更に外側の画素の存在によって条件を満たしているものである。このような事情から、撮像素子の光電変換面は、有効画像領域よりも４周それぞれにつき１〜数行（列）の余裕を見て、いわゆる捨て画素領域（画像信号生成に関与するが、有効画像領域ではない領域）を設けてある。
【００２６】
なお、このような制約条件を満たす配列は、上記完全にランダムな配列を試行により多数用意し、それを上記条件で検定することによっても、あるいは例えば表計算等のソフトウェア処理による配列生成に当たって、予め制約条件を課した上で生成することによっても、いずれでも得ることができる。
【００２７】
さて、このようなランダムカラーフィルタ配列を備えたＣＣＤ撮像素子４を用いたカラー撮像装置（ディジタルカメラ）においては、従来のカメラと同様に信号を読み出して処理し、撮像画像をメモリカード９に記録、あるいはＬＣＤ画像表示系10に表示する。従来と異なる動作は色分離処理であるが、その処理は、ディジタルプロセス回路７がシステムコントローラ11の制御下において行うようになっている。無論、色分離処理とは、基本的には対応色信号の存在しない画素（例えば従来のＲＧＢフィルタ撮像素子を用いたＢ信号生成処理におけるＲフィルタ画素など）に対する近隣画素情報等を用いた信号補完処理であって、この点に関しては従来と何等変わるところはない。しかしながら従来の色分離が、ＣＣＤ撮像素子の規則的色コーディングに対応して、順列に基づいた規則的サンプリングを行いホールド回路等を用いた単純な補完や、更に必要に応じて画素間の加算減算等を行っていた（具体的な処理についてはアナグロ処理、ディジタル処理、混成処理等多種にわたる）のに対して、本発明において適用するランダムコーディングは規則性がないので、このような処理はできない。そこで、使用するＣＣＤ撮像素子の各画素に関してのフィルタコーディングデータ（上記図２に相当する全画素のフィルタテーブル）を参照して、色分離処理を行う。このコーディングデータはＥＥＰＲＯＭ17に記憶されており、使用するＣＣＤ撮像素子の色コーディングが異なる場合にも対応できるようになっている。
【００２８】
これとは別に従来の処理と大きく異なる点は、言うまでもなくＲ，Ｇ，Ｂ各色に感度の異なる２種類の画素が存在していることであって、撮像素子から読み出される画素情報信号の光電変換特性は、Ｒ，Ｇ，Ｂの各色間の感度の違いをさておけば、Ｒ，Ｇ，Ｂのいずれかである着目する色Ｘ（ＬＸ，ＤＸ）については、図３に示すようなものとなっている。すなわち、従来の色Ｘの特性をＬＸ，ＤＸの各フィルタ透過率の違いに相当する分だけ左右に平行移動させたものになっている。（図３の基準感度線Ａは従来の色Ｘの有効輝度域の光電変換特性に対応する補助線である。）
【００２９】
そして、本実施の形態に係るカラー撮像装置における色信号の生成処理は従来のものとは異なり、各色Ｘに対応するＸ信号はＬＸ画素情報とＤＸ画素情報との２種の画素情報から生成される。具体的な各Ｘ信号の生成処理は以下のようにして行われる。但し、Ｙ画素とはＬＸ，ＤＸ以外の４種の画素（例えばＸ＝Ｇの時、ＬＲ，ＤＲ，ＬＢ，ＤＢのいずれか）を示す。
【００３０】
ＬＸ画素：
（１）自己（着目画素）の画素情報信号がＵＬ（ＬＸ）より小さい値の時→自己の画素情報信号の値の１／２の値をＸ信号値とする。
（２）自己の画素情報信号がＵＬ（ＬＸ）以上の時→自己に隣接するＤＸ画素（少なくとも１つ存在する）の画素情報信号の値を判定した結果によって、（２−Ａ）それがＬＬ（ＤＸ）より大きくＵＬ（ＤＸ）より小さい時→そのＤＸ画素の値（複数ある場合はその代表値）の２倍の値をＸ信号値とする。
（２−Ｂ）その全てがＬＬ（ＤＸ）以下又はＵＬ（ＤＸ）以上の時→自己の画素情報信号の値の１／２の値をＸ信号値とする。
【００３１】
ＤＸ画素：
（１）自己の画素情報信号がＬＬ（ＤＸ）より大きい値の時→自己の画素情報信号の値の２倍の値をＸ信号値とする。
（２）自己の画素情報信号がＬＬ（ＤＸ）以下の時→自己に隣接するＬＸ画素（少なくとも１つ存在する）の画素情報信号の値を判定した結果によって、（２−Ａ）それがＬＬ（ＬＸ）より大きくＵＬ（ＬＸ）より小さい時→そのＬＸ画素の値（複数ある場合はその代表値）の１／２の値をＸ信号値とする。
（２−Ｂ）その全てがＬＬ（ＬＸ）以下又はＵＬ（ＬＸ）以上の時→自己の画素情報信号の値の２倍の値をＸ信号値とする。
【００３２】
Ｙ画素：
自己に隣接するＸ画素（ＬＸ画素又はＤＸ画素：これは少なくとも２つ存在する）の出力するＸ信号値（但し、上記条件（１）を満足するものを優先し、これが複数ある場合はその代表値）を自己のＸ信号値とする。
なお、上記複数の値から「代表値」を得ることに関しては、選択法（例えば必ず下より上且つ右より左を選択する。解像度が高い。）あるいは補間法（平均値を算出する。擬似信号の発生レベルが小さい。）のいずれを用いてもよい。
【００３３】
上記のような色分離処理の結果得られた色信号は、全画素に関する同時化されたＲＧＢ３原色信号として、従来のＲＧＢ３原色信号と同様に後段の回路で処理され、最終的にメモリカード９に記録、あるいはＬＣＤ画像表示系10に表示される。なお、この後段の回路における処理は、その必要に応じて適宜使用されるそれ自体は公知の、例えば色バランス処理、マトリクス演算による輝度−色差信号への変換あるいはその逆変換処理、帯域制限等による偽色除去あるいは低減処理、γ変換に代表される各種非線型処理、各種情報圧縮処理、等々である。
【００３４】
上記Ｘ信号生成処理において、条件（１）とは要するにＬＸ，ＤＸ画素それぞれについて「所定の撮像レンジ（有効輝度域）に収まっている場合は、その画素の情報をそのまま使用する」ということであり、その際各画素が従来技術におけるＸ相当の「基準となる感度に対して有している感度差を所定の係数を乗じて（すなわちディジタルゲイン調節を行って）補償」しているものである。したがって、ＬＸ，ＤＸ共通のレンジ内の被写体に関しては、ＬＸ，ＤＸが個別のＸ画素として機能した高解像度のＸ（ＲＧＢ）信号が得られる。
【００３５】
これに対して条件（２−Ａ）は、「自己の画素情報信号がレンジを逸脱している場合、隣接の他方のＸが逸脱していない場合はそれで補完する」ことを意味している。すなわち、どちらか一方の画素のレンジでのみカバーされる高輝度や低輝度の被写体部分」に関しては、画素密度が半分になった状態でのＸ信号が得られることになるが、この場合の補完は必ず隣接画素によって行われる。したがって、Ｙ画素における補完の条件と同じであり、解像度の劣化は極めて小さい。
【００３６】
この場合、従来のＸを基準にとると、ＬＸは２倍、ＤＸは１／２の感度であるから、それぞれ低輝度側、高輝度側に１ＥＶ（６dB）ずつ撮像レンジがシフトしたことになり、合わせて２ＥＶ（12dB）撮像レンジが拡大したことになる。従来の撮像素子を用いた場合に、ダイナミックレンジ：Ｒange＝６ＥＶ（36dB）が限界であったとすれば、本実施の形態によって８ＥＶ（48dB）の広ダイナミックレンジの撮像装置を得ることができる。
【００３７】
上記のような色信号の生成処理によって得られる総合特性を図４に示す。この総合特性は、上記ディジタルゲイン調節によって、ＬＸ，ＤＸの２つの特性が上下に平行移動して一つに重なった特性となっている。ＥＵＬ，ＥＬＬ等はそれぞれ拡大された高輝度、低輝度の限界レベルである。
【００３８】
なお、この場合、上記共通レンジ（より高解像度の得られるレンジ）は４ＥＶあるが、上記のとおり解像度劣化の影響は小さいから、上記フィルタ透過率及びゲイン調節の係数を変えて共通レンジがほぼ０になるように設定したものを変形例として挙げておく。この変形例によれば、12ＥＶ（72dB）の飛躍的に広い撮像ダイナミックレンジを得ることが可能になる。
【００３９】
上記のようにＲＧＢ各信号のダイナミックレンジが拡大するから、被写体撮像に関して直接的に効果を発揮し、輝度再現域並びに色再現域が飛躍的に拡大すると共に、低輝度部でのＳ／Ｎ向上の結果、視覚的な色忠実度も向上する。
【００４０】
一方条件（２−Ｂ）は、「ＬＧ，ＤＧいずれの撮像レンジも逸脱している場合は、本来の画素の情報をそのまま（ゲイン調節は行い）使用する」ことを意味している。したがって、拡大された総合レンジをも逸脱する被写体（例えば解像度チャートのような完全な白黒パターン）に対しては、再び画素密度が高い状態での撮像が可能になっている。
【００４１】
そして、この際撮像によって生じる偽色に関して考察すると、白黒のナイフエッジや孤立的な白点（線）等の被写体に関しては、当然ながら平面的なカラーコーディングの影響で従来のコーディングと同様に偽色を生じる。しかしながら、これらはいずれも孤立的に発生する（偽の）色点や色線であって、その主要エネルギーは高周波域に分布しているから、従来公知の電気的フィルタ処理等の手法で除去あるいは低減することが可能である。そして、従来最大の問題であった縞模様状の繰り返しパターンの撮像に関しては、コーディングがランダムであるため、少なくとも低周波に折返った低域の偽色（色モアレ）は発生せず、本実施の形態においては上記除去あるいは低減可能な孤立的な偽色の発生にとどまるものである。従って本実施の形態においては、従来この種のディジタルカメラにおいて必須であった光学ローパスフィルタを使用していないにも関わらず、視覚的に問題となる偽色がほとんど発生せず高画質が得られる。
【００４２】
しかも、色分離処理における最近接画素情報による補完が、必ず上下左右又は斜め四方のいずれかの隣接画素によってなされるから、画素のぼけの最大値すなわちＰＳＦ（点像分布関数）の幅の最大値は、上記共通レンジを逸脱している領域を含めても、少なくとも水平垂直方向に関しては３画素にとどまり、「従来のベイヤ配列で色分離の際の補完に１画素でなく周辺画素の平均値を用いた場合」と比較して、Ｇ情報で同程度、ＲＢ情報に関しては２倍程度の解像度を確保することができる。また、孤立画素欠陥が存在した場合の補完を考えると、ベイヤ配列の場合はＰＳＦの幅を最大５画素まで許容せざるを得ないのに対して、本実施の形態ではＰＳＦの最大幅は変化しない。しかも、これは純粋な画素サンプリングによる効果のみの比較であるが、更に光学ローパスフィルタを使用していないから、これによるレスポンスの低下がなく、従来解像不可能であった周波数領域にまで解像度を拡大することが可能になる。
【００４３】
以上本発明について上記実施の形態に基づいて説明を行ったが、上記実施の形態には様々な変形例が考えられる。まず、上記実施の形態では、コーディングデータはＥＥＰＲＯＭ17に記憶されており、使用するＣＣＤ撮像素子のコーディングが異なる場合にも対応できるようになっていたものを示した。ＣＣＤ撮像素子は量産ばらつきに起因して１個毎に異なる画素欠陥データ等を必要とするから、このためのメモリを兼用する上からも、ＥＥＰＲＯＭを用いることは利点となり得るが、一方通常一つの撮像装置本体に対して適用される撮像素子は一種（量産ばらつきを除けば同一）であり、特にカラーコーディングを変える必要もないから、コーディングデータ自身は全て同じデータを用いることができる。この点に着目すれば、上記ＥＥＰＲＯＭはマスクＲＯＭに置き換えることが可能である。マスクＲＯＭに置き換えた場合、より低コストに構成することができる。そしてまた、いずれの態様の場合も、システムコントローラ11の有するマイクロコンピュータのプログラム格納メモリと兼用することが可能であることは言うまでもない。
【００４４】
また、上記実施の形態において示した「ランダムコーディングを得るための手順」は、あくまでも一例に過ぎず、ランダムコーディング自体は任意の方法によって得ることができる。すなわち、当該カラーコーディング配列が、従来公知であった規則的配列とは異なり、光電変換素子配列の少なくとも数画素〜数十画素以上の所定の領域に着目したときに顕著な規則的（周期的）構造を有しておらず、その結果として従来の規則的配列によって生じる縞模様状の繰り返しパターン入力に対する低域偽色の発生が低減したならば、その配列は本発明におけるランダム色コーディング配列となる。
【００４５】
また、上記実施の形態において、各ＬＸフィルタの透過率は従来のＸフィルタの２倍として説明を行ったが、従来のＸフィルタのピーク波長における透過率が50％以上の場合はこれは実現不可能である。この問題に対する解決を示すために、仮想的に従来のＸフィルタのピーク波長透過率が 100％であった場合を想定して、変形例を挙げておく。すなわちＬＸフィルタを従来のＸフィルタと同じ透過率とし、ＤＸフィルタを１／４の透過率とする例である。（ゲイン補正の数値も対応して変えることはいうまでもない。以下の例でも同じ。）この場合、Ｘ信号の撮像レンジは高輝度側にのみ２ＥＶ拡大することになる。なお、上記実施の形態とこの変形例に従って、各Ｘフィルタのピーク波長透過率に関して、これら２つの例の中間の値は勿論任意の値に対しても、本発明を自明的に容易に適用することができる。また上記実施の形態及びその変形例では、各Ｘ（ＲＧＢ）フィルタに対してＬ及びＤの相対的透過率設定は同じ値としたものを示したが、ＲＧＢ毎に異なる値を用いてもよいことは明らかで、任意の値に対しても本発明を自明的に容易に適用することができる。
【００４６】
また、上記実施の形態あるいは変形例における透過率等の数字は、あくまでも一例であり、必要に応じて任意に変更し得ることは言うまでもない。
【００４７】
更にまた、上記実施の形態あるいは変形例では６色ランダムコーディングとして２濃度ＲＧＢ６色ランダムコーディングを用いたものを示したが、例えば減色混合の３原色であるＹｅＭｇＣｙ（通称：補色）フィルタを用いた２濃度ＹｅＭｇＣｙ３原色ランダムコーディングでもよい。また、ＲＧＢ３原色フィルタに色再現改善用のｎＧ（狭帯域緑フィルタ）、高感度用のＷ（フィルタなし）、赤外域撮像用ＩＲ（可視光カットフィルタ）を加えた６色を用いて高画質多機能の同時実現を図ることもできる。すなわち、任意の６色コーディングに応用することができる。更にいわゆる光学的なフィルタを使用せず、撮像素子自体の素子構造で分光特性を異ならしめ、色コーディングを施したものであってもよい。
【００４８】
【発明の効果】
以上実施の形態に基づいて説明したように、本発明によれば周期的色コーディング配列に伴う問題を本質的に解決し、周期的な輝度変化をもった被写体でも色モアレを発生させず、また撮像ダイナミックレンジを飛躍的に向上させることができる小型低コストで高画質なカラー撮像の可能なカラー撮像素子及びカラー撮像装置を得ることができ、特に請求項１に係る発明によれば、周期性を有しないランダムな色コーディング配列による被写体撮像を行うことを可能とし、しかも任意の着目画素が該着目画素の色を含む６色の画素と該着目画素の４辺又は４角のいずれかにおいて隣接するという配列制限条件を満たす６色ランダム配列としているので、色モアレを発生させず且つ全撮像領域に亘って所定値以上の高解像度を確保すると共に画質性能や機能を向上させることができ、同時に孤立的画素欠陥が存在しても解像度の劣化を実質的に生じさせないカラー撮像素子を実現することができる。また請求項２に係る発明によれば、６色ランダム配列における６色を２つの感度を有する３原色で構成しているので、撮像ダイナミックレンジを飛躍的に向上させることができる。また請求項３に係る発明によれば、色モアレを発生させず所定値以上の高解像度を備えると共に画質性能や機能を向上させることができ、同時に孤立的画素欠陥が存在しても解像度の劣化を実質的に生じさせず、且つ撮像ダイナミックレンジを飛躍的に向上させることが可能なカラー撮像素子の、色コーディング配列情報に基づく色分離を確実に行うことができるカラー撮像装置を実現することができる。また請求項４に係る発明によれば、カラー撮像素子のランダム色コーディング配列データを記憶する記憶手段を備えているので、ランダム色コーディング配列情報に基づく色分離を容易に且つ確実に行うことができる。また請求項５に係る発明によれば、色コーディング配列データの記憶手段としてマスクＲＯＭを用いているので、記憶手段をひいてはカラー撮像装置を低コストで大量製造することが可能となる。また請求項６に係る発明によれば、色コーディング配列データの記憶手段としてＥＥＰＲＯＭを用いているので、色コーディング配列の異なるカラー撮像素子の色分離処理にも容易に対応することが可能となる。
【図面の簡単な説明】
【図１】本発明に係るカラー撮像素子及びカラー撮像装置の実施の形態を示すブロック構成図である。
【図２】図１に示した実施の形態におけるＣＣＤ撮像素子のランダム色フィルタ配列の一例を示す図である。
【図３】本発明の実施の形態におけるＣＣＤ撮像素子から読み出される画素情報信号の光電変換特性を示す図である。
【図４】本発明の実施の形態における色信号の生成処理によって得られる総合特性を示す図である。
【図５】ＲＧＢベイヤ配列の基本配列と全体配列の一例を示す図である。
【図６】一般的な撮像素子の光電変換特性を示す図である。
【符号の説明】
１レンズ系
２レンズ駆動機構
３露出制御機構
４ＣＣＤ撮像素子
５ＣＣＤドライバ
６プリプロセス回路
７ディジタルプロセス回路
８メモリカードインターフェース
９メモリカード
10 ＬＣＤ画像表示系
11 システムコントローラ
12 操作スイッチ系
13 操作表示系
14 ストロボ
15 レンズドライバ
16 露出制御ドライバ
17 ＥＥＰＲＯＭ[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a color image pickup device capable of preventing the occurrence of color moire and a color image pickup apparatus using the color image pickup device.
[0002]
[Prior art]
In general, image pickup devices represented by an image pickup tube and a solid-state image pickup device are widely used in image pickup apparatuses. In particular, a color imaging device used in a single tube or single sensor (Single Sensor) color imaging device can form a color imaging device with a single imaging device, so that a color separation prism is not required and the lens can be miniaturized. In addition, it has many features such as no need for multi-plate type adjustments represented by registration, low power consumption, and has contributed much to the miniaturization and power consumption of color imaging devices. Single-plate color cameras using a color CCD image sensor, which is a solid-state image sensor, have become the mainstream of imaging devices.
[0003]
Each of the color imaging devices performs color modulation (color coding) in the light receiving plane using a color filter called a stripe filter or a mosaic filter in order to obtain color information on one light receiving surface. That is, for example, by applying RGB three-color filters on each photoelectric conversion element (pixel) in a predetermined regular arrangement, each pixel has different spectral sensitivity. Therefore, since the video signal obtained by subject imaging includes dot-sequential color information according to this filter arrangement, it is separated for each signal corresponding to each color filter according to the predetermined arrangement, Color information can be extracted by extracting the separated signal. Since all RGB information is required to obtain a luminance signal (Y signal), at least three pixels (one for each RGB) are required to obtain luminance information for one pixel, and the luminance resolution is sacrificed. Color imaging can be performed with one imaging element.
[0004]
A variety of color coding patterns such as three primary color filters such as RGB stripes and Bayer type RGB mosaics (various types), complementary color filters such as YeMgCy stripes, YeMgCyW four-color mosaics, and YeMgCyG4 color mosaics are proposed and used in the filter arrangement. It has become.
[0005]
[Problems to be solved by the invention]
The present invention relates to the electrical configuration of the color image sensor (imaging tube or solid-state image sensor, CCD or other type, etc.) and the type of color coding (primary color or complementary color, or three colors or four colors). In the following explanation, since the essential problems are pointed out regardless of the point of view and the means for solving them are indicated, only the example will be taken up and explained in the following explanation unless otherwise specified.
[0006]
An example of the RGB Bayer arrangement in the conventional color coding arrangement will be described with reference to FIGS. In the RGB Bayer array, 2 × 2 4 pixels shown in FIG. 5A are used as a basic array, and the basic array is sequentially arranged as shown in FIG. 5B so as to fill a plane. The feature is that the luminance resolution is increased by increasing the density of G, which has a large contribution to the luminance signal, by setting the distribution ratio of the number of pixels to each color of RGB as 1: 2: 1. Further, since it is isotropically arranged in two vertical and horizontal directions, an isotropic resolution can be obtained unlike a stripe filter. Note that FIG. 5B illustrates an arbitrary 8 × 8 = 64 pixels.
[0007]
However, since the Bayer array uses a regular array as described above, it has a serious problem of generating false resolution based on spatial sampling by the array, that is, so-called color moire. That is, when there is a periodic subject having a luminance change (monochrome pattern) having the same cycle as the arrangement cycle in a monochrome subject that is not originally colored, for example, paying attention to the RG row as one horizontal line, R is white, G is black If there is, a signal equivalent to a signal obtained from a red subject having no luminance change is output, resulting in a color output that does not originally exist. The false color signal, that is, the color moire generated by such a repetitive striped pattern is generated in a low frequency region by so-called frequency folding (aliasing). Therefore, it is also possible to perform electrical filter processing including color band suppression in the subsequent stage. It cannot be removed.
[0008]
For this reason, the conventional single-plate color imaging device requires an optical low-pass filter such as crystal in the optical system in order to ensure image quality, and this is not only a major limitation on miniaturization and cost reduction, but it still remains. Deterioration in image quality due to color moiré is inevitable.
[0009]
On the other hand, apart from this problem, no special consideration is given to securing the imaging dynamic range (luminance reproduction range) for the subject in the conventional imaging device, and the subject has a large luminance range from high luminance to low luminance. When shooting this, there was a problem that whiteout and blackout were liable to occur.
[0010]
To elaborate on this problem, the imaging range is not simply determined by the image sensor alone, but is determined by the whole including the signal processing of the imaging device using it, but at least on the high luminance side, the saturation level of the image sensor is limited. Therefore, on the low luminance side, the noise level of the image sensor output in a state where it is incorporated in the image pickup apparatus becomes a limit, so that it is not possible to obtain an image pickup range exceeding at least that. Conventionally, photoelectric conversion characteristics of an image pickup device when an image pickup apparatus is configured using a general image pickup device are as schematically shown in FIG. 6, for example.
[0011]
In FIG. 6, the horizontal axis indicates the incident light amount, and the vertical axis indicates the signal level logarithmically. In the figure, UL indicates the high luminance side limit level, LL indicates the low luminance side limit level, and UL is a level that substantially corresponds to the saturation level of the image sensor, while LL is the noise level NL itself. In other words, the signal level is determined as a signal level having a predetermined limit S / N ratio that can be appreciated even when coexisting with noise. The effective luminance range is between UL and LL, and the difference between these (on the logarithmic axis): Range = UL−LL is the imaging dynamic range.
[0012]
Although this imaging dynamic range varies depending on the design and manufacture of the imaging apparatus, in many cases it is about 5 to 6 EV (30 to 36 dB), and further improvement has been desired. However, there is a problem that improvement of the saturation level and noise level of the image sensor is limited and difficult to realize.
[0013]
The present invention has been made in order to essentially solve the problems associated with the periodic color coding arrangement in the conventional color imaging apparatus and to improve the imaging dynamic range. In addition, the present invention provides a small, low-cost and high-quality color imaging device capable of color imaging, and a color imaging device capable of the same. For the purpose. To describe the purpose of each claim, the invention according to claim 1 makes it possible to capture a subject with a random color coding arrangement having no regularity, and has a high resolution equal to or higher than a predetermined value over the entire imaging region. It is an object of the present invention to provide a color imaging device that ensures image quality and improves image quality performance and functions, and that does not substantially cause resolution degradation even in the presence of isolated pixel defects. The invention according to claim 2 is to provide a color imaging device capable of dramatically improving the imaging dynamic range. The invention according to claim 3 is to provide a color image pickup device that can perform color separation based on random color coding arrangement information of the image pickup device using the color image pickup device according to claim 1 or 2. To do. A fourth aspect of the present invention is to provide a color imaging apparatus capable of easily and reliably performing color separation based on random color coding arrangement information. The invention according to claim 5 is to provide a color imaging apparatus provided with means for storing random color coding arrangement data that can be mass-produced at low cost. An object of the present invention is to provide a color imaging apparatus that can easily cope with color separation processing of color imaging elements having different color coding arrangements.
[0014]
[Means for Solving the Problems]
In order to solve the above problems, the invention according to claim 1 is a color imaging device having a pixel group in which a plurality of pixels each including a photoelectric conversion device are arranged, and the color coding arrangement of the color imaging device is: An arbitrary pixel of interest constitutes a color image sensor as a six-color random array that satisfies the array restriction condition adjacent to six pixels including the color of the pixel of interest and either the four sides or the four corners of the pixel of interest. is there. In the color imaging device configured as described above, it is possible to image a subject with a random color coding arrangement having no periodicity, and thus it is possible to prevent occurrence of color moire even for a subject having a periodic luminance change. . Since the six-color random array satisfying the array restriction condition that any target pixel is adjacent to the six-color pixel including the color of the target pixel on either the four sides or the four corners of the target pixel is randomly selected. While ensuring high resolution over a predetermined value over all imaging areas, image quality performance and functions can be improved, and at the same time, resolution degradation is substantially prevented even in the presence of isolated pixel defects. can do.
[0015]
According to a second aspect of the present invention, in the color imaging device according to the first aspect, each of the six colors constituting the six-color random array has two sensitivities (absolute sensitivity characteristics) with respect to one color (relative spectral sensitivity characteristic). It has three primary colors. In this way, by configuring the six colors in the six-color random array with the three primary colors having two sensitivities, the imaging dynamic range can be dramatically improved.
[0016]
The invention according to claim 3 includes the color image sensor according to claim 1 or 2, and performs color separation processing for performing color separation processing based on a random color coding arrangement of the color image sensor on an output signal of the color image sensor A color imaging apparatus is configured by providing means. With this configuration, it is possible to provide a high resolution of a predetermined value or more without generating color moire, improve image quality performance and functions, and at the same time, substantially reduce resolution even in the presence of isolated pixel defects. In addition, it is possible to realize a color imaging apparatus that can reliably perform color separation based on color coding arrangement information of a color imaging element that is not caused to occur and can dramatically improve the imaging dynamic range.
[0017]
According to a fourth aspect of the present invention, in the color imaging apparatus according to the third aspect, the storage unit stores arrangement data relating to a random color coding arrangement of the color imaging element for performing color separation processing by the color separation unit. It is characterized by that. Thus, by providing the storage means for storing the color coding arrangement data of the color imaging device, color separation based on the random color coding arrangement information can be easily and reliably performed.
[0018]
According to a fifth aspect of the present invention, in the color imaging apparatus according to the fourth aspect, the storage means is constituted by a mask ROM. As described above, by using the mask ROM as the storage means for the color coding arrangement data, it becomes possible to mass-produce the color imaging apparatus by using the storage means at a low cost.
[0019]
According to a sixth aspect of the present invention, in the color imaging apparatus according to the fourth aspect, the storage means is configured by an EEPROM. As described above, by using the EEPROM as the storage means for the color coding arrangement data, it is possible to easily cope with the color separation processing of the color imaging elements having different color coding arrangements.
[0020]
DETAILED DESCRIPTION OF THE INVENTION
Next, embodiments will be described. FIG. 1 is a block configuration diagram showing an embodiment of a color imaging device (digital camera) using a color imaging device according to the present invention. In FIG. 1, 1 is a lens system, 2 is a lens driving mechanism, 3 is an exposure control mechanism, 4 is a CCD imaging device, 5 is a CCD driver, 6 is a preprocess circuit including an A / D converter, and 7 is a digital process circuit. Thus, a memory is included as hardware, and all digital process processing is performed. 8 is a memory card interface, 9 is a memory card, 10 is an LCD image display system, 11 is a system controller including a microcomputer as a main configuration, 12 is an operation switch system, 13 is an operation display system, 14 is a strobe, 15 is a lens driver, 16 is an exposure control driver, and 17 is an EEPROM.
[0021]
FIG. 2 shows an example of a color filter array of a random array of the CCD image sensor 4 used as a color image sensor in the embodiment shown in FIG. The number of pixels of the CCD image pickup device is arbitrary but is assumed to be about 1 million pixels. In FIG. 2, only the filter array corresponding to 8 × 8 = 64 pixels in the central portion is displayed. In the following description, the procedure for obtaining such a random sequence will be specifically described, and the illustration is only for the purpose of assisting this understanding. I will. (In addition, since random arrangement is the essence of the present invention, it is meaningless and impossible to illustrate the pattern of the entire region.) In FIG. 2, LR is Light Red, DR is Dark Red, LG is Light Green , DG represents Dark Green, LB represents Light Blue, and DB represents Dark Blue, respectively, which are filters of the same color (relative spectral transmittance) as the R, G, B filters of the conventional Bayer array image sensor. , LX has twice the transmittance of the X filter, and DX has half the transmittance of the X filter. (However, X represents one of R, G, and B. The same applies hereinafter.) Such color filter coding is random in the following two colors of RGB 6 colors (abbreviated as 2 density RGB or RGB 6 colors). This is called coding.
[0022]
Next, an example procedure for obtaining such coding will be described. Since this coding is random coding, in order to determine the color filter of each pixel, it is of course possible to use dice in which one surface is assigned to each of the 6 colors of 2 density RGB. In order to reduce this, a table array corresponding to the entire pixel array is prepared using spreadsheet software or the like. A numerical value obtained by assigning a formula MOD (RND / 6) (where RND is a random number function with an appropriate number of digits, and MOD (n / d) is a remainder function obtained by dividing n by d) to each cell of the array. On the other hand, for example, 0 → LR, 1 → LG, 2 → LB, 3 → DR, 4 → DG, 5 → DB may be applied.
[0023]
The array obtained in this way is statistically usually not particularly biased, but the one obtained in a single trial is stochastically low, but the number of pixels by color is extremely low. There is a possibility that there is a lot of color and there is a concentration of a specific color over a large area. Alternatively, the possibility of a pattern having periodicity as in the conventional example is extremely low, but it is not zero. Therefore, after several trials are performed by the above method and a plurality of array samples are obtained, an imaging test by actual shooting (preferably using a simulation in practice) is performed, and a sample having a good evaluation result is adopted. desirable.
[0024]
However, even if such a trial method is unavoidable in the final sequence selection, the fact that all trials are performed from the beginning of the design generally significantly reduces the design efficiency. It is not preferable. Or, in order to evaluate the sequence obtained by trial, there should be objective requirements required for the sequence itself that is essential to obtain good image quality (as an extreme example, all It is self-evident that there should be only one color pixel), and it is extremely effective to find such a condition specifically and adopt it as a limiting condition (determination criterion).
[0025]
Specifically, the two-density RGB six-color random array of the CCD image pickup device according to the present embodiment is configured such that an arbitrary pixel of interest includes six pixels including the filter color (self color) of the pixel of interest and the pixels of the pixel of interest. Adjacent in any of four sides or four corners is adopted as a constraint condition. That is, if the filter color (self color) of the pixel of interest is LR, at least one pixel of LR, LG, LB, DR, DG, and DB among the adjacent eight pixels in the upper, lower, right, left, and diagonal directions. It is a condition that each is included. This condition guarantees that complementation by nearest-neighbor pixel information in the color separation processing described later is always performed by any of the adjacent pixels in the top, bottom, left, right, and diagonal four directions. This guarantees the resolution. In addition, even if a pixel defect (assuming an isolated one) occurs, the filter color (self color) of the pixel of interest always exists in the adjacent eight pixels in the upper, lower, left, and right diagonal directions. Therefore, if the defect is complemented by this, the resolution is not actually deteriorated. In the example of FIG. 2, there are some pixels in the peripheral one column that do not seem to satisfy the above condition, but this is satisfied by the presence of a further outside pixel not shown. For this reason, the photoelectric conversion surface of the image sensor has an allowance of one to several rows (columns) for each of the four circumferences than the effective image area, and is a so-called discard pixel area (which is involved in image signal generation, but is effective. An area that is not an image area) is provided.
[0026]
It should be noted that a sequence satisfying such a constraint condition is prepared in advance by preparing a large number of the above completely random sequences by trial and testing them under the above conditions or when generating a sequence by software processing such as spreadsheet. Either can be obtained by generating after imposing a constraint condition.
[0027]
Now, in a color imaging device (digital camera) using a CCD imaging device 4 having such a random color filter array, a signal is read out and processed in the same manner as a conventional camera, and a captured image is recorded in a memory card 9. Or displayed on the LCD image display system 10. The operation different from the conventional one is color separation processing, which is performed by the digital process circuit 7 under the control of the system controller 11. Of course, the color separation processing basically means signal complementation using neighboring pixel information for a pixel that does not have a corresponding color signal (for example, an R filter pixel in a B signal generation processing using a conventional RGB filter image sensor). This is a process, and there is no difference with respect to this point. However, the conventional color separation corresponds to the regular color coding of the CCD image sensor, performs regular sampling based on the permutation, and performs simple complementation using a hold circuit or the like, and addition / subtraction between pixels as necessary However, since random coding applied in the present invention has no regularity, such processing cannot be performed (in contrast to various processing such as anagro processing, digital processing, and hybrid processing). Therefore, color separation processing is performed with reference to filter coding data (filter table of all pixels corresponding to FIG. 2 above) for each pixel of the CCD image sensor to be used. This coding data is stored in the EEPROM 17 so that it can cope with the case where the color coding of the CCD image pickup element used is different.
[0028]
Apart from this, it is obvious that there are two types of pixels having different sensitivities for each color of R, G, and B, and the photoelectric conversion of the pixel information signal read from the image sensor. The characteristics are as shown in FIG. 3 for the color X (LX, DX) of interest, which is one of R, G, and B, taking into account the difference in sensitivity between the R, G, and B colors. It has become. That is, the characteristic of the conventional color X is translated left and right by an amount corresponding to the difference in the filter transmittances of LX and DX. (The reference sensitivity line A in FIG. 3 is an auxiliary line corresponding to the photoelectric conversion characteristics in the effective luminance region of the conventional color X.)
[0029]
The color signal generation process in the color imaging apparatus according to the present embodiment is different from the conventional one, and the X signal corresponding to each color X is generated from two types of pixel information of LX pixel information and DX pixel information. The Specific generation processing of each X signal is performed as follows. However, the Y pixel indicates four types of pixels other than LX and DX (for example, any one of LR, DR, LB, and DB when X = G).
[0030]
LX pixel:
(1) When the pixel information signal of its own (target pixel) is smaller than UL (LX) → A value that is ½ of the value of its own pixel information signal is taken as the X signal value.
(2) When the self pixel information signal is equal to or higher than UL (LX) → The result of determining the value of the pixel information signal of a DX pixel (at least one exists) adjacent to self (2-A) When larger than (DX) and smaller than UL (DX) → A value twice as large as the value of the DX pixel (representative value when there are plural pixels) is set as the X signal value.
(2-B) When all of them are LL (DX) or less or UL (DX) or more → The value of ½ of the value of its own pixel information signal is set as the X signal value.
[0031]
DX pixel:
(1) When the own pixel information signal has a value larger than LL (DX) → A value twice the value of the own pixel information signal is set as the X signal value.
(2) When its own pixel information signal is LL (DX) or lower → The result of determining the value of the pixel information signal of the LX pixel (at least one exists) adjacent to itself (2-A) When it is larger than (LX) and smaller than UL (LX) → the value of ½ of the value of the LX pixel (the representative value when there are a plurality of pixels) is taken as the X signal value.
(2-B) When all of them are equal to or less than LL (LX) or equal to or greater than UL (LX), a value twice the value of the own pixel information signal is set as the X signal value.
[0032]
Y pixel:
Priority is given to the X signal value output from the X pixel adjacent to itself (LX pixel or DX pixel: there are at least two) that satisfies the above condition (1). Value) is the X signal value of itself.
As for obtaining a “representative value” from the plurality of values, a selection method (for example, always select from above the bottom and the left from the right. The resolution is high) or an interpolation method (an average value is calculated. A pseudo signal). Any of the above may be used.
[0033]
The color signal obtained as a result of the color separation process as described above is processed as a synchronized RGB 3 primary color signal for all pixels by a circuit in the subsequent stage in the same manner as the conventional RGB 3 primary color signal, and finally is stored in the memory card 9. Recorded or displayed on the LCD image display system 10. It should be noted that the processing in the subsequent circuit is appropriately used as needed, and is known per se, for example, by color balance processing, conversion to a luminance-color difference signal by matrix calculation or its inverse conversion processing, band limitation, etc. These include false color removal or reduction processing, various non-linear processes represented by γ conversion, various information compression processes, and so on.
[0034]
In the X signal generation processing, the condition (1) is to say that “when the pixel is within the predetermined imaging range (effective luminance range), the information of the pixel is used as it is” for each of the LX and DX pixels. In this case, each pixel compensates for “sensitivity difference possessed with respect to the reference sensitivity by multiplying by a predetermined coefficient (ie, by adjusting the digital gain)” corresponding to X in the prior art. . Therefore, for an object within the common range of LX and DX, a high-resolution X (RGB) signal in which LX and DX function as individual X pixels is obtained.
[0035]
On the other hand, the condition (2-A) means that “if the own pixel information signal deviates from the range, it is complemented by the other X that does not deviate”. In other words, regarding the “high luminance or low luminance subject portion covered only by the range of one of the pixels”, an X signal with the pixel density being halved can be obtained. Is always performed by adjacent pixels. Therefore, it is the same as the complementary condition in the Y pixel, and the resolution degradation is extremely small.
[0036]
In this case, when the conventional X is taken as a reference, the sensitivity of LX is doubled and DX is 1/2, so the imaging range is shifted by 1 EV (6 dB) to the low luminance side and the high luminance side, respectively. In total, the 2EV (12 dB) imaging range is expanded. If the dynamic range: Range = 6EV (36 dB) is the limit when a conventional imaging device is used, an imaging device with a wide dynamic range of 8 EV (48 dB) can be obtained according to this embodiment.
[0037]
FIG. 4 shows the overall characteristics obtained by the color signal generation process as described above. This total characteristic is a characteristic in which the two characteristics of LX and DX are translated in the vertical direction and overlapped by the above-described digital gain adjustment. EUL, ELL, etc. are expanded high and low luminance limit levels, respectively.
[0038]
In this case, the common range (a range in which higher resolution can be obtained) is 4 EV. However, since the influence of resolution degradation is small as described above, the common range is almost 0 by changing the filter transmittance and the gain adjustment coefficient. What is set to become is given as a modification. According to this modification, it is possible to obtain a significantly wide imaging dynamic range of 12 EV (72 dB).
[0039]
As described above, the dynamic range of each RGB signal is expanded, so that an effect is directly exerted on subject imaging, the luminance reproduction area and the color reproduction area are dramatically expanded, and the S / N is improved in the low luminance portion. As a result, visual color fidelity is also improved.
[0040]
On the other hand, the condition (2-B) means that “when both the LG and DG imaging ranges deviate, the original pixel information is used as it is (with gain adjustment performed)”. Therefore, for a subject that deviates from the enlarged total range (for example, a complete black and white pattern such as a resolution chart), it is possible to capture an image with a high pixel density again.
[0041]
Considering the false color generated by imaging at this time, it is natural that the subject such as black and white knife edges and isolated white spots (lines) is false color as in the conventional coding due to the influence of the planar color coding. Produce. However, these are all isolated (false) color points and color lines, and their main energy is distributed in the high frequency range, so that they can be removed by a conventionally known method such as electrical filtering. It is possible to reduce. And for the imaging of striped repetitive patterns, which was the biggest problem in the past, since the coding is random, at least low-frequency false color (color moire) that turns back to a low frequency does not occur. In this embodiment, the generation of the isolated false color that can be removed or reduced is limited. Therefore, in the present embodiment, despite the fact that the optical low-pass filter that has been essential in this type of digital camera is not used, there is almost no false color that is visually problematic, and high image quality can be obtained. .
[0042]
In addition, since the nearest pixel information in color separation processing is always complemented by adjacent pixels in either the top, bottom, left, right, or diagonal directions, the maximum pixel blur, that is, the maximum PSF (point spread function) width. Even if the region deviating from the common range is included, at least in the horizontal / vertical direction, the number of pixels is limited to three, and “the average value of peripheral pixels, not one pixel, is used for color separation in the conventional Bayer array. Compared to “when used”, it is possible to secure the same resolution for the G information and about twice the resolution for the RB information. Considering the complementation when there is an isolated pixel defect, in the case of the Bayer array, the PSF width must be allowed up to a maximum of 5 pixels, whereas in this embodiment the maximum width of the PSF changes. do not do. Moreover, this is a comparison only of the effect of pure pixel sampling, but since no optical low-pass filter is used, the response is not degraded by this, and the resolution is reduced to the frequency region where resolution was impossible in the past. It becomes possible to expand.
[0043]
Although the present invention has been described based on the above embodiment, various modifications can be considered for the above embodiment. First, in the above-described embodiment, the coding data is stored in the EEPROM 17, and it has been shown that it can cope with the case where the coding of the CCD image sensor to be used is different. Since the CCD image pickup device requires different pixel defect data and the like due to variations in mass production, the use of the EEPROM can be an advantage from the viewpoint of using the memory for this purpose. Since the image pickup device applied to the image pickup apparatus main body is a kind (the same except for mass production variations) and there is no need to change the color coding in particular, all the coding data itself can use the same data. If attention is paid to this point, the EEPROM can be replaced with a mask ROM. When replaced with a mask ROM, it can be configured at a lower cost. In either case, it goes without saying that it can also be used as a microcomputer program storage memory of the system controller 11.
[0044]
The “procedure for obtaining random coding” shown in the above embodiment is merely an example, and the random coding itself can be obtained by an arbitrary method. That is, the color coding arrangement differs from the conventionally known regular arrangement, and is noticeable regular (periodic) when attention is paid to a predetermined region of at least several pixels to several tens of pixels or more of the photoelectric conversion element arrangement. If it does not have a structure and, as a result, the occurrence of low-frequency false colors for the repeated pattern input of a striped pattern caused by the conventional regular arrangement is reduced, the arrangement becomes the random color coding arrangement in the present invention. .
[0045]
In the above embodiment, the description has been made assuming that the transmittance of each LX filter is twice that of the conventional X filter, but this is not realized when the transmittance at the peak wavelength of the conventional X filter is 50% or more. Is possible. In order to show a solution to this problem, a modification is given assuming that the peak wavelength transmittance of a conventional X filter is virtually 100%. That is, in this example, the LX filter has the same transmittance as that of the conventional X filter, and the DX filter has a transmittance of 1/4. (It goes without saying that the numerical value of the gain correction is also changed correspondingly. The same applies to the following example.) In this case, the imaging range of the X signal is expanded by 2 EV only on the high luminance side. In addition, according to the above-described embodiment and this modification, the present invention can be readily applied to any value as well as an intermediate value between these two examples regarding the peak wavelength transmittance of each X filter. be able to. In the above-described embodiment and its modification, the relative transmittance settings of L and D are set to the same value for each X (RGB) filter, but different values may be used for each RGB. Obviously, the present invention can be readily and easily applied to any value.
[0046]
Moreover, it is needless to say that the numbers such as the transmittance in the above-described embodiment or modification are merely examples, and can be arbitrarily changed as necessary.
[0047]
Furthermore, in the above-described embodiment or modification, the two-color RGB six-color random coding is used as the six-color random coding, but for example, a two-primary YeMgCy (common name: complementary color) filter that is the three primary colors of the subtractive color mixture is used. The density YeMgCy3 primary color random coding may be used. In addition, high image quality is achieved using six colors including nG (narrowband green filter) for color reproduction improvement, W (no filter) for high sensitivity, and IR (visible light cut filter) for infrared imaging in RGB three primary color filters. Multiple functions can be realized simultaneously. That is, it can be applied to arbitrary six-color coding. Furthermore, a so-called optical filter may not be used, and color coding may be performed with different spectral characteristics depending on the element structure of the imaging element itself.
[0048]
【The invention's effect】
As described above based on the embodiments, according to the present invention, the problem associated with the periodic color coding arrangement is essentially solved, and no color moire is generated even in a subject having a periodic luminance change. A color image pickup device and a color image pickup apparatus capable of performing color imaging with high image quality at a small size and low cost that can dramatically improve the imaging dynamic range can be obtained. In particular, according to the invention of claim 1, the periodicity can be obtained. It is possible to perform subject imaging with a random color coding arrangement that does not have any pixel, and any target pixel is adjacent to six pixels including the color of the target pixel on either the four sides or the four corners of the target pixel Since the 6-color random array that satisfies the array restriction condition is performed, color moiré is not generated and a high resolution equal to or higher than a predetermined value is ensured over the entire imaging region. It is possible to improve the performance and function, it is possible to realize a color image sensor that does not give substantial cause degradation in resolution even if there is isolatively pixel defect at the same time. According to the second aspect of the present invention, since the six colors in the six-color random array are composed of the three primary colors having two sensitivities, the imaging dynamic range can be dramatically improved. According to the third aspect of the present invention, it is possible to improve the image quality performance and function while providing high resolution of a predetermined value or more without generating color moiré, and at the same time, resolution degradation even if there is an isolated pixel defect. And a color imaging device capable of reliably performing color separation based on color coding arrangement information of a color imaging device capable of dramatically improving imaging dynamic range. it can. According to the fourth aspect of the present invention, since the storage means for storing the random color coding arrangement data of the color image sensor is provided, color separation based on the random color coding arrangement information can be easily and reliably performed. . According to the fifth aspect of the present invention, since the mask ROM is used as the storage means for the color coding arrangement data, it is possible to mass-produce the color image pickup apparatus at low cost by using the storage means. According to the sixth aspect of the present invention, since the EEPROM is used as the storage means for the color coding arrangement data, it is possible to easily cope with the color separation processing of the color image pickup elements having different color coding arrangements.
[Brief description of the drawings]
FIG. 1 is a block configuration diagram showing an embodiment of a color imaging device and a color imaging device according to the present invention.
FIG. 2 is a diagram showing an example of a random color filter array of the CCD image pickup device in the embodiment shown in FIG.
FIG. 3 is a diagram illustrating a photoelectric conversion characteristic of a pixel information signal read from a CCD image pickup device according to an embodiment of the present invention.
FIG. 4 is a diagram showing overall characteristics obtained by color signal generation processing in the embodiment of the present invention.
FIG. 5 is a diagram illustrating an example of a basic array and an entire array of RGB Bayer arrays.
FIG. 6 is a diagram illustrating photoelectric conversion characteristics of a general image sensor.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 Lens system 2 Lens drive mechanism 3 Exposure control mechanism 4 CCD image pick-up element 5 CCD driver 6 Preprocess circuit 7 Digital process circuit 8 Memory card interface 9 Memory card
10 LCD image display system
11 System controller
12 Operation switch system
13 Operation display system
14 Strobe
15 Lens driver
16 Exposure control driver
17 EEPROM

Claims

光電変換素子からなる画素を複数個配列してなる画素群を有するカラー撮像素子であって、該カラー撮像素子の色コーディング配列は、任意の着目画素が該着目画素の色を含む６色の画素と該着目画素の４辺又は４角のいずれかにおいて隣接する配列制限条件を満たす６色ランダム配列であることを特徴とするカラー撮像素子。A color imaging device having a pixel group formed by arranging a plurality of pixels each composed of a photoelectric conversion device, wherein the color coding arrangement of the color imaging device is a six-color pixel in which an arbitrary pixel of interest includes the color of the pixel of interest And a 6-color random array satisfying an array restriction condition that is adjacent on either the four sides or the four corners of the pixel of interest.

前記６色ランダム配列を構成する６色は、１つの色に関してそれぞれ２つの感度を有する３原色であることを特徴とする請求項１に係るカラー撮像素子。6. The color imaging element according to claim 1, wherein the six colors constituting the six-color random array are three primary colors each having two sensitivities with respect to one color.

前記請求項１又は２に係るカラー撮像素子を備え、該カラー撮像素子の出力信号に対して該カラー撮像素子のランダム色コーディング配列に基づく色分離処理を行う色分離手段を有していることを特徴とするカラー撮像装置。The color imaging device according to claim 1 or 2, further comprising color separation means for performing color separation processing based on a random color coding arrangement of the color imaging device on an output signal of the color imaging device. A characteristic color imaging device.

前記色分離手段で色分離処理を行うための、前記カラー撮像素子のランダム色コーディング配列に関する配列データを記憶する記憶手段を備えていることを特徴とする請求項３に係るカラー撮像装置。4. The color imaging apparatus according to claim 3, further comprising storage means for storing arrangement data relating to a random color coding arrangement of the color imaging element for performing color separation processing by the color separation means.

前記記憶手段は、マスクＲＯＭで構成されていることを特徴とする請求項４に係るカラー撮像装置。5. The color imaging apparatus according to claim 4, wherein the storage means is composed of a mask ROM.

前記記憶手段は、ＥＥＰＲＯＭで構成されているこを特徴とする請求項４に係るカラー撮像装置。5. The color imaging apparatus according to claim 4, wherein the storage means is composed of an EEPROM.