JP4119565B2 - カラー撮像素子及びカラー撮像装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
この発明は、色モアレの発生を防止できるようにしたカラー撮像素子及びそのカラー撮像素子を用いたカラー撮像装置に関する。
【０００２】
【従来の技術】
一般に、撮像管及び固体撮像素子に代表される撮像素子は、撮像装置に広く用いられている。特に、単管又は単板（Single Sensor)カラー撮像装置に使用されるカラー撮像素子は、１つの撮像素子でカラー撮像装置を構成できるため、色分離プリズムが不要でレンズの小型化が可能であり、またレジストレーションに代表される多板式の各種調整の必要がなく、更に消費電力が小さいなど多くの特徴を有し、カラー撮像装置の小型化・消電力化に多くの貢献を果しており、特に固体撮像素子であるカラーＣＣＤ撮像素子を用いた単板カラーカメラは、撮像装置の主流となっている。
【０００３】
上記カラー撮像素子は、いずれも一つの受光面で色情報を得るため、ストライプフィルタ又はモザイクフィルタなどと称される色フィルタを用いて、受光平面内で色変調（色コーディング）を行っている。すなわち、例えばＲＧＢ３色のフィルタを所定の規則的配列で各光電変換素子（画素）上に張り付けることで、各画素毎に異なる分光感度を持たせている。従って、被写体撮像によって得られた映像信号には、このフィルタ配列にしたがった点順次の色情報が含まれているから、上記所定の配列にしたがって各色フィルタに対応した信号毎に分離して、その分離した信号を取り出すことにより色情報が取り出せる。輝度信号（Ｙ信号）を得るためにはＲＧＢ情報が全て必要であるから、１画素の輝度情報を得るためには最低３画素（ＲＧＢ各１画素ずつ）を必要とし、輝度解像度は犠牲になるものの一つの撮像素子でカラー撮像を行うことができるようになっている。
【０００４】
上記フィルタ配列には、ＲＧＢストライプ、ベイヤ型ＲＧＢモザイク（各種あり）などの３原色フィルタ、ＹｅＭｇＣｙストライプ、ＹｅＭｇＣｙＷ４色モザイク、ＹｅＭｇＣｙＧ４色モザイクなどの補色フィルタ等、多種多様の色コーディングパターンが提案されて実用化されている。
【０００５】
【発明が解決しようとする課題】
本発明は、上記カラー撮像素子の電気的構成（撮像管か固体撮像素子か、あるいはＣＣＤか他のタイプかなど）や色コーディングの種類（原色か補色か、あるいは３色か４色かなど）については、関わりなく有する本質的問題点を指摘し、その解決手段を示すものであるから、以下の説明においては特にことわらないない限り、その一例についてのみ取り上げ、説明を行うこととする。
【０００６】
上記従来の色コーディング配列の中、ＲＧＢベイヤ配列の一例を図５の（Ａ），（Ｂ）に基づいて説明する。ＲＧＢベイヤ配列は、図５の（Ａ）に示す２×２の４画素を基本配列とし、この基本配列を図５の（Ｂ）に示すように順次並べて平面を埋めつくすように配列するものであって、ＲＧＢの各色への画素数の配分比率を１：２：１として、輝度信号に対する寄与の大きいＧの密度を高めることで輝度解像度を高くした点に特徴があるものである。また、垂直及び水平の２方向に等方的に配置しているので、ストライプフィルタと異なり等方的な解像度が得られるようになっている。なお、図５の（Ｂ）は任意の８×８＝64画素に関して例示している。
【０００７】
しかしながら、ベイヤ配列においては上記のように規則的な配列を用いているため、その配列による空間サンプリングに基づいた偽解像、いわゆる色モアレの発生を伴うという大きな問題を有していた。すなわち、本来色のない白黒被写体において上記配列周期と同じ周期の輝度変化（白黒パターン）を有する周期的被写体が存在した場合、例えば１水平ラインとしてＲＧ行に着目しＲで白、Ｇで黒であったとすると、輝度変化のない赤い被写体から得られる信号と同等の信号が出力されるため、本来は存在しない色出力を生じてしまう。このような縞模様状の繰り返しパターンによって生じた偽色信号すなわち色モアレは、いわゆる周波数折り返し（エリアジング）によって低周波域に生ずるため、後段の色帯域抑圧を含めた電気的フィルタ処理等によっても取り除くことができない。
【０００８】
このため、従来の単板カラー撮像装置は、画質確保のためには光学系に水晶などの光学ローパスフィルタを必須としており、これが小型化や低コスト化の大きな制約となるばかりか、それでもなお残存する色モアレによる画質劣化は避けられなかった。
【０００９】
一方この問題とは別に、従来の撮像装置においては被写体に対する撮像ダイナミックレンジ（輝度再現域）の確保については特別な考慮がなされておらず、輝度分布が高輝度から低輝度まで輝度レンジの大きな被写体の撮影に際しては、白飛びや黒潰れを生じやすいという問題点があった。
【００１０】
この問題点に関して詳述すれば、撮像レンジは単純に撮像素子だけでは決まらず、それを使用した撮像装置の信号処理も含めた全体で決まるが、少なくとも高輝度側は撮像素子の飽和レベルが限界になり、低輝度側は撮像装置に組み込まれた状態での撮像素子出力のノイズレベルが限界になるから、少なくともそれを超えた撮像レンジを得ることはできない。従来、一般的な撮像素子を用いて撮像装置を構成した場合の撮像素子の光電変換特性は、例えば図６で模式的に示されるようなものであった。
【００１１】
図６において、横軸は入射光量を、縦軸は信号レベルをそれぞれ対数的に示している。また、図中ＵＬは高輝度側限界レベルを、ＬＬは低輝度側限界レベルをそれぞれ示しており、ＵＬは撮像素子の飽和レベルにほぼ対応するレベルであり、一方ＬＬについてはノイズレベルＮＬそのものではなく、ノイズと共存しても鑑賞に堪える所定の限界Ｓ／Ｎ比を有する信号レベルとして定まる。そしてＵＬとＬＬの間が有効輝度域となり、これらの（対数軸上での）差：Ｒange＝ＵＬ−ＬＬが撮像ダイナミックレンジとなる。
【００１２】
この撮像ダイナミックレンジは、撮像装置の設計製造によって異なるが、多くの場合５〜６ＥＶ（30〜36dB）程度であり、更なる改善が望まれていた。しかしながら、撮像素子の飽和レベルやノイズレベルの改善には限界があり、実現が困難であるという問題があった。
【００１３】
本発明は、従来のカラー撮像装置における上記周期的色コーディング配列に伴う問題を本質的に解決すると共に撮像ダイナミックレンジを改善するためになされたもので、周期的な輝度変化をもつ被写体でも色モアレを発生させず、また撮像ダイナミックレンジを飛躍的に向上させることができ、小型低コストで高画質なカラー撮像の可能な撮像装置を提供すること、及びそれを可能とするカラー撮像素子を提供することを目的とする。請求項毎の目的を述べると、請求項１に係る発明は、規則性を有しないランダムな色コーディング配列による被写体撮像を行うことを可能とし、且つ全撮像領域に亘って所定値以上の高解像度を確保すると共に画質性能や機能を向上させることの可能なカラー撮像素子を提供することを目的とする。請求項２に係る発明は、撮像ダイナミックレンジを飛躍的に向上させることの可能なカラー撮像素子を提供することを目的とする。請求項３に係る発明は、請求項１又は２に係るカラー撮像素子を用いて、該撮像素子のランダム色コーディング配列情報に基づく色分離を行えるようにしたカラー撮像装置を提供することを目的とする。請求項４に係る発明は、ランダム色コーディング配列情報に基づく色分離を容易に且つ確実に行うことができるカラー撮像装置を提供することを目的とする。請求項５に係る発明は、低コストで大量製造することができるランダム色コーディング配列データを記憶する手段を備えたカラー撮像装置を提供することを目的とする。請求項６に係る発明は、色コーディング配列の異なるカラー撮像素子の色分離処理にも容易に対応することが可能なカラー撮像装置を提供することを目的とする。
【００１４】
【課題を解決するための手段】
上記問題点を解決するため、請求項１に係る発明は、光電変換素子からなる画素を複数個配列してなる画素群を有するカラー撮像素子であって、該カラー撮像素子の色コーディング配列は、任意の着目画素が該着目画素の色以外の他の５色の画素と該着目画素の４辺又は４角のいずれかにおいて隣接する配列制限条件を満たす６色ランダム配列としてカラー撮像素子を構成するものである。このように構成したカラー撮像素子においては、周期性を有しないランダムな色コーディング配列で被写体を撮像することができ、したがって周期的な輝度変化をもつ被写体でも色モアレの発生を防止することができる。そして、任意の着目画素が該着目画素の色以外の他の５色の画素と該着目画素の４辺又は４角のいずれかにおいて隣接するという配列制限条件を満たす６色ランダム配列としているため、ランダムでありながらも全ての撮像領域に亘って所定値以上の高解像度を確保すると共に、画質性能や機能を向上させることができる。
【００１５】
請求項２に係る発明は、請求項１に係るカラー撮像素子において、前記６色ランダム配列を構成する６色は、１つの色（相対分光感度特性）に関してそれぞれ２つの感度（絶対感度特性）を有する３原色であることを特徴とするものである。このように６色ランダム配列における６色を、２つの感度を有する３原色で構成することにより、撮像ダイナミックレンジを飛躍的に向上させることができる。
【００１６】
請求項３に係る発明は、前記請求項１又は２に係るカラー撮像素子を備え、該カラー撮像素子の出力信号に対して該カラー撮像素子のランダム色コーディング配列に基づく色分離処理を行う色分離手段を設けてカラー撮像装置を構成するものである。このように構成することにより、色モアレを発生させず所定値以上の高解像度を備えると共に画質性能や機能を向上させることができ、且つ撮像ダイナミックレンジを飛躍的に向上させることが可能なカラー撮像素子の色コーディング配列情報に基づく色分離を、確実に行うことができるカラー撮像装置を実現することができる。
【００１７】
請求項４に係る発明は、請求項３に係るカラー撮像装置において、前記色分離手段で色分離処理を行うための、前記カラー撮像素子のランダム色コーディング配列に関する配列データを記憶する記憶手段を備えていることを特徴とするものである。このようにカラー撮像素子の色コーディング配列データを記憶する記憶手段を備えることにより、ランダム色コーディング配列情報に基づく色分離を容易に且つ確実に行うことができる。
【００１８】
請求項５に係る発明は、請求項４に係るカラー撮像装置において、前記記憶手段をマスクＲＯＭで構成することを特徴とするものである。このように色コーディング配列データの記憶手段としてマスクＲＯＭを用いることにより、記憶手段をひいてはカラー撮像装置を低コストで大量製造することが可能となる。
【００１９】
請求項６に係る発明は、請求項４に係るカラー撮像装置において、前記記憶手段をＥＥＰＲＯＭで構成することを特徴とするものである。このように色コーディング配列データの記憶手段としてＥＥＰＲＯＭを用いることにより、色コーディング配列の異なるカラー撮像素子の色分離処理にも容易に対応することが可能となる。
【００２０】
【発明の実施の形態】
次に実施の形態について説明する。図１は、本発明に係るカラー撮像素子を用いたカラー撮像装置（ディジタルカメラ）の実施の形態を示すブロック構成図である。図１において、１はレンズ系、２はレンズ駆動機構、３は露出制御機構、４はＣＣＤ撮像素子、５はＣＣＤドライバ、６はＡ／Ｄ変換器を含むプリプロセス回路、７はディジタルプロセス回路で、ハードとしてメモリを含み、全てのディジタルプロセス処理を行うものである。８はメモリカードインターフェース、９はメモリカード、10はＬＣＤ画像表示系、11は主たる構成としてマイコンを含むシステムコントローラ、12は操作スイッチ系、13は操作表示系、14はストロボ、15はレンズドライバ、16は露出制御ドライバ、17はＥＥＰＲＯＭである。
【００２１】
図１に示した実施の形態においてカラー撮像素子として用いているＣＣＤ撮像素子４のランダム配列の色フィルタ配列例を図２に示す。このＣＣＤ撮像素子の画素数は、任意ではあるが仮に 100万画素程度を想定しており、図２においては、中央部分の８×８＝64画素に対応するフィルタ配列だけを表示している。以下の説明では、このようなランダム配列を得るための手順を具体的に説明するものであり、図示はあくまでもこの理解を助けるためのものであり、この程度の領域の図示で充分理解されるであろう。（また、ランダム配列が本発明の本質であるから、全領域のパターンを例示することは無意味且つ不可能でもある。）図２において、ＬＲはLight Red ，ＤＲはDark Red，ＬＧはLight Green ，ＤＧはDark Green，ＬＢはLight Blue，ＤＢはDark Blue をそれぞれ表し、それぞれ上記従来のベイヤ配列の撮像素子のＲ，Ｇ，Ｂ各フィルタと同じ色（相対分光透過率）のフィルタであるが、ＬＸはＸフィルタの２倍の透過率、ＤＸはＸフィルタの１／２の透過率を有している。（但しＸは、Ｒ，Ｇ，Ｂのいずれかを表すものとする。以下同じ。）このような色フィルタコーディングを、以下では２濃度ＲＧＢ６色（省略して２濃度ＲＧＢ又はＲＧＢ６色という）ランダムコーディングと称する。
【００２２】
次に、このようなコーディングを得るための手順例について説明する。このコーディングはランダムコーディングであるから、各画素の色フィルタを決定するために、２濃度ＲＧＢの６色にそれぞれ１面ずつを割り当てたサイコロを使用してもよいのは勿論であるが、その煩雑さを減じるため表計算ソフトウェア等を用いて、全画素配列に相当する表配列を準備する。そして、配列の各セルに数式ＭＯＤ（ＲＮＤ／６）（但し、ＲＮＤは適当な桁数の乱数関数、ＭＯＤ（ｎ／ｄ）はｎをｄで除した剰余関数）を割り当てて得られた数値に対して、例えば０→ＬＲ，１→ＬＧ，２→ＬＢ，３→ＤＲ，４→ＤＧ，５→ＤＢを適用すればよい。
【００２３】
このようにして得られた配列は、統計学的には通常は特に大きな偏りは持たないが、ただ１回の試行によって得たものは確率的に低いとはいえ、極端に色による画素数の多寡があったり、大面積にわたる特定色の集中があったりする可能性を有している。あるいは、従来例のような周期性を有したパターンになる可能性も極めて低いが０ではない。従って、上記手法によって数回の試行を行い複数の配列サンプルを得た上で、実写による撮像試験（現実にはシミュレーションを用いるのが好適）を行って、評価結果のよいものを採用することが望ましい。
【００２４】
しかしながら、このような試行的なやり方は、最終的な配列選択に際しては避けられないものであるとしても、設計当初から全て試行のみによることは、一般的には設計効率を著しく低下させるものであって好ましくない。あるいは試行によって得られた配列を評価するに当たっても、良い撮像画質を得るためには、必須となるような配列自体に要求される客観的な要件といったものがあるはずで（極端な例として、全てが一つの色の画素のみになってはならないことは自明である）、このような条件を具体的に見出し、これを制限条件（判定基準）として採用することが極めて有効である。
【００２５】
具体的には、本実施の形態におけるＣＣＤ撮像素子の２濃度ＲＧＢ６色ランダム配列は、任意の着目画素が該着目画素のフィルタの色（自己の色）以外の他の５色の画素と該着目画素の４辺又は４角のいずれかにおいて隣接するということを制約条件として採用している。すなわち、仮に着目画素のフィルタの色（自己の色）がＬＲであったとすれば、その上下左右及び斜め四方の隣接８画素のうちにＬＧ，ＬＢ，ＤＲ，ＤＧ，ＤＢが少なくとも１画素ずつは含まれているという条件である。この条件は、後述の色分離処理における最近接画素情報による補完が、必ず上下左右及び斜め四方のいずれかの隣接画素によってなされることを保証するものであって、その結果として一定値以上の高解像度の確保を保証するものである。図２の例において、周辺各１列の画素は見かけ上上記条件を満たしていないものもあるが、これは図示されてない更に外側の画素の存在によって条件を満たしているものである。このような事情から、撮像素子の光電変換面は、有効画像領域よりも４周それぞれにつき１〜数行（列）の余裕を見て、いわゆる捨て画素領域（画像信号生成に関与するが、有効画像領域ではない領域）を設けてある。
【００２６】
なお、このような制約条件を満たす配列は、上記完全にランダムな配列を試行により多数用意し、それを上記条件で検定することによっても、あるいは例えば表計算等のソフトウェア処理による配列生成に当たって、予め制約条件を課した上で生成することによっても、いずれでも得ることができる。
【００２７】
さて、このようなランダムカラーフィルタ配列を備えたＣＣＤ撮像素子４を用いたカラー撮像装置（ディジタルカメラ）においては、従来のカメラと同様に信号を読み出して処理し、撮像画像をメモリカード９に記録、あるいはＬＣＤ画像表示系10に表示する。従来と異なる動作は色分離処理であるが、その処理は、ディジタルプロセス回路７がシステムコントローラ11の制御下において行うようになっている。無論、色分離処理とは、基本的には対応色信号の存在しない画素（例えば従来のＲＧＢフィルタ撮像素子を用いたＢ信号生成処理におけるＲフィルタ画素など）に対する近隣画素情報等を用いた信号補完処理であって、この点に関しては従来と何等変わるところはない。しかしながら従来の色分離が、ＣＣＤ撮像素子の規則的色コーディングに対応して、順列に基づいた規則的サンプリングを行いホールド回路等を用いた単純な補完や、更に必要に応じて画素間の加算減算等を行っていた（具体的な処理についてはアナグロ処理、ディジタル処理、混成処理等多種にわたる）のに対して、本発明において適用するランダムコーディングは規則性がないので、このような処理はできない。そこで、使用するＣＣＤ撮像素子の各画素に関してのフィルタコーディングデータ（上記図２に相当する全画素のフィルタテーブル）を参照して、色分離処理を行う。このコーディングデータはＥＥＰＲＯＭ17に記憶されており、使用するＣＣＤ撮像素子の色コーディングが異なる場合にも対応できるようになっている。
【００２８】
これとは別に従来の処理と大きく異なる点は、言うまでもなくＲ，Ｇ，Ｂ各色に感度の異なる２種類の画素が存在していることであって、撮像素子から読み出される画素情報信号の光電変換特性は、Ｒ，Ｇ，Ｂの各色間の感度の違いをさておけば、Ｒ，Ｇ，Ｂのいずれかである着目する色Ｘ（ＬＸ，ＤＸ）については、図３に示すようなものとなっている。すなわち、従来の色Ｘの特性をＬＸ，ＤＸの各フィルタ透過率の違いに相当する分だけ左右に平行移動させたものになっている。（図３の基準感度線Ａは従来の色Ｘの有効輝度域の光電変換特性に対応する補助線である。）
【００２９】
そして、本実施の形態に係るカラー撮像装置における色信号の生成処理は従来のものとは異なり、各色Ｘに対応するＸ信号はＬＸ画素情報とＤＸ画素情報との２種の画素情報から生成される。具体的な各Ｘ信号の生成処理は以下のようにして行われる。但し、Ｙ画素とはＬＸ，ＤＸ以外の４種の画素（例えばＸ＝Ｇの時、ＬＲ，ＤＲ，ＬＢ，ＤＢのいずれか）を示す。
【００３０】
ＬＸ画素：
（１）自己（着目画素）の画素情報信号がＵＬ（ＬＸ）より小さい値の時→自己の画素情報信号の値の１／２の値をＸ信号値とする。
（２）自己の画素情報信号がＵＬ（ＬＸ）以上の時→自己に隣接するＤＸ画素（少なくとも１つ存在する）の画素情報信号の値を判定した結果によって、（２−Ａ）それがＬＬ（ＤＸ）より大きくＵＬ（ＤＸ）より小さい時→そのＤＸ画素の値（複数ある場合はその代表値）の２倍の値をＸ信号値とする。
（２−Ｂ）その全てがＬＬ（ＤＸ）以下又はＵＬ（ＤＸ）以上の時→自己の画素情報信号の値の１／２の値をＸ信号値とする。
【００３１】
ＤＸ画素：
（１）自己の画素情報信号がＬＬ（ＤＸ）より大きい値の時→自己の画素情報信号の値の２倍の値をＸ信号値とする。
（２）自己の画素情報信号がＬＬ（ＤＸ）以下の時→自己に隣接するＬＸ画素（少なくとも１つ存在する）の画素情報信号の値を判定した結果によって、（２−Ａ）それがＬＬ（ＬＸ）より大きくＵＬ（ＬＸ）より小さい時→そのＬＸ画素の値（複数ある場合はその代表値）の１／２の値をＸ信号値とする。
（２−Ｂ）その全てがＬＬ（ＬＸ）以下又はＵＬ（ＬＸ）以上の時→自己の画素情報信号の値の２倍の値をＸ信号値とする。
【００３２】
Ｙ画素：
自己に隣接するＸ画素（ＬＸ画素又はＤＸ画素：これは少なくとも２つ存在する）の出力するＸ信号値（但し、上記条件（１）を満足するものを優先し、これが複数ある場合はその代表値）を自己のＸ信号値とする。
なお、上記複数の値から「代表値」を得ることに関しては、選択法（例えば必ず下より上且つ右より左を選択する。解像度が高い。）あるいは補間法（平均値を算出する。擬似信号の発生レベルが小さい。）のいずれを用いてもよい。
【００３３】
上記のような色分離処理の結果得られた色信号は、全画素に関する同時化されたＲＧＢ３原色信号として、従来のＲＧＢ３原色信号と同様に後段の回路で処理され、最終的にメモリカード９に記録、あるいはＬＣＤ画像表示系10に表示される。なお、この後段の回路における処理は、その必要に応じて適宜使用されるそれ自体は公知の、例えば色バランス処理、マトリクス演算による輝度−色差信号への変換あるいはその逆変換処理、帯域制限等による偽色除去あるいは低減処理、γ変換に代表される各種非線型処理、各種情報圧縮処理、等々である。
【００３４】
上記Ｘ信号生成処理において、条件（１）とは要するにＬＸ，ＤＸ画素それぞれについて「所定の撮像レンジ（有効輝度域）に収まっている場合は、その画素の情報をそのまま使用する」ということであり、その際各画素が従来技術におけるＸ相当の「基準となる感度に対して有している感度差を所定の係数を乗じて（すなわちディジタルゲイン調節を行って）補償」しているものである。したがって、ＬＸ，ＤＸ共通のレンジ内の被写体に関しては、ＬＸ，ＤＸが個別のＸ画素として機能した高解像度のＸ（ＲＧＢ）信号が得られる。
【００３５】
これに対して条件（２−Ａ）は、「自己の画素情報信号がレンジを逸脱している場合、隣接の他方のＸが逸脱していない場合はそれで補完する」ことを意味している。すなわち、どちらか一方の画素のレンジでのみカバーされる高輝度や低輝度の被写体部分」に関しては、画素密度が半分になった状態でのＸ信号が得られることになるが、この場合の補完は必ず隣接画素によって行われる。したがって、Ｙ画素における補完の条件と同じであり、解像度の劣化は極めて小さい。
【００３６】
この場合、従来のＸを基準にとると、ＬＸは２倍、ＤＸは１／２の感度であるから、それぞれ低輝度側、高輝度側に１ＥＶ（６dB）ずつ撮像レンジがシフトしたことになり、合わせて２ＥＶ（12dB）撮像レンジが拡大したことになる。従来の撮像素子を用いた場合に、ダイナミックレンジ：Ｒange＝６ＥＶ（36dB）が限界であったとすれば、本実施の形態によって８ＥＶ（48dB）の広ダイナミックレンジの撮像装置を得ることができる。
【００３７】
上記のような色信号の生成処理によって得られる総合特性を図４に示す。この総合特性は、上記ディジタルゲイン調節によって、ＬＸ，ＤＸの２つの特性が上下に平行移動して一つに重なった特性となっている。ＥＵＬ，ＥＬＬ等はそれぞれ拡大された高輝度、低輝度の限界レベルである。
【００３８】
なお、この場合、上記共通レンジ（より高解像度の得られるレンジ）は４ＥＶあるが、上記のとおり解像度劣化の影響は小さいから、上記フィルタ透過率及びゲイン調節の係数を変えて共通レンジがほぼ０になるように設定したものを変形例として挙げておく。この変形例によれば、12ＥＶ（72dB）の飛躍的に広い撮像ダイナミックレンジを得ることが可能になる。
【００３９】
上記のようにＲＧＢ各信号のダイナミックレンジが拡大するから、被写体撮像に関して直接的に効果を発揮し、輝度再現域並びに色再現域が飛躍的に拡大すると共に、低輝度部でのＳ／Ｎ向上の結果、視覚的な色忠実度も向上する。
【００４０】
一方条件（２−Ｂ）は、「ＬＧ，ＤＧいずれの撮像レンジも逸脱している場合は、本来の画素の情報をそのまま（ゲイン調節は行い）使用する」ことを意味している。したがって、拡大された総合レンジをも逸脱する被写体（例えば解像度チャートのような完全な白黒パターン）に対しては、再び画素密度が高い状態での撮像が可能になっている。
【００４１】
そして、この際撮像によって生じる偽色に関して考察すると、白黒のナイフエッジや孤立的な白点（線）等の被写体に関しては、当然ながら平面的なカラーコーディングの影響で従来のコーディングと同様に偽色を生じる。しかしながら、これらはいずれも孤立的に発生する（偽の）色点や色線であって、その主要エネルギーは高周波域に分布しているから、従来公知の電気的フィルタ処理等の手法で除去あるいは低減することが可能である。そして、従来最大の問題であった縞模様状の繰り返しパターンの撮像に関しては、コーディングがランダムであるため、少なくとも低周波に折返った低域の偽色（色モアレ）は発生せず、本実施の形態においては上記除去あるいは低減可能な孤立的な偽色の発生にとどまるものである。従って本実施の形態においては、従来この種のディジタルカメラにおいて必須であった光学ローパスフィルタを使用していないにも関わらず、視覚的に問題となる偽色がほとんど発生せず高画質が得られる。
【００４２】
しかも、色分離処理における最近接画素情報による補完が、必ず上下左右又は斜め四方のいずれかの隣接画素によってなされるから、画素のぼけの最大値すなわちＰＳＦ（点像分布関数）の幅の最大値は、上記共通レンジを逸脱している領域を含めても、少なくとも水平垂直方向に関しては３画素にとどまり、「従来のベイヤ配列で色分離の際の補完に１画素でなく周辺画素の平均値を用いた場合」と比較して、Ｇ情報で同程度、ＲＢ情報に関しては２倍程度の解像度を確保することができる。しかも、これは純粋な画素サンプリングによる効果のみの比較であるが、更に光学ローパスフィルタを使用していないから、これによるレスポンスの低下がなく、従来解像不可能であった周波数領域にまで解像度を拡大することが可能になる。
【００４３】
以上本発明について上記実施の形態に基づいて説明を行ったが、上記実施の形態には様々な変形例が考えられる。まず、上記実施の形態では、コーディングデータはＥＥＰＲＯＭ17に記憶されており、使用するＣＣＤ撮像素子のコーディングが異なる場合にも対応できるようになっていたものを示した。ＣＣＤ撮像素子は量産ばらつきに起因して１個毎に異なる画素欠陥データ等を必要とする場合も多いから、このためのメモリを兼用する上からも、ＥＥＰＲＯＭを用いることは利点となり得るが、一方通常一つの撮像装置本体に対して適用される撮像素子は一種（量産ばらつきを除けば同一）であり、特にカラーコーディングを変える必要もないから、コーディングデータ自身は全て同じデータを用いることができる。この点に着目すれば、上記ＥＥＰＲＯＭはマスクＲＯＭに置き換えることが可能である。マスクＲＯＭに置き換えた場合、より低コストに構成することができる。そしてまた、いずれの態様の場合も、システムコントローラ11の有するマイクロコンピュータのプログラム格納メモリと兼用することが可能であることは言うまでもない。
【００４４】
また、上記実施の形態において示した「ランダムコーディングを得るための手順」は、あくまでも一例に過ぎず、ランダムコーディング自体は任意の方法によって得ることができる。すなわち、当該カラーコーディング配列が、従来公知であった規則的配列とは異なり、光電変換素子配列の少なくとも数画素〜数十画素以上の所定の領域に着目したときに顕著な規則的（周期的）構造を有しておらず、その結果として従来の規則的配列によって生じる縞模様状の繰り返しパターン入力に対する低域偽色の発生が低減したならば、その配列は本発明におけるランダム色コーディング配列となる。
【００４５】
また、上記実施の形態において、各ＬＸフィルタの透過率は従来のＸフィルタの２倍として説明を行ったが、従来のＸフィルタのピーク波長における透過率が50％以上の場合はこれは実現不可能である。この問題に対する解決を示すために、仮想的に従来のＸフィルタのピーク波長透過率が 100％であった場合を想定して、変形例を挙げておく。すなわちＬＸフィルタを従来のＸフィルタと同じ透過率とし、ＤＸフィルタを１／４の透過率とする例である。（ゲイン補正の数値も対応して変えることはいうまでもない。以下の例でも同じ。）この場合、Ｘ信号の撮像レンジは高輝度側にのみ２ＥＶ拡大することになる。なお、上記実施の形態とこの変形例に従って、各Ｘフィルタのピーク波長透過率に関して、これら２つの例の中間の値は勿論任意の値に対しても、本発明を自明的に容易に適用することができる。また上記実施の形態及びその変形例では、各Ｘ（ＲＧＢ）フィルタに対してＬ及びＤの相対的透過率設定は同じ値としたものを示したが、ＲＧＢ毎に異なる値を用いてもよいことは明らかで、任意の値に対しても本発明を自明的に容易に適用することができる。
【００４６】
また、上記実施の形態あるいは変形例における透過率等の数字は、あくまでも一例であり、必要に応じて任意に変更し得ることは言うまでもない。
【００４７】
更にまた、上記実施の形態あるいは変形例では６色ランダムコーディングとして２濃度ＲＧＢ６色ランダムコーディングを用いたものを示したが、例えば減色混合の３原色であるＹｅＭｇＣｙ（通称：補色）フィルタを用いた２濃度ＹｅＭｇＣｙ３原色ランダムコーディングでもよい。また、ＲＧＢ３原色フィルタに色再現改善用のｎＧ（狭帯域緑フィルタ）、高感度用のＷ（フィルタなし）、赤外域撮像用ＩＲ（可視光カットフィルタ）を加えた６色を用いて高画質多機能の同時実現を図ることもできる。すなわち、任意の６色コーディングに応用することができる。更にいわゆる光学的なフィルタを使用せず、撮像素子自体の素子構造で分光特性を異ならしめ、色コーディングを施したものであってもよい。
【００４８】
【発明の効果】
以上実施の形態に基づいて説明したように、本発明によれば周期的色コーディング配列に伴う問題を本質的に解決し、周期的な輝度変化をもった被写体でも色モアレを発生しない小型低コストで高画質なカラー撮像の可能なカラー撮像素子及びカラー撮像装置を得ることができ、特に請求項１に係る発明によれば、周期性を有しないランダムな色コーディング配列による被写体撮像を行うことを可能とし、しかも任意の着目画素が該着目画素の色以外の他の５色の画素と該着目画素の４辺又は４角のいずれかにおいて隣接するという配列制限条件を満たす６色ランダム配列としているので、色モアレを発生させず且つ全撮像領域に亘って所定値以上の高解像度を確保でき、また画質性能や機能を向上させることができるカラー撮像素子を実現することができる。また請求項２に係る発明によれば、６色ランダム配列における６色を２つの感度を有する３原色で構成しているので、撮像ダイナミックレンジを飛躍的に向上させることができる。また請求項３に係る発明によれば、色モアレを発生させず所定値以上の高解像度を備えると共に画質性能や機能を向上させることができ、且つ撮像ダイナミックレンジを飛躍的に向上させることが可能なカラー撮像素子の、色コーディング配列情報に基づく色分離を確実に行うことができるカラー撮像装置を実現することができる。また請求項４に係る発明によれば、カラー撮像素子のランダム色コーディング配列データを記憶する記憶手段を備えているので、ランダム色コーディング配列情報に基づく色分離を容易に且つ確実に行うことができる。また請求項５に係る発明によれば、色コーディング配列データの記憶手段としてマスクＲＯＭを用いているので、記憶手段をひいてはカラー撮像装置を低コストで大量製造することが可能となる。また請求項６に係る発明によれば、色コーディング配列データの記憶手段としてＥＥＰＲＯＭを用いているので、色コーディング配列の異なるカラー撮像素子の色分離処理にも容易に対応することが可能となる。
【図面の簡単な説明】
【図１】本発明に係るカラー撮像素子及びカラー撮像装置の実施の形態を示すブロック構成図である。
【図２】図１に示した実施の形態におけるＣＣＤ撮像素子のランダム色フィルタ配列の一例を示す図である。
【図３】本発明の実施の形態におけるＣＣＤ撮像素子から読み出される画素情報信号の光電変換特性を示す図である。
【図４】本発明の実施の形態における色信号の生成処理によって得られる総合特性を示す図である。
【図５】ＲＧＢベイヤ配列の基本配列と全体配列の一例を示す図である。
【図６】一般的な撮像素子の光電変換特性を示す図である。
【符号の説明】
１ レンズ系
２ レンズ駆動機構
３ 露出制御機構
４ ＣＣＤ撮像素子
５ ＣＣＤドライバ
６ プリプロセス回路
７ ディジタルプロセス回路
８ メモリカードインターフェース
９ メモリカード
10 ＬＣＤ画像表示系
11 システムコントローラ
12 操作スイッチ系
13 操作表示系
14 ストロボ
15 レンズドライバ
16 露出制御ドライバ
17 ＥＥＰＲＯＭ

Claims (6)

1. 光電変換素子からなる画素を複数個配列してなる画素群を有するカラー撮像素子であって、該カラー撮像素子の色コーディング配列は、任意の着目画素が該着目画素の色以外の他の５色の画素と該着目画素の４辺又は４角のいずれかにおいて隣接する配列制限条件を満たす６色ランダム配列であることを特徴とするカラー撮像素子。
2. 前記６色ランダム配列を構成する６色は、１つの色に関してそれぞれ２つの感度を有する３原色であることを特徴とする請求項１に係るカラー撮像素子。
3. 前記請求項１又は２に係るカラー撮像素子を備え、該カラー撮像素子の出力信号に対して該カラー撮像素子のランダム色コーディング配列に基づく色分離処理を行う色分離手段を有していることを特徴とするカラー撮像装置。
4. 前記色分離手段で色分離処理を行うための、前記カラー撮像素子のランダム色コーディング配列に関する配列データを記憶する記憶手段を備えていることを特徴とする請求項３に係るカラー撮像装置。
5. 前記記憶手段は、マスクＲＯＭで構成されていることを特徴とする請求項４に係るカラー撮像装置。
6. 前記記憶手段は、ＥＥＰＲＯＭで構成されているこを特徴とする請求項４に係るカラー撮像装置。

Images