JP5033700B2 - 撮像装置 - Google Patents

Description

本発明は、それぞれ異なる色の光を検出する少なくとも３種類の色検出用の光電変換素子と、光の輝度成分を検出する輝度検出用の光電変換素子とを含む固体撮像素子を有する撮像装置に関する。

従来、Ｒ（赤色）光を検出するＲ光電変換素子と、Ｇ（緑色）光を検出するＧ光電変換素子と、Ｂ（青色）光を検出するＢ光電変換素子と、光の輝度成分を検出するＷ光電変換素子とを含む固体撮像素子を有する撮像装置が提案されている（例えば特許文献１参照）。

このような撮像装置では、生成すべきカラー画像データの各画素データの輝度信号として、Ｒ光電変換素子、Ｇ光電変換素子、及びＢ光電変換素子から得られた色信号によって生成したＲＧＢ輝度信号を使う場合と、Ｗ光電変換素子から得られた信号によって生成したＷ輝度信号を使う場合とが考えられる。Ｗ輝度信号を使った場合は、ＲＧＢ輝度信号を使った場合と比較して、Ｗ光電変換素子とＲ光電変換素子、Ｇ光電変換素子、及びＢ光電変換素子との分光特性の違いにより、輝度再現性が低下する。ＲＧＢ輝度信号を使った場合は、Ｗ輝度信号を使った場合と比較して、解像が低下する。

そこで、特許文献１の撮像装置のように、生成すべきカラー画像データの各画素データの輝度信号として、ＲＧＢ輝度信号の低周波成分とＷ輝度信号の高周波成分を合成した輝度信号を用いることで、輝度再現性と解像の両立を図ることができる。

しかし、Ｗ輝度信号のレベルがＲＧＢ輝度信号のレベルよりも低い場合、ＲＧＢ輝度信号の低周波成分とＷ輝度信号の高周波成分を合成すると、合成によって得られる輝度信号のレベルが、Ｗ輝度信号よりも高くなってしまい、高輝度の被写体があった場合に、その被写体部分の信号レベルが飽和して輝度信号の高周波成分が潰れてしまい、解像が低下してしまう恐れがある。更に、ＲＧＢ輝度信号とＷ輝度信号で周波数特性が異なる場合、合成により周波数のつながりが悪くなり、画質低下が発生する。

特許文献２には、固体撮像素子の受光面上に配置した複数の色フィルタに起因する輝度情報の感度差を解消し、被写体の構造をよりリアルに再現可能な単板色カラーカメラが開示されている。

特許文献３には、輝度信号に対する処理を色信号に対する処理と独立させて行い、色再現及び輝度再現を向上でき、且つ、色信号が輝度信号に及ぼす副作用を低減できる撮像方法が開示されている。

特開２００７−２４３３３４号公報 特開平８−４６９８０号公報 特開２００１−５４１３３号公報

本発明は、上記事情に鑑みてなされたものであり、輝度再現性と解像の両立を図りながら、高輝度被写体があった場合でも解像の低下を防いで画質向上を図ることが可能な撮像装置を提供することを目的とする。

本発明の撮像装置は、それぞれ異なる色の光を検出する少なくとも３種類の色検出用の光電変換素子と、光の輝度成分を検出する輝度検出用の光電変換素子とを含む固体撮像素子を有する撮像装置であって、生成すべきカラー画像データを構成する画素データの座標位置に、前記色検出用の光電変換素子及び前記輝度検出用の光電変換素子から得られた信号を用いてＲ（赤色）成分の信号と、Ｇ（緑色）成分の信号と、Ｂ（青色）成分の信号と、輝度成分の信号とを生成する信号生成手段と、前記座標位置に生成された前記Ｒ成分の信号、前記Ｇ成分の信号、及び前記Ｂ成分の信号から前記座標位置に第一の輝度信号を生成する第一の輝度信号生成手段と、前記座標位置に生成された前記第一の輝度信号の低周波成分と前記座標位置に生成された前記輝度成分の信号の低周波成分とを合成した合成信号と、前記座標位置に生成された前記輝度成分の信号の高周波成分とを合成して、前記座標位置の前記画素データを構成する輝度信号である第二の輝度信号を生成する第二の輝度信号生成手段とを備える。

本発明の撮像装置は、前記第一の輝度信号生成手段が、前記座標位置に生成された前記Ｒ成分の信号、前記Ｇ成分の信号、及び前記Ｂ成分の信号を、所定の輝度生成係数で重み付け加算して前記第一の輝度信号を生成するものであり、前記所定の輝度生成係数が、前記所定の輝度生成係数を前記色検出用の光電変換素子から得られる信号のみでカラー画像データを生成する場合に最適な値としたときの前記第一の輝度信号の低周波成分と前記合成信号とのレベル差が最小となるような値に設定されている。

本発明の撮像装置は、前記第一の輝度信号生成手段が、前記座標位置に生成された前記Ｒ成分の信号、前記Ｇ成分の信号、及び前記Ｂ成分の信号を、前記色検出用の光電変換素子から得られる信号のみでカラー画像データを生成する場合に最適な輝度生成係数で重み付け加算して前記第一の輝度信号を生成するものであり、前記第一の輝度信号の生成前に、前記色検出用の光電変換素子から得られる信号のレベルを調整するレベル調整手段を備え、前記レベル調整手段が、前記第一の輝度信号の低周波成分と前記合成信号とのレベル差が最小となるようなゲインを用いて、前記信号のレベルを調整する。

本発明の撮像装置は、前記レベル差が最小となるような前記輝度生成係数を被写体光源毎に記憶する記憶手段を備え、前記第一の輝度信号生成手段が、撮影時に設定された被写体光源に応じた前記輝度生成係数を用いて前記第一の輝度信号を生成する。

本発明の撮像装置は、前記レベル差が最小となるようなゲインを被写体光源毎に記憶する記憶手段を備え、前記レベル調整手段が、撮影時に設定された被写体光源に応じた前記ゲインを用いて前記信号のレベルを調整する。

本発明の撮像装置は、前記第一の輝度信号生成手段が、前記座標位置に生成された前記Ｒ成分の信号、前記Ｇ成分の信号、及び前記Ｂ成分の信号を、前記色検出用の光電変換素子から得られる信号のみで画像データを生成する場合に最適な輝度生成係数で重み付け加算して前記第一の輝度信号を生成するものであり、前記第一の輝度信号の低周波成分と前記合成信号とのレベル差が最小となるように、前記座標位置に生成された前記輝度成分の信号のレベルを、前記座標位置に生成された前記Ｒ成分の信号、前記Ｇ成分の信号、及び前記Ｂ成分の信号に基づいて調整するレベル調整手段を備える。

本発明の撮像装置は、前記レベル調整手段が、前記座標位置に生成された前記Ｒ成分の信号と、前記Ｇ成分の信号と、前記Ｂ成分の信号とを所定の係数で重み付け加算して得られる調整データを、前記座標位置に生成された前記輝度成分の信号に加算して前記レベルの調整を行う。

本発明の撮像装置は、前記所定の係数を被写体光源毎に記憶する記憶手段を備え、前記レベル調整手段が、撮影時に設定された被写体光源に応じた前記所定の係数を用いて前記輝度成分の信号のレベルを調整する。

本発明によれば、輝度再現性と解像の両立を図りながら、高輝度被写体があった場合でも解像の低下を防いで画質向上を図ることが可能な撮像装置を提供することができる。又、第二の輝度信号の低周波成分に、第四の光電変換素子から得られた信号の低周波成分を用いることで、第二の輝度信号の低周波成分と高周波成分のつながりを改善することができる。

以下、本発明の実施形態について図面を参照して説明する。

（第一実施形態）
図１は、本発明の第一実施形態である撮像装置に搭載される撮像素子の部分平面模式図である。
図１に示す固体撮像素子５は、半導体基板上の水平方向とこれに直交する垂直方向とに正方格子状に配列されたＲ光を検出する光電変換素子５１Ｒ（図中に“Ｒ”の文字を付してある）、Ｇ光を検出する光電変換素子５１Ｇ（図中に“Ｇ”の文字を付してある）、Ｂ光を検出する光電変換素子５１Ｂ（図中に“Ｂ”の文字を付してある）からなるＲＧＢ光電変換素子群と、半導体基板上の水平方向とこれに直交する垂直方向とに正方格子状に配列された光の輝度成分を検出する光電変換素子５１Ｗ（図中に“Ｗ”の文字を付してある）からなるＷ光電変換素子群とを備え、これらが、それぞれの光電変換素子配列ピッチの略１／２だけ、水平方向及び垂直方向にずれた位置に配置されている。尚、ＲＧＢ光電変換素子群の各光電変換素子とＷ光電変換素子群の各光電変換素子の配列ピッチは同じである。

ＲＧＢ光電変換素子群の各光電変換素子の配列は、垂直方向に並ぶ光電変換素子５１Ｇと光電変換素子５１Ｒとからなる列であるＧＲ光電変換素子列と、垂直方向に並ぶ光電変換素子５１Ｂと光電変換素子５１Ｇとからなる列であるＢＧ光電変換素子列とを、水平方向に交互に配列したものと言うことができる。

Ｗ光電変換素子群の各光電変換素子の配列は、垂直方向に並ぶ光電変換素子５１Ｗからなる列であるＷ光電変換素子列を水平方向に複数配列したものと言うことができる。

各光電変換素子列の右側部には、各光電変換素子列に対応させて、各光電変換素子列を構成する光電変換素子に蓄積された電荷を垂直方向に転送するための垂直電荷転送部（不図示）が形成されている。垂直電荷転送部の終端には、ここを転送されてきた電荷を水平方向に転送するための水平電荷転送部（不図示）が接続され、この水平電荷転送部の終端には、該水平電荷転送部を転送されてきた電荷に応じた撮像信号を出力する出力アンプ（不図示）が設けられている。尚、各光電変換素子に蓄積された電荷に応じた信号を、ＭＯＳトランジスタからなるＭＯＳ回路によって外部に出力させる構成であっても良い。

各光電変換素子は同一構造となっており、それぞれの受光面上方に形成されるフィルタによって、それぞれの検出する光の成分が異なるものとなっている。

光電変換素子５１Ｒは、光のＲ成分を透過するＲカラーフィルタが受光面上に形成されており、これにより、Ｒ光を検出する光電変換素子として機能する。光電変換素子５１Ｇは、光のＧ成分を透過するＧカラーフィルタが受光面上に形成されており、これにより、Ｇ光を検出する光電変換素子として機能する。光電変換素子５１Ｂは、光のＢ成分を透過するＢカラーフィルタが受光面上に形成されており、これにより、Ｂ光を検出する光電変換素子として機能する。光電変換素子５１Ｗは、光の輝度成分と相関のある分光特性を持った輝度フィルタが受光面上に形成されており、これにより、光の輝度成分を検出する光電変換素子として機能する。

輝度フィルタは、ＮＤフィルタや、透明フィルタ、白色フィルタ、グレーのフィルタ等が該当するが、光電変換素子５１Ｗの受光面の上方に何も設けずに光が直接受光面に入射する構成も、輝度フィルタを設けたということができる。

以下では、光電変換素子５１Ｒから得られるＲ成分の撮像信号をＲ信号、光電変換素子５１Ｇから得られるＧ成分の撮像信号をＧ信号、光電変換素子５１Ｂから得られるＢ成分の撮像信号をＢ信号、光電変換素子５１Ｗから得られる輝度成分の撮像信号をＷ信号と言う。

図２は、本発明の第一実施形態である撮像装置の概略構成を示すブロック図である。
図２に示す撮像装置は、図１に示した撮像素子５と、撮像素子５から出力されるアナログ信号に所定のアナログ信号処理及びデジタル変換処理を行うアナログフロントエンド（ＡＦＥ）１１と、ＡＦＥ１１からのデジタルの撮像信号に補間演算やガンマ補正演算，ＲＧＢ／ＹＣ変換処理等を行ってカラー画像データを生成するデジタル信号処理部１０とを備える。

ＡＦＥ１１は、Ｒ信号、Ｇ信号、及びＢ信号の各々に一律のゲインを乗じて、各信号のレベルを調整するレベル調整処理も行う。このレベルを調整するためのゲインは、設定された撮影感度（ＩＳＯ）に応じて最適な値が予め決められており、ＡＦＥ１１は、設定されたＩＳＯ感度に応じたゲインを各信号に乗じることで、レベル調整を行う。ＡＦＥ１１から出力された撮像信号は、図示しないメモリに一時的に記憶される。このメモリには、撮像素子５の各光電変換素子に対応する画素位置に、その光電変換素子から得られた撮像信号が配置された状態で撮像信号が記憶される。

デジタル信号処理部１０は、メモリ上の各画素位置にその周囲から信号を補間してＲ信号，Ｇ信号，Ｂ信号，Ｗ信号を生成するＲＧＢＷ補間部１２と、各画素位置に生成された信号から輝度信号Ｙを生成する輝度信号生成部１３と、各画素位置に生成された信号から色差信号を生成する色差信号生成部１４と、輝度信号生成部１３で生成された輝度信号ＹとＷ信号とに基づいて、カラー画像データの１画素データを構成する輝度信号Ｙ’を生成する輝度信号生成手段を構成する低周波成分抽出部１５、低周波・高周波成分分離部１６、低周波成分合成部１７、及び低周波・高周波成分合成部１８とを備える。

ＲＧＢＷ補間部１２は、メモリに記憶されたＲ信号、Ｇ信号、Ｂ信号、及びＷ信号から、メモリ上の光電変換素子５１Ｒ，５１Ｇ，５１Ｂ，５１Ｗの各々に対応する画素位置に、該画素位置に対応する光電変換素子から得られる撮像信号と、該光電変換素子の周囲の該光電変換素子とは異なる種類の光電変換素子から得られる撮像信号とを用いて、Ｒ信号、Ｇ信号、Ｂ信号、及びW信号を生成する処理を行う。

例えば、光電変換素子５１Ｒに対応する画素位置には、該光電変換素子５１Ｒから得られたＲ信号と、該光電変換素子５１Ｒの周囲にある光電変換素子５１Ｇ，５１Ｂ，５１Ｗから得られた撮像信号を用いてＲ信号、Ｇ信号、Ｂ信号、及びＷ信号を生成し、光電変換素子５１Ｇに対応する画素位置には、該光電変換素子５１Ｇから得られたＧ信号と、該光電変換素子５１Ｇの周囲にある光電変換素子５１Ｒ，５１Ｂ，５１Ｗから得られた撮像信号を用いてＲ信号、Ｇ信号、Ｂ信号、Ｗ信号を生成し、光電変換素子５１Ｂに対応する画素位置には、該光電変換素子５１Ｂから得られたＢ信号と、該光電変換素子５１Ｂの周囲にある光電変換素子５１Ｒ，５１Ｇ，５１Ｗから得られた撮像信号を用いてＲ信号、Ｇ信号、Ｂ信号、Ｗ信号を生成し、光電変換素子５１Ｗに対応する画素位置には、該光電変換素子５１Ｗから得られたＷ信号と、該光電変換素子５１Ｗの周囲にある光電変換素子５１Ｒ，５１Ｇ，５１Ｂから得られた撮像信号を用いてＲ信号、Ｇ信号、Ｂ信号、Ｗ信号を生成する。

この処理により、メモリ上の光電変換素子５１Ｒ，５１Ｇ，５１Ｂ，５１Ｗの各々に対応する画素位置には、Ｒ信号、Ｇ信号、Ｂ信号、及びＷ信号の４つの撮像信号が生成されることになる。

輝度信号生成部１３は、ＲＧＢＷ補間部１２で生成された各画素位置にあるＲ信号、Ｇ信号、及びＢ信号を、下記式（１）に示すように、所定の係数（α、β、γ）で重み付け加算して、各画素位置に輝度信号Ｙを生成する。この演算式は、カラー画像データの１画素のデータを構成する輝度信号を求めるときに用いる一般的なものである。
輝度信号Ｙ＝α×Ｒ信号＋β×Ｇ信号＋γ×Ｂ信号・・・（１）

この係数α、β、γは、光電変換素子５１Ｒ，５１Ｇ，５１Ｂから得られる撮像信号のみを用いてカラー画像データを生成する場合に最適な値が用いられる。光電変換素子５１Ｒ，５１Ｇ，５１Ｂから得られる撮像信号のみを用いてカラー画像データを生成する場合というのは、ベイヤー配列の公知の単板式撮像素子から得られる撮像信号に基づいてカラー画像データを生成する場合と同じである。つまり、この最適な値とは、ベイヤー配列の公知の単板式撮像素子から得られる撮像信号に基づいてカラー画像データを生成する際に使用する一般的な係数（α＝０．３、β＝０．５９、γ＝０．１１）のことである。

色差信号生成部１４は、ＲＧＢＷ補間部１２によって各画素位置に生成されたＲ信号、Ｇ信号、及びＢ信号から、その画素位置に色差信号Ｃを生成する。色差信号Ｃの生成方法は公知の方法を採用することができる。

低周波成分抽出部１５は、輝度信号生成部１３で任意の画素位置に生成された輝度信号Ｙの低周波成分を抽出して低周波成分合成部１７に入力する。低周波成分抽出部１５は、例えばローパスフィルタによって構成することができる。

低周波・高周波成分分離部１６は、該任意の画素位置に生成されたＷ信号を高周波成分と低周波成分に分離し、低周波成分を低周波成分合成部１７に入力し、高周波成分を低周波・高周波成分合成部１８に入力する。Ｗ信号を高周波成分と低周波成分に分離する方法としては、まず、Ｗ信号からローパスフィルタにより低周波成分を抽出し、その後、元のＷ信号から該抽出した低周波成分の信号を減算してＷ信号の高周波成分を得る、といった方法が一例として挙げられる。

低周波成分合成部１７は、該任意の画素位置に生成された輝度信号Ｙの低周波成分と、該任意の画素位置に生成されたＷ信号の低周波成分とを所定の重み付けで合成した合成信号Ｙ（Ｌ）を生成して、これを低周波・高周波成分合成部１８に入力する。例えば、輝度信号Ｙの低周波成分とＷ信号の低周波成分と１：１で重み付けを行って合成する。この場合の合成演算式は、｛（輝度信号Ｙの低周波成分）＋（Ｗ信号の低周波成分）｝／２となる。

低周波・高周波成分合成部１８は、該任意の画素位置に対応して生成した合成信号Ｙ（Ｌ）と、該任意の画素位置に生成されたＷ信号の高周波成分とを合成して輝度信号Ｙ’を生成する。

図３は、図２に示した低周波成分合成部１７による信号合成処理による効果を説明するための図である。図３では、輝度信号Ｙの低周波成分とＷ信号の低周波成分とを１：１で重み付けを行って合成する例を示した。

図３に示すように、輝度信号Ｙの低周波成分とＷ信号の低周波成分とを１：１の重み付けで合成すると、合成信号はＹ（Ｌ）のようになり、輝度信号Ｙの低周波成分を、カラー画像データの画素データを構成する輝度信号の低周波成分として使う場合と比較して、飽和レベルに達するまでの光量を多くすることができる。この結果、高輝度被写体があった場合でも、画素データを構成する輝度信号の高周波成分の潰れを改善することができる。
又、輝度信号Ｙの低周波成分を、カラー画像データの画素データを構成する輝度信号の低周波成分として使う場合と比較して、該輝度信号の低周波成分と高周波成分のつながりを改善することができる。
又、画素データを構成する輝度信号としてＷ信号をそのまま使う場合に比べて、輝度再現性を改善することができる。

以上のように構成された撮像装置の動作を説明する。
撮像が行われて撮像素子５から出力された撮像信号は、ＡＦＥ１１でゲイン調整がなされてデジタル変換された後、撮像装置の内部メモリに記憶される。内部メモリには、撮像素子５の各光電変換素子に対応する画素位置に、その光電変換素子から得られた撮像信号が配置された状態で撮像信号が記憶される。次に、内部メモリに記憶された撮像信号から、撮像素子５の各光電変換素子に対応する画素位置にＲ信号、Ｇ信号、Ｂ信号、及びＷ信号が生成される。そして、撮像素子５の各光電変換素子に対応する画素位置に、そこにある信号から、その画素位置に対応する画素データを構成する色差信号Ｃと輝度信号Ｙが生成される。次に、画素位置に生成された輝度信号Ｙ及びＷ信号に基づいて、その画素位置に対応する画素データを構成する輝度信号Ｙ’が生成される。このような処理により、撮像素子５の各光電変換素子に対応する画素位置には、色差信号Ｃと輝度信号Ｙ’が生成されることになる。

最後に、撮像素子５の各光電変換素子に対応する画素位置に生成した色差信号Ｃ及び輝度信号Ｙ’を用いて、撮像素子５のＲＧＢ光電変換素子群の各光電変換素子の中間の位置に対応する画素位置と、撮像素子５のＷ光電変換素子群の各光電変換素子の中間の位置に対応する画素位置に、色差信号Ｃ及び輝度信号Ｙ’が補間されて、正方配列の画素データからなるカラー画像データが生成される。このカラー画像データは圧縮された後、外部に出力可能な記録媒体に記録される。

以上のように、本実施形態の撮像装置は、撮像素子５の各光電変換素子に対応する画素位置に生成する輝度信号Ｙ’の低周波成分を、その画素位置に生成した輝度信号Ｙの低周波成分と、その画素位置に生成したＷ信号の低周波成分とを合成して得られる合成信号Ｙ（Ｌ）とし、輝度信号Ｙ’の高周波成分を、その画素位置に生成したＷ信号の高周波成分としている。このため、輝度信号Ｙの低周波成分とＷ信号の高周波成分の合成信号を輝度信号Ｙ’としている従来と比較して、輝度信号Ｙ’の低周波成分の飽和を改善することができ、輝度信号Ｙ’の高周波成分での潰れを防いで解像劣化を防ぐことができる。
又、輝度信号Ｙの低周波成分とＷ信号の高周波成分の合成信号を輝度信号Ｙ’としている従来と比較して、輝度信号Ｙ’の低周波成分と高周波成分のつながりを改善することができる。
又、画素データを構成する輝度信号としてＷ信号をそのまま使う場合と比較して輝度再現性を向上させることができる。

（第二実施形態）
第一実施形態では、図３に示したように、合成信号Ｙ（Ｌ）の輝度再現性はＷ信号の低周波成分よりも良くなるが、色再現性は輝度信号Ｙの低周波成分よりも悪くなってしまう。本実施形態では、第一実施形態の撮像装置で生成される合成信号Ｙ（Ｌ）の色再現性と輝度再現性をより向上させることが可能な撮像装置について説明する。

本実施形態の撮像装置では、図２に示した撮像装置の輝度信号生成部１３が輝度信号Ｙを生成する際に用いる係数（α、β、γ）を、輝度信号Ｙの低周波成分と合成信号Ｙ（Ｌ）とのレベル差が最小となるように最小二乗法等によって予め求めておき、図２に示した撮像装置の輝度信号生成部１３が、この係数を用いて輝度信号Ｙを生成することで、色再現性と輝度再現性の向上を実現している。上記レベル差が最小となるような係数（α、β、γ）は、例えば、製品出荷前に、所定の画像を撮影して得られる信号から求めておくことが可能である。

例えば、図３に示すように、Ｙ（低周波）とＹ（Ｌ）とのレベル差を最小にするような係数（α、β、γ）で生成した輝度信号ＹをＹ_ｃｏｒｒとすると、低周波成分合成部１７から出力される信号Ｙ（Ｌ）’は図示したようになる。

この信号Ｙ（Ｌ）’は、途中まではＹ（低周波）と同じ特性となり、Ｙ_ｃｏｒｒが飽和する光量を超えた時点で、Ｗと同じ傾きに変化するニー特性をとる。このため、Ｙ（低周波）と同等の色再現性を確保しつつ、飽和を確保することができる。この場合の輝度再現は、ニー特性より低い輝度は最適化が可能で、且つ、ニー特性により、輝度信号Ｙ’の高周波成分が潰れないメリットが得られる。

尚、図２に示した撮像装置において、上記係数（α、β、γ）は第一実施形態で説明したように最適な値のままとし、ＡＦＥ１１でのレベル調整時の各信号に乗じるゲインを、上記レベル差が最小となるような値に変更しておくことでも、輝度再現性と色再現性を向上させることができる。上記レベル差が最小となるようなゲインは、例えば、製品出荷前に、所定の画像を撮影して得られる信号から求めておくことが可能である。

又、図２には図示していないが、本実施形態の撮像装置には、輝度信号生成部１３の前段に、Ｒ信号、Ｇ信号、及びＢ信号の各々にホワイトバランスゲインを乗じてホワイトバランスを補正するホワイトバランス補正部が設けられている。このホワイトバランスゲインは、色信号毎に異なり、又、被写体光源に応じて変化するものである。このため、ホワイトバランス補正部には、被写体光源毎に、異なるホワイトバランスゲインが記憶されている。

上記レベル差を最小にするために、係数（α、β、γ）を変更する場合を例にすると、ホワイトバランスゲインが変更されれば、上記レベル差も当然変化することになり、上記レベル差が最小となるような係数（α、β、γ）も当然変化する。このため、撮像装置内には、上記レベル差が最小となるような係数（α、β、γ）を被写体光源毎に記憶しておき、輝度信号生成部１３が、撮影時に設定された被写体光源に応じた係数を読み出して、輝度信号Ｙの生成を行うことが好ましい。このようにすることで、被写体光源の変化にも対応することができる。

又、上記レベル差を最小にするために、ＡＦＥ１１でのゲインを変更する場合を例にすると、ホワイトバランスゲインが変更されれば、上記レベル差も当然変化することになり、上記レベル差が最小となるようなゲインも当然変化する。このため、撮像装置内には、上記レベル差が最小となるようなゲインを被写体光源毎に記憶しておき、ＡＦＥ１１が、撮影時に設定された被写体光源に応じたゲインを読み出して、ゲイン調整を行うことが好ましい。このようにすることで、被写体光源の変化にも対応することができる。
（第三実施形態）
第二実施形態の撮像装置では、上記係数及びゲインは固定とし、Ｗ信号のレベルを調整することで、上記レベル差を最小にするようにしている。

図４は、本発明の第三実施形態である撮像装置の概略構成を示すブロック図である。図４において図２と同様の構成には同一符号を付してある。図４に示す撮像装置は、図２に示す撮像装置にＷ調整部１９を追加した構成となっている。

Ｗ調整部１９は、上記レベル差が最小となるように、ＲＧＢＷ補間部１２で各画素位置に生成されたＷ信号のレベルを下記式（２）による演算を行って調整するものである。
調整後のＷ信号＝調整前のＷ信号＋ｘＲ信号＋ｙＧ信号＋ｚＢ信号 ・・・（２）

式（２）において、Ｒ信号、Ｇ信号、及びＢ信号は、ＲＧＢＷ補間部１２によって、調整対象となるＷ信号と同じ画素位置に生成された信号である。又、ｘ、ｙ、ｚは重み付け係数である。

上記重み付け係数を、所定の画像を撮影したときに得られる信号から、合成信号Ｙ（Ｌ）と輝度信号Ｙの低周波成分とのレベル差が最小となるように予め求めおけば良い。

このように、Ｗ信号のレベルを事前に調整しておくことでも、輝度再現性及び色再現性を向上させることができる。更に、輝度信号Ｙ’の低周波成分と高周波成分のつながりを改善することができる。

本実施形態の撮像装置においても同様に、ホワイトバランス補正部が設けられている。つまり、ホワイトバランスゲインが変更されれば、上記レベル差も当然変化することになり、上記レベル差が最小となるような係数（ｘ、ｙ、ｚ）も当然変化する。このため、撮像装置内には、上記レベル差が最小となるような係数（ｘ、ｙ、ｚ）を被写体光源毎に記憶しておき、Ｗ調整部１９が、撮影時に設定された被写体光源に応じた係数を読み出して、Ｗ信号のレベル調整を行うことが好ましい。このようにすることで、被写体光源の変化にも対応することができる。

（第四実施形態）
第一実施形態〜第三実施形態で説明した撮像素子５の光電変換素子の配列は、図１に示したものに限らず、光電変換素子５１Ｒと、光電変換素子５１Ｇと、光電変換素子５１Ｂと、光電変換素子５１Ｗとが一次元状又は二次元状に配設された構成であれば良い。

図５は、撮像素子５の光電変換素子の配列の変形例を示す図である。
図５に示すように、半導体基板上に光電変換素子５１Ｒ，５１Ｇ，５１Ｂ，５１Ｗからなる多数の光電変換素子を正方格子状に配列し、光電変換素子５１Ｒ，５１Ｇ，５１ＢからなるＲＧＢ光電変換素子群と、光電変換素子５１ＷからなるＷ光電変換素子群とで市松模様を構成するように、ＲＧＢ光電変換素子群とＷ光電変換素子群を互いに市松状に配置した構成としても良い。

（第五実施形態）
図１及び図５に示すＲＧＢ光電変換素子群の上方に設けるフィルタは、原色フィルタではなく、補色フィルタであっても良い。
補色フィルタを用いた場合でも、撮像素子５の各光電変換素子に対応する画素位置に、Ｒ成分の信号、Ｇ成分の信号、Ｂ成分の信号、及び輝度成分の信号を生成することは可能であるため、本発明を適用することができる。又、フィルタの色数は、３つに限らず、４つ以上であっても良い。

（第六実施形態）
第一実施形態の撮像装置において、ＲＧＢ光電変換素子群を構成する光電変換素子の数と同じ数の画素データからなるカラー画像データを生成する撮影モードがあっても良い。

この場合、ＲＧＢＷ補間部１２は、ＡＦＥ１１から出力されたＲ信号、Ｇ信号、Ｂ信号、及びＷ信号から、メモリ上の光電変換素子５１Ｒ，５１Ｇ，５１Ｂの各々に対応する画素位置に、該画素位置に対応する光電変換素子から得られる撮像信号と、該光電変換素子の周囲の該光電変換素子とは異なる種類の光電変換素子から得られる撮像信号とを用いて、Ｒ信号、Ｇ信号、Ｂ信号、及びW信号を生成する処理を行う。

光電変換素子５１Ｒ，５１Ｇ，５１Ｂの各々に対応する画素位置に生成すべきＷ信号は、該画素位置に隣接する光電変換素子５１Ｗから得られたＷ信号をそのまま利用すれば良い。

そして、光電変換素子５１Ｒ，５１Ｇ，５１Ｂの各々に対応する画素位置に、上記生成した信号から色差信号Ｃと輝度信号Ｙを生成し、輝度信号ＹとＷ信号から輝度信号Ｙ’を生成して、カラー画像データを完成させれば良い。

つまり、最終的に輝度信号Ｙ’と色差信号Ｃが生成される画素位置が、特許請求の範囲のカラー画像データを構成する画素データの座標位置に相当する。
第一実施形態の場合には、固体撮像素子５に含まれる全ての光電変換素子に対応する画素位置が上記座標位置になり、第六実施形態の場合には、ＲＧＢ光電変換素子群を構成する光電変換素子に対応する画素位置が上記座標位置になる。

本発明の第一実施形態である撮像装置に搭載される撮像素子の部分平面模式図 本発明の第一実施形態である撮像装置の概略構成を示すブロック図 図２に示した低周波成分合成部による信号合成処理による効果を説明するための図 本発明の第三実施形態である撮像装置の概略構成を示すブロック図 図１に示す撮像素子の光電変換素子の配列の変形例を示す図

符号の説明

５ 撮像素子
１２ ＲＧＢＷ補間部
１３ 輝度信号生成部
５１Ｒ，Ｇ，Ｂ 色検出用の光電変換素子
５１Ｗ 輝度検出用の光電変換素子

Claims (8)

1. それぞれ異なる色の光を検出する少なくとも３種類の色検出用の光電変換素子と、光の輝度成分を検出する輝度検出用の光電変換素子とを含む固体撮像素子を有する撮像装置であって、
   生成すべきカラー画像データを構成する画素データの座標位置に、前記色検出用の光電変換素子及び前記輝度検出用の光電変換素子から得られた信号を用いてＲ（赤色）成分の信号と、Ｇ（緑色）成分の信号と、Ｂ（青色）成分の信号と、輝度成分の信号とを生成する信号生成手段と、
   前記座標位置に生成された前記Ｒ成分の信号、前記Ｇ成分の信号、及び前記Ｂ成分の信号から前記座標位置に第一の輝度信号を生成する第一の輝度信号生成手段と、
   前記座標位置に生成された前記第一の輝度信号の低周波成分と前記座標位置に生成された前記輝度成分の信号の低周波成分とを合成した合成信号と、前記座標位置に生成された前記輝度成分の信号の高周波成分とを合成して、前記座標位置の前記画素データを構成する輝度信号である第二の輝度信号を生成する第二の輝度信号生成手段とを備える撮像装置。
2. 請求項１記載の撮像装置であって、
   前記第一の輝度信号生成手段が、前記座標位置に生成された前記Ｒ成分の信号、前記Ｇ成分の信号、及び前記Ｂ成分の信号を、所定の輝度生成係数で重み付け加算して前記第一の輝度信号を生成するものであり、
   前記所定の輝度生成係数が、前記所定の輝度生成係数を前記色検出用の光電変換素子から得られる信号のみでカラー画像データを生成する場合に最適な値としたときの前記第一の輝度信号の低周波成分と前記合成信号とのレベル差が最小となるような値に設定されている撮像装置。
3. 請求項１記載の撮像装置であって、
   前記第一の輝度信号生成手段が、前記座標位置に生成された前記Ｒ成分の信号、前記Ｇ成分の信号、及び前記Ｂ成分の信号を、前記色検出用の光電変換素子から得られる信号のみでカラー画像データを生成する場合に最適な輝度生成係数で重み付け加算して前記第一の輝度信号を生成するものであり、
   前記第一の輝度信号の生成前に、前記色検出用の光電変換素子から得られる信号のレベルを調整するレベル調整手段を備え、
   前記レベル調整手段が、前記第一の輝度信号の低周波成分と前記合成信号とのレベル差が最小となるようなゲインを用いて、前記信号のレベルを調整する撮像装置。
4. 請求項２記載の撮像装置であって、
   前記レベル差が最小となるような前記輝度生成係数を被写体光源毎に記憶する記憶手段を備え、
   前記第一の輝度信号生成手段が、撮影時に設定された被写体光源に応じた前記輝度生成係数を用いて前記第一の輝度信号を生成する撮像装置。
5. 請求項３記載の撮像装置であって、
   前記レベル差が最小となるようなゲインを被写体光源毎に記憶する記憶手段を備え、
   前記レベル調整手段が、撮影時に設定された被写体光源に応じた前記ゲインを用いて前記信号のレベルを調整する撮像装置。
6. 請求項１記載の撮像装置であって、
   前記第一の輝度信号生成手段が、前記座標位置に生成された前記Ｒ成分の信号、前記Ｇ成分の信号、及び前記Ｂ成分の信号を、前記色検出用の光電変換素子から得られる信号のみで画像データを生成する場合に最適な輝度生成係数で重み付け加算して前記第一の輝度信号を生成するものであり、
   前記第一の輝度信号の低周波成分と前記合成信号とのレベル差が最小となるように、前記座標位置に生成された前記輝度成分の信号のレベルを、前記座標位置に生成された前記Ｒ成分の信号、前記Ｇ成分の信号、及び前記Ｂ成分の信号に基づいて調整するレベル調整手段を備える撮像装置。
7. 請求項６記載の撮像装置であって、
   前記レベル調整手段が、前記座標位置に生成された前記Ｒ成分の信号と、前記Ｇ成分の信号と、前記Ｂ成分の信号とを所定の係数で重み付け加算して得られる調整データを、前記座標位置に生成された前記輝度成分の信号に加算して前記レベルの調整を行う撮像装置。
8. 請求項７記載の撮像装置であって、
   前記所定の係数を被写体光源毎に記憶する記憶手段を備え、
   前記レベル調整手段が、撮影時に設定された被写体光源に応じた前記所定の係数を用いて前記輝度成分の信号のレベルを調整する撮像装置。

Images