JP4517493B2

JP4517493B2 - 固体撮像素子及びその信号処理方法

Info

Publication number: JP4517493B2
Application number: JP2000318081A
Authority: JP
Inventors: 新一郎斉藤
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2000-10-18
Filing date: 2000-10-18
Publication date: 2010-08-04
Anticipated expiration: 2020-10-18
Also published as: US20110149127A1; US20020044209A1; JP2002135792A; US8848074B2; US20070035645A1; US7126633B2; US7852389B2

Description

【０００１】
【発明の属する技術分野】
本発明は、原色系のカラーフィルタを備えて成る単板式の固体撮像素子及びその信号処理方法に係わる。
【０００２】
【従来の技術】
単板式のカラー用固体撮像素子においては、センサ部上にオンチップカラーフィルタを形成し、このオンチップカラーフィルタを複数色のカラーフィルタが所定の配列で繰り返し配置された構成とすることにより、所望の色の信号が出力されるようにしている。
【０００３】
このカラーフィルタのカラーコーディング（色配列）には多数の種類がある。
そのうち、原色系（赤Ｒ、緑Ｇ、青Ｂの３色）の色配列で、いわゆるベイヤー配列がとられている。
【０００４】
このベイヤー配列を図１１に示す。
縦２画素×横２画素の４画素で見ると、グリーン（緑）Ｇが対角線状に斜めに２カ所に配置され、残りの２カ所の一方にレッド（赤）Ｒが、他方にブルー（青）Ｂが配置されている。
全体的にはグリーンＧが斜め方向に並ぶ形になっている。
【０００５】
このベイヤー配列の特徴は、解像度に寄与するグリーンＧの画素が水平方向のみ、もしくは垂直方向のみに見ると毎画素存在する。図中Ｐｘは水平方向の画素ピッチ、Ｐｙは垂直方向の画素ピッチを示す。
これにより以下の特徴を有している。
【０００６】
（１）水平方向及び垂直方向の空間周波数特性が等方的である。
図１２に図１１のベイヤー配列における３原色の水平方向及び垂直方向の空間周波数特性を示す。図１２ＡはグリーンＧ、図１２ＢはレッドＲ、図１２ＣはブルーＢをそれぞれ示す。
図１２Ｂ及び図１２Ｃより、レッドＲとブルーＢは、水平方向で見ても垂直方向で見ても１画素おきに存在する。これにより、水平空間周波数（１／Ｐｘ）及び垂直空間周波数（１／Ｐｙ）が１／４となっている。
一方、図１２Ａより、グリーンＧは前述のように水平方向で見ても垂直方向で見ても毎画素存在し、水平空間周波数（１／Ｐｘ）及び垂直空間周波数（１／Ｐｙ）が１／２とレッドＲやブルーＢの２倍となっている。ただし、斜め方向では１画素おきに存在するのでレッドＲやブルーＢと同じになっている。
従って、３色とも、水平空間周波数と垂直空間周波数が等しくなっている。
【０００７】
（２）比較的解像感の高いアパコン信号（輪郭補正信号）をグリーンＧの画素のみで作ることができる。
アパコン信号をグリーンＧの画素のみで作ることにより、３色全ての画素を使用してアパコン信号を作る方式と比較して、比較的小規模なハードウエアで実現可能である利点を有している。
【０００８】
【発明が解決しようとする課題】
ところが、ＲＧＢ（原色系）ベイヤー配列のカラーフィルタでは、アパコン信号をグリーンＧの画素からの信号のみで生成するように構成していることにより、色によって解像感の偏りが発生することがある。
これは、グリーンＧの信号のみでアパコン信号を生成すると、分光特性上、グリーン成分に偏ってしまうために、レッドＲ、ブルーＢ等のグリーンＧを含まない原色系の色相の被写体に対してアパコン信号が生成されにくい。
即ち例えば赤いバラ等に対しては、飽和度の高い被写体であるにもかかわらず、輪郭強調がつきにくくなる。
【０００９】
上述した問題の解決のために、本発明においては、色による解像感の偏りの発生をなくし、輪郭強調をつけて良好な画像が得られる固体撮像素子及びその信号処理方法を提供するものである。
【００１０】
【課題を解決するための手段】
本発明の固体撮像素子は、原色系のカラーフィルタを具備して成る単板式の固体撮像素子であって、カラーフィルタにおいて３原色のフィルタの配列の特定の画素に、可視光分光領域における積分値がグリーンフィルタと同等な透過率、もしくはグリーンフィルタ以下の透過率を有するグレイフィルタが配置形成されたものである。
本発明の固体撮像素子の信号処理方法は、原色系のカラーフィルタを具備して成り、カラーフィルタにおいて、３原色のフィルタの配列の特定の画素に、可視光分光領域における積分値がグリーンフィルタと同等な透過率、もしくはグリーンフィルタ以下の透過率を有するグレイフィルタが配置形成され、グレイフィルタを他の３原色のフィルタと同等の周波数特性となるようにキャリアバランスをとる手段と、輪郭補正信号を合成する手段とを備えた単板式の固体撮像素子に対して、３原色のフィルタ及びグレイフィルタの４色の画素の出力信号から、キャリアバランスをとる処理を行い、ホワイトバランス処理を行い、さらに、全画素に対して３倍のデータを形成する補間の処理を行い、補間の処理と並行して輪郭補正信号を生成して、生成した輪郭補正信号を補間処理した信号に合成するものである。
【００１１】
上述の本発明の固体撮像素子の構成によれば、３原色（赤、緑、青）のフィルタの配列の特定の画素に、可視光分光領域における積分値がグリーンフィルタと同等な透過率、もしくはグリーンフィルタ以下の透過率を有するグレイフィルタを配置したことにより、グレイフィルタが配置された画素において３原色（赤、緑、青）の各色の信号をそれぞれ検出することができ、グレイフィルタの画素の出力信号を利用して、３原色（赤、緑、青）の各色の出力信号の処理を行うことができる。
上述の本発明の固体撮像素子の信号処理方法によれば、３原色のフィルタ及びグレイフィルタの４色の画素の出力信号から、キャリアバランスをとる処理を行い、ホワイトバランス処理を行い、さらに、全画素に対して３倍のデータを形成する補間の処理を行い、補間の処理と並行して輪郭補正信号を生成して、生成した輪郭補正信号を補間処理した信号に合成することにより、３原色（赤、緑、青）の各色の出力信号の処理を行うことができる。
【００１２】
【発明の実施の形態】
本発明は、原色系のカラーフィルタを具備して成る単板式の固体撮像素子であって、カラーフィルタにおいて３原色のフィルタの配列の特定の画素に、可視光分光領域における積分値がグリーンフィルタと同等な透過率、もしくはグリーンフィルタ以下の透過率を有するグレイフィルタが配置形成された固体撮像素子である。
【００１３】
また本発明は、上記固体撮像素子において、カラーフィルタの色配列がベイヤー配列であり、レッドフィルタの水平隣のグリーンフィルタ或いはブルーフィルタの水平隣のグリーンフィルタがグレイフィルタに置き換えられている構成とする。
【００１４】
本発明は、原色系のカラーフィルタを具備して成り、カラーフィルタにおいて、３原色のフィルタの配列の特定の画素に、可視光分光領域における積分値がグリーンフィルタと同等な透過率、もしくはグリーンフィルタ以下の透過率を有するグレイフィルタが配置形成され、グレイフィルタを他の３原色のフィルタと同等の周波数特性となるようにキャリアバランスをとる手段と、輪郭補正信号を合成する手段とを備えた単板式の固体撮像素子に対して、３原色のフィルタ及びグレイフィルタの４色の画素の出力信号から、キャリアバランスをとる処理を行い、ホワイトバランス処理を行い、さらに、全画素に対して３倍のデータを形成する補間の処理を行い、補間の処理と並行して輪郭補正信号を生成して、生成した輪郭補正信号を補間処理した信号に合成する固体撮像素子の信号処理方法である。
また、本発明は、上記固体撮像素子の信号処理方法において、固体撮像素子のカラーフィルタの色配列がベイヤー配列であり、レッドフィルタの水平隣のグリーンフィルタ或いはブルーフィルタの水平隣のグリーンフィルタがグレイフィルタに置き換えられている構成とする。
【００１５】
本発明では、原色系（レッド、グリーン、ブルー）のカラーフィルタの配列の中で特定の画素のみグレイフィルタに置き換えてカラーフィルタを構成するものである。
【００１６】
そして、例えば図１１に示した原色系ベイヤー配列のカラーフィルタの場合、レッドＲに水平方向で隣接するグリーンＧをグレイに置き換えるか、もしくはブルーＢの水平方向で隣接するグリーンＧをグレイに置き換える。
【００１７】
本発明の一実施の形態として固体撮像素子のカラーフィルタの色配列を図１に示す。
本実施の形態のカラーフィルタ１は、図１１に示した原色系ベイヤー配列のカラーフィルタにおいて、レッドフィルタＲに水平方向で隣接するグリーンフィルタＧをグレイフィルタＧｒａｙに置き換えた場合である。
これにより、レッドＲ、グリーンＧ、ブルーＢ、グレイＧｒａｙの４色のフィルタが、水平方向・垂直方向ともに１画素おきに存在している。
【００１８】
グレイフィルタは、他の３原色のフィルタと同様にして形成することが可能である。例えばグレイの染料（または顔料）を含有したレジスト等により形成することができる。
【００１９】
また、グレイフィルタは、可視光線の分光領域で比較的波長依存性の少ないフラットな光学特性を有している。
そして、グレイフィルタも他の色のフィルタと同様に、例えば染料・顔料の含有量を変更することにより、フィルタの透過率を多くしたり少なくしたりして透過特性を変更することが可能である。
【００２０】
グレイフィルタの透過特性は、上述のようにして変更可能であるが、機能的には次の３種類に大別される。
（１）透過率１００％に近い理想的なホワイトに近い透過特性
（２）可視光分光領域における積分値がグリーンフィルタと同等な透過率を有する透過特性
（３）上記以外の透過率を有する透過特性
これらの場合のグレイフィルタの透過特性を、他の３原色のフィルタの透過特性と共に図２に示す。
【００２１】
（１）透過率１００％に近い理想ホワイト特性（図２のＧｒａｙ（１）の場合）この場合、ＲＧＢ各色の感度と比較して、グレイ画素の感度は２倍以上と高い。これにより、Ｓ／Ｎ比の改善が可能となる。
また、後述するキャリアバランスをとると、グレイＧｒａｙ画素の出力をＲＧＢ各色の感度と同じようになるようにするので、負の利得をもつことになるが、これにより輝度信号や色差信号のＳ／Ｎ比を改善することができる。
【００２２】
（２）可視光分光領域における積分値がグリーンフィルタと同等な透過率を有するグレイ分光（図２のＧｒａｙ（２）の場合）
（１）の場合、グレイフィルタが他のＲＧＢフィルタに比較して感度が高いため、同一光量に対してグレイフィルタが他の色フィルタより早く飽和する。
従って、グレイフィルタＧｒａｙの可視光分光領域における積分値がグリーンフィルタＧと同じようになるような透過率にすることで、ダイナミックレンジをＲＧＢフィルタと同等にすることが可能である。
【００２３】
（３）上記以外の透過率を有するグレイ分光（図２のＧｒａｙ（３）の場合）
グレイフィルタＧｒａｙの可視光分光領域における積分値をグリーンフィルタＧ以下となるような透過率にすることで、輝度のダイナミックレンジをＲＧＢフィルタ以上の特性にすることが可能である。
ただし、この場合グレイフィルタＧｒａｙの感度はグリーンＧよりも小さいので、感度もしくはＳ／Ｎ比の点では（１）（２）の場合よりも劣る。
【００２４】
グレイフィルタＧｒａｙは、上述のようにフラットな透過特性を有するため、可視光領域の全ての色相の光に対して応答を持つ。
従って、ＲＧＢ各画素の感度値と同等の信号出力となるようにそれぞれ利得を制御することにより、グレイフィルタＧｒａｙの画素の出力を信号処理におけるＲＧＢそれぞれのフィルタ出力信号として代用可能である。
【００２５】
まず、グリーンＧのフィルタ出力信号について考える。図３Ａにグリーン成分となるフィルタの配置を示す。図３Ａにおいて、左下の元々のグリーンフィルタＧｒｅｅｎに加えて、右上のグレイフィルタもグリーン成分Ｇｒｅｅｎを構成する。図３Ａではグレイフィルタは元々のグリーンフィルタと区別するため、斜線を付加して示している。
この場合、グリーン成分Ｇｒｅｅｎとなる画素の配置は図１１のベイヤー配列のグリーンＧと同じであるので、グリーン成分Ｇｒｅｅｎの空間周波数特性は、図３Ｂに示すように、先に示した図１２Ａの場合と等しくなる。
【００２６】
次に、レッドＲのフィルタ出力信号について考える。図４Ａにレッド成分となるフィルタの配置を示す。図４Ａにおいて、左上の元々のレッドフィルタＲｅｄに加えて、右上のグレイフィルタもレッド成分Ｒｅｄを構成する。図４Ａではグレイフィルタは元々のレッドフィルタと区別するため、斜線を付加して示している。
この場合、レッド成分Ｒｅｄとなる画素は左上と右上即ち上半分である。従って、水平方向には毎画素存在し、垂直方向には１画素おきに存在する。これにより、レッド成分Ｒｅｄの空間周波数特性は、図４Ｂに示すように、水平空間周波数は図１２Ｂの場合の２倍の１／２となり、その一方垂直空間周波数は図１２Ｂの場合と同じ１／４となる。また、画素の個数は２倍となるので、図４Ｂの面積が図１２Ｂの面積の２倍となっている。即ちレッドの情報量が２倍になっている。
【００２７】
続いて、ブルーＢのフィルタ出力信号について考える。図５Ａにブルー成分となるフィルタの配置を示す。図５Ａにおいて、右下の元々のブルーフィルタＢｌｕｅに加えて、右上のグレイフィルタもブルー成分Ｂｌｕｅを構成する。図５Ａではグレイフィルタは元々のブルーフィルタと区別するため、斜線を付加して示している。
この場合、ブルー成分Ｂｌｕｅとなる画素は右下と右上即ち右半分である。従って、水平方向には１画素おきに存在し、垂直方向には毎画素存在する。これにより、ブルー成分Ｂｌｕｅの空間周波数特性は、図５Ｂに示すように、水平空間周波数は図１２Ｃの場合と同じ１／４となり、その一方垂直空間周波数は図１２Ｃの場合の２倍の１／２となる。また、画素の個数は２倍となるので、図５Ｂの面積が図１２Ｃの面積の２倍となっている。即ちブルーの情報量が２倍になっている。
【００２８】
つまり、図１１に示す従来のベイヤー配列では、レッドＲとブルーＢの画素はグリーンＧの画素に対して半分の情報量であったのが、本実施の形態ではグレイフィルタＧｒａｙを用いることにより従来の２倍の情報として扱えるため、レッドＲ・グリーンＧ・ブルーＢの各画素の情報量を同等とすることができる。
即ち空間周波数特性として、レッドＲとブルーＢの通過帯域が従来の２倍になる。
【００２９】
次に、レッド、グリーン、ブルー、グレイの４色のフィルタからアパコン信号（輪郭補正信号）を生成する方法について説明する。
図７に信号処理のブロック図を示す。この図７に示す信号処理は、４色の画素の出力信号（例えばＣＣＤ型固体撮像素子の場合はＣＣＤ出力）から、各種処理を行って、輝度信号Ｙと色差信号Ｃとを得るものである。
【００３０】
（１）まず、グレイフィルタの画素の出力を、ＲＧＢ各画素の感度値と同等の信号出力となるようにそれぞれ利得を制御する必要がある。これをキャリアバランスと言う。
ここで、図６に示すように、全画素を４色のフィルタを１つずつ含む２×２の４画素ずつの区画に区切って、この２×２の４画素の各色のフィルタを、それぞれＲｅｄｉｊ、Ｇｒｅｅｎｉｊ、Ｂｌｕｅｉｊ、Ｇｒａｙｉｊ（ｉ，ｊは０以上の整数によるアドレス）とする。
【００３１】
そして、この場合、以下の数式により、それぞれグリーン、レッド、ブルーに対してキャリアバランスがなされる。
（グリーンキャリアバランス）
Ｇｒｅｅｎ（ｉ，ｊ）´＝Ｇｒａｙ（ｉ，ｊ）×〔Σ（グリーン出力値）〕／〔Σ（グレイ出力値）〕
ただし、Σの範囲は対象画素アドレス（ｉ，ｊ）に対して±Ｎ画素の領域
（レッドキャリアバランス）
Ｒｅｄ（ｉ，ｊ）´＝Ｇｒａｙ（ｉ，ｊ）×〔Σ（レッド出力値）〕／〔Σ（グレイ出力値）〕
ただし、Σの範囲は対象画素アドレス（ｉ，ｊ）に対して±Ｎ画素の領域
（ブルーキャリアバランス）
Ｂｌｕｅ（ｉ，ｊ）´＝Ｇｒａｙ（ｉ，ｊ）×〔Σ（ブルー出力値）〕／〔Σ（グレイ出力値）〕
ただし、Σの範囲は対象画素アドレス（ｉ，ｊ）に対して±Ｎ画素の領域
【００３２】
このようにキャリアバランスを行った出力Ｇｒｅｅｎ（ｉ，ｊ）´，Ｒｅｄ（ｉ，ｊ）´，Ｂｌｕｅ（ｉ，ｊ）´を、各色の出力として後段の回路に出力する。
【００３３】
実際には、このキャリアバランスの処理は、図７に示すように通常の信号処理回路でも行われるホワイトバランス回路１２の前段の回路１１で行う。
【００３４】
（２）次に、キャリアバランスの後のホワイトバランス補正処理を行う。
例えば白い被写体を撮像した場合、本来Ｒ，Ｇ，Ｂは同じレベルになるはずだが、Ｒ，Ｇ，Ｂ各色のフィルタの分光特性の違い（図２参照）により、必ずしも同一レベルとはならない。
このとき、Ｒ，Ｇ，Ｂのそれぞれに利得を持たせることにより、白を撮像したときにＲ＝Ｇ＝Ｂになるようにする。
これにより、各色毎の感度差を補正して、白い被写体は白く見えるようにする。
これをホワイトバランス補正と呼び、通常のグレイフィルタのない通常のカラーフィルタでも行われる処理である。
図７のブロック図では、ホワイトバランス回路１２でホワイトバランス補正が行われ、出力ＷＢｏｕｔを得る。
【００３５】
（３）次に、各色の出力信号から輝度信号と色差信号とを生成するために、全画素に対して３倍のＲＧＢデータを作り出す。
これを補間と呼ぶ。
即ち４色の出力信号である、Ｒ，Ｇｒａｙ，Ｒ，Ｇｒａｙ，・・・・，Ｇ，Ｂ，Ｇ，Ｂ・・・・のような点順次のデータからＲ，Ｒ，Ｒ，Ｒ，Ｒ，Ｒ，・・・・，Ｇ，Ｇ，Ｇ，Ｇ，Ｇ，Ｇ，・・・・，Ｂ，Ｂ，Ｂ，Ｂ，Ｂ，・・・・のような毎画素ＲＧＢが存在する３種類のＲＧＢデータに変換する。これにより、例えば１００画素からはＲ，Ｇ，Ｂを１００ずつ含む３００のデータを得る。
図７のブロック図では、ホワイトバランス回路１２の出力ＷＢｏｕｔから、Ｒｅｄ補間回路１３Ｒ、Ｇｒｅｅｎ補間回路１３Ｇ、Ｂｌｕｅ補間回路１３Ｂで、各色の補間が行われる。
【００３６】
（４）また、補間の処理と並行してアパコン信号（輪郭補正信号）を生成する。
このアパコン信号の生成は、ホワイトバランス補正の後、図７のアパコン合成回路１４において行われる。図８に図７のアパコン合成回路１４の構成を示す。
図８に示すように、アパコン合成回路１４では、まずホワイトバランス出力の信号ＷＢｏｕｔをＲｅｄ／Ｇｒａｙ、Ｇｒｅｅｎ／Ｇｒａｙ、及びＢｌｕｅ／Ｇｒａｙの３種類の信号系に分離する。これを色分離という。
【００３７】
色分離を行った後、３種類の信号系それぞれでアパコン回路２１Ｒ，２１Ｇ，２１Ｂを通す。
続いて、それぞれのアパコン回路２１Ｒ，２１Ｇ，２１Ｂの出力信号に対して、増幅器２２Ｒ，２２Ｇ，２２Ｂによってそれぞれレッド系がゲインα、グリーン系がゲインβ、ブルー系がゲインγの利得制御を行う。通常はα＝β＝γ＝１である。
最後に３系統の信号を混合し、アパコン信号出力ＡＰｏｕｔとして出力する。
【００３８】
さらに、各色のアパコン回路２１Ｒ，２１Ｇ，２１Ｂの詳細な構成を図９に示す。上述の色分離がなされた後の信号を、図９の上下２系統で使用する。上側は垂直アパコン信号ａｐ＿ｖを生成する系統ｖであり、下側は水平アパコン信号ａｐ＿ｈを生成する系統ｈである。
垂直アパコン信号ａｐ＿ｖは、最初に水平方向のローパスフィルタ３１をかけて、水平方向の演算ａｐ＿ｖ（ｕ）を行って高域信号をカットする。その後、垂直方向のバンドパスフィルタ３２により、垂直方向の演算ａｐ＿ｖ（ｖ）を行って垂直高域信号を生成する。
水平アパコン信号ａｐ＿ｈは、最初に垂直方向のローパスフィルタ３４をかけて、垂直方向の演算ａｐ＿ｈ（ｖ）を行って垂直の高域信号をカットする。その後、水平方向のバンドパスフィルタ３５により、水平方向の演算ａｐ＿ｈ（ｕ）を行って水平高域信号を生成する。
尚、各方向の演算においては、ある特定画素の周囲の画素（前後或いは左右の数画素）の画素を使用して演算を行えばよい。これにより、例えばローパスフィルタ３１，３３ではその特定画素の信号をぼかして、バンドパスフィルタ３２，３４ではその特定画素の信号を強調して、アパコン信号（輪郭補正信号）の元とすることができる。
そして、垂直アパコン信号ａｐ＿ｖには増幅器３３でゲインｋ、水平アパコン信号ａｐ＿ｈには増幅器３６でゲインｌをかけて、その後２系統の信号を混合し、各ＲＧＢアパコン信号として出力する。この出力に図８の増幅器２２Ｒ，２２Ｇ，２２Ｂにおいて利得制御を行って３色のアパコン信号を合成することにより、アパコン信号出力ＡＰｏｕｔが得られる。
【００３９】
（５）次に、補間処理した信号とアパコン信号を合成し、ガンマ補正を行う。
ここで、モニタ、ディスプレイに用いられるＣＲＴ（陰極線管）は、非線形な入出力特性を持っており、低輝度側の発光が入力に比例せず、小さく出る傾向がある。
従って、ＲＧＢ信号を直接ディスプレイに表示した場合、低輝度側がつぶれたような、言い換えると暗く見える。これをＣＲＴのガンマ特性と呼ぶ。
このとき、入力するＲＧＢ信号にガンマ特性と逆の特性を有する非線形処理をすることで、モニタ、ディスプレイで見たとき、自然なコントラストになる。これをガンマ補正と呼ぶ。
【００４０】
ガンマ補正は、各補間回路１３Ｒ，１３Ｇ，１３Ｂにより補間された信号とアパコン合成回路１４の出力ＡＰｏｕｔとを合成した後、ガンマ補正回路１５により行われる。
【００４１】
（６）ガンマ補正を行ったＲ，Ｇ，Ｂ各色の信号を、それぞれ輝度信号合成回路１６及び色差信号合成回路１７に送り、輝度信号合成回路１６で輝度信号Ｙを生成し、色差信号合成回路１７で色差信号Ｃを生成する。
このようにして、輪郭補正処理がなされている輝度信号Ｙ及び色差信号Ｃを得ることができる。
【００４２】
上述の本実施の形態によれば、原色系ベイヤー配列のカラーフィルタにおいて、グリーンフィルタＧｒｅｅｎの特定の画素をグレイフィルタＧｒａｙに置き換えたことにより、グレイフィルタＧｒａｙの画素では、全ての色相の光に対して透過する特性を有するので、Ｒ，Ｇ，Ｂ３色の信号を得ることができる。
これにより、グリーン成分が非常に少ない被写体、例えば赤や青の原色系の被写体に対しても輪郭強調を行うことができる。
従って、有彩色における解像度を改善することが可能となり、良好な画像を得ることができる。
【００４３】
そして、比較的可視光分光領域でフラットな透過特性を持つグレイフィルタに置き換えたことにより、図２に示したＧｒａｙ（１），Ｇｒａｙ（２），Ｇｒａｙ（３）の３種類の透過率を選択することにより、感度の改善もしくは、ダイナミックレンジの改善効果を得ることができる。
【００４４】
上述の実施の形態では、ベイヤー配列のカラーフィルタを具備した固体撮像素子に本発明を適用したが、本発明においてカラーフィルタの色配列はベイヤー配列には限定されず、その他の原色系（Ｒ，Ｇ，Ｂ）の色配列にも適用することができる。
【００４５】
本発明を適用する他の色配列の例を図１０Ａ及び図１０Ｂに示す。
図１０Ａは、いわゆるＧストライプと呼ばれる色配列である。グリーンフィルタＧを１列おきに縦一列に配置し、グリーンフィルタＧの各列の間の列にレッドフィルタＲ及びブルーフィルタＢを配置している。レッドフィルタＲ及びブルーフィルタＢは市松配置となっている。
この色配列に本発明を適用する場合には、例えば図中＊印を付したグリーンフィルタＧ、即ちレッドフィルタＲの左隣のグリーンフィルタＧをグレイフィルタに置き換えればよい。（或いは＊印を付していないグリーンフィルタＧ、即ちレッドフィルタＲの右隣のグリーンフィルタＧをグレイフィルタに置き換えてもよい。）
これにより、前述のベイヤー配列に適用した実施の形態と同様に、グレイフィルタの画素においてＲ，Ｇ，Ｂ３色の信号の出力を得ることができ、色による解像感の偏りをなくす効果が得られる。
尚、Ｇストライプの色配列としては、レッドフィルタＲ及びブルーフィルタＢの他の配置も考えられる。
【００４６】
図１０Ｂは、特にＣＣＤ固体撮像素子で垂直方向２画素を加算して出力する場合の色配列である。図１１に示したベイヤー配列の各色Ｒ，Ｇ，Ｂの画素を垂直方向２画素に分割した形になっている。
この色配列に本発明を適用する場合には、例えば図中＊印を付したグリーンフィルタＧ、即ちレッドフィルタＲの水平隣のグリーンフィルタＧをグレイフィルタに置き換えればよい。
これにより、図１の実施の形態と同様に、グレイフィルタの画素においてＲ，Ｇ，Ｂ３色の信号の出力を得ることができ、垂直２画素を加算して出力した信号を処理することにより、色による解像感の偏りをなくす効果が得られる。
【００４７】
本発明は、ＣＣＤ固体撮像素子にもＭＯＳ型の固体撮像素子にも適用することができ、いずれの固体撮像素子においても、同様に本発明を適用してグレイフィルタを有するオンチップカラーフィルタを形成することにより、色による解像感の偏りをなくして、良好な画像を得ることが可能である。
【００４８】
尚、本発明におけるグレイフィルタを備えたカラーフィルタは、各種画像表示装置（ディスプレイ）にも使用可能であるが、特に固体撮像素子に使用した場合に、上述の色による解像感の偏りをなくして、良好な画像を得る効果を有するものである。
【００４９】
本発明は、上述の実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲でその他様々な構成が取り得る。
【００５０】
【発明の効果】
上述の本発明によれば、原色系色配列のカラーフィルタにおいて、特定の画素をグレイフィルタに置き換えたことにより、グレイフィルタの画素では、原色の各色の信号を得ることができる。
これにより、色による解像感の偏りの発生をなくし、原色系の被写体でも輪郭強調をつけることができる。
従って、有彩色における解像度を改善することが可能となり、良好な画像を得ることができる。
【００５１】
また本発明によれば、比較的可視光分光領域でフラットな透過特性を持つグレイフィルタを備えたことにより、グレイフィルタの透過率を選定することによって、感度の改善効果もしくは、ダイナミックレンジの改善効果を得ることができる。
【図面の簡単な説明】
【図１】本発明の一実施の形態の固体撮像素子のカラーフィルタの色配列を示す図である。
【図２】図１のカラーフィルタにおける各色のフィルタの分光特性を示す図である。
【図３】図１のカラーフィルタにおけるグリーン成分を示す図である。
Ａグリーン成分の配列を示す図である。
Ｂグリーン成分の空間周波数特性を示す図である。
【図４】図１のカラーフィルタにおけるレッド成分を示す図である。
Ａレッド成分の配列を示す図である。
Ｂレッド成分の空間周波数特性を示す図である。
【図５】図１のカラーフィルタにおけるブルー成分を示す図である。
Ａブルー成分の配列を示す図である。
Ｂブルー成分の空間周波数特性を示す図である。
【図６】図１のカラーフィルタの各画素にアドレスを付した図である。
【図７】信号処理ブロックを示す図である。
【図８】図７のアパコン合成回路の構成を示す図である。
【図９】図８の各色のアパコン回路の詳細な構成を示す図である。
【図１０】Ａ、Ｂ本発明を適用するカラーフィルタの色配列の他の例を示す図である。
【図１１】ベイヤー配列を示す図である。
【図１２】Ａ〜Ｃ図１１のベイヤー配列における各色の空間周波数特性を示す図である。
【符号の説明】
１カラーフィルタ、１１キャリアバランス回路、１２ホワイトバランス回路、１４アパコン合成回路、１５ガンマ補正回路、１６輝度信号合成回路、１７色差信号合成回路、２１Ｒ，２１Ｇ，２１Ｂアパコン回路、３１水平ローパスフィルタ、３２垂直バンドパスフィルタ、３３垂直ローパスフィルタ、３４水平バンドパスフィルタ

Claims

原色系のカラーフィルタを具備して成る単板式の固体撮像素子であって、
上記カラーフィルタにおいて、３原色のフィルタの配列の特定の画素に、可視光分光領域における積分値がグリーンフィルタと同等な透過率、もしくはグリーンフィルタ以下の透過率を有するグレイフィルタが配置形成された
固体撮像素子。
上記カラーフィルタの色配列がベイヤー配列であり、レッドフィルタの水平隣のグリーンフィルタ或いはブルーフィルタの水平隣のグリーンフィルタが上記グレイフィルタに置き換えられている請求項１に記載の固体撮像素子。
原色系のカラーフィルタを具備して成り、
上記カラーフィルタにおいて、３原色のフィルタの配列の特定の画素に、可視光分光領域における積分値がグリーンフィルタと同等な透過率、もしくはグリーンフィルタ以下の透過率を有するグレイフィルタが配置形成され、
上記グレイフィルタを、他の３原色のフィルタと同等の周波数特性となるようにキャリアバランスをとる手段と、
輪郭補正信号を合成する手段とを備えた単板式の固体撮像素子に対して、
３原色のフィルタ及びグレイフィルタの４色の画素の出力信号から、上記キャリアバランスをとる処理を行い、
ホワイトバランス処理を行い、
さらに、全画素に対して３倍のデータを形成する補間の処理を行い、
上記補間の処理と並行して、上記輪郭補正信号を生成して、
生成した上記輪郭補正信号を、補間処理した信号に合成する
固体撮像素子の信号処理方法。
上記固体撮像素子の上記カラーフィルタの色配列がベイヤー配列であり、レッドフィルタの水平隣のグリーンフィルタ或いはブルーフィルタの水平隣のグリーンフィルタが上記グレイフィルタに置き換えられている請求項３に記載の固体撮像素子の信号処理方法。