JP4125927B2

JP4125927B2 - 固体撮像装置および固体撮像素子

Info

Publication number: JP4125927B2
Application number: JP2002237422A
Authority: JP
Inventors: 和也小田; 勝己池田
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2002-08-16
Filing date: 2002-08-16
Publication date: 2008-07-30
Anticipated expiration: 2022-08-16
Also published as: JP2004079747A; US20040032519A1; US7274399B2

Description

【０００１】
【発明の属する技術分野】
本発明は、光電変換する受光素子を画素ずらし配置した、いわゆるハニカム配置の固体撮像装置に関するものであり、また、本発明は、ハニカム配置に配設した受光素子で信号電荷を生成する固体撮像素子に関するものである。
【０００２】
【従来の技術】
固体撮像装置には、モアレ等の偽信号が発生することがある。また、画素の高集積化を行いながら、受光する光量を増やすことにより受光効率の向上を図ることができる固体撮像装置が特開平10-136391号公報に提案されている。この固体撮像装置は、画像の空間サンプリングの最適化ももたらす新規な構造を提供する。この構造を、いわゆるハニカム画素配列という。
【０００３】
このハニカム画素配列は、各画素間の距離をピッチとすると、たとえば、行方向および／または列方向に半ピッチずらして配置する配列である。この画素配置にともなって、CCD（Charge Coupled Device)型の固体撮像素子では、垂直方向の転送レジスタが各画素を迂回するように蛇行して形成されている。画素は、それぞれ実際に存在する画素（実画素）に対して色フィルタセグメントが割り当てられている。画素（受光素子）では、色フィルタセグメントからの透過光を光電変換して色属性を有する信号電荷を垂直方向の垂直転送レジスタに読み出す。固体撮像装置では、この垂直転送方向に直交する水平転送レジスタを介してQ/V変換された電圧信号、すなわちアナログ信号を出力する。
【０００４】
このアナログ信号には、信号処理が施される。供給される実画素の色を考慮して画素データの相関を求める。信号処理では、色を設定し、同色の相関の高い画素データ同士を用いて画素の実在しない位置における画素データ、すなわち仮想画素における画素データと、実在する異色の画素での画素データとが算出される。相関が強い方向の画素データを用いて画素補間処理が行われる。この画素補間処理は、偽信号の発生を抑制することができる。また、画素データの広帯域化処理も施して解像力も高めている。
【０００５】
さらに、このハニカム画素配列を用いてより一層高解像な画像の生成や生成される画像信号を広ダイナミックレンジ化する提案が行われている。これは、たとえば、固体撮像装置において一つの受光素子における感光領域を分割し、大きさの異なる主感光領域と従感光領域を設けて、それぞれの領域から独立に信号電荷を読み出す制御を行って、感光領域の感度差を用いて広ダイナミックレンジ化を行い、通常の読出しでは、両領域の信号電荷を混合してこれまでと同じ読出しが行われるように制御されることが提案されている。
【０００６】
【発明が解決しようとする課題】
ところで、上述した提案は、一つの受光素子における主感光領域と従感光領域とが一つの開口部に配置されている。この開口部に対応して入射光側には、マイクロレンズが一対一の関係に配置される。受光素子には、マイクロレンズにより入射光が開口部に集光される。この集光により得られる空間情報は、一つの受光素子として得られる同一のものである。主感光領域と従感光領域の感度に違いを持たせていることから、同一の空間情報に対する異なる感度領域の信号が得られることになる。固体撮像装置は、一つの受光素子に対して信号処理により異なる感度領域の信号を画像合成して、通常の信号電荷を混合させた場合では実現できない、画像信号の広ダイナミックレンジ化を実現させている。
【０００７】
また、固体撮像装置は、従感光領域に対応する入射光側に色Gの色フィルタセグメントを配置させている。これにより、従感光領域は、入射光から得られる分光成分の内、輝度成分に近い信号を供給することになる。この輝度成分を利用することにより、画像の解像度を向上させることができる。
【０００８】
しかしながら、マイクロレンズに入射する光情報は、空間的に、上述したように同一の空間情報として取り扱われる制約を受ける。この制約は、稠密に受光素子を配置しながらも、空間的に画素ピッチでハニカム画素配置における空間的な解像度の上限を規定する。したがって、この空間的な上限の解像度以上に細かな画像を表現しようとするとき、高精細な画像には偽信号が生じてしまう。
【０００９】
本発明はこのような従来技術の欠点を解消し、ハニカム画素配置の空間的な解像度の上限以上の空間解像度を実現し、偽信号を低減させることができる固体撮像装置および固体撮像素子を提供することを目的とする。
【００１０】
【課題を解決するための手段】
本発明は上述の課題を解決するために、入射光を信号電荷に変換する２次元アレイ状に配設された受光素子と、受光素子で変換した信号電荷を垂直方向に転送する複数の垂直転送手段と、複数の垂直転送手段に対して直交する水平方向に転送された信号電荷を転送する水平転送手段とを含み、受光素子のそれぞれに対する垂直方向および水平方向に配する素子間隔をピッチとし、互いに隣接する受光素子がほぼ半ピッチずらして配設され、垂直転送手段を水平方向に配設された受光素子の間に形成し、互いに前記隣接する受光素子に対して１列ずつ迂回させた固体撮像装置において、実際に配設されている受光素子を実画素、この実画素で囲まれた空き領域に配設されると仮想した受光素子を仮想画素とし、実画素の一つに対して入射光を光電変換する感光領域が複数に分割され、この感光領域のうち、相対的に広い面積を有する主感光領域と仮想画素を考慮する方向に従感光領域とが形成され、この従感光領域が少なくとも、仮想画素の位置まで延長形成され、主感光領域に対応した第１開口領域と従感光領域に対して仮想画素の位置を含む第２開口領域が形成された領域を除いて、垂直転送手段および受光素子に対する遮光が施され、そして、主感光領域および従感光領域のそれぞれから独立にまたは同時に信号電荷を読み出す開閉機能を有する開閉手段が形成された固体撮像素子と、この開閉手段に対する駆動を独立または同時に行わせるタイミング信号を生成するタイミング信号生成手段と、このタイミング信号を駆動信号にして固体撮像素子に出力する駆動信号生成手段と、この装置に対する操作に応動してタイミング信号生成手段を制御するシステム制御手段とを含むことを特徴とする。
【００１１】
本発明の固体撮像装置は、一つの受光素子の感光領域を主感光領域と従感光領域に分割し、入射光が入射する側の垂直転送手段および受光素子を遮光し、受光素子における第１開口領域および仮想画素を含む位置まで延長形成された従感光領域における第２開口領域を形成し、第１および第２の開口領域に対して集光手段を形成することにより、一つの受光素子でありながら、同一の位置における受光でなく、第１および第２の開口領域が実画素と仮想画素とそれぞれ異なる位置における受光をもたらし、第１および第２の開口領域を介してそれぞれ、主感光領域と従感光領域での光電変換により実画素と仮想画素での信号電荷を生成して異なる空間情報を得る。システム制御手段がタイミング信号生成手段を制御して主感光領域と従感光領域に蓄積した信号電荷を独立にまたは同時に読み出すタイミング信号を生成させ、駆動信号生成手段を介して固体撮像素子を駆動することにより、固体撮像素子における各受光素子の主感光領域と従感光領域に形成された開閉手段を独立にまたは同時に開閉して蓄積した信号電荷を読み出す。特に、独立に読み出す制御が固体撮像素子に施されると、一度の露出により信号処理を行うことなく、実画素と仮想画素の情報が得ることができる。また、主感光領域だけを読み出す制御が行われると、これまでの静止画撮影と同じ情報が得られる。
【００１２】
また、本発明は上述の課題を解決するために、入射光を信号電荷に変換する２次元アレイ状に配設された受光素子と、受光素子で変換した信号電荷を垂直方向に転送する複数の垂直転送手段と、複数の垂直転送手段に対して直交する水平方向に転送された信号電荷を転送する水平転送手段とを含み、受光素子のそれぞれに対する垂直方向および水平方向に配する素子間隔をピッチとし、互いに隣接する受光素子がほぼ半ピッチずらして配設され、垂直転送手段を水平方向に配設された受光素子の間に形成し、互いに隣接する受光素子に対して１列ずつ迂回させた固体撮像素子において、実際に配設されている受光素子を実画素、この実画素で囲まれた空き領域に配設されると仮想した受光素子を仮想画素とし、一つの画素に対して入射光を光電変換する感光領域が複数に分割され、この感光領域のうち、相対的に広い面積を有する主感光領域と仮想画素を考慮する方向に従感光領域とが形成され、この従感光領域は、少なくとも、仮想画素の位置まで延長形成され、入射光を遮光する遮光膜が、感光領域に導く開口領域として主感光領域に対応した第１開口領域と従感光領域に対して仮想画素の位置を含む第２開口領域を除き、垂直転送手段および受光素子に対して形成された実画素と、受光素子のそれぞれに対して第１開口領域および第２開口領域のそれぞれから独立にまたは同時に信号電荷を読み出す開閉機能を有する開閉手段とが形成されていることを特徴とする。
【００１３】
本発明の固体撮像素子は、一つの受光素子の感光領域を主感光領域と従感光領域に分割し、入射光が入射する側の垂直転送手段および受光素子を遮光し、受光素子における第１開口領域および仮想画素を含む位置まで延長形成された従感光領域における第２開口領域を形成し、第１および第２の開口領域に対して集光手段を形成することにより、一つの受光素子でありながら、第１および第２の開口領域が実画素と仮想画素とそれぞれ異なる位置における受光をもたらし、第１および第２の開口領域を介してそれぞれ、主感光領域と従感光領域での光電変換により実画素と仮想画素での信号電荷を生成して空間情報を得る。主感光領域と従感光領域に対して開閉手段をそれぞれ形成することにより、主感光領域と従感光領域から垂直転送手段への蓄積した信号電荷の独立にまたは同時読出しを行うことができる。
【００１４】
【発明の実施の形態】
次に添付図面を参照して本発明による固体撮像装置の一実施例を詳細に説明する。
【００１５】
本実施例は、本発明の固体撮像装置をディジタルカメラ10に適用した場合である。本発明と直接関係のない部分について図示および説明を省略する。以下の説明で、信号はその現れる接続線の参照番号で指示する。
【００１６】
ディジタルカメラ10は、使用する撮像部12の固体撮像素子12aに特徴がある。図１に示す固体撮像素子12aは、入射光の入射側から見た光電変換する受光素子120における配列の要部を表している。固体撮像素子12aには、ここでは図示しないが、各受光素子120にマイクロレンズや色フィルタセグメントが配設形成されている。図１に示すように、受光素子120は、同一方向、すなわち同一行方向および同一列方向に配設される画素としての画素間隔をピッチPPとする。受光素子120の一つに対して稠密に受光素子を配設するため、受光素子120に隣接する受光素子120は、ピッチPPの半分の位置に画素ずらし配設されている。この配列がいわゆるハニカム配列である。
【００１７】
受光素子120は、後述するｐ型ウェル材により感光領域の分離部120aを設け、主感光領域120bと従感光領域120cに分割されている。主感光領域120bは、一つの受光素子120において相対的に広い領域を占めている。従感光領域120cは、相対的に狭い領域になる。分離部12aは、水平方向だけに形成されるものでなく、斜めに領域を分割するように形成してもよい。
【００１８】
ところで、本実施例の受光素子120における従感光領域120cは、ハニカム配列における受光素子の空領域に対応する仮想画素の位置を含むように延長形成されている。仮想画素は、図１の破線で示した円VPで表している。受光素子120をハニカム配列することにより垂直転送レジスタ122は、蛇行して形成される。それぞれの垂直転送レジスタ122は、均等な幅に形成されている。したがって、従感光領域120cを仮想画素まで延長形成するため、従感光領域120cは、受光素子120に形成する側を所定の幅で垂直方向に形成される。図１は、従感光領域120cを受光素子120の上方に延長形成させたが、これに限定されるものでなく、受光素子120の下方に形成するようにしてもよい。
【００１９】
固体撮像素子12aは、受光素子120の一部および垂直転送レジスタ122を含めて図２に示すように遮光膜124で遮光する。遮光膜124には、たとえば、タングステン等を用いている。遮光膜124には、図２に示すように開口領域126、128が形成されている。開口領域126は、主感光領域120bに対して形成され、開口領域128は、従感光領域120cに対して形成されている。
【００２０】
開口領域126は、主感光領域120bにだけ入射光が照射されるように開口部が形成されている。したがって、分離部120a近傍の従感光領域120cは遮光されている。また、開口領域128は、従感光領域120cにおける仮想画素VPを含む領域だけに開口部が形成されている。
【００２１】
固体撮像素子12aにおいて破断線II-IIに沿った断面を図３に示す。固体撮像素子12aは、ｎ型半導体基板130の上面130aにｐ型ウェル132が積層形成されている。ｐ型ウェルによる分離部120aは、主感光領域120b側を深い井戸132aと、従感光領域120cを主感光領域120bよりも浅い井戸132bとのギャップにより形成される。独立した受光素子120を配置していないので、内部にチャネルストッパ等を独立に設けなくて済む。受光素子120は、構造的にも簡単である。井戸132aの下端側132cには、垂直転送レジスタ122との電気的な分離を行なうためのチャネルストップ領域134aが形成されている。また、井戸132bの上端側132dにも、受光素子120との電気的な分離を行なうためのチャネルストップ領域134bが形成されている。井戸132a, 132bには、ｎ型領域が積層形成される。この形成により主感光領域120bと従感光領域120cが形成される。
【００２２】
このように積層して平滑面136が形成され、平滑面136上に図示しないが、酸化シリコン膜等の絶縁層が形成される。さらに、その上にポリシリコンで転送電極138a、138bがそれぞれ、形成される。転送電極138aは、図示しないが、垂直転送レジスタを覆うように形成されている。転送電極138a上には、さらに、上述したと同様の酸化シリコン等による絶縁層、転送電極138bが垂直転送レジスタを覆うように順次形成される（図示せず）。
【００２３】
遮光膜124には、開口領域126が入射光照射領域として開けられ、主感光領域120bが覆われ、従感光領域120cのほとんども覆われて仮想画素の位置を含む開口領域128だけが入射可能なようにホールが形成されている。転送電極138a, 138bおよび遮光膜124が形成される平滑面136から平滑面140の間には、層間絶縁膜142が形成されている。層間絶縁膜142は、ホスホシリケートガラス等を用いている。
【００２４】
このように遮光し、開口領域126, 128を形成することにより、入射光による異なる位置の空間情報を分割した受光素子から一度の露出で得ることができる。実際、仮想画素VPの位置は、これまで垂直転送レジスタ122が占めていた領域で新たに受光素子を形成する場合、感光領域だけでなく、読出しゲートや電極の形成も要求されることになる。この要求に対して、本実施例において受光素子120の読出しゲート（図示せず）は、感光領域を分割し、従感光領域120cを垂直方向に延長形成していないこれまでの受光素子の構造を有効に利用している。これにより、製造工程は、垂直方向への従感光領域120cの延長、従感光領域120cにおける開口領域128および遮光膜124に対するマスクの変更だけで済む。
【００２５】
平滑面140上には、色フィルタセグメント144が図４に示すように、少なくとも、主感光領域120bの開口領域126と従感光領域120cの開口領域128を覆うように形成される。色フィルタセグメント144は、原色および補色のいずれか一方を選択して形成する。色フィルタセグメント144は、主感光領域120bと従感光領域120cを同色にしてもよい。同色にすると、信号電荷を個別読出しする場合、受光素子120としての広ダイナミックレンジ化に寄与させることができる。また、従感光領域120cの色フィルタセグメント144は、主感光領域120bの色に関係なく、緑色（G）にしてもよい。この色を配置することにより混色の少ない画像を得ることができる。そして、開口領域128には色フィルタセグメント144を配さないようにしてもよい。この場合、光学的に透明な部材を使用する。したがって、従感光領域120cには、白色光（W）を入射させ、狭い受光面積でありながら、入射光の強さをほとんど減衰させることなく、入射光を有効に利用することができる。これにより、仮想画素の位置における輝度データを正確に生成することができる。
【００２６】
さらに、色フィルタセグメント144の上には、各受光素子120における開口領域126と開口領域128に対応してマイクロレンズ146がレジスト材料等により形成されている。図４の場合のように、マイクロレンズ146は、開口領域126, 128のように形成される開口面積に応じて異なるマイクロレンズを形成するようにしてもよい。
【００２７】
固体撮像素子12aは、入射光を開口領域126, 128を経て主感光領域120b, 120cにて光電変換し、露出完了後にそれぞれの領域で生成した信号電荷を独立または同時（混合）させて垂直転送レジスタ122に読み出す。固体撮像素子12aは、一つの受光素子120に対してたとえば、２つの転送電極138a, 138bを形成し、読出しゲートをそれぞれ独立に駆動させることにより、主感光領域120bと従感光領域120cの信号電荷を個々に読み出す。この内、従感光領域120cからの信号電荷は、仮想画素の位置にて直接的に得られたものと同等として扱われる。
【００２８】
信号電荷の読出しは、主感光領域120bの信号電荷を先に垂直転送レジスタ122に読み出す。垂直転送レジスタ122は、信号電荷を水平転送レジスタ（図示せず）に向かって転送され、水平転送レジスタにラインシフトする。信号電荷は、水平転送レジスタを介して信号電荷を出力アンプ（図示せず）にてQ/V変換され、出力される。この後に従感光領域120cの信号電荷を垂直転送レジスタ122に読み出す。以後、前述したように信号電荷が転送され、Q/V変換が施される。このような順序での信号電荷読出しは、遮光後の飽和量減衰が主感光領域120bの信号電荷で大きいことを考慮しているからである。
【００２９】
これに対して、前述した、いわゆるハニカム画素配列の固体撮像素子200は、図５に示す２次元に配列された受光素子202、蛇行形成された垂直転送レジスタ204、水平転送レジスタ206および出力アンプ208を有している。受光素子202が、主感光領域と従感光領域に分割されていてもよい。両感光領域から得られる信号電荷は、同一領域からの空間情報とみなされる。空間情報に関しては、たとえ分割されていても、一つの受光素子202を考慮する場合に同じである。色フィルタセグメント202aは受光素子202の感光領域を覆うように形成されている。図５の色フィルタ配列は、G正方RB完全市松パターンを用いている。これは、色Gを正方格子状に配し、色Rと色Bに着目すると、完全市松パターンを形成していることからである。
【００３０】
固体撮像素子200は、露出して入射光を受光素子202で信号電荷に変換する。信号電荷は、垂直転送レジスタ204にフィールドシフトされ、水平転送レジスタ206に転送される。水平転送レジスタ206は、出力アンプ208に向けて高速駆動する。出力アンプ208では、信号電荷がQ/V変換によりアナログ電圧信号にされて、出力される。各信号電荷が有する空間的な情報は、各受光素子が持つ配設形成された位置に由来するものである。固体撮像素子200を使用した装置において、解像度を高めるように仮想画素の画素データ210が空間情報として信号処理により算出される。仮想画素の画素データ210は、仮想画素の位置を囲む実画素（受光素子）の画素データを算術平均または重み付け平均により予測算出される。
【００３１】
このように固体撮像素子12aを構成することにより、これまでの固体撮像素子200に比べて、従感光領域120cにおける一部を実画素として配置することができる。したがって、固体撮像素子12aを使用すると、これまで信号処理により行ってきた仮想画素における画素データの予測算出が不要になるだけでなく、より正確な空間情報が得られる。この空間情報を用いることにより、得られる画像に生じる偽信号を低減し、画像の解像力を補間処理の限界を越えてより一層向上させることができる。
【００３２】
次に固体撮像素子12aを用いたディジタルカメラ10の構成について図６を参照しながら説明する。ディジタルカメラ10は、光学系14、撮像部12、前処理部16、信号処理部18、システム制御部20、操作部22、タイミング信号発生器24、ドライバ26、モニタ28およびストレージ30を含む。光学系14には、図示しないが、光学系レンズ、ズーム機構、絞り調節機構、オートフォーカス（AF: Automatic Focus)調節機構およびシャッタ機構が含まれている。
【００３３】
ズーム機構は、図示しないが被写界の画角を調整する。AF調節機構は、複数の光学レンズの配置を自動的に変位調節して被写体を焦点の合った位置関係に調節する機構である。機構のそれぞれには、上述した位置に光学レンズを移動させるためモータが配設されている。これらの機構は、各モータにドライバ26からそれぞれ供給される駆動信号26aに応動して動作している。
【００３４】
絞り調節機構は、具体的に図示しないが入射光量を調節するAE（Automatic Exposure）調節機構であり、ドライバ26からの駆動信号26bに応じてリング部を回転させる。リング部は、羽根を部分的に重ならせてアイリスの形状を丸く形成し、入射する光束を通すようにアイリスを形成する。このようにして絞り調節機構はアイリスの口径を変えている。絞り調節機構は、メカニカルシャッタをレンズシャッタとして光学系レンズに組み込んでもよい。
【００３５】
メカニカルシャッタは、撮像部12に撮影のとき以外に光が照射されないように遮光するとともに、露光の開始と終了により露光時間を決める機能を有している。メカニカルシャッタには、たとえば一眼レフカメラで使用されているようなフォーカルプレン式がある。この方式は、シャッタ幕が縦または横に走り、この瞬間にできるスリットで露光を行うものである。また、上述したようにレンズシャッタ式を用いてもよい。メカニカルシャッタは、ドライバ26から供給される駆動信号26cに応じてシャッタを開閉する。
【００３６】
撮像部12は、色フィルタが配された固体撮像素子12aおよび光学ローパスフィルタ12bを備えている。固体撮像素子12aは、前述した通りの機能を有する電荷結合素子（CCD: Charge Coupled Device)である。固体撮像素子12aにもドライバ26から駆動信号26dが供給されている。駆動信号26dは、固体撮像素子12aの動作モードに応じた水平駆動信号φH、垂直駆動信号φVおよびOFD（Over Flow Drain)信号等が供給される。光学ローパスフィルタ12bは、入射光の空間周波数をナイキスト周波数以下にするフィルタである。
【００３７】
本実施例で固体撮像素子12aは、静止画撮影モードの場合、図１の受光素子120から露光時に光電変換して生成した信号電荷を読出しゲートを介して垂直転送レジスタ122に読み出し、このレジスタ122に直交する方向、すなわち水平方向に配設された水平転送レジスタ（図示せず）に転送した信号電荷をラインシフトさせ、この後に水平転送する。信号電荷は、図示しないFDA（Floating Diffusion Amplifier)でQ/V変換される。固体撮像素子12aは、アナログ電圧信号12cを前処理部16に出力する。固体撮像素子12aは、前述した読出し順序で信号電荷を独立に読み出す。
【００３８】
また、動画撮影モードの場合、固体撮像素子12aは、受光素子120の各感光領域で蓄積した信号電荷を同時に垂直転送レジスタ122に読み出し、信号電荷を混合させてもよい。ただし、固体撮像素子12aにおける信号電荷読出しは、受光素子120の主感光領域120bと従感光領域120cに形成される色フィルタセグメントの色が同色の場合に限る。
【００３９】
これの動作に先立ち行われる測光モードの内、AEモードにおいて固体撮像素子12aには、システム制御部20に信号処理部18から供給される積算値が高輝度と判断したとき、従感光領域120cの信号電荷だけを読み出す駆動が施される。この場合、従感光領域120cにおける色フィルタセグメントの色は関係なく読み出される。
【００４０】
測光モードの中で、AF/AEモードにおける固体撮像素子12aは、垂直間引きにより読み出されるラインの奇数ラインと偶数ラインに応じて主感光領域120bと従感光領域120cに分けて感度の異なる情報を一度の信号電荷読出しで済む。さらに、ここで図示しないが、たとえば、水平転送レジスタを２本有する場合、水平ブランキング期間中にラインシフトして同色の信号電荷を混合する。この結果、固体撮像素子12aは、G正方RB完全市松パターンにおいて、たとえば同色同士を混合させる1/4の垂直間引きを行って信号電荷読出しの高速化を図っている。撮像部12は、Q/V変換されたアナログ信号12cを前処理部16に出力する。
【００４１】
前処理部16には、ノイズ除去に相関二重サンプリング（Correlated Double Sampling: CDS)回路、ゲイン調整アンプ（GCA: Gain Control Amplifier)、およびA/D変換器（Analog-to-Digital Converter)が含まれている。CDS回路には、タイミング信号発生器24からサンプリング信号としてCDSパルス24aが供給され、A/D変換器には、変換クロック信号24bが供給されている。前処理部16は、供給されるアナログ信号12cに対してノイズ除去、波形整形、ディジタル化を行って得られた撮像データのすべてをディジタルデータ16aとして信号処理部18に出力する。
【００４２】
信号処理部18は、図示しない信号発生回路、メモリ、ガンマ補正回路、評価値算出部、画素補間処理回路、色差マトリクス処理回路、および圧縮／伸長処理回路が含まれている。信号処理部18には、システム制御部20から制御信号20aが供給されている。信号処理部18の図示しない信号発生回路は制御信号20aに応動して動作する。信号発生回路は、複数の周波数を生成することができるPLL（Phase Locked Loop）回路を有している。信号発生回路は、源発の発振周波数を基準クロックとして逓倍して複数種類のクロック信号を生成し、図示しないがシステム制御部20およびタイミング信号発生器24に出力している。
【００４３】
一方、信号処理部18には、タイミング信号発生器24からタイミング信号24cが供給されている。このタイミング信号は、水平同期信号HD、垂直同期信号VDおよび後述する各部の動作クロック等を含んでいる。
【００４４】
メモリには、画像データ16aが入力され、一時的に記憶される。メモリには、一つの画像を撮影する場合、受光素子120の内、主感光領域120bから得られる画素データを格納するメモリと、従感光領域120cから得られる画素データを格納するメモリに対応するため２面分のメモリが含まれている。メモリでは、２面のメモリを用いて受光素子の位置を考慮した並べ替えが行われる。また、メモリは、繰り返し読出しを行う場合、不揮発性メモリを用いることが好ましい。
【００４５】
メモリには、動画撮影モードにおいて通常の場合と同様に垂直方向にたとえば、1/4間引きされた信号電荷から得られた画像データが供給される。メモリは、読出しに際してアスペクト比および信号読出しの高速化等を図るため水平方向に間引き読出しを行ってもよい。この場合も色配列パターンを崩さないように画像データの読出しが行われる。メモリは、記憶した画像データをガンマ補正回路に供給する。
【００４６】
また、ガンマ補正回路には、たとえばガンマ補正用のルックアップテーブルが含まれている。ガンマ補正回路は、画像処理における前処理の一つとして供給される画像データをテーブルのデータを用いてガンマ補正する。ガンマ補正回路は、ガンマ補正した画像データをそれぞれ評価値算出部および画素補間処理回路に供給する。
【００４７】
評価値算出部には、絞り値・シャッタ速度、ホワイトバランス（White Balance：以下、WBという）調整値および階調補正値を算出する演算回路が含まれている。評価値算出部は、上述した回路にて、供給される画像データを基に適切な各パラメータを演算処理により積算値を算出する。積算値18aは、パラメータとしてシステム制御部20に供給される。
【００４８】
なお、評価値算出部は、信号処理部18への配設に限定することなく、システム制御部20に配設するようにしてもよい。この場合、信号処理部18は、ガンマ補正した画像データをシステム制御部20に供給する。
【００４９】
画素補間処理回路は、画素データを補間生成して算出する機能を有している。撮像部12は単板の色フィルタを用いているため、実際の色フィルタセグメントの色以外の色が撮像素子から得られない。そこで、画素補間処理回路は、静止画撮影モードにおいて、この得られない色の画素データを補間により生成する。画素補間処理回路は、プレーンな画像データを色差マトリクス処理回路に供給する。
【００５０】
なお、画素補間処理回路は、生成した画素データを広帯域化する機能を含んでもよい。また、画素補間処理回路は、本実施例において固体撮像素子12aを撮像部12に用いているので、これまでの仮想画素の位置に対して行ってきた画素データの相関に基づく予測算出をなくすことができる。これにより、信号処理の負担を軽減することができる。画素補間処理回路は、純粋に三原色RGBに対する画素データの補間処理になる。この補間処理において、仮想画素に相当する画素データには、実際に検出された画素データでデータの信頼性がこれまで以上に高いので、重みを大きくすることが望ましい。
【００５１】
仮想画素位置の画素データは、従感光領域120cの開口領域128から実在情報として得られる。たとえば、この画素データが色Gまたは白色光（W)に対応していると、高域輝度データY_Hとして扱うことができ、画素補間処理回路では、周囲からの推定により生成した輝度データでなく、この高域輝度データY_Hを用いる。このように実際に得られた情報を用いることにより、推定により得られた輝度データに比べて仮想画素の位置における画素データの精度を高めることができる。色属性を有する画素データにおいても推定により得られる平均レベルに比べてデータのレベル精度を上げることができる。したがって、生成した画像のエッジや色境界等を正確に表現できるようになる。これは、解像度の向上および偽色の抑制効果に大いに貢献している。
【００５２】
色差マトリクス処理回路は、画素補間処理回路から供給される画像データと所定の係数を用いて輝度データYと色データCb, Crを生成する。生成した画像データは、圧縮／伸長処理回路に供給される。
【００５３】
圧縮／伸長処理回路は、静止画や動画（ムービ）モードにおいて供給される画像データ（Y/C）にJPEG（Joint Photographic coding Experts Group）やMPEG（Moving Picture coding Experts Group)-1, MPEG-2等の規格でそれぞれ、圧縮処理を施す。圧縮／伸長処理回路は、圧縮処理した画像データ18bをストレージ部30に送って記録する。圧縮／伸長処理部では、ストレージ部30に記録した画像データ18bを読み出して伸長処理が施される。この伸長処理は、圧縮処理の逆処理である。
【００５４】
また、信号処理部18は、生成した画像データや再生にともなって伸長した画像データ（Y/C）に対してRGB変換を行い、このRGB変換した画像データ18cをモニタ28に供給する。モニタ28は、図示しない表示コントローラにより供給される画像データ18cが表示デバイスにて動作することにより画像表示される。
【００５５】
信号処理部18は、画像データを外部の機器と入出力する場合、図示しないが外部I/F回路を配するとよい。外部I/F回路としては、たとえば、PIO (Programmed Input/Output)、UART (Universal Asynchronous Receiver/Transmitter：非同期シリアル通信用送受信回路)、USB（Universal Serial Bus)、IEEE1394規格（the Institute of Electrical and Electronics Engineers：米国電気電子技術者協会)に基づくインタフェース等がある。
【００５６】
PIOは、入出力をプログラムで変更することのできるインタフェース部である。UARTは、シリアル・インタフェースに用いられるデバイスである。このデバイスは、供給されるパラレル信号をシリアル信号に変換したり、シリアル・デバイスから送られるシリアル信号をパラレル信号に変換する機能を有している。IEEE1394規格のI/Fは、たとえば400Mbpsまでのデータ転送をサポートしている。
【００５７】
システム制御部20は、カメラ全体の汎用な部分やディジタル処理を行う部分を制御するマイクロコンピュータまたはCPU（Central Processing Unit）である。
システム制御部20は、操作部22から供給されるモード信号22aに応じてディジタルカメラ10を静止画撮影モードまたは動画撮影モードに設定する。システム制御部20は、この設定するモード信号22aと、図示しないレリーズシャッタボタンから撮像タイミングを報知するトリガ信号22bとを受けて、積算値18aに応じた制御信号20a, 20b, 20cをそれぞれ生成する。生成した制御信号20a, 20b, 20cは、それぞれ信号処理部18、タイミング信号発生器24およびドライバ26に供給される。
【００５８】
システム制御部20は、信号処理部18内におけるライン補間や信号発生回路に対する制御、および信号処理を行う上での制御をも考慮した制御信号20aを生成する。また、図示しないが、システム制御部20は、前処理部16、ストレージ30における読出し／書込み制御も行っている。
【００５９】
操作部22には、モード選択部およびレリーズシャッタボタンが含まれている。モード選択部は、静止画撮影モードと動画撮影モードのうち、いずれのモードにするかの選択を行う。モード選択部は、選択したモード信号22aをシステム制御部20に出力する。レリーズシャッタボタンは、２段階のストロークを有するボタンで、第１段のストロークでディジタルカメラ10を予備撮像の段階（S1)にし、第２段のストロークで本撮像の段階（S2)にするトリガ信号22bをシステム制御部20に出力する。操作部22には、この他、ズーム選択スイッチおよび十字ボタンを設けてもよく、液晶表示パネルに表示される条件を選択する機能を持たせてもよい。
【００６０】
タイミング信号発生器24は、信号処理部18から供給されるクロック信号（図示せず）を基準にシステム制御部20から供給される制御信号20bに応じてタイミング信号を生成する。タイミング信号は、垂直同期信号、水平同期信号、フィールドシフトパルス、垂直転送信号、水平転送信号および電子シャッタパルスならびにCDSパルス24aおよび変換クロック信号24b等がある。タイミング信号発生器24は、これら生成した垂直同期信号、水平同期信号、フィールドシフトパルス、垂直転送信号、水平転送信号および電子シャッタパルスを含むタイミング信号24dを動作に応じてそれぞれ、ドライバ26に供給し、CDSパルス24aおよび変換クロック信号24bを前処理部16に供給している。信号処理部18には、タイミング信号24cが供給されている。
【００６１】
ドライバ26は、供給されるタイミング信号24dや制御信号20cを基に駆動信号26a, 26b, 26c, 26dを生成する駆動回路を有している。ドライバ26は、制御信号20cを基に駆動信号26a, 26bを光学系14の光学レンズおよび絞り調節機構にそれぞれ供給してAF調節やAE調節を行わせる。ドライバ26は、レリーズシャッタボタンから供給される本撮像のタイミングに応動してメカニカルシャッタの開閉を行う駆動信号26cをメカニカルシャッタに出力する。また、ドライバ26は、タイミング信号24dを基に生成した駆動信号26dを固体撮像素子12aに供給し、各受光素子120の主感光領域120bと従感光領域120cに信号電荷を露光期間中に蓄積させ、蓄積した信号電荷を前述した条件に応じた制御により独立または同時に垂直転送レジスタ122に読み出して、水平転送レジスタに転送させ、さらに水平転送レジスタ、出力アンプを経てアナログ電圧信号12cを出力している。
【００６２】
モニタ28には、信号処理部18からの画像データ18cが供給される。モニタ28には、一般的に液晶モニタが用いられる。液晶モニタには、液晶表示コントローラが配設されている。液晶コントローラは、画像データ18cを基に液晶分子の並び方や電圧の印加によりスイッチング制御している。この制御により液晶モニタは、画像を表示する。モニタ28は、液晶モニタに限定されず、小型、画像の確認および電力の消費が抑えられる表示機器であれば十分に用いることができることは言うまでもない。
【００６３】
ストレージ30は、半導体メモリ等を記録媒体として用いて、信号処理部18から供給される画像データ18bを記録する。記録媒体には、光ディスクや光磁気ディスク等を用いてもよい。ストレージ30は、各記録媒体に適したピックアップやピックアップと磁気ヘッドを組み合わせて記録再生用ヘッドを用いてデータの書込み／読出しを行う。データの書込み／読出しは、図示しないがシステム制御部20の制御に応じて行われる。
【００６４】
このように構成して測光（AE/AF）モード、静止画撮影モードおよび動画撮影モードに応じて受光素子120における主感光領域120bの開口領域126に対して従感光領域120cの開口領域128を空間的に異なる仮想画素の位置に形成して信号電荷をそれぞれ独立または同時に読み出すことにより、これまでの画像生成における周辺の受光素子による画素データから推測して得られていた仮想画素の画素データを実際に光電変換して画素データを得ることができる。これにより、信号が有する空間情報の精度を高くすることができ、仮想画素の推測を不要にすることができる。このデータを使用して画像生成すると、高精細な画像生成にともなって発生する偽信号を低減させ、これまでよりも解像力を大幅に向上させることができる。
【００６５】
次にディジタルカメラ10の動作について説明する。ディジタルカメラ10のメインルーチンを図７に示す。電源を投入後、初期設定を行う。この後、撮影のモード選択を行う（ステップS10)。モード選択は、操作部22で静止画撮影モードと動画撮影（ムービ）モードのいずれか一方を選択する。選択結果は、モード信号22aとしてシステム制御部20に供給される。この選択後、スルー画表示に進む。
【００６６】
スルー画表示は、撮像部12からの画像データ12cを信号処理部18に供給して処理された画像データをモニタ28に表示する動作である（ステップS12)。この動作を行うため、システム制御部20によりタイミング信号発生器24およびドライバ26が制御される。制御は、AF調節、AE調節およびメカニカルシャッタの開状態にする。システム制御部20は、垂直間引きの駆動タイミングに応じて主感光領域120bと従感光領域120cに蓄積した信号電荷を同時に垂直転送レジスタ122に読み出して混合する。混合しても異色同士の混色にならないように主感光領域120bと従感光領域120cを覆う色フィルタセグメントは、同色にしている。混合読出しは、感光領域を分割していないこれまでの受光素子からの信号読出しと同じである。
【００６７】
色フィルタの配列にG正方RB完全市松パターンを用いる場合、垂直間引きしても同じパターン関係を得るために、たとえば1/3垂直間引きや1/4垂直間引きが行われる。すなわち、前者の垂直間引きは、３ライン中から１ラインを読み出す混合のない間引きであり、後者の垂直間引きは、４ライン毎に現れる同色のライン関係を考慮して混合を考慮した処理である。撮像部12は、入射光を光電変換し、タイミング信号26dのタイミングに応動し1/3垂直間引きする。信号電荷は、FDAを経てアナログ信号12cにして前処理部16に出力する。
【００６８】
信号処理部18は、前処理部16で変換された画像データ16aをメモリに取り込む。メモリでは、動画として水平方向にも間引いて読み出す。この垂直および水平方向に間引きされた画像がモニタ28に供給される。スルー画表示を行いながら、動作の判断に進む（ステップS14へ)。
【００６９】
次にディジタルカメラ10が静止画撮影モードにあるか否か判断する（ステップS14)。システム制御部20では、モード選択の結果から判断を行う。静止画撮影モードが選択されている場合（YES)、静止画撮影に進む（サブルーチンSUB1へ）。また、静止画撮影モードが選択されていない場合（NO）、動画撮影が選択されているか否かの判断に進む（ステップS16へ)。
【００７０】
この判断は、前述した静止画撮影における判断の場合と同様にシステム制御部20で行う。動画撮影が選択されている場合（YES)、動画撮影に進む（サブルーチンSUB2）。また、動画撮影が選択されていない場合（NO）、このままの状態、すなわちスルー画表示に進む（ステップS18へ)。
【００７１】
静止画撮影（サブルーチンSUB1）や動画撮影（サブルーチンSUB2）が終了した後もスルー画表示に進む（ステップS18へ)。ディジタルカメラ10は、前述したように撮像部12で撮像した被写界をモニタ28に表示させる。
【００７２】
そして、システム制御部20では、操作部22における何等かのキーが操作されたとき、操作されたキーが操作部22のいずれに対応しているかを判断する（ステップS20)。キーがモード選択に対応している場合（YES)、モード変更と判断して、モード選択処理に戻る（ステップS10へ)。また、キーがモード選択に対応していないまたは所定の時間にわたってキー操作が行われなかった場合（NO)、ディジタルカメラ10の動作を終了するか否かの判断に進む（ステップS22へ)。
【００７３】
次に終了の判断を行う（ステップS22)。終了しない場合（NO）、モード情報として前の撮影モードを保持して静止画撮影の判断に戻り、処理を繰り返す（ステップS14へ)。ここで、待機時間を越えて何もディジタルカメラ10におけるキー操作が行われなかったとき、撮影モードは保持したまま、スルー画表示を停止して待機モードに自動的に移行するようにしてもよい。また、終了する場合（YES)、電源をオフにしてディジタルカメラ10の動作を終了する。
【００７４】
次にディジタルカメラ10における静止画撮影モードの動作を図８に示すサブルーチンSUB1を参照しながら説明する。操作部22のレリーズシャッタボタンが半ストローク（または１段目まで）操作される（S1：オン；サブステップSS10）。次にシステム制御部20では、この操作に応動したトリガ信号22bを受けて新たに撮像部12の駆動を行う制御信号20a, 20b, 20cを生成する（サブステップSS12）。制御信号20bが供給されるタイミング信号発生器24は、垂直間引きを行って読み出されるラインのそれぞれが奇数ラインおよび偶数ラインのいずれかに対応してそれぞれ、主感光領域120bと従感光領域120cから信号電荷を読み出すようにタイミング信号24dを生成し、ドライバ26に供給する。ドライバ26は、駆動信号26dを撮像部12の固体撮像素子12aに供給される。これにより、撮像部12では、制御信号20bに応じて制御され、垂直間引きをしながら、ライン毎に感度の異なる情報を一度に読み出される。
【００７５】
撮像部12の駆動により得られた測光用のアナログ電圧信号12cをディジタル化した画像データ16aを基にAF/AEの制御を行う（サブステップSS12）。信号処理部18は、供給される画像データ16aを用いて評価値算出部でAF調節・AE調節のパラメータを生成する。信号処理部18は、パラメータとしての積算値18aをシステム制御部20に供給する。
【００７６】
システム制御部20では、供給された積算値18aに応じた制御信号20a, 20b, 20cが生成され、制御信号20b, 20cがタイミング信号発生器24およびドライバ26にそれぞれ、供給される。システム制御部20は、供給された積算値18aと所定の積算値とを比較し、測光によって高輝度と判断された場合、各受光素子120の従感光領域120cだけから信号電荷を読み出すように制御信号20bを生成する。
【００７７】
ドライバ26は、制御信号20cおよびタイミング信号24dを考慮してAF/AE調節の駆動信号26a, 26b, 26cを光学系14における光学レンズのズーム機構、絞り調節機構およびメカニカルシャッタの駆動機構にそれぞれ供給する。
【００７８】
なお、AF/AE調節用に別途用意したセンサを用いて得られた情報に基づいてAF/AE制御を行うようにしてもよい。また、S1の操作は、一回に限定されるものでなく、図示しないが本撮像が開始されるまでS1の操作が行われた際に前述の処理を繰り返すことは言うまでもない。
【００７９】
操作部22のレリーズシャッタボタンが全ストローク（または２段目まで）操作される（S2：オン；サブステップSS14）。次にシステム制御部20では、この操作に応動したトリガ信号22bを受けて撮像部12に対して本撮像を行うように制御して、露出を開始する（サブステップSS16）。ドライバ26から供給される駆動信号30cによりメカニカルシャッタを開く。システム制御部20は、供給された積算値18aから露光時間の制御も行う。
【００８０】
次にシステム制御部20では、設定した露出時間が経過して露出完了か否かを判断する（サブステップSS18）。露出完了の場合（YES)、露出完了の処理に進む（サブステップSS20へ）。また、露出が完了していない場合（NO）、露出を継続させ、露出完了の判断を繰り返す（サブステップSS18へ）。
【００８１】
露出完了時には、露出完了処理が施される（サブステップSS20）。この制御として、システム制御部20の制御に応動してドライバ26から供給される駆動信号26cにより露出完了後にメカニカルシャッタを閉じる。これにより、撮像部12は遮光状態にする。撮像部12は、まず、入射光量に応じて光電変換され、得られた信号電荷を感光領域毎に垂直転送レジスタ122に読み出す（全画素読出し：サブステップSS22）。信号電荷読出しは、飽和量の減衰を考慮して主感光領域120bからの読出しを優先し、次に従感光領域120cからの読出しを行う。読み出した信号電荷は、垂直転送、水平転送が順次行われ、アナログ電圧信号12cに変換されて前処理部16に供給される。前処理部16では、アナログ電圧信号12cがディジタル信号に変換される。前処理部16は、画像データ16aとして信号処理部18のメモリに出力する。接続子Aを介して図９の処理に進む（サブステップSS24へ）。
【００８２】
次にメモリには、感光領域毎に全画素読出しした信号電荷から得られた画素データが格納される（サブステップSS24）。すなわち、メモリには、主感光領域120bに対応する画素データと従感光領域120cに対応する画素データとが格納される。メモリは、２面分の容量を有している。従感光領域120cからの画素データは、これまで推測によってしか得られなかった仮想画素の位置からの実データである。
【００８３】
次に保存した画像データを用いて信号処理を行う（サブステップSS26）。信号処理部18では、画像データに対してガンマ補正、画素補間処理、マトリクス処理および圧縮処理を順次施す。特に、画素補間処理において従感光領域120cから得られた画像データは、仮想画素位置における輝度データY_Hとして用いる。周囲の画素データから加算平均して算出した輝度データY_Hに比べて実際に得られた輝度データY_Hは高いレベル精度と信頼性を有している。
【００８４】
圧縮処理後の画像データ18bは、ストレージ30に供給され、記録される（サブステップSS28）。ほぼ同時に、信号処理部18では、圧縮前の画像データから間引いた画像データをモニタ28に供給して表示するようにしてもよい。
【００８５】
次にディジタルカメラ10が連写の指示を受けているか否かの判断を行う（サブステップSS30）。すなわち、操作部22のレリーズシャッタボタンが連続してS2のストローク状態に押し込まれているかを判断する。連写する場合（YES)、接続子Bを介してたとえば、図８に示したAF/AE制御に戻り（サブステップSS12へ）、前述の各処理を繰り返す。単写の場合（NO）、静止画撮影モードを終了するかの判断処理に進む（サブステップSS32へ）。
【００８６】
なお、連写の有無に関する判断は、便宜上、記録完了後にしているが、撮像部12からのデータ読出しが完了していれば、次の露光を開始してもよい。
【００８７】
静止画撮影モードにおける動作を終了するか否かの判断を行う（サブステップSS32）。静止画撮影モードを継続する場合（NO）、接続子Cを介して図８に示した最初の処理、サブステップSS10に戻ってこれまでの処理を繰り返す。また、静止画撮影モードを終了する場合（YES)、リターンに移行してサブルーチンSUB1を終了する。
【００８８】
このように動作させることにより、仮想画素の位置から実データが得られるので、周囲の画素データを用いて相関判定処理を行い、相関がある場合、相関方向の画素データの加算平均により推定して、算出する仮想画素のデータに比べて高いレベル精度での情報を獲得することができる。
【００８９】
この関係を簡単に図10を参照して説明する。図10(a)に示す被写体40がある。被写体40は、クロスハッチングで示す黒領域40aと白領域40bが斜め右上がりに階段状の境界40cにより分かれている。この被写体40を本実施例のディジタルカメラ10で静止画撮影すると、被写体40と固体撮像素子12aの受光素子120における主感光領域120bおよび従感光領域120cは、図7(b)に示す関係にある。受光素子120の主感光領域120bは大きな実線の円、従感光領域120cは小さな実線の円で表している。
【００９０】
静止画撮影により、たとえば、黒領域40aの従感光領域120cがレベル0になり、白領域40bの従感光領域120cがレベル1になる。このとき、たとえば、境界40cにおける従感光領域120Aは、実際に読み出した画素データからレベル0になる。従感光領域120Aに対して斜め左下の従感光領域120cもレベル0である。境界40cの近傍に位置する従感光領域120Aのような仮想画素に対しては、境界40cを介して斜めに隣接する２つの受光素子（実画素）120からの画素データを用いて加算平均をとって、仮想画素の推定レベルを求めてきた。しかしながら、本実施例では従感光領域120cが仮想画素の位置における画素データとして得られるから、このような演算が不要になる。したがって、図10(c)に示す画像42が得られる。画像42は、ほぼ忠実に被写体40を再現する画像になっている。
【００９１】
これに対して、これまでのいわゆるハニカム配列画素による仮想画素の位置におけるレベル算出において、最初にこれまでの相関判定処理を用いて行うと、水平および垂直方向に相関がないことが判る。このとき、この仮想画素のレベルは、周囲４つの実画素の加算平均により算出する。仮想画素レベルに対する推定算出の結果は、0.5になる。白黒の場合、仮想画素レベル0.5は、グレイに対応している。この結果、図10(d)に示す画像44が得られる。画像44は、仮想画素の位置に対応してハッチングで示すグレイの領域44aが境界40cの近傍に形成される。グレイの領域44aの形成は、べた潰れを含む画像になり、画像の解像度を低下させてしまう。
【００９２】
本実施例では、画像にハイライト白飛びのような斜めの境界があっても、グレイ領域を形成せずに、正確な輪郭を表現することができる。カラー画像での色表現においても従感光領域120cを有効に利用することにより、色の偽信号を減少させることができ、色解像度を向上させることができる。
【００９３】
次にディジタルカメラ10における動画撮影モードの動作について図11のサブルーチンSUB2を参照しながら、説明する。動画撮影は、すでに前述したスルー画表示の状態で行われている。このことからサブルーチンSUB2では、動画撮影モードに移行した際に、まずAF/AEの制御を行う（サブステップSS200)。AF/AEの測光は、システム制御部20により静止画撮影モードの場合と同様に垂直間引きを行いながら、異なる感度の画素データ（情報）をライン毎に読み出すように制御される。
【００９４】
そして、ユーザが所望するタイミングで操作部22のレリーズシャッタボタンを全ストローク分押圧操作する（S2の状態：サブステップSS202）。システム制御部20では、この操作に応動したトリガ信号22bを受けて撮像部12に対して動画用の本撮像を行うように制御し、露出を開始する（サブステップSS204）。この制御として、システム制御部20の制御に応動してドライバ26から供給される駆動信号26cによりメカニカルシャッタの開放状態を維持して、露出開始まで電子シャッタパルスを所定の期間毎に供給して信号電荷を掃き出す。そして、ドライバ26は、駆動信号26dにより電子シャッタをオフ、すなわちシャッタを開状態にして露光を開始する。システム制御部20は、供給された積算値18aから露光時間の制御も行う。
【００９５】
システム制御部20にて露光時間が経過したか否かの判断を行う(サブステップSS206）。露光時間の経過が完了していない場合（NO)、この判断を繰り返す。また、露光時間が経過したと判断した場合（YES)、露光完了処理に進む（サブステップSS208へ）。
【００９６】
露光完了処理は、システム制御部20からドライバ26を制御して駆動信号26dを撮像部12に供給し、信号電荷を垂直転送レジスタ122に読み出す（サブステップSS208)。このときの信号電荷読出しは、主感光領域120bと従感光領域120cの両方に蓄積した信号電荷を同時に読み出して混合させてもよいし、主感光領域120bだけから読み出すようにしてもよい。また、静止画撮影モードでも行ったように測光した輝度データが所定の値に比べて高いと判断されている場合、従感光領域120cだけから信号電荷を読み出すようにしてもよい。
【００９７】
垂直転送レジスタ122に読み出した信号電荷を水平転送レジスタ（図示せず）に向けて、たとえば1/4間引きの駆動を行い、同色関係のライン同士による垂直混合を行う（転送：サブステップSS210)。さらに、信号電荷は、水平ブランキング期間中にラインシフトして水平転送レジスタに移される。この信号電荷は、水平転送レジスタ内を水平転送され、アナログ電圧信号12cに変換されて前処理部16に供給される。前処理部16では、アナログ電圧信号12cがディジタル信号16aに変換される。前処理部16は、画像データ16aとして信号処理部18のメモリに出力する。そして、受光素子120に対応した画像データ16aが、信号処理部18のメモリに保存される。
【００９８】
次に保存した画像データ16aを用いて信号処理を行う（サブステップSS212）。信号処理部18では、まず、メモリに格納した画像データ16aは、図１の固体撮像素子12aを用いた場合、たとえば水平方向に1/3間引きして読み出される。信号処理部18では、この画像データ16aに対してガンマ補正、画素補間処理、マトリクス処理および圧縮処理を順次施す。画素補間処理は、静止画撮影モードの場合と異なり、これまでのハニカム画素配列の場合と全く同じ手順で行う。ただし、仮想画素に対する補間処理はすでに得られているから行わない。また、圧縮処理は、MPEG-1, MPEG-2等の規格に応じて行われる。
【００９９】
圧縮処理後の画像データ18bは、ストレージ30に供給され、記録される（サブステップSS214）。ほぼ同時に、信号処理部18では、圧縮前の画像データから水平間引きされた画像データをモニタ28に供給して表示するようにしてもよい。
【０１００】
次に動画撮影モードを終了させるか否かの判断を行う（サブステップSS216）。再び操作部22のレリーズシャッタボタンが全ストローク分の押圧操作されるかまたは記録容量がなくなった場合（YES)で、システム制御部20は、トリガ信号22bの受信やシステム制御部20内での容量検出結果に応じて終了させる制御信号20a, 20b, 20cをそれぞれ出力する。このとき、ストレージ30への動画記録は終了させるが、スルー画表示を継続させてもよい。終了の判断に応じてリターンに移行してサブルーチンSUB2を終了する。また、動画記録を継続する場合（NO)、露光完了か否かの判断に戻り（サブステップSS206）、前述した処理を繰り返す。
【０１０１】
このように受光素子120の感光領域を分割形成し、撮影モードや露出条件に応じて蓄積した信号電荷を読み出して、信号処理部18にて色フィルタセグメントの色配列パターンを考慮して水平間引きした際に得られる画像データが色フィルタの色配列パターンになるように読み出すことにより、動画撮影を所定の規格タイミングに合わせて行うことができる。
【０１０２】
なお、前述した水平間引きは、上述したように均等な水平間引きに限定されるものでなく、不均等な水平間引きを行うように固体撮像素子12aを形成してもよい。
【０１０３】
以上のように構成することにより、受光素子120の感光領域を分離部120aで主感光領域120bと従感光領域120cに分割形成し、従感光領域120cを仮想画素の位置を含むように延長形成し、主感光領域120bと従感光領域120cとに対する開口領域126, 128を形成するように遮光膜124で覆うことにより、主感光領域120bに対する実画素だけでなく、仮想画素の位置における実画素として開口領域128での空間情報を得ることができる。さらに、主感光領域120bと従感光領域120cに蓄積した信号電荷の読出しは、主感光領域120bと従感光領域120cに対してそれぞれ形成した読出しゲートを介して垂直転送レジスタ122に読み出すことができる。
【０１０４】
本実施例の固体撮像素子12aを用いたディジタルカメラ10では、信号処理部18においてこれまでのハニカム画素配列に応じて行ってきた仮想画素の位置における画素データの推定を省略することができ、信号処理の負担を軽減することができる。また、仮想画素を実画素にすることにより、演算を行うことなく、斜め方向の境界も正確に再現することができるようになる。このような画像の再現において偽信号の発生を低減させることができ、実質的に解像力を向上させることができる。
【０１０５】
AF/AEの測光モードにおいて、垂直間引きにより読み出すラインの奇数と偶数に対応してそれぞれ、主感光領域120bと従感光領域120cから読み出すように制御すると、一度の測光で感度の異なるラインが得られる。ここで、この２ラインを１ラインとしてみなすと、広ダイナミックレンジ化が可能になる。また、AEにおいて高輝度な画像と判断した場合、色フィルタセグメントの配列パターンに関係なう、従感光領域120cからの信号電荷だけを読み出すことで、画像が飽和量に達して白潰れ等の発生を防止することが容易にできる。
【０１０６】
受光素子120は、感光領域が分割されているが、たとえば、動画撮影モードにおいて異色混合が生じないように垂直混合を行って信号電荷読出しの高速化にも大いに寄与することができる。
【０１０７】
また、静止画撮影モードでの受光素子120からの信号電荷読出しにおいて、遮光後の飽和量の減衰を考慮して主感光領域120bからの読出しを優先し、次に従感光領域120cから読み出すことにより、蓄積した信号電荷を正確に読み出すことができ、正確な画像再現性に寄与することができる。
【０１０８】
本実施例の固体撮像素子12aを適用したディジタルカメラ10は、仮想画素の位置に簡易的に受光素子を形成されているので、信号処理部18での画素補間処理による仮想画素の位置における画素データの推定を行うことなく、得られた仮想画素の位置における画素データとして主感光領域120bの空間情報と異なる空間情報を得ることができる。この画素データを用いると、画像にハイライト白飛びのような斜めの境界があっても、グレイ領域を形成せずに、正確な輪郭を表現することができる。カラー画像での色表現においても従感光領域120cを有効に利用することにより、色の偽信号を減少させることができ、色解像度を向上させることができる。
【０１０９】
また、上述した推定処理にともなう演算の省略は、信号処理の負担を軽減し、消費電力の省電力化にも貢献することができる。
【０１１０】
【発明の効果】
このように本発明の固体撮像装置によれば、一つの受光素子でありながら、同一の位置における受光でなく、第１および第２の開口領域が実画素と仮想画素とそれぞれ異なる位置における受光をもたらし、第１および第２の開口領域を介してそれぞれ、主感光領域と従感光領域での光電変換により実画素と仮想画素での信号電荷を生成して異なる空間情報を得ることができる。また、システム制御手段による制御に応じてタイミング信号生成手段を動作させて主感光領域と従感光領域に蓄積した信号電荷を独立にまたは同時に読み出すタイミング信号を生成させ、駆動信号生成手段による固体撮像素子の駆動により、固体撮像素子における各受光素子の主感光領域と従感光領域に形成された開閉手段を独立にまたは同時に開閉して蓄積した信号電荷を読み出し、特に、独立に読み出す制御が固体撮像素子に施されると、一度の露出により信号処理を行うことなく、実画素と仮想画素の情報が得ることができる。そして、主感光領域だけを読み出す制御が行われると、これまでの静止画撮影と同じ情報が得られる。このように得られた信号電荷を有効に利用することにより、画像に発生する偽信号を抑制することができ、より一層画像の解像力を向上させることもできる。
【０１１１】
また、本発明の固体撮像素子によれば、一つの受光素子の感光領域を主感光領域と従感光領域に分割し、入射光が入射する側の垂直転送手段および受光素子を遮光し、受光素子における第１開口領域および仮想画素を含む位置まで延長形成された従感光領域における第２開口領域を形成することにより、一つの受光素子でありながら、第１および第２の開口領域が実画素と仮想画素とそれぞれ異なる位置における受光を受けることができる。また、第１および第２の開口領域を介してそれぞれ、主感光領域と従感光領域での光電変換により実画素と仮想画素での信号電荷を生成して異なる空間情報を得ることができる。主感光領域と従感光領域に対して開閉手段をそれぞれ形成することにより、主感光領域と従感光領域から垂直転送手段への蓄積した信号電荷の独立にまたは同時読出しを行うことができ、この信号電荷を利用することにより、画像に発生する偽信号を抑制することができ、解像力を向上させることもできる。
【図面の簡単な説明】
【図１】本発明の固体撮像素子を適用した電荷結合素子型におけるハニカム画素配列された受光素子の配置関係を示す入射光側から見た要部正面図である。
【図２】図１の受光素子を覆う遮光膜と受光素子のそれぞれに形成される開口領域の位置関係を説明する入射光側から見た要部正面図である。
【図３】図２の固体撮像素子を破断線II-IIに沿った断面図である。
【図４】図２の固体撮像素子に色フィルタセグメントおよびマイクロレンズを形成する位置関係を説明する入射光側から見た要部正面図である。
【図５】本発明の固体撮像素子に対する比較例として部分的に示したハニカム画素配列による固体撮像素子を説明する図である。
【図６】本発明の固体撮像装置を適用したディジタルカメラの概略的な構成を示す図である。
【図７】図６のディジタルカメラにおける動作手順を説明するメインフローチャートである。
【図８】図７の静止画撮影モードにおける動作手順を説明するフローチャートである。
【図９】図８の動作手順に続くフローチャートである。
【図１０】図６のディジタルカメラにおいて斜め方向に境界を有する画像の再現を説明する図である。
【図１１】図７の動画撮影モードにおける動作手順を説明するフローチャートである。
【符号の説明】
10 ディジタルカメラ
12 撮像部
12a 固体撮像素子
12b 光学ローパスフィルタ
14 光学系
16 前処理部
18 信号処理部
20 システム制御部
22 操作部
24 タイミング信号発生器
26 ドライバ
120 受光素子
120a 分離部
120b 主感光領域
120c 従感光領域
122 垂直転送レジスタ
126, 128 開口領域

Claims

入射光を信号電荷に変換する２次元アレイ状に配設された受光素子と、前記受光素子で変換した信号電荷を垂直方向に転送する複数の垂直転送手段と、前記複数の垂直転送手段に対して直交する水平方向に転送された信号電荷を転送する水平転送手段とを含み、
前記受光素子のそれぞれに対する垂直方向および水平方向に配する素子間隔をピッチとし、互いに隣接する受光素子がほぼ半ピッチずらして配設され、前記垂直転送手段を水平方向に配設された受光素子の間に形成し、互いに前記隣接する受光素子に対して１列ずつ迂回させた固体撮像装置において、該装置は、
実際に配設されている受光素子で囲まれた領域のほぼ中心に、前記入射光を通す従開口領域を遮光膜に形成し、前記受光素子の一つに対して前記入射光を光電変換する感光領域が複数に分割され、該感光領域のうち、相対的に広い面積を有する主感光領域と前記従開口領域にまで延びる遮光された従感光領域とが形成され、前記主感光領域に対応した第１開口領域と前記従感光領域における前記従開口領域に対応する第２開口領域を除いて、前記垂直転送手段および前記受光素子に対する遮光が施され、そして、前記主感光領域および前記従感光領域のそれぞれから独立にまたは同時に前記信号電荷を読み出す開閉機能を有する開閉手段が形成された固体撮像素子と、
該開閉手段に対する駆動を独立または同時に行わせるタイミング信号を生成するタイミング信号生成手段と、
該タイミング信号を駆動信号にして前記固体撮像素子に出力する駆動信号生成手段と、
該装置に対する操作に応動して前記タイミング信号生成手段を制御するシステム制御手段とを含むことを特徴とする固体撮像装置。
請求項１に記載の装置において、前記固体撮像素子は、前記受光素子と前記入射光を集光する集光手段の間に前記入射光を色分解する色フィルタセグメントが配設され、第２開口領域における色フィルタセグメントの色を、すべて緑色、透明および第１開口領域における色フィルタセグメントの色と同色のいずれか一つに対応させていることを特徴とする固体撮像装置。
請求項１または２に記載の装置において、第１開口領域は、前記感光領域に対して規定する開口率に関して第２開口領域の開口率より大きいことを特徴とする固体撮像装置。
請求項１、２または３に記載の装置において、該装置は、前記入射光を集光する集光手段を、第１開口領域および第２開口領域それぞれの大きさに応じて形成されることを特徴とする固体撮像装置。
請求項２に記載の装置において、前記システム制御手段は、第１および第２開口領域の色フィルタセグメントの色属性が同一で、所定の時間毎に撮像する動画撮影のモード設定に応じて前記主感光領域と前記従感光領域とで生成した信号電荷を混合して読み出す制御を前記タイミング信号生成手段に施すことを特徴とする固体撮像装置。
請求項１または２に記載の装置において、前記システム制御手段は、前記固体撮像素子への前記入射光を測光し、所定の輝度の値より大きい測光値の検出に応じて前記従感光領域だけから前記信号電荷を読み出す制御を前記タイミング信号生成手段に施すことを特徴とする固体撮像装置。
請求項１、２、５または６に記載の装置において、前記システム制御手段は、前記入射光の測光を行う予備撮像において前記主感光領域からの読出しを行うラインと前記従感光領域からの読出しを行うラインを指定する制御を前記タイミング信号生成手段に施すことを特徴とする固体撮像装置。
請求項１、２、３または４に記載の装置において、前記システム制御手段は、前記入射光から静止画を撮像する静止画モードにおける前記受光素子のそれぞれに蓄積された信号電荷を前記主感光領域、次に前記従感光領域の順に読み出す制御を前記タイミング信号生成手段に施すことを特徴とする固体撮像装置。
請求項１ないし８のいずれか一項に記載の装置において、前記固体撮像素子は、第１開口領域および第２開口領域それぞれに前記入射光を集光する集光手段が形成されていることを特徴とする固体撮像装置。
入射光を信号電荷に変換する２次元アレイ状に配設された受光素子と、前記受光素子で変換した信号電荷を垂直方向に転送する複数の垂直転送手段と、前記複数の垂直転送手段に対して直交する水平方向に転送された信号電荷を転送する水平転送手段とを含み、
前記受光素子のそれぞれに対する垂直方向および水平方向に配する素子間隔をピッチとし、互いに隣接する受光素子がほぼ半ピッチずらして配設され、前記垂直転送手段を水平方向に配設された受光素子の間に形成し、互いに前記隣接する受光素子に対して１列ずつ迂回させた固体撮像素子において、該素子は、
実際に配設されている受光素子で囲まれた領域のほぼ中心に、前記入射光を通す従開口領域を遮光膜に形成し、前記受光素子の一つに対して前記入射光を光電変換する感光領域が複数に分割され、該感光領域のうち、相対的に広い面積を有する主感光領域と前記従開口領域にまで延びる遮光された従感光領域とが形成され、前記主感光領域に対応した第１開口領域と前記従感光領域における前記従開口領域に対応する第２開口領域を除いて、前記垂直転送手段および前記受光素子に対する遮光が施され、
前記感光領域のそれぞれから独立にまたは同時に前記信号電荷を読み出す開閉機能を有する開閉手段とが形成されていることを特徴とする固体撮像素子。
請求項10に記載の固体撮像素子において、前記固体撮像素子は、前記受光素子と前記入射光を集光する集光手段の間に前記入射光を色分解する色フィルタセグメントが配設され、第２開口領域における色フィルタセグメントの色を、すべて緑色、透明および第１開口領域における色フィルタセグメントの色と同色のいずれか一つに対応させていることを特徴とする固体撮像素子。
請求項10または11に記載の固体撮像素子において、第１開口領域は、前記感光領域に対して規定する開口率に関して第２開口領域の開口率より大きいことを特徴とする固体撮像素子。
請求項10、11または12に記載の固体撮像素子において、該固体撮像素子は、前記受光素子のそれぞれに対して第１開口領域および第２開口領域それぞれに前記入射光を集光する集光手段が配設されることを特徴とする固体撮像素子。
請求項13に記載の固体撮像素子において、前記集光手段は、第１開口領域および第２開口領域それぞれの大きさに応じて形成されることを特徴とする固体撮像素子。