JP5124549B2 - 固体撮像素子の動画像信号読出方法及び撮像装置 - Google Patents

Description

本発明は、単板式カラー画像撮像用の固体撮像素子から動画像信号を読み出す方法及び撮像装置に関する。

近年の固体撮像素子は多画素化が進展し、１千万画素以上を搭載するのが普通になってきている。これに伴い、微細化された１画素の飽和電荷量が小さくなり、高感度撮影が困難となり、また、ダイナミックレンジの広い画像を撮像するのも困難になってきている。

そこで、図１３に示す様に、奇数行の画素に対して偶数行の画素を１／２画素ピッチだけずらして配列し、奇数行，偶数行の一方の画素（奇数行の画素だけみると画素配列は正方格子配列となり、偶数行の画素だけみても画素配列は正方格子配列となる。）にＲＧＢのカラーフィルタをベイヤ配列し、奇数行，偶数行の他方の画素にもＲＧＢ（上のベイヤ配列と区別するためｒｇｂと小文字で表記する。）のカラーフィルタをベイヤ配列した固体撮像素子が使用される様になっている。

この様な画素配列，カラーフィルタ配列とすることで、斜めに隣接する２画素が同色画素となり、この２画素の同色画素の信号を加算することで、高感度撮影が可能となり、この２画素の同色画素の一方の露光時間を他方の露光時間と変えて両信号を加算すれば、広ダイナミックレンジの撮影が可能となり、各画素の信号を個別に読み出して画像を再生すれば高精細画像の撮影が可能となる。

上述した図１３のカラーフィルタ配列を持つ従来技術として、ＣＣＤ型固体撮像素子を開示する下記の特許文献１，２や、ＣＭＯＳ型固体撮像素子を開示する特許文献３がある。

特開２００９―６０３４２号公報 特開２００４―５５７８６号公報 特開２００７―１２４１３７号公報

高精細な静止画像を撮影するために、固体撮像素子の多画素化は進展したが、静止画像と同じ高精細なままで動画像を撮影するのはフレームレート的に無理がある。そこで、固体撮像素子上の離散的な位置の画素の信号だけを読み出し（所謂、間引き読み出し）、その中の近接する同色画素の信号を加算して高感度化を図り、静止画像より縮小した動画像を生成することが行われる。

高精細な静止画像が撮影できる撮像装置で、動画像を撮影したとき、その動画像の精細感が足りないと、ユーザの支持を得ることができない。このため、図１３に示す画素配列，カラーフィルタ配列を持つ固体撮像素子で、どの様な間引き読み出し、加算処理を行えば、精細感のある動画像データを得ることができるか課題となっている。

本発明の目的は、図１３に例示する画素配列，カラーフィルタ配列を持つ固体撮像素子から精細感のある動画像データを読み出す読出方法及び撮像装置を提供することにある。

本発明の固体撮像素子の動画像信号読出方法は、半導体基板表面部に正方格子状に配列形成された複数の画素で構成され原色系の赤フィルタ，緑フィルタ，青フィルタがベイヤ配列された第１画素群と、該第１画素群と重なる領域の前記半導体基板表面部に正方格子状に配列形成された複数の画素で構成され原色系の赤フィルタ，緑フィルタ，青フィルタがベイヤ配列される共に前記第１画素群の各々の画素に対して垂直方向，水平方向共に１／２画素ピッチだけずれた位置に画素を有する第２画素群とを備える固体撮像素子の動画像信号読出方法であって、前記固体撮像素子の連続する奇数行及び偶数行の計２行の画素行を信号読出領域にすると共に該信号読出領域を連続する所定画素行数の非読出領域と交互に設定し、奇数番目の前記非読出領域の前記垂直方向上側と下側にある２つの前記信号読出領域から所定数個の赤フィルタを搭載した同色画素であって該同色画素の赤色重心位置が該非読出領域内となる信号を読み出すと共に該信号読出領域から緑フィルタを搭載した同色画素であって該同色画素の緑色重心位置が前記赤色重心位置と同一行となる信号を読み出し、偶数番目の前記非読出領域の前記垂直方向上側と下側にある２つの前記信号読出領域から所定数個の緑フィルタを搭載した同色画素であって該同色画素の緑色重心位置が該非読出領域内となる信号を読み出すと共に該信号読出領域から青フィルタを搭載した同色画素であって該同色画素の青色重心位置が該緑色重心位置と同一行となる信号を読み出し、前記赤色重心位置と前記緑色重心位置と前記青色重心位置の配列がベイヤ配列となる前記信号を動画像信号として読み出すことを特徴とする。

本発明の撮像装置は、上記記載の固体撮像素子と、上記記載の動画像信号読出方法を実行する撮像素子駆動手段とを備えることを特徴とする。

本発明によれば、画素間引／画素加算したときの同色画素の重心位置の色配列がベイヤ配列となるため、精細感の高い動画像データを得ることができる。

本発明の一実施形態に係る撮像装置の機能ブロック構成図である。 図１に示すＣＣＤ型固体撮像素子の表面模式図である。 図２に示すＣＣＤ型固体撮像素子のカラーフィルタ配列を示す図である。 図３のカラーフィルタ配列のうち、動画像データを読み出す画素部分（読出領域）だけを例示した図である。 図４に示す読出領域の画素のうちの４つ同色画素の画素加算について説明する図である。 図５に示す画素加算を行う場合のＣＣＤ型固体撮像素子の垂直電荷転送路の読出／駆動方法を説明する図である。 図６に連続するラインメモリ，水平電荷転送路の駆動方法を説明する図である。 図６に代わる実施形態の垂直電荷転送路の読出／駆動方法を説明する図である。 図８に連続するラインメモリ，水平電荷転送路の駆動方法を説明する図である。 図５に代わる画素加算方法を説明する図である。 図１０に示す画素加算を行う場合のＣＣＤ型固体撮像素子の垂直電荷転送路の読出／駆動方法を説明する図である。 図１１に連続するラインメモリ，水平電荷転送路の駆動方法を説明する図である。 本発明の適用する画素配列，カラーフィルタ配列の一例を示す図である。

以下、本発明の一実施形態について、図面を参照して説明する。

図１は、本発明の一実施形態に係る撮像装置（図示する例は動画撮影機能付デジタルスチルカメラ。以下、デジタルカメラという。）の機能ブロック図である。

このデジタルカメラ２０は、撮像部２１と、撮像部２１から出力されるアナログの画像データを自動利得調整（ＡＧＣ）や相関二重サンプリング処理（ＣＤＳ）等のアナログ処理するアナログ信号処理部２２と、アナログ信号処理部２２から出力されるアナログ画像データをデジタル画像データに変換するアナログデジタル変換部（Ａ／Ｄ）２３と、後述のシステム制御部（ＣＰＵ）２９からの指示によってＡ／Ｄ２３，アナログ信号処理部２２，撮像部２１の駆動制御を行う駆動部（タイミングジェネレータＴＧを含む）２４と、ＣＰＵ２９からの指示によって発光するフラッシュ２５とを備える。

撮像部２１は、被写界からの光を集光する光学レンズ系２１ａと、該光学レンズ系２１ａを通った光を絞る絞りや静止画像撮像時に用いるメカニカルシャッタ２１ｂと、光学レンズ系２１ａによって集光され絞りによって絞られた光を受光し撮像画像データ（アナログ画像データ）を出力する単板式カラー画像撮像用のＣＣＤ型固体撮像素子１００とを備える。なお、ＣＭＯＳ型固体撮像素子も使用可能である。

本実施形態のデジタルカメラ２０は更に、Ａ／Ｄ２３から出力されるデジタル画像データを取り込みホワイトバランス補正，ＲＧＢ／ＹＣ変換処理，後述する第１画素群，第２画素群の各検出信号の合成処理，１画素位置のＲＧＢ３色の信号を周りの信号から補間演算して求める同時化処理等を行うデジタル信号処理部２６と、画像データをＪＰＥＧ形式などの画像データに圧縮したり逆に伸長したりする圧縮／伸長処理部２７と、メニューなどを表示したりスルー画像や撮像画像を表示する表示部２８と、デジタルカメラ全体を統括制御するシステム制御部（ＣＰＵ）２９と、フレームメモリ等の内部メモリ３０と、ＪＰＥＧ画像データ等を格納する記録メディア３２との間のインタフェース処理を行うメディアインタフェース（Ｉ／Ｆ）部３１と、これらを相互に接続するバス４０とを備え、また、システム制御部２９には、ユーザからの指示入力を行う操作部３３が接続されている。

ユーザ操作部３３は、撮影モードを静止画像撮影モードとするか動画像撮影モードとするかの指示スイッチや、ダイナミックレンジのレンジ幅指示ボタン、シャッタレリーズボタン等を備える。ＣＰＵ２９は、ユーザ操作部３３からの入力内容に従って固体撮像素子１００の駆動制御を撮像素子駆動部２４を介して行う。

図２は、固体撮像素子１００の表面模式図である。本実施形態のデジタルカメラ２０では、固体撮像素子１００として、画素が市松状に配列された所謂ハニカム画素配列のＣＣＤ型固体撮像素子を用いている。

半導体基板の表面部には複数の画素（光電変換素子：フォトダイオードＰＤ）１０１が二次元アレイ状に配列形成されている。そして、奇数行の画素行に対して偶数行の画素行が１／２画素ピッチずらして形成されている。

偶数行（または奇数行）の画素（第１画素群）だけを見てみれば、各画素（光電変換素子）は正方格子配列されており、この正方格子配列に対して、カラーフィルタ（Ｒ＝赤，Ｇ＝緑，Ｂ＝青）がベイヤ配列されている。また、奇数行（または偶数行）の画素（第２画素群）だけ見れば、各画素は正方格子配列されており、この正方格子配列に対して、カラーフィルタ（ｒ＝赤，ｇ＝緑，ｂ＝青）がベイヤ配列されている。

大文字のＲＧＢと小文字のｒｇｂは、色として同じであるが、第１画素群と第２画素群とを区別しやすくするために使い分けているだけである。以下、Ｒフィルタを搭載した画素をＲ画素，Ｇフィルタを搭載した画素をＧ画素，……，ｂフィルタを搭載した画素をｂ画素という。

この結果、本実施形態の固体撮像素子１００のカラーフィルタ配列は、図１３と同じになり、図３に示す様に、第１画素群と第２画素群とが半導体基板の表面部の同じ領域に重ねてかつ斜め方向に１画素分だけずらして配列される。

なお、図３では、Ｇフィルタが右斜め上方向に延びる配列となっているが、第１画素群と第２画素群とを重ね合わせ１／２画素ピッチだけ水平方向，垂直方向にずらす方向を変えると、Ｇフィルタは左斜め上方向に延びる配列となる。この配列でも、本発明の各実施形態は適用可能である。

図２に戻り、各画素列に沿って、垂直電荷転送路（ＶＣＣＤ）１０２が各画素１０１を避けるように蛇行して形成され、各垂直電荷転送路１０２の転送方向端部に沿って、水平電荷転送路（ＨＣＣＤ）１０３が設けられ、水平電荷転送路１０３の出力部に、転送されてきた電荷の電荷量に応じた電圧値信号を撮像データとして出力するアンプ１０４が設けられている。

本実施形態では、各垂直電荷転送路１０２の転送方向端部と水平電荷転送路１０３との間に、各垂直電荷転送路対応のバッファ領域を持つラインメモリ１０５が設けられている。

このラインメモリ１０５は、例えば特開２００２―１１２１１９号公報に記載されている様に、各垂直電荷転送路１０２から受け取り一時保持した信号電荷を水平電荷転送路１０３に移すときのタイミングを取ることで、同色信号電荷の水平電荷転送路１０３上での画素加算を容易に行うことが可能となる。

また、１つの垂直電荷転送路１０２上に同色の信号電荷が連続する信号読出駆動が行われた場合には、該当のバッファ領域で複数の信号電荷を受け取ることで、ラインメモリ１０５上での画素加算が可能となる。

図２の左側に記載したＶ１〜Ｖ８は垂直電荷転送路１０２を構成する転送電極Ｖ１〜Ｖ８のパルス印加パッドを示しており、例えば転送電極Ｖ１，Ｖ５に読出パルスが印加されると、第１群画素Ｒ，Ｇ，Ｂの蓄積電荷が転送電極（読出電極兼用）Ｖ１，Ｖ５下の電位パケット内に読み出され、電極Ｖ３，Ｖ７に読出パルスが印加されると、第２群画素ｒ，ｇ，ｂの蓄積電荷が転送電極（読出電極兼用）Ｖ３，Ｖ７下の電位パケット内に読み出される。図２に示す例は８相駆動の場合であるが、１６相駆動，３２相駆動などでの駆動方法も可能である。

なお、「水平」，「垂直」という用語を用いて説明しているが、これは、半導体基板表面に沿う「１方向」，「この１方向に略直角な方向」という意味に過ぎない。

斯かる固体撮像素子１００を用いて高精細な静止画像を撮影する場合には、個々の画素の検出信号を個別に取得して被写体画像を再生すればよく、高感度撮影を行う場合には、斜めに隣接する同色画素の信号を加算することで明るい画像を得ることができ、広ダイナミックレンジの画像を撮影する場合には、第１画素群と第２画素群の露光時間を変えて同時に露光し、斜めに隣接する同色画素の信号を加算すれば良い。

次に、動画像データの生成方法について述べる。動画像データは、静止画像を撮影するための各画素のうち、必要な画素だけを間引読出し、その中から同色画素を加算することで生成する。

図４は、本実施形態で動画像データを生成するために画素間引きを行った画素位置を示す図であり、ＲＧＢｒｇｂと記載している画素を利用して動画像データを生成し、空白で示す画素については信号を読み出さずに動画像データとして利用しない。

即ち、連続する２行の画素行（信号読出領域）を利用し、次に連続する２行の画素行（非読出領域）は利用せずに次の連続する２行の画素行を利用し、を繰り返し、図４に示す例では、全画素の１／２を利用して動画像データを生成する。この結果、利用しない夫々の非読出領域（この例では２行分づつ）４５，４６，４７，４８がそれぞれ第１画素群（ＲＧＢ）及び第２画素群（ｒｇｂ）の２行の画素行（信号読出領域）で挟まれた状態となる。そして、各画素列では、同色画素（ｇ画素、Ｒ画素、ｂ画素、Ｇ画素）だけが並ぶことになる。

この様にして画素間引きを行い、次に、同色４画素の信号を混合加算することで、動画像データを生成する。図５に示す○付きＲ，Ｇ，Ｂは、周囲４画素の同色画素を混合加算したときの４画素の重心位置を示す。非読出領域４５の上２画素と下２画素の計４画素のＲ画素を混合加算した重心位置は、非読出領域４５内に重心位置が来て、加算信号はこの重心位置のＲ信号となる。

加算対象とする４つのＲ画素に隣接する４つのＧ画素を加算した重心位置は、非読出領域４５内のＲ重心位置（○付きＲ）の隣の位置に来て、混合加算画素Ｇの信号となる。非読出領域４７内も同様であるが、図面が錯綜するので、非読出領域４７内には混合加算画素Ｒ，Ｇだけを○付きＲ，Ｇで示す。

上述したＲ画素とＧ画素の加算対象４画素は、いずれも第１画素群のＲ画素，Ｇ画素を利用しているが、次の非読出領域４６，４８では、第２画素群のｇ画素，ｂ画素を用いて混合加算を行う。非読出領域４６内に加算先を示す矢印を図示すると図が煩雑になるため混合加算画素Ｇ，Ｂだけを○付きで示し、非読出領域４８にだけ加算先を示す矢印を図示する。

以上の４画素混合加算により、使用する画素の全てを利用して動画像データを生成することができたことになる。この結果、○付きのＲ，Ｇ，Ｂ画素の配列を見ると、非読出領域４５，４７に重心位置がくる信号色はＲＧＲＧ…と並び、非読出領域４６，４８に重心位置がくる信号色はＧＢＧＢ…と並ぶことになる。

重心位置の色配列（○付きＲＧＢ）は、垂直方向，水平方向のピッチに若干のズレは生じているが、基本的にベイヤ配列となる。ベイヤ配列は、垂直方向，水平方向の精細感が同じとなるため、この加算画素ＲＧＢを用いて動画像データとし、該動画像データを同時化処理して各重心位置におけるＲＧＢ３色の信号を得、精細感のある動画像を得ることができる。

図５で説明した「画素間引」「画素加算」による信号読出は、ＣＭＯＳ型固体撮像素子であればＸＹ走査によって任意画素の信号を読み出せるため、読み出した後の信号を画像処理によって加算すればいいが、本実施形態の固体撮像素子はＣＣＤ型であるため、固体撮像素子内で混合加算読み出しする駆動手順を以下に説明する。

図６は、垂直電荷転送路１０２（本来は図２に示す様に蛇行して形成される垂直電荷転送路であるが、図６では直線状に記載している。また、図２では８相駆動の電極配線を図示しているが、図６では１６相駆動で垂直電荷転送路を駆動する例を示している。）内で２画素を混合加算して転送し、次に、図７に進み、ラインメモリ１０５と水平電荷転送路１０３を用いて２画素＋２画素＝４画素の混合加算を行う。

図５に示す例の画素間引きでは、左端の１列目の画素はｇ画素だけとなり、このｇ画素を２画素づつ垂直電荷転送路内で加算する。２列目の画素はＲ画素だけとなり、このＲ画素を２画素づつ垂直電荷転送路内で加算し、３列目の画素はｂ画素だけとなるためこのｂ画素を２画素づつ垂直電荷転送路内で加算し、４列目の画素はＧ画素だけとなるためこのＧ画素を２画素づつ垂直電荷転送路内で加算し、……を同時並行的に行う。

先ず、図６に示す様に、奇数列に並ぶ同色画素，偶数列の並ぶ同色画素のうち１つ置きの信号電荷を、１回目の読出パルスによって夫々の垂直電荷転送路に読み出す。そして次に、１回目の信号電荷を収納した電位パケット位置が、１回目に読み出さなかった画素位置に来るまで垂直電荷転送路を垂直方向に転送し、２回目の信号読出を行う。これにより、垂直電荷転送路上で、同色２画素の画素加算が行われる。以後、垂直電荷転送路の転送を繰り返す。なお、図６では、加算対象とする同色２画素を点線で囲っている。

この様にして垂直電荷転送路の転送を行うと、図７（ａ）に示す様に、各垂直電荷転送路には、２画素加算された信号電荷が転送されてくる。これを１ライン分だけラインメモリ１０５に転送する。そして、先ず、Ｇ信号電荷だけを水平加算して４画素加算を行い、次にＢ信号電荷の水平４画素加算を行う。これにより、図５で説明した４画素混合加算（○付き）ＧＢＧＢ…ラインが完了し、このＧＢ信号電荷を水平転送してアンプ１０４から撮像画像信号として出力する。

次に、残りのＲＧラインについても同様の動作を行うことで、４画素混合加算ＲＧＲＧ…ラインのアンプ１０４からの出力を行う。

この様に、本実施形態の固体撮像素子から読み出された動画像データはベイヤ配列となり、例えばＧストライプ配列の場合と比べて垂直方向，水平方向共にＧ信号が市松配列され同画素数となるため、輝度解像度が向上し、精細感が向上する。

同時に、各垂直電荷転送路内には１色の信号電荷しか配置されないため、垂直電荷転送路に転送不良が発生しても、色回りによる縦筋が目立つこともなくなり、固体撮像素子の製造歩留まりを向上させることができる。

また、同色（原色）同士のみの加算であるため、高い色再現性を保つことができ、更に、奇数ラインに位置する画素と偶数ラインに位置する画素において、露光，蓄積時間が等しいという特徴がある。つまり色毎に露光時間が同じであるため、電子シャッタを用いて露光時間を調整する際のホワイトバランス調整が容易になるという効果もある。

なお、非読出領域の各画素に蓄積されている信号電荷は、信号読出領域の各信号を読み出した後、半導体基板に電子シャッタ（ＯＦＤパルス）を印加することで、半導体基板に廃棄される。

図８，図９は、別実施形態に係るＣＣＤ型固体撮像素子の駆動方法を説明する図である。本実施形態でも、図５で説明した画素間引きと画素加算を行う。図６，図７の違いは、垂直電荷転送路と水平電荷転送路，ラインメモリの駆動方法にある。

本実施形態の駆動方法では、図８に示す様に、１６相駆動の垂直電荷転送路をあたかも８相であるかのように扱い、駆動する。まず、奇数列の読み出し動作を行い、非読出領域以外の全画素から垂直電荷転送路に信号を読み出す。この際、垂直方向の画素加算は垂直電荷転送路内では行わない。

次に、垂直転送を行い、偶数列の対応画素位置まで信号電荷を入れた電位パケットを移動させる。そして次に偶数列の読み出し動作を行うことで、各画素からの信号読出動作が完了する。その後に、垂直転送とラインメモリ，水平電荷転送路の動作を繰り返し行うことで、水平電荷転送路上において４画素加算を行い、順次出力していく。

図９（ａ）（ｂ）は、水平画素加算動作の手順を模式的に示した図である。まず、垂直転送動作を行い、信号１ライン分をラインメモリに転送する。この際、垂直電荷転送路を８相と見なして動作させるため、ラインメモリには１画素分の信号電荷のみが入る。

次に、再度、垂直転送動作を行う。このときＧＢ行についてはラインメモリ内にて垂直２画素の混合加算が行われる。一方、ＲＧ行については、１画素分の信号が入っている状態である（図８に示す様に、偶数列の最初の信号電荷は、加算対象とする電荷ではないため無効と見なされるため）。

そして、ラインメモリ１０５から水平電荷転送路に、ラインメモリ上で２画素加算された信号電荷を転送し、水平電荷転送路内で２画素＋２画素＝４画素の画素混合を行うことでＧＢラインの水平画素加算を行い、このＧＢ行の信号出力を行う。

次に、垂直転送を行うと、今度は、ＲＧ行の垂直２画素加算がラインメモリ内で行われることになる。そして、上記と同様にして、ＲＧ行の水平４画素加算を行い、ＲＧ行の信号出力を行う。その後、再びＧＢ行の画素加算動作を行い、以後、順次、ＧＢ行，ＲＧ行の信号出力を行う。

このように、本実施形態の駆動方法は、垂直電荷転送路を８相駆動と見なし、ラインメモリ内で互い違いに垂直加算を行う点に特徴がある。

本実施形態でも、図６，図７で説明した実施形態と同様の効果を得ることができ、更に、垂直電荷転送路を８相駆動と見なす動作を行うことで、一度の垂直転送動作での転送段数が少なくて済むという特徴がある。これにより、垂直転送効率が向上し、歩留まりが更に向上する。

図１０は、図５に代わる別実施形態に関する画素加算位置を説明する図である。画素間引きする画素位置は図４と同じであり、Ｒ画素，Ｂ画素については、画素加算する４画素位置は図５と同じであるため、加算先を示す矢印の図示は省略し、４画素混合した後の重心位置だけを○付きＲ，Ｂで示している。

本実施形態では、４画素加算するＧ画素の位置を図５と変えており、図１０に示す様に、非読出領域を挟み該非読出領域に最隣接する画素行である第１画素群と第２画素群の近隣４画素を加算することとしている。

図５では、Ｇ画素を加算する４画素は、○付きＲＧラインでは全て第１画素群に属し、○付きＧＢラインでは全て第２画素群に属している。しかし、図１０の実施形態では、第１画素群に属する２画素と、第２画素群に属する２画素とを加算する構成としている。

第１画素群に属する２つのＧ画素に対し、これに加算する第２画素群に属する２つのｇ画素は、水平方向に１／２画素ピッチだけずれた位置になっている。また、図５の実施形態と比較して、加算する４画素のうち下側の２つの画素の位置は、垂直方向に１／２画素ピッチだけずれた位置になっている。

この結果、本実施形態の４画素加算後の重心位置は、図５の実施形態と比較して垂直方向，水平方向共に１／２画素ピッチだけずれた位置となる。この結果、本実施形態の４画素加算後の重心位置の色配列は、図５と同じくベイヤ配列になるが、加算後のＧ画素の重心配列ピッチが等間隔になっている。これにより、本実施形態の動画像データは、更に輝度解像度が増す。

図１１，図１２は、図１０の画素加算を実現するＣＣＤ型固体撮像素子の駆動方法を説明する図である。本実施形態では、Ｒ画素とＢ画素の加算する４画素の配列は図５と同じであるが、Ｇ画素の加算対象とする４画素の位置が異なっている。このため、Ｇ画素については、同じ垂直電荷転送路内の信号電荷同士を加算することはしない。図１１の垂直電荷転送路への信号電荷の読出順序及び転送順序は、図８と同じである。

図１２は、水平加算の動作方法を模式的に示した図である。まず、垂直転送動作を行い、信号１ライン分をラインメモリに転送する。この際、垂直電荷転送路を８相と見なして動作させるため、ラインメモリには１画素分の信号電荷のみが入っている（図１２（ａ））。

次に、Ｇ信号電荷のみラインメモリへの転送動作を行う。そして、Ｇ信号電荷を水平電荷転送路内で移動させ、更に垂直転送を行う。このとき、ラインメモリ内にてＢ信号電荷の垂直２画素加算が行われる。

そして、Ｇ信号電荷のみラインメモリへの転送動作を行う。このとき、水平電荷転送路内にてＧ信号電荷の水平２画素加算が行われる。その後、Ｇ信号電荷，Ｂ信号電荷の水平２画素加算を行い、信号加算動作を完了してアンプ１０４からＧＢラインの加算信号を出力する。

次に、上述と同様にして、ＲＧラインの加算動作を行い、加算後のＲＧラインの信号を出力する。この様な動作を繰り返すことで、ＲＧライン，ＧＢラインの繰り返しで構成される動画像データが固体撮像素子から出力される。

このように、本実施形態では、Ｒ信号電荷とＢ信号電荷については同じ垂直電荷転送路上で画素加算する一方、Ｇ信号電荷については同じ垂直電荷転送路上の画素加算はせずに、ラインメモリと水平電荷転送路を利用して４画素加算を行う。

本実施形態によれば、上述した実施形態と同様の効果が得られる他に、画素加算後のＧ画素の重心配列が完全に等間隔となり、動画像の解像度を更に向上させることができる。

以上述べた実施形態では、図４に示す様に全画素のうち連続する２行を信号読出領域、次の連続する２行を非読出領域とする画素間引きを行っているが、読出領域は連続２行、非読出領域を連続ｎ行（ｎ＝３，４，…）としても、４画素加算後の加算重心配列をベイヤ配列にすることができる。

ｎ＝偶数であれば、上述した実施形態と同様に、１つの垂直電荷転送路に同色の信号電荷しか読み出されることがないが、ｎ＝奇数とすると、１つの垂直電荷転送路に異なる色の信号電荷が転送されることになるので、転送効率の高いＣＣＤ型固体撮像素子を用いるのが好ましい。

しかし、ＣＭＯＳ型であれば、ｎ＝奇数であってもｎ＝偶数であっても、転送効率は問題なく、読み出した後に画像処理で画素加算すれば良い。

また、上述した実施形態では、信号読出領域に含まれる画素の全画素を利用して動画像データを生成したため、加算後の重心位置の色配列ピッチにズレが生じたが、加算後の重心位置の色配列ピッチが等間隔となるように加算対象とする画素を信号読出領域から選択することでも良い。

この場合、信号読出領域内の画素のうち信号を利用しない画素が生じるため、ＣＣＤ型であれば少し複雑な駆動方法となる。しかし、ＣＭＯＳ型であれば信号読出が自由なため問題なく実現できる。更に、実施形態では４画素加算についてだけ述べたが、６画素加算（上下３画素づつ），８画素加算（上下４画素づつ），…を行うことも可能であることはいうまでもない。

この様な場合でも、本実施形態の固体撮像素子は、画素配列，カラーフィルタ配列が、第１画素群，第２画素群共にベイヤ配列のため、画素行単位の２行以上の画素間引きを行っても、非読出領域の上下同数の同色画素を利用して画素加算を行えば、容易にベイヤ配列となる動画像データを得ることができる。

以上述べた様に、本実施形態による固体撮像素子の動画像信号読出方法は、半導体基板表面部に正方格子状に配列形成された複数の画素で構成され原色系の赤フィルタ，緑フィルタ，青フィルタがベイヤ配列された第１画素群と、該第１画素群と重なる領域の前記半導体基板表面部に正方格子状に配列形成された複数の画素で構成され原色系の赤フィルタ，緑フィルタ，青フィルタがベイヤ配列される共に前記第１画素群の各々の画素に対して垂直方向，水平方向共に１／２画素ピッチだけずれた位置に画素を有する第２画素群とを備える固体撮像素子の動画像信号読出方法であって、前記固体撮像素子の連続する奇数行及び偶数行の計２行の画素行を信号読出領域にすると共に該信号読出領域を連続する所定画素行数の非読出領域と交互に設定し、奇数番目の前記非読出領域の前記垂直方向上側と下側にある２つの前記信号読出領域から所定数個の赤フィルタを搭載した同色画素であって該同色画素の赤色重心位置が該非読出領域内となる信号を読み出すと共に該信号読出領域から緑フィルタを搭載した同色画素であって該同色画素の緑色重心位置が前記赤色重心位置と同一行となる信号を読み出し、偶数番目の前記非読出領域の前記垂直方向上側と下側にある２つの前記信号読出領域から所定数個の緑フィルタを搭載した同色画素であって該同色画素の緑色重心位置が該非読出領域内となる信号を読み出すと共に該信号読出領域から青フィルタを搭載した同色画素であって該同色画素の青色重心位置が該緑色重心位置と同一行となる信号を読み出し、前記赤色重心位置と前記緑色重心位置と前記青色重心位置の配列がベイヤ配列となる前記信号を動画像信号として読み出すことを特徴とする。

また、実施形態の固体撮像素子の動画像信号読出方法は、前記赤色重心位置と前記緑色重心位置と前記青色重心位置の配列がベイヤ配列となるように前記信号を読み出すとき各重心位置が等間隔となる前記同色画素を前記信号読出領域から選択することを特徴とする。

また、実施形態の固体撮像素子の動画像信号読出方法は、前記固体撮像素子がＣＭＯＳ型であることを特徴とする。

また、実施形態の撮像装置は、上記記載のＣＭＯＳ型固体撮像素子と、上記記載の動画像信号読出方法で該ＣＭＯＳ型固体撮像素子の各画素から信号を読み出す撮像素子駆動手段と、該ＣＭＯＳ型固体撮像素子から読み出された信号を用いて前記同色画素の信号を加算し被写体の動画像を生成する信号処理手段とを備えることを特徴とする。

また、実施形態の固体撮像素子の動画像信号読出方法は、前記固体撮像素子がＣＣＤ型であることを特徴とする。

また、実施形態の固体撮像素子の動画像信号読出方法は、前記非読出領域の所定画素行数が偶数であることを特徴とする。

また、実施形態の固体撮像素子の動画像信号読出方法は、前記信号を画素列毎に設けられた垂直電荷転送路に読み出し該垂直電荷転送路内で同色２画素の混合加算を行うことを特徴とする。

また、実施形態の固体撮像素子の動画像信号読出方法は、垂直電荷転送路と、水平電荷転送路と、該垂直電荷転送路と該水平電荷転送路の間に設けたラインメモリとで前記信号の混合加算を行うことを特徴とする。

また、実施形態の撮像装置は、上記記載のＣＣＤ型固体撮像素子と、上記記載の動画像信号読出方法で前記ＣＣＤ型固体撮像素子を駆動する撮像素子駆動手段と、前記ＣＣＤ型固体撮像素子から出力された信号に基づき被写体の動画像を生成する信号処理手段とを備えることを特徴とする。

以上述べた実施形態によれば、画素間引／画素加算したときの同色画素の重心位置の色配列がベイヤ配列となるため、精細感の高い動画像データを得ることができる。

本発明に係る固体撮像素子の動画像信号読出方法は、静止画像撮像用の高精細な撮像画像から画素間引き／画素加算を行って動画像用の縮小画像を生成するときに色配列がベイヤ配列となる縮小画像データを得ることができ、精細感の高い動画像データを得ることができる。このため、デジタルスチルカメラ，デジタルビデオカメラ，カメラ付携帯電話機，カメラ付電子装置，監視カメラ，内視鏡，車載カメラ等に適用すると有用である。

２０ 撮像装置
２１ 撮像部
２４ 駆動部（撮像素子駆動手段）
２６ デジタル信号処理部
４５，４６，４７，４８ 非読出領域
１００ ＣＣＤ型固体撮像素子
１０１ 画素
１０２ 垂直電荷転送路（ＶＣＣＤ）
１０３ 水平電荷転送路（ＨＣＣＤ）
１０４ 出力アンプ
１０５ ラインメモリ
Ｒ，ｒ 赤色フィルタ
Ｇ，ｇ 緑色フィルタ
Ｂ，ｂ 青色フィルタ
ＲＧＢ 第１画素群のカラーフィルタ
ｒｇｂ 第２画素群のカラーフィルタ

Claims (9)

1. 半導体基板表面部に正方格子状に配列形成された複数の画素で構成され原色系の赤フィルタ，緑フィルタ，青フィルタがベイヤ配列された第１画素群と、該第１画素群と重なる領域の前記半導体基板表面部に正方格子状に配列形成された複数の画素で構成され原色系の赤フィルタ，緑フィルタ，青フィルタがベイヤ配列される共に前記第１画素群の各々の画素に対して垂直方向，水平方向共に１／２画素ピッチだけずれた位置に画素を有する第２画素群とを備える固体撮像素子の動画像信号読出方法であって、
   前記固体撮像素子の連続する奇数行及び偶数行の計２行の画素行を信号読出領域にすると共に該信号読出領域を連続する所定画素行数の非読出領域と交互に設定し、
   奇数番目の前記非読出領域の前記垂直方向上側と下側にある２つの前記信号読出領域から所定数個の赤フィルタを搭載した同色画素であって該同色画素の赤色重心位置が該非読出領域内となる信号を読み出すと共に該信号読出領域から緑フィルタを搭載した同色画素であって該同色画素の緑色重心位置が前記赤色重心位置と同一行となる信号を読み出し、
   偶数番目の前記非読出領域の前記垂直方向上側と下側にある２つの前記信号読出領域から所定数個の緑フィルタを搭載した同色画素であって該同色画素の緑色重心位置が該非読出領域内となる信号を読み出すと共に該信号読出領域から青フィルタを搭載した同色画素であって該同色画素の青色重心位置が該緑色重心位置と同一行となる信号を読み出し、
   前記赤色重心位置と前記緑色重心位置と前記青色重心位置の配列がベイヤ配列となる前記信号を動画像信号として読み出す固体撮像素子の動画像信号読出方法。
2. 請求項１に記載の固体撮像素子の動画像信号読出方法であって、前記赤色重心位置と前記緑色重心位置と前記青色重心位置の配列がベイヤ配列となるように前記信号を読み出すとき各重心位置が等間隔となる前記同色画素を前記信号読出領域から選択する固体撮像素子の動画像信号読出方法。
3. 請求項１又は請求項２に記載の固体撮像素子の動画像信号読出方法であって、前記固体撮像素子がＣＭＯＳ型である固体撮像素子の動画像信号読出方法。
4. 請求項３に記載のＣＭＯＳ型固体撮像素子と、請求項３に記載の動画像信号読出方法で該ＣＭＯＳ型固体撮像素子の各画素から信号を読み出す撮像素子駆動手段と、該ＣＭＯＳ型固体撮像素子から読み出された信号を用いて前記同色画素の信号を加算し被写体の動画像を生成する信号処理手段とを備える撮像装置。
5. 請求項１又は請求項２に記載の固体撮像素子の動画像信号読出方法であって、前記固体撮像素子がＣＣＤ型である固体撮像素子の動画像信号読出方法。
6. 請求項１乃至請求項５のいずれかに記載の固体撮像素子の動画像信号読出方法であって、前記非読出領域の所定画素行数が偶数である固体撮像素子の動画像信号読出方法。
7. 請求項６に記載の固体撮像素子の動画像信号読出方法であって、前記信号を画素列毎に設けられた垂直電荷転送路に読み出し該垂直電荷転送路内で同色２画素の混合加算を行う固体撮像素子の動画像信号読出方法。
8. 請求項５乃至請求項７のいずれかに記載の固体撮像素子の動画像信号読出方法であって、垂直電荷転送路と、水平電荷転送路と、該垂直電荷転送路と該水平電荷転送路の間に設けたラインメモリとで前記信号の混合加算を行う固体撮像素子の動画像信号読出方法。
9. 請求項５乃至請求項８のいずれかに記載のＣＣＤ型固体撮像素子と、請求項５乃至請求項８のいずれかに記載の動画像信号読出方法で前記ＣＣＤ型固体撮像素子を駆動する撮像素子駆動手段と、前記ＣＣＤ型固体撮像素子から出力された信号に基づき被写体の動画像を生成する信号処理手段とを備える撮像装置。

Images