JP3880374B2 - Method for driving solid-state imaging device and imaging apparatus - Google Patents
Method for driving solid-state imaging device and imaging apparatus Download PDFInfo
- Publication number
- JP3880374B2 JP3880374B2 JP2001341147A JP2001341147A JP3880374B2 JP 3880374 B2 JP3880374 B2 JP 3880374B2 JP 2001341147 A JP2001341147 A JP 2001341147A JP 2001341147 A JP2001341147 A JP 2001341147A JP 3880374 B2 JP3880374 B2 JP 3880374B2
- Authority
- JP
- Japan
- Prior art keywords
- charge
- transfer path
- pixel
- charges
- read
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Solid State Image Pick-Up Elements (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Color Television Image Signal Generators (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、例えば、デジタルカメラ、ムービーカメラなどの撮像装置に用いられる固体撮像素子の駆動方法及び撮像装置に関する。
【０００２】
【従来の技術】
近年、いわゆる電子スチルカメラやムービーカメラなどの撮像装置において、従来の動画専用の撮像素子に代わり、静止画・動画兼用の撮像素子が多く用いられている。このような静止画・動画兼用の撮像素子は、静止画像を極めて高精細に撮影する目的で、従来の動画専用の撮像素子に較べて、画素数が著しく多く設定されたいわゆる多画素撮像素子が用いられている。
【０００３】
そこで、このような多画素撮像素子で静止画像を撮影すると、従来の動画専用の撮像素子で撮影した静止画像に較べて、非常に緻密で高品位の、例えばＡ４サイズで印刷しても十分に鑑賞に堪えうる高画質画像を得ることができる。反面、このような多画素撮像素子でそのまま動画を撮影しようとすると、画素数が多すぎるため、動画を構成する１コマ分の画像の読み出しにかかる時間が長くなり、滑らかな動画を得ることが難しくなる。この点、撮像素子そのものの動作速度や撮像素子の周辺回路の動作速度を高速化して対処する構成が考えられるが、このような高速化は著しいコストの上昇を招き、現実的ではない。
【０００４】
そこで、通常、多画素撮像素子を用いる場合、静止画像の撮影時には全画素の画素信号を個別に読み出すが、動画像の撮影時には、一部の画素の信号を間引いて読み出す構成が採用されている。そして、固体撮像素子として、多画素のＣＣＤ(電荷結合素子、charge coupled device)撮像素子すなわちＣＣＤイメージセンサであるいわゆるＣＣＤを用いる場合には、間引きの手法として、基本的には、垂直方法、すなわち、水平ラインを特定の割合で間引く手法が、現在一般的に採用されている。
【０００５】
ここで、ＣＣＤは、画素を構成するフォトダイオードが２次元の格子状に配置されて撮像面を構成し、この撮像面上に光学系により結像された画像を、画素ごとの光の強弱に応じて各フォトダイオードに蓄積される電荷量の大小を信号として取り出す方式の撮像素子である。そして、信号電荷は、１画素分ずつ順番にＣＣＤ内部の出力回路へと送られ、１つの電荷電圧変換器により電荷信号量が電圧変化の信号へと変換された後、ＣＣＤの外部へと出力される。そして、このように各画素の信号電荷を出力回路へと導く動作を転送と称している。そして、２次元の長方形状に配置された画素の信号電荷を順番に出力回路へ転送する方式として一般的に行われている手法は、いわゆる垂直転送と水平転送とを組み合わせた手法である。ここで、撮像画面の上下方向を垂直、左右方向を水平とした場合、垂直転送とは、全ての画素の信号電荷を一斉に垂直方向でしかも上記の出力回路方向へ転送する動作であり、水平転送とは、上記の一段分の垂直転送により水平転送路へ送り込まれた垂直方向の最端部、すなわち最も出力回路に近い部分にあった１水平ライン分の信号電荷を、水平方向でしかも上記の出力回路方向へ一斉に転送する動作である。この時、水平転送路内の最端部、すなわち最も出力回路に近い部分にあった１画素分の信号電荷が、電荷電圧変換器へ送り込まれる。このように、水平転送を繰り返して水平転送路内の全ての信号電荷が電荷電圧変換され、出力が終了して水平転送路が空になると、再度上記の垂直転送が行われる。そして、次の垂直方向の最端部にある１水平ライン分の信号電荷が再び水平転送路へと送られた後、同様に水平転送により順に出力回路へと送られ出力される。このようにして、全画素の信号電荷の一斉垂直転送、水平転送路上の信号電荷の一斉水平転送とを順に繰り返すことにより、全ての画素を出力すると、１画面分の画素信号の出力が終了したことになり、電子画像を形成復元することができる。
【０００６】
また、各画素の信号電荷を転送する動作において、通常、垂直転送は、上記のように水平転送路方向へすなわち正方向へと信号電荷を転送する正転送とするが、ＣＣＤの原理上、垂直転送は、水平転送路とは逆方向へ、すなわち逆転転送(垂直逆転送)を行うことも可能である。しかしながら、ＣＣＤは、近年、画素数の増加にともなう画素の著しい微細化や、低消費電力化の傾向から、転送駆動電圧の低電圧化が進み、従来のように容易に効率良く垂直転送を行うことが困難になっている。そして、このような点を背景として、多画素のＣＣＤの中には、正方向の垂直転送の効率を追求した設計がなされ、この結果、逆転転送の転送効率は著しく低下したＣＣＤも用いられている。
【０００７】
そして、各種の方式のＣＣＤの内、上記の多画素のＣＣＤとして通常用いられるものは、インターライン型と呼ばれるＣＣＤで、このインターライン型のＣＣＤは、さらに、スキャンの方式により、インターレーススキャン方式のＣＣＤ(以下、インターレースＣＣＤ)と、プログレッシブスキャン方式のＣＣＤ(以下、プログレッシブＣＣＤ)とに大別される。そして、インターレースＣＣＤは、現在コストと性能とのバランスが最も良く、多画素撮像素子に適した構造として広く普及し採用されている。このインターレースＣＣＤでは、垂直転送路に保持できる電荷(画素信号電荷、信号電荷、画素電荷とも呼ばれる)の水平ライン数が、光電変換部であり１画素を構成するフォトダイオードの水平ライン数の半分であるため、全画素を独立に読み出すには、１フレームを２つのフィールドに分け、２度にわたり、偶数ラインと奇数ラインとを交互に、すなわちインターレースして読み出している。従って、フォトダイオード上の電荷の垂直転送路への電荷読出電極(信号電荷読出電極、電荷読出ゲート電極とも呼ばれる)は、偶数ライン用と奇数ライン用の２系統が用意されている。そして、インターレースＣＣＤでは、例えば、この電荷読出電極を、２系統から４系統に増やすことにより、一部のラインのみを選択的に、かつ、１フィールドでカラーフィルタの全組合せを垂直転送路へ読み出し、残りは読み出さないといったライン読み出しに選択性を持たせた構成が可能であり、容易にライン間引き機能が実現されている。また、このような多画素のインターレースＣＣＤの垂直転送は、４相駆動が一般的であり、ライン間引き機能の実現のためには、例えば、電荷読出電極の４系統を含め、垂直転送路の電極数が従来の４系統が６系統となる。
【０００８】
一方、このようなインターレースＣＣＤに対して、プログレッシブＣＣＤでは、フォトダイオードのライン数分だけ垂直転送路に電荷を保持できるため、１フレームの全てのラインを先頭から順番に読み出すことができる。従って、間引きをしなければ、電荷読出電極は１系統で構成可能であるが、間引き読み出しを行うためには、読み出しラインの選択性を実現するため、さらに１系統の電荷読出電極が追加される。そこで、プログレッシブＣＣＤの垂直転送は、電荷読出電極の合計２系統を含めると、４相駆動の場合は垂直転送路の電極数は従来の４系統が５系統になり、また、３相駆動の場合は従来の３系統が４系統になる。
【０００９】
そして、このような電荷読出電極構造の多系統化は、従来に較べて電極構造の増加分だけＣＣＤの内部配線の複雑化や外部ＣＣＤ駆動回路の増加などのマイナス面があるものの、より低コストの代替手法が他にないこともあり、ほとんどの多画素ＣＣＤで採用されている。
【００１０】
また、上記のような一般的なライン間引き読み出しに対し、例えば、特開平１０−１３６２４４号公報に示されるように、プログレッシブＣＣＤについて、種々の水平ライン間引き、及びライン加算読み出しの方式が提案されている。これら方式としては、大別すると、(1)ｍライン中ｎラインのみを読み出す方式(ｍ＞ｎ，ｍ≧３)、(2)ｍライン中ｎラインの電荷を加算して読み出す手法(ｍ＞ｎ)、(3)垂直方向に連続するｑラインの画素信号を加算して出力する方式の３方式が示されている。そして、単純に不要ラインを間引いてしまう構成に対し、複数のライン間で電荷の加算を行いつつ、フレームレートの向上を図った構成が示されている。
【００１１】
すなわち、上記従来のように、特定のラインのみを選択的に読み出し、残りを間引く手法によると、フレームレートを向上することはできるが、撮影した画像の垂直方向の空間周波数再現に重大な問題を生じる場合がある。すなわち、ラインを間引いた状態においては、垂直方向の空間サンプリング周波数及び開口率が相応分減少しているにも関わらず、撮影レンズのＭＴＦ(modulation transfer function、変調伝達関数)はそのままであるため、著しい折り返し歪みが発生する。この現象は、モアレと呼ばれ、例えば、目の細かな縞状の被写体が実際とは異なる太い目の粗い縞状に写ってしまう現象であり、撮像装置には好ましくない現象である。
【００１２】
そして、この現象を緩和するためには、フレームレートを向上する目的で単純にラインを間引くのではなく、特開平１０−１３６２４４号公報に示されるように、ライン加算を取り入れることができる。そして、ライン間引き後の空間サンプリング周波数上で撮影レンズのＭＴＦが高くても、ライン加算を行うと開口率が増加し、高域の空間周波数成分が減らされて、空間フィルタ処理と同じ効果が得られる。そして、この効果を最大限に作用させるためには、例えば、フレームレートを５倍にするために全ライン中４／５ラインを間引いて１／５ラインを読み出すのではなく、５ラインをカラーフィルタの同色同士で加算をして読み出すことにより、結局５倍のフレームレートで全画素を読み出すことに等しくなり、空間フィルタの効果は最大で、しかも全画素の画素電荷が撮像に寄与するので、開口率は静止画像撮影時と全く同じになる。
【００１３】
しかしながら、特開平１０−１３６２４４号公報では、上記のように同色同士の複数ラインの加算により全画素電荷を読み出す手法については提案されていない。連続するラインの電荷を垂直転送路上で加算し、あるいは水平転送路上で加算して、全画素を読み出す手法については言及されているが、この手法では、縦ストライプフィルタ配列以外のカラーＣＣＤの場合は、混色が生じ、色再現性に重大な弊害をもたらすばかりか、混色の組合せによっては、元の色を再現できないという問題を有している。ここで、上記特開平１０−１３６２４４号公報には示されていないが、この公報記載の構成であえて、同色の複数ラインの加算による全画素読み出しを実現しようとすると、例えば、上記の５ライン加算の場合は、この公報機能のようにカラーフィルタ配列がベイヤー配列であるとすると、縦１列の色の組合せは２種類で、それぞれの色を個別に、さらに各色毎に５画素を個別に読み出す必要があるため、電荷読出電極は全部で１０系統が必要になり、垂直転送駆動の場合は、垂直転送電極としては合計１２系統を要する計算になる。そして、現存する３相垂直転送、間引き対応の３相多画素プログレッシブＣＣＤの垂直転送の電極は、上記のように４系統であるので、８系統分の外部垂直転送駆動回路を追加することになり、ＣＣＤ駆動回路の規模が著しく増大することになる。さらに、ＣＣＤの多画素化が進み、加算ライン数が増加すると、さらに垂直転送の電極の系統数が相応分増加する。そして、このような垂直転送の電極の系統数の増加は、コストや装置の小型化あるいは消費電力などの点から好ましくないものである。
【００１４】
【発明が解決しようとする課題】
上記のように、静止画の品質を向上するために、動画専用の撮像素子に対して多画素の撮像素子を用いる場合は、フレームレートを向上するため、動画の撮影時に画素の信号を間引く構成が採られるが、この場合、単純に特定のラインのみを選択的に読み出し残りを間引く手法によると、動画の画質が低下し、一方、従来の構成で全画素の電荷を加算して利用使用とすると、構成が複雑になり、コストの上昇などを招く問題を有している。
【００１５】
本発明は、このような点に鑑みなされたもので、同色の画素の電荷を加算してフレームレートを向上しつつ高画質を実現できるとともに、簡略な構成でコストを抑制できる固体撮像素子の駆動方法及び撮像装置を提供することを目的とする。
【００１６】
【課題を解決するための手段】
請求項１記載の固体撮像素子の駆動方法は、光電変換手段を備え所定のパターンで第１の色及び第２の色が配列された複数の画素と、これら画素の電荷を読み出し転送する複数の第１の転送路と、これら第１の転送路が転送した電荷を読み出し転送して出力する第２の転送路とを備えた固体撮像素子の駆動方法であって、前記第１の転送路は、画素に対する複数系統の電荷読出電極を設けた電荷結合素子を備え、電荷の読み出し及び保持は、前記電荷読出電極に電荷読出電圧を印加して行われ、前記第１の色の画素の電荷を前記第１の転送路に複数読み出し、特定の系統の前記電荷読出電極に電荷読出電圧を印加し続け特定の画素について電荷を読み出す状態を維持し読み出した電荷を保持したまま、読み出した他の画素の電荷を転送して、保持した電荷に転送した電荷を加算して、第１の色の画素の電荷を複数加算した第１の加算電荷を生成する第１の加算工程と、前記第１の加算画素を前記第２の色の画素の電荷が読み出される位置から外した状態で、前記第２の色の画素の電荷を前記第１の転送路に複数読み出し、これら第２の色の画素の複数の電荷を前記第１の転送路及び前記第２の転送路の少なくとも一方で加算して、第２の色の画素の電荷を複数加算した第２の加算電荷を生成する第２の加算工程と、これら第１の加算電荷及び第２の加算電荷を前記第２の転送路で転送して出力する加算出力工程とを備えたものである。さらに、電極数の増加を抑制し、構成を簡略化して、コストが抑制される。
【００１７】
そして、この構成では、所定のパターンで配列された複数の画素のうち、先に第１の色の複数の画素の電荷を第１の転送路に読み出し、特定の系統の電荷読出電極に電荷読出電圧を印加し続け特定の画素の電荷を読み出し保持したまま、読み出した他の画素の電荷を転送して、保持した電荷に転送した電荷を加算して、第１の色の画素の電荷を複数加算した第１の加算電荷を生成する。次いで、この第１の加算電荷に加算しないように、転送と選択的な電荷読出とを組み合わせ、第２の色の画素の電荷を第１の転送路に複数読み出し、第１の色の画素の電荷の電荷と同様に第１の転送路で加算し、あるいは、第１の転送路から第２の転送路の同じ位置に読み込んで加算し、第２の加算電荷を生成する。そして、これら第１及び第２の加算電荷を第２の転送路で転送して出力することにより、全画素を順次読み出し出力する状態に較べて、画素が間引かれ、フレームレートが向上する。さらに、画素の間引きは、全画素の読み出しを行い、同色の画素の電荷を複数加算して行うことが可能なため、単に画素を選択的に読み出す構成に較べて、画質が向上する。
【００１８】
請求項２記載の固体撮像素子の駆動方法は、請求項１記載の固体撮像素子の駆動方法において、第１の加算工程及び第２の加算工程は、第１の転送路に読み出した電荷を正方向及び逆方向に転送しながら行うものである。
【００１９】
そして、この構成では、第１の加算電荷及び第２の加算電荷が所望の順序で出力可能になり、後工程における処理が容易になる。
【００２０】
請求項３記載の固体撮像素子の駆動方法は、請求項１記載の固体撮像素子の駆動方法において、第２の加算工程は、第２の転送路の所定位置に第２の色の画素の複数の電荷を読み出して行うものである。
【００２１】
そして、この構成では、第１の転送路への電荷の読み出し加算動作が比較的短時間で行なわれる。
【００２２】
請求項４記載の固体撮像素子の駆動方法は、請求項１ないし３いずれか記載の固体撮像素子の駆動方法において、第１の転送路は、画素に対する複数系統の電荷読出電極及び垂直転送路専用ゲート電極を設けた電荷結合素子を備え、電荷の読み出し及び保持は、前記電荷読出電極に電荷読出電圧を印加して行われ、読み出した画素の転送は、前記電荷読出電極及び前記垂直転送路専用ゲート電極に所定の電圧を加えて行われるものである。
【００２３】
そして、この構成では、第１の加算工程は、複数の電荷読出電極に電荷読出電圧を印加して複数の画素の電荷を第１の転送路に読み出し、次いで、特定の電荷読出電極に電荷読出電圧を加えたまま、電荷読出電極及び前記垂直転送路専用ゲート電極に所定の電圧を加えて第１の転送路の転送を行うことにより行われる。
【００２４】
請求項５記載の固体撮像素子の駆動方法は、請求項１ないし４いずれか記載の固体撮像素子の駆動方法において、第１の加算工程、第２の加算工程、及び加算出力工程を行う第１の駆動モードと、各画素の電荷を個々に第１の転送路に読み出し、読み出した電荷を個々に第２の転送路に転送し、この第２の転送路から出力する第２の駆動モードとが切り替えられるものである。
【００２５】
そして、この構成では、全画素をそれぞれ用いて高精細な画像を出力する状態と、画素を間引いて高速に出力するモードとが容易に切り替えて使用される。
【００２６】
請求項６記載の固体撮像素子の駆動方法は、請求項５記載の固体撮像素子の駆動方法において、第１の駆動モードは、動画を撮影する動画モードであり、第２の駆動モードは、静止画を撮影する静止画モードであるものである。
【００２７】
そして、この構成では、高精細な静止画用の信号を出力可能であるとともに、高速のフレームレートを実現しかつ画質を向上した動画用の信号が出力可能であり、静止画と動画とを切り替えて撮影する撮像装置に適した構成が実現される。
【００２８】
請求項７記載の撮像装置は、固体撮像素子と、この固定撮像素子を駆動する駆動回路とを具備し、前記固体撮像素子は、光電変換手段を備え所定のパターンで第１の色及び第２の色が配列された複数の画素を備え、前記駆動回路は、画素に対する複数系統の電荷読出電極を設けた電荷結合素子を備え前記各画素の電荷を読み出し転送する複数の第１の転送路と、これら第１の転送路が転送した電荷を読み出し転送して出力する第２の転送路とを備え、前記駆動回路は、前記電荷読出電極に電荷読出電圧を印加して前記第１の色の画素の電荷を前記第１の転送路に複数読み出し、特定の系統の前記電荷読出電極に電荷読出電圧を印加し続け特定の画素について電荷を読み出す状態を維持し読み出した電荷を保持したまま、読み出した他の画素の電荷を転送して、保持した電荷に転送した電荷を加算して、第１の色の画素の電荷を複数加算した第１の加算電荷を生成し、前記第１の加算画素を前記第２の色の画素の電荷が読み出される位置から外した状態で、前記第２の色の画素の電荷を前記第１の転送路に複数読み出し、これら第２の色の画素の複数の電荷を前記第１の転送路及び前記第２の転送路の少なくとも一方で加算して、第２の色の画素の電荷を複数加算した第２の加算電荷を生成し、これら第１の加算電荷及び第２の加算電荷を前記第２の転送路で転送して出力するものである。
【００２９】
そして、この構成では、所定のパターンで配列された複数の画素のうち、先に第１の色の複数の画素の電荷を第１の転送路に読み出し、特定の系統の電荷読出電極に電荷読出電圧を印加し続け特定の画素の電荷を読み出し保持したまま、読み出した他の画素の電荷を転送して、保持した電荷に転送した電荷を加算して、第１の色の画素の電荷を複数加算した第１の加算電荷を生成する。次いで、この第１の加算電荷に加算しないように、第２の色の画素の電荷を第１の転送路に複数読み出し、第１の色の画素の電荷の電荷と同様に第１の転送路で加算し、あるいは、第１の転送路から第２の転送路の同じ位置に読み込んで加算し、第２の加算電荷を生成する。そして、これら第１及び第２の加算電荷を第２の転送路で転送して出力することにより、全画素を順次読み出し出力する状態に較べて、画素が間引かれ、フレームレートが向上する。さらに、画素の間引きは、全画素の読み出しを行い、同色の画素の電荷を複数加算して行うことが可能なため、単に画素を選択的に読み出す構成に較べて、画質が容易に向上する。さらに、電極数の増加を抑制し、構成を簡略化して、コストが抑制される。
【００３０】
請求項８記載の撮像装置は、請求項７記載の撮像装置において、固体撮像素子から出力される第１の加算電荷及び第２の加算電荷の順序を入れ替え可能な処理手段を備えたものである。
【００３１】
そして、この構成では、出力される信号の順序を入れ替える処理手段を設けたので、第１の転送路及び第２の転送路で加算され出力される第１の加算電荷及び第２の加算電荷の順序を必ずしも揃える必要がない。このため、各転送路において、電荷を一方向のみに転送すれば良く、逆方向に転送する必要がないため、逆方向への転送の転送効率が悪いＣＣＤについても対応可能であり、汎用性が向上する。
【００３２】
【発明の実施の形態】
以下、本発明の固体撮像素子の駆動方法及び撮像装置の一実施の形態を図面を参照して説明する。
【００３３】
まず、本発明を概説すると、本発明の固体撮像素子は、電荷結合素子(ＣＣＤ：charge coupled device)を用いたＣＣＤイメージセンサ、いわゆるＣＣＤであり、デジタルカメラ、ムービーカメラなどの撮像装置に用いられるものである。特に、本発明のＣＣＤは、静止画撮影のみならず動画撮影も可能とする、静止画動画兼用の撮像装置に用いられるもので、通常のカラーフィルタ配列のカラー単板、動画静止画兼用、間引き対応のいわゆる多画素インターラインＣＣＤである。
【００３４】
そして、このＣＣＤは、第１の転送路としての各垂直転送路に沿って縦１列にある２色のカラーフィルタ画素のうち、先に一方の同色の電荷(画素信号電荷、信号電荷、画素電荷とも呼ばれる)を全て垂直転送路へ読み出した後、複数系統ある電荷読出電極のうち、特定の系統の電荷読出電極に電荷読出電圧を印加したまま、垂直転送を行うことにより、この垂直転送路上で同色同士のライン加算を行うものである。さらに、垂直転送と、複数ある電荷読出電極による選択的な読出とを組み合わせて、先に読み出され垂直転送路上で加算されている電荷と、後に読み出す別の色のもう一方のラインの電荷との混色を回避させながら、もう一方のカラーフィルタ画素を含むラインの画素を垂直転送路に読み出して、１色目と同様に特定の電荷読出電極に電荷読出電圧を加えたまま垂直転送を行うことにより、あるいは、第２の転送路としての水平転送路上でのライン加算動作を組み合わせることにより、後から読み出された同色同士のライン加算を行い、結果として、同色同士を複数ラインで加算して全画素読出を行い、フレームレートを向上しつつ、垂直空間周波数再現性の向上、画素感度の向上といった動画の著しい画質向上を実現でき、さらに、各種ＣＣＤにも適用可能であるとともに、構造の複雑化を抑制して製造コストの上昇を抑制できるものである。
【００３５】
すなわち、多画素ＣＣＤで、垂直転送路へ電荷読出後に特定の読出電極に電圧印加状態のまま垂直転送を行うことで画素電荷混合を行い、高速高画質動画像を得ることができ、さらに、動画像の画質向上を、読み出しの手法のみで実現できるものである。
【００３６】
そして、以下に詳細に説明するが、第１の実施の形態は、インターレースＣＣＤで、垂直転送を正方向のみに転送(正転送)するとともに、水平転送路における加算を行うものである。そして、第２の実施の形態は、インターレースＣＣＤで、垂直転送を正転送のみならず逆転方向に転送(逆転転送)するものである。また、第３の実施の形態は、プログレッシブＣＣＤで、垂直転送を正転送のみならず逆転転送するものである。そして、第４の実施の形態は、プログレッシブＣＣＤで、垂直転送を正転送のみとするとともに、水平転送路における加算を行うものである。また、第５の実施の形態は、インターレース補色線順次ＣＣＤで、垂直転送を正転送のみならず逆転転送するものである。そして、第６の実施の形態は、インターレース補色線順次ＣＣＤで、垂直転送を正転送のみとするとともに、水平転送路における加算を行うものである。
【００３７】
このように、本発明では、あらゆるカラーフィルタ配列のカラー単板、動画静止画兼用、間引き対応の多画素インターラインＣＣＤにおいて、副次的な混色を回避させた複数ライン加算による高速全画素読み出しを、ライン加算数の増加とともに垂直転送電極数を増加させることなく、あらゆる数のライン加算において、同一最低限の垂直転送電極構成で実現できるものである。
【００３８】
また、同一色の画素同士の画素加算を行う際に、垂直転送路における逆点転送を行い、ＣＣＤから出力した後の処理を容易にする構成を採ることもでき、また、逆転転送の効率が悪いＣＣＤなどにおいては、正方向のみに転送することもできる。
【００３９】
次に、本発明の各実施の形態を図面を参照して説明する。
【００４０】
まず、図１ないし図１９に示す第１及び第２の実施の形態である、間引き対応のインターレーススキャン方式ＣＣＤ(インターレースＣＣＤ)を用いた構成について概説する。
【００４１】
そして、このインターレースＣＣＤでは、加算されるラインの数に依らず、電荷読出電極の４系統を含み、垂直転送電極の合計は６系統のまま増えることはない。具体的には、電荷読出電極は、V1A,V1B,V3A,V3Bの４系統であり、垂直転送電極は、V1A,V1B,V2,V3A,V3B,V4の合計６系統である。すなわち、ごく普通の多画素インターレースＣＣＤで実現が可能である。
【００４２】
すなわち、通常のカラーフィルタ配列のカラー単板、動画静止画兼用、間引き対応の多画素インターラインＣＣＤにおいて、インターレースＣＣＤの場合、電荷読出電極は、V1A,V1B,V3A,V3Bの４種類が存在する。そして、例えば、Ｒ(赤),Ｇ(緑),Ｂ(青)のフィルタを用いるベイヤ方式(原色方式)において、ある縦列のカラーフィルタの組み合わせがＲＧＲＧ…となり、Ｒが偶数番目、Ｇが奇数番目の水平ライン上にあり、電荷読出電極V1Aが５の倍数の奇数ライン番号のＧの画素の電荷読出電極、V1Bが残りのＧの画素すなわち残りの奇数番目の水平ラインの電荷読出電極、V3Aが１０の倍数の水平ライン番号のＲの画素の電荷読出電極、V3Bが残りのＲの画素すなわち残りの偶数番目の水平ラインの電荷読出電極であるとする。ちなみに、この場合、その１つ隣の縦列は、カラーフィルタの組み合わせがＧＢＧＢ…で、Ｇが偶数番目、Ｂが奇数番目の水平ライン上にある。すなわち、V1Aは５の倍数のライン番号のＢの画素、V3Aは１０の倍数の水平ライン番号のＧの画素の電荷読出電極になる。以下、ここでは、説明を簡略化するため、ＲＧＲＧの縦列について、同色加算全画素読み出し動作を説明する。但し、１縦列毎に色の組み合わせは異なるが同一水平ライン上の全ての画素で同じ事が生じているとの前提で説明する。
【００４３】
まず、V3AとV3Bに電荷読出電圧を加えて、第１の色としてのＲ画素の電荷、即ち偶数ラインの電荷を全て垂直転送路へ読み出す。その後、V3Bの電圧はもとに戻すが、V3Aには電荷読出電圧を加えたまま垂直転送を４段分行う。すると、１０ライン毎（垂直転送路５段毎）に存在するV3Aの電極下ではポテンシャル井戸が深いままなので、この部分でV3Aの上方向に近接するＲ画素５画素分の電荷が同色同士で加算し、第１の加算電荷としてのＲの５画素加算電荷(5Ｒ)を生成する。その後、このＲの５画素加算電荷すなわち偶数ラインの５画素加算電荷を、混色を避ける為、V1A電極下へ垂直転送して一時待避させた後、V1Bにのみ電荷読出電圧を加えて、５の倍敷以外の第２の色としてのＧの画素、即ち５の倍数以外の奇数ラインの電荷を垂直転送路へ読み出す。すると、これらＧの画素の内、Ｒの５画素加算電荷の位置するV1A電極以外の場所の全ての電荷が読み出される。そして、１段垂直転送し、今度は、Ｒの５画素加算電荷をV1A電極から待避させ、V1Aに電荷読出電圧を加える。この結果、V1A電極下で、V1A電極のＧの電荷と、その１つ上の既に読み出されていて１段転送されたＧの電荷とが合計２画素分混合すなわち加算される。そして、同じくV1Aに電荷読出電圧を加えたまま、垂直転送を３段分行う。すると、１０ライン毎（垂直転送路５段毎）に存在するV1Aの電極下ではポテンシャル井戸が深いままなので、この部分でV1Aの上方向に近接する残りのＧ画素３画素分が加算され、同色同士５画素が足し合わされて、第２の加算電荷としてのＧの５画素加算電荷(5Ｇ)が生成される。
【００４４】
この結果、垂直転送路には、5Ｇ、5Ｒ、空、空、空、5Ｇ、5Ｒ、空、空、空…の繰り返しで全画素が読み出された状態が作り出される。その後、垂直転送１段、水平転送、垂直転送５段、水平転送の繰り返しで外部へ信号を読み出すと、５倍のフレームレートで同色加算全画素読み出しが実現する。
【００４５】
次に、本発明の第１の実施の形態を図１ないし図１３を参照して説明する。
【００４６】
図１において、１は撮像装置で、この撮像装置１は、静止画動画兼用のデジタルカメラに用いられるもので、固体撮像素子であるＣＣＤイメージセンサとしてのＣＣＤ２と、このＣＣＤ２を駆動する駆動回路としてのＣＣＤ駆動回路３とを備えている。そして、このＣＣＤ２は、いわゆるカラーベイヤー配列間引き対応インターライン型インターレーススキャンＣＣＤで、静止画動画兼用を特徴とし、動画専用用途のＣＣＤに較べて画素数が著しく多いため、静止画撮影時にはメカニカルシャッタを併用する事で全画素を個別に読み出す一方、動画撮影時には、全水平ラインの１／５の画素のみを選択的に間引いて読み出せる様になっており、多画素であっても動画時のフレームレート（単位時間当たりのコマ数）を高く維持する工夫がされている。
【００４７】
また、ＣＣＤ２は、ＣＣＤ駆動回路３の駆動信号４により駆動され、画像信号５を出力する。そして、ＣＣＤ駆動回路３がＣＣＤ２に与える駆動信号４には、後述するように、垂直転送路ゲート信号が流れる垂直転送路ゲート電極V1A,V1B,V2,V3A,V3B,V4が含まれている。さらに、ＣＣＤ駆動回路３には、デジタルカメラの制御手段から駆動モード切替信号６が入力され、この駆動モード切替信号６により、ＣＣＤ駆動回路３がＣＣＤ２の駆動動作モードを切り替えるようになっている。すなわち、本実施の形態では、第１の駆動モードとしての動画モードと、第２の駆動モードとしての静止画モードとが切り替えられる。
【００４８】
また、ＣＣＤ２は、図２に内部構造を示すように、光電変換手段としてのフォトダイオード11と、これらフォトダイオード11に接続された第１の転送路としての垂直転送路12と、これら垂直転送路12にそれぞれ接続された垂直転送路ゲート信号配線13とを備えている。また、図中、矢印14は、図示しない水平転送路方向への転送方向である正方向を示している。なお、以下、この水平転送路方向の反対方向を逆方向とし、この逆方向への転送を逆転転送として説明する。
【００４９】
また、フォトダイオード11は、それぞれ画素を構成し、二次元的に所定のパターンで配列され、本実施の形態では、原色ベイヤー配列すなわち原色方式であるベイヤ方式で、所定の縦列のカラーフィルタの組み合わせがＲＧＲＧ…となり、Ｒが偶数番目、Ｇが奇数番目の水平ライン上にあり、この縦列に隣接する縦列のカラーフィルタの組み合わせがＧＢＧＢ…で、Ｇが偶数番目、Ｂが奇数番目の水平ライン上にある。
【００５０】
そして、フォトダイオード11に蓄積された電荷は、それぞれに隣接する垂直転送路12のゲート電極にプラス電位の電荷読出電圧である電荷読出パルスが加わることで、垂直転送路12側に読み出される。そして、ＣＣＤ２のこのような電荷読出動作を伴う垂直転送路ゲート電極の組み合わせは、図２に示すように、電荷読出電極V1A,V1B,V3A,V3Bの４系統であり、これら４系統の電極に、電荷読出動作を伴わない垂直転送専用ゲート電極V2,V4を加え、合計６系統の垂直転送路ゲート電極が存在し、それぞれ垂直転送路ゲート信号配線13に接続されている。なお、このような垂直転送路ゲート信号配線13は、現在、静止画動画兼用の多画素の多画素のＣＣＤとして最も一般的なものである。そして、本実施の形態のＣＣＤ２では、図２に示すように、V1Aが１０画素(ライン)ごとに１個(５の倍数の奇数ライン番号のＧ及びＢの画素)、V3Aが１０画素(ライン)ごとに１個(１０の倍数の水平ライン番号のＲ及びＢの画素)接続されているので、これらV1A,V3Aに隣接する画素のみから選択的に電荷を読み出すことで、１／５間引き読み出しが容易に実現できるようになっている。
【００５１】
なお、本実施の形態のＣＣＤ２は一例を示しているにすぎず、実際にはV1A,V3Aに相当する電極をカラーフィルタを考慮しつつ何ラインごとに配置するかで、色々な間引き率に対応したＣＣＤが存在している。ちなみに、上記の電極構成では容易に実現できない高度に複雑な読み出し動作を実現しようとして安易に電荷読出動作を伴うゲート電極の組み合わせ数を増やすと、ＣＣＤの内部配線が複雑になるばかりでなく、増加した垂直転送路ゲート配線の数分だけ外部駆動回路が必要になり、コスト増、装置の大型化、消費電力の増加などの弊害をもたらすことは先に述べた通りである。
【００５２】
次に、実際の信号読出動作について、静止画モードから説明する。
【００５３】
まず、全フォトダイオード11は、電子シャッタ動作により、不要な電荷がＣＣＤの基板部へ掃き捨てられて、図示しない光学系を介した露光に対して一斉に電荷の蓄積を開始する。そして、所定の露光時間が経過して露光が終了すると、図示しないメカニカルシャッタなどの遮光手段によりフォトダイオード11への光路が遮断され、各フォトダイオード11は、以後全電荷が読み出し終わるまで暗黒状態で保持される。
【００５４】
次に、図３及び図４を参照して、電荷読出及び垂直転送の状態について説明する。図３及び図４は、図２の一番左端の縦列における電荷読出と垂直転送の様子すなわち垂直転送波形とポテンシャルについて説明しているが、以下の説明において、隣接する縦列を含む他の全ての縦列で同様の動作が生じているものとする。すなわち、電荷読出や垂直転送は、水平ライン単位で行われる。また、これら図３及び図４において、V1A〜V4を付した波形は、各垂直転送路ゲート信号の電圧波形を示し、この電圧波形に直交する方向に示すＡ〜Ｇを付した波形は垂直転送路のポテンシャルを示している。また、図中、21は電荷読出パルス、22は読み出された電荷である。まず、初期状態として、各垂直転送路ゲート信号及びポテンシャル状態がそれぞれ図３のＡに示す状態から、図３のＢに示すように、V3A,V3Bに電荷読出パルス21を加える。すると、図３のＣに示すように、偶数ライン上の全ての電荷が垂直転送路へ読み出される。次いで、V1A〜V4に所定の電圧を加えて、図３のＤ〜Ｇに示すように、読み出した電荷22を１段垂直転送し、最下部のラインの電荷を図示しない水平転送路に転送する。この後、水平転送により１ラインの電荷(画素電荷)を全て読み出す。次いで、１段垂直転送、水平転送を繰り返し偶数ラインの電荷を個別に全て読み出し、ＣＣＤ２の外部に出力して第１フィールドの読み出しを終了する。
【００５５】
続いて、図４のＡに示す各垂直転送路ゲート信号及びポテンシャル状態から、図４のＢに示すように、V1A,V1Bに電荷読出パルス21を加える。すると、図４のＣに示すように、奇数ライン上の全ての電荷が垂直転送路へ読み出される。次いで、V1A〜V4に所定の電圧を加えて、図４のＤ〜Ｅに示すように、読み出した電荷22を１／２段垂直転送し、さらに、図４のＦ〜Ｉに示すように、読み出した電荷22を１段垂直転送し、最下部のラインの電荷を図示しない水平転送路に転送する。この後、水平転送により１ラインの電荷(画素電荷)を全て読み出す。次いで、１段垂直転送、水平転送を繰り返し奇数ラインの電荷を個別に全て読み出し、ＣＣＤ２の外部に出力して第２フィールドの読み出しを終了する。
【００５６】
このようにして、２フィールドにわたりＣＣＤ２上の電荷を読み出すことにより、静止画モードの読み出し動作が完了する。図１１に模式的に示すように、この静止画モードの動作は、外部遮光手段との併用により、２フィールドを使って全画素を個別に読み出すモードであり、１コマが偶数ラインと奇数ラインとで２分割されていることと、メカニカルシャッタなどの物理的遮光手段の動作が伴うことに加え、非常に遅いフレームレートとなることから、動画像には向かないものの、いわゆる多画素ＣＣＤの全画素を全て独立で読み出すため、静止画としては申し分のない、極めて高精細の画像を得ることができる。
【００５７】
次に、比較例として、本実施の形態のＣＣＤ２を用いて通常行われる１／５間引きモード、すなわち、４／５ラインを間引いて１／５ラインを読み出すモードを説明する。この１／５間引きモードは、主に動画の撮影に用いられ、選択されるカラーフィルタの組み合わせ方が考慮されており、１フィールドでＲＧＢ全てのカラーフィルタ信号が揃うように配慮されている。そして、１度の露光、読み出しでＲＧＢが１フィールド内に揃うので、電荷の読み出し時にメカニカルシャッタなどの遮光手段による遮光動作を伴う必要もない。そして、このモードでは、V1A,V3Aのみに電荷読出パルスが与えられるので、これらV1A,V3Aに接続されないその他のフォトダイオード11すなわち画素の読み出しは行われない。すなわち、例えば図２において、Ｒ0、Ｇ0、Ｇ5、Ｂ5、Ｒ10、Ｇ10…などの網掛けされた水平ライン上のフォトダイオード11すなわち画素のみが選択的に読み出される。
【００５８】
以下、この読出動作を図５を参照して説明する。図５は、図２の一番左端の縦列における電荷読出と垂直転送の様子について説明しているが、以下の説明において、隣接する縦列を含む他の全ての縦列で同様の動作が生じているものとする。すなわち、電荷読出や垂直転送は、水平ライン単位で行われる。また、この図５において、21aは、V3Aに加えられる電荷読出パルス、21bは、V1Aに加えられる電荷読出パルス、22aは、選択されて読み出されたＲＧラインの電荷、22bは、同じく選択されて読み出されたＧＢラインの電荷である。
【００５９】
まず、初期状態として、各垂直転送路ゲート信号及びポテンシャル状態がそれぞれ図５のＡに示す状態から、図５のＢに示すように、V3Aに電荷読出パルス21aを加える。すると、図５のＣに示すように、ＲO、ＲlO、Ｒ20…、と１０ラインおきにＲの画素を含むラインの電荷22aが垂直転送路へ読み出される。次いで、V1A〜V4に所定の電圧を加えて、図５のＤ〜Ｅに示すように、読み出した電荷22aを１／２段垂直転送し、さらに、図５のＦに示すように、V1Aに電荷読出パルスを加える。すると、図５のＧに示すように、Ｇ5、Ｇ15…、Ｂ5、Ｂ15…と、同様に１０ラインおきにＧの画素を含むラインの電荷22bが垂直転送路へ読み出される。この状態では、垂直転送路の電荷保持部５段の内、２段分にのみ電荷22a，22bが存在し、残りは空である。従って、この後は、垂直転送路３段転送後、水平転送、水平転送終了後、垂直転送路２段転送後、水平転送…の繰り返しで水平転送路へと順次垂直転送路上を電荷が転送されて行く。図１２に模式的に示すように、この動画モードの動作では、フレームレートは静止画モードの５倍の速度となるが、ラインを大幅に間引いているので、当然ながらこの動画モードにより得られた画像の垂直方向の空間周波数再現性は著しく悪化している。
【００６０】
次に、本実施の形態による同色５ライン足し合わせ全画素読出モードである動画モードについて、図６及び図７を参照して説明する。
【００６１】
これら図６及び図７においては、図２の一番左端の縦列における電荷読出と垂直転送の様子について説明しているが、以下の説明において、隣接する縦列を含む他の全ての縦列で同様の動作が生じているものとする。すなわち、加算や電荷読出、垂直転送は、水平ライン単位で行われる。また、図６に示すV1A〜V4を付した各垂直転送路ゲート信号の電圧波形と、図７に示すV1A〜V4を付した各垂直転送路ゲート信号の電圧波形とは、同一のものである。一方、この電圧波形に直交する方向に示すＡ〜Ｔを付した垂直転送路のポテンシャル状況を示す波形は、図６が前半部分を示し、図７が後半部分を示している。
【００６２】
まず、初期状態として、各垂直転送路ゲート信号及びポテンシャル状態がそれぞれ図６のＡに示す状態から、図６のＢに示すように、V3A，V3Bにそれぞれ電荷読出電圧としての電荷読出パルス31a，31bを与え、偶数ラインの電荷33のみを全て垂直転送路に読み出す。次に、図６のＣ〜Ｈに示すように、V3Bの電荷読出パルス31bの印加は停止するが、V3Aには電荷読出パルス31aを加えたまま、４段分正方向に垂直転送を行う。すると、垂直転送を行っても、１０ラインおき、すなわち５段おきのV3Aの電極部分でポテンシャル井戸が深くなっているため、読み出された偶数ラインの電荷(画素電荷)は、V3A下の電荷保持部において、Ｒの画素の同色５画素分の電荷が混合すなわち加算される。そして、V3Aの電荷読出パルス31aの印加を停止した状態で、図６のＩ及び図７のＩに示すように、１段あたりに５画素分の電荷が足し合わされた第１の加算電荷としての５画素混合電荷34が保持された状態となる。
【００６３】
そして、この図６のＩ及び図７のＩに示す状態から、V1A〜V4に所定の電圧を加えて、図７のＪ〜Ｌに示すように、５画素混合電荷を水平転送路方向に２．５段分垂直転送し、V1A電極下に偶数ラインの５画素混合電荷を一時待避させる。この状態から、図７のＭに示すように、V1Bに電荷読出パルス32bを与え、奇数ラインの電荷の４／５を読み出す。次いで、図７のＮに示すように、このV1Bの電荷読出パルス32bの印加を停止した後、V1A〜V4に所定の電圧を加えて、図７のＯ〜Ｒに示すように、偶数ラインの５画素混合電荷34及び奇数ラインの４／５の電荷を、一段分、水平転送路に向かって垂直転送する。
【００６４】
次いで、図７のＳに示すように、V1Aに電荷読出パルス32aを与え、奇数ラインの残りの１／５ラインの電荷を垂直転送路へ読み出す。次いで、図７のＴに示すように、V1Aの電荷読出パルス32aの印加を停止した後、この図７のＴに示すV1Aの電極下では、奇数ラインのうち、隣接する２画素分が混合され、残りの奇数ラインの電荷保持部には１画素分の電荷が読み出され保持された状態となる。この状態で、５Ｒ，２Ｇ，Ｇ，Ｇ，Ｇ，５Ｒ，２Ｇ，Ｇ，Ｇ，Ｇ，…の繰り返しの形で、全画素の電荷が垂直転送路へ一部加算され読み出された状態になる。
【００６５】
さらに、この後の垂直転送及び水平転送は図８ないし図１０に示すように行われる。すなわち、図８(Ａ)は、図７のＴに示す垂直転送路の状態を示している。また、図８ないし図１０の41は垂直転送路を示し、42は水平転送路を示している。そして、この図８(Ａ)の段階では、上記の読み出し動作の過程の結果により、既に水平転送路42には、偶数ラインの５画素混合電荷(Ｒ0+Ｒ2+Ｒ4+Ｒ6+Ｒ8)34が存在している。そこで、図８(Ｂ)に示すように、この５画素混合電荷(Ｒ0+Ｒ2+Ｒ4+Ｒ6+Ｒ8)34を水平転送で読み出した後、図８(Ｃ)に示すように、水平転送を止めたまま垂直転送を行い、水平転送路で奇数ラインの加算すなわち画素混合を行う。また、この図８(Ｃ)に示す状態では、水平転送路上の電荷（Ｇ1+Ｇ3）は、画面の端部のため、足し合わせが足りず、不完全な混合画素数となっている。そこで、図９(Ｄ)に示すように、この電荷（Ｇ1+Ｇ3）を水平転送出力したのち、図９(Ｅ)に示すように、１段分垂直転送を行って、５画素が足し合わされた偶数ラインの５画素混合電荷(Ｒ10+Ｒ12+Ｒ14+Ｒ16+Ｒ18)34を水平転送路へ転送する。
【００６６】
そして、図９(Ｆ)に示すように、この５画素混合電荷(Ｒ10+Ｒ12+Ｒ14+Ｒ16+Ｒ18)34を水平転送により出力する。次いで、図１０(Ｇ)に示すように、１段分垂直転送を行って、奇数ラインの２画素を足し合わせた電荷（Ｇ5+Ｇ7）を水平転送路へ転送する。次いで、図１０(Ｈ〜Ｉ)に示すように、水平転送を行わないうちに、引き続き３段分の垂直転送を行い、水平転送路上で奇数ラインの加算を行い、第２の加算電荷としての５画素加算信号電荷である５画素混合電荷(Ｇ5+Ｇ7+Ｇ9+Ｇ11+Ｇ13)44を生成する。
【００６７】
そして、この電荷を水平転送で出力した後は、上記と同様に、１段垂直転送、水平転送、４段垂直転送、水平転送…との動作を繰り返し、画像信号を外部へ読み出す。このように、垂直転送路41に全画素が一部加算されて読み出された後は、垂直転送路41を１段、４段の繰り返しで転送動作させることにより、結果として、静止画の５倍のフレームレートで全画素信号を読み出すことができる。
【００６８】
そして、図１３は、この同色５ライン足し合わせ全画素読出モードにより、最終的に足し合わされて読み出された画素の組み合わせを模式的に示している。なお、電荷の本来の配列は、Ｇ1〜3→Ｒ0〜8→Ｇ5〜13→Ｒ10〜18→Ｇ15〜23→Ｒ20〜28…となるべきところ、この図１３から分かるように、本実施の形態では、Ｒ0〜8→Ｇ1〜3→Ｒ10〜18→Ｇ5〜13→Ｒ20〜28→Ｇ15〜23…との順で５画素混合電荷である加算信号が出され、偶数ラインと奇数ラインとの位置関係が逆転している。そして、このような現象は、この実施の形態に示すＣＣＤ２の後段に配置される画像処理などを司るＣＣＤ２外部の構成要素により、例えば、１ライン分の画像データを記録できる処理装置としてのラインバッファを設け、先に出力されたライン信号を一時保持し、次のライン信号を先に通過させ、偶数ラインと奇数ラインとの信号を入れ替える処理などを行うことで、補償することができる。
【００６９】
また、このように、電荷(画素電荷)を混合して読み出す場合、垂直転送路あるいは水平転送路の電荷転送容量が問題となることが考えられる。すなわち、各転送路の転送容量は、フォトダイオード11の飽和蓄積電荷量の５倍が必要である。この対策としては、垂直転送路及び水平転送路の電荷転送容量を、画素混合される量に見合った容量として設計し製造されたＣＣＤを使用することも考えられるが、通常の設計のＣＣＤであっても、画素混合を行う場合には、ＣＣＤの基板バイアス電圧を相応に高い電圧として、フォトダイオードの飽和蓄積電荷量を制限すれば容易に対処可能である。
【００７０】
また、この実施の形態では、原色ベイヤー配列を例にあげて説明したが、これに限られず、１つの縦ラインのカラーフィルタが２組以下であれば、どのようなフィルタ配列であっても適用可能である。すなわち、第４の実施の形態に示すフィルタ配列など以外にも、現存するほとんど全てのフィルタ配列において適用可能である。
【００７１】
このように、本実施の形態によれば、インターレースＣＣＤでは、ほとんどのカラーフィルタ配列において、現状の構成のまま、電荷読出の手法を変更するだけで、いわば高フレームレート同色加算全画素読み出しを実現できる。この結果、コストが上昇することなく、あるいはコストの上昇を抑制しつつ、動画像の画質を著しく向上できるとともに、加算読み出しによる高感度化効果に伴い、動画の撮影条件を、特に暗いシーンなどで大きく広げることができる。また、ＣＣＤの画素数の増加に伴い、ラインの加算数が増加しても、垂直転送電極の数は変わらず、コストの上昇を抑制できる。
【００７２】
また、本実施の形態では、垂直転送路において、電荷を水平転送路方向である正方向のみに転送すれば良く、逆転転送する必要がないため、逆転転送の転送効率が著しく低下したＣＣＤについても対応でき、汎用性を向上できる。
【００７３】
次に、第２の実施の形態について、図１４ないし図１９を参照して説明する。なお、この第２の実施の形態のＣＣＤ２の内部構成及びＣＣＤ２の駆動を含む基本動作は、図１及び図２などに示す第１の実施の形態と全く同様である。そして、この実施の形態では、同色５ライン足し合わせ全画素読出駆動において、第１の実施の形態で必要となったＣＣＤ２外部の構成要素によるライン入れ替え処理を、ＣＣＤ２の駆動手法を工夫することにより不要とすることができるものである。
【００７４】
以下、第２の実施の形態による同色５ライン足し合わせ全画素読出モードについて、図１５及び図１６を参照して説明する。これら図１５及び図１６においては、図２の一番左端の縦列における電荷読出と垂直転送の様子について説明しているが、以下の説明において、隣接する縦列を含む他の全ての縦列で同様の動作が生じているものとする。すなわち、加算や電荷読出、垂直転送は、水平ライン単位で行われる。また、図１５に示すV1A〜V4を付した各垂直転送路ゲート信号の電圧波形と、図１６に示すV1A〜V4を付した各垂直転送路ゲート信号の電圧波形とは、同一のものである。一方、この電圧波形に直交する方向に示すＡ〜Ｓを付した垂直転送路のポテンシャル状況を示す波形は、図１５が前半部分を示し、図１６が後半部分を示している。
【００７５】
まず、初期状態として、各垂直転送路ゲート信号及びポテンシャル状態がそれぞれ図１５のＡに示す状態から、図１５のＢに示すように、V3A，V3Bにそれぞれ電荷読出パルス31a，31bを与え、偶数ラインの電荷のみを全て垂直転送路に読み出す。次に、図１５のＣ〜Ｈに示すように、V3Bの電荷読出パルス31bの印加は停止するが、V3Aには電荷読出パルス31aを加えたまま、４段分正方向に垂直転送を行う。すると、垂直転送を行っても、１０ラインおき、すなわち５段おきのV3Aの電極部分でポテンシャル井戸が深くなっているため、読み出された偶数ラインの電荷(画素電荷)は、V3A下の電荷保持部において、Ｒの画素の同色５画素分の電荷が混合すなわち加算される。そして、V3Aの電荷読出パルス31aの印加を停止した状態で、図１５のＩ及び図１６のＩに示すように、１段あたりに５画素分の電荷が足し合わされた５画素混合電荷34が保持された状態となる。
【００７６】
そして、この図１５のＩ及び図１６のＩに示す状態から、V1A〜V4に所定の電圧を加えて、図１６のＪ〜Ｋに示すように、５画素混合電荷34を水平転送路とは逆方向に２．５段分垂直転送、いわば逆転転送し、V1A電極下に偶数ラインの５画素混合電荷34を一時待避させる。この状態から、図１６のＬに示すように、V1Bに電荷読出パルス32bを与え、奇数ラインの電荷の４／５を読み出す。次いで、図１６のＭに示すように、このV1Bの電荷読出パルス32bの印加を停止した後、V1A〜V4に所定の電圧を加えて、図１６のＮ〜Ｏに示すように、偶数ラインの５画素混合電荷34及び奇数ラインの４／５の電荷を、一段分、正方向にすなわち水平転送路に向かって垂直転送する。
【００７７】
次いで、図１６のＰに示すように、V1Aに電荷読出パルス32aを与え、奇数ラインの残りの１／５ラインの電荷を垂直転送路へ読み出す。すると、この図１６のＰに示すV1Aの電極下では、奇数ラインのうち、隣接する２画素分が混合され、残りの奇数ラインの電荷保持部には１画素分の電荷が読み出され保持された状態となる。この状態から、図１６のＱ〜Ｒに示すように、V1Aに電荷読出パルス32aを加えたまま、各電荷を正方向に３段分垂直転送する。すると、図１６のＲに示すように、V1Aの電極下の電荷保持部において、Ｇの画素同色5画素分の電荷が加算され、５画素混合電荷44が生成される。そして、V1Aの電荷読出パルス32aの印加を停止した後、図１６のＳに示すように、１段あたりに偶数ライン、奇数ラインそれぞれの電荷が同色同士で５画素分足し合わされた５画素混合電荷34，44が保持された状態となる。
【００７８】
さらに、この後の垂直転送及び水平転送は図１７ないし図１９に示すように行われる。すなわち、図１７(Ａ)は、図１６のＳに示す垂直転送路の状態を示している。また、図１７ないし図１９の41は垂直転送路を示し、42は水平転送路を示している。図１５及び図１６に示す工程では、垂直転送路41で複数ラインを足し合わせているが、端部、例えば水平転送路42側である一番下側のライン43では、全ての有効画素の足し合わせはできず、不完全な画素混合状況が発生している。そこで、まず、このライン43の不完全な混合画素を垂直転送、水平転送で外部に読み出す。この後、図１７(Ｂ)に示すように、最初の有効な５画素混合ラインを水平転送路に転送する。この５画素混合ラインの上部には、空の電荷保持部が３段分存在するため、ここで直ちに水平転送を行わず、図１７（Ｃ）、図１８(Ｄ)、及び図１８(Ｅ)に示すように、３段分垂直転送を行う。即ち、最初の有効ラインを水平転送路に転送した分を含めると、水平転送を行う前に４段の垂直転送を行う。その後、図１８(Ｆ)に示すように、水平転送を行って、最初の有効５画素混合ラインを読み出し、次に、図１９(Ｇ)に示すように、１段分垂直転送を行って、次の有効５画素混合ラインを水平転送路に転送する。そして、今回は、図１９(Ｈ)に示すように、直ぐ上に有効ラインが存在するため、直ちに水平転送を行い、図１９(Ｉ)に示すように、１段分垂直転送を行う。
【００７９】
そして、以後、４段垂直転送、水平転送、１段垂直転送、水平転送、…との動作を繰り返し、画像信号を外部へ読み出す。このように、垂直転送路で全画素が読み出され同色同士足し合わされた後は、垂直転送路は４段、１段の繰り返しで正方向に転送動作させることにより、結果として、静止画の５倍のフレームレートで全画素信号を読み出すことができる。
【００８０】
なお、図１４は、この同色５ライン足し合わせ全画素読出モードにより、最終的に足し合わされて読み出された画素の組み合わせを模式的に示している。このように、本実施の形態では、電荷読出の過程で垂直転送の方向の反転である逆転転送の動作を行うことにより、ラインの読み出し順の補正が可能になり、外部構成要素などによるライン入れ替え処理の必要もなく、コストを低減することが容易になる。
【００８１】
また、この第２の実施の形態では、偶数ラインのみならず奇数ラインも垂直転送路上でライン加算動作を完結させているが、第１の実施の形態と同様に、奇数ラインの加算動作は、垂直転送路上での加算と水平転送路上での加算とを組み合わせて実現することもできる。
【００８２】
また、第１の実施の形態においても、奇数ラインの加算動作を、この第２の実施の形態のように、垂直転送路上で完結させることもできる。すなわち、本願で説明する各実施の形態において、奇数ラインの加算動作は、垂直転送路上で完結させてもよく、また、垂直転送路上での加算と水平転送路上での加算とを組み合わせて実現することができる。
【００８３】
次に、図２０ないし図３１に示す第３及び第４の実施の形態である、間引き対応のプログレッシブスキャン方式ＣＣＤ(プログレッシブＣＣＤ)を用いた構成について概説する。
【００８４】
このプログレッシブＣＣＤでは、３相垂直転送構造の場合、通常の間引き対応では、電荷読出電極の数はV2A,V2Bの２系統で、垂直転送電極はV1,V2A,V2B,V3の合計４系統のところが、本構成を実現するために電荷読出電極がV2A,V2B,V2C,V2Dの４系統となり、垂直転送電極はこれら電荷読出電極にV1,V3を加えた合計６系統に増加させる必要があるが、どのような数のライン加算であっても、この系統の数が増えることはない。
【００８５】
また、４相垂直転送構造の場合、通常の間引き対応では電荷読出電極の数はV2A,V2Bの２系統で、垂直転送電極の合計はV1,V2A,V2B,V3,V4の合計５系統のところが、本構成を実現するために電荷読出電極がV1,V2A,V2B,V3の４系統となり垂直転送電極はこれら電荷読出電極にV1,V3,V4を加えた合計７系統に増加させる必要があるが、どのような数のライン加算であっても、この系統の数が増えることはない。
【００８６】
すなわち、プログレッシブＣＣＤの場合、電荷読出電極はV2A,V2B,V2C,V2Dの4系統を設ける。そして、ある縦列のカラーフィルタの組み合わせがＲＧＲＧ…となり、Ｒが偶数番目、Ｇが奇数番目の水平ライン上にあり、電荷読出電極V2Aが１０の倍数のライン番号のＲの画素、V2Bが残りのＲ画素すなわち残りの偶数番目の水平ラインの電荷読出電極、V2Cが５の倍数の奇数ライン番号のＧの画素、V2Dが残りのＧの画素すなわち残りの偶数番目の水平ラインの電荷読出電極であるとする。
【００８７】
まず、V2AとV2Bに電荷読出電圧を加えて、Ｒの画素すなわち偶数ラインの電荷を全て垂直転送路へ読み出す。その後、V2Bの電圧は元に戻すが、V2Aには電荷読出電圧を加えたまま垂直転送を８段分行う。すると、１０ライン毎に存在するV2Aの電極下ではポテンシャル井戸が深いままなので、この部分でV2Aの上方向に近接するＲ画素５画素分の信号電荷が同色同士で足し合わされ、第１の加算電荷としてのＲの５画素加算電荷(5Ｒ)が生成される。
【００８８】
この後、このＲの５画素加算電荷すなわち偶数ラインの５画素加算電荷を、４段水平転送路とは逆方向に転送し待避させた後、今度は、V2C,V2Dに電荷読出電圧を加えてＧの画素すなわち奇数ラインの電荷を全て垂直転送路へ読み出す。偶数ラインの時と同様に、V2Dの電圧は元に戻すが、V2Cには電荷読出電圧を加えたまま、垂直転送を８段分行う。すると、V2Cの電極下でその上方向に近接するＧ画素5画素分の信号電荷が同色同士で足し合わされ、第２の加算電荷としてのＧの５画素加算電荷(5Ｇ)が生成される。
【００８９】
この結果、垂直転送路には、下側から順に、5Ｇ、5Ｒ、空、空、空、空、空、空、空、空、5Ｇ、5Ｒ、空、空…の状態で、全画素が読み出された状態が作り出される。そして、この以後は、１段垂直転送、水平転送、９段垂直転送、水平転送…の繰り返しで画素信号をＣＣＤの外部へ読み出せば、５倍のフレームレートで、同色加算全画素読み出しを実現できる。
【００９０】
次に、本発明の第３の実施の形態を図２０ないし図２６を参照して説明する。この第３の実施の形態の構成は、第１の実施の形態の構成に準じ、構成図は図１と同一であるが、本実施の形態は、図２０に内部構造を示すように、ＣＣＤ２として、いわゆるカラーベイヤー配列間引き対応インターライン型プログレッシブスキャンＣＣＤに適用したものである。
【００９１】
すなわち、この第３の実施の形態では、ＣＣＤ２は、カラーベイヤー配列インターライン型プログレッシブスキャンＣＣＤである。このＣＣＤ２は、静止画、動画兼用を特徴とし、動画専用用途のＣＣＤに較べて画素数が著しく多いため、静止画撮影時には全画素を順番に個別に読み出すが、動画撮影時には水平ラインを５画素同色同士を加算して読み出すようになっており、多画素であっても動画時のフレームレートを高く維持する工夫がされている。
【００９２】
そして、このＣＣＤ２は、ＣＣＤ駆動回路３により駆動され、画像信号５を出力する。そして、ＣＣＤ駆動回路３がＣＣＤ２に与える駆動信号４には、後述する垂直転送路ゲート信号V1,V2A,V2B,V2C,V2D,V3、が含まれている。また、ＣＣＤ駆動回路３には、駆動モード切替信号６が入力され、この駆動モード切替信号６により、ＣＣＤ駆動回路３はＣＣＤ２の駆動動作モードを切り替える。
【００９３】
また、ＣＣＤ２は、図２０に内部構造を示すように、光電変換手段としてのフォトダイオード11と、これらフォトダイオード11に接続された第１のＣＣＤである垂直転送路12と、これら垂直転送路12にそれぞれ接続された垂直転送路ゲート信号配線13とを備えている。また、図中、矢印14は、図示しない第２のＣＣＤである水平転送路方向への垂直転送方向である正方向を示している。
【００９４】
また、フォトダイオード11は、それぞれ画素を構成し、二次元的に所定のパターンで配列され、本実施の形態では、原色ベイヤー配列すなわち原色方式であるベイヤ方式で、所定の縦列のカラーフィルタの組み合わせがＲＧＲＧ…となり、Ｒが偶数番目、Ｇが奇数番目の水平ライン上にあり、この縦列に隣接する縦列のカラーフィルタの組み合わせがＧＢＧＢ…で、Ｇが偶数番目、Ｂが奇数番目の水平ライン上にある。
【００９５】
そして、フォトダイオード11に蓄積された電荷は、それぞれに隣接する垂直転送路12のゲート電極にプラス電位の電荷読出電圧である電荷読出パルスが加わることで、垂直転送路12側に読み出される。そして、ＣＣＤ２のこのような電荷読出動作を伴う垂直転送路ゲート電極の組み合わせは、図２０に示すように、V2A,V2B,V2C,V2Dの４系統であり、これら４系統の電極に、電荷読出動作を伴わない垂直転送専用ゲート電極V1,V3を加え、合計６系統の垂直転送路ゲート電極が存在し、それぞれ垂直転送路ゲート信号配線13に接続されている。
【００９６】
なお、本実施の形態のＣＣＤ２は一例として５ライン加算の構成を示しているにすぎず、実際には、V2A,V2Cに相当する電極をカラーフィルタを考慮しつつ何ラインごとに配置するかで、様々なライン加算数のＣＣＤを実現することも可能である。本実施の形態では、ライン加算数がどのように増加しても、垂直転送路ゲート電極の数が増えることはなく、コストを抑制することができる。
【００９７】
次に、実際の信号読出動作について、静止画モードから説明する。
【００９８】
まず、全フォトダイオード11は、電子シャッタ動作により、不要な電荷がＣＣＤの基板部へ掃き捨てられて、光学系を介した露光に対して一斉に電荷の蓄積を開始する。そして、所定の露光時間が経過して露光が終了すると、全フォトダイオード11の電荷が垂直転送路12へと読み出される。
【００９９】
次に、図２１を参照して、電荷読出及び垂直転送の状態について説明する。図２１は、図２０の一番左端の縦列における電荷読出と垂直転送の様子について説明しているが、以下の説明において、隣接する縦列を含む他の全ての縦列で同様の動作が生じているものとする。すなわち、電荷読出や垂直転送は、水平ライン単位で行われる。また、この図２１において、V1〜V3を付した波形は、各垂直転送路ゲート信号の電圧波形を示し、この電圧波形に直交する方向に示すＡ〜Ｉを付した波形は垂直転送路のポテンシャルを示している。また、図中、51a，51b，51c，51dは電荷読出パルス、52は読み出された電荷である。まず、初期状態として、各垂直転送路ゲート信号及びポテンシャル状態がそれぞれ図２１のＡに示す状態から、図２１のＢに示すように、V2A,V2B,V2C,V2Dに電荷読出パルス51a，51b，51c，51dを加える。すると、図２１のＣに示すように、全ての電荷52が垂直転送路へ読み出される。次いで、V1A〜V4に所定の電圧を加えて、図２１のＤ〜Ｉに示すように、読み出した電荷52を１段垂直転送し、最下部のラインの電荷を図示しない水平転送路に転送する。この後、水平転送により１ラインの電荷を全て読み出す。次いで、１段垂直転送、水平転送を繰り返し、水平ラインの電荷を先頭から順番に１ラインずつ個別に全て読み出し、ＣＣＤ２の外部に出力することにより、静止画モードの読み出しを終了する。すなわち、静止画モードは、１フレームで全画素を先頭から順番に個別に読み出すモードであり、１コマの画素数が非常に多くなるため、非常に遅いフレームレートとなり、動画には向かないものの、多画素ＣＣＤの全画素を全て独立で読み出すため、静止画としては申し分のない、極めて高精細の画像を得ることができる。
【０１００】
次に、本実施の形態による同色５ライン足し合わせ全画素読出モードについて、図２２及び図２３を参照して説明する。
【０１０１】
これら図２２及び図２３においては、図２０の一番左端の縦列における電荷読出と垂直転送の様子について説明しているが、以下の説明において、隣接する縦列を含む他の全ての縦列で同様の動作が生じているものとする。すなわち、加算や電荷読出、垂直転送は、水平ライン単位で行われる。また、図２２に示すV1〜V3を付した各垂直転送路ゲート信号の電圧波形と、図２３に示すV1〜V3を付した各垂直転送路ゲート信号の電圧波形とは、同一のものである。一方、この電圧波形に直交する方向に示すＡ〜Ｙを付した垂直転送路のポテンシャル状況を示す波形は、図２２が前半部分を示し、図２３が後半部分を示している。
【０１０２】
まず、初期状態として、各垂直転送路ゲート信号及びポテンシャル状態がそれぞれ図２２のＡに示す状態から、図２２のＢに示すように、V2A,V2Bにそれぞれ電荷読出パルス51a，51bを与え、偶数ラインの電荷52のみを全て垂直転送路に読み出す。次に、図２２のＣ〜Ｋに示すように、V2Bの電荷読出パルス51bの印加は停止するが、V2Aには電荷読出パルス51aを加えたまま、８段分正方向に垂直転送を行う。すると、垂直転送を行っても、１０段おきのV2Aの電極部分でポテンシャル井戸が深くなっているため、読み出された偶数ラインの電荷(画素電荷)は、V2A下の電荷保持部において、Ｒの画素の同色５画素分の電荷が混合すなわち加算される。そして、V2Aの電荷読出パルス51aの印加を停止した状態で、図２２のＬ及び図２３のＬに示すように、１段あたりに５画素分の電荷が足し合わされた５画素混合電荷54が保持された状態となる。
【０１０３】
そして、この図２３のＬに示す状態から、V1〜V3に所定の電圧を加えて、図２３のＭ〜Ｒに示すように、５画素混合電荷54を水平転送路方向の反対方向に４段分垂直転送すなわち逆転転送し、V2B電極下に５画素混合電荷54を一時待避させる。この状態から、図２３のＳに示すように、V2C,V2Dに電荷読出パルス51c，51dを与え、奇数ラインの電荷を垂直転送路に読み出す。次いで、図２３のＴ〜Ｘに示すように、V2Cの電荷読出パルス51cを加えたまま、V2Dの電荷読出パルス51dの印加は停止した状態で、V1〜V3に所定の電圧を加えて、垂直転送路の各電荷52を水平転送路に向かって正方向に８段分垂直転送する。すると、垂直転送をおこなっても、１０段おきのV2Cの電極部分でポテンシャル井戸が深くなっているため、読み出された奇数ラインの電荷は、V2C下の電荷保持部において、Ｇの画素の同色５画素分の電荷が混合すなわち加算される。そして、V2Cの電荷読出パルス51cの印加を停止した状態で、図２３のＹに示すように、１段あたりに５画素分の電荷が足し合わされた５画素混合電荷55が保持された状態となる。そして、この図２３のＹに示す状態では、図２４(Ａ)にも示すように、奇数ラインの５画素混合電荷55のすぐ上に、先に読み出され混合されていた偶数ラインの５画素混合電荷54が存在している。そこで、図２４(Ｂ)及び(Ｃ)に示すように、最初の５画素混合電荷55を水平転送路に読み出し出力した後は、図２５(Ｄ)ないし図２６(Ｉ)に示すように、１段垂直転送、水平転送、９段垂直転送、水平転送、…の繰り返しで、同色の５画素混合電荷54，55を読み出すことができる。
【０１０４】
なお、この実施の形態では、原色ベイヤー配列を例にあげて説明したが、これに限られず、１つの縦ラインのカラーフィルタが２組以下であれば、どのようなフィルタ配列であっても適用可能である。すなわち、第４の実施の形態に示すフィルタ配列以外にも、現存するほとんど全てのフィルタ配列において適用可能である。
【０１０５】
すなわち、この実施の形態のように、プログレッシブＣＣＤでは、読み出し電極を４系統とすることにより、あらゆるカラーフィルタ配列で上記と同様の効果を得ることができる。また、この構成では、通常の構成に較べ、垂直転送電極の数が２系統増加するが、ＣＣＤの画素数の増加に伴いラインの加算数が増加しても、垂直転送電極の数はこれ以上増加せず、コストの上昇を抑制できる。
【０１０６】
また、この実施の形態では、垂直転送路上で偶数ラインの５画素混合電荷を生成した後に、第２の実施の形態で示した手法により、すなわち、垂直転送路で逆転転送を行い、ＣＣＤ２の内部で出力ライン順の偶数奇数逆転を補償しているが、次に示す第４の実施の形態のように、第１の実施の形態と同様に、正方向の垂直転送のみで全ての画素混合を実現し、画像処理などを司るＣＣＤ外部の構成要素によりライン順を補償することもできる。さらに、この実施の形態においても、第２の実施の形態と同様に、奇数ライン側の画素混合は、水平転送路上で行うこともできる。
【０１０７】
次に、本発明の第４の実施の形態を図２７ないし図３１を参照して説明する。
【０１０８】
なお、この第４の実施の形態のＣＣＤ２の内部構成及びＣＣＤ２の駆動を含む基本動作は、図２０に示す第３の実施の形態と同様であり、静止画モードの動作の説明は省略する。そして、この実施の形態は、垂直転送路において、電荷を水平転送路方向である正方向のみに転送すれば良く、逆転転送する必要がないため、逆転転送の転送効率が著しく低下したＣＣＤについても対応でき、汎用性を向上できるとともに、水平転送路での加算を取り入れることにより、読み出し動作に要する時間を第３の実施の形態に較べて若干短くすることができる。
【０１０９】
次に、本実施の形態による動画モード、すなわち同色５ライン足し合わせ全画素読出モードについて、図２７及び図２８を参照して説明する。
【０１１０】
これら図２７及び図２８においては、図２０の一番左端の縦列における電荷読出と垂直転送の様子について説明しているが、以下の説明において、隣接する縦列を含む他の全ての縦列で同様の動作が生じているものとする。すなわち、加算や電荷読出、垂直転送は、水平ライン単位で行われる。また、図２７に示すV1〜V3を付した各垂直転送路ゲート信号の電圧波形と、図２８に示すV1〜V3を付した各垂直転送路ゲート信号の電圧波形とは、同一のものである。一方、この電圧波形に直交する方向に示すＡ〜Ｕを付した垂直転送路のポテンシャル状況を示す波形は、図２７が前半部分を示し、図２８が後半部分を示している。
【０１１１】
まず、初期状態として、各垂直転送路ゲート信号及びポテンシャル状態がそれぞれ図２７のＡに示す状態から、図２７のＢに示すように、V2A，V2Bにそれぞれ電荷読出パルス51a，51bを与え、偶数ラインの電荷52のみを全て垂直転送路に読み出す。次に、図２７のＣ〜Ｋに示すように、V2Bの電荷読出パルス51bの印加は停止するが、V2Aには電荷読出パルス51aを加えたまま、８段分正方向に垂直転送を行う。すると、垂直転送を行っても、１０段おきのV2Aの電極部分でポテンシャル井戸が深くなっているため、読み出された偶数ラインの電荷(画素電荷)は、V2A下の電荷保持部において、Ｒの画素の同色５画素分の電荷が混合すなわち加算される。そして、V2Aの電荷読出パルス51aの印加を停止した状態で、図２７のＬ及び図２８のＬに示すように、１段あたりに５画素分の電荷が足し合わされた５画素混合電荷54が保持された状態となる。
【０１１２】
そして、この図２８のＬに示す状態から、V1〜V3に所定の電圧を加えて、図２８のＭ〜Ｒに示すように、５画素混合電荷54を水平転送路方向すなわち正方向に６段分垂直転送し、V2B電極下に５画素混合電荷54を一時待避させる。この状態から、図２８のＳに示すように、V2C,V2Dに電荷読出パルス51c，51dを与え、奇数ラインの電荷を垂直転送路に読み出す。次いで、図２８のＴに示すように、これらV2C,V2Dの電荷読出パルス51c，51dの印加を停止する。この状態で、図２８のＵに示すように、最下段の一部を除き、５Ｒ，Ｇ，Ｇ，Ｇ，Ｇ，Ｇ，５Ｒ，Ｇ，Ｇ，Ｇ，Ｇ，Ｇ，…の繰り返しの形で、全画素の電荷が垂直転送路へ読み出された状態になる。
【０１１３】
さらに、この後の垂直転送及び水平転送は図２９及び図３０に示すように行われる。すなわち、図２９(Ａ)は、図２８のＵに示す垂直転送路の状態を示している。また、図２９及び図３０の61は垂直転送路を示し、62は水平転送路を示している。そして、この図２９(Ａ)の段階では、上記の読み出し動作の過程の結果により、既に水平転送路62には、偶数ラインの５画素混合電荷(Ｒ0+Ｒ2+Ｒ4+Ｒ6+Ｒ8)63が存在している。そこで、図２９(Ｂ)に示すように、この５画素混合電荷(Ｒ0+Ｒ2+Ｒ4+Ｒ6+Ｒ8)63を水平転送で読み出した後、図２９(Ｃ)に示すように、水平転送を止めたまま垂直転送を行い、水平転送路で奇数ラインの加算すなわち画素混合を行う。また、図２９(Ｃ)に示す状態では、水平転送路上の電荷（Ｇ1+Ｇ3）は、画面の端部のため、足し合わせが足りず、不完全な混合画素数となっている。そこで、図３０(Ｄ)に示すように、この電荷（Ｇ1+Ｇ3）を水平転送出力したのち、図３０(Ｅ)に示すように、１段分垂直転送を行って、５画素が足し合わされた偶数ラインの５画素混合電荷(Ｒ10+Ｒ12+Ｒ14+Ｒ16+Ｒ18)63を水平転送路へ転送する。
【０１１４】
そして、図３０(Ｆ)に示すように、この５画素混合電荷(Ｒ10+Ｒ12+Ｒ14+Ｒ16+Ｒ18)63を水平転送により出力する。次いで、図３１(Ｇ)に示すように、１段分垂直転送を行って、電荷（Ｇ5）を水平転送路へ転送し、続いて、図３１(Ｈ)に示すように、水平転送を行わないうちに、引き続き８段分の垂直転送を行い、水平転送路上で奇数ラインの加算を行い、第２の加算電荷としての５画素加算信号電荷である５画素混合電荷(Ｇ5+Ｇ7+Ｇ9+Ｇ11+Ｇ13)64を生成する。
【０１１５】
そして、図３１(Ｉ)に示すように、この電荷を水平転送で出力した後は、上記と同様に、１段垂直転送、水平転送、９段垂直転送、水平転送…との動作を繰り返し、画像信号を外部へ読み出す。このように、垂直転送路61に全画素が一部加算されて読み出された後は、垂直転送路61を１段、９段の繰り返しで転送動作させることにより、結果として、静止画の５倍のフレームレートで全画素信号を読み出すことができる。
【０１１６】
なお、この第４の実施の形態においても、第１の実施の形態と同様に、５画素混合電荷である加算信号について、電荷の配列が偶数ラインと奇数ラインとで位置関係が逆転している。そして、このような現象は、この実施の形態に示すＣＣＤ２の後段に配置される画像処理などを司るＣＣＤ２外部の構成要素により、例えば、１ライン分の画像データを記録できる処理装置としてのラインバッファを設け、先に出力されたライン信号を一時保持し、次のライン信号を先に通過させ、偶数ラインと奇数ラインとの信号を入れ替える処理などを行うことで、補償することができる。
【０１１７】
次に、図３２ないし図３８に示す第５及び第６の実施の形態である、インターレース補色線順次を用いた構成について概説する。
【０１１８】
すなわち、図３２ないし図３８に示す第５及び第６の実施の形態のように、例えば、Ｙｅ(イエロー),Ｍｇ(マゼンダ),Ｃｙ(シアン),Ｇ(グリーン)のフィルタを用いる色差線順次方式(補色方式)のように、特定の意図的色混合(フィルタペア形成)を前提としたカラーフィルタ配列のカラー単板、動画静止画兼用、間引き対応の多画素インターラインＣＣＤに適用することもできる。この多画素インターラインＣＣＤでは、先に一方のフィルタペアを垂直転送路上に形成した後、特定の電荷読出電極に電荷読出電圧を加えたまま垂直転送をすることにより、複数の同色フィルタペアのライン加算を行い、次に、残されたラインによるカラーフィルタペアを、先のフィルタペアとの混色を回避させつつ垂直転送路へ読み出し形成し、再度特定の電荷読出電極に電荷読出電圧を加えたまま垂直転送をすることにより、複数の同色フィルタペア同士をライン加算して、結果として、同色複数フィルタペアのライン加算で全画素読出を行い、予め意図している後段の画像処理に支障を来すことなく、フレームレート向上、垂直空間周波数再現性向上、感度向上といった、動画像の著しい画質向上を実現できる。
【０１１９】
すなわち、ライン混合により輝度、色差信号を容易に生成できるカラーフィルタ配列のカラー単板、動画静止画兼用、間引き対応多画素インターライン・インターレーススキャンＣＣＤにおいても、上記動作を応用して、後段の画像処理に影響を与えることなく、同色フィルタペア同士を複数加算して全画素読み出しを実現できる。
【０１２０】
次に、本発明の第５の実施の形態を図３２ないし図３５を参照して説明する。この第５の実施の形態の構成は、第１の実施の形態の構成に準じ、構成図は図１と同一であるが、本実施の形態では、図３２に内部構造を示すように、ＣＣＤとして、いわゆる色差線順次方式(補色方式)の間引き対応インターライン型インターレーススキャンＣＣＤに適用したものである。
【０１２１】
すなわち、この第５の実施の形態では、ＣＣＤは、カラーインターライン型インターレーススキャンＣＣＤである。このＣＣＤ２は、静止画、動画兼用を特徴とし、動画専用用途のＣＣＤに較べて画素数が著しく多いため、静止画撮影時には、メカニカルシャッタを併用することで、全画素を個別に読み出すが、動画撮影時には画素混合を行うことにより、全画素を静止画の４倍のフレームレートで読み出すことができる。また、このカラーフィルタ配列は、動画時には意図的に異なる色のフィルタ画素を混色させることにより、以後の画像処理を容易にすることができる。すなわち、上下に隣接する画素同士を足し合わせることにより、Ｙｅ+Ｍｇ，Ｙｅ+Ｇ，Ｃｙ+Ｇ，Ｃｙ+Ｍｇの４通りのフィルタペア信号を取り出すことができる。そして、
(Ｙｅ+Ｍｇ)+(Ｃｙ+Ｇ)＝２Ｒ+３Ｇ+２Ｂ≒輝度信号Ｙ１
(Ｙｅ+Ｇ)+(Ｃｙ+Ｍｇ)＝２Ｒ+３Ｇ+２Ｂ≒輝度信号Ｙ２
(Ｃｙ+Ｇ)−(Ｙｅ+Ｍｇ)＝Ｇ−２Ｒ ≒色差信号Ｃｒ
(Ｙｅ+Ｇ)−(Ｃｙ+Ｍｇ)＝Ｇ−２Ｂ ≒色差信号Ｃｂ
のように、それぞれフィルタペア信号を加算あるいは減算することにより、輝度信号、色差信号の近似信号をごく容易に生成できる。このため、このようなカラーフィルタ配列は、一般的には、ムービー用途のカラーＣＣＤフィルタ配列として普及定着している。
【０１２２】
そして、ＣＣＤは、図３２に内部構造を示すように、光電変換手段としてのフォトダイオード11と、これらフォトダイオード11に接続された第１のＣＣＤである垂直転送路12と、これら垂直転送路12にそれぞれ接続された垂直転送路ゲート信号配線13とを備えている。また、図中、矢印14は、図示しない第２のＣＣＤである水平転送路方向への垂直転送方向である正方向を示している。
【０１２３】
また、フォトダイオード11は、それぞれ画素を構成し、二次元的に所定のパターンで配列され、本実施の形態では、上記のようにカラーフィルタの配列は色差線順次方式(補色方式)で、所定の縦列のカラーフィルタの組み合わせが、Ｙｅ,Ｍｇ,Ｙｅ,Ｇ…となり、Ｍｇ及びＧが偶数番目の水平ライン上に位置している。そして、この縦列に隣接する縦列のカラーフィルタの組み合わせがＣｙ,Ｍｇ,Ｃｙ,Ｇ…となり、Ｍｇ及びＧが偶数番目の水平ライン上に位置している。
【０１２４】
そして、フォトダイオード11に蓄積された電荷は、それぞれに隣接する垂直転送路12のゲート電極にプラス電位の電荷読出電圧である電荷読出パルスが加わることで、垂直転送路12側に読み出される。そして、ＣＣＤのこのような電荷読出動作を伴う垂直転送路ゲート電極の組み合わせは、図３２に示すように、V1A,V1B,V1C,V3A,V3B,V3Cの６系統であり、これら６系統の電極に、電荷読出動作を伴わない垂直転送専用ゲート電極V2,V4を加え、合計８系統の垂直転送路ゲート電極が存在し、それぞれ垂直転送路ゲート信号配線13に接続されている。
【０１２５】
なお、上記の実施の形態のＣＣＤは一例として４ライン加算(同色フィルタペア２組加算)の場合を示しているが、実際には、V1A,V3Aに相当する電極をカラーフィルタを考慮しつつ何ライン毎に配置するかにより、様々なライン加算数のＣＣＤを実現することができる。さらに、ライン加算数がどのように増加しても、垂直転送ゲート電極の数が増えることはない。
【０１２６】
そして、この実施の形態においては、信号読出動作は、第１の実施の形態同様に、静止画撮影時(静止画モード)では、１画面を偶数ラインと奇数ラインとの２フィールドに分けて、全画素を独立に読み出す。一方、動画撮影時(動画モード)では、上記のフィルタペアを、他のフィルタペアとの混色を避けつつ足し合わせて、全画素信号を４倍のフレームレートで高速に読み出す。
【０１２７】
なお、静止画撮影時の動作は、上記の各実施の形態と同様に全画素を独立に読み出すもので、説明を省略する。
【０１２８】
そして、動画撮影時など、同色フィルタペアを２組足し合わせて全画素を読み出すモードについて、以下、図３３ないし図３５を参照して電荷読出及び垂直転送の状態について説明する。すなわち、図３３及び図３４では、図３２の一番左端の縦列における電荷読出と垂直転送の様子について説明しているが、以下の説明において、隣接する縦列を含む他の全ての縦列で同様の動作が生じているものとする。すなわち、電荷読出や垂直転送は、水平ライン単位で行われる。また、図３３に示すV1A〜V4を付した各垂直転送路ゲート信号の電圧波形と、図３４に示すV1A〜V4を付した各垂直転送路ゲート信号の電圧波形とは、同一のものである。一方、この電圧波形に直交する方向に示すＡ〜Ｕを付した垂直転送路のポテンシャル状況を示す波形は、図３３が前半部分を示し、図３４が後半部分を示している。
【０１２９】
まず、初期状態として、各垂直転送路ゲート信号及びポテンシャル状態がそれぞれ図３３のＡに示す状態から、図３３のＢに示すように、V3Cのみに電荷読出パルス71を加え、Ｍｇ(マゼンダ)の存在するラインの電荷を全て垂直転送路に読み出す。次に、図３３のＣに示すように、V3Cの電荷読出パルスの印加を停止した状態で、V1A〜V4に所定の電圧を加えて、図３３のＣ〜Ｅに示すように、水平転送路方向とは逆方向に１／２段分垂直転送、すなわち逆転転送する。次いで、図３３のＦに示すように、V1A,V1Bに電荷読出パルスを加える。すると、ＭｇとＹｅ(イエロー)との電荷が足し合わされて、フィルタペア信号Ｍｇ+Ｙｅが形成される。次いで、図３３のＧに示すように、V1Aに電荷読出パルスを加えたまま、V1Bの電荷読出パルスの印加を停止した後、さらに、図３３のＨ〜Ｊに示すように、２段分逆方向に垂直転送すなわち逆転転送を行う。すると、８ラインごとに存在するV1Aの電極下では、ポテンシャル井戸が深くなっているため、２組の同色のフィルタペア信号Ｍｇ+ＹｅがV1A下の電荷保持部において混合される。すなわち、この電荷保持部では、４画素分の画素信号電荷が加算された状態になる。この後、図３３のＫ及び図３４のＫに示すように、V1Aの電荷読出パルスの印加を停止すると、V1Aの電極下に、２組の同色のフィルタペア信号が加算され、保持された状態になる。さらに、この状態から、図３４のＬに示すように、V1Cに電荷読出パルスを加え、Ｇ(グリーン)の上側のＹｅの電荷を読み出す。次いで、図３４のＭ〜Ｏに示すように、V1Cの電荷読出パルスの印加を停止し、水平転送路方向すなわち正方向に１／２段分垂直転送を行った後、図３４のＰに示すように、V3A,V3Bに電荷読出パルスを加える。すると、ＧとＹｅとの電荷が足し合わされて、フィルタペア信号Ｇ+Ｙｅが形成される。さらに、この状態で、図３４のＱに示すように、V3Aに電荷読出パルスを加えたまま、V3Bの電荷読出パルスの印加を停止した後、さらに、図３４のＲ〜Ｔに示すように、水平転送路方向すなわち正方向に２段分垂直転送を行う。すると、８ラインごとに存在するV3Aの電極下では、ポテンシャル井戸が深くなっているため、２組の同色のフィルタペア信号Ｇ+ＹｅがV3A下の電荷保持部において混合される。すなわち、この電荷保持部では、４画素分の画素信号電荷が加算された状態になる。この後、図３４のＵに示すように、V3Aの電荷読出パルスの印加を停止すると、V3Aの電極下に、２組の同色のフィルタペア信号が加算され、保持された状態になる。
【０１３０】
この後、図３５に読み出される画素の状況を示すように、まず、垂直転送路の電荷(Ｇ0+Ｙｅ1)+(Ｇ4+Ｙｅ5)を水平転送路に転送し、水平転送する。この後、３段分垂直転送して電荷(Ｍｇ2+Ｙｅ3)+(Ｍｇ6+Ｙｅ7)を水平転送路に読み出し、水平転送する。以後、同様に、一段分垂直転送、水平転送、３段分垂直転送、水平転送、…を繰り返し、静止画の４倍のフレームレートでライン混合された全画素電荷信号を読み出していくことができる。
【０１３１】
なお、この実施の形態では、垂直転送路で逆転転送を行うことで画素混合を実現しているが、以下に示す第６の実施の形態では、上記の各実施の形態と同様に、逆転転送を伴わなくとも、垂直転送路での正方向の転送のみで画素混合、この場合は同色フィルタペア信号同士の混合を実現でき、すなわち、正方向の垂直転送のみで全ての画素混合を実現し、画像処理などを司るＣＣＤ外部の構成要素によりライン順を補償できる。さらに、この実施の形態においても、第２の実施の形態と同様に、奇数ライン側の画素混合は、水平転送路上で行うこともできる。
【０１３２】
次に、本発明の第６の実施の形態を図３６ないし図３８を参照して説明する。
【０１３３】
そして、この第６の実施の形態のＣＣＤ２の内部構成及びＣＣＤ２の駆動を含む基本動作は、図３２に示す第５の実施の形態と同様であり、静止画モードの動作の説明は省略する。そして、この実施の形態は、垂直転送路において、電荷を水平転送路方向である正方向のみに転送すれば良く、逆転転送する必要がないため、逆転転送の転送効率が著しく低下したＣＣＤについても対応でき、汎用性を向上できるとともに、水平転送路での加算を取り入れることにより、読み出し動作に要する時間を第５の実施の形態に較べて若干短くすることができる。また、この６の実施の形態では、第５の実施の形態に対し、フィルタペア加算の組み合わせが変更されている。
【０１３４】
そして、動画撮影時など、同色フィルタペアを２組足し合わせて全画素を読み出すモードについて、以下、図３６ないし図３８を参照して電荷読出及び垂直転送の状態について説明する。すなわち、図３６及び図３７では、図３２の一番左端の縦列における電荷読出と垂直転送の様子について説明しているが、以下の説明において、隣接する縦列を含む他の全ての縦列で同様の動作が生じているものとする。すなわち、電荷読出や垂直転送は、水平ライン単位で行われる。また、図３６に示すV1A〜V4を付した各垂直転送路ゲート信号の電圧波形と、図３７に示すV1A〜V4を付した各垂直転送路ゲート信号の電圧波形とは、同一のものである。一方、この電圧波形に直交する方向に示すＡ〜Ｖを付した垂直転送路のポテンシャル状況を示す波形は、図３６が前半部分を示し、図３７が後半部分を示している。
【０１３５】
まず、初期状態として、各垂直転送路ゲート信号及びポテンシャル状態がそれぞれ図３６のＡに示す状態から、図３６のＢに示すように、V1Cのみに電荷読出パルス81を加え、Ｙｅの１／２、すなわちＧの上側のＹｅの電荷を垂直転送路に読み出す。次に、図３６のＣに示すように、V1Cの電荷読出パルスの印加を停止した状態で、V1A〜V4に所定の電圧を加えて、図３６のＣ〜Ｄに示すように、水平転送路方向に１／２段分垂直転送する。次いで、図３６のＥに示すように、V3A,V3Bに電荷読出パルスを加える。すると、ＹｅとＧとの電荷が足し合わされて、フィルタペア信号Ｇ+Ｙｅが形成される。次いで、図３６のＦに示すように、V3Aに電荷読出パルスを加えたまま、V3Bの電荷読出パルスの印加を停止した後、さらに、図３６のＧ〜Ｉに示すように、２段分垂直転送を行う。すると、８ラインごとに存在するV3Aの電極下では、ポテンシャル井戸が深くなっているため、２組の同色のフィルタペア信号Ｇ+ＹｅがV3A下の電荷保持部において混合される。すなわち、この電荷保持部では、４画素分の画素信号電荷が加算された状態になる。この後、図３６のＪ及び図３７のＪに示すように、V3Aの電荷読出パルスの印加を停止すると、V3Aの電極下に、２組の同色のフィルタペア信号が加算され、保持された状態になる。さらに、この状態から、図３７のＫ〜Ｐに示すように、水平転送路方向すなわち正方向に１．５段分垂直転送を行い、V1C電極下にフィルタペア信号を一時待避させる。この状態から、図３７のＱに示すように、V1A,V1Bに電荷読出パルスを与え、Ｙｅの１／２、すなわちＭｇの上側のＹｅの電荷を垂直転送路に読み出す。次いで、図３７のＲに示すように、これらV1A,V1Bの電荷読出パルスの印加を停止する。次いで、図３７のＳ〜Ｔに示すように、１／２段分垂直転送を行う。そして、図３７のＵに示すように、V3Cに電荷読出パルスを加える。すると、ＹｅにＭｇの電荷が足し合わされて、フィルタペア信号Ｍｇ+Ｙｅが形成される。次いで、図３７のＶに示すように、V3Cの電荷読出パルスの印加を停止すると、V3Cの電極下に、Ｍｇ+Ｙｅが保持された状態になる。
【０１３６】
この後、図３８に読み出される画素の状況を示すように、まず、すでに水平転送路上にある電荷(Ｇ0+Ｙｅ1)+(Ｇ4+Ｙｅ5)を水平転送し出力した後、電荷(Ｍｇ2+Ｙｅ3)を垂直転送、水平転送で出力する。以後、１段垂直転送、水平転送、３段垂直転送、水平転送を繰り返し、静止画の４倍のフレームレートでライン混合された全画素電荷信号を読み出していくことができる。
【０１３７】
なお、この第６の実施の形態においても、第１の実施の形態と同様に、５画素混合電荷である加算信号について、電荷の配列が偶数ラインと奇数ラインとで位置関係が逆転している。そして、このような現象は、この実施の形態に示すＣＣＤ２の後段に配置される画像処理などを司るＣＣＤ２外部の構成要素により、例えば、１ライン分の画像データを記録できる処理装置としてのラインバッファを設け、先に出力されたライン信号を一時保持し、次のライン信号を先に通過させ、偶数ラインと奇数ラインとの信号を入れ替える処理などを行うことで、補償することができる。
【０１３８】
また、上記の第５及び第６の実施の形態では、１例としてインターレースＣＣＤについて説明したが、第１及び第２の実施の形態と第３の実施の形態との相関、及びこれら実施の形態の動作を考慮すれば、プログレッシブＣＣＤについても容易に適用できることは明らかである。ちなみに、プログレッシブＣＣＤの場合、垂直転送路ゲート電極(読み出し電極)は、第３の実施の形態同様４系統で実現可能となる。
【０１３９】
このように、ムービーカメラなどで広く採用されている、ライン混合前提のフィルタ配列の場合は、読み出し電極が６系統必要になるが、効果は上記の各実施の形態と同様であり、同じくラインの加算数により対応でき、垂直転送電極の数は変わらず、コストの上昇を抑制できる。
【０１４０】
なお、上記の各実施の形態において、水平転送路を利用したいわば第２の加算は、垂直転送を正転送のみとした構成、あるいは、垂直転送が正転送のみならず逆転転送を含む構成のいずれとも組み合わせることができる。
【０１４１】
さらに、垂直転送を正転送のみとした構成についても、水平転送路を利用した加算を用いず、垂直転送路を用いて加算を完了することも可能である。なお、インターレース補色線順次ＣＣＤにおいて、正転送の垂直転送で加算を完了する構成については、第６の実施の形態の構成とは異なる電極配線が用いられる。
【０１４２】
また、上記の各実施の形態では、例えば５個の画素の電荷を加算して加算電荷としたが、この構成に限られず、垂直方向に連続しない２個以上の画素の電荷を加算すれば、フレームレートの向上、画質の向上などの効果を奏することができる。
【０１４３】
また、上記の実施の形態では、全画素の電荷を読み出して利用したが、有効画素から外れた一部の電荷を読み出さず、また、読み出した電荷を利用しないことなどもできる。
【０１４４】
【発明の効果】
請求項１記載の固体撮像素子の駆動方法によれば、所定のパターンで配列された複数の画素のうち、先に第１の色の複数の画素の電荷を第１の転送路に読み出し、特定の系統の電荷読出電極に電荷読出電圧を印加し続け特定の画素の電荷を読み出し保持したまま、読み出した他の画素の電荷を転送して、保持した電荷に転送した電荷を加算して、第１の色の画素の電荷を複数加算した第１の加算電荷を生成できる。次いで、この第１の加算電荷に加算しないように、転送と選択的な電荷読出とを組み合わせ、第２の色の画素の電荷を第１の転送路に複数読み出し、第１の色の画素の電荷の電荷と同様に第１の転送路で加算し、あるいは、第１の転送路から第２の転送路の同じ位置に読み込んで加算し、第２の加算電荷を生成できる。そして、これら第１及び第２の加算電荷を第２の転送路で転送して出力することにより、全画素を順次読み出し出力する状態に較べて、画素が間引かれ、フレームレートを向上できる。さらに、画素の間引きは、全画素の読み出しを行い、同色の画素の電荷を複数加算して行うことが可能なため、単に画素を選択的に読み出す構成に較べて、画質を容易に向上できる。さらに、電極数の増加を抑制し、構成を簡略化して、コストを抑制できる。
【０１４５】
請求項２記載の固体撮像素子の駆動方法によれば、請求項１記載の効果に加え、第１の加算電荷及び第２の加算電荷が所望の順序で出力可能になり、後工程における処理を容易にできる。
【０１４６】
請求項３記載の固体撮像素子の駆動方法によれば、請求項１記載の効果に加え、第１の転送路への電荷の読み出し加算動作を比較的短時間で行うことができる。
【０１４７】
請求項４記載の固体撮像素子の駆動方法によれば、請求項１ないし３いずれか記載の効果に加え、第１の加算工程は、複数の電荷読出電極に電荷読出電圧を印加して複数の画素の電荷を第１の転送路に読み出し、次いで、特定の電荷読出電極に電荷読出電圧を加えたまま、電荷読出電極及び垂直転送路専用ゲート電極に所定の電圧を加えて第１の転送路の転送を行うことにより行うことができる。
【０１４８】
請求項５記載の固体撮像素子の駆動方法によれば、請求項１ないし４いずれか記載の効果に加え、全画素をそれぞれ用いて高精細な画像を出力する状態と、画素を間引いて高速に出力するモードとを容易に切り替えて使用できる。
【０１４９】
請求項６記載の固体撮像素子の駆動方法によれば、請求項５記載の効果に加え、高精細な静止画用の信号を出力可能であるとともに、高速のフレームレートを実現しかつ画質を向上した動画用の信号が出力可能であり、静止画と動画とを切り替えて撮影する撮像装置に適した構成が実現される。
【０１５０】
請求項７記載の撮像装置によれば、所定のパターンで配列された複数の画素のうち、先に第１の色の複数の画素の電荷を第１の転送路に読み出し、特定の系統の電荷読出電極に電荷読出電圧を印加し続け特定の画素の電荷を読み出し保持したまま、読み出した他の画素の電荷を転送して、保持した電荷に転送した電荷を加算して、第１の色の画素の電荷を複数加算した第１の加算電荷を生成できる。次いで、この第１の加算電荷に加算しないように、第２の色の画素の電荷を第１の転送路に複数読み出し、第１の色の画素の電荷の電荷と同様に第１の転送路で加算し、あるいは、第１の転送路から第２の転送路の同じ位置に読み込んで加算し、第２の加算電荷を生成できる。そして、これら第１及び第２の加算電荷を第２の転送路で転送して出力することにより、全画素を順次読み出し出力する状態に較べて、画素が間引かれ、フレームレートを向上できる。さらに、画素の間引きは、全画素の読み出しを行い、同色の画素の電荷を複数加算して行うことが可能なため、単に画素を選択的に読み出す構成に較べて、画質を容易に向上できる。さらに、電極数の増加を抑制し、構成を簡略化して、コストを抑制できる。
【０１５１】
請求項８記載の撮像装置によれば、請求項７記載の効果に加え、出力される信号の順序を入れ替える処理手段を設けたため、第１の転送路及び第２の転送路で加算され出力される第１の加算電荷及び第２の加算電荷の順序を必ずしも揃える必要がない。このため、各転送路において、電荷を一方向のみに転送すれば良く、逆方向に転送する必要がないため、逆方向への転送の転送効率が悪いＣＣＤについても対応でき、汎用性を向上できる。
【図面の簡単な説明】
【図１】本発明の撮像装置の第１の実施の形態を示す構成図である。
【図２】同上撮像装置のＣＣＤの内部構造を示す一部の説明図である。
【図３】同上ＣＣＤの駆動方法の静止画モードを示す説明図である。
【図４】同上ＣＣＤの駆動方法の静止画モードを示す説明図である。
【図５】同上ＣＣＤの比較例の駆動方法の動画モードを示す説明図である。
【図６】同上ＣＣＤの駆動方法の動画モードを示す説明図である。
【図７】同上ＣＣＤの駆動方法の動画モードを示す説明図である。
【図８】同上ＣＣＤの駆動方法の動画モードを示す説明図である。
【図９】同上図８に続く説明図である。
【図１０】同上図９に続く説明図である。
【図１１】同上ＣＣＤの静止画モードの概略を示す説明図である。
【図１２】同上ＣＣＤの比較例の動画モードを示す説明図である。
【図１３】同上ＣＣＤの動画モードのライン読み出し加算の概略を示す説明図である。
【図１４】本発明の撮像装置の第２の実施の形態を示す動画モードのライン読み出し加算の概略の説明図である。
【図１５】同上ＣＣＤの動画モードを示す説明図である。
【図１６】同上図１５に続く説明図である。
【図１７】同上ＣＣＤの動画モードを示す説明図である。
【図１８】同上図１７に続く説明図である。
【図１９】同上図１８に続く説明図である。
【図２０】本発明の撮像装置の第３の実施の形態を示すＣＣＤの内部構造の一部の説明図である。
【図２１】同上ＣＣＤの静止画モードを示す説明図である。
【図２２】同上ＣＣＤの動画モードを示す説明図である。
【図２３】同上図２２に続く説明図である。
【図２４】同上ＣＣＤの動画モードを示す説明図である。
【図２５】同上図２４に続く説明図である。
【図２６】同上図２５に続く説明図である。
【図２７】本発明の撮像装置の第４の実施の形態を示すＣＣＤの動画モードを示す説明図である。
【図２８】同上図２７に続く説明図である。
【図２９】同上ＣＣＤの動画モードを示す説明図である。
【図３０】同上図２９に続く説明図である。
【図３１】同上図３０に続く説明図である。
【図３２】本発明の撮像装置の第５の実施の形態を示すＣＣＤの内部構造の一部の説明図である。
【図３３】同上ＣＣＤの動画モードを示す説明図である。
【図３４】同上図２８に続く説明図である。
【図３５】同上ＣＣＤの動画モードのライン読み出し加算の概略を示す説明図である。
【図３６】本発明の撮像装置の第６の実施の形態を示すＣＣＤの動画モードを示す説明図である。
【図３７】同上図２８に続く説明図である。
【図３８】同上ＣＣＤの動画モードのライン読み出し加算の概略を示す説明図である。
【符号の説明】
１ 撮像装置
２ 固体撮像素子としてのＣＣＤ
３ 駆動回路としてのＣＣＤ駆動回路
11 光電変換手段としてのフォトダイオード
12 第１の転送路としての垂直転送路
31a，31b 電荷読出電圧としての電荷読出パルス
33 電荷
34 第１の加算電荷としての５画素混合電荷
44 第２の加算電荷としての５画素混合電荷
V1A,V1B,V3A,V3B 電荷読出電極[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a driving method and an imaging apparatus for a solid-state imaging device used in an imaging apparatus such as a digital camera or a movie camera.
[0002]
[Prior art]
In recent years, in image pickup apparatuses such as so-called electronic still cameras and movie cameras, an image pickup device for both still images and moving images is often used instead of a conventional image pickup device dedicated to moving images. Such a still image / moving image pickup device is a so-called multi-pixel image pickup device in which the number of pixels is set to be significantly larger than a conventional moving image dedicated image pickup device for the purpose of photographing a still image with extremely high definition. It is used.
[0003]
Therefore, when a still image is shot with such a multi-pixel image sensor, it is sufficiently dense and high-quality, for example, printed in A4 size, compared to a still image shot with a conventional moving image-dedicated image sensor. High-quality images that can be enjoyed for viewing can be obtained. On the other hand, when a moving image is captured as it is with such a multi-pixel imaging device, the number of pixels is too large, so that it takes a long time to read out the image for one frame constituting the moving image, and a smooth moving image can be obtained. It becomes difficult. In this regard, a configuration is conceivable in which the operation speed of the image pickup device itself and the operation speed of the peripheral circuits of the image pickup device are increased to cope with this problem.
[0004]
Therefore, in general, when a multi-pixel image sensor is used, the pixel signals of all the pixels are read out individually when capturing a still image, but a configuration is adopted in which signals of some pixels are read out when capturing a moving image. . When a so-called CCD, which is a multi-pixel CCD (charge coupled device) image sensor, that is, a CCD image sensor, is used as a solid-state image sensor, basically, a vertical method, Currently, a method of thinning out horizontal lines at a specific rate is generally used.
[0005]
Here, in the CCD, photodiodes constituting pixels are arranged in a two-dimensional lattice to form an imaging surface, and an image formed by an optical system on the imaging surface is changed to the intensity of light for each pixel. Accordingly, this is an image pickup device that takes out the amount of charge accumulated in each photodiode as a signal. Then, the signal charges are sequentially sent to the output circuit inside the CCD one pixel at a time, and the charge signal amount is converted into a voltage change signal by one charge voltage converter, and then output to the outside of the CCD. Is done. The operation for guiding the signal charge of each pixel to the output circuit in this way is called transfer. A method generally used as a method of sequentially transferring signal charges of pixels arranged in a two-dimensional rectangular shape to an output circuit is a method in which so-called vertical transfer and horizontal transfer are combined. Here, when the vertical direction of the imaging screen is vertical and the horizontal direction is horizontal, the vertical transfer is an operation in which the signal charges of all the pixels are transferred simultaneously in the vertical direction and in the above output circuit direction. Transfer refers to the signal charge for one horizontal line in the vertical end sent to the horizontal transfer path by the vertical transfer for one stage, that is, the portion closest to the output circuit in the horizontal direction and the above. This is an operation for transferring all of the output circuits in the same direction. At this time, the signal charge for one pixel located at the end of the horizontal transfer path, that is, the portion closest to the output circuit is sent to the charge-voltage converter. As described above, when the horizontal transfer is repeated, all signal charges in the horizontal transfer path are subjected to charge-voltage conversion, and when the output ends and the horizontal transfer path becomes empty, the vertical transfer is performed again. Then, the signal charges for one horizontal line at the next vertical end are sent again to the horizontal transfer path, and are similarly sent to the output circuit in order by horizontal transfer. In this way, when all the pixels are output by sequentially repeating the simultaneous vertical transfer of the signal charges of all the pixels and the simultaneous horizontal transfer of the signal charges on the horizontal transfer path, the output of the pixel signals for one screen is completed. As a result, an electronic image can be formed and restored.
[0006]
Further, in the operation of transferring the signal charge of each pixel, the vertical transfer is usually the positive transfer for transferring the signal charge in the horizontal transfer path direction, that is, in the positive direction as described above. The transfer can be performed in the reverse direction to the horizontal transfer path, that is, reverse transfer (vertical reverse transfer). However, in recent years, with the trend toward pixel miniaturization and low power consumption due to the increase in the number of pixels, the CCD has been lowered in transfer drive voltage, and easily and efficiently performs vertical transfer as in the past. It has become difficult. Against this background, some multi-pixel CCDs have been designed in pursuit of the efficiency of vertical transfer in the positive direction, and as a result, CCDs with significantly reduced transfer efficiency in reverse transfer are also used. Yes.
[0007]
Of the various types of CCDs, the one that is usually used as the above-mentioned multi-pixel CCD is a CCD called an interline type. This interline type CCD is further of an interlace scan type by a scan type. It is roughly classified into a CCD (hereinafter referred to as interlaced CCD) and a progressive scan type CCD (hereinafter referred to as progressive CCD). Interlaced CCDs currently have the best balance between cost and performance, and are widely used as structures suitable for multi-pixel imaging devices. In this interlaced CCD, the number of horizontal lines of charges (also referred to as pixel signal charges, signal charges, and pixel charges) that can be held in the vertical transfer path is half the number of horizontal lines of a photodiode that is a photoelectric conversion unit and constitutes one pixel. For this reason, in order to read out all the pixels independently, one frame is divided into two fields, and even-numbered lines and odd-numbered lines are read out alternately, that is, interlaced twice. Therefore, two systems for even lines and odd lines are prepared for charge readout electrodes (also called signal charge readout electrodes and charge readout gate electrodes) to the vertical transfer path of charges on the photodiode. In an interlaced CCD, for example, by increasing the number of charge readout electrodes from two to four, only some lines are selectively read out and all combinations of color filters are read out to the vertical transfer path in one field. Further, it is possible to adopt a configuration that gives selectivity to line reading such that the rest is not read, and the line thinning function is easily realized. In addition, vertical transfer of such a multi-pixel interlaced CCD is generally performed by four-phase driving. In order to realize the line thinning function, for example, four lines of charge readout electrodes are included in the electrodes of the vertical transfer path. The number of conventional 4 systems is 6 systems.
[0008]
On the other hand, in contrast to such an interlaced CCD, a progressive CCD can hold charges in the vertical transfer path by the number of photodiode lines, so that all the lines in one frame can be read in order from the top. Therefore, if the thinning is not performed, the charge readout electrode can be constituted by one system. However, in order to perform the thinning readout, one system of the charge readout electrode is further added in order to realize the selectivity of the readout line. . Therefore, if the vertical transfer of the progressive CCD includes a total of two charge readout electrodes, the number of electrodes on the vertical transfer path is four in the case of four-phase driving, and five in the case of three-phase driving. The conventional 3 systems become 4 systems.
[0009]
Such a multi-system charge readout electrode structure is less expensive than the conventional one, although there are negative aspects such as the complexity of the internal wiring of the CCD and the increase in the number of external CCD driving circuits by the increase in the electrode structure. There is no other alternative method, and it is adopted in most multi-pixel CCDs.
[0010]
In addition, for the above-described general line thinning readout, various horizontal line thinning and line addition readout methods have been proposed for progressive CCDs as disclosed in, for example, Japanese Patent Laid-Open No. 10-136244. Yes. These methods can be broadly classified as follows: (1) a method of reading only n lines in m lines (m> n, m ≧ 3), and (2) a method of adding and reading charges of n lines in m lines (m> n) and (3) three methods of adding and outputting pixel signals of q lines continuous in the vertical direction are shown. In contrast to a configuration in which unnecessary lines are simply thinned out, a configuration in which the frame rate is improved while adding charges between a plurality of lines is shown.
[0011]
That is, according to the method of selectively reading out only a specific line and thinning out the rest as in the conventional case, the frame rate can be improved, but there is a serious problem in reproducing the vertical spatial frequency of the captured image. May occur. That is, in the state where the line is thinned out, the MTF (modulation transfer function) of the photographing lens remains the same even though the spatial sampling frequency and the aperture ratio in the vertical direction are reduced accordingly. Significant folding distortion occurs. This phenomenon is called moire, and is a phenomenon in which a fine-striped subject appears as a thick, coarse-striped stripe different from the actual one, which is undesirable for an imaging apparatus.
[0012]
In order to alleviate this phenomenon, it is possible to incorporate line addition as disclosed in Japanese Patent Laid-Open No. 10-136244, instead of simply thinning out lines for the purpose of improving the frame rate. Even if the MTF of the photographic lens is high on the spatial sampling frequency after line thinning, the aperture ratio increases when the line addition is performed, and the high frequency spatial frequency component is reduced, so that the same effect as the spatial filter processing is obtained. It is done. In order to maximize this effect, for example, in order to increase the frame rate by 5 times, 4/5 lines are not thinned out to read out 1/5 lines, but 5 lines are color-filtered. By adding and reading between the same colors of each other, all pixels are eventually read out at a frame rate of 5 times, the effect of the spatial filter is maximum, and the pixel charge of all the pixels contributes to imaging. The rate is exactly the same as when taking a still image.
[0013]
However, Japanese Patent Laid-Open No. 10-136244 has not proposed a method for reading out all pixel charges by adding a plurality of lines of the same color as described above. Although a method for reading out all pixels by adding the charges of successive lines on the vertical transfer path or adding them on the horizontal transfer path is mentioned, in this method, in the case of a color CCD other than the vertical stripe filter array, In addition, color mixing occurs, causing serious adverse effects on color reproducibility, and depending on the combination of color mixing, there is a problem that the original color cannot be reproduced. Here, although not shown in the above-mentioned Japanese Patent Laid-Open No. 10-136244, if all pixels are read out by adding a plurality of lines of the same color with the configuration described in this publication, for example, the above-mentioned 5-line addition is performed. In this case, assuming that the color filter array is a Bayer array as in this publication function, there are two types of color combinations in one vertical column, and each color is read out individually, and further 5 pixels are read out separately for each color. Since it is necessary, 10 charge readout electrodes are required in total, and in the case of vertical transfer driving, a total of 12 systems are required for the vertical transfer electrodes. Since there are four vertical transfer electrodes of the existing three-phase vertical transfer and thinning-out three-phase multi-pixel progressive CCD as described above, eight external vertical transfer drive circuits are added. Therefore, the scale of the CCD driving circuit is remarkably increased. Further, as the number of pixels of the CCD increases and the number of addition lines increases, the number of vertical transfer electrode systems further increases accordingly. Such an increase in the number of vertical transfer electrode systems is undesirable from the standpoints of cost, downsizing of the apparatus, and power consumption.
[0014]
[Problems to be solved by the invention]
As described above, in order to improve the quality of still images, when a multi-pixel image sensor is used for a dedicated image sensor for moving images, the pixel signal is thinned out during moving image shooting in order to improve the frame rate. However, in this case, according to the method of selectively reading out only a specific line and thinning out the remainder, the image quality of the moving image is lowered, while the charge of all pixels is added and used in the conventional configuration. Then, there is a problem that the configuration becomes complicated and the cost increases.
[0015]
The present invention has been made in view of the above points, and can drive a solid-state imaging device that can realize high image quality while improving the frame rate by adding charges of pixels of the same color, and can reduce costs with a simple configuration. It is an object to provide a method and an imaging apparatus.
[0016]
[Means for Solving the Problems]
The solid-state imaging device driving method according to
[0017]
In this configuration, among the plurality of pixels arranged in a predetermined pattern, the charges of the plurality of pixels of the first color are first read out to the first transfer path,Continue to apply the charge readout voltage to the charge readout electrode of a specific systemThe first pixel is obtained by transferring the charges of the other pixels that have been read and adding the transferred charges to the held charges and adding the charges of the pixels of the first color. Generate added charge. Next, transfer and selective charge reading are combined so as not to add to the first added charge, a plurality of charges of the second color pixel are read out to the first transfer path, and the first color pixel is read. Similarly to the charge, the charge is added on the first transfer path, or read from the first transfer path to the same position on the second transfer path and added to generate the second added charge. Then, by transferring and outputting the first and second added charges through the second transfer path, the pixels are thinned out and the frame rate is improved as compared with the state where all the pixels are sequentially read out and output. Furthermore, pixel thinning can be performed by reading all pixels and adding a plurality of charges of pixels of the same color, so that the image quality is improved as compared with a configuration in which pixels are selectively read out.
[0018]
The solid-state imaging device driving method according to
[0019]
In this configuration, the first added charge and the second added charge can be output in a desired order, and the process in the subsequent process is facilitated.
[0020]
The solid-state imaging device driving method according to
[0021]
In this configuration, the operation of reading and adding charges to the first transfer path is performed in a relatively short time.
[0022]
The solid-state imaging device driving method according to
[0023]
In this configuration, in the first addition step, the charge readout voltage is applied to the plurality of charge readout electrodes to read out the charges of the plurality of pixels to the first transfer path, and then the charge readout to the specific charge readout electrode. With voltage applied,Applying a predetermined voltage to the charge readout electrode and the gate electrode dedicated to the vertical transfer pathThis is done by transferring the first transfer path.
[0024]
The solid-state imaging device driving method according to
[0025]
In this configuration, a state in which a high-definition image is output using all the pixels and a mode in which pixels are thinned out and output at high speed are easily switched and used.
[0026]
The solid-state imaging device driving method according to
[0027]
With this configuration, it is possible to output high-definition still image signals, as well as high-speed frame rates and improved image quality, enabling switching between still images and movies. Thus, a configuration suitable for an imaging apparatus that captures images is realized.
[0028]
The imaging apparatus according to
[0029]
In this configuration, among the plurality of pixels arranged in a predetermined pattern, the charges of the plurality of pixels of the first color are first read out to the first transfer path,Continue to apply the charge readout voltage to the charge readout electrode of a specific systemThe first pixel is obtained by transferring the charges of the other pixels that have been read and adding the transferred charges to the held charges and adding the charges of the pixels of the first color. Generate added charge. Next, a plurality of charges of the second color pixel are read out to the first transfer path so as not to be added to the first added charge, and the first transfer path is read in the same manner as the charge of the charge of the first color pixel. Or read from the first transfer path to the same position on the second transfer path and add to generate a second added charge. Then, by transferring and outputting the first and second added charges through the second transfer path, the pixels are thinned out and the frame rate is improved as compared with the state where all the pixels are sequentially read out and output. Further, pixel thinning can be performed by reading all pixels and adding a plurality of charges of pixels of the same color, so that the image quality is easily improved as compared with a configuration in which pixels are selectively read out.Furthermore, the increase in the number of electrodes is suppressed, the configuration is simplified, and the cost is suppressed.
[0030]
An image pickup apparatus according to an eighth aspect of the present invention is the image pickup apparatus according to the seventh aspect, further comprising processing means capable of switching the order of the first added charge and the second added charge output from the solid-state image pickup device. .
[0031]
In this configuration, since the processing means for changing the order of the output signals is provided, the first added charge and the second added charge that are added and output in the first transfer path and the second transfer path are output. It is not always necessary to arrange the order. For this reason, in each transfer path, it is only necessary to transfer charges in one direction, and there is no need to transfer in the reverse direction. Therefore, it is possible to cope with a CCD having a low transfer efficiency in the reverse direction, and versatility. improves.
[0032]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, an embodiment of a method for driving a solid-state imaging device and an imaging apparatus of the present invention will be described with reference to the drawings.
[0033]
First, an outline of the present invention will be described. The solid-state imaging device of the present invention is a CCD image sensor using a charge coupled device (CCD), a so-called CCD, and is used in an imaging device such as a digital camera or a movie camera. Is. In particular, the CCD according to the present invention is used for an image pickup apparatus for both still and moving images that enables not only still image shooting but also moving image shooting. It is a so-called multi-pixel interline CCD.
[0034]
The CCD firstly charges one of the same color (pixel signal charge, signal charge, pixel charge) out of the two color filter pixels in one vertical column along each vertical transfer path as the first transfer path. (Referred to as charge) on the vertical transfer path, and then performing vertical transfer while applying the charge read voltage to the charge read electrodes of a specific system among the charge read electrodes of a plurality of systems. The line addition of the same colors is performed. Further, by combining vertical transfer and selective reading by a plurality of charge reading electrodes, the charge read out first and added on the vertical transfer path, and the charge of the other line of another color read out later The pixel of the line including the other color filter pixel is read out to the vertical transfer path while performing the vertical transfer while applying the charge read voltage to the specific charge read electrode as in the first color. Or, by combining the line addition operation on the horizontal transfer path as the second transfer path, the same colors read later are added together, and as a result, the same colors are added together in a plurality of lines. It can perform pixel readout, improve the frame rate, improve the vertical spatial frequency reproducibility, improve the pixel sensitivity, and achieve a significant improvement in video quality. Together can also be applied to D, it is those which can suppress an increase in manufacturing cost while suppressing complication of the structure.
[0035]
That is, with a multi-pixel CCD, pixel charges can be mixed by performing vertical transfer while applying a voltage to a specific readout electrode after reading out charges to the vertical transfer path, and high-speed high-quality moving images can be obtained. The image quality can be improved only by the reading method.
[0036]
As will be described in detail below, the first embodiment uses an interlaced CCD to transfer vertical transfer only in the positive direction (forward transfer) and to perform addition in the horizontal transfer path. In the second embodiment, an interlaced CCD transfers vertical transfer in the reverse direction as well as forward transfer (reverse transfer). In the third embodiment, a progressive CCD transfers not only forward transfer but also reverse transfer. The fourth embodiment is a progressive CCD, in which vertical transfer is only forward transfer and addition in the horizontal transfer path is performed. In the fifth embodiment, interlaced complementary color line sequential CCDs perform not only forward transfer but also reverse transfer. The sixth embodiment is an interlace complementary color line sequential CCD, in which vertical transfer is only forward transfer and addition is performed in the horizontal transfer path.
[0037]
As described above, in the present invention, high-speed all-pixel readout by multi-line addition that avoids secondary color mixture in a color single plate of any color filter array, a moving image still image, and multi-pixel interline CCD that supports thinning-out is possible. Therefore, the same minimum number of vertical transfer electrode configurations can be realized in any number of line additions without increasing the number of vertical transfer electrodes as the number of line additions increases.
[0038]
In addition, when performing pixel addition of pixels of the same color, it is possible to adopt a configuration in which reverse transfer in the vertical transfer path is performed to facilitate processing after output from the CCD, and the efficiency of reverse transfer is also improved. In a bad CCD or the like, data can be transferred only in the forward direction.
[0039]
Next, embodiments of the present invention will be described with reference to the drawings.
[0040]
First, the configuration using the interlace scan type CCD (interlace CCD) corresponding to the thinning, which is the first and second embodiments shown in FIGS.
[0041]
In this interlaced CCD, regardless of the number of lines to be added, the charge readout electrodes include four systems, and the total number of vertical transfer electrodes does not increase with six systems. Specifically, the charge readout electrodes are four systems of V1A, V1B, V3A, and V3B, and the vertical transfer electrodes are a total of six systems of V1A, V1B, V2, V3A, V3B, and V4. In other words, it can be realized with an ordinary multi-pixel interlaced CCD.
[0042]
That is, in the case of an interlaced CCD in an ordinary color filter array color single plate, a moving picture still image combined, and thinning-compatible multi-pixel interline CCD, there are four types of charge readout electrodes: V1A, V1B, V3A, and V3B. . For example, in a Bayer method (primary color method) using R (red), G (green), and B (blue) filters, a combination of color filters in a certain column is RGRG, where R is an even number and G is an odd number. The charge readout electrode V1A on the first horizontal line, the charge readout electrode of the G pixel having an odd line number that is a multiple of 5, V1B is the remaining G pixel, that is, the charge readout electrode of the remaining odd-numbered horizontal line, V3A Is the charge readout electrode of the R pixel of the horizontal line number which is a multiple of 10, and V3B is the charge readout electrode of the remaining R pixels, ie, the remaining even-numbered horizontal lines. Incidentally, in this case, the adjacent column is on the horizontal line where the combination of color filters is GBGB, G is an even number, and B is an odd number. That is, V1A is a B pixel with a line number that is a multiple of 5, and V3A is a charge readout electrode of a G pixel with a horizontal line number that is a multiple of 10. Hereinafter, in order to simplify the description, the same color addition all-pixel readout operation for the RGRG column will be described. However, the description will be made on the assumption that the same thing occurs in all pixels on the same horizontal line although the combination of colors is different for each column.
[0043]
First, a charge read voltage is applied to V3A and V3B to read all the charges of the R pixel as the first color, that is, the charges of the even lines, to the vertical transfer path. Thereafter, the voltage of V3B is restored to the original value, but vertical transfer is performed for V3A for four stages while the charge read voltage is applied. Then, since the potential well remains deep under the V3A electrode that exists every 10 lines (every 5 vertical transfer paths), the charges for the 5 R pixels adjacent in the upward direction of V3A are added in the same color. Then, an R 5-pixel added charge (5R) is generated as the first added charge. Thereafter, this 5-pixel added charge of R, that is, the 5-pixel added charge of the even line, is vertically transferred and temporarily saved under the V1A electrode in order to avoid color mixture, and then a charge read voltage is applied only to V1B to The G pixel as the second color other than the double lay, that is, the charges on the odd lines other than the multiple of 5, are read out to the vertical transfer path. Then, all the charges in the G pixels are read out except for the V1A electrode where the R 5-pixel added charge is located. Then, one-stage vertical transfer is performed, and this time, R 5-pixel added charge is saved from the V1A electrode, and a charge read voltage is applied to V1A. As a result, under the V1A electrode, the G charge of the V1A electrode and the G charge that has already been read and transferred one stage above one are mixed or added for a total of two pixels. Similarly, vertical transfer is performed for three stages while the charge read voltage is applied to V1A. Then, since the potential well remains deep under the V1A electrode existing every 10 lines (every 5 stages of the vertical transfer path), the remaining three G pixels adjacent in the upward direction of V1A are added at this portion, and the same color The five pixels are added together to generate a five-pixel added charge (5G) of G as the second added charge.
[0044]
As a result, in the vertical transfer path, a state in which all pixels are read out by repeating 5G, 5R, sky, sky, sky, 5G, 5R, sky, sky, sky,. Thereafter, when signals are read out by repeating one stage of vertical transfer, horizontal transfer, five stages of vertical transfer, and horizontal transfer, readout of all pixels with the same color is realized at a frame rate of 5 times.
[0045]
Next, a first embodiment of the present invention will be described with reference to FIGS.
[0046]
In FIG. 1,
[0047]
The
[0048]
Further, as shown in FIG. 2, the
[0049]
Each of the
[0050]
The charge accumulated in the
[0051]
Note that the
[0052]
Next, the actual signal reading operation will be described from the still image mode.
[0053]
First, all of the
[0054]
Next, the state of charge reading and vertical transfer will be described with reference to FIGS. 3 and 4 describe the state of charge readout and vertical transfer in the leftmost column of FIG. 2, that is, the vertical transfer waveform and potential. In the following description, all other columns including adjacent columns are described. It is assumed that the same operation occurs in the column. That is, charge reading and vertical transfer are performed in units of horizontal lines. 3 and 4, the waveforms with V1A to V4 indicate the voltage waveforms of the respective vertical transfer path gate signals, and the waveforms with A to G shown in the directions orthogonal to the voltage waveforms are the vertical transfer. It shows the potential of the road. In the figure, 21 is a charge read pulse, and 22 is a read charge. First, as an initial state, each vertical transfer path gate signal and potential state are applied from the state shown in FIG. 3A to the
[0055]
Subsequently, from each vertical transfer path gate signal and potential state shown in FIG. 4A, a charge read
[0056]
Thus, the readout operation in the still image mode is completed by reading out the charge on the
[0057]
Next, as a comparative example, a 1/5 thinning mode that is normally performed using the
[0058]
Hereinafter, this read operation will be described with reference to FIG. FIG. 5 illustrates the state of charge readout and vertical transfer in the leftmost column of FIG. 2, but in the following description, similar operations occur in all other columns including adjacent columns. Shall. That is, charge reading and vertical transfer are performed in units of horizontal lines. In FIG. 5, 21a is a charge read pulse applied to V3A, 21b is a charge read pulse applied to V1A, 22a is a charge of the RG line selected and read, and 22b is also selected. This is the charge of the GB line read out.
[0059]
First, as an initial state, each of the vertical transfer path gate signals and the potential state is applied from the state shown in FIG. 5A to the
[0060]
Next, the moving image mode which is the all-pixel readout mode in which five lines of the same color are added according to the present embodiment will be described with reference to FIGS.
[0061]
6 and FIG. 7, the state of charge reading and vertical transfer in the leftmost column in FIG. 2 is described. In the following description, the same applies to all other columns including adjacent columns. It is assumed that operation has occurred. That is, addition, charge readout, and vertical transfer are performed in units of horizontal lines. Further, the voltage waveforms of the vertical transfer path gate signals denoted by V1A to V4 shown in FIG. 6 are the same as the voltage waveforms of the vertical transfer path gate signals denoted by V1A to V4 shown in FIG. . On the other hand, FIG. 6 shows the first half portion and FIG. 7 shows the second half portion of the waveform indicating the potential state of the vertical transfer path with A to T shown in the direction orthogonal to the voltage waveform.
[0062]
First, as an initial state, each vertical transfer path gate signal and potential state are changed from the state shown in A of FIG. 6 to V3A and V3B, respectively, as shown in FIG. 31b is applied, and only the
[0063]
Then, a predetermined voltage is applied to V1A to V4 from the states shown in I of FIG. 6 and I of FIG. 7, and as shown in J to L of FIG. .Vertical transfer for 5 stages, and temporarily save the mixed charge of 5 pixels on the even line under the V1A electrode. From this state, as shown by M in FIG. 7, a charge read
[0064]
Next, as shown in S of FIG. 7, a charge read
[0065]
Further, the subsequent vertical transfer and horizontal transfer are performed as shown in FIGS. That is, FIG. 8A shows the state of the vertical transfer path indicated by T in FIG. 8 to 10,
[0066]
Then, as shown in FIG. 9F, this 5-pixel mixed charge (R10 + R12 + R14 + R16 + R18) 34 is output by horizontal transfer. Next, as shown in FIG. 10G, vertical transfer is performed for one stage, and the charge (G5 + G7) obtained by adding two pixels of the odd lines is transferred to the horizontal transfer path. Next, as shown in FIG. 10 (H to I), the vertical transfer is continued for three stages before the horizontal transfer is performed, the odd lines are added on the horizontal transfer path, and the second added charge is obtained. A 5-pixel mixed charge (G5 + G7 + G9 + G11 + G13) 44, which is a 5-pixel addition signal charge, is generated.
[0067]
After this charge is output by horizontal transfer, the operations of one-stage vertical transfer, horizontal transfer, four-stage vertical transfer, horizontal transfer,... Are repeated in the same manner as described above to read the image signal to the outside. As described above, after all the pixels are partially added to the
[0068]
FIG. 13 schematically shows a combination of pixels that are finally added and read out in the all-pixel reading mode in which five lines of the same color are added. It should be noted that the original arrangement of charges should be G1-3 → R0-8 → G5-13 → R10-18 → G15-23 → R20-28... Then, an addition signal, which is a mixed charge of 5 pixels, is output in the order of R0 to 8 → G1 to 3 → R10 to 18 → G5 to 13 → R20 to 28 → G15 to 23, and so on. The relationship is reversed. Such a phenomenon is caused by, for example, a line buffer as a processing device that can record image data for one line by a component outside the
[0069]
In addition, in this way, when charges (pixel charges) are mixed and read out, the charge transfer capacity of the vertical transfer path or the horizontal transfer path may be a problem. That is, the transfer capacity of each transfer path needs to be five times the saturation accumulated charge amount of the
[0070]
Further, in this embodiment, the primary color Bayer array has been described as an example. However, the present invention is not limited to this, and any filter array may be used as long as two vertical line color filters are included. Is possible. That is, the present invention can be applied to almost all existing filter arrays other than the filter array shown in the fourth embodiment.
[0071]
Thus, according to the present embodiment, interlaced CCDs achieve high frame rate, same color addition, all-pixel readout by changing the charge readout method with the current configuration in most color filter arrays. it can. As a result, the image quality of moving images can be significantly improved without increasing the cost or while suppressing the increase in cost. Can be greatly expanded. Further, as the number of pixels of the CCD increases, even if the number of lines added increases, the number of vertical transfer electrodes does not change, and an increase in cost can be suppressed.
[0072]
Further, in the present embodiment, in the vertical transfer path, it is only necessary to transfer charges in the positive direction which is the horizontal transfer path direction, and there is no need to perform reverse transfer. It can cope and can improve versatility.
[0073]
Next, a second embodiment will be described with reference to FIGS. The internal configuration of the
[0074]
Hereinafter, the five-line addition all-pixel readout mode according to the second embodiment will be described with reference to FIGS. 15 and 16. 15 and 16 describe the state of charge readout and vertical transfer in the leftmost column in FIG. 2, but in the following description, the same applies to all other columns including adjacent columns. It is assumed that operation has occurred. That is, addition, charge readout, and vertical transfer are performed in units of horizontal lines. Further, the voltage waveform of each vertical transfer path gate signal denoted by V1A to V4 shown in FIG. 15 is the same as the voltage waveform of each vertical transfer path gate signal denoted by V1A to V4 shown in FIG. . On the other hand, FIG. 15 shows the first half portion and FIG. 16 shows the second half portion of the waveform showing the potential state of the vertical transfer path with A to S shown in the direction orthogonal to the voltage waveform.
[0075]
First, as an initial state, each vertical transfer path gate signal and potential state are applied from the state shown in FIG. 15A to the
[0076]
Then, from the state shown in I of FIG. 15 and I of FIG. 16, a predetermined voltage is applied to V1A to V4, and as shown in J to K of FIG. In the reverse direction, vertical transfer is performed for 2.5 stages, that is, reverse transfer is performed, so that the even-line five-pixel
[0077]
Next, as indicated by P in FIG. 16, a charge read
[0078]
Further, the subsequent vertical transfer and horizontal transfer are performed as shown in FIGS. That is, FIG. 17A shows the state of the vertical transfer path indicated by S in FIG. Further,
[0079]
Thereafter, the operations of 4-stage vertical transfer, horizontal transfer, 1-stage vertical transfer, horizontal transfer,... Are repeated to read the image signal to the outside. As described above, after all pixels are read out and added together in the vertical transfer path, the vertical transfer path is transferred in the forward direction by repeating four stages and one stage. All pixel signals can be read out at double the frame rate.
[0080]
FIG. 14 schematically shows a combination of pixels that are finally added and read out in the all-pixel reading mode in which five lines of the same color are added. As described above, in this embodiment, by performing the reverse transfer operation, which is the reversal of the vertical transfer direction in the charge reading process, the line reading order can be corrected, and the line replacement by an external component or the like can be performed. There is no need for processing, and the cost can be easily reduced.
[0081]
In the second embodiment, not only the even lines but also the odd lines complete the line addition operation on the vertical transfer path. However, as in the first embodiment, the odd line addition operation is performed as follows. A combination of addition on the vertical transfer path and addition on the horizontal transfer path can also be realized.
[0082]
Also in the first embodiment, the addition operation of odd lines can be completed on the vertical transfer path as in the second embodiment. That is, in each embodiment described in the present application, the addition operation of the odd lines may be completed on the vertical transfer path, and is realized by combining the addition on the vertical transfer path and the addition on the horizontal transfer path. be able to.
[0083]
Next, the configuration using the progressive scan type CCD (progressive CCD) corresponding to thinning, which is the third and fourth embodiments shown in FIGS.
[0084]
In this progressive CCD, in the case of a three-phase vertical transfer structure, the number of charge readout electrodes is two systems, V2A and V2B, and the vertical transfer electrodes are V1, V2A, V2B, and V3 in total for four systems. In order to realize this configuration, there are four charge readout electrodes, V2A, V2B, V2C, and V2D, and the vertical transfer electrode needs to be increased to a total of six systems by adding V1 and V3 to these charge readout electrodes. Any number of line additions will not increase the number of systems.
[0085]
In the case of a four-phase vertical transfer structure, the number of charge readout electrodes is 2 lines, V2A and V2B, and the total number of vertical transfer electrodes is 5 lines, V1, V2A, V2B, V3, and V4. In order to realize this configuration, there are four charge readout electrodes V1, V2A, V2B, and V3, and the vertical transfer electrodes need to be increased to a total of seven systems including V1, V3, and V4 added to these charge readout electrodes. Any number of line additions will not increase the number of systems.
[0086]
That is, in the case of the progressive CCD, four charge readout electrodes V2A, V2B, V2C, and V2D are provided. A combination of color filters in a certain column becomes RGRG..., R is on the even-numbered and G-numbered horizontal lines, the charge readout electrode V2A is an R pixel having a line number that is a multiple of 10, and V2B is the remaining R pixel, that is, the remaining even-numbered horizontal line charge readout electrode, V2C is an odd line number G pixel that is a multiple of 5, and V2D is the remaining G pixel, ie, the remaining even-numbered horizontal line charge readout electrode. And
[0087]
First, a charge read voltage is applied to V2A and V2B to read all the charges of R pixels, that is, even lines, to the vertical transfer path. Thereafter, the voltage of V2B is restored, but vertical transfer is performed for eight stages while the charge read voltage is applied to V2A. Then, since the potential well remains deep under the V2A electrode that exists every 10 lines, the signal charges for the five R pixels adjacent in the upward direction of V2A are added together in the same color, and the first added charge is added. R 5-pixel added charge (5R) is generated.
[0088]
After this, the 5-pixel added charge of R, that is, the 5-pixel added charge of the even line is transferred in the opposite direction to the 4-stage horizontal transfer path and then saved, and this time, the charge read voltage is applied to V2C and V2D. All the charges of the G pixels, that is, the odd lines are read out to the vertical transfer path. As in the case of the even lines, the voltage of V2D is restored, but vertical transfer is performed for eight stages while the charge read voltage is applied to V2C. Then, the signal charges for the five G pixels adjacent in the upward direction under the electrode of V2C are added together with the same color, and a G five-pixel added charge (5G) as a second added charge is generated.
[0089]
As a result, all pixels are read in the vertical transfer path from the bottom in the order of 5G, 5R, sky, sky, sky, sky, sky, sky, sky, sky, 5G, 5R, sky, sky, etc. The released state is created. After that, if the pixel signal is read out to the outside of the CCD by repeating 1-stage vertical transfer, horizontal transfer, 9-stage vertical transfer, horizontal transfer, etc., the same color addition all-pixel readout is realized at a frame rate of 5 times. it can.
[0090]
Next, a third embodiment of the present invention will be described with reference to FIGS. The configuration of the third embodiment is the same as that of the first embodiment, and the configuration diagram is the same as that of FIG. 1, but this embodiment has a
[0091]
That is, in the third embodiment, the
[0092]
The
[0093]
Further, as shown in FIG. 20, the
[0094]
Each of the
[0095]
The charge accumulated in the
[0096]
Note that the
[0097]
Next, the actual signal reading operation will be described from the still image mode.
[0098]
First, all the
[0099]
Next, with reference to FIG. 21, the state of charge reading and vertical transfer will be described. FIG. 21 illustrates the state of charge reading and vertical transfer in the leftmost column in FIG. 20, but in the following description, the same operation occurs in all other columns including adjacent columns. Shall. That is, charge reading and vertical transfer are performed in units of horizontal lines. In FIG. 21, the waveforms with V1 to V3 indicate the voltage waveform of each vertical transfer path gate signal, and the waveforms with A to I in the direction orthogonal to the voltage waveform indicate the potential of the vertical transfer path. Is shown. In the figure, 51a, 51b, 51c, 51d are charge read pulses, and 52 is the read charge. First, as an initial state, the vertical transfer path gate signal and the potential state are changed from the state shown in FIG. 21A to the V2A, V2B, V2C, and V2D, as shown in FIG. Add 51c and 51d. Then, as shown in FIG. 21C, all
[0100]
Next, the five-line addition all-pixel readout mode according to the present embodiment will be described with reference to FIGS. 22 and 23. FIG.
[0101]
22 and 23, the state of charge readout and vertical transfer in the leftmost column in FIG. 20 is described. In the following description, the same applies to all other columns including adjacent columns. It is assumed that operation has occurred. That is, addition, charge readout, and vertical transfer are performed in units of horizontal lines. Further, the voltage waveform of each vertical transfer path gate signal denoted by V1 to V3 shown in FIG. 22 is the same as the voltage waveform of each vertical transfer path gate signal denoted by V1 to V3 shown in FIG. . On the other hand, FIG. 22 shows the first half portion and FIG. 23 shows the second half portion of the waveform showing the potential state of the vertical transfer path with A to Y shown in the direction orthogonal to the voltage waveform.
[0102]
First, as an initial state, the respective vertical transfer path gate signals and potential states are supplied from the state shown in FIG. 22A to V2A and V2B, respectively, as shown in FIG. Read only the
[0103]
Then, from the state shown in L of FIG. 23, a predetermined voltage is applied to V1 to V3, and as shown in MR of FIG. 23, the five-pixel
[0104]
In this embodiment, the primary color Bayer array has been described as an example. However, the present invention is not limited to this, and any filter array may be used as long as the number of color filters in one vertical line is two or less. Is possible. That is, the present invention can be applied to almost all existing filter arrays other than the filter array shown in the fourth embodiment.
[0105]
That is, in the progressive CCD as in this embodiment, the same effects as described above can be obtained with any color filter array by using four readout electrodes. In this configuration, the number of vertical transfer electrodes is increased by two lines compared to the normal configuration, but the number of vertical transfer electrodes is more than this even if the number of added lines increases as the number of CCD pixels increases. The increase in cost can be suppressed without increasing.
[0106]
Further, in this embodiment, after the even-line five-pixel mixed charge is generated on the vertical transfer path, the reverse transfer is performed on the vertical transfer path by the method shown in the second embodiment, that is, the inside of the
[0107]
Next, a fourth embodiment of the present invention will be described with reference to FIGS.
[0108]
The basic configuration including the internal configuration of the
[0109]
Next, the moving image mode according to the present embodiment, that is, the same color 5-line addition all-pixel readout mode will be described with reference to FIGS. 27 and 28. FIG.
[0110]
27 and 28, the state of charge readout and vertical transfer in the leftmost column in FIG. 20 is described. In the following description, the same applies to all other columns including adjacent columns. It is assumed that operation has occurred. That is, addition, charge readout, and vertical transfer are performed in units of horizontal lines. Also, the voltage waveforms of the vertical transfer path gate signals denoted by V1 to V3 shown in FIG. 27 and the voltage waveforms of the vertical transfer path gate signals denoted by V1 to V3 shown in FIG. 28 are the same. . On the other hand, in the waveform showing the potential state of the vertical transfer path with A to U shown in the direction orthogonal to the voltage waveform, FIG. 27 shows the first half and FIG. 28 shows the second half.
[0111]
First, as an initial state, each vertical transfer path gate signal and potential state are supplied from the state shown in FIG. 27A to V2A and V2B, respectively, as shown in FIG. Read only the
[0112]
Then, a predetermined voltage is applied to V1 to V3 from the state shown in L of FIG. 28, and as shown in MR of FIG. 28, the five-pixel
[0113]
Further, the subsequent vertical transfer and horizontal transfer are performed as shown in FIGS. That is, FIG. 29A shows the state of the vertical transfer path indicated by U in FIG. 29 and 30, 61 indicates a vertical transfer path, and 62 indicates a horizontal transfer path. In the stage of FIG. 29A, the
[0114]
Then, as shown in FIG. 30F, this 5-pixel mixed charge (R10 + R12 + R14 + R16 + R18) 63 is output by horizontal transfer. Next, as shown in FIG. 31 (G), vertical transfer is performed for one stage, and the charge (G5) is transferred to the horizontal transfer path, and then horizontal transfer is performed as shown in FIG. 31 (H). In the meantime, the vertical transfer for 8 stages is continued, the odd lines are added on the horizontal transfer path, and the 5-pixel mixed charge (G5 + G7 + G9 +) which is the 5-pixel added signal charge as the second added charge. G11 + G13) 64 is generated.
[0115]
Then, as shown in FIG. 31 (I), after this charge is output by horizontal transfer, the operations of 1-stage vertical transfer, horizontal transfer, 9-stage vertical transfer, horizontal transfer,... Read image signal to outside. In this way, after all the pixels are partially added to the
[0116]
In the fourth embodiment as well, as in the first embodiment, with respect to the addition signal, which is a mixed charge of five pixels, the positional relationship between the even and odd lines is reversed. . Such a phenomenon is caused by, for example, a line buffer as a processing device that can record image data for one line by a component outside the
[0117]
Next, the configuration using interlace complementary color line sequential, which is the fifth and sixth embodiments shown in FIGS. 32 to 38, will be outlined.
[0118]
That is, as in the fifth and sixth embodiments shown in FIGS. 32 to 38, for example, color difference lines sequentially using Ye (yellow), Mg (magenta), Cy (cyan), and G (green) filters. It can also be applied to multi-pixel interline CCDs with color filter arrangements that are based on specific intentional color mixing (filter pair formation), video still images, and thinning-out compatible multi-pixel CCDs, such as the system (complementary color system). it can. In this multi-pixel interline CCD, after one filter pair is formed on the vertical transfer path first, vertical transfer is performed while a charge read voltage is applied to a specific charge read electrode, so that a plurality of line pairs of the same color filter pair can be obtained. Next, the color filter pair of the remaining lines is read out to the vertical transfer path while avoiding color mixing with the previous filter pair, and the charge read voltage is applied to the specific charge read electrode again. By performing vertical transfer, line addition of a plurality of same color filter pairs is performed, and as a result, all pixels are read out by line addition of the same color multiple filter pairs, which hinders subsequent image processing intended in advance. Therefore, it is possible to realize a significant improvement in moving image quality, such as an improvement in frame rate, vertical spatial frequency reproducibility, and sensitivity.
[0119]
That is, the above operation is applied to a color single plate with a color filter array that can easily generate luminance and color difference signals by line mixing, a moving image still image, and a multi-pixel interline / interlace scan CCD that supports thinning, and the subsequent image is applied. All pixel readout can be realized by adding a plurality of same color filter pairs without affecting the processing.
[0120]
Next, a fifth embodiment of the present invention will be described with reference to FIGS. The configuration of the fifth embodiment is the same as that of the first embodiment, and the configuration diagram is the same as that of FIG. 1, but in this embodiment, as shown in FIG. As described above, the present invention is applied to a so-called color difference line sequential method (complementary color method) thinning-compatible interline type interlaced scan CCD.
[0121]
That is, in the fifth embodiment, the CCD is a color interline type interlace scan CCD. This
(Ye + Mg) + (Cy + G) = 2R + 3G + 2B≈luminance signal Y1
(Ye + G) + (Cy + Mg) = 2R + 3G + 2B≈luminance signal Y2
(Cy + G) − (Ye + Mg) = G−2R ≒ color difference signal Cr
(Ye + G) − (Cy + Mg) = G−2B≈color difference signal Cb
As described above, by adding or subtracting the filter pair signals, approximate signals of the luminance signal and the color difference signal can be generated very easily. For this reason, such a color filter array is generally widely used as a color CCD filter array for movies.
[0122]
As shown in FIG. 32, the CCD has a
[0123]
Each of the
[0124]
The charge accumulated in the
[0125]
The CCD of the above embodiment shows the case of 4-line addition (addition of two sets of the same color filter pair) as an example, but in actuality, the electrodes corresponding to V1A and V3A should be selected in consideration of the color filter. Depending on whether it is arranged for each line, it is possible to realize CCDs with various line addition numbers. Furthermore, no matter how the line addition number increases, the number of vertical transfer gate electrodes does not increase.
[0126]
In this embodiment, as in the first embodiment, in the signal readout operation, when shooting a still image (still image mode), one screen is divided into two fields of even lines and odd lines. Read all pixels independently. On the other hand, at the time of moving image shooting (moving image mode), the above filter pairs are added together while avoiding color mixing with other filter pairs, and all pixel signals are read at a high frame rate of 4 times.
[0127]
Note that the operation at the time of still image shooting is to read out all pixels independently as in the above-described embodiments, and a description thereof will be omitted.
[0128]
A mode of reading out all pixels by adding two pairs of the same color filter, such as during moving image shooting, will be described below with reference to FIGS. 33 to 35. That is, in FIG. 33 and FIG. 34, the state of charge reading and vertical transfer in the leftmost column of FIG. 32 is described. In the following description, the same applies to all other columns including adjacent columns. It is assumed that operation has occurred. That is, charge reading and vertical transfer are performed in units of horizontal lines. Also, the voltage waveform of each vertical transfer path gate signal denoted by V1A to V4 shown in FIG. 33 is the same as the voltage waveform of each vertical transfer path gate signal denoted by V1A to V4 shown in FIG. . On the other hand, in the waveform showing the potential state of the vertical transfer path with A to U shown in the direction orthogonal to the voltage waveform, FIG. 33 shows the first half part and FIG. 34 shows the second half part.
[0129]
First, as an initial state, each vertical transfer path gate signal and potential state is changed from the state shown in FIG. 33A to the charge reading pulse 71 only to V3C as shown in FIG. 33B, and Mg (magenta) All the charges on the existing lines are read out to the vertical transfer path. Next, as shown in FIG. 33C, a predetermined voltage is applied to V1A to V4 in a state where the application of the V3C charge readout pulse is stopped, and as shown in FIGS. In the direction opposite to the direction, the vertical transfer of 1/2 stage is performed, that is, the reverse transfer is performed. Next, as shown in F of FIG. 33, a charge read pulse is applied to V1A and V1B. Then, the charges of Mg and Ye (yellow) are added to form a filter pair signal Mg + Ye. Next, as shown in FIG. 33G, after applying the charge read pulse of V1B while applying the charge read pulse to V1A, the reverse operation is further performed by two stages as shown in FIGS. Perform vertical transfer in the direction, that is, reverse transfer. Then, since the potential well is deep under the electrode of V1A existing every eight lines, two sets of the same color filter pair signals Mg + Ye are mixed in the charge holding unit under V1A. That is, in this charge holding unit, pixel signal charges for four pixels are added. Thereafter, as shown in K of FIG. 33 and K of FIG. 34, when the application of the V1A charge readout pulse is stopped, two sets of filter pair signals of the same color are added and held under the V1A electrode. become. Further, from this state, as shown in L of FIG. 34, a charge reading pulse is applied to V1C to read the charge of Ye on the upper side of G (green). Next, as shown by M to O in FIG. 34, the application of the V1C charge readout pulse is stopped, and the vertical transfer is performed by 1/2 stage in the horizontal transfer path direction, that is, in the positive direction, and then shown in P of FIG. In this manner, a charge readout pulse is applied to V3A and V3B. Then, the charges of G and Ye are added to form a filter pair signal G + Ye. Further, in this state, as shown in Q of FIG. 34, after applying the charge read pulse of V3B while applying the charge read pulse to V3A, as shown in RT of FIG. Vertical transfer is performed by two stages in the horizontal transfer path direction, that is, the positive direction. Then, since the potential well is deep under the electrode of V3A existing every eight lines, two sets of the same color filter pair signals G + Ye are mixed in the charge holding unit under V3A. That is, in this charge holding unit, pixel signal charges for four pixels are added. Thereafter, as shown in U of FIG. 34, when the application of the V3A charge readout pulse is stopped, two sets of filter pair signals of the same color are added and held under the electrode of V3A.
[0130]
Thereafter, as shown in FIG. 35, the charge (G0 + Ye1) + (G4 + Ye5) in the vertical transfer path is transferred to the horizontal transfer path and horizontally transferred. Thereafter, the charge (Mg2 + Ye3) + (Mg6 + Ye7) is read out to the horizontal transfer path by vertical transfer for three stages and transferred horizontally. Thereafter, similarly, the vertical transfer, horizontal transfer, vertical transfer for three stages, horizontal transfer,... Are repeated, and all pixel charge signals mixed at a frame rate four times that of the still image can be read out. .
[0131]
In this embodiment, pixel mixing is realized by performing reverse transfer on the vertical transfer path. However, in the sixth embodiment described below, reverse transfer is performed as in each of the above embodiments. Even if not accompanied by pixel mixing only in the forward transfer in the vertical transfer path, in this case mixing of the same color filter pair signals can be realized, that is, all pixel mixing is realized only in the positive direction vertical transfer, The line order can be compensated by a component outside the CCD that controls image processing and the like. Further, in this embodiment as well, as in the second embodiment, pixel mixing on the odd line side can be performed on the horizontal transfer path.
[0132]
Next, a sixth embodiment of the present invention will be described with reference to FIGS.
[0133]
The basic configuration including the internal configuration of the
[0134]
A mode of reading out all pixels by adding two pairs of the same color filter, such as during moving image shooting, will be described below with reference to FIGS. 36 to 38. That is, FIGS. 36 and 37 describe the state of charge readout and vertical transfer in the leftmost column in FIG. 32. In the following description, the same applies to all other columns including adjacent columns. It is assumed that operation has occurred. That is, charge reading and vertical transfer are performed in units of horizontal lines. Also, the voltage waveforms of the vertical transfer path gate signals denoted by V1A to V4 shown in FIG. 36 and the voltage waveforms of the vertical transfer path gate signals denoted by V1A to V4 shown in FIG. 37 are the same. . On the other hand, in the waveform indicating the potential state of the vertical transfer path indicated by AV in the direction orthogonal to the voltage waveform, FIG. 36 shows the first half part and FIG. 37 shows the second half part.
[0135]
First, as an initial state, each vertical transfer path gate signal and potential state is changed from the state shown in FIG. 36A to the
[0136]
Thereafter, as shown in FIG. 38, the charge (G0 + Ye1) + (G4 + Ye5) already on the horizontal transfer path is horizontally transferred and output, and then the charge (Mg2 + Ye3) is shown. Are output in vertical transfer and horizontal transfer. Thereafter, the one-stage vertical transfer, horizontal transfer, three-stage vertical transfer, and horizontal transfer are repeated to read out all pixel charge signals mixed in a line at a frame rate four times that of a still image.
[0137]
In the sixth embodiment as well, as in the first embodiment, with respect to the addition signal that is a five-pixel mixed charge, the positional relationship between the even lines and the odd lines is reversed. . Such a phenomenon is caused by, for example, a line buffer as a processing device that can record image data for one line by a component outside the
[0138]
In the fifth and sixth embodiments described above, the interlaced CCD has been described as an example. However, the correlation between the first and second embodiments and the third embodiment, and these embodiments. Obviously, the present invention can be easily applied to a progressive CCD. Incidentally, in the case of a progressive CCD, the vertical transfer path gate electrode (readout electrode) can be realized by four systems as in the third embodiment.
[0139]
As described above, in the case of a filter arrangement based on the premise of line mixing widely used in movie cameras and the like, six readout electrodes are required, but the effect is the same as in each of the above-described embodiments. This can be dealt with by the number of additions, and the number of vertical transfer electrodes does not change, thereby suppressing an increase in cost.
[0140]
In each of the above embodiments, the second addition using the horizontal transfer path is either a configuration in which the vertical transfer includes only the normal transfer or a configuration in which the vertical transfer includes not only the normal transfer but also the reverse transfer. Can also be combined.
[0141]
Further, even in a configuration in which the vertical transfer is only forward transfer, the addition can be completed using the vertical transfer path without using the addition using the horizontal transfer path. In the interlace complementary color line sequential CCD, the electrode wiring different from the configuration of the sixth embodiment is used for the configuration in which the addition is completed by the vertical transfer of the positive transfer.
[0142]
In each of the above embodiments, for example, the charges of five pixels are added to obtain an added charge. However, the present invention is not limited to this configuration. If the charges of two or more pixels that are not continuous in the vertical direction are added, Effects such as an improvement in frame rate and an improvement in image quality can be achieved.
[0143]
In the above embodiment, the charges of all the pixels are read out and used. However, some of the charges deviated from the effective pixels may not be read out, and the read out charges may not be used.
[0144]
【The invention's effect】
According to the method for driving a solid-state imaging device according to
[0145]
According to the method for driving a solid-state imaging device according to
[0146]
According to the method for driving a solid-state imaging element according to the third aspect, in addition to the effect according to the first aspect, the operation of reading and adding charges to the first transfer path can be performed in a relatively short time.
[0147]
According to the method for driving a solid-state image pickup device according to
[0148]
According to the method for driving a solid-state imaging device according to
[0149]
According to the solid-state image pickup device driving method of the sixth aspect, in addition to the effect of the fifth aspect, a high-definition still image signal can be output, and a high-speed frame rate can be realized and the image quality can be improved. The moving image signal can be output, and a configuration suitable for an imaging device that shoots by switching between a still image and a moving image is realized.
[0150]
According to the imaging device of
[0151]
According to the imaging device of the eighth aspect, in addition to the effect of the seventh aspect, since the processing means for changing the order of the output signals is provided, the signals are added and output in the first transfer path and the second transfer path. The order of the first added charge and the second added charge is not necessarily aligned. For this reason, in each transfer path, it is only necessary to transfer charges in one direction, and there is no need to transfer in the reverse direction. Therefore, it is possible to cope with a CCD having poor transfer efficiency in the reverse direction, and the versatility can be improved. .
[Brief description of the drawings]
FIG. 1 is a configuration diagram showing a first embodiment of an imaging apparatus of the present invention.
FIG. 2 is a partial explanatory diagram showing an internal structure of a CCD of the image pickup apparatus.
FIG. 3 is an explanatory diagram showing a still image mode of the CCD driving method.
FIG. 4 is an explanatory diagram showing a still image mode of the CCD driving method.
FIG. 5 is an explanatory diagram showing a moving image mode of a driving method of a comparative example of the CCD.
FIG. 6 is an explanatory diagram showing a moving image mode of the CCD driving method.
FIG. 7 is an explanatory diagram showing a moving image mode of the CCD driving method.
FIG. 8 is an explanatory diagram showing a moving image mode of the CCD driving method.
FIG. 9 is an explanatory diagram following FIG. 8;
FIG. 10 is an explanatory diagram following FIG. 9;
FIG. 11 is an explanatory diagram showing an outline of a still image mode of the CCD.
12 is an explanatory view showing a moving image mode of a comparative example of the CCD. FIG.
FIG. 13 is an explanatory diagram showing an outline of line readout addition in the moving image mode of the CCD.
FIG. 14 is a schematic explanatory diagram of line readout addition in a moving image mode showing a second embodiment of the imaging apparatus of the present invention.
FIG. 15 is an explanatory diagram showing a moving image mode of the CCD.
FIG. 16 is an explanatory diagram following FIG. 15;
FIG. 17 is an explanatory view showing a moving image mode of the CCD.
FIG. 18 is an explanatory diagram following FIG. 17;
FIG. 19 is an explanatory diagram following FIG. 18;
FIG. 20 is an explanatory diagram of a part of the internal structure of a CCD showing a third embodiment of the imaging apparatus of the present invention;
FIG. 21 is an explanatory diagram showing a still image mode of the CCD.
FIG. 22 is an explanatory diagram showing a moving image mode of the CCD.
FIG. 23 is an explanatory diagram following FIG. 22;
FIG. 24 is an explanatory diagram showing a moving image mode of the CCD.
FIG. 25 is an explanatory diagram following FIG. 24;
FIG. 26 is an explanatory diagram following FIG. 25;
FIG. 27 is an explanatory diagram showing a moving image mode of a CCD showing a fourth embodiment of the imaging apparatus of the present invention.
FIG. 28 is an explanatory diagram following FIG. 27;
FIG. 29 is an explanatory diagram showing a moving image mode of the CCD.
FIG. 30 is an explanatory diagram following FIG. 29;
FIG. 31 is an explanatory diagram following FIG. 30;
FIG. 32 is a diagram illustrating a part of the internal structure of a CCD, showing a fifth embodiment of the imaging apparatus of the present invention.
FIG. 33 is an explanatory diagram showing a moving image mode of the CCD.
34 is an explanatory diagram following FIG. 28; FIG.
FIG. 35 is an explanatory diagram showing an outline of line readout addition in the moving image mode of the CCD.
FIG. 36 is an explanatory diagram showing a moving image mode of a CCD showing a sixth embodiment of the imaging apparatus of the present invention.
FIG. 37 is an explanatory diagram subsequent to FIG. 28;
FIG. 38 is an explanatory diagram showing an outline of line readout addition in the moving image mode of the CCD.
[Explanation of symbols]
1 Imaging device
2 CCD as a solid-state image sensor
3 CCD drive circuit as drive circuit
11 Photodiode as photoelectric conversion means
12 Vertical transfer path as first transfer path
31a, 31b Charge read pulse as charge read voltage
33 charge
34 5-pixel mixed charge as first additional charge
44 5-pixel mixed charge as second added charge
V1A, V1B, V3A, V3B Charge readout electrode
Claims (8)
前記第１の転送路は、画素に対する複数系統の電荷読出電極を設けた電荷結合素子を備え、電荷の読み出し及び保持は、前記電荷読出電極に電荷読出電圧を印加して行われ、
前記第１の色の画素の電荷を前記第１の転送路に複数読み出し、特定の系統の前記電荷読出電極に電荷読出電圧を印加し続け特定の画素について電荷を読み出す状態を維持し読み出した電荷を保持したまま、読み出した他の画素の電荷を転送して、保持した電荷に転送した電荷を加算して、第１の色の画素の電荷を複数加算した第１の加算電荷を生成する第１の加算工程と、
前記第１の加算画素を前記第２の色の画素の電荷が読み出される位置から外した状態で、前記第２の色の画素の電荷を前記第１の転送路に複数読み出し、これら第２の色の画素の複数の電荷を前記第１の転送路及び前記第２の転送路の少なくとも一方で加算して、第２の色の画素の電荷を複数加算した第２の加算電荷を生成する第２の加算工程と、
これら第１の加算電荷及び第２の加算電荷を前記第２の転送路で転送して出力する加算出力工程と
を備えたことを特徴とする固体撮像素子の駆動方法。A plurality of pixels having a first pattern and a second color arranged in a predetermined pattern with photoelectric conversion means; a plurality of first transfer paths for reading and transferring charges of these pixels; and the first transfer paths And a second transfer path that reads out, transfers, and outputs the transferred charge, and a solid-state imaging device driving method,
The first transfer path includes a charge coupled device provided with a plurality of charge readout electrodes for a pixel, and reading and holding of charge is performed by applying a charge readout voltage to the charge readout electrode,
A plurality of charges of the pixels of the first color are read out to the first transfer path , a charge read voltage is continuously applied to the charge read electrodes of a specific system, and the state of reading out charges for a specific pixel is maintained and read The first charge is generated by transferring the charges of the other pixels that have been read and adding the transferred charges to the held charges and adding a plurality of charges of the pixels of the first color. 1 addition step;
With the first addition pixel removed from the position where the charge of the pixel of the second color is read, a plurality of charges of the pixel of the second color are read out to the first transfer path, and the second A plurality of charges of the color pixel are added to at least one of the first transfer path and the second transfer path to generate a second added charge obtained by adding a plurality of charges of the second color pixel. 2 addition steps;
A solid-state imaging device driving method comprising: an addition output step of transferring and outputting the first addition charge and the second addition charge through the second transfer path.
ことを特徴とする請求項１記載の固体撮像素子の駆動方法。The method for driving a solid-state imaging device according to claim 1, wherein the first addition step and the second addition step are performed while transferring the electric charge read out to the first transfer path in the forward direction and the reverse direction.
ことを特徴とする請求項１記載の固体撮像素子の駆動方法。The method for driving a solid-state imaging device according to claim 1, wherein the second adding step is performed by reading a plurality of charges of the pixels of the second color at a predetermined position of the second transfer path.
ことを特徴とする請求項１ないし３いずれか記載の固体撮像素子の駆動方法。The first transfer path includes a charge-coupled device having a charge readout electrodes and the vertical transfer path dedicated gate electrode of a plurality of systems for image-containing, charge reading and retention, the charge read voltage is applied to the charge read electrode 4. The solid-state imaging device according to claim 1 , wherein transfer of the read pixel is performed by applying a predetermined voltage to the charge readout electrode and the gate electrode dedicated to the vertical transfer path . Driving method.
各画素の電荷を個々に第１の転送路に読み出し、読み出した電荷を個々に第２の転送路に転送し、この第２の転送路から出力する第２の駆動モードとが切り替えられる
ことを特徴とする請求項１ないし４いずれか記載の固体撮像素子の駆動方法。A first drive mode for performing a first addition step , a second addition step , and an addition output step;
The charge of each pixel is individually read out to the first transfer path, the read charge is individually transferred to the second transfer path, and the second drive mode output from the second transfer path is switched. 5. The method for driving a solid-state imaging device according to claim 1, wherein the solid-state imaging device is driven.
ことを特徴とする請求項５記載の固体撮像素子の駆動方法。The solid-state imaging device driving method according to claim 5, wherein the first drive mode is a moving image mode for capturing a moving image, and the second drive mode is a still image mode for capturing a still image.
前記固体撮像素子は、光電変換手段を備え所定のパターンで第１の色及び第２の色が配列された複数の画素を備え、
前記駆動回路は、
画素に対する複数系統の電荷読出電極を設けた電荷結合素子を備え前記各画素の電荷を読み出し転送する複数の第１の転送路と、これら第１の転送路が転送した電荷を読み出し転送して出力する第２の転送路とを備え、
前記駆動回路は、
前記電荷読出電極に電荷読出電圧を印加して前記第１の色の画素の電荷を前記第１の転送路に複数読み出し、特定の系統の前記電荷読出電極に電荷読出電圧を印加し続け特定の画素について電荷を読み出す状態を維持し読み出した電荷を保持したまま、読み出した他の画素の電荷を転送して、保持した電荷に転送した電荷を加算して、第１の色の画素の電荷を複数加算した第１の加算電荷を生成し、
前記第１の加算画素を前記第２の色の画素の電荷が読み出される位置から外した状態で、前記第２の色の画素の電荷を前記第１の転送路に複数読み出し、これら第２の色の画素の複数の電荷を前記第１の転送路及び前記第２の転送路の少なくとも一方で加算して、第２の色の画素の電荷を複数加算した第２の加算電荷を生成し、
これら第１の加算電荷及び第２の加算電荷を前記第２の転送路で転送して出力する
ことを特徴とする撮像装置。A solid-state image sensor and a drive circuit for driving the fixed image sensor;
The solid-state imaging device includes photoelectric conversion means and a plurality of pixels in which a first color and a second color are arranged in a predetermined pattern,
The drive circuit is
A plurality of first transfer paths having a charge coupled device provided with a plurality of charge readout electrodes for a pixel, for reading and transferring the charges of each pixel, and reading and transferring and transferring the charges transferred by these first transfer paths And a second transfer path that
The drive circuit is
A charge read voltage is applied to the charge read electrode to read a plurality of charges of the first color pixel to the first transfer path, and a charge read voltage is continuously applied to the charge read electrode of a specific system . While maintaining the read-out state for the pixel and holding the read-out charge, the charge of the other pixel that has been read out is transferred, and the transferred charge is added to the held charge. Generating a first added charge obtained by adding a plurality of values;
With the first addition pixel removed from the position where the charge of the pixel of the second color is read, a plurality of charges of the pixel of the second color are read out to the first transfer path, and the second Adding a plurality of charges of a color pixel to at least one of the first transfer path and the second transfer path to generate a second added charge obtained by adding a plurality of charges of a second color pixel;
The image pickup apparatus, wherein the first addition charge and the second addition charge are transferred through the second transfer path and output.
ことを特徴とする請求項７記載の撮像装置。The image pickup apparatus according to claim 7, further comprising a processing unit capable of switching the order of the first addition charge and the second addition charge output from the solid-state image pickup device.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001341147A JP3880374B2 (en) | 2001-11-06 | 2001-11-06 | Method for driving solid-state imaging device and imaging apparatus |
| US10/083,352 US7292274B2 (en) | 2001-11-06 | 2002-02-27 | Solid-state image pickup device driving method and image capturing apparatus for outputting high-resolution signals for still images and moving images of improved quality at a high frame rate |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001341147A JP3880374B2 (en) | 2001-11-06 | 2001-11-06 | Method for driving solid-state imaging device and imaging apparatus |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003143614A JP2003143614A (en) | 2003-05-16 |
| JP3880374B2 true JP3880374B2 (en) | 2007-02-14 |
Family
ID=19155230
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001341147A Expired - Lifetime JP3880374B2 (en) | 2001-11-06 | 2001-11-06 | Method for driving solid-state imaging device and imaging apparatus |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3880374B2 (en) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100585118B1 (en) | 2003-12-30 | 2006-05-30 | 삼성전자주식회사 | Solid state image sensing device providing sub-sampling mode improving dynamic range and driving method thereof |
| CN100353753C (en) | 2004-03-01 | 2007-12-05 | 三洋电机株式会社 | Image capture device and controller of image capture device |
| JP4692887B2 (en) * | 2006-01-19 | 2011-06-01 | 富士フイルム株式会社 | Imaging apparatus and imaging method |
| JP4988075B1 (en) | 2010-12-16 | 2012-08-01 | パナソニック株式会社 | Imaging apparatus and image processing apparatus |
-
2001
- 2001-11-06 JP JP2001341147A patent/JP3880374B2/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003143614A (en) | 2003-05-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7564492B2 (en) | Solid-state image sensing device and camera using the same | |
| JP3968122B2 (en) | Imaging device | |
| KR101182973B1 (en) | Solid-state imaging device, method for driving solid-state imaging device, and imaging apparatus | |
| JP4487351B2 (en) | Solid-state imaging device, driving method thereof, and camera system | |
| EP0757496A2 (en) | Colour image pickup apparatus | |
| JP4452259B2 (en) | Solid-state image sensor and camera equipped with the same | |
| US7515184B2 (en) | Solid-state image sensor, solid-state image sensing apparatus, camera, and method for controlling a solid-state image sensor | |
| JP3967853B2 (en) | Solid-state imaging device and signal readout method | |
| JP3880374B2 (en) | Method for driving solid-state imaging device and imaging apparatus | |
| JP4354346B2 (en) | Solid-state imaging device, driving method thereof, and camera equipped with the same | |
| JP2007027977A (en) | Drive method of solid-state imaging element, and solid-state imaging apparatus | |
| JP2006014075A5 (en) | ||
| JP4758160B2 (en) | Solid-state imaging device and driving method thereof | |
| JP3948042B2 (en) | Camera system, imaging apparatus, and imaging method | |
| JP3967500B2 (en) | Solid-state imaging device and signal readout method | |
| JP2004194248A (en) | Image pickup element and image pickup device | |
| US20140320710A1 (en) | Imaging device, method for controlling imaging device, and storage medium storing a control program | |
| JP3999417B2 (en) | Solid-state imaging device and signal readout method | |
| JP3948456B2 (en) | Solid-state image sensor and control method of solid-state image sensor | |
| JP2003060185A (en) | Solid-state image pickup device and control method therefor | |
| JP5079656B2 (en) | Solid-state imaging device, driving method thereof, and electronic information device | |
| JP2635545B2 (en) | Solid-state imaging device | |
| JP4377531B2 (en) | Imaging device and imaging apparatus | |
| JP4333371B2 (en) | Imaging device and imaging device | |
| JP2004222130A (en) | Solid-state imaging device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040114 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060803 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060906 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060913 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20061101 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20061107 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 3880374 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091117 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101117 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101117 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111117 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121117 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121117 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131117 Year of fee payment: 7 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
| R370 | Written measure of declining of transfer procedure |
Free format text: JAPANESE INTERMEDIATE CODE: R370 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |