JP2006129418A - 電荷転送型固体撮像素子の駆動方法及び撮像方法並びに撮像装置 - Google Patents

Abstract

【課題】 高感度の光電変換素子と低感度の光電変換素子をそれぞれ有する固体撮像素子を用いて広ダイナミックレンジの画像を得る際に、スミア成分の除去を行う構成としつつ画像信号の読み出し時間を短縮する。
【解決手段】 相対的に高感度の光電変換を行う高感度光電変換素子と、相対的に低感度の光電変換を行う低感度光電変換素子と、高感度光電変換素子及び低感度光電変換素子からの信号電荷を転送する垂直転送路とを有する電荷転送型固体撮像素子の駆動方法であって、固体撮像素子の露光後に垂直転送路の高速電荷転送動作を行うことなく高感度光電変換素子と低感度光電変換素子からの信号電荷をそれぞれ独立して垂直転送路に読出し、転送する電荷転送ステップを含むようにした。
【選択図】 図４

Description

本発明は、相対的に高感度の光電変換を行う高感度光電変換素子と相対的に低感度の光電変換を行う低感度光電変換素子と、これら高感度光電変換素子及び低感度光電変換素子からの信号電荷を転送する垂直転送路を有する電荷転送型固体撮像素子の駆動方法及び撮像方法並びに撮像装置に関する。

電荷転送型の固体撮像素子は、入射光量に応じて光電変換素子に蓄積される信号電荷を、光電変換素子の近傍に配置した垂直転送路に送り、送り出した信号電荷を垂直転送路によって順次転送して水平転送路に送り、さらに水平転送路によって順次転送してフローティングディフィージョンアンプに送り、信号電荷に対応した電圧信号を出力するものである。このような固体撮像素子では、撮像画面に高輝度部が存在するとスミア現象が生じやすく、画質を低下させる原因となっている。この現象を抑制するために、信号電荷の垂直転送路への送出に先立って、垂直転送路に残留するスミア電荷を高速で転送する高速掃き出し動作を行っている。この高速掃き出し動作を、電荷読み出し時に毎回行う駆動方法が特許文献１に記載されている。

また、露光時間を異ならせて得た高感度及び低感度の異なる映像信号を合成してダイナミックレンジを拡大する場合に、低感度の映像信号を非線形増幅してスミア信号の極性を高感度の映像信号対して逆にし、低感度の映像信号と高感度の映像信号とを加算合成することで、スミア成分が打ち消し合って補正するスミア補正方法が特許文献２に記載されている。
特開平７−３２２１４８号公報 特開平８−３７６２６号公報

しかしながら、特許文献１記載の方法では、信号電荷の読み出しの度に毎回、スミア電荷の高速掃き出し動作を行うこととなり、画像全体の読み出し時間が長くなるために連写や速写等の高速な読み出しを要求される動作に支承をきたすことがある。また、特許文献２記載の方法では、高感度と低感度の場合に駆動方式を切り換えて読み出す必要があり、そのための制御が複雑となる。
ところで、デジタルカメラ等の撮像装置に利用される固体撮像素子は、光電変換素子（以下、「画素」と記述する場合もある。）によって画像信号に対応する電荷を検出するため、一般にダイナミックレンジを広げるのが困難である。そこで相対的に高感度の光電変換素子（以下、「高感度画素」と記述する場合もある。）と、相対的に低感度の光電変換素子（以下、「低感度画素」と記述する場合もある。）を有する固体撮像素子を利用し、高感度画素からの高感度画像データと低感度画素からの低感度画像データを合成することによって、広ダイナミックレンジの画像を得ることが提案されている。

その場合の駆動方法のタイムチャートを図７に示した。図７に示すように、この構成であっても、光電変換素子の露光後に高感度及び低感度の画素から信号電荷を読み出す際に、この読み出しに先立って垂直転送路に溜まったスミア電荷を取り除く高速掃き出し動作が行われる。
このように、いずれの駆動方法であっても、静止画の撮像においては、シャッターを閉じた後に高速掃き出し動作を行うと画像全体を読み出す時間Ｔｂが長くなり、固体撮像素子に高速な連続撮像動作をさせる連写や速写動作に対し、撮像間隔の短縮化が十分に図ることができない不利があった。また、動画の撮像においては、仮にこのスミア成分除去のための高速掃き出し動作を行わないと、フィールド段差が生じてフリッカーが発生する可能性が高くなり、画面にＦＰＮ（Fixed Pattern Noise）が現れることとなった。

本発明は上記状況に鑑みてなされたもので、高感度の光電変換素子と低感度の光電変換素子をそれぞれ有する固体撮像素子を用いて広ダイナミックレンジの画像を得る際に、スミア成分の除去を行う構成としつつ画像信号の読み出し時間を短縮する電荷転送型固体撮像素子の駆動方法及び撮像方法並びに撮像装置を提供することを目的としている。

本発明の上記目的は、下記構成により達成される。
（１） 相対的に高感度の光電変換を行う高感度光電変換素子と、相対的に低感度の光電変換を行う低感度光電変換素子と、前記高感度光電変換素子及び前記低感度光電変換素子からの信号電荷を転送する垂直転送路とを有する電荷転送型固体撮像素子の駆動方法であって、前記固体撮像素子の露光後に前記垂直転送路の高速電荷転送動作を行うことなく前記高感度光電変換素子と前記低感度光電変換素子からの信号電荷をそれぞれ独立して前記垂直転送路に読出し、転送する電荷転送ステップを含む電荷転送型固体撮像素子の駆動方法。
（２） 前記電荷転送ステップは、前記高感度光電変換素子からの信号電荷を読み出して転送後、前記低感度光電変換素子からの信号電荷を読み出して転送する（１）記載の電荷転送型固体撮像素子の駆動方法。
（３） 相対的に高感度の光電変換を行う高感度光電変換素子と、相対的に低感度の光電変換を行う低感度光電変換素子と、前記高感度光電変換素子及び前記低感度光電変換素子からの信号電荷を転送する垂直転送路とを有する電荷転送型固体撮像素子を用いて画像を撮影する撮像方法であって、前記固体撮像素子の露光後に前記垂直転送路の高速電荷転送動作を行うことなく前記高感度光電変換素子と前記低感度光電変換素子からの信号電荷をそれぞれ独立して前記垂直転送路に読出し、転送する電荷転送ステップと、転送された前記高感度光電変換素子からの信号電荷に基づく信号と前記低感度光電変換素子からの信号電荷に基づく信号を用いて前記転送された信号電荷に基づく信号に含まれるスミア成分を求めるスミア成分取得ステップと、前記求めたスミア成分を用いて前記いずれか一方の光電変換素子からの信号電荷に基づく信号を補正するスミア成分補正ステップとを含む撮像方法。
（４） 前記電荷転送ステップは、前記高感度光電変換素子からの信号電荷を読み出して転送後、前記低感度光電変換素子からの信号電荷を読み出して転送し、前記スミア成分取得ステップは、前記高感度光電変換素子からの信号電荷に基づく信号に含まれるスミア成分を取得し、前記スミア成分補正ステップは、記高感度光電変換素子からの信号電荷に基づく信号を補正する（３）記載の撮像方法。
（５） 前記高感度光電変換素子の飽和の有無を判定する飽和判定ステップを含み、前記スミア成分取得ステップ及び前記スミア成分補正ステップは、前記飽和判定ステップで飽和でないと判定された場合に実行される（３）又は（４）記載の撮像方法。
（６） 前記飽和判定ステップは、前記低感度光電変換素子からの信号電荷に基づく信号と、前記高感度光電変換素子と前記低感度光電変換素子との感度比を用いる（５）記載の撮像方法。
（７） 固体撮像素子と、該固体撮像素子を駆動する撮像素子駆動部と、前記固体撮像素子からの信号に対する信号処理を行う信号処理部とを備え、撮像画像のデジタル画像データを出力する撮像装置であって、前記固体撮像素子は、相対的に高感度の光電変換を行う高感度光電変換素子、相対的に低感度の光電変換を行う低感度光電変換素子、及び前記高感度光電変換素子及び前記低感度光電変換素子からの信号電荷を転送する垂直転送路を有し、前記信号電荷に基づく信号を出力する電荷転送型固体撮像素子であり、前記撮像素子駆動部は、前記固体撮像素子の露光後に前記垂直転送路の高速電荷転送動作を行うことなく前記高感度光電変換素子と前記低感度光電変換素子からの信号電荷をそれぞれ独立して前記垂直転送路に読出し、転送するものであり、前記信号処理部は、転送された前記高感度光電変換素子からの信号電荷に基づく信号と前記低感度光電変換素子からの信号電荷に基づく信号を用いて前記転送された信号電荷に基づく信号に含まれるスミア成分を求めるスミア成分取得機能と、前記求めたスミア成分を用いて前記いずれか一方の光電変換素子からの信号電荷に基づく信号を補正するスミア成分補正機能を有するものである撮像装置。
（８） 前記撮像素子駆動部は、前記高感度光電変換素子からの信号電荷を読み出して転送後、前記低感度光電変換素子からの信号電荷を読み出して転送するものであり、前記スミア成分取得機能は、前記高感度光電変換素子からの信号電荷に基づく信号に含まれるスミア成分を取得する機能であり、前記スミア成分補正機能は、記高感度光電変換素子からの信号電荷に基づく信号を補正する機能である（７）記載の撮像装置。
（９） 前記信号処理部は、前記高感度光電変換素子の飽和の有無を判定する飽和判定機能を有し、前記スミア成分取得機能及び前記スミア成分補正機能は、前記飽和判定機能で飽和でないと判定された場合に有効となる（７）又は（８）記載の撮像装置。
（１０） 前記飽和判定機能は、前記低感度光電変換素子からの信号電荷に基づく信号と、前記高感度光電変換素子と前記低感度光電変換素子との感度比を用いて前記高感度光電変換素子の飽和の有無を判定するものである（９）記載の撮像装置。
（１１） 連続した撮影を行う連続撮影モードを有し、前記撮像素子駆動部は、前記撮影モード時に、前記垂直転送路の高速電荷転送動作を行うことなく前記高感度光電変換素子
と前記低感度光電変換素子からの信号電荷を前記垂直転送路に読出し、転送するものである（７）乃至（１０）のいずれか１項記載の撮像装置。
（１２） 前記信号処理部は、前記高感度光電変換素子からの信号電荷に基づく信号を用いて、撮像画像のデジタル画像データを生成するものである（７）乃至（１１）のいずれか１項記載の撮像装置。
（１３） 前記信号処理部は、前記高感度光電変換素子からの信号電荷に基づく信号を前記低感度光電変換素子からの信号電荷に基づく信号を混合して、撮像画像のデジタル画像データを生成するものである（７）乃至（１２）のいずれか１項記載の撮像装置。

本発明の電荷転送型固体撮像素子の駆動方法及び撮像方法並びに撮像装置によれば、高感度の光電変換素子と低感度の光電変換素子をそれぞれ有する固体撮像素子を用いて広ダイナミックレンジの画像を得る際に、スミア成分の除去を行う構成としつつ画像信号の読み出し時間を短縮することができる。

以下、本発明に係る電荷転送型固体撮像素子の駆動方法及び撮像方法並びに撮像装置の好適な実施の形態について、図面を参照して詳細に説明する。
図１は本発明に係る撮像装置の一例であるデジタルカメラの概略構成を示す図である。図１のデジタルカメラ１００は、撮像部１、アナログ信号処理部２、A／D変換部３、駆動部４、メインメモリ５に接続されたメモリ制御部６、デジタル信号処理部７、圧縮伸張処理部８、積算部９、記録媒体１０を着脱可能に備えるメモリ制御部１１、表示部１２、表示部を制御する表示制御部１３、システム制御部としてのＣＰＵユニット１４、操作部１５を含んで構成される。そして、メモリ制御部６、デジタル信号処理部７、圧縮伸張処理部８、積算部９、メモリ制御部１１、表示制御部１３はシステムバス１６に接続されている。

撮像部１は、撮影レンズ１ａ、絞り１ｂ、光学フィルタ（赤外吸収フィルタ１ｃ、光学ＬＰＦ１ｄ）等の光学系及び固体撮像素子１ｅを含み、被写体の撮影を行うものであって、アナログの撮像信号を出力する。撮像部１で得られた撮像信号は、アナログ信号処理部２に送られ、所定のアナログ信号処理が施され、Ａ／Ｄ変換部３でデジタル信号に変換された後、デジタル信号処理部７等に送られる。ここで、固体撮像素子１ｅの詳細は後述することにする。

撮影に際しては、駆動部４を介して撮像部１が制御される。ＣＣＤイメージセンサ等の電荷転送型の固体撮像素子１ｅは、半導体基板表面に行方向とこれに直交する列方向に配設された複数の光電変換素子（例えばフォトダイオード）を有し、入射光に対応して発生し、蓄積された信号電荷に基づいたアナログ電圧信号を出力するものである。固体撮像素子１ｅは、操作部１５が備えるシャッターレリーズボタン等の操作によるレリーズスイッチオンを契機として、所定のタイミングで、駆動部４に含まれるタイミングジェネレータ（図示略）からの駆動信号によって駆動される。

駆動部４は、ＣＰＵユニット１４の制御に基づいて所定の駆動信号を出力するものであり、レンズ駆動部４ａ、絞り駆動部４ｂ、撮像素子駆動部４ｃ等を備える。撮像素子駆動部４ｃは、詳細は後述するが、固体撮像素子の露光後に光電変換素子からの信号電荷を読出して転送するものである。また駆動部４は、アナログ信号処理部２及びＡ／Ｄ変換部３に対する駆動信号も出力する。

メモリ制御部６は、各種撮影シーンに適応してプログラムした各種撮影モードのプログラム等を記憶したメインメモリ５が接続されている。
デジタル信号処理部７は、Ａ／Ｄ変換部３からのデジタル画像データに対して、操作部１５によって指示された動作モードに応じたデジタル信号処理を行うものであり、例えばＤＳＰで構成される。デジタル信号処理部７が行う処理には、黒レベル補正処理（ＯＢ処理）、リニアマトリクス補正処理（撮像部からの原色信号に対して、撮像素子の光電変換特性に起因する混色成分を除去する補正を行う処理で、ＲＧＢ入力に対する３×３のマトリクス演算によるもの）、ホワイトバランス調整処理（ゲイン調整）、ガンマ補正処理、画像合成処理、同時化処理、Ｙ／Ｃ変換処理等に加え、スミア成分取得機能、スミア成分補正機能、飽和判定機能が含まれる。デジタル信号処理部７のスミア成分取得機能、スミア成分補正機能、飽和判定機能、画像合成処理の詳細は後述することにする。

圧縮伸張処理部８は、デジタル信号処理部７で得られたＹ／Ｃデータに対して圧縮処理を施すとともに、記録媒体１０から得られた圧縮画像データに対して伸張処理を施すものである。
積算部９は、レンズ駆動部４ａによる合焦動作時に固体撮像素子１ｅからの出力信号を積算して被写体の明るさやホワイトバランス制御データを求めるためのものである。
メモリ制御部１１は、メモリカード等の記録媒体１０との間のデータの入出力を行うものである。

表示制御部１３は、例えばＬＣＤ装置を含んで構成される表示部１２を制御する。表示部１２は、撮影されデジタル信号処理を経た画像データに基づく画像や、記録媒体１０に記録された圧縮画像データを伸張処理して得た画像データに基づく画像等を表示する。また、撮影時のスルー画像、デジタルカメラの各種状態、操作に関する情報の表示等も可能である。

メインメモリ５は、例えばＤＲＡＭであり、デジタル信号処理部７、ＣＰＵユニット１４のワークメモリとして利用される他、記録媒体１０に記録される撮影画像データを一時的に記憶するバッファメモリ、表示部１２への表示画像データのバッファメモリとしても利用される。

ＣＰＵユニット１４は、撮影動作を含むデジタルカメラ全体の制御を行い、具体的には、所定のプログラムによって動作するプロセッサを主体に構成される。

操作部１５は、デジタルカメラ使用時の各種操作を行うもので、デジタルカメラの動作モード（撮影モード、再生モード等）、撮影時の撮影方法、撮影条件、設定等を行う。操作部１５は、それぞれの機能に対応する操作部材を設けてもよいが、表示部１２の表示と連動して操作部材を共用してもよい。また、操作部１５には、撮影動作を起動するためのシャッターレリーズボタンも含まれる。

次に、固体撮像素子１ｅの構成について詳細に説明する。
固体撮像素子１ｅは、ＣＣＤイメージセンサ等の電荷転送型の固体撮像素子であり、半導体基板表面に行方向とこれに直交する列方向に配設された複数の光電変換素子を有し、入射光に対応して発生し蓄積された信号電荷に基づいたアナログ電圧信号を出力するものである。複数の光電変換素子は、相対的に高感度の光電変換を行う高感度光電変換素子と、相対的に低感度の光電変換を行う低感度光電変換素子とを含む。

固体撮像素子１ｅは、操作部１５の一部であるシャッターレリーズボタンの操作によるレリーズスイッチオンを契機として、所定のタイミングで、駆動部４に含まれるタイミングジェネレータからの駆動信号によって駆動される。

図２は、画素を分割して構成した所謂ハニカム構造の固体撮像素子の部分拡大平面図であって、半導体基板表面に行方向（矢印Ｘで示す方向）とこれに直交する列方向（矢印Ｙで示す方向）に配設された複数の光電変換領域１−１,１−３,…,２−２,２−４,…,３−１,３−３,…,４−２,４−４,…,５−１,５−３,…（図では一部のみに番号を付してある）、垂直転送部Ｖ１，Ｖ２，Ｖ３，…、水平転送部２１、及び出力部２３を含む。複数の光電変換領域１−１，１−３,…のうち、奇数列の光電変換領域は偶数列のものに対して光電変換領域同士の列方向ピッチの略１／２だけ列方向にずれており、また、奇数行の光電変換領域は、偶数行の光電変換領域対して光電変換領域同士の行方向ピッチの略１／２だけ行方向にずれて配置される。なお、図２では、５行８列の光電変換領域を示してあるが、実際には、さらに多くの光電変換領域が設けられる。

光電変換領域１−１,１−３,…は、入射光量に対応した信号電荷を発生し、蓄積するもので、例えばフォトダイオードからなる。光電変換領域１−１,１−３,…はそれぞれ、相対的に広い受光面積を有する主領域ｍと相対的に狭い受光面積を有する副領域ｓに分割され（図２では、光電変換領域５−１のみに符号を付与してある）、それぞれ所定の分光感度の光に対応する信号電荷を発生し蓄積する。従って、主領域ｍは、相対的に高感度の光電変換を行い、副領域は、相対的に低感度の光電変換を行う光電変換素子として機能する。図２の固体撮像素子においては、赤（Ｒ）、緑（Ｇ）、又は青（Ｂ）のフィルタが、図示は省略するが、それぞれの光電変換領域１−１,１−３,…の上方に設けられ、それぞれの色の光に対応する信号電荷を発生し蓄積する。

図３に図２の光電変換領域の一部とこれに対応する垂直転送部を拡大して示した。垂直転送部Ｖ１は、光電変換領域１−１,３−１,…からの信号電荷を半導体基板上の列方向に形成された垂直転送チャネル３０と、垂直転送チャネル３０の上層に形成された複数本の垂直転送電極２５，２６と、高感度光電変換素子に相当する主領域ｍからの信号電荷を垂直転送チャネル３０に読み出す第１電荷読み出し領域３１及び低感度光電変換素子に相当する副領域ｓからの信号電荷を垂直転送チャネル３０に読み出す第２電荷読み出し領域３２（図３では模式的に矢印で示してある）とを含む。なお、垂直転送電極２５，２６はＶ１等の奇数列に対応して共通に設けられ、また、垂直転送電極２７，２８はＶ２等の偶数列に対応して共通に設けられている。そして、各垂直転送電極２５，２６，２７，２８は、それぞれ複数の光電変換素子の間を全体として行方向に延在する蛇行形状を呈して配置される場合もある。

垂直転送チャネル３０は、光電変換素子の側方に列方向Ｙに延在するほぼ直線形状を呈するものであり、その上層に形成された垂直転送電極２５，２６によって、電荷が蓄積、転送される領域が区分される。垂直転送電極２５，２６は、光電変換領域の主領域ｍと副領域ｓのそれぞれに対応して独立に設けられ、同一行の光電変換素子の同一の位置関係にある垂直転送電極は、電気的に接続されている。なお、これら垂直転送電極２５，２６（及び２７，２８）は、多結晶シリコン等で形成される。

垂直転送部Ｖ１は、光電変換領域（主領域ｍと副領域ｓ）からの信号電荷を、順次垂直転送チャネル３０に読み出して垂直転送電極２５，２６を所定のタイミングで駆動することにより、信号電荷を列方向に転送する。垂直転送電極２５，２６には、端子３５，３６を介して垂直転送パルス（以下、駆動パルスともいう）が印加され、垂直転送チャネル３０の信号電荷が列方向に転送される。

なお、垂直転送部Ｖ１に隣接する垂直転送部Ｖ２に対しては、列方向に半ピッチ分ずれて配置された垂直転送電極２５，２６とは異なる２つの垂直転送電極２７，２８が設けられる。従って、本固体撮像素子１ｅでは、４種類の垂直転送電極２５，２６，２７，２８に対してそれぞれ第１相〜第４相のいずれかの駆動パルスが印加されて、各光電変換領域の電荷信号が取り出されることになる。ただ、一つの列の垂直転送部に対しては、主に２本の垂直転送電極により信号電荷を垂直転送チャネル３０に転送するため、ここでは説明を簡単にするために、主に第１相と第２相の駆動パルスで信号電荷を取り出すことについて言及する。

再び図２に戻り、固体撮像素子１ｅの概略的な駆動方法を説明する。垂直転送部Ｖ１，Ｖ２，…は、図２に模式的に示すように、光電変換領域１−１,２−２，１−３,…の各列に対応してその側方に設けられる。列方向の転送は、主領域ｍの信号電荷と副領域ｓの信号電荷を、それぞれ独立に垂直転送部Ｖ１，Ｖ２，…に読み出して行う。例えば、主領域ｍに蓄積された高感度信号電荷を垂直転送チャネル３０に読み出して転送し、出力部２３から出力した後、副領域ｓに蓄積された低感度信号電荷を垂直転送チャネル３０に読み出して転送し、出力部２３から出力する。

水平転送部２１は、複数の垂直転送部Ｖ１，Ｖ２，…からの信号電荷が転送されてきて、これら転送された信号電荷を行方向に転送するものである。出力部２３は、転送された信号電荷量に応じた電圧信号を出力する。
即ち、本駆動方法においては、固体撮像素子１ｅの露光後に垂直転送路の高速電荷転送動作を行うことなく高感度光電変換素子（主領域ｍ）と低感度光電変換素子（副領域ｓ）からの信号電荷をそれぞれ独立して垂直転送路に読出し、転送する電荷転送ステップを含んでいる。

次に、上記固体撮像素子の詳細な駆動方法及びこれを用いた撮像方法を説明する。
図４にスミア成分を除去する固体撮像素子の駆動方法を説明するタイムチャートを示した。図４には、垂直同期信号ＶＤ、端子３６（図３参照）に印加される読み出しパルスφＶ１、端子３５に印加される読み出しパルスφＶ２、電子シャッターの駆動パルスＯＦＤ、メカシャッタの駆動信号を示してある。なお、垂直同期信号ＶＤ同士の間隔を１フィールドとする。また、各読み出しパルスφＶ１，φＶ２は駆動部４のタイミングジェネレータから出力されるものである。

本駆動方法においては、電子シャッターを駆動して固体撮像素子１ｅが露光し、メカシャッタを閉じた後、垂直同期信号ＶＤに同期させて、読み出しパルスφＶ１を端子３６に印加する。これにより、光電変換領域の主領域ｍに溜まった信号電荷が、電荷読み出し領域３１を通じて垂直転送チャネル３０に読み出される。さらに端子３５〜３８に高速垂直転送用の駆動パルスを繰り返し印加して、読み出された電荷を列方向に転送する。垂直転送チャネル３０には、高輝度で露光された場合に光電変換領域から溢れ出た電荷（スミア成分）が溜まることがあるが、この列方向への転送によりスミア成分も同時に転送される。従って、このとき転送される信号電荷にはスミア成分が含まれることがある。そして水平転送部２１からは、１行分の光電変換素子から読み出された主領域ｍの信号電荷が随時出力部２３に転送される。このような転送は、垂直転送チャネル３０に読み出された全ての信号電荷が出力部２３に送られるまで繰り返される。

この転送を完了した後に、読み出しパルスφＶ２を端子３５に印加する。これにより、光電変換領域の副領域ｓに溜まった信号電荷が、電荷読み出し領域３２を通じて垂直転送チャネル３０に読み出される。この読み出し時には、垂直転送チャネル３０のスミア成分が既に除去された状態であるので、垂直転送チャネル３０に読み出された信号電荷にはスミア成分は含まれない。そして同様に、端子３５〜３８に高速垂直転送用の駆動パルスを繰り返し印加して、読み出された電荷を列方向に転送する。そして水平転送部２１からは、１行分の光電変換素子から読み出された副領域ｓの電荷が随時出力部２３に転送される。

このように、本固体撮像素子１ｅは、光電変換領域の主領域ｍからの電荷（高感度）と副領域ｓからの電荷（低感度）とを独立に読み出し、スミア成分を有する場合でも、先に読み出す領域の信号電荷に含ませて読み出す。そして、スミア成分は、先に読み出した領域からの電荷だけに含まれるので、これを利用して、後に読み出す領域からの信号電荷と、主領域ｍと副領域ｓとの感度差に基づいてスミア成分を求め、得られる信号電荷に基づく信号を補正する。

つまり、先に読み出す主領域ｍからの信号電荷には、本来の撮像による信号成分と、ノイズであるスミア成分とが含まれており、後に読み出す副領域ｓからの信号電荷はスミア成分の含まれない信号成分のみである。ここで、高感度の主領域ｍと低感度の副領域ｓとの感度比ｋ（例えば有効受光面積比により決定される）が予め分かっているとすると、各画素のスミア成分は次の（１）式で求めることができる。
スミア成分＝｛（ｋ×低感度信号）−高感度信号｝／ｋ …（１）

上記関係は高感度の信号が飽和しない範囲で成立するため、飽和点以降でこの処理をすることは適さない。そのため飽和点以上では（１）式によるスミア成分の演算は行わない。
従って、上記駆動方法によれば、スミア成分の除去のために垂直転送部への高速掃き出し動作が必要なくなるため、画像全体を読み出す時間Ｔａを短縮することができ、高速な連続撮像動作を要する連写や速写動作に対し、撮像間隔の短縮化が図られる。

即ち、本撮像方法は、前述の電荷転送ステップと、転送された高感度光電変換素子（主領域ｍ）からの信号電荷に基づく信号と低感度光電変換素子（副領域ｓ）からの信号電荷に基づく信号を用いて、転送された信号電荷に基づく信号に含まれるスミア成分を求めるスミア成分取得ステップと、この求めたスミア成分を用いていずれか一方の光電変換素子（主領域ｍ又は副領域ｓ）からの信号電荷に基づく信号を補正するスミア成分補正ステップとを含んでいる。

次に、スミア補正処理を行う撮像方法について、図５に一例を示すフローチャートを用いて説明する。
まず、デジタルカメラ１００の電源をＯＮにして動作モードを撮影モードとする。このときの予めカメラに用意された複数の撮影モードのうち、いずれかの撮影モードを設定する（ステップ１、以降はＳ１と略記する）。設定された撮影モードが、撮影間隔を短く設定する連続撮影モード（連写モード或いは速写機能時）であるか判断し（Ｓ２）、この撮影モードが選択されている場合には、前述した信号電荷の読み出し前にスミア成分の掃き出し動作をしない駆動方法により撮影を行う（Ｓ３）。これにより、高速掃き出し動作を必要としない高速な撮影を行うことができ、撮影間隔の短縮が可能となる。

スミア成分の高速掃き出し動作をしない駆動方法による撮影の後に、この撮影により得られる信号電荷に基づく信号が飽和点を超えているか否かを判断する飽和判定ステップを実行する（Ｓ４）。このとき、一般に高感度画素からの信号が低感度画素からの信号より先に飽和点を超えるので、高感度画素からの信号が飽和点を超えているか否かを判断するのが良いが、本実施形態の場合、高感度画素と低感度画素の感度比が分かっているため、低感度画素からの信号を用いて飽和点を超えているか否かを判断する。この処理は、Ａ／Ｄ変換部３によりデジタル化した高感度画素からの信号（高感度画像データ）と低感度画素からの信号（低感度画像データ）が入力されるデジタル信号処理部７で行う。

Ｓ４で飽和点を超えていないと判断されると、前述した（１）式を用いてスミア成分を求め、先に読み出した信号電荷に基づく信号（高感度画像データ）に含まれるスミア成分を除去する（Ｓ５）。

次に、デジタル信号処理部７で画像処理を施す（Ｓ６）。デジタル信号処理部７は、入力されたｍ領域及びｓ領域からの信号電荷に基づく信号、即ち、高感度画像データと低感度画像データとを、別々にＯＢ処理、リニアマトリクス補正処理、ホワイトバランス調整処理、ガンマ補正処理を行った後、同一の相対分光感度特性を有し、同一の位置関係で隣接する高感度画素と低感度画素の画像データを合成する。この合成方法の一例を（２）式に示す。
Ｓc＝Ｓ_H ＋ Ｓ_L …（２）
ここで、Ｓcは合成信号であり、Ｓ_Hは高感度画像データ、Ｓ_Lは低感度画像データである。カラー画像の場合は、赤色、緑色、青色の各色毎に求められる。

また、Ｓ４において飽和点を超えたと判断されると、スミア補正を行わず、Ｓ６の画像処理を行って合成信号を求める。

一方、Ｓ２において、設定された撮影モードが、撮影間隔を短く設定する連続撮影モード（連写モード或いは速写機能を有効にする場合）ではないと判断された場合には、通常のスミア成分の高速掃き出し動作を含む駆動方法によって撮像処理を行う（Ｓ７）。つまり、この場合には高速で撮影を繰り返すという必要性が特にないので、スミア成分の高速掃き出し動作を行っても、次の撮影を行うまでの間、カメラの操作者がカメラ側の処理のために待たされることはない。

そしてこの場合も、撮影により得られる高感度画像データと低感度画像データとをデジタル信号処理部７で画像処理を施す（Ｓ８）。デジタル信号処理部７は、入力された高感度画像データと低感度画像データと別々にＯＢ処理、リニアマトリクス補正処理、ホワイトバランス調整処理、ガンマ補正処理を行った後、同一の相対分光感度特性を有し、同一の位置関係で隣接する高感度画素と低感度画素の画像データＳ_HとＳ_Lとを合成する。合成方法の一例を（３）式に示す。
Ｓc＝αＳ_H ＋ （１−α）Ｓ_L …（３）
ここで、αは合成比率を決定する係数であり、０＜α＜１の範囲に設定される。このα値は、撮影シーンに応じて適正な値に定められる。

なお、画像処理として、撮像画像の高感度画像データと低感度画像データとを合成して、広ダイナミックレンジのデジタル画像データを最終的に生成しているが、高感度画像データだけ、或いは低感度画像データだけで最終的なデジタル画像データを生成するものであってもよい。この場合には、処理速度が向上して、一層高速な連続撮影が可能となる。
また、固体撮像素子１ｅの光電変換領域の主領域ｍと副領域ｓとの信号電荷の読み出し順を、主領域ｍ→副領域ｓとする以外にも、副領域ｓ→主領域ｍの順にしてもよい。転送順を逆にすることで、飽和点までの裕度が主領域ｍと比較して大きい低感度の副領域ｓに対する信号電荷に、スミア成分が重畳されても飽和点を超えることが生じにくくなり、スミア成分を効率よく除去することが可能となる。

以上説明したように、本構成による電荷転送型固体撮像素子の駆動方法及びこれを用いた撮像方法によれば、固体撮像素子の露光後に垂直転送路の高速電荷転送動作を行うことなく高感度光電変換素子と低感度光電変換素子からの信号電荷をそれぞれ独立して垂直転送路に読出し、転送し、この転送された高感度光電変換素子からの信号電荷に基づく信号と低感度光電変換素子からの信号電荷に基づく信号とを用いて、転送された信号電荷に基づく信号に含まれるスミア成分を求め、この求めたスミア成分を用いていずれか一方の光電変換素子からの信号電荷に基づく信号を補正することにより、スミア成分の高速掃き出し動作を行わなくても、スミア補正された画像を作成することができ、さらに、画像全体の読み出し時間を短縮されるため、連続撮影モード時（連写モード時の撮影や、シャッターレリーズボタンを連続して複数回押下して撮影を行う速写時）に、撮影に適した駆動を実施できる。
また、動画撮影を実施した場合でも、スミア成分に起因するフリッカーやＦＰＮの発生が防止され、高品位な画像信号を得ることができる。

なお、固体撮像素子１ｅとしては、上述した構成以外にも高感度光電変換素子及び低感度光電変換素子が一行おきに正方格子状に配列された構造のものであってもよい。つまり、高感度光電変換素子と低感度光電変換素子は、複数個の光電変換領域を用いて形成するものであってもよい。

図６に、高感度光電変換素子及び低感度光電変換素子が一行おきに正方格子状に配列された構造の一例である固体撮像素子（この例ではＣＣＤ）の一部平面図を示した。各フォトダイオード（光電変換素子）の上部には、図示を省略するが各画素色に対応する色フィルタと、マイクロレンズが設けられる。

高感度光電変換素子である各画素４３ｒ，４３ｇ，４３ｂの間には、列方向にジグザグ形状に延びる垂直転送路４４ａ，４４ｂ，４４ｃ，……が形成され、また、各垂直転送路を駆動する転送電極が、各画素の上下に各１ライン形成される（図６に(1)〜(5)で示す）。この転送電極に所定電圧が印加されたとき、その転送電極の下部位置に画素の電荷が読み出される。

図６に示す例では、画素４３ｂの信号電荷が垂直転送路４４ｂに読み出され、画素４３ｇの信号電荷が垂直転送路４４ｃに読み出され、転送される。転送される信号電荷は、例えば、画素４３ｂから転送電極(3)の下部に形成されたポテンシャル井戸に読み出される。そして、転送電極(1)〜(5)に順繰りに所定電圧を印加することで、信号電荷の垂直方向への転送が行われる。
チャネルストップ４５は、隣接する垂直転送路４４ｂ，４４ｃ間を分離しており、これにより、垂直転送路４４ｂ，４４ｃ間のポテンシャル井戸が分離されるようになっている。他の隣接する垂直転送路間も同様である。

そして、本実施形態では、４つの高感度光電変換素子である高感度画素４３ｒ，４３ｇ，４３ｂ,…が配置された画素間の位置に、低感度光電変換素子となる低感度画素４８を配置している。

この低感度画素４８の蓄積電荷は、該当する転送電極（例えば図中右上位置の転送電極(2),(4)）に蓄積され、高感度画素の場合と同様に電荷が転送される。このような電荷読み出しを行い、高感度画素と低感度画素に蓄積された電荷を独立に読み出す。

上記構成の固体撮像素子であっても、前述同様に広ダイナミックレンジの画像を得る際に、スミア成分の除去を行いつつ画像信号の読み出し時間を短縮することができる。

本発明に係る撮像装置の一例であるデジタルカメラの概略構成を示す図である。 画素を分割して構成した固体撮像素子の部分拡大平面図である。 図２の光電変換領域の一部とこれに対応する垂直転送部を拡大して示す部分拡大図である。 スミア成分を除去する固体撮像素子の駆動方法を説明するタイムチャートである。 スミア補正処理を行う撮像方法の一例としてのフローチャートである。 高感度光電変換素子及び低感度光電変換素子が一行おきに正方格子状に配列された構造の一例である固体撮像素子の一部平面図である。 従来の固体撮像素子の駆動方法を説明するタイムチャートである。

符号の説明

１ 撮像部
１ｅ 固体撮像素子
４ 駆動部
５ メインメモリ
６ メモリ制御部
７ デジタル信号処理部
１２ 表示部
１３ 表示制御部
１４ ＣＰＵユニット
１５ 操作部
２１ 水平転送部
２３ 出力部
２５，２６，２７，２８ 垂直転送電極
３０ 垂直転送チャネル
３１ 第１電荷読み出し領域
３２ 第２電荷読み出し領域
３５，３６，３７，３８ 端子
１００ デジタルカメラ
ｋ 感度比
ｍ 主領域
ｓ 副領域
Ｖ１ 垂直転送部

Claims (13)

1. 相対的に高感度の光電変換を行う高感度光電変換素子と、相対的に低感度の光電変換を行う低感度光電変換素子と、前記高感度光電変換素子及び前記低感度光電変換素子からの信号電荷を転送する垂直転送路とを有する電荷転送型固体撮像素子の駆動方法であって、
   前記固体撮像素子の露光後に前記垂直転送路の高速電荷転送動作を行うことなく前記高感度光電変換素子と前記低感度光電変換素子からの信号電荷をそれぞれ独立して前記垂直転送路に読出し、転送する電荷転送ステップを含む電荷転送型固体撮像素子の駆動方法。
2. 前記電荷転送ステップは、前記高感度光電変換素子からの信号電荷を読み出して転送後、前記低感度光電変換素子からの信号電荷を読み出して転送する請求項１記載の電荷転送型固体撮像素子の駆動方法。
3. 相対的に高感度の光電変換を行う高感度光電変換素子と、相対的に低感度の光電変換を行う低感度光電変換素子と、前記高感度光電変換素子及び前記低感度光電変換素子からの信号電荷を転送する垂直転送路とを有する電荷転送型固体撮像素子を用いて画像を撮影する撮像方法であって、
   前記固体撮像素子の露光後に前記垂直転送路の高速電荷転送動作を行うことなく前記高感度光電変換素子と前記低感度光電変換素子からの信号電荷をそれぞれ独立して前記垂直転送路に読出し、転送する電荷転送ステップと、
   転送された前記高感度光電変換素子からの信号電荷に基づく信号と前記低感度光電変換素子からの信号電荷に基づく信号を用いて前記転送された信号電荷に基づく信号に含まれるスミア成分を求めるスミア成分取得ステップと、
   前記求めたスミア成分を用いて前記いずれか一方の光電変換素子からの信号電荷に基づく信号を補正するスミア成分補正ステップとを含む撮像方法。
4. 前記電荷転送ステップは、前記高感度光電変換素子からの信号電荷を読み出して転送後、前記低感度光電変換素子からの信号電荷を読み出して転送し、
   前記スミア成分取得ステップは、前記高感度光電変換素子からの信号電荷に基づく信号に含まれるスミア成分を取得し、
   前記スミア成分補正ステップは、記高感度光電変換素子からの信号電荷に基づく信号を補正する請求項３記載の撮像方法。
5. 前記高感度光電変換素子の飽和の有無を判定する飽和判定ステップを含み、
   前記スミア成分取得ステップ及び前記スミア成分補正ステップは、前記飽和判定ステップで飽和でないと判定された場合に実行される請求項３又は４記載の撮像方法。
6. 前記飽和判定ステップは、前記低感度光電変換素子からの信号電荷に基づく信号と、前記高感度光電変換素子と前記低感度光電変換素子との感度比を用いる請求項５記載の撮像方法。
7. 固体撮像素子と、該固体撮像素子を駆動する撮像素子駆動部と、前記固体撮像素子からの信号に対する信号処理を行う信号処理部とを備え、撮像画像のデジタル画像データを出力する撮像装置であって、
   前記固体撮像素子は、相対的に高感度の光電変換を行う高感度光電変換素子、相対的に低感度の光電変換を行う低感度光電変換素子、及び前記高感度光電変換素子及び前記低感度光電変換素子からの信号電荷を転送する垂直転送路を有し、前記信号電荷に基づく信号を出力する電荷転送型固体撮像素子であり、
   前記撮像素子駆動部は、前記固体撮像素子の露光後に前記垂直転送路の高速電荷転送動作を行うことなく前記高感度光電変換素子と前記低感度光電変換素子からの信号電荷をそれぞれ独立して前記垂直転送路に読出し、転送するものであり、
   前記信号処理部は、転送された前記高感度光電変換素子からの信号電荷に基づく信号と前記低感度光電変換素子からの信号電荷に基づく信号を用いて前記転送された信号電荷に基づく信号に含まれるスミア成分を求めるスミア成分取得機能と、前記求めたスミア成分を用いて前記いずれか一方の光電変換素子からの信号電荷に基づく信号を補正するスミア成分補正機能を有するものである撮像装置。
8. 前記撮像素子駆動部は、前記高感度光電変換素子からの信号電荷を読み出して転送後、前記低感度光電変換素子からの信号電荷を読み出して転送するものであり、
   前記スミア成分取得機能は、前記高感度光電変換素子からの信号電荷に基づく信号に含まれるスミア成分を取得する機能であり、
   前記スミア成分補正機能は、記高感度光電変換素子からの信号電荷に基づく信号を補正する機能である請求項７記載の撮像装置。
9. 前記信号処理部は、前記高感度光電変換素子の飽和の有無を判定する飽和判定機能を有し、前記スミア成分取得機能及び前記スミア成分補正機能は、前記飽和判定機能で飽和でないと判定された場合に有効となる請求項７又は８記載の撮像装置。
10. 前記飽和判定機能は、前記低感度光電変換素子からの信号電荷に基づく信号と、前記高感度光電変換素子と前記低感度光電変換素子との感度比を用いて前記高感度光電変換素子の飽和の有無を判定するものである請求項９記載の撮像装置。
11. 連続した撮影を行う連続撮影モードを有し、
    前記撮像素子駆動部は、前記撮影モード時に、前記垂直転送路の高速電荷転送動作を行うことなく前記高感度光電変換素子と前記低感度光電変換素子からの信号電荷を前記垂直転送路に読出し、転送するものである請求項７乃至１０のいずれか１項記載の撮像装置。
12. 前記信号処理部は、前記高感度光電変換素子からの信号電荷に基づく信号を用いて、撮像画像のデジタル画像データを生成するものである請求項７乃至１１のいずれか１項記載の撮像装置。
13. 前記信号処理部は、前記高感度光電変換素子からの信号電荷に基づく信号を前記低感度光電変換素子からの信号電荷に基づく信号を混合して、撮像画像のデジタル画像データを生成するものである請求項７乃至１２のいずれか１項記載の撮像装置。

Images