JP4689620B2 - イメージセンサ - Google Patents

Description

本発明は、イメージセンサにかかわり、特には、明部と暗部とが混在する被写体の明部、暗部いずれの画像情報も良好に取得する広ダイナミックレンジの撮影を可能とする露光時間制御の技術に関する。

画像データをデジタル処理する固体撮像装置、例えば、静止画を扱うデジタルスチルカメラや、動画を扱うデジタルビデオカメラは、撮像光学系を通して得られる光学画像を光電変換素子により光電変換し、得られる画像信号をデジタル処理する。光電変換素子とその蓄積電荷保持部とを含む撮像素子を縦横マトリクス状に配列したエリアセンサとして、一般にＭＯＳ（Metal Oxide Semiconductor）イメージセンサやＣＣＤ（Charge Coupled Device)イメージセンサが用いられる。これらのエリアセンサの有効な入射光量は狭い範囲に限られる。そのため、明暗の差が大きい被写体をこれらのエリアセンサで撮像する場合、明部では画像が白く飛んでしまう現象（以下、白飛びという）、暗部では黒がつぶれてしまう現象（以下、黒潰れという）がそれぞれ生じる。これにより、画像のダイナミックレンジは狭くなる。このような現象を回避して画像のダイナミックレンジを広くするために、従来から、特許文献１−３に示されるように、長時間露光信号と短時間露光信号とを合成することが行われる。

図１６は、長時間露光信号Ｓlong、短時間露光信号Ｓshort、およびそれらを合成してなる合成信号Ｓmixのそれぞれについて入射光量と出力信号レベルとの関係を示す特性図である。Ａは入射光量が少ない領域、Ｂは長時間露光信号Ｓlongの飽和が始まる領域、Ｃは長時間露光信号Ｓlongが完全に飽和した領域である。明暗の差の激しい画像（被写体）では、同一画像中に領域Ａ,Ｂ,Ｃが混在する。

長時間露光信号Ｓlongは、領域Ａ（入射光量の少ない暗い部分）では感度を高める効果を発揮するが、領域Ｂ,Ｃ（感度が飽和した明るい部分）では、白飛びの弊害を生じさせる。短時間露光信号Ｓshortは、領域被写体の比較的明るい部分に対して感度を高める効果を現わすが、光量の少ない部分では黒つぶれの弊害が残る。このように、いずれの露光信号においても単独ではダイナミックレンジが狭く、同一画像中に領域Ａ,Ｂ,Ｃが混在する明暗の差の激しい（コントラストの高い）画像（被写体）では、明瞭な画像描写が困難となる。

これに対して、長時間露光信号Ｓlongと短時間露光信号Ｓshortとを加算した合成信号Ｓmixでは、領域Ａから領域Ｃにかけて、画像情報を偏り少なく取り込むことができ、コントラストの高い画像の描写が可能となる。すなわち、広いダイナミックレンジを実現することができる。
特開平２−１７４４７０号公報（第２頁、第３図） 特開平７−９５４８１号公報（第３−５頁、第２図） 特開平１１−７５１１８号公報（第４−６頁、第１−４図）

長時間露光信号と短時間露光信号とを得るに当たり、従来では、図１７Ａに示すように、１フィールドの時間帯を２分割し、一方の時間帯で長時間露光を行い、他方の時間帯で短時間露光を行う。図１７Ｂは長時間露光期間における１フィールド分の画像情報を模式的に表す。この場合、ライン単位の撮像素子群はいずれのラインでも長時間露光信号Ｓlongとなる。図１７Ｃは短時間露光期間における１フィールド分の画像情報を模式的に表す。この場合、ライン単位の撮像素子群はいずれのラインでも短時間露光信号Ｓshortとなる。以下、ＭＯＳイメージセンサを例にとってさらに説明する。

任意のラインで長時間露光信号Ｓlongの取り込みタイミングをｔ１とし、同じラインで短時間露光信号Ｓshortの取り込みタイミングをｔ２とすると、それぞれはＳlong（ｔ１）、Ｓshort（ｔ２）と表現できる。長時間露光信号Ｓlongと短時間露光信号Ｓshortとの合成信号Ｓmixは、概して、
Ｓmix＝Ｓlong（ｔ１）＋Ｓshort（ｔ２）
と表現することができる。

ここで、着目すべきは、時間帯ｔ１と時間帯ｔ２とが、同じフィールド期間内にあるもの時間的にずれていることである。そのため、一つの合成信号Ｓmixの構成要素をそれぞれ構成する長時間露光信号Ｓlong（ｔ１）の露光タイミングと短時間露光信号Ｓshort（ｔ２）の露光タイミングとは互いに時間的に大きくずれる。これにより、被写体が静止している場合や動きが小さい場合は問題はないが、被写体の動きが大きい動画撮影時には、読出した信号情報（合成信号Ｓmix）を構成する長時間露光信号Ｓlong（ｔ１）と短時間露光信号Ｓshort（ｔ２）との露光期間が大きく異なるため、画像ブレ等の画質劣化が生じる。

上記課題を解決するために、本発明は、複数の撮像素子をマトリクス状に配列したエリアセンサから、前記撮像素子に蓄積される信号電荷を読出すイメージセンサの読出し方法を次のように構成する。すなわち、互いに時間長の異なる複数の露光時間を設定したうえでこれらの露光時間を前記エリアセンサのライン毎に個別に割り当てる。前記露光時間の設定は、読出しタイミング基準信号をシフトレジスタにてシフトすることにより生成される各ライン毎の読み出しタイミング信号と、電荷掃出しパルス信号をシフトレジスタにてシフトすることにより生成される各ライン毎の電荷掃出しパルス信号とに基づいたものである。前記各ライン毎の電荷掃出しパルス信号をマスクするか否かにより、1フィールド内の１ライン毎に設定される前記露光時間を異なる時間長とする。前記撮像素子に蓄積される前記信号電荷を前記エリアセンサのライン単位で読出す。読出した前記信号電荷を前記エリアセンサの画面単位で合成する。

このようにしてライン単位で露光時間が可変された蓄積信号電荷を複数ライン分合成して合成信号を生成する場合に、合成のもとになった複数ラインは互いに時間的に非常に接近しているため、動きのある被写体を撮像する動画撮影時でも、ダイナミックレンジの拡張を図りつつ、画像ブレ等の画質劣化の発生を抑制することができる。

本発明によれば、ライン単位で露光時間が可変されるので、動きのある被写体を撮像する動画撮影時でも、ダイナミックレンジの拡張を図りつつ、画像ブレ等の画質劣化の発生を抑制することができる。

以下、本発明にかかわるＭＯＳイメージセンサの実施の形態を図面に基づいて詳細に説明する。

（実施の形態１）
図１は、本発明の実施の形態１のＭＯＳイメージセンサを備えた固体撮像装置の概略図である。固体撮像装置は、ＭＯＳイメージセンサ１０１と、イメージセンサ１０１を駆動制御する駆動制御部１０２と、イメージセンサ１０１からの信号を処理する信号処理部１０３とを備える。

図２は、イメージセンサ１０１の詳しい構成を示すブロック図である。図２において、２０１は撮像素子である。２０２はエリアセンサである。２０３は垂直制御部としての垂直シフトレジスタである。２０４はリセット制御部としてのリセット用シフトレジスタである。２０５はリセットマスク制御部である。２０６は信号電荷読出し制御部である。２０７は水平シフトレジスタである。垂直シフトレジスタ２０３とリセット用シフトレジスタ２０４とリセットマスク制御部２０５と水平シフトレジスタ２０７とによりタイミング制御部が構成される。

エリアセンサ２０２は、多数の撮像素子２０１が縦横マトリクス状に配列されて構成される。撮像素子２０１は、光電変換素子と蓄積電荷保持部と信号読出し部とから構成される。垂直シフトレジスタ２０３は、撮像素子２０１の蓄積信号電荷を垂直方向ライン単位で読出す際の読出しラインを選択制御する。信号電荷読出し制御部２０６は、撮像素子２０１の信号電荷を垂直方向ライン単位で読出す際の読出しラインを実効的に選択制御する。

垂直シフトレジスタ２０３は、読出しタイミング基準信号ＲＤ０が入力される。垂直シフトレジスタ２０３は、読出しタイミング基準信号ＲＤ０を時間経過に従って順次にシフトすることにより、各ラインに対する読出しタイミング信号ＲＤ１，ＲＤ２，ＲＤ３…を生成して信号電荷読出し制御部２０６に送出する。

リセット用シフトレジスタ２０４には、蓄積中の信号電荷をライン単位でリセットするための電荷掃出しパルスＲＴ０が入力される。リセット用シフトレジスタ２０４は、電荷掃出しパルスＲＴ０を時間経過に従って順次シフトすることにより、各ラインに対応するリセットタイミング信号ＲＴ１，ＲＴ２，ＲＴ３…を生成して信号電荷読出し制御部２０６に送出する。ここでリセットとは、撮像素子２０１から信号電荷を掃き出して、撮像素子２０１の蓄積電荷をゼロにすることである。

リセットマスク制御部２０５は、リセット用シフトレジスタ２０４と信号電荷読出し制御部２０６との間に介在されており、リセットタイミング信号ＲＴ１，ＲＴ２，ＲＴ３…の出力制御を個別に行う。すなわち、リセットマスク制御部２０５は、リセットタイミング信号ＲＴ１，ＲＴ２，ＲＴ３…を個別的にマスクすることで、リセットタイミング信号ＲＴ１，ＲＴ２，ＲＴ３…が信号電荷読出し制御部２０６に作用するのを許容したり禁止したりする。リセットタイミング信号ＲＴ１，ＲＴ２，ＲＴ３…のうちいずれを有効にしいずれを無効にするかは、リセットマスク制御部２０５により任意に設定される。

信号電荷読出し制御部２０６は、エリアセンサ２０２における１ライン分の撮像素子２０１…群を制御の単位として、全ラインにつき、蓄積信号電荷の掃出し(リセット)動作制御と蓄積信号電荷の読出し動作の制御とを行う。すなわち、信号電荷読出し制御部２０６は、リセット用シフトレジスタ２０４からリセットタイミング信号ＲＴｉ（ｉは自然数）が入力されたときはそのリセットタイミング信号ＲＴｉの立ち上がりから読出しタイミング信号ＲＤｉ（ｉは自然数）の立ち上がりまでの露光時間に撮像素子２０１…群に蓄積された信号電荷をエリアセンサ２０２からライン単位で読出す。一方、リセットタイミング信号ＲＴｉの入力がないときは読出しタイミング信号ＲＤｉの立ち上がりから次のサイクルの読出しタイミング信号ＲＤｉの立ち上がりまでの露光時間に撮像素子２０１…群に蓄積された信号電荷をエリアセンサ２０２からライン単位で読出す。

蓄積信号電荷の読出し動作は各ラインとも読出しタイミング信号ＲＤｉの立ち上がりタイミングで実行され、電荷のリセット動作は各ラインともリセットタイミング信号ＲＴｉの立ち上がりで実行される。蓄積信号電荷の読出しが行われたラインの撮像素子２０１…群の電荷はリセットされる。

同一のラインにおいて、読出しタイミング信号ＲＤｉの立ち上がりから次の立ち上がりまでの期間に蓄積される信号電荷は、長時間露光信号Ｓlongに対応する。この場合の電荷蓄積期間は第１の露光時間（長時間露光時間）に相当する。長時間露光信号Ｓlongの露光時間（第１の露光時間）は、読出しタイミング信号ＲＤｉの立ち上がりタイミングから次の立ち上がりタイミングまでの期間である。

また、次の立ち上がりまでにリセットタイミング信号ＲＴｉが入力されたときは、信号電荷読出し制御部２０６は、そのラインにおける撮像素子２０１…群の電荷をリセットする。そのリセットタイミングから次の読出しタイミング信号ＲＤｉ（ｉ＝１，２…）の立ち上がりタイミングまでに信号電荷が蓄積されるが、その立ち上がりタイミングで対応するラインの撮像素子２０１…群の蓄積信号電荷を読出す。このときの信号電荷は、短時間露光信号Ｓshortに対応する。以下、このときの露光時間を第２の露光時間という。第２の露光時間は、リセットタイミング信号ＲＴｉの立ち上がりタイミングから次の読出しタイミング信号ＲＤｉの立ち上がりタイミングまでの期間である。

第１の露光時間の時間長は、エリアセンサ２０２の画面領域の中で相対的に暗いと判断される画面部位の明るさに応じて設定される。第２の露光時間の時間長は、エリアセンサ２０２の画面領域の中で相対的に明るいと判断される画面部位の明るさに応じて設定される。

リセット用シフトレジスタ２０４において、電荷掃出しパルスＲＴ０が順次にシフトされ、時系列的にリセットタイミング信号ＲＴ１，ＲＴ２，ＲＴ３…が出力されていても、リセットマスク制御部２０５にてリセットにマスクをかけられたライン（マスク有効ライン）においては、該当するリセットタイミング信号ＲＴｉ（ｉは自然数）は信号電荷読出し制御部２０６に伝わらない。したがって、マスク有効ラインでは、垂直シフトレジスタ２０３からの読出しタイミング信号ＲＤｉ（ｉは自然数）のみが有効となり、第１の露光時間に基づく長時間露光信号Ｓlongが生成される。一方、リセットマスク制御部２０５にてマスクがされなかったライン（マスク無効ライン）においては、該当するリセットタイミング信号ＲＴｉが信号電荷読出し制御部２０６に伝わる。したがって、マスク無効ラインでは、リセット用シフトレジスタ２０４からのリセットタイミング信号ＲＴｉも有効となり、第２の露光時間に基づく短時間露光信号Ｓshortが生成される。いずれにしても、露光時間の長短はライン単位で互いに独立に制御される。

このように、第１の露光時間の時間長は、読出しタイミング基準信号ＲＤｉの信号周期と同一の時間長に設定され、第２の露光時間の時間長は、読出しタイミング基準信号ＲＤｉの信号周期より短い時間長に設定される。

第１の露光時間が設定されるライン群を第１のライン組の群という。第２の露光時間が設定されるライン群を第２のライン組の群という。第１,第２のライン組は、次に説明する図４に示すように、エリアセンサ２０２上において交互に配置される。また、本実施形態では、第１,第２のライン組は一本ないし複数のラインから構成される。以下に示す実施の形態１の説明では、図４に示すように、１本のラインから第１,第２のライン組それぞれが構成されていることを前提にしている。

垂直シフトレジスタ２０３への読出しタイミング基準信号ＲＤ０の入力のタイミング制御、リセット用シフトレジスタ２０４への電荷掃出しパルスＲＴ０の入力のタイミング制御およびリセットマスク制御部２０５における設定は、図１に示す駆動制御部１０２によって行われる。

エリアセンサ２０２の撮像素子２０１…群の蓄積信号電荷、つまりライン単位で独立した露光時間で蓄積された信号電荷は、ライン単位で垂直方向に読出され、水平シフトレジスタ２０７に垂直転送される。水平シフトレジスタ２０７は、転送されてきた信号電荷を１画素分ずつ水平方向に転送し、図示しない出力アンプで電圧信号に変換して信号処理部１０３へと送出する。この動作を繰り返して１画面分の信号電荷の読出しを実行して画像を生成する。

なお、図２ではエリアセンサ２０２を模式的に垂直方向６行、水平方向６列の撮像素子２０１…群で示しているが、一般的にはＮ，Ｍを任意の自然数として、垂直方向Ｎ行、水平方向Ｍ列となっている。

以下に、読出し動作をより具体的レベルで説明する。

（１）全ライン露光時間一定の通常モードでの露光制御
まず、通常モードでの露光制御について図３を参照して説明する。信号電荷の読出し基準タイミングを生成する読出しタイミング基準信号ＲＤ０が垂直シフトレジスタ２０３に入力される。垂直シフトレジスタ２０３は、読出しタイミング基準信号ＲＤＯを順次にシフトしながら各ライン毎の読出しタイミング信号ＲＤ１，ＲＤ２，ＲＤ３…を生成する。以下、読出しタイミング基準信号ＲＤ０の周期をＴ１とする。

１ライン目について詳しく説明する。先行する第１の読出しタイミング信号ＲＤ１の立ち上がりにより１ライン目の撮像素子２０１…群が蓄積信号電荷をリセットし、かつ信号電荷の蓄積を再スタートする。次いで、次のサイクルの第１の読出しタイミング信号ＲＤ１が立ち上がるまでに、第１のリセットタイミング信号ＲＴ１が立ち上がり、それまでの蓄積信号電荷がリセットされるとともに、信号電荷の蓄積が再スタートする。この間の蓄積信号電荷は廃棄される。

第１のリセットタイミング信号ＲＴ１の立ち上がりの後、次のサイクルの第１の読出しタイミング信号ＲＤ１が立ち上がる。これが図３で小さい三角形で表される。三角形の横軸は時間を表し、縦軸は露光量を表す。この１ライン目の三角形が示す露光状態の露光時間が第２の露光時間Ｔst１である。第２の露光時間Ｔst１の長さは、第１のリセットタイミング信号ＲＴ１をどのタイミングで立ち上げるかによって決まる。

第２の露光時間Ｔst１の終了タイミングを指示する第１の読出しタイミング信号ＲＤ１の立ち上がりによって、１ライン目の撮像素子２０１…群の第２の露光時間Ｔst１の蓄積信号電荷が読出される。

上記と同様にして、第２のリセットタイミング信号ＲＴ２の立ち上がりから次の第２の読出しタイミング信号ＲＤ２の立ち上がりまでの第２の露光時間Ｔst２の蓄積信号電荷が読出される。

また、第３のリセットタイミング信号ＲＴ３の立ち上がりから次の第３の読出しタイミング信号ＲＤ３の立ち上がりまでの第２の露光時間Ｔst３の蓄積信号電荷が読出される。

また、第４のリセットタイミング信号ＲＴ４の立ち上がりから次の第４の読出しタイミング信号ＲＤ４の立ち上がりまでの第２の露光時間Ｔst４の蓄積信号電荷が読出される。

以降、同様の読出し処理がすべてのラインについて実行され、１画面分の信号電荷の読出しが行われ、その結果、１画面分の撮像イメージが生成される。上記において、各ラインの第２の露光時間Ｔstｉ（ｉ＝１，２…）はすべて同じで、これは短時間露光信号Ｓshortが生成可能な時間長となる。

（２）ライン毎露光時間設定のモードでの露光制御
次に、ライン毎に露光時間を設定するモードでの露光制御について図４を参照して説明する。ここでは、奇数ラインの露光時間を長く設定し、偶数ラインの露光時間を短く設定する場合の動作例を説明する。

読出しタイミング基準信号ＲＤ０を垂直シフトレジスタ２０３にてシフトしながら各ライン毎の読出しタイミング信号ＲＤ１，ＲＤ２，ＲＤ３…を生成する。さらに、リセットマスク制御部２０５において、リセット用シフトレジスタ２０４からのリセットタイミング信号ＲＴ１，ＲＴ２，ＲＴ３…を、マスクする（マスク有効）／マスクしない（マスク無効）、の設定を行う。ここでは、奇数ラインに対してはマスク有効が設定され、偶数ラインに対してはマスク無効が設定される。図４では、第１のリセットタイミング信号ＲＴ１、第３のリセットタイミング信号ＲＴ３および第５のリセットタイミング信号ＲＴ５が平坦なローレベル固定となっている。これにより、１画面上に対して２つの露光時間を設定する。マスク有効が設定された奇数ラインの露光時間は、読出しタイミング基準信号ＲＤ０の周期Ｔ１と等しくなる。マスク無効が設定された偶数ラインの露光時間は、上記（１）の場合と同様に、リセットタイミング信号ＲＴｉ（ｉ＝１，２…）の立ち上がりから読出しタイミング信号ＲＤｉ（ｉ＝１，２…）の立ち上がりまでの時間と等しくなる。

１ライン目については、先行する第１の読出しタイミング信号ＲＤ１の立ち上がりにより１ライン目の撮像素子２０１…群での蓄積信号電荷がリセットされ、かつ信号電荷の蓄積が再スタートされる。次のサイクルの第１の読出しタイミング信号ＲＤ１が立ち上がるまでにリセットタイミング信号の立ち上がりはなく、信号電荷の蓄積は継続される。そののち次のサイクルの第１の読出しタイミング信号ＲＤ１が立ち上がる。以上の電荷蓄積の結果が図４で横方向に細長い三角形として表されている。この１ライン目の細長い三角形が示す露光状態の露光時間が第１の露光時間Ｔlｇ１である。第１の露光時間Ｔlg１の長さは、読出しタイミング基準信号ＲＤ０の周期Ｔ１と等しい。第１の露光時間Ｔlg１の終了タイミングを指示する第１の読出しタイミング信号ＲＤ１の立ち上がりによって、１ライン目の撮像素子２０１…群の第１の露光時間Ｔlg１の蓄積信号電荷が読出される。これは、長時間露光信号Ｓlongに対応する。

２ライン目については、上記の（１）と同様であり、第２のリセットタイミング信号ＲＴ２の立ち上がりから次の第２の読出しタイミング信号ＲＤ２の立ち上がりまでの第２の露光時間Ｔst２の蓄積信号電荷が読出される。これは、短時間露光信号Ｓshortに対応する。

３ライン目については、第３の読出しタイミング信号ＲＤ３の立ち上がりから次のサイクルの第３の読出しタイミング信号ＲＤ３の立ち上がりまでの第１の露光期間Ｔlg３（＝Ｔ１）の蓄積信号電荷が読出される。これは、長時間露光信号Ｓlongに対応する。

４ライン目については、上記の（１）と同様であり、第４のリセットタイミング信号ＲＴ４の立ち上がりから次の第４の読出しタイミング信号ＲＤ４の立ち上がりまでの第２の露光時間Ｔst４の蓄積信号電荷が読出される。これは、短時間露光信号Ｓshortに対応する。

５ライン目については、第５の読出しタイミング信号ＲＤ５の立ち上がりから次のサイクルの第５の読出しタイミング信号ＲＤ５の立ち上がりまでの第１の露光期間Ｔlg５（＝Ｔ１）の蓄積信号電荷が読出される。これは、長時間露光信号Ｓlongに対応する。

６ライン目については、上記の（１）と同様であり、第６のリセットタイミング信号ＲＴ６の立ち上がりから次の第６の読出しタイミング信号ＲＤ６の立ち上がりまでの第２の露光時間Ｔst６の蓄積信号電荷が読出される。これは、短時間露光信号Ｓshortに対応する。

このような露光時間制御を行うことにより、１画面分の撮像イメージを生成する。隣接する奇数ラインの長時間露光信号Ｓlongと偶数ラインの短時間露光信号Ｓshortとの合成は信号処理部１０３で行われる。

図１７Ａ−図１７Ｃで説明したように、従来の技術の場合には、合成信号Ｓmixの構成要素である長時間露光信号Ｓlongと短時間露光信号Ｓshortとが時間的に大きくずれているため、被写体の動きが大きい動画撮影時には画像ブレ等の画質劣化が生じるおそれがあった。

これに対して実施の形態１においては、図５Ａに示すように、１フィールドの時間帯が多数に分割されている。そして、図５Ｂに示すように、隣接する第１のライン組と第２のライン組とを設定する。なお、図４では、第１,第２のライン組それぞれは単一のラインから構成されるが、これらのライン組を複数のラインから構成してもよい。

そのうえで、第１のライン組に長時間露光信号Ｓlongが出力される第１の露光時間を設定し、第２のライン組に短時間露光信号Ｓshortが出力される第２の露光時間を設定する。さらはこれら隣接する第１,第２のライン組から出力される長時間露光信号Ｓlongと短時間露光信号Ｓshortとを合成する。これにより、隣接する２ライン組を１対とする合成信号Ｓmixを生成する。すなわち、合成信号Ｓmixをそれぞれ構成する長時間露光信号Ｓlongと短時間露光信号Ｓshortとは１ラインもしくは数ライン時間だけ時間的に離間しているだけであって、時間的に非常に接近している。そのため、動きのある被写体を撮像する動画撮影時であっても、画像ブレ等の画質劣化はほとんど生じない。もちろん、広ダイナミックレンジも実現される。

なお、実施の形態１では、１ライン毎に交互に露光時間を変化させる制御形態で説明したが、これは一例に過ぎず、あくまで任意のラインに対して任意の露光時間を設定することができる。それは、リセット用シフトレジスタ２０４に対する電荷掃出しパルスＲＴ０の入力タイミングの調整、リセットマスク制御部２０５におけるマスクライン、非マスクラインの任意の設定によって達成される。

（実施の形態２）
図６Ａは、ベイヤー方式のカラーフィルタ配列２１０である。ベイヤー方式のカラーフィルタ配列２１０は、光の３原色（レッド,グリーン,ブルー)に基づくカラーフィルタに対応するフィルタ配列の一例である。ベイヤー方式のカラーフィルタ配列２１０では、高解像度が必要な輝度信号の主信号であるＧ画素を画素Ｇｒと画素Ｇｂとし、これらの画素Ｇｒ,画素Ｇｂを、格子柄状の画素配置領域に互い違いにかつその間に１画素分の空隙を設けた状態で配置する。そのうえで、前記空隙に画素Ｒと画素Ｂとを互い違いに配置する。

ベイヤー方式のカラーフィルタ配列２１０では、２×２の４画素（画素Ｇｒ,画素Ｇｂ,画素Ｒ,画素Ｂ）を基本ユニットとする。ベイヤー方式のカラーフィルタ配列２１０を有するエリアセンサ２０２では、カラーフィルタ配列２１０が整列配置される。

図６Ｂに示すように、エリアセンサ２０２の露光領域２１１において、隣接する奇数ラインと偶数ラインとからなる第１のライン組と、第１のライン組に隣接する奇数ラインと偶数ラインとからなる第２のライン組とを設定する。図６Ａに示すベイヤー方式のフィルタ配列２１０では、第１,第２のライン組の両奇数ラインから画素Ｒ,Ｇｒの出力信号が出力され、両偶数ラインから画素Ｇｂ,Ｂの出力信号が出力される。

このようにして、エリアセンサ２０２の全ラインを、交互に配置された第１のライン組の群と第２のライン組の群とに区分する。さらに、第１のライン組の露光時間として、長時間露光信号Ｓlongが出力される露光時間を設定し、第２のライン組の露光時間として、短時間露光信号Ｓshortが出力される露光時間を設定する。さらには第１の露光時間の時間長を、エリアセンサ２０２の画面領域の中で相対的に暗いと判断される画面部位の明るさに応じて設定する。第２の露光時間の時間長を、エリアセンサ２０２の画面領域の中で相対的に明るいと判断される画面部位の明るさに応じて設定する。

そのうえで、第１のライン組（２ライン分）から出力される長時間露光信号Ｓlongと第２のライン組から出力される短時間露光信号Ｓshort（２ライン分）とを合成する処理、すなわち、４ライン合成処理を行う。ここで露光信号が合成処理される第１のライン組と第２のライン組とは互いに隣接するライン組どうしである。このような４ライン合成処理はエリアセンサ２０２の全ラインにわたって行われる。

ここで、ベイヤー方式のフィルタ配列２１０における４ライン合成処理は、次のように実施される。図６Ａに示すベイヤー方式のフィルタ配列２１０に基づいて設定される第１,第２のライン組は、上述したように、画素Ｒ,Ｇｒを出力する奇数ラインと画素Ｇｂ,Ｂを出力する偶数ラインとの組から構成される。４ライン合成処理においては、同一の画素を出力する奇数ライン同士と、偶数ライン同士とをそれぞれ加算することで実施される。このように、ベイヤー方式のフィルタ配列２１０における４ライン合成処理は、ライン組単位ではなく、ライン単位で実施される。

これにより、エリアセンサ２０２の全ラインにわたってＲの長時間露光信号Ｓlong（Ｒ）とＲの短時間露光信号Ｓshort（Ｒ）とが合成される。同様に、Ｂの長時間露光信号Ｓlong（Ｂ）とＢの短時間露光信号Ｓshort（Ｂ）とが合成される。同様に、Ｇｒの長時間露光信号Ｓlong（Ｇｒ）とＲｒの短時間露光信号Ｓshort（Ｒｒ）とが合成される。同様に、Ｇｂの長時間露光信号Ｓlong（Ｇｂ）とＲｂの短時間露光信号Ｓshort（Ｒｂ）とが合成される。これによって、隣接する４ラインからなる２つのライン組の合成信号Ｓmixが生成される。このような合成信号Ｓmixの生成が、エリアセンサ２０２の全ラインにわたって行われる。

生成される合成信号Ｓmixは、図６Ａに示すベイヤー方式のカラーフィルタ配列２１０に対応した映像信号となる。なお、第１,第２のライン組をそれぞれ構成するラインの数は、２×ｎ（ｎは自然数）であればよい。図６Ｂには、ｎ＝１の例が示される。また、図６Ｃには、ｎ＝２である例が示される。

以下、ベイヤー方式のカラーフィルタ配列２１０等に対応することを前提にした本発明の他の実施の形態を説明する。これらの実施の形態を説明する前に、本発明をベイヤー方式のカラーフィルタ配列２１０に適用する際に生じる不具合について説明する。

図７は、一般的な固体撮像装置の構造を示す。固体撮像装置は、ＯＢ画素部２１２と減算処理部２１３とを有する。固体撮像装置に組み込まれるエリアセンサ２０２は光の当たっていない部分にも電荷が貯まる。そのため、エリアセンサ２０２の露光領域２１１の電荷の蓄積処理においては、常に不要な電荷も加算される。そこで、エリアセンサ２０２の露光領域２１０とは別に、エリアセンサ２０２の遮光領域にＯＢ画素部２１２を設ける。ＯＢ画素部２１２から出力される信号は、サンプリングされて黒基準信号（以下、Optical Blackまたは略してＯＢ成分という）となる。減算処理部２１３は、露光領域２１１の出力信号からO B成分を減算することで、本来の信号(実効データ２１４)のみを取り出す。

従来のＯＢ減算方法では、図７に示すように、露光領域２１１の出力信号からＯＢ画素部２１２の出力（OB成分）をフィールド単位で減算することで実効データ２１４を取り出す。

しかしながら、本発明のイメージセンサでは、ライン毎に露光時間が制御されるため、OB成分のレベルもそれに伴って変化する。従って、従来のように１フィールド単位での減算処理はできない。

このような不具合を解決した本発明の各実施の形態を図を参照して説明する。

（実施の形態３）
本発明の実施の形態３を図８を参照して説明する。実施の形態３では、減算処理器２１５の処理に特徴がある。減算処理器２１５には、第１のライン組上に位置するＯＢ画素部２１２ａから長時間露光信号Ｓlongが供給される。また、減算処理器２１５には、第２のライン組上に位置するＯＢ画素部２１２ｂから短時間露光信号Ｓshortが供給される。長時間露光信号Ｓlongや短時間露光信号Ｓshortは、個別に減算処理部２１５に供給される。

減算処理部２１５は、これらＯＢ画素部２１２ａ,２１２ｂの出力信号（長時間露光信号Ｓlong,短時間露光信号Ｓshort）を個別に処理する。すなわち、減算処理部２１５は、各ＯＢ画素部２１２ａ,２１２ｂの出力信号を個別に独立してサンプリングすることで第１,第２のライン組それぞれに対応するOB成分を生成する。さらに、減算処理部２１５は、露光領域２１１の各ライン組の出力信号から、そのライン組に対応するOB成分を減算することで、本来の露光信号である実効データ２１６を生成して出力する。

なお、OB成分の生成および出力信号（長時間露光信号Ｓlong,短時間露光信号Ｓshort）からOB成分を減算する処理は、ライン単位で実施されるが、場合によってはライン組単位で実施してもよい。

実効データ２１６は、長時間露光信号Ｓlongと短時間露光信号Ｓshortとが分離された状態で構成される。そこで、減算処理部２１５から出力される実効データ２１６は、図示しない加算処理部によってその長時間露光信号Ｓlongと短時間露光信号Ｓshortとが加算処理されることで、合成信号Smixが生成される。長時間露光信号Ｓlongと短時間露光信号Ｓshortとの加算処理は、隣接する第１,第２のライン組の間で実施される。

ここで、サンプリング処理には次の二つの方法がある。第１の方法は、第１のライン組の群に設けられる全てのＯＢ画素部２１２ａから出力される複数のOB成分を合算したうえでサンプリングすることで、長時間露光信号Ｓlongに対応するOB成分を、その平均値OB(long)Aveとして生成する。同様に、第２のライン組の群に設けられる全てのＯＢ画素部２１２ｂから出力される複数のOB成分を合算したうえでサンプリングすることで、短時間露光信号Ｓshortに対応するOB成分を、その平均値OB(short) Aveとして生成する方法である。

第２の方法は、第１のライン組の群に設けられる全てのＯＢ画素部２１２ａから出力される複数のOB成分を合算することなく、長時間露光信号Ｓlongを出力するライン毎に個別にOB成分をサンプリングすることで、長時間露光信号Ｓlongを出力するライン毎にOB成分(long)を生成する。同様に、第２のライン組の群に設けられる全てのＯＢ画素部２１２ｂから出力される複数のOB成分を合算することなく、短時間露光信号Ｓshortを出力するライン毎に個別にサンプリングすることで、短時間露光信号Ｓshortを出力するライン毎にOB成分(short)を生成する方法である。

上述したどちらの方法でOB成分を生成してもよいが、第１の方法は、ノイズの影響を排除することができる。

（実施の形態４）
本発明の実施の形態４を図９を参照して説明する。実施の形態４は、露光係数制御部２１７を新たに備えるとともに、減算処理器２１８の処理内容に特徴がある。

露光係数制御部２１７は、ＯＢ画素部２１２の出力（ＯＢ成分）をライン組単位ではなくフィールド全体を一つの単位として取得したうえでOB成分を画面１フィールドで平均化してサンプリングすることで、OB成分のフィールド平均値を算出する。さらに、露光係数制御部２１７は、算出したOB成分のフィールド平均値に、長時間露光信号Ｓlongの出力ライン組（第１のライン組）では独立係数Ｋ１を、短時間露光信号Ｓshortの出力ライン組（第２のライン組）では独立係数Ｋ２をそれぞれ乗算することで、各ライン組のOB成分を算定し、算定したOB成分を減算処理部２１８に出力する。

ここで、露光係数制御部２１７は、独立係数Ｋ１,Ｋ２を予め設定して記憶している。独立係数Ｋ１,Ｋ２は、長時間露光信号Ｓlongの出力ライン組（第１のライン組）の露光時間と、短時間露光信号Ｓshortの出力ライン組（第２のライン組）の露光時間との比率に基づいて算出される。

減算処理部２１８は、露光領域２０１の各ラインの出力信号から、そのラインに対応するOB成分を減算することで、本来の露光信号である実効データ２１９を生成して出力する。

なお、実効データ２１９は、長時間露光信号Ｓlongと短時間露光信号Ｓshortとが分離された状態で構成される。そこで、減算処理部２１８から出力される実効データ２１９は、図示しない加算処理部によって、その長時間露光信号Ｓlongと短時間露光信号Ｓshortとが加算処理されることで、合成信号Smixが生成される。長時間露光信号Ｓlongと短時間露光信号Ｓshortとの加算処理は、隣接する第１,第２のライン組の間で実施される。

（実施の形態５）
本発明の実施の形態５を図１０を参照して説明する。実施の形態５は、第１の加算処理部２２０と第２の加算処理部２２１とを新たに備えるとともに、減算処理器２２２の処理内容に特徴がある。

実施の形態５では、第１,第２のライン組に対応するＯＢ画素部２１２の出力信号の合成処理と、第１,第２のライン組の出力信号（長時間露光信号Ｓlong,短時間露光信号Ｓshort）の合成処理とを先に実施したうえで、第１,第２のライン組の出力信号（合成済）からＯＢ画素部２１２の出力信号（合成済）を減算する。

以下、詳細に説明する。まず、第１の加算処理部２２０は、ＯＢ画素部２１２ａ（長時間露光信号Ｓlongに対応する）の出力信号とＯＢ画素部２１２ｂ（短時間露光信号Ｓshortに対応する）の出力信号とをライン毎に独立してサンプリングすることで、各ＯＢ画素部２１２ａ,２１２ｂのOB成分を生成する。そのうえで、第１の加算処理部２２０は、隣接するＯＢ画素部２１２ａ,２１２ｂの間でOB成分を加算処理することで、合成OB成分を生成して減算処理部２２２に出力する。

第２の加算処理部２２１は、互いに隣接する第１のライン組から出力される長時間露光信号Ｓlongと第２のライン組から出力される短時間露光信号Ｓshortとを加算することで、合成信号Ｓmixを生成して減算処理部２２２に出力する。

減算処理部２２２は、供給される合成信号Ｓmixから合成OB成分を減算することで、合成信号Ｓmixの実効データ２２３を取り出す。

（実施の形態６）
本発明の実施の形態６を図１１を参照して説明する。実施の形態６は、加算処理部２２４と減算処理部２２５とを備えることに特徴がある。

減算処理部２２５は、ＯＢ画素部２１２の出力信号をライン組単位ではなくフィールド全体を一つの単位として取得したうえでOB成分を画面１フィールドで平均化してサンプリングすることで、OB成分のフィールド平均値（以下、平均ＯＢ成分という）を算出する。

加算処理部２２４は、共にＯＢ成分を含んだ状態で第１のライン組の出力（長時間露光信号Ｓlong）と第２のライン組の出力（短時間露光信号Ｓshort）とを加算し、合成信号Smix’を生成する。合成信号Smix’には、ＯＢ成分が含まれている。そこで、減算処理部２２５は、合成信号Smix’から平均OB成分を減算することで、本来の実効データ２２６のみを取り出す。

以上で、本発明のＯＢ処理に関する実施の形態の説明を終了する。次に、ＷＢ（White Balance）処理に関する本発明の実施の形態を説明する。ＷＢ処理とは、白い被写体がどのような光源下でも白く撮影されるように、カラーフィルタによる色成分を正しい割合で補正する処理である。

ＷＢ処理を行う際、入力撮像データを幾つかのブロックに分割し、各ブロック内の画素を、カラーフィルタを構成しているＲ(レッド),Ｇ(グリーン),Ｂ(ブルー)の色別に積算することで色成分の割合を算出する。

しかしながら、本発明のイメージセンサでは、長時間露光信号Ｓlongと短時間露光信号Ｓshortとを加算し合成信号Ｓmixを得る場合、撮像シーンが暗部だと、長時間露光信号Ｓlongが採用されたラインについては、入射光量は狭い範囲に限られ、ダイナミックレンジが狭くなる。従って、取得するブロックデータについても各色成分が乏しいため、色のバランスを決定付けるには精度の低いデータとなる。そこで、精度の高いＷＢ処理を実現したのが本発明の実施の形態７である。

（実施の形態７）
実施の形態７を図１２を参照して説明する。実施の形態７は、積算処理部２２７とゲイン制御部２２８とを備えることに特徴を有する。ゲイン制御部２２８は合成信号Smixのゲインを制御する。積算処理部２２７は、露光領域２２１の出力からゲイン制御データを算出してゲイン制御部２２８に供給する。実施の形態７の他の構成は前述した各実施の形態と同様である。そのため、図１２において図１−図１１と同一ないし同様の部分には同一の符号を付している。

本発明の構成におけるＷＢ処理では、前述したように撮像シーンが暗部だと、長時間露光信号Ｓlongを出力するラインでは色成分の情報量が少なく、色のバランスを決定付けることが困難となる。そのため、積算処理部２２７は、第２のライン組（充分な露光データの取得可能な短時間露光信号Ｓshortの出力ライン）を選択的に取り出してなる積算ブロックデータ２２９を露光領域２１１の出力信号から取り出す。

このようにして抽出する積算ブロックデータ２２９は、カラーフィルタを構成する色Ｒ,Ｇ,Ｂが全て揃うことになる。積算処理部２２７は、取得した積算ブロックデータ２２９を色毎に積算し、その積算結果をゲイン制御部２２８に供給する。ゲイン制御部２２８は、積算処理部２２７の積算結果に基づいて合成信号Smixにホワイトバランス調整を行う。

これにより、充分な入射光量のあるライン（第２のライン組）から必要な情報を取得し、色成分のバランスを調整するためのデータを算出することができる。

実施の形態７を含む本発明の各実施の形態では、露光領域２１１を、共に２ｎ本（ｎ：自然数）のラインからなる第１,第２のライン組に分けたうえで、第１のライン組から長時間露光信号Ｓlongを出力させ、第２のライン組から短時間露光信号Ｓshortを出力させていた。

しかしながら、図１３Ａに示すように、第２のライン組は２ｎ本のラインから構成するものの、第１のライン組を、上述した各実施の形態とは異なり２ｎ＋１本のラインから構成してもよい。

被写体が低照度である場合、長時間露光信号Ｓlongを出力する第１のライン組を２ｎ本のラインから構成していたのでは、入射光量を十分に得ることができない場合がある。このような場合、すなわち、低照度な撮影シーンにおいては、第２のライン組を２ｎ本のラインから構成するものの、第１のライン組を２ｎ＋１本のラインから構成する。そうすれば、第１のライン組に入力される光量を十分に確保することができ、その結果、低照度な撮影シーンにおいても感度の向上を図ることが可能となる。

ここで、加算後のＲ信号、Ｇ信号、Ｂ信号の各画素重心について以下に示す。図１３Ｂは、３ラインの第１のライン組から得られる長露光信号Ｓlongと、２ラインの第２のライン組から得られる短時間露光信号Ｓshortとの合成により合成信号Ｓmixを得るときの、水平３画素に着目した画素配列である。

画素配列の上部を加算する際の重み係数を水平重み係数２３０とし、画素配列の左部を加算する際の重み係数を垂直重み係数２３１とした場合、加算後の合成信号ＳmixにおけるＲ信号、Ｇr信号、Ｇb信号、Ｂ信号の水平の画素重心は、以下のようになる。
水平画素重心（Ｒ）= (0.5+2.5)/2 = 1.5
水平画素重心（Ｇｒ）= 1.5
水平画素重心（Ｇｂ）= (0.5+2.5)/2 = 1.5
水平画素重心（Ｂ）= 1.5
同様に垂直の画素重心は、以下のようになる。
垂直画素重心（Ｒ） = (0.5+2.5+4.5)/3 = 2.5
垂直画素重心（Ｇｒ）= (0.5+2.5+4.5)/3 = 2.5
垂直画素重心（Ｇｂ）= (1.5+3.5)/2 = 2.5
垂直画素重心（Ｂ）= (1.5+3.5)/2 = 2.5
このように、水平、垂直共に全ての色信号において画素重心が等しくなるため、第１のライン組（長時間露光信号Ｓlongの出力ライン）の本数を２ｎ＋１とし、第２のライン組（短時間露光信号Ｓshortの出力ライン）の本数を２ｎとすることで、長時間露光信号Ｓlongのライン数を多くしても、生成される合成信号Ｓmixの画素重心はずれない。

（実施の形態８）
次に、本発明においてライン毎の露光制御を実施した実施の形態８について図１４を参照して説明する。図１４は、実施の形態８の信号処理のタイミングチャートである。実施の形態８のイメージセンサの構成は基本的には図２を参照して説明した実施の形態１と同様である。そのため、図２と同一ないし同様の部分には同一の符号を付す。ただし、同様の構成であるものの、実施の形態８の特徴となる部分には、符号に’を付している。

実施の形態８の信号電荷読出し制御部２０６’は、図１４に示すように、読出しタイミング基準信号ＲＤ０を垂直シフトレジスタ２０３の出力に基づいてシフトさせることで各ラインの読出しタイミング信号ＲＤ１，ＲＤ２，ＲＤ３…を生成する。この動作は、他の実施の形態と変わらない。しかしながら、信号電荷読出し制御部２０６’は、さらに、読出しタイミング信号ＲＤ１，ＲＤ２，ＲＤ３…に対してマスク有効／マスク無効の設定を行うマスク設定機能を有する。

信号電荷読出し制御部２０６’は、垂直シフトレジスタ２０３の出力（読出しタイミング信号ＲＤ１，ＲＤ２，ＲＤ３…）にマスク有効／マスク無効の設定を行う。図１４では、読出しタイミング信号ＲＤ２，ＲＤ５が信号電荷読出し制御部２０６’によってマスク有効に設定されており、これにより、読出しタイミング信号ＲＤ２，ＲＤ５の周期は、読出しタイミング信号ＲＤ１，ＲＤ３，ＲＤ４，ＲＤ６の周期をｎ分周（ｎは自然数）した周期になる。図１４の例では、読出しタイミング信号ＲＤ２，ＲＤ５の周期は、読出しタイミング信号ＲＤ１，ＲＤ３，ＲＤ４，ＲＤ６の周期を２分周した周期になっている。

さらに、リセット用シフトレジスタ２０４’は、選択的に取り出した一つないし複数のリセットタイミング信号ＲＴｉ（ｉ＝１，２…）をマスクして平坦なローレベル固定にしている。図１４の例では、リセットタイミング信号ＲＴ２，ＲＴ３，ＲＴ５，ＲＴ６がマスクされて平坦なローレベル固定になっている。これにより、１画面上に対して３つの露光時間の設定が可能になる。

リセットタイミング信号ＲＴｉ（ｉ＝１，２…）がマスク無効状態でそのまま出力されるライン（図１４の例では、リセットタイミング信号ＲＴ１，ＲＴ４によって制御されたライン）における露光時間は、リセットタイミング信号ＲＴｉ（ｉ＝１，２…）の立ち上がりから読出しタイミング信号ＲＤｉ（ｉ＝１，２…）の立ち上がりまでの時間となる。

一方、リセットタイミング信号ＲＴｉ（ｉ＝１，２…）がマスクされてその出力が阻止されたライン（図１４の例では、リセットタイミング信号ＲＴ２，ＲＴ３，ＲＴ５，ＲＴ６によって制御されたライン）の露光時間は、読出しタイミング信号ＲＤｉ（ｉ＝１，２…）のマスク有効／マスク無効に依存する。

すなわち、読出しタイミング信号ＲＤｉ（ｉ＝１，２…）がマスク無効状態でそのまま出力されるライン（図１４の例では、読出しタイミング信号ＲＤ１，ＲＤ３，ＲＤ４，ＲＤ６によって制御されたライン）の露光時間は読出しタイミング基準信号ＲＤ０の周期Ｔ１と等しくなる。ただし、これらのラインの中で、上述したように、リセットタイミング信号ＲＴｉ（ｉ＝１，２…）がマスクされていない（マスク無効状態）のライン（図１４の例では、リセットタイミング信号ＲＴ１，ＲＴ４によって制御されたライン）の露光時間は、リセットタイミング信号ＲＴｉ（ｉ＝１，２…）の立ち上がりから読出しタイミング信号ＲＤｉ（ｉ＝１，２…）の立ち上がりまでの時間となり、読出しタイミング基準信号ＲＤ０の周期Ｔ１と等しくならない。

以上のことから、図１４の例では、読出しタイミング信号ＲＤ３，ＲＤ６によって制御されたライン）の露光時間は読出しタイミング基準信号ＲＤ０の周期Ｔ１と等しくなる。

読出しタイミング信号ＲＤｉ（ｉ＝１，２…）がマスクされてその出力が調整されているライン（図１４の例では、読出しタイミング信号ＲＤ２，ＲＤ５によって制御されたライン）の露光時間は、読出しタイミング基準信号ＲＤ０のｎ倍の周期、すなわち、周期Ｔ１×ｎとなる。なお、図１４の例では、読出しタイミング信号ＲＤｉ（ｉ＝１，２…）がマスクされてその出力が調整されているラインの露光時間は、読出しタイミング基準信号ＲＤ０の２倍の周期、すなわち、周期Ｔ１×２となっている。

このように、この読出しタイミング信号とリセットタイミング信号のマスク有効／マスク無効、及びタイミングを制御することによって、各ラインの露光時間を次の３種類とすることができる。

第１の露光時間は、読出しタイミング信号ＲＤｉの立ち上がりから次のサイクルの読出しタイミング信号ＲＤｉの立ち上がりまでの露光期間（図１４の例では、露光期間Ｔmd３,Ｔmd６）である。第２の露光時間は、リセットタイミング信号ＲＴｉの立ち上がりから読出しタイミング信号ＲＤｉの立ち上がりまでを時間長とする露光時間（図１４の例では露光時間Ｔst１,Ｔst４）である。第３の露光時間は、読出しタイミング基準信号ＲＤ０のｎ倍を時間長とする露光時間（図１４の例では露光時間Ｔlg２,Ｔlg６）である。

第１の露光時間の時間長（露光期間Ｔmd３,Ｔmd６）は、エリアセンサ２０２の画面領域の中で相対的に暗いと判断される画面部位の明るさに応じて設定される。第２の露光時間の時間長（露光時間Ｔst１,Ｔst４）は、エリアセンサ２０２の画面領域の中で相対的に明るいと判断される画面部位の明るさに応じて設定される。第３の露光時間の時間長（露光時間Ｔlg２,Ｔlg５）は、エリアセンサ２０２の画面領域の中で最暗部と判断される画面部位の明るさに応じて設定される。

このように、実施の形態８によれば、読出しタイミング信号ＲＤｉとリセットタイミング信号ＲＴｉのマスク有効／マスク無効状態、及びパルス出力タイミングを制御することにより、１画面上においてＳlong（第３の露光時間）、Ｓshort（第２の露光時間）、Ｓmiddle（第１の露光時間）の３つの露光時間の設定が可能となる。

（実施の形態９）
前述した実施の形態１等においては、長時間露光信号Ｓlongの出力ラインと短時間露光信号Ｓshortの出力ラインとの配置順は、各フィールドにおいて同一であった。しかしながら、実施の形態９では、図１５に示すように、長時間露光信号Ｓlongの出力ラインと短時間露光信号Ｓshortの出力ラインとの配置順を、フィールド毎に交互に入れ替えている。

図１５に例示する構成では、奇数フィールドにおける奇数ライン（第１のライン組に相当する）を長時間露光信号Ｓlongの出力ラインとし、偶数ライン（第２のライン組に相当する）を短時間露光信号Ｓshortの出力ラインとする。反対に、偶数フィールドにおける奇数ライン（第１のライン組に相当する）を短時間露光信号Ｓshortの出力ラインとし、偶数ライン（第２のライン組に相当する）を長時間露光信号Ｓlongの出力ラインとする。

なお、以上説明した本発明の各実施形態においては、ラインメモリの記録制御にさらなる改良を加えることで、フィールド単位のメモリ（以下、フィールドメモリという）を不要にすることができる。以下説明する。

従来の構成においては、長時間露光信号Slongと短時間露光信号Sshortとをそれぞれ１フィールド分蓄積したうえで次の処理を行う。すなわち、２フィールド目の１ライン目の出力信号に、フィールドメモリに格納している１フィールド目の１ライン目の信号を加算して合成信号を出力し、２フィールド目の２ライン目の出力信号に、フィールドメモリに格納している１フィールド目の２ライン目の出力信号を加算して合成信号を出力する。この動作を繰り返して、２フィールドの信号を合成して、高ダイナミックレンジの画像を作成する。このような処理を実施するためには、少なくとも１フィールド分のフィールドメモリが必要になる。

これに対して本発明の各実施の形態では、ライン単位のメモリ（以下、ラインメモリという）を確保するだけで同様の高ダイナミックレンジの画像を実現することができる。以下、その具体的に方法を説明する。

図６Ａに示すベイヤー方式のフィルタ配列２１０を適用したイメージセンサ１０１においては、図６Ｂに示すように、ライン組単位で長時間露光信号Slongの出力と短時間露光信号Sshortの出力とを制御している。この場合、３ライン分のラインメモリを確保すれば、合成信号Ｓmixを生成することができる。すなわち、ラインメモリ（３ライン）における第１列のメモリ領域に一方のライン組の奇数ラインのデータが格納されている状態では、ラインメモリの第３列のメモリ領域には、他方のライン組の奇数ラインのデータが格納される。同様に、ラインメモリ（３ライン）における第１列のメモリ領域に一方のライン組の偶数ラインのデータが格納されている状態では、ラインメモリの第３列のメモリ領域には、他方のライン組の偶数ラインのデータが格納される。

このようなラインメモリを用いれば、単一のラインメモリで第１のライン組の奇数ラインのＲ，Ｇｒ信号と、第２のライン組の奇数ラインのＲ，Ｇｒ信号とを加算して合成信号Smixを生成することができる。同様に第１のライン組の偶数ラインのＲ，Ｇｒ信号と、第２のライン組の偶数ラインのＲ，Ｇｒ信号とを加算して合成信号Smixを生成することができる。この動作を繰り返して、１フィールドの信号内で高ダイナミックレンジな画像を作成する。このように、本発明の各実施の形態では、長時間露光信号Slongと短時間露光信号Sshortとの加算処理を、ライン単位のメモリを確保することで実施することが可能となり、フィールドメモリが不要となる。

本発明のイメージセンサは、広ダイナミックレンジで動きのある被写体を画像ブレなく撮影するのに好適であり、デジタルビデオカメラ、カメラ付き携帯電話等のイメージセンサとして有用である。

本発明のＭＯＳイメージセンサを備えた固体撮像装置の概略図である。 本発明の実施の形態１におけるＭＯＳイメージセンサの詳しい構成を示すブロック図である。 実施の形態１のＭＯＳイメージセンサの通常モード（全ライン露光時間一定での露光制御モード）での動作を示すタイミングチャートである。 本発明の実施の形態１のＭＯＳイメージセンサの特徴となるモード（ライン毎の露光時間設定のモードでの露光制御モード）での動作を示すタイミングチャートである。 本発明の実施の形態１における１フィールド期間中の長時間露光と短時間露光との第１の説明図である。 本発明の実施の形態１における１フィールド期間中の長時間露光と短時間露光との第２の説明図である。 ベイヤー方式のカラーフィルタ配列の説明図である。 本発明の実施の形態２の露光時間の第１例の説明図である。 本発明の実施の形態２の露光時間の第２例の説明図である。 従来のＯＢ減算処理の説明図である。 本発明の実施の形態３におけるＯＢ減算処理の説明図である。 本発明の実施の形態４におけるＯＢ減算処理の説明図である。 本発明の実施の形態５におけるＯＢ減算処理の説明図である。 本発明の実施の形態６におけるＯＢ減算処理の説明図である。 本発明に実施の形態７おけるＷＢ処理の説明図である。 実施の形態７における長時間露光信号と短時間露光信号との合成方法の説明図である。 実施の形態７における重み係数の露光信号との関係の説明図である。 本発明の実施の形態８における読出しタイミング信号におけるマスクの設定方法と出力信号との説明図である。 本発明の実施の形態９における長時間露光信号と出力ラインと短時間露光信号の出力ラインとの説明図である。 長時間露光信号および短時間露光信号における入射光量と出力信号レベルとの関係の説明図である。 従来の技術の１フィールド期間中における長時間露光期間および短時間露光期間の説明図である。 従来の技術の１フィールド期間中における長時間露光期間の説明図である。 従来の技術の１フィールド期間中における短時間露光期間の説明図である。

符号の説明

１０１：ＭＯＳイメージセンサ
１０２：駆動制御部
１０３：信号処理部
２０１：撮像素子
２０２：エリアセンサ
２０３：垂直シフトレジスタ（垂直制御部）
２０４：リセット用シフトレジスタ（リセット制御部）
２０５：リセットマスク制御部
２０６：信号電荷読出し制御部
２０７：水平シフトレジスタ（水平制御部）
２１０：ベイヤー方式のフィルタ配列
２１１：露光領域
２１２：ＯＢ画素部
２１２ａ,２１２ｂ：ＯＢ画素部
２１３：減算処理部
２１４：実効データ
２１５：減算処理部
２１６：実効データ
２１７：露光係数制御部
２１８：減算処理部
２１９：実効データ
２２０：第１加算処理部
２２１：第２加算処理部
２２２：減算処理部
２２３：実効データ
２２４：加算処理部
２２５：減算処理部
２２６：実効データ
２２７：積算処理部
２２８：ゲイン制御部
２２９：積算ブロックデータ
２３０：水平重み係数
２３１：垂直重み係数
ＲＤ０：読出しタイミング基準信号
ＲＤ１〜ＲＤ６：読出しタイミング信号
ＲＴ０：電荷掃出しパルス
ＲＴ１〜ＲＴ６：リセットタイミング信号

Claims (4)

1. 複数の撮像素子をマトリクス状に配列したエリアセンサから、前記撮像素子に蓄積される信号電荷を読出すイメージセンサの読出し方法であって、
   互いに時間長の異なる複数の露光時間を設定したうえでこれらの露光時間を前記エリアセンサのライン毎に個別に割り当て、
   前記露光時間の設定は、読出しタイミング基準信号をシフトレジスタにてシフトすることにより生成される各ライン毎の読み出しタイミング信号と、電荷掃出しパルス信号をシフトレジスタにてシフトすることにより生成される各ライン毎の電荷掃出しパルス信号とに基づいたものであり、
   前記各ライン毎の電荷掃出しパルス信号をマスクするか否かにより、1フィールド内の１ライン毎に設定される前記露光時間を異なる時間長とし、
   前記撮像素子に蓄積される前記信号電荷を前記エリアセンサのライン単位で読出し、
   読出した前記信号電荷を前記エリアセンサの画面単位で合成し、
   前記複数の露光時間として、第１の露光時間と、第２の露光時間とを設定し、
   前記エリアセンサのライン毎に配置されるOptical Black画素から読出されるＯＢ成分を１フィールド分平均化してなる平均ＯＢ成分を作成し、
   前記第１の露光時間と前記第２の露光時間との比率に基づいて、前記平均ＯＢ成分における前記第１,第２の露光時間の独立係数を求め、
   前記第１の露光時間の設定ラインから読出される前記信号電荷から、前記平均ＯＢ成分と前記第１の露光時間の前記独立係数との乗算結果を減算し、
   前記第２の露光時間の設定ラインから読出される前記信号電荷から、前記平均ＯＢ成分と前記第２の露光時間の前記独立係数との乗算結果を減算する、
   イメージセンサの読出し方法。
2. 複数の撮像素子をマトリクス状に配列したエリアセンサから、前記撮像素子に蓄積される信号電荷を読出すイメージセンサの読出し方法であって、
   互いに時間長の異なる複数の露光時間を設定したうえでこれらの露光時間を前記エリアセンサのライン毎に個別に割り当て、
   前記露光時間の設定は、読出しタイミング基準信号をシフトレジスタにてシフトすることにより生成される各ライン毎の読み出しタイミング信号と、電荷掃出しパルス信号をシフトレジスタにてシフトすることにより生成される各ライン毎の電荷掃出しパルス信号とに基づいたものであり、
   前記各ライン毎の電荷掃出しパルス信号をマスクするか否かにより、1フィールド内の１ライン毎に設定される前記露光時間を異なる時間長とし、
   前記撮像素子に蓄積される前記信号電荷を前記エリアセンサのライン単位で読出し、
   読出した前記信号電荷を前記エリアセンサの画面単位で合成し、
   前記複数の露光時間として、第１の露光時間と、第２の露光時間とを設定し、
   前記第１の露光時間の設定ラインから読出す前記ＯＢ成分と、前記第１の露光時間の設定ラインに隣接する前記第２の露光時間の設定ラインから読出す前記ＯＢ成分とを加算して合成ＯＢ成分を生成し、
   前記第１の露光時間の設定ラインから読出す前記ＯＢ成分を含む前記信号電荷と、前記第１の露光時間の設定ラインに隣接する前記第２の露光時間の設定ラインから読出す前記ＯＢ成分を含む前記信号電荷とを加算して合成信号を生成し、
   前記合成信号から前記合成ＯＢ成分をライン毎に減算することで、信号成分のみを取り出す、
   イメージセンサの読出し方法。
3. 複数の撮像素子をマトリクス状に配列したエリアセンサから、前記撮像素子に蓄積される信号電荷を読出すイメージセンサの読出し方法であって、
   互いに時間長の異なる複数の露光時間を設定したうえでこれらの露光時間を前記エリアセンサのライン毎に個別に割り当て、
   前記露光時間の設定は、読出しタイミング基準信号をシフトレジスタにてシフトすることにより生成される各ライン毎の読み出しタイミング信号と、電荷掃出しパルス信号をシフトレジスタにてシフトすることにより生成される各ライン毎の電荷掃出しパルス信号とに基づいたものであり、
   前記各ライン毎の電荷掃出しパルス信号をマスクするか否かにより、1フィールド内の１ライン毎に設定される前記露光時間を異なる時間長とし、
   前記撮像素子に蓄積される前記信号電荷を前記エリアセンサのライン単位で読出し、
   読出した前記信号電荷を前記エリアセンサの画面単位で合成し、
   前記複数の露光時間として、第１の露光時間と、第２の露光時間とを設定し、
   前記エリアセンサのライン毎に配置されるOptical Black画素から読出されるＯＢ成分を１フィールドで平均化してなる平均ＯＢ成分を作成し、
   前記第１の露光時間の設定ラインから出力される前記ＯＢ成分を含む前記信号電荷と前記第２の露光時間の設定ラインから出力される前記ＯＢ成分を含む前記信号電荷とを加算して合成信号を生成し、
   前記合成信号から前記平均ＯＢ成分を減算することで、信号成分のみを取り出す、
   イメージセンサの読出し方法。
4. 複数の撮像素子をマトリクス状に配列したエリアセンサから、前記撮像素子に蓄積される信号電荷を読出すイメージセンサの読出し方法であって、
   互いに時間長の異なる複数の露光時間を設定したうえでこれらの露光時間を前記エリアセンサのライン毎に個別に割り当て、
   前記露光時間の設定は、読出しタイミング基準信号をシフトレジスタにてシフトすることにより生成される各ライン毎の読み出しタイミング信号と、電荷掃出しパルス信号をシフトレジスタにてシフトすることにより生成される各ライン毎の電荷掃出しパルス信号とに基づいたものであり、
   前記各ライン毎の電荷掃出しパルス信号をマスクするか否かにより、1フィールド内の１ライン毎に設定される前記露光時間を異なる時間長とし、
   前記撮像素子に蓄積される前記信号電荷を前記エリアセンサのライン単位で読出し、
   読出した前記信号電荷を前記エリアセンサの画面単位で合成し、
   前記複数の露光時間として、第１の露光時間と、第２の露光時間とを設定し、
   前記第１の露光時間の時間長を、前記エリアセンサの画面領域の中で相対的に暗いと判断される画面部位の明るさに応じて設定し、
   前記第２の露光時間の時間長を、前記エリアセンサの画面領域の中で相対的に明るいと判断される画面部位の明るさに応じて設定し、
   前記第２の露光時間の設定ラインから読出された前記信号電荷からブロックデータを取得したうえで、取得した前記ブロックデータを色毎に積算し、
   前記ブロックデータの積算結果のみを基に、ＷＢ（White Balance）を取るために、色成分の割合を補正する、
   イメージセンサの読出し方法。

Images