JP4756960B2 - 撮像装置及びその制御方法、コンピュータプログラム及び記憶媒体 - Google Patents

Description

本発明は、撮像装置及びその制御方法、コンピュータプログラム及び記憶媒体に関する。

ＣＣＤカメラにおける電子式ズーム処理のための構成は、例えば図１に示すようになる。図１において、１００はレンズ、１０１は電荷結合素子（ＣＣＤ）、１０２は相関二重サンプリング回路（ＣＤＳ）、１０３はクランプ回路（ＣＬＰ）である。また、１０４はアナログディジタルコンバータ（Ａ／Ｄ）、１０５はフレームメモリ、１０６はズームコントローラ、１０８は画素補完部、１０７は画像出力である。

このような構成において、光学画像はレンズ１００を通って撮像素子であるＣＣＤ１０１の受光面に結像する。ＣＣＤ１０１の受光面で結像した光学像は２次元的に配置された光電変換部で光電荷に変換され順次、出力に転送される。相関二重サンプリング回路１０２により、ＣＣＤ１０１の出力信号からＣＣＤ特有のリセットノイズが除去され、リセットノイズが除去されサンプルホールドされたビデオ信号が形成される。

また、クランプ回路１０３はダークレベルのクランプを行い、ＡＤコンバータ１０４は入力されたアナログ信号をデジタル信号に変換する。フレームメモリ１０５は、１フレームの全画素データを記録する為のメモリである。ズームコントローラ１０６は、例えば２倍ズームの画像データが欲しい時、ＣＣＤの中心からの一部の領域のみ読み出す。

近年では、安価で複雑なタイミング発生回路を必要とせず且つ単一電源で動作して消費電力も少ない等の理由により、ＣＭＯＳ撮像センサを用いるケースが増えてきている。さらに、ＣＭＯＳ撮像センサは、ＣＭＯＳ撮像センサの任意の領域のみを画像として取り込むことができるという、ＣＣＤ撮像素子にはない特徴を有する。

次に任意の領域を読む出すことができるＣＭＯＳ撮像センサの高画質電子ズーム方式の説明をする（特許文献１を参照。）。図２はＣＭＯＳの電子ズーム動作の概念図である。図２（ａ）は通常モード時の読出しを示しており、図２（ｂ）はズームモード時の読出しを示している。通常モード時には、例えば固体撮像素子の４画素を加算した値を１画素分の画素値として読出しを行う。図２（ａ）の太枠の範囲内については、塗り潰しで示す画素の信号として、該画素とその右、右斜め下、下の４画素値を加算した値が読み出される。つまり、縦横８×８画素の範囲から４×４画素文の信号が読み出されることになる。

これに対し、ズームモード時には、８×８画素の太枠範囲内の中央の連続した４×４画素の領域（塗り潰し部分）が、非加算でそのままを読み出される。この場合には、太枠範囲内の中央部分を拡大して表示させることができる。しかも、読み出す画素数は通常モード時と同じであり、信号処理による画素数の水増しを行わなくても良い結果、電子ズーム時の画質を高画質化することができる。
特開２００１−７８０８１号公報

ブロック読み出し可能なＣＭＯＳセンサにおいて光電荷を蓄積する場合、蓄積開始タイミングがライン毎に制御されるので、ライン毎に光電荷を蓄積する時間がずれてしまう。このラインごとの時間的ずれは１ライン読み出すのに必要な時間だけずれる。この１ライン読み出すのに必要な時間は以下の式で算出することができる。
１ライン読出し時間=HBLK×α+Skip×β+水平画素数×基準クロック時間 式(１)
(α、βは垂直方向加算方法により決定する値)
例として垂直２画素加算平均を行う駆動について図３に示す。この場合、αは２、βは１である。即ち、１ラインの読み出し時間は、以下の時間の合計によって求められる。即ち、１ライン目を転送するのに必要な時間ＨＢＬＫ、２ライン目をスキップするのに必要な時間Ｓｋｉｐ、３ライン目を転送するのに必要な時間ＨＢＬＫ、１ライン目と３ライン目を加算平均した画素を水平画素分転送するのに必要な時間である。

また、水平画素分を転送するのに必要な時間は、基準クロック時間（駆動周波数）にも依存する。つまり１ライン読出し時間は垂直方向加算方法、駆動周波数により変化する。この結果、画面上下の蓄積開始時間のずれはこれらの撮像駆動の変更により異なる。

図４は、１ライン読出時間に基づく蓄積時間のずれを説明するための図である。図４（ａ）と図４（ｂ）とでは、図４（ｂ）の方が１ライン読出時間が長くなっている。ここで、１ライン読出時間がより短くなる図４（ａ）のような駆動方法を「撮像駆動Ａ」とよび、１ライン読出時間がより長くなる図４（ｂ）のような駆動方法を「撮像駆動Ｂ」とよぶことにする。なお、撮像駆動Ａでは、画面上下の蓄積時間のずれが撮像駆動Ｂに比べて小さくなっている。

次にＥＶＦ、動画等において駆動が変化する場合につき、図５を参照して説明する。図５において、５０１は撮像駆動Ａで駆動されているフレームの画素の蓄積時間と読出時間の合計を示している。図５では、前フレームの読出が行われたラインについては、次フレームについての光電荷の蓄積が開始されており、前のフレームの読出期間と次のフレームの蓄積開始タイミングが重なっている。５０２は、時刻ｔ１において撮像駆動Ａから撮像駆動Ｂに切り替わった場合の、蓄積時間及び読出期間の合計を示している。なお、この駆動の切換タイミングは、フレーム２の画素の読み出しが終了した後の、ＶＢＬＫ（垂直ブランキング）期間中に行われる。即ち、駆動切換前のラインは、撮像駆動Ａに対応する蓄積開始タイミングが設定され、切換後のラインは撮像駆動Ｂに対応する蓄積開始タイミングが設定されることとなる。

図５に示す例では、時刻ｔ１以前は撮像駆動Ａで駆動していたのに対し、時刻ｔ１において撮像駆動Ｂに切り換えられる。するとフレーム３のリセット開始時刻は時刻ｔ１より前であるため時刻ｔ１以前の期間では蓄積開始タイミングのずれに基づく傾きは、撮像駆動Ａに対応している。しかし時刻ｔ１以降は撮像駆動Ｂに切り換えられるため、読出時間が撮像駆動Ａとは異なり、長くなる。この結果、時刻ｔ１以降にリセットが開始されるラインについては、リセット開始タイミングのずれが撮像駆動Ｂに対応したものとなり、該ずれに基づく傾きは異なるものとなってしまう。この場合にフレームレートを維持しようとすれば、フレーム３の画面上下において蓄積時間の差が生じてしまう。

このように、上記のような例を一例として、前フレームの読出期間と次フレームの蓄積期間とがオーバーラップする場合に、駆動方法を切り換えた場合には、次フレーム内で蓄積時間に差が生じてしまい、出力画像の品位が低下してしまう。

そこで、本発明は、駆動方法を切り換えた場合であっても、次フレーム内で蓄積時間の差が生ずることを防ぎ、出力画像の品位を維持することを目的とする。

上記の問題を解決するために本発明は、入射光量に応じて電荷を発生し蓄積する受光部を含む画素回路を複数備えるラインが複数配置されて構成され、画像データを生成する撮像手段と、前記受光部を、第１の期間間隔で所定ラインごとに順次リセットする第１の駆動と、前記第１の期間間隔と異なる第２の期間間隔で所定ラインごとに順次リセットする第２の駆動とをフレーム単位で行うリセット手段と、前記第１の駆動における前記リセットの開始から所定時間経過後に前記第１の期間間隔で前記所定ラインごとに前記受光部で蓄積された前記電荷を画素値として読み出す駆動と、前記第２の駆動における前記リセットの開始から所定時間経過後に前記第２の期間間隔で前記所定ラインごとに前記受光部で蓄積された前記電荷を画素値として読み出す駆動とをフレーム単位で行う読出手段と、を備え、前記リセット手段は、前記読出手段が、前後のフレームにおいて前記第１の期間間隔の前記所定ラインごとの読み出しから前記第２の期間間隔の前記所定ラインごとの読み出しに切り換えて読み出しを行う場合、又は、前記第２の期間間隔の前記所定ラインごとの読み出しから前記第１の期間間隔の前記所定ラインごとの読み出しに切り換えて読み出しを行う場合には、該前のフレーム内の画素値の読み出しが終了した後に、該後のフレームのためのリセットを行い、前後のフレームにおいて前記切り替えを行わない場合には、該前のフレーム内の画素値の読み出しが終了する前に、該後のフレームのためのリセットを行うことを特徴とする。
また、入射光量に応じて電荷を発生し蓄積する受光部を含む画素回路を複数備えるラインが複数配置されて構成され、画像データを生成する撮像手段と、前記受光部を所定ラインごとに順次リセットするリセット手段と、前記リセットの開始から所定時間経過後に前記所定ラインごとに前記受光部で蓄積された前記電荷を画素値として読み出す読出手段であって、前記画像データのフレーム単位に、前記撮像手段の第１の領域について読み出しを行う場合には前記画素値を加算して読み出し、第１の領域よりも小さい第２の領域について読み出しを行う場合には、前記第１の領域についての読み出しよりも加算数を少なくして前記画素値を加算し、或いは、非加算により読み出す読出手段とを備え、前記リセット手段は、前記第１の領域について読み出しを行うに先立って、第１の期間間隔で所定ラインごとに順次リセットする駆動と、前記第２の領域について読み出しを行うに先立って、前記第１の期間間隔と異なる第２の期間間隔で所定ラインごとに順次リセットする駆動とをフレーム単位で行い、前記読出手段は、前記第１の領域について読み出しを行う場合は、前記第１の期間間隔で前記所定ラインごとに読み出しを行い、前記第２の領域について読み出しを行う場合には、前記第２の期間間隔で前記所定ラインごとに読み出しを行い、更に、前記リセット手段は、前記読出手段が、前後のフレームにおいて前記第１の期間間隔の前記所定ラインごとの読み出しから前記第２の期間間隔の前記所定ラインごとの読み出しに切り換えて読み出しを行う場合、又は、前記第２の期間間隔の前記所定ラインごとの読み出しから前記第１の期間間隔の前記所定ラインごとの読み出しに切り換えて読み出しを行う場合には、該前のフレーム内の画素値の読み出しが終了した後に、該後のフレームのためのリセットを行い、前後のフレームにおいて前記切り替えを行わない場合には、該前のフレーム内の画素値の読み出しが終了する前に、該後のフレームのためのリセットを行うことを特徴とする。
また、入射光量に応じて電荷を発生し蓄積する受光部を含む画素回路を複数備えるラインが複数配置されて構成され、画像データを生成する撮像部と、前記受光部を、第１の期間間隔で所定ラインごとに順次リセットする第１の駆動と、前記第１の期間間隔と異なる第２の期間間隔で所定ラインごとに順次リセットする第２の駆動とをフレーム単位で行うリセット部とを備える撮像装置の制御方法であって、前記第１の駆動における前記リセットの開始から所定時間経過後に前記第１の期間間隔で前記所定ラインごとに前記受光部で蓄積された前記電荷を画素値として読み出す駆動と、前記第２の駆動における前記リセットの開始から所定時間経過後に前記第２の期間間隔で前記所定ラインごとに前記受光部で蓄積された前記電荷を画素値として読み出す駆動とをフレーム単位で行う読出工程と、前記読出工程において、前後のフレームにおいて前記第１の期間間隔の前記所定ラインごとの読み出しから前記第２の期間間隔の所定ラインごとの読み出しに切り換えて読み出しが行われる場合、又は、前記第２の期間間隔の前記所定ラインごとの読み出しから前記第１の期間間隔の前記所定ラインごとの読み出しに切り換えて読み出しが行われる場合には、該前のフレーム内の画素値の読み出しが終了した後に、前記リセット部により該後のフレームのためのリセットを行い、前後のフレームにおいて前記切り替えを行わない場合には、該前のフレーム内の画素値の読み出しが終了する前に、前記リセット部により該後のフレームのためのリセットを行うリセット工程とを備えることを特徴とする。
また、入射光量に応じて電荷を発生し蓄積する受光部を含む画素回路を複数備えるラインが複数配置されて構成され、画像データを生成する撮像部と、前記受光部を所定ラインごとに順次リセットするリセット部とを備える撮像装置の制御方法であって、前記リセットの開始から所定時間経過後に前記所定ラインごとに前記受光部で蓄積された前記電荷を画素値として読出部により読み出す読出工程であって、前記画像データのフレーム単位に、前記撮像部の第１の領域について読み出しを行う場合には前記画素値を加算して読み出し、第１の領域よりも小さい第２の領域について読み出しを行う場合には、前記第１の領域についての読み出しよりも加算数を少なくして前記画素値を加算し、或いは、非加算により読み出し、前記第１の領域について読み出しを行う場合は、前記第１の期間間隔で前記所定ラインごとに読み出しを行い、前記第２の領域について読み出しを行う場合には、前記第２の期間間隔で前記所定ラインごとに読み出しを行う読出工程と、前記読出工程において、前後のフレームにおいて前記第１の期間間隔の前記所定ラインごとの読み出しから前記第２の期間間隔の所定ラインごとの読み出しに切り換えて読み出しが行われる場合、又は、前記第２の期間間隔の前記所定ラインごとの読み出しから前記第１の期間間隔の前記所定ラインごとの読み出しに切り換えて読み出しが行われる場合には、該前のフレーム内の画素値の読み出しが終了した後に、前記リセット部により該後のフレームのためのリセットを行い、前後のフレームにおいて前記切り替えを行わない場合には、該前のフレーム内の画素値の読み出しが終了する前に、前記リセット部により該後のフレームのためのリセットを行うリセット工程とを備え、前記リセット工程では、前記第１の領域について読み出しを行うに先立って、第１の期間間隔で所定ラインごとに順次リセットする駆動と、前記第２の領域について読み出しを行うに先立って、前記第１の期間間隔と異なる第２の期間間隔で所定ラインごとに順次リセットする駆動とをフレーム単位で行うことを特徴とする。

本発明によれば、駆動方法を切り換えた場合であっても、次フレーム内で蓄積時間の差が生ずることを防ぎ、出力画像の品位を維持することができる。

本発明の実施形態について、図面を参照しつつ詳細に説明する。

［第１の実施形態］
図６は、本実施形態に対応する撮像装置の構成の一例を示す図である。

図６における撮像装置において、被写体からの光が絞り羽根１を通り、レンズ２により撮像素子４へ結像されることにより、光電変換が行われる。フィルター群３は、モアレ等を防ぐ為に光の高域をカットする光学ローパス・フィルター、色補正フィルター、および赤外線カットする為のフィルター等が組み合わされて構成されている。

撮像素子４で変換された光信号は、アドレス指定部８からの信号によりＸアドレス選択部６及びＹアドレス選択部５で、２次元で画素位置選択が行われ、タイミング調整部７に読み出される。このタイミング調整部７では、撮像素子４からの出力（１〜複数本）のタイミング調整が行われる。

そして、タイミング調整部７から出力された信号は、ＡＧＣ（オートゲインコントロール）１０により電圧を制御され、Ａ／Ｄ変換器１１でデジタル信号に変換される。カメラＤＳＰ１２は、動画または静止画の画像処理を行う。またＭＰＵ１４は、この画像処理の際に使われるパラメータをカメラＤＳＰ１２に設定したり、ＡＥ、ＡＦ処理を行ったりする。

なお、ＡＦ制御は、フォーカス・モーター５１によりフォーカス・レンズ（図示せず）を前後に動かして行う。画像処理する際の一時的な記憶領域としてＤＲＡＭ１３が用いられ、不揮発性の記憶領域として画像記録媒体１８が用いられる。画像記録媒体１８は、例えば、スマート・メディア、磁気テープ、または光ディスク等である。この画像処理後の表示を行う為にビデオエンコーダ１５、および、ＣＲＴ１６等が設けられている。

また、ビューファインダー１７は、例えばＬＣＤの様なもので画像記録媒体１８に記憶する前に被写体を確認したりする為に用いられる。これらの出力部は、ＣＲＴ１６、および、ビューファインダー１７に限らずプリンタ等を用いてもよい。

次に、本実施形態に対応する撮像素子４は、１画素回路と読出回路とから構成されるものであり、まず１画素回路の構成及び動作について図７を参照して説明する。

図７において、１５８はフォトダイオード（以下ＰＤという。）１５０で蓄積された電荷を増幅ＭＯＳトランジスタ１６０のゲートを浮遊構造としたフローティング・デフュージョン（以下、ＦＤという。）に転送する為の電位障壁操作用転送ゲートのＭＯＳトランジスタである。

また、１５７は該ＰＤ１５０の電荷をリセットする為のリセットＭＯＳトランジスタである。そして、ライン選択用のＭＯＳトランジスタとして１５９が設けられている。なお、これらのＭＯＳトランジスタのゲートは、各々、ＰＤ１５０の電荷を転送する転送信号線１５３、ＦＤをリセットするリセット信号線１５６、および選択信号線１５２に接続されている。

ここで、ＰＤ１５０に蓄積された電荷は、まず、リセット信号線１５６によりリセットトランジスタ１５７がオンしリセットされたＦＤへ、転送信号線１５３により選択されたＭＯＳトランジスタ１５８を通して転送される。次に、選択信号線１５２により選択された選択ＭＯＳトランジスタ１５９を介してソースフォロワＭＯＳトランジスタ１６０で増幅され、読み出し線１５４へ読み出される。

本実施形態では、このような１画素回路の集合からなる撮像領域を利用した電子ズーム動作を行う場合、ズームモード（テレ）時には、画素値の加算を行わずに、撮像領域の一部の領域に含まれる画素を１画素ずつ読み出す。或いは、後述する通常モード（ワイド）よりも加算数を少なくして画素値を加算する。例えば、図１３に示すような撮像領域１３０１が、撮像素子４により撮像可能な領域全体を示すとした場合、ズームモード時は領域１３０１内の領域１３０２に含まれる画素について読み出しが行われることになる。このような撮像動作を本実施形態では「撮像動作Ａ」と呼ぶ。一方、通常モード（ワイド）時は、撮像領域の全体１３０１について、所定数の画素（例えば、２×２＝４画素）を加算して読み出しを行う。このような撮像動作を本実施形態では「撮像動作Ｂ」と呼ぶ。

なお、撮像動作Ｂにおける加算画素数は２ライン（４画素）に限られるものではなく、４ライン（１６画素）加算であってもよいし、その場合に撮像動作Ａにおいては非加算とせず、２ライン（４画素）加算としてもよい。

撮像駆動Ａにおいて非加算読み出しを行う場合、領域１３０２に含まれる１ライン分の画素値を読出回路内の保持容量に保存し、その後加算を行わずに水平出力線から読み出すまでの期間が、１水平期間（水平期間Ａ）となる。一方、撮像駆動Ｂでは、２ライン分の画素値を順次、読出回路内の保持容量に保持し、その後加算して水平出力線から読み出すこととなる。従って、加算後の画素値を読み出すまでの期間が１水平期間（水平期間Ｂ）となる。即ち、水平期間Ａは水平期間Ｂよりも短くなる。

次に、図８を参照して、図７の１画素回路が複数配列された画素部８０１と読出回路８０２とを含む回路構成について説明する。図８では簡易化のために２×２画素のみが示されている。

まず、撮像駆動Ａにおいて画素値の加算を行わない場合（非加算制御）は、ＰＤ１５０−１の電荷は、図８に示されるＭＯＳトランジスタ１６１−１が信号線１６９により導通されることで容量１６２−１へ該電荷は蓄積される。同様に、ＰＤ１５０−２の電荷は、信号線１５６−１，１５３−１，１５２−１、および、１６９のＰＤ１５０−１の読み出し制御の際に容量１６４−１へ読み出される。続いて、信号線１６７−１と信号線１６７−２が交互にオンされることで、ＰＤ１５０−１，ＰＤ１５０−２の撮像信号は順次に増幅器１７１を通して読み出される。垂直方向への動作は１５６−２，１５３−２，１５２−２の制御から上記と同様の動作により行われる。

次に、撮像駆動Ｂにおいて画素値の加算を行う場合（加算制御）は、図８に示される信号線１５６−１，１５３−１，１５２−１及び１６９の制御で、ＰＤ１５０−１，ＰＤ１５０−２の電荷が、容量１６２−１、１６４−１にそれぞれ蓄積される。続いて、信号線１５６−２，１５３−２，１５２−２、および１７０の制御で、ＰＤ１５０−３，ＰＤ１５０−４の電荷が、各々、容量１６２−２，１６４−２へ蓄積される。この後、信号線１６７−１と信号線１６７−２を同時にオンすれば、ＰＤ１５０−１乃至ＰＤ１５０−４の電荷を加算した撮像信号が増幅器１７１を通して読み出される。

以上の構成により、撮像駆動Ａ及び撮像駆動Ｂでの動作を行わせることができる。

撮像駆動Ａにおいて、撮像領域１３０１のうちの一部の領域１３０２を選択して画素値の読出を行うこととなる。このような一部の領域を選択するための構成について、図１４を参照して説明する。

図１４は本実施形態に対応する、撮像素子４、Ｙアドレス選択部５及びＸアドレス選択部６の構成をより詳細に示す図である。

図１４では、撮像素子４は８×８画素で構成される撮像領域１４０１と、水平方向の８画素に対応した読出回路１４０３で構成される。また、撮像領域１４０２は、撮像領域１４０１内の４×４画素の領域であり、撮像駆動Ａでは撮像領域１４０２の画素値が非加算で読み出される。一方、撮像駆動Ｂの場合には、撮像領域１４０１の画素値が加算されて読み出される。なお、ここでの加算は２×２画素加算とする。

Ｙアドレス選択部５は、垂直デコーダ部１４０４と垂直シフトレジスタ１４０５で構成され、Ｘアドレス選択部６は水平デコーダ部１４０６と水平シフトレジスタ１４０７で構成される。垂直デコーダ１４０４の入力は、ＶＤ０〜ＶＤ１が入力され、垂直シフトレジスタ部１４０５はクロックパルス（ＣＬＫ）と垂直リセットパルス（ＶＲＥＳ）が入力できるようになっている。垂直シフトレジスタ部１４０５からは、選択信号１５２、転送信号１５３、リセット信号１５６が出力される。また、水平デコーダ１４０６の入力も、ＨＤ０〜ＨＤ１が入力され、水平シフトレジスタ部１４０７にはクロックパルス（ＣＬＫ）と水平リセットパルス（ＨＲＥＳ）とが入力される。

垂直デコーダ１４０４及び水平デコーダ１４０６は、全体の撮像領域である１４０１を選択するか、或いは、一部の撮像領域である１４０２を選択するかを決定するために利用される。撮像領域の選択については、水平部と垂直部とはほぼ同様に機能するので、以下、水平方向について説明する。

図１５に水平デコーダ部１４０６と水平シフトレジスタ部１４０７の構成の一例を示す。

まず、水平デコーダ部１４０６の入力ＨＤ０〜ＨＤ１は、２本（ｂｉｔ）である。これに対し、撮像領域１４０１は、水平方向には２画素、４画素、２画素の３つに分割されるので、撮像領域１４０２を選択する場合には、中央の４画素が選択されるようにすればよい。そこで、（ＨＤ０、ＨＤ１）の組合せとして、例えば、最初の２画素を選択する場合を（０，０）とし、次の４画素を選択する場合を（０，１）とし、最後の２画素を選択する場合を（１，０）とすることができる。

水平シフトレジスタ部１４０７は、水平デコーダ部１４０６と撮像領域１４０１との間に位置し、水平デコーダ部１４０６から得られる信号をクロックパルスＣＬＫによりシフトする。同時に、撮像領域１４０１内の画素回路に、画素値の水平出力線への読出を信号１６７を出力する。走査を止めるときは水平リセットパルスＨＲＥＳにより、水平シフトレジスタ部１４０７の内容を消去することができる。

図１５において、水平デコーダ部１４０６は、入力としてＨＤ０を下位桁、ＨＤ１を上位桁とし、インバータ１５０１及び１５０２とＡＮＤ回路１５０３及び１５０４とで構成される。水平シフトレジスタ部１４０７は、Ｄ型フリップフロップ１５０１−１から１５０５−５と、ＯＲ回路１５０６−１及び１５０６−２で構成される。尚、図１５では、水平方向８画素のうち撮像領域１４０２に対応する４画素が選択される場合を説明するために簡略化して記載したものである。従って、水平シフトレジスタ部１４０７内のフリップフロップは一部のみを記載しており、本来であれば８画素分が配列される構成となる。

なお、図１５に示す構成以外に、水平デコーダ部１４０６の回路として、ＡＮＤやインバータ以外の素子を用いたり、水平シフトレジスタ部１４０７の構成を従来例のようにクロックドインバータで構成してもよい。

水平デコーダ部１４０６の入力に（ＨＤ０，ＨＤ１）に（０，１）が入力されると、撮像領域１４０２の４画素の内、左端の画素のための読出回路へ信号１６７が出力される。また、それと同時にフリップフロップ１５０５−１（ＦＦ１）が選択される。その後クロックパルスＣＬＫによりＦＦ２（１５０５−２）、ＦＦ３（１５０５−３）及びＦＦ４（１５０５−４）と順次１クロック毎にシフトされる。ＦＦ４（１５０５−４）の出力はＯＲ回路１５０６−２を介してＦＦ５（１５０５−５）に入力される。従って、撮像領域１４０２に対応する４画素のみを選択する場合には、ＡＮＤ回路１５０４に対し（ＨＤ０、ＨＤ１）として（１，０）を入力せず、リセットパルスＨＲＥＳを入力すればよい。また、該４画素に続く２画素を更に選択する場合には、（ＨＤ０、ＨＤ１）として（１，０）を入力し、ＡＮＤ回路１５０４の出力が１となるようにすればよい。

なお、垂直シフトレジスタ部１４０５を同様に走査することにより、撮像領域１４０１のうち４×４画素領域の１４０２を選択することができる。

以上のようにすれば、全体の撮像領域のうち、一部の撮像領域のみを選択することが可能となる。

図１６に、図１４に対応する制御信号のタイミングチャートを示す。ここで、１６０１は、撮像駆動Ｂにおける読出期間を示し、１６０２は撮像駆動Ａにおける読出期間を示している。

１６０３は、撮像駆動Ｂにおける１水平期間を表し、２組の選択信号、例えば１５２−１及び１５２−２により画素値を読み出した後、これらを加算して水平出力線から読み出すのに要する時間である。一方、１６０４は、撮像駆動Ａにおける１水平期間を表し、単一の選択信号線、例えば１５２−３により画素値を読み出した後、水平出力線から読み出すのに要する時間である。ここで、１水平期間１６０３は１水平期間１６０４よりも長い。また、読出期間１６０１及び読出期間１６０２は、このような１水平期間１６０３及び１水平期間１６０４の集合として構成される。従って、図１６に示すように水平出力線から読み出される画素数が同じ場合には、読出期間１６０１は読出期間１６０２よりも長くなってしまう。

次に、本実施形態におけるフレームの駆動タイミングの制御について説明する。本実施形態では、１フレーム分の読み出しが終了した後に撮像駆動の変更を行い、次フレームのリセット動作を開始する。このような構成によれば、前フレームの読出期間中に次フレームのリセット動作が行われることがなくなり、次フレームにおける蓄積時間をフレーム内で均一化できる。この概念図を、図９を参照して更に説明する。

図９において、９０１から９０３は、それぞれフレーム１乃至３の蓄積期間と読出期間との合計を表している。また、フレーム１（９０１）及びフレーム２（９０２）はそれぞれ撮像駆動Ａにより駆動されている。これに対し、フレーム３（９０３）は撮像駆動Ｂにより駆動されている。フレーム１（９０１）とフレーム２（９０２）とは、読出期間と蓄積期間とが重複しておらず、時刻ｔ１においてフレーム１（９０１）の読出期間が終了すると、フレーム２（９０２）の蓄積期間が開始される。即ち、信号線１５６及び１５３がオンとなって、ＰＤ１５０がリセットされる。図９において、撮像駆動Ａから撮像駆動Ｂへの切換は時刻ｔ２において行われる。時刻ｔ２は、フレーム２（９０２）の全てのラインの画素の読出が完了した時点である。また、時刻ｔ２において、フレーム３（９０３）の蓄積期間が開始される。

このようにして、１フレーム内の画素の読み出しが完了した後に、次フレームの蓄積期間を開始することにより、撮像動作が切り換えられた場合であっても、フレーム内における蓄積時間を均一化することができる。

しかしながら、前フレームの読出が完了するまで次フレームの蓄積期間を開始できないとすると、読出期間と蓄積期間とを前後のフレームで重複させた場合と比べ、フレームレート同一であれば蓄積期間が必然的に短くなってしまう。

例えば、図１０に示すように、（ａ）の場合には、前のフレームの読出期間中に次のフレームの蓄積が開始されている。蓄積時間１００１は、このときの各画素に与えられる蓄積時間を示している。一方、（ｂ）の場合には、前のフレームの読出期間修了後に次のフレームの蓄積が開始されている。蓄積時間１００２は、このときの各画素に与えられる蓄積時間を示している。また、（ａ）の場合も（ｂ）の場合も、フレームレートを決定する１フレーム期間１００３は共通である。

そして、蓄積時間１００１と蓄積時間１００２とを比較すると、１００１＞１００２となっている。そこで、本実施形態に対応する図１０（ｂ）の方法を採用する場合には、出力画素値のゲインアップが必要となる。

具体的に、本実施形態ではＡＧＣ１０でフレーム内のライン毎に一定値のゲイン補正を行うことで、蓄積時間の補償を行う。さらに本方式では、ＤＳＰ１２で駆動切り替え後のフレームの信号処理設定値を変更することを特徴とする。これは、例えば駆動切り替えにより画素の加算、間引きに変更が行われると解像感が変わるため、輪郭強調の設定値を駆動切り替えごとに最適値に変更する必要があるためである。

なお、上述のように１ラインを読み出すために必要な時間は、駆動周波数を上げることにより短縮することができ、その結果として蓄積時間を延ばすことも可能である。従って、ＣＭＯＳセンサの読み出し速度の向上と共に、蓄積時間が短縮する問題も解消され、ゲイン補正を行わなくとも通常の出力を得ることが可能となる。

以上のように、本実施形態によれば、前のフレームにおける読出が終了した後に、次のフレームの蓄積期間が開始されるので、フレーム間で撮像動作が変更された場合であっても、変更直後のフレーム内で蓄積時間が不均一となる状況を回避できる。また蓄積時間が短くなるフレームに関しては、ゲインをラインごとにかけることで補償することができる。

［第２の実施形態］
第１の実施形態では、全てのフレームについて次フレームの蓄積期間の開始タイミングを読出期間終了後に設定していた。しかしながら、読出期間と蓄積期間が重複することによる画面上下の明暗差の弊害は、撮像駆動が切り替わるときのみである。更に、蓄積時間を補償するためにゲインをラインごとにかけた場合には、Ｓ／Ｎが悪化する弊害も考えられる。

そこで本実施形態では、撮像駆動が切り替わるときのみ、読出期間終了後に、次のフレームのリセットを行う。この結果、ゲインアップが必要なフレームは撮像駆動を切り替えたフレームのみであるため、Ｓ／Ｎの低下を最小限に抑えることができる。

例えば、図１１に示すように、撮像駆動Ａにおけるフレーム１とフレーム２とでは、フレーム１の読出期間とフレーム２の蓄積期間とが重複している。これに対し、撮像駆動がＡからＢに変更される場合には、時刻ｔ１において読出期間が終了した後、撮像駆動がＢに変更され、フレーム３における蓄積期間が開始される。その後、フレーム３の読出期間とその後に続くフレーム４の蓄積期間とは、再度重複して設定される。

このようにして、撮像駆動が切り換えられる場合にのみ、次のフレームの蓄積期間の開始タイミングをずらすことで、蓄積期間の短縮を最小限に抑えることができる。また、各フレームのＶＢＬＫ期間を調節することによりフレームレートを駆動切り替えにかかわらず合わせることが可能である。さらに第１の実施形態と同様に駆動切り替え後のフレームの信号処理設定値を変更し、駆動切り替えがスムーズになるようにすることが特徴である。

［第３の実施形態］
第２の実施形態では、撮像駆動変更直後のフレームの蓄積期間を他の蓄積期間と比べて短く調節することでフレームレートを合わせていた。これに対し、本実施形態では、撮像駆動変更直後のフレームの読み出し開始時刻を調節することで、蓄積期間を他のフレームの蓄積期間と一致させることを特徴とする。

例えば図１２では、時刻ｔ１に撮像駆動がＡからＢに変更され、フレーム３以降のリセットおよび読み出しのタイミングが変更されることになる。本実施形態でもフレーム３の蓄積期間の開始は前のフレーム２の読出期間が終了後となる。しかし、フレーム３における蓄積期間が、撮像駆動Ｂにおける他のフレーム（フレーム４以降）の蓄積期間と一致するまで読出を開始しない。

この結果、第１の実施形態１や第２の実施形態のような蓄積時間がずれが生じなくなり、画面垂直方向にゲインをかける必要がなく、Ｓ／Ｎの悪化も防止することができる。更に第１の実施形態と同様に、駆動切換後のフレームの信号処理設定値を変更して、駆動切換をスムーズに行うことができる。

上記では、電子ズーム動作を行う場合について記載した。つまり、ズームモード（テレ）時には、画素値の加算を行わずに、撮像領域の一部の領域に含まれる画素を１画素ずつ読み出す。一方、通常モード（ワイド）時は、撮像領域の全体１３０１について、所定数の画素（例えば、２×２＝４画素）を加算して読み出しを行うことについて記載した。

しかしながら、上記に限らず、下記のようなものであっても良い。

消費電力軽減のために、連続的にフレーム画像を読み出している際に、あるフレーム画像までは、第１の期間間隔で所定ラインごとに順次リセットし、第１の期間間隔で前記所定ラインごとにＰＤで蓄積された電荷を画素値として読み出す。そして、それ以降のフレーム画像は、第１の期間間隔と異なる第２の期間間隔で所定ラインごとに順次リセットし、第２の期間間隔で所定ラインごとにＰＤで蓄積された電荷を画素値として読み出すように駆動を変更する。

そして、上記のような技術に、第１乃至第３の実施形態の技術を適用して、フレーム間で駆動がされた場合であっても、変更直後のフレーム内で蓄積時間が不均一となる状況を回避する。

［その他の実施形態］
本発明の目的は、前述した機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムに供給し、そのシステムがプログラムコードを読み出し実行することによっても達成される。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現し、そのプログラムコードを記憶した記憶媒体は本発明を構成する。また、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した機能が実現される場合も含まれる。

さらに、以下の形態で実現しても構わない。すなわち、記憶媒体から読み出されたプログラムコードを、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込む。そして、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行って、前述した機能が実現される場合も含まれる。

ＣＣＤを用いた電子式ズーム処理の構成例を示すブロック図である。 部分読出を利用した高画質電子ズームの概念を説明するための図である。 垂直２画素加算平均におけるライン蓄積時間差の概念を説明するための図である。 撮像駆動が切り換えられた場合の、１ライン読出時間の変化を説明するための図である。 撮像駆動を切り換えた場合に、１画面内で上下で蓄積時間がずれる場合を説明するための図である。 本発明の実施形態に対応する撮像装置の構成の一例を示す図である。 本発明の実施形態に対応する１画素回路の構成の一例を示す図である。 本発明の実施形態に対応する画素回路と読出回路の構成の一例を示す図である。 本発明の第１の実施形態に対応する読み出しタイミングを説明するための図である。 本発明の実施形態における、蓄積時間の減少を説明するための図である。 本発明の第２の実施形態に対応する読み出しタイミングを説明するための図である。 本発明の第３の実施形態に対応する読み出しタイミングを説明するための図である。 本発明の実施形態において、撮像駆動Ａと撮像駆動Ｂとで画素値が読み出される撮像領域の違いを説明するための図である。 本発明の実施形態に対応する、撮像領域の一部の領域の画素値を読み出すための構成の一例を示す図である。 本発明の実施形態に対応する、水平デコーダ部１４０６及び水平シフトレジスタ部１４０７の構成の一例を示す図である。 本発明の実施形態に対応する、制御信号のタイミングチャートの一例である。

Claims (11)

1. 入射光量に応じて電荷を発生し蓄積する受光部を含む画素回路を複数備えるラインが複数配置されて構成され、画像データを生成する撮像手段と、
   前記受光部を、第１の期間間隔で所定ラインごとに順次リセットする第１の駆動と、前記第１の期間間隔と異なる第２の期間間隔で所定ラインごとに順次リセットする第２の駆動とをフレーム単位で行うリセット手段と、
   前記第１の駆動における前記リセットの開始から所定時間経過後に前記第１の期間間隔で前記所定ラインごとに前記受光部で蓄積された前記電荷を画素値として読み出す駆動と、前記第２の駆動における前記リセットの開始から所定時間経過後に前記第２の期間間隔で前記所定ラインごとに前記受光部で蓄積された前記電荷を画素値として読み出す駆動とをフレーム単位で行う読出手段と、を備え、
   前記リセット手段は、前記読出手段が、前後のフレームにおいて前記第１の期間間隔の前記所定ラインごとの読み出しから前記第２の期間間隔の前記所定ラインごとの読み出しに切り換えて読み出しを行う場合、又は、前記第２の期間間隔の前記所定ラインごとの読み出しから前記第１の期間間隔の前記所定ラインごとの読み出しに切り換えて読み出しを行う場合には、該前のフレーム内の画素値の読み出しが終了した後に、該後のフレームのためのリセットを行い、前後のフレームにおいて前記切り替えを行わない場合には、該前のフレーム内の画素値の読み出しが終了する前に、該後のフレームのためのリセットを行うことを特徴とする撮像装置。
2. 入射光量に応じて電荷を発生し蓄積する受光部を含む画素回路を複数備えるラインが複数配置されて構成され、画像データを生成する撮像手段と、
   前記受光部を所定ラインごとに順次リセットするリセット手段と、
   前記リセットの開始から所定時間経過後に前記所定ラインごとに前記受光部で蓄積された前記電荷を画素値として読み出す読出手段であって、前記画像データのフレーム単位に、前記撮像手段の第１の領域について読み出しを行う場合には前記画素値を加算して読み出し、第１の領域よりも小さい第２の領域について読み出しを行う場合には、前記第１の領域についての読み出しよりも加算数を少なくして前記画素値を加算し、或いは、非加算により読み出す読出手段と
   を備え、
   前記リセット手段は、前記第１の領域について読み出しを行うに先立って、第１の期間間隔で所定ラインごとに順次リセットする駆動と、前記第２の領域について読み出しを行うに先立って、前記第１の期間間隔と異なる第２の期間間隔で所定ラインごとに順次リセットする駆動とをフレーム単位で行い、
   前記読出手段は、前記第１の領域について読み出しを行う場合は、前記第１の期間間隔で前記所定ラインごとに読み出しを行い、前記第２の領域について読み出しを行う場合には、前記第２の期間間隔で前記所定ラインごとに読み出しを行い、
   更に、前記リセット手段は、前記読出手段が、前後のフレームにおいて前記第１の期間間隔の前記所定ラインごとの読み出しから前記第２の期間間隔の前記所定ラインごとの読み出しに切り換えて読み出しを行う場合、又は、前記第２の期間間隔の前記所定ラインごとの読み出しから前記第１の期間間隔の前記所定ラインごとの読み出しに切り換えて読み出しを行う場合には、該前のフレーム内の画素値の読み出しが終了した後に、該後のフレームのためのリセットを行い、前後のフレームにおいて前記切り替えを行わない場合には、該前のフレーム内の画素値の読み出しが終了する前に、該後のフレームのためのリセットを行うことを特徴とする撮像装置。
3. 前記読出手段は、前記後のフレームにおける前記リセットの開始から読み出しを開始するまでの期間と、該後のフレームに続くフレームにおける前記リセットの開始から読み出しを開始するまでの期間とが一致するように、前記後のフレームにおける読み出しの開始時期を制御することを特徴とする請求項１または２に記載の撮像装置。
4. 前記後のフレームにおける画素値のゲインを補正するゲイン補正手段を更に備えることを特徴とする請求項１または２に記載の撮像装置。
5. 前記撮像手段からの信号を処理する信号処理手段と、
   前記信号処理手段で処理された信号を表示する表示手段と
   をさらに備えることを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
6. 入射光量に応じて電荷を発生し蓄積する受光部を含む画素回路を複数備えるラインが複数配置されて構成され、画像データを生成する撮像部と、前記受光部を、第１の期間間隔で所定ラインごとに順次リセットする第１の駆動と、前記第１の期間間隔と異なる第２の期間間隔で所定ラインごとに順次リセットする第２の駆動とをフレーム単位で行うリセット部とを備える撮像装置の制御方法であって、
   前記第１の駆動における前記リセットの開始から所定時間経過後に前記第１の期間間隔で前記所定ラインごとに前記受光部で蓄積された前記電荷を画素値として読み出す駆動と、前記第２の駆動における前記リセットの開始から所定時間経過後に前記第２の期間間隔で前記所定ラインごとに前記受光部で蓄積された前記電荷を画素値として読み出す駆動とをフレーム単位で行う読出工程と、
   前記読出工程において、前後のフレームにおいて前記第１の期間間隔の前記所定ラインごとの読み出しから前記第２の期間間隔の所定ラインごとの読み出しに切り換えて読み出しが行われる場合、又は、前記第２の期間間隔の前記所定ラインごとの読み出しから前記第１の期間間隔の前記所定ラインごとの読み出しに切り換えて読み出しが行われる場合には、該前のフレーム内の画素値の読み出しが終了した後に、前記リセット部により該後のフレームのためのリセットを行い、前後のフレームにおいて前記切り替えを行わない場合には、該前のフレーム内の画素値の読み出しが終了する前に、前記リセット部により該後のフレームのためのリセットを行うリセット工程とを備えることを特徴とする撮像装置の制御方法。
7. 入射光量に応じて電荷を発生し蓄積する受光部を含む画素回路を複数備えるラインが複数配置されて構成され、画像データを生成する撮像部と、前記受光部を所定ラインごとに順次リセットするリセット部とを備える撮像装置の制御方法であって、
   前記リセットの開始から所定時間経過後に前記所定ラインごとに前記受光部で蓄積された前記電荷を画素値として読出部により読み出す読出工程であって、
   前記画像データのフレーム単位に、前記撮像部の第１の領域について読み出しを行う場合には前記画素値を加算して読み出し、第１の領域よりも小さい第２の領域について読み出しを行う場合には、前記第１の領域についての読み出しよりも加算数を少なくして前記画素値を加算し、或いは、非加算により読み出し、
   前記第１の領域について読み出しを行う場合は、前記第１の期間間隔で前記所定ラインごとに読み出しを行い、前記第２の領域について読み出しを行う場合には、前記第２の期間間隔で前記所定ラインごとに読み出しを行う読出工程と、
   前記読出工程において、前後のフレームにおいて前記第１の期間間隔の前記所定ラインごとの読み出しから前記第２の期間間隔の所定ラインごとの読み出しに切り換えて読み出しが行われる場合、又は、前記第２の期間間隔の前記所定ラインごとの読み出しから前記第１の期間間隔の前記所定ラインごとの読み出しに切り換えて読み出しが行われる場合には、該前のフレーム内の画素値の読み出しが終了した後に、前記リセット部により該後のフレームのためのリセットを行い、前後のフレームにおいて前記切り替えを行わない場合には、該前のフレーム内の画素値の読み出しが終了する前に、前記リセット部により該後のフレームのためのリセットを行うリセット工程と
   を備え、
   前記リセット工程では、前記第１の領域について読み出しを行うに先立って、第１の期間間隔で所定ラインごとに順次リセットする駆動と、前記第２の領域について読み出しを行うに先立って、前記第１の期間間隔と異なる第２の期間間隔で所定ラインごとに順次リセットする駆動とをフレーム単位で行うことを特徴とする撮像装置の制御方法。
8. 前記読出工程では、前記後のフレームにおける前記リセットの開始から読み出しを開始するまでの期間と、該後のフレームに続くフレームにおける前記リセットの開始から読み出しを開始するまでの期間とが一致するように、前記後のフレームにおける読み出しの開始時期が制御されることを特徴とする請求項６または７に記載の撮像装置の制御方法。
9. 前記後のフレームにおける画素値のゲインを補正するゲイン補正工程を更に備えることを特徴とする請求項６または７に記載の撮像装置の制御方法。
10. 請求項６乃至９のいずれか１項に記載の撮像装置の制御方法をコンピュータに実行させるためのコンピュータプログラム。
11. 請求項１０に記載のコンピュータプログラムを格納したコンピュータで読み取り可能な記憶媒体。

Images