JP2007243775A - 電子的ぶれ補正装置 - Google Patents

Abstract

【課題】ぶれを許容可能な露光時間で連続的に撮影した複数画像の相互のぶれを補正し、ぶれが補正された画像を合成するにあたって、複数画像の時分割露光時間が実質的に連続になるような露光時間制御を行う電子的ぶれ補正装置を提供する。
【解決手段】撮像素子１から連続して時分割撮像を行って得られた複数の時分割画像の、相互のぶれが補正された合成画像を生成する電子的ぶれ補正装置であって、所定の時分割露光時間ΔＴexpが画像読み出し周期Ｔfの整数倍（ｋ）となるようにし（Ｓ２０６）、この時分割露光時間で撮像された複数画像の相互のぶれを補正し、補正された複数画像を合成する。
【選択図】 図５

Description

本発明は、手ぶれ等による像のぶれを効果的に補正することができる電子的ぶれ補正装置に関し、特に、ぶれを許容可能な露光時間で連続的に撮影した複数画像の相互のぶれを補正し、ぶれが補正された画像を合成する電子的ぶれ補正装置に関する。

撮影装置において静止画を撮影する場合に撮影者の手ぶれの影響で、撮影画像にぶれが生じすることは従来から知られており、これを防止するために種々の対策がとられている。例えば、特許文献１には、ぶれを許容できるような高速の露光時間で複数回の連続した撮影を行って得た複数画像の相互のぶれを補正してから、これらの複数画像を加算することによりぶれ補正された合成画像を生成する撮像装置が開示されている。

特開２００１−８６３９８

通常、撮像素子から画像を読み出すには数十ｍｓｅｃから数百ｍｓｅｃの時間を要する。また、ぶれを許容できる露光時間として、経験的に３５ｍｍフィルムカメラの撮影レンズの焦点距離をｆ〔ｍｍ〕とすると１／ｆ〔ｓｅｃ〕とすることが多い。したがって、例えば焦点距離ｆ＝１００〔ｍｍ〕の撮影レンズで撮影する場合、ぶれを許容可能な露光時間ｔは、ｔ＝１／１００〔ｓｅｃ〕＝１０〔ｍｓｅｃ〕となる。特許文献１に示されるようなぶれ補正方式においては、カメラの撮像素子から画像を読み出す周期を、例えば１００〔ｍｓｅｃ〕とすると、この読み出し周期の１／１０の時間で間歇的に露光して読み出した複数の画像の時分割画像の相互のぶれを補正してから合成することになる。このとき、時分割画像の露光が終了してから次の時分割画像の露光までは、画像の読み出し周期より早くできないため、上記例では、１０〔ｍｓｅｃ〕の露光を終了してから、９０〔ｍｓｅｃ〕待ってから次の時分割画像の露光が開始される。このため、９０〔ｍｓｅｃ〕間は露光されないので、例えば主要被写体のぶれは補正されたとしても、背景に動く被写体が存在する場合には、通常の撮影とは異なった画像となってしまう。

具体例を挙げると、背景にボールが飛んでいた場合、通常の撮影ではボールの軌跡が連続的に写しこまれる。しかし、ぶれ補正のために時分割露光を上述のような間隔で行っていたとすると、１０〔ｍｓｅｃ〕間のボールの動きは露光されるが、続く９０〔ｍｓｅｃ〕間は露光されない。これの繰り返しなので、ボールは点々に軌跡を描くように撮影されてしまう。また、一般的には、静止被写体と動体被写体とが混在するような被写体において、動体被写体も主要な作画意図のもとに撮影されることも多い。例えば、川の流れとその両岸の静止被写体を、低速シャッタスピードで撮影すると、川の流れの動きとその周囲の被写体が調和して美しい写真が撮影することができる。しかし、ぶれ補正のために時分割露光を行った場合には、前述したように、動体被写体は点々とした軌跡で写しこまれ、意図した通りの作画とはならないおそれがある。

本発明はこのような事情にかんがみてなされたものであって、ぶれを許容可能な露光時間で連続的に撮影された複数画像の相互のぶれを補正し、これらのぶれが補正された複数画像を合成する電子的ぶれ補正装置において、上記複数画像の時分割露光時間が実質的に連続になるような露光時間制御を行う電子的ぶれ補正装置を提供することを目的とする。

上記目的を達成するために本発明の第１の発明に係わる電子的ぶれ補正装置は、撮像素子から連続して時分割撮像を行って得られた複数の時分割画像の、相互のぶれが補正された合成画像を生成する電子的ぶれ補正装置であって、被写体光を画像信号に変換する撮像部と、所定の時分割露光時間で撮像された上記時分割画像を上記撮像部から読み出す画像読み出し部と、上記画像読み出し部による上記画像の読み出し周期の整数倍になるように、上記時分割露光時間を制御する時分割露光時間制御部と、上記撮像部により撮像された上記複数画像の相互のぶれを補正するぶれ補正部と、上記ぶれ補正部により補正された複数画像を合成する画像合成部を備えたことを特徴とする。

また、第２の発明は、上記第１の発明において、上記電子的ぶれ補正装置は、上記時分割露光時間は、ぶれを許容可能な限界露光時間よりも短いことを特徴とする。
さらに、第３の発明は、上記第２の発明において、上記電子的ぶれ補正装置は、さらに一定の露光量を得るに必要な露光時間（Ｔexp）を演算する露光時間演算部と、上記画像読み出し部により読み出された上記画像を増幅する画像増幅部を備え、上記画像増幅部の増幅率をＡ、上記時分割露光時間をΔＴexpとするとき、
Ａ＝Ｔexp／ΔＴexp
とすることを特徴とする。

さらに、第４の発明は、上記第１の発明において、上記電子的ぶれ補正装置は、さらに上記撮像素子から上記時分割画像を読み出す周期とぶれを許容可能な露光時間とを比較する比較部を備え、上記時分割露光時間制御部は、上記比較部による比較結果、上記時分割画像を読み出す周期が上記ぶれを許容可能な露光時間よりも短いときは、上記時分割露光時間を上記読み出し周期の整数倍にすることを特徴とする。

さらに、第５の発明は、上記第４の発明において、上記時分割画像を読み出す周期をＴf 、上記ぶれを許容可能な露光時間をＴLimit 、実数ＴLimit ／Ｔf の小数点以下を切り捨てた値又は小数点以下を切り上げた値のいずれかをｋとするとき、k ×Ｔf を上記時分割撮像の露光時間ΔＴexpとすることを特徴とする。

また、本発明の第６の発明は、第５の発明において、上記電子的ぶれ補正装置は、さらに適正な露光量を得るに必要な露光時間（Ｔexp）を演算する露光時間演算部と、上記時分割画像を増幅するための増幅部を備え、上記増幅部の増幅率Ａを、Ｔexp／ΔＴexpとすることを特徴とする。
また、第７の発明は、上記第６の発明において、実数Ｔexp ／ΔＴexp の小数点以下を切り上げた値又は小数点以下を切り捨てた値のいずれかをｍとするとき、時分割撮像をｍ回行うことを特徴とする。

第１の発明によれば複数画像の時分割露光時間が実質的に連続的につながるのでぶれが補正され、通常撮影と同様の画像を得ることができる。
第２の発明によれば、第１の発明の効果に加えて、時分割露光時間が限界露光秒時よりも短いことからぶれを効果的に減少させることができる。
第３の発明によれば、時分割露光された画像に対して、それぞれ増幅するようにしたので、適正レベルの画像を得ることができ、高い精度でぶれ補正ができる。
第４の発明によれば、露光時間が連続的につながった時分割画像の、相互のぶれが補正された適正レベルのＳ／Ｎが良好な合成画像を生成することが可能になる。したがって、ぶれが補正される他は通常撮影と同様の画像を撮影できる。

第５の発明によれば、時分割撮像の露光時間として、ぶれを許容可能な露光時間ＴLimitよりも短く、且つ時分割画像を読み出す周期をTfの整数倍になるような最大の露光時間に設定することができる。
第６の発明によれば、適正レベルの時分割画像を得ることができる。
第７の発明によれば、Ｓ／Ｎの良好なぶれの補正された合成画像を得ることができる。

以下、図面に従って本発明を適用した電子撮像装置としての機能を有するデジタルカメラを用いて好ましい実施形態について説明する。
図１は本実施形態に係わるデジタルカメラの電気的構成を主に示すブロック図である。このデジタルカメラは、二次元固体撮像素子（以下、適宜、撮像素子と略称する）１と、相関二重サンプリング回路（ＣＤＳ：Correlated Double Sampling）２と、ゲインコントロールアンプ（ＡＭＰ）３と、Ａ／Ｄ変換器４と、タイミングジェネレータ（ＴＧ）５と、シグナルジェネレータ（ＳＧ）６と、ＣＰＵ（Central Processing Unit）７と、情報処理部８と、ＤＲＡＭ（Dynamic Random Access Memory）９と、圧縮伸張部１０と、記録媒体１１と、表示部１２と、バリエータレンズ１３と、エンコーダ１４と、フォーカスレンズ１５と、フォーカスレンズ駆動系１６と、絞り１７と、絞り駆動系１８と、第１レリーズスイッチ１９ａおよび第２レリーズスイッチ１９ｂと、距離検出部２０と、操作部２１を含んでいる。なお、バリエータレンズ１３、エンコーダ１４、フォーカスレンズ１５、フォーカスレンズ駆動系１６、絞り１７、絞り駆動系１８は、撮影レンズ２２を構成する。

撮影レンズ２２内のバリエータレンズ１３は、焦点距離を設定するための光学系であり、エンコーダ１４はバリエータレンズの焦点距離の焦点距離に対応した位置信号を検出するためのもので、検出した位置信号はＣＰＵ７によって読み取られ撮影レンズ２２の焦点距離に変換される。フォーカスレンズ１５は被写体に焦点を合わせるためのレンズであり、距離検出部２０により検出された被写体距離に応じて、所望の被写体に焦点が合うように調節される。フォーカスレンズ駆動系１６は、距離検出部２０により検出された被写体距離情報に基づきＣＰＵ７から指令を受け、撮影レンズ２２を合焦位置に駆動する。これは所謂オートフォーカス制御として公知の技術である。

被写体距離検出部２０は、被写体までの距離に関する情報を検出するものであって、ＤＲＡＭ９に記憶された１フレーム（１画面）分の画像データの輝度成分にハイパスフィルタなどを用いて高周波成分を抽出し、抽出した高周波成分の累積合成値を算出する等により高周波域側の輪郭成分等に対応したＡＦ評価値を算出し、このＡＦ評価値に基づいて焦点検出を行う。これらの演算処理はＣＰＵ７によって実行することができる。なお、被写体距離検出部２０は、上述したような画像信号の高周波成分に基づく方法以外にも、公知の位相差法や光投射法など種々の検出方法に置き換えることは勿論かまわない。

撮影レンズ２２内に配置された絞り１７は撮影レンズ２２からの結像光束の通過範囲を規定することにより光量の調整を行う光学絞りであり、撮像光学系の一部である。絞り１７はＣＰＵ７からの制御信号に基づき絞り駆動系１８によって駆動される。測光部たるＣＰＵ７はＤＲＡＭ９に記憶された画像データに基づき露出演算を行い、絞り駆動系１８はＣＰＵ７から露出演算結果に基づく制御指令を受け、絞り１７を駆動し、開口径を変更する。このような絞り制御は、いわゆるＡＥ（自動露出）制御として公知である。

撮影レンズ２２を透過した被写体光束は撮像素子１上に結像し、この撮像素子１は結像した被写体像を光電変換しアナログ電気信号として出力する。図２に撮像素子１の構成を示す。この撮像素子１は周知のインターライン型のＣＣＤ固体撮像素子である。垂直転送ＣＣＤ（ＶＣＤＤ）３１がフォトダイオード３３の列とセットで配置され、ＶＣＤＤ３１は撮像素子下部に配置された水平転送ＣＣＤ（ＨＣＣＤ）３２に接続されている。フォトダイオード３３で光電変換された信号電荷は電荷蓄積動作により、それぞれの接合容量に蓄積される。蓄積期間（露光期間）が終了すると、転送ゲート（ＴＰ）３４にシフトパルスが印加され、これらの電荷全画素同時に隣接するＶＣＣＤ３１にシフトされる。信号電荷読み出されるとフォトダイオード３３は再びバイアスされた状態となり、信号電荷の蓄積が可能となる。ＶＣＣＤ３１に読み出された信号電荷は、ＶＣＣＤ３１の転送電極に加えられるクロックパルスに同期して、下方に転送される。最下端まで転送された時点で、ＶＣＣＤ３１の１行分ずつの信号電荷がＨＣＣＤ３２に送られ、出力端まで順次転送される。１画面分の信号電荷が読み出されるとＶＣＣＤ３１は空の状態となり、再びフォトダイオード３３に蓄積された次の信号電荷を読み出すことが可能となる。

撮像素子１は周知の縦型オーバーフロー構造のＣＣＤ固体撮像素子を採用している。これはｎ型基板（例えば、ｎ型シリコン基板）の表面に作られたｐ型拡散領域（ｐウェル：ｐ−ｗｅｌｌ）の中にフォトダイオード（ＰＤ）３３を構成し、ｐウェルとｎ型基板との間の逆バイアス電圧ＶＳＵＢにより、ｐウェルを完全に空乏化するようにしたものである。このＶＳＵＢに高電圧のパルスを印加することにより、フォトダイオード３３に蓄積された電荷を基板側に排出することができる。したがって、この逆バイアス電圧ＶＳＵＢの制御によりフォトダイオード３３の電荷蓄積時間の制御が可能となる。なお、本実施形態では、撮像素子１としてインターライン型ＣＣＤ固体撮像素子を採用したが、これに限る必要はなく、例えば、フレーム・インターライン・トランスファー型固体撮像素子でも良く、またＭＯＳ（Metal Oxide Semiconductor）型固体撮像素子でも勿論構わない。

図１に戻り、撮像素子１に接続されたタイミングジェネレータ（ＴＧ）５は、ＣＰＵ７からパルスを受け、撮像素子１を駆動するための転送パルスを供給し、また、後述するＣＤＳ２、Ａ／Ｄ変換器４に対しても各種のパルスを供給する。ＴＧ５はＣＰＵ７から直接パルスを入力すると共に、シグナルジェネレータ（ＳＧ）６にも接続されている。このＳＧ６はＣＰＵ７の制御に基づき同期信号を生成してＴＧ５に出力する。

撮像素子１の出力に接続されたＣＤＳ２は、ＴＧ５から供給されるサンプルホールドパルスに従って駆動し、撮像素子１から出力される画像信号に相関二重サンプリング等の処理を行い、リセットノイズを除去する。ＣＤＳ２の出力に接続されたゲインコントロールアンプ（ＡＭＰ）３は、ＣＤＳ２から出力されるアナログ信号を増幅するものである。このＡＭＰ３の増幅率は、ＩＳＯ（International Organization for Standardization）感度Ｓｖに応じた増幅率に設定されるようになっている。つまり、ＡＭＰ３は、ＩＳＯ感度変更部となっている。またＡＭＰ３の増幅率は、時分割撮像された画像の数が規定数に達しないとき、その不足分を補うために合成された画像を増幅するためにも用いられる。詳しくは後述するが、被写体輝度が低い等の事情によりシャッタ速度を遅くし、露光時間を長くすると手ぶれ等の影響を受け、画像がぶれてしまう。本実施形態においては、ぶれの影響が許容できる程度の限界露光時間で時分割露光を繰り返し、適正露光を得ると共に、時分割露光によって得た複数の画像を合成してぶれの影響を除去するようにしている。時分割露光を行うと１フレームの画像信号のレベルが低いので、ＡＭＰ３によって、この不足分を補うように増幅している。

図３にＡＭＰ３の構成を示す。リセットノイズを除去するためのＣＤＳ２の出力は、ＡＭＰ３の初段を構成する増幅率Ａ１の増幅器２３に接続され、この増幅器２３の出力は増幅率Ａ２の増幅器２４に接続され、この出力は後述するＡ／Ｄ変換器４に接続される。増幅率Ａ１は時分割露光による露光不足を補うような値を、また、増幅率Ａ２はＩＳＯ感度に応じた増幅率を設定する。

図１に戻り、ＡＭＰ３の出力に接続されたＡ／Ｄ変換器４は、タイミングジェネレータ（ＴＧ）５から供給される信号に従ってＡＭＰ３から出力されるアナログ信号をデジタル信号に変換するアナログ・デジタル変換部である。このＡ／Ｄ変換器４の出力に接続された情報処理部８は、Ａ／Ｄ変換器４から出力されるデジタル形式の画素信号を処理し、画像データを生成するものである。この情報処理部８は、撮像素子１によって撮像されここで処理された複数の画像データ（時分割画像データ）を一時的に記憶するためのバッファメモリ８ａを有している。

情報処理部８の出力に接続されたＤＲＡＭ９は、情報処理部８から出力される画像データを一時的に記憶するものであると共に、圧縮伸張部１０により出力される画像データを一時的に記憶するものとなっている。なお、バッファメモリ８ａがＤＲＡＭ９の機能を兼用するようにしてもよいし、逆にバッファメモリ８ａの機能をＤＲＡＭ９が兼用するようにしてもよい。ＤＲＡＭ９に接続された圧縮伸張部１０は、ＤＲＡＭ９に一時記憶された画像データを記録媒体１１に記録するにあたってＪＰＥＧ（Joint Photographic Coding Experts Group）等の圧縮形式で圧縮処理を行うと共に、記録媒体１１から読み出された圧縮画像データを伸張するものである。

圧縮伸張部１０に接続された記録媒体１１は、圧縮伸張部１０により圧縮された画像データを記録する記録部であり、例えば、不揮発性の記録媒体となっており、ｘDピクチャーカード(登録商標)、コンパクトフラッシュ(登録商標)、ＳＤメモリカード(登録商標)またはメモリスティック(登録商標)等の書換え可能な記録媒体であって、カメラ本体に対して装填可能となっている。前述した情報処理部８とＤＲＡＭ９に接続された表示部１２は、これらから出力される画像データを表示するモニタである。記録媒体１１への記録は記録容量を少なくするために画像データを圧縮し、表示部１２に表示するにあたっては圧縮画像データを伸張している。

ＣＰＵ７に接続された第１レリーズスイッチ１９ａと第２レリーズスイッチ１９ｂは、自動復帰型の２段スイッチで構成され、レリーズボタン（図示せず）が押し込まれた際に、第１レリーズスイッチ１９ａはオンとなり、さらに押し込まれた際に第２レリーズスイッチ１９ｂはオンとなる。即ち、レリーズボタンの半押しで第１レリーズスイッチ１９ａがオンとなり、全押しで第２レリーズスイッチ１９ｂがオンとなる。そして、第１レリーズスイッチ１９ａは、撮影準備動作の指示を入力するものであり、第１レリーズスイッチ１９ａがオンとなると、測距動作や測光動作が行われる。また、第２レリーズスイッチ１９ｂは、撮影動作の指示を入力するものであり、第２レリーズスイッチ１９ｂがオンとなると、撮像素子１により撮像動作が行われ、画像データが前述した作用により生成され、圧縮された後に記録媒体１１に記録される。ＣＰＵ７に接続された操作部２１は、撮影者の操作に基づいて撮影モードやシャッタ速度値、絞り値などの各種の撮影条件を設定するための操作部である。

ＣＰＵ７には、前述したように、第１レリーズスイッチ１９ａ、第２レリーズスイッチ１９ｂ、エンコーダ１４、操作部２１等からの信号が入力され、ＴＧ５、ＳＧ６等に指令を出力する。またＣＰＵ７は、フォーカスレンズ駆動系１６、絞り駆動系１８、ＡＭＰ３、ＴＧ５に制御信号を出力する。さらにＣＰＵ７は情報処理部８、ＤＲＡＭ９および距離検出部２０と双方向に接続されており、これを含むこのデジタルカメラ全体を制御している。具体的には、ＣＰＵ７は、上述したオートフォーカス制御やＡＥ制御を行うとともに、第１レリーズスイッチ１９ａおよび第２レリーズスイッチ１９ｂからの静止画像の取り込みを指示する信号に基づき、撮像素子１の駆動制御を行う。また、ＣＰＵ７は、絞り１７の開口を変更する制御や撮像素子１の露光時間制御などを行う。そして、ＣＰＵ７は、操作部２１からの出力に基づき、このデジタルカメラの撮影モードを設定し、またデジタルカメラに係わる撮影条件を設定する。

次に、図４乃至図７に示すフローチャートを用いて本実施形態のデジタルカメラにおける時分割撮像制御の動作を説明する。
本デジタルカメラが動作をスタートすると、まず、ステップＳ１０１において第１レリーズスイッチ１９ａがオンとなったか否かについて判定する。判定の結果、第１レリーズスイッチ１９ａがオフの場合には、そのまま待機状態となり、第１レリーズスイッチ１９ａがオンとなると、ステップＳ１０２に進み、ぶれ限界露光時間ＴLimitを演算する。このぶれ限界露光時間ＴLimitは、露光開始からのぶれ量が許容限界のぶれ量に達すると想定される時間である。

ぶれ限界露光時間ＴLimitについて説明すると、３５ミリフィルムカメラは、縦２４ｍｍ×横３６ｍｍ（対角４３．２８ｍｍ）のいわゆるライカ版フレーム（別称：ダブルフレーム）サイズのフィルムが使用されている。この３５ミリフィルムカメラに関する長年の経験則として、ミリメートル単位の撮影レンズの焦点距離をｆとしたときに、ぶれ限界露光時間ＴLimitは、
ＴLimit≒１／ｆ（秒） ・・・（１）
になることが知られている。本実施形態では、この経験則をデジタルカメラの撮像素子１の有効撮像エリア内に設定した撮影画枠の大きさを考慮のうえ、応用することにする。即ち、一般的にデジタルカメラにおいては、３５ミリフィルムカメラにおける焦点距離に相当する値を表示しているので、この３５ミリカメラ相当の焦点距離を用い、ステップＳ１０２において、エンコーダ１４によって検出された焦点距離ｆの逆数を演算する。なお、ぶれ限界露光時間ＴLimitは、必ずしも、１／ｆで与えられる値を用いる必要はなく、要するに、ぶれが実質的に発生することのないような時分割露光時間を用いれば良い。したがって、ぶれ限界露光時間ＴLimitは、概略、上記（１）式により与えられる露光時間よりも短い時間であれば構わない。

続いて、ステップＳ１０３において、被写体の明るさを測定する。測光は、撮像素子１から繰り返し出力される画像信号のレベルをモニタして、被写体の明るさを演算する。即ち、撮像素子１から読み出された画像信号は、ＣＤＳ２により処理されゲインコントロールアンプ３により増幅され、Ａ／Ｄ変換器４によりデジタル値に変換され、情報処理部８を経てＤＲＡＭ９に一時記憶される。このＤＲＡＭ９に記憶された画像データの中から、画像全体の中の例えば中央部付近の所定領域の画像データをＣＰＵ７が読み出し、そのレベルの合成平均値を求め、この合成平均値に基づいて被写体の明るさ（Ｂｖ）を演算する。

測光が終わると、続いて、ＣＰＵ７は、時分割撮像における露光時間（時分割露光時間）ΔＴexpや時分割撮像回数ｍなどの制御パラメータの演算を行う。以下、図４を参照しながらこの時分割撮像制御パラメータ演算のサブルーチンの動作を説明する。
まず、適正露光時間（Ｔexp）を演算する（Ｓ２０１）。これは、ステップＳ１０３における測光で得られた明るさＢｖをもとに、アペックス演算により適正露光を得るに必要な露光時間を求めるものである。なお、アペックス演算は良く知られているように、
Ｔｖ＋Ａｖ＝Ｂｖ＋Ｓｖ ・・・（２）
の関係から、露光制御のパラメータを演算するものである（ここで、Ｔｖ：Time Value Ａｖ：Aperture Value Ｂｖ：Brightness Value Ｓｖ：Sensitive Value）。適正露光時間Ｔexpは、露光時間のアペックス値Ｔｖを露光時間に変換したものである。次に、アペックス演算により絞り値Ａｖを演算する（Ｓ２０２）。なお、シャッタ速度Ｔexpは測光に基づいて適正露光を得られる値を求めていたが、これに限らず、撮影者が手動で設定するシャッタ速度としても良いことは勿論である。したがって、Ｔexpは撮影者が望む一定のシャッタ速度であればよい。絞り値も同様である。なお、（２）式の右辺の被写体輝度値はステップＳ１０３の測光にて求めた値であり、またＩＳＯ感度値はデフォルト値または撮影者が操作部２１によって入力した値である。したがって、（２）式の左辺のＴｖとＡｖは所定のプログラムラインに沿うように、適宜、演算される。

次に、ステップＳ２０３に進み、ぶれ限界露光時間ＴLimitと露光時間Ｔexpを比較する。もしＴLimit＜Ｔexpであれば、露光時間Ｔexpがぶれ限界露光時間よりも長いので、ぶれ画像補正ができるように、時分割撮像を行うために、ステップＳ２０４に移行する。ステップＳ２０４において、画像を撮像素子１から読み出す周期である画像読み出し周期Ｔfとぶれ限界露光時間ＴLimitを比較する。画像読み出し周期Ｔfはフレーム読み出し回数の変更等によって、またぶれ限界露光時間ＴLimitは焦点距離等によって変化するので、ぶれ限界露光時間ＴLimitと読み出し周期Ｔfより時間の関係が変化するからである。ぶれ限界露光時間ＴLimitの方が長時間の場合、すなわち、Ｔf＜ＴLimitの場合には、時分割撮像を連続的に行うことが可能となる。この場合には、後述するように時分割撮像における撮像素子１の露光が連続するように、時分割露光時間ΔＴexpを画像読み出し周期Ｔfの整数倍にする。このようにすることにより、時分割撮像により得られた複数の画像を合成した後の画像が通常撮影により得られた画像と同様の効果を有する。

判定の結果、Ｔf＜ＴLimitであった場合には、ステップＳ２０５に進み、〔ＴLimit／Ｔf〕を演算し、これを新たな変数ｋとしてメモリ〔ｋ〕に記憶する。なお、〔ｘ〕は実数ｘの小数点以下を切り捨てた整数を意味する。続いて、ステップＳ２０６にて、読み出し周期Ｔfをｋ倍したｋ・Ｔfを演算し、時分割露光時間ΔＴexpとしてメモリ〔ΔＴexp〕に記憶する。このように、ＴLimit／Ｔfの小数点以下を切り捨てた整数値をｋとし、時分割露光時間ΔＴexpを画像の読み出し周期Ｔfのｋ倍にしている。このため時分割露光時間ΔＴexpを画像の読み出し周期Ｔfの整数倍にでき、且つ、ぶれ限界露光時間ＴLimitよりも短く設定できるので、複数の連続する時分割撮像における露光時間が連続すると共に、ぶれを許容可能な時分割画像を得ることができる。すなわち、時分割露光時間ΔＴexpはぶれ限界露光時間ＴLimitよりも短くすることができるので、ぶれ補正を行うことができ、且つ、時分割露光が連続して行われ、露光していない時間がなくなることから、高速で移動する動体の軌跡が点々となることはなくなる。なお、ステップＳ２０６においては、ＴLimit／Ｔfの小数点以下を切り捨てた値をｋとしたが、ＴLimit／Ｔfが１に比べて大きな値（例えば４以上）のときや、必ずしも高い精度のぶれ補正を望まない場合は、ＴLimit／Ｔfの近傍の整数値、例えば小数点以下を切り上げた値又は小数点以下を四捨五入した値をｋとしてもよい。ＴLimitは経験的に得られた平均的なものであり厳密なものではないからである。

次に、ステップＳ２０７に進み、Ｔexp／ΔＴexpを演算し、この値をＡＭＰ３の増幅率Ａとしてメモリ〔Ａ〕に記憶する。このようにすることにより、ＡＭＰ３により増幅された時分割画像は露光時間Ｔexpで通常撮影された画像と同等レベルになる。続いて、ステップＳ２０８において、＜Ｔexp／ΔＴexp＞を演算し、これを新たに変数ｍとして時分割撮像の回数を記憶するメモリ〔ｍ〕に記憶する。なお＜ｘ＞は、前述したように、実数ｘの小数点以下を切り上げた整数である。後述するように複数の時分割画像は相互のぶれが補正され、このぶれが補正された画像は合成（加算）される。一般に合成画像の加算数が大きいとＳ／Ｎは良くなるので、ｍは大きいほうがよいが、ｍが大きいと時分割画像の撮影時間が長くなるのと、時分割画像の撮像開始からのぶれ量が大きくなる。したがって、本実施形態においては、ｍ＝＜Ｔexp／ΔＴexp ＞とすることにより、全体の時分割画像の露光時間の合計ｍ・ΔＴexp が、通常撮影における露光時間Ｔexp 以下にならない最小の時分割撮像回数になるようにしている。もちろん、合成画像のＳ／Ｎのレベルによっては、時分割撮像回数ｍは＜Ｔexp ／ΔＴexp＞よりも小さい値であってもよい。したがって、合成画像のＳ／Ｎのレベルによっては、時分割撮像回数ｍはＴexp／ΔＴexpの近傍の整数値、例えば、Ｔexp／ΔＴexpの小数点以下を切り捨てた値、又はＴexp／ΔＴexpの小数点以下を四捨五入した値であってもよい。ステップＳ２０８の処理が終了すると本サブルーチンから図４のメインルーチンにリターンする。

ステップＳ２０４に戻り、このステップにおいて、Ｔf＜ＴLimitではないと判定したとき、すなわち、画像の読み出し周期Ｔf
がぶれ限界露光時間以上であると判断したときは、露光時間は読み出し周期Ｔf 以上の露光時間ΔＴexpで時分割撮像を行うと、時分割画像のぶれが許容以上になってしまうので、読み出し周期Ｔf よりも短い露光時間で時分割撮像を行う必要がある。したがって、まず時分割撮像回数ｍを〔Ｔexp／ＴLimit〕とする。そしてこのｍをメモリ〔ｍ〕に記憶する（ステップＳ２０９）。つぎに＜Ｔexp／ｍ＞を時分割露光時間ΔＴexpとしてメモリ＜ΔＴexp＞に記憶する（ステップＳ２１０）。前述したようにこの時分割露光時間ΔＴexpは画像の読み出し周期Ｔf 以下となる。つぎに、時分割露光回数ｍと等しい値をAMP３の増幅率Aとし、メモリ〔A〕に記憶する（ステップＳ２１１）。そしてサブルーチンから図４のメインルーチンにリターンする。これらステップＳ２０９からＳ２１１での処理では、読み出し周期Ｔfよりも短い時間での時分割撮像時間となり、撮像素子１の撮像が連続的にならないために、高速で移動する動体に対して途切れ点々の映像となってしまう。しかし、ぶれを許容以下にする時分割露光を繰り返すので、ぶれ補正処理することによりぶれを除去した画像を得ることができる。

ステップＳ２０３に戻り、このステップにおいて、ＴLimit＜Ｔexpでないと判定したとき、すなわち、ぶれ限界露光時間ＴLimit が露光時間Ｔexp 以上のときは、ぶれを許容可能な１回の撮像で適正レベルの信号が得られる。つまり通常撮影と変わらないので、ステップＳ２１２において、時分割撮像回数ｍを記憶するメモリ〔ｍ〕に１を記憶する。つぎに、時分割露光時間ΔＴexp を記憶するメモリ〔ΔＴexp 〕に露光時間Ｔexp を記憶する（Ｓ２１３）。つぎに、ＡＭＰ３の増幅率Ａを記憶するメモリ〔A〕に１を記憶する（Ｓ２１４）。そしてサブルーチンから図４のメインルーチンにリターンする。

図４のステップＳ１０５に戻り、第２レリーズスイッチ１９ｂがオンとなっているかを判定する。判定の結果、オフの場合にはＪ１０１に分岐し、ステップＳ１０１からＳ１０４の処理を繰り返し、第２レリーズスイッチ１９ｂがオンとなるのを待つ。この間に第１レリーズスイッチ１９ａもオフとなるとステップＳ１０１に戻る。次に、ステップＳ１０５において、第２レリーズスイッチ１９ｂがオンとなると、ステップＳ１０６に進み、撮像動作を開始し、まず絞り設定を行う。ここでは、開放状態となっている絞り１７を、絞り駆動系１８を制御することにより、ステップＳ１０３にて求めた絞り値まで絞り込む。

絞り込みが終了すると、ステップＳ１０７に進み、時分割撮像を行う。この時分割撮像について、図８乃至図１０のタイミングチャートを参照しながら説明する。図８は画像の読み出し周期Ｔfに等しい時分割露光時間ΔＴexpで８回の時分割撮像を行う例である。また、図９は画像の読み出し周期Ｔfの２倍の時分割露光時間ΔＴexpで４回の時分割撮像を行う例である。さらに、図１０は画像の読み出し周期Ｔfよりも短い時分割露光時間ΔＴexpで８回の時分割撮像を行う例である。以下、これらの図を参照しながら、時分割撮像の動作について説明する。

まず、図８の場合について説明する。これは、画像読み出し周期Ｔfと時分割露光時間ΔＴexpが等しい場合であるが、図５のステップＳ２０４をＹｅｓで抜け、ステップＳ２０５において、〔ｋ〕＝１となり、ステップＳ２０６において〔ΔＴexp〕＝Ｔfとした場合である。
最初に、第２レリーズスイッチ１９ｂのオンに応答して発生する撮影トリガ信号のパルスが立ち下がると、撮像素子１にタイミングジェネレータ（ＴＧ）５からクロック信号ＣＬＫが供給される。クロック信号ＣＬＫを受けて、撮像素子１の画素を構成するフォトダイオード３３に蓄積された電荷を半導体基板（サブストレート＝縦型オーバーフロードレインＶＯＦＤ）に強制排出するための基板印加高電圧パルスＶＳＵＢが繰り返し印加される。この高電圧パルスＶＳＵＢの印加が終了すると露光が開始する。即ち、高電圧パルスＶＳＵＢの立ち下がりに同期して撮像素子１による露光が開始することになる。

高電圧パルスＶＳＵＢの立下りから、ステップＳ２０６で演算された時分割撮像の露光時間ΔＴexp（＝Ｔf）が経過すると、撮像素子１のフォトダイオード３３に蓄積された電荷を垂直転送ＣＣＤ（ＶＣＣＤ）３１にシフトするために、シフトパルスＴＰが出力される。そして垂直同期信号ＶＤ、転送パルスＶφ１〜Ｖφ４に同期して、蓄積された電荷が画像信号として読み出される。上記シフトパルスＴＰの印加が終了すると撮像素子１のフォトダイオード３３は再び電荷の蓄積を開始する。そして、次の垂直同期信号ＶＤに同期して２回目の時分割撮像による画像の読み出しが行われる。以上の動作をｍ回（図８では８回）行う。以上の説明から分かるように、読み出し開始から次の読み出し開始までの間の時間、即ち読み出し時間Ｔfと、電荷蓄積時間、即ち時分割露光時間ΔＴexpとは同じ期間となっている。

次に、図９の場合について説明する。これは、画像の読み出し周期Ｔfの２倍の時分割露光時間ΔＴexpで４回の時分割撮像を行う例であり、図５のステップＳ２０４をＹｅｓで抜け、ステップＳ２０５において、〔ｋ〕＝２となり、ステップＳ２０６において〔ΔＴexp〕＝２Ｔfとした場合である。図９において、高電圧パルスＶＳＵＢの印加電圧が立ち下がるとフォトダイオード３３の露光動作が開始する。時分割露光時間ΔＴexpは画像の読み出し周期Ｔfの２倍の期間であり、時分割露光時間ΔＴexpが終了するたびにシフトパルスＴＰが印加され、垂直同期信号ＶＤ、転送パルスＶφ１〜Ｖφ４に同期して時分割画像信号が読み出される。この読み出された時分割画像は、後述するように、バッファメモリ８ａにデジタル画像として記憶される。なお、この場合のＡＭＰ３の増幅率Ａは、ステップＳ２０７で演算されており、Ａ＝４である。

続いて、図１０の場合について説明する。これは画像の読み出し周期Ｔfよりも短い時分割露光時間ΔＴexpで８回の時分割撮像を行う例であり、図５のステップＳ２０４をＮｏで抜け、ステップＳ２０９において時分割撮像回数〔ｍ〕を求め、ステップＳ２１０において読み出し周期Ｔfよりも短い時分割露光時間ΔＴexpを求めてある。図８の場合と同様に、撮影トリガ信号（第２レリーズスイッチ１９ｂのオンに応答）が立ち下がり、続いて、
高電圧パルスＶＳＵＢの立下ると、露光動作が開始する。ステップＳ２１０で演算された時分割撮像の露光時間ΔＴexpが経過すると、撮像素子１のフォトダイオード３３に蓄積された電荷を垂直転送ＣＣＤ（ＶＣＣＤ）３１にシフトするために、シフトパルスＴＰが出力される。そして垂直同期信号ＶＤに同期して、蓄積された電荷が画像信号として読み出される。この画像信号の読み出し開始に同期して、撮像素子１に再び高電圧パルスＶＳＵＢが立ち上がり、所定期間印加される。高電圧パルスＶＳＵＢの印加が終了すると、再び露光が開始し、次の垂直同期信号ＶＤに同期して２回目の時分割撮像による画像の読み出しが行われる。以上の動作をｍ回（図１０では８回）行う。以上の説明から分かるように、読み出し開始から次の読み出し開始までの間の時間、即ち読み出し時間Ｔreadから、高電圧印加パルスＶＳＵＢの印加時間Ｔsubを減算した時間が、時分割撮像の露光時間ΔＴexpとなる。

上記読み出された時分割画像は、後述するようにバッファメモリ８ａにデジタル画像として記憶される。図１０の場合は、通常撮影と異なり、時間的不連続な露光時間で撮像された時分割画像が合成されるので、例えば高速で移動する物体、例えば、ボールが飛んでいるような被写体を撮像するとボールの動きが軌跡を描くように点々と描写されるなど、撮影者の作画意図とは異なる画像が生成される可能性がある。しかし、各時分割撮像は限界露光時間以下で行っているので、ぶれ補正を行った合成画像はぶれを除去することができる。このように、高速で移動する被写体、例えばボールの動きと読み出し周期の関係によっては、ボールが点々に表現される合成画像が得られる可能性があるが、主要被写体のぶれを防止するためには、やむ得ない。

このようにして、撮像素子１から時分割で読み出されたアナログの時分割画像信号は、ＣＤＳ２においてリセットノイズが除去され、ゲインコントロールアンプ（ＡＭＰ）３により、アナログ的に増幅される。このＡＭＰ３の増幅率は、時分割撮像による画像の露出不足を補うための増幅率をＡ１、ＩＳＯ感度Ｓｖに応じた増幅率をＡ２とすると、Ａ１×Ａ２となるように設定される。ここで、通常撮影の露光量をＥ１、時分割撮像の露光量をＥ２とすると、Ａ１＝Ｅ１／Ｅ２となる。さらに具体的に述べると、適正露光を得るための露光時間Ｔexpをｍ回に等分割した露光時間Ｔexp／ｍ（＝ΔＴexp）でｍ回の時分割撮像を行うものとするとき、各時分割撮像における増幅率は、
Ａ１＝Ｔexp／（Ｔexp／ｍ）＝ｍ ・・・（３）
となる。

図３に示すゲインコントロールアンプ（ＡＭＰ）３では、時分割撮像撮影回数数ｍに応じて、ＣＤＳ２の出力信号をｍ倍に増幅するための増幅率Ａ１の増幅器２３と、ＩＳＯ感度に応じた増幅率でＣＤＳ２の出力信号を増幅するための増幅率Ａ２の増幅器２４を、それぞれ別個に構成し、直列に接続してある。このような構成においては、増幅器２３と増幅器２４の増幅率を掛けることで任意の増幅率を簡単に作ることができる。

ゲインコントロールアンプ（ＡＭＰ）３により増幅されたアナログ画像信号は、Ａ／Ｄ変換器４により、タイミングジェネレータ５から供給される信号に従って、デジタル信号に変換される。Ａ／Ｄ変換器４によりデジタル信号に変換された画像信号は、情報処理部８により所定の画像処理が施され、情報処理部内部のバッファメモリ８ａに記憶される。

図４に戻り、時分割撮像（Ｓ１０７）が終了すると、次にステップＳ１０８に進み、ぶれ画像補正／記録のサブルーチンにて、ぶれが補正された合成画像の生成処理とこの合成画像を記録媒体１１に記録する。このサブルーチンを図６および図７のフローチャートを用いて説明する。まず、バッファメモリ８ａに記憶されたｍ回分の時分割露光の画像の相互のぶれ補正と、このぶれ補正された画像から合成画像を生成するためのぶれ画像補正を行う（Ｓ３０１）。

以下、このぶれ画像補正のサブルーチンについて図７を参照しながら、情報処理部８で行われるぶれ画像補正の流れを説明する。
まず、初期設定として、分割画像を識別するためのＩＤに相当する変数ｉを記憶するメモリ〔ｉ〕に０を記憶する（Ｓ４０１）。続いて、画像Ｉ（ｉ）と画像Ｉ（ｉ＋１）とのぶれΔ（ｉ，ｉ＋１）を演算する（Ｓ４０２）。ぶれΔは、画像Ｉ（ｉ）の特徴を数点定めて、この特徴点と一致する画像Ｉ（ｉ＋１）の特徴点の位置を公知の動きベクトル演算により求め、対応する位置の相対的なずれを求めればよい。なお、上記ぶれΔはベクトルである。

次に、ステップＳ４０３に進み、ぶれΔを積算したΣΔ（ｋ，ｋ＋１）（但し、ｋ＝０〜ｉ）のスカラー値｜ΣΔ（ｋ，ｋ＋１）｜を演算し、この値と予め決めた所定の値αを比較する。比較の結果、｜ΣΔ（ｋ，ｋ＋１）｜＞αではなかったとき、即ち、ぶれの積算値が所定値より小さく、大ぶれでなかった場合には、ぶれ補正が可能である。この場合には、ステップＳ４０４に進み、メモリ〔ｉ〕の内容をインクリメントする。続いて、ぶれΔに基づいて画像Ｉ（ｉ）と画像Ｉ（ｉ＋１）のぶれを補正した後に、対応する画素の値を加算（合成）する（Ｓ４０５）。この後、ステップＳ４０６にて、ｉとｍ−１を比較する。ｍはステップＳ２０８、Ｓ２０９またはＳ２１２にて設定された時分割撮像の回数、すなわち時分割撮像により得た画像の数であり、ｍ−１はぶれ補正の処理を行う回数となる。判定の結果、ｉ＝ｍ−１ではないときには、Ｊ４０１に分岐してステップＳ４０２に戻り、以上の処理を繰り返し、実行する。判定の結果、ｉ＝ｍ−１となると、ステップＳ４０７に進み、ぶれ補正処理を行った画像の合成画像の平均値を演算する。これによりぶれ補正処理を行った合成画像を得ることができる。

一方、ステップＳ４０３における判定の結果、｜ΣΔ（ｋ，ｋ＋１）｜＞αであった場合には、時分割撮像期間中の全体のぶれ量が許容可能な、すなわち有効領域の確保が難しい値よりも大きいと判断し、Ｊ４０２に分岐し、ステップＳ４０７に移行する。この場合には、ぶれ補正処理を行わないので、ぶれた画像となる。

ステップＳ４０７の合成画像の平均化を終えると、ぶれ画像補正のサブルーチンを終了し、図６に示す、ぶれ画像補正／記録のサブルーチンに戻る。ステップＳ３０２において、有効領域の抽出を行う。情報処理部８においては、すべての時分割画像が重複する領域が予め決められた有効領域内に入るように、最初に撮像した時分割画像を基準にしたぶれ量が、予め決めた所定以上の大きさの時分割画像については、合成処理対象から除外する。そして、ぶれ量が所定内の時分割画像について、合成した画像のうち、最初に撮像した時分割画像から予め決めた領域内の画像を抽出する。このようにすることにより、所定以上の有効領域の抽出処理が簡単になる。

次にステップＳ３０３に進み、有効領域の画像データはＤＲＡＭ９に一時記憶される。そして一時記憶された画像データを圧縮伸張部１０により、ＪＰＥＧ等の所定のフォーマット形式の画像データに圧縮する。続いて、ステップＳ３０４にて、圧縮された画像データは記録媒体１１に記録して、ぶれ画像補正／記録のサブルーチンを終了し、図４の時分割撮像のルーチンに戻る。

次に、本実施形態におけるゲインコントロールアンプ（ＡＭＰ）３の変形例を説明する。本実施形態におけるＡＭＰ３は増幅率Ａ１の増幅器２３と増幅率Ａ２の増幅器２４を別々に直列接続することにより、時分割撮像回数ｍに応じた増幅率Ａ１とＩＳＯ感度に応じた増幅率Ａ２を設定することで、任意の増幅率簡単に得ることができる。しかし、この構成では、回路構成が複雑化するとともに、増幅器が２段接続されるので、ノイズが増加してしまうおそれがある。増幅器２３の増幅率Ａ１と増幅器２４の増幅率Ａ２は、相互に関連しており、Ａ１×Ａ２はほぼ一定の値をとることができるので、増幅器２３と増幅器２４は共用することが可能である。以下この点について詳述する。

増幅器２４の増幅率をｋ倍することによりＩＳＯ感度をｋ倍（＝logｍ／log２〔段〕）すると、シャッタ速度は１／ｋ倍（Ｔexp／ｋ秒）になる。したがって時分割露光回数ｍ’は、ｍ’＝（Ｔexp／ｋ）／ＴLimit＝（Ｔexp／ＴLimit）／ｋ＝ｍ／ｋ （但し、Ｔexp／ＴLimitはＩＳＯ感度をｋ倍する前の時分割露光の回数ｍに等しい）となる。

ところで、時分割画像の信号レベルは、適正レベルの１／ｍ’倍になっているので、Ａ／Ｄ変換器４の量子化ノイズを通常撮影と同レベルに抑えるために、時分割画像をｍ’倍に増幅したのちにＡ／Ｄ変換してデジタル信号に変換するのが望ましい。そして上記デジタル変換した複数の時分割画像の相互ブレを補正して、ぶれが補正された複数の時分割画像を合成した後に、この合成画像を平均化することによりぶれの補正された合成画像を生成する。そうすると、時分割画像の増幅率の変換はｍ’／ｍ＝１／ｋ倍になる。そして、Ａ／Ｄ変換前の画像信号の全体の増幅率はＩＳＯ感度に基づく増幅率と時分割画像の増幅率を掛けた値となる。

したがって、ＩＳＯ感度を変更する前後の全体の増幅率の変化は、ＩＳＯ感度の変更に基づく増幅率の変化ｋ倍と、時分割画像の増幅率の変化１／ｋ倍を掛けたｋ×１／ｋ＝１に等しい。このことは、ＩＳＯ感度を変化しても全体の増幅率は一定に保たれることを意味し、ＩＳＯ感度設定用の増幅回路を、時分割画像を増幅するための増幅回路と共用可能なことを示している。

図１１に増幅器２３と増幅器２４を共用する変形例を示す。差動増幅器２６の非反転入力は、ＣＤＳ２の出力に接続され、反転入力はアナログスイッチ回路２８の一端に接続される。アナログスイッチ回路２８はｎ個のアナログスイッチＴＧ１、ＴＧ２、・・・ＴＧｎを有し、これらの各一端は前述のとおり、差動増幅器２６の反転入力に接続され、各他端は、直列接続された抵抗Ｒｎ、Ｒ（ｎ−１）、Ｒ（ｎ−２）、・・・Ｒ２、Ｒ１の各接続点に接続されている。すなわち、アナログスイッチＴＧｎの他端は抵抗Ｒ１と抵抗Ｒ２の接続点に接続され、アナログスイッチＴＧ２の他端は抵抗Ｒ（ｎ−１）と抵抗Ｒｎの接続点に接続され、アナログスイッチＴＧ１の他端は、抵抗Ｒｎと差動増幅器２６の出力の接続点に接続されている。なお、抵抗Ｒ１の他端は接地され、また差動増幅器２６の出力はさらにＡ／Ｄ変換器４に接続されている。

アナログスイッチ２８の各制御端子はデコーダ２７の出力に接続されている。デコーダ２７は２進数の入力信号Ｄ１、Ｄ２、・・・、Ｄｍを出力信号Ｓ１，Ｓ２、・・・、Ｓｎに変換するためのデコーダである。このＳｘ（ｘ＝１、２、３、・・・、ｎ）が１（“Ｈ”レベル）のときアナログスイッチＴＧｘ（ｘ＝１、２、３、・・・、ｎ）がオンとなるようになっている。デコーダ２７の出力信号Ｓ１，Ｓ２、・・・、Ｓｎは入力信号Ｄ１、Ｄ２、・・・、Ｄｍを１０進数に変換した値を、例えばｘとするとき、出力信号Ｓｘのみが１となりその他の出力信号は“０”となる。例えばアナログスイッチＴＧｎがオンとなると、差動増幅器２６の出力Ｖｏｕｔは、
Ｖout＝Ｖin・（Ｒn＋Ｒ（n−1）＋Ｒ（n−２）＋・・・Ｒ２＋Ｒ１）／Ｒ１
となる。一例として、ｍ＝３、ｎ＝８、Ｒ１＝１００Ω、Ｒ３＝２００Ω、Ｒ４＝４００Ω、Ｒ５＝８００Ω、Ｒ６＝１．６ＫΩ、Ｒ７＝３．２ＫΩ、Ｒ８＝６．４ＫΩとすると、入力信号Ｄ１、Ｄ２、Ｄ３に対して図１２のような利得が得られる。

いま、利得とＩＳＯ感度を図１２のように対応つけるものとする。利得が３２以上になるとＩＳＯ感度が対応していないのは、時分割撮像の回数ｍに応じて増幅するためである。時分割撮像による画像の露出不足を補うための増幅率Ａ１は、図１２に記載の例では、２の倍数で変化する増幅率にする必要がある。したがって、この例では時分割回数は、例えば１、２、４、８のいずれかに設定する。具体的には、以下のようにして時分割撮像の回数ｍを求める。まず、通常撮影おける露光時間をＴexpとし、これをぶれ限界露光時間ＴLimitで除したＴexp／ＴLimitを演算する。次に１、２、４、８の中からＴexp／ＴLimitより大きく且つ最小値を選択する。例えば、Ｔexp／ＴLimit＝２．５５であったとすると、時分割撮像回数ｍは４となる。したがって、この場合の差動増幅器２６の増幅率Ａは４であるから、ＩＳＯ感度は高ＩＳＯ側に２段分シフトすることになる。

以上述べた変形例では、ＩＳＯ感度を整数段で選択する例であったが、抵抗Ｒ１、Ｒ２、Ｒ３、・・・、Ｒｎを適宜選択することにより、例えば１／３段ステップで選択できるように設計することも可能である。また、増幅率Ａも任意の整数値を選択できるように設計することも可能である。

なお、本実施形態や変形例においては、時分割撮像した複数の画像を撮像素子１から読み出してデジタル画像に変換したのちに、ぶれ補正と合成処理を行って、ぶれの除去された合成画像を生成するものであったが、本出願人が特願２００５−２７８７４８にて開示したような撮像素子内で時分割撮像、ぶれ補正及び合成処理を行う装置に対しても本実施形態に記載の発明を適用することは可能である。

以上説明したように、本実施形態によれば、上記時分割画像を読み出す周期をＴf、ぶれを許容可能な露光時間をＴLimit、実数ＴLimit／Tfの小数点以下を切り捨てた値をｋとするとき、ｋ×Ｔfを時分割撮像の露光時間ΔＴexpとするので、時分割撮像の露光時間として、ぶれを許容可能な露光時間ＴLimitよりも短く、且つ時分割画像を読み出す周期をＴfの整数倍になるような最大の露光時間に設定することができる。このため時分割露光としては最大限の信号レベルを確保することができる。
また、適正な露光量を得るに必要な露光時間をＴexpとするとき、Ｔexp／ΔＴexpの増幅率で時分割画像を増幅するので、適正レベルの時分割画像を得ることができる。増幅してからＡ／Ｄ変換を行っているので、Ａ／Ｄ変換の際の量子化ノイズを最小限にすることができる。

さらに、実数Ｔexp／ΔＴexpの小数点以下を切り上げた値をｍとするとき、時分割撮像をｍ回以上行い、得られた時分割画像の相互のぶれを補正したのちに合成するので、Ｓ／Ｎの良好なぶれの補正された合成画像を得ることができる。
また上述したように、本実施形態に係わる発明によれば露光時間が連続的につながった時分割画像の、相互のぶれが補正された適正レベルのＳ／Ｎが良好な合成画像を生成することが可能となる。したがって、ぶれが補正され他は通常撮影と同様の画像を撮影できる。

以上、説明した実施形態は、本発明をデジタルカメラに本発明を適用した例であったが、デジタルカメラとしてはデジタル一眼レフカメラやコンパクトデジタルカメラ等に適用でき、またデジタルカメラを内蔵した電子撮像装置にも適用できる。

本発明を適用した実施形態におけるデジタルカメラの電気系を示すブロック図である。 本実施形態における撮像素子１の構造を示す図である。 本実施形態におけるゲインコントロールアンプＡＭＰの詳細を示すブロック図である。 本実施形態におけるデジタルカメラの時分割撮像の動作を示すフローチャートである。 本実施形態におけるデジタルカメラの時分割撮像制御パラメータ演算の動作を示すフローチャートである。 本実施形態におけるデジタルカメラのぶれ画像補正および記録のサブルーチンの動作を示すフローチャートである。 本実施形態におけるデジタルカメラのぶれ画像補正のサブルーチンの動作を示すフローチャートである。 本実施形態におけるデジタルカメラの撮影動作を示すタイミングチャートである。 本実施形態におけるデジタルカメラの撮影動作を示すタイミングチャートである。 本実施形態におけるデジタルカメラの撮影動作を示すタイミングチャートである。 本実施形態におけるデジタルカメラのゲインコントロールアンプＡＭＰの変形例を示すブロック図である。 本実施形態におけるデジタルカメラのゲインコントロールアンプＡＭＰにおける入力信号、ＩＳＯ感度と利得の関係を示す図である。

符号の説明

１・・・撮像素子、２・・・ＣＤＳ（相関二重サンプリング回路）、３・・・ＡＭＰ（ゲインコントロールアンプ）、４・・・Ａ／Ｄ変換器、５・・・ＴＧ（タイミングジェネレータ）、６・・・ＳＧ（シグナルジェネレータ）、７・・・ＣＰＵ、８・・・情報処理部、９・・・ ＤＲＡＭ、１０・・・圧縮伸張部、１１・・・記録媒体、１２・・・表示部、１３・・・ バリエータレンズ、１４・・・エンコーダ、１５・・・フォーカスレンズ、１６・・・フォーカスレンズ駆動系、１７・・・絞り、１８・・・絞り駆動系、１９ａ・・・第１レリーズスイッチ、１９ｂ・・・第２レリーズスイッチ、２０・・・距離検出部、２１・・・操作部、２２・・・撮影レンズ、２３・・・増幅器、２４・・・増幅器、２６・・・差動増幅器、２７・・・デコーダ、２８・・・アナログスイッチ、３１・・・垂直転送ＣＣＤ（ＶＣＣＤ）、３２・・・水平転送ＣＣＤ（ＨＣＣＤ）、３３・・・フォトダイオード、３４・・・転送ゲート（ＴＰ）

Claims (7)

1. 撮像素子から連続して時分割撮像を行って得られた複数の時分割画像の、相互のぶれが補正された合成画像を生成する電子的ぶれ補正装置であって、
   被写体光を画像信号に変換する撮像部と、
   所定の時分割露光時間で撮像された上記時分割画像を上記撮像部から読み出す画像読み出し部と、
   上記画像読み出し部による上記画像の読み出し周期の整数倍になるように、上記時分割露光時間を制御する時分割露光時間制御部と、
   上記撮像部により撮像された上記複数画像の相互のぶれを補正するぶれ補正部と、
   上記ぶれ補正部により補正された複数画像を合成する画像合成部と、
   を備えたことを特徴とする電子的ぶれ補正装置。
2. 上記時分割露光時間は、ぶれを許容可能な限界露光時間よりも短いことを特徴とする請求項１に記載の電子的ぶれ補正装置。
3. 上記電子的ぶれ補正装置は、さらに一定の露光量を得るに必要な露光時間（Ｔexp）を演算する露光時間演算部と、上記画像読み出し部により読み出された上記画像を増幅する画像増幅部を備え、上記画像増幅部の増幅率をＡ、上記時分割露光時間をΔＴexpとするとき、
   Ａ＝Ｔexp／ΔＴexp
   とすることを特徴とする請求項１に記載の電子的ぶれ補正装置。
4. 上記電子的ぶれ補正装置は、さらに上記撮像素子から上記時分割画像を読み出す周期とぶれを許容可能な露光時間とを比較する比較部を備え、
   上記時分割露光時間制御部は、上記比較部による比較結果、上記時分割画像を読み出す周期が上記ぶれを許容可能な露光時間よりも短いときは、上記時分割露光時間を上記読み出し周期の整数倍にすることを特徴とする請求項１に記載の電子的ぶれ補正装置。
5. 上記時分割画像を読み出す周期をＴf 、上記ぶれを許容可能な露光時間をＴLimit 、実数ＴLimit ／Ｔf の小数点以下を切り捨てた値又は小数点以下を切り上げた値のいずれかをｋとするとき、k ×Ｔf を上記時分割撮像の露光時間ΔＴexpとすることを特徴とする請求項４に記載の電子的ぶれ補正装置。
6. 上記電子的ぶれ補正装置は、さらに適正な露光量を得るに必要な露光時間（Ｔexp）を演算する露光時間演算部と、上記時分割画像を増幅するための増幅部を備え、上記増幅部の増幅率Ａを、Ｔexp／ΔＴexpとすることを特徴とする請求項５に記載の電子的ぶれ補正装置。
7. 実数Ｔexp ／ΔＴexp の小数点以下を切り上げた値又は小数点以下を切り捨てた値のいずれかをｍとするとき、時分割撮像をｍ回行うことを特徴とする請求項６に記載の電子的ぶれ補正装置。