JP2023071409A - 撮像装置およびその制御方法、プログラム - Google Patents

Abstract

【課題】連写モードおよびブレの状態に応じた高品質な画像を得る。【解決手段】連写速度の異なる複数種類の連写モード（超高速、高速、低速）が選択可能となっている。入力画像における動きベクトルが、背景の動きを表す背景ベクトルと、被写体の動きを表す被写体ベクトルとに分離される。背景ベクトルと検出されたジャイロ信号とから、撮像装置１００のブレに関するブレ信号が取得される。連写モードの種類、被写体ベクトル（被写体の動き）およびブレ信号（ブレ情報）に基づいて、撮影の際の露出条件が制御される。さらに、画像合成をする場合においては合成枚数が決定される。【選択図】図６

Description

本発明は、撮像装置およびその制御方法、プログラムに関する。

デジタルカメラやスマートフォンなどの撮像装置では、測光値以外のものを用いて露出条件（露出パラメータ）（露光時間、ＩＳＯ感度、絞り値など）を制御し、複数枚の画像を撮影して高品質な画像を得るものが実用化されている。例えば、従来の撮像装置は、被写体の動き量やブレ量を検出して露光時間を変えたり、複数枚撮影した画像のうちブレの小さい画像を選択したり、複数枚の画像を合成してブレを低減したりする。このような技術は、特許文献１、２、３に開示されている。

特許文献１は、手ブレの影響を受けにくい速いシャッタ速度で連続して撮影された複数枚の露出不足の画像を合成して手ブレを補正する装置を開示している。この装置では、合成枚数が上限枚数に達しても、露出不足であるならば、感度の上限値に基づいて感度を上げるよう制御される。

特許文献２は、連写時において意図しない露出の画像の生成を低減するために、高速に連写を行う連写モードが設定された際に、露出補正値が所定範囲内にない場合、当該連写モードでの連写動作中に自動露出制御を行わない装置を開示している。

特許文献３は、手ぶれが検出されたときに、一部の被写界輝度領域で、シャッタ速度が高速な第２のプログラム線図を採用し、シャッタ速度を高速側に設定する装置を開示している。

特開２００９－１５２８０３号公報 特開２０１９－７１５３６号公報 特開２００６－３３７４５８号公報

連写モードの種類ないし特性（信号読み出し時間、駒間の時間、予測される振動など）、被写体の状況（静止か動体か等）、電源状況、手ブレの大きさや周波数特性など、撮影時の条件・状況は様々である。これら多くの条件に応じて露光時間や合成枚数を設定するのは困難である。

しかしながら、特許文献１では、連写モードの設定に関わらず同じ手法で合成枚数と感度とを設定しているため、連写モードの特性に適した合成枚数と感度の設定が困難である。

特許文献２では、高速に連写を行う連写モードでは、連写動作中に自動露出制御を行わないことがあるため、適正な露出を常に得ることが難しい。

特許文献３では、手ぶれが検出されたときは、連写モードの特性に関わらず、シャッタ速度が高速な第２のプログラム線図を一律に採用するので、連写モードの特性に適したシャッタ速度（露光時間）の設定が困難である。

従って、連写モードの特性やブレの状態を総合的に考慮した高品質な画像を得ることに関し、改善の余地があった。

本発明は、連写モードおよびブレの状態に応じた高品質な画像を得ることを目的とする。

上記目的を達成するために本発明は、撮像装置であって、連写速度の異なる複数種類の連写モードを設定する設定手段と、入力画像から被写体の動きを取得する第１の取得手段と、前記撮像装置のブレに関するブレ情報を取得する第２の取得手段と、前記連写モードの種類、前記被写体の動きおよび前記ブレ情報に基づいて、撮影の際の露出条件を制御すると共に、画像合成をする場合においては合成枚数を決定する制御手段と、を有することを特徴とする。

本発明によれば、連写モードおよびブレの状態に応じた高品質な画像を得ることができる。

撮像装置のブロック図である。 露出制御処理を示すフローチャートである。 手ブレの分離処理を示すフローチャートである。 周波数と手ブレベクトル信号値の加算係数との関係を示すテーブルである。 撮影開始前の所定期間に生じた手ブレ信号、動きベクトルの周波数解析結果を示す図である。 露出係数および合成枚数の算出と単写・連写モードの選択処理を示すフローチャートである。 プログラム線図の例を示す図である。 撮像装置のブロック図である。 露出制御処理を示すフローチャートである。 プログラム線図の例を示す図である。 プログラム線図の例を示す図である。

以下、図面を参照して本発明の実施の形態を説明する。

（第１の実施の形態）
図１は、本発明の第１の実施の形態に係る撮像装置のブロック図である。この撮像装置１００は、例えばデジタルカメラとして構成される。撮像装置１００は、撮像装置本体１に対して交換レンズ３１が着脱可能に装着されて構成されている。

撮像装置本体１において、レンズマウント２は、交換レンズ３１を装着するために配置されている。撮像素子３には、交換レンズ３１内の撮影光学系を透過した光が被写体像として結像し、これが光電変換される。撮像部４は、撮像素子３によって光電変換された電気信号に対して各種の画像処理を施すことにより画像信号を生成する。Ａ／Ｄ変換部５は、撮像部４により生成されたアナログ画像信号をデジタル画像信号に変換する。バッファメモリ等からなるメモリ（ＶＲＡＭ）６は、Ａ／Ｄ変換部５の出力を受けて、この画像データを一時的に記憶する。Ｄ／Ａ変換部７は、ＶＲＡＭ６に記憶された画像データを読み出して、再生出力に適する形態のアナログの画像信号に変換する。液晶表示装置（ＬＣＤ）等の画像表示装置（以下ＬＣＤ）８は、この画像信号を表示する。記憶用メモリ１０は、半導体メモリ等からなり、画像データを記憶する。

圧縮伸長部９は、ＶＲＡＭ６に一時記憶された画像データを読み出して記憶用メモリ１０での記憶に適した形態にするために、画像データの圧縮処理や符号化処理を行う圧縮部を有する。また、圧縮伸長部９は、記憶用メモリ１０に記憶された画像データを再生表示などに最適な形態とするための復号化処理や伸長処理等を行う伸長部も有する。ＡＥ処理部１１は、Ａ／Ｄ変換部５からの出力を受けて自動露出（ＡＥ）処理を行う。ＡＦ処理部１２は、Ａ／Ｄ変換部５からの出力を受けて自動焦点調節（ＡＦ）処理を行うためのＡＦ評価値を生成し、さらにデフォーカス量を検出する。

ブレ検出センサ１４は、手ブレなどの撮像装置１００の動きを検出する。ブレ検出センサ１４は、ジャイロセンサや加速度計などの慣性センサで構成され、これらを複数個用いることで多軸のブレを検出する。ブレ検出部１３は、ブレ検出センサ１４の出力（検出信号）であるジャイロ信号を処理する。ＣＰＵ１５は、撮像装置１００全体の制御を行う演算用のメモリを内蔵するマイクロコンピュータからなる。タイミングジェネレータ（以下ＴＧ）１６は、所定のタイミング信号を発生させる。センサドライバ１７は、撮像素子３を駆動する。操作スイッチ１８は、各種のスイッチ（ＳＷ）群からなる。ＥＥＰＲＯＭ１９は、電気的に書き換え可能な読み出し専用メモリであり、各種の制御等を行うプログラムや各種の動作を行わせるために使用するデータ等を予め記憶している。

電池２０は、撮像装置１００全体の電源である。通信ドライバ２１は、交換レンズ３１と通信を行う。ＬＥＤ２２は、警告表示などを行う表示素子である。センサ移動モータ２５は、撮像素子３を水平方向、垂直方向、回転方向に移動させるための駆動源である。センサ移動制御部２４は、センサ移動モータ２５の動作を制御する。動きベクトル検出部２７は、Ａ／Ｄ変換部５からの出力を受けて被写体の動きベクトルを検出する処理を行う。主被写体検出部２６は、動きベクトル検出部２７、Ａ／Ｄ変換部５、及びＣＰＵ１５からの出力を受けて主被写体検出処理を行う。主被写体検出部２６は、主被写体を特定してその画面内の位置や大きさを検出する。

画像変形切出し部２８は、画像の回転及び拡縮や、トリミング（切り出し）などの画像処理を行う。合成手段としての画像合成部２９は、画像変形切出し部２８で切り出された画像を合成する。この画像変形切出し部２８及び画像合成部２９によって、連写撮影により得た複数の画像を処理し、新たな画像を得ることができる。スピーカ２３は、合焦の報知や非合焦警告などを行うための音源である。

一方、交換レンズ３１において、ブレ補正レンズ３２は、像ブレを補正するために、撮像素子３の像面上で被写体像を移動させるための光学系である。フォーカスレンズ３３は、被写体像の光軸方向の結像位置を調節して焦点を合わせるための光学系である。絞り３４は、ブレ補正レンズ３２、フォーカスレンズ３３等からなる撮影光学系を透過する光の量を制御する。通信ドライバ３５は、撮像装置本体１と通信を行う。モータ制御部３６は、絞り３４を駆動する絞り駆動モータ、フォーカスレンズ３３を駆動するフォーカス駆動モータ、ブレ補正レンズ３２を駆動するブレ補正レンズ駆動モータ（いずれも図示せず）を駆動制御する。ＥＥＰＲＯＭ３７は、電気的に書き換え可能な読み出し専用メモリであり、各種動作を行わせるために使用されるデータ等を予め記憶している。交換レンズ３１は、このほか、焦点距離を変更するズームリング、ピントを調節するマニュアルフォーカスリングを備える（図示せず）。

なお、記憶媒体である記憶用メモリ１０には、フラッシュメモリ等の固定型の半導体メモリや、カード形状やスティック形状からなり装置に対して着脱自在に装着されるカード型フラッシュメモリ等の半導体メモリが用いられる。あるいは、記憶用メモリ１０は、ハードディスク等であってもよい。

また、操作スイッチ１８は、撮像装置本体１を起動させ電源供給を行うための主電源スイッチ、動画撮影動作（記録動作）等を開始させるレリーズスイッチ、再生動作を開始させる再生スイッチ等を含む。レリーズスイッチは、第１ストローク（以下ＳＷ１）と第２ストローク（以下ＳＷ２）とを有する２段スイッチにより構成される。ＳＷ１がＯＮされると、撮影動作に先立って行われるＡＥ処理、ＡＦ処理等の撮影準備動作を開始させる指示信号が発生する。ＳＷ２がＯＮされると、実際の露光動作を開始させる指示信号が発生する。また、操作スイッチ１８は、撮影モード設定ダイヤル、露出補正量変更ダイヤル、露光時間変更ダイヤル、絞り値変更ダイヤル、連写モード設定スイッチ等を含む。

上記連写モード設定スイッチでは、単写・連写モードの選択に加えて、連写モードが選択された場合は、センサ読み出しレートの異なる（連写速度の異なる）複数種類の連写モードが選択可能となっている。従って、ユーザ操作に基づいて連写モードの種類が設定される。設定可能な連写モードの種類には、超高速連写モード、高速連写モード、低速連写モードがある。これらの連写モードは、センサから信号を読み出す際のチャネル数や読み出し駆動周波数などが異なることで、センサから読み出す時間や間隔（ブランキング期間）などの特性が異なる。これにより単位時間当たりの撮影枚数や被写体の動き歪の抑制効果、および消費電力などの連写モードの特性が異なる。

以上のように構成された撮像装置１００の動作について説明する。まず、交換レンズ３１を透過し、光量が調整された被写体からの光束は、撮像素子３の受光面に結像される。結像した被写体像は、撮像素子３による光電変換処理により電気的な信号に変換され撮像部４に出力される。撮像部４では、入力された信号に対して各種の信号処理が行われ、所定の画像信号が生成される。この画像信号はＡ／Ｄ変換部５に出力されデジタル信号（画像データ）に変換された後、ＶＲＡＭ６に一時的に格納されるだけでなく、ＡＥ処理部１１、ＡＦ処理部１２、動きベクトル検出部２７、主被写体検出部２６及び画像変形切出し部２８にも出力される。

ＶＲＡＭ６に格納された画像データは、Ｄ／Ａ変換部７へ出力され、表示するのに適した形態のアナログの画像信号に変換された後、ＬＣＤ８に画像として表示される。ＶＲＡＭ６に格納された画像データは、圧縮伸長部９にも出力される。出力された画像データは、圧縮伸長部９における圧縮部によって圧縮処理が行われた後、記憶に適した形態の画像データに変換され、記憶用メモリ１０に記憶される。

ＡＥ処理部１１においては、入力されたデジタル画像信号を受けて、被写体の明るさに応じたＡＥ評価値が算出される。このＡＥ評価値はＣＰＵ１５に出力される。そしてＣＰＵ１５は、このＡＥ評価値に基づいて、撮像素子３への露光時間や絞り３４の開口値を計算し、その情報を通信ドライバ２１を介して交換レンズ３１へ送信する。これに応じて、交換レンズ３１側では、絞り駆動処理などが行われ、絞り３４の絞り量が適正になるように調整される。

ＡＦ処理部１２は、焦点調整のための撮像画素を有する撮像素子３により取得される画像信号の像修正と、修正された像信号の相関演算とを行い、デフォーカス量を検出する。ＣＰＵ１５は、フォーカスレンズ３３の駆動量と駆動方向を求め、通信ドライバ２１を介して交換レンズ３１へ送信する。これに応じて交換レンズ３１側でフォーカスレンズ３３の駆動処理が行われ、合焦状態を得るＡＦ制御が可能となる。

主被写体検出部２６は、Ｄ／Ａ変換部７から入力される画像データから人物らしき被写体や動物らしき被写体やその他の被写体と思えるものを検出する。主被写体検出部２６は、ＣＰＵ１５から受け取る操作スイッチ１８の設定状況やＡＥ処理部１１の結果、およびＡＷＢ処理のために求めた被写体の色温度情報、ＡＦ処理部１２から受け取る被写体と思われるものの被写体距離情報を受け取る。さらに、主被写体検出部２６は、動きベクトル検出部２７から受け取る被写体と思われるものの動き情報を受け取ると共に、ブレ検出部１３から検出処理済み信号（積分後のジャイロ信号）を受け取る。そして主被写体検出部２６は、これら受け取った情報を用いて主被写体を特定し、その位置および大きさを検出する。

動きベクトル検出部２７は、入力されたデジタル画像信号（基準画像）を受けて、ＣＰＵ１５からの指示により分割された領域に従い、１フレーム前のデジタル画像信号（参照画像）との相関演算を行う。これにより、動きベクトル検出部２７は、分割された領域内の被写体の動きベクトルを求める。

すなわち、動きベクトル検出部２７は、水平垂直方向に参照画像を所定画素ずらしながら基準画像と参照画像との差分演算を行った結果、最も高い相関度（最も少ない差分量）を得た画素ずらし量をその領域における被写体の動き量とする。そして動きベクトル検出部２７は、その際の水平方向、垂直方向の画素ずらし方向を動き方向とする。これによってフレーム間の領域内の被写体の動きベクトルが求められる。ＣＰＵ１５は、この領域ごとの動きベクトルと、主被写体検出部２６より受け取った主被写体情報とから、背景の動きと被写体の動きとを検出する。

画像変形切出し部２８は、主被写体検出部２６や動きベクトル検出部２７の出力を受けてＣＰＵ１５が算出した主被写体の画像上の上下左右の動きや、撮像装置１００の回転に関する情報を受け取る。そして画像変形切出し部２８は、受け取った情報に応じて動きや回転を補正するために、画像回転などの変形や、画像の一部分を切り出すなどの画像処理を行う。その結果得られた画像は、ＶＲＡＭ６の所定の領域に記録されるか、もしくは画像合成部２９へ出力される。

例えば、主被写体として検出された被写体や背景の画面上の位置が撮影者の手ブレによって変化することがある。連写によって得られる複数の画像の間に、このようなブレが生じると、合成された画像に不自然な線などができたり解像度が低下したりする。

そこで、複数の画像間の位置ずれを、動きベクトル検出部２７が検出し、画像変形切出し部２８が位置ずれを補正するよう画像を幾何変形する。そして、幾何変形により位置合わせされた複数の画像を、画像合成部２９が加算することで、画像合成によるブレ補正（位置ずれ補正）を行う。

次に、上記のように構成される撮像装置１００における露出制御動作、すなわち露出係数（露出条件）および合成枚数の設定動作について、図２に示すフローチャートを用いて説明する。ここで、露出係数は、露光時間（Ｔｖ）、絞り値（Ａｖ）、ＩＳＯ感度（Ｓｖ）等の露出パラメータを含む。合成枚数は、連写モードにて撮像された複数の画像を合成する際の、合成する画像の枚数である。

図２は、露出制御処理を示すフローチャートである。この処理は、ＣＰＵ１５が、ＥＥＰＲＯＭ１９に格納されたプログラムをＣＰＵ１５が備える不図示のＲＡＭに展開して実行することにより実現される。この処理は、単写または連写の撮影モードが設定されると開始される。この処理において、ＣＰＵ１５は、第１の取得手段、第２の取得手段、制御手段としての役割を果たす。

ステップＳ２０１では、ＣＰＵ１５は、本処理で用いる変数の初期化や駆動部材を初期位置へ移動する等の処理を行うと共に、交換レンズや撮影モードなどの初期設定を確認する。ＣＰＵ１５は、交換レンズが装着されているか否かを判定し、装着されている場合は、交換レンズにおけるブレ補正レンズ・フォーカスレンズ・絞りに関する情報を取得する。交換レンズが装着されていない場合は、ＣＰＵ１５は、交換レンズに関する情報の取得を行わない。また、ＣＰＵ１５は、操作スイッチ１８における撮影モード設定ダイヤルの操作状況を確認し、設定された撮影モード（例えば、シャッタ速度優先、絞り優先、スポーツモード、風景モード等）を確認する。

ステップＳ２０２では、ＣＰＵ１５は、設定手段としての操作スイッチ１８における連写モード設定スイッチの状況を確認し、単写・連写モードの設定を確認する。すなわち、ＣＰＵ１５は、単写モード、超高速連写モード、高速連写モード、低速連写モード、連写／単写自動設定モードのうち、いずれのモードに設定されているかを確認する。超高速連写モードは、センサ読み出しを高速化した特殊な連写モードであり、より多数のチャネルを並行動作させ、通常の読み出しより駆動周波数を高めたモードである。

この超高速連写モードでは、メカシャッタの動作を行わずに被写体の動き歪を抑制することが可能である。メカシャッタ動作が不要であることでメカシャッタ動作時より単位時間あたり多くの撮影が可能になる。なお、一般には、超高速連写モードは、読み出しＢｉｔ数に制限、ＯＢ（オプティカルブラック）領域の読み出し範囲の限定なども行って高速化している場合もあるため、通常の撮影では設定されないこともある。

ステップＳ２０３では、ＣＰＵ１５は、動きベクトル検出部２７から、分割された各領域の所定期間における動きベクトル情報を受け取る。さらにＣＰＵ１５は、ブレ検出部１３から、所定期間における各軸の検出処理済み信号（積分後のジャイロ信号）を受け取る。ここでいう所定期間は、撮影開始前の所定期間であり、情報受け取り時（例えばＳＷ１のオン時点）より数秒前から情報受け取り時までの期間であるとする。

ステップＳ２０４では、ＣＰＵ１５は、手ブレの分離処理を実行する。ＣＰＵ１５は、入力画像における動きベクトルを、背景の動きを表す背景ベクトルと、被写体の動きを表す被写体ベクトルとに分離する。従って、ＣＰＵ１５は、入力画像における動きベクトルから、背景ベクトルを分離することで被写体ベクトルを取得することができる。この手ブレの分離処理については図３、図４で詳述するが、ここでは簡単に概説する。

動きベクトル情報は、撮影者の手ブレにより生じるものと画面内の被写体の動きによるものとが合成されたものであるので、それらを分離する必要がある。また、ジャイロ信号にはオフセットやドリフトといった信号の揺らぎがあり、フィルタ処理により比較的高周波の信号の信頼性は動きベクトルよりも高いが、比較的低周波の信号の信頼性は動きベクトルよりも低い。そこでＣＰＵ１５は、動きベクトルとジャイロ信号の両者を用いて、低周波から高周波までの領域で信頼性の高い信号を生成する。ＣＰＵ１５は、分離された手ブレベクトルとブレ検出部１３から得た検出処理済み信号（積分後のジャイロ信号）とを比較して、ジャイロ信号から揺らぎ成分を除去した手ブレ信号（手ブレ情報）を求める。これにより、被写体動きと分離された、揺らぎの少ない信頼性の高い手ブレ信号を生成することができる。なお、本実施の形態では、撮像装置１００の動きに起因するブレの主たる原因がユーザによる手持ち撮影時の手ブレであると推定し、ブレ情報として手ブレ情報を求める構成であるが、これに限定されるものではない。例えば、カメラ固定時やユーザが静止している状態であっても、外的な要因によって撮像装置１００自体が動くこともあり、上述したブレ情報としては手ブレに起因する情報に限定されるものではない。

ステップＳ２０５では、ＣＰＵ１５は、露光中（連写の場合は最初の撮影開始から最後の撮影終了までの間；以下同様）の手ブレを予測する。ＣＰＵ１５は、ステップＳ２０４で求められた撮影開始前の所定期間に生じた手ブレ信号の周波数解析を行うことで、露光中に生じる周波数ごとの手ブレ発生頻度とその量を予測する。手ブレの予測手法については図５で後述する。

ステップＳ２０６では、ＣＰＵ１５は、露光中の主被写体の動きを予測する。まずは、主被写体検出部２６は、検出された主被写体領域の動きベクトルを動きベクトル検出部２７から受け取る。ＣＰＵ１５は、この撮影開始前の所定期間の動きベクトル情報の周波数解析を行うことで、露光中に生じる主被写体動きの周波数ごとの発生頻度とその量を予測する。主被写体動きの予測手法については図６で後述する。

ステップＳ２０７では、ＣＰＵ１５は、ステップＳ２０５で予測された手ブレから、露光中の補正後の手ブレ量を求める。これは、ブレ補正レンズ３２およびブレ補正用のセンサ駆動系の応答特性と、ブレ補正量を決定する際のフィルタ処理系の周波数特性から決まる抑振性能と、予測された手ブレとから求められる。予測される周波数ごとの手ブレと周波数ごとの抑振性能とから周波数ごとの補正後の手ブレ量が求まるので、それを軸方向ごとに加算した後に二乗和の平方根を計算することで、補正後の手ブレ量が求められる。そしてＣＰＵ１５は、その補正に必要なブレ補正レンズ３２およびブレ補正用のセンサ駆動系のストロークを求める。

ステップＳ２０８では、ＣＰＵ１５は、ＡＦ処理およびＡＥ処理を実行する。そしてＣＰＵ１５は、それにより得られる被写体の距離情報や明るさの情報、更には主被写体検出部２６から受け取る主被写体の情報からシーン判定を行う。シーン判定では、ＣＰＵ１５は、次の第１、第２、第３のシーンのいずれに該当するかを判定する。

まず、第１のシーンには、主被写体が人物や犬猫などのペットや乗り物などであり、動きベクトルの値が一定値以上の場合や、ＡＦ情報から距離方向に被写体が動いている場合が該当する。また、撮影モードがスポーツモードやキッズ＆ペットモードに設定されている場合も第１のシーンに該当する。この場合、撮影前は被写体の動きが小さく何らかのきっかけで大きな動きが生じる可能性が高い。マクロ撮影（焦点距離とＡＦ情報から判定される）の場合も第１のシーンに該当する。第１のシーンでは超高速連写などに設定されるのが望ましい。本実施の形態では、第１のシーンでは原則として超高速連写モードが設定される。

第２のシーンには、主被写体が人物や犬猫などのペットや乗り物やなどあっても動きベクトルの値が一定値未満で距離が離れている場合や、主被写体が静物などその他の被写体で動きベクトルの値が一定値未満の場合が該当する。また、撮影モードが風景モードに設定されている場合も第２のシーンに該当する。この場合、撮影前は被写体の動きがあってもそれは主被写体ではない可能性が高い。第２のシーンでは、超高速連写の必要はなく、省エネルギなどの観点では低速の連写の方が好ましい場合もがある。本実施の形態では、第２のシーンでは原則として高速連写モードが設定される。

第３のシーンには、ＡＥ情報から求まる明るさが所定値より暗くかつ被写体に動きが無い夜景風景や、色温度情報やＡＥ情報により一部が極端に明るく全体的には所定値より暗く朝日夕日の撮影と判断できる場合が該当する。第３のシーンでは、露光期間が長くなるため、撮影間隔が長く補正系のセンタリングが可能な低速の連写が好ましい。これにより長い露光期間中のブレ補正も可能になる。本実施の形態では、第３のシーンでは原則として低速連写モードが設定される。

ステップＳ２０９では、ＣＰＵ１５は、被写体の動きの大きさに基づいて、最長の露光時間である限界露光時間ＴｖＬＭＴを、式１または式２により算出する。限界露光時間ＴｖＬＭＴは、長い側で設定可能な露光時間の限界値である。被写体動きが所定値以上の場合は、露光時間Ｔｖを被写体ブレが生じない時間にする。そのためＣＰＵ１５は、式１により露光時間ＴｖＬＭＴを算出する。露光時間ＴｖＬＭＴは例えば、式１を満たす最大値とされる。

露光時間ＴｖＬＭＴ≦１画素の一辺の長さ÷被写体動き速さ（μｍ／秒）…（式１）
ここで、被写体動き速さは、ステップＳ２０６で予測された露光中に生じる周波数ごとの主被写体動き量が最大となる周波数における値である。あるいは、代表的な複数の周波数において、その周波数ごとの被写体動き速さと発生頻度との積和を被写体動き速さとしてもよい。

また、被写体動きが所定値未満の場合は、ＣＰＵ１５は、補正後の手ブレ量を推定して、露光時間Ｔｖ、ＩＳＯ感度、絞り値Ａｖを制御する。そのためＣＰＵ１５は、式２により限界露光時間ＴｖＬＭＴを算出する。露光時間ＴｖＬＭＴは例えば、式２を満たす最大値とされる。

露光時間ＴｖＬＭＴ≦１画素の一辺の長さ÷補正後の手ブレ量（μｍ／秒）…（式２）
ここで、ステップＳ２０７で求めたブレ補正系のストロークに対して、実際の補正系のストロークが足りない場合は、ＣＰＵ１５は、次のように限界露光時間ＴｖＬＭＴを決定してもよい。すなわちＣＰＵ１５は、ステップＳ２０５で予測された手ブレ量が、実際の補正系のストロークの所定割合（例えば８割）となる露光時間と、上記式２での算出結果とを比較して、短い秒時の方を限界露光時間ＴｖＬＭＴと決定する。

ここで使用した補正後の手ブレ量は、ステップＳ２０７で求めた補正後の手ブレ量から求められたものである。ステップＳ２０７で求められた値は各々の周波数での手ブレ波形の振幅の和を表している。従って、この和に露光時間を掛けたものが、最も不利な条件下での露光中の補正後の手ブレ量（ただし、手ブレは周期波であるため、最大値はステップＳ２０７で求められた値）と、簡易的には捉えることができる。厳密には各周波数の手ブレ信号を加算合成した波形から露光開始・終了時刻を定めて計算する必要があるが、限界露光時間ＴｖＬＭＴを定めるには上記の簡易的な方法である。

ステップＳ２１０では、ＣＰＵ１５は、露出係数および合成枚数を算出し、さらに連写／単写の選択と連写の場合の連写モードの種類を選択する。これらの詳細については図６、図７で後述する。

ステップＳ２１１では、ＣＰＵ１５は、設定されている撮影モード（連写処理または単写処理も含む）に対応した露光処理を実行する。例えばＣＰＵ１５は、レリーズスイッチのＳＷ１がオン状態になったことを確認すると、ＡＦ処理結果に基づきフォーカスレンズ３３を合焦位置へ駆動するとともに、ステップＳ２１０での算出・設定の結果に基づき露光時間や絞り値などを制御する。その際、ＣＰＵ１５は、ブレ補正処理も行う。この処理には、公知の撮影におけるブレ補正処理などを適用すればよい。そして、ＳＷ２がオンになったならば、ＣＰＵ１５は、実際の露光処理を実行する。連写の場合は、合成枚数分の露光が行われる。

ステップＳ２１２では、ＣＰＵ１５は、連写の場合は、合成処理によるブレ補正を行い、図２に示す処理を終了する。なお、単写の場合は、ＣＰＵ１５は、合成処理を行うことなく図２に示す処理を終了する。

合成処理においては、ＣＰＵ１５は、Ａ／Ｄ変換部５より入力される複数の画像間の位置ずれを、動きベクトル検出部２７において検出し、画像変形切出し部２８において位置ずれを補正するよう画像を幾何変形する。この幾何変形では、画像をアフィン変換または射影変換することで、画像の並進や回転方向の位置ずれが補正される。幾何変形では、変形前と変形後の画像の各画素を対応付ける必要がある。画像をサブ画素単位で並進移動する場合や、回転移動する場合には、各画素が一対一で対応付かないため、周辺の複数の画素で補間した画素を用いて対応付けを行うことが一般的である。しかし、この画素補間を行うと、画像の解像度が損なわれ、画質劣化が生じる。画質劣化を防ぐにはサブ画素単位での並進移動や、回転移動を極力行わないことが望ましい。並進移動に関しては、整数画素単位での移動に制限することで、位置合わせ精度は低下するものの、画素補間による画質劣化が抑制されている。そして、幾何変形により位置合わせされた複数の画像を画像合成部２９が加算する。これによって画像合成によるブレ補正が実現される。

図３は、図２のステップＳ２０４で実行される手ブレの分離処理を示すフローチャートである。ここでは、クラスタリングによる手ブレベクトルの分離と、揺らぎのない信頼性の高い手ブレ信号の生成について説明する。

ステップＳ３０１は、ＣＰＵ１５は、主被写体があるか、すなわち、主被写体検出部２６で主被写体が検出されたか否かを判別する。ＣＰＵ１５は、主被写体がある場合はステップＳ３０２へ進み、主被写体がない場合はステップＳ３１１へ進む。

ステップＳ３０２では、ＣＰＵ１５は、主被写体検出部２６から得られた主被写体情報を用いて第１の分離処理を行う。この第１の分離処理では、ＣＰＵ１５は、被写体領域の外側に属する点で検出された動きベクトルを背景ベクトルと特定し、被写体領域の内側に属する点で検出された動きベクトルを被写体ベクトルと特定する。ＣＰＵ１５は、ステップＳ３０２の後、ステップＳ３０３へ進む。

ステップＳ３１１では、ＣＰＵ１５は、画像内で最も遠い被写体までの距離と最も至近の被写体までの距離とを求める。ステップＳ３１２では、ＣＰＵ１５は、これら２つの距離の差が所定値以上であるか否かを判別する。２つの距離の差が所定値未満の場合は、ＣＰＵ１５は、ステップＳ３１５で、全てを背景ベクトルとしてステップＳ３２１に進む。一方、２つの距離の差が所定値以上であれば、ＣＰＵ１５は、ステップＳ３１３で閾値を求める。この閾値は、例えば最も遠い被写体までの距離と最も至近の被写体までの距離との平均値とする。ステップＳ３１４では、ＣＰＵ１５は、上記閾値以上の遠い領域で検出された動きベクトルを背景ベクトルと特定し、上記閾値よりも近い領域で検出された動きベクトルを被写体ベクトルとして特定する第１の分離処理を行う。その後、ＣＰＵ１５は、ステップＳ３０３に進む。

ステップＳ３０３以降では、分離の精度を向上させるために、ＣＰＵ１５は、第２の分離処理として、公知のｋ－ｍｅａｎｓ法を用いた「動きベクトルの量に基づく分離」を行う。

まず、ステップＳ３０３では、ＣＰＵ１５は、分類するクラスタの数ｋと、各クラスタの重心の初期値Ｖｋを設定する。クラスタの数については、今回の場合は背景クラスタと被写体クラスタに分離するため、ｋ＝２とする。被写体が複数存在する場合には、被写体の数に応じてクラスタ数を変更してもよい。また背景にも被写体にも属さない動きベクトル群を分離するためのクラスタを設けてもよい。

各クラスタの重心の初期値については、第１の分離処理の結果が利用される。具体的には、ＣＰＵ１５は、第１の分離処理で得られた背景ベクトルについて、Ｘ方向の移動量とＹ方向の移動量とで、それぞれヒストグラムを生成し、各ヒストグラムの最頻値Ｖ１ｘ，Ｖ１ｙを求める。この最頻値は背景ベクトルの代表値であるので、ＣＰＵ１５は、これを背景クラスタの重心の初期値Ｖ１＝（Ｖ１ｘ，Ｖ１ｙ）とする。同様の方法で、ＣＰＵ１５は、第１の分離処理で得られた被写体ベクトルの代表値Ｖ２ｘ，Ｖ２ｙを求め、被写体クラスタの重心の初期値Ｖ２＝（Ｖ２ｘ，Ｖ２ｙ）とする。

ステップＳ３０４では、ＣＰＵ１５は、各動きベクトルデータと各クラスタの重心との距離を算出する。そしてステップＳ３０５では、ＣＰＵ１５は、各動きベクトルデータを、距離が最も近いクラスタに属するものとして、クラスタの割り当てをやり直す。

上記の処理において、全てのベクトルデータに対するクラスタの割り当てが変化しなかった場合、あるいは変化量が事前に設定した一定の閾値量を下回った場合は、ＣＰＵ１５は、処理が収束したと判定する。そしてＣＰＵ１５は、第２の分離処理を終了し、ステップＳ３０６からステップＳ３２１へ進む。このようにして得られた背景ベクトルが手ブレベクトルとなる。

一方、処理が収束したと判定できない場合は、ＣＰＵ１５は、ステップＳ３０７に進み、新しく割り当てられたクラスタから重心を再計算した後にステップＳ３０４へ戻る。従ってＣＰＵ１５は、各動きベクトルデータと各クラスタの重心との距離を算出して、クラスタの割り当てをやり直す処理を繰り返す。

ステップＳ３２１では、ＣＰＵ１５は、ステップＳ２０３で得たフィルタ処理後のジャイロ信号からフーリエ変換をするなどして、周波数ごとのジャイロ信号値を求める。ステップＳ３２２では、ＣＰＵ１５は、ステップＳ３０６までの処理で取得した信号からフーリエ変換をするなどして、周波数ごとの手ブレベクトル信号値を求める。

なお、周波数領域への変換で得られる手ブレベクトル信号値の帯域は概ね０～１５Ｈｚ程度になる。これは動きベクトル検出部２７に入力されるデジタル画像信号のサンプリングが３０ｆｐｓ程度であることに由来する。これに対して、ジャイロ信号値の帯域はおおむね０～１００Ｈｚとなる。ジャイロ信号のサンプリング周期はピッチ・ヨー・ロールの三軸で６００Ｈｚ程度であるので、一軸のサンプリング周期は上記の値になる。従って、ＣＰＵ１５は、手ブレベクトル信号値における１５Ｈｚを超える部分は便宜上＝０とする。

ステップＳ３２３では、ＣＰＵ１５は、周波数ごとのジャイロ信号値および手ブレベクトル信号値の両者を加重加算する際の加算係数を求める。ＣＰＵ１５は、それぞれの信頼性の高い周波数帯で値を大きくするように、図４に示すテーブルに従って加算係数求める。図４は、周波数と手ブレベクトル信号値の加算係数との関係を示すテーブルである。手ブレベクトル信号値の加算係数は、周波数が０Ｈｚ（ＤＣ）で１．０となり、ジャイロ信号値の信頼性が十分高くなる周波数以上では０となり、その間の周波数は直線で補間した値となる。ジャイロ信号値の加算係数は、１から手ブレベクトル信号値の加算係数を引いた値である。

ステップＳ３２４では、ＣＰＵ１５は、ステップＳ３２３で求めた加算係数を用いて、周波数ごとに、ジャイロ信号値と手ブレベクトル信号値とを加算する。ステップＳ３２５では、ＣＰＵ１５は、逆フーリエ変換することで手ブレ信号を生成し、図３に示す処理を終了する。このように、ＣＰＵ１５は、入力画像における動きベクトルから分離した背景ベクトルと、ブレ検出センサ１４からのジャイロ信号とに基づいて、手ブレ信号を取得することができる。

次に、ステップＳ２０５で実行される露光中の手ブレの予測、および、ステップＳ２０６で実行される露光中の主被写体の動きの予測について、図５を用いて説明する。

図５（ａ）、（ｃ）は、撮影開始前の所定期間に生じた手ブレ信号の周波数解析結果（例えばフーリエ変換結果）を示す図である。図５（ｂ）は、撮影開始前の所定期間に生じた動きベクトルの周波数解析結果を示す図である。これらの周波数解析は、ステップＳ３２１、Ｓ３２２で行われている。

手ブレの周波数分布に比べて、動きベクトルの周波数分布は一般に低周波側に存在する。図５（ａ）、（ｂ）ではその様子が示されている。また、図５（ｃ）においては、通常の手ブレ以外に、それより低周波側に大きな信号値が存在する。これはフレーミングのし直しや設定の確認のために撮像装置を動かしたことが原因となって生じたものである。このようなものは露光中には生じることがないため、この影響を除去する必要がある。

そこでＣＰＵ１５は、周波数解析の結果から得られる信号値の最大値Ｂｍａｘと、周波数解析の結果得られる各周波数の信号値の平均値Ｂａｖｅとを求める。そしてＣＰＵ１５は、露光中の手ブレの予測値として、Ｂｍａｘ＜Ｂａｖｅ×Ｃｓが成立すれば、Ｂｍａｘ×Ｒｓ以上である手ブレ信号値を持つ周波数を選択する。Ｃｓ、Ｒｓは定数である。一方、ＣＰＵ１５は、Ｂｍａｘ≧Ｂａｖｅ×Ｃｓが成立すれば、Ｂｓｔｄ（Ｂａｖｅ付近の最大値に相当）×Ｒｓ以上かつＢｓｔｄ未満である手ブレ信号値を持つ周波数を選択する。

このＢｓｔｄは、Ｂａｖｅ以上の値の平均値（Ｂｔｈ）を閾値としたとき、当該閾値以下で且つＢａｖｅ以上の値の平均値である。なお、この定数Ｃｓは正規分布関数の性質などを考慮して３～４程度の値にすればよい。また定数Ｒｓは０.５程度の値にすればよい。露光中の主被写体の動きの予測値も、同様にして求めることができる。

ここで信号値の一例を示す。手ブレ信号値の最大値Ｂｍａｘには、図５（ａ）では周波数Ｆｔ０における信号値Ｂｔ０が相当し、図５（ｃ）では周波数Ｆｅにおける信号値Ｂｅが相当する。図５（ａ）の場合は、最大値ＢｍａｘがＢｔ０、平均値ＢａｖｅはＢｔ０の５割ほどの値になるので、Ｂｍａｘ＜Ｂａｖｅ×Ｃｓが成立する。従って、Ｂｍａｘ×Ｒｓ以上である手ブレ信号値を持つ周波数が選択される。すなわち、図５（ａ）における周波数Ｆｔ０付近の周波数が選択される。

図５（ｃ）の場合は、最大値がＢｅ、平均値はＢｅの２割ほどの値になるので、Ｂｍａｘ≧Ｂａｖｅ×Ｃｓが成立する。従ってＣＰＵ１５は、Ｂａｖｅ付近の最大値から周波数帯を選択する処理を行う。

Ｂｓｔｄを求めるために、ＣＰＵ１５は、まず、Ｂａｖｅ以上の値の平均値Ｂｔｈを求めこれを閾値とする。そしてＣＰＵ１５は、この閾値以下かつＢａｖｅ以上の信号値の平均を求め、これをＢｓｔｄとする。その後、ＣＰＵ１５は、Ｂｓｔｄ×Ｒｓ以上かつＢｓｔｄ未満である手ブレ信号値を持つ周波数を選択する。ここでは図５（ｃ）の信号値Ｂｔ１付近に対応する周波数が選択されることになる。

主被写体の動き信号値の最大値には、図５（ｂ）では周波数Ｆｕにおける信号値Ｂｕが相当する。この場合、最大値ＢｍａｘがＢｕ、平均値はＢｕの５割ほどの値になるので、Ｂｍａｘ＜Ｂａｖｅ×Ｃｓが成立する。従って、ＣＰＵ１５は、Ｂｍａｘ×Ｒｓ以上である手ブレ信号値を持つ周波数を選択する。ここでは、図５（ｂ）の周波数Ｆｕ付近の周波数が選択されることになる。

このようにして、選択された周波数で主被写体が動くことが予測される。この予測結果は、手ぶれと被写体ブレとを加味したものとなる。なお、図５での説明では、演算の簡略化のため、周波数の値を限定したが、変換された周波数すべてを対象にしてもよい。

次に、ステップＳ２１０で実行される露出係数および合成枚数の算出と単写・連写モードの選択について、図６、図７で説明する。

図６は、ステップＳ２１０で実行される、露出係数および合成枚数の算出と単写・連写モードの選択処理を示すフローチャートである。図７は、図６に示す処理で用いられるプログラム線図の例を示す図である。

ステップＳ６０１では、ＣＰＵ１５は、ステップＳ２０８で実行されたＡＥ処理、ＡＦ処理の結果を取得する。ステップＳ６０２では、ＣＰＵ１５は、図７に示すプログラム線図に従って３つの露出係数を設定する。このプログラム線図には、ステップＳ２０９で既に設定された限界露光時間ＴｖＬＭＴが反映されている。

図７において、実線は被写体動きが大きい（第１の所定値より大きい）場合、破線は被写体動きが中間（第１の所定値未満で第２の所定値以上）の場合、一点鎖線は被写体の動きが無い（第２の所定値未満の）場合に用いるプログラム線図である。ここで、被写体動きが大きい場合は、走る人物や乗り物や速い動きがある被写体と判断された場合である。被写体動きが中間の場合は、歩く人やペットなどゆっくりと動いている被写体と判断された場合である。被写体動きが無い場合は、静止している人物や静物であると判断された場合である。

図７のプログラム線図では、被写体の動きが第１の動きである場合（例えば、第２の所定値未満の場合）に比べて、第１の動きより大きい第２の動きである場合（例えば、第１の所定値より大きい場合）に、露光時間Ｔｖが短くなっている。

ステップＳ６０２において被写体の動きがあると判定した場合は、ＣＰＵ１５は、ステップＳ６０２からステップＳ６０３へ進む。一方、被写体の動きがないと判定した場合は、ＣＰＵ１５は、シフトブレの影響を評価する。

すなわちＣＰＵ１５は、ＡＦ処理結果から撮影距離（被写体距離）を検出し、その距離と撮影レンズの焦点距離とから、シフトブレがどの程度生じるか、およびシフトブレ補正能力がどの程度かを推定する。そしてＣＰＵ１５は、推定結果に応じて限界露光時間ＴｖＬＭＴを短秒時側に変更する。すなわち、ＣＰＵ１５は、露光中における補正後のブレ量を推定し、推定したブレ量に基づいて限界露光時間ＴｖＬＭＴを再計算する。

各撮影距離でのシフトブレ補正性能に関しては、ステップＳ２０７で求めた手ブレ補正に必要なブレ補正用のセンサ駆動系のストロークと周波数特性とから推定される。シフトブレに関してはセンサ駆動系によって補正される。従って、必要とされるストロークに対して実際のセンサ駆動系のストローク余裕がどの程度まだあるか、および低周波（例えば０．５Ｈｚ以下）のセンサ駆動系の応答特性やフィルタ処理系の周波数特性によって、シフトブレ補正性能が決まる。

低周波の応答特性は大きな遅れなどは無く、シフトブレは低周波のものが多いので、センサ駆動系のストローク余裕が十分であれば、相当量の補正がなされると予想される。よって、センサ駆動系のストロークの不足分が、補正されないシフトブレの大部分になる。具体的には、補正されないシフトブレは式３によって算出される。ここで、Ｒｓｂは０.１程度の定数である。

補正されないシフトブレ＝ストローク不足分＋Ｒｓｂ×ストローク余裕…（式３）
次いで、ＣＰＵ１５は、露光中の補正後の手ブレ量と補正されないシフトブレとを用いて、限界露光時間ＴｖＬＭＴを再計算する。その結果、露光時間Ｔｖが変更されていた場合は、ＣＰＵ１５は、光軸方向のずれ量（光軸方向ブレ量）に応じて、絞り値Ａｖを決める。すなわちＣＰＵ１５は、ステップＳ２０８で実行されたＡＦ処理結果から、光軸方向にどれだけ撮像装置１００が動いているかを検出し、その最遠と最至近が被写界深度内に入るように絞り値Ａｖを決める。その際、測定誤差も考慮して、極端な値（例えば、標準偏差と平均を求め、その範囲外になるもの）は含まないようにしてもよい。

初めに設定された絞り値Ａｖから変化した場合は、ＣＰＵ１５は、その分をＩＳＯ感度で調整する。例えば、絞り値Ａｖを一段分絞ったのであれば、ＣＰＵ１５は、一段分、ＩＳＯ感度を上げて調整する。シフトブレの影響を考慮して露光時間Ｔｖが変更された場合は、ＣＰＵ１５は、絞り値Ａｖの変更に加えて、露光時間Ｔｖの変更も含めた分をＩＳＯ感度で調整する。ただし、上記全ての場合において、ＩＳＯ感度には初期値の感度上限が設定されており、それを超えた場合、ＩＳＯ感度は感度上限にクリップされる。

その後、ステップＳ６０３では、ＣＰＵ１５は、設定された露出係数で適正な露出量が得られるか否かを判別する。ＣＰＵ１５は、適正な露出量が得られると判別した場合はステップＳ６２１に進み、適正露出が得られないと判別した場合はステップＳ６０４に進む。

ステップＳ６２１では、撮影者が連写モードの設定を行っていない場合は、ＣＰＵ１５は、露出係数を確定し、それとともに単写モードを設定する。従って、この場合、画像合成をしないと決定される。一方、ＣＰＵ１５は、撮影者が連写モードの設定を行っている場合はそれに従って連写モード（の種類）を設定する。従って、この場合、画像合成をすると決定される。ステップＳ６２１の後、ＣＰＵ１５は図６に示す処理を終了する。

ステップＳ６０４では、ＣＰＵ１５は、連写モードの設定を行う。ＣＰＵ１５は、撮影者によって意図的に連写モード設定（超高速、高速、低速）を行っている場合は、その連写モード（の種類）を設定したままでステップＳ６０５へ進む。

一方、意図的な連写モードの設定がない場合は、ＣＰＵ１５は、ステップＳ２０８でのシーン判定に従って連写モードを設定する。これにより、被写体の動きに適した種類の連写モードを設定することができる。なお、その際、電池残量または、補正ストロークの余裕見込みも加味して連写モードを設定してもよい。例えばＣＰＵ１５は、電池残量が所定残量より少ない場合も、省エネルギである低速連写モードを設定し、補正ストロークの余裕見込みが少ない場合は、連写撮影間隔が長く補正系のセンタリングが可能な低速連写モードを設定する。なお、補正ストロークの余裕見込みは、ステップＳ２０５で予測された露光中の手ブレ量と、その時点での手ブレ補正レンズとブレ補正用のセンサ駆動系の位置（センタからの乖離量）とから求めることができる。

連写モードが設定された後、ステップＳ６０５以降では、第１の連写モードの場合に比べて、第２の連写モードの場合に、露光時間を長くすること、合成枚数を少なくすること、またはＩＳＯ感度を低くすること、のうち少なくとも１つが実施される。ここで、第２の連写モードは第１の連写モードより低速の連写モードである。例えば、超高速連写モードが第１の連写モードの場合、高速連写モードまたは低速連写モードが第２の連写モードに該当する。高速連写モードが第１の連写モードの場合、低速連写モードが第２の連写モードに該当する。言い換えると、比較的低速の連写モードが設定された場合は、比較的少ない合成枚数、比較的長い露光時間、比較的低いＩＳＯ感度に設定される。比較的高速の連写が設定された場合は、比較的多い合成枚数、比較的短い露光時間、比較的高いＩＳＯ感度に設定される。この点で、ＣＰＵ１５は本発明における制御手段としての役割を果たす。

まず、ステップＳ６０５では、ＣＰＵ１５は、合成枚数の設定と、それに伴う露光時間Ｔｖの再設定を行う。すなわち、ＣＰＵ１５は、ステップＳ６０２で設定された露出係数での不足分を補うために、まず合成枚数を調整する。合成枚数は、２のＮｃ乗（Ｎｃは正の実数）で正の整数になるようにし、露出量が適正またはオーバーになるように合成枚数が設定される。このＮｃの上限が、連写モードによって異なっている。

合成枚数には限界がある。これは、合成枚数が多いほど、１枚の画像の露出量は減るので画像合成の際のＳＮ比は低下すると共に、合成枚数が多いほど、ベクトル位置合わせの精度は低下するからである。また、露出量が減ることで位置合わせを行う際の画像のずれ量の検出精度が低下するとともに、位置合わせの回数が多くなることで微小の誤差が積みあがるだけでなく、位置合わせ量の検出誤りが生じる確率が高まるからである。そこで、上記のことを考慮して上限合成枚数が設定される。上限合成枚数として、第１、第２、第３の上限合成枚数を考える。

低速、高速、超高速連写モードにそれぞれ、第１、第２、第３の上限合成枚数が対応している。Ｎｃの大小関係は、第１の上限合成枚数＜第２の上限合成枚数＜第３の上限合成枚数となる関係である。第１の上限合成枚数のＮｃは、第３の上限合成枚数のＮｃから３～４段程度減らした値である。第２の上限合成枚数のＮｃは、第３の上限合成枚数のＮｃから２～３段程度減らした値である。ＣＰＵ１５は、設定した合成枚数によって露出量が適正より多くなった場合は、露光時間Ｔｖを短秒にすることによって露出量を調整する。

ステップＳ６０６では、ＣＰＵ１５は、ステップＳ６０５を経て設定された合成枚数および露出係数にて適正な露出量が得られるか否かを判別する。ＣＰＵ１５は、適正な露出量が得られると判定した場合は、露出係数と連写モードの設定を確定し、図６に示す処理を終了する。しかし、適正露出が得られないと判定した場合、ＣＰＵ１５はステップＳ６０７に進む。

ステップＳ６０７では、上述したＩＳＯ感度の初期値の感度上限より大きい感度上限を設定する。この場合の感度上限の値は、連写モードの種類や露光中の主被写体の動きの予測値に応じて決定される。そしてＣＰＵ１５は、感度上限の範囲内でＩＳＯ感度を調整する（上げる）。低速の連写モードの場合の方が、高速の連写モードに比べて、感度上限は低くなる。

ステップＳ６０８では、ＣＰＵ１５は、ステップＳ６０７でのＩＳＯ感度の調整の結果、適正な露出量が得られるか否かを判別する。ＣＰＵ１５は、適正な露出量が得られると判定した場合は、露出係数と連写モードの設定を確定し、図６に示す処理を終了する。しかし、適正露出が得られないと判定した場合、ＣＰＵ１５はステップＳ６０９に進む。

ステップＳ６０９では、ＣＰＵ１５は、主被写体の動きが大きいか、すなわち露光中の主被写体の動きの予測値が所定値以上であるか否かを判別する。そしてＣＰＵ１５は、露光中の主被写体の動きの予測値が所定値以上である場合はステップＳ６１０に進み、そうでない場合はステップＳ６１１に進む。

ステップＳ６１０では、ＣＰＵ１５は、ＩＳＯ感度および合成枚数を再調整することで適正露出量を得るようにする。例えばＣＰＵ１５は、ＩＳＯ感度を２分の１段までの範囲で上げて適正露出量にする。それでも露出量が不足するならば、ＣＰＵ１５は、合成枚数を１．４倍までの範囲で（ただし少数低下は切り下げた整数値で）増やして適正露出量にする。さらに露出量が不足する場合は、ＣＰＵ１５は、適正露出量になるまでこれらの操作を繰り返す。

ステップＳ６１１では、露光時間ＴｖとＩＳＯ感度と合成枚数とを再調整することで適正露出量を得るようにする。例えばＣＰＵ１５は、露光時間Ｔｖを３分の１段までの範囲で長秒にして適正露出量にする。それでも露出量が不足するならば、ＣＰＵ１５は、ＩＳＯ感度を３分の１段までの範囲で上げて適正露出量にする。さらに露出量が不足するならば、ＣＰＵ１５は、合成枚数を１．３倍までの範囲（ただし少数低下は切り下げた整数値で）で増やして適正露出量にする。さらに露出量が不足する場合は、ＣＰＵ１５は、適正露出量になるまでこれらの操作を繰り返す。

なお、露光時間Ｔｖ、ＩＳＯ感度、合成枚数にはハードウェア構成上の制約がある。従って、ステップＳ６１０、Ｓ６１１では、ＣＰＵ１５は、それらの制約の値に達した場合でも露出量不足の場合はその値でクリップする。このようにして適正な露出量が得られたならば、ＣＰＵ１５は、露出係数と連写モードの設定を確定し、図６に示す処理を終了する。

本実施の形態によれば、連写モードの種類（超高速、高速、低速）、被写体ベクトル（被写体の動き）および手ブレ信号（手ブレ情報）に基づいて、露出条件が制御されると共に、画像合成をする場合においては合成枚数が決定される。これにより、連写モードおよびブレの状態に応じた高品質な画像を得ることができる。例えば、ブレによる画像解像度の低下や、高感度撮影におけるノイズ増加や彩度の低下を抑制することができる。

また、連写モードが設定された場合において、より低速の連写モードの場合に、露光時間を長くすること、合成枚数を少なくすること、またはＩＳＯ感度を低くすること、のうち少なくとも１つが行われる。これにより、連写速度に適した露出条件および合成枚数の設定により高品質な画像を得ることができる。

また、被写体の動きがより大きい場合に、露光時間Ｔｖが短く設定される。また、被写体の動きの大きさに基づいて限界露光時間ＴｖＬＭＴが設定される。これにより、ブレによる解像度低下を抑制した画像を得ることができる。

また、動きベクトルから分離された背景ベクトルと検出されたジャイロ信号とから、撮像装置１００のブレに関する手ブレ信号が取得されるので、撮像装置１００のブレを正確に把握することができる。

なお、本実施の形態では、合成される各画像は露光不足で、合成用画像を全て加算したときに適正露出になる例を説明した。しかし、感度を上げて、各画像を適正露出にして合成用画像を全て平均してもよいし、加算と平均を併用してもよい。

また、露光開始前はブレ補正を行わない例を示したが、常にブレ補正を行ってもよい。この場合、ベクトル情報はブレ補正されたものになるので、実際の動きを求めるためには、検出されたベクトルからブレ補正量を引いた値を求める必要がある。

なお、ステップＳ６０５で、連写モードを低速のものに変更し、露光時間Ｔｖを長時間に変更してもよい。

なお、本発明は、撮像装置本体１に適用してもよいし、レンズ一体形の撮像装置に適用してもよい。また、撮像装置本体１のような、交換レンズを有しない撮像装置本体を撮像装置と呼称してもよい。

（第２の実施の形態）
図８は、本発明の第２の実施の形態に係る撮像装置のブロック図である。本実施の形態では、撮像装置１０１は、情報通信端末、例えばスマートフォンとして構成される。図８において、第１の実施の形態と同じ要素には同じ符号を付して説明を省略する。

撮像装置１０１において、タッチパネル１０８は、画像表示入力装置である。タッチパネル１０８は、液晶表示装置（ＬＣＤ）等による画像を表示する機能とタッチパネルによる入力機能とを有する。ＡＦ処理部１０１２は、Ａ／Ｄ変換部５からの出力を受けて自動焦点調節（ＡＦ）処理を行うためのＡＦ評価値を生成する。ＬＥＤ１０２２は、ＡＦ時の照明や懐中電灯機能を兼ねると共に、着信通知などを行う表示素子である。

フォーカスレンズ移動モータ１０２５は、フォーカスレンズ１０３３を光軸方向に駆動する。フォーカスレンズ移動制御部１０２４は、フォーカスレンズ移動モータ１０２５を制御する。ユーザによるタッチパネル１０８の操作によって、単写・連写モードの選択に加えて、連写モードが選択された場合は、第１の実施の形態と同様の、連写速度の異なる複数種類の連写モードが選択可能となっている。

ＣＰＵ１５は、フォーカスレンズ移動制御部１０２４、フォーカスレンズ移動モータ１０２５を介してフォーカスレンズ１０３３を移動制御しながら、ＡＦ処理部１０１２に指示してＡＦ評価値を生成させる。そしてＣＰＵ１５は、このＡＦ評価値をフォーカスレンズ１０３３の位置と関連付けて記録しておくことで、ＡＦ評価値がピークとなるフォーカスレンズ１０３３の位置を計算する。さらにＣＰＵ１５は、計算した位置に光学系の諸特性を考慮した補正値演算を行うことで合焦位置（フォーカスレンズ３３の移動位置）を求める。そしてＣＰＵ１５は、この合焦位置にフォーカスレンズ１０３３を制御することで合焦状態を得るＡＦ制御が可能になる。

図９は、露出制御処理を示すフローチャートである。この処理は、ＣＰＵ１５が、ＥＥＰＲＯＭ１９に格納されたプログラムをＣＰＵ１５が備える不図示のＲＡＭに展開して実行することにより実現される。この処理は、単写または連写の撮影モードが設定されると開始される。この処理は、第１の実施の形態における図２に示す処理に相当する。

ステップＳ９０１では、ＣＰＵ１５は、本処理で用いる変数の初期化や駆動部材を初期位置へ移動する等の処理を行うと共に、設定された撮影モード（例えば、シャッタ速度優先、絞り優先、スポーツモード、風景モード等）を確認する。

ステップＳ９０２、Ｓ９０３では、ＣＰＵ１５は、図２のステップＳ２０３、Ｓ２０４と同様の処理を実行する。従って、ステップＳ９０２で得られたフィルタ処理後のジャイロ信号が手ブレ信号となる。ただし、スマートフォンにおいては、装置自体が軽くグリップのような装置を支える部材がないため、低周波の大きな手ブレが発生しやすい。そのため低周波の大きな手ブレに関しては、短い露光時間で撮影した画像を合成することで除去される。１枚１枚の画像に含まれる高周波の細かいブレが、ブレ検出センサ１４を水平垂直回転方向に移動させることで除去される。そのため、ブレ検出部１３がハイパスフィルタ処理を行い、高周波のブレ成分のみを抽出している。

ステップＳ９０４では、ＣＰＵ１５は、ステップＳ２０５と同様に、ステップＳ９０３で求められた撮影開始前の所定期間に生じた手ブレ信号の周波数解析を行うことで、露光中に生じる周波数ごとの手ブレ発生頻度とその量を予測する。ステップＳ９０５では、ＣＰＵ１５は、ステップＳ２０６と同様に、露光中の主被写体の動きを予測する。

ステップＳ９０６では、ＣＰＵ１５は、連写モード（およびその種類）を設定する。スマートフォンにおいては連写モードの種類の意図的な設定がなされることはないと想定される。従ってＣＰＵ１５は、スマートフォンに搭載されているシーン判定機能によるシーン判定結果と、電池残量および補正ストロークの余裕見込みとから、連写モードを設定する。この処理は、ステップＳ６０４での、意図的な連写モードの設定がない場合の処理と同様である。

例えばＣＰＵ１５は、電池残量が所定残量より少ない場合は低速連写モードを設定し、補正ストロークの余裕見込みが少ない場合も低速連写モードを設定する。この他の場合は、シーン判定結果に基づいて連写モードを設定する。なお、補正ストロークの余裕見込みは、ステップＳ９０４で予測された露光中の手ブレ量と、その時点でのブレ補正用のセンサ駆動系の位置（センタからの乖離量）とから求めることができる。例えば、乖離量が補正の総ストロークの３０％以上の場合は、補正ストロークの余裕見込みが少ないと判断される。

シーン判定結果による連写モードの設定は、動きベクトル情報やＡＦ情報から得られる主被写体の動きの速さ、ＡＦ情報から得られる撮影距離、ＡＥ情報から得られる明るさなどを基に行われる。その概略は第１の実施の形態と同じである。なお撮像装置１０１がスマートフォンであるので、季節時刻や位置情報からサーバで撮影ポイントを推定するなどの処理を行い、その結果から好ましい連写モードを設定してもよい。

ステップＳ９０７では、ＣＰＵ１５は、図１０または図１１に示すプログラム線図に従って３つの露出係数を設定する。

図１０、図１１は、露出係数の設定で用いられるプログラム線図の例を示す図である。図１０のプログラム線図は、低速連写モードが設定された場合に適用される。図１１のプログラム線図は、高速連写モードが設定された場合に適用される。なお、このほか、超高速連写モードが設定された場合に適用されるプログラム線図も設けてもよい。あるいは、超高速連写モードが設定された場合は図１１のプログラム線図が適用されてもよい。

図１０、図１１において、実線は被写体動きが大きい（第１の所定値より大きい）場合、破線は被写体動きが中間（第１の所定値未満で第２の所定値以上）の場合、一点鎖線は被写体の動きが無い（第２の所定値未満の）場合に対応する。これらのプログラム線図によると、比較的低速の連写モードが設定された場合は、比較的少ない合成枚数、比較的長い露光時間、比較的低いＩＳＯ感度に設定される。また、比較的高速の連写が設定された場合は、比較的多い合成枚数、比較的短い露光時間、比較的高いＩＳＯ感度に設定される。ただしこれらの線図はあくまで一例であり、この他の線図を採用してもよい。

ＣＰＵ１５は、ステップＳ９０７においては、露出係数を設定したことで適正な露出量が得られない場合は、露光時間、合成枚数またはＩＳＯ感度を再設定する処理を、適正露出量が得られるまで繰り返す。

例えば、ＣＰＵ１５は、明るさに応じて、適正露出を得るために露光時間を長くしていき、所定の露光時間に達したなら、ＩＳＯ感度を段階的（例えば２段）上げていく。次いで、ＣＰＵ１５は、合成枚数を増加（例えば４枚まで）させ、それでも適正露出が得られなければ、再度、ＩＳＯ感度を例えば１．５段上げる。

それでも露出不足が生じているならば、ＣＰＵ１５は、被写体の動きが無い（第２の所定値未満の）場合は、それ以上の制御はせずに露出係数を確定する。被写体動きが中間（第１の所定値未満で第２の所定値以上）の場合は、ＣＰＵ１５は、露光時間を長くする（例えば２分の１秒まで）とともにＩＳＯ感度を１段程度下げる。さらにＣＰＵ１５は、ＩＳＯ感度を再度１段程度上げて適正露出に調整する。この時点でも露出不足が生じているならば、ＣＰＵ１５は、それ以上の制御はせずに露出係数を確定する。

被写体動きが大きい（第１の所定値より大きい）場合は、ＣＰＵ１５は、合成枚数を増加（例えば１６枚まで）させ、その後、露光時間を長くする（例えば２分の１秒まで）とともにＩＳＯ感度を１段程度下げる。さらにＣＰＵ１５は、ＩＳＯ感度を再度１段程度上げて適正露出に調整する。この時点でも露出不足が生じているならば、ＣＰＵ１５は、それ以上の制御はせずに露出係数を確定する。

ステップＳ９０８、Ｓ９０９では、ＣＰＵ１５は、ステップＳ２１１、Ｓ２１２と同様の処理を実行する。

本実施の形態によれば、連写モードの種類に応じて、用いるプログラム線図が切り替わる。連写モードの種類の応じたプログラム線図が適用されることで、より低速の連写モードの場合に、露光時間を長くすること、合成枚数を少なくすること、またはＩＳＯ感度を低くすること、の少なくとも１つが行われる。よって、連写モードおよびブレの状態に応じた高品質な画像を得ることに関し、第１の実施の形態と同様の効果を奏することができる。

また、ユーザが連写モードの種類を意図的に設定しない、あるいは設定できない構成であっても、適切な露出係数および合成枚数が設定されるので、ユーザビリティが高い。

なお、第１の実施の形態を、第２の実施の形態で例示したような情報通信端末に適用してもよい。

なお、第１の実施の形態においても、プログラム線図として、図１０、図１１に示すような連写モードの種類の応じたものを適用してもよい。

なお、第１、第２の実施の形態において、ジャイロ信号の処理について、一部を除き一軸のみで説明した。しかし、実際には複数の軸で手ブレや被写体動きが存在するので、他の軸に関しても同じ処理を適用することが可能である。

なお、第１、第２の実施の形態において、撮影画像を得るためのセンサの信号を用いて撮影環境の明るさを測定したが、これとは別個に設けられた専用の測光センサを用いてもよい。

なお、第１、第２の実施の形態において、設定可能な連写モードの種類は４つ以上であってもよい。

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。

（その他の実施例）
本発明は、上記した実施形態の１以上の機能を実現するプログラムをネットワークや非一過性の記憶媒体を介してシステムや装置に供給し、そのシステム又は装置のコンピュータの１以上のプロセッサがプログラムを読み出して実行する処理でも実現可能である。以上のプログラムおよび以上のプログラムを記憶する記憶媒体は、本発明を構成する。また、本発明は、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１ 撮像装置本体
１３ ブレ検出部
１５ ＣＰＵ
１８ 操作スイッチ
２６ 主被写体検出部
２９ 画像合成部

Claims (17)

1. 撮像装置であって、
   連写速度の異なる複数種類の連写モードを設定する設定手段と、
   入力画像から被写体の動きを取得する第１の取得手段と、
   前記撮像装置のブレに関するブレ情報を取得する第２の取得手段と、
   前記連写モードの種類、前記被写体の動きおよび前記ブレ情報に基づいて、撮影の際の露出条件を制御すると共に、画像合成をする場合においては合成枚数を決定する制御手段と、を有することを特徴とする撮像装置。
2. 前記制御手段は、前記連写モードが設定された場合において、第１の連写モードの場合に比べて、前記第１の連写モードより低速の第２の連写モードの場合に、露光時間を長くすること、合成枚数を少なくすること、またはＩＳＯ感度を低くすること、のうち少なくとも１つを行うことを特徴とする請求項１に記載の撮像装置。
3. 前記制御手段は、前記被写体の動きが第１の動きである場合に比べて、前記第１の動きより大きい第２の動きである場合に、露光時間を短くすることを特徴とする請求項１に記載の撮像装置。
4. 前記制御手段は、前記被写体の動きの大きさに基づいて、長い側で設定可能な前記露光時間の限界値を決定することを特徴とする請求項３に記載の撮像装置。
5. 前記制御手段は、被写体距離に基づいて、露光中における補正後のブレ量を推定し、推定したブレ量に基づいて、長い側で設定可能な前記露光時間の限界値を決定することを特徴とする請求項３に記載の撮像装置。
6. 前記第１の取得手段は、前記入力画像における動きベクトルから、背景の動きを表すベクトルと被写体の動きを表すベクトルとを分離することで、前記被写体の動きを取得することを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
7. 前記第２の取得手段は、前記入力画像における動きベクトルから分離した、前記背景の動きを表すベクトルと、前記撮像装置のブレを検出するセンサの検出信号とに基づいて、前記ブレ情報を取得することを特徴とする請求項６に記載の撮像装置。
8. 前記第１の取得手段および前記第２の取得手段は、撮影開始前の所定期間における前記被写体の動きおよび前記ブレ情報をそれぞれ取得することを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
9. 前記制御手段は、前記連写モードが設定された場合は、画像合成をすると決定することを特徴とする請求項１乃至８のいずれか１項に記載の撮像装置。
10. 前記制御手段は、単写モードが設定された場合は、画像合成をしないと決定することを特徴とする請求項１乃至９のいずれか１項に記載の撮像装置。
11. 前記設定手段は、ユーザ操作に基づいて前記連写モードの種類を設定することを特徴とする請求項１乃至１０のいずれか１項に記載の撮像装置。
12. 前記設定手段は、ユーザ操作により前記連写モードの種類が設定されていない場合において、少なくとも前記被写体の動きに基づいてシーンを判定し、判定したシーンに応じて前記連写モードの種類を設定することを特徴とする請求項１乃至１１のいずれか１項に記載の撮像装置。
13. 前記設定手段は、電池残量または、ブレ補正用のセンサ駆動系のストロークもさらに加味して前記連写モードの種類を設定することを特徴とする請求項１２に記載の撮像装置。
14. 前記連写モードにおいて、撮像された前記合成枚数の画像を合成する合成手段を有することを特徴とする請求項１乃至１３のいずれか１項に記載の撮像装置。
15. 前記制御手段は、前記連写モードが設定された場合において、前記第１の連写モードの場合と前記第２の連写モードの場合とで、用いるプログラム線図を切り替えることを特徴とする請求項２に記載の撮像装置。
16. 撮像装置の制御方法であって、
    連写速度の異なる複数種類の連写モードを設定する設定ステップと、
    入力画像から被写体の動きを取得する第１の取得ステップと、
    前記撮像装置のブレに関するブレ情報を取得する第２の取得ステップと、
    前記連写モードの種類、前記被写体の動きおよび前記ブレ情報に基づいて、撮影の際の露出条件を制御すると共に、画像合成をする場合においては合成枚数を決定する制御ステップと、を有することを特徴とする撮像装置の制御方法。
17. 請求項１６に記載の撮像装置の制御方法をコンピュータに実行させることを特徴とするプログラム。

Images