JP5480798B2 - 撮像装置 - Google Patents

Description

ここに開示される技術は、カメラシステム、特に振れ補正装置を備えたデジタルカメラに関する。

撮影時に撮像装置が振れると、光学系により形成される光学像が撮像素子に対して変位し、取得された画像がぼやけるおそれがある。そこで、撮像装置の振れが画像に与える影響を低減するために、振れ補正装置が用いられている。

例えば、振れ補正装置は、補正レンズを駆動する補正ユニットと、筐体の振れ量を検出する角速度センサと、角速度センサの出力に応じて補正ユニットの動作を制御する補正制御部と、を有している。この振れ補正装置が搭載された撮像装置では、角速度センサにより検出された振れ量に基づいて、撮像素子に対する光学像の変位が抑制されるように、補正レンズが補正ユニットにより駆動される。

しかしながら、振れ量が大きいと、補正レンズを移動可能な範囲の限界まで駆動しても、光学像の変位を十分に相殺できない場合がある。そこで、特許文献１の撮像装置では、振れ量の増大を抑制するため、撮影での露光時間が短く設定されている。また、この撮像装置では、露光を開始する前にセンタリングが実行され、補正レンズは初期位置に復帰する。さらに、特許文献１の撮像装置では、短い露光時間で撮影された複数の画像を重ね合わせることにより、撮像装置の振れの影響が抑制された合成画像が生成される。

また、特許文献２では、振れ補正装置により撮像装置の振れの影響が十分に低減されない場合の対策の一つが示されている。ここでは、合焦の対象をサーチする動作の途中で撮像装置の振れが検出された場合に、サーチ動作を中止する技術が開示されている。

一方で、特許文献３では、撮像で取得した画像から着目する物体を検出する技術が開示されている。この技術では、撮像装置の振れが画像に及ぼす影響を低減することにより、物体が移動している場合であっても、物体の位置が比較的精度良く予測される。

さらに、特許文献４では、振れ量と補正レンズの移動量とを比較することにより、振れ補正における誤差を算出する技術が開示されている。この技術では、撮像された画像を表す画像信号が切り出される位置は、振れ補正における誤差に応じて調節される。

特開２００５−１７６０５０号公報 特開２００８−１０７６６５号公報 特開２００４−２８２５３５号公報 特開２００７−２４３５７９号公報

しかしながら、センタリングが実行された場合であっても、センタリングが終了した時点での撮像装置の振れ量に応じて、画像上での被写体の位置がずれる。このため、特許文献１の場合のように合成画像を生成するためには、画像上での被写体の位置の変化を効率的に検出する必要がある。

同様に、振れ補正装置により撮像装置の振れの影響が十分に低減されない場合に、例えばオートフォーカス動作により被写体への合焦状態を維持するためには、画像上での被写体の位置の変化を効率的に検出する必要がある。

また、移動物体を画像から精度良く検出するためには、振れ補正装置により補償されなかった振れ量の影響を考慮して検出を行なう必要がある。

一方で、露光時間内における撮像装置の振れの影響が振れ補正装置により十分に低減されない場合は、撮像装置の振れが画像に影響を与える。

このように、振れ補正装置により撮像装置の振れの影響が十分に低減されない場合であっても、撮像された画像に対する処理精度を確保できる撮像装置が求められている。

上記の課題を解決するため、第１の特徴に係る撮像装置は、光学系と、撮像部と、振れ量検出部と、可動部と、駆動部と、移動量検出部と、選択部と、を備えている。光学系は、被写体の光学像を形成する。撮像部は、光学像から画像信号を取得する。振れ量検出部は、自装置の振れ量を検出する。可動部は、光学系の一部および撮像部の一部のうち少なくとも一方を含んでいる。駆動部は、検出された振れ量に基づいて可動部を移動させる。移動量検出部は、可動部の移動量を検出する。選択部は、検出された振れ量と検出された移動量とに基づいて、特徴量を画像信号に基づいて検出するための領域である第１画像領域を選択する。

第１の特徴に係る撮像装置では、第１画像領域から特徴量を検出することにより、特徴量の検出の際に撮像装置の振れの影響を抑制することができる。ここで、自装置とは撮像装置全体を意味している。

第２の特徴に係る撮像装置は、第１の特徴に係る撮像装置であって、選択部は、画像信号に基づいて取得された撮影画像の領域よりも小さい第１画像領域を選択する。ここで、撮影画像とは、撮像装置の出力画像としての画像を意味しており、例えば、表示部に表示される画像である。

第３の特徴に係る撮像装置は、第１または第２の特徴に係る撮像装置であって、選択部は検出された振れ量と検出された移動量とに基づいて、第１画像領域の２次元画像上での位置を決定する。

第４の特徴に係る撮像装置は、第１から第３のいずれかの特徴に係る撮像装置であって、特徴量が所定の条件を満たす特徴領域を第１画像領域から検出する特徴領域検出部と、互いに異なるタイミングで取得された複数の画像信号から特徴領域の２次元画像上での位置を基準に合成画像を生成する合成部と、をさらに備えている。ここでの画像信号とは、１枚の画像を形成するアナログ信号もしくはデジタル信号を意味している。したがって、複数の画像信号とは、複数枚の画像を表しており、各画像を表す画像信号を単位とした画像信号の集合を意味している。つまり、互いに異なるタイミングで取得された複数の画像信号は、互いに異なるタイミングで取得された複数枚の画像を表している。

以上のように、これらの撮像装置では、振れ補正装置により撮像装置の振れの影響が十分に低減されない場合であっても、取得された画像に対する処理の精度が低下することを抑制できる。

デジタルカメラ１００の全体構成のブロック図。 振れ補正機構２０の分解斜視図。 連写画像処理部６０のブロック図。 デジタルカメラ１００での撮影動作のフローチャート。 デジタルカメラ１００での画像合成処理のフローチャート。 動きベクトルＶＭを検出する方法を示した概念図。 センタリングを実行する場合の振れ角および補正角の関係を示す模式図。 センタリングを実行しない場合の振れ角および補正角の関係を示す模式図。 （Ａ）デジタルカメラ１００でのデジタル信号処理部８の構成の一部を示すブロック図、（Ｂ）デジタルカメラ２００でのデジタル信号処理部８の構成の一部を示すブロック図。 デジタルカメラ３００での追跡部６３の構成を示すブロック図。

以下、ここに開示される撮像装置の実施形態について、デジタルカメラを例にして説明する。
〔１．第１実施形態〕
第１実施形態に係るデジタルカメラ１００（撮像装置の一例）について、図１〜図８を用いて説明する。

＜１．１ デジタルカメラの構成＞
図１に示すように、デジタルカメラ１００は主に、光学系Ｌと、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）４と、撮像処理部９０と、画像メモリ９と、記録表示処理部９１と、マイクロコンピュータ３を含む中枢制御部２と、連写画像処理部６０と、コントラスト算出部４０と、フォーカスレンズ駆動制御部４１と、内部メモリ５０と、撮影の実行を指示するためのレリーズボタン３５と、撮影モードを切り替えるための撮影モードスイッチ３６と、を備えている。

さらに、デジタルカメラ１００は、デジタルカメラ１００の振れを検出する角速度センサ１７と、振れ補正部１５と、残留振れ量算出部６２と、残留振れ量の変動幅を算出する変動幅算出部６４とを有している。

また、デジタルカメラ１００は、上記の各構成を収容または搭載するための、図示しない筐体を有している。具体的には、光学系ＬおよびＣＣＤ４は筐体の内側に支持されている。

《光学系》
初めに光学系Ｌについて説明する。光学系Ｌは、被写体の光学像（以下、被写体象ともいう）を形成しＣＣＤ４に結像させる。光学系Ｌは、第１レンズ群Ｌ１と、第２レンズ群Ｌ２と、第３レンズ群Ｌ３と、を含んでいる。

第１レンズ群Ｌ１は、いわゆるフォーカスレンズ群であり、焦点の合った状態（以下、合焦状態という）でＣＣＤ４上に被写体像を結像させるために用いられる。第１レンズ群Ｌ１を光軸ＡＸに平行な方向（以下、光軸方向という）に移動させることにより合焦動作が行なわれる。第１レンズ群Ｌ１は、後述するコントラスト検出方式による合焦動作において、例えばステッピングモータ（図示せず）により光軸方向に駆動される。

第２レンズ群Ｌ２は、いわゆる振れ補正レンズ群であり、デジタルカメラ１００の振れ（以下、単に「振れ」ともいう）が生じた場合に、振れによるＣＣＤ４上での被写体像の変位を補償するために用いられる。第２レンズ群Ｌ２は、光軸方向に垂直な面内を移動できるように第２レンズ群保持枠２１（後述）に保持されている。

第２レンズ群Ｌ２が標準位置から移動すると、光軸ＡＸを傾けることと同等の効果が生じる。第２レンズ群Ｌ２の標準位置とは、後述する振れ補正による位置の移動が無い場合に、第２レンズ群Ｌ２が配置される位置である。第２レンズ群Ｌ２を光軸方向に垂直な方向に移動させることにより、デジタルカメラ１００の振れが画像に及ぼす影響を補正することができる。

第３レンズ群Ｌ３は、いわゆるズームレンズ群であり、焦点距離の調節に用いられる。第３レンズ群Ｌ３を光軸方向に移動して焦点距離を変化させることにより、ズーミングが行なわれる。第３レンズ群Ｌ３は例えばＤＣモータ（図示せず）により駆動され、光軸方向に移動する。

《撮像ユニット》
撮像ユニットは、ＣＣＤ４と、シャッター９５と、シャッター制御部９６と、撮像処理部９０と、画像メモリ９と、を含んでいる。撮像処理部９０は、ＣＣＤ駆動制御部５と、アナログ信号処理部６と、Ａ／Ｄ変換部７と、デジタル信号処理部８と、を含んでおり、取得画像を生成する。本実施形態では、ＣＣＤ４と撮像処理部９０とにより撮像部９２（撮像部の一例）が形成されている。

ＣＣＤ４は、光学系Ｌにより形成される被写体像を電気信号すなわちアナログ画像信号に変換する。なお、デジタルカメラ１００では撮像素子としてＣＣＤ４が用いられているが、ＣＣＤ４の代わりにＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサが用いられてもよい。なお、撮像部９２が撮像素子のみで構成されていても構わない。

ＣＣＤ駆動制御部５（露光調節部の一例）は、ＣＣＤ４を制御する。具体的には、ＣＣＤ駆動制御部５によりＣＣＤ４から電気信号を読み出すタイミングが制御される。ＣＣＤ４から電気信号を読み出すタイミングを変えることにより、ＣＣＤ４の露光時間を変えることと実質的に同等の効果が得られる。このように、ＣＣＤ駆動制御部５は、いわゆる電子シャッターの機能を有している。ＣＣＤ駆動制御部５は、マイクロコンピュータ３の制御信号を受け付ける。

シャッター９５（露光調節部の一例）は、光学系ＬとＣＣＤ４との間に設けられ、ＣＣＤ４の露光時間を調節する。シャッター９５は、遮光幕（図示せず）を備えている。シャッター９５は、機械的な動作により遮光幕を開閉し、ＣＣＤ４の露光時間を調節する。シャッター９５が開いてから閉じるまでの時間が露光時間である。

シャッター９５の開閉は、シャッター制御部９６によって制御される。シャッター制御部９６は、マイクロコンピュータ３から制御信号を与えられると、シャッター駆動モータ（図示せず）を動かし、制御信号に基づいたスピードでシャッター９５を開閉させる。

ＣＣＤ４から出力された電気信号は、撮像処理部９０で各種の処理を施される。アナログ信号処理部６は、ＣＣＤ４から出力される電気信号すなわちアナログ画像信号に対してゲイン調整等のアナログ信号処理を施す。Ａ／Ｄ変換部７は、アナログ信号処理部６から出力されたアナログ画像信号をデジタル画像信号に変換する（このようなアナログ信号からデジタル信号への変換を以下では画像信号以外の場合も含めてＡ／Ｄ変換という。また、デジタル信号からアナログ信号への変換をＤ／Ａ変換という）。

デジタル信号処理部８は、Ａ／Ｄ変換部７によりデジタル信号に変換された画像信号に、ノイズ除去や輪郭強調等のデジタル信号処理を施す。デジタル信号処理部８の出力するデジタル画像信号（画像信号の一例）が、被写体の光学像から取得された画像を表す画像データである。デジタル信号処理部８の出力するデジタル画像信号により構成される画像を以下では取得画像という。デジタル信号処理部８は、マイクロコンピュータ３の制御を受けてデジタル信号の処理を行なう。

画像メモリ９は、書き込みおよび読み出しの可能なメモリであり、例えばＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）である。画像メモリ９は、取得画像を記憶する。具体的には、画像メモリ９はデジタル信号処理部８により処理されたデジタル画像信号つまり取得画像の画像データを一時的に格納する。後述する連写合成モードにおいては、連続して撮像された複数の取得画像が連写画像として画像メモリ９に記憶される。

また、画像メモリ９は、画像データだけでなく、後述する残留振れ量および残留振れＰＰ値を残留振れ量算出部６２および変動幅算出部６４から取得し、一時的に格納する。より詳細には、残留振れ量は、対応する取得画像を表す画像データと関係付けられた状態で画像メモリ９に一時的に格納される。

《記録表示処理部》
記録表示処理部９１は、画像メモリ９から読み込まれた取得画像の記録および表示を行なう機能を有しており、画像圧縮部１０と、画像記録制御部１１と、画像記録部１２と、画像表示制御部１３と、表示部１４と、を含んでいる。画像メモリ９から読み出された画像データは、画像圧縮部１０、画像記録制御部１１、画像記録部１２、において順次処理される。

画像圧縮部１０は、マイクロコンピュータ３から与えられる制御信号に基づいて、画像メモリ９から画像データを読み込み、所定の大きさに圧縮する。この際、画像データは、所定の比率で圧縮され、元のデータよりもサイズの小さいデータに変換される。例えば、この圧縮方法として、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）方式が考えられる。また、画像圧縮部１０は、画像メモリ９から読み込まれた画像データを用いて、サムネイル表示等に利用するための縮小画像データを生成する。

画像記録制御部１１は、マイクロコンピュータ３から与えられる制御信号に基づいて、圧縮された画像データおよび縮小画像データを画像圧縮部１０から受け取り、画像記録部１２に記録する。画像記録部１２は、デジタルカメラ１００本体に設けられた内部メモリ５０および／または着脱可能なリムーバブルメモリ（つまり、外部メモリ）により構成される。

画像記録部１２には、画像記録制御部１１から与えられる制御信号に基づいて、画像データと、対応する縮小画像データと、記録すべき所定の情報と、が互いに関係付けられた状態で記録される。ここでいう記録すべき所定の情報には、例えば取得画像が撮像された日時と、焦点距離情報と、シャッタースピード情報と、絞り値情報と、撮影モード情報と、が含まれる。

表示部１４は、例えばＬＣＤパネルによって構成され、画像メモリ９に格納された画像データを可視画像として表示する。画像表示制御部１３は、マイクロコンピュータ３からの制御信号を与えられると、制御信号に基づいて画像メモリ９に格納された画像データを読み出す。画像表示制御部１３は読み出した画像データを可視画像として表示部１４に表示させる。このように、画像表示制御部１３は、表示部１４の駆動制御を行なう。以下では、デジタルカメラ１００の出力画像としての画像を撮影画像とよぶ。具体的には、撮影画像は表示部１４に表示可能であり、画像ファイルとして外部メモリに保存可能である。撮影画像は、取得画像そのものであってもよいし、取得画像から画像処理により得られる画像であってもよい。例えば、撮影画像は取得画像の一部の領域を切り出すことにより生成された画像であってもよい。

《中枢制御部》
中枢制御部２は、マイクロコンピュータ３と、Ａ／Ｄ変換部１８ｘおよび１８ｙと、Ｄ／Ａ変換部１９ｘおよび１９ｙと、Ａ／Ｄ変換部６１と、を含む。

マイクロコンピュータ３は、デジタルカメラ１００全体の制御を行なう基幹となる制御ユニットである。マイクロコンピュータ３は、例えば図示しないＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、およびＲＡＭ３ａを含んでおり、ＲＯＭに書き込まれたプログラムを読み込んでＭＰＵで動作させることにより、様々な処理を行なうことができる。マイクロコンピュータ３は、前述のデジタル信号処理部８などだけでなく、連写画像処理部６０やフォーカスレンズ駆動制御部４１などとの間でもデータや制御信号を送受信して、デジタルカメラ１００全体を制御している。

Ａ／Ｄ変換部１８ｘおよび１８ｙは、後述する角速度センサ１７とマイクロコンピュータ３との間で信号のＡ／Ｄ変換を行なう。Ｄ／Ａ変換部１９ｘおよび１９ｙは、後述する移動制御部１５ａとマイクロコンピュータ３との間で信号のＤ／Ａ変換を行なう。Ａ／Ｄ変換部６１は、移動制御部１５ａとマイクロコンピュータ３との間で、信号のＡ／Ｄ変換を行なう。

《連写画像処理部》
ユーザーにより連写合成モード（後述）が選択されている場合は、１回の撮影で撮像が複数回繰り返される。連写合成モードで取得された複数の取得画像は連写画像として画像メモリ９に格納される。

連写画像処理部６０は、連写画像を画像メモリ９から読み出し、連写画像に対して処理を施す。図３に示すように、連写画像処理部６０は、読み出し部６０ａと、サーチ領域決定部６０ｂと、テンプレート検出部６０ｃと、動きベクトル検出部６０ｄと、合成部６０ｅと、メモリ部６０ｆと、を含んでいる。図３に示すように、本実施形態では、サーチ領域決定部６０ｂと残留振れ量算出部６２とマイクロコンピュータ３とにより選択部６５（選択部の一例）が形成されている。

読み出し部６０ａ（判断部の一例）は、画像メモリ９から連写画像を読み出す。サーチ領域決定部６０ｂは、連写画像上にサーチ領域Ｉを設定する。サーチ領域Ｉは、後述するマッチング領域Ｍの検出において、サーチが実行される領域である。テンプレート検出部６０ｃ（特徴領域検出部の一例）は、サーチ領域Ｉからマッチング領域Ｍを検出する。動きベクトル検出部６０ｄは、マッチング領域ＭおよびテンプレートブロックＴの取得画像上での位置に基づいて、マッチング領域Ｍの位置の変化を表す動きベクトルを検出する。合成部６０ｅは、動きベクトル検出部６０ｄで検出された動きベクトルを用いて、連写画像から一つの合成画像を生成する。メモリ部６０ｆは、例えばＲＡＭであり、連写画像処理部６０での連写画像の処理におけるワーキングメモリとして用いられる。例えば、メモリ部６０ｆは、後述する基準領域Ｗの位置および形状の情報を記憶する。

連写画像処理部６０で生成された合成画像は、画像メモリ９に記憶される。連写画像処理部６０で連写画像に対して実行される処理については、後で詳述する。

《オートフォーカスユニット》
オートフォーカス（以下、ＡＦという）ユニットは、合焦動作を制御するユニットであり、コントラスト算出部４０（合焦情報算出部の一例）と、フォーカスレンズ駆動制御部４１（合焦制御部の一例）と、を含む。

コントラスト算出部４０は、いわゆるコントラスト検出方式の合焦動作において、取得画像の評価値を算出する。フォーカスレンズ駆動制御部４１は合焦制御を実行する。具体的には、フォーカスレンズ駆動制御部４１は、コントラスト算出部４０により算出された評価値に基づいて、合焦状態が得られるように第１レンズ群Ｌ１を光軸方向に駆動する。

ここで、デジタルカメラ１００でのコントラスト検出方式によるオートフォーカス（以下、「コントラストＡＦ」という）について説明する。コントラストＡＦでは、第１レンズ群Ｌ１の位置を変化させながら撮像と評価値の算出とが繰り返し実行され、評価値がピークとなる位置に第１レンズ群Ｌ１を移動させることにより、合焦状態が実現される。

コントラスト算出部４０には、デジタル信号処理部８からフォーカスエリアを表す画像データが入力される。フォーカスエリアとは、取得画像上の領域であり、評価値の算出を行う対象となる領域である。

フォーカスエリアを指定する情報は、例えばデジタルカメラ１００の内部メモリ５０に既定値として書き込まれている。既定値は取得画像上でのフォーカスエリアの位置および形状の情報（形状の情報には大きさの情報が含まれている）を含んでいる。この場合、マイクロコンピュータ３により内部メモリ５０から既定値が読み出され、マイクロコンピュータ３のＲＡＭ３ａに一時的に格納されるとともに、デジタル信号処理部８に既定値が伝えられる。デジタル信号処理部８は、既定値に基づいてフォーカスエリアを決定する。

デジタル信号処理部８に含まれるデータ抽出部４３は、取得画像を表す画像データからフォーカスエリアを表す画像データを抽出する（図９（Ａ））。コントラスト算出部４０は、データ抽出部４３により抽出された画像データを用いて評価値を算出し、算出した評価値をフォーカスレンズ駆動制御部４１に出力する。

フォーカスレンズ駆動制御部４１には、第１レンズ群Ｌ１の光軸方向の位置の情報が伝えられる。フォーカスレンズ駆動制御部４１は、第１レンズ群Ｌ１を所定の可動範囲内で移動させながら、第１レンズ群Ｌ１の位置に対応する評価値をコントラスト算出部４０から取得する。フォーカスレンズ駆動制御部４１は、評価値がピークとなる位置、即ち合焦位置を検出すると、第１レンズ群Ｌ１を合焦位置に移動させコントラストＡＦ処理を終了する。

《角速度センサ》
角速度センサ１７（振れ量検出部の一例）は、手振れやその他の振動によるデジタルカメラ１００全体（自装置の一例）の振れを検出するためのセンサであり、ヨーイング方向角速度センサ１７ｘと、ピッチング方向角速度センサ１７ｙと、を含んでいる。

ヨーイング方向角速度センサ１７ｘは、ヨーイング方向（後述）の振れを検出し、デジタルカメラ１００が静止している状態での出力を基準として、ヨーイング方向のどちら側に振れたかに応じて正または負の信号を出力する。同様に、ピッチング方向角速度センサ１７ｙは、ピッチング方向（後述）の振れを検出し、ピッチング方向のどちら側に振れたかに応じて正または負の信号を出力する。出力された信号は、中枢制御部２で処理される。具体的には、角速度センサ１７から出力された信号（検出された振れ量の一例）はＡ／Ｄ変換部１８ｘおよび１８ｙでデジタル信号に変換され、マイクロコンピュータ３で振れ角を表す信号に変換される。マイクロコンピュータ３で生成された振れ角を表す信号は、振れ補正部１５および残留振れ量算出部６２に出力される。

《振れ補正部》
振れ補正部１５は、振れ補正機構２０と、振れ補正機構２０を制御する移動制御部１５ａと、を含んでおり、デジタルカメラ１００の振れが取得画像に及ぼす影響を低減する。

移動制御部１５ａは、図１に示すように、第２レンズ群Ｌ２の光軸方向に垂直な面での位置を検出する位置検出部１６（移動量検出部の一例）と、ヨーイング方向での第２レンズ群Ｌ２の駆動を制御するヨーイング駆動制御部１５ｘ（駆動部の一例）と、ピッチング方向での第２レンズ群Ｌ２の駆動を制御するピッチング駆動制御部１５ｙ（駆動部の一例）と、を含んでいる。

ヨーイング駆動制御部１５ｘおよびピッチング駆動制御部１５ｙは、マイクロコンピュータ３からの制御信号に基づいて、第２レンズ群Ｌ２を駆動させるための信号を振れ補正機構２０に送る。このとき、第２レンズ群Ｌ２の駆動量は、デジタルカメラ１００の振れに応じて生じたＣＣＤ４上での被写体像の変位を概ね相殺する方向および大きさとなるように決定される。

振れ補正機構２０は、移動制御部１５ａからの信号に基づいて、後述する第２レンズ群保持枠２１（つまり、第２レンズ群Ｌ２）を光軸方向に垂直な平面内で移動させる。

位置検出部１６は、後述する発光素子３０および受光素子３１を含んでおり、第２レンズ群Ｌ２の位置を検出する。位置検出部１６が検出した第２レンズ群Ｌ２の位置情報は、ヨーイング駆動制御部１５ｘ、ピッチング駆動制御部１５ｙ、および中枢制御部２に伝えられる。

中枢制御部２では、マイクロコンピュータ３は、位置検出部１６からの情報に基づいて、標準位置を基準とした第２レンズ群Ｌ２の移動量を算出する。また、マイクロコンピュータ３は、第２レンズ群Ｌ２の移動量から後述する補正角を算出する。

ここで、図２を用いて振れ補正機構２０の構成について説明する。図２では、Ｚ軸方向が光軸方向と平行になるように３次元直交座標軸が設定されている。この座標軸において、ピッチングとはＸ軸周りに回転することをいい、ヨーイングとはＹ軸周りに回転することをいう。つまり、ピッチング方向とは図２でのＹ軸方向であり、ヨーイング方向とは図２でのＸ軸方向である。

図２に示すように、振れ補正機構２０は主に、第２レンズ群保持枠２１と、固定枠２５と、ヨーイング用アクチュエータ２９ｘと、ピッチング用アクチュエータ２９ｙと、発光素子３０と、受光素子３１と、を含んでいる。

第２レンズ群保持枠２１（可動部の一例）は、振れ補正部１５の制御によりＸ軸方向およびＹ軸方向に移動可能なピッチング保持枠２１ａと、ヨーイング保持枠２１ｂとを含んでいる。第２レンズ群Ｌ２はピッチング保持枠２１ａに固定されており、ピッチング保持枠２１ａと一体に移動する。

ピッチング保持枠２１ａは、コイル２４ｘおよび２４ｙを備えている。ピッチング保持枠２１ａは、Ｙ軸方向に平行に配置されたピッチングシャフト２３ａおよび２３ｂを介してヨーイング保持枠２１ｂに支持されている。そのため、ピッチング保持枠２１ａは、ピッチングシャフト２３ａおよび２３ｂに案内され、ヨーイング保持枠２１ｂに対してＹ軸方向に移動可能である。

コイル２４ｘおよび２４ｙには、それぞれヨーイング駆動制御部１５ｘおよびピッチング駆動制御部１５ｙの制御により電流が流され、磁界が発生する。コイル２４ｘに生じる磁界と後述するマグネット２７ｘが形成する磁界との間の電磁力により、ピッチング保持枠２１ａはＸ軸方向に駆動される。同様に、コイル２４ｙに生じる磁界と後述するマグネット２７ｙが形成する磁界との間の電磁力により、ピッチング保持枠２１ａはＹ軸方向に駆動される。

ヨーイング保持枠２１ｂは、Ｘ軸方向に平行に配置されたヨーイングシャフト２６ａおよび２６ｂを介して固定枠２５に支持されている。そのため、ヨーイング保持枠２１ｂは、ヨーイングシャフト２６ａおよび２６ｂに案内され、固定枠２５に対してＸ軸方向に移動可能である。

ヨーイング用アクチュエータ２９ｘは、固定枠２５に保持されており、マグネット２７ｘと、マグネット２７ｘが形成する磁界の方向を調整するヨーク２８ｘと、を有している。ピッチング用アクチュエータ２９ｙは、固定枠２５に保持されており、マグネット２７ｙと、マグネット２７ｙが形成する磁界の方向を調整するヨーク２８ｙと、を有している。

発光素子３０は、受光素子３１に向けて投射光を発光する素子であり、ピッチング保持枠２１ａに固定され、ピッチング保持枠２１ａと一体に移動する。

受光素子３１は、例えばフォトダイオードであり、発光素子３０の投射光を受光する。受光素子３１は、固定枠２５に固定されており、投射光を受光した位置に基づいて、発光素子３０のＸＹ平面（つまり、光軸方向に垂直な平面）上の位置を検出する。このように、発光素子３０の位置を検出することにより、第２レンズ群Ｌ２の位置が検出される。前述の通り、発光素子３０および受光素子３１は、位置検出部１６に含まれている。

《残留振れ量算出部および変動幅算出部》
残留振れ量算出部６２は、振れ角および補正角の差を求めることによって、後述する残留振れ量を算出する。また、残留振れ量算出部６２は、検出した残留振れ量を画像メモリ９へ送る。残留振れ量は、対応する取得画像と関係付けられた状態で画像メモリ９に格納される。

変動幅算出部６４は、残留振れ量算出部６２から残留振れ量を取得し、残留振れ量の最大値および最小値をモニタリングすることにより、予め定められた時間内での残留振れ量の変動値を算出する。

＜１．２ デジタルカメラの動作＞
撮影時におけるデジタルカメラ１００の動作について、図を用いて説明する。

《振れ補正》
最初に、振れ補正について説明する。以下では、図２に合わせて、Ｘ軸方向をヨーイング方向とし、Ｙ軸方向をピッチング方向とする。また、光軸方向に垂直な平面をＸＹ平面ともいう。

図１に示すように、角速度センサ１７から出力された信号は、フィルタリングやアンプによるゲイン調整などの処理が施された後、Ａ／Ｄ変換部１８ｘおよび１８ｙでデジタル信号に変換され、マイクロコンピュータ３に与えられる。マイクロコンピュータ３では、Ａ／Ｄ変換部１８ｘおよび１８ｙから出力された信号は、フィルタリング、積分処理、位相補償、ゲイン調整、クリップ処理等の処理が施され、振れ角を表す信号に変換される。

次に、マイクロコンピュータ３では、振れ角を表す信号に基づいて、振れの補正に必要な第２レンズ群Ｌ２の駆動量が算出される。さらに、算出された駆動量に基づいて、第２レンズ群保持枠２１の移動を指示する制御信号が生成される。

具体的には、角速度センサ１７からの信号に基づいてヨーイング方向およびピッチング方向での光軸ＡＸの振れ角が算出される。次に、それぞれの方向の振れ角が実質的に相殺されるように第２レンズ群Ｌ２のヨーイング方向（Ｘ軸方向）およびピッチング方向（Ｙ軸方向）での駆動量が決定される。これらの駆動量に基づいて、マイクロコンピュータ３は、Ｘ軸方向でヨーイング保持枠２１ｂを移動させる向きおよび距離と、Ｙ軸方向でピッチング保持枠２１ａを移動させる向きおよび距離と、を指示する制御信号を生成する。

生成された制御信号は、Ｄ／Ａ変換部１９ｘおよび１９ｙを介して、マイクロコンピュータ３から移動制御部１５ａ（より詳細には、ヨーイング駆動制御部１５ｘおよびピッチング駆動制御部１５ｙ）に出力される。ヨーイング駆動制御部１５ｘおよびピッチング駆動制御部１５ｙは、マイクロコンピュータ３から出力された制御信号に基づいて、第２レンズ群Ｌ２をＸＹ平面上で移動させる。

このように第２レンズ群Ｌ２を移動させることにより、光軸ＡＸを実質的に傾ける効果が得られる。その結果、デジタルカメラ１００の振れによって発生した光軸ＡＸの傾きが実質的に修正され、画像の乱れが補正される。つまり、第２レンズ群Ｌ２が移動することにより被写体像のＣＣＤ４上での位置が移動するので、振れによって生じたＣＣＤ４上での被写体像の変位が概ね相殺される。

位置検出部１６は、移動制御部１５ａとともに、第２レンズ群Ｌ２の位置を制御するための帰還制御ループを形成する。この制御ループでは、移動制御部１５ａによる第２レンズ群Ｌ２の駆動と、位置検出部１６による第２レンズ群Ｌ２の位置の検出と、が繰り返される。より詳細には、第２レンズ群Ｌ２のＸＹ平面上での位置は位置検出部１６により検出され、検出された位置を表す情報が移動制御部１５ａに伝えられる。移動制御部１５ａは、位置検出部１６から伝えられた情報に基づいて、マイクロコンピュータ３から与えられた制御信号の指示する駆動量で第２レンズ群Ｌ２の駆動が行なわれたかどうかを判断する。移動制御部１５ａは、さらに第２レンズ群Ｌ２を移動させる必要があると判断した場合には、第２レンズ群Ｌ２を移動させる。

このように、第２レンズ群Ｌ２の位置の検出と移動とが繰り返される。そして、移動制御部１５ａは、第２レンズ群Ｌ２の移動がマイクロコンピュータ３から与えられた制御信号の指示する駆動量で行なわれたと判断すると、振れ補正を終了させる。

位置検出部１６は、振れ補正が終了したときの第２レンズ群Ｌ２の位置を検出する。言い換えれば、位置検出部１６は第２レンズ群１２の標準位置からの移動量（検出された移動量の一例）を検出する。検出された第２レンズ群Ｌ２の位置情報はＡ／Ｄ変換部６１を介してマイクロコンピュータ３に送られる。マイクロコンピュータ３は、振れ補正が終了したときの第２レンズ群Ｌ２の位置情報に基づいて、第２レンズ群Ｌ２の標準位置からの移動量を光軸ＡＸの傾き角度に換算し、補正角として算出する。補正角を表す信号は、残留振れ量算出部６２へ送られる。

《残留振れ量の算出》
次に、デジタルカメラ１００における残留振れ量の算出について説明する。

残留振れ量は、取得画像上での２次元ベクトル量であり、デジタルカメラ１００の振れが取得画像に及ぼした影響を表している。以下では２次元ベクトル量をＸ成分およびＹ成分の２成分を使って表現する。また、図２での３次元座標軸に合わせて、Ｘ成分を図２でのＸ軸方向に対応する成分とし、Ｙ成分を図２でのＹ軸方向に対応する成分とする。また、本実施形態では、Ｘ成分およびＹ成分は画素数で表される。

残留振れ量は、残留振れ角を取得画像上での２次元ベクトル量に変換することによって算出される。ここで、残留振れ角とは、デジタルカメラ１００の振れ角と前述の補正角との差である。

より詳細には、前述のように、角速度センサ１７の出力から、デジタルカメラ１００のＸ軸方向（ヨーイング方向）およびＹ軸方向（ピッチング方向）での振れ角が算出される。また、位置検出部１６の出力に基づいて、Ｘ軸方向およびＹ軸方向での補正角が算出される。残留振れ角は、Ｘ軸方向およびＹ軸方向のそれぞれにおいて、振れ角と補正角との差を計算することにより算出される。さらに、残留振れ角は、ＣＣＤ４の有効画素数および撮像時の焦点距離に基づいて残留振れ量に変換される。

例えば、ＣＣＤ４の画素は正方画素であり、ＣＣＤ４の対角長がＤ［画素数］であり、３５ｍｍフィルム換算の焦点距離がｆ［ｍｍ］であるとする。また、Ｘ軸方向の残留振れ角（Ｙ軸周りの残留振れ角）はφｘ［ｄｅｇ］であり、Ｙ軸方向の残留振れ角（Ｘ軸周りの残留振れ角）はφｙ［ｄｅｇ］であるとする。

このとき、残留振れ量のＸ成分Ｒｘ［画素数］は、式（１）を用いて算出される。

Ｒｘ＝ｆ・ｔａｎ（φｘ）・Ｄ／（３６^２＋２４^２）^０．５ （１）
また、残留振れ量のＹ成分Ｒｙ［画素数］は、式（２）を用いて算出される。

Ｒｙ＝ｆ・ｔａｎ（φｙ）・Ｄ／（３６^２＋２４^２）^０．５ （２）
以下では、具体的な残留振れ量の算出処理について図１を用いて説明する。

マイクロコンピュータ３では、Ａ／Ｄ変換部１８ｘおよび１８ｙを介して取り込まれた角速度センサ１７の出力信号に対して、フィルタリング、積分処理、位相補償、ゲイン調整、クリップ処理等の各処理が施される。これらの処理を施すことにより、マイクロコンピュータ３は、デジタルカメラ１００のピッチング方向およびヨーイング方向の振れ角を算出する。前述のように、補正角はマイクロコンピュータ３で算出される。ピッチング方向およびヨーイング方向の補正角は、Ａ／Ｄ変換部６１を介して取り込まれた位置検出部１６の出力信号に対して、フィルタリング、ゲイン調整等の処理を施すことにより算出される。撮影時の焦点距離（つまり画角）は、マイクロコンピュータ３において、ズームレンズ群である第３レンズ群Ｌ３の光軸方向での位置を表す情報を用いて求められる。合焦状態における第３レンズ群Ｌ３の光軸方向での位置を表す情報は、フォーカスレンズ駆動制御部４１によって検出され、マイクロコンピュータ３へ送られる。

以上の処理により求められたピッチング方向およびヨーイング方向の振れ角ならびに補正角と、焦点距離と、あらかじめ内部メモリ５０に記憶されているＣＣＤ４の有効画素数と、はマイクロコンピュータ３から残留振れ量算出部６２に出力される。残留振れ量算出部６２は、振れ角と補正角との差を計算することにより、ピッチング方向およびヨーイング方向の残留振れ角を算出する。さらに、残留振れ量算出部６２は、式（１）および式（２）の関係に基づいて、残留振れ角から残留振れ量を算出する。

このように、残留振れ角が取得画像上での２次元ベクトル量に変換され、残留振れ量が算出される。前述のように、残留振れ角は、デジタルカメラ１００の振れ角と補正角との差である。また、補正角は振れ補正部１５によるいわゆる光学的な振れ補正を表している。つまり、残留振れ角は、光学的な振れ補正によって相殺されなかった振れ角である。このように、残留振れ量は、光学的な振れ補正で相殺されなかった振れの影響を、２次元画像上での被写体の変位として表している。

また、変動幅算出部６４では、露光時間内での残留振れ量の最大値と最小値とがモニタリングされる。変動幅算出部６４は、検出された最大値と最小値との差を計算することにより、露光時間（予め定められた時間の一例）内での残留振れＰＰ値（変動幅の一例）を算出する。

例えば、変動幅算出部６４は、残留振れ量の最小値および最大値をそれぞれ格納するメモリ（図示せず）を備えている。この場合は、残留振れ量算出部６２で算出された残留振れ量は、メモリに格納されている最小値および最大値と比較される。算出された残留振れ量がメモリに格納されている最小値よりも小さい場合は、算出された残留振れ量が新たな最小値として代わりにメモリに格納される。同様に、算出された残留振れ量がメモリに格納されている最大値よりも大きい場合は、算出された残留振れ量が新たな最大値として代わりにメモリに格納される。このようにして、露光時間内の残留振れ量の変動がモニタリングされ、メモリに格納されている最大値と最小値との差を計算することにより残留振れＰＰ値が算出される。なお、変動幅算出部６４は、残留振れ量算出部６２の一部であってもよい。

撮像が行なわれると、残留振れ量算出部６２は、露光開始時の残留振れ量を画像メモリ９へ出力する。また、残留振れ量算出部６２は、１回の露光が終了した時点で変動幅算出部６４から残留振れＰＰ値を取得し、画像メモリ９へ出力する。画像メモリ９には、取得画像と、露光開始時の残留振れ量と、残留振れＰＰ値と、が互いに関係付けられた状態で記憶される。

残留振れ量の算出処理は、露光時間内に一定の周期で複数回実行される。残留振れ量が算出される周期は、振れ補正部１５の動作と同じく、露光時間に対して十分に短い。例えば、残留振れ量の算出は毎秒数百回以上（数百Ｈｚ以上）の頻度で実行される。

《デジタルカメラの撮影動作》
次に、デジタルカメラ１００の撮影動作について説明する。

先ず、撮影モードについて説明する。デジタルカメラ１００では、撮影モードの選択が可能である。ユーザーは、撮影モードスイッチ３６の操作により、通常撮影モードまたは連写合成モードを選択することができる。通常撮影モードは、撮影が１回の撮像処理で終了する撮影モードである。連写合成モードは、１回の撮影において複数回の撮像処理が行なわれ、複数の取得画像からなる連写画像が取得される撮影モードである。連写合成モードでは、連写画像から一つの合成画像が生成される。

以下では、デジタルカメラ１００の撮影動作について、図４のフローチャートに従って説明する。

ユーザーにより撮影モードでデジタルカメラ１００の電源が入れられると、デジタルカメラ１００は撮影の開始が可能な待機状態となる。待機状態において、マイクロコンピュータ３は、レリーズボタン３５が半押しされたかどうかを判定する（Ｓ１０１）。

レリーズボタン３５が半押しされると、振れ補正部１５が前述の振れ補正を開始する。また、残留振れ量算出部６２が、残留振れ量の算出を開始する（Ｓ１０２）。

次に、コントラストＡＦが実行される（Ｓ１０３）。ステップＳ１０３では、ＣＣＤ４から一定の時間間隔で電気信号が読み出され、撮像処理部９０で電気信号から取得画像が取得される。デジタル信号処理部８は、取得画像を表す画像データからフォーカスエリアを表す画像データを抽出し、コントラスト算出部４０に送る。フォーカスエリアを表す画像データに基づいて、コントラスト算出部４０およびフォーカスレンズ駆動制御部４１により、コントラストＡＦが実行される。

次に、マイクロコンピュータ３は、レリーズボタン３５が全押しされたかどうかを判定する（Ｓ１０４）。

ステップＳ１０４でレリーズボタン３５の全押しが検出されなかった場合は、ステップＳ１０５に進み、レリーズボタン３５が半押しされているかどうかが判定される。ステップＳ１０５において、レリーズボタン３５が半押しされていれば再度ステップＳ１０４に戻り、レリーズボタン３５が全押されているかどうかが判定される。ステップＳ１０５において、レリーズボタン３５が半押しされていなければ、ステップＳ１１２に進む。ステップＳ１１２では、撮影動作が終了する。すなわち、ステップＳ１１２では、振れ補正および残留振れ量の算出が終了し、撮影が終了する。

ステップＳ１０４でレリーズボタン３５の全押しが検出された場合は、撮像ユニットで撮像処理が実行される（Ｓ１０６）。ステップＳ１０６では、シャッター９５が開閉され予め定められた露光時間でＣＣＤ４の露光が行なわれる。露光が終了するとＣＣＤ４から電気信号が読み出される。読み出された電気信号が撮像処理部９０で処理され、取得画像が取得される。取得画像を表す画像データは画像メモリ９に格納される。また、露光開始時の残留振れ量および露光時間内での残留振れＰＰ値が、取得画像に関係付けられた状態で、画像メモリ９に格納される。

次にマイクロコンピュータ３は、選択されている撮影モードが連写合成モードかどうかを判定する（Ｓ１０７）。ステップＳ１０７で連写合成モードでないと判定された場合、即ち通常撮影モードである場合は、ステップＳ１１２に進み、撮影が終了する。ステップＳ１０７で連写合成モードであると判定された場合は、第２レンズ群Ｌ２のセンタリングが行なわれる（Ｓ１０８）。センタリングとは、第２レンズ群Ｌ２の位置を可動範囲の中心つまり標準位置へ戻す処理である。センタリングを指示する制御信号がマイクロコンピュータ３から与えられると、移動制御部１５ａは、振れ補正機構２０のピッチング保持枠２１ａおよびヨーイング保持枠２１ｂを移動させ、センタリングを実行する。

次に、再び撮像処理が実行される（Ｓ１０９）。ここでの処理はステップＳ１０６での処理と同じである。

次に、マイクロコンピュータ３は、所定回数の撮像が終了したかどうかを判定する（Ｓ１１０）。連写合成モードでの撮像回数（つまり連写画像の枚数）は、幾つかの要素を考慮して決定される。例えば、画像メモリ９の容量が考慮される。また、必要とする総露光時間（連写画像を構成する各取得画像の露光時間の総和）、さらには合成画像を生成する処理に要する時間などが考慮される。ここでは一例として１回の撮影で４回の撮像を行なうこととする（ただし、１回の撮影での撮像の回数が４回に限定されるわけではない）。

ステップＳ１１０で所定回数の撮像が終了していないと判定された場合、ステップＳ１０８に戻り、再びセンタリングが実行される。さらに、ステップＳ１０９において、撮像処理が実行される。

ここで、連写合成モードでの振れ角と補正角の関係について、図７および図８を用いて説明する。なお、振れ角や補正角などの角度はピッチング方向（Ｙ軸方向）の成分とヨーイング方向（Ｘ軸方向）の成分とを用いて表される。ここでは説明を簡単にする為、ピッチング方向あるいはヨーイング方向いずれか一方の方向についてのみ説明する。例えば、図７の振れ角および補正角は、ヨーイング方向（Ｘ軸方向）の成分を表している。

図７は、センタリングを実行した場合での、振れ角と補正角の関係を示したタイミングチャートである。図７の上段に示すように、シャッタータイミング信号がＨｉｇｈからＬｏｗに立ち下がるタイミングでシャッター９５が開き、露光が開始される。シャッタータイミング信号がＬｏｗからＨｉｇｈに立ち上がるタイミングでシャッター９５が閉じ、露光が終了する。シャッター９５が開いてから閉じるまでの動作が露光処理である。露光処理は撮像処理の一部である。ここでは、４回の露光処理が連続して行われる。

図７の中段に示すように、デジタルカメラ１００では、露光処理とセンタリングが繰り返される。レリーズボタン３５が半押しの状態になると、前述のように振れ補正および残留振れ量の算出が開始される。コントラストＡＦが実行された後、レリーズボタン３５が全押しの状態になると、１回目の露光処理（第１露光）が行なわれる。第１露光が終了すると、センタリングが実行される。センタリングが終了すると、２回目の露光（第２露光）が行なわれる。同様に、３回目の露光処理（第３露光）および４回目の露光処理（第４露光）が実行される。また、図７の下段に示すように、振れ角（破線）に応じた補正角（実線）で振れ補正が行なわれ、残留振れ角（点線）が算出される。残留振れ角は、振れ角と補正角との差を計算することで算出される。

センタリングが行なわれると、第２レンズ群Ｌ２の位置は標準位置に戻る。このため、２回目以降の露光処理では、残留振れ角が発生した状態で露光が行なわれる。前述の通り、残留振れ角は残留振れ量に変換される。残留振れ量は、取得画像上での被写体の変位を表している。そのため、第２〜第４露光で得られた取得画像では、露光処理を開始した時点での残留振れ角に応じて、被写体が変位している。

図７に示すように、第１露光での残留振れ角Ｎ１は、残留振れ量が発生しないため「０」である。第２露光では、残留振れ角Ｎ２が発生している。同様に、第３露光では残留振れ角Ｎ３が発生しており、第４露光では残留振れ角Ｎ４が発生している。したがって、第１露光で得られた取得画像と比較すると、第２〜第４露光で得られた取得画像上での被写体の位置には、残留振れ角Ｎ２〜Ｎ４に対応したずれが生じている。

図７では、振れ補正が有効に動作するので、露光時間内は残留振れ角の変動が生じない。したがって、取得画像に振れの影響は現れない。一方で、露光処理が終了した時点から次の露光処理が開始するまでの期間においては、センタリングが実行されるので、振れ補正が有効に動作しない。このため、残留振れ角の変動が生じるが、ＣＣＤ４は露光していないので、残留振れ角の変動の影響は取得画像に現れない。ただし、センタリングによって発生した残留振れ角により、４枚の取得画像（連写画像）では、取得画像上での被写体の位置が互いに異なっている。

一方で、図８にはセンタリングが省略された場合が示されている。このように、センタリングを省略することも可能である。なお、図７の場合と同様に、図８の振れ角および補正角はＸ軸方向の成分を表している。

図８の下段に示すように、補正角は一定の範囲に制限されている。これは、振れ補正機構２０の第２レンズ群保持枠２１（つまり、ピッチング保持枠２１ａおよびヨーイング保持枠２１ｂ）が移動できる範囲に限界があるためである。このような移動範囲の限界を、以下では補正端という。例えば、図８では、Ｘ軸方向でのヨーイング保持枠２１ｂの移動は、−側補正端から＋側補正端までの範囲に制限されている。そのため、補正端を超える大きさの振れ角が発生すると、振れ補正が正常に動作していても、振れ角を完全には相殺することができない。

振れ角が相殺されない場合は、相殺されない振れ角が残留振れ角となる。図８では、第２〜第４露光の各々で振れ角が補正端を超えているため、残留振れ角が発生している。このため、図７の場合と同様に、第１露光で得られた取得画像と比較すると、第２〜第４露光で得られた取得画像上での被写体の位置には、残留振れ角に対応したずれが生じている。

また、第２〜第４露光では各露光時間内において残留振れ角の変動が生じている。前述のように、各露光時間内での残留振れ角の変動に基づいて、残留振れＰＰ値が算出される。図８では、露光時間内での残留振れ角の変動領域が一点鎖線で示されている。また、第２、第３、第４露光の各露光時間内での残留振れ角の変動値は、それぞれＰＰ１、ＰＰ２、ＰＰ３である。このように、補正端によって補正角が制限されると、露光時間内の残留振れ角が大きく変動する場合がある。露光時間内の残留振れ角の変動は、取得画像に影響を与え、例えば画像のぼやけを発生させる。

前述のように、第１〜第４露光それぞれの露光開始時の残留振れ量および残留振れＰＰ値は、それぞれの露光により取得された取得画像と関係付けられた状態で、画像メモリ９に格納される。

ここで、再び図４のフローチャートに戻り、撮影動作のフローを説明する。ステップＳ１１０で所定回数の撮像が終了していると判定された場合は、画像合成処理が実行される（Ｓ１１１）。連写画像処理部６０は、画像メモリ９から連写画像を読み出し、加算平均によって連写画像を合成し、合成画像を生成する。

合成画像の生成が終了すると、ステップＳ１１２に進む。ステップＳ１１２では、振れ補正および残留振れ量の算出が終了する。その後、撮影が終了し、デジタルカメラ１００は待機状態に戻る。なお、ユーザーにより撮影モードを終了する指示が入力されるか、デジタルカメラ１００の電源をＯＦＦにする指示が入力されると、撮影動作の処理フローが中断され、所定の終了処理を経て撮影動作が終了する。

《画像合成処理》
次に、前述のステップＳ１１１での画像合成処理を図５のフローチャート、図３、図６を用いて説明する。ステップＳ１１１の画像合成処理では、テンプレートマッチングを用いて動きベクトルが算出される。また、動きベクトルを用いて連写画像が重ね合わされ、合成画像が生成される。

前述のステップＳ１１０で所定回数の撮像が終了したと判定されると、ステップＳ２０１に進む。ステップＳ２０１では、読み出し部６０ａは、基準画像７０（撮影画像の一例）を画像メモリ９から読み込む。基準画像７０は、例えば、連写画像のうち撮像されたタイミングが最も早い取得画像である。この場合、基準画像７０は、図７または図８での第１露光で撮像された取得画像である。読み出し部６０ａは、基準画像７０を表す画像データをサーチ領域決定部６０ｂに送る。本実施形態では基準画像７０のサイズは取得画像と同じサイズの画像であるが、基準画像７０のサイズは取得画像のサイズと異なっていても構わない。例えば、取得画像の一部を切り出すことにより基準画像７０が生成されてもよい。この場合には、切り出された基準画像７０のサイズは取得画像のサイズよりも小さくなる。ここで、画像のサイズは画像領域の大きさを表しており、例えば画素数で表現される。また、取得画像の一部を切り出すとは、取得画像を構成する画素データのうち、一部の画素データのみを用いて画像を生成することを意味している。

次に、サーチ領域決定部６０ｂが、読み出された連写画像に基づいてテンプレートブロックＴを設定する（Ｓ２０２）。

図６（Ａ）に示すように、ステップＳ２０２では、サーチ領域決定部６０ｂは、基準画像７０内でテンプレートブロックＴを設定する。基準画像７０でのテンプレートブロックＴの位置および形状は予め定められている。例えば、デジタルカメラ１００の内部メモリ５０にテンプレートブロックＴの位置および形状の情報が予め記憶されている。この場合、テンプレートブロックＴの位置および形状の情報は、マイクロコンピュータ３により内部メモリ５０から読み出され、メモリ部６０ｆに送られる。メモリ部６０ｆは、テンプレートブロックＴの位置および形状の情報を一時的に記憶する。サーチ領域決定部６０ｂは、メモリ部６０ｆに記憶されているテンプレートブロックＴの情報に基づいて、基準画像７０内でテンプレートブロックＴを設定する。なお、テンプレートブロックＴの形状の情報にはその大きさの情報が含まれている。

テンプレートブロックＴは、後述するテンプレートマッチングにおいて判定基準として用いられるテンプレートである。テンプレートブロックＴは、後述するマッチング領域Ｍを検出できる程度の特徴を備えていればよいので、基準画像７０の領域よりも小さくすることができる。例えば、テンプレートブロックＴのサイズを基準画像７０のサイズの半分よりも小さくすることができる。なお、以下ではテンプレートブロックＴが一つである場合について説明するが、複数のテンプレートブロックＴが設けられてもよい。

サーチ領域決定部６０ｂは、テンプレートブロックＴを表す画像データを、基準画像７０を表す画像データから抽出する。テンプレートブロックＴを表す画像データは、メモリ部６０ｆに一時的に格納される。テンプレートブロックＴを表す画像データは、テンプレートブロックＴと特徴が一致するマッチング領域Ｍ（特徴領域の一例）を後述するサーチ領域Ｉ（第１画像領域の一例）から検出するための、基準情報として用いられる。

ステップＳ２０２でテンプレートブロックＴの設定が終わると、ステップＳ２０３に進む。読み出し部６０ａは、基準画像７０にテンプレートブロックＴが設定されると、画像メモリ９に記憶されている連写画像から次の取得画像を読み込む（Ｓ２０３）。読み込まれた取得画像が対象画像７１に設定される。また、読み出し部６０ａは、読み込んだ取得画像に対応する残留振れ量および残留振れＰＰ値を読み込む。

画像合成処理で取得画像が読み込まれる順番は、例えば、撮像のタイミングの順番である。この場合、図７での第２露光で撮像された取得画像が、基準画像７０（第１露光で撮像された取得画像）の次に読み込まれ、対象画像７１に設定される。なお、第２露光で撮像された取得画像に対する処理が終了すると、次に第３露光で撮像された取得画像が読み込まれ、対象画像７１に設定される。同様に、第４露光で撮像された取得画像が処理される。言い換えれば、取得されたタイミングの異なる複数の画像信号を用いて合成画像が生成される。

読み出し部６０ａは、対象画像７１に対応する残留振れＰＰ値を予め定められた限界変動値（第１上限の一例）と比較し、残留振れＰＰ値が限界変動値以下であるかどうかを判定する（Ｓ２０４）。残留振れＰＰ値が限界変動値より大きい場合は、ステップＳ２０８に進む。

ステップＳ２０８に進んだ場合は、その時点で読み出し部６０ａによって対象画像７１に設定されていた取得画像は合成画像の生成に用いられない。残留振れＰＰ値が限界変動値以下である場合は、ステップＳ２０５に進む。このように、残留振れＰＰ値が所定の限界変動値を越えている場合、対応する取得画像は、振れの影響を受けていると判定され、合成処理で用いられない。これにより、振れ補正機構２０が補正端に達してしまい、残留振れ角が発生した場合でも、合成処理に不適切な画像の使用を回避でき、合成画像の品質劣化を低減することが可能となる。

ステップＳ２０４で残留振れＰＰ値が限界変動値以下であると判定された場合は、サーチ領域決定部６０ｂは、対象画像７１内にサーチ領域Ｉを設定する（Ｓ２０５）。

図６（Ｂ）に示すように、サーチ領域決定部６０ｂは、サーチ領域Ｉを設定するための準備として、対象画像７１内に基準領域Ｗを設定する。基準領域Ｗは、参照ブロックＵを基準にして設定される。図６（Ｂ）には、対象画像７１内に参照ブロックＵが示されている。対象画像７１での参照ブロックＵの位置および形状は、基準画像７０でのテンプレートブロックＴの位置および形状と全く同じである。本実施形態では、参照ブロックＵを内部に含み、参照ブロックＵと中心が一致するように、長方形の基準領域Ｗが設定される。

基準領域Ｗの位置の情報および形状の情報、つまりテンプレートブロックＴと基準領域Ｗとの関係の情報は、例えばデジタルカメラ１００の内部メモリ５０に記憶されている。この場合、基準領域Ｗの位置および形状の情報は、マイクロコンピュータ３により内部メモリ５０から読み出され、メモリ部６０ｆに送られる。メモリ部６０ｆは、基準領域Ｗの位置および形状の情報を一時的に記憶する。サーチ領域決定部６０ｂは、メモリ部６０ｆに記憶されている基準領域Ｗの情報に基づいて、対象画像７１内に基準領域Ｗを設定する。

このように、基準領域Ｗの大きさは、少なくとも参照ブロックＵを内部に含む大きさであればよい。したがって、基準領域Ｗを対象画像７１の領域よりも小さくすることができる。例えば、基準領域Ｗのサイズを対象画像７１のサイズの半分以下とすることが可能である。本実施形態では対象画像７１のサイズは基準画像７０のサイズと同じであるので、基準領域Ｗの大きさは基準画像７０のサイズよりも小さい。言い換えれば、基準領域Ｗは撮影画像の領域よりも小さい。なお、基準領域Ｗの形状の情報には、大きさの情報が含まれている。

本実施形態における画像上での位置は、画像上の画素の位置を意味している。以下では、取得画像上での画素の位置を２次元座標を用いて表現する。つまり、取得画像の最も左側かつ最も下側にある画素Ｏ（図６（Ａ））を基準にして、例えば、画素Ｄの取得画像上での位置をＤ（ｉ，ｊ）と表現する。ｉおよびｊは画素数を示す整数である。このとき、画素ＤはＸ軸方向に画素数ｉだけ離れており、Ｙ軸方向に画素数ｊだけ画素Ｏから離れた位置にある。図６（Ａ）〜（Ｃ）では、図面の横方向がＸ軸方向であり、縦方向がＹ軸方向である。

デジタルカメラ１００の内部メモリ５０には、例えば、長方形の基準領域Ｗの４つの頂点である画素Ｑ１〜Ｑ４の位置を表す情報が記憶されている。２次元座標を用いて、画素Ｑ１〜Ｑ４の位置を、Ｑ１（Ｘ０１，Ｙ０１）、Ｑ２（Ｘ０２，Ｙ０２）、Ｑ３（Ｘ０３，Ｙ０３）、Ｑ４（Ｘ０４，Ｙ０４）、と表わすことにする。なお、ここでは基準領域Ｗの４つの頂点の座標が内部メモリ５０に記憶されているとしたが、基準領域Ｗの頂点のうちの一つの座標と、長辺および短辺の大きさと、が内部メモリ５０に記憶されていてもよい。

図６（Ｂ）に示すように、サーチ領域決定部６０ｂは、基準領域Ｗの位置を、対象画像７１に対応する残留振れ量に基づいて移動させ、サーチ領域Ｉとする。図６（Ｂ）では、残留振れ量がベクトルＶＲ（Ｒｘ、Ｒｙ）により表わされている。ベクトルＶＲは前述のように対象画像７１上での２次元ベクトル量であり、Ｒｘは、式（１）に基づいて算出された残留振れ量のＸ成分を表わしている。また、Ｒｙは、式（２）に基づいて算出された残留振れ量のＹ成分を表わしている。サーチ領域決定部６０ｂは、ベクトルＶＲと反対向きのベクトルＶＡ（−Ｒｘ、−Ｒｙ）の示す方向および大きさで基準領域Ｗを平行移動させる。

具体的には、サーチ領域決定部６０ｂは、画素Ｑ１〜Ｑ４の位置を表す情報をメモリ部６０ｆから読み出す。さらに、サーチ領域決定部６０ｂは、画素Ｑ１〜Ｑ４の位置を表す情報を残留振れ量に基づいて変更し、新たな位置を表す情報を生成する。つまり、長方形であるサーチ領域Ｉの４つの頂点である画素Ｐ１〜Ｐ４の位置を表す情報を生成する。ここでは、画素Ｐ１〜Ｐ４の位置を、それぞれＰ１（Ｘ１，Ｙ１）、Ｐ２（Ｘ２，Ｙ２）、Ｐ３（Ｘ３，Ｙ３）、Ｐ４（Ｘ４，Ｙ４）と表すことにする。

このとき、画素Ｐ１〜Ｐ４の位置は、ベクトルＶＲ（もしくは、ベクトルＶＡ）により画素Ｑ１〜Ｑ４の位置と関係付けられている。つまり、画素Ｐ１の位置Ｐ１（Ｘ１，Ｙ１）は、画素Ｑ１の位置を用いてＰ１（Ｘ０１−Ｒｘ，Ｙ０１−Ｒｙ）と表わされる。同様に、画素Ｐ２〜Ｐ４の位置は、それぞれＰ２（Ｘ０２−Ｒｘ，Ｙ０２−Ｒｙ）、Ｐ３（Ｘ０３−Ｒｘ，Ｙ０３−Ｒｙ）、Ｐ４（Ｘ０４―Ｒｘ，Ｙ０４−Ｒｙ）、と表わされる。

このように、サーチ領域決定部６０ｂは、新たに生成された４つの頂点Ｐ１〜Ｐ４の座標の情報と、基準領域Ｗの形状の情報とを組み合わせて、サーチ領域Ｉを指定する情報を生成する。また、サーチ領域決定部６０ｂは、対象画像７１を表す画像データから、サーチ領域Ｉを表す画像データを抽出する。サーチ領域Ｉを表す画像データは、メモリ部６０ｆに格納される。

以上のように、サーチ領域Ｉは、基準領域Ｗを残留振れ量に基づいてシフトさせた位置に設定される。したがって、振れ補正部１５がセンタリングのような本来の振れ補正と異なる動作を行うことにより残留振れ角が発生した場合でも、検出エリアとしてのサーチ領域Ｉを画像上に適切に設定することが可能となる。そのため、引き続いて行なわれるテンプレートマッチングにおいて、誤検出を減らすことができる。

サーチ領域Ｉが決定されると、テンプレート検出部６０ｃは、サーチ領域Ｉでのサーチを実行する（Ｓ２０６）。ここでのサーチは、いわゆるテンプレートマッチングにより行なわれる。図６（Ｂ）に示すように、テンプレートマッチングにより、テンプレートブロックＴと最も類似するマッチング領域Ｍがサーチ領域Ｉから探し出される。

図６（Ｂ）では、マッチング領域Ｍの一部が、基準領域Ｗの外部にはみ出している。そのため、基準領域Ｗに対してテンプレートマッチングを実行しても、マッチング領域Ｍを正確に検出することができない。これに対して、サーチ領域Ｉは、残留振れ量に基づいて修正された位置に設定されているので、マッチング領域Ｍを内部に含んでいる。このように、サーチ領域Ｉに対してテンプレートマッチングを実行することで、残留振れ角が発生しても、マッチング領域Ｍを正確に検出することができる。

テンプレートマッチングでは、テンプレートＴとサーチ領域Ｉとが比較される。具体的には、テンプレートＴと同じサイズとなるようにサーチ領域Ｉから切り出された領域（以下、比較領域ともいう）とテンプレートＴとの類似度を表す指標量（特徴量の一例）が算出される。より詳細には、テンプレートマッチングでは、サーチ領域Ｉ内でテンプレートブロックＴを１画素ずつ移動させ、移動後の位置でのＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）が計算される。ＳＡＤは、テンプレートブロックＴの画素値と比較領域の画素値との差の絶対値が足し合わされた値であり、指標量の一例である。比較領域をサーチ領域Ｉ上で１画素ずつ移動させることと、ＳＡＤの算出とが繰り返し実行され、ＳＡＤが最小となる比較領域が検出される。最も小さいＳＡＤが得られたときにテンプレートブロックＴと重なる比較領域が、サーチ領域Ｉでのマッチング領域Ｍだと判断される。このように、ＳＡＤはマッチング領域Ｍを特徴付けている。

ＳＡＤの算出では、テンプレートブロックＴとサーチ領域Ｉ内の比較領域とが重ねあわされたときに、２次元画像上で同じ位置にある画素の間で画素値の差が計算される。画素値として、例えば輝度を用いることができる。また、ここでの画素は、ピクセルだけでなく、ドットの概念を含んでいる。テンプレート検出部６０ｃは、メモリ部６０ｆに格納されているサーチ領域Ｉを表す画像データならびにテンプレートブロックＴを表す画像データを用いて、テンプレートマッチングを行なう。

サーチが終了し、マッチング領域Ｍが検出されると、動きベクトル検出部６０ｄは動きベクトルＶＭを検出する（Ｓ２０７）。図６（Ｃ）に示すように、動きベクトルＶＭは、基準画像７０と対象画像７１の間の特徴点（被写体上で同一の特徴を有する点）の移動量を表している。例えば、参照ブロックＵの頂点Ｕ１と、頂点Ｕ１に対応するマッチング領域Ｍの頂点Ｍ１と、を結ぶベクトルが、動きベクトルＶＭである。このように、動きベクトルＶＭは、マッチング領域Ｍの２次元画像上での位置の変化を表している。

言い換えれば、動きベクトルＶＭは、基準画像７０を基準として、対象画像７１での被写体が全体としてどれだけ移動しているかを表す２次元ベクトル量である。例えば、対象画像７１上で２次元座標軸を定め、動きベクトルＶＭの各軸方向の成分を画素数で表すことができる。検出された動きベクトルＶＭは、メモリ部６０ｆに一時的に格納される。このとき、対象画像７１と関係付けられた状態で動きベクトルＶＭはメモリ部６０ｆに格納される。

動きベクトルＶＭの検出が終わると、読み出し部６０ａは、全ての連写画像が読み出されたかどうかを判定する（Ｓ２０８）。連写画像の読み出しが終了したかどうかは、読み出し部６０ａが読み出した取得画像の枚数が、予め設定されている連写画像の枚数に達しているかどうかで判定される。読み出しが終了したと判定された場合は、ステップＳ２０９に進む。読み出しが終了していない場合は、ステップＳ２０３に戻り、次の連写画像が読み出され、対象画像７１に設定される。

読み出し部６０ａにより読み出しが終了したと判定されると、合成部６０ｅでは連写画像が重ね合わされ、合成画像が生成される（Ｓ２０９）。具体的には、基準画像７０に対してそれ以外の連写画像が重ねあわされる。基準画像７０以外の連写画像は、マッチング領域Ｍの位置がテンプレートブロックＴの位置と一致するように基準画像７０に重ね合わされる。つまり、テンプレートブロックＴの基準画像７０上での位置、およびマッチング領域Ｍの対象画像７１上での位置を基準に合成画像が生成される。

具体的には、合成部６０ｅは、動きベクトルＶＭを用いて基準画像７０以外の連写画像を基準画像７０に重ね合わせる。基準画像７０を基準にした場合に、基準画像７０以外の連写画像における被写体の位置は、対応する動きベクトルＶＭで表される方向および大きさで変位している。そこで、基準画像７０以外の連写画像を、動きベクトルＶＭを逆向きにしたベクトルで表される方向および大きさで基準画像７０に対してずらすことにより、マッチング領域Ｍの位置とテンプレートブロックＴの位置とを一致させることができる。

次に、連写画像が重ね合わされた状態で連写画像を表す画像データを加算し平均化することにより、合成画像が生成される。合成部６０ｅは、読み出し部６０ａを介して画像メモリ９から連写画像を表す画像データを取得する。また、それぞれの連写画像に対応する動きベクトルＶＭをメモリ部６０ｆから取得する。これらの画像データおよび動きベクトルを用いて、合成部６０ｅは合成画像を生成する。

図６（Ａ）および図６（Ｃ）に示された画素Ｄ１（Ｄ１ｘ、Ｄ１ｙ）および画素Ｄ２（Ｄ２ｘ、Ｄ２ｙ）を用いて、画像の重ね合わせについて説明する。Ｄ１ｘおよびＤ１ｙは、それぞれ画素Ｄ１の基準画像７０上でのＸ座標およびＹ座標である。同様に、Ｄ２ｘおよびＤ２ｙは、それぞれ画素Ｄ２の対象画像７１上でのＸ座標およびＹ座標である。ここでは、画素Ｄの画素データをＳＩＧ（Ｄ）と表す。対象画像７１上の画素Ｄ２は基準画像７０上の画素Ｄ１と対応する画素である。具体的には、画素Ｄ２は画素Ｄ１と動きベクトルＶＭ（Ｍｘ、Ｍｙ）により関連付けられている。つまり、Ｄ２ｘ＝Ｄ１ｘ＋ＭｘおよびＤ２ｙ＝Ｄ１ｙ＋Ｍｙが成り立っている。本実施形態では、基準画像７０に対象画像７１を重ね合わせるので、画素Ｄ１に対応する合成画像上の画素Ｄ３を画素Ｄ３（Ｄ１ｘ、Ｄ１ｙ）と表すことができる。そして、画素Ｄ３の画素データＳＩＧ（Ｄ３）は、画素Ｄ１の画素データＳＩＧ（Ｄ１）と画素Ｄ２の画素データＳＩＧ（Ｄ２）とを加算平均することで計算される。具体的には、ＳＩＧ（Ｄ３）＝ＳＩＧ（Ｄ１）／２＋ＳＩＧ（Ｄ２）／２、の式によりＳＩＧ（Ｄ３）が算出される。同様の処理を基準画像７０および対象画像７１の他の画素データに対して実行することにより、基準画像７０および対象画像７１から合成画像が取得される。なお、ここではＳＩＧ（Ｄ１）およびＳＩＧ（Ｄ２）は単純に加算平均されているが、加算平均以外の方法でＳＩＧ（Ｄ１）およびＳＩＧ（Ｄ２）からＳＩＧ（Ｄ３）を生成してもよい。また、ここでは２枚の画像の重ね合わせについて説明したが、３枚以上の画像を重ね合わせも同様に実行することができる。

ステップＳ２０９で合成部６０ｅによる連写画像の重ね合わせが終了すると、ステップＳ１１１の画像合成処理が終了する。前述のように、画像合成処理が終了すると、マイクロコンピュータ３は振れ補正および残留振れ量の算出を終了させ、撮影動作が終了する。

＜１．３ 特徴＞
デジタルカメラ１００の有する特徴を以下にまとめる。

（１）
このデジタルカメラ１００では、選択部６５は、デジタルカメラ１００の振れ量と第２レンズ群保持枠２１の移動量とに基づいて、特徴量を画像信号に基づいて検出するための領域であるサーチ領域Ｉを選択する。デジタルカメラ１００では、サーチ領域Ｉから特徴量を検出することにより、デジタルカメラ１００の振れが特徴量の検出に及ぼす影響を低減することができる。その結果、振れ補正機構２０がデジタルカメラ１００の振れによる影響を完全には補正できなかった場合であっても、画像処理の精度の低下を抑制することができる。

（２）
このデジタルカメラ１００では、選択部６５は、画像信号に基づいて取得された基準画像７０の領域よりも小さいサーチ領域Ｉを選択する。具体的には、サーチ領域決定部６０ｂは、基準画像７０の領域よりも小さいサーチ領域Ｉを対象画像７１から選択する。デジタルカメラ１００では、サーチ領域Ｉに対してＳＡＤの検出を行なうことにより、対象画像７１全体に対して検出を行なう場合に比べて、データの処理量を低減することができる。その結果、効率的な画像処理が可能となる。

（３）
このデジタルカメラ１００では、選択部６５は、検出された振れ量と検出された移動量とに基づいて、サーチ領域Ｉの２次元画像上の位置を決定する。より詳細には、残留振れ量算出部６２により算出された残留振れ量に基づいて、サーチ領域決定部６０ｂはサーチ領域Ｉの対象画像７１上の位置を決定する。したがって、デジタルカメラ１００の振れによる影響を低減するように、サーチ領域Ｉを決定することができる。その結果、デジタルカメラ１００の振れが特徴量の検出に及ぼす影響を低減することができるので、特徴量の誤検出を抑制することが可能である。

また、サーチ領域Ｉの２次元画像上の位置を比較的自由に決定することができるので、残留振れ量がある程度大きい場合でも、画像上での被写体の変位に合わせてサーチ領域Ｉの位置を決定することができる。その結果、特徴量を検出するためにより効果的なサーチ領域Ｉを設定できるので、特徴量の誤検出を抑制することが可能である。

（４）
このデジタルカメラ１００では、テンプレート検出部６０ｃはＳＡＤが最小となるマッチング領域Ｍをサーチ領域Ｉから検出する。また、合成部６０ｅは、互いに異なるタイミングで取得された複数の画像信号から形成される連写画像から、マッチング領域Ｍの２次元画像上での位置を基準に合成画像を生成する。このように、デジタルカメラ１００では、マッチング領域Ｍの２次元画像上での位置を基準に合成画像が生成されるので、精度の良い合成画像を取得することができる。

（５）
このデジタルカメラ１００では、デジタルカメラ１００の振れ量と第２レンズ群保持枠２１の移動量とに基づいて残留振れ量算出部６２が残留振れ量を算出する。また、変動幅算出部６４が露光時間内での残留振れＰＰ値を算出する。残留振れＰＰ値の大きさが所定の変動量限界値以下であるかどうかが読み出し部６０ａによって判定され、条件を満たさない取得画像は合成画像の生成に用いられない。このため、露光時間内に発生した振れが合成画像に及ぼす影響をさらに抑制することが可能となる。

〔２． 第２実施形態〕
第２実施形態に係るデジタルカメラ２００（撮像装置の一例）について、図９を用いて説明する。なお、以下の説明では、第１実施形態と実質的に同じ機能を有する構成には同じ符号を付し、その詳細な説明は省略する。

第２実施形態に係るデジタルカメラ２００では、撮像が実行されると、撮像の直後に残留振れ量が残留振れ量算出部６２からデジタル信号処理部８に出力される。第１実施形態のデジタルカメラ１００とは異なり、デジタル信号処理部８では、撮像が実行された直後に、フォーカスエリアの取得画像上での位置が残留振れ量に応じて調節される。

＜２．１ デジタルカメラの構成＞
図９（Ｂ）に示すように、デジタル信号処理部８には、フォーカスエリア調節部４２が設けられている。フォーカスエリア調節部４２は、取得画像上でのフォーカスエリア（第１画像領域の一例）の位置を調節する。本実施形態では、フォーカスエリア調節部４２と残留振れ量算出部６２とマイクロコンピュータ３とにより選択部６６（選択部の一例）が形成されている。デジタル信号処理部８の内部にフォーカスエリア調節部４２が設けられていることを除き、デジタルカメラ２００の構成はデジタルカメラ１００の構成と実質的に同じである。

＜２．２ デジタルカメラの動作＞
デジタルカメラ２００の撮影動作は、コントラストＡＦの処理を除いて第１実施形態と実質的に同じである。以下、デジタルカメラ２００でのコントラストＡＦについて説明する。

コントラストＡＦでは、取得画像を表す画像データの中から、特定の周波数帯域の成分が抽出される。抽出された周波数帯域の成分を例えば積分することによって、信号レベルが算出される。取得画像上の特定の領域、即ちフォーカスエリアでの信号レベルが、所定のサンプリング間隔で検出される。検出された信号レベルが、取得画像の評価値（合焦情報の一例、特徴量の一例）である。このとき、フォーカスレンズ駆動制御部４１によって、評価値がピークに向かう方向に第１レンズ群Ｌ１が駆動される。評価値が所定のピーク範囲に到達すると、フォーカスレンズ駆動制御部４１は、合焦したと判定し、コントラストＡＦ処理を終了する。

これらの処理中は、評価値のピークを正確に検出するために、フォーカスエリア内には同じ被写体が継続して捉えられていることが望ましい。評価値のピークが正しく検出されない場合は、コントラストＡＦの精度が低下したり、コントラストＡＦに要する処理時間が増大したりするおそれがある。そこで、デジタルカメラ２００では、残留振れ量に応じてフォーカスエリアの取得画像上での位置が概ねリアルタイムに調節される。

図４のフローチャートに示すように、振れ補正および残留振れ量算出が開始された後、ステップＳ１０３にてコントラストＡＦが実行される。コントラストＡＦは露光準備期間（図７を参照）で実行される。

デジタルカメラ２００では、フォーカスエリア調節部４２にフォーカスエリアの既定値が与えられる。フォーカスエリアの既定値は、デフォルトの状態でのフォーカスエリアの位置および形状の情報である。既定値は、例えば内部メモリ５０に予め記憶されている。この場合、既定値はマイクロコンピュータ３により内部メモリ５０から読み出され、マイクロコンピュータ３のＲＡＭ３ａに一時的に格納される。フォーカスエリア調節部４２は、ＲＡＭ３ａから既定値を取得する。また、フォーカスエリア調節部４２には、残留振れ量算出部６２から残留振れ量が与えられる。なお、フォーカスエリアの形状の情報には、大きさの情報が含まれる。

図７に示した露光準備期間では、振れ補正処理が正確に実行された場合は、残留振れ角の値は「０」である。しかしこの期間に、何らかの理由で、振れ補正機構２０が補正端に達してしまうような大きな振れが発生すると、残留振れ量が発生する。この残留振れ量が、第１実施形態と同様の方法で検出され、フォーカスエリア調節部４２に送られる。フォーカスエリア調節部４２は、前述のサーチ領域決定部６０ｂと同様に、既定値および残留振れ量に基づいて取得画像でのフォーカスエリアの位置を決定する。

具体的には、フォーカスエリア調節部４２は、既定値により指定されるフォーカスエリアの位置を、２次元ベクトル量である残留振れ量に基づいて取得画像上で変位させる。より詳細には、フォーカスエリア調節部４２は、残留振れ量を表すベクトルと逆向きの方向に、残留振れ量の大きさで、フォーカスエリアの位置を動かす。

つまり、フォーカスエリア調節部４２は、既定値によって定められているデフォルトの状態でのフォーカスエリアの位置を、残留振れ量を表すベクトルに基づいて変更し、新たな位置を表す情報を生成する。さらに、フォーカスエリア調節部４２は、変更された新たな位置情報と、既定値によって定められているフォーカスエリアの形状の情報とを組み合わせて、フォーカスエリアを指定する情報を更新する。

フォーカスエリア調節部４２は、更新されたフォーカスエリアの位置と形状の情報をデータ抽出部４３に与える。また、データ抽出部４３には、デジタル信号処理部８の内部で、取得画像を表す画像データが伝えられる。データ抽出部４３は、取得画像を表す画像データから、フォーカスエリアの位置および形状の情報に基づいて、新たなフォーカスエリアに対応する画像データを抽出する。コントラスト算出部４０およびフォーカスレンズ駆動制御部４１は、データ抽出部４３により抽出された画像データに基づいて、コントラストＡＦを行なう。

以上のように、振れの影響を打ち消す方向にフォーカスエリアが移動するので、デジタルカメラ２００が振れても、フォーカスエリアに同じ被写体を捉え続けることが可能になる。

このように、このデジタルカメラ２００では、残留振れ量に応じて位置が調節されたフォーカスエリアから評価値が算出されるので、評価値の算出での振れの影響が低減される。その結果、振れによる合焦制御の誤動作が抑制される。すなわち、振れ補正機構２０が補正端に達してしまい、残留振れ角が発生した場合でも、フォーカスエリアを取得画面上で適切に設定することが可能となり、コントラストＡＦの誤動作を減らすことができる。

なお、残留振れ量が所定のしきい値以下の場合は、フォーカスエリア調節部４２がフォーカスエリアの位置を調節しない構成としてもよい。また、ここで示された技術は、コントラストＡＦ機能を有するデジタルカメラであれば適用可能である。本実施形態では、デジタルカメラ２００は連写合成モードを選択できるデジタルカメラであるとしたが、連写合成モードを持たないデジタルカメラでも構わない。

〔３． 第３実施形態〕
第３実施形態に係るデジタルカメラ３００（撮像装置の一例）について、図１０を用いて説明する。なお、以下の説明では、第１実施形態と実質的に同じ機能を有する構成には同じ符号を付し、その詳細な説明は省略する。デジタルカメラ３００では、デジタルカメラ１００とは異なり、追跡部６３が設けられ、例えば色情報に基づいて着目する物体の追跡が行なわれる。追跡では、撮像が行なわれるたびに、取得画像上での物体の位置が検出される。

＜３．１ デジタルカメラの構成＞
図１０に示すように、デジタルカメラ３００は、追跡部６３を備えている。追跡部６３およびデジタル信号処理部８は、互いにデータおよび制御信号を送受信することができる。また、追跡部６３およびマイクロコンピュータ３は、互いにデータおよび制御信号を送受信することができる。なお、追跡部６３には、デジタル信号処理部８を介して、取得画像に対応する残留振れ量が残留振れ量算出部６２から入力される。

追跡部６３は、分散位置決定部６３ａと、位置推定部６３ｂと、揮発性メモリ６３ｃとを含んでいる。分散位置決定部６３ａは、後述するパーティクルの配置される位置を決定する。位置推定部６３ｂは、パーティクルフィルタを用いて、取得画像上での物体の位置を検出する。揮発性メモリ６３ｃは、物体の位置を示す情報を一時的に格納する。また、揮発性メモリ６３ｃは、パーティクルの位置を示す情報を一時的に格納する。本実施形態では、分散位置決定部６３ａと残留振れ量算出部６２とマイクロコンピュータ３とにより選択部６７（選択部の一例）が形成されている。

追跡部６３が設けられていることを除き、デジタルカメラ３００の構成はデジタルカメラ１００の構成と実質的に同じである。

＜３．２ デジタルカメラの動作＞
デジタルカメラ３００では、撮像が行なわれると、撮像により得られた取得画像から追跡の対象である物体（以下、対象物体という）が検出される。対象物体の検出には、対象物体の特徴を表す情報が用いられる。ここでは、対象物体の特徴を表す情報は、対象物体の色情報（特徴量の一例）である。色情報は、例えば、対象物体の外観の特徴的な色を表す情報である。この場合、色を３原色（赤、青、緑）の配合比率で表し、色情報として３原色の配合比率を用いることが考えられる。

《対象物体の指定》
対象物体は、ユーザーによって指定される。また、指定された対象物体から色情報が抽出される。例えば、ユーザーは、表示部１４に設けられたタッチパネル（図示せず）を用いて、表示部１４に表示された撮影画像から対象物体を指定する。この場合は、ユーザーはタッチパネル上で対象物体に触れることにより、対象物体を指定する。

撮影画像を表す画像データを用いて、マイクロコンピュータ３は、指定された対象物体の色情報を算出する。算出された色情報は、マイクロコンピュータ３から位置推定部６３ｂに伝えられる。また、タッチパネル上でユーザーの触れた位置に対応する撮影画像での位置が検出される。検出された位置情報は、マイクロコンピュータ３を介して分散位置決定部６３ａに伝えられ、対象物体の初期位置に設定される。

対象物体の指定が終わると、取得画像を表す画像データがデジタル信号処理部８から位置推定部６３ｂに入力され、取得画像から対象物体が検出される。色情報に基づいた検出方法として、ここではパーティクルフィルタを利用する。パーティクルフィルタを用いた物体追跡の方法については、例えば特開２００９−１８２６２４号公報に記載されている。ここでのパーティクルは取得画像上での位置を指定する情報である。この方法では、対象物体の色情報と同一または類似する色情報を有する画素がパーティクルの近傍にどれだけ存在するかを表す尤度が算出される。算出された尤度およびパーティクルの位置に基づいて、対象物体の位置が検出される。パーティクルフィルタでは、選択ステップと、予測ステップと、測定ステップとが実行される。

選択ステップでは、分散位置決定部６３ａにより、対象物体の初期位置を中心とした周辺領域に複数のパーティクルが分散して配置される。パーティクルの位置は位置推定部６３ｂに伝えられる。位置推定部６３ｂでは、各パーティクルでの尤度が算出される。次に、尤度の大きさに比例する確率でＮ個のパーティクルが選択される。このとき、同じパーティクルが重複して選択されてもよい。パーティクルが重複して選択された場合は、同じ位置に複数のパーティクルがあるとみなされる。予測ステップでは、選択ステップで選ばれた尤度の高いパーティクルが取得画像上でランダムに分散され、再配置される。測定ステップでは、各パーティクルについて、再び尤度が計算される。そして、すべてのパーティクルの位置が尤度を重みに用いて平均される。すなわち、尤度を重みとしてパーティクルの位置の重み付け平均が算出される。得られた平均値が、対象物体の位置であると推定される。なお、パーティクルの再配置から位置の推定までの処理を何度か繰り返し行ない、推定の精度を高めることも可能である。

以上のように、位置推定部６３ｂでは、ユーザーの指定した情報に基づいて対象物体の位置が検出される。検出された被写体の位置を表す情報は、揮発性メモリ６３ｃに一時的に格納される。

《対象物体の追跡》
次に、取得画像を表す画像データが新たにデジタル信号処理部８から追跡部６３に入力され、対象物体の検出が行なわれる。このとき、取得画像に対応する残留振れ量も追跡部６３に入力される。対象物体は、上記と同様にパーティクルフィルタを用いて検出される。つまり、選択ステップと、予測ステップと、測定ステップと、が実行される。

選択ステップでは、分散位置決定部６３ａは、２段階のステップによりパーティクルを分散する。第１ステップでは、分散位置決定部６３ａは、揮発性メモリ６３ｃから対象物体の位置を表す情報を取得し、対象物体の周辺にパーティクルを分散して配置する。つまり、パーティクルが分散されることにより、パーティクルが配置された位置にある画素が指定される。このときのパーティクルが配置される位置を、仮配置位置とする。仮配置位置を表す情報は、揮発性メモリ６３ｃに一時的に格納される。

続く第２のステップでは、分散位置決定部６３ａは、残留振れ量に基づいて仮配置位置を移動させる。つまり、分散位置決定部６３ａは、揮発性メモリ６３ｃから仮配置位置の情報を読み出し、仮配置位置を残留振れ量に基づいて移動させる。ここで、仮配置位置を移動させて得られた配置位置を、真配置位置とする。真配置位置を表す情報は、位置推定部６３ｂに伝えられる。

このように、パーティクルが配置される位置を移動させることにより、取得画像上の画素（第１画像領域の一例）が新たに指定される。分散位置決定部６３ａが仮配置位置を真配置位置へと移動させる方法は、第１実施形態のサーチ領域決定部６０ｂでの方法と同様である。残留振れ量に基づいて仮配置位置の位置が調節され、真配置位置が算出される。

位置推定部６３ｂは、真配置位置に配置されたパーティクルの尤度を計算し、パーティクルフィルタの処理が実行される。つまり、予測ステップと、測定ステップと、が実行される。位置推定部６３ｂで検出された対象物体の位置は、再び揮発性メモリ６３ｃに一時的に格納される。デジタルカメラ３００では、追跡機能が有効である場合には、撮像が行なわれるたびに対象物体の取得画像上での位置が検出される。対象物体の位置を表す情報は必要に応じてマイクロコンピュータ３によって読み出され、各種の制御に用いられる。

以上のように、このデジタルカメラ３００では、振れ補正機構２０が補正端に達してしまい、残留振れ角が発生した場合でも、残留振れ量に基づいてパーティクルの配置位置が調節される。このため、物体追跡処理における検出エリアとしてのパーティクルの分散配置位置を残留振れ量の影響を排除して画像上に適切に設定することが可能となり、物体追跡処理での誤動作を減らすことができる。

なお、本実施形態では追跡アルゴリズムとして色情報を用いた例を示したが、これに限定されない。ここに示した技術は、他の種々の追跡アルゴリズムに適用することができる。また、残留振れ量が所定のしきい値以下の場合は、パーティクルが分散される位置の調整が行なわれない構成としてもよい。また、本実施形態に係るデジタルカメラ３００では、連写合成モードが選択可能であるが、必ずしも連写合成モードが選択可能でなくてもよい。連写合成モードが設けられていないデジタルカメラであっても構わない。

〔４． 他の実施形態〕
本発明の実施形態は、前述の実施形態に限られず、本発明の趣旨を逸脱しない範囲で種々の修正および変更が可能である。

（１）
前述の実施形態では、デジタルカメラで主に静止画を撮影する場合を例に挙げて説明しているが、振れ補正装置を備えた撮像装置に対しても前述の技術は適用可能である。例えば、デジタルビデオカメラやカメラを備えた携帯電話といった、デジタルカメラ以外の撮像装置にも前述の技術は適用可能である。

（２）
前述の実施形態では、複数回数の撮像が終了した後に連写画像処理部６０において合成画像が生成される構成としたが、これに限定されるわけではない。例えば撮像処理が１回実行されるたびに連写画像処理部６０に画像データを伝え、撮像処理と並行して合成処理を逐次行わせる構成が考えられる。

（３）
前述の実施形態では、レリーズボタン３５が半押しされると振れ補正および残留振れ量の算出が開始され、引き続いてコントラストＡＦが実行されているが、これに限定されるわけではない。例えば、デジタルカメラ１００の電源がＯＮにされた直後から、振れ補正および残留振れ量の算出が開始されるシステムであっても良い。

（４）
前述の実施形態では、連写合成モードでの撮像処理およびセンタリングは順番に実行されていたが、これに限定されるわけではない。例えば、露光時間が終了した後に行われる様々の画像データ処理がセンタリングと並行して実行されても良い。

また、センタリングが省略されても構わない。

（５）
前述の実施形態では、残留振れ量は、角速度センサ１７の出力から得られる振れ角と、位置検出部１６の出力信号に基づいて算出される補正角とを用いて算出されているが、これ以外の方法を用いて残留振れ量を算出しても構わない。例えば、画像上の特徴領域の移動量を画像処理により算出して、残留振れ量を推定する方法が用いられても良い。

（６）
前述の実施形態では、露光開始時の残留振れ量がサーチ領域Ｉの選択などの画像処理に用いられていたが、必ずしも露光開始時の残留振れ量を用いなくてもよい。例えば、露光時間が終了した時点での残留振れ量が用いられても良い。また、残留振れ量をモニタリングすることで露光時間内での残留振れ量の平均値を算出し、得られた平均値を残留振れ量として用いても良い。

（７）
前述の実施形態では、残留振れＰＰ値が所定の限界変動値を越えた場合に、対応する取得画像は合成の対象から除外されていたが、これに限定されない。例えば、連写画像に含まれる全ての取得画像について、対応する残留振れＰＰ値が所定のしきい値（第２上限の一例）以下である場合に限り、合成画像が生成されても良い。なお、合成画像が生成されない場合は、連写画像から一つの取得画像を選択し、合成画像の代わりとして画像メモリ９に出力することが考えられる。

あるいは、連写画像のうち、残留振れＰＰ値がしきい値を越える前に撮像された取得画像のみを用いて合成画像を生成しても良い。

以上のようなシステムとすることでも、振れの影響が抑制された合成画像を生成することが可能である。

（８）
前述の実施形態では、連写画像に含まれる取得画像の全てに対して、基準領域Ｗを移動させてサーチ領域Ｉを設定する処理が行なわれていた。しかし、残留振れ量が所定のしきい値以下の場合は、サーチ領域決定部６０ｂはサーチ領域Ｉの位置の調整を実行しない構成としてもよい。例えば、直前に撮像された取得画像上でのサーチ領域Ｉと同じ位置に、サーチ領域Ｉを設定してもよい。このような構成にすると、サーチ領域Ｉを決定する際に要する処理量が小さくなる。その結果、画像処理を行なうために必要な回路の規模を小さくすることができ、デジタルカメラの消費電力が低減される。

（９）
前述の実施形態では、第２レンズ群Ｌ２の位置を変化させることで振れ補正が行なわれていたが、その他の部品を動かすことにより振れ補正を行なっても構わない。例えば、ＣＣＤ４を動かして振れの影響を低減させることも可能である。このように、ＣＣＤ４は可動部の一例でもある。

（１０）
前述の実施形態では、デフォルトの状態でのフォーカスエリアの位置および形状を指定する既定値を予め内部メモリ５０に記憶させていたが、それ以外の方法でデフォルトの状態でのフォーカスエリアを表す情報を指定してもよい。例えば、被写体を追尾することにより得られたフォーカスエリアの位置および形状の情報を、フォーカスエリアの位置と形状についての初期情報として用いることが可能である。

（１１）
前述の実施形態で説明した撮像装置において、各ブロックの処理をそれぞれ個別のハードウェアにより実現してもよいし、ハードウェアに幾つかの異なるブロックの処理を実行させるようにしてもよい。例えば、マイクロコンピュータに各種のプログラムを読み込ませることにより、マイクロコンピュータに撮像装置の各ブロックの処理を行なわせてもよい。また、前述の実施形態における処理方法の実行順序は、必ずしも、上記実施形態の記載に制限されるものではなく、発明の要旨を逸脱しない範囲で、実行順序を入れ替えることができるものである。

ここに開示された撮像装置は、振れ補正装置による振れの影響の低減が十分出ない場合でも撮像に伴う処理を適切に行なえるため、振れ補正装置を備えたデジタルカメラ等に有用である。

３ マイクロコンピュータ
４ ＣＣＤ
１４ 表示部
１５ｘ ヨーイング駆動制御部（駆動部の一例）
１５ｙ ピッチング駆動制御部（駆動部の一例）
１６ 位置検出部（移動量検出部の一例）
１７ 角速度センサ（振れ量検出部の一例）
２１ 第２群レンズ群保持枠（可動部の一例）
４０ コントラスト算出部（合焦情報算出部の一例）
４１ フォーカスレンズ駆動制御部（合焦制御部の一例）
４２ フォーカスエリア調節部
６０ 連写画像処理部
６０ａ 読み出し部（判断部の一例）
６０ｂ サーチ領域決定部
６０ｃ テンプレート検出部（特徴領域検出部の一例）
６０ｄ 動きベクトル検出部
６０ｅ 合成部
６２ 残留振れ量算出部
６３ａ 分散位置決定部
６４ 変動幅算出部
６５ 選択部（第１実施形態）
６６ 選択部（第２実施形態）
６７ 選択部（第３実施形態）
７０ 基準画像（撮影画像の一例）
７１ 対象画像
９０ 撮像処理部
９２ 撮像部
９５ シャッター（露光調節部の一例）
１００ デジタルカメラ（撮像装置の一例）
Ｉ サーチ領域（第１画像領域の一例）
Ｍ マッチング領域（特徴領域の一例）
ＶＭ 動きベクトル
Ｌ 光学系

Claims (8)

1. 被写体の光学像を形成する光学系と、
   前記光学像から画像信号を取得する撮像部と、
   自装置の振れ量を検出する振れ量検出部と、
   前記光学系の一部および前記撮像部の一部のうち少なくとも一方を含む可動部と、
   前記検出された振れ量に基づいて前記可動部を移動させる駆動部と、
   前記可動部の移動量を検出する移動量検出部と、
   前記検出された振れ量と前記検出された移動量とに基づいて、特徴量を前記画像信号に基づいて検出するための領域である第１画像領域を選択する選択部と、
   を備える撮像装置。
2. 前記選択部は、前記画像信号に基づいて取得された撮影画像の領域よりも小さい前記第１画像領域を選択する、
   請求項１に記載の撮像装置。
3. 前記選択部は、前記検出された振れ量と前記検出された移動量とに基づいて、前記第１画像領域の２次元画像上での位置を決定する、
   請求項１または２に記載の撮像装置。
4. 前記特徴量が所定の条件を満たす特徴領域を前記第１画像領域から検出する特徴領域検出部と、
   互いに異なるタイミングで取得された複数の前記画像信号から、前記特徴領域の２次元画像上での位置を基準に合成画像を生成する合成部と、をさらに備える、
   請求項１から３のいずれかに記載の撮像装置。
5. 前記特徴領域の２次元画像上での位置の変化を表す動きベクトルを検出する動きベクトル検出部をさらに備え、
   前記合成部は、前記動きベクトルを用いて前記合成画像を生成する、
   請求項４に記載の撮像装置。
6. 判断部をさらに備え、
   前記選択部は、前記検出された振れ量と前記検出された移動量とに基づいて残留振れ量を算出する残留振れ量算出部を有しており、
   前記判断部は、前記残留振れ量に基づいて、前記合成部が前記合成画像の生成を行なうかどうかを判断する、
   請求項４または５に記載の撮像装置。
7. 前記被写体への合焦状態を表す合焦情報を算出する合焦情報算出部と、
   前記合焦情報に基づいて合焦制御を行なう合焦制御部と、をさらに備え、
   前記合焦情報算出部は、前記画像信号のうち前記第１画像領域を構成する画像信号に基づいて前記特徴量としての前記合焦情報を算出する、
   請求項１から６のいずれかに記載の撮像装置。
8. 前記特徴量は、特定の色を表す色情報である、
   請求項１から７のいずれかに記載の撮像装置。

Images