JP2010183353A - 撮影装置 - Google Patents

Abstract

【課題】 好適な撮影が可能な撮像装置を提供する。
【解決手段】 装置の振れを検出し検出信号を出力する検出部（２８）と、第１画像（Ｐ_１）と、第１画像が取得された時刻とは異なる時刻に取得された第２画像（Ｐ_２）とを取得する第１画像取得部（５２）と、第１画像及び第２画像とは異なる第３画像を取得する第２画像取得部（５１）と、第１画像に含まれる第１領域（ＴＭ１）に対応する第２領域（ＴＭ１’’）を、検出信号を用いて第２画像から特定し、第１領域の情報と第２領域の情報とを用いて動きベクトルを取得する動きベクトル取得部（８４）と、動きベクトルを用いて前記装置の振れを補正する補正部（２５）と、を含むことを特徴とする。
【選択図】 図４

Description

本発明は、撮影時に生じるブレを補正するブレ補正機能を備えた撮影装置に関する。

撮影光学系における光軸のブレを補正するブレ補正装置や、そのようなブレ補正装置を備えた撮影装置などが知られている。これらの装置の中には、撮影光学系の一部と撮像素子（またはフィルム）とのいずれかを物理的に移動させることによりブレを補正するものがある。また、この他に、露光時間を分割して繰り返し撮像を行い、該撮像で得られた複数の画像を撮影光学系の光軸のブレとから求められる動きベクトルに基づいて合成する装置も提案されている。

本発明は、好適な撮影が可能な撮影装置を提供することを目的とする。

本発明は、以下のような解決手段により前記課題を解決する。なお、理解を容易にするために、本発明の一実施例を示す図面に対応する符号を付して説明するが、これに限定されるものではない。

請求項１に記載の発明は、装置の振れを検出し検出信号を出力する検出部（２８）と、
第１画像（Ｐ_１）と、前記第１画像（Ｐ_１）が取得された時刻とは異なる時刻に取得された第２画像（Ｐ_２）とを取得する第１画像取得部（５２）と、
前記第１画像（Ｐ_１）及び前記第２画像（Ｐ_２）とは異なる第３画像を取得する第２画像取得部（５１）と、
前記第１画像（Ｐ_１）に含まれる第１領域（ＴＭ１）に対応する第２領域（ＴＭ１’’）を、前記検出信号を用いて前記第２画像（Ｐ_２）から特定し、前記第１領域（ＴＭ１）の情報と前記第２領域（ＴＭ１’’）の情報とを用いて動きベクトルを取得する動きベクトル取得部（８４）と、
前記動きベクトルを用いて前記装置の振れを補正する補正部（２５）とを含むことを特徴とする撮影装置である。

請求項２に記載の発明は、請求項１に記載された撮影装置であって、
前記補正部（２５）は、前記第２画像取得部（５１）により取得される像を形成する光学系（２１）の少なくとも一部、及び、前記第２画像取得部（５１）の少なくとも一方を駆動することにより、前記装置の振れを補正することを特徴とする撮影装置である。

請求項３に記載の発明は、請求項１又は請求項２に記載された撮影装置であって、
前記検出信号に含まれるパンニング成分を低減させるフィルタ部と、
撮影者が操作可能な操作部（７４）とを含み、
前記動きベクトル取得部（８４）は、前記撮影者により前記操作部（７４）が操作されたとき、前記フィルタ部から出力された信号を用いて前記第２画像（Ｐ_２）から前記第２領域（ＴＭ１’’）を特定することを特徴とする撮影装置である。

請求項４に記載の発明は、請求項１から請求項３までの何れか１項に記載された撮影装置であって、
前記動きベクトル取得部（８４）は、前記検出信号に基づいて前記第２画像（Ｐ_２）に前記第１領域（ＴＭ１）に対応する設定領域（ＴＭ１’）を設定し、前記設定領域（ＴＭ１’）と前記第１領域（ＴＭ１）との相関が高いときは、前記設定領域（ＴＭ１’）を前記第２領域（ＴＭ１’’）とすることを特徴とする撮影装置である。

請求項５に記載の発明は、請求項４に記載された撮影装置であって、
前記動きベクトル取得部（８４）は、前記設定領域（ＴＭ１’）と前記第１領域（ＴＭ１）との相関が低い場合、前記設定領域（ＴＭ１’）の近傍の領域と前記第１領域（ＴＭ１）との相関を演算し、前記設定領域（ＴＭ１’）の近傍の領域と前記第１領域（ＴＭ１）との相関が前記設定領域（ＴＭ１’）と前記第１領域（ＴＭ１）との相関よりも高いとき、前記設定領域（ＴＭ１’）の近傍の領域を前記第２領域（ＴＭ１’’）とすることを特徴とする撮影装置である。

請求項６に記載の発明は、請求項１から請求項５までの何れか１項に記載された撮影装置であって、
前記第３画像に含まれる主要被写体を検出する主要被写体検出部を有し、
前記第１領域（ＴＭ１）には、前記主要被写体の少なくとも一部が含まれることを特徴とする撮影装置である。

請求項７に記載の発明は、請求項１から請求項５までの何れか１項に記載された撮影装置であって、
前記第３画像の合焦領域を検出する合焦領域検出部（３５）を有し、
前記第１領域（ＴＭ１）は、前記合焦領域検出部（３５）により検出された前記合焦領域に対応する領域を含むことを特徴とする撮影装置である。

請求項８に記載の発明は、請求項１からから請求項７までの何れか１項に記載された撮影装置であって、
前記第１画像取得部（５２）により撮像された前記第１画像（Ｐ_１）及び前記第２画像（Ｐ_２）は、前記第２画像取得部（５１）により撮像された前記第３画像よりも被写界深度が深いことを特徴とする撮影装置である。

請求項９に記載の発明は、請求項１から請求項８までの何れか１項に記載された撮影装置であって、
前記第１画像取得部（５２）により撮像された前記第１画像（Ｐ_１）及び前記第２画像（Ｐ_２）は、前記第２画像取得部（５１）により撮像された前記第３画像よりも広角の画像であることを特徴とする撮影装置である。

請求項１０に記載の発明は、請求項１からから請求項９までの何れか１項に記載された撮影装置であって、
前記第１画像取得部（５２）は、前記第１画像（Ｐ_１）及び前記第２画像（Ｐ_２）を形成するための第１光学系（４１）を有し、
前記第２画像取得部（５１）は、前記第１光学系（４１）よりも狭角な前記第３画像を形成するための第２光学系（２１）を有することを特徴とする撮影装置である。

請求項１１に記載の発明は、請求項１から請求項１０までの何れか１項に記載された撮影装置であって、
前記第１画像取得部（５２）は、前記第２画像（Ｐ_２）を取得した後、前記第１画像（Ｐ_１）、前記第２画像（Ｐ_２）及び前記第３画像とは異なる第４画像を取得し、
前記動きベクトル取得部（８４）は、前記第２画像（Ｐ_２）の前記第２領域（ＴＭ１’’）に対応する第４領域を、前記検出信号を用いて前記第４画像から特定し、前記第２領域（ＴＭ１’’）の情報と前記第４領域の情報とを用いて動きベクトルを取得することを特徴とする撮影装置である。

なお、符号を付して説明した構成は適宜改良してもよく、また、少なくとも一部を他の構成物に代替してもよい。

本発明によれば、好適な撮影が可能な撮影装置を提供することができる。

電子カメラの構成を示す図である。 電子カメラの回路構成を示す図である。 角速度センサにより求められる移動ベクトルを、手ブレ成分とパンニング成分とに分解したときの図である。 第１ズレ補正モードが選択されたときに得られる第１画像及び第２画像における撮影範囲及び被写体の位置を示す図である。 撮影範囲を固定したときに、時間Ｔ１から時間Ｔ２に変化したときの被写体の位置を示す図である。 第２ズレ補正モードが選択されたときに得られる第1画像及び第２画像における撮影範囲及び被写体の位置を示す図である。 撮影範囲を固定したときに、時間Ｔ３から時間Ｔ４に変化したときの被写体の位置を示す図である。 撮像時の処理の流れを示すフローチャートである。

図１は、本実施形態の撮影装置の一例としての電子カメラの概略を示す。電子カメラ１０は、カメラ本体１１と、撮影光学系を収容したレンズユニット１２とを有している。カメラ本体１１及びレンズユニット１２には、雄雌の関係をなす一対のマウント１３，１４がそれぞれ設けられている。レンズ側のマウント１４をバヨネット機構等でカメラ本体１１側のマウント１３に結合することで、レンズユニット１２はカメラ本体１１に対して交換可能に装着される。また、上記のマウント１３，１４にはそれぞれ電気接点（不図示）が設けられている。カメラ本体１１とレンズユニット１２との接続時には、電気接点間の接触で両者の電気的な接続が確立するようになっている。

まず、レンズユニット１２の構成を説明する。レンズユニット１２は、撮像光学系２１と、ズームエンコーダ２２と、レンズ駆動部２３と、距離エンコーダ２４と、ブレ補正部２５と、絞り２６と、絞り駆動部２７と、角速度センサ２８と、レンズマイコン２９とを有している。なお、ズームエンコーダ２２、レンズ駆動部２３、距離エンコーダ２４、ブレ補正部２５及び絞り駆動部２７は、それぞれレンズマイコン２９に接続されている。以下、このレンズユニット１２に設けられる撮像光学系２１を第１撮像光学系２１と称して説明する。

第１撮像光学系２１は、ズームレンズ２１ａやフォーカスレンズ２１ｂ等、複数のレンズを有している。ズームレンズ２１ａは焦点距離を調整するためのレンズであって、ズーム環（不図示）の操作に応じて光軸方向に前後移動可能に構成されている。このズームレンズ２１ａには、レンズの光軸方向位置を検出するズームエンコーダ２２が取り付けられている。フォーカスレンズ２１ｂは合焦位置を調節するためのレンズであって、光軸方向に前後移動可能に構成されている。レンズ駆動部２３はフォーカスレンズ２１ｂをモータ（不図示）によって駆動させる。このフォーカスレンズ２１ｂには、光軸方向に移動するフォーカスレンズ２１ｂの位置を検出する距離エンコーダ２４が取り付けられている。上述したズームエンコーダ２２からの検出信号や、距離エンコーダ２４からの検出信号は、レンズマイコン２９に出力される。これら検出信号より、撮影時の撮影距離や焦点距離が求められる。なお、撮影距離や焦点距離はレンズマイコン２９又は後述するＣＰＵ５８にて求められ、第１撮像光学系２１と第２撮像光学系４１との視差補正時に用いられる。

ブレ補正部２５は、例えば、ＶＣＭ（ボイスコイルモータ）等のアクチュエータであり、後述する相関演算部８６により求められるブレ量に基づいて第１撮像光学系２１の少なくとも一部のレンズを光軸方向と直交する方向に移動させ、撮影時に生じるブレを補正する。

絞り２６は、カメラ本体１１への入射光量を絞り羽根の開閉で調整する。絞り駆動部２７は、絞り２６の開口度をモータ（不図示）によって制御する。

角速度センサ２８は、レンズユニット１２の姿勢が変化したときのレンズユニット１２の角速度を検出する。例えば動いている被写体を追って電子カメラ１０を移動させる、所謂パンニングを行う場合や、ユーザが電子カメラ１０を把持する際にカメラ本体１１のブレ（手ブレ）が生じた場合に、レンズユニット１２の姿勢が変化するので、このような場合に、角速度センサ２８により角速度が検出される。つまり、この角速度センサ２８によって、レンズユニット１２及びカメラ本体１１の角速度、言い換えれば第１撮像光学系２１の角速度が検出される。この角速度は、第２撮像光学系４１の角速度に等しい。

レンズマイコン２９は、マウント１４の電気接点を介してカメラ本体１１との通信を行うとともに、レンズユニット１２での各種制御を実行する。また、レンズマイコン２９は、ＲＯＭ（不図示）に記録されたレンズデータなどをカメラ本体１１に送信する。

ところで、図１に示すレンズユニット１２は一般的なズームレンズユニットの構成の一例にすぎない。そのため、カメラ本体１１には、上記のレンズユニット１２のほかにも、例えばレンズマイコン２９を有しないレンズユニットや、単焦点レンズのレンズユニットなどを装着することが可能である。

また、レンズユニット１２がカメラ本体１１に着脱自在な、所謂一眼レフタイプの電子カメラの例を取り上げているが、これに限定する必要はなく、レンズユニット１２がカメラ本体１１に固定される、所謂コンパクトタイプの電子カメラであってもよい。

次に、カメラ本体１１の撮影機構の構成を説明する。カメラ本体１１は、クイックリターンミラー３１と、メカニカルシャッタ３２と、第１撮像素子３３と、サブミラー３４と、焦点検出部３５と、ファインダ光学系（３６〜３９）と、第２撮像光学系４１及び第２撮像素子４２を有している。

クイックリターンミラー３１、メカニカルシャッタ３２及び第１撮像素子３３は、第１撮像光学系２１の光軸に沿って配置される。クイックリターンミラー３１の後方にはサブミラー３４が配置される。また、カメラ本体１１の上部にはファインダ光学系、第２撮像光学系４１及び第２撮像素子４２が配置されている。さらに、カメラ本体１１の下部領域には焦点検出部３５が配置されている。

クイックリターンミラー３１は、不図示の回動軸によって回動可能に軸支されており、観察状態と退避状態とを切り替え可能となっている。観察状態のクイックリターンミラー３１は、メカニカルシャッタ３２及び第１撮像素子３３の前方で傾斜配置される。この観察状態のクイックリターンミラー３１は、第１撮像光学系２１を通過した光束を上方へ反射してファインダ光学系に導く。また、クイックリターンミラー３１の中央部はハーフミラーとなっている。そして、クイックリターンミラー３１を透過した一部の光束は、サブミラー３４によって下方に屈折されて焦点検出部３５に導かれる。なお、焦点検出部３５は、不図示のセパレータレンズで分割された被写体像の像ズレ量を各々のＡＦエリア毎に検出し、いわゆる位相差検出式の焦点検出を行う。

一方、退避状態のクイックリターンミラー３１は、サブミラー３４とともに上方に跳ね上げられて撮影光路から外れた位置に回動する。クイックリターンミラー３１が退避状態にあるときは、第１撮像光学系２１を通過した光束がメカニカルシャッタ３２及び第１撮像素子３３に導かれる。

ファインダ光学系は、拡散スクリーン（焦点板）３６と、コンデンサレンズ３７と、ペンタプリズム３８と、接眼レンズ３９とを有している。拡散スクリーン３６はクイックリターンミラー３１の上方に位置し、観察状態のクイックリターンミラー３１で反射された光束が一旦結像する。拡散スクリーン３６上で結像した光束はコンデンサレンズ３７及びペンタプリズム３８を通過し、ペンタプリズム３８の入射面に対して９０°の角度を有する射出面に導かれる。そして、ペンタプリズム３８の射出面からの光束は、接眼レンズ３９を介してユーザの目に到達することとなる。

第２撮像光学系４１及び第２撮像素子４２は例えばカメラ本体１１上部に設けられる。この第２撮像光学系４１は、第１撮像光学系２１の光軸に平行な直線を光軸とするように配置される。これら第２撮像光学系４１及び第２撮像素子４２は、後述するブレ量を算出するための画像（以下、演算用画像）を取得する際に用いられる。このため、第２撮像光学系４１は、第１撮像光学系２１の画角を含有しつつ、第１撮像光学系２１よりもイメージサークルの小さい光学系から構成される。なお、第２撮像素子４２は、例えば毎秒２００枚など、所定間隔毎に演算用画像を取得するように制御される。この第２撮像素子４２においては、例えば１万画素など、第１撮像素子３３よりも画素数が少ないものが用いられる。

次に、電子カメラ１０の回路構成について、図２を用いて説明する。カメラ本体１１は、第１画像取得部５１、第２画像取得部５２、メモリ５３、記録Ｉ／Ｆ５４、表示Ｉ／Ｆ５５、メインモニタ５６、操作部５７、ＣＰＵ５８及びシステムバス５９を有している。ここで、第１画像取得部５１、メモリ５３、記録Ｉ／Ｆ５４、表示Ｉ／Ｆ５５及びＣＰＵ５８はシステムバス５９を介して接続されている。なお、ＣＰＵ５８は、マウント１３の電気接点とも接続されている（図示省略）。

第１画像取得部５１は、第１撮像素子３３、第１アナログ処理部６１、第１デジタル処理部６２を有している。第１撮像素子３３は、記録用画像である撮影画像を生成するためのセンサである。この第１撮像素子３３は、レリーズ時に第１撮像光学系２１を通過した光束を光電変換して撮影画像のアナログ画像信号を出力する。第１撮像素子３３の出力信号は第１アナログ処理部６１に入力される。なお、第１撮像素子３３は、撮影待機時（非レリーズ時）に所定間隔毎に間引き読み出しでスルー画像を出力することもできる。そのため、クイックリターンミラー３１が退避位置にある場合には、ＣＰＵ５８が第１撮像素子３３のスルー画像によって撮影条件を決定することも可能である。

第１アナログ処理部６１は、ＣＤＳ回路、ゲイン回路、Ａ／Ｄ変換回路などを有するアナログフロントエンド回路である。ＣＤＳ回路は、相関二重サンプリングによって第１撮像素子３３の出力のノイズ成分を低減する。ゲイン回路は入力信号の利得を増幅して出力する。このゲイン回路では、ＩＳＯ感度に相当する撮像感度の調整を行うことができる。Ａ／Ｄ変換回路は第１撮像素子３３の出力信号のＡ／Ｄ変換を行う。なお、図２では、第１アナログ処理部６１の各々の回路の図示は省略する。

第１デジタル処理部６２は、第１アナログ処理部６１の出力信号に対して各種の画像処理（欠陥画素補正、色補間、階調変換処理、ホワイトバランス調整、エッジ強調など）を実行して撮影画像のデータを生成する。また、第１デジタル処理部６２は、撮影画像のデータの圧縮伸長処理なども実行する。この第１デジタル処理部６２はシステムバス５９と接続されている。

第２画像取得部５２は、第２撮像素子４２、第２アナログ処理部６３、第２デジタル処理部６４を有している。なお、第２画像取得部５２の構成は第１画像取得部５１の構成にほぼ対応するので、両者の重複部分については説明を一部省略する。第２撮像素子４２は、第２撮像光学系４１を通過して結像した被写体像を所定間隔毎に光電変換することで、後述するブレ量を算出する際に用いる画像（以下、演算用画像）を取得する。第２撮像素子４２の出力信号は、第２アナログ処理部６３に入力される。上述したように、第２撮像光学系４１は、第１撮像光学系２１の画角を含有しつつ、第１撮像光学系２１よりもイメージサークルの小さい光学系から構成されることから、この第２画像取得部５２により取得される画像（演算用画像）は、第１画像取得部５１により取得される撮影画像よりも被写体深度が深く、また、その画角が第１画像取得部５１により取得される撮影画像よりも広角となる。

第２アナログ処理部６３は、ＣＤＳ回路、ゲイン回路、Ａ／Ｄ変換回路などを有するアナログフロントエンド回路である。第２デジタル処理部６４は、演算用画像の色補間処理などを実行する。なお、第２デジタル処理部６４から出力された演算用画像のデータはＣＰＵ５８に入力される。

メモリ５３は、第１デジタル処理部６２による画像処理の前工程や後工程などで撮影画像のデータを一時的に記録するためのバッファメモリである。記録Ｉ／Ｆ５４には記録媒体６６を接続するためのコネクタが形成されている。そして、記録Ｉ／Ｆ５４は、コネクタに接続された記録媒体６６に対して撮影画像のデータの書き込み／読み込みを実行する。上記の記録媒体６６は、ハードディスクや、半導体メモリを内蔵したメモリカードなどから構成される。

表示Ｉ／Ｆ５５は、ＣＰＵ５８の指示に基づいてメインモニタ５６の表示を制御する。メインモニタ５６は、例えばカメラ本体１１の背面部などに配置される。メインモニタ５６は、ＣＰＵ５８及び表示Ｉ／Ｆ５５の指示に応じて各種の画像を表示する。例えば、メインモニタ５６には、撮影画像の再生画像やＧＵＩ(Graphical User Interface)形式の入力が可能なメニュー画面などを表示できる（上記の各画像の図示は省略する）。

操作部５７は、レリーズボタン７１、モードダイヤル７２、ズームスイッチ７３及び補正モード切替スイッチ７４など、ユーザの操作を受け付ける複数のスイッチを有している。レリーズボタン７１は、撮影前のＡＦ動作開始の指示入力と撮影時の露光動作開始の指示入力とをユーザから受け付ける。モードダイヤル７２は、そのダイヤル操作により撮影モードの切替入力をユーザから受け付ける。ズームスイッチ７３は、第１撮像素子３３により取得されるスルー画像の倍率を光学的または電子的に拡大／縮小する操作をユーザから受け付ける。

補正モード切替スイッチ７４は、ブレ補正を行うモード（以下、ブレ補正モード）を選択する操作をユーザから受け付ける。撮影時には、カメラ本体１１のブレ（以下、手ブレ成分）、カメラ本体１１のパンニング（以下、パンニング成分）及び被写体自体のブレ（以下、被写体ブレ成分）等が発生することにより、取得される撮影画像はブレが生じた画像となる。ブレ補正モードは、これらブレ成分のうち、予めユーザの意図するブレ成分を補正できるように複数のブレ補正モードが設けられている。これらブレ補正モードとしては、第１ブレ補正モード、第２ブレ補正モードとして説明する。第１ブレ補正モードは、手ブレ成分、パンニング成分及び被写体ブレ成分の全てを補正するモードである。一方、第２ブレ補正モードは、手ブレ成分及び被写体ブレ成分を補正するモードである。

以下、補正モード切替スイッチ７４の機能について、静止画像を撮影画像として取得する場合を例にして説明する。

図３に示すように、角速度センサ２８により検出される角速度の基になる検出信号から、所定時間における第１撮像光学系２１の像面上での移動ベクトルＡ_ΔTを求めることができる。この検出信号に対してフィルタ処理を行い、高周波成分と、低周波成分とに分離する。このうち、低周波成分はパンニング成分Ｂ_ΔTとなり、高周波成分は手ブレ成分は手ブレ成分Ｃ_ΔTとなる。すなわち、Ａ_ΔT＝Ｂ_ΔT＋Ｃ_ΔT（式１）となる。

補正モード切替スイッチ７４により、第１ブレ補正モードが選択されているときには、パンニング成分Ｂ_ΔT、手ブレ成分Ｃ_ΔT、及び、被写体ブレ成分Ｄ_ΔT（図４参照）についてブレ補正を行う。一方、補正モード切替スイッチ７４により、第２ブレ補正モードが選択されているときには、パンニング成分Ｂ_ΔTは補正せずに、手ブレ成分Ｃ_ΔT、及び、被写体ブレ成分Ｄ_ΔTについてブレ補正を行う。

ＣＰＵ５８は電子カメラ１０の各部の統括的な制御を行う。また、ＣＰＵ５８は、不図示のＲＯＭに格納されたプログラムによって、シーケンス制御部８１、撮影設定部８２、視差補正部８３及び動きベクトル取得部８４として機能する。シーケンス制御部８１は、レンズユニット１２、クイックリターンミラー３１、メカニカルシャッタ３２、第１画像取得部５１、第２画像取得部５２などの動作の制御などを実行する。

撮影設定部８２は、オートフォーカス（ＡＦ）を行うとともに、自動露出（ＡＥ）演算、オートホワイトバランス（ＡＷＢ）演算などを実行し、第１画像取得部５１における撮影条件の各種パラメータ（露光時間、絞り値、撮像感度など）を決定する。また、撮影設定部８２は、第２画像取得部５２のＡＥ、ＡＷＢに関する処理も負担する。なお、第２撮像光学系４１にフォーカスレンズを有している場合には、この撮影設定部８２によって、第２撮像光学系４１におけるＡＦを行う。

視差補正部８３は、第１画像取得部５１で取得される画像（撮影画像、スルー画像）と、第２画像取得部５２で取得される画像（演算用画像）との間で生じる視差を補正する。第１画像取得部５１と第２画像取得部５２とは、それぞれの光学系における焦点距離や撮影倍率等の撮影条件が異なる。このため、第１画像取得部５１により取得される撮影画像と、第２画像取得部５２により取得される演算用画像とでは視差が発生する。視差補正部８３は、それぞれの画像取得部５１，５２における撮影範囲の関係や、それぞれの画像取得部５１，５２で取得される画像の大きさに対する比率などを算出する。

動きベクトル取得部８４は、第２画像取得部５２によって所定間隔毎に取得される演算用画像のうち、隣り合う２つの演算用画像（演算用画像Ｐ_１、演算用画像Ｐ_２。図４参照。）を用いて、これら演算用画像において生じる動きベクトルを取得する。この動きベクトル取得部８４は、推定部８５及び相関演算部８６を有している。

次に、電子カメラ１０により撮影画像を取得する際の処理の流れを図８のフローチャートに基づいて説明する。なお、図８のフローチャートは、撮影待機状態に移行したことを契機にして実行される。

ステップＳ１１０において、ＣＰＵ５８はレリーズボタン７１が半押しされたか否かを判断する。ＣＰＵ５８はレリーズボタン７１が半押しされていると判断した場合、ステップＳ１１１に進む。ＣＰＵ５８はレリーズボタン７１が半押しされていないと判断した場合、所定時間経過後に再びステップＳ１１０を行う。

ステップＳ１１１は、演算用画像Ｐ_０（図示せず）を取得する処理である。ＣＰＵ５８は、第２画像処理部５２を制御して演算用画像Ｐ_０を取得する。ステップＳ１１２において、ＣＰＵ５８は演算用画像Ｐ_０の主要被写体（以下、被写体と称することがある）が存在する被写体領域ＴＭ０（図示せず）を決定する。領域ＴＭ０は、例えば、人の顔などの主要被写体を含む領域である。被写体領域ＴＭ０を決定する方法としては、レリーズボタンを全押しする直前に取得された演算用画像Ｐ_０においてピントが合っている領域、所謂合焦領域とする方法や、特徴量抽出による顔検出などの被写体認識技術を用いて決定する方法や、タッチパネルなどを用いてユーザ自身が直接決定する方法などが挙げられる。

次に、ＣＰＵ５８は、ステップＳ１１３において、レリーズボタン７１が全押しがされているかを判断し、全押しがされていると判断したらステップＳ１１４に進む。全押しがされていないと判断した場合、ステップＳ１１１に戻る。ステップＳ１１４において、ＣＰＵ５８は第１画像処理部５１に電荷の蓄積を開始させ、ステップＳ１２１に進む。

ステップＳ１２１において、ＣＰＵ５８は、第２画像処理部５２を制御して時刻Ｔ１に、演算用画像Ｐ_１（図４、図５参照）を取得し、ステップＳ１２２に進む。ステップＳ１２２において、ＣＰＵ５８は、演算用画像Ｐ_１のテンプレート領域ＴＭ１（図４、図５参照）の画像を取得する。具体的には、ＣＰＵ５８は、時間Ｔ１における演算用画像Ｐ_１から、被写体領域ＴＭ０に含まれる主要被写体を含む領域を抽出し、演算用画像Ｐ_１のテンプレート領域ＴＭ１とする（図４、図５参照）。

テンプレート領域ＴＭ１は、演算用画像Ｐ_１の一部であって、演算用画像Ｐ_０の領域ＴＭ０に対応する部分である。例えば、テンプレート領域ＴＭ１には、領域ＴＭ０に含まれる主要被写体と同一の主要被写体が存在する。

次に、ステップＳ１３１（時刻Ｔ２）において、ＣＰＵ５８は、演算用画像Ｐ_１に時間的に連続した演算用画像Ｐ_２を取得する。なお、ＣＰＵ５８には、第２画像処理部５２から演算用画像の基になる画像信号が所定時間毎（例えば、１０^−５〜１０^−１秒間隔毎）に入力されており、演算用画像Ｐ_１、演算用画像Ｐ_２、演算用画像Ｐ_Ｍ（Ｍは任意の自然数）を順次に取得可能である。

以下、図４〜図７を参照して、ステップＳ１３２〜Ｓ１３４（動きベクトルを取得し、ブレ補正量を算出し、ブレ補正をするステップ）について詳細に説明する。

図４、図５は、補正モード切替スイッチ７４（図２参照）により第１ブレ補正モード（手ブレ成分、パンニング成分及び被写体ブレ成分の全てを補正するモード）が選択されている場合を説明する図である。図４は連続した２つの演算用画像（演算用画像Ｐ_１、演算用画像Ｐ_２）のそれぞれの位置関係を示す図、図５は図４に示した状態について、撮影範囲を固定して表現したものである。

図４、図５において、被写体領域（被写体Ｉ、Ｉ’、Ｉ’’）は「△」で示されている。上述したように、時間Ｔ１（ステップＳ１２１）において演算用画像Ｐ_１が取得され、ステップＳ１２２においてテンプレート領域ＴＭ１が取得され、時間Ｔ２（ステップＳ１３１）において演算用画像Ｐ_２が取得されている。

ステップＳ１３２では、ＣＰＵ５８は、演算用画像Ｐ_２からテンプレート領域ＴＭ１と最も相関の高い領域（テンプレート領域ＴＭ１’’）を抽出し、テンプレート領域ＴＭ１とテンプレート領域ＴＭ１’’との差（ズレ量）から動きベクトルを取得する。

図４、図５において、時間Ｔ１から時間Ｔ２までの電子カメラ１０の姿勢変化（手振れ）により、演算用画像Ｐ_２の撮影範囲は、演算用画像Ｐ_１の撮影範囲に対して第２撮像光学系４１の像面上の移動ベクトルＡ_ΔT分ずれる。このため、ＣＰＵ５８は、時間Ｔ２における演算用画像Ｐ_２の被写体I’の位置を推定するため、角速度センサ２８（図１参照）を用いて角速度を検出し、この角速度を第２撮像光学系４１の移動ベクトルＡ_ΔTに換算する。

次に、ＣＰＵ５８（相関演算部８６）は、移動ベクトルＡ_ΔTを用いて、領域ＴＭ１から−Ａ_ΔT移動させた位置にテンプレート領域ＴＭ１と同一の大きさのテンプレート領域ＴＭ１’を設定し、テンプレート領域ＴＭ１とテンプレート領域ＴＭ１’との相関演算を実行する。相関演算部８６は、相関演算の結果、テンプレート領域ＴＭ１とテンプレート領域ＴＭ１’との相関が高ければ、テンプレート領域ＴＭ１’をテンプレート領域ＴＭ１’’とする。相関演算としては、例えば、２つの画像を例えば１画素毎にずらしたときの類似度を算出し、該類似度が最も高くなる位置（或いは、ずらし量）を求めるテンプレートマッチング演算が挙げられる。

次に、テンプレート領域ＴＭ１とテンプレート領域ＴＭ１’との相関が低い場合、相関演算部８６は、演算用画像Ｐ_２のテンプレート領域ＴＭ１’の近傍について、テンプレート領域ＴＭ１を縦方向（図５の紙面の上下方向）及び横方向（図５の紙面の左右方向）にずらしながら相関演算を実行する。これにより、テンプレート領域ＴＭ１に対する類似度が最も高くなるテンプレート領域ＴＭ１’’が求まる。

次に、ＣＰＵ５８（動きベクトル取得部８４）は、テンプレート領域ＴＭ１’’とテンプレート領域ＴＭ１’との差（位置ズレ量）である被写体ブレ成分Ｄ_ΔTを求める。

なお、Ｔ１〜Ｔ２の間に被写体が静止しておらず、被写体ブレが発生していれば、図４、図５に示すように、時間Ｔ２における被写体の位置（被写体Ｉ’’）は、時間Ｔ２における被写体Ｉ’からＤ_ΔT分ずれた位置にある。また、Ｔ１〜Ｔ２の間に被写体が静止しており、被写体ブレがないものと仮定すれば、演算用画像Ｐ_２における被写体の位置（被写体Ｉ’’）は、時間Ｔ２における被写体Ｉ’と一致する。

次に、動きベクトル取得部８４は、時刻Ｔ１〜Ｔ２間の全ブレ成分Ｅ_ΔTを動きベクトル（第２撮像光学系４１の像面上での動きベクトル）として取得する。第１ブレ補正モードでは、全ブレ成分Ｅ_ΔTは、Ｅ_ΔT＝−Ａ_ΔT＋Ｄ_ΔT＝−（Ｂ_ΔT＋Ｃ_ΔT）＋Ｄ_ΔTとなる。上述したように、移動ベクトルＡ_ΔTはパンニング成分Ｂ_ΔTと手ブレ成分Ｃ_ΔTである。

次に、ステップＳ１３３において、ＣＰＵ５８は、ステップＳ１３２で算出された動きベクトルを第１撮像光学系２１の像面上での動きベクトルに換算し、第１撮像光学系２１の像面上でのブレ補正量を求める。

次に、ステップＳ１３４において、ＣＰＵ５８はブレ補正を実行する。具体的には、ＣＰＵ５８は、動きベクトル（ブレ補正量）に基づいて、レンズマイコン２９を介してブレ補正部２５（図１参照）を駆動することにより、撮影時に生じるブレを補正する。このように、第１ブレ補正モードでは、被写体が撮影範囲の所定位置に固定されるようにブレ補正が実行される。

次に、図６、図７を参照して、補正モード切替スイッチ７４（図２参照）により第２ブレ補正モード（手ブレ成分及び被写体ブレ成分を補正するモード）が選択されている場合のステップＳ１３２〜Ｓ１３４（動きベクトルを取得し、ブレ補正量を算出し、ブレ補正をするステップ）を詳細に説明する。

図６は連続した２つの演算用画像のそれぞれの位置関係を示す図、図７は撮影範囲を固定したときの被写体のブレを示す図である。図６、図７において、図４、図５の同様の構成には同様の参照符号を付し、詳細な説明を省略する。

図６、図７において、被写体領域（被写体Ｊ、Ｊ’）は「△」で示されている。図４、図５と同様に、時間Ｔ３（ステップＳ１２１）において演算用画像Ｐ_３が取得され、ステップＳ１２２においてテンプレート領域ＴＭ１が取得され、時間Ｔ４（ステップＳ１３１）において演算用画像Ｐ_４が取得されている。また、図６、図７においては、説明を簡単にするため、時間Ｔ３から時間Ｔ４までのパンニング成分Ｂ_ΔTを横方向のみとし、手振れ成分Ｃ_ΔTを縦方向のみとしている。

ステップＳ１３２では、ＣＰＵ５８は、演算用画像Ｐ_４からテンプレート領域ＴＭ１と最も相関の高い領域（テンプレート領域ＴＭ１’’）を抽出し、テンプレート領域ＴＭ１とテンプレート領域ＴＭ１’’との差（ズレ量）から動きベクトルを取得する。

第２ブレ補正モードは、例えば、ユーザが移動している被写体に合わせて電子カメラ１０をパンニングさせ被写体の静止画像を撮影画像として取得する際に選択される。この第２ブレ補正モードは、手ブレ成分Ｃ_ΔT及び被写体ブレ成分Ｄ_ΔTを補正し、パンニング成分Ｂ_ΔTに対してはブレ補正を行わないモードである。ここで、被写体ブレ成分とは、移動被写体に合わせてユーザがパンニングしたとき、それでも残る像面上での被写体移動量を指す。

図６、図７において、ユーザによるパンニングにより、演算用画像Ｐ_４の撮影範囲は、演算用画像Ｐ_３の撮影範囲に対して第２撮像光学系４１の像面上の移動ベクトルＡ_ΔT分ずれる。

ＣＰＵ５８は、パンニング対象の被写体が撮影範囲の所定位置に固定されるように、ユーザによるパンニングを考慮して、電子カメラ１０が姿勢変化（手振れ）した時間Ｔ４における演算用画像Ｐ_４の被写体Ｊ’の位置を推定するため、角速度センサ２８（図１参照）を用いて角速度を検出し、この角速度からパンニング成分Ｂ_ΔT分を除外して第２撮像光学系４１の移動ベクトルＣ_ΔTに換算する。移動ベクトルＡ_ΔTのうち、パンニング成分Ｂ_ΔTに対してはブレ補正を行わないからである。

次に、ＣＰＵ５８（相関演算部８６）は、移動ベクトルＣ_ΔTを用いて、領域ＴＭ１から−Ｃ_ΔT移動させた位置にテンプレート領域ＴＭ１と同一の大きさのテンプレート領域ＴＭ１’を設定し、テンプレート領域ＴＭ１とテンプレート領域ＴＭ１’との相関演算を実行する。相関演算部８６は、テンプレート領域ＴＭ１とテンプレート領域ＴＭ１’との相関が高ければ、テンプレート領域ＴＭ１’をテンプレート領域ＴＭ１’’とする。

次に、テンプレート領域ＴＭ１とテンプレート領域ＴＭ１’との相関が低い場合、相関演算部８６は、演算用画像Ｐ_４のテンプレート領域ＴＭ１’の近傍について、テンプレート領域ＴＭ１を縦方向（図７の紙面の上下方向）及び横方向（図７の紙面の左右方向）にずらしながら相関演算を実行する。これにより、テンプレート領域ＴＭ１に対する類似度が最も高くなるテンプレート領域ＴＭ１’’が求まる。次に、動きベクトル取得部８４は、テンプレート領域ＴＭ１’’とテンプレート領域ＴＭ１’との差（位置ズレ量）である被写体ブレ成分Ｄ_ΔTを求める。

なお、Ｔ３〜Ｔ４の間に被写体ブレ成分（パンニングしても残る像面上での被写体移動量）があれば、図６、図７に示すように、時間Ｔ４における被写体の位置（被写体Ｊ’’）は、時間Ｔ４における被写体Ｊ’からＤ_ΔT分ずれた位置にある。また、Ｔ３〜Ｔ４の間に被写体ブレ成分がないものと仮定すれば、演算用画像Ｐ_４における被写体の位置（被写体Ｊ’’）は、時間Ｔ４における被写体Ｊ’と一致する。

次に、動きベクトル取得部８４は、時刻Ｔ３〜Ｔ４間の全ブレ成分Ｅ_ΔTを動きベクトル（第２撮像光学系４１の像面上での動きベクトル）として取得する。第２ブレ補正モードでは、全ブレ成分Ｅ_ΔTは、Ｅ_ΔT＝−Ｃ_ΔT＋Ｄ_ΔTとなる。

次に、ステップＳ１３３において、ＣＰＵ５８は、ステップＳ１３２で算出された動きベクトルを第１撮像光学系２１の像面上での動きベクトルに換算し、第１撮像光学系２１の像面上でのブレ補正量を求める。

次に、ステップＳ１３４において、ＣＰＵ５８はブレ補正を実行する。具体的には、ＣＰＵ５８は、動きベクトル（ブレ補正量）に基づいて、レンズマイコン２９を介してブレ補正部２５（図１参照）を駆動することにより、撮影時に生じるブレを補正する。このように、第２ブレ補正モードでは、パンニング対象の被写体が撮影範囲の所定位置に固定されるようにブレ補正が実行される。

再び、図８のフローチャートを参照して、撮影画像を取得する際の処理の流れを説明する。

ＣＰＵ５８は、ステップＳ１３４においてブレ補正を実行した後、ステップＳ１３５において、第１画像取得部５１の露光時間が経過したか否かを判断する。第１画像取得部５１の露光時間が経過したときは、ステップＳ１３７に進む。

第１画像取得部５１の露光時間が経過していないときは、ステップＳ１３６において、テンプレート領域ＴＭ１’’を領域ＴＭ１に設定する。これにより、上述した説明と同様に、再びステップＳ１３２において、テンプレート領域ＴＭ１と最も相関の高い領域テンプレート領域ＴＭ１’’が抽出され、再び動きベクトルが取得され、再び取得された動きベクトルを用いたブレ補正が行われることになる。

ステップＳ１３７において、ＣＰＵ５８は、第１画像処理部５１に電荷の蓄積を終了させ、ステップＳ１３８に進む。ステップＳ１３８において、ＣＰＵ５８は、ステップＳ１３７にて取得された撮影画像が記憶媒体６６に記憶される。

これにより、角速度センサ２８から求まる移動ベクトルを用いて連続する２つの演算用画像間の移動方向と移動量を推定し、推定される移動方向と移動量から相関演算を行うので、相関演算に係る演算負荷を低減でき、また、相関演算に係る処理時間を短縮することができる。また、第２画像処理部５２により取得される画像の画素数は、第１画像取得部５１により得られる画像の画素数に比べて少ないことから、画像を取得する時間が短くできて相関演算に要する演算負荷を少なくできるので、相関演算に係る処理時間を短時間で実行することが可能となる。

本実施形態では、ブレ補正部２５を用いて第１撮像光学系２１を構成するレンズの一部を、光軸と直交する方向に移動させることでブレ補正を実行しているが、ブレ補正部２５と同様のアクチュエータを用いて第１撮像素子３３を光軸と直交する方向に移動させることも好ましい。また、アクチュエータを用いて、第１撮像光学系２１又は第１撮像素子３３をチルトさせることによりブレ補正を実行することも好ましい。また、第１撮像素子３３を用いて撮影された撮影画像に生じるブレを電子的に補正することも好ましい。

また、本実施例では、静止画像を撮影画像として取得する場合について説明しているがこれに限定されるものではなく、動画像を撮影する撮影装置に適用することも好ましい。

１０…電子カメラ、１１…カメラ本体、１２…レンズユニット、２１…第１撮像光学系、２５…ズレ補正部、２８…角速度センサ、３３…第1撮像素子、４１…第２撮像光学系、４２…第２撮像素子、５１…第１画像取得部、５２…第２画像取得部、５８…ＣＰＵ、７４…補正モード選択スイッチ、８４…動きベクトル取得部、８５…推定部、８６…相関演算部

特開２００６−５４５１８号公報

Claims (11)

1. 装置の振れを検出し検出信号を出力する検出部と、
   第１画像と、前記第１画像が取得された時刻とは異なる時刻に取得された第２画像とを取得する第１画像取得部と、
   前記第１画像及び前記第２画像とは異なる第３画像を取得する第２画像取得部と、
   前記第１画像に含まれる第１領域に対応する第２領域を、前記検出信号を用いて前記第２画像から特定し、前記第１領域の情報と前記第２領域の情報とを用いて動きベクトルを取得する動きベクトル取得部と、
   前記動きベクトルを用いて前記装置の振れを補正する補正部と、を含むことを特徴とする撮影装置。
2. 請求項１に記載された撮影装置であって、
   前記補正部は、前記第２画像取得部により取得される像を形成する光学系の少なくとも一部、及び、前記第２画像取得部の少なくとも一方を駆動することにより、前記装置の振れを補正することを特徴とする撮影装置。
3. 請求項１又は請求項２に記載された撮影装置であって、
   前記検出信号に含まれるパンニング成分を低減させるフィルタ部と、
   撮影者が操作可能な操作部とを含み、
   前記動きベクトル取得部は、前記撮影者により前記操作部が操作されたとき、前記フィルタ部から出力された信号を用いて前記第２画像から前記第２領域を特定することを特徴とする撮影装置。
4. 請求項１から請求項３までの何れか１項に記載された撮影装置であって、
   前記動きベクトル取得部は、前記検出信号に基づいて前記第２画像に前記第１領域に対応する設定領域を設定し、前記設定領域と前記第１領域との相関が高いときは、前記設定領域を前記第２領域とすることを特徴とする撮影装置。
5. 請求項４に記載された撮影装置であって、
   前記動きベクトル取得部は、前記設定領域と前記前記第１領域との相関が低い場合、前記設定領域の近傍の領域と前記第１領域との相関を演算し、前記設定領域の近傍の領域と前記第１領域との相関が前記設定領域と前記第１領域との相関よりも高いとき、前記設定領域の近傍の領域を前記第２領域とすることを特徴とする撮影装置。
6. 請求項１から請求項５までの何れか１項に記載された撮影装置であって、
   前記第３画像に含まれる主要被写体を検出する主要被写体検出部を有し、
   前記第１領域には、前記主要被写体の少なくとも一部が含まれることを特徴とする撮影装置。
7. 請求項１から請求項５までの何れか１項に記載された撮影装置であって、
   前記第３画像の合焦領域を検出する合焦領域検出部を有し、
   前記第１領域は、前記合焦領域検出部により検出された前記合焦領域を含むことを特徴とする撮影装置。
8. 請求項１からから請求項７までの何れか１項に記載された撮影装置であって、
   前記第１画像取得部により撮像された前記第１画像及び前記第２画像は、前記第２画像取得部により撮像された前記第３画像よりも被写界深度が深いことを特徴とする撮影装置。
9. 請求項１から請求項８までの何れか１項に記載された撮影装置であって、
   前記第１画像取得部により撮像された前記第１画像及び前記第２画像は、前記第２画像取得部により撮像された前記第３画像よりも広角の画像であることを特徴とする撮影装置。
10. 請求項１からから請求項９までの何れか１項に記載された撮影装置であって、
    前記第１画像取得部は、前記第１画像及び前記第２画像を形成するための第１光学系を有し、
    前記第２画像取得部は、前記第１光学系よりも狭角な前記第３画像を形成するための第２光学系を有することを特徴とする撮影装置。
11. 請求項１から請求項１０までの何れか１項に記載された撮影装置であって、
    前記第１画像取得部は、前記第２画像を取得した後、前記第１画像、前記第２画像及び前記第３画像とは異なる第４画像を取得し、
    前記動きベクトル取得部は、前記第２画像の前記第２領域に対応する第４領域を、前記検出信号を用いて前記第４画像から特定し、前記第２領域の情報と前記第４領域の情報とを用いて動きベクトルを取得することを特徴とする撮影装置。

Images