JP2011217334A - 撮像装置および撮像装置の制御方法 - Google Patents

Abstract

【課題】 風景と人物が存在するような撮影シーンで主被写体と背景との距離が大きく異なる場合や、非常に被写界深度が浅くなり動きベクトル算出結果があてにならない場合がある。
【解決手段】 撮像光学系によって被写体像を得る撮像装置であって、被写体像を撮像し、撮像された画像から第１の動きベクトル情報を検出し、撮像装置に加わる手ブレ量を第２の動きベクトル情報に変換し、第１の動きベクトル情報の信頼性を判定し、前記第１の動きベクトル情報及び前記第２の動きベクトル情報に基づいて画像の切り出し範囲を変更し、信頼性によって動きベクトルの信頼性が低い場合、第１の動きベクトル情報を用いずに第２の動きベクトル情報に基づいて画像の切り出し範囲を変更する。
【選択図】 図５

Description

本発明は、静止画像や動画像を記録、再生、表示するための撮像装置及びその制御方法に関する。

デジタルカメラ撮影における画質劣化の要因の一つに手ぶれがある。このような撮影時の手ぶれ軽減の方法として、電子式手ぶれ補正方式と光学式手ぶれ補正方式の２つの方式が知られている。

撮像装置に加わる振れは、ジャイロセンサなどによりレンズや撮像装置に加わる振れを検出する方法と、連続するフレーム間の画像を比較し、画像全体が動く方向と大きさを動きベクトルとして検出する方法の２種類がある。そのように検出された振れに対して、光学式手ぶれ補正は、振れの方向と大きさに応じて、レンズの光軸もしくは撮像素子を光軸と垂直方向に移動させることによって、手ぶれ補正を実現している。一方、電子式手ぶれ補正方式は、振れ検出結果から算出される動きベクトルの大きさと向きに応じて画像の読み出し位置を変更することによって、手ぶれ補正を実現している。

動きベクトルを用いた振れ検出の場合、被写体が大きな場合には、前画像との相関関係から動きベクトル情報を算出するため、被写体自体の移動ベクトルが算出され、結果として被写体追尾となってしまい、本来の手ブレ補正とはならない課題があった。そこで、例えば特許文献１では、顔検出回路による顔検出結果に基づき、顔が含まれるブロック周辺の動きベクトルを検出せず、顔が含まれるブロック以外のブロックから検出された動きベクトルに基づいて手ブレ補正の処理を行う。これにより、被写体の動きに起因する動きベクトルの影響をなくした電子手ぶれ補正処理を実現することが可能になる提案がなされている。また、特許文献２においては、顔情報より顔領域を抽出して動き検出から除外する技術が開示されている。

特開２００９−０８８６２８号公報 特開２００８−１２４７８７号公報

一眼レフカメラでは、装着レンズ・Ｆ値・被写体との距離・画角・現在の距離位置によっては非常に被写界深度が浅くなり、合焦した領域以外の動きベクトル算出結果があてにならない場合がある。そのため、すなわちボケ量が非常に大きい部分にて動き検出を行うと、フレーム間のコントラストや色の相関関係により検出する動き検出では同様な数値が連続となってしまうために検出精度が下がる。その際に動き検出量から手ブレ補正を行うと、十分な手ブレ補正が行なわれないだけではなく、かえって不確実な動き量により像ぶれを引き起こしてしまう課題があった。

本発明は、上述の事情に鑑みてなされたものであり、手ぶれが発生しやすい撮影条件下において、レンズの手ブレ情報を利用できる時は利用し、できない時は電子式手ブレ補正を行わないことで、コストを抑えた適切な手ぶれ補正処理を実現することを目的とする。

上述の課題を解決するため、本発明は、撮像光学系によって被写体像を得る撮像装置であって、前記被写体像を撮像する撮像手段と、前記撮像手段によって撮像された画像から第１の動きベクトル情報を検出するベクトル検出手段と、前記撮像装置に加わる手ブレ量を、第２の動きベクトル情報に変換するベクトル変換手段と、前記第１の動きベクトル情報の信頼性を判定する信頼性判定手段と、前記第１の動きベクトル情報及び前記第２の動きベクトル情報に基づいて、画像の切り出し範囲を変更する振れ補正手段と、前記信頼性判定手段によって前記動きベクトルの信頼性が低いと判定された場合、前記振れ補正手段は、前記第１の動きベクトル情報を用いずに、前記第２の動きベクトル情報に基づいて画像の切り出し範囲を変更することを特徴とするものである。

本発明によれば、手ぶれが発生しやすい撮影条件下において、レンズの手ブレ情報を利用できる時は利用し、できない時は電子式手ブレ補正を行わないことで、コストを抑えた適切な手ぶれ補正処理を実現できる。

本実施例の形態に係るカメラの構成を示す断面図である。 本実施例の形態に係るカメラの内部構成を示すブロック図である。 本実施例の形態に係る動きベクトルの説明に関する図である。 本実施例の形態に係る顔情報検出の説明に関する図である。 本実施例の形態に係るカメラの動作のうち、交換レンズから手ブレ情報が取得可能な場合のフローチャートである。 本実施例の形態に係るカメラの動作のうち、交換レンズから手ブレ情報を取得できない場合の詳細な制御を示すフローチャートである。

図１は本発明による一眼レフカメラの中央断面図であり、以下構成について説明する。

図１のカメラ１（本体部）に対して着脱可能な交換レンズ２（レンズ部）はカメラのマウント部５と不図示のレンズマウント部によって固定され、不図示のカメラ接点部とレンズの接点部が接触することによって電気的な接続がなされる。この接点部を介してカメラ１から交換レンズ２への電力の供給やレンズを制御するための通信を行う。交換レンズ２の撮影レンズ３（撮像光学系）を透過した光束はカメラ１のメインミラー６に入射する。メインミラー６はハーフミラーとなっており、反射した光束はファインダーへと導かれ、透過した光束はサブミラー７にて下方へ反射し、焦点検出装置８へと導かれる。焦点検出装置８は撮影レンズ３のデフォーカス量を検出し、撮影レンズが合焦状態となるように撮影レンズ３を駆動するレンズ駆動量を演算する。そして接点部を介してレンズ駆動量を交換レンズ２へ送出すると、レンズは不図示のモーターを制御して撮影レンズ３を駆動して焦点調節を行う。絞り４は、絞り径を変化させることで光量をコントロールするものである。

メインミラー６によってファインダーへと導かれた光束はピント板９に被写体像を結像し、撮影者はペンタプリズム１０および接眼レンズ１１を介してこのピント板上の被写体像を観察するように構成される。ピント板９は不図示のピント板ホルダーに支持されており、適宜着脱交換が可能に構成されている。ペンタプリズム１０の後部上方に配置された測光レンズ１２は、ピント板９上の被写体像を二次光源として、その像を測光センサ（受光素子）１３に縮小投映する。測光レンズ１２および測光センサ（受光素子）１３は、公知の露光用受光手段である。

サブミラー７の後方にはシャッタユニット１４が配置され、更にその後方には光学ローパスフィルターおよび赤外線カットフィルターを一体化した光学フィルター１５がある。撮影時には光学フィルター１５を透過した光束が、光学フィルター１５よりも更に後方に配置された撮像素子１６へと入射する。撮像素子１６は、ＣＣＤやＣＭＯＳといったの２次元型撮像デバイスであり、撮影レンズ３により結像された被写体像を撮像して電気信号に変換するものである。また、撮像素子１６は、各フォトセンサに蓄積される電荷の蓄積時間（シャッタ秒時）を制御する、いわゆる電子シャッタ機能（電子シャッタ手段）を有している。１７は画像表示モニタであり、撮影された画像及び撮影メニュー等を表示するように構成されている。三脚座１８は三脚もしくは一脚を取り付けるための機構であり、例えばネジ穴である。操作部材２５は、例えばボタン、ダイアルスイッチ、タッチパネルであり、撮像装置の上面や背面に配設されている。なお、操作部材２５は、複数種類の又は複数個の操作部材からなっても良い。操作部材２５は、メニュー操作など撮影に関する設定を行うことができ、本実施例においては、カメラのメインスイッチ操作によってオン／オフされるメインＳＷや、撮影モードを切り換えたりすることができる電子ダイアル、撮影を行うレリーズボタンを有する。レリーズボタンは、第１ストロークによりＳＷ１がオンされると測光制御・合焦制御が行なわれ、第２ストロークによりレリーズＳＷ２がオンされるとレリーズ動作が開始される。

図２は、本発明の実施形態に係る図１の撮像装置の内部構成を示すブロック図である。

カメラ１は、不図示のマウントを介してカメラに装着された交換レンズ２を制御するレンズ制御部１２２を有している。レンズ制御部１２２は、不図示のレンズＩ／Ｆを通して撮影レンズ３や絞り４を駆動させることで撮像素子１６に結像する像の大きさや位置、撮像素子１６上の光像の光量を変更する。なお、図２の交換レンズ２は、手ブレ補正機能のための、振れ検出手段としての振れ検出センサ１５１および補正光学系としてのシフトレンズ１５２を含んだ複数枚のレンズで構成されている。振れ検出センサ１５１は、例えばジャイロセンサのような角速度センサや、加速度センサである。しかしながら、単一の焦点距離（固定焦点）のレンズでも焦点距離可変のレンズでもよい。

レンズＣＰＵ１５４は、交換レンズ２の制御を行う中央処理部である。レンズＣＰＵ１５４は、交換レンズ２とカメラ１との間に設けられた不図示のレンズ通信Ｉ／Ｆを通じて、レンズ制御部１２２やレンズ制御部１２２を通じて制御部１１７との間で通信が可能である。また、操作部材２５中のレリーズスイッチの半押し（ＳＷ１）ＯＮに同期して制御部１１７もしくはレンズ制御部１２２から手ブレ補正開始コマンドが、また、半押し（ＳＷ１）ＯＦＦに同期して手ブレ補正停止コマンドがレンズＣＰＵ１５４へ送られる。また、レンズＣＰＵ１５４は、交換レンズ２に設けられている振れ補正ＳＷ（スイッチ）１５３の状態をモニタする。振れ補正ＳＷ１５３がＯＮであれば、手ブレ補正制御を行い、振れ補正ＳＷ１５３がＯＦＦであれば、レンズ制御部１２２からの手ブレ補正開始コマンドは無視して振れ補正を行わない。

交換レンズ２の光学系によって撮像素子１６の受光面に結像された被写体像は、各フォトセンサで光の入射光量に応じた量の信号電荷に変換され、撮像出力信号として順次読み出された後、アナログ信号処理部１０１に供給される。

アナログ信号処理部１０１は、ＣＤＳクランプ回路やゲイン調整回路等を含み、撮像素子１６から入力した撮像出力信号（アナログ電気信号）を制御部１１７の制御に基づいて適宜処理する。アナログ信号処理部１０１から出力された信号は、Ａ／Ｄ変換器１０２によってデジタル信号に変換された後、メイン信号処理部１０３へ送られる。

メイン信号処理部１０３は、ゲイン調整部１０４、オフセット部１０５、デジタル信号処理部１０６及びヒストグラム生成部１０７等からなる。Ａ／Ｄ変換器１０２から出力されたデータは、ゲイン調整部１０４及びヒストグラム生成部１０７に入力される。

ヒストグラム生成部１０７は、Ａ／Ｄ変換器１０２から送られた１画面分のデータから信号レベルに対する撮像素子信号の積算値の分布を示すヒストグラムを作成する。そして、ヒストグラム生成部１０７のヒストグラム演算に基づいて、ゲイン調整部１０４にて変更されるゲイン値やオフセット部１０５にて変更されるオフセット値が決定され、変更される。そして、ゲイン調整部１０４とオフセット部１０５を経由した信号は、デジタル信号処理部１０６に送られる。

デジタル信号処理部１０６は、輝度（Ｙ）信号生成回路及び色差（Ｃ）信号生成回路を含み、オフセット部１０５から入力した信号をＹ／Ｃ信号処理する。そして、信号処理された画像データは、メモリ１０８に一時記憶される。このメモリ１０８に記憶された画像データは後述の種々の画像に関する処理が行なわれ、デコードされた後に、Ｄ／Ａ変換器１０９でアナログ信号に変換され、画像表示手段としての液晶モニタ等の画像表示モニタ１７に供給される。こうして、撮像素子１６上で結像した被写体像が、画像表示モニタ１７に画像もしくは映像として表示される。なお、Ｄ／Ａ変換器１０９でアナログ信号に変換された信号は、ビデオ出力端子等の外部映像出力部１１１から映像として出力することができる。

一方で、メモリ１０８に蓄えられた画像データは、記録制御部１１２に導かれ、ここで所定の形式（例えば、ＪＰＥＧ）に従って圧縮処理され、記録媒体１１４に記録される。尚、記録媒体の形態は内蔵メモリでも、不図示のメモリスロットに挿入するスマートメディアやＩＣカード等、種々の形態が可能である。記録媒体１１４に記録された画像データは、制御部１１７を介して呼び出しが可能であり、該呼び出された画像データは、記録制御部１１２で解凍再生処理された後、メモリ１０８、Ｄ／Ａ変換器１０９を介して画像表示モニタ１７に出力される。または、外部映像出力部１１１に供給され、他の外部機器に出力可能である。

制御部１１７は、測光センサ１３、焦点検出装置８、メイン信号処理部１０３、メモリ１０８及び記録媒体１１４、操作部材２５の各スイッチと接続されている。また、顔検出部１６１、変倍部１６２、動きベクトル算出部１６３、三脚算出部１６４、画像処理部１６５、振れ判定部１６６、シーン判定部１６７と接続されている。測光センサ１３の出力信号は制御部１１７に送られ、この制御部１１７において露光時間を示す露出制御値が算出される。そして、得られた露出制御値に基づいて、制御部１１７は、自動露光制御、オートフォーカス、オートストロボ、オートホワイトバランス等の制御を行い、また撮像素子１６の駆動部の制御などを総括的に管理する。例えば、電子シャッタ制御モード時には、撮像素子１６の電荷蓄積時間を、メカニカルシャッタ制御モード時には、シャッタユニット１４の開閉タイミング等を制御すると共に、不図示のレンズ通信Ｉ／Ｆを通じて露光時に絞り４を制御する。制御部１１７は、レリーズボタンや撮影モード選択ボタン等の操作部材２５から入力される各種信号に基づいて該当する回路を制御する。

顔検出部１６１は、メモリ１０８あるいは画像処理部１６５から出力された画像データから顔の位置ならびに大きさに関する情報を取得する。これによりユーザの撮影対象である被写体の検出が容易になり、合焦の情報などと合わせて被写体検出が可能となる。変倍部１６２は、変倍が必要であれば変倍処理を行う。動きベクトル算出部１６３は、画像の相関関係から動きベクトルを算出するためのものである。時間的に連続する画像処理部１６５の出力を直接、或いはメモリ１０８に書き込まれた２つの画像データから所定ブロック毎に動きベクトルの方向と大きさの検出を行う。三脚算出部１６４は、カメラが三脚に固定されている状態か否かを検出するものである。

画像処理部１６５は、メモリ１０８に一旦蓄えられた撮像画像データは、ＧＵＩを通してあらかじめ設定されたパラメータを基に、ホワイトバランス、コントラスト補正、ノイズリダクション、シャープネスなどの画像処理を行う。振れ判定部１６６は、取得したレンズ情報を基に、手ブレ量から動きベクトル量を算出、あるいは手ブレ情報対応レンズかどうかの検出を行う。シーン判定部１６７は、ポートレート／風景／スポーツ／花マクロ／雪／人物＋風景／夜景／夜景＋人物／花火などのシーンを判定する。これにより適切なＴｖ／Ａｖ／ＩＳＯ／ストロボの制御値が自動で設定され、シーンに応じた撮影が可能である。このシーンは操作部材２５のシーン設定部にてユーザが選択しても良いし、画像処理部１６５、顔検出部１６１、動きベクトル算出部１６３、ヒストグラム生成部１０７、三脚算出部１６４、測光センサ１３や不図示の時計情報から、算出しても良い。

＜動きベクトルの検出＞
図３は、動きベクトル算出部１６３で取得される動きベクトルに関する説明を図示したものである。

動きベクトル算出部１６３は、画像データから動きベクトルを検出し、図示のとおり、各ブロックおける２画像間の動きベクトルの演算を行う。まず、メモリ１０８に記憶された１周期前の画像と撮像した画像を比較して、相関演算を行う。相関演算は、例えばブロックマッチング法に従い、画像データによる画像領域を、例えば図３のように５画素×７画素といった所定サイズのブロックに分割し、現フィールドと前フィールドとの相関演算をブロック毎に行う。次に相関演算により算出された相関値からブロック毎の動きベクトルを検出する。具体的には、相関値が最小となる前フィールドのブロックを探索し、その相対的なずれを動きベクトルとしている。

そして、検出されたブロック毎の動きベクトルは、動きベクトル値に基づきグループに分類される。まず、供給されたブロックを、Ｘ方向（画面の水平方向）およびＹ方向（画面の垂直方向）それぞれの動きベクトル値に基づきグループに分類する。次に、分類されたグループ毎に代表動きベクトルを求める。代表動きベクトルは、例えば動きベクトル値の出現頻度のヒストグラムを取ったときの、グループ内で最大度数を持つ階級の階級値を用いることができる。これに限らず、グループに属する全てのベクトル検出領域で検出された動きベクトル値の平均値を、グループとしての代表動きベクトルとして用いることもできる。

グループ毎の代表動きベクトルと、顔検出部１６１から顔検出情報とを用いて、制御部１１７は、画面全体すなわち画像全体での動きベクトル（全体動きベクトルと呼ぶ）を算出する。算出された全体動きベクトルは、この全体動きベクトルに基づきメモリ１０８に記憶される画像データの読み出しを制御することで、手ぶれ補正（電子的手ぶれ補正）を行うことができる。

いま、図３Ａ〜Ｃの（ａ）と（ｂ）は時間的に連続して撮像された２画像であり、（ｃ）は演算された動きベクトルを表す。（ｃ）の（１，１）〜（７，５）は、（ａ）と（ｂ）の２画像の移動量として、矢印にて図示されている。動きベクトル算出部１６３にアクセスすることで、ブロック毎に演算された動きベクトル量を（１，１）〜（７，５）の各々を取得することができる。

図３Ａは手ぶれがほとんど無い場合において、中心付近の被写体が移動している場合の動きベクトルの様子を図示したものである。

図３Ｂは被写体の移動がほとんど無く、被写界深度が深い状態において、手ぶれにより、画面全体が同一方向に移動している場合の動きベクトルの様子を図示したものである。図３Ｂに図示されるように、画面上ほとんどのブロックの動きベクトルがほぼ同一方向を向いている場合には、手ぶれが発生したものと判断することができる。

図３Ｃは被写体の移動がほとんど無く、被写界深度が浅い状態において、手ぶれにより、人物のみが同一方向に移動している場合の動きベクトルの様子を図示したものである。図３Ｃに図示されるような状態では、画面上ほとんどのブロックの動きベクトルが、ほぼ同一方向を向いている場合には、手ぶれが発生したものと判断することができる。

さらに、精度向上のために人物が存在するブロックを取り除いても、同一方向に移動しているので手ブレと判断でき、撮像素子１６からの読み出し位置を、動きベクトルの方向と大きさに応じて移動させることによって電子手ぶれ補正処理を行うことが可能である。

図３Ｃに図示されるような状態では、人物が存在しているブロックの動きベクトルのみほぼ同一方向を向いている。しかしながら、人物が存在するブロックを取り除いてしまうと、人物のみが移動しているか手ブレなのかの判断ができないため、手ブレは発生していないと判断し、電子手ぶれ補正処理を行わないために、手ブレが起きた画像の表示や保存がなされる。なお、図３Ｃにおいては人物部分のみ動きベクトルの方向を記載しているが、人物を除いたブロックからのベクトル情報は、方向および大きさがまちまちで、手ブレなのかどうか判断できない状態がほとんどである。

図４は、顔検出部１６１から取得される顔の位置ならびに大きさに関する情報を図示した例である。図４に図示されるような顔認識を併用することで、動く被写体との分離が容易となり、動体移動速度と手ブレの移動量を別に扱うことにより、手ブレ検出精度の向上になる。

顔検出部１６１は、画像処理部１６５の出力される画像データ、或いはメモリ１０８を介して読み込まれる画像データを読み込みながら、顔の中心座標及び半径を検出する。なお、本実施例においては顔領域は円形としたために顔の中心座標及び半径を検出したが、楕円形であっても良く、また顔領域を矩形とみなした場合は、四隅の座標であったり１頂点の座標と各辺の長さを検出してもよい。

顔検出部１６１にアクセスすることで、検出された顔の個数ならびに各顔の中心座標及び半径を取得することができ、例えば、図４（ａ）の画像データからは、図４（ｃ）の検出結果、図４（ｂ）の画像データからは、図４（ｄ）の検出結果を得られる。

本発明の実施例について、図５と図６のフローチャートを基に説明する。

図５，６は、カメラ１の電源がＯＮされた後に、撮像素子が画像を取り込んでから行う振れ検出と振れ補正の処理である。操作部材２５は、静止画撮影と動画撮影を行う不図示のモード切替スイッチを含み、モード切替スイッチによって静止画撮影が設定された場合は静止画撮影前のライブビュー画像の撮影について図５，６の処理を行う。一方で、モード切替スイッチによって動画撮影が設定された場合は、動画撮影前のライブビュー画像においても、動画撮影中においても図５，６の処理を行うことが可能である。

まずステップＳ５０１にて、制御部１１７は、不図示のレンズマウントを通してカメラ１に装着された交換レンズ２のレンズ情報を取得する。ステップＳ５０２にて、振れ判定部１６６は、取得したレンズ情報を基に手ブレ情報が取得可能なレンズかどうか、即ち交換レンズ２が振れ検出センサ１５１を有しており振れ検出センサ１５１の情報をカメラ１に通信することが可能であるかの検出判定を行う。ステップＳ５０２における判定結果が手ブレ情報対応レンズ（カメラ１が振れ検出センサ１５１から手ブレ情報を取得できるレンズ）の場合にはステップＳ５０３へ、非対応レンズの場合は図６のステップＳ６００へと進む。

手ブレ情報対応レンズの場合、ステップＳ５０３にて、振れ判定部１６６は振れ検出センサ１５１から手ブレ情報である手ブレ量を取得し、フレームレートに合わせた周期で手ブレ情報を取得し続ける。交換レンズ２から取得できる手ブレ情報は、ジャイロセンサや加速度センサの情報値、基準サイズ換算値、撮像素子サイズ換算値および画角、距離情報等であり、後のステップにて撮像素子上での移動量が求められれば、いずれの情報でも良い。

ステップＳ５０４において、動きベクトル算出部１６３は、取得した手ブレ量から撮像素子上の動き量に変換する。本ステップにおける変換は、あらかじめ用意された変換情報（例えば変換テーブル）または以前の周期においてステップＳ５０８にて更新されたベクトル変換テーブル情報を基に変換を行う。

ステップＳ５０５において、動きベクトル算出部１６３は、画像の相関関係から得られる動きベクトル情報（第１の動きベクトル情報）を算出する。ステップＳ５０６において、制御部１１７は、ステップＳ５０２にて算出された撮像素子上における動き量を手ブレ量から算出した動きベクトル情報（第２の動きベクトル情報）に変換するための対応づけを行う。具体的には、公知の敏感度補正などによって手ブレ量若しくは撮像素子上における動き量を増幅／減少させることで、現在の焦点距離・位置における手ブレ量を、手ブレ量から動きベクトル情報に変換することができる。

ステップ５０７において、制御部１１７は、手ブレ量から算出した動きベクトル情報（第２の動きベクトル情報）と、画像の相関関係から得た動きベクトル情報（第１の動きベクトル情報）とのベクトル方向および移動量を比較する。即ち、制御部１１７は信頼性判定手段としての機能を有する。振れ検出センサ１５１から取得した手ブレ量が撮像装置に加わる振れに対応する一方で、画像の相関関係から得られた動きベクトル情報は、被写体が移動中の場合やベクトルの信頼性が低い場合には、撮像装置に加わる振れに対応したベクトルが正確に検出できない。例えば両者の大きさに所定以上の値の差分がある場合は、動きベクトルをきちんと検出をしていない（動きベクトルの信頼性が低い）か、被写体が大きいために被写体の動きベクトルが大きいかのどちらかであると判断できる。よって、比較の結果、画像の相関関係から得られた動きベクトル情報の信頼性が高いか、即ち画像の相関関係から得られた動きベクトル情報が有効で振れ補正に用いることができるかどうかを判定する。動きベクトル情報が有効の場合はステップＳ５０８へ進み、動きベクトル情報が無効の場合はＳ５１０へ進む。

ステップＳ５０８においては、現在の焦点距離・位置における手ブレ量と画像から得られる動きベクトル情報の相関関係から、手ブレ量から動きベクトル情報を算出するためのベクトル変換用の変換テーブルを生成する。若しくは、交換レンズ２から取得した手ブレ量から算出した動きベクトル情報と、画像の相関関係から得た動きベクトル情報との間に移動量の差が発生した場合には、前述の補正テーブルを生成・更新をする。

ステップＳ５０９においては、振れ判定部１６６により手ブレ量から算出された動きベクトル情報、もしくは画像の相関関係から取得した動きベクトル情報に応じて、撮像素子１６からの読み出し位置を移動させる。これにより、電子式手ぶれ補正を行うことができる。なお、手ブレ量から算出された動きベクトル情報と画像の相関関係から取得した動きベクトル情報を振れ補正にどのように使用するかは、例えば以下のような使用方法が考えられる。
・手ブレ量から算出された動きベクトル情報のほうが、画像の相関関係から取得した動きベクトル情報よりも信頼性が高いため、両者の大きさの差が所定値未満である場合は手ブレ量から算出された動きベクトル情報を使用する
・手ブレ量から算出された動きベクトル情報と画像の相関関係から取得した動きベクトル情報の大きさの差が所定値未満である場合は、両者をｋ：１−ｋ（０＜ｋ＜１）の比率に分配して補正する。ｋの値は焦点距離やフレームレート、シャッタ速度、余剰画素の画素数によって変更する。

一方で、画像の相関関係から得られた動きベクトル情報が無効の場合（即ち、動きベクトル情報の信頼性が低い場合、ステップＳ５０７にてＮｏ）、レンズから取得した手ブレ情報に基づいた動きベクトル情報によって電子式手ブレ補正を行う。これによって、画像の相関関係から得られた動きベクトル情報の信頼性が低い時には、レンズから取得した手ブレ情報に基づいた動きベクトル情報を用いることで、より正確に振れ補正をすることができる。

最後にステップＳ５１１にて、制御部１１７は、振れ補正が終了かどうか判定する。振れ補正の終了の例としては、動画撮影の終了や静止画撮影の開始が挙げられる。終了でなければ、ステップＳ５０３からステップＳ５１１の工程を繰り返す。

図６は、交換レンズ２が手ブレ情報対応レンズでない場合、即ち交換レンズに振れ検出センサ１５１が無い場合やカメラ１が振れ検出センサ１５１から手ブレ情報を取得できないレンズである場合の振れ検出と振れ補正の処理である。

手ブレ情報非対応レンズの場合は（ステップＳ５０２にてＮｏ）、先ずステップＳ６００にて、制御部１１７は、カメラ１に装着されている交換レンズ２のレンズ内手ブレ補正が可能かどうかの判定を行う。手ブレ補正が可能である場合（ステップＳ６０１にてＹｅｓ）、即ち振れ検出センサ１５１の出力をカメラ１が得られないが光学式振れ補正を行うこと自体はできる場合は、ステップＳ６０１へ進む。交換レンズ２の振れ補正ＳＷ１５３がＯＦＦの場合や、振れ補正に対応していないレンズの場合は、光学式振れ補正を行うことが出来ないため、ステップＳ６１１へ進む。

先ず、カメラ１に装着されている交換レンズ２が、レンズ内手ブレ補正機能が有効の場合について説明する。ステップＳ６０１にて、制御部１１７は、焦点距離・位置・絞り値に変更があったかを判定する。そして変更があったと判定された場合（ステップＳ６０１にてＹｅｓ）、ステップＳ６０２にて、制御部１１７は、現在のレンズ位置における手ブレ閾値を算出し、ステップＳ６０３へ進む。一方で変更が無かったと判定された場合（ステップＳ６０１にてＮｏ）、直接ステップＳ６０３へ進む。

ステップＳ６０３において、動きベクトル算出部１６３は、画像の相関関係から得られる動きベクトル情報を算出する。ステップＳ６０４にて、振れ判定部１６６は、現在の画角と距離情報に対応する手ブレ量の閾値と、ステップＳ６０３にて算出された手ブレ量（動きベクトル情報）とを比較する。

手ブレ量が閾値を超えた場合（ステップＳ６０４にてＹｅｓ）は、ステップＳ６０５にすすむ。そしてステップＳ６０５において、制御部１１７は、画像の相関関係から取得した動きベクトル情報より、動きベクトルの方向と大きさに応じて、撮像素子１６からの読み出し位置を移動させることによって電子式手ぶれ補正を行う。一方で、手ブレ量が閾値を超えなかった場合（ステップＳ６０４にてＮｏ）は、ステップＳ６０６に進む。そしてステップＳ６０６にて、制御部１１７は、電子式手ぶれ補正を行わない決定を行う。

そしてステップＳ６０７にて、制御部１１７は、振れ補正が終了かどうか判定する。振れ補正の終了の例としては、動画撮影の終了や静止画撮影の開始が挙げられる。終了でなければ、ステップＳ６０１からステップＳ６０７のステップを繰り返す。

一方で、カメラ１に装着されている交換レンズ２が、レンズ内手ブレ補正機能が無効の場合について説明する。ステップＳ６１１にて、顔検出部１６１は、撮像画像に顔情報が存在するかどうかの判定を行う。顔情報が存在しなければ（ステップＳ６１１にてＮｏ）、ステップＳ６１４に進む。顔情報が存在する場合（ステップＳ６１１にてＹｅｓ）、ステップＳ６１２において、顔検出部１６１は検出した顔情報から画像上における占有面積・位置情報を算出する。そしてステップＳ６１３にて、顔検出部１６１は、顔の大きさ・位置関係から体全体の大きさや画像上の位置を推定し、撮像している画像全体から動体と予想される箇所を取り除いた部分における、例えば輝度や色に関する評価値を算出する。

ステップＳ６１４にて、制御部１１７は、現在のレンズ位置、絞り・画角・距離情報から算出されるボケ量を算出する。そして、ステップＳ６１５にて、動体部分を除いたブロック毎の画像の相対関係から得られるベクトル情報の信頼度を判定する。無効と判定した場合、ステップＳ６１７にて、制御部１１７は、電子手ブレ補正しないことを決定する。有効と判定した場合は、ステップＳ６１６にて、制御部１１７は、動きベクトル算出部１６３により画像の相関関係から取得した動きベクトルの方向と大きさに応じて、撮像素子１６からの読み出し位置を移動させる。電子式の手ぶれ補正を行ない、撮像面上のブレを補正することができる。そしてステップＳ６１８にて、制御部１１７は、振れ補正が終了かどうか判定する。振れ補正の終了の例としては、動画撮影の終了や静止画撮影の開始が挙げられる。終了でなければ、ステップＳ６１１からステップＳ６１８の工程を繰り返す。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

４ 絞り
１４ シャッター

Claims (6)

1. 撮像光学系によって被写体像を得る撮像装置であって、
   前記被写体像を撮像する撮像手段と、
   前記撮像手段によって撮像された画像から第１の動きベクトル情報を検出するベクトル検出手段と、
   前記撮像装置に加わる手ブレ量を、第２の動きベクトル情報に変換するベクトル変換手段と、
   前記第１の動きベクトル情報の信頼性を判定する信頼性判定手段と、
   前記第１の動きベクトル情報及び前記第２の動きベクトル情報に基づいて、画像の切り出し範囲を変更する振れ補正手段と、
   前記信頼性判定手段によって前記動きベクトルの信頼性が低いと判定された場合、前記振れ補正手段は、前記第１の動きベクトル情報を用いずに、前記第２の動きベクトル情報に基づいて画像の切り出し範囲を変更することを特徴とする撮像装置。
2. 前記信頼性判定手段は、前記第１の動きベクトル情報と前記第２の動きベクトル情報の差分が所定よりも大きい場合は信頼性が低いと判定することを特徴とする請求項１に記載の撮像装置。
3. 前記振れ検出センサの出力は、前記第２の動きベクトル情報に変換するための情報を含むことを特徴とする請求項１又は２に記載の撮像装置。
4. 前記ベクトル変換手段は、現在の焦点距離における前記第１の動きベクトル情報と前記第２の動きベクトル情報との相関関係から、前記第２の動きベクトル情報を算出するための変換テーブルを生成することを特徴とする請求項１ないし３のいずれか１項に記載の撮像装置。
5. 前記撮像光学系に振れ補正を行うことが出来る補正光学系を有する交換レンズを着脱可能である請求項４に記載の撮像装置であって、
   前記変換テーブルを生成する場合は、前記交換レンズの補正光学系を駆動させないよう制御することを特徴とする請求項４に記載の撮像装置。
6. 撮像光学系によって結像した被写体像を撮像する撮像手段を有する撮像装置の制御方法であって、
   前記撮像手段によって撮像された画像から第１の動きベクトル情報を検出するベクトル検出ステップと、
   前記撮像装置に加わる手ブレ量を、第２の動きベクトル情報に変換するベクトル変換ステップと、
   前記第１の動きベクトル情報の信頼性を判定する信頼性判定ステップと、
   前記第１の動きベクトル情報及び前記第２の動きベクトル情報に基づいて、画像の切り出し範囲を変更する振れ補正ステップと、
   前記信頼性判定ステップによって前記動きベクトルの信頼性が低いと判定された場合、前記振れ補正ステップにおいて、前記第１の動きベクトル情報を用いずに、前記第２の動きベクトル情報に基づいて画像の切り出し範囲を変更することを特徴とする撮像装置の制御方法。

Images