JP2011217103A - 複眼撮影方法および装置 - Google Patents

Abstract

【課題】カメラ等の撮影装置において、移動している２つのオブジェクトにそれぞれ合焦させて撮影可能とする。
【解決手段】２つの撮像部により撮像されたライブビュー画像中のオブジェクトを検出し（S2）、２つのライブビュー画像の間、および相前後する２フレームの間で、検出オブジェクトの対応付けを行い（S3,S11）、検出された複数のオブジェクトの優先度を決定する（S7）。また、カメラからオブジェクトまでの距離を計算し（S12）、ライブビュー画像のフレーム間における前記距離の変化量に基づいてフレーム間のオブジェクト移動距離を計算し（S13）、この移動距離に基づいて、該計算の後に撮影処理がなされるときの、優先度上位２つのオブジェクトに対する予測レンズ合焦位置を算出する（S14）。そして２つの撮像部の合焦レンズをそれぞれ、優先度上位２つのオブジェクトに対する予測レンズ合焦位置の一方、他方に設定して（S19,20）撮影する。
【選択図】図４Ａ

Description

本発明はカメラ等による撮影方法、より詳しくは、移動している被写体に対してその移動も見込んで自動合焦させる撮影方法に関するものである。

また本発明は、上述のような撮影方法を実施するための撮影装置に関するものである。

従来、カメラ等の撮影装置において、移動している被写体に対して、距離測定後の移動量も見込んで自動合焦するようにしたものが種々公知となっている。

例えば特許文献１には、測距手段が求めたデフォーカス量に基づいて被写体のレンズ光軸方向に関する相対的移動方向と移動速度とを算出し、該算出量に基づいて合焦用レンズを、その駆動時間を見込んだ所定時間後の合焦位置まで駆動するようにした自動焦点調節装置が開示されている。さらにこの特許文献１には、上記の基本機能を備えた自動焦点調節装置において、レリーズ割込みが発生したときには、レンズ駆動後の基準時からレリーズ割込み発生時までの時間に被写体が移動する量を見込んで合焦用レンズを駆動することも記載されている。

また特許文献２には、被写体の移動による像面移動量あるいは、像面移動速度に関する量を２つの時点で測定し、それらの時点で測定された各量の比に基づいて被写体移動の有無を判定し、被写体移動有りと判定した場合はその移動量を見込んで合焦用レンズを駆動するようにした自動焦点調節装置が開示されている。

特開平５−２７１５７号公報 特開平７−１９９０５９号公報

ところで、カメラ等によって被写体を撮影する場合、合焦させたいオブジェクト（主要被写体）が例えば人物と動物等のように２つ有って、それらが各々異なる方向、速度で移動していることもある。特許文献１や２に記載された装置によれば、移動しているオブジェクトが１つである場合はそれに合焦させて撮影可能であるが、上述のように移動している２つのオブジェクトにそれぞれ合焦させて撮影することは不可能である。

本発明は上記の事情に鑑みてなされたものであり、移動している２つのオブジェクトにそれぞれ合焦させて撮影することができる撮影方法を提供することを目的とする。

さらに本発明は、そのような撮影方法を実施することができる撮影装置を提供することを目的とする。

本発明による撮影方法は、撮像部を２つ用いた複眼撮影方法とし、それら両撮像部により得られるライブビュー画像の間で対応が取れる共通のオブジェクトに優先度を付け、この優先度が上位２つにあるオブジェクトについて移動量を見込んだレンズ合焦位置を予測算出し、それら予測されたレンズ合焦位置を２つの撮像部の一方、他方において設定して撮影を行うことにより、移動している２つのオブジェクトにそれぞれ合焦させて撮影できるようにしたものである。

すなわち、本発明による複眼撮影方法はより具体的には、
それぞれが合焦レンズを備えた２つの撮像部によりライブビュー画像を撮像し、
前記２つの撮像部がそれぞれ出力するライブビュー画像から所定のオブジェクトを検出し、
前記２つのライブビュー画像の間、および前後のフレーム間で、検出されたオブジェクトの対応付けを行い、
検出されたオブジェクトが複数の場合に、オブジェクトの優先度を決定し、
カメラからオブジェクトまでの距離を計算し、
ライブビュー画像のフレーム間における前記距離の変化量に基づいて、フレーム間のオブジェクト移動距離を計算し、
前記計算されたオブジェクト移動距離に基づいて、前記オブジェクトに対する次フレーム以降の合焦位置を予測し、
前記オブジェクト検出部にて複数のオブジェクトが検出された場合、優先度の上位２つのオブジェクトに対して合焦位置の予測を行い、予測された合焦位置に応じて前記２つの撮像部にて上位２つのオブジェクトそれぞれに合焦した撮影を行うことを特徴とするものである。

なお、撮像部を３つ以上設けた上で上述の通りの撮影方法を実施すれば、移動している３つ以上のオブジェクトにそれぞれ合焦させて撮影することも可能である。そのような方法も、ある２つの撮像部およびそれらに関連する処理について考えれば上述した本発明の撮影方法と同じとなるのであるから、本発明の複眼撮影方法に含まれるものとする。

一方、上述した本発明の複眼撮影方法を実施するための本発明による複眼撮影装置は、
それぞれが合焦レンズを備えた２つの撮像部と、
前記２つの撮像部がそれぞれ出力するライブビュー画像から所定のオブジェクトを検出するオブジェクト検出部と、
前記２つのライブビュー画像の間、および前後の２フレーム間で、検出されたオブジェクトの対応付けを行うオブジェクト対応付け部と、
検出されたオブジェクトが複数の場合に、オブジェクトの優先度を決定する優先度決定部と、
カメラからオブジェクトまでの距離を計算する距離算出部と、
ライブビュー画像のフレーム間における前記距離の変化量に基づいて、フレーム間のオブジェクト移動距離を計算する移動距離算出部と、
前記計算されたオブジェクト移動距離に基づいて、前記オブジェクトに対する次フレーム以降の合焦位置を予測する合焦位置予測部とを有し、
前記オブジェクト検出部にて複数のオブジェクトが検出された場合、優先度の上位２つのオブジェクトに対して合焦位置の予測を行い、予測された合焦位置に応じて前記２つの撮像部にて上位２つのオブジェクトそれぞれに合焦した撮影を行うように構成されたことを特徴とするものである。

なお、撮像部を３つ以上設けた上で上述の通りの構成を採用すれば、移動している３つ以上のオブジェクトにそれぞれ合焦させて撮影することも可能である。そのような撮影装置も、ある２つの撮像部およびそれらに関連する構成について考えれば上述した本発明の装置と同じとなるのであるから、本発明の複眼撮影装置に含まれるものとする。

なお、この本発明の複眼撮影装置においては、装置ユーザが行う優先度更新操作を受けて、前記優先度を決定し直す優先度更新処理を行うように構成されていることが望ましい。

また、本発明の複眼撮影装置においては、ライブビュー画像のフレームが変わる都度、前記優先度を決定し直す優先度更新処理を行うように構成されていることが望ましい。

また、本発明の複眼撮影装置においては、合焦の対象とするオブジェクトが予め登録手段に登録されており、ライブビュー画像中のオブジェクトを検出する際に、前記登録手段に登録されているオブジェクトを認識して、それを検出されたオブジェクトとするように構成されていることが望ましい。

そしてそのようにする場合、本発明の複眼撮影装置においては、登録するオブジェクトを、特にユーザによって入力されたオブジェクトとするように構成されていることがより望ましい。

また、本発明の複眼撮影装置においては、前記予測レンズ合焦位置が撮影可能範囲の限界に近いか否かを判定し、近い場合はユーザによる撮影処理がなされなくても撮影処理を行うように構成されていることが望ましい。

さらに本発明の複眼撮影装置においては、前記算出されたオブジェクト移動距離に基づいてオブジェクトの移動を検出し、移動が検出されないオブジェクトは合焦の対象から除外するように構成されていることが望ましい。

本発明による複眼撮影装置によれば、２つの撮像部により得られるライブビュー画像の間で対応が取れる共通のオブジェクトに優先度を付け、この優先度が上位２つにあるオブジェクトについて移動量を見込んだレンズ合焦位置を予測算出し、それら予測されたレンズ合焦位置を２つの撮像部の一方、他方において設定して撮影を行うようにしたので、移動している２つのオブジェクトにそれぞれ合焦させて撮影することが可能になる。

また、本発明の複眼撮影装置において特に、装置ユーザが行う優先度更新操作を受けて、優先度を決定し直す優先度更新処理を行うように構成された場合は、当初はユーザが意図したものではないオブジェクトが合焦対象となっていても、ユーザが優先度更新処理を行うことにより、その後はユーザの意図通りのオブジェクトが合焦対象とされるようになる。

なお、ライブビュー画像において同じ被写体が撮像され続けていても、それらが移動していれば各フレームにおける構図が変化するので、既に求められていた優先度が現フレームの構図に見合ったものになっていない可能性もある。そこで、本発明の複眼撮影装置において特に、ライブビュー画像のフレームが変わる都度、上記優先度を決定し直すように構成された場合は、優先度決定条件に最も適合した２つのオブジェクトに必ず合焦させて撮影がなされるようになる。また、最初の優先度算出が誤ってなされたような場合でも、この更新を行うことにより、正しい優先度が与えられるようになる。

また、本発明の複眼撮影装置において特に、合焦の対象とするオブジェクトを予め登録手段に登録しておき、ライブビュー画像中のオブジェクトを検出する際に、上記登録手段に登録されているオブジェクトを認識して、それを検出されたオブジェクトとするように構成された場合は、以下の効果が得られる。すなわち、こうする場合は、ライブビュー画像の中に人物等のオブジェクトが数多く存在しても、不要なオブジェクトは排除して、ユーザが撮影したいと思っているオブジェクトに合焦させて撮影をすることができる。また、不要なオブジェクトは排除することによって処理数が減るので、合焦処理の高速化も達成される。

特に、ユーザによって入力されたオブジェクトを登録する場合は、ユーザが撮影したいと思っているオブジェクトに合焦させて撮影できる確率がより高くなる。

また本発明の複眼撮影装置において特に、算出される予測レンズ合焦位置が撮影可能範囲の限界に近いか否かを判定し、近い場合はユーザによる撮影処理がなされなくても撮影処理を行うように構成された場合は、移動するオブジェクトを撮影する適切なタイミングを逃さずに撮影可能となる。

さらに本発明の複眼撮影装置において特に、算出されたオブジェクト移動距離に基づいてオブジェクトの移動を検出し、移動が検出されないオブジェクトは合焦の対象から除外すように構成された場合は、移動していないオブジェクトに合焦することが避けられるので、合焦させるべき人物等のオブジェクトに対して合焦した状態で撮影できる確率が高くなる。

他方、前述した通りの２つの撮像部と、オブジェクト検出部と、オブジェクト対応付け部と、優先度決定部と、距離算出部と、移動距離算出部と、合焦位置予測部とを有する本発明の複眼撮影装置によれば、上述した本発明による複眼撮影方法を実施可能である。

また、この本発明の複眼撮影装置において特に、検出されるオブジェクトとして、予め定められたものを登録しておく登録部と、撮像部が出力する２つのライブビュー画像の中から、前記登録部に登録されているオブジェクトを認識して、前記オブジェクト検出部として機能するオブジェクト認識部とが設けられた場合は、ライブビュー画像の中に人物等のオブジェクトが数多く存在しても、不要なオブジェクトは排除して、ユーザが撮影したいと思っているオブジェクトに合焦させて撮影をすることができる。また、不要なオブジェクトは排除することによって処理数が減るので、合焦処理の高速化も達成される。

本発明の第１の実施形態による複眼撮影装置の正面部を示す斜視図 上記複眼撮影装置の背面部を示す斜視図 上記複眼撮影装置の電気的構成を示すブロック図 上記複眼撮影装置における撮影処理の流れを示すフローチャート 上記複眼撮影装置における撮影処理の流れを示すフローチャート オブジェクト（主要被写体）の配置状態の例を示す図 オブジェクトの配置状態の別例を示す図 本発明の第２の実施形態による複眼撮影方法の処理の流れを示すフローチャート 本発明の第２の実施形態による複眼撮影方法の処理の流れを示すフローチャート 本発明の第３の実施形態による複眼撮影方法の処理の流れを示すフローチャート 本発明の第３の実施形態による複眼撮影方法の処理の流れを示すフローチャート 本発明の第４の実施形態による複眼撮影方法の処理の流れを示すフローチャート 本発明の第４の実施形態による複眼撮影方法の処理の流れを示すフローチャート 本発明の第５の実施形態による複眼撮影装置の電気的構成を示すブロック図 図１０の複眼撮影装置における一部処理の流れを示すフローチャート 本発明の第６の実施形態による複眼撮影方法の処理の流れを示すフローチャート 本発明の第６の実施形態による複眼撮影方法の処理の流れを示すフローチャート オブジェクトの配置状態のさらに別の例を示す図 オブジェクトの配置状態のさらに別の例を示す図 本発明の第７の実施形態による複眼撮影方法の処理の流れを示すフローチャート 本発明の第７の実施形態による複眼撮影方法の処理の流れを示すフローチャート オブジェクトの配置状態のさらに別の例を示す図 オブジェクトの配置状態のさらに別の例を示す図

以下、図面を参照して本発明の実施形態を詳細に説明する。図１および図２はそれぞれ、本発明による複眼撮影装置の第１の実施形態であるデジタルカメラ１の正面形状、背面形状を示すものである。なお本実施形態のデジタルカメラ１は、後述する通り３Ｄ画像を撮影・記録する機能を有するものであるが、本発明の複眼撮影装置は特にそのような機能は備えないものとされてもよい。

図１に示すように、このデジタルカメラ１のカメラボディ１２は概略矩形の箱状に形成されており、その正面には２つの撮影レンズ１４、１４、フラッシュ（ストロボ）１６等が設けられている。また、カメラボディ１２の上面には、シャッタボタン１８、電源／モードスイッチ２０、モードダイヤル２２等が設けられている。

一方、カメラボディ１２の背面には、図２に示すようにモニタ２４、ズームボタン２６、十字ボタン２８、ＭＥＮＵ／ＯＫボタン３０、ＤＩＳＰボタン３２、ＢＡＣＫボタン３４、マクロボタン３６等が設けられている。またカメラボディ１２の側面には、入出力コネクタ３８が設けられている。

また、図示されていないが、カメラボディ１２の底面には、三脚ネジ穴、開閉自在なバッテリカバー等が設けられており、バッテリカバーの内側には、バッテリを収納するためのバッテリ収納室、メモリカードを装着するためのメモリカードスロット等が設けられている。

撮影レンズ１４、１４はそれぞれ後述する右撮像系、左撮像系の一部を構成するものであって、沈胴式のズームレンズで構成されている。これらの撮影レンズ１４、１４は、デジタルカメラ１の電源をＯＮすると、カメラボディ１２から繰り出される。なお、各撮影レンズ１４におけるズーム機構や沈胴機構、合焦機構は公知のものが適用されており、それらの具体的な説明は省略する。フラッシュ１６はキセノン管で構成されており、暗い被写体を撮影する場合や逆光時などに必要に応じて発光される。

シャッタボタン１８は、いわゆる「半押し」と「全押し」とで異なる機能を果たす二段ストローク式のスイッチで構成されている。デジタルカメラ１は、モードダイヤル２２で静止画撮影モードを選択し、あるいはメニューから静止画撮影モードを選択した場合の静止画撮影時にシャッタボタン１８を半押しすると、撮影準備処理すなわち、ＡＥ（Automatic Exposure：自動露出）、ＡＦ（Auto Focus：自動焦点合わせ）、ＡＷＢ（Automatic White Balance：自動ホワイトバランス）の各処理を行い、次いで全押しすると画像の撮影・記録処理を行うように構成されている。なお、デジタルカメラ１には適宜動画撮影機能が付与されてもよいが、それについては本発明と直接的な関係が無いので詳しい説明は省略する。

電源／モードスイッチ２０は、デジタルカメラ１の電源スイッチとして機能するとともに、デジタルカメラ１の再生モードと撮影モードとを切り替える切替手段として機能し、「ＯＦＦ」位置と「再生」位置と「撮影」位置との間をスライドして動くように形成されている。デジタルカメラ１は、この電源／モードスイッチ２０を「再生」位置にセットすると再生モードに設定され、「撮影」位置にセットすると撮影モードに設定され、「ＯＦＦ」位置にセットすると電源がＯＦＦされる。

モードダイヤル２２は、撮影モードの設定に用いられる。このモードダイヤル２２は、カメラボディ１２の上面に回転自在に設けられており、図示しないクリック機構によって、例えば「２Ｄ静止画」位置、「２Ｄ動画」位置、「３Ｄ静止画」位置、「３Ｄ動画」位置および「２オブジェクト追跡」位置にセット可能に設けられている。デジタルカメラ１は、このモードダイヤル２２を「２Ｄ静止画」位置にセットすることにより、２Ｄつまり一般的な２次元の静止画を撮影する２Ｄ静止画撮影モードに設定され、図示外の２Ｄ／３Ｄモード切替フラグに２Ｄモードであることを表すフラグが設定される。また、モードダイヤル２２を「２Ｄ動画」位置にセットすることにより、２Ｄの動画を撮影する２Ｄ動画撮影モードに設定され、上記２Ｄ／３Ｄモード切替フラグに２Ｄモードであることを表すフラグが設定される。

また、モードダイヤル２２を「３Ｄ静止画」位置にセットすることにより、３Ｄつまり３次元の静止画を撮影する３Ｄ静止画撮影モードに設定され、上記２Ｄ／３Ｄモード切替フラグに３Ｄモードであることを表すフラグが設定される。さらに、モードダイヤル２２を「３Ｄ動画」位置にセットすることにより、３Ｄの動画を撮影する３Ｄ動画撮影モードに設定され、上記２Ｄ／３Ｄモード切替フラグに３Ｄモードであることを表すフラグが設定される。

後述するＣＰＵ１１０は、この２Ｄ／３Ｄモード切替フラグを参照して、２Ｄモードまたは３Ｄモードのいずれであるかを把握する。ここで３Ｄ静止画あるいは３Ｄ動画撮影モードとは、一方の撮影レンズ１４を含む右撮像系と、他方の撮影レンズ１４を含む左撮像系によって互いに視差の有る２通りの画像を撮影するモードであり、それらの画像における対応点毎に、視差に基づいて距離情報が求められる。そしてその距離情報は、立体視画像（３次元画像）を表示あるいは記録するために利用されるが、それらについての詳しい説明は省略する。

モニタ２４は、一例としてカラー液晶パネル等の画像表示手段から構成されている。このモニタ２４は、撮影済み画像を表示するための画像表示部として利用されるとともに、各種設定時にＧＵＩとして利用される。また撮影時には、後述する撮像素子１３４が継続的に撮影するライブビュー画像がモニタ２４に表示され、電子ファインダとして利用される。

ズームボタン２６は、撮影レンズ１４のズーム倍率を変更する操作に用いられ、望遠側へのズームを指示するズームテレボタンと、広角側へのズームを指示するズームワイドボタンとで構成されている。

十字ボタン２８は、上下左右４方向に押圧操作可能に設けられており、各方向のボタンには、カメラの設定状態に応じた機能が割り当てられている。例えば、撮影時には、左ボタンにマクロ機能のＯＮ／ＯＦＦを切り替える機能が割り当てられ、右ボタンにフラッシュモードを切り替える機能が割り当てられる。また、上ボタンにモニタ２４の明るさを替える機能が割り当てられ、下ボタンにセルフタイマのＯＮ／ＯＦＦを切り替える機能が割り当てられる。また、再生時には、左ボタンにコマ送りの機能が割り当てられ、右ボタンにコマ戻しの機能が割り当てられる。さらに、上ボタンにモニタ２４の明るさを替える機能が割り当てられ、下ボタンに再生中の画像を削除する機能が割り当てられる。また、各種設定時には、モニタ２４に表示されたカーソルを各ボタンの方向に移動させる機能が割り当てられる。

ＭＥＮＵ／ＯＫボタン３０は、メニュー画面の呼び出し（ＭＥＮＵ機能）に用いられるとともに、選択内容の確定、処理の実行指示等（ＯＫ機能）に用いられ、デジタルカメラ１の設定状態に応じて割り当てられる機能が切り替えられる。上記のメニュー画面では、例えば露出値、色合い、ＩＳＯ感度、記録画素数などの画質調整やセルフタイマの設定、測光方式の切り替え、デジタルズームを使用するか否かなど、デジタルカメラ１が持つ全ての調整項目の設定が行われる。デジタルカメラ１は、このメニュー画面で設定された条件に応じて動作する。

ＤＩＳＰボタン３２は、モニタ２４の表示内容の切り替え指示等を入力するために用いられ、ＢＡＣＫボタン３４は入力操作のキャンセル等の指示を入力するために用いられる。

図３は、上記デジタルカメラ１の主に電気的構成を示すブロック図である。以下、この図３を参照して、電気的構成について説明する。なお以下では、図１および図２中に出ている要素についても、他の要素との関連で説明する必要が有る場合は、適宜説明することとする。

同図に示すようにデジタルカメラ１は、ＣＰＵ１１０、このＣＰＵ１１０に接続された操作部（前述のシャッタボタン１８、電源／モードスイッチ２０、モードダイヤル２２、ズームボタン２６、十字ボタン２８、ＭＥＮＵ／ＯＫボタン３０、ＤＩＳＰボタン３２、ＢＡＣＫボタン３４、マクロボタン３６等）１１２、バス１１４、ＶＲＡＭ１１６、ＳＤＲＡＭ１１７、フラッシュＲＯＭ１１８、ＲＯＭ１２０、３Ｄ画像生成部１２２、圧縮・伸張処理部１４４、ＡＦ検出部１４６、ＡＥ／ＡＷＢ検出部１４８、手ブレ補正部１５０、表示制御部１５２、メディア制御部１５４、を有している。なお、以上の要素１１６〜１５４は、バス１１４を介してＣＰＵ１１０に接続されている。表示制御部１５２には前記モニタ２４が接続され、メディア制御部１５４には記録メディアとしてのメモリカード１５６が接続されている。またＣＰＵ１１０にはさらに、時計情報を入力する時計部１７０および、カメラの姿勢を検出する姿勢検出センサ１７２が接続されている。

また、後述する撮影レンズ１４を、オブジェクトに対してその移動も見込んで自動的に合焦させるための構成として、オブジェクト検出部１８０、オブジェクト対応付け部１８１、距離算出部１８２、移動距離算出部１８３および優先度算出部１８４が設けられている。これらの要素１８０〜１８４も、上述のバス１１４を介してＣＰＵ１１０に接続されている。

さらにこのデジタルカメラ１は、右撮像系１０Ｒおよび左撮像系１０Ｌを有している。それらの撮影系は基本的に同じ構成とされ、各撮影系は撮影レンズ１４、ズームレンズ制御部１２４、フォーカスレンズ制御部１２６、図示外の防振部の駆動を制御する防振制御部１２７、絞り制御部１２８、撮像素子１３４、タイミングジェネレータ（ＴＧ）１３６、アナログ信号処理部１３８、Ａ／Ｄ変換器１４０、画像入力コントローラ１４１、デジタル信号処理部１４２を備えている。

ＣＰＵ１１０は、カメラ全体の動作を統括制御する制御手段として機能し、操作部１１２からの入力に基づき所定の制御プログラムに従って各部を制御する。ＣＰＵ１１０にバス１１４を介して接続されたＲＯＭ１２０には、このＣＰＵ１１０が実行する制御プログラム及び制御に必要な各種データ（後述するＡＥ／ＡＦの制御データ等）等が格納されており、フラッシュＲＯＭ１１８には、ユーザ設定情報等のデジタルカメラ１の動作に関する各種設定情報等が格納されている。

ＳＤＲＡＭ１１７は、ＣＰＵ１１０の演算作業用領域として利用されるとともに、画像データの一時記憶領域として利用され、ＶＲＡＭ１１６は、表示用の画像データ専用の一時記憶領域として利用される。

撮影レンズ１４は、ズームレンズ１３０Ｚ、フォーカスレンズ１３０Ｆ、絞り１３２を含んで構成されている。ズームレンズ１３０Ｚは、図示しないズームアクチュエータに駆動されて光軸に沿って前後移動する。ＣＰＵ１１０は、ズームレンズ制御部１２４を介してズームアクチュエータの駆動を制御することにより、ズームレンズ１３０Ｚの位置を制御し、撮影レンズ１４のズーミング、つまりズーム倍率を変更する操作を制御する。

フォーカスレンズ１３０Ｆも、図示しないフォーカスアクチュエータに駆動されて光軸に沿って前後移動する。ＣＰＵ１１０は、フォーカスレンズ制御部１２６を介してフォーカスアクチュエータの駆動を制御することにより、フォーカスレンズ１３０Ｆの位置を制御し、撮影レンズ１４のフォーカシングつまり合焦動作を制御する。

絞り１３２は、図示しない絞りアクチュエータに駆動されて動作する。ＣＰＵ１１０は、絞り制御部１２８を介して絞りアクチュエータの駆動を制御することにより、絞り１３２の開口量（絞り値）を制御し、撮像素子１３４への入射光量を制御する。

撮像素子１３４は、所定のカラーフィルタ配列を持つカラーＣＣＤから構成されている。ＣＣＤは、その受光面に二次元的に配列された多数のフォトダイオードを有する。撮影レンズ１４によってＣＣＤの受光面上に結像された被写体の光学像は、このフォトダイオードによって入射光量に応じた信号電荷に変換される。各フォトダイオードに蓄積された信号電荷は、ＣＰＵ１１０の指令に従ってＴＧ１３６から与えられる駆動パルスに基づいて、信号電荷に応じた電圧信号（画像信号）として順次読み出される。なお、この撮像素子１３４はいわゆる電子シャッタの機能を有するもので、上記フォトダイオードへの電荷蓄積時間を制御することにより露光時間（シャッタ速度）が制御される。

本実施形態では、ライブビュー画像をモニタ２４に表示するため、そして自動合焦に利用するために、例えば電源／モードスイッチ２０がＯＮにされた後は、上記画像信号が継続的に出力され続ける。なおここでは、撮像素子１３４としてＣＣＤを用いているが、ＣＭＯＳセンサ等の他の構成の撮像素子を用いることもできる。

アナログ信号処理部１３８は、撮像素子１３４から出力された画像信号に含まれるリセットノイズ（低周波）を除去するための相関二重サンプリング回路（ＣＤＳ）、画像信号を増幅し、一定レベルの大きさにコントロールするためのＡＧＳ回路等を含み、撮像素子１３４から出力される画像信号を増幅する。

Ａ／Ｄ変換器１４０は、アナログ信号処理部１３８から出力されたアナログの画像信号をデジタルの画像信号に変換する。画像入力コントローラ１４１は、Ａ／Ｄ変換器１４０から出力されたデジタル画像信号を取り込んで、ＳＤＲＡＭ１１７に格納する。

デジタル信号処理部１４２は、ＣＰＵ１１０からの指令に従って、ＳＤＲＡＭ１１７に格納された画像信号を取り込み、所定の信号処理を施して輝度信号Ｙと色差信号Ｃｒ、ＣｂとからなるＹＵＶ信号を生成する。そしてこのデジタル信号処理部１４２は、ＡＥ／ＡＷＢ検出部１４８で算出された積算値を取り込んでホワイトバランス調整用のゲイン値を算出する処理、画像入力コントローラ１４１を介して取り込まれたＲ、Ｇ、Ｂの各色の画像信号に対するオフセット処理、ガンマ補正処理、ノイズ低減処理等を行う。

ＡＦ検出部１４６は、画像入力コントローラ１４１から取り込まれたＲ、Ｇ、Ｂの各色画像信号を受けて、ＡＦ制御に必要な焦点評価値を算出し、それをＣＰＵ１１０に出力する。ＣＰＵ１１０はＡＦ制御時、上記焦点評価値が極大となる位置をサーチし、その位置にフォーカスレンズ１３０Ｆを移動させることにより、主要被写体への焦点合わせを行う。

ＡＥ／ＡＷＢ検出部１４８は、画像入力コントローラ１４１から取り込まれたＲ、Ｇ、Ｂの各色画像信号を取り込み、ＡＥ制御及びＡＷＢ制御に必要な積算値を算出する。ＣＰＵ１１０はＡＥ制御時に、このＡＥ／ＡＷＢ検出部１４８で算出された被写界内エリアごとのＲ、Ｇ、Ｂ信号の積算値を取得し、被写体の明るさ（測光値）を求めて、適正な露光量を得るための露出設定、すなわち、感度、絞り値、シャッタ速度、フラッシュ発光の要否等の設定を行う。

またＣＰＵ１１０はＡＷＢ制御時に、ＡＥ／ＡＷＢ検出部１４８で算出された被写界内エリアごとのＲ、Ｇ、Ｂ信号の積算値をデジタル信号処理部１４２に入力し、それをホワイトバランス調整や光源種の検出に適用させる。

圧縮・伸張処理部１４４は、ＣＰＵ１１０からの指令に従い、入力された画像データに所定形式の圧縮処理を施し、圧縮画像データを生成する。また、ＣＰＵ１１０からの指令に従い、入力された圧縮画像データに所定形式の伸張処理を施し、非圧縮の画像データを生成する。

表示制御部１５２は、ＣＰＵ１１０からの指令に従い、モニタ２４への表示を制御する。すなわち該表示制御部１５２は、ＣＰＵ１１０からの指令に従い、入力された画像信号をモニタ２４に表示するための映像信号（例えば、ＮＴＳＣ信号やＰＡＬ信号、ＳＣＡＭ信号）に変換してモニタ２４に出力するとともに、所定の文字、図形情報をモニタ２４に出力する。

メディア制御部１５４は、ＣＰＵ１１０からの指令に従い、メモリカード１５６に対してデータの読み／書きを制御する。

電源制御部１６０は、ＣＰＵ１１０からの指令に従い、バッテリ１６２から各部への電源供給を制御する。フラッシュ制御部１６４は、ＣＰＵ１１０からの指令に従い、フラッシュ１６の発光を制御する。

このデジタルカメラ１の右撮像系１０Ｒおよび左撮像系１０Ｌにより被写体を同倍率で撮影すると、各撮影系により、互いに視差の有る画像が撮影される。そのような画像を担持するデジタル画像信号を利用すれば、例えば立体視画像を構成したり、測定対象の物体の３次元位置情報を求めたりすることができる。この処理は、前記３Ｄ画像生成部１２２によって行われるものであるが、本発明と直接的な関連は無いので、その詳しい説明は省略する。

なお、「○○部」と表記されてバス１１４に接続している各要素は、独立した回路とし構成されてもよいし、あるいはＣＰＵ１１０を含むコンピュータシステムにおいて、所定のプログラムに従って機能するソフトウェアから構成されてもよいものである。

次に、このデジタルカメラ１においてなされる、２つのオブジェクトに各々自動合焦して撮影する複眼撮影について、その処理の流れを示す図４Ａおよび４Ｂのフローチャートを参照して説明する。なお、以下の説明において自動的になされる処理は、特に説明が無い場合は、基本的にＣＰＵ１１０の制御によってなされるものである。

この場合、前述したモードダイヤル２２は、「２オブジェクト追跡」位置にセットされ、シャッタボタン１８が半押しされて撮影操作が開始すると、ＣＰＵ１１０はステップＳ１においてライブビュー画像の取り込み処理、つまり、右撮像系１０Ｒおよび左撮像系１０Ｌからフレーム単位で継続的に出力される画像信号を取り込み、それをＳＤＲＡＭ１１７に一旦記憶させる処理がなされる。なお、この「２オブジェクト追跡」モードでは、先に挙げた通常のＡＦ処理はなされない。

次にステップＳ２においてオブジェクト検出部１８０により、左のライブビュー画像つまり左撮像系１０Ｌで撮影されたライブビュー画像と、右撮像系１０Ｒで撮影されたライブビュー画像との双方において、人間の顔や動物の顔などのオブジェクト（主要被写体）が検出され、次にステップＳ３においてオブジェクト対応付け部１８１により、検出されたオブジェクトに左右画像間での対応付けがなされる。このとき、対応付けがなされなかったオブジェクト、つまり左右どちらか一方のライブビュー画像だけで検出されたようなオブジェクトは無視され、対応付けされたオブジェクトのみが選択されて以下の処理の対象とされる。この選択されたオブジェクトの総数をＩとする。

次にステップＳ４において、以上のライブビュー画像取り込みが１回目のものであるかどうかが判定される。１回目のものである場合は次にステップＳ５において、複数のオブジェクトを順番に示す変数ｉが０（ゼロ）に設定された後、次にステップＳ６において距離算出部１８２により、オブジェクトＯiの撮影レンズ１４からの距離Ｌi１が算出される。この距離は、例えば左右のライブビュー画像間の視差に基づいて算出される。

次いでステップＳ７において優先度算出部１８４により、オブジェクトＯiの優先度が算出される。なおこの優先度は、例えば画像上の座標から定められるオブジェクトの位置が画像中心に近いほど大、あるいはオブジェクトの面積が大きいほど大、といった所定の基準に基づいて算出されるものである。

次にステップＳ８においてｉ＝Ｉであるか否かが判定され、ｉ≠Ｉの場合は次にステップＳ９においてｉの値が「１」繰り上げられた後、ステップＳ６以下の処理が繰り返される。ステップＳ８においてｉ＝Ｉであると判定されると、次に処理の流れはステップＳ１に戻る。このようにして、ライブビュー画像を１回目に取り込んだ際に、Ｉ個のオブジェクトのそれぞれについてカメラからの距離と優先度が求められる。

ステップＳ１において２回目のライブビュー画像取り込みがなされると、引き続きステップＳ２〜４において前述と同様の処理がなされ、ステップＳ４においてライブビュー画像取り込みが１回目のものではないと判定されると、次にステップＳ１０において、前述と同様の変数ｉの値が０「ゼロ」に設定される。次にステップＳ１１においてオブジェクト対応付け部１８１により、現フレームと前フレームとの間で、オブジェクトの対応付けがなされる。なおこの場合の「前フレーム」とは、基本的に「現フレーム」の１つ前の周期のフレームを指すものであるが、処理速度の関係上、１フレーム毎にオブジェクト検出を行い得ない場合もあり、そのような場合は、オブジェクト検出を行ったフレームの間で１つ前のフレームを指すものとする。このとき、対応付けがなされなかったオブジェクト、つまり移動が大きくて一方のフレームには存在していないようなオブジェクトは無視され、対応付けされたオブジェクトのみが選択されて以下の処理の対象とされる。この選択されたオブジェクトの総数をＩとする。

次にステップＳ１２において距離算出部１８２により、現フレームにおけるオブジェクトＯiの撮影レンズ１４からの距離Ｌi２が算出される。この距離も、例えば左右のライブビュー画像間の視差に基づいて算出される。次にステップＳ１３において、前フレームで対応付け可能なオブジェクトが有ったか否かが判定され、有った場合は次にステップＳ１４において移動距離算出部１８３により、オブジェクトＯiの現フレームにおける距離Ｌi２と、前フレームにおける距離Ｌi１との差Ｍi＝Ｌi２−Ｌi１が求められる。この差Ｍiはすなわち、前フレームから現フレームまでの間にオブジェクトＯiが、撮影レンズ１４からの距離が変わる方向に移動した距離である。

次にステップＳ１５において、現フレームにおける距離Ｌi２を、前フレームにおける距離Ｌi１として更新する処理がなされる。次にステップＳ１６においてｉ＝Ｉであるか否かが判定され、ｉ≠Ｉの場合は次にステップＳ２３においてｉの値が「１」繰り上げられた後、ステップＳ１１以下の処理が繰り返される。ステップＳ１６においてｉ＝Ｉであると判定されると、次にステップＳ１７において、優先度上位２つのオブジェクトの移動距離Ｍiに基づいて、オブジェクトＯiに合焦させるための予測レンズ合焦位置Ｐiが演算される。この予測レンズ合焦位置Ｐiは、フレーム間移動距離Ｍiと同じ変化率でこのままオブジェクトＯiが移動を続けるものとした場合に、これから本撮影操作がなされてレリーズされるまでの時間内に移動する距離を予測し、その予測距離と現フレームにおける距離Ｌi２とに基づいて求められる。

なお、ステップＳ１３において、前フレームで対応付け可能なオブジェクトが無かったと判定された場合は、ステップＳ１４の処理は省いて、次にステップＳ１５の処理がなされる。

ステップＳ１７の処理が終了すると次にステップＳ１８において、本撮影操作がなされたかどうか、つまりシャッタボタン１８が全押しされたかどうかが判定される。本撮影操作がなされていない場合、処理の流れはステップＳ１に戻り、それ以下の処理が既述と同様になされる。

一方、本撮影操作がなされた場合は次にステップＳ１９において、一方の合焦用レンズである左撮像系１０Ｌのフォーカスレンズ１３０Ｆが、優先度１位のオブジェクトＯについて前述のように求められた予測レンズ合焦位置Ｐiに設定される。そして次のステップＳ２０において、他方の合焦用レンズである右撮像系１０Ｒのフォーカスレンズ１３０Ｆが、優先度２位のオブジェクトＯについて前述のように求められた予測レンズ合焦位置Ｐiに設定される。その後ステップＳ２１において露出補正がなされ、ステップＳ２２において、両左撮像系１０Ｌおよび右撮像系１０Ｒにより共に撮影を行う複眼本撮影処理がなされて、撮影動作が終了する。

左撮像系１０Ｌのフォーカスレンズ１３０Ｆおよび右撮像系１０Ｒのフォーカスレンズ１３０Ｆを各々上述の通りの位置に設定して複眼撮影を行えば、左撮像系１０Ｌにより優先度１位のオブジェクトＯに合焦した画像が撮影され、また右撮像系１０Ｒにより優先度２位のオブジェクトＯに合焦した画像が撮影されるようになる。そして、前述した通りの予測レンズ合焦位置Ｐiに基づいて合焦処理を行っているので、優先度１位、２位のオブジェクトＯが互いに異なる方向や速度で移動していても、その移動を見込んで正確に合焦可能となる。つまり例えば撮影動作に入ったとき、各々移動している優先度１位のオブジェクトＯ_１、２位のオブジェクトＯ_２が図５に示すような状態にあり、複眼撮影の時点では図６に示すような状態になったとしても、オブジェクトＯ_１に合焦した画像と、オブジェクトＯ_２に合焦した画像とが撮影されるようになる。

次に図７Ａ、７Ｂを参照して、本発明の第２の実施形態による複眼撮影方法について説明する。なおこれらの図７Ａ、７Ｂにおいて、図４Ａ、４Ｂ中のステップと同等のステップには同番号を付してあり、それらについての説明は特に必要のない限り省略する（以下、同様）。

この図７Ａ、７Ｂに示した方法は図４Ａ、４Ｂに示した方法と比べると、ステップＳ１５とステップＳ１６との間にステップＳ３０、３１が、そしてステップＳ１６とステップＳ１７との間にステップＳ３２、３３が設けられている点が異なるものである。すなわち本実施形態ではステップＳ３２において、例えばタッチパネルからなるモニタ２４上で特定のオブジェクトＯiの像を指で触れて指定する等の優先度更新操作がなされ得るようになっている。この優先度更新操作がなされると、ステップＳ３３において、その特定のオブジェクトＯiに関する優先度更新フラグＰＦlagが立つ。

その後すぐに本撮影操作がなされなかった場合、処理はステップＳ１に戻るので、その後上記ステップＳ３０において、優先度更新フラグＰＦlagが立っているかどうかが判定される。優先度更新フラグＰＦlagが立っている場合は次にステップＳ３１において、その指定されたオブジェクトＯiの優先度を１位に変更する処理がなされる。優先度更新フラグＰＦlagが立っていない場合は、優先度更新処理はしないでステップＳ１６以降の処理がなされる。

上述の優先度更新処理をすることにより、ステップＳ１９において判別される優先度１位のオブジェクトＯは上記指定されたオブジェクトＯiとなるので、左撮像系１０Ｌでは必ずこのオブジェクトＯiに合焦させて撮影がなされるようになる。したがって、ステップＳ７における優先度算出により、当初はユーザが意図したものではないオブジェクトが合焦対象とされたような場合でも、ユーザがそのことを例えばモニタ２４の表示によって確認した後に優先度更新処理をすれば、その後はユーザの意図通りのオブジェクトが合焦対象とされるようになる。

そして本実施形態では、本撮影操作が検出されるステップＳ１８の前であれば、優先度更新操作がどの時点でなされても優先度が更新されるようになっているので、ユーザは好きなタイミングで優先度を更新することができる。

次に図８Ａ、８Ｂを参照して、本発明の第３の実施形態による複眼撮影方法について説明する。この図８Ａ、８Ｂに示した方法は図４Ａ、４Ｂに示した方法と比べると、ステップＳ１５とステップＳ１６との間にステップＳ４０が設けられている点が異なるものである。すなわち本実施形態では、図７Ａ、７Ｂに示した方法のようにユーザの操作によって優先度が更新されるのではなく、ステップＳ４０において、フレームが更新される都度、複数のオブジェクトＯiに対する優先度が自動更新されるようになっている。

ライブビュー画像において同じ被写体が撮像され続けていても、それらが移動していれば各フレームにおける構図が変化するので、既に求められていた優先度が現フレームの構図に見合ったものになっていない可能性もある。しかし、このように毎フレーム自動的に複数のオブジェクトＯiに対する優先度を更新すれば、優先度決定条件に最も適合した２つのオブジェクトに必ず合焦させて撮影がなされるようになる。また、最初の優先度算出が誤ってなされたような場合でも、この更新を行うことにより、正しい優先度が与えられるようになる。

次に図９Ａ、９Ｂを参照して、本発明の第４の実施形態による複眼撮影方法について説明する。この図９Ａ、９Ｂに示した方法は図８Ａ、８Ｂに示した方法と比べると、基本的な処理は変わらないが、自動合焦させるオブジェクトを人間の顔に限定した点が異なるものである。このようにオブジェクトを人間の顔に限定するには、ステップＳ２でオブジェクトを検出するとき、公知の顔検出技術を適用して顔のみを抽出し、それを検出オブジェクトとすればよい。なお、このようにオブジェクトを人間の顔に限定する場合は、前述したモードダイヤル２２により、「顔追跡」のようなモードを設定できるようにしておけばよい。

以上のようにオブジェクトを特定の物に限定することにより、後の処理数を減らすことができるので、合焦動作の高速化を実現できる。また、ユーザが不要と思っているオブジェクトに合焦してしまうことも、高い確率で防止可能となる。

次に図１０および図１１を参照して、本発明の第５の実施形態について説明する。図１０は、本実施形態によるデジタルカメラの主に電気的構成を示すブロック図である。この構成は図３に示したものと比べると基本的に、追跡対象登録部１８５および追跡対象認識部１８６が設けられた点が異なるものである。これらの追跡対象登録部１８５および追跡対象認識部１８６は、バス１１４を介してＣＰＵ１１０に接続されている。

以下、上記追跡対象登録部１８５および追跡対象認識部１８６に関連する処理について、その処理の流れを示す図１１を参照して説明する。なお本実施形態における合焦処理は、同図に示したステップＳ３以降においては図４Ａ、４Ｂに示した第１実施形態の処理と全く同様になされるので、図１１にはステップＳ３まで示し、そしてステップＳ４以降の説明は省略する。

この実施形態において撮影操作が開始すると、まずステップＳ５０において、認識用オブジェクトが登録済みであるか否かが判定される。ここで登録済みでないと判定された場合は次にステップＳ５１において、登録用オブジェクトが撮影される。これは、例えば警告音が発せられるとともに、モニタ２４に「登録用被写体を撮影して下さい」といった表示がなされ、それに促されたユーザが登録用被写体を撮影することによってなされる。こうして撮影された例えば特定人物の顔などオブジェクトは、次にステップＳ５２において辞書に逐一登録されて、オブジェクト辞書が作成される。この辞書は、図１０の追跡対象登録部１８５に登録される。

辞書が作成されると次にステップＳ５３において、ユーザによってさらに認識用オブジェクトを登録する操作がなされているかどうかが判定される。この操作が有ると判定された場合は、ステップＳ５１および５２の処理が繰り返され、２つ目のオブジェクトがオブジェクト辞書に登録される。なお、その後もさらにユーザにより、認識用オブジェクトを登録する操作がなされた場合は、最も古い時点で辞書登録されたオブジェクトを削除して新しいオブジェクトを辞書登録したり、あるいは辞書登録済みのオブジェクトをモニタ２４に表示させ、その中からユーザによって選択されたものを削除したりする処理をすればよい。

ステップＳ５３において、認識用オブジェクトを登録する操作がなされていないと判定された場合は、次にステップＳ１において、既述の実施形態におけるのと同様にしてライブビュー画像が取り込まれる。次にステップＳ２において、ライブビュー画像からオブジェクトの検出がなされるが、このときはまず、追跡対象登録部１８５に登録済みのオブジェクトがライブビュー画像内に存在するかどうか調べられる。この登録済みのオブジェクトの認識は、図１０の追跡対象認識部１８６によってなされる。ここで登録済みのオブジェクトが１つあるいは２つ認識された場合は、そのオブジェクトが検出オブジェクトとされる。もし、登録済みのオブジェクトが１つも認識されない場合は、既述の場合と同様にしてオブジェクトが検出される。

本実施形態のように、予め登録したオブジェクトを追跡対象として設定するのであれば、ライブビュー画像の中に人物等のオブジェクトが数多く存在する場合でも、不要なオブジェクトは排除して、ユーザが撮影したいと思っているオブジェクトに合焦させて撮影をすることができる。また、不要なオブジェクトは排除することによって処理数が減るので、合焦処理の高速化が達成される。

特に本実施形態では、ユーザによって入力されたオブジェクトが辞書登録されるようになっているので、ユーザが撮影したいと思っているオブジェクトに合焦させて撮影できる確率がより高くなる。

なお、認識用オブジェクトは３つ以上登録されても構わない。そうする場合は、登録されている認識用オブジェクトに必ず合焦した状態で撮影がなされるとは限らなくなるが、少なくともそれらの認識用オブジェクトがステップＳ２において検出される確率は高くなるので、登録されている認識用オブジェクトに合焦した状態で撮影がなされる可能性が高くなる。

次に図１２Ａ、１２Ｂを参照して、本発明の第６の実施形態による複眼撮影方法について説明する。この図１２Ａ、１２Ｂに示した方法は図４Ａ、４Ｂに示した方法と比べると、ステップＳ１５とステップＳ１６との間に、ステップＳ６０、６１および６２が設けられている点が異なるものである。すなわち本実施形態ではステップＳ６０において、オブジェクトＯiの移動距離Ｍiがほぼ０（ゼロ）であるか否かが判定され、そうでない場合つまりオブジェクトＯiが移動していると考えられる場合は次にステップＳ６１において、図８Ａ、８Ｂの処理の場合と同様に適宜オブジェクトＯiの優先度を更新する処理がなされる。

一方、ステップＳ６０において、オブジェクトＯiの移動距離Ｍiがほぼ０（ゼロ）であると判定された場合は、次にステップＳ６２において、そのオブジェクトＯiの優先度を最下位に設定する処理がなされる。移動距離Ｍiがほぼ０のオブジェクトとしては、例えば図１３および図１４にオブジェクトＯ_２、Ｏ_３として示す樹木などが挙げられる。この例において図１３の状態から時間が経過して図１４の状態になったとき、オブジェクトＯ_１、Ｏ_４として示す人物は移動するのに対し、樹木であるオブジェクトＯ_２、Ｏ_３は移動することがない。このように移動しないオブジェクトの優先度を最下位に設定すれば、移動していないオブジェクトに合焦することが避けられるので、合焦させるべき人物等のオブジェクトに合焦した状態で撮影できる確率が高くなる。

次に図１５Ａ、１５Ｂを参照して、本発明の第７の実施形態による複眼撮影方法について説明する。この図１５Ａ、１５Ｂに示した方法は図４Ａ、４Ｂに示した方法と比べると、ステップＳ１７とステップＳ１８との間に、ステップＳ７０が設けられている点が異なるものである。すなわち本実施形態ではステップＳ７０において、オブジェクトＯiに関して算出された予測レンズ合焦位置Ｐiが、次のフレームにおける撮影可能領域の限界値に等しいかどうかが判定される。この限界値としては、例えばそれよりも近いとピンボケになってしまうというような、レンズ光軸方向の限界値とされる。ここでその旨が判定されなければ、既述の実施形態におけるのと同様に次にステップＳ１８の処理がなされる。

それに対して、予測レンズ合焦位置Ｐiが上記限界値に等しいと判定された場合は、ステップＳ１８をバイパスして次にステップＳ１９の処理がなされる。つまりこの場合は、本撮影操作がなされているかどうかに拘わらず、強制的に本撮影処理がなされる。このようにすることにより、移動しているオブジェクトが撮影可能領域外に外れてしまうまで本撮影操作がなされないということを回避して、撮影タイミングを逃さずに撮影可能となる。

なお、上記予測レンズ合焦位置Ｐiが撮影可能領域の限界値と等しい場合だけでなく、この限界値に対して所定の閾値内の近い値を取っている場合も、同様に強制的な本撮影処理を行うようにしてもよい。

また、上記予測レンズ合焦位置Ｐiと撮影可能領域の限界値とを比較する他に、オブジェクトＯiに関して算出された移動距離Ｍiと撮影可能領域の限界値とを比較するようにしてもよい。その場合の限界値としては、それ以上オブジェクトＯiの移動が続くと、該オブジェクトＯiは撮影画角からはみ出してしまうというような、レンズ光軸と交わる方向の限界値とされる。そうする場合も、移動しているオブジェクトが撮影可能領域外に外れてしまうまで本撮影操作がなされないということを回避して、撮影タイミングを逃さずに撮影可能となる。

さらに、上述のように強制的に本撮影処理を行う他、本撮影操作を促す警告音や警告表示を出して、ユーザが速やかに本撮影操作に入ることを補助するようにしてもよい。

以上説明した実施形態においては全て、検出されたオブジェクトは撮影終了まで１つずつ個別のものとして処理を行っているが、例えば図１６および図１７に示すオブジェクトＯ_１、Ｏ_２のように、２つのフレーム間での移動距離が等しい複数のオブジェクトについては、移動距離が等しいことを検知した後は１つのオブジェクトとして扱うようにしてもよい。そのようにしてオブジェクトの数を減らせば、自動合焦の対象とするオブジェクトをさらに増やすことができるので、より多くのオブジェクトに合焦した画像を撮影できるようになる。

１ デジタルカメラ
１０Ｌ 左撮像系
１０Ｒ 右撮像系
１４ 撮影レンズ
１６ フラッシュ（ストロボ）
２４ モニタ
１１０ ＣＰＵ
１１２ 操作部
１３０Ｚ ズームレンズ
１３０Ｆ フォーカスレンズ
１３４ 撮像素子
１８０ オブジェクト検出部
１８１ オブジェクト対応付け部
１８２ 距離算出部
１８３ 移動距離算出部
１８４ 優先度算出部
１８５ 追跡対象登録部
１８６ 追跡対象認識部

Claims (8)

1. それぞれが合焦レンズを備えた２つの撮像部と、
   前記２つの撮像部がそれぞれ出力するライブビュー画像から所定のオブジェクトを検出するオブジェクト検出部と、
   前記２つのライブビュー画像の間、および前後の２フレーム間で、検出されたオブジェクトの対応付けを行うオブジェクト対応付け部と、
   検出されたオブジェクトが複数の場合に、オブジェクトの優先度を決定する優先度決定部と、
   カメラからオブジェクトまでの距離を計算する距離算出部と、
   ライブビュー画像のフレーム間における前記距離の変化量に基づいて、フレーム間のオブジェクト移動距離を計算する移動距離算出部と、
   前記計算されたオブジェクト移動距離に基づいて、前記オブジェクトに対する次フレーム以降の合焦位置を予測する合焦位置予測部とを有し、
   前記オブジェクト検出部にて複数のオブジェクトが検出された場合、優先度の上位２つのオブジェクトに対して合焦位置の予測を行い、予測された合焦位置に応じて前記２つの撮像部にて上位２つのオブジェクトそれぞれに合焦した撮影を行うように構成されたことを特徴とする複眼撮影装置。
2. 装置ユーザが行う優先度更新操作を受けて、前記優先度を決定し直す優先度更新処理を行うように構成されたことを特徴とする請求項１記載の複眼撮影装置。
3. ライブビュー画像のフレームが変わる都度、前記優先度を決定し直す優先度更新処理を行うように構成されたことを特徴とする請求項１または２記載の複眼撮影装置。
4. 合焦の対象とするオブジェクトが予め登録手段に登録されており、
   ライブビュー画像中のオブジェクトを検出する際に、前記登録手段に登録されているオブジェクトを認識して、それを検出されたオブジェクトとするように構成されたことを特徴とする請求項１から３いずれか１項記載の複眼撮影装置。
5. 前記登録するオブジェクトを、ユーザによって入力されたオブジェクトとするように構成されたことを特徴とする請求項４記載の複眼撮影装置。
6. 前記予測レンズ合焦位置が撮影可能範囲の限界に近いか否かを判定し、近い場合はユーザによる撮影処理がなされなくても撮影処理を行うように構成されたことを特徴とする請求項１から５いずれか１項記載の複眼撮影装置。
7. 前記算出されたオブジェクト移動距離に基づいてオブジェクトの移動を検出し、移動が検出されないオブジェクトは合焦の対象から除外するように構成されたことを特徴とする請求項１から６いずれか１項記載の複眼撮影装置。
8. それぞれが合焦レンズを備えた２つの撮像部によりライブビュー画像を撮像し、
   前記２つの撮像部がそれぞれ出力するライブビュー画像から所定のオブジェクトを検出し、
   前記２つのライブビュー画像の間、および前後のフレーム間で、検出されたオブジェクトの対応付けを行い、
   検出されたオブジェクトが複数の場合に、オブジェクトの優先度を決定し、
   カメラからオブジェクトまでの距離を計算し、
   ライブビュー画像のフレーム間における前記距離の変化量に基づいて、フレーム間のオブジェクト移動距離を計算し、
   前記計算されたオブジェクト移動距離に基づいて、前記オブジェクトに対する次フレーム以降の合焦位置を予測し、
   前記オブジェクト検出部にて複数のオブジェクトが検出された場合、優先度の上位２つのオブジェクトに対して合焦位置の予測を行い、予測された合焦位置に応じて前記２つの撮像部にて上位２つのオブジェクトそれぞれに合焦した撮影を行うことを特徴とする複眼撮影方法。

Images