JP6899049B2 - 撮像装置 - Google Patents

Description

本発明は、撮像装置に関する。

追尾対象となる被写体を追尾して、追尾した被写体にピントを合わせる撮像装置が知られている（特許文献１参照）。しかし、ユーザがピントを合わせたいと所望する被写体は、必ずしも追尾対象となる被写体とは限らない。

特開２０１３−１２９４２号公報

撮像装置は、画像信号を繰り返し出力する撮像部と、前記画像信号に基づいて検出された第１の被写体を繰り返し認識する認識部と、前記第１の被写体と異なり、かつ前記第１の被写体との距離が可変である第２の被写体を前記第１の被写体との距離に基づいて選択する選択部と、前記第２の被写体に基づいて焦点検出する焦点検出部と、を備える。

第１の実施の形態の撮像装置の全体構成を示すブロック図である。 サッカーの試合においてドリブルが行われている場面がモニタにスルー画として表示された状態を示す図である。 サッカーの試合においてドリブルが行われている場面がモニタにスルー画として表示された状態を示す図である。 サッカーの試合においてパスが行われている場面がモニタにスルー画として表示された状態を示す図である。 図４で示した場面の後の場面であって、ボールがプレーヤに接近した状態を示す図である。 焦点調節時に実行される処理のフローチャートである。 変形例について説明する図である。 第２の実施の形態の撮像装置の全体構成を示すブロック図である。 第２の実施の形態の焦点調節時に実行される処理のフローチャートである。

−−−第１の実施の形態−−−
図１〜６を参照して、撮像装置の第１の実施の形態を説明する。図１は、第１の実施の形態の撮像装置の全体構成を示すブロック図である。
本実施の形態の撮像装置としてのカメラ１００は、操作部材１０１と、撮影レンズ１０２と、撮像素子１０３と、メモリカードスロット１０５と、モニタ１０６と、制御装置１１０とを備えている。操作部材１０１は、使用者によって操作される種々の操作ボタンを含んでいる。例えば、操作部材１０１には、電源ボタン、レリーズボタン、ズームボタン、十字ボタン、決定ボタン、再生ボタン、および削除ボタンなどを含んでいる。

撮影レンズ１０２は、複数の光学レンズから構成されるが、図１では代表して１枚のレンズで表している。また、撮影レンズ１０２を構成するレンズには、ＡＦ（Ａｕｔｏ Ｆｏｃｕｓ／自動焦点調整）のためのＡＦレンズ（フォーカシングレンズ）が含まれる。撮像素子１０３は、例えばＣＣＤやＣＭＯＳなどのイメージセンサーであり、撮影レンズ１０２からの光束を受光して画像信号と焦点検出信号とを生成し、そして、生成した画像信号と焦点検出信号とを制御装置１１０へ出力する。

制御装置１１０は、ＣＰＵ、メモリ、およびその他の周辺回路により構成され、カメラ１００を制御する。なお、制御装置１１０を構成するメモリには、ＳＤＲＡＭやフラッシュメモリが含まれる。ＳＤＲＡＭは、揮発性のメモリであって、ＣＰＵがプログラム実行時にプログラムを展開するためのワークメモリとして使用されたり、データを一時的に記録するためのバッファメモリとして使用される。また、フラッシュメモリは、不揮発性のメモリであって、制御装置１１０が実行するプログラムのデータや、プログラム実行時に読み込まれる種々のパラメータなどが記録されている。

制御装置１１０は、認識部１１１と、主要被写体検出部１１２と、焦点検出部１１３と、焦点調節部１１４とを有する。制御装置１１０は、メモリに格納されたプログラムを実行することにより、これらの各部の機能を実現している。各部の機能の内容については、後で説明する。

メモリカードスロット１０５は、記憶媒体としてのメモリカードを挿入するためのスロットであり、制御装置１１０から出力された画像ファイルをメモリカードに書き込んで記録する。

モニタ１０６は、カメラ１００の背面に搭載された液晶表示装置（ＬＣＤ）などであり、当該モニタ１０６には、メモリカードに記憶されている画像やカメラ１００を設定するための設定メニューなどが表示される。また、制御装置１１０は、使用者によって操作部材１０１が操作されてモニタ１０６への撮像画像の表示の開始が指示されると、撮像素子１０３から繰り返し取得した画像信号に基づいて表示用画像データを生成し、これをモニタ１０６に出力する。これによってモニタ１０６には撮影画像がリアルタイムに表示（所謂スルー画のライブビュー表示）される。なお、モニタ１０６は、タッチパネル式の表示装置であり、操作部材１０１の一部を構成する。

−−−制御装置１１０の各部の機能について−−−
制御装置１１０の認識部１１１は、撮像素子１０３から繰り返し得られる複数の画像から特定の対象に相当する画像を繰り返し検出することにより、ユーザによって指定された追尾対象を繰り返し認識して追尾する。ユーザは、たとえばモニタ１０６に表示された画像における特定の被写体像をタッチすることで、追尾対象を指定することができる。なお、追尾対象の像を第１の被写体像とも呼ぶ。
本実施の形態では、後述するように、各種の球技で使用されるボールが追尾対象として指定される。認識部１１１は、たとえばモニタ１０６の表示画像における被写体像をタッチすることで追尾対象が指定されると、その追尾対象像をテンプレート画像として取得し、このテンプレート画像と撮像素子１０３からの画像とをテンプレートマッチングして追尾対象を繰り返し認識して追尾する。
なお、追尾対象が、各種の球技で使用されるボールのように事前に判明している場合には、ボールの画像をあらかじめ不図示のメモリに格納しておき、追尾処理の際にそのボールの画像をメモリから読み出してテンプレート画像としてもよい。
もちろん、認識部１１１は、テンプレートマッチング処理以外の処理によって追尾対象の位置を検出して追尾を行うこともできる。

主要被写体検出部１１２は、撮像素子１０３から繰り返し取得した画像信号に基づく画像データから追尾対象とは異なる被写体であって所定の特徴を有する被写体（以下、所定の特徴を有する被写体を目標被写体と称する）を検出する。さらに、主要被写体検出部１１２は、検出した１つまたは複数の目標被写体のうちの、追尾対象と所定の関係を有する目標被写体を選択し、その選択した目標被写体を主要被写体に設定する。なお、この主要被写体に対して後述のように焦点調節部１１４によって焦点調節する。したがって、主要被写体検出部１１２は、目標被写体を認識、すなわち検出する検出部と、検出した目標被写体から追尾対象と所定の関係を有する目標被写体を主要被写体として選択する主要被写体選択部とから構成される。なお、主要被写体の像を第２の被写体像とも呼ぶ。
本実施の形態では目標被写体は人物の顔であり、したがって主要被写体検出部１１２は検出部として顔検出部を有する。主要被写体検出部１１２の主要被写体選択部は、顔検出部が検出した１つまたは複数の顔から追尾対象と所定の関係を有する顔を選択する。

本実施の形態では、追尾対象と所定の関係を有する顔とは、追尾対象に最も近い顔である。詳述すると、追尾対象と所定の関係を有する顔とは、追尾対象から所定の範囲内に位置する顔であり、所定の範囲内に複数の顔が存在する場合には、複数の顔の中で追尾対象との距離が最も小さい顔である。なお、上記の所定の範囲は、顔が所定の範囲内であればその顔の人物が追尾対象と特別な関係にあり、顔が所定の範囲外であればその顔の人物が追尾対象と特別な関係にないと推測することができるように選定される。
たとえば、本実施の形態では、追尾対象であるサッカー等の球技のボールから所定の範囲内に位置する顔の人物（球技のプレーヤ）は、ボールを支配しているまたは支配可能な人物である。ここで支配とは、たとえばサッカーではボールをドリブルしていること、ボールを空中に蹴ること、ボールをヘディングすること、ボールをスローイングすることなどである。
したがって本実施の形態では、主要被写体検出部１１２は検出した人物の顔のうち追尾対象のボールに最も近い顔を主要被写体に設定する。たとえば主要被写体検出部１１２は、撮像素子１０３の撮像面における追尾対象や検出した顔の位置、すなわち撮像して得られた画像における追尾対象や顔の位置に基づいて、追尾対象に最も近い顔を主要被写体に設定する。

なお、本実施の形態では、主要被写体検出部１１２は上述の所定の範囲を次のように定める。所定の範囲は、上述のようにその顔の人物が追尾対象のボールと特別な関係にあることが推測され、かつ主要被写体検出部１１２の顔検出部が顔を検出する範囲として定められる。このように、所定の範囲を主要被写体検出部１１２の顔検出部が顔を検出する範囲として定めることによって、顔検出部が撮像素子１０３の全画面において顔を検出する場合に比べて顔検出部の演算負荷を抑制することができる。本実施の形態で顔検出部が顔を検出する範囲は、追尾対象像の位置を中心とした所定の範囲であり、この範囲を顔検出範囲と呼ぶ。主要被写体検出部１１２は、顔検出範囲内で顔検出処理を行う。

顔検出範囲の大きさは、たとえば撮像素子１０３で撮像して得られる画像における追尾対象の像の大きさに比例した大きさに設定される。したがって、カメラ１００と追尾対象との距離が近ければ顔検出範囲は大きくなり、カメラ１００と追尾対象との距離が遠ければ顔検出範囲は小さくなる。また、撮影レンズ１０２の焦点距離が長ければ顔検出範囲は大きくなり、レンズ１０２の焦点距離が短ければ顔検出範囲は小さくなる。また、追尾対象自体の大きさが大きければ顔検出範囲は大きくなり、追尾対象自体の大きさが小さければ顔検出範囲は小さくなる。

なお、主要被写体検出部１１２は、顔検出範囲内で人物の顔を検出できない場合には追尾対象の近くにピントを合わせるべき主要被写体が存在しないと判断する。この場合、主要被写体検出部１１２は追尾対象自体を主要被写体に設定する。

焦点検出部１１３は、主要被写体に関する撮像素子１０３からの焦点検出信号に基づき主要被写体像について焦点検出する。焦点検出部１１３は、撮像素子１０３からの焦点検出信号に基づき主要被写体像とそれ以外の被写体像について焦点検出してもよい。また、焦点検出部１１３は、位相差検出方式の焦点検出部でも、コントラスト検出式の焦点検出部であってもよい。なお、焦点検出部１１３が位相差検出方式の焦点検出部である場合、主要被写体像が撮像素子１０３の撮像面上のどの位置にあっても主要被写体像のデフォーカス量を算出できるように、撮像素子１０３における焦点検出可能な画素を撮像素子１０３の撮像面の全体に設けることが望ましい。また、撮像素子１０３とは別に位相差検出方式の焦点検出を行うためのセンサを設け、このセンサからの信号に基づいて焦点検出部１１３が焦点検出を行うようにしてもよい。

焦点調節部１１４は、焦点検出部１１３で検出した主要被写体に関する焦点検出結果に基づいて、主要被写体検出部１１２で主要被写体に設定した顔に対して撮影レンズ１０２の合焦状態を制御する。すなわち、焦点調節部１１４は主要被写体検出部１１２で主要被写体に設定した顔にピントが合うように撮影レンズ１０２の焦点調節を行う。

このように構成されるカメラ１００では、たとえば球技の試合の様子を撮影する場合にボールが追尾対象に設定されると、顔検出範囲内に顔が存在する場合にはボールに最も近い顔が主要被写体に設定され、この顔にピントが合うように撮影レンズ１０２の合焦状態が制御される。したがって、カメラ１００で静止画を撮影する場合には、レリーズ時にボールに最も近い顔にピントが合った静止画像が得られる。カメラ１００で動画を撮影する場合には、ボールやプレーヤの動きに応じてその時々でボールに最も近い顔にピントが合った動画像が得られる。なお、顔検出範囲内に顔が存在しない場合には、ボールが主要被写体に設定されてボールにピントが合うようにレンズ１０２の合焦状態が制御される。
以下、本実施の形態のカメラ１００において、球技の一例としてのサッカーの試合におけるドリブルやパスが行われている場面を例に挙げて、どのプレーヤの顔にピントが合わされるのかを説明する。

図２は、サッカーの試合においてドリブルが行われている場面がモニタ１０６にスルー画として表示された状態を示す図である。図２において、複数の人物（プレーヤ）１６１〜１６６のうちプレーヤ１６１がボール１５１を支配してドリブルを行っているものとする。ボール１５１および各プレーヤ１６１〜１６５は、矢印１７１および矢印１８１〜１８５で示す方向に移動しているものとし、プレーヤ１６６は略静止しているものとする。なお、各矢印１７１，１８１〜１８５は説明の便宜上図示したものであり、モニタ１０６には表示されない。破線で示した矩形の枠１４１は、上述した顔検出範囲である。この顔検出範囲１４１は、追尾対象であるボール１５１を中心とした矩形であるが、矩形以外の多角形であってもよいし、円形や楕円形などであってもよい。また、顔検出範囲１４１の形状の中心は、必ずしも追尾対象であるボール１５１に一致させる必要はない。なお、顔検出範囲１４１の枠１４１は、モニタ１０６に表示されていてもよく、モニタ１０６に表示されていなくてもよい。

認識部１１１は、たとえばモニタ１０６に表示されている画像１４０中のボール１５１の像がユーザによってタッチされたことを検出すると、ボール１５１を追尾対象として設定してボール１５１の追尾を開始する。

主要被写体検出部１１２は、図２において顔検出範囲１４１内に存在する人物の顔を検出する。図２に示す例では、顔検出範囲１４１内に存在する顔は、プレーヤ１６１の顔１６１ａとプレーヤ１６２の顔１６２ａである。そして、主要被写体検出部１１２は、検出した２つの顔１６１ａ，１６２ａのうち追尾対象と所定の関係を有する顔、すなわちボール１５１に最も近い顔１６１ａを主要被写体に設定する。このように、主要被写体検出部１１２がボール１５１に最も近い位置の顔１６１ａを選択する理由は、この顔１６１ａの人物１６１がボール１５１を支配している可能性が高いからである。
なお、顔検出範囲１４１内に存在する顔が１つだけであった場合、主要被写体検出部１１２はその顔を主要被写体に設定する。

図３は、図２と同様にサッカーの試合においてドリブルが行われている場面がモニタ１０６にスルー画として表示された状態を示す図である。図３と図２との違いは、画像１４０に頭部１６７ｂの後側をカメラ１００に向けているプレーヤ１６７が存在するか否かだけであるものとする。たとえば図３に示すように、画像１４０に頭部１６７ｂの後側をカメラ１００に向けているプレーヤ１６７が存在する場合には、プレーヤ１６７の顔が写らないため主要被写体検出部１１２はプレーヤ１６７の顔を検出できない。したがって、プレーヤ１６７の頭部１６７ｂの位置がプレーヤ１６１の顔１６１ａよりもボール１５１に近い場合であっても、主要被写体検出部１１２は、顔１６１ａを主要被写体に設定する。なお、主要被写体検出部１１２の顔認識部が頭部の後側をカメラ１００に向けているプレーヤ１６７の頭部１６７ｂを顔に類似するものとして認識できたとしても、主要被写体としての設定候補から頭部１６７ｂを除外することが望ましい。

図４は、サッカーの試合においてパスが行われている場面がモニタ１０６にスルー画として表示された状態を示す図であり、たとえば、図２に示す場面の後の場面の一例である。
図２で示した場面でボールを支配していたプレーヤ１６１が図４に示す場面で画面１４０上で右側にいるプレーヤ１６８に向かってボール１５１をパスすると、ボール１５１はパスを出したプレーヤ１６１から離れる。図４の破線の矢印１７２は、空中を移動するボール１５１の移動軌跡あるいは予測した移動軌跡を示す。図４に示す状態では、顔検出範囲１４１内にいずれの顔１６１ａ〜１６６ａ，１６８ａも存在していない。この場合主要被写体検出部１１２は、追尾対象であるボール１５１を主要被写体に設定する。

図５は、図４で示した場面の後の場面であって、ボール１５１がプレーヤ１６８に接近した状態を示す図である。図５に示すように、ボール１５１がプレーヤ１６８の顔１６８ａから所定の距離以内に近づいて顔検出範囲１４１内にプレーヤ１６８の顔１６８ａが存在するようになると、主要被写体検出部１１２は、ボール１５１に最も近い位置に存在する顔である、プレーヤ１６８の顔１６８ａを主要被写体に設定する。
このように本実施の形態のカメラ１００では、追尾対象と顔との距離により、その顔に対して撮影レンズ１０２の合焦状態を制御する。

以上に説明したように、本実施の形態のカメラ１００では、たとえばサッカーの試合の様子を撮影する場合、ボール１５１が追尾対象に設定されるとボール１５１を含む所定の範囲が顔検出範囲１４１に設定される。そして、顔検出範囲１４１内でボール１５１に最も近い顔が主要被写体に設定されて、この顔にピントが合うように撮影レンズ１０２の合焦状態が制御される。サッカーの試合の状況に応じてボール１５１が移動したり、ボール１５１を支配するプレーヤが入れ替わったりしても、本実施の形態のカメラ１００ではボール１５１に最も近い顔にピントが合う。したがって本実施の形態のカメラ１００では、サッカーの試合の状況に応じてボール１５１に対して最も密接な関係がある人物の顔にピントを合わせることができので、試合の状況に応じて最も適切な被写体にピントを合わせることができる。すなわち本実施の形態のカメラ１００では、撮影の場面や撮影対象の状況等に応じてピントを合わせる被写体を適切な被写体に自動的に切り替えることができるので、ユーザの意図する画像が得られる。

−−−フローチャート−−−
図６は、本実施の形態の焦点調節時に実行される処理のフローチャートである。このフローチャートは、カメラ１００の不図示の電源スイッチがオンされると制御装置１１０において実行される。

ステップＳ１１において、制御装置１１０の認識部１１１は、モニタ１０６がタッチされるなどして追尾対象が指定されるまで待機する。モニタ１０６がタッチされるなどして追尾対象が指定されるとステップＳ１３へ進み、認識部１１１はステップＳ１１で指定された被写体を追尾対象に設定し、追尾対象の追尾を開始する。

ステップＳ１３が実行されるとステップＳ１５へ進み、主要被写体検出部１１２は追尾対象の周囲に顔検出範囲１４１を設定し、この顔検出範囲１４１内において人物の顔を検出する顔検出処理を行ってステップＳ１７へ進む。ステップＳ１７において、主要被写体検出部１１２は、ステップＳ１５における顔検出処理の結果、追尾対象から所定の範囲内、すなわち顔検出範囲１４１内に顔が存在したか否かを判断する。

顔検出範囲１４１内に顔が存在した場合、ステップＳ１７が肯定判断されてステップＳ１９へ進む。ステップＳ１９において、主要被写体検出部１１２は、顔検出範囲１４１内の複数の顔のうち追尾対象に最も近い顔を主要被写体に設定してステップＳ２１へ進む。なお、顔検出範囲１４１内に存在する顔が１つだけであった場合、主要被写体検出部１１２はその顔を主要被写体に設定してステップＳ２１へ進む。
なお、顔検出範囲１４１内に顔が存在しなかった場合、ステップＳ１７が否定判断されてステップＳ２５へ進む。ステップＳ２５において、主要被写体検出部１１２は追尾対象を主要被写体に設定してステップＳ２１へ進む。

ステップＳ２１において、焦点調節部１１４は、焦点検出部１１３で検出した焦点検出結果に基づいてステップＳ１９またはステップＳ２５で設定された主要被写体にピントを合わせるように撮影レンズ１０２の焦点調節を行ってステップＳ２３へ進む。ステップＳ２３において制御装置１１０は、追尾動作の終了が指示されたか否かを判断する。なお、本実施の形態では、たとえば不図示の電源スイッチがオフされるとステップＳ２３が肯定判断される。
ステップＳ２３が肯定判断されると、制御装置１１０は本プログラムを終了する。ステップＳ２３が否定判断されるとステップＳ１５へ戻る。

本実施の形態では、次の作用効果を奏する。
（１）カメラ１００は、撮影レンズ１０２による被写体の像を撮像して画像信号を繰り返し出力する撮像素子１０３と、画像信号による画像内において選択された第１の被写体像を繰り返し認識する認識部１１１と、認識部１１１によって認識された第１の被写体像と異なる第２の被写体像に対して撮影レンズ１０２の合焦状態を制御する焦点調節部１１４と、を備える。これにより、第１の被写体像を追尾しつつ、第１の被写体像と異なる第２の被写体像にピントを合わせることができる。したがって、ピントを合わせたい被写体が追尾する被写体と異なる場合に適切な被写体にピントを合わせられるので、ユーザの意図する画像を得られる。すなわち、本実施の形態のカメラ１００では、撮影の場面や撮影対象の状況等に応じてピントを合わせる被写体を適切な被写体に自動的に切り替えることができ、ユーザの意図する画像が得られる。

（２）焦点調節部１１４は、第１の被写体像と第２の被写体像との距離により、第２の被写体像に対して撮影レンズ１０２の合焦状態を制御する。これにより、ピントを合わせたい被写体が追尾する被写体と異なる場合に適切な被写体にピントを合わせられるので、ユーザの意図する画像を得られる。

（３）焦点調節部１１４は、第１の被写体像に対して顔検出範囲１４１内に第２の被写体像が存在する場合に第２の被写体像に対して撮影レンズ１０２の合焦状態を制御し、第２の被写体像が顔検出範囲１４１内に存在しない場合に第１の被写体像に対して撮影レンズ１０２の合焦状態を制御する。これにより、第２の被写体像が顔検出範囲１４１内に存在しない場合であっても第１の被写体像にピントを合わせることができるので、ユーザの意図にそぐわない画像を得られることを抑制できる。

（４）カメラ１００は、第２の被写体像が複数存在する場合に複数の第２の被写体像のうち第１の被写体像に近い第２の被写体像を選択する主要被写体検出部１１２を更に備える。焦点調節部１１４は、主要被写体検出部１１２によって選択された第２の被写体像に対して撮影レンズ１０２の合焦状態を制御する。これにより、ピントを合わせる対象の候補となる被写体が複数存在する場合に適切な被写体にピントを合わせられるので、ユーザの意図する画像を得られる。

−−−第１の実施の形態の変形例−−−
（変形例１）上述した第１の実施の形態では、主要被写体検出部１１２は、顔検出範囲１４１内で追尾対象に最も近い位置に存在する顔を主要被写体に設定した。これに対し本変形例では、主要被写体検出部１１２は、顔検出範囲１４１内で追尾対象の移動方向と同じ移動方向の顔のうち追尾対象に最も近い位置に存在する顔を主要被写体に設定する。すなわち本変形例では、追尾対象との距離だけでなく、追尾対象および検出した顔の移動方向を考慮して主要被写体を設定する。
具体的には、主要被写体検出部１１２は、顔検出範囲１４１内で検出された顔の移動方向を撮像素子１０３から繰り返し得られる複数の画像に基づいて算出する。また、認識部１１１は、追尾対象の移動方向を撮像素子１０３から繰り返し得られる複数の画像に基づいて算出する。そして、主要被写体検出部１１２は、認識部１１１が算出した追尾対象の移動方向と略同じ方向に移動する顔のうち、追尾対象に最も近い顔を主要被写体に設定する。
尚、ここで言う追尾対象の移動方向と略同じ方向とは、追尾対象の移動方向となす角度が所定角度以下の方向である。

本変形例について、図７を参照して説明する。
図７は、図２と同様にサッカーの試合においてドリブルが行われている場面がモニタ１０６にスルー画として表示された状態を示す図である。たとえば図７に示すように、画面１４０上を右側に向かってドリブルをしているプレーヤ１６１に対して、画面１４０の右下側からボール１５１に向かって走っているプレーヤ１６９が存在しているものとする。図７において、プレーヤ１６９の顔１６９ａの位置は、プレーヤ１６１の顔１６１ａの位置よりもボール１５１に近いものとする。図７において、矢印１７１で示したボール１５１の移動方向と同じ方向に移動するプレーヤは、プレーヤ１６１とプレーヤ１６２である。矢印１８９で示すように、プレーヤ１６９の移動方向はボール１５１の移動方向と異なる。

このような状況において、主要被写体検出部１１２は、顔検出範囲１４１で検出された各顔１６１ａ、１６２ａ、１６９ａの移動方向を撮像素子１０３から繰り返し得られる複数の画像に基づいて算出する。また、認識部１１１は、ボール１５１の移動方向を撮像素子１０３から繰り返し得られる複数の画像に基づいて算出する。そして、主要被写体検出部１１２は、認識部１１１が算出したボール１５１の移動方向と略同じ方向に移動する顔１６１ａおよび顔１６２ａのうち、ボール１５１に最も近い顔１６１ａを主要被写体に設定する。

すなわち、本変形例ではプレーヤ１６９の移動方向がボール１５１の移動方向と異なるため、プレーヤ１６９の顔１６９ａの位置がプレーヤ１６１の顔１６１ａの位置よりもボール１５１に近い場合であっても、主要被写体検出部１１２はプレーヤ１６９の顔１６９ａを主要被写体には設定しない。
これにより、本変形例では適切な被写体にピントを合わせられるので、ユーザの意図する画像を得られる。

（変形例２）上述した第１の実施の形態では、主要被写体検出部１１２は、撮像素子１０３の撮像面における追尾対象や検出した顔の位置、すなわち撮像して得られた画像における追尾対象や顔の位置に基づいて、追尾対象に最も近い顔を主要被写体に設定した。すなわち上述した第１の実施の形態では、主要被写体の設定に際し、追尾対象および検出した顔についての奥行き方向の距離を考慮していなかった。これに対して本変形例では、主要被写体の設定に際し、追尾対象および検出した顔についての奥行き方向の距離を考慮する。
具体的には、たとえば焦点検出部１１３は、追尾対象や主要被写体検出部１１２で検出した顔検出範囲１４１内の顔についてのデフォーカス量を算出する。主要被写体検出部１１２は、撮影レンズ１０２の焦点距離と、撮像素子１０３の撮像面における追尾対象や検出した顔の位置と、追尾対象や検出した顔について焦点検出部１１３で算出したデフォーカス量とに基づいて、追尾対象や検出した顔の実際の位置を算出する。そして、主要被写体検出部１１２は、算出した追尾対象の実際の位置や検出した顔の実際の位置に基づいて追尾対象との実際の距離が最も小さい顔を特定し、この特定した顔を主要被写体に設定する。
これにより本変形例では、追尾対象と検出した顔との距離の算出精度が向上するので、主要被写体の設定をより適切化でき、ユーザの意図する画像を得られる。

（変形例３）上述した第１の実施の形態では、主要被写体検出部１１２は、撮像素子１０３から繰り返し取得した画像信号に基づく画像データから所定の特徴を有する被写体像として人物の顔を検出する顔検出処理を行った。これに対して本変形例では、主要被写体検出部１１２は、撮像素子１０３から繰り返し取得した画像信号に基づく画像データから所定の特徴を有する被写体像として人物の全身を検出する人物検出処理を行う。
本変形例では、主要被写体検出部１１２は、たとえば、特徴量にＨＯＧ(Histograms of Oriented Gradients)、学習アルゴリズムにReal AdaBoostを用いて構築した検出器を備えており、この検出器を使用して人物検出処理を行う。
そして、主要被写体検出部１１２は、検出した人物のうち追尾対象に最も近い人物を主要被写体に設定する。
本変形例によっても、上述した第１の実施の形態の作用効果と同様の作用効果を奏する。

なお、上述の説明では、球技としてサッカーを例に挙げて説明したが、ラグビーやフットボール、水球、アイスホッケーなど、サッカーと同様に追尾対象となるボールやパックを奪い合う他の球技の撮影においても、撮像装置１００は上述した作用効果と同様の作用効果を奏する。なお、卓球やテニスのようにボールを打ち合う球技については、上述した説明におけるサッカーの試合におけるパスが行われている場面のように、複数のプレーヤの間でのボールの往復動作が主となる。したがって、本実施の形態の撮像装置１００では、ボールがプレーヤに近づけば、そのプレーヤの顔にピントが合い、ボールが打ち返されてプレーヤから離れればボールにピントが合う。このように、卓球やテニス等のボールを打ち合う球技の撮影においても、撮像装置１００は、上述した作用効果と同様の作用効果を奏する。

−−−第２の実施の形態−−−
図８，９を参照して、撮像装置の第２の実施の形態を説明する。以下の説明では、第１の実施の形態と同じ構成要素には同じ符号を付して相違点を主に説明する。特に説明しない点については、第１の実施の形態と同じである。本実施の形態では、主に追尾対象の動きを分析し、追尾対象の動きの分析結果に基づいて主要被写体の設定条件を変更する点で、第１の実施の形態と異なる。

図８は、第２の実施の形態の撮像装置の全体構成を示すブロック図である。本実施の形態の撮像装置としてのカメラ１００Ａの制御装置１１０Ａは、認識部１１１と、主要被写体検出部１１２と、焦点検出部１１３と、焦点調節部１１４とに加えて、判断部１１５を有する。
判断部１１５は、認識部１１１で追尾する追尾対象の動きを分析する。そして判断部１１５は、分析結果に基づいて、追尾対象とどのような関係を有する被写体を主要被写体に設定するのかを変更する変更信号を主要被写体検出部１１２に出力する。

以下、本実施の形態における判断部１１５における分析内容について説明する。
まず、撮影対象となる球技におけるボールの動きの特徴として、次のような例が挙げられる。
たとえば、サッカーの試合のようにボールを奪い合う球技では、スローイン時にはプレーヤに保持されたボールは空中で一時的に静止することがあり、コーナーキック時などにはコート上におかれたボールはコート上で静止する。その後、ボールが投げられたり蹴られたりすることでボールは移動を開始する。ボールは、コート上を転がるか空中を飛ぶことで移動する。一般的には、ドリブルのようにボールとボールを支配するプレーヤとが一緒に移動する場合には、ボールはコート上を転がって移動することが多い。また、パスやシュートの際には、ボールがコート上を転がる場合とボールが空中を飛ぶ場合とがある。ボールが空中を飛ぶ場合にはボールがコート上を転がる場合よりもボールの速度が速くなる傾向にある。

一般的には、サッカーの試合でスローインやコーナーキックの場面を撮影する場合、ボールに触れているか、またはこれからボールに接触しようとしているプレーヤにピントを合わせることが望ましい。すなわち、ボールの近くにいるプレーヤにピントを合わせることが望ましい。また、ドリブルの場面を撮影する場合、ボールを支配するプレーヤにピントを合わせることが望ましい。
また、パスやシュートの場面では、ボールがコート上を転がっている場合はボールが空中を飛んでいる場合と比べてボールの移動速度が遅くなる傾向にある。そのため、たとえばパスによってボールが各プレーヤから所定の距離以上離れている時間は、ボールがコート上を転がる場合にはボールが空中を飛ぶ場合よりも長くなる傾向にある。したがって、パスによってボールがコート上を転がっている場合には、ボールに対してピントを合わせることが望ましい。そして、ボールがパスを受け取ろうとするプレーヤに近づけば、パスを受け取ろうとするプレーヤにピントを合わせることが望ましい。
一方、パスやシュートの場面においてボールが空中を飛んでいる場合、上述したようにボールの移動速度が速くなる傾向にある。そのため、パスによってボールが各プレーヤから所定の距離以上離れている時間は短くなる傾向にある。したがって、このような場合には、パスを受け取ろうとするプレーヤにピントを合わせることが望ましい。

また、たとえば、卓球やテニス、バレーボールのように、ボールを相手のコートに打ち込む球技では、サーブ時にラケットで打たれたりする前のボールの移動速度は、ラケットで打たれたりした後のボールの速度よりも遅い。また、サーブ時に空中に放り上げられたボールは、空中で一時的に静止する。ボールは、ラケットで打たれたりすることで動きが急変する。ボールは、主に空中を飛ぶことでコートの一方の領域と他方の領域との間を往復する。
したがって、卓球やテニス、バレーボールの試合を撮影する場合、サーブ時等には、ボールの近くに存在するプレーヤにピントを合わせることが望ましい。また、打たれることでボールが空中を飛んでいる場合には、飛んでいるボールを打ち返そうとしたりタッチしようとしたりするプレーヤにピントを合わせることが望ましい。

ここで、ボールの移動の形態とピントを合わせるべき被写体との関係について注目すると、ボールが静止している場合や静止していると見なせる場合には、ボールの近くに存在するプレーヤにピントを合わせることが望ましい。
ボールが転がっている場合、ボールとプレーヤとの距離が所定の距離以内であれば、すなわち、たとえば第１の実施に形態における顔検出範囲１４１内にプレーヤの顔が存在すれば、ボールに最も近いプレーヤにピントを合わせることが望ましい。また、ボールが転がっている場合、ボールとプレーヤとの距離が所定の距離以上であれば、すなわち、たとえば第１の実施に形態における顔検出範囲１４１内にプレーヤの顔が存在しなければ、ボールにピントを合わせることが望ましい。
ボールが空中を飛んでいる場合、ボールの移動方向に存在するプレーヤ、たとえばボールの落下予測地点の近くに存在するプレーヤにピントを合わせることが望ましい。

そこで、本実施の形態の判断部１１５は、追尾対象であるボールの動きを分析する。そして、判断部１１５は、ボールが静止あるいはコート上を転がっているのか、空中を飛んでいるのかを判断する。なお、判断部１１５は、ボールがスローインまたはサーブするプレーヤの手で保持されている場合のように、完全には静止していないが移動速度が低い場合には、ボールが静止しているものとみなす。

判断部１１５は、分析結果に基づいて、次に述べる第１の設定信号または第２の設定信号を主要被写体検出部１１２に出力する。
第１の設定信号は、追尾対象が静止あるいはコート上を転がっていると判断された場合に判断部１１５が主要被写体検出部１１２に出力する信号である。第１の設定信号は、第１の実施の形態の場合と同様に、顔検出範囲１４１内に顔が検出されれば追尾対象に最も近い顔を主要被写体に設定し、顔検出範囲１４１内に顔が検出されなければ追尾対象を主要被写体に設定するように、主要被写体検出部１１２に設定条件を指示する信号である。

第２の設定信号は、追尾対象が空中を飛んでいると判断された場合に判断部１１５が主要被写体検出部１１２に出力する信号である。第２の設定信号は、空中を飛んでいる追尾対象の落下地点を撮像素子１０３から繰り返し取得した画像信号に基づいて予測し、落下予測地点の先に存在する顔のうち落下予測地点に最も近い顔を主要被写体に設定するように、主要被写体検出部１１２に設定条件を指示する信号である。

第１の設定信号を受信した主要被写体検出部１１２は、第１の実施の形態と同様に顔検出を行い、追尾対象の最も近くで検出された顔を主要被写体に設定する。
また、第２の信号を受信した主要被写体検出部１１２は、追尾対象の落下地点を予測する。そして、主要被写体検出部１１２は、落下予測地点の先に存在する顔を検出する。そして、主要被写体検出部１１２は、落下予測地点の先に存在する顔のうち、落下予測地点に最も近い顔を主要被写体に設定する。
なお、主要被写体検出部１１２は、落下予測地点の先に存在する顔を検出できなかった場合、たとえば追尾対象を主要被写体に設定する。

−−−フローチャート−−−
図９は、本実施の形態の焦点調節時に実行される処理のフローチャートである。このフローチャートは、カメラ１００Ａの不図示の電源スイッチがオンされると、制御装置１１０Ａにおいて実行される。

ステップＳ１１およびステップＳ１３は、図６に示した第１の実施の形態におけるステップＳ１１およびステップＳ１３と同じである。ステップＳ１３が実行されるとステップＳ３１へ進み、制御装置１１０Ａの判断部１１５は、撮像素子１０３から繰り返し取得した画像信号に基づく画像データから追尾対象の動きを分析してステップＳ３３へ進む。ステップＳ３３において、判断部１１５は、追尾対象が静止あるいはコート上を転がっているのか、または、空中を飛んでいるのかを判断する。

ステップＳ３３で追尾対象が静止あるいはコート上を転がっていると判断されるとステップＳ３５へ進み、判断部１１５は、上述した第１の設定信号を主要被写体検出部１１２に出力する。
ステップＳ３３で追尾対象が空中を飛んでいると判断されるとステップＳ３７へ進み、判断部１１５は、上述した第２の設定信号を主要被写体検出部１１２に出力する。

ステップＳ３５またはステップＳ３７が実行されるとステップＳ３９へ進み、主要被写体検出部１１２は、受信した第１または第２の設定信号による指示に基づいて顔検出処理を行う。すなわち、第１の設定信号を受信した場合、主要被写体検出部１１２は、第１の実施の形態と同様に顔検出を行う。また、第２の信号を受信した場合、主要被写体検出部１１２は、追尾対象の落下地点を予測し、落下予測地点の先に存在する顔を検出する。

ステップＳ３９が実行されるとステップＳ４１へ進み、主要被写体検出部１１２は、第１または第２の設定信号の指示による設定条件に対応する顔が存在したか否かを判断する。
ステップＳ４１が肯定判断されるとステップＳ４３へ進み、主要被写体検出部１１２は、第１または第２の設定信号の指示による設定条件に対応する顔を主要被写体に設定してステップＳ２１へ進む。
ステップＳ４１が否定判断されるとステップＳ２５へ進む。ステップＳ２５は、図６に示した第１の実施の形態におけるステップＳ２５と同じである。

ステップＳ２１およびステップＳ２３は、図６に示した第１の実施の形態におけるＳ２１およびステップＳ２３と同じである。

上述した第２の実施の形態では、第１の実施の形態の作用効果に加えて次の作用効果を奏する。
（１）カメラ１００Ａは、第１の被写体像の状態を判断する判断部１１５を備える。焦点調節部１１４は、判断部１１５による第１の被写体像の状態によって選択された第１の被写体像と第２の被写体像のいずれかに対して撮影レンズ１０２の合焦状態を制御する。これにより、主要被写体の設定をより適切化でき、ユーザの意図する画像を得られる。

−−−第２の実施の形態の変形例−−−
（変形例１）上述した第２の実施の形態では、ボールが転がっていると判断されると、顔検出範囲１４１内に顔が検出されなければ追尾対象が主要被写体に設定された。これに対して本変形例では、ボールが転がっていると判断されると、顔検出範囲１４１内に顔が検出されなければ追尾対象の移動方向に存在する顔が主要被写体に設定される。
具体的には、判断部１１５は、分析結果に基づいて追尾対象が静止あるいはコート上を転がっていると判断されると第１の設定信号に代えて次に述べる第３の設定信号を主要被写体検出部１１２に出力する。なお、判断部１１５は、分析結果に基づいて追尾対象が空中を飛んでいると判断されると第２の設定信号を主要被写体検出部１１２に出力する。
第３の設定信号は、追尾対象が静止あるいはコート上を転がっていると判断された場合に判断部１１５が主要被写体検出部１１２に出力する信号である。第３の設定信号は、以下の設定条件を主要被写体検出部１１２に指示する信号である。
（１）顔検出範囲１４１内に顔が検出されれば追尾対象に最も近い顔を主要被写体に設定する。
（２）顔検出範囲１４１内に顔が検出されなければ追尾対象の移動方向を予測し、予測した移動方向に存在する顔であって、追尾対象に最も近い顔を主要被写体に設定する。
（３）上記（２）において、追尾対象が静止していること等によって追尾対象の移動方向を予測できなかった場合や、追尾対象の移動方向を予測できても予測した移動方向に顔が存在しなかった場合には、追尾対象を主要被写体に設定する。
これにより、本変形例では、ボールが転がっていると判断されると、顔検出範囲１４１内に顔が検出されなければ追尾対象の移動方向に存在する顔が主要被写体に設定される。

（変形例２）上述した第２の実施の形態では、追尾対象の状態、すなわち、追尾対象の動きによって選択された被写体に対してピントを合わせた。これに対して本変形例では、追尾対象の種類によって選択された被写体に対してピントを合わせる。たとえば、制御装置１１０Ａは、各球技で用いられるボールの大きさ、形状等についての情報や画像をあらかじめ不図示のメモリに記憶しておく。そして、たとえば判断部１１５は、追尾被写体として指定された被写体の大きさを焦点距離やデフォーカス量、撮像素子１０３の撮像面上に占める大きさなどから算出したり、あらかじめ記憶されているボールについての画像と比較したりすることで、ボールの種類を判断する。判断部１１５は、判断したボールの種類に応じてどのような被写体を主要被写体に設定するのかを主要被写体検出部１１２に指示する設定信号を主要被写体検出部１１２に出力する。

判断部１１５は、たとえば追尾被写体として指定されたボールがサッカーボールであると判断すると、上述した第１の実施の形態と同様に、顔検出範囲１４１内で追尾対象に最も近い顔を主要被写体に設定し、顔検出範囲１４１内に顔が存在しなければ追尾対象を主要被写体に設定するように主要被写体検出部１１２に指示する設定信号を出力する。
この設定信号を受信した主要被写体検出部１１２は、顔検出範囲１４１内で追尾対象に最も近い顔を主要被写体に設定し、顔検出範囲１４１内に顔が存在しなければ追尾対象を主要被写体に設定する。

また、判断部１１５は、たとえばボールがテニスボールであると判断すると、追尾対象の移動予測を行って、予測した追尾対象の移動先に存在する顔を主要被写体に設定するように主要被写体検出部１１２に指示する設定信号を出力する。
この設定信号を受信した主要被写体検出部１１２は、追尾対象の移動予測を行って、予測した追尾対象の移動先に存在する顔を主要被写体に設定する。

また、たとえば、ボールの種類ではなく、ボールであるのか、たとえばフリスビーのディスクであるのか、等の追尾対象の種類の違いによって判断部１１５が異なる設定信号を出力するようにしてもよい。たとえば、制御装置１１０Ａは、各種のボールの大きさ、形状等についての情報や画像の他、フリスビーのディスクの大きさ、形状等についての情報や画像をあらかじめ不図示のメモリに記憶しておく。そして、たとえば判断部１１５は、追尾被写体として指定された被写体の大きさを焦点距離やデフォーカス量、撮像素子１０３の撮像面上に占める大きさなどから推定したり、あらかじめ記憶されている画像と比較したりすることで、追尾被写体がどの種類のボールであるのか、またはフリスビーのディスクであるのかを判断する。判断部１１５は、追尾被写体のボールの種類を判断すると、判断したボールの種類に応じて上述した設定信号を主要被写体検出部１１２に出力する。また、判断部１１５は、追尾被写体がフリスビーのディスクであると判断すると、たとえば以下に述べるような設定信号を主要被写体検出部１１２に出力する。
（１）ディスクの飛行軌跡を予測する。
（２）顔検出範囲１４１内に顔が存在すれば、顔の移動軌跡を予測する。
（３）ディスクの飛行軌跡と顔の移動軌跡とが略交差すると予測される場合には、最も早く交差すると予測される顔を主要被写体に設定する。
（４）上記（２）において、顔検出範囲１４１内に顔が存在しなかった場合や、ディスクの飛行軌跡と顔の移動軌跡とが交差しないと予測される場合には、追尾対象を主要被写体に設定する。
このような設定信号を受信した主要被写体検出部１１２は、たとえば、フリスビーのディスクで遊ぶ人物を撮影する場面では、投げられたフリスビーのディスクをキャッチしようとする人物の顔を主要被写体に設定する。これにより、ディスクをキャッチしようとする人物が複数存在しても、ディスクをキャッチする可能性が高い人物の顔を主要被写体に設定することができる。
なお、主要被写体検出部１１２が人物の顔以外にも、たとえば犬の顔等、動物の顔を検出できるように構成してもよい。これにより、フリスビーのディスクで遊ぶ複数の犬の顔うち、ディスクをキャッチする可能性が高い犬の顔を主要被写体に設定することができる。

上記では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。また、上述した実施の形態および変形例を適宜組み合わせてもよい。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。

１００，１００Ａ；カメラ、１０２；撮影レンズ、１０３；撮像素子、１１０，１１０Ａ；制御装置、１１１；認識部、１１２；主要被写体検出部、１１４；焦点調節部

Claims (7)

1. 画像信号を繰り返し出力する撮像部と、
   前記画像信号に基づいて検出された第１の被写体を繰り返し認識する認識部と、
   前記第１の被写体と異なり、かつ前記第１の被写体との距離が可変である第２の被写体を前記第１の被写体との距離に基づいて選択する選択部と、
   前記第２の被写体に基づいて焦点検出する焦点検出部と、
   を備える撮像装置。
2. 請求項１に記載の撮像装置において、
   前記焦点検出部は、前記第１の被写体に対する第１の範囲内に前記第２の被写体が存在する場合に前記第２の被写体に基づいて焦点検出し、前記第２の被写体が前記第１の範囲外に存在する場合に前記第１の被写体に基づいて焦点検出する、撮像装置。
3. 請求項１または２に記載の撮像装置において、
   前記選択部は、前記第１の被写体の移動方向により、前記第２の被写体を選択する、撮像装置。
4. 請求項３に記載の撮像装置において、
   前記選択部は、前記第１の被写体が移動する方向に移動する前記第２の被写体を選択する、撮像装置。
5. 請求項３に記載の撮像装置において、
   前記選択部は、前記第１の被写体が移動する方向に存在する前記第２の被写体を選択する、撮像装置。
6. 請求項１から５のいずれか一項に記載の撮像装置において、
   前記選択部は、前記第２の被写体が複数存在する場合に、前記複数の第２の被写体のうち前記第１の被写体に近い前記第２の被写体を選択する、撮像装置。
7. 請求項１から６のいずれか一項に記載の撮像装置において、
   前記第１の被写体の種類を判断する判断部を備え、
   前記選択部は、前記第１の被写体の種類によって、前記第２の被写体を選択する、撮像装置。

Images