JP2009290255A - 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム - Google Patents

Abstract

【課題】顔のみならず注目オブジェクトにもピントの合った写真を撮影することを可能とした構成を実現する。
【解決手段】顔領域を検出し、検出した顔領域と、顔の注目するオブジェクトにフォーカスフレームを設定し、フォーカスフレーム対応の距離を測定し、これらの距離範囲を含む被写界深度を算出する。算出した被写界深度に対応する撮影パラメータを設定して撮影を行なう。例えば検出した顔の視線方向を検出して、視線方向のオブジェクトを検出して、検出した顔領域と視線方向オブジェクトにフォーカスフレームを設定する。顔のみならず視線方向オブジェクトに対してもフォーカスフレームを設定して被写界深度を求めて深度優先ＡＥによる撮影を行うことで、顔のみならず注目オブジェクトにもピントの合った写真の撮影が可能となる。
【選択図】図９

Description

本発明は、撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラムに関する。さらに、詳細には、深度優先ＡＥ（Ａｕｔｏ Ｅｘｐｏｓｕｒｅ（自動露出）行なう撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラムに関する。

スチルカメラやビデオカメラなどの撮像装置において被写体を撮影する場合、被写体に対するピントを合わせ（フォーカス制御）が行われる。

例えば、図１に示すカメラ１０において、被写体２０にピントを合わせた場合、被写体２０のみならず、被写体２０の前後にピントの合う領域（合焦領域）ａ〜ｂが発生する。この領域ａ〜ｂは、被写界深度と呼ばれる。被写界深度の範囲は、カメラと被写体までの距離、カメラのレンズの焦点距離、カメラの露出（絞り）等によって決定される。この被写界深度を考慮した撮影を行うことで、カメラからの距離の異なる被写体のすべてにピントのあった撮影が可能となる。

昨今の多くのカメラには、深度優先ＡＥ（Ａｕｔｏ Ｅｘｐｏｓｕｒｅ（自動露出）機能が備えられている。深度優先ＡＥは、オートフォーカス処理に際して、撮影を行う前に、カメラの取得画像に複数のポイントを設定して、設定した複数ポイントのカメラからの距離を計算し、最も手前にある被写体と最も奥にある被写体の両方にピントが合うように、絞り値などのパラメータを自動的に調節する機構である。この深度優先ＡＥは、例えば集合写真を撮る場合などに適している。

しかし、例えば集合写真を撮る場合に深度優先ＡＥを適用した撮影を行っても、前列の者にピントを合わせると後列の者がぼけて写ってしまうことがある。これは前列の者に対してはピントが合っているが、後列の者が被写界深度から外れてしまっている場合に発生する。このような結果は写真を撮って見なければわからない。

深度優先ＡＥを適用して例えば図２に示す集合写真を撮影する場合について説明する。図２は、カメラによって取得される画像３０を示している。これは撮影処理を行う前にカメラによって取得される画像、すなわちオートフォーカス処理を行うための画像３０を示している。例えば、距離計測フレームであるフォーカスフレーム（測距枠）３１，３２が撮影画像の複数ポイントに設定され、被写体までの距離を計測してフォーカスポイントを決定する。図２に示す例では、予め設定された十字上の７つのフォーカスフレーム（測距枠）３１，３２を利用している。図では、合焦したフォーカスフレーム３２を実線で示し、合焦していないフォーカスフレーム３１を点線で示している。

図２に示す例では、７つのフォーカスフレーム（測距枠）３１，３２を利用して、前列の者と後列の被写体となる人物の各々にフォーカスフレームが設定され、その距離が算出され、これらの人物に対応するフォーカスフレームは、合焦フォーカスフレーム３２として識別される。この、合焦フォーカスフレーム３２の距離情報を利用して、複数のカメラ〜被写体間距離情報に基づいて最適な絞り値（Ａｖ）を算出し、その算出した絞り値（Ａｖ）を決定して全員にピントが合うようにする。
なお、絞り値（Ａｖ）とシャッタースピード（Ｔｖ）と露出値（Ｅｖ）との関係は、例えば、
Ｅｖ＝Ａｖ＋Ｔｖ
として示される。

ただし、これまでの一般的な深度優先ＡＥによる撮影処理では、カメラによって検知した被写体の全てにピントが合うようにして絞り値などの撮影パラメータを求める処理を行っている。従って、例えば図３のように撮りたい被写体以外のオブジェクト（馬）４０が存在し、このオブジェクト（馬）４０に対してフォーカスフレーム４１が設定された場合、このオブジェクト（馬）４０の距離情報も考慮した撮影パラメータ設定処理が実行される。すなわち、前方の人物のみならず後方のオブジェクト（馬）４０のすべてにピントが合うような絞り値（Ａｖ）が算出されて自動露出（ＡＥ）制御を行って撮影処理が行われることになる。

逆に、図４に示すように、フォーカスフレームが撮影対象としている被写体５１，５２に設定されないこともある。このような場合、これらの被写体５１，５２までの距離計測は実行されず、ピント合わせの対象から漏れてしまう。その結果、これらの被写体５１，５２のピントがぼけた写真が撮影されてしまう。

また、図５に示すような場合にも目的とする被写体のピントぼけの問題が発生する。図５に示す例は、２人の人物の顔７１，７２ができたてのパン７５を注目している状況をカメラで撮影しようとしているところである。

図２〜図４を参照して説明した例は、測距枠としてのフォーカスフレームを固定した構成としていたが、近年のカメラ技術の発展により、従来の固定配置されたフォーカスフレームの他、任意の点もしくはエリアにフォーカスフレームを配置してピントを合わせることが可能となっている。また、顔検出技術により、映し出しているプレビュー映像から人物を検出し、その顔へリアルタイムでピントを合わせることができる。なお、間検出によるフォーカス制御処理については、例えば特許文献１（特開２００３−９２６９９号公報）に記載されている。

図５には、カメラによって取得される画像７０を示している。これは撮影処理を行う前の取得画像である。図５に示す例は、顔検出技術を適用して、まず、２人の人物の顔７１，７２を特定し、その人物の顔７１，７２へフォーカスフレーム８１，８２を設定している例である。このフォーカスフレーム８１，８２において顔７１，７２までの距離が測定され、この距離情報を利用して、これらの顔７１，７２が被写界深度の範囲内になるように絞り値を制御した深度優先ＡＥを実行して撮影することで、撮影時に２人の人物の顔７１，７２へピントを合わせこむことができる。

しかし、この場合、ピントが合っているのは人物の顔だけであることがある。図６は、図５と同様の撮影環境を上から見た図である。カメラ９０の前方に顔７１，７２と、パン７５があるが、パン７５は、顔７１，７２よりカメラ９０に近い位置にある。

このような環境で、顔検出処理によって顔７１，７２が検出され、これらの検出された顔７１，７２までの距離測定のためのフォーカスフレーム８１，８２が設定される。このフォーカスフレーム８１，８２の設定された顔７１，７２が被写界深度８５の範囲になるように絞り値が設定され深度優先ＡＥによる撮影が行われる。結果として、カメラ９０に近い位置にあるパン７５は、被写界深度８５の範囲からはずれてしまう。すなわち、このような撮影を行うことで、顔７１，７２にはピントが合うが、顔７１，７２によって注目されているパン７５にはピントが合わない写真が撮影されてしまう。

このように、撮影者は、人物が注目している対象も被写体として識別し、総合的にピントを合わせたいという意図があるにも関わらず、顔検出処理と深度優先ＡＥの併用によりこのような弊害が発生するという問題がある。
特開２００３−９２６９９号公報

本発明は、例えば上記問題点に鑑みてなされたものであり、顔検出処理を適用して顔を検出するとともに、人物のみならず人物が注視する対象についてもフォーカスフレームを設定して、人物および人物が注視する対象についても被写界深度の範囲に設定する深度優先ＡＥによる撮影を可能とする撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラムを提供することを目的とする。

本発明の第１の側面は、
入力画像の解析により顔領域を検出する顔検出部と、
前記顔検出部の検出した顔領域と、前記顔検出部の検出した顔の注目するオブジェクトに対してフォーカスフレームを設定するフォーカスフレーム設定部と、
前記フォーカスフレーム設定部の設定したフォーカスフレームに対応する距離を測定する距離測定部と、
前記距離測定部の測定した距離の距離範囲を含む被写界深度を算出する被写界深度算出部と、
前記被写界深度算出部の算出した被写界深度が設定される撮影パラメータを設定するパラメータ設定部を有する撮像装置にある。

さらに、本発明の撮像装置の一実施態様において、前記撮像装置は、さらに、前記顔検出部の検出した顔の視線方向を検出する視線方向検出部と、前記視線方向検出部の検出した視線方向のオブジェクトまたはポイントを検出する視線方向オブジェクト検出部を有し、前記フォーカスフレーム設定部は、前記顔検出部の検出した顔領域と、前記視線方向オブジェクト検出部の検出した視線方向オブジェクトまたはポイントに測距枠としてのフォーカスフレームを設定する構成である。

さらに、本発明の撮像装置の一実施態様において、前記視線方向オブジェクト検出部は、前記顔検出部の検出した顔が複数ある場合、複数の顔に対応する複数の視線方向の交点を視線方向オブジェクト位置として識別する処理を実行する構成である。

さらに、本発明の撮像装置の一実施態様において、前記撮像装置は、前記パラメータ設定部の設定したパラメータを適用した深度優先ＡＥ（Ａｕｔｏ Ｅｘｐｏｓｕｒｅ）撮影処理を実行する構成である。

さらに、本発明の撮像装置の一実施態様において、前記パラメータ設定部の設定するパラメータは、深度優先ＡＥ（Ａｕｔｏ Ｅｘｐｏｓｕｒｅ）撮影処理に適用するパラメータである絞り値を含む。

さらに、本発明の第２の側面は、
撮像装置において実行する撮像装置制御方法であり、
顔検出部が、入力画像の解析により顔領域を検出する顔検出ステップと、
フォーカスフレーム設定部が、前記顔検出ステップにおいて検出した顔領域と、前記顔検出部の検出した顔の注目するオブジェクトに対してフォーカスフレームを設定するフォーカスフレーム設定ステップと、
距離測定部が、前記フォーカスフレーム設定ステップにおいて設定したフォーカスフレームに対応する距離を測定する距離測定ステップと、
被写界深度算出部が、前記距離測定ステップにおいて測定した距離の距離範囲を含む被写界深度を算出する被写界深度算出ステップと、
前パラメータ設定部が、記被写界深度算出ステップにおいて算出した被写界深度が設定される撮影パラメータを設定するパラメータ設定ステップと、
を有する撮像装置制御方法にある。

さらに、本発明の撮像装置制御方法の一実施態様において、前記撮像装置制御方法は、さらに、視線方向検出部が、前記顔検出ステップにおいて検出した顔の視線方向を検出する視線方向検出ステップと、視線方向オブジェクト検出部が、前記視線方向検出ステップにおいて検出した視線方向のオブジェクトまたはポイントを検出する視線方向オブジェクト検出ステップを有し、前記フォーカスフレーム設定ステップは、前記顔検出ステップにおいて検出した顔領域と、前記視線方向オブジェクト検出ステップにおいて検出した視線方向オブジェクトまたはポイントに測距枠としてのフォーカスフレームを設定するステップである。

さらに、本発明の第３の側面は、
撮像装置において撮像装置制御処理を実行させるコンピュータ・プログラムであり、
顔検出部に、入力画像の解析により顔領域を検出させる顔検出ステップと、
フォーカスフレーム設定部に前記顔検出ステップにおいて検出した顔領域と、前記顔検出部の検出した顔の注目するオブジェクトに対してフォーカスフレームを設定させるフォーカスフレーム設定ステップと、
距離測定部に、前記フォーカスフレーム設定ステップにおいて設定したフォーカスフレームに対応する距離を測定させる距離測定ステップと、
被写界深度算出部に、前記距離測定ステップにおいて測定した距離の距離範囲を含む被写界深度を算出させる被写界深度算出ステップと、
前パラメータ設定部に、記被写界深度算出ステップにおいて算出した被写界深度が設定される撮影パラメータを設定させるパラメータ設定ステップと、
を有するコンピュータ・プログラムにある。

さらに、本発明のコンピュータ・プログラムの一実施態様において、前記コンピュータ・プログラムは、さらに、視線方向検出部に、前記顔検出ステップにおいて検出した顔の視線方向を検出させる視線方向検出ステップと、視線方向オブジェクト検出部に、前記視線方向検出ステップにおいて検出した視線方向のオブジェクトまたはポイントを検出させる視線方向オブジェクト検出ステップを有し、前記フォーカスフレーム設定ステップは、前記顔検出ステップにおいて検出した顔領域と、前記視線方向オブジェクト検出ステップにおいて検出した視線方向オブジェクトまたはポイントに測距枠としてのフォーカスフレームを設定させるステップである。

なお、本発明のコンピュータ・プログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なコンピュータ・プログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ・システム上でプログラムに応じた処理が実現される。

本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

本発明の一実施例の構成によれば、入力画像の解析により顔領域を検出し、検出した顔領域と、顔の注目するオブジェクトに対してフォーカスフレームを設定し、設定したフォーカスフレームに対応する距離を測定して、これらの距離範囲を含む被写界深度を算出する。その後、算出した被写界深度に対応する撮影パラメータを設定して撮影を行なう。具体的には、例えば検出した顔の視線方向を検出して、視線方向のオブジェクトまたはポイントを検出して、検出した顔領域と、視線方向オブジェクトまたはポイントにフォーカスフレームを設定する。このように顔のみならず視線方向オブジェクトに対してもフォーカスフレームを設定して被写界深度を求めて深度優先ＡＥによる撮影を行うことで、顔のみならず注目オブジェクトにもピントの合った写真を撮影することが可能となる。

以下、図面を参照しながら本発明の撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラムの詳細について説明する。

図７を参照して本発明において適用する撮像装置１００の一実施例について説明する。本発明の撮像装置は、オートフォーカス機能を持つ撮像装置である。フォーカスレンズ１０１、ズームレンズ１０２を介する入射光は、例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）などの撮像素子１０３に入力し、撮像素子１０３において光電変換される。光電変換データは、アナログ信号処理部１０４に入力され、アナログ信号処理部１０４においてノイズ除去等の処理がなされ、Ａ／Ｄ変換部１０５においてデジタル信号に変換される。Ａ／Ｄ変換部１０５においてデジタル変換されたデータは、例えばフラッシュメモリなどによって構成される記録デバイス１１５に記録される。さらに、モニタ１１７、ビューファインダ（ＥＶＦ）１１６に表示される。モニタ１１７、ビューファインダ（ＥＶＦ）１１６には撮影の有無に関わらず、レンズを介する画像がスルー画として表示される。

操作部１１８は、レリーズスイッチ、ズームボタン、各種の操作情報を入力する操作ボタン、深度優先ＡＥの設定など、撮影モードを設定するためのモード設定部等を含む操作部である。制御部１１０は、ＣＰＵを有し、撮像装置の実行する各種の処理の制御を予めメモリ（ＲＯＭ）１２０などに格納されたプログラムに従って実行する。メモリ（ＥＥＰＲＯＭ）１１９は不揮発性メモリであり、画像データ、各種の補助情報、プログラムなどが格納される。メモリ（ＲＯＭ）１２０は、制御部（ＣＰＵ）１１０が使用するプログラムや演算パラメータ等を格納する。メモリ（ＲＡＭ）１２１は、制御部（ＣＰＵ）１１０において使用するプログラムや、その実行において適宜変化するパラメータ等を格納する。

モータドライバ１１２は、フォーカスレンズ１０１に対応して設定されたフォーカスレンズ駆動モータ１１３、ズームレンズ１０２に対応して設定されたズームレンズ駆動モータ１１４を駆動する。垂直ドライバ１０７は、撮像素子（ＣＣＤ）１０３を駆動する。タイミングジェネレータ１０６は、撮像素子１０３およびアナログ信号処理部１０４の処理タイミングの制御信号を生成して、これらの各処理部の処理タイミングを制御する。

顔検出部１３０は、レンズを介して入力される画像データの解析を行い、画像データ中の人物の顔を検出する。顔検出情報は、制御部１１０に送られ、制御部１１０では、検出された顔情報に基づいて、検出された顔の領域にオートフォーカス（ＡＦ）のためのフォーカスフレーム（測距枠）を設定し、フォーカス制御を行なう。本発明の撮像装置では、検出された顔の領域にフォーカスフレーム（測距枠）を設定するのみではなく、顔領域から推定される人物の視線方向のオブジェクト領域を推定し、このオブジェクト領域にも測距枠を設定して、これら複数の測距枠に基づく距離検出を行う。

本発明の撮像装置１００において実行する処理の概要について、図８を参照して説明する。図８は、先に説明した図５、図６と同様の環境においてカメラによって取得される画像２００を示している。これは撮影処理を行う前の取得画像である。

画像２００には、人物の顔２０１，２０２と、パン３０１が含まれている。なお、これら、人物の顔２０１，２０２と、パン３０１の位置は、先に図６を参照して説明した配置と同様、パン３０１が、人物の顔２０１，２０２よりカメラに近い位置にあるものとする。

本発明の撮像装置１００は、まず、顔検出部１３０の処理により画像２００から人物の顔２０１，２０２の領域を判別し、検出された顔領域にフォーカスフレーム３０１，３０２を設定する。ここまでの処理は、先に図５、図６を参照して説明した処理と同様である。

本発明の撮像装置１００は、さらに、顔検出部１３０または制御部１１０において、検出された顔画像を解析し、検出された顔の視線方向を特定し、特定した視線方向に存在するオブジェクト（物体）にもフォーカスフレーム（測距枠）の設定を実行する。

図８に示す例では、検出された人物の顔２０１，２０２の各々について、それぞれ視線方向解析を実行し、各視線方向にあるオブジェクト、この例ではオブジェクト（パン）２５１を検出する。このオブジェクト（パン）２５１に、フォーカスフレーム（測距枠）３５１を設定する。

この結果、図８に示す例では、フォーカスフレーム（測距枠）は、
人物の顔２０１に対するフォーカスフレーム（測距枠）２５１、
人物の顔２０２に対するフォーカスフレーム（測距枠）２５２、
オブジェクト（パン）２５１に対するフォーカスフレーム（測距枠）３５１、
これらの３つのフォーカスフレーム（測距枠）が設定されることになる。

その後の処理は、これらの３つのフォーカスフレーム（測距枠）に対応する距離測定を行い、測定された距離のすべてが、被写界深度内に設定されるように絞り値（Ａｖ）の設定などを行い、深度優先ＡＥによる撮影を実行する。結果として、図９に示すように、人物の顔２０１、人物の顔２０２、オブジェクト（パン）２５１のすべてが被写界深度３８１の領域内に設定された撮影画像を取得することが可能となり、人物の顔のみならず、顔との位置（距離）が異なるオブジェクトにもピントの合った写真を撮影することが可能となる。

現在の顔認識技術では、人物の顔をさらに細分化して解析し、顔の部分（目、鼻、口）などの識別や傾きも得ることができる。本発明の撮像装置では、顔画像の解析によって視線や顔の傾きの検出を実行して、画像から検出された顔の視線方向を特定する。

本発明の撮像装置において実行する処理について、図１０を参照して説明する。図１０は、本発明の撮像装置１００が、深度優先ＡＥによる撮影を行う際に実行する処理について説明する機能ブロック図である。なお図１０に示す各ブロック中、ブロック５０２〜５０８の処理は、図７に示す構成中、主に制御部１１０、顔検出部１３０、デジタル信号処理部１０８において実行される。

画像入力部５０１は、例えばレンズを介して入力された画像の入力処理を行う。なお、入力画像はデジタル信号処理部１０８においてデジタル画像データとされる。顔検出部５０２は、画像解析によって入力画像に含まれる顔領域を検出する。

視線方向検出部５０３は、顔検出部５０２において検出された顔の各々について顔の向き、目領域解析等を実行して、各顔の視線方向を検出する。
視線方向オブジェクト検出部５０４は、視線方向検出部５０３において検出された顔対応の視線方向に存在するオブジェクトを検出する。例えば図８、図９に示す例ではオブジェクト（バン）２５１の検出を行う。ただし、具体的な対象物を検出することは必須ではない。なぜならば、人物が向いている方向や先がわかれば、その地点をフォーカスポイントに設定すれば良いからである。検出できた対象物あるいは地点をフォーカスフレーム設定位置として特定できればよい。

フォーカスフレーム設定部５０５は、顔検出部５０２の検出した顔領域と、視線方向オブジェクト検出部５０４の検出した視線方向オブジェクトまたは地点に対して測距枠としてのフォーカスフレームを設定する。
距離測定部５０６は、フォーカスフレーム設定部５０５の設定したフォーカスフレームに対応する距離（カメラからの距離）を測定する。

被写界深度算出部５０７は、フォーカスフレーム設定部５０５の設定した全てのフォーカスフレームに対応する距離が含まれる被写界深度を算出する。
深度優先ＡＥパラメータ算出部５０８は、被写界深度算出部５０７の算出したフォーカスフレームを設定したすべての顔とオブジェクトまたはポイントが被写界深度の領域に含まれるように最適な絞り値（Ａｖ）やシャッタースピード（Ｔｖ）、露出値（Ｅｖ）など、深度優先ＡＥを実行するための制御パラメータを決定する。

この深度優先ＡＥパラメータ算出部５０８の決定したパラメータを適用して深度優先ＡＥ撮影を実行することで、顔およびその顔の視線方向のオブジェクトのすべてにピントの合った画像を撮影することができる。

本発明の撮像装置において実行する処理シーケンスについて、図１１に示すフローチャートを参照して説明する。図１０に示す機能ブロック図の各ブロックと対応づけながら説明する。

ステップＳ１０１の処理は、図１０に示す画像入力部５０１の処理であり、例えばレンズを介して入力された画像の入力処理を行う。なお、入力画像はデジタル信号処理部１０８においてデジタル画像データとされる。

ステップＳ１０２において、人物の顔領域の検出を行う。この処理は、図１０に示す顔検出部５０２の処理であり、画像解析によって入力画像に含まれる顔領域を検出する。ステップＳ１０３では、顔が検出されたか否かを判定する。顔が検出されない場合（ステツプＳ１０３の判定がＮｏ）は、このフローの処理、すなわち顔検出に基づく顔領域と視線方向に対応するフォーカスフレームの設定処理は終了する。

顔が検出された場合（ステツプＳ１０３の判定がＹｅｓ）は、ステップＳ１０４に進む。ステップＳ１０４では、まず、検出された顔領域に対するフオーカスフレームを設定する。この処理は、図１０に示すフォーカスフレーム設定部５０５の処理として実行される。

次にステップＳ１０５において、顔の視線方向を解析する。これは図１０に示す視線方向検出部５０３の処理である。顔検出部５０２において検出された顔の各々について顔の向き、目領域解析等を実行して、各顔の視線方向を検出する。

ステップＳ１０６では、視線方向の検出に成功したか否かを判定する。例えば検出された顔領域が小さい場合などには視線方向の検出ができない場合がある。このような場合は、ステップＳ１０６の判定をＮｏとして、ステップＳ１１１に進んで、顔領域に対してのみ設定されたフォーカスフレームに対応する距離算出を実行する。

ステップＳ１０６において、視線方向の検出に成功したと判定した場合には、ステップＳ１０７に進み、視線方向のオブジェクトまたは地点、すなわち顔領域以外のフォーカスフレーム設定ポイントを検出する。この処理は、図１０に示す視線方向オブジェクト検出部５０４の処理である。視線方向オブジェクト検出部５０４は、検出された顔の視線方向に存在するオブジェクトを検出する。

ステップＳ１０８では、オブジェクト検出に成功したか否かを判定する。オブジェクト検出に成功した場合は、ステップＳ１０９に進み、検出したオブジェクトに対してフォーカスフレームの設定を実行する。オブジェクト検出に成功しなかった場合は、ステップＳ１１０に進み、オブジェクトではなく視線方向の所定位置にフォーカスフレームの設定を実行する。例えば、複数の顔に対応する複数の視線方向の交点位置などをフォーカスフレームの設定ポイントとする。これらの処理は、図１０に示すフォーカスフレーム設定部５０５の処理として実行される。

次に、ステップＳ１１１に進み、これまでに設定されたフォーカスフレームに対応する距離算出を行う。この処理は、図１０に示す距離測定部５０６の処理である。距離測定部５０６は、フォーカスフレーム設定部５０５の設定したフォーカスフレームに対応する距離（カメラからの距離）を測定する。

次にステップＳ１１２において、フォーカスフレーム対応の距離情報を利用して、被写界深度を算出する。この処理は図１０に示す被写界深度算出部５０７の処理である。被写界深度算出部５０７は、設定した全てのフォーカスフレームに対応する距離が含まれる被写界深度を算出する。

その後、図１０に示す深度優先ＡＥパラメータ算出部５０８が、すべての顔と視線方向位置のオブジェクトまたはポイントが被写界深度の領域に含まれるように最適な絞り値（Ａｖ）やシャッタースピード（Ｔｖ）、露出値（Ｅｖ）など、深度優先ＡＥを実行するための制御パラメータを決定する。

この深度優先ＡＥパラメータ算出部５０８の決定したパラメータを適用して深度優先ＡＥ撮影を実行することで、顔およびその顔の視線方向のオブジェクトのすべてにピントの合った画像を撮影することができる。

本発明では、顔の視線方向のオブジェクト検出処理を行っているが、その視線方向オブジェクトの検出処理例について、図１２以下を参照して説明する。

図１２は検出された２つの顔Ａ６０１と、顔Ｂ６０２が注視しているオブジォクトである視線方向オブジェクト６１５を示している。さらに、これらの画像を取得している撮像装置の画像である撮像装置取得画像６２１を示している。

まず、顔画像の解析によって顔の向いている角度（ピッチ（＝前後方向の傾き）、ヨー（＝左右方向の傾き））が求められる。次に、顔面に対する法線を得ることができる。図に示す顔Ａの法線ａ６１１、顔Ｂの法線ｂ６１２である。

この図１２に示す例は、これらの法線ａ６１１、法線ｂ６１２が交差するポイントに注視する物体、すなわち視線方向オブジェクト６１５がある場合を想定する。

図に示すように、撮像装置の法線をＺ軸、撮像装置の水平方向をＸ軸、撮像装置の垂直方向をＹ軸として、顔面に対する法線をＸＺ面とＹＺ面に射影する。
図１３はＸＺ面に射影された法線を表し、
図１４はＹＺ面に射影された法線を表す。

これら図１３、図１４の２つの図において交わった点のＸ軸の値とＹ軸の値を撮像素子上にマッピングして得られる撮像装置上の座標（α，β）が注視している物体の位置を表す。すなわち、２つの顔が注視しているオブジェクトの位置である。図１０に示す視線方向オブジェクト検出部５０４は、例えばこのような手法により視線方向オブジェクトを検出する。

なお、本発明では注視している物体を１つに限定しない。たとえば４人の人物が検出され、２人ずつ２つのものを注視していたとするならば、４人の視線あるいは顔の法線を辿って交わった点（この場合は２点）を、それぞれフォーカスフレーム設定位置として、距離を測定し、全てのフォーカスフレーム設定位置の距離を被写界深度に組み入れて深度優先ＡＥによる撮影を実行するといった応用が可能である。

このように本発明の撮像装置では、顔認識技術と任意のフォーカスポイント設定を応用して、従来からある深度優先ＡＥの機能を向上させることが可能となる。深度優先ＡＥはユーザが任意のフォーカスポイントをセットする方法とフォーカスフレームで同時に合焦したエリアをセットする方法があったが、前者はユーザの操作を煩雑化し、後者は決して完全なものではなかった。本発明は新たな深度優先ＡＥの方法を実現している。本発明を用いれば、コンパクトデジタルカメラのように自動撮影モードにおいてユーザの意図している写真、すなわち、ピントの合わせたい被写体のすべてにピントを合わせた写真を撮影することが可能となる。

なお、本発明はデジタルスチルカメラ、デジタルビデオカメラ、カメラつき携帯電話など様々な機器に適用可能である。

以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。

また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

以上、説明したように、本発明の一実施例の構成によれば、入力画像の解析により顔領域を検出し、検出した顔領域と、顔の注目するオブジェクトに対してフォーカスフレームを設定し、設定したフォーカスフレームに対応する距離を測定して、これらの距離範囲を含む被写界深度を算出する。その後、算出した被写界深度に対応する撮影パラメータを設定して撮影を行なう。具体的には、例えば検出した顔の視線方向を検出して、視線方向のオブジェクトまたはポイントを検出して、検出した顔領域と、視線方向オブジェクトまたはポイントにフォーカスフレームを設定する。このように顔のみならず視線方向オブジェクトに対してもフォーカスフレームを設定して被写界深度を求めて深度優先ＡＥによる撮影を行うことで、顔のみならず注目オブジェクトにもピントの合った写真を撮影することが可能となる。

被写界深度および深度優先ＡＥについて説明する図である。 深度優先ＡＥを適用して集合写真を撮影する場合のフォーカスフレーム設定例について説明する図である。 深度優先ＡＥを適用して集合写真を撮影する場合のフォーカスフレーム設定例と問題点について説明する図である。 深度優先ＡＥを適用して集合写真を撮影する場合のフォーカスフレーム設定例と問題点について説明する図である。 顔検出と、深度優先ＡＥを適用して写真を撮影する場合のフォーカスフレーム設定例と問題点について説明する図である。 顔検出と、深度優先ＡＥを適用して写真を撮影する場合のフォーカスフレーム設定例と問題点について説明する図である。 本発明の撮像装置の構成例について説明する図である。 本発明の撮像装置における顔検出と、深度優先ＡＥを適用して写真を撮影する場合のフォーカスフレーム設定例について説明する図である。 本発明の撮像装置における顔検出と、深度優先ＡＥを適用して写真を撮影する場合のフォーカスフレーム設定例について説明する図である。 本発明の撮像装置における処理構成について説明するブロック図である。 本発明の撮像装置において実行する処理のシーケンスについて説明するフローチャートを示す図である。 本発明の撮像装置において実行する視線方向オブジェクトの検出処理について説明する図である。 本発明の撮像装置において実行する視線方向オブジェクトの検出処理について説明する図である。 本発明の撮像装置において実行する視線方向オブジェクトの検出処理について説明する図である。

符号の説明

１０ カメラ
２０ 被写体
３０ 画像
３１，３２ フォーカスフレーム
４０ オブジェクト
５１，５２ 被写体
７０ 画像
７１，７２ 顔
７５ オブジェクト
８１，８２ フォーカスフレーム
８５ 被写界深度
９０ カメラ
１００ 撮像装置
１０１ フォーカスレンズ
１０２ ズームレンズ
１０３ 撮像素子
１０４ アナログ信号処理部
１０５ Ａ／Ｄ変換部
１０６ タイミングジェネレータ（ＴＡ）
１０７ 垂直ドライバ
１０８ デジタル信号処理部
１１０ 制御部
１１２ モータドライバ
１１３，１１４ モータ
１１５記録デバイス１１５
１１６ ビューファインダ（ＥＶＦ）
１１７ モニタ
１１８ 操作部
１１９ メモリ（ＥＥＰＲＯＭ）
１２０ メモリ（ＲＯＭ）
１２１ メモリ（ＲＡＭ）
２００ 画像
２０１，２０２ 顔
２５１ オブジェクト
３０１，３０２，３５１ フォーカスフレーム
５０１ 画像入力部
５０２ 顔検出部
５０３ 視線方向検出部
５０４ 視線方向オブジェクト検出部
５０５ フォーカスフレーム設定部
５０６ 距離測定部
５０７ 被写界深度算出部
５０８ 深度優先ＡＥパラメータ設定部
６０１，６０２ 顔
６１１，６１２ 法線
６１５ 視線方向オブジェクト
６２１ 撮像装置取得画像

Claims (9)

1. 入力画像の解析により顔領域を検出する顔検出部と、
   前記顔検出部の検出した顔領域と、前記顔検出部の検出した顔の注目するオブジェクトに対してフォーカスフレームを設定するフォーカスフレーム設定部と、
   前記フォーカスフレーム設定部の設定したフォーカスフレームに対応する距離を測定する距離測定部と、
   前記距離測定部の測定した距離の距離範囲を含む被写界深度を算出する被写界深度算出部と、
   前記被写界深度算出部の算出した被写界深度が設定される撮影パラメータを設定するパラメータ設定部を有する撮像装置。
2. 前記撮像装置は、さらに、
   前記顔検出部の検出した顔の視線方向を検出する視線方向検出部と、
   前記視線方向検出部の検出した視線方向のオブジェクトまたはポイントを検出する視線方向オブジェクト検出部を有し、
   前記フォーカスフレーム設定部は、前記顔検出部の検出した顔領域と、前記視線方向オブジェクト検出部の検出した視線方向オブジェクトまたはポイントに測距枠としてのフォーカスフレームを設定する構成である請求項１に記載の撮像装置。
3. 前記視線方向オブジェクト検出部は、
   前記顔検出部の検出した顔が複数ある場合、複数の顔に対応する複数の視線方向の交点を視線方向オブジェクト位置として識別する処理を実行する構成である請求項１または２に記載の撮像装置。
4. 前記撮像装置は、
   前記パラメータ設定部の設定したパラメータを適用した深度優先ＡＥ（Ａｕｔｏ Ｅｘｐｏｓｕｒｅ）撮影処理を実行する構成である請求項１または２に記載の撮像装置。
5. 前記パラメータ設定部の設定するパラメータは、深度優先ＡＥ（Ａｕｔｏ Ｅｘｐｏｓｕｒｅ）撮影処理に適用するパラメータである絞り値を含む請求項４に記載の撮像装置。
6. 撮像装置において実行する撮像装置制御方法であり、
   顔検出部が、入力画像の解析により顔領域を検出する顔検出ステップと、
   フォーカスフレーム設定部が、前記顔検出ステップにおいて検出した顔領域と、前記顔検出部の検出した顔の注目するオブジェクトに対してフォーカスフレームを設定するフォーカスフレーム設定ステップと、
   距離測定部が、前記フォーカスフレーム設定ステップにおいて設定したフォーカスフレームに対応する距離を測定する距離測定ステップと、
   被写界深度算出部が、前記距離測定ステップにおいて測定した距離の距離範囲を含む被写界深度を算出する被写界深度算出ステップと、
   前パラメータ設定部が、記被写界深度算出ステップにおいて算出した被写界深度が設定される撮影パラメータを設定するパラメータ設定ステップと、
   を有する撮像装置制御方法。
7. 前記撮像装置制御方法は、さらに、
   視線方向検出部が、前記顔検出ステップにおいて検出した顔の視線方向を検出する視線方向検出ステップと、
   視線方向オブジェクト検出部が、前記視線方向検出ステップにおいて検出した視線方向のオブジェクトまたはポイントを検出する視線方向オブジェクト検出ステップを有し、
   前記フォーカスフレーム設定ステップは、前記顔検出ステップにおいて検出した顔領域と、前記視線方向オブジェクト検出ステップにおいて検出した視線方向オブジェクトまたはポイントに測距枠としてのフォーカスフレームを設定するステップである請求項６に記載の撮像装置制御方法。
8. 撮像装置において撮像装置制御処理を実行させるコンピュータ・プログラムであり、
   顔検出部に、入力画像の解析により顔領域を検出させる顔検出ステップと、
   フォーカスフレーム設定部に前記顔検出ステップにおいて検出した顔領域と、前記顔検出部の検出した顔の注目するオブジェクトに対してフォーカスフレームを設定させるフォーカスフレーム設定ステップと、
   距離測定部に、前記フォーカスフレーム設定ステップにおいて設定したフォーカスフレームに対応する距離を測定させる距離測定ステップと、
   被写界深度算出部に、前記距離測定ステップにおいて測定した距離の距離範囲を含む被写界深度を算出させる被写界深度算出ステップと、
   前パラメータ設定部に、記被写界深度算出ステップにおいて算出した被写界深度が設定される撮影パラメータを設定させるパラメータ設定ステップと、
   を有するコンピュータ・プログラム。
9. 前記コンピュータ・プログラムは、さらに、
   視線方向検出部に、前記顔検出ステップにおいて検出した顔の視線方向を検出させる視線方向検出ステップと、
   視線方向オブジェクト検出部に、前記視線方向検出ステップにおいて検出した視線方向のオブジェクトまたはポイントを検出させる視線方向オブジェクト検出ステップを有し、
   前記フォーカスフレーム設定ステップは、前記顔検出ステップにおいて検出した顔領域と、前記視線方向オブジェクト検出ステップにおいて検出した視線方向オブジェクトまたはポイントに測距枠としてのフォーカスフレームを設定させるステップである請求項８に記載のコンピュータ・プログラム。