JP6186521B2 - 合焦制御装置、撮像装置、合焦制御方法、及び合焦制御プログラム - Google Patents

Description

本発明は、合焦制御装置、撮像装置、合焦制御方法、及び合焦制御プログラムに関する。

近年、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサ、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ等の撮像素子の高解像度化に伴い、デジタルスチルカメラ、デジタルビデオカメラ、及びスマートフォン等の撮像機能を有する情報機器の需要が急増している。なお、以上のような撮像機能を有する情報機器を撮像装置と称する。

これら撮像装置では、主要な被写体に焦点を合わせる合焦制御方法として、コントラストＡＦ（Ａｕｔｏ Ｆｏｃｕｓ、自動合焦）方式や位相差ＡＦ方式が採用されている。

コントラストＡＦ方式は、フォーカスレンズを光軸方向に沿って駆動させつつ各駆動段階で得られる撮像画像信号のコントラストを評価値として取得し、最も評価値の高いレンズ位置を合焦位置とする方式である。ここでいうフォーカスレンズとは、光軸方向に移動することで、撮像光学系の焦点距離を調節するレンズである。

撮像画像信号において合焦させるべき領域を示す特定領域（以下、ＡＦ領域という）を設定する方法としては様々なものがある。例えば、特許文献１に記載の撮像装置は、撮像素子により撮像された撮像画像信号から、人間の顔と目を抽出し、更に顔の方向を特定し、顔が正面を向いている場合は顔をＡＦ領域として設定し、顔が横を向いている場合は目をＡＦ領域として設定している。

特許文献２に記載の撮像装置は、撮像画像信号に基づいて被写体の中から顔を検出し、さらに目、鼻、口元、口角、瞳等の顔の中の器官を検出し、検出した目をＡＦ領域として設定している。

特許文献３に記載の撮像装置は、撮像画像信号から被写体の目及び鼻、口、耳の候補群を抽出し、抽出した目の候補群の中から条件を満たす一対の候補を目の対と判断する。そして、目の候補群とそれに対応する顔を形成する他のパーツを対応付けて顔領域を検出し、検出した顔領域をＡＦ領域に設定している。

特許文献４に記載の撮像装置は、複数の撮像画像信号の各々から被写体の顔領域を検出し、さらに検出した顔領域から目、口又は鼻等の器官を検出する。そして、顔領域の移動位置を複数の撮像画像信号上で追従し、少なくとも１つの器官の撮像画像信号上での位置を補正したものをＡＦ領域に設定する方法が記載されている。

日本国特開２０１３−８０２４８号公報 日本国特開２０１２−２３１２００号公報 日本国特開２０１２−１９９９８６号公報 日本国特開２０１２−１９８８０７号公報

近年の撮像装置では、顔領域に合焦させるだけでなく、目領域にも合焦させたいというユーザ要望が強くなってきている。また、近年の撮像装置では、被写体に合焦させるまでの時間の短縮が求められている。

一方で、撮像画像信号から目領域を検出する処理は、撮像画像信号から顔領域を検出する処理と比べて複雑であり、処理に多くの時間を要する。このため、任意のタイミングで得られた撮像画像信号から顔領域と目領域を同時に検出することは難しい。

したがって、目領域に合焦させようとすると、目領域の検出処理が終わるまで待ってから、検出された目領域に対して評価値を算出することになる。しかし、被写体が動いていた場合には、検出された目領域と、現時点での目領域の位置とにずれが生じる可能性があり、意図した合焦結果を得られない可能性がある。

特許文献１〜４には、このような顔領域と目領域が同じタイミングで検出することが難しいという課題について考慮されていない。

本発明は、上記事情に鑑みてなされたものであり、目領域への合焦を可能にしつつ、意図した合焦結果を得ることのできる合焦制御装置、撮像装置、合焦制御方法、及び合焦制御プログラムを提供することを目的とする。

本発明の合焦制御装置は、光軸方向に移動可能なフォーカスレンズを移動させながら、上記フォーカスレンズの位置毎に、上記フォーカスレンズを通して被写体を撮像する撮像素子により被写体を撮像させ、上記撮像により得られる撮像画像信号に基づいて上記フォーカスレンズの合焦位置を決定する合焦位置決定部と、上記撮像素子により被写体を撮像して得られる撮像画像信号に対し顔検出処理を行う顔検出部と、上記撮像素子により被写体を撮像して得られる撮像画像信号に対し目検出処理を行う目検出部と、任意の時刻において上記撮像素子により撮像して得られた第一の撮像画像信号から上記顔検出部により検出された顔領域と、上記任意の時刻よりも前の時刻において上記撮像素子により撮像して得られた第二の撮像画像信号から上記目検出部により検出された目領域とに基づいて、上記撮像画像信号において合焦させるべき領域を示す特定領域を決定する特定領域決定部と、上記撮像画像信号のうちの上記特定領域決定部により決定された特定領域の信号に基づいて上記合焦位置決定部により決定される合焦位置に上記フォーカスレンズを駆動する駆動部と、を備えるものである。

本発明の撮像装置は、上記合焦制御装置と、上記撮像素子と、を備えるものである。

本発明の合焦制御方法は、光軸方向に移動可能なフォーカスレンズを移動させながら、上記フォーカスレンズの位置毎に、上記フォーカスレンズを通して被写体を撮像する撮像素子により被写体を撮像させ、上記撮像により得られる撮像画像信号に基づいて上記フォーカスレンズの合焦位置を決定する合焦位置決定ステップと、上記撮像素子により被写体を撮像して得られる撮像画像信号に対し顔検出処理を行う顔検出ステップと、上記撮像素子により被写体を撮像して得られる撮像画像信号に対し目検出処理を行う目検出ステップと、任意の時刻において上記撮像素子により撮像して得られた第一の撮像画像信号から上記顔検出ステップにより検出された顔領域と、上記任意の時刻よりも前の時刻において上記撮像素子により撮像して得られた第二の撮像画像信号から上記目検出ステップにより検出された目領域とに基づいて、上記撮像画像信号において合焦させるべき領域を示す特定領域を決定する特定領域決定ステップと、上記撮像画像信号のうちの上記特定領域決定ステップにより決定された特定領域の信号に基づいて上記合焦位置決定ステップにより決定される合焦位置に上記フォーカスレンズを駆動する駆動ステップと、を備えるものである。

本発明の合焦制御プログラムは、光軸方向に移動可能なフォーカスレンズを移動させながら、上記フォーカスレンズの位置毎に、上記フォーカスレンズを通して被写体を撮像する撮像素子により被写体を撮像させ、上記撮像により得られる撮像画像信号に基づいて上記フォーカスレンズの合焦位置を決定する合焦位置決定ステップと、上記撮像素子により被写体を撮像して得られる撮像画像信号に対し顔検出処理を行う顔検出ステップと、上記撮像素子により被写体を撮像して得られる撮像画像信号に対し目検出処理を行う目検出ステップと、任意の時刻において上記撮像素子により撮像して得られた第一の撮像画像信号から上記顔検出ステップにより検出された顔領域と、上記任意の時刻よりも前の時刻において上記撮像素子により撮像して得られた第二の撮像画像信号から上記目検出ステップにより検出された目領域とに基づいて、上記撮像画像信号において合焦させるべき領域を示す特定領域を決定する特定領域決定ステップと、上記撮像画像信号のうちの上記特定領域決定ステップにより決定された特定領域の信号に基づいて上記合焦位置決定ステップにより決定される合焦位置に上記フォーカスレンズを駆動する駆動ステップと、をコンピュータに実行させるためのプログラムである。

本発明によれば、目領域への合焦を可能にしつつ、意図した合焦結果を得ることのできる合焦制御装置、撮像装置、合焦制御方法、及び合焦制御プログラムを提供することができる。

本発明の一実施形態を説明するための撮像装置の一例としてのデジタルカメラの概略構成を示す図である。 図１に示すデジタルカメラにおけるコントラストＡＦ処理部２０の機能ブロック図である。 目領域の抽出の一例を示す図である。 顔検出部３１で検出される顔領域と、目検出部３２で検出される目領域とを時系列で示す図である。 ＡＦ領域の決定方法を説明するための図である。 ＡＦ領域の決定方法を説明するための他の図である。 図１に示すデジタルカメラのＡＦ動作を説明するためのフローチャートである。 評価値曲線の一例を示す図である。 顔領域Ｆと、目領域Ｅと、拡大目領域ＥＺとを例示する図である。 拡大目領域ＥＺの設定の変形例を示す図である。 本発明の撮影装置の一実施形態であるスマートフォン２００の外観を示すものである。 図１１のスマートフォンの内部ブロック図である。

以下、本発明の実施形態について図面を参照して説明する。

図１は、本発明の一実施形態を説明するための撮像装置の一例としてのデジタルカメラの概略構成を示す図である。

図１に示すデジタルカメラの撮像系は、撮像光学系（撮像レンズ１と絞り２とを含む）と、ＣＣＤ型やＣＭＯＳ型等の撮像素子５とを備える。撮像レンズ１及び絞り２を含む撮像光学系は、カメラ本体に着脱可能または固定となっている。撮像レンズ１は、光軸方向に移動可能なフォーカスレンズを含む。

デジタルカメラの電気制御系全体を統括制御するシステム制御部１１は、発光部１２及び受光部１３を制御する。また、システム制御部１１は、レンズ駆動部８を制御して撮像レンズ１に含まれるフォーカスレンズの位置を調整する。さらに、システム制御部１１は、絞り駆動部９を介して絞り２の開口量を制御することにより、露光量の調整を行う。

また、システム制御部１１は、撮像素子駆動部１０を介して撮像素子５を駆動し、撮像レンズ１を通して撮像した被写体像を撮像画像信号として出力させる。システム制御部１１には、操作部１４を通してユーザから指示信号が入力される。撮像画像信号は、Ｘ方向とこれに直交するＹ方向に二次元状に配列された複数の画素信号からなる。

デジタルカメラの電気制御系は、さらに、撮像素子５の出力に接続された相関二重サンプリング処理等のアナログ信号処理を行うアナログ信号処理部６と、アナログ信号処理部６から出力されるアナログ信号をデジタル信号に変換するアナログデジタル変換回路（Ａ／Ｄ）７とを備える。アナログ信号処理部６及びアナログデジタル変換回路７は、システム制御部１１によって制御される。

さらに、このデジタルカメラの電気制御系は、メインメモリ１６と、メインメモリ１６に接続されたメモリ制御部１５と、アナログデジタル変換回路７から出力される撮像画像信号に対し、補間演算、ガンマ補正演算、及びＲＧＢ−ＹＣ変換処理等を行って撮像画像データを生成するデジタル信号処理部１７と、デジタル信号処理部１７で生成された撮像画像データをＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）形式に圧縮したり圧縮画像データを伸張したりする圧縮伸張処理部１８と、コントラストＡＦ処理部２０と、着脱自在の記録媒体２２が接続される外部メモリ制御部２１と、カメラ背面等に搭載された表示部２４が接続される表示制御部２３と、を備えている。

メモリ制御部１５、デジタル信号処理部１７、圧縮伸張処理部１８、コントラストＡＦ処理部２０、外部メモリ制御部２１、及び表示制御部２３は、制御バス２５及びデータバス２６によって相互に接続され、システム制御部１１からの指令によって制御される。

図２は、図１に示すデジタルカメラにおけるコントラストＡＦ処理部２０の機能ブロック図である。

コントラストＡＦ処理部２０は、顔検出部３１と、目検出部３２と、ＡＦ領域決定部３３と、合焦位置決定部３４と、を備える。これらの機能ブロックは、システム制御部１１に含まれるプロセッサが合焦制御プログラムを実行することによって形成される。

顔検出部３１は、撮像素子５から出力されてアナログデジタル変換回路７によりデジタル変換された撮像画像信号に対し周知の顔検出処理を行って、人及び動物の顔を検出する。顔の検出方法としては、複数の顔画像情報を登録した辞書を用いて検出する方法や、テンプレートマッチングを用いて検出する方法などが適用可能である。

顔検出部３１は、顔があることを検出すると、撮像画像信号における顔が存在する領域（以下、顔領域という）の座標を顔検出結果として出力する。また、顔検出部３１は、検出された顔領域が、デジタルカメラに対し正面を向いている顔なのか、デジタルカメラに対し斜めを向いている顔なのかの顔の向きの情報も顔検出結果として出力する。

目検出部３２は、顔検出部３１により検出された顔領域の撮像画像信号に対し周知の目検出処理を行って、人及び動物の目を検出する。目検出部３２は、目があることを検出すると、撮像画像信号における目が存在する目座標（１点の座標）を中心とする所定の領域（例えば、この目座標を含む顔領域の面積の１０％程度の領域）を目領域とし、目領域の座標を目検出結果として出力する。

なお、人や動物の顔がデジタルカメラに対し正面を向いている場合には、左右の目に対応する２つの目領域が目検出部３２により検出される。顔がデジタルカメラに対し正面を向いているかどうかは、顔検出部３１によって検出することができる。顔検出部３１によって検出された顔領域が、デジタルカメラに対し正面を向いている顔を示す領域である場合、目検出部３２は、この顔領域から検出される２つの目領域のうちのいずれか一方を目検出結果として出力する。

また、人や動物の顔がデジタルカメラに対し斜めになっている場合にも、左右の目に対応する２つの目領域が目検出部３２により検出される。この場合、目検出部３２は、目の検出対象となる顔領域の撮像画像信号における位置によって、その顔領域に含まれる左右２つの目の目領域のどちらを目検出結果として出力するかを決定する。

デジタルカメラから見て、デジタルカメラの画角の中心よりも左側にいる人は、右半身が手前に写るように体全体を画角の中心に向ける傾向がある。また、デジタルカメラから見て、デジタルカメラの画角の中心よりも右側にいる人は、左半身が手前に写るように体全体を画角の中心に向ける傾向がある。

つまり、図３（Ａ）に示すように、人の顔が撮像画像信号の中心よりも左側にあれば、この顔から検出される２つの目領域のうち、より左側にある目領域ＷＲが、デジタルカメラにより近い位置にある目を示す領域となる。

また、図３（Ｂ）に示すように、人の顔が撮像画像信号の中心よりも右側にあれば、この顔から検出される２つの目領域のうち、より右側にある目領域ＷＬが、デジタルカメラにより近い位置にある目を示す領域となる。

目に合焦させる場合は、デジタルカメラに近い位置にある目に合焦させることで、違和感のない撮像画像を得ることができる。このため、目検出部３２は、斜め顔を示す顔領域については、その顔領域の撮像画像信号上での位置に基づいて、デジタルカメラにより近い位置にある目の目領域を目検出結果として出力する。

合焦位置決定部３４は、撮像レンズ１に含まれるフォーカスレンズを光軸方向に移動させながら、フォーカスレンズの位置毎に撮像素子５により被写体を撮像させ、この撮像により得られる撮像画像信号に基づいてフォーカスレンズの合焦位置を決定する。

具体的には、合焦位置決定部３４は、フォーカスレンズの移動位置毎に得られる撮像画像信号の所定領域のコントラスト値を評価値として算出する。評価値は、例えば、所定領域において、各画素信号における隣接画素信号との輝度の差を積算することで得る。

そして、合焦位置決定部３４は、算出した複数の評価値と、この複数の評価値の各々に対応するフォーカスレンズ位置の情報との関係を示す評価値曲線を算出し、その評価値曲線において評価値が最大となるフォーカスレンズの位置を合焦位置として決定する。

ＡＦ領域決定部３３は、任意の時刻においてコントラストＡＦの指示（以下、ＡＦ指示という）があると、この任意の時刻において撮像素子５により撮像して得られた第一の撮像画像信号から顔検出部３１により検出された顔領域と、この任意の時刻よりも前の時刻において撮像素子５により撮像して得られた第二の撮像画像信号から目検出部３２により検出された目領域と、に基づいて、撮像素子５から出力される撮像画像信号において合焦させるべき領域を示す特定領域であるＡＦ領域を決定する。ＡＦ領域決定部３３は、特定領域決定部として機能する。

図４は、顔検出部３１で検出される顔領域と、目検出部３２で検出される目領域とを時系列で示す図である。

図４に示すように、時刻Ｔ１〜Ｔ４において、顔検出部３１により正方形の顔領域Ｗ１〜Ｗ４が検出される。ここでは、精度よくコントラストＡＦを行うために、顔検出部３１は、顔領域Ｗ１と時刻Ｔ１よりも前に検出された顔領域とを平均して、顔領域ＷＷ１を得る。

同様に、顔検出部３１は、顔領域Ｗ２と時刻Ｔ１で得られた顔領域ＷＷ１とを平均して顔領域ＷＷ２を得る。また、顔検出部３１は、顔領域Ｗ３と時刻Ｔ２で得られた顔領域ＷＷ２とを平均して顔領域ＷＷ３を得る。また、顔検出部３１は、顔領域Ｗ４と時刻Ｔ３で得られた顔領域ＷＷ３とを平均して顔領域ＷＷ４を得る。

例えば、顔領域Ｗ２の中心座標Ｔ２（ｘ、ｙ）及び顔領域Ｗ２の一辺の長さＴ２（Ｌ）と、時刻Ｔ１で得られた顔領域ＷＷ１の中心座標（Ｘ１、Ｙ１）及び顔領域ＷＷ１の一辺の長さＬ１とを用いて、次式（１）により、平均された顔領域ＷＷ２の中心座標（Ｘ２、Ｙ２）及び顔領域ＷＷ２の一辺の長さＬ２が算出される。

Ｘ２＝（Ｔ２（ｘ）＋Ｘ１）／２
Ｙ２＝（Ｔ２（ｙ）＋Ｙ１）／２
Ｌ２＝（Ｔ２（Ｌ）＋Ｌ１））／２・・・（１）

時刻Ｔ１において行われる、顔領域ＷＷ１内の撮像画像信号に対する目検出部３２の目検出処理結果と、時刻Ｔ２において行われる、顔領域ＷＷ２内の撮像画像信号に対する目検出部３２の目検出処理結果とは、顔検出処理結果に比べ、検出に時間がかかるため、時刻Ｔ３と時刻Ｔ４でそれぞれ出力される。

時刻Ｔ３において目検出部３２から出力される目領域Ｅ１は、顔領域Ｗ１から検出された目座標Ｐ１を含む目領域と、時刻Ｔ２で出力された目領域とを平均したものとなる。目領域Ｅ１の中心座標が時刻Ｔ３において目検出部３２から出力された目座標ＰＰ１となる。

同様に、時刻Ｔ４において目検出部３２から出力される目領域Ｅ２は、顔領域Ｗ２から検出された目座標Ｐ２を含む目領域と、時刻Ｔ３で出力された目領域Ｅ１とを平均したものとなる。目領域Ｅ２の中心座標が時刻Ｔ４において目検出部３２から出力された目座標ＰＰ２となる。

顔検出部３１により検出される顔領域の大きさは、顔領域Ｗ１〜Ｗ４に例示されるように、同じ被写体であっても変動することがある。このため、この顔領域の大きさのばらつきを平均によって最小限に抑えることで、ＡＦ領域の決定精度を向上させることができる。

また、目領域についても、顔領域の大きさに対して目領域の大きさを決める場合には、同じ被写体であっても、顔領域の変動につられて目領域の大きさは変動する可能性がある。このため、平均処理を行うことが有効となる。なお、顔領域と目領域の各々の平均処理は必須ではない。

図４の例において、時刻Ｔ４においてＡＦ指示がユーザによりなされると、ＡＦ領域決定部３３は、時刻Ｔ４で検出された顔領域ＷＷ４と、時刻Ｔ４で出力された目領域Ｅ２とに基づいてＡＦ領域を決定する。

例えば、ＡＦ領域決定部３３は、図５に示すように、時刻Ｔ４で検出された顔領域ＷＷ４の中に、時刻Ｔ４で出力された目領域Ｅ２の中心座標ＰＰ２が存在する場合には、顔領域ＷＷ４と目領域Ｅ２のいずれかをＡＦ領域として決定する。

また、ＡＦ領域決定部３３は、図６に示すように、時刻Ｔ４で検出された顔領域ＷＷ４の外に、時刻Ｔ４で出力された目領域Ｅ２の中心座標ＰＰ２が存在する場合には、顔領域ＷＷ４をＡＦ領域として決定する。このような場合は、時刻Ｔ２から時刻Ｔ４の間に被写体が大きく移動しており、目領域Ｅ２の検出精度が低い（実際の目ではなく、背景等を目領域Ｅ２としている可能性が高い）と判断できるため、顔領域ＷＷ４がＡＦ領域として決定される。

図７は、図１に示すデジタルカメラのＡＦ動作を説明するためのフローチャートである。図７の処理は、操作部１４のシャッタボタンが押される等して、ＡＦ指示がシステム制御部１１に入力されることで開始される。

ＡＦ指示がなされると、システム制御部１１は、フォーカスレンズを移動させながら撮像素子５により被写体を撮像させる（ステップＳ０）。この各撮像のうち、最初に行われた撮像によって得られた撮像画像信号を撮像画像信号ＩＡとする。

顔検出部３１は、撮像画像信号ＩＡを取得すると、撮像画像信号ＩＡに顔検出処理を施し、顔検出結果（顔領域の座標）を出力する。この顔検出処理と並行して、目検出部３２は、撮像画像信号ＩＡが得られた時刻よりも前の時刻で撮像素子５により撮像して得られた撮像画像信号ＩＢに対する目検出処理の結果（目領域の座標）を出力する（ステップＳ１）。

次に、ＡＦ領域決定部３３は、ステップＳ１で検出された顔領域（以下、顔領域Ｆとする）と目領域（以下、目領域Ｅとする）とを比較し、顔領域Ｆの中に目領域Ｅの中心が存在するか否かを判定する（ステップＳ２）。

ＡＦ領域決定部３３は、顔領域Ｆの中に目領域Ｅの中心が存在しない場合、言い換えると、顔領域Ｆの外に目領域Ｅの中心が存在する場合（ステップＳ２：ＮＯ）は、顔領域ＦをＡＦ領域に決定する（ステップＳ１１）。

ステップＳ１１の後、合焦位置決定部３４は、ステップＳ０の各撮像により得られる撮像画像信号のうちのステップＳ１１で決定されたＡＦ領域の信号に基づいて、フォーカスレンズの位置毎に評価値を算出し、評価値が最大となるフォーカスレンズの位置を第一の合焦位置Ｇ１として決定する。

第一の合焦位置Ｇ１が決定されると、システム制御部１１は、レンズ駆動部８を制御して、この第一の合焦位置Ｇ１にフォーカスレンズを駆動し（ステップＳ１２）、ＡＦ動作を終了する。システム制御部１１は、駆動部として機能する。この駆動部は、システム制御部１１に含まれるプロセッサが合焦制御プログラムを実行することによって実現される機能ブロックである。合焦制御プログラムを実行したシステム制御部１１とコントラストＡＦ処理部２０は合焦制御装置として機能する。

ステップＳ２の判定がＹＥＳの場合、合焦位置決定部３４は、ステップＳ０の各撮像で得られた撮像画像信号のうちのステップＳ１で検出された顔領域Ｆの信号に基づいて、フォーカスレンズ位置毎に評価値を算出し、評価値が最大となるフォーカスレンズの第一の合焦位置Ｇ１を決定する（ステップＳ３）。

また、合焦位置決定部３４は、ステップＳ０の各撮像で得られた撮像画像信号のうちのステップＳ１で検出された目領域Ｅの信号に基づいて、フォーカスレンズの位置毎に評価値を算出し、評価値が最大となるフォーカスレンズの第二の合焦位置Ｇ２を決定する（ステップＳ４）。

目領域Ｅは顔領域Ｆに比べると小さい領域である。このため、目領域Ｅについては、評価値曲線が図８に例示されるようなものとなり、第二の合焦位置Ｇ２を一意に決定できない場合がある。このため、ＡＦ領域決定部３３は、ステップＳ４の後、ステップＳ４の処理によって第二の合焦位置Ｇ２が決定できたか否かを判定する（ステップＳ５）。

ステップＳ４の処理によって第二の合焦位置Ｇ２が決定できた場合（ステップＳ５：ＮＯ）、ＡＦ領域決定部３３は、第一の合焦位置Ｇ１と第二の合焦位置Ｇ２との比較を行う。具体的には、ＡＦ領域決定部３３は、第一の合焦位置Ｇ１と第二の合焦位置Ｇ２との差が第一の閾値ＴＨ１未満であり、かつ、第二の合焦位置Ｇ２が第一の合焦位置Ｇ１よりも撮像素子５側にあるか否かを判定する（ステップＳ６）。

ステップＳ６の判定がＹＥＳのとき、ＡＦ領域決定部３３は、目領域ＥをＡＦ領域に決定する（ステップＳ７）。ステップＳ７の後、システム制御部１１は、レンズ駆動部８を制御して、第二の合焦位置Ｇ２にフォーカスレンズを駆動し（ステップＳ８）、ＡＦ動作を終了する。

ステップＳ６の判定がＮＯのとき、ＡＦ領域決定部３３は、顔領域ＦをＡＦ領域に決定する（ステップＳ９）。ステップＳ９の後、システム制御部１１は、レンズ駆動部８を制御して、第一の合焦位置Ｇ１にフォーカスレンズを駆動し（ステップＳ１０）、ＡＦ動作を終了する。

目領域Ｅの信号が、顔領域Ｆに含まれる目を撮像して得られたものであれば、顔領域Ｆの信号に基づく第一の合焦位置Ｇ１と目領域Ｅの信号に基づく第二の合焦位置Ｇ２とに大きな差は生じない。このため、第一の合焦位置Ｇ１と第二の合焦位置Ｇ２との差が大きいということは、目領域Ｅの信号が、顔領域に含まれる目とは違う部分（例えば背景）を撮像して得られたものである可能性が高い。そのため、ステップＳ６の判定において、第一の合焦位置Ｇ１と第二の合焦位置Ｇ２との差が第一の閾値ＴＨ１以上のときには、目領域Ｅの信頼性は低いとして、ＡＦ領域決定部３３は、顔領域ＦをＡＦ領域に決定する。

また、第一の合焦位置Ｇ１と第二の合焦位置Ｇ２との差が第一の閾値ＴＨ１未満であっても、目領域Ｅの信号に基づいて決められる第二の合焦位置Ｇ２が、顔領域Ｆの信号に基づいて決められる第一の合焦位置Ｇ１よりも被写体側にある場合は、第二の合焦位置Ｇ２にフォーカスレンズを駆動してしまうと、顔領域Ｆにおいて大部分にフォーカスが合わない可能性が生じ、顔をはっきりと撮像することができない可能性がある。このような状況を避けるために、ステップＳ６の判定において、第一の合焦位置Ｇ１と第二の合焦位置Ｇ２との差が第一の閾値ＴＨ１未満でかつ、第二の合焦位置Ｇ２が第一の合焦位置Ｇ１よりも撮像素子５側にある場合にのみ、目領域ＥをＡＦ領域として決定している。

ステップＳ５の判定がＹＥＳのとき、ＡＦ領域決定部３３は、目領域Ｅを含む、目領域Ｅを拡大した拡大目領域ＥＺを設定する（ステップＳ１３）。その後、合焦位置決定部３４は、ステップＳ０の各撮像で得られた撮像画像信号のうちのステップＳ１３で設定された拡大目領域ＥＺの信号に基づいて、フォーカスレンズの位置毎に評価値を算出し、評価値が最大となるフォーカスレンズの第三の合焦位置Ｇ３を決定する（ステップＳ１４）。

目領域Ｅを拡大した拡大目領域ＥＺは、情報量が目領域Ｅよりも増える。このため、拡大目領域ＥＺについては、目領域Ｅよりも、合焦位置を決定できる可能性を高くすることができる。

図９は、顔領域Ｆと、目領域Ｅと、拡大目領域ＥＺとを例示する図である。

図９の例では、拡大目領域ＥＺの中心座標が、目領域Ｅの中心座標よりも、目領域Ｅを含む顔領域Ｆの中心に近づく方向にずれている。

拡大目領域の中心座標が、目領域Ｅの中心座標よりも顔領域Ｆの中心に近づく方向にずれるとは、目領域Ｅの中心座標を起点とし、顔領域Ｆの中心座標を終点とするベクトルをＸ方向成分とＹ方向成分に分解したときに、目領域Ｅの中心座標からＸ方向成分ベクトルの向く方向に所定量ずれた位置に拡大目領域ＥＺの中心座標がある状態と、目領域Ｅの中心座標からＹ方向成分ベクトルの向く方向に所定量ずれた位置に拡大目領域ＥＺの中心座標がある状態と、目領域Ｅの中心座標からＸ方向成分ベクトルの向く方向とＹ方向成分ベクトルの向く方向とにそれぞれ所定量ずれた位置に拡大目領域の中心座標がある状態と、を含む。

図９のように拡大目領域ＥＺを設定することで、拡大目領域ＥＺが顔領域Ｆからはみ出してしまう可能性を低くすることができる。拡大目領域ＥＺが顔領域Ｆの外に出ないことで、拡大目領域ＥＺの信号に基づいて合焦位置が決定されて、この合焦位置にフォーカスレンズが駆動された場合でも、顔以外の部分に焦点が合うのを防いで、合焦精度を高めることができる。

なお、拡大目領域ＥＺの中心座標が、目領域Ｅの中心座標よりも、目領域Ｅを含む顔領域Ｆの中心に近づく方向にずれていても、例えば、図１０に示すように、拡大目領域ＥＺの一部が顔領域Ｆの外に出てしまう場合がある。

このような場合、ＡＦ領域決定部３３は、拡大目領域ＥＺのうち顔領域Ｆよりも外側にある部分（図１０において斜線が施された領域）を除外して拡大目領域ＥＺを設定することが好ましい。これにより、拡大目領域ＥＺの信号に基づいて合焦位置が決定されて、この合焦位置にフォーカスレンズが駆動された場合でも、顔以外の部分に焦点が合うのを確実に防いで、合焦精度を高めることができる。

拡大目領域ＥＺは顔領域Ｆに比べると小さい領域である。このため、拡大目領域ＥＺについても、評価値曲線が図８に例示されるようなものになる可能性はあり、第三の合焦位置Ｇ３を一意に決定できない場合がある。このため、ＡＦ領域決定部３３は、ステップＳ１４の後、ステップＳ１４の処理によって第三の合焦位置Ｇ３が決定できたか否かを判定する（ステップＳ１５）。

ステップＳ１４の処理によって第三の合焦位置Ｇ３が決定できた場合（ステップＳ１５：ＮＯ）、ＡＦ領域決定部３３は、第一の合焦位置Ｇ１と第三の合焦位置Ｇ３との比較を行う。具体的には、ＡＦ領域決定部３３は、第一の合焦位置Ｇ１と第三の合焦位置Ｇ３との差が第二の閾値ＴＨ２未満であり、かつ、第三の合焦位置Ｇ３が第一の合焦位置Ｇ１よりも撮像素子５側にあるか否かを判定する（ステップＳ１６）。

ステップＳ１６の判定がＹＥＳのとき、ＡＦ領域決定部３３は、拡大目領域ＥＺをＡＦ領域に決定する（ステップＳ１７）。ステップＳ１７の後、システム制御部１１は、レンズ駆動部８を制御して、第三の合焦位置Ｇ３にフォーカスレンズを駆動し（ステップＳ１８）、ＡＦ動作を終了する。

ステップＳ１６の判定がＮＯのとき、ＡＦ領域決定部３３は、顔領域ＦをＡＦ領域に決定する（ステップＳ９）。ステップＳ９の後、システム制御部１１は、レンズ駆動部８を制御して、第一の合焦位置Ｇ１にフォーカスレンズを駆動し（ステップＳ１０）、ＡＦ動作を終了する。

拡大目領域ＥＺの信号が、顔領域Ｆに含まれる目を含む範囲を撮像して得られたものであれば、顔領域Ｆの信号に基づく第一の合焦位置Ｇ１と拡大目領域ＥＺの信号に基づく第三の合焦位置Ｇ３とに大きな差は生じない。

このため、第一の合焦位置Ｇ１と第三の合焦位置Ｇ３との差が大きいということは、拡大目領域ＥＺの信号が、顔領域に含まれる目とは違う部分（例えば背景）を撮像して得られたものである可能性が高い。したがって、ステップＳ１６の判定において、第一の合焦位置Ｇ１と第三の合焦位置Ｇ３との差が第二の閾値ＴＨ２以上のときには、拡大目領域ＥＺの信頼性は低いとして、ＡＦ領域決定部３３は、顔領域ＦをＡＦ領域に決定する。

また、第一の合焦位置Ｇ１と第三の合焦位置Ｇ３との差が第二の閾値ＴＨ２未満であっても、拡大目領域ＥＺの信号に基づいて決められる第三の合焦位置Ｇ３が、顔領域Ｆの信号に基づいて決められる第一の合焦位置Ｇ１よりも被写体側にある場合は、第三の合焦位置Ｇ３にフォーカスレンズを駆動してしまうと、顔領域Ｆの大部分においてフォーカスが合わない可能性が生じ、顔をはっきりと撮像することができない可能性がある。

このような状況を避けるために、ステップＳ１６の判定において、第一の合焦位置Ｇ１と第三の合焦位置Ｇ３との差が第二の閾値ＴＨ２未満でかつ、第三の合焦位置Ｇ３が第一の合焦位置Ｇ１よりも撮像素子５側にある場合にのみ、拡大目領域ＥＺをＡＦ領域として決定している。

以上のように、図１に示すデジタルカメラは、任意の時刻に検出された顔領域と、この任意の時刻よりも前に得られた撮像画像信号から検出された目領域との関係によって、目領域と顔領域のどちらをＡＦ領域にしてフォーカスレンズの駆動を行うかを決めることができる。

このため、被写体が動くことによって顔領域と目領域との位置に大きな差が生じた場合でも、誤合焦する確率を減らして、安定したＡＦ動作を実現することができる。また、被写体が動いていない場合、つまり、顔領域の中に目領域の中心が存在する場合には、目領域と顔領域のうちの合焦精度が高くなる方の信号に基づいて決められた合焦位置にフォーカスレンズを駆動することができる。このため、被写体が動いていない場合には、精度の高いＡＦ動作を行うことができる。

また、第二の合焦位置Ｇ２が決定不能の場合でも、拡大目領域ＥＺが設定されて、この拡大目領域ＥＺの信号に基づいて第三の合焦位置Ｇ３の決定が行われる。そして、第三の合焦位置Ｇ３が決定できた場合には、第三の合焦位置Ｇ３にフォーカスレンズを駆動することが可能となるため、目付近に焦点を合わせた撮像が行われる可能性を増やすことができる。

また、第二の合焦位置Ｇ２及び第三の合焦位置Ｇ３にフォーカスレンズを駆動すると合焦精度が低下すると想定される場合（ステップＳ６：ＮＯ、及び、ステップＳ１６：ＮＯ）には、顔領域がＡＦ領域として決定される。このため、どのような状況であっても、少なくとも顔領域には焦点を合わせた撮像が可能となり、合焦精度を確保することができる。

なお、ＡＦ指示がシステム制御部１１に入力されると、表示制御部２３は、ライブビュー画像を表示部２４に表示させるとともに、ＡＦ動作時には、顔領域と目領域を示す情報（例えば、顔枠と目枠）を表示部２４に表示させてもよい。

ただし、目領域を示す情報については、ステップＳ２の判定がＹＥＳになったときにだけ表示させるようにするとよい。このようにすることで、目のないところに目枠が表示されることはなくなり、ユーザに違和感を与えずにすむ。

さらに、ステップＳ７、ステップＳ９、及びステップＳ１１の処理が行われたときに、表示制御部２３は、ＡＦ領域として決定された領域を示す枠を強調表示させ、ＡＦ領域として決定されなかった枠の色や輝度を変更したりしてもよい。これにより、どの領域に焦点が合わせられているのかをユーザが直感的に認識することができる。

次に、撮像装置としてスマートフォンの構成について説明する。

図１１は、本発明の撮影装置の一実施形態であるスマートフォン２００の外観を示すものである。図１１に示すスマートフォン２００は、平板状の筐体２０１を有し、筐体２０１の一方の面に表示部としての表示パネル２０２と、入力部としての操作パネル２０３とが一体となった表示入力部２０４を備えている。また、この様な筐体２０１は、スピーカ２０５と、マイクロホン２０６と、操作部２０７と、カメラ部２０８とを備えている。なお、筐体２０１の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成を採用したり、折り畳み構造やスライド機構を有する構成を採用したりすることもできる。

図１２は、図１１に示すスマートフォン２００の構成を示すブロック図である。図１２に示すように、スマートフォンの主たる構成要素として、無線通信部２１０と、表示入力部２０４と、通話部２１１と、操作部２０７と、カメラ部２０８と、記憶部２１２と、外部入出力部２１３と、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）受信部２１４と、モーションセンサ部２１５と、電源部２１６と、主制御部２２０とを備える。また、スマートフォン２００の主たる機能として、図示省略の基地局装置と図示省略の移動通信網とを介した移動無線通信を行う無線通信機能を備える。

無線通信部２１０は、主制御部２２０の指示にしたがって、移動通信網に収容された基地局装置に対し無線通信を行うものである。この無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信や、Ｗｅｂデータやストリーミングデータなどの受信を行う。

表示入力部２０４は、主制御部２２０の制御により、画像（静止画像及び動画像）や文字情報などを表示して視覚的にユーザに情報を伝達するとともに、表示した情報に対するユーザ操作を検出する、いわゆるタッチパネルであって、表示パネル２０２と、操作パネル２０３とを備える。

表示パネル２０２は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、ＯＥＬＤ（Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ Ｄｉｓｐｌａｙ）などを表示デバイスとして用いたものである。

操作パネル２０３は、表示パネル２０２の表示面上に表示される画像を視認可能に載置され、ユーザの指や尖筆によって操作される一又は複数の座標を検出するデバイスである。このデバイスをユーザの指や尖筆によって操作すると、操作に起因して発生する検出信号を主制御部２２０に出力する。次いで、主制御部２２０は、受信した検出信号に基づいて、表示パネル２０２上の操作位置（座標）を検出する。

図１２に示すように、本発明の撮影装置の一実施形態として例示しているスマートフォン２００の表示パネル２０２と操作パネル２０３とは一体となって表示入力部２０４を構成しているが、操作パネル２０３が表示パネル２０２を完全に覆うような配置となっている。

係る配置を採用した場合、操作パネル２０３は、表示パネル２０２外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル２０３は、表示パネル２０２に重なる重畳部分についての検出領域（以下、表示領域と称する）と、それ以外の表示パネル２０２に重ならない外縁部分についての検出領域（以下、非表示領域と称する）とを備えていてもよい。

なお、表示領域の大きさと表示パネル２０２の大きさとを完全に一致させても良いが、両者を必ずしも一致させる必要は無い。また、操作パネル２０３が、外縁部分と、それ以外の内側部分の２つの感応領域を備えていてもよい。さらに、外縁部分の幅は、筐体２０１の大きさなどに応じて適宜設計されるものである。さらにまた、操作パネル２０３で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式などが挙げられ、いずれの方式を採用することもできる。

通話部２１１は、スピーカ２０５やマイクロホン２０６を備え、マイクロホン２０６を通じて入力されたユーザの音声を主制御部２２０にて処理可能な音声データに変換して主制御部２２０に出力したり、無線通信部２１０あるいは外部入出力部２１３により受信された音声データを復号してスピーカ２０５から出力させたりするものである。また、図１８に示すように、例えば、スピーカ２０５を表示入力部２０４が設けられた面と同じ面に搭載し、マイクロホン２０６を筐体２０１の側面に搭載することができる。

操作部２０７は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、図１１に示すように、操作部２０７は、スマートフォン２００の筐体２０１の側面に搭載され、指などで押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。

記憶部２１２は、主制御部２２０の制御プログラムや制御データ、アプリケーションソフトウェア、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータ、ウェブブラウジングによりダウンロードしたウェブデータや、ダウンロードしたコンテンツデータを記憶し、またストリーミングデータなどを一時的に記憶するものである。また、記憶部２１２は、スマートフォン内蔵の内部記憶部２１７と着脱自在な外部メモリスロットを有する外部記憶部２１８により構成される。なお、記憶部２１２を構成するそれぞれの内部記憶部２１７と外部記憶部２１８は、フラッシュメモリタイプ、ハードディスクタイプ、マルチメディアカードマイクロタイプ、カードタイプのメモリ、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などの格納媒体を用いて実現される。

外部入出力部２１３は、スマートフォン２００に連結される全ての外部機器とのインターフェースの役割を果たすものであり、他の外部機器に通信等（例えば、ユニバーサルシリアルバス、ＩＥＥＥ１３９４など）又はネットワーク（例えば、インターネット、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ブルートゥース（Ｂｌｕｅｔｏｏｔｈ）（登録商標）、ＲＦＩＤ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）、赤外線通信、ＵＷＢ（Ｕｌｔｒａ Ｗｉｄｅｂａｎｄ）（登録商標）、ジグビー（ＺｉｇＢｅｅ）（登録商標）など）により直接的又は間接的に接続するためのものである。

スマートフォン２００に連結される外部機器としては、例えば、有線又は無線ヘッドセット、有線又は無線外部充電器、有線又は無線データポート、カードソケットを介して接続されるメモリカードやＳＩＭ（Ｓｕｂｓｃｒｉｂｅｒ Ｉｄｅｎｔｉｔｙ Ｍｏｄｕｌｅ）カード、ＵＩＭ（Ｕｓｅｒ Ｉｄｅｎｔｉｔｙ Ｍｏｄｕｌｅ Ｃａｒｄ）カード、オーディオビデオＩ／Ｏ（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）端子を介して接続される外部オーディオビデオ機器、無線接続される外部オーディオビデオ機器、有線又は無線接続されるスマートフォン、有線又は無線接続されるパーソナルコンピュータ、有線又は無線接続されるパーソナルコンピュータ、イヤホンなどがある。外部入出力部２１３は、このような外部機器から伝送を受けたデータをスマートフォン２００の内部の各構成要素に伝達することや、スマートフォン２００の内部のデータが外部機器に伝送されるようにすることができる。

ＧＰＳ受信部２１４は、主制御部２２０の指示にしたがって、ＧＰＳ衛星ＳＴ１〜ＳＴｎから送信されるＧＰＳ信号を受信し、受信した複数のＧＰＳ信号に基づく測位演算処理を実行し、スマートフォン２００の緯度、経度、高度からなる位置を検出する。ＧＰＳ受信部２１４は、無線通信部２１０や外部入出力部２１３（例えば、無線ＬＡＮ）から位置情報を取得できる時には、その位置情報を用いて位置を検出することもできる。

モーションセンサ部２１５は、例えば、３軸の加速度センサなどを備え、主制御部２２０の指示にしたがって、スマートフォン２００の物理的な動きを検出する。スマートフォン２００の物理的な動きを検出することにより、スマートフォン２００の動く方向や加速度が検出される。係る検出結果は、主制御部２２０に出力されるものである。

電源部２１６は、主制御部２２０の指示にしたがって、スマートフォン２００の各部に、バッテリ（図示しない）に蓄えられる電力を供給するものである。

主制御部２２０は、マイクロプロセッサを備え、記憶部２１２が記憶する制御プログラムや制御データにしたがって動作し、スマートフォン２００の各部を統括して制御するものである。また、主制御部２２０は、無線通信部２１０を通じて、音声通信やデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。

アプリケーション処理機能は、記憶部２１２が記憶するアプリケーションソフトウェアにしたがって主制御部２２０が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部２１３を制御して対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、Ｗｅｂページを閲覧するＷｅｂブラウジング機能などがある。

また、主制御部２２０は、受信データやダウンロードしたストリーミングデータなどの画像データ（静止画像や動画像のデータ）に基づいて、映像を表示入力部２０４に表示する等の画像処理機能を備える。画像処理機能とは、主制御部２２０が、上記画像データを復号し、この復号結果に画像処理を施して、画像を表示入力部２０４に表示する機能のことをいう。

さらに、主制御部２２０は、表示パネル２０２に対する表示制御と、操作部２０７、操作パネル２０３を通じたユーザ操作を検出する操作検出制御を実行する。表示制御の実行により、主制御部２２０は、アプリケーションソフトウェアを起動するためのアイコンや、スクロールバーなどのソフトウェアキーを表示したり、あるいは電子メールを作成したりするためのウィンドウを表示する。なお、スクロールバーとは、表示パネル２０２の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。

また、操作検出制御の実行により、主制御部２２０は、操作部２０７を通じたユーザ操作を検出したり、操作パネル２０３を通じて、上記アイコンに対する操作や、上記ウィンドウの入力欄に対する文字列の入力を受け付けたり、あるいは、スクロールバーを通じた表示画像のスクロール要求を受け付ける。

さらに、操作検出制御の実行により主制御部２２０は、操作パネル２０３に対する操作位置が、表示パネル２０２に重なる重畳部分（表示領域）か、それ以外の表示パネル２０２に重ならない外縁部分（非表示領域）かを判定し、操作パネル２０３の感応領域や、ソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。

また、主制御部２２０は、操作パネル２０３に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、あるいはこれらを組み合わせて、複数の位置から少なくとも１つについて軌跡を描く操作を意味する。

カメラ部２０８は、図１に示したデジタルカメラにおける外部メモリ制御部２１、記録媒体２２、表示制御部２３、表示部２４、及び操作部１４以外の構成を含む。カメラ部２０８によって生成された撮像画像データは、記憶部２１２に記録したり、外部入出力部２１３や無線通信部２１０を通じて出力したりすることができる。図１１に示すにスマートフォン２００において、カメラ部２０８は表示入力部２０４と同じ面に搭載されているが、カメラ部２０８の搭載位置はこれに限らず、表示入力部２０４の背面に搭載されてもよい。

また、カメラ部２０８はスマートフォン２００の各種機能に利用することができる。例えば、表示パネル２０２にカメラ部２０８で取得した画像を表示することや、操作パネル２０３の操作入力のひとつとして、カメラ部２０８の画像を利用することができる。また、ＧＰＳ受信部２１４が位置を検出する際に、カメラ部２０８からの画像を参照して位置を検出することもできる。さらには、カメラ部２０８からの画像を参照して、３軸の加速度センサを用いずに、或いは、３軸の加速度センサと併用して、スマートフォン２００のカメラ部２０８の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部２０８からの画像をアプリケーションソフトウェア内で利用することもできる。

その他、静止画又は動画の画像データにＧＰＳ受信部２１４により取得した位置情報、マイクロホン２０６により取得した音声情報（主制御部等により、音声テキスト変換を行ってテキスト情報となっていてもよい）、モーションセンサ部２１５により取得した姿勢情報等などを付加して記録部２１２に記録したり、外部入出力部２１３や無線通信部２１０を通じて出力したりすることもできる。

以上のような構成のスマートフォン２００においても、カメラ部２０８に図１のコントラストＡＦ処理部２０を設けることで、高精度の合焦制御が可能になる。

以上説明してきたように、本明細書には以下の事項が開示されている。

開示された合焦制御装置は、光軸方向に移動可能なフォーカスレンズを移動させながら、上記フォーカスレンズの位置毎に、上記フォーカスレンズを通して被写体を撮像する撮像素子により被写体を撮像させ、上記撮像により得られる撮像画像信号に基づいて上記フォーカスレンズの合焦位置を決定する合焦位置決定部と、上記撮像素子により被写体を撮像して得られる撮像画像信号に対し顔検出処理を行う顔検出部と、上記撮像素子により被写体を撮像して得られる撮像画像信号に対し目検出処理を行う目検出部と、任意の時刻において上記撮像素子により撮像して得られた第一の撮像画像信号から上記顔検出部により検出された顔領域と、上記任意の時刻よりも前の時刻において上記撮像素子により撮像して得られた第二の撮像画像信号から上記目検出部により検出された目領域とに基づいて、上記撮像画像信号において合焦させるべき領域を示す特定領域を決定する特定領域決定部と、上記撮像画像信号のうちの上記特定領域決定部により決定された特定領域の信号に基づいて上記合焦位置決定部により決定される合焦位置に上記フォーカスレンズを駆動する駆動部と、を備えるものである。

開示された合焦制御装置は、上記特定領域決定部は、上記顔領域の外に、上記目領域の中心が存在する場合には、上記顔領域を上記特定領域として決定するものである。

開示された合焦制御装置は、上記特定領域決定部は、上記顔領域の中に、上記目領域の中心が存在する場合には、上記撮像画像信号のうちの上記顔領域の信号に基づいて上記合焦位置決定部により決定される上記フォーカスレンズの第一の合焦位置と、上記撮像画像信号のうちの上記目領域の信号に基づいて上記合焦位置決定部により決定される上記フォーカスレンズの第二の合焦位置と、の比較により、上記顔領域と上記目領域のいずれかを上記特定領域として決定するものである。

開示された合焦制御装置は、上記特定領域決定部は、上記第一の合焦位置と上記第二の合焦位置との差が第一の閾値未満であり、かつ、上記第二の合焦位置が上記第一の合焦位置よりも上記撮像素子側にある場合に、上記目領域を上記特定領域として決定するものである。

開示された合焦制御装置は、上記特定領域決定部は、上記第二の合焦位置が決定不能の場合に、上記撮像画像信号のうちの上記目領域を拡大した拡大目領域の信号に基づいて上記合焦位置決定部により決定される上記フォーカスレンズの第三の合焦位置と、上記第一の合焦位置と、の比較により、上記顔領域と上記拡大目領域のいずれかを上記特定領域として決定するものである。

開示された合焦制御装置は、上記特定領域決定部は、上記第一の合焦位置と上記第三の合焦位置との差が第二の閾値未満であり、かつ、上記第三の合焦位置が上記第一の合焦位置よりも上記撮像素子側にある場合に、上記拡大目領域を上記特定領域として決定するものである。

開示された合焦制御装置は、上記特定領域決定部は、上記拡大目領域の中心を、上記目領域の中心よりも上記顔領域の中心に近づける方向にずらすものである。

開示された合焦制御装置は、上記特定領域決定部は、上記拡大目領域のうち、上記顔領域よりも外側にある部分を上記拡大目領域から除外するものである。

開示された撮像装置は、上記合焦制御装置と、上記撮像素子と、を備えるものである。

開示された合焦制御方法は、光軸方向に移動可能なフォーカスレンズを移動させながら、上記フォーカスレンズの位置毎に、上記フォーカスレンズを通して被写体を撮像する撮像素子により被写体を撮像させ、上記撮像により得られる撮像画像信号に基づいて上記フォーカスレンズの合焦位置を決定する合焦位置決定ステップと、上記撮像素子により被写体を撮像して得られる撮像画像信号に対し顔検出処理を行う顔検出ステップと、上記撮像素子により被写体を撮像して得られる撮像画像信号に対し目検出処理を行う目検出ステップと、任意の時刻において上記撮像素子により撮像して得られた第一の撮像画像信号から上記顔検出ステップにより検出された顔領域と、上記任意の時刻よりも前の時刻において上記撮像素子により撮像して得られた第二の撮像画像信号から上記目検出ステップにより検出された目領域とに基づいて、上記撮像画像信号において合焦させるべき領域を示す特定領域を決定する特定領域決定ステップと、上記撮像画像信号のうちの上記特定領域決定ステップにより決定された特定領域の信号に基づいて上記合焦位置決定ステップにより決定される合焦位置に上記フォーカスレンズを駆動する駆動ステップと、を備えるものである。

開示された合焦制御方法は、上記特定領域決定ステップでは、上記顔領域の外に、上記目領域の中心が存在する場合には、上記顔領域を上記特定領域として決定するものである。

開示された合焦制御方法は、上記特定領域決定ステップでは、上記顔領域の中に、上記目領域の中心が存在する場合には、上記撮像画像信号のうちの上記顔領域の信号に基づいて上記合焦位置決定ステップにより決定される上記フォーカスレンズの第一の合焦位置と、上記撮像画像信号のうちの上記目領域の信号に基づいて上記合焦位置決定ステップにより決定される上記フォーカスレンズの第二の合焦位置と、の比較により、上記顔領域と上記目領域のいずれかを上記特定領域として決定するものである。

開示された合焦制御方法は、上記特定領域決定ステップでは、上記第一の合焦位置と上記第二の合焦位置との差が第一の閾値未満であり、かつ、上記第二の合焦位置が上記第一の合焦位置よりも上記撮像素子側にある場合に、上記目領域を上記特定領域として決定するものである。

開示された合焦制御方法は、上記特定領域決定ステップでは、上記第二の合焦位置が決定不能の場合に、上記撮像画像信号のうちの上記目領域を含み上記目領域よりも大きい拡大目領域の信号に基づいて上記合焦位置決定ステップにより決定される上記フォーカスレンズの第三の合焦位置と、上記第一の合焦位置と、の比較により、上記顔領域と上記拡大目領域のいずれかを上記特定領域として決定するものである。

開示された合焦制御方法は、上記特定領域決定ステップでは、上記第一の合焦位置と上記第三の合焦位置との差が第二の閾値未満であり、かつ、上記第三の合焦位置が上記第一の合焦位置よりも上記撮像素子側にある場合に、上記拡大目領域を上記特定領域として決定するものである。

開示された合焦制御方法は、上記特定領域決定ステップでは、上記拡大目領域の中心を、上記目領域の中心よりも上記顔領域の中心に近づける方向にずらすものである。

開示された合焦制御方法は、上記特定領域決定ステップでは、上記拡大目領域のうち、上記顔領域よりも外側にある部分を上記拡大目領域から除外するものである。

開示された合焦制御プログラムは、光軸方向に移動可能なフォーカスレンズを移動させながら、上記フォーカスレンズの位置毎に、上記フォーカスレンズを通して被写体を撮像する撮像素子により被写体を撮像させ、上記撮像により得られる撮像画像信号に基づいて上記フォーカスレンズの合焦位置を決定する合焦位置決定ステップと、上記撮像素子により被写体を撮像して得られる撮像画像信号に対し顔検出処理を行う顔検出ステップと、上記撮像素子により被写体を撮像して得られる撮像画像信号に対し目検出処理を行う目検出ステップと、任意の時刻において上記撮像素子により撮像して得られた第一の撮像画像信号から上記顔検出ステップにより検出された顔領域と、上記任意の時刻よりも前の時刻において上記撮像素子により撮像して得られた第二の撮像画像信号から上記目検出ステップにより検出された目領域とに基づいて、上記撮像画像信号において合焦させるべき領域を示す特定領域を決定する特定領域決定ステップと、上記撮像画像信号のうちの上記特定領域決定ステップにより決定された特定領域の信号に基づいて上記合焦位置決定ステップにより決定される合焦位置に上記フォーカスレンズを駆動する駆動ステップと、をコンピュータに実行させるためのプログラムである。

本発明は、特にデジタルカメラ等に適用して利便性が高く、有効である。

以上、本発明を特定の実施形態によって説明したが、本発明はこの実施形態に限定されるものではなく、開示された発明の技術思想を逸脱しない範囲で種々の変更が可能である。
本出願は、２０１４年１２月２６日出願の日本特許出願（特願２０１４−２６５８２３）に基づくものであり、その内容はここに取り込まれる。

１ 撮像レンズ（フォーカスレンズ含む）
５ 撮像素子
１１ システム制御部（駆動部）
２０ コントラストＡＦ処理部
３１ 顔検出部
３２ 目検出部
３３ ＡＦ領域決定部（特定領域決定部）
３４ 合焦位置決定部

Claims (18)

1. 光軸方向に移動可能なフォーカスレンズを移動させながら、前記フォーカスレンズの位置毎に、前記フォーカスレンズを通して被写体を撮像する撮像素子により被写体を撮像させ、前記撮像により得られる撮像画像信号に基づいて前記フォーカスレンズの合焦位置を決定する合焦位置決定部と、
   前記撮像素子により被写体を撮像して得られる撮像画像信号に対し顔検出処理を行う顔検出部と、
   前記撮像素子により被写体を撮像して得られる撮像画像信号に対し目検出処理を行う目検出部と、
   任意の時刻において前記撮像素子により撮像して得られた第一の撮像画像信号から前記顔検出部により検出された顔領域と、前記任意の時刻よりも前の時刻において前記撮像素子により撮像して得られた第二の撮像画像信号から前記目検出部により検出された目領域とに基づいて、前記撮像画像信号において合焦させるべき領域を示す特定領域を決定する特定領域決定部と、
   前記撮像画像信号のうちの前記特定領域決定部により決定された特定領域の信号に基づいて前記合焦位置決定部により決定される合焦位置に前記フォーカスレンズを駆動する駆動部と、を備える合焦制御装置。
2. 請求項１記載の合焦制御装置であって、
   前記特定領域決定部は、前記顔領域の外に、前記目領域の中心が存在する場合には、前記顔領域を前記特定領域として決定する合焦制御装置。
3. 請求項１又は２記載の合焦制御装置であって、
   前記特定領域決定部は、前記顔領域の中に、前記目領域の中心が存在する場合には、前記撮像画像信号のうちの前記顔領域の信号に基づいて前記合焦位置決定部により決定される前記フォーカスレンズの第一の合焦位置と、前記撮像画像信号のうちの前記目領域の信号に基づいて前記合焦位置決定部により決定される前記フォーカスレンズの第二の合焦位置と、の比較により、前記顔領域と前記目領域のいずれかを前記特定領域として決定する合焦制御装置。
4. 請求項３記載の合焦制御装置であって、
   前記特定領域決定部は、前記第一の合焦位置と前記第二の合焦位置との差が第一の閾値未満であり、かつ、前記第二の合焦位置が前記第一の合焦位置よりも前記撮像素子側にある場合に、前記目領域を前記特定領域として決定する合焦制御装置。
5. 請求項３又は４記載の合焦制御装置であって、
   前記特定領域決定部は、前記第二の合焦位置が決定不能の場合に、前記撮像画像信号のうちの前記目領域を拡大した拡大目領域の信号に基づいて前記合焦位置決定部により決定される前記フォーカスレンズの第三の合焦位置と、前記第一の合焦位置と、の比較により、前記顔領域と前記拡大目領域のいずれかを前記特定領域として決定する合焦制御装置。
6. 請求項５記載の合焦制御装置であって、
   前記特定領域決定部は、前記第一の合焦位置と前記第三の合焦位置との差が第二の閾値未満であり、かつ、前記第三の合焦位置が前記第一の合焦位置よりも前記撮像素子側にある場合に、前記拡大目領域を前記特定領域として決定する合焦制御装置。
7. 請求項５又は６記載の合焦制御装置であって、
   前記特定領域決定部は、前記拡大目領域の中心を、前記目領域の中心よりも前記顔領域の中心に近づける方向にずらす合焦制御装置。
8. 請求項７記載の合焦制御装置であって、
   前記特定領域決定部は、前記拡大目領域のうち、前記顔領域よりも外側にある部分を前記拡大目領域から除外する合焦制御装置。
9. 請求項１〜８のいずれか１項記載の合焦制御装置と、
   前記撮像素子と、を備える撮像装置。
10. 光軸方向に移動可能なフォーカスレンズを移動させながら、前記フォーカスレンズの位置毎に、前記フォーカスレンズを通して被写体を撮像する撮像素子により被写体を撮像させ、前記撮像により得られる撮像画像信号に基づいて前記フォーカスレンズの合焦位置を決定する合焦位置決定ステップと、
    前記撮像素子により被写体を撮像して得られる撮像画像信号に対し顔検出処理を行う顔検出ステップと、
    前記撮像素子により被写体を撮像して得られる撮像画像信号に対し目検出処理を行う目検出ステップと、
    任意の時刻において前記撮像素子により撮像して得られた第一の撮像画像信号から前記顔検出ステップにより検出された顔領域と、前記任意の時刻よりも前の時刻において前記撮像素子により撮像して得られた第二の撮像画像信号から前記目検出ステップにより検出された目領域とに基づいて、前記撮像画像信号において合焦させるべき領域を示す特定領域を決定する特定領域決定ステップと、
    前記撮像画像信号のうちの前記特定領域決定ステップにより決定された特定領域の信号に基づいて前記合焦位置決定ステップにより決定される合焦位置に前記フォーカスレンズを駆動する駆動ステップと、を備える合焦制御方法。
11. 請求項１０記載の合焦制御方法であって、
    前記特定領域決定ステップでは、前記顔領域の外に、前記目領域の中心が存在する場合には、前記顔領域を前記特定領域として決定する合焦制御方法。
12. 請求項１０又は１１記載の合焦制御方法であって、
    前記特定領域決定ステップでは、前記顔領域の中に、前記目領域の中心が存在する場合には、前記撮像画像信号のうちの前記顔領域の信号に基づいて前記合焦位置決定ステップにより決定される前記フォーカスレンズの第一の合焦位置と、前記撮像画像信号のうちの前記目領域の信号に基づいて前記合焦位置決定ステップにより決定される前記フォーカスレンズの第二の合焦位置と、の比較により、前記顔領域と前記目領域のいずれかを前記特定領域として決定する合焦制御方法。
13. 請求項１２記載の合焦制御方法であって、
    前記特定領域決定ステップでは、前記第一の合焦位置と前記第二の合焦位置との差が第一の閾値未満であり、かつ、前記第二の合焦位置が前記第一の合焦位置よりも前記撮像素子側にある場合に、前記目領域を前記特定領域として決定する合焦制御方法。
14. 請求項１２又は１３記載の合焦制御方法であって、
    前記特定領域決定ステップでは、前記第二の合焦位置が決定不能の場合に、前記撮像画像信号のうちの前記目領域を含み前記目領域よりも大きい拡大目領域の信号に基づいて前記合焦位置決定ステップにより決定される前記フォーカスレンズの第三の合焦位置と、前記第一の合焦位置と、の比較により、前記顔領域と前記拡大目領域のいずれかを前記特定領域として決定する合焦制御方法。
15. 請求項１４記載の合焦制御方法であって、
    前記特定領域決定ステップでは、前記第一の合焦位置と前記第三の合焦位置との差が第二の閾値未満であり、かつ、前記第三の合焦位置が前記第一の合焦位置よりも前記撮像素子側にある場合に、前記拡大目領域を前記特定領域として決定する合焦制御方法。
16. 請求項１４又は１５記載の合焦制御方法であって、
    前記特定領域決定ステップでは、前記拡大目領域の中心を、前記目領域の中心よりも前記顔領域の中心に近づける方向にずらす合焦制御方法。
17. 請求項１６記載の合焦制御方法であって、
    前記特定領域決定ステップでは、前記拡大目領域のうち、前記顔領域よりも外側にある部分を前記拡大目領域から除外する合焦制御方法。
18. 光軸方向に移動可能なフォーカスレンズを移動させながら、前記フォーカスレンズの位置毎に、前記フォーカスレンズを通して被写体を撮像する撮像素子により被写体を撮像させ、前記撮像により得られる撮像画像信号に基づいて前記フォーカスレンズの合焦位置を決定する合焦位置決定ステップと、
    前記撮像素子により被写体を撮像して得られる撮像画像信号に対し顔検出処理を行う顔検出ステップと、
    前記撮像素子により被写体を撮像して得られる撮像画像信号に対し目検出処理を行う目検出ステップと、
    任意の時刻において前記撮像素子により撮像して得られた第一の撮像画像信号から前記顔検出ステップにより検出された顔領域と、前記任意の時刻よりも前の時刻において前記撮像素子により撮像して得られた第二の撮像画像信号から前記目検出ステップにより検出された目領域とに基づいて、前記撮像画像信号において合焦させるべき領域を示す特定領域を決定する特定領域決定ステップと、
    前記撮像画像信号のうちの前記特定領域決定ステップにより決定された特定領域の信号に基づいて前記合焦位置決定ステップにより決定される合焦位置に前記フォーカスレンズを駆動する駆動ステップと、をコンピュータに実行させるための合焦制御プログラム。

Images