JP2008109315A - 撮像装置及びその制御方法及びプログラム及び記憶媒体 - Google Patents

Abstract

【課題】顔の検出精度を低下させることなく、顔の位置の検出結果の、実際の顔の位置に対する追従性を向上させる。
【解決手段】画像を表示する表示部を有する撮像装置であって、画像信号から人物の顔の位置を検出する顔検出部と、顔検出部により検出された顔の位置を表示部に表示させる表示制御部と、撮像装置の撮像動作前に行う顔検出動作と、記憶部に記憶されている画像を再生するときに行う顔検出動作とで、顔検出部に異なる顔検出動作を行わせる制御部と、を具備する。
【選択図】図４

Description

本発明は、画像データから識別対象、詳しくは、人物の顔の位置を特定する技術に関するものである。

識別対象としての条件を満たす対象物（以下、主被写体という）の特徴データを予め登録し、これと照合することで、画像データからこの対象物を識別する技術が知られている。

例えば、特許文献１では、予め登録された顔の画像データと識別対象となる画像データとの相関値を計算することで、顔が存在する領域を特定する方法が開示されている。

また、特許文献２では、画像データを周波数帯域別に複数に分割して顔が存在する可能性が高いと推定される領域を限定し、限定した領域に対して予め登録された顔画像データとの相関値を計算する方法が開示されている。

これらの技術をカメラに応用した例を説明する。

特許文献３では、画像データから形状解析等の手法によって主被写体を自動的に検出し、検出された主被写体に対して焦点検出エリアを表示する。そして、この焦点検出エリアに対して焦点調節動作を行わせる方法が開示されている。

また、特許文献４では、画像データから特徴点を抽出することで主被写体である顔の存在する領域を識別し、この領域の大きさに応じて焦点検出エリアを設定する方法が開示されている。

また、特許文献５では、画像データから特徴点を抽出することで顔の存在する領域を識別し、この領域の大きさに応じてズーム駆動を行う方法が開示されている。

また、特許文献６では、撮影前に顔位置を検出し、撮影直後に、検出された顔位置に枠を表示すると共に、顔を拡大表示させ、顔にピントが合っているかを確認できる方法が開示されている。
特開平０９−２５１５３４号公報 特開平１０−１６２１１８号公報 特開２００３−１０７３３５号公報 特開２００４−３１７６９９号公報 特開２００４−３２０２８６号公報 特開２００５−３２３０１５号公報

ところで、いわゆるコンパクトタイプのデジタルカメラでは、撮影時にカメラ背面の液晶表示器に逐次画像を表示するライブビュー表示を行い、液晶表示器を電子ビューファインダとして使用するものが主流である。このようなカメラでは、ライブビュー表示を行っている間、撮像素子で取り込んだ画像データから常時顔検出を行ない、顔が存在する領域を枠で囲むなどして表示し、使用者が顔の識別結果を確認できるようにしている。ところが、撮像素子で取り込んだ画像データから顔の位置を高精度に検出しようとするとその処理に時間がかかる。そのため、顔検出処理が終わって枠を表示する時点では、既に人物が画面上の他の位置に移動してしまっていて、枠の位置と人物の実際の顔の位置が一致しない場合がある。すなわち枠の表示位置が、人物の顔の動きに追従しない場合がある。このような場合、カメラは枠を表示した位置に人物の顔があると判断するため、実際には人物の顔が存在しない枠の位置に露出やフォーカスを合わせる処理をしてしまい、露出やフォーカスが狂ってしまうことがある。また、表示された枠の位置が実際の人物の顔の位置に一致せず、使用者が違和感を感じるという問題もある。

従って、本発明は上述した課題に鑑みてなされたものであり、その目的は、顔の検出精度を低下させることなく、顔の位置の検出結果の、実際の顔の位置に対する追従性を向上させることである。

上述した課題を解決し、目的を達成するために、本発明に係わる撮像装置は、画像を表示する表示手段を有する撮像装置であって、画像信号から目的とする対象の位置を検出する検出手段と、前記検出手段により検出された前記対象の位置を前記表示手段に表示させる表示制御手段と、前記撮像装置の撮像動作前に行う検出動作と、記憶手段に記憶されている画像を再生するときに行う検出動作とで、前記検出手段に異なる検出動作を行わせる制御手段と、を具備することを特徴とする。

また、本発明に係わる撮像装置の制御方法は、画像を表示する表示手段を有する撮像装置を制御する方法であって、画像信号から目的とする対象の位置を検出する検出工程と、前記検出工程において検出された前記対象の位置を前記表示手段に表示させる表示制御工程と、前記検出工程において、前記撮像装置の撮像動作前に行う検出動作と、記憶手段に記憶されている画像を再生するときに行う検出動作とを異ならせる制御工程と、を具備することを特徴とする。

また、本発明に係わるプログラムは、上記の制御方法をコンピュータに実行させることを特徴とする。

また、本発明に係わる記憶媒体は、上記のプログラムを記憶したことを特徴とする。

本発明によれば、顔の検出精度を低下させることなく、顔の位置の検出結果の、実際の顔の位置に対する追従性を向上させることが可能となる。

以下、本発明の好適な実施形態について、添付図面を参照して詳細に説明する。

尚、以下に説明する実施の形態は、本発明の実現手段としての一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。

（第１の実施形態）
図１は、本発明の第１の実施形態に係る撮像装置１００の構成を示すブロック図である。本実施形態では、主被写体の識別領域（具体的には人物の顔領域）を表示する機能を有する機器として、デジタルカメラを例にあげて説明を行うが、動画を処理するものであればビデオカメラや監視カメラ等の他の装置であってもよい。

図１において、１０１は後述の撮像素子１０３に被写体像を結像させる対物レンズ群、１０２は絞り装置及びシャッタ装置を備えた光量調節装置である。１０３は対物レンズ群１０１によって結像された被写体像を電気信号に変換するＣＣＤやＣＭＯＳセンサ等の撮像素子である。１０４は撮像素子１０３のアナログ出力信号にクランプ処理、ゲイン処理等を行うアナログ信号処理回路である。１０５はアナログ信号処理回路１０４の出力をデジタル信号に変換するアナログ／デジタル（以下、Ａ／Ｄという）変換器である。Ａ／Ｄ変換器１０５から出力された画像データは後述のデジタル信号処理回路１０７とメモリ制御回路１０６を介して、あるいは、直接メモリ制御回路１０６を介してメモリ１０８に書き込まれる。

１０７はデジタル信号処理回路であり、Ａ／Ｄ変換器１０５からのデータ或いはメモリ制御回路１０６からのデータに対して画素補間処理や色変換処理を行う。また、デジタル信号処理回路１０７はＡ／Ｄ変換器１０５からのデータを用いて被写体の合焦状態を示す値や、輝度値の演算、および、ホワイトバランスの調節を行う。

このデジタル信号処理回路１０７には、主被写体の特徴データを予め登録し、特徴データと照合することで、画像データからこの主被写体を識別する被写体識別回路１１５が搭載されている。本実施形態では、被写体識別回路１１５はＡ／Ｄ変換器１０５からのデータ、あるいは、メモリ１０８に書き込まれたデータから、特徴データとして登録された目や口等の顔の特徴部を検出することで、人間の顔が存在する領域を識別する。本実施形態では主被写体である人間の顔が存在する領域の位置を識別領域としている。

システム制御回路１１２はデジタル信号処理回路１０７の演算結果に基づいて、露出制御回路１１３、焦点制御回路１１４に対する制御を実行する。具体的には対物レンズ群１０１を通過した被写体像を用いた焦点制御処理、露出制御処理、調光処理を行う。またシステム制御回路１１２は、被写体識別回路１１５の識別結果をもとに、識別領域を示す被写界枠の表示を制御する表示制御回路１１７を有している。

メモリ制御回路１０６は、アナログ信号処理回路１０４、Ａ／Ｄ変換器１０５、デジタル信号処理回路１０７、メモリ１０８、デジタル／アナログ（以下、Ｄ／Ａとする）変換器１０９を制御する。Ａ／Ｄ変換器１０５でＡ／Ｄ変換されたデータはデジタル信号処理回路１０７、メモリ制御回路１０６を介して、或いはＡ／Ｄ変換器１０５でＡ／Ｄ変換されたデータが直接メモリ制御回路１０６を介して、メモリ１０８に書き込まれる。

メモリ１０８には表示装置１１０に表示するデータが書き込まれ、メモリ１０８に書き込まれたデータはＤ／Ａ変換器１０９を介して後述する表示装置１１０によって表示される。また、メモリ１０８は、撮像した静止画あるいは動画を格納する。また、このメモリ１０８はシステム制御回路１１２の作業領域としても使用することが可能である。

１１０は撮影によって得られた画像データから生成した画像を表示する液晶モニターからなる表示装置であり、撮像素子１０３を用いて得られた被写体像を逐次表示すれば電子的なファインダとして機能する。この表示装置１１０は、システム制御回路１１２の指示により任意に表示のオンとオフを切り換えることができ、表示をオフにした場合は、オンにした場合に比較して撮像装置１００の電力消費を低減できる。また、表示装置１１０はシステム制御回路１１２からの指令に応じて文字、画像等を用いて撮像装置１００の動作状態やメッセージ等を表示する。

１１１はメモリカードやハードディスク等の外部記憶媒体や、他のコンピュータやプリンタ等の周辺機器との間で画像データや画像データに付属した管理情報を転送し合うためのインターフェースである。このインターフェース１１１をＰＣＭＣＩＡカードやＣＦ（コンパクトフラッシュ（登録商標））カード等の規格に準拠したものを用いて構成した場合、各種通信カードを接続すればよい。この各種通信カードとしては、ＬＡＮカードやモデムカード、ＵＳＢカード、ＩＥＥＥ１３９４カード、Ｐ１２８４カード、ＳＣＳＩカード、ＰＨＳ等の通信カード、等があげられる。

１１６は姿勢検知回路であり、撮像装置１００の姿勢を検知してシステム制御回路１１２に検知結果を出力する。

システム制御回路１１２は撮像装置１００全体の動作を制御している。システム制御回路１１２内の不図示のメモリに、このシステム制御回路１１２の動作用の定数、変数、プログラム等を記憶している。

露出制御回路１１３は、光量調節装置１０２の絞り装置、シャッタ装置を駆動する。焦点制御回路１１４は対物レンズ群１０１のフォーカシングレンズ、ズームレンズを駆動する。

図２は、デジタル信号処理回路１０７の構成要素の一部を示す図である。

２０１はＡ／Ｄ変換器１０５から出力された画像データのＲＧＢ信号から輝度信号Ｙと色差信号Ｃｒ、Ｃｂを分離して生成する色変換回路である。

２０２は色差信号Ｃｒ、Ｃｂに対してホワイトバランス処理、高輝度或いは低輝度の色を薄くする色消し処理を行う色処理回路である。

２０３は輝度信号にフィルタ処理、輝度補正処理、ガンマ処理等を行う輝度処理回路である。

２０４は輝度信号にフィルタ処理を施して輪郭強調を行う輪郭強調回路である。

２０５は輝度処理を施した後の輝度信号から高周波信号を抜き出すためのバンドパスフィルタ（ＢＰＦ）、あるいはハイパスフィルタ（ＨＰＦ）である。

２０６は撮像時のシーン変化を検出するシーン検出回路である。

デジタル信号処理回路１０７は輝度信号Ｙと色差信号Ｃｒ、Ｃｂを合成したＹＣｒＣｂ信号を画像データとして出力する。

以下、図３乃至図７のフローチャートを参照して、本実施形態に係るデジタルカメラの動作について説明する。尚、この処理を実行するプログラムはシステム制御回路１１２内のメモリに記憶されており、システム制御回路１１２の制御の下に実行される。

図３は本実施形態に係る撮像装置１００におけるメイン処理での動作を説明するためのフローチャートである。

この処理は、例えば電池交換後などの電源投入により開始される。

ステップＳ１０１では、システム制御回路１１２は、内部のメモリの各種フラグや制御変数等を初期化する。

ステップＳ１０２では、システム制御回路１１２は、表示装置１１０の画像表示をオフに初期設定する。

ステップＳ１０３では、システム制御回路１１２は、電源の残容量や動作情況が撮像装置１００の動作に問題があるか否かを判断する。システム制御回路１１２は、問題があると判断するとステップＳ１０５に進み、表示装置１１０を用いて、画像や音声により所定の警告表示を行い、その後、ステップＳ１０３に戻る。また、システム制御回路１１２は電源に問題が無いと判断するとステップＳ１０４に進む。

ステップＳ１０４では、システム制御回路１１２は、記憶媒体の動作状態が撮像装置１００の動作、特に記憶媒体に対するデータの記録再生動作に問題があるか否かを判断する。システム制御回路１１２は問題があると判断すると前述のステップＳ１０５に進み、表示装置１１０を用いて、画像や音声により所定の警告表示を行った後にステップＳ１０３に戻る。また、システム制御回路１１２は記憶媒体の動作に問題が無いと判断するとステップＳ１０６に進む。

ステップＳ１０６では、システム制御回路１１２は、表示装置１１０を用いて、画像や音声により撮像装置１００の各種設定状態のユーザーインターフェース（以下、ＵＩとする）表示を行う。尚、表示装置１１０の画像表示がオンであったならば、表示装置１１０も用いて画像や音声により撮像装置１００の各種設定状態のＵＩ表示を行ってもよい。こうしてユーザーによる各種設定がなされる。

ステップＳ１０７では、システム制御回路１１２は、表示装置１１０の画像表示をオンに設定する。

ステップＳ１０８では、システム制御回路１１２は、撮像素子１０３にて得られた画像データをもとに生成した画像を逐次表示する観察（ライブビュー）表示状態に設定する。この観察表示状態では、メモリ１０８に逐次書き込まれたデータを表示装置１１０により逐次表示することにより、表示装置１１０が電子的なファインダとして機能する。

ステップＳ１０９では、システム制御回路１１２は、得られた画像データをもとに焦点制御処理および露出制御処理を行う。このときに顔が存在する領域（以下、顔領域という）である識別領域に関する情報を得ていれば、識別領域を優先して焦点制御処理および露出制御処理を行う。

ステップＳ１１０では、システム制御回路１１２は、顔検出レベルを１に設定する。

ステップＳ１１１では、システム制御回路１１２は、被写体識別回路１１５に画像データから顔領域を識別する顔識別処理を行わせる。顔検出処理の詳細は後述する。なお、ここで行われる顔検出処理は、後述するように、例えば主たる被写体と考えられる人物の顔に露出を合わせたり、フォーカスを合わせたりするために行われるものである。

ステップＳ１１２では、システム制御回路１１２は、被写体識別回路１１５による識別結果を受けて、デジタル信号処理回路１０７に識別領域を示す識別表示を表示する処理を行わせる。

本実施形態では、図７のように顔の位置する部分に識別表示として枠を表示する形態としている。本実施形態では、顔の大きさにあわせて、顔を囲むように四角い枠を表示している。

ステップＳ１１３では、システム制御回路１１２は、シャッタースイッチＳＷ１が押されているかどうかを調べ、押されていなければステップＳ１０３に戻るが、シャッタースイッチＳＷ１が押されたならばステップＳ１１４に進む。なお、シャッタースイッチＳＷ１は、不図示のレリーズボタンを半押しすることによりＯＮするスイッチである。

ステップＳ１１４では、システム制御回路１１２は、識別領域の輝度値が適正となるように、あるいは、識別領域の重み付けを他の領域よりも大きくして画面全体としての輝度値が適正となるように露出制御回路１１３に露出制御を行わせる。

このときの露出制御の結果に応じて、必要であれば不図示の閃光装置を撮影時に発光させることを決定する。また、肌の色の影響によってホワイトバランスが不適切となることを防止するため、識別領域を除外して、あるいは、重み付けを他の領域よりも小さくしてホワイトバランスの調節を行う。さらに、識別領域が合焦状態になるように焦点制御回路１１４に焦点制御を行わせる。

ステップＳ１１５では、システム制御回路１１２は、シャッタースイッチＳＷ２が操作されるまで観察表示状態を継続する。なお、シャッタースイッチＳＷ２は、不図示のレリーズボタンを全押しすることによりＯＮするスイッチである。

ステップＳ１１６では、システム制御回路１１２は、シャッタースイッチＳＷ２が押されているかどうかを調べ、押されていなければステップＳ１１７に進み、シャッタースイッチＳＷ２が押されていればステップＳ１１８に進む。

ステップＳ１１７では、システム制御回路１１２は、シャッタースイッチＳＷ１が押されているかどうかを調べ、押されていなければステップＳ１０３に戻り、シャッタースイッチＳＷ１が押されていればステップＳ１１６に戻る。

ステップＳ１１８では、システム制御回路１１２は撮像した画像データをメモリ１０８に書き込む撮影処理を行う。露出制御回路１１３はステップＳ１１４の露出制御結果に従い絞り装置を駆動し、シャッタを開放して撮像素子１０３を露光する。必要に応じて閃光装置を発光させ、設定された露光時間が経過したところでシャッタを閉じる。撮像素子１０３から出力された電荷信号はＡ／Ｄ変換器１０５、デジタル信号処理回路１０７、メモリ制御回路１０６を介して保存用の画像データとしてメモリ１０８に書き込まれる。さらにシステム制御回路１１２はメモリ制御回路１０６、デジタル信号処理回路１０７を用いて、メモリ１０８に書き込まれた保存用の画像データを読み出して垂直加算処理を実行させる。デジタル信号処理回路１０７に色処理を順次行わせ、表示用の画像データを生成し、再びメモリ１０８に書き込ませる。

ステップＳ１１９では、システム制御回路１１２は、顔検出レベルを２に設定する。

ステップＳ１２０では、システム制御回路１１２は、被写体識別回路１１５に画像データから顔領域を識別する顔識別処理を行わせる。顔検出処理の詳細は後述する。ここで行われる顔検出処理の結果は、例えば、ストロボ撮影時に赤目現象が起こってしまった場合に、人物の目の位置を正確に特定するための情報として用いられる。そのため顔の位置検出の精度が要求される。あるいは、人物又は特定の人物の写っている写真を分類するための情報として用いてもよい。

ステップＳ１２１では、システム制御回路１１２は、被写体識別回路１１５による識別結果を受けて、デジタル信号処理回路１０７に識別領域を示す識別表示を表示する処理を行わせる。

本実施形態では、図７のように顔の位置する部分に枠を表示する形態としている。

ステップＳ１２２では、表示装置１１０にて、ステップＳ１１８にて得られた表示用の画像データを用いて撮影した画像の表示を行う。

ステップＳ１２３では、システム制御回路１１２は、メモリ１０８に書き込まれた保存用の画像データを読み出して、メモリ制御回路１０６、及び必要に応じてデジタル信号処理回路１０７を用いて各種画像処理を実行させる。また、システム制御回路１１２は、画像圧縮処理を行わせた後、記憶媒体へ圧縮した保存用の画像データの書き込みを行う記録処理を実行する。このとき、ステップＳ１２０にて識別した顔領域の位置情報も画像データとともに書き込む。

ステップＳ１２４では、システム制御回路１１２は、設定された表示時間が経過するのを待ってステップＳ１２５に進む。

ステップＳ１２５では、システム制御回路１１２は表示装置１１０を観察表示状態に設定してステップＳ１０３に戻る。これにより、表示装置１１０で撮影した画像を確認した後に、次の撮影のための観察表示状態にすることができる。

次に、本実施形態の特徴である図３のステップＳ１１１、ステップＳ１２０における顔検出の処理について説明する。

顔領域を検出する技術としては、様々な手法が公知となっている。例えば、ニューラルネットワークに代表される学習を用いた方法がある。また、目、鼻、口、および、顔の輪郭といった物理的な形状の特徴のある部位を画像データからテンプレートマッチングを用いて識別する手法がある。他にも、肌の色や目の形といった画像データの特徴量を検出し統計的解析を用いた手法があげられる（例えば、特開平１０−２３２９３４号公報や特開２０００−４８１８４号公報等を参照）。さらに、直前の顔領域が検出された位置の近傍であるかを判定したり、服の色を加味するために顔領域の近傍の色を判定したり、あるいは、画面の中央付近ほど顔識別のための閾値を低く設定したりする方法がある。または予め主被写体が存在する領域を指定させてヒストグラムや色情報を記憶し、相関値を求めることで主被写体を追尾する方法がある。本実施形態では、その形状から一対の目（両目）、鼻、口、および、顔の輪郭を検出し、これらの相対位置より人物の顔領域を決定する手法により顔領域の識別処理を行っている。そして検出された顔領域の大きさに沿って、この顔領域を囲む方形領域を設定し、この方形領域の座標を求める。この顔領域を囲む方形領域の座標が、対象となる主被写体の位置を示す識別領域となる。なお、顔領域を囲む領域は方形に限定されるものではなく、楕円などの他の形状や、検出された顔の輪郭に沿う形状であっても構わない。

また、図８は、本実施形態での画像データを説明する図である。

Ｘ方向に３０００画素、Ｙ方向に２０００画素の光電変換部を有する撮像素子を用いている。

図４は、本実施形態における顔検出処理の動作を説明するためのフローチャートである。

図４に記載する顔検出処理では、顔検出レベルに応じて、顔検出範囲を切り替えている。

ステップＳ２０１では、システム制御回路１１２は、顔検出レベルが１か否かを判別し、顔検出レベルが１であれば、ステップＳ２０２に進み、顔検出レベルが１でなければ、ステップＳ２２０に進む。なお、本実施形態では、図３で示したように、顔検出レベルが１でない場合は、顔検出レベルは２である。

ステップＳ２０２からステップＳ２０３では、顔検出レベルが１の場合の、顔検出範囲の設定を行う。

顔検出レベルが１の場合の顔検出範囲は、図９の太線で囲まれた範囲としている。

ステップＳ２０２では、システム制御回路１１２は、顔検出範囲の始点座標（Ｘ１、Ｙ１）の設定を行う。

詳しくは、Ｘ１＝９９９、Ｙ１＝４９９とする（図９参照）。

ステップＳ２０３では、システム制御回路１１２は、顔検出範囲の終点座標（Ｘ２、Ｙ２）の設定を行う。

詳しくは、Ｘ２＝１９９９、Ｙ２＝１４９９とする（図９参照）。

ステップＳ２０４では、システム制御回路１１２は、特徴抽出の始点座標（Ｘ、Ｙ）の設定を行う。

詳しくは、Ｘ＝Ｘ１、Ｙ＝Ｙ１とする。

ステップＳ２０５では、システム制御回路１１２は、特徴抽出領域の設定を行う。

詳しくは、ステップＳ２０４で指定された特徴抽出領域の始点座標を基に、Ｘ方向に所定画素α分、Ｙ方向に所定画素β分の領域が設定される（図１０参照）。

ステップＳ２０６では、システム制御回路１１２は、指定された領域に対する特徴抽出を行なう。

ステップＳ２０７では、システム制御回路１１２は、特徴抽出の始点座標（Ｘ、Ｙ）の更新を行う。

詳しくは、Ｘ＝Ｘ＋１の計算を行う。このとき、Ｘ＋α＞Ｘ２となった時は、Ｘ＝Ｘ１とすると共に、Ｙ＝Ｙ＋１の計算を行う。

ステップＳ２０８では、システム制御回路１１２は、特徴抽出領域の設定を行う。

詳しくは、ステップＳ２０７で指定された特徴抽出領域の始点座標を基に、Ｘ方向に所定画素α分、Ｙ方向に所定画素β分の領域が設定される（図１０参照）。

このようにすることで、図１０で太線で囲まれた範囲内で、矢印で示すように特徴抽出領域が移動していき、太線で囲まれた領域の全範囲について特徴抽出処理が行われる。

ステップＳ２０９では、システム制御回路１１２は、Ｘ＋α＞Ｘ２、かつ、Ｙ＋β＞Ｙ２の条件を満たすかを判定することで顔検出範囲全体について特徴抽出が終了したか否かの判定を行う。終了していなければステップＳ２０６に戻り、終了した場合は、ステップＳ２１０に進み顔検出処理を終了する。

ステップＳ２２０では、システム制御回路１１２は、顔検出範囲の始点座標（Ｘ１、Ｙ１）の設定を行う。

詳しくは、Ｘ１＝０、Ｙ１＝０とする（図１１参照）。

ステップＳ２２１では、システム制御回路１１２は、顔検出範囲の終点座標（Ｘ２、Ｙ２）の設定を行う。

詳しくは、Ｘ２＝２９９９、Ｙ２＝１９９９とする（図１１参照）。

すなわち、本実施形態では、顔検出レベルが２の場合の顔検出範囲は、図１１に示すように画面全体とする。

ステップＳ２２２では、システム制御回路１１２は、特徴抽出の始点座標（Ｘ、Ｙ）の設定を行う。

詳しくは、Ｘ＝Ｘ１、Ｙ＝Ｙ１とする。

ステップＳ２２３では、システム制御回路１１２は、特徴抽出領域の設定を行う。

詳しくは、ステップＳ２２２で指定された特徴抽出領域の始点座標を基に、Ｘ方向に所定画素α分、Ｙ方向に所定画素β分の領域が設定される（図１２参照）。

ステップＳ２２４では、システム制御回路１１２は、指定された領域に対する特徴抽出を行う。

ステップＳ２２５では、システム制御回路１１２は、特徴抽出の始点座標（Ｘ、Ｙ）の更新を行う。

詳しくは、Ｘ＝Ｘ＋１の計算を行う。このとき、Ｘ＋α＞Ｘ２となった時は、Ｘ＝Ｘ１とすると共に、Ｙ＝Ｙ＋１の計算を行う。

ステップＳ２２６では、システム制御回路１１２は、特徴抽出領域の設定を行う。

詳しくは、ステップＳ２０７で指定された特徴抽出領域の始点座標を基に、Ｘ方向に所定画素α分、Ｙ方向に所定画素β分の領域が設定される（図１２参照）。

このようにすることで、図１２で太線で囲まれた範囲内（本実施形態では画面全体）で、矢印で示すように特徴抽出領域が移動していき、太線で囲まれた領域の全範囲について特徴抽出処理が行われる。

ステップＳ２２７では、システム制御回路１１２は、Ｘ＋α＞Ｘ２、かつ、Ｙ＋β＞Ｙ２の条件を満たすかを判定することで顔検出範囲の特徴抽出が終了したか否かの判定を行う。終了していなければステップＳ２２４に戻り、終了した場合は、ステップＳ２１０に進み顔検出を終了する。なお、ある大きさの特徴抽出領域で顔検出範囲における特徴抽出が終了したら、αとβの値を異ならせて特徴抽出領域の大きさを変更し、再び顔検出範囲における特徴抽出を行う構成としてもよい。

以上説明したように、本実施形態では、撮影動作の前の顔検出動作、詳しくは、待機状態（ライブビュー表示時）での顔検出動作では、ステップＳ１１０で顔検出レベルを１に設定し、次のステップＳ１１１で顔検出を行う。ステップＳ１１１で行う顔検出では、図９及び図１０に示すように、顔検出範囲が中央付近に制限される。また、撮影動作の後の顔検出動作、詳しくは、撮影した画像（画像再生時）での顔検出動作では、ステップＳ１１９で顔検出レベルを２に設定し、次のステップＳ１２０で顔検出を行う。ステップＳ１２０で行う顔検出では、図１１及び図１２に示すように、顔検出範囲の制限は行わない。

撮影動作の前の状態で人物が動いている場合に、顔検出動作の処理に時間を要してしまうと、顔検出処理にて顔領域の位置を特定できたときには、実際の顔の位置がずれてしまい、顔領域の位置を利用した焦点制御処理や露出制御処理が有効に機能しなくなってしまう可能性が高くなる。そこで、撮影動作の前の顔検出動作、詳しくは、待機状態（ライブビュー表示時）での顔検出動作では、顔検出範囲を制限することで処理時間を短縮し、顔検出の、人物の顔の移動への追従性を向上させている。また、撮影動作の後の顔検出動作、詳しくは、撮影した画像（画像再生時）での顔検出動作では、上記のような問題が生じないため、顔検出範囲の制限をかけずに検出漏れの少ない顔検出結果が得られるようにしている。このように本実施形態では、顔検出に要する処理時間を優先するか、顔検出漏れの抑制を優先するかに応じて、顔検出範囲の面積を異ならせている。

（第２の実施形態）
以下、顔検出処理の第２の実施形態について説明する。なお、撮像装置の構成及び撮像装置のメインの動作は、図１及び図３に示した第１の実施形態と同様であるので説明を省略する。

図５は、第２の実施形態における顔検出処理の動作を説明するためのフローチャートである。

ステップＳ３０１では、システム制御回路１１２は、顔検出レベルが１か否かを判別し、顔検出レベルが１であれば、ステップＳ３０２に進み、顔検出レベルが１でなければ、ステップＳ３１０に進む。

ステップＳ３０２では、システム制御回路１１２は、特徴抽出用の画像データを生成する。画像データを生成する際、生成されるサイズを小さくするために画素間引き処理を行う。

ステップＳ３０３では、システム制御回路１１２は、前述したステップＳ３０２で生成された画像データを用いて特徴抽出を行う。特徴抽出の方法は、第１の実施形態と同様である。

ステップＳ３１０では、システム制御回路１１２は、特徴抽出用の画像データを生成する。画像データを生成する際、画素間引き処理は行わない。

ステップＳ３１１では、システム制御回路１１２は、前述したステップＳ３１０で生成された画像データを用いて特徴抽出を行う。特徴抽出の方法は、第１の実施形態と同様である。

以上説明したように、本実施形態では、撮影動作の前の顔検出動作、詳しくは、待機状態（ライブビュー表示時）での顔検出動作では、ステップＳ１１０で顔検出レベルを１に設定し、次のステップＳ１１１で顔検出を行う。ステップＳ１１１で行う顔検出では、画素間引き処理を行った画像データを生成し（ステップＳ３０２）、特徴抽出を行う（ステップＳ３０３）。また、撮影動作の後の顔検出動作、詳しくは、撮影した画像（画像再生時）での顔検出動作では、ステップＳ１１９で顔検出レベルを２に設定し、次のステップＳ１２０で顔検出を行う。ステップＳ１２０で行う顔検出では、画素間引き処理をしていない画像データを生成し（ステップＳ３１０）、特徴抽出を行う（ステップＳ３１１）。

このように、撮影動作の前の顔検出動作、詳しくは、待機状態での顔検出動作では、画素間引き処理が行なわれている画像データを用いるので顔検出動作で扱うデータ量を減少させることができる。このため処理時間を短縮できるので、顔検出の、人物の顔の移動への追従性を向上させることができる。

また、撮影動作の後の顔検出動作、詳しくは、撮影した画像（画像再生時）での顔検出動作では、画素間引き処理が行なわれていない画像データを用いるので、撮影動作前よりも小さな顔を検出することが可能になり、精度の高い顔検出結果が得られる。このように顔検出に要する処理時間を優先するか、精度を優先するかに応じて、顔検出動作に用いる画像データの画素数を異ならせている。

（第３の実施形態）
以下、顔検出処理の第３の実施形態について説明する。なお、撮像装置の構成及び撮像装置のメインの動作は、図１及び図３に示した第１の実施形態と同様であるので説明を省略する。

図６は、第３の実施形態における顔検出処理の動作を説明するためのフローチャートである。鼻、口、および、顔の輪郭を検出して顔領域を検出する方法では、画像データ中の顔が傾いていると、これらの特徴のある部位を識別できない場合がある。そこで検出漏れを少なくするためには、顔領域の検出対象となる画像データを少しずつ回転させながら顔領域の検出を行う方法が考えられる。

ステップＳ４０１では、システム制御回路１１２は、顔検出レベルが１か否かを判別し、顔検出レベルが１であれば、ステップＳ４０２に進み、顔検出レベルが１でなければ、ステップＳ４１０に進む。

ステップＳ４０２では、システム制御回路１１２は、顔の傾き角度の検出範囲の設定を行う。

詳しくは、−４５度から＋４５度とする。

ステップＳ４０３では、システム制御回路１１２は、−４５度分だけ画像を回転させる。

ステップＳ４０４では、システム制御回路１１２は、特徴抽出を行う。特徴抽出の方法は、第１の実施形態と同様である。

ステップＳ４０５では、システム制御回路１１２は、＋５度分だけ画像を回転させる。

ステップＳ４０６では、システム制御回路１１２は、＋４５度まで検出が終了したか否かを判別し、終了した場合は、ステップＳ４０７に進み、終了していなければ、ステップＳ４０４に戻る。

ステップＳ４１０では、システム制御回路１１２は、顔の傾き角度の検出範囲の設定を行う。

詳しくは、−１８０度から＋１８０度とする。

ステップＳ４１１では、システム制御回路１１２は、−１８０度分だけ画像を回転させる。

ステップＳ４１２では、システム制御回路１１２は、特徴抽出を行う。特徴抽出の方法は、第１の実施形態と同様である。

ステップＳ４１３では、システム制御回路１１２は、＋５度分だけ画像を回転させる。

ステップＳ４１４では、システム制御回路１１２は、＋１８０度まで検出が終了したか否かを判別し、終了した場合は、ステップＳ４０７に進み、終了していなければ、ステップＳ４１２に戻る。

以上説明したように、本実施形態では、撮影動作の前の顔検出動作、詳しくは、待機状態（ライブビュー表示時）での顔検出動作では、ステップＳ１１０で顔検出レベルを１に設定し、次のステップＳ１１１で顔検出を行う。ステップＳ１１１で行う顔検出では、顔の傾きの検出範囲が−４５度から＋４５度に制限されて（ステップＳ４０２）、特徴抽出を行う（ステップＳ４０４）。また、撮影動作の後の顔検出動作、詳しくは、撮影した画像（画像再生時）での顔検出動作では、ステップＳ１１９で顔検出レベルを２に設定し、次のステップＳ１２０で顔検出を行う。ステップＳ１２０で行う顔検出では、顔の傾きの検出範囲は制限されず、−１８０度から＋１８０度にて（ステップＳ４１０）、特徴抽出を行う（ステップＳ４１２）。

このように、撮影動作の前の顔検出動作、詳しくは、待機状態での顔検出動作では、顔の傾きの検出範囲を制限することで処理時間を短縮できるので、顔検出の、人物の顔の移動への追従性が向上できる。

また、撮影動作の後の顔検出動作、詳しくは、撮影した画像での顔検出動作では、顔の傾きの検出範囲の制限をかけないので、精度の高い顔検出結果が得られる。

（第４の実施形態）
以上説明した実施形態では、撮影動作の前、詳しくは、待機状態での顔検出動作と、撮影動作後の顔検出動作とを、カメラが自動的に切り替える形態であったが、メニュー等の設定で、ユーザーが任意に切り替えられるようにしてもよい。

（他の実施形態）
上記の実施形態では、撮影動作の前に行われる顔検出動作と、撮影直後に画像データを表示する際に行われる顔検出動作とで、顔検出レベルを異ならせるものを例にあげて説明を行ったが、これに限られるものではない。撮影動作とは無関係に、記憶媒体に記憶された画像データを読み出して任意の画像データを表示する再生モードで行われる顔検出動作の顔検出レベルを２とし、待機状態における顔検出レベルを１としてもよい。撮影直後や再生モードでは、リアルタイムで顔検出結果を得る必要がなく、焦点制御処理や露出制御処理に影響を与えるといった撮影動作の前の顔検出動作における課題が生じないためである。したがって、撮影直後や再生モードが設定された状態では、顔検出動作に要する時間よりも精度を優先したほうが望ましい。

また、検出対象として人物の顔を例にあげて説明を行ったがこれに限られるわけではない。例えば第１の実施形態では検出範囲の面積を異ならせるものであるため、例えば所定の色条件を満たす領域を目的とする対象として検出する方法や、所定の輝度条件を満たす領域を目的とする対象として検出する方法であっても適用することが可能である。第２、第３の実施形態では、目的とする対象の解像度や向きによって検出時間や検出精度に影響を与えるような、例えば、所定の形状条件を満たす領域を目的とする対象として検出方法であれば適用することが可能である。目的とする対象は人物の顔に限られるわけではなく、検出する目的に応じて特定の個人に限定したり、子供に限定したり、あるいは、人間以外の動物とすることも可能である。

また、顔検出レベルの設定方法として、検出範囲の面積、画素数、および、被写体の傾きの許容範囲を例にあげて説明したが、他の方法も考えられる。例えば、検出対象である顔として認識するために必要な条件の数を異ならせる方法や、検出可能な顔のサイズの上限値や下限値を異ならせる方法も考えられる。

また、各実施形態の目的は、次のような方法によっても達成される。すなわち、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給する。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行する。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、本発明には次のような場合も含まれる。すなわち、プログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される。

さらに、次のような場合も本発明に含まれる。すなわち、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される。

本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明した手順に対応するプログラムコードが格納されることになる。

本発明の第１の実施形態における撮像装置の構成を示すブロック図である。 本発明の第１の実施形態における撮像装置のデジタル信号処理回路の構成要素の一部を示す図である。 本発明の第１の実施形態におけるメイン処理ルーチンでの動作を説明するためのフローチャートである。 本発明の第１の実施形態における顔検出の動作を説明するためのフローチャートである。 本発明の第２の実施形態における顔検出の動作を説明するためのフローチャートである。 本発明の第３の実施形態における顔検出の動作を説明するためのフローチャートである。 識別領域の表示例を示す図である。 画像データを示す図である。 本発明の第１の実施形態における顔検出範囲を示す図である。 本発明の第１の実施形態における顔検出範囲と特徴抽出領域の位置の関係を示す図である。 本発明の第１の実施形態における顔検出範囲を示す図である。 本発明の第１の実施形態における顔検出範囲と特徴抽出領域の位置の関係を示す図である。

符号の説明

１００ 撮像装置
１０１ 対物レンズ群
１０２ 光量調節装置
１０３ 撮像素子
１０４ アナログ信号処理回路
１０５ Ａ／Ｄ変換器
１０６ メモリ制御回路
１０７ デジタル信号処理回路
１０８ メモリ
１０９ Ｄ／Ａ変換器
１１０ 表示装置
１１１ インターフェース
１１２ システム制御回路
１１３ 露出制御回路
１１４ 焦点制御回路
１１５ 被写体識別回路
１１６ 姿勢検知回路
１１７ 表示制御回路

Claims (11)

1. 画像を表示する表示手段を有する撮像装置であって、
   画像信号から目的とする対象の位置を検出する検出手段と、
   前記検出手段により検出された前記対象の位置を前記表示手段に表示させる表示制御手段と、
   前記撮像装置の撮像動作前に行う検出動作と、記憶手段に記憶されている画像を再生するときに行う検出動作とで、前記検出手段に異なる検出動作を行わせる制御手段と、
   を具備することを特徴とする撮像装置。
2. 前記制御手段は、前記撮像装置の撮像動作前に行う検出動作と、前記記憶手段に記憶されている画像を再生するときに行う検出動作とで、画面内の前記対象を検出する範囲を異ならせるように前記検出手段を制御することを特徴とする請求項１に記載の撮像装置。
3. 前記制御手段は、前記撮像装置の撮像動作前に行う検出動作と、前記記憶手段に記憶されている画像を再生するときに行う検出動作とで、前記対象の傾きの検出範囲を異ならせるように前記顔検出手段を制御することを特徴とする請求項１に記載の撮像装置。
4. 前記制御手段は、前記撮像装置の撮像動作前に行う検出動作と、前記記憶手段に記憶されている画像を再生するときに行う検出動作とで、検出用の画像サイズを異ならせるように前記検出手段を制御することを特徴とする請求項１に記載の撮像装置。
5. 前記制御手段は、前記撮像装置の撮像動作前に行う検出動作による検出結果を利用して、焦点制御処理を行うことを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
6. 前記制御手段は、前記撮像装置の撮像動作前に行う検出動作による検出結果を利用して、露出制御処理を行うことを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
7. 前記記憶手段に記憶されている画像を再生するときに行う検出動作とは、前記撮影動作によって得られた画像を前記撮影動作後に表示するときに行う検出動作であることを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
8. 前記記憶手段に記憶されている画像を再生するときに行う検出動作とは、記憶媒体に記憶された任意の画像データを表示する再生モードが設定されたときに行う検出動作であることを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
9. 画像を表示する表示手段を有する撮像装置を制御する方法であって、
   画像信号から目的とする対象の位置を検出する検出工程と、
   前記検出工程において検出された前記対象の位置を前記表示手段に表示させる表示制御工程と、
   前記顔検出工程において、前記撮像装置の撮像動作前に行う検出動作と、記憶手段に記憶されている画像を再生するときに行う検出動作とを異ならせる制御工程と、
   を具備することを特徴とする撮像装置の制御方法。
10. 請求項９に記載の制御方法をコンピュータに実行させることを特徴とするプログラム。
11. 請求項１０に記載のプログラムを記憶したことを特徴とするコンピュータ読み取り可能な記憶媒体。

Images