JP2010183200A - 撮像機能を備えた携帯端末 - Google Patents

Abstract

【課題】顔領域の検出を効率よく行い、かつ検出された顔領域の選択操作を容易にすることができる撮像機能を備えた携帯端末を提供する。
【解決手段】被写体像を撮像して、画像信号を生成する撮像手段２６，２７と、画像信号に基づいた撮影画像を表示する表示手段２３と、撮影手段２６，２７による合焦が不可能とみなされた領域を除いた領域である合焦可能領域に関する情報としての検出領域情報を取得する取得手段３０と、検出領域情報に基づいて、画像信号から合焦可能領域内に存在する被写体の顔を含む領域を検出する顔検出手段４０と、検出された複数の顔を含む領域の検出結果に基づいて、顔領域を表示手段２３に表示させる表示制御手段３３とを備えた。
【選択図】 図３

Description

本発明は、携帯端末に係り、特に被写体の顔を検出し、その被写体に対して合焦して撮影を行う撮像機能を備えた携帯端末に関する。

近年、撮像素子によって被写体像を電子的に記録する電子カメラを備えた携帯端末が広く用いられるようになった。この携帯端末に設けられた電子カメラには、顔検出機能を有するものも知られている（例えば特許文献１参照）。

顔検出機能は、撮影画像内に存在する被写体の顔を顔領域として検出して、自動的に被写体の顔に合焦を行わせることができる機能である。

特開２００６−２２７０８０号公報

電子カメラには、ハード構造上の理由から、被写体に対する合焦の成功率が低い領域であり合焦が不可能であるとみなすことができる「合焦不可領域」が存在する（例えば、撮影画像の上下（左右）数％の領域）。このような合焦不能領域の全てにおいても被写体の顔領域の検出を行うと、検出処理時間の長期化につながりユーザビリティを損なうことになる。また、合焦が不可能であるにも係わらず顔領域を表示すると、撮影者が合焦対象として合焦不可領域に存在する顔領域を選択してしまう可能性がある。

また、検出された顔領域は、携帯端末のディスプレイに撮影画像と共に表示される。撮影画像内に複数の被写体の顔が存在した場合、顔検出機能により複数の顔領域が検出されることになる。携帯端末のディスプレイは一般的に表示領域が大きくはないため、検出された顔領域の最大表示数に制限を設けることにより、撮影画面の視認性を維持している。

ここで、撮影者は、検出された複数の顔領域の中から合焦対象とする一の顔領域を選択する操作が必要となる。例えば、被写体が８人であった場合、撮影者は検出された８人の顔の顔領域から、一の領域を選択する操作が必要となる。

このとき、上述した顔領域の最大表示数が大きい数（例えば最大表示数８）に設定されていた場合、被写体である８人全員の顔領域がディスプレイに表示されることとなる。しかし、合焦対象としたい顔領域以外の顔領域についても同時に検出されてしまい、所望の顔領域を選択する際の操作数が増加してしまう場合がある。

一方、顔領域の最大表示数が小さい数（例えば最大表示数４）に設定されていた場合、被写体８人のうち４人の顔領域のみが表示されることになる。このため、合焦対象としたい顔領域がディスプレイに表示されない場合がある。この場合には、撮影者は、一旦被写体をフレームアウトさせて、再度顔検出を行わせる必要があり、不要な手戻りが発生してしまう。

このように、撮影画像に複数の顔が存在する場合には、顔領域の表示数を多くしても少なくしてもユーザビリティを損なう結果となる。

本発明はこのような事情を考慮してなされたもので、顔を含む領域の検出を効率よく行うことができる、あるいは検出された顔を含む領域に基づいて表示される顔領域の選択操作を容易にすることができる撮像機能を備えた携帯端末を提供することを目的とする。

本発明に係る撮像機能を備えた携帯端末は、被写体像を撮像して、画像信号を生成する撮像手段と、前記画像信号に基づいた撮影画像を表示する表示手段と、前記撮影手段による合焦が不可能とみなされた領域を除いた領域である合焦可能領域に関する情報としての検出領域情報を取得する取得手段と、前記検出領域情報に基づいて、前記画像信号から前記合焦可能領域内に存在する被写体の顔を含む領域を検出する顔検出手段と、検出された複数の顔を含む領域の検出結果に基づいて、顔領域を前記表示手段に表示させる表示制御手段とを備えたことを特徴とする。

また、本発明に係る撮像機能を備えた携帯端末は、被写体像を撮像して、画像信号を生成する撮像手段と、前記画像信号に基づいた撮影画像を表示する表示手段と、前記画像信号内に存在する被写体の顔を含む領域を検出する顔検出手段と、前記画像信号内から検出された顔を含む領域のうち、前記撮影手段による合焦が不可能とみなされた領域を除いた領域である合焦可能領域に含まれる前記検出された顔を含む領域に基づいて、顔領域を前記表示手段に表示させる表示制御手段とを備えたことを特徴とする。

また、本発明に係る撮像機能を備えた携帯端末は、被写体像を撮像して、画像信号を生成する撮像手段と、前記画像信号に基づいて撮影画像を表示する表示手段と、前記画像信号内に存在する被写体の顔を含む領域を検出する顔検出手段と、予め設定された最大表示可能数より多い数の前記顔を含む領域が検出された場合、検出された複数の前記顔を含む領域のうち、所定の数の前記顔を含む領域に基づいて、所定の数の顔領域を前記表示手段に表示させる表示制御手段と、所定の数の前記顔領域の表示を別の所定の数の顔領域の表示に切り替える切替手段と、前記表示手段に表示された前記顔領域のうち一の前記顔領域の選択を受け付ける顔領域選択手段と、選択された一の前記顔領域に基づいた位置を合焦位置として前記撮影手段の合焦制御を行う合焦制御手段とを備えたことを特徴とする。

また、本発明に係る撮像機能を備えた携帯端末は、被写体像を撮像して、画像信号を生成する撮像手段と、前記画像信号に基づいた撮影画像を表示する表示手段と、前記画像信号内に存在する被写体の顔を含む領域を検出する顔検出手段と、前記表示された撮影画像が所定数に分割された領域の中から一の領域の選択を受け付ける指定領域選択手段と、前記指定領域選択手段により選択された指定領域内に存在する、検出された顔を含む領域に基づいて、顔領域を前記表示手段に表示させる表示制御手段と、前記表示手段に表示された前記顔領域のうち一の前記顔領域の選択を受け付ける顔領域選択手段と、選択された一の前記顔領域に基づいた位置を合焦位置として前記撮影手段の合焦制御を行う合焦制御手段とを備えたことを特徴とする。

また、本発明に係る撮像機能を備えた携帯端末は、被写体像を撮像して、画像信号を生成する撮像手段と、前記画像信号に基づいて撮影画像を表示する表示手段と、前記表示された撮影画像が所定数に分割された領域の中から一の領域を選択させる指定領域選択手段と、前記画像信号に基づいて前記指定領域選択手段により選択された指定領域内に存在する被写体の顔を含む領域を検出する顔検出手段と、検出された顔をふくむ領域にもとづいた顔領域を前記表示手段に表示させる表示制御手段と、前記表示手段に表示された前記顔領域のうち一の前記顔領域の選択を受け付ける顔領域選択手段と、選択された一の前記顔領域に基づいた位置を合焦位置として前記撮影手段の合焦制御を行う合焦制御手段とを備えたことを特徴とする。

また、本発明に係る撮像機能を備えた携帯端末は、被写体像を撮像して、画像信号を生成する撮像手段と、前記画像信号に基づいて撮影画像を表示する表示手段と、前記画像信号のうち予め設定された検出優先領域内に存在する被写体の顔を含む領域を検出する顔検出手段と、検出された前記顔を含む領域に基づいて、顔領域を前記表示手段に表示させる表示制御手段と、前記表示手段に表示された前記顔領域のうち一の前記顔領域の選択を受け付ける顔領域選択手段と、選択された一の前記顔領域に基づいた位置を合焦位置として前記撮影手段の合焦制御を行う合焦制御手段とを備えたことを特徴とする。

本発明に係る撮像機能を備えた携帯端末は、顔を含む領域の検出を効率よく行うことができる、あるいは検出された顔を含む領域に基づいて表示される顔領域の選択操作を容易にすることができる。

本発明に係る携帯端末装置の一例である折り畳み式の携帯電話機の外観の構成を示す図であり、（Ａ）は携帯電話機を約１８０度に開いた開状態のときの正面から見た外観の構成図、（Ｂ）は携帯電話機を開状態としたときの側面から見た外観の構成図。 本発明に係る携帯端末装置の一例である折り畳み式の携帯電話機の他の外観の構成を示す図であり、（Ａ）は携帯電話機が閉状態のときの正面から見た外観の構成図、（Ｂ）は携帯電話機が閉状態のときの側面から見た外観の構成図。 本実施形態における携帯電話機の主な機能構成を示す概略的な機能ブロック図。 本実施形態における携帯電話機で実行される撮影処理の流れを説明するフローチャート。 画像信号に基づく撮影画像がメインディスプレイに表示される際の一例を示す図。 本実施形態における携帯電話機で実行される顔検出処理について説明するフローチャート。 顔検出処理が実行される検出領域を説明する図。 顔検出部が顔検出を行う場合を説明する図。 顔を含む領域の検出結果に基づいた顔領域の表示例を示す図であり、（Ａ）は画像信号全体に対して顔検出を行った場合の検出結果の表示例を示す図、（Ｂ）は合焦可能領域に対して顔検出を行った場合の検出結果の表示例を示す図。 本実施形態における携帯電話機で実行される他の顔検出処理について説明するフローチャート。 顔検出処理が実行される領域を説明する図。 顔検出部が顔検出を行う場合を説明する図。 顔を含む領域の検出結果に基づいた顔領域の表示例を示す図であり、（Ａ）は検出された顔領域の全てを検出結果として表示する例を示す図、（Ｂ）は合焦不可領域に含まれる顔領域を非表示とした検出結果を表示する例を示す図。 （Ａ）は顔を含む領域の検出前の撮影画像の表示例を示す図、（Ｂ）は顔領域が表示された際の撮影画像の表示例を示す図。 本実施形態における携帯電話機で実行される分割表示による顔選択処理について説明するフローチャート。 （Ａ）は顔を含む領域の検出前の撮影画像の表示例を示す図、（Ｂ）は検出結果が分割されて表示された際の撮影画像の表示例を示す図、（Ｃ）は図１６（Ｂ）の撮影画像の表示例から表示切替が行われた場合の撮影画像の表示例を示す図。 本実施形態における携帯電話機で実行される第一の処理方法を適用した指定領域検出・表示による顔選択処理を説明するフローチャート。 指定領域選択手段としての操作キーを説明する図。 （Ａ）は全領域において顔領域を表示した撮影画像の表示例を示す図、（Ｂ）は指定領域に存在する顔領域のみを表示した撮影画像の表示例を示す図。 本実施形態における携帯電話機で実行される第二の処理方法を適用した指定領域検出・表示による顔選択処理を説明するフローチャート。 本実施形態における携帯電話機で実行される固定領域表示による顔選択処理を説明するフローチャート。 （Ａ）は顔検出を行う検出優先領域が表示された場合の撮影画像の表示例を示す図、（Ｂ）は検出優先領域内で検出された顔を含む領域に基づいた顔領域が表示された場合の撮影画像の表示例を示す図。 （Ａ）は顔検出を行う検出優先領域が表示された場合の撮影画像の表示例を示す図、（Ｂ）はカメラの向きを調整した後の検出優先領域内で検出された顔を含む領域に基づいた顔領域が表示された場合の撮影画像の表示例を示す図。 （Ａ）は顔検出を行う検出優先領域が表示された場合の撮影画像の表示例を示す図、（Ｂ）は検出優先領域が移動した場合の撮影画像の表示例を示す図。

本発明に係る電子機器の実施形態を添付図面に基づいて説明する。図１は、本発明に係る携帯端末装置の一例である折り畳み式の携帯電話機１の外観の構成を示す図である。図１（Ａ）は、携帯電話機１を約１８０度に開いた開状態のときの正面から見た外観の構成を示し、図１（Ｂ）は、携帯電話機１を開状態としたときの側面から見た外観の構成を示す。

図１（Ａ）および（Ｂ）に示されるように、携帯電話機１は、中央のヒンジ部１１を境に第一の筐体１２と第二の筐体１３とがヒンジ結合されており、ヒンジ部１１を介して矢印Ｘ方向に折り畳み可能に形成される。携帯電話機１の内部の所定の位置には、送受信用のアンテナ（後述する図３のアンテナ３８）が設けられており、内蔵されたアンテナを介して基地局（図示せず）との間で電波を送受信する。

第一の筐体１２には、その表面に操作キー１４が設けられる。操作キー１４は、特に、「０」から「９」の数字や「あ」行から「わ」行のかな文字、「Ａ」から「Ｚ」のアルファベットの入力が可能な数字キー１５や、上下左右方向キーを備えた十字キー１６、確定キー１７、左ソフトキー１８、右ソフトキー１９、ブラウザキー２０などで構成される。

十字キー１６は、上下左右方向に操作されることによりメインディスプレイ２３に表示されたカーソルなどを上下左右方向に移動させることができる。また、確定キー１７が押下されることにより、種々の処理の確定処理が実行される。確定キー１７には、メインディスプレイ２３の下部に設けられた確定キー機能表示部２３ａに表示される処理も割り当てられる。

さらに、第一の筐体１２の十字キー１６および確定キー１７の上部には、左ソフトキー１８および右ソフトキー１９が設けられ、十字キー１６および確定キー１７の右にはブラウザ機能を起動するためのブラウザキー２０が設けられる。第一の筐体１２の側面には、携帯電話機１の操作を行うサイドキー２２が設けられる。左ソフトキー１８、右ソフトキー１９およびサイドキー２２は、第一の筐体１２の内部方向に押下されることによって、それぞれ所定の処理が割り当てられている。特に左ソフトキー１８および右ソフトキー１９は、メインディスプレイ２３の下部に設けられた左ソフトキー機能表示部２３ｂおよび右ソフトキー機能表示部２３ｃに表示される処理が割り当てられる。

第一の筐体１２には、操作キー１４の下部にマイクロフォン２４が設けられており、マイクロフォン２４によって通話時のユーザの音声を集音する。

なお、第一の筐体１２は、背面側に図示しないバッテリパックが挿着されており、終話・電源キーが押下されてオン状態になると、バッテリパックから各回路部に対して電力が供給されて動作可能な状態に起動する。

一方、第二の筐体１３には、その大部分の面積を占めるメインディスプレイ２３が設けられており、電波の受信状態、電池残量の他、電子メールの内容、簡易ホームページなどを表示することができる。なお、メインディスプレイ２３は、例えばＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、有機ＥＬ（ＥｌｅｃｔｒｏＬｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ、無機ＥＬディスプレイにより構成されるディスプレイである。メインディスプレイ２３は、表示手段として機能する。

第二の筐体１３のメインディスプレイ２３の上部の所定の位置にはレシーバ（受話器）２５が設けられており、これにより、ユーザは音声通話することが可能である。なお、携帯電話機１の所定の位置には、レシーバ２５以外の音声出力部としてのスピーカ（図３のスピーカ３５）も設けられている。さらに、第二の筐体１３のレシーバ２５上部には、内部カメラ２６が設けられており、これにより、所望の撮影対象を撮影することができる。

図２は、本発明に係る携帯端末装置の一例である折り畳み式の携帯電話機１の他の外観の構成を示す図である。図２の携帯電話機１は、図１の携帯電話機１の状態から矢印Ｘ方向に回動させた閉状態を構成する。図２（Ａ）は、携帯電話機１が閉状態のときの正面から見た外観の構成を示し、図２（Ｂ）は、携帯電話機１が閉状態のときの側面から見た外観の構成を示す。

第二の筐体１３の上部には、外部カメラ２７が設けられており、これにより、所望の撮影対象を撮影することができる。外部カメラ２７の下部には、例えばＬＣＤで構成されるサブディスプレイ２８が設けられており、現在のアンテナの感度のレベルを示すアンテナピクト、携帯電話機１の現在の電池残量を示す電池ピクト、現在の時刻などが表示される。

図３は、本実施形態における携帯電話機１の主な機能構成を示す概略的な機能ブロック図である。携帯電話機１は、主制御部３０、電源回路部３１、入力制御部３２、表示制御部３３、音声制御部３４、記憶部３６、通信制御部３７、画像入力部３９、顔検出部４０がバスによって相互に通信可能に接続されて構成されている。

主制御部３０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を具備し、記憶部３６に記憶された各種プログラムに基づき動作して、携帯電話機１の総括的な制御を行う。電源回路部３１は、操作キー１４に含まれる電源キーに対する入力インタフェースを備え、ユーザにより電源キーが押されたことを検知すると、その旨を示す信号を生成して主制御部３０に伝送する。また、電源回路部３１は、電力供給源（バッテリ）を備え、電源キーを介した入力に基づいて携帯電話機１の電源のＯＮ／ＯＦＦ状態を切り替え、電源がＯＮ状態の場合に電力供給源から各部に対して電力を供給して、携帯電話機１を動作可能にする。

入力制御部３２は操作キー１４、サイドキー２２に対する入力インタフェースを備え、操作キー１４、サイドキー２２のいずれかが押されたことを検知すると、押されたキーを示す信号を生成して主制御部３０に伝送する。

表示制御部３３はメインディスプレイ２３およびサブディスプレイ２８に対する表示インタフェースを備える。表示制御部３３は、主制御部３０の制御に基づいて、文書データや画像入力部３９より入力された画像信号に基づいた撮影画像をメインディスプレイ２３あるいはサブディスプレイ２８に表示する。

音声制御部３４は、主制御部３０の制御に基づいて、マイクロフォン２４で集音された音声からアナログ音声信号を生成し、このアナログ音声信号をデジタル音声信号に変換する。また音声制御部３４は、デジタル音声信号を取得すると、主制御部３０の制御に基づいて、このデジタル音声信号をアナログ音声信号に変換し、レシーバ２５から音声として出力する。

記憶部３６は、主制御部３０が行う処理について、処理プログラムや処理に必要なデータなどを格納するＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やハードディスク、不揮発性メモリ、データベース、主制御部３０が処理を行う際に使用されるデータを一時的に記憶するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などから構成される。

また、記憶部３６には、本実施形態における携帯電話機１で実行される顔検出処理を実行させる顔検出プログラムや、顔検出領域に関するデータなどが記憶される。

通信制御部３７は、主制御部３０の制御に基づいて、基地局からアンテナ３８を介して受信した受信信号をスペクトラム逆拡散処理してデータを復元する。このデータは、主制御部３０の指示により、音声制御部３４に伝送されてレシーバ２５やスピーカ３５から出力されたり、表示制御部３３に伝送されてメインディスプレイ２３に表示されたり、または記憶部３６に記録されたりする。また通信制御部３７は、主制御部３０の制御に基づいて、マイクロフォン２４で集音された音声データや操作キー１４を介して入力されたデータや記憶部３６に記憶されたデータを取得すると、これらのデータに対してスペクトラム拡散処理を行い、基地局に対してアンテナ３８を介して送信する。

画像入力部３９は、内部カメラ２６、外部カメラ２７（カメラ２６、２７)で取得された画像信号を圧縮したり、所定時間毎に取得した画像信号に基づいて、ファインダとしてのメインディスプレイ２３に表示する撮影画像を生成したりする。画像入力部３９は、取得された画像データを主制御部３０に供給する。

カメラ２６、２７は、ＣＣＤやＣＭＯＳなどからなる撮像素子を備えており、撮影光学系による被写体像を光電変換して、画像信号を生成する撮像手段として機能する。カメラ２６、２７は、可変焦点機構を備えておりオートフォーカスの機能を少なくとも備える。

顔検出部４０は、画像入力部３９より入力された画像信号に基づいて、当該画像信号内に存在する被写体の顔を含む領域を検出する顔検出手段として機能する。顔を含む領域を検出する顔検出処理の方法には公知の方法（例えば特開２００８−２５７３２１号などの方法）が適用される。例えば、色に基づいて肌色領域の輪郭を抽出し、予め用意する顔の輪郭テンプレートとのマッチング度で顔を検出する方法や、目候補領域を求めて目テンプレートとのマッチング度で顔を検出する方法などを適用することができる。顔検出部４０は、検出された顔を含む領域に関する情報を主制御部３０に出力する。なお、顔を含む領域に関する情報は、例えば顔を含む領域の中心点の座標と、顔を含む領域の大きさで構成することができる。以下の説明においては、顔検出部４０は顔認識の結果として、顔を含む領域の中心点の座標と顔を含む領域の大きさが顔を含む領域に関する情報として出力される例として説明するが、これに限定されない。

本実施形態における携帯電話機１は、外部カメラ２７および内部カメラ２６（以下、カメラ２６、２７という。）を備えることで、静止画や動画の撮影を行うことができる。

携帯電話機１は、被写体に人が含まれている際に、撮影された画像信号内に存在する被写体の顔を含む領域を検出する顔検出機能を備えている。また、携帯電話機１は、検出された顔を含む領域に基づいて表示される顔領域のうち、選択された一の顔領域に基づいた位置に合焦制御を行ういわゆるオートフォーカス機能を備えている。以下、携帯電話機１で実行される、画像信号に含まれる顔を含む領域を検出する顔検出処理、検出された顔を含む領域に基づいて表示される顔領域を選択する顔選択処理を特に説明する。

まず、カメラ２６、２７が起動してから、オートフォーカス機能を利用して撮影を行うまでの一連の流れについて説明する。図４は、本実施形態における携帯電話機１における、撮影処理の流れを説明するフローチャートである。

ステップＳ１において、主制御部３０は、カメラ２６、２７を起動させる。主制御部３０は、例えばユーザより操作キー１４を介して指示を受け付けることにより、カメラ２６、２７を起動させる。このとき起動するカメラは、内部カメラ２６または外部カメラ２７のどちらか一方である。また、起動するカメラは、内部カメラ２６と外部カメラ２７とで切替可能である。

ステップＳ２において、主制御部３０は、カメラ２６、２７で生成された画像信号を画像入力部３９より取得する。そして、メインディスプレイ２３には、取得した画像信号に基づき生成された撮影画像が表示される。また、取得した画像信号は、顔検出部４０に出力される。図５は、画像信号に基づく撮影画像がメインディスプレイ２３に表示される際の一例を示す図である。図５（Ａ）に示すように、撮影画像がメインディスプレイ２３に表示され、撮影者としてのユーザは撮影画像の構図を調整することができる。なお、図５に示す撮影画像のメインディスプレイ２３に表示される例は、図１に示す携帯電話機１が時計回りまたは反時計回りに９０度回転されて撮影された場合のメインディスプレイ２３に表示される例である。

ステップＳ３において、主制御部３０は、ユーザより操作キー１４を介して指示を受け付けること（例えば数字キー１５のうちの「＊」キーの押下を受け付けること）により、顔検出部４０に顔検出処理を実行させる。主制御部３０は、顔を含む領域の検出結果を顔検出部４０からの出力を受け、その顔を含む領域の検出結果に基づいてメインディスプレイ２３に表示された撮影画像と共に顔領域として表示する。なお、例えば、顔領域の表示の例として、顔検出部４０から出力された顔を含む領域の中心点の座標を中心とする予め決められた大きさの正方形の枠を顔領域として表示する。なお、これに限定されず、他の顔領域の表示形態であってもよい。

主制御部３０は、複数の顔を含む領域が検出された場合には複数の顔領域を表示する。複数の顔を含む領域が検出された場合、一の顔領域（例えば最も中央に位置する顔領域）として表示される枠は自動的に選択状態で表示され、他の顔領域として表示される枠は非選択状態で表示される。選択状態は、合焦対象として選択された顔領域の状態をいう。また、顔を含む領域の検出結果（顔領域として表示される枠）が表示された直後には一の顔領域が選択されている状態である。

なお、「顔を含む領域」は、顔検出部４０により画像信号から検出された被写体の顔を含む領域である。また、「顔領域」は、顔検出部４０より出力された顔を含む領域の検出結果に基づいて、メインディスプレイ２３に撮影画像と共に表示された矩形の枠で表示された領域をいう。

図５（Ｂ）は、顔検出処理が実行され、顔領域として表示される枠が撮影画像と共にメインディスプレイ２３に表示された場合の一例を示す図である。図５（Ｂ）に示すように、撮影画像と共に顔領域として表示される枠５１、５２が表示される。図５（Ｂ）の例では、選択状態である顔領域として表示される枠５１を実線で示し、非選択状態である顔領域として表示される枠５２を点線で示してある。選択状態および非選択状態の顔領域として表示される枠は、それぞれ実線および点線で示すものに限らず、例えば異なる色で表示されたりしてもよい。

ステップＳ４において、主制御部３０は、表示された顔領域の中から、一の顔領域の選択を受け付ける。顔領域の選択は、所定の操作キー１４（例えば数字キー１５の「８」キー（ステップＳ３で顔検出処理の開始に用いられるキーとは異なるキーであることが望ましい））が押下されることにより選択状態である顔領域に対して行われる。図５（Ｃ）は、図５（Ｂ）の撮影画像から選択状態である顔領域として表示される枠が変更された場合の一例を示す図である。図５（Ｂ）では人物Ａの顔領域として表示される枠５１が選択状態となっているのに対し、例えば数字キー１５の「８」キーが押下されることで人物Ｂの顔領域として表示される枠５２が選択状態となった。すなわち、選択状態である顔領域として表示される枠が人物Ａの顔領域として表示される枠から、人物Ｂの顔領域として表示される枠に移動した。

なお、ステップＳ４は既にユーザにとって所望の顔が選択されている場合には省略される場合もある。

また、ステップＳ５において、主制御部３０は、所定の操作キー１４（例えばブラウザキー２０）が押下されることにより、選択された一の顔領域に基づいた位置に対して合焦制御処理（オートフォーカス）を実行する。ここで一の顔領域に基づいた位置に対して合焦制御処理が実行されると、その顔のみの顔を含む領域の検出を行い、他の顔の顔を含む領域の検出については行われない。なお、合焦制御処理は、選択された一の顔領域全体に対して行ってもよいし、顔領域の中心の位置に対して行ってもよい。

ステップＳ６において、主制御部３０は、所定の操作キー１４（例えば、確定キー１６）が押下されることにより、カメラ２６、２７で撮影を行い、画像信号を生成する。なお、ステップＳ５の合焦制御処理と、ステップＳ６の撮影指示とは、確定キー１６の１回の操作に応じて実行してもよい。

次に、図４の撮影処理のステップＳ３における顔検出処理の詳細を説明する。本実施形態における顔検出処理は、カメラ２６、２７のハード構造上、合焦が不可能とみなすことができる領域が存在する場合に有効な処理である。

図６は、本実施形態における携帯電話機１で実行される顔検出処理について説明するフローチャートである。この図６で説明する顔検出処理は、合焦が不可能とみなされた合焦不可領域が存在するカメラ２６、２７を備えた携帯電話機１で実行される場合を前提として説明する。

ステップＳ１１において、主制御部３０は、顔検出処理を開始する指示を受け付けたか否かの判定を行う。主制御部３０は、顔検出処理を開始する指示を所定の操作キー１４より受け付けるようになっている。例えば、数字キー１５の「＊」キーが押下されることにより、主制御部３０は顔検出処理を開始する指示を受け付ける。

ステップＳ１２において、主制御部３０は、画像入力部３９より所定間隔毎に取得される画像信号を取得する。そして、ステップＳ１３において、主制御部３０は、顔検出が行われる検出領域に関する検出領域情報を取得する。検出領域情報は、カメラ２６、２７による合焦が不可能とみなされた領域を除いた画像信号内の領域である合焦可能領域に関する情報である。

図７は、顔検出処理が実行される検出領域を説明する図である。図７では、斜線で示された合焦不可領域５４、５４を除いた合焦可能領域が顔検出領域５５であり、例えば、撮影され生成された画像信号の図７における上下２０％の領域を除いた領域である。主制御部３０は、例えば顔検出領域５５としての合焦可能領域の範囲を示す座標データを検出領域情報として取得する。例えば、合焦可能領域の範囲を示す座標データは、図７に示す顔検出領域５５のａ点の座標およびｂ点の座標である。

なお、合焦不可領域は、図７の画像信号における上下２０％として説明したが、これに限らず他の領域が合焦不可領域として存在する場合であってもよい。

ステップＳ１４において、主制御部３０は、顔検出部４０に対して画像信号とステップＳ１３で取得した検出領域情報を送り、検出領域情報に基づく領域内の顔検出処理を実行させる。顔検出部４０は、検出された顔を含む領域の情報を、例えば顔を含む領域の中心点の座標と、顔を含む領域の大きさとで構成された情報で生成し、主制御部３０に供給する。

図８は、顔検出部４０が顔検出を行う場合を説明する図である。図８では、顔検出領域５５の画像信号に基づく撮影画像のみが示されており、顔検出領域５５についてはハッチングが施されている。図８に示すように、顔検出部４０は、顔検出領域情報に基づいて顔検出領域５５としての合焦可能領域においてのみ顔検出を実行する。このため、合焦可能領域に顔を含む領域が含まれる人物Ａについては顔を含む領域５６が検出されるが、合焦可能領域に顔を含む領域が含まれない人物Ｂについては顔を含む領域が検出されない。なお、「顔を含む領域が含まれる」とは、顔を含む領域の中心点が顔検出領域に含まれる場合としてもよいし、顔を含む領域の全てが検出領域に含まれる場合としてもよい。

ステップＳ１５において、表示制御部３３は、主制御部３０の制御に基づき顔検出部４０より供給された顔を含む領域に基づいた顔領域を表示する。表示制御部３３は、顔領域として表示される枠を生成し、撮影画像に合成することにより検出結果としての顔領域を表示する。

図９は、顔を含む領域の検出結果に基づいた顔領域の表示例を示す図であり、（Ａ）は画像信号全体に対して顔検出を行った場合の検出結果の表示例を示す図、（Ｂ）は合焦可能領域５７に対して顔検出を行った場合の検出結果の表示例を示す図である。なお、図９に示す点線は、合焦不可領域５４と合焦可能領域５７との境界を示すものである。

図９（Ａ）に示すように、画像信号全体を顔検出の対象とした場合、合焦が不可能であるにも係わらず、合焦不可領域５４、５４に存在する顔を含む領域５８まで検出を行うことになる。これに対し、図９（Ｂ）に示すように、画像信号のうち合焦可能領域５７を顔検出の対象とした場合、合焦を行うことができる領域に存在する顔の顔を含む領域５９のみの検出を行う。以上で顔検出処理の説明を終了する。

この顔検出処理によれば、顔を含む領域の検出を画像信号全体ではなく合焦可能領域のみに行うことで検出対象が狭領域化し、顔検出部４０による検出処理時間を短縮することができる。すなわち、顔を含む領域が検出されたとしても、合焦を行うことができない領域については、予め検出処理を行わないことで、顔を含む領域の検出処理を短縮化することができる。

また、顔を含む領域として検出されたとしても合焦を行うことが不可能とみなせる領域については、予め検出処理を行わないことで顔領域を表示させない。このため、合焦が不可能である顔を含む領域であるにも係わらず、ユーザに選択を行わせてしまうという事態を回避することができる点でも有効である。

図６の顔検出処理では、合焦不可領域を除いた領域を検出対象とした。これに対し、合焦不可領域の少なくとも一部も顔検出領域に含め、検出された顔を含む領域に基づいた顔領域の表示段階において、合焦可能領域に含まれる顔領域のみを表示させてもよい。

図１０は、本実施形態における携帯電話機１で実行される他の顔検出処理について説明するフローチャートである。この図１０で説明する他の顔検出処理は、合焦が不可能とみなされた合焦不可領域が存在するカメラ２６、２７を備えた携帯電話機１で実行される場合を前提として説明する。また、図６の顔検出処理と対応する部分については、重複する説明を省略する。

ステップＳ２１およびＳ２２は、図６の顔検出処理のステップＳ１１およびＳ１２とほぼ同様であるため、説明を省略する。

ステップＳ２３において、主制御部３０は、顔検出が行われる検出領域に関する検出領域情報を取得する。検出領域情報は、カメラ２６、２７の合焦可能領域と合焦不可領域の少なくとも一部とを含む領域に関する情報である。

図１１は、顔検出処理が実行される領域を説明する図である。図１１における顔検出領域６１は、斜線で示された合焦不可領域６２ａ（例えば図示上下１０％）を除いた領域である。主制御部３０は、例えば、合焦可能領域と合焦不可領域の少なくとも一部を含む領域を示す座標データを検出領域情報として取得する。

ステップＳ２４において、主制御部３０は、顔検出部４０に対して検出領域情報に基づく顔検出処理を実行させる。顔検出部４０は、例えば顔を含む領域の中心点の座標と、顔を含む領域の大きさで構成された顔を含む領域に関する情報を生成し、主制御部３０に供給する。

図１２は、顔検出部４０が顔検出を行う場合を説明する図である。図１２では、顔検出領域６１の撮影画像のみが示されており、顔検出領域６１以外の領域（合焦不可領域の一部）６２ａ、６２ａについては点線で示されている。また、斜線で示された領域は、顔検出領域６１に含まれる合焦不可領域６２ｂ、６２ｂである。

図１２に示すように、顔検出部４０は、検出領域情報に基づいて合焦可能領域６３と合焦不可領域６２の一部である顔検出領域６１においてのみ顔検出を実行する。このため、合焦可能領域６３に顔が含まれる人物Ａと、顔検出領域６１としての合焦可能領域６３と合焦不可領域６２ｂの一部に顔が含まれる人物Ｂとの顔を含む領域が検出される。

ステップＳ２５において、主制御部３０は、顔を含む領域の検出結果が合焦不可領域内に存在するか否かの判定を行う。「顔領域の検出結果が合焦不可領域内に存在する場合」とは、例えば顔を含む領域の中心点が合焦不可領域内に存在する場合が該当する。なお、図１２では、人物Ｂの顔領域としての枠６４は、顔を含む領域の中心点が合焦不可領域内に存在しているものとする。

主制御部３０は、合焦不可領域内に顔を含む領域の検出結果が存在しないと判定した場合、ステップＳ２７に進む。一方、主制御部３０は、合焦不可領域内に顔を含む領域の検出結果が存在すると判定した場合、ステップＳ２６において、合焦不可領域に存在する顔領域としての枠を非表示とする処理を行う。

ステップＳ２７において、表示制御部３３は、主制御部３０の制御に基づき顔検出部４０より供給された顔を含む領域のうち、ステップＳ２６において非表示とされた顔領域を除く検出結果を表示する。表示制御部３３は、顔領域としての枠を生成し、撮影画像に合成することにより検出結果を表示する。

図１３は、顔を含む領域の検出結果に基づいた顔領域の表示例を示す図であり、（Ａ）は検出された顔領域の全てを検出結果として表示する例を示す図、（Ｂ）は合焦不可領域に含まれる顔領域を非表示とした検出結果を表示する例を示す図である。図１３における点線は、合焦不可領域６２と合焦可能領域６３との境界を示すものである。なお、図１３（Ｂ）の顔領域としての枠６４は、中心点が合焦不可領域６２に存在する顔を含む領域に基づいて生成された顔領域としての枠として説明する。

図１３（Ａ）に示すように、検出された顔を含む領域に基づいた全ての顔領域としての枠を表示対象とした場合、合焦が不可能であるにも係わらず、検出された顔を含む領域が合焦不可領域６２内に存在する顔領域としての枠６４まで表示してしまうことになる。これに対し、図１３（Ｂ）に示すように、合焦可能領域６３内に存在する顔領域としての枠６５のみを表示対象とすることで、図６で説明した顔検出処理と同様の検出結果を表示することができる。以上で他の顔検出処理の説明を終了する。

この他の顔検出処理によれば、合焦可能領域および合焦不可領域の一部のみに行うことで、顔検出部４０による顔を含む領域の検出を撮影画像全体に行う場合に比べて検出処理時間を短縮することができる。

また、図１０の他の顔検出処理においては、合焦可能領域内で検出された顔を含む領域のみならず、合焦可能領域に近接する合焦不可領域も顔検出対象に含めた。これにより、合焦不可領域に存在する顔を含む領域の情報についても蓄積しておき、この顔が合焦可能領域に移動した時には蓄積された顔を含む領域の情報を元に顔検出処理を行うことができる。このため、初めて合焦可能領域に移動してきた顔を検出する場合と比べて、処理の高速化・高精度化を図ることができる。とくに、顔の移動が激しい人物を被写体とした場合には、合焦不可領域と合焦可能領域との間の移動が頻繁に行われることが考えられる。この場合には、合焦不可領域に顔が存在した場合に蓄積された顔を含む領域の情報を参照することで、合焦可能領域に移動した際に初めて顔検出処理が行われる場合に比べて、処理の高速化・高精度化を図ることができる。

なお、顔検出領域の範囲は、ユーザにより自由に設定可能としてもよい。例えば、異なる大きさの領域が顔検出領域として設定された複数のモードを設けてユーザに選択可能に構成してもよい。合焦不可領域の多くを顔検出領域に含めることにより顔検出領域を大きくとると、例えば合焦不可領域と合焦可能領域との出入りが多い人物が被写体となっている場合には、合焦不可領域から合焦可能領域に移動した際に検出処理の高速化・高精度化を図ることができる。一方、移動が少なく、撮影画像のうち合焦可能領域に位置する人物が主な被写体となっている場合には、顔検出領域に含める合焦不可領域を少なくすることで、不要な領域に対する顔検出処理を省くことができる。

次に、図４の撮影処理のステップＳ４における顔選択処理の詳細を説明する。本実施形態における顔選択処理は、図４の撮影処理のステップＳ３の顔検出処理で検出された複数の顔を含む領域に基づいた顔領域の表示の中から一の顔領域を選択する場合に有効な処理である。

図１４（Ａ）は顔を含む領域の検出前の撮影画像の表示例を示す図、（Ｂ）は顔領域が表示された際の撮影画像の表示例を示す図である。図１４（Ａ）に示すように、撮影画像には８人の人物の顔が映っている。このとき、顔検出処理が実行されると、図１４（Ｂ）に示すように、検出された８人の顔を含む顔領域が表示される。実線で示された人物「Ｂ」の顔領域として表示される枠７１は合焦対象となっている選択状態の顔領域を示し、点線で示された他の顔領域として表示される枠７２、７２・・・は、非選択状態の顔領域を示す。

撮影者は人物Ａを合焦対象としたいと考えたとき、例えば選択状態となっている人物Ｂの顔領域から人物Ａの顔領域に選択状態を遷移させる必要がある。例えば、操作キー１４のうち所定のキー（例えば数字キー１５の「８」キー）より入力操作を受け付ける毎に、選択状態を遷移させることで、所望の人物の顔領域に基づいた位置を合焦対象とすることができる。

このとき、合焦対象としたい人物の顔領域が、表示直後から選択状態として表示されていれば、特に選択状態の顔領域を変化させることなく合焦制御させて撮影することができる。しかし、図１４（Ｂ）に示すように、８人の顔領域が検出され表示された場合、最小でも１回の入力操作、最大では７回の入力操作を行い選択状態を遷移させる操作の必要が生じてしまう。

以下に説明する顔選択処理は、このような選択状態の遷移操作を容易にかつ効率的に行うことができる処理である。本実施形態における携帯電話機１で実行される顔検出処理は、第一〜第三の顔検出処理がある。第一の顔選択処理は、顔領域を所定数ずつ分割して表示する顔分割表示による顔選択処理である。第二の顔選択処理は、指定領域における顔領域のみを検出または表示する指定領域検出・表示による顔選択処理である。第三の顔選択処理は、固定領域における顔を含む領域のみを検出しその顔領域を表示する固定領域検出・表示による顔選択処理である。以下、第一〜第三の顔選択処理について具体的に説明する。なお、以下に説明する顔選択処理には、顔検出処理の一部の工程を含んでおり、図４の顔検出ステップＳ３と顔選択ステップＳ４とを含む処理となっている。

図１５は、本実施形態における携帯電話機１で実行される分割表示による顔選択処理について説明するフローチャートである。図１５の顔検出処理は、複数の顔を含む領域が検出された場合においてメインディスプレイ２３に表示される顔領域（として表示される枠）の最大表示数が予め設定されているものとする。

ステップＳ３１において、主制御部３０は、顔検出部４０に撮影画像内に存在する被写体の顔を含む領域を検出する顔検出処理を実行させる。ステップＳ３１は、上述した図４のステップＳ３に該当する顔検出処理である。ステップＳ３１における顔検出処理は、上述した図６または図１０の顔検出処理を実行してもよいし、検出領域を考慮することなく画像信号全体に対する顔検出処理を実行してもよい。

ステップＳ３２において、主制御部３０は、検出された顔を含む領域の数が、予め設定された最大表示数よりも多いか否かの判定を行う。主制御部３０は、検出された顔を含む領域の数が最大表示数（例えば最大表示数４）よりも少ないと判定した場合、ステップＳ３３において全ての顔を含む領域に基づいた顔領域の検出結果を表示する。

一方、検出された顔を含む領域の数が最大表示数よりも多いと判定された場合、ステップＳ３４において、表示制御手段としての表示制御部３３は、主制御部３０の制御に基づき検出された複数の顔を含む領域のうち、所定数の顔を含む領域に基づいた顔領域を分割して表示する。すなわち、所定数の顔領域のみを表示し、残りの顔領域については非表示とする。分割して表示される顔領域の数は、最大表示数と残りの数とで分割して表示してもよいし、検出された顔領域数がほぼ均等になるように分割して表示してもよい。

なお、検出直後に表示される所定数の顔領域は、いかなる顔領域であってもよく、例えば撮影画像を所定の領域で分割（例えば左右で２分割）し、分割された領域毎に存在する顔領域を表示してもよいし、検出された順で分割して表示してもよいし、中心点から距離の近い順に所定数の顔領域を表示してもよい。

図１６（Ａ）は顔を含む領域の検出前の撮影画像の表示例を示す図、（Ｂ）は検出結果が分割されて表示された際の撮影画像の表示例を示す図である。図１６においては、顔領域の最大表示数が４に設定されているものとする。図１６（Ａ）に示すように、撮影画像には８人の人物の顔が映っている。このとき、顔検出処理が実行されると（例えば、数字キー１５の「＊」キー）が押下されると、顔検出部４０により８人の顔の顔を含む領域が検出されることになる。しかし、顔領域の最大表示数は４に設定されているため、図１６（Ｂ）に示すように、撮影画像には最大表示数に対応した４つの顔領域のみが分割されて表示される。

ステップＳ３５において、主制御部３０は、検出結果表示ステップＳ３４において表示された顔領域を、分割された残りの顔領域に切り替えて表示する指示を受け付けたか否かの判定を行う。この表示切替指示は、例えば所定の操作キー１４が押下されることにより受け付ける。主制御部３０は、表示切替指示を受け付けたと判定した場合、検出結果表示ステップＳ３４に戻り、現在表示されている顔領域から分割された残りの顔領域へ表示を切り替える。

図１６（Ｃ）は図１６（Ｂ）の撮影画像の表示例から表示切替が行われた場合の撮影画像の表示例を示す図である。例えば、図１６（Ｂ）では、合焦対象として人物Ａの顔領域を選択状態としたいにも係わらず、人物Ａの顔領域として表示される枠が表示されていないものとする。この場合、撮影者はステップＳ３５で所定の操作キー１４（例えば数字キー１５の「７」キー）を押下することにより表示切替を行って、図１６（Ｃ）に示すように残りの人物Ａの顔領域を含む検出結果を表示させることができる。

検出結果表示ステップＳ３３で検出結果が表示された後、および表示切替判定ステップＳ３５で表示切替指示を受け付けない場合、ステップＳ３６において、主制御部３０は、一の顔領域が選択されたか否かの判定を行う。選択されたか否かの判定は、例えば複数の顔領域の中から一の顔領域が選択状態であり、所定の操作キー１４（例えば数字キー１５の「８」キー）が押下されて選択状態の固定が行われたか否かで判定される。一の顔領域が選択された場合には、その顔を含む領域のみを追随する動作に移行し、この顔領域の選択が解除されるまでは他の顔を含む領域の検出および顔領域の表示は行われない。一の顔領域が選択されない場合は、表示切替判定ステップＳ３５に戻り、以降の処理が繰り返される。以上で分割表示による顔選択処理の説明を終了する。

この本実施形態における携帯電話機１で実行される分割表示による顔選択処理は、撮影画像内に含まれる被写体としての人物が多い場合に、有効な処理である。例えば、最大表示数より多い顔領域が検出された場合には、顔領域表示ステップＳ３４において、顔領域を分割して表示させるため、表示された中から一の顔領域を選択する操作数を低減させることができる。これに対して、分割表示された中に所望の顔領域が含まれていなかった場合には、表示切替判定ステップＳ３５において表示切替の指示を受け付けると、非表示となっている残りの顔領域を表示することができる。撮影者は、表示された顔領域の中から、少ない操作で所望の顔領域を選択することができる。

例えば、図１４（Ｂ）に示す撮影画像の中から、人物Ａの顔領域を選択したい場合、現在選択状態となっている人物Ｂの顔領域から選択状態を移動させる操作を行う必要がある。このとき、所定の操作キー１４の押下により選択状態である顔領域が所定の方向（例えば左から右）に移動するが、選択状態の顔領域を人物Ｂから人物Ａまで移動させようとすると、最大では７回の入力操作を行う必要がある。

これに対し、図１５で説明した顔選択処理が実行された直後の、図１６（Ｂ）に示す撮影画像の中から人物Ａの顔領域を選択しようとした場合には、顔領域が分割表示されたことにより人物Ａの顔領域が非表示となっている。ここで、撮影者は、表示切替の指示を所定の操作キー１４から入力すると、図１６（Ｃ）に示すように人物Ａを含む、図１６（Ｂ）では非表示となっていた残りの顔領域が表示される。このとき、所定の操作キー１４の押下により選択状態である顔領域が所定の方向に移動するが、選択状態の顔領域を人物Ａまで移動させる場合、最大でも３回という少ない入力操作を行えば移動可能である。

このように、検出された顔領域が最大表示数以上であった場合には、検出された顔領域を分割して一部を表示し、残りの一部を非表示とすることで、顔領域の選択操作の回数を低減することができる。

なお、最大表示数は任意に設定できるように構成してもよく、本実施形態で説明した４に限られない。また、検出された顔領域の表示分割数も、本実施形態で説明した２分割に限られず、３分割などの２より大きい数で分割してもよい。

次に、第二の顔選択処理としての指定領域における顔を含む領域のみを検出または顔領域を表示する、指定領域表示による顔選択処理について説明する。この第二の顔選択処理は、さらに二通りの処理方法で実現することができる。第一の処理方法は、撮影画像全体から顔を含む領域を検出し、指定領域に存在する顔領域のみを表示して選択させる方法である。第二の処理方法は、指定領域内で顔を含む領域を検出し、検出された顔を含む領域に基づいた顔領域を表示して選択させる方法である。

まず、第一の処理方法を適用した顔選択処理の説明を行う。図１７は、本実施形態における携帯電話機１で実行される第一の処理方法を適用した指定領域検出・表示による顔選択処理を説明するフローチャートである。なお、上述した図１５の顔選択処理と対応する処理については、重複した説明を省略する。

ステップＳ４１は、図１５の顔検出ステップＳ３１と同様であるため、説明を省略する。

ステップＳ４２において、表示制御手段としての表示制御部３３は、主制御部３０の制御に基づき検出された顔を含む領域に基づいた顔領域を表示する。この表示される顔領域は、検出された全ての顔領域が表示されてもよいし、上述した図１５の分割表示による顔選択処理のように最大表示数を超えた場合には分割表示するようにしてもよい。

ステップＳ４３において、主制御部３０は、メインディスプレイ２３（撮影画像）が所定数に分割された領域の中から指定領域として一の領域の選択を受け付けたか否かの判定を行う。ここで指定領域の選択を受け付けるのは、選択された指定領域で検出された顔を含む領域に基づいた顔領域を表示し、他の領域において検出された顔を含む領域に基づいた顔領域を非表示とするためである。

図１８は、指定領域選択手段としての操作キー１４を説明する図である。図１８に示すように、メインディスプレイ２３（撮影画像）の領域はほぼ均等に１２分割されている。また、「０」〜「９」および「＊」、「＃」からなる１２個の数字キー１５は、メインディスプレイ２３の１２分割された領域と対応している。なお、メインディスプレイ２３および各数字キー１５に表示された数字は、説明の便宜上図示したもので、実際には表示は行われない。

主制御部３０は、メインディスプレイ２３の各領域と位置的に対応した数字キー１５が押下されることにより、指定領域としての一の領域の選択を受け付ける。例えば、図１８のメインディスプレイ２３上の「６」の領域２３ａを指定領域として選択したい場合、図１８の数字キー１５のうち「６」が図示されている数字キー１５ａを押下することにより、指定領域の選択を行うことができる。

ステップＳ４３において、指定領域の選択を受け付けていないと判定した場合、ステップＳ４５にすすむ。一方、指定領域の選択を受け付けたと判定した場合、ステップＳ４５において、表示制御部３３は、主制御部３０の指示に基づき、検出された顔を含む領域のうち指定領域に存在する顔を含む領域に基づいた顔領域のみを表示する。すなわち、顔領域表示ステップＳ４２において表示された顔領域のうち、指定領域以外に存在する顔領域については非表示とする。指定領域に存在するか否かは、例えば顔を含む領域の中心点の座標が指定領域内に存在しているか否かで判断することができる。

図１９（Ａ）は全領域において顔領域を表示した撮影画像の表示例を示す図であり、（Ｂ）は指定領域に存在する顔領域のみを表示した撮影画像の表示例を示す図である。図１９（Ａ）では、検出された顔を含む領域の全てに基づいた顔領域が表示されている。ここで、撮影者が人物Ａを合焦対象としたい場合を考える。しかし、検出された顔を含む領域の全てに基づいた顔領域が表示されると、人物Ａの顔領域に選択状態を移動させるための入力操作回数が多くなってしまう。

このとき、人物Ａが存在する領域に対応した数字キー１５の押下による指定領域の選択が行われると、図１９（Ｂ）に示すように指定領域に含まれる人物Ａの顔領域のみが表示される。このとき押下される図１８に示す数字キー１５は、例えば「６」が図示された数字キー１５ａである。なお、図１９に示すメインディスプレイ２３（撮影画像）は、図１８に示すメインディスプレイ２３の状態（姿勢）と対応しているものとする。

ステップＳ４５は、図１５の顔領域選択判定ステップＳ３６とほぼ同様であるため、説明を省略する。以上で、第一の処理方法を適用した指定領域検出・表示による顔選択処理は終了する。

この本実施形態における携帯電話機１で実行される第一の方法を適用した指定領域表示による顔選択処理は、撮影画像全体で検出された顔を含む領域に基づく顔領域が表示された後に、指定領域が選択されることにより、選択された領域に存在する顔領域のみを表示させた。これにより、表示される顔領域数を減らすことができ、少ない顔領域の中から合焦対象としたい顔領域の選択を行う際に必要な入力操作を低減することができる。

例えば、図１９（Ａ）に示すように、８人分の顔領域から人物Ａの顔を合焦対象とするために顔領域の選択状態を移動するためには、上述したように入力操作数が最大７回必要となる場合がある。しかし、図１９（Ｂ）に示すように、人物Ａの顔が位置する領域に対応する数字キー１５の押下で指定領域を選択することにより、人物Ａの顔領域のみを表示させることができる。図１９（Ｂ）に示すように、指定領域に人物Ａの顔領域のみが存在する場合には、人物Ａの顔領域が選択状態で示されることになるので、例えば所定の操作キー１４の押下による選択状態の固定を即座に行うことができる。

なお、メインディスプレイ２３（撮影画像）を分割した各領域を指定領域として選択する場合には、位置的に対応した数字キー１５を押下することにより行うようにしたが、他の操作キー１４を指定領域の選択に割り当ててもよい。

次に、第二の処理方法を適用した顔選択処理の説明を行う。図２０は、本実施形態における携帯電話機１で実行される第二の処理方法を適用した指定領域検出・表示による顔選択処理を説明するフローチャートである。この図２０で説明する顔選択処理が開始されるタイミングは、図４の撮影処理における撮影画像取得ステップＳ２の後である。なお、上述した図１５および図１７の顔選択処理と対応する処理については、重複した説明を省略する。

ステップＳ５１において、主制御部３０は、撮影画像が所定数に分割された領域の中から、指定領域として一の領域の選択を受け付けたか否かの判定を行う。ここで指定領域の選択を受け付けるのは、選択された指定領域で顔を含む領域の検出を行い、他の領域においては顔を含む領域の検出を行わないようにするためである。指定領域の選択については、上述した図１７の第一の処理方法を適用した顔選択処理において説明した指定領域の選択とほぼ同様であるため、説明を省略する。

ステップＳ５２において、主制御部３０は、顔検出部４０に指定領域内における被写体の顔を含む領域を検出する顔検出処理を実行させる。なお、ステップＳ５１で選択された、指定領域内に加え周囲の所定のエリア（例えば顔の中心が指定領域内に入る最も広い範囲）に対して顔検出処理を行ってもよい。

ステップＳ５３において、表示制御手段としての表示制御部３３は、主制御部３０の制御に基づき検出された顔を含む領域に基づいた顔領域を表示する。このステップＳ５３においては、指定領域選択ステップＳ５１において選択された指定領域のみで顔検出が行われているので、指定領域に存在する顔を含む領域が検出され、その領域に基づく顔領域が表示される。

ステップＳ５４において、主制御部３０は、新たに指定領域の選択を受け付けたか否かの判定を行う。新たに指定領域の選択を受け付けたと判定された場合、処理は顔検出ステップＳ５２に戻り、指定領域内の顔検出を再度実行する。

一方、新たに指定領域の選択を受け付けていないと判定された場合、ステップＳ５５において、主制御部３０は、一の顔領域が選択されたか否かの判定を行う。主制御部３０は、一の顔領域の選択されていないと判定した場合、指定領域選択判定ステップＳ５４に戻り再度処理を繰り返す。一方、主制御部３０は、一の顔領域が選択されたと判定した場合、ステップＳ５６において、選択された顔を含む領域の検出が行われた領域に係わらず、選択された顔領域に基づく領域を撮影画像全体において追随する。例えば、顔領域が選択された人物が、指定領域とは異なる領域に移動した場合には、指定領域の範囲に係わらず、この人物が撮影画像から離脱するまで、画像信号全体において人物の顔を含む領域の検出を行う。以上で、第二の処理方法を適用した指定領域表示による顔選択処理は終了する。

この本実施形態における携帯電話機１で実行される第二の方法を適用した指定領域表示による顔選択処理は、図１７の第一の方法を適用した場合と同様の効果に加えて、顔検出処理の対象とする領域を狭領域化できるため、顔検出時間を短縮できるという点で有効である。

次に、第三の顔選択処理としての固定領域における顔を含む領域のみを検出し表示する固定領域検出・表示による顔選択処理について説明する。図２１は、本実施形態における携帯電話機１で実行される固定領域表示による顔選択処理を説明するフローチャートである。なお、上述した図１５、図１７および図２０の顔選択処理と対応する処理については、重複した説明を省略する。

ステップＳ６１において、主制御部３０は、顔検出部４０に顔検出処理を実行させる。このとき顔検出部４０は、撮影画像内における固定領域である検出優先領域内で顔検出を行う。ステップＳ６２において、表示制御部３３は、主制御部３０の制御に基づき顔検出部４０より供給された顔を含む領域の検出結果に基づいた顔領域を表示する。

図２２（Ａ）は顔検出を行う検出優先領域が表示された場合の撮影画像の表示例を示す図であり、（Ｂ）は検出優先領域内で検出された顔を含む領域に基づいた顔領域が表示された場合の撮影画像の表示例を示す図である。図２２（Ａ）に示すように、撮影画像内には固定領域としての検出優先領域８１が表示されている。顔検出部４０によりこの検出優先領域８１内で顔検出が行われると、図２２（Ｂ）に示すように、検出優先領域８１内で検出された顔を含む領域に基づいた顔領域が表示される。

優先検出領域８１は、図２２（Ａ）では実線の枠で表示されているが、表示方法はこれに限らず、例えば検出優先領域内を他の領域とは異なる色で表示してもよいし、検出優先領域を非表示にしてもよい。また、優先検出領域８１は、図２２（Ｂ）に示すように顔領域が検出された場合には非表示となっているが、これに限らず顔領域が検出された後も常に表示しておいてもよい。

なお、優先検出領域は、撮影者が携帯電話機１のカメラ２６、２７の向きを調整することにより、顔検出を行わせて合焦対象としたい顔が優先検出領域に収まるようにしてもよい。

図２３（Ａ）は、顔検出を行う検出優先領域が表示された場合の撮影画像の表示例を示す図であり、（Ｂ）はカメラ２６、２７の向きを調整した後の検出優先領域内で検出された顔を含む領域に基づいた顔領域が表示された場合の撮影画像の表示例を示す図である。撮影者が、図２３（Ａ）に示す人物Ｃを合焦対象としたい場合、検出優先領域８１内には人物Ｃの顔が含まれないため、顔検出することができない。このとき、撮影者は、人物Ｃの顔が検出優先領域８１内に収まるように携帯電話機１のカメラ２６、２７の向きを調整することにより、人物Ｃの顔検出を行わせることができる。

ステップＳ６３において、主制御部３０は、検出優先領域の移動を受け付けたか否かの判定を行う。主制御部３０は、検出優先領域の移動を受け付けたと判定した場合、ステップＳ６４において、顔検出優先領域を指示を受け付けた量だけ移動させる。また、検出優先領域の移動を受け付けた場合には、処理はステップＳ６１に戻り、移動後の検出優先領域において、再度、顔検出部４０により顔検出処理が実行される。

なお、この検出優先領域の移動機能は、携帯電話機１に設けられた必須の機能ではなくてもよい。移動機能が設けられていない場合には、ステップＳ６３、Ｓ６４をスキップして、ステップＳ６２からステップＳ６６に進む。

図２４（Ａ）は顔検出を行う検出優先領域が表示された場合の撮影画像の表示例を示す図であり、（Ｂ）は検出優先領域が移動した場合の撮影画像の表示例を示す図である。なお、説明の便宜上、図２４には検出された顔を含む領域に基づいた顔領域の表示は省略してある。また、図２４（Ｂ）の撮影画像内の点線で示された領域８２は移動前の検出優先領域を示し、実線で示された領域は移動後の検出優先領域８１を示す。

撮影者が、図２４（Ａ）に示す人物Ｃを合焦対象としたい場合、検出優先領域８１内には人物Ｃの顔が含まれていないため、顔検出することができない。このとき、撮影者は、人物Ｃの顔が検出優先領域８１に収まるように所定の操作キー１４（例えば十字キー１６）を操作することにより、人物Ｃの顔の顔を含む領域を検出させることができる。

ステップＳ６５において、主制御部３０は、一の顔領域が選択されたか否かの判定を行う。主制御部３０は、一の顔領域の選択されていないと判定した場合、顔検出ステップＳ６１に戻り再度処理を繰り返す。一方、主制御部３０は、一の顔領域が選択されたと判定した場合、ステップＳ６６において、顔を含む領域の検出が行われた検出優先領域に係わらず、選択された顔領域に基づいた顔を含む領域を撮影画像全体において追随する。以上で、固定領域検出・表示による顔選択処理は終了する。

この本実施形態における携帯電話機１で実行される固定領域検出・表示による顔選択処理は、顔検出処理の対象とする領域を狭領域化できるため、顔検出時間を短縮できるという点で有効である。また、予め固定された領域が検出優先領域として設けられているため、撮影者が顔検出を行いたい領域を指定する必要がない点でも顔選択を行う際の操作数を低減させることができる。

この携帯電話機１によれば、以上のような顔検出処理および顔選択処理を実行することにより、顔を含む領域の検出を効率よく行うことができ、あるいは検出された顔を含む領域に基づいて表示される顔領域の選択操作を容易にすることができる。

なお、本発明は携帯電話機以外にもＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）、パーソナルコンピュータ、携帯型ゲーム機、携帯型音楽再生機、携帯型動画再生機、その他の撮像機能を備えた携帯端末にも適用することができる。

また、本発明の各実施形態において説明した一連の処理は、ソフトウェアにより実行させることもできるが、ハードウェアにより実行させることもできる。

さらに、本発明の実施形態では、フローチャートのステップは、記載された順序に沿って時系列的に行われる処理の例を示したが、必ずしも時系列的に処理されなくとも、並列的あるいは個別実行される処理をも含むものである。

１ 携帯電話機
１４ 操作キー
１５ 数字キー
１６ 十字キー
１７ 確定キー
１８ 左ソフトキー
１９ 右ソフトキー
２３ メインディスプレイ
２２ サイドキー
２６ 内部カメラ
２７ 外部カメラ
２８ サブディスプレイ
３０ 主制御部
３１ 電源回路部
３２ 入力制御部
３３ 表示制御部
３４ 音声制御部
３６ 記憶部
３９ 画像入力部
４０ 顔検出部

Claims (9)

1. 被写体像を撮像して、画像信号を生成する撮像手段と、
   前記画像信号に基づいた撮影画像を表示する表示手段と、
   前記撮影手段による合焦が不可能とみなされた領域を除いた領域である合焦可能領域に関する情報としての検出領域情報を取得する取得手段と、
   前記検出領域情報に基づいて、前記画像信号から前記合焦可能領域内に存在する被写体の顔を含む領域を検出する顔検出手段と、
   検出された複数の顔を含む領域の検出結果に基づいて、顔領域を前記表示手段に表示させる表示制御手段と
   を備えたことを特徴とする撮像機能を備えた携帯端末。
2. 被写体像を撮像して、画像信号を生成する撮像手段と、
   前記画像信号に基づいた撮影画像を表示する表示手段と、
   前記画像信号内に存在する被写体の顔を含む領域を検出する顔検出手段と、
   前記画像信号内から検出された顔を含む領域のうち、前記撮影手段による合焦が不可能とみなされた領域を除いた領域である合焦可能領域に含まれる前記検出された顔を含む領域に基づいて、顔領域を前記表示手段に表示させる表示制御手段と
   を備えたことを特徴とする撮像機能を備えた携帯端末。
3. 前記撮影手段による合焦が不可能な領域の一部を除いた領域である検出領域に関する情報としての検出領域情報を取得する取得手段をさらに備え、
   前記顔検出手段は、前記検出領域情報に基づいて前記検出領域内に存在する前記顔を含む領域を検出する請求項２記載の撮像機能を備えた携帯端末。
4. 被写体像を撮像して、画像信号を生成する撮像手段と、
   前記画像信号に基づいて撮影画像を表示する表示手段と、
   前記画像信号内に存在する被写体の顔を含む領域を検出する顔検出手段と、
   予め設定された最大表示可能数より多い数の前記顔を含む領域が検出された場合、検出された複数の前記顔を含む領域のうち、所定の数の前記顔を含む領域に基づいて、所定の数の顔領域を前記表示手段に表示させる表示制御手段と、
   所定の数の前記顔領域の表示を別の所定の数の顔領域の表示に切り替える切替手段と、
   前記表示手段に表示された前記顔領域のうち一の前記顔領域の選択を受け付ける顔領域選択手段と、
   選択された一の前記顔領域に基づいた位置を合焦位置として前記撮影手段の合焦制御を行う合焦制御手段と
   を備えたことを特徴とする撮像機能を備えた携帯端末。
5. 被写体像を撮像して、画像信号を生成する撮像手段と、
   前記画像信号に基づいた撮影画像を表示する表示手段と、
   前記画像信号内に存在する被写体の顔を含む領域を検出する顔検出手段と、
   前記表示された撮影画像が所定数に分割された領域の中から一の領域の選択を受け付ける指定領域選択手段と、
   前記指定領域選択手段により選択された指定領域内に存在する、検出された顔を含む領域に基づいて、顔領域を前記表示手段に表示させる表示制御手段と、
   前記表示手段に表示された前記顔領域のうち一の前記顔領域の選択を受け付ける顔領域選択手段と、
   選択された一の前記顔領域に基づいた位置を合焦位置として前記撮影手段の合焦制御を行う合焦制御手段と
   を備えたことを特徴とする撮像機能を備えた携帯端末。
6. 被写体像を撮像して、画像信号を生成する撮像手段と、
   前記画像信号に基づいて撮影画像を表示する表示手段と、
   前記表示された撮影画像が所定数に分割された領域の中から一の領域を選択させる指定領域選択手段と、
   前記画像信号に基づいて前記指定領域選択手段により選択された指定領域内に存在する被写体の顔を含む領域を検出する顔検出手段と、
   検出された顔を含む領域に基づいた顔領域を前記表示手段に表示させる表示制御手段と、
   前記表示手段に表示された前記顔領域のうち一の前記顔領域の選択を受け付ける顔領域選択手段と、
   選択された一の前記顔領域に基づいた位置を合焦位置として前記撮影手段の合焦制御を行う合焦制御手段と
   を備えたことを特徴とする撮像機能を備えた携帯端末。
7. 被写体像を撮像して、画像信号を生成する撮像手段と、
   前記画像信号に基づいて撮影画像を表示する表示手段と、
   前記画像信号のうち予め設定された検出優先領域内に存在する被写体の顔を含む領域を検出する顔検出手段と、
   検出された前記顔を含む領域に基づいて、顔領域を前記表示手段に表示させる表示制御手段と、
   前記表示手段に表示された前記顔領域のうち一の前記顔領域の選択を受け付ける顔領域選択手段と、
   選択された一の前記顔領域に基づいた位置を合焦位置として前記撮影手段の合焦制御を行う合焦制御手段と
   を備えたことを特徴とする撮像機能を備えた携帯端末。
8. 前記検出優先領域を前記表示された撮影画像上において移動させる移動手段をさらに備えた請求項７記載の撮像機能を備えた携帯端末。
9. 前記顔領域選択手段により一の前記顔領域の選択が受け付けられた場合、顔領域の検出が行われた領域に係わらず、選択された前記顔領域を前記撮影画像内全体において追随する請求項６または７記載の撮像機能を備えた携帯端末。

Images