JP5681871B2 - 撮像装置、撮像方法及びプログラム - Google Patents

Description

本発明は、撮像素子を用いて映像を撮像する撮像装置、撮像方法及びプログラムに関し、特に、被写体の状態を判定することにより、撮像によって得られた映像を自動的に記憶する撮像装置、撮像方法及びプログラムに関する。

近年、小型カメラモジュールを装備した携帯可能な撮像装置として電子スチルカメラやカメラ付き携帯電話の需要が増え続けている。それに伴って、カメラの性能及び機能に対するユーザーからの要求が、厳しくなってきていると同時に多様化してきている。

携帯可能な撮像装置に対するユーザーの要求で多数を占めるのは、解像度、色再現、感度などの性能に関するものと、多機能化、各種処理時間の短縮、ユーザインタフェースの充実などの使い勝手の向上に関するものとに大別される。

これまでの携帯可能な撮像装置の開発は、性能に関するものを重視して進められてきており、画素数などカタログ上での性能の優劣を競うことが多かった。最近では、携帯可能な撮像装置の性能や仕様が均衡してきており、ユーザーの要求も、必要十分な性能が満たされた上での使い勝手の向上に関するものに移行しつつある。

そのため、最近では特に、手ぶれを補正する機能や、顔を検出してＡＦ（Ａｕｔｏ Ｆｏｃｕｓ）及びＡＥ（Ａｕｔｏ Ｅｘｐｏｓｕｒｅ）を行う機能が搭載され、ユーザーが意図した撮影を行えるようにするための新技術開発が加速されている。なお、撮影とは、撮像によって得られた映像を撮像装置が有する記憶手段に記憶する動作のことをいう。

ここで、ユーザーが、自身が意図した撮影を行えなかったと感じるのは、被写体の人物の顔の表情が良い表情（例えば、笑顔）でなかった場合が最も多いと考えられる。

そこで、被写体の人物の顔の表情を認識し、顔の表情が所定の表情（例えば、笑顔）になった場合に撮影が行われる技術が求められ、それを可能にする技術が例えば、特許文献１に開示されている。

特許文献１に開示されている技術では、撮像によって得られた被写体の映像信号から人物の顔を検出し、検出された顔の表情を一定の条件に基づいて評価する。そして、評価された顔の表情が一定の条件に達した場合に自動的に撮影が行われる。また、被写体に複数の人物が含まれる場合でも同様に、それぞれの人物の顔の表情を一定の条件に基づいてそれぞれ評価し、評価されたそれぞれの顔の表情が一定の条件に達した場合に自動的に撮影が行われる。

特開２００８−４２３１９号公報

上述したように、特許文献１に開示されている技術を利用すれば、被写体に複数の人物が含まれている場合でも、それぞれの人物の顔の表情が所定の表情（例えば、笑顔）になった場合に自動的に撮影が行われるため、ユーザーが意図した撮影を行うことが可能となるように思える。

しかしながら、撮影シーンによっては、複数の人物の顔の表情を同じ条件で評価した結果に基づいて撮影を行うべきではない場面が想定され、その場合、複数の人物の顔の表情に基づいた撮影が自動的に行われても、ユーザーが意図していない結果となってしまうという問題点がある。

本発明は、被写体に複数の人物が含まれる場合でも、その撮影シーンに応じてユーザーが意図する撮影を自動的に行うことができる撮像装置、撮像方法及びプログラムを提供することを目的とする。

上記目的を達成するために本発明は、
被写体の映像を記憶するための記憶手段と、
前記被写体の映像の撮像による信号から人物の顔を検出する検出手段と、
前記検出手段が複数の人物の顔を検出した場合、前記検出された複数の人物の顔それぞれの表情を評価し、前記評価されたそれぞれの表情を数値化した複数の表情値を算出する評価手段と、
前記複数の表情値から、前記被写体の映像を記憶するかどうかを判定するための判定用表情値を算出し、前記判定用表情値が予め決められた閾値以上である場合、前記被写体の映像を前記記憶手段に記憶させる制御手段と、を有する。

また、被写体の映像を記憶するための記憶手段を有する撮像装置における撮像方法であって、
前記被写体の映像の撮像による信号から人物の顔を検出する処理と、
複数の人物の顔を検出した場合、前記検出された複数の人物の顔それぞれの表情を評価し、前記評価されたそれぞれの表情を数値化した複数の表情値を算出する処理と、
前記複数の表情値から、前記被写体の映像を記憶するかどうかを判定するための判定用表情値を算出し、前記判定用表情値が予め決められた閾値以上である場合、前記被写体の映像を前記記憶手段に記憶させる処理と、を有する。

また、被写体の映像を記憶するための記憶手段を有する撮像装置に、
前記被写体の映像の撮像による信号から人物の顔を検出する機能と、
複数の人物の顔を検出した場合、前記検出された複数の人物の顔それぞれの表情を評価し、前記評価されたそれぞれの表情を数値化した複数の表情値を算出する機能と、
前記複数の表情値から、前記被写体の映像を記憶するかどうかを判定するための判定用表情値を算出し、前記判定用表情値が予め決められた閾値以上である場合、前記被写体の映像を前記記憶手段に記憶させる機能と、を実現させる。

本発明は以上説明したように構成されているので、様々な撮影シーンにおいて、ユーザーが意図する撮影をシャッターチャンスを逃さずに自動的に行うことができる。

本発明の撮像装置の第１の実施の形態を示す図である。 図１に示した撮像装置において、複数の人物を含む被写体を撮影する場合の動作の一例を説明するためのフローチャートである。 図１に示した表示部に表示されている複数の顔表示枠に囲まれた複数の顔を示す図である。 図１に示した表示部に表示されている複数の顔表示枠に囲まれた複数の顔を示す図である。 図１に示した表示部に表示されている複数の顔表示枠に囲まれた複数の顔を示す図である。 図１に示した表示部に表示されている複数の顔表示枠に囲まれた複数の顔を示す図である。 図１に示した表示部に表示されている複数の顔表示枠に囲まれた複数の顔を示す図である。 本発明の撮像装置の第２の実施の形態を示す図である。 図８に示した撮像装置において、複数の人物を含む被写体を撮影する場合の動作の一例を説明するためのフローチャートである。 図８に示した表示部に表示されている複数の顔表示枠に囲まれた複数の顔を示す図である。 図１に示した撮像装置において、複数の人物を含む被写体を撮影する場合の動作の他の例を説明するためのフローチャートである。 図１に示した表示部に表示されている複数の顔表示枠に囲まれた複数の顔を示す図である。

以下に、本発明の実施の形態について図面を参照して説明する。
（第１の実施の形態）
図１は、本発明の撮像装置の第１の実施の形態を示す図である。

本形態の撮像装置１００は図１に示すように、カメラモジュール１０１と、制御部１１０と、バッファメモリ１１１と、表示部１１２と、記憶手段である記録用メモリ１１３とを備えている。

また、図１に示すようにカメラモジュール１０１は、光学レンズ部１０２と、撮像素子部１０３と、ＡＤ（アナログデジタル）変換部１０４と、映像信号処理部１０５と、ＩＦ（インタフェース）部１０６と、駆動パルス供給部１０７と、マイコン１０８とを備えている。

光学レンズ部１０２は、被写体にて反射した光を集光する。

撮像素子部１０３は、光学レンズ部１０２が集光した光をアナログの映像信号に変換し、変換されたアナログ映像信号をＡＤ変換部１０４へ送信する。

ＡＤ変換部１０４は、撮像素子部１０３から送信されたアナログ映像信号を受信すると、受信したアナログ映像信号をデジタルの映像信号に変換し、映像信号処理部１０５へ送信する。

映像信号処理部１０５は、映像処理部１０５ａと、検出部１０５ｂと、評価部１０５ｃとを備えている。

映像処理部１０５ａは、ＡＤ変換部１０４から送信されたデジタル映像信号に基づく映像に色補間や色補正、画質調整等の映像処理や、検出部１０５ｂが検出した人物の顔の部分に顔であることを明示する顔表示枠を表示させる映像処理を施す。そして、映像処理部１０５ａは、マイコン１０８から、ＡＤ変換部１０４から受信したデジタル映像信号に基づく映像をバッファメモリ１１１に記憶するための映像記憶指示を受信すると、ＡＤ変換部１０４から受信したデジタル映像信号をＩＦ部１０６及び内部バス１０９を介してバッファメモリ１１１へ送信する。

検出部１０５ｂは、ＡＤ変換部１０４から送信されたデジタル映像信号に基づく映像から人物の顔を検出する。

評価部１０５ｃは、検出部１０５ｂが検出した人物の顔の表情を評価し、評価された表情を数値化した表情値を算出する。そして、算出した表情値をＩＦ部１０６及び内部バス１０９を介して制御部１１０へ送信する。

ＩＦ部１０６は、マイコン１０８と制御部１１０との間の制御信号の送受信を仲介する。

駆動パルス供給部１０７は、撮像素子部１０３を駆動するためのパルスを供給する。

マイコン１０８は、ＩＦ部１０６を介してカメラモジュール１０１に入ってくる制御信号に基づき、映像信号処理部１０５や駆動パルス供給部１０７を制御する。また、制御部１１０から送信される、撮影を指示するための撮影指示を受信すると、デジタル映像信号に基づく映像をバッファメモリ１１１に記憶するための映像記憶指示を映像信号処理部１０５へ送信する。

内部バス１０９は、カメラモジュール１０１と制御部１１０、バッファメモリ１１１、表示部１１２及び記録用メモリ１１３との間のデジタル映像信号や制御信号の送受信を仲介する。

制御部１１０は、撮像装置１００の動作を制御するものであり、代表的な動作としては以下が挙げられる。
（１）撮影を行うかどうかを判定する際の基準となる閾値を記憶する。
（２）映像信号処理部１０５から送信された表情値をＩＦ部１０６及び内部バス１０９を介して受信する。
（３）受信した表情値から、撮影を行うかどうかの判定をするために使用される判定用表情値を算出する。
（４）算出した判定用表情値と閾値とを比較し、撮影を行うかどうかの判定を行う。
（５）撮影を行う判定をした場合、撮影を指示するための撮影指示を内部バス１０９及びＩＦ部１０６を介してマイコン１０８へ送信する。

バッファメモリ１１１は、映像信号処理部１０５から送信されたデジタル映像信号をＩＦ部１０６及び内部バス１０９を介して受信し、受信したデジタル映像信号に基づく映像を一時的に記憶する。

表示部１１２は、映像信号処理部１０５から送信されたデジタル映像信号をＩＦ部１０６及び内部バス１０９、バッファメモリ１１１を介して受信し、受信したデジタル映像信号に基づく映像を表示する。

記録用メモリ１１３は、バッファメモリ１１１に記憶されているデジタル映像信号に基づく映像を制御部１１０の指示によって記憶する。

以下に、上記のように構成された撮像装置で複数の人物を含む被写体を撮影する場合の動作について説明する。

図２は、図１に示した撮像装置１００において、複数の人物を含む被写体を撮影する場合の動作の一例を説明するためのフローチャートである。

まず、ユーザーによって撮像装置１００の電源が投入され、撮像装置１００が起動する（ステップＳ１）。

撮像装置１００が起動すると、制御部１１０はイニシャライズを実行する。このイニシャライズにより、撮像装置１００の動作クロック、撮影画角、画質設定等の初期値設定が行われ、撮像装置１００での撮影が可能となる。

次に、光学レンズ部１０２は、被写体にて反射した光を集光する。

そして、撮像素子部１０３は、光学レンズ部１０２が集光した光をアナログの映像信号に変換し、変換されたアナログ映像信号をＡＤ変換部１０４へ送信する。

撮像素子部１０３から送信されたアナログ映像信号を受信したＡＤ変換部１０４は、受信したアナログ映像信号をデジタル映像信号に変換し、映像信号処理部１０５へ送信する。

ＡＤ変換部１０４から送信されたデジタル映像信号を受信した映像信号処理部１０５の映像処理部１０５ａは、受信したデジタル映像信号に基づく映像に色補間や色補正、画質調整等の映像処理を施し、バッファメモリ１１１へ送信する。

映像信号処理部１０５から送信された映像信号をＩＦ部１０６及び内部バス１０９、バッファメモリ１１１を介して受信した表示部１１２は、受信した映像信号に基づく被写体の映像を表示する（ステップＳ２）。

ここで、ユーザーは、表示部１１２に出力された被写体の映像を見ながら被写体の構図を決定することになる。

次に、映像信号処理部１０５の検出部１０５ｂは、ＡＤ変換部１０４から受信したデジタル映像信号から人物の顔を検出し、その旨を映像処理部１０５ａへ通知する。

検出部１０５ｂから通知を受けた映像処理部１０５ａは、検出した人物の顔の部分に顔表示枠を表示させる映像処理を施したデジタル映像信号をバッファメモリ１１１へ送信する。

映像信号処理部１０５から送信された映像信号をＩＦ部１０６及び内部バス１０９、バッファメモリ１１１を介して受信した表示部１１２は、ステップＳ２において表示した被写体の映像に顔表示枠が重畳された映像を表示する（ステップＳ３）。

図３は、図１に示した表示部１１２に表示されている複数の顔表示枠に囲まれた複数の顔の一例を示す図である。なお、図３においては、説明をわかりやすくするため、顔表示枠で囲まれた顔以外の部分の記載は省略している。

図３に示すように図１に示した表示部１１２には、被写体の複数の人物の顔の部分それぞれに顔表示枠３１〜３３が表示されている。

次に、映像信号処理部１０５の評価部１０５ｃは、検出部１０５ｂが検出した人物の顔それぞれの表情を評価し、それぞれの表情値を算出する（ステップＳ４）。表情値の算出方法としては、例えば、表情のサンプル映像を映像信号処理部１０５内に保持しておき、そのサンプル映像と検出した人物の顔の表情との比較によって算出する方法がある。

そして、評価部１０５ｃは、算出したそれぞれの顔の表情値をＩＦ部１０６及び内部バス１０９を介して制御部１１０へ送信する（ステップＳ５）。

映像信号処理部１０５から送信された複数の表情値を受信した制御部１１０は、受信した複数の表情値から所定の方法を用いて、判定用表情値を算出する（ステップＳ６）。なお、複数の表情値から判定用表情値を算出する方法は複数あり、ユーザーは、撮影シーンに応じ、その方法を選択することができる。判定用表情値を算出する方法については後述する。

次に、制御部１１０は、算出した判定用表情値と、自身が記憶している閾値とを比較する（ステップＳ７）。

算出した判定用表情値と閾値とを比較した結果、算出した判定用表情値が閾値以上であった場合、制御部１１０は、撮影指示を内部バス１０９及びＩＦ部１０６を介してマイコン１０８へ送信する（ステップＳ８）。

制御部１１０から送信された撮影指示を受信したマイコン１０８は、映像信号処理部１０５が受信したデジタル映像信号に基づく映像をバッファメモリ１１１に記憶するための映像記憶指示を映像信号処理部１０５へ送信する（ステップＳ９）。

一方、ステップＳ７において、算出した判定用表情値と閾値とを比較した結果、算出した判定用表情値が閾値よりも低い場合、制御部１１０は、撮影指示をマイコン１０８へ送信しない。この場合、ステップＳ４の動作に戻り、映像信号処理部１０５は、表情値を算出する動作と、算出した表情値を制御部１１０へ送信する動作とを継続する。また、制御部１１０は、映像信号処理部１０５から受信した複数の表情値から所定の方法を用いて判定用表情値を算出し、閾値と比較する動作を継続する。

マイコン１０８から送信された映像記憶指示を受信した映像信号処理部１０５の映像処理部１０５ａは、ＡＤ変換部１０４から受信したデジタル映像信号をＩＦ部１０６及び内部バス１０９を介してバッファメモリ１１１へ送信する。

映像信号処理部１０５から送信されたデジタル映像信号をＩＦ部１０６及び内部バス１０９を介して受信したバッファメモリ１１１は、受信したデジタル映像信号に基づく映像を一時的に記憶する（ステップＳ１０）。

次に、制御部１１０は、バッファメモリ１１１に記憶されている映像を取得し、映像を記録用メモリ１１３に記憶するために必要な映像処理を施し、映像処理を施した映像を記録用メモリ１１３に記憶させる（ステップＳ１１）。なお、本動作によって撮影が完了したこととなる。

以上が、本実施形態の撮像装置において、複数の人物を含む被写体を撮影する場合の動作である。

以下に、上述した動作フローのステップＳ６において、制御部１１０が判定用表情値を算出する方法と、ステップＳ７において制御部１１０が行う、算出した判定用表情値と閾値との比較について、具体例を示しながら図面を参照して説明する。

ここで、表情値は、検出した顔の表情と映像信号処理部１０５が保持しているサンプル映像とを比較することによって算出されることとする。具体的には、映像信号処理部１０５は、検出された顔の表情がサンプル映像から乖離している割合を算出し、その乖離している割合をパーセントで示した値を表情値とする。また、ここでは閾値を７０％とする。

まず最初に、判定用表情値の算出方法として、複数の表情値のうち、最も高い表情値を判定用表情値とする場合について説明する。

図４は、図１に示した表示部１１２に表示されている複数の顔表示枠に囲まれた複数の顔を示す図であり、（ａ）は複数の顔の表情値のうち、最も高い表情値が閾値よりも低い場合を示す図、（ｂ）は複数の顔の表情値のうち、最も高い表情値が閾値以上である場合を示す図である。なお、図４においては、説明をわかりやすくするため、顔表示枠で囲まれた顔以外の部分の記載は省略している。以降の説明で参照する図５〜図７においても同様である。

図４（ａ）に示す例で、３つの顔４１〜４３の表情値が、それぞれ５０％、５％、０％であったとすると、最も高い表情値を示しているのは顔４１（表情値５０％）である。この顔４１の表情値である５０％が判定用表情値となる。従って、上述した動作フローのステップＳ７において、制御部１１０は、判定用表情値が閾値よりも低いと判定し、撮影指示をマイコン１０８へ送信しない。

一方、図４（ｂ）に示す例で、３つの顔４４〜４６の表情値が、それぞれ８０％、５０％、０％であったとすると、最も高い表情値を示しているのは顔４４（表情値８０％）である。この顔４４の表情値である８０％が判定用表情値となる。従って、上述した動作フローのステップＳ７において、制御部１１０は、判定用表情値が閾値以上であると判定し、撮影指示をマイコン１０８へ送信する。

次に、判定用表情値の算出方法として、複数の表情値のうち、最も低い表情値を判定用表情値とする場合について説明する。

図５は、図１に示した表示部１１２に表示されている複数の顔表示枠に囲まれた複数の顔を示す図であり、（ａ）は複数の顔の表情値のうち、最も低い表情値が閾値よりも低い場合を示す図、（ｂ）は複数の顔の表情値のうち、最も低い表情値が閾値以上である場合を示す図である。

図５（ａ）に示す例で、３つの顔５１〜５３の表情値が、それぞれ８０％、５０％、０％であったとすると、最も低い表情値を示しているのは顔５３（表情値０％）である。この顔５３の表情値である０％が判定用表情値となる。従って、上述した動作フローのステップＳ７において、制御部１１０は、判定用表情値が閾値よりも低いと判定し、撮影指示をマイコン１０８へ送信しない。

一方、図５（ｂ）に示す例で、３つの顔５４〜５６の表情値が、それぞれ１００％、８０％、７０％であったとすると、最も低い表情値を示しているのは顔５６（表情値７０％）である。この顔５６の表情値である７０％が判定用表情値となる。従って、上述した動作フローのステップＳ７において、制御部１１０は、判定用表情値が閾値以上であると判定し、撮影指示をマイコン１０８へ送信する。

次に、判定用表情値の算出方法として、複数の表情値の平均値を判定用表情値とする場合について説明する。

図６は、図１に示した表示部１１２に表示されている複数の顔表示枠に囲まれた複数の顔を示す図であり、（ａ）は複数の顔の表情値の平均値が閾値よりも低い場合を示す図、（ｂ）は複数の顔の表情値の平均値が閾値以上である場合を示す図である。

図６（ａ）に示す例で、３つの顔６１〜６３の表情値が、それぞれ８０％、５０％、０％であったとすると、平均値は４３％である。この平均値４３％が判定用表情値となる。従って、上述した動作フローのステップＳ７において、制御部１１０は、判定用表情値が閾値よりも低いと判定し、撮影指示をマイコン１０８へ送信しない。

一方、図６（ｂ）に示す例で、３つの顔６４〜６６の表情値が、それぞれ１００％、１０％、１００％であったとすると、平均値は７０％である。この平均値７０％が判定用表情値となる。従って、上述した動作フローのステップＳ７において、制御部１１０は、判定用表情値が閾値以上であると判定し、撮影指示をマイコン１０８へ送信する。

次に、判定用表情値の算出方法として、複数の表情値のうち、最も高い表情値と最も低い表情値とを除外した残りの表情値の平均値を判定用表情値とする場合について説明する。

図７は、図１に示した表示部１１２に表示されている複数の顔表示枠に囲まれた複数の顔を示す図であり、（ａ）は複数の顔の表情値のうち、最も高い表情値と最も低い表情値とを除外した残りの表情値の平均値が閾値よりも低い場合を示す図、（ｂ）は複数の顔の表情値のうち、最も高い表情値と最も低い表情値とを除外した残りの表情値の平均値が閾値以上である場合を示す図である。

図７（ａ）に示す図で、３つの顔７１〜７３の表情値が、それぞれ８０％、５０％、０％であったとすると、最も高い表情値を示しているのは顔７１（表情値８０％）であり、最も低い表情値を示しているのは顔７３（表情値０％）である。これら２つの表情値を除外した残りの表情値の平均値は５０％であり、この平均値５０％が判定用表情値となる。従って、上述した動作フローのステップＳ７において、制御部１１０は、判定用表情値が閾値よりも低いと判定し、撮影指示をマイコン１０８へ送信しない。

一方、図７（ｂ）に示す図で、３つの顔７４〜７６の表情値が、それぞれ１００％、１０％、７０％であったとすると、最も高い表情値を示しているのは顔７４（表情値１００％）であり、最も低い表情値を示しているのは顔７５（表情値１０％）である。これら２つの表情値を除外した残りの表情値の平均値は７０％であり、この平均値７０％が判定用表情値となる。従って、上述した動作フローのステップＳ７において、制御部１１０は、判定用表情値が閾値以上であると判定し、撮影指示をマイコン１０８へ送信する。

なお、この判定用表情値の算出方法では、複数の表情値のうち最も高い表情値と最も低い表情値とを除外して平均値を算出し、判定用表情値とする場合について説明した。しかし、除外する表情値は最も高い表情値と最も低い表情値との２つの表情値に限定されるものではなく、複数の表情値のうち、上下所定数を除外することが可能である。

なお、上述した第１の実施の形態では、撮影が行われる基準となる閾値を７０％として説明したが、この閾値は、ユーザーが任意に設定することができる。

このように、第１の実施の形態においては、被写体に複数の人物が含まれる場合でも、その撮影シーンに応じ、上述した複数の判定用表情値を使いわけることにより、ユーザーが意図する撮影を自動的に行うことが可能となる。
（第２の実施の形態）
上述した第１の実施の形態では、制御部１１０が記憶している撮影を行うかどうかを判定する際の基準となる閾値は１つだけであった。以下に説明する第２に実施の形態では、表情値に優先度を付加し、優先度が付加された表情値のための優先表情値用閾値と、優先度が付加されていない表情値のための非優先表情値用閾値との複数の閾値を設ける場合について説明する。

図８は、本発明の撮像装置の第２の実施の形態を示す図である。

図８に示すように本形態では、図１に示した映像信号処理部１０５は、映像処理部１０５ａ、検出部１０５ｂ及び評価部１０５ｃに加え、優先顔決定部１０５ｄを備えている。

この優先顔決定部１０５ｄが、検出部１０５ｂによって検出された人物の顔の表情値の優先度を決定する。

図９は、図８に示した撮像装置１００において、複数の人物を含む被写体を撮影する場合の動作の一例を説明するためのフローチャートである。

図９に示すフローチャートにおいて、ステップＳ５１〜Ｓ５４までの動作は、図２に示したフローチャートのステップＳ１〜Ｓ４までの動作と同じであるため、説明を省略する。

優先顔決定部１０５ｄは、検出部１０５ｂが検出した人物の顔のそれぞれについて表示されている顔表示枠の面積を算出する（ステップＳ５５）。

そして、優先顔決定部１０５ｄは、面積の最も大きな顔表示枠を持つ顔の表情値を優先度の高い表情値である優先表情値と決定する（ステップＳ５６）。決定された優先表情値は、評価部１０５ｃへ通知される。

そして、評価部１０５ｃは、算出したそれぞれの顔の表情値をＩＦ部１０６及び内部バス１０９を介して制御部１１０へ送信する。その際、評価部１０５ｃは、優先表情値には、その旨を示す情報を付加して送信する（ステップＳ５７）。

映像信号処理部１０５から送信された表情値を受信した制御部１１０は、受信した表情値の中から、優先表情値を抽出する（ステップＳ５８）。

優先表情値を抽出した制御部１１０は、抽出した優先表情値と自身が記憶している優先表情値用閾値とを比較し、また、優先表情値以外の表情値である非優先表情値と自身が記憶している非優先表情値用閾値とを比較する（ステップＳ５９）。

図１０は、図８に示した表示部１１２に表示されている複数の顔表示枠に囲まれた複数の顔を示す図であり、（ａ）は優先表情値が優先表情値用閾値以上であり、非優先表情値も非優先表情値用閾値以上である場合を示す図、（ｂ）は優先表情値が優先表情値用閾値以上であるが、非優先表情値は非優先表情値用閾値よりも低い場合を示す図である。ここでは、優先表情値用閾値を７０％とし、非優先表情値用閾値を５０％としている。なお、図１０においては、説明をわかりやすくするため、顔表示枠で囲まれた顔以外の部分の記載は省略している。

図１０（ａ）に示す例では、３つの顔８１〜８３の表情値は、それぞれ５０％、８０％、５０％である。この３つの顔に表示された顔表示枠のうち、顔８２に表示された顔表示枠は、他の顔８１，８３に表示された顔表示枠に比べて面積が大きい。よって、顔８２の表情値である８０％が優先表情値となり、この値は、優先表情値用閾値以上である。また、顔８１及び顔８３の表情値はともに５０％であり、この値は、非優先表情値用閾値以上である。従って、制御部１１０は、撮影指示をマイコン１０８へ送信する。（ステップＳ６０）。

一方、図１０（ｂ）に示す例では、３つの顔８４〜８６の表情値は、それぞれ０％、８０％、５０％である。この３つの顔に表示された顔表示枠のうち、顔８５に表示された顔表示枠は、他の顔８４，８６に表示された顔表示枠に比べて面積が大きい。よって、顔８５の表情値である８０％が優先表情値となり、この値は、優先表情値用閾値以上である。しかし、顔８４の表情値は０％であり、この値は、非優先表情値用閾値よりも低い。従って、制御部１１０は、撮影指示をマイコン１０８へ送信しない。この場合、ステップＳ５４の動作に戻り、映像信号処理部１０５は、表情値及び顔表示枠の面積の算出と、算出した表情値を制御部１１０へ送信する動作とを継続する。また、制御部１１０は、映像信号処理部１０５から受信した複数の表情値のうち、優先表情値を抽出し、抽出した優先表情値と優先表情値用閾値とを比較する動作を継続する。

以降の動作であるステップＳ６１〜Ｓ６３は、図２に示したフローチャートのステップＳ９〜Ｓ１１と同じである。

なお、上述した第２の実施の形態においては、優先度は顔表示枠の面積によって決定される場合を説明したが、表示部１１２に表示される画面においてより中心に近いところにある顔の表情値を優先表情値としてもよい。

また、上述した第２の実施の形態においては、それぞれの非優先表情値を非優先表情値用閾値と比較をしたが、優先表情値以外の表情値の平均値を非優先表情値とし、これを非優先表情値用閾値と比較をするようにしてもよい。

このように、第２の実施の形態においては、複数の表情値から優先度の高い優先表情値が選択され、その優先表情値に基づいて撮影が行われる。従って、複数の人物のうち、ある特定の人物の表情を重視したいという、撮影シーンにおいて想定されるユーザーの意図を汲み取った撮影を自動的に行うことが可能となる。
（第３の実施の形態）
上述した第１の実施の形態及び第２の実施の形態では、撮影が行われるかどうかを判定する際の基準となる閾値は、1回の撮影において固定値であった。以下に説明する第３の実施の形態では、制御部１１０が受信する複数の表情値に基づき、閾値が変更される場合について説明する。

ここでは、第１の実施の形態で説明した複数の表情値の平均値を判定用表情値とする方法を用いている場合について説明することとし、当初設定されている閾値を７０％とする。

また、ここでは、最も高い表情値と最も低い表情値とを比較し、その差である表情値差が一定値以上の場合、当初設定されている閾値が変更されるものとする。具体的には、表情値差が８０％以上の場合、閾値が変更されることとし、変更後の閾値は５０％とする。

また、第３の実施の形態において、撮像装置の構成は、図１に示した撮像装置１００と同じである。

図１１は、図１に示した撮像装置において、複数の人物を含む被写体を撮影する場合の動作の他の例を説明するためのフローチャートである。

図１１に示したフローチャートにおいて、ステップＳ１０１〜Ｓ１０５までの動作は、図２に示したフローチャートのステップＳ１〜Ｓ５までの動作と同じであるため、説明を省略する。

映像信号処理部１０５から送信された複数の表情値を受信した制御部１１０は、受信した複数の表情値のうち、最も高い表情値と最も低い表情値とを比較する（ステップＳ１０６）。

図１２は、図１に示した表示部１１２に表示されている複数の顔表示枠に囲まれた複数の顔を示す図であり、（ａ）は閾値が変更される場合を示す図、（ｂ）は閾値が変更されない場合を示す図である。なお、図１２においては、説明をわかりやすくするため、顔表示枠で囲まれた顔以外の部分の記載は省略している。

図１２（ａ）に示す例では、３つの顔９１〜９３の表情値は、それぞれ８０％、５０％、０％である。最も高い表情値を示しているのは顔９１（表情値８０％）であり、最も低い表情値を示しているのは顔９３（表情値０％）であるため、顔９１と顔９３と表情値の差は８０％以上である。

従って、制御部１１０は、閾値を変更する（ステップＳ１０７）。

そして、制御部１１０は、判定用表情値を算出する（ステップＳ１０８）。ここでは、上述したように、複数の表情値の平均値を判定用表情値とするため、顔９１〜９３の表情値の平均値を算出する。

一方、図１２（ｂ）に示す例では、３つの顔９４〜９６の表情値は、それぞれ１００％、５０％、７０％である。最も高い表情値を示しているのは顔９４（表情値１００％）であり、最も低い表情値を示しているのは顔９５（表情値５０％）であるため、顔９４と顔９５との表情値の差は８０％よりも小さい。

従って、制御部１１０は、閾値を変更せずにステップＳ１０８の動作に移行し、判定用表情値を算出する。

以降の動作であるステップＳ１０９〜Ｓ１１３は、図２に示したフローチャートのステップＳ７〜Ｓ１１と同じである。

なお、上述した第３の実施の形態においては、最も高い表情値と最も低い表情値とを比較し、その差が一定値以上の場合、閾値が変更される場合について説明したが、比較する表情値は最も高い表情値と最も低い表情値に限定されることはない。例えば、最も低い表情値と２番目に低い表情値との差が一定値以上の場合、閾値が変更されるようにすることも可能である。

このように、第３の実施の形態においては、複数の表情値の表情値差が大きな場合、自動的に閾値を変更するため、被写体の複数の人物の表情に個人差があるような場合でも、自動的に撮影を行うことが可能となる。

なお、上述した３つの形態では、検出された人物の顔が３つの場合を一例として説明したが、顔は３つに限定されるものではなく、３つよりも多くても、少なくてもよい。

また、上述した撮像装置１００は、図１及び図８に示したカメラモジュール１０１を用いた構成をとる撮像装置、例えば、電子スチルカメラ、カメラ付き携帯電話などの全ての撮像装置に適用できる。

また、上述した３つの形態では、検出部、評価部及び優先顔決定部は、映像信号処理部１０５に実装する場合の構成で説明したが、検出部、評価部及び優先顔決定部を制御部１１０に実装して実施することも可能である。

また、本発明においては、撮像装置内の処理は上述の専用のハードウェアにより実現されるもの以外に、その機能を実現するためのプログラムを撮像装置にて読取可能な記録媒体に記録し、この記録媒体に記録されたプログラムを撮像装置に読み込ませ、実行するものであっても良い。撮像装置にて読取可能な記録媒体とは、フロッピーディスク、光磁気ディスク、ＤＶＤ、ＣＤなどの移設可能な記録媒体の他、撮像装置に内蔵されたＨＤＤなどを指す。

この出願は、２００８年７月１７日に出願された日本出願特願２００８−１８６１７９を基礎とする優先権を主張し、その開示の全てをここに取り込む。

Claims (3)

1. 被写体の映像を記憶するための記憶手段と、
   前記被写体の映像の撮像による信号から人物の顔を検出する検出手段と、
   前記検出手段が複数の人物の顔を検出した場合、前記検出された複数の人物の顔それぞれの表情を評価し、前記評価されたそれぞれの表情を数値化した複数の表情値を算出する評価手段と、
   前記検出手段が検出した人物の顔ごとに、当該顔を囲う顔表示枠を設定する映像処理部と、
   前記検出手段が検出した複数の人物の顔のうち、面積の最も大きな顔表示枠を持つ顔を、優先的な顔として決定する優先顔決定手段と、
   前記優先的な顔の表情値である優先表情値が予め決められた優先表情値用閾値以上であり、かつ、前記複数の表情値のうち前記優先表情値以外の表情値である非優先表情値が予め決められた非優先表情値用閾値以上である場合、前記被写体の映像を前記記憶手段に記憶させる制御手段と、を有する撮像装置。
2. 被写体の映像を記憶するための記憶手段を有する撮像装置における撮像方法であって、
   前記被写体の映像の撮像による信号から人物の顔を検出する処理と、
   複数の人物の顔を検出した場合、前記検出された複数の人物の顔それぞれの表情を評価し、前記評価されたそれぞれの表情を数値化した複数の表情値を算出する処理と、
   検出した人物の顔ごとに、当該顔を囲う顔表示枠を設定する処理と、
   検出した複数の人物の顔のうち、面積の最も大きな顔表示枠を持つ顔を、優先的な顔として決定する処理と、
   前記優先的な顔の表情値である優先表情値が予め決められた優先表情値用閾値以上であり、かつ、前記複数の表情値のうち前記優先表情値以外の表情値である非優先表情値が予め決められた非優先表情値用閾値以上である場合、前記被写体の映像を前記記憶手段に記憶させる処理と、を有する撮像方法。
3. 被写体の映像を記憶するための記憶手段を有する撮像装置に、
   前記被写体の映像の撮像による信号から人物の顔を検出する機能と、
   複数の人物の顔を検出した場合、前記検出された複数の人物の顔それぞれの表情を評価し、前記評価されたそれぞれの表情を数値化した複数の表情値を算出する機能と、
   検出した人物の顔ごとに、当該顔を囲う顔表示枠を設定する機能と、
   検出した複数の人物の顔のうち、面積の最も大きな顔表示枠を持つ顔を、優先的な顔として決定する機能と、
   前記優先的な顔の表情値である優先表情値が予め決められた優先表情値用閾値以上であり、かつ、前記複数の表情値のうち前記優先表情値以外の表情値である非優先表情値が予め決められた非優先表情値用閾値以上である場合、前記被写体の映像を前記記憶手段に記憶させる機能と、を実現させるためのプログラム。

Images