JP5173858B2 - 動画像処理装置、動画像処理方法、プログラム及び記憶媒体 - Google Patents

Description

本発明は、動画像処理装置、動画像処理方法、プログラム及び記憶媒体に関し、特に、人物の顔を含む動画像データから、特定の表情を含む静止画像を選択することができる動画像処理装置、動画像処理方法、プログラム及び記憶媒体に関する。

デジタルカメラの分野では、フレーミングの際に撮影している動画から被写体の人物の顔を検出し、笑顔などの特定の表情を検出した場合に自動的にシャッターを切って静止画像を記録する技術が知られている。

例えば、特許文献１には、撮影された画像から切り出されたそれぞれの部分画像を用いて顔画像を検出する装置が開示されている。この装置は、各部分画像が顔画像である蓋然性を示す指標値を算出し、その指標値が所定の閾値以上である部分画像を顔画像の候補として抽出し、全候補について指標値の閾値判定を行って顔画像を検出する。

また、特許文献２には、撮影された画像から人物の顔を検出し、検出された顔の表情を評価して表情評価値を算出し、表情評価値が所定のしきい値を超えた場合に画像信号を記録媒体に記録させる装置が開示されている。表情評価値は、例えば笑顔と通常の表情などの異なる表情の間において一方の表情にどれだけ近いかの度合いを示す。

特開２００７−１０８９９０号公報 特開２００８−０４２３１９号公報

しかしながら、特許文献１の装置は、画像から人物の顔を検出することはできるが、表情については判定することができず、例えば笑顔等の所定の表情になったときに静止画像を記録するような制御はできない。

一方、特許文献２の装置は、表情評価値を用いて笑顔等の所定の表情が現れたときに静止画像を記録するように制御することが可能である。しかしながら、特許文献２の装置は、表情評価値がしきい値を超えた時点で画像を記録するため、記録した後に表情評価値がさらに上昇した場合には、より良好な表情の画像が記録できないという問題がある。

本発明の目的は、入力された動画像データからより表情評価値の高い静止画像を選択することができる動画像処理装置、動画像処理方法、プログラム及び記憶媒体を提供することにある。

上記目的を達成するために、本発明の動画像処理装置は、動画像データを構成する複数の画像フレームデータから人物の顔を検出する顔検出部と、検出された顔の表情が特定の表情にどれだけ近いかの度合いを示す表情評価値を算出する表情評価部と、該表情評価部により高い表情評価値が算出された際に静止画像データを取得する処理を実行する制御部とを備える動画像処理装置において、現在処理中の画像フレームデータに対する表情評価値と前記現在処理中の画像フレームデータよりも前の時点における画像フレームデータに対する表情評価値の差分値を算出し、算出された差分値が所定の基準値より小さいか否かを判定する評価差分値判定部を備え、前記制御部は、前記評価差分値判定部が算出された差分値が所定の基準値より小さいと判定した場合に静止画像データを取得する処理を実行することを特徴とする。

上記目的を達成するために、本発明の動画像処理方法は、動画像データを構成する複数の画像フレームデータから人物の顔を検出する顔検出ステップと、検出された顔の表情が特定の表情にどれだけ近いかの度合いを示す表情評価値を算出する表情評価ステップと、該表情評価ステップにより高い表情評価値が算出された際に静止画像データを取得する処理を実行する制御ステップとを備える動画像処理方法において、現在処理中の画像フレームデータに対する表情評価値と前記現在処理中の画像フレームデータよりも前の時点における画像フレームデータに対する表情評価値の差分値を算出する算出ステップと、算出された差分値が所定の基準値より小さいか否かを判定する評価差分値判定ステップとを備え、前記制御ステップでは、前記評価差分値判定ステップで算出された差分値が所定の基準値より小さいと判定された場合に静止画像データを取得する処理を実行することを特徴とする。

上記目的を達成するために、本発明のプログラムは、動画像データを構成する複数の画像フレームデータから人物の顔を検出する顔検出ステップと、検出された顔の表情が特定の表情にどれだけ近いかの度合いを示す表情評価値を算出する表情評価ステップと、該表情評価ステップにより高い表情評価値が算出された際に静止画像データを取得する処理を実行する制御ステップとを備える動画像処理方法をコンピュータに実行させるプログラムにおいて、現在処理中の画像フレームデータに対する表情評価値と前記現在処理中の画像フレームデータよりも前の時点における画像フレームデータに対する表情評価値の差分値を算出する算出ステップと、算出された差分値が所定の基準値より小さいか否かを判定する評価差分値判定ステップとを備え、前記制御ステップでは、前記評価差分値判定ステップで算出された差分値が所定の基準値より小さいと判定された場合に静止画像データを取得する処理を実行することを特徴とする。

本発明によれば、単にしきい値と比較して画像を選択していた従来の技術と比較して、より表情評価値の高い静止画像データを取得することができる。

本発明の第１の実施の形態に係る動画像処理装置の構成を概略的に示すブロック図である。 図１における評価差分値判定部の動作を示すフローチャートである。 図１における評価差分値判定部の作用を説明するための表情評価値の時間に伴う変化を示すグラフである。 本発明の第２の実施の形態に係る動画像処理装置の評価差分値判定部の動作を示すフローチャートである。 第２の実施の形態の評価差分値判定部の作用を説明するための表情評価値の時間に伴う変化を示すグラフである。 本発明の第３の実施の形態に係る動画像処理装置の評価差分値判定部の動作を示すフローチャートである。 第３の実施の形態の評価差分値判定部の作用を説明するための表情評価値の時間に伴う変化を示すグラフである。 本発明の第４の実施の形態に係る動画像処理装置の構成を概略的に示すブロック図である。 図８における評価差分値判定部の詳細な構成を示すブロック図である。 図９における評価差分値統合部の処理を示すフローチャートである。 図８の動画像処理装置の処理の具体例を説明するため、画像フレームデータ毎に表情評価部から出力される表情評価値の変化を３つの顔画像領域のそれぞれについてのプロットしたグラフであり、３つの顔領域に入る３人が互いに近いタイミングで笑顔になっている例を示す。 図８の動画像処理装置の処理の具体例を説明するため、画像フレームデータ毎に表情評価部から出力される表情評価値の変化を３つの顔画像領域のそれぞれについてのプロットしたグラフであり、３つの顔領域に入る３人のうち１人が笑顔になっている例を示す。

以下、本発明の実施の形態について図面を参照しながら説明する。まず、本発明の第１の実施の形態に係る動画像処理装置について説明する。

図１は、本発明の第１の実施の形態に係る動画像処理装置１００の構成を概略的に示すブロック図である。図１の動画像処理装置１００は、撮影された動画像データを入力として、この動画像データを構成する複数の画像フレームデータから、人物を含み、かつ、その人物の表情が特定の表情、ここでは笑顔である画像フレームデータを検出する。そして、動画像処理装置１００は、笑顔の画像データが検出された場合に、静止画像データを取得する処理を実行して記録媒体に記録する機能を有する。

動画像処理装置１００は、装置全体を制御するための制御部１１０と、動画像データ及び静止画像データを入力する撮像部１２０とを備える。動画像処理装置１００は、撮像部１２０から入力された動画像データを構成する画像フレームデータから人物の笑顔が記録されている画像を検出する笑顔画像検出部１３０と、撮像部１２０から入力された静止画像データを符号化する画像符号化部１４０とを備える。さらに、動画像処理装置１００は、符号化された画像データを記録するためのメモリカードやハードディスク等の記録媒体１５０と、ユーザが操作するためのスイッチ類を備えた操作部１６０とを備えている。

制御部１１０は、ユーザによる操作部１６０の操作に応じて、撮影部１２０を制御して画像データを入力し、笑顔画像検出部１３０や画像符号化部１４０を制御する。

撮像部１２０は、撮影レンズと、この撮影レンズにより形成される被写体像を検出するＣＭＯＳセンサ等の撮像素子から構成され、連続した画像フレームデータのデータとして画像データを出力する。なお、撮像部１２０は、制御部１１０からの指示により撮影モードを動画モードと静止画モードとの間で切り替える。動画モードでは、比較的低い解像度で連続的に画像を撮影し、静止画モードでは、比較的高い解像度で単独の画像を撮影する。

笑顔画像検出部１３０は、動画モードで撮影された画像フレームデータから人物の顔を検出する顔検出部１３１と、検出された顔の表情が特定の表情（この例では笑顔）にどれだけ近いかの度合いを示す表情評価値を算出する表情評価部１３２とを備える。また、笑顔画像検出部１３０は、評価差分値判定部１３３を備えている。評価差分値判定部１３３は、現在処理中の画像フレームデータに対する表情評価値と現在処理中の画像フレームデータよりも前の時点における画像フレームデータに対する表情評価値の差分値を算出し、算出された差分値が所定の条件を満たすか否かを判定する。

制御部１１０は、表情評価部１３２により算出された表情評価値が高い画像フレームデータのうち、評価差分値判定部１３３が所定の条件を満たすと判定した場合に、静止画像データを取得する処理を実行して記録媒体に記録する機能を備えている。制御部１１０は、所定の条件を満たすと判定されると、そのタイミングで記録指示を撮像部１２０及び画像符号化部１４０に出力する。これにより、撮像部１２０は静止画モードで画像を撮影し、この画像データが画像符号化部１４０により静止画像データとして符号化され、記録媒体１５０に記録される。

次に、上記のように構成された動画像処理装置１００の動作について説明する。操作部１６０を操作することによりユーザが動画像処理装置１００の電源を投入すると、制御部１１０は撮像部１２０を初期化した後、撮像部１２０を制御して動画モードで撮影を開始させる。撮影した動画像は、図示せぬＬＣＤパネル等の表示部にプレビュー表示される。プレビュー表示の際には、１秒間に一定のフレーム数の表示が行われ、撮影された動画像データは表示後破棄される。

ユーザが操作部１６０を操作して記録開始を指示すると、制御部１１０は笑顔画像検出部１３０を初期化した後、撮像部１２０で撮影した動画像データの画像フレームデータを顔検出部１３１に入力する（入力ステップ）。

顔検出部１３１は、入力された画像フレームデータを解析し、画像フレームデータ（静止画像）中に人物の顔が存在するか否かを判別する（顔検出ステップ）。判別には、特許文献１に記載された手法を用いることができる。そして、顔検出部１３１は、入力画像フレームデータに顔が存在すると判別した場合には、顔領域を特定し、この顔領域の対象物が人物の顔である確度を示す顔信頼度値を算出する（顔信頼度算出ステップ）。

顔検出部１３１により検出された画像フレームデータ中の顔領域の情報は表情評価部１３２に入力され、顔領域に対する顔信頼度値は評価差分値判定部１３３に入力される。表情評価部１３２は、入力された顔領域の画像に対して笑顔の度合いを示す表情評価値を算出する（表情評価ステップ）。表情評価値の算出には、特許文献２に記載された手法を用いることができる。評価差分値判定部１３３は、入力された顔信頼度値に基づいてしきい値を調整する（しきい値設定ステップ）。具体的には、顔検出部１３１により算出された顔信頼度値が大きい場合はしきい値を小さな値に変更し、顔信頼度値が小さい場合はしきい値を大きな値に変更する。

表情評価部１３２により算出された表情評価値は、評価差分値判定部１３３に入力される。評価差分値判定部１３３は、入力された表情評価値がしきい値より大きいか否かを判別し、大きい場合には、入力された表情評価値と１つ前の画像フレームデータに対する表情評価値の差分値を算出する（算出ステップ）。そして、算出された差分値が所定の条件を満たすか否かを判定する（評価差分値判定ステップ）。ここでは、例えば、差分値が一定の基準値より小さい場合に所定の条件を満たすものと判定する。評価差分値判定部１３３は、所定の条件を満たす（差分値が基準値より小さい）と判定した場合には、笑顔検出信号を制御部１１０へ出力し、所定の条件を満たさない（差分値が基準値より大きい）と判定した場合には、笑顔非検出信号を制御部１１０へ出力する。一般に、表情の変化は連続的であり、表情評価値が最大値に近づくと、直前の画像フレームデータとの表情評価値の差分値は小さくなると考えられる。そのため、差分値に基づいて静止画データの取得タイミングを決定することにより、表情評価値が最大値に近い静止画像データを取得することができる。評価差分値判定部１３３の動作の詳細については後述する。

笑顔検出信号が入力されると、制御部１１０は静止画像データを取得する処理を実行する（制御ステップ）。具体的には、制御部１１０は、撮影部１２０を静止画モードに切り替えて画像データを取得し、画像符号化部１４０に入力する。画像符号化部１４０は、入力された画像データに対してＪＰＥＧ圧縮などの静止画像符号化処理を実行する。制御部１１０は、符号化処理が実行された静止画像データを静止画ファイルとして記録媒体１５０に記録する。制御部１１０は、静止画ファイルの記録が終了すると、撮影を終了し、撮影部１２０のモードを動画モードに切り替えてプレビュー表示を再開させる。

一方、顔検出部１３１は、画像フレームデータ中に人物の顔が存在しないと判別した場合には、表情評価部１３２に顔領域が存在しないことを通知し、表情評価部１３２は、評価差分値判定部１３３に顔領域が存在しないことを通知する。評価差分値判定部１３３は、顔領域が画像フレームデータ中に存在しないため笑顔非検出信号を制御部１１０に出力する。制御部１１０は、処理対象の画像フレームデータに対する処理を終了し、次の画像フレームデータに対する処理を開始する。

図２は、図１における評価差分値判定部１３３の動作を示すフローチャートである。以下、図２のフローチャートを用いて評価差分値判定部１３３の動作について説明する。図２の処理は、ユーザが笑顔画像の記録を指示した際に、笑顔画像が検出されるまで画像フレームデータ毎に実行される。

評価差分値判定部１３３は、まず、差分値を求めるために必要な直前の画像フレームデータの表情評価値の保持するための内部変数である評価値保持変数ＲＥｖを−１に初期化する（ステップＳ１０１）。続いて、評価差分値判定部１３３は、表情評価部１３２から現在処理中の画像フレームデータに対する表情評価値が入力されているか否かを判別する（ステップＳ１０２）。画像フレームデータから顔領域が検出されずに表情評価値が入力されていない場合（ステップＳ１０２でＮｏ）には、評価値保持変数ＲＥｖを−１に初期化し（ステップＳ１１１）、制御部１１０に笑顔非検出信号を出力する（ステップＳ１１２）。そして、ステップＳ１０２に戻って次の画像フレームデータを処理する。表情評価値が入力されている場合（ステップＳ１０２でＹｅｓ）には、表情評価部１３２から入力された現在の処理対象の画像フレームデータに関する表情評価値を内部変数である評価値変数Ｅｖにセットする（ステップＳ１０３）。そして、顔検出部１３１から入力された顔信頼度値を内部変数である顔信頼度変数Ｒｖにセットする（ステップＳ１０４）。

次に、評価差分値判定部１３３は、評価値保持変数ＲＥｖが−１より大きいか否かを判別する（ステップＳ１０５）。評価値保持変数ＲＥｖが−１より大きくない場合（ステップＳ１０５でＮｏ）は、変数が初期化されたばかりで、直前の画像フレームデータに関する評価値が保存されておらず、差分値を求めることができない。このため、評価値保持変数ＲＥｖに評価値変数Ｅｖの値をセットし（ステップＳ１１３）、制御部１１０に笑顔非検出信号を出力し（ステップＳ１１２）、ステップＳ１０２に戻って次の画像フレームデータを処理する。

一方、評価値保持変数ＲＥｖが−１より大きい場合（ステップＳ１０５でＹｅｓ）は、直前の画像フレームデータに関する評価値が保存されていることを意味するため、顔信頼度変数Ｒｖの値に従ってしきい値ＴＨｖを決定する（ステップＳ１０６）。本実施の形態では、以下の表１に示すような対応関係に従い、顔信頼度変数Ｒｖの値に応じて定数ＴＨｖ０、ＴＨｖ１、ＴＨｖ２のいずれかの値がしきい値ＴＨｖにセットされる。すなわち、顔信頼度変数Ｒｖの値が大きい場合にはしきい値ＴＨｖは小さくなり、顔信頼度変数Ｒｖの値が小さい場合にはしきい値ＴＨｖは大きくなる。

次に、評価差分値判定部１３３は、評価値保持変数ＲＥｖの値と評価値変数Ｅｖの値との差分をとって差分値変数Ｄにセットする（ステップＳ１０７）。これにより、現在処理中の画像フレームデータの表情評価値と、直前の画像フレームデータの表情評価値との差分値が求められる。

そして、評価差分値判定部１３３は、評価値変数Ｅｖの値がしきい値ＴＨｖを超えているか否かを判別する（ステップＳ１０８）。本実施の形態では、評価値変数Ｅｖの値がしきい値ＴＨｖを超えていると判別された場合（ステップＳ１０８でＹｅｓ）に、検出された顔領域の表情が笑顔であると判定する。ステップ２０６で顔信頼度値に応じてしきい値をセットしており、顔信頼度値が小さい顔領域に対しては笑顔検出のしきい値が大きくなるため、誤検出率を低くすることができる。

表情評価値がしきい値より小さい場合（ステップＳ２０８でＮｏ）には、顔領域が笑顔ではないと判断され、前記のステップＳ１１３，Ｓ１１２を経てステップＳ１０２に戻って次の画像フレームデータを処理する。

笑顔であると判定された場合（ステップＳ１０８でＹｅｓ）、評価差分値判定部１３３は、差分値変数Ｄの値が所定の基準値Ｄｃの値より大きいか否かを判別する（ステップＳ１０９）。差分値変数Ｄの値が基準値Ｄｃより小さくない場合（ステップＳ１０９でＮｏ）は、表情評価値が十分に高い値に達していないとみなし、前記のステップＳ１１３，Ｓ１１２を経てステップＳ１０２に戻って次の画像フレームデータを処理する。差分値変数Ｄの値が基準値Ｄｃより小さい場合（ステップＳ１０９でＹｅｓ）には、表情評価値が十分に高い値に達したとみなし、制御部１１０に笑顔検出信号を出力して（ステップＳ１１０）処理を終了する。

図２の処理によれば、表情評価値の差分値に基づいて撮像部１２０から入力される動画像データから好適な笑顔の画像フレームデータを検出することができる。したがって、その画像フレームデータが検出された時点で静止画像の撮影をすることにより、好適な笑顔の静止画像を撮影することができる。

次に、図２の処理の具体例を図３に基づいて説明する。図３は、図１における評価差分値判定部１３３の作用を説明するための表情評価値の時間に伴う変化を示すグラフである。図中の折れ線は、表情評価部１３２から顔画像を含む画像フレームデータ毎に出力される表情評価値を黒丸でプロットしたものであり、撮影された動画像データの中で表情評価値がどのように変化するかを示している。なお、この例では、全ての画像フレームデータに対して顔検出部１３１からは同一の顔信頼度が出力されているものとする。したがって、しきい値は一定である。

ユーザが画像の記録を指示すると、笑顔画像検出部１３０が初期化され、撮像部１２０から画像フレームデータが順次笑顔画像検出部１３０に入力される。入力された画像フレームデータは、顔検出部１３１、表情評価部１３２での処理を経て、図３に示す表情評価値が順次評価差分値判定部１３３に入力される。図３に示す最初の表情評価値に対しては、差分値算出の対象となる直前の画像フレームデータが入力されていないため、図２のステップＳ１０５でＮｏと判別され、ステップＳ１１２に進み、笑顔非検出信号が出力される。以降、（ａ）の画像フレームデータまでは順次表情評価値が評価差分値判定部１３３に入力され、直前の画像フレームデータの表情評価値との差分値を算出するが（ステップＳ１０７）、表情評価値がしきい値よりも小さい。このため、ステップＳ１０８でＮｏと判別され、ステップＳ１１２に進み、笑顔非検出信号が出力される。（ｂ）の画像フレームデータ以降は表情評価値がしきい値よりも大きくなるため、ステップＳ１０８ではＹｅｓと判別されてステップＳ１０９で表情評価値の差分値と基準値Ｄｃとが比較される。（ｂ）、（ｃ）、（ｄ）の画像フレームデータでは差分値が基準値Ｄｃよりも大きいため、ステップＳ１０９で表情評価値が十分に高い値に達していないと判定され、ステップＳ１１２で笑顔非検出信号が出力される。（ｅ）の画像フレームデータの処理時に前記差分値が所定の値Ｄｃよりも小さくなるため、ステップＳ１０９で表情評価値が十分に高い値に達したと判定され、ステップ２１０で笑顔検出信号が制御部１１０に出力されて評価差分値判定部１３３は処理を終了する。

制御部１１０は、笑顔検出信号が入力されると静止画の撮影処理を開始する。撮影処理を開始した場合、撮像部１２０から出力される画像データは顔検出部１３１には入力されず、画像符号化部１４０に入力されるため、図３の（ｅ）から後の期間には表情評価値は算出されないが、表情評価値を算出した場合の評価値の例として示している。撮影処理を開始すると、制御部１１０は撮像部１２０を制御して絞りの調整、フラッシュの発光、露出時間の制御等を行うため、（ｅ）から後のタイミングで実際の撮影が行われる。このため、（ｅ）から遅れたタイミング、例えば（ｆ）のタイミングで画像データが撮像部１２０から出力され、表情評価値が大きな画像データを符号化して記録することができる。

次に、本発明の第２の実施の形態に係る動画像処理装置について説明する。本実施の形態は、その構成、作用が上述した第１の実施の形態と基本的に同じであるので、重複した構成、作用については説明を省略し、以下に異なる構成、作用について説明する。

第１の実施形態では、評価値の差分値と比較する基準値Ｄｃを定数としていたが、本実施の形態では、この基準値を直前の画像フレームデータの処理時に算出した表情評価値の差分値に基づいて基準値Ｄｃの値を動的に決定する。第１の実施の形態との相違は、評価差分値判定部１３３内の処理のみであり、他は図１に示した構成と同一である。

図４は、第２の実施の形態に係る動画像処理装置の評価差分値判定部１３３の作動を示すフローチャートである。図２と同一内容のステップについては詳細な説明は省略する。

評価差分値判定部１３３は、評価値保持変数ＲＥｖを−１に初期化し（ステップＳ２０１）、１つ前の画像フレームデータの処理時に算出した表情評価値の差分値を保持するための差分値保持変数Ｄｐを０に初期化する（ステップＳ２０２）。続いて、評価差分値判定部１３３は、現在処理中の画像フレームデータに対する表情評価値が入力されているか否かを判別する（ステップＳ２０３）。表情評価値が入力されていない場合（ステップＳ２０３でＮｏ）には、評価値保持変数ＲＥｖを−１に初期化し（ステップＳ２１４）、差分値保持変数Ｄｐを０に初期化し（ステップＳ２１５）、制御部１１０に笑顔非検出信号を出力する（ステップＳ２１６）。そして、ステップＳ２０３に戻って次の画像フレームデータを処理する。表情評価値が入力されている場合（ステップＳ２０３でＹｅｓ）には、現在の処理対象の画像フレームデータに関する表情評価値を評価値変数Ｅｖにセットする（ステップＳ２０４）。そして、顔検出部１３１から入力された顔信頼度値を顔信頼度変数Ｒｖにセットする（ステップＳ２０５）。

次に、評価差分値判定部１３３は、評価値保持変数ＲＥｖが−１より大きいか否かを判別する（ステップＳ２０６）。評価値保持変数ＲＥｖが−１より大きくない場合（ステップＳ２０６でＮｏ）は、評価値保持変数ＲＥｖに評価値変数Ｅｖの値をセットする（ステップＳ２１７）。そして、制御部１１０に笑顔非検出信号を出力し（ステップＳ２１６）、ステップＳ２０３に戻って次の画像フレームデータを処理する。

一方、評価値保持変数ＲＥｖが−１より大きい場合（ステップＳ２０６でＹｅｓ）は、顔信頼度変数Ｒｖの値に従ってしきい値ＴＨｖを決定する（ステップＳ２０７）。そして、評価値保持変数ＲＥｖの値と評価値変数Ｅｖの値との差分をとって差分値変数Ｄにセットする（ステップＳ２０８）。

そして、評価差分値判定部１３３は、差分値保持変数Ｄｐの値がセットされているか否か、すなわち、１つ前の画像フレームデータに対して表情評価値の差分値を算出しているか否かを判定する（ステップＳ２０９）。１つ前の画像フレームデータに対する表情評価値の差分値が算出されている場合（ステップＳ２０９でＹｅｓ）には、評価値変数Ｅｖの値がしきい値ＴＨｖを超えているか否か、すなわち、表情が笑顔であるか否かを判別する（ステップＳ２１０）。そして、笑顔であると判別された場合（ステップＳ２１０でＹｅｓ）には、差分値保持変数Ｄｐの値から基準値Ｄｃの値を算出する。この例では、差分値保持変数Ｄｐの値に一定の割合として１／３をかけた値を基準値Ｄｃとして用いる。

基準値Ｄｃを設定した後、評価差分値判定部１３３は、差分値変数Ｄの値が設定された基準値Ｄｃの値より小さいか否かを判別する（ステップＳ２１２）。差分値変数Ｄの値が基準値Ｄｃより小さい場合（ステップＳ２１２でＹｅｓ）には、評価差分値判定部１３３は、表情評価値が十分に高い値に達したとみなし、制御部１１０に笑顔検出信号を出力して（ステップＳ２１３）処理を終了する。

一方、１つ前の画像フレームデータに対する表情評価値の差分値が算出されていない場合（ステップＳ２０９でＮｏ）には、差分値保持変数Ｄｐに差分値変数Ｄの値をセットする（ステップＳ２１８）。その後、評価値保持変数ＲＥｖに評価値変数Ｅｖの値をセットし（ステップＳ２１７）、制御部１１０に笑顔非検出信号を出力し（ステップＳ２１６）、ステップＳ２０３に戻って次の画像フレームデータを処理する。表情評価値がしきい値より小さい場合（ステップＳ２１０でＮｏ）、及び、差分値変数Ｄの値が設定された基準値Ｄｃの値より大きい場合（ステップＳ２１２でＮｏ）にも、ステップＳ２１８，Ｓ２１７，Ｓ２１６を実行する。

図４の処理によれば、表情評価値の差分値に基づいて撮像部１２０から入力される動画像データから好適な笑顔の画像フレームデータを検出することができる。したがって、その画像フレームデータが検出された時点で静止画像の撮影をすることにより、好適な笑顔の静止画像を撮影することができる。

次に、図４の処理の具体例を図５に基づいて説明する。図５は、図４に示す第２の実施形態の評価差分値判定部１３３の作用を説明するための表情評価値の時間に伴う変化を示すグラフである。なお、この例でも、全ての画像フレームデータに対して顔検出部１３１からは同一の顔信頼度が出力されているものとする。したがって、しきい値は一定である。

ユーザが画像の記録を指示すると、図５に示す表情評価値が順次評価差分値判定部１３３に入力される。図５に示す最初の表情評価値に対しては、差分値算出の対象となる直前の画像フレームデータが入力されていない。そのため、図４のステップＳ２０６でＮｏと判別され、評価値保持変数に最初の表情評価値がセットされ（ステップＳ２１７）、笑顔非検出信号が出力される（ステップＳ２１６）。２つめの表情評価値に対しては、直前の表情評価値はセットされているため、ステップＳ２０６ではＹｅｓと判別されて差分値は計算される（ステップＳ２０８）。ただし、直前の表情評価値に対する差分値は設定されていないため、ステップＳ２０９でＮｏと判別され、差分値保持変数Ｄｐに差分値変数Ｄの値がセットされ（ステップＳ２１８）、笑顔非検出信号が出力される（ステップＳ２１６）。

図５に示す３つめから（ａ）までの表情評価値に対しては、ステップＳ２０６，Ｓ２０９ではＹｅｓと判別されるが、しきい値を超えていないためステップＳ２１０でＮｏと判別され、笑顔非検出信号が出力される（ステップＳ２１６）。

図５の（ｂ）以降の表情評価値はしきい値を超えるため、ステップＳ２１０でもＹｅｓと判別され、基準値Ｄｃが１つ前の表情評価値に対する差分値に基づいて計算され（ステップＳ２１１）、現在の表情評価値の差分値と比較される（ステップＳ２１２）。この段階では、１つ前の（ａ）の表情評価値に対する差分値Ｄ（ａ）に基づいて、Ｄｃ＝Ｄ（ａ）／３により基準値Ｄｃが求められる。ただし、図５の例では、求められた基準値Ｄｃより（ｂ）の表情評価値に対する差分値Ｄ（ｂ）の方が大きいため、ステップＳ２１２でＮｏと判別され、笑顔非検出信号が出力される（ステップＳ２１６）。

以降、（ｃ）の表情評価値については、差分値Ｄ（ｃ）が直前の（ｂ）の表情評価値に対する差分値に基づいて計算された基準値Ｄｃ＝Ｄ（ｂ）／３と比較される。また、（ｄ）の表情評価値については、差分値Ｄ（ｄ）が直前の（ｃ）の表情評価値に対する差分値に基づいて計算された基準値Ｄｃ＝Ｄ（ｃ）／３と比較される。いずれも、ステップＳ２１２でＮｏと判別され、笑顔非検出信号が出力される（ステップＳ２１６）。

（ｅ）の画像フレームデータの処理時には、差分値Ｄ（ｅ）が直前の（ｄ）の表情評価値に対する差分値に基づいて計算された基準値Ｄｃ＝Ｄ（ｄ）／３より小さくなる。このため、ステップＳ２１２でＹｅｓと判別され、笑顔検出信号が出力され（ステップＳ２１３）、評価差分値判定部１３３は処理を終了する。

制御部１１０は、笑顔検出信号が入力されると、撮像部１２０を制御して絞りの調整、フラッシュの発光、露出時間の制御等を行うため、（ｅ）から後のタイミングで実際の撮影が行われる。このため、（ｅ）から遅れたタイミング、例えば（ｆ）のタイミングで画像データが撮像部１２０から出力され、表情評価値が大きな画像データを符号化して記録することができる。

次に、本発明の第３の実施の形態に係る動画像処理装置について説明する。本実施の形態は、その構成、作用が上述した第２の実施の形態と基本的に同じであるので、重複した構成、作用については説明を省略し、以下に異なる構成、作用について説明する。

第２の実施形態では、評価値の差分値と比較する基準値Ｄｃを１つ前の画像フレームデータの処理時に算出した表情評価値の差分値に基づいて算出している。これに対して、本実施の形態では、この基準値を直前の複数（この例では３つ）の画像フレームデータの処理時に算出した表情評価値の差分値の平均値に基づいて決定する。第１、第２の実施の形態との相違は、評価差分値判定部１３３内の処理のみであり、他は図１に示した構成と同一である。

図６は、第３の実施の形態に係る動画像処理装置の評価差分値判定部１３３の作動を示すフローチャートである。図２及び図４と同一内容のステップについては詳細な説明は省略する。

評価差分値判定部１３３は、評価値保持変数ＲＥｖを−１に初期化する（ステップＳ３０１）。続いて、評価差分値判定部１３３は、１つ前、２つ前、３つ前の画像フレームデータの処理時に算出した表情評価値の差分値を保持するための差分値保持変数Ｄｐ１，Ｄｐ２，Ｄｐ３を０に初期化する（ステップＳ３０２，３０３，３０４）。さらに、評価差分値判定部１３３は、現在処理中の画像フレームデータに対する表情評価値が入力されているか否かを判別する（ステップＳ３０５）。表情評価値が入力されていない場合（ステップＳ３０５でＮｏ）には、評価差分値判定部１３３は、評価値保持変数ＲＥｖを−１に初期化し（ステップＳ３１６）、差分値保持変数Ｄｐ１，Ｄｐ２，Ｄｐ３を０に初期化する（ステップＳ３１７，３１８，３１９）。そして、評価差分値判定部１３３は、制御部１１０に笑顔非検出信号を出力し（ステップＳ３２０）、ステップＳ３０５に戻って次の画像フレームデータを処理する。表情評価値が入力されている場合（ステップＳ３０５でＹｅｓ）には、評価差分値判定部１３３は、現在の処理対象の画像フレームデータに関する表情評価値を評価値変数Ｅｖにセットする（ステップＳ３０６）。そして、評価差分値判定部１３３は、顔検出部１３１から入力された顔信頼度値を顔信頼度変数Ｒｖにセットする（ステップＳ３０７）。

次に、評価差分値判定部１３３は、評価値保持変数ＲＥｖが−１より大きいか否かを判別する（ステップＳ３０８）。評価値保持変数ＲＥｖが−１より大きくない場合（ステップＳ３０８でＮｏ）は、評価差分値判定部１３３は、評価値保持変数ＲＥｖに評価値変数Ｅｖの値をセットする（ステップＳ３２１）。そして、評価差分値判定部１３３は、制御部１１０に笑顔非検出信号を出力し（ステップＳ３２０）、ステップＳ３０５に戻って次の画像フレームデータを処理する。

一方、評価値保持変数ＲＥｖが−１より大きい場合（ステップＳ３０８でＹｅｓ）は、顔信頼度変数Ｒｖの値に従ってしきい値ＴＨｖを決定する（ステップＳ３０９）。そして、評価値保持変数ＲＥｖの値と評価値変数Ｅｖの値との差分をとって差分値変数Ｄにセットする（ステップＳ３１０）。

次に、評価差分値判定部１３３は、差分値保持変数Ｄｐ３の値がセットされているか否か、すなわち、３つ前の画像フレームデータに対して表情評価値の差分値を算出しているか否かを判定する（ステップＳ３１１）。３つ前の画像フレームデータに対する表情評価値の差分値が算出されている場合（ステップＳ３１１でＹｅｓ）には、評価値変数Ｅｖの値がしきい値ＴＨｖを超えているか否か、すなわち、表情が笑顔であるか否かを判別する（ステップＳ３１２）。そして、笑顔であると判別された場合（ステップＳ３１２でＹｅｓ）には、差分値保持変数Ｄｐ１，Ｄｐ２，Ｄｐ３の値から基準値Ｄｃの値を算出する。この例では、差分値保持変数Ｄｐ１，Ｄｐ２，Ｄｐ３の平均値に一定の割合として１／３をかけた値を基準値Ｄｃとして用いる。

基準値Ｄｃを設定した後、評価差分値判定部１３３は、差分値変数Ｄの値が設定された基準値Ｄｃの値より小さいか否かを判別する（ステップＳ３１４）。差分値変数Ｄの値が基準値Ｄｃより小さい場合（ステップＳ３１４でＹｅｓ）には、評価差分値判定部１３３は、表情評価値が十分に高い値に達したとみなし、制御部１１０に笑顔検出信号を出力して（ステップＳ３１５）処理を終了する。

３つ前の画像フレームデータに対する表情評価値の差分値が算出されていない場合（ステップＳ３１１でＮｏ）には、差分値保持変数Ｄｐ３，Ｄｐ２，Ｄｐ１にそれぞれ１つ前の差分値Ｄｐ２，Ｄｐ１，Ｄの値をセットする（ステップＳ３２２，３２３，３２４）。そして、評価値保持変数ＲＥｖに評価値変数Ｅｖの値をセットし（ステップＳ３２１）、制御部１１０に笑顔非検出信号を出力し（ステップＳ３２０）、ステップＳ３０５に戻って次の画像フレームデータを処理する。表情評価値がしきい値より小さい場合（ステップＳ３１２でＮｏ）、及び、差分値変数Ｄの値が設定された基準値Ｄｃの値より大きい場合（ステップＳ３１４でＮｏ）にも、ステップＳ３２２，３２３，３２４，３２１，３２０を経てステップＳ３０５に戻る。

図６の処理によれば、表情評価値の差分値に基づいて撮像部１２０から入力される動画像データから好適な笑顔の画像フレームデータを検出することができる。このため、その画像フレームデータが検出された時点で静止画像の撮影をすることにより、好適な笑顔の静止画像を撮影することができる。

次に、図６の処理の具体例を図７に基づいて説明する。図７は、図６に示す第３の実施形態の評価差分値判定部１３３の作用を説明するための表情評価値の時間に伴う変化を示すグラフである。なお、この例でも、全ての画像フレームデータに対して顔検出部１３１からは同一の顔信頼度が出力されているものとする。したがって、しきい値は一定である。

ユーザが画像の記録を指示すると、図７に示す表情評価値が順次評価差分値判定部１３３に入力される。図７に示す最初の表情評価値に対しては、差分値算出の対象となる直前の画像フレームデータが入力されていない。このため、図４のステップＳ３０８でＮｏと判別され、評価値保持変数に最初の表情評価値がセットされ（ステップＳ３２１）、笑顔非検出信号が出力される（ステップＳ３２０）。２つめの表情評価値に対しては、直前の表情評価値はセットされているため、ステップＳ３０８ではＹｅｓと判別されて差分値は計算されるが（ステップＳ３１０）、３つ前の表情評価値に対する差分値は設定されていない。このため、ステップＳ３１１でＮｏと判別され、差分値保持変数Ｄｐ１に差分値変数Ｄの値がセットされ（ステップＳ３２４）、笑顔非検出信号が出力される（ステップＳ３２０）。ステップＳ３２２，３２３の時点では、差分値保持変数Ｄｐ１，Ｄｐ２の値は初期値０のままであるため、これらの処理を終了しても差分値保持変数Ｄｐ２，Ｄｐ３の値は０である。

図７の３つめの表情評価値までは、差分値保持変数Ｄｐ３の値が０であるため、ステップＳ３１１でＮｏと判別される。

図７の（ａ）の表情評価値が入力されると、ステップＳ３０８，Ｓ３１１ではＹｅｓと判別されるが、しきい値を超えていないためステップＳ３１２でＮｏと判別され、笑顔非検出信号が出力される（ステップＳ３２０）。

図７の（ｂ）以降の表情評価値はしきい値を超えるため、ステップＳ３１２でもＹｅｓと判別され、基準値Ｄｃが直前の３つの表情評価値に対する差分値に基づいて計算され（ステップＳ３１３）、現在の表情評価値の差分値と比較される（ステップＳ３１４）。この段階では、直前の３つの表情評価値に対する差分値Ｄ（ａ−２），Ｄ（ａ−１），Ｄ（ａ）に基づいて、Ｄｃ＝（Ｄ（ａ−２）＋Ｄ（ａ−１）＋Ｄ（ａ））／９により基準値Ｄｃが求められる。ただし、図７の例では、求められた基準値Ｄｃより（ｂ）の表情評価値に対する差分値Ｄ（ｂ）の方が大きいため、ステップＳ３１４でＮｏと判別され、笑顔非検出信号が出力される（ステップＳ３２０）。

以降、（ｃ）の表情評価値については、差分値Ｄ（ｃ）が直前の３つの表情評価値に対する差分値に基づいて計算された基準値Ｄｃ＝（Ｄ（ａ−１）＋Ｄ（ａ）＋Ｄ（ｂ））／９と比較される。また、（ｄ）の表情評価値については、差分値Ｄ（ｄ）が直前の３つの表情評価値に対する差分値に基づいて計算された基準値Ｄｃ＝（Ｄ（ａ）＋Ｄ（ｂ）＋Ｄ（ｃ））／９と比較される。いずれも、ステップＳ３１４でＮｏと判別され、笑顔非検出信号が出力される（ステップＳ３２０）。

（ｅ）の画像フレームデータの処理時には、差分値Ｄ（ｅ）が直前の３つの表情評価値に対する差分値に基づいて計算された基準値Ｄｃ＝（Ｄ（ｂ）＋Ｄ（ｃ）＋Ｄ（ｄ））／９より小さくなる。このため、ステップＳ３１４でＹｅｓと判別され、笑顔検出信号が出力され（ステップＳ３１５）、評価差分値判定部１３３は処理を終了する。

制御部１１０は、笑顔検出信号が入力されると、撮像部１２０を制御して絞りの調整、フラッシュの発光、露出時間の制御等を行うため、（ｅ）から後のタイミングで実際の撮影が行われる。このため、（ｅ）から遅れたタイミング、例えば（ｆ）のタイミングで画像データが撮像部１２０から出力され、表情評価値が大きな画像データを符号化して記録することができる。

なお、第１〜第３の実施の形態では、プレビュー表示のための動画撮影と静止画の撮影とで撮影モードが異なることを前提としていたが、これらを区別せず、動画モードで撮影された画像フレームデータの一部をそのまま静止画像データとして利用してもよい。その場合には、笑顔検出信号が入力された時点（ｅ）の画像フレームデータを符号化して記録することも可能である。

次に、本発明の第４の実施の形態に係る動画像処理装置について説明する。本実施の形態は、その構成、作用が上述した第１の実施の形態と基本的に同じであるので、重複した構成、作用については説明を省略し、以下に異なる構成、作用について説明する。

第１〜第３の実施の形態の動画像処理装置は、画像フレームデータ中の顔画像が１つである場合を想定したものであるが、第４の実施の形態の動画像処理装置は、画像フレームデータ中に顔画像が複数ある場合を想定したものである。

図８は、本発明の第４の実施の形態に係る動画像処理装置１００Ａの構成を概略的に示すブロック図であり、図９は、図８における評価差分値判定部の詳細な構成を示すブロック図である。装置全体の基本的な構成は図１と同一であるが、笑顔画像検出部１７０の構成が第１の実施の形態とは異なるため、異なる符号を付している。他の構成は図１と同一であるため、同一符号を付して重複した説明は省略する。

本実施の形態の笑顔画像検出部１７０は、撮像部１２０から入力された動画像データから人物の笑顔が記録されている画像フレームデータを検出するものである。笑顔画像検出部１７０は、画像フレームデータから複数の人物の顔部分の領域を検出する顔検出部１７１と、顔検出部１７１で検出された複数の顔領域に対して笑顔の度合いを示す表情評価値をそれぞれ算出するための表情評価部１７２とを備える。また、笑顔画像検出部１７０は、評価差分値判定部１７３を備える。評価差分値判定部１７３は、現在処理中の画像フレームデータに対する表情評価値と現在処理中の画像フレームデータより前の時点における画像フレームデータに対する表情評価値の差分値を各顔領域について算出し、差分値が所定の条件を満たすか否かを判定する。

ユーザが操作部１６０を操作して動画像処理装置１００Ａの電源を投入すると、制御部１１０は撮像部１２０を初期化した後、撮像部１２０を制御して動画モードで撮影を開始させる。撮影した動画像は、図示せぬ表示部にプレビュー表示される。ユーザが操作部１６０を操作して記録開始を指示すると、制御部１１０は笑顔画像検出部１７０を初期化した後、撮像部１２０で撮影した動画像データの画像フレームデータを顔検出部１７１に入力する。

顔検出部１７１は、入力された画像フレームデータから複数の顔領域を検出可能であり、入力された画像フレームデータを解析し、画像フレームデータ中に人物の顔が存在するか否かを判定する。また、顔検出部１７１は、入力画像フレームデータに顔が存在すると判別した場合には、顔領域を特定し、この顔領域の画像が人物の顔である確度を示す顔信頼度値を算出する。複数の顔が存在する場合には、複数の顔領域を特定し、それぞれの顔領域について顔信頼度値を算出する。

また、顔検出部１７１は、検出された顔領域にＩＤ番号を付加する機能を有し、連続する画像フレームデータで検出された顔領域に対して同一人物であると判定された顔領域に一意のＩＤ番号を付加することができる。連続する画像フレームデータ間で検出される顔領域に対して同一人物であることを特定するには、例えば１つ前の画像フレームデータで検出した顔領域の情報と、現在の画像フレームデータで検出された顔領域の情報とを比較する。比較の結果、画像フレームデータ中での位置、大きさの差異が一定値以下の顔領域を同一人物と判定することができる。

顔検出部１７１により画像フレームデータ中に人物の顔が存在しないと判定された場合、顔検出部１７１は表情評価部１７２に顔領域が存在しないことを通知し、表情評価部１７２は評価差分値判定部１７３に顔領域が存在しないことを通知する。評価差分値判定部１７３は、顔領域が画像フレームデータ中に存在しないため笑顔非検出信号を制御部１１０に出力し、制御部１１０は当該画像フレームデータに対する処理を終了して次の画像フレームデータに対する処理を開始する。

顔検出部１７１により画像フレームデータ中に人物の顔が存在すると判定された場合、顔検出部１７１により検出された画像フレームデータ中の各顔領域の情報と各顔領域のＩＤ番号を含む情報とは表情評価部１７２に入力される。また、各顔領域に対する顔信頼度値は評価差分値判定部１７３に入力される。表情評価部１７２は、入力されたそれぞれの顔領域の画像に対して笑顔の度合いを示す表情評価値を算出する。

算出された各顔領域に対する表情評価値および顔信頼度値は、それぞれＩＤ番号と関連づけられて評価差分値判定部１７３に入力される。評価差分値判定部１７３は、直前の画像フレームデータに含まれる顔領域の表情評価値と、現在処理中の画像フレームデータに含まれる顔領域の表情評価値との差分値を各顔領域毎に算出し、それぞれの顔領域の差分値が所定の条件を満たすか否かを判定する。そして、評価差分値判定部１７３は、これらの判定を統合して全体として笑顔が検出されたか否かを判定する。

本実施の形態の評価差分値判定部１７３は、例えば、図９に示すように３領域の顔画像の表情評価値の差分値をそれぞれ独立して検出できるように、表情評価値と共に入力されるＩＤ番号を検出して入力された表情評価値を振り分けるＩＤ判別部１７３ａを備える。また、評価差分値判定部１７３は、ＩＤ番号にしたがって振り分けられたそれぞれの表情評価値から差分値を算出して所定の条件を満たすか否かを判定する第１、第２、第３のＩＤ別評価差分値判定部１７３ｂ、１７３ｃ、１７３ｄを備える。また、評価差分値判定部１７３は、各ＩＤ別評価差分値判定部１７３ｂ，１７３ｃ，１７３ｄから出力される評価差分値を統合して画像全体で好適な表情評価値が得られるタイミングで笑顔検出信号を制御部１１０へ出力する評価差分値判定統合部１７３ｅを備える。

表情評価部１７２から入力された各顔領域に対するＩＤ番号、表情評価値と、顔検出部１７１から入力される顔信頼度値とは、ＩＤ判別部１７３ａに入力され、ＩＤ番号に応じてそれぞれＩＤ別評価差分値判定部１７３ｂ，１７３ｃ，１７３ｄに入力される。

なお、ＩＤ番号に対応する顔領域が検出されていない場合は、顔領域が検出されていないことを示す情報が各ＩＤ別評価差分値判定部に入力される。また、ＩＤ判別部１７３ａは、顔領域が検出されているＩＤ番号の個数を示す有効ＩＤ数を評価差分値判定統合部１７３ｅに出力する。

ＩＤ別評価差分値判定部１７３ｂ，１７３ｃ，１７３ｄのそれぞれの動作は、第１の実施の形態の評価差分値判定部１３３と同様である。すなわち、対応するＩＤ番号に対する顔領域の表情評価値の差分値が所定の状態であるか否かを判別し、検出結果を評価差分値判定統合部１７３ｅに出力する。評価差分値判定統合部１７３ｅでは、各ＩＤ別評価差分値判定部からの検出結果および、ＩＤ判別部１７３ａから入力された顔領域の個数を用いて、画像データ全体で好適な表情評価値の判別を行い、検出結果として制御部１０１に出力する。

制御部１１０は、第１の実施の形態におけるのと同様に、評価差分値判定部１７３の出力に応じて画像符号化部１４０を制御して画像フレームデータを符号化し、符号化された静止画像データを記録媒体１５０に記録する。

図１０は、図９における評価差分値判定統合部１７３ｅの作動を示すフローチャートである。以下、図１０のフローチャートを用いて評価差分値判定統合部１７３ｅの動作について説明する。

評価差分値判定統合部１７３ｅは、処理を開始すると、笑顔が検出された顔領域の数を保持するための顔数変数ＮＵＭを０に初期化する（ステップＳ４０１）。続いて、評価差分値判定統合部１７３ｅは、第１のＩＤ別評価差分値判定部１７３ｂからＩＤ１の顔領域に対する笑顔検出信号が入力されたか否かを判定する（ステップＳ４０２）。ＩＤ１の顔領域に対する笑顔検出信号が入力された場合（ステップＳ４０２でＹｅｓ）は、笑顔を検出した顔領域の数を示す顔数変数ＮＵＭを１カウント増加させ（ステップＳ４０３）、笑顔を検出した顔領域の数が１であるか否かを判定する（ステップＳ４０４）。笑顔を検出した顔領域の数が１である場合、すなわち処理を開始して最初に笑顔が検出された場合には、内部タイマーをリセットする（ステップＳ４０５）。

評価差分値判定統合部１７３ｅは、上記のステップＳ４０２〜４０５と同様の処理を、第２のＩＤ別評価差分値判定部１７３ｃ、第３のＩＤ別評価差分値判定部１７３ｄについても実行する（ステップＳ４０６〜４０９，Ｓ４１０〜４１３）。

各ＩＤ別評価差分値判定部からの信号に対する処理が終了すると、評価差分値判定統合部１７３ｅは、笑顔を検出した顔領域の数を確認する。顔領域の数が０か否かを判別し（ステップＳ４１４）、いずれの顔領域に対しても笑顔が検出されていない場合（ステップＳ４１４でＹｅｓ）は、制御部１１０に笑顔非検出信号を出力し（ステップＳ４１７）、ステップＳ４０２に戻って次の画像データを処理する。

笑顔が検出されていると判別された場合（ステップＳ４１４でＮｏ）には、笑顔が検出された顔領域の数と、ＩＤ判別部１７３ａより入力された有効ＩＤ数が一致するか否かを判別する（ステップＳ４１５）。判定の結果、全ての顔領域が笑顔になっていると判定された場合（ステップＳ４１５でＹｅｓ）は、評価差分値判定統合部１７３ｅは、制御部１１０に笑顔検出信号を出力し（ステップＳ４１８）、処理を終了する。

検出された全ての顔領域が笑顔になっていないと判定された場合（ステップＳ４１５でＮｏ）には、内部タイマーの値が所定の値Ｔ０ｖよりも大きくなったか否かを判別する（ステップＳ４１６）。タイマー値が所定の値Ｔ０ｖより大きくない場合（ステップＳ４１６でＮｏ）には、制御部１１０に笑顔非検出信号を出力し（ステップＳ４１７）、ステップＳ４０２に戻って次の画像フレームデータの処理を行う。所定の値Ｔ０ｖよりも大きい場合（ステップＳ４１６でＹｅｓ）には、制御部１１０に笑顔検出信号を出力して処理を終了する。

図１０の処理によれば、次の場合に、所定の期間経過後、静止画像の取得を制御部１１０に指示することができる。すなわち、画像フレームデータに含まれる顔領域の表情評価値の差分値が全て所定の条件を満たした場合、あるいは、最初に１つの顔領域で差分値が所定の条件を満たした後、所定の期間内に他の顔に対する差分値が所定の条件を満たさなかった場合である。

以下、本実施の形態に係る動画像処理装置１００Ａの処理の具体例を図１１及び図１２に基づいて説明する。図１１及び図１２は、画像フレームデータ毎に表情評価部１３２から出力される表情評価値の変化を３つの顔画像領域のそれぞれについてのプロットしたグラフである。図中の折れ線は、実線がＩＤ１の顔画像の表情評価値、点線がＩＤ２の顔画像の表情評価値、二点鎖線がＩＤ３の顔画像の表情評価値の変化を示す。

図１１は、３つの顔領域に入る３人が互いに近いタイミングで笑顔になっている例における表情評価値の変化を示すグラフである。第１のＩＤ別評価差分値判定部１７３ｂは、（ａ）の時点で表情評価値の差分値が所定の基準値より小さくなったことを検出して評価差分値判定統合部１７３ｅに笑顔検出信号を出力する。評価差分値判定統合部１７３ｅは、ＩＤ１に対する笑顔検出信号を受信し、図１０のステップＳ４０５でタイマーをリセットする。

その後、評価差分値判定統合部１７３ｅは、図１１中の（ｂ）、（ｃ）のタイミングでＩＤ２およびＩＤ３に対する笑顔検出信号を受信する。評価差分値判定統合部１７３ｅは、（ａ）のタイミングでリセットしたタイマー値がＴＯｖの値よりも大きくなる前に、検出されている全ての顔領域に対する笑顔検出信号が入力されたことをステップＳ４１５で検出する。そして、評価差分値判定統合部１７３ｅは、制御部１１０に笑顔検出信号を出力する（ステップＳ４１８）。制御部１１０は、（ｃ）のタイミングで笑顔検出信号を受信して撮影処理を開始し、（ｃ）からΔｔ遅れたタイミングで撮像部１２０から出力される画像データを取得することにより、全ての顔領域に対する表情評価値が大きな画像データを符号化して記録できる。

図１２は、３つの顔領域に入る３人のうち１人だけが笑顔になっている例における表情評価値の変化を示すグラフである。第１のＩＤ別評価差分値判定部１７３ｂは、（ａ）の時点で表情評価値の差分値が所定の基準値より小さくなったことを検出して評価差分値判定統合部１７３ｅに笑顔検出信号を出力する。評価差分値判定統合部１７３ｅは、ＩＤ１に対する笑顔検出信号を受信し、図１０のステップＳ４０５でタイマーをリセットする。

評価差分値判定統合部１７３ｅは、図１１中の（ａ）のタイミングからＴＯｖの時間が経過した（ａ’）のタイミングまで他の顔領域に対する笑顔検出信号を受信しないため、図１０のステップＳ４１６でタイマー値がＴＯｖの値より大きくなったことを検出する。評価差分値判定統合部１７３ｅは、（ａ’）のタイミングで制御部１１０に笑顔検出信号を出力する（ステップＳ４１８）。制御部１１０は、（ａ’）のタイミングで笑顔検出信号を受信して撮影処理を開始し、（ａ’）からΔｔ遅れたタイミングで撮像部１２０から出力される画像データを取得する。これにより、ＩＤ１の顔領域の表情評価値が小さくなる前に画像データを符号化して記録することができる。

また、本発明の目的は、以下の処理を実行することによって達成される。即ち、上述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出す処理である。

この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコード及び該プログラムコードを記憶した記憶媒体は本発明を構成することになる。

また、プログラムコードを供給するための記憶媒体としては、次のものを用いることができる。例えば、フロッピー（登録商標）ディスク、ハードディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ＋ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等である。または、プログラムコードをネットワークを介してダウンロードしてもよい。

また、コンピュータが読み出したプログラムコードを実行することにより、上記実施の形態の機能が実現される場合も本発明に含まれる。加えて、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。

更に、前述した実施形態の機能が以下の処理によって実現される場合も本発明に含まれる。即ち、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行う場合である。

また、コンピュータが読み出したプログラムコードを実行することにより、前述した各実施の形態の機能が実現される場合も本発明に含まれる。加えて、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳなどが実際の処理の一部または全部を行い、その処理によって前述した実施の形態の機能が実現する場合も含まれる。

この場合、上記プログラムは、該プログラムを記憶した記憶媒体から直接、又はインターネット、商用ネットワーク、若しくはローカルエリアネットワーク等に接続された不図示の他のコンピュータやデータベース等からダウンロードすることにより供給される。

１００ 動画像処理装置
１１０ 制御部
１２０ 動画像復号部
１３０ 笑顔検出部
１３１ 顔検出部
１３２ 表情評価部
１３３ 評価差分値判定部
１４０ 画像符号化部
１５０ 記録媒体
１６０ 操作部

Claims (13)

1. 動画像データを構成する複数の画像フレームデータから人物の顔を検出する顔検出部と、検出された顔の表情が特定の表情にどれだけ近いかの度合いを示す表情評価値を算出する表情評価部と、該表情評価部により高い表情評価値が算出された際に静止画像データを取得する処理を実行する制御部とを備える動画像処理装置において、
   現在処理中の画像フレームデータに対する表情評価値と前記現在処理中の画像フレームデータよりも前の時点における画像フレームデータに対する表情評価値の差分値を算出し、算出された差分値が所定の基準値より小さいか否かを判定する評価差分値判定部を備え、前記制御部は、前記評価差分値判定部が算出された差分値が所定の基準値より小さいと判定した場合に静止画像データを取得する処理を実行することを特徴とする動画像処理装置。
2. 前記動画像データを入力する撮像部と、該撮像部により入力された画像データを静止画像データとして記録する記録媒体とを備え、前記制御部は、前記評価差分値判定部が算出された差分値が所定の基準値より小さいと判定した場合に前記撮像部により撮影された画像データを前記記録媒体に記録することを特徴とする請求項１記載の動画像処理装置。
3. 前記所定の基準値は、定数であることを特徴とする請求項１または２に記載の動画像処理装置。
4. 前記所定の基準値は、直前に算出された差分値に対して一定の割合となる値であることを特徴とする請求項１または２に記載の動画像処理装置。
5. 前記所定の基準値は、直前に算出した複数の差分値の平均値に対して一定の割合となる値であることを特徴とする請求項１または２に記載の動画像処理装置。
6. 前記評価差分値判定部は、所定のしきい値を超えた表情評価値について差分値を算出することを特徴とする請求項１乃至５のいずれかに記載の動画像処理装置。
7. 前記顔検出部は、対象物が人物の顔であるか否かの信頼度を示す顔信頼度値を算出し、前記評価差分値判定部は、前記顔信頼度値が小さくなるにしたがって前記しきい値を大きな値に変更することを特徴とする請求項６記載の動画像処理装置。
8. １つの画像フレームデータに複数の顔が含まれる場合、前記顔検出部は、複数の顔を検出し、前記表情評価部は、検出した複数の顔に対してそれぞれの表情評価値を算出し、前記評価差分値判定部は、前記複数の表情評価値からそれぞれの顔に対する差分値を算出して判定することを特徴とする請求項１乃至７のいずれか１項に記載の動画像処理装置。
9. 前記制御部は、前記評価差分値判定部が前記顔検出部により検出された複数の顔の表情評価値から算出された全ての差分値が所定の基準値より小さいと判定したときに、静止画像データを取得する処理を実行することを特徴とする請求項８記載の動画像処理装置。
10. 前記制御部は、前記評価差分値判定部が前記顔検出部により検出された複数の顔のうち１つの顔に対する差分値が所定の基準値より小さいと判定された後、所定の期間内に他の顔に対する差分値が所定の基準値より小さいと判定されなかった場合に、所定の期間経過後に静止画像データを取得する処理を実行することを特徴とする請求項９記載の動画像処理装置。
11. 動画像データを構成する複数の画像フレームデータから人物の顔を検出する顔検出ステップと、検出された顔の表情が特定の表情にどれだけ近いかの度合いを示す表情評価値を算出する表情評価ステップと、該表情評価ステップにより高い表情評価値が算出された際に静止画像データを取得する処理を実行する制御ステップとを備える動画像処理方法において、
    現在処理中の画像フレームデータに対する表情評価値と前記現在処理中の画像フレームデータよりも前の時点における画像フレームデータに対する表情評価値の差分値を算出する算出ステップと、算出された差分値が所定の基準値より小さいか否かを判定する評価差分値判定ステップとを備え、前記制御ステップでは、前記評価差分値判定ステップで算出された差分値が所定の基準値より小さいと判定された場合に静止画像データを取得する処理を実行することを特徴とする動画像処理方法。
12. 動画像データを構成する複数の画像フレームデータから人物の顔を検出する顔検出ステップと、検出された顔の表情が特定の表情にどれだけ近いかの度合いを示す表情評価値を算出する表情評価ステップと、該表情評価ステップにより高い表情評価値が算出された際に静止画像データを取得する処理を実行する制御ステップとを備える動画像処理方法をコンピュータに実行させるプログラムにおいて、
    現在処理中の画像フレームデータに対する表情評価値と前記現在処理中の画像フレームデータよりも前の時点における画像フレームデータに対する表情評価値の差分値を算出する算出ステップと、算出された差分値が所定の基準値より小さいか否かを判定する評価差分値判定ステップとを備え、前記制御ステップでは、前記評価差分値判定ステップで算出された差分値が所定の基準値より小さいと判定された場合に静止画像データを取得する処理を実行することを特徴とするプログラム。
13. 請求項１２に記載のプログラムを格納したことを特徴とするコンピュータ読み取り可能な記憶媒体。

Images