JP2009217758A - 画像評価装置および方法並びにプログラム - Google Patents

Abstract

【課題】画像に含まれる顔のみの評価ではなく、画像としての評価を行うことができるようにする。
【解決手段】顔検出部６が、顔を含む画像からすべての顔を検出する。特徴情報取得部７が、各顔についての特徴を表す複数の特徴情報を取得する。表情度算出部８が、各顔が笑顔等の特定の表情である程度を表す表情度を算出する。評価値算出部９が、各顔についての特徴情報および表情度に基づいて、画像の表情に基づく評価値を算出する。
【選択図】図１

Description

本発明は、画像に含まれる顔に応じた画像の評価を行う画像評価装置および方法並びに画像評価方法をコンピュータに実行させるためのプログラムに関するものである。

デジタル画像の解析技術の進歩により、画像から人物の顔を検出するのみならず、検出した顔の表情を認識する表情認識の手法が種々提案されている。例えば、顔を構成する目および口等の顔器官の輪郭位置を抽出し、顔器官の上端および下端の輪郭の開き状態および各輪郭の曲がり状態に基づいて、顔の表情を認識する手法が提案されている（特許文献１参照）。また、真顔および驚き顔等の所定の表情を含む顔の各部位についての特徴点をあらかじめ求めておき、入力された画像に含まれる顔の各部位の特徴点と、あらかじめ求めた特徴点との差分に基づいて、入力された画像に含まれる顔の表情を認識する手法も提案されている（特許文献２参照）。さらに、特定表情の顔および特定表情でない顔について学習用のデータを複数用意しておき、これらの学習用のデータを用いて、特定表情であるか否かを判定するための判別器の学習を行い、この判別器を用いて表情認識を行う手法も提案されている（特許文献３参照）。

これらの手法によれば、顔が特定の表情であるかの度合（表情度）を算出していることとなるため、その度合を数値として出力することにより、画像に含まれる顔の表情の程度、例えば笑顔の度合および泣き顔の度合等を数値として取得することができる。
特開２００５−２９３５３９号公報 特開２００５−５６３８８号公報 特開２００５−４４３３０号公報

しかしながら、表情度を算出した場合、画像に含まれる個々の顔についての優劣をつけることができるが、画像としての優劣をつけて評価を行うことができない。

本発明は、上記事情に鑑みなされたものであり、画像に含まれる顔のみの評価ではなく、画像としての評価を行うことができるようにすることを目的とする。

本発明による画像評価装置は、顔を含む画像からすべての該顔を検出する顔検出手段と、
前記各顔についての特徴を表す複数の特徴情報を取得する特徴情報取得手段と、
前記各顔が特定の表情である程度を表す表情度を算出する表情度算出手段と、
前記各顔についての前記特徴情報および前記表情度に基づいて、前記画像の表情に基づく評価値を算出する評価値算出手段とを備えたことを特徴とするものである。

「複数の特徴情報」としては、各顔が有する固有の情報のことであり、具体的には顔のサイズおよび顔の位置の他、顔の向きおよび顔の角度等を用いることができる。なお、顔の向きとは顔の左右の向きであり、顔の角度とは画像平面上における回転角度を表す。

なお、本発明におる画像評価装置においては、前記評価値算出手段を、前記各顔に対応する前記特徴情報に基づいて決定された重み係数によって、前記各顔の表情度を重みづけ加算することにより、前記評価値を算出する手段としてもよい。

また、本発明による画像評価装置においては、前記評価値の算出基準の入力を受け付ける入力手段をさらに備えるものとし、
前記評価値算出手段を、前記入力された算出基準により前記評価値を算出する手段としてもよい。

また、本発明による画像評価装置においては、前記重み係数が、前記各顔についての前記複数の特徴情報に基づいて決定された評価用ポイントを、該評価用ポイントを重みづけるためのポイント用重み係数によって重みづけ加算することにより算出されてなる場合において、
前記入力手段を、前記ポイント用重み係数の変更指示を受け付けることにより前記算出基準の入力を受け付ける手段とし、
前記評価値算出手段を、前記変更されたポイント用重み係数により前記重み係数を算出して前記評価値を算出する手段としてもよい。

また、本発明による画像評価装置においては、複数の前記画像についての評価値を算出するに際し、前記各画像についての評価値の大きさに応じた評価結果を表す評価画面を表示する表示手段をさらに備えるものとしてもよい。

また、本発明による画像評価装置においては、複数の前記画像についての評価値を算出するに際し、前記入力された算出基準により算出された前記各画像についての評価値の大きさに応じた評価結果を表す評価画面を表示する表示手段をさらに備えるものとしてもよい。

本発明による画像評価方法は、顔を含む画像からすべての該顔を検出し、
前記各顔についての特徴を表す複数の特徴情報を取得し、
前記各顔が特定の表情である程度を表す表情度を算出し、
前記各顔についての前記特徴情報および前記表情度に基づいて、前記画像の表情に基づく評価値を算出することを特徴とするものである。

なお、本発明による表情評価方法をコンピュータに実行させるためのプログラムとして提供してもよい。

画像の評価を行うには、画像に含まれる個々の顔の表情のみならず、画像に含まれる顔のサイズおよび顔の位置等の顔についての特徴情報を考慮することが非常に有用である。本出願人はこの点に鑑み本発明に想到したものである。

すなわち、本発明によれば、画像に含まれる各顔の表情度および各顔の特徴を表す複数の特徴情報に基づいて画像の表情に基づく評価値を算出するようにしたため、画像に含まれる顔の優劣ではなく、画像についての優劣を評価値に基づいて容易に判断できることとなる。

また、各顔の表情度を各顔に対応する特徴情報に基づいて決定された重み係数により重みづけ加算することによって評価値を算出することにより、簡易に評価値を算出することができる。

また、評価値の算出基準の入力を受け付け、入力された算出基準により評価値を算出することにより、画像の評価を所望するユーザの基準に応じて、画像の評価値を算出することができる。

また、重み係数が、各顔についての複数の特徴情報に基づいて決定された評価用ポイントを、ポイント用重み係数によって重みづけ加算することにより算出されてなる場合、ポイント用重み係数の変更指示を受け付けることによって算出基準の入力を受け付け、変更されたポイント用重み係数により評価値を算出することにより、ユーザが所望とする顔の特徴に応じた画像の評価値を算出することができる。

また、複数の画像についての評価値を算出するに際し、各画像についての評価値の大きさに応じた評価結果を表す評価画面を表示することにより、複数の画像の評価結果を容易に確認することができる。

とくに、入力された算出基準により算出された各画像についての評価値の大きさに応じた評価結果を表す評価画面を表示することにより、入力した算出基準に応じた複数の画像の評価結果を容易に確認することができることとなる。

以下、図面を参照して本発明の実施形態について説明する。図１は本発明の第１の実施形態による画像評価装置の構成を示す概略ブロック図である。なお、本実施形態においては、画像に含まれる顔の表情に応じた画像の評価を行うものであるが、より具体的に顔の笑顔の度合である笑顔度に応じた画像の評価を行うものである。

図１に示すように本実施形態による画像評価装置１は、画像入力部２、圧縮／伸長部３、画像を含む各種表示を行う液晶モニタ等の表示部４、および装置１に対して各種指示入力を行うためのキーボードおよびマウス等からなる入力部５を備える。

画像入力部２は、画像評価装置１に評価の対象となる評価対象画像を表す画像データを入力するものであり、画像データが記録されたメディアから画像データを読み出すメディアドライブ、ネットワーク経由で画像データの入力を受け付ける有線または無線のインターフェース等、画像データを入力するための公知の種々の手段を用いることができる。本実施形態においては、画像入力部２をメディア２Ａから画像データを読み出すものとする。

なお、画像データはＪＰＥＧ等の圧縮方式により圧縮されているため、画像入力部２から入力された画像データは、圧縮／伸長部３により伸長されて、その後の処理が行われる。

また、画像評価装置１は、顔検出部６、特徴情報取得部７、表情度算出部８、評価値算出部９、制御部１０および各種情報を記憶するためのハードディスク等の記憶部１１を備える。

顔検出部６は、テンプレートマッチングによる手法、顔の多数のサンプル画像を用いてマシンラーニング学習により得られた顔判別器を用いる手法等により、圧縮／伸長部３により伸長された画像データにより表される評価対象画像から、顔を囲む矩形の領域（顔領域）を顔として検出する。なお、顔を検出する手法はこれに限定されるものではなく、例えば画像における肌色を有しかつ顔の輪郭形状を囲む矩形の領域を顔として検出する手法、顔の輪郭形状をなす領域を顔として検出する手法等、任意の手法を用いることができる。また、評価対象画像に顔が複数含まれている場合にはすべての顔を検出する。

特徴情報取得部７は、顔検出部６が検出した顔について、顔の位置、顔のサイズ、顔の向きおよび顔の傾きを特徴情報Ｃとして取得する。ここで顔の位置とは、顔領域の対角線の交点の位置の評価対象画像上の座標位置である（図２の点Ｏ１）。なお、顔領域の左上隅の位置の評価対象画像上の座標位置（図２の点Ｏ２）を顔の位置としてもよい。

また、顔のサイズは、顔領域内の画素数、顔領域の面積の画像全体の面積に対する割合、顔領域の一辺の画像の短辺に対する割合等を用いることができる。本実施形態においては、図２に示すように顔領域の一辺（Ｈ１）の評価対象画像の短辺Ｌ１に対する割合Ｈ１／Ｌ１を顔のサイズの情報として取得する。

顔の向きは顔の左右の向きであり、顔に両目が含まれるか、左右の目のいずれが含まれるかを判定することにより取得することができる。また、正面を向いた顔については、鼻の位置に対する左右の目の位置に応じて、顔の向きの角度の情報も取得することができる。なお、顔から顔の向きを表す特徴量を求め、その特徴量を用いて顔の向きの角度を決定するようにしてもよい。

顔の傾きは、画像平面上における顔の回転角度であり、顔に両目が含まれる場合には、両目を結ぶ線分の水平方向に対する角度を算出することにより取得することができる。一方、顔に左右一方の目のみしか含まれない場合には、顔の傾きを算出できないことから、特徴情報Ｃには顔の傾きの情報は含まれないこととなる。なお、本実施形態においては、顔の傾きは顔が垂直となっている状態を０度とし、顔が時計回りに回転する方向に角度が増大していくものとする。

表情度算出部８は、まず、顔検出部６が検出した顔から顔の特徴量Ｑを取得する。具体的には、顔を構成する目、鼻および口等の顔構成部品の輪郭、並びに目頭、目尻、小鼻、口角および唇の位置等の顔構成部品の位置等、笑顔度の算出に必要な特徴量Ｑを取得する。ここで、特徴量Ｑを取得する手法としては、各顔構成部品のテンプレートを用いたテンプレートマッチングによる手法、および顔構成部品の多数のサンプル画像を用いたマシンラーニング学習により得られた、顔構成部品毎の判別器を用いる手法等により取得することができる。

そして、表情度算出部８は、特徴量Ｑに基づいて、顔が特定の表情である度合を示す表情度を算出する。本実施形態においては、顔が笑顔である度合を示す笑顔度Ｓを算出する。なお、笑顔度Ｓの算出手法としては、例えば、満点の笑顔および笑っていない顔から取得した特徴量Ｑfull，Ｑ0に対する、取得した特徴量Ｑの位置および形状の差分に応じて、笑顔度Ｓを算出する手法を用いることができる。なお、笑顔度を算出する手法としてはこれに限定されるものではなく、上記特許文献１〜３に記載された手法等、公知の種々の手法を用いることができる。

評価値算出部９は、評価対象画像に含まれるすべての顔について取得した特徴情報Ｃおよび笑顔度Ｓに基づいて、評価対象画像についての笑顔度Ｓに基づく評価値Ｔを算出する。具体的には、下記の式（１）に基づいて、評価値Ｔを算出する。

Ｔ＝ΣＳｉ・Ｐｉ （１）
ここで、ｉは評価対象画像に含まれる顔の数であり、Ｓｉは評価対象画像に含まれるｉ番目の顔についての笑顔度、Ｐｉはｉ番目の顔についての特徴情報Ｃに基づいて決定される重み係数である。以下、重み係数Ｐｉの算出について説明する。

本実施形態においては、特徴情報Ｃとして、顔の位置、サイズ、向きおよび傾きが取得されており、下記の式（２）により重み係数Ｐを算出する。

Ｐ＝Ｗ１・Ｒ１＋Ｗ２・Ｒ２＋Ｗ３・Ｒ３＋Ｗ４・Ｒ５ （２）
式（２）において、Ｒ１〜Ｒ４はそれぞれ顔の位置、サイズ、向きおよび傾きについてあらかじめ定められたルールにしたがって決定される評価用のポイント、Ｗ１〜Ｗ４は、それぞれ顔の位置、サイズ、向きおよび傾きのポイントを重みづけるための重み係数（ポイント用重み係数）である。

ここで、画像に含まれる顔は中央にあるほどその画像は好ましい画像となる。このため、本実施形態においては、図３に示すように評価対象画像を２５つの領域に分割し、検出した顔が２５の２５の領域のいずれに含まれるかに応じて、顔の位置についてのポイントＲ１を決定する。例えば、中央の１つの領域に顔が存在する場合には１００点、その周囲の８の領域に顔が存在する場合には５０点、さらに最も外側の領域に顔が存在する場合には１０点というように、顔の位置についてのポイントＲ１を決定する。

また、含まれる顔は大きいほどその画像は好ましい画像となる。このため、本実施形態においては、顔のサイズが大きいほど大きい値となるようにポイントＲ２を決定する。なお、ポイントＲ２は顔のサイズに応じて段階的に決定してもよく、顔のサイズに対してあらかじめ定められた係数を乗算することにより決定してもよい。また、顔のサイズが所定サイズ以下である場合には、ポイントＲ２を０点としてもよい。

また、含まれる顔が正面を向いているほどその画像は好ましい画像となる。このため、本実施形態においては、顔が正面を向いているほど大きい値となるようにポイントＲ３を決定する。なお、ポイントＲ３は顔の向きの角度に応じて段階的に決定してもよく、顔の向きの角度に対してあらかじめ定められた係数を乗算することにより決定してもよい。また、顔の向きが横を向いている場合には、ポイントＲ３を０点としてもよい。さらに、顔の向きとして顔が正面を向いているか横を向いているかのみを取得した場合には、顔が正面を向いている場合にはポイントＲ３を１００点、横を向いている場合にはポイントＲ３を０点としてもよい。

また、画像に含まれる顔の傾きが小さいほどその画像は好ましい画像となる。このため、本実施形態においては、顔の傾きが０度に近いほど大きくなるようにポイントＲ４を決定する。なお、ポイントＲ４は顔の傾きの角度に応じて段階的に決定してもよく、顔の傾きの角度に対してあらかじめ定められた係数を乗算することにより決定してもよい。また、顔の傾きが９０度〜２７０度の場合には、ポイントＲ４を０点としてもよい。

なお、重み係数Ｗ１〜Ｗ４は、あらかじめ定められた値を有する。

制御部１０は、ＣＰＵ１０Ａ、各種処理を行う際の作業領域となるＲＡＭ１０Ｂ、および装置１の動作プログラムおよび重み係数等の各種定数等を記憶したＲＯＭ１０Ｃを備えてなり、装置１の各部の動作を制御する。

なお、装置１を構成する各部は、バス１２により接続されている。

次いで、第１の実施形態において行われる処理について説明する。図４は第１の実施形態において行われる処理を示すフローチャートである。画像の評価の指示が入力部５から行われることにより制御部１０が処理を開始し、画像入力部２がメディア２Ａから評価対象画像を読み出し（ステップＳＴ１）、顔検出部６が評価対象画像から顔を検出する（ステップＳＴ２）。

次いで、制御部１０が評価対象画像における処理の対象となる最初の顔を選択する（ステップＳＴ３）。なお、顔を選択する順序としては、評価対象画像に含まれる顔をランダムに選択するものであってもよく、評価対象画像の左側に位置する顔から右側に向けて順次選択するものであってもよく、顔のサイズが大きいものから順に選択するものであってもよい。

そして、特徴情報取得部７が、選択された顔について顔の位置、サイズ、向きおよび傾きを特徴情報Ｃとして取得する（ステップＳＴ４）。次いで、表情度算出部８が処理対象の顔の特徴量Ｑを取得し（ステップＳＴ５）、特徴量Ｑに基づいて処理対象の顔の笑顔度Ｓを算出する（ステップＳＴ６）。

次いで、制御部１０が評価対象画像に含まれるすべての顔について、特徴情報Ｃの取得および笑顔度Ｓの算出の処理を終了したか否かを判定し（ステップＳＴ７）、ステップＳＴ７が否定されると、処理対象の顔を次の顔に変更し（ステップＳＴ８）、ステップＳＴ４に戻る。

ステップＳＴ７が肯定されると、評価値算出部９が上記式（１）により評価対象画像についての笑顔度Ｓに基づく評価値Ｔを算出する（ステップＳＴ９）。そして、制御部１０が、評価対象画像およびその評価値Ｔを含む評価画面を表示部４に表示し（ステップＳＴ１０）、処理を終了する。なお、評価値Ｔを評価対象画像の画像ファイルのヘッダに記述するようにしてもよい。

図５は第１の実施形態における評価画面を示す図である。図５に示すように、評価画面３０には、評価対象画像３１およびその評価値Ｔが表示されている。

このように、第１の実施形態においては、評価対象画像に含まれる各顔の笑顔度Ｓに基づく評価値Ｔを算出するようにしたため、画像に含まれる顔の優劣ではなく、画像についての優劣を、評価値Ｔに基づいて容易に判断できることとなる。

ここで、図６に示す他の評価画面３０′のように、２つの評価対象画像３２，３３を表示部４に表示し、評価を実行するための実行ボタン３４の押下によって、２つの評価対象画像３２，３３の評価値Ｔをそれぞれ算出して表示することにより、２つの評価対象画像３２，３３の評価値Ｔを比較することができる。さらに、点数が低い方の評価対象画像３２を他の評価対象画像に変更し、さらに実行ボタン３４を押下すれば、評価対象画像３３と他の評価対象画像との評価値Ｔを比較することができる。そして、この動作を繰り返すことにより、メディア２Ａに記録された画像のうち、どの画像が笑顔度Ｓに基づく評価が最も高いかを容易に判定できることとなる。

次いで、本発明の第２の実施形態について説明する。なお、第２の実施形態による画像評価装置は、第１の実施形態による画像評価装置と同一の構成を有し、行われる処理のみが異なるため、ここでは構成についての詳細な説明は省略する。本発明の第２の実施形態による画像評価装置は、複数の画像の評価を行うようにした点が第１の実施形態と異なる。

次いで、第２の実施形態において行われる処理について説明する。図７は第２の実施形態において行われる処理を示すフローチャートである。複数の画像の評価の指示が入力部５から行われることにより制御部１０が処理を開始し、画像入力部２がメディア２Ａから複数の評価対象画像を読み出し（ステップＳＴ２１）、記憶部１１に記憶されている画像データベースＤＢ１に保存する（ステップＳＴ２２）。なお、画像データベースＤＢ１への保存に代えて、評価対象画像の画像ファイルを単純に記憶部１１に保存するようにしてもよい。そして、制御部１０が前処理を行う（ステップＳＴ２３）。

図８は前処理のフローチャートである。まず、制御部１０が最初の評価対象画像を選択する（ステップＳＴ３１）。なお、評価対象画像を選択する順序としては、ファイル名順であってもよく、撮影日時順であってもよく、ランダムであってもよい。

そして、顔検出部６が評価対象画像から顔を検出し（ステップＳＴ３２）、上記第１の実施形態と同様に、特徴情報取得部７および表情度算出部８が、評価対象画像に含まれるすべての顔について、特徴情報Ｃを取得するとともに笑顔度Ｓを算出する（ステップＳＴ３３）。そして、制御部１０が評価対象画像についての特徴情報Ｃおよび笑顔度Ｓを、評価対象画像と対応づけて顔情報データベースＤＢ２に保存する（ステップＳＴ３４）。なお、顔情報データベースＤＢ２は記憶部１１に記憶されている。

図９は顔情報データベースＤＢ２の構成を示す図である。図９に示すように、顔情報データベースＤＢ２には、評価対象画像のファイル名が登録されており、各評価対象画像のファイル名に、各評価対象画像に含まれる顔の数に応じた特徴情報Ｃおよび笑顔度Ｓが登録されている。なお、図９においては、ファイル名００３の評価対象画像に４つの顔（顔１〜顔４）が含まれており、その４つの顔のうちの顔３に特徴情報Ｃおよび笑顔度Ｓが登録されている状態を示している。

次いで、制御部１０が読み出されたすべての評価対象画像について特徴情報Ｃの取得および笑顔度Ｓの算出の処理を終了したか否かを判定し（ステップＳＴ３５）、ステップＳＴ３５が否定されると、評価対象画像を次の画像に変更し（ステップＳＴ３６）、ステップＳＴ３２に戻る。ステップＳＴ３５が肯定されると、前処理を終了する。

図７に戻り、制御部１０は、前処理に続いて評価対象画像の評価値Ｔの算出基準の入力を受け付ける（ステップＳＴ２４）。図１０は算出基準の入力を説明するための評価画面を示す図である。図１０に示すように評価画面４０は、画面左側の指示領域４０Ａおよび右側の画像表示領域４０Ｂを有する。指示領域４０Ａには、顔の位置、サイズ、向きおよび傾きの重み係数Ｗ１〜Ｗ４を変更するための指示バー４１Ａ〜４１Ｄ、評価を実行させるための実行ボタン４２および処理を終了するための終了ボタン４３が表示されている。指示バー４１Ａ〜４１Ｄにはつまみ４４Ａ〜４４Ｄが含まれており、ユーザが入力部５を用いてつまみ４４Ａ〜４４Ｄを左右に操作することにより、重み係数Ｗ１〜Ｗ４を変更することができるようになっている。

ユーザは、評価画面４０において、指示バー４１Ａ〜４１Ｄのつまみ４４Ａ〜４４Ｄを操作し、特徴情報Ｃに含まれる顔の位置、サイズ、向きおよび大きさの重み係数Ｗ１〜Ｗ４を変更することにより、評価値Ｔの算出基準を装置１に入力することができる。なお、画像表示領域４０Ｂには後述するように評価対象画像のサムネイル画像が表示される。

次いで、制御部１０は実行ボタン４２が押下されたか否かの監視を開始し（ステップＳＴ２５）、ステップＳＴ２５が肯定されると、評価値算出部９が、顔情報データベースＤＢ２を参照して、すべての評価対象画像についての特徴情報Ｃおよび笑顔度Ｓを取得し、すべての評価対象画像について、指示された算出基準、すなわち指示された重み係数Ｗ１〜Ｗ４により、上記式（２）により重み係数Ｐを算出するとともに、上記式（１）により評価値Ｔを算出する（ステップＳＴ２６）。

そして、制御部１０が評価対象画像のサムネイル画像を、評価値Ｔが大きい順に並べた評価結果を含む評価画面を表示部４に表示する（ステップＳＴ２７）。図１１は第２の実施形態による評価画面を示す図である。図１１に示すように評価画面４０の画像表示領域４０Ｂには、評価対象画像のサムネイル画像４５が、評価値Ｔが大きい順に表示されてる。

次いで、制御部１０は、算出基準の入力があったか否かを判定し（ステップＳＴ２８）、ステップＳＴ２８が肯定されると、入力された新たな算出条件により評価値Ｔを算出すべく、ステップＳＴ２６の処理に戻る。なお、新たな算出条件により算出された評価値Ｔは、先に算出された評価値Ｔとは特徴情報Ｃの重み係数Ｗ１〜Ｗ４が異なるものとなるため、先の算出された評価結果とは異なる評価結果となるものである。一方、ステップＳＴ２８が否定されると、制御部１０は終了ボタン４３が押下されたか否かを判定し（ステップＳＴ２９）、ステップＳＴ２９が否定されるとステップＳＴ２８に戻る。ステップＳＴ２９が肯定されると処理を終了する。

このように、第２の実施形態においては、評価値Ｔの算出基準の入力を受け付け、入力された算出基準により評価値Ｔを算出するようにしたため、画像の評価を所望するユーザの基準に応じて、画像の評価値Ｔを算出することができる。

また、図１０に示すように、指示バー４１Ａ〜４１Ｄを用いて顔の位置、サイズ、向きおよび傾きの重み係数Ｗ１〜Ｗ４を変更することにより、ユーザが所望とする特徴情報に応じた画像の評価値Ｔを装置１に算出させることができる。

また、複数の評価対象画像のサムネイル画像を、評価値Ｔが大きい順に並べて表示しているため、複数の画像の評価結果を容易に確認することができる。

なお、上記第２の実施形態においては、評価画面４０の画像表示領域４０Ｂに評価対象画像のサムネイル画像およびその評価値Ｔを表示しているが、画像のファイル名等の画像の属性情報を併せて表示するようにしてもよい。

また、上記第２の実施形態においては、評価画面４０に指示領域４０Ａを設け、指示バー４１Ａ〜４１Ｄのつまみ４４Ａ〜４４Ｄの操作により算出基準を入力しているが、図１２に示す評価画面５０のように、指示領域５０Ａに、顔が中央に位置する画像を評価の上位としたい場合に押下する顔中央ボタン５１Ａ、顔のサイズが大きい画像を評価の上位としたい場合に押下するサイズ大ボタン５１Ｂ、および顔が正面を向いている画像を評価の上位としたい場合に押下する正面ボタン５１Ｃを表示し、いずれかのボタン５１Ａ〜５１Ｃを押下することにより算出基準を入力するようにしてもよい。

この場合、各ボタン５１Ａ〜５１Ｃには、重み係数Ｗ１〜Ｗ４の値があらかじめ対応づけられている。例えば、顔中央ボタン５１Ａは重み係数Ｗ１が大きい値となり、サイズ大ボタン５１Ｂは重み係数Ｗ２が大きい値となり、正面ボタン５１Ｃは重み係数Ｗ３が大きい値となるように、重み係数Ｗ１〜Ｗ４が対応づけられている。

このような評価画面５０においては、ユーザが所望とするボタン５１Ａ〜５１Ｃを押下することにより算出基準を入力すると、押下されたボタンに応じた重み係数Ｗ１〜Ｗ４により重み係数Ｐが算出され、評価値Ｔが算出されることとなる。このため、ユーザは細かい指示を行わなくても、所望とする顔の特徴を重みづけた画像の評価値を装置１に算出させることができる。

また、上記第２の実施形態においては、評価値Ｔが大きい順に評価対象画像のサムネイル画像を並べて表示しているが、ファイル名順に表示されたサムネイル画像に評価値Ｔを付与して表示するようにしてもよい。また、図１３に示すように、評価値Ｔが所定値以上なったサムネイル画像４５に枠４６を付与するようにしてもよい。なお、図１３においては、評価値Ｔが７００点を超えるサムネイル画像４５に枠４６が付与された状態を示している。これにより、評価値Ｔが高い画像がどれであるかを容易に認識できることとなる。

また、上記第２の実施形態においては、特徴情報Ｃおよび笑顔度Ｓを顔情報データベースＤＢ２に保存しているが、特徴情報Ｃ、すなわち顔の位置、サイズ、向きおよび傾きについてのポイントＲ１〜Ｒ４を算出し、特徴情報Ｃに対応するポイントＲ１〜Ｒ４および笑顔度Ｓを顔情報データベースＤＢ２に保存するようにしてもよい。これにより、評価値Ｔを算出する際にポイントＲ１〜Ｒ４を算出する必要がなくなるため、より迅速に評価値Ｔを算出することができる。

また、上記第１の実施形態においては、あらかじめ定められた重み係数Ｗ１〜Ｗ４を用いて評価値Ｔを算出しているが、第２の実施形態と同様に算出基準の入力を受け付け、ユーザが所望とする顔の特徴を重みづけて評価値Ｔを算出するようにしてもよい。

また、上記第１および第２の実施形態においては、評価対象画像に含まれる笑顔度Ｓに基づく評価値Ｔを算出しているが、例えば泣き顔、怒り顔、真顔および驚き顔等の他の表情の度合に応じた評価値Ｔを算出するようにしてもよい。この場合、表情度算出部８は、あらかじめ定められた表情についての度合を表す表情度を算出することとなる。

また、上記第1および第２の実施形態においては、特徴情報Ｃとして、顔の位置、サイズ、向きおよび傾きを取得しているが、顔の位置、サイズ、向きおよび傾きのうちの少なくとも２つ、とくに顔の位置およびサイズを特徴情報Ｃとして取得すればよいものである。なお、評価対象画像は、カメラの構え方に応じて、縦長の画像であったり、天地が逆の画像であったりする場合がある。このため、顔の傾きについては、特徴情報Ｃから除外して評価値Ｔを算出するようにした方がよい場合もある。

以上、本発明の第１の実施形態に係る装置１０について説明したが、コンピュータを、上記の顔検出部６、特徴情報取得部７、表情度算出部８および評価値算出部９に対応する手段として機能させ、図４，７，８に示すような処理を行わせるプログラムも、本発明の実施形態の１つである。また、そのようなプログラムを記録したコンピュータ読取り可能な記録媒体も、本発明の実施形態の１つである。

本発明の第１の実施形態による画像評価装置の構成を示す概略ブロック図 特徴情報を説明するための図 顔の位置についてのポイントの算出を説明するための図 第１の実施形態において行われる処理を示すフローチャート 第１の実施形態における評価画面を示す図 第１の実施形態における他の評価画面を示す図 第２の実施形態において行われる処理を示すフローチャート 第２の実施形態における前処理のフローチャート 顔情報データベースＤＢ２の構成を示す図 第２の実施形態における評価画面を示す図（その１） 第２の実施形態における評価画面を示す図（その２） 第２の実施形態における評価画面を示す図（その３） 第２の実施形態における評価画面を示す図（その４）

符号の説明

１ 画像評価装置
２ 画像入力部
３ 圧縮／伸長部
４ 表示部
５ 入力部
６ 顔検出部
７ 特徴情報取得部
８ 表情度算出部
９ 評価値算出部
１０ 制御部
１１ 記憶部
３０，４０，５０ 評価画面

Claims (9)

1. 顔を含む画像からすべての該顔を検出する顔検出手段と、
   前記各顔についての特徴を表す複数の特徴情報を取得する特徴情報取得手段と、
   前記各顔が特定の表情である程度を表す表情度を算出する表情度算出手段と、
   前記各顔についての前記特徴情報および前記表情度に基づいて、前記画像の表情に基づく評価値を算出する評価値算出手段とを備えたことを特徴とする画像評価装置。
2. 前記評価値算出手段は、前記各顔に対応する前記特徴情報に基づいて決定された重み係数によって、前記各顔の表情度を重みづけ加算することにより、前記評価値を算出する手段であることを特徴とする請求項１記載の画像評価装置。
3. 前記評価値の算出基準の入力を受け付ける入力手段をさらに備え、
   前記評価値算出手段は、前記入力された算出基準により前記評価値を算出する手段であることを特徴とする請求項１記載の画像評価装置。
4. 前記評価値の算出基準の入力を受け付ける入力手段をさらに備え、
   前記評価値算出手段は、前記入力された算出基準により前記評価値を算出する手段であることを特徴とする請求項２記載の画像評価装置。
5. 前記重み係数が、前記各顔についての前記複数の特徴情報に基づいて決定された評価用ポイントを、該評価用ポイントを重みづけるためのポイント用重み係数によって重みづけ加算することにより算出されてなる場合、
   前記入力手段は、前記ポイント用重み係数の変更指示を受け付けることにより前記算出基準の入力を受け付ける手段であり、
   前記評価値算出手段は、前記変更されたポイント用重み係数により前記重み係数を算出して前記評価値を算出する手段であることを特徴とする請求項４記載の画像評価装置。
6. 複数の前記画像についての評価値を算出するに際し、前記各画像についての評価値の大きさに応じた評価結果を表す評価画面を表示する表示手段をさらに備えたことを特徴とする請求項１から５のいずれか１項記載の画像評価装置。
7. 複数の前記画像についての評価値を算出するに際し、前記入力された算出基準により算出された前記各画像についての評価値の大きさに応じた評価結果を表す評価画面を表示する表示手段をさらに備えたことを特徴とする請求項３から５のいずれか１項記載の画像評価装置。
8. 顔を含む画像からすべての該顔を検出し、
   前記各顔についての特徴を表す複数の特徴情報を取得し、
   前記各顔が特定の表情である程度を表す表情度を算出し、
   前記各顔についての前記特徴情報および前記表情度に基づいて、前記画像の表情に基づく評価値を算出することを特徴とする画像評価方法。
9. 顔を含む画像からすべての該顔を検出する手順と、
   前記各顔についての特徴を表す複数の特徴情報を取得する手順と、
   前記各顔が特定の表情である程度を表す表情度を算出する手順と、
   前記各顔についての前記特徴情報および前記表情度に基づいて、前記画像の表情に基づく評価値を算出する手順とを有することを特徴とする画像評価方法をコンピュータに実行させるためのプログラム。

Images