JP2007041987A - 画像処理装置および方法、並びにプログラム - Google Patents

Abstract

【課題】 手間をかけることなく、検索において、所望の画像を簡単に検索する。
【解決手段】 顔検出エンジン３２は、外部の装置から供給された画像ファイル４１またはファイルシステム３１から供給された画像ファイル４１に格納されている画像に含まれる顔画像の数を検出する。顔情報データベース３３は、それぞれの画像と検出された顔画像の数を示す顔検出情報とを関係付けて、記憶する。本発明は、例えば、パーソナルコンピュータ、デジタルスチルカメラ、携帯端末装置、または携帯電話機など画像を取り扱う機器に適用できる。
【選択図】 図２

Description

本発明は画像処理装置および方法、並びにプログラムに関し、特に、簡単に検索するための情報を画像に関係付けるようにした画像処理装置および方法、並びにプログラムに関する。

画像の中の人物の顔の領域（顔画像）の検出の方式はこれまで多数提案され、その用途についても、監視カメラによる人物の検出や動画像のシーンの検出など様々な使い方が提案されている（例えば、非特許文献１参照）。

しかしながら、その用途は、特定の限定された業務におけるものであり、私生活または家庭生活などの日常生活における使い方は、あまり提案されてこなかった。

一方、いわゆるデジタルスチルカメラが普及し、静止画像を撮影する機能が携帯電話機に搭載されるようになり、日常生活のなかで静止画像（写真）を撮影する機会は着実に増えている。

日常生活のなかで撮影された静止画像の管理は、極めて面倒である。静止画像を撮影した使用者は、静止画像に付された日付を基にした、いわゆるカレンダ表示で画像を表示させたり、使用者の手で入力したテキストのメモを、それぞれの静止画像に付加したり、使用者の手で画像を予め決めたフォルダに格納するなど、手間をかけて静止画像を分類しなければならなかった。

このような管理をしなければ、静止画像を後々意味のあるアルバムとして閲覧したり、同じようなシチュエーションで撮影された静止画像を時系列で閲覧したりすることができなかった。

使用者が莫大な数の静止画像（写真）から顔が写っている静止画像だけを抽出しようとする場合、使用者は、フォルダを順に開いて、所望の静止画像が格納されている各フォルダまで到達して、さらに、フォルダに格納されている静止画像を開いて、静止画像の内容を確認しなければならない。この場合、所望の静止画像を格納しているフォルダには、面倒な操作をステップを踏んで実行しなければ（正しいフォルダを正しい順序で開いていかなければ）、到達することができない。

また、撮影時に顔を検出して、最適な撮影を行うように撮影を制御する技術があるが、撮影された静止画像（写真）に何人の顔が写っているかをタグ付けして、集合写真の検索のために使うことはこれまで提案されていなかった。

"顔，テロップから歓声まで総動員で１０００時間を絞る"、「日経エレクトロニクス」日経BP社、２００４年６月２１日発行、p.114-123

このように、静止画像（写真）の分類、管理には、膨大な手間がかかっていた。また、このような手間をかけないと、大量の静止画像の中から所望の静止画像を見つけることが極めて困難になる。

本発明は、このような状況に鑑みてなされたものであり、手間をかけることなく、検索において、所望の画像を簡単に検索することができるようにするものである。

本発明の一側面は、それぞれの画像に含まれる顔の画像である顔画像の数を検出する検出手段／ステップと、それぞれの画像と検出された顔画像の数とを関係付ける関係付け手段／ステップとを含む画像処理装置、画像処理方法、またはプログラムである。

本発明の一側面においては、それぞれの画像に含まれる顔の画像である顔画像の数が検出され、それぞれの画像と検出された顔画像の数とが関係付けられる。

検出手段は、顔画像毎に、顔画像の大きさをさらに検出し、関係付け手段は、それぞれの画像と、検出された顔画像の数および大きさとを関係付けるようにすることができる。

検出手段は、顔画像毎に、画像における顔画像の位置をさらに検出し、関係付け手段は、それぞれの画像と、検出された顔画像の数および位置とを関係付けるようにすることができる。

検出手段は、顔画像毎に、顔の向きをさらに検出し、関係付け手段は、それぞれの画像と、検出された顔画像の数および顔の向きとを関係付けるようにすることができる。

それぞれの画像の顔画像の数および予め記憶している基準値を基に、それぞれの画像の分類を示すラベルを生成する生成手段をさらに設け、関係付け手段は、それぞれの画像とラベルとを関係付けるようにすることができる。

それぞれの画像に関係付けられているラベルを基に、画像を検索する検索手段と、検索された画像の表示を制御する表示制御手段とをさらに設けることができる。

検索手段は、使用者により選択されたアイコンで特定されるラベルと同様のラベルが関係付けられている画像を検索するようにすることができる。

検索手段は、使用者により選択された画像に関係付けられているラベルと同様のラベルが関係付けられている画像を検索するようにすることができる。

予め記憶している複数の基準値のうち、使用者により選択されたアイコンで特定される基準値に対応する数の顔画像を含む画像を検索する検索手段と、検索された画像の表示を制御する表示制御手段とをさらに設けることができる。

検索手段は、アイコンで特定される基準値を基準とする所定の範囲の数の顔画像を含む画像を検索するようにすることができる。

検出手段は、使用者により選択された画像に含まれる顔画像の数を検出し、画像処理装置に、選択された画像に含まれる顔画像の数に対応する数の顔画像を含む画像を検索する検索手段と、検索された画像の表示を制御する表示制御手段とをさらに設けることができる。

検索手段は、選択された画像に含まれる顔画像の数を基準とする所定の範囲の数の顔画像を含む画像を検索するようにすることができる。

以上のように、本発明の一側面によれば、画像に情報を関係付けることができる。

また、本発明の一側面によれば、手間をかけることなく、検索において、所望の画像を簡単に検索することができる。

以下に本発明の実施の形態を説明するが、本発明の構成要件と、発明の詳細な説明に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、発明の詳細な説明に記載されていることを確認するためのものである。従って、発明の詳細な説明中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。

本発明の一側面の画像処理装置は、第１に、それぞれの画像に含まれる顔の画像である顔画像の数を検出する検出手段（例えば、図２の顔検出エンジン３２）と、それぞれの画像と検出された顔画像の数とを関係付ける関係付け手段（例えば、図２の顔情報データベース３３）とを備える。

本発明の一側面の画像処理装置は、第２に、それぞれの画像の顔画像の数および予め記憶している基準値を基に、それぞれの画像の分類を示すラベルを生成する生成手段（例えば、図２のラベリング部３４）をさらに備え、関係付け手段は、それぞれの画像とラベルとを関係付ける。

本発明の一側面の画像処理装置は、第３に、それぞれの画像に関係付けられているラベルを基に、画像を検索する検索手段（例えば、図９の検索エンジン８２）と、検索された画像の表示を制御する表示制御手段（例えば、図９の表示制御部８３）とをさらに備える。

本発明の一側面の画像処理装置は、第４に、予め記憶している複数の基準値のうち、使用者により選択されたアイコンで特定される基準値に対応する数の顔画像を含む画像を検索する検索手段（例えば、図９の検索エンジン８２）と、検索された画像の表示を制御する表示制御手段（例えば、図９の表示制御部８３）とをさらに備える。

本発明の一側面の画像処理方法またはプログラムは、それぞれの画像に含まれる顔の画像である顔画像の数を検出する検出ステップ（例えば、図３のステップＳ１１）と、それぞれの画像と検出された顔画像の数とを関係付ける関係付けステップ（例えば、図３のステップＳ１３）とを含む。

本発明は、例えば、パーソナルコンピュータ、デジタルスチルカメラ、携帯端末装置、または携帯電話機など画像を取り扱う機器に適用できる。

図１は、パーソナルコンピュータである、本発明の一実施の形態の画像処理装置の構成の例を示すブロック図である。CPU（Central Processing Unit）１１は、ROM（Read Only Memory）１２、または記憶部１８に記憶されているプログラムに従って各種の処理を実行する。RAM（Random Access Memory）１３には、CPU１１が実行するプログラムやデータなどが適宜記憶される。これらのCPU１１、ROM１２、およびRAM１３は、バス１４により相互に接続されている。

なお、CPU１１として、”Ｃｅｌｌ誕生”、日経エレクトロニクス、日経BP社、２００５年２月２８日、８９頁乃至１１７頁に記載されているＣｅｌｌを採用することができる。

CPU１１にはまた、バス１４を介して入出力インターフェース１５が接続されている。入出力インターフェース１５には、キーボード、マウス、マイクロホン、デジタルスチルカメラなどよりなる入力部１６、ディスプレイ、スピーカなどよりなる出力部１７が接続されている。CPU１１は、入力部１６から入力される指令に対応して各種の処理を実行する。そして、CPU１１は、処理の結果を出力部１７に出力する。

入出力インターフェース１５に接続されている記憶部１８は、例えばハードディスクからなり、CPU１１が実行するプログラムや各種のデータを記憶する。通信部１９は、インターネットやローカルエリアネットワークなどのネットワークを介して外部の装置と通信する。

また、通信部１９を介してプログラムを取得し、記憶部１８に記憶してもよい。

入出力インターフェース１５に接続されているドライブ２０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア２１が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記憶部１８に転送され、記憶される。

図２は、プログラムを実行するパーソナルコンピュータである画像処理装置において実現される、顔を検出し、ラベルを付加する機能の構成を示すブロック図である。図２に示される画像処理装置は、ファイルシステム３１、顔検索エンジン３２、顔情報データベース３３、ラベリング部３４、およびテンプレートデータベース３５を含むように構成される。

ファイルシステム３１は、デジタルスチルカメラである入力部１６によって撮影された静止画像である画像（データ）を格納しているか、または外部の装置によって撮影された静止画像である画像（データ）を格納している画像ファイル４１を記憶する。ファイルシステム３１は、記憶している画像ファイル４１を顔検出エンジン３２に供給する。

例えば、ファイルシステム３１は、ハードディスクである記憶部１８への、データのファイルとしての記憶を管理し、データをファイルとして、記憶部１８に記憶させたり、記憶部１８に記憶されているファイルを読み出す。

ここで、画像ファイル４１は、ビットマップ方式、JPEG（Joint Photographic Experts Group）方式、JPEG２０００方式、GIF（Graphics Interchange Format）、またはTIFF（Tagged Image File Format）など、所定の方式の画像データを格納する。

顔検出エンジン３２は、それぞれの画像に含まれる顔の画像である顔画像の数を検出する。例えば、顔検出エンジン３２は、外部の装置から供給された画像ファイル４１またはファイルシステム３１から供給された画像ファイル４１に格納されている画像に含まれる顔画像の数を検出する。顔検出エンジン３２は、検出した顔画像の数を含む顔検出情報を顔情報データベース３３に供給する。

顔情報データベース３３は、それぞれの画像と検出された顔画像の数とを関係付ける。例えば、顔情報データベース３３は、それぞれの画像と検出された顔画像の数を示す顔検出情報とを関係付けて、記憶する。

なお、顔情報データベース３３は、顔検出情報が記憶部１８に記憶されるように構成される。

ラベリング部３４は、それぞれの画像の顔画像の数および予め記憶している基準値を基に、それぞれの画像の分類を示すラベルを生成する。例えば、ラベリング部３４は、顔情報データベース３３に記憶されている顔検出情報、およびテンプレートデータベース３５に記憶されているテンプレートを基に、ポートレート、ツーショット、集合写真、または風景写真などの画像の分類（属性）を示すラベルを生成する。ラベルは、その画像の主体が人物であることを示しているとも言える。

テンプレートデータベース３５は、画像の分類の基準となるテンプレートを予め記憶している。なお、実際には、テンプレートデータベース３５は、テンプレートが記憶部１８に記憶されるように構成される。

ラベリング部３４によって生成された、それぞれの画像の分類を示すラベルは、それぞれの画像と関係付けられて顔情報データベース３３に記憶される。

図３は、ラベリングの処理を説明するフローチャートである。ステップＳ１１において、顔検出エンジン３２は、画像ファイル４１を開いて、画像を入力し、入力された画像から顔領域（顔画像）を検出する。

ここで、図４のフローチャートを参照して、顔領域の検出の処理を説明する。

ステップＳ３１において、顔検出エンジン３２は、検出の対象となる領域の大きさの初期値を設定する。ステップＳ３２において、顔検出エンジン３２は、入力された画像における領域の最初の位置を決める。

ステップＳ３３において、顔検出エンジン３２は、領域に属する画素の画素値を取得する。ステップＳ３４において、顔検出エンジン３２は、画素値を取得した領域が、顔の領域であるか否かを判定する。

すなわち、ステップＳ３４において、顔検出エンジン３２は、画素値を取得した領域について顔の画像を検出する。

例えば、図５で示されるように、JPEG方式の画像データを格納する画像ファイル４１を入力した顔検出エンジン３２は、ステップＳ３４において、取得した画素値が、人の肌の色に対応する所定の色の範囲に属する色を示すかを基に、画素値を取得した領域が、顔の領域であるか否かを判定する。

ステップＳ３４において、画素値を取得した領域が、顔の領域であると判定された場合、ステップＳ３５に進み、顔検出エンジン３２は、画素値を取得した領域である、顔の領域の位置、顔の大きさ、および顔の向きを示すメタデータを出力し、手続きは、ステップＳ３６に進む。

例えば、ステップＳ３５において、顔検出エンジン３２は、画像全体の縦のサイズおよび横のサイズをそれぞれ１とした場合、画像における顔の位置として、相対的な座標で示される、顔の領域の中心の縦および横の位置を検出して、検出した位置を示すメタデータを出力する。

また、例えば、ステップＳ３５において、顔検出エンジン３２は、画像全体の縦のサイズおよび横のサイズをそれぞれ１とした場合、画像における顔の大きさとして、相対的な座標で示される、顔の領域の高さおよび幅である顔の大きさを検出して、検出した顔の大きさを示すメタデータを出力する。

さらに、例えば、ステップＳ３５において、顔検出エンジン３２は、予め定義されている、想定される顔の方向ごとの複数のパターンと、顔の領域の画像とが一致するか否かを判定し、顔の向きを、顔の領域の画像と一致するパターンに対応する向きとし、その顔の向きを示すメタデータを出力する。例えば、顔の向きは、顔の領域の画像と一致するパターンのインデックスで示される。

例えば、ステップＳ３５において、顔検出エンジン３２は、顔の領域の位置、顔の大きさ、および顔の向きを示すメタデータを、自分が管理するRAM１３上の記憶領域に出力する。このようにした場合、顔の領域の位置、顔の大きさ、および顔の向きを示すメタデータが記憶されることになる。

ステップＳ３４において、画素値を取得した領域が、顔の領域でないと判定された場合、ステップＳ３５はスキップされて、手続きは、ステップＳ３６に進む。

ステップＳ３６において、顔検出エンジン３２は、設定されている大きさの領域で、画像の全体を調べたか否かを判定する。ステップＳ３６において、画像の全体を調べていないと判定された場合、ステップＳ３７に進み、顔検出エンジン３２は、画像内で領域を移動させて、ステップＳ３３に戻り、上述した処理を繰り返す。

例えば、ステップＳ３７において、顔検出エンジン３２は、画像内で、領域をラスタスキャン順に、予め定めた画素数だけ移動させる。この場合、顔検出エンジン３２は、領域の大きさに応じて決められた画素数（例えば、領域の領域の高さおよび幅の１０％に相当する画素数）だけ領域を移動させるようにしてもよい。

このように、画像内で領域を順に移動させながら、その領域が顔の領域であるか否かが判定される。言い換えれば、画像内で領域を順に移動させながら、その領域について顔の画像が検出される。

ステップＳ３６において、画像の全体を調べたと判定された場合、ステップＳ３８に進み、顔検出エンジン３２は、予め定めた全ての大きさの領域について調べたか否かを判定する。

ステップＳ３８において、予め定めた全ての大きさの領域について調べていないと判定された場合、ステップＳ３９に進み、顔検出エンジン３２は、領域の次の大きさを設定して、ステップＳ３２に戻り、上述した処理を繰り返す。

この場合、次のステップＳ３２乃至ステップＳ３７において、前回の処理における領域の大きさと異なる大きさの領域が顔の領域であるか否かが判定されることになる。

ステップＳ３８において、予め定めた全ての大きさの領域について調べたと判定された場合、ステップＳ４０に進み、顔検出エンジン３２は、ステップＳ３５で出力されたメタデータを基に、例えば、図５で示されるように、画像ファイル４１に格納されている画像の全体に含まれる顔の画像の数、並びに顔の画像のそれぞれの位置、大きさ、および向きの属性を示す顔検出情報５１を出力して、処理は終了する。

このように、画像における領域の位置と領域の大きさを変えながら、それぞれの領域が顔の領域であるか否が判定されるので、顔検出エンジン３２は、画像ファイル４１に格納されている画像の全体について、顔の画像の数を検出して、顔の画像のそれぞれの位置、大きさ、向きを検出することになる。

図３に戻り、ステップＳ１２において、顔情報データベース３３は、顔検出エンジン３２から出力された顔検出情報５１を取得する。ステップＳ１３において、顔情報データベース３３は、画像と顔検出情報５１とを関係付けて、記憶する。

この場合、例えば、図５で示されるように、顔情報データベース３３は、顔検出情報５１を含むメタデータファイル５２を作成して、画像ファイル４１とは別に、記憶する。

図６で示されるように、メタデータファイル５２は、顔の画像の数、並びに顔の画像のそれぞれの位置、大きさ、および向きの属性を示す顔検出メタ情報（顔検出情報５１）およびその他のメタ情報を格納する。メタデータファイル５２は、画像Exif情報と共に画像データを格納している画像ファイル４１に、顔情報データベース３３によって紐付けされるか、または画像ファイル４１と関連したファイル名（例えば、ピリオドの前側が一致し、拡張子が異なるファイル名）とされて、紐付けされる（関連付けられる）。

なお、図５および図７で示されるように、顔の画像の数、並びに顔の画像のそれぞれの位置、大きさ、および向きの属性を示す顔検出メタ情報（顔検出情報５１）を、画像Exif情報として、画像ファイル４１に格納するようにしてもよい。

図３に戻り、ステップＳ１４において、ラベリング部３４は、テンプレートデータベース３５からテンプレートを読み込んで、テンプレートと顔検出情報５１とを比較する。

図８は、テンプレートデータベース３５に記憶されているテンプレートの例を示す図である。

１人の人物を主題として撮られた画像は、一般に、ポートレートと称される。ポートレートにおいては、通常、１つの顔が、画面全体のサイズに対してある程度大きめに写されている。顔の位置が画像の中央にあれば、バストショットなど明らかに人物を主題に撮られた画像であることが推定される。

そこで、図８の例で示されるように、ポートレートであるテンプレート名に対応して、１である顔の画像の数、画像の中央である顔の位置、大である顔の大きさ、および正面である顔の向きを示すテンプレートがテンプレートデータベース３５に格納されている。

なお、１つの顔が写っているとしても、画像に対して左右にオフセットした位置に顔が写っていれば、その画像は、中央の物体共に記念撮影された画像であることが推定される。

縦長の写真構図に対して画面の中央の上側の位置に、小さめに検出された１つの顔がある場合、その画像は、写っている人物の全身像を撮影した画像であることが推定される。

また、２人の人物を主題として撮られた画像は、俗にツーショット（２ショット）と称される。

そこで、図８の例で示されるように、ツーショットであるテンプレート名に対応して、２乃至３である顔の画像の数、画像の中央付近である顔の位置、大乃至中である顔の大きさ、および正面、またはお互いに向き合う方向である顔の向きを示すテンプレートがテンプレートデータベース３５に格納されている。

画面内に対してほぼ同じサイズの顔の領域が、比較的接近して複数検出された場合、その画像は、３人または少人数での記念撮影されたグループ写真であることが推定される。図示は省略するが、例えば、グループ写真のテンプレートに、３乃至７である顔の画像の数、近接している顔の位置、中乃至小である顔の大きさ、および正面である顔の向きが格納される。

団体を主題として撮られた画像は、一般に、集合写真と称される。画面の広範囲にわたって、ほぼ同じサイズの顔が、ある一定の間隔で横方向または縦方向に並んでいる場合、この画像は、団体旅行などの集合写真であることが推定される。

イベントにおける集合写真は、そのイベントにおける思い出を強く想起させる。例えば、撮影時間の分散から、１つのイベントにおける集合写真を特定することで、画像を分類する上で、集合写真のプライオリティを上げることは有用である。

図８の例で示されるように、集合写真であるテンプレート名に対応して、８乃至１３である顔の画像の数、画像の中央から上半分の領域であって、横方向に帯状の分布である顔の位置、小である顔の大きさ、および正面である顔の向きを示すテンプレートがテンプレートデータベース３５に格納されている。

また、人物以外の物や風景を撮影の対象としている画像は、一般に、風景画像と称される。顔が１つも検出されないか、顔の画像が分散していたり、画像の端に顔の画像が位置している場合には、その画像の主題は、人物におかれていないことが推定される。

そこで、図８の例で示されるように、風景画像であるテンプレート名に対応して、０である顔の画像の数を示すテンプレートがテンプレートデータベース３５に格納されている。このテンプレートにおいて、顔があっても大きさ、向きによってはカウントしないことが、風景画像に対して記述されている。

また、風景画像のテンプレートにおいて、顔の位置が限定されないこと、小さい顔が写っていても顔の数としてカウントしないこと、および横向きの顔は、顔の数としてカウントしないことが記述されている。

このように、例えば、ステップＳ１４において、ラベリング部３４は、テンプレートデータベース３５から図８で示されるテンプレートを読み込んで、テンプレートと顔検出情報５１とを比較する。

なお、ステップＳ１４において、ラベリング部３４は、テンプレートの一部と、顔検出情報５１の一部とを比較してもよく、テンプレートの全部と、顔検出情報５１の全部とを比較してもよい。例えば、ラベリング部３４は、テンプレートで示される顔の数と、顔検出情報５１の顔の数とを比較してもよい。また例えば、ラベリング部３４は、テンプレートの顔の数、顔の位置、顔の大きさ、および顔の向きと、顔検出情報５１に含まれる顔の数、顔の位置、顔の大きさ、および顔の向きとを比較してもよい。

その他、写真の技法のセオリーの組み合わせを示すテンプレートを用意するようにしてもよい。

ステップＳ１５において、ラベリング部３４は、テンプレートにマッチしたラベルを顔情報データベース３３に登録して、処理は終了する。

例えば、顔検出情報５１に含まれる顔の数が１である場合、ポートレートに対応するテンプレートの顔の数が１なので、その顔検出情報５１に関係付けられている画像には、ポートレートであるラベルが関係付けられて、顔情報データベース３３に登録される（記憶される）。

例えば、顔検出情報５１に含まれる顔の数が２であり、顔の位置が画像の中央付近であり、顔の大きさが中であり、かつ顔の向きが正面である場合、ツーショットに対応するテンプレートにおいて、顔の数が２乃至３であり、顔の位置が画像の中央付近であり、顔の大きさが大乃至中であり、顔の向きが正面またはお互いに向かい合う方向なので、その顔検出情報５１に関係付けられている画像には、ツーショットであるラベルが関係付けられて、顔情報データベース３３に登録される。

このように、それぞれの画像の分類を示すラベル、例えば、ポートレート、ツーショット、グループ写真、集合写真、または風景画像のいずれかのラベルが、画像のそれぞれに関係付けられて、顔情報データベース３３に登録される。

なお、ラベルは、メタデータファイル５２に格納されるか、または画像Exif情報として、画像ファイル４１に格納される。

なお、テンプレートは、いわゆるデフォルトとして設定するようにしても、使用者により変更されるようにしてもよい。この場合、テンプレートが変更されたとき、ステップＳ１４およびステップＳ１５の処理を実行させるようにすれば、変更されたテンプレートに応じて画像のそれぞれに関係付けられたラベルを変更することができる。すなわち、画像に関係付けられたラベルが動的に変更される。

図９は、プログラムを実行するパーソナルコンピュータである画像処理装置において実現される、画像を検索する機能の構成を示すブロック図である。図９に示される画像処理装置は、ファイルシステム３１、顔検索エンジン３２、顔情報データベース３３、テンプレートデータベース３５、検索条件取得部８１、検索エンジン８２、および表示制御部８３を含むように構成される。

なお、画像処理装置は、ラベリング部３４を設けて、図２に示される構成と図９に示される構成とを統合した構成としてもよいことは勿論である。

顔情報データベース３３は、それぞれの画像に関係付けられている、その画像の全体に含まれる顔の画像の数、並びに顔の画像のそれぞれの位置、大きさ、および向きの属性を示すメタデータファイル５２を記憶すると共に、それぞれの画像の分類を示すラベルを記憶する。

検索条件取得部８１は、使用者に操作されるキーボードまたはマウスなどからなる入力部１６からの信号を基に、画像を検索するための検索条件を取得する。

検索条件取得部８１は、マージン付加部９１を含む。マージン付加部９１は、取得した検索条件にマージンを付加する。すなわち、マージン付加部９１は、取得した検索条件を基準値として、その基準値にマージンを付加して、所定の範囲の（幅を持つ）検索条件を生成する。マージンを付加することで、検索条件に所定の幅を持たせることができるようになる。

検索条件取得部８１は、取得した検索条件を検索エンジン８２に供給する。

検索エンジン８２は、検索条件取得部８１から供給された検索条件を基に、ファイルシステム３１によって記憶されている画像ファイル４１を検索する。検索エンジン８２は、検索された画像ファイル４１を表示制御部８３に供給する。

表示制御部８３は、検索エンジン８２から供給された画像ファイル４１に格納されている画像データを基に、ディスプレイである出力部１７に画像を表示させる。

図１０は、検索の処理を説明するフローチャートである。ステップＳ５１において、検索条件取得部８１は、使用者に操作されるキーボードまたはマウスなどからなる入力部１６からの信号を基に、ディスプレイである出力部１７に表示されているラベルアイコンを選択する。

図１１は、GUI（Graphical User Interface）としての、ディスプレイである出力部１７に表示されている検索のための画像の例を示す図である。ディスプレイである出力部１７の画面の右側には、サムネイル画像表示領域１２１が設けられている。サムネイル画像表示領域１２１には、検索の対象となる画像ファイル４１に格納されている画像データに対するサムネイル画像が表示されるか、または検索された画像ファイル４１に格納されている画像データに対するサムネイル画像が表示される。図１１に示す例のサムネイル画像表示領域１２１において、サムネイル画像は、横に５列に配置されている。サムネイル画像表示領域１２１の右端に配置されているスクロールバーを操作することで、サムネイル画像が縦にスクロールされる。

ディスプレイである出力部１７の画面の左側には、検索ツール表示領域１２２が設けられている。検索ツール表示領域１２２には、画像の検索のためのツールが配置されている。図１１に示す例の検索ツール表示領域１２２の上側には、選択されている画像が、サムネイル画像に比較して大きく表示されている。検索ツール表示領域１２２の上側に表示されている画像には、検出された顔の領域を示す四角が表示されている。

図１１に示す例の検索ツール表示領域１２２の下側には、ラベルアイコンが配置されている。ラベルアイコンは、使用者に検索条件としてのラベルを選択させるためのアイコンである。

図１２は、ラベルアイコンの例を示す図である。ラベルアイコン１４１−１は、使用者に検索条件としての、ポートレートであるラベルを選択させるためのアイコンである。ラベルアイコン１４１−２は、使用者に検索条件としての、ツーショットであるラベルを選択させるためのアイコンである。ラベルアイコン１４１−３は、使用者に検索条件としての、グループ写真であるラベルを選択させるためのアイコンである。ラベルアイコン１４１−４は、使用者に検索条件としての、集合写真であるラベルを選択させるためのアイコンである。

以下、ラベルアイコン１４１−１乃至ラベルアイコン１４１−４を個々に区別する必要がないとき、単にラベルアイコン１４１と称する。

ステップＳ５１において、キーボードまたはマウスなどからなる入力部１６への使用者により操作によって、いずれかのラベルアイコン１４１が選択されると、選択されたラベルアイコン１４１に対応するラベルを示す検索条件が検索エンジン８２に供給される。例えば、ラベルアイコン１４１−１が使用者に選択された場合、検索条件取得部８１は、ポートレートであるラベルを示す検索条件を検索エンジン８２に供給する。例えば、ラベルアイコン１４１−３が使用者に選択された場合、検索条件取得部８１は、グループ写真であるラベルを示す検索条件を検索エンジン８２に供給する。

ステップＳ５２において、検索エンジン８２は、検索条件取得部８１から供給された、検索条件であるラベルをキーとして、それぞれの画像に関係付けられているラベルを基に、画像を検索する。

すなわち、例えば、検索エンジン８２は、顔情報データベース３３に記憶されているラベルのうち、キーであるラベルと一致するラベルを検索する。検索エンジン８２は、キーであるラベルと一致した、検索されたラベルに関係付けられている画像ファイル４１をファイルシステム３１から、検索する。検索エンジン８２は、検索された画像ファイル４１をファイルシステム３１から読み出して、表示制御部８３に供給する。

なお、ステップＳ５２において、検索エンジン８２は、検索条件であるラベルをキーとして、それぞれの画像に関係付けられているラベルを基に、所定の範囲の画像、例えば、予め定めたフォルダ若しくはディレクトリまたは使用者が選択したフォルダ若しくはディレクトリに格納されている画像から所望の画像を検索するようにしてもよい。

ステップＳ５３において、表示制御部８３は、検索エンジン８２から供給された画像ファイル４１に格納されている画像データを基に、ディスプレイである出力部１７に、画像の一覧を表示させ、処理は終了する。

この場合、表示制御部８３は、画像Exif情報に記述されている日付などを基に、画像をソートして、ディスプレイである出力部１７に、ソートされた画像の一覧を表示させるようにしてもよい。

図１３は、サムネイル画像表示領域１２１に表示される、検索された画像の一覧の例を示す図である。ステップＳ５１において、ラベルアイコン１４１−３が使用者に選択された場合、グループ写真であるラベルを示す検索条件が検索エンジン８２に供給される。すると、ステップＳ５２において、グループ写真であるラベルに関係付けられている画像ファイル４１が、ファイルシステム３１から、検索される。

その結果、ステップＳ５３において、ディスプレイである出力部１７に、画像の一覧が表示される。図１３で示されるように、グループ写真であるラベルに関係付けられている画像、すなわち、例えば、顔の数が３乃至７であり、顔の位置が近接し、顔の大きさが中乃至小であり、顔の向きが正面である画像が検索され、検索された画像のサムネイル画像がサムネイル画像表示領域１２１に表示される。図１３で示される例において、グループ写真であるラベルに関係付けられている、３つの画像ファイル４１が検索されたので、サムネイル画像表示領域１２１には、３つの画像ファイル４１のそれぞれに対応する３つのサムネイル画像が表示される。

このように、手間をかけることなく、所望の画像を簡単に検索することができる。

図１４は、検索の他の処理を説明するフローチャートである。ステップＳ７１において、検索条件取得部８１は、使用者に操作されるキーボードまたはマウスなどからなる入力部１６からの信号を基に、画像を選択する。例えば、ステップＳ７１において、検索条件取得部８１は、入力部１６からの信号を基に、サムネイル画像表示領域１２１に表示されているサムネイル画像のうち、ダブルクリックされたサムネイル画像に対応する画像を選択する。

ステップＳ７２において、検索条件取得部８１は、顔情報データベース３３から、選択された画像につけられたラベルを取得する。すなわち、ステップＳ７２において、検索条件取得部８１は、顔情報データベース３３に記憶されているラベルのうち、選択された画像に関係付けられているラベルを取得する。

ステップＳ７３およびステップＳ７４の処理は、それぞれ、図１０のステップＳ５２およびステップＳ５３の処理と同様なので、その説明は省略する。

このように、画像を選択するだけで、その画像のラベルと同様のラベルが関係付けられている画像を簡単に検索することができる。

図１５は、検索のさらに他の処理を説明するフローチャートである。ステップＳ９１において、検索条件取得部８１は、使用者に操作されるキーボードまたはマウスなどからなる入力部１６からの信号を基に、ディスプレイである出力部１７に表示されているテンプレートアイコンを選択する。テンプレートアイコンは、使用者に検索条件としてのテンプレートを選択させるためのアイコンである。

ステップＳ９２において、検索条件取得部８１は、テンプレートデータベース３５から、選択されたテンプレートアイコンに対応するテンプレートに記述されている条件である、顔の数、顔の位置、顔の大きさ、および顔の方向を取得する。例えば、図８で示されるテンプレートがテンプレートデータベース３５に記憶されている場合、ステップＳ９１において、テンプレート名がポートレートであるテンプレートを選択させるためのテンプレートアイコンが選択されたとき、ステップＳ９２において、検索条件取得部８１は、ポートレートであるテンプレート名に対応する、１である顔（の画像）の数、画像の中央である顔の位置、大である顔の大きさ、および正面である顔の向きを取得する。

また、例えば、図８で示されるテンプレートがテンプレートデータベース３５に記憶されている場合、ステップＳ９１において、テンプレート名が集合写真であるテンプレートを選択させるためのテンプレートアイコンが選択されたとき、ステップＳ９２において、検索条件取得部８１は、集合写真であるテンプレート名に対応する、８乃至１３である顔（の画像）の数、画像の中央から上半分の領域であって、横方向に帯状の分布である顔の位置、小である顔の大きさ、および正面である顔の向きを取得する。

ステップＳ９３において、マージン付加部９１は、取得した情報にマージンをつけて、検索の範囲を示す顔情報キーを決定する。例えば、ステップＳ９２において、ツーショット（２ショット）であるテンプレート名に対応する、２乃至３である顔（の画像）の数、画像の中央付近である顔の位置、大乃至中である顔の大きさ、および正面、またはお互いに向き合う方向である顔の向きが取得された場合、マージン付加部９１は、顔の数に１であるマージンを付加して、２乃至４である顔（の画像）の数、画像の中央付近である顔の位置、大乃至中である顔の大きさ、および正面、またはお互いに向き合う方向である顔の向きである顔情報キーを決定する。

また、たとえば、マージン付加部９１は、顔の数に−１であるマージンを付加して、１乃至３である顔（の画像）の数、画像の中央付近である顔の位置、大乃至中である顔の大きさ、および正面、またはお互いに向き合う方向である顔の向きである顔情報キーを決定するようにしてもよい。

なお、マージンは、顔（の画像）の数だけでなく、顔の位置、顔の大きさ、顔の向きのいずれか、または全部につけるようにしてもよい。

ステップＳ９４において、検索エンジン８２は、決定した顔情報キーを基に、画像を検索する。例えば、検索エンジン８２は、顔情報キーと一致する、顔検出メタ情報を格納しているメタデータファイル５２を顔情報データベース３３から検索する。そして、検索エンジン８２は、検索されたメタデータファイル５２に関係付けられている画像ファイル４１をファイルシステム３１から、検索する。検索エンジン８２は、検索された画像ファイル４１をファイルシステム３１から読み出して、表示制御部８３に供給する。

例えば、検索エンジン８２が、２乃至４である顔（の画像）の数、画像の中央付近である顔の位置、大乃至中である顔の大きさ、および正面、またはお互いに向き合う方向である顔の向きである顔情報キーを基に、画像を検索すると、顔（の画像）の数が２乃至４のいずれかであり、顔の位置が画像の中央付近にあり、顔の大きさが大または中であり、顔の向きが正面、またはお互いに向き合う方向である画像がファイルシステム３１から検索されて、表示制御部８３に供給されることになる。

ステップＳ９５において、表示制御部８３は、検索エンジン８２から供給された画像ファイル４１に格納されている画像データを基に、ディスプレイである出力部１７に、画像の一覧を表示させ、処理は終了する。

このように、画像にラベルが関係付けられていない場合であっても、テンプレートを基に、手間をかけることなく、所望の画像を簡単に検索することができる。

図１６は、検索のさらに他の処理を説明するフローチャートである。ステップＳ１２１において、検索条件取得部８１は、使用者に操作されるキーボードまたはマウスなどからなる入力部１６からの信号を基に、画像を選択する。例えば、ステップＳ１２１において、検索条件取得部８１は、入力部１６からの信号を基に、サムネイル画像表示領域１２１に表示されているサムネイル画像のうち、ダブルクリックされたサムネイル画像に対応する画像を選択する。

ステップＳ１２２において、検索条件取得部８１は、選択された画像の、顔の数、顔の位置、顔の大きさ、および顔の方向を取得する。例えば、ステップＳ１２２において、検索条件取得部８１は、顔情報データベース３３から、選択された画像に関係付けられているメタデータファイル５２を読み出す。そして、検索条件取得部８１は、読み出したメタデータファイル５２に含まれる顔検出情報で示される顔の数、顔の位置、顔の大きさ、および顔の方向を取得する。

なお、顔検索エンジン３２が、選択された画像の、顔の数、顔の位置、顔の大きさ、および顔の方向を検出することで、顔の数、顔の位置、顔の大きさ、および顔の方向を取得するようにしてもよい。

ステップＳ１２３乃至ステップＳ１２５の処理は、それぞれ、図１５のステップＳ９３乃至ステップＳ９５の処理と同様なので、その説明は省略する。

このように、画像にラベルが関係付けられていない場合であっても、表示されている画像を基に、手間をかけることなく、所望の画像を簡単に検索することができる。

以上のように、アイコンを選択するだけで、画像処理装置の内部処理で必要な画像のみがフィルタリングされ、閲覧したい画像を検索することができる。さらに、現在閲覧している画像を選択するだけで、さらに、選択された画像の属性をキーとして、画像を検索することができる。検索された画像は、さらにフィルタリングされて、画面上に並べられる。

顔の画像の検出の結果得られたメタ情報を用いて、画像の主題や意図を推定し、推定された主題や意図に応じて画像がラベリングされる。ラベリングを基に、画像を簡単に検索することができる。

さらに、ラベリングを基に、より高度なアプリケーションを提案することもできる。例えば、ラベリングと、撮影の時系列やGPS（Global Positioning System）により位置情報などのメタ情報とを組み合わせて、長年にわたって蓄積した画像（写真）を人物ベースで自動的に分類し、整理したり、ツーショットなどの特定の画像（写真）を対象にして、その画像（写真）を共有したりすることができる。さらに、旅行などでの重要なスポット写真（記念写真等）をつづるダイジェストスライドショーなどのようにこれまでになかった、自分の持っている写真、画像コンテンツを有効に活用できる高度なアプリケーションを提供できる。

このように、画像から検出された情報と画像とを関係付けるようにした場合には、画像に情報を関係付けることができる。また、それぞれの画像に含まれる顔の画像である顔画像の数を検出し、それぞれの画像と検出された顔画像の数とを関係付けるようにした場合には、手間をかけることなく、検索において、所望の画像を簡単に検索することができる。

上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム格納媒体からインストールされる。

コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを格納するプログラム格納媒体は、図１に示すように、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ（Mini-Disc）を含む）、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア２１、または、プログラムが一時的もしくは永続的に格納されるROM１２や、記憶部１８を構成するハードディスクなどにより構成される。プログラム格納媒体へのプログラムの格納は、必要に応じてルータ、モデムなどのインターフェースである通信部１９を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を利用して行われる。

なお、本明細書において、プログラム格納媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。

なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

本発明の一実施の形態の画像処理装置の構成の例を示すブロック図である。 顔を検出し、ラベルを付加する機能の構成を示すブロック図である。 ラベリングの処理を説明するフローチャートである。 顔領域の検出の処理を説明するフローチャートである。 顔の検出を説明する図である。 顔検出情報の格納を説明する図である。 顔検出情報の格納を説明する図である。 テンプレートの例を示す図である。 画像を検索する機能の構成を示すブロック図である。 検索の処理を説明するフローチャートである。 検索のための画像の例を示す図である。 ラベルアイコンの例を示す図である。 検索された画像の一覧の例を示す図である。 検索の他の処理を説明するフローチャートである。 検索のさらに他の処理を説明するフローチャートである。 検索のさらに他の処理を説明するフローチャートである。

符号の説明

１１ ＣＰＵ， １２ ＲＯＭ， １３ ＲＡＭ， １８ 記憶部， ２１ リムーバブルメディア， ３１ ファイルシステム， ３２ 顔検出エンジン， ３３ 顔情報データベース， ３４ ラベリング部， ３５ テンプレートデータベース， ８１ 検索条件取得部， ８２ 検索エンジン， ８３ 表示制御部， ９１ マージン付加部

Claims (14)

1. それぞれの画像に含まれる顔の画像である顔画像の数を検出する検出手段と、
   それぞれの前記画像と検出された前記顔画像の数とを関係付ける関係付け手段と
   を備える画像処理装置。
2. 前記検出手段は、前記顔画像毎に、前記顔画像の大きさをさらに検出し、
   前記関係付け手段は、それぞれの前記画像と、検出された前記顔画像の数および大きさとを関係付ける
   請求項１に記載の画像処理装置。
3. 前記検出手段は、前記顔画像毎に、前記画像における前記顔画像の位置をさらに検出し、
   前記関係付け手段は、それぞれの前記画像と、検出された前記顔画像の数および位置とを関係付ける
   請求項１に記載の画像処理装置。
4. 前記検出手段は、前記顔画像毎に、顔の向きをさらに検出し、
   前記関係付け手段は、それぞれの前記画像と、検出された顔画像の数および顔の向きとを関係付ける
   請求項１に記載の画像処理装置
5. それぞれの前記画像の前記顔画像の数および予め記憶している基準値を基に、それぞれの前記画像の分類を示すラベルを生成する生成手段をさらに備え、
   前記関係付け手段は、それぞれの前記画像と前記ラベルとを関係付ける
   請求項１に記載の画像処理装置。
6. それぞれの前記画像に関係付けられている前記ラベルを基に、前記画像を検索する検索手段と、
   検索された前記画像の表示を制御する表示制御手段と
   をさらに備える請求項５に記載の画像処理装置。
7. 前記検索手段は、使用者により選択されたアイコンで特定されるラベルと同様のラベルが関係付けられている前記画像を検索する
   請求項６に記載の画像処理装置。
8. 前記検索手段は、使用者により選択された前記画像に関係付けられているラベルと同様のラベルが関係付けられている前記画像を検索する
   請求項６に記載の画像処理装置。
9. 予め記憶している複数の基準値のうち、使用者により選択されたアイコンで特定される前記基準値に対応する数の前記顔画像を含む前記画像を検索する検索手段と、
   検索された前記画像の表示を制御する表示制御手段と
   をさらに備える請求項１に記載の画像処理装置。
10. 前記検索手段は、前記アイコンで特定される前記基準値を基準とする所定の範囲の数の前記顔画像を含む前記画像を検索する
    請求項９に記載の画像処理装置。
11. 前記検出手段は、使用者により選択された前記画像に含まれる前記顔画像の数を検出し、
    選択された前記画像に含まれる前記顔画像の数に対応する数の前記顔画像を含む前記画像を検索する検索手段と、
    検索された前記画像の表示を制御する表示制御手段と
    をさらに備える請求項１に記載の画像処理装置。
12. 前記検索手段は、選択された前記画像に含まれる前記顔画像の数を基準とする所定の範囲の数の前記顔画像を含む前記画像を検索する
    請求項１１に記載の画像処理装置。
13. それぞれの画像に含まれる顔の画像である顔画像の数を検出する検出ステップと、
    それぞれの前記画像と検出された前記顔画像の数とを関係付ける関係付けステップと
    を含む画像処理方法。
14. それぞれの画像に含まれる顔の画像である顔画像の数を検出する検出ステップと、
    それぞれの前記画像と検出された前記顔画像の数とを関係付ける関係付けステップと
    を含む処理をコンピュータに実行させるプログラム。

Images