JP2007140897A - 画像検索装置および方法並びにプログラム - Google Patents

Abstract

【課題】例えばプリント出力するための画像を、繁雑な作業を行うことなく複数の画像から選択できるようにする。
【解決手段】メモリカード２から読み出された複数の画像から、顔検出部３２が顔領域を検出する。検出した顔領域に基づいて、人物特定部３４が複数の画像に含まれる人物を特定する。検索部３６が特定された人物のうち、複数の画像に最も多く含まれる人物を含む画像を複数の画像から検索する。
【選択図】図２

Description

本発明は、複数の画像からプリント等に利用する画像を検索する画像検索装置および方法並びに画像検索方法をコンピュータに実行させるためのプログラムに関するものである。

デジタルカメラ等を用いて撮影を行うことにより取得した画像やネガフィルムから読み取ることにより取得した画像を、ホームプリンタや写真店のプリンタにおいてプリント出力することが行われている。また、より簡単に画像をプリント出力するための各種手法が提案されている。例えば、特許文献１には、ネガフィルム等の原稿から読み取った画像をプリントする際に、画像のサイズに応じてプリントする用紙のサイズを選択してプリント出力する手法が記載されている。

ところで、画像をプリント出力する際には、取得した複数の画像をすべてプリントすることもあるが、多くの場合、複数の画像からユーザがプリントを所望する画像を選択し、選択した画像のみをプリント出力している。この場合、ビューアソフト等を用いて複数の画像の一覧を表示し、表示した一覧を見ながらプリントを所望する画像を選択するようにしている。
特開平５−２９２２６２号公報

しかしながら、複数の画像から所望とする画像を選択する作業は非常に煩雑である。とくに一覧には画像を縮小したサムネイル画像が表示されるため、画像に含まれる人物を確認することが難しいことから、人物を確認するためには一つ一つ画像を拡大して確認する必要があり、画像を選択する作業をより繁雑なものとしている。

本発明は上記事情に鑑みなされたものであり、例えばプリント出力等に利用する画像を、繁雑な作業を行うことなく複数の画像から選択できるようにすることを目的とする。

本発明による第１の画像検索装置は、複数の画像のそれぞれから顔領域を検出する顔検出手段と、
前記検出した顔領域に基づいて、前記複数の画像に含まれる人物を特定する人物特定手段と、
前記特定された人物のうち、前記複数の画像に最も多く含まれる人物を含む画像を前記複数の画像から検索する検索手段とを備えたことを特徴とするものである。

なお、本発明による第１の画像検索装置においては、前記検索手段を、前記複数の画像から人物を含まない画像をさらに検索する手段としてもよい。

本発明による第２の画像検索装置は、複数の画像に含まれる人物のうち、検索する少なくとも一人の人物の指定を受け付ける指定手段と、
前記複数の画像のそれぞれから顔領域を検出する顔検出手段と、
前記検出した顔領域に基づいて、前記指定された少なくとも一人の人物を含む画像を前記複数の画像から検索する検索手段とを備えたことを特徴とするものである。

「指定された少なくとも一人の人物を含む画像」とは、指定された人物が一人の場合はその人物を含む画像である。また、指定された人物が複数の場合は、指定された個々の人物を含む画像、指定された個々の人物のみを含む画像、および指定されたすべての人物を含む画像のいずれであってもよい。

なお、本発明による第２の画像検索装置においては、前記検索手段を、前記指定された人物が一人の場合において、該指定された人物と表情が一致する画像を前記複数の画像から検索する手段としてもよい。

また、本発明による第２の画像検索装置においては、前記検索手段を、前記複数の画像から人物を含まない画像をさらに検索する手段としてもよい。

本発明による第１の画像検索方法は、複数の画像のそれぞれから顔領域を検出し、
前記検出した顔領域に基づいて、前記複数の画像に含まれる人物を特定し、
前記特定された人物のうち、前記複数の画像に最も多く含まれる人物を含む画像を前記複数の画像から検索することを特徴とするものである。

本発明による第２の画像検索方法は、複数の画像に含まれる人物のうち、検索する少なくとも一人の人物の指定を受け付け、
前記複数の画像のそれぞれから顔領域を検出し、
前記検出した顔領域に基づいて、前記指定された少なくとも一人の人物を含む画像を前記複数の画像から検索することを特徴とするものである。

なお、本発明による第１および第２の画像検索方法をコンピュータに実行させるためのプログラムとして提供してもよい。

ユーザが複数の画像からプリント等に利用する画像を選択する場合には、ユーザが含まれる画像を選択することが多く、また、ユーザが所有している画像にはそのユーザが最も多く含まれているものである。

本発明の第１の画像検索装置および方法によれば、複数の画像のそれぞれから顔領域を検出し、検出した顔領域に基づいて、複数の画像に含まれる人物を特定し、特定した人物のうち複数の画像に最も多く含まれる人物を含む画像を複数の画像から検索するようにしたため、ユーザは画像を選択する作業を行わなくても、プリント等に利用する画像を複数の画像から選び出すことができる。

一方、ユーザが複数の画像からプリント等に利用する画像を選択する場合において、例えば友人にプリントを渡したい場合には、その友人が含まれる画像をプリントする必要が生じる。

本発明の第２の画像検索装置および方法によれば、複数の画像に含まれる人物のうち、検索する少なくとも一人の人物の指定を受け付け、複数の画像のそれぞれから顔領域を検出し、検出した顔領域に基づいて、指定された少なくとも一人の人物を含む画像を複数の画像から検索するようにしたため、とくに、友人に友人が写っている画像をプリントして渡したい場合に、ユーザは画像を選択する作業を行わなくても、プリント等に利用する画像を複数の画像から選び出すことができる。

また、指定された人物が一人の場合において、指定された人物を表情が一致する画像を複数の画像から検索することにより、ユーザが所望とする表情を有する人物の画像を、複数の画像から選び出すことができる。

また、複数の画像からプリント等に利用する画像を選択する場合には、人物が含まれない風景等の画像が選択されることも多い。このため、複数の画像から人物を含まない画像をさらに検索することにより、繁雑な作業を行うことなく、人物を含まない風景等の画像をも複数の画像から選び出すことができる。

以下、図面を参照して本発明の実施形態について説明する。図１は本発明の実施形態による画像選択装置を適用した画像のプリント注文受付装置の外観斜視図である。図１に示すように、本実施形態によるプリント注文受付装置１は、ユーザによる画像のプリント注文を受け付けるために写真店の店頭に設置されてなるものであり、プリント注文するための画像が記録された各種メモリカード２を装填し、メモリカード２から画像を読み出したり、メモリカード２に画像を記録したりするための複数種類のカードスロット４と、プリント注文のための各種表示を行う表示部６とを備え、写真店に設置されたプリンタ８と接続されている。なお、表示部６はタッチパネル式の入力部を備え、ユーザはモニタ６の表示にしたがって表示部６にタッチすることにより、プリント注文に必要な入力を行うことができる。

図２は本発明の第１の実施形態によるプリント注文受付装置の構成を示す概略ブロック図である。図２に示すように、プリント注文受付装置１は、画像を表す画像データの記録制御および表示制御等の各種制御を行うとともに、装置１を構成する各部の制御を行うＣＰＵ１２と、装置１を動作させるための基本的なプログラムおよび各種定数が記録されているＲＯＭ並びにＣＰＵ１２が処理を実行する際の作業領域となるＲＡＭにより構成されるシステムメモリ１４と、種々の指示を装置１に対して行うためのタッチパネル式の入力部１６と、上述した表示部６とを備える。

また、プリント注文受付装置１は、上述したカードスロット４と、画像データをＪＰＥＧに代表される手法で圧縮したり、圧縮した画像データを解凍する圧縮解凍部２２と、メモリカード２から読み出した画像データ、画像のプリント注文を行うためのプリント注文プログラム等のＣＰＵ１２が実行する各種プログラム等を記録するハードディスク２４と、システムメモリ１４、カードスロット４およびハードディスク２４を制御するメモリ制御部２６と、表示部６の表示を制御する表示制御部２８と、プリンタ８を装置１に接続するためのプリンタインターフェース３０とを備える。

なお、カードスロット４はメモリカード２の種類に応じて複数用意されているが、図２においては１つのカードスロット４のみを示している。

また、プリント注文受付装置１は、後述するようにメモリカード２に記録された複数の画像のそれぞれからすべての顔領域を検出する顔検出部３２と、検出した顔領域に基づいて、複数の画像に最も多く含まれる人物を特定する人物特定部３４と、特定された人物を含む画像を複数の画像から検索する検索部３６とを備える。

以下、顔検出部３２、人物特定部３４および検索部３６の機能について、本実施形態において行われる処理と併せて説明する。

図３は第１の実施形態において行われる画像の読み込み時に行われる処理を示すフローチャートである。ユーザがメモリカード２をカードスロット４に装填し、画像読み込みの指示を入力部１６から行うことによりＣＰＵ１２が処理を開始し、メモリカード２に記録された複数の画像を読み込む（ステップＳＴ１）。次いで、顔検出部３２が複数の画像のそれぞれから人物の顔領域をすべて検出する（ステップＳＴ２）。具体的には、例えば画像における肌色を有しかつ顔の輪郭形状をなす領域を顔領域として検出する。なお、顔領域が含まれていない背景や静物等の画像については、顔領域は検出されない。

次いで、人物特定部３４が画像のファイル名順に、顔領域が検出された画像について、顔領域の人物を特定する（ステップＳＴ３）。人物を特定する手法としては、例えば、顔領域から輪郭形状、目、口および鼻等の顔を構成する顔パーツの位置、肌の色等の顔の特徴を表す複数の特徴量を求め、まずファイル名が最初の画像に含まれている人物と求めた特徴量とを対応づけるとともに、含まれている人物の数に応じて、画像に含まれている人物に識別番号を付与する。

具体的には、まずファイル名が最初の画像について、特徴量を求めた人物に対して識別番号を１から順に付与する。そして、２番目以降の画像については、顔領域から求めた複数の特徴量と、すでに特定した人物の複数の特徴量とをそれぞれ比較し、求めた各特徴量とすでに特定した人物の各特徴量との差があらかじめ定めた所定の範囲内にある場合に、検出した顔領域の人物を上記差が所定の範囲内となった特徴量に対応する人物と見なし、検出した顔領域の人物に、対応する特徴量を得た人物の識別番号を付与する。なお、すでに検出したすべての人物に対応する特徴量との差が所定の範囲内とならない場合には、検出した顔領域の人物に新たな識別番号を付与する。

なお、抽出した顔領域同士で相関値を求め、相関値が所定値以上となる顔領域同士に同一の識別番号を付与することにより人物を特定してもよい。

人物特定部３４は、すべての画像について、人物数および含まれている人物に対応する識別番号を記述した人物情報ファイルを作成し、画像と対応づけてハードディスク２４に保存する（ステップＳＴ４）。なお、顔領域が検出されなかった画像は、人物情報ファイルにおいて人物数＝０と記述される。

そして、すべての画像について人物を特定すると、人物特定部３４は、識別番号と識別番号に対応する人物が含まれている画像数とを対応づけた集計ファイルを作成し、これをハードディスク２４に保存し（ステップＳＴ５）、処理を終了する。

図４はメモリカード２から読み出した画像が７枚あった場合の画像、人物情報ファイルおよび集計ファイルの内容を示す図である。図４に示すように各画像はＪＰＥＧ形式の画像であり、ファイル名が同一で拡張子がテキストの人物情報ファイルが対応づけられている。ここで、各画像に対応づけられた人物情報ファイルを参照することにより、例えばファイル名がＤＳＣＦ０７２７．ＪＰＧの画像は「人物数＝０」と記述されていることから人物が含まれない画像であり、ファイル名がＤＳＣＦ０７４０．ＪＰＧの画像は「人物数＝３、人物１：識別番号＝１、人物２：識別番号＝２、人物３：識別番号＝３」と記述されていることから、人物が３人含まれており、そのそれぞれの識別番号が１，２，３であることが分かる。また、ファイル名がinfo.txtの集計ファイルを参照することにより、処理の対象となった７枚の画像に含まれる人物数は３であり、識別番号が１の人物は１枚の画像に、識別番号が２の人物は４枚の画像に、そして識別番号が３の人物は３枚の画像に含まれていることが分かる。

次いで、第１の実施形態におけるプリント時に行われる処理について説明する。図５は第１の実施形態においてプリント時に行われる処理を示すフローチャートである。ユーザがプリント実行の指示を入力部１６から行うことによりＣＰＵ１２が処理を開始し、まず検索部３６が処理対象をファイル名が最初の画像に設定し（ステップＳＴ１１）、集計ファイルおよび処理対象の画像の人物情報ファイルを参照して、処理対象の画像が人物を含むか否かを判定する（ステップＳＴ１２）。この場合、処理対象の画像に付与された人物情報ファイルに「人物数＝０」と記述されている場合にはステップＳＴ１２は否定され、人物数に０以外の数値が記述されている場合にはステップＳＴ１２が肯定される。ステップＳＴ１２が否定されると処理対象の画像を複数の画像から選択する（ステップＳＴ１３）。

ステップＳＴ１２が肯定されると、検索部３６は、集計ファイルの記述と、処理対象の画像に付与された人物情報ファイルの記述とを比較することにより、処理対象の画像が人物特定部３４が特定した人物のうちメモリカード２から読み出した複数の画像に最も多く写っている人物を含むか否かを判定する（ステップＳＴ１４）。ステップＳＴ１４が肯定されると、ステップＳＴ１３に進み、処理対象の画像を複数の画像から選択する。

ステップＳＴ１３に続いて、およびステップＳＴ１４が否定されると、すべての画像の処理を終了したか否かを判定し（ステップＳＴ１５）、ステップＳＴ１５が否定されると、処理対象の画像を次の画像に設定し（ステップＳＴ１６）、ステップＳＴ１２に戻り、ステップＳＴ１２以降の処理を繰り返す。ステップＳＴ１５が肯定されると、選択した画像をプリンタ８からプリント出力し（ステップＳＴ１７）、処理を終了する。

これにより、人物を含まない画像および最も多く写っている人物を含む画像のみが検索されて、プリント出力されることとなる。具体的には、図４に示すように複数の画像に最も多く含まれる人物は識別番号＝２の人物であるから、識別番号＝２の人物が写っているファイル名がＤＳＣＦ０７４０．ＪＰＧ、ＤＳＣＦ０７４１．ＪＰＧ、ＤＳＣＦ０７４４３．ＪＰＧ、ＤＳＣＦ０７４７．ＪＰＧの画像、および人物を含まないファイル名がＤＳＣＦ０７２７．ＪＰＧ、ＤＳＣＦ０７２８．ＪＰＧの画像が複数の画像から検索され、プリント出力される。

このように、第１の実施形態によれば、複数の画像のそれぞれから顔領域を検出し、検出した顔領域に基づいて複数の画像に含まれる人物を特定し、特定した人物のうち複数の画像に最も多く写っている人物を含む画像を複数の画像から検索するようにしたため、ユーザは画像を選択する作業を行わなくても、プリント等に利用する画像を複数の画像から選び出すことができる。

また、複数の画像からプリント等に利用する画像を選択する場合には、人物が含まれない風景等の画像が選択されることも多い。このため、複数の画像から人物を含まない画像をさらに検索することにより、繁雑な作業を行うことなく、人物を含まない風景等の画像も複数の画像から選び出すことができる。

次いで、本発明の第２の実施形態について説明する。図６は本発明の第２の実施形態によるプリント注文受付装置の構成を示す概略ブロック図である。なお、第２の実施形態において第１の実施形態と同一の構成については同一の参照番号を付与し、ここでは詳細な説明は省略する。第２の実施形態によるプリント注文受付装置１Ａは、第１の実施形態における人物特定部３４および検索部３６とは異なる処理を行う人物特定部３４Ａおよび検索部３６Ａを備えてなる。

次いで、第２の実施形態において行われる処理について説明する。

図７は第２の実施形態において行われる画像の読み込み時に行われる処理を示すフローチャートである。ユーザがメモリカード２をカードスロット４に装填し、画像読み込みの指示を入力部１６から行うことによりＣＰＵ１２が処理を開始し、メモリカード２に記録された複数の画像を読み込む（ステップＳＴ２１）。次いで、顔検出部３２が複数の画像のそれぞれから人物の顔領域を検出する（ステップＳＴ２２）。

次いで、人物特定部３４Ａが画像のファイル名順に、顔領域が含まれている画像について、上記第１の実施形態と同様に人物を特定する（ステップＳＴ２３）。

そして、人物特定部３４は、人物を特定した画像について、人物数および人物が含まれている場合の識別番号を記述した人物情報ファイルを作成し、画像と対応づけてハードディスク２４に保存し（ステップＳＴ２４）、処理を終了する。なお、人物情報ファイルは上記第１の実施形態と同一のものとなる。

次いで、第２の実施形態における検索する人物を指定する処理について説明する。図８は第２の実施形態における人物指定処理のフローチャートである。ユーザが人物指定の指示を入力部１６から行うことによりＣＰＵ１２が処理を開始し、ユーザに人物の指定を行わせるための人物指定画面を表示部１８に表示する（ステップＳＴ３１）。

図９は第２の実施形態における人物指定画面を示す図である。図９に示すように人物指定画面４０は、人物を指定するための画像を表示する画像エリア４０Ａと、指定された人物を検索の対象に設定するための設定ボタン４０Ｂと、複数の人物を指定した場合に、指定した人物全員を含む画像を検索の対象に設定するためのａｎｄボタン４０Ｃと、複数の人物を指定した場合に、指定した人物のみを含む画像を検索の対象に設定するためのｏｒボタン４０Ｄとが表示されている。

ここで、画像エリア４０Ａに表示される画像は、メモリカード２から読み出した複数の画像に含まれるすべての人物が含まれる最小限の画像となる。例えば、上記第１と実施形態と同様の画像がメモリカード２に記録されていた場合、複数の画像には合計３人の人物が含まれることから、３人の人物のすべてが写っているファイル名がＤＳＣＦ０７４０．ＪＰＧの画像が画像エリア４０Ａに表示される。

ユーザは入力部１６を用いて表示されている画像において所望とする人物を指定する。なお、人物の指定の方法としては矩形の領域により人物の顔を囲む等の手法を用いることができる。そして人物を指定して設定ボタン４０Ｂを選択すると、人物特定部３４Ａは、選択した人物を表す識別番号を記述した指定人物ファイルを生成し、ハードディスク２４に保存し（ステップＳＴ３３）、処理を終了する。人物を一人のみ指定した場合の指定人物ファイルの記述内容を図１０（ａ）に示す。図１０（ａ）に示すように指定人物ファイルには、検索候補が１つであることを示す情報（検索候補＝１）と、指定した人物の識別番号とが記述されている。

なお、この際、複数の人物を指定してもよい。そして、複数の人物を指定した場合に設定ボタン４０Ｂを選択した後にａｎｄボタン４０Ｃを選択すると、指定したすべての人物を含む画像を後述する検索の対象とすべく、人物特定部３４Ａは、選択した人物を表す識別番号をまとめて記述した指定人物ファイルを生成する。この場合の指定人物ファイルの記述内容を図１０（ｂ）に示す。図１０（ｂ）に示すように指定人物ファイルには、検索候補が１つであることを示す情報と、指定した複数の人物の識別番号とが記述されている。

また、複数の人物を指定した場合に設定ボタン４０Ｂを選択した後にｏｒボタン４０Ｄを選択すると、指定した人物をのみ含む画像を人物単位で後述する検索の対象とすべく、人物特定部３４Ａは、選択した人物を表す識別番号を個別に記述した指定人物ファイルを生成する。この場合の指定人物ファイルの記述内容を図１０（ｃ）に示す。図１０（ｃ）に示すように指定人物ファイルには、検索候補が複数（ここでは２つ）あることを示す情報と、指定した人物の識別番号と、指定した人物のみを含む画像の検索を表す「ｏｒ＝１」の情報が記述されている。

また、複数の人物を指定した場合に設定ボタン４０Ｂを選択すると、指定した人物を含む画像を人物単位で後述する検索の対象とすべく、人物特定部３４Ａは、選択した人物を表す識別番号を個別に記述した指定人物ファイルを生成する。この場合の指定人物ファイルの記述内容を図１０（ｄ）に示す。図１０（ｄ）に示すように指定人物ファイルには、検索候補が複数（ここでは２つ）あることを示す情報と、指定した人物の識別番号と、指定した人物（のみではない）を含む画像の検索を表す「ｏｒ＝０」の情報が記述されている。

次いで、第２の実施形態におけるプリント時に行われる処理について説明する。図１１は第２の実施形態においてプリント時に行われる処理を示すフローチャートである。なお、ここではユーザが一人の人物のみを指定したものとして説明する。ユーザがプリント実行の指示を入力部１６から行うことによりＣＰＵ１２が処理を開始し、まず検索部３６Ａが処理対象をファイル名が最初の画像に設定し（ステップＳＴ４１）、指定人物ファイルおよび処理対象の画像の人物情報ファイルを参照して、処理対象の画像が人物を含むか否かを判定する（ステップＳＴ４２）。ステップＳＴ４２が否定されると処理対象の画像を複数の画像から選択する（ステップＳＴ４３）。

ステップＳＴ４２が肯定されると、検索部３６Ａは、処理対象の画像がユーザが指定した人物を含むか否かを判定する（ステップＳＴ４４）。ステップＳＴ４４が肯定されると、ステップＳＴ４３に進み、処理対象の画像を複数の画像から選択する。なお、これにより、複数の画像から人物を含まない画像およびユーザが指定した人物を含む画像が検索される。

ステップＳＴ４３に続いて、およびステップＳＴ４４が否定されると、すべての画像の処理を終了したか否かを判定し（ステップＳＴ４５）、ステップＳＴ４５が否定されると、処理対象の画像を次の画像に設定し（ステップＳＴ４６）、ステップＳＴ４２に戻り、ステップＳＴ４２以降の処理を繰り返す。ステップＳＴ４５が肯定されると、選択した画像をプリンタ８からプリント出力し（ステップＳＴ４７）、処理を終了する。

これにより、人物を含まない画像およびユーザが指定した人物を含む画像のみがプリント出力されることとなる。具体的には、ユーザが指定した人物が識別番号＝２の人物であるとすると、識別番号＝２の人物が写っているファイル名がＤＳＣＦ０７４０．ＪＰＧ、ＤＳＣＦ０７４１．ＪＰＧ、ＤＳＣＦ０７４４．ＪＰＧ、ＤＳＣＦ０７４７．ＪＰＧの画像、および人物を含まないファイル名がＤＳＣＦ０７２７．ＪＰＧ、ＤＳＣＦ０７２８．ＪＰＧの画像が複数の画像から検索され、プリント出力される。

なお、指定人物ファイルが図１０（ｂ）に示すように識別番号＝２，３の人物の双方を含む画像の検索を指定するものである場合には、識別番号＝２，３の双方の人物が写っているファイル名がＤＳＣＦ０７４０．ＪＰＧ、ＤＳＣＦ０７４１．ＪＰＧの画像、および人物を含まないファイル名がＤＳＣＦ０７２７．ＪＰＧ、ＤＳＣＦ０７２８．ＪＰＧの画像が複数の画像から検索され、プリント出力される。

また、指定人物ファイルが図１０（ｃ）に示すように識別番号＝２，３の人物のみを個別に含む画像の検索を指定するものである場合には、まず識別番号＝２の人物のみが写っているファイル名がＤＳＣＦ０７４４．ＪＰＧ、ＤＳＣＦ０７４７．ＪＰＧの画像、および人物を含まないファイル名がＤＳＣＦ０７２７．ＪＰＧ、ＤＳＣＦ０７２８．ＪＰＧの画像が複数の画像から検索され、プリント出力される。次いで、識別番号＝３の人物のみが写っているファイル名がＤＳＣＦ０７４２．ＪＰＧの画像、および人物を含まないファイル名がＤＳＣＦ０７２７．ＪＰＧ、ＤＳＣＦ０７２８．ＪＰＧの画像が複数の画像から検索され、プリント出力される。

また、指定人物ファイルが図１０（ｄ）に示すように識別番号＝２，３の人物のそれぞれを含む画像の検索を指定するものである場合には、まず識別番号＝２の人物が写っているファイル名がＤＳＣＦ０７４０．ＪＰＧ、ＤＳＣＦ０７４１．ＪＰＧ、ＤＳＣＦ０７４４．ＪＰＧ、ＤＳＣＦ０７４７．ＪＰＧの画像、および人物を含まないファイル名がＤＳＣＦ０７２７．ＪＰＧ、ＤＳＣＦ０７２８．ＪＰＧの画像が複数の画像から検索され、プリント出力される。次いで、識別番号＝３の人物が写っているファイル名がＤＳＣＦ０７４０．ＪＰＧ、ＤＳＣＦ０７４１．ＪＰＧ、ＤＳＣＦ０７４２．ＪＰＧの画像、および人物を含まないファイル名がＤＳＣＦ０７２７．ＪＰＧ、ＤＳＣＦ０７２８．ＪＰＧの画像が複数の画像から検索され、プリント出力される。

このように、本発明の第２の実施形態によれば、検索する少なくとも一人の人物の指定を受け付け、複数の画像のそれぞれから顔領域を検出し、検出した顔領域に基づいて、指定された少なくとも一人の人物を含む画像を複数の画像から検索するようにしたため、とくに、友人が写っている画像をプリントして友人に渡したい場合に、ユーザは画像を選択する作業を行わなくても、プリント等に利用する画像を複数の画像から選び出すことができる。

なお、第２の実施形態において、一人の人物を指定した後に、設定ボタン４０Ｂに続いてｏｒボタン４０Ｄを選択した場合に、指定した人物のみを含む画像を選択するようにしてもよい。

次いで、本発明の第３の実施形態について説明する。図１２は本発明の第３の実施形態によるプリント注文受付装置の構成を示す概略ブロック図である。なお、第３の実施形態において第２の実施形態と同一の構成については同一の参照番号を付与し、ここでは詳細な説明は省略する。第３の実施形態によるプリント注文受付装置１Ｂは、第２の実施形態における人物特定部３４Ａおよび検索部３６Ａとは異なる処理を行う人物特定部３４Ｂおよび検索部３６Ｂを備えてなる。

次いで、第３の実施形態において行われる処理について説明する。なお、第３の実施形態において画像の読み込み時に行われる処理については、第２の実施形態と同一であるため、ここでは詳細な説明は省略し、検索する人物を指定する処理から説明する。図１３は第３の実施形態における人物指定処理のフローチャートである。ユーザが人物指定の指示を入力部１６から行うことによりＣＰＵ１２が処理を開始し、ユーザの人物の指定を行わせるための人物指定画面を表示部１８に表示する（ステップＳＴ５１）。

図１４は第３の実施形態における人物指定画面を示す図である。図１４に示すように人物指定画面４２は、人物を指定するための画像を表示する画像エリア４２Ａと、指定された人物を検索の対象に設定するための設定ボタン４２Ｂとが表示されている。

図１４に示すように画像エリア４２Ａに表示される画像は、メモリカード２から読み出した複数の画像のうちの人物が含まれる画像となる。

ユーザは入力部１６を用いて表示されている画像において所望とする表情を有する人物が一人写っている画像を指定する。なお、人物の指定の方法としては矩形の領域により人物の顔を囲む等の手法を用いることができる。そして人物を囲んで設定ボタン４２Ｂを選択すると、人物特定部３４Ｂは、選択した人物を表す識別番号を登録した指定人物ファイルを生成し、ハードディスク２４に保存し（ステップＳＴ５３）、処理を終了する。この場合の指定人物ファイルの記述内容は上記図１０（ａ）に示すものとなる。

次いで、第３の実施形態におけるプリント時に行われる処理について説明する。図１５は第３の実施形態においてプリント時に行われる処理を示すフローチャートである。ユーザがプリント実行の指示を入力部１６から行うことによりＣＰＵ１２が処理を開始し、まず検索部３６Ｂが処理対象をファイル名が最初の画像に設定し（ステップＳＴ６１）、指定人物ファイルおよび処理対象の画像の人物情報ファイルを参照して、処理対象の画像が人物を含むか否かを判定する（ステップＳＴ６２）。ステップＳＴ６２が否定されると処理対象の画像を複数の画像から選択する（ステップＳＴ６３）。

ステップＳＴ６２が肯定されると、検索部３６Ｂは、処理対象の画像がユーザが指定した人物を含むか否かを判定する（ステップＳＴ６４）。この際、検索部３６Ｂは、ユーザが指定した画像に含まれる人物の顔領域から求めた複数の特徴量と、処理対象の画像に含まれる顔領域から求めた複数の特徴量とを比較し、各特徴量の差が所定の範囲内にある場合に、処理対象の画像がユーザが指定した人物を含むと判定する。なお、第３の実施形態における「所定の範囲」とは、第２の実施形態における「所定の範囲」よりも小さい。これにより、例えば、ユーザが指定した人物が笑った表情をしている場合には、処理対象の画像にユーザが指定した人物が含まれている場合であっても、処理対象の画像に含まれる人物の表情が笑った表情をしている場合にのみ、処理対象の画像が複数の画像から選択されることとなる。

そして、ステップＳＴ６４が肯定されると、ステップＳＴ６３に進み、処理対象の画像を複数の画像から選択する。これにより、複数の画像から人物を含まない画像およびユーザが指定した人物を含む画像が検索される。

ステップＳＴ６３に続いて、およびステップＳＴ６４が否定されると、すべての画像の処理を終了したか否かを判定し（ステップＳＴ６５）、ステップＳＴ６５が否定されると、処理対象の画像を次の画像に設定し（ステップＳＴ６６）、ステップＳＴ６２に戻り、ステップＳＴ６２以降の処理を繰り返す。ステップＳＴ６５が肯定されると、選択した画像をプリンタ８からプリント出力し（ステップＳＴ６７）、処理を終了する。

これにより、人物を含まない画像およびユーザが指定した人物を含む画像のみがプリント出力されることとなる。具体的には、ユーザが指定した人物が識別番号＝２の人物であり、その人物が笑った表情をしている場合、識別番号＝２の人物を含みかつその人物が笑った表情をしている画像および人物を含まない画像が複数の画像から検索され、プリント出力される。

なお、上記第１から第３の実施形態においては、人物を含まない画像を検索してプリント出力しているが、人物を含まない画像について、検索およびプリント出力を行わないようにしてもよい。

また、上記実施形態においては、本発明による画像検索装置をプリント注文受付装置に用いているが、本発明による画像検索装置を単体で用いてもよく、デジタルカメラ等の画像を扱う機器に設けてもよい。

以上、本発明の実施形態に係る装置について説明したが、コンピュータを、上記の顔検出部３２、人物特定部３４，３４Ａ，３４Ｂおよび検索部３６，３６Ａ，３６Ｂに対応する手段として機能させ、図３，５，７，８，１１，１３，１５に示すような処理を行わせるプログラムも、本発明の実施形態の１つである。また、そのようなプログラムを記録したコンピュータ読取り可能な記録媒体も、本発明の実施形態の１つである。また、このようなプログラムを、画像を閲覧するためのビューアソフトに組み込むようにしてもよい。

本発明の第１の実施形態による画像選択装置を適用したプリント注文受付装置の外観斜視図 本発明の第１の実施形態によるプリント注文受付装置の構成を示す概略ブロック図 第１の実施形態において行われる画像の読み込み時に行われる処理を示すフローチャート 画像、人物情報ファイルおよび集計ファイルの内容を示す図 第１の実施形態においてプリント時に行われる処理を示すフローチャート 本発明の第２の実施形態によるプリント注文受付装置の構成を示す概略ブロック図 第２の実施形態において行われる画像の読み込み時に行われる処理を示すフローチャート 第２の実施形態における人物指定処理のフローチャート 第２の実施形態における人物指定画面を示す図 指定人物ファイルの記述内容を示す図 第２の実施形態においてプリント時に行われる処理を示すフローチャート 本発明の第３の実施形態によるプリント注文受付装置の構成を示す概略ブロック図 第３の実施形態における人物指定処理のフローチャート 第３の実施形態における人物指定画面を示す図 第３の実施形態においてプリント時に行われる処理を示すフローチャート

符号の説明

１，１Ａ，１Ｂ プリント注文受付装置
２ メモリカード
４ カードスロット
６ 表示部
８ プリンタ
１２ ＣＰＵ
１４ システムメモリ
１６ 入力部
２２ 圧縮解凍部
２４ ハードディスク
２６ メモリ制御部
２８ 表示制御部
３０ プリンタインターフェース
３２ 顔検出部
３４，３４Ａ，３４Ｂ 人物特定部
３６，３６Ａ，３６Ｂ 検索部

Claims (9)

1. 複数の画像のそれぞれから顔領域を検出する顔検出手段と、
   前記検出した顔領域に基づいて、前記複数の画像に含まれる人物を特定する人物特定手段と、
   前記特定された人物のうち、前記複数の画像に最も多く含まれる人物を含む画像を前記複数の画像から検索する検索手段とを備えたことを特徴とする画像検索装置。
2. 前記検索手段は、前記複数の画像から人物を含まない画像をさらに検索する手段であることを特徴とする請求項１記載の画像検索装置。
3. 複数の画像に含まれる人物のうち、検索する少なくとも一人の人物の指定を受け付ける指定手段と、
   前記複数の画像のそれぞれから顔領域を検出する顔検出手段と、
   前記検出した顔領域に基づいて、前記指定された少なくとも一人の人物を含む画像を前記複数の画像から検索する検索手段とを備えたことを特徴とする画像検索装置。
4. 前記検索手段は、前記指定された人物が一人の場合において、該指定された人物と表情が一致する画像を前記複数の画像から検索する手段であることを特徴とする請求項３記載の画像検索装置。
5. 前記検索手段は、前記複数の画像から人物を含まない画像をさらに検索する手段であることを特徴とする請求項３または４記載の画像検索装置。
6. 複数の画像のそれぞれから顔領域を検出し、
   前記検出した顔領域に基づいて、前記複数の画像に含まれる人物を特定し、
   前記特定された人物のうち、前記複数の画像に最も多く含まれる人物を含む画像を前記複数の画像から検索することを特徴とする画像検索方法。
7. 複数の画像に含まれる人物のうち、検索する少なくとも一人の人物の指定を受け付け、
   前記複数の画像のそれぞれから顔領域を検出し、
   前記検出した顔領域に基づいて、前記指定された少なくとも一人の人物を含む画像を前記複数の画像から検索することを特徴とする画像検索方法。
8. 複数の画像のそれぞれから顔領域を検出する手順と、
   前記検出した顔領域に基づいて、前記複数の画像に含まれる人物を特定する手順と、
   前記特定された人物のうち、前記複数の画像に最も多く含まれる人物を含む画像を前記複数の画像から検索する手順とを有することを特徴とする画像検索方法をコンピュータに実行させるためのプログラム。
9. 複数の画像に含まれる人物のうち、検索する少なくとも一人の人物の指定を受け付ける手順と、
   前記複数の画像のそれぞれから顔領域を検出する手順と、
   前記検出した顔領域に基づいて、前記指定された少なくとも一人の人物を含む画像を前記複数の画像から検索する手順とを有することを特徴とする画像検索方法をコンピュータに実行させるためのプログラム。

Images