JP2007109130A - 画像検索装置および方法並びにプログラム - Google Patents

Abstract

【課題】ユーザの負担を増やすことなく、複数の画像からユーザが所望する顔画像を検索できるようにする。
【解決手段】ユーザの顔をカメラ７により撮影し、顔領域抽出部３４が撮影により取得した画像からユーザの顔領域を抽出する。検索部３６が、顔領域の特徴量に基づいて、ユーザの顔が含まれる画像を、メモリカード２に記録された複数の画像から検索する。
【選択図】図２

Description

本発明は、複数の画像からユーザが所望とする画像を検索する画像検索装置および方法、並びに画像検索方法をコンピュータに実行させるためのプログラムに関するものである。

銀塩カメラと比較すると、デジタルカメラでは、フィルム料金がかからない分、撮影自体のコストが下がり、その結果、より多くの画像を撮影する傾向にある。また、デジタルカメラに着脱される記録メディアの大容量化もその傾向を助長している。その結果、デジタルカメラの記録メディアや、記録メディアから読み出された画像データが保存されるパソコンのハードディスクやＣＤ−Ｒ等の記憶メディアには、非常に多くの画像がストックされ、その中には、必要な画像（写りのよい画像）と不要な画像（失敗写真や重複して撮影された画像等）が混在し、さらにそれらは未整理のままとなっていることが多い。

このような大量の画像を整理するのは大変面倒な作業となる。そこで、このような画像ストックからの必要な画像の検索・抽出や不要な画像の抽出・削除、また、画像ストック中の画像のイベントや日時、場所等の観点に基づく分類・整理をサポートする装置が提案されている。

例えば、抽出対象となる人物の顔画像に基づき、パターンマッチングによる人物認識処理によって、画像データベースから抽出対象の人物の顔が含まれる画像を抽出する手法が提案されている（特許文献１参照）。
特開２００５−４９９６８号公報

しかしながら、特許文献１に記載された手法は、ユーザが抽出対象となる人物の顔画像を準備する必要があり、この準備がユーザにとって負担となりうる。

本発明は、上記事情に鑑みてなされたものであり、ユーザの負担を増やすことなく、複数の画像からユーザが所望する画像を抽出できるようにすることを目的とする。

本発明による画像検索装置は、複数の画像から所定の画像を検索する画像検索装置において、
少なくとも１つの向きからのユーザの顔を撮影する撮影手段と、
前記撮影手段が撮影により取得した少なくとも１つの画像から顔領域を抽出する顔領域抽出手段と、
前記少なくとも１つの顔領域の特徴量に基づいて、前記ユーザの顔が含まれる画像を前記複数の画像から検索する検索手段とを備えたことを特徴とするものである。

「顔領域の特徴量」とは、顔領域の輪郭線の位置、輪郭線の形状、並びに目、鼻および口等の顔パーツの位置等、その顔を特徴づけることが可能な各種パラメータを意味する。

なお、本発明による画像検索装置においては、前記検索手段を、前記少なくとも１つの顔領域から、前記顔領域の輪郭線の位置、該輪郭線の形状、並びに目、鼻および口等の顔パーツの位置の情報を前記特徴量として検出するとともに、前記複数の画像に含まれる顔領域から前記特徴量を検出し、前記少なくとも１つの顔領域から検出した特徴量と前記複数の画像から検出した特徴量との相関に基づいて、前記ユーザの顔が含まれる画像を検索する手段としてもよい。

この場合、前記検索手段を、前記複数の画像に含まれるユーザの顔において、前記顔領域の輪郭線の位置、該輪郭線の形状および顔パーツの位置の一部がサングラスやマスク等の装飾物により隠されている場合は、該隠されている部分以外の情報を特徴量として検出する手段としてもよい。

また、本発明による画像検索装置においては、特定の人物の顔を含む画像の入力を受け付ける入力手段をさらに備えるものとし、
前記顔領域抽出手段を、前記入力された画像から前記顔領域を抽出する手段とし、
前記検索手段を、前記入力された画像から抽出された顔領域の特徴量に基づいて、前記特定の人物の顔が含まれる画像を前記複数の画像から検索する手段としてもよい。

本発明によるプリント注文受付装置は、本発明による画像検索装置と、
該検索された画像からのプリント注文の選択を受け付ける入力手段と、
前記選択された画像をプリント出力する処理を行うプリント処理手段とを備えたことを特徴とするものである。

本発明による画像検索方法は、複数の画像から所定の画像を検索する画像検索方法において、
少なくとも１つの向きからのユーザの顔を撮影し、
前記撮影手段が撮影により取得した少なくとも１つの画像から顔領域を抽出し、
前記少なくとも１つの顔領域の特徴量に基づいて、前記ユーザの顔が含まれる画像を前記複数の画像から検索することを特徴とするものである。

なお、本発明による画像検索方法をコンピュータに実行させるためのプログラムとして提供してもよい。

本発明によれば、少なくとも１つの向きからのユーザの顔が撮影され、これにより取得された少なくとも１つの画像からユーザの顔領域が抽出される。そして抽出された少なくとも１つの顔領域の特徴量に基づいて、ユーザの顔が含まれる画像が複数の画像から検索される。このため、ユーザは自身の顔を撮影した顔画像を準備する必要がなくなり、これにより、ユーザに負担をかけることなく、複数の画像からユーザの顔を含む画像を抽出することができる。

また、ユーザの横顔等、顔の向きを変えた顔を複数撮影することにより、様々な角度でユーザの顔を含む画像を複数の画像から検索することができ、これにより、ユーザを含む画像の検索精度を向上させることができる。

また、少なくとも１つの顔領域から、顔領域の輪郭線の位置、輪郭線の形状、並びに目、鼻および口等の顔パーツの位置の情報を特徴量として検出するとともに、複数の画像に含まれる顔領域から特徴量を検出し、少なくとも１つの顔領域から検出した特徴量と複数の画像から検出した特徴量との相関に基づいて、ユーザの顔が含まれる画像を検索することにより、比較的容易な演算により複数の画像からユーザの顔を抽出することができる。

この場合、複数の画像に含まれるユーザの顔において、顔領域の輪郭線の位置、輪郭線の形状、並びに目、鼻および口等の顔パーツの位置の一部が装飾物により隠されている場合は、隠されている部分以外の情報を特徴量として検出することにより、ユーザの顔の一部がサングラス等により隠されている場合であっても、複数の画像からユーザの顔を抽出することができる。

また、特定の人物の顔を含む画像の入力を受け付け、入力された画像から顔領域を抽出し、抽出した顔領域の特徴量に基づいて特定の人物の顔が含まれる画像を複数の画像から検索することにより、ユーザ以外の特定の人物の顔を含む画像を複数の画像から抽出することができる。

以下、図面を参照して本発明の実施形態について説明する。図１は本発明の実施形態による画像検索装置を適用した注文受付装置の外観斜視図である。図１に示すように、本実施形態による注文受付装置１は、ユーザによる画像のプリント注文を受け付けるために写真店の店頭に設置されてなるものであり、プリント注文するための画像が記録された各種メモリカード２を装填し、メモリカード２から画像を読み出したり、メモリカード２に画像を記録したりするための複数種類のカードスロット４と、プリント注文のための各種表示を行う表示部６と、プリント注文を行うユーザの顔の撮影を行うカメラ７とを備え、写真店に設置されたプリンタ８および画像に対する画像処理やプリント注文の管理を行うためのデジタルイメージコントローラ（ＤＩＣ）１０とネットワークにより接続されている。なお、表示部６はタッチパネル式の入力部を備え、ユーザは表示部６の表示にしたがって表示部６にタッチすることにより、プリント注文に必要な入力を行うことができる。

図２は本発明の実施形態による注文受付装置１の構成を示す概略ブロック図である。図２に示すように、注文受付装置１は、画像を表す画像データの記録制御および表示制御等の各種制御を行うとともに、装置１を構成する各部の制御を行うＣＰＵ１２と、装置１を動作させるための基本的なプログラムおよび各種定数が記録されているＲＯＭ並びにＣＰＵ１２が処理を実行する際の作業領域となるＲＡＭにより構成されるシステムメモリ１４と、種々の指示を装置１に対して行うためのタッチパネル式の入力部１６と、上述した表示部６とを備える。

また、注文受付装置１は、上述したカードスロット４と、画像データをＪＰＥＧに代表される手法で圧縮したり、圧縮した画像データを解凍する圧縮解凍部２２と、メモリカード２から読み出した画像データ、画像のプリント注文を行うためのプリント注文プログラム等のＣＰＵ１２が実行する各種プログラム等を記録するハードディスク２４と、システムメモリ１４、カードスロット４およびハードディスク２４を制御するメモリ制御部２６と、表示部６の表示を制御する表示制御部２８と、装置１をプリンタ８およびＤＩＣ１０とネットワークを介して接続するためのネットワークインターフェース３０とを備える。

なお、カードスロット４はメモリカード２の種類に応じて複数用意されているが、図２においては１つのカードスロット４のみを示している。

また、注文受付装置１は、上述したカメラ７の制御を行うためのカメラ制御部３２を備える。

また、注文受付装置１は、カメラ７がプリント注文を行うユーザの顔を撮影することにより取得した画像から顔領域を抽出する顔領域抽出部３４と、顔領域抽出部３４が抽出した顔領域の特徴量に基づいて、ユーザの顔が含まれる画像を複数の画像から検索する検索部３６とを備える。

このような注文受付装置１におけるプリント注文は以下のようにして行われる。図３は注文受付装置１の表示部６に表示される初期画面を示す図である。図３に示すように初期画面４０には、プリント注文を行うためのプリント注文ボタン４０Ａ、および後述するような検索を行うための検索ボタン４０Ｂが表示されている。まず、ユーザは複数の画像を記録したメモリカード２をカードスロット４に装填し、プリント注文ボタン４０Ａを選択することにより、プリント注文実行の指示を装置１に対して行う。これにより、ＣＰＵ１２が処理を開始し、メモリカード２から複数の画像を読み出して一時的にハードディスク２４に保存し、さらに、複数の画像の一覧を表示部６に表示する
ユーザは表示部６に表示された画像の一覧からのプリント注文を行う画像の選択、注文枚数および注文サイズの設定をタッチパネル方式の入力部１６を用いて行う。そして、ユーザがプリント実行の指示を入力部１６を用いて行うと、ユーザが選択した画像、並びに注文枚数および注文サイズを表す注文情報がＤＩＣ１０に送信され、ここで画質を向上させるために必要な画像処理が画像に対して施され、注文情報に応じた注文枚数および注文サイズによりプリント注文した画像がプリンタ８からプリント出力される。

次いで、本実施形態における検索の処理について説明する。図４は本実施形態における検索処理を示すフローチャートである。

ユーザが複数の画像を記録したメモリカード２をカードスロット４に装填し、検索ボタン４０Ｂを選択することにより、ＣＰＵ１２が処理を開始し、メモリカード２から複数の画像を読み出して一時的にハードディスク２４に保存し（ステップＳＴ１）、撮影を行うための撮影画面を表示部６に表示する（ステップＳＴ２）。

図５は撮影画面を示す図である。図５に示すように撮影画面４２には、カメラ７により撮影中の画像を表示する画像表示エリア４２Ａ、カメラ７による撮影を実行するための撮影ボタン４２Ｂ、および検索を中止するためのキャンセルボタン４２Ｃが表示されている。ユーザは画像表示エリア４２Ａに表示されているユーザの顔を見て所望とするアングルとなったときに撮影ボタン４２Ｂを選択することにより、ユーザの顔の撮影をカメラ制御部３２を介してカメラ７に行わせることができる。

このため、ＣＰＵ１２は撮影ボタン４２Ｂが選択されたか否かの監視を開始し（ステップＳＴ３）、ステップＳＴ３が肯定されると、カメラ７にユーザの顔の撮影を行わせ（ステップＳＴ４）、撮影により取得した画像を表示するための撮影画像画面を表示部６に表示する（ステップＳＴ５）。

図６は撮影画像画面を示す図である。図６に示すように撮影画像画面４４には、撮影により取得した画像を表示する画像表示エリア４４Ａと、再撮影を行うための再撮影ボタン４４Ｂと、他のアングルの画像を追加撮影するための追加撮影ボタン４４Ｃと、検索を実行するための検索実行ボタン４４Ｄと、検索を中止するためのキャンセルボタン４４Ｅとが表示されている。

ＣＰＵ１２は再撮影ボタン４４Ｂが選択されたか否かを判定し（ステップＳＴ６）、ステップＳＴ６が肯定されるとステップＳＴ２に戻り、再度ユーザの顔の撮影をカメラ７に行わせる。

ここで、ユーザはユーザの正面を向いた顔以外に、横顔も用いて画像の検索を所望する場合がある。このような場合、ユーザは追加撮影ボタン４４Ｃを選択することにより、さらにユーザの横顔の撮影をカメラ７に行わせることができる。

このため、ステップＳＴ６が否定されると、ＣＰＵ１２は追加撮影ボタン４４Ｃが選択されたか否かを判定し（ステップＳＴ７）、ステップＳＴ７が肯定されると、カメラ７にユーザの顔の追加撮影を行わせ（ステップＳＴ８）、撮影により取得した画像を、前回撮影により取得した画像と併せて表示する撮影画像画面を表示部６に表示する（ステップＳＴ９）。

図７は追加撮影が行われた場合の撮影画像画面を示す図である。図７に示すように撮影画像画面４６には、撮影により取得した２つの画像をそれぞれ表示する２つの画像表示エリア４６Ａ，４６Ｂと、再撮影を行うための再撮影ボタン４６Ｃと、検索を実行するための検索実行ボタン４６Ｄと、検索を中止するためのキャンセルボタン４６Ｅとが表示されている。なお、撮影画像画面４６において、再撮影を行う場合には、いずれか一方または双方の画像を選択できるようになっている。

ステップＳＴ７が否定された場合、およびステップＳＴ９に続いて、ＣＰＵ１２は検索実行ボタン４４Ｄ，４６Ｄが選択されたか否かを判定し（ステップＳＴ１０）、ステップＳＴ１０が否定されると、キャンセルボタン４４Ｅ，４６Ｅが選択されたか否かを判定し（ステップＳＴ１１）、ステップＳＴ１０が肯定されると処理を終了する。ステップＳＴ１１が否定されるとステップＳＴ６に戻り、ステップＳＴ６以降の処理を繰り返す。

ステップＳＴ１０が肯定されると、顔領域抽出部３４が、撮影により取得した画像からユーザの顔領域を抽出する（ステップＳＴ１２）。なお、顔領域を抽出する手法としては、画像から肌色を有するとともに人物の顔の形状（例えば長円系）を有する領域を検出し、検出した領域を顔の領域と見なして抽出する手法を用いることができる。また、この手法の他、例えば特開平８−１５３１８７号公報、特開平９−５０５２８号公報、特開２００１−１４４７４号公報、特開２００１−１７５８６８号公報および特開２００１−２０９７９５号公報等に記載された手法等、既知の手法を用いることができる。また、ユーザの顔が２つ撮影された場合には、２つの画像のそれぞれから顔領域を抽出する。

次いで、検索部３６が、抽出した顔領域（または２つの顔領域）から、顔の輪郭線の位置、顔の輪郭形状、並びに顔を構成する目、口および鼻等の顔パーツの位置を表す特徴量を抽出し（ステップＳＴ１３）、特徴量に基づいて複数の画像を検索する（ステップＳＴ１４）。この検索は、ハードディスク２４に保存された複数の画像のそれぞれから顔領域を抽出し、抽出した顔領域から上記と同様の特徴量を抽出し、抽出した特徴量とユーザの顔領域から抽出した特徴量との相関値を算出し、相関値が所定のしきい値以内となる顔領域を含む顔を、検索対象の画像として抽出することにより行う。

そして検索結果を表示部６に表示し（ステップＳＴ１５）、検索処理を終了する。

図８は検索結果表示画面を示す図である。図８に示すように、検索結果表示画面４８は、検索した画像のサムネイル画像の一覧を表示する一覧表示エリア４８Ａと、プリントサイズを入力するためのプリントサイズ入力部４８Ｂと、ユーザが選択した画像のプリント出力を行うためのプリント実行ボタン４８Ｃと、処理を中止するためのキャンセルボタン４８Ｄとが表示されている。また、一覧表示エリア４８Ａに表示された各画像の下方には、プリント枚数を設定するための枚数設定部４８Ｅが表示されている。なお、プリントサイズ入力部４８Ｂはプルダウンメニューとされており、所望とするプリントサイズを選択して入力することが可能となっている。ユーザは、一覧表示エリア４８Ａにおいてプリントを所望する画像を選択し、枚数設定部４８Ｅによりプリント枚数を設定し、さらにプリントサイズ入力部４８Ｂに所望とするプリントサイズを入力した後に、プリント実行ボタン４８Ｂを選択することにより、選択した画像をプリンタ８からプリント出力することができる。

このように、本実施形態においては、ユーザの顔を撮影した画像からユーザの顔領域を抽出し、抽出した顔領域の特徴量に基づいて、ユーザの顔が含まれる画像を複数の画像から検索するようにしたため、ユーザは自身の顔を撮影した顔画像を準備する必要がなくなり、これにより、ユーザに負担をかけることなく、複数の画像からユーザの顔を含む画像を抽出することができる。

また、ユーザの横顔等、顔の向きを変えた顔を撮影することにより、様々な角度でユーザの顔を含む画像を複数の画像から検索することができ、これにより、ユーザを含む画像の検索精度を向上させることができる。

なお、上記実施形態においては、正面顔および横顔の２つの画像を用いて検索を行っているが、正面顔の画像のみを用いて検索を行ってもよく、２つの画像に加えて、さらに後ろ向きの画像等、様々なアングルからユーザの顔を撮影することにより取得した画像を用いて検索を行うようにしてもよい。

また、上記実施形態においては、検索の対象となる複数の画像に、サングラスやマスク等の装飾物をつけたユーザが含まれる場合がある。このような場合、装飾物により隠されている顔の輪郭線または顔パーツの位置を除いた顔の輪郭線の位置、輪郭線の形状および顔パーツの位置を特徴量として用いて検索を行えばよい。これにより、装飾物によってユーザの顔の一部が隠されていても、複数の画像からユーザの顔を含む画像を抽出することができる。

また、逆に、ユーザの撮影を行う際には、ユーザはサングラスやマスク等の装飾物を外すことが好ましいが、装飾物をつけたまま撮影を行う場合がある。このような場合、装飾物により隠されている顔の輪郭線または顔パーツの位置を除いた顔の輪郭線の位置、輪郭線の形状および顔パーツの位置を特徴量として用いて検索を行えばよい。例えば、ユーザがサングラスをかけていて目の位置が認識できない場合には、口および鼻の位置を特徴量として用いればよい。

また、上記実施形態においては、メモリカード２に記録された複数の画像からユーザの顔を含む画像を検索しているが、装置１に画像を取り込む手段はこれに限定されるものではなく、インターネット経由で送信された画像を取り込むようにしてもよい。

また、上記実施形態においては、メモリカード２にユーザ以外の特定の人物の顔を含む画像を記録しておき、入力部１６からの指示により、この画像をメモリカード２から読み出して、顔領域抽出部３４において読み出した画像から特定の人物の顔領域を抽出し、特定の人物の顔領域の特徴量に基づいて検索部３６が複数の画像から特定の人物を含む画像を検索するようにしてもよい。これにより、ユーザ以外の特定の人物の顔を含む画像を複数の画像から抽出することができる。

以上、本発明の実施形態に係る装置について説明したが、コンピュータを、上記の顔領域抽出部３４および検索部３６に対応する手段として機能させ、図４に示すような処理を行わせるプログラムも、本発明の実施形態の１つである。また、そのようなプログラムを記録したコンピュータ読取り可能な記録媒体も、本発明の実施形態の１つである。また、このようなプログラムを、画像を閲覧するためのビューアソフトに組み込むようにしてもよい。この場合、コンピュータにはユーザを撮影するためのカメラが設けられてユーザの顔を撮影することとなる。

本発明の実施形態による画像検索装置を適用した注文受付装置の外観斜視図 本発明の実施形態による注文受付装置の構成を示す概略ブロック図 初期画面を示す図 検索処理を示すフローチャート 撮影画面を示す図 撮影画像画面を示す図 追加撮影が行われた場合の撮影画像画面を示す図 検索結果表示画面を示す図

符号の説明

１ 注文受付装置
２ メモリカード
４ カードスロット
６ 表示部
７ カメラ
８ プリンタ
１０ ＤＩＣ
１２ ＣＰＵ
１４ システムメモリ
１６ 入力部
２２ 圧縮解凍部
２４ ハードディスク
２６ メモリ制御部
２８ 表示制御部
３０ ネットワークインターフェース
３２ カメラ制御部
３４ 顔領域抽出部
３６ 検索部

Claims (7)

1. 複数の画像から所定の画像を検索する画像検索装置において、
   少なくとも１つの向きからのユーザの顔を撮影する撮影手段と、
   前記撮影手段が撮影により取得した少なくとも１つの画像から顔領域を抽出する顔領域抽出手段と、
   前記少なくとも１つの顔領域の特徴量に基づいて、前記ユーザの顔が含まれる画像を前記複数の画像から検索する検索手段とを備えたことを特徴とする画像検索装置。
2. 前記検索手段は、前記少なくとも１つの顔領域から、前記顔領域の輪郭線の位置、該輪郭線の形状および顔パーツの位置の情報を前記特徴量として検出するとともに、前記複数の画像に含まれる顔領域から前記特徴量を検出し、前記少なくとも１つの顔領域から検出した特徴量と前記複数の画像から検出した特徴量との相関に基づいて、前記ユーザの顔が含まれる画像を検索する手段であることを特徴とする請求項１記載の画像検索装置。
3. 前記検索手段は、前記複数の画像に含まれるユーザの顔において、前記顔領域の輪郭線の位置、該輪郭線の形状および前記顔パーツの位置の一部が装飾物により隠されている場合は、該隠されている部分以外の情報を特徴量として検出する手段であることを特徴とする請求項２記載の画像検索装置。
4. 特定の人物の顔を含む画像の入力を受け付ける入力手段をさらに備え、
   前記顔領域抽出手段は、前記入力された画像から前記顔領域を抽出する手段であり、
   前記検索手段は、前記入力された画像から抽出された顔領域の特徴量に基づいて、前記特定の人物の顔が含まれる画像を前記複数の画像から検索する手段であることを特徴とする請求項１から３のいずれか１項記載の画像検索装置。
5. 請求項１から４のいずれか１項記載の画像検索装置と、
   該検索された画像からのプリント注文の選択を受け付ける入力手段と、
   前記選択された画像をプリント出力する処理を行うプリント処理手段とを備えたことを特徴とする画像のプリント注文受付装置。
6. 複数の画像から所定の画像を検索する画像検索方法において、
   少なくとも１つの向きからのユーザの顔を撮影し、
   前記撮影手段が撮影により取得した少なくとも１つの画像から顔領域を抽出し、
   前記少なくとも１つの顔領域の特徴量に基づいて、前記ユーザの顔が含まれる画像を前記複数の画像から検索することを特徴とする画像検索方法。
7. 複数の画像から所定の画像を検索する画像検索方法をコンピュータに実行させるためのプログラムにおいて、
   少なくとも１つの向きからのユーザの顔を撮影する手順と、
   前記撮影手段が撮影により取得した少なくとも１つの画像から顔領域を抽出する手順と、
   前記少なくとも１つの顔領域の特徴量に基づいて、前記ユーザの顔が含まれる画像を前記複数の画像から検索する手順とを有することを特徴とするプログラム。

Images