JP2006285847A - 画像検索システム、およびプログラム - Google Patents

Abstract

【課題】多数の画像データから、所望の撮影シーンに応じた画像データを容易に検出することができる技術を提供する。
【解決手段】ユーザーが操作部１２を操作することで撮影シーンを示す検索文が入力されると、制御部１５において、形態素解析等によって当該検索文から検索語群を抽出する。次に、単語−撮影条件要素テーブル１６３を参照することで、検索語群に対応する撮影条件要素群を推定する。そして、画像ＤＢ１６２から、撮影条件要素群に対応する撮影条件の要素の情報が付加された画像データ群を抽出する。
【選択図】図２

Description

本発明は、画像を検索する技術に関する。

大量の画像データが格納されたデータベースから所望のシーンに対応する画像データを検索する場合、画像データを格納するファイルの名前や当該ファイルに付加されたテキストデータを参照する手法が用いられるのが一般的である。但し、この手法では、ファイルに対して適切な名前やテキストデータが付されていない場合には、所望の画像データを検出することは困難である。

このような問題点を解決する手段の１つとして、画像の特徴を利用する方法が考えられる。例えば、検索キーワードが「海」であるとすると、「海」に対応する画像の特徴としては「青い色の領域が大きい」という程度のものしかなく、この程度の特徴だけで適切に画像データを検出するのは難しい。また、例えば、検索キーワードが「人物」であるとすると、画像の特徴を利用するのであれば、画像中から顔を抽出することができた画像データを検出するといった方法などが考えられる。しかし、画像中の顔の大きさ等の条件が与えられていない状態で顔を抽出することができるか否かを判定する処理には長時間を要するため、データベース内の大量の画像すべてについて、この判定処理を行うのは現実的ではない。

そこで、画像データを格納するファイルに付されたコメント等を参照するキーワード検索を行って、複数の画像データを検出し、更に、当該複数の画像データに共通する撮影条件を検索キーワードとして、データベースから所望の画像データを検索する技術が提案されている（例えば、特許文献１）。

このような技術に関する先行技術文献としては、以下のようなものがある。

特開２００４−１０２５０３号公報

しかしながら、上記特許文献１で提案されている技術では、最初のキーワード検索で検出される複数の画像データの数が多すぎたり、少なすぎたりすると、共通する撮影条件が多すぎたり、少なすぎたりして、検索キーワードとすべき撮影条件を適切に得ることができず、結果的に所望の画像データの検出ができないといった問題を生じる。

また、このような問題に対して、検索キーワードとすべき撮影条件をユーザーが直接入力する方法も考えられるが、素人であるユーザーが、所望のシーンに応じた撮影条件を見極めるのは難しい。

本発明は、上記課題に鑑みてなされたものであり、多数の画像データから、所望の撮影シーンに応じた画像データを容易に検出することができる技術を提供することを目的とする。

上記の課題を解決するために、請求項１の発明は、画像検索システムであって、撮影条件を示す撮影条件情報がそれぞれ付加された複数の画像データを記憶する記憶手段と、ユーザーによって入力される検索語群を受け付ける受付手段と、前記検索語群に対応する撮影条件要素群を、所定の記憶部に記憶された推定用情報に基づいて推定する推定手段と、前記記憶手段から、前記撮影条件要素群に対応する撮影条件情報が付加された画像データ群を抽出する画像抽出手段とを備えることを特徴とする。

また、請求項２の発明は、画像検索システムであって、撮影条件を示す撮影条件情報がそれぞれ付加された複数の画像データを記憶する記憶手段と、ユーザーによって入力される検索文を受け付ける受付手段と、前記検索文を解析することで、当該検索文から検索語群を抽出する検索語抽出手段と、前記検索語群に対応する撮影条件要素群を、所定の記憶部に記憶された推定用情報に基づいて推定する推定手段と、前記記憶手段から、前記撮影条件要素群に対応する撮影条件情報が付加された画像データ群を抽出する画像抽出手段とを備えることを特徴とする。

また、請求項３の発明は、請求項２に記載の画像検索システムであって、前記検索語抽出手段が、形態素解析を用いて、前記検索文から前記検索語群を抽出することを特徴とする。

また、請求項４の発明は、請求項１から請求項３のいずれかに記載の画像検索システムであって、ユーザーによって入力される要求に応答して、前記推定用情報の記憶内容を更新する更新手段を更に備えることを特徴とする。

また、請求項５の発明は、請求項１から請求項４のいずれかに記載の画像検索システムであって、前記推定用情報が、複数の単語と、複数の撮影条件の要素とがそれぞれ対応付けられた情報を含むことを特徴とする。

また、請求項６の発明は、請求項１から請求項５のいずれかに記載の画像検索システムであって、前記撮影条件情報が、所定の撮像装置において撮影時に選択的に設定されていた撮影シーンに係る設定情報を含むことを特徴とする。

また、請求項７の発明は、請求項１から請求項６のいずれかに記載の画像検索システムであって、前記画像抽出手段が、前記検索語群が、特定のキーワードを含む場合には、前記記憶手段から、前記撮影条件要素群に対応する撮影条件情報と当該特定のキーワードに対応する属性情報との双方が付加されている画像データ群を抽出することを特徴とする。

また、請求項８の発明は、請求項７に記載の画像検索システムであって、前記属性情報が、所定の音声認識手段によってユーザーの音声を認識して得られた情報を含むことを特徴とする。

また、請求項９の発明は、請求項７または請求項８に記載の画像検索システムであって、前記属性情報が、ユーザーのコメントを示す情報を含むことを特徴とする。

また、請求項１０の発明は、請求項１から請求項９のいずれかに記載の画像検索システムであって、前記検索語群が、時を表す単語を含み、前記撮影条件要素群が、前記時を表す単語に対応する撮影時点を示す撮影時情報を含み、前記撮影条件情報が、撮影日時を示す情報を含み、前記画像抽出手段が、前記撮影時情報に対応する撮影日時を示す情報が付加された画像データ群を抽出することを特徴とする。

また、請求項１１の発明は、請求項１０に記載の画像検索システムであって、前記時を表す単語が、現在を基準とした相対的な時を示す単語を含み、前記撮影時情報が、前記相対的な時を示す単語と、前記現在の時を示す情報とに基づいて、計算によって推定されることを特徴とする。

また、請求項１２の発明は、請求項１から請求項１１のいずれかに記載の画像検索システムであって、前記検索語群が、場所の名称を示す単語を含み、前記推定用情報が、場所を示す単語と、場所を特定する場所特定情報とが対応付けられた場所情報を含み、前記撮影条件要素群が、前記場所の名称に対応する場所特定情報を含み、前記撮影条件情報が、撮影場所を示す情報を含み、前記画像抽出手段が、前記場所特定情報に対応する撮影場所を示す情報が付加された画像データ群を抽出することを特徴とする。

また、請求項１３の発明は、請求項１２に記載の画像検索システムであって、前記撮影場所を示す情報が、所定のＧＰＳを用いて取得された情報を含むことを特徴とする。

また、請求項１４の発明は、請求項１２または請求項１３に記載の画像検索システムであって、前記撮影場所を示す情報が、緯度および経度を示す情報を含み、前記推定用情報が、前記場所を示す単語と、緯度および経度の情報とが対応付けられた場所情報を含み、前記場所特定情報が、前記場所の名称に対応する緯度および経度の情報を含むことを特徴とする。

また、請求項１５の発明は、請求項１２から請求項１４のいずれかに記載の画像検索システムであって、ユーザーによって入力される要求に応答して、前記場所情報の記憶内容が更新されることを特徴とする。

また、請求項１６の発明は、請求項１から請求項１５のいずれかに記載の画像検索システムであって、前記画像抽出手段が、前記検索語群が所定のキーワードを含む場合には、前記記憶手段から、当該所定のキーワードに対応するファイル名が付されているファイルに格納され、かつ前記撮影条件要素群に対応する撮影条件情報が付加されている画像データ群を抽出することを特徴とする。

また、請求項１７の発明は、請求項１６に記載の画像検索システムであって、前記ファイル名が、所定の音声認識手段によってユーザーの音声を認識して得られた情報を含むことを特徴とする。

また、請求項１８の発明は、請求項１から請求項１５のいずれかに記載の画像検索システムであって、前記画像抽出手段が、前記検索語群が所定のキーワードを含む場合には、前記記憶手段から、当該所定のキーワードに対応するフォルダ名が付されているフォルダに格納され、かつ前記撮影条件要素群に対応する撮影条件情報が付加されている画像データ群を抽出することを特徴とする。

また、請求項１９の発明は、請求項１８に記載の画像検索システムであって、前記フォルダ名が、所定の音声認識手段によってユーザーの音声を認識して得られた情報を含むことを特徴とする。

また、請求項２０の発明は、画像検索システムに含まれるコンピュータによって実行されることにより、前記画像検索システムを、請求項１から請求項１９のいずれかに記載の画像検索システムとして機能させるプログラムである。

なお、本明細書における「単語」は、文を構成する機能を持つ最小の言語単位であり、「山」や「川」などのように、これ以上分解できない単語（単純語）、「自然言語」のように２つ以上の単純語で構成されている単語（複合語）、および「お客さん」等のように接頭辞や接尾辞などの接辞が付いた単語（派生語）のいずれをも含む意味で使用されている。

請求項１および請求項４から請求項２０に記載のいずれの発明によっても、ユーザーによって入力される検索語に対応する撮影条件要素群を推定して、複数の画像データから、撮影条件要素群に対応する撮影条件を示す情報が付加された画像データ群が抽出されるような構成とすることで、多数の画像データから、所望の撮影シーンに応じた画像データを容易に検出することができる。

また、請求項２から請求項２０に記載のいずれの発明によっても、ユーザーによって入力される検索文から検索語群を抽出し、当該検索語群に対応する撮影条件要素群を推定して、複数の画像データから、撮影条件要素群に対応する撮影条件を示す情報が付加された画像データ群が抽出されるような構成とすることで、多数の画像データから、所望の撮影シーンに応じた画像データを容易に検出することができる。

また、請求項３に記載の発明によれば、形態素解析を用いて検索文から検索語群を抽出するような構成とすることで、確実に検索語を抽出することができる。

また、請求項４に記載の発明によれば、ユーザーによって入力される要求に応答して、検索語群から撮影条件要素群を推定するための推定用情報を更新することができるため、ユーザーの意図を反映して進化した検索機能によって、所望の撮影シーンに応じた画像データを更に容易に検出することができる。

また、請求項５に記載の発明によれば、複数の単語と、複数の撮影条件の要素を示す情報とがそれぞれ対応付けられた情報に基づいて、検索語群から撮影条件要素群を推定するような構成とすることで、容易に撮影条件要素群を決定することができる。

また、請求項７に記載の発明によれば、検索語群が、特定のキーワードを含む場合には、撮影条件要素群に対応する撮影条件を示す情報と特定のキーワードに対応する属性情報との双方が付加されている画像データ群を抽出するような構成により、所望の撮影シーンに応じた画像データを更に容易に検出することができる。

また、請求項１０に記載の発明によれば、時を表す単語から推定される時点で撮影された画像データを抽出するような構成により、所望の時点で撮影された画像データを容易に検出することができる。

また、請求項１１に記載の発明によれば、検索語群に含まれる時を表す単語が、現在を基準とした相対的な時を示す単語である場合に、撮影時点を示す撮影時情報を計算によって推定するような構成とすることで、時を表す多様な表現を入力しても、所望の時点で撮影された画像データを検出することができ、利便性が向上する。

また、請求項１２に記載の発明によれば、場所の名称を示す単語から推定される場所で撮影された画像データを抽出するような構成により、所望の場所で撮影された画像データを容易に検出することができる。

また、請求項１３に記載の発明によれば、撮影場所を示す情報が、所定のＧＰＳを用いて取得された情報であるような構成とすることで、撮影場所を用いた画像データの検索の精度が向上する。

また、請求項１４に記載の発明によれば、場所を示す単語から緯度と経度とで示される場所特定情報を推定し、当該場所特定情報を用いて、画像データを抽出するような構成とすることで、撮影場所を用いた画像データの検索を精度良く行うことができる。

また、請求項１５に記載の発明によれば、場所を示す単語と、緯度および経度とが対応付けられた情報を、ユーザーの要求に応じて更新するような構成により、検索のルールを、ユーザーの要望に応えてカスタマイズすることができる。その結果、ユーザーの利便性を向上させることができる。

また、請求項１６および請求項１７のいずれに記載の発明によっても、検索語群が、所定のキーワードを含む場合には、当該所定のキーワードに対応するファイル名が付されているファイルに格納され、かつ検索語群から推定される撮影条件要素群に対応する撮影条件を示す情報が付加されている画像データ群を抽出するような構成により、多数の画像データから、所望の撮影シーンに応じた画像データを更に容易に検出することができる。

また、請求項１８および請求項１９のいずれに記載の発明によっても、検索語群が、所定のキーワードを含む場合には、当該所定のキーワードに対応するフォルダ名が付されているフォルダに格納され、かつ検索語群から推定される撮影条件要素群に対応する撮影条件を示す情報が付加されている画像データ群を抽出するような構成により、多数の画像データから、所望の撮影シーンに応じた画像データを更に容易に検出することができる。

以下、本発明の実施形態を図面に基づいて説明する。

＜画像検索システムの構成＞
図１は、本発明の実施形態に係る画像検索システム１の外観構成を例示する図である。画像検索システム１は、パーソナルコンピュータ（パソコン）において所定のプログラムが実行されることで実現される。図２は、画像検索システム１の機能構成を示すブロック図を示している。

図１に示すように、画像検索システム１は、箱状の形状を有する処理部１１と、操作部１２と、表示部１３とを有している。

処理部１１の前面には、光ディスク９１を挿入するドライブ１０１と、メモリカード９２を挿入するドライブ１０２とが設けられている。

また、操作部１２は、マウス１２１とキーボード１２２とを有しており、ユーザーから処理部１１に対する入力操作を受付ける。

表示部１３は、例えばＣＲＴで構成され、表示手段として機能する。

また、図２に示すように、画像検索システム１の処理部１１は、上記の操作部１２および表示部１３に接続する入出力Ｉ／Ｆ１４と、入出力Ｉ／Ｆ１４に電気的に接続する制御部１５とを備えている。また、処理部１１は、制御部１５に電気的に接続する記憶部１６と、入出力Ｉ／Ｆ１７とを備えている。

入出力Ｉ／Ｆ１４は、操作部１２および表示部１３と制御部１５との間でデータの送受信をコントロールするためのインターフェースである。

記憶部１６は、例えばハードディスクなどを備えて構成されており、多数の画像データを集めて格納する画像データベース（以下「画像ＤＢ」と略称）１６２を記憶している。また、記憶部１６は、画像ＤＢ１６２を検索対象とした画像検索を行うためのプログラム（画像検索用プログラム）１６１を格納している。更に、記憶部１６は、例えば、後述する単語−撮影条件要素テーブル１６３を格納している。

図３は、記憶部１６内の記憶内容を概念的に示す図である。図３に示すように、例えば、記憶部１６が（Ｃ：）ドライブとしてハードディスクを有する場合、（Ｃ：）ドライブに画像ＤＢ１６２を格納するフォルダ（画像ＤＢフォルダ）１６２ｆ、画像検索用プログラム１６１を格納するフォルダ１６１ｆ、および単語−撮影条件要素テーブル１６３を格納するフォルダ１６３ｆが記憶されている。なお、ここでは、画像ＤＢフォルダ１６２ｆには、「家族旅行」、および「帰省」等といった名称のフォルダが記憶され、当該各フォルダには、例えば、Pict0001.jpg，Pict0002.jpg，Pict0003.jpg，・・・といった多数の撮影画像ファイルが格納されているものとする。

図４は、撮影画像ファイルの構成を概念的に示す図である。

図４に示すように、各撮影画像ファイルは、所定形式（ここでは、例えば、デジタルスチルカメラ用画像ファイルフォーマット規格である汎用のＥｘｉｆ（ＪＥＩＤＡ−４９−１９９８）形式）のファイルとして作成される。具体的には、各撮影画像のファイルは、タグ情報ＴＧと、ＪＰＥＧ形式で圧縮された高解像度の画像データＤＰと、サムネイル表示用の画像データＤＭとを有する。このうち、タグ情報ＴＧには、「ファイル名」、「撮影に使用されたカメラのシリアルナンバー」、撮影条件の情報（撮影条件情報）を記述したテーブル（以下「撮影条件テーブル」と称する）及び「ユーザーコメント」等の情報等が画像データＤＰに対する属性情報として格納される。なお、これらタグ情報ＴＧに含まれる各情報は、主にカメラで撮影が行われて撮影画像ファイルが生成される時点で記憶される。

図５は、撮影条件テーブルを例示する図である。

図５に示すように、撮影条件テーブルには、露出時間、レンズＦ値、露出制御モード、・・・等といった多数の撮影条件の項目についての数値やパラメータや設定がそれぞれ記述されている。

撮影条件テーブルに記述される撮影日時や撮影場所などの情報は、撮影時に自動的に記録される。例えば、撮影日時の情報は、撮像装置に内蔵されるカレンダー及び時計機能に基づいて決定され、撮影場所の情報は、画像データを取得する撮影時に、撮像装置に内蔵されたＧＰＳを用いて取得される。

しかし、ユーザーコメント等、撮影条件テーブルに記述されていない属性情報には、撮影時に自動的に記録されない属性情報もある。また、画像ファイル名およびフォルダ名は撮影時には撮影内容と無関係な文字列が記録される。

このため、ユーザーコメント、画像ファイル名、およびフォルダ名などといったテキスト情報を別途入力する入力手段が必要となる。この入力手段としては、キーボードなどを用いても良いが、撮影を行う際に入力する場合を想定すると、キーボードを携帯するのは現実的ではない。そこで、撮影時にその場で簡単にテキスト情報を入力するためには、例えば、撮像装置のマイクに向かってユーザーが音声を発すると、撮像装置内で、当該音声を認識する音声認識機能によって、テキスト情報が取得されて、属性情報となるようにすれば良い。

図６は、単語−撮影条件要素テーブル１６３を例示する図である。

図６に示すように、単語−撮影条件要素テーブル１６３では、撮影シーン（撮影内容）を示す多数の単語と、多数の撮影条件の要素とがそれぞれ対応付けられて記憶されている。例えば、撮影シーン「風景」、「ミニチュア」、「集合写真」、「夜・風景」、「友達・部屋／人物」、「春休み」及び「夏休み」に対しては、撮影条件の要素「遠景」、「マクロ」、「セルフタイマー／リモコン」、「遠景・露光時間がｔ以上」、「遠景ではない・マクロではない・フラッシュ発光・焦点距離がａ以上ｂ以下」「３〜５月」及び「７〜８月」がそれぞれ関連付けられる。なお、単語−撮影条件要素テーブル１６３で列挙される単語は、名詞となっている。

また、撮影シーンとしては、「東京ディズニーランド」「神戸」などといった地名や観光スポット名等の場所を示す単語が挙げられる。そして、単語−撮影条件要素テーブル１６３では、場所を示す各単語に対して、例えば、緯度および経度といった場所を特定するための情報（以下「場所特定情報」とも称する）が対応付けられる。つまり、単語−撮影条件要素テーブル１６３は、場所を示す単語と、緯度および経度を示す情報（緯度経度情報）とが対応付けられた情報（以下「場所情報」とも称する）を含む。

この単語−撮影条件要素テーブル１６３では、「風景」という１つの撮影シーンに「遠景」という１つの撮影条件の要素が対応付けられていても良いし、例えば「友達」「部屋」の２つの単語に「遠景ではない」「マクロではない」「フラッシュ発光」「焦点距離がａ以上ｂ以下」の４つの撮影条件の要素が対応付けられていても良い。更に、撮影シーンを示す複数の単語に複数の撮影条件の要素が対応付けられていても良いし、撮影シーンを示す１つの単語に複数の撮影条件の要素、或いは撮影シーンを示す複数の単語に１つの撮影条件の要素が対応付けられていても良い。

なお、この単語−撮影条件要素テーブル１６３に格納された、単語と撮影条件の要素との対応関係は、予めデフォルト情報として格納されていたものであっても良いし、ユーザーが自分の知識を元に内容を追加しても良い。また、単語−撮影条件要素テーブル１６３に含まれる、単語と撮影条件の要素との関連付けは、図６に示したものに限られない。例えば、撮影条件としては、「マクロモード」や「室内モード」等、撮影画像データを取得したカメラに搭載された所謂シーンセレクタをマニュアル操作することで撮影時に選択的に設定された撮影シーンを示すモード設定の情報であっても良い。更に、「ズーム倍率が２倍」等といった細かく設定された条件であっても良い。

また、ここでは、例えば、ユーザーによる操作部１２の操作により、単語−撮影条件要素テーブル１６の内容を追加して更新する要求を入力することができる。そして、この要求の入力に応答して、テーブル更新部１５５（図７）により、単語−撮影条件要素テーブル１６の内容が更新される。例えば、ユーザー固有の場所の名称を示す単語を新規な撮影シーンとして加えて場所情報を更新することができる。この場所を示す新規な撮影シーンとしては、「地元」「実家」などといった単語が挙げられ、場所を示す新規な撮影シーンには、場所を特定するための情報として緯度経度情報が対応付けられて入力される。

入出力Ｉ／Ｆ１７は、ドライブ１０１、１０２を介して、記録メディアである光ディスク９１、メモリカード９２に対するデータの入出力を行うためのインターフェースである。

制御部１５は、ＣＰＵ１５ａおよびメモリ１５ｂを有しており、パソコン、すなわち画像検索システム１の動作を統括制御し、ユーザーの操作や画像検索用プログラム１６１などに基づいて画像データの検索（画像検索）を制御する部位である。ここでは、ユーザーによる操作部１２の種々の操作に基づき、制御部１５が、記憶部１６に格納されている画像検索用プログラム１６１を読み込んで実行することにより、画像検索の動作が実現される。なお、制御部１５は、光ディスク９１やメモリカード９２に記録されている各種データやプログラムを入出力Ｉ／Ｆ１７を介して読み込んで、各種制御を実行することもできる。

＜画像検索システムの動作＞
図７は、画像検索が実行される際に、制御部１５において実現される機能を例示する図である。画像検索時には、制御部１５は、機能として、検索受付部１５１、検索語抽出部１５２、撮影条件要素推定部１５３、画像抽出部１５４、およびテーブル更新部１５５を備えて構成される。

図８は、画像検索の動作フローを示すフローチャートである。本動作フローは、制御部１５において画像検索用プログラム１６１が実行されることで実現される。なお、本動作フローにおいて、求められる各種データ等は、適宜メモリ１５ｂに一時的に記憶される。

以下、図７を参照しつつ、図８に示す画像検索の動作フローについて説明する。

まず、画像検索システム１における画像検索用プログラム１６１の実行が開始されると、図８のステップＳ１に進む。

ステップＳ１では、図９に示すように、検索条件を入力する画面（検索条件入力画面）ＳＧが表示部１３に表示される。

検索条件入力画面ＳＧには、検索条件である撮影シーンを示す検索文を入力するためのエリア（入力エリア）ＡＩと、検索を実行させるための検索開始ボタンＥＢとが表示される。

この検索条件入力画面ＳＧが表示された状態で、ユーザーは、マウス１２１を操作することでマウスポインタＭＰを入力エリアＡＩに合わせて、マウス１２１をクリックすると、入力エリアＡＩにおける文字の入力位置を示すカーソルが点滅表示される状態となる。そして、通常のワードプロセッサ（ワープロ）入力のように、キーボード１２２を用いて検索文を入力した後に、マウス１２１を操作することで検索開始ボタンＥＢにマウスポインタＭＰを合わせて、マウス１２１をクリックすることで、検索開始が指示され、検索文に対応する画像データを画像ＤＢ１６２から検出することができる。

なお、ここでは、検索条件入力画面ＳＧを表示して、検索文を入力する態様について示したが、検索文を入力する態様は、これに限られないのは勿論である。

ステップＳ２では、検索文が入力されて検索開始が指示されたか否かを判定する。このステップＳ２では、検索条件入力画面ＳＧにおいて、検索文が入力されて検索開始が指示されるまでステップＳ２の処理を繰り返し、検索文が入力されて検索開始が指示されると、検索受付部１５１が検索文を受け付けて、ステップＳ３に進む。ステップＳ３に進む際には、検索文の情報は、メモリ１５ｂに記憶された状態となっている。

ステップＳ３では、検索語抽出部１５２によって、ステップＳ１からＳ２にかけて入力された検索文について、形態素解析を行い、撮影シーンを示す単語（検索語）を１以上含む検索語群を抽出する。なお、上述の「検索語群」は、複数の検索語の集合および単数の検索語を包含する意味で使用している。

ここで、形態素解析による検索語群の抽出処理について例示する。

例えば、「去年の夏休みに山の風景を撮った写真」という文があった場合には、形態素解析によって、「去年／の／夏休み／に／山／の／風景／を／撮っ／た／写真」といった具合に分解される。つまり、「去年」、「の」、「夏休み」、「に」、「山」、「の」、「風景」、「を」、「撮っ」、「た」、及び「写真」といった１１個の単語を含む検索語群が抽出される。このようにして、ここでは、形態素解析により、確実に検索語を抽出することができる。

ステップＳ４では、撮影条件要素推定部１５３によって、ステップＳ３で抽出された検索語群に含まれる１以上の検索語にそれぞれ対応する撮影条件の要素を、図６に示すような単語−撮影条件要素テーブル１６３を参照することで推定する。ここでは、単語−撮影条件要素テーブル１６３は、検索語から撮影条件の要素を推定するための情報（「推定用情報」とも称する）として利用される。

例えば、ステップＳ３で、「風景」、「を」、「撮っ」、「た」、及び「写真」といった５個の検索語が抽出された場合には、単語−撮影条件要素テーブル１６３では「風景」という撮影シーンに「遠景」という撮影条件の要素が対応付けられている為、ステップＳ４では、検索語群に対応する撮影条件の要素を「遠景」と推定する。

このように、単語−撮影条件要素テーブル１６３を参照して、検索語群から１以上の撮影条件の要素（以下「撮影条件要素群」とも称する）を推定するため、撮影条件の詳細について良く知らない素人でも、適当に検索文を入力するだけで、容易に撮影条件要素群を決定することができる。

なお、上述の「撮影条件要素群」は、複数の撮影条件の要素の集合および単数の撮影条件の要素を包含する意味で使用している。

また、検索語に対応する撮影条件の要素の推定は、単語−撮影条件要素テーブル１６３を参照するだけでなく、その他の基準によっても行われる。例えば、「時を表す検索語から、撮影条件の要素である撮影日時を推定する」等といった基準が挙げられる。

なお、検索語が時を表すか否かは、例えば「2004年3月29日 15:33:54」といった具合に、数字と「年」「月」「日」等の文字が並ぶ順序を示すモデルを記憶部１６に予め記憶しておき、当該モデルを参照することで判別することができる。

また、時を表す検索語としては、「去年」「今年」「２ヶ月前」等といった現在を基準とした相対的な時を示す単語であっても良い。例えば、現在の日時は、画像検索システム１のカレンダー及び時計機能によって管理されているものとすれば、相対的な時を示す単語と現在の日時とから、相対的な時を示す単語に対応する撮影時点を示す情報（「撮影時情報」とも称する）を計算によって推定することができる。具体的には、現在２００５年である場合には、検索語「去年」に対して「２００４年」が推定され、検索語「夏休み」に対して「７〜８月」が推定される。

このようにして、検索文「去年の夏休みに山の風景を撮った写真」から、「撮影日時が２００４年７〜８月」、及び「遠景」が撮影条件要素群として推定される。

なお、例えば、検索語群に、単語−撮影条件要素テーブル１６３に挙げられる場所を示す単語が含まれる場合には、単語−撮影条件要素テーブル１６３を参照することで、場所を示す検索語に対応する場所特定情報である緯度経度情報が撮影条件の要素として推定される。

ステップＳ５では、画像抽出部１５４によって、ステップＳ４で推定された撮影条件要素群に対応する撮影条件の要素の情報が全て属性情報中に含まれている画像データを、画像ＤＢ１６２から全て抽出する。例えば、ステップＳ４で得られた撮影条件要素群と合致する撮影条件要素群が含まれている属性情報が付された画像データの集合（以下「画像データ群」とも称する）が抽出される。なお、上述の「画像データ群」は、複数の画像データの集合および単数の画像データを包含する意味で使用している。

換言すれば、ここでは、属性情報の中で撮影条件を表す項目（例えば「オリジナル撮影日時（撮影日時）」「被写体の距離範囲」など）についての数値やパラメータや設定内容が、ステップＳ４で得られた撮影条件要素群と対応する画像データ群を抽出する。

例えば、「撮影日時が２００４年７〜８月」、及び「遠景」が撮影条件要素群である場合には、撮影条件の項目「撮影日時」に「２００４年７〜８月」の間の日時が記述され、撮影条件の項目「被写体の距離範囲」に「遠景」といった情報が記述された撮影条件テーブルが付加されている画像データが抽出される。

なお、ステップＳ４で緯度経度情報として「Ｎ３４°３０′４０″，Ｅ１３５°１５′２５″」が撮影条件の要素として推定されている場合には、撮影条件の項目「撮影場所」に「Ｎ３４°３０′４０″，Ｅ１３５°１５′２５″」といった情報が記述された撮影条件テーブルが付加されている画像データが抽出される。

このステップＳ５では、ステップＳ４で推定された撮影条件要素群に対応する撮影条件要素群が属性情報中に含まれている画像データを抽出することを、ステップＳ５における画像データを抽出する条件（画像抽出条件）としたが、更に、適宜他の画像抽出条件も併用される。

この他の画像抽出条件としては、例えば、「得られた検索語が属性情報内のユーザーコメントに含まれる」「得られた検索語が画像ファイル名に含まれる」及び「得られた検索語が画像データを格納するフォルダ名に含まれる」等が挙げられる。

ここで、検索語がユーザーコメントに含まれるか否かは、ユーザーコメントの全文を対象とした一般的な全文検索によって判別することができる。また、検索語が画像ファイル名又はフォルダ名に含まれるか否かは、ファイル名やフォルダ名を対象とした一般的なキーワード検索によって判別することができる。

ここで、他の画像抽出条件を併用した場合について、具体例を挙げて説明する。

例えば、１以上の特定のキーワードを示すデータを記憶部１６に予め記憶しておく。そして、画像データにユーザーコメントを示す情報が属性情報として付されており、かつステップＳ３で抽出された検索語群が特定のキーワードを含む場合には、当該特定のキーワードを含むユーザーコメントが付されている画像データを抽出することが他の画像抽出条件となる。この場合には、画像ＤＢ１６２から、特定のキーワードに合致する検索語を含むユーザーコメントを示す情報と、ステップＳ４で得られた撮影条件要素群に対応する撮影条件を示す情報との双方が付加されている画像データ群が抽出される。

また、例えば、ステップＳ３で抽出された検索語群が、画像データが格納されているフォルダと合致する検索語（所定のキーワード）を含む場合には、当該所定のキーワードがフォルダ名として付されているフォルダに格納されている画像データを抽出することが他の画像抽出条件となる。この場合には、画像ＤＢ１６２から、所定のキーワードに対応するフォルダ名が付されているフォルダに格納され、かつステップＳ４で得られた撮影条件要素群に対応する撮影条件を示す情報が属性情報中に含まれている画像データ群が抽出される。このように、画像データが格納されるフォルダを絞って画像データ群を抽出することにより、多数の画像データから、所望の撮影シーンに応じた画像データを更に容易かつ効率的に検出することができる。

また、例えば、ステップＳ３で抽出された検索語群が、画像データが格納されているファイルと合致する検索語（所定のキーワード）を含む場合には、当該所定のキーワードがファイル名として付されているファイルに格納されている画像データを抽出することが他の画像抽出条件となる。この場合には、画像ＤＢ１６２から、所定のキーワードに対応するファイル名が付されているファイルに格納され、かつステップＳ４で得られた撮影条件要素群に対応する撮影条件を示す情報が属性情報中に含まれている画像データ群が抽出される。このように、画像データが格納されるファイルを絞って画像データ群を抽出することによっても、多数の画像データから、所望の撮影シーンに応じた画像データを更に容易かつ効率的に検出することができる。

ステップＳ６では、ステップＳ５で抽出した画像データ群を可視的に出力する画面（検索結果表示画面）が表示部１３に表示され、画像検索の動作が終了する。

図１０は、検索結果表示画面ＲＧを例示する図である。

図１０に示す検索結果表示画面ＲＧでは、検索文「去年の夏休みに山の風景を撮った写真」に対する画像検索の結果が表示されている。そして、検索結果表示画面ＲＧでは、４つの画像データのサムネイル画像が表示され、各サムネイル画像の下には、撮影日時と画像ファイル名が付されている。そして、表示されている各サムネイル画像は、ハイパーリンクなどによって各サムネイル画像に対応する高解像度の画像データとリンクされ、マウス１２１を適宜操作することで、所望のサムネイル画像にマウスポインタＭＰを合わせて、マウス１２１をクリックすることで、所望の画像を表示部１３において大きく表示させることができる。なお、検索結果表示画面ＲＧの閉じるボタンにマウスポインタＭＰを合わせて、マウス１２１をクリックすることで、検索結果表示画面ＲＧが閉じられるとともに、図８に示す画像検索の動作フローが再度開始される。

ここで、画像検索の動作の一例を、図１１に示す処理内容を示す図を参照しつつ説明を行う。

検索文「去年の春休みの家族旅行の写真で人物の写っているもの」が入力されると、形態素解析によって得られる検索語のうち、画像の検索に用いることができる検索語は名詞である「去年」「春休み」「家族旅行」「写真」「人物」等になる。

そして、検索語「去年」「春休み」から、撮影条件の要素「撮影日時が２００４年３〜５月」が推定され、検索語「人物」から、撮影条件の要素「被写体の距離範囲が遠景でもマクロでもない」が推定される。更に、検索対象となる画像ＤＢ１６２に「家族旅行」というフォルダがある場合には、検索対象がフォルダ「家族旅行」に記憶されている画像データに絞られる。

したがって、検索文「去年の春休みの家族旅行の写真で人物の写っているもの」が入力された場合には、フォルダ「家族旅行」内にあり、撮影日時が２００４年３〜５月で、被写体の距離範囲が遠景でもマクロでもない画像データが抽出される。

以上のように、本発明の実施形態に係る画像検索システム１においては、ユーザーが操作部１２を適宜操作することで撮影シーンを示す検索文が入力されると、形態素解析等によって検索文から検索語群が抽出される。そして、単語−撮影条件要素テーブル１６３を参照することで、検索語群に対応する撮影条件要素群が推定され、画像ＤＢ１６２から、撮影条件要素群に対応する撮影条件の要素の情報が付加された画像データ群が抽出される。このような構成とすることで、所望のシーンに応じた撮影条件を示す検索語を直接入力せずとも、所望のシーンに応じた画像データを抽出することができるため、多数の画像データから、所望の撮影シーンに応じた画像データを容易に検出することができる。そして、画像データに適切なファイル名を与えたり、テキストデータを付加しなくても抽出すべき画像データを絞ることが可能となる。

また、汎用の規格であるＥｘｉｆに従って画像データに付加される各種属性情報を利用して画像データの検索を行うことができるため、多数の画像データから所望の撮影シーンに応じた画像データを容易に検出することができる技術を、実用化するのが簡単である。

また、ユーザーによって入力される要求に応答して、検索語群から撮影条件要素群を推定するための単語−撮影条件要素テーブル１６３を更新する。このため、ユーザーの意図を反映して進化した検索機能によって、所望の撮影シーンに応じた画像データを更に容易に検出することができる。

また、検索語群が、特定のキーワードを含む場合には、画像ＤＢ１６２から、撮影条件要素群に対応する撮影条件の要素の情報と特定のキーワードを含むユーザーコメント等の属性情報との双方が付加されている画像データ群を抽出する。このような構成により、所望の撮影シーンに応じた画像データを更に容易に検出することができる。

また、時を表す単語から推定される撮影時点で撮影された画像データを抽出するような構成により、所望の時点で撮影された画像データを容易に検出することができる。

また、検索語群に含まれる時を表す単語が、現在を基準とした相対的な時を示す単語である場合には、相対的な時を示す単語に対応する撮影時点を計算によって推定する。このような構成とすることで、時を表す多様な表現を入力しても、所望の時点で撮影された画像データを検出することができるため、素人にとっての利便性が更に向上する。

また、場所を表す単語から推定される場所で撮影された画像データを抽出するため、所望の場所で撮影された画像データを容易に検出することができる。

また、画像データに付された撮影場所を示す情報が、撮影時に、所定のＧＰＳを用いて取得された情報であるため、撮影場所を用いた画像データの検索の精度が高くなる。そして、場所を表す単語から緯度と経度とで示される撮影場所を推定して、当該緯度と経度を用いて、画像データを抽出するため、撮影場所を用いた画像データの検索を精度良く行うことができる。更に、場所を表す単語と緯度および経度とを対応づけた情報を、ユーザーの要求に応じて更新する。このため、検索のルールを、ユーザーの要望に応じてカスタマイズすることができる。その結果、ユーザーの利便性をより向上させることができる。

＜変形例＞
以上、この発明の実施形態について説明したが、この発明は上記説明した内容のものに限定されるものではない。

◎例えば、上記の実施形態では、画像検索の初期に、検索条件である撮影シーンを示す検索文が入力されると、形態素解析によって検索語が抽出されたが、これに限られず、ユーザーが、撮影シーンを示す検索語群を直接入力すると、検索受付部１５１が検索語群の情報を受け付けて、画像検索が実行されるようにしても良い。このような構成によっても、上述した実施形態と同様に、多数の画像データから、所望の撮影シーンに応じた画像データを容易に検出することができる。

なお、この場合、入力する検索語が「撮影場所」を示すものなのか「日時」を示すものなのか等、検索語に対応する撮影条件の項目が分かっていれば、ユーザーが、検索語を入力する時に、撮影条件の項目と検索語とを組みにして指定するようにしても良い。このような構成により、画像検索の処理効率と精度とを向上させることができる。

◎また、上記の実施形態では、検索文から形態素解析によって検索語群を抽出したが、これに限られず、例えば、所定数（例えば、１０個）のキーワードが所定のデータテーブルによって指定されており、当該所定数のキーワードに含まれるキーワードと合致する単語のみを検索文から検索語として抽出するようにしても良い。

◎また、上記の実施形態では、検索語群から撮影条件要素群を推定したが、これに限られず、例えば、検索語群からその他の撮影に関する情報（撮影情報）を推定して、当該撮影情報に対応する属性情報が付加された画像データを抽出するようにしても良い。

以下、具体例を挙げて説明する。例えば、画像データのタグ情報内に撮影者の名前の情報が撮影情報（すなわち属性情報）として記憶されており、また、撮影者となる可能性がある撮影者が男女別に列挙されているテーブル（撮影者テーブル）が記憶部１６に格納されている場合を想定する。

この場合の画像検索では、検索文から検索語「男性」が抽出されると、撮影者テーブルを参照することで、男性の名前が抽出される。そして、抽出された男性の名前に合致する撮影者の名前の情報を含む属性情報が付加されている画像データが抽出される。

◎また、上述の実施形態では、画像検索システムが１つのパソコンにおいて実現される例を挙げて説明したが、これに限られず、例えば、端末機器たるパソコンにおいて所望の撮影シーンを示す検索文や検索語群を入力することで、ネットワークによって接続されたサーバの画像ＤＢから所望の撮影シーンに対応する画像データを抽出するようにしても良い。

図１２は、通信回線を介してデータ送受信可能に接続されるパソコンと、画像ＤＢが格納されるサーバとを備えて構成される画像検索システム１Ａの概要を例示する図である。

図１２に示すように、画像検索システム１Ａでは、インターネットやＬＡＮなどの通信回線ＮＴを介して、複数の端末機器３００，３０１，３０２、およびサーバ５００，７００などが相互にデータ送受信可能に接続されている。

このような構成において、例えば、端末機器３００から通信回線ＮＴを介してサーバ５００にアクセスし、サーバ５００のリソースである画像検索の機能を利用して、端末機器３００において入力された検索文や検索語群に対応する画像データをサーバ５００に格納された画像ＤＢから抽出し、端末機器３００のモニタに検索結果が表示されるようにしても良い。

本発明の実施形態に係る画像検索システムの外観構成を例示する図である。 画像検索システムの機能構成を示すブロック図である。 記憶部１６内の記憶内容を概念的に示す図である。 撮影画像ファイルの構成を概念的に示す図である。 撮影条件テーブルを例示する図である。 単語−撮影条件要素テーブルを例示する図である。 制御部において実現される機能を例示する図である。 画像検索の動作フローを示すフローチャートである。 検索条件入力画面を例示する図である。 検索結果画面を例示する図である。 画像検索の動作を説明する図である。 変形例に係る画像検索システムの構成を例示する図である。

符号の説明

１，１Ａ 画像検索システム
１１ 処理部
１２ 操作部
１３ 表示部
１５ 制御部
１６ 記憶部
１５１ 検索受付部
１５２ 検索語抽出部
１５３ 撮影条件要素推定部
１５４ 画像抽出部
１５５ テーブル更新部
１６１ 画像検索用プログラム
１６２ 画像データベース
１６３ 単語−撮影条件要素テーブル
ＤＰ 画像データ
ＴＧ タグ情報

Claims (20)

1. 画像検索システムであって、
   撮影条件を示す撮影条件情報がそれぞれ付加された複数の画像データを記憶する記憶手段と、
   ユーザーによって入力される検索語群を受け付ける受付手段と、
   前記検索語群に対応する撮影条件要素群を、所定の記憶部に記憶された推定用情報に基づいて推定する推定手段と、
   前記記憶手段から、前記撮影条件要素群に対応する撮影条件情報が付加された画像データ群を抽出する画像抽出手段と、
   を備えることを特徴とする画像検索システム。
2. 画像検索システムであって、
   撮影条件を示す撮影条件情報がそれぞれ付加された複数の画像データを記憶する記憶手段と、
   ユーザーによって入力される検索文を受け付ける受付手段と、
   前記検索文を解析することで、当該検索文から検索語群を抽出する検索語抽出手段と、
   前記検索語群に対応する撮影条件要素群を、所定の記憶部に記憶された推定用情報に基づいて推定する推定手段と、
   前記記憶手段から、前記撮影条件要素群に対応する撮影条件情報が付加された画像データ群を抽出する画像抽出手段と、
   を備えることを特徴とする画像検索システム。
3. 請求項２に記載の画像検索システムであって、
   前記検索語抽出手段が、
   形態素解析を用いて、前記検索文から前記検索語群を抽出することを特徴とする画像検索システム。
4. 請求項１から請求項３のいずれかに記載の画像検索システムであって、
   ユーザーによって入力される要求に応答して、前記推定用情報の記憶内容を更新する更新手段、
   を更に備えることを特徴とする画像検索システム。
5. 請求項１から請求項４のいずれかに記載の画像検索システムであって、
   前記推定用情報が、
   複数の単語と、複数の撮影条件の要素とがそれぞれ対応付けられた情報を含むことを特徴とする画像検索システム。
6. 請求項１から請求項５のいずれかに記載の画像検索システムであって、
   前記撮影条件情報が、
   所定の撮像装置において撮影時に選択的に設定されていた撮影シーンに係る設定情報を含むことを特徴とする画像検索システム。
7. 請求項１から請求項６のいずれかに記載の画像検索システムであって、
   前記画像抽出手段が、
   前記検索語群が、特定のキーワードを含む場合には、前記記憶手段から、前記撮影条件要素群に対応する撮影条件情報と当該特定のキーワードに対応する属性情報との双方が付加されている画像データ群を抽出することを特徴とする画像検索システム。
8. 請求項７に記載の画像検索システムであって、
   前記属性情報が、
   所定の音声認識手段によってユーザーの音声を認識して得られた情報を含むことを特徴とする画像検索システム。
9. 請求項７または請求項８に記載の画像検索システムであって、
   前記属性情報が、
   ユーザーのコメントを示す情報を含むことを特徴とする画像検索システム。
10. 請求項１から請求項９のいずれかに記載の画像検索システムであって、
    前記検索語群が、
    時を表す単語を含み、
    前記撮影条件要素群が、
    前記時を表す単語に対応する撮影時点を示す撮影時情報を含み、
    前記撮影条件情報が、
    撮影日時を示す情報を含み、
    前記画像抽出手段が、
    前記撮影時情報に対応する撮影日時を示す情報が付加された画像データ群を抽出することを特徴とする画像検索システム。
11. 請求項１０に記載の画像検索システムであって、
    前記時を表す単語が、
    現在を基準とした相対的な時を示す単語を含み、
    前記撮影時情報が、
    前記相対的な時を示す単語と、前記現在の時を示す情報とに基づいて、計算によって推定されることを特徴とする画像検索システム。
12. 請求項１から請求項１１のいずれかに記載の画像検索システムであって、
    前記検索語群が、
    場所の名称を示す単語を含み、
    前記推定用情報が、
    場所を示す単語と、場所を特定する場所特定情報とが対応付けられた場所情報を含み、
    前記撮影条件要素群が、
    前記場所の名称に対応する場所特定情報を含み、
    前記撮影条件情報が、
    撮影場所を示す情報を含み、
    前記画像抽出手段が、
    前記場所特定情報に対応する撮影場所を示す情報が付加された画像データ群を抽出することを特徴とする画像検索システム。
13. 請求項１２に記載の画像検索システムであって、
    前記撮影場所を示す情報が、
    所定のＧＰＳを用いて取得された情報を含むことを特徴とする画像検索システム。
14. 請求項１２または請求項１３に記載の画像検索システムであって、
    前記撮影場所を示す情報が、
    緯度および経度を示す情報を含み、
    前記推定用情報が、
    前記場所を示す単語と、緯度および経度の情報とが対応付けられた場所情報を含み、
    前記場所特定情報が、
    前記場所の名称に対応する緯度および経度の情報を含むことを特徴とする画像検索システム。
15. 請求項１２から請求項１４のいずれかに記載の画像検索システムであって、
    ユーザーによって入力される要求に応答して、前記場所情報の記憶内容が更新されることを特徴とする画像検索システム。
16. 請求項１から請求項１５のいずれかに記載の画像検索システムであって、
    前記画像抽出手段が、
    前記検索語群が所定のキーワードを含む場合には、前記記憶手段から、当該所定のキーワードに対応するファイル名が付されているファイルに格納され、かつ前記撮影条件要素群に対応する撮影条件情報が付加されている画像データ群を抽出することを特徴とする画像検索システム。
17. 請求項１６に記載の画像検索システムであって、
    前記ファイル名が、
    所定の音声認識手段によってユーザーの音声を認識して得られた情報を含むことを特徴とする画像検索システム。
18. 請求項１から請求項１５のいずれかに記載の画像検索システムであって、
    前記画像抽出手段が、
    前記検索語群が所定のキーワードを含む場合には、前記記憶手段から、当該所定のキーワードに対応するフォルダ名が付されているフォルダに格納され、かつ前記撮影条件要素群に対応する撮影条件情報が付加されている画像データ群を抽出することを特徴とする画像検索システム。
19. 請求項１８に記載の画像検索システムであって、
    前記フォルダ名が、
    所定の音声認識手段によってユーザーの音声を認識して得られた情報を含むことを特徴とする画像検索システム。
20. 画像検索システムに含まれるコンピュータによって実行されることにより、前記画像検索システムを、請求項１から請求項１９のいずれかに記載の画像検索システムとして機能させるプログラム。
    

Images