JP5385624B2 - 画像キーワード付与装置および画像検索装置ならびにそれらの制御方法 - Google Patents

Description

この発明は，画像キーワード付与装置および画像検索装置ならびにそれらの制御方法に関する。

ディジタル・スチル・カメラを用いて被写体を撮影すると，撮像により得られた画像データに撮影日などの情報が付加される。画像を検索するときには，撮影日などの情報のほかにキーワードが付与されていると便利なので画像にキーワードが付与されることがある。しかしながら，多数の画像がある場合に画像ごとにキーワードを付与するのは面倒な作業となってしまう。

このために，キーワードの付与作業を軽減するためのものがある（特許文献１）。また，画像内の人物を検出し，被写体の人数に応じてキーワードを付与するものもある（特許文献２）。しかしながら，人物が存在しない場合にはキーワードはすべて同じとなってしまうし，被写体人数に応じたキーワードではキーワードとして不十分である。さらに，被写体認識の結果に関連したキーワードを付与するものもある（特許文献３）。しかしながら，家族を撮影した場合などではキーワードが同じとなってしまうことが多い。画像認識するものも存在する（特許文献４）。

特開2007-207031号公報 特開2006-350552号公報 特開2007-304771号公報 特開2001-330882号公報

この発明は，検索に有効なキーワードを付与することを目的とする。

第１の発明による画像キーワード付与装置は，キーワードを付与する付与対象画像データを入力する付与対象画像データ入力手段，上記付与対象画像データ入力手段から入力した付与対象画像データによって表される付与対象画像から，あらかじめ定められている被写体およびその被写体の位置を検出する第１の検出手段，ならびに上記第１の検出手段によって検出された被写体の名前およびその被写体の位置をそれぞれ表すデータを，上記付与対象画像の検索に用いられるデータとして上記付与対象画像データに関連づけて記憶媒体に記憶する記憶制御手段を備えていることを特徴とする。

第１の発明は，上記画像キーワード付与装置に適した動作制御方法も提供している。すなわち，この方法は，付与対象画像データ入力手段が，キーワードを付与する付与対象画像データを入力し，検出手段が，上記付与対象画像データ入力手段から入力した付与対象画像データによって表される付与対象画像から，あらかじめ定められている被写体およびその被写体の位置を検出し，記憶制御手段が，上記検出手段によって検出された被写体の名前およびその被写体の位置をそれぞれ表すデータを，上記付与対象画像の検索に用いられるデータとして上記付与対象画像データに関連づけて記憶媒体に記憶するものである。

第１の発明によると，付与対象画像データが入力すると，入力した付与対象画像データによって表される付与対象画像から，あらかじめ定められている被写体およびその被写体の位置が検出される。検出された被写体の名前および被写体の位置がキーワードとして付与対象画像に関連付けられる。第１の発明によると，被写体の名前と位置とが検索に用いられるデータとして付与対象画像に付与されるので，それらの名前と位置とを利用して所望の画像を見つけ出すことができる。検索に有効なキーワード（検索条件）を付与対象画像に付与できるようになる。

上記第１の検出手段によって検出された被写体の上記付与対象画像における大きさを検出する第２の検出手段をさらに備えてもよい。この場合，上記記憶制御手段は，たとえば，上記第１の検出手段によって検出された被写体の名前およびその被写体の位置をそれぞれ表すデータに加えて，上記第２の検出手段によって検出された大きさを表すデータを，上記付与対象画像のキーワードを表すデータとして上記付与対象画総データに関連づけて上記記憶媒体に記憶するものである。

上記第１の検出手段によって検出される被写体の位置は，たとえば，上記付与対象画像を複数の領域に分割した場合において被写体が存在する領域の位置である。

上記第１の検出手段によって検出される被写体の位置は，上記付与対象画像における縦方向および横方向の全体の割合によって決定される位置でもよい。

上記第１の検出手段によって検出された被写体の上位概念の名前を検出する第３の検出手段をさらに備えてもよい。この場合，上記記憶制御手段は，たとえば，上記第１の検出手段によって検出された被写体の名前およびその被写体の位置をそれぞれ表すデータに加えて，上記第３の検出手段によって検出された上位概念の名前を表すデータを，上記付与対象画像の検索に用いられるデータとして上記付与対象画総データに関連づけて上記記憶媒体に記憶するものである。

第２の発明による画像検索装置は，キーワードを入力するキーワード入力手段，上記キーワード入力手段から入力されたキーワードに対応する被写体の位置を入力する位置入力手段，および上記キーワード入力手段から入力されたキーワードおよびそのキーワードの上位概念の少なくとも一方または上記キーワード入力手段から入力されたキーワードおよびそのキーワードの下位概念の少なくとも一方に対応する被写体を含み，かつその被写体が上記位置入力手段から入力された位置に存在する画像を多数の画像の中から見つける検索手段を備えていることを特徴とする。

第２の発明は，上記画像検索装置に適した動作制御方法も提供している。すなわち，この方法は，キーワード入力手段が，キーワードを入力し，位置入力手段が，上記キーワード入力手段から入力されたキーワードに対応する被写体の位置を入力し，検索手段が，上記キーワード入力手段から入力されたキーワードおよびそのキーワードの上位概念の少なくとも一方または上記キーワード入力手段から入力されたキーワードおよびそのキーワードの下位概念の少なくとも一方に対応する被写体を含み，かつその被写体が上記位置入力手段から入力された位置に存在する画像を多数の画像の中から見つけるものである。

第２の発明によると，キーワードおよびそのキーワードに対応する被写体の位置が入力される。入力されたキーワードおよびそのキーワードの上位概念または入力されたキーワードおよびそのキーワードの下位概念の少なくとも一方に対応する被写体を含む画像であって，かつその被写体が入力された位置に存在する画像が多数の画像の中から見つけられる。キーワードまたはそのキーワードの上位概念の少なくとも一方に対応する被写体を含む画像を見つけるのではなく，その被写体が入力された位置に存在する画像を見つけるので，ユーザの所望の画像を適切に見つけることができる。

上記キーワード入力手段から入力されたキーワードに対応する被写体の画像中での大きさを指定する大きさ指定手段をさらに備えてもよい。この場合，上記検索手段は，上記キーワード入力手段から入力されたキーワードに対応する被写体を含み，かつその被写体が上記位置入力手段から入力された位置に存在する画像であって，上記大きさ指定手段によって指定された大きさをもつ被写体を含む画像を多数の画像中から見つけるものとなろう。

画像検索装置の一例である。 被写体特徴量テーブルの一例である。 上位概念テーブルの一例である。 画像の一例である。 キーワード付与処理手順を示すフローチャートである。 画像１の特徴量テーブルの一例である。 画像を複数の領域に分割したものである。 画像１の特徴量テーブルの一例である。 画像１の特徴量テーブルの一例である。 画像の一例である。 画像の一例である。 画像の一例である。 画像の一例である。 画像の一例である。 特徴量テーブルの一例である。 画像検索処理手順を示すフローチャートである。 検索ウインドウの一例である。 検索ウインドウの一例である。 検索ウインドウの一例である。 検索ウインドウの一例である。

図１は，この発明の実施例を示すもので，画像検索装置（画像キーワード付与装置）１の電気的構成を示すブロック図である。

画像検索装置１の全体の動作は，ＣＰＵ８によって統括される。画像検索装置１には，制御プログラム，その他のデータ等が格納されているメイン・メモリ10が含まれている。メイン・メモリ10はメモリ制御装置９によって制御される。

検索対象となる画像を表す画像データは，画像入力装置２から入力する。入力した画像データは，データベース制御装置11の制御のもとに画像データベース12に格納される。

画像検索装置１には被写体特徴量データベース５が含まれている。この被写体特徴量データベース５は，画像に含まれる被写体の特徴量を，その被写体の名前（被写体名）とともに格納するものである。被写体特徴量データベース５は処理制御装置３および画像解析装置４によって制御される。

図２は，被写体特徴量データベース５に格納されている被写体特徴量テーブルの一例である。

上述したように，被写体特徴量テーブルは，被写体の特徴量を表わすデータが被写体名に対応して格納されている。被写体の特徴量は，画像の中からその被写体を検出（抽出）するための情報である。たとえば，被写体が「特許太郎」であれば，被写体が「特許太郎」であると考えられるための情報，顔における目，鼻，口などの相対的位置，大きさ，髪の色，長さなどを示す情報が，「特許太郎」の特徴量となる。画像に含まれる被写体が「特許太郎」の特徴量を有していれば，その被写体名が「特許太郎」と決定される。また，被写体が「赤い自動車」であれば，自動車の形状，色（赤色）を示す情報が，「赤い自動車」の特徴量となる。画像に含まれる被写体が「赤い自動車」の特徴量を有していれば，その被写体名が「赤い自動車」と決定される。

図１に戻って，画像検索装置１には上位概念データベース７も含まれている。上位概念データベース７には，被写体名の上位概念となるキーワードが被写体名に対応して格納されている。上位概念データベース７は，データベース制御装置６によって制御される。

図３は，上位概念データベース７に格納される上位概念テーブルの一例である。

上位概念テーブルには，上述したように，被写体名に対応して，その被写体名の上位概念となる第１のキーワード（上位概念キーワード１）および第１のキーワードのさらに上位概念となる第２のキーワード（上位概念キーワード２）が格納されている。たとえば，被写体名が「特許太郎」の場合には上位概念キーワード１は「男」であり，上位概念キーワード２は「人間」である。被写体名が「赤い自動車」の場合には上位概念キーワード１は「自動車」であるが，上位概念キーワード２は設定されていない。もちろん，「乗り物」などの上位概念を上位概念キーワード２として設定してもよいのはいうまでもない。その他の被写体名についても同様である。

再び，図１に戻って，被写体特徴量データベース５に格納されている被写体特徴量テーブル，上位概念データベース７に格納されている上位概念テーブルのそれぞれの内容はユーザ（オペレータ）によってあらかじめ設定されることとなる。

画像検索装置１には，さらに表示装置13および画像を検索するときにキーワード等を入力するための入力装置14が設けられている。

図４は，画像20の一例である。

画像20の左端には被写体名「特許太郎」の被写体21が存在する。この被写体21のすぐ右に被写体名「意匠花子」の被写体22が存在している。また，画像20の右上には被写体名「赤い自動車」の被写体23が存在する。さらに，被写体23の下には被写体名「ポチ」の被写体24が存在している。

この画像（キーワード付与対象画像）20に，キーワード等（検索に用いられるデータ）を付与するものとする。

図５は，キーワード付与処理手順を示すフローチャートである。

キーワードを付与する付与対象画像20を表す画像データ（付与対象画像データ）が画像データベース12から読み取られて画像解析装置４に入力する（ステップ31）。付与対象画像データが画像データベース12に格納されていない場合には，画像入力装置２から画像検索装置１に入力し画像解析装置４に与えられることとなる。

画像解析装置４において，付与対象画像20に含まれるすべての被写体，その被写体の位置および大きさが検出される（ステップ33）。被写体が検出されると，その被写体の特徴量にもとづいて被写体特徴量テーブル（図２参照）を用いて，その被写体の被写体名が検出される。被写体名が検出されると，上位概念テーブル（図３参照）を用いて，その被写体名の上位概念キーワードが読み取られる（ステップ34）。

被写体名，上位概念キーワード，被写体の位置および大きさが画像データベース12に格納されることとなる（ステップ35）。

付与対象画像20に含まれるすべての被写体について被写体名の検出および上位概念の読み取りが行われる。

図６は，画像データベース12に格納される特徴量テーブルの一例である。この特徴量テーブルは付与対象画像20についてのものであり，他の画像についてもキーワード付与処理が行われると，その画像に対応する特徴量テーブルが画像データベース12に格納されることとなる。

特徴量テーブルには，被写体名に対応して上位概念キーワード１，上位概念キーワード２，被写体の位置および被写体の大きさ（検索に用いられるデータ）が格納されている。被写***置は，付与対象画像20の左上を原点と考えた場合に，その被写体の中心（重心）の座標位置を示している。被写***置は，その被写体を内接または外接する矩形を考えた場合にその矩形の中心としてもよい。被写体の大きさは，付与対象画像の横方向の大きさおよび縦方向の大きさをそれぞれ100とした場合に，付与対象画像の横方向の大きさに対する被写体の横方向の大きさと，付与対象画像の縦方向の大きさに対する被写体の縦方向の大きさとの組で表している。

このようにして，付与対象画像20に含まれる被写体の名前，その被写体のキーワード，位置および大きさを付与対象画像20に付与することができる。

上述した実施例では，被写体の位置は，付与対象画像20における座標位置であったが座標位置でなくとも付与対象画像20を複数の領域に分割した場合にどの領域に存在するかを示すものでもよい。

図７は，画像を分割した一例を示している。

水平方向および垂直方向にそれぞれ３分割されており，領域１から領域９までの９つの領域に分けられている。これらの９つの領域のうち，被写体がどの領域に存在するかを被写体の位置として特徴量テーブルに格納することができる。

図８は，被写***置として座標位置の代わりに領域を格納した特徴量テーブルの一例である。

被写体名「特許太郎」の被写体21は領域４に存在するとされている。同様に，被写体名「意匠花子」の被写体22も領域４に存在するとされ，被写体名「赤い自動車」の被写体23および被写体名「ポチ」の被写体24は，いずれも領域６に存在するとされる。

被写体の中心位置が存在する領域，被写体が多く含まれている領域などを，その被写体が存在する領域と決定することができる。

さらに，付与対象画像20に対する相対的な割合を被写体の位置とすることもできる。

図９は，付与対象画像20に対する相対的な割合を被写体の位置とした場合の特徴量テーブルの一例である。

被写体名「特許太郎」の被写体21は左から15％，上から50％の領域内に存在するとされている。同様に，被写体名「意匠花子」の被写体22は左から30％，上から50％の領域内に存在するとされ，被写体名「赤い自動車」の被写体23は左から75％，上から20％の領域内に存在するとされ，被写体名「ポチ」の被写体24は左から75％，上から75％の領域内に存在するとされている。

このように，付与画像20に対する相対的な位置の割合を被写体の位置とすることもできる。

図10から図14は，他の画像の一例を示している。図15は，図４に示す画像および図10から図14に示す画像についての特徴量テーブルの一例である。

図10に示す画像41は，図４に示す画像20の被写体21と被写体22との配置が入れ替わっている。図10に示す画像41においては，被写体名「意匠花子」の被写体22が画像の左側に存在し，その被写体22の右側に被写体名「特許太郎」の被写体21が存在する。画像41の右上には，被写体名「赤い自動車」の被写体23が存在し，その被写体23の下に被写体名「ポチ」の被写体24が存在する。

図15に示すように，特徴量テーブルに格納される画像41の被写体名，上位概念キーワード１，上位概念キーワード２および大きさは画像20についてのものと同じとなるが，被写体21と被写体22との位置が変わっているのが理解されよう。

図11に示す画像42においては，被写体名「意匠花子」の被写体22が画像42の左側に存在し，その被写体22の右側に被写体名「赤い自動車」の被写体23が存在する。被写体23の上には被写体名「ポチ」の被写体24が，被写体23の右側には被写体名「特許太郎」の被写体21がそれぞれ存在する。

図15に示すように，特徴量テーブルに格納される画像42についての被写体名，上位概念キーワード１，上位概念キーワード２および大きさは画像20または画像41についてのものと同じとなるが，被写体21〜24の位置が変わる。

図12に示す画像43においては被写体21〜23の位置関係および大きさは，図４に示す被写体20の被写体21〜23の位置関係および大きさと同じであるが，被写体名「ポチ」の被写体24が存在しない。このために，図15に示す特徴量テーブルには被写体名「ポチ」の被写体24についての情報が格納されていない。

図13に示す画像44においては，図４に示す画像20，図10に示す画像41および図11に示す画像42に含まれている被写体21〜24と同じ被写体51〜54が含まれている。被写体名「特許太郎」の被写体51は被写体21に対応し，被写体名「意匠花子」の被写体52は被写体22に対応し，被写体名「赤い自動車」の被写体53は被写体23に対応し，被写体名「ポチ」の被写体54は被写体24に対応する。被写体51，被写体52および被写体54のそれぞれの大きさは被写体21，被写体22および被写体24のそれぞれの大きさに比べて大きい。被写体53の大きさは被写体23に比べて小さい。このために，図15に示す特徴量テーブルに格納されている大きさも図４などに示す画像20などの被写体の大きさに比べて大きく，あるいは小さくなっている。

図14に示す画像45においては，被写体21，被写体52〜54が含まれている。これらの被写体21，被写体52〜54の位置関係は，図４に示す画像20に含まれる被写体21〜24の位置関係と同じであるが，被写体52および53の大きさが図４の画像20の被写体22および23の大きさよりも小さくなっており，かつ被写体54の大きさは図４に示す被写体20の大きさよりも大きくなっている。このために，図15に示す特徴量テーブルに格納されている大きさも図４などに示す画像20などの被写体の大きさに比べて大きく，あるいは小さくなっている。

図６に示す特徴量テーブルは画像ごとに生成されているものであるが，図15に示す特徴量テーブルのように一つの特徴量テーブルにすべての画像についてのデータが格納されるようにしてもよい。

図16から図20は，他の実施例を示すもので，画像を検索により見つけるものである。

図16は，画像検索処理手順を示すフローチャートである。

まず，見つけ出したい画像に含まれている被写体の被写体名，その被写体の位置および被写体の大きさが入力装置14から入力される（ステップ61〜63）。入力された被写体名，被写体の位置および被写体の大きさをもつ画像が画像データベース12に格納されている多数の画像の中から見つけられる（ステップ64）。見つけられた画像が表示装置13の表示画面上に表示される（ステップ65）。

図17は，表示装置13の表示画面に表示される検索ウインドウの一例である。

検索ウインドウ70には，キーワード表示領域71，被写***置表示領域72および被写体大きさ表示領域73が一つの組として一列に配置されている。検索ウインドウ70には，このような組が縦方向に５つ並んでいる。また，検索ウインドウ70の右下には検索指令ボタン74が形成されている。

キーワード表示領域71，被写***置表示領域72および被写体大きさ表示領域73のうちいずれかの領域が選択されると,その選択された領域への入力ができるようになる。入力された情報が選択された領域に表示される（入力装置14にはマウスが含まれており，そのマウスを利用して所望の領域を選択できるのはいうまでもない。もちろん，表示装置13の表示画面にタッチパネルが形成されていれば，その所望の表示領域上をタッチすることにより，所望の領域を選択できる。）。

キーワード表示領域71には，被写体名またはその被写体名の上位概念がキーワードとして入力される。位置は，画像中における座標位置が表示されているが，図８または図９に示したように必ずしも座標位置ではなく画像を複数の領域に分割した場合における所望の領域または画像に対する割合を入力するようにしてもよい。

領域71〜73のうち少なくとも一つの領域に情報が入力されて検索ボタン74がクリック（タッチ）されることにより，入力された情報に該当する画像が検索されて所望の画像が見つけられる。

位置および大きさは，入力した情報に完全に一致する被写体が含まれている画像を見つけ出すようにしてもよいが，入力した情報に近似する被写体が含まれている画像を見つけるようにすることが好ましい。

キーワード表示領域71に入力されたキーワードを被写体名または上位概念キーワードとしてもつ被写体名をもつ被写体が含まれている画像を見つけ出すようになる。

図18から図20は，検索ウインドウの他の例を示すものである。

図18を参照して，検索ウインドウ80の上部には被写***置／大きさ指定ウインドウ81が表示されている。後述するように，この被写***置／大きさ指定ウインドウ81を用いて，見つける画像に含まれている被写体の位置，大きさが指定される。

被写***置／大きさ指定ウインドウ81の左下には，「位置」の文字が表示されている。この「位置」の文字の右側にはチェック・ボックス82と「絶対位置」の文字およびチェック・ボックス83と「相対位置」の文字が表示されている。また，「位置」の文字の下にはチェック・ボックス84と「大きさ」の文字が表示されている。「大きさ」の文字の下にはチェック・ボックス85と「キーワードのみ」の文字が表示されている。検索ウインドウ80の右下には決定ボタン86および検索ボタン87が表示されている。

被写体の位置を絶対位置（画像に対する絶対的な位置）で指定する場合にはチェック・ボックス82がチェックされる。被写体の位置を相対位置（画像に含まれる被写体の相対的位置関係）で指定する場合にはチェック・ボックス83がチェックされる。被写体の大きさを指定する場合にはチェック・ボックス84がチェックされる。キーワード（被写体名，上位概念キーワード）のみで検索する場合にはチェック・ボックス85がチェックされる。チェック・ボックス85がチェックされた場合には，チェック・ボックス82，83，84はチェックできない。

チェック・ボックス82がチェックされて決定ボタン86がクリックされると，図17に示す検索ウインドウ70が現れて領域72に絶対位置を入力することとなる。

チェック・ボックス83がチェックされると，被写***置／大きさ指定ウインドウ81を用いて被写***置および大きさを指定できる。被写***置／大きさ指定ウインドウ81内をマウスでドラッグすることにより，矩形（円形等の他の形状でもよい）が表示される。画像に含まれる被写体の数の矩形が被写***置／大きさ指定ウインドウ81に表示されると，その矩形にキーワードを入力できるようになる。入力されたキーワードによって特定される被写体と矩形の位置関係により被写体の位置関係が決定される。

図19を参照して，上述のようにして矩形91，92および93が被写***置／大きさ指定ウインドウ81に表示される。これらの矩形91，92および93のそれぞれにキーワード「特許太郎」，「意匠花子」および「犬」が表示されている。検索ボタン87がクリックされると，キーワードとして「特許太郎」，「意匠花子」または「犬」をもつ被写体であって，それらの被写体の位置関係が図19に示す矩形91〜93の位置関係に合致する画像が画像データベース12から見つけられる。

チェック・ボックス84がチェックされていると画像に対する被写体の大きさと被写***置／大きさ指定ウインドウ81に対する矩形91〜93の大きさとに関係に対応するような大きさをもつ被写体が含まれている画像が見つけられる。

被写***置／大きさ指定ウインドウ81に表示されている矩形91〜93の一辺または頂角をドラッグすることにより，ドラッグした方向に矩形91〜93の大きさを変えることもできる。

図20は矩形93の大きさを変えた矩形94が表示されている検索ウインドウ90の一例である。矩形を所望の大きさに変えることにより，所望の大きさの被写体像が含まれている画像を見つけることができる。

検索ボタン87がクリックされると，チェック・ボックスの設定に応じて被写***置，大きさ等にもとづいて画像の検索が行われる。

たとえば，画像データベース12には図４に示す画像20，図10〜図14に示す画像41〜45が格納されているものとする。

第１の検索方法として，キーワードのみが入力された場合についての検索例について述べる。キーワードとして「特許太郎」，「意匠花子」および「犬」が入力されたものとする。入力されたキーワードのうち「特許太郎」を被写体名にもつ被写体21または51および「意匠花子」を被写体名にもつ被写体22または52を有し，かつ入力されたキーワード「犬」を上位概念キーワードにもつ被写体24または54を有する画像は，画像20，41，42，44，45である。これらの画像20，41，42，44，45が検索の結果見つけられた画像となる。

第２の検索方法として，キーワードおよび相対位置が指定された場合についての検索例は以下の通りである。「意匠花子」の右側に「特許太郎」が存在し，「特許太郎」の右側にさらに「犬」が存在する画像を見つけるものとする。「特許太郎」，「意匠花子」および「犬」がキーワードとして登録されている画像は画像20，41，42，44，45である。それらの画像20，41，42，44，45のうち，「意匠花子」の右側に「特許太郎」が存在するのは画像41および43である。また，「特許太郎」の右側に「犬」が存在するのは画像41であるから，画像41が検索により見つけられる画像となる。

第３の検索方法として，キーワードおよび絶対位置が指定された場合についての検索例を述べる。「意匠花子」が左から20％の領域に存在し，「特許太郎」が左から10％〜40％の領域に存在し，かつ「犬」が50％よりも右側に存在する画像を見つけるものとする。特許太郎」，「意匠花子」および「犬」がキーワードとして登録されている画像は画像20，41，42，44，45である。これらの画像20，41，42，44，45のうち，被写体の位置が指定された条件を満たすのは画像41となる。

第４の検索方法として，キーワードおよび相対的な大きさが指定された場合の検索例を述べる。「犬」が「自動車」よりも大きく，かつ「特許太郎」が「意匠花子」よりも大きい画像を見つけるものとする。「犬」，「自動車」，「特許太郎」，「意匠花子」が被写体として含まれている画像は，画像20，41，42，44，45である。これらの画像20，41，42，44，45のうち，「犬」が「自動車」よりも大きい画像は，画像44および45である。また，「特許太郎」が「意匠花子」よりも大きい画像は画像45となる。

第５の検索方法として，キーワードおよび被写体の絶対的な大きさが指定された場合の検索例を述べる。「犬」が縦方向および横方向で画像に対して25％以上の大きさで撮像されている画像を見つけるものとする。「犬」が含まれている画像は，画像20，41，42，44，45である。これらの画像20，41，42，44，45のうち，「犬」の大きさが指定された大きさをもつものは画像44および45となる。

第６の検索方法として，上述した第２の検索方法から第５の検索方法のすべてを満足する画像を見つけるものとする。すなわち，画像の右半分に「犬」が存在し，かつ縦方向および横方向ともに画像に対して25％以上の大きさをもち，「特許太郎」の右側に「意匠花子」が「特許太郎」よりも小さく存在する画像を見つけるものとする。「犬」，「特許太郎」，「意匠花子」が含まれている画像は画像20，41，42，44，45である。これらの画像20，41，42，44，45は，すべて画像の右半分に「犬」が存在する。「犬」の大きさが縦方向および横方向ともに25％以上の画像は画像44および45である。「意匠花子」が「特許太郎」の右側に存在する画像も画像44および45である。「意匠花子」が「特許太郎」よりも小さい画像は画像45となる。

上述した例から，キーワードのみを用いて画像を見つけるよりもより絞り込んだ検索ができることが分かる。

指定したキーワード等を有する画像が見つからなかった場合には，次のように処理することが考えられる。

第１に該当する画像が見つからない旨を表示する。

第２にユーザが指定した条件に近い画像を表示するものである。たとえば，上述した第６の検索方法において画像45が存在しなかったものとする。次の条件に合致する画像などが表示される。条件１として「犬」が右側に存在する。条件２として「犬」の大きさは画像に対して縦横25％の大きさをもつ。条件３として「意匠花子」および「特許太郎」が含まれている。条件４として「意匠花子」が「特許太郎」よりも右側にいる。条件５として意匠花子」が「特許太郎」よりも小さい。条件５だけを満足しない画像44を表示するようにしてもよいし，いずれかの複数の条件だけを満足しない画像を表示するようにしてもよい。

第３にあらかじめ定めた条件で優先付けして近い画像を表示する。検索条件にはキーワード，被写***置，被写体の大きさがあるが，これらの検索条件に優先順位を付与する。例えば，キーワードは必須条件とし，次に被写***置を優先付ける。上記の第５の検索方法において画像45が存在しない場合，「犬」，「意匠花子」，「特許太郎」が含まれる画像は画像20，41，42，44，45である。次に「犬」が右半分，「特許太郎」が「意匠花子」の右側に存在する条件を満たすのは画像20および44となる。画像20および44が見つけられた画像となる。

上述した実施例では，被写体の大きさを縦横の長さで示しているが被写体の面積を利用してもよい。また，被写体名の上位概念をその被写体名の被写体の種類（性別，人間など）で表しているが，被写体の所属（ＡＡ課，ＢＢ部，ＣＣ会社）などとしてもよい。また，位置関係は横方向に限らず縦方向でもよい。さらに，被写体の大きさは縦方向および横方向の両方とも大きいかどうかで判断せずに一方向のみの大きさで判断するようにしてもよい。

１ 画像検索装置（画像キーワード付与装置）
２ 画像入力装置（付与対象画像データ入力手段）
４ 画像解析装置
８ ＣＰＵ（第１の検出手段，第２の検出手段，第３の検出手段，検索手段）
11 データベース制御装置（記憶制御手段）
14 入力装置（キーワード入力手段，位置入力手段，大きさ指定手段）

Claims (3)

1. キーワードを入力するキーワード入力手段，
   上記キーワード入力手段から入力されたキーワードに対応する被写体の位置を入力する位置入力手段，および
   上記キーワード入力手段から入力されたキーワードおよびそのキーワードの上位概念の少なくとも一方または上記キーワード入力手段から入力されたキーワードおよびそのキーワードの下位概念の少なくとも一方に対応する被写体を含み，かつその被写体が上記位置入力手段から入力された位置に存在する画像を多数の画像の中から見つける検索手段，
   を備えた画像検索装置であって，
   上記位置入力手段は，
   被写体を表わす矩形，円形等その他の形状を表示する表示装置を備え，
   上記形状に上記キーワード入力手段から入力されたキーワードを入力するものであり，
   上記検索手段は，
   上記キーワード入力手段によって入力されたキーワードによって特定される被写体の位置関係が上記形状の位置関係に合致する画像を見つけるものである，
   画像検索装置。
2. 上記キーワード入力手段から入力されたキーワードに対応する被写体の画像中での大きさを指定する大きさ指定手段をさらに備え，
   上記検索手段は，上記キーワード入力手段から入力されたキーワードに対応する被写体を含み，かつその被写体が上記位置入力手段から入力された位置に存在する画像であって，上記大きさ指定手段によって指定された大きさをもつ被写体を含む画像を多数の画像中から見つけるものである，
   請求項１に記載の画像検索装置。
3. キーワード入力手段が，キーワードを入力し，
   位置入力手段が，上記キーワード入力手段から入力されたキーワードに対応する被写体の位置を入力し，
   検索手段が，上記キーワード入力手段から入力されたキーワードおよびそのキーワードの上位概念の少なくとも一方または上記キーワード入力手段から入力されたキーワードおよびそのキーワードの下位概念の少なくとも一方に対応する被写体を含み，かつその被写体が上記位置入力手段から入力された位置に存在する画像を多数の画像の中から見つける，
   画像検索装置の動作制御方法であって，
   表示装置が，被写体を表わす矩形，円形等その他の形状を表示し，
   上記形状に上記キーワード入力手段から入力されたキーワードを入力するものであり，
   上記検索手段は，上記キーワード入力手段によって入力されたキーワードによって特定される被写体の位置関係が上記形状の位置関係に合致する画像を見つけるものである，
   画像検索装置の動作制御方法。

Images