JP2008269557A - 画像検索装置、および画像検索方法 - Google Patents

Abstract

【課題】多数の画像の中から目的とする画像を簡単に検索可能とする。
【解決手段】予め設けられた所定領域に、形状、大きさ、色、または模様の少なくとも一
つの属性を有するオブジェクトを複数設定し、オブジェクト間の相対的な位置関係および
各オブジェクトの属性を、目的の画像を検索するための特徴として抽出する。次いで、抽
出した特徴を含む画像を検索する。オブジェクト間の相対的な位置関係およびオブジェク
トの属性は、非常に多くの情報を含むため、これらに基づいて検索することで、適切に画
像を検索することが可能となる。また、相対的な位置関係や属性であれば、取り扱いが容
易であり、画像がこれらの特徴を具備しているか否かも容易に判断できるので、目的とす
る画像を迅速に検索することが可能となる。
【選択図】図２

Description

本発明は、画像を検索する技術に関する。

コンピュータ関連技術の進歩により、今日では、画像をデジタル化された画像データと
して取り扱うことが多くなってきた。画像を画像データの形態にしておけば、場所やコス
トをかけることなく多量の画像を記憶しておき、必要に応じて何時でも画像データを読み
出して表示したり、画像を印刷することが可能である。

また、多量の画像が画像データとして蓄えられるようになると、目的とする画像の画像
データを探すことが容易では無くなることから、例えば個々の画像データについて、作成
日時、参照日時、参照回数などの情報を記憶しておき、これらに基づいて該当する画像デ
ータを絞り込むことにより、目的とする画像データを容易に発見可能とすることを目的と
する技術が提案されている（特許文献１）。

あるいは、画像データを保存する際に、その画像の特徴を表す複数の言葉を索引語とし
て記憶しておき、索引語から画像データを絞り込むことによって、目的とする画像データ
を容易に発見可能とすることを狙った技術も提案されている（特許文献２）。

特開２０００−３３９３４１号公報 特開２０００−２７６４８３号公報

しかし、提案されている技術では、多量の画像データの中から、目的とする画像の画像
データを効率よく見つけることは依然として困難であるという問題があった。すなわち、
画像データの作成日時や、参照日時、参照回数は、画像の内容と直接には関連しないので
、これらの情報を基に画像データを絞り込もうとしても、目的とする画像データを効率よ
く見つけ出すことは難しい。また、索引語を用いた方法では、画像の内容から画像データ
を絞り込むことが可能であるが、索引語として設定しておかなければ検索することができ
ないので、画像データの保存時には想定しなかったような着眼点から画像を探そうとして
も、目的とする画像の画像データを効率よく見つけ出すことは難しいという問題があった
。

この発明は、従来技術が有する上述した課題を解決するためになされたものであり、画
像データとして記憶されている多数の画像の中から、目的とする画像の画像データを効率
よく見つけ出すことが可能な技術の提供を目的とする。

上述した課題の少なくとも一部を解決するために、本発明の画像検索装置は次の構成を
採用した。すなわち、
予め記憶されている複数の画像の中から、目的の画像を検索する画像検索装置であって
、
前記画像検索装置に設けられた画面上の所定領域に、形状、大きさ、色、または模様の
少なくとも一つの属性を有するオブジェクトを複数設定するオブジェクト設定手段と、
前記設定された複数のオブジェクト間の相対的な位置関係および各オブジェクトの属性
を、前記目的の画像を検索するための特徴として抽出する特徴抽出手段と、
前記抽出された特徴を含む画像を、前記予め記憶されている複数の画像の中から抽出す
る画像抽出手段と
を備えることを要旨とする。

また、上記の画像検索装置に対応する本発明の画像検索方法は、
予め記憶されている複数の画像の中から、目的の画像を検索する画像検索方法であって
、
前記画像検索装置に設けられた画面上の所定領域に、形状、大きさ、色、または模様の
少なくとも一つの属性を有するオブジェクトを複数設定する第１の工程と、
前記設定された複数のオブジェクト間の相対的な位置関係および各オブジェクトの属性
を、前記目的の画像を検索するための特徴として抽出する第２の工程と、
前記抽出された特徴を含む画像を、前記予め記憶されている複数の画像の中から抽出す
る第３の工程と
を備えることを要旨とする。

かかる本発明の画像検索装置および画像検索方法においては、予め設けられた所定領域
に、形状、大きさ、色、または模様の少なくとも一つの属性を有するオブジェクトを複数
設定しておく。そして、これらオブジェクト間の相対的な位置関係および各オブジェクト
の属性を、目的の画像を検索するための特徴として抽出した後、抽出された特徴を含む画
像を、予め記憶されている複数の画像の中から検索することによって抽出する。

オブジェクト間の相対的な位置関係およびオブジェクトの属性は、画像の撮影（または
作成）日時や、撮影シーンなどに比べて非常に多くの情報を含んでいるため、これらオブ
ジェクト間の相対的な位置関係やオブジェクトの属性に基づいて画像を検索すれば、より
適切に画像を検索することが可能となる。また、相対的な位置関係や属性であれば、取り
扱いが容易であり、画像がこれらの特徴を具備しているか否かも容易に判断することがで
きるので、多数の画像が記憶されている場合でも、目的とする画像を迅速に検索して抽出
することが可能となる。

尚、所定領域内に複数のオブジェクトを設定する際には、画面上で直接オブジェクトを
設定しても良いし、あるいは、用紙などに複数のオブジェクトを描いた画像を、スキャナ
などで読み取ることによって、設定することとしても良い。

また、かかる本発明の画像検索装置においては、設定された複数のオブジェクトが大き
さの属性を有する場合には、これらオブジェクト間の相対的な大きさの関係も、検索のた
めの特徴として抽出することとしてもよい。

複数のオブジェクト間の相対的な大きさの関係を用いて画像を検索すれば、画像の大き
さや、画像に写った物体の大きさに影響されることなく画像を検索することができるので
、目的とする画像を適切に検索することが可能となる。

また、本発明の画像検索装置においては、オブジェクトに色の属性が設定されている場
合には、オブジェクトの色も、画像を検索する際の特徴として用いて、画像を抽出するこ
ととしても良い。

画像に写っている対象は、大きさや形状だけでなく、色によっても絞り込める場合が多
いから、オブジェクトに色を設定して画像を検索することで、目的とする画像をより適切
に検索することが可能となる。

また、かかる本発明の画像検索装置においては、複数のオブジェクト間の相対的な位置
関係に加えて、オブジェクトが設定されている所定領域と、オブジェクトとの位置関係も
、画像を検索するための特徴として抽出することとしても良い。

こうすれば、画像の中で、物体が写っている位置を考慮しながら画像を検索することが
できるので、目的とする画像を効率よく検索することが可能となる。

また、本発明の画像検索装置においては、オブジェクト間の相対的な位置関係を、上方
向、下方向、左方向、右方向、斜め右上方向、斜め右下方向、斜め左上方向、斜め左下方
向の何れかの態様で、検索のための特徴として抽出することとしてもよい。

物体間の相対的な位置関係は、これら８つの方向に分類することで、実用的には十分な
精度で表現することができる。従って、オブジェクト間の相対的な位置関係を、このよう
な態様で抽出しておくことで、簡単で且つ十分に実用的な精度を維持したまま、画像を検
索することが可能となる。

また、本発明の画像検索装置においては、複数のオブジェクト間の相対的な位置関係に
含まれる上下方向あるいは左右方向の何れか一方の成分を、画像の検索のために用いる特
徴として抽出することとしてもよい。

画像を検索する際には、物体間の位置関係をあまり厳密に指定せずに検索したい場合が
ある。例えば、一方の物体が他方の物体に対して、右側にあったのか右上にあったのか、
記憶が曖昧で、取り敢えず何れも含まれるように検索したい場合がある。このような場合
、オブジェクト間の相対的な位置関係から、左右方向の成分を抽出して画像を検索するこ
とで、適切に画像を検索することが可能となる。もちろん、上下方向の成分を抽出した場
合も同様に、適切に画像を検索することが可能となる。

また、上述した本発明の画像検索装置においては、３つ以上のオブジェクトが設定され
ている場合には、全てのオブジェクトを考慮するのではなく、一部のオブジェクト間での
相対的な位置関係を用いて画像を検索することとしても良い。すなわち、３つ以上のオブ
ジェクトの中から任意の複数のオブジェクトを選択し、これら選択したオブジェクト間で
の相対的な位置関係を、画像を検索するための特徴として抽出する。ここで、複数のオブ
ジェクトを選択する仕方は複数組存在するから、これら複数組のオブジェクトについて、
オブジェクト間の相対的な位置関係を抽出してもよい。そして、抽出した特徴を有する画
像を、複数の画像の中から検索することとしても良い。

設定されるオブジェクトの数が多くなると、検索によって抽出される画像が少なくなる
傾向があるので、目的とする画像を見つけられない場合も生じ得る。このような場合は、
全オブジェクトの位置関係を全て同時に満足するのではなく、一部のオブジェクトについ
ては満足しない画像も検索可能とすることで、目的とする画像を見つけることが可能とな
る。

更に本発明は、上述した画像検索方法を実現するためのプログラムをコンピュータに読
み込ませ、所定の機能を実行させることにより、コンピュータを用いて実現することも可
能である。従って、本発明は次のようなプログラムとしての態様も含んでいる。すなわち
、上述した画像検索方法に対応する本発明のプログラムは、
予め記憶されている複数の画像の中から目的の画像を検索する方法を、コンピュータを
用いて実現するためのプログラムであって、
前記画像検索装置に設けられた画面上の所定領域に、形状、大きさ、色、または模様の
少なくとも一つの属性を有するオブジェクトを複数設定する第１の機能と、
前記設定された複数のオブジェクト間の相対的な位置関係および各オブジェクトの属性
を、前記目的の画像を検索するための特徴として抽出する第２の機能と、
前記抽出された特徴を含む画像を、前記予め記憶されている複数の画像の中から抽出す
る第３の機能と
をコンピュータにより実現することを要旨とする。

かかるプログラムをコンピュータに読み込んで、上記の各機能を実現させれば、画像デ
ータとして記憶されている多数の画像の中から、目的とする画像の画像データを、効率よ
く見つけ出すことが可能となる。

以下では、上述した本願発明の内容を明確にするために、次のような順序に従って実施
例を説明する。
Ａ．装置構成および検索の概要：
Ｂ．画像検索処理：
Ｃ．変形例：
Ｃ−１．第１の変形例：
Ｃ−２．第２の変形例：
Ｃ−３．第３の変形例：
Ｃ−４．第４の変形例：

Ａ．装置構成および検索の概要 ：
図１は、本実施例の画像検索装置１００の外観形状を示す斜視図である。図示されるよ
うに、本実施例の画像検索装置１００は、モニター画面を備えたパーソナルコンピュータ
を利用して実現されている。周知のようにパーソナルコンピュータは、算術論理演算を行
う中央処理装置（いわゆるＣＰＵ）を中心として、データを一時的に記憶するＲＡＭや、
基本的なプログラムやデータなどを記憶しておくためのＲＯＭ、各種のアプリケーション
プログラムやデータなどを記憶しておく内蔵ハードディスクなどが、互いにデータをやり
取り可能に接続されて構成されている。内蔵ハードディスクに多数の画像データを保存し
ておき、予め組み込んでおいた画像検索用の専用アプリケーションプログラムを起動する
と、パーソナルコンピュータが本実施例の画像検索装置１００として機能するようになる
。

画像検索用の専用アプリケーションプログラムが起動すると、画像検索装置１００のモ
ニター画面上には、図１に示すような画像検索用の画面が表示される。図示されているよ
うに、画像検索用画面のほぼ中央には、大きな矩形の特徴設定領域１１０が設けられてい
る。本実施例の画像検索装置１００では、この特徴設定領域１１０に、オブジェクトと呼
ばれる単純な図形を設定することによって、検索しようとする画像の特徴を設定する。ま
た、特徴設定領域１１０の欄外には、種々の形状のオブジェクトが選択可能に表示された
パレット（形状指定パレット１２０）や、オブジェクトの色を指定するためのパレット（
色指定パレット１２２）、オブジェクトに付されている模様（例えば、ストライプやチェ
ックなど）を設定するためのパレット（模様パレット１２４）などが設けられている。画
像検索装置１００のユーザーは、モニター画面上でカーソル１１２を動かして、形状指定
パレット１２０のオブジェクトを１つ選択した後、特徴設定領域１１０上でカーソル１１
２をドラッグして領域を指定することにより、所望の大きさのオブジェクトを所望の位置
に設定することができる。また、指定する領域の形状によって、縦方向あるいは横方向に
オブジェクトの形状を変形させて設定することが可能である。

図１に示した例では、特徴設定領域１１０のほぼ中央付近に縦長の矩形のオブジェクト
１１４が設定され、その右上には縦長の楕円形状のオブジェクト１１６が設定されている
。また、楕円形のオブジェクト１１６の右上には、カーソル１１２をドラッグして領域を
指定することにより、楕円形状のオブジェクト１１８を設定している様子が示されている
。領域およびオブジェクト１１８が破線で示されているのは、これらが、カーソル１１２
を動かすことで縦方向あるいは横方向に変形可能な、言わば未確定な状態にあることを表
している。図示した例では、領域は縦長の形状に指定されており、それに合わせてオブジ
ェクトも縦長の形状となっている。そして、この状態で確定すると、縦長の楕円形状のオ
ブジェクト１１８が設定されることになる。また、このようにして特徴設定領域１１０に
設定されたオブジェクトは、再度、カーソル１１２で選択することにより、縦方向あるい
は横方向に変形させたり、回転させることも可能である。

図１に示されているように、形状指定パレット１２０には、四角形や、円形、三角形な
どの単純な形状の図形が設定されている。これら形状指定パレット１２０に設定されてい
る形状は、必要に応じてユーザーが適宜、追加して設定することが可能となっている。ま
た、色指定パレット１２２には、赤色や、青色、黄色などの有彩色や、黒、白、灰色など
の無彩色などの種々の色が、選択可能に表示されている。ユーザーは、特徴設定領域１１
０にオブジェクトを設定する際に、色指定パレット１２２の中から所望の色を選択するこ
とによって、オブジェクトに色を設定することが可能である。もちろん、オブジェクトを
設定した後に、カーソル１１２で選択することにより、そのオブジェクトに色を付与する
ことも可能である。また、色指定パレット１２２に設定されている色についても、必要に
応じてユーザーが適宜、追加して設定することが可能となっている。

更に、模様パレット１２４には、縦横斜めの各ストライプや、チェック、水玉などの種
々の模様が選択可能に表示されている。ユーザーは、模様パレット１２４から所望の模様
を選択することによって、オブジェクトに模様を設定することが可能である。また、一つ
のオブジェクトに対して、色と模様とを重ねて設定することも可能である。例えば、色指
定パレット１２２からは赤色を選択し、模様パレット１２４からは縦縞のストライプを選
択すれば、赤い縦縞のストライプの属性を、そのオブジェクトに設定することが可能であ
る。

本実施例の画像検索装置１００では、このようにして特徴設定領域１１０に複数のオブ
ジェクトを設定した後、モニター画面の下方に設けられた開始ボタン１３０を押してやる
。すると、画像検索装置１００に組み込まれた専用のアプリケーションプログラムが、特
徴設定領域１１０に設定されているオブジェクト間の相対的な位置関係、およびこれに付
随するその他の情報（オブジェクトの形状、大きさ、色、模様など）を読み取った後、画
像検索装置１００の内蔵ハードディスクに保存されている画像データの中から、該当する
画像データを検索する。

尚、モニター画面の下方には、開始ボタン１３０の他に、詳細設定ボタン１３２や、ク
リアボタン１３４なども設けられている。詳細設定ボタン１３２は、画像を検索するため
の詳細な条件を設定する際に押すボタンである。詳細な検索条件の設定内容、および設定
された検索条件を用いて得られる検索結果については、後ほど詳しく説明する。また、ク
リアボタン１３４は、特徴設定領域１１０に設定されているオブジェクトを一旦、リセッ
トする際に押すボタンである。

図２は、特徴設定領域１１０に設定されたオブジェクト間の相対的な位置関係に基づい
て検索された画像を例示した説明図である。尚、特徴設定領域１１０には、図１に示した
ように、中央付近に縦長の矩形のオブジェクト１１４が設定されており、その右上には縦
長の楕円形のオブジェクト１１６が、そしてその更に右上にも縦長の楕円形のオブジェク
ト１１８が設定されているものとしている。

図２（ａ）には、胸像の周りで記念写真を撮影した画像が示されている。画像の中央に
は、胸像が置かれた縦長の台座が写っており、画像に向かって胸像の左側には三人の人物
が、右側には二人の人物が写っている。胸像の直ぐ右隣に立っている人物は背が低く、人
物の顔は台座の右上に写っており、その右隣の人物は背が高いので、更にその右上に顔が
写っている。この台座の部分は縦長の矩形形状をしており、人物の顔は大まかには縦長の
楕円形をしているから、胸像の台座と、胸像の右側に立っている二人の人物の顔の部分と
を切り出してやれば、この画像には、ちょうど図１の特徴設定領域１１０に設定された位
置関係で、縦長の矩形と、２つの縦長の楕円形とを含んでいることになる。図２（ａ）で
は、理解の便宜を図って、これら矩形と楕円形とに斜線を付して表示してある。

また、図２（ｂ）には、同じ胸像を囲んで写した別の画像が示されている。胸像を囲む
人物の配置や人数は、図２（ａ）に示した画像とは異なっているが、この画像でも、画像
のほぼ中央に縦長の矩形形状の台座が移っており、画像に向かって胸像の右上には人物の
顔が、その更に右上にも人物の顔が写っている。図２（ｂ）でも、これら矩形と２つの楕
円形とに斜線を付して表示してある。図２（ａ）の画像と図２（ｂ）の画像とを比較すれ
ば明らかなように、これらの画像は人物の配置や人数は異なっているものの、画像の中央
に縦長の矩形が写っており、その右上には縦長の楕円が２つ写っている点では共通してい
る。このことから、図１を用いて前述したように、特徴設定領域１１０のほぼ中央に矩形
のオブジェクト１１４を設定し、その右上に楕円形のオブジェクト１１６を、更にその右
上に楕円形のオブジェクト１１８を設定しておくことで、これらの画像を一度に検索する
ことが可能となる。

図２（ｃ）は、廊下で取ったスナップ写真の画像である。この画像は、写っている対象
も構図も、上述した２つの画像とは全く異なっている。しかし、画像の中央には、縦長の
矩形形状をしたドアが写っており、画像に向かってドアの右上には、円形のフードが付い
た照明が、縦長の略楕円形状に写っており、更にその右上にも照明が同様な形状に写って
いる。図２（ｃ）では、これらドアおよび２つの照明に、斜線を付して表示してある。こ
れら斜線を付した物体が写っている相対的な位置関係に着目すれば、図２（ａ）および図
２（ｂ）の画像と同様に、画像の中央に縦長の矩形が写っており、その右上には縦長の楕
円が２つ写っている点で共通している。従って、図１に示したように、特徴設定領域１１
０のほぼ中央に矩形のオブジェクト１１４を設定し、その右上に楕円形のオブジェクト１
１６を、更にその右上に楕円形のオブジェクト１１８を設定しておくことで、図２（ｃ）
のような画像も含めて検索することができる。

このように、本実施例の画像検索装置１００では、特徴設定領域１１０に複数のオブジ
ェクトを設定しておき、オブジェクト間の相対的な位置関係に基づいて画像を検索してい
るために、たいへん柔軟に画像を検索することができる。実際、従来から行われているよ
うに撮影日時や、撮影状況（撮影シーン）などに基づいて画像を検索したのでは、図２に
例示するような３つの画像を一度に検索することは容易なことではない。これに対して、
本実施例の画像検索装置１００では、これらの画像も含めて柔軟な検索を行うことができ
る。

また、こうした柔軟な検索を行うためには、特徴設定領域１１０上で複数のオブジェク
トを配置するだけでよいので、極めて簡単に検索のための条件を設定することが可能であ
る。加えて、複数のオブジェクト間の相対的な位置関係を抽出しているために、このよう
に簡単に検索条件を設定可能であるにも拘わらず、撮影日時や撮影状況（撮影シーン）な
どに比べて遙かに豊富な情報を用いて画像を検索することができる。このため、多量の画
像の中から、目的とする画像に近い画像だけを適切に検索することが可能となる。更に、
このように柔軟な検索を実行可能であるにも拘わらず、単純な形状をしたオブジェクトの
相対的な位置関係に基づいて画像を検索するために、画像を検索する処理が徒に複雑にな
ってしまうことがない。このため、多量の画像の中から目的とする画像を迅速に検索する
ことが可能となる。

Ｂ．画像検索処理 ：
図３は、本実施例の画像検索装置１００で行われる画像検索処理の流れを示したフロー
チャートである。図１および図２を用いて説明したような画像の検索は、画像検索装置１
００に組み込まれたアプリケーションプログラムが、図３に示すような処理を行うことに
よって実現されている。以下では、図３のフローチャートに従って、画像検索処理の詳細
について説明する。

画像検索処理を開始すると、先ず初めに、画像検索装置１００の特徴設定領域１１０上
で、複数のオブジェクトを設定する（ステップＳ１００）。かかる処理は、図１を用いて
前述したように、画像検索装置１００のモニター画面上でカーソル１１２を動かして、形
状指定パレット１２０からオブジェクトを１つ選択した後、特徴設定領域１１０上でカー
ソル１１２をドラッグしてオブジェクトを設定する領域を指定することによって行う。本
実施例では、形状指定パレット１２０には、四角形、円形、三角形の３種類のオブジェク
トが選択可能であり、何れを選択するかによって、オブジェクトの形状を指定することが
できる。また、特徴設定領域１１０上で領域を縦長の形状に設定すれば、オブジェクトの
形状を縦長に変形することができるし、領域を横長の形状に設定すれば、オブジェクトの
形状を横長に変形することができる。更には、特徴設定領域１１０上にオブジェクトを設
定した後、カーソル１１２を用いて選択することで、オブジェクトを拡大または縮小した
り、変形したり、あるいは回転させることも可能である。また、必要に応じて色指定パレ
ット１２２から色を指定したり、模様パレット１２４から模様を指定することで、オブジ
ェクトに色や模様を付与することも可能である。図３に示した画像検索処理のステップＳ
１００では、このようにして、特徴設定領域１１０上に複数のオブジェクトを設定する処
理を行う。

尚、ここでは、画像検索装置１００のモニター画面上で形状指定パレット１２０から選
択することによって、オブジェクトを設定するものとして説明した。しかし、特徴設定領
域１１０に、単純な形状をした複数のオブジェクトを設定可能であれば、モニター画面上
で設定する方法に限られるものではなく、どのような方法を用いてオブジェクトを設定し
ても良い。例えば、用紙や表示板などに手書きで複数のオブジェクトを描いた後、スキャ
ナなどで読み込むことによってオブジェクトを設定するようにしても良い。

次いで、特徴設定領域１１０に設定された各オブジェクトの属性、およびオブジェクト
間の相対的な位置関係を抽出する（ステップＳ１０２）。ここでオブジェクトの属性とは
、形状（矩形か円形か、あるいは縦長か横長かなど）や、大きさ（特徴設定領域１１０に
対する相対的な大きさ）、色、更には模様など、オブジェクトを設定する際にユーザーに
よって指定されたオブジェクトの特性である。また、特徴設定領域１１０には複数のオブ
ジェクトが設定されることから、各オブジェクト間の相対的な位置関係も抽出する。本実
施例の画像検索処理では、あるオブジェクトから見て他のオブジェクトが、「上」、「下
」、「右」、「左」の何れの方向にあるか、換言すれば、オブジェクト間の相対的な位置
関係を、これら４つの単純な関係に分類して抽出する。

図４は、オブジェクト間に設定された相対的な位置関係を抽出している様子を示す説明
図である。図中に斜線を示した方向は、「上」、「下」、「右」、「左」の基本的な４つ
の方向を表している。また、例えば「右上」は「上」であり且つ「右」、同様に「右下」
は「下」であり且つ「右」といったように、これら基本的な４つの方向を組み合わせるこ
とで、「右上」、「右下」、「左上」、「左下」の４つの中間的な方向も表現することが
できる。このように本実施例では、「上」、「下」、「右」、「左」の基本的な４つの方
向と、これらを組み合わせた「右上」、「右下」、「左上」、「左下」とを含めた合計８
つの方向に単純化して、各オブジェクト間に設定された相対的な位置関係が何れの関係に
あるかを抽出している。このように単純化した状態で、各オブジェクト間の相対的な位置
関係を抽出しているので、設定されているオブジェクトの数が多くなった場合でも、各オ
ブジェクト間に設定された相対的な位置関係を迅速に抽出することが可能となっている。

尚、上述した８つの位置関係に加えて、「手前側」、「奥側」の位置関係も抽出可能と
しても良い。こうすれば、例えば、上下左右の何れの方向でもないが「手前側」の位置関
係とか、「右」方向で且つ「奥側」といった位置関係を抽出することも可能となる。

図３に示した画像検索処理のステップＳ１０２では、以上のようにして、特徴設定領域
１１０に設定されている各オブジェクトの属性と、各オブジェクト間に設定された相対的
な位置関係とを抽出する。また、本実施例では、各オブジェクト間の相対的な位置関係に
加えて、特徴設定領域１１０に対する位置関係の設定も合わせて抽出しておく。特徴設定
領域１１０に対する位置関係は、個々のオブジェクトが特徴設定領域１１０のどの辺りに
設定されているかを抽出しても良いが、複数のオブジェクトが全体として、特徴設定領域
１１０のどの辺りに設定されているかを抽出しても良い。

以上のようにして、特徴設定領域１１０に設定された各オブジェクトの属性と相対的な
位置関係とを抽出したら、続いて、画像の検索条件を取得する（ステップＳ１０４）。本
実施例では、画像の検索条件として、図５に示した３つの条件、すなわち、各オブジェク
トの特徴設定領域１１０に対する位置関係を考慮するか否か、オブジェクト間の相対的な
位置関係を考慮する際に何れの方向を考慮するか、設定された全オブジェクトの属性およ
び相対的な位置関係を満足するものだけを検索するのか否かといった項目についての検索
条件を設定可能となっている。これら検索条件は、図１に示したモニター画面の下方に設
けられた詳細設定ボタン１３２を押すと、図５に例示した検索条件を設定するための専用
画面が表示されるので、この画面上で詳細な検索条件を設定することができる。画像検索
処理のステップＳ１０４では、これらの検索条件の設定を取得する。

尚、ユーザーが特に設定しない限り、これら３つの検索条件は、図５に示した状態に設
定されている。すなわち、標準の検索条件は、特徴設定領域１１０上で各オブジェクトが
設定されている位置を考慮し、各オブジェクト間の相対的な位置関係は上下方向および左
右方向を同時に考慮し、更に、特徴設定領域１１０に設定された全オブジェクトの属性お
よび相対的な位置関係を満足するものだけを検索するように設定されている。そして、こ
れらの検索条件を変更することにより、より一層柔軟な検索を実行することが可能となる
。尚、これらの検索条件に加えて、オブジェクトの前後関係を考慮するか否かについても
、検索条件として設定可能としても良い。説明の都合上、ここでは、図５に示した標準の
検索条件が設定されているものとして説明し、検索条件を変更した場合については、後ほ
ど改めて説明する。

次いで、特徴設定領域１１０に設定された複数のオブジェクトから抽出された特徴（す
なわち、オブジェクトの属性や、相対的な位置関係など）を含む画像を、予め設定されて
いる検索条件に従って検索する（ステップＳ１０６）。検索に際しては、画像検索装置１
００の内蔵ハードディスクなどに記憶されている画像データを解析して、設定された特徴
を有するか否かを判断する。このとき、ドライブやフォルダを指定しておき、指定された
ドライブやフォルダ内の画像データのみを解析するようにしても良い。また、解析した画
像データが、オブジェクトから抽出された特徴を有しているか否かを判断するための閾値
を、ユーザーが必要に応じて変更可能としてもよい。

こうして、抽出された特徴を有する画像を検索したら、得られた画像をモニター画面上
に出力する（ステップＳ１０８）。画像を出力する形態としては、画面上にサムネイル画
像を表示しても良いし、あるいは画像のファイル名を表示しておき、ファイル名を指定す
ることで画像が表示されるようにすることも可能である。図２に示した３つの画像は、図
１の特徴設定領域１１０で設定された複数のオブジェクトに基づいて検索された画像の一
部を例示したものである。以上のようにして、検索した画像を出力したら、図３に示した
画像検索処理を終了する。

以上に説明したように、本実施例の画像検索処理では、特徴設定領域１１０に設定され
た複数のオブジェクトの属性、およびオブジェクト間の相対的な位置関係に基づいて画像
を検索している。ここで、オブジェクトの属性は、四角形や円形（楕円形も含む）などの
単純な図形の形状や、大きさ、色、模様など、比較的単純な情報として取り扱われており
、オブジェクト間の相対的な位置関係も、上下左右の基本的な方向を組み合わせた比較的
単純な情報として取り扱われている。それにも拘わらず、これが有する情報量は、画像の
撮影日時や、撮影シーン、更には画像の保存時に設定する索引語などに比べて、遙かに多
い情報量となっている。このため、多量に保存されている画像の中から、目的とする画像
だけを、適切に検索することができる。また、撮影日時や撮影シーンなどを用いて画像を
検索した場合には、設定した日時や撮影シーン以外の画像は検索から外れてしまうが、本
実施例の画像検索処理では、撮影日時や撮影シーンなどが限定されることなく、たいへん
柔軟に画像を検索することが可能となっている。

加えて、画像を検索する際の特徴として用いられるオブジェクトの属性や相対的な位置
関係は、単純な形態で取り扱われていることから、保存されている画像がこれらの特徴を
有するか否かを比較的簡単に判断することができる。このため、画像を検索する処理が複
雑になることなく、多量の画像の中から該当する画像を、迅速に検索することが可能とな
る。

このように、本実施例の画像検索処理では、柔軟な検索が可能であるが、検索条件を変
更することによって、より一層柔軟に検索することも可能である。以下では、この点につ
いて詳しく説明する。

図６は、検索条件を変更することで、より一層柔軟な検索を実行可能な様子を示す説明
図である。ここで検索条件とは、図５に示した３種類の検索条件、すなわち、特徴設定領
域１１０上で各オブジェクトが設定されている位置を考慮するか否か、各オブジェクト間
の相対的な位置関係は上下左右の何れの方向を考慮するか、特徴設定領域１１０に設定さ
れた全オブジェクトの属性および相対的な位置関係を満足するものだけを検索するか否か
についての各種検索条件である。

図６（ａ）は、図５に示した一番上の検索条件（特徴設定領域１１０上で各オブジェク
トが設定されている位置を考慮するか否か）を、「考慮しない」に変更した場合に得られ
る検索画像を例示したものである。前述したように、ユーザーの設定では、特徴設定領域
１１０のほぼ中央に、縦長の矩形のオブジェクトが設定されており、その右上に楕円形の
オブジェクトが２つ設定されている。図５に示した検索条件設定画面上で、一番上の検索
条件を「考慮しない」に変更すると、これら３つのオブジェクトの相対的な位置関係はそ
のままであるが、これらが画像の何処に写っているかは考慮することなく、画像を検索す
ることができる。例えば、図６（ａ）に示した画像では、中央には複数の人物が写ってお
り、胸像は画像の左端に写っている。しかし、図６（ａ）に斜線を付して示したように、
胸像の台座の部分と、胸像の右側に写っている二人の人物の顔の部分との相対的な位置関
係が、ちょうど特徴設定領域１１０に設定された矩形のオブジェクト１１４と、２つの楕
円形のオブジェクト１１６，１１８との相対的な位置関係に一致しており、このような画
像も検索することができる。

図６（ｂ）は、図５に示した上から二番目の検索条件（オブジェクト間の相対的な位置
関係は上下左右の何れの方向を考慮するか）を、「左右方向のみ考慮」に変更した場合に
得られる検索画像を例示したものである。前述したように、ユーザーの設定では、特徴設
定領域１１０のほぼ中央の少し下寄りの位置に、縦長の矩形のオブジェクトが設定されて
おり、その右上に楕円形のオブジェクトが２つ設定されている。そして、これらの位置関
係は、図４を用いて前述したように、「上」、「下」、「右」、「左」の４つの基本的な
方向の組合せとして取り扱われている。例えば「右上」の方向は、右方向であり且つ上方
向でもあるという形態で取り扱われている。従って、検索条件を「左右方向のみ考慮」す
る設定に変更すると、オブジェクト間の上下方向成分は無視されて、矩形形状をした物体
の右側（右上から右下の範囲内）に楕円形状の物体が写っており、その更に右側（右上か
ら右下の範囲内）にも楕円形状の物体が写っているような画像を検索することができる。
また、矩形形状の物体についても画像の中央にあれば、上下方向の位置は無視されるよう
にすることも可能である。その結果、例えば、図６（ｂ）に例示した画像では、中央のや
や上寄りに胸像の台座が写っており、その右下に二人の人物が写っているが、このような
画像も検索することが可能となる。

更には、図５の一番下に示した検索条件（全オブジェクトの属性および相対的な位置関
係を満足するものだけを検索するか否か）についての設定を、「不完全一致を許容する」
旨の設定に変更すると、次のような検索を行うことができる。例えば、図１に例示した特
徴設定領域１１０では、ほぼ中央に設定された矩形のオブジェクトと、その右上に設定さ
れた楕円形のオブジェクトと、更にその右上に設定された楕円形のオブジェクトの合計３
つのオブジェクトが設定されている。これら３つのオブジェクトのうち、例えば矩形のオ
ブジェクトを省略すると、２つの楕円形のオブジェクト間の相対的な位置関係を抽出する
ことができる。あるいは、何れか一方の楕円形のオブジェクトを省略すると、残った楕円
形のオブジェクトと矩形のオブジェクト間の相対的な位置関係を抽出することができる。

このように３つ以上のオブジェクトが設定されている場合には、何れかのオブジェクト
を省略することで、あるいは任意の２つ以上のオブジェクトを選択することで、複数種類
の相対的な位置関係を抽出することが可能である。図５の一番下に示した検索条件を、「
不完全一致を許容する」旨の設定に変更すると、これら複数抽出された位置関係の何れか
を満足する画像を、全て検索することが可能となる。例えば、図６（ｃ）に例示した画像
では、ほぼ中央に胸像が写っているが、胸像の右側には人物が一人しか写っておらず、ユ
ーザーによって設定された全オブジェクトの関係を完全に満足しているわけではない。し
かし、図中に斜線を付したように、胸像の台座の部分および、その右側に立っている人物
の顔の部分に着目すると、ユーザーによって設定された矩形のオブジェクトと楕円形のオ
ブジェクトとの相対的な位置関係を満足している。従って、このような画像も検索するこ
とが可能となる。

以上に説明したように、本実施例の画像検索処理では、特徴設定領域１１０に複数のオ
ブジェクトを設定し、オブジェクトの属性やオブジェクト間の相対的な位置関係を画像の
特徴として、画像を検索する。オブジェクト自身が有する情報は単純であり、オブジェク
ト間の相対的な位置関係も単純で、設定するにしても、取り扱うにしても、極めて容易で
ある。しかし、それにも拘わらず、含まれている情報量は、撮影日時や撮影シーンなどに
比べればたいへんに多く、従って、多量の画像の中から目的とする画像を適切に検索する
ことができる。加えて、一見単純な設定内容であるにも拘わらず、このように多くの情報
量を含んでいるが故に、一部の検索条件を無視して検索しても、依然として効果的な検索
を行うことができる。そして、検索条件を適宜取捨選択することができるので、検索結果
を確認しながら、適切な検索条件を設定することで、極めて柔軟で適切な検索を行うこと
が可能となっている。

Ｃ．変形例 ：
上述した本実施例の画像検索処理には、種々の変形例が存在している。以下では、これ
らの変形例について簡単に説明する。

Ｃ−１．第１の変形例 ：
上述した実施例では、画像の検索に際して考慮しないオブジェクトを設けることは可能
であるものの、考慮するオブジェクトについては、オブジェクトの有する属性は全て考慮
されるものとして説明した。しかし、設定したオブジェクトの有する属性を適宜選択して
、画像を検索することとしても良い。あるいは、オブジェクトの有する属性の中から、画
像の検索に際して考慮しない属性を指定可能としても良い。また、このとき指定する属性
としては、オブジェクトの形状、あるいは大きさ、色、模様など種々の属性を指定するこ
とができる。

図７は、オブジェクトの形状は考慮しない旨を設定して得られた検索画像の一例を示し
た説明図である。図１に示したように、ユーザーによって特徴設定領域１１０に設定され
たオブジェクトは、中央のオブジェクトが矩形であり、その右上の２つのオブジェクトが
楕円形の形状となっている。これに対して、図７に示した画像では、中央に楕円形の大き
な花瓶が写っており、その右側には人物が写っている。そして人物が手に持っている大き
なジョッキが、花瓶の右上の位置に矩形に写っており、ジョッキの更に右上には人物の顔
が写っている。この画像に写った楕円形の花瓶、ジョッキ、および人物の顔の大きさや、
相対的な位置関係は、ユーザーが特徴設定領域１１０に設定した３つオブジェクトの大き
さおよび相対的な位置関係と一致しているが、形状については異なっている。そこで、ユ
ーザーが設定した条件から、オブジェクトの形状は考慮することなく画像を検索してやれ
ば、図７に示すような画像も検索することが可能となる。

もちろん、オブジェクトの形状の替わりに、オブジェクトの大きさや、色などを考慮せ
ずに画像を検索することとしても良い。また、ユーザーが設定した全てのオブジェクトの
中から、個別にオブジェクトを選択して、そのオブジェクトについては、形状や大きさな
どの属性を考慮することなく画像を検索することとしても良い。こうすれば、保存されて
いる画像の中に、属性の判断の難しい（従って判断にバラツキが発生する）対象が写って
いる場合でも、判断の難しい属性を除いて検索することで、安定した検索結果を得られる
ようになるので好ましい。

Ｃ−２．第２の変形例 ：
また、画像に写っている対象の前後関係（手前側にあるのか、奥側にあるのか）を検出
して、画像を検索する際に考慮することとしても良い。例えば、図８に示した２つの画像
は何れも、画像の中央には縦長の矩形形状をした電話ボックスが写っており、その左側に
は円形の道路標識が、右側には人物が写っている。しかし、これらの重なりに着目すると
、図８（ａ）に示した画像では、道路標識および人物が手前側にあり、その奥側に電話ボ
ックスがあるのに対して、図８（ｂ）に示した画像データでは、手前側に人物が立ってお
り、その奥側に電話ボックスが、更にその奥側に道路標識があることが分かる。すなわち
、図８に示した２つの画像は、何れも縦長の矩形の電話ボックスの左右に、円形の道路標
識と、人物とが写っているが、これらの前後方向の位置関係は異なった画像となっている
。

このような画像に写った物体の前後関係は、次のような仮定をおいて画像を解析するこ
とで、比較的容易に判断することができる。すなわち、画像の写る被写体は、矩形、円形
、楕円形、三角形などの、比較的単純な形状をしているものと仮定する。想定する形状と
しては、上述した単純な形状を予め設定しておいても良いし、あるいは、形状指定パレッ
ト１２０に設定されている形状を想定しても良い。そして、画像の写った被写体の形状が
、これら単純な形状であれば、その被写体の手前側には他の被写体が写っていないと判断
する。逆に、単純な形状をしていない場合は、本来は単純な形状で写るべきところを、手
前に存在する他の被写体に隠されているために単純な形状に写っていないと解釈して、そ
の被写体は、他の被写体の奥側に写っているものと判断する。

例えば、図８（ａ）に示した例では、電話ボックスはおおよそ矩形形状をしているもの
の、一部が欠けた形状となっている。従って、電話ボックスは、他の被写体の奥側に写っ
ているものと判断できる。これに対して、道路標識はほぼ円形に写っており、また人物の
顔はほぼ楕円形に写っており、いずれも欠けた部分は存在しない。従って、これらの被写
体は最も手前側に写っていると判断することができる。

また、図８（ｂ）に示した例では、人物の顔は欠けた部分が無く、ほぼ楕円形に写って
いるのに対して、電話ボックスは矩形から欠けた部分が存在しており、他の被写体の奥側
に写っていると判断できる。また、道路標識についても同様に、円形から欠けた部分が存
在しており、他の被写体の奥側に写っていると判断できる。すなわち、この段階で、人物
の顔が最も手前側に写っており、電話ボックスや道路標識は人物の顔よりも奥側に写って
いると判断することができる。更に、電話ボックスと道路標識との前後関係は、画像上で
の位置関係を調べることによって判断することができる。すなわち、道路標識の円形から
欠けた部分が生じている位置と、電話ボックスが写っている位置とは一致している。この
ことから、道路標識は、電話ボックスよりも奥側に写っているものと判断することができ
る。このように、被写体は単純な形状をしているという仮定をおいて画像を解析すること
で、被写体の前後関係も、画像から抽出することが可能である。

そこで、ユーザーが特徴設定領域１１０上で複数のオブジェクトを設定する際に、必要
に応じてオブジェクト間の相対的な前後関係（手前側にあるか、奥側にあるか）も設定可
能としておき、そして、画像の検索時には、これらオブジェクト間の前後関係も考慮して
画像を検索することとしても良い。こうすれば、例えば図８に示すような２つの画像を分
離して検索することができるので、これを利用してより適切な検索を行うことが可能とな
る。

Ｃ−３．第３の変形例 ：
また、上述した実施例では、オブジェクト間の相対的な位置関係としては、大まかな方
向（８つに分類した大まかな方向）とオブジェクト間の距離とを考慮するものとした。こ
こで、オブジェクト間の距離は、実際に何画素分離れているかを検出しても良いが、特徴
設定領域１１０の大きさを基準として、オブジェクト同士がどの程度離れているかを検出
しても良い。例えば、特徴設定領域１１０の縦の辺や横の辺の長さ、更には対角線の長さ
を基準として、その基準の長さに対する比率によってオブジェクト間の距離を表現するこ
ととしても良い。

そして、画像の検索に際しては、必要に応じてオブジェクト間の相対的な位置関係とし
て、距離あるいは方向の一方のみを考慮して検索するようにしても良い。検索した画像の
中には目的とする画像が含まれていなかった場合などには、オブジェクト間の距離あるい
や方向の一方を考慮することなく検索することで、それまで該当しないと判断していた画
像を抽出することで、目的とする画像を見つけ出すことが可能となる。

Ｃ−４．第４の変形例 ：
上述した各種実施例では、オブジェクトに色の属性を付与することが可能であるが、特
定の色が付されたオブジェクトについては、検索に際しての判断基準を緩めに設定しても
良い。すなわち、色の中には「桜色」や「肌色」などのように、色だけから、写っている
物体をある程度まで推定可能な色も存在する。例えば「桜色」の物体であれば、たとえ形
状がどうであれ、花が写っている可能性が高い。また「肌色」の物体であれば、よっぽど
形状が懸け離れていない限り、人物の肌が写っている可能性が高い。そこで、このような
特別な色で写っている物体については、多少、形状が歪んでいたり、大きさが違っていて
も、検索条件に該当する画像として抽出しても良い。尚、こうした特別な色については、
色指定パレット１２２に予め設定されているか、あるいは必要に応じてユーザーが簡単に
設定可能になっていることが望ましい。

以上、本実施例の画像検索装置について説明したが、本発明は上記すべての実施例およ
び変形例に限られるものではなく、その要旨を逸脱しない範囲において種々の態様で実施
することができる。

本実施例の画像検索装置の外観形状を示す斜視図である。 特徴設定領域に設定されたオブジェクト間の相対的な位置関係に基づいて検索された画像を例示した説明図である。 本実施例の画像検索処理の流れを示したフローチャートである。 設定されたオブジェクト間の相対的な位置関係を抽出する様子を示す説明図である。 詳細な検索条件を設定している様子を概念的に示した説明図である。 検索条件を変更することでより一層柔軟な検索が実行可能となることを示す説明図である。 オブジェクトの形状は考慮しない旨を設定して得られた検索画像の一例を示した説明図である。 前後関係の異なる２つの画像を例示した説明図である。

符号の説明

１０…印刷装置、 １００…スキャナ部、 ２００…プリンタ部、
３００…制御部

Claims (9)

1. 予め記憶されている複数の画像の中から、目的の画像を検索する画像検索装置であって
   、
   前記画像検索装置に設けられた画面上の所定領域に、形状、大きさ、色、または模様の
   少なくとも一つの属性を有するオブジェクトを複数設定するオブジェクト設定手段と、
   前記設定された複数のオブジェクト間の相対的な位置関係および各オブジェクトの属性
   を、前記目的の画像を検索するための特徴として抽出する特徴抽出手段と、
   前記抽出された特徴を含む画像を、前記予め記憶されている複数の画像の中から抽出す
   る画像抽出手段と
   を備える画像検索装置。
2. 請求項１に記載の画像検索装置であって、
   前記特徴抽出手段は、大きさの属性を有する前記オブジェクトが複数設定されている場
   合には、該オブジェクト間の相対的な大きさの関係も、前記検索のための特徴として抽出
   する手段である画像検索装置。
3. 請求項１に記載の画像検索装置であって、
   前記オブジェクト設定手段は、色の属性を有する前記オブジェクトを設定する手段であ
   り、
   前記特徴抽出手段は、前記色の属性を有するオブジェクトが設定されている場合には、
   該オブジェクトの色も、前記検索のための特徴として抽出する手段である画像検索装置。
4. 請求項１に記載の画像検索装置であって、
   前記特徴抽出手段は、前記複数のオブジェクト間の相対的な位置関係に加えて、該複数
   のオブジェクトと該オブジェクトが設定される前記所定領域との位置関係も、前記検索の
   ための特徴として抽出する手段である画像検索装置。
5. 請求項１に記載の画像検索装置であって、
   前記特徴抽出手段は、前記複数のオブジェクト間の相対的な位置関係を、上方向、下方
   向、左方向、右方向、斜め右上方向、斜め右下方向、斜め左上方向、斜め左下方向の何れ
   かの態様で、前記検索のための特徴として抽出する手段である画像検索装置。
6. 請求項１に記載の画像検索装置であって、
   前記特徴抽出手段は、前記複数のオブジェクト間の相対的な位置関係に含まれる上下方
   向あるいは左右方向の何れか一方の成分を、前記検索のための特徴として抽出する手段で
   ある画像検索装置。
7. 請求項１に記載の画像検索装置であって、
   前記特徴抽出手段は、３つ以上の前記オブジェクトが設定されている場合には、該オブ
   ジェクトから任意に選択された複数のオブジェクトについても、該オブジェクト間での相
   対的な位置関係を、前記検索のための特徴として抽出する手段であり、
   前記画像抽出手段は、前記任意に選択された複数のオブジェクト間から抽出された特徴
   を含む画像も、前記複数の画像の中から抽出する手段である画像検索装置。
8. 予め記憶されている複数の画像の中から、目的の画像を検索する画像検索方法であって
   、
   前記画像検索装置に設けられた画面上の所定領域に、形状、大きさ、色、または模様の
   少なくとも一つの属性を有するオブジェクトを複数設定する第１の工程と、
   前記設定された複数のオブジェクト間の相対的な位置関係および各オブジェクトの属性
   を、前記目的の画像を検索するための特徴として抽出する第２の工程と、
   前記抽出された特徴を含む画像を、前記予め記憶されている複数の画像の中から抽出す
   る第３の工程と
   を備える画像検索方法。
9. 予め記憶されている複数の画像の中から目的の画像を検索する方法を、コンピュータを
   用いて実現するためのプログラムであって、
   前記画像検索装置に設けられた画面上の所定領域に、形状、大きさ、色、または模様の
   少なくとも一つの属性を有するオブジェクトを複数設定する第１の機能と、
   前記設定された複数のオブジェクト間の相対的な位置関係および各オブジェクトの属性
   を、前記目的の画像を検索するための特徴として抽出する第２の機能と、
   前記抽出された特徴を含む画像を、前記予め記憶されている複数の画像の中から抽出す
   る第３の機能と
   をコンピュータにより実現するプログラム。

Images