JP2001143080A

JP2001143080A - 画像検索方法及び装置

Info

Publication number: JP2001143080A
Application number: JP32319699A
Authority: JP
Inventors: Miyuki Enokida; 幸榎田; Kentaro Matsumoto; 健太郎松本; Kunihiro Yamamoto; 邦浩山本; Kiyoshi Kusama; 澄草間
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1999-11-12
Filing date: 1999-11-12
Publication date: 2001-05-25

Abstract

(57)【要約】【課題】ユーザの意図を迅速に反映した画像検索を行え
る画像検索インタフェースを提供する。【解決手段】複数枚の画像を蓄積した画像データベース
から所望の画像を検索するにおいて、指定された検索元
画像の特徴量と前記複数枚の画像の特徴量に基づいて、
該検索元画像と該複数枚の画像の各々との類似度を計算
する（ステップＳ７１〜ステップＳ７７）。そして、計
算された画像類似度に基づいて上記複数毎の画像から類
似画像を抽出し、検索結果として提示する。ここで、類
似度の算出にあたり、輝度を重視するか色差を重視する
かを設定することにより、ＡとＢの値が設定され、上記
のステップＳ７５における類似度の計算においてＡとＢ
の値を用いることにより、設定された重み付けを用いた
類似度の計算を実行する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、複数の画像データ
から所望の画像データを検索するための、画像検索方
法、装置及び媒体に関するものである。

【０００２】

【従来の技術】複数の画像データを蓄積した画像データ
ベースから、所望の画像を検索するための検索する手段
が種々提案されている。この種の検索処理は、・キーワードや撮影日時の非画像情報と画像データを関
連付け、それを基に検索を行う方法、・画像自体の特徴量（輝度・色差情報、画像周波数、ヒ
ストグラムなどの情報）を基に検索を行う方法、の２つに大別される。

【０００３】後者において、画像データベースに対して
ある画像を提示し、その画像の特徴量を検索キーとして
画像を検索する方法を特に類似画像検索と呼ぶ。これ
は、画像処理について特別な知識を持たないユーザに対
し、直感的に分かりやすい検索インターフェースを提供
できるという利点がある。

【０００４】

【発明が解決しようとする課題】ユーザの手元に検索の
キーとなる画像データが存在しない場合、例えばユーザ
の記憶に基づいて検索を行ったり、ユーザが独自に案し
た画像アイディアに基づいて検索を行う場合がある。ユ
ーザが記憶している画像を「手書き」で書いて、この画
像をキーとなる画像として類似画像検索を行う場合は、
人間の記憶は曖昧である。特に「色」に関しては、特徴
的な色しか覚えていない場合が多い。それも、例えば
「赤」等、原色に近い色を覚えている場合が多い。その
ため、「手書き」の画像の色（ＲＧＢ）は、直接画像検
索キーとして比較しても、ユーザが要求する画像を検索
することが困難な場合が多い。すなわち、手書きの画像
を元画像として検索を行うには、上記類似画像検索のユ
ーザインタフェースでは非常に使用が困難であったり、
使用が不可能であるという問題があった。

【０００５】あるいは、ユーザは、例えば上記キーワー
ドによる検索で候補画像を選ぶ等、何らかの方法でキー
となる画像データを探してくる必要があり、更に、こう
して得られた画像をキー画像として類似画像検索を行う
といったような、面倒な操作を強いられていた。

【０００６】本発明は上記の問題に鑑みてなされたもの
であり、ユーザの意図を迅速に反映した画像検索を可能
とすることを目的とする。

【０００７】

【課題を解決するための手段】上記の目的を達成するた
めの本発明による画像検索方法は例えば以下の工程を備
える。すなわち、複数枚の画像を蓄積した記憶手段から
所望の画像を検索する画像検索方法であって、指定され
た検索元画像の特徴量と前記複数枚の画像の特徴量に基
づいて、該検索元画像と該複数枚の画像の各々との類似
度を計算する計算工程と、前記計算工程で計算された画
像類似度に基づいて前記複数毎の画像から類似画像を抽
出し、検索結果を提示する提示工程と、前記計算工程に
おいて用いられる特徴量の各パラメータに異なった重み
を設定する設定工程とを備え、前記計算工程において、
前記前記設定手段で設定された重み付けを用いて類似度
の計算を実行する。

【０００８】また、上記の目的を達成する本発明の画像
検索装置は例えば以下の構成を備える。すなわち、複数
枚の画像を蓄積した記憶手段から所望の画像を検索する
画像検索装置であって、指定された検索元画像の特徴量
と前記複数枚の画像の特徴量に基づいて、該検索元画像
と該複数枚の画像の各々との類似度を計算する計算手段
と、前記計算手段で計算された画像類似度に基づいて前
記複数毎の画像から類似画像を抽出し、検索結果を提示
する提示手段と、前記計算手段において用いられる特徴
量の各パラメータに異なった重みを設定する設定手段と
を備え、前記計算手段において、前記前記設定手段で設
定された重み付けを用いて類似度の計算を実行する。

【０００９】

【発明の実施の形態】以下、添付の図面を参照して、本
発明の好適な実施形態を説明する。

【００１０】［第１の実施形態］図１は、第１の実施形
態による画像検索装置（コンピュータシステム）の構成
を示すブロック図である。

【００１１】図１において、１０１はＣＰＵで、システ
ム全体の制御を行っている。１０２はキーボードで、マ
ウス１０２ａとともにユーザによる指示操作をシステム
に入力するために使用される。１０３は表示部で、ＣＲ
Ｔや液晶などで構成されている。１０４はＲＯＭ、１０
５はＲＡＭで、システムの記憶装置を構成し、ＣＰＵ１
０１が実行するプログラムや当該システムが利用するデ
ータを記憶する。１０６はハードディスク装置、１０７
はフロッピーディスク装置で、システムのファイルシス
テムに使用される外部記憶装置を構成している。１０８
はプリンタである。

【００１２】図２は、第１の実施形態による画像検索の
大まかな流れを示すフローチャートである。ステップＳ
２１では、ユーザが表示部１０３上に、所望の画像に似
せたイラストを描画する。ステップＳ２２では、描画さ
れた画像の持微量を計算する。ステップＳ２３では、上
記特徴量に基づき類似画像を検索する。ステップＳ２４
では、上記検索により得られた類似画像データを表示部
１０３に表示する。以下、これらステップの各々につい
て詳細に説明する。

【００１３】『ステップ２１の説明』図３は、ステップ
２１において表示部１０３に表示される操作画面例を示
す図である。３１はユーザ描画領域、３２は色指定スク
ロールバー、３３はクリアボタン、３４はアンドゥボタ
ン、３５はペンの太さを指定するためのラジオボタン、
３６はツールパレットボタン、３７は検索実行ボタン、
３８は検索時の条件を設定する設定ボタンである。

【００１４】ユーザは、ソフトウェアにより実現されて
いる上記描画ツールとマウス１０２ａ等を用いて、ユー
ザ描画領域３１に検索したい画像に似せたイラスト画を
書き込むことができる。なお、イラスト画を描画中のソ
フトウェア動作の概略は以下の通りである。

【００１５】色指定スクロールバー３２は、描画に用い
るペンの色を指定するためのスクロールバーである。上
から順にＲ，Ｇ，Ｂ値を指定する。クリアボタン３３を
押すと描画領域３１全体を白く塗りつぶし、描画領域３
１を初期状態にすることができる。アンドゥボタン３４
を押すと直前の動作を取り消し、１つ前の状態に戻るこ
とができる。また、ラジオボタン３５を用いて、描画領
域３１への描画のペンの太さを指定することができる。
更に、ツールパレット３６において左の「ペン」を選択
しているとき、ユーザはポインティングデバイス１０２
ａを用いて、描画領域３１上に自由な曲線を描画でき
る。また、ツールパレット３６の中央の「直線」を選択
しているときは、ポインティングデバイス１０２ａを用
いて直線の始点と終点を指定することで、直線を描画で
きる。ツールパレット３６の右の「円」を選択している
ときは、上記「ペン」や「直線」と同様に円の中心と半
径を指定することで、円を描画できるようになってい
る。

【００１６】上記のような描画ツールを使って、描画領
域３１にイラスト画を描画した後、検索実行ボタン３７
を押すことで、処理はステップＳ２１を終了し、ステッ
プＳ２２に進む。

【００１７】このとき、検索実行ボタン３７を押す前に
設定ボタン３８を操作してステップＳ２２以降の類似画
像検索の条件を変更できる。すなわち、ユーザが、設定
ボタン３８を押すと、類似画像検索時における類似度の
計算を「輝度重視」で行うか、「色差重視」で行うかを
選択できる。設定ボタン３８を押されると、設定メニュ
ー３９が表示され、第１の実施形態では、ユーザは「輝
度重視」、「色差重視」、「（重視）なし」の３つのう
ちのいずれかを選択できる。

【００１８】『ステップＳ２２の説明』ステップＳ２２
では、上記イラスト画の画像特徴量を計算する。図４は
本実施形態による画像の分割状態を説明する図である。
図４に示すように、描画領域３１の大きさは水平方向に
Ｗ画素、垂直方向にＨ画素である。本実施形態では、こ
れを水平方向に３分割、垂直方向に２分割、計６分割
し、左上から順に領域（０，０）、…領域（２，１）と
する。そして、これら各領域のＲ，Ｇ，Ｂ値の平均値を
算出し、計１８個の数値をもって、イラスト画の画像特
徴量とする。

【００１９】図５は本実施形態による画像の特徴量算出
処理を説明するフローチャートである。図５のフローチ
ャートを用いて、特徴量算出処理の流れを説明する。ス
テップＳ５１で変数ｋを値０で初期化する。ステップＳ
５２で変数ｊを値０で初期化する。ステップＳ５３で変
数ｉを値０で初期化する。ステップＳ５４で、配列ｄの
ｋ番目の要素ｄ（ｋ）に、領域（ｉ，ｊ）のＲの平均値
を代入する。同様にｄ（ｋ＋１）にＧの平均値を、ｄ
（ｋ＋２）にＢの平均値を代入する。なお、Ｒ，Ｇ，Ｂ
値の平均値算出方法は図６のフローチャートを用いて後
述する。

【００２０】ステップＳ５５でｋを３だけ増加させる。
ステップＳ５６でｉを１だけ増加させる。ステップＳ５
７でｉを値２と比較し、２より大きければＳ５８へ移
る。それ以外の場合はＳ５４へ戻る。ステップＳ５８で
はｊを値１だけ増加させる。ステップＳ５９でｊを値１
と比較し１より大きければ処理を完了する。それ以外の
場合はＳ５３へ戻る。

【００２１】上記の処理を終了すると、１８個の要素を
持つ配列ｄ（）に、イラスト画像の画像特徴量が格納さ
れる。ここでは特徴量算出のため、画像を６個の等面積
な矩形領域に分割しているが分割方法は矩形に限るもの
ではなく、より複雑な形状でもよいし、分割数を増やし
ても良い。また、分割数を増減したときは、特徴量を格
納する配列の要素数は１８個ではなく、それに応じて要
素数を増減させることになり、ステップＳ５７とステッ
プＳ５９の判定に用いられる値も変化することになる。

【００２２】図６は、領域毎のＲ，Ｇ，Ｂ値の平均値算
出方法を説明するフローチャートである。画像データ
は、Ｒ（Ｘ，Ｙ）、Ｇ（Ｘ，Ｙ）、Ｂ（Ｘ，Ｙ）の３つ
の配列に格納されているものとする。ただし、０≦Ｘ＜
Ｗ、０≦Ｙ＜Ｈであり、画像の左上隅を起点（０，０）
とする。以下のフローでは、Ｘ０≦Ｘ＜Ｘ１、Ｙ０≦Ｙ
＜Ｙ１の部分領域の平均濃度を算出し、変数ＤＲ，Ｄ
Ｇ，ＤＢに夫々Ｒ，Ｇ，Ｂ値の平均値を代入する。

【００２３】また、上記ステップＳ５４において、領域
（ｉ，ｊ）に相当する領域は、図４に示す如く３×２に
等分割された場合、Ｘ０＝Ｗ×ｉ／３，Ｘ１＝Ｗ×（ｉ＋１）／３Ｙ０＝Ｈ×ｊ／２，Ｙ１＝Ｈ×（ｊ＋１）／２に対応するので、定数Ｘ０，Ｘ１，Ｙ０，Ｙ１を上記に
示す値で初期化した後、図６に示されるフローチャート
を実行する。

【００２４】まずステップＳ６１で変数ＤＲ，ＤＧ，Ｄ
Ｂを値０で初期化する。ステップＳ６２で変数ＹをＹ０
で初期化する。ステップＳ６３で変数ＸをＸ０で初期化
する。ステップＳ６４で、ＤＲにＲ（Ｘ，Ｙ）の値を加
える。同様にＤＧにＧ（Ｘ，Ｙ）の値を、ＤＢにＢ
（Ｘ，Ｙ）の値を加える。ステップＳ６５で変数Ｘを１
だけ増加させる。ステップＳ６６で変数ＸとＸ１を比較
し、等しければステップＳ６７へ、それ以外の場合はス
テップＳ６４へ移る。ステップＳ６７で変数Ｙを値１だ
け増加させる。ステップＳ６８で変数ＹとＹ１を比較
し、等しければステップＳ６９へそれ以外の場合はステ
ップＳ６３へ移る。以上のステップＳ６３〜ステップＳ
６８の繰り返しにより、ＲＧＢ各色成分毎の領域内全画
素分の和が、ＤＲ、ＤＧ、ＤＢ賭して求まる。

【００２５】ステップＳ６９で、変数ＤＲ，ＤＧ，ＤＢ
の値を夫々（Ｘ１−Ｘ０）×（Ｙ１−Ｙ０）で除算す
る。これは領域内の総画素数である。すなわちＤＲ，Ｄ
Ｇ，ＤＢは領域内の画素濃度の総和を画素数で割った平
均濃度となる。

【００２６】『ステップＳ２３の説明』ステップＳ２３
では、上記画像特徴量に基づき、類似画像検索を行う。
ハードディスク装置１０６には、Ｎ枚の画像データが蓄
積されており、各々画像の特徴量が、上で説明したのと
同じ方法により事前に算出され、格納されているものと
する。なお、画像データは周知のＪＰＥＧ、Ｆｌａｓｈ
Ｐｉｘなどの標準的なファイル形式で格納していても良
いし、いわゆるＲＤＢＭＳ（リレーショナルデータベー
スマネージメントシステム）に独自の形式で格納されて
あっても良い。画像特徴量は、Ｎ×１８の大きさを持つ
２次元配列Ｄ（ｎ，ｊ）（ただし、０≦ｎ＜Ｎ，０≦ｊ
＜１８）に格納されているものとする。

【００２７】このとき、提示画像と第ｎ番目の画像との
画像間距離Ｓ（ｎ）を以下の式で定義する。

【００２８】

【数１】

【００２９】この画像間距離が小さいほど、画像の類似
度が高いと判断する。まず、Ｎ枚全ての画像と提示画像
間の画像間距離Ｓ（ｎ）（０≦ｎ＜Ｎ）を計算し、次に
Ｓ（ｎ）の小さいものから順にＭ個（０＜Ｍ＜Ｎ）を選
び出すことで、類似画像検索を行う。以下、Ｓ（ｎ）の
計算処理を図７、Ｍ個の画像の選出処理を図８のフロー
チャートを用いて説明する。

【００３０】まず、図７のフローチャートに入る前に、
変数ＡとＢを図３に示すリストボタンで指定された条件
により設定する。「なし」の場合は、Ａ＝Ｂ＝５０をセ
ットする。また、「輝度重視」が選択された場合は、例
えばＡ＝７５、Ｂ＝２５をセットする。「色差重視」の
場合は、例えばＡ＝２５、Ｂ＝７５をセットする。これ
ら、Ａ、Ｂの値は、特徴量を用いた画像間距離の計算
（後述）において用いられるもので、ＡとＢの値により
輝度重視の場合と色差重視の場合の計算を切換える。

【００３１】以上のようにして、Ａ、Ｂの値を設定し終
えたならば、まず、ステップＳ７１で、キー画像データ
の特徴量を輝度と色差で表わす色空間へ変換する。本実
施形態の場合は各ＲＧＢの各平均値をＹＣｂＣｒの各値
に変換する。この変換式は、例えば、Ｙ＝０．２９９Ｒ＋０．５８７＋０．１１４ＢＣｂ＝−０．１６８７Ｒ−０．３３２３Ｇ＋０．５Ｂ＋
１２８Ｃｒ＝０．５Ｒ−０．４１８７Ｇ−０．０８１３Ｂ＋１
２８で表わされる。

【００３２】このとき、Ｒ，Ｇ，Ｂの各平均値が格納さ
れていた領域にＹ，Ｃｂ，Ｃｒの各値を格納する。ステ
ップＳ７２で変数ｎを値０で初期化する。ステップＳ７
３で、画像データベースに格納されているｎ番目の画像
データの特徴量を上記ステップＳ７１と同様にＹＣｂＣ
ｒに変換する。ステップＳ７４で、変数ｉ、Ｓ（ｎ）を
値０で初期化する。

【００３３】ステップＳ７５でＤ（ｎ，ｉ）とｄ（ｉ）
の差分にＡ／１００か、あるいはＢ／１００のいずれか
を乗算した結果の二乗をＳ（ｎ）に加算する。本例で
は、Ｄ（ｎ，ｉ）とｄ（ｉ）に輝度値（Ｙ）が、Ｄ
（ｎ，ｉ＋１）とｄ（ｉ＋１）に色差値（Ｃｂ）が、Ｄ
（ｎ，ｉ＋２）とｄ（ｉ＋２）に色差値（Ｃｒ）が格納
されている。従って、（Ｄ（ｎ，ｉ）−ｄ（ｉ））にＡ
／１００を乗じ、（Ｄ（ｎ，ｉ＋１）−ｄ（ｉ＋１））
と（Ｄ（ｎ，ｉ＋２）−ｄ（ｉ＋２））にＢ／１００を
乗じる。

【００３４】ステップＳ７６で変数ｉを値３だけ増加さ
せる。ステップＳ７７で変数ｉと１８を比較し、等しけ
ればステップＳ７８へ、それ以外の場合はステップＳ７
５へ進む。ステップＳ７８で変数ｎを値１だけ増加させ
る。ステップＳ７９で変数ｎとＮを比較し、等しければ
処理終了となる。それ以外の場合はステップＳ７３へ戻
る。

【００３５】以上のように計算された配列Ｓ（ｎ）に、
提示画像と全蓄積画像との間の画像間距離が格納され
た。ここで、画像間距離は、上述したように、「輝度重
視」、「色差重視」に対応した重み付けがなされて計算
される。続いて、画像間距離の小さなものから順にＭ個
を選出し、その画像番号を配列Ｔ（）に格納する処理を
図８を用いて説明する。

【００３６】ステップＳ８１で変数ｊを値０で初期化す
る。ステップＳ８２で変数ｉを値０で初期化する。ステ
ップＳ８３で変数ｍｉｎを値０で、Ｌを十分大きな値で
初期化する。ステップＳ８４でＳ（ｉ）とＬを比較し、
Ｓ（ｉ）＜ＬならばステップＳ８５へ、それ以外の場合
はステップＳ８６へ進む。

【００３７】ステップＳ８５で変数ｍｉｎに値ｉを代入
し、ＬにＳ（ｉ）を代入する。ステップＳ８６で変数ｉ
を値１だけ増加させる。ステップＳ８７でｉとＮを比較
し、等しければステップＳ８８へ、それ以外の場合はス
テップＳ８３へ移る。ステップＳ８８でＴ（ｊ）に値ｍ
ｉｎを代入する。ステップＳ８９でＳ（ｍｉｎ）に十分
大きな値を代入する。ステップＳ８１０でｊを値１だけ
増加させる。ステップＳ８１１でｊとＭを比較し、等し
ければ処理を完了する。その他の場合はステップＳ８２
に戻る。上記の処理で、配列Ｔ（ｊ）（０≦ｊ＜Ｍ）
に、提示画像との類似度の高い順に画像番号が格納され
る。

【００３８】『ステップＳ２４の説明』図９は、ステッ
プＳ２４において表示部１０３に表示される操作画面例
を示す図である。９１には、提示されたイラスト画を縮
小表示する。９２ａ〜ｈには、上記処理により検索され
た類似画像を縮小表示する。９２ａには、最も類似度が
高い画像番号、すなわちＴ（０）に格納されている画像
番号に対応する画像が、９２ｂには、Ｔ（１）に対応す
る画像、…と表示し、９２ｈには、この中で最も類似度
ｈが低い画像を表示する。縮小表示には、ハードディス
クに格納された画像データをデコードし、画面上に縮小
して表示しても良いし、標準的な画像フォーマットであ
るＦｌａｓｈＰｉｘのように、アイコン用の低解像度の
画像データを持っている場合には、その画像データをデ
コード・表示しても良い。ボタン９３を押すと、次候
補、つまりＴ（８）〜Ｔ（１５）に対応する画像を同様
に９２ａ〜９２ｈに縮小表示する。これをＴ（Ｍ−１）
に達するまで繰り返すことができる。また、候補画像の
縮小表示(或いはアイコン)を指定すると、対応する画像
の詳細(オリジナルの画像)が表示される。ボタン９４を
押すとステップＳ２４を終了する。

【００３９】これにより、図３のリストボタン３９で
「輝度重視」を選択した場合は、「輝度」に対して重み
を付けた類似検索が、「色差重視」を選択した場合は、
「色差」に対して重みを付けた類似画像検索が行えるよ
うになる。

【００４０】なお、本実施形態の場合、ＡとＢに設定す
る値として、重視する側の値を７５、もう一方の値を２
５としたがこれに限るものではない。

【００４１】［第２の実施形態］第１の実施形態では、
重みを付けて計算するためのＡとＢの値を固定で指定し
たが、第２の実施形態では、これらＡ，Ｂの値をユーザ
によって指定可能とする実施形態を説明する。

【００４２】この場合のユーザインタフェースは、図３
の設定メニュー３９を図１０に示すように、スクロール
バーにする。そして、左端の場合が「輝度」のみ、右端
の場合が「色差」のみ、中間が「輝度」「色差」共に同
じ重みで計算するように制御する。すなわち、第２の実
施形態では、スクロールバーの設定に従って、第１の実
施形態で説明した、重み付き類似画像検索処理（図７）
内のＡとＢの値を、０≦Ａ＜１００、０≦Ｂ＜１００の
範囲で制御する。例えば左端が、Ａ＝１００，Ｂ＝０、
右端がＡ＝０，Ｂ＝１００で、中間がＡ＝Ｂ＝５０であ
る。

【００４３】なお、上記実施形態では、画像データの特
徴量は一旦ＲＧＢの平均値を計算し、その後ＹＣｂＣｒ
に変換しているが、これに限るものではなく、最初から
ＹＣｂＣｒで計算しても良い。

【００４４】また、ユーザが操作する操作画面のレイア
ウトも上記実施形態に限るものではない。また、ユーザ
がスケッチ画像を描くためのデバイスとしてマウスで説
明したがこれに限られるものではなく、ペンタブレット
やタッチパネルのような入力デバイスであっても良い。

【００４５】以上説明したように、上記各実施形態にお
いては、コンピュータ操作画面上にスケッチパッドを用
意し、ユーザが画面上に、所望の画像に似せた画像を描
画する。そして、データベースシステムが上記画像から
特徴量を抽出し、それを基に類似画像検索を行う。

【００４６】この類似画像検索を行うとき、画像データ
の特徴量から輝度情報と色差情報を生成し、輝度重視或
いは色差重視で類似画像検索を行えるようにすることに
より、複雑な検索が可能になる。これにより、ユーザの
意図を迅速に反映した検索を行える画像検索インタフェ
ースを提供することができる。以上のように、上記実施
形態によれば、「輝度」により、「明るい」或いは「暗
い」等、色情報（色差）をあまり考慮しないで検索する
ことができる。このため、ユーザが記憶する画像の色の
曖昧さをカバーし、有効な画像検索を行えるようにな
る。また、「色」はあまり覚えていないが、形は覚えて
いるという場合もあり、このような場合においても「輝
度重視」で検索したほうが良い結果が得られる。また、
上記実施形態によれば、一度書いた画像からいろいろな
検索条件を作り出すことができ、検索のキーとなる画像
を何度も描きなおすとう負担からユーザを解放すること
ができる。

【００４７】なお、本発明は、複数の機器（例えばホス
トコンピュータ、インタフェイス機器、リーダ、プリン
タなど）から構成されるシステムに適用しても、一つの
機器からなる装置（例えば、複写機、ファクシミリ装置
など）に適用してもよい。

【００４８】また、本発明の目的は、前述した実施形態
の機能を実現するソフトウェアのプログラムコードを記
録した記憶媒体（または記録媒体）を、システムあるい
は装置に供給し、そのシステムあるいは装置のコンピュ
ータ（またはCPUやMPU）が記憶媒体に格納されたプログ
ラムコードを読み出し実行することによっても、達成さ
れることは言うまでもない。この場合、記憶媒体から読
み出されたプログラムコード自体が前述した実施形態の
機能を実現することになり、そのプログラムコードを記
憶した記憶媒体は本発明を構成することになる。また、
コンピュータが読み出したプログラムコードを実行する
ことにより、前述した実施形態の機能が実現されるだけ
でなく、そのプログラムコードの指示に基づき、コンピ
ュータ上で稼働しているオペレーティングシステム(OS)
などが実際の処理の一部または全部を行い、その処理に
よって前述した実施形態の機能が実現される場合も含ま
れることは言うまでもない。

【００４９】さらに、記憶媒体から読み出されたプログ
ラムコードが、コンピュータに挿入された機能拡張カー
ドやコンピュータに接続された機能拡張ユニットに備わ
るメモリに書込まれた後、そのプログラムコードの指示
に基づき、その機能拡張カードや機能拡張ユニットに備
わるCPUなどが実際の処理の一部または全部を行い、そ
の処理によって前述した実施形態の機能が実現される場
合も含まれることは言うまでもない。

【００５０】

【発明の効果】以上説明したように、本発明によれば、
ユーザの意図を迅速に反映した画像検索を行える画像検
索インタフェースを提供することができる。

【図面の簡単な説明】

【図１】第１の実施形態による画像検索装置の構成を示
すブロック図である。

【図２】第１の実施形態による画像検索の大まかな流れ
を示すフローチャートである。

【図３】ステップ２１において表示部１０３に表示され
る操作画面例を示す図である。

【図４】本実施形態による画像の分割状態を説明する図
である。

【図５】本実施形態による画像の特徴量算出処理を説明
するフローチャートである。

【図６】領域毎のＲ，Ｇ，Ｂ値の平均値算出方法を説明
するフローチャートである。

【図７】実施形態による画像間距離の計算処理を示すフ
ローチャートである。

【図８】類似画像を選出する処理を示すフローチャート
である。

【図９】ステップＳ２４において表示部１０３に表示さ
れる操作画面例を示す図である。

【図１０】第２の実施形態での対話的画像提示のための
画面構成を説明する図である。

【符号の説明】

１０１ＣＰＵ１０２キーボード１０２ａマウス１０３表示部１０４ＲＯＭ１０５ＲＡＭ１０６ハードディスク１０７フロッピーディスク１０８プリンタ

───────────────────────────────────────────────────── フロントページの続き (72)発明者山本邦浩東京都大田区下丸子３丁目30番２号キヤノン株式会社内 (72)発明者草間澄東京都大田区下丸子３丁目30番２号キヤノン株式会社内Ｆターム(参考） 5B075 ND08 NK06 NK39 PP03 PP13 PQ02 PQ48 PR06 QM08 5L096 AA02 BA08 EA03 HA08 JA03 JA11 9A001 DZ13 FF03 HH23 JZ02 KK42

Claims

【特許請求の範囲】

【請求項１】複数枚の画像を蓄積した記憶手段から所
望の画像を検索する画像検索方法であって、指定された検索元画像の特徴量と前記複数枚の画像の特
徴量に基づいて、該検索元画像と該複数枚の画像の各々
との類似度を計算する計算工程と、前記計算工程で計算された画像類似度に基づいて前記複
数毎の画像から類似画像を抽出し、検索結果を提示する
提示工程と、前記計算工程において用いられる特徴量の各パラメータ
に異なった重みを設定する設定工程とを備え、前記計算工程において、前記設定工程で設定された重み
付けを用いて類似度の計算を実行することを特徴とする
画像検索方法。
【請求項２】操作者が対話的に画像を描画できる描画
工程を更に備え、前記指定された検索元画像は前記描画工程において描画
された画像であることを特徴とする請求項１に記載の画
像検索方法。
【請求項３】前記設定工程は、輝度重視と色差重視に
対応した重み付けを設定することを特徴とする請求項１
に記載の画像検索方法。
【請求項４】前記計算工程は、類似度をＹＣｂＣｒの
色空間による値に変換する変換工程を有することを特徴
とする請求項３に記載の画像検索方法。
【請求項５】前記提示工程は、抽出された画像を縮小
して表示することを特徴とする請求項１に記載の画像検
索方法。
【請求項６】前記提示工程は、抽出された画像に対応
付けられたアイコン画像を表示することを特徴とする請
求項１に記載の画像検索方法。
【請求項７】前記提示工程において表示された画像の
一つが選択された場合に、当該画像に関連付けられた詳
細画像を表示する表示工程を更に備えることを特徴とす
る請求項５又は６に記載の画像検索方法。
【請求項８】前記提示工程は、抽出された画像を類似
度順に表示することを特徴とする請求項５又は６に記載
の画像検索方法。
【請求項９】複数枚の画像を蓄積した記憶手段から所
望の画像を検索する画像検索装置であって、指定された検索元画像の特徴量と前記複数枚の画像の特
徴量に基づいて、該検索元画像と該複数枚の画像の各々
との類似度を計算する計算手段と、前記計算手段で計算された画像類似度に基づいて前記複
数毎の画像から類似画像を抽出し、検索結果を提示する
提示手段と、前記計算手段において用いられる特徴量の各パラメータ
に異なった重みを設定する設定手段とを備え、前記計算手段において、前記設定手段で設定された重み
付けを用いて類似度の計算を実行することを特徴とする
画像検索装置。
【請求項１０】操作者が対話的に画像を描画できる描
画手段を更に備え、前記指定された検索元画像は前記描画手段において描画
された画像であることを特徴とする請求項９に記載の画
像検索装置。
【請求項１１】前記設定手段は、輝度重視と色差重視
に対応した重み付けを設定することを特徴とする請求項
９に記載の画像検索装置。
【請求項１２】前記計算手段は、類似度をＹＣｂＣｒ
の色空間による値に変換する変換手段を有することを特
徴とする請求項１１に記載の画像検索装置。
【請求項１３】前記提示手段は、抽出された画像を縮
小して表示することを特徴とする請求項９に記載の画像
検索装置。
【請求項１４】前記提示手段は、抽出された画像に対
応付けられたアイコン画像を表示することを特徴とする
請求項９に記載の画像検索装置。
【請求項１５】前記提示手段において表示された画像
の一つが選択された場合に、当該画像に関連付けられた
詳細画像を表示する表示手段を更に備えることを特徴と
する請求項１３又は１４に記載の画像検索装置。
【請求項１６】前記提示手段は、抽出された画像を類
似度順に表示することを特徴とする請求項１３又は１４
に記載の画像検索装置。
【請求項１７】コンピュータに、複数枚の画像を蓄積
した記憶手段から所望の画像を検索する画像検索処理を
実現させるための制御プログラムを格納する記憶媒体で
あって、該制御プログラムが、指定された検索元画像の特徴量と前記複数枚の画像の特
徴量に基づいて、該検索元画像と該複数枚の画像の各々
との類似度を計算する計算工程のコードと、前記計算工程で計算された画像類似度に基づいて前記複
数毎の画像から類似画像を抽出し、検索結果を提示する
提示工程のコードと、前記計算工程において用いられる特徴量の各パラメータ
に異なった重みを設定する設定工程のコードとを備え、前記計算工程のコードによって実現される前記計算工程
は、前記前記設定手段で設定された重み付けを用いて類
似度の計算を実行することを特徴とする記憶媒体。