JP2002215627A

JP2002215627A - 画像検索手法および装置、並びに、画像データベース作成方法および装置

Info

Publication number: JP2002215627A
Application number: JP2001012615A
Authority: JP
Inventors: Yoshinori Musha; 義則武者; Atsushi Hiroike; 敦廣池
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2001-01-22
Filing date: 2001-01-22
Publication date: 2002-08-02
Also published as: US20030046267A1

Abstract

(57)【要約】【課題】ユーザが描象を描くという動作と画像検索を
より密に連携させ、検索キーを作成する過程の色や線を
キャンバス上に描くストローク毎に画像の絞り込みを行
い、その結果を逐一ユーザへ表示することで、ユーザが
検索結果を見ながら検索キーを作成できる手法を提供す
ることにより、絵心のない人でも絵を描く感覚で画像検
索を行うことを可能にする。【解決手段】あらかじめ用意された属性情報から１つ
または複数の属性情報を選択し、その属性情報を指定し
た領域へ付与すると、その属性情報とその領域により作
られる領域属性情報を持つ画像群が画像データベースか
ら検索されて出力される。また、検索された画像群に共
通の属性情報が共通の領域にあることを検出し、検索さ
れた各画像のその領域部分を、表示装置のその領域部分
へ表示する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像群を検索結果
として出力する画像検索方法および装置において、画像
内の領域における属性情報から画像を検索する方法とそ
の装置、ならびに画像データベース作成方法とその装置
に関する。

【０００２】

【従来の技術】従来、画像の類似性を用いて画像データ
ベースから所望の画像を得るための方法として、画像自
身をそのまま検索キーとして用い、その検索キーに類似
な画像をデータベースから収集する方法や、スケッチを
描いたり単純な図形を組み合わせて検索キーを作成し検
索する方法、画像から抽出される特徴量を画面上に表示
し、それを選択することによって検索する方法が知られ
ている。

【０００３】

【発明が解決しようとする課題】画像自身を検索キーと
して使う検索方法の場合、検索が１度でも実行されてい
れば検索された画像群が表示されているため、その中か
ら次の検索キーを選ぶことができるが、検索画像が表示
されていない最初の検索の時点において検索キーを選ぶ
ことが問題となる。一方、検索キーをスケッチにて作成
する方法は、任意の絵を描くことが可能であるが、絵を
描くことが大変な作業である上、絵心に乏しい人が容易
に使える方法ではなく、また望んだ画像が検索されなか
った場合には検索キーとしてスケッチした図の描画が下
手なためか画像がデータベース中に存在しないためなの
か区別がつかない場合がある。単純な図形を組み合わせ
て検索キーを作成する方法は、検索キーを作成する点で
容易さがあるが、検索したいと思い描いている描象を単
純図形の組み合わせで表現しなくてはならず、しかも作
成した検索キーと検索結果である画像群との対応がユー
ザの思い通りのものとなっているとは限らない。画像の
特徴量を画面上から選択する方法は、生地の柄などテク
スチャ自体が被検索画像の本質的な特徴となっている場
合には効果的な場合があるが、特徴量を提示して選択の
みで自由度の多い画像を絞り込むのは、構図が重要とな
る場合は特に困難である。このように従来技術には共通
して、検索キーを選択あるいは作成する工程に、ユーザ
の所望する描象を検索キーに反映しにくい、あるいは検
索キーに反映した結果と検索の出力結果の対応が分かり
にくいという問題点がある。

【０００４】そこで、ユーザが描象を描くという動作と
画像検索をより密に連携させ、検索キーを作成する過程
の色や線をキャンバス上に描くストローク毎に画像の絞
り込みを行い、その結果を逐一ユーザへ表示すること
で、ユーザが検索結果を見ながら検索キーを作成できる
手法を提供することが本発明の目的である。

【０００５】

【課題を解決するための手段】本発明は、あらかじめ用
意された属性情報から１つまたは複数の属性情報を選択
し、その属性情報を指定した領域へ付与すると、その属
性情報とその領域により作られる領域属性情報を持つ画
像群が画像データベースから検索されて出力される。ま
た、検索された画像群に共通の属性情報が共通の領域に
あることを検出し、検索された各画像のその領域部分
を、表示装置のその領域部分へ表示する。更に、属性情
報が付与されていない領域に１つまたは複数の属性情報
を付与することにより検索範囲を狭めること、あるいは
既に属性情報が付与された領域に１つまたは複数の属性
情報を追加することにより検索範囲を狭めること、ある
いは既に属性情報が付与された領域から１つまたは複数
の属性情報を削除することにより検索範囲を広げるこ
と、あるいは既に属性情報が付与された領域の１つまた
は複数の属性情報を別の領域へ付与することにより検索
範囲を狭めること、あるいは既に属性情報が付与された
領域の１つまたは複数の属性情報を別の領域へ移し換え
ることにより検索範囲を変更することができる。

【０００６】

【発明の実施の形態】以下に、添付図を参照して本発明
の好適な実施例を詳細に説明する。

【０００７】図１は、本実施例のグラフィック・ユーザ
・インターフェース(以下、ＧＵＩと略する)を示した一
模式図である。キャンバス上に色や線、形状などを描い
ていくことによりダイナミックに構図による画像検索が
行われ、絞り込まれた画像候補が出力される。キャンバ
ス103は、初期状態ではキャンバスの領域105のように何
も描かれていない状態がキャンバス全体に広がってい
る。ユーザは、パレット106から色や線を選び、キャン
バス上に絵を描いていくと、色の場合はそのまま属性情
報として、また線の場合は描いた形状が属性情報として
扱われ、描かれた領域と合わせて領域属性情報として扱
われ画像検索が行われる。検索結果である画像群101は
画像表示部102にてユーザへ提供される。その後、検索
された画像群に共通の属性情報を共通の領域に持つ場
合、その領域において検索された画像群が合成されて表
示される。その結果、例えば領域104のように一部の画
像が表示されることとなる。画像表示部102では全ての
検索された画像を表示できるとは限らないので、現在ま
でに絞り込まれた画像数が画像数表示部107にて表示さ
れるようになっている。

【０００８】図２は、パレット106から色を選びキャン
バス103上にその色を塗った場合に領域属性情報を生成
する方法を示した一模式図である。パレット106 からユ
ーザが色201を選択し、キャンバス103上にストローク20
4を引いた様子を示している。キャンバス103は領域分け
されており、(1,2)などのように領域を特定するインデ
ックスを持っている。マウスカーソル205にて領域(0,
0),(0,1),(0,2),(0,3)の領域に渡って順に色201が塗ら
れたことをＧＵＩ上で検出すると、それぞれC0(0,0), C
0(0,1), C0(0,2), C0(0,3)という領域属性情報206が描
画されるにしたがって生成される。これらを持つ画像が
領域属性情報データベースから検索されて画像群が出力
されることとなる。具体的には以下のように動作する。
ユーザが描くストローク204が領域(0,0)を通過した時点
で領域属性情報C0(0,0)が生成し、まずこれを持つ画像
が検索される。次にストロークが領域(0,1)を通過した
時点でC0(0,1)が生成し、先ほど検索された画像群の中
で更にC0(0,1)を持つ画像に絞り込まれる。同様に、C0
(0,2), C0(0,3)を持つ画像へと、ユーザの描くストロー
クにしたがって順次画像の絞り込みが行われる。属性情
報としてキーワードが指定可能な場合は、前述の色の代
わりに用い、キーワードを領域に指定することで、画像
検索を行うことができる。また、パレット106からイレ
ーザ203を選び、既に属性情報が付与された領域上でマ
ウスカーソルを通過させることで、領域属性情報を消去
し検索範囲を広げることができる。パレット106上の線
画202については図３にて説明する。

【０００９】図３は、パレット106から線を選びキャン
バス103上に線画を描いた場合に領域属性情報を生成す
る方法を示した一模式図である。パレット106 からユー
ザが図２の線画203を選択し、キャンバス103上にマウス
カーソル304にて、かぎ状のライン301を引いた様子を示
している。ユーザによって線画が描画された各領域にお
いて、どのような線画が描画されたのかをＧＵＩ上から
検出し属性情報を選択する。更に、領域情報と合わせて
領域属性情報とする。具体的には、ユーザが描くストロ
ーク306が領域(0,2)を通過した時点で、描かれた線が横
線であると判定して属性情報L0を選択する。したがって
領域属性情報L0(0,2)が305のように生成される。同様
に、折れ曲がったストローク302が領域(3,2)に描かれる
と、属性情報L4が選択され領域属性情報L4(3,2)が303の
ように生成される。画像検索に関しては、図２における
色の描画の場合と同様である。

【００１０】図４は、属性情報の例を示している。401
は属性情報として検出される線画の例、402はそれぞれ
その属性情報である。403は属性情報として検出される
色の例、404はそれぞれその属性情報である。ユーザに
よって描かれる線画は必ずしも401の例に示したような
直角で形成されるとは限らない。そこで線画の傾きを離
散化することによって、線の傾きが近いパターンへと分
類する。また、複数のパターンからの近さが同程度のパ
ターンは両方のパターンへ所属させておく。検出される
属性情報のパターンは、形状について401のように１３
パターン、色について403のように８パターンとしてあ
るが、このパターンは離散化する傾きや色合いのカテゴ
リを増やすことによってパターンを増やしても構わない
し、カテゴリを減らすことによってパターンを減らして
も構わない。いずれにしても、このパターン数は領域属
性情報のデータベースを設計する時点で決めておく。

【００１１】図５は、領域属性情報データベースを使っ
て画像を検索する方法および共通領域属性情報を検出す
る方法を説明した模式図である。領域属性情報データベ
ースは行列構造501となっており、行504が領域属性情報
のID、列505が画像のIDを示している。行列構造501の各
要素503は、各画像が各領域属性情報から検索される有
効性を示す。数値が大きいほど検索に値する相応しさが
大きいことを示す。今、ユーザが描画することによって
生成された領域属性情報が507の２つだったとする。こ
の２つに関して506のように各画像毎に加算していき、
０より大きな３、５、２を得た各画像502を検索結果と
して出力する。この数値の大きい順に検索結果を並べ替
えておけば、もっとも相応しい画像から出力することが
できる。こうして検索が行われる。また図には示してい
ないが、領域属性情報507の２つに対し、ＧＵＩから入
力されたときの属性情報への適合度を重み付けして行列
要素を加算する方法もある。

【００１２】また、共通領域属性情報を検出する場合に
は、各画像502の全ての画像に含まれる領域属性情報を
検出し、その行列要素を加算することで508のように
７，６を得たとする。この領域属性情報を持つ領域に、
各画像502のその領域の合成画像を表示したり、順次表
示を切り替えたりして、ユーザへ検索結果の状況を提供
することができる。508の数値に閾値を設けて、その閾
値より小さい場合に無視する方法もある。また逆に、共
通領域が存在せずとも、検索されたなるべく多くの画像
に共通の領域があれば出力するという方法もある。

【００１３】図６は、検出された共通領域属性情報がＧ
ＵＩ上に表示出力される様子を説明した模式図である。
ユーザが属性情報を領域に付与していくにつれ、検索画
像群に共通の属性情報を持つ領域が増えていく様子を示
している。入力状況601においてユーザが領域602に色属
性を付与した様子を示す。この時、出力状況603で共通
領域604が検出され入力した領域以外にも画像領域が表
示されている。入力状況605にて、領域606のように入力
領域が拡大されたとき、検索結果が更に絞り込まれて画
像数が減るため、全ての画像に共通の領域が得やすくな
る。そのため、出力状況607の共通領域608のように多く
の領域が表示されるようになる。

【００１４】図７は、キャンバス103上で属性情報を操
作するＧＵＩの機能を説明する模式図である。領域702
のように既に属性情報が付与されている領域上でマウス
カーソルを合わせ、右クリックをするとポップアップメ
ニュー701が出現し、その領域に含まれる属性情報の一
覧が示される。ALLは、全ての属性を選択することを意
味し、GREEN, REDは色属性、LINE(水平)は線または形状
属性を示している。属性情報としてキーワードが使用可
能な場合、もし領域702にキーワードが付与されていれ
ば、他の属性同様にポップアップメニュー701に表示さ
れる。ここで、何かを選択すると領域702と同じ領域に
おいて選択可能な機能一覧がポップアップメニュー704
のように出現する。ここで、COPY, MOVEは選択した属性
情報をマウスカーソルを通過させた別の領域703へそれ
ぞれ複写、移動することを示す。CUTはその領域から選
択した属性情報を削除することを示す。

【００１５】図８は、画像と領域属性情報のデータベー
スを作成する仕組みを説明した模式図である。まず被検
索画像を用意し、１画像ずつ取り出して以下のような操
作を行う。画像801を複数の領域へ802のように分割す
る。図では簡単のため3x3に分割した様子を示してい
る。その中から１つ領域803を取り出しカラー画像のま
ま処理し、複数の色属性C1,C2,C5,C7を抽出し領域のイ
ンデックス(2,1)と合わせて、領域属性情報を805のよう
に作成する。また、グレースケール化したその領域804
を複数の形状情報L0,L2,L4,L5を抽出して領域属性情報
を805のように作成する。また、キーワードを属性情報
として領域属性情報806を作成する。それぞれの領域属
性情報には、その属性のその領域内に占める割合、ある
いは画像群全体に対する出現頻度、あるいはその領域属
性情報のデータベース全体に対する珍しさ（情報量）に
比例する値を採用することができる。こうして作成され
た領域属性情報は画像IDと対応付けられて画像と領域属
性情報のデータベース807の中に格納される。

【００１６】図９は、表示入力装置およびデータの流れ
を示すブロックダイヤグラムを説明する模式図である。
表示入力装置901は、ユーザが描画するキャンバス902
と、画像領域を表示する表示装置と、パレットなどのボ
タン類908が一緒になった操作パッドである。一点破線9
03での切断面をしめした図が904である。表面が右側に
なるよう示してあるが、表面側から順に、領域入力を行
う透明スイッチ906、液晶ディスプレー905、バックライ
ト907が層状に配置されている。

【００１７】１回の検索動作は以下のような流れで行わ
れる。透明スイッチ906から領域情報、ボタン類908から
属性情報を入力して領域属性情報作成部916にて領域属
性情報が生成される。領域属性検索部915にてその領域
属性情報を用いて、行列構造が格納された領域属性デー
タベース914を検索し、画像IDを出力する。画像IDは画
像群の出力部912へ送られ、画像データベース911から実
際に画像IDに対応する画像を入手して画像群の出力装置
で出力がなされる。一方、画像IDは共通領域属性検出部
913へも送られ、領域属性データベース914を使用して検
索結果に共通する領域属性情報を抽出する。それが画像
領域の合成部910にて、画像データベースから該当する
領域のみ画像群から取り出して合成し、905の液晶ディ
スプレーにて表示される。

【００１８】

【発明の効果】本発明では、キャンバス上に検索キーを
作成していく過程でデータベース中に格納された絵がキ
ャンバス上の各領域に出現していき、検索キーが作成さ
れた時点で検索が終了する。そのため、まるでデータベ
ース中に存在する画像の絵を描いたかのように検索を行
うことが可能となる。

【図面の簡単な説明】

【図１】ＧＵＩ。

【図２】色に関する領域属性情報の生成方法。

【図３】線と形状に関する領域属性情報の生成方法。

【図４】属性情報の例。

【図５】画像検索方法および共通領域属性情報の検出方
法。

【図６】共通領域属性情報の表示動作。

【図７】キャンバス上での操作方法。

【図８】画像と領域属性情報データベースの作成方法。

【図９】１回の検索動作におけるデータフロー。

【符号の説明】

101: 検索結果の画像群 102: 画像表示部 103: キャンバス 104: 領域（表示済み） 105: 領域（未表示） 106: パレット 107: 画像数表示部 201: 色選択ボタン 202: 線画ボタン 203: イレーザボタン 204: ストローク 205: マウスカーソル 206: 領域属性情報 301: 描画されたライン 302: 折れ曲がったストローク 303: 領域属性情報 304: マウスカーソル 305: 領域属性情報 306: ストローク 401: 検出される線画の例 402: 線画の属性情報の例 403: 検出される色の例 404: 色の属性情報の例 501: 行列構造 502: 検索された各画像 503: 各要素 504: 領域属性情報のID 505: 画像のID 506: ある画像における要素の値の加算 507: 入力された領域属性情報 508: ある領域属性情報における要素の加算結果 601: 入力状況 602: 領域 603: 出力状況 604: 共通領域 605: 入力状況 606: 領域 607: 出力状況 608: 共通領域 701: ポップアップメニュー（属性情報） 702: 領域 703: 領域 704: ポップアップメニュー（機能） 801: 画像 802: 分割された領域 803: 領域 804: グレースケール化された領域 805: 領域属性情報 806: キーワード属性による領域属性情報 807: 画像と領域属性情報のデータベース 901: 表示入力装置 902: キャンバス 903: 一点破線 904: 切断面 905: 液晶ディスプレー 906: 透明スイッチ 907: バックライト 908: ボタン類 910: 画像領域の合成部 911: 画像データベース 912: 画像群の出力部 913: 共通領域属性検出部 914: 領域属性データベース 915: 領域属性検索部 916: 領域属性情報作成部。

───────────────────────────────────────────────────── フロントページの続きＦターム(参考） 5B050 AA09 BA07 CA07 DA04 DA09 EA18 FA02 FA05 GA08 5B075 ND06 NK06 NK37 NK46 PQ02 QP05

Claims

【特許請求の範囲】

【請求項１】検索結果として画像群を出力する画像検索
方法において、あらかじめ用意された属性情報から選択
された１つまたは複数の属性情報について、ユーザから
前記属性情報の所定領域への付与を受け、前記属性情報
と前記領域により作られる領域属性情報を持つ画像群を
画像データベースから検索し、検索した画像群を出力す
ることを特徴とする画像検索方法。
【請求項２】検索結果として画像群を出力する検索方法
において、検索された画像群に共通の属性情報が前記画
像群を構成する各画像の共通領域にあることを検出し、
検出された各画像の前記共通の領域画像を、前記画像群
を出力表示する手段の該当する領域へ表示することを特
徴とする検索方法。
【請求項３】属性情報が付与されていない１つまたは複
数の領域に、１つまたは複数の属性情報を付与すること
により検索範囲を狭める操作と、既に属性情報が付与さ
れた１つまたは複数の領域に、１つまたは複数の属性情
報を追加することにより検索範囲を狭める操作と、既に
属性情報が付与された１つまたは複数の領域から、１つ
または複数の属性情報を削除することにより検索範囲を
広げる操作と、既に属性情報が付与された１つまたは複
数の領域の１つまたは複数の属性情報を、別の１つまた
は複数の領域へ付与することにより検索範囲を狭める操
作と、既に属性情報が付与された１つまたは複数の領域
の１つまたは複数の属性情報を、別の１つまたは複数の
領域へ移し換えることにより検索範囲を変更する操作
と、既に属性情報が付与された１つまたは複数の領域の
１つまたは複数の属性情報を、別の１つまたは複数の属
性情報へ変更することにより検索範囲を変更する操作と
の中の１つ以上の操作により検索範囲を変更することを
特徴とする請求項１の画像検索方法。
【請求項４】属性情報を指定された領域に割り当てるた
めの領域指定手段に対して線や形状やテクスチャを描画
すると、その領域指定手段における線や形状やテクスチ
ャが描画された領域に、描画された方向の線であること
を示す属性情報やその形状やテクスチャであることを示
す属性情報が追加されることを特徴とする請求項１また
は請求項３の画像検索方法。
【請求項５】画像を検索するための画像属性情報のデー
タベース作成方法において、画像を複数の領域に分け、
その各領域内から画像特徴量を抽出して属性情報とし、
その領域を特定する情報とその属性情報を合わせて領域
属性情報とし、その領域属性情報とその画像とを対応付
けしてデータベースに格納することを特徴とする画像デ
ータベース作成方法。
【請求項６】画像領域の属性情報を選ぶ属性選択手段
と、その属性情報を指定された領域に割り当てる領域指
定手段と、領域を特定する情報と属性情報を合わせた領
域属性情報が蓄積された領域属性情報データベースと、
出力する画像データが蓄積された画像データベースと、
前記領域指定手段によって指定された領域内に前記属性
選択手段によって選択された属性情報を持つ画像を検索
する画像検索手段と、検索された画像群を表示する手段
とを有することを特徴とする画像検索装置。
【請求項７】検索結果として画像群を出力する検索装置
において、検索された画像群に共通の属性情報が前記画
像群を構成する画像の共通領域にあることを検出する共
通領域属性検出手段と、前記共通領域属性検出手段によ
り検出された領域に、検索された各画像の該当する領域
画像を表示する画像領域表示手段とを有することを特徴
とする検索装置。
【請求項８】画像検索手段により絞り込まれた画像群を
合成した画像を生成し、その領域部分を表示することを
特徴とする請求項７の検索装置。
【請求項９】画像検索手段により検索された各画像のそ
の領域部分を順次入れ替えて表示するものであることを
特徴とする請求項７の検索装置。
【請求項１０】画像を検索するための画像属性情報のデ
ータベースを作成装置において、画像を複数の領域に分
け、その各領域内から画像特徴量を抽出して属性情報と
する特徴抽出手段と、その領域を特定する情報とその属
性情報を合わせて領域属性情報とし、その領域属性情報
とその画像とを対応付けしてデータベースに格納する属
性格納手段とを有することを特徴とする画像データベー
ス作成装置。
【請求項１１】画像を表示し、その画像の１つ、または
複数の領域に対して任意のシンボルまたはキーワードを
割り当て、その領域を特定する情報と合わせて請求項１
記載の領域属性情報として扱うことを特徴とする請求項
１０の画像データベース作成装置。
【請求項１２】ユーザの検索要求の結果として画像群を
出力する検索サービスにおいて、ユーザに属性情報を選
択可能な属性選択手段と領域を指定可能な領域指定手段
とを提供し、あらかじめ用意された属性情報から選択さ
れた１つまたは複数の属性情報について、ユーザから前
記属性情報の所定領域への付与を受け、前記属性情報と
前記領域により作られる領域属性情報を持つ画像群を画
像データベースから検索し、検索した画像群をユーザに
提示することを特徴とする検索サービス。
【請求項１３】ユーザの検索要求の結果として画像群を
出力する検索サービスにおいて、検索された画像群に共
通の属性情報が前記画像群を構成する各画像の共通の領
域にあることを検出し、検索された画像群のその領域部
分を合成した画像を、あるいは検索された各画像のその
領域部分を順次入れ替えて、表示することを特徴とする
検索サービス。
【請求項１４】コンピュータを画像検索装置として機能
させるプログラムであって、あらかじめ用意された属性
情報から選択された１つまたは複数の属性情報につい
て、ユーザから前記属性情報の所定領域への付与を受け
る手段、前記属性情報と前記領域により作られる領域属
性情報を持つ画像群を画像データベースから検索する手
段、検索した画像群を出力する手段を有することを特徴
とするプログラム。
【請求項１５】コンピュータを画像を検索するための画
像属性情報のデータベース作成装置として機能させるプ
ログラムであって、画像を複数の領域に分け、その各領
域内から画像特徴量を抽出して属性情報とする手段、そ
の領域を特定する情報とその属性情報を合わせて領域属
性情報とする手段、その領域属性情報とその画像とを対
応付けしてデータベースに格納する手段、とを有するこ
とを特徴とするデータベース作成プログラム。