JP2005149071A

JP2005149071A - 画像検索装置、画像検索方法、プログラム、及び記憶媒体

Info

Publication number: JP2005149071A
Application number: JP2003384891A
Authority: JP
Inventors: Koichi Inoue; 浩一井上
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2003-11-14
Filing date: 2003-11-14
Publication date: 2005-06-09

Abstract

【課題】画像特徴量と非画像情報（付属情報）とを組み合わせた類似画像検索を効率的かつ容易に行う。
【解決手段】クライアントからリクエスト受信手段21で画像及び画像の付随情報の検索要求を受信し、付随情報検索要求は不図示の外部データベース装置（外部ＤＢ装置）に送信する。画像検索要求により特徴量算出手段24で特徴量を算出し、特徴量蓄積手段26に蓄積されている特徴量と画像検索手段27により比較判断し画像検索を行う。検索結果の画像識別情報を画像検索結果蓄積手段31に記憶する。外部ＤＢ装置から画像の付随情報及び画像識別情報を受信し、要求文検索結果蓄積手段32に記憶する。前記蓄積手段31,32に記憶された画像識別情報の一致を検索結果統合手段33により判断し、一致する画像識別情報とその付属情報をレスポンス送信手段22によりクライアントに送信する。
【選択図】図３

Description

本発明は、電気通信回線を通してクライアントパソコン等に接続される画像検索装置であって、クライアントパソコンからの画像の検索、登録及び削除要求に従って画像の検索、登録及び削除を行い、且つ外部データベースに対して付随情報の検索、登録及び削除を要求し、画像検索装置及び外部データベースの検索結果をクライアントパソコンに返す画像検索装置、画像検索方法、プログラム、及び記憶媒体に関する。

コンピュータの発達とともに文書が電子形式で取扱われるようになってきたため、文書管理の問題はペーパー形式の文書の時代に比べると飛躍的に容易になった。それでも管理対象となる文書の数が増加すると、従来の階層化構造を利用する管理システムでは文書解析及び検索面で解決すべき問題を残している。特に画像又は画像データに係る文書の管理は問題が多い。そこで、ネットワークを通して相互に接続されたクライアントコンピュータとサーバコンピュータ間で、複数の画像データを蓄積した画像データベースから所望の画像データを検索しようとする場合に、クライアントコンピュータ（ユーザー）は検索したい画像の特徴量を計算し、計算した画像特徴量をサーバコンピュータに送る。サーバコンピュータは複数の画像データそれぞれと、それぞれの画像データの画像特徴量を関連付けて記憶しているので、クライアントコンピュータから画像特徴量が送信されると、記憶している画像特徴量と送信された画像特徴量とに基いて類似度を計算し、類似する画像を検索する。そして検索された画像データをクライアントコンピュータに送信する発明が公知である（特許文献１参照）。また公知文献に記載されたものではないが、類似画像検索装置において、画像データとその画像に係る非画像情報をセットにして入手をしたいと言うニーズに応えるために、従来サーバコンピュータに画像特徴量の他に非画像情報を記憶しておき、画像検索時に類似画像の取得と共にその非画像情報も取得し、類似画像と非画像情報を一緒にクライアントコンピュータに提供するものがある。
特開2000-76270号公報

しかしながら、特許文献１記載された発明は非画像情報の検索は行っておらず、また従来のサーバコンピュータに画像特徴量と非画像情報を記憶したものは、画像特徴量と非画像情報を任意に組み合わせた検索を行おうとするとサーバコンピュータの規模が拡大し処理自体が複雑化し効率的な検索ができないという問題があった。また例えば画像特徴量が中古乗用車の画像のものであり、非画像情報がその価格であるような場合、価格は市場で変動するため随時更新登録の必要があるが、この登録のために画像特徴量と非画像情報とをセットで取り扱っていると、画像特徴量と非画像情報の分離処理が複雑となり非画像情報のみの登録処理が難しくなるという問題があった。このことは画像特徴量及び非画像情報の削除の処理を行う場合も同様である。更に画像特徴量の登録、削除の履歴を作成することも前記した理由により作成処理が複雑になるため回避されており画像検索装置として使い勝手が悪いという問題があった。

本発明は、上述の実情に鑑みてなされたものであり、その第1の目的は画像特徴量と非画像情報（付属情報）とを組み合わせた検索、登録、削除が効率的かつ容易にできるようにすることであり、第2の目的は画像情報と非画像情報（付属情報）が正常な組み合わせで更新登録及び削除できるようにすることである。また第３の目的は、更新登録、削除の経過がわかるようにして画像検索装置の使い勝手をよくすることである。

請求項１の発明は、クライアント装置、画像を蓄積管理する文書管理装置、画像の付随情報を蓄積管理する外部データベース装置に電気通信回線を通して接続可能な画像検索装置であって、クライアント装置からの検索要求により類似画像を検索する手段と、クライアント装置からの検索要求により外部データベース装置に画像の付随情報の検索要求を送信し、外部データベース装置から検索結果の付随情報を受信する手段と、検索した類似画像と受信した付随情報をクライアントコンピュータに送信する手段と、を備えたことを特徴とする画像検索装置である。

請求項２の発明は、画像及び画像の付随情報を検索する要求を受信する工程と、画像の付随情報検索要求を外部データベース装置に送信する工程と、画像の検索要求により画像検索を行う工程と、検索された画像の画像識別情報を記憶する第１の記憶工程と、外部データベース装置から画像の付随情報及び画像識別情報を受信する工程と、受信された画像の付随情報及び画像識別情報を記憶する第２の記憶工程と、第１及び第２の記憶工程で記憶された画像識別情報の一致を判断する工程と、一致した画像識別情報及びその付随情報をクライアント装置に送信する工程と、を有することを特徴とする画像検索方法である。

請求項３の発明は、画像及び画像の付随情報を検索する要求を受信する工程と、受信した画像の付随情報の検索要求を外部データベース装置に送信する工程と、外部データベース装置から検索された画像の付随情報及び画像識別情報を受信する工程と、受信した画像の付随情報及び画像識別情報を記憶する第１の記憶工程と、画像の検索要求により画像検索を行う工程と、検索した画像の画像識別情報を記憶する第２の記憶工程と、第１及び第２の記憶工程で記憶された画像識別情報の一致を判断する工程と、一致した画像識別情報及びその付随情報をクライアント装置に送信する工程と、を有することを特徴とする画像検索方法である。

請求項４の発明は、請求項２又は３記載の画像検索方法において、画像検索装置に対する画像の登録又は削除要求と外部データベース装置に対する付随情報の登録又は削除要求を受信する工程と、受信した画像検索装置に対する画像の登録又は削除要求と外部データベース装置に対する付随情報の登録又は削除要求により、それぞれ画像検索装置において画像の登録又は削除を行い、外部データベース装置において付随情報の登録又は削除要求を行うとき、前記登録又は削除の成否を判断する工程と、画像検索装置における画像登録時に外部データベース装置における登録が不成功と判断するとき、画像登録を中止する工程と、画像検索装置における画像削除時に外部データベース装置における削除が不成功と判断するとき、画像削除を中止する工程と、を有することを特徴とする画像検索方法である。

請求項５の発明は、請求項4記載の画像検索方法において、当該画像の登録、検索又は削除の処理時に係る履歴作成要求文を作成する工程と、該要求文を外部データベース装置に送信する工程と、を有することを特徴とする画像検索方法である。

請求項６の発明は、請求項５記載の画像検索方法において、前記履歴作成要求文は当該画像の登録、検索又は削除の処理回数に係る履歴作成文を含むことを特徴とする画像検索方法である。

請求項７の発明は、画像検索装置のコンピュータを、画像及び画像の付随情報を検索する要求を受信させる手段、画像の付随情報検索要求を外部データベース装置に送信させる手段、画像の検索要求により画像検索を行う手段、検索された画像の画像識別情報を第１の記憶部材に記憶させる手段、外部データベース装置から画像の付随情報及び画像識別情報を受信させる手段、受信された画像の付随情報及び画像識別情報を第２の記憶部材に記憶させる手段、第１及び第２の記憶部材に記憶された画像識別情報の一致を判断する手段、
一致した画像識別情報及びその付随情報をクライアント装置に送信させる手段、として機能させるためのプログラムである。

請求項８の発明は、画像検索装置のコンピュータを、画像及び画像の付随情報を検索する要求を受信させる手段、受信した画像の付随情報の検索要求を外部データベース装置に送信させる手段、外部データベース装置から検索された画像の付随情報及び画像識別情報を受信させる手段、受信した画像の付随情報及び画像識別情報を第1の記憶部材に記憶させる手段、画像の検索要求により画像検索を行う手段、検索した画像の画像識別情報を第2の記憶部材に記憶させる手段、第１及び第２の記憶部材に記憶された画像識別情報の一致を判断する手段、一致した画像識別情報及びその付随情報をクライアント装置に送信させる手段、として機能させるためのプログラムである。

請求項９の発明は、請求項7又は８記載のプログラムを記録したコンピュータ読取り可能な記録媒体である。

請求項１に対応する効果：画像情報の検索処理と付随情報の検索処理が分離して行われるので、検索された類似画像に対して付随情報を、或いは検索された付随情報に対して類似画像を容易に組み合わせて検索することができる。
請求項２，７に対応する効果：検索された類似画像に対して付随情報を組み合わせて検索するので、重要な画像を重点として付随情報を確認することができる。
請求項３，８に対応する効果：検索された付随情報に対して類似画像を組み合わせて検索するので、横断的に類似画像との関係を確認することができる。
請求項４に対応する効果：画像検索装置の画像特徴量と外部データベース装置の付随情報とを常に一体不可分で登録又は削除することができる。よって、画像特徴量と付随情報の正常な組み合わせで更新登録、削除を行うことができる。
請求項５，６に対応する効果：付属情報の更新登録、検索、削除の経過が分かるので、サービスの課金処理が行えるなど画像検索装置の使い勝手がよくなる。
請求項９に対応する効果：本発明に係る画像検索手法を任意の画像検索装置において容易に実施することができる。

はじめに、本発明が適用される画像検索システムの全体構成について説明する。
図１は、本発明が適用される画像検索システムのネットワーク構成を示す図である。図1において、クライアントパソコン100は、画像の検索、登録、削除を要求し、その結果を取得する。文書管理装置200は、画像を該画像が一意に識別できる番号等の識別情報と共に記憶し管理している。また画像検索装置300は、本発明に係る画像の検索、登録、削除を行い、外部データベース装置400は、前記識別情報ごとに当該画像に係る非画像情報（以下、付随情報と略称）を蓄積し、SQL（Structured Query Language：構造化照会言語）による問い合わせによって検索、管理できる。この外部データベース装置400は一般のリレーショナルデータベースを使用することができる。付随情報の具体例として、乗用車の画像に関する車種名、年式、メーカー名、価格などがあり、これらが画像を一意に識別可能にする識別情報（以下、画像識別情報と略称）ごとにテーブル形式で記憶されている。そして電気通信回線500は、ＬＡＮ、インターネット等であり、前記各装置100,200,300が接続される。

前記画像検索システムで使用される通信方式は、クライアントパソコン100、文書管理装置200及び画像検索装置300が異なるアーキテクチャであっても共通の遠隔手続き呼出方式で通信できるように、SOAP（Simple Object Access Protocol）を利用する。画像検索装置300における検索リクエストの受信は、HTTPの所定のポート（80番など）でクライアントパソコン100からの接続を待ちSOAPリクエストを受信する。SOAPは、Ｗ３Ｃ（World Wide Web Consortium）により勧告された規格であり、ＸＭＬを用いて手続呼出、検索結果等を抽象化して記述し、異種システム間の結合を可能にしている。SOAP以外の手段により通信を行うことも可能である。

画像検索システムにおける画像検索とその結果の取得は、概略次の動作により行われる。ユーザー（クライアントパソコン100）は、文書管理装置200から検索キーとなる画像（以下、検索キー画像と略称）とその画像識別情報を取得し、検索要求文を付加して画像検索装置300に送信する。画像検索装置300は、検索キー画像の類似画像を検索し、また送信された検索要求文を外部データベース装置400に送信する。そして画像検索装置300は外部データベース装置400から検索要求文を充足する付随情報及びその画像識別情報を取得し、検索した類似画像の画像識別情報と検索要求文を充足する付随情報の画像識別情報とから一致する画像識別情報を取得しこの画像識別情報及びその付随情報をクライアントパソコン100に返す。

次に、本実施形態に係る画像検索装置について詳細に説明する。
図２は、画像検索装置のハードウエア構成を示すブロック図である。図２において、中央処理装置（以下、CPUと略称）１は画像検索装置の各種動作を制御し、ROM２は画像検索装置を起動するためのプログラム等を記憶し、RAM３は画像検索処理のために検索結果データを一時的に記憶する。送受信装置５はクライアントコンピュータ100及び外部データベース装置400と検索リクエストや検索結果のやり取り行い、キーボード等の入力装置６は後述する検索要求文の入力や画像検索、登録、削除の指示を入力可能にし、液晶タイプの表示装置７は検索要求文や検索結果を表示する。更にハードディスクタイプの記憶装置８は本発明に係る検索処理を行うためのプログラムや画像特徴量及び識別情報、各種データ等を記憶し、記憶媒体駆動装置９は検索処理プログラムを搭載したCD-ROM等からプログラムを読取り記憶装置8に記憶させる。

図３は、画像検索装置で実現される各処理手段の構成を示すブロック図である。図３において、リクエスト受信手段21はクライアントパソコン100から画像の検索、登録、削除等の処理要求（以下、検索リクエストと略称）を受信し、レスポンス送信手段22はクライアントパソコン100からの検索リクエストに基いて検索した結果をクライアントパソコン100に送信する、外部データベース通信手段23はクライアントパソコン100から受信した検索リクエストの検索要求文や検索された画像識別情報を外部データベース装置400に送信する。

また特徴量算出手段24は検索リクエスト中の検索キー画像の特徴量を算出し、画像登録手段25は算出された特徴量と検索キー画像の画像識別情報とを組み合わせ、特徴量蓄積手段26に蓄積する。特徴量蓄積手段26はこの他に後述するイベント処理要求文が記述されたイベント処理定義を蓄積し、実態はハードディスク型記憶装置8に置かれる。ここでイベントとは、画像検索又は、画像登録又は、画像削除を行うことをいう。画像検索手段27は検索キー画像の特徴量と予め蓄積している画像の特徴量を比較して類似画像を検索し、類似度順整列手段28は検索された類似画像を類似度の高い順に整列する。イベント処理要求文作成手段30はイベント処理定義中のタグ部分を確定し、イベント処理要求文をSQL記述言語で記述する。更に画像検索結果蓄積手段31は画像検索手段27で検索された画像識別情報を一時的に記憶し、要求文検索結果蓄積手段32は外部データベース装置400で検索された付随情報並びにその画像識別情報を一時的に記憶する。これらの実態はRAM3である。そして検索結果統合手段33は画像検索結果蓄積手段31及び要求文検索結果蓄積手段32にそれぞれ記憶された画像識別情報の一致性を判断する。

前記構成になる画像検索装置で行われる一般的な画像検索及び画像登録動作について図２及び図３を参照して説明する。

画像検索を行う場合、ユーザーはクライアントパソコン100からネットワーク500を経て文書管理装置200にアクセスし、検索キーとなる画像（以下、検索キー画像という）を取得する。検索キー画像はサムネイル画像の場合もある。画像には画像識別情報が付与されているので、検索キー画像を取得するときは、この画像識別情報も一緒に取得されることになり、以後の各種処理においてこの画像識別情報は常に画像や画像の特徴量と組み合わされて取り扱われる。クライアントパソコン100は、取得した検索キー画像をクライアントパソコン100の不図示の送受信装置から画像検索装置300に送信する。

画像検索装置300はクライアントパソコン100から検索キー画像が送信されると、そのリクエスト受信手段21は、検索キー画像を受信し、この検索キー画像は特徴量算出手段24に渡される。特徴量算出手段24は検索キー画像の特徴量を算出する。算出された特徴量は画像検索手段27に渡される。

特徴量の算出にはいろいろな手法があるが、一例として、画像を構成する色をいくつかのグループに分け、それぞれのグループに属する色が画像全体に占める割合を特徴量として算出する例がある。例えば、ＲＧＢの３プレーンから構成される画像では、各ピクセルがそれぞれのプレーンの値を表す数値の組で表されるが、それぞれのプレーンを例えば３つの区間に分割すると、各ピクセルは3＊3＊3＝27種のグループのどれかに属することになる。画像全体のピクセル数に占めるそれぞれのグループに属するピクセル数の割合を計算すると、27個の要素からなるベクトルが得られるので、これを特徴量とすることができる。このベクトルを特徴量とすることによって、画像同士の距離も便宜的に定義することができるので、検索対象とする画像の集合から特徴量を算出しておき、検索キー画像に対しても同様の特徴量を算出しそれに距離的に近い画像を選択することによって、類似画像が検索できるようになる。なお、上述の特徴量算出の例は、最も単純な例であり、本発明で実施される特徴量は、これに限定されるものではない。また特徴量は、画像そのものである場合もあるが、通常は、画像が複数の色から構成されているときにそれぞれの色が占める割合や、画像の各部分における色の変化の割合などを数値化した多次元の数値（ベクトル）で表される。

図３に戻り、画像検索手段27は、算出された特徴量が渡されると、特徴量蓄積手段26に予め記憶されている画像の特徴量と比較し、その類似度を判断する。この判断つまり検索により類似する画像の画像識別情報の一覧を得る。取得された類似画像の画像識別情報一覧は、レスポンス送信手段22によりクライアントパソコン100に送信される。クライアントパソコン100は、送信された画像識別情報一覧を文書管理装置200に送信する。

文書管理装置200は、画像及びサムネイル画像を識別情報と共に蓄積、管理している。従って、クライアントパソコン100から画像識別情報一覧を受信すると、画像識別情報に対応する画像若しくはサムネイル画像を読出し、その画像をクライアントパソコン100に送信する。この画像を受信したユーザー（クライアントパソコン100）は表示装置７で類似画像を確認することができる。

画像登録を行う場合は、クライアントパソコン100は、画像検索時と同様に文書管理装置200から登録しようとする画像（以下、登録キー画像と略称）を取得する。登録キー画像はサムネイル画像の場合もある。クライアントパソコン100は、取得した登録キー画像を画像検索装置300に送信する。

画像検索装置300はクライアントパソコン100から送信された登録キー画像をリクエスト受信手段21で受信し、特徴量算出手段24に渡し、特徴量算出手段24は登録キー画像の特徴量を算出し、画像登録手段25に渡す。画像登録手段25は、特徴量とその画像識別情報を組合わせ、書込み機能により特徴量を特徴量蓄積手段26に書込み登録を終了する。

続いて本発明に係る画像検索及び画像登録並びに削除手法について更に図２及び図３を参照して詳細に説明する。

（実施形態１）本実施形態では、まず画像検索装置300における検索キー画像による画像検索を行い、次いで外部データベース装置400における検索要求文による検索を行い、両検索結果を画像検索装置300が統合整理してクライアントパソコン100に送信する。

クライアントパソコン100は、検索リクエストである、検索キー画像又は検索キー画像の特徴量又は登録済み特徴量を特定する画像識別情報と、検索要求文を画像検索装置300に送信する。

検索要求文の例として、上述の乗用車の例の場合「生産国はｘ国製、年式はｙ年以降、価格ｚ万円以下の乗用車の画像を検索して下さい。」などがある。このためにクライアントパソコン100には、不図示のメモリに、予め定められたフォーマットの要求文書が記憶されており、ユーザーは検索リクエストの送信に先立ち、このフォーマットを表示装置7に表示し、生産国名、年式年数、価格等の必要項目を操作パネル6から入力して検索要求文を作成する。実際に送信される検索要求文は上記のような内容の問い合わせを外部データベース装置400に行うためのSQL文である。

画像検索装置300は、送信された検索リクエストをリクエスト受信手段21で受信し、検索リクエストが検索キー画像の場合は、その検索キー画像を特徴量算出手段24に渡し該特徴量算出手段24でその特徴量を算出し、更に画像検索手段27で特徴量蓄積手段26に予め蓄積されている特徴量を参照して類似画像の検索を行う。検索リクエストが検索キー画像の特徴量又は登録済み特徴量を特定する画像識別情報の場合は、画像検索手段27で特徴量蓄積手段26に予め蓄積されている特徴量又は特徴量の画像識別情報を参照して類似画像の検索を行う。そしてその画像識別情報を取得し、これを画像検索結果蓄積手段31に一時的に蓄積する。

次いで画像検索装置300は検索した画像識別情報と検索要求文を検索リクエストとして外部データベース通信手段23により外部データベース装置400に送信する。

外部データベース400は、検索リクエストを受信すると、受信した画像識別情報について予め蓄積している付随情報と検索要求文を参照して、検索要求文を充足する付随情報とその画像識別情報を取得し画像検索装置300に送信する。画像検索装置300に送信された付随情報及びその画像識別情報は、要求文検索結果蓄積手段32に記憶される。

続いて検索結果統合手段33は、画像検索結果蓄積手段31に記憶されている画像識別情報及び要求文検索結果蓄積手段32に記憶されている画像識別情報を比較し、その一致性を判断する。そして一致すると判断された画像識別情報をその付随情報と共にクライアントパソコン100に送信する。

図４は、以上述べた実施形態１による画像検索処理の手順を示すフロー図であり、図中、Ｓは処理のステップを表わす。図4を参照して説明すると、検索処理はまずリクエスト受信手段21が検索リクエストを受信し（S1）、検索リクエストの例えば検索キー画像により特徴量の算出等による画像検索を行い、画像識別情報を取得する（S2）。この画像識別情報と検索要求文を外部データベース装置400に送信する（S3）。外部データベース装置400は送信された画像識別情報について検索要求文を充足する画像識別情報を検索し、その画像識別情報を返してくるので、画像検索装置300は検索要求文による検索結果として画像識別情報とその付随情報を取得し（S4）、検索結果統合手段33でこれら画像識別情報の一致性を判断し（S5）、一致する画像識別情報について付随情報とともに検索結果としてレスポンス送信手段12によりクライアントパソコン100に送信し（S6）、この処理を終了する。

本実施形態によれば、画像検索装置300における画像検索結果の画像識別情報についてのみ外部データベース装置400で付随情報検索を行うので、重要な画像を中心に付随情報を確認することができる。

（実施形態２）本実施形態では、まず外部データベース装置400において検索要求文を充足する画像識別情報を検索し、次いで画像検索装置300において前段階で得られた画像の識別情報を持つ画像の特徴量のみを対象に検索リクエストの検索キー画像等により画像検索を行い、類似画像の画像識別情報を取得し、最後に両検索結果を統合整理してクライアントパソコン100に送信する。

本実施形態においても、各処理手段による検索等の動作は実施形態１と同じであるので、重複を避けるために検索等の動作説明は省略し処理の手順を説明する。

図５は、実施形態２による画像検索処理の手順を示すフロー図であり、図５を参照して説明すると、まずリクエスト受信手段21が検索リクエストである検索キー画像と検索要求文を受信すると（S11）、検索要求文を外部データベース装置400へ送信する（S12）。外部データベース装置400は送信された検索要求文を充足する画像識別情報を検索し、その画像識別情報及び付随情報を返してくるので、画像検索装置300は外部データベース装置400から検索結果としての画像識別情報及び付随情報を取得する（S13）。なお、画像識別情報は複数の集合（セット）として取得されることが多い。次に画像検索手段27は取得した画像識別情報を持つ画像のみを対象として画像検索を行い、類似画像の画像識別情報を取得し（S14）、類似度整列手段28により類似する順番に並び替える（S15）。そして検索結果統合手段33で外部データベース装置400から取得した画像識別情報と画像検索により取得した画像識別情報とを順次比較し一致する画像識別情報を取得する（S16）。取得した画像識別情報を付随情報とともに検索結果としてレスポンス送信手段22により送信し（S17）、この処理を終了する。前記一致する画像識別情報を取得するとき、所定数に達したとき取得を中止することもできる。

本実施形態によれば、外部データベース装置400から取得した画像識別情報の全てについて画像検索装置300における画像検索結果との一致を判断するので、検索要求文を充足する画像を類似度順に漏れなく入手することができる。

（実施形態３）本実施形態では、画像検索装置300は、登録キー画像及び該画像の付随情報を含む登録リクエストを受信すると、まず登録キー画像の特徴量を算出し、これを特徴量蓄積手段26に蓄積し、次にその画像識別情報と付随情報を外部データベース装置400に送信し登録させる。一方、画像識別情報を含む削除リクエストを受信すると、まずその削除リクエストと共に画像識別情報を外部データベース装置400に送信して、当該画像識別情報及びその付随情報を削除させ、次に特徴量蓄積手段26に記憶している削除対象画像の特徴量とその画像識別情報を削除する。

画像登録の際に、外部データベース装置400において登録キー画像の画像識別情報とその付随情報の登録を行っているときに何らかのエラーが生じて登録不能と判断する場合は、先に行った画像検索装置300における特徴量の登録を削除し、クライアントパソコン100に登録不可能を通知する。

画像削除の際に、画像検索装置300において登録キー画像の画像識別情報とその付随情報の削除を行っているときに何らかのエラーが生じて削除不能と判断する場合は、先に行った外部データベース装置400における画像識別情報及びその付随情報の削除を復帰（ロールバック）し、クライアントパソコン100に削除不可能を通知する。

本実施形態によれば、画像の登録又は削除と一体不可分で付随情報（画像識別情報）も登録又は削除されるという処理のアトミック性を確保することができる。このため画像検索システムとしての安全性を確保することができる。

（実施形態４）本実施形態では、画像検索装置300はクライアントパソコン100から登録、検索又は削除要求を受信したとき、画像検索装置300自身における画像の登録、検索又は削除を行い、外部データベース装置400に対して外部データベース装置400自身の付随情報の登録又は削除を行わせると共にその登録又は削除に係る履歴を作成させる。このために特徴量蓄積手段26はイベント処理定義が記述されたイベント処理定義記述テーブルを保持している。ここでイベントとは、画像検索又は、画像登録又は、画像削除を行うことをいう。

いまディーラーは外部データベース装置400に対して1日に1度、当該日におけるある自動車メーカーの乗用車の画像の登録又は削除状況を求めるとする。そこでイベント処理定義として、「時刻＃DATEに画像識別情報＃NUMが登録されたことを履歴テーブルTB001に記録せよ」あるいは「時刻＃DATEに識別情報＃NUMが削除されたことを履歴テーブルTB001に記録せよ」などがイベント処理定義記述テーブルに記録されている。このイベント処理定義の場合、＃DATE、＃NUMがイベント(登録、検索又は削除)の発生した時に確定する部分である。クライアントパソコン100から登録、検索又は削除の要求があると、いずれのイベントが発生したかの情報、時刻、対象となった画像の情報が確定する。画像検索装置300のイベント処理要求文作成手段30は、イベント処理定義中の所定のタグ即ち＃DATE、＃NUMを探し、このタグ部分に確定した時刻及び識別情報を埋め込み、外部データベース装置400のためのイベント処理要求文をSQLのINSERT/UPDATE文などの記述言語で作成する。このイベント処理要求文は外部データベース通信手段23から外部データベース装置400に送信され、外部データベース装置400は該要求文に従って画像登録、検索又は削除の履歴を作成する。この履歴はディーラーが任意の問い合わせを外部データベース装置400に行うことにより読出し閲覧が可能になる。

本実施形態によれば、ディーラーが必要とする履歴情報が随時蓄積されるにもかかわらず、クライアントパソコン100はこれらの処理を気にすることなく画像の登録削除を行うことができる。また、該イベント処理要求文の目的は履歴作成に限られるものではなく、検索キーとなった画像の付随情報そのものを更新するといった応用も可能である。

（実施形態５）本実施形態では、画像ごと即ち画像識別情報ごとに画像検索が実施された場合に実行回数を履歴中に残すようにする。

特徴量蓄積手段26はイベント発生時の処理を記述したイベント処理定義記述テーブルを画像特徴量ごとにひとつ蓄積している。イベント処理定義はそのままイベント処理要求文として利用可能な完成されたSQL文であってもよいし、前実施の形態のようにタグの置き換えによって完成するものでもよい。イベント処理定義の例として、「当該識別情報が画像検索キーとなったとき、当該識別情報に関するカウントを１増加せよ」などがある。ディーラーは特定の画像をキーとした画像検索の回数を取得したい場合、画像検索装置300にアクセスし、例えば前記イベント処理要求文を調査したい各画像の特徴量のためのイベント処理定義記述テーブルにセットする。クライアントパソコン100が検索を実行すると、画像検索装置300は特徴量蓄積手段26から指示されたイベント処理要求文を読み出し、外部データベース通信手段23により外部データベース装置400に送信する。外部データベース装置400は該要求文に従って画像検索キーとなった画像識別情報の実施回数をカウントする。ディーラーは外部データベース装置400に任意に問い合わせを行うことで検索回数の情報を取得できる。

本実施形態によれば、ディーラーは特定の画像のみを対象に画像検索の発生状況を閲覧できるので、サービスの課金処理、利用状況のトラッキング等が詳細に行えるようになる。

以上、本発明の実施形態に係る画像検索、画像登録、画像削除の手法について説明したが、この手法を実行する一連の手順をコンピュータプログラムとして記述し、かつ、このプログラムをフレキシブルディスク、CD−ROM、DVD-ROM、MO等の任意の記録媒体に記録し、これを画像検索装置のコンピュータに読み取らせることで本発明に係る画像検索、画像登録、画像削除処理を容易に実施することができる。

本発明は、上述のシステム構成により、類似画像の検索装置において利用可能になる。

本発明が適用される画像検索システムのネットワーク構成を示す図である。画像検索装置のハードウエア構成を示すブロック図である。画像検索装置で実現される各処理手段の構成を示すブロック図である。本発明の一実施形態による画像検索処理の手順を示す図である。本発明の他の実施形態による画像検索処理の手順を示す図である。

符号の説明

21・・リクエスト受信手段、22・・レスポンス送信手段、23・・外部データベース通信手段、24・・特徴量算出手段、25・・画像登録手段、26・・特徴量蓄積手段、27・・画像検索手段、28・・類似度順整列手段、30・・イベント処理要求文作成手段、31・・画像検索結果蓄積手段、32要求文検索結果蓄積手段、33・・検索結果統合手段。

Claims

クライアント装置、画像を蓄積管理する文書管理装置、画像の付随情報を蓄積管理する外部データベース装置に電気通信回線を通して接続可能な画像検索装置であって、
クライアント装置からの検索要求により類似画像を検索する手段と、
クライアント装置からの検索要求により外部データベース装置に画像の付随情報の検索要求を送信し、外部データベース装置から検索結果の付随情報を受信する手段と、
検索した類似画像と受信した付随情報をクライアントコンピュータに送信する手段と、
を備えたことを特徴とする画像検索装置。
画像及び画像の付随情報を検索する要求を受信する工程と、
画像の付随情報検索要求を外部データベース装置に送信する工程と、
画像の検索要求により画像検索を行う工程と、
検索された画像の画像識別情報を記憶する第１の記憶工程と、
外部データベース装置から画像の付随情報及び画像識別情報を受信する工程と、
受信された画像の付随情報及び画像識別情報を記憶する第２の記憶工程と、
第１及び第２の記憶工程で記憶された画像識別情報の一致を判断する工程と、
一致した画像識別情報及びその付随情報をクライアント装置に送信する工程と、
を有することを特徴とする画像検索方法。
画像及び画像の付随情報を検索する要求を受信する工程と、
受信した画像の付随情報の検索要求を外部データベース装置に送信する工程と、
外部データベース装置から検索された画像の付随情報及び画像識別情報を受信する工程と、
受信した画像の付随情報及び画像識別情報を記憶する第１の記憶工程と、
画像の検索要求により画像検索を行う工程と、
検索した画像の画像識別情報を記憶する第２の記憶工程と、
第１及び第２の記憶工程で記憶された画像識別情報の一致を判断する工程と、
一致した画像識別情報及びその付随情報をクライアント装置に送信する工程と、
を有することを特徴とする画像検索方法。
請求項２又は３記載の画像検索方法において、
画像検索装置に対する画像の登録又は削除要求と外部データベース装置に対する付随情報の登録又は削除要求を受信する工程と、
受信した画像検索装置に対する画像の登録又は削除要求と外部データベース装置に対する付随情報の登録又は削除要求により、それぞれ画像検索装置において画像の登録又は削除を行い、外部データベース装置において付随情報の登録又は削除要求を行うとき、前記登録又は削除の成否を判断する工程と、
画像検索装置における画像登録時に外部データベース装置における登録が不成功と判断するとき、画像登録を中止する工程と、
画像検索装置における画像削除時に外部データベース装置における削除が不成功と判断するとき、画像削除を中止する工程と、
を有することを特徴とする画像検索方法。
請求項4記載の画像検索方法において、
当該画像の登録、検索又は削除の処理時に係る履歴作成要求文を作成する工程と、
該要求文を外部データベース装置に送信する工程と、
を有することを特徴とする画像検索方法。
請求項５記載の画像検索方法において、
前記履歴作成要求文は当該画像の登録、検索又は削除の処理回数に係る履歴作成文を含むことを特徴とする画像検索方法。
画像検索装置のコンピュータを、
画像及び画像の付随情報を検索する要求を受信させる手段、
画像の付随情報検索要求を外部データベース装置に送信させる手段、
画像の検索要求により画像検索を行う手段、
検索された画像の画像識別情報を第１の記憶部材に記憶させる手段、
外部データベース装置から画像の付随情報及び画像識別情報を受信させる手段、
受信された画像の付随情報及び画像識別情報を第２の記憶部材に記憶させる手段、
第１及び第２の記憶部材に記憶された画像識別情報の一致を判断する手段、
一致した画像識別情報及びその付随情報をクライアント装置に送信させる手段、
として機能させるためのプログラム。
画像検索装置のコンピュータを、
画像及び画像の付随情報を検索する要求を受信させる手段、
受信した画像の付随情報の検索要求を外部データベース装置に送信させる手段、
外部データベース装置から検索された画像の付随情報及び画像識別情報を受信させる手段、
受信した画像の付随情報及び画像識別情報を第1の記憶部材に記憶させる手段、
画像の検索要求により画像検索を行う手段、
検索した画像の画像識別情報を第2の記憶部材に記憶させる手段、
第１及び第２の記憶部材に記憶された画像識別情報の一致を判断する手段、
一致した画像識別情報及びその付随情報をクライアント装置に送信させる手段、
として機能させるためのプログラム。
請求項7又は８記載のプログラムを記録したコンピュータ読取り可能な記録媒体。