JP2004005303A - 画像検索装置、画像検索方法及び画像検索プログラム - Google Patents
画像検索装置、画像検索方法及び画像検索プログラム Download PDFInfo
- Publication number
- JP2004005303A JP2004005303A JP2002161052A JP2002161052A JP2004005303A JP 2004005303 A JP2004005303 A JP 2004005303A JP 2002161052 A JP2002161052 A JP 2002161052A JP 2002161052 A JP2002161052 A JP 2002161052A JP 2004005303 A JP2004005303 A JP 2004005303A
- Authority
- JP
- Japan
- Prior art keywords
- image
- search
- search target
- feature amount
- similar
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
- Complex Calculations (AREA)
Abstract
【課題】従来の画像検索方法では、人間の類似感覚と一致した類似画像を得ることができない問題があった。
【解決手段】基準画像及び前記検索対象画像群に含まれる検索対象画像の各々から、当該画像の複数の視覚的な特徴量を抽出する特徴量抽出工程S404と、前記検索対象画像毎に、前記基準画像の特徴量に対して所定条件を満たすだけ近似している当該検索対象画像の特徴量を選択する特徴量選択工程S405と、前記選択された特徴量のみに基づいて、前記検索対象画像群から前記基準画像に類似する画像を抽出する類似画像抽出工程S409とを含む画像検索方法を用いることによって上記課題を解決できる。
【選択図】 図4
【解決手段】基準画像及び前記検索対象画像群に含まれる検索対象画像の各々から、当該画像の複数の視覚的な特徴量を抽出する特徴量抽出工程S404と、前記検索対象画像毎に、前記基準画像の特徴量に対して所定条件を満たすだけ近似している当該検索対象画像の特徴量を選択する特徴量選択工程S405と、前記選択された特徴量のみに基づいて、前記検索対象画像群から前記基準画像に類似する画像を抽出する類似画像抽出工程S409とを含む画像検索方法を用いることによって上記課題を解決できる。
【選択図】 図4
Description
【0001】
【発明の属する技術分野】
本発明は、複数の画像から共通する特徴部分を有する画像を検索する画像検索装置、画像検索方法及び画像検索プログラムに関する。
【0002】
【従来の技術】
近年のネットワークの発達やデータストレージの大容量化に伴って、大量の画像情報を保存する画像データベースが多数構築されている。これらの画像データベースは、インターネット等の情報伝達媒体を通じて簡単に利用できる。また、デジタルカメラ、デジタルビデオやスキャナの普及により、個々のユーザが大量の画像データを保有することも少なくない。さらに、クリップアート集や画像素材集として、ビジネス文書やプレゼンテーション資料の利用に供するための画像データが市販されるようになっている。そのため、大量の画像データ群の中から所望の画像データを適切に抽出できる画像検索手段の必要性が高まっている。
【0003】
現在、画像検索手段として最も一般的な形態はキーワード検索である。これは、画像データのそれぞれに画像データの特徴を示すキーワードを付与しておき、所望の画像データを抽出する際には、そのキーワードを手掛かりとして検索を行う手段である。
【0004】
しかし、キーワードの自動抽出が容易な文書データと異なり、画像データに対してはキーワードを人手によって付与する必要があり、大量の画像データを含むデータベースを構築する場合等には膨大な労力が必要となる。また、画像データの場合、画像を構成する要素のいずれに着目するかによって、付与すべきキーワードも異なってくるため、一貫した基準に従ってキーワードを付与することが困難となる。
【0005】
別の画像検索手段として、画像自体を検索の手掛かりとして検索を行う類似画像検索手段がある。類似画像検索手段では、検索対象となる画像データ群からキーとなる基準画像に類似する画像を抽出する。このとき、基準画像および画像データ群に含まれる各々の画像データから特徴量を抽出し、その特徴量を比較することによって基準画像に類似する画像データを抽出する。
【0006】
例えば、「岩波講座マルチメディア情報学8 情報の構造化と検索」(西尾章治郎他著、岩波書店)に、商標意匠データベースシステムTRADEMARKにおける類似画像検索の方法が記載されている。このシステムでは、基準画像と検索対象画像のそれぞれを複数のメッシュ領域に分割し、各メッシュの画像情報およびメッシュ間の画像情報の関係を用いて、4種類の画像の特徴量を抽出している。特徴量は、濃淡分布(64次元)、ラン長分布(256次元)、局所相関(24次元)および局所コントラスト(24次元)であり、いずれも多次元ベクトルとして表される。基準画像および検索対象画像は、これらの4種類の特徴量を結合した多次元空間の一点としてマッピングされ、この多次元空間におけるユークリッド距離が画像同士の類似度を決定するために利用される。すなわち、基準画像の特徴量を示す点と、検索対象画像の特徴量を示す点とのユークリッド距離が小さいほど、画像同士が類似しているものと判断される。
【0007】
また、特開2000−48181号公報には、画像の特徴量のそれぞれについて重み付けを行い、重み付けされた特徴量に基づいて画像間の類似性を比較する方法が開示されている。
【0008】
当該方法では、基準画像および検索対象となる画像データの各々から複数の特徴量を抽出する。ここで、特徴量は、彩度の平均値C0、スペクトラム画像のピーク値P0、エッジの強さE0が例示されている。次に、基準画像から抽出した特徴量に基づいて、各特長量に適用される重み付けが決められる。例えば、色に関する特徴量の重み付けWc、テクスチャに関する重み付けWtが決定される。ここで、基準画像の彩度の平均値C0が大きいほど色の重み付けWcを大きくし、基準画像のスペクトラム画像のピーク値P0およびエッジの強さE0が大きいほどテクスチャの重み付けWtを大きく設定する。基準画像と各検索対象画像データの類似性は、C0×Wcで表される重み付けされた色の特徴量Rcと(P0+E0)×Wtで表される重み付けされたテクスチャの特徴量Rtに基づいて求められる。このように、基準画像の特徴に従って算出される重み付けされた特徴量を利用することによって、テクスチャの周期性やエッジの強度が弱く、彩度が高い基準画像では色を重視し、逆に、彩度が低く、テクスチャの周期性やエッジが強い基準画像ではテクスチャを重視して画像を検索することができる。
【0009】
【発明が解決しようとする課題】
しかしながら、上記従来技術では、人間の類似感覚と一致した検索結果が得られない問題がある。例えば、図1のように、基準画像101は各部が彩色された画像であり、検索対象となる画像102〜104は、それぞれ輪郭のみが黒線で描かれた線図、基準画像101と等しい明度の単一色を施された単色画像および基準画像101と同一色でスケッチ風に描かれたスケッチ画像であるとする。このとき、画像の特徴量として明度、彩度、色相およびエッジの強さを選択すると、基準画像101に対して、画像102では明度、彩度および色相が異なり、画像103では彩度および色相が異なり、画像104ではエッジの強さが異なるために、基準画像101と各画像102〜104は類似しないものと判断される。
【0010】
そこで、特徴量を重み付けする場合でも、基準画像101では彩度とエッジの強さが大きい値をもつため、色に関する重み付けWcとテクスチャに関する重み付けWtの両方が大きい値に設定される。その結果、画像102と画像103では色の特徴が異なり、画像104ではテクスチャの特徴が異なるために、いずれの画像も基準画像と類似しないものと判断される。
【0011】
これは、基準画像101に対して明度、彩度、色相およびエッジの強さの特徴量を選択したことが適切でなかったためである。このように、基準画像の特徴を示す特徴量を普遍的に選択することは困難であり、検索対象画像毎に適切な特徴量を選択して類似画像を抽出できる手段が必要となる。
【0012】
本発明は、上記従来技術の問題を鑑みて、基準画像と検索対象画像を比較して適切な特徴量を選択し、人間の類似感覚と一致した検索結果を得ることができる画像検索装置、画像検索方法及び画像検索プログラムを提供することを目的とする。
【0013】
【課題を解決するための手段】
上記課題を解決するための本発明は、検索対象画像を複数含む検索対象画像群の中から、検索キーとなる基準画像に類似する画像を見出す画像検索装置であって、前記基準画像及び前記検索対象画像群に含まれる検索対象画像の各々から、当該画像の複数の視覚的な特徴量を抽出する特徴量抽出手段と、前記検索対象画像毎に、前記基準画像の特徴量に対して所定条件を満たすだけ近似している当該検索対象画像の特徴量を選択する特徴量選択手段と、前記選択された特徴量のみに基づいて、前記検索対象画像群から前記基準画像に類似する画像を抽出する類似画像抽出手段とを含むことを特徴とする。
【0014】
さらに、上記画像検索装置において、前記類似画像抽出手段は、前記選択された特徴量と併せて、さらに、前記検索対象画像毎に選択された特徴量の数と、当該検索対象画像から抽出された特徴量の全数との差異に基づいて、前記検索対象画像群から前記基準画像に類似する画像を抽出することが好適である。
【0015】
また、上記課題を解決するための本発明の別の形態は、検索対象画像を複数含む検索対象画像群の中から、検索キーとなる基準画像に類似する画像を見出す画像検索装置であって、前記基準画像及び前記検索対象画像群に含まれる検索対象画像の各々から、当該画像の複数の視覚的な特徴量を抽出する特徴量抽出手段と、前記検索対象画像毎に、当該検索対象画像及び前記基準画像から抽出された特徴量の差異に基づいて当該特徴量を重み付けする特徴量修正手段と、前記重み付けされた特徴量に基づいて、前記検索対象画像群から前記基準画像に類似する画像を抽出する類似画像抽出手段とを含むことを特徴とする。
【0016】
さらに、上記画像検索装置において、前記類似画像抽出手段は、前記重み付けされた特徴量と併せて、さらに、前記特徴量を重み付けする前後における当該特徴量の差異に基づいて、前記検索対象画像群の中から前記基準画像に類似する画像を抽出することが好適である。
【0017】
上記課題を解決するため本発明は、検索対象画像を複数含む検索対象画像群の中から、検索キーとなる基準画像に類似する画像を見出す画像検索方法であって、前記基準画像及び前記検索対象画像群に含まれる検索対象画像の各々から、当該画像の複数の視覚的な特徴量を抽出する特徴量抽出工程と、前記検索対象画像毎に、前記基準画像の特徴量に対して所定条件を満たすだけ近似している当該検索対象画像の特徴量を選択する特徴量選択工程と、前記選択された特徴量のみに基づいて、前記検索対象画像群から前記基準画像に類似する画像を抽出する類似画像抽出工程とを含むことを特徴とする。
【0018】
さらに、上記画像検索方法において、前記類似画像抽出工程は、前記選択された特徴量と併せて、さらに、前記検索対象画像毎に選択された特徴量の数と、当該検索対象画像から抽出された特徴量の全数との差異に基づいて、前記検索対象画像群から前記基準画像に類似する画像を抽出することが好適である。
【0019】
また、上記課題を解決するための本発明の別の形態は、検索対象画像を複数含む検索対象画像群の中から、検索キーとなる基準画像に類似する画像を見出す画像検索方法であって、前記基準画像及び前記検索対象画像群に含まれる検索対象画像の各々から、当該画像の複数の視覚的な特徴量を抽出する特徴量抽出工程と、前記検索対象画像毎に、当該検索対象画像及び前記基準画像から抽出された特徴量の差異に基づいて当該特徴量を重み付けする特徴量修正工程と、前記重み付けされた特徴量に基づいて、前記検索対象画像群から前記基準画像に類似する画像を抽出する類似画像抽出工程とを含むことを特徴とする。
【0020】
さらに、上記画像検索方法において、前記類似画像抽出工程は、前記重み付けされた特徴量と併せて、さらに、前記特徴量を重み付けする前後における当該特徴量の差異に基づいて、前記検索対象画像群の中から前記基準画像に類似する画像を抽出することが好適である。
【0021】
上記課題を解決するための本発明は、検索対象画像を複数含む検索対象画像群の中から、検索キーとなる基準画像に類似する画像を見出す画像検索プログラムであって、コンピュータに、前記基準画像及び前記検索対象画像群に含まれる検索対象画像の各々から、当該画像の複数の視覚的な特徴量を抽出する特徴量抽出工程と、前記検索対象画像毎に、前記基準画像の特徴量に対して所定条件を満たすだけ近似している当該検索対象画像の特徴量を選択する特徴量選択工程と、前記選択された特徴量のみに基づいて、前記検索対象画像群から前記基準画像に類似する画像を抽出する類似画像抽出工程とを実行させることを特徴とする。
【0022】
さらに、上記画像検索プログラムにおいて、前記類似画像抽出工程は、前記選択された特徴量と併せて、さらに、前記検索対象画像毎に選択された特徴量の数と、当該検索対象画像から抽出された特徴量の全数との差異に基づいて、前記検索対象画像群から前記基準画像に類似する画像を抽出することが好適である。
【0023】
また、上記課題を解決するための本発明の別の形態は、検索対象画像を複数含む検索対象画像群の中から、検索キーとなる基準画像に類似する画像を見出す画像検索プログラムであって、コンピュータに、前記基準画像及び前記検索対象画像群に含まれる検索対象画像の各々から、当該画像の複数の視覚的な特徴量を抽出する特徴量抽出工程と、前記検索対象画像毎に、当該検索対象画像及び前記基準画像から抽出された特徴量の差異に基づいて当該特徴量を重み付けする特徴量修正工程と、前記重み付けされた特徴量に基づいて、前記検索対象画像群から前記基準画像に類似する画像を抽出する類似画像抽出工程とを実行させることを特徴とする。
【0024】
さらに、上記画像検索プログラムにおいて、前記類似画像抽出工程は、前記重み付けされた特徴量と併せて、さらに、前記特徴量を重み付けする前後における当該特徴量の差異に基づいて、前記検索対象画像群の中から前記基準画像に類似する画像を抽出することが好適である。
【0025】
【発明の実施の形態】
本発明の実施の形態について、図を参照して説明する。
【0026】
本発明の実施の形態における画像検索装置は、図2のように、制御部200、標準記憶部202、出力部204、コマンド入力部206、画像入力部208、データベース部210及びバス212から基本的に構成される。制御部200、標準記憶部202、出力部204、コマンド入力部206、画像入力部208およびデータベース部210はバス212を介して情報(データ)伝達可能に接続される。
【0027】
本実施の形態における画像検索装置は、図2のように、さらにバス212に接続されたインターフェース部214を備えていても良い。画像検索装置は、インターフェース部214を介して外部のネットワーク216に情報伝達可能に接続され、ネットワーク216を介して画像データを受信できるものとしても良い。
【0028】
制御部200は、標準記憶部202に格納されている画像検索プログラムを実行し、データベース部210に格納されている画像データ群またはネットワークを介して受信される画像データ群から基準画像に類似する画像データを検索する。検索された画像データは、出力部204または標準記憶部202へ出力される。制御部200は、一般的なコンピュータに用いられるCPUとすることができる。
【0029】
標準記憶部202は、制御部200で実行される画像検索プログラム、検索処理に用いられるパラメータ及び検索結果である画像データなどを格納および保持する。標準記憶部202は、バス212を介して制御部200から適宜参照することができる。標準記憶部202は、一般的な半導体メモリ、ハードディスク装置、光磁気ディスク装置などを適宜選択して用いることができる。
【0030】
出力部204は、制御部200から出力された検索結果をユーザが確認可能な情報として出力する。また、ユーザが画像検索を行う際にコマンドやパラメータを入力する際のユーザインターフェースとしても用いられる。出力部204は、ディスプレイ装置、プリンタなどを適宜選択して用いることができる。
【0031】
コマンド入力部206は、画像検索プログラムを実行する際の制御コマンドやパラメータをユーザが入力するために用いられる。例えば、制御部200に対して標準記憶部202に格納されている画像検索プログラムの実行開始を命令する際の制御コマンドを入力する際に用いられる。コマンド入力部206は、キーボード、マウスまたはタッチパネルなどを適宜選択して用いることができる。
【0032】
画像入力部208は、検索のキーとなる基準画像や検索対象となる画像データを入力する際に用いられる。画像入力部208から入力された画像データは、データベース部210または標準記憶部202に格納および保持される。画像入力部208は、スキャナ、デジタルカメラまたはデジタルビデオなどの一般的な画像入力装置を適宜選択して用いることができる。
【0033】
データベース部210は、画像入力部208やネットワーク216から取り込まれた画像データを格納および保持する。画像データは、ビットマップ形式、jpeg形式、tiff形式などの様々な画像形式で格納および保持することができる。データベース部210に保持された画像データは、バス212を介して制御部200から適宜参照することができる。データベース部210は、データ量が多い画像データを格納および保持する必要があるため、ハードディクス装置、光磁気ディスク装置などの大容量記憶装置を適宜選択して用いることが好適である。
【0034】
<第1の画像検索方法>
以下に、上記画像検索装置を用いて、検索対象となる画像データ群から基準画像に類似する画像データを検索する第1の画像検索方法について、図を参照して詳細に説明する。
【0035】
図3に、本画像検索方法における画像検索方法を概念的に表したブロック図を示す。検索キーとなる基準画像の画像データは、特徴量抽出手段301へ入力され、少なくとも1つの特徴量303が抽出される。同様に、検索対象となる画像データの各々は、特徴量抽出手段302へ入力され、基準画像データと同一の種類の特徴量304が抽出される。基準画像データおよび検索対象画像データの特徴量303,304は、特徴量選択手段305へ入力され、それぞれ同種の特徴量同士を比較し、類似性の高い特徴量のみが選択される。類似性の高い特徴量が選択され、基準画像データおよび検索対象画像データのそれぞれに対する選択された特徴量306,307として出力される。選択された特徴量306,307は、類似画像抽出手段308へ入力され、その選択された特徴量306,307のみに基づいて基準画像と検索対象画像との類似度を求める。以上の処理を、検索対象となる全ての画像データに対して順次行うことによって、より高い類似度を有する検索対象画像が基準画像に類似するものとして抽出される。
【0036】
上記処理は、具体的には上記画像検索装置において画像検索プログラムを実行することによって行われる。図4に、第1の画像検索方法における処理のフローチャートを示す。第1の画像検索方法の処理は、画像検索プログラムとして標準記憶部202に格納および保持され、制御部200によって適宜読み出されて実行される。
【0037】
ユーザは、コマンド入力部206から画像検索を開始するための制御コマンドを入力する。制御部200は、制御コマンドを受けて、標準記憶部202に記憶されている画像検索プログラムを実行する。画素検索プログラムが実行されると、処理は直ちにステップS401へ移行する。
【0038】
ステップS401では、画像入力部208から検索のキーとなる基準画像の画像データが読み込まれる。これとは別に、基準画像データはインターフェース部214を用いて、ネットワーク216を介して画像検索装置の外部から読み込むこともできる。さらに、データベース部210に予め格納および保持されている画像データ群を画像として出力部204に表示し、その中の1つをユーザが適宜選択し、コマンド入力部206を用いて指定することによって、基準画像を決定することもできる。基準画像データは、標準記憶部202またはデータベース部210に格納および保持され、制御部200によって適宜読み出されて処理に供される。
【0039】
ステップS402では、基準画像から少なくとも1つの特徴量が抽出される。基準画像は、図5に示すように、水平方向にK分割および垂直方向にL分割され、K×L=N個の小領域に分割される。これらの各小領域ごとに特徴量が抽出される。第1の画像検索方法では、例として、明度、色およびエッジに関する特徴量が抽出されるものとする。
【0040】
基準画像がCIELAB色空間で表現された画素からなるディジタル画像データであるとする。画像データは、他の色空間で表現されたものであっても良いが、人間の視覚特性との整合性を考慮すればCIELAB色空間のような均等色空間によって表現することが好適である。
【0041】
明度および色に関する特徴量は以下の手順で求められる。画像上の位置(x,y)における画素値をp(x,y)とすると、画像はCIELAB色空間で表現されているため数式(1)のように表すことができる。
【数1】
さらに、小領域のうちi番目(i=0,1,・・・N−1)の小領域をSiとすると、小領域Siにおける平均明度Liおよび平均色Ciはそれぞれ数式(2)および数式(3)で表される。ここで、数式(2)および数式(3)におけるPiは、小領域Si内の画素数とする。
【数2】
全ての小領域Siについて平均明度Liおよび平均色Ciを求め、それらを要素とする特徴ベクトルを数式(4)および数式(5)によって求め、それぞれを基準画像に対する明度の特徴量Lkeyおよび色の特徴量Ckeyとする。ここで、数式(5)におけるベクトル表記は、数式(6)のように各要素を羅列したベクトルを意味するものとする。
【数3】
一方、基準画像のエッジに関する特徴量は以下の手順で求められる。本画像検出方法では、Sobelオペレータによる水平方向および垂直方向のエッジ検出を利用したエッジに関する特徴量抽出の例を示す。
【0042】
画像上の位置(x,y)における水平方向のエッジの強度Ex(x,y)および垂直方向のエッジの強度Ey(x,y)は、それぞれ数式(7)および数式(8)によって表される。ここで、数式(7)および数式(8)における‖A‖は、Aのノルムを意味する。
【数4】
ここでは、色の不連続点も画像のエッジとしてp(x,y)を用いたが、色を考慮せず画像の明度のみからエッジの強度を求めたい場合には、p(x,y)の代わりにL*(x,y)を用いれば良い。小領域Siにおける水平方向のエッジの平均強度Exiおよび垂直方向のエッジの平均強度Eyiは、それぞれ数式(9)および数式(10)で表される。
【数5】
さらに、数式(9)および数式(10)によって得られた水平方向および垂直方向のエッジの平均強度Exi,Eyiを用いて、小領域Siのエッジの強度Eiを数式(11)で定義する。
【数6】
全ての小領域Siに対するエッジの強度Eiを求め、それらを要素とする特徴ベクトルを数式(12)によって求め、基準画像データに対するエッジの特徴量Ekeyとする。ここで、数式(12)の表記は、数式(6)のように各要素を羅列したベクトルを意味するものとする。
【数7】
以上により、基準画像データから明度、色およびエッジに関する特徴量が、それぞれ特徴ベクトルLkey,CkeyおよびEkeyとして抽出される。
【0043】
本画像検索方法では、画像を小領域Siに分割した上で明度、色およびエッジに関する特徴量を抽出したが、本発明の画像検索方法はこれに限定されるものではない。例えば、画像を小領域Siに分割することなく、画像全体を1つの領域として特徴量Lkey,CkeyおよびEkeyを抽出しても良い。
【0044】
ステップS403からS404では、検索対象画像データから特徴量の抽出を行う。検索対象画像データは、データベース部210に予め定められた順序で格納および保持されているものとし、検索対象画像データのいずれか1つを示すポインタ(アドレス)が最初の画像データを示すように初期化されているものとする。ステップS403では、制御部200は、データベース部210からポインタが示す画像データを読み出す。
【0045】
ステップS404では、読み出された画像データから明度、色およびエッジに関する特徴量が抽出される。各特徴量の抽出は、上記の基準画像に対するものと同様に数式(1)〜数式(12)を用いて行われ、それぞれ特徴ベクトルLsubj,CsubjおよびEsubjとして抽出される。ここで、j=0,1,・・・は各画像データに固有に割り当てられた識別番号とする。
【0046】
ステップS405では、基準画像からの特徴量Lkey,CkeyおよびEkeyと、検索対象画像データからの特徴量Lsubj,CsubjおよびEsubjとを比較し、類似度を算出するために用いられる特徴量を選択する。
【0047】
基準画像の各特徴量を示す特徴ベクトルと、検索対象画像データの各特徴量を示す特徴ベクトルとの比較は、数式(13)から数式(15)に示す相関係数RL,RcおよびREを算出することによって行う。ここで、A・BはベクトルAとベクトルBとの内積を意味する。
【数8】
特徴量の選択は、相関係数RL,RCおよびREが予め定めた閾値TRを超える特徴量を選択することによって行う。
【0048】
以下に、例として、図1における画像101を基準画像、画像103を検索対象画像データとした場合の特徴量の選択について説明する。画像101は、星が黄色、葉が緑、幹が茶色で彩色された画像である。これに対して、画像103は、画像101と対応する部分の明度が等しい単一色が施された単色画像である。両画像では、各部の明度は等しいため、明度の特徴量LkeyとLsubjは等しくなる。一方、色の特徴量CkeyとCsubjは著しく異なる。エッジの特徴量EkeyとEsubjは、色が異なるため全く等しくはならないが、画像上の同じ位置に同じ方向のエッジを有するためEkeyとEsubjは高い相関を持つこととなる。従って、各特徴量に対する相関係数は、例えば、RL=1.0,RC=0.1およびRE=0.8となる。特徴量を選択するための閾値TRを0.5とすると、これを上回るRL及びREが選択される。
【0049】
特徴量の選択方法は上記の相関係数を用いる方法に限られるものではなく、対応する2つの特徴量の類似性を比較できる方法であれば良い。例えば、相関係数の代わりに2つの特徴ベクトル間のユークリッド距離を用いて選択しても良い。この場合、特徴ベクトル間のユークリッド距離は、対象ベクトル間の非類似性を示すので、予め定めた閾値TRより小さいユークリッド距離を有する特徴量を選択する。
【0050】
さらに、ユーザ自身が特徴の選択を行うことにより、ユーザが注目する画像検索の意図を反映したシステムを構築することも可能である。この場合、出力部204にユーザインターフェースを表示し、ユーザが選択する特徴量をコマンド入力部206から指定して選択する。
【0051】
ステップS406では、類似度の算出を行う。類似度とは、選択された特徴量に対して基準画像と検索対象画像データとの間の近似性を示す評価値をいう。具体的には、例えば、図1の画像101を基準画像、画像103を検索対象画像データとし、ステップS405において明度およびエッジに関する特徴量が選択された場合には、数式(16)を用いて類似度Rを算出することができる。
【数9】
数式(16)では、基準画像と検索対象画像データにおいて選択された特徴量間の相関係数を用いている。一般に画像からM種類の特徴量が選択される場合、基準画像の特徴量をFj,key、検索対象画像データの特徴量をFj,subjとすると、両者の相関係数による類似度Rは数式(17)で表すことができる。ここで、Gは、ステップS405で選択された特徴量の集合を示す。なお、ステップS405で選択された特徴量の数が0である場合はR=0とする。
【数10】
類似度の算出方法は相関係数を用いる方法に限られるものではなく、基準画像と検索対象画像データについて選択された特徴量の類似性を評価できる方法であれば良い。例えば、数式(18)のように、相関係数の代わりに特徴量ベクトル間のユークリッド距離Dを用いても良い。この場合、ベクトル間のユークリッド距離Dは2つのベクトルの非類似性を示すので、ユークリッド距離Dの値が小さいほど類似性は高くなる。
【数11】
ステップS407では、基準画像と検索対象画像データとの類似度が、検索対象画像データと関連付けられて標準記憶部202又はデータベース部210へ格納および保持される。
【0052】
ステップS408では、検索対象となる画像データ群に含まれる全ての画像データについて、基準画像との類似度が算出されたか否かが判断される。検索対象画像データは、データベース部210に予め定められた順序で保持されているので、上記のS403からS407で処理の対象となった検索対象画像データを示すポインタが最後のものであるか否かを判断し、最後のポインタでなければポインタを次の値として処理をステップS403へ戻す。最後のポインタであればステップS409へ処理を移行する。
【0053】
ステップS409では、類似度を相関係数を用いて算出した場合は、標準記憶部202又はデータベース部210に保持されている類似度を降順に並び替える。類似度をユークリッド距離などの非類似性を示す評価値として算出した場合には昇順に並び替える。その結果、最大の類似度を有する検索対象画像データを基準画像データに類似する画像の画像データとして抽出する。また、類似する画像を複数抽出したい場合には、所定の閾値以上の類似度を有する検索対象画像データを抽出することも好適である。
【0054】
ステップS410では、類似度の並び替えの結果を用いて、検索結果の表示を行う。検索結果は、最大の類似度を有する検索対象画像データを出力部204に表示することができる。また、類似度が高いものから順に所定の数だけ選択し、それらに関連付けられた検索対象画像データを出力部204に表示することも好適である。さらに、予め閾値を定めておき、この閾値を超える類似度を有する検索対象画像データを出力部204に表示することも好適である。この場合、閾値を超える類似度を有する検索対象画像データが存在しないときには「類似画像無し」等の表示を行うこともできる。
【0055】
以上のように、第1の画像検索方法によれば、基準画像と検索対象画像を比較して適切な特徴量を選択し、検索対象となる画像データ群から基準画像と人間の類似感覚と一致した類似性を有する画像を検索することができる。
【0056】
<第2の画像検索方法>
上記第1の画像検索方法では、基準画像と検索対象画像データとの特徴の一部のみが異なる場合に、基準画像と検索対象画像データとが全く同一である場合と等しい類似度が算出されることがある。例えば、図1において、画像101が基準画像、画像103が検索対象画像データである場合に、両画像は明度が同一であるため、明度に関する特徴量LkeyとLsubjとは等しく、色に関する特徴量CkeyとCsubjは大きく異なるものとなる。また、エッジに関する特徴量EkeyとEsubjとは高い相関を示すものとなる。このとき、特徴量を選択するための閾値を高く設定すると、明度に関する特徴量のみが選択される。数式(17)を用いて類似度を算出した場合に類似度Rは1となり、基準画像と検索対象画像データが全く同一である場合と等しくなってしまう。
【0057】
このような問題を回避するために、選択された特徴量に応じて類似度を修正する方法が考えられる。以下に、類似度を修正して画像データを検索する第2の画像検索方法について、図を参照して詳細に説明する。
【0058】
図6に、本画像検索方法における画像検索方法を概念的に表したブロック図を示す。検索キーとなる基準画像の画像データは、特徴量抽出手段601へ入力され、少なくとも1つの特徴量603が抽出される。同様に、検索対象となる画像データの各々は、特徴量抽出手段602へ入力され、基準画像データと同一の種類の特徴量604が抽出される。特徴量603,604は、特徴量選択手段605へ入力され、それぞれ同種の特徴量同士が比較され、類似性の高い特徴量のみが選択される。類似性の高い特徴量が選択され、基準画像データ及び検索対象画像データのそれぞれに対する選択された特徴量606,607として出力される。選択された特徴量606,607は、類似画像抽出手段608に入力される。一方、特徴量選択手段605からは、特徴量を選択した際の情報として特徴量選択情報610が出力される。特徴量選択情報610は、類似度修正係数算出手段611に入力され、類似度修正係数612が求められる。類似度修正係数612は、類似画像抽出手段608に入力され、選択された特徴量606,607に基づいて基準画像データと検索対象画像データの類似度が算出され、その類似度は類似度修正係数612によって修正されて、最終的な類似度として求められる。類似画像抽出手段608では、以上の処理を、検索対象となる全ての画像データに対して順次行うことによって、より高い類似度を有する検索対象画像を基準画像に類似する画像として抽出し、出力609とする。
【0059】
上記処理は、具体的には上記画像検索装置において画像検索プログラムを実行することによって行われる。図7に、第2の画像検索方法における処理のフローチャートを示す。第2の画像検索方法の処理は、画像検索プログラムとして標準記憶部202に格納および保持され、制御部200によって適宜読み出されて実行される。
【0060】
図7のフローチャートにおいて、ステップS701からS705の処理は、上記第1の画像検索方法におけるステップS401からS405における処理と同一であるため説明を省略する。
【0061】
ステップS706では、ステップS705における特徴量の選択状況に基づいて、類似度修正係数qを算出する。類似度修正係数qは、例えば、数式(19)を用いて求めることができる。ここで、Dim(A)はベクトルAの次元数を示す。また、関数f(x)は引数xに対する単調増加関数であり、例えば、図8に示すような関数である。
【数12】
数式(19)を用いることによって、ステップS705で選択された特徴量の種類が多いほど類似度修正係数qの値は大きくなる。例えば、図8に示す関数f(x)を用いた場合、全ての特徴量が選択されるとq=1.0となる。
【0062】
また、図1における画像101が基準画像データ、画像103が検索対象画像データである場合、ステップS705において明度に関する特徴量のみが選択されたとすると、Dim(Lkey)=N、Dim(Ckey)=2NおよびDim(Ekey)=2Nであるから、数式(19)の引数はN/(N+2N+2N)=0.2となる。図8を用いると、類似度修正係数qは0.76となる。
【0063】
ステップS707では、類似度修正係数qによる修正を加えた類似度Rを算出する。類似度の算出方法には、基準画像データと検索対象画像データとについて選択された特徴量の相関係数を算出する数式(17)に対して、類似度修正係数qを用いて修正を行った数式(20)を用いることができる。
【数13】
上記例では、類似度修正係数qは0.76となるので、数式(20)を用いると、類似度Rは0.76となる。このように、選択された特徴量の種類数に応じて類似度Rの値が修正され、基準画像データと検索対象画像データとの違いを適切に反映した類似度を算出することができる。
【0064】
また、相関係数の代わりに2つの選択された特徴量を示す特徴ベクトル間のユークリッド距離Dを用いる場合には、ユークリッド距離Dを類似度修正係数qによって修正した数式(21)を用いることが好適である。
【数14】
ステップS708からS711の処理は、上記第1の画像検索方法におけるステップS407からS410における処理と同一であるため説明を省略する。
【0065】
以上のように、第2の画像検索方法によれば、選択された特徴量の種類数に応じて、より適切に基準画像と検索対象画像データとの類似性を評価して画像を検索することができる。
【0066】
<第3の画像検索方法>
第1および第2の画像検索方法では、予め定めた選択条件を満足する特徴量のみを選択して類似度を算出した。このとき、特徴量が選択条件の境界付近にある場合には、画像の微妙な差異によってその特徴量が選択されたり、選択されなかったりすることとなる。その結果、画像には大きな差異がないにも関わらず、算出される類似度には大きな差異を生ずる問題が発生する可能性がある。
【0067】
このような問題を回避するために、特徴量の選択を行わず、特徴量を重み付けして類似度を算出する方法が考えられる。以下に、特徴量を重み付けして画像データを検索する第3の画像検索方法について、図を参照して詳細に説明する。
【0068】
図9に、本画像検索方法を概念的に表したブロック図を示す。検索キーとなる基準画像の画像データは、特徴量抽出手段901へ入力され、少なくとも1つの特徴量903が抽出される。同様に、検索対象となる画像データの各々は、特徴量抽出手段902へ入力され、基準画像データと同一の種類の特徴量904が抽出される。特徴量903,904は、特徴量重み付け設定手段905へ入力され、特徴量の比較が行われ、その類似性に基づいて特徴量重み付け906が算出される。特徴量重み付け906は、特徴量903,904と共に類似画像抽出手段907に入力され、これらに基づいて基準画像データと検索対象画像データとの類似度が算出される。以上の処理を検索対象となる画像データに対して順次行うことによって、高い類似度を有する画像を基準画像に類似する画像として検索する。
【0069】
上記処理は、具体的には上記画像検索装置において画像検索プログラムを実行することによって行われる。図10に、第3の画像検索方法における処理のフローチャートを示す。第3の画像検索方法の処理は、画像検索プログラムとして標準記憶部202に格納および保持され、制御部200によって適宜読み出されて実行される。
【0070】
ステップS1001からS1004の処理は、上記第1の画像検索方法におけるステップS401からS404の処理と同一であるため説明を省略する。
【0071】
ステップS1005では、ステップS1004で抽出された特徴量に対して特徴量の重み付けを行う。各特徴量の種類ごとに、特徴量重み付けwj(j=0,1・・・M−1)は数式(22)を用いて求めることができる。数式(22)における関数g(x)は引数xに対して単調増加関数であり、例えば、図11に示すような関数とすることができる。
【数15】
数式(19)を図11に示すような関数とすることによって、基準画像データと検索対象画像データから抽出された特徴量について、それぞれの特徴量間の相関係数が0.5未満の場合には特徴量重み付けwjは0となり、相関係数が0.5以上の場合には特徴量重み付けwjは相関係数に伴って増加する。
【0072】
ステップS1005では、さらに、特徴量重み付けwjを用いて、数式(23)及び数式(24)のように各特徴量の重み付けを行う。
【数16】
ステップS1006では、数式(23)及び数式(24)によって重み付けされた特徴量を用いて、数式(25)を用いて類似度Rを算出する。
【数17】
ステップS1007からS1010の処理は、上記第1の画像検索方法におけるステップS407からS410の処理と同一であるため説明を省略する。
【0073】
以上のように、第3の画像検索方法によれば、閾値などの選択条件を用いて特徴量を選択することなく、抽出した全ての特徴量に対して適切な重み付けをすることによって、画像には大きな差異がなく、特徴量が選択条件の境界付近にある場合においても、算出される類似度に大きな差異を生ずる問題を回避することができる。その結果、基準画像データと検索対象画像データとの類似性を適切に評価して画像を検索することができる。
【0074】
<第4の画像検索方法>
第3の画像検索方法において、特徴量重み付けwjに基づいて類似度を修正することも好適である。以下に、特徴量重み付けwjによって類似度を修正する第4の画像検索方法について、図を参照して詳細に説明する。
【0075】
図12に、本画像検索方法を概念的に表したブロック図を示す。検索キーとなる基準画像は、特徴量抽出手段1201へ入力され、少なくとも1つの特徴量1203が抽出される。同様に、検索対象となる画像データの各々は、特徴量抽出手段1202へ入力され、基準画像データと同一の種類の特徴量1204が抽出される。特徴量1203,1204は、特徴量重み付け設定手段1205へ入力され、特徴量の比較が行われ、その類似性に基づいて特徴量重み付け1206が算出される。特徴量重み付け設定手段1205では、さらに、類似度修正係数1211を算出する際に用いられる特徴量重み付け情報1209を出力する。特徴量重み付け情報1209は、類似度修正係数算出手段1210に入力され、類似度修正係数1211が求められる。特徴量重み付け1206及び類似度修正係数1211は、抽出された特徴量1203,1204と共に類似画像抽出手段1207へ入力され、これらに基づいて、基準画像データと検索対象画像データとの類似度が算出される。以上の処理を検索対象となる画像データに対して順次行うことによって、高い類似度を有する画像を基準画像に類似するものとして検索する。
【0076】
上記処理は、具体的には上記画像検索装置において画像検索プログラムを実行することによって行われる。図13に、第4の画像検索方法における処理のフローチャートを示す。第4の画像検索方法の処理は、画像検索プログラムとして標準記憶部202に格納および保持され、制御部200によって適宜読み出されて実行される。
【0077】
ステップS1301からS1305の処理は、上記第3の画像検索方法におけるステップS1001からS1005の処理と同一であるため説明を省略する。
【0078】
ステップS1306では、ステップS1305で算出された各特徴量に対する重み付けwjに基づいて、類似度修正係数qを算出する。類似度修正係数qは、例えば、数式(26)を用いて求めることができる。ここで、Dim(A)はベクトルAの次元数を示す。また、関数f(x)は引数xに対する単調増加関数であり、例えば、図8に示すような関数である。
【数18】
数式(26)を用いることによって、各特徴量に対する重み付けwjが大きくなるに伴って、類似度修正係数qも増加させることができる。
【0079】
ステップS1307では、類似度修正係数qによって修正された類似度Rを算出する。類似度Rの算出方法には、重み付けされた特徴量から類似度Rを求める数式(25)に対して、類似度修正係数qを用いて修正を行った数式(27)を用いることができる。
【数19】
ステップS1308からS1311の処理は、上記第3の画像検索方法におけるステップS1007からS1010の処理と同一であるため説明を省略する。
【0080】
以上のように、第4の画像検索方法によれば、特徴量に対する重み付けwjの値に応じて類似度Rを修正することによって、より適切に基準画像と検索対象画像データとの類似性を評価して画像を検索することができる。
【0081】
【発明の効果】
本発明によれば、白黒画像とカラー画像のように彩度や色相に関する特徴のみが異なる画像間、又は、線図と色塗りされた図のようにエッジの強さの特徴は共通する画像間において、従来の画像検索技術では検索が困難であった類似画像を検索することができる。すなわち、基準画像と検索対象画像データとにおいて類似する特徴を適切に選択し、人間の類似感覚と一致した類似画像を検索することを可能とした。
【図面の簡単な説明】
【図1】特徴の一部が類似した画像を例示する図である。
【図2】本発明の実施の形態における画像検索装置の構成図である。
【図3】本発明の第1の画像検索方法における処理を概念的に示すブロック図である。
【図4】本発明の第1の画像検索方法におけるフローチャートを示す図である。
【図5】画像の特徴量を抽出するための画像分割方法を説明する図である。
【図6】本発明の第2の画像検索方法における処理を概念的に示すブロック図である。
【図7】本発明の第2の画像検索方法におけるフローチャートを示す図である。
【図8】本発明の画像検索方法における関数f(x)の一例を示す図である。
【図9】本発明の第3の画像検索方法における処理を概念的に示すブロック図である。
【図10】本発明の第3の画像検索方法におけるフローチャートを示す図である。
【図11】本発明の画像検索方法における関数g(x)の一例を示す図である。
【図12】本発明の第4の画像検索方法における処理を概念的に示すブロック図である。
【図13】本発明の第4の画像検索方法におけるフローチャートを示す図である。
【符号の説明】
101 色分けされた画像、102 線図による画像、103 画像101と等しい明度の単色画像、104 画像101と同一色で描かれたスケッチ風の画像、200 制御部、202 標準記憶部、204 出力部、206 コマンド入力部、208 画像入力部、210 データベース部、212 バス、214インターフェース部、216 ネットワーク、301,302,601,602,901,902,1201,1202 特徴量抽出手段、303,304,603,604,903,904,1203,1204 特徴量、305,605 特徴量選択手段、306,307,606,607 選択された特徴量、308,608,907,1207 類似画像抽出手段、309,609,908,1208 類似度、610 特徴量選択情報、611,1210 類似度修正係数算出手段、612,1211 類似度修正係数、905,1205 特徴量重み付け設定手段、906,1206 特徴量重み付け、1209 特徴量重み付け情報。
【発明の属する技術分野】
本発明は、複数の画像から共通する特徴部分を有する画像を検索する画像検索装置、画像検索方法及び画像検索プログラムに関する。
【0002】
【従来の技術】
近年のネットワークの発達やデータストレージの大容量化に伴って、大量の画像情報を保存する画像データベースが多数構築されている。これらの画像データベースは、インターネット等の情報伝達媒体を通じて簡単に利用できる。また、デジタルカメラ、デジタルビデオやスキャナの普及により、個々のユーザが大量の画像データを保有することも少なくない。さらに、クリップアート集や画像素材集として、ビジネス文書やプレゼンテーション資料の利用に供するための画像データが市販されるようになっている。そのため、大量の画像データ群の中から所望の画像データを適切に抽出できる画像検索手段の必要性が高まっている。
【0003】
現在、画像検索手段として最も一般的な形態はキーワード検索である。これは、画像データのそれぞれに画像データの特徴を示すキーワードを付与しておき、所望の画像データを抽出する際には、そのキーワードを手掛かりとして検索を行う手段である。
【0004】
しかし、キーワードの自動抽出が容易な文書データと異なり、画像データに対してはキーワードを人手によって付与する必要があり、大量の画像データを含むデータベースを構築する場合等には膨大な労力が必要となる。また、画像データの場合、画像を構成する要素のいずれに着目するかによって、付与すべきキーワードも異なってくるため、一貫した基準に従ってキーワードを付与することが困難となる。
【0005】
別の画像検索手段として、画像自体を検索の手掛かりとして検索を行う類似画像検索手段がある。類似画像検索手段では、検索対象となる画像データ群からキーとなる基準画像に類似する画像を抽出する。このとき、基準画像および画像データ群に含まれる各々の画像データから特徴量を抽出し、その特徴量を比較することによって基準画像に類似する画像データを抽出する。
【0006】
例えば、「岩波講座マルチメディア情報学8 情報の構造化と検索」(西尾章治郎他著、岩波書店)に、商標意匠データベースシステムTRADEMARKにおける類似画像検索の方法が記載されている。このシステムでは、基準画像と検索対象画像のそれぞれを複数のメッシュ領域に分割し、各メッシュの画像情報およびメッシュ間の画像情報の関係を用いて、4種類の画像の特徴量を抽出している。特徴量は、濃淡分布(64次元)、ラン長分布(256次元)、局所相関(24次元)および局所コントラスト(24次元)であり、いずれも多次元ベクトルとして表される。基準画像および検索対象画像は、これらの4種類の特徴量を結合した多次元空間の一点としてマッピングされ、この多次元空間におけるユークリッド距離が画像同士の類似度を決定するために利用される。すなわち、基準画像の特徴量を示す点と、検索対象画像の特徴量を示す点とのユークリッド距離が小さいほど、画像同士が類似しているものと判断される。
【0007】
また、特開2000−48181号公報には、画像の特徴量のそれぞれについて重み付けを行い、重み付けされた特徴量に基づいて画像間の類似性を比較する方法が開示されている。
【0008】
当該方法では、基準画像および検索対象となる画像データの各々から複数の特徴量を抽出する。ここで、特徴量は、彩度の平均値C0、スペクトラム画像のピーク値P0、エッジの強さE0が例示されている。次に、基準画像から抽出した特徴量に基づいて、各特長量に適用される重み付けが決められる。例えば、色に関する特徴量の重み付けWc、テクスチャに関する重み付けWtが決定される。ここで、基準画像の彩度の平均値C0が大きいほど色の重み付けWcを大きくし、基準画像のスペクトラム画像のピーク値P0およびエッジの強さE0が大きいほどテクスチャの重み付けWtを大きく設定する。基準画像と各検索対象画像データの類似性は、C0×Wcで表される重み付けされた色の特徴量Rcと(P0+E0)×Wtで表される重み付けされたテクスチャの特徴量Rtに基づいて求められる。このように、基準画像の特徴に従って算出される重み付けされた特徴量を利用することによって、テクスチャの周期性やエッジの強度が弱く、彩度が高い基準画像では色を重視し、逆に、彩度が低く、テクスチャの周期性やエッジが強い基準画像ではテクスチャを重視して画像を検索することができる。
【0009】
【発明が解決しようとする課題】
しかしながら、上記従来技術では、人間の類似感覚と一致した検索結果が得られない問題がある。例えば、図1のように、基準画像101は各部が彩色された画像であり、検索対象となる画像102〜104は、それぞれ輪郭のみが黒線で描かれた線図、基準画像101と等しい明度の単一色を施された単色画像および基準画像101と同一色でスケッチ風に描かれたスケッチ画像であるとする。このとき、画像の特徴量として明度、彩度、色相およびエッジの強さを選択すると、基準画像101に対して、画像102では明度、彩度および色相が異なり、画像103では彩度および色相が異なり、画像104ではエッジの強さが異なるために、基準画像101と各画像102〜104は類似しないものと判断される。
【0010】
そこで、特徴量を重み付けする場合でも、基準画像101では彩度とエッジの強さが大きい値をもつため、色に関する重み付けWcとテクスチャに関する重み付けWtの両方が大きい値に設定される。その結果、画像102と画像103では色の特徴が異なり、画像104ではテクスチャの特徴が異なるために、いずれの画像も基準画像と類似しないものと判断される。
【0011】
これは、基準画像101に対して明度、彩度、色相およびエッジの強さの特徴量を選択したことが適切でなかったためである。このように、基準画像の特徴を示す特徴量を普遍的に選択することは困難であり、検索対象画像毎に適切な特徴量を選択して類似画像を抽出できる手段が必要となる。
【0012】
本発明は、上記従来技術の問題を鑑みて、基準画像と検索対象画像を比較して適切な特徴量を選択し、人間の類似感覚と一致した検索結果を得ることができる画像検索装置、画像検索方法及び画像検索プログラムを提供することを目的とする。
【0013】
【課題を解決するための手段】
上記課題を解決するための本発明は、検索対象画像を複数含む検索対象画像群の中から、検索キーとなる基準画像に類似する画像を見出す画像検索装置であって、前記基準画像及び前記検索対象画像群に含まれる検索対象画像の各々から、当該画像の複数の視覚的な特徴量を抽出する特徴量抽出手段と、前記検索対象画像毎に、前記基準画像の特徴量に対して所定条件を満たすだけ近似している当該検索対象画像の特徴量を選択する特徴量選択手段と、前記選択された特徴量のみに基づいて、前記検索対象画像群から前記基準画像に類似する画像を抽出する類似画像抽出手段とを含むことを特徴とする。
【0014】
さらに、上記画像検索装置において、前記類似画像抽出手段は、前記選択された特徴量と併せて、さらに、前記検索対象画像毎に選択された特徴量の数と、当該検索対象画像から抽出された特徴量の全数との差異に基づいて、前記検索対象画像群から前記基準画像に類似する画像を抽出することが好適である。
【0015】
また、上記課題を解決するための本発明の別の形態は、検索対象画像を複数含む検索対象画像群の中から、検索キーとなる基準画像に類似する画像を見出す画像検索装置であって、前記基準画像及び前記検索対象画像群に含まれる検索対象画像の各々から、当該画像の複数の視覚的な特徴量を抽出する特徴量抽出手段と、前記検索対象画像毎に、当該検索対象画像及び前記基準画像から抽出された特徴量の差異に基づいて当該特徴量を重み付けする特徴量修正手段と、前記重み付けされた特徴量に基づいて、前記検索対象画像群から前記基準画像に類似する画像を抽出する類似画像抽出手段とを含むことを特徴とする。
【0016】
さらに、上記画像検索装置において、前記類似画像抽出手段は、前記重み付けされた特徴量と併せて、さらに、前記特徴量を重み付けする前後における当該特徴量の差異に基づいて、前記検索対象画像群の中から前記基準画像に類似する画像を抽出することが好適である。
【0017】
上記課題を解決するため本発明は、検索対象画像を複数含む検索対象画像群の中から、検索キーとなる基準画像に類似する画像を見出す画像検索方法であって、前記基準画像及び前記検索対象画像群に含まれる検索対象画像の各々から、当該画像の複数の視覚的な特徴量を抽出する特徴量抽出工程と、前記検索対象画像毎に、前記基準画像の特徴量に対して所定条件を満たすだけ近似している当該検索対象画像の特徴量を選択する特徴量選択工程と、前記選択された特徴量のみに基づいて、前記検索対象画像群から前記基準画像に類似する画像を抽出する類似画像抽出工程とを含むことを特徴とする。
【0018】
さらに、上記画像検索方法において、前記類似画像抽出工程は、前記選択された特徴量と併せて、さらに、前記検索対象画像毎に選択された特徴量の数と、当該検索対象画像から抽出された特徴量の全数との差異に基づいて、前記検索対象画像群から前記基準画像に類似する画像を抽出することが好適である。
【0019】
また、上記課題を解決するための本発明の別の形態は、検索対象画像を複数含む検索対象画像群の中から、検索キーとなる基準画像に類似する画像を見出す画像検索方法であって、前記基準画像及び前記検索対象画像群に含まれる検索対象画像の各々から、当該画像の複数の視覚的な特徴量を抽出する特徴量抽出工程と、前記検索対象画像毎に、当該検索対象画像及び前記基準画像から抽出された特徴量の差異に基づいて当該特徴量を重み付けする特徴量修正工程と、前記重み付けされた特徴量に基づいて、前記検索対象画像群から前記基準画像に類似する画像を抽出する類似画像抽出工程とを含むことを特徴とする。
【0020】
さらに、上記画像検索方法において、前記類似画像抽出工程は、前記重み付けされた特徴量と併せて、さらに、前記特徴量を重み付けする前後における当該特徴量の差異に基づいて、前記検索対象画像群の中から前記基準画像に類似する画像を抽出することが好適である。
【0021】
上記課題を解決するための本発明は、検索対象画像を複数含む検索対象画像群の中から、検索キーとなる基準画像に類似する画像を見出す画像検索プログラムであって、コンピュータに、前記基準画像及び前記検索対象画像群に含まれる検索対象画像の各々から、当該画像の複数の視覚的な特徴量を抽出する特徴量抽出工程と、前記検索対象画像毎に、前記基準画像の特徴量に対して所定条件を満たすだけ近似している当該検索対象画像の特徴量を選択する特徴量選択工程と、前記選択された特徴量のみに基づいて、前記検索対象画像群から前記基準画像に類似する画像を抽出する類似画像抽出工程とを実行させることを特徴とする。
【0022】
さらに、上記画像検索プログラムにおいて、前記類似画像抽出工程は、前記選択された特徴量と併せて、さらに、前記検索対象画像毎に選択された特徴量の数と、当該検索対象画像から抽出された特徴量の全数との差異に基づいて、前記検索対象画像群から前記基準画像に類似する画像を抽出することが好適である。
【0023】
また、上記課題を解決するための本発明の別の形態は、検索対象画像を複数含む検索対象画像群の中から、検索キーとなる基準画像に類似する画像を見出す画像検索プログラムであって、コンピュータに、前記基準画像及び前記検索対象画像群に含まれる検索対象画像の各々から、当該画像の複数の視覚的な特徴量を抽出する特徴量抽出工程と、前記検索対象画像毎に、当該検索対象画像及び前記基準画像から抽出された特徴量の差異に基づいて当該特徴量を重み付けする特徴量修正工程と、前記重み付けされた特徴量に基づいて、前記検索対象画像群から前記基準画像に類似する画像を抽出する類似画像抽出工程とを実行させることを特徴とする。
【0024】
さらに、上記画像検索プログラムにおいて、前記類似画像抽出工程は、前記重み付けされた特徴量と併せて、さらに、前記特徴量を重み付けする前後における当該特徴量の差異に基づいて、前記検索対象画像群の中から前記基準画像に類似する画像を抽出することが好適である。
【0025】
【発明の実施の形態】
本発明の実施の形態について、図を参照して説明する。
【0026】
本発明の実施の形態における画像検索装置は、図2のように、制御部200、標準記憶部202、出力部204、コマンド入力部206、画像入力部208、データベース部210及びバス212から基本的に構成される。制御部200、標準記憶部202、出力部204、コマンド入力部206、画像入力部208およびデータベース部210はバス212を介して情報(データ)伝達可能に接続される。
【0027】
本実施の形態における画像検索装置は、図2のように、さらにバス212に接続されたインターフェース部214を備えていても良い。画像検索装置は、インターフェース部214を介して外部のネットワーク216に情報伝達可能に接続され、ネットワーク216を介して画像データを受信できるものとしても良い。
【0028】
制御部200は、標準記憶部202に格納されている画像検索プログラムを実行し、データベース部210に格納されている画像データ群またはネットワークを介して受信される画像データ群から基準画像に類似する画像データを検索する。検索された画像データは、出力部204または標準記憶部202へ出力される。制御部200は、一般的なコンピュータに用いられるCPUとすることができる。
【0029】
標準記憶部202は、制御部200で実行される画像検索プログラム、検索処理に用いられるパラメータ及び検索結果である画像データなどを格納および保持する。標準記憶部202は、バス212を介して制御部200から適宜参照することができる。標準記憶部202は、一般的な半導体メモリ、ハードディスク装置、光磁気ディスク装置などを適宜選択して用いることができる。
【0030】
出力部204は、制御部200から出力された検索結果をユーザが確認可能な情報として出力する。また、ユーザが画像検索を行う際にコマンドやパラメータを入力する際のユーザインターフェースとしても用いられる。出力部204は、ディスプレイ装置、プリンタなどを適宜選択して用いることができる。
【0031】
コマンド入力部206は、画像検索プログラムを実行する際の制御コマンドやパラメータをユーザが入力するために用いられる。例えば、制御部200に対して標準記憶部202に格納されている画像検索プログラムの実行開始を命令する際の制御コマンドを入力する際に用いられる。コマンド入力部206は、キーボード、マウスまたはタッチパネルなどを適宜選択して用いることができる。
【0032】
画像入力部208は、検索のキーとなる基準画像や検索対象となる画像データを入力する際に用いられる。画像入力部208から入力された画像データは、データベース部210または標準記憶部202に格納および保持される。画像入力部208は、スキャナ、デジタルカメラまたはデジタルビデオなどの一般的な画像入力装置を適宜選択して用いることができる。
【0033】
データベース部210は、画像入力部208やネットワーク216から取り込まれた画像データを格納および保持する。画像データは、ビットマップ形式、jpeg形式、tiff形式などの様々な画像形式で格納および保持することができる。データベース部210に保持された画像データは、バス212を介して制御部200から適宜参照することができる。データベース部210は、データ量が多い画像データを格納および保持する必要があるため、ハードディクス装置、光磁気ディスク装置などの大容量記憶装置を適宜選択して用いることが好適である。
【0034】
<第1の画像検索方法>
以下に、上記画像検索装置を用いて、検索対象となる画像データ群から基準画像に類似する画像データを検索する第1の画像検索方法について、図を参照して詳細に説明する。
【0035】
図3に、本画像検索方法における画像検索方法を概念的に表したブロック図を示す。検索キーとなる基準画像の画像データは、特徴量抽出手段301へ入力され、少なくとも1つの特徴量303が抽出される。同様に、検索対象となる画像データの各々は、特徴量抽出手段302へ入力され、基準画像データと同一の種類の特徴量304が抽出される。基準画像データおよび検索対象画像データの特徴量303,304は、特徴量選択手段305へ入力され、それぞれ同種の特徴量同士を比較し、類似性の高い特徴量のみが選択される。類似性の高い特徴量が選択され、基準画像データおよび検索対象画像データのそれぞれに対する選択された特徴量306,307として出力される。選択された特徴量306,307は、類似画像抽出手段308へ入力され、その選択された特徴量306,307のみに基づいて基準画像と検索対象画像との類似度を求める。以上の処理を、検索対象となる全ての画像データに対して順次行うことによって、より高い類似度を有する検索対象画像が基準画像に類似するものとして抽出される。
【0036】
上記処理は、具体的には上記画像検索装置において画像検索プログラムを実行することによって行われる。図4に、第1の画像検索方法における処理のフローチャートを示す。第1の画像検索方法の処理は、画像検索プログラムとして標準記憶部202に格納および保持され、制御部200によって適宜読み出されて実行される。
【0037】
ユーザは、コマンド入力部206から画像検索を開始するための制御コマンドを入力する。制御部200は、制御コマンドを受けて、標準記憶部202に記憶されている画像検索プログラムを実行する。画素検索プログラムが実行されると、処理は直ちにステップS401へ移行する。
【0038】
ステップS401では、画像入力部208から検索のキーとなる基準画像の画像データが読み込まれる。これとは別に、基準画像データはインターフェース部214を用いて、ネットワーク216を介して画像検索装置の外部から読み込むこともできる。さらに、データベース部210に予め格納および保持されている画像データ群を画像として出力部204に表示し、その中の1つをユーザが適宜選択し、コマンド入力部206を用いて指定することによって、基準画像を決定することもできる。基準画像データは、標準記憶部202またはデータベース部210に格納および保持され、制御部200によって適宜読み出されて処理に供される。
【0039】
ステップS402では、基準画像から少なくとも1つの特徴量が抽出される。基準画像は、図5に示すように、水平方向にK分割および垂直方向にL分割され、K×L=N個の小領域に分割される。これらの各小領域ごとに特徴量が抽出される。第1の画像検索方法では、例として、明度、色およびエッジに関する特徴量が抽出されるものとする。
【0040】
基準画像がCIELAB色空間で表現された画素からなるディジタル画像データであるとする。画像データは、他の色空間で表現されたものであっても良いが、人間の視覚特性との整合性を考慮すればCIELAB色空間のような均等色空間によって表現することが好適である。
【0041】
明度および色に関する特徴量は以下の手順で求められる。画像上の位置(x,y)における画素値をp(x,y)とすると、画像はCIELAB色空間で表現されているため数式(1)のように表すことができる。
【数1】
さらに、小領域のうちi番目(i=0,1,・・・N−1)の小領域をSiとすると、小領域Siにおける平均明度Liおよび平均色Ciはそれぞれ数式(2)および数式(3)で表される。ここで、数式(2)および数式(3)におけるPiは、小領域Si内の画素数とする。
【数2】
全ての小領域Siについて平均明度Liおよび平均色Ciを求め、それらを要素とする特徴ベクトルを数式(4)および数式(5)によって求め、それぞれを基準画像に対する明度の特徴量Lkeyおよび色の特徴量Ckeyとする。ここで、数式(5)におけるベクトル表記は、数式(6)のように各要素を羅列したベクトルを意味するものとする。
【数3】
一方、基準画像のエッジに関する特徴量は以下の手順で求められる。本画像検出方法では、Sobelオペレータによる水平方向および垂直方向のエッジ検出を利用したエッジに関する特徴量抽出の例を示す。
【0042】
画像上の位置(x,y)における水平方向のエッジの強度Ex(x,y)および垂直方向のエッジの強度Ey(x,y)は、それぞれ数式(7)および数式(8)によって表される。ここで、数式(7)および数式(8)における‖A‖は、Aのノルムを意味する。
【数4】
ここでは、色の不連続点も画像のエッジとしてp(x,y)を用いたが、色を考慮せず画像の明度のみからエッジの強度を求めたい場合には、p(x,y)の代わりにL*(x,y)を用いれば良い。小領域Siにおける水平方向のエッジの平均強度Exiおよび垂直方向のエッジの平均強度Eyiは、それぞれ数式(9)および数式(10)で表される。
【数5】
さらに、数式(9)および数式(10)によって得られた水平方向および垂直方向のエッジの平均強度Exi,Eyiを用いて、小領域Siのエッジの強度Eiを数式(11)で定義する。
【数6】
全ての小領域Siに対するエッジの強度Eiを求め、それらを要素とする特徴ベクトルを数式(12)によって求め、基準画像データに対するエッジの特徴量Ekeyとする。ここで、数式(12)の表記は、数式(6)のように各要素を羅列したベクトルを意味するものとする。
【数7】
以上により、基準画像データから明度、色およびエッジに関する特徴量が、それぞれ特徴ベクトルLkey,CkeyおよびEkeyとして抽出される。
【0043】
本画像検索方法では、画像を小領域Siに分割した上で明度、色およびエッジに関する特徴量を抽出したが、本発明の画像検索方法はこれに限定されるものではない。例えば、画像を小領域Siに分割することなく、画像全体を1つの領域として特徴量Lkey,CkeyおよびEkeyを抽出しても良い。
【0044】
ステップS403からS404では、検索対象画像データから特徴量の抽出を行う。検索対象画像データは、データベース部210に予め定められた順序で格納および保持されているものとし、検索対象画像データのいずれか1つを示すポインタ(アドレス)が最初の画像データを示すように初期化されているものとする。ステップS403では、制御部200は、データベース部210からポインタが示す画像データを読み出す。
【0045】
ステップS404では、読み出された画像データから明度、色およびエッジに関する特徴量が抽出される。各特徴量の抽出は、上記の基準画像に対するものと同様に数式(1)〜数式(12)を用いて行われ、それぞれ特徴ベクトルLsubj,CsubjおよびEsubjとして抽出される。ここで、j=0,1,・・・は各画像データに固有に割り当てられた識別番号とする。
【0046】
ステップS405では、基準画像からの特徴量Lkey,CkeyおよびEkeyと、検索対象画像データからの特徴量Lsubj,CsubjおよびEsubjとを比較し、類似度を算出するために用いられる特徴量を選択する。
【0047】
基準画像の各特徴量を示す特徴ベクトルと、検索対象画像データの各特徴量を示す特徴ベクトルとの比較は、数式(13)から数式(15)に示す相関係数RL,RcおよびREを算出することによって行う。ここで、A・BはベクトルAとベクトルBとの内積を意味する。
【数8】
特徴量の選択は、相関係数RL,RCおよびREが予め定めた閾値TRを超える特徴量を選択することによって行う。
【0048】
以下に、例として、図1における画像101を基準画像、画像103を検索対象画像データとした場合の特徴量の選択について説明する。画像101は、星が黄色、葉が緑、幹が茶色で彩色された画像である。これに対して、画像103は、画像101と対応する部分の明度が等しい単一色が施された単色画像である。両画像では、各部の明度は等しいため、明度の特徴量LkeyとLsubjは等しくなる。一方、色の特徴量CkeyとCsubjは著しく異なる。エッジの特徴量EkeyとEsubjは、色が異なるため全く等しくはならないが、画像上の同じ位置に同じ方向のエッジを有するためEkeyとEsubjは高い相関を持つこととなる。従って、各特徴量に対する相関係数は、例えば、RL=1.0,RC=0.1およびRE=0.8となる。特徴量を選択するための閾値TRを0.5とすると、これを上回るRL及びREが選択される。
【0049】
特徴量の選択方法は上記の相関係数を用いる方法に限られるものではなく、対応する2つの特徴量の類似性を比較できる方法であれば良い。例えば、相関係数の代わりに2つの特徴ベクトル間のユークリッド距離を用いて選択しても良い。この場合、特徴ベクトル間のユークリッド距離は、対象ベクトル間の非類似性を示すので、予め定めた閾値TRより小さいユークリッド距離を有する特徴量を選択する。
【0050】
さらに、ユーザ自身が特徴の選択を行うことにより、ユーザが注目する画像検索の意図を反映したシステムを構築することも可能である。この場合、出力部204にユーザインターフェースを表示し、ユーザが選択する特徴量をコマンド入力部206から指定して選択する。
【0051】
ステップS406では、類似度の算出を行う。類似度とは、選択された特徴量に対して基準画像と検索対象画像データとの間の近似性を示す評価値をいう。具体的には、例えば、図1の画像101を基準画像、画像103を検索対象画像データとし、ステップS405において明度およびエッジに関する特徴量が選択された場合には、数式(16)を用いて類似度Rを算出することができる。
【数9】
数式(16)では、基準画像と検索対象画像データにおいて選択された特徴量間の相関係数を用いている。一般に画像からM種類の特徴量が選択される場合、基準画像の特徴量をFj,key、検索対象画像データの特徴量をFj,subjとすると、両者の相関係数による類似度Rは数式(17)で表すことができる。ここで、Gは、ステップS405で選択された特徴量の集合を示す。なお、ステップS405で選択された特徴量の数が0である場合はR=0とする。
【数10】
類似度の算出方法は相関係数を用いる方法に限られるものではなく、基準画像と検索対象画像データについて選択された特徴量の類似性を評価できる方法であれば良い。例えば、数式(18)のように、相関係数の代わりに特徴量ベクトル間のユークリッド距離Dを用いても良い。この場合、ベクトル間のユークリッド距離Dは2つのベクトルの非類似性を示すので、ユークリッド距離Dの値が小さいほど類似性は高くなる。
【数11】
ステップS407では、基準画像と検索対象画像データとの類似度が、検索対象画像データと関連付けられて標準記憶部202又はデータベース部210へ格納および保持される。
【0052】
ステップS408では、検索対象となる画像データ群に含まれる全ての画像データについて、基準画像との類似度が算出されたか否かが判断される。検索対象画像データは、データベース部210に予め定められた順序で保持されているので、上記のS403からS407で処理の対象となった検索対象画像データを示すポインタが最後のものであるか否かを判断し、最後のポインタでなければポインタを次の値として処理をステップS403へ戻す。最後のポインタであればステップS409へ処理を移行する。
【0053】
ステップS409では、類似度を相関係数を用いて算出した場合は、標準記憶部202又はデータベース部210に保持されている類似度を降順に並び替える。類似度をユークリッド距離などの非類似性を示す評価値として算出した場合には昇順に並び替える。その結果、最大の類似度を有する検索対象画像データを基準画像データに類似する画像の画像データとして抽出する。また、類似する画像を複数抽出したい場合には、所定の閾値以上の類似度を有する検索対象画像データを抽出することも好適である。
【0054】
ステップS410では、類似度の並び替えの結果を用いて、検索結果の表示を行う。検索結果は、最大の類似度を有する検索対象画像データを出力部204に表示することができる。また、類似度が高いものから順に所定の数だけ選択し、それらに関連付けられた検索対象画像データを出力部204に表示することも好適である。さらに、予め閾値を定めておき、この閾値を超える類似度を有する検索対象画像データを出力部204に表示することも好適である。この場合、閾値を超える類似度を有する検索対象画像データが存在しないときには「類似画像無し」等の表示を行うこともできる。
【0055】
以上のように、第1の画像検索方法によれば、基準画像と検索対象画像を比較して適切な特徴量を選択し、検索対象となる画像データ群から基準画像と人間の類似感覚と一致した類似性を有する画像を検索することができる。
【0056】
<第2の画像検索方法>
上記第1の画像検索方法では、基準画像と検索対象画像データとの特徴の一部のみが異なる場合に、基準画像と検索対象画像データとが全く同一である場合と等しい類似度が算出されることがある。例えば、図1において、画像101が基準画像、画像103が検索対象画像データである場合に、両画像は明度が同一であるため、明度に関する特徴量LkeyとLsubjとは等しく、色に関する特徴量CkeyとCsubjは大きく異なるものとなる。また、エッジに関する特徴量EkeyとEsubjとは高い相関を示すものとなる。このとき、特徴量を選択するための閾値を高く設定すると、明度に関する特徴量のみが選択される。数式(17)を用いて類似度を算出した場合に類似度Rは1となり、基準画像と検索対象画像データが全く同一である場合と等しくなってしまう。
【0057】
このような問題を回避するために、選択された特徴量に応じて類似度を修正する方法が考えられる。以下に、類似度を修正して画像データを検索する第2の画像検索方法について、図を参照して詳細に説明する。
【0058】
図6に、本画像検索方法における画像検索方法を概念的に表したブロック図を示す。検索キーとなる基準画像の画像データは、特徴量抽出手段601へ入力され、少なくとも1つの特徴量603が抽出される。同様に、検索対象となる画像データの各々は、特徴量抽出手段602へ入力され、基準画像データと同一の種類の特徴量604が抽出される。特徴量603,604は、特徴量選択手段605へ入力され、それぞれ同種の特徴量同士が比較され、類似性の高い特徴量のみが選択される。類似性の高い特徴量が選択され、基準画像データ及び検索対象画像データのそれぞれに対する選択された特徴量606,607として出力される。選択された特徴量606,607は、類似画像抽出手段608に入力される。一方、特徴量選択手段605からは、特徴量を選択した際の情報として特徴量選択情報610が出力される。特徴量選択情報610は、類似度修正係数算出手段611に入力され、類似度修正係数612が求められる。類似度修正係数612は、類似画像抽出手段608に入力され、選択された特徴量606,607に基づいて基準画像データと検索対象画像データの類似度が算出され、その類似度は類似度修正係数612によって修正されて、最終的な類似度として求められる。類似画像抽出手段608では、以上の処理を、検索対象となる全ての画像データに対して順次行うことによって、より高い類似度を有する検索対象画像を基準画像に類似する画像として抽出し、出力609とする。
【0059】
上記処理は、具体的には上記画像検索装置において画像検索プログラムを実行することによって行われる。図7に、第2の画像検索方法における処理のフローチャートを示す。第2の画像検索方法の処理は、画像検索プログラムとして標準記憶部202に格納および保持され、制御部200によって適宜読み出されて実行される。
【0060】
図7のフローチャートにおいて、ステップS701からS705の処理は、上記第1の画像検索方法におけるステップS401からS405における処理と同一であるため説明を省略する。
【0061】
ステップS706では、ステップS705における特徴量の選択状況に基づいて、類似度修正係数qを算出する。類似度修正係数qは、例えば、数式(19)を用いて求めることができる。ここで、Dim(A)はベクトルAの次元数を示す。また、関数f(x)は引数xに対する単調増加関数であり、例えば、図8に示すような関数である。
【数12】
数式(19)を用いることによって、ステップS705で選択された特徴量の種類が多いほど類似度修正係数qの値は大きくなる。例えば、図8に示す関数f(x)を用いた場合、全ての特徴量が選択されるとq=1.0となる。
【0062】
また、図1における画像101が基準画像データ、画像103が検索対象画像データである場合、ステップS705において明度に関する特徴量のみが選択されたとすると、Dim(Lkey)=N、Dim(Ckey)=2NおよびDim(Ekey)=2Nであるから、数式(19)の引数はN/(N+2N+2N)=0.2となる。図8を用いると、類似度修正係数qは0.76となる。
【0063】
ステップS707では、類似度修正係数qによる修正を加えた類似度Rを算出する。類似度の算出方法には、基準画像データと検索対象画像データとについて選択された特徴量の相関係数を算出する数式(17)に対して、類似度修正係数qを用いて修正を行った数式(20)を用いることができる。
【数13】
上記例では、類似度修正係数qは0.76となるので、数式(20)を用いると、類似度Rは0.76となる。このように、選択された特徴量の種類数に応じて類似度Rの値が修正され、基準画像データと検索対象画像データとの違いを適切に反映した類似度を算出することができる。
【0064】
また、相関係数の代わりに2つの選択された特徴量を示す特徴ベクトル間のユークリッド距離Dを用いる場合には、ユークリッド距離Dを類似度修正係数qによって修正した数式(21)を用いることが好適である。
【数14】
ステップS708からS711の処理は、上記第1の画像検索方法におけるステップS407からS410における処理と同一であるため説明を省略する。
【0065】
以上のように、第2の画像検索方法によれば、選択された特徴量の種類数に応じて、より適切に基準画像と検索対象画像データとの類似性を評価して画像を検索することができる。
【0066】
<第3の画像検索方法>
第1および第2の画像検索方法では、予め定めた選択条件を満足する特徴量のみを選択して類似度を算出した。このとき、特徴量が選択条件の境界付近にある場合には、画像の微妙な差異によってその特徴量が選択されたり、選択されなかったりすることとなる。その結果、画像には大きな差異がないにも関わらず、算出される類似度には大きな差異を生ずる問題が発生する可能性がある。
【0067】
このような問題を回避するために、特徴量の選択を行わず、特徴量を重み付けして類似度を算出する方法が考えられる。以下に、特徴量を重み付けして画像データを検索する第3の画像検索方法について、図を参照して詳細に説明する。
【0068】
図9に、本画像検索方法を概念的に表したブロック図を示す。検索キーとなる基準画像の画像データは、特徴量抽出手段901へ入力され、少なくとも1つの特徴量903が抽出される。同様に、検索対象となる画像データの各々は、特徴量抽出手段902へ入力され、基準画像データと同一の種類の特徴量904が抽出される。特徴量903,904は、特徴量重み付け設定手段905へ入力され、特徴量の比較が行われ、その類似性に基づいて特徴量重み付け906が算出される。特徴量重み付け906は、特徴量903,904と共に類似画像抽出手段907に入力され、これらに基づいて基準画像データと検索対象画像データとの類似度が算出される。以上の処理を検索対象となる画像データに対して順次行うことによって、高い類似度を有する画像を基準画像に類似する画像として検索する。
【0069】
上記処理は、具体的には上記画像検索装置において画像検索プログラムを実行することによって行われる。図10に、第3の画像検索方法における処理のフローチャートを示す。第3の画像検索方法の処理は、画像検索プログラムとして標準記憶部202に格納および保持され、制御部200によって適宜読み出されて実行される。
【0070】
ステップS1001からS1004の処理は、上記第1の画像検索方法におけるステップS401からS404の処理と同一であるため説明を省略する。
【0071】
ステップS1005では、ステップS1004で抽出された特徴量に対して特徴量の重み付けを行う。各特徴量の種類ごとに、特徴量重み付けwj(j=0,1・・・M−1)は数式(22)を用いて求めることができる。数式(22)における関数g(x)は引数xに対して単調増加関数であり、例えば、図11に示すような関数とすることができる。
【数15】
数式(19)を図11に示すような関数とすることによって、基準画像データと検索対象画像データから抽出された特徴量について、それぞれの特徴量間の相関係数が0.5未満の場合には特徴量重み付けwjは0となり、相関係数が0.5以上の場合には特徴量重み付けwjは相関係数に伴って増加する。
【0072】
ステップS1005では、さらに、特徴量重み付けwjを用いて、数式(23)及び数式(24)のように各特徴量の重み付けを行う。
【数16】
ステップS1006では、数式(23)及び数式(24)によって重み付けされた特徴量を用いて、数式(25)を用いて類似度Rを算出する。
【数17】
ステップS1007からS1010の処理は、上記第1の画像検索方法におけるステップS407からS410の処理と同一であるため説明を省略する。
【0073】
以上のように、第3の画像検索方法によれば、閾値などの選択条件を用いて特徴量を選択することなく、抽出した全ての特徴量に対して適切な重み付けをすることによって、画像には大きな差異がなく、特徴量が選択条件の境界付近にある場合においても、算出される類似度に大きな差異を生ずる問題を回避することができる。その結果、基準画像データと検索対象画像データとの類似性を適切に評価して画像を検索することができる。
【0074】
<第4の画像検索方法>
第3の画像検索方法において、特徴量重み付けwjに基づいて類似度を修正することも好適である。以下に、特徴量重み付けwjによって類似度を修正する第4の画像検索方法について、図を参照して詳細に説明する。
【0075】
図12に、本画像検索方法を概念的に表したブロック図を示す。検索キーとなる基準画像は、特徴量抽出手段1201へ入力され、少なくとも1つの特徴量1203が抽出される。同様に、検索対象となる画像データの各々は、特徴量抽出手段1202へ入力され、基準画像データと同一の種類の特徴量1204が抽出される。特徴量1203,1204は、特徴量重み付け設定手段1205へ入力され、特徴量の比較が行われ、その類似性に基づいて特徴量重み付け1206が算出される。特徴量重み付け設定手段1205では、さらに、類似度修正係数1211を算出する際に用いられる特徴量重み付け情報1209を出力する。特徴量重み付け情報1209は、類似度修正係数算出手段1210に入力され、類似度修正係数1211が求められる。特徴量重み付け1206及び類似度修正係数1211は、抽出された特徴量1203,1204と共に類似画像抽出手段1207へ入力され、これらに基づいて、基準画像データと検索対象画像データとの類似度が算出される。以上の処理を検索対象となる画像データに対して順次行うことによって、高い類似度を有する画像を基準画像に類似するものとして検索する。
【0076】
上記処理は、具体的には上記画像検索装置において画像検索プログラムを実行することによって行われる。図13に、第4の画像検索方法における処理のフローチャートを示す。第4の画像検索方法の処理は、画像検索プログラムとして標準記憶部202に格納および保持され、制御部200によって適宜読み出されて実行される。
【0077】
ステップS1301からS1305の処理は、上記第3の画像検索方法におけるステップS1001からS1005の処理と同一であるため説明を省略する。
【0078】
ステップS1306では、ステップS1305で算出された各特徴量に対する重み付けwjに基づいて、類似度修正係数qを算出する。類似度修正係数qは、例えば、数式(26)を用いて求めることができる。ここで、Dim(A)はベクトルAの次元数を示す。また、関数f(x)は引数xに対する単調増加関数であり、例えば、図8に示すような関数である。
【数18】
数式(26)を用いることによって、各特徴量に対する重み付けwjが大きくなるに伴って、類似度修正係数qも増加させることができる。
【0079】
ステップS1307では、類似度修正係数qによって修正された類似度Rを算出する。類似度Rの算出方法には、重み付けされた特徴量から類似度Rを求める数式(25)に対して、類似度修正係数qを用いて修正を行った数式(27)を用いることができる。
【数19】
ステップS1308からS1311の処理は、上記第3の画像検索方法におけるステップS1007からS1010の処理と同一であるため説明を省略する。
【0080】
以上のように、第4の画像検索方法によれば、特徴量に対する重み付けwjの値に応じて類似度Rを修正することによって、より適切に基準画像と検索対象画像データとの類似性を評価して画像を検索することができる。
【0081】
【発明の効果】
本発明によれば、白黒画像とカラー画像のように彩度や色相に関する特徴のみが異なる画像間、又は、線図と色塗りされた図のようにエッジの強さの特徴は共通する画像間において、従来の画像検索技術では検索が困難であった類似画像を検索することができる。すなわち、基準画像と検索対象画像データとにおいて類似する特徴を適切に選択し、人間の類似感覚と一致した類似画像を検索することを可能とした。
【図面の簡単な説明】
【図1】特徴の一部が類似した画像を例示する図である。
【図2】本発明の実施の形態における画像検索装置の構成図である。
【図3】本発明の第1の画像検索方法における処理を概念的に示すブロック図である。
【図4】本発明の第1の画像検索方法におけるフローチャートを示す図である。
【図5】画像の特徴量を抽出するための画像分割方法を説明する図である。
【図6】本発明の第2の画像検索方法における処理を概念的に示すブロック図である。
【図7】本発明の第2の画像検索方法におけるフローチャートを示す図である。
【図8】本発明の画像検索方法における関数f(x)の一例を示す図である。
【図9】本発明の第3の画像検索方法における処理を概念的に示すブロック図である。
【図10】本発明の第3の画像検索方法におけるフローチャートを示す図である。
【図11】本発明の画像検索方法における関数g(x)の一例を示す図である。
【図12】本発明の第4の画像検索方法における処理を概念的に示すブロック図である。
【図13】本発明の第4の画像検索方法におけるフローチャートを示す図である。
【符号の説明】
101 色分けされた画像、102 線図による画像、103 画像101と等しい明度の単色画像、104 画像101と同一色で描かれたスケッチ風の画像、200 制御部、202 標準記憶部、204 出力部、206 コマンド入力部、208 画像入力部、210 データベース部、212 バス、214インターフェース部、216 ネットワーク、301,302,601,602,901,902,1201,1202 特徴量抽出手段、303,304,603,604,903,904,1203,1204 特徴量、305,605 特徴量選択手段、306,307,606,607 選択された特徴量、308,608,907,1207 類似画像抽出手段、309,609,908,1208 類似度、610 特徴量選択情報、611,1210 類似度修正係数算出手段、612,1211 類似度修正係数、905,1205 特徴量重み付け設定手段、906,1206 特徴量重み付け、1209 特徴量重み付け情報。
Claims (12)
- 検索対象画像を複数含む検索対象画像群の中から、検索キーとなる基準画像に類似する画像を見出す画像検索装置であって、
前記基準画像及び前記検索対象画像群に含まれる検索対象画像の各々から、複数の視覚的な特徴量を抽出する特徴量抽出手段と、
前記検索対象画像毎に、前記基準画像の特徴量に対して所定条件を満たすだけ近似している当該検索対象画像の特徴量を選択する特徴量選択手段と、
前記選択された特徴量のみに基づいて、前記検索対象画像群から前記基準画像に類似する画像を抽出する類似画像抽出手段と、
を含むことを特徴とする画像検索装置。 - 請求項1に記載の画像検索装置において、
前記類似画像抽出手段は、前記選択された特徴量と併せて、さらに、
前記検索対象画像毎に選択された特徴量の数と、当該検索対象画像から抽出された特徴量の全数との差異に基づいて、前記検索対象画像群から前記基準画像に類似する画像を抽出することを特徴とする画像検索装置。 - 検索対象画像を複数含む検索対象画像群の中から、検索キーとなる基準画像に類似する画像を見出す画像検索装置であって、
前記基準画像及び前記検索対象画像群に含まれる検索対象画像の各々から、複数の視覚的な特徴量を抽出する特徴量抽出手段と、
前記検索対象画像毎に、当該検索対象画像及び前記基準画像から抽出された特徴量の差異に基づいて当該特徴量を重み付けする特徴量修正手段と、
前記重み付けされた特徴量に基づいて、前記検索対象画像群から前記基準画像に類似する画像を抽出する類似画像抽出手段と、
を含むことを特徴とする画像検索装置。 - 請求項3に記載の画像検索装置において、
前記類似画像抽出手段は、前記重み付けされた特徴量と併せて、さらに、
前記特徴量を重み付けする前後における当該特徴量の差異に基づいて、前記検索対象画像群の中から前記基準画像に類似する画像を抽出することを特徴とする画像検索装置。 - 検索対象画像を複数含む検索対象画像群の中から、検索キーとなる基準画像に類似する画像を見出す画像検索方法であって、
前記基準画像及び前記検索対象画像群に含まれる検索対象画像の各々から、複数の視覚的な特徴量を抽出する特徴量抽出工程と、
前記検索対象画像毎に、前記基準画像の特徴量に対して所定条件を満たすだけ近似している当該検索対象画像の特徴量を選択する特徴量選択工程と、
前記選択された特徴量のみに基づいて、前記検索対象画像群から前記基準画像に類似する画像を抽出する類似画像抽出工程と、
を含むことを特徴とする画像検索方法。 - 請求項5に記載の画像検索方法において、
前記類似画像抽出工程は、前記選択された特徴量と併せて、さらに、
前記検索対象画像毎に選択された特徴量の数と、当該検索対象画像から抽出された特徴量の全数との差異に基づいて、前記検索対象画像群から前記基準画像に類似する画像を抽出することを特徴とする画像検索方法。 - 検索対象画像を複数含む検索対象画像群の中から、検索キーとなる基準画像に類似する画像を見出す画像検索方法であって、
前記基準画像及び前記検索対象画像群に含まれる検索対象画像の各々から、複数の視覚的な特徴量を抽出する特徴量抽出工程と、
前記検索対象画像毎に、当該検索対象画像及び前記基準画像から抽出された特徴量の差異に基づいて当該特徴量を重み付けする特徴量修正工程と、
前記重み付けされた特徴量に基づいて、前記検索対象画像群から前記基準画像に類似する画像を抽出する類似画像抽出工程と、
を含むことを特徴とする画像検索方法。 - 請求項7に記載の画像検索方法において、
前記類似画像抽出工程は、前記重み付けされた特徴量と併せて、さらに、
前記特徴量を重み付けする前後における当該特徴量の差異に基づいて、前記検索対象画像群の中から前記基準画像に類似する画像を抽出することを特徴とする画像検索方法。 - 検索対象画像を複数含む検索対象画像群の中から、検索キーとなる基準画像に類似する画像を見出す画像検索プログラムであって、
コンピュータに、
前記基準画像及び前記検索対象画像群に含まれる検索対象画像の各々から、当該画像の複数の視覚的な特徴量を抽出する特徴量抽出工程と、
前記検索対象画像毎に、前記基準画像の特徴量に対して所定条件を満たすだけ近似している当該検索対象画像の特徴量を選択する特徴量選択工程と、
前記選択された特徴量のみに基づいて、前記検索対象画像群から前記基準画像に類似する画像を抽出する類似画像抽出工程と、
を実行させることを特徴とする画像検索プログラム。 - 請求項9に記載の画像検索プログラムにおいて、
前記類似画像抽出工程は、前記選択された特徴量と併せて、さらに、
前記検索対象画像毎に選択された特徴量の数と、当該検索対象画像から抽出された特徴量の全数との差異に基づいて、前記検索対象画像群から前記基準画像に類似する画像を抽出することを特徴とする画像検索プログラム。 - 検索対象画像を複数含む検索対象画像群の中から、検索キーとなる基準画像に類似する画像を見出す画像検索プログラムであって、
コンピュータに、
前記基準画像及び前記検索対象画像群に含まれる検索対象画像の各々から、当該画像の複数の視覚的な特徴量を抽出する特徴量抽出工程と、
前記検索対象画像毎に、当該検索対象画像及び前記基準画像から抽出された特徴量の差異に基づいて当該特徴量を重み付けする特徴量修正工程と、
前記重み付けされた特徴量に基づいて、前記検索対象画像群から前記基準画像に類似する画像を抽出する類似画像抽出工程と、
を実行させることを特徴とする画像検索プログラム。 - 請求項11に記載の画像検索プログラムにおいて、
前記類似画像抽出工程は、前記重み付けされた特徴量と併せて、さらに、
前記特徴量を重み付けする前後における当該特徴量の差異に基づいて、前記検索対象画像群の中から前記基準画像に類似する画像を抽出することを特徴とする画像検索プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002161052A JP2004005303A (ja) | 2002-06-03 | 2002-06-03 | 画像検索装置、画像検索方法及び画像検索プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002161052A JP2004005303A (ja) | 2002-06-03 | 2002-06-03 | 画像検索装置、画像検索方法及び画像検索プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2004005303A true JP2004005303A (ja) | 2004-01-08 |
Family
ID=30430234
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002161052A Pending JP2004005303A (ja) | 2002-06-03 | 2002-06-03 | 画像検索装置、画像検索方法及び画像検索プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2004005303A (ja) |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006313524A (ja) * | 2005-04-07 | 2006-11-16 | Hiroshima Univ | データ記憶装置、データ検索装置、データ再生装置、データ検索プログラム |
JP2007134985A (ja) * | 2005-11-10 | 2007-05-31 | Seiko Epson Corp | 画像処理技術 |
JP2007149018A (ja) * | 2005-11-30 | 2007-06-14 | Fujitsu Ltd | 図形検索プログラム、該プログラムを記録した記録媒体、図形検索装置、および図形検索方法 |
JP2007144641A (ja) * | 2005-11-24 | 2007-06-14 | Seiko Epson Corp | 画像処理技術 |
JP2007299100A (ja) * | 2006-04-28 | 2007-11-15 | Hiroshima Univ | 到達目標型教育プログラム及び到達目標型教育システム |
JP2008158776A (ja) * | 2006-12-22 | 2008-07-10 | Canon Inc | 特徴検出方法及び装置、プログラム、記憶媒体 |
JP2010186485A (ja) * | 2010-04-05 | 2010-08-26 | Omron Corp | カラー画像の処理方法および画像処理装置 |
WO2010122721A1 (ja) * | 2009-04-22 | 2010-10-28 | 日本電気株式会社 | 照合装置、照合方法および照合プログラム |
JP2013137604A (ja) * | 2011-12-28 | 2013-07-11 | Glory Ltd | 画像照合処理装置、画像照合処理方法及び画像照合処理プログラム |
JP2014167761A (ja) * | 2013-02-28 | 2014-09-11 | Toshiba Corp | 環境評価装置、方法およびプログラム |
CN112180328A (zh) * | 2020-09-29 | 2021-01-05 | 中国船舶重工集团公司第七二四研究所 | 一种基于交叉定位及特征搜索的被动定位方法 |
US11210771B2 (en) | 2017-03-15 | 2021-12-28 | Fujifilm Corporation | Image evaluation apparatus, image evaluation method, and image evaluation program using impression values of representative images |
-
2002
- 2002-06-03 JP JP2002161052A patent/JP2004005303A/ja active Pending
Cited By (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006313524A (ja) * | 2005-04-07 | 2006-11-16 | Hiroshima Univ | データ記憶装置、データ検索装置、データ再生装置、データ検索プログラム |
JP4581968B2 (ja) * | 2005-11-10 | 2010-11-17 | セイコーエプソン株式会社 | 画像処理技術 |
JP2007134985A (ja) * | 2005-11-10 | 2007-05-31 | Seiko Epson Corp | 画像処理技術 |
JP2007144641A (ja) * | 2005-11-24 | 2007-06-14 | Seiko Epson Corp | 画像処理技術 |
JP4600256B2 (ja) * | 2005-11-24 | 2010-12-15 | セイコーエプソン株式会社 | 画像処理技術 |
JP2007149018A (ja) * | 2005-11-30 | 2007-06-14 | Fujitsu Ltd | 図形検索プログラム、該プログラムを記録した記録媒体、図形検索装置、および図形検索方法 |
JP4682030B2 (ja) * | 2005-11-30 | 2011-05-11 | 富士通株式会社 | 図形検索プログラム、該プログラムを記録した記録媒体、図形検索装置、および図形検索方法 |
JP2007299100A (ja) * | 2006-04-28 | 2007-11-15 | Hiroshima Univ | 到達目標型教育プログラム及び到達目標型教育システム |
JP2008158776A (ja) * | 2006-12-22 | 2008-07-10 | Canon Inc | 特徴検出方法及び装置、プログラム、記憶媒体 |
US8072612B2 (en) | 2006-12-22 | 2011-12-06 | Canon Kabushiki Kaisha | Method and apparatus for detecting a feature of an input pattern using a plurality of feature detectors, each of which corresponds to a respective specific variation type and outputs a higher value when variation received by the input pattern roughly matches the respective specific variation type |
WO2010122721A1 (ja) * | 2009-04-22 | 2010-10-28 | 日本電気株式会社 | 照合装置、照合方法および照合プログラム |
US8958609B2 (en) | 2009-04-22 | 2015-02-17 | Nec Corporation | Method and device for computing degree of similarly between data sets |
JP2010186485A (ja) * | 2010-04-05 | 2010-08-26 | Omron Corp | カラー画像の処理方法および画像処理装置 |
JP4670995B2 (ja) * | 2010-04-05 | 2011-04-13 | オムロン株式会社 | カラー画像の処理方法および画像処理装置 |
JP2013137604A (ja) * | 2011-12-28 | 2013-07-11 | Glory Ltd | 画像照合処理装置、画像照合処理方法及び画像照合処理プログラム |
JP2014167761A (ja) * | 2013-02-28 | 2014-09-11 | Toshiba Corp | 環境評価装置、方法およびプログラム |
US11210771B2 (en) | 2017-03-15 | 2021-12-28 | Fujifilm Corporation | Image evaluation apparatus, image evaluation method, and image evaluation program using impression values of representative images |
CN112180328A (zh) * | 2020-09-29 | 2021-01-05 | 中国船舶重工集团公司第七二四研究所 | 一种基于交叉定位及特征搜索的被动定位方法 |
CN112180328B (zh) * | 2020-09-29 | 2022-09-30 | 中国船舶重工集团公司第七二四研究所 | 一种基于交叉定位及特征搜索的被动定位方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5229744B2 (ja) | 画像分類装置および画像分類プログラム | |
KR101346730B1 (ko) | 화상 처리 시스템, 화상 처리 장치 및 방법, 프로그램, 및기록 매체 | |
US7925650B2 (en) | Image management methods, image management systems, and articles of manufacture | |
US8094935B2 (en) | Representative color extracting method and apparatus based on human color sense and data histogram distributions | |
JP5236785B2 (ja) | カラー画像を探索する方法、カラー画像を探索する装置、カラー画像を探索するシステム、並びにコンピュータによる実行可能命令からなるプログラム | |
KR101457284B1 (ko) | 콘텐츠 기반 이미지 검색을 가능하게 하는 방법 및 장치 | |
JP3747589B2 (ja) | 画像特徴量比較装置および画像特徴量比較プログラムを記録した記録媒体 | |
KR100471927B1 (ko) | 웹 기반 영상 데이터 검색 시스템 및 그 방법 | |
JP2003153007A (ja) | 画像重要度に基づく画像圧縮制御システム及び方法 | |
JP2007206920A (ja) | 画像処理装置および方法、検索装置および方法、プログラム、並びに記録媒体 | |
JP2008262581A (ja) | 画像の類似性を決定するシステム及び方法 | |
KR20070079330A (ko) | 표시 제어장치 및 방법, 컴퓨터 프로그램, 및 기록 매체 | |
JP2003208618A (ja) | 画像探索方法および装置、並びにそのコンピュータプログラムおよびコンピュータ読取り可能媒体 | |
JP5164692B2 (ja) | 画像処理装置、画像処理方法、及び、プログラム | |
JP2004005303A (ja) | 画像検索装置、画像検索方法及び画像検索プログラム | |
US7519236B2 (en) | Image retrieval | |
EP1884950A2 (en) | Image recording and playing system and image recording and playing method | |
JP2004021430A (ja) | 画像検索装置、画像検索方法及び画像検索プログラム | |
JP2010250630A (ja) | 画像サーバー、画像検索システムおよび画像検索方法 | |
JP2010250636A (ja) | 画像検索端末装置および画像検索要求方法 | |
JP2004192555A (ja) | 情報管理方法、情報管理装置及び情報管理プログラム | |
JP2004023656A (ja) | 画像処理装置、画像処理方法、及び、プログラム | |
JP2010250634A (ja) | 画像サーバー、画像検索システム、画像検索方法およびインデックス作成方法 | |
KR20000014123A (ko) | 영상 유사도 가중치 조절 장치 및 방법과 그를 이용한 내용기반영상 검색 시스템 및 방법 | |
JP6109118B2 (ja) | 画像処理装置および方法、情報処理装置および方法、並びにプログラム |