JP3609225B2

JP3609225B2 - 類似オブジェクト検索装置

Info

Publication number: JP3609225B2
Application number: JP31361596A
Authority: JP
Inventors: 雅司山室; 和彦串間
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 1996-11-25
Filing date: 1996-11-25
Publication date: 2005-01-12
Anticipated expiration: 2016-11-25
Also published as: JPH10154149A

Description

【０００１】
【発明の属する技術分野】
本発明は、電子博物館や電子カタログなどのデジタル化されたオブジェクト（画像、音声、音楽、テキストなど）を多数蓄積したものから、利用者が指定した参照オブジェクトに類似したオブジェクトを検索して表示する類似オブジェクト検索装置に関する。
【０００２】
【従来の技術】
従来、この種の類似オブジェクト検索装置では、オブジェクトについて、いくつかの特徴量を計算し、オブジェクト間でその特徴量の近さ（距離）を計算することで、類似度を求め、類似度により順位付けをしている。この際、オブジェクトを数量化するのに用いる特徴量には、例えばオブジェクトが画像であれば色調、明度、彩度や、画中の線の方向などさまざまなものが用いられている。
【０００３】
距離の計算は、個々の特徴量（多次元ベクトルになる）毎にユークリッド距離等として計算され、さらに、複数の特徴量の距離に重み付けをすることで類似性に対する利用者の観点（例えば、色が似ているという観点で類似の画像オブジェクトを検索したい）を加味して、最終的な類似性を判断するようになっている。この際、特徴量の距離の重みは、利用者が、検索条件入力手段から入力するようになっている。
【０００４】
【発明が解決しようとする課題】
上記のような従来の類似度計算による類似オブジェクト検索装置では、利用者が、自分の検索観点がどの特徴量に当たるのか分かっている場合は、検索条件入力手段で指定することが可能であるが、一般には、利用者の検索観点はいろいろな特徴量で表わされるものの複合になっていて、どの特徴量がどの程度加味されるべきかは利用者には分かりにくい。また、個々の特徴量がどのように抽出されているかなどのオブジェクトのタイプ毎にメディア処理の専門的な知識が必要であり、一般利用者には、重みの指定は困難であるという問題があった。
【０００５】
本発明の目的は、利用者の意図に合った類似オブジェクトを検索する類似オブジェクト検索装置を提供することにある。
【００１３】
【課題を解決するための手段】
本発明の類似オブジェクト検索装置は、
デジタル化されたオブジェクトデータを蓄積するオブジェクトデータ蓄積手段と、
利用者が前記参照オブジェクトを入力するための参照オブジェクト入力手段と、
前記参照オブジェクトと前記各オブジェクト間の類似度を類似観点の重みを加味して計算し、類似度が高い所定件数のオブジェクトをサンプルオブジェクト群として利用者に提示するサンプルオブジェクト提示手段と、
サンプルオブジェクト群から前記参照オブジェクトに類似していると思われるオブジェクトを利用者が指定するオブジェクト選択手段と、
前記参照オブジェクトと、利用者によって指定されたオブジェクトの関係により類似観点の重みを再計算する類似検索観点計算手段と、
前記参照オブジェクトと各オブジェクト間の類似度を、再計算された類似観点の重みを加味して計算する類似度計算手段と、
類似度が高い所定件数のオブジェクトを利用者に提示する類似オブジェクト提示手段を有し、
類似検索観点計算手段は、参照オブジェクトと利用者によって指定されたオブジェクトとの類似観点の距離が小さいほど、他の類似観点の重みに比べて該類似観点の重みを大きな値に設定することを特徴とする。
【００１４】
本発明の実施態様によれば、類似検索観点計算手段は、参照オブジェクトと利用者によって指定されたオブジェクトとの各類似観点の距離に基づき小さい順に順位を設定し、距離の順位が小さいほど、他の類似観点の重みに比べて該類似観点の重みを大きな値に設定する。
【００１５】
本発明の実施態様によれば、類似オブジェクト提示手段によって提示されるオブジェクトをサンプルオブジェクト群とし、オブジェクト選択手段、類似検索観点計算手段、類似度計算手段、類似オブジェクト提示手段を繰り返し動作させる制御手段をさらに有する。
【００１８】
【発明の実施の形態】
次に、本発明の実施の形態について図面を参照して説明する。
【００１９】
図１は本発明の第１の実施形態の類似オブジェクト検索装置の構成図、図２、図３は本実施形態の動作を示す流れ図である。
【００２０】
本実施形態の類似オブジェクト検索装置は、オブジェクトＯｂ_１，Ｏｂ_２，・・・，Ｏｂ_ｍのデジタル化されたオブジェクトデータを蓄積しているオブジェクトデータ蓄積部１０と、オブジェクトの特徴量を計算する特徴量算出部１１と、それを格納する特徴量格納部１２と、特徴量から距離を計算し、それと類似観点の重みを加味して参照オブジェクトとの類似度を計算する類似度計算部１３と、利用者が、参照オブジェクトを外部から入力するための参照オブジェクト入力部１４と、利用者が、オブジェクト間の類似度を計算すための類似観点の重みを指定する重み指定部１５と、オブジェクトを利用者に提示するためのオブジェクト提示部１６と、利用者が、提示されたサンプルオブジェクト群から、参照オブジェクトと類似していると思われるオブジェクトを指定するための類似オブジェクト選択部１７と、類似観点の重みを再計算する類似検索観点計算部１８と、中間結果を一時的に蓄積しておく一時データ蓄積部１９で構成されている。
【００２１】
次に、本実施形態の動作を図２の流れ図により説明する。
【００２２】
オブジェクトＯｂ_１の特徴量Ｏｂ_１１，Ｏｂ_１２，・・・，Ｏｂ_１ｎ、オブジェクトＯｂ_２の特徴量Ｏｂ_２１，Ｏｂ_２２，・・・，Ｏｂ_２ｎ、・・・、オブジェクトＯｂ_ｍの特徴量Ｏｂ_ｍ１，Ｏｂ_ｍ２，・・・，Ｏｂ_ｍｎが（ｎは特徴量の種類の数）特徴量算出部１１によってあらかじめ算出され、特徴量格納部１２に格納されている。
【００２３】
まず、利用者は参照オブジェクト入力部１４から参照オブジェクトと、類似オブジェクトの提示件数を入力する（ステップ２１）。次に、参照オブジェクトの特徴量ＶＲ_１，ＶＲ_２，・・・，ＶＲ_ｎを特徴量算出部１１により計算する（ステップ２２）。次に、類似度計算部１３により、オブジェクトＯｂ_ｋ（ｋ＝１〜ｍ）の特徴量Ｖ_ｋ１，Ｖ_ｋ２，・・・，Ｖ_ｋｎ（ｎは特徴の種類）と参照オブジェクトの特徴量ＶＲ_１，ＶＲ_２，・・・，ＶＲ_ｎの間の特徴量の種類毎の距離ｄｋ_１，ｄｋ_２，・・・，ｄｋ_ｎを計算し、さらにこれらを類似観点の重みの初期値ｗ_１〜ｗ_ｎで重み付けして、例えばｗ_１／ｄｋ_１＋ｗ_２／ｄｋ_２＋・・・＋ｗ_ｎ／ｄｋ_ｎのように類似度が計算される（ステップ２３）。次に、類似度の高いものから、利用者が指定した件数だけ、それに対応するオブジェクトがオブジェクト提示部１６によってオブジェクトデータ蓄積部１０から取出され、利用者に提示される（ステップ２４）。なお、距離データｄｋ_１，ｄｋ_２，・・・，ｄｋ_ｎは一時データ蓄積部１９に保管される。以上でサンプルオブジェクト群が得られる。次に、利用者は、サンプルオブジェクト群から、自分が、参照オブジェクトに類似していると思うオブジェクトを類似オブジェクト選択部１７によって指定し、検索を依頼する（ステップ２５）。次に、類似検索観点計算部１８によって、参照オブジェクトと利用者によって指定されたオブジェクトとの関係により、類似観点の重みを再計算し、調整する（ステップ２６）。
【００２４】
図３はステップ２６の詳細な流れ図である。まず、キューを空にする（ステップ３１）。次に、距離ｄ_１，ｄ_２，・・・，ｄ_ｎを小さい順にソートし、キューに入れる（ステップ３２）。次に、この距離の小さい順に、特徴量Ｖ_ｉに対する重みｗ_ｉ（０＜ｗ_ｉ ≦１）が小さくなるように重みｗ_ｉを設定する（ステップ３１〜３７）。重み設定のための減少関数ＦはたとえばＦ（ｗ_ｉ，ｃｎｔ）＝（ｎ＋１−ｃｎｔ）／ｎ（ｎは特徴量の種類数）などが考えられる。新たに設定された重みｗ_ｉは類似度計算部１３に渡される。
【００２５】
類似度計算部１３では、一時データ蓄積部１９に格納されている距離データｄｋ_ｉ（ｋ＝１〜ｍ、ｉ＝１〜ｎ）を取り込み、新たに設定された重みｗ_１，ｗ_２，・・・ｗ_ｎを用いて類似度ｗ_１／ｄｋ_１＋ｗ_２／ｄｋ_２＋・・・＋ｗ_ｎ／ｄｋ_ｎ（ｋ＝１〜ｍ）が計算される（ステップ２７）。最後に、類似度が高い順に対応するオブジェクトがオブジェクト提示部１６により利用者に提示される（ステップ２８）。
【００２６】
このようにして得られたオブジェクトをサンプルオブジェクト群としてステップ２５からの処理を繰り返すことができる。
【００２７】
なお、利用者が重みの初期値を指定をしなかった場合は、装置にあらかじめ登録されているデフォルトの重み値を初期値として用いる。
【００２８】
以上の実施形態では、ステップ２１〜２４の処理で最初のサンプルオブジェクト群を得たが、オブジェクトデータ蓄積部１０に蓄積されているオブジェクトから例えばランダムにオブジェクトを選んで、サンプルオブジェクト群に用いることもできる。
【００２９】
図４は本発明の第２の実施形態の類似オブジェクト検索装置である類似画像検索装置の構成図、図５はその動作を示す流れ図である。
【００３０】
本実施形態の類似画像検索装置は、１００件の画像データＩ_１，Ｉ_２，・・・，Ｉ_１００を蓄積し、特徴量データを蓄積するデータ蓄積部４０と、画像データＩ_１〜Ｉ_１００の特徴量（色調、明度、彩度）Ｖｋ_１，Ｖｋ_２，Ｖｋ_３（ｋ＝１〜１００）を算出し、データ蓄積部４０に蓄積する特徴量算出部４１と、特徴量から距離を計算し、それに類似観点の重みを加味して参照画像との類似度を計算する類似度計算部４３と、利用者が参照画像を外部から入力するための参照画像入力部４４と、利用者が、類似観点の重みを指定する重み指定部４５と、類似画像を利用者に表示し、また利用者がその中から画像を選択するための画像提示・類似画像選択部４５と、類似観点の重みを再計算する類似検索観点計算部４８と、中間結果を一時的に蓄積しておく一時データ蓄積部４９で構成されている。
【００３１】
参照画像入力部４４の例としてスキャナが考えられる。スキャナにより紙に印刷された絵や写真を取り込むことができる。また、ネットワークを経由して、他のサイトから画像データを取り込んでくることも考えられる。また、描画ツールのようなものにより、利用者がその場で、検索したい画像の大体のスケッチを入力して参照画像にすることも考えられる。
【００３２】
利用者が重みの初期値を指定をしなかった場合は、装置にあらかじめ登録してあるデフォルトの重み値を初期値として用いる。ここでは、デフォルト値を用いる場合を説明する。デフォルト値としてｗ_１＝ｗ_２＝ｗ_３＝０．５とする。
【００３３】
次に、本実施形態の動作を図５の流れ図により説明する。
【００３４】
画像データＩ_１〜Ｉ_１００の特徴量（色調、明度、彩度）Ｖｋ_１，Ｖｋ_２，Ｖｋ_３（ｋ＝１〜１００）が特徴量算出部４１によってあらかじめ算出され、データ蓄積部３０に画像データＩ_１〜Ｉ_１００とともに格納されている。
【００３５】
まず、利用者は参照画像入力部４４から参照画像と、類似画像の表示件数「１０件」を入力する（ステップ５１）。次に、参照画像の特徴量ＶＲ_１，ＶＲ_２，ＶＲ_３が画像特徴量算出部４１により計算され、データ蓄積部４０に格納される（ステップ５２）。次に、類似度計算部４３により、画像データＩ_１〜Ｉ_１００の特徴量Ｖｋ_１，Ｖｋ_２，Ｖｋ_３（ｋ＝１〜１００）と参照画像の特徴量ＶＲ_１，ＶＲ_２，ＶＲ_３の間の距離ｄｋ_１，ｄｋ_２，ｄｋ_３（ｋ＝１〜１００）を計算し、さらにこれらを類似観点の重みの初期値ｗ_１，ｗ_２，ｗ_３で重み付けして、ｗ_１／ｄｋ_１＋ｗ_２／ｄｋ_２＋ｗ_３／ｄｋ_３のように類似度が計算される（ステップ５３）。次に、類似度の高いものから、利用者が指定した１０件だけ、それに対応する画像データが画像提示・類似画像選択部４５によってデータ蓄積部４０から取り出され、表示される（ステップ５４）。なお、距離データｄｋ_１，ｄｋ_２，ｄｋ_３は一時データ蓄積部４９に保管される。
【００３６】
次に、利用者は、表示されている画像の中から、自分が、参照画像に類似していると思う画像を類似画像選択部４５により指定し、再検索を要求する（ステップ５５）。本実施形態では、結果の表示されたブラウザから、類似していると思われる画像を直接クリックすることにより選択する。次に、類似検索観点計算部４８により類似観点の重みを再計算する（ステップ５６）。再計算の手順は図３の方法に従う。距離ｄ_１，ｄ_２，ｄ_３をそれぞれ、３，１，２とする。これは参照画像と利用者の指定した画像とでは第２の特徴量である「明度」が一番近いということになる。つまり、利用者は「明度」という観点で類似の画像を検索したいということが読み取れる。そこで次のように重みを再設定する。再設定のための減少関数ＦとしてＦ（ｗ_ｉ，ｃｎｔ）＝（４−ｃｎｔ）／３を用いると、ｗ_２＝１、ｗ_３＝２／３、ｗ_１＝１／３となる。次に、この新しい重みｗ_１，ｗ_２，ｗ_３の値を用いて類似度計算部４３により各画像に対して類似度ｗ_１／ｄｋ_１＋ｗ_２／ｄｋ_２＋ｗ_３／ｄｋ_３が計算される（ステップ５７）。このとき距離データｄｋ_１，ｄｋ_２，ｄｋ_３（ｋ＝１，・・・，１００）は一時データ蓄積部４９に格納されているものが再利用される。最後に、類似度が高い順に対応する画像データが画像表示部４５に表示される（ステップ５８）。
【００３７】
これにより、明度が近いものがある程度優先されて検索されることになる。
【００３８】
利用者は、さらに表示された結果の中から類似していると思われるものを指定することでステップ５５からの処理を繰り返すことができる。
【００３９】
本実施形態により、利用者は、類似と思えるオブジェクトを指定することで、利用者の意図にあった類似オブジェクトが検索されることが可能になる。
【００４０】
【発明の効果】
以上説明したように、本発明は、最初に提示されたいくつかのサンプルオブジェクトから、利用者が参照オブジェクトに一番類似していると思えるオブジェクトを指定することで、類似観点を調整して、検索を行い、検索結果を提示することにより、利用者の意図に合った類似オブジェクトを検索できるという効果がある。
【図面の簡単な説明】
【図１】本発明の第１の実施形態の類似オブジェクト検索装置の構成図である。
【図２】図１の実施形態の動作を示す流れ図である。
【図３】図２中のステップ２６の詳細な流れ図である。
【図４】本発明の第２の実施形態の類似オブジェクト検索装置の構成図である。
【図５】図４の実施形態の動作を示す流れ図である。
【符号の説明】
１０オブジェクトデータ蓄積部
１１特徴量算出部
１２特徴量データ格納部
１３類似度計算部
１４参照オブジェクト入力部
１５重み指定部
１６オブジェクト提示部
１７類似オブジェクト選択部
１８類似検索観点計算部
１９一時データ蓄積部
２１〜２８，３１〜３７ステップ
４０データ
４１特徴量算出部
４３類似度計算部
４４参照画像入力部
４５重み指定部
４８類似検索観点計算部
４９一時データ蓄積部
５１〜５８ステップ

Claims

デジタル化された多数のオブジェクトの中から、利用者が指定したオブジェクトである参照オブジェクトに類似したオブジェクトを、類似度が高い所定件数だけ取り出して利用者に提示する類似オブジェクト検索装置であって、
デジタル化されたオブジェクトデータを蓄積するオブジェクトデータ蓄積手段と、
利用者が前記参照オブジェクトを入力するための参照オブジェクト入力手段と、
前記参照オブジェクトと前記各オブジェクト間の類似度を類似観点の重みを加味して計算し、類似度が高い所定件数のオブジェクトをサンプルオブジェクト群として利用者に提示するサンプルオブジェクト提示手段と、
サンプルオブジェクト群から前記参照オブジェクトに類似していると思われるオブジェクトを利用者が指定するオブジェクト選択手段と、
前記参照オブジェクトと、利用者によって指定されたオブジェクトの関係により類似観点の重みを再計算する類似検索観点計算手段と、
前記参照オブジェクトと各オブジェクト間の類似度を、前記再計算された類似観点の重みを加味して計算する類似度計算手段と、
類似度が高い所定件数のオブジェクトを利用者に提示する類似オブジェクト提示手段を有し、
前記類似検索観点計算手段は、参照オブジェクトと利用者によって指定されたオブジェクトとの類似観点の距離が小さいほど、他の類似観点の重みに比べて該類似観点の重みを大きな値に設定する
ことを特徴とする類似オブジェクト検索装置。
前記類似検索観点計算手段は、
参照オブジェクトと利用者によって指定されたオブジェクトとの各類似観点の距離に基づき小さい順に順位を設定し、距離の順位が小さいほど、他の類似観点の重みに比べて該類似観点の重みを大きな値に設定する
ことを特徴とする請求項１記載の類似オブジェクト検索装置。
前記類似オブジェクト提示手段によって提示されるオブジェクトをサンプルオブジェクト群とし、
前記オブジェクト選択手段、前記類似検索観点計算手段、前記類似度計算手段、前記類似オブジェクト提示手段を繰り返し動作させる制御手段をさらに有する
ことを特徴とする請求項１または請求項２記載の類似オブジェクト検索装置。