JPH11175535A - 画像検索方法およびその装置およびこれを利用した検索サービス - Google Patents
画像検索方法およびその装置およびこれを利用した検索サービスInfo
- Publication number
- JPH11175535A JPH11175535A JP9336751A JP33675197A JPH11175535A JP H11175535 A JPH11175535 A JP H11175535A JP 9336751 A JP9336751 A JP 9336751A JP 33675197 A JP33675197 A JP 33675197A JP H11175535 A JPH11175535 A JP H11175535A
- Authority
- JP
- Japan
- Prior art keywords
- image
- search
- feature amount
- images
- browsing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
(57)【要約】
【課題】 画像検索の結果を検索者が理解しやすく、か
つ利用しやすい形で検索者へ提示すること。 【解決手段】 多様な観点によって検索された大量の画
像の特徴量を統計処理してベクトル空間を算出し、ベク
トル空間次元のうち任意の軸を選び、対応する座標に縮
小画像を配置することで序列に従ったブラウジング表示
をし、ブラウジング表示画面の座標を指定することによ
るセンタリングと拡大縮小率の指定によって、縮小画像
集合の概観表示と詳細表示とを連続的に操作し、序列に
従って配置された画像を画像指定あるいは領域指定によ
って参照画像として一度に選択し、それらの参照画像に
対して特徴量の選択と重みの指定を一度に行い、検索す
る。
つ利用しやすい形で検索者へ提示すること。 【解決手段】 多様な観点によって検索された大量の画
像の特徴量を統計処理してベクトル空間を算出し、ベク
トル空間次元のうち任意の軸を選び、対応する座標に縮
小画像を配置することで序列に従ったブラウジング表示
をし、ブラウジング表示画面の座標を指定することによ
るセンタリングと拡大縮小率の指定によって、縮小画像
集合の概観表示と詳細表示とを連続的に操作し、序列に
従って配置された画像を画像指定あるいは領域指定によ
って参照画像として一度に選択し、それらの参照画像に
対して特徴量の選択と重みの指定を一度に行い、検索す
る。
Description
【０００１】
【発明の属する技術分野】本発明は、画像データをデー
タベースとして備えている画像データベースから希望の
画像を効率よく検索するための方法に関する。
タベースとして備えている画像データベースから希望の
画像を効率よく検索するための方法に関する。
【０００２】
【従来の技術】大量の画像データを有する画像データベ
ースから画像を検索する場合、対象の画像に対して、こ
れを間接的に説明するキーワードを付す等の手法によら
ないで検索する場合には、検索者の望んでいる想像上の
画像に近い画像を検索し、あるいは検索者の曖昧とした
検索意図を明確化するために、多様な観点から検索され
た大量の検索結果の画像を検索者に分りやすく伝えるこ
とが重要である。
ースから画像を検索する場合、対象の画像に対して、こ
れを間接的に説明するキーワードを付す等の手法によら
ないで検索する場合には、検索者の望んでいる想像上の
画像に近い画像を検索し、あるいは検索者の曖昧とした
検索意図を明確化するために、多様な観点から検索され
た大量の検索結果の画像を検索者に分りやすく伝えるこ
とが重要である。
【０００３】従来、我々は画像検索装置へ検索者の意図
を伝えるという観点に立って、キーワード等に代えて、
希望画像と類似した画像及び類似しない画像を１つまた
は２つ以上指定して参照画像とし、そのそれぞれの画像
あるいは必要に応じて参照画像の一部領域を指定しこれ
から抽出される特徴量の一部または全てを参照画像毎に
指定し、それら各特徴量と画像データベースに登録され
ている検索対象となる被検索画像に予め付与されている
各特徴量を用いて総合類似度を算出して出力すべき被検
索画像データを得るという画像検索方法を、特願平９−
１９６１５４において提案した。
を伝えるという観点に立って、キーワード等に代えて、
希望画像と類似した画像及び類似しない画像を１つまた
は２つ以上指定して参照画像とし、そのそれぞれの画像
あるいは必要に応じて参照画像の一部領域を指定しこれ
から抽出される特徴量の一部または全てを参照画像毎に
指定し、それら各特徴量と画像データベースに登録され
ている検索対象となる被検索画像に予め付与されている
各特徴量を用いて総合類似度を算出して出力すべき被検
索画像データを得るという画像検索方法を、特願平９−
１９６１５４において提案した。
【０００４】しかし、画像検索と検索結果の表示を繰り
返す中で、検索者の望んでいる想像上の画像に近い画像
を検索し、あるいは検索者の曖昧とした検索意図を明確
化するためには、１回の試行の中で検索者の検索意図を
画像検索システムへ効果的に伝えることの他に、画像検
索の結果を検索者へ分りやすく提示することが重要であ
る。
返す中で、検索者の望んでいる想像上の画像に近い画像
を検索し、あるいは検索者の曖昧とした検索意図を明確
化するためには、１回の試行の中で検索者の検索意図を
画像検索システムへ効果的に伝えることの他に、画像検
索の結果を検索者へ分りやすく提示することが重要であ
る。
【０００５】後者の、検索結果を検索者へ分りやすく提
示する検索システムの提案として、たとえば、特開平５
−２８２３７５がある。これにおいては、参照画像の属
性情報のうち特徴量を持つものを２つ選び、その範囲指
定をすることによって検索を行い、その２特徴量を軸と
する２次元座標に検索結果の縮小画像を配置すること
で、ブラウジング表示することが提案されている。ま
た、検索結果のしぼり込みを行うにあたって、次に着目
する２次元の属性情報の特徴量の範囲を指定することが
提案されている。
示する検索システムの提案として、たとえば、特開平５
−２８２３７５がある。これにおいては、参照画像の属
性情報のうち特徴量を持つものを２つ選び、その範囲指
定をすることによって検索を行い、その２特徴量を軸と
する２次元座標に検索結果の縮小画像を配置すること
で、ブラウジング表示することが提案されている。ま
た、検索結果のしぼり込みを行うにあたって、次に着目
する２次元の属性情報の特徴量の範囲を指定することが
提案されている。
【０００６】
【発明が解決しようとする課題】検索者と検索システム
との効果的なインタラクションを行うためには、１回の
試行の中で検索者の検索意図を画像検索システムへ効果
的に伝えることを踏まえた上で、多様な観点から検索さ
れた大量の結果を検索者に分りやすく伝えて、かつ検索
者の意図を検索システムへ手軽るに伝える操作性を損な
わないようにしなければならない。また逆に、検索者の
検索意図が検索結果にどのように反映されたかを検索者
へ分りやすく伝えなければならない。例えば、１つの特
徴量を表現するベクトルが数十あるいは数百以上もの次
元を持っていた場合、複数の特徴量から任意の２次元あ
るいは３次元を選んで検索のしぼり込みを行う作業を繰
り返すのは現実的ではない。検索作業量が多くなるばか
りでなく、特徴量としてまとまって理解しやすい意味を
持っていても個々のベクトル要素で人に理解しやすい量
となっているとは限らないからである。
との効果的なインタラクションを行うためには、１回の
試行の中で検索者の検索意図を画像検索システムへ効果
的に伝えることを踏まえた上で、多様な観点から検索さ
れた大量の結果を検索者に分りやすく伝えて、かつ検索
者の意図を検索システムへ手軽るに伝える操作性を損な
わないようにしなければならない。また逆に、検索者の
検索意図が検索結果にどのように反映されたかを検索者
へ分りやすく伝えなければならない。例えば、１つの特
徴量を表現するベクトルが数十あるいは数百以上もの次
元を持っていた場合、複数の特徴量から任意の２次元あ
るいは３次元を選んで検索のしぼり込みを行う作業を繰
り返すのは現実的ではない。検索作業量が多くなるばか
りでなく、特徴量としてまとまって理解しやすい意味を
持っていても個々のベクトル要素で人に理解しやすい量
となっているとは限らないからである。
【０００７】よって、検索者が選んだ参照画像に近い画
像の検索を多次元のまま行い、その複数の参照画像の組
み合わせと人に理解しやすいまとまった特徴量の指定に
よって検索意図を表現するのが、検索意図を手軽るな操
作性で検索システムへ効果的に伝えるためのよい方法と
なる。その場合、検索結果としてさまざまな観点からの
大量の結果が得られるため、その中から次の検索のため
の参照画像を選択するためには、これを検索者に分りや
すく提示する手段が必要となる。その方法として、検索
画像の単なる一覧表示ではなく、一定の序列に従って画
像を配置した表示方法が有効である。これは、検索結果
だけでなく検索する前の例示画像においても有効とな
る。また、その表示において、検索者が選択した参照画
像がどのような位置付けになっているか示すことで、検
索者の検索意図が検索結果へどのように反映されたかを
知ることができる。
像の検索を多次元のまま行い、その複数の参照画像の組
み合わせと人に理解しやすいまとまった特徴量の指定に
よって検索意図を表現するのが、検索意図を手軽るな操
作性で検索システムへ効果的に伝えるためのよい方法と
なる。その場合、検索結果としてさまざまな観点からの
大量の結果が得られるため、その中から次の検索のため
の参照画像を選択するためには、これを検索者に分りや
すく提示する手段が必要となる。その方法として、検索
画像の単なる一覧表示ではなく、一定の序列に従って画
像を配置した表示方法が有効である。これは、検索結果
だけでなく検索する前の例示画像においても有効とな
る。また、その表示において、検索者が選択した参照画
像がどのような位置付けになっているか示すことで、検
索者の検索意図が検索結果へどのように反映されたかを
知ることができる。
【０００８】本発明はこのことに着目して、検索結果の
画像を一定の序列に従って配置するブラウジング表示画
面上で、直接画像指定あるいは領域指定することによっ
て、１つまたは複数の画像を参照画像として選択でき、
その場で１つまたは複数の画像に対して特徴量の選択お
よび重みを付与し、画像検索することを提案するもので
ある。また、検索結果を前記ブラウジング表示画面上の
縮小画像として表示する際、参照画像も他の結果画像と
区別して配置し表示することを提案するものである。ま
た、この手法による検索をサービスとして行うこととし
て検索者自身がデータの準備をする必要のない画像検索
を可能とすることを提案するものである。
画像を一定の序列に従って配置するブラウジング表示画
面上で、直接画像指定あるいは領域指定することによっ
て、１つまたは複数の画像を参照画像として選択でき、
その場で１つまたは複数の画像に対して特徴量の選択お
よび重みを付与し、画像検索することを提案するもので
ある。また、検索結果を前記ブラウジング表示画面上の
縮小画像として表示する際、参照画像も他の結果画像と
区別して配置し表示することを提案するものである。ま
た、この手法による検索をサービスとして行うこととし
て検索者自身がデータの準備をする必要のない画像検索
を可能とすることを提案するものである。
【０００９】
【課題を解決するための手段】本発明は、参照画像ある
いは任意の例示画像あるいは検索結果画像の特徴量を統
計処理して計算される多次元ベクトル空間から１軸また
は２軸または３軸を任意に選び画像を対応する座標に縮
小して配置し検索結果をブラウジング表示し、前記ブラ
ウジング表示画面上で縮小画像の指定あるいは領域指定
による複数の縮小画像を指定することで、１つあるいは
複数の参照画像を選択し、その場で特徴量の選択や重み
を付与し、それら各特徴量と画像データベースに登録さ
れている検索対象となる被検索画像に予め付与されてい
る各特徴量を用いて総合類似度を算出して出力すべき被
検索画像データを得ることにより実現できる。
いは任意の例示画像あるいは検索結果画像の特徴量を統
計処理して計算される多次元ベクトル空間から１軸また
は２軸または３軸を任意に選び画像を対応する座標に縮
小して配置し検索結果をブラウジング表示し、前記ブラ
ウジング表示画面上で縮小画像の指定あるいは領域指定
による複数の縮小画像を指定することで、１つあるいは
複数の参照画像を選択し、その場で特徴量の選択や重み
を付与し、それら各特徴量と画像データベースに登録さ
れている検索対象となる被検索画像に予め付与されてい
る各特徴量を用いて総合類似度を算出して出力すべき被
検索画像データを得ることにより実現できる。
【００１０】
【発明の実施の形態】以下に、本発明の好適な一実施例
を添付図を参照して詳細に説明する。
を添付図を参照して詳細に説明する。
【００１１】図１は本実施例のグラッフィック・ユーザ
ー・インターフェイス（以下、ＧＵＩと略称する）を示
した模式図である。図の例は、画像から多次元色特徴量
（ＲＧＢ）と多次元微分特徴量（Ｄｉｆｆ）を抽出し、
参照画像あるいは例示画像あるいは検索結果の画像につ
いて各特徴量で主成分分析を行い、その最大固有値を持
つ固有ベクトルから順に４つまでを選択可能にしたもの
である。
ー・インターフェイス（以下、ＧＵＩと略称する）を示
した模式図である。図の例は、画像から多次元色特徴量
（ＲＧＢ）と多次元微分特徴量（Ｄｉｆｆ）を抽出し、
参照画像あるいは例示画像あるいは検索結果の画像につ
いて各特徴量で主成分分析を行い、その最大固有値を持
つ固有ベクトルから順に４つまでを選択可能にしたもの
である。
【００１２】ブラウジング表示画面１０２のＸ軸とし
て、Ｘ軸特徴量選択ボタン１１１により多次元色特徴量
（ＲＧＢ）を選択し、Ｘ軸主成分選択ボタン１１２によ
り、その第一主成分が選択されている状態を示すもので
ある。Ｙ軸も同様にしてＹ軸特徴量選択ボタン１１０と
Ｙ軸主成分選択ボタン１０９により多次元微分特徴量
（Ｄｉｆｆ）の第一主成分が選択されている。図では、
選択されているボタンにドットが付されてこの状態を示
しているが、この表示は多くのパソコンで行われている
ボタン表示とするのが見やすい。
て、Ｘ軸特徴量選択ボタン１１１により多次元色特徴量
（ＲＧＢ）を選択し、Ｘ軸主成分選択ボタン１１２によ
り、その第一主成分が選択されている状態を示すもので
ある。Ｙ軸も同様にしてＹ軸特徴量選択ボタン１１０と
Ｙ軸主成分選択ボタン１０９により多次元微分特徴量
（Ｄｉｆｆ）の第一主成分が選択されている。図では、
選択されているボタンにドットが付されてこの状態を示
しているが、この表示は多くのパソコンで行われている
ボタン表示とするのが見やすい。
【００１３】ここで検索結果画像を表示する画面は多次
元固有空間からＸ軸、 Ｙ軸の特徴量や主成分の選択に
より任意の空間が設定できる。以下の実施例では、この
２軸の設定により決まる空間を可視化空間と称する。
元固有空間からＸ軸、 Ｙ軸の特徴量や主成分の選択に
より任意の空間が設定できる。以下の実施例では、この
２軸の設定により決まる空間を可視化空間と称する。
【００１４】ブラウジング表示画面１０２には、縮小さ
れた画像１０３が、選択した前記２軸に対応する座標に
配置されており、そのような画像が多数存在している。
画像の表示に際して、軸成分の値が近くて画像が部分的
に重なるときは検索の順位の高いものが前面に見えるよ
うになっている。前面の画像によって完全に多い隠され
てしまう画像の表示処理は行われない。
れた画像１０３が、選択した前記２軸に対応する座標に
配置されており、そのような画像が多数存在している。
画像の表示に際して、軸成分の値が近くて画像が部分的
に重なるときは検索の順位の高いものが前面に見えるよ
うになっている。前面の画像によって完全に多い隠され
てしまう画像の表示処理は行われない。
【００１５】マウスカーソル１１４によって画像を直接
指定することによって、表示されている縮小画像を直接
参照画像に選択したり参照画像から外したりすることが
できる。そして、ブラウジング表示画面１０２に参照画
像をキーにして選択されて表示された多くの画像のう
ち、キーとなった参照画像は円マーク１０４で囲まれ、
他の画像と区別できるようにする。また、マウスカーソ
ル１１４によって破線１１３で示すように表示画面１０
２の任意の領域を指定することもできて、その中に含ま
れる縮小画像を参照画像に指定することができる。
指定することによって、表示されている縮小画像を直接
参照画像に選択したり参照画像から外したりすることが
できる。そして、ブラウジング表示画面１０２に参照画
像をキーにして選択されて表示された多くの画像のう
ち、キーとなった参照画像は円マーク１０４で囲まれ、
他の画像と区別できるようにする。また、マウスカーソ
ル１１４によって破線１１３で示すように表示画面１０
２の任意の領域を指定することもできて、その中に含ま
れる縮小画像を参照画像に指定することができる。
【００１６】マウスカーソル１１４によって画像を選択
すると、画像拡大表示部１０８に拡大表示することがで
きる。図の例は、画像拡大表示部として最大３つの領域
を常時表示できるものとされている。縮小画像を順次選
択していくと新しく選択された３つが表示され、先に選
択された画像はその履歴が残るようになっている。画像
拡大表示部１０８の画像サイズはスクロールバー１０７
によって調整できる。一方、画像拡大表示部１０８とし
て使用できる表示画面の領域は限られているから、画像
サイズを大きくしたときは、画像拡大表示される画像数
が減ることになる。
すると、画像拡大表示部１０８に拡大表示することがで
きる。図の例は、画像拡大表示部として最大３つの領域
を常時表示できるものとされている。縮小画像を順次選
択していくと新しく選択された３つが表示され、先に選
択された画像はその履歴が残るようになっている。画像
拡大表示部１０８の画像サイズはスクロールバー１０７
によって調整できる。一方、画像拡大表示部１０８とし
て使用できる表示画面の領域は限られているから、画像
サイズを大きくしたときは、画像拡大表示される画像数
が減ることになる。
【００１７】画像拡大表示部１０８の画像に対して、画
像内の任意の領域を部分的に指定することができ、か
つ、この部分領域は一つに限らず複数指定することがで
きる。指定された部分領域はそれぞれが独立した参照画
像として自動的に登録され、ブラウジング表示画面１０
２に円で囲まれた画像として出現する。
像内の任意の領域を部分的に指定することができ、か
つ、この部分領域は一つに限らず複数指定することがで
きる。指定された部分領域はそれぞれが独立した参照画
像として自動的に登録され、ブラウジング表示画面１０
２に円で囲まれた画像として出現する。
【００１８】また、マウスカーソル１１４によって、ブ
ラウジング表示画面１０２の任意の座標を指定して、ブ
ラウジング表示画面１０２のその座標の中心位置を変更
することが出来る。例えば、右端、あるいは左端にある
画像を表示画面の中央へ、または上端あるいは下端にあ
る画像を表示画面の中央へ、平行移動させることができ
る。更に、ＳＣＡＬＥと表示されているスクロールバー
１０１によって、座標スケールを指数関数的に拡大縮小
率を変化させて調節できる。このスケールを拡大する
と、ブラウジング表示画面１０２の中央を中心として放
射状に縮小画像が遠ざかっていき、表示される画像数は
減少するが、画像の重なりを少なくするようにできる。
これによって、ブラウジング表示画面の小領域における
画像間の詳細分布を知ることができる。また、この座標
スケールを縮小すると、表示画像の集合としての全体の
配置を概観することができる。つまり、縮小画像集合の
全体の概観と小領域における詳細表示とを、スクロール
バー１０１の調整によって連続的に変えて見ることがで
きる。
ラウジング表示画面１０２の任意の座標を指定して、ブ
ラウジング表示画面１０２のその座標の中心位置を変更
することが出来る。例えば、右端、あるいは左端にある
画像を表示画面の中央へ、または上端あるいは下端にあ
る画像を表示画面の中央へ、平行移動させることができ
る。更に、ＳＣＡＬＥと表示されているスクロールバー
１０１によって、座標スケールを指数関数的に拡大縮小
率を変化させて調節できる。このスケールを拡大する
と、ブラウジング表示画面１０２の中央を中心として放
射状に縮小画像が遠ざかっていき、表示される画像数は
減少するが、画像の重なりを少なくするようにできる。
これによって、ブラウジング表示画面の小領域における
画像間の詳細分布を知ることができる。また、この座標
スケールを縮小すると、表示画像の集合としての全体の
配置を概観することができる。つまり、縮小画像集合の
全体の概観と小領域における詳細表示とを、スクロール
バー１０１の調整によって連続的に変えて見ることがで
きる。
【００１９】１０６はサーチボタンであり、これを押す
と参照画像をキーとする検索が行われる。ＣＡＬＣ Ｓ
ＰＡＣＥと表示された１０５は固有空間計算ボタンであ
り、これはトグルボタンとなっており、ボタンを押すと
サーチボタン１０６の操作によって行われた検索結果に
対して、各画像の可視化空間における配置を計算して、
縮小画像をブラウジング表示画面１０２に表示する。固
有空間計算ボタン１０５をあらかじめ押した状態に設定
しておくと、サーチボタン１０６を押して検索する度
に、検索結果から固有空間を計算しなおして、縮小画像
を可視化空間へ配置しブラウジング表示画面を更新す
る。固有空間計算ボタン１０５を解除しておくと、設定
中、最後に計算した固有空間を保存しており、サーチボ
タン１０６によって検索された結果はその保存された固
有空間における可視化空間において、縮小画像を配置し
ブラウジング表示画面を更新する。この際、参照画像は
ブラウジング表示画面の対応する座標に必ず配置される
ようになっている。
と参照画像をキーとする検索が行われる。ＣＡＬＣ Ｓ
ＰＡＣＥと表示された１０５は固有空間計算ボタンであ
り、これはトグルボタンとなっており、ボタンを押すと
サーチボタン１０６の操作によって行われた検索結果に
対して、各画像の可視化空間における配置を計算して、
縮小画像をブラウジング表示画面１０２に表示する。固
有空間計算ボタン１０５をあらかじめ押した状態に設定
しておくと、サーチボタン１０６を押して検索する度
に、検索結果から固有空間を計算しなおして、縮小画像
を可視化空間へ配置しブラウジング表示画面を更新す
る。固有空間計算ボタン１０５を解除しておくと、設定
中、最後に計算した固有空間を保存しており、サーチボ
タン１０６によって検索された結果はその保存された固
有空間における可視化空間において、縮小画像を配置し
ブラウジング表示画面を更新する。この際、参照画像は
ブラウジング表示画面の対応する座標に必ず配置される
ようになっている。
【００２０】ここでは統計処理として主成分分析を用い
たが、原画像にキーワードを付与することが行われてい
れば、キーワードのような外的基準を持った統計処理と
して正準相関分析を行うこと、あるいはオーソマックス
基準などによる因子分析を行うことも考えられる。
たが、原画像にキーワードを付与することが行われてい
れば、キーワードのような外的基準を持った統計処理と
して正準相関分析を行うこと、あるいはオーソマックス
基準などによる因子分析を行うことも考えられる。
【００２１】また、ブラウジング表示画面において、縮
小画像が可視化空間上に一定の序列を持って配置される
ことになる。その序列は固有空間の軸を特徴量選択ボタ
ン１１０，１１１や主成分選択ボタン１０９，１１２に
て任意に選択することで、検索者の意図に近いものを探
すことが簡単にできる。縮小画像が序列を持って配置さ
れるため、似た画像が座標的に近い位置に並ぶことにな
る。すなわち、次の検索で検索者の意図をより反映させ
るために、その序列で似た傾向の画像を選択すること
が、領域指定などで容易にできることを意味する。
小画像が可視化空間上に一定の序列を持って配置される
ことになる。その序列は固有空間の軸を特徴量選択ボタ
ン１１０，１１１や主成分選択ボタン１０９，１１２に
て任意に選択することで、検索者の意図に近いものを探
すことが簡単にできる。縮小画像が序列を持って配置さ
れるため、似た画像が座標的に近い位置に並ぶことにな
る。すなわち、次の検索で検索者の意図をより反映させ
るために、その序列で似た傾向の画像を選択すること
が、領域指定などで容易にできることを意味する。
【００２２】更に、参照画像が円マークで示されること
によって、現在の検索結果で、あるいは次の検索結果で
どのような配置に位置付けられているかを検索者に示す
ことになる。その上、固有空間計算ボタン１０５を解除
しておくことで、以前の固有空間上における現在の検索
結果の分布を知ることができる。
によって、現在の検索結果で、あるいは次の検索結果で
どのような配置に位置付けられているかを検索者に示す
ことになる。その上、固有空間計算ボタン１０５を解除
しておくことで、以前の固有空間上における現在の検索
結果の分布を知ることができる。
【００２３】図２は、領域指定した領域３０６内の参照
画像として選択した円マークを付した全ての縮小画像
（代表を３０５で示す）に対して、同じ特徴量および重
みを設定している様子を表わしている。
画像として選択した円マークを付した全ての縮小画像
（代表を３０５で示す）に対して、同じ特徴量および重
みを設定している様子を表わしている。
【００２４】本実施例では、ブラウジング表示画面上に
て領域を指定したり、あるいは１個の縮小画像を指定す
ることによって、ポップアップウィンドー３０７を出現
させることができる。ポップアップウィンドー３０７に
は、可視化空間の設定に採用された特徴量の数だけ特徴
量重みフィールド３０４が表示されている。特徴量重み
フィールド３０４には、特徴量名３０１が表示され、テ
キストフィールド３０２に直接数値を記入して重みを入
力することもできるし、スクロールバー３０３にて入力
することもできる。０以外の値が設定された特徴量は、
選択されたものとして、検索時に使用される。
て領域を指定したり、あるいは１個の縮小画像を指定す
ることによって、ポップアップウィンドー３０７を出現
させることができる。ポップアップウィンドー３０７に
は、可視化空間の設定に採用された特徴量の数だけ特徴
量重みフィールド３０４が表示されている。特徴量重み
フィールド３０４には、特徴量名３０１が表示され、テ
キストフィールド３０２に直接数値を記入して重みを入
力することもできるし、スクロールバー３０３にて入力
することもできる。０以外の値が設定された特徴量は、
選択されたものとして、検索時に使用される。
【００２５】図３は、画像データベース２０５および入
力操作・画像表示装置２０９との関連を含め、画像検索
のデータの流れの一実施例を示した模式図である。ま
ず、検索者は例示画像準備ステップ２１３にて、例示画
像を準備する。この例示画像は、検索者が直接入力する
ものでも良いし、検索者がデータを指定してあらかじめ
画像データベース２０５に用意されているものから得る
ものとしても良い。検索者がデータを指定するものとす
ると、例示画像準備ステップ２１３から必要に応じてト
リガーが入力操作・画像表示装置２０９へ送られ、画像
表示や主成分分析のための初期化処理が行われる。同時
に画像データベース２０５に対して、例示画像読み込み
要求２１４が送信される。その後、画像データベース２
０５から例示画像読み込み要求２１４に対応した例示画
像データ２１０が入力操作・画像表示装置２０９へ送ら
れ、必要に応じて主成分分析２１５が行なわれた後、ブ
ラウジング表示画面に縮小画像として配置される。検索
者が画像を直接入力する場合には、入力された画像が入
力操作・画像表示装置２０９へ表示される。検索者は、
入力操作・画像表示装置２０９のＧＵＩによって、参照
画像の特徴付けステップ２００により、参照画像あるい
は参照画像の特定領域を指定するとともに、その特徴量
を指定し、その重みなどを入力する。図３では、参照画
像に付与する特徴量を２０１で表示し、特徴量の重みを
２０４で示した。ここでは、参照画像から直接特徴抽出
するものとしたが、既に何度も画像検索が行われて、参
照画像が画像データベース２０５内に保存されている場
合には、あらかじめ格納されている特徴量を使用するこ
とができる。画像検索ステップ２０２では参照画像の特
徴量２０１を入力し、その特徴量に対して画像データベ
ース２０５の画像特徴量とマッチングを行う。具体的に
は、画像データベース２０５へ特徴量読み込み要求２１
１を送信し、一つの被検索画像の特徴量の読込み２０６
を行う。特徴量２０１と対応する被検索画像の特徴量と
マッチングされ、特徴量毎の類似度２０３を出力する。
つぎに、入力操作・画像表示部２０９のＧＵＩによって
付与された参照画像毎の特徴量の重み２０４を使用し
て、特徴量の類似度２０３に重み付けを行い、特徴量の
類似度と重みとを総合した総合類似度２０３’を生成す
る。それはソートステップ２０８にて蓄えられる。上記
手順を画像データベース２０５内の検索が終了するまで
繰り返す。その後、ソートステップ２０８で総合類似度
に従って並べ替え、検索データとなる。また、必要に応
じて、トリガーが入力操作・画像表示装置２０９へ送ら
れ、初期化処理が行われる。検索データのデータ名は、
検索結果画像の読み込み要求２１２として、画像データ
ベースに送られ、入力操作・画像表示装置２０９へ画像
データ２１０が送られる。こうして、必要に応じて主成
分分析２１５が行なわれブラウジング表示画面に縮小画
像として検索結果が表示される。この結果表示に対し
て、入力操作を行い画像検索を繰り返すことができる。
また、ソートステップ２０８からの結果出力数は、総合
類似度に従って並べた数によって制限する方法もある
し、また総合類似度のしきい値を設定して、それを超え
た結果のみ出力する方法もある。
力操作・画像表示装置２０９との関連を含め、画像検索
のデータの流れの一実施例を示した模式図である。ま
ず、検索者は例示画像準備ステップ２１３にて、例示画
像を準備する。この例示画像は、検索者が直接入力する
ものでも良いし、検索者がデータを指定してあらかじめ
画像データベース２０５に用意されているものから得る
ものとしても良い。検索者がデータを指定するものとす
ると、例示画像準備ステップ２１３から必要に応じてト
リガーが入力操作・画像表示装置２０９へ送られ、画像
表示や主成分分析のための初期化処理が行われる。同時
に画像データベース２０５に対して、例示画像読み込み
要求２１４が送信される。その後、画像データベース２
０５から例示画像読み込み要求２１４に対応した例示画
像データ２１０が入力操作・画像表示装置２０９へ送ら
れ、必要に応じて主成分分析２１５が行なわれた後、ブ
ラウジング表示画面に縮小画像として配置される。検索
者が画像を直接入力する場合には、入力された画像が入
力操作・画像表示装置２０９へ表示される。検索者は、
入力操作・画像表示装置２０９のＧＵＩによって、参照
画像の特徴付けステップ２００により、参照画像あるい
は参照画像の特定領域を指定するとともに、その特徴量
を指定し、その重みなどを入力する。図３では、参照画
像に付与する特徴量を２０１で表示し、特徴量の重みを
２０４で示した。ここでは、参照画像から直接特徴抽出
するものとしたが、既に何度も画像検索が行われて、参
照画像が画像データベース２０５内に保存されている場
合には、あらかじめ格納されている特徴量を使用するこ
とができる。画像検索ステップ２０２では参照画像の特
徴量２０１を入力し、その特徴量に対して画像データベ
ース２０５の画像特徴量とマッチングを行う。具体的に
は、画像データベース２０５へ特徴量読み込み要求２１
１を送信し、一つの被検索画像の特徴量の読込み２０６
を行う。特徴量２０１と対応する被検索画像の特徴量と
マッチングされ、特徴量毎の類似度２０３を出力する。
つぎに、入力操作・画像表示部２０９のＧＵＩによって
付与された参照画像毎の特徴量の重み２０４を使用し
て、特徴量の類似度２０３に重み付けを行い、特徴量の
類似度と重みとを総合した総合類似度２０３’を生成す
る。それはソートステップ２０８にて蓄えられる。上記
手順を画像データベース２０５内の検索が終了するまで
繰り返す。その後、ソートステップ２０８で総合類似度
に従って並べ替え、検索データとなる。また、必要に応
じて、トリガーが入力操作・画像表示装置２０９へ送ら
れ、初期化処理が行われる。検索データのデータ名は、
検索結果画像の読み込み要求２１２として、画像データ
ベースに送られ、入力操作・画像表示装置２０９へ画像
データ２１０が送られる。こうして、必要に応じて主成
分分析２１５が行なわれブラウジング表示画面に縮小画
像として検索結果が表示される。この結果表示に対し
て、入力操作を行い画像検索を繰り返すことができる。
また、ソートステップ２０８からの結果出力数は、総合
類似度に従って並べた数によって制限する方法もある
し、また総合類似度のしきい値を設定して、それを超え
た結果のみ出力する方法もある。
【００２６】ここで総合類似度２０７を説明する。総合
類似度Ｒは(数１)により定義される。
類似度Ｒは(数１)により定義される。
【００２７】
【数１】
【００２８】ここで、ｉは参照画像を区別する番号、ｊ
は特徴量ベクトルの種類を区別する番号である。Ｗijは
参照画像毎の各特徴量に付与された重みであり、値は正
や零、負をとりうる。αijは類似度場の広がりを制御す
るパラメータで「検索の鋭さ」と呼んでおり、値は正か
零である。これは分散の逆数の意味を持つ。ｘjはデー
タベース内の画像に関する特徴量ベクトル、ｑijは参照
画像の特徴量ベクトルである。参照画像毎の各特徴量に
おいて算出される類似度Ｒijの重みＷij付き加算とし
て、総合類似度Ｒが定義されている。
は特徴量ベクトルの種類を区別する番号である。Ｗijは
参照画像毎の各特徴量に付与された重みであり、値は正
や零、負をとりうる。αijは類似度場の広がりを制御す
るパラメータで「検索の鋭さ」と呼んでおり、値は正か
零である。これは分散の逆数の意味を持つ。ｘjはデー
タベース内の画像に関する特徴量ベクトル、ｑijは参照
画像の特徴量ベクトルである。参照画像毎の各特徴量に
おいて算出される類似度Ｒijの重みＷij付き加算とし
て、総合類似度Ｒが定義されている。
【００２９】この総合類似度Ｒを得る(数１)によれば、
参照画像毎に指定する特徴量毎に検索者の好みを反映さ
せることができる。すなわち、参照画像の好きな特徴量
には正の重みを付与し参照画像の嫌いな特徴量には負の
重みを付与するのである。
参照画像毎に指定する特徴量毎に検索者の好みを反映さ
せることができる。すなわち、参照画像の好きな特徴量
には正の重みを付与し参照画像の嫌いな特徴量には負の
重みを付与するのである。
【００３０】この総合類似度Ｒの場合、各特徴量の存在
する多次元空間上の位置からの距離とその特徴量に付与
された重みに応じた類似度場を特徴量空間上にそれぞれ
形成し、その類似度場の合成として形成される総合類似
度場が、２つの特徴量に付与された重みが正同士ならそ
れら２つの間に総合類似度場の頂点が生じ、あるいは２
つの特徴量に付与された重みが正と負ならば、正の重み
を付与された特徴量に対し、負の重みを付与された特徴
量と反対側へ総合類似度場の頂点が生じるような性質を
持つ。これによって、検索者の想像上の画像に類似な画
像、類似していない画像、あるいは検索者の好みの特徴
量、嫌いな特徴量を設定し、検索に反映することができ
る。
する多次元空間上の位置からの距離とその特徴量に付与
された重みに応じた類似度場を特徴量空間上にそれぞれ
形成し、その類似度場の合成として形成される総合類似
度場が、２つの特徴量に付与された重みが正同士ならそ
れら２つの間に総合類似度場の頂点が生じ、あるいは２
つの特徴量に付与された重みが正と負ならば、正の重み
を付与された特徴量に対し、負の重みを付与された特徴
量と反対側へ総合類似度場の頂点が生じるような性質を
持つ。これによって、検索者の想像上の画像に類似な画
像、類似していない画像、あるいは検索者の好みの特徴
量、嫌いな特徴量を設定し、検索に反映することができ
る。
【００３１】ところで、類似度とは、（数１）のように
似ているもの同士の間では値が大きくなり、そうでない
ものに対しては小さくなる指標として使用されている
が、そのような類似度の替りに似ているもの同士では値
が小さくなり、そうでないものでは値が大きくなる距離
の指標を採用することもできる。その際には、重みＷij
付き加算という形式では、前記の類似していない画像あ
るいは嫌いな特徴量という検索意図を画像検索に反映す
ることができないが、扱いやすい指標であるので通常よ
く使われる。
似ているもの同士の間では値が大きくなり、そうでない
ものに対しては小さくなる指標として使用されている
が、そのような類似度の替りに似ているもの同士では値
が小さくなり、そうでないものでは値が大きくなる距離
の指標を採用することもできる。その際には、重みＷij
付き加算という形式では、前記の類似していない画像あ
るいは嫌いな特徴量という検索意図を画像検索に反映す
ることができないが、扱いやすい指標であるので通常よ
く使われる。
【００３２】例えば、総合類似度の代わりに（数２）、
（数３）のように総合距離Ｄを定義できる。総合距離Ｄ
は小さいほど近い画像である。
（数３）のように総合距離Ｄを定義できる。総合距離Ｄ
は小さいほど近い画像である。
【００３３】
【数２】
【００３４】ここで、ｉは参照画像を区別する番号、ｊ
は特徴量ベクトルの種類を区別する番号である。Ｗijは
参照画像毎の各特徴量に付与された重みであり、値は正
か零をとりうる。ｘjはデータベース内の画像に関する
特徴量ベクトル、ｑijは参照画像毎の各特徴量ベクトル
である。Ｎｑは参照画像の数、Ｎｆは特徴量の数であ
る。(数２)は重みを考慮したノルムの２乗を参照画像で
平均して総合距離Ｄを算出している。
は特徴量ベクトルの種類を区別する番号である。Ｗijは
参照画像毎の各特徴量に付与された重みであり、値は正
か零をとりうる。ｘjはデータベース内の画像に関する
特徴量ベクトル、ｑijは参照画像毎の各特徴量ベクトル
である。Ｎｑは参照画像の数、Ｎｆは特徴量の数であ
る。(数２)は重みを考慮したノルムの２乗を参照画像で
平均して総合距離Ｄを算出している。
【００３５】
【数３】
【００３６】ここで、ｉは参照画像を区別する番号、ｊ
は特徴量ベクトルの種類を区別する番号である。Ｗijは
参照画像毎の各特徴量に付与された重みであり、値は正
か零をとりうる。ｘjはデータベース内の画像に関する
特徴量ベクトル、ｑijは参照画像毎の各特徴量ベクトル
である。Ｎｆは特徴量の数である。第一項は、特徴量重
みを考慮して参照画像の中で最も小さいノルムの２乗値
を求めており、データベース内の画像からの距離が参照
画像のどれかに近ければ近い値が出力されるためＯＲ的
な振舞いをする。第二項は、特徴量重みを考慮して参照
画像の中で最も大きいノルムの２乗値を求めており、デ
ータベース内の画像からの距離が参照画像のどれからも
近くなければ近い値が出力されないためＡＮＤ的な振舞
いをする。αは前述のような検索の振舞いを操作するパ
ラメータで、０に近ければ複数の参照画像との距離のＡ
ＮＤ的な振舞いをし、１に近ければ同様にＯＲ的な振舞
いをする。
は特徴量ベクトルの種類を区別する番号である。Ｗijは
参照画像毎の各特徴量に付与された重みであり、値は正
か零をとりうる。ｘjはデータベース内の画像に関する
特徴量ベクトル、ｑijは参照画像毎の各特徴量ベクトル
である。Ｎｆは特徴量の数である。第一項は、特徴量重
みを考慮して参照画像の中で最も小さいノルムの２乗値
を求めており、データベース内の画像からの距離が参照
画像のどれかに近ければ近い値が出力されるためＯＲ的
な振舞いをする。第二項は、特徴量重みを考慮して参照
画像の中で最も大きいノルムの２乗値を求めており、デ
ータベース内の画像からの距離が参照画像のどれからも
近くなければ近い値が出力されないためＡＮＤ的な振舞
いをする。αは前述のような検索の振舞いを操作するパ
ラメータで、０に近ければ複数の参照画像との距離のＡ
ＮＤ的な振舞いをし、１に近ければ同様にＯＲ的な振舞
いをする。
【００３７】図４、図５は、１回の画像検索方法の流れ
を説明したＰＡＤ図（Ｐｒｏｂｌｅｍ Ａｎａｌｙｓｉ
ｓ Ｄｉａｇｒａｍ）である。
を説明したＰＡＤ図（Ｐｒｏｂｌｅｍ Ａｎａｌｙｓｉ
ｓ Ｄｉａｇｒａｍ）である。
【００３８】図４は全体の流れを説明したＰＡＤ図であ
る。まず、例示画像の表示処理４０１が行なわれる。こ
れは前回の検索結果を再利用する場合には実行されな
い。ＧＵＩ（グラッフィック・ユーザー・インターフェ
イス）のサーチ入力ループ４０２でパラメータの入力を
続ける。これが終了すると画像検索処理４０３へ移行
し、結果表示処理４０４にて、必要に応じて固有空間が
計算され、縮小画像が対応するブラウジング表示画面上
に表示される。４０２ではイベント入力処理４０５が行
われ、画面上のボタン押下やスケール値の変更などを受
けつける。そうして入力されたイベントは、イベント解
析処理４０６にて判定され、それぞれのイベントの処理
に移る。イベント処理４０７では検索者がブラウジング
表示画面に提示されている画像の特徴量に重みを付与す
ることで、その画像と重みを付与した特徴量を選択しか
つ重みも入手する。イベント処理４０８では参照画像の
領域指定を行う。領域はポインターにて始点と終点を対
角とする長方形で指定するのが一般的であるが、一筆書
的に自由に領域を指定しても良い。イベント処理４０９
では固有空間を計算しなおしてブラウジング表示画面を
更新する。選択画像の拡大表示処理４１０ではブラウジ
ング表示画面に配置された縮小画像を指定することによ
って拡大表示部に拡大表示する。この画像は、画像サイ
ズ変更処理４１１にて変更することができる。また、セ
ンタリングの座標指定処理４１２ではブラウジング表示
画面の任意の座標を指定することによって、ブラウジン
グ表示画面の中央へ画面全体を平行移動することができ
る。同時に、可視化空間のスケール変更処理４１３によ
って、ブラウジング表示画面のスケールを変更できる。
また可視化空間上で領域指定処理４１４によって、縮小
画像を複数同時に参照画像として選択することができ
る。固有空間の２軸指定処理４１５によって、任意の特
徴量や主成分をそれぞれＸ軸、Ｙ軸へ指定することがで
きる。サーチ入力処理４１６によって、サーチ入力ルー
プ４０２のループから抜けサーチ処理４０３に移動す
る。
る。まず、例示画像の表示処理４０１が行なわれる。こ
れは前回の検索結果を再利用する場合には実行されな
い。ＧＵＩ（グラッフィック・ユーザー・インターフェ
イス）のサーチ入力ループ４０２でパラメータの入力を
続ける。これが終了すると画像検索処理４０３へ移行
し、結果表示処理４０４にて、必要に応じて固有空間が
計算され、縮小画像が対応するブラウジング表示画面上
に表示される。４０２ではイベント入力処理４０５が行
われ、画面上のボタン押下やスケール値の変更などを受
けつける。そうして入力されたイベントは、イベント解
析処理４０６にて判定され、それぞれのイベントの処理
に移る。イベント処理４０７では検索者がブラウジング
表示画面に提示されている画像の特徴量に重みを付与す
ることで、その画像と重みを付与した特徴量を選択しか
つ重みも入手する。イベント処理４０８では参照画像の
領域指定を行う。領域はポインターにて始点と終点を対
角とする長方形で指定するのが一般的であるが、一筆書
的に自由に領域を指定しても良い。イベント処理４０９
では固有空間を計算しなおしてブラウジング表示画面を
更新する。選択画像の拡大表示処理４１０ではブラウジ
ング表示画面に配置された縮小画像を指定することによ
って拡大表示部に拡大表示する。この画像は、画像サイ
ズ変更処理４１１にて変更することができる。また、セ
ンタリングの座標指定処理４１２ではブラウジング表示
画面の任意の座標を指定することによって、ブラウジン
グ表示画面の中央へ画面全体を平行移動することができ
る。同時に、可視化空間のスケール変更処理４１３によ
って、ブラウジング表示画面のスケールを変更できる。
また可視化空間上で領域指定処理４１４によって、縮小
画像を複数同時に参照画像として選択することができ
る。固有空間の２軸指定処理４１５によって、任意の特
徴量や主成分をそれぞれＸ軸、Ｙ軸へ指定することがで
きる。サーチ入力処理４１６によって、サーチ入力ルー
プ４０２のループから抜けサーチ処理４０３に移動す
る。
【００３９】図５は、画像データベース内の特徴量検索
の流れを説明したＰＡＤ図である。画像検索処理４０３
では、まず、検索終了まで繰り返すループ５０１に入
り、検索方法が全データへのアクセスする方法ならば全
てのデータベース内に登録された画像の特徴量データの
全てにアクセスした時点でループを抜ける。あるいは、
バイナリサーチなどのように全データにアクセスせずと
も検索できる方法であるなら、木構造の末端へ到達した
時点でループを抜ける場合もある。処理５０３にて、画
像データベースから１つの画像に関する各特徴量を取り
だす。処理５０４にて全ての指定した参照画像について
ループを行い、終了したらループを抜ける。処理５０６
にて処理５０４で指定した参照画像について、検索者が
指定した特徴量と処理５０３で指定した被検索画像の対
応する種類の特徴量に関して類似度Ｒijをそれぞれ算出
する。処理５０７にて処理５０６で計算された類似度Ｒ
ijに検索者によって各特徴量に付与された重みＷijを掛
け合わせる。処理５０５にて処理５０４までで作成され
た重み付き類似度Ｒijを加算して総合類似度Ｒを計算す
る。処理５０２の時点では、検索した被検索画像につい
て総合類似度Ｒが付与されておりそれに従って画像のソ
ートを行う。こうして画像検索が行われる。
の流れを説明したＰＡＤ図である。画像検索処理４０３
では、まず、検索終了まで繰り返すループ５０１に入
り、検索方法が全データへのアクセスする方法ならば全
てのデータベース内に登録された画像の特徴量データの
全てにアクセスした時点でループを抜ける。あるいは、
バイナリサーチなどのように全データにアクセスせずと
も検索できる方法であるなら、木構造の末端へ到達した
時点でループを抜ける場合もある。処理５０３にて、画
像データベースから１つの画像に関する各特徴量を取り
だす。処理５０４にて全ての指定した参照画像について
ループを行い、終了したらループを抜ける。処理５０６
にて処理５０４で指定した参照画像について、検索者が
指定した特徴量と処理５０３で指定した被検索画像の対
応する種類の特徴量に関して類似度Ｒijをそれぞれ算出
する。処理５０７にて処理５０６で計算された類似度Ｒ
ijに検索者によって各特徴量に付与された重みＷijを掛
け合わせる。処理５０５にて処理５０４までで作成され
た重み付き類似度Ｒijを加算して総合類似度Ｒを計算す
る。処理５０２の時点では、検索した被検索画像につい
て総合類似度Ｒが付与されておりそれに従って画像のソ
ートを行う。こうして画像検索が行われる。
【００４０】図６は、本発明による検索をネットワーク
システムを利用して行う場合の一実施例としてのクライ
アント側とサーバ側とのそれぞれの構成および連係関係
を示した模式図である。クライアント側とサーバ側との
連係は、例えば、画像表示機能を持ったワールドワイド
ウエブのブラウザを利用した通信機能によれば容易に実
現できるから、ここでは、これ以上の説明は省略する。
システムを利用して行う場合の一実施例としてのクライ
アント側とサーバ側とのそれぞれの構成および連係関係
を示した模式図である。クライアント側とサーバ側との
連係は、例えば、画像表示機能を持ったワールドワイド
ウエブのブラウザを利用した通信機能によれば容易に実
現できるから、ここでは、これ以上の説明は省略する。
【００４１】一点鎖線で囲って示す画像検索クライアン
トシステム６０７と一点鎖線で囲って示す画像検索サー
バーシステム６０８がネットワーク６０２で接続された
構成をしている。装置６０１は、図１、２で説明したよ
うなＧＵＩを実装する表示及び入力装置である。ＧＵＩ
にて参照画像の選択や特徴量の指定、その重み入力など
が行われる。それらのパラメータは、パラメータなどを
入力したり、画面レイアウト情報に従って、例示画像や
検索結果の画像を表示する機能を備えている。装置６０
６は、ネットワークサーバー６０３とネットワーク６０
２を介して通信を行うネットワーククライアントであ
る。ＧＵＩで入力された入力パラメータを送信したり、
画像データや画面レイアウト情報を受信したりする。装
置６０３は、ＧＵＩ機能をネットワーク６０２を介して
提供するネットワークサーバーである。具体的には、ネ
ットワークサーバー６０３で画面レイアウトを作成しそ
のレイアウト情報をネットワーククライアント６０６へ
送信したり、入力パラメータを受信して、画像検索装置
６０４へ渡したりする。場合によってはＧＵＩを機能さ
せるためのプログラムやデータをネットワーククライア
ント６０６へ送信することもある。装置６０４は、入力
パラメータに従って画像検索を行う画像検索装置であ
る。画像データベース６０５にアクセスして、検索結果
をネットワークサーバー６０３へ渡す。画像検索の詳細
は、図１−図５で説明したと同じ手順がネットワーク６
０２を介して行われるという点が異なるだけで、技術的
な内容に実質的な差異はない。画像データベース６０５
には画像自体と画像からあらかじめ抽出しておいた画像
毎の特徴量が格納されており、画像検索時に画像検索装
置６０４に利用される。
トシステム６０７と一点鎖線で囲って示す画像検索サー
バーシステム６０８がネットワーク６０２で接続された
構成をしている。装置６０１は、図１、２で説明したよ
うなＧＵＩを実装する表示及び入力装置である。ＧＵＩ
にて参照画像の選択や特徴量の指定、その重み入力など
が行われる。それらのパラメータは、パラメータなどを
入力したり、画面レイアウト情報に従って、例示画像や
検索結果の画像を表示する機能を備えている。装置６０
６は、ネットワークサーバー６０３とネットワーク６０
２を介して通信を行うネットワーククライアントであ
る。ＧＵＩで入力された入力パラメータを送信したり、
画像データや画面レイアウト情報を受信したりする。装
置６０３は、ＧＵＩ機能をネットワーク６０２を介して
提供するネットワークサーバーである。具体的には、ネ
ットワークサーバー６０３で画面レイアウトを作成しそ
のレイアウト情報をネットワーククライアント６０６へ
送信したり、入力パラメータを受信して、画像検索装置
６０４へ渡したりする。場合によってはＧＵＩを機能さ
せるためのプログラムやデータをネットワーククライア
ント６０６へ送信することもある。装置６０４は、入力
パラメータに従って画像検索を行う画像検索装置であ
る。画像データベース６０５にアクセスして、検索結果
をネットワークサーバー６０３へ渡す。画像検索の詳細
は、図１−図５で説明したと同じ手順がネットワーク６
０２を介して行われるという点が異なるだけで、技術的
な内容に実質的な差異はない。画像データベース６０５
には画像自体と画像からあらかじめ抽出しておいた画像
毎の特徴量が格納されており、画像検索時に画像検索装
置６０４に利用される。
【００４２】図７は、画像検索クライアント・サーバー
システムの通信手順を説明したＮＳチャートである。ま
ず、画像検索サーバーシステム（以下、Ｓシステムと略
称する）の起動７２１が行なわれる。Ｓシステムが初期
化７２２されて、設定ファイルの読み込みなど準備され
る。画像検索サーバーシステムは、通常の状態では、常
時システムの初期化は終了した状態になされてクライア
ントからのアクセスに備えるものとされる。画像検索ク
ライアントシステム（以下、Ｃシステムと略称する）の
起動７０１が行われると同様にして初期化７０２がなさ
れる。クライアントが画像検索を行おうとするとき、
Ｃシステムからアクセス通信接続処理７０３にて通信接
続要求をＳシステムへ送信する。Ｓシステムでは、通信
接続処理７２３において、通信接続要求のあったＣシス
テムとの間に通信接続を確立する。この中では、接続要
求があるまで通信待機したり、Ｃシステムとの情報のや
りとりやＧＵＩのためのプログラムを送信などが行われ
る。Ｃシステムの通信接続処理７０３では、受信した情
報を設定したり、ＧＵＩのプログラムを実行したりす
る。以上で画像検索の準備が完了する。この後、Ｃシス
テムではＧＵＩが起動しはじめ、ＳシステムではＣシス
テムの要求に対して反応し処理を実行するようになる。
最初に、Ｃシステムの処理７０４で、例示画像要求を送
信し、通信待機処理７０５となる。通信待機中７２４で
あるＳシステムが通信を受信すると、まず受信内容の判
定を行う。通信内容が、例示画像要求７２５であるな
ら、「Ｙ」分岐へ行き処理７２６で例示画像の送信を行
ったのち通信待機処理７２７となる。「Ｎ」分岐の場
合、通信内容の別の判定を試みる。Ｃシステムの通信待
機処理７０５で例示画像を受信すると、例示画像表示処
理７０６でそれを表示する。この状態でＣシステムはＧ
ＵＩが完全に起動状態となり、検索者からの入力を受け
る準備ができる。次に、処理７０７で検索者からの入力
を受けつける。検索者の画面の操作を通して参照画像の
選択、画像毎の特徴量の指定、その重みの付与などを行
う。それらのパラメータを処理７０８にて送信し、通信
待機中７０９となる。Ｓシステムでは、通信待機処理７
２７の最中に通信を受けると、受信内容の判定を行う。
通信内容がパラメータ受信７２８であるなら、「Ｙ」分
岐へ行き処理７２９にて画像検索を行い、処理７３０に
てその検索結果の画像名や類似度等の送信を行う。処理
７３０ではまた画像レイアウトも作成し、その情報も送
信する。「Ｎ」分岐の場合、通信内容の別の判定を試み
る。Ｃシステムの通信待機処理７０９で検索結果を受信
すると、それぞれに対応する検索画像データを処理７１
０にて要求し、通信待機中７１１となる。Ｓシステムの
通信待機中７３１に通信を受けると、受信内容の判定を
行う。通信内容が検索画像要求７３２であるなら、
「Ｙ」分岐へ行き処理７３３にて検索画像の送信を行
う。Ｃシステムの通信待機処理７１１で検索画像を受信
すると、処理７１２にて画像レイアウト情報にしたがっ
てレイアウトを表示する。処理７１３は検索者が検索を
終了させるまでループを行い、処理７０７へ戻って検索
をそのまま続けるか、あるいは処理７０４〜７０６の例
示画像表示処理へ移行する。検索終了だと処理７１４に
て終了処理を行う。Ｓシステムでは、画像検索サービス
が終了するまで処理７３４にてループを行い通信待機状
態７２４になる。サービス終了の場合は処理７２５にて
終了処理を行う。
システムの通信手順を説明したＮＳチャートである。ま
ず、画像検索サーバーシステム（以下、Ｓシステムと略
称する）の起動７２１が行なわれる。Ｓシステムが初期
化７２２されて、設定ファイルの読み込みなど準備され
る。画像検索サーバーシステムは、通常の状態では、常
時システムの初期化は終了した状態になされてクライア
ントからのアクセスに備えるものとされる。画像検索ク
ライアントシステム（以下、Ｃシステムと略称する）の
起動７０１が行われると同様にして初期化７０２がなさ
れる。クライアントが画像検索を行おうとするとき、
Ｃシステムからアクセス通信接続処理７０３にて通信接
続要求をＳシステムへ送信する。Ｓシステムでは、通信
接続処理７２３において、通信接続要求のあったＣシス
テムとの間に通信接続を確立する。この中では、接続要
求があるまで通信待機したり、Ｃシステムとの情報のや
りとりやＧＵＩのためのプログラムを送信などが行われ
る。Ｃシステムの通信接続処理７０３では、受信した情
報を設定したり、ＧＵＩのプログラムを実行したりす
る。以上で画像検索の準備が完了する。この後、Ｃシス
テムではＧＵＩが起動しはじめ、ＳシステムではＣシス
テムの要求に対して反応し処理を実行するようになる。
最初に、Ｃシステムの処理７０４で、例示画像要求を送
信し、通信待機処理７０５となる。通信待機中７２４で
あるＳシステムが通信を受信すると、まず受信内容の判
定を行う。通信内容が、例示画像要求７２５であるな
ら、「Ｙ」分岐へ行き処理７２６で例示画像の送信を行
ったのち通信待機処理７２７となる。「Ｎ」分岐の場
合、通信内容の別の判定を試みる。Ｃシステムの通信待
機処理７０５で例示画像を受信すると、例示画像表示処
理７０６でそれを表示する。この状態でＣシステムはＧ
ＵＩが完全に起動状態となり、検索者からの入力を受け
る準備ができる。次に、処理７０７で検索者からの入力
を受けつける。検索者の画面の操作を通して参照画像の
選択、画像毎の特徴量の指定、その重みの付与などを行
う。それらのパラメータを処理７０８にて送信し、通信
待機中７０９となる。Ｓシステムでは、通信待機処理７
２７の最中に通信を受けると、受信内容の判定を行う。
通信内容がパラメータ受信７２８であるなら、「Ｙ」分
岐へ行き処理７２９にて画像検索を行い、処理７３０に
てその検索結果の画像名や類似度等の送信を行う。処理
７３０ではまた画像レイアウトも作成し、その情報も送
信する。「Ｎ」分岐の場合、通信内容の別の判定を試み
る。Ｃシステムの通信待機処理７０９で検索結果を受信
すると、それぞれに対応する検索画像データを処理７１
０にて要求し、通信待機中７１１となる。Ｓシステムの
通信待機中７３１に通信を受けると、受信内容の判定を
行う。通信内容が検索画像要求７３２であるなら、
「Ｙ」分岐へ行き処理７３３にて検索画像の送信を行
う。Ｃシステムの通信待機処理７１１で検索画像を受信
すると、処理７１２にて画像レイアウト情報にしたがっ
てレイアウトを表示する。処理７１３は検索者が検索を
終了させるまでループを行い、処理７０７へ戻って検索
をそのまま続けるか、あるいは処理７０４〜７０６の例
示画像表示処理へ移行する。検索終了だと処理７１４に
て終了処理を行う。Ｓシステムでは、画像検索サービス
が終了するまで処理７３４にてループを行い通信待機状
態７２４になる。サービス終了の場合は処理７２５にて
終了処理を行う。
【００４３】なお、図６、図７の例では、画像データベ
ース６０５が画像自体をデータとして持ち、出力も画像
を直接出せるものとして説明したが、ワールドワイドウ
エブのブラウザを利用した通信機能を利用した検索でよ
く行われているように、画像データベース６０５は検索
結果として得られる画像の所在を示すデータのみを提供
できるようにして、検索者がこの画像の所在を示すデー
タを利用して画像を得るものとすることもできる。この
ようにしたときは、画像データベース６０５は小さいも
のとできる。
ース６０５が画像自体をデータとして持ち、出力も画像
を直接出せるものとして説明したが、ワールドワイドウ
エブのブラウザを利用した通信機能を利用した検索でよ
く行われているように、画像データベース６０５は検索
結果として得られる画像の所在を示すデータのみを提供
できるようにして、検索者がこの画像の所在を示すデー
タを利用して画像を得るものとすることもできる。この
ようにしたときは、画像データベース６０５は小さいも
のとできる。
【００４４】以上説明したように、本発明の実施例で
は、以下のように多様な観点での検索が効率よく出来
る。
は、以下のように多様な観点での検索が効率よく出来
る。
【００４５】（１）複数の画像を参照画像として検索
し、複数の検索結果画像を主成分分析によって計算され
る多次元固有空間から２軸を任意に選び画像を、対応す
る可視化空間上の座標に縮小表示して配置しブラウジン
グ表示することができる。これによって、複数参照画像
と多次元特徴量ベクトルによって多様な観点によって検
索された大量の結果を、選択した序列に従って提示する
ことができる。
し、複数の検索結果画像を主成分分析によって計算され
る多次元固有空間から２軸を任意に選び画像を、対応す
る可視化空間上の座標に縮小表示して配置しブラウジン
グ表示することができる。これによって、複数参照画像
と多次元特徴量ベクトルによって多様な観点によって検
索された大量の結果を、選択した序列に従って提示する
ことができる。
【００４６】（２）１つの選択した画像から複数の領域
を指定し、それぞれの領域を独立な参照画像として検索
し、複数の検索結果画像を主成分分析によって計算され
る多次元固有空間から２軸を任意に選び画像を、対応す
る可視化空間上の座標に縮小表示して配置しブラウジン
グ表示することができる。これによって、複数の領域と
多次元特徴量ベクトルによって多様な観点によって検索
された大量の結果を、選択した序列に従って提示するこ
とができる。
を指定し、それぞれの領域を独立な参照画像として検索
し、複数の検索結果画像を主成分分析によって計算され
る多次元固有空間から２軸を任意に選び画像を、対応す
る可視化空間上の座標に縮小表示して配置しブラウジン
グ表示することができる。これによって、複数の領域と
多次元特徴量ベクトルによって多様な観点によって検索
された大量の結果を、選択した序列に従って提示するこ
とができる。
【００４７】（３）ブラウジング表示画面上に参照画像
を配置して、他の検索結果と区別して表示することによ
り、検索条件である参照画像がどのように検索に反映さ
れたかを検索者へ提示することができる。
を配置して、他の検索結果と区別して表示することによ
り、検索条件である参照画像がどのように検索に反映さ
れたかを検索者へ提示することができる。
【００４８】（４）ブラウジング表示画面上で座標を指
定することで、その座標がブラウジング表示画面の中央
へ位置するように画面全体を平行移動でき、拡大縮小率
を指定することでブラウジング表示画面の中央を中心と
して表示スケールの拡大縮小を行うことができる。これ
により、スケール拡大によって重なった画像を分離する
操作とスケール縮小して概観表示をする操作を連続的に
行うことができる。
定することで、その座標がブラウジング表示画面の中央
へ位置するように画面全体を平行移動でき、拡大縮小率
を指定することでブラウジング表示画面の中央を中心と
して表示スケールの拡大縮小を行うことができる。これ
により、スケール拡大によって重なった画像を分離する
操作とスケール縮小して概観表示をする操作を連続的に
行うことができる。
【００４９】（５）ブラウジング表示画面から画像の指
定あるいは領域指定によって、１つまたは複数の画像を
選択し参照画像とすることができる。これにより、固有
空間上の指定した２軸で表現されたブラウジング表示画
面上に、序列を持って表示された縮小画像を、検索者が
一度に複数選択することができるため、その序列による
似た傾向の画像を選択する操作を容易に行うことができ
る。
定あるいは領域指定によって、１つまたは複数の画像を
選択し参照画像とすることができる。これにより、固有
空間上の指定した２軸で表現されたブラウジング表示画
面上に、序列を持って表示された縮小画像を、検索者が
一度に複数選択することができるため、その序列による
似た傾向の画像を選択する操作を容易に行うことができ
る。
【００５０】（６）ブラウジング表示画面から指定した
画像あるいは指定した領域に含まれる画像において、特
徴量の選択と重みの付与を行うことができる。これによ
り、固有空間の序列による複数の似た傾向の画像に対し
同時に同じ特徴量を指定し、同時に同じ重みを付与でき
るため、効率的に検索条件の設定を行うことができる。
画像あるいは指定した領域に含まれる画像において、特
徴量の選択と重みの付与を行うことができる。これによ
り、固有空間の序列による複数の似た傾向の画像に対し
同時に同じ特徴量を指定し、同時に同じ重みを付与でき
るため、効率的に検索条件の設定を行うことができる。
【００５１】
【発明の効果】本発明は、検索者の望んだ画像を容易に
得ることができるから、デザインを利用することを頻繁
に行う広告業界や放送業界、あるいはデザインを売るこ
とを目的としたコンテンツサービス業界等において、有
効に利用できるのみならず、ＰＣ上で動作する個人ベー
スでホームページやその他のデザインを作成するなどの
創造支援アプリケーションにも利用できる。
得ることができるから、デザインを利用することを頻繁
に行う広告業界や放送業界、あるいはデザインを売るこ
とを目的としたコンテンツサービス業界等において、有
効に利用できるのみならず、ＰＣ上で動作する個人ベー
スでホームページやその他のデザインを作成するなどの
創造支援アプリケーションにも利用できる。
【図１】本実施例のグラッフィック・ユーザー・インタ
ーフェイスを示した模式図。
ーフェイスを示した模式図。
【図２】固有空間の領域指定により選択した複数画像に
対し特徴量を選択して重みを付与するグラフィック・ユ
ーザー・インターフェイスを示した模式図。
対し特徴量を選択して重みを付与するグラフィック・ユ
ーザー・インターフェイスを示した模式図。
【図３】画像検索のデータの流れの一実施例を示した模
式図。
式図。
【図４】１回の画像検索の全体の流れを説明したＰＡＤ
図。
図。
【図５】画像検索の全体の流れのうち、画像データベー
ス内の特徴量検索の流れを説明したＰＡＤ図。
ス内の特徴量検索の流れを説明したＰＡＤ図。
【図６】本発明による検索をネットワークシステムを利
用して行う場合の一実施例としてのクライアント側とサ
ーバ側とのそれぞれの構成および連係関係を示した模式
図。
用して行う場合の一実施例としてのクライアント側とサ
ーバ側とのそれぞれの構成および連係関係を示した模式
図。
【図７】画像検索クライアント・サーバーシステムの通
信手順を説明したＮＳチャート。
信手順を説明したＮＳチャート。
１０１：ブラウジング表示画面のスケールを変更するス
クロールバー １０２：ブラウジング表示画面 １０３：例示画像あるいは検索結果の画像 １０４：参照画像 １０５：固有空間計算ボタン １０６：画像検索開始ボタン １０７：拡大画像の拡大率を変更するスクロールバー １０８：拡大画像 １０９：Ｙ軸の主成分選択ボタン １１０：Ｙ軸の特徴量選択ボタン １１１：Ｘ軸の特徴量選択ボタン １１２：Ｘ軸の主成分選択ボタン １１３：領域指定の枠 １１４：マウスカーソル ２０１：参照画像の特徴量 ２０２：画像検索部 ２０３：特徴量毎の類似度の流れ ２０４：特徴量重み ２０５：画像データベース ２０６：被検索画像の特徴量の流れ ２０７：総合類似度合成部 ２０８：総合類似度ソート部 ２０９：入力操作・画像表示部 ２１０：画像データの流れ ２１１：特徴量読み込み要求 ２１２：検索結果画像の読み込み要求 ２１３：例示画像表示部 ２１４：例示画像の読み込み要求 ２１５：主成分分析をする統計処理部 ３０１：特徴量名 ３０２：特徴量重み入力フィールド ３０３：特徴量重み入力スクロールバー ３０４：特徴量重みフィールド ３０５：領域指定によって参照画像に指定された縮小画
像 ３０６：領域指定の枠 ３０７：ポップアップウィンドー ４０１：例示画像表示処理 ４０２：サーチ入力までループ処理 ４０３：画像データベース内のサーチ処理 ４０４：検索結果の表示処理 ４０５：イベント入力処理 ４０６：イベント解析処理 ４０７：参照画像指定・特徴量指定・重み付与処理 ４０８：参照画像の領域指定処理 ４０９：固有空間の計算処理 ４１０：選択画像の拡大表示処理 ４１１：拡大画像の拡大率変更処理 ４１２：センタリングの座標指定処理 ４１３：可視化空間のスケール変更処理 ４１４：可視化空間の領域指定処理 ４１５：固有空間の２軸指定処理 ４１６：サーチ入力処理 ５０１：検索終了までループ ５０２：検索結果のソート ５０３：画像データベースからの特徴量の取り出し ５０４：全ての参照画像を使用するまでループ ５０５：総合類似度の算出 ５０６：一つの特徴量の類似度算出 ５０７：一つの特徴量の類似度への重みの積。
クロールバー １０２：ブラウジング表示画面 １０３：例示画像あるいは検索結果の画像 １０４：参照画像 １０５：固有空間計算ボタン １０６：画像検索開始ボタン １０７：拡大画像の拡大率を変更するスクロールバー １０８：拡大画像 １０９：Ｙ軸の主成分選択ボタン １１０：Ｙ軸の特徴量選択ボタン １１１：Ｘ軸の特徴量選択ボタン １１２：Ｘ軸の主成分選択ボタン １１３：領域指定の枠 １１４：マウスカーソル ２０１：参照画像の特徴量 ２０２：画像検索部 ２０３：特徴量毎の類似度の流れ ２０４：特徴量重み ２０５：画像データベース ２０６：被検索画像の特徴量の流れ ２０７：総合類似度合成部 ２０８：総合類似度ソート部 ２０９：入力操作・画像表示部 ２１０：画像データの流れ ２１１：特徴量読み込み要求 ２１２：検索結果画像の読み込み要求 ２１３：例示画像表示部 ２１４：例示画像の読み込み要求 ２１５：主成分分析をする統計処理部 ３０１：特徴量名 ３０２：特徴量重み入力フィールド ３０３：特徴量重み入力スクロールバー ３０４：特徴量重みフィールド ３０５：領域指定によって参照画像に指定された縮小画
像 ３０６：領域指定の枠 ３０７：ポップアップウィンドー ４０１：例示画像表示処理 ４０２：サーチ入力までループ処理 ４０３：画像データベース内のサーチ処理 ４０４：検索結果の表示処理 ４０５：イベント入力処理 ４０６：イベント解析処理 ４０７：参照画像指定・特徴量指定・重み付与処理 ４０８：参照画像の領域指定処理 ４０９：固有空間の計算処理 ４１０：選択画像の拡大表示処理 ４１１：拡大画像の拡大率変更処理 ４１２：センタリングの座標指定処理 ４１３：可視化空間のスケール変更処理 ４１４：可視化空間の領域指定処理 ４１５：固有空間の２軸指定処理 ４１６：サーチ入力処理 ５０１：検索終了までループ ５０２：検索結果のソート ５０３：画像データベースからの特徴量の取り出し ５０４：全ての参照画像を使用するまでループ ５０５：総合類似度の算出 ５０６：一つの特徴量の類似度算出 ５０７：一つの特徴量の類似度への重みの積。
───────────────────────────────────────────────────── フロントページの続き (72)発明者 廣池 敦 埼玉県比企郡鳩山町赤沼2520番地 株式会 社日立製作所基礎研究所内 (72)発明者 森 靖英 埼玉県比企郡鳩山町赤沼2520番地 株式会 社日立製作所基礎研究所内
Claims (10)
- 【請求項１】希望画像と類似した画像及び類似しない画
像を１つまたは２つ以上指定して参照画像とし、そのそ
れぞれの画像あるいは画像の指定された領域から抽出さ
れる特徴量の一部または全てを参照画像あるいは画像の
指定された領域毎に指定して行う画像検索方法であっ
て、該検索はそれらの各特徴量と画像データベースに登
録されている検索対象となる被検索画像が有する各特徴
量を用いて総合類似度を算出し、その類似度に応じた検
索結果の画像を出力するに際して、参照画像あるいは任
意の例示画像あるいは検索結果画像の特徴量の統計処理
によって計算される多次元ベクトル空間から１軸または
２軸または３軸を任意に選び画像を対応する座標に縮小
して配置しブラウジング表示することを特徴とする画像
検索方法。 - 【請求項２】検索キーとしての一つの参照画像の複数の
領域を指定し、指定された領域から抽出される特徴量の
一部または全てを指定された領域毎に指定し検索を開始
すると、それら各特徴量と画像データベースに登録され
ている検索対象となる被検索画像が有する各特徴量を用
いて総合類似度を算出し、その類似度に応じた検索結果
の画像を出力する画像検索方法において、参照画像の指
定領域あるいは任意の例示画像あるいは検索結果画像の
特徴量の統計処理によって計算される多次元ベクトル空
間から１軸または２軸または３軸を任意に選び画像を対
応する座標に縮小して配置しブラウジング表示すること
を特徴とする画像検索方法。 - 【請求項３】前記ブラウジング表示した画面上におい
て、参照画像を検索結果同様に配置し、参照画像である
ことが分かるように、他の検索結果と区別して表示する
ことを特徴とする請求項１または２記載の画像検索方
法。 - 【請求項４】前記ブラウジング表示した画面において、
指定した座標がブラウジング表示した画面の中央なるよ
うに画面全体を平行移動すること、ブラウジング表示し
た画面の拡大縮小率を指定することで、検索結果の画像
集合の概要表示や詳細表示を行うこととよりなることを
特徴とする請求項１または２または３記載の画像検索方
法。 - 【請求項５】前記ブラウジング表示した画面から画像の
指定あるいは領域指定によって、参照画像を１つまたは
複数選択することを特徴とする請求項１または２または
３または４記載の画像検索方法。 - 【請求項６】前記ブラウジング表示した画面から指定し
た画像および指定した領域内の画像において、特徴量の
指定が、重みを付与することである請求項５記載の画像
検索方法。 - 【請求項７】検索対象の画像に対応する特徴量情報を保
持するデータベース、画像に対して検索のキーとされる
特徴量情報とそれらに付与された重みを表示する特徴量
重み表示手段、画像あるいは画像の指定された領域毎に
前記特徴量情報とそれらに付与された重みを付与された
画像を参照画像として該参照画像とデータベースに保持
された検索対象の画像との間で所定の評価に基づく類似
度を演算する手段、該演算結果に対応する画像情報を表
示する手段よりなる画像検索装置において、参照画像あ
るいは任意の例示画像あるいは検索結果画像の特徴量か
ら統計処理し、多次元ベクトル空間を形成する手段、前
記多次元ベクトル空間から１軸または２軸または３軸を
任意に選び画像を対応する座標に縮小して配置しブラウ
ジング表示する手段、を具備することを特徴とする画像
検索装置。 - 【請求項８】検索対象の画像に対応する特徴量情報を保
持するデータベース、一つの画像を参照画像として複数
の指定された領域毎に検索のキーとされる特徴量情報と
それらに付与された重みを表示する特徴量の重みを表示
する手段、前記特徴量情報とそれらに付与された重みか
ら該参照画像とデータベースに保持された検索対象の画
像との間で所定の評価に基づく類似度を演算する手段、
該演算結果に対応する画像情報を表示する手段よりなる
画像検索装置において、参照画像あるいは任意の例示画
像あるいは検索結果画像の特徴量から統計処理し、多次
元ベクトル空間を形成する手段、前記多次元ベクトル空
間から１軸または２軸または３軸を任意に選び画像を対
応する座標に縮小して配置しブラウジング表示する手
段、を具備することを特徴とする画像検索装置。 - 【請求項９】前記ブラウジング表示する手段において、
画像の指定あるいは領域指定によって、次の検索のため
の参照画像を１つまたは複数選択手段を具備することを
特徴とする請求項７または８記載の画像検索装置。 - 【請求項１０】検索者から指定された希望画像と類似し
た画像及び類似しない画像を１つまたは２つ以上指定し
て参照画像とし、そのそれぞれの画像あるいは画像の検
索者から指定された領域から抽出される特徴量の一部ま
たは全てを参照画像あるいは画像の指定された領域毎に
指定して行う画像検索方法であって、該検索はそれらの
各特徴量と画像データベースに登録されている検索対象
となる被検索画像が有する各特徴量を用いて総合類似度
を算出し、その類似度に応じた検索結果の画像を出力す
るに際して、参照画像あるいは任意の例示画像あるいは
検索結果画像の特徴量の統計処理によって計算される多
次元ベクトル空間から１軸または２軸または３軸を任意
に選び画像を対応する座標に縮小して配置した結果を検
索者に送信することを特徴とする画像検索サービス方
法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP33675197A JP3586549B2 (ja) | 1997-12-08 | 1997-12-08 | 画像検索方法およびその装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP33675197A JP3586549B2 (ja) | 1997-12-08 | 1997-12-08 | 画像検索方法およびその装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11175535A true JPH11175535A (ja) | 1999-07-02 |
| JP3586549B2 JP3586549B2 (ja) | 2004-11-10 |
Family
ID=18302388
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP33675197A Expired - Lifetime JP3586549B2 (ja) | 1997-12-08 | 1997-12-08 | 画像検索方法およびその装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3586549B2 (ja) |
Cited By (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001134599A (ja) * | 1999-11-08 | 2001-05-18 | Nippon Telegr & Teleph Corp <Ntt> | データベースの検索方法とその装置並びにデータベースの検索プログラムを記録した記録媒体 |
| JP2001273302A (ja) * | 2000-03-23 | 2001-10-05 | Toshiba Corp | 画像検索システムおよび画像検索方法 |
| JP2002117059A (ja) * | 2000-10-06 | 2002-04-19 | Sony Communication Network Corp | 検索装置 |
| KR20020041898A (ko) * | 2000-11-29 | 2002-06-05 | 구자홍 | 화상 정보 검색 방법 |
| JP2002288219A (ja) * | 2001-03-23 | 2002-10-04 | Fujitsu Ltd | 情報検索システムおよび方法 |
| JP2005525606A (ja) * | 2001-07-16 | 2005-08-25 | ヒューレット・パッカード・カンパニー | 階層的な画像特徴ベースの視覚化方法 |
| JP2006107108A (ja) * | 2004-10-05 | 2006-04-20 | Canon Inc | データ検索装置及びデータ検索方法 |
| JP2007213574A (ja) * | 2006-02-06 | 2007-08-23 | Samsung Electronics Co Ltd | コンテンツ検索方法および装置 |
| JP2007249319A (ja) * | 2006-03-14 | 2007-09-27 | Doshisha | 画面の表示方法 |
| JP2008217312A (ja) * | 2007-03-02 | 2008-09-18 | Sony Corp | 情報処理装置および方法、並びにプログラム |
| WO2008143116A1 (ja) * | 2007-05-17 | 2008-11-27 | So-Ti, Inc. | 文書検索装置及び文書検索方法 |
| US7512602B2 (en) | 2003-05-30 | 2009-03-31 | International Business Machines Corporation | System, method and computer program product for performing unstructured information management and automatic text analysis, including a search operator functioning as a weighted and (WAND) |
| JP2009123196A (ja) * | 2007-10-22 | 2009-06-04 | Hitachi Kokusai Electric Inc | 画像検索装置 |
| JP2010086414A (ja) * | 2008-10-01 | 2010-04-15 | Canon Inc | 画像処理装置および画像処理方法、プログラム |
| JP2011048839A (ja) * | 2010-09-29 | 2011-03-10 | Sony Corp | 情報処理装置および方法、並びにプログラム |
| FR2955681A1 (fr) * | 2010-01-26 | 2011-07-29 | Xerox Corp | Systeme pour navigation et exploration d'images de creation |
| JP2012063954A (ja) * | 2010-09-15 | 2012-03-29 | Ricoh Co Ltd | 情報表示装置、情報表示システム、情報表示方法およびプログラム |
| WO2012117442A1 (ja) * | 2011-03-01 | 2012-09-07 | パイオニア株式会社 | 画像配置方法、ブラウズ方法、表示制御装置、サーバー、ユーザー端末、通信システム、画像配置システムおよびプログラム |
| JP2013503406A (ja) * | 2009-08-31 | 2013-01-31 | マイクロソフト コーポレーション | 視覚検索および三次元結果 |
| JP2013131051A (ja) * | 2011-12-21 | 2013-07-04 | Canon Marketing Japan Inc | 情報処理装置、情報処理方法、プログラム |
| US8780756B2 (en) | 2006-04-24 | 2014-07-15 | Sony Corporation | Image processing device and image processing method |
| JP2014186573A (ja) * | 2013-03-25 | 2014-10-02 | International Business Maschines Corporation | オブジェクト分類方法、装置及びプログラム。 |
| WO2015016219A1 (ja) * | 2013-07-31 | 2015-02-05 | 富士フイルム株式会社 | 画像検索装置、画像検索方法、プログラムおよび記録媒体 |
| JP2017045376A (ja) * | 2015-08-28 | 2017-03-02 | 富士フイルム株式会社 | 商品画像表示制御装置及び商品画像表示制御方法及びプログラム |
| CN107578014A (zh) * | 2017-09-06 | 2018-01-12 | 上海寒武纪信息科技有限公司 | 信息处理装置及方法 |
| JP2019066993A (ja) * | 2017-09-29 | 2019-04-25 | 株式会社Ｓｃｒｅｅｎホールディングス | 教師データ作成支援装置、分類装置および教師データ作成支援方法 |
| WO2024142882A1 (ja) * | 2022-12-26 | 2024-07-04 | 日本電気株式会社 | 処理装置、処理方法、及び記録媒体 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH01189721A (ja) * | 1988-01-25 | 1989-07-28 | Nec Corp | 電子化文書検索装置 |
| JPH04348474A (ja) * | 1990-12-28 | 1992-12-03 | Kawasaki Steel Corp | 画像データベースの管理・検索装置 |
| JPH05282375A (ja) * | 1992-03-30 | 1993-10-29 | Nippon Telegr & Teleph Corp <Ntt> | 画像検索方法およびシステム |
| JPH08329097A (ja) * | 1995-05-30 | 1996-12-13 | Minolta Co Ltd | 画像データ検索装置 |
| JPH0934909A (ja) * | 1995-07-24 | 1997-02-07 | Sharp Corp | 情報検索装置 |
| JPH09101970A (ja) * | 1995-10-06 | 1997-04-15 | Omron Corp | 画像検索方法および画像検索装置 |
| JPH09114853A (ja) * | 1995-10-20 | 1997-05-02 | Omron Corp | 画像検索方法および画像検索装置 |
-
1997
- 1997-12-08 JP JP33675197A patent/JP3586549B2/ja not_active Expired - Lifetime
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH01189721A (ja) * | 1988-01-25 | 1989-07-28 | Nec Corp | 電子化文書検索装置 |
| JPH04348474A (ja) * | 1990-12-28 | 1992-12-03 | Kawasaki Steel Corp | 画像データベースの管理・検索装置 |
| JPH05282375A (ja) * | 1992-03-30 | 1993-10-29 | Nippon Telegr & Teleph Corp <Ntt> | 画像検索方法およびシステム |
| JPH08329097A (ja) * | 1995-05-30 | 1996-12-13 | Minolta Co Ltd | 画像データ検索装置 |
| JPH0934909A (ja) * | 1995-07-24 | 1997-02-07 | Sharp Corp | 情報検索装置 |
| JPH09101970A (ja) * | 1995-10-06 | 1997-04-15 | Omron Corp | 画像検索方法および画像検索装置 |
| JPH09114853A (ja) * | 1995-10-20 | 1997-05-02 | Omron Corp | 画像検索方法および画像検索装置 |
Cited By (38)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001134599A (ja) * | 1999-11-08 | 2001-05-18 | Nippon Telegr & Teleph Corp <Ntt> | データベースの検索方法とその装置並びにデータベースの検索プログラムを記録した記録媒体 |
| JP2001273302A (ja) * | 2000-03-23 | 2001-10-05 | Toshiba Corp | 画像検索システムおよび画像検索方法 |
| JP2002117059A (ja) * | 2000-10-06 | 2002-04-19 | Sony Communication Network Corp | 検索装置 |
| JP4512251B2 (ja) * | 2000-10-06 | 2010-07-28 | ソネットエンタテインメント株式会社 | 検索装置 |
| KR20020041898A (ko) * | 2000-11-29 | 2002-06-05 | 구자홍 | 화상 정보 검색 방법 |
| JP2002288219A (ja) * | 2001-03-23 | 2002-10-04 | Fujitsu Ltd | 情報検索システムおよび方法 |
| JP2005525606A (ja) * | 2001-07-16 | 2005-08-25 | ヒューレット・パッカード・カンパニー | 階層的な画像特徴ベースの視覚化方法 |
| US7512602B2 (en) | 2003-05-30 | 2009-03-31 | International Business Machines Corporation | System, method and computer program product for performing unstructured information management and automatic text analysis, including a search operator functioning as a weighted and (WAND) |
| US8280903B2 (en) | 2003-05-30 | 2012-10-02 | International Business Machines Corporation | System, method and computer program product for performing unstructured information management and automatic text analysis, including a search operator functioning as a Weighted AND (WAND) |
| JP2006107108A (ja) * | 2004-10-05 | 2006-04-20 | Canon Inc | データ検索装置及びデータ検索方法 |
| JP4579638B2 (ja) * | 2004-10-05 | 2010-11-10 | キヤノン株式会社 | データ検索装置及びデータ検索方法 |
| JP2007213574A (ja) * | 2006-02-06 | 2007-08-23 | Samsung Electronics Co Ltd | コンテンツ検索方法および装置 |
| US8340474B2 (en) | 2006-02-06 | 2012-12-25 | Samsung Electronics Co., Ltd. | Apparatus and method of browsing contents |
| JP2007249319A (ja) * | 2006-03-14 | 2007-09-27 | Doshisha | 画面の表示方法 |
| US8780756B2 (en) | 2006-04-24 | 2014-07-15 | Sony Corporation | Image processing device and image processing method |
| JP2008217312A (ja) * | 2007-03-02 | 2008-09-18 | Sony Corp | 情報処理装置および方法、並びにプログラム |
| US8818979B2 (en) | 2007-05-17 | 2014-08-26 | Valuenex Consulting Inc. | Document retrieving apparatus and document retrieving method |
| JP5159772B2 (ja) * | 2007-05-17 | 2013-03-13 | 株式会社創知 | 文書検索装置及び文書検索方法 |
| WO2008143116A1 (ja) * | 2007-05-17 | 2008-11-27 | So-Ti, Inc. | 文書検索装置及び文書検索方法 |
| JP2009123196A (ja) * | 2007-10-22 | 2009-06-04 | Hitachi Kokusai Electric Inc | 画像検索装置 |
| JP2010086414A (ja) * | 2008-10-01 | 2010-04-15 | Canon Inc | 画像処理装置および画像処理方法、プログラム |
| JP2013503406A (ja) * | 2009-08-31 | 2013-01-31 | マイクロソフト コーポレーション | 視覚検索および三次元結果 |
| FR2955681A1 (fr) * | 2010-01-26 | 2011-07-29 | Xerox Corp | Systeme pour navigation et exploration d'images de creation |
| JP2011154687A (ja) * | 2010-01-26 | 2011-08-11 | Xerox Corp | 画像データセットをナビゲートするための方法、装置、及びプログラム |
| US8896627B2 (en) | 2010-09-15 | 2014-11-25 | Ricoh Company, Limited | Information display device, information display system, and computer program product |
| JP2012063954A (ja) * | 2010-09-15 | 2012-03-29 | Ricoh Co Ltd | 情報表示装置、情報表示システム、情報表示方法およびプログラム |
| JP2011048839A (ja) * | 2010-09-29 | 2011-03-10 | Sony Corp | 情報処理装置および方法、並びにプログラム |
| WO2012117442A1 (ja) * | 2011-03-01 | 2012-09-07 | パイオニア株式会社 | 画像配置方法、ブラウズ方法、表示制御装置、サーバー、ユーザー端末、通信システム、画像配置システムおよびプログラム |
| JP5706960B2 (ja) * | 2011-03-01 | 2015-04-22 | パイオニア株式会社 | 画像配置方法、ブラウズ方法、表示制御装置、サーバー、通信システム、画像配置システムおよびプログラム |
| JP2013131051A (ja) * | 2011-12-21 | 2013-07-04 | Canon Marketing Japan Inc | 情報処理装置、情報処理方法、プログラム |
| JP2014186573A (ja) * | 2013-03-25 | 2014-10-02 | International Business Maschines Corporation | オブジェクト分類方法、装置及びプログラム。 |
| WO2015016219A1 (ja) * | 2013-07-31 | 2015-02-05 | 富士フイルム株式会社 | 画像検索装置、画像検索方法、プログラムおよび記録媒体 |
| JP2015046158A (ja) * | 2013-07-31 | 2015-03-12 | 富士フイルム株式会社 | 画像検索装置、画像検索方法、プログラムおよび記録媒体 |
| JP2017045376A (ja) * | 2015-08-28 | 2017-03-02 | 富士フイルム株式会社 | 商品画像表示制御装置及び商品画像表示制御方法及びプログラム |
| CN107578014A (zh) * | 2017-09-06 | 2018-01-12 | 上海寒武纪信息科技有限公司 | 信息处理装置及方法 |
| CN107578014B (zh) * | 2017-09-06 | 2020-11-03 | 上海寒武纪信息科技有限公司 | 信息处理装置及方法 |
| JP2019066993A (ja) * | 2017-09-29 | 2019-04-25 | 株式会社Ｓｃｒｅｅｎホールディングス | 教師データ作成支援装置、分類装置および教師データ作成支援方法 |
| WO2024142882A1 (ja) * | 2022-12-26 | 2024-07-04 | 日本電気株式会社 | 処理装置、処理方法、及び記録媒体 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3586549B2 (ja) | 2004-11-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3586549B2 (ja) | 画像検索方法およびその装置 | |
| EP1012744B1 (en) | Method and apparatus for graphically representing portions of the world wide web | |
| US9152624B1 (en) | Systems and methods for visual presentation and navigation of content using data-based image analysis | |
| US8214345B2 (en) | Custom constraints for faceted exploration | |
| US6025843A (en) | Clustering user interface | |
| US7065521B2 (en) | Method for fuzzy logic rule based multimedia information retrival with text and perceptual features | |
| TWI238948B (en) | Visual navigation utilization web technology | |
| US6693651B2 (en) | Customer self service iconic interface for resource search results display and selection | |
| EP1362302B1 (en) | Context-based information retrieval | |
| US7296021B2 (en) | Method, system, and article to specify compound query, displaying visual indication includes a series of graphical bars specify weight relevance, ordered segments of unique colors where each segment length indicative of the extent of match of each object with one of search parameters | |
| US20060119618A1 (en) | Graphical interface for manipulation of 3D models | |
| US20020105541A1 (en) | Multimedia information arranging apparatus and arranging method | |
| WO2000068768A1 (en) | Graphical user interface for information analysis | |
| US20040264777A1 (en) | 3D model retrieval method and system | |
| WO2004010362A1 (en) | Systems and methods for facilitating internet shopping | |
| JP3996723B2 (ja) | 画像表示方法および装置およびこれを利用した検索サービス | |
| US20030236778A1 (en) | Drawing search support apparatus and drawing search method | |
| WO2000062195A2 (en) | Computer system | |
| US20040088291A1 (en) | Retrieval condition setting method and retrieval condition setting apparatus | |
| WO2000054185A1 (en) | Method and apparatus for building a user-defined technical thesaurus using on-line databases | |
| JPH1139332A (ja) | 画像検索方法およびその装置およびこれを利用した検索サービス | |
| KR20010104873A (ko) | 메타 검색엔진을 이용한 인터넷 사이트 검색 서비스 시스템 | |
| JP3339937B2 (ja) | データベース検索装置 | |
| JP2007034772A (ja) | Ｗｅｂサイト検索結果の最適表示システム及びその装置及びその方法及びそのプログラム | |
| US20020087577A1 (en) | Database building method for multimedia contents |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040106 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040301 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20040323 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20040323 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040525 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040708 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040803 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040809 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20070813 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080813 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080813 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090813 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100813 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100813 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110813 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120813 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130813 Year of fee payment: 9 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313117 |
|
| R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
| R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
| R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313117 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| EXPY | Cancellation because of completion of term |