JP5104743B2 - 画像検索プログラム、画像検索方法及び記録媒体 - Google Patents

Description

本発明は、画像検索プログラム、画像検索方法及び記録媒体に係り、特に類似する対象物を検索する為の画像検索プログラム、画像検索方法及び記録媒体に関する。

類似する対象物を検索する技術は、意匠審査における意匠画像検索の他、設計製造における製品画像，３Ｄ−ＣＡＤ，部品画像等の図面における図面検索など、様々、利用されている。ここでは、意匠審査における意匠画像検索を例として説明する。

意匠の審査では、意匠の類似を判断する為に、確認対象の意匠に類似する既存の意匠を検索する。従来、意匠審査における意匠画像検索は、既存の意匠と、その既存の意匠の特徴を表したテキストとを紐付けしてデータベース（ＤＢ）に蓄積しておき、確認対象の意匠の特徴を表したキーワードを検索キーとしてデータベースを検索することにより、確認対象の意匠に類似する既存の意匠を検索していた。

なお、一般的な画像検索では二次元画像を検索キーとして三次元モデル類似検索を行うことのできる三次元モデル検索方法が知られている（例えば特許文献１参照）。また、一般的な画像処理では、画像を立体に表示する立体画像表示方法が知られている（例えば特許文献２参照）。
特開２００４−１６４５０３号公報 特開２００２−２８８６９０号公報

しかしながら、意匠画像検索では、確認対象の意匠又は既存の意匠（以下、単に対象物という）のそれぞれに対して６枚の画像（六面図）を用いている。つまり、意匠画像検索では、検索キーとして用いられる確認対象の意匠と、検索キーにより検索される検索対象の意匠（既存の意匠）とが６枚の画像から構成されているため、１枚の二次元画像を検索キーとする従来の画像検索を利用できないという問題があった。

また、１枚の二次元画像を検索キーとする従来の画像検索は、１枚の二次元画像に類似する二次元画像を持つ３次元モデルを検索するものであるが、検索対象である対象物のそれぞれが類似しているかを判定できないという問題があった。

本発明の一実施形態は、上記の点に鑑みなされたもので、多方向の視点から見た複数の画像により表現される対象物同士の類似度を容易に検索することができる画像検索プログラム、画像検索方法及び記録媒体を提供することを目的とする。

上記課題を解決するため、本発明の一実施形態は、コンピュータを、検索対象である対象物と、該検索対象である対象物を異なる方向からの視点で表現した複数の画像とを関連付けて記録した記録部から、該検索対象である対象物に関連付けられた画像群を読み出して、該読み出した画像群の画像特徴量を該検索対象である対象物の画像特徴量として抽出する第１画像特徴量抽出手段と、検索キーである対象物と、該検索キーである対象物を異なる方向からの視点で表現した複数の画像とを関連付けて記録した記録部から、該検索キーである対象物に関連付けられた画像群を読み出して、該読み出した画像群の画像特徴量を該検索キーである対象物の画像特徴量として抽出する第２画像特徴量抽出手段と、前記第１画像特徴量抽出手段が抽出した前記検索対象である対象物の画像特徴量と、前記第２画像特徴量抽出手段が抽出した前記検索キーである対象物の画像特徴量とを比べて、前記検索キーである対象物の画像特徴量により類似する画像特徴量を持つ前記検索対象である対象物に関連付けられた画像群から順番に、該検索対象である対象物に関連付けられた画像群を出力する検索結果表示手段と、して機能させるための画像検索プログラムである。

なお、本発明の一実施形態の構成要素、表現または構成要素の任意の組合せを、方法、装置、システム、コンピュータプログラム、記録媒体、データ構造などに適用したものも本発明の態様として有効である。

上述の如く、本発明の一実施形態によれば、多方向の視点から見た複数の画像により表現される対象物同士の類似度を容易に検索することができる画像検索プログラム、画像検索方法及び記録媒体を提供可能である。

次に、本発明を実施するための最良の形態を、以下の実施例に基づき図面を参照しつつ説明していく。なお、本実施例では、意匠審査における意匠画像検索を一例として説明するが、意匠以外の他の画像検索であってもよい。

図１は意匠画像検索装置の一例の構成図である。意匠画像検索装置１は、それぞれバスＢで相互に接続されている入力装置１１，出力装置１２，ドライブ装置１３，補助記憶装置１４，主記憶装置１５，演算処理装置１６及びインターフェース装置１７を有するように構成される。

入力装置１１はキーボードやマウスなどで構成され、各種信号を入力するために用いられる。出力装置１２はディスプレイ装置などで構成され、各種ウインドウやデータ等を表示するために用いられる。インターフェース装置１７は、モデム，ＬＡＮカードなどで構成されており、インターネット等のネットワークに接続する為に用いられる。

本実施例の意匠画像検索プログラムは、意匠画像検索装置１を制御する各種プログラムの少なくとも一部である。意匠画像検索プログラムは例えば記録媒体１８の配布やネットワークからのダウンロードなどによって提供される。意匠画像検索プログラムを記録した記録媒体１８はＣＤ−ＲＯＭ、フレキシブルディスク、光磁気ディスク等の様に情報を光学的，電気的或いは磁気的に記録する記録媒体、ＲＯＭ、フラッシュメモリ等の様に情報を電気的に記録する半導体メモリ等、様々なタイプの記録媒体を用いることができる。

また、意匠画像検索プログラムを記録した記録媒体１８がドライブ装置１３にセットされると、意匠画像検索プログラムは記録媒体１８からドライブ装置１３を介して補助記憶装置１４にインストールされる。ネットワークからダウンロードされた意匠画像検索プログラムはインターフェース装置１７を介して補助記憶装置１４にインストールされる。

補助記憶装置１４はインストールされた意匠画像検索プログラムを格納すると共に、必要なファイル，データ等を格納する。主記憶装置１５は、コンピュータの起動時に補助記憶装置１４から意匠画像検索プログラムを読み出して格納する。そして、演算処理装置１６は主記憶装置１５に格納された意匠画像検索プログラムに従って、後述するような各種処理を実現している。

意匠画像検索装置１は独立型の機器（スタンドアローン）としての利用の他、図２に示すようなクライアントサーバシステム（ＣＳＳ）での利用が考えられる。図２は意匠画像検索装置を含む意匠画像検索システムの一例の構成図である。

図２の意匠画像検索システムは意匠画像検索装置１，一つ以上のユーザ端末２が、インターネット等のネットワーク３経由で接続されている。ユーザ端末２は意匠画像検索を行うユーザが操作するものである。ユーザ端末２はネットワーク３経由で意匠画像検索装置１とデータ通信可能であり、意匠画像検索装置１に要求を送信し、意匠画像検索装置１から応答を受信する。なお、図２の意匠画像検索装置１は図１の意匠画像検索装置１と同様な構成である。

図３は意匠画像検索装置の一例のブロック構成図である。意匠画像検索装置１は画像特徴量抽出手段２１，２２と、類似度算出手段２３と、検索結果表示手段２４と、キー画像群を記録した記録部３１と、検索対象画像群を記録した記録部３２と、キー画像の画像特徴量を記録する記録部３３，検索対象画像の画像特徴量を記録する記録部３４を有する構成である。なお、キー画像群を記録した記録部３１及び検索対象画像群を記録した記録部３２は意匠画像検索装置１の外部にあるものを利用してもよい。

図４はキー画像群を記録した記録部の一例の構成図である。図４の記録部３１はキー画像群を６個の画像ファイルで記録している。キー画像群は検索キーである対象物に対応する複数の画像であって、検索キーである対象物を多方向からの視点で表現した複数の画像である。

図５は検索対象画像群を記録した記録部の一例の構成図である。図５の記録部３２はｎ個の検索対象画像群をｎ×６個の画像ファイルで記録している。検索対象画像群は検索対象である対象物に対応する複数の画像であって、検索対象である対象物を多方向からの視点で表現した複数の画像である。

画像特徴量抽出手段２１は、キー画像群に対して、各画像から色や形状などの画像特徴量を抽出し、キー画像の画像特徴量を記録する記録部３３へ記録する。画像特徴量抽出手段２２は、検索対象画像群に対して、各画像から色や形状などの画像特徴量を抽出し、検索対象画像の画像特徴量を記録する記録部３４へ記録する。

例えば色の画像特徴量としては、画素ごとの色の頻度をヒストグラムとして表現する「色ヒストグラム」などを用いることができる。また、形状の画像特徴量としては画像を同心円状に部分領域に分割し、各部分領域の黒色の画素の割合を表す「Grid Fourier (GrF)特徴量」等を用いることができる。

一般的に色及び形状の画像特徴量は多次元の情報なのでベクトル形式で表される。このとき必要であれば、画像特徴量抽出手段２１及び２２は画像の背景部分を手動でトリミングしたり、自動背景除去機能を用いたりして背景を除いた領域から画像特徴量を抽出してもよい。

なお、「Grid Fourier (GrF)特徴量」の詳細は、「馬場，劉汝傑(FRDC)，遠藤，椎谷，上原，増本，長田：機械系組立図面からの形状に基づく部品検索手法の提案, 電子情報通信学会技術研究報告書, PRMU2004-225, pp.79-84(2005).」等に記載されている。

画像特徴量抽出手段２１及び２２は、部分検索のために、グラフを用いた特徴量も用いることができる。なお、グラフを用いた特徴量の詳細は、「馬場，劉汝傑(FRDC)，遠藤，椎谷，上原，増本，長田：Similarity-based Partial Image Retrieval System for Engineering Drawings, Proc. of Seventh IEEE International Symposium on Multimedia (ISM2005), pp.303-309, December 14, (2005).」等に記載されている。

グラフ表現では対象物の輪郭を表す線分をノードとして表現し、線分間の近さをエッジとして表現する。グラフ表現では、グラフで表現することで、線分で構成される対象物の構造が類似していれば、多少ノイズや線分の長さが異なっていても類似する対象物として検索できる。

類似度算出手段２３は、検索対象である対象物と検索キーである対象物との類似度を検索対象である対象物及び検索キーである対象物に対応する各画像の、それぞれの画像特徴量を用いて算出する。各画像は画像特徴量抽出手段２１，２２でベクトル形式の特徴量として表される。類似度算出手段２３は各画像間の類似度を、ベクトル間のユークリッド距離などを用いて算出する。このとき、ユークリッド距離が小さいほど、類似度が大きいことを表す。

各対象物間の類似度は、いくつかの異なる方法により求めることができる。一つ目の方法は、各対象物に対して複数の画像が対応しているので、画像間の類似度の平均を対象物の類似度とするものである。具体的には、図６に示すように、それぞれの画像の全組み合わせに対して画像間の類似度を求め、類似度の和が最大となる場合の画像同士の対応関係を求める。

図６は画像同士の対応関係を表した一例のイメージ図である。図６は一つの対象物に対して、多方向（６方向）から描画した６枚の画像（平面図，底面図，正面図，背面図，右側面図，左側面図）が用いられている。図６は対応する画像同士を線で結んでいる。

例えば図６の例では、検索キーである対象物の右側面図と検索対象である対象物の左側面図とが対応しており、又、検索キーである対象物の左側面図と検索対象である対象物の右側面図とが対応している。そして、類似度算出手段２３は線で結ばれる６組分の各画像間の類似度の平均を算出し、対象物間の類似度とする。

各対象物間の類似度を求める二つ目の方法は、各対象物に対して複数の画像が対応している為、画像間の類似度のうち最大の類似度を対象物間の類似度とするものである。具体的には、図６に示すように、それぞれの画像の全組み合わせに対して画像間の類似度を求めて、類似度の和が最大となる場合の画像同士の対応関係を求める。そして、類似度算出手段２３は線で結ばれる６組分の各画像間の類似度のうち、最大の類似度を対象物間の類似度とする。

検索結果表示手段２４は、検索結果として、例えば図７に示すように、検索キーの対象物に類似する検索対象の対象物の各画像を類似度順に並べて、検索キーの対象物の各画像と共に表示する。

図７は検索結果表示画面の一例のイメージ図である。検索結果表示手段２４は図７に示すように検索キーである一つの対象物（携帯電話のデザイン等）１０３を６方向から描画した６枚の画像（平面図，底面図，正面図，背面図，右側面図，左側面図）１０１と、検索キーの対象物１０３に類似する検索対象の対象物の画像（平面図，底面図，正面図，背面図，右側面図，左側面図）を類似度順に並べて表示する類似画像検索結果１０２とを含むように検索結果表示画面１００の表示を行う。

検索結果表示手段２４は図７に示すように、検索キーの対象物１０３に類似する検索対象の対象物の画像を、平面図，底面図，正面図，背面図，右側面図，左側面図の順に並べて検索結果表示画面１００を表示しているが、図６に示した類似度の和が最大となる場合の画像同士の対応関係に基づき、検索キーの対象物１０３に類似する検索対象の対象物の画像を並び替えて表示してもよい。

図８は検索結果表示画面の他の例のイメージ図である。例えば図６では、検索キーの対象物１０３の右側面図と検索対象の対象物の左側面図とが対応しており、又、検索キーの対象物の左側面図と検索対象の対象物の右側面図とが対応している。検索結果表示手段２４は図７に示すように、類似画像検索結果１０２における「＃１の左側面図」と「＃１の右側面図」とを並び替えて検索結果表示画面１００に表示している。

ところで、ユーザは図７又は図８の検索結果表示画面１００のような６面図での表示よりも立体図での表示の方が、一般的に検索結果の確認を行いやすい。そこで、検索結果表示手段２４は、図９に示すように、検索結果表示画面１１０に含まれる検索キーである対象物１１３の画像と、検索キーの対象物１１３に類似する検索対象の対象物１１４〜１１８の画像とを立体図で表示する。

図９は立体図による検索結果表示画面の一例のイメージ図である。検索結果表示手段２４は図９に示すように検索キー１１１である一つの対象物１１３を立体図で表示すると共に、検索キー１１１の対象物１１３に類似する検索対象の対象物１１４〜１１８を類似画像検索結果１１２として立体図で検索結果表示画面１１０に表示する。

検索結果表示手段２４は平面画像または仮想三次元空間にそれぞれの対象物１１３〜１１８を立方体として表示し、６枚の画像を立方体の各面に表示することにより対象物１１３〜１１８の立体図を作成できる。なお、対象物１１３〜１１８の立体図において、検索キー１１１の対象物１１３，検索キー１１１の対象物１１３に類似する検索対象の対象物１１４〜１１８は製作者等が異なるため、対応する画像が異なる方向の画像として描かれている場合もある。

そこで、検索結果表示手段２４は、図６に示した類似度の和が最大となる場合の画像同士の対応関係に基づき、検索キー１１１の対象物１１３に類似する検索対象の対象物１１４〜１１８の画像を並び替えて検索結果表示画面１１０に表示する。

例えば図９では、検索キー１１１の対象物１１３の右側面図と検索対象の対象物１１５の左側面図とが対応しており、又、検索キー１１１の対象物１１３の左側面図と検索対象の対象物１１５の右側面図とが対応している。そこで、検索結果表示手段２４は類似画像検索結果１１２における対象物１１５の「＃２の左側面図」と「＃２の右側面図」とを入れ替えて検索結果表示画面１１０を表示している。

このように、検索結果表示手段２４は図９の類似画像検索結果１１２における対象物１１５が、検索キー１１１の対象物１１３に対し、左右が逆に描かれているため、画像の類似性を用いて検索キー１１１の対象物１１３と対応するように検索対象の対象物１１５の右側面図と左側面図とを入れ替えて表示することにより類似度の高い画像同士が同じ方向の面となるようにしている。

検索結果表示手段２４は検索結果表示画面１１０において、必要に応じて、手動で方向の対応を変更することも可能とする。また、検索結果表示手段２４は類似画像検索結果１１２における対象物１１４〜１１８について、手前に表示されている画像の方向名（例えば正面図など）を下に表示することもできる。

さらに、検索結果表示手段２４は検索結果表示画面１１０において、検索キー１１１である対象物１１３をユーザが回転させたとき、類似画像検索結果１１２における対象物１１４〜１１８を検索キー１１１である対象物１１３と同期して同じ向きに回転させることもできる。ユーザは検索キー１１１である対象物１１３と類似画像検索結果１１２における対象物１１４〜１１８とを自由に回転させて確認することができる。

図９に示すような検索結果表示画面１１０を表示する場合、検索結果表示手段２４は検索キー１１１である対象物１１３と検索対象の対象物１１４〜１１８とを、それぞれ類似度順に多面体で表し、多面体の各面に、検索キー１１１である対象物１１３と対応するように画像を貼り付けて表示する。このとき、各画像に属性情報として画像の方向名が付与されていれば、検索結果表示手段２４は、検索キー１１１である対象物１１３と検索対象の対象物１１４〜１１８との下に、手前方向にある画像の方向名（例えば正面図など）を表示する。

次に、意匠画像検索装置１の処理手順について図１０のフローチャート及び図１１の処理イメージ図を参照しつつ説明する。図１０は、意匠画像検索装置の処理手順を表した一実施例のフローチャートである。図１１は、意匠画像検索装置の処理を表した一例の処理イメージ図である。

ここでは検索対象の対象物が二つ（Ｘ１，Ｘ２）である例を説明する。また、ここでは各対象物に対して６方向の画像が対応しており、対象物を立方体（六面体）で表し、立方体の各面に画像を貼り付けて表示する例を説明する。

ステップＳ１に進み、画像特徴量抽出手段２２は、検索対象の対象物に対応する全画像の画像特徴量を抽出し、記録部３４へ記録する。ステップＳ２に進み、画像特徴量抽出手段２１は、検索キーの対象物に対応する全画像の画像特徴量を抽出し、記録部３３へ記録する。

ステップＳ３に進み、類似度算出手段２３は記録部３４内の検索対象の対象物を全て選択したか否かを判定する。まだ選択していない記録部３４内の検索対象の対象物があるため、類似度算出手段２３は、まだ選択していない記録部３４内の検索対象の対象物から一つの対象物Ｘ１を選択する。

ステップＳ４に進み、類似度算出手段２３はステップＳ３で選択した対象物Ｘ１の全画像を選択したか否かを判定する。まだ選択していない対象物Ｘ１の画像があるため、類似度算出手段２３は、まだ選択していない対象物Ｘ１の画像を選択する。

ステップＳ５に進み、類似度算出手段２３はステップＳ４で選択した対象物Ｘ１の画像をＹ１とする。ステップＳ６に進み、類似度算出手段２３は検索キーの対象物に対応する全画像を選択したか否かを判定する。まだ選択していない検索キーの対象物に対応する画像があるため、類似度算出手段２３は、まだ選択していない検索キーの対象物に対応する画像を選択する。ステップＳ７に進み、類似度算出手段２３はステップＳ６で選択した検索キーの対象物に対応する画像（検索キーの選択画像）をＱ１とする。なお、画像Ｑ１は面の方向が平面図であるとする。また、後述の画像Ｑ２〜Ｑ６は面の方向が底面図，正面図，背面図，右側面図，左側面図であるとする。同様に、後述の画像Ｙ１〜Ｙ６は面の方向が平面図，底面図，正面図，背面図，右側面図，左側面図であるとする。

ステップＳ８に進み、類似度算出手段２３は対象物Ｘ１の画像Ｙ１と検索キーの選択画像Ｑ１との類似度ｄ（Ｙ１，Ｑ１）を、ステップＳ１で抽出した画像Ｙ１の画像特徴量とステップＳ２で抽出した選択画像Ｑ１の画像特徴量とを用いて前述のように算出する。

類似度算出手段２３は、ステップＳ６において、検索キーの対象物に対応する全画像を選択したと判定するまでステップＳ６〜Ｓ８を繰り返し行うことで、対象物Ｘ１の画像Ｙ１と検索キーの選択画像Ｑ２〜Ｑ６との類似度ｄ（Ｙ１，Ｑ２）〜ｄ（Ｙ１，Ｑ６）を算出する。

検索キーの対象物に対応する全画像を選択したと判定すると、類似度算出手段２３はステップＳ６からステップＳ４に戻る。類似度算出手段２３は、ステップＳ３で選択した対象物Ｘ１の全画像を選択したと判定するまでステップＳ４〜Ｓ８を繰り返し行う。類似度算出手段２３は、対象物Ｘ１の画像Ｙ２〜Ｙ６と検索キーの選択画像Ｑ１〜Ｑ６との類似度ｄ（Ｙ２，Ｑ１）〜ｄ（Ｙ６，Ｑ６）を算出する。

ここまでの処理により、類似度算出手段２３は図１１に示すようなテーブル２００を作成できる。ステップＳ３で選択した対象物Ｘ１の全画像を選択したと判定すると、類似度算出手段２３はステップＳ４からステップＳ９に進む。類似度算出手段２３はテーブル２００を利用し、類似度ｄ（ＹＱ）の降順に、対象物Ｘ１の画像Ｙ１〜Ｙ６と、検索キーの選択画像Ｑ１〜Ｑ６との対応関係Ｔを決定する。

例えばテーブル２００の場合、類似度算出手段２３は検索キーの選択画像Ｑ１と対象物Ｘ１の画像Ｙ１とを対応させ、検索キーの選択画像Ｑ２と対象物Ｘ１の画像Ｙ２とを対応させ、検索キーの選択画像Ｑ３と対象物Ｘ１の画像Ｙ３とを対応させ、検索キーの選択画像Ｑ４と対象物Ｘ１の画像Ｙ４とを対応させ、検索キーの選択画像Ｑ５と対象物Ｘ１の画像Ｙ５とを対応させ、検索キーの選択画像Ｑ６と対象物Ｘ１の画像Ｙ６とを対応させる対応関係Ｔを決定する。

ステップＳ１０に進み、類似度算出手段２３は対応関係Ｔにより対応付けられた類似度ｄ（ＹＱ）の和を求め、対象物Ｘ１と検索キーの対象物との類似度Ｄ（Ｘ１）とする。図１１のテーブル２００の場合、類似度Ｄ（Ｘ１）は８１となる。

ステップＳ１０からステップＳ３に戻り、類似度算出手段２３は記録部３４内の検索対象の対象物を全て選択したか否かを判定する。まだ選択していない記録部３４内の検索対象の対象物があるため、類似度算出手段２３は、まだ選択していない記録部３４内の検索対象の対象物Ｘ２を選択する。

そして、類似度算出手段２３は、検索対象の対象物Ｘ２に対してステップＳ４〜Ｓ８の処理を行うことで、図１１に示すようなテーブル２０１を作成できる。ステップＳ３で選択した対象物Ｘ２の全画像を選択したと判定すると、類似度算出手段２３はステップＳ４からステップＳ９に進む。類似度算出手段２３はテーブル２０１を利用し、類似度ｄ（ＹＱ）の降順に、対象物Ｘ２の画像Ｙ１〜Ｙ６と、検索キーの選択画像Ｑ１〜Ｑ６との対応関係Ｔを決定する。

例えばテーブル２０１の場合、類似度算出手段２３は検索キーの選択画像Ｑ１と対象物Ｘ２の画像Ｙ１とを対応させ、検索キーの選択画像Ｑ２と対象物Ｘ２の画像Ｙ２とを対応させ、検索キーの選択画像Ｑ３と対象物Ｘ２の画像Ｙ３とを対応させ、検索キーの選択画像Ｑ４と対象物Ｘ２の画像Ｙ４とを対応させ、検索キーの選択画像Ｑ５と対象物Ｘ２の画像Ｙ６とを対応させ、検索キーの選択画像Ｑ６と対象物Ｘ２の画像Ｙ５とを対応させる対応関係Ｔを決定する。

ステップＳ１０に進み、類似度算出手段２３は対応関係Ｔにより対応付けられた類似度ｄ（ＹＱ）の和を求め、対象物Ｘ２と検索キーの対象物との類似度Ｄ（Ｘ２）とする。図１１のテーブル２０１の場合、類似度Ｄ（Ｘ２）は７５となる。

再び、ステップＳ１０からステップＳ３に戻り、類似度算出手段２３は記録部３４内の検索対象の対象物を全て選択したか否かを判定する。記録部３４内の検索対象の対象物を全て選択したため、類似度算出手段２３はステップＳ１１に進み、検索結果表示手段２４に検索結果の表示を要求する。検索結果表示手段２４は、類似度Ｄ（Ｘ１），Ｄ（Ｘ２）を降順にソートする。

したがって、図１１では検索結果表示手段２４によって類似度Ｄ（Ｘ１），Ｄ（Ｘ２）を降順にソートされ、類似度Ｄ（Ｘ１），Ｄ（Ｘ２）の順番となり、対象物Ｘ１が１番目，対象物Ｘ２が２番目に表示される。

ステップＳ１２に進み、検索結果表示手段２４は対応関係Ｔに基づき、立方体の面に対象物Ｘ１，Ｘ２の６画像（画像Ｙ１〜Ｙ６）を表示する。なお、対応関係Ｔに基づいて立方体の面に対象物Ｘ１，Ｘ２の６画像（画像Ｙ１〜Ｙ６）を表示するとき、検索結果表示手段２４は画像Ｑ１〜Ｑ６の面の方向と対応関係Ｔに基づいて、立方体のどの面に６画像を表示するか決定する。例えば図１１では、検索結果表示手段２４が、対象物Ｘ２の画像Ｙ５と画像Ｙ６とを入れ替えて表示する。

このように、検索結果表示手段２４は例えば検索対象の対象物Ｘ１に対応する立方体の各面に画像Ｙ１〜Ｙ６を表示する際、画像Ｙ１〜Ｙ６のうち検索キーの画像Ｑ１〜Ｑ６と最も類似する画像を、対応する検索キーの画像Ｑ１〜Ｑ６と同じ方向の面に貼り付ける。

次に、検索結果表示手段２４は、対象物Ｘ１に対応する立方体を回転させて、対応する検索キーの画像Ｑ１〜Ｑ６と同じ向きに貼り付けられる場合、対応する検索キーの画像Ｑ１〜Ｑ６と２番目に類似する画像を、対応する検索キーの画像Ｑ１〜Ｑ６と同じ方向の面に貼り付ける。立方体の制約上，対応する検索キーの画像Ｑ１〜Ｑ６と同じ方向の面に貼り付けられない場合、検索結果表示手段２４は、その面に貼り付けず、処理をスキップする。同様に、検索結果表示手段２４は、対応する検索キーの画像Ｑ１〜Ｑ６と３〜６番目に類似する画像を、対応する検索キーの画像Ｑ１〜Ｑ６と同じ方向の面に貼り付ける。

例えば，１番目に類似する画像が立方体の正面図の画像で，検索キーの画像Ｑ１〜Ｑ６と類似する面も立方体の正面図である場合、検索結果表示手段２４は１番目に類似する画像を立方体の正面に貼り付ける。

２番目に類似する画像が立方体の背面の画像で、検索キーの画像Ｑ１〜Ｑ６と類似する面が立方体の左側面図である場合、検索結果表示手段２４は１番目に貼り付けた画像を正面に保持した状態で立方体を回転させ、２番目に類似する画像を左側面に貼り付けることができるか確認する。ここでは、２番目に類似する画像を左側面に貼り付けることができないものとする。したがって、検索結果表示手段２４は２番目に類似する画像を貼り付けずにスキップする。

以降，検索キーの画像Ｑ１〜Ｑ６と３番目，４番目，５番目，６番目に類似する画像の順番に、検索結果表示手段２４は前述した１番目，２番目に類似する画像と同様な処理を繰り返す。もし、６番目に類似する画像の処理終了後、立方体の面に貼り付けられていない画像がある場合、検索結果表示手段２４は立方体の面に貼り付けられていない残りの画像に対して、立方体の回転の制約を満たす範囲内でランダムに画像を貼り付ける面を決定する。

なお、検索結果表示手段２４は、図９の検索結果表示画面１１０の他、図１２〜図１７に示すような検索結果表示画面により検索結果を表示するようにしてもよい。

図１２は立体図による検索結果表示画面の一例のイメージ図である。検索結果表示手段２４は、検索対象の各対象物３０２〜３０４に対応する６枚の画像のうち、検索キーである対象物３０１の画像との類似度が最も大きい画像を対象物３０２〜３０４毎に求め、求めた類似度が大きい画像の順に、検索対象の各対象物３０２〜３０４を立体図で検索結果表示画面３００に表示するものである。

図１３は検索結果表示画面の他の例のイメージ図である。検索結果表示手段２４は、検索対象の各対象物３１２〜３１４に対応する６枚の画像のうち、検索キーである対象物３１１の画像との類似度が最も大きい画像を対象物３１２〜３１４毎に求め、求めた類似度が大きい画像そのものを、類似度の順に、平面図で検索結果表示画面３１０に表示するものである。

図１４は代表図による検索結果表示画面の一例のイメージ図である。検索結果表示手段２４は、検索対象の各対象物に対応する代表画像（例えば検索対象の各対象物を斜めから描画した画像など）３２２〜３２４を、検索キーである対象物３１１との類似度の順に検索結果表示画面３２０へ表示するものである。

図１５は代表図と立体図との切り替え表示が可能な検索結果表示画面の一例のイメージ図である。検索結果表示手段２４は、検索対象の各対象物に対応する代表画像３３２〜３３４を、検索キーである対象物３３１との類似度の順に検索結果表示画面３３０へ表示するものである。また、検索結果表示手段２４は、検索対象の各対象物３４２〜３４４を立体図で、検索キーである対象物３４１との類似度の順に検索結果表示画面３４０へ表示するものである。ユーザは、検索結果表示画面３３０又は３４０を指定して表示を切り替えることができる。

図１６は検索キー上で指定した面の画像を表示する検索結果表示画面の一例のイメージ図である。検索結果表示手段２４は、検索対象の各対象物３５２〜３５６を検索キーである対象物３５１との類似度の順に表示する際、検索キーである対象物３５１の立方体の面を指定されることで、指定された面に対応（類似）した各対象物３５２〜３５６の画像を類似度の順に検索結果表示画面３５０へ表示するものである。

なお、検索対象の各対象物３５２〜３５６を検索キーである対象物３５１との類似度の順に表示した際、ユーザは必要に応じて手動で各対象物３５２〜３５６の向きを変更したり画像を貼り付ける面を変更したりすることもできる。

図１７は部分的に類似する部分を矩形でマークする検索結果表示画面の一例のイメージ図である。類似度算出手段２３が検索キーである対象物３６１の画像と部分的に類似する度合いを画像の類似度とした場合、検索結果表示手段２４は検索対象の各対象物３６２〜３６６の画像を多面体に貼り付けて表示する際、検索キーである対象物３６１の画像と部分的に類似する検索対象の各対象物３６２〜３６６の画像上の部分を矩形などでマークして表示するものである。

以上、本実施例の意匠画像検索装置１は、従来のように、一つの対象物が一つの画像として表現される場合に、検索キーの画像と類似する画像を検索対象の画像から検索し、検索結果を類似度順に表示するものではない。本実施例の意匠画像検索装置１は、一つの対象物が複数の画像で表現される場合であって、検索結果を類似度順に表示する際、検索キーの画像と検索対象の対象物の画像とを対応付けて表示するため、類似度が高い画像同士を同じ方向の面になるように順に対応付けて表示するものである。

また、本実施例の意匠画像検索装置１は、検索キーの画像と検索対象の対象物の画像とについて、類似度が高い画像同士を同じ方向の面になるように、順番に対応付けて表示することができる。したがって、ユーザは検索結果の確認を容易に行うことができる。

本発明は、以下に記載する付記のような構成が考えられる。
（付記１）
コンピュータを、
検索対象である対象物と、該検索対象である対象物を異なる方向からの視点で表現した複数の画像とを関連付けて記録した記録部から、該検索対象である対象物に関連付けられた画像群を読み出して、該読み出した画像群の画像特徴量を該検索対象である対象物の画像特徴量として抽出する第１画像特徴量抽出手段と、
検索キーである対象物と、該検索キーである対象物を異なる方向からの視点で表現した複数の画像とを関連付けて記録した記録部から、該検索キーである対象物に関連付けられた画像群を読み出して、該読み出した画像群の画像特徴量を該検索キーである対象物の画像特徴量として抽出する第２画像特徴量抽出手段と、
前記第１画像特徴量抽出手段が抽出した前記検索対象である対象物の画像特徴量と、前記第２画像特徴量抽出手段が抽出した前記検索キーである対象物の画像特徴量とを比べて、前記検索キーである対象物の画像特徴量により類似する画像特徴量を持つ前記検索対象である対象物に関連付けられた画像群から順番に、該検索対象である対象物に関連付けられた画像群を出力する検索結果表示手段と、
して機能させるための画像検索プログラム。
（付記２）
前記検索結果表示手段は、前記第１画像特徴量抽出手段及び前記第２画像特徴量抽出手段が抽出した前記複数の画像の画像特徴量に基づき、前記検索キーである対象物についてどの方向からの視点で表現した画像と前記検索対象である対象物についてどの方向からの視点で表現した画像とが類似するかの対応関係を求め、前記対応関係により前記検索キーである対象物の前記複数の画像と類似するように、複数の前記検索対象である対象物の前記複数の画像を並び替えて表示する
付記１記載の画像検索プログラム。
（付記３）
前記検索結果表示手段は、前記検索キーである対象物の前記複数の画像を用いて前記検索キーである対象物を立体図で表示すると共に、複数の前記検索対象である対象物の前記複数の画像を用いて前記検索対象である対象物を立体図で表示する
付記１又は２記載の画像検索プログラム。
（付記４）
コンピュータを、
前記第１画像特徴量抽出手段が読み出した該検索対象である対象物に関連付けられた画像群の画像特徴量と、前記第２画像特徴量抽出手段が読み出した該検索キーである対象物に関連付けられた画像群の画像特徴量とに基づき、前記検索キーである対象物に関連付けられた画像群と前記検索対象である対象物に関連付けられた画像群との全て組み合わせについて画像間の類似度を算出し、類似度の和が最大になる前記画像間の対応関係を求め、類似度の和が最大になる前記画像間の類似度の平均を、前記検索対象である対象物と前記検索キーである対象物との類似度とする類似度算出手段と
して更に機能させるための付記１乃至３何れか一項記載の画像検索プログラム。
（付記５）
コンピュータを、
前記第１画像特徴量抽出手段が読み出した該検索対象である対象物に関連付けられた画像群の画像特徴量と、前記第２画像特徴量抽出手段が読み出した該検索キーである対象物に関連付けられた画像群の画像特徴量とに基づき、前記検索キーである対象物に関連付けられた画像群と前記検索対象である対象物に関連付けられた画像群との全て組み合わせについて画像間の類似度を算出し、類似度の和が最大になる前記画像間の対応関係を求め、類似度の和が最大になる前記画像間の類似度のうち最大の類似度を、前記検索対象である対象物と前記検索キーである対象物との類似度とする類似度算出手段と
して更に機能させるための付記１乃至３何れか一項記載の画像検索プログラム。
（付記６）
類似する対象物を検索する画像検索方法であって、
検索対象である対象物と、該検索対象である対象物を異なる方向からの視点で表現した複数の画像とを関連付けて記録した記録部から、該検索対象である対象物に関連付けられた画像群を読み出して、該読み出した画像群の画像特徴量を該検索対象である対象物の画像特徴量として抽出する第１画像特徴量抽出ステップと、
検索キーである対象物と、該検索キーである対象物を異なる方向からの視点で表現した複数の画像とを関連付けて記録した記録部から、該検索キーである対象物に関連付けられた画像群を読み出して、該読み出した画像群の画像特徴量を該検索キーである対象物の画像特徴量として抽出する第２画像特徴量抽出ステップと、
前記第１画像特徴量抽出ステップで抽出した前記検索対象である対象物の画像特徴量と、前記第２画像特徴量抽出ステップで抽出した前記検索キーである対象物の画像特徴量とを比べて、前記検索キーである対象物の画像特徴量により類似する画像特徴量を持つ前記検索対象である対象物に関連付けられた画像群から順番に、該検索対象である対象物に関連付けられた画像群を出力する検索結果表示ステップと、
をコンピュータが実行することを特徴とする画像検索方法。
（付記７）
コンピュータを、
検索対象である対象物と、該検索対象である対象物を異なる方向からの視点で表現した複数の画像とを関連付けて記録した記録部から、該検索対象である対象物に関連付けられた画像群を読み出して、該読み出した画像群の画像特徴量を該検索対象である対象物の画像特徴量として抽出する第１画像特徴量抽出手段と、
検索キーである対象物と、該検索キーである対象物を異なる方向からの視点で表現した複数の画像とを関連付けて記録した記録部から、該検索キーである対象物に関連付けられた画像群を読み出して、該読み出した画像群の画像特徴量を該検索キーである対象物の画像特徴量として抽出する第２画像特徴量抽出手段と、
前記第１画像特徴量抽出手段が抽出した前記検索対象である対象物の画像特徴量と、前記第２画像特徴量抽出手段が抽出した前記検索キーである対象物の画像特徴量とを比べて、前記検索キーである対象物の画像特徴量により類似する画像特徴量を持つ前記検索対象である対象物に関連付けられた画像群から順番に、該検索対象である対象物に関連付けられた画像群を出力する検索結果表示手段と、
して機能させるための画像検索プログラムを記録したコンピュータ読み取り可能な記録媒体。

本発明は、具体的に開示された実施例に限定されるものではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。

意匠画像検索装置の一例の構成図である。 意匠画像検索装置を含む意匠画像検索システムの一例の構成図である。 意匠画像検索装置の一例のブロック構成図である。 キー画像群を記録した記録部の一例の構成図である。 検索対象画像群を記録した記録部の一例の構成図である。 画像同士の対応関係を表した一例のイメージ図である。 検索結果表示画面の一例のイメージ図である。 検索結果表示画面の他の例のイメージ図である。 立体図による検索結果表示画面の一例のイメージ図である。 意匠画像検索装置の処理手順を表した一実施例のフローチャートである。 意匠画像検索装置の処理を表した一例の処理イメージ図である。 立体図による検索結果表示画面の一例のイメージ図である。 検索結果表示画面の他の例のイメージ図である。 代表図による検索結果表示画面の一例のイメージ図である。 代表図と立体図との切り替え表示が可能な検索結果表示画面の一例のイメージ図である。 検索キー上で指定した面の画像を表示する検索結果表示画面の一例のイメージ図である。 部分的に類似する部分を矩形でマークする検索結果表示画面の一例のイメージ図である。

符号の説明

１ 意匠画像検索装置
２、２ａ、２ｂ ユーザ端末
３ ネットワーク
１１ 入力装置
１２ 出力装置
１３ ドライブ装置
１４ 補助記憶装置
１５ 主記憶装置
１６ 演算処理装置
１７ インターフェース装置
１８ 記録媒体
２１、２２ 画像特徴量抽出手段
２３ 類似度算出手段
２４ 検索結果表示手段
３１ キー画像群を記録した記録部
３２ 検索対象画像群を記録した記録部
３３ キー画像の画像特徴量を記録する記録部
３４ 検索対象画像の画像特徴量を記録する記録部
１００、１１０、３００、３１０、３２０、３３０、３４０、３５０、３６０ 検索結果表示画面

Claims (6)

1. コンピュータを、
   検索対象である対象物と、該検索対象である対象物を異なる方向からの視点で表現した複数の画像とを関連付けて記録した記録部から、該検索対象である対象物に関連付けられた画像群を読み出して、該読み出した画像群の画像特徴量を該検索対象である対象物の画像特徴量として抽出する第１画像特徴量抽出手段と、
   検索キーである対象物と、該検索キーである対象物を異なる方向からの視点で表現した複数の画像とを関連付けて記録した記録部から、該検索キーである対象物に関連付けられた画像群を読み出して、該読み出した画像群の画像特徴量を該検索キーである対象物の画像特徴量として抽出する第２画像特徴量抽出手段と、
   前記第１画像特徴量抽出手段が抽出した前記検索対象である対象物の画像特徴量と、前記第２画像特徴量抽出手段が抽出した前記検索キーである対象物の画像特徴量とを比べて、前記検索キーである対象物の画像特徴量により類似する画像特徴量を持つ前記検索対象である対象物に関連付けられた画像群から順番に、該検索対象である対象物に関連付けられた画像群を出力する検索結果表示手段と、
   して機能させるための画像検索プログラム。
2. 前記検索結果表示手段は、前記第１画像特徴量抽出手段及び前記第２画像特徴量抽出手段が抽出した前記複数の画像の画像特徴量に基づき、前記検索キーである対象物についてどの方向からの視点で表現した画像と前記検索対象である対象物についてどの方向からの視点で表現した画像とが類似するかの対応関係を求め、前記対応関係により前記検索キーである対象物の前記複数の画像と類似するように、複数の前記検索対象である対象物の前記複数の画像を並び替えて表示する
   請求項１記載の画像検索プログラム。
3. 前記検索結果表示手段は、前記検索キーである対象物の前記複数の画像を用いて前記検索キーである対象物を立体図で表示すると共に、複数の前記検索対象である対象物の前記複数の画像を用いて前記検索対象である対象物を立体図で表示する
   請求項１又は２記載の画像検索プログラム。
4. コンピュータを、
   前記第１画像特徴量抽出手段が読み出した該検索対象である対象物に関連付けられた画像群の画像特徴量と、前記第２画像特徴量抽出手段が読み出した該検索キーである対象物に関連付けられた画像群の画像特徴量とに基づき、前記検索キーである対象物に関連付けられた画像群と前記検索対象である対象物に関連付けられた画像群との全て組み合わせについて画像間の類似度を算出し、類似度の和が最大になる前記画像間の対応関係を求め、類似度の和が最大になる前記画像間の類似度の平均を、前記検索対象である対象物と前記検索キーである対象物との類似度とする類似度算出手段と
   して更に機能させるための請求項１乃至３何れか一項記載の画像検索プログラム。
5. 類似する対象物を検索する画像検索方法であって、
   検索対象である対象物と、該検索対象である対象物を異なる方向からの視点で表現した複数の画像とを関連付けて記録した記録部から、該検索対象である対象物に関連付けられた画像群を読み出して、該読み出した画像群の画像特徴量を該検索対象である対象物の画像特徴量として抽出する第１画像特徴量抽出ステップと、
   検索キーである対象物と、該検索キーである対象物を異なる方向からの視点で表現した複数の画像とを関連付けて記録した記録部から、該検索キーである対象物に関連付けられた画像群を読み出して、該読み出した画像群の画像特徴量を該検索キーである対象物の画像特徴量として抽出する第２画像特徴量抽出ステップと、
   前記第１画像特徴量抽出ステップで抽出した前記検索対象である対象物の画像特徴量と、前記第２画像特徴量抽出ステップで抽出した前記検索キーである対象物の画像特徴量とを比べて、前記検索キーである対象物の画像特徴量により類似する画像特徴量を持つ前記検索対象である対象物に関連付けられた画像群から順番に、該検索対象である対象物に関連付けられた画像群を出力する検索結果表示ステップと、
   をコンピュータが実行することを特徴とする画像検索方法。
6. コンピュータを、
   検索対象である対象物と、該検索対象である対象物を異なる方向からの視点で表現した複数の画像とを関連付けて記録した記録部から、該検索対象である対象物に関連付けられた画像群を読み出して、該読み出した画像群の画像特徴量を該検索対象である対象物の画像特徴量として抽出する第１画像特徴量抽出手段と、
   検索キーである対象物と、該検索キーである対象物を異なる方向からの視点で表現した複数の画像とを関連付けて記録した記録部から、該検索キーである対象物に関連付けられた画像群を読み出して、該読み出した画像群の画像特徴量を該検索キーである対象物の画像特徴量として抽出する第２画像特徴量抽出手段と、
   前記第１画像特徴量抽出手段が抽出した前記検索対象である対象物の画像特徴量と、前記第２画像特徴量抽出手段が抽出した前記検索キーである対象物の画像特徴量とを比べて、前記検索キーである対象物の画像特徴量により類似する画像特徴量を持つ前記検索対象である対象物に関連付けられた画像群から順番に、該検索対象である対象物に関連付けられた画像群を出力する検索結果表示手段と、
   して機能させるための画像検索プログラムを記録したコンピュータ読み取り可能な記録媒体。

Images