JP2009053864A - 画像検索装置、画像検索方法及びプログラム - Google Patents

Abstract

【課題】パーツを組合せて構成する３次元モデルを基に入力画面に表示した２次元の全体画像上をポインタで指示することで、探し出すパーツを絞り込み、絞り込んだ候補パーツから目的のパーツを探し出すユーザの作業負担を軽減し、処理系に掛かる処理量の増大を抑制する。
【解決手段】ユーザの入力により指示したポインタを基に定められた閉領域に含まれる選択対象の候補パーツを抽出し（Ｓ２０２）、その中から最終的に探し出すパーツを指示する操作をユーザが行うための候補パーツ群の表示画面において、候補パーツの大きさ（面積による）に着目し、小さいほど優先順位を高くし（Ｓ２０３）、ユーザの目にとまりやすい上位の表示位置から優先順位に従い各候補パーツの単位画像を並べて表示する（Ｓ２０４）。
【選択図】図５

Description

本発明は、パーツ（部品）を組合せて構成する３次元モデルを元に作成されたパーツ画像のデータベースから利用する画像を検索する装置、同画像を検索する方法及び同画像の検索に用いるプログラムに関する。

近年、コンピュータの性能向上とグラフィック処理技術の進歩により、ＣＡＤ（Computer-aided Design）やＣＧ（Computer Graphics）を駆使し、３次元モデルを作成し、また、作成した３次元モデルを用いて立体視が可能な画像を生成する等の３次元モデルの利用も急速に広がってきている。工業製品の製造業においても進展が見られ、例えば、パーツカタログやサービスマニュアルなどにおいて製品モデルを表示する画像の作成にも利用され、このような画像を含むコンテンツを電子媒体として利用することが可能になってきている。

機械製品や電気製品など、多くの工業製品は、複数のパーツから構成されており、製品モデルの画像を利用する際には、製品を構成するパーツをモデルの全体画像上で識別することが必要になる場面も頻繁に生じる。
このような場合、従来は製品の３次元モデルの表示画面上で、３次元空間上の位置または領域を指定し、各パーツとの幾何学的な関係から特定のパーツを抽出する処理が行なわれていた。
例えば、下記特許文献１（特開平０９−１９０４５６号公報）では、３次元の製品モデルの情報を読み込んだＣＡＤシステムにおいて、３次元空間上で縦、横、奥行きを有した閉空間を指定することで、指定された閉空間内に位置する製品モデルのパーツを抽出する方法を提示している。また、下記特許文献２（特開２００６−３９８７２号公報）では、３次元形状モデルに対して、スタイラスをユーザが操作することによって、空間上の基準位置、基準方向及び基準位置からの距離を幾何学的探索基準として定め、この基準に当てはまるパーツを抽出する方法を提示している。

このように、特許文献１，２のどちらも、パーツを抽出する際に、ユーザの入力によって探索する３次元空間を指定するので、ユーザが抽出対象の位置を３次元空間で認識していることを前提としている。
このため、抽出対象を３次元空間で認識し、それを操作に反映させなければならず、抽出対象のパーツを指定するデータ等の入力が簡単ではないために、使い勝手があまりよくない。しかも、パーツを抽出する操作を行なう都度、幾何学的な関係を計算するため、パーツ点数が非常に多いと、処理量が多くなり、処理性能の低い計算機では十分には実用に耐える速度が得られない、という問題が生じる。

そこで、この問題を解決するための方法として、下記特許文献３（特開２００７−４２０７７号公報）は、３次元モデルをもとに画面に２次元の全体像を表示し、この画像面上で２次元の閉領域を指定するユーザの入力によって、閉領域に含まれるパーツを抽出する操作を行なう方法を提案している。さらに、この特許文献では、抽出した閉領域に含まれる複数のパーツの中から選択できるパーツをユーザが指定できるように画面上に示し、又選択されたパーツを２次元の全体像上にハイライトで表示する方法を提案している。
特開平０９−１９０４５６号公報 特開２００６−３９８７２号公報 特開２００７−４２０７７号公報

しかしながら、特許文献３では、目的とする１つのパーツを見付ける場合、画像面に表示した２次元の全体像に対する閉領域の指定によって、指定された閉領域に含まれるパーツ群への絞り込みが行われるものの、絞り込んだ後は、ランダムにリストアップされたパーツ群の中から目的とする１つのパーツを探し出さなければならず、多数のパーツが対象になる場合には、ユーザの作業負担が大きくなり、利便性の低下は否めない。

本発明は、上記した従来の検索処理において生じる問題に鑑みてなされたもので、その目的は、３次元モデルをもとに入力画像に表示した２次元の全体画像上で指定された閉領域に含まれるパーツへ絞り込み、さらにその中から目的とする１つのパーツを選択する操作に対応する検索処理において、閉領域に含まれるパーツへ絞り込んでも多数のパーツが選択対象として得られ、その中から目的とする１つのパーツを探し出す場合に、ユーザに掛かっていた作業負担を軽減化できるようにすることにある。

請求項１の発明は、パーツを組合せて構成する３次元モデルをもとにそれぞれ作成された２次元の全体画像、２次元のパーツ画像及び全体画像における各パーツの境界情報を格納したデータベースと、ＧＵＩ機能を持つユーザインターフェースと、前記データベースから前記ユーザインターフェースの入力画面を介して指示される検索条件に従って、２次元のパーツ画像を検索する検索手段と、前記検索手段の検索結果を出力する手段を有する画像検索装置であって、前記検索手段は、前記ユーザインターフェースを介して行われる１次検索条件の指示に応じて、前記データベースから取得した検索対象モデルのデータを管理するとともに、前記ユーザインターフェースの入力画面に表示する画像を生成するデータ管理部と、前記ユーザインターフェースの入力画面に表示された前記検索対象モデルの全体画像上をポインタで示す２次検索条件の指示に応じ、当該指示位置により定まる閉領域と前記検索対象モデルの各パーツの境界情報とを比較して、閉領域内に含まれる境界線を持つパーツを検索候補パーツと判定し、抽出するとともに、抽出した検索候補パーツについて、それぞれの前記境界情報に基づいて求めた面積の小さい順に優先順位を付与する判定処理部と、前記ユーザインターフェースの入力画面に、前記判定処理部によって抽出された検索候補パーツのパーツ画像を、付与された優先順位に従って表示し、表示された検索候補パーツの中から目的のパーツを選択する３次検索条件の指示に応じるパーツ選択処理部を備えたことを特徴とする。
請求項２の発明は、前記データベースに格納した前記２次元全体画像及び２次元のーパーツ画像として、複数視点とズーム段階を変えて表示することができる画像及び各パーツのハイライト表示をすることができる画像を格納した請求項１に記載された画像検索装置において、前記データ管理部は、前記ユーザインターフェースの入力画面を介して指示された視点とズーム段階に応じて、当該入力画面に表示する全体画像、ハイライト表示を含むパーツ画像を生成することを特徴とする。
請求項３の発明は、パーツを組合せて構成する３次元モデルをもとにそれぞれ作成された２次元の全体画像及び２次元のパーツ画像を格納したデータベースからＧＵＩ機能を持つユーザインターフェースの入力画面を介して指示される検索条件に従い２次元のパーツ画像データを検索する画像検索方法であって、前記ユーザインターフェースを介して行われる１次検索条件の指示に応じて、前記データベースから取得した検索対象モデルのデータを管理するとともに、前記ユーザインターフェースの入力画面に表示する画像を生成するデータ管理工程と、前記ユーザインターフェースの入力画面に表示された前記検索対象モデルの全体画像上をポインタで示す２次検索条件の指示に応じ、当該指示位置により定まる閉領域と前記検索対象モデルの各パーツの境界情報とを比較して、閉領域内に含まれる境界線を持つパーツを検索候補パーツと判定し、抽出するとともに、抽出した検索候補パーツについて、それぞれの前記境界情報に基づいて求めた面積の小さい順に優先順位を付与する判定処理工程と、前記ユーザインターフェースの入力画面に、前記判定処理工程によって抽出された検索候補パーツのパーツ画像を、付与された優先順位に従って表示し、表示された検索候補パーツの中から目的のパーツを選択する３次検索条件の指示に応じるパーツ選択処理工程を有することを特徴とする。
請求項４の発明は、前記データベースに格納した前記２次元の全体画像及び２次元のパーツ画像として、複数視点とズーム段階を変えて表示することができる画像及び各パーツのハイライト表示をすることができる画像を格納した請求項３に記載された画像検索方法において、前記データ管理工程は、前記ユーザインターフェースの入力画面を介して指示された視点とズーム段階に応じて、当該入力画面に表示する全体画像、ハイライト表示を含むパーツ画像を生成することを特徴とする。
請求項５の発明は、コンピュータを請求項１又は２に記載された画像検索装置における前記検索手段として機能させるためのプログラムである。
請求項６の発明は、請求項５に記載されたプログラムをコンピュータ読み取り可能に記録した記録媒体である。

本発明によれば、工業製品などの形状モデルをもとに、パーツが組み付いた状態の製品の全体イメージをＧＵＩの画面に表示し、表示された製品上の特定のポイントの指示操作で、当該ポイントの近辺に組み付いているパーツを、探し出そうとしているパーツの候補（以下、「検索候補」或いは単に「候補」という）として絞り込みことができ、しかも、最終的にパーツを探し出すためにユーザに示す候補の表示画面では、小さいパーツを優先させて表示するようにしたことで、パーツを探し出す場合にユーザに掛かる作業負担を軽減化できる。
また、パーツの検索・表示を行う際に、製品の２次元画像データを操作する処理法によっており、モデルの３次元形状データを利用する従来法（上記［背景技術」の項の記載、参照）に比べて、軽い処理で目的の検索・表示動作を行えるようにしたので、処理性能の低いコンピュータ上でも十分実用に耐えることができる。

以下に、本発明の画像検索装置に係る実施形態を示す。
本発明の画像検索装置は、パーツ（部品）を組合せて構成する３次元（３Ｄ）のモデルをもとに作成された、パーツのカタログに利用できるパーツ画像等のデータ（以下「パーツカタログ」という）を格納したデータベースから、利用するパーツ画像等のデータを検索する機能を持つ。なお、３次元（３Ｄ）のモデル（以下では、「形状モデル」ともいう）という場合、データで３次元の形状が表現されたオブジェクトを指し、３Ｄ_ＣＡＤデータはこの一つであり、現物を３Ｄ計測して得たデータでもよい。
以下の実施形態では、パーツカタログのデータベースを作成し、作成されたデータベースから目的のパーツ画像を検索し、閲覧するシステム（以下、「パーツカタログ作成・閲覧システム」という）として、本発明の画像検索装置を実施する例を示す。

図１は、後述するパーツカタログ作成・閲覧システム（図２、参照）を構築することができるデータ処理装置のハードウェア構成を示す図である。
図１に示すデータ処理装置は、ＣＰＵ（Central Processing Unit）１、メモリ２、入出力装置３及び外部入出力装置４を内部バス５で接続して構成するもので、この装置は、汎用のＰＣ或いはＰＣに周辺機器を接続したハードウェア構成を持つデータ処理装置（システム）によって実施することができる。

図１において、ＣＰＵ１は、このデータ処理装置の動作を制御するもので、メモリ２内に格納した各種のアプリケーションプログラム、ワークデータ及びファイルデータ等を駆使し、各アプリケーションのデータ処理機能を実現する。アプリケーションプログラムとして、後述するパーツカタログを作成するためのプログラム及び作成されたパーツカタログを検索し、閲覧するためのプログラムをインストールすることにより、パーツカタログ作成・閲覧システム（図２、参照）のカタログ作成部２０、画像補填部２５、位置情報補填部２６及びカタログ閲覧部２７を構成する。また、ＣＰＵ１は、メモリ２及び外部入出力装置４とともに、パーツカタログ作成・閲覧システムで用いる各種データベースを構築し、それぞれのデータを管理する。

入出力装置３は、ＣＰＵ１の制御下で処理を要求するユーザによる処理条件等の入力操作を受取り、さらに入力操作等に応じて変化する装置側の動作状態をユーザにディスプレイを通して知らせるユーザインターフェースとしての機能を提供する。ここでは、ディスプレイに表示された入力画面に対し、キーボード、マウス等の操作によって入力を行う、いわゆるＧＵＩ（Graphical User Interface）機能を提供する。
また、外部入出力装置４は、本体の機能を拡張するために設ける周辺装置で、例えば、処理に必要なデータを外部から得るための記録媒体を用いることができ、又データベースを構築するために容量の大きな記憶媒体を用いることができる外部記憶装置、或いはパーツカタログ作成・閲覧システムから出力されるデータを利用する、例えば、プリンタや他のディスプレイ等の出力装置である。

次に、本実施形態のパーツカタログ作成・閲覧システムの詳細を説明する。
本実施形態のパーツカタログ作成・閲覧システムは、大別すると、パーツカタログのデータベース（以下、「カタログＤＢ」という）を作成する機能部と該カタログＤＢから指定したパーツカタログを検索し、閲覧する機能部よりなる。
カタログＤＢを作成する機能部は、パーツ（部品）を組合せて構成する３次元モデル（以下、「３Ｄデータ」ともいう）を基に、２次元画像付きのパーツカタログのＤＢを作成する。作成されるＤＢは、パーツごとにカタログに利用できる２次元画像を含むコンテンツと各パーツを識別することができる属性や固有のデータを管理する。また、パーツカタログを検索し、閲覧する機能部は、ユーザの検索要求に応じて、指定されたパーツの２次元画像データ等、カタログＤＢで管理されているデータを表示用のデータとして出力する処理を行う。

図２は、本実施形態のパーツカタログ作成・閲覧システムの概略構成を示すブロック図である。なお、このシステムを構成する、カタログ作成部２０、画像補填部２５、位置情報補填部２６及びカタログ閲覧部２７よりなるデータ処理部と、３Ｄデータ２１、パーツリスト２２、カタログデータ２３及び画像データ２４の各データベース（ＤＢ）は、上記で図１を参照し、説明したように、ＣＰＵ１の制御下にメモリ２、入出力装置３等を用いて構成・構築することができる。

先ず、図２を参照して、カタログデータベース２３を作成する機能部の構成と動作を説明する。
図２において、３Ｄデータベース２１は、カタログ作成のために利用される形状モデルを格納したデータベースで、ここでは、３Ｄ_ＣＡＤデータを格納している。ここに格納された３Ｄ_ＣＡＤデータは、製品を構成するパーツ単位ごとの形状情報と、これらのパーツが組み付いた状態の製品全体を表す情報である。
パーツリストＤＢ２２は、カタログに含まれるべき交換可能なパーツのリストを記述したデータベースである。ここに格納されたリストデータは、パーツの名称やパーツ発注時の番号等の情報で、製品のユニット単位にまとめた形で管理される。

カタログ作成部２０は、パーツリストデータベース２２に格納されているリストに登録されているパーツのうち、３Ｄデータベース２１に３Ｄ_ＣＡＤデータが保存されているものは、このデータベースの保存内容を参照し、他方、３Ｄデータベース２１に３Ｄ ＣＡＤデータが保存されていないものについては、画像補填部２５により補填入力される画像データを用いる。
画像補填部２５は、２次元（２Ｄ）データで画像を格納する画像ＤＢ２４から画像データを補填する。カタログ作成部２０は、画像補填部２５を通して得た画像データにより補填をする際に、位置情報補填部２６から入力される位置情報が補填する位置として指定されるので、その指定に応じてパーツカタログの作成を行う。

画像データベース２４に格納する画像データは、３Ｄデータベース２１に３Ｄ_ＣＡＤデータとして保存されていないパーツを予め知った上で、パーツカタログを作成する際にこれを補填するデータとして用意する。ここでは、本システムを構築する条件として、作成するパーツカタログの画像を２次元としているので、この条件によると、２Ｄデータでよい。従って、画像データデータベース２４に格納する画像は、例えば、デジタル・スチル・カメラで撮影した画像やイラストで作成された画像を用いることができる。

また、画像データベース２４から補填される上記したパーツ画像は、パーツ単体のデータであるから、カタログデータとして出力するためには、補填される画像が全体像のどの部分に組み付けられるかを指定しなければならない。
このために、位置情報補填部２６を設けている。位置情報補填部２６は、入出力装置３を用いるユーザの操作によって補填されるパーツ画像の位置を指定する入力が行われるので、その操作に従い指定された位置情報をカタログ作成部２０に渡す。

カタログ作成部２０は、各パーツが３Ｄ_ＣＡＤデータとして保存されている場合、或いは保存されていない場合も、上記のようにして、カタログデータとして、指定されたパーツの２次元画像データを作成し、このデータを利用する次段の処理部に出力する。このカタログデータは、パーツのカタログとしてユーザに表示する画像データやパーツの名称のほか、各パーツを識別することができる属性や固有のデータを付与し、検索等に用いることができるようにする。

図２に例示するシステムでは、作成されたパーツカタログの閲覧を行えるようにしているので、カタログ作成部２０によって作成されたパーツカタログをカタログデータベース２３に格納し、カタログ閲覧部２７を介してカタログデータベース２３に格納したカタログデータを利用できるようにしている。
本実施形態では、特に、後記で詳述するように、カタログ閲覧部２７で扱う画像データは、３次元の形状モデルから作成した２次元画像を処理の対象とするので、カタログデータベース２３に格納するデータは、複数の異なる視点から複数の異なるズーム段階で見た形状モデルの画像（後記する図６の６０１、参照）、各画像中で特定のパーツがハイライト表示された画像（後記する図６の６０２，６０４，６０６、参照）、各画像中で特定のパーツが占める画像領域の境界を特定する境界情報、複数の異なる視点から複数の異なるズーム段階で見たパーツの単位画像（後記する図６の６０３，６０５，６０７、参照）等を予め用意し、パーツ名称を付けて格納しておく。
なお、比較的単純な処理で生成可能なデータ（例えば指定拡大率の画像）等は、予め用意して格納しておくのではなく、リクエストに応じて随時生成して表示する構成としてもよい。また、カタログデータベース２３は、情報量が大きくなる場合には、外部入出力装置４を用いて構築するとよい。

次に、パーツカタログ作成・閲覧システム（図２）における、パーツカタログの検索機能に係る構成と動作を説明する。なお、この検索機能は、図２のシステムにおいては、上記したパーツカタログの作成機能により作成され、カタログデータベース２３で管理するデータから閲覧しようとする目的のパーツ画像等を検索する機能で、カタログ閲覧部２７の持つ機能である。

カタログ閲覧部２７は、カタログデータベース２３を閲覧する際に、ユーザの要求に従い、目的のカタログデータを検索する処理を行う。この実施形態では、ユーザの要求をＧＵＩの画面を通して受付ける際に、先ず、ユーザにより指定されたモデルのデータをカタログデータベース２３から取得し（以下、これを「１次検索」という）、次に、１次検索で取得した当該モデルの２次元全体像をユーザに画面表示し、表示された全体像からユーザによって指定されたパーツ（後述する候補パーツ）の２次元パーツ画像を１次元検索で取得したデータから検索（以下、これを「２次検索」という）し、さらに、取得した候補パーツの２次元パーツ画像をユーザに画面表示し、その中からユーザにより指定されたパーツカタログデータを最終的に検索（以下、これを「３次検索」という）する処理を行う。
つまり、ユーザの選択用に表示する全体像及びカタログ用のデータとして出力するパーツの画像、いずれも２次元の画像データとする。このようにすることで、ユーザが選択するパーツを探し出す作業を簡便にするとともに、処理系の負担を軽くすることを狙いとし、この点が構成上の一つの特徴となる。

さらに、この実施形態では、ユーザが求めるパーツを選択する際に、その作業負担を軽減するために、次に示す機能を備える。
ＧＵＩの画面に表示された全体像から２次検索でパーツを指定する際に、検索条件として、画面上の全体画像に対し位置を指示する操作をユーザに行わせ、その指示を受けて、求めるパーツを絞り込む。ここでは、ポイント（位置）の指示により領域を定めることによって、まず、領域内のパーツをユーザが求めるパーツの検索候補（以下、「検索候補」或いは単に「候補」という）として絞り込み、絞り込んだ候補をユーザに示し、次に、その中から、最終的に求めるパーツを選択する操作を受け、この操作に従い３次検索を行い、検索結果を出力する、という手順で動作を行う。

上記のような選択操作を行う際に、２次検索で絞り込んだ複数の候補パーツに、後述するように画面に表示される形状モデルの全体画像においてパーツの占める面積の小さい順、という基準で優先順位を付け、優先順位に従いＧＵＩの画面を通してユーザに提示する機能を付加する。
この付加機能によると、探し難い小さなパーツを選択する作業を容易に行えるようにするために、表示に工夫を加えることが可能になり、特に多数のパーツ候補が提示された場合にその有効性を発揮する。

図３は、パーツカタログ作成・閲覧システム（図２）のカタログ閲覧部の構成を示すブロック図である。なお、同図中の矢印は、データの流れを示す。
図３において、入力装置２７８は、ＧＵＩ機能を持つユーザインターフェースの入力部（図１の入出力装置３の入力部に当たる）で、マウスやキーボードを有し、ユーザの操作により検索・閲覧に必要な指示や情報などを入力する。
出力装置２７９は、ＧＵＩ機能を持つユーザインターフェースの出力部（図１の入出力装置３の出力部に当たる）で、ディスプレイを有し、その表示画面を通して、検索・閲覧要求に係るユーザの入力を受付ける際に必要な情報や検索・閲覧結果をユーザに知らせる。

データ管理部２７１は、内部の記憶部でカタログ検索・閲覧に係る処理において扱う各種のデータを管理する。
データ管理部２７１は、閲覧要求時に、入力装置２７８を通してユーザが指定した形状モデルに対し、カタログＤＢ２３に格納されたカタログデータを参照して、指定された形状モデルに対する全体画像や、当該形状モデルを構成する全てのパーツについて、ハイライト付全体画像、単体画像および境界情報を、複数の視点、および、複数のズーム段階ごとに取り出して、内部の記憶部へ書き出し、検索・閲覧に係る処理に応じる。

なお、上記したハイライト付全体画像は、着目しているパーツ形状をハイライト表示させたモデル全体の画像で、着目パーツのハイライト表示は、着目パーツを他のパーツとは異なる表示形態、例えば特定色（赤色等）で表示したり、点滅させて表示したりすることにより実現される。
また、上記したパーツの単体画像は、着目しているパーツ形状だけの画像で、パーツの名称等のパーツを特定することができる情報を付属情報とする。
また、上記した境界情報は、形状モデルの全体画像において、着目しているパーツが占める領域とそうでない領域との境界線に関する情報であり、例えば点・曲線・曲面などの幾何形状データと、この幾何形状データの相互関係を示す位相データとからなる情報である。
なお、本実施形態では、ハイライト付全体画像と境界情報は、パーツごとに、複数の視点、および、複数のズーム段階による画像と情報が記憶される。

図３の内外判定処理部２７２は、出力装置２７９のディスプレイに表示された形状モデルの全体画像の中から選択対象とするパーツを絞り込むための判定を行う。判定方法は、ユーザに全体画像を表示した画面で位置を指示するポインタの操作を行わせ、指示に従い閉領域を定め、各パーツについて領域内か、領域外かを判定し、閉領域内と判定されたパーツを選択対象の候補パーツとして絞り込む。
具体的には、ある視点方向から見た形状モデルの全体画像を出力装置２７９のディスプレイの画面上に表示している状態で、選択しようとしているパーツのあるあたりをポインタで指示ことにより、ポイントを含む所定の閉領域、例えば、ポイントを中心とする円形領域或いはポイントを対角線の交点とする矩形領域を定め、この領域をこの判定に用いる閉領域とする。

内外判定処理部２７２は、上記判定方法に拠る処理プロセスとして、ユーザがポインタの入力により指示した位置に基づいて定められた閉領域の情報と、データ管理部２７１に記憶された各パーツの境界情報とを比較して、閉領域内にパーツの境界線が含まれるパーツを、選択対象の候補パーツとして抽出し、抽出した候補パーツのハイライト付全体画像を識別する情報を、複数の視点、および、複数のズーム段階ごとに取り出して、パーツ選択処理部２７３に渡す。

また、内外判定処理部２７２は、このときに、抽出した候補パーツを出力装置２７９のディスプレイに表示して、最終的に求めるパーツの選択をユーザの入力操作に委ねるので、候補パーツの単体画像あるいはその名称を出力装置２７９に渡す。
ただ、本実施形態では、候補パーツを出力装置２７９のディスプレイに表示するときに、抽出された各パーツを何の工夫も無しにランダムな状態のまま、リストといった形でユーザに表示すると、候補パーツ群の中から目的とする１つのパーツを探し出さなければならず、多数のパーツが候補になる場合には、ユーザの作業負担が大きくなり、利便性を低下させる。

そこで、絞り込んだ複数の候補パーツの大きさに着目し、小さいほど優先順位を高くし、このように定めた優先順位に従いＧＵＩの画面表示を工夫し、ユーザに示す。ここに、パーツの大きさは、用いる形状モデルの全体画像において、各パーツの占める面積によって決める。
優先順位に従うＧＵＩ画面の表示の仕方として、例えば、候補パーツ群の中から目的とする１つのパーツを選択するためにユーザに示す画面において、ユーザの目にとまりやすいと考えられる表示位置の順番があれば、優先順位に従い各候補パーツの単位画像の表示位置を決めることや、優先順位が高いほど小さいパーツであるから、パーツの単位画像をユーザが認識しやすいと考えられる大きさに変えて表示するといった工夫をする。このような表示をすることで、絞り込んだ候補パーツから求めるパーツを選択するユーザの作業を容易にする。特に多数のパーツ候補を示す場合に有効となる。

また、候補パーツに優先順位を付与するための根拠となるパーツ占有面積は、候補パーツが抽出された形状モデルの全体画像に伴って、取得する各パーツの境界情報に基づいて計算される。パーツの境界情報は、形状モデルの全体画像の画像面上において、各パーツの境界線上にある点（座標）の集合で表現される。よって、境界線上の座標の集合をもとに、境界線で閉じたエリアの面積が計算できる。なお、簡便なパーツの面積の計算方法として、パーツの境界線を囲む矩形を仮想し、この仮想した矩形の面積を求める面積とみなす等の近似計算によって算出する方法を採用することができる。
上記した優先順位により候補パーツの表示を変更するための情報は、内外判定処理部２７２から出力装置２７９に渡す候補パーツの単体画像の情報に付加される。

図３のパーツ選択処理部２７３は、前段の内外判定処理部２７２で判定結果として抽出された候補パーツのハイライト付全体画像を識別する情報を受取る。また、受取った候補パーツの前記情報を処理対象として管理し、出力装置２７９のディスプレイに表示された候補パーツの単体画像の中から、入力装置２７８を通してユーザが指定した１つのパーツのハイライト付全体画像を識別する情報を、複数の視点、および、複数のズーム段階ごとに取り出して、最終的に選択されたパーツの情報として画像切替処理部２７４に渡す。

図３の画像切替処理部２７４は、前段のパーツ選択処理部２７３でユーザの操作により最終的に選択されたパーツのハイライト付全体画像を識別する情報を受取る。また、受取ったパーツの前記情報をもとに、当該パーツのハイライト付全体画像を選択結果として出力装置２７９のディスプレイに表示するための処理を行う。このとき、表示するハイライト付全体画像に対し、複数の視点、および、複数のズーム段階から要求する画像がユーザにより指示されるので、この指示を入力装置２７８から受け取る。なお、指示がない場合はデフォールトの視点方向及びズーム率を適用することができる。
つまり、画像切替処理部２７４は、データ管理部２７１が管理する当該パーツの画像データを取得し、かつパーツ選択処理部２７３から渡された最終的に選択されたパーツのハイライト付全体画像を識別する情報とユーザが指示する視点方向とズーム段階に従って、当該パーツのハイライト付全体画像を取り出し、出力装置２７９のディスプレイに表示する。

次に、上記したカタログ閲覧部（図３）の検索・閲覧に係る処理手順を図４及び図５のフローチャートを参照して説明する。また、図６は、検索処理の過程でＧＵＩ機能を提供する入出力装置のディスプレイに切替表示される画面である。図６に示す画面は、以下の検索処理手順の説明で参照する。
まず、１次検索条件の指示として、ＧＵＩ機能を提供する出力装置２７９のディスプレイに、カタログデータベース２３に格納された形状モデルの一覧等の選択画面を表示し、その画面上でユーザに入力装置２７８を通して閲覧したいパーツのある選択対象の形状モデルを指定させる（ステップＳ１０１）。この指定操作が行われると、これを受け、データ管理部２７１は、指定された形状モデルに対する全体画像や、このモデルを形成するすべてのパーツについて、カタログデータベース２３から上述したハイライト付全体画像、単体画像および境界情報を、複数の視点、および、複数のズーム段階ごとに取り出して、内部の記憶部へ書き出すとともに、指定された形状モデルの全体画像を出力装置２７９のディスプレイに表示する（ステップＳ１０２）。このときに表示される形状モデルの全体画像の１例を図６（ａ）の画面６０１に示す。

次に、２次検索条件の指示として、出力装置２７９のディスプレイに表示された形状モデルの全体画像の中から検索対象のパーツを絞り込むために、ユーザに出力装置２７９のディスプレイに表示した形状モデルの全体画像の画面上で閲覧したいパーツのあるあたりを入力装置２７８のポインタで指定させる。このとき、ポインタにより指定された位置を、図６（ａ）の画面６０１の矢印６０１ｐにて示す。
ポインタの指定操作が行われると、この入力を受け、内外判定処理部２７２は、選択対象のパーツの候補を抽出し、結果を出力装置２７９のディスプレイに表示する（ステップＳ１０３）。内外判定処理部２７２によって行われるこの一連の処理を、図５のサブシーケンスを示すフローチャートを参照して説明する。

図５のフローチャートによると、内外判定処理部２７２は、先ず、データ管理部２７１に取り込まれた検索対象の形状モデルの情報から１つのパーツのハイライト付全体画像、単体画像及び境界情報の組み合わせを取得する（ステップＳ２０１）。
次いで、ユーザがポインタの入力により指示した位置に基づいて定めた所定の閉領域の情報と、前段で取得した１パーツの境界情報とを比較して、閉領域内にパーツの境界線が含まれるか否かを確認する（ステップＳ２０２）。
ここで、閉領域内にパーツの境界線が含まれなければ（ステップＳ２０２-NO）、ユーザが要求するパーツではないから、選択対象の候補パーツから外し、内外判定をする次のパーツを検索対象の形状モデルのパーツ群から取り出すため、内外判定処理を行っていないパーツが存在するか、否かをチェックする（ステップＳ２０５）。

他方、ステップＳ２０２で閉領域内にパーツの境界線が含まれれば（ステップＳ２０２-YES）、このパーツを選択対象の候補パーツとしてパーツに係る上記した情報の組み合わせを抽出する。
このとき、当該候補パーツの境界情報をもとに、境界線で閉じたエリアの面積を計算し、求めた当該候補パーツの面積をこれまでに抽出した候補パーツについて求めた面積と比べ、面積の小さい順に優先順位を付与し、付与された優先順位を示す情報を各候補パーツの上記した情報の組み合わせの１情報に加える（ステップＳ２０３）。

次いで、内外判定処理部２７２は、抽出された候補パーツを出力装置２７９のディスプレイに表示する（ステップＳ２０４）。このとき、各候補パーツは、注目パーツをハイライトで示したハイライト付全体画像と注目パーツの単体画像（パーツの名称でもよい）とを組み合わせて表示する。図６（ｂ）では、（６０３，６０２）、（６０５，６０４）、（６０７、６０６）をこの組み合わせの例として示す。なお、ハイライト付全体画像は、同図の６０２，６０４，６０６に示すように、全体画像を半透明（破線）或いはワイヤフレーム像で描画し、注目するパーツを実像で描画する等の方法を採る。

抽出された候補パーツが多くなく、表示するハイライト付全体画像と単体画像の組み合わせが、図６（ｂ）の例に示すように、（６０３，６０２）（６０５，６０４）（６０７、６０６）の３種である場合には、これらを１画面に表示することができる。このとき、各候補パーツは、先に定めた優先順位に従い、面積の小さいパーツほど目にとまりやすいと考えられる表示位置をとり、例えば、左から順番となるように表示する。
ただ、対象形状モデルからの候補パーツの抽出条件やディスプレイの大きさ等と関係するが、候補パーツが多数抽出され、一覧で図６（ｂ）の例に示すような表示形態で全部の候補パーツを示すことができない場合が起きる。この場合には、図６（ｃ）に示すように、単体画像（パーツの名称でもよい）６０３，６０５，６０７のみを一覧で優先順位に従い目にとまりやすいと考えられる表示位置をとり、例えば、上から順番となるように表示し、この一覧画面において、選択操作を受け付け、選択したパーツのハイライト付全体画像を開く機能キーを設け、ユーザがこの機能キーへの操作により選択したパーツをハイライト付全体画像で確認できるようにする、といった方法を採ってもよい。

内外判定処理部２７２は、上記の表示動作を行うと同時に、抽出した候補パーツのハイライト付全体画像を識別する情報を、複数の視点、および、複数のズーム段階ごとに取り出して、パーツ選択処理部２７３に渡す（ステップＳ２０４）。このハイライト付全体画像は、当該パーツが後ほどユーザに選択された場合に表示対象となるものとして、予めパーツ選択処理部２７３に供給しておくものである。
次いで、ステップＳ２０１〜２０４の内外判定に伴う処理を未だ行っていないパーツがあるか否かをチェックし（ステップＳ２０５）、未処理のパーツがある場合には（ステップＳ２０５-YES）、ステップＳ２０１へ戻る。
また、全てのパーツの内外判定に伴う処理が終われば（ステップＳ２０５-NO）、このサブシーケンスの処理フロー（図５）を抜ける。

サブシーケンスの処理フロー（図５）を抜けると、図４のフローに戻り、前段までの処理で指定領域内に絞り込まれた候補パーツの中からユーザが最終的に求めるパーツを選択する処理に対応する（ステップＳ１０４）。即ち、パーツ選択処理部２７３は、２次検索の結果について行う３次検索条件の指示として、出力装置２７９のディスプレイに表示された候補パーツの単体画像又はパーツ名（図６（c）、参照）の中から、求める１つのパーツを指定するユーザの入力装置２７８への操作を受け、データ管理部２７１に取り込まれた検索対象の情報から、指定されたパーツのハイライト付全体画像を識別する情報を、複数の視点、および、複数のズーム段階ごとに取得し、画像切替処理部２７４に渡す。

次に、画像切替処理部２７４は、ユーザが最終的な選択結果としてパーツ選択処理部２７３から受取ったパーツのハイライト付全体画像を識別する情報を管理し、デフォールト或いはユーザの表示要求に応じて画面表示を切替える（ステップＳ１０５）。
即ち、画像切替処理部２７４は、パーツ選択処理部２７３から渡された最終的に選択されたパーツのハイライト付全体画像を識別する情報をもとに、データ管理部２７１が管理する当該パーツの画像データを取得し、ユーザが指示する視点方向とズーム段階に従って、当該パーツのハイライト付全体画像を取り出し、出力装置２７９のディスプレイに表示する。なお、ユーザの表示要求が指示されない場合は、デフォールトの視点方向及びズーム率を適用する。

この後、ユーザが目的とするパーツのカタログデータを閲覧することができ、対象とした形状モデルについて、新たな選択を行わない場合には、終了キーを操作する等の入力を行い、その入力操作を確認し（ステップＳ１０６-YES）、この処理フローを終える。
他方、さらに別のパーツの閲覧を続けて行う場合には、継続キーを操作する等の入力を行い、その入力操作を確認し（ステップＳ１０６-NO）、ステップＳ１０３へ戻って、再びステップＳ１０６までの処理フローを繰り返す。

以上に示した実施形態により、表示された形状モデルの全体画像上の特定のポイントの指示操作で、当該ポイントの近辺に組み付いているパーツを、探し出そうとしているパーツの候補として絞り込みことができ、しかも、最終的にパーツを探し出すためにユーザに示す候補パーツの一覧表示画面では、小さいパーツを優先させて上位の表示状態で表示するようにしたことで、パーツを探し出す場合にユーザに掛かる作業負担が軽減できる。
また、パーツを検索・閲覧する処理を２次元画像データの操作により行うようにし、モデルの３次元形状データを利用する従来法（上記［背景技術」の項の記載、参照）に比べて、軽い処理で目的の動作を得るようにしたので、処理性能の低いコンピュータ上でも十分実用に耐えることができる。

パーツカタログ作成・閲覧システム（図２、参照）を構築することができるデータ処理装置のハードウェア構成を示す図である。 本発明の実施形態に係るパーツカタログ作成・閲覧システムの概略構成を示すブロック図である。 パーツカタログ作成・閲覧システム（図２）のカタログ検索部の構成を示すブロック図である。 カタログ閲覧部（図３）の検索・閲覧に係る処理フローを示すフローチャートである。 図４の処理フローにおける候補パーツの表示処理（ステップＳ１０３）のサブシーケンスを示すフローチャートである。 検索処理の過程でＧＵＩ機能を提供する入出力装置のディスプレイに切替表示される画面である。

符号の説明

１・・ＣＰＵ（Central Processing Unit）、２・・メモリ、３・・入出力装置、４・・外部入出力装置、５・・バス、２０・・カタログ作成部、２１・・３Ｄデータベース、２２・・パーツリストデータベース、２３・・カタログデータベース、２４・・画像データベース、２５・・画像補填部、２６・・位置情報補填部、２７・・カタログ閲覧部、２７１・・データ管理部、２７２・・内外判定処理部、２７３・・パーツ選択処理部、２７４・・画像切替処理部、２７８・・入力装置、２７９・・出力装置。

Claims (6)

1. パーツを組合せて構成する３次元モデルをもとにそれぞれ作成された２次元の全体画像、２次元のパーツ画像及び全体画像における各パーツの境界情報を格納したデータベースと、ＧＵＩ機能を持つユーザインターフェースと、前記データベースから前記ユーザインターフェースの入力画面を介して指示される検索条件に従って、２次元のパーツ画像を検索する検索手段と、前記検索手段の検索結果を出力する手段を有する画像検索装置であって、
   前記検索手段は、前記ユーザインターフェースを介して行われる１次検索条件の指示に応じて、前記データベースから取得した検索対象モデルのデータを管理するとともに、前記ユーザインターフェースの入力画面に表示する画像を生成するデータ管理部と、
   前記ユーザインターフェースの入力画面に表示された前記検索対象モデルの全体画像上をポインタで示す２次検索条件の指示に応じ、当該指示位置により定まる閉領域と前記検索対象モデルの各パーツの境界情報とを比較して、閉領域内に含まれる境界線を持つパーツを検索候補パーツと判定して抽出するとともに、抽出した検索候補パーツについて、それぞれの前記境界情報に基づいて求めた面積の小さい順に優先順位を付与する判定処理部と、
   前記ユーザインターフェースの入力画面に、前記判定処理部によって抽出された検索候補パーツのパーツ画像を、付与された優先順位に従って表示し、表示された検索候補パーツの中から目的のパーツを選択する３次検索条件の指示に応じるパーツ選択処理部を備えたことを特徴とする画像検索装置。
2. 前記データベースに格納した前記２次元の全体画像及び２次元のパーツ画像として、複数視点とズーム段階を変えて表示することができる画像及び各パーツのハイライト表示をすることができる画像を格納した請求項１に記載された画像検索装置において、
   前記データ管理部は、前記ユーザインターフェースの入力画面を介して指示された視点とズーム段階に応じて、当該入力画面に表示する全体画像、ハイライト表示を含むパーツ画像を生成することを特徴とする画像検索装置。
3. パーツを組合せて構成する３次元モデルをもとにそれぞれ作成された２次元の全体画像及び２次元のパーツ画像を格納したデータベースからＧＵＩ機能を持つユーザインターフェースの入力画面を介して指示される検索条件に従い２次元のパーツ画像データを検索する画像検索方法であって、
   前記ユーザインターフェースを介して行われる１次検索条件の指示に応じて、前記データベースから取得した検索対象モデルのデータを管理するとともに、前記ユーザインターフェースの入力画面に表示する画像を生成するデータ管理工程と、
   前記ユーザインターフェースの入力画面に表示された前記検索対象モデルの全体画像上をポインタで示す２次検索条件の指示に応じ、当該指示位置により定まる閉領域と前記検索対象モデルの各パーツの境界情報とを比較して、閉領域内に含まれる境界線を持つパーツを検索候補パーツと判定し、抽出するとともに、抽出した検索候補パーツについて、それぞれの前記境界情報に基づいて求めた面積の小さい順に優先順位を付与する判定処理工程と、
   前記ユーザインターフェースの入力画面に、前記判定処理工程によって抽出された検索候補パーツのパーツ画像を、付与された優先順位に従って表示し、表示された検索候補パーツの中から目的のパーツを選択する３次検索条件の指示に応じるパーツ選択処理工程を有することを特徴とする画像検索方法。
4. 前記データベースに格納した前記２次元の全体画像及び２次元のパーツ画像として、複数視点とズーム段階を変えて表示することができる画像及び各パーツのハイライト表示をすることができる画像を格納した請求項３に記載された画像検索方法において、
   前記データ管理工程は、前記ユーザインターフェースの入力画面を介して指示された視点とズーム段階に応じて、当該入力画面に表示する全体画像、ハイライト表示を含むパーツ画像を生成することを特徴とする画像検索方法。
5. コンピュータを請求項１又は２に記載された画像検索装置における前記検索手段として機能させるためのプログラム。
6. 請求項５に記載されたプログラムをコンピュータ読み取り可能に記録した記録媒体。

Images