JP2009020689A - データ検索方法及びデータ検索装置 - Google Patents

Abstract

【課題】 ユーザがオブジェクトを検索する際に、オブジェクトの属性に基づいて自動的に検索条件をユーザに提示する。
【解決手段】 オブジェクトの選択と検索が指示されると、選択されたオブジェクトの属性を判定し、判定したその属性に基づいて、オブジェクトについての情報を記述したメタデータを抽出する。そして、抽出されたメタデータに基づいて、そのオブジェクトの検索条件を作成する。
【選択図】 図５

Description

本発明は、オブジェクトから検索条件を作成して検索を行うデータ検索方法及びデータ検索装置に関する。

近年、パーソナルコンピュータなどのコンピュータにデータを入力する場合、ペンタブレットやデジタイザなどのポインティングデバイスが主として使用されている。そして、このポインティングデバイスを用いてユーザがデータベースからデータを検索可能とする技術が提案されている。

従来、データベースに格納された情報を取得する際に、ペン入力による文字・図形入力とグラフィック表示を利用して、検索条件の範囲をベン図によって指定することにより、ユーザの目的とする検索条件を設定する技術がある。例えば、特許文献１参照。この技術によれば、煩雑な操作を必要とせずに情報を検索することができる。

また、表示されている複数の属性を含む文書画像から検索キーとなるデータを指示操作によって選択すると、その指示操作に対応して検索式が設定される。そして、既定の軌跡を描くと、予め定められた規則に従って既定の論理演算子が選択されたと認識される技術もある。例えば、特許文献２参照。
特開平０８−２３５２１０号公報 特開２００６−０３９８４７号公報

しかしながら、特許文献１ではベン図の知識が要求され、キーワードとして使えるのは文字列のみである。

また、特許文献２では検索対象がスキャンした文書画像中の自然画と文字画像に限られ、検索式が作れるのは事前に用意した画像のみとなる。

本発明は、ユーザがオブジェクトを検索する際に、オブジェクトの属性に基づいて自動的に検索条件をユーザに提示することを目的とする。

本発明は、オブジェクトから検索条件を作成して検索を行うデータ検索装置にて実行されるデータ検索方法であって、オブジェクトの選択と検索を指示する指示手段により選択されたオブジェクトの属性を判定する判定工程と、前記判定工程で判定されたオブジェクトの属性に基づいて、当該オブジェクトについての情報を記述したメタデータを抽出する抽出工程と、前記抽出工程で抽出されたメタデータに基づいて、前記オブジェクトの検索条件を作成する作成工程と、を有することを特徴とする。

また、本発明は、オブジェクトから検索条件を作成して検索を行うデータ検索装置であって、オブジェクトの選択と検索を指示する指示手段と、前記指示手段で選択されたオブジェクトの属性を判定する判定手段と、前記判定手段で判定されたオブジェクトの属性に基づいて、当該オブジェクトについての情報を記述したメタデータを抽出する抽出手段と、前記抽出手段で抽出されたメタデータに基づいて、前記オブジェクトの検索条件を作成する作成手段と、を有することを特徴とする。

本発明によれば、ユーザがオブジェクトを検索する際に、オブジェクトの属性に基づいて自動的に検索条件をユーザに提示することができる。

そして、検索キーに文字列以外の情報、例えばオブジェクトの位置情報や形状の情報を使用可能であり、また位置の曖昧さがあっても検索条件を提示することができる。

以下、図面を参照しながら発明を実施するための最良の形態について詳細に説明する。

［第１の実施形態］
図１は、第１の実施形態におけるデータ検索装置の構成の一例を示す図である。第１の実施形態では、データ検索装置としてパーソナルコンピュータを例に挙げて説明するが、汎用のコンピュータでも良いことは言うまでもない。その場合、媒体等で提供される制御プログラムをハードディスクに記憶し、オペレータの指示等によりオペレーティングシステム（ＯＳ）の制御下でＣＰＵがＲＡＭに読み出して実行する。

図１において、１０１はＣＰＵであり、後述するＲＯＭに格納された制御プログラムに従って本装置全体の制御を行う。１０２はＲＯＭであり、ＣＰＵ１０１が実行する処理の制御プログラムやパラメータを格納する。１０３はＲＡＭであり、ＣＰＵ１０１が処理を実行する際に使用する作業領域や各種テーブルなどを記憶する。１０４はハードディスクなどで構成された外部記憶装置であり、後述するデータベースとして機能する。

１０５はディスプレイであり、後述する画面表示をユーザに提示する表示装置である。１０６はマウスや電子ペンなどのポインティングデバイスである。１０７はネットワークインターフェースであり、不図示の遠隔地に存在する装置等と通信し、アプリケーションプログラムやデータなどを読み込んだり、書き込んだりする。１０８は上述の各ユニットを接続するシステムバスである。

尚、ディスプレイ１０５は、ネットワークインターフェース１０７を介して接続される構成でも良い。

次に、図１に示すＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３、外部記憶装置１０４で実行されるソフトウェア構成の概略を、図２を用いて説明する。

図２は、第１の実施形態におけるソフトウェア構成の概略を説明するための図である。図２において、２０１はデータ検索装置の基本ソフトウェアであるＯＳである。２０２〜２０４はＯＳ２０１上で動作するアプリケーションである。ここで、２０２はデータ生成アプリケーションであり、２０３はデータ編集アプリケーションである。そして、２０４はデータ検索アプリケーションである。

尚、上述のデータ生成アプリケーション２０２、データ編集アプリケーション２０３は、本発明の本質に関わるものではなく、公知の技術による既存のアプリケーションを利用可能であるため、説明は省略する。

ここで、上述したデータ生成アプリケーション２０２及びデータ編集アプリケーション２０３で生成した電子データ３０１の一例を、図３を用いて説明する。

図３は、第１の実施形態における検索処理の説明に使用する電子データの一例を示す図である。図３において、３０１はデータ生成アプリケーション２０２及びデータ編集アプリケーション２０３で生成した電子データの一例である。３０２〜３０４はポインティングデバイス１０６を使って生成した手書きオブジェクトである。

３０５はデータ生成アプリケーション２０２のメニュー画面から選択して生成した図形オブジェクトである。３０６はデータ生成アプリケーション２０２のソフトキーボードなどを利用して文字を打ち込んだテキストオブジェクトである。そして、３０７はＯＳ２０１経由で他の不図示のデータ生成アプリケーションや入力デバイスから取り込んだ写真などの画像オブジェクトである。

尚、データ生成アプリケーション２０２及びデータ編集アプリケーション２０３で生成されたデータはＯＳ２０１を通じて外部記憶装置１０４のデータベースに格納される。

図４は、データベースに格納された電子データ群の一例を示す図である。ここで、再度電子データを利用する際には、データ検索アプリケーション２０４を用いて外部記憶装置１０４のデータベースから電子データを検索して取り出す。

次に、データ検索アプリケーション２０４を用いてデータ検索処理を行う際の大まかな動作を、図３及び図５を用いて説明する。

図５は、第１の実施形態におけるデータ検索処理を示すフローチャートである。まず、ステップＳ５０１で、ポインティングデバイス１０６を用いて任意のオブジェクトが選択される。尚、選択したいオブジェクトが、直前にデータ生成アプリケーション２０２及びデータ編集アプリケーション２０３で操作されていれば、既にオブジェクトの選択は完了しているものとする。

ここで、直前より前に生成又は編集されたオブジェクトを選択するには、以下のような２種類の方法がある。
（１）オブジェクトの存在する範囲内のある一点をポインティングデバイス１０６で２回押下（ダブルクリック）
（２）ポインティングデバイス１０６で押下した点と離した点とを対角とする矩形範囲を選択（ドラッグ）
上記（２）の場合では、図６に示すように、選択された矩形範囲６０２の境界を跨いでオブジェクト６０１が存在する場合もある。このとき、ユーザが最初に指示した選択範囲（６０２とする）に重なっているオブジェクトはすべて内包するように、選択範囲の矩形が自動的に拡大され、６０３に示す矩形範囲となる。

図５に戻り、ここでは、図３に示すオブジェクト３０２が選択されたものとして説明を続ける。ステップＳ５０２で、検索開始がユーザによって明示的に指示される。例えば、オブジェクトが選択された後、図７に示すようなメニューバー７０１（切り取り７０２、コピー７０３、検索７０４）を表示し、“検索”７０４がポインティングデバイス１０６によって指示される。

また、アプリケーション画面上に固定の検索実行ボタンがあり、それをポインティングデバイス１０６で選択させても良い。

次に、ステップＳ５０３で、選択されたオブジェクトの属性を判定する。オブジェクトの属性はデータ生成アプリケーション２０２及びデータ編集アプリケーション２０３にて既に定義付けられているのでそれを利用する。

図８は、第１の実施形態におけるオブジェクトの属性を説明するための図である。オブジェクトとその属性は、図８に示す（Ａ）のように、１つのテーブルとしてまとめられていても良いし、図８に示す（Ｂ）のように、それぞれのオブジェクトが属性を持っていても良い。

ここで、属性の「手書き」とは、ポインティングデバイス１０６により入力されたオブジェクトを表す。また、「図形」とは、アプリケーション上のメニューから選択することで入力されたオブジェクトを表す。図形オブジェクトの場合、アプリケーション上で拡大縮小、線の色の変更、塗りつぶしなどの編集作業が可能であり、ベクターオブジェクトも含まれる。

また、「テキスト」とは、キーボードやソフトキーボードなどにより入力された文字のオブジェクトを表す。そして、「画像」とは、他のデータ生成アプリケーション等で生成されたビットマップデータのオブジェクトを表す。

ここで図５に戻り、データ生成アプリケーション２０２によってオブジェクト３０２の属性が図８に示すように、既に手書きと定義されているため、ステップＳ５０３で、オブジェクト３０２の属性を“手書き”と判定する。

次に、ステップＳ５０４で、オブジェクトのメタデータを抽出する。尚、メタデータとは、オブジェクトについての情報を記述したデータである。また、抽出するメタデータの種類は属性によって異なる。

図９は、第１の実施形態における属性毎に抽出するメタデータの一覧を示す図である。図９に示す一覧の記号「○」は抽出するメタデータであり、記号「□」は別途認識処理を行うことで抽出できるメタデータであり、記号「−」は抽出しないメタデータである。

属性が手書きのオブジェクトであれば、位置情報（外接矩形の左上座標、外接矩形幅、外接矩形高さ）、線の色が抽出される。

属性がその他の例は、データ編集アプリケーション２０３で元は複数のオブジェクトをグループ化した例などに使用する。

この例では、位置情報は外接矩形の左上座標、外接矩形幅、外接矩形高さと定義したが、外接矩形の中心座標など位置を特定できる情報であれば形態は問わない。

ここで図５に戻り、ステップＳ５０３でオブジェクト３０２の属性は“手書き”と判定されているため、ステップＳ５０４で、図９に示す位置情報（外接矩形の左上座標、外接矩形幅、外接矩形高さ）、線の色を抽出する。そして、図１０に示すように、抽出されたメタデータ１００１をオブジェクト３０２の近傍に表示する。図１０は、第１の実施形態におけるオブジェクトとそのメタデータを表示した例を示す図である。

次に、ステップＳ５０５で、抽出されたメタデータに基づいて検索式を作成する。第１の実施形態では、位置に関するメタデータに基づいて検索式を作成する。尚、位置情報に関しては、検索するに当たって完全一致する例は少ない。

よって、抽出されたメタデータの位置情報の数値に基づいて数値の範囲を指定した検索式を自動的に作成する。ここで、数値の範囲を指定するパラメータは予め決められた固定値である。また、他の位置情報の数値に基づいて算出しても良い。更に、複数の検索条件の関係をＡＮＤにするか、ＯＲにするかは予めユーザが指定しておく。

図１１は、第１の実施形態における検索条件の一例を示す図である。図１１に示すように、メタデータの位置情報に基づいて作成した検索条件１１０１をオブジェクト３０２の近傍に表示する。

第１の実施形態によれば、マウス、電子ペンなどのポインティングデバイスのみを使用してコンピュータの入力編集を行え、ユーザが感覚的に検索条件を設定できる。

また、検索キーにオブジェクトの位置情報が使用でき、予め定められた範囲指定を自動的に挿入するので位置の曖昧さに対応した検索条件が作成できる。

［第２の実施形態］
次に、図面を参照しながら本発明に係る第２の実施形態を詳細に説明する。第１の実施形態では、検索式の作成に位置情報のみを使用したが、属性毎に抽出できるメタデータが異なるため、検索条件も属性毎に異なっても良い。

第２の実施形態におけるデータ検索装置の構成は、第１の実施形態で説明した図１及び図２に示す構成と同様であり、説明は省略する。

図１２は、オブジェクト（テキスト）とそのメタデータ及び検索条件の一例を示す図である。図１２に示す例は、図３に示す３０６のオブジェクトを選択した場合である。選択したオブジェクト３０６の属性がテキストであるため、抽出できるメタデータは図９によると位置情報（外接矩形の左上座標、外接矩形幅、外接矩形高さ）、線の色、フォント、文字サイズ、文字情報である。

図１２において、１２０１はオブジェクト３０６の属性に基づいて抽出したメタデータ群である。属性がテキストの場合、位置情報もさることながら、文字としての情報も有効な検索条件になる。よって、位置情報の範囲検索に加えてテキスト検索もＡＮＤした検索条件１２０２が生成される。

図１３は、オブジェクト（図形）とそのメタデータ及び検索条件の一例を示す図である。図１３に示す例は、図３に示す３０５のオブジェクトを選択した場合である。選択したオブジェクト３０５の属性は図形であるため、抽出できるメタデータは図９によると位置情報（外接矩形の左上座標、外接矩形幅、外接矩形高さ）、図形情報である。

図１３において、１３０１はオブジェクト３０５の属性に基づいて抽出したメタデータ群である。属性が図形の場合、図形を特定するための図形の名前と位置情報の範囲検索を合わせた検索条件１３０２が生成される。

図１４は、オブジェクト（画像）とそのメタデータ及び検索条件の一例を示す図である。図１４に示す例は、図３に示す３０７のオブジェクトを選択した場合である。選択したオブジェクト３０７の属性は画像であるため、抽出できるメタデータは図９によると位置情報（外接矩形の左上座標、外接矩形幅、外接矩形高さ）である。

尚、この場合、画像の特徴量から類似画像を検索する方法を利用して所望の画像を検索できるように、画像特徴量もメタデータとして抽出しておく。類似画像を検索する方法は公知の技術であり、詳細な説明は省略する。例えば、特開平１０−２６０９８３号公報に記載された方法などがある。

上述の例では、画像のアングルの変化や物体の位置の変化、或いは撮影条件による画像特徴量のある程度の違いを吸収するなどある程度の曖昧さを残しながらも適切な画像検索を行っている。

図１４において、１４０１はオブジェクト３０７の属性に基づいて抽出したメタデータ群である。よって、位置情報の範囲検索と類似画像検索をＡＮＤした検索条件１４０２が生成される。

第２の実施形態によれば、それぞれの属性特有の検索と、位置情報のＡＮＤ検索の条件設定が容易にでき、ユーザの必要なデータの取得に役立つ。

［第３の実施形態］
次に、図面を参照しながら本発明に係る第３の実施形態を詳細に説明する。第１の実施形態では、検索条件の作成に簡易的な解析で取得可能なメタデータのみを使用したが、認識処理を実行して獲得したメタデータを使用しても良い。

オブジェクトの属性が手書きの場合、ユーザが文字を想定して入力した場合や、図形を想定して入力することもある。第３の実施形態では、入力されたオブジェクトを認識処理して新たなメタデータを獲得するものである。

第３の実施形態におけるデータ検索装置の構成は、第１の実施形態で説明した図１及び図２に示す構成と同様であり、説明は省略する。

図１５は、第３の実施形態における認識処理による認識結果を検索条件に追加する処理を示すフローチャートである。

まず、ステップＳ１５０１で、オブジェクトの属性に基づいてメタデータの位置情報を抽出する。この処理は、第１の実施形態で説明した図５に示すＳ５０１〜Ｓ５０４までの処理に相当する。

次に、ステップＳ１５０２で、オブジェクトに対して文字認識処理を行い、ステップＳ１５０３で、文字認識結果の類似度が閾値より高いか否かを判定する。ここで、文字認識結果の類似度が高い場合は文字らしいオブジェクトとみなし、ステップＳ１５０４へ処理を進める。このステップＳ１５０４では、ステップＳ１５０２で文字認識した文字情報をキーワードとして検索条件に追加し、この処理を終了する。

一方、ステップＳ１５０３で、文字認識結果の類似度が低い場合はステップＳ１５０５へ処理を進める。ステップＳ１５０５では、オブジェクトに対して図形認識処理を行い、ステップＳ１５０６で、図形認識結果の類似度が閾値より高いか否かを判定する。ここで、図形認識結果の類似度が高い場合は図形らしいオブジェクトとみなし、ステップＳ１５０７へ処理を進める。このステップＳ１５０７では、ステップＳ１５０５で図形認識した図形情報を検索条件に追加し、この処理を終了する。また、ステップＳ１５０６で、図形認識結果の類似度が低い場合は、この処理を終了する。

ここで、オブジェクトを文字認識及び図形認識し、その認識結果を検索条件に付加する具体例を、図１６及び図１７を用いて説明する。

図１６は、文字らしいオブジェクトとみなされた場合に、文字認識の結果が付加された検索条件の一例を示す図である。図１６に示すオブジェクト３０４は図１５に示すＳ１５０３にて文字認識結果の類似度が高いと判定される。

よって、検索条件１６０２にキーワードとして文字認識結果の“くるま”が追加されている。

図１７は、図形らしいオブジェクトとみなされた場合に、図形認識の結果が付加された検索条件の一例を示す図である。図１７に示すオブジェクト３０３はＳ１５０３にて文字認識結果の類似度は低いと判定されるが、Ｓ１５０６にて図形認識結果の類似度が高いと判定される。

よって、検索条件１７０２に図形情報として図形認識結果が追加されている。

第３の実施形態によれば、同じ属性でもデータ性質を解析することで、解析結果を検索条件に追加でき、ユーザの必要なデータの取得に役立てることができる。

尚、本発明は複数の機器（例えば、ホストコンピュータ，インターフェース機器，リーダ，プリンタなど）から構成されるシステムに適用しても、１つの機器からなる装置（例えば、複写機，ファクシミリ装置など）に適用しても良い。

また、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（ＣＰＵ若しくはＭＰＵ）が記録媒体に格納されたプログラムコードを読出し実行する。これによっても、本発明の目的が達成されることは言うまでもない。

この場合、コンピュータ読み取り可能な記録媒体から読出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記録媒体は本発明を構成することになる。

このプログラムコードを供給するための記録媒体として、例えばフレキシブルディスク，ハードディスク，光ディスク，光磁気ディスク，ＣＤ−ＲＯＭ，ＣＤ−Ｒ，磁気テープ，不揮発性のメモリカード，ＲＯＭなどを用いることができる。

また、コンピュータが読出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、次の場合も含まれることは言うまでもない。即ち、プログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部又は全部を行い、その処理により前述した実施形態の機能が実現される場合である。

更に、記録媒体から読出されたプログラムコードがコンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込む。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行い、その処理により前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

第１の実施形態におけるデータ検索装置の構成の一例を示す図である。 第１の実施形態におけるソフトウェア構成の概略を説明するための図である。 第１の実施形態における検索処理の説明に使用する電子データの一例を示す図である。 データベースに格納された電子データ群の一例を示す図である。 第１の実施形態におけるデータ検索処理を示すフローチャートである。 オブジェクトを選択する選択方法を説明するための図である。 オブジェクトの検索を指示する指示方法を説明するための図である。 第１の実施形態におけるオブジェクトの属性を説明するための図である。 第１の実施形態における属性毎に抽出するメタデータの一覧を示す図である。 第１の実施形態におけるオブジェクトとそのメタデータを表示した例を示す図である。 第１の実施形態における検索条件の一例を示す図である。 オブジェクト（テキスト）とそのメタデータ及び検索条件の一例を示す図である。 オブジェクト（図形）とそのメタデータ及び検索条件の一例を示す図である。 オブジェクト（画像）とそのメタデータ及び検索条件の一例を示す図である。 第３の実施形態における認識処理による認識結果を検索条件に追加する処理を示すフローチャートである。 文字らしいオブジェクトとみなされた場合に、文字認識の結果が付加された検索条件の一例を示す図である。 図形らしいオブジェクトとみなされた場合に、図形認識の結果が付加された検索条件の一例を示す図である。

符号の説明

１０１ ＣＰＵ
１０２ ＲＯＭ
１０３ ＲＡＭ
１０４ 外部記憶装置
１０５ ディスプレイ
１０６ ポインティングデバイス
１０７ ネットワークインターフェース
１０８ システムバス
２０１ ＯＳ
２０２ データ生成アプリケーション
２０３ データ編集アプリケーション
２０４ データ検索アプリケーション

Claims (12)

1. オブジェクトから検索条件を作成して検索を行うデータ検索装置にて実行されるデータ検索方法であって、
   オブジェクトの選択と検索を指示する指示手段により選択されたオブジェクトの属性を判定する判定工程と、
   前記判定工程で判定されたオブジェクトの属性に基づいて、当該オブジェクトについての情報を記述したメタデータを抽出する抽出工程と、
   前記抽出工程で抽出されたメタデータに基づいて、前記オブジェクトの検索条件を作成する作成工程と、
   を有することを特徴とするデータ検索方法。
2. 前記指示手段は、前記オブジェクトの選択と検索を指示するポインティングデバイスであることを特徴とする請求項１に記載のデータ検索方法。
3. 前記オブジェクトの属性は、手書き、図形、テキスト、画像の何れかを表す情報であることを特徴とする請求項１又は２に記載のデータ検索方法。
4. 前記メタデータは、前記オブジェクトの位置情報、線の色、文字情報、図形情報、画像特徴量であることを特徴とする請求項１乃至３の何れか１項に記載のデータ検索方法。
5. 前記作成工程では、前記オブジェクトの属性がテキストの場合、前記メタデータとして文字情報を抽出し、前記オブジェクトの検索条件に追加することを特徴とする請求項４に記載のデータ検索方法。
6. 前記作成工程では、前記オブジェクトの属性が図形の場合、前記メタデータとして図形情報を抽出し、前記オブジェクトの検索条件に追加することを特徴とする請求項４に記載のデータ検索方法。
7. 前記作成工程では、前記オブジェクトの属性が画像の場合、前記メタデータとして画像特徴量を抽出し、前記オブジェクトの検索条件に追加することを特徴とする請求項４に記載のデータ検索方法。
8. 前記作成工程では、前記オブジェクトに対して文字認識処理を行い、文字認識した文字情報を前記オブジェクトの検索条件に追加することを特徴とする請求項４に記載のデータ検索方法。
9. 前記作成工程では、前記オブジェクトに対して図形認識処理を行い、図形認識した図形情報を前記オブジェクトの検索条件に追加することを特徴とする請求項４に記載のデータ検索方法。
10. オブジェクトから検索条件を作成して検索を行うデータ検索装置であって、
    オブジェクトの選択と検索を指示する指示手段と、
    前記指示手段で選択されたオブジェクトの属性を判定する判定手段と、
    前記判定手段で判定されたオブジェクトの属性に基づいて、当該オブジェクトについての情報を記述したメタデータを抽出する抽出手段と、
    前記抽出手段で抽出されたメタデータに基づいて、前記オブジェクトの検索条件を作成する作成手段と、
    を有することを特徴とするデータ検索装置。
11. 請求項１乃至９の何れか１項に記載のデータ検索方法をコンピュータに実行させるためのプログラム。
12. 請求項１１に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。

Images