JP2004348706A - 情報処理装置及び情報処理方法ならびに記憶媒体、プログラム - Google Patents

Abstract

【課題】 各属性の検索結果に対し、レイアウト情報に応じて、適応的に検索結果を評価することで、より正確にオリジナル文書を検索する。
【解決手段】 入力される文書画像に類似する画像データを検索するための情報処理方法であって、前記入力される文書画像を属性ごとに複数の領域に分割する工程（ステップＳ４０２）と、前記分割された領域ごとに、前記属性に適した検索工程により、類似度を算出する工程と、前記分割された領域ごとに算出された類似度に重み付けをした総合類似度を算出する工程（ステップＳ４０６）とを備える。
【選択図】 図４

Description

本発明は、スキャナなどの入力装置で読み取られた画像と類似する画像データを、データベースから検索する検索技術に関するものである。

近年、環境問題が叫ばれる中、オフィスでのペーパーレス化が急速に進んでいる。このような中、バインダー等で蓄積された紙文書や配付資料等をスキャナで読み取り、オリジナルの電子文書を検索する装置が提案されている（特許文献１参照）。
特許第３０１７８５１号公報

しかしながら、上記従来技術で述べたような検索装置では、ビットマップで比較するという手法を全ての画像に対し一律に行うので、文書画像の内容によっては検索効率や検索精度が悪くなることが考えられる。そこで、本出願人は、オリジナルの文書を検索するにあたり、オリジナル文書とスキャナ読み取り画像からそれぞれテキスト、写真、線画など属性ごとの特徴量を算出したうえで、テキストの一致度、写真画像の一致度、そして各属性のレイアウト情報を用いたレイアウトの一致度など複数の一致度を総合的に判断するような検索手法（このような検索を「複合検索」という）を有する文書管理システムを考えている。

このような文書管理システムにおいて取り扱われる文書は、テキスト属性の多い文書から、写真・線画の多い文書にいたるまで多岐にわたっており、文書ごとにレイアウト（文書内容）が大きく異なっている。そして、上記文書管理システムでは、総合的な判断を行う際に各属性ごとの検索結果を一律に評価するため、レイアウトが大きく異なる文書が混在する環境においては十分な検索精度が得られないという問題があった。また、重複文書を整理し、文書の再利用性を高めるためには、文書全体について総合的な判断をするのみならず、文書の一部分しか一致しないものについても検索することが必要となってくる。かかる一部一致の検索ニーズは、写真等を引用した場合などにおいても顕著であり、例えば、同一文書で著作者が異なる場合であって、個々の部分に対し適切にロイヤリティを徴収する必要がある場合などに不可欠である。

本発明は上記課題に鑑みてなされたものであり、各属性の検索結果を適応的に評価することで、より正確なオリジナル文書の検索を実現することを目的とする。

また、文書の一部分しか一致しない文書についても検索することで重複データの整理を容易にし、効率的な文書管理を実現することを目的とする。

上記の目的を達成するために本発明に係る情報処理装置は以下のような構成を備える。即ち、
入力される文書画像に類似する画像データを検索する情報処理装置であって、
前記入力される文書画像を属性ごとに複数の領域に分割する分割手段と、
前記分割された領域ごとに、前記属性に適した検索手段を用いて、類似度を算出する類似度算出手段と、
前記分割された領域ごとに算出された類似度に重み付けをした総合類似度を算出する総合類似度算出手段とを備える。

本発明によれば、各属性の検索結果を適応的に評価することで、より正確なオリジナル文書の検索を実現することが可能となる。

また、文書の部分しか一致しない文書についても検索することで重複データの整理を容易にし、効率的な文書管理を実現することが可能となる。

以下、図面を参照しながら、各実施の形態を詳細に説明していく。

＜第１の実施形態＞
本発明の第１の実施形態について説明する。図１は本発明にかかる情報処理方法を実現する画像処理システムの構成を示す図である。同図に示すように、本実施形態では、オフィス１０とオフィス２０とがインターネット１０４で接続された環境において本発明にかかる情報処理方法を実現する画像処理システムが構築されているものとする。

オフィス１０内に構築されたＬＡＮ１０７には、ＭＦＰ１００、ＭＦＰ１００を制御するマネージメントＰＣ１０１、クライアントＰＣ（外部記憶手段を備える）１０２−１、文書管理サーバ１０６−１及びそのデータベース１０５−１、課金サーバ１１０、プロキシサーバ１０３−１がそれぞれ接続されている。同様にオフィス２０内に構築されたＬＡＮ１０８には、文書管理サーバ１０６−２及びそのデータベース１０５−２、課金サーバ１１０−２がそれぞれ接続されている。また、オフィス１０内のＬＡＮ１０７とオフィス２０内のＬＡＮ１０８とはプロキシサーバ１０３−１、１０３−２を介してインターネット１０４に接続されている。

かかる構成を備える画像処理システムにおいて、検索対象となる登録画像の格納場所は特に限定されないものとする。ＭＦＰ１００内の記憶装置（後述）に格納されていても、マネージメントＰＣ１０１内のハードディスク（不図示）に格納されていても、また、文書管理サーバ１０６−１のデータベース（１０５−１）に格納されていてもよい。ただし、当該格納された登録画像を検索できるように格納場所はＬＡＮ１０７または１０８を介して外部からアクセス可能な状態になっているものとする。

また、本発明にかかる情報処理方法（検索機能）は、図１に示す画像処理システム内の任意の装置上で実現可能であるものとする。例えば、ＭＦＰ１００内のデータ処理装置（後述）が当該検索機能を備えていても、マネージメントＰＣ１０１が検索機能を備えていても、また、文書管理サーバ１０６−１が検索機能を備えていてもよい。

ＭＦＰ１００は、紙文書の画像読み取り処理と読み取った画像信号に対する画像処理の一部を担当し、画像信号はＬＡＮ１０９を用いてマネージメントＰＣ１０１に入力される。マネージメントＰＣは通常のＰＣであり、内部に画像記憶手段、画像処理手段、表示手段、入力手段を有するが、その一部がＭＦＰ１００に一体化して構成されている。

図２はＭＦＰ１００の構成図である。図２においてオートドキュメントフィーダー（以降、ＡＤＦと記す）を含む画像読み取り部２００は束状の或いは１枚の紙文書（原稿）を図示しない光源で照射し、原稿反射像をレンズで固体撮像素子上に結像し、固体撮像素子からラスター状の画像信号を６００ＤＰＩの密度のイメージ情報として得る。通常の複写処理の場合はこの画像信号をデータ処理装置２０５で記録信号に変換し、複数枚の複写の場合には記録装置２０２に一ページ分の記録データを一旦記憶保持した後、記録装置２０２に順次出力して紙上に画像を形成する。

また、クライアントＰＣ１０２から送信されるプリントデータはＬＡＮ１０７及びネットワークＩＦ２０４を経てデータ処理装置２０５で記録可能なラスターデータに変換した後、記録装置２０２により紙上に記録画像を形成する。ＭＦＰ１００への操作者の指示は、ＭＦＰ１００に装備されたキー操作部（入力装置２０３）またはマネージメントＰＣ１０１のキーボード及びマウスを介して行われ、これら一連の動作はデータ処理装置２０５内の図示しない制御部で制御される。

一方、操作入力の状態表示及び処理中の画像データの表示は表示装置２０６で行われる。なお、記憶装置２０１はマネージメントＰＣ１０１からも制御され、これらＭＦＰ１００とマネージメントＰＣ１０１とのデータの授受及び制御はネットワークＩＦ２０７および直結したＬＡＮ１０９を介して行われる。

［処理概要］
次に、図１に示す画像処理システムにおける、本発明にかかる情報処理方法による処理を含む画像処理の全体概要について、図３および図４を用いて説明する。

なお、説明を簡単にするために、以降では、登録画像を備えるデータベースはマネージメントＰＣ内のハードディスク（不図示）において構築されているものとし、また、本発明にかかる情報処理方法はマネージメントＰＣ１０１およびＭＦＰ１００が一体となって動作することで実現されるものとする。

（検索用インデックス生成）
図３は、ファイル検索用インデックス生成処理の流れを示すフローチャートである。まず、原本としてインデックス生成対象文書を入力する(ステップＳ３０１)。この原本は、印刷物を画像読み取り部２００から入力し、それをビットマップ化したもの（ビットマップ画像）でも良いし、文書編集アプリケーションプログラムを利用して作成された電子データでもよいし、また、クライアントＰＣ１０２のハードディスクやＣＤドライブ、ＤＶＤドライブ、ＦＤＤドライブなどの記憶媒体に格納されたアプリケーションプログラム固有の形式による電子データでもよい。なお、この原本は、ユーザの操作によって、データベースにおけるカテゴリ別のフォルダに格納されるものとする。例えば、スポーツ記事や製品パンフレットやビジネス書類などのジャンル（カテゴリ）毎に、別々のフォルダに格納しておくことにより、文書管理を行うことが容易になる。

ビットマップ画像ではないアプリケーションデータの場合(ステップＳ３０２で「Ｎｏ」の場合)、ステップＳ３０３に分岐し、マネージメントＰＣ１０１のＣＰＵでラスタライジングを行う。ラスタライジングとは、アプリケーションデータを解析し、画像データを生成する処理のことであり、一般に印刷イメージの生成の際に広く行われる処理である。

次に、ブロックセレクション（領域分割処理）を行う(ステップＳ３０４)。ステップＳ３０４においては、文字／線画部分とハーフトーンの画像部分とに領域を分離し、文字部分は更に段落で塊としてまとまっているブロック毎に、あるいは、線で構成された表ないし図形ごとに分離し各々セグメント化する。一方、ハーフトーンで表現される画像部分は、矩形に分離されたブロックの画像部分、背景部等、いわゆるブロック毎に独立したオブジェクトに分割する。さらに文字ブロックについては、ＯＣＲ処理を行う（ステップＳ３０５）。

次に、入力画像中に付加情報として記録された２次元バーコード、或いはＵＲＬに該当するオブジェクトを検出し、ＵＲＬについてはＯＣＲで文字認識することで、２次元バーコードについては該マークを解読することで、それぞれ該原稿のオリジナル電子ファイルが格納されている記憶装置内のポインタ情報を検出する（ステップＳ３０６）。なお、ポインタ情報を付加する手段としては、他に文字と文字の間隔に情報を埋め込む方法やハーフトーンの画像に埋め込む方法等、直接可視化されない、いわゆる電子透かしによる方法等であってもよい。

ステップＳ３０６においてポインタ情報が検出されなかった場合には、ステップＳ３０７に分岐し、上記で述べたいずれかの方法でポインタ情報を埋め込む。ただし、検索処理においてポインタ情報の埋め込みは必須の処理ではない。

次に、画像部分として分割されたオブジェクトから画像検索用インデックスを生成する（ステップＳ３０８）。ここでは、画像検索に必要な画像の特徴量、例えば平均色を記録する。また、該画像における色の分布などを特徴量として用いても良い。

次に、文字部分として分割されたオブジェクトから概念検索用インデックスを生成する（ステップＳ３０９）。後述する概念検索では、入力された文章の意味や文脈を解析し、その内容に関連する文書をピックアップする。このため、通常の検索と異なり、明確なキーワードが分からない場合でも文書を検索することができるようになる。概念検索インデックス作成処理に使う文字は、原本がビットマップデータの場合はステップＳ３０５で文字認識したものを、アプリケーションデータの場合は、アプリケーションに格納されている文字をそれぞれ入力とする。

次に、全文検索用インデックスを生成する（ステップＳ３１０）。全文検索用インデックス作成処理に使う文字は、上記概念検索インデックス作成処理において用いられるのと同様の文字である。

次に、ステップＳ３１１では、各カテゴリの特徴（単語の出現頻度等）を学習し、分類用特徴ベクトルを生成する。各カテゴリフォルダに格納されるインデックス生成対象文書の特徴（単語の出現頻度等）を学習し、各カテゴリフォルダの分類用特徴ベクトルを生成・更新する。このように各カテゴリのフォルダの特徴を予め抽出しておくことで、後述する図４のＳ４０９でベクトル化された入力画像をＳ４１１で格納する際に、Ｓ４１０で格納先としてのお奨めフォルダ候補を提示できるようになる。

そして、作成したインデックス情報を格納する（ステップＳ３１２）。格納先は、図１においてオフィス１０或いは２０のＬＡＮ１０７、１０８に接続された文書管理サーバ１０６−１、１０６−２内のデータベース１０５−１、１０５−２内、或いはＭＦＰ１００自体が有する記憶装置２０１等であってもよいが、本実施形態では、マネージメントＰＣ１０１内のハードディスクに格納することとする。

（類似原本検索および登録）
次に図４を用いて類似原本検索処理および登録処理について説明する。はじめに、図２のＭＦＰ１００の画像読み取り部２００を動作させ１枚の原稿をラスター状に走査し、６００ＤＰＩ−２４ビットの画像信号を得る。そして、該画像信号に対してデータ処理装置２０５にて前処理を施し、記憶装置２０１に１ページ分の画像データとして保存する（ステップＳ４０１）。もしくは、アプリケーションデータとして蓄積されたオリジナル電子ファイルをラスタライジングして６００ＤＰＩ−２４ビットの画像信号を得て、該画像信号に対してデータ処理装置２０５にて前処理を施し記憶装置２０１に１ページ分の画像データとして保存する（ステップＳ４０１）。

マネージメントＰＣ１０１のＣＰＵは該格納された画像信号を、文字／線画部分とハーフトーンの画像部分とに領域分離し、文字／線画部分については更に段落で塊としてまとまっているブロック毎に、或いは、線で構成された表、図形に分離し各々セグメント化する。一方、ハーフトーンで表現される画像部分は、矩形に分離されたブロックの画像部分、背景部等、ブロック毎に独立したオブジェクトに分割する（ステップＳ４０２）。

文字ブロックについては、ＯＣＲ処理を行う（ステップＳ４０３）。このとき入力画像中に付加情報として記録された２次元バーコード、或いはＵＲＬに該当するオブジェクトを検出し、ＵＲＬについてはＯＣＲで文字認識することで、２次元バーコードについては、該マークを解読することで、それぞれ該原稿のオリジナル電子ファイルが格納されている記憶装置内のポインタ情報を検出する（ステップＳ４０４）。なお、ポインタ情報を付加する手段としては、他に文字と文字の間隔に情報を埋め込む方法やハーフトーンの画像に埋め込む方法等、直接可視化されない、いわゆる電子透かしによる方法であってもよい。

ポインタ情報が検出された場合（ステップＳ４０５の「ＹＥＳ」の場合）、ステップＳ４１８に分岐し、ポインタで示されたアドレスからオリジナル電子ファイルを検索する。本実施形態ではオリジナル電子ファイルはマネージメントＰＣ１０１内のハードディスクに格納されており、ステップＳ４０４で得られたアドレス情報に従って当該ハードディスク内が検索される。なお、オリジナル電子ファイルの格納場所はこれに限られるものではなく、図１においてクライアントＰＣ１０２内のハードディスク内、或いはオフィス１０或いは２０のＬＡＮ１０７、１０８に接続された文書管理サーバ１０６−１、１０６−２内のデータベース１０５−１、１０５−２内、或いはＭＦＰ１００自体が有する記憶装置２０１のいずれであってもよい。ステップＳ４１８でオリジナル電子ファイルが見つからなかった場合、見つかったがＰＤＦあるいはｔｉｆｆに代表されるいわゆるイメージファイルであった場合、或いはポインタ情報自体が存在しなかった場合（ステップＳ４０５で「ＮＯ」の場合）はステップＳ４０６に分岐する。

ステップＳ４０６では、データベース上のオリジナル電子ファイルを検索するため、先ず、ステップＳ４０３でＯＣＲされた文字ブロックに対して、単語に分割し、重要語抽出を行う。重要語抽出とは、文字部分を解析し、単語の出現頻度等から重要語として決定した単語を、定められた個数だけ抽出する機能である。この重要語を全文検索の検索キーとして入力する。また、文字ブロックから文を抽出し、文章中の先頭文は文書全体の説明にあたる等の性質を利用して要約生成を行う。生成された要約文は概念検索の検索キーとして入力する。さらに画像ブロックに対してはイメージデータとして個別の画像ファイルとして画像検索を行う。次にデータベース上の各オリジナル電子ファイルと類似度を調べ、オリジナル電子ファイルを検索する。本発明は、オブジェクト毎に類似度を求め、オブジェクト毎の類似度をそのオブジェクトのファイル内占有率に応じてファイル全体の類似度へ反映させることを特徴とするものである。つまり、ファイル内で占めている割合の大きいオブジェクトの類似度が、ファイル全体の類似度へより大きく反映されることで、いかなるフォーマットのファイルにも適応的に対応することを可能にする。また、全ての領域に対し類似度を算出できるため、部分一致した文書を見つけ出すことも可能である。

ステップＳ４０６における検索処理の結果、類似度の高いオリジナル電子ファイルが見つかった場合、サムネイル等を表示（ステップＳ４０７）し、複数のオリジナル電子ファイルの中から操作者の選択が必要なら操作者の入力操作よってオリジナル電子ファイルの特定を行う。

なお、候補が１ファイルの場合、自動的にステップＳ４０８からステップＳ４１３に分岐し、格納アドレスを通知するようにしてもよい。ステップＳ４０６の検索処理でオリジナル電子ファイルが見つからなかった場合、或いは、見つかったがＰＤＦあるいはｔｉｆｆに代表されるいわゆるイメージファイルであった場合には、ステップＳ４０８からステップＳ４０９に分岐する。

ステップＳ４０９では、イメージからベクトルデータへの変換処理を行う。例えば、ステップＳ４０３でＯＣＲ処理された文字ブロックに対して、更に文字のサイズ、スタイル、字体を認識し、予め文字種別（フォント種別、スタイル）ごとに用意しておいたアウトラインデータを用いて、前記ＯＣＲ結果の文字コードをベクトル化するものとする。なお、文字ブロックについては、文字イメージの輪郭を識別し、文字イメージの輪郭に沿ったアウトラインベクトルを抽出することによって文字領域をベクトル化し、且つ、その際、ＯＣＲ処理結果は各文字のベクトルデータに対応する文字コードとして保持しておくようにしてもよい。また、線で構成される表、図形ブロックに対してはアウトライン化し、表など図形形状が認識できるものは、その形状を認識する。さらに、画像ブロックに対してはイメージデータとして個別のＪＰＥＧファイルとして処理する。これらのベクトル化処理は各オブジェクト毎に行い、更に各オブジェクトのレイアウト情報を保存して、例えば、ベクトルデータをエンベットしたｒｔｆ（Ｒｉｃｈ Ｔｅｘｔ Ｆｏｒｍａｔ）形式に変換する。このようにして生成されたｒｔｆ形式のファイルを扱うことが可能なアプリケーションで読み込むことで、文章は勿論のこと、図形やイメージデータについても編集できる状態に復元することができる。なお、変換するアプリ用データファイルは、ベクトルデータのオブジェクトを埋め込み可能なｒｔｆ形式に限るものではなく、例えば、ＳＶＧ（Ｓｃａｒａｂｌｅ Ｖｅｃｔｏｒ Ｇｒａｆｉｃｓ）フォーマットなどのその他のファイル形式に変換するようにしてもよい。

続いて、ステップＳ４１０で分類支援機能を起動する。分類支援機能とは、文書を格納する際、どのカテゴリのフォルダーに分類して格納するかを支援する機能である。この機能によって、使用者の文書登録に関わる作業量を大幅に軽減することができる。文書の文字部分から分類用特徴ベクトルを生成し、インデックスに格納されている分類用特徴ベクトルとの類似度判定によって、類似度が上位のカテゴリフォルダから順番に表示する。このように登録先のお奨めカテゴリフォルダ候補を表示することで使用者は容易に登録処理を行えるようになる。なお、使用者は文書の登録先として表示されたカテゴリフォルダから選ぶこともできるし、表示されなかったカテゴリフォルダ、あるいは新規カテゴリフォルダを作成して、電子ファイルとして変換されたデータをマネージメントＰＣ１０１内のハードディスクに格納することができる（ステップＳ４１１）。

ステップＳ４０９においてベクトル化した入力画像は、以降同様の検索処理を行う際にオリジナル電子ファイルとして検索出来るように、ステップＳ４１２において、先に述べたＳ３０８〜Ｓ３１１と同様のインデックス生成処理を行い、インデックス情報を生成して検索用インデックスファイルに追加する。

ステップＳ４１８でポインタ情報からオリジナル電子ファイルが特定できた場合、および、Ｓ４０８の検索処理でオリジナル電子ファイルが特定出来た場合、および、Ｓ４０９〜４１２でベクトル化により電子ファイルに変換して格納した場合には、ステップＳ４１３において、操作者が直接オリジナル電子ファイルを特定可能にする為に、該オリジナル電子ファイルの格納アドレスを操作者に通知する。

更に、ステップＳ４１４で、操作者が行いたい処理が「記録」であると判断されれば、ステップＳ４１５に分岐し、ポインタ情報をイメージデータとしてファイルに付加する。

このようにして得られた電子ファイル自体を用いて、例えば文書の加工、蓄積、伝送、記録をステップＳ４１６で行うことが可能になる。これらの処理はイメージデータを用いる場合に比べて、情報量が削減され、蓄積効率が高まり、伝送時間が短縮され、又記録表示する際には高品位なデータとして非常に優位となる。

ステップＳ４１７では、課金サーバ１１０−１または１１０−２に蓄積されている、文書ごとに定義された著作権ロイヤリティ情報にもとづいて、検索結果の表示方法・アクセス方法、使用者処理方法に応じた課金処理が行われる。

以下、各処理ブロックについて詳細に説明する。先ずステップＳ４０２に示すブロックセレクション処理について説明する。

[ブロックセレクション処理（領域分割処理）]
ステップＳ４０２のブロックセレクション処理を図５を用いて説明する。図５（Ａ）はステップＳ４０１で読み取った一頁のイメージデータの一例であり、図５（Ｂ）は当該イメージデータを各オブジェクト毎の塊として認識し、該ブロック各々について文字／図画／写真／線／表等の属性を判定し、異なる属性を持つ領域に分割した様子を示したものである。

ブロックセレクション処理の実施例を以下に説明する。先ず、入力画像を白黒に二値化し、輪郭線追跡を行って黒画素輪郭で囲まれる画素の塊を抽出する。面積の大きい黒画素の塊については、内部にある白画素に対しても輪郭線追跡を行い、白画素の塊を抽出し、さらに一定面積以上の白画素の塊の内部から再帰的に黒画素の塊を抽出する。

このようにして得られた黒画素の塊を、大きさおよび形状で分類し、異なる属性を持つ領域へ分類していく。たとえば、縦横比が１に近く、大きさが一定の範囲のものを文字相当の画素塊とし、さらに近接する文字が整列良くグループ化されうる部分を文字領域（ＴＥＸＴ）、扁平な画素塊を線領域（ＬＩＮＥ）、一定大きさ以上でかつ四角系の白画素塊を整列よく内包する黒画素塊の占める範囲を表領域（ＴＡＢＬＥ）、不定形の画素塊が散在している領域を写真領域（ＰＨＯＴＯ）、それ以外の任意形状の画素塊を図画領域（ＰＩＣＴＵＲＥ）、などとする。

ブロックセレクション処理で得られた各ブロックに対するブロック情報は以降に説明するベクトル化、或いは検索処理の為の情報として用いる。

[ポインタ情報の検出]
次に、オリジナル電子ファイルの格納位置をイメージ情報から抽出する為のポインタ情報検出処理（ステップＳ４０４）について説明する。

図６は入力画像中に付加された２次元バーコード(ＱＲコードシンボル)を復号して、データ文字列を出力する過程を示すフローチャートである。２次元バーコードが付加された原稿の一例を図７に示す。

まず、データ処理装置２０５内のページメモリに格納された原稿７０１を表すイメージ画像をＣＰＵ（不図示）で走査して、先に説明したブロックセレクション処理の結果から所定の２次元バーコードシンボル７０３の位置を検出する（ステップＳ６００）。ＱＲコードの位置検出パターンは、シンボルの４隅のうち３隅に配置される同一の位置検出要素パターンから構成される。

次に、位置検出パターンに隣接する形式情報を復元し、シンボルに適用されている誤り訂正レベルおよびマスクパターンを得る(ステップＳ６０１)。

シンボルの型番を決定した(ステップＳ６０２)後、形式情報で得られたマスクパターンを使って符号化領域ビットパターンをＸＯＲ演算することによってマスク処理を解除する(ステップＳ６０３)。

尚、モデルに対応する配置規則に従い、シンボルキャラクタを読み取り、メッセージのデータ及び誤り訂正コード語を復元する(ステップＳ６０４)。

復元されたコード上に、誤りがあるかどうかの検出を行い(ステップＳ６０５)、誤りが検出された場合には、ステップＳ６０６に分岐し、これを訂正する。

誤り訂正されたデータのモード指示子および文字数指示子に基づいて、データコード語をセグメントに分割する(ステップＳ６０７)。

最後に、仕様モードに基づいてデータ文字を復号し、結果を出力する(ステップＳ６０８)。

尚、２次元バーコード内に組み込まれたデータは、対応するオリジナル電子ファイルのアドレス情報を表しており、例えばファイルサーバ名およびファイル名からなるパス情報で、或いは、対応するオリジナル電子ファイルへのＵＲＬで構成される。

本実施形態ではポインタ情報が２次元バーコードにより付与された原稿７０１について説明したが、直接文字列でポインタ情報が記録される場合は所定のルールに従った文字列のブロックを先のブロックセレクション処理で検出し、該ポインタ情報を示す文字列の各文字を文字認識することで、直接、オリジナル電子ファイルのアドレス情報を得ることが可能である。

又、図７の原稿７０１の文字ブロック７０２、或いは７０３の文字列に対して隣接する文字と文字の間隔等に視認し難い程度の変調を加え、該文字間隔に情報を埋め込むことでもポインタ情報を付与できる。所謂透かし情報は、後述する文字認識処理を行う際に各文字の間隔を検出すれば、ポインタ情報が得られる。又、自然画７０５の中に電子透かしとしてポインタ情報を付加することも可能である。

[ポインタ情報によるオリジナル電子ファイル検索]
次に、図４のステップＳ４０５およびステップＳ４１８に示す、ポインタ情報からのオリジナル電子ファイルの検索処理について図８のフローチャートを使用して説明する。

まず、ポインタ情報に含まれるアドレスに基づいて、ファイルサーバを特定する(ステップＳ８００)。なお、本実施形態においては、ファイルサーバとはマネージメントＰＣ１０１内のハードディスクを指すが、オリジナル電子ファイルの格納先がクライアントＰＣ１０２や、文書管理サーバ１０６−１、１０６−２内のデータベース１０５−１、１０５−２や、ＭＦＰ１００内の記憶装置２０１であった場合には、それらを指す。また、アドレスとはＵＲＬや、サーバ名とファイル名からなるパス情報である。

ファイルサーバが特定できたら、ファイルサーバに対してアドレスを転送する(ステップＳ８０１)。ファイルサーバは、アドレスを受信すると、該当するオリジナル電子ファイルを検索する(ステップＳ８０２)。オリジナル電子ファイルが存在しない場合(ステップＳ８０３で「ＮＯ」の場合）には、ＭＦＰ１００に対してその旨通知する。

オリジナル電子ファイルが存在した場合（ステップＳ８０３で「ＹＥＳ」の場合）には、図４で説明したように、オリジナル電子ファイルのアドレスを通知（ステップＳ４１３）すると共に、使用者の希望する処理が画像ファイルデータの取得であれば、ＭＦＰ１００に対してオリジナル電子ファイルを転送する(ステップＳ８０８)。

[ＯＣＲ処理]
次にステップＳ４０３におけるＯＣＲ処理(文字認識処理)について説明する。

文字認識部では、文字単位で切り出された画像に対し、パターンマッチの一手法を用いて認識を行い、対応する文字コードを得る。この認識処理は、文字画像から得られる特徴を数十次元の数値列に変換した観測特徴ベクトルと、あらかじめ字種毎に求められている辞書特徴ベクトルとを比較し、最も距離の近い字種を認識結果とする処理である。特徴ベクトルの抽出には種々の公知手法があり、たとえば、文字をメッシュ状に分割し、各メッシュ内の文字線を方向別に線素としてカウントしたメッシュ数次元ベクトルを特徴とする方法がある。

ブロックセレクション処理（ステップＳ４０２）で抽出された文字領域に対して文字認識を行う場合は、まず該当領域に対し横書き、縦書きの判定をおこない、各々対応する方向に行を切り出し、その後文字を切り出して文字画像を得る。横書き、縦書きの判定は、該当領域内で画素値に対する水平／垂直の射影を取り、水平射影の分散が大きい場合は横書き領域、垂直射影の分散が大きい場合は縦書き領域と判断すればよい。文字列および文字への分解は、横書きならば水平方向の射影を利用して行を切り出し、さらに切り出された行に対する垂直方向の射影から、文字を切り出すことでおこなう。縦書きの文字領域に対しては、水平と垂直を逆にすればよい。尚、この時文字のサイズが検出できる。

[ファイル検索]
次に、図４のステップＳ４０６に示すファイル検索処理の詳細について図１０を用いて説明する。

ファイル検索は、前述したブロックセレクション処理（ステップＳ４０２）により分割された各ブロック情報を利用して行う。具合的には、各ブロックの属性とファイル中のブロック座標情報との比較、すなわちレイアウトによる比較と、ファイル内の各ブロックの属性により異なる比較方法が適用されるブロック毎の内部情報比較とを複合した複合検索を用いる。

図１０は、図４のステップＳ４０６でブロックセレクション処理された入力ファイルを、既に格納されているオリジナル電子ファイルの検索用インデックスと順次比較し、一致するオリジナル電子ファイルを検索するフローチャートである。まず、データベースよりオリジナル電子ファイルへアクセスする(ステップＳ１００１)。入力ファイルの各ブロックとオリジナル電子ファイルの各ブロックとを比較し、入力ファイルのブロック毎にオリジナル電子ファイルのブロックとの類似率を求める(ステップＳ１００２)。

ここで、図５、図９、図１１及び図１２を用いてステップＳ１００２のブロック比較について詳説する。図５を入力ファイルとし、図９にオリジナル電子ファイルの例を示す。図９のオリジナル電子ファイルは、ブロックＢ’１〜Ｂ’９に分割されかつそれぞれがベクトル化処理されている。図１１は、入力ファイル中の一つのブロックをオリジナル電子ファイルと比較し、類似率を算出するフローチャートである。ブロック毎に類似率を算出する際、まず入力ファイルの該ブロックとレイアウト上一致すると推定されるオリジナル電子ファイルの対象ブロックを選出する。この処理においては、入力ファイルの複数のブロックに対し、オリジナル電子ファイルの対象ブロックが重複されて選出されてもよい。次に該ブロックと対象ブロックとのレイアウト情報の類似率を求める。ブロックの位置、サイズ、属性を比較し（ステップＳ１１０２、１１０３、１１０４）、その誤差からレイアウトの類似率を求める。次にブロック内部の比較を行うが、ブロック内部を比較する際は同じ属性として比較するため、属性が異なる場合は片方のブロックを一致する属性へ再ベクトル化するなどの前処理を行う。前処理により同じ属性として扱われる入力ファイルのブロックとオリジナル電子ファイルの対象ブロックについて、ブロックの内部比較を行う（ステップＳ１１０５）。ブロック内部比較では、ブロックの属性に最適な比較手法をとるため、属性によりその比較手法は異なる。図１２はブロックごとの比較方法を記述したフローチャートである。例えば、前述したブロックセレクション処理により、ブロックはテキスト、写真、表、線画などの属性に分割される。処理するブロックが写真画像ブロックの場合（ステップＳ１２０１の「ＹＥＳ」の場合）、画像より抽出される特徴ベクトルに基づいて特徴空間上の誤差より類似率が算出される（ステップＳ１２０２）。ここでいう特徴ベクトルとは、色ヒストグラムや色モーメントのような色に関する特徴量、共起行列、コントラスト、エントロピ、Ｇａｂｏｒ変換等で表現されるテクスチャ特徴量、フーリエ記述子等の形状特徴量など複数挙げられ、このような複数の特徴量のうち最適な組み合わせを用いる。検索結果（類似率順に並んだ候補リスト）は、所定の記憶装置、例えばマネージメントＰＣ１０１の記憶装置に記憶される（ステップＳ１２０３）。

テキストブロックの場合（ステップＳ１２０４の「ＹＥＳ」の場合）は、ＯＣＲ処理により文字コードが判別されているため、ステップＳ１２０５では要約文生成を行い、概念検索を行う。ステップＳ１２０６では、検索結果を記憶装置に記憶する。続いてステップＳ１２０７において重要語抽出を行い、全文検索を行う。検索結果を記憶装置に記憶する（ステップＳ１２０８）。

以上より、ブロック位置、サイズ、属性、ブロック内部の類似率を算出し、各類似率を合計することで入力ファイルの該ブロックに対しその類似率を算出することが可能であり、該ブロック類似率を記録する。入力ファイルのブロック全てについて、一連の処理を繰り返す。求められたブロック類似率は、全て統合することで、入力ファイルの類似率を求める（ステップＳ１００３）。

次に、総合類似度算出処理（ステップＳ１００３）について説明する。図５の入力ファイルのブロックに対し、ブロック毎の類似率がｎ１、ｎ２、・・・と算出されたとする。このときファイル全体の総合類似率Ｎは、以下の式で表現される。

Ｎ＝ｗ１×ｎ１＋ｗ２×ｎ２＋・・・＋γ ・・・（１）
ここで、ｗ１、ｗ２、・・・は、各ブロックの類似率を評価する重み係数である。γは補正項であり、例えば、図９のオリジナル電子ファイルの入力ファイルに対する対象ブロックとして選出されなかったブロックの評価値などとする。重み係数ｗ１、ｗ２・・・は、ブロックのファイル内占有率により求める。例えばブロック１のサイズをＳ１とすると、ブロック１の占有率ｗ１は、
ｗ１＝Ｓ１／(全ブロックのサイズの和) ・・・（２）
として算出できる。このような占有率を用いた重み付け処理により、ファイル内で大きな領域を占めるブロックの類似率がよりファイル全体の類似率に反映されるようになる。

以上、検索の結果、類似率が閾値Ｔｈより高い場合には、候補として保存され（ステップＳ１００５）、オリジナル電子ファイルをサムネイル等で表示する（ステップＳ４０７）。複数の中から操作者の選択が必要なら操作者の入力操作によってオリジナル電子ファイルの特定を行う。

[アプリデータへの変換処理]
ところで、一頁分のイメージデータをブロックセレクション処理（ステップＳ４０２）し、ベクトル化処理（ステップＳ４０８）した結果は図１３に示す様な中間データ形式のファイルとして変換されているが、このようなデータ形式はドキュメント・アナリシス・アウトプット・フォーマット（ＤＡＯＦ）と呼ばれる。

図１３はＤＡＯＦのデータ構造を示す図である。図１３において、１３０１はＨｅａｄｅｒであり、処理対象の入力ファイルに関する情報が保持される。レイアウト記述データ部１３０２では、入力ファイル中のＴＥＸＴ（文字）、ＴＩＴＬＥ（タイトル）、ＣＡＰＴＩＯＮ（キャプション）、ＬＩＮＥＡＲＴ（線画）、ＥＰＩＣＴＵＲＥ（自然画）、ＦＲＡＭＥ（枠）、ＴＡＢＬＥ（表）等の属性毎に認識された各ブロックの属性情報とその矩形アドレス情報を保持する。文字認識記述データ部１３０３では、ＴＥＸＴ、ＴＩＴＬＥ、ＣＡＰＴＩＯＮ等のＴＥＸＴブロックを文字認識して得られる文字認識結果を保持する。表記述データ部１３０４では、ＴＡＢＬＥブロックの構造の詳細を格納する。画像記述データ部１３０５は、ＰＩＣＴＵＲＥやＬＩＮＥＡＲＴ等のブロックのイメージデータを入力ファイルから切り出して保持する。

このようなＤＡＯＦは、中間データとしてのみならず、それ自体がファイル化されて保存される場合もあるが、このファイルの状態では、所謂一般の文書作成アプリケーションで個々のオブジェクトを再利用することは出来ない。そこで、次に、このＤＡＯＦからアプリデータに変換する処理（ステップＳ４０９）について詳説する。

図１４は、アプリデータに変換する処理（ステップＳ４０９）の詳細な流れを示すフローチャートである。

ステップＳ１４００では、ＤＡＯＦデータの入力を行う。ステップＳ１４０１では、アプリデータの元となる文書構造ツリー生成を行う。ステップＳ１４０２では、文書構造ツリーを元に、ＤＡＯＦ内の実データを流し込み、実際のアプリデータを生成する。

図１５は、文書構造ツリー生成処理（ステップＳ１４０１）の詳細フローを示す図であり、図１６は、文書構造ツリーの説明図である。全体制御の基本ルールとして、処理の流れはミクロブロック（単一ブロック）からマクロブロック（ブロックの集合体）へ移行する。

以後ブロックとは、ミクロブロック及びマクロブロック全体を指す。ステップＳ１５０１では、ブロック単位で縦方向の関連性を元に再グループ化する。スタート直後はミクロブロック単位での判定となる。

ここで、関連性とは、距離が近い、ブロック幅（横方向の場合は高さ）がほぼ同一であることなどで定義することができる。

また、距離、幅、高さなどの情報はＤＡＯＦを参照し、抽出する。図１６（Ａ）は実際のページ構成、（Ｂ）はその文書構造ツリーである。ステップＳ１５０１の処理の結果、Ｔ３、Ｔ４、Ｔ５が一つのグループＶ１として生成され、Ｔ６、Ｔ７が一つのグループＶ２が同じ階層のグループとしてまず生成される。

ステップＳ１５０２では、縦方向のセパレータの有無をチェックする。セパレータは、例えば物理的にはＤＡＯＦ中でライン属性を持つオブジェクトである。また論理的な意味としては、アプリ中で明示的にブロックを分割する要素である。ここでセパレータを検出した場合は、同じ階層で再分割する。

ステップＳ１５０４では、分割がこれ以上存在し得ないか否かをグループ長を利用して判定する。ここで、縦方向のグループ長がページ高さ（該ページに存在する複数のブロックの最上端と最下端の距離）となっている場合は、文書構造ツリー生成は終了する。

図１６の場合は、グループＶ１，Ｖ２には、セパレータもなく、グループ高さはページ高さではないので、ステップＳ１５０４に進む。ステップＳ１５０４では、ブロック単位で横方向の関連性を元に再グループ化する。ここもスタート直後の第一回目はミクロブロック単位で判定を行うことになる。なお、関連性及びその判定情報の定義は、縦方向の場合と同じである。

図１６の場合は、Ｔ１、Ｔ２でＨ１が、Ｖ１、Ｖ２でＨ２が、それぞれＶ１、Ｖ２の１つ上の同じ階層のグループとして生成される。

ステップＳ１５０５では、横方向セパレータの有無をチェックする。図１６では、Ｓ１があるので、これをツリーに登録し、Ｈ１、Ｓ１、Ｈ２という階層が生成される。

ステップＳ１５０６では、分割がこれ以上存在し得ないか否かをグループ長を利用して判定する。ここで、横方向のグループ長がページ幅となっている場合は、文書構造ツリー生成は終了する。そうでない場合は、ステップＳ１５０１に戻り、再びもう一段上の階層で、縦方向の関連性チェックから繰り返す。

図１６の場合は、分割幅がページ幅になっているので、ここで終了し、最後にページ全体を表す最上位階層のＶ０が文書構造ツリーに付加される。文書構造ツリーが完成した後、その情報を元にステップＳ１４０２においてアプリデータの生成を行う。

図１６の場合は、具体的には、以下のようになる。すなわち、Ｈ１は横方向に２つのブロックＴ１とＴ２があるので、２カラムとし、Ｔ１の内部情報（ＤＡＯＦを参照、文字認識結果の文章、画像など）を出力後、カラムを変え、Ｔ２の内部情報出力、その後Ｓ１を出力する。

Ｈ２は横方向に２つのブロックＶ１とＶ２があるので、２カラムとして出力、Ｖ１はＴ３、Ｔ４、Ｔ５の順にその内部情報を出力、その後カラムを変え、Ｖ２のＴ６、Ｔ７の内部情報を出力する。以上によりアプリデータへの変換処理が行える。

[ポインタ情報の付加]
次に、ステップＳ４１５に示す、ポインタ情報付加処理について説明する。処理すべき文書が検索処理で特定された場合、あるいはベクトル化によってオリジナル電子ファイルが再生できた場合であって、該文書を記録処理する場合においては、紙への記録の際にポインタ情報を付与することで、この文書を用いて再度各種処理を行う際に簡単にオリジナル電子ファイルを取得することができるようになる。

図１７はポインタ情報としてのデータ文字列を２次元バーコード(ＱＲコードシンボル：ＪＩＳ Ｘ０５１０）７０１にて符号化して画像中に付加する過程を示すフローチャートである。

２次元バーコード内に組み込むデータは、対応するオリジナル電子ファイルのアドレス情報を表しており、例えばファイルサーバ名およびファイル名からなるパス情報で構成される。或いは、対応するオリジナル電子ファイルへのＵＲＬや、対応するオリジナル電子ファイルの格納されているデータベース内あるいはＭＦＰ１００自体が有する記憶装置内で管理されるファイルＩＤ等で構成される。

まず、符号化する種々の異なる文字を識別するため、入力データ列を分析する。また、誤り検出及び誤り訂正レベルを選択し、入力データが収容できる最小型番を選択する(ステップＳ１７００)。

次に、入力データ列を所定のビット列に変換し、必要に応じてデータのモード(数字、英数字、８ビットバイト、漢字等)を表す指示子や、終端パターンを付加する。さらに所定のビットコード語に変換する(ステップＳ１７０１)。

この時、誤り訂正を行うため、コード語列を型番および誤り訂正レベルに応じて所定のブロック数に分割し、各ブロック毎に誤り訂正コード語を生成し、データコード語列の後に付加する(ステップＳ１７０２)。

ステップＳ１７０２で得られた各ブロックのデータコード語を接続し、各ブロックの誤り訂正コード語および必要に応じて剰余コード語を後続する(ステップＳ１７０３)。

次に、マトリクスに位置検出パターン、分離パターン、タイミングパターンおよび位置合わせパターン等とともにコード語モジュールを配置する(ステップＳ１７０４)。

更に、シンボルの符号化領域に対して最適なマスクパターンを選択して、マスク処理パターンをステップＳ１７０４で得られたモジュールにＸＯＲ演算により変換する(ステップＳ１７０５)。

最後に、ステップＳ１７０５で得られたモジュールに形式情報および型番情報を生成して、２次元コードシンボルを完成する(ステップＳ１７０６)。

上述した、アドレス情報の組み込まれた２次元バーコードは、例えば、クライアントＰＣ１０２からオリジナル電子ファイルをプリントデータとして送信し、記録装置２０２により紙上に記録画像として形成する場合に、データ処理装置２０５内で記録可能なラスターデータに変換された後にラスターデータ上の所定の個所に付加されて画像形成される。ここで画像形成された紙を配布されたユーザは、画像読み取り部２００で読み取ることにより、前述したステップＳ４０４にてポインタ情報からオリジナル電子ファイルの格納場所を検出することができる。

尚、同様の目的で付加情報を付与する手段は、本実施形態で説明した２次元バーコードの他に、例えば、ポインタ情報を直接文字列で文書に付加する方法、文書内の文字列、特に文字と文字の間隔を変調して情報を埋め込む方法、文書中の中間調画像中に埋め込む方法等、一般に電子透かしと呼ばれる各方法が適用できる。

[課金時著作権チェック処理]
次にステップＳ４１７に示す課金処理について説明する。本実施形態では、これまでファイルサーバに蓄積されたオリジナル電子ファイルは全て自由にアクセスでき、オリジナル電子ファイル全体、或いはその一部のオブジェクトは全て再利用が可能なことを前提に説明してきた。しかし、処理される入力ファイルの中には、第三者による再利用を制限すべきものがある。そこで、第三者による再利用が制限された入力ファイルが含まれている場合のステップＳ４１７における処理について説明する。

ステップＳ４１６で、文書の印刷などの処理を行う前に、ポインタ情報からオリジナル電子ファイルを検索した際に特定できたオリジナル電子ファイルについて、課金サーバ１１０−１、１１０−２に蓄積されている、文書・オブジェクトごとに定義された著作権ロイヤリティ情報を問い合わせる。著作権ロイヤリティ情報とは、検索結果の表示方法・アクセス方法・使用者処理方法に応じた料金の対応表である。例えば、画像領域の印刷には１００円かかり、複製には２００円かかる、あるいはテキスト部分は自由に再利用可能であるといった内容が記述されている。

課金サーバ１１０−１、１１０−２はそのオリジナル電子ファイルのロイヤリティ情報を調べ、有料の場合には、ＭＦＰ１００に対してユーザＩＤ、パスワードの送信を要求する。

ＭＦＰ１００は操作者に対してユーザＩＤ、パスワードの入力を促し、入力されたユーザＩＤ、パスワードを課金サーバに送信する。

課金サーバ１１０−１、１１０−２は送信されたパスワードを照合し、一致した場合にはステップＳ４１６の希望する処理（記録などの利用）を許可し、対応する課金決済処理（ステップＳ４１７）を行う。なお、課金を行う為の認証の方法は、パスワードによる方法に限定されず、例えば、指紋認証等の一般に広く用いられている生体認証、カードによる認証等全ての認証手段を用いることができる。

又、本実施形態では紙文書に付加されたポインタ情報によりオリジナル電子ファイルを特定した場合の実施例を示したが、図４のステップＳ４０６〜Ｓ４０７で示す所謂検索処理でオリジナル電子ファイルを特定した場合においても同様の処理が可能である。

また、図４のステップＳ４０９〜４１２で説明したベクトル化処理に対しても、課金処理を行うことが出来るようにしてもよい。すなわち、紙文書を走査して得られたイメージ情報からベクトル化処理を行うときに有料と設定している場合には、ベクトル化処理を実行する前にユーザに対してベクトル化処理を行うのにかかる費用を提示する。そして支払いの手続き（ユーザＩＤ、パスワードの入力）が行われて、認証成功した場合にベクトル化処理を行うことで、使用者から料金を徴収することができる。また、ベクトル化処理を行う際に、ベクトル化処理を行うのにかかる費用とその後の著作権ロイヤリティを管理するのにかかる費用とを合わせて課金するようにしてもよい。

＜第２の実施形態＞
上記第１の実施形態においては、ファイル検索では要約文を概念検索へ、重要語を全文検索へ代入したが、処理能力の低い環境では要約文、重要語の生成にリソースをさけない場合もある。その場合は、概念検索の検索キーとして文書全体を入力し、全文検索を省略してもよい。

＜第３の実施形態＞
上記第１の実施形態においては、ポインタ情報を検出・埋め込む過程を入れたが、ポインタ情報の検出を行わずに複合検索処理のみに限っても、本発明の有用性は失われない。

また、上記実施形態によれば、ブロックセレクション前にラスタライズするステップを入れたが、必須ではない。また、インデックス作成は検索時に行わずに、スケジュールして行ってもよい。実施形態では文書を入力するごとに分類ベクトル生成を行っているが、ある程度文書が蓄積されるごとに行ってもよい。

また、実施形態では文書を入力するごとに分類用特徴ベクトル生成を行っているが、ある程度文書が蓄積されるごとに行ってもよい。また、分類用特徴ベクトル生成は文字部分を使用して行ったが、表・画像・など他の属性についても分類用特徴ベクトルを生成し、検索時と同様に領域の面積比によって総合的に分類用特徴ベクトルの生成を行うことも可能である。また、上記実施形態では、ステップＳ４１０では、格納先としてお奨めカテゴリフォルダを提示してユーザに選択させるようにしたが、更に自動分類するかどうかの設定ボタンを設け、予めユーザによって自動分類すると設定されていた場合、選択肢を表示せずに第１位のお奨めカテゴリフォルダに自動的に登録するようにしてもよい。

＜第４の実施形態＞
第１の実施形態のファイル検索では、入力ファイルとデータベースファイルを比較する際、全ての入力ファイルの全てのブロックについて、レイアウト情報とブロックの内部情報とについて比較を行った。本実施形態では、入力ファイルのレイアウトとデータベースファイルのレイアウトとが全く異なる場合、ブロック内部情報の比較処理を省き、検索処理の計算量を軽減する。図１８は、本実施形態におけるファイル検索のフローチャートである。まず、データベースよりオリジナル電子ファイルへアクセスする（ステップＳ１８０１)。入力ファイルの各ブロックの位置、サイズ、属性とオリジナル電子ファイルの各ブロックとを比較し、その類似率を求め、ファイル全体のレイアウト類似率を求める（ステップＳ１８０２）。ステップＳ１８０３でレイアウト類似率が所定の閾値より高いかどうか判断し、レイアウト類似率が所定の閾値より低いと判断された場合は、ブロック内部情報比較は行わずにステップＳ１８０７に進む。一方、レイアウト類似率が所定の閾値より高いと判断された場合、ステップＳ１８０４に進んで、ブロック内部情報の比較を行い、先に求めたレイアウト類似率とブロック内部情報の類似率とにより、ファイル全体の総合類似率を求める。ブロック毎の類似率からの総合類似率の求める手法は、図１０のステップＳ１００３と同様の処理であり、説明を省略する。ステップＳ１８０５で総合類似率が所定の閾値より高いか判断し、所定の閾値より高ければ当該比較対象のファイルを候補として保存する（ステップＳ１８０６）。一方、所定の閾値以下であれば候補にしない。ステップＳ１８０７では次の比較対象のデータベースファイルがあれば、ステップＳ１８０１に進み、なければ処理を終了する。

ブロック内部情報の類似率を求める処理は、写真ブロックなどの情報量の多いブロックの比較を行なうため、レイアウト情報の比較に比べて、一般的に重い処理となる。よって、レイアウト情報である程度ファイルを絞り込むことで、検索処理量の軽減、処理の高速化が行え、効率よく所望のファイルを検索できる。

＜第５の実施形態＞
第５の実施形態では、ユーザに文書内の特徴となるブロック領域を指定させたり、比較対象から除くブロックを指定させたり、文書内の特徴を指定させたりすることで、ファイル検索をより高精度に行なう。

図１９は検索時、ユーザに検索オプションを指定させるためのユーザインタフェース画面（１９０１）の例である。入力ファイルはブロックセレクション処理により、複数のブロックに分割されており、入力画面にはファイル上のテキスト、写真、表、線画など各ブロック領域（１９１１〜１９１７）が表示される。

ユーザは表示されたブロックの中から、該入力ファイルの特徴となるブロックを選択し、重視するブロックをユーザに指定させることを可能する。このとき選択するブロックは複数であってもよい。例えば、ブロック１９１４を選択した状態で、ボタン「重視」(１９０２)を押したとき、ブロック１９１４を重視した検索処理を行う。この検索処理は、ブロック毎の類似率からファイル全体の類似率を求める演算式（１）において、指定されたブロック１９１４の重み係数を大きくし、それ以外のブロックの重み係数を小さくすることで実現する。「重視」ボタン（１９０２）を複数回押せば、選択されたブロックの重み係数を更に大きくし、よりブロックを重視した検索が行えるようにする。

また、除外ボタン（１９０３）を押せば、選択されたブロック１９１４を省いた状態で検索処理を施す。例えば、誤ったブロックを自動抽出してしまった場合などには、ユーザが該ブロックを除外することで、無駄な検索処理を省略し、かつ誤った検索結果となることを防止できる。なお、除外する場合は、演算式（１）の該当ブロックの重み係数をゼロとすればよい。

また、詳細設定ボタン（１９０４）によりブロックの属性の変更を実現可能とし、ブロックの属性を正しい属性に修正できるようにすることで、より正確な検索できる。また、詳細設定ボタン１９０４では、ユーザにより、ブロックの検索優先する重みを細かく調節可能とする。このように、検索する際、ユーザが特徴となるブロックを指定、設定させることで、検索の最適化が行える。

一方、ファイルによっては、レイアウトが特殊な場合も考えられる。このようなファイルに関しては、レイアウト優先ボタン（１９０５）を選択することにより、レイアウトを重視したファイル検索を可能とする。この場合、レイアウトの類似率の結果をより重視するように、重み付けすることで実現する。

また、テキスト優先ボタン（１９０６）が選択されると、テキストブロックのみを用いて検索を実行し、処理の軽減を図れるようにする。

このように、ユーザに画像の特徴を選択させることで、ファイルの特徴を重視した検索が行える。

＜他の実施形態＞
なお、本発明は、複数の機器（例えばホストコンピュータ、インタフェイス機器、リーダ、プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置など）に適用してもよい。

また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても、達成されることは言うまでもない。

この場合、記憶媒体から読出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。

プログラムコードを供給するための記憶媒体としては、例えば、フロッピ（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることができる。

また、コンピュータが読出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

本発明にかかる情報処理方法を実現する画像処理システムの構成を示す図である。 ＭＦＰ１００の構成図である。 検索用インデックス作成処理の流れを示すフローチャートである。 類似原本検索処理および登録処理の流れを示すフローチャートである。 入力原稿の一例を示す図である。 ポインタ情報検出処理の流れを示すフローチャートである。 ポインタ情報を検出する際に使用する入力原稿の一例を示す図である。 ポインタ情報にもとづいてファイル検索を行う場合の処理の流れを示すフローチャートである。 図５に示す入力原稿をブロックセレクションした結果を示す図である。 類似度にもとづくファイル検索処理を行う場合の処理の流れをフローチャートである。 類似度にもとづくファイル検索処理のブロック比較処理の詳細を示したフローチャートである。 ブロック比較処理のブロック内比較処理の詳細を示したフローチャートである。 ＤＡＯＦのデータ構造を示す図である。 アプリデータへの変換処理を示したフローチャートである。 文書構造ツリー生成処理を示したフローチャートである。 文書構造ツリー構造を示した図である。 ポインタ情報埋め込み処理を示したフローチャートである。 第４の実施形態におけるファイル検索処理のフローチャートである。 検索オプションを指定させるためのユーザインタフェース画面を示す図である。

Claims (32)

1. 入力される文書画像に類似する画像データを検索する情報処理装置であって、
   前記入力される文書画像を属性ごとに複数の領域に分割する分割手段と、
   前記分割された領域ごとに、前記属性に適した検索手段を用いて、類似度を算出する類似度算出手段と、
   前記分割された領域ごとに算出された類似度に重み付けをした総合類似度を算出する総合類似度算出手段と
   を備えることを特徴とする情報処理装置。
2. 前記検索手段は、
   前記分割手段により分割された領域のうち、テキスト領域から文字認識により抽出されたテキストデータに基づいて全文検索する手段と、
   前記テキストデータに基づいて概念検索する手段と、
   前記分割手段により分割された領域のうち、イメージ領域から抽出された特徴量に基づいてイメージ検索する手段と
   を備えることを特徴とする請求項１に記載の情報処理装置。
3. 前記総合類似度算出手段は、
   前記入力される文書画像における前記分割された各領域の占有率に基づいて、重み付けを行うことを特徴とする請求項１に記載の情報処理装置。
4. 前記画像データごとの著作権ロイヤリティに関する情報を格納したサーバと通信する通信手段を更に備え、
   前記画像データについて、前記著作権ロイヤリティに関する情報を取得可能であることを特徴とする請求項１に記載の情報処理装置。
5. 前記著作権ロイヤリティに関する情報があった場合には、前記サーバからの許可を受けない限り、前記画像データについての処理が行われないことを特徴とする請求項４に記載の情報処理装置。
6. ユーザに対して、前記著作権ロイヤリティに基づく課金処理を実行する課金手段を更に備えることを特徴とする請求項４に記載の情報処理装置。
7. 前記入力される文書画像をベクトルデータに変換する際の料金をユーザに対して課金する課金手段と、
   前記課金手段により課金された料金の支払い手続きが行われた場合に、前記入力される文書画像をベクトルデータに変換するベクトルデータ変換手段と、
   前記ベクトルデータに変換された文書画像を格納する格納手段と
   を更に有することを特徴とする請求項１に記載の情報処理装置。
8. 前記課金手段は、前記ベクトルデータに変換された文書画像の著作権ロイヤリティを管理する際の料金を課金することを特徴とする請求項７に記載の情報処理装置。
9. 前記入力される文書画像をベクトルデータに変換するベクトルデータ変換手段と、
   前記ベクトルデータに変換された文書画像の特徴に基づいて、格納先の候補カテゴリを出力する候補カテゴリ出力手段と
   を更に備えることを特徴とする請求項１に記載の情報処理装置。
10. 前記候補カテゴリ出力手段により出力された候補カテゴリの中から、格納先のカテゴリをユーザに選択させるカテゴリ選択手段と、
    前記カテゴリ選択手段で選択されたカテゴリに前記ベクトルデータに変換された文書画像を格納する格納手段と
    を更に備えることを特徴とする請求項９に記載の情報処理装置。
11. 前記候補カテゴリ出力手段により出力された第１位の候補カテゴリに対し、前記ベクトルデータに変換された文書画像を自動的に格納する格納手段を更に備えることを特徴とする請求項９に記載の情報処理装置。
12. 前記ベクトルデータ変換手段は、前記総合類似度算出手段の算出結果に基づいて前記文書画像に対応するオリジナルデータファイルが見つからなかった場合に、前記文書画像をベクトルデータに変換することを特徴とする請求項９に記載の情報処理装置。
13. 前記ベクトルデータ変換手段は、前記文書画像に対応するオリジナルデータファイルがイメージファイルであった場合に、前記文書画像をベクトルデータに変換することを特徴とする請求項９に記載の情報処理装置。
14. 更に、前記入力される文書画像と比較対象の画像データとのレイアウト類似度を算出し、当該算出されたレイアウト類似度が所定の閾値以上の前記比較対象画像データについては前記類似度算出手段及び前記総合類似度算出手段による処理を実行するよう制御し、当該算出されたレイアウト類似度が所定の閾値より低い前記比較対象画像データについては前記類似度算出手段及び前記総合類似度算出手段による処理を実行しないように制御する、レイアウト類似度算出手段を有することを特徴とする請求項１に記載の情報処理装置。
15. 更に、前記分割手段で分割された複数の領域のうちから類似度算出に用いる領域を選択させる選択手段を有し、
    前記類似度算出手段は、前記選択手段で選択された領域に関して、前記属性に適した検索手段を用いて、類似度を算出することを特徴とする請求項１に記載の情報処理装置。
16. 入力される文書画像に類似する画像データを検索する情報処理方法であって、
    前記入力される文書画像を属性ごとに複数の領域に分割する分割工程と、
    前記分割された領域ごとに、前記属性に適した検索工程を用いて、類似度を算出する類似度算出工程と、
    前記分割された領域ごとに算出された類似度に重み付けをした総合類似度を算出する総合類似度算出工程と
    を備えることを特徴とする情報処理方法。
17. 前記検索工程は、
    前記分割工程により分割された領域のうち、テキスト領域から文字認識により抽出されたテキストデータに基づいて全文検索する工程と、
    前記テキストデータに基づいて概念検索する工程と、
    前記分割工程により分割された領域のうち、イメージ領域から抽出された特徴量に基づいてイメージ検索する工程と
    を備えることを特徴とする請求項１６に記載の情報処理方法。
18. 前記総合類似度算出工程は、
    前記入力される文書画像における前記分割された各領域の占有率に基づいて、重み付けを行うことを特徴とする請求項１６に記載の情報処理方法。
19. 前記画像データごとの著作権ロイヤリティに関する情報を格納したサーバと通信する通信工程を更に備え、
    前記画像データについて、前記著作権ロイヤリティに関する情報を取得可能であることを特徴とする請求項１６に記載の情報処理方法。
20. 前記著作権ロイヤリティに関する情報があった場合には、前記サーバからの許可を受けない限り、前記画像データについての処理が行われないことを特徴とする請求項１９に記載の情報処理方法。
21. ユーザに対して、前記著作権ロイヤリティに基づく課金処理を実行する課金工程を更に備えることを特徴とする請求項１９に記載の情報処理方法。
22. 前記入力される文書画像をベクトルデータに変換する際の料金をユーザに対して課金する課金工程と、
    前記課金工程により課金された料金の支払い手続きが行われた場合に、前記入力される文書画像をベクトルデータに変換するベクトルデータ変換工程と、
    前記ベクトルデータに変換された文書画像を格納する格納工程と
    を更に有することを特徴とする請求項１６に記載の情報処理方法。
23. 前記課金工程は、前記ベクトルデータに変換された文書画像の著作権ロイヤリティを管理する際の料金を課金することを特徴とする請求項２２に記載の情報処理方法。
24. 前記入力される文書画像をベクトルデータに変換するベクトルデータ変換工程と、
    前記ベクトルデータに変換された文書画像の特徴に基づいて、格納先の候補カテゴリを出力する候補カテゴリ出力工程と
    を更に備えることを特徴とする請求項１６に記載の情報処理方法。
25. 前記候補カテゴリ出力工程により出力された候補カテゴリの中から、格納先のカテゴリをユーザに選択させるカテゴリ選択工程と、
    前記カテゴリ選択工程で選択されたカテゴリに前記ベクトルデータに変換された文書画像を格納する格納工程と
    を更に備えることを特徴とする請求項２４に記載の情報処理方法。
26. 前記候補カテゴリ出力工程により出力された第１位の候補カテゴリに対し、前記ベクトルデータに変換された文書画像を自動的に格納する格納工程を更に備えることを特徴とする請求項２４に記載の情報処理方法。
27. 前記ベクトルデータ変換工程は、前記総合類似度算出工程の算出結果に基づいて前記文書画像に対応するオリジナルデータファイルが見つからなかった場合に、前記文書画像をベクトルデータに変換することを特徴とする請求項２４に記載の情報処理方法。
28. 前記ベクトルデータ変換工程は、前記文書画像に対応するオリジナルデータファイルがイメージファイルであった場合に、前記文書画像をベクトルデータに変換することを特徴とする請求項２４に記載の情報処理方法。
29. 更に、前記入力される文書画像と比較対象の画像データとのレイアウト類似度を算出し、当該算出されたレイアウト類似度が所定の閾値以上の前記比較対象画像データについては前記類似度算出工程及び前記総合類似度算出工程による処理を実行するよう制御し、当該算出されたレイアウト類似度が所定の閾値より低い前記比較対象画像データについては前記類似度算出工程及び前記総合類似度算出工程による処理を実行しないように制御する、レイアウト類似度算出工程を有することを特徴とする請求項１６に記載の情報処理方法。
30. 更に、前記分割工程で分割された複数の領域のうちから類似度算出に用いる領域を選択させる選択工程を有し、
    前記類似度算出工程は、前記選択工程で選択された領域に関して、前記属性に適した検索工程を用いて、類似度を算出することを特徴とする請求項１６に記載の情報処理方法。
31. 請求項１６乃至３０のいずれか１つに記載の情報処理方法をコンピュータによって実現させるための制御プログラムを格納した記憶媒体。
32. 請求項１６乃至３０のいずれか１つに記載の情報処理方法をコンピュータによって実現させるための制御プログラム。

Images