JP4920928B2 - 画像処理装置及びその制御方法、プログラム - Google Patents

Description

本発明は、複写機などの画像入力装置で、読み取った紙文書から対応するオリジナルの電子データを検索し、オリジナルの電子データを印刷、配信、蓄積、編集などに活用することを可能とする画像処理装置及びその制御方法、プログラムに関するものである。

近年、デジタル化が進み、文書を電子ファイルとしてデータベースに格納されるようになっている。データベース上の電子ファイルを印刷された文書のスキャン画像から手軽に検索する要望が高まっている。これを実現する方法として、文書画像に含まれるテキスト領域や画像領域の位置関係を示すレイアウトを解析し、レイアウト同士を比較する方法が提案されている。特許文献１では、文書画像を領域分割し、その領域の数を絞込条件として領域数の一致する文書の特徴を比較する方法が開示されている。
特開平１１−３２８４１７号公報

しかしながら、印刷物には、印刷マージンが存在することが一般的であり、電子ファイル上の１ページの文書領域と比べると、印刷物では、文書領域の周りにマージン分の余白が生じている。また、電子ファイル作成時に設定した印刷用紙サイズと異なる用紙サイズに印刷した場合も、電子ファイルの文書領域全体を変形させることなく印刷するためには、縮小を行う必要があり、この場合も文書領域の周りに余白ができてしまう。

このことについて、図７を用いてより詳細に説明する。

７０１はワープロソフト等で作成された電子ファイル文書をラスタライズしたオリジナル画像である。オリジナル画像には、画像または文字領域７０２、７０３が含まれている。

これに対し、７０６は、電子ファイル文書のオリジナル画像７０１を印刷し、スキャナで読み込んだスキャン画像である。スキャン画像７０６では、印刷マージン等による余白（７１５、７１６）が存在するために、文書領域７０７がオリジナル画像７０１に対して少し縮小されてしまう。

これに伴って、オリジナル画像７０１中に含まれる画像または文字領域７０２、７０３は、スキャン画像７０６ではそれぞれ領域７０８、７０９に対応しているが、少し縮小される。なおかつ、それぞれの位置は、スキャン画像７０６の重心７１４方向にずれてしまう。

７０４は画像または文字領域７０２の重心である。７０５は画像または文字領域７０３の重心である。それぞれの重心と同じ位置をスキャン画像７０６中にプロットすると、これは位置７１２、７１３となる。これに対し、画像または文字領域７０８の重心７１０、画像または文字領域７０９の重心７１１は、重心７１４の方向にずれている。

このように、オリジナル画像７０１とスキャン画像７０６のレイアウトにはずれが生じているために、これらの両者でレイアウト比較を実行しても、高い類似度が得られなくなる。もし、これを許容するように、条件を緩めて曖昧に比較すると、オリジナルでない画像も、候補としてヒットするようになってしまう。

特許文献１によれば、上述のような拡大縮小等の影響をさけるために、画像全体の大きさを用いて、各領域の正規化を行っている。

しかしながら、前述のようにスキャン画像では文書領域のまわりに、オリジナル画像にはない印刷マージン等による余白領域があるために、画像全体の大きさを用いて正規化を行っても、各領域の位置のずれは吸収できない。よって、このような場合に、レイアウト比較を実行しても、やはり高い精度は得られない。

本発明は上記の課題に鑑みてなされたものであり、比較対象画像に印刷マージン等による余白領域が存在する場合でも、高精度なレイアウト比較を可能とする画像処理装置及びその制御方法、プログラムを提供することを目的とする。

上記の目的を達成するための本発明による画像処理装置は以下の構成を備える。即ち、
画像の類似比較処理を実行する画像処理装置であって、
比較先画像を記憶する記憶手段と、
印刷物を電子的に読み取り、その印刷物の電子データを比較元画像として入力する入力手段と、
前記比較元画像から、複数の部分領域を抽出する抽出手段と、
前記比較元画像の重心と前記抽出手段により前記比較元画像から抽出した第１の部分領域の重心とを結ぶ第１の直線の長さと、前記比較元画像の重心と前記抽出手段により前記比較元画像から抽出した第２の部分領域の重心とを結ぶ第２の直線の長さとの比に基づいて前記記憶手段から前記比較元画像に対応する比較先画像を検索する検索手段と
を備える。

また、好ましくは、前記検索手段が、さらに、前記第１の直線と前記第２の直線それぞれと、基準線とがなす角である第１の角度と第２の角度に基づいて前記比較元画像に対応する前記比較先画像を検索する。

また、好ましくは、前記抽出手段により前記比較元画像から抽出される部分領域が１つである場合には、前記検索手段が、さらに、前記比較元画像の重心と前記部分領域の重心とを結ぶ直線の長さに基づいて前記比較元画像に対応する前記比較先画像を検索する。

上記の目的を達成するための本発明による画像処理装置の制御方法は以下の構成を備える。即ち、
比較先画像を記憶する記憶手段と、入力手段と、抽出手段と、検索手段とを備える画像処理装置に類似比較処理を実行させる制御方法であって、
前記入力手段が、印刷物を電子的に読み取り、その印刷物の電子データを比較元画像として入力する入力工程と、
前記抽出手段が、前記比較元画像から、複数の部分領域を抽出する抽出工程と、
前記検索手段が、前記比較元画像の重心と前記抽出工程により前記比較元画像から抽出した第１の部分領域の重心とを結ぶ第１の直線の長さと、前記比較元画像の重心と前記抽出工程により前記比較元画像から抽出した第２の部分領域の重心とを結ぶ第２の直線の長さとの比に基づいて前記記憶手段から前記比較元画像に対応する比較先画像を検索する検索工程と
を備える。

上記の目的を達成するための本発明によるプログラムは以下の構成を備える。即ち、
コンピュータに、
印刷物を電子的に読み取り、その印刷物の電子データを比較元画像として入力する入力工程と、
前記比較元画像から、複数の部分領域を抽出する抽出工程と、
前記比較元画像の重心と前記抽出工程により前記比較元画像から抽出した第１の部分領域の重心とを結ぶ第１の直線の長さと、前記比較元画像の重心と前記抽出工程により前記比較元画像から抽出した第２の部分領域の重心とを結ぶ第２の直線の長さとの比に基づいて比較先画像を記憶する記憶手段から前記比較元画像に対応する比較先画像を検索する検索工程と
をコンピュータに実行させることを特徴とする。

以上説明したように、本発明によれば、比較対象画像に印刷マージン等による余白領域が存在する場合でも、高精度なレイアウト比較を可能とする画像処理装置及びその制御方法、プログラムを提供できる。

以下、本発明の実施の形態について図面を用いて詳細に説明する。

図１は本発明の実施形態の画像処理システムの構成を示すブロック図である。

この画像処理システムは、オフィス１０とオフィス２０とをインターネット等のネットワーク１０４で接続された環境で実現する。

オフィス１０内に構築されたＬＡＮ１０７には、複数種類の機能を実現する複合機であるＭＦＰ（Multi Function Peripheral）１００が接続されている。また、このＬＡＮ１０７には、ＭＦＰ１００を制御するマネージメントＰＣ１０１、クライアントＰＣ１０２、文書管理サーバ１０６及びそのデータベース１０５、及びプロキシサーバ１０３が接続されている。

オフィス１０内のＬＡＮ１０７及びオフィス２０内のＬＡＮ１０８は、双方のオフィスのプロキシサーバ１０３を介してネットワーク１０４に接続されている。

ＭＦＰ１００は、特に、紙文書を電子的に読み取る画像読取部と、画像読取部から得られる画像信号に対する画像処理を実行する画像処理部を有し、この画像信号はＬＡＮ１０９を介してマネージメントＰＣ１０１に送信することができる。

マネージメントＰＣ１０１は、通常のＰＣであり、内部に画像記憶部、画像処理部、表示部、入力部等の各種構成要素を有するが、その構成要素の一部はＭＦＰ１００に一体化して構成されている。

尚、ネットワーク１０４は、典型的にはインターネットやＬＡＮやＷＡＮや電話回線、専用デジタル回線、ＡＴＭやフレームリレー回線、通信衛星回線、ケーブルテレビ回線、データ放送用無線回線等のいずれかである。または、ネットワーク１０４は、これらの組み合わせにより実現されるいわゆる通信ネットワークであり、データの送受信が可能であれば良い。

また、マネージメントＰＣ１０１、クライアントＰＣ１０２、文書管理サーバ等の各種端末はそれぞれ、汎用コンピュータに搭載される標準的な構成要素を有している。この標準的な構成要素には、例えば、ＣＰＵ、ＲＡＭ、ＲＯＭ、ハードディスク、外部記憶装置、ネットワークインタフェース、ディスプレイ、キーボード、マウス等がある。

次に、ＭＦＰ１００の詳細構成について、図２を用いて説明する。

図２は本発明の実施形態のＭＦＰの詳細構成を示すブロック図である。

図２において、原稿台とオートドキュメントフィーダ（ＡＤＦ）を含む画像読取部１１０は、束状のあるいは１枚の原稿画像を光源（不図示）で照射し、原稿反射像をレンズで固体撮像素子上に結像する。これにより、画像読取部１１０は、その固体撮像素子からラスタ状の画像読取信号を所定密度（例えば、６００ＤＰＩ）のラスタ画像として得る。

また、ＭＦＰ１００は、画像読取信号に対応する画像を印刷部１１２で記録媒体に印刷する複写機能を有する。特に、原稿画像を１つ複写する場合には、この画像読取信号をデータ処理部１１５で画像処理して記録信号を生成し、これを印刷部１１２によって記録媒体上に印刷させる。一方、原稿画像を複数複写する場合には、記憶部１１１に一旦一つ分の記録信号を記憶保持させた後、これを印刷部１１２に順次出力して記録媒体上に印刷させる。

一方、クライアントＰＣ１０２から出力される記録信号は、ＬＡＮ１０７及びネットワークＩ／Ｆ１１４を介してデータ処理部１１５が受信し、データ処理部１１５は、その記録信号を印刷部１１２で記録可能なラスターデータに変換する。その後、印刷部１１２によってそのラスターデータを記録媒体上に印刷させる。

ＭＦＰ１００への操作者の指示は、ＭＦＰ１００に装備されたキー操作部とマネージメントＰＣ１０１に接続されたキーボード及びマウスからなる入力部１１３から行われ、これら一連の動作はデータ処理部１１５内の制御部（不図示）で制御される。また、操作入力の状態表示及び処理中の画像データの表示は、表示部１１６で行われる。

記憶部１１１は、マネージメントＰＣ１０１からも制御され、ＭＦＰ１００とマネージメントＰＣ１０１とのデータの送受信及び制御は、ネットワークＩ／Ｆ１１７及びＬＡＮ１０９を介して行われる。

尚、ＭＦＰ１００では、後述する各種処理を実行するための各種操作・表示をユーザに提供するユーザインタフェースを、表示部１１６及び入力部１１３によって実現している。

本発明による画像処理システムで実行する処理としては、大きく分けて画像データを登録する登録処理と、所望の画像データを検索する検索処理の２つがある。

尚、実施形態では、画像処理システム全体の処理効率を向上するために、以下に説明する各種処理を、画像処理システムを構成する各種端末に分散させて実行するようにしているが、１つの端末（例えば、ＭＦＰ１００）上で実行するようにしても構わない。

まず、登録処理について説明する。

［登録処理の概要］
登録対象の画像データの登録方法としては、紙文書をスキャン入力して生成した画像データを登録する場合と、文書作成アプリケーション等で作成された電子文書をラスタ画像に展開した画像データを登録する場合がある。

そこで、オリジナル文書を登録する登録処理の概要について、図３Ａを用いて説明する。

図３Ａは本発明の実施形態の登録処理を示すフローチャートである。

尚、この処理は、画像読取部１１０のＡＤＦに、登録対象の紙文書がセットされ、入力部１１３の登録ボタンが操作された時点で開始される。また、登録対象の紙文書は、１枚でも複数枚でも可能であるが、複数枚の場合は、その紙文書から得られる画像データ群（ページ画像群）を１つのファイルとして管理することになる。

まず、ステップＳ３０１０で、登録対象のオリジナル文書を入力する。また、この入力に伴って、オリジナル文書を管理するための各種情報を生成して記憶部１１１に記憶する。

尚、オリジナル文書を登録する際のオリジナル文書の入力方法には、２種類存在する。

オリジナル文書が電子データである場合は、クライアントＰＣ１０２内のハードディスク内、あるいはオフィス１０や２０内の文書管理サーバ１０６内のデータベース１０５内、あるいはＭＦＰ１００の記憶部１１１のいずれかに格納されている。そして、これらの記憶元から登録対象のオリジナル文書の電子データを読み出してネットワークＩ／Ｆ１１４を介してデータ処理部１１５に入力し、データ処理部１１５でその電子データをラスタ画像に変換する。

一方、オリジナル文書が紙文書である場合は、ＭＦＰ１００の画像読取部１１０で、その紙文書をラスタ状に走査しラスタ画像を得る。

このように、実施形態では、登録対象のオリジナル文書に、電子データあるいは紙文書のどちらも扱うことが可能である。その後、ラスタ画像をデータ処理部１１５で前処理を施し記憶部１１１に保存する（尚、これ以降、紙文書のときはラスタ画像がオリジナル文書の電子データとなる）。このとき、登録対象のオリジナル文書毎に固有の文書ＩＤを発行し、オリジナル文書の電子データのアドレスと対応付けて記憶部１１１にアドレス情報として保存する。

ここで、アドレスとは、ＵＲＬや、サーバ名とディレクトリ、ファイル名からなる電子データの格納先を示すフルパス情報である。また、アドレス情報の一例を示すと、図４のようになる。また、アドレス情報の格納先は、データベース１０５や記憶部１１１等が挙げられる。

尚、オリジナル文書が紙文書である場合の電子データのファイル形式は、例えば、ＢＭＰ形式とするが、これに限定されるものではなく、色情報を保存しておくことが可能なファイル形式（例えば、ＧＩＦ、ＪＰＥＧ）であればどのようなものでも良い。

一方、オリジナル文書が電子データである場合のその電子データのファイル形式は、その電子データを作成したアプリケーションで作成されたファイル形式となる。このファイル形式には、例えば、米マイクロソフト社のＭＳ−Ｗｏｒｄ（＊．ｄｏｃ）や、米アドビシステム社のアクロバット（＊．ｐｄｆ）等）がある。

次に、ステップＳ３０２０で、ブロックセレクション（ＢＳ）処理を行う。この処理は、マネージメントＰＣ１０１の制御によって実行する。

具体的には、マネージメントＰＣ１０１のＣＰＵは、記憶部１１１に格納された処理対象のオリジナル文書のラスタ画像を、まず、文字／線画部分とハーフトーン画像部分とに領域分割する。次に、文字／線画部分は更に段落で塊として纏まっているブロック毎に、あるいは線で構成された表、図形毎に分割する。

一方、ハーフトーン画像部分は、矩形に分離されたブロックの画像部分、背景部分等のブロックに分割する。

そして、処理対象のページのページ番号、そのページ中の各ブロックを特定するブロックＩＤを発行する。これを、各ブロックの属性（画像、文字等）、サイズやオリジナル文書内の位置（ページ内の座標）と各ブロックを関連付けて記憶部１１１に、レイアウト情報、ブロック情報として記憶する。このレイアウト情報及びブロック情報の一例を示すと、図５及び図６のようになる。これらの詳細については後述する。

次に、ステップＳ３０３０で、データ処理部１１５において、各ブロックの種別に応じて、各ブロックの特徴量情報を抽出する特徴量情報抽出処理を行う。

特に、文字ブロックについては、ＯＣＲ処理を施して文字コードを抽出し、これを文字特徴量とする。また、画像ブロックについては、輝度や色に関する画像特徴量を抽出する。このとき、それぞれのブロックに対応する特徴量をオリジナル文書単位にまとめ、文書ＩＤ、ページ番号、ブロックＩＤに関連付けて記憶部１１１に特徴量情報として記憶する。

［検索処理の概要］
オリジナル文書の電子データを検索する検索処理の概要について、図３Ｂを用いて説明する。

図３Ｂは本発明の実施形態の検索処理を示すフローチャートである。

まず、ステップＳ３１１０で、検索条件となる紙文書の入力を行う。この処理は、ステップＳ３０１０の処理と同様であるので説明は省略する。但し、この処理によって生成するラスタ画像は一時保存するだけであり、その紙文書に対するアドレス情報を記憶部１１１に保存しておく必要はない。

次に、ステップＳ３１２０で、ラスタ画像中の画像領域に対して、ブロックセレクション（ＢＳ）処理を行う。

尚、このブロックセレクション処理自体は、ステップＳ３０２０のブロックセレクション処理と同様であるので説明は省略する。但し、このブロックセレクション処理によって生成する各ブロックの属性、サイズ、位置は一時保存するだけであり、その紙文書に対するブロック情報は記憶部１１１に保存しておく必要はない。

次に、ステップＳ３１３０で、各ブロックの特徴量情報を抽出する特徴量情報抽出処理を行う。この処理は、ステップＳ３０３０の処理と同様であるので説明は省略する。但し、この処理によって生成する各ブロックの特徴量は一時保存するだけであり、その紙文書に対する特徴量情報を記憶部１１１に保存しておく必要はない。

次に、ステップＳ３１３５で、入力した紙文書中の画像（比較元画像）と、電子データ（比較先画像）間で、対応するレイアウト情報及びブロック情報に基づくレイアウト比較処理を実行する。そして、このレイアウト比較処理結果から、検索結果とするオリジナル文書候補の絞込みを行う。

次に、ステップＳ３１４０で、入力した紙文書中の画像（比較元画像）と、電子データ（比較先画像）間で、対応する特徴量情報を比較して、その類似度を算出し、その類似度に基づいて、検索結果とするオリジナル文書候補を決定する。この電子データは、クライアントＰＣ１０２内のハードディスク内、あるいはオフィス１０や２０内の文書管理サーバ１０６内のデータベース１０５内、あるいはＭＦＰ１００の記憶部１１１のいずれかに格納されている。

次に、ステップＳ３１５０で、ユーザ確認モードであるか否かを判定する。

尚、ユーザ確認モードとは、比較処理によって得られたオリジナル文書候補の中から、ユーザが所望するオリジナル文書が検索されたか否かを確認するモードである。具体的には、オリジナル文書候補群を含むユーザインタフェースを表示部１１６・入力部１１３で実現する。そして、このユーザインタフェースによって、オリジナル文書候補群の内容をユーザが確認することができるモードである。また、このユーザインタフェースの構成の詳細については後述する。

ステップＳ３１５０において、ユーザ確認モードでない場合（ステップＳ３１５０でＮＯ）、比較処理で最も類似していると判断された文書を自動的に選択して、ステップＳ３１７０に進む。一方、ユーザ確認モードである場合（ステップＳ３１５０でＹＥＳ）、ステップＳ３１６０に進み、オリジナル文書候補の表示／選択を行う。特に、この選択は、オリジナル文書候補のサムネイル画像を表示部１１６に表示し、複数のオリジナル文書候補の中からユーザが所望のオリジナル文書候補のサムネイル画像を選択させることで実現する。

次に、ステップＳ３１７０で、選択されたオリジナル文書に対し、表示部１０６・入力部１１４で実現されるユーザインタフェースを介するユーザからの操作に基いて、そのオリジナル文書の印刷、配信、蓄積、編集のいずれかの処理を実行する。

以上説明したように、処理対象の文書に、ブロックセレクション処理、特徴量情報抽出処理、レイアウト比較処理を行い、これらの処理結果を用いて、各ページ毎に順に類似画像検索を実行する。これにより、その文書に対応する電子データを検索し、活用することができる。

［各処理の詳細］
以下、各処理の詳細について説明する。

まず、ステップＳ３０２０及びステップＳ３１２０のブロックセレクション処理の詳細について説明する。

ブロックセレクション処理とは、例えば、図９（ａ）のラスタ画像を、図９（ｂ）のように、意味のあるブロック毎の塊として認識する。そして、そのブロック各々の属性（文字（ＴＥＸＴ）／図画（ＰＩＣＴＵＲＥ）／写真（ＰＨＯＴＯ）／線（ＬＩＮＥ）／表（ＴＡＢＬＥ）等）を判定し、異なる属性を持つブロックに分割する処理である。

ブロックセレクション処理の実施形態を以下に説明する。

まず、入力画像を白黒に二値化し、輪郭線追跡を行って黒画素輪郭で囲まれる画素の塊を抽出する。面積の大きい黒画素の塊については、内部にある白画素に対しても輪郭線追跡を行って白画素の塊を抽出、さらに一定面積以上の白画素の塊の内部からは再帰的に黒画素の塊を抽出する。

このようにして得られた黒画素の塊を、大きさ及び形状で分類し、異なる属性を持つブロックへ分類していく。例えば、縦横比が１に近く、大きさが一定の範囲のブロックは文字相当の画素塊とし、さらに近接する文字が整列良くグループ化可能な部分を文字ブロック、扁平な画素塊を線ブロックとする。また、一定大きさ以上でかつ矩形の白画素塊を整列よく内包する黒画素塊の占める範囲を表ブロック、不定形の画素塊が散在している領域を写真ブロック、それ以外の任意形状の画素塊を図画ブロックとする。

そして、ブロックセレクション処理で分割した文字領域（文字ブロック）と画像領域（写真ブロック、図画ブロック等）のページ内の構成を示す情報を、レイアウト情報として記憶する。レイアウト情報は、位置を表す座標系や、データのまとめ方などによって、複数の記述形式が複数存在する。

望ましい記述形式は、図３ＢのステップＳ３１３５のレイアウト比較処理と密接に関係がある。そこで、まず、本実施形態のレイアウト比較処理の要点を説明する。

図７を用いて「発明が解決しようとする課題」で説明したように、印刷マージン等により、余白が存在する印刷物のスキャン画像である場合は、文書中のブロック（画像または文字領域）が、そのオリジナル画像に対して重心方向にずれる。

これに対し、ブロック同士の位置関係は変わらないので、重心方向以外の方向（特に、重心方向に対して垂直な方向）には、全くずれが生じない。このことを利用して、ブロックの配置の比較をする際には、重心方向の位置ずれに対してのみ緩い条件でレイアウト比較を実行すればよい。

また、位置ずれ量に比例してブロックが、縮小されているので、この条件を用いることで、より精度の高い比較を行うことができる。

以上の点を考慮して、本実施形態では、図８に示すように、文書中のブロックの位置を表現する。

図８に示す座標系は、極座標である。８０１は文書領域であり、８０２及び８０３はブロックである。ブロック８０２及び８０３の重心が、それぞれ８０４及び８０５である。そして、ブロック８０２及び８０３の位置はそれぞれ、重心８０４及び８０５と原点（文書領域８０１の重心）８１１を結ぶ直線の角度８０６及び８０７と、距離８０９及び８１０で表現する。

本座標系において、文書領域８０１の重心方向の位置ずれに対してのみ緩い条件でレイアウト比較を実行するとは、以下のようになる。

まず、重心方向以外の方向に対してずれがない条件については、比較元画像と比較先画像中のブロックの重心の角度（ブロック角度）が同じであれば、原点（文書領域の重心）から２つのブロックの重心が同一直線上にあることになる。そのため、このような場合は、この条件を満足することができる。

一方、文書領域の重心方向に対するずれについての緩い条件については、比較元画像と比較先画像に含まれる全てのブロックの原点からの距離（以下、ブロック距離）の差を、所定値の範囲内でみることで、この条件を満足することができる。

ここで、通常は、文書中には複数のブロックが含まれるので、文書領域中のブロックの重心方向に対するずれについての緩い条件については、次のような条件であってもよい。

即ち、各ブロック距離の比（以下、ブロック距離比）という相対値を使用すれば、位置関係は保持しつつ、絶対値に依存しないので、距離の差の所定値という条件は必要なくなる。

例えば、比較元画像中にブロックが２つ存在し、ブロック距離がそれぞれ５０、１００であるときに、比較先画像中の２つのブロックのブロック距離がそれぞれ６０、１２０であるときは、どちらもブロック距離比が１：２となる。このような場合、比較元画像と比較先画像中のブロックは類似しているものとして取り扱う。但し、ブロック距離比をとる順序が、比較元画像と比較先画像で異なっていてはいけないので、基準線に最も近いブロックから左回りに、というように規定を設けておくようにする。

尚、文書中にブロックがひとつしか含まれないような特殊なケースの場合は、ブロック距離比を取ることができないので、原点から距離そのものを比較し、差が所定値の範囲内であるか否かを判定する。そして、その判定結果に基づいて、類似しているか否かを判定する。

また、ブロックの重心と原点が一致する場合は、ブロックの位置ずれは起こり得ないので、対象外となる。

以上のことを利用して、予め文書を登録する際に、文書中の画像または文字領域の数、ブロック角度、ブロック距離比が一致する文書毎に、それに関する各種情報をレイアウト情報としてひとまとめにして記憶部１１１に記憶しておく。比較の際には、このレイアウト情報を参照して、比較元画像中の、画像または文字領域の数、ブロック角度、ブロック距離比が一致する文書のみを読み出す。そして、その読み出した文書を比較対象とすることができるようになるので、記憶部１１１の使用効率や、比較速度を向上することができる。

ここで、図５で示したレイアウト情報の詳細について説明する。

図５に示すレイアウト情報では、画像または文字領域（ブロック）の数、ブロック角度、ブロック距離比が一致する文書毎にまとめて管理される。そのため、これらの情報を、比較時のキーとする。即ち、１文書（１ページ）中に含まれるブロック数、各ブロックのブロック角度、ブロック距離比をキーとし、これらが全て一致する文書ＩＤ、ページ番号をひとまとめ（文書ＩＤ，ページ番号）に記述する。

尚、文書中にブロックがひとつしか存在しないような例外的な場合は、ブロック距離比は記述できないので、ブロック距離そのものを記述しておく。また、ブロックの重心と原点が一致する場合は、ブロック角度、ブロック距離比はともに存在しなくなるので、このような特殊なブロックは、アスペクト比と大きさ、及び、種別だけが手がかりとなる。このような場合は、ブロック角度、ブロック距離比をともに０と記述しておき、比較するときに、これらの値に対応するブロックのみ特別な扱いをする。尚、この扱いの詳細については、後述する。

次に、図６で示したブロック情報の詳細について説明する。

図６に示すブロック情報において、文書ＩＤは、各文書を区別するために付与したＩＤである。ページ番号は、各文書中の何ページ目かを示す番号である。ブロックＩＤは、それぞれのブロックを区別するためのもので、１ページ毎に付与される。ブロック単位距離は、ブロック距離比が１のときの実サイズである。アスペクト比は、ブロックの（領域が任意形状の場合はその外接矩形の）アスペクト比である。大きさは、ブロックの大きさであるが、アスペクト比がわかっているので、面積である必要はなく、縦か横のどちらか固定の方向の長さを記述すればよい。種別は、文字／図画／写真／線／表等の属性の種別である。特徴量は、種別に応じた特徴量（文字特徴量（例えば、文字コード）、画像特徴量（例えば、色））が格納される。尚、この詳細については後述する。

次に、ステップＳ３０３０及びステップＳ３１３０の特徴量情報抽出処理の詳細について説明する。

尚、特徴量情報抽出処理は、画像ブロック及び文字ブロックで処理方法が異なるので、それぞれ別に説明する。

ここで、画像ブロックは、図９（ｂ）の例の場合、写真ブロックと図画ブロックとするが、用途や目的に応じて、画像ブロックを写真ブロック及び図画ブロックの少なくとも一方にすることも可能である。

まず、画像ブロックに対する特徴量情報抽出処理について説明する。

尚、１文書に複数の画像ブロックが存在する場合は、その総数分、以下の処理を繰り返す。

実施形態では、一例として、画像の色に関する色特徴量を抽出する色特徴量情報抽出処理を行う。

この色特徴量情報抽出処理の詳細について、図１０を用いて説明する。

図１０は本発明の実施形態の色特徴量情報抽出処理の詳細を示すフローチャートである。

尚、この処理では、処理対象画像を複数のメッシュブロックに分割した各メッシュブロックの色ヒストグラム中の最頻色を有する色と各メッシュブロックの位置情報を対応づけた情報を色特徴情報として抽出する。

まず、ステップＳ１０２０で、画像を複数のメッシュブロックに分割する。実施形態では、図１１に示すように、画像を縦横をそれぞれ９メッシュブロックに分割する。特に、実施形態では、表記の都合上９×９＝８１メッシュブロックに分割している例を示しているが、実際には、１５×１５＝２２５メッシュブロック程度であることが好ましい。

次に、ステップＳ１０３０で、処理対象となる着目メッシュブロックを左上端のブロックに設定する。尚、この着目メッシュブロックの設定は、例えば、図１２（尚、３×３の例で示してある）に示すように、予め処理順序が決定された順序決定テーブルを参照して行う。

ステップＳ１０４０で、未処理の着目メッシュブロックの有無を判定する。未処理の着目メッシュブロックがない場合（ステップＳ１０４０でＮＯ）、処理を終了する。一方、未処理の着目メッシュブロックがある場合（ステップＳ１０４０でＹＥＳ）、ステップＳ１０５０に進む。

ステップＳ１０５０で、着目メッシュブロックの全画素の各濃度値を、図１３の色空間を分割して作った部分空間である色ビンへ射影し、色ビンに対する色ヒストグラムを生成する。

尚、実施形態では、図１３に示すように、ＲＧＢ色空間を３×３×３＝２７に分割した色ビンへ着目メッシュブロックの全画素の濃度値を射影する場合を示しているが、これに限定されない。実際には、ＲＧＢ色空間を６×６×６＝２１６に分割した色ビンへ着目メッシュブロックの全画素の濃度値を射影するほうが好ましい。

ステップＳ１０６０で、色ヒストグラムの最頻色ビンの色ビンＩＤをその着目メッシュブロックの代表色と決定し、その着目メッシュブロックとその位置に対応づけて記憶部１１１に記憶する。

ステップＳ１０７０で、図１２の順序決定テーブルを参照して、次の処理対象となる着目メッシュブロックを設定する。その後、ステップＳ１０４０に戻り、未処理の着目メッシュブロックがなくなるまで、ステップＳ１０４０〜ステップＳ１０７０の処理を再帰的に繰り返す。

以上の処理によって、処理対象画像（画像ブロック）のメッシュブロック毎の代表色と各メッシュブロックの位置情報が対応付けられた情報を色特徴量情報として抽出することができる。

次に、文字ブロックに対する特徴量情報抽出処理について説明する。

尚、１文書に複数の文字ブロックが存在する場合は、その総数分、以下の処理を繰り返す。

文字ブロックに対する文字特徴量情報は、その文字ブロックにＯＣＲ（文字認識）処理を施して得られる文字コードとする。

ＯＣＲ（文字認識）処理は、文字ブロックから文字単位で切り出された文字画像に対し、パターンマッチングの一手法を用いて文字認識を行い、対応する文字コードを取得する。

この文字認識処理は、文字画像から得られる特徴を数十次元の数値列に変換した観測特徴ベクトルと、あらかじめ字種毎に求められている辞書特徴ベクトルとを比較し、最も距離の近い字種を認識結果とするものである。

特徴ベクトルの抽出には種々の公知手法があり、例えば、文字をメッシュ状に分割し、各メッシュブロック内の文字線を方向別に線素としてカウントしたメッシュ数次元ベクトルを特徴とする方法がある。

ブロックセレクション処理（ステップＳ３０２０あるいはステップＳ３１２０）で抽出された文字ブロックに対して文字認識を行う場合は、まず、該当文字ブロックに対し横書き／縦書きの判定を行う。その後、各々対応する方向に文字列を切り出し、その後、文字列から文字を切り出して文字画像を取得する。

横書き／縦書きの判定は、該当文字ブロック内で画素値に対する水平／垂直の射影を取り、水平射影の分散が大きい場合は横書き、垂直射影の分散が大きい場合は縦書きと判定する。文字列及び文字への分解は、横書きの文字ブロックである場合には、その水平方向の射影を利用して行を切り出し、さらに切り出された行に対する垂直方向の射影から、文字を切り出すことで行う。一方、縦書きの文字ブロックに対しては、水平と垂直を逆にすれば良い。

次に、ステップＳ３１３５のレイアウト比較処理の詳細について説明する。

図１４は本発明の実施形態のレイアウト比較処理の詳細を示すフローチャートである。

尚、このレイアウト比較処理は、大きく分けて次の２段階の処理からなる。まず、ブロックの文書上の配置が一致するか否かを判定した後、個々のブロックが同じ属性（アスペクト比、大きさ、種別等）を有するか否かを判定する。

ステップＳ１５０１からステップＳ１５０４において、ブロックの文書上の配置が一致するか否かを判定する。

まず、ステップＳ１５０１で、クエリとするスキャン画像のブロック数が１であるか否かを判定する。ブロック数が２以上である場合（ステップＳ１５０１でＮＯ）、ステップＳ１５０２へ進み、クエリのブロック数、ブロック角度、ブロック距離比を、レイアウト情報群の中のレイアウト情報のものと比較する。

尚、レイアウト情報は検索開始時には、記憶部１１１上に全て読み込んでおく。そして、上述したように、このレイアウト情報を用いて、ブロック数、ブロック角度、ブロック距離比を比較すれば、ブロックの重心方向の位置ずれのみを許容した比較ができる。

一方、ステップＳ１５０１において、ブロック数が１である場合（ステップＳ１５０１でＹＥＳ）、ステップＳ１５０３に進み、レイアウト情報群の中のレイアウト情報のブロック数が１であるものと、ブロック角度とブロック距離を比較する。

上述のように、文書中のブロック数が１つのときは、ブロック距離比を取ることはできない。そのため、この場合は、ブロック比にはブロック距離が記述されており、このブロック距離を用いて直接比較する。但し、重心方向のずれを許容するために、所定閾値以内の差であれば、一致するとみなす。

次に、ステップＳ１５０４で、一致するレイアウト情報の有無を判定する。一致するレイアウト情報がある場合（ステップＳ１５０４でＹＥＳ）、ブロックの配置がクエリと同じであるので、次に、ブロック同士の属性が一致するか否かを、ステップＳ１５０６からステップＳ１５１２において判定する。一方、ステップＳ１５０４において、一致するレイアウト情報がない場合（ステップＳ１５０４でＮＯ）、ステップＳ１５０５に進み、候補なしと出力して、本処理を終了する。

ステップＳ１５０６で、クエリと一致するレイアウト情報の文書ＩＤ、ページ番号群を参照して、対応するブロック情報を全て記憶部１１１からメモリ上に読み出す。次に、ステップＳ１５０７において、アスペクト比、種別が一致するか否かを判定する。アスペクト比、種別が一致しない場合（ステップＳ１５０７でＮＯ）、ステップＳ１５０８からステップＳ１５１１までの処理はスキップして、ステップＳ１５１２に進む。

一方、アスペクト比、種別が一致する場合（ステップＳ１５０７でＹＥＳ）、ステップＳ１５０８に進み、縮小率の推定を実行する。これは、ブロック情報中のブロック単位距離を参照して、クエリのブロック単位距離と比較し、差分から縮小率を推定するものである。縮小されるとブロック距離は小さくなり、逆に拡大されると大きくなる。その度合いは、クエリのブロック距離との差分に比例する。そこで、ブロック距離の差分と縮小率との関係を統計的に算出しておき、得られるブロック距離との差分から縮小率を推定することができる。

次に、ステップＳ１５０９で、ステップＳ１５０８で算出した縮小率を考慮して大きさが一致するか否かを判定する。大きさが一致しない場合（ステップＳ１５０９でＮＯ）、ステップＳ１５１０からステップＳ１５１１までの処理はスキップして、ステップＳ１５１２にする。

一方、大きさが一致する場合（ステップＳ１５０９でＹＥＳ）、ステップＳ１５１０に進み、同じ文書ＩＤ、ページＩＤに含まれる全てのブロックについて、ステップＳ１５０７からステップＳ１５０９までの処理を実行したか否かを判定する。未処理ブロックが存在する場合（ステップＳ１５１０でＮＯ）、ステップＳ１５０７からステップＳ１５０９までの処理を繰り返す。

一方、全てのブロックについて処理を実行している場合（ステップＳ１５１０でＹＥＳ）、ステップＳ１５１１に進む。ステップＳ１５１１に処理が進むときは、全てのブロックについてアスペクト比、種別、大きさが一致したということになるので、文書ＩＤ、ページＩＤを候補としてメモリ上に一時記憶する。

次に、ステップＳ１５１２で、読み込んだ全ての文書ＩＤ、ページ番号のブロックについて、ステップＳ１５０７からステップＳ１５１１までの処理を実行したか否かを判定する。未処理の文書／ページがある場合（ステップＳ１５１２でＮＯ）、ステップＳ１５０７からステップＳ１５１１までの処理を繰り返す。一方、全ての文書／ページについて処理を実行している場合（ステップＳ１５１２でＹＥＳ）、レイアウト比較処理を終了する。

尚、文書の真中にブロックがある場合（ブロックの重心と原点（文書領域の重心）が一致する場合）は、次のように例外的に処理される。この場合、上述のように、ブロック角度、ブロック距離が存在しないので、ブロックの文書上の配置の比較（ステップＳ１５０１からステップＳ１５０４）では、対象外として扱う。個々のブロックの属性の比較では、大きさは、縮小率を算定できないので、アスペクト比、種別のみで判定（ステップＳ１５０７）することになる。

次に、ステップＳ３１４０の特徴量情報比較処理の詳細について、図１５を用いて説明する。

図１５は本発明の実施形態の特徴量情報比較処理の詳細を示すフローチャートである。

尚、この特徴量情報比較処理は、レイアウト比較処理（図１４）によって絞り込んだ（検索された）検索候補の文書ＩＤ、ページ番号の全てについて行うまで処理を繰り返す。

まず、ステップＳ１６１０で、ブロック情報を参照し、処理対象となる文書ＩＤ、ページ番号に対応する電子データ中で、未比較のブロックの有無を判定する。未比較のブロックがない場合（ステップＳ１６１０でＮＯ）、ステップＳ１６７０に進む。一方、未比較のブロックがある場合（ステップＳ１６１０でＹＥＳ）、ステップＳ１６２０に進む。

次に、ステップＳ１６２０で、比較対象のブロックの属性を判定する。属性が画像ブロックである場合、ステップＳ１６４０へ進む。一方、属性が文字ブロックである場合、ステップＳ１６６０へ進む。

属性が画像ブロックである場合、ステップＳ１６４０で、色に関する特徴量情報で比較先ブロックとの類似比較である色特徴量情報比較処理を行う。この処理の詳細については後述する。これによって得られる類似度は、比較先の文書ＩＤ、ページ番号、ブロックＩＤに対応させて記憶部１１１に一時記憶する。

一方、属性が文字ブロックである場合、ステップＳ１６６０で、文字の特徴量情報での比較元ブロックと比較先ブロックとの類似比較である文字特徴量情報比較処理を行う。この処理の詳細については後述する。また、これによって得られる類似度は、比較先の文書ＩＤ、ページ番号、ブロックＩＤに対応させて記憶部１１１に一時記憶する。

次に、ステップＳ１６１０において、全てのブロックとの比較が終了した場合（ステップＳ１６１０でＮＯ）、ステップＳ１６７０に進む。

ステップＳ１６７０で、検索条件である紙文書とオリジナル文書中のページとの類似度を算出する統合処理を行う。これは、ステップＳ１６４０及びステップＳ１６６０の処理によって記憶部１１１に記憶されている、比較先文書（電子データ）のページに含まれる全てのブロックの類似度を統合するものである。この処理の詳細については後述する。

次に、ステップＳ１６４０の色特徴量情報比較処理の詳細について、図１６を用いて説明する。

図１６は本発明の実施形態の色特徴量情報比較処理の詳細を示すフローチャートである。

まず、ステップＳ１７１０で、比較元画像ブロックと比較先画像ブロックの色特徴量を色特徴量情報から読み出す。

次に、ステップＳ１７２０で、処理対象とする画像ブロック中の着目メッシュブロックを先頭に設定する。ステップＳ１７３０で、比較元画像ブロックの色特徴量と、比較対象の色特徴量の類似度を示す類似距離を０にリセットする。

ステップＳ１７４０で、未比較の着目メッシュブロックの有無を判定する。未比較の着目メッシュブロックがない場合（ステップＳ１７４０でＮＯ）、ステップＳ１７８０に進む。一方、未比較の着目メッシュブロックがある場合（ステップＳ１７４０でＹＥＳ）、ステップＳ１７５０に進む。

ステップＳ１７５０で、比較元画像と比較先画像のそれぞれの色特徴量から、それぞれの着目メッシュブロックの色ビンＩＤを取得する。

ステップＳ１７６０で、図１７の色ビンペナルティマトリックスを参照して、取得した色ビンＩＤ間に対応する着目メッシュブロックの局所的類似距離を取得し、これを直前の処理で取得している類似距離に累積加算する。そして、この類似距離は記憶部１１１に記憶する。

ここで、色ビンペナルティマトリックスについて、図１７を用いて説明する。

図１７は本発明の実施形態の色ビンペナルティマトリックスの構成を示す図である。

色ビンペナルティマトリックスは、色ビンＩＤ同士の局所的類似距離を管理するマトリックスである。図１７によれば、色ビンペナルティマトリックスは、同一色ビンＩＤではその類似距離は０となり、色ビンＩＤ同士の差が大きくなるほど、つまり、類似度が低くなるほど、その類似距離は大きくなるように構成されている。また、同一色ビンＩＤの対角位置は全て、その類似距離は０で、それを境に対象性を持っている。

このように、実施形態では、色ビンペナルティマトリックスを参照するだけで、色ビンＩＤ同士の類似距離を取得することができるので、処理の高速化を図ることができる。

そして、ステップＳ１７７０で、図１２の順序決定テーブルを参照して、次の処理対象となる着目メッシュブロックを設定する。その後、ステップＳ１７４０に戻る。

そして、ステップＳ１７４０で、未比較の着目メッシュブロックがない場合（ステップＳ１７４０でＮＯ）、ステップＳ１７８０に進み、記憶部１１１に記憶されている類似距離を類似度に変換し、ブロックＩＤと対にして出力する。

尚、類似度への変換は、例えば、類似距離が最小値のときを類似度１００％、類似距離が最大値のときを類似度０％として、その範囲内の類似距離に対する類似度は、最小値あるいは最大値に対する差に基づいて算出するようにすれば良い。

次に、ステップＳ１６６０の文字特徴量情報比較処理の詳細について説明する。

この処理では、比較元画像と比較先画像中のそれぞれの文字ブロック内の各文字コード同士の比較を行い、その一致度から類似度を算出する。

尚、検索条件とする紙文書とオリジナル文書との比較である場合、類似度は１００％となるのが理想的である。しかしながら、実際には、検索条件となる紙文書中の文字ブロックに対するＯＣＲ処理では誤認識が発生する場合があるので、オリジナル文書との比較であっても、類似度は１００％にならないことはあるが、かなり１００％に近い値となる。

次に、ステップＳ１６７０の統合処理の詳細について説明する。

この統合処理では、比較先画像であるオリジナル文書内で占めている割合の大きいブロックの類似度が、オリジナル文書全体の類似度としてより大きく反映されるような、算出されたブロック毎の類似度の統合を行う。

例えば、オリジナル文書中のブロックＢ１〜Ｂ６に対し、ブロック毎の類似率がｎ１〜ｎ６と算出されたとする。このときオリジナル文書全体の総合類似率Ｎは、以下の式で表現される。

Ｎ＝ｗ１＊ｎ１＋ｗ２＊ｎ２＋ｗ３＊ｎ３＋ ・・・ ＋ｗ６＊ｎ６ （１）
ここで、ｗ１〜Ｗ６は、各ブロックの類似率を評価する重み係数である。重み係数ｗ１〜ｗ６は、ブロックのオリジナル文書内の占有率により算出する。例えば、ブロック１〜６のサイズをＳ１〜Ｓ６とすると、ブロック１の占有率ｗ１は、
ｗ１＝Ｓ１／（Ｓ１＋Ｓ２＋・・・＋Ｓ６） （２）
として算出することができる。

このような占有率を用いた重み付け処理により、オリジナル文書内で大きな領域を占めるブロックの類似度がより、オリジナル文書全体の類似度に反映することができる。

次に、ステップＳ３１５０及びステップＳ３１６０に示す確認モード時の処理の詳細について説明する。

確認モードは、ユーザが予めユーザインタフェースから指定してもよいし、確認モードにするべきか否かを自動で判定しても良い。自動判定の方法としては、次の方法がある。例えば、検索されたオリジナル文書候補が１つの場合は、「非確認モード」としてステップＳ３１７０に進む。または、１位のオリジナル文書候補と２位以降のオリジナル文書候補のそれぞれ類似度の差が所定値以上で、１位のオリジナル文書候補が所望とするオリジナル文書である可能性が高い場合は、「非確認モード」としてステップＳ３１７０に進みむ。一方、そうでない場合は、「確認モード」とする。

「確認モード」の際は、ＭＦＰ１００の表示部１１０と入力部１１３で実現されるユーザインタフェースに、オリジナル文書候補群を類似度の高い順に表示して、その中から所望のオリジナル文書の選択をユーザに行ってもらう。

このように、確認モードの実行の有無を自動判定する場合は、ユーザによるオリジナル文書の選択操作が不要となるので、操作工数を低減することができる。

ここで、確認モード時のユーザインタフェースの一例について、図１８を用いて説明する。

図１８は本発明の実施形態のユーザインタフェースの一例を示す図である。

２３１１は表示・操作パネルである。２３１２〜２３１５は各種機能ボタンであり、それぞれの機能ボタン２３１２〜２３１５は、処理対象の画像の印刷指示、配信指示、蓄積指示及び編集指示を行うためのものである。

２３１６はスタートボタンであり、押下することで、機能ボタンで選択した機能を実行させることができる。

２３１７は表示領域であり、タッチパネルで構成され、ユーザが直接画面に触れることで選択指示が可能である。２３１８はモード表示領域であり、図１８では、確認モードであることを示している。通常は自動判定されたモードを表示する。また、これに触れることで、「確認モード」と「非確認モード」をユーザがサイクリックに指定することができる。

２３１９〜２３２８は、検索結果として出力するオリジナル文書候補のサムネイル画像群である。このサムネイル画像の表示は、２３１９から番号順に類似度の高い順で表示されている。

この例では、最大１０のサムネイル画像が表示され、オリジナル文書候補が１０以上である場合には、上位１０までのサムネイル画像が表示される。そして、このサムネイル画像群２３１９〜２３２８から、所望するサムネイル画像を選択することで、所望のオリジナル文書を選択することが可能であり、その選択したオリジナル文書に対する各種処理を実行することが可能となる。

以上説明したように、本実施形態によれば、スキャン画像とオリジナル画像間で生じる余白領域や画像または文字領域の位置ずれを考慮して、両者のレイアウト比較を実行する。これにより、印刷マージン等による余白が存在するスキャン画像から、それに対応するオリジナルの電子データを高精度に検索することができる。

＜その他の実施形態＞
上述のように、本発明のレイアウト比較処理の要点は、ブロックの配置の比較をする際には、重心方向の位置ずれに対してのみ緩い条件で比較をする点にある。この主旨に沿ったレイアウト比較方法であれば、上記実施形態で説明した方法でなくとも、もちろん構わない。例えば、以下の方法がある。

比較先画像（例えば、オリジナル画像）と比較元画像（例えば、スキャン画像）中のブロックにおいて、ブロック同士の重なり具合を面積で判定することで、レイアウト比較処理を実現する方法について説明する。

図１９はこの処理の概要を説明するための図である。

１９０１はオリジナル（電子データ）画像中のブロック、１９０２はクエリ（スキャン画像）中のブロックであり、オリジナル画像とスキャン画像を合わせて重ねた場合に、両者のブロックを重ね合わせた場合を描画している。１９０３の横線の領域は２つのブロック１９０１及び１９０２が重なっている重複領域である。この重複領域１９０３の面積が、ブロック１９０１及びブロック１９０２の両方の面積に対して、１００％で一致していれば、ブロックの位置、アスペクト比、大きさの全てが一致していることになる。

上述のように、クエリとなるスキャン画像中に印刷マージン等による空白が存在する場合は、オリジナル画像中のブロック１９０１より、スキャン画像中のブロック１９０２は、文書領域の重心（１９０４）方向にずれている。これに加えて、スキャン画像中のブロック１９０２は、オリジナル画像中のブロック１９０１に対して縮小されるため、面積が小さくなっている。

これらのことを考慮するために、まず、オリジナル画像中のブロック１９０１の重心１９０５と、スキャン画像中のブロック１９０２の重心１９０６と、文書領域の重心１９０４が同一直線上であるか否かを判定する。この判定の結果、これらの重心が同一直線上である場合には、重心１９０５と重心１９０６の距離から、上述の実施形態と同様に縮小率を推定し、この縮小率でブロック１９０１を縮小した後、ブロック１９０２と重なるように、移動させる。

そして、重複領域１９０３の面積が、ブロック１９０１、ブロック１９０２の両方の面積に対して、１００％で一致するか否かを判定する。そして、その判定の結果、一致している場合には、ブロックの種別が一致しているか否かを判定する。そして、この判定の結果に基づいて、ブロックが完全に一致しているか否かを判定することができる。

文書内の全てのブロックに対して、以上の処理を行えば、レイアウトが一致しているか否かを判定することができる。本方法の長所は、ブロックの配置と同時に、ブロックのアスペクト比、大きさが一致しているか否かも同時に判定できる点にある。

尚、以上の処理において、ブロックの位置を表現する座標として、上述の実施形態と同様に、座標系を極座標で表現していれば、同一直線上であるか否かは、角度が同じであるか否かを判定することで実現できるので、最も容易である。しかしながら、座標系は、これに限定されるものでなく、例えば、画像の左上を原点とするＸＹ座標系であっても、他の座標系であっても、本方法で必要な判定が行える座標系であれば、どのようなものでも構わない。

本実施形態では、ブロックの重心を極座標で表現したが、他の座標系で表現されていても構わない。この場合、その他の座標系から極座標系に変換してから、レイアウト比較処理を実行する。

本実施形態では、重心方向の位置ずれのみ許容するようにしているが、重心方向以外の方向よりも重心方向をより広く許容する点が本発明の主旨である。換言すれば、レイアウト比較において、画像の重心方向の位置をずらして比較する場合の位置ずれ量を他の方向の位置ずれ量よりも大きくして比較する点が本発明の主旨である。従って、例えば、印刷時の微小な位置ずれなどに対処するために、重心方向以外の方向の微小な位置ずれも許容するようにしてもよい。例えば、本実施形態の極座標であれば、ブロック角度が１度未満のような微小な角度の違いは許容するようにすればよい。

本実施形態のレイアウト比較処理は、特徴量情報比較処理に用いる検索候補を絞り込むためのプリサーチとして使用しているが、このプリサーチはより高速に、検索候補（本サーチの検索対象）を絞り込むことが要求される。そこで、十分な候補の絞込みが行えるならば、レイアウト比較を部分的に使用する方法もある。例えば、ブロックの文書上の配置の判定までをプリサーチとして利用し、ブロックの属性比較と特徴量比較を同時に本サーチとして行うようにしても構わない。

以上、実施形態例を詳述したが、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施態様をとることが可能である。具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。

尚、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラム（実施形態では図に示すフローチャートに対応したプログラム）を、システムあるいは装置に直接あるいは遠隔から供給する。そして、そのシステムあるいは装置のコンピュータが該供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。

従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であっても良い。

プログラムを供給するための記録媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスクがある。また、更に、記録媒体としては、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などがある。

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する。そして、その接続先のホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。

また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。また、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現され得る。

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現される。

本発明の実施形態の画像処理システムの構成を示すブロック図である。 本発明の実施形態のＭＦＰの詳細構成を示すブロック図である。 本発明の実施形態の登録処理を示すフローチャートである。 本発明の実施形態の検索処理を示すフローチャートである。 本発明の実施形態のアドレス情報の一例を示す図である。 本発明の実施形態のレイアウト情報の一例を示す図である。 本発明の実施形態のブロック情報の一例を示す図である。 従来技術における課題を説明するための図である。 本発明の実施形態の座標系を説明するための図である。 本発明の実施形態の画像ブロック抽出の一例を示す図である。 本発明の実施形態の色特徴量情報抽出処理の詳細を示すフローチャートである。 本発明の実施形態の画像メッシュブロック分割の一例を示す図である。 本発明の実施形態の順序決定テーブルの一例を示す図である。 本発明の実施形態の色空間上の色ビンの構成の一例を示す図である。 本発明の実施形態のレイアウト比較処理の詳細を示すフローチャートである。 本発明の実施形態の特徴量情報比較処理の詳細を示すフローチャートである。 本発明の実施形態の色特徴量情報比較処理の詳細を示すフローチャートである。 本発明の実施形態の色ビンペナルティマトリックスの構成の一例を示す図である。 本発明の実施形態のユーザインタフェースの一例を示す図である。 本発明の実施形態の他のレイアウト比較方法を説明するための図である。

符号の説明

１００ ＭＦＰ
１０１ マネージメントＰＣ
１０２ クライアントＰＣ
１０３ プロキシサーバ
１０４ ネットワーク
１０５ データベース
１０６ 文書管理サーバ
１０７ ＬＡＮ
１１０ 画像読取部
１１１ 記憶部
１１２ 印刷部
１１３ 入力部
１１４、１１７ ネットワークＩ／Ｆ
１１５ データ処理部
１１６ 表示部

Claims (5)

1. 画像の類似比較処理を実行する画像処理装置であって、
   比較先画像を記憶する記憶手段と、
   印刷物を電子的に読み取り、その印刷物の電子データを比較元画像として入力する入力手段と、
   前記比較元画像から、複数の部分領域を抽出する抽出手段と、
   前記比較元画像の重心と前記抽出手段により前記比較元画像から抽出した第１の部分領域の重心とを結ぶ第１の直線の長さと、前記比較元画像の重心と前記抽出手段により前記比較元画像から抽出した第２の部分領域の重心とを結ぶ第２の直線の長さとの比に基づいて前記記憶手段から前記比較元画像に対応する比較先画像を検索する検索手段と
   を備えることを特徴とする画像処理装置。
2. 前記検索手段が、さらに、前記第１の直線と前記第２の直線それぞれと、基準線とがなす角である第１の角度と第２の角度に基づいて前記比較元画像に対応する前記比較先画像を検索する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記抽出手段により前記比較元画像から抽出される部分領域が１つである場合には、前記検索手段が、さらに、前記比較元画像の重心と前記部分領域の重心とを結ぶ直線の長さに基づいて前記比較元画像に対応する前記比較先画像を検索する
   ことを特徴とする請求項１又は２に記載の画像処理装置。
4. 比較先画像を記憶する記憶手段と、入力手段と、抽出手段と、検索手段とを備える画像処理装置に類似比較処理を実行させる制御方法であって、
   前記入力手段が、印刷物を電子的に読み取り、その印刷物の電子データを比較元画像として入力する入力工程と、
   前記抽出手段が、前記比較元画像から、複数の部分領域を抽出する抽出工程と、
   前記検索手段が、前記比較元画像の重心と前記抽出工程により前記比較元画像から抽出した第１の部分領域の重心とを結ぶ第１の直線の長さと、前記比較元画像の重心と前記抽出工程により前記比較元画像から抽出した第２の部分領域の重心とを結ぶ第２の直線の長さとの比に基づいて前記記憶手段から前記比較元画像に対応する比較先画像を検索する検索工程と
   を備えることを特徴とする画像処理装置の制御方法。
5. コンピュータに、
   印刷物を電子的に読み取り、その印刷物の電子データを比較元画像として入力する入力工程と、
   前記比較元画像から、複数の部分領域を抽出する抽出工程と、
   前記比較元画像の重心と前記抽出工程により前記比較元画像から抽出した第１の部分領域の重心とを結ぶ第１の直線の長さと、前記比較元画像の重心と前記抽出工程により前記比較元画像から抽出した第２の部分領域の重心とを結ぶ第２の直線の長さとの比に基づいて比較先画像を記憶する記憶手段から前記比較元画像に対応する比較先画像を検索する検索工程と
   を実行させることを特徴とするプログラム。

Images