JP4823049B2 - 文書画像検索装置及びプログラム - Google Patents

Description

本発明は、文書画像検索装置及びプログラムに関し、より詳細には、予め登録されている文書画像データから、検索文書データに該当する文書画像データを検索する文書画像検索装置と、該装置の機能を実現するプログラムとに関する。

予め登録されている検索対象の文書画像データから、検索元となる検索文書データに該当する文書画像データを検索する文書画像検索装置が知られている。
このような文書画像検索装置において、従来では、例えばスキャナから読み込んだ文書画像データを検索対象として登録する際に、文書画像データから文字認識により抽出したテキストをインデックスとして作成して登録している。そして登録した文書画像データを検索する際に、まずインデックスを参照して、検索文書データと同一のテキストがあるかどうかを検索していた。

このように検索対象の文書画像データのインデックスを生成して登録しておく技術として、例えば特許文献１の全文検索装置がある。
特許文献１の全文検索装置は、高速かつ高精度な全文検索を実現するため、インデックスを参照してキーワードと一致する認識候補文字の文書を検索する一方、文字画像の形状とキーワードを構成する文字の形状特徴を照合して、検索条件に合致する文書を検索するようにしている。
特開２００１−１７５６６１号公報

しかしながら、上記特許文献１の検索装置では、文字認識による検索を行っているため、文字認識の処理負荷が大きい。すなわち、文書画像をＯＣＲ（Optical Character Recognition）により文字認識して検索用のインデックスとして登録する処理を行っているために、インデックス生成に時間がかかり、検索処理負担が大きくなるという問題が生じる。

本発明は、上述のごとき実情に鑑みてなされたもので、文書画像検索用のインデックス生成時間を短縮し、検索処理負担を大きく削減することができるようにした文書画像検索装置及び該装置の機能を実現するプログラムを提供することを目的とするものである。

上記課題を解決するために、本発明の第１の技術手段は、検索対象として保持するための文書画像データ、及び文書画像データを検索する検索元となる検索文書データを入力する入力部と、入力部が入力した文書画像データ、または検索文書データから句読点を認識し、句読点間の文字数を計測する文字数計測部と、文字数計測部によって計測された文書画像データの文字数をインデックスとして登録する登録部と、文字数計測部によって計測された検索文書データの各句読点間の文字数と同一の文字数を持つインデックスを検索する検索部と、を備えることを特徴としたものである。

第２の技術手段は、第１の技術手段において、文字数計測部が、句読点間の文字数の他に文字サイズを計測し、登録部は、文字数に加えて文字サイズを含めてインデックスとして登録することを特徴としたものである。

第３の技術手段は、第１または第２の技術手段において、文字数計測部が、検索文書データにおいて、文書の行の最終位置ではない場所で句読点がなく改行されている部分があった場合、改行点も句読点とみなして文字数の計測を行うことを特徴としたものである。

第４の技術手段は、第１ないし第３のいずれかの技術手段において、文書画像データ及び検索文書データの文書から、頁単位または一頁内に含まれる複数の領域単位からなるテキスト領域を抽出する領域抽出部を備え、文字数計測部は、領域抽出部により抽出されたテキスト領域毎に句読点間の文字数を計測し、登録部は、テキスト領域の位置情報と対応付けて文書画像の文字数をインデックスとして登録することを特徴としたものである。

第５の技術手段は、第４の技術手段において、文字数計測部が、連続する一つの文章が複数のテキスト領域に分かれている場合には、連続した一つの文章を含む複数のテキスト領域を統合し、統合したテキスト領域を一つの検索単位として文字数計測を行なうことを特徴としたものである。

第６の技術手段は、第１ないし第５のいずれかの技術手段において、検索部が、文字数計測部によって計測された検索文書データの文字数の配列のうち、少なくとも部分的に一致する文字数の配列を持つインデックスを検索することを特徴としたものである。

第７の技術手段は、第１ないし第６のいずれかの技術手段において、登録部が、文字数をインデックスとして登録する際に、文書画像の文書に含まれる句点及び／または読点に重み付けをして登録し、検索部は、検索文書から抽出された句読点間の文字数に加えて、句点及び／または読点の重み付けを用いて検索を行うことを特徴としたものである。

第８の技術手段は、第７の技術手段において、登録部が、文書の行の最終位置ではない場所で改行されている部分があった場合、改行されている点を改行点として重み付けして登録し、検索部は、句点、読点の重み付けに加えて、改行点の重み付けを用いて検索を行うことを特徴としたものである。

第９の技術手段は、第１ないし第８のいずれかの技術手段である文書画像検索装置の機能を実現する文書画像検索プログラムである。

本発明によれば、句読点間の文字数を計測してインデックスとして登録し、検索文書データと同一の文字数を持つインデックスを検索することにより、文字認識処理を行うよりもインデックスの生成時間を短縮し、検索処理負担を大きく削減することができるようになる。

すなわち本発明によれば、句読点間の文字数を計測してインデックスとして登録するため、ＯＣＲによる文字認識処理よりも短時間にインデックスを生成することができ、検索元の検索文書データと同一の文字数を持つインデックスを検索することにより、検索時間が短縮され、結果的に検索処理負担を大きく削減することができる。

また本発明によれば、句読点間の文字数に加えて文字サイズも検索条件に含めることにより、文字数のみの検索よりも精度の高い検索を行なうことができるようになる。
さらに本発明によれば、検索対象の文書画像データから抽出したテキスト領域で検索することにより、効率良く文書画像データの検索を行うことができるようになる。

さらに本発明によれば、連続する一つの文章が複数のテキスト領域に分かれている場合には、その連続した一つの文章を含む複数のテキスト領域を統合し、同一の計測対象領域として文字数計測を行なうことにより、例えば改変された文書を元に検索を行うような場合や、電子化された文書を元に検索を行うような場合に精度よく検索することができる。
さらに本発明によれば、計測された検索文書の文字数の配列に少なくとも部分的に一致する文字数の配列を持つインデックスを検索することにより、バージョンアップ等により文書の一部の追加や削除が行われていても効率よく検索することができる。
さらに本発明によれば、句点や読点、改行などの夫々に重み付けをすることにより、検索精度を高めることができる。

図１は、本発明による文書画像検索装置の位置実施形態を説明するためのブロック図である。
本実施形態の文書検索装置は、画像データをファイルして文書画像検索を行うサーバとして機能する画像ファイリングサーバ１０により実現される。画像ファイリングサーバ１０にはスキャナ２０が接続される。
スキャナ２０は、文書画像を読み取るスキャン部２１と、スキャナ各部を制御する制御部２２と、画像ファイリングサーバ１０と通信を行うための通信Ｉ／Ｆ２３とを備えている。そしてスキャン部２１で読み取った文書画像データを通信Ｉ／Ｆ２３から画像ファイリングサーバ１０に送信する。

画像ファイリングサーバ１０は、スキャナ２０と通信するための通信Ｉ／Ｆ１４と、スキャナ２０で読み取られた文書画像データや、文書画像データの検索に使用するインデックスを記憶する記憶部１２と、検索結果などの各種情報を表示するとともに、タッチパネルなどによりユーザの操作入力を可能とした表示・入力部１３と、画像ファイリングサーバ１０の各要素全体を制御する制御部１１とを備えている。また通信Ｉ／Ｆ１４は、図示しないＰＣなどの外部機器との通信も可能に構成される。そして制御部１１は、スキャナ２０で読み取られた文書画像データを通信Ｉ／Ｆ１４から受信すると、その文書画像データを記憶部１２に登録する。

制御部１１は、本発明の機能を実現するプログラムを図示しないＲＯＭやＨＤＤなどのメモリから読み出し、ＲＡＭなどのワーキングエリアを使用してそのプログラムを実行する。これにより、本発明に関わる文字数計測部、領域抽出部、検索部などの機能が実現される。また制御部１１の制御によって、文章画像データやインデックスを記憶部１２に記憶させることにより本発明の登録部の機能が実現される。

そしてこれらの機能によって制御部１１では、受信した文章画像データについてインデックス作成を行うインデックス作成処理１１ｂを実行可能である。
インデックス作成処理１１ｂでは、まずスキャナ２０から送信された文書画像データのテキスト領域を抽出する。ここでは、文書画像データに含まれるテキスト領域を判別し、その領域を切り出して抽出する。テキスト領域は、頁単位または一頁内に含まれる領域単位からなる。

そして抽出したテキスト領域を、文書の句読点単位に分割する。ここでは、テキスト領域に含まれる文書データから句読点を判別し、句読点と句読点との間の単位に分割する処理を行う。この場合、文書の各行の最終位置ではない場所で句読点がなく改行されている場合にも、その改行位置に句読点があるものとみなすようにしてもよい。
そして分割した単位ごとに文書の文字数を計測し、計測した文字数をインデックスとして記憶部１２に登録する。ここで記憶部１２には、文書画像データとインデックスとを対応付けて登録する。

上記のテキスト領域を抽出する場合、テキスト領域の位置をユーザが手動で設定してもよく、また制御部１１で自動抽出を行うようにしてもよい。自動抽出の場合、行列方向の特定の画像パターンからテキストが記載されている領域であることを判別することができる。あるいは、階調表現されている領域を写真やグラフィックの描画領域であると判別してテキスト領域から除く処理を行なったり、また線分や曲線などを画像から認識することで図形描画領域であると判別してテキスト領域から除く処理を行ったりしてもよい。

そして文書画像データの検索に際しては、検索元となる検索画像データに該当する文書画像データを記憶部１２から検索する処理を行う。
この場合、画像ファイリングサーバ１０では、検索元の検索画像データをスキャナ２０や図示しないＰＣ等の外部機器もしくは記録媒体などから受け取ると、その検索画像データの句読点間の文字数を計測し（１１ｃ）、計測した文字数に対応するインデックスを検出し（１１ｄ）、検出したインデックスに対応する文書画像データを記憶部１２から抽出する（１１ｅ）。抽出した文書画像データの情報は、表示制御機能１１ａによって表示部・入力部１３に表示される。
またこのときに、抽出した文書画像データが複数あれば、これらの全てを抽出して、その情報を表示・入力部１３に表示し、さらにユーザ操作指示やデフォルトの条件設定に従って、抽出した文書画像データにＯＣＲ処理を行ってテキストデータによる詳細な検索を行なう。

図２は、本発明の実施形態である画像ファイリングサーバに対して、利用者が文書画像データを登録するときのイメージを示す図である。
本例では、スキャナ２０は、複写機能を持った複合機３０に組み込まれているものとする。複合機３０はネットワークに接続することにより、ネットワーク上の画像ファイリングサーバ１０にアクセスすることができる。

利用者は、複合機３０のスキャナ機能を利用して、画像ファイリングサーバ１０に登録しておきたい文書を読み込ませる。複合機３０は、スキャナ機能により読み込んだ文書画像データをネットワークを介して画像ファイリングサーバ１０に送信し、画像ファイリングサーバ１０に登録する。また利用者は、ネットワーク上に接続されたネットワークスキャナ装置や、ＰＣなどの情報処理装置から文書画像データを画像ファイリングサーバ１０送信することができる。この場合必要に応じて利用者の認証処理などを行う。そして画像ファイリングサーバ１０では利用者から送信された文書画像データを蓄積し、記憶保持しておく。

図３は、本発明における文書画像データのテキスト処理について説明するための図である。
画像ファイリングサーバ１０では、外部のスキャナ（もしくはスキャナが組み込まれた複写機や複合機など）２０から、画像ファイリングサーバ１０に登録すべき文書画像データが送信された際に、送信された文書画像データを自身の記憶部１２に登録して記憶保持するともに、登録する文書画像データのテキスト処理を行う。

テキスト処理において、画像ファイリングサーバ１０の制御部１１は、まず文書画像データ内のテキスト領域を切り出して抽出する。図３（Ａ）は、文書画像データのテキスト領域の一例を示す図である。
そして抽出したテキスト領域の文書を、句読点間の単位に分割する（図３（Ｂ））。上記のように、ここでは文書の行の最終位置ではない場所で句読点がなく改行されている部分があった場合、その改行点も句読点とみなすように設定してもよい。

そして分割単位ごとにテキストの文字数を計測する。図３（Ｃ）は計測した文字数を示す図で、句点、読点、及び改行点（行の最終位置でなく句読点のない改行点）の間の文字数が計測されている。そして図３（Ｄ）に示すように、画像ファイリングサーバ１０の記憶部１２には、計測した文字数をインデックスにして、文書画像データに対応付けて登録する。

上記のテキスト処理においては、分割単位内の文字数計測のみならず、本発明の実施形態に応じて、文字サイズ、縦書き／横書きなどの文章方向、複数のテキスト領域に分かれた文章を考慮した文章ブロック、句読点や改行を重み付けした情報などが計測され、文字数情報に加えて登録される。

上記のようなテキスト処理により、文書画像データと、その文書画像データに対応付けられたインデックスとが画像ファイリングサーバ１０に蓄積される。
そして蓄積された文書画像データを実際に利用者が検索する場合、利用者は、スキャナや外部ＰＣなどを用いて、検索元となる検索文書データを画像ファイリングサーバ１０に入力する。検索文書データは、スキャナ２０などから読み込んだ画像データを用いることができるが、ワードプロセッサなどにより作成されたテキストデータやアプリケーション対応のバイナリデータなどであってもよい。
画像ファイリングサーバ１０では、入力された検索文書データに対して、上記の登録する文書画像データと同様のテキスト処理を実行する。

そしてそのテキスト処理により得られた分割単位ごとの文字数の配列に対して、同じ配列を持つ文書画像データを検索する。また同一の文字数の配列の他、部分的に一致する配列をもつ文書画像データを、類似する文書画像データとして検索できるようにしてもよい。
また検索には、上記文字数の配列に加えて、文字サイズ、縦書き／横書きなどの文章方向、複数のテキスト領域に分かれた文章を考慮した文章ブロック、句読点や改行を重み付けした情報などが適宜使用される。

そして検索した結果、上記のような所定の検索条件に該当する文書画像データが抽出できたならば、その文書画像データを表示し、検索に失敗した場合にはその旨を表示する。また複数の文章画像データが抽出された場合、さらにＯＣＲ処理などを行って検索対象を確定することができる。

図４及び図５は、一頁内に複数のテキスト領域がある文書画像データの例を示す図である。ここでは、例えば図４（Ａ）に示すような文書画像データ１００を登録する場合を考える。
このような文章画像データ１００に対して上記のようなテキスト処理を行って、テキスト領域の抽出を行うことにより、図４（Ｂ）に示すような複数（ここでは６つ）のテキスト領域Ｒ１〜Ｒ６が抽出されたものとする。

そしてテキスト処理においては、抽出された各テキスト領域Ｒ１〜Ｒ６に対して、上記の文字数計測等を実施する。図４（Ｂ）は、各テキスト領域Ｒ１〜Ｒ６の文字数の計測結果を示している。
また本例においても、上記の例と同様に、各テキスト領域Ｒ１〜Ｒ６に対して、上記文字数の配列に加えて、文字サイズ、縦書き／横書きなどの文章方向、複数のテキスト領域に分かれた文章を考慮した文章ブロック、句読点や改行を重み付けした情報などが適宜計測される。

テキスト処理において計測された計測情報は、画像ファイリングサーバ１０の記憶部１２にインデックスとして記憶されるが、このときに計測情報は、テキスト領域Ｒ１〜Ｒ６の頁内の位置情報と紐付けした状態で記憶される。
図５は、各テキスト領域の位置情報を示す図で、頁内の各テキスト領域Ｒ１〜Ｒ６の４つの頂点の座標情報により位置情報を表している。座標情報は、例えばビットマップの画素位置を示す情報であってもよく、あるいは任意に定めた座標系の位置情報であってもよい。

そして利用者が文書画像データを検索する際に、上記と同様に検索元の検索画像データをテキスト処理させることにより、検索画像データのテキスト領域とその位置情報を取得する。ここでは、検索画像データのテキスト領域と同じ位置にある文書画像データのテキスト領域について、計測文字数の配列を比較し、計測文字数の配列が一致する文書画像データを抽出して表示する。この場合、複数のテキスト領域のうち、一つの領域について計測文字数の配列を比較して判断してもよく、あるいは全てまたは複数のテキスト領域の計測文字数を用いてその配列を比較するようにしてもよい。

図６は、文書画像データの検索処理例を説明するための図で、テキスト領域の計測文字数及び文字サイズを用いてインデックスを検索するときの処理について示すものである。
検索元の検索文書データを用いて、検索対象の文書画像データを検索する際に、検索条件として上記のようにテキスト領域内の計測文字数を用いて検索を行うが、これに加えて、テキスト領域内の文書の文字サイズを用いることができる。

例えば図６（Ａ）に示すように、一つのテキスト領域Ｒ内において文字サイズが異なる文書が混在しているものとする。
そしてこの場合に、画像ファイリングサーバ１０がテキスト領域Ｒに対してテキスト処理を行う際に、句読点間の計測文字数に加えて、文字サイズを関連付けてインデックスにして記憶しておく（図６（Ｂ））。文字サイズは、所定のパラメータに応じて生成されたサイズ情報である。

記憶した文書画像データの検索を行う際には、テキスト領域Ｒの計測文字数とともに、文字サイズも比較することにより、検索精度を向上させることができる。
また例えば、文書情報データを検索する際に、文字サイズを用いて検索対象を絞り込み、さらに計測文字数を用いて検索することで検索効率を向上させることができる。例えば、文字サイズが１．５以上である見出し文章という条件で検索を行って、該当する文書画像データが複数あればさらに計測文字数による検索を行う、などの方法で検索することができる。見出し文章は、例えば、文章の初頭にあって文字サイズが他の文字よりも大きい文字列、あるいは文字が太字である文字列などの条件により判別することができる。

図７は、文書画像の検索処理の他の例を説明するための図で、テキスト領域の計測文字数及び文章方向情報を用いてインデックスを検索するときの処理について示すものである。
検索元の検索文書データを用いて、検索対象の文書画像データを検索する際に、検索条件としてテキスト領域内の計測文字数に加えて、テキスト領域内の文章方向（縦書き／横書きなど）を用いることができる。

例えば図７（Ａ）に示すように、文書画像データ１００において、文章方向が異なる文書が記載されたテキスト領域Ｒ１、Ｒ２が混在しているものとする。
ここで画像ファイリングサーバがテキスト処理を行う際に、句読点間の計測文字数に加えて、文章方向（縦書き／横書きなど）を関連付けてインデックスにして記憶しておく（図７（Ｂ））。

文章方向（縦書き／横書き）は、縦書きと横書きとによって異なる画像データのパターンから判別することができる。あるいは、文書の一部分にＯＣＲを施し、得られた文字データに対して形態素解析を行って、意味のある文字列が抽出できた方向を文章方向として決定するようにしてもよい。

そして記憶した文書画像データの検索を行う際には、テキスト領域の計測文字数とともに、文章方向も比較することにより、検索精度を向上させることができる。
例えば、文書画像データを検索する際に、文章方向を用いて検索対象を絞り込み、さらに計測文字数を用いて検索することで検索効率を向上させることができる。

図８及び図９は、文書画像データの検索処理のさらに他の例を説明するための図で、テキスト領域の計測文字数及び検索単位情報を用いてインデックスを検索するときの処理を示すものである。
検索元の検索文書データを用いて、検索対象の文書画像データを検索する際に、検索条件としてテキスト領域内の計測文字数に加えて、テキスト領域として認識する検索単位（文章ブロック）を用いるようにしてもよい。

例えば図８に示すように、一つの文章が二つのテキスト領域Ｒ１，Ｒ２に分かれて記載されているものとする。ここでは、最初の頁の最後部から次の頁の最初に文章が続いている。この場合、上記のテキスト処理においては頁毎にテキスト領域が抽出されるため、一つの文章が異なるテキスト領域Ｒ１，Ｒ２に分かれてしまう。

本実施形態では、画像ファイリングサーバ１０の制御部１１は、抽出したテキスト領域Ｒ１，Ｒ２ごとに、そのテキストの最終位置に句読点があるかどうかを判別する。
例えば、テキスト領域Ｒ１の最終位置を確認し、最終位置に句読点がなければ、テキスト領域Ｒ１の文章が次のテキスト領域Ｒ２に続いているものと判断する。そしてこれらのテキスト領域Ｒ１，Ｒ２を統合したものを文章ブロックとみなす処理を行う。文章ブロックが一つの検索単位となる。

そしてこのような場合、画像ファイリングサーバがテキスト処理を行う際に、句読点間の文字数情報に加えて、検索単位となる文章ブロックの情報を関連付けてインデックスにして記憶しておく（図９）。
図９の例では、テキスト処理により切り出した通常のテキスト領域を示す検索単位として、“文書”を設定し、複数のテキスト領域を統合して文章ブロックとした検索単位を“文章ブロック”として設定している。

文書画像データの検索を行う際に、例えば文書画像データに対して全く文書が改変されていない検索文書データを用いる場合には、上記のような頁単位のテキスト領域で検索が可能であるが、改変された検索文書データで検索を行うような場合には、ブロック単位を用いた検索が有効となる。あるいは電子化されたテキストデータなどの検索文書データで検索を行うような場合には、テキスト領域の抽出ができないため、ブロック単位にて検索することで対応することができる。

また、文書画像データの計測文字数をインデックスにして登録しておく際に、検索単位を“文書”単位のみで登録しておき、実際に文書検索を行う際に検索対象のテキスト領域の最終位置に句読点がない場合、次のテキスト領域とによるブロック化処理を行うことで、検索対象を文章ブロックにして検索を行うようにすることもできる。
なお上記の例では二つのテキスト領域を統合して文章ブロックとしているが、文章ブロックは、三つ以上のテキスト領域を統合したものであってもよい。

図１０〜図１２は、文書画像データの検索処理のさらに他の例を説明するための図で、句読点や改行に対して重み付けして文書画像データを登録し、これらの重み付けを用いて検索できるようにした処理例を示すものである。
ここでは例えば図１０（Ａ）に示すようなテキスト領域Ｒを含む文書画像データがあるものとする。この文書画像データに対してテキスト処理を行って、抽出したテキスト領域Ｒの文字数を計測した結果は、図１０（Ｂ）のようになる。

図１１は、テキスト領域の計測文字数をグラフにして表した図で、図１１（Ａ）は、上記図１０に示すような文書画像データから計測した句読点間の文字数を順にプロットしたグラフである。このプロット波形を文字数情報波形と呼ぶものとする。
図１１（Ａ）の文字数情報波形は、計測した句読点間の計測文字数を単にプロットしたもので、ここでは、テキスト領域Ｒに含まれる句点、読点、改行を全て同等に扱ったものと解される。

これに対して図１１（Ｂ）では、文単位の情報を持たせるために、句点の文字数を“０”とみなして重み付けをした文字数波形情報を示している。句点は文章の特徴となるため、重み付けをして検索用情報として登録しておくことにより、検索の精度を高めることができる。
つまり本例では、検索対象として登録する文書画像データに対してテキスト処理を行う際に、テキスト領域の抽出と、テキスト領域ごとの文字数計測とを行ない、このときに句点の文字数を０として重み付けし、その情報を計測文字数とともにインデックスにして登録しておく。

そして文書画像データを検索する際に、検索元となる検索文書データに対して同様にテキスト処理を行って、テキスト領域ごとの文字数を計測し、同様に句点に重み付けを行なう。そしてこれら計測文字数と句点の重み付け情報とを用いて、検索対象の文書画像データの検索を実行する。

図１２は、上記の句点の重み付けに加えて、節単位の情報を持たせるため、改行がある場所については、改行の文字数を“０”が２つ続くものとして重み付けし、その情報を計測文字数とともに登録する。ここでは、句点の後に改行がある場合には、句点の重み付けを省いて単に“０”が２つ続くように重み付けをする。このとき行の最後の位置でない部分でテキストが終了し、次の行に改行されているときに“改行”であるものと判断する。

この場合には、改行と句点とを重み付けしているため、検索精度をさらに高めることができる。またさらには、上記の句点の重み付けに加えて、もしくは句点と改行点の重み付けに加えて、読点に対して重み付けを行って検索できるようにしてもよい。

ただし、検索元の検索文書データとして、電子化されたテキストデータなどの文書データを用いた場合や、検索対象の文書画像データのレイアウト変更や編集などにより文書が改変されている場合などでは、逆に句点や改行点に重み付けを付与することなく同等に扱った方が検索精度が高い場合ある。従って検索するときに任意に検索方法を切り替えることができるようにするとよい。

図１３及び図１４は、検索文書データに類似する文書画像データを検索する処理例を説明するための図である。
ここでは図１１の例と同様に、検索対象の文書画像データのテキスト処理により、図１３（Ａ）に示すような文字数情報波形が得られたものとする。

このような文字数情報波形を持つ文書画像データを検索対象とする場合、検索元となる検索文書データが、検索対象の文書画像データから全く改変されていなければ、文字数情報波形は同じ形になる。従って検索時には、文字数情報波形の一部に該当する短い計測文字数だけで、検索を行なうことができる。
ここでは図１３（Ｂ）に示すように、全く改変されていない検索文書データで検索を行なう場合には、検索を行なう際に文字数情報波形の一部（例えば点線内のブロックＤ）の計測文字数を用いるだけでよい。改変が行なわれていないため、検索文書データと、検索対象の文書画像データとは必ず一致するからである。

しかしながら、検索元となる検索文書データが、検索対象の文書画像データから改変されている場合、これらの間で文字数が変化している可能性が高い。その場合、計測文字数の部分的な違いにとらわれることなく、文書全体の類似性を比較する必要がある。従ってこの場合には、比較的長い計測文字数の配列情報を使用して検索する必要がある。

例えば図１４に示すように、テキスト領域全体の文字数情報波形のうち、ブロックＥ，Ｆは改変されていない部分で、ブロックＧが改変されている部分であるものとする。このような場合、検索を行なう計測文字数としては、ブロックＥ〜Ｇ〜Ｆにいたる領域の波形に該当する計測文字数の配列を用いる。
このときに、ブロックＧの計測文字数の配列だけは、対象の文章画像データの計測文字数の配列と一致しないが、少なくとも一部分の計測文字数（ここではブロックＥ，Ｆ）の配列が一致していれば、全体が類似しているものと判断し、検索対象の文書画像データとして抽出する。

図１５は、本発明による文書画像検索装置におけるインデックスの作成処理の一例を説明するためのフローチャートである。
まず文書検索装置では、スキャナから文書画像データを受信する（ステップＳ１）。そしてスキャナから受信した文書画像データのテキスト領域を抽出する（ステップＳ２）。ここでは、例えば文書画像データの一頁を一つのテキスト領域とし、もしくは一頁内に複数のテキスト領域があれば、その複数の領域毎に切り出して抽出する。

そして抽出したテキスト領域が複数あるかどうかを判別し（ステップＳ３）、複数のテキスト領域がなければ、そのテキスト領域の文字数計測を行う（ステップＳ４）。文字数計測では、対象のテキスト領域の文書の句読点間の文字数を計測する処理を行う。そして計測した句読点間の文字数をインデックスとして登録する（ステップＳ５）。
ここでは、また文字数計測処理の実施形態に応じて、句読点間の文字数とともに、文字サイズ、縦書き／横書きなどの文章方向、複数のテキスト領域に分かれた文章を考慮した文章ブロック、句読点や改行を重み付けした情報などを計測し、計測文字数に加えて登録する。

また上記ステップＳ３で、テキスト領域が複数あると判別された場合には、最初のテキスト領域を選択し（ステップＳ６）、選択したテキスト領域の文字数計測処理を行う（ステップＳ７）。この処理は上記ステップＳ４の計測処理と同様である。
そして選択したテキスト領域の文字計測処理が終了すると、さらに計測してない他のテキスト領域があるかどうかを判別し（ステップＳ８）、計測していないテキスト領域があれば、そのテキスト領域を次のテキスト領域として選択し（ステップＳ１０）、ステップＳ７の文字数計測処理に進む。

またステップＳ８で計測していない他のテキスト領域がなければ、全てのテキスト領域の文字数計測処理が終了しているため、各テキスト領域の位置情報と、各テキスト領域の句読点間の文字数をインデックスとして登録する（ステップＳ９）。この場合にもステップＳ５と同様に、実施形態に応じて文字サイズ、縦書き／横書きなどの文章方向（文章の文字列の進行方向）、複数のテキスト領域に別れた文章を考慮した文章ブロック、句読点や改行を重み付けした情報などを計測文字数に加えて登録する。

図１６は、テキスト領域の文字数計測処理の一例を説明するためのフローチャートである。本例では、テキスト領域の文書の縦書き／横書きの判定と、句読点間の分割単位の文字数計測及び文字のサイズ計測処理を含む処理例を説明する。
まず、対象のテキスト領域の文書が縦書きになっているか横書きになっているかを判定する（ステップＳ１１）。ここでは、上述のように文書画像のパターンから縦書きか横書きかを判定してもよく、あるいは文書画像データの一部をＯＣＲ処理した後形態素解析を行って、縦書きか横書きかを判定するようにしてもよい。

そしてテキスト領域内の文書を句読点単位に分割し（ステップＳ１２）、句読点間の分割単位の文字数を計測する（ステップＳ１３）。この場合にも改行点を分割点に含めて処理してもよい。
さらにテキスト領域内において、文書の文字サイズが一定かどうかを判別する（ステップＳ１４）。文字サイズが一定であれば、文字数計測処理を終了し、文字サイズが一定でなければ、分割単位毎に文字サイズを計測して（ステップＳ１５）、処理を終了する。
なお本例では、文字サイズを計測する例を示しているが、上述のように文字サイズを計測しない処理であってもよい。

図１７は、一つの文章が複数のテキスト領域に別れて記載されているときの分割処理例を説明するためのフローチャートである。
まずテキスト領域の文書画像データに対して、判定した文章の方向（縦書き／横書き）に従って句読点単位に分割する処理を開始する（ステップＳ２１）。そしてテキスト領域の文書の最終位置が句点であるかどうかを判別する（ステップＳ２２）。

最終位置が句点でなければ、さらに同一頁内に文字数計測処理を行っていないテキスト領域があるかどうかを判別する（ステップＳ２３）。そして同一頁内に文字数計測処理を行っていないテキスト領域があれば、上記の最終位置が句読点ではないテキスト領域と、次のテキスト領域とを同一のテキスト領域に統合して文章ブロックとし、この文章ブロックの文書画像データを句読点単位に分割する（ステップＳ２４）。

一方上記ステップＳ２２で、テキスト領域の最終位置が句読点である場合は本分割処理を終了する。またステップＳ２３で同一頁内に文字数計測処理を行っていないテキスト領域がなければ、上記の最終位置が句読点ではないテキスト領域と、次の頁の文書画像データのテキスト領域とを同一のテキスト領域に統合して文章ブロックとし、この文章ブロックの文書画像データを句読点単位に分割する（ステップＳ２５）。この場合、次の頁に複数のテキスト領域があれば、最初のテキスト領域を使用して文章ブロックを設定する。

図１８は、本発明による文書検索装置における文書検索処理の一例を説明するためのフローチャートである。
文書画像データを検索する際に、まず検索元となる検索文書データを入力する（ステップＳ３１）。文書検索装置では、入力された検索文書データのテキスト領域を抽出する処理を行う（ステップＳ３２）。そして抽出したテキスト領域が複数あるかどうかを判別し（ステップＳ３３）、テキスト領域が複数なければ、そのテキスト領域の検索文章データの文字数計測処理を行う（ステップＳ３４）。
文字数計測処理は、前述のように句読点間の文字数を計測する処理であり、さらに実施形態に応じて文字サイズ、縦書き／横書きなどの文章方向、複数のテキスト領域に分かれた文章を考慮した文章ブロック、句読点や改行を重み付けした情報などの計測処理が行われる。

そして文字数計測処理による計測結果を用いて、予め登録してあるインデックスから検索する処理を行う（ステップＳ３５）。
検索の結果、抽出された文書画像データが複数あるかどうかを判別し（ステップＳ３６）、抽出された文書画像データが一つであれは、その抽出された文章画像データを検索結果として表示する（ステップＳ４２）。また抽出された文書画像データが複数あれば、抽出された全ての文書画像データをＯＣＲ処理し、検索文書データに対応する文書画像データを選択して検索結果として表示する（ステップＳ３７）。

一方、上記ステップＳ３３において、切り出したテキスト領域が複数あれば、まず最初のテキスト領域を選択し（ステップＳ３８）、その選択したテキスト領域の文字数計測処理を行う（ステップＳ３９）。この場合もステップＳ３４の文字数計測処理と同様の処理を行う。

そして選択したテキスト領域に対する文字数計測処理が終了すると、さらに他の計測していないテキスト領域があるかどうかを判別する（ステップＳ４０）。ここで計測していない他のテキスト領域があれば、計測していない次のテキスト領域を選択し（ステップＳ４１）、選択したテキスト領域について文字数計測処理を実行する（ステップＳ３９）。

一方ステップＳ４０で、計測してない他のテキスト領域がなければ、全てのテキスト領域の文字数計測処理が終了しているため、文字数計測処理による計測結果を用いて、予め登録してあるインデックスから検索する処理を行う（ステップＳ３５）。
なおここでは検索文書データにおける複数のテキスト領域のうち、一つのテキスト領域のみで文字数計測処理を行って、その結果を用いてインデックス検索を行うようにしてもよい。

図１９は、検索処理におけるインデックスからの検索処理例をさらに説明するためのフローチャートである。
インデックスからの検索処理においては、まず同一の文書を検索するように指定されているかどうかを判別する（ステップＳ５１）。ここでは例えば、編集などにより一部改変された文章画像データを検索対象とすることなく、完全に同一の文章画像データのみを検索して抽出するモードと、テキスト領域内の一部が同一で類似している文章画像データを抽出するモードとが選択可能である場合に、いずれかのモードが指定されているかどうかを判断する。類似している文書画像データを検索するモードでは、元の文書にバージョンアップを加えたり編集を施して改変した文書画像データを検索することができる。

そして同一の文書画像データを抽出するように指定されている場合、検索文書データのテキスト領域の計測文字数を持つインデックスを検索する（ステップＳ５２）。また同一の文書画像データではなく、類似する文書画像データを抽出するように指定されている場合には、検索文書データに類似する計測文字数を持つインデックスを検索する（ステップＳ５４）。ここでは、句読点間の計測文字数の配列が、テキスト領域の少なくとも一部分で一致する場合に、類似しているものと判断することができる。

また上記ステップＳ５２のインデックス検索処理では、計測文字数による検索のみならず、実施形態に応じて、文字サイズ、縦書き／横書きなどの文章方向（文章の文字列の進行方向）、複数のテキスト領域に別れた文章を考慮した文章ブロック、句読点や改行を重み付けした情報などを用いることができる。

そして、ステップＳ５２またはステップＳ５４でインデックスが検出されたならば、検出されたインデックスに対応して登録されている文書画像データを抽出する（ステップＳ５３）。

本発明によるプログラムは、上記文書画像検索装置の機能を実現するためのプログラムである。プログラムは、文書画像検索装置が備えるＲＯＭやＨＤＤなどのメモリに記憶され、ＣＰＵなどの制御手段がプログラムを読み出して実行することにより、上記各実施形態で説明した文書画像検索装置の各機能を実現することができる。またメモリに記録したプログラムを実行することにより上述した実施形態の機能が実現されるだけでなく、そのプログラムの指示に基づき、オペレーティングシステムあるいは他のアプリケーションプログラム等と共同して処理することにより、本発明の機能が実現される場合もある。

プログラムは記録媒体に記録して流通させることができる。記録媒体としては、半導体媒体（例えば、ＲＯＭ、不揮発性メモリカード等）、光記録媒体（例えば、ＤＶＤ，ＭＯ，ＭＤ，ＣＤ，ＢＤ等）、磁気記録媒体（例えば、磁気テープ，フレキシブルディスク等）等が適用できる。また市場に流通させる場合には、インターネット等のネットワークを介して接続されたサーバコンピュータに保持し、これを文書画像検索装置に転送させることができる。

本発明による文書画像検索装置の位置実施形態を説明するためのブロック図である。 本発明の実施形態である画像ファイリングサーバに対して、利用者が文書画像データを登録するときのイメージを示す図である。 本発明における文書画像データのテキスト処理について説明するための図である。 一頁内に複数のテキスト領域がある文書画像データの例を示す図である。 一頁内に複数のテキスト領域がある文書画像データの例を示す他の図である。 文書画像データの検索処理例を説明するための図である。 文書画像の検索処理の他の例を説明するための図である。 文書画像データの検索処理のさらに他の例を説明するための図である。 文書画像データの検索処理のさらに他の例を説明するための他の図である。 文書画像データの検索処理のさらに他の例を説明するための図である。 文書画像データの検索処理のさらに他の例を説明するための他の図である。 文書画像データの検索処理のさらに他の例を説明するための他の図である。 検索文書データに類似する文書画像データを検索する処理例を説明するための図である。 検索文書データに類似する文書画像データを検索する処理例を説明するための他の図である。 本発明による文書画像検索装置におけるインデックスの作成処理の一例を説明するためのフローチャートである。 テキスト領域の文字数計測処理の一例を説明するためのフローチャートである。 一つの文章が複数のテキスト領域に別れて記載されているときの分割処理例を説明するためのフローチャートである。 本発明による文書検索装置における文書検索処理の一例を説明するためのフローチャートである。 検索処理におけるインデックスからの検索処理例をさらに説明するためのフローチャートである。

符号の説明

Ｒ１〜Ｒ６…テキスト領域、１０…画像ファイリングサーバ、１１…制御部、１２…記憶部、１３…表示・入力部、１４，２３…通信Ｉ／Ｆ、２０…スキャナ、２１…スキャン部、２２…制御部、３０…複合機、１００…文章画像データ。

Claims (9)

1. 検索対象として保持するための文書画像データ、及び該文書画像データを検索する検索元となる検索文書データを入力する入力部と、
   該入力部が入力した前記文書画像データ、または前記検索文書データから句読点を認識し、句読点間の文字数を計測する文字数計測部と、
   該文字数計測部によって計測された前記文書画像データの文字数をインデックスとして登録する登録部と、
   前記文字数計測部によって計測された前記検索文書データの各句読点間の文字数と同一の文字数を持つインデックスを検索する検索部と、を備えることを特徴とする文書画像検索装置。
2. 前記文字数計測部は、句読点間の文字数の他に文字サイズを計測し、前記登録部は、前記文字数に加えて前記文字サイズを含めて前記インデックスとして登録することを特徴とする請求項１に記載の文書画像検索装置。
3. 前記文字数計測部は、前記検索文書データにおいて、文書の行の最終位置ではない場所で句読点がなく改行されている部分があった場合、該改行点も句読点とみなして前記文字数の計測を行うことを特徴とする請求項１または２に記載の文書画像検索装置。
4. 前記文書画像データ及び前記検索文書データの文書から、頁単位または一頁内に含まれる複数の領域単位からなるテキスト領域を抽出する領域抽出部を備え、
   前記文字数計測部は、前記領域抽出部により抽出されたテキスト領域毎に前記句読点間の文字数を計測し、
   前記登録部は、前記テキスト領域の位置情報と対応付けて前記文書画像の文字数をインデックスとして登録することを特徴とする請求項１ないし３のいずれか１に記載の文書画像検索装置。
5. 前記文字数計測部は、連続する一つの文章が複数のテキスト領域に分かれている場合には、該連続した一つの文章を含む複数のテキスト領域を統合し、統合したテキスト領域を一つの検索単位として文字数計測を行なうことを特徴とする請求項４に記載の文書画像検索装置。
6. 前記検索部は、前記文字数計測部によって計測された前記検索文書データの文字数の配列のうち、少なくとも部分的に一致する文字数の配列を持つインデックスを検索することを特徴とする請求項１ないし５のいずれか１に記載の文書画像検索装置。
7. 前記登録部は、前記文字数をインデックスとして登録する際に、前記文書画像の文書に含まれる句点及び／または読点に重み付けをして登録し、
   前記検索部は、検索文書から抽出された前記句読点間の文字数に加えて、前記句点及び／または読点の重み付けを用いて検索を行うことを特徴とする請求項１ないし６のいずれか１に記載の文書画像検索装置。
8. 前記登録部は、前記文書の行の最終位置ではない場所で改行されている部分があった場合、該改行されている点を改行点として重み付けして登録し、
   前記検索部は、前記句点、読点の重み付けに加えて、前記改行点の重み付けを用いて検索を行うことを特徴とする請求項７に記載の文書画像検索装置。
9. 請求項１ないし８のいずれか１に記載の文書画像検索装置の機能を実現する文書画像検索プログラム。

Images