JP5353325B2 - 文書データ生成装置と文書データ生成方法 - Google Patents

Description

この発明は、文書データ生成装置と文書データ生成方法に関する。

近年、紙文書などに印刷された状態で管理されていた文字情報は、光学的読み取り装置などにより電子データとして画像データに変換し、その画像データに対して光学文字認識（Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅｃｏｇｎｉｔｉｏｎ：ＯＣＲ）処理を施すことにより、画像データ中の各文字を文字データに変換して電子ファイル化することが行われている。
しかしながら、ＯＣＲによる文字認識処理には誤認識があるため、スキャンした画像データを捨てて代わりにＯＣＲで認識された文字データのみから成る文書データに変換すると、誤認識された文字に関しては元の正しい情報が失われてしまう。
そのため、スキャンした画像データをそのまま残し、その画像データにＯＣＲによって得られた文字データを加え、透明なテキストデータとすることで、画像データによる視認性と、文字データによる検索性を兼ね備えた電子データに変換することが行われている。

従来、文書イメージに含まれるテキストイメージ部分を文字認識して生成したテキストデータと、文書イメージにおける対応位置を示す座標情報とを関連付けるテーブルを生成し、文書イメージにおける対応位置に基づいて検索結果を表示する文書データ生成装置（例えば、特許文献１参照）があった。
また、イメージ文書を対象とした文字認識処理を実行した結果出力されるテキストによる文書データについて、検索文字列を所定数の文字単位の部分に分割し、その各部分ごとに誤認識される可能性の高い文字形状の類似した類似文字列を格納し、その類似文字列を組み合わせて検索結果の展開語を生成する文書データ生成装置（例えば、特許文献２参照）があった。

しかしながら、上述した従来の文書データ生成装置では、前者の文書データ生成装置では、ＯＣＲが誤認識した場合は、誤った文字データを生成してしまうので、当然のことながら正しいキーワードでは検索することが出来ない文書データを生成してしまうという問題があった。
また、後者の文書データ生成装置では、検索時に検索タームを拡張するため、特別な検索システムが必要となってしまう点や、文書ファイルと別に検索用の類似文字列を格納しておかなくてはならないため、管理が容易でないという問題があった。
この発明は上記の点に鑑みてなされたものであり、文字認識確度の低いテキストの検索精度を高めた文書データを作成できるようにすることを目的とする。

この発明は上記の目的を達成するため、画像データと上記画像データから文字認識した文字データとを含む文書データを生成する文書データ生成装置であって、上記文字認識において、上記画像データの所定区切り単位で複数の認識候補の文字データが得られた場合、その複数の認識候補の文字データを非可視データにして、上記画像データの対応する所定区切り単位の位置又は近傍に、それぞれ異なるレイヤで付加して文書データを生成する文書データ生成手段を備えた文書データ生成装置を提供する。
また、上記複数の認識候補の文字データに、最も確度の高い文字データが含まれるようにするとよい。
さらに、上記複数の認識候補の文字データから予め登録された辞書に登録されていない文字データを除外する手段を設けるとよい。

また、上記所定区切り単位を、単語、空白によって区切られた単語、属性の異なる文字を区切りとする文字列、行、段落、連続するｎ（ｎは正の整数）文字を重複的に区切る単位のいずれかにするとよい。
さらに、画像データと上記画像データから文字認識した文字データとを含む文書データを生成する文書データ生成方法であって、上記文字認識において、上記画像データの所定区切り単位で複数の認識候補の文字データが得られた場合、その複数の認識候補の文字データを非可視データにして、上記画像データの対応する所定区切り単位の位置又は近傍に、それぞれ異なるレイヤで付加して文書データを生成する文書データ生成工程を備えた文書データ生成方法も提供する。

この発明による文書データ生成装置と文書データ生成方法は、文字認識確度の低いテキストの検索精度を高めた文書データを作成することができる。

この発明の文書データ生成装置における主要部分の機能構成を示すブロック図である。 この文書データ生成装置における文書データ生成処理を示すフローチャート図である。 文字領域抽出の説明図である。 単語単位の区切り単位の一例を示す図である。 透明テキストデータの付加の説明図である。

透明テキストデータの他の付加例の説明図である。 透明テキストデータのまた他の付加例の説明図である。 異なる属性の文字を区切り単位にしたときに生成した文書データの一例を示す図である。 “的”という文字だけ“的”と“助”の二つの候補が存在した場合に生成した文書データの一例を示す図である。

以下、この発明を実施するための形態を図面に基づいて具体的に説明する。
〔実施例〕
図１は、この発明の文書データ生成装置における主要部分の機能構成を示すブロック図である。
図２は、この文書データ生成装置における文書データ生成処理を示すフローチャート図である。
図３は、文字領域抽出の説明図である。
図４は、単語単位の区切り単位の一例を示す図である。
図５は、透明テキストデータの付加の説明図である。
図６は、透明テキストデータの他の付加例の説明図である。
図７は、透明テキストデータのまた他の付加例の説明図である。

この文書データ生成装置は、ファクシミリ装置，プリンタ，複写機，複合機，コンピュータを含む文書データを扱う装置であり、ＣＰＵ，ＲＯＭ及びＲＡＭからなるマイクロコンピュータを備えており、ＣＰＵがＲＯＭに格納されたプログラムの手順を実行することによって文書作成方法の工程を実施し、図１に示すように、１〜６の各機能部の機能を実現する。
まず、図２のステップ（図中「Ｓ」と記載する）１で、図示を省略したスキャナなどの画像読取部で読み取られた画像データを画像入力部１に入力する。
その画像データは、文字情報などを持たない、いわゆるラスタ画像、ビットマップ画像と呼ばれる形式のデータである。
図２のステップ２では、画像入力部１は入力された画像データに対して最初に前処理を施す。
その前処理とは、文字認識処理の精度を向上させるための画像処理であり、エッジ強調や、画像の二値化、向き補正などの処理である。

次に、図２のステップ３で、文字領域抽出部２によって画像データから文字領域を抽出する。
その文字領域の抽出方法は、例えば、二値化を施した画像データに収縮処理を行い、輪郭線を追跡することによって求まる画素の固まりの外接矩形の大きさから文字領域か否かを判別する技術（例えば、特開２００４−６４６６４号公報に記載された技術参照）がある。
例えば、図３に示す画像データの場合、図中矩形枠１０で示す文字領域の画像データを抽出する。

次に、図２のステップ４で、文字認識部３によって抽出された文字領域データから文字列部分を切り出し、文字認識対象となる言語の文字辞書の画像パターンとパターンマッチングを行うことで文字認識を行う。
その時、文字認識において複数の文字データが認識候補として挙がった場合、それらの文字データを後述のテキストデータ生成に用いる。
例えば、実際には“ｌ”という文字を表す画像であるが、マッチングの結果、類似度が大きい順に“ｔ”“ｌ”“ｉ”“ｊ”…と認識されたとする。
そのうち、ある閾値以上の類似度のものが“ｔ”と“ｌ”であったとすると、認識結果の候補は“ｔ”と“ｌ”である。

次に、図２のステップ５で、文字認識部３によって文字領域データに含まれる文字を単語単位で分割する。
その場合、文字認識処理の対象を英語として処理することを要求された場合、空白を検出することで、空白によって区切られた単語単位に分割する。
空白は、文字領域とされた矩形内で、文字連続方向に垂直に走査した場合に画素のないラインがある長さだけ連続した箇所を空白とすることで容易に検出できる。
この処理は、文字領域検出の処理段階で分割を行うようにしてもよい。
例えば、図４に示すように、英文を空白によって区切られた単語単位で分割した場合、図中それぞれ矩形枠１１〜１８で示すように、“Ｈｅ”“ｌｉｅｄ”“ｗｈｅｎ”“ｈｅ”“ｓａｉｄ”“ｈｅ”“ｌｏｖｅｄ”“ｍｅ．”の各英単語毎に分割される。

次に、図２のステップ６で、テキストデータ生成部４によって文字認識候補からテキストデータを生成する。
テキストデータ生成部４は、画像データから認識された複数の認識候補の文字データを全て一つのテキストデータオブジェクトに入れるとすると、生成されたテキストデータ中の、連続する文字列全てを検索の対象とすることが可能だが（例えば“Ｈｅｌｉ”のような検索に対してもヒットさせることができる）、複数の文字認識候補が存在した場合、その候補を用いて対象となる画像全域のテキストデータを生成しなくてはならない。
例えば“ｌ”を“ｌ”と認識した場合のテキストデータを全域で生成し、かつ“ｌ”を“ｔ”と認識した場合のテキストデータを全域で生成しなくてはならない。

さらに、文字認識候補が複数存在する文字がいくつもあると、その候補の組み合わせが、文字の数に応じて膨大になってしまう。
逆に、文字の認識結果の複数の候補を、そのまま文字単位でテキストデータとして埋め込むと、例えば、図６では、単語“ｌｉｅｄ”の各文字“ｌ”“ｉ”“ｅ”“ｄ”について、“ｌ”という文字に対して“ｔ”と“ｌ”の候補があったため両方埋め込むことが出来るが、このように生成されたテキストデータは、“ｌｉｅ”というキーワード検索に対してヒットしない。また、“ｄ”の文字についても“ｄ”と“ｑ”の候補があったため上述と同じ理由でヒットしないキーワードができてしまう。図６の各文字には矩形枠３０〜３５を付して示す。

そこで、検索の容易性とデータ容量抑制を両立させるために、前述した区切りの単位である単語単位でテキストデータ生成を行う。
空白によって区切られた単位である“ｌｉｅｄ”領域のテキストデータとして、“ｌｉｅｄ”領域から文字と認識された候補を組み合わせてテキストデータを生成する。
例えば“ｌ”の文字の認識候補が“ｔ”と“ｌ”であり、“ｄ”の文字の認識候補が“ｄ”と“ｑ”であり、“ｉ”と“ｅ”はそれぞれ正しく認識した文字のみが候補であったとすると、図７に示すように、各候補を網羅的に組み合わせて“ｔｉｅｄ”“ｌｉｅｄ”“ｔｉｅｑ”“ｌｉｅｑ”の４つのテキストデータを生成する。図７の各テキストデータを矩形枠３６〜３９で示す。

次に、図２のステップ７で、透明テキストデータ生成部５によって透明テキストデータを生成する。
この透明テキストデータは、画像データから認識された文字から成るテキストデータを、文字領域抽出処理もしくは単語への分割処理の際に検出した画像データ中の対応する部分の座標データに対応させて付加（付与）するデータであり、後に、文書ファイルをビューアで表示させた際には、画像データとテキストデータは、表示上ではおなじ場所に異なるレイヤとして存在することになり、画像データの閲覧を妨げないために、テキストデータに透明色の色情報を付与して、透明（非可視データ）にしている。
透明テキストデータ生成部５では、前段で生成されたテキストデータのそれぞれに、文字領域抽出部２から受け取った対応する画像データ中の座標データと、テキストの描画色のデータ、さらに必要に応じてフォントデータなどを加えて透明テキストデータを生成する。上記描画色は通常は透過色にするが、異なる色を割り当てても構わない。また、かすかに見える程度の色にしても同様の効果を有する。

次に、図２のステップ８で、文書ファイル生成部６は文書ファイルを生成し、図示を省略した記憶部に記憶する。
文書ファイル生成部６は、画像入力部１から受け取った最後にラスタ画像である入力の画像データと、透明テキストデータ生成部５から受け取った透明テキストデータを用いて、文書データ中の該当する位置又は近傍に透明テキストデータ（文字コードとしてのベクトルデータ）を埋め込むことによって付加し、文書ファイル（文書データ）を生成する。
例えば、図５に示すように、図中それぞれ矢印１１〜１８で示すように、“Ｈｅ”“ｌｉｅｄ”“ｗｈｅｎ”“ｈｅ”“ｓａｉｄ”“ｈｅ”“ｌｏｖｅｄ”“ｍｅ．”の各画像部分の位置又は近傍には、図中それぞれ矩形枠２１〜２８で示すように、それぞれの認識候補の透明テキストデータが付与（付加）される。
このような構造を持つ文書フォーマットとしてＰＤＦが良く知られている。
このようにして、文字認識確度の低いテキストでも複数の認識候補が付加されているので、文字認識確度の低いテキストの検索精度を高めることができる。

次に、日本語などの文章中を空白で区切らない言語の場合には、ユーザが検索時に独立して検索する可能性の高い区切りをもって、テキストデータを埋め込むと良い。
例えば、上述の処理において、所定の区切り単位として、漢字、数字、英字、カタカナ、ひらがなといった文字の属性が変化する箇所を区切り単位にする。
図８は、ひらがなから漢字に文字属性が変化する箇所を区切り単位にした例を示す図であり、図中に矢印４０〜４２で示すように“寒さ”“忘れる”“詩的空間”の各画像の対応する位置に、図中矩形枠４３〜４８で示すように、それぞれ透明テキストデータが付加される。

同図では、見易くするために、画像部分に対して付加された各透明テキストデータの位置をずらして示しているが、同一レイヤあるいは異なるレイヤで画像部分に完全に重なるように付加してよい。
また、漢字からひらがなに変化する箇所も区切りとするのであれば、さらに寒、さ、忘、れる、詩的空間と分割するとよい。
さらに、“る”を“３”と認識する候補が存在した場合には、“れる”というテキストデータに加えて、“れ”＋“３”という、異なる区切りによるテキストデータを生成するとよい。

次に、図９は“的”という文字だけ“的”と“助”の二つの候補が存在した場合の例である。
まず、文字認識結果から最も確度が高い認識文字のみを用いて検出された文字領域全体でのテキストデータを生成する。
つまり、図中矢印５０で示す画像データ“寒さ忘れる詩的空間”から、図中矩形枠５１で示す“寒さ忘れる詩的空間”というテキストデータを生成する。
続いて、複数の認識候補が存在する文字を含むｎ（ｎは正の整数）文字単位で、その候補を用いて重複してテキストデータを生成する。

例えば、ｎ＝２の場合、最も確度の高い候補を除いた候補を用いて前後２文字の認識文字と組み合わせてテキストデータを生成するので、図中矩形枠５２，５３で示すように、“詩助”と“助空”の二つが追加のテキストデータとして生成される。
そして、それぞれ画像データ中の座標に対応して透明テキストデータを埋め込む。
さらに、上述の処理は、所定の区切り単位として単語，空白で区切られた単語，属性の異なる文字列，連続するｎ文字を重複的に区切る単位の他に、行単位，段落単位でも同様にして実施することができる。

次に、文字認識処理には、単語辞書などの知識を用いて文字列単位で認識する方法がある。
これは、辞書に存在しない文字列、例えば“ｌｉｅｄ”を“ｌｉｅｑ”と誤認識するケースを減らせるため、それだけでも認識率を向上させる効果があるが、“ｌｉｅｄ”を“ｔｉｅｄ”，“ｌｉｅｄ”の順に類似度が大きいと誤認識する可能性もある。すなわち、文字認識処理において、予め登録された辞書に登録されていない文字データを除外するのである。
このような辞書をベースに文字列で認識を行う場合は、認識した文字列の候補が複数存在した場合は、それぞれを辞書中でマッチングされた単位で、それぞれテキストデータを生成し、透明テキストデータとして埋め込む。

この実施例の文書生成装置は、ＯＣＲの認識結果によって文字認識候補が複数存在した場合に、候補を複数同時にテキストデータとして埋め込むことが出来るため、特別な検索システムを用いずとも、通常の完全一致の検索システムを用いて、正しい認識のテキストデータが生成される可能性が高くなる。
また、それぞれ画像データの対応する位置に埋め込むため、ユーザがテキスト検索を行う際に、検索結果のハイライト表示を文書中の望ましい位置に行える。
さらに、文字認識候補が複数存在する場合には、テキストデータを重複して埋め込むことになるが、文字認識候補を含む単語や行などの単位でテキストデータを複数生成するため、付与すべきテキストデータをいたずらに増加させないまま、単語や行などの単位での検索をより効率的に行うことができる。

この発明による文書データ生成装置と文書データ生成方法は、ファクシミリ装置，プリンタ，複写機，複合機，コンピュータを含む文書データを扱う装置全般において適用することができる。

１：画像入力部 ２：文字領域抽出部 ３：文字認識部 ４：テキストデータ生成部 ５：透明テキストデータ生成部 ６：文書ファイル生成部

特開平７−９３３７４号公報 特開２００２−１８９７４７号公報

Claims (10)

1. 画像データと前記画像データから文字認識した文字データとを含む文書データを生成する文書データ生成装置であって、
   前記文字認識において、前記画像データの所定区切り単位で複数の認識候補の文字データが得られた場合、該複数の認識候補の文字データを非可視データにして、前記画像データの対応する所定区切り単位の位置又は近傍に、それぞれ異なるレイヤで付加して文書データを生成する文書データ生成手段を備えたことを特徴とする文書データ生成装置。
2. 前記複数の認識候補の文字データに、最も確度の高い文字データが含まれるようにしたことを特徴とする請求項１記載の文書データ生成装置。
3. 前記複数の認識候補の文字データから予め登録された辞書に登録されていない文字データを除外する手段を設けたことを特徴とする請求項１又は２記載の文書データ生成装置。
4. 前記所定区切り単位は、単語であることを特徴とする請求項１乃至３のいずれか一項に記載の文書データ生成装置。
5. 前記所定区切り単位は、空白によって区切られた単語であることを特徴とする請求項１乃至３のいずれか一項に記載の文書データ生成装置。
6. 前記所定区切り単位は、属性の異なる文字を区切りとする文字列であることを特徴とする請求項１乃至３のいずれか一項に記載の文書データ生成装置。
7. 前記所定区切り単位は、行であることを特徴とする請求項１乃至３のいずれか一項に記載の文書データ生成装置。
8. 前記所定区切り単位は、段落であることを特徴とする請求項１乃至３のいずれか一項に記載の文書データ生成装置。
9. 前記所定区切り単位は、連続するｎ（ｎは正の整数）文字を重複的に区切る単位であることを特徴とする請求項１乃至３のいずれか一項に記載の文書データ生成装置。
10. 画像データと前記画像データから文字認識した文字データとを含む文書データを生成する文書データ生成方法であって、前記文字認識において、前記画像データの所定区切り単位で複数の認識候補の文字データが得られた場合、該複数の認識候補の文字データを非可視データにして、前記画像データの対応する所定区切り単位の位置又は近傍に、それぞれ異なるレイヤで付加して文書データを生成する文書データ生成工程を備えたことを特徴とする文書データ生成方法。

Images