JP3615179B2 - Character recognition device and character recognition method - Google Patents
Character recognition device and character recognition method Download PDFInfo
- Publication number
- JP3615179B2 JP3615179B2 JP2001331572A JP2001331572A JP3615179B2 JP 3615179 B2 JP3615179 B2 JP 3615179B2 JP 2001331572 A JP2001331572 A JP 2001331572A JP 2001331572 A JP2001331572 A JP 2001331572A JP 3615179 B2 JP3615179 B2 JP 3615179B2
- Authority
- JP
- Japan
- Prior art keywords
- color
- image
- character
- processing
- character recognition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Image Analysis (AREA)
- Character Input (AREA)
- Character Discrimination (AREA)
Description
【0001】
【発明の属する技術分野】
本発明は、伝票などに印刷された文字の認識に用いられる文字認識装置及び文字認識方法に関するものである。
【0002】
【従来の技術】
従来、伝票のように罫線・空白などにより文字の並びが区切られている表形式帳票に印刷されている文字の認識を行うような場合、画像入力時の際に、ドロップ・アウトカラーと称する帳票のフォーム部分を構成する色を光学的フィルター処理により落し、認識対象となる原画像からフォーム部分を消去して画像入力を行なう事により文字認識を行うようにしている。
【0003】
このため、従来技術ではドロップ・アウトカラーとは異なる色の帳票を扱うことはできず、もちろん、バックグラウンドカラーが白で無いものも扱えなかった。また多色刷りのものや、記載文字がドロップ・アウトカラーであるものも扱うことができず、当然の事ながら、記載文字の色が特定されないものも読み取ることができなかった。
【0004】
そこで、従来、特開昭61−15285号公報によりドロップ・アウトカラーでない色で印刷された帳票に対応できる文字認識装置が提案されているが、この公報のものには、色分離技術が含まれていない為に文字枠と文字の分離が色分離技術ではなく、文字枠と文字の分離技術のみによって実施されている。この為、認識精度の点で限界があった。
【0005】
一方、特開昭62−5485号公報、特開昭62−154181号公報、特開平2−67689号公報、特開平2−135584号公報、特開平2−123488号公報、特開平3−14077号公報、特開平3−223987号公報、特開平4−39789号公報、特開平4−160486号公報、特開平4−354083号公報では、あらかじめ設定されている方法により入力画像の色分離を行ない、その結果を用いて文字認識を行う装置が開示されている。
【0006】
【発明が解決しようとする課題】
しかしながら、これらの文字認識装置によると、帳票色や記入色、帳票フォーム部分や文字部分の印刷方法、文字記入方法等に対する制限などを緩やかにして運用すると、例えば、乱雑に記入文字を記入欄に記載した場合などに、文字を正確に認識する事ができないことがあり、また色ずれを起こしている様なケースにも対応できなかった。
【0007】
また、これら従来の文字認識装置では、ドロップ・アウトカラーを使う事のできない運用形態の時に、画像をカラー・データで読み込み、何らかの色分離処理を行ない、これら色分離されたデータから文字認識を行なうことなどが提案されているだけであり、現実に、文字認識のシステムを構成する場合に考慮しなければいけない種々の問題について何ら解決策を提示していない。
【0008】
この為、従来技術のみでは実際に前述したような現実に存在している帳票読み取りの運用形態が実施された場合には、文字認識手段として有効なものとはいえなかった。一例として、赤い枠に赤い文字で印刷されている部分と、赤い枠に黒い文字で記入された部分が同居するような帳票については、具体的にどのような手段で読み取るか問題になるが、従来のものでは、これらの問題は解決され得ない。
【0009】
本発明は、上記事情に鑑みてなされたもので、精度の高い文字認識を実現することができる文字認識装置及び文字認識方法を提供することを目的とする。
【0010】
【課題を解決するための手段】
本発明は、入力画像データについて暫定的な色分離を行うとともに、該暫定的に色分離された各部分を構成する画素の幾何学的な情報と、これら各部分およびバックグラウンドの濃度情報を併用して最終的な色分離を決定するようにしている。
【0011】
また、本発明は、予め書式情報に部分領域の定義と該領域毎に実行される色分離に関する情報を用意し、これら情報に基づいて所定の領域での色分離を実行するようにしている。
【0012】
また、本発明は、帳票の入力画像データについて特定色を分離し、この分離された特定の色に対応する書式情報を選択し、該選択された書式情報に対する認識処理を実行するようにしている。
【0013】
また、本発明は、画像データから抽出される複数の代表色をランレングス表現し、これらランレングス表現データを指し示すポインタにより構成されるポインタ・テーブルを生成し、該ポインタ・テーブルのポインタにより特定のデータ部分を参照可能にしている。
【0014】
また、本発明は、画像の色表現形式である色情報、濃淡情報、2値情報に対応して各処理ユニットを用意し、入力された画像の色表現形式に応じた処理ユニットを使用するようにしている。
【0015】
また、本発明は、入力画像がそのままあるいは色分離されて蓄積されるカラー画像バッファ、カラー画像から得られるか、直接入力されるグレー画像を格納するグレイ画像バッファ少なくとも一方を有し、且つグレー画像またはカラー画像から生成される2値画像を格納する2値画像バッファを有し、2値画像を対象とした処理において、入力画像の特定部分を再チェックする場合に、前記カラー画像バッファおよびグレイ画像バッファの少なくとも一方の前記特定部分の対応部分を参照可能にしている。
【0016】
本発明は、入力画像データが色分離され、印鑑の色に相当する部分と記入文字の色部分に分けられ、該記入色の画像データに対して取り消し判定が行われ、該取り消し部分と判定されると、この取り消し部分の位置に対応する印鑑色の画像データの位置部分を取り出して、その部分に印鑑色が存在するか調べるとともに、その存在の有無を出力する2重線取消し処理機能を有している。
【0017】
また、本発明は、入力された画像データから帳票のフォーム・イメージを取り出し、該帳票上の文字を認識するとともに、少なくともその文字の存在位置を記憶し、帳票のフォーム・イメージの色に類似する色によってフォーム・イメージを画像表示するときに、前記認識された文字をその文字が存在していた位置に重ねて表示するようにしている。
【0018】
また、本発明は、入力画像データに対し修正に必要な修正パラメータを属性データとして付与しておき、その後前記属性データに基づいて修正パラメータを再現し該修正パラメータにより画像データを修正して該修正画像データについて画像処理を実行するようにしている。
【0019】
[作用]
この結果、本発明によれば、帳票色や記入色、帳票フォーム部分や文字部分の印刷方法、文字記入方法等に対する制限を緩く運用した場合や、乱雑に記入文字を記入欄に記載した場合などにあっても、高精度の文字認識を実現することができるようになる。
【0020】
【発明の実施の形態】
以下、本発明の一実施例を図面に従い説明する。
【0021】
図1は、同実施例を文字認識装置に適用した場合の概略構成を示している。図において、1は画像入力部で、この画像入力部1には、画像データが入力される。この場合、入力画像データとしては、例えば、RGB(赤、緑、青)の3色からなり、それぞれ多値表現されたものが用いられる。勿論、これ以外の表現形式のものでも良い。
【0022】
そして、画像入力部1では、例えば、色ずれ補正処理、色の偏り補正処理、色変換などを行うようにしている。
【0023】
画像入力部1からの出力は、色分離部2に送られる。色分離部2は、入力画像データから特定の色部分の色画像を分離抽出するもので、これら分離した色部分をバッファ3の各色画像バッファ31、32、…3nに格納する。
【0024】
バッファ3の各色画像バッファ31、32、…3nからの出力は、画像処理部4に送られ。この画像処理部4は後述するランレングス処理などを行うものである。
【0025】
そして、この画像処理部4からの出力は、文字切り出し部5に送られる。文字切り出し部5は、バッファ3から読み出された画像データから文字の切り出し処理を行うようにしている。
【0026】
そして、この文字切り出し部5での切り出し処理結果は、文字認識部6に送られる。文字認識部6は、文字切り出し部5より切り出された文字について認識処理を行うものである。そして、この文字認識部6で認識された結果は、読み取り結果修正部7に送られ、オペレータにより修正されて最終的な認識結果として出力される。
【0027】
このように構成において、画像入力部1には、画像データが入力される。この場合、入力画像データは、例えば、RGB(赤、緑、青)の3色で、それぞれ多値表現されたものである。
【0028】
そして、画像入力部1により、入力画像に対するずれ修正、色の偏り補正の処理、色変換などが行われる。
【0029】
ここで、色ずれ修正は、色ずれ修正パラメータとして、例えば、RGBの各色に対してシフトする量を記述したものが考えられ、その修正は、それらのシフト量を各色について行なう事により実現される。
【0030】
また、色の偏り補正処理は、例えば、RGBの各色に対して色の濃度を変換する事により行なわれる。ここで色の濃度を変換する方式には、ガンマ変換と呼ばれる1個の色の濃度からその色の濃度の変換を行う方式を採用して色の偏り補正処理を実現しても良いし、RGBすべての色の濃度から、それぞれの色の濃度を決めるような関数を用意するようにしても良い。ここでの色の偏り補正パラメータは、それらの関数を決める様な数値データであっても良いし、変換関数そのものであっても良い。
【0031】
本装置では、これら色ずれ修正パラメータや色の偏り補正パラメータを保持していて、これらに基づいて色ずれ修正と色偏り補正処理を行なう。すなわち、文字認識や特徴抽出、線分抽出、2値化処理などの実際の文字認識処理や画像処理作業の途中で、認識不能や抽出失敗が多くなったり、何等かの異常、矛盾が生じたときに修正パラメータによらない色ずれ修正を行い、新たな修正パラメータを得、この結果と修正パラメータが異なるときにパラメータを新しく書き換えることによってパラメータを更新する。
【0032】
この更新は定期的に行なっても良いし、オペレータの指示によって行なっても良い。また、色修正(補正)パラメータは複数の画像入力部1に対応できるように複数個用意されていても良い。この場合、各画像入力部1に対応してそれぞれの色修正(補正)パラメータによる色修正、及びパラメータのアップデートを行なうようになる。
【0033】
色ずれ修正パラメータは、帳票などでの黒い部分に基づく色分析によって求められる。この黒い部分は、入力画像中から自動的に抽出されても良いし、あらかじめ設定されている書式情報に従ってその存在場所や大きさ形が決められていても良い。
【0034】
あらかじめ決められた形のパターンが帳票上に設定されている場合は、帳票中の特定部分に色ずれの修正用の模様やマーク、例えば十字形をセットしておいて、それに基づいて処理を行なうようになる。これら模様、マークはその位置や形状等の情報が書式情報に登録されていても良い。また、この模様部分を帳票番号を記載する文字枠などとして、他の用途と共用する事もできる。
【0035】
一方、色ずれ修正を行うための色ずれ分析は、黒い部分の上下と左右の両側について、補色の関係にある色がどの位存在しているかによって計測される。このような計測は、複数の場所で行い、この結果のアベレージをとって全画面に共通の色ずれ量としても良いし、それらをそれぞれの場所での色ずれ量だと見なしても良い。後者のケースでは全画面で色ずれが一様でない場合に対応できる。
【0036】
図2は、色ずれの測定の方法を説明するものである。この場合、図に示すように黒部分の両側に2重のにじみ、つまり2重のはみだしがあるとすると、各色の切れ目はA1〜A6で表される。この場合、A1〜A2のエリアとA4〜A5のエリアが補色の関係にあり、またA2〜A3のエリアとA5〜A6のエリアが補色の関係にある事を条件に、A1からA2までの距離、A1からA3までの距離が、それぞれ赤信号に対する緑と青の色ずれ量と判定される。
【0037】
ここで、補色の関係とは、両者の和がバックグラウンドカラーA1〜A6の外側、この例では白になることか、またはそれに近くなることである。この考え方は中央の領域A3〜A4が消失している場合でも同様に適用する事ができる。
【0038】
この場合、2重のはみ出しでなく、1重のはみ出しでも適用できる。1重の場合には2つの色のずれ量は同じものとすれば良い。この例ではRGBの順にずれている例を示したが、どの順にずれているかは各エリアの色から判断する事が出来る。
【0039】
帳票中で黒で無い部分についても上述の考え方が適用できる。この場合は、隣接する部分での色の変化に基づいて色ずれ修正パラメータを決定する。つまり、バックグラウンドの色のRGBの濃度値をR0、G0、B0とし、対象部分の色をR1、G1、B1とすると、色ずれを生じている所の色の変化は図3に示すように表すことができ、この表から色ずれが起きているかどうかと、色ずれ量を判定できる。
【0040】
この場合、A1〜A2のエリアとA4〜A5のエリアの和をとると、それはA3〜A4のエリアの色とバックグラウンドの色を加えたものとなり、またA2〜A3のエリアとA5〜A6のエリアについても同様の事が言えれば、この例の場合はA1とA2の距離、A1とA3の距離がそれぞれ赤信号に対する緑と青の色ずれ量と判定される。また、仮にA3〜A4のエリアが消失していたり、2重のはみ出しでなく1重のはみ出しの場合でも、各エリアの色の状態からR0、G0、B0、R1、G1、B1を決定できるので、上述した考え方を使用してやはり色ずれ量を求める事ができる。
【0041】
一方、図4に示すようなカラー印刷されたマークを検出し、その中にある赤、緑、青の各色のずれを調べる事により色ずれ量を検出する事ができる。
【0042】
また、この様なマークの各色から色の偏り補正処理を実行する事もできる。すなわち、画像入力部1から得られるマークの色情報と本来期待されるべき色情報の差に基づいて色の偏り補正の為のパラメータまたは関数を決定する事ができる。
【0043】
また、画像入力部1に入力される画像データを生成するスキャナーのスキャンされる面上の特定部分に色ずれの修正用のパターンを設定し、これから作られる入力画像中の模様に基づいて色ずれ修正や色の偏り補正を行なっても良い。
【0044】
図5(a)(b)は、さらに異なる色ずれ量を求める方法を示している。この方法は、赤、緑、青の各色の濃度値が変化している部分で、各色の波形をずらしながらマッチング、すなわち重ね合わせを行ない、それらが最も重なる位置で各色のずらし量を求めるようになる。ここでのマッチングの方法はパターン認識の分野で良く使われているマッチング技術を使用する事が出来る。
【0045】
色ずれ修正の作業は、図5に示す様な各色の変化部分だけで実行するようにして、バックグラウンド部分や印刷部分や記載部分などの色ずれの影響の無い部分は色ずれ処理を施さないように構成しても良い。これらの部分では各色をずらしても結果が変わらないからである。これにより色ずれ修正の高速化がはかれる。入力画像の色ずれがはっきりわかる部分や特定位置を拡大表示する機能により、色ずれ状態をオペレータが確認しやすくする事ができる。
【0046】
色ずれ修正において、入力画像を1画素単位よりも細かい単位でずらすのは、例えば補間を使う事によって可能となる。この場合、移動すべき位置の濃度値を、その位置の近傍の画素の濃度値から補間計算して決定する。
【0047】
なお、上述で述べた事は、色のボケ方が違うケースにも適用する事が出来る。図6は、黒の両端に赤が出現している例であるが、この様なケースは赤に対して緑と青の焦点がずれてボケている事を示している。
【0048】
この様に、補色ではなく同色が両側にある場合にはボケ修正用パラメータを得る事ができ、これにより各色のボケ程度をそろえる事ができる。
【0049】
また、上記の各種の補正、修正作業は、前もって行なわず、後で述べる文字抽出プロセスや文字認識プロセスの中の処理でそれらの補正や修正用パラメータを考慮して当該処理を実行する様にしても良い。
【0050】
そして、この様にして色ずれ補正、色偏り補正された画像入力部1からの出力は、色分離部2に送られる。
【0051】
次に、色分離部2での色分離の方法を述べる。
ここでは、帳票色登録機能について述べると、OCRに帳票(記入済みでも未記入でも)を入力した時に、その画像から色分析をして、その帳票が何色をしているか、すなわちどの部分がどの様な色をしているかを調べ、それに基づいて書式情報に色情報を登録する。登録データとしては、単に色の種類数と色データ(RGB)というものから実際の帳票イメージまで登録してしまう手段が可能である。
【0052】
勿論、この時、インタラクティブにオペレータが登録内容を修正できる。これは例えば、テスト的に入力した帳票の画像に対して、様々な色についての色抜き出し(消去)をトライアンドエラーで行ない、うまく帳票の印刷部分を抜き出せる(消せる)色を書式情報に登録するなどの手段である。
【0053】
また、画面上に人工的な色データ、または帳票の入力画像を表示し、その上のある位置を指示する事によりその場所のRGBやVSHや色名称を出力し、オペレータが登録色を決定するのに分かり易いようにする事もできる。
【0054】
このような処理について、ズーム機能によってオペレータが画像の一部分を拡大縮小するようなことができれば便利である。
【0055】
このようにして作られた書式情報に基づいて、ある特定の色を分離抽出する処理が実行される。
【0056】
書式情報に登録された色情報(背景色、記入色を含み、それぞれ複数の可能性を持っていて良い)に基づいて、消去すべき部分を取り除き、認識すべき部分を抽出して認識する。
【0057】
この場合、消去すべき部分を書式情報によらず、入力画像から得られる色情報のみから自動的に決定する様にも構成出来る。たとえば簡単な例では特定の色のみを消去したり、あるいは、帳票のフォームを構成する線らしさや、その色から自動手的にフォーム部分の色を決定できる。認識すべき部分についても同様である。
【0058】
色分離は、RGBから明度、彩度、色相(VSH)に変換し、それに基づいて行なう事も出来る。また、RGB、またはVSHの空間で距離を定義し、それに基づいて色を分離する事も有効である。
【0059】
色の名称を定義し、それに基づいて色を分離する方法はマンマシン・インタフェースを考慮に入れると有力な方式である。この場合、書式情報における定義などもこの色名称によって行なわれる。
【0060】
この様なシステムでは各色の名称と、RGBやVSHなどの色表現データとが対応づいて登録されている。従って、書式情報などに登録された色名称はRGBやVSHなどの色表現データに変換されて使用され、また逆にRGBやVSHなどの色表現データがオペレータに提示される時は、それはもっともそれに近い色名称に逆変換されてオペレータに知らされる。
【0061】
次に、色分離の一般的な方法について述べる。
ここでは簡単のためにグレー画像の例で説明する。グレー画像の濃度値の頻度分布をとった例を図7(a)(b)(c)に示している。この場合、0で黒、1で白、中間部分が暗い灰色から明るい灰色としている。そして、Aの分布は図8に示すの画像の頻度分布を取ったものである。この図では灰色で書かれた数字「5」(Aの部分)の真ん中に明るい灰色の直線(Bの部分)が貫通している例である。これらの頻度分布がそれぞれ図7のAとBに対応している。この時、直線部の一部分bは暗くなっており、頻度分布のbに対応して数字「5」の一部分aは明るくなっており、頻度分布aに対応している。これらにより全体の頻度分布はCとなる。この頻度分布から色分離に対応する濃度分離を行うと、頻度を濃度値mで区切ってXとYのエリアに分けられることになる。
【0062】
ところが、この分離法で画像を分離すると、図9(a)(b)に示すようにaやbの部分がノイズとして残ってしまう。また直線は数字「5」によって分断されてしまう。
【0063】
データが濃度情報だけでなく例えばRGBの3色の色情報の場合は、前に説明した例と同様に、1次元だったものを3次元に拡張して考えればよい。3次元空間の中である領域の色を同一色と見做して色分離すればよい。
【0064】
しかしながら、このような濃度の色空間内における領域分割だけで、色分離するのでは、前に述べたように正しい色分離はできない。この場合、Aの部分は直線であるとか、Bの部分は数字「5」であるなど各画素の幾何学的な情報、すなわち位相情報を濃度情報と併用しない限り、正しい色分離は論理的に不可能であることはこれまでの説明で明らかである。
【0065】
これを更に詳しく述べると、いま、図9(a)に示す結果が得られたとする。ここで、それぞれのブロックa、x、y、z、wについて、それらの各組についてそれらが直線の一部であることをチェックする。この結果、例えばxとyの間のエリアでは濃度値が暗くなっているので、これらの間には何か黒い線が可能性があることになり、xとyは直線の一部である可能性ありとなる。同様なことがyとz、zとwについてもいえ、また、x、y、z、wの全体としても直線性が肯定的となる。これらを各ブロックの輪郭線を延長することにより接続して、図10に示すような1つの直線として得ることができる。
【0066】
また、例えばaとyは輪郭線の延長がマッチしないことや、間にバックグラウンドカラーが存在するなどの理由により、接続不可能である。従って、aは孤立したブロックであり、ノイズとして除去される。逆にbの凹みは輪郭線を追跡することにより発見されるが、その凹み部分の濃度値が暗いながらもその輪郭線がxyz全体を直線と見做したときの輪郭線と一致することから、bは直線の一部と判断され、最終的に図11に示すような直線を得ることができる。
【0067】
図9(b)に示す数字「5」についても同様で、曲線らしさや文字の形状に関する情報から正しく数字「5」を抜き出すことができる。
【0068】
すなわち、本発明では、暫定的な色分離の後、暫定的に文字切り出し処理、文字認識処理、線分抽出処理、フォーム構造理解処理などを施し、それらの結果を用いることにより最終的な色分離結果を決定するというものである。すなわち、認識、抽出、理解などの処理途中やその結果で色分離が疑わしいと判断される場所があれば、フィードバックを行って、当該部分の色分離についてその結果を使いながら、分離処理のやり直しを実行するように構成すると言う事である。
【0069】
他の例として、例えば直線部分を多く含み、また必要な場合にはそれらの並びを調べることによって、それらが帳票のフォーム部分(未記入帳票画面)を構成していることが判明した時に、それらをなす色を自動的に帳票のフォーム部分の色として決定することができる。
【0070】
また、文字程度の大きさの塊が連続している場合には、それらの色を文字の記入色、印刷色として決定できる。
【0071】
このように、本発明では、書式情報に登録された色情報や書式情報そのものがないときでも、入力された帳票から色分析して自動的に帳票を構成する複数の代表色を分離することが可能である。勿論、書式情報に色情報や書式情報が定義されているときは、もっと容易に上記の目的が達せられることはいうまでもない。次に、図12は領域a、b、cからなる直線の近くにノイズdが存在する例である。そして、a、cの色をC1、領域b,dの色をC2とし、C2はC1とバックグラウンドカラーの中間的な色であるとする。
【0072】
このような画像に対して、ある任意の点を領域の種としてそこから始めて徐々に領域を拡大していく。この領域拡大については、その領域の色と同一の色と見做せる画素で、当該領域に接続している画素をその領域に取り込むことによって拡大していく。どの領域にも属さなくなるまでこれを繰り返すことにより、同図に示す4個の領域a、b、c、dが抽出される。
【0073】
このような領域抽出法は、画像処理分野で知られている領域セグメンテーションの方式で、これは領域成長法と呼ばれる手法の1つである。この他に、スプリット・マージやリラキゼーションなどの様々な方式が可能である。
【0074】
次に、各領域部分について前に述べたと同様な方法で直線性の判断からbを直線一部、すなわちbの部分の色をC1として分離し、dの部分をノイズ、すなわちC2の色として分離する。
【0075】
一般的にいえば、本発明は領域セグメンテーションを行っての領域の代表色を決め、それらを総合的に判断して全体における代表色を決めるというものである。また、必要に応じてこれら代表色の情報から色分離を行う。
【0076】
領域セグメンテーションに色の近さの情報を導入することによっても本発明による正しい色分離を行うことができる。例えば成長法で行っている時に同一色であるとの判断を緩めておけば、a,b,cが1領域として検出されるようにも設定できる。
【0077】
すなわち、成長の過程で接触している輪郭部分の多い領域についてその両者の色が近いとしたときに、具体的にはC1とC2が近いと判断されたとして、これらをマージして1つの大きな領域にする。こうすればdに大きく接触するC2に近い色は無いかまたはそれはバックグラウンドカラーなので、それはいずれにせよノイズとして無視されてしまう一方bの領域は直線の一部として正しく領域抽出される。
【0078】
このような本方式では色情報の他に画素の位相情報、すなわち各画素の幾何学的関係を使っているので、従来の単に色の統計的な情報だけに基づいて代表色を決めたり色分離する方式よりも、高精度な代表色決定や色分離が可能となる。
【0079】
ある特定の色を分離抽出する為に、画像の色情報と画像内で表現されているもの、すなわち図形、直線、曲線、文字などの形状情報の両者を用いる事は有効である。図13(a)(b)はその例を示したものである。131は青い直線の途中が青緑に変性しているものである。これから単純に青色を分離すると132に示すように直線はかすれてしまう。また、であるからと言って青緑の部分も青と見倣してしまうと、例えば、133に示すように青い直線に青緑のゴミが付着している様なケースでは134に示す様なゴミの付着したままのイメージが色分離されてしまう。
【0080】
そこで、本発明では、まず青い部分について形状分析を行ない、PとRの部分が直線である事を認識し、次いでかすれ部分とみなされるQの部分をしらべ、P、Q、Rの色が近い事、またP、Q、R全体で直線とみなされる形状を持っている事を条件として、P、Q、R全部を青色エリアとみなして色分離する。この様にすれば133に示す様なケースでもゴミのエリアAが誤って青色に色分離される事はなくなる。
【0081】
図14は、青い線と赤い線がオーバーラップしている様子を示している。A1、C、A2は青い線、B1、C、B2は赤い線である。Cはオーバーラップエリアで紫色をしている。
【0082】
この場合、通常の方法で赤を抜き出しても青を抜き出してもCを抜き出す事はできない。また、赤を抜き出す時に常に紫を抜き出す様にすると真に紫色をしている部分で抜いてはいけない所まで抜いてしまう事があり、不都合である。
【0083】
そこで例えば青を抜くケースでは、まず、青に接触しているエリアを観察し、そこに当該青色とは別の色の混色である可能性のある色が存在している時、さらにその混色エリアの近傍を調べて該混色をなすもう一方の色が存在するエリアがある時には、その混色エリアも青のエリアとして抜き出すこととする。
【0084】
この時、この青のエリアA1、A2の形状が直線を表しておりまた、混色をなすもう一方の色であるB1、B2のエリアも直線を表しており、Cのエリアもそれらの直線に矛盾しない事をチェックする様にすれば、より一層精度の高い色分離が可能となる。
【0085】
この場合の形状チェックは直線だけでなく、曲線や、図形、文字形状ないし文字である確からしさ、などのチェックによっても良い。
【0086】
図15は別の例である。エリアCが赤みがかった黒であれば上記とほぼ同様な処理で色分離ができるが、赤と黒の混色が黒であるとすればxとz、yとwを接続することによって赤の色分離が可能となる。またB2エリアが存在しない時でもxとzを接続する曲線をエリアB1の形状から推定する事により、赤の色分離が可能となる。
【0087】
線幅情報と色情報の両者を使う事によって色分離を行なう方法は効果的である。この場合書式情報に色分離にかんする指定を記載するとすれば、色分離すべきものの色に関する情報に付加して線幅のしきい値や、ハッチングの場合には線のピッチなどの情報を設定する。
【0088】
図16は帳票上に観測される線161上のある部分に設定された円領域162を示すものである。例えば、その中の黒がその重心位置からN方向に黒がその存在を調べて、その黒画素の連続する長さが最小になる方向の長さを持って線幅と見做す方式が知られている。また別の手段としては、縦横の黒画素のランレングスから線幅の推定値を求める方法も考えられる。いずれにしても、このようにして部分的な線幅情報を得る方法は公知である。
【0089】
これにより、その部分が特定の色をしているのか、または特定の色でないかという事実と、その部分に決められた線幅以下の部分であるかどうかという事実の両者を使うことによって効果的な色分離を行うことができる。
【0090】
上記の手法で、例えば帳票上で図17のようなハッチングが施された領域から、同一色で線幅の広い文字部分171を抜き出すことができる。また、この時、仮に線幅が狭くても、色の違う部分は例えば、172の様な部分はハッチング部分を消去した後でも分離して残す事ができる。
【0091】
ところで、具体的な色分離の指定方法には次に示すものが主要なものである。特定の色を分離する場合、特定の色以外を分離する場合、無彩色を分離する場合、有彩色を分離する場合、白を分離する場合、黒を分離する場合、またはそれらの組合せである。
【0092】
特定の色の分離する場合は、色相(H)の値を主に基準として判別する。無彩色、有彩色の分離の場合は、彩度(S)の値を主に基準として判別する。白や黒を分離する場合は彩度(S)の値が小さいものの中から明度(V)の大小で判定を行なう。
【0093】
色分離した後の結果から、帳票の中でバックグラウンドカラーである可能性のもっとも高いもの、例えば、もっとも支配的な代表色を選ぶ事ができる。すなわち、各代表色の中で総面積の最大の色を選ぶのである。この結果を認識結果に付加して出力する事は有用である。すなわち自動的に推定されたバックグラウンドカラーを認識結果に付加して出力するのである。
【0094】
また、認識された帳票のフォーム部分の色や、帳票上の特定部分の色を出力する事も有用である。
【0095】
また、認識結果として得られる文字コードにその文字の帳票上での色やその文字の記載された位置のバックグラウンドの色や、その文字を囲む文字枠の色などを付加して出力することも有用である。
【0096】
また、フォーム部分の色情報は罫線情報などと共に帳票判別に用いる事も可能である。
これら抽出された色情報に基づいて、オペレータにアラームを出したり、その旨を表示する様にも構成できる。また、その色情報に基づいて修正画面表示を変える様にも構成できる。
【0097】
帳票上の各部分領域ごとに色分離手段を変えることは非常に重要な手段である。
【0098】
まず、あらかじめ書式情報には部分領域の定義とそのエリア内で通常の2値化処理を行うか、または色分離処理を行うかが記載されている。実際の処理が行われる時点で、例えば図18に示す帳票が入力されたとする。この帳票において、認識すべきエリアは181で、画像のみを取り出して、その画像データをそのまま出力すべきエリアが182である。書式情報にはそのように記載されているとする。この場合エリア181では、文字枠を示すプレプリントの部分を取り除いて文字を認識する必要がある。一方、エリア182では文字枠や項目名などのプレプリント部分は消去してはいけないので、それらの色は取り除かれない。もし、この場合にそれらを一様に色分離してしまうと不都合を生じる。
【0099】
この場合の具体的な処理は次の様にして行なわれる。エリア181に関しては書式情報に基づきカラーデータで画像を入力する。一方、182に関しては2値で画像を入力する。また182に関しては入力されたカラーデータに対してRGBの平均値を計算してモノクロ画像を得、それを2値か処理して2値画像を得るようにしてもよい。次に、書式情報に基づきエリア181では文字枠の色を分離して消去する。そしてこれに対して文字認識が実行される。182についてはそのまま画像データが出力される。
【0100】
こうすることによって、処理時間のかかる色分離作業を帳票上の一部分だけに限定することができる。通常の2値か処理は短時間で実行できるので、色分離作業を一部分に限定することにより、全体的な処理時間の向上を図ることができる。
【0101】
上記の例は、色分離するかどうかを部分領域ごとに変える方式であるが、色分離手段を複数の方式から選択する方式も可能である。
【0102】
例えば、エリア182の印鑑部の領域に於いては、赤または橙の色分離を行うように設定された色分離プロセスを起動し、またエリア181においては黒色を分離するようなプロセスを起動するように書式情報を登録することによって文字認識と印鑑抽出を高速に行うことができる。こうすれば、すべての領域についてすべての代表色を色分離するというような、従来の方式、例えば特開平3−14077号公報などの方式に比べて、高速に処理を行うことができる。
【0103】
本発明では、これらの指定に附属して、その領域における文字の切り出し手段、文字認識手段、文字認識後処理手段などを複数の方式の中から特定のものを選択できるような指定を行なえる様にしても良い。
【0104】
帳票の特定部分において特定の色を色分離し、その部分にその色が存在するかどうかを判定し、存在すればその色の対象物を認識し、その認識結果を出力する機構は便利である。当該色の認識対象物が無いと判断された時は、その旨出力する。またこの時、その部分に記載された対象物の色を出力するように構成しても良い。もちろん、この時に認識対象物を認識することなく、これらの判定結果や色情報のみを出力するように構成しても良い。
【0105】
この時、印鑑判定部を本装置に組込むことにより当該部分に印鑑が存在するかどうかや、その印鑑がどの種類のものであるかを判定し、その結果を認識結果として出力する事ができる。たとえば、印鑑がない時や、所定の印鑑が押されていない時にそれを自動的にオペレータに知らせたり、警告するようにシステムを構成できる。すなわち、これら抽出された印鑑情報に基づいて、オペレータにアラームを出したり、その旨を表示する様にも構成できる。また、その印鑑情報に基づいて修正画面表示を変える様にも構成できる。
【0106】
印鑑判定部は例えば、特定の色、例えば赤で色分離した画像から、当該色の対象部分が存在している事、またその部分の外側の輪郭形状がたとえば丸や楕円である事、また内部形状がある程度複雑である事実等から判定できる。
【0107】
また、印鑑の形状の類似性の判定は、パターン認識等で良く用いられているパターンマッチング処理などにより行なう事ができる。
【0108】
帳票の色分離を行なう事によって得られる結果や、さらにそれらに何らかの処理を施した結果を画面に表示し、オペレータの確認を待って次の処理に進む様にも構成できる。この場合、オペレータが処理結果に不満であれば、処理結果を直接修正できる様な機構を設けても良いし、また何らかのパラメータを変更してもう一度当該処理をやり直しさせられる様にも構成して良い。
【0109】
また色分離時に判定困難な色が発見された時に、それを必要な場合にはその周囲の状態と共に表示して、オペレータに正解入力を促す様にも構成できる。以降、この正解データに基づいて色分離処理を行なうようにも構成できる。
【0110】
まず、記入欄に対応する部分に第1の特定色、例えば黒に色分離される部分があり、それらが文字列として認識されれば、それを認識結果として出力する。同様に、必要であれば第Nの特定色まで同様の処理を繰り返しても良い。これらに関してはこの特定色が帳票のフォーム色と同一でなければ、色分離された画像データの中では、文字枠や記入欄は消去されていると見倣され、文字認識には「枠なし文字認識方式」が適用される。また逆にこれらが同一であるときは「枠あり文字認識方式」が適用される。記入欄のどこにも何も存在しないと見倣された時には空白を出力する。
【0111】
またこれとは別に次の様にもできる。帳票のフォームの色と同一色でない色として分離された部分がその記入欄に存在して、それらが文字列として認識されれば、それらを出力する。この場合には文字枠や記入欄は消去されていると見倣されて、文字認識に「枠なし文字認識方式」が適用される。そしてその記入欄で、フォームと同一色の存在範囲が小さければ、記入欄の文字はフォームと同一色で記載されていると見倣されて、文字認識には「枠あり文字認識方式」が適用される。記入欄のどこにも何も存在しないと見倣された時は空白を出力する。これらの処理はどちらが先に行なわれても良い。
【0112】
「枠なし文字認識方式」とは、文字枠が存在しないと仮定して文字の切り出しと文字認識を行なうもので、さまざまな方式が知られている。
【0113】
「枠あり文字認識方式」とは、文字枠が存在すると仮定して文字の切り出しと文字認識を行なうものである。これにはあらかじめ文字枠の位置や形状が書式情報などから与えられている「既知形状文字枠あり文字認識方式」と、そうではない「未知形状文字枠あり文字認識方式」の2種類がある。これらは、それぞれ書式情報の内容によってどちらかが採用される。
【0114】
またいずれの方式においても、「罫線接触あり文字認識方式」と「罫線接触なし文字認識方式」があり、実際のパターンの状態からどちらかの方式が選択される。
【0115】
これらは次に示す手順で実行される。最初に文字枠推定処理が行なわれ、文字枠位置、またはその候補が決定される。次に文字部分を推定し、文字と文字枠の接触の度合を調べる。もし、ここで接触が少ないか無ければ、「罫線接触なし文字認識」が選択される。もちろん、接触か非接触かで方式を分けない様に構成することも可能である。次に、求められた罫線位置情報に基づきながら文字の切り出しと文字認識を行なって行く。罫線接触がある場合には、適切な文字と罫線の切り離し処理が行なわれる。
【0116】
これら罫線切り離し技術や、接触文字の切り離し処理を伴う様な文字の切り出し処理や文字認識処理については、そうでない場合も含めて従来技術として知られているものを使う事ができる。
【0117】
この様に構成する事によって、常に同一の方式で文字認識するよりも格段に精度の良い認識系を構成する事ができる。
【0118】
なお、色分離と色ずれ修正を同時に行なう事ができる。色の偏り補正や色のボケ具合をそろえる補正処理なども同時に行なえる。例えば黒い部分を分離する場合、もし、あらかじめ色ずれ修正パラメータが判明している時には、RGB各色のシフトと色分離(特定の色を取り出す作業)を同時に行なえば良い。また、もしあらかじめ色ずれ修正パラメータが決まっていない時でも、黒い部分の両側に補色関係の色があれば、それらから色ずれを推定して、その結果に基づいてRGB各色をシフトしたと見なした上での黒部分を分離すれば良い。他の色についても同様の処理が可能である。
【0119】
次に、画像処理部4での色の表現について説明する。
画像処理部4では、色分離することにより得られた複数の代表色、すなわち微妙な色の違いを無視して選ばれた色について、または、入力された画像データについてこれらを画像の1ライン毎にランレングスとして表し、この1ライン分の表現に対してポインタを作り、このポインタ列からなるテーブルを作成して、このポインタ列と該代表色ランレングス表現からなるデータを画像データとして格納する。そして、このような画像表現を入力として、色表現に基づいて画像処理または文字認識を行う。
【0120】
まず、色ランレングス表現の画像からその中の一部分をもとのビットマップデータに変換して文字認識や画像処理を行うことができる。色別のランレングス表現や色別のポインタになっていないと、一部分のデータを復号化することができず、画像全体を復号化しなければならなかった。またポインタ表現されたテーブルと白黒ランレングスデータ表現を組み合わせた形式の画像表現に対して文字認識を行う方式も知られているが、このままではカラー画像を扱うことができなかった(USP4426731)。ある部分のある特定の色部分をビットマップデータに変換したい場合、その部分に対応するラインのポインタから色表現されたランレングスデータを参照して特定の色に関するものだけでビットマップを変換するか、またはその部分の特定の色のポインタだけを参照してそのポインタが指し示すランレングスデータからビットマップデータを得るようにすれば、高速に特定部分の特定色のみを抽出することができて、それに基づいて文字認識や画像処理を行うことができる。これにより全画面を復号化して前記処理を行うよりもはるかに高速な処理が可能になる。また、復号化せずに直接ランレングス表現に対して処理を行うようにすれば一層高速な処理が可能になる。
【0121】
帳票に現れる代表色について、それらはあらかじめ書式情報に記載されていて、それに基づいて抽出されたり、そうでなくて自動的に抽出されたりするが、それら代表色に基づいて画像を次の様に表現する。
【0122】
この場合、代表色を表すコードCと、その色が連続する長さ、またはそれを符号化したものをLとすると、それらの組CLを求め、これらの連続によって1行分の画像を表現する。図19は、コード化の一例を示している。これはランレングス表現のカラー化である。
【0123】
また、各代表色ごとにランレングス符号化する方法も使用できる。この場合、図20(a)の200に示すように1ラインごとに各代表色のランレングス表現をまとめておく表現方法と図20(b)の201に示すように全画面分のランレングス表現をまとめておく表現方法があり、また、各ラインのランレングス表現の先頭を指すポインタの設定方法にも、図20(c)の202に示すように1ラインごとに各代表色のポインタをまとめておく方法と図20(d)の203に示すように各代表色の全画面分のポインタをまとめておく方法がある。
【0124】
また、RGB各色を量子化して、各RGBごとに同様のランレングスコーディングする事もできる。これらのコード化は隣あう画素間の少しの色の違いをノイズと見なして無視する事によって、それらを代表色や量子化濃度で近似する事により実現される。
【0125】
ランレングス表現の画像に対して直接、画像処理を施す例は、例えば特開昭62−246138号公報、特開昭62−307615号公報などに開示されている。これらはすべて白黒ランレングスデータに対する画像処理方式であるが、これを各色のランレングス表現に当てはめて実行することができる。また、これらの画像処理技術に基づいて文字認識を実行することも可能である。
【0126】
例えば、特定領域内の特定色の長い直線を検出する場合は、その特定領域を指し示すポインタを参照して該領域を含む部分の特定色の表すンレングスデータを得、そのうち、ランの長さが長くて該部分領域に含まれるものを得て、隣り合う長いランを統合することによって直線を検出することができる。
【0127】
別の例として色ランレングス表現の画像に対して直接、画像処理を行う例を下記に示す。この場合の画像処理の例は、色ずれ修正処理である。
【0128】
これらのコード化された情報に基づいて画像処理、文字切出し、文字認識を行なう事により、例えばRGB画像に対して処理するよりも処理速度を速める事ができ、また画像を表現するデータ量を圧縮する事ができる。
【0129】
色ランレングスで表現されたデータに対して色ずれ修正を行なう事もできる。たとえば画像をRGBに分離してラン表現を作っている時(図20(d)の203)は各行の先頭ランの長さを変更するだけ1画素単位のシフトは簡単に実現できる。
【0130】
1画素単位以下のシフトの場合は次の様な処理で実現される。まず各ランの境界部分の画素の値を調べて、その濃度値から各ランの長さを整数から実数に変換する。境界画素におけるその色の濃度が高いほどランの長さを長く、低い程短くするように各ランの長さを変更する。この時、各ランの総合計は変えないようにする。
【0131】
次に、先頭ランの長さをシフト量に従って変更する。1行のラン表現が左から右に行なわれている場合には左シフトの時は先頭ランをその分短くする。右シフトの時はその分長くする。その後、各ランの総合計を変えないように各ランの長さを整数化する。これで、ラン表現上での画像のシフトが実現される。
【0132】
たとえば画像を色コード+ランレングス表現で表している時(図20(b)の201)は、各1行ラン表現の中で3個または4個のランの連続を調べる。この連続したランの両はじのランにはさまれたランの色と長さが色ずれによって生ずる可能性があるかどうかを、シフト量と量はじのランの色から判断し、色ずれが原因の場合はそのランを消滅させ、各色のシフトがあったとして変更されるべき両はじのランの長さを変更する。または、各ランを例えばRGBに色分解して事実上図20(d)の203と同様な表現にかえて色ずれシフトを行ない、また元の表現(図20(b)の201)に戻す手段も可能である。
【0133】
いずれにしても、この様な手段で色ラン表現の各色を直接原画像に戻す事なく、ずらす事ができる。
【0134】
なお、上述の色分離を2段階に別けて行うことにより、処理の高速化を図ることができる。第1段階で細かな色の違いを余り無視しないようにして色分離を行い、その結果に基づいて第1の色のランレングス表現を作り、次にこのランレングス表現のデータに基づいて第2の色分離を行う。そして必要があれば第2の色分離の結果に基づいて第2の色ランレングス・データ表現を作成し、これを画像処理や文字認識処理の入力データとする。
【0135】
一般に色分離は、処理時間が掛かるので、第1の色分離に簡単で高速な方式を用いて粗く色分離を行っておき、これに対して処理時間のかかる第2の色分離を行って精密な代表色の決定を行うようにすれば、直接原画像に対して第2の色分離処理を行うよりも高速で分離処理を行うことができる。
【0136】
第2の色分離手段としては、上述した各方式が考えられ、これらは処理時間を要する色分離手段である。一方、特開平4−160486号公報に示されるものは、単純で高速なので、第1の色分離に適している。
【0137】
RGBの値は、明度(V)、彩度(C)、色相(H)に変換してこれらの空間の中で色処理した方が良いし、また色の指定もこれらの値によって行なった方が便利である。これらの変換はたとえば次の様にして実現される。
【0138】
まず、明度(V)はRGBの濃度値の平均値として定義できる。次に彩度(C)は最小の濃度値に基づいて定義できる。すなわち、最小の濃度が0に近いほど彩度は高い値をとる。なぜなら、この場合は濃度値の高い色と濃度値の低い色の濃度値の差が大きいので鮮やかな色が得られるからである。色相(H)を定義するためには、まずRGBの各色に対応する数値を定める。例えばRを0、Gを128、Bを192とし、BからRへ至る色の変化を表すときは、Rを256として扱う。次に最大の濃度値の色を示す数値と次の濃度値の色を表す数値の間の数値をそれらの濃度値の比で求めそれを入力色の数値すなわち色相とする。
【0139】
具体的には次の手順で求めることができる。r、g、bをそれぞれRGBの濃度値、h、s、vをそれぞれHSVの値として、変換の手順をC言語で記述すると、下記のようになる。
【0140】
このような変換は、上記に限られるものではないが、これらの値をテーブルルックアップによって求める様にしても良い。すなわちRGBの値を量子化し、各色をNR、NG、NBビットで表現し、アドレス空間がNR+NG+NBビットのテーブルを用意して、このテーブル内のRGBの値に対応するアドレスにそのRGBが表す色に対応するHSVの値を格納するようにすれば良い。また画像入力部1からの入力画像の色表現がHSVであっても良い。
【0141】
また、これらの変換を色の偏り補正と同時に行なっても良いし、これらの変換を色ずれ修正と同時に行なっても良い。
【0142】
ところで、画像の表現には3種類あり、これらは各画素が色情報を保持している場合(C)、濃淡情報を保持している場合(G)、2値化されている場合(B)である。
【0143】
前者はより高度な認識処理に向いているが、後者は高速処理に向いている。高度な認識処理を必要としない部分にカラーデータを割り当てる事や高度な認識処理を必要とする部分に2値データを割り当てる事はシステムパフォーマンスを向上させる観点からは望ましくない。そこで、帳票上の各部分ごとにデータ表現形式を指定する機構を導入する事は重要である。具体的には書式情報などに領域指定とその領域における画像表現形式を記載できるようにする。
【0144】
画像入力部1が前記CGBのいずれの画像を出力するのかは、1種類に限定されている訳ではない。そこで、本発明装置では(C)に対応して文字認識する機構、(G)に対応して文字認識する機構、(B)に対応して文字認識する機構のうち少なくとも複数の機構を備えていて、入力画像の種類に応じて処理を行なう様にする。
【0145】
図21は、上述の手段を具体化するための構成で、画像入力部211からの出力をそれぞれカラー画像バッファ212、グレイ画像バッファ213、2値画像バッファ214に各別に取り込み、それぞれについて認識部215〜217において文字認識を行い、これらの認識結果を読取り結果修正部218を介して出力するようになる。
【0146】
読み取り対象帳票によって、それぞれCGBのいずれで画像入力したら良いかがあるので、書式情報等には入力すべき画像の画像表現に関する指定ができるようになっていると便利である。この書式情報の画像表現に関する指定に従って画像入力装置に指定の画像表現の出力をリクエストする。画像入力部1はそれに応じた画像を送ってくるので、本装置はそれに対応する処理を行なう。
【0147】
しかし、画像入力部1がリクエストに応じられない場合や、本装置からリクエストしない場合には、あらかじめ分かっている画像表現のデータが送られて来る訳ではないので、この場合には画像データに付随しているか、あらかじめ設定されている画像表現データの種類に応じて認識処理などを行なう様にする。
【0148】
また画像入力の対象が画像ファイル、すなわち、磁気ディスクなどに蓄えられたデータの時には、そのファイルにはデータの画像表現形式を判定できるデータが付加されており、それが、画像データと共に本装置に入力される。FAXなどの通信回線を通して送られる画像データについても同様であることは前にも述べた。
【0149】
本機能は文字認識を行なうシステムと複数の端末と複数の画像入力装置をネットワークで接続したようなシステム構成の時に有効である。何故なら、ネットワークに接続された画像入力部1には各種のものが存在する可能性があり、それらに自由に対応できるからである。
【0150】
次に、このようにして色表現された画像(C)、濃淡表現された画像(G)に対する文字認識処理について述べる。
【0151】
まず、CまたはGの画像を2値化して、その2値画像を認識対象とする。文字の検出切出しや文字認識の際にかすれや潰れ、輪郭乱れなどの疑いのある場所が発生した時に、CまたはGの画像の当該部分に対応する部分を調べる。従って、本装置では、2値化の後もCまたはG画像が保持されている。
【0152】
図22はブロック図である。この場合、入力されたカラー画像はそのままかあるいは色分離されてカラー情報としてカラー画像バッファ221に蓄えられる。この時、そのままのカラー情報と、色分離後のカラー情報を別々のバッファに格納してもよい。次に、カラー情報からグレー画像が例えばRGBの濃度値の平均値を計算するなどして得、グレイ画像バッファ222に格納する。入力画像がグレーの時は、それは直接このバッファに入力されてカラー画像バッファは省略される。
【0153】
次にグレー画像に対して2値化処理を施すことによって2値画像を生成し、2値画像バッファ223に格納する。次に2値画像バッファ223のデータから1文字分の画像データを取り出し、これに対して文字切り出し部224で文字切り出しを行い、文字認識部225で文字認識を行う。例えば図23(a)(b)(c)に示すようにAやBのパターンが辞書パターンとして記憶されているものだとして、これらと入力パターンのXのマッチングが取られる。例えば、テンプレートマッチングのような手法によってマッチングする。
【0154】
その結果、AとBのマッチング程度が同じくらいでどちらか判定がつかなかったとすると、この時辞書パターンAとBの組には、詳細認識判定プロセスが付属しており、このような判定不能時に起動されるものとする。
【0155】
この詳細認識判定プロセスでは、入力パターンの特定部分について調べるような指定がしてある。この場合、入力パターンのYの領域部分について穴が開いているかどうか調べるという指定がある。
【0156】
そこで、この領域に対応するグレイ像バッファ222を参照してそこの濃度値を調査する。その濃度値が周囲の濃度よりもバックグラウンドの濃度値に近ければ、穴が開いていると判断して入力文字は「8」と判定される。その逆の時は「9」と判定される。
【0157】
グレー画像の変わりにカラー画像バッファ221を参照するときも同様である。文字切出し部224においても同様にグレー画像バッファ222やカラー画像バッファ221を参照することがもきる。
【0158】
例えば、図24は2個の文字が接触している例である。この画像を縦方向に射影成分、すなわち黒画素数を計算すると、同図のAのようになる。この射影成分分析から、例えばこの射影成分の最小点、この場合はBとCを文字の切り出し候補点とする。
【0159】
そこで、これらの切り出し候補点に基づいて切断箇所を求め、bとc,そこの部分に対応するグレー画像またはカラー画像の該当箇所を参照する。その結果、その部分が、バックグラウンドの色に近いか、または濃度値に近いと判定されたときには、その部分の切り出し候補の優先順位を上げることができる。bとcの場合、射影成分の値からはbの方が切り出し点としての優先順位が高いと判定されているので、cの部分の濃度値やバックグラウンドに近いことが判明すれば、cの部分を正しい切り出し点として優先順位を上げることができ、結果として誤読を防ぐことができる。
【0160】
勿論、切り出し方式は、前記方式に限定されるものでない。この他に輪郭情報や切り出したときの文字の幅やそのほかの特徴を使ったり、それらを併用してもよいことはいうまでもない。
【0161】
以上の考え方を一般的に述べると、認識プロセスから決められる再チェックが必要な場所が決められたときに、後段の処理をフィードバックする事により、その場所におけるパターンの色や濃淡データを参照しする事によって、かすれ、潰れ、輪郭乱れなどを修正し、線分抽出、レイアウト理解、フォーム理解、検出切出し、文字認識等を行なう。
【0162】
次に、文字認識における2重線取消処理について述べる。
入力画像は色分離され、印鑑の色に相当する部分の記入文字の色に分けられる。そして、記入色の画像データに対して文字認識が行われる。この時、文字記載部分に、長い横線が2本、また1本発見された時は、取り消し部分と判定される。
【0163】
長い横線は、例えば長い横線ラインを見付け出すなどして検出することができる。その長さが十分でない時には、それらが1文字かまたは接触文字である可能性も合わせて調べるように構成する。そのような文字切り出しや文字認識が失敗すればそれは取り消しである可能性が高くなる。
【0164】
この結果から、取り消しであると判断されて、近傍に訂正文字があればそれは訂正文字として認識され、当然そのときは、該取り消し部分が真に取り消されている可能性が高いと判断される。
【0165】
次に、この取り消し部分の位置に対応する印鑑色の画像データの一部分を取り出して、その部分に十分な印鑑色が存在するかどうかを調べる。もし存在しなければ装置を使用しているオペレータに警告を発生するようにする。また、その警告をフラグとして、または存在有無などを文字認識結果に付随して出力するようにする。
【0166】
印鑑の判定については、印鑑判定部を有し、取り消し部分に印鑑が存在するかどうかを印鑑色の画像データの形状から判定するようにしても良い。また、印鑑の形状の類似性を判定できる印鑑判定部を導入することにより、どの種類の印鑑が発見されたかを認識結果に付随して出力することもできる。
【0167】
通常、印鑑の色と記入色は異なるので色分離により印鑑の色部分のみを取り出して、印鑑判定を行なえば精度の良い判定ができる。記入部分と印鑑の重なり部分も上述の色分離で説明した方法や、また記入部分に印鑑が押されている可能性があるとして印鑑の判定や照合を行なう様に構成して良い。
【0168】
また、文字認識における文字種を同定する場合について述べる。
【0169】
この場合、文字線が太いことなどは、文字がプレプリントされたものである事を示しており、その様な証拠が多く発見された時はプレプリント用の文字切り出し、文字認識手段を適用する。または、それを優先的に適用するようになる。
【0170】
最後に、修正画面の構成について述べる。
入力された画像データから、例えば色分離処理によって帳票のフォーム・イメージを取り出す。フォーム・イメージは、色のみから分離されても良いが、罫線抽出処理を特定の色に対して行うようにして抽出しても良い。フォーム・イメージは、ビットパターンで取り出されても良いし、また、ベクトルデータ、すなわち、始点座標と終点座標の組からなる線分データの組み合わせとして表現されていても良い。
【0171】
次に、帳票上の文字を色分離した画像データなどから認識する。この時認識した文字の存在位置や大きさなどの情報を記憶しておく。
【0172】
ここで色分析により得られた帳票のフォーム・イメージの色に類似している色によってフォーム・イメージを表示する。その時に、認識結果の文字をその文字が存在していた位置に重ねて表示する。この時、記入色に対応する色で文字を表示しても良い。
【0173】
前記で類似している色とは、予め決められた対応関係によって対応する色であっても良いし、計算によって求められる近い色であっても良い。
【0174】
これらの表示の全体や一部は、現画像表示の全体や一部に隣接して、それらの位置関係が対応付くように表示しても良い。
【0175】
なお、図1に示す実施例では、外部より与えられる画像データを入力画像としてそのまま処理する場合を述べたが、送信されてくる画像データや記憶装置に蓄えられている画像データを入力画像とすることもできる。
【0176】
この場合、画像データのみを送信や蓄積すると、該画像を処理する側で色補正を行う手掛かりを得られないという不都合が生じる。
【0177】
図25は、通信システムに適用した例を示すもので、送信部251に画像入力部2511、修正パラメータ付加部2512、通信回線出力部2513を有し、受信部252に通信回線入力部2521、修正パラメータ解釈部2522、色修正部2523、文字認識部/画像処理部2524を有している。
【0178】
そして、スキャナから読み込まれる画像は例えばRGB3色の多値表現カラー画像データとして画像入力部2511から入力される。すると、修正パラメータ付加部2512によりスキャナの形式、通し番号を表すコード、入力装置名、ID番号、機種などや色ずれ修正に必要な修正パラメータ、または色ずれ修正済みかどうかのフラグなど、色ずれ修正プロセスを特定できるデータが、入力した画像に属性データとして付与されて、通信回線出力部2513より通信回線253を通じて文字認識機能を有する受信部252に送られる。
【0179】
受信部252では、通信回線入力部2521よりデータを受け取ると、修正パラメータ解釈部2522により属性データがスキャナの型式や通し番号を表すものであるときは、本装置に予め登録してある型式や通し番号と色ずれ修正パラメータの対応表を参照して色ずれ修正パラメータを解釈する。この時、対応表に修正パラメータがないときには、エラー処理とするか、または自動的に色ずれ修正パラメータを得るプロセスを用いて色ずれ修正パラメータを採用する。
【0180】
受信したデータに直接、修正パラメータが付属している場合は、この修正パラメータを用いる。もし、受信データに修正パラメータを特定できる属性データが付属していないときは、エラー処理とするか、または自動的に自動的に色ずれ修正パラメータを得るプロセスを用いて色ずれ修正パラメータを得る。
【0181】
属性データが色ずれ修正ずみかどうかを表すフラグを有していて、それが色ずれを表していれば、色ずれ修正は行わない。
【0182】
このようにして色ずれ修正されたデータは文字認識部/画像処理部2524に送られ処理される。
【0183】
なお、システムが画像蓄積装置を有している場合は、前記した色ずれ修正を特定するための属性データを入力した画像データに付属させて蓄積し、その後に蓄積されたデータを読み出して上述と同様な処理を行うようになる。
【0184】
この場合、本装置では、色ずれ修正だけでなく、各色のボケ程度を揃える修正や、色の偏り補正などについても同様な処理を行うことができる。
【0185】
その他、本発明は上記実施例に限定されるものでは無い。要するに本発明はその要旨を逸脱しない範囲で種々変形して用いる事ができる。
【0186】
【発明の効果】
本発明によれば、帳票色や記入色、帳票フォーム部分や文字部分の印刷方法、文字記入方法等に対する制限を緩く運用した時や、乱雑に記入文字を記入欄に記載した時などでも、高精度で文字を認識する事ができる。
【図面の簡単な説明】
【図1】本発明の一実施例の概略構成を示す図。
【図2】黒い部分が色ずれした時のRGB信号の様子を示す図。
【図3】一般に色ずれがあった時のRGB信号の様子を示す図。
【図4】色ずれ検出用マークを示す図。
【図5】RGB信号の変化点を合わせる事により色ずれ修正を行なう方法を説明する図。
【図6】色のボケ方が一様でない時のRGB信号の様子を示す図。
【図7】グレー画像の濃度値の頻度分布を示す図。
【図8】数字「5」に直線が貫通している例を示す図。
【図9】図8の例の色分離を説明する図。
【図10】図8の例の色分離を説明する図。
【図11】図8の例の色分離を説明する図。
【図12】直線の近くにノイズが存在する例を示す図。
【図13】直線の一部が若干変色している例と、直線にその色に近い色のノイズが付着している例を示す図。
【図14】異なる色の線分が交わっている状態を示す図。
【図15】黒い線分と何らかの色を持った線分が交わっている状態を示す図。
【図16】直線の部分的太さを検出する例を示す図。
【図17】文字とハッチング部分を分離する手法を示す図。
【図18】色分離処理を一部分のみに限定して行なう処理を説明する図。
【図19】色を表現できるランレングス表現方法を説明する図。
【図20】色を表現できるランレングス・データのフォーマット定義の方法を説明する図。
【図21】入力画像の種類に応じて処理を行う例を示す図。
【図22】かすれ、潰れ、輪郭乱れなどが生じた場合の処理例を示す図。
【図23】文字の一部分がループなのかどうか疑わしいケースを説明する図。
【図24】2個の文字が接触している例を示す図。
【図25】通信システムに適用した例を示す図。
【符号の説明】
1…画像入力部
2…色分離部
3…バッファ
31、32、3n…色画像バッファ
4…画像処理部
5…文字切り出し部
6…文字認識部
7…読み取り結果修正部。[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a character recognition device used for recognition of characters printed on a slip or the like. And character recognition method It is about.
[0002]
[Prior art]
Conventionally, when recognizing characters printed on a tabular form in which the line of characters is separated by ruled lines or spaces, such as slips, a form called drop-out color is used when inputting images. The color constituting the form part is removed by optical filter processing, and the character part is recognized by erasing the form part from the original image to be recognized and inputting the image.
[0003]
For this reason, in the prior art, it is not possible to handle a form having a color different from the drop-out color, and of course, it is not possible to handle a form whose background color is not white. Also, it was not possible to handle multi-colored prints or those in which the written characters were drop-out colors. Naturally, it was not possible to read those in which the color of the written characters was not specified.
[0004]
Therefore, a character recognition device that can handle a form printed in a color other than drop-out color has been proposed in Japanese Patent Laid-Open No. 61-15285. However, this publication includes a color separation technique. Therefore, the separation of the character frame and the character is not performed by the color separation technology, but only by the character frame and character separation technology. For this reason, there was a limit in recognition accuracy.
[0005]
On the other hand, JP-A-62-2485, JP-A-62-154181, JP-A-2-67689, JP-A-2-135558, JP-A-2-123488, JP-A-3-14077. In Japanese Patent Laid-Open No. 3-223987, Japanese Patent Laid-Open No. 4-39789, Japanese Patent Laid-Open No. 4-160486, and Japanese Patent Laid-Open No. 4-354083, color separation of input images is performed by a preset method. An apparatus for performing character recognition using the result is disclosed.
[0006]
[Problems to be solved by the invention]
However, according to these character recognition devices, if the restrictions on the form color, entry color, form form part, character part printing method, character entry method, etc. are relaxed, for example, the entry characters are randomly entered in the entry field. In some cases, it may not be possible to accurately recognize characters, and it may not be possible to handle cases where color misregistration has occurred.
[0007]
In these conventional character recognition devices, when the operation mode cannot use drop / out color, the image is read with color data, and some color separation processing is performed, and character recognition is performed from these color separated data. In fact, no solution is proposed for various problems that must be taken into consideration when configuring a character recognition system.
[0008]
For this reason, it cannot be said that the conventional technology alone is effective as a character recognition means when the form reading operation mode that actually exists as described above is implemented. As an example, for a form in which a part printed in red text in a red frame and a part written in black text in a red frame coexist, it will be a problem how to read it. Conventional problems cannot solve these problems.
[0009]
The present invention has been made in view of the above circumstances, and can realize highly accurate character recognition. Character recognition device and character recognition method The purpose is to provide.
[0010]
[Means for Solving the Problems]
The present invention performs provisional color separation on input image data, and uses geometric information of pixels constituting each part of the provisional color separation and density information on each part and background in combination. Thus, final color separation is determined.
[0011]
In the present invention, information relating to the definition of partial areas and color separation executed for each area is prepared in advance in the format information, and color separation in a predetermined area is executed based on these information.
[0012]
Further, according to the present invention, a specific color is separated from the input image data of the form, format information corresponding to the separated specific color is selected, and recognition processing for the selected format information is executed. .
[0013]
Further, the present invention generates a pointer table composed of pointers indicating the run-length representation of a plurality of representative colors extracted from the image data, and specifies specific values using the pointers of the pointer table. The data part can be referenced.
[0014]
Further, the present invention prepares each processing unit corresponding to color information, shading information, and binary information that are color representation formats of an image, and uses the processing unit according to the color representation format of the input image. I have to.
[0015]
The present invention also includes a color image buffer in which an input image is stored as it is or after being color-separated, a gray image buffer for storing a gray image obtained from a color image or directly input, and a gray image buffer. Or a binary image buffer for storing a binary image generated from a color image, and in the processing for the binary image, when re-checking a specific portion of the input image, the color image buffer and the gray image A corresponding portion of the specific portion of at least one of the buffers can be referred to.
[0016]
According to the present invention, the input image data is color-separated and divided into a portion corresponding to the color of the seal and a color portion of the entry character, and the cancellation determination is performed on the image data of the entry color, and it is determined as the cancellation portion. Then, the position portion of the seal color image data corresponding to the position of the cancel portion is taken out, and whether or not the seal color exists in the portion is checked, and a double line cancel processing function for outputting the presence or absence of the seal color is provided. doing.
[0017]
The present invention also extracts a form image of a form from input image data, recognizes a character on the form, stores at least the position of the character, and is similar to the color of the form image of the form. When the form image is displayed by color, the recognized character is displayed so as to overlap the position where the character was present.
[0018]
In the present invention, a correction parameter necessary for correction is given to the input image data as attribute data, and then the correction parameter is reproduced based on the attribute data and the image data is corrected by the correction parameter. Image processing is performed on the image data.
[0019]
[Action]
As a result, according to the present invention, when the restrictions on the form color, entry color, form form part and character part printing method, character entry method, etc. are loosely used, or when the entry characters are randomly entered in the entry field, etc. Even in this case, highly accurate character recognition can be realized.
[0020]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, an embodiment of the present invention will be described with reference to the drawings.
[0021]
FIG. 1 shows a schematic configuration when the embodiment is applied to a character recognition apparatus. In the figure, reference numeral 1 denotes an image input unit, and image data is input to the image input unit 1. In this case, the input image data includes, for example, three colors of RGB (red, green, and blue), each of which is expressed in multiple values. Of course, other expression formats may be used.
[0022]
The image input unit 1 performs color misregistration correction processing, color deviation correction processing, color conversion, and the like, for example.
[0023]
The output from the image input unit 1 is sent to the color separation unit 2. The color separation unit 2 separates and extracts a color image of a specific color portion from the input image data, and stores these separated color portions in the color image buffers 31, 32,.
[0024]
Outputs from the color image buffers 31, 32,... 3n of the
[0025]
The output from the
[0026]
Then, the cutout processing result in the character cutout unit 5 is sent to the
[0027]
In this configuration, image data is input to the image input unit 1. In this case, the input image data is, for example, expressed in multiple values in three colors of RGB (red, green, and blue).
[0028]
Then, the image input unit 1 performs misalignment correction, color deviation correction processing, color conversion, and the like on the input image.
[0029]
Here, the color misregistration correction may be a color misregistration correction parameter in which, for example, the amount of shift for each color of RGB is described, and the correction is realized by performing the shift amount for each color. .
[0030]
The color deviation correction process is performed, for example, by converting the color density for each color of RGB. Here, as a method for converting the color density, a method of converting the density of one color from the density of one color called gamma conversion may be adopted to realize the color deviation correction process, or RGB You may make it prepare the function which determines the density of each color from the density of all the colors. The color deviation correction parameter here may be numerical data that determines these functions, or may be a conversion function itself.
[0031]
In this apparatus, these color misregistration correction parameters and color deviation correction parameters are held, and color misregistration correction and color deviation correction processing are performed based on these parameters. In other words, during actual character recognition processing and image processing operations such as character recognition, feature extraction, line segment extraction, and binarization processing, recognition failures and extraction failures increased, and some abnormality or contradiction occurred. Sometimes color misregistration correction is performed without using the correction parameter to obtain a new correction parameter, and when the result and the correction parameter are different, the parameter is updated by rewriting the parameter.
[0032]
This update may be performed periodically or according to an operator instruction. A plurality of color correction (correction) parameters may be prepared so as to correspond to a plurality of image input units 1. In this case, color correction by each color correction (correction) parameter and parameter update are performed corresponding to each image input unit 1.
[0033]
The color misregistration correction parameter is obtained by color analysis based on a black portion in a form or the like. This black part may be automatically extracted from the input image, or its location and size may be determined according to preset format information.
[0034]
If a pattern with a predetermined shape is set on the form, a pattern or mark for correcting color misregistration, for example, a cross shape, is set in a specific part of the form, and processing is performed based on it. It becomes like this. Information such as positions and shapes of these patterns and marks may be registered in the format information. In addition, this pattern portion can be shared with other uses as a character frame for writing a form number.
[0035]
On the other hand, the color misregistration analysis for correcting the color misregistration is measured by how many colors having a complementary color relationship exist on both the upper and lower sides and the left and right sides of the black portion. Such measurement may be performed at a plurality of locations, and the average of the results may be taken to obtain a color misregistration amount common to all screens, or may be regarded as a color misregistration amount at each location. The latter case can cope with a case where the color shift is not uniform across the entire screen.
[0036]
FIG. 2 illustrates a method for measuring color misregistration. In this case, as shown in the figure, assuming that there are double bleeds on both sides of the black portion, that is, double bulges, the cuts of each color are represented by A1 to A6. In this case, the distance from A1 to A2 on condition that the areas A1 to A2 and the areas A4 to A5 have a complementary color relationship, and the areas A2 to A3 and the areas A5 to A6 have a complementary color relationship. The distance from A1 to A3 is determined as the amount of green and blue color shift with respect to the red signal, respectively.
[0037]
Here, the complementary color relationship means that the sum of the two becomes outside the background colors A1 to A6, in this example, white, or close to it. This concept can be similarly applied even when the central areas A3 to A4 are lost.
[0038]
In this case, not only double protrusion but also single protrusion can be applied. In the case of a single layer, the amount of shift between the two colors may be the same. In this example, an example in which the colors are shifted in the order of RGB has been shown, but the order in which the colors are shifted can be determined from the colors of the respective areas.
[0039]
The above-mentioned concept can be applied to a non-black portion of the form. In this case, the color misregistration correction parameter is determined based on the color change in the adjacent portion. That is, assuming that the RGB density values of the background color are R0, G0, and B0 and the colors of the target portion are R1, G1, and B1, the color change where the color misregistration occurs is as shown in FIG. From this table, it is possible to determine whether or not color misregistration has occurred and the amount of color misregistration.
[0040]
In this case, the sum of the areas A1 to A2 and the areas A4 to A5 is the sum of the colors of the areas A3 to A4 and the background, and the areas A2 to A3 and A5 to A6. If the same thing can be said about the area, in this example, the distance between A1 and A2 and the distance between A1 and A3 are determined as green and blue color shift amounts with respect to the red signal, respectively. In addition, even if the areas A3 to A4 have disappeared or a single protrusion is not a double protrusion, R0, G0, B0, R1, G1, B1 can be determined from the color state of each area. The color misregistration amount can also be obtained using the above-described concept.
[0041]
On the other hand, it is possible to detect the amount of color misregistration by detecting a color printed mark as shown in FIG. 4 and examining the color misregistration of red, green, and blue.
[0042]
It is also possible to execute a color deviation correction process from each color of such a mark. That is, a parameter or function for correcting color deviation can be determined based on the difference between the color information of the mark obtained from the image input unit 1 and the color information that should be expected.
[0043]
In addition, a pattern for correcting color misregistration is set in a specific portion on the scanned surface of the scanner that generates image data to be input to the image input unit 1, and color misregistration is performed based on the pattern in the input image to be created from now on. Correction and color deviation correction may be performed.
[0044]
FIGS. 5A and 5B show a method for obtaining different color misregistration amounts. In this method, the density value of each color of red, green, and blue is changed, matching is performed while shifting the waveform of each color, that is, superposition is performed, and the shift amount of each color is obtained at the position where they overlap most. Become. The matching method here can use a matching technique that is often used in the field of pattern recognition.
[0045]
The color misregistration correction operation is executed only for the changed portions of each color as shown in FIG. 5, and the color misregistration processing is not performed on the portions not affected by the color misregistration such as the background portion, the print portion, and the description portion. You may comprise as follows. This is because the result does not change even if each color is shifted in these portions. This speeds up color misregistration correction. The function of enlarging and displaying the part where the color misregistration of the input image is clearly understood and the specific position can make it easier for the operator to confirm the color misregistration state.
[0046]
In color misregistration correction, it is possible to shift the input image by a unit smaller than one pixel unit by using, for example, interpolation. In this case, the density value at the position to be moved is determined by interpolation calculation from the density values of the pixels near the position.
[0047]
Note that what has been described above can also be applied to cases where the color blur is different. FIG. 6 shows an example in which red appears at both ends of black. In such a case, green and blue are out of focus with respect to red and are out of focus.
[0048]
As described above, when the same color is present on both sides instead of the complementary color, it is possible to obtain a parameter for correcting blur, and thereby it is possible to align the degree of blur of each color.
[0049]
In addition, the above-described various corrections and corrections are not performed in advance, and the processes are executed in consideration of the correction and correction parameters in the processes in the character extraction process and the character recognition process described later. Also good.
[0050]
The output from the image input unit 1 subjected to color misregistration correction and color bias correction in this way is sent to the color separation unit 2.
[0051]
Next, a method of color separation in the color separation unit 2 will be described.
Here, the form color registration function is described. When a form (whether filled or not) is input to the OCR, color analysis is performed from the image, and what color the form has, that is, which part is The color information is registered in the format information based on the color. As registered data, means for simply registering the number of color types and color data (RGB) to an actual form image is possible.
[0052]
Of course, at this time, the registered content can be modified interactively by the operator. This can be done by, for example, performing color extraction (erasing) of various colors on a form image entered as a test, and registering in the format information a color that can be successfully extracted (erased) the printed part of the form. It is means such as.
[0053]
Also, artificial color data or an input image of a form is displayed on the screen, and the RGB, VSH, and color name of the place are output by designating a certain position on the screen, and the operator determines the registered color. However, it can be made easy to understand.
[0054]
For such processing, it is convenient if the operator can enlarge or reduce a part of the image by the zoom function.
[0055]
Based on the format information created in this way, a process for separating and extracting a specific color is executed.
[0056]
Based on the color information registered in the format information (including background color and entry color, each of which may have a plurality of possibilities), the part to be erased is removed and the part to be recognized is extracted and recognized.
[0057]
In this case, the portion to be erased can be automatically determined only from the color information obtained from the input image, regardless of the format information. For example, in a simple example, only a specific color can be deleted, or the color of the form portion can be automatically determined from the line-likeness constituting the form of the form and its color. The same applies to the parts to be recognized.
[0058]
Color separation can also be performed based on conversion from RGB to lightness, saturation, and hue (VSH). It is also effective to define distances in RGB or VSH space and separate colors based on them.
[0059]
The method of defining the color name and separating the colors based on it is an effective method considering the man-machine interface. In this case, the definition in the format information is also performed by this color name.
[0060]
In such a system, the name of each color and color expression data such as RGB and VSH are registered in association with each other. Therefore, the color name registered in the format information or the like is used after being converted into color expression data such as RGB or VSH, and conversely when color expression data such as RGB or VSH is presented to the operator, It is converted back to a near color name and notified to the operator.
[0061]
Next, a general method of color separation will be described.
Here, for simplicity, an example of a gray image will be described. FIGS. 7A, 7B, and 7C show examples of taking the frequency distribution of gray image density values. In this case, 0 is black, 1 is white, and the middle portion is dark gray to light gray. The distribution of A is the frequency distribution of the image shown in FIG. This figure shows an example in which a light gray straight line (portion B) passes through the middle of the number “5” (portion A) written in gray. These frequency distributions correspond to A and B in FIG. At this time, a part b of the straight line portion is dark, and a part “a” of the number “5” is bright corresponding to b of the frequency distribution, and corresponds to the frequency distribution a. As a result, the overall frequency distribution is C. If density separation corresponding to color separation is performed from this frequency distribution, the frequency is divided by density value m and divided into X and Y areas.
[0062]
However, when images are separated by this separation method, portions a and b remain as noise as shown in FIGS. The straight line is divided by the number “5”.
[0063]
When the data is not only density information but also color information of, for example, three colors of RGB, it may be considered that the one-dimensional data is expanded to three-dimensional data as in the example described above. Color separation may be performed assuming that the color of an area in the three-dimensional space is the same color.
[0064]
However, if color separation is performed only by area division within the color space having such a density, correct color separation cannot be performed as described above. In this case, the correct color separation is logically correct unless the geometric information of each pixel, that is, the phase information is used in combination with the density information, such as the portion A is a straight line or the portion B is the number “5”. It is clear from the above explanation that this is impossible.
[0065]
More specifically, it is assumed that the result shown in FIG. 9A is obtained. Here, for each block a, x, y, z, w, it is checked for each set that they are part of a straight line. As a result, for example, since the density value is dark in the area between x and y, there may be some black line between them, and x and y may be part of a straight line. Be sexual. The same applies to y and z, z and w, and the linearity of x, y, z and w as a whole is positive. These can be connected by extending the outline of each block to obtain one straight line as shown in FIG.
[0066]
For example, a and y cannot be connected because the extension of the contour line does not match or a background color exists between them. Therefore, a is an isolated block and is removed as noise. On the contrary, the dent of b is found by tracking the contour line, but the density value of the dent portion is dark, but the contour line matches the contour line when the entire xyz is regarded as a straight line. b is determined to be a part of a straight line, and finally a straight line as shown in FIG. 11 can be obtained.
[0067]
The same applies to the number “5” shown in FIG. 9B, and the number “5” can be correctly extracted from the information regarding the likelihood of curves and the shape of the characters.
[0068]
That is, in the present invention, after provisional color separation, provisional character separation processing, character recognition processing, line segment extraction processing, form structure understanding processing, and the like are performed, and final color separation is performed by using these results. The result is determined. In other words, if there is a place where it is judged that color separation is suspicious during the process of recognition, extraction, understanding, etc. It is to be configured to execute.
[0069]
As another example, for example, when a lot of straight line parts are included and it is found that they constitute a form part (unfilled form screen) of a form by examining their arrangement when necessary, they are Can be automatically determined as the color of the form part of the form.
[0070]
In addition, when a block having a size of about a character is continuous, these colors can be determined as a character entry color and a print color.
[0071]
As described above, according to the present invention, even when there is no color information registered in the format information or the format information itself, a plurality of representative colors constituting the form can be automatically separated from the input form by color analysis. Is possible. Of course, when the color information and the format information are defined in the format information, it is needless to say that the above object can be achieved more easily. Next, FIG. 12 is an example in which noise d exists near a straight line composed of regions a, b, and c. The colors a and c are C1, the colors of the regions b and d are C2, and C2 is an intermediate color between C1 and the background color.
[0072]
For such an image, an arbitrary point is used as a seed of the area, and the area is gradually expanded from there. In this area expansion, pixels that can be regarded as the same color as the color of the area are expanded by taking the pixels connected to the area into the area. By repeating this until it does not belong to any region, the four regions a, b, c, and d shown in the figure are extracted.
[0073]
Such a region extraction method is a region segmentation method known in the image processing field, and is one of the methods called a region growth method. In addition to this, various methods such as split merge and relaxation are possible.
[0074]
Next, b is separated as part of the straight line, i.e., the color of the part b as C1, and the d part is separated as noise, i.e., the color of C2, from the determination of linearity in the same manner as described above for each area part. To do.
[0075]
Generally speaking, the present invention determines a representative color of a region by performing region segmentation, and comprehensively judges them to determine a representative color in the whole. Further, color separation is performed from information on these representative colors as necessary.
[0076]
Correct color separation according to the present invention can also be achieved by introducing color proximity information into region segmentation. For example, if the determination that the colors are the same is relaxed when the growth method is used, it is possible to set so that a, b, and c are detected as one region.
[0077]
That is, when it is determined that the two colors are close to each other in a region having many contour portions that are in contact with each other during the growth process, it is determined that C1 and C2 are close to each other. Make it an area. In this way, there is no color close to C2, which is in great contact with d, or it is a background color, so it is ignored anyway as noise, while the region b is correctly extracted as part of a straight line.
[0078]
Since this method uses pixel phase information in addition to color information, that is, the geometric relationship of each pixel, a representative color is determined based on only conventional color statistical information or color separation. Therefore, it is possible to determine representative colors and separate colors with higher accuracy than the above method.
[0079]
In order to separate and extract a specific color, it is effective to use both color information of an image and information expressed in the image, that is, shape information such as a figure, a straight line, a curve, and a character. FIGS. 13A and 13B show such examples. 131 is the one in which the middle of the blue straight line is denatured to blue-green. If the blue color is simply separated from this, the straight line will fade as shown at 132. Also, if the blue-green part is imitated as blue because it is, for example, as shown in 134 in a case where blue-green dust is attached to a blue straight line as shown in 133. The image with dust attached is color-separated.
[0080]
Therefore, in the present invention, shape analysis is first performed on the blue portion, the portion of P and R is recognized as a straight line, and then the portion of Q that is regarded as a faint portion is examined, and the colors of P, Q, and R are close. In addition, on the condition that all of P, Q, and R have a shape regarded as a straight line, all of P, Q, and R are regarded as a blue area, and color separation is performed. In this way, even in the case shown in 133, the dust area A is not erroneously color-separated into blue.
[0081]
FIG. 14 shows a state where the blue line and the red line overlap. A1, C, and A2 are blue lines, and B1, C, and B2 are red lines. C is purple in the overlap area.
[0082]
In this case, C cannot be extracted by extracting red or blue by a normal method. In addition, if purple is always extracted when red is extracted, it may be inconvenient because it may be extracted even in a portion that is truly purple.
[0083]
Therefore, for example, in the case of removing blue, first, an area in contact with blue is observed, and when there is a color that may be a color mixture different from that blue, the color mixture area is further increased. When there is an area where the other color forming the mixed color exists by examining the vicinity of the color mixed area, the mixed color area is also extracted as a blue area.
[0084]
At this time, the shapes of the blue areas A1 and A2 represent straight lines, and the other mixed colors B1 and B2 also represent straight lines, and the C area also contradicts these straight lines. If it is checked not to do so, color separation with higher accuracy becomes possible.
[0085]
In this case, the shape check may be performed not only on a straight line but also on a curved line, a figure, a character shape, or a certainty of a character.
[0086]
FIG. 15 shows another example. If the area C is reddish black, the color separation can be performed by almost the same process as described above. However, if the mixed color of red and black is black, the color separation of red can be performed by connecting x and z and y and w. Is possible. Further, even when the B2 area does not exist, red color separation can be performed by estimating the curve connecting x and z from the shape of the area B1.
[0087]
A method of performing color separation by using both line width information and color information is effective. In this case, if the specification regarding color separation is described in the format information, information such as a line width threshold value or a line pitch in the case of hatching is set in addition to information on the color to be separated. .
[0088]
FIG. 16 shows a
[0089]
This is effective by using both the fact that the part has a specific color or not, and the fact that the part is less than the line width determined for the part. Color separation can be performed.
[0090]
With the above method, for example, a character portion 171 having the same color and a wide line width can be extracted from a hatched area as shown in FIG. At this time, even if the line width is narrow, a portion having a different color, for example, a portion such as 172 can be separated and left even after the hatched portion is erased.
[0091]
By the way, the following are the main specific color separation designation methods. When separating a specific color, separating other than a specific color, separating an achromatic color, separating a chromatic color, separating white, separating black, or a combination thereof.
[0092]
When a specific color is separated, the hue (H) value is mainly determined as a reference. In the case of separation of an achromatic color and a chromatic color, the value of saturation (S) is mainly determined as a reference. When white and black are separated, a determination is made based on the magnitude (V) of lightness (V) from those having a small saturation (S) value.
[0093]
From the result after color separation, the most likely background color in the form, for example, the most dominant representative color can be selected. That is, the maximum color of the total area is selected from the representative colors. It is useful to output this result by adding it to the recognition result. That is, the automatically estimated background color is added to the recognition result and output.
[0094]
It is also useful to output the color of the recognized form part of the form or the color of a specific part on the form.
[0095]
In addition, the character code obtained as a recognition result can be output with the color of the character on the form, the background color at the position where the character is written, the color of the character frame surrounding the character, etc. Useful.
[0096]
Further, the color information of the form part can be used for form discrimination together with ruled line information and the like.
Based on the extracted color information, an alarm can be given to the operator, or a message to that effect can be displayed. Further, the modification screen display can be changed based on the color information.
[0097]
Changing the color separation means for each partial area on the form is a very important means.
[0098]
First, the format information preliminarily describes the definition of the partial area and whether normal binarization processing or color separation processing is performed in the area. It is assumed that, for example, a form shown in FIG. 18 is input when actual processing is performed. In this form, the area to be recognized is 181, and the area to extract only the image and output the image data as it is is 182. It is assumed that it is described in the format information. In this case, in
[0099]
The specific processing in this case is performed as follows. For the
[0100]
By doing so, it is possible to limit the color separation work, which requires processing time, to only a part of the form. Since normal binary processing can be executed in a short time, the overall processing time can be improved by limiting the color separation work to a part.
[0101]
The above example is a method of changing whether to perform color separation for each partial region, but a method of selecting a color separation means from a plurality of methods is also possible.
[0102]
For example, a color separation process set to perform red or orange color separation is started in the area of the seal part of the
[0103]
In the present invention, in addition to these designations, it is possible to perform designation so that a specific one of a plurality of methods can be selected from among character extraction means, character recognition means, character recognition post-processing means, and the like in the area. Anyway.
[0104]
A mechanism that separates a specific color in a specific part of a form, determines whether the color exists in that part, recognizes the object of that color, and outputs the recognition result is convenient. . When it is determined that there is no recognition object of the color, a message to that effect is output. At this time, the color of the object described in that portion may be output. Of course, it may be configured to output only these determination results and color information without recognizing the recognition target object at this time.
[0105]
At this time, it is possible to determine whether or not there is a seal stamp in the part by incorporating a seal stamp determination unit in this apparatus, and what kind of seal stamp is present, and output the result as a recognition result. For example, the system can be configured to automatically notify or warn the operator when there is no seal or when a predetermined seal is not pressed. That is, based on the extracted seal stamp information, an alarm can be given to the operator or a message to that effect can be displayed. Further, the modification screen display can be changed based on the seal information.
[0106]
The seal determination unit, for example, from the image separated by a specific color, for example, red, that the target portion of the color exists, that the outer contour shape of the portion is, for example, a circle or an ellipse, It can be determined from the fact that the shape is somewhat complicated.
[0107]
Moreover, the similarity of the shape of the seal can be determined by a pattern matching process often used in pattern recognition or the like.
[0108]
A result obtained by performing color separation of a form or a result obtained by performing some processing on the screen is displayed on a screen, and the process proceeds to the next processing after waiting for the operator's confirmation. In this case, if the operator is dissatisfied with the processing result, a mechanism may be provided so that the processing result can be directly corrected, or a configuration may be adopted in which a certain parameter is changed and the processing is performed again. .
[0109]
In addition, when a color that is difficult to determine at the time of color separation is discovered, it can be displayed together with its surroundings, if necessary, to prompt the operator to input a correct answer. Thereafter, color separation processing can be performed based on the correct answer data.
[0110]
First, a portion corresponding to the entry field includes a portion that is color-separated into a first specific color, for example, black. If these are recognized as character strings, they are output as recognition results. Similarly, if necessary, the same processing may be repeated up to the Nth specific color. In these cases, if this specific color is not the same as the form color of the form, it is assumed that the character frame and the entry field are erased in the color-separated image data. "Recognition method" is applied. Conversely, when these are the same, the “character recognition method with frame” is applied. When it is assumed that nothing exists in the entry field, a blank is output.
[0111]
Apart from this, it can also be done as follows. If a part separated as a color that is not the same color as the form color of the form exists in the entry column and is recognized as a character string, it is output. In this case, it is assumed that the character frame and the entry field have been deleted, and the “frameless character recognition method” is applied to character recognition. If the range of the same color as the form is small in the entry field, it is assumed that the characters in the entry field are written in the same color as the form, and the “character recognition method with frame” is applied for character recognition. Is done. When it is assumed that nothing exists in the entry field, a blank is output. Either of these processes may be performed first.
[0112]
The “frameless character recognition method” performs character segmentation and character recognition on the assumption that there is no character frame, and various methods are known.
[0113]
The “character recognition method with frame” is to perform character segmentation and character recognition on the assumption that a character frame exists. There are two types: a “character recognition method with a known shape character frame” in which the position and shape of the character frame are given in advance from the format information, and a “character recognition method with an unknown shape character frame” otherwise. Either of these is adopted depending on the contents of the format information.
[0114]
In any method, there are a “character recognition method with ruled line contact” and a “character recognition method without ruled line contact”, and either method is selected from the actual pattern state.
[0115]
These are executed by the following procedure. First, a character frame estimation process is performed to determine a character frame position or its candidate. Next, the character portion is estimated, and the degree of contact between the character and the character frame is examined. If there is little or no contact here, "character recognition without ruled line contact" is selected. Of course, it is also possible to configure so that the method is not divided according to contact or non-contact. Next, character segmentation and character recognition are performed based on the obtained ruled line position information. When there is a ruled line contact, an appropriate character and ruled line separation process is performed.
[0116]
As for the ruled line separation technique, the character extraction process and the character recognition process that involve the contact character separation process, those known as conventional techniques can be used.
[0117]
By configuring in this way, it is possible to configure a recognition system with much higher accuracy than character recognition always using the same method.
[0118]
Note that color separation and color misregistration correction can be performed simultaneously. Color bias correction and color blur correction can be performed at the same time. For example, when a black portion is separated, if the color misregistration correction parameter is known in advance, the RGB color shift and color separation (operation for extracting a specific color) may be performed simultaneously. Even if the color misregistration correction parameters are not determined in advance, if there are complementary colors on both sides of the black part, the color misregistration is estimated from these colors, and it is considered that each RGB color has been shifted based on the result. Then, the black part can be separated. Similar processing is possible for other colors.
[0119]
Next, color expression in the
In the
[0120]
First, character recognition and image processing can be performed by converting a part of the image from the color run length expression into original bitmap data. If the run length expression for each color and the pointer for each color are not used, a part of the data cannot be decoded, and the entire image has to be decoded. There is also known a method of performing character recognition for an image expression in a combination of a pointer-represented table and a black and white run-length data expression, but a color image cannot be handled as it is (USP 4267331). If you want to convert a specific color part of a part to bitmap data, whether you want to convert the bitmap only with respect to a specific color by referring to the run-length data expressed by the color from the pointer of the line corresponding to that part Or, by referring to only the pointer of a specific color of the part and obtaining the bitmap data from the run-length data indicated by the pointer, only the specific color of the specific part can be extracted at high speed. Character recognition and image processing can be performed based on this. This makes it possible to perform processing much faster than when the entire screen is decoded and the above processing is performed. Further, if processing is directly performed on the run-length expression without decoding, higher-speed processing can be performed.
[0121]
The representative colors that appear in the form are described in the format information in advance, and are extracted based on them, or they are extracted automatically instead. Express.
[0122]
In this case, if the code C representing the representative color and the length in which the color is continuous, or L is the encoded color, the set CL is obtained, and an image for one line is expressed by these continuous. . FIG. 19 shows an example of encoding. This is the colorization of run-length expressions.
[0123]
A method of run length encoding for each representative color can also be used. In this case, as shown by 200 in FIG. 20 (a), an expression method that summarizes the run-length expressions of the representative colors for each line, and as shown by 201 in FIG. 20 (b), run-length expressions for the entire screen. As shown in 202 of FIG. 20 (c), pointers of representative colors are grouped for each line as a method for setting a pointer that points to the head of the run length expression of each line. There is a method of keeping the pointers for the entire screen of each representative color together as shown in 203 of FIG.
[0124]
In addition, the RGB colors can be quantized and the same run length coding can be performed for each RGB. These encodings are realized by ignoring a slight color difference between adjacent pixels as noise and approximating them with a representative color or quantization density.
[0125]
Examples of directly performing image processing on run-length representation images are disclosed in, for example, Japanese Patent Application Laid-Open Nos. 62-246138 and 62-307615. These are all image processing methods for black-and-white run-length data, and can be executed by applying this to the run-length expression of each color. It is also possible to execute character recognition based on these image processing techniques.
[0126]
For example, when detecting a long straight line of a specific color in a specific area, the length data representing the specific color of the part including the area is obtained by referring to the pointer pointing to the specific area. A straight line can be detected by obtaining a long one included in the partial area and integrating adjacent long runs.
[0127]
As another example, an example in which image processing is directly performed on an image with a color run length expression is shown below. An example of image processing in this case is color misregistration correction processing.
[0128]
By performing image processing, character extraction, and character recognition based on these encoded information, for example, processing speed can be increased compared to processing for RGB images, and the amount of data representing the image is compressed. I can do it.
[0129]
Color misregistration correction can also be performed on data expressed in color run length. For example, when a run expression is created by separating the image into RGB (203 in FIG. 20 (d)), the shift in units of one pixel can be easily realized by changing the length of the head run of each row.
[0130]
In the case of a shift of one pixel unit or less, it is realized by the following processing. First, the value of the pixel at the boundary of each run is examined, and the length of each run is converted from an integer value to a real number from the density value. The length of each run is changed so that the length of the run is longer as the density of the color at the boundary pixel is higher and the length is shorter as the color density is lower. At this time, do not change the total of each run.
[0131]
Next, the length of the head run is changed according to the shift amount. When the run representation of one line is performed from left to right, the head run is shortened by that amount when shifting left. When shifting to the right, make it longer. After that, the length of each run is converted to an integer so as not to change the total of each run. Thus, the shift of the image on the run expression is realized.
[0132]
For example, when an image is represented by a color code + run length expression (201 in FIG. 20B), three or four consecutive runs are examined in each one-line run expression. Judge whether the color and length of the run between the two consecutive runs can be caused by color shift from the color of the run and the amount of shift In the case of, the run is extinguished, and the length of the two run that should be changed as each color shifts is changed. Alternatively, each run is color-separated into, for example, RGB, and a shift of color shift is performed in place of the expression substantially the same as 203 in FIG. 20D, and the original expression (201 in FIG. 20B) is restored. Is also possible.
[0133]
In any case, each color of the color run expression can be shifted by such means without directly returning it to the original image.
[0134]
Note that the processing can be speeded up by performing the above-described color separation in two stages. In the first stage, color separation is performed so as not to disregard fine color differences so much, and a run length expression of the first color is created based on the result, and then the second length is expressed based on the data of the run length expression. Color separation. If necessary, a second color run length data expression is created based on the result of the second color separation, and this is used as input data for image processing and character recognition processing.
[0135]
In general, since color separation takes processing time, rough color separation is performed using a simple and high-speed method for the first color separation, and then the second color separation, which requires processing time, is performed for precision. If the representative color is determined, the separation process can be performed at a higher speed than the second color separation process directly performed on the original image.
[0136]
As the second color separation means, the above-described methods can be considered, and these are color separation means that require processing time. On the other hand, the one disclosed in Japanese Patent Laid-Open No. 4-160486 is suitable for the first color separation because it is simple and high speed.
[0137]
RGB values should be converted to lightness (V), saturation (C), and hue (H) and color processed in these spaces, and colors should be specified by these values Is convenient. These conversions are realized, for example, as follows.
[0138]
First, the brightness (V) can be defined as an average value of RGB density values. The saturation (C) can then be defined based on the minimum density value. That is, the closer the minimum density is to 0, the higher the saturation. This is because, in this case, since the difference between the density value of the color having a high density value and the color having a low density value is large, a vivid color can be obtained. In order to define the hue (H), first, numerical values corresponding to each color of RGB are determined. For example, when R is 0, G is 128, B is 192, and a color change from B to R is represented, R is handled as 256. Next, a numerical value between the numerical value indicating the color of the maximum density value and the numerical value indicating the color of the next density value is obtained by the ratio of the density values, and is set as the numerical value of the input color, that is, the hue.
[0139]
Specifically, it can be determined by the following procedure. When r, g, b are RGB density values, h, s, v are HSV values, the conversion procedure is described in C language as follows.
[0140]
Such conversion is not limited to the above, but these values may be obtained by table lookup. That is, RGB values are quantized, each color is expressed by NR, NG, and NB bits, a table having an address space of NR + NG + NB bits is prepared, and the RGB color is represented by an address corresponding to the RGB value in this table. The corresponding HSV value may be stored. The color representation of the input image from the image input unit 1 may be HSV.
[0141]
Further, these conversions may be performed simultaneously with the correction of color deviation, or these conversions may be performed simultaneously with the correction of color misregistration.
[0142]
By the way, there are three types of image representations. These are when each pixel holds color information (C), when it holds shade information (G), and when it is binarized (B). It is.
[0143]
The former is suitable for more advanced recognition processing, while the latter is suitable for high-speed processing. It is not desirable from the viewpoint of improving system performance to assign color data to a portion that does not require advanced recognition processing or to assign binary data to a portion that requires advanced recognition processing. Therefore, it is important to introduce a mechanism for specifying the data expression format for each part on the form. Specifically, the area designation and the image expression format in the area can be described in the format information or the like.
[0144]
Which image of the CGB the image input unit 1 outputs is not limited to one type. Therefore, the apparatus of the present invention includes at least a plurality of mechanisms among a mechanism for recognizing characters corresponding to (C), a mechanism for recognizing characters corresponding to (G), and a mechanism for recognizing characters corresponding to (B). Thus, processing is performed according to the type of input image.
[0145]
FIG. 21 is a configuration for embodying the above-described means. The output from the
[0146]
Depending on the form to be read, there is a CGB for which the image should be input. Therefore, it is convenient that the format information or the like can be specified for the image representation of the image to be input. The image input device is requested to output the designated image representation in accordance with the designation regarding the image representation of the format information. Since the image input unit 1 sends an image corresponding to the image input unit 1, the apparatus performs processing corresponding to the image.
[0147]
However, if the image input unit 1 cannot respond to the request or does not make a request from the present apparatus, the image representation data that is known in advance is not sent. Or a recognition process or the like is performed according to the type of image expression data set in advance.
[0148]
In addition, when the object of image input is an image file, that is, data stored in a magnetic disk or the like, data that can determine the image representation format of the data is added to the file, and this is added to the apparatus together with the image data. Entered. As described above, the same applies to image data transmitted through a communication line such as FAX.
[0149]
This function is effective in a system configuration in which a character recognition system, a plurality of terminals, and a plurality of image input devices are connected via a network. This is because there are various types of image input units 1 connected to the network, and these can be freely handled.
[0150]
Next, a character recognition process for the image (C) expressed in color and the image (G) expressed in shades will be described.
[0151]
First, a C or G image is binarized, and the binary image is set as a recognition target. When a suspicious place such as blurring, crushing, or outline disturbance occurs during character detection cutout or character recognition, a portion corresponding to the portion of the C or G image is examined. Therefore, in this apparatus, the C or G image is retained after binarization.
[0152]
FIG. 22 is a block diagram. In this case, the input color image is left as it is or is color-separated and stored in the
[0153]
Next, a binary image is generated by performing binarization processing on the gray image, and stored in the
[0154]
As a result, if the degree of matching between A and B is about the same and it is not possible to determine either, then the combination of dictionary patterns A and B is accompanied by a detailed recognition determination process. Shall be activated.
[0155]
In this detailed recognition determination process, a designation is made so as to check a specific portion of the input pattern. In this case, there is a designation to check whether or not a hole is opened in the Y area portion of the input pattern.
[0156]
Therefore, the
[0157]
The same applies when referring to the
[0158]
For example, FIG. 24 is an example in which two characters are in contact. If this image is projected in the vertical direction, the projection component, that is, the number of black pixels, is calculated as shown in FIG. From this projection component analysis, for example, the minimum point of this projection component, in this case B and C, are set as character cutout candidate points.
[0159]
Therefore, a cut portion is obtained based on these cutout candidate points, and b and c, and the corresponding portion of the gray image or color image corresponding to that portion is referred to. As a result, when it is determined that the portion is close to the background color or close to the density value, the priority of the cut-out candidate for that portion can be increased. In the case of b and c, since it is determined from the projection component value that b has a higher priority as a cut-out point, if it is found that the density value of c part is close to the background, the value of c The priority can be raised with the part as a correct cut-out point, and as a result, misreading can be prevented.
[0160]
Of course, the cutout method is not limited to the above method. In addition to this, it goes without saying that contour information, the width of the character when cut out, and other features may be used, or they may be used in combination.
[0161]
Generally speaking, when the location that needs to be rechecked from the recognition process is determined, the processing of the latter stage is fed back to refer to the pattern color and shading data at that location. By correcting things such as blurring, crushing, and outline disturbance, line segment extraction, layout understanding, form understanding, detection extraction, character recognition, etc. are performed.
[0162]
Next, double line cancellation processing in character recognition will be described.
The input image is color-separated and is divided into the color of the written characters corresponding to the color of the seal. Character recognition is performed on the image data of the entry color. At this time, when two or one long horizontal line is found in the character description part, it is determined as a cancel part.
[0163]
A long horizontal line can be detected, for example, by finding a long horizontal line. When the length is not sufficient, it is also configured to check the possibility that they are one character or a contact character. If such character segmentation or character recognition fails, there is a high possibility of cancellation.
[0164]
From this result, it is determined that it is cancelled, and if there is a correction character in the vicinity, it is recognized as a correction character.
[0165]
Next, a part of the image data of the seal color corresponding to the position of the cancellation part is taken out and it is checked whether or not there is a sufficient seal color in that part. If it does not exist, a warning is issued to the operator using the device. Further, the warning is output as a flag, or the presence / absence of the warning is output along with the character recognition result.
[0166]
For the seal stamp determination, a seal stamp determination unit may be provided to determine whether or not a seal stamp exists in the canceled portion from the shape of the image data of the seal stamp color. In addition, by introducing a seal determination unit that can determine the similarity of the shapes of the seals, it is also possible to output which type of seal was discovered along with the recognition result.
[0167]
In general, since the color of the seal stamp and the entry color are different, only the color portion of the seal stamp is extracted by color separation, and the seal stamp determination is performed, so that the determination with high accuracy can be performed. The overlapping portion between the entry portion and the seal stamp may be configured such that the method described in the color separation described above, or the seal stamp is determined or collated on the assumption that the seal stamp is pressed on the entry portion.
[0168]
A case of identifying a character type in character recognition will be described.
[0169]
In this case, a thick character line indicates that the character has been preprinted. When a lot of such evidence is found, the preprint character extraction and character recognition means are applied. . Or, it will be applied preferentially.
[0170]
Finally, the configuration of the correction screen will be described.
A form image of the form is extracted from the input image data by color separation processing, for example. The form image may be separated from only the color, or may be extracted by performing ruled line extraction processing for a specific color. The form image may be extracted as a bit pattern, or may be expressed as vector data, that is, a combination of line segment data including a pair of start point coordinates and end point coordinates.
[0171]
Next, the characters on the form are recognized from image data obtained by color separation. Information such as the position and size of the character recognized at this time is stored.
[0172]
Here, the form image is displayed with a color similar to the color of the form image of the form obtained by the color analysis. At that time, the character of the recognition result is displayed so as to overlap the position where the character was present. At this time, characters may be displayed in a color corresponding to the entry color.
[0173]
The color similar to the above may be a color corresponding to a predetermined correspondence relationship or a close color obtained by calculation.
[0174]
All or a part of these displays may be displayed adjacent to the whole or a part of the current image display so that their positional relationships are associated with each other.
[0175]
In the embodiment shown in FIG. 1, the case where image data given from the outside is directly processed as an input image has been described. However, transmitted image data or image data stored in a storage device is used as an input image. You can also
[0176]
In this case, if only image data is transmitted or stored, there is a disadvantage that a clue for color correction cannot be obtained on the side of processing the image.
[0177]
FIG. 25 shows an example applied to a communication system. The
[0178]
An image read from the scanner is input from the image input unit 2511 as, for example, RGB three-color multi-value expression color image data. Then, the correction
[0179]
When the receiving
[0180]
If a correction parameter is directly attached to the received data, this correction parameter is used. If the attribute data that can specify the correction parameter is not attached to the received data, the color misregistration correction parameter is obtained using error processing or a process for automatically obtaining the color misregistration correction parameter.
[0181]
If the attribute data has a flag indicating whether or not the color misregistration has been corrected, and it represents the color misregistration, the color misregistration correction is not performed.
[0182]
Data corrected in this way is sent to the character recognition unit /
[0183]
If the system has an image storage device, the attribute data for specifying the color misregistration correction described above is attached to the input image data and stored, and then the stored data is read to Similar processing is performed.
[0184]
In this case, the apparatus can perform the same processing not only for color misregistration correction, but also for correction for aligning the degree of blur of each color, and color deviation correction.
[0185]
In addition, the present invention is not limited to the above embodiments. In short, the present invention can be variously modified and used without departing from the scope of the invention.
[0186]
【The invention's effect】
According to the present invention, even when the restrictions on the form color, entry color, form form and character part printing method, character entry method, etc. are loosely used, or when entry characters are randomly entered in the entry column, etc. Characters can be recognized with accuracy.
[Brief description of the drawings]
FIG. 1 is a diagram showing a schematic configuration of an embodiment of the present invention.
FIG. 2 is a diagram illustrating a state of an RGB signal when a black portion is color-shifted.
FIG. 3 is a diagram showing a state of an RGB signal when there is a color shift in general.
FIG. 4 is a diagram showing a color misregistration detection mark.
FIG. 5 is a diagram for explaining a method for correcting color misregistration by matching changing points of RGB signals;
FIG. 6 is a diagram showing a state of an RGB signal when the color blur is not uniform.
FIG. 7 is a diagram showing a frequency distribution of density values of a gray image.
FIG. 8 is a diagram showing an example in which a straight line passes through the numeral “5”.
FIG. 9 is a diagram for explaining color separation in the example of FIG. 8;
10 is a diagram for explaining color separation in the example of FIG. 8;
FIG. 11 is a diagram for explaining color separation in the example of FIG. 8;
FIG. 12 is a diagram illustrating an example in which noise exists near a straight line.
FIG. 13 is a diagram illustrating an example in which a part of a straight line is slightly discolored and an example in which noise of a color close to the color is attached to the straight line.
FIG. 14 is a diagram showing a state where line segments of different colors intersect.
FIG. 15 is a diagram showing a state where a black line segment and a line segment having some color intersect.
FIG. 16 is a diagram showing an example of detecting a partial thickness of a straight line.
FIG. 17 is a diagram showing a method for separating characters and hatched portions.
FIG. 18 is a diagram for explaining processing for performing color separation processing only for a part.
FIG. 19 is a diagram for explaining a run-length expression method capable of expressing a color.
FIG. 20 is a diagram for explaining a method for defining the format of run-length data capable of expressing a color.
FIG. 21 is a diagram illustrating an example in which processing is performed according to the type of input image.
FIG. 22 is a diagram showing an example of processing when blurring, crushing, outline disturbance, or the like occurs.
FIG. 23 is a diagram for explaining a suspicious case of whether a part of a character is a loop;
FIG. 24 is a diagram showing an example in which two characters are in contact with each other.
FIG. 25 is a diagram showing an example applied to a communication system.
[Explanation of symbols]
1. Image input unit
2. Color separation part
3 ... Buffer
31, 32, 3n ... color image buffer
4. Image processing unit
5 ... Character cutout part
6 ... Character recognition part
7: Reading result correction unit.
Claims (2)
この色分離手段によって分離された記入文字の色部分の文字認識を行う文字認識手段と、
画像データの文字記載部分に対して或る決められた長さよりも長い横線を検出する事によって取り消し判定を行う判定手段と、
この判定手段によって前記画像データが取り消し部分と判定されると、この取り消し部分の位置に対応する印鑑色の画像データの位置部分を取り出し、その部分に印鑑色の有無を出力する手段と、
を有することを特徴とする文字認識装置。A color separation means for performing color separation of the color corresponding to the color of the seal and the color portion of the written character with respect to the input image data;
Character recognition means for recognizing the character portion of the color portion of the entry character separated by the color separation means ;
Determination means for performing cancellation determination by detecting a horizontal line longer than a predetermined length with respect to a character description portion of image data;
When the determination means determines that the image data is a cancel part, a part for taking out the position part of the image data of the seal color corresponding to the position of the cancel part and outputting the presence or absence of the seal color in the part;
A character recognition device comprising:
この色分離によって分離された記入文字の色部分の文字認識を行い、 Perform character recognition of the color part of the entry character separated by this color separation,
画像データの文字記載部分に対して或る決められた長さよりも長い横線を検出する事によって取り消し判定を行い、 The cancellation determination is performed by detecting a horizontal line longer than a predetermined length with respect to the character description portion of the image data,
この判定によって前記画像データが取り消し部分と判定されると、この取り消し部分の位置に対応する印鑑色の画像データの位置部分を取り出し、その部分に印鑑色の有無を出力することを特徴とする文字認識方法。 If it is determined by this determination that the image data is a cancel part, the position part of the image data of the seal color corresponding to the position of the cancel part is taken out, and the presence or absence of the seal color is output to that part. Recognition method.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001331572A JP3615179B2 (en) | 2001-10-29 | 2001-10-29 | Character recognition device and character recognition method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001331572A JP3615179B2 (en) | 2001-10-29 | 2001-10-29 | Character recognition device and character recognition method |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP07425093A Division JP3258122B2 (en) | 1993-03-31 | 1993-03-31 | Image processing device |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004291611A Division JP4127691B2 (en) | 2004-10-04 | 2004-10-04 | Character recognition apparatus and method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2002183661A JP2002183661A (en) | 2002-06-28 |
JP3615179B2 true JP3615179B2 (en) | 2005-01-26 |
Family
ID=19147128
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001331572A Expired - Lifetime JP3615179B2 (en) | 2001-10-29 | 2001-10-29 | Character recognition device and character recognition method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3615179B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11588319B2 (en) | 2020-03-02 | 2023-02-21 | Siemens Aktiengesellschaft | Differential protection method, differential protection device, and differential protection system |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4810995B2 (en) * | 2005-11-28 | 2011-11-09 | 富士ゼロックス株式会社 | Image processing apparatus, method, and program |
JP2007334680A (en) * | 2006-06-15 | 2007-12-27 | Oki Electric Ind Co Ltd | Sales branch terminal and operation branch system |
-
2001
- 2001-10-29 JP JP2001331572A patent/JP3615179B2/en not_active Expired - Lifetime
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11588319B2 (en) | 2020-03-02 | 2023-02-21 | Siemens Aktiengesellschaft | Differential protection method, differential protection device, and differential protection system |
Also Published As
Publication number | Publication date |
---|---|
JP2002183661A (en) | 2002-06-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3258122B2 (en) | Image processing device | |
US7505174B2 (en) | Image processing method, system and apparatus, and storage medium | |
US20060152750A1 (en) | Image processing apparatus and method, and storage medium | |
US8724925B2 (en) | Misalignment detecting apparatus, misalignment detecting method, and computer program product | |
JP7220629B2 (en) | Image discrimination model construction method, image discrimination device, and image discrimination method | |
US7667711B2 (en) | Image processing system, a method thereof, and a recording medium thereof | |
US20040179717A1 (en) | Printing system, method of inspecting print data, method of classifying print inspection result and program | |
JP4337251B2 (en) | Image processing apparatus, image processing method, and computer-readable recording medium storing image processing program | |
JP2013084071A (en) | Form recognition method and form recognition device | |
JP3871040B2 (en) | Method for generating a trapping frame at the color boundary of a printed page existing in the form of run-length encoded image data | |
JP3615179B2 (en) | Character recognition device and character recognition method | |
JP4127691B2 (en) | Character recognition apparatus and method | |
US20230316697A1 (en) | Association method, association system, and non-transitory computer-readable storage medium | |
US10887491B2 (en) | Image processing apparatus for processing of highlighted regions | |
JPH07222018A (en) | Mapping method | |
JP4060559B2 (en) | Image processing apparatus and image processing method | |
JP2005134601A (en) | Analysis system for map image | |
JP4217969B2 (en) | Image processing apparatus and program | |
JP2006031245A (en) | Image processing method and image processor by profile tracking of digital image | |
JP4710672B2 (en) | Character color discrimination device, character color discrimination method, and computer program | |
JP4259310B2 (en) | Image processing apparatus and program | |
JP4648073B2 (en) | Image processing apparatus, image reading apparatus including the same, and image processing method | |
JP2003196592A (en) | Program for processing image, and image processor | |
JPH01280969A (en) | Picture processor | |
JPH0916714A (en) | Multicolor character image reader |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040401 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040803 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041004 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20041026 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20041028 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071112 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081112 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081112 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091112 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101112 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101112 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111112 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111112 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121112 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131112 Year of fee payment: 9 |