JP2848560B2 - 画像認識方法及び装置 - Google Patents

Description

【発明の詳細な説明】 ［産業上の利用分野］ 本発明は、文字パターンを含む画像ブロックを抽出し
て文字認識する画像認識方法及び装置に関するものであ
る。

［従来の技術］ 従来、この種の装置においては、光学的文字認識での
文字の切出しをまず縦方向の黒画素ヒストグラムをとる
ことにより文字行の切出しを行い、その後に切出された
各文字行について横方向ヒストグラムをとることにより
文字の外接矩形（以下ブロツクと呼ぶ）を求めて行つて
いる。この際に、例えば「い」・「り」・「ル」・
「仏」などの分離文字においては、各分離文字のブロツ
クが左右二個のブロツクに分かれてしまうが、左右のブ
ロツクを合成した合成ブロツクが平均文字巾に近い巾に
なるときには合成ブロツクを１文字として切出すように
している。

ここで、文字認識動作を第６図に示す従来の文字認識
装置の概略的なブロツク構成に基づいて説明する。

まず、読取部51で光学的に読み取つた原稿上のイメー
ジデータをメモリ52に格納する。次にイメージデータに
基づいてブロツク抽出部53で上述のような行の切出し及
びブロツクの抽出を行う。合成可能なブロツク同士があ
ればブロツク合成部54で合成し、文字バツフア55に格納
する。そして認識辞書部57に記憶されている文字の標準
パターンと文字バツフア55に格納されている単独ブロツ
ク或は合成ブロツクとを認識部56で文字認識する。この
ようにして文字認識された標準パターンを認識文字とし
てその文字コードを単独照合部58の単語バツフア（図示
しない）に格納する。単語ブツフアに所定の認識文字が
格納されると単語辞書部59に記憶されている単語辞書と
の単語照合を行うようにする。

［発明が解決しようとする課題］ しかしながら、上記従来例では、ピリオド，コンマ，
中黒及び半角数字など文字巾の小さい文字が混在してい
るために、例えば第７図に示すように“3"と“."が合成
されて“3."になつてしまいブロツクの合成を誤つてし
まうことがある。このため文字切出しの段階で、すでに
正しい文字候補が排除されてしまうことになる。これは
単語照合の段階で一文字程度の違いは許して比較するこ
とにより単語候補を見つけることによつて補填すること
も考えられるが、一文字の違いといえども正確性を失う
ことにより、またブロツク合成での誤りは単語を構成す
る文字数を誤ることになるので、長さの異なる単語同志
の類似度比較が必要となり単語照合が複雑となつてしま
う欠点がある。

本発明は上述の従来例に鑑みてなされたものであり、
文字パターンを含む画像ブロックの文字認識を行う際、
注目する第１画像ブロックとその隣の第２画像ブロック
を合成するか否かを判定し、合成する必要があると判定
された場合に、更に、その合成して得られる第３画像ブ
ロックの幅と予め設定されている所定の文字幅との差分
から、その第３画像ブロックの文字幅の正確度を求め
る。そして、その正確度に応じて、第３画像ブロックの
みを文字認識するか、第３画像ブロックに加えて第１画
像ブロック及び第２画像ブロックをも文字認識するかを
切り替えることで、合成する必要がある画像ブロック、
かつ文字認識する必要がある画像ブロックの種類をより
適切に選定できる画像認識方法及び装置を提供すること
を目的とする。

［課題が解決するための手段］ 上記目的を達成するために本発明の画像認識方法は以
下のような工程を備える。即ち、 画像情報を入力し、 前記画像情報より文字パターンを含む画像ブロックを
抽出し、 前記抽出した画像ブロック内の注目する第１画像ブロ
ックと、その隣の第２画像ブロックを合成する必要があ
るか否かを判定し、 前記判定により合成する必要があると判定された場合
に、前記第１画像ブロックと第２画像ブロックを合成し
た第３画像ブロックの幅と、予め設定されている所定幅
との差分から、前記第３画像ブロックの幅の正確度を求
め、 前記正確度に応じて、前記第３画像ブロックのみを文
字認識するか、該第３画像ブロックに加えて前記第１画
像ブロック及び前記第２画像ブロックをも文字認識する
かを切り替える。

また、上記目的を達成するために本発明の画像認識装
置は以下のような手段を備える。即ち、 画像情報を入力する入力手段と、 前記入力手段により入力した画像情報より文字パター
ンを含む画像ブロックを抽出する画像ブロック抽出手段
と、 前記画像ブロック抽出手段により抽出した画像ブロッ
クの内の注目する第１画像ブロックと、その隣の第２画
像ブロックを合成する必要があるか否かを判定する判定
手段と、 前記判定手段により合成する必要があると判定された
場合に、前記第１画像ブロックと第２画像ブロックを合
成した第３画像ブロックの幅と、予め設定されている所
定の文字幅との差分から、前記第３画像ブロックの文字
幅の正確度を求る正確度導出手段と、 前記正確度導出手段により求めた正確度に応じて、前
記第３画像ブロックのみを文字認識するか、該第３画像
ブロックに加え前記第１画像ブロック及び前記第２画像
ブロックをも文字認識するかを切り替えるよう制御する
文字認識制御手段とを有する。

［作用］ 以上の構成により、画像情報より文字パターンを含む
画像ブロックを抽出して、その抽出した画像ブロックの
内の注目する第１画像ブロックを、その隣の第２画像ブ
ロックと合成する必要があるか否かを判定する。合成す
る必要があると判定された場合に、第１画像ブロックと
第２画像ブロックを合成した第３画像ブロックの幅と予
め設定されている所定の文字幅との差分から、当該第３
画像ブロックの文字幅の正確度を求める。そして、その
正確度に応じて、第３画像ブロックのみを文字認識する
か、第３画像ブロックに加えて第１画像ブロック及び第
２画像ブロックをも文字認識するかを切り替えるように
動作する。

［実施例］ 以下、添付図面を参照して本発明に係る好適な実施例
を詳細に説明する。

＜第１の実施例の説明＞ まず、第１の実施例について説明する。

第１図は本発明に係わる文字認識装置の第１の実施例
を示すブロツク図である。図において、１は第１の実施
例の文字認識装置を示している。２は本装置全体を制御
するCPUを示している。３はCPU2を動作させるための制
御プログラム，エラー処理プログラム，そして後述する
第３図（ａ），（ｂ）に示すフローチヤートに従つたプ
ログラム等を格納しているROMを示し、４はROM3に格納
されている各種プログラムのワークエリア及びエラー処
理時の一時退避エリアとして用いるRAMを示している。
５は原稿画像を光学的に読み取る読取部を示し、６は読
取部５で読取つた画像データを格納するメモリを示して
いる。７はメモリ６に格納されている画像データより文
字行の切出しを行つた後に一文字分のブロツクを抽出す
るブロツク抽出部を示し、８はブロツク抽出部７で抽出
されたブロツクにおいて隣り合うブロツクとブロツク巾
（この場合、２つのブロツク巾をいう）が通常の一文字
分の文字巾を示す平均文字巾とほぼ等しい場合にブロツ
ク合成を行うブロツク合成部を示している。

そして、９はブロツク合成部８で合成した合成ブロツ
クの正確度を判定するブロツク正確度判定部を示し、10
はブロツク正確度判定部９での判定結果により出力され
るブロツク或はブロツク正確度判定部９で判定処理を行
わずに出力される単独ブロツクを格納する文字バツフア
を示している。このブロツク正確度判定部９により文字
バツフア10へ出力されるブロツク数は文字切出しを一回
行つたときの数である。11はブロツク正確度判定部９に
より出力される１回の文字切出しにおけるブロツクの総
数をカウントするブロツクカウンタを示している。12は
文字バツフア10に格納されたブロツクの文字パターンに
該当する後述の認識辞書部13に格納されている標準パタ
ーンをマッツチングさせて文字認識を行う認識部を示し
ている。13はマツチング用の標準パターンを格納してい
る認識辞書部を示している。

また、14は単語ブツフアを有し、認識部12での認識結
果に基づいて単語候補を挙げ、後述の単語辞書部15に格
納されている単語辞書と単語照合する単語照合部を示し
ている。15は認識結果の単語候補と照合させるための単
語辞書を記憶している単語辞書部を示している。

次に、第１の実施例の文字認識方法について説明す
る。

第２図（ａ），（ｂ）は第１の実施例のCPU2の動作を
説明するフローチヤート、第３図は第１の実施例の単語
照合を説明する図である。

まず、原稿は読取部５によつて光学的に読み取られ、
２値画像に変換されてメモリ６に記憶される（ステツプ
S1）。そしてブロツク抽出部７では、メモリ６に記憶さ
れたイメージデータを主走査方向、即ち、行方向に黒画
素ヒストグラムをとり、ヒストグラムの谷の位置を文字
行の切出し位置として文字行の切出しを行う（ステツプ
S2）。このようにして切出された文字行の領域につい
て、行を副走査方向、即ち、行方向に対して垂直な方向
に黒画素のヒストグラムをとり各文字魂の外接矩形（以
下ブロツクと呼ぶ）を求める（ステツプS3）。

次に、以下の処理手順をブロツク間について順次に行
う。まず一つ目の第１のブロツクのブロツク巾とその次
の第２のブロツクのブロツク巾との合計のブロツク巾を
算出し（ステツプS4）、予め設定されている所定の平均
文字巾とを比較する（ステツプS5）。この結果、ほとん
ど等しい（例えば誤差20％以内の差であれば等しいとす
る）と判定されたときには２つのブロツクを合成すべき
と判断してステツプ７へ進む。一方、誤差20％を越える
ときには２つのブロツクを合成すべきでないと判断して
第１のブロツクを単独ブロツクとしてブロツク正確度判
定部９に出力する。この単独ブロツク出力の場合には、
ブロツク正確度判定部９で何も処理を行わずに文字バツ
フア10に格納する。これと同時に、ブロツクカウンタ11
の内容を一つカウントアツプしてステツプS12に進む
（ステツプS6）。尚、ブロツクカウンタ11の初期値は
“0"とする。

また、ステツプS5よりステツプS7に進んだ場合には、
隣り合う２個のブロツクを合成し、１つの合成ブロツク
を生成する（ステツプS6）。そして次の式に基づいてブ
ロツク合成の正確度を求める。

以上の式に基づいて算出したブロツク正確度が10％よ
りも小さければ、即ち、合成ブロツク巾と平均文字巾と
の差が平均文字巾10％よりも小さければブロツクの合成
が正確と判断し、一方、ブロツク正確度が10％以上なら
ばブロツクの合成は不正確であるとして判断する。そこ
で、ブロツクの合成が不正確であると判断した場合に
は、２つのブロツクを合成する前のブロツクの状態でそ
れぞれ単独ブロツクを文字バツフア10へ出力し（ステツ
プS10）、さらに２つのブロツクを合成した合成ブロツ
クも文字バツフアに出力してステツプS12に進む（ステ
ツプS11）。以上のステツプS10ではブロツクカウンタ11
を２つカウントアツプし、続くステツプS11ではブロツ
クカウンタ11を１つカウントアツプする。従つてブロツ
クカウンタ11の値は“3"となる。またブロツクの合成は
正確であるとして判断した場合には、直接ステツプS11
に進んで合成ブロツクのみの出力を行つてステツプS11
に進む。この場合には、ブロツクカウンタ11の値は“1"
となる。

ここで、従来例のところで説明した第７図の例では、
“は”と“で”は平均文字巾との差が10％より小さいの
で単独ブロツクの出力が行われず、“3."は平均文字巾
との差が10％以上となり単独ブロツクの出力がなされる
ことになる。また“は",“で",“3."以外の文字のブロ
ツクの場合には合成が行われることはなく単独ブロツク
として文字バツフア10に出力されることになる。このよ
うに、各文字はブロツク合成の有無およびブロツク合成
の確定度に応じて、 （１）単独ブロツクのみの文字バツフア10への出力（ス
テツプS6）、 （２）合成ブロツクのみの文字バツフア10への出力（ス
テツプS11）、そして、 （３）単独ブロツクと合成ブロツクの文字バツフアへの
出力（ステツプS10,ステツプS11）、 の３通りで文字の切出しが実行される。上記の（１）及
び（２）の場合には、文字バツフア10へは１個のブロツ
クが出力される。また上記の（３）の場合には、文字バ
ツフア10へは３個のブロツク（単独ブロツク２個と合成
ブロツク１個）が出力させることになる。

次に、ステップS12では、文字バツフア10からブロツ
クカウンタ11の値に応じた数のブロツクを１個ずつ取り
出し、認識部12で認識辞書13を用いることにより公知の
技術で文字認識を行う（ステツプS12）。そして認識結
果の文字コードは単語照合部14へ送られ、単語照合部15
内の単語バツフアに格納される。但し、ブロツクカウン
タ11の値が“3"の場合には、認識結果、即ち、文字コー
ドの送出に先だつて制御コードを単語照合部14内の単語
バツフアに送出し（ステツプS14）、その後に３つの文
字コードを送出する（ステツプS15）。ここで、前述の
（１），（２），（３）の各々の場合に応じて認識部12
は認識結果を送出する。まず（１）の場合には単独ブロ
ツクの文字コードが１つ送出され、（２）の場合には合
成ブロツクの文字コードが１つ送出され、（３）の場合
には制御コード，第１の単独ブロツクの文字コード，第
２の単独ブロツクの文字コード，そして合成ブロツクの
文字コードの４つが送出される。ここで、文字コードは
JIS2バイトコードが使用され、制御コードはJISコード
系で未使用の２バイトコードが使用されている。

このようにして、単語照合が可能となる単語バツフア
に１つの単語が蓄積されるまで上述の処理を繰り返す。
即ち、ステツプS15による認識結果の単語バツフアへの
送出が１回終了すると、その時点で単語照合が可能か否
かをステツプS16で判定する。ステツプS16で不可能と判
定された場合には、まず次行の切出しを必要とするか否
かを判定し（ステツプS17）、この判定で行切出しを必
要とした場合には１ページ分の処理が終了していない間
はステツプS2へ戻り上述の処理を繰り返す（ステツプS1
8）。またステツプS17の判定で行切出しを必要無しとし
た場合にはステツプS4に戻り上述の処理を繰り返す。

このようにして、単語バツフアに文字コード（制御コ
ードを含む場合がある）による１つの単語が蓄積される
と、単語バツフアの中の制御コードの数を調べ、制御コ
ードが１つも含まれていないときは、単語バツフアの内
容をそのまま最終認識結果として出力する（ステツプS1
9,ステツプS20）。従つて外部には単語バツフアの内容
を認識結果として出力する（ステツプS27）。またステ
ツプS19で単語バツフアに制御コードが含まれていると
判定した場合は、次のように単語照合を行う。まず制御
コード以降に続く３個の文字コードがある場合には、第
1,第２のブロツクの文字コードがブロツク合成を行わな
い第１の文字認識を結果を示し、合成ブロツクの文字コ
ードはブロツク合成を行つた第２の文字認識の結果を示
している。このような条件で単語バツフアに制御コード
ｎ個含まれているとすると、単語候補は2ⁿ通りの文字列
の組合せがあることになる。

ここで、“アルコール”という文字列を例に挙げ、第
３図を用いて説明する。この場合には、文字切出しの結
果“ル”の文字について前述の（３）が該当する。即
ち、“ル”は制御コードと３つの文字コードで表され
る。従つて文字列“アルコール”には“ル”の文字が２
つ含まれていることにより、単語候補は４通りとなる。
即ち、 の４通りの単語候補が挙げられる。そこですべての単語
候補について単語辞書部15の内容とのマツチングを行
い、単語辞書部15内の一致する単語候補を最終認識結果
とする。従つて上記の“アルコール”の場合、単語候補
の（ａ），（ｂ），（ｃ）は一致する単語が単語辞書部
15内に存在しないためにはじかれる。最後の単語候補の
（ｄ）は一致する単語が単語辞書部15内に存在するの
で、この（ｄ）の が正しい認識結果となる。従つて処理としては、ステツ
プS21で照合する単語の数（2ⁿ）だけ単語候補を挙げ、
一つづつ一致不一致を確認しながら単語照合を行う（ス
テツプS22,ステツプS23）。ここで、一致する単語がな
いままに次の単語候補が切れてしまった場合には、単語
候補すべてを認識結果とし（ステツプS24,ステツプS2
5）、この認識結果を外部に出力する（ステツプS27）。
またステツプS23で一致する単語候補を見つけたときに
は、一致した単語候補を認識結果とする（ステツプS2
6）。そして認識結果を外部に出力する（ステツプS2
7）。

このように、外部に認識結果を出力した後には、再び
ステツプS17に戻り、上述の処理を繰り返す。

以上の説明により第１の実施例によれば、複数の文字
照合させると共に、文字認識の候補に漏れを無くすこと
で正確な文字認識を実施することができる。

＜第２の実施例の説明＞ 次に、第２の実施例について説明する。

第４図は本発明に係わる文字認識装置の第２の実施例
を示すブロツク図であり、第５図は第１の実施例のCPU2
の動作を説明するフローチヤートである。

第４図において、21は第２の実施例の文字認識装置を
示している。22は本装置全体を制御するCPUを示してい
る。23はCPU22を動作させるための制御プログラム，エ
ラー処理プログラム，そして後述する第５図に示すフロ
ーチヤートに従つたプログラム等を格納しているROMを
示し、24はROM23に格納されている各種プログラムのワ
ークエリア及びエラー処理時の一時退避エリアとして用
いるRAMを示している。ここで、参照番号25〜31までの
各部の機能は前述の第１の実施例と同様のため、説明を
省略する。

そして、32は文字バツフア30に格納されたブロツク中
の文字パターンを後述の認識辞書部33に記憶されている
標準パターンと比較によつて類似度を求め、類似度が最
大の標準パターンに基づいて認識文字の候補を挙げる類
似度計算部を示している。33は類似度計算部32で認識文
字の候補を挙げるための標準パターンを記憶している認
識辞書部を示している。34は類似度計算部32で挙げた認
識文字の候補より最後の認識結果を識別する識別部を示
している。

ここで、第２の実施例による文字認識方法について説
明する。

第２の実施例においても第１の実施例のステツプS1〜
ステツプS11までの処理と同様の処理がステツプS1′〜
ステツプS11′まで行われる。従つてその間の処理の説
明を省略する。

そこで、ステツプS1′〜ステツプS11′により文字バ
ツフア30にブロツクが格納されると、次にブロツクカウ
ンタ31の値を調べる（ステツプS30）。もし値が“1"の
場合には、単独ブロツクか或は合成ブロツクのため、類
似度計算部32で認識辞書部33内の標準パターンと類似度
を算出する（ステツプS31）。そして類似度が最大の標
準パターンを認識結果とする（ステツプS32）。このよ
うにして求めた認識結果は識別部34では何も処理を行わ
ずに外部に出力される（ステツプS42）。またステツプS
30でブロツクカウンタ31の値が“3"であることを確認す
ると、類似度計算部32では文字バツフア30内のそれぞれ
のブロツク（第１の単独ブロツク，第２の単独ブロツク
及び合成ブロツク）に対して認識辞書部33内の標準パタ
ーンとの類似度の計算が行われる。そして各々の計算時
には最大の類似度を求め、第１の単独ブロツクの最大の
類似度，第２の単独ブロツクの最大の類似度，合成ブロ
ツクの最大類似度をそれぞれm₁,m₂,m₃とする（ステツプ
S33〜ステツプS38）。

次に、最大類似度m₁,m₂,m₃より最終的に認識文字とし
て出力するための標準パターンを識別部34で識別する。
この識別方法として以下の式を用いる。即ち、（m₁＋
m₂）÷２≧m₃ならば単独ブロツクとの類似度も最も大き
い標準パターンの文字コードを最終認識結果とする。こ
の場合には類似度m₁,m₂にそれぞれ該当する標準パター
ンが認識結果として識別される（ステツプS39,ステツプ
S40）。また（m¹＋m²）÷２＜m³ならば合成ブロツクと
類似度の最も大きい標準パターンの文字コードを最終認
識結果とする。この場合には類似度m₃に該当する標準パ
ターンが認識結果として識別される（ステツプS41）。

次に、ステツプS32,ステツプS40,そしてステツプS41
のそれぞれの識別処理により識別された認識結果を外部
に出力する（ステツプS42）。このようにして外部に識
別された認識結果を出力した後には、次の文字認識を行
うために次行の切出しが必要なければ第１の実施例と同
様に対応するステツプS4に戻り（ステツプS43）、また
次行の切出しが必要であれば１ページ分の処理が終了す
るまでは第１の実施例と同様に対応するステツプS2に戻
り処理を繰り返す（ステツプS44）。

以上の説明により第２の実施例によれば、文字認識を
類似度判定で行つても文字認識のための候補に漏れがな
い状態による正確な文字認識を行うこができる。

［発明の効果］ 以上説明したように本発明によれば、文字パターンを
含む画像ブロックの文字認識を行う際、注目する第１画
像ブロックとその隣の第２画像ブロックを合成するか否
かを判定し、合成する必要があると判定された場合に、
更に、その合成して得られる第３画像ブロックの幅と予
め設定されている所定の文字幅との差分から、その第３
画像ブロックの文字幅の正確度を求める。そして、その
正確度に応じて、第３画像ブロックのみを文字認識する
か、第３画像ブロックに加えて第１画像ブロック及び第
２画像ブロックをも文字認識するかを切り替えること
で、合成する必要がある画像ブロック、かつ文字認識す
る必要がある画像ブロックの種類をより適切に選定でき
る画像認識方法及び装置を提供できる。

【図面の簡単な説明】

第１図は本発明に係わる文字認識装置の第１の実施例を
示すブロツク図、 第２図（ａ），（ｂ）は第１の実施例のCPU2の動作を説
明するフローチヤート、 第３図は第１の実施例の単語照合を説明する図、 第４図は本発明に係わる文字認識装置の第２の実施例を
示すブロック図、 第５図は第１の実施例のCPU2の動作を説明するフローチ
ヤート、 第６図は従来の文字認識装置を示すブロツク図、 第７図は従来の単語照合を説明する図である。 図中、1,21……文字認識装置、2,22……CPU、3,23……R
OM、4,24……RAM、5,25,51……読取部、6,26,52……メ
モリ、7,27,53……ブロツク抽出部、8,28,54……ブロツ
ク合成部、9,29……ブロツク正確度判定部、10,30,55…
…文字バツフア、11,31……ブロツクカウンタ、12,56…
…認識部、13,33,57……認識辞書部、14,58……単語照
合部、15,59……単語辞書部、32……類似度計算部、34
……識別部である。

Claims (2)

(57)【特許請求の範囲】
1. 【請求項１】画像情報を入力し、 前記画像情報より文字パターンを含む画像ブロックを抽
   出し、 前記抽出した画像ブロック内の注目する第１画像ブロッ
   クと、その隣の第２画像ブロックを合成する必要がある
   か否かを判定し、 前記判定により合成する必要があると判定された場合
   に、前記第１画像ブロックと第２画像ブロックを合成し
   た第３画像ブロックの幅と、予め設定されている所定幅
   との差分から、前記第３画像ブロックの幅の正確度を求
   め、 前記正確度に応じて、前記第３画像ブロックのみを文字
   認識するか、該第３画像ブロックに加えて前記第１画像
   ブロック及び前記第２画像ブロックをも文字認識するか
   を切り替えることを特徴とする画像認識方法。
2. 【請求項２】画像情報を入力する入力手段と、 前記入力手段により入力した画像情報より文字パターン
   を含む画像ブロックを抽出する画像ブロック抽出手段
   と、 前記画像ブロック抽出手段により抽出した画像ブロック
   の内の注目する第１画像ブロックと、その隣の第２画像
   ブロックを合成する必要があるか否かを判定する判定手
   段と、 前記判定手段により合成する必要があると判定された場
   合に、前記第１画像ブロックと第２画像ブロックを合成
   した第３画像ブロックの幅と、予め設定されている所定
   の文字幅との差分から、前記第３画像ブロックの文字幅
   の正確度を求る正確度導出手段と、 前記正確度導出手段により求めた正確度に応じて、前記
   第３画像ブロックのみを文字認識するか、該第３画像ブ
   ロックに加え前記第１画像ブロック及び前記第２画像ブ
   ロックをも文字認識するかを切り替えるよう制御する文
   字認識制御手段とを有することを特徴とする画像認識装
   置。