JP4259950B2 - 画像認識装置、画像認識プログラムおよび記録媒体 - Google Patents

Description

本発明は、スキャナ、デジタルカメラ等の画像入力機器により取り込まれた画像から、文字・線図を再現した画像を作成し、当該文字・線図を文字コード・ベクトル線図として認識することができる画像認識装置、画像認識プログラムおよび記録媒体に関する。

近年、カラースキャナ、カラーデジタルカメラ（カラーデジタルカメラ付きの携帯型電話機を含む）等のカラー情報入力機器が広く普及している。カラースキャナでは、たとえば解像度４００ｄｐｉ、２５６階調で原稿画像を読み取る場合には、処理するべきデータ量が増化し、読み取りに時間がかかる等の不都合がある。また、カラーデジタルカメラでは、たとえば解像度４００ｄｐｉで撮影するとメモリに記憶できる画像数が少なくなるといった不都合がある。

一般に、カラー画像では、たとえば２００ｄｐｉ程度であっても、ディスプレイに表示する場合に画質が劣って見えることはない。このため、この種のカラー情報入力機器では、カラーの文書、図面、地図等を、２００ｄｐｉ程度の解像度で取得し（すなわち読み取りまたは撮影し）、所定フォーマット（ＴＩＦ、ＪＰＥＧ、ＧＩＦ等）のイメージファイルとして他の装置に送信等している。

ところで、カラービットマップ画像に、写真、絵等のほか、文字・線図が含まれている場合において、これら文・線図を正確にまたは改善して認識したい場合が生じることがある。たとえば、あるユーザは、カラービットマップ画像に描かれている文字・線図を、グラフィックツール（画像加工ができるソフトウェア）により加工したい場合がある。あるいは、あるユーザは、カラービットマップ画像に描かれている文字列を文字認識装置によりコード化し、ワードプロセッサにより編集可能な文字列として編集等したい場合がある。

ところが、カラーの印刷文書、図面、地図等が２００ｄｐｉ程度の解像度で作成されている場合において、画像に含まれる文字・線図が小さいと（たとえば、３ミリ四方程度であると）、画像に含まれ文字・線図をＯＣＲ等の認識装置により認識する場合、文字・線図が正しく再現ができないことある。

モノクロ画像からなる文書、図面、地図等は２００ｄｐｉ程度の解像度では、たとえばディスプレイに表示したときに画質が劣って見える。このため、モノクロ画像からな文書等は、通常は、解像度４００ｄｐｉ以上の解像度で作成される。すなわち、モノクロスキャナでは（あるいは、カラースキャナのモノクロ読み取りモードでは）、４００ｄｐｉ程度の解像度で、文書、図面、地図等を読み取り、２値画像としてコンピュータに渡すことができる。また、デジタルカメラでは、モノクロで撮影した場合には、撮影画像のデータ量は、カラーで撮影した場合のデータ量に比べて圧倒的に小さいので、撮影画像は４００ｄｐｉ程度の解像度でメモリに蓄積される。

モノクロビットマップ画像は、４００ｄｐｉ程度の解像度であれば、画像中の文字が小さい場合（たとえば、３ミリ四方程度）であっても、たとえば文字認識装置による認識も良好に行なうことができる。

従来、２００ｄｐｉ程度以下の解像度、多階調のカラー画像に含まれる線図等を、モノクロの４００ｄｐｉと同様に、正確に再現しまたは改善して作成し、これを、たとえば文字として認識することが望まれている。

従来のカラービットマップ画像に描かれている文字を正確に再現し、または改善して作成するためには、（１）フィルタリング、（２）コントラスト強調、（３）モデルベースの画像復元、（４）高解像度化が用いられる。

（１）のフィルタリングには、たとえばモルフォルジー（Ｍｏｒｐｈｏｌｏｇｉｃａｌ Ｏｐｅｒａｔｉｏｎ）を用いたノイズ除去方法（非特許文献１，非特許文献２参照）、細部をぼかさずにノイズを除去する２次フィルタを用いた方法（非特許文献３参照）がある。

（２）のコントラスト強調には、たとえば処理ウィンドウ（たとえば、３×３画素，５×５画素の処理領域）内の局所的統計量をもとにした非線形の階調変換（非特許文献４参照）がある。

（３）のモデルベースの画像復元には、たとえばＯＣＲ等の誤認識の原因をクラスタ分析によりモデル化して画像復元する方法（非特許文献５参照）がある。

（４）の高解像度化としては、ビットマップ画像中の文字・線図を構成する画素をクラスタリングして平均することにより、任意の解像度のアウトラインを生成する方法（非特許文献６参照）、分布の双峰性、滑らかさ、輝度の３つをパラメータとする評価関数に基づき、逆問題として定式化し、最適な高解像度画像を復元する方法（非特許文献７参照）、補間による高解像度化と２値化に基づく方法（特許文献１，特許文献２，特許文献３，非特許文献８，非特許文献９参照）などがある。

文字認識装置等における認識精度向上を考えるならば、低解像度のビットマップ画像から高解像度の２値ビットマップ画像を復元するというアプローチが自然である。
理論的には、低解像度・多階調（あるいは多値）画像と高解像度・２値画像との間に、、サンプリング間隔、量子化レベル数、ＰＳＦ（点広がり関数：ｐｏｉｎｔ ｓｐｒｅａｄ ｆｕｎｃｔｉｏｎ）のぼけ効果に関して、ある関係が成り立てば、同じ情報量を持つことが知られている（非特許文献１０）。

特許第３３４５３５０号 特開平８‐３４０４４６号 特開２００１‐１１８０３２ L. Koskinen, H. Huttunen, and J.T. Astola, Text enhancement method based on soft morphological filters Proceedings of SPIE, vol. 2181, pp. 243-253, 1994. J. Liang, R.M. Haralick, and I.T. Phillips, Document image restoration using binary morphological filters, Proceedings of SPIE, vol. 2660, pp. 274-285, 1996. G. Ramponi and P. Fontanot, Enhancing document images with a quadratic filter, Signal Processing, vol. 33, pp. 23-34. 1993. Y.C. Shin, R. Sridhar, V. Demjanenko, P.W. Palumbo, and J.J. Hull、 Contrast enhancement of mail piece images, Proceedings of SPIE, vol. 1661, pp. 27-37, 1992. M.Y. Jaisimha, E.A. Riskin, R. Ladner, and S. Werner, Model-based restoration of document images for OCR, Proceedings of SPIE, vol. 2660, pp. 297-308, 1996.1997 US5930393(T.K. Ho and J.D. Hobby; Lucent Technologies), July 27, 1999. P.D. Thouin and C.-I. Chang, A method for restoration of low-resolution document images, International Journal on Document Analysis and Recognition， vol. 2， pp. 200-210， 2000. US5524070(Y.-C. Shin, R. Sridhar, S.N. Srihari and V. Demjamenko; State University of New York, Buffalo), April 6, 1996. US6347156 (H. Kamada and K. Fujimoto; Fujitsu), February 12, 2002. D. Lee, T. Pavlidis, and G.W. Wasilkowski, A note on the trade-off between sampling and quantization in signal processing, Journal of Complexity, vol. 3, pp. 359-371, 1987. N.B. Karayiannis and A.N. Venetsanopoulos, Image interpolation based on variational principles, Signal Processing, vol. 25、 pp. 259-288, 1991. A.D. Kulkarni and K. Sivaraman, Interpolation of digital imagery using hyperspace approximation, Signal Processing, vol. 7, pp. 65-73, 1984.

しかし、上述した従来方法には次のような問題点がある。
まず、（１）のビットマップのクラスタリングと平均化の方法では、同一の文書画像上に同じ文字について十分な数のサンプルが存在することを仮定している。この仮定は、ヨーロッパ系の言語のように、文字種が少ない場合（アルファベット、数字、記号等を合計しても高々１００種類程度）には成立するが、東洋系の言語のように文字種が多い場合（たとえば漢字の場合には数千〜数万）には成立しない場合が多い。

次に、（４）の逆問題として定式化して解く方法であるが、計算量が多く、さらに、漢字のようにストロークの密度が高い場合には、後述する図１２（Ａ），（Ｂ），（Ｃ）にも示すように、ストロークと背景の輝度が逆転することもあり、分布の双峰性や輝度によって復元することが難しい場合が生じる。また、補間して２値化するという単純な方法でも、フォント形状の特徴をある程度は復元できる。しかし、後述する図１０（Ｂ）に示すように、輪郭のがたつきやストロークの切れが生じやすく、十分な画質が得られない。

画像が低解像度（たとえば２００ｄｐｉ程度）である場合、小さい文字（例えば、３ミリ四方の文字）では、ストローク幅がサンプリング間隔と同じ程度になる。したがって、ストロークの輝度のばらつきが、統計的変動で説明できる範囲を超えるため、通常２値化ではストロークが抽出できないことがある。

ぼやけた（すなわち、不鮮明な）ストロークを抽出するようにパラメータを調整すると、今度は潰れが生じる。また、補間には、双１次補間、３次スプライン補間などのほかに、変分原理に基づくもの（非特許文献１１.）や直交多項式基底に基づくもの（非特許文献１２）などの様々な技術があるが、これらの補間技術は、自然画像（写真）には効果を発揮するが、文字・線図に特に効果があるものは存在しない。

また、（２），（３）のクラスタリングによる方法では、文字輪郭の微細修正ができるものの、文字のストローク抽出等の処理をすることができない。

この結果、文字・線図に修正を加えたとしても、文字・線図の高い認識精度を得ることができない。

本発明の目的は、簡単なアルゴリズムにより、漢字のようにキャラクタ数が多くかつ複雑な形状構造の文字や細かい線図を、原画像から精度良く再現して作成し、これを文字コードあるいはベクトル図形に変換して文字・線図の認識を高い精度で行なうことができる画像認識装置、画像認識プログラムおよび記録媒体を提供することである。

本発明は、 多値ビットマップの原画像を取得する原画像取得手段と、前記原画像取得手段が取得した前記原画像から、当該原画像よりも高解像度の多値画像を生成する高解像度多値画像生成手段と、前記原画像取得手段が取得した前記原画像から、ｘｙ座標が画素座標、ｚ座標が輝度である曲面を生成する輝度曲面生成手段と、前記輝度曲面生成手段が生成した輝度曲面の地形的特徴を抽出する地形的特徴抽出手段と、前記高解像度多値画像の各画素における輝度勾配量を検出する輝度勾配量検出手段と、前記高解像度多値画像から、当該高解像度多値画像の各画素の周囲画素を参照した統計情報に基づき、（ａ）文字・線図を構成する画素と、（ｂ）文字・線図を構成しない画素と、（ｃ）文字・線図を構成するか否かが確定されていない画素とからなる基本画像（地形的特徴の組み込みがなされる画像）を生成する基本画像生成手段と、前記高解像度多値画像に含まれる文字・線図の輪郭を構成する画素であって、前記基本画像の前記（ｃ）文字・線図を構成するか否かが確定されていない画素が、前記輝度曲面のうち極小部分が線状または帯状に連続する領域または前記極小部分が局在する領域に含まれるときは、当該画素を黒画素に設定し、前記領域に含まれないときには当該画素を白画素に設定して、２値画像を生成する地形的特徴組み込み手段と、前記地形的特徴組み込み手段が生成した２値画像について、前記輝度勾配量検出手段が検出した各画素の輝度勾配量に基づいて、修正する第１の輪郭修正手段と、前記第１の輪郭修正手段が修正した前記画像中の文字・線図の輪郭を構成する画素列を、接線方向に基づいてクラスタリングし、各クラスタについて前記輪郭を円滑化するとともに角部の角度を鮮明化し、前記輪郭を修正する第２の輪郭修正手段と、前記第２の輪郭修正手段により文字・線図の輪郭が修正された画像の、当該文字・線図を文字コード・ベクトル線図として認識する文字・線図認識手段とを備えたことを特徴とする画像認識装置である。
また、前記地形的特徴は、輝度曲面を実際の地形に対応させたときに、周囲よりも輝度が低い「谷または窪地」、周囲よりも輝度が高い「尾根または山頂」、「谷または窪地」と「尾根または山頂」との間に位置する「山腹または鞍部」である。
また、さらに、色復元手段を備え、前記色復元手段は、前記文字・線図認識手段が認識した前記文字・線図または更に背景の色彩が、前記原画像取得手段が取得した前記原画像における色に近似させて復元されているものである。
また、前記原画像取得手段は、前記原画像がカラー画像であるときは、当該原画像をグレイスケール多値画像に変換するカラー／グレイスケール変換手段を備えたものである。

また、多値ビットマップの原画像を取得する原画像取得手段と、前記原画像取得手段が取得した前記原画像から、当該原画像よりも高解像度の多値画像を生成する高解像度多値画像生成手段と、前記高解像度多値画像生成手段が生成した前記高解像度多値画像から、ｘｙ座標が画素座標、ｚ座標が輝度である曲面を生成する輝度曲面生成手段と、前記輝度曲面生成手段が生成した輝度曲面の地形的特徴を抽出する地形的特徴抽出手段と、前記高解像度多値画像生成手段が生成した高解像度多値画像の各画素における輝度勾配量を検出する輝度勾配量検出手段と、前記高解像度多値画像から、当該高解像度多値画像の各画素の周囲画素を参照した統計情報に基づき、（ａ）文字・線図を構成する画素と、（ｂ）文字・線図を構成しない画素と、（ｃ）文字・線図を構成するか否かが確定されていない画素とからなる基本画像（地形的特徴の組み込みがなされる画像）を生成する基本画像生成手段と、前記高解像度多値画像に含まれる文字・線図の輪郭を構成する画素であって、前記基本画像の前記（ｃ）文字・線図を構成するか否かが確定されていない画素が、前記輝度曲面のうち極小部分が線状または帯状に連続する領域または前記極小部分が局在する領域に含まれるときは、当該画素を黒画素に設定し、前記領域に含まれないときには当該画素を白画素に設定して、２値画像を生成する地形的特徴組み込み手段と、前記地形的特徴組み込み手段が生成した２値画像について、前記輝度勾配量検出手段が検出した各画素の輝度勾配量に基づいて、修正する第１の輪郭修正手段と、前記第１の輪郭修正手段が修正した前記画像中の文字・線図の輪郭を構成する画素列を、接線方向に基づいてクラスタリングし、各クラスタについて前記輪郭を円滑化するとともに角部の角度を鮮明化し、前記輪郭を修正する第２の輪郭修正手段と、前記第２の輪郭修正手段により文字・線図の輪郭が修正された画像の、当該文字・線図を文字コード・ベクトル線図として認識する文字・線図認識手段とを備えたことを特徴とする画像認識装置である。
また、前記地形的特徴は、輝度曲面を実際の地形に対応させたときに、周囲よりも輝度が低い「谷または窪地」、周囲よりも輝度が高い「尾根または山頂」、「谷または窪地」と「尾根または山頂」との間に位置する「山腹または鞍部」である。
また、さらに、色復元手段を備え、前記色復元手段は、前記文字・線図認識手段が認識した前記文字・線図または更に背景の色彩が、前記原画像取得手段が取得した前記原画像における色に近似させて復元されているものである。
また、前記原画像取得手段は、前記原画像がカラー画像であるときは、当該原画像をグレイスケール多値画像に変換するカラー／グレイスケール変換手段を備えたものである。

本発明によれば、漢字のような複雑な形状構造をもつ文字や細かい線図を、高い認識精度で再現することができるという効果を得る。

図１は本発明の画像認識装置の一構成例を示す図である。
図１において、パーソナルコンピュータ（ＰＣ）１１０は画像認識装置として動作するもので、ＣＰＵ１１１と、メモリ１１２（ＲＯＭ１１２１とＲＡＭ１１２２とからなる）と、ハードディスク装置１１３と、リムーバブルディスク装置１１４と、ディスプレイ・インタフェース１１５と、プリンタ・インタフェース１１６と、キーボード１１７と、通信回線１００に接続されたネットワーク・インタフェース１１８とがバス１１９に接続されて構成されている。

メモリ１１２には、後述する原画像取得手段２０１，原高解像度多値画像生成手段２０２，基本画像生成手段２０３，輝度曲面生成手段２０４，地形的特徴抽出手段２０５，地形的特徴組み込み手段２０６，輝度勾配量検出手段２０７，輪郭修正手段２０８（第１の輪郭修正手段２０８１，第２の輪郭修正手段２０８２），文字・線図認識手段２０９として機能するプログラムが格納されている。これらのプログラムが本発明の画像認識プログラムを構成する。

ここでは、画像認識の処理対象となることができるカラービットマップ画像がリムーバブルディスク装置１１４に格納されているものとする。また、本発明の画像認識プログラムがハードディスク装置１１３に格納されているものとし、ユーザが画像認識プログラムを起動すると、画像認識プログラム（「ＧＲＰ」で示す）はＲＡＭ１１２２に読み込まれ、画像作成処理が可能になる。

正確に原画像を再現するためあるいはまたは改善して原画像を再現するためには、様々な情報を多角的（トップダウン／ボトムアップ）に利用することが有効である。
本発明では、画像解析によって得られる多様な特徴を統合して、補間と局所統計量により生成した基本画像を修正する手法を採用することで精度の高い画像認識ができる。
本発明における処理は、（１）の処理に（２）〜（５）の処理を組み合わせて構成することができる。

（１）地形的特徴による欠落ストロークの補完
処理対象画像（多値ビットマップの原画像）から、輝度曲面ｚ＝ｆ（ｘ，ｙ）を形成する。この輝度曲面ｚ＝ｆ（ｘ，ｙ）の地形的特徴（尾根、峡谷、山頂、窪地、山腹、鞍部）を調べる。なお、原画像がカラービットマップ画像である場合には、原画像をグレイスケールの多値ビットマップ画像に変換し、これを処理対象画像とする。

輝度曲面ｆ（ｘ，ｙ）上で，各画素について周囲との高さを比較すると，周囲より低い（暗い）画素の連なりであるストロークの部分（すなわち、「谷または窪地」）、周囲よりも高い（明るい）画素の連なりであるストローク間のギャップに相当する部分（すなわち、「尾根または山頂」）、その他（背景：すなわち、「山腹または鞍部」）の３レベルに分類できる。図９は、輝度曲面ｚ＝ｆ（ｘ，ｙ）により，各画素をこのように分類した地形特徴図ＧｉｏＣであり、ここでは、多値ビットマップ画像中の日本語４文字（Ｃ１：「策」，Ｃ２：「基」，Ｃ３：「静」，Ｃ４：「か」）を例に挙げてある。
多値ビットマップ画像中の日本語４文字（Ｃ１，Ｃ２，Ｃ３，Ｃ４）を３レベル（高，中，低）で表した場合、当該多値ビットマップ画像が低解像度（たとえば、２００ｄｐｉ程度）でも、文字の特徴は欠落することなく保存されている。
したがって、特に、上述した漢字のように複雑な構造を持つ画像からストロークを抽出するような場合に、上記輝度曲面のレベルを参照することは、極めて効果的である。

そこで、後述する各実施形態では、低解像度の原画像で計算した地形的特徴を取り入れることで、当該原画像をそのまま２値化した場合に欠落してしまうストローク（図１０（Ｂ）参照）を補完している。
たとえば、図９に示したような地形特徴図ＧｉｏＣの「峡谷」部分（黒の部分）は、極小部分が線状または帯状に連続する領域であり「ストロークの長い線分」に相当する。また、「窪地」部分は、極小部分が局在する領域であり「点あるいはストロークが短い線分」に相当する。
なお、「峡谷」の端部近傍に、他の「峡谷」や「窪地」が存在していれば、当該「峡谷」は他の「峡谷」や「窪地」と連続するはずであり、「窪地」の端部近傍に、他の「区窪地」や「峡谷」が存在していれば、当該「窪地」は他の「窪地」や「峡谷」と連続するはずである。したがって、「峡谷」や「峡谷」の周囲画素を参照することで、ストロークを正確に、または改善して作成することもできる。
Wang等の文献（L. Wang and T. Pavlidis、 Direct gray-scale extraction of features for character recognition、 IEEE Transactions on Pattern Analysis and Machine Intelligence、 vol. 15、 no. 10、 pp. 1053-1067、 1993.）で述べられているように、地形的特徴を考察することは、特に、低解像度の画像において有効である。

（２）補間画像の生成と局所統計量による基本画像の生成処理
計算が簡単であり、扱う対象が限定されない（すなわち、どのような文字，線図をも扱うことができる）という一般性を考慮し、以下の処理を施す。
（ｉ）補間により原画像から高解像度多値ビットマップ画像を生成し、この画像に（１）の地形的特徴による欠落ストロークの補完処理を施すことができる。
（ｉｉ）原画像から局所統計量による基本画像を生成し、この画像に（１）の地形的特徴による欠落ストロークの補完処理を施すことができる。基本画像とは、図１１（Ａ）のように、各画素の輝度値は３レベルの値をとることができ、「ＯＮ」（文字・線図を構成する画素、ここでは、ｚ＝ｆ（ｘ，ｙ）＝１とする）を黒の領域、「ＯＦＦ」（文字・線図を構成しない画素、ここでは、ｚ＝ｆ（ｘ，ｙ）＝０とする）を白の領域、「ＴＢＤ」（文字・線図を構成するか否かが確定されていない画素、ここでは、ｚ＝ｆ（ｘ，ｙ）＝−１とする）をグレイの領域とした画像である。
（ｉｉｉ）補間により原画像から高解像度多値ビットマップ画像を生成し、この画像から局所統計量による基本画像を生成する。そして、この基本画像に（１）の地形的特徴による欠落ストロークの補完処理を施すことができる。

（３）輪郭の第１の修正
（１），（２）により欠落したストロークを補完できたとしても、輪郭線がなめらかでないため、文字画像の品質としては、貧弱となることがある。
なめらかな輪郭線の基準として、曲率が小さい（曲率半径が大きい）ことが必要となる。また、輪郭線は、輝度勾配量が極大となるような画素（すなわち、白領域と黒領域との境界）を通過することが前提となる。
そこで、現在では画像処理の標準的手法となっている、Active Contour Model、またはSnakeの手法（D. Williams and M. Shah、 A fast algorithm for active contours and curvature estimation、 CVGIP: Image Understanding、 vol. 55、 no. 1、 pp. 14-26、 1992.）を用いて輪郭線を修正する（図２０の修正結果参照）。

（４）輪郭の第２の修正
人間の視覚にとって気になる点である、水平・垂直方向の線のがたつきや、垂直線と水平線の交差部分の鈍りを補正するために、輪郭の第２の修正を行うこともできる。
（５）画像認識
文字・線図の輪郭が復元または改善されている画像の文字・線図認識を行なう。

以下、本発明の画像認識装置の実施形態を説明する。
《第１実施形態》
図２に第１実施形態の画像認識装置２Ａの構成を示す。
第１実施形態では、画像認識装置２Ａは、原画像取得手段２０１、高解像度多値画像生成手段２０２、基本画像生成手段２０３、輝度曲面生成手段２０４、地形的特徴抽出手段２０５、地形的特徴組み込み手段２０６、輝度勾配量検出手段２０７、第１の輪郭修正手段２０８１、および文字・線図認識手段２０９を備えている。
原画像取得手段２０１は原画像取得プログラムにより、高解像度多値画像生成手段２０２は高解像度多値画像生成プログラムにより、基本画像生成手段２０３は基本画像生成プログラムにより、輝度曲面生成手段２０４は輝度曲面生成プログラムにより、地形的特徴抽出手段２０５は地形的特徴抽出プログラムにより、地形的特徴組み込み手段２０６は地形的特徴組み込みプログラムにより、輝度勾配量検出手段２０７は輝度勾配量検出プログラムにより、第１の輪郭修正手段２０８１は第１の輪郭修正プログラムにより、文字・線図認識手段２０９（パターン認識手段２０９１，パターン保存手段２０９２）は文字・線図認識プログラムにより、それぞれ実現することができる。
なお、図２には、文字・線図認識手段２０９には、文字・線図認識手段２０９が認識した画像を出力する画像出力手段３０が接続されている。

原画像取得手段２０１は、多値ビットマップの原画像を取得することができ、この原画像がカラーであるときは、当該原画像をグレイスケール多値画像に変換するカラー／グレイスケール変換手段２０１１を備えている。
第１実施形態では、高解像度多値画像生成手段２０２は、原画像抽出手段１１が取得した原画像から、当該原画像の解像度よりも高い解像度の多値画像を生成することができる。
基本画像生成手段２０３は、高解像度多値画像生成手段２０２が生成した多値画像から、各画素の周囲画素を参照した統計情報に基づき、（ａ）文字・線図を構成する画素と、（ｂ）文字・線図を構成しない画素と、（ｃ）文字・線図を構成するか否かが確定されていない画素とから基本画像を生成することができる。

輝度曲面生成手段２０４は、原画像取得手段２０１が取得した原画像から、ｘｙ座標が画素座標、ｚ座標が輝度である曲面ｚ＝ｆ（ｘ，ｙ）を生成する。たとえば、輝度が高レベル，中レベル，低レベルの３値の何れかをとるようにでき、高輝度の場合にはｆ（ｘ，ｙ）＝１、中輝度の場合にはｆ（ｘ，ｙ）＝０、低輝度の場合にはｆ（ｘ，ｙ）＝−１とすることができる。
地形的特徴抽出手段２０５は、輝度曲面生成手段２０４が生成した輝度曲面ｆ（ｘ，ｙ）の地形的特徴（尾根、峡谷、山頂、窪地、山腹）を抽出することができる。

地形的特徴組み込み手段２０６は、輝度曲面ｆ（ｘ，ｙ）のうち極小部分が線状または帯状に連続する領域（峡谷）および極小部分が局在する領域（窪地）を文字・線図の一部として前記元画像における文字・線図を再現または改善した文字・線図を再現または改善した２値画像を生成することができる。たとえば、地形的特徴組み込み手段２０６は、高解像度の原画像から、適宜の手法（たとえば、適宜のフィルタ）により文字・線図を形成し、当該文字・線図を構成しないが、輝度曲面ｆ（ｘ，ｙ）の峡谷および窪地に相当する画素については、文字・線図を構成するように修正を加えることができる。
そして、地形的特徴組み込み手段２０６は、（ｃ）文字・線図を構成するか否かが確定されていない画素が、輝度曲面ｆ（ｘ，ｙ）のうち「峡谷」（極小部分が線状または帯状に連続する領域）または「窪地」（極小部分が局在する領域）に含まれるときは、当該画素が文字・線図を構成するものとして、文字・線図を再現または改善した２値画像を生成することができる。

輝度勾配量検出手段２０７は、高解像度多値画像生成手段２０２が生成した高解像度多値画像の各画素における輝度勾配を検出することができる。
第１の輪郭修正手段２０８１は、輝度勾配量検出手段２０７が検出した各画素の輝度勾配量により地形的特徴組み込み手段２０６が作成した文字・線図を再現または改善した２値画像中の文字・線図の輪郭を修正することができる。
文字・線図認識手段２０９は、第１の輪郭修正手段２０８１により文字・線図の輪郭が修正された画像の文字・線図認識を行なう。すなわち、パターン認識手段２０９１は、パターン保存手段２０９２に保存された文字・線図パターンを参照して文字・線図認識を行なう。
画像出力手段３０は、表示装置、印刷装置またはネットワークを介して接続された外部装置に出力することができる。

《第２実施形態》
図３に第２実施形態の画像認識装置２Ｂの構成を示す。
第２実施形態では、画像認識装置２Ｂは、画像認識装置２Ａの各構成要素に加えて、第１の輪郭修正手段２０８１の直後に第２の輪郭修正手段２０８２を備えている。第２の輪郭修正手段２０８２は第２の輪郭修正プログラムにより実現することができる。

第２の輪郭修正手段２０８２は、第１の輪郭修正手段２０８１が修正した２値画像中の文字・線図の輪郭を構成する画素列を、接線方向に基づいてクラスタリングして、各クラスタについて輪郭の円滑化および／または角部の角度鮮明化により、２値画像中の文字・線図の輪郭を修正することができる。

《第３実施形態》
図４に第３実施形態の画像認識装置２Ｃの構成を示す。
第３実施形態では、画像認識装置２Ｃは、画像認識装置２Ｂの各構成要素に加えて、原画像保存手段２１０および色復元手段２１１を備えている。原画像保存手段２１０は、ハードウェアとしての記憶装置と原画像保存プログラムとにより構成され、色復元手段２１１は色復元プログラムにより実現することができる。

原画像保存手段２１０は、原画像取得手段２０１が取得した原画像を保存しており、色復元手段２１１は、この原画像の文字・線図の色を特定し、この色を文字・線図認識手段２０９が認識した文字・線図に付与する。通常、文字・線図認識手段２０９が認識した文字・線図に付与する色は、原画像の文字・線図の色に近似させる。

《第４実施形態》
図５に第４実施形態の画像認識装置２Ｄの構成を示す。
第４実施形態では、画像認識装置２Ｄは、画像認識装置２Ａと同様、原画像取得手段２０１、高解像度多値画像生成手段２０２、基本画像生成手段２０３、輝度曲面生成手段２０４、地形的特徴抽出手段２０５、地形的特徴組み込み手段２０６、輝度勾配量検出手段２０７、第１の輪郭修正手段２０８１、および文字・線図認識手段２０９を備えている。
本実施形態では、輝度曲面生成手段２０４は、高解像度多値画像生成手段２０２が生成した多値画像から、輝度曲面ｆ（ｘ，ｙ）を生成する。

《第５実施形態》
図６に第５実施形態の画像認識装置２Ｅの構成を示す。
第５実施形態では、画像認識装置２Ｅは、画像認識装置２Ｄの各構成要素に加えて、第１の輪郭修正手段２０８１の直後に第２の輪郭修正手段２０８２を備えている。

第２実施形態と同様、第２の輪郭修正手段２０８２は、第１の輪郭修正手段２０８１が修正した２値画像中の文字・線図の輪郭を構成する画素列を、接線方向に基づいてクラスタリングして、各クラスタについて輪郭の円滑化および／または角部の角度鮮明化により、２値画像中の文字・線図の輪郭を修正することができる。

《第６実施形態》
図７に第６実施形態の画像認識装置２Ｆの構成を示す。
第６実施形態では、画像認識装置２Ｆは、画像認識装置２Ｅの各構成要素に加えて、原画像保存手段２１０および色復元手段２１１を備えている。

第３実施形態と同様、原画像保存手段２１０は、原画像取得手段２０１が取得した原画像を保存しており、色復元手段２１１は、この原画像の文字・線図の色を特定し、この色を文字・線図認識手段２０９が認識した文字・線図に付与する。通常、文字・線図認識手段２０９が認識した文字・線図に付与する色は、原画像の文字・線図の色に近似させる。

以下、本発明の実施例を、図８のフローチャートに沿って説明する。
《補間と局所統計量による基本画像の生成》
基本画像の生成は、次のような手順で行われる。
まず、原画像取得手段２０１は、原画像（多値ビットマップ画像）を取得し（Ｓ１０１）、この取得した画像（多値ビットマップ画像）がグレイスケール画像であるならば（Ｓ１０２の「ＮＯ」）、これをそのまま処理対象画像とする。取得した画像がカラー画像ならば（Ｓ１０２の「ＹＥＳ」）、原画像をグレイスケール画像ＩＯに変換する（Ｓ１０３）。

次に、補間により高解像度多値画像ＩＨを生成する（Ｓ１０４）。補間には様々な方法があるが、ここでは、計算が簡単な双１次補間を用いて、その結果に平滑化（たとえば３×３の線形フィルタ）処理を施す。また、後述する第１の輪郭修正で用いるために、高解像度多値画像ＩＨ上の各画素について、輝度勾配量ＧＨを計算しておき、計算結果を所定のメモリに保存しておく（Ｓ１０５）。
また、高解像度多値画像ＩＨから、局所統計量をもとに基本画像ＦＨを生成する（Ｓ１０６）。

図１０（Ｂ）は、図１０（Ａ）に示した原画像をＮｉｂｌａｃｋによる２値化技術を用いて２値化した結果を示している。図１０（Ｂ）から明らかなように、このままでは、水平のストロークが欠落してしまう。このため、基本画像ＦＨとして、Ｎｉｂｌａｃｋによる２値化技術(W. Niblack, An introduction to image processing, pp. 115-116， Englewood Cliffs, NJ: Prentice Hall, 1986.)を拡張する。

すなわち、基本画像ＦＨは、たとえば、１，０，−１の何れかの値をとるものとする。
ＦＨ（ｘ，ｙ）＝１：「ＯＮ」（前景、あるいは、文字のストローク）、
ＦＨ（ｘ，ｙ）＝０：「ＯＦＦ」（背景）、
ＦＨ（ｘ，ｙ）＝−１：「ＴＢＤ」（「ＯＮ」の可能性があり、後で地形的特徴によって決定する）、
の３値の何れかをとる画像を生成する。

図１１（Ａ），（Ｂ）（（Ｂ）は（Ａ）の画像の部分Ｗの拡大図）に、基本画像ＦＨの例を示す。ここで、ＦＨ（ｘ，ｙ）の「ＯＮ」、「ＯＦＦ」、「ＴＢＤ」を、それぞれ、黒、白、グレイで表わしている。
具体的には、高解像度多値画像ＩＨ（ｘ，ｙ）について、処理対象となる画素を中心とするウィンドウ（処理領域：たとえば３×３画素，５×５画素等）内で計算される、輝度の平均μ（ｘ，ｙ）と標準偏差σ（ｘ，ｙ）をもとに、基本画像ＦＨ（ｘ，ｙ）を次のような規則で設定する。

（１）ＩＨ（ｘ，ｙ）≦μ（ｘ，ｙ）＋ｋ０σ（ｘ，ｙ）（ただし、ｋ０は既定のパラメータ）ならば、ＦＨ（ｘ，ｙ）＝１（「ＯＮ」に設定）とする。
（２）μ（ｘ，ｙ）＋ｋ０σ（ｘ，ｙ）＜ＩＨ（ｘ，ｙ）＜μ（ｘ，ｙ）＋ｋ１σ（ｘ，ｙ）（ただし、ｋ０＜ｋ１）で、かつ、（ｘ，ｙ）の近傍にＦＨ（ｘ，ｙ）が「ＯＮ」の画素が存在するならば、ＦＨ（ｘ，ｙ）＝−１（「ＴＢＤ」に設定）とする。
（３）その他の場合には、ＦＨ（ｘ，ｙ）＝０（「ＯＦＦ」に設定）とする。

「ＴＢＤ」は、漢字のようにストロークの密度が高い場合に、白とするか黒とするかは、地形的特徴を調べなければ決定できないことを表わす。
実際には、同じストロークでもサンプリング位置により、輝度が大きく異なる。図１２（Ｂ），（Ｃ）は図１２（Ａ）に示したグレイスケール原画像Ｉｏの垂直方向のスキャンラインＡ，Ｂに沿った輝度のプロファイルである。図１２（Ｂ），（Ｃ）に示されるように、特に、水平方向のストロークが密集している個所で、その傾向が著しい。したがって、（２）の場合（ＦＨ（ｘ，ｙ）＝−１（「ＴＢＤ」））には、ＩＨ（ｘ，ｙ）からＦＨ（ｘ，ｙ）を決定するための処理領域（ウィンドウ）の大きさは、その上下左右ｔ画素以内（ｔは解像度の拡大率に応じて決められるパラメータ）とすればよい。

《地形的特徴による欠落ストロークの補完》
処理対象となるグレイスケール画像（多値画像）ＩＯから、輝度曲面ｚ＝ｆ（ｘ，ｙ）を生成して（Ｓ１０７）、輝度曲面ｚ＝ｆ（ｘ，ｙ）上の地形的特徴（尾根、峡谷、山頂、窪地、山腹）を抽出する（Ｓ１０８）。
ここでは、白が黒よりもｚの値が大きいものとして定義する。ストロークの補完にとって重要な特徴は、ｚの値が局所的に小さい部分、すなわち、峡谷（ｆ（ｘ，ｙ）が１方向で極小）と窪地（ｆ（ｘ，ｙ）が全ての方向で極小）である。

これらの特徴の具体的な計算方法は、ＷａｎｇとＰａｖｌｉｄｉｓによる「文字認識のための特徴の直接的なグレイスケール抽出」（：L. Wang and T. Pavlidis、 Direct gray-scale extraction of features for character recognition, IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 15, no. 10, pp. 1053-1067, 1993.）の技術、あるいは、Seong-Whan Lee と Young Joon Kim による「文字認識におけるグレイスケール画像からの直接的な形状特徴抽出」（Direct Extraction of Topographic Features for Gray Scale Character Recognition：IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 17, No. 7, pp.724-729, July 1995.）の技術を用いることができる。

例えば、グレイスケール画像（多値画像）ＩＯから、図９に示したような地形的特徴を得ることができる。次に、このようにして得られた地形的特徴を用いて、ストロークを補完して、高解像度修正画像ＪＨを作成する（Ｓ１０９）。
基本画像ＦＨ（ｘ，ｙ）が値「ＴＢＤ」を持つ画素について、グレイスケール画像（多値画像）ＩＯでの対応する画素が、「峡谷」または「窪地」であれば、基本画像ＦＨ（ｘ，ｙ）を「ＯＮ」に、そうでなければ「ＯＦＦ」に設定しなおす。すなわち、輝度曲面ｚ＝ｆ（ｘ，ｙ）から得られる特徴を、基本画像ＦＨ（ｘ，ｙ）から得られる画像に優先させている。

このようにして得られた２値画像を図１３に示す。基本画像ＦＨに地形的特徴を取り入れる前の画像（図１０（Ｂ）参照）と比べると、文字Ｃ３（「静」）の中のＣ３１で示す部分（「月」）の水平ストロークや、文字Ｃ２（「基」）の水平ストロークが復元できていることがわかる。
しかし、図１３の画像では、文字のストロークは十分に復元されているが、輪郭がなめらかでないため、文字画像の品質としては、明らかに貧弱である。

《輪郭の第１の修正》
すでに述べたように、なめらかな輪郭線の基準として、曲率が小さい（曲率半径が大きい）ことが必要となる。また、輪郭線は、輝度勾配量が極大となるような画素（すなわち、白領域と黒領域との境界）を通過することが前提となる。

そこで、１９８０年代終わりに考案され、現在では画像処理の標準的手法となっている、上述したActive Contour または、Snake アルゴリズムを用いて、輪郭線を修正する。前述した、このアルゴリズムでは、弧長ｓをパラメータとした初期曲線をｖ（ｓ）＝（ｘ（ｓ），ｙ（ｓ））とし、次の量が最小となるように、ｖ（ｓ）を修正する（Ｓ１１０）。

E＝∫（α（ｓ）Ｅｃｏｎｔ＋β（ｓ）Ｅｃｕｒｖ＋λ（ｓ）Ｅｉｍａｇｅ）ｄｓ
ここで、Ｅｃｏｎｔ（≧０）は曲線の収縮を防ぎ点列が等間隔に配置されるようにするための項、Ｅｃｕｒｖ（≧０）は点列の曲率が小さくなるようにするための項、Ｅｉｍａｇｅ（≦０）は画像ＩＨ上の勾配量を大きくするための項で、初めに計算しておいた輝度勾配量ＧＨを使って、−ＧＨ（ｖ（ｓ））と表わすことができる。図１４に輝度勾配量ＧＨの例を示す。図１４では、輝度勾配量ＧＨが大きくなればなるほど高濃度となるように表示してある。図１４に示されるように、文字の輪郭部分の輝度勾配量が大きくなっていることがわかる。

なお、α，β，γの３つのパラメータは点ごとに異なる値に設定することもできるが、ここでは、固定した値を用いる（α＝β＝γ＝１．０）。
基本画像ＦＨから得られる輪郭線（「ＯＮ」画素の境界）のそれぞれにActive Contourアルゴリズムを使って、輪郭を修正する。全ての輪郭線について修正を行った後、ベクトル−ラスター変換によって、輪郭線から２値画像を生成する。

図１５に、図１４に示した輝度勾配量ＧＨと、図１３に示した画像の輪郭とを重ね合わせた画像を示す。また、図１６に輪郭修正の結果を示す。図１６の画像と、図１３の画像とを比較するれば明らかなように、輪郭線の滑らかさやストロークの太さの均一性が向上していることがわかる。

《輪郭の第２の修正》
Active Contourのアルゴリズムによって文字画像の品質は格段に向上するが、水平・垂直方向の線のがたつきや、垂直線と水平線の交差部分の鈍りが観察される。

これらは人間の知覚にとって非常に気になる点である。そのため、人間にとってきれいに見えるように、輪郭を整形することができる。特に、水平・垂直方向の線のがたつきや、垂直線と水平線の交差部分の鈍りを補正する（Ｓ１１１）。
いま、処理対象の閉輪郭線を点列Ｐ＝（ｐ（０），ｐ（１），・・・，ｐ（ｎ−１））で表わすものとする。ただし、点列Ｐのｐの括弧内の添え字は、便宜上付したものである。すなわち、点ｐ（ｉ）の添え字値ｉは、一般には、０〜ｎ−１とならならないことを考慮して、ｉ＞ｎならばｐ（ｉ）＝ｐ（ｉ−ｎ）、ｉ＜０、ならばｐ（ｉ）＝ｐ（ｉ＋ｎ））とする。

本実施形態では、この点列Ｐを接線方向でクラスタリングする。点ｐ（ｉ）の接線方向をθ（ｉ）として、点ｐ（ｉ）にラベルＬ（ｉ）を次のように与える。
（ｊπ／２）−δ≦θ≦（ｊπ／２）＋δ
（ただし、δはπ／２に比べて十分に小さいパラメータ、ｊ＝０，１，２，３）
ならば、Ｌ（ｉ）＝ｊとする。すなわち、点ｐ（ｉ）の接線方向が、ほぼ０°，９０°，１８０°，２７０°に近ければ、点ｐ（ｉ）にＬ（ｉ）＝０，１，２，３の値を与える。

その他の場合、Ｌ（ｉ）＝−１とする。
すなわち、水平方向に近い接線を持つ点ｐはラベル０または２、垂直方向に近い接線を持つ点はラベル１または３、それ以外の点はラベル−１を持つ。
このようにして、点列Ｐから、レベルの系列（Ｌ（０），Ｌ（１），・・・，Ｌ（ｎ−１））が得られる。同じラベルを持つ一連の点を１つのクラスタとしてまとめることにより、図１８（Ａ）に示すように、点列Ｐをクラスタ分けできる。

ｊ番目のクラスタについて、ｋｊをそのクラスタの開始点のインデックス、ｍｊ＞０をそのクラスタに属する点の数として、
Ｃｊ＝（ｐ（ｋｊ），ｐ（ｋｊ＋１），・・・，ｐ（ｋｊ＋ｍｊ−１））
とすると、
ｊ−１番目とｊ＋１番目のクラスタとの間には、
ｋｊ＝ｋｊ−１＋ｍｊ−１，ｋｊ＋１＝ｋｊ＋ｍｊ
という関係があり、
Ｌ（ｋｊ−１＋ｍｊ−１）≠Ｌ（ｋｊ）＝Ｌ（ｋｊ＋１）
＝・・・＝Ｌ（ｋｊ＋ｍｊ−１）≠Ｌ（ｋｊ＋１）
という性質を満たす。
クラスタＣｊについて、水平・垂直方向の線のがたつきを修正する。Ｌ（ｋｊ）＝０，または、２、すなわち、水平方向に近い接線をもつクラスタならば、Ｃｊの各点のｙ座標Ｙ（ｋｊ＋ｉ）（ｉ＝０，１，・・・，ｍｊ−１）の分布から、そのモードＭを求める。

そして、｜Ｙ（ｋｊ＋ｉ）−Ｍ｜≦１ならば、Ｙ（ｋｊ＋ｉ）←Ｍと設定する。
Ｌ（ｋｊ）＝１、または、３の場合は、ｘ座標について同様の処理を行う。
次に、垂直線と水平線の交差部分の鈍りを整形する。接線方向が水平・垂直以外の点のクラスタＣｊが、互いに垂直な接線方向を持つ点のクラスタに囲まれている、すなわち、Ｌ（ｋｊ−１）≧０、Ｌ（ｋｊ）＜０、Ｌ（ｋｊ＋１）＞０、Ｌ（ｋｊ−１）≠（ｋｊ＋１）とする。

もし、クラスタＣｊに属する点の数が十分に少ないならば、図１８（Ｂ）に示すように、クラスタＣｊ−１とＣｊ＋１を延長し、直角のコーナーを構成することにより、クラスタＣｊ内の点を修正する。
全ての輪郭線について修正を行った後、ベクトル−ラスター変換によって、輪郭線から２値画像を生成する。以上の処理フローを図１７に示す。

漢字「回」（符号Ｃ５で示す）についてこれらの整形処理を施す前の状態を図１９（Ａ）に示し、整形処理を施した後の状態を図１９（Ｂ）に示す。図１９（Ａ），（Ｂ）において黒塗りの画素ａ，ｃ，ｅ，ｇ，ｉは、クラスタを構成しない画素（接線が０°，９０°，１８０°，２７０°から外れている画素）を示し、ｂ，ｄ，ｆ，ｈはクラスタを構成する画素（接線が０°，９０°，１８０°，２７０°に近い画素）を示している。
図１９（Ａ）に示す処理前の輪郭線（画素列）の凹凸やコーナ部分（符号ＣＮＲで示す）の鈍りは、図１９（Ｂ）に示す輪郭線では緩和されていることがわかる。

図２０（Ｂ）に、図２０（Ａ）の２００ｄｐｉの原画像を、解像度４倍で作成した結果を示す。図２０（Ａ），（Ｂ）からわかるように、本実施例によれば多階調の原画像が鮮明でなくとも、再現性に優れた２値ビットマップ画像が再現される。なお、２００ｄｐｉで入力されたカラー画像に対して、特許文献１の方法では９７．２％の認識精度であったが、上記の方法では、９９．１％の認識精度が得られた。

《画像認識》
上記の処理を終えた画像を、画像認識プログラムＧＲＰにより認識を行なう（Ｓ１１２）。

本発明の画像認識装置の一構成例を示す図である。 第１実施形態における各手段による処理の流れを示す機能ブロック図である。 第２実施形態における各手段による処理の流れを示す機能ブロック図である。 第３実施形態における各手段による処理の流れを示す機能ブロック図である。 第４実施形態における各手段による処理の流れを示す機能ブロック図である。 第５実施形態における各手段による処理の流れを示す機能ブロック図である。 第６実施形態における各手段による処理の流れを示す機能ブロック図である。 本発明の実施例を示すフローチャートである。 輝度曲面のｘｙ平面から抽出される地形的特徴を示す図である。 （Ａ）は原画像を、（Ｂ）は（Ａ）の画像をＮｉｂｌａｃｋによる２値化技術を用いて２値化した結果を示す図である。 （Ａ）は基本画像の例を示す図、（Ｂ）は（Ａ）の画像の部分拡大図である。 （Ａ）はグレイスケール原画像、（Ｂ）は（Ａ）のグレイスケール原画像の垂直方向のスキャンラインＡに沿った輝度のプロファイル、（Ｃ）は同じくスキャンラインＢに沿った輝度のプロファイルである。 輝度曲面ｚ＝ｆ（ｘ，ｙ）の地形的特徴を取り入れた２値画像を示す図である。 高解像度多値画像の各画素における輝度勾配の例を示す図である。 図１３に示した輝度勾配量と、図１２に示した画像とを重ね合わせた画像を示す図である。 図１４に示した画像について第２の輪郭修正手段による処理を行なった結果を示す図である。 全ての輪郭線について修正を行った後、ベクトル−ラスター変換によって、輪郭線から２値画像を生成するときの処理フローを示す図である。 （Ａ）輪郭画素列をクラスタ分けした例を示す図であり、（Ｂ）はクラスタ単位で凹凸を修正した例を示す図である。 。 （Ａ）は漢字についての整形処理を施す前の状態を示す図、（Ｂ）は整形処理を施した後の状態を示す図である。 （Ａ）の２００ｄｐｉの原画像を示す図、（Ｂ）は解像度４倍で作成した結果を示す図である。

符号の説明

２Ａ〜２Ｊ 画像認識装置
３０ 画像出力手段
１００ 通信回線
１１０ ＰＣ（パーソナルコンピュータ）
１１１ ＣＰＵ
１１２ メモリ
１１３ ハードディスク装置
１１４ リムーバブルディスク装置
１１５ ディスプレイ
１１６ プリンタ
１１７ キーボード
１１８ ネットワーク・インタフェース
１１９ バス
２０１ 原画像取得手段
２０２ 高解像度多値画像生成手段
２０３ 基本画像生成手段
２０４ 輝度曲面生成手段
２０５ 地形的特徴抽出手段
２０６ 地形的特徴組み込み手段
２０７ 輝度勾配量検出手段
２０９ 文字・線図認識手段
２１０ 原画像保存手段
２１１ 色復元手段
１１２１ ＲＯＭ
１１２２ ＲＡＭ
２０１１ カラー／グレイスケール変換手段
２０８１ 第１の輪郭修正手段
２０８２ 第２の輪郭修正手段
２０９１ パターン認識手段
２０９２ パターン保存手段

Claims (10)

1. 多値ビットマップの原画像を取得する原画像取得手段と、
   前記原画像取得手段が取得した前記原画像から、当該原画像よりも高解像度の多値画像を生成する高解像度多値画像生成手段と、
   前記原画像取得手段が取得した前記原画像から、ｘｙ座標が画素座標、ｚ座標が輝度である曲面を生成する輝度曲面生成手段と、
   前記輝度曲面生成手段が生成した輝度曲面の地形的特徴を抽出する地形的特徴抽出手段と、
   前記高解像度多値画像の各画素における輝度勾配量を検出する輝度勾配量検出手段と、
   前記高解像度多値画像から、当該高解像度多値画像の各画素の周囲画素を参照した統計情報に基づき、（ａ）文字・線図を構成する画素と、（ｂ）文字・線図を構成しない画素と、（ｃ）文字・線図を構成するか否かが確定されていない画素とからなる基本画像（地形的特徴の組み込みがなされる画像）を生成する基本画像生成手段と、
   前記高解像度多値画像に含まれる文字・線図の輪郭を構成する画素であって、前記基本画像の前記（ｃ）文字・線図を構成するか否かが確定されていない画素が、前記輝度曲面のうち極小部分が線状または帯状に連続する領域または前記極小部分が局在する領域に含まれるときは、当該画素を黒画素に設定し、前記領域に含まれないときには当該画素を白画素に設定して、２値画像を生成する地形的特徴組み込み手段と、
   前記地形的特徴組み込み手段が生成した２値画像について、前記輝度勾配量検出手段が検出した各画素の輝度勾配量に基づいて、修正する第１の輪郭修正手段と、
   前記第１の輪郭修正手段が修正した前記画像中の文字・線図の輪郭を構成する画素列を、接線方向に基づいてクラスタリングし、各クラスタについて前記輪郭を円滑化するとともに角部の角度を鮮明化し、前記輪郭を修正する第２の輪郭修正手段と、
   前記第２の輪郭修正手段により文字・線図の輪郭が修正された画像の、当該文字・線図を文字コード・ベクトル線図として認識する文字・線図認識手段と、
   を備えたことを特徴とする画像認識装置。
2. 前記地形的特徴は、輝度曲面を実際の地形に対応させたときに、周囲よりも輝度が低い「谷または窪地」、周囲よりも輝度が高い「尾根または山頂」、「谷または窪地」と「尾根または山頂」との間に位置する「山腹または鞍部」であることを特徴とする請求項１に記載の画像認識装置。
3. さらに、色復元手段を備え、
   前記色復元手段は、前記文字・線図認識手段が認識した前記文字・線図または更に背景の色彩が、前記原画像取得手段が取得した前記原画像における色に近似させて復元されていることを特徴とする請求項１または２に記載の画像認識装置。
4. 前記原画像取得手段は、前記原画像がカラー画像であるときは、当該原画像をグレイスケール多値画像に変換するカラー／グレイスケール変換手段を備えたことを特徴とする請求項１乃至３の何れかに記載の画像認識装置。
5. 多値ビットマップの原画像を取得する原画像取得手段と、
   前記原画像取得手段が取得した前記原画像から、当該原画像よりも高解像度の多値画像を生成する高解像度多値画像生成手段と、
   前記高解像度多値画像生成手段が生成した前記高解像度多値画像から、ｘｙ座標が画素座標、ｚ座標が輝度である曲面を生成する輝度曲面生成手段と、
   前記輝度曲面生成手段が生成した輝度曲面の地形的特徴を抽出する地形的特徴抽出手段と、
   前記高解像度多値画像生成手段が生成した高解像度多値画像の各画素における輝度勾配量を検出する輝度勾配量検出手段と、
   前記高解像度多値画像から、当該高解像度多値画像の各画素の周囲画素を参照した統計情報に基づき、（ａ）文字・線図を構成する画素と、（ｂ）文字・線図を構成しない画素と、（ｃ）文字・線図を構成するか否かが確定されていない画素とからなる基本画像（地形的特徴の組み込みがなされる画像）を生成する基本画像生成手段と、
   前記高解像度多値画像に含まれる文字・線図の輪郭を構成する画素であって、前記基本画像の前記（ｃ）文字・線図を構成するか否かが確定されていない画素が、前記輝度曲面のうち極小部分が線状または帯状に連続する領域または前記極小部分が局在する領域に含まれるときは、当該画素を黒画素に設定し、前記領域に含まれないときには当該画素を白画素に設定して、２値画像を生成する地形的特徴組み込み手段と、
   前記地形的特徴組み込み手段が生成した２値画像について、前記輝度勾配量検出手段が検出した各画素の輝度勾配量に基づいて、修正する第１の輪郭修正手段と、
   前記第１の輪郭修正手段が修正した前記画像中の文字・線図の輪郭を構成する画素列を、接線方向に基づいてクラスタリングし、各クラスタについて前記輪郭を円滑化するとともに角部の角度を鮮明化し、前記輪郭を修正する第２の輪郭修正手段と、
   前記第２の輪郭修正手段により文字・線図の輪郭が修正された画像の、当該文字・線図を文字コード・ベクトル線図として認識する文字・線図認識手段と、
   を備えたことを特徴とする画像認識装置。
6. 前記地形的特徴は、輝度曲面を実際の地形に対応させたときに、周囲よりも輝度が低い「谷または窪地」、周囲よりも輝度が高い「尾根または山頂」、「谷または窪地」と「尾根または山頂」との間に位置する「山腹または鞍部」であることを特徴とする請求項５に記載の画像認識装置。
7. さらに、色復元手段を備え、
   前記色復元手段は、前記文字・線図認識手段が認識した前記文字・線図または更に背景の色彩が、前記原画像取得手段が取得した前記原画像における色に近似させて復元されていることを特徴とする請求項５または６に記載の画像認識装置。
8. 前記原画像取得手段は、前記原画像がカラー画像であるときは、当該原画像をグレイスケール多値画像に変換するカラー／グレイスケール変換手段を備えたことを特徴とする請求項５乃至７の何れかに記載の画像認識装置。
9. コンピュータを、請求項１乃至８に記載の各手段として機能させることを特徴とする画像認識プログラム。
10. 請求項９に記載の画像認識プログラムを格納した記録媒体。

Images