JP4995507B2 - 画像処理システム、文字認識システムおよび画像処理プログラム - Google Patents

Description

本発明は、画像処理システム、文字認識システムおよび画像処理プログラムに関する。

紙文書をスキャンして文字情報を抽出する技術として、ＯＣＲ（Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅｃｏｇｎｉｔｉｏｎ、光学的文字認識）が利用されている。文字は手書きされたものと活字で印字されたものに分類できるが、高い認識精度を得るためにそれぞれ専用のＯＣＲ方式を用いる必要がある。特に、手書き文字を認識するためには、予め文字が存在する領域を指定しておく必要があるため、帳票原稿など定型文書での利用に留まっている。
これに対し、人が扱う文書は、活字文字と手書き文字が混在しているものが多い。各種申請書やアンケート等が代表例である。これらをスキャンから文字情報抽出に至るまで全自動化するためには、上記活字文字と手書き文字とを自動的に判別する必要がある。
これを実現するために、従来技術では画像中から１文字毎に正確に文字を切り出し、切り出した文字外接矩形を作成してその縦辺および横辺の長さを計測し、これに基づいて縦横辺の比であるとか、辺長の分散であるとか、外接矩形間の距離のばらつきなどを評価することで、活字文字と区別を行っていた。
しかしながら、これらの方式は活字文字が確実に文字毎に外接矩形を作成できたり、並びが均等であったりすることを前提としている。しかし、実際にはこの前提を満足していない場合が多いので、この判断基準では判断を誤るケースも多い。また、これらの方法では、言語依存性が強くなる。

これらに関連する技術として、例えば、特許文献１には、手書き文字は活字文字に比べてピッチがバラつくことに着目して、文字行を切り出し、切り出した文字行においてそのピッチのバラツキを調べる技術が開示されている。
また、例えば、特許文献２には、文字の外接矩形の縦横比で判定する技術に関し、白画素に隣接する黒画素の配列様態（横／縦画素率、曲／直画素率など）で判定する技術が開示されている。
また、例えば、特許文献３には、文字の特徴パラメータと辞書により得られるそれの距離を求め、その距離の平均的なバラツキを求めて判定する技術が開示されている。
また、例えば、特許文献４には、手書き文字では水平方向に延びる線分が比較的少ないことに着目し、文字を構成する画素のうち、水平方向成分の画素の割合に基づいて判定する技術が開示されている。
また、例えば、特許文献５には、各種特徴量（文字の高さ、ピッチ、面積など）の分散に基づき総合的に判断する技術が開示されている。
また、例えば、特許文献６には、文字行に対して各ラベルの重心がほぼ直線上に並んでいるかを判定し、並んでいれば各ラベルの外接矩形の長辺方向の長さがほぼ等しいかを判定し、ほぼ等しい場合には活字文字列と判定する技術が開示されている。
また、例えば、特許文献７には、テクスチャ領域の抽出に関するものであり、テクスチャ画像の方は卓越しているパワーを持つ空間周波数が空間周波数領域において規則的に点在しており、一方テクスチャではない画像のパワースペクトルは卓越周波数の規則性は見られないことに着目したものであり、既に抽出されているテクスチャ区画の領域から外側に向かって、テクスチャ画像の画像特徴量の変化を調べ、変化の大きくなったところをエッジ部と判断し、画像特徴量として１次元のパワースペクトルを採択する技術が開示されている。
また、例えば、特許文献８には、文字領域の判定に関するものであり、一般に、文字の周辺は、文字を見やすくするために無地になっているのが普通であり、文字でない背景パターンの場合は、周辺が無地であるという傾向をもたないことに着目したものであり、画像を所定サイズのブロックに分割、直交変換を行い空間周波数分布を獲得し、このパワーが所定の閾値より大きいブロックを選択して文字領域の候補とし、この候補の周囲近傍のブロックの高空間周波数領域のパワーが所定の閾値より小さく、かつ、低空間周波数領域のパワーが互いに等しければ、当該文字領域の候補を文字領域であると判定する技術が開示されている。
特開昭５７−１１１６７９号公報 特開昭５８−０３７７７５号公報 特開昭６０−１３８６９２号公報 特開昭６３−１０３３８９号公報 特開平０１−０１４６８２号公報 特開２０００−３３９４０４号公報 特開平０７−１２１６９９号公報 特開平０９−１８６８６１号公報

本発明は、このような背景技術の状況の中でなされたもので、手書き文字領域または活字文字領域であることが不明である画像から、手書き文字領域または活字文字領域を判断することができるようにした画像処理システム、文字認識システムおよび画像処理プログラムを提供することを目的としている。

かかる目的を達成するための本発明の要旨とするところは、次の各項の発明に存する。
［１］ 画像から所定の特徴を抽出する特徴抽出手段と、
前記特徴抽出手段により抽出された特徴に応じて、テクスチャ空間に各画素または各領域のテクスチャ情報をマップしたテクスチャ空間を生成するテクスチャ空間生成手段と、
前記テクスチャ空間生成手段により生成されたテクスチャ空間にて、手書き文字領域である部分空間または活字文字領域である部分空間を推定する部分空間推定手段と、
前記部分空間推定手段により推定された部分空間に応じて、実画像上にて手書き文字領域または活字文字領域を確定する領域確定手段
を具備し、
前記特徴抽出手段が抽出する特徴量は、手書き文字特徴を表す特徴量または活字文字特徴を表す特徴量であり、
２次元フーリエ変換結果の周波数平面にて、所定の軸からの距離で重み付けをしたスペクトル強度の和である
ことを特徴とする画像処理システム。

［２］ 画像から所定の特徴を抽出する特徴抽出手段と、
前記特徴抽出手段により抽出された特徴に応じて、テクスチャ空間に各画素または各領域のテクスチャ情報をマップしたテクスチャ空間を生成するテクスチャ空間生成手段と、
前記テクスチャ空間生成手段により生成されたテクスチャ空間にて、手書き文字領域らしさまたは活字文字領域らしさを表す指標を設定する指標設定手段と、
前記テクスチャ空間生成手段により生成されたテクスチャ空間にて、前記指標設定手段によって設定された指標に応じて手書き文字領域である部分空間または活字文字領域である部分空間を推定する部分空間推定手段と、
前記部分空間推定手段により推定された部分空間に応じて、実画像上にて手書き文字領域または活字文字領域を確定する領域確定手段
を具備し、
前記特徴抽出手段が抽出する特徴量は、手書き文字特徴を表す特徴量または活字文字特徴を表す特徴量であり、
２次元フーリエ変換結果の周波数平面にて、所定の軸からの距離で重み付けをしたスペクトル強度の和である
ことを特徴とする画像処理システム。

［３］ 画像から所定の特徴を抽出する特徴抽出手段と、
前記特徴抽出手段により抽出された特徴に応じて、テクスチャ空間に各画素または各領域のテクスチャ情報をマップしたテクスチャ空間を生成するテクスチャ空間生成手段と、
前記テクスチャ空間生成手段により生成されたテクスチャ空間にて、手書き文字領域である部分空間または活字文字領域である部分空間を推定する部分空間推定手段と、
前記部分空間推定手段により推定された部分空間に応じて、実画像上にて手書き文字領域または活字文字領域を確定する領域確定手段と、
前記領域確定手段により確定された手書き文字領域または活字文字領域を用いて、前記画像からレイアウトを解析するレイアウト解析手段
を具備し、
前記特徴抽出手段が抽出する特徴量は、手書き文字特徴を表す特徴量または活字文字特徴を表す特徴量であり、
２次元フーリエ変換結果の周波数平面にて、所定の軸からの距離で重み付けをしたスペクトル強度の和である
ことを特徴とする画像処理システム。

［４］ 画像から所定の特徴を抽出する特徴抽出手段と、
前記特徴抽出手段により抽出された特徴に応じて、テクスチャ空間に各画素または各領域のテクスチャ情報をマップしたテクスチャ空間を生成するテクスチャ空間生成手段と、
前記テクスチャ空間生成手段により生成されたテクスチャ空間にて、手書き文字領域である部分空間または活字文字領域である部分空間を推定する部分空間推定手段と、
前記部分空間推定手段により推定された部分空間に応じて、実画像上にて手書き文字領域または活字文字領域を確定する領域確定手段と、
前記画像からレイアウトを解析するレイアウト解析手段
を具備し、
前記特徴抽出手段が抽出する特徴量は、手書き文字特徴を表す特徴量または活字文字特徴を表す特徴量であり、
２次元フーリエ変換結果の周波数平面にて、所定の軸からの距離で重み付けをしたスペクトル強度の和であり、
前記領域確定手段は、前記レイアウト解析手段によって解析されたレイアウトをも用いて手書き文字領域または活字文字領域を確定する
ことを特徴とする画像処理システム。

［５］ ［１］、［２］、［３］または［４］記載の画像処理システムの前記領域確定手段により確定された手書き文字領域または活字文字領域を認識する手書き文字認識手段または活字文字認識手段
を具備することを特徴とする文字認識システム。

［６］ 前記領域確定手段は、前記手書き文字認識手段により認識された文字または前記活字文字認識手段により認識された文字の確からしさをも用いて手書き文字領域または活字文字領域を確定する
ことを特徴とする［５］記載の文字認識システム。

［７］ コンピュータに、
画像から所定の特徴を抽出する特徴抽出機能と、
前記特徴抽出機能により抽出された特徴に応じて、テクスチャ空間に各画素または各領域のテクスチャ情報をマップしたテクスチャ空間を生成するテクスチャ空間生成機能と、
前記テクスチャ空間生成機能により生成されたテクスチャ空間にて、手書き文字領域である部分空間または活字文字領域である部分空間を推定する部分空間推定機能と、
前記部分空間推定機能により推定された部分空間に応じて、実画像上にて手書き文字領域または活字文字領域を確定する領域確定機能
を実現させ、
前記特徴抽出機能が抽出する特徴量は、手書き文字特徴を表す特徴量または活字文字特徴を表す特徴量であり、
２次元フーリエ変換結果の周波数平面にて、所定の軸からの距離で重み付けをしたスペクトル強度の和である
ことを特徴とする画像処理プログラム。

［８］ コンピュータに、
画像から所定の特徴を抽出する特徴抽出機能と、
前記特徴抽出機能により抽出された特徴に応じて、テクスチャ空間に各画素または各領域のテクスチャ情報をマップしたテクスチャ空間を生成するテクスチャ空間生成機能と、
前記テクスチャ空間生成機能により生成されたテクスチャ空間にて、手書き文字領域らしさまたは活字文字領域らしさを表す指標を設定する指標設定機能と、
前記テクスチャ空間生成機能により生成されたテクスチャ空間にて、前記指標設定機能によって設定された指標に応じて手書き文字領域である部分空間または活字文字領域である部分空間を推定する部分空間推定機能と、
前記部分空間推定機能により推定された部分空間に応じて、実画像上にて手書き文字領域または活字文字領域を確定する領域確定機能
を実現させ、
前記特徴抽出機能が抽出する特徴量は、手書き文字特徴を表す特徴量または活字文字特徴を表す特徴量であり、
２次元フーリエ変換結果の周波数平面にて、所定の軸からの距離で重み付けをしたスペクトル強度の和である
ことを特徴とする画像処理プログラム。

本発明にかかる画像処理システム、文字認識システムおよび画像処理プログラムによれば、本構成を有していない場合に比較して、次のいずれかの効果を奏することができる。
（１）従来の文字切り出し処理が不要である。個々の文字を画像上で正確に切り出す必要がないため、判断を困難にしていた要因である文字切り出し処理に依存することがない。
（２）経験データを必ずしも必要としない。例えば、ニューラルネットワークを使用した前学習や、テンプレートのようなあらかじめ準備しておくデータを必要としない。
（３）言語依存性が低い。人が書くことにより起こる揺らぎを扱うために、それぞれの言語の特徴を扱う必要がなく、言語の種類を問うことがない。

まず、本実施の形態の概要を説明する。
本実施の形態では、言語によらず手書き文字を構成する線分は、活字文字における線分に比べて“揺らぎ”が多いという特徴に着目したものである。この揺らぎを的確に表す特徴量をも案出した。この特徴量は、画像の画素ごとまたは領域ごとに求める。なお、この特徴量は複数でもよい。求めた特徴量をテクスチャの要素としたテクスチャ情報空間を生成し、生成したテクスチャ情報空間において、所定の指標に基づき空間の境界を求め、求めた境界に基づき当該テクスチャ情報空間を複数の部分空間に分割する。手書き文字を表すと考えられる部分空間に対応した、実画像上の領域を手書き文字領域と判定する。または、活字文字を表すと考えられる部分空間に対応した、実画像上の領域を活字文字領域と判定する。
本実施の形態によれば、個々の文字を正確に切り出す必要がないため、判断をばらつかせていた要因である文字切り出し処理に依存することなく、活字文字領域と手書き文字領域の判断が可能となる。また、経験データを必ずしも必要としない。例えば、ニューラルネットワークを使用した前学習や、テンプレートのようなあらかじめ準備しておくデータを必要としない。さらに、手書き文字に固有の“線分の揺らぎ”に着目するため、様々な言語（表記文字）に対応することが可能となる。
なお、テクスチャ（ｔｅｘｔｕｒｅ）とは、きめ（肌理）であり、画素値の統計的な指標によって定量化され、例えば完全に周期的ではないがある統計的な性質のもとで繰返し的に配置されてできる模様のことをいう。

本実施の形態が対象とする活字文字と手書き文字とが混在する文書を図２を用いて説明する。フォームが定まっており、そのフォームに手書きで入力するようなビジネスで用いられる文書は多い。例えば、図２に示した見積回答書のような文書である。この文書は、「数量・単位」、「税抜単価（円）」、「税抜合計金額（円）」等のように、予め記入すべき項目は定まっており、その欄に手書き文字２１で記入されている。この文書を、人が見れば、活字文字と手書き文字の差異は一目瞭然である。この一目瞭然である理由は、文字の揺らぎによるものである。つまり、言語を問わず手書き文字は、人が書くことに起因する揺らぎが多いという特徴がある。文字の揺らぎとは、線分の直線あるいはなめらかな曲線からのずれや、各文字の大きさの不均一性や並びのずれなどを指す。
そこで、本実施の形態では、活字文字には直線的な線分が多くあるが、手書き文字には少ないということを用いている。

図３を用いて、本実施の形態の処理手順の概要を説明する。処理手順は二つのモジュールからなり、一つ目は入力画像（文書データ）のテクスチャを解析するために２次元フーリエ変換を行うフーリエ変換モジュール３１、二つ目はフーリエ変換モジュール３１から出力された周波数領域画像（テクスチャ特徴量）に対して揺らぎの評価量を算出し、その評価量に応じて手書き文字か活字文字かを判断する手書き文字度評価モジュール３２である。
図３に示すように、フーリエ変換モジュール３１は入力画像３３を入力し、周波数領域画像（テクスチャ特徴量）３４を作成する。そして、手書き文字度評価モジュール３２が周波数領域画像（テクスチャ特徴量）３４を受け取り、手書き文字度（評価値）Ｅ３５を最終的に出力する。

フーリエ変換モジュール３１は、画像（文書画像データ）に二次元フーリエ変換を適用し、元データの周波数領域画像を取得する。周波数領域画像というのは、例えば文字画像があるとき、その文字が様々な周波数の波が集まって生成されていると考えて、その文字を構成するそれぞれの周波数のスペクトル強度を表した画像である。
数１に二次元フーリエ変換の定義式を記す。

例えば、入力画像３３の画像データと周波数領域画像（テクスチャ特徴量）３４のサイズは共に６４×６４ピクセルである。画像データは画像の左下を原点とし、水平な軸をｘ軸、鉛直な軸をｙ軸とする。周波数領域画像は入力画像のｘ軸方向のスペクトルをｕ軸、ｙ軸方向のスペクトルをｖ軸とし、それぞれの周波数が０となる原点を中心としている。二次元フーリエ変換を画像データに適用して得られたスペクトル強度の取りうる幅をグレースケールのビットマップ画像で表し、スペクトル強度が高ければ黒色、逆に低ければ白色と表現している（図３の周波数領域画像（テクスチャ特徴量）３４参照）。

手書き文字度評価モジュール３２は、周波数領域画像から揺らぎの評価量を算出し、その評価量に応じて手書き文字か活字文字かの区別を行う。
手書き文字特有の揺らぎの評価方法は以下の通りである。
例えば、人間が真横の直線を描くとき、それは完全にまっすぐな直線にはならず、揺らぎが含まれる線となる。完全に真横の直線は周波数領域画像においてｖ軸上にスペクトル強度の変化が現れるのだが、揺らぎが含まれると、その影響によりスペクトル強度の変化がｖ軸上だけでなく、その周囲にも拡散して表れるようになる。主にここでは、水平、鉛直の線成分からなる漢字を対象とし、画像及び文書データの縦横直線成分以外の成分を抽出することを説明する。その一例を数２に示す。

Ｅを手書き文字度と呼ぶことにする。
この抽出方法では、二次元フーリエ変換結果の周波数領域画像において、軸周りのピクセルのスペクトル強度を除き（重みを０にし）、その重み付け後の和を取っている。軸周りのピクセル強度を除くということは、元の文字画像データにおける水平、鉛直の直線成分に起因するスペクトル強度を除くということであり、それはすなわち手書き文字の揺らぎによって生じるスペクトル強度の非集中性を検出することができることを意味している。それにより漢字について手書き文字と活字文字を区別できることとなる。

図４を用いて、活字文字と手書き文字に対して、二次元フーリエ変換を施した処理例を示す。図４（Ａ）は、「富」の活字文字（図４（Ａ）の左側）に対して、二次元フーリエ変換を施した結果である（図４（Ａ）の右側）。図４（Ｃ）は、「富」の手書き文字（図４（Ｃ）の左側）に対して、二次元フーリエ変換を施した結果である（図４（Ｃ）の右側）。これらから活字文字は、Ｕ、Ｖ軸上にスペクトルが集中していることがわかり、手書き文字はＵ、Ｖ軸から離れた位置にスペクトルが分散していることがわかる。
なお、「富」という文字は縦横の線分から構成されているが、「研」のように斜めの線分がある文字に対しても、同様の結果が得られている（図４（Ｂ）、図４（Ｄ）参照）。

図１は、一実施の形態の概念的なモジュール構成図を示している。
なお、モジュールとは、一般的に論理的に分離可能なソフトウェア、ハードウェア等の部品を指す。したがって、本実施の形態におけるモジュールはプログラムにおけるモジュールのことだけでなく、ハードウェア構成におけるモジュールも指す。それゆえ、本実施の形態は、プログラム、システムおよび方法の説明をも兼ねている。また、モジュールは機能にほぼ一対一に対応しているが、実装においては、１モジュールを１プログラムで構成してもよいし、複数モジュールを１プログラムで構成してもよく、逆に１モジュールを複数プログラムで構成してもよい。また、複数モジュールは１コンピュータによって実行されてもよいし、分散または並列環境におけるコンピュータによって１モジュールが複数コンピュータで実行されてもよい。また、以下、「接続」とは物理的な接続の他、論理的な接続を含む。
また、システムとは、複数のコンピュータ、ハードウェア、装置等がネットワーク等で接続されて構成されるほか、１つのコンピュータによって実現される場合も含まれる。

本実施の形態は、図１に示すように、画像傾き補正モジュール１０１、解像度変換モジュール１０２、手書き文字特徴抽出モジュール１０３、テクスチャ空間生成モジュール１０４、部分空間推定モジュール１０５、文字種別確定モジュール１０６、画像二値化モジュール１０７、レイアウト解析モジュール１０８、手書き文字認識モジュール１０９、活字文字認識モジュール１１０を有している。なお、図１では、画像の流れは黒矢印で示し、情報の流れは矢印で示している。すなわち、画像傾き補正モジュール１０１から解像度変換モジュール１０２へ、画像傾き補正モジュール１０１から画像二値化モジュール１０７へ、解像度変換モジュール１０２から手書き文字特徴抽出モジュール１０３へ、テクスチャ空間生成モジュール１０４から部分空間推定モジュール１０５へ、画像二値化モジュール１０７からレイアウト解析モジュール１０８、手書き文字認識モジュール１０９、活字文字認識モジュール１１０へは、画像が渡される。その他のモジュール間は、情報が渡される。

画像傾き補正モジュール１０１は、解像度変換モジュール１０２、画像二値化モジュール１０７と接続されている。画像傾き補正モジュール１０１は、文書画像データを入力し、その文書画像データの傾きを検知して、アフィン変換によってその傾きを補正する。一般的にスキャナを用いて文書を入力した場合、傾き等が発生してしまう。その傾きは、後の処理に悪影響を与えるので、前処理として補正することを行う。傾きの検知は、例えば、文書内に存在する直線を抽出し、この傾きが微小である場合は、その直線を水平または垂直にする方向に画像全体を回転させる等の方法がある。また、ここでの入力画像は、例えばカラー画像であり、１画素が２４ビットで表現されている。傾き補正処理後の画像を、解像度変換モジュール１０２、画像二値化モジュール１０７へ渡す。

解像度変換モジュール１０２は、画像傾き補正モジュール１０１、手書き文字特徴抽出モジュール１０３と接続されている。つまり、画像傾き補正モジュール１０１より文書画像データを受け取り、解像度変換を行い、その結果の画像データを手書き文字特徴抽出モジュール１０３へ渡す。ここでは、対象とする画像を正規化する目的で解像度変換（拡大・縮小処理）を行う。手書き文字特徴抽出モジュール１０３で行う特徴抽出に必要十分な解像度の画像データを渡すことになる。

手書き文字特徴抽出モジュール１０３は、解像度変換モジュール１０２、テクスチャ空間生成モジュール１０４と接続されている。つまり、解像度変換モジュール１０２より画像データを受け取り、手書き文字の揺らぎを表す特徴量（具体的には、上述の数２により計算される手書き文字度Ｅ）を抽出し、テクスチャ空間生成モジュール１０４へ渡す。

テクスチャ空間生成モジュール１０４は、手書き文字特徴抽出モジュール１０３、部分空間推定モジュール１０５と接続されている。つまり、手書き文字特徴抽出モジュール１０３より手書き文字の特徴量を受け取り、テクスチャ空間を生成して、そのテクスチャ空間を部分空間推定モジュール１０５へ渡す。ここで、テクスチャ空間生成モジュール１０４は、手書き文字特徴抽出モジュール１０３により抽出された特徴に応じて、テクスチャ空間に各画素または各領域のテクスチャ情報をマップする。そして、各画素または各領域の情報がマップされたテクスチャ空間を部分空間推定モジュール１０５へ渡す。

部分空間推定モジュール１０５は、テクスチャ空間生成モジュール１０４、文字種別確定モジュール１０６と接続されている。つまり、テクスチャ空間生成モジュール１０４より各画素または各領域の情報がマップされたテクスチャ空間を受け取り、手書き文字領域である部分空間を推定する。なお、ここでの推定とは、人間による頭脳処理のことではなく、本実施の形態において、手書き文字領域の部分空間であるとする可能性が高いものであると暫定的に定めることである。この推定は、まず手書き文字領域らしさを表す指標を設定し、テクスチャ空間生成モジュール１０４により生成されたテクスチャ空間にて、設定された指標に応じて手書き文字領域である部分空間を推定する。そして、手書き文字領域の可能性が高いと推定された範囲の情報を文字種別確定モジュール１０６へ渡す。

画像二値化モジュール１０７は、画像傾き補正モジュール１０１、レイアウト解析モジュール１０８、手書き文字認識モジュール１０９、活字文字認識モジュール１１０と接続されている。つまり、画像傾き補正モジュール１０１より渡された文書画像データを二値化処理する。レイアウト解析モジュール１０８、手書き文字認識モジュール１０９、活字文字認識モジュール１１０の処理では、多値画像ではなく、二値化画像が適しているからである。二値化処理は、閾値を定めて、黒画素、白画素を定める方法がとられるが、閾値を適応的に定めるようにしてもよい。この二値化画像（１画素を１ビットで表現）をレイアウト解析モジュール１０８、手書き文字認識モジュール１０９、活字文字認識モジュール１１０へ渡す。

レイアウト解析モジュール１０８は、画像二値化モジュール１０７、文字種別確定モジュール１０６、手書き文字認識モジュール１０９、活字文字認識モジュール１１０と接続されている。つまり、画像二値化モジュール１０７より二値化画像を受け取り、これに対して文書のレイアウト解析処理を行い、その結果を手書き文字認識モジュール１０９、活字文字認識モジュール１１０または文字種別確定モジュール１０６へ渡す。レイアウト解析処理とは、文書には一定の構造、つまり文字領域、図形領域、画像領域等に分けることができ、また、その中でもタイトル、段落、注等の外観によっておおよその内容を推定するものである。このレイアウト解析処理によって文字領域であると判断された領域は手書き文字認識モジュール１０９または活字文字認識モジュール１１０へ渡す。また、文字領域であると判断された領域に関する情報をレイアウト解析モジュール１０８へ渡すことによって、文字種別確定モジュール１０６による文字種別処理の参考にすることができる。また、逆に文字種別確定モジュール１０６から、領域内の文字種別情報を得ることによって、その情報を用いて、レイアウト解析処理の参考にすることができる。例えば、レイアウト解析処理として文字領域であるか否かの可能性があまり高いものでないが、明らかに文字領域ではないとも判断できないような場合に、文字種別確定モジュール１０６によって手書き文字領域である可能性が高いことが判明した場合は、その領域を文字領域として判断してもよい。

手書き文字認識モジュール１０９は、画像二値化モジュール１０７、レイアウト解析モジュール１０８、文字種別確定モジュール１０６と接続されている。つまり、画像二値化モジュール１０７より二値化画像を受け取り、レイアウト解析モジュール１０８より文字領域の座標を受け取り、さらに文字種別確定モジュール１０６より手書き文字領域の座標を受け取る。そして、その領域に対して、手書き文字に適した文字認識処理を行い、その結果（テキストコード）を手書き文字情報として出力する。また、文字認識の結果の確からしさ（信頼度）をレイアウト解析モジュール１０８または文字種別確定モジュール１０６へ出力してもよい。例えば、特許第２９９１７７９号公報に記載の文字の信頼度値を適用することができる。

活字文字認識モジュール１１０は、画像二値化モジュール１０７、レイアウト解析モジュール１０８、文字種別確定モジュール１０６と接続されている。つまり、画像二値化モジュール１０７より二値化画像を受け取り、レイアウト解析モジュール１０８より文字領域の座標を受け取り、さらに文字種別確定モジュール１０６より活字文字領域の座標を受け取る。そして、その領域に対して、活字文字に適した文字認識処理を行い、その結果（テキストコード）を活字文字情報として出力する。また、文字認識の結果の確からしさ（信頼度）をレイアウト解析モジュール１０８または文字種別確定モジュール１０６へ出力してもよい。

文字種別確定モジュール１０６は、部分空間推定モジュール１０５、レイアウト解析モジュール１０８、手書き文字認識モジュール１０９、活字文字認識モジュール１１０と接続されている。つまり、部分空間推定モジュール１０５より手書き文字領域の可能性が高いと推定された範囲の情報を受け取り、レイアウト解析モジュール１０８より文字領域の座標を受け取り、その領域が手書き文字領域であるか活字領域であるかを判断する。なお、手書き文字認識モジュール１０９、活字文字認識モジュール１１０から文字認識の結果の確からしさを受け取り、この情報を用いて、手書き文字であるか活字文字であるかの判断の閾値を修正するようにしてもよい。

図５を参照して、本実施の形態のハードウェア構成例について説明する。図５に示す構成は、例えばパーソナルコンピュータ（ＰＣ）などによって構成される画像処理システムであり、スキャナ等のデータ読み取り部４１７と、プリンタなどのデータ出力部４１８を備えたハード構成例を示している。

ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）４０１は、上述の実施の形態において説明した各種のモジュール、すなわち、画像傾き補正モジュール１０１、解像度変換モジュール１０２、手書き文字特徴抽出モジュール１０３、テクスチャ空間生成モジュール１０４等の各モジュールの実行シーケンスを記述したコンピュータ・プログラムに従った処理を実行する制御部である。

ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）４０２は、ＣＰＵ４０１が使用するプログラムや演算パラメータ等を格納する。ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）４０３は、ＣＰＵ４０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を格納する。これらはＣＰＵバスなどから構成されるホストバス４０４により相互に接続されている。

ホストバス４０４は、ブリッジ４０５を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス４０６に接続されている。

キーボード４０８、マウス等のポインティングデバイス４０９は、操作者により操作される入力デバイスである。ディスプレイ４１０は、液晶表示装置またはＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）などから成り、各種情報をテキストやイメージ情報として表示する。

ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）４１１は、ハードディスクを内蔵し、ハードディスクを駆動し、ＣＰＵ４０１によって実行するプログラムや情報を記録または再生させる。ハードディスクは、入力された画像、二値化画像、特徴量、文字認識結果データなどが格納される。さらに、その他の各種のデータ処理プログラム等、各種コンピュータ・プログラムが格納される。

ドライブ４１２は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記録媒体４１３に記録されているデータまたはプログラムを読み出して、そのデータまたはプログラムを、インタフェース４０７、外部バス４０６、ブリッジ４０５、およびホストバス４０４を介して接続されているＲＡＭ４０３に供給する。リムーバブル記録媒体４１３も、ハードディスクと同様のデータ記録領域として利用可能である。

接続ポート４１４は、外部接続機器４１５を接続するポートであり、ＵＳＢ、ＩＥＥＥ１３９４等の接続部を持つ。接続ポート４１４は、インタフェース４０７、および外部バス４０６、ブリッジ４０５、ホストバス４０４等を介してＣＰＵ４０１等に接続されている。通信部４１６は、ネットワークに接続され、外部とのデータ通信処理を実行する。データ読み取り部４１７は、例えばスキャナであり、ドキュメントの読み取り処理を実行する。データ出力部４１８は、例えばプリンタであり、ドキュメントデータの出力処理を実行する。

なお、図５に示すハードウェア構成は、１つの構成例を示すものであり、本実施の形態は、図５に示す構成に限らず、本実施の形態において説明したモジュールを実行可能な構成であればよい。例えば、一部のモジュールを専用のハードウェア（例えばＡＳＩＣ等）で構成してもよく、一部のモジュールは外部のシステム内にあり通信回線で接続しているような形態でもよく、さらに図５に示すシステムが複数互いに通信回線によって接続されていて互いに協調動作するようにしてもよい。また、複写機、ファックス、スキャナ、プリンタ、複合機（多機能複写機とも呼ばれ、スキャナ、プリンタ、複写機、ファックス等の機能を有している）などに組み込まれていてもよい。

次に作用・働き（動作）を説明する。
図６を用いて、文書画像を認識する処理を説明する。
ステップＳ６０１では、画像傾き補正モジュール１０１が入力した文書画像の傾きを補正する。傾き補正の他、ノイズ除去等の文字認識のための前処理としての画像処理を行ってもよい。
ステップＳ６０２では、解像度変換モジュール１０２がステップＳ６０１で補正された文書画像に対して、解像度変換を行う。
ステップＳ６０３では、手書き文字特徴抽出モジュール１０３がステップＳ６０２で解像度変換された文書画像に対して、手書き文字の特徴である揺らぎの特徴量を抽出する。

ステップＳ６０４では、テクスチャ空間生成モジュール１０４がステップＳ６０３で抽出した特徴量を用いて、テクスチャ空間を生成する。
ステップＳ６０５では、部分空間推定モジュール１０５がステップＳ６０４で生成されたテクスチャ空間内で、手書き文字領域である部分空間を推定する。
ステップＳ６０６では、文字種別確定モジュール１０６がステップＳ６０５で推定された手書き文字領域を確定する。ただし、後にステップＳ６１１でＮｏの場合またはステップＳ６１４でＮｏの場合には繰り返し処理が行われる。その場合は、ステップＳ６０５で推定された手書き文字領域を、ステップＳ６０８でのレイアウト解析の結果、文字認識結果の確からしさ（ステップＳ６１１、ステップＳ６１４）をも用いて、手書き文字領域を修正し、確定する。

ステップＳ６０７では、画像二値化モジュール１０７がステップＳ６０１で補正された文書画像に対して、二値化処理を行う。
ステップＳ６０８では、レイアウト解析モジュール１０８がステップＳ６０７で二値化された画像を受け取り、画像全体のレイアウト解析を行う。ここで、ステップＳ６０６で確定された文字種別をも用いて、レイアウト解析を行う。これによって、レイアウト解析単独で行う結果よりも精度よく行うことができる。
ステップＳ６０９では、ステップＳ６０８でのレイアウト解析の結果、文字領域に対して、手書き文字領域であるか否か（活字文字領域であるか否かであってもよい）を判断する。かかる判断において、ＹｅｓであるとステップＳ６１０へ、ＮｏであるとステップＳ６１３へと進む。

ステップＳ６１０では、手書き文字認識モジュール１０９がステップＳ６０８でのレイアウト解析の結果、手書き文字領域であると判断された領域の画像に対して、手書き文字認識を行う。
ステップＳ６１１では、ステップＳ６１０での手書き文字認識の結果、その確からしさが所定の閾値以上であるか否かが判断される。かかる判断において、ＹｅｓであるとステップＳ６１２へ、ＮｏであるとステップＳ６０６へと戻る。
ステップＳ６１２では、ステップＳ６０８でのレイアウト解析の結果の全ての文字領域内の文字に対して、文字認識処理を行ったか否かを判断する。かかる判断において、Ｙｅｓであると終了し、ＮｏであるとステップＳ６０９へと戻る。

ステップＳ６１３では、活字文字認識モジュール１１０がステップＳ６０８でのレイアウト解析の結果、活字文字領域であると判断された領域の画像に対して、活字文字認識を行う。
ステップＳ６１４では、ステップＳ６１３での活字文字認識の結果、その確からしさが所定の閾値以上であるか否かが判断される。かかる判断において、ＹｅｓであるとステップＳ６１５へ、ＮｏであるとステップＳ６０６へと戻る。
ステップＳ６１５では、ステップＳ６０８でレイアウト解析の結果の全ての文字領域内の文字に対して、文字認識処理を行ったか否かを判断する。かかる判断において、Ｙｅｓであると終了し、ＮｏであるとステップＳ６０９へと戻る。

前記実施の形態においては、例示として漢字を示したが、他の言語による文字であってもよい。
また、前記実施の形態においては、文字の揺らぎを用いて、主に手書き文字領域と判断することを示した。逆に、文字の揺らぎが少ないということは、活字文字であることを意味している。つまり、文字領域と判定された領域に対して、算出された手書き文字度が低い場合には、当該領域は活字文字領域であると判断できる。したがって、活字文字領域の判定についても、手書き文字領域と同様に行うことが可能である。
なお、前記実施の形態においては、手書き文字の特徴として、入力画像の水平、鉛直の線分について手書き文字特有の揺らぎを検出しているが、さらに斜めの線分の揺らぎを検出するようにしてもよい。

なお、説明したプログラムについては、記録媒体に格納することも可能であり、その場合は、例えば以下の発明としても把握することができる。
コンピュータに、
画像から所定の特徴を抽出する特徴抽出機能と、
前記特徴抽出機能により抽出された特徴に応じて、テクスチャ空間に各画素または各領域のテクスチャ情報をマップしたテクスチャ空間を生成するテクスチャ空間生成機能と、
前記テクスチャ空間生成機能により生成されたテクスチャ空間にて、手書き文字領域である部分空間または活字文字領域である部分空間を推定する部分空間推定機能と、
前記部分空間推定機能により推定された部分空間に応じて、実画像上にて手書き文字領域または活字文字領域を確定する領域確定機能
を実現させることを特徴とする画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体。

コンピュータに、
画像から所定の特徴を抽出する特徴抽出機能と、
前記特徴抽出機能により抽出された特徴に応じて、テクスチャ空間に各画素または各領域のテクスチャ情報をマップしたテクスチャ空間を生成するテクスチャ空間生成機能と、
前記テクスチャ空間生成機能により生成されたテクスチャ空間にて、手書き文字領域らしさまたは活字文字領域らしさを表す指標を設定する指標設定機能と、
前記テクスチャ空間生成機能により生成されたテクスチャ空間にて、前記指標設定機能によって設定された指標に応じて手書き文字領域である部分空間または活字文字領域である部分空間を推定する部分空間推定機能と、
前記部分空間推定機能により推定された部分空間に応じて、実画像上にて手書き文字領域または活字文字領域を確定する領域確定機能
を実現させることを特徴とする画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体。

「プログラムを記録したコンピュータ読み取り可能な記録媒体」とは、プログラムのインストール、実行、プログラムの流通などのために用いられる、プログラムが記録されたコンピュータで読み取り可能な記録媒体をいう。
なお、記録媒体としては、例えば、デジタル・バーサタイル・ディスク（ＤＶＤ）であって、ＤＶＤフォーラムで策定された規格である「ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ−ＲＡＭ等」、ＤＶＤ＋ＲＷで策定された規格である「ＤＶＤ＋Ｒ、ＤＶＤ＋ＲＷ等」、コンパクトディスク（ＣＤ）であって、読出し専用メモリ（ＣＤ−ＲＯＭ）、ＣＤレコーダブル（ＣＤ−Ｒ）、ＣＤリライタブル（ＣＤ−ＲＷ）等、光磁気ディスク（ＭＯ）、フレキシブルディスク（ＦＤ）、磁気テープ、ハードディスク、読出し専用メモリ（ＲＯＭ）、電気的消去および書換可能な読出し専用メモリ（ＥＥＰＲＯＭ）、フラッシュ・メモリ、ランダム・アクセス・メモリ（ＲＡＭ）等が含まれる。
そして、上記のプログラムまたはその一部は、上記記録媒体に記録して保存や流通等させることが可能である。また、通信によって、例えば、ローカル・エリア・ネットワーク（ＬＡＮ）、メトロポリタン・エリア・ネットワーク（ＭＡＮ）、ワイド・エリア・ネットワーク（ＷＡＮ）、インターネット、イントラネット、エクストラネット等に用いられる有線ネットワーク、あるいは無線通信ネットワーク、さらにはこれらの組合せ等の伝送媒体を用いて伝送することが可能であり、また、搬送波に乗せて搬送することも可能である。
さらに、上記のプログラムは、他のプログラムの一部分であってもよく、あるいは別個のプログラムと共に記録媒体に記録されていてもよい。

画像処理システムの実施の形態の一構成例を示すブロック図である。 活字文字と手書き文字が混在する文書を示す説明図である。 実施の形態の概略を説明するブロック図である。 活字文字画像、手書き文字画像をフーリエ変換した例を示す説明図である。 実施の形態を実現するコンピュータのハードウェア構成の一例の説明図である。 文書画像を認識する処理を示すフローチャートである。

符号の説明

２１…手書き文字
３１…フーリエ変換モジュール
３２…手書き文字度評価モジュール
３３…入力画像
３４…周波数領域画像（テクスチャ特徴量）
３５…手書き文字度（評価値）Ｅ
１０１…画像傾き補正モジュール
１０２…解像度変換モジュール
１０３…手書き文字特徴抽出モジュール
１０４…テクスチャ空間生成モジュール
１０５…部分空間推定モジュール
１０６…文字種別確定モジュール
１０７…画像二値化モジュール
１０８…レイアウト解析モジュール
１０９…手書き文字認識モジュール
１１０…活字文字認識モジュール

Claims (8)

1. 画像から所定の特徴を抽出する特徴抽出手段と、
   前記特徴抽出手段により抽出された特徴に応じて、テクスチャ空間に各画素または各領域のテクスチャ情報をマップしたテクスチャ空間を生成するテクスチャ空間生成手段と、
   前記テクスチャ空間生成手段により生成されたテクスチャ空間にて、手書き文字領域である部分空間または活字文字領域である部分空間を推定する部分空間推定手段と、
   前記部分空間推定手段により推定された部分空間に応じて、実画像上にて手書き文字領域または活字文字領域を確定する領域確定手段
   を具備し、
   前記特徴抽出手段が抽出する特徴量は、手書き文字特徴を表す特徴量または活字文字特徴を表す特徴量であり、
   ２次元フーリエ変換結果の周波数平面にて、所定の軸からの距離で重み付けをしたスペクトル強度の和である
   ことを特徴とする画像処理システム。
2. 画像から所定の特徴を抽出する特徴抽出手段と、
   前記特徴抽出手段により抽出された特徴に応じて、テクスチャ空間に各画素または各領域のテクスチャ情報をマップしたテクスチャ空間を生成するテクスチャ空間生成手段と、
   前記テクスチャ空間生成手段により生成されたテクスチャ空間にて、手書き文字領域らしさまたは活字文字領域らしさを表す指標を設定する指標設定手段と、
   前記テクスチャ空間生成手段により生成されたテクスチャ空間にて、前記指標設定手段によって設定された指標に応じて手書き文字領域である部分空間または活字文字領域である部分空間を推定する部分空間推定手段と、
   前記部分空間推定手段により推定された部分空間に応じて、実画像上にて手書き文字領域または活字文字領域を確定する領域確定手段
   を具備し、
   前記特徴抽出手段が抽出する特徴量は、手書き文字特徴を表す特徴量または活字文字特徴を表す特徴量であり、
   ２次元フーリエ変換結果の周波数平面にて、所定の軸からの距離で重み付けをしたスペクトル強度の和である
   ことを特徴とする画像処理システム。
3. 画像から所定の特徴を抽出する特徴抽出手段と、
   前記特徴抽出手段により抽出された特徴に応じて、テクスチャ空間に各画素または各領域のテクスチャ情報をマップしたテクスチャ空間を生成するテクスチャ空間生成手段と、
   前記テクスチャ空間生成手段により生成されたテクスチャ空間にて、手書き文字領域である部分空間または活字文字領域である部分空間を推定する部分空間推定手段と、
   前記部分空間推定手段により推定された部分空間に応じて、実画像上にて手書き文字領域または活字文字領域を確定する領域確定手段と、
   前記領域確定手段により確定された手書き文字領域または活字文字領域を用いて、前記画像からレイアウトを解析するレイアウト解析手段
   を具備し、
   前記特徴抽出手段が抽出する特徴量は、手書き文字特徴を表す特徴量または活字文字特徴を表す特徴量であり、
   ２次元フーリエ変換結果の周波数平面にて、所定の軸からの距離で重み付けをしたスペクトル強度の和である
   ことを特徴とする画像処理システム。
4. 画像から所定の特徴を抽出する特徴抽出手段と、
   前記特徴抽出手段により抽出された特徴に応じて、テクスチャ空間に各画素または各領域のテクスチャ情報をマップしたテクスチャ空間を生成するテクスチャ空間生成手段と、
   前記テクスチャ空間生成手段により生成されたテクスチャ空間にて、手書き文字領域である部分空間または活字文字領域である部分空間を推定する部分空間推定手段と、
   前記部分空間推定手段により推定された部分空間に応じて、実画像上にて手書き文字領域または活字文字領域を確定する領域確定手段と、
   前記画像からレイアウトを解析するレイアウト解析手段
   を具備し、
   前記特徴抽出手段が抽出する特徴量は、手書き文字特徴を表す特徴量または活字文字特徴を表す特徴量であり、
   ２次元フーリエ変換結果の周波数平面にて、所定の軸からの距離で重み付けをしたスペクトル強度の和であり、
   前記領域確定手段は、前記レイアウト解析手段によって解析されたレイアウトをも用いて手書き文字領域または活字文字領域を確定する
   ことを特徴とする画像処理システム。
5. 請求項１、２、３または４記載の画像処理システムの前記領域確定手段により確定された手書き文字領域または活字文字領域を認識する手書き文字認識手段または活字文字認識手段
   を具備することを特徴とする文字認識システム。
6. 前記領域確定手段は、前記手書き文字認識手段により認識された文字または前記活字文字認識手段により認識された文字の確からしさをも用いて手書き文字領域または活字文字領域を確定する
   ことを特徴とする請求項５記載の文字認識システム。
7. コンピュータに、
   画像から所定の特徴を抽出する特徴抽出機能と、
   前記特徴抽出機能により抽出された特徴に応じて、テクスチャ空間に各画素または各領域のテクスチャ情報をマップしたテクスチャ空間を生成するテクスチャ空間生成機能と、
   前記テクスチャ空間生成機能により生成されたテクスチャ空間にて、手書き文字領域である部分空間または活字文字領域である部分空間を推定する部分空間推定機能と、
   前記部分空間推定機能により推定された部分空間に応じて、実画像上にて手書き文字領域または活字文字領域を確定する領域確定機能
   を実現させ、
   前記特徴抽出機能が抽出する特徴量は、手書き文字特徴を表す特徴量または活字文字特徴を表す特徴量であり、
   ２次元フーリエ変換結果の周波数平面にて、所定の軸からの距離で重み付けをしたスペクトル強度の和である
   ことを特徴とする画像処理プログラム。
8. コンピュータに、
   画像から所定の特徴を抽出する特徴抽出機能と、
   前記特徴抽出機能により抽出された特徴に応じて、テクスチャ空間に各画素または各領域のテクスチャ情報をマップしたテクスチャ空間を生成するテクスチャ空間生成機能と、
   前記テクスチャ空間生成機能により生成されたテクスチャ空間にて、手書き文字領域らしさまたは活字文字領域らしさを表す指標を設定する指標設定機能と、
   前記テクスチャ空間生成機能により生成されたテクスチャ空間にて、前記指標設定機能によって設定された指標に応じて手書き文字領域である部分空間または活字文字領域である部分空間を推定する部分空間推定機能と、
   前記部分空間推定機能により推定された部分空間に応じて、実画像上にて手書き文字領域または活字文字領域を確定する領域確定機能
   を実現させ、
   前記特徴抽出機能が抽出する特徴量は、手書き文字特徴を表す特徴量または活字文字特徴を表す特徴量であり、
   ２次元フーリエ変換結果の周波数平面にて、所定の軸からの距離で重み付けをしたスペクトル強度の和である
   ことを特徴とする画像処理プログラム。

Images