JP4696239B2 - 文字列の傾斜補正方法及び装置 - Google Patents

Description

本発明は、例えば画像認識で文字認識を行う場合に適用して好適な文字列の傾斜補正方法及び装置に関する。

従来、三次元環境に存在している文字列を、カメラなどの撮像装置で撮像して、その撮像した画像から文字列を認識する技術が各種開発されている。このような場合には、例えば紙に印刷された文字列を認識する場合と異なる点として、文字列を正面から撮影するとは限らないため、傾斜した文字列として撮影されてしまう場合が多々あった。

傾斜して撮影された文字列から文字認識する処理としては、例えば特許文献１に記載された処理が知られている。この特許文献１に記載された処理は、文字列全体の傾斜度を、文字列を垂直方向に操作して得た画素数のヒストグラムから判断して、その判断に基づいて文字列全体の傾斜度を補正するようにして、正立文字列を得るものである。
特開平６−４７０３号公報（図７）

特許文献１に記載された処理を実行することで、傾斜文字列全体を正立文字列に補正することが可能であるが、実際の三次元環境に存在している文字列をカメラで撮影した場合には、横一列に並んだ文字列の先頭文字から終端文字まで、均一な状態で傾斜していることは稀であり、文字列内の一部の文字だけが正しく認識され、残りの文字は誤認識される可能性がある。

本発明はかかる点に鑑みてなされたものであり、文字列を構成する各文字の傾斜角度が異なる場合にも、各文字を正しく正立文字に補正して、認識などの処理が行えるようにすることを目的とする。

本発明は、入力された文字列画像に対して、所定のずらし角刻みで傾斜角度が異なる複数の輪郭画像を形成し、それぞれの傾斜角度の輪郭画像の輪郭部分の画素に対して、その輪郭部分の画素に隣接した空白画素の数が多い状態を最も高い重み付け値とした上で、輪郭部分の画素に隣接した水平方向の空白画素の隣接状態と垂直方向の空白画素の隣接状態に応じて変化する重み付け値となる重み付けを行い、その重み付けされた輪郭画素数を垂直方向に投影した重み付き垂直投影ヒストグラムを作成し、それぞれの傾斜角度の重み付き垂直投影ヒストグラムを並べて配置して傾斜角度ごとの垂直投影ヒストグラムの変化を示す投影ヒストグラム画像を作成し、作成された投影ヒストグラム画像から輪郭画素が垂直方向に存在しない空白部分が連続する空白領域を判断し、その判断した空白領域で投影ヒストグラム画像を区切ることで文字列から１文字ずつの尾根成分を抽出し、１文字ずつの尾根成分から最適尾根を検出する処理を、投影ヒストグラム画像の空白をノード、尾根をエッジとしてグラフ表現し、そのグラフの最適経路の算出で行い、その最適経路として得られた尾根に対応した傾斜角度の文字画像を直立した文字画像であるとして取り出して、個々の文字単位で傾斜補正された文字画像列として配列させるものである。

本発明によると、文字列を構成する各文字の傾斜角度が異なる場合でも、1文字ごとに直立した文字画像として補正でき、例えば三次元環境に存在している文字列を撮影して文字認識する場合に好適な文字列の傾斜補正が行える。

以下、本発明の一実施の形態を、図1〜図8を参照して説明する。
図１は、本例の文字傾斜補正装置を含む文字認識装置全体の構成例を示した図である。本例では、パーソナルコンピュータ装置で構成される画像処理装置を、文字傾斜補正装置及び文字認識装置として機能するように構成したものであり、画像取り込み手段として撮像装置が接続してある。

ビデオカメラや電子スチルカメラなどの撮像装置で構成される撮像部１は、撮像して得た画像信号を、画像入力部２に供給して、必要により装置が扱う画像信号に変換する。画像入力部２が出力する画像信号は、画像処理部３に供給し、画像処理部３に接続されたメモリ４に文字認識させたい画像信号を記憶させて、その記憶させた画像信号を使用して文字列の傾斜補正処理を行う。文字認識させたい画像の範囲は、ユーザ操作などで設定するか、或いは自動的に文字列が存在する範囲を認識する構成としてもよい。傾斜補正処理の詳細については後述する。

傾斜補正処理が行われた画像信号は、文字認識部５に供給し、画像信号で示される画像中の文字画像から、文字の形状のデータなどを参照して文字認識し、文字認識した結果を認識結果出力部６から出力させる。認識結果出力部６では、認識結果の出力処理として、例えばディスプレイに表示させる処理、印刷させる処理、文字データとして外部に出力させる処理などが行われる。

図２は、図１の画像処理部３で実行される、本例の傾斜補正処理例を示したフローチャートである。ここでは横方向に複数文字が並んだ画像から文字列を抽出して傾斜補正する例としてある。まず、傾斜補正したい文字列が含まれる画像が入力されると（ステップＳ１１）、文字列の範囲を抽出し、その抽出した文字列の大きさの正規化処理を行う（ステップＳ１２）。正規化された文字列画像を得ると、その文字列画像を使用して、予め設定された角度Δθ刻みで傾斜変形させる傾斜画像を作成し、メモリ４に記憶させる（ステップＳ１３）。この傾斜画像を作成する際には、本例の場合、文字の輪郭だけを抽出した中抜きの２値画像としてある。さらに、２値画像から輪郭画像を作成する際には、後述する重み付け処理をして作成するようにしてある。作成されたそれぞれの傾斜画像からは、各画素を垂直に投影した投影ヒストグラムを作成する（ステップＳ１４）。

そして、ずらし角度ごとの投影ヒストグラムを１つに並べて、投影ヒストグラム画像を作成する（ステップＳ１５）。投影ヒストグラム画像が作成されると、その投影ヒストグラム画像から最適な尾根を見つけ出す（ステップＳ１６）。尾根の定義と、最適な尾根を見つけ出す処理の詳細については後述する。最適な尾根が見つけ出されると、その尾根検出に基づいて１文字ごとの文字画像の範囲を検出し、投影ヒストグラムが最も高くなる傾斜角の傾斜画像を１文字ごとに選び出して貼り合わせ（ステップＳ１７）、歪み補正文字列画像が作成される（ステップＳ１８）。作成された歪み補正文字列画像は、例えば文字判定部５（図１）に送られて文字認識処理が行われる。

図３は、図２のフローチャートに示した処理により、具体的に歪み補正文字列画像を得る処理例を示したものである。この例では、図３（ａ）に示すように「株式会社」と４文字で記載された個所を撮影して得た画像の歪み補正を行う場合の例である。ここでは、画像は２値画像としてある。この図３（ａ）に示す画像は、文字が表示された個所を下方から撮影したものであり、それぞれの文字は上すぼまり（即ち上に行くに従って細くなる）であり、左端の文字「株」は右方向に傾斜しており、１文字ずつ進むに従って傾斜角が変化して、右端の文字「社」は左方向に傾斜している状態となっている。

この図３（ａ）に示すように文字が歪んだ画像が入力されると、文字列に外接する四角形の高さが、予め設定されたＬ画素数（例えばＬ＝６４画素）となる倍率で、大きさの正規化を行い、図３（ｂ）に示す正規化画像を得て、各文字画像がほぼ一定の大きさで処理できるようにする。

そして、その正規化画像を使用して、ずらし角度をθ₀から−θ₀まで一定の角度範囲Δθ間隔でずらし変換を行い、例えば図３（ｃ）〜（ｈ）に示す変換画像（傾斜画像）を得る。図３（ｃ）は最も左側に傾斜させたθ＝θ₀の例であり、図３（ｄ）はθ＝１２°の例であり、図３（ｅ）はθ＝２°の例であり、図３（ｆ）はθ＝−６°の例であり、図３（ｇ）はθ＝−１６°の例であり、図３（ｈ）は最も右側に傾斜させたθ＝−θ₀の例である。なお、実際には一定角度Δθ間隔であるので、図示しない傾斜画像も存在する。一定の角度範囲Δθは例えば２°のような比較的小さな角度であるのが好ましい。なお、図３（ｃ）〜（ｈ）に示す傾斜画像を得ると、本例の場合には図示のように、それぞれの画像中の文字を輪郭だけで示す文字に変換するようにしてあり、さらにその輪郭画像とする際に重み付け処理をしてある。

そして、その輪郭で示される画像の各水平位置での、垂直方向の輪郭の画素数を集計した投影ヒストグラムを作成する。図３（ｃ）〜（ｈ）の傾斜文字列の下側に示したものが、投影ヒストグラムの例である。ここで、あるずらし角度の投影ヒストグラムにおいて、両側を投影値０（即ち輪郭画素が垂直方向に存在しない空白部分）で挟まれた投影値の連続した尾根（かたまり）を「尾根」と呼ぶ。

次に、図３（ｉ）に示すように、ずらし角度ごとの投影ヒストグラムを並べて、投影ヒストグラム画像を作成する。図３（ｉ）に示す投影ヒストグラム画像では、上端をずらし角θ＝θ₀、下端をずらし角θ＝−θ₀として示してある。例えば、文字「株」に対応した特定の尾根Ａは、ずらし角１２°で最大の値となり、そのずらし角度での尾根Ａの両端の座標ｘ１，ｘ２（図３（ｄ）参照）となるため、ずらし角１２°の座標ｘ１，ｘ２の範囲の画像を補正文字として取り出す。これを最適な尾根の全てについて行い、図３（ｊ）に示すように、取り出した文字画像を並べて貼り合せて、歪み補正画像を得る。

図４は、投影ヒストグラムと尾根の評価値との関係を示した図である。ここでは、図４（ａ）に示すように、文字「株」の２値画像から、図４（ｂ）に示すように重みつき輪郭画像を形成させる。そして、その重みつき輪郭画像の黒く表示された画素の数（画素値）を垂直方向（ｘ軸）に投影したヒストグラム（投影ヒストグラム）が、図４（ｃ）に示したものである。ここで、この文字で構成される尾根の幅をｗとしたとき、尾根の評価値は次式で示される。
尾根の評価値ｄ＝Σｈ（ｘ）²／ｗ

なお、重みつき輪郭画像を形成させる際の重み付け処理としては、例えば図５に示す処理が行われる。即ち、図５に示した黒丸を注目輪郭点とし、空白で示す画素位置が背景画素を表すとすると、パターンに応じて、重み１から重み４まで４つの重み係数値を設定する。重み１は、縦に隣接して空白がある場合であり、重み２は、横に隣接して空白がある場合であり、重み３は縦方向の何れか一方に隣接して輪郭点がある場合であり、重み４は縦方向の両方に隣接して輪郭点がある場合であり、重み４を最も高い重み付け値として、ヒストグラム値を算出するようにしてある。

次に、投影ヒストグラム画像から最適尾根を探索する処理例を、図６を参照して説明する。図６（ａ）は、４つの文字で構成される文字列の投影ヒストグラム画像の例であり、上端をずらし角θ＝θ₀、下端をずらし角θ＝−θ₀として示してあり、各文字の前後（間）で、空白ｓ１，ｓ２，ｓ３，ｓ４，ｓ５が形成されている。ずらし角によっては、文字間の空白がない場合もある。図６（ｂ）は、空白の間を結ぶ尾根のグラフ表示の例であり、空白をノード、各空白から他の空白へ向かう尾根をエッジとして表示してある。ある１つの空白から、他の１つの空白に向かう尾根（エッジ）は、複数存在する場合もある。このようなルートの中から、図６（ｃ）に太い線で示すように、最適なルートを選定する処理が行われる。

具体的には、図６（ｄ）に示すように、投影ヒストグラム画像から、それぞれの空白の間での最適なずらし角での最適尾根が探索され、そのずらし角での文字画像を１文字ずつ取り出して並べることで、図６（ｅ）に示す、最適な尾根に対応する傾き角で補正した文字列の画像が得られる。この文字画像列が出力されて、例えば文字認識に使用される。或いは、そのまま傾き補正された文字画像を表示させてもよい。

ここで、投影ヒストグラムからの最適な尾根の探索処理手順を式で示すと、以下のようになる。まず、式で使用される変数の定義を以下に示す。
ｒ_{ｉ，ｊ，ｎ}＝注目尾根；空白ｊ（左端）と空白ｉ（右端）に挟まれたｎ番目の尾根
ｒ_{ｉ，ｋ，ｍ}＝注目尾根の直前の尾根；空白ｋ（左端）と空白ｊ（右端）に挟まれたｍ番目の尾根（注目尾根の直前の尾根の右端空白と注目尾根の左端空白は同じになる）
ｗ（ｒ）＝尾根ｒの幅
Ｗ（ｒ）＝尾根ｒまでの累積尾根幅
ｖ（ｒ）＝尾根の特徴量
Ｖ（ｒ）＝尾根ｒまでの累積特徴量
Ｄ（ｒ）＝尾根ｒまでの評価値（＝密度の近似値）
ｐｒｅｖ（ｒ）＝尾根ｒの直前の尾根
θ（ｒ）＝尾根ｒのずらし角度
Δθ（ｒ）＝尾根ｒとその１つ前の尾根とのずらし角度の差
Ｘ_{ｒｉｇｈｔ}（ｒ），Ｘ（_ｌｅｆｔ（ｒ）＝尾根ｒの右端のＸ座標、左端のＸ座標

これらの定義をした上で漸化式計算を示すと、以下のようになる。
ｆｏｒ ｉ＝２ ｔｏ １
ｆｏｒ ｊ＝１ ｔｏ ｉ−１
ｆｏｒ ｎ＝１ ｔｏ Ｎ（ｉ，ｊ）
ｉｆ Ｄ（ｒ_{ｉ，ｊ，ｎ}）＝ｍａｘ〔｛αｖ（ｒ_{ｉ，ｊ，ｎ}）＋Ｖ（ｒ_{ｉ，ｋ，ｍ}）｝／｛ｗ（ｒ_{ｉ，ｊ，ｎ}）＋Ｗ（ｒ_{ｊ，ｋ，ｍ}）｝〕
ｋ＝１，２，‥‥，ｊ−１，ｍ＝１，２，‥‥，Ｎ（ｊ，ｋ）
ただし、重みα＝ｃｏｓ（θ（ｒ_{ｉ，ｊ，ｎ}）−θ（ｒ_{ｊ，ｋ，ｍ}）−Δθ（ｒ_{ｊ，ｋ，ｍ}））
条件 Ｘ_{ｒｉｇｈｔ}（ｒ_{ｊ，ｋ，ｍ}）＜Ｘ_ｌｅｆｔ（ｒ_{ｉ，ｊ，ｎ}）
ｔｈｅｎ Ｗ（ｒ_{ｉ，ｊ，ｎ}）＝ｗ（ｒ_{ｉ，ｊ，ｎ}）＋Ｗ（ｒ_{ｊ，ｋ，ｍ}）
Ｖ（ｒ_{ｉ，ｊ，ｎ}）＝ｖ（ｒ_{ｉ，ｊ，ｎ}）＋Ｖ（ｒ_{ｉ，ｋ，ｍ}）
Δθ（ｒ_{ｉ，ｊ，ｎ}）＝θ（ｒ_{ｉ，ｊ，ｎ}）−θ（ｒ_{ｊ，ｋ，ｍ}）

ｐｒｅｖ（ｒ_{ｉ，ｊ，ｎ}）＝ｒ_{ｊ，ｋ，ｍ}
ｎｅｘｔ ｎ
ｎｅｘｔ ｊ
ｎｅｘｔ ｉ

トレースバック
Ｄ（ｒ_{ｉ，ｊ′，ｎ′}）＝ｍａｘ｛Ｄ（ｒ_{ｌ，ｊ，ｎ}）｝
ｉ＝ｌ，ｊ＝ｊ′，ｎ＝ｎ′
ｆｏｒ
ｒ_{ｉ，ｊ，ｎ} これが注目尾根。順番にトレースしていく。
ｒ_{ｉ′，ｊ′，ｎ′}＝ｐｒｅｖ（ｒ_{ｉ，ｊ，ｎ}）；
ｉ＝ｌ，ｊ＝ｊ′，ｎ＝ｎ′
ｉｆ ｊ＝＝１ ｔｈｅｎ ｅｎｄ
ｎｅｘｔ

なお、重みαは、図７に示すように、注目尾根と手前の尾根のなす角度（（ｒ_{ｉ，ｊ，ｎ}）−θ（ｒ_{ｊ，ｋ，ｍ}））と、手前の尾根とさらに１つ手前の尾根のなす角度Δθ（ｒ_{ｊ，ｋ，ｍ}）の角度差はほぼ０になり、角度の連続性をもつ点を利用している。この処理を行うことで、例えば文字「ノ」のように、本来傾斜している状態が正しい形状が、正立した状態で誤検出されるのを防止できる。また、条件Ｘ_{ｒｉｇｈｔ}（ｒ_{ｊ，ｋ，ｍ}）＜Ｘ_ｌｅｆｔ（ｒ_{ｉ，ｊ，ｎ}）は、図８に示すように、注目尾根と重なる尾根は除外する処理である。

以上説明したように文字の歪み補正ができることで、種々の変形した形状の文字列を、正立文字列に補正することができる。上述した実施の形態で説明した図３などでは、台形に変形した文字列を補正する例としたが、１方向のみの傾斜の場合であっても、同じ補正処理で補正することができ、より複雑な変形にも対処できる。

また、投影ヒストグラムの尾根を単位として傾斜補正の演算を行うようにしてあるので、結果的に１文字を単位とした計算が行われ、文字が含まれる画像を１ラインごとに計算するものではなく、高速な演算処理で傾斜補正が行える効果を有する。

さらに、文字列が書かれた画像領域全体の歪み補正を行うのではなく、１つ１つの文字そのものから歪みを検出しているので、各文字そのものに対して歪み補正を行っているので、１文字ごとに傾斜状態が異なるような複雑な形状にも対処できる効果を有する。

なお、上述した実施の形態では、図１に示した構成の装置を用意して、文字の歪み補正を行うようにしたが、例えば本発明の補正処理を実行するプログラム（ソフトウェア）を用意して、汎用のパーソナルコンピュータ装置にそのプログラムを実装させて、同様の文字補正が行えるようにしてもよい。プログラムは、例えば光ディスクなどの記録媒体としてユーザに配布するか、或いはインターネットなどを介してダウンロードさせることが可能である。

本発明の一実施の形態による装置構成例を示すブロック図である。 本発明の一実施の形態による補正処理例を示すフローチャートである。 本発明の一実施の形態による補正処理例の流れを示す説明図である。 本発明の一実施の形態による投影ヒストグラムと尾根の評価値の例を示す説明図である。 本発明の一実施の形態による輪郭画素に対する重みパターンの例を示した説明図である。 本発明の一実施の形態による投影ヒストグラムからの最適尾根の探索例を示した説明図である。 本発明の一実施の形態による注目尾根の状態の例（重ならない例）を示した説明図である。 本発明の一実施の形態による注目尾根の状態の例（重なる例）を示した説明図である。

符号の説明

１…撮像部、２…画像入力部、３…画像処理部、４…メモリ、５…文字認識部、６…認識結果出力部

Claims (4)

1. 入力された文字列画像に対して、所定のずらし角刻みで傾斜角度が異なる複数の輪郭画像を形成し、
   前記それぞれの傾斜角度の輪郭画像の輪郭部分の画素に対して、その輪郭部分の画素に隣接した空白画素の数が多い状態を最も高い重み付け値とした上で、輪郭部分の画素に隣接した水平方向の空白画素の隣接状態と垂直方向の空白画素の隣接状態に応じて変化する重み付け値となる重み付けを行い、その重み付けされた輪郭画素数を垂直方向に投影した重み付き垂直投影ヒストグラムを作成し、前記それぞれの傾斜角度の重み付き垂直投影ヒストグラムを並べて配置して傾斜角度ごとの垂直投影ヒストグラムの変化を示す投影ヒストグラム画像を作成し、
   前記作成された投影ヒストグラム画像から輪郭画素が垂直方向に存在しない空白部分が連続する空白領域を判断し、その判断した空白領域で前記投影ヒストグラム画像を区切ることで前記文字列から１文字ずつの尾根成分を抽出し、
   前記１文字ずつの尾根成分から最適尾根を検出する処理を、前記投影ヒストグラム画像の空白をノード、尾根をエッジとしてグラフ表現し、そのグラフの最適経路の算出で行い、その最適経路として得られた尾根に対応した傾斜角度の文字画像を直立した文字画像であるとして取り出して、個々の文字単位で傾斜補正された文字画像列として配列させることを特徴とする文字列の傾斜補正方法。
2. 請求項１記載の文字列の傾斜補正方法において、
   前記傾斜補正された文字画像列から文字認識処理を行うことを特徴とする文字列の傾斜補正方法。
3. 入力された文字列画像に対して、所定のずらし角刻みで傾斜角度が異なる複数の輪郭画像を形成する輪郭画像形成手段と、
   前記輪郭画像形成手段で形成された前記それぞれの傾斜角度の輪郭画像の輪郭部分の画素に対して、その輪郭部分の画素に隣接した空白画素の数が多い状態を最も高い重み付け値とした上で、輪郭部分の画素に隣接した水平方向の空白画素の隣接状態と垂直方向の空白画素の隣接状態に応じて変化する重み付け値となる重み付けを行い、その重み付けされた輪郭画素数を垂直方向に投影した重み付き垂直投影ヒストグラムを作成し、前記それぞれの傾斜角度の重み付き垂直投影ヒストグラムを並べて配置して傾斜角度ごとの垂直投影ヒストグラムの変化を示す投影ヒストグラム画像を作成する投影ヒストグラム画像作成手段と、
   前記投影ヒストグラム画像作成手段で作成され投影ヒストグラム画像から輪郭画素が垂直方向に存在しない空白部分が連続する空白領域を判断し、その判断した空白領域で前記投影ヒストグラム画像を区切ることで前記文字列から１文字ずつの尾根成分を抽出する尾根抽出手段と、
   前記尾根抽出手段で抽出された前記１文字ずつの尾根成分から最適尾根を検出する処理を、前記投影ヒストグラム画像の空白をノード、尾根をエッジとしてグラフ表現し、そのグラフの最適経路の算出で行い、その最適経路として得られた尾根に対応した傾斜角度の文字画像を直立した文字画像であるとして取り出して、個々の文字単位で文字画像列として配列させる文字画像抽出手段とを備えたことを特徴とする文字列の傾斜補正装置。
4. 請求項３記載の文字列の傾斜補正装置において、
   前記傾斜補正された文字画像列から文字認識処理を行うことを特徴とする文字列の傾斜補正装置。