JPH11316798A - 画像状態検出装置及びそれを利用した文書画像補正装置 - Google Patents

Abstract

(57)【要約】 【課題】傾いてあるいは鏡像反転して入力された文書画
像を正立させる。 【解決手段】スキャン方向により異なる角度及び鏡像反
転した画像として読込まれた文字を、例えば、文字認識
の方式を利用して検出し、正立させるものであり、この
ような文字画像が文字認識率が低い点に着目し、スキャ
ン画像から文字画像を切出して認識率が最大になる回転
角度及び／または鏡像変換の有無を検出し、元のスキャ
ン画像に対しても同様の回転・鏡像変換を行うことで自
動的に正立した画像に補正する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、スキャナ等の画像
入力装置から取り込んだ文書画像の状態を検出する画像
状態検出装置、及びそれに基づきディスプレイに表示し
たり、記憶装置へ格納する前に画像を補正する装置であ
って、特に回転や鏡像反転して読込まれた画像を自動的
に正立した画像に補正する文書画像補正装置に関する。

【０００２】

【従来の技術】近年、据え置き型のフラットベッドスキ
ャナに加え、持ち運びが容易な手動操作型の小型ハンデ
ィタイプスキャナが開発・製品化されている。ハンドヘ
ルドスキャナはユーザが任意の方向にスキャンすること
が可能であり自由度が高い反面、スキャンする方向によ
っては、回転したり鏡像反転した画像として読み込まれ
ることがあり、スキャンした後に回転や鏡像変換して補
正する必要があった。

【０００３】特開平８−２１２２９８号など、従来の文
書画像補正装置では、図１８のようにスキャンした文書
画像から文字画像を切出し、０度、９０度、１８０度、
２７０度の４方向から文字認識を行い、認識の確からし
さ（認識確度）が最も大きい方向を文書方向として判別
し、判別した文書方向が正方向でなければ文書画像を回
転して正立（文書として正しく読める方向）した画像に
なるように補正していた。

【０００４】

【発明が解決しようとする課題】従って、従来の文書画
像の補正方法では、ハンドヘルドスキャナでスキャンし
て得られた鏡像反転した文書画像に対しては、文書画像
から切り出した文字画像を０度、９０度、１８０度、２
７０度のいずれの角度に回転しても文字認識できないた
め、正立方向が判別できずに補正できないという問題が
あった。

【０００５】本発明はこの問題を解決するためになされ
たものであり、スキャナ等の画像入力装置から取り込ん
だ文書画像の状態を検出する画像状態検出装置で検出
し、回転した文書画像、鏡像反転した文書画像、回転に
加えて鏡像反転した文書画像いずれの画像であっても、
正立方向に自動補正する文書画像補正装置を提供するこ
とを目的としている。

【０００６】

【課題を解決するための手段】本発明は、前記課題を解
決するため、以下の手段を採用した。

【０００７】すなわち、本発明は、画像入力手段から入
力された文字画像を文字画像格納手段に格納し、この文
字画像格納手段に格納された文字画像が本来の文字に対
して鏡像反転しているか否か及び／またはどの程度回転
しているかを検出する画像状態検出装置であり、画像入
力手段から取り込んだ文字画像を回転および／または鏡
像反転させる画像変換手段と、文字の特徴情報を記憶し
た文字認識辞書を参照して前記画像変換手段により変換
した文字画像と類似する候補文字および類似度を表す認
識率を求める文字認識手段と、この文字認識手段の認識
結果に基づき原文字画像を正立させるに必要な回転角度
及びまたは原文字画像の鏡像反転の有無を検出する変換
方法検出手段と、を備えたことを特徴とする画像状態検
出装置を提供する。

【０００８】さらに、本件発明はこの画像状態検出装置
を利用した文書画像補正装置を提供する。この文書画像
補正装置は、画像入力手段から入力された文字画像を格
納する文字画像格納手段と、この文字画像格納手段に格
納された文字画像が本来の文字に対して鏡像反転してい
るか否か及び／またはどの程度回転しているかしている
かを検出する画像状態検出手段と、この画像状態検出手
段の検出結果に基づいて、前記文字画像格納手段に格納
された文字画像を正立させる画像補正手段とを備えてい
る。

【０００９】ここで、前記画像状態検出手段は、画像入
力手段から取り込んだ文字画像を回転および／または鏡
像反転させる画像変換手段と、文字の特徴情報を記憶し
た文字認識辞書を参照して前記画像変換手段により変換
した文字画像と類似する候補文字および類似度を表す認
識率を求める文字認識手段と、この文字認識手段の認識
結果に基づき原文字画像を正立させるに必要な回転角度
及びまたは原文字画像の鏡像反転の有無を検出する変換
方法検出手段と、を備えている。

【００１０】さらに、ここでは、画像入力手段としてス
キャナ、特にハンドヘルドスキャナが代表的に用いられ
る。スキャナで読み込まれるのは、通常複数の文字から
なる文字列を含む文書画像である。そこで、一旦、文書
画像を文書画像格納手段（メモリ）に格納し、その中か
ら特定の文字画像を１個以上切り出し文字画像格納手段
（メモリ）に格納するのが好ましい。

【００１１】ハンドヘルドスキャナの場合、そのスキャ
ン方向を本来の方向と異なる方向とすると、読み込んだ
画像が鏡像反転してまう。そこで、画像状態検出手段
は、文字画像格納手段に格納された文字画像が本来の文
字に対して鏡像反転しているか否かを検出する。そし
て、画像状態検出手段により文字画像が反転していると
判定された場合、画像補正手段は、前記文字画像格納手
段に格納された文字画像を正立させる。

【００１２】さらに、前記画像状態検出手段は、前記文
字画像格納手段に格納された文字画像が本来の文字に対
してどの程度回転した状態にあるか検出するようにし、
前記画像補正手段は、前記画像状態検出手段の検出結果
に従い、前記文字画像格納手段に格納された文字画像を
正立させるようにすると、鏡像反転と画像回転とを組み
合わせた補正を行うことができる。

【００１３】さらに、本発明は、画像入力手段から入力
された、複数の文字からなる文字列を含む文書画像を格
納する文書画像格納手段と、この画像入力手段から入力
された文書画像から１個以上の文字画像を切り出す文字
画像切り出し手段とを備え、前記文字画像格納手段は前
記文字画像切り出し手段により切り出された文字を格納
し、前記画像補正手段は、前記画像状態検出手段の検出
結果に従い、前記文書画像格納手段に格納された文書画
像を指定した特定方向に正立した画像に補正することを
提案する。

【００１４】さらに、本発明では、以下の構成を採用す
ることも可能である。

【００１５】前記変換方法検出手段の検出結果に従い、
前記画像変換手段の変換を制御する変換制御手段を有す
ることも可能である。すなわち、検出結果が、所期のも
のとは異なる場合などは、画像変換手段による変換を前
回とは異なるよう変化させ、これに基づき再度文字認識
を試みるようにすると、認識がより速やかに行われる。

【００１６】また、前記変換方法検出手段は、画像変換
手段で得た回転および／または鏡像反転をした全ての回
転と鏡像変換の組み合わせの中から、文字認識手段によ
る文字画像の認識率が最大になる時の文字画像の回転角
度および／または鏡像反転の有無を検出するようにする
ことができる。

【００１７】また、前記変換方法検出手段は、文字認識
手段による認識率が所定値以上のときの回転角度及び鏡
像反転の有無を検出するようにすることができる。

【００１８】前記変換制御手段は、回転と鏡像反転を特
定の順序で組み合わせて文字画像を変換するよう画像変
換手段を制御することも可能である。これは、よくスキ
ャンする方向を優先する場合である。

【００１９】また、前記変換制御手段は、複数角度の回
転と鏡像反転の全ての組み合わせの中から特定の組み合
わせについてのみ文字画像の変換を行うように文字変換
手段を制御することも可能である。これは特定の方向し
かスキャンしない場合を前提とする。

【００２０】さらに、前記変換制御手段は、過去に文字
画像を正立させた回転と鏡像反転の組み合わせの中から
組み合わせの頻度が高い順に組み合わせて文字画像を変
換するように画像変換手段を制御することが可能であ
る。これは、スキャンする癖を学習する趣旨である。

【００２１】また、前記変換制御手段は、画像を所定角
度毎（例えば０度、９０度、１８０度、２７０度）の回
転を行うとともに、各角度の回転と同時に鏡像反転する
ように前記画像変換手段を制御するようにしてもよい。

【００２２】前記画像変換手段で変換したすべての文字
画像の文字認識を文字認識手段により行った結果、認識
結果の内、特定条件を満たさない文字画像については、
前記画像補正手段による補正を行わないようにしてもよ
い。

【００２３】以上、各構成は、可能な限り組み合わせる
ことができる。

【００２４】

【発明の実施の形態】以下、本発明の実施の形態を図面
を参照して説明する。

【００２５】例えば、画像入力手段として手動でスキャ
ンするハンディタイプのスキャナは、図１〜に示し
たように上下左右どの方向からもスキャンできる。この
ため図１の以外の方向にスキャンした場合には、スキ
ャン方向により異なる角度及び鏡像反転した画像として
読込まれる。例えば紙面上に正立した「鏡」という文字
があった場合、これを図１の〜の各方向に走査する
と取り込まれる画像はそれぞれ図２の〜のようにな
る。

【００２６】本発明は、回転した文字や鏡像反転した文
字画像は文字認識率が低い点に着目し、スキャン画像か
ら文字画像を切出して認識率が最大になる回転角度及び
／または鏡像変換の有無を検出し、元のスキャン画像に
対しても同様の回転・鏡像変換を行うことで自動的に正
立した画像に補正する。

【００２７】図３は本発明の原理を示す第１の図であ
る。本発明では、ハンドヘルドスキャナで取込んだ文書
画像（図３(a)）から１個または複数個の文字画像（図
３(b)）を切出し、これらを正立した文字画像（図３
(c)）にするため回転角度および鏡像反転の有無を検出
する。検出結果に基づいて、切出した文字画像（図３
(b)）を正立した文字画像（図３(c)）に変換したのと同
一の変換を元のスキャン画像（図３(a)）に対して行う
ことで、回転・鏡像反転した画像を正立した画像（図３
(d)）に補正する。

【００２８】一般の据え置き型のディスプレイ（例えば
ＣＲＴディスプレイ）は画面の上下が固定であるため、
常に正立方向も固定である。しかし携帯型情報処理装置
のディスプレイでは、装置の使い方や手に持つ方向によ
って縦に表示したり横に表示したりする場合が考えられ
る。このような場合、携帯型情報処理装置に取込んだ画
像を正立させる際に、あらかじめ指示あるいは設定して
おいた方向に対して正立させるようにする。

【００２９】こうすることにより、（図３(a)）のよう
に横表示タイプの携帯型情報処理装置では横にしたとき
に見る方向に正立し、（図３(b)）のように縦表示タイ
プの携帯型情報処理装置では縦にした時に見る方向に正
立して表示でき、常に見る方向に対して正立した画像に
補正して表示することができる。

【００３０】文書画像から切出した文字画像の回転角度
および鏡像反転の有無の検出を、文字認識を利用して、
以下のように行う。

【００３１】切出した文字画像を９０度、１８０度、２
７０度回転した画像、さらにそれぞれを鏡像反転した画
像を生成する。例えば図５ではスキャン画像から切出し
た切出し文字画像（ａ）を回転・鏡像反転して〜の
画像を生成する。生成した８種類の画像それぞれを文字
認識し、認識した結果最も認識度の高い、または認識の
確からしさが最大の画像の回転角度および鏡像変換の有
無を検出する。図５では認識率が最も高いのは画像
で、これは元の切出し文字画像（ａ）を鏡像反転したの
ち左に９０度回転した画像であることが検出される。検
出した回転と鏡像変換を元のスキャン画像に対して行う
ことで正立した画像に補正できる。

【００３２】切出した文字画像を回転と鏡像変換を組み
合わせて順次文字認識する際に、認識度がある一定の確
度以上であった場合には認識されたと判断して残りの変
換をスキップする。

【００３３】図５を例に説明すると、例えば正しく認識
されたと判別する認識度を０．９に設定すると画像か
ら順に文字認識していき画像を認識した時点で認識率
が０．９を超えることが検出される。

【００３４】ここで、画像が正立画像であると判断し
て文字認識処理を終了し、、の認識をスキップする
ことで、全ての方向について文字認識するよりも変換・
認識処理回数が少なくなり、処理時間が短縮される。

【００３５】手動走査でスキャンする場合、ある特定方
向に走査するケース、例えば文書を読む方向（縦書き文
書なら縦方向、横書き文書なら横方向）に走査するケー
スが多いと考えられる。スキャンは図１のように行える
が、図１のやのスキャン方向は他の方向へのスキャ
ンよりも高頻度に行われる可能性がある。

【００３６】そこで、複数回のスキャンからそのスキャ
ン方向の頻度による優先順位をあらかじめ決めておき、
優先順位の高い順、すなわち頻度の高いケース順に、該
ケースでスキャンした画像を正立させる回転と鏡像変換
を切出した文字画像に適用する。これにより、早い段階
で切出し文字画像の回転角度及び鏡像回転の有無を検出
することができる。

【００３７】あるいは、スキャン頻度の高い特定のケー
スについてのみ、切出した文字画像に対して回転・鏡像
変換を行うことで、処理を少なくできる。

【００３８】またスキャン方向は個人の癖などにも左右
させる。そこで、スキャンが行われるごとにスキャン方
向のヒストグラムを累積・更新し、その頻度からダイナ
ミックに回転と鏡像変換順序を決定することで、オペレ
ータの相違による癖を吸収して補正を最適化することが
できる。

【００３９】以下、図面に基づいて、本発明の実施例に
ついてより詳細に説明する。

【００４０】図６は本発明の実施例を示す図であり、ス
キャンした画像を格納する画像格納部１０１，スキャン
画像から１文字単位に文字画像を切出す文字画像切出し
部１０２，切出した文字画像格納する文字画像格納部１
０３，文字画像を正立するための回転角度及び鏡像変換
の有無を検出する検出部１０４，指定された回転角度及
び鏡像変換の有無に基づき、スキャン画像を正立方向に
正立するように補正を行う画像補正部１０５により構成
する。

【００４１】本実施例による文書画像表示装置は以下の
ように動作する。ハンドヘルドスキャナによりスキャン
して取り込まれた画像は、画像上のノイズを除去するゴ
ミ取り、傾き補正など必要に応じて前処理を行った後、
スキャン画像として画像格納部１０１に格納する。

【００４２】文字画像切出し部１０２は、画像格納部１
０１に格納されているスキャン画像から、文字画像と判
断した部分の画像を１文字単位に１個以上切出して、文
字画像格納部１０３に格納する。

【００４３】変換方法検出部１０４では、切出した各文
字画像を、正立した文字画像に補正するための回転角度
及び鏡像反転の有無を検出する。

【００４４】画像補正部１０５は画像格納部１０１に検
出されているスキャン画像を、変換方法検出部１０４で
検出した結果に基づき正立した画像に補正して出力す
る。このとき変換方法検出部１０４の検出結果に加え、
外部より正立方向が指示される場合には、指示を受けた
正立方向に正立するようにスキャン画像を補正して出力
する。

【００４５】以上の動作により、スキャン画像が正立方
向に自動補正される。

【００４６】図７は本発明の変換方法検出部１０４の実
施例であり、切出した文字画像を指示に応じて回転・鏡
像変換する回転・鏡像変換部１０６、変換した文字画像
を文字認識して、例えば認識率等のように認識の確から
しさを出力する文字認識部１０７、文字認識の結果に基
づいて回転・鏡像変換を制御して最も認識率の高い回転
角度及び鏡像変換の有無を検出する変更制御手段１０８
により構成する。なお、ここでは文字認識部１０７が認
識の確からしさを認識確度として出力する場合を例に説
明する。

【００４７】スキャン画像から切出した文字画像は、回
転・鏡像変換部１０６に入力される。変換制御部１０８
は回転・鏡像変換部１０６を制御して、入力した文字画
像を図５の〜のように９０度単位に四方向に回転し
た画像、およびそれらを鏡像反転した画像を順番に生成
させる。文字認識部１０７は変換した文字画像を文字認
識し、認識確度を変換制御部１０８に通知する。

【００４８】変換制御部１０８は文字認識部１０７から
通知を受けた認識確度に基づき、回転・鏡像変換部１０
６に指示した全ての変換方法の中から、認識確度が最大
になる回転角度と鏡像反転の有無を検出して変換方法と
して出力する。例えば図５では、変換した画像〜の
中で画像が認識確度が高いことが検出され、変換方法
として「鏡像反転＋左９０度回転」が検出される。

【００４９】このとき変換制御部１０８において、認識
確度が指定した閾値以上であったらその時点の回転角度
と鏡像反転の有無を出力して変換方法検出の処理を終了
するようにしてもよい。例えば図５で閾値が０．９以上
に設定され、からまで順番に処理を行う場合には、
画像が得られた時点で処理が終了することとなり、
、の処理はスキップされる。

【００５０】また、変換制御部１０６にあらかじめ変換
する順序を優先順位として与えておき、優先順位に従っ
て回転及び鏡像反転を制御してもよい。例えば図５にお
いて優先順位が、、、、、、、であっ
たとすると、３回目の変換と文字認識を行った時点で正
立した画像が得られ、以降の変換をスキップすること
ができる。

【００５１】あるいは、変換制御部１０６の内部にこれ
までに検出した変換方法のヒストグラムを蓄積してお
き、頻度の高い順番に変換を行うよう回転・鏡像変換部
１０６を制御する。このように、検出した変換方法をフ
ィードバックすることにより、スキャンを行うオペレー
タの癖など動的条件を反映して変換方法の検出を効率よ
く行える。例えば図１の方向へスキャンした場合スキ
ャンした文字画像は図５（ａ）になり、これを「鏡像変
換＋左９０度回転」のヒストグラムを更新して増加させ
る。図１の方向へのスキャンを繰り返し行うと「鏡像
変換＋左９０度回転」の頻度が高くなり、頻度に応じて
優先的に適用されるようになる。

【００５２】以上の動作により、スキャン画像から切出
した文字画像の回転角度と鏡像反転の有無が検出され
る。

【００５３】このように、スキャンした画像中の文字画
像の回転角度と鏡像反転の有無を検出し、スキャン画像
に対して検出したのと同じ回転・鏡像変換を行うこと
で、上下左右いずれの方向からスキャンした画像であっ
ても自動的に正立した画像に補正することができる。 ＜文字認識の方法＞以上が、実施例の説明であるが、本
件は、文字認識の手法を応用している。そこで、本発明
で利用する文字認識の一例をここに簡単に説明してお
く。

【００５４】以下は、電子情報通信学会の「信学技報
ＴＥＣＨＮＩＣＡＬ ＲＥＰＯＲＴＯＦ ＩＥＩＣＥ
ＰＲＭＵ−２５（１９９７−０３）鎌田 洋、他」に公
表された方式である。

【００５５】この方式は、少量の圧縮した文字特徴によ
り高速に認識結果候補文字を求めた後に、大量の文字特
徴により高精度に認識するものであり、文字切り出し処
理と、文字認識処理からなる。

【００５６】文字切り出し処理は、テキスト文書を内容
とする２値画像から、１文字分の画像を切り出す処理で
ある。本処理は、画素から順次文字を構成する要素を統
合するボトムアップ処理とし、以下の手順によって処理
される。

【００５７】まず、文字構成の基本要素として、黒画素
の連結領域を抽出する。次に外接矩形が重なる複数の連
結領域の外接矩形を求め、この位置関係を解析すること
で、行の方向を判定し、位置を抽出する行の抽出を行
う。さらに行に直交する方向に重なるものを１グループ
とし、その外接矩形を求める行直交方向矩形統合を行
い、この外接矩形を行方向に統合して、１文字として認
識し、統合部分の外接矩形を文字外接矩形とする。

【００５８】この文字外接矩形を基準とし、行内で隣接
する文字外接矩形の行方向位置から仮想文字枠の幅位置
を決定する。

【００５９】上述した文字切り出し処理の主要な処理に
加え、本方式では文字以外のノイズ等の除去や接触した
複数の文字の分離も実現している。

【００６０】次いで、文字認識処理は、文字切り出し処
理から切り出された１文字分の画像を入力して文字を認
識する処理であり、以下の手順で処理される。

【００６１】正規化 本手順では、文字切り出し処理で仮想文字枠により切り
出された１文字分の画像を縦４８画素×横４８画素の正
規化現象にする。この１文字分の画像の縦若しくは横が
４８画素を越える場合は均等に縮小し、正規化画像の３
／４の場合は最大辺が仮想文字枠に収まるように拡大す
る。

【００６２】特徴抽出 正規化された文字画像から、文字特徴を抽出する。この
方式においては、文字領域を輪郭点数が一定となるよう
に可変分割した領域における輪郭変更量を、可変分割輪
郭方向特徴としている。

【００６３】すなわち、輪郭点を抽出後、文字外接矩形
を輪郭点数が均等になるように部分領域に分割し、部分
矩形領域において、領域矩形の長辺方向に関する文字輪
郭の方向特徴量を求める。最後に部分矩形領域における
特徴量を、領域矩形の短辺方向に関して、隣接する部分
矩形領域間でぼかし、最終的な文字特徴量とする。

【００６４】特徴圧縮 本手順では、特徴抽出処理で抽出した文字特徴を、少数
の次元からなる圧縮特徴に圧縮する。特徴圧縮の処理
は、文字特徴の分布を分離しやすい少数の初期座標軸を
求める初期圧縮特徴座標軸の抽出の処理と、初期座標軸
を直交化した座標軸に関する原特徴の座標を圧縮特徴に
する圧縮特徴の算出の処理の２段階で処理される。

【００６５】大分類 本手順では、特徴圧縮処理で求めた圧縮特徴を用いて、
認識候補文字を求める。大分類の処理は、精度保証型高
速分類と、距離計算による大分類の処理を併用してい
る。前者は詳細分類の文字特徴を大分類特徴空間に射影
し、射影される可能性のある文字種を候補文字テーブル
として保持した後、候補文字を検索する処理であるが、
本方式においては、分割領域で射影する代わりに、直接
に詳細分類特徴を大分類特徴空間に射影し、認識辞書作
成のための文字パターンの詳細分類用文字特徴を用い、
射影した分布にマージンを加えて大きくしているのが特
徴である。

【００６６】後者は、前者による認識結果候補文字数が
７０を越える場合にのみ使用される。

【００６７】詳細識別 本手順では、大分類処理で出力された認識候補文字につ
いて、入力文字と認識辞書の原文字特徴との距離計算を
行い、距離のソーティング後、最小の距離の認識候補文
字を認識結果とする。

【００６８】＜ハンドヘルドスキャナの例＞画像入力手
段としてのハンドヘルドスキャナとしては、図示しない
が、紙などの被読取り媒体上の画像を光学的に読取りア
ナログ電気信号に変換する画像読取り部と、画像読取り
部の読取り媒体上の移動量を計測する移動量計測部と、
画像読取り部から出力されるアナログ画像信号を処理す
る画像信号処理部と、移動量計測部の移動量により画像
読取り部の駆動制御を行なう読取り制御部と、外部の情
報処理装置へ読取りデータの出力を行なうインターフェ
ィス部とを備えている。

【００６９】画像読取り部はラインセンサと光源（ＬＥ
Ｄもしくは冷陰極管）とレンズにより読取り媒体と密着
方式の画像読取りを行う。読取り中は光源を点灯し、ラ
インセンサを起動信号で読取り開始させることで、セン
サ上の各位置での反射光量を電気信号に変換し、アナロ
グ信号として出力する。

【００７０】移動量計測部はエンコーダにより読取り媒
体上の移動量をパルス信号に変換して出力する。画像信
号処理部は画像読取り部からの画像信号をＡ／Ｄ変換回
路によりデジタル化し、さらに必要に応じて２値化など
の画像処理を行う。

【００７１】読取り制御部は全体の読取り制御と情報処
理装置へのデータの転送を行う。ラインセンサへの起動
信号を読取り期間中は常に発生し、画像処理済みのライ
ンデータを内部のバッファに保存しておく。移動量計測
部からの移動パルスを検出した場合、対象ラインのバッ
ファに保存してある画像処理済みのラインデータを情報
処理装置へ割り込みで上げ、データ転送を行う。移動パ
ルスがラインセンサの１駆動周期内で２回以上検出した
場合には、スキャナの読込み性能以上にスキャナの移動
が発生したので１回分のみのデータを転送する。移動パ
ルスがラインセンサの１駆動周期内に検出されない場合
には、スキャナが移動していないので、バッファに保存
してある画像処理済みのラインデータを破棄して次のラ
インのデータの保持を行う。

【００７２】インターフェイス部は情報処理装置への電
気的インターフェースを行い、割り込みやデータアクセ
スを行う。情報処理装置に転送されたデータは情報処理
装置の表示部に表示され、読取り中の画像データを確認
することができる。

【００７３】情報処理装置へのデータ転送は１ライン毎
に行っているが、読取り制御部内のバッファ容量を大き
くすることで、複数ラインデータをまとめて情報処理装
置にデータ転送するように構成することも可能である。 ＜他の処理例＞次に、文字画像から検出した回転角度と
鏡像反転の有無に対応して、文書画像を正立像にする変
換例を説明する。

【００７４】画像補正部１０５は、変換方法検出部１０
４で検出した方向検出結果、すなわち文字画像の回転角
度と鏡像反転の有無、および外部からの正立方向指示に
基づいて、文書画像を正立像に変換する。以下、正立像
への変換方法および実現手段を説明する。

【００７５】まず、方向検出結果および正立方向指示
と、正立像への変換方法の対応関係について説明する。
正立させる方向と画像を表示するディスプレイとの対応
関係を、図８に示すようにディスプレイの向きに対して
それぞれ正立方向１〜４と定義する。文字画像の回転角
度と鏡像反転の有無、および外部から指示した正立方向
１〜４より、文書画像を正立像に変換するための変換方
法が図９のように一意に決まる。図９中の記号Ａ〜Ｇは
それぞれ変換方法を表し、各変換は図１０〜図１６のよ
うになる。変換Ａ〜Ｇは、入力画像に対する以下の変換
と等価である。 Ａ：９０度回転\ Ｂ：１８０度回転 Ｃ：２７０度回転 Ｄ：左右鏡像反転 Ｅ：９０度回転＋左右鏡像反転 Ｆ：１８０度回転＋左右鏡像反転 Ｇ：２７０度回転＋左右鏡像反転 なお、入力画像が正立方向と同一方向の場合には変換は
不要であり、変換処理は行なわない。

【００７６】次に、図１７に示した画像補正部１０５の
実施例により、スキャン入力した文書画像の正立方向へ
の変換方法について説明する。

【００７７】画像補正部１０５は、走査アドレス制御部
２０１、横走査アドレス発生部２０２、縦走査アドレス
発生部２０３、画素順序変換部２０４により構成する。

【００７８】走査アドレス制御部２０１は、変換方法検
出部１０４の検出結果と正立方向指示に基づいて文書画
像を正立させる変換方法を決定し、この変換を行なわせ
るように横走査アドレス発生部２０２および縦走査アド
レス発生部２０３を制御する。横走査アドレス発生部２
０２は、走査アドレス制御部２０１の指示に応じて、画
像を右から左、あるいは左から右に画素単位で走査する
走査アドレスを発生する。縦走査アドレス発生部２０３
は、走査アドレス制御部２０１の指示に応じて、画像を
上から下、あるいは下から上に画素単位で走査する走査
アドレスを発生する。画素順序変換部２０４は、横走査
アドレス発生部２０２および縦走査アドレス発生部２０
３で発生した走査アドレスに従って入力画像を画素単位
に走査し、画素順序を変換した画像を出力する。

【００７９】具体例を使って、画像補正部１０５の実施
例の動作を説明する。一例として、変換方法検出部１０
４により、「回転角度＝９０度、鏡像反転あり」と検出
され、正立方向として「正立方向３」が指示された場合
について説明する。

【００８０】本例の場合、走査アドレス制御部２０１
は、図９の対応関係から正立像への変換方法として「変
換方法Ｇ」（図１６）を選択する。そして、走査アドレ
ス制御部２０１は、図１６（ａ）の入力画像の外側に矢
印で示したように、横走査アドレス発生部２０２に対し
て右から左方向の走査アドレス発生を指示し、同時に縦
走査アドレス発生部２０３に対して下から上方向の走査
アドレス発生を指示する。このとき、走査アドレス制御
部２０１は、図１６（ａ）の入力画像の内側に矢印で示
した走査順序のように、全画素をくまなく走査するよう
に、アドレス発生のタイミングを制御する。

【００８１】横走査アドレス発生部２０２は、走査アド
レス制御部２０１の指示に従い、画像を右から左方向に
画素単に走査するアドレスを発生する。同様に、縦走査
アドレス発生部２０３も、走査アドレス制御部２０１の
指示に従い、下から上方向に画素単位に走査するアドレ
スを発生する。画素順序変換部２０４は、図９（ａ）の
入力画像から、横走査アドレス発生部２０２および縦走
査アドレス発生部２０３で発生した走査アドレスで示さ
れる位置の画素を読み出して出力する。

【００８２】以上の動作により、図９（ａ）の入力画像
を図９（ｂ）の画像に変換する。入力画像と変換画像の
各角の対応関係を〜で示してある。他の検出方向お
よび正立方向の組み合わせについても、同様にして文書
画像を正立像に変換できる。以上説明したように、本発
明により、文字画像から検出した回転角度と鏡像反転の
有無、および正立方向指示に基づいて入力文書画像を正
立像に変換できる。

【００８３】

【発明の効果】以上説明したように、本発明の文書画像
補正装置によれば、スキャン画像から文字画像を切出し
てその回転角度及び鏡像反転の内、少なくとも鏡像反転
の有無を検出し、検出結果に基づきスキャン画像を正立
した画像に自動補正できる。このためハンドヘルドスキ
ャナで上下左右いずれの方向からスキャンしても常に正
立した画像が得られ、文書画像補正装置の操作性及びユ
ーザインタフェースの改善に寄与するところが大きい。

【図面の簡単な説明】

【図１】ハンドヘルドスキャナの走査方向を示す図

【図２】各走査方向に対するスキャン画像の例

【図３】正立までの手順を示す原理図

【図４】指定方向への正立を示す図

【図５】本発明の手順を示す第２の図

【図６】実施例の構成ブロック図

【図７】変換方法検出部の構成ブロック図

【図８】ディスプレイと正立させる方向の対応関係を示
す図

【図９】文字画像の方向と正立像への変換方法の対応関
係を示した図

【図１０】画像変換例１を示す図で、（ａ）は入力画
像、（ｂ）は変換後の画像を示す。

【図１１】画像変換例２を示す図で、（ａ）は入力画
像、（ｂ）は変換後の画像を示す。

【図１２】画像変換例３を示す図で、（ａ）は入力画
像、（ｂ）は変換後の画像を示す。

【図１３】画像変換例４を示す図で、（ａ）は入力画
像、（ｂ）は変換後の画像を示す。

【図１４】画像変換例５を示す図で、（ａ）は入力画
像、（ｂ）は変換後の画像を示す。

【図１５】画像変換例６を示す図で、（ａ）は入力画
像、（ｂ）は変換後の画像を示す。

【図１６】画像変換例７を示す図で、（ａ）は入力画
像、（ｂ）は変換後の画像を示す。

【図１７】画像補正部の詳細を示した構成ブロック図

【図１８】従来例を示す図

【符号の説明】

１０１・・文書画像格納部（文書画像格納手段） １０２・・文字画像切出し部 １０３・・文字画像格納部（文字画像格納手段） １０４・・検出部（画像状態検出手段） １０５・・画像補正部（画像補正手段） １０６・・回転・鏡像変換部（画像変換手段） １０７・・文字認識部（文字認識手段） １０８・・変更制御手段 ２０１・・走査アドレス制御部 ２０２・・横走査アドレス発生部 ２０３・・縦走査アドレス発生部 ２０４・・画素順序変換部

Claims (11)

【特許請求の範囲】
1. 【請求項１】 画像入力手段から入力された文字画像を
   文字画像格納手段に格納し、この文字画像格納手段に格
   納された文字画像が本来の文字に対して鏡像反転してい
   るか否か及び／またはどの程度回転しているかを検出す
   る画像状態検出装置であり、 画像入力手段から取り込んだ文字画像を回転および／ま
   たは鏡像反転させる画像変換手段と、 文字の特徴情報を記憶した文字認識辞書を参照して前記
   画像変換手段により変換した文字画像と類似する候補文
   字および類似度を表す認識率を求める文字認識手段と、 この文字認識手段の認識結果に基づき原文字画像を正立
   させるに必要な回転角度及びまたは原文字画像の鏡像反
   転の有無を検出する変換方法検出手段と、 を備えたことを特徴とする画像状態検出装置。
2. 【請求項２】 画像入力手段から入力された文字画像を
   格納する文字画像格納手段と、 この文字画像格納手段に格納された文字画像が本来の文
   字に対して鏡像反転しているか否か及び／またはどの程
   度回転しているかを検出する画像状態検出手段と、 この画像状態検出手段の検出結果に基づいて、前記文字
   画像格納手段に格納された文字画像を正立させる画像補
   正手段とを備え、 前記画像状態検出手段は、 画像入力手段から取り込んだ文字画像を回転および／ま
   たは鏡像反転させる画像変換手段と、 文字の特徴情報を記憶した文字認識辞書を参照して前記
   画像変換手段により変換した文字画像と類似する候補文
   字および類似度を表す認識率を求める文字認識手段と、 この文字認識手段の認識結果に基づき原文字画像を正立
   させるに必要な回転角度及びまたは原文字画像の鏡像反
   転の有無を検出する変換方法検出手段と、 を備えたことを特徴とする文書画像補正装置。
3. 【請求項３】 画像入力手段から入力された、複数の文
   字からなる文字列を含む文書画像を格納する文書画像格
   納手段と、この画像入力手段から入力された文書画像か
   ら１個以上の文字画像を切り出す文字画像切り出し手段
   とを備え、前記文字画像格納手段は前記文字画像切り出
   し手段により切り出された文字を格納し、前記画像補正
   手段は、前記画像状態検出手段の検出結果に従い、前記
   文書画像格納手段に格納された文書画像を指定した特定
   方向に正立した画像に補正することを特徴とする請求項
   ２記載の文書画像補正装置。
4. 【請求項４】 前記変換方法検出手段の検出結果に従
   い、前記画像変換手段の変換を制御する変換制御手段を
   有することを特徴とする請求項２記載の文書画像補正装
   置。
5. 【請求項５】 前記変換方法検出手段は、画像変換手段
   で得た回転および／または鏡像反転をした全ての回転と
   鏡像変換の組み合わせの中から、文字認識手段による文
   字画像の認識率が最大になる時の文字画像の回転角度お
   よび／または鏡像反転の有無を検出することを特徴とす
   る請求項１または２記載の装置。
6. 【請求項６】 前記変換方法検出手段は、文字認識手段
   による認識率が所定値以上のときの回転角度及び鏡像反
   転の有無を検出することを特徴とする請求項１または２
   記載の装置。
7. 【請求項７】 前記変換制御手段は、回転と鏡像反転を
   特定の順序で組み合わせて文字画像を変換するよう画像
   変換手段を制御することを特徴とする請求項２記載の文
   書画像補正装置。
8. 【請求項８】 前記変換制御手段は、複数角度の回転と
   鏡像反転の全ての組み合わせの中から特定の組み合わせ
   についてのみ文字画像の変換を行うように文字変換手段
   を制御することを特徴とする請求項２記載の文書画像補
   正装置。
9. 【請求項９】前記変換制御手段は、過去に文字画像を正
   立させた回転と鏡像反転の組み合わせの中から組み合わ
   せの頻度が高い順に組み合わせて文字画像を変換するよ
   うに画像変換手段を制御することを特徴とする請求項２
   記載の文書画像補正装置。
10. 【請求項１０】前記変換制御手段は、画像を所定角度毎
    の回転を行うとともに、各角度の回転と同時に鏡像反転
    するように前記画像変換手段を制御することを特徴とす
    る請求項２記載の文書画像補正装置。
11. 【請求項１１】 前記画像変換手段で変換したすべての
    文字画像の文字認識を文字認識手段により行った結果、
    認識結果の内、特定条件を満たさない文字画像について
    は、前記画像補正手段による補正を行わないことを特徴
    とする請求項１記載の文書画像補正装置。