JP4013060B2 - 画像補正方法および画像補正装置 - Google Patents
画像補正方法および画像補正装置 Download PDFInfo
- Publication number
- JP4013060B2 JP4013060B2 JP2003012282A JP2003012282A JP4013060B2 JP 4013060 B2 JP4013060 B2 JP 4013060B2 JP 2003012282 A JP2003012282 A JP 2003012282A JP 2003012282 A JP2003012282 A JP 2003012282A JP 4013060 B2 JP4013060 B2 JP 4013060B2
- Authority
- JP
- Japan
- Prior art keywords
- point
- information
- image
- ideal
- distortion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003702 image correction Methods 0.000 title claims description 57
- 238000000034 method Methods 0.000 title claims description 42
- 239000011159 matrix material Substances 0.000 claims description 14
- 238000012937 correction Methods 0.000 claims description 10
- 230000009466 transformation Effects 0.000 claims description 8
- 238000012545 processing Methods 0.000 description 19
- 239000007787 solid Substances 0.000 description 15
- 238000010586 diagram Methods 0.000 description 11
- 238000000605 extraction Methods 0.000 description 9
- 230000000694 effects Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000008602 contraction Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Landscapes
- Editing Of Facsimile Originals (AREA)
- Facsimile Image Signal Circuits (AREA)
- Image Processing (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、紙面に罫線や文字が記入された帳票の画像データを読み取る画像補正装置及び画像補正方法に関し、特に、折れ曲がった帳票や反った帳票を読み取ったときに生じる歪みを含む画像を補正する画像補正装置及び画像補正方法に関する。
【０００２】
【従来の技術】
近年、卓上に置かれた帳票を該帳票から離れた位置に該帳票に対向するように設置された非接触型スキャナにより画像データを撮影し、文字認識やデータとして保存することが多く行われるようになったが、帳票自体が変形（折れ曲り、反りなど）している場合には、帳票をできるだけ平面から浮かないようにするために読み取り時に手で押さえたりすると、撮影領域に指が入る可能性があるため、帳票を平面から浮かないようにすることができず、読み取られた画像に複雑な歪みが生じるという問題がある。
【０００３】
上記のように折れ曲がった帳票や反った帳票など空間的に曲がった文書を非接触型スキャナによって読み取ったときに生ずる画像の歪みを補正する従来の技術としては、例えば、読み取ったブック原稿（製本された原稿）のエッジ位置と原稿面の高さを検出してブック原稿の形状を推定し、推定した形状面に基づいて画像を変倍して歪みを補正する技術が開示されている（例えば、特許文献１参照。）。また、焦点位置などの読み取り条件を変更して２枚の画像を読み取ることで、それら画像間から作成される分散画像より変位を解析し、その情報を使ってカメラから帳票までの距離を算出することにより、帳票の３次元形状を復元し、さらにこれを２次元平面に展開して歪みを補正する技術が開示されている（例えば、特許文献２参照。）。
【０００４】
また、ある領域に含まれる全ての格子点情報を用いて格子点情報の実格子点が理想格子点に変換されるような変換行列Ｈのパラメータｍ1〜ｍ8の算出方法が開示されている（例えば、非特許文献１参照。）。
【０００５】
【特許文献１】
特開平６−１６４８５２号公報
【特許文献２】
特開２０００−１１５５１０号公報
【非特許文献１】
長尾著、「画像認識論」、近代科学社、ｐ．２４−２７
【０００６】
【発明が解決しようとする課題】
しかし、上記特許文献１の技術内容によれば、原稿面の高さを測定する手段を必要とするため（３次元形状を復元）、専用の装置によらないと画像の歪み補正が行えないといった問題がある。また、処理対象が製本された原稿であり、それに特化した技術であるため、１枚〜数枚重ねの文書への適用は難しい。
【０００７】
また上記特許文献２の技術内容によれば、焦点位置などの読み取り条件を変更して２枚以上の画像を読み取り、それら画像間から作成される分散画像より画像間の偏差の大きい部分を特徴点（この特徴点を帳票折れや帳票浮きなどによる端部）として抽出し、この特徴点における距離を算出することにより３次元形状の復元を行っている。しかし、帳票折れや帳票浮きなどによる変形が被写界深度内に収まるような場合は複数の画像の焦点が合ってしまい、画像間の偏差が小さくなるなり、帳票折れや帳票浮きなどによる端部が特徴点として抽出されない場合があるため正確な３次元形状の復元が行えず、画像の歪み補正ができないという問題がある。
【０００８】
本発明の目的は、１枚〜数枚重ねの帳票などの文書に対して３次元形状を復元すること無しに、撮影された帳票イメージの形状から空間的に曲がった文書を撮影したときに生ずる画像の歪みを正確に補正し、文字認識において切り出し位置のずれが生じない良好な画像を得ることのできる画像補正装置及び画像補正方法を提供することにある。
【０００９】
【課題を解決するための手段】
本発明の画像補正装置は、卓上に置かれて折れ曲がったり反ったりしている空間的な曲がりを有する帳票を帳票から離れた位置に帳票に対向するように設置された非接触型スキャナで読み取った画像に含まれる歪みを補正する画像補正装置であって、処理対象の帳票を帳票イメージとして入力するための帳票イメージ入力部と、入力された帳票イメージを保持する画像保存メモリと、帳票の寸法をあらかじめ保持した帳票情報保存メモリと、帳票上の正確な罫線（理想罫線）座標をあらかじめ保持した理想罫線保存メモリと、画像保存メモリ内の帳票イメージから帳票の４隅の点であるコーナー点（実コーナー点）座標を検出するとともに、帳票情報保存メモリ内の前記帳票の寸法からもコーナー点（理想コーナー点）座標を算出するコーナー点情報生成部と、帳票イメージから実コーナー点座標を手掛りとして複数のエッジ点（実エッジ点）座標を検出するとともに、実エッジ点に対応するエッジ点（理想エッジ点）座標を理想コーナー点座標から算出しエッジ点情報を生成するエッジ点情報生成部と、帳票イメージから罫線（実罫線）座標を検出するとともに、罫線を理想罫線保存メモリに保持された罫線（理想罫線）座標と対応付ける罫線情報生成部と、実コーナー点と実エッジ点と実罫線とを用いて算出される格子点（実格子点）座標と理想コーナー点と理想エッジ点と理想罫線とを用いて算出される格子点（理想格子点）座標が対となった格子点情報を生成する格子点情報生成部と、エッジ点情報を用いて歪みの状態を判定する歪みパターン判定部と、格子点情報と歪みの状態の判定の結果とを用いて変換行列を生成し、画像に含まれる歪みを補正するイメージ補正部とを備えている。
【００１０】
従って、本発明の画像補正装置により歪みのない補正画像を生成する。これにより、文字読み取り装置において、撮影された画像が帳票浮きや帳票折れのために歪みが生じ読み取りが難しかった場合でも読み取りが可能になる。
【００１１】
また、歪みパターン判定部は、画像保存メモリに格納されている帳票イメージとエッジ点情報生成部によって生成されたエッジ点情報とを用いて曲率を算出し、歪みパターン情報を生成し、歪みパターン情報は、「帳票歪み無し」と、「帳票浮きによる歪み有り」と、「帳票折れによる歪み有り」との３つのパターンを表すフラグと曲率が最大となるエッジ点情報とから構成され、歪みパターン情報は、イメージ補正部に出力され、イメージ補正部は、歪みパターン判定部の出力を受けて、歪み補正を行うか否かを決定してもよい。
【００１２】
従って、歪みの有無を検証し、補正する必要があるときのみ画像補正を行うため、運用時の処理時間の軽減が可能となる。
【００１３】
また、イメージ補正部は、格子点情報を複数の領域に分割し、歪みパターン情報のフラグが「帳票折れによる歪み有り」の場合、歪みパターン情報に登録されているエッジ点情報に対応する格子点情報が、領域と領域との境界となる格子点情報（境界格子点情報）になるように変更し、変更方法は、境界格子点情報にしたい格子点情報と今ある境界格子点情報の位置をそれぞれ比較し、最も近い今ある境界格子点情報を算出することにより変更してもよい。
【００１４】
従って、格子点情報の領域分割において境界位置を変更することにより、歪みが大きい場合でも精度良い補正が可能となる。
【００１５】
本発明の画像補正方法は、卓上に置かれて折れ曲がったり反ったりしている空間的な曲がりを有する帳票を帳票から離れた位置に帳票に対向するように設置された非接触型スキャナで読み取った画像に含まれる歪みを補正する画像補正方法であって、帳票イメージ入力部により、処理対象の帳票を帳票イメージとして入力し、入力された帳票イメージを画像保存メモリに保持し、帳票の寸法を帳票情報保存メモリにあらかじめ保持し、帳票上の正確な罫線（理想罫線）座標を理想罫線保存メモリにあらかじめ保持し、コーナー点情報生成部により、画像保存メモリ内の帳票イメージから帳票の４隅の点であるコーナー点（実コーナー点）座標を検出するとともに、帳票情報保存メモリ内の帳票の寸法からもコーナー点（理想コーナー点）座標を算出し、エッジ点情報生成部により、帳票イメージから実コーナー点座標を手掛りとして複数のエッジ点（実エッジ点）座標を検出するとともに、実エッジ点に対応するエッジ点（理想エッジ点）座標を理想コーナー点座標から算出しエッジ点情報を生成し、罫線情報生成部により、帳票イメージから罫線（実罫線）座標を検出するとともに、罫線を理想罫線保存メモリに保持された罫線（理想罫線）座標と対応付け、格子点情報生成部により、実コーナー点と実エッジ点と実罫線とを用いて算出される格子点（実格子点）座標と理想コーナー点と理想エッジ点と理想罫線とを用いて算出される格子点（理想格子点）座標が対となった格子点情報を生成し、歪みパターン判定部により、エッジ点情報を用いて歪みの状態を判定し、イメージ補正部により、格子点情報と歪みの状態の判定の結果とを用いて変換行列を生成し、画像に含まれる歪みを補正する。
【００１６】
また、歪みパターン判定部は、画像保存メモリに格納されている帳票イメージとエッジ点情報生成部によって生成されたエッジ点情報とを用いて曲率を算出し、歪みパターン情報を生成し、歪みパターン情報は、「帳票歪み無し」と、「帳票浮きによる歪み有り」と、「帳票折れによる歪み有り」との３つのパターンを表すフラグと曲率が最大となるエッジ点情報とから構成され、歪みパターン情報は、イメージ補正部に出力され、イメージ補正部は、歪みパターン判定部の出力を受けて、歪み補正を行うか否かを決定してもよい。
【００１７】
また、イメージ補正部は、格子点情報を複数の領域に分割し、歪みパターン情報のフラグが「帳票折れによる歪み有り」の場合、歪みパターン情報に登録されているエッジ点情報に対応する格子点情報が、領域と領域との境界となる格子点情報（境界格子点情報）になるように変更し、変更方法は、境界格子点情報にしたい格子点情報と今ある境界格子点情報の位置をそれぞれ比較し、最も近い今ある境界格子点情報を算出することにより変更してもよい。
【００１８】
【発明の実施の形態】
（発明の第１の実施の形態）
次に、本発明の第１の実施の形態について図１を参照して説明する。本実施の形態は、非接触型スキャナ等の帳票イメージ入力部１０１と、帳票イメージ入力部１０１で得られた帳票を受け取って格納する画像保存メモリ１０７と、あらかじめ帳票登録時に測定していた帳票の幅と高さ（帳票情報）が格納されている帳票情報保存メモリ１０８と、あらかじめ帳票登録時に測定していた罫線（理想罫線）の始点・終点座標が格納されている理想罫線保存メモリ１０９と、画像保存メモリ１０７に格納されている帳票イメージ内から帳票の左上、右上、左下、右下の４つのコーナー点（実コーナー点）座標を抽出し、それぞれの実コーナー点に対応する本来存在すべき理想的なコーナー点（理想コーナー点）座標を帳票情報保存メモリ１０８に格納されている帳票情報から算出し、実コーナー点と理想コーナー点が対となったコーナー点情報を生成するコーナー点情報生成部１０２と、画像保存メモリ１０７に格納されている帳票イメージ内から前記実コーナー点を手掛りとして複数のエッジ点（実エッジ点）座標を抽出し、それぞれの実エッジ点に対応する本来存在すべき理想的なエッジ点（理想エッジ点）座標を前記理想コーナー点から算出し、実エッジ点と理想エッジ点が対となったエッジ点情報を生成するエッジ点情報生成部１０３と、理想罫線保存メモリ１０９に格納されている理想罫線の始点・終点座標を用いて画像保存メモリ１０７に格納されている帳票イメージ内から罫線（実罫線）の始点・終点を抽出し、実罫線と理想罫線が対となった罫線情報を生成する罫線情報生成部１０４と、前記実コーナー点と前記実エッジ点と前記実罫線を用いて格子点（実格子点）座標を算出し、ぞれぞれの実格子点に対応する本来存在すべき理想的な格子点（理想格子点）座標を前記理想コーナー点と前記理想エッジ点と前記理想罫線を用いて算出し、実格子点と理想格子点が対となった格子点情報を生成する格子点情報生成部１０５と、前記格子点情報を用いて部分的に変換行列を算出し、その変換行列を用いて画像の歪みを補正するイメージ補正部１０６から構成される。
【００１９】
以下に図１における各構成要素の機能について図１と図１１を用いて詳細に説明する。
【００２０】
帳票イメージ入力部１０１は、処理対象となる帳票の画像を該帳票から離れた位置に該帳票に対向するように設置された非接触型スキャナを用いて帳票イメージが入力される。入力された帳票イメージは画像保存メモリ１０７に出力（格納）される。なお、撮影条件として帳票は黒色の台の上に置き、帳票イメージの背景が紙面中の背景輝度より低くなるようにする。
【００２１】
画像保存メモリ１０７は、帳票イメージ入力部１０１で入力された帳票イメージが格納される。帳票イメージの形式は、２５６階調の多値イメージであり、紙面の白地部分（輝度が高い部分）の値は大きいとものする。帳票イメージはコーナー点情報生成部１０２，エッジ点情報生成部１０３，罫線抽出部１０４，イメージ補正部１０６へ各々入力される。
【００２２】
帳票情報保存メモリ１０８には、あらかじめ帳票登録時に測定しておいた帳票の正確な幅と高さ情報（帳票情報）が格納されている。この帳票情報はコーナー点情報生成部１０２において帳票イメージから抽出される歪みを含んだコーナー点（実コーナー点）座標に対応する本来存在すべき歪みの無い場合の理想的なコーナー点（理想コーナー点）座標を生成するために用いられる。
【００２３】
理想罫線保存メモリ１０９には、あらかじめ帳票登録時に測定しておいた歪みの無い状態の帳票の正確な罫線（理想罫線）の始点座標と終点座標が図１１の１１０３に示す書式で格納されている。この理想罫線は罫線情報生成部１０３で用いられる。
【００２４】
コーナー点情報生成部１０２は、画像保存メモリ１０７に格納されている帳票イメージと帳票情報保存メモリ１０８に格納されている帳票情報を用いて前記コーナー点情報を生成する。なお、コーナー点情報は図１１の１１０１の書式で生成される。生成されたコーナー点情報はエッジ点情報生成部１０３と格子点情報生成部１０５に出力される。
【００２５】
エッジ点情報生成部１０３は、画像保存メモリ１０７に格納されている帳票イメージとコーナー点情報生成部１０２で生成されたコーナー点情報を用いて前記エッジ点情報を生成する。なお、エッジ点情報は図１１の１１０２の書式で生成される。生成されたエッジ点情報は格子点情報生成部１０５に出力される。
【００２６】
罫線情報生成部１０４は、画像保存メモリ１０７に格納されている帳票イメージと理想罫線保存メモリ１０９に格納されている理想罫線を用いて前記罫線情報を生成する。なお、罫線情報は図１１の１１０３の書式で生成される。生成された罫線情報は格子点情報生成部１０５に出力される。
【００２７】
格子点情報生成部１０５は、コーナー点情報生成部１０２で生成されたコーナー点情報とエッジ点情報生成部１０３で生成されたエッジ点情報と罫線情報生成部１０４で生成された罫線情報を用いて前記格子点情報を生成する。なお、格子点情報は図１１の１１０４の書式で生成される。生成された格子点情報はイメージ補正部１０６に出力される。
【００２８】
イメージ補正部１０６は、画像保存メモリ１０７に格納されている帳票イメージと格子点情報生成部１０５で生成された格子点情報を用いて歪みを補正した画像を出力する。
【００２９】
次に、本発明の画像補正装置の動作について図１〜図１２、図１５〜図１７を用いて順を追って説明する。
【００３０】
まず、帳票イメージ入力部１０１では、帳票イメージを入力する（ステップ２０１）。次に、コーナー点情報生成部１０２では、画像保存メモリ１０７に格納されている帳票イメージ内から抽出される左上、右上、左下、右下の実コーナー点（図３の３０１ａ〜３０４ａ）と帳票情報保存メモリ１０８に格納されている帳票情報から算出されるそれぞれの実コーナー点に対応した理想コーナー点（図３の３０１ｂ〜３０４ｂ）が対となった４つのコーナー点情報を生成する。以下にコーナー点情報生成部１０２の動作を図４と図５のフローチャートを用いて詳細に説明する。
【００３１】
まず、帳票イメージからの左上実コーナー点の抽出を行う（ステップ５０１）。抽出方法は、図４の（ａ）に示す番号の順に探索を行う。探索の結果、最初に濃度T(約50)より大きい濃度値を持つ画素が図４の番号３９〜４３のようにL(約5)以上連続して検出された場合、番号３９の座標を（x39，y39）とし、番号４３の座標を（x43，y43）とすると、左上実コーナー点は（x43、y39）となる（図４の番号１３）。なお、読み取る帳票の傾きは0°〜10°程度とする。以降同様の抽出方法を適用し、図４の（ｂ）に示す番号の順に探索して右上実コーナー点を抽出（ステップ５０２），図４の（ｃ）に示す番号の順に探索して左下実コーナー点を抽出（ステップ５０３）、図４の（ｄ）に示す番号の順に探索して右下実コーナー点を抽出（ステップ５０４）する。
【００３２】
次に、抽出された実コーナー点のそれぞれに対応する理想コーナー点を帳票情報保存メモリ１０８の帳票情報を用いて生成する。帳票情報の帳票幅をW，帳票高さをHとすると理想コーナー点（x，y）は、左上理想コーナー点（0，0）、右上理想コーナー点（W，0）、左下理想コーナー点（0，H）、右下理想コーナー点（W，H）となる。そして、これらに平行移動成分として３０１aの座標を付加する。すなわち、左上実コーナ点と左上理想コーナー点を同じ値にする。
【００３３】
次に、エッジ点情報生成部１０３では、画像保存メモリ１０７に格納されている帳票イメージ内から前記実コーナー点を用いて抽出される実エッジ点（図３の３０５ａ〜３１６ａ）と前記理想コーナー点座標から算出されるそれぞれの実エッジ点に対応した理想エッジ点（図３の３０５ｂ〜３１６ｂ）が対となったエッジ点情報を生成する。以下にエッジ点情報生成部の動作を図３、図７と図６のフローチャートを用いて詳細に説明する。
【００３４】
まず、帳票イメージから左上実コーナー点と右上実コーナー点を用いて、上端実エッジ点（図３の３０５ａ〜３０７ａ）の抽出を行う（ステップ６０１）。抽出方法は、まず図７のように左上実コーナー点と右上実コーナー点を結ぶ線分をN(Ａ４帳票の場合で約128)個に等分割する。図７では説明の簡略化のためN=4として等分割している。そして、図７の点７０１〜７０３のそれぞれの位置を中心として画像上を下から上にスキャンして濃度T(約50)以下の画素を探索（Y方向に探索）することにより上端実エッジ点を検出する。次に、帳票イメージから左下実コーナー点と右下実コーナー点を用いて、下端実エッジ点（図３の３１４ａ〜３１６ａ）の抽出を行う（ステップ６０２）。抽出方法は上端実エッジ点の抽出（ステップ６０１）と同様である。次に、帳票イメージから左上実コーナー点と左下実コーナー点を用いて、左端実エッジ点（図３の３０８ａ〜３１０ａ）の抽出を行う（ステップ６０３）。抽出方法は、まず図８のように左上実コーナー点と左下実コーナー点を結ぶ線分をM(Ａ４帳票の場合で約128)個に等分割する。図８では説明の簡略化のためM=4として等分割している。そして、図８の点８０１〜８０３のそれぞれの位置を中心として画像上を左から右にスキャンして濃度T(約50)以下の画素を探索（X方向に探索）することにより左端実エッジ点を検出する。次に、帳票イメージから右上実コーナー点と右下実コーナー点を用いて、右端実エッジ点（図３の３１１ａ〜３１３ａ）の抽出を行う（ステップ６０４）。抽出方法は左端実エッジ抽出（ステップ６０３）と同様である。
【００３５】
次に、抽出されたそれぞれの実エッジ点に対応する理想エッジ点を理想コーナー点を用いて生成する（ステップ６０５）。上端理想エッジ点（図３の３０５ｂ〜３０７ｂ）は左上理想コーナー点と右上理想コーナー点を結ぶ線分をN個に等分割する点を求めることにより生成される。下端理想エッジ点（図３の３１４ｂ〜３１６ｂ）は左下理想コーナー点と右下理想コーナー点を結ぶ線分をN個に等分割する点を求めることにより生成される。左端理想エッジ点（図３の３０８ｂ〜３１０ｂ）は左上理想コーナー点と左下理想コーナー点を結ぶ線分をM個に等分割する点を求めることにより生成される。右端理想エッジ点（図３の３１１ｂ〜３１３ｂ）は右上理想コーナー点と右下理想コーナー点を結ぶ線分をM個に等分割する点を求めることにより生成される。これによりエッジ点情報生成部１０３では“2(M-1)+2(N-1)”個のエッジ点情報が生成される。
【００３６】
次に、罫線情報生成部１０４では、前記帳票イメージ内から抽出される実罫線（図３のＨ１ａ〜Ｈ３ａ，Ｖ１ａ〜Ｖ３ａ）とあらかじめ理想罫線保存メモリ１０９に格納されているそれぞれの実罫線に対応した理想罫線（図３のＨ１ｂ〜Ｈ３ｂ，Ｖ１ｂ〜Ｖ３ｂ）が対となった罫線情報を生成する。以下に罫線情報生成部の動作を図１５と図９のフローチャートを用いて詳細に説明する。まず、理想罫線保存メモリ１０９に格納されている理想罫線位置を用いて前記帳票イメージ内から実罫線が存在する矩形領域（罫線存在領域）を推定する（ステップ９０１）。次に罫線存在領域に対して二値化処理を行い、図１５(ａ)の１５０１に示す二値画像を生成する（ステップ９０２）。次に図１５(ａ)のように生成された二値画像から実罫線の方向に対して垂直方向に探索し、図１５(ｂ)の黒ランの長さ（黒ラン長）に関するヒストグラムを生成する。そして、図１５(ｂ)の１５０２に示すこのヒストグラムの最頻値を標準罫線幅とする（ステップ９０３）。 次に、罫線存在領域内の黒画素部分のうち標準罫線幅に等しい黒ラン長の黒画素部分をHough空間に投票する（ステップ９０４）。ここで使用するHough空間は直線の式
【００３７】
【数１】
【００３８】
から変換される（ρ，θ）平面である。次にHough空間内の最大投票数の位置（ρmax，θmax）を求める（ステップ９０５）。そして、（ρmax，θmax）と数式１を用いて実罫線の始点と終点を求める（ステップ９０６）。横方向の実罫線（横実罫線）の場合は、求める実罫線の始点を（sx1,sy1）、終点を（ex1,ey1）とし、対応する横方向の理想罫線（横理想罫線）の始点を（sx2,sy2）、終点を（ex2,ey2）とすると、数式２より求める。すなわち、実罫線の始点・終点のX座標は理想罫線の始点・終点のX座標を同じにし、実罫線の始点・終点のY座標のみ求める。
【００３９】
【数２】
【００４０】
縦方向の実罫線（縦実罫線）の場合は、求める実罫線の始点を（sx3,sy3）、終点を（ex3,ey3）とし、対応する縦方向の理想罫線（縦理想罫線）の始点を（sx4,sy4）、終点を（ex4,ey4）とすると、数式３より求める。すなわち、実罫線の始点・終点のY座標は理想罫線の始点・終点のY座標を同じにし、実罫線の始点・終点のX座標のみ求める。
【００４１】
【数３】
【００４２】
これにより、実罫線の始点と終点が抽出され、実罫線と理想罫線が対となった罫線情報が生成される。
【００４３】
次に、格子点生成部１０５では、前記実コーナー点と前記実エッジ点と前記実罫線を用いて算出される実格子点（図３の３１７ａ〜３４１ａ）と前記理想コーナー点と前記理想エッジ点と前記理想罫線を用いて算出されるそれぞれの実格子点に対応した理想格子点（図３の３１７ｂ〜３４１ｂ）が対となった格子点情報を生成する。以下に格子点情報生成部の動作を図１０のフローチャートを用いて詳細に説明する。まず、コーナー点情報とエッジ点情報を用いて格子点情報を生成する（ステップ１００１）。
【００４４】
格子点情報は図１１の１１０４に示す（M＋１）×（N＋１）の行列の形式で生成される。ここで、格子点情報の表記を簡略化するためにs行t列の格子点情報を [s，t]と表記する。ここで、0＜s＜Mであり、0＜t＜Nである。[s，t]には実格子点の座標(X,Y)と理想格子点の座標(X,Y)が格納される。
【００４５】
最初にコーナー点情報とエッジ点情報が行列に格納される。格納方法は、実コーナー点の場合は実コーナー点の座標(X,Y)が実格子点の座標(X,Y)に、理想コーナー点の座標(X,Y)が理想格子点の座標(X,Y)にそれぞれ格納される。すなわち、左上コーナー点情報が[0，0]に、右上コーナー点情報が[0，N]に、左下コーナー点情報が[M，0]に、右下コーナー点情報が[M，N]に格納される。また、エッジ点情報の場合は実エッジ点の座標(X,Y)が実格子点の座標(X,Y)に、理想エッジ点の座標(X,Y)が理想格子点の座標(X,Y)にそれぞれ格納される。すなわち、上端エッジ情報が[0，1]〜[0，N-1]に、下端エッジ情報が[M，1]〜[M，N-1]に、左端エッジ情報が[1，0]〜[M-1，0]に、右端エッジ情報が[1，N]〜[M-1，N]に図１１の１１０２の番号順に格納される。
【００４６】
次に上記以外の格子点情報を生成する。 [s，0]の実格子点のX,Y座標をそれぞれx1，y1とし、 [s，N]の実格子点のX,Y座標をそれぞれx2，y2とすると、 [s，t]の実格子点のX座標は数式４より求める。
【００４７】
【数４】
【００４８】
また、 [0，t]の実格子点のX，Y座標をそれぞれx3，y3とし、 [M，t]の実格子点のX，Y座標をそれぞれx4，y4とすると、 [s，t]の実格子点のY座標は数式５より求める。
【００４９】
【数５】
【００５０】
理想格子点についても実格子点と同様の方法で求めることができる。これにより、全ての格子点情報が生成される。
【００５１】
次に、以上のように生成された格子点情報を前記罫線情報を用いて精度を向上させる方法について説明する。最初に罫線情報の実罫線を用いて格子点情報の実格子点の位置を調整する。まず、横実罫線による実格子点の位置を調整する。i番目の横実罫線hiの中点を求め、その中点と最も近い [Si，Ti]を実格子点を用いて求める（ステップ１００２）。次に、 [Si-1，Ti]の実格子点と [Si+1，Ti]の実格子点を結ぶ線分と横実罫線hiとの交点ｄを求める（ステップ１００３）。次に [Si，Ti]の実格子点と交点ｄとのY方向の変化量を求める（ステップ１００４）。そして、求めたY方向の変化量をSi行全ての実格子点のY座標に加算する（ステップ１００５）。全ての横実罫線が終了していなければステップ１００２からi+1番目の横実罫線に対して同様の処理を行う（ステップ１００６）。全ての横実罫線が終了すると、ステップ１００２で求めたSi行とSi+1行の間に位置する実格子点のY座標について位置を調整する（ステップ１００７）。調整方法は、[Si，t]（0≦t≦N）の実格子点のX，Y座標をそれぞれx1，y1とし、 [Si+1，t]の実格子点のX，Y座標をそれぞれx2，y2すると、 [s，t]の実格子点のY座標は数式６より求める。
【００５２】
【数６】
【００５３】
横実罫線による実格子点の位置調整が終了すると、次に縦実罫線による実格子点の位置を調整する。j番目の縦実罫線vjの中点を求め、その中点と最も近い[Sj，Tj]を実格子点を用いて求める（ステップ１００８）。次に、 [Sj，Tj-1]の実格子点と[Sj，Tj+1]の実格子点を結ぶ線分と縦実罫線viとの交点ｄを求める（ステップ１００９）。次に[Sj，Tj]の実格子点と交点ｄとのX方向の変化量を求める（ステップ１０１０）。そして、求めたX方向の変化量をTj列全ての実格子点のX座標に加算する（ステップ１０１１）。全ての縦実罫線が終了していなければステップ１００８からj+1番目の縦実罫線に対して同様の処理を行う（ステップ１０１２）。全ての縦実罫線が終了すると、ステップ１００８で求めたTj列とTj+1列の間に位置する実格子点のX座標について位置を調整する（ステップ１０１３）。調整方法は、[s，Ti ]（0≦s≦M）の実格子点のX，Y座標をそれぞれx3，y3とし、 [s，Ti+1]の実格子点のX，Y座標をそれぞれx4，y4すると、 [s，t]の実格子点のX座標は数式７より求める。
【００５４】
【数７】
【００５５】
これにより、罫線情報の実罫線を用いて格子点情報の実格子点の位置が調整される。次に罫線情報の理想罫線を用いて格子点情報の理想格子点の位置を調整する。調整方法は、上記の実格子点の調整方法と同様の処理を行うことにより調整することができる。
【００５６】
以上の処理を実行して格子点情報の実格子点と理想格子点の位置を調整することにより、精度を向上させた格子点情報が生成される。
【００５７】
次に、イメージ補正部１０６では、格子点情報生成部１０５で生成された格子点情報を用いて画像の補正を行う（ステップ２０６）。以下にイメージ補正部の動作を図１２のフローチャートを用いて詳細に説明する。
【００５８】
まず、格子点情報を複数の領域に分割する（ステップ１２０１）。分割方法は図１６に示すように行列の形式で生成された格子点情報について行をK1(約16)個に分割し、列をK2(約16)個に分割する。すなわち、K1×K2個の領域に分割する。なお、領域内に含まれる格子点情報の個数は後述する変換行列を算出するために８個以上の格子点情報が含まれる必要があるが、各領域の格子点情報の個数が一定である必要はない。また、領域と領域との境界となる格子点情報（境界格子点情報）は、両方の領域に含まれるようにする。次に、ある領域に含まれる全ての格子点情報を用いて格子点情報の実格子点が理想格子点に変換されるような数式８に示す変換行列Ｈを算出する（ステップ１２０２）。
【００５９】
【数８】
【００６０】
以下に８個のパラメータｍ1〜ｍ8の算出方法を示す。実格子点の座標を(xi,yi)、理想格子点の座標を(ui,vi)とし、その関係を数式９の線形の式で与えられるとする。ここで数式９のＲは格子点情報の個数であり、(M＋１)×(N＋１)個である。
【００６１】
【数９】
【００６２】
全ての格子点情報を数式９に代入すると数式１０となる。
【００６３】
【数１０】
【００６４】
数式１０のそれぞれについて最小２乗法を用いて求めることによりｍ1〜ｍ8を算出できる（非特許文献１より）。そして、得られた変換行列を用いて数式１１により部分画像の補正(変換)を行う（ステップ１２０３）。ここで、（x’,y’）は歪みを含んだ（補正前）座標系の点であり、(x,y)が歪みの無い（補正後）座標系の点である。
【００６５】
【数１１】
【００６６】
なお、境界格子点情報の理想格子点の座標に位置する画素については関係するそれぞれの領域の変換行列から求まる濃度値の平均とする。全ての領域が完了していない場合、ステップ１２０２から他の領域に対して同様の処理を行い、全ての領域が完了した場合は処理を終了する。これにより、帳票イメージの歪みが補正される。
【００６７】
（発明の第２の実施の形態）
図１３は本発明の第２の実施の形態における画像補正装置の構成を示すブロック図である。図１４はこの画像補正装置における動作を示すフローチャートである。上記第１の実施の形態との装置構成における相違点は、図１３において、歪みパターン判定部１１０が追加されている点である。また、イメージ補正部１０６が歪みパターン判定部１１０の出力を受けて、歪み補正を行うか否かを決定する点である。
【００６８】
歪みパターン判定部１１０は画像保存メモリ１０７に格納されている帳票イメージとエッジ点情報生成部１０３によって生成されたエッジ点情報を用いて曲率を算出し、歪みパターン情報を生成する。歪みパターン情報は、「帳票歪み無し」，「帳票浮きによる歪み有り」，「帳票折れによる歪み有り」，の３つのパターンを表すフラグと曲率が最大となるエッジ点情報から構成されている。なお、歪みパターン情報は、イメージ補正部１０６に出力される。
【００６９】
次に、本発明の第２の実施の形態の動作を説明する。動作はステップ２０１〜２０５まで第１の実施の形態と同じである。以下では動作の相違点についてのみ説明する。図１４において、ステップ２０７とステップ２０８が新たに追加されたステップであり、ステップ２０６ａが上記ステップ２０６に歪みパターン情報を利用するように変更したステップである。
【００７０】
ステップ２０７では、まずエッジ点情報生成部１０３によって生成されたエッジ点情報を用いて曲率を算出する。曲率Cの算出方法は、曲率を求めようとする実エッジ点の左右(上下)にそれぞれk(約5)個のエッジ点を取り、数式１２より求める。
【００７１】
【数１２】
【００７２】
これを全ての実エッジ点に対して行い、それらの曲率の最大値を算出する。なお、左右(上下)にk個のエッジ点が取れないエッジ点についてはＣ=0とする。曲率の最大値がT1(約2.0)より小さければ歪みパターンフラグを１（帳票歪み無し）にする。曲率の最大値がT1より大きくT2(約10.0)より小さければ歪みパターンフラグを２（帳票浮きによる歪み）とする。曲率の最大値がT2より大きければフラグ３（帳票折れによる歪み）とする。また、曲率の最大値となったエッジ点情報も歪みパターン情報に登録する。以上の処理は歪みパターン判定部１１０で実行される。
【００７３】
ステップ２０８では、歪みパターン情報のフラグが１であれば、補正処理を行わずに帳票イメージをそのまま出力する。歪みパターン情報のフラグが１以外の場合はステップ２０４以降の処理を実行する。
【００７４】
ステップ２０６ａでは、上記ステップ２０６に歪みパターン情報を利用するように図１２のステップ１２０１に示す格子点情報の領域分割の方法を変更する。まず、ステップ１２０１の通りに格子点情報を分割する。次に、歪みパターン情報のフラグが３（帳票折れによる歪み有り）の場合、歪みパターン情報に登録されているエッジ点情報に対応する格子点情報が図１６の１６０１であるとき、図１７に示すように１６０１の格子点情報が領域と領域との境界となる格子点情報（境界格子点情報）になるように変更する。変更方法は、境界格子点情報にしたい格子点情報と今ある境界格子点情報の位置をそれぞれ比較し、最も近い今ある境界格子点情報を算出することにより変更する。以上の処理はイメージ補正部１０６で行われる。
【００７５】
以上に述べたように、第１の実施の形態では歪みが無く、補正する必要がなくても画像補正を行っていたが、第２の実施の形態では歪みの有無を検証し、補正する必要があるときのみ画像補正を行うため、運用時の処理時間の軽減が可能となる。また、格子点情報の領域分割において境界位置を変更することにより、歪みが大きい場合でも第１の実施の形態に比べて精度良い補正が可能となる。
【００７６】
【発明の効果】
以上説明したように、本発明には以下の効果がある。
【００７７】
第１の効果は、文字読み取り装置において、撮影された画像が帳票浮きや帳票折れのために歪みが生じている場合でも読み取り可能な画像を提供できる点である。その理由は、図１に示すように非線形の歪みに対して精度良く補正を行う手段を有しているためである。
【００７８】
第２の効果は、文字読み取り装置において、撮影された画像がずれたり、傾いたり、伸縮などの歪みが生じる場合でも読み取り可能な画像を提供できる点である。その理由は、図１に示すように線形の歪みに対しても精度良く補正を行う手段を有しているためである。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態による画像補正装置のブロック図である。
【図２】本発明の第１の実施の形態の処理手順を示すフローチャートである。
【図３】コーナー点情報とエッジ点情報を例示する図である。
【図４】コーナー点を抽出するときの探索方法を示す図である。
【図５】コーナー点情報生成部の処理手順を示すフローチャートである。
【図６】エッジ点情報生成部の処理手順を示すフローチャートである。
【図７】エッジ点情報生成部で水平方向のエッジ点の抽出方法を例示した図である。
【図８】エッジ点情報生成部で垂直方向のエッジ点の抽出方法を例示した図である。
【図９】罫線情報生成部の処理手順を示すフローチャートである。
【図１０】格子点情報生成部の処理手順を示すフローチャートである。
【図１１】コーナー点情報、エッジ点情報、罫線情報、格子点情報の書式を例示した図である。
【図１２】イメージ補正部の処理手順を示すフローチャートである。
【図１３】本発明の第２の実施の形態による画像補正装置のブロック図である。
【図１４】本発明の第２の実施の形態の処理手順を示すフローチャートである。
【図１５】罫線情報生成部での実罫線の抽出方法を例示した図である。
【図１６】イメージ補正部での領域分割の方法を例示した図である。
【図１７】イメージ補正部での歪みパターン情報を用いた領域分割の方法を例示した図である。
【符号の説明】
１０１ 帳票イメージ入力部
１０２ コーナー点情報生成部
１０３ エッジ点情報生成部
１０４ 罫線情報生成部
１０５ 格子点情報生成部
１０６ イメージ補正部
１０７ 画像保存メモリ
１０８ 帳票情報保存メモリ
１０９ 理想罫線保存メモリ
１１０ 歪みパターン判定部
３０１ａ〜３０４ａ 実コーナー点
３０１ｂ〜３０４ｂ 理想コーナー点
３０５ａ〜３１６ａ 実エッジ点
３０５ｂ〜３１６ｂ 理想エッジ点
３１７ａ〜３４０ａ 実格子点
３１７ｂ〜３４０ｂ 理想格子点
７０１〜７０３、８０１〜８０３ 点
１１０１ コーナー点情報の書式
１１０２ エッジ点情報の書式
１１０３ 罫線情報の書式
１１０４ 格子点情報の書式
１５０１ 二値画像
１５０２ ヒストグラムの最頻値
１６０１ 格子点情報（境界格子点情報）
Ｈ１ａ〜Ｈ３ａ 実罫線
Ｈ１ｂ〜Ｈ３ｂ 理想罫線
Ｖ１ａ〜Ｖ３ａ 実罫線
Ｖ１ｂ〜Ｖ３ｂ 理想罫線
【発明の属する技術分野】
本発明は、紙面に罫線や文字が記入された帳票の画像データを読み取る画像補正装置及び画像補正方法に関し、特に、折れ曲がった帳票や反った帳票を読み取ったときに生じる歪みを含む画像を補正する画像補正装置及び画像補正方法に関する。
【０００２】
【従来の技術】
近年、卓上に置かれた帳票を該帳票から離れた位置に該帳票に対向するように設置された非接触型スキャナにより画像データを撮影し、文字認識やデータとして保存することが多く行われるようになったが、帳票自体が変形（折れ曲り、反りなど）している場合には、帳票をできるだけ平面から浮かないようにするために読み取り時に手で押さえたりすると、撮影領域に指が入る可能性があるため、帳票を平面から浮かないようにすることができず、読み取られた画像に複雑な歪みが生じるという問題がある。
【０００３】
上記のように折れ曲がった帳票や反った帳票など空間的に曲がった文書を非接触型スキャナによって読み取ったときに生ずる画像の歪みを補正する従来の技術としては、例えば、読み取ったブック原稿（製本された原稿）のエッジ位置と原稿面の高さを検出してブック原稿の形状を推定し、推定した形状面に基づいて画像を変倍して歪みを補正する技術が開示されている（例えば、特許文献１参照。）。また、焦点位置などの読み取り条件を変更して２枚の画像を読み取ることで、それら画像間から作成される分散画像より変位を解析し、その情報を使ってカメラから帳票までの距離を算出することにより、帳票の３次元形状を復元し、さらにこれを２次元平面に展開して歪みを補正する技術が開示されている（例えば、特許文献２参照。）。
【０００４】
また、ある領域に含まれる全ての格子点情報を用いて格子点情報の実格子点が理想格子点に変換されるような変換行列Ｈのパラメータｍ1〜ｍ8の算出方法が開示されている（例えば、非特許文献１参照。）。
【０００５】
【特許文献１】
特開平６−１６４８５２号公報
【特許文献２】
特開２０００−１１５５１０号公報
【非特許文献１】
長尾著、「画像認識論」、近代科学社、ｐ．２４−２７
【０００６】
【発明が解決しようとする課題】
しかし、上記特許文献１の技術内容によれば、原稿面の高さを測定する手段を必要とするため（３次元形状を復元）、専用の装置によらないと画像の歪み補正が行えないといった問題がある。また、処理対象が製本された原稿であり、それに特化した技術であるため、１枚〜数枚重ねの文書への適用は難しい。
【０００７】
また上記特許文献２の技術内容によれば、焦点位置などの読み取り条件を変更して２枚以上の画像を読み取り、それら画像間から作成される分散画像より画像間の偏差の大きい部分を特徴点（この特徴点を帳票折れや帳票浮きなどによる端部）として抽出し、この特徴点における距離を算出することにより３次元形状の復元を行っている。しかし、帳票折れや帳票浮きなどによる変形が被写界深度内に収まるような場合は複数の画像の焦点が合ってしまい、画像間の偏差が小さくなるなり、帳票折れや帳票浮きなどによる端部が特徴点として抽出されない場合があるため正確な３次元形状の復元が行えず、画像の歪み補正ができないという問題がある。
【０００８】
本発明の目的は、１枚〜数枚重ねの帳票などの文書に対して３次元形状を復元すること無しに、撮影された帳票イメージの形状から空間的に曲がった文書を撮影したときに生ずる画像の歪みを正確に補正し、文字認識において切り出し位置のずれが生じない良好な画像を得ることのできる画像補正装置及び画像補正方法を提供することにある。
【０００９】
【課題を解決するための手段】
本発明の画像補正装置は、卓上に置かれて折れ曲がったり反ったりしている空間的な曲がりを有する帳票を帳票から離れた位置に帳票に対向するように設置された非接触型スキャナで読み取った画像に含まれる歪みを補正する画像補正装置であって、処理対象の帳票を帳票イメージとして入力するための帳票イメージ入力部と、入力された帳票イメージを保持する画像保存メモリと、帳票の寸法をあらかじめ保持した帳票情報保存メモリと、帳票上の正確な罫線（理想罫線）座標をあらかじめ保持した理想罫線保存メモリと、画像保存メモリ内の帳票イメージから帳票の４隅の点であるコーナー点（実コーナー点）座標を検出するとともに、帳票情報保存メモリ内の前記帳票の寸法からもコーナー点（理想コーナー点）座標を算出するコーナー点情報生成部と、帳票イメージから実コーナー点座標を手掛りとして複数のエッジ点（実エッジ点）座標を検出するとともに、実エッジ点に対応するエッジ点（理想エッジ点）座標を理想コーナー点座標から算出しエッジ点情報を生成するエッジ点情報生成部と、帳票イメージから罫線（実罫線）座標を検出するとともに、罫線を理想罫線保存メモリに保持された罫線（理想罫線）座標と対応付ける罫線情報生成部と、実コーナー点と実エッジ点と実罫線とを用いて算出される格子点（実格子点）座標と理想コーナー点と理想エッジ点と理想罫線とを用いて算出される格子点（理想格子点）座標が対となった格子点情報を生成する格子点情報生成部と、エッジ点情報を用いて歪みの状態を判定する歪みパターン判定部と、格子点情報と歪みの状態の判定の結果とを用いて変換行列を生成し、画像に含まれる歪みを補正するイメージ補正部とを備えている。
【００１０】
従って、本発明の画像補正装置により歪みのない補正画像を生成する。これにより、文字読み取り装置において、撮影された画像が帳票浮きや帳票折れのために歪みが生じ読み取りが難しかった場合でも読み取りが可能になる。
【００１１】
また、歪みパターン判定部は、画像保存メモリに格納されている帳票イメージとエッジ点情報生成部によって生成されたエッジ点情報とを用いて曲率を算出し、歪みパターン情報を生成し、歪みパターン情報は、「帳票歪み無し」と、「帳票浮きによる歪み有り」と、「帳票折れによる歪み有り」との３つのパターンを表すフラグと曲率が最大となるエッジ点情報とから構成され、歪みパターン情報は、イメージ補正部に出力され、イメージ補正部は、歪みパターン判定部の出力を受けて、歪み補正を行うか否かを決定してもよい。
【００１２】
従って、歪みの有無を検証し、補正する必要があるときのみ画像補正を行うため、運用時の処理時間の軽減が可能となる。
【００１３】
また、イメージ補正部は、格子点情報を複数の領域に分割し、歪みパターン情報のフラグが「帳票折れによる歪み有り」の場合、歪みパターン情報に登録されているエッジ点情報に対応する格子点情報が、領域と領域との境界となる格子点情報（境界格子点情報）になるように変更し、変更方法は、境界格子点情報にしたい格子点情報と今ある境界格子点情報の位置をそれぞれ比較し、最も近い今ある境界格子点情報を算出することにより変更してもよい。
【００１４】
従って、格子点情報の領域分割において境界位置を変更することにより、歪みが大きい場合でも精度良い補正が可能となる。
【００１５】
本発明の画像補正方法は、卓上に置かれて折れ曲がったり反ったりしている空間的な曲がりを有する帳票を帳票から離れた位置に帳票に対向するように設置された非接触型スキャナで読み取った画像に含まれる歪みを補正する画像補正方法であって、帳票イメージ入力部により、処理対象の帳票を帳票イメージとして入力し、入力された帳票イメージを画像保存メモリに保持し、帳票の寸法を帳票情報保存メモリにあらかじめ保持し、帳票上の正確な罫線（理想罫線）座標を理想罫線保存メモリにあらかじめ保持し、コーナー点情報生成部により、画像保存メモリ内の帳票イメージから帳票の４隅の点であるコーナー点（実コーナー点）座標を検出するとともに、帳票情報保存メモリ内の帳票の寸法からもコーナー点（理想コーナー点）座標を算出し、エッジ点情報生成部により、帳票イメージから実コーナー点座標を手掛りとして複数のエッジ点（実エッジ点）座標を検出するとともに、実エッジ点に対応するエッジ点（理想エッジ点）座標を理想コーナー点座標から算出しエッジ点情報を生成し、罫線情報生成部により、帳票イメージから罫線（実罫線）座標を検出するとともに、罫線を理想罫線保存メモリに保持された罫線（理想罫線）座標と対応付け、格子点情報生成部により、実コーナー点と実エッジ点と実罫線とを用いて算出される格子点（実格子点）座標と理想コーナー点と理想エッジ点と理想罫線とを用いて算出される格子点（理想格子点）座標が対となった格子点情報を生成し、歪みパターン判定部により、エッジ点情報を用いて歪みの状態を判定し、イメージ補正部により、格子点情報と歪みの状態の判定の結果とを用いて変換行列を生成し、画像に含まれる歪みを補正する。
【００１６】
また、歪みパターン判定部は、画像保存メモリに格納されている帳票イメージとエッジ点情報生成部によって生成されたエッジ点情報とを用いて曲率を算出し、歪みパターン情報を生成し、歪みパターン情報は、「帳票歪み無し」と、「帳票浮きによる歪み有り」と、「帳票折れによる歪み有り」との３つのパターンを表すフラグと曲率が最大となるエッジ点情報とから構成され、歪みパターン情報は、イメージ補正部に出力され、イメージ補正部は、歪みパターン判定部の出力を受けて、歪み補正を行うか否かを決定してもよい。
【００１７】
また、イメージ補正部は、格子点情報を複数の領域に分割し、歪みパターン情報のフラグが「帳票折れによる歪み有り」の場合、歪みパターン情報に登録されているエッジ点情報に対応する格子点情報が、領域と領域との境界となる格子点情報（境界格子点情報）になるように変更し、変更方法は、境界格子点情報にしたい格子点情報と今ある境界格子点情報の位置をそれぞれ比較し、最も近い今ある境界格子点情報を算出することにより変更してもよい。
【００１８】
【発明の実施の形態】
（発明の第１の実施の形態）
次に、本発明の第１の実施の形態について図１を参照して説明する。本実施の形態は、非接触型スキャナ等の帳票イメージ入力部１０１と、帳票イメージ入力部１０１で得られた帳票を受け取って格納する画像保存メモリ１０７と、あらかじめ帳票登録時に測定していた帳票の幅と高さ（帳票情報）が格納されている帳票情報保存メモリ１０８と、あらかじめ帳票登録時に測定していた罫線（理想罫線）の始点・終点座標が格納されている理想罫線保存メモリ１０９と、画像保存メモリ１０７に格納されている帳票イメージ内から帳票の左上、右上、左下、右下の４つのコーナー点（実コーナー点）座標を抽出し、それぞれの実コーナー点に対応する本来存在すべき理想的なコーナー点（理想コーナー点）座標を帳票情報保存メモリ１０８に格納されている帳票情報から算出し、実コーナー点と理想コーナー点が対となったコーナー点情報を生成するコーナー点情報生成部１０２と、画像保存メモリ１０７に格納されている帳票イメージ内から前記実コーナー点を手掛りとして複数のエッジ点（実エッジ点）座標を抽出し、それぞれの実エッジ点に対応する本来存在すべき理想的なエッジ点（理想エッジ点）座標を前記理想コーナー点から算出し、実エッジ点と理想エッジ点が対となったエッジ点情報を生成するエッジ点情報生成部１０３と、理想罫線保存メモリ１０９に格納されている理想罫線の始点・終点座標を用いて画像保存メモリ１０７に格納されている帳票イメージ内から罫線（実罫線）の始点・終点を抽出し、実罫線と理想罫線が対となった罫線情報を生成する罫線情報生成部１０４と、前記実コーナー点と前記実エッジ点と前記実罫線を用いて格子点（実格子点）座標を算出し、ぞれぞれの実格子点に対応する本来存在すべき理想的な格子点（理想格子点）座標を前記理想コーナー点と前記理想エッジ点と前記理想罫線を用いて算出し、実格子点と理想格子点が対となった格子点情報を生成する格子点情報生成部１０５と、前記格子点情報を用いて部分的に変換行列を算出し、その変換行列を用いて画像の歪みを補正するイメージ補正部１０６から構成される。
【００１９】
以下に図１における各構成要素の機能について図１と図１１を用いて詳細に説明する。
【００２０】
帳票イメージ入力部１０１は、処理対象となる帳票の画像を該帳票から離れた位置に該帳票に対向するように設置された非接触型スキャナを用いて帳票イメージが入力される。入力された帳票イメージは画像保存メモリ１０７に出力（格納）される。なお、撮影条件として帳票は黒色の台の上に置き、帳票イメージの背景が紙面中の背景輝度より低くなるようにする。
【００２１】
画像保存メモリ１０７は、帳票イメージ入力部１０１で入力された帳票イメージが格納される。帳票イメージの形式は、２５６階調の多値イメージであり、紙面の白地部分（輝度が高い部分）の値は大きいとものする。帳票イメージはコーナー点情報生成部１０２，エッジ点情報生成部１０３，罫線抽出部１０４，イメージ補正部１０６へ各々入力される。
【００２２】
帳票情報保存メモリ１０８には、あらかじめ帳票登録時に測定しておいた帳票の正確な幅と高さ情報（帳票情報）が格納されている。この帳票情報はコーナー点情報生成部１０２において帳票イメージから抽出される歪みを含んだコーナー点（実コーナー点）座標に対応する本来存在すべき歪みの無い場合の理想的なコーナー点（理想コーナー点）座標を生成するために用いられる。
【００２３】
理想罫線保存メモリ１０９には、あらかじめ帳票登録時に測定しておいた歪みの無い状態の帳票の正確な罫線（理想罫線）の始点座標と終点座標が図１１の１１０３に示す書式で格納されている。この理想罫線は罫線情報生成部１０３で用いられる。
【００２４】
コーナー点情報生成部１０２は、画像保存メモリ１０７に格納されている帳票イメージと帳票情報保存メモリ１０８に格納されている帳票情報を用いて前記コーナー点情報を生成する。なお、コーナー点情報は図１１の１１０１の書式で生成される。生成されたコーナー点情報はエッジ点情報生成部１０３と格子点情報生成部１０５に出力される。
【００２５】
エッジ点情報生成部１０３は、画像保存メモリ１０７に格納されている帳票イメージとコーナー点情報生成部１０２で生成されたコーナー点情報を用いて前記エッジ点情報を生成する。なお、エッジ点情報は図１１の１１０２の書式で生成される。生成されたエッジ点情報は格子点情報生成部１０５に出力される。
【００２６】
罫線情報生成部１０４は、画像保存メモリ１０７に格納されている帳票イメージと理想罫線保存メモリ１０９に格納されている理想罫線を用いて前記罫線情報を生成する。なお、罫線情報は図１１の１１０３の書式で生成される。生成された罫線情報は格子点情報生成部１０５に出力される。
【００２７】
格子点情報生成部１０５は、コーナー点情報生成部１０２で生成されたコーナー点情報とエッジ点情報生成部１０３で生成されたエッジ点情報と罫線情報生成部１０４で生成された罫線情報を用いて前記格子点情報を生成する。なお、格子点情報は図１１の１１０４の書式で生成される。生成された格子点情報はイメージ補正部１０６に出力される。
【００２８】
イメージ補正部１０６は、画像保存メモリ１０７に格納されている帳票イメージと格子点情報生成部１０５で生成された格子点情報を用いて歪みを補正した画像を出力する。
【００２９】
次に、本発明の画像補正装置の動作について図１〜図１２、図１５〜図１７を用いて順を追って説明する。
【００３０】
まず、帳票イメージ入力部１０１では、帳票イメージを入力する（ステップ２０１）。次に、コーナー点情報生成部１０２では、画像保存メモリ１０７に格納されている帳票イメージ内から抽出される左上、右上、左下、右下の実コーナー点（図３の３０１ａ〜３０４ａ）と帳票情報保存メモリ１０８に格納されている帳票情報から算出されるそれぞれの実コーナー点に対応した理想コーナー点（図３の３０１ｂ〜３０４ｂ）が対となった４つのコーナー点情報を生成する。以下にコーナー点情報生成部１０２の動作を図４と図５のフローチャートを用いて詳細に説明する。
【００３１】
まず、帳票イメージからの左上実コーナー点の抽出を行う（ステップ５０１）。抽出方法は、図４の（ａ）に示す番号の順に探索を行う。探索の結果、最初に濃度T(約50)より大きい濃度値を持つ画素が図４の番号３９〜４３のようにL(約5)以上連続して検出された場合、番号３９の座標を（x39，y39）とし、番号４３の座標を（x43，y43）とすると、左上実コーナー点は（x43、y39）となる（図４の番号１３）。なお、読み取る帳票の傾きは0°〜10°程度とする。以降同様の抽出方法を適用し、図４の（ｂ）に示す番号の順に探索して右上実コーナー点を抽出（ステップ５０２），図４の（ｃ）に示す番号の順に探索して左下実コーナー点を抽出（ステップ５０３）、図４の（ｄ）に示す番号の順に探索して右下実コーナー点を抽出（ステップ５０４）する。
【００３２】
次に、抽出された実コーナー点のそれぞれに対応する理想コーナー点を帳票情報保存メモリ１０８の帳票情報を用いて生成する。帳票情報の帳票幅をW，帳票高さをHとすると理想コーナー点（x，y）は、左上理想コーナー点（0，0）、右上理想コーナー点（W，0）、左下理想コーナー点（0，H）、右下理想コーナー点（W，H）となる。そして、これらに平行移動成分として３０１aの座標を付加する。すなわち、左上実コーナ点と左上理想コーナー点を同じ値にする。
【００３３】
次に、エッジ点情報生成部１０３では、画像保存メモリ１０７に格納されている帳票イメージ内から前記実コーナー点を用いて抽出される実エッジ点（図３の３０５ａ〜３１６ａ）と前記理想コーナー点座標から算出されるそれぞれの実エッジ点に対応した理想エッジ点（図３の３０５ｂ〜３１６ｂ）が対となったエッジ点情報を生成する。以下にエッジ点情報生成部の動作を図３、図７と図６のフローチャートを用いて詳細に説明する。
【００３４】
まず、帳票イメージから左上実コーナー点と右上実コーナー点を用いて、上端実エッジ点（図３の３０５ａ〜３０７ａ）の抽出を行う（ステップ６０１）。抽出方法は、まず図７のように左上実コーナー点と右上実コーナー点を結ぶ線分をN(Ａ４帳票の場合で約128)個に等分割する。図７では説明の簡略化のためN=4として等分割している。そして、図７の点７０１〜７０３のそれぞれの位置を中心として画像上を下から上にスキャンして濃度T(約50)以下の画素を探索（Y方向に探索）することにより上端実エッジ点を検出する。次に、帳票イメージから左下実コーナー点と右下実コーナー点を用いて、下端実エッジ点（図３の３１４ａ〜３１６ａ）の抽出を行う（ステップ６０２）。抽出方法は上端実エッジ点の抽出（ステップ６０１）と同様である。次に、帳票イメージから左上実コーナー点と左下実コーナー点を用いて、左端実エッジ点（図３の３０８ａ〜３１０ａ）の抽出を行う（ステップ６０３）。抽出方法は、まず図８のように左上実コーナー点と左下実コーナー点を結ぶ線分をM(Ａ４帳票の場合で約128)個に等分割する。図８では説明の簡略化のためM=4として等分割している。そして、図８の点８０１〜８０３のそれぞれの位置を中心として画像上を左から右にスキャンして濃度T(約50)以下の画素を探索（X方向に探索）することにより左端実エッジ点を検出する。次に、帳票イメージから右上実コーナー点と右下実コーナー点を用いて、右端実エッジ点（図３の３１１ａ〜３１３ａ）の抽出を行う（ステップ６０４）。抽出方法は左端実エッジ抽出（ステップ６０３）と同様である。
【００３５】
次に、抽出されたそれぞれの実エッジ点に対応する理想エッジ点を理想コーナー点を用いて生成する（ステップ６０５）。上端理想エッジ点（図３の３０５ｂ〜３０７ｂ）は左上理想コーナー点と右上理想コーナー点を結ぶ線分をN個に等分割する点を求めることにより生成される。下端理想エッジ点（図３の３１４ｂ〜３１６ｂ）は左下理想コーナー点と右下理想コーナー点を結ぶ線分をN個に等分割する点を求めることにより生成される。左端理想エッジ点（図３の３０８ｂ〜３１０ｂ）は左上理想コーナー点と左下理想コーナー点を結ぶ線分をM個に等分割する点を求めることにより生成される。右端理想エッジ点（図３の３１１ｂ〜３１３ｂ）は右上理想コーナー点と右下理想コーナー点を結ぶ線分をM個に等分割する点を求めることにより生成される。これによりエッジ点情報生成部１０３では“2(M-1)+2(N-1)”個のエッジ点情報が生成される。
【００３６】
次に、罫線情報生成部１０４では、前記帳票イメージ内から抽出される実罫線（図３のＨ１ａ〜Ｈ３ａ，Ｖ１ａ〜Ｖ３ａ）とあらかじめ理想罫線保存メモリ１０９に格納されているそれぞれの実罫線に対応した理想罫線（図３のＨ１ｂ〜Ｈ３ｂ，Ｖ１ｂ〜Ｖ３ｂ）が対となった罫線情報を生成する。以下に罫線情報生成部の動作を図１５と図９のフローチャートを用いて詳細に説明する。まず、理想罫線保存メモリ１０９に格納されている理想罫線位置を用いて前記帳票イメージ内から実罫線が存在する矩形領域（罫線存在領域）を推定する（ステップ９０１）。次に罫線存在領域に対して二値化処理を行い、図１５(ａ)の１５０１に示す二値画像を生成する（ステップ９０２）。次に図１５(ａ)のように生成された二値画像から実罫線の方向に対して垂直方向に探索し、図１５(ｂ)の黒ランの長さ（黒ラン長）に関するヒストグラムを生成する。そして、図１５(ｂ)の１５０２に示すこのヒストグラムの最頻値を標準罫線幅とする（ステップ９０３）。 次に、罫線存在領域内の黒画素部分のうち標準罫線幅に等しい黒ラン長の黒画素部分をHough空間に投票する（ステップ９０４）。ここで使用するHough空間は直線の式
【００３７】
【数１】
から変換される（ρ，θ）平面である。次にHough空間内の最大投票数の位置（ρmax，θmax）を求める（ステップ９０５）。そして、（ρmax，θmax）と数式１を用いて実罫線の始点と終点を求める（ステップ９０６）。横方向の実罫線（横実罫線）の場合は、求める実罫線の始点を（sx1,sy1）、終点を（ex1,ey1）とし、対応する横方向の理想罫線（横理想罫線）の始点を（sx2,sy2）、終点を（ex2,ey2）とすると、数式２より求める。すなわち、実罫線の始点・終点のX座標は理想罫線の始点・終点のX座標を同じにし、実罫線の始点・終点のY座標のみ求める。
【００３９】
【数２】
縦方向の実罫線（縦実罫線）の場合は、求める実罫線の始点を（sx3,sy3）、終点を（ex3,ey3）とし、対応する縦方向の理想罫線（縦理想罫線）の始点を（sx4,sy4）、終点を（ex4,ey4）とすると、数式３より求める。すなわち、実罫線の始点・終点のY座標は理想罫線の始点・終点のY座標を同じにし、実罫線の始点・終点のX座標のみ求める。
【００４１】
【数３】
これにより、実罫線の始点と終点が抽出され、実罫線と理想罫線が対となった罫線情報が生成される。
【００４３】
次に、格子点生成部１０５では、前記実コーナー点と前記実エッジ点と前記実罫線を用いて算出される実格子点（図３の３１７ａ〜３４１ａ）と前記理想コーナー点と前記理想エッジ点と前記理想罫線を用いて算出されるそれぞれの実格子点に対応した理想格子点（図３の３１７ｂ〜３４１ｂ）が対となった格子点情報を生成する。以下に格子点情報生成部の動作を図１０のフローチャートを用いて詳細に説明する。まず、コーナー点情報とエッジ点情報を用いて格子点情報を生成する（ステップ１００１）。
【００４４】
格子点情報は図１１の１１０４に示す（M＋１）×（N＋１）の行列の形式で生成される。ここで、格子点情報の表記を簡略化するためにs行t列の格子点情報を [s，t]と表記する。ここで、0＜s＜Mであり、0＜t＜Nである。[s，t]には実格子点の座標(X,Y)と理想格子点の座標(X,Y)が格納される。
【００４５】
最初にコーナー点情報とエッジ点情報が行列に格納される。格納方法は、実コーナー点の場合は実コーナー点の座標(X,Y)が実格子点の座標(X,Y)に、理想コーナー点の座標(X,Y)が理想格子点の座標(X,Y)にそれぞれ格納される。すなわち、左上コーナー点情報が[0，0]に、右上コーナー点情報が[0，N]に、左下コーナー点情報が[M，0]に、右下コーナー点情報が[M，N]に格納される。また、エッジ点情報の場合は実エッジ点の座標(X,Y)が実格子点の座標(X,Y)に、理想エッジ点の座標(X,Y)が理想格子点の座標(X,Y)にそれぞれ格納される。すなわち、上端エッジ情報が[0，1]〜[0，N-1]に、下端エッジ情報が[M，1]〜[M，N-1]に、左端エッジ情報が[1，0]〜[M-1，0]に、右端エッジ情報が[1，N]〜[M-1，N]に図１１の１１０２の番号順に格納される。
【００４６】
次に上記以外の格子点情報を生成する。 [s，0]の実格子点のX,Y座標をそれぞれx1，y1とし、 [s，N]の実格子点のX,Y座標をそれぞれx2，y2とすると、 [s，t]の実格子点のX座標は数式４より求める。
【００４７】
【数４】
また、 [0，t]の実格子点のX，Y座標をそれぞれx3，y3とし、 [M，t]の実格子点のX，Y座標をそれぞれx4，y4とすると、 [s，t]の実格子点のY座標は数式５より求める。
【００４９】
【数５】
理想格子点についても実格子点と同様の方法で求めることができる。これにより、全ての格子点情報が生成される。
【００５１】
次に、以上のように生成された格子点情報を前記罫線情報を用いて精度を向上させる方法について説明する。最初に罫線情報の実罫線を用いて格子点情報の実格子点の位置を調整する。まず、横実罫線による実格子点の位置を調整する。i番目の横実罫線hiの中点を求め、その中点と最も近い [Si，Ti]を実格子点を用いて求める（ステップ１００２）。次に、 [Si-1，Ti]の実格子点と [Si+1，Ti]の実格子点を結ぶ線分と横実罫線hiとの交点ｄを求める（ステップ１００３）。次に [Si，Ti]の実格子点と交点ｄとのY方向の変化量を求める（ステップ１００４）。そして、求めたY方向の変化量をSi行全ての実格子点のY座標に加算する（ステップ１００５）。全ての横実罫線が終了していなければステップ１００２からi+1番目の横実罫線に対して同様の処理を行う（ステップ１００６）。全ての横実罫線が終了すると、ステップ１００２で求めたSi行とSi+1行の間に位置する実格子点のY座標について位置を調整する（ステップ１００７）。調整方法は、[Si，t]（0≦t≦N）の実格子点のX，Y座標をそれぞれx1，y1とし、 [Si+1，t]の実格子点のX，Y座標をそれぞれx2，y2すると、 [s，t]の実格子点のY座標は数式６より求める。
【００５２】
【数６】
横実罫線による実格子点の位置調整が終了すると、次に縦実罫線による実格子点の位置を調整する。j番目の縦実罫線vjの中点を求め、その中点と最も近い[Sj，Tj]を実格子点を用いて求める（ステップ１００８）。次に、 [Sj，Tj-1]の実格子点と[Sj，Tj+1]の実格子点を結ぶ線分と縦実罫線viとの交点ｄを求める（ステップ１００９）。次に[Sj，Tj]の実格子点と交点ｄとのX方向の変化量を求める（ステップ１０１０）。そして、求めたX方向の変化量をTj列全ての実格子点のX座標に加算する（ステップ１０１１）。全ての縦実罫線が終了していなければステップ１００８からj+1番目の縦実罫線に対して同様の処理を行う（ステップ１０１２）。全ての縦実罫線が終了すると、ステップ１００８で求めたTj列とTj+1列の間に位置する実格子点のX座標について位置を調整する（ステップ１０１３）。調整方法は、[s，Ti ]（0≦s≦M）の実格子点のX，Y座標をそれぞれx3，y3とし、 [s，Ti+1]の実格子点のX，Y座標をそれぞれx4，y4すると、 [s，t]の実格子点のX座標は数式７より求める。
【００５４】
【数７】
これにより、罫線情報の実罫線を用いて格子点情報の実格子点の位置が調整される。次に罫線情報の理想罫線を用いて格子点情報の理想格子点の位置を調整する。調整方法は、上記の実格子点の調整方法と同様の処理を行うことにより調整することができる。
【００５６】
以上の処理を実行して格子点情報の実格子点と理想格子点の位置を調整することにより、精度を向上させた格子点情報が生成される。
【００５７】
次に、イメージ補正部１０６では、格子点情報生成部１０５で生成された格子点情報を用いて画像の補正を行う（ステップ２０６）。以下にイメージ補正部の動作を図１２のフローチャートを用いて詳細に説明する。
【００５８】
まず、格子点情報を複数の領域に分割する（ステップ１２０１）。分割方法は図１６に示すように行列の形式で生成された格子点情報について行をK1(約16)個に分割し、列をK2(約16)個に分割する。すなわち、K1×K2個の領域に分割する。なお、領域内に含まれる格子点情報の個数は後述する変換行列を算出するために８個以上の格子点情報が含まれる必要があるが、各領域の格子点情報の個数が一定である必要はない。また、領域と領域との境界となる格子点情報（境界格子点情報）は、両方の領域に含まれるようにする。次に、ある領域に含まれる全ての格子点情報を用いて格子点情報の実格子点が理想格子点に変換されるような数式８に示す変換行列Ｈを算出する（ステップ１２０２）。
【００５９】
【数８】
以下に８個のパラメータｍ1〜ｍ8の算出方法を示す。実格子点の座標を(xi,yi)、理想格子点の座標を(ui,vi)とし、その関係を数式９の線形の式で与えられるとする。ここで数式９のＲは格子点情報の個数であり、(M＋１)×(N＋１)個である。
【００６１】
【数９】
全ての格子点情報を数式９に代入すると数式１０となる。
【００６３】
【数１０】
数式１０のそれぞれについて最小２乗法を用いて求めることによりｍ1〜ｍ8を算出できる（非特許文献１より）。そして、得られた変換行列を用いて数式１１により部分画像の補正(変換)を行う（ステップ１２０３）。ここで、（x’,y’）は歪みを含んだ（補正前）座標系の点であり、(x,y)が歪みの無い（補正後）座標系の点である。
【００６５】
【数１１】
なお、境界格子点情報の理想格子点の座標に位置する画素については関係するそれぞれの領域の変換行列から求まる濃度値の平均とする。全ての領域が完了していない場合、ステップ１２０２から他の領域に対して同様の処理を行い、全ての領域が完了した場合は処理を終了する。これにより、帳票イメージの歪みが補正される。
【００６７】
（発明の第２の実施の形態）
図１３は本発明の第２の実施の形態における画像補正装置の構成を示すブロック図である。図１４はこの画像補正装置における動作を示すフローチャートである。上記第１の実施の形態との装置構成における相違点は、図１３において、歪みパターン判定部１１０が追加されている点である。また、イメージ補正部１０６が歪みパターン判定部１１０の出力を受けて、歪み補正を行うか否かを決定する点である。
【００６８】
歪みパターン判定部１１０は画像保存メモリ１０７に格納されている帳票イメージとエッジ点情報生成部１０３によって生成されたエッジ点情報を用いて曲率を算出し、歪みパターン情報を生成する。歪みパターン情報は、「帳票歪み無し」，「帳票浮きによる歪み有り」，「帳票折れによる歪み有り」，の３つのパターンを表すフラグと曲率が最大となるエッジ点情報から構成されている。なお、歪みパターン情報は、イメージ補正部１０６に出力される。
【００６９】
次に、本発明の第２の実施の形態の動作を説明する。動作はステップ２０１〜２０５まで第１の実施の形態と同じである。以下では動作の相違点についてのみ説明する。図１４において、ステップ２０７とステップ２０８が新たに追加されたステップであり、ステップ２０６ａが上記ステップ２０６に歪みパターン情報を利用するように変更したステップである。
【００７０】
ステップ２０７では、まずエッジ点情報生成部１０３によって生成されたエッジ点情報を用いて曲率を算出する。曲率Cの算出方法は、曲率を求めようとする実エッジ点の左右(上下)にそれぞれk(約5)個のエッジ点を取り、数式１２より求める。
【００７１】
【数１２】
これを全ての実エッジ点に対して行い、それらの曲率の最大値を算出する。なお、左右(上下)にk個のエッジ点が取れないエッジ点についてはＣ=0とする。曲率の最大値がT1(約2.0)より小さければ歪みパターンフラグを１（帳票歪み無し）にする。曲率の最大値がT1より大きくT2(約10.0)より小さければ歪みパターンフラグを２（帳票浮きによる歪み）とする。曲率の最大値がT2より大きければフラグ３（帳票折れによる歪み）とする。また、曲率の最大値となったエッジ点情報も歪みパターン情報に登録する。以上の処理は歪みパターン判定部１１０で実行される。
【００７３】
ステップ２０８では、歪みパターン情報のフラグが１であれば、補正処理を行わずに帳票イメージをそのまま出力する。歪みパターン情報のフラグが１以外の場合はステップ２０４以降の処理を実行する。
【００７４】
ステップ２０６ａでは、上記ステップ２０６に歪みパターン情報を利用するように図１２のステップ１２０１に示す格子点情報の領域分割の方法を変更する。まず、ステップ１２０１の通りに格子点情報を分割する。次に、歪みパターン情報のフラグが３（帳票折れによる歪み有り）の場合、歪みパターン情報に登録されているエッジ点情報に対応する格子点情報が図１６の１６０１であるとき、図１７に示すように１６０１の格子点情報が領域と領域との境界となる格子点情報（境界格子点情報）になるように変更する。変更方法は、境界格子点情報にしたい格子点情報と今ある境界格子点情報の位置をそれぞれ比較し、最も近い今ある境界格子点情報を算出することにより変更する。以上の処理はイメージ補正部１０６で行われる。
【００７５】
以上に述べたように、第１の実施の形態では歪みが無く、補正する必要がなくても画像補正を行っていたが、第２の実施の形態では歪みの有無を検証し、補正する必要があるときのみ画像補正を行うため、運用時の処理時間の軽減が可能となる。また、格子点情報の領域分割において境界位置を変更することにより、歪みが大きい場合でも第１の実施の形態に比べて精度良い補正が可能となる。
【００７６】
【発明の効果】
以上説明したように、本発明には以下の効果がある。
【００７７】
第１の効果は、文字読み取り装置において、撮影された画像が帳票浮きや帳票折れのために歪みが生じている場合でも読み取り可能な画像を提供できる点である。その理由は、図１に示すように非線形の歪みに対して精度良く補正を行う手段を有しているためである。
【００７８】
第２の効果は、文字読み取り装置において、撮影された画像がずれたり、傾いたり、伸縮などの歪みが生じる場合でも読み取り可能な画像を提供できる点である。その理由は、図１に示すように線形の歪みに対しても精度良く補正を行う手段を有しているためである。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態による画像補正装置のブロック図である。
【図２】本発明の第１の実施の形態の処理手順を示すフローチャートである。
【図３】コーナー点情報とエッジ点情報を例示する図である。
【図４】コーナー点を抽出するときの探索方法を示す図である。
【図５】コーナー点情報生成部の処理手順を示すフローチャートである。
【図６】エッジ点情報生成部の処理手順を示すフローチャートである。
【図７】エッジ点情報生成部で水平方向のエッジ点の抽出方法を例示した図である。
【図８】エッジ点情報生成部で垂直方向のエッジ点の抽出方法を例示した図である。
【図９】罫線情報生成部の処理手順を示すフローチャートである。
【図１０】格子点情報生成部の処理手順を示すフローチャートである。
【図１１】コーナー点情報、エッジ点情報、罫線情報、格子点情報の書式を例示した図である。
【図１２】イメージ補正部の処理手順を示すフローチャートである。
【図１３】本発明の第２の実施の形態による画像補正装置のブロック図である。
【図１４】本発明の第２の実施の形態の処理手順を示すフローチャートである。
【図１５】罫線情報生成部での実罫線の抽出方法を例示した図である。
【図１６】イメージ補正部での領域分割の方法を例示した図である。
【図１７】イメージ補正部での歪みパターン情報を用いた領域分割の方法を例示した図である。
【符号の説明】
１０１ 帳票イメージ入力部
１０２ コーナー点情報生成部
１０３ エッジ点情報生成部
１０４ 罫線情報生成部
１０５ 格子点情報生成部
１０６ イメージ補正部
１０７ 画像保存メモリ
１０８ 帳票情報保存メモリ
１０９ 理想罫線保存メモリ
１１０ 歪みパターン判定部
３０１ａ〜３０４ａ 実コーナー点
３０１ｂ〜３０４ｂ 理想コーナー点
３０５ａ〜３１６ａ 実エッジ点
３０５ｂ〜３１６ｂ 理想エッジ点
３１７ａ〜３４０ａ 実格子点
３１７ｂ〜３４０ｂ 理想格子点
７０１〜７０３、８０１〜８０３ 点
１１０１ コーナー点情報の書式
１１０２ エッジ点情報の書式
１１０３ 罫線情報の書式
１１０４ 格子点情報の書式
１５０１ 二値画像
１５０２ ヒストグラムの最頻値
１６０１ 格子点情報（境界格子点情報）
Ｈ１ａ〜Ｈ３ａ 実罫線
Ｈ１ｂ〜Ｈ３ｂ 理想罫線
Ｖ１ａ〜Ｖ３ａ 実罫線
Ｖ１ｂ〜Ｖ３ｂ 理想罫線
Claims (6)
- 卓上に置かれて折れ曲がったり反ったりしている空間的な曲がりを有する帳票を該帳票から離れた位置に該帳票に対向するように設置された非接触型スキャナで読み取った画像に含まれる歪みを補正する画像補正装置であって、
処理対象の帳票を帳票イメージとして入力するための帳票イメージ入力部と、
入力された帳票イメージを保持する画像保存メモリと、
前記帳票の寸法をあらかじめ保持した帳票情報保存メモリと、
前記帳票上の正確な罫線（理想罫線）座標をあらかじめ保持した理想罫線保存メモリと、
前記画像保存メモリ内の帳票イメージから帳票の４隅の点であるコーナー点（実コーナー点）座標を検出するとともに、前記帳票情報保存メモリ内の前記帳票の寸法からもコーナー点（理想コーナー点）座標を算出するコーナー点情報生成部と、
前記帳票イメージから前記実コーナー点座標を手掛りとして複数のエッジ点（実エッジ点）座標を検出するとともに、該実エッジ点に対応するエッジ点（理想エッジ点）座標を前記理想コーナー点座標から算出しエッジ点情報を生成するエッジ点情報生成部と、
前記帳票イメージから罫線（実罫線）座標を検出するとともに、該罫線を前記理想罫線保存メモリに保持された罫線（理想罫線）座標と対応付ける罫線情報生成部と、
前記実コーナー点と前記実エッジ点と前記実罫線とを用いて算出される格子点（実格子点）座標と前記理想コーナー点と前記理想エッジ点と前記理想罫線とを用いて算出される格子点（理想格子点）座標が対となった格子点情報を生成する格子点情報生成部と、
前記エッジ点情報を用いて歪みの状態を判定する歪みパターン判定部と、
前記格子点情報と前記歪みの状態の判定の結果とを用いて変換行列を生成し、画像に含まれる歪みを補正するイメージ補正部とを備えている画像補正装置。 - 前記歪みパターン判定部は、前記画像保存メモリに格納されている帳票イメージと前記エッジ点情報生成部によって生成されたエッジ点情報とを用いて曲率を算出し、歪みパターン情報を生成し、該歪みパターン情報は、「帳票歪み無し」と、「帳票浮きによる歪み有り」と、「帳票折れによる歪み有り」との３つのパターンを表すフラグと曲率が最大となるエッジ点情報とから構成され、前記歪みパターン情報は、前記イメージ補正部に出力され、
該イメージ補正部は、前記歪みパターン判定部の出力を受けて、歪み補正を行うか否かを決定する、請求項１に記載の画像補正装置。 - 前記イメージ補正部は、前記格子点情報を複数の領域に分割し、
前記歪みパターン情報のフラグが「帳票折れによる歪み有り」の場合、前記歪みパターン情報に登録されているエッジ点情報に対応する格子点情報が、領域と領域との境界となる格子点情報（境界格子点情報）になるように変更し、該変更方法は、境界格子点情報にしたい格子点情報と今ある境界格子点情報の位置をそれぞれ比較し、最も近い今ある境界格子点情報を算出することにより変更する、請求項２に記載の画像補正装置。 - 卓上に置かれて折れ曲がったり反ったりしている空間的な曲がりを有する帳票を該帳票から離れた位置に該帳票に対向するように設置された非接触型スキャナで読み取った画像に含まれる歪みを補正する画像補正方法であって、
帳票イメージ入力部により、処理対象の帳票を帳票イメージとして入力し、
入力された帳票イメージを画像保存メモリに保持し、
前記帳票の寸法を帳票情報保存メモリにあらかじめ保持し、
前記帳票上の正確な罫線（理想罫線）座標を理想罫線保存メモリにあらかじめ保持し、
コーナー点情報生成部により、前記画像保存メモリ内の帳票イメージから帳票の４隅の点であるコーナー点（実コーナー点）座標を検出するとともに、前記帳票情報保存メモリ内の前記帳票の寸法からもコーナー点（理想コーナー点）座標を算出し、
エッジ点情報生成部により、前記帳票イメージから前記実コーナー点座標を手掛りとして複数のエッジ点（実エッジ点）座標を検出するとともに、該実エッジ点に対応するエッジ点（理想エッジ点）座標を前記理想コーナー点座標から算出しエッジ点情報を生成し、
罫線情報生成部により、前記帳票イメージから罫線（実罫線）座標を検出するとともに、該罫線を前記理想罫線保存メモリに保持された罫線（理想罫線）座標と対応付け、
格子点情報生成部により、前記実コーナー点と前記実エッジ点と前記実罫線とを用いて算出される格子点（実格子点）座標と前記理想コーナー点と前記理想エッジ点と前記理想罫線とを用いて算出される格子点（理想格子点）座標が対となった格子点情報を生成し、
歪みパターン判定部により、前記エッジ点情報を用いて歪みの状態を判定し、
イメージ補正部により、前記格子点情報と前記歪みの状態の判定の結果とを用いて変換行列を生成し、画像に含まれる歪みを補正する、画像補正方法。 - 前記歪みパターン判定部は、前記画像保存メモリに格納されている帳票イメージと前記エッジ点情報生成部によって生成されたエッジ点情報とを用いて曲率を算出し、歪みパターン情報を生成し、該歪みパターン情報は、「帳票歪み無し」と、「帳票浮きによる歪み有り」と、「帳票折れによる歪み有り」との３つのパターンを表すフラグと曲率が最大となるエッジ点情報とから構成され、前記歪みパターン情報は、前記イメージ補正部に出力され、
該イメージ補正部は、前記歪みパターン判定部の出力を受けて、歪み補正を行うか否かを決定する、請求項４に記載の画像補正方法。 - 前記イメージ補正部は、前記格子点情報を複数の領域に分割し、
前記歪みパターン情報のフラグが「帳票折れによる歪み有り」の場合、前記歪みパターン情報に登録されているエッジ点情報に対応する格子点情報が、領域と領域との境界となる格子点情報（境界格子点情報）になるように変更し、該変更方法は、境界格子点情報にしたい格子点情報と今ある境界格子点情報の位置をそれぞれ比較し、最も近い今ある境界格子点情報を算出することにより変更する、請求項５に記載の画像補正方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003012282A JP4013060B2 (ja) | 2003-01-21 | 2003-01-21 | 画像補正方法および画像補正装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003012282A JP4013060B2 (ja) | 2003-01-21 | 2003-01-21 | 画像補正方法および画像補正装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004228759A JP2004228759A (ja) | 2004-08-12 |
| JP4013060B2 true JP4013060B2 (ja) | 2007-11-28 |
Family
ID=32900942
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003012282A Expired - Fee Related JP4013060B2 (ja) | 2003-01-21 | 2003-01-21 | 画像補正方法および画像補正装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4013060B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101377910B1 (ko) | 2011-06-15 | 2014-03-24 | 후지쯔 가부시끼가이샤 | 화상 처리 방법 및 화상 처리 장치 |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3857709B2 (ja) * | 2005-01-07 | 2006-12-13 | 株式会社東芝 | 画像情報取得装置、画像情報取得方法およびプログラム |
| CN101458814B (zh) * | 2007-12-13 | 2012-02-01 | 东软集团股份有限公司 | 一种用于从图像中分割对象感兴趣区域的方法和装置 |
| JP5153593B2 (ja) | 2008-12-02 | 2013-02-27 | 株式会社Ｐｆｕ | 画像処理装置および画像処理方法 |
| JP6010870B2 (ja) | 2013-12-24 | 2016-10-19 | カシオ計算機株式会社 | 画像補正装置、及び画像補正方法、プログラム |
| JP6225096B2 (ja) * | 2014-10-30 | 2017-11-01 | 富士通フロンテック株式会社 | 帳票読取プログラム、帳票読取方法、および情報処理装置 |
| CN107944438B (zh) * | 2017-12-08 | 2020-09-25 | 维沃移动通信有限公司 | 一种文档图像校正方法及移动终端 |
| JP7076216B2 (ja) * | 2018-01-30 | 2022-05-27 | トッパン・フォームズ株式会社 | 撮像制御装置、撮像制御方法、及びプログラム |
| CN111860489A (zh) * | 2019-12-09 | 2020-10-30 | 北京嘀嘀无限科技发展有限公司 | 一种证件图像校正方法、装置、设备及存储介质 |
| CN112633275B (zh) * | 2020-12-22 | 2023-07-18 | 航天信息股份有限公司 | 一种基于深度学习的多票据混拍图像校正方法及*** |
| CN113076607B (zh) * | 2021-03-30 | 2024-05-03 | 上海华力微电子有限公司 | 化学机械研磨工艺模型的预测方法 |
| CN114013334B (zh) * | 2021-11-09 | 2023-09-15 | 成都工贸职业技术学院 | 一种新能源汽车电池物态检测处理装置 |
-
2003
- 2003-01-21 JP JP2003012282A patent/JP4013060B2/ja not_active Expired - Fee Related
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101377910B1 (ko) | 2011-06-15 | 2014-03-24 | 후지쯔 가부시끼가이샤 | 화상 처리 방법 및 화상 처리 장치 |
| US9077926B2 (en) | 2011-06-15 | 2015-07-07 | Fujitsu Limited | Image processing method and image processing apparatus |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004228759A (ja) | 2004-08-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9805281B2 (en) | Model-based dewarping method and apparatus | |
| JP5082637B2 (ja) | 画像処理プログラム、画像処理方法及び画像処理装置 | |
| JP5934762B2 (ja) | 文字の形状特徴を使用した文字比較による文書改変検知方法、コンピュータプログラム、記録媒体および情報処理装置 | |
| JP5387193B2 (ja) | 画像処理システム、画像処理装置およびプログラム | |
| JP3278471B2 (ja) | 領域分割方法 | |
| JP2012243307A (ja) | 入力画像における歪を検出する方法、入力画像における歪を検出する装置およびコンピューター読み取り可能な媒体 | |
| JP4013060B2 (ja) | 画像補正方法および画像補正装置 | |
| CN109948135B (zh) | 一种基于表格特征归一化图像的方法及设备 | |
| US7079265B2 (en) | Distortion correction device for correcting imaged object to produce plane image without distortion | |
| CN111353961A (zh) | 一种文档曲面校正方法及装置 | |
| CN115619656A (zh) | 数字化档案纠偏矫正方法及*** | |
| CN108197624A (zh) | 证书图像校正识别方法及装置、计算机存储介质 | |
| JPH10285379A (ja) | 原稿角度補正方法及び原稿角度補正装置 | |
| JP5844698B2 (ja) | 文字認識装置 | |
| KR20060033973A (ko) | 어파인 변환을 이용한 문서 영상의 기하학적 왜곡 보정장치 및 방법 | |
| JP5563390B2 (ja) | 画像処理装置およびその制御方法、及びプログラム | |
| JP2002077578A (ja) | 歪み補正装置およびその方法ならびに歪み補正プログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| CN115578729B (zh) | 数字员工ai智能流程编排方法 | |
| JP3709991B2 (ja) | 楽譜認識装置 | |
| JPH11288453A (ja) | 再生用のスキャン環境における原稿画像のスキュ―角度および黒い境界線を検出する方法およびシステム | |
| JP2008258980A (ja) | 画像情報処理装置および画像傾斜角度算出方法 | |
| CN117292389A (zh) | 应用于扫描识别的小数点数字识别***、方法及电子设备 | |
| JP3915974B2 (ja) | 画像処理装置、画像処理方法、プログラム及び記録媒体 | |
| JPH11250179A (ja) | 文字認識装置および文字認識方法 | |
| JP2009272728A (ja) | 画像補正装置、画像補正方法、画像補正プログラム及び記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20050106 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20050106 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051115 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20060130 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070517 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070523 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070717 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070815 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070828 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100921 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |