JPH10124684A - 画像処理方法,記憶媒体及び画像処理装置 - Google Patents
画像処理方法,記憶媒体及び画像処理装置Info
- Publication number
- JPH10124684A JPH10124684A JP8273836A JP27383696A JPH10124684A JP H10124684 A JPH10124684 A JP H10124684A JP 8273836 A JP8273836 A JP 8273836A JP 27383696 A JP27383696 A JP 27383696A JP H10124684 A JPH10124684 A JP H10124684A
- Authority
- JP
- Japan
- Prior art keywords
- image
- corresponding point
- conversion
- partial
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Analysis (AREA)
Abstract
(57)【要約】
【課題】 伸縮,スキュー,位置ずれ等の部分的な画像
の歪みに対応可能な画像処理方法及び画像処理装置を提
供することを目的とする。 【解決手段】 2つの画像間で複数の対応点を抽出し,
抽出された対応点のずれを用いて2つの画像間の変換式
を算出するといった画像処理を行う場合に,対応点抽出
手段111〜113により,2つの画像間で複数の対応
点を抽出し,対応点移動ベクトル算出手段115によ
り,抽出された対応点から対応点移動ベクトルを算出
し,クラスタリング手段116により,対応点移動ベク
トルを対象として,大きさと方向の近い対応点移動ベク
トルが同じクラスタに分類されるようにクラスタリング
処理を行い,部分画像変換式算出手段117により,各
クラスタ内の対応点移動ベクトル毎に部分画像の変換式
を算出する。
の歪みに対応可能な画像処理方法及び画像処理装置を提
供することを目的とする。 【解決手段】 2つの画像間で複数の対応点を抽出し,
抽出された対応点のずれを用いて2つの画像間の変換式
を算出するといった画像処理を行う場合に,対応点抽出
手段111〜113により,2つの画像間で複数の対応
点を抽出し,対応点移動ベクトル算出手段115によ
り,抽出された対応点から対応点移動ベクトルを算出
し,クラスタリング手段116により,対応点移動ベク
トルを対象として,大きさと方向の近い対応点移動ベク
トルが同じクラスタに分類されるようにクラスタリング
処理を行い,部分画像変換式算出手段117により,各
クラスタ内の対応点移動ベクトル毎に部分画像の変換式
を算出する。
Description
【0001】
【発明の属する技術分野】本発明は,FAXOCR装置
等における画像認識,文字認識等の画像処理方法及びF
AXOCR装置等の画像処理装置に係り,特に,複数の
対応点を用いて位置ずれ/回転/変倍のある帳票や文書
画像等の画像の位置合わせを行う際に,画像中に歪みが
存在する場合でも,できる限り精度良く画像の位置合わ
せを行うことができ,伸縮,スキュー,位置ずれ等の部
分的な画像の歪みに対応可能な画像処理方法及び画像処
理装置に関する。
等における画像認識,文字認識等の画像処理方法及びF
AXOCR装置等の画像処理装置に係り,特に,複数の
対応点を用いて位置ずれ/回転/変倍のある帳票や文書
画像等の画像の位置合わせを行う際に,画像中に歪みが
存在する場合でも,できる限り精度良く画像の位置合わ
せを行うことができ,伸縮,スキュー,位置ずれ等の部
分的な画像の歪みに対応可能な画像処理方法及び画像処
理装置に関する。
【0002】ここに,FAXOCR装置は,ファクシミ
リで送られてきた画像中から必要な記載事項を切り出
し,文字認識処理を行ってデータとして出力するもので
あり,特にここでは,ファクシミリにより送られてきた
帳票等の画像を取り込み,画像認識処理として,該画像
(入力画像)と同種の参照画像とを位置合わせした後,
入力画像中の必要な記載事項を切り出し,文字認識処理
を行って文字データとして出力する例について取り扱わ
れる。
リで送られてきた画像中から必要な記載事項を切り出
し,文字認識処理を行ってデータとして出力するもので
あり,特にここでは,ファクシミリにより送られてきた
帳票等の画像を取り込み,画像認識処理として,該画像
(入力画像)と同種の参照画像とを位置合わせした後,
入力画像中の必要な記載事項を切り出し,文字認識処理
を行って文字データとして出力する例について取り扱わ
れる。
【0003】
【従来の技術】典型的なFAXOCRに関する従来技術
としては,特開平3−189783号公報で開示されて
いる「ファクシミリ画像用文字認識装置」(第1の従来
例)がある。この第1の従来例では,文字の記入されて
いる黒文字枠を抽出し,該黒文字枠を消去してから中の
文字画像を認識するものである。尚,本従来例では,枠
の左右に印字されている基準マークを検出して,黒文字
枠を抽出している。
としては,特開平3−189783号公報で開示されて
いる「ファクシミリ画像用文字認識装置」(第1の従来
例)がある。この第1の従来例では,文字の記入されて
いる黒文字枠を抽出し,該黒文字枠を消去してから中の
文字画像を認識するものである。尚,本従来例では,枠
の左右に印字されている基準マークを検出して,黒文字
枠を抽出している。
【0004】しかしながら,FAXOCR装置等におい
ては画像の歪みなどが生じる場合があり,基準マークか
ら位置ずれやスキューを抽出して補正するのみでは,画
像全体に対する位置合わせの精度が保証されない場合が
ある。
ては画像の歪みなどが生じる場合があり,基準マークか
ら位置ずれやスキューを抽出して補正するのみでは,画
像全体に対する位置合わせの精度が保証されない場合が
ある。
【0005】このような問題を解決するべく,画像中の
複数の位置でスキューを検出し,部分的にスキュー補正
をかける技術が,特開平4−255087号公報で開示
の「文字読取装置」(第2の従来例)に示されている。
複数の位置でスキューを検出し,部分的にスキュー補正
をかける技術が,特開平4−255087号公報で開示
の「文字読取装置」(第2の従来例)に示されている。
【0006】しかしながら,画像の歪みはスキューのみ
ではなく,画像の伸縮に関して生じる場合もあり,様々
な歪みに対して同時に対応可能な手法を用いることが好
ましい。
ではなく,画像の伸縮に関して生じる場合もあり,様々
な歪みに対して同時に対応可能な手法を用いることが好
ましい。
【0007】また,特開昭59−218573号公報で
開示の「画像位置合わせ方式」(第3の従来例)に示さ
れている従来技術では,対応点の移動ベクトルに注目し
て,特異な動きをする移動ベクトルを削除する方法が示
されている。このように対応点の移動ベクトルに注目し
た場合,スキューのみではなく,位置ずれ伸縮に関する
画像の歪みの問題も同時に取扱うことができる。但し,
本従来例は,医療画像処理の分野での技術であり,FA
XOCR装置等の文書画像の分野では,本従来例のよう
に格子上にきれいに対応点を抽出することは困難であ
る。
開示の「画像位置合わせ方式」(第3の従来例)に示さ
れている従来技術では,対応点の移動ベクトルに注目し
て,特異な動きをする移動ベクトルを削除する方法が示
されている。このように対応点の移動ベクトルに注目し
た場合,スキューのみではなく,位置ずれ伸縮に関する
画像の歪みの問題も同時に取扱うことができる。但し,
本従来例は,医療画像処理の分野での技術であり,FA
XOCR装置等の文書画像の分野では,本従来例のよう
に格子上にきれいに対応点を抽出することは困難であ
る。
【0008】
【発明が解決しようとする課題】以上のように,上記第
1の従来例の画像処理装置にあっては,画像の歪みなど
が生じる場合に,基準マークから位置ずれやスキューを
抽出して補正するのみでは,画像全体に対する位置合わ
せの精度が保証されない場合があるという問題点があっ
た。
1の従来例の画像処理装置にあっては,画像の歪みなど
が生じる場合に,基準マークから位置ずれやスキューを
抽出して補正するのみでは,画像全体に対する位置合わ
せの精度が保証されない場合があるという問題点があっ
た。
【0009】また,第2の従来例の画像処理装置にあっ
ては,画像の歪みはスキューのみではなく,画像の伸縮
に関して生じる場合もあり,スキュー以外の他の歪みの
原因に対応できないという問題点があった。
ては,画像の歪みはスキューのみではなく,画像の伸縮
に関して生じる場合もあり,スキュー以外の他の歪みの
原因に対応できないという問題点があった。
【0010】更に,第3の従来例の画像処理装置にあっ
ては,スキュー,位置ずれ伸縮に関する画像の歪みの問
題に同時に対応できるが,文書画像の分野に適用した場
合,正確に対応点を抽出することが難しいという問題点
があった。
ては,スキュー,位置ずれ伸縮に関する画像の歪みの問
題に同時に対応できるが,文書画像の分野に適用した場
合,正確に対応点を抽出することが難しいという問題点
があった。
【0011】本発明は,上記従来の問題点に鑑みてなさ
れたものであって,複数の対応点を用いて位置ずれ/回
転/変倍のある帳票や文書画像等の画像の位置合わせを
行う際に,画像中に歪みが存在する場合でも,できる限
り精度良く画像の位置合わせを行うことのできる画像処
理方法及び画像処理装置を提供することを目的としてい
る。
れたものであって,複数の対応点を用いて位置ずれ/回
転/変倍のある帳票や文書画像等の画像の位置合わせを
行う際に,画像中に歪みが存在する場合でも,できる限
り精度良く画像の位置合わせを行うことのできる画像処
理方法及び画像処理装置を提供することを目的としてい
る。
【0012】
【課題を解決するための手段】上記課題を解決するため
に,本発明の請求項1に係る画像処理方法は,2つの画
像間で複数の対応点を抽出し,抽出された対応点のずれ
を用いて2つの画像間の変換式を算出する画像処理方法
において,前記2つの画像間で複数の対応点を抽出する
対応点抽出ステップと,抽出された対応点から対応点移
動ベクトルを算出する対応点移動ベクトル算出ステップ
と,前記対応点移動ベクトルを対象として,大きさと方
向の近い対応点移動ベクトルが同じクラスタに分類され
るようにクラスタリング処理を行うクラスタリングステ
ップと,前記各クラスタ内の対応点移動ベクトル毎に部
分画像の変換式を算出する部分画像変換式算出ステップ
とを備えたものである。
に,本発明の請求項1に係る画像処理方法は,2つの画
像間で複数の対応点を抽出し,抽出された対応点のずれ
を用いて2つの画像間の変換式を算出する画像処理方法
において,前記2つの画像間で複数の対応点を抽出する
対応点抽出ステップと,抽出された対応点から対応点移
動ベクトルを算出する対応点移動ベクトル算出ステップ
と,前記対応点移動ベクトルを対象として,大きさと方
向の近い対応点移動ベクトルが同じクラスタに分類され
るようにクラスタリング処理を行うクラスタリングステ
ップと,前記各クラスタ内の対応点移動ベクトル毎に部
分画像の変換式を算出する部分画像変換式算出ステップ
とを備えたものである。
【0013】また,請求項2に係る画像処理方法は,2
つの画像間で複数の対応点を抽出し,抽出された対応点
のずれを用いて2つの画像間の変換式を算出する画像処
理方法において,前記2つの画像間で複数の対応点を抽
出する対応点抽出ステップと,抽出された対応点を用い
て,該対応点のずれにより前記2つの画像間の変換式を
算出する画像変換式算出ステップと,前記画像変換式に
基づいて画像を変換する画像変換ステップと,前記変換
した画像間の対応点から対応点移動ベクトルを算出する
対応点移動ベクトル算出ステップと,前記対応点移動ベ
クトルを対象として,方向の近い対応点移動ベクトルが
同じクラスタに分類されるようにクラスタリング処理を
行うクラスタリングステップと,前記各クラスタ内の対
応点移動ベクトル毎に部分画像の変換式を算出する部分
画像変換式算出ステップとを備えたものである。
つの画像間で複数の対応点を抽出し,抽出された対応点
のずれを用いて2つの画像間の変換式を算出する画像処
理方法において,前記2つの画像間で複数の対応点を抽
出する対応点抽出ステップと,抽出された対応点を用い
て,該対応点のずれにより前記2つの画像間の変換式を
算出する画像変換式算出ステップと,前記画像変換式に
基づいて画像を変換する画像変換ステップと,前記変換
した画像間の対応点から対応点移動ベクトルを算出する
対応点移動ベクトル算出ステップと,前記対応点移動ベ
クトルを対象として,方向の近い対応点移動ベクトルが
同じクラスタに分類されるようにクラスタリング処理を
行うクラスタリングステップと,前記各クラスタ内の対
応点移動ベクトル毎に部分画像の変換式を算出する部分
画像変換式算出ステップとを備えたものである。
【0014】また,請求項3に係る画像処理方法は,請
求項1または2記載の画像処理方法において,前記複数
の部分画像変換式を用いてそれぞれの部分変換画像を作
成する部分画像変換ステップと,前記部分変換画像を合
成して変換画像を作成する画像合成ステップとを備え,
前記画像合成ステップは,前記変換画像の各画素から最
も近い対応点を使用して算出した部分画像変換式を用い
て作成した部分変換画像の画素値を,該変換画像の画素
値とするものである。
求項1または2記載の画像処理方法において,前記複数
の部分画像変換式を用いてそれぞれの部分変換画像を作
成する部分画像変換ステップと,前記部分変換画像を合
成して変換画像を作成する画像合成ステップとを備え,
前記画像合成ステップは,前記変換画像の各画素から最
も近い対応点を使用して算出した部分画像変換式を用い
て作成した部分変換画像の画素値を,該変換画像の画素
値とするものである。
【0015】また,請求項4に係る画像処理方法は,請
求項1または2記載の画像処理方法において,前記複数
の部分画像変換式を用いてそれぞれの部分変換画像を作
成する部分画像変換ステップと,前記部分変換画像を合
成して変換画像を作成する画像合成ステップとを備え,
前記画像合成ステップは,変換先の画像と部分変換画像
をそれぞれ細かいメッシュに分けて,各メッシュ内でマ
ッチング処理を行い,該マッチング処理結果が最も一致
する部分変換画像を合成して変換画像を作成するもので
ある。
求項1または2記載の画像処理方法において,前記複数
の部分画像変換式を用いてそれぞれの部分変換画像を作
成する部分画像変換ステップと,前記部分変換画像を合
成して変換画像を作成する画像合成ステップとを備え,
前記画像合成ステップは,変換先の画像と部分変換画像
をそれぞれ細かいメッシュに分けて,各メッシュ内でマ
ッチング処理を行い,該マッチング処理結果が最も一致
する部分変換画像を合成して変換画像を作成するもので
ある。
【0016】また,請求項5に係る画像処理方法は,請
求項1,2,3または4記載の画像処理方法において,
画像に歪みの生じている部分を特定し,歪みの生じてい
る部分については画像の変換式を補間して使用して変換
画像を作成するものである。
求項1,2,3または4記載の画像処理方法において,
画像に歪みの生じている部分を特定し,歪みの生じてい
る部分については画像の変換式を補間して使用して変換
画像を作成するものである。
【0017】また,請求項6に係るコンピュータにより
読み取り可能な記憶媒体は,請求項1,2,3,4また
は5記載の画像処理方法をコンピュータに実行させるた
めのプログラムとして記憶したものである。
読み取り可能な記憶媒体は,請求項1,2,3,4また
は5記載の画像処理方法をコンピュータに実行させるた
めのプログラムとして記憶したものである。
【0018】また,請求項7に係る画像処理装置は,2
つの画像間で複数の対応点を抽出し,抽出された対応点
のずれを用いて前記2つの画像間の変換式を算出して,
前記2つの画像間で位置合わせを行う画像処理装置にお
いて,前記2つの画像間で複数の対応点を抽出する対応
点抽出手段と,抽出された対応点から対応点移動ベクト
ルを算出する対応点移動ベクトル算出手段と,前記対応
点移動ベクトルを対象として,大きさと方向の近い対応
点移動ベクトルが同じクラスタに分類されるようにクラ
スタリング処理を行うクラスタリング手段と,前記各ク
ラスタ内の対応点移動ベクトル毎に部分画像の変換式を
算出する部分画像変換式算出手段とを具備するものであ
る。
つの画像間で複数の対応点を抽出し,抽出された対応点
のずれを用いて前記2つの画像間の変換式を算出して,
前記2つの画像間で位置合わせを行う画像処理装置にお
いて,前記2つの画像間で複数の対応点を抽出する対応
点抽出手段と,抽出された対応点から対応点移動ベクト
ルを算出する対応点移動ベクトル算出手段と,前記対応
点移動ベクトルを対象として,大きさと方向の近い対応
点移動ベクトルが同じクラスタに分類されるようにクラ
スタリング処理を行うクラスタリング手段と,前記各ク
ラスタ内の対応点移動ベクトル毎に部分画像の変換式を
算出する部分画像変換式算出手段とを具備するものであ
る。
【0019】また,請求項8に係る画像処理装置は,2
つの画像間で複数の対応点を抽出し,抽出された対応点
のずれを用いて前記2つの画像間の変換式を算出して,
前記2つの画像間で位置合わせを行う画像処理装置にお
いて,前記2つの画像間で複数の対応点を抽出する対応
点抽出手段と,抽出された対応点を用いて,該対応点の
ずれにより前記2つの画像間の変換式を算出する画像変
換式算出手段と,前記画像変換式に基づいて画像を変換
する画像変換手段と,前記変換した画像間の対応点から
対応点移動ベクトルを算出する対応点移動ベクトル算出
手段と,前記対応点移動ベクトルを対象として,方向の
近い対応点移動ベクトルが同じクラスタに分類されるよ
うにクラスタリング処理を行うクラスタリング手段と,
前記各クラスタ内の対応点移動ベクトル毎に部分画像の
変換式を算出する部分画像変換式算出手段とを具備する
ものである。
つの画像間で複数の対応点を抽出し,抽出された対応点
のずれを用いて前記2つの画像間の変換式を算出して,
前記2つの画像間で位置合わせを行う画像処理装置にお
いて,前記2つの画像間で複数の対応点を抽出する対応
点抽出手段と,抽出された対応点を用いて,該対応点の
ずれにより前記2つの画像間の変換式を算出する画像変
換式算出手段と,前記画像変換式に基づいて画像を変換
する画像変換手段と,前記変換した画像間の対応点から
対応点移動ベクトルを算出する対応点移動ベクトル算出
手段と,前記対応点移動ベクトルを対象として,方向の
近い対応点移動ベクトルが同じクラスタに分類されるよ
うにクラスタリング処理を行うクラスタリング手段と,
前記各クラスタ内の対応点移動ベクトル毎に部分画像の
変換式を算出する部分画像変換式算出手段とを具備する
ものである。
【0020】また,請求項9に係る画像処理装置は,請
求項7または8記載の画像処理装置において,前記画像
処理装置は,前記複数の部分画像変換式を用いてそれぞ
れの部分変換画像を作成する部分画像変換手段と,前記
部分変換画像を合成して変換画像を作成する画像合成手
段とを具備し,前記画像合成手段は,前記変換画像の各
画素から最も近い対応点を使用して算出した部分画像変
換式を用いて作成した部分変換画像の画素値を,該変換
画像の画素値とするものである。
求項7または8記載の画像処理装置において,前記画像
処理装置は,前記複数の部分画像変換式を用いてそれぞ
れの部分変換画像を作成する部分画像変換手段と,前記
部分変換画像を合成して変換画像を作成する画像合成手
段とを具備し,前記画像合成手段は,前記変換画像の各
画素から最も近い対応点を使用して算出した部分画像変
換式を用いて作成した部分変換画像の画素値を,該変換
画像の画素値とするものである。
【0021】また,請求項10に係る画像処理装置は,
請求項7または8記載の画像処理装置において,前記画
像処理装置は,前記複数の部分画像変換式を用いてそれ
ぞれの部分変換画像を作成する部分画像変換手段と,前
記部分変換画像を合成して変換画像を作成する画像合成
手段とを具備し,前記画像合成手段は,変換先の画像と
部分変換画像をそれぞれ細かいメッシュに分けて,各メ
ッシュ内でマッチング処理を行い,該マッチング処理結
果が最も一致する部分変換画像を合成して変換画像を作
成するものである。
請求項7または8記載の画像処理装置において,前記画
像処理装置は,前記複数の部分画像変換式を用いてそれ
ぞれの部分変換画像を作成する部分画像変換手段と,前
記部分変換画像を合成して変換画像を作成する画像合成
手段とを具備し,前記画像合成手段は,変換先の画像と
部分変換画像をそれぞれ細かいメッシュに分けて,各メ
ッシュ内でマッチング処理を行い,該マッチング処理結
果が最も一致する部分変換画像を合成して変換画像を作
成するものである。
【0022】また,請求項11に係る画像処理装置は,
請求項7,8,9または10記載の画像処理装置におい
て,画像に歪みの生じている部分を特定し,歪みの生じ
ている部分については画像の変換式を補間して使用して
変換画像を作成するものである。
請求項7,8,9または10記載の画像処理装置におい
て,画像に歪みの生じている部分を特定し,歪みの生じ
ている部分については画像の変換式を補間して使用して
変換画像を作成するものである。
【0023】また,請求項12に係る画像処理装置は,
請求項7,8,9,10または11記載の画像処理装置
において,前記2つの画像の内の一の画像について予め
与えられている文字画像存在領域の文字データに基づい
て,前記変換画像から文字画像を切り出す文字切り出し
手段を具備するものである。
請求項7,8,9,10または11記載の画像処理装置
において,前記2つの画像の内の一の画像について予め
与えられている文字画像存在領域の文字データに基づい
て,前記変換画像から文字画像を切り出す文字切り出し
手段を具備するものである。
【0024】また,請求項13に係る画像処理装置は,
請求項12記載の画像処理装置において,前記画像処理
装置は,前記文字切り出し手段により得られた文字画像
を認識する文字認識手段を具備するものである。
請求項12記載の画像処理装置において,前記画像処理
装置は,前記文字切り出し手段により得られた文字画像
を認識する文字認識手段を具備するものである。
【0025】更に,請求項12に係る画像処理装置は,
請求項7,8,9,10,11,12または13記載の
画像処理装置において,前記2つの画像の内の他の画像
を,ファクシミリを介して入力された画像としたもので
ある。
請求項7,8,9,10,11,12または13記載の
画像処理装置において,前記2つの画像の内の他の画像
を,ファクシミリを介して入力された画像としたもので
ある。
【0026】
【発明の実施の形態】以下,本発明の画像処理方法及び
画像処理装置の概要について,並びに,本発明の画像処
理方法及び画像処理装置の実施形態について,順に図面
を参照して詳細に説明する。
画像処理装置の概要について,並びに,本発明の画像処
理方法及び画像処理装置の実施形態について,順に図面
を参照して詳細に説明する。
【0027】〔本発明の画像処理方法及び画像処理装置
の概要〕本発明の請求項1に係る画像処理方法及び請求
項7に係る画像処理装置では,2つの画像間で複数の対
応点を抽出し,抽出された対応点のずれを用いて2つの
画像間の変換式を算出するといった画像処理を行う場合
に,図1に示す如く,対応点抽出手段111〜113に
より,2つの画像間で複数の対応点を抽出し(対応点抽
出ステップ),対応点移動ベクトル算出手段115によ
り,抽出された対応点から対応点移動ベクトルを算出し
(対応点移動ベクトル算出ステップ),クラスタリング
手段116により,対応点移動ベクトルを対象として,
大きさと方向の近い対応点移動ベクトルが同じクラスタ
に分類されるようにクラスタリング処理を行い(クラス
タリングステップ),部分画像変換式算出手段117に
より,各クラスタ内の対応点移動ベクトル毎に部分画像
の変換式を算出する(部分画像変換式算出ステップ)よ
うにしている。
の概要〕本発明の請求項1に係る画像処理方法及び請求
項7に係る画像処理装置では,2つの画像間で複数の対
応点を抽出し,抽出された対応点のずれを用いて2つの
画像間の変換式を算出するといった画像処理を行う場合
に,図1に示す如く,対応点抽出手段111〜113に
より,2つの画像間で複数の対応点を抽出し(対応点抽
出ステップ),対応点移動ベクトル算出手段115によ
り,抽出された対応点から対応点移動ベクトルを算出し
(対応点移動ベクトル算出ステップ),クラスタリング
手段116により,対応点移動ベクトルを対象として,
大きさと方向の近い対応点移動ベクトルが同じクラスタ
に分類されるようにクラスタリング処理を行い(クラス
タリングステップ),部分画像変換式算出手段117に
より,各クラスタ内の対応点移動ベクトル毎に部分画像
の変換式を算出する(部分画像変換式算出ステップ)よ
うにしている。
【0028】このように,各対応点の移動ベクトルを算
出して,該対応点移動ベクトルの大きさと方向に注目し
てクラスタリング処理を行い,同一のクラスタ内の対応
点毎に部分画像の変換式を用いて部分的に画像を変換す
るので,画像中に歪みが存在する場合でも画像の位置合
わせの精度を向上させることが可能となる。
出して,該対応点移動ベクトルの大きさと方向に注目し
てクラスタリング処理を行い,同一のクラスタ内の対応
点毎に部分画像の変換式を用いて部分的に画像を変換す
るので,画像中に歪みが存在する場合でも画像の位置合
わせの精度を向上させることが可能となる。
【0029】また,請求項2に係る画像処理方法及び請
求項8に係る画像処理装置では,2つの画像間で複数の
対応点を抽出し,抽出された対応点のずれを用いて2つ
の画像間の変換式を算出するといった画像処理を行う場
合に,図1に示す如く,対応点抽出手段111〜113
により,前記2つの画像間で複数の対応点を抽出し(対
応点抽出ステップ),画像変換式算出手段114によ
り,抽出された対応点を用いて,該対応点のずれにより
2つの画像間の変換式を算出し(画像変換式算出ステッ
プ),画像変換手段114により,前記画像変換式に基
づいて画像を変換し(画像変換ステップ),対応点移動
ベクトル算出手段115により,変換した画像間の対応
点から対応点移動ベクトルを算出し(対応点移動ベクト
ル算出ステップ),クラスタリング手段116により,
対応点移動ベクトルを対象として,方向の近い対応点移
動ベクトルが同じクラスタに分類されるようにクラスタ
リング処理を行い(クラスタリングステップ),部分画
像変換式算出手段117により,各クラスタ内の対応点
移動ベクトル毎に部分画像の変換式を算出する(部分画
像変換式算出ステップ)ようにしている。
求項8に係る画像処理装置では,2つの画像間で複数の
対応点を抽出し,抽出された対応点のずれを用いて2つ
の画像間の変換式を算出するといった画像処理を行う場
合に,図1に示す如く,対応点抽出手段111〜113
により,前記2つの画像間で複数の対応点を抽出し(対
応点抽出ステップ),画像変換式算出手段114によ
り,抽出された対応点を用いて,該対応点のずれにより
2つの画像間の変換式を算出し(画像変換式算出ステッ
プ),画像変換手段114により,前記画像変換式に基
づいて画像を変換し(画像変換ステップ),対応点移動
ベクトル算出手段115により,変換した画像間の対応
点から対応点移動ベクトルを算出し(対応点移動ベクト
ル算出ステップ),クラスタリング手段116により,
対応点移動ベクトルを対象として,方向の近い対応点移
動ベクトルが同じクラスタに分類されるようにクラスタ
リング処理を行い(クラスタリングステップ),部分画
像変換式算出手段117により,各クラスタ内の対応点
移動ベクトル毎に部分画像の変換式を算出する(部分画
像変換式算出ステップ)ようにしている。
【0030】このように,変換した画像間の対応点から
各対応点の移動ベクトルを算出して,該対応点移動ベク
トルの方向に注目してクラスタリング処理を行い,同一
のクラスタ内の対応点毎に部分画像の変換式を用いて部
分的に画像を変換するので,画像中に歪みが存在する場
合でも画像の位置合わせの精度を向上させることが可能
となる。
各対応点の移動ベクトルを算出して,該対応点移動ベク
トルの方向に注目してクラスタリング処理を行い,同一
のクラスタ内の対応点毎に部分画像の変換式を用いて部
分的に画像を変換するので,画像中に歪みが存在する場
合でも画像の位置合わせの精度を向上させることが可能
となる。
【0031】また,請求項3に係る画像処理方法及び請
求項9に係る画像処理装置では,図1に示す如く,部分
画像変換手段117により,複数の部分画像変換式を用
いてそれぞれの部分変換画像を作成し(部分画像変換ス
テップ),画像合成手段117により,変換画像の各画
素から最も近い対応点を使用して算出した部分画像変換
式を用いて作成した部分変換画像の画素値を,該変換画
像の画素値とする(画像合成ステップ)ようにしてい
る。これにより,画像の位置合わせの精度を更に向上さ
せることが可能となる。
求項9に係る画像処理装置では,図1に示す如く,部分
画像変換手段117により,複数の部分画像変換式を用
いてそれぞれの部分変換画像を作成し(部分画像変換ス
テップ),画像合成手段117により,変換画像の各画
素から最も近い対応点を使用して算出した部分画像変換
式を用いて作成した部分変換画像の画素値を,該変換画
像の画素値とする(画像合成ステップ)ようにしてい
る。これにより,画像の位置合わせの精度を更に向上さ
せることが可能となる。
【0032】また,請求項4に係る画像処理方法及び請
求項10に係る画像処理装置では,図1に示す如く,部
分画像変換手段117により,複数の部分画像変換式を
用いてそれぞれの部分変換画像を作成し(部分画像変換
ステップ),画像合成手段117により,変換先の画像
と部分変換画像をそれぞれ細かいメッシュに分けて,各
メッシュ内でマッチング処理を行い,該マッチング処理
結果が最も一致する部分変換画像を合成して変換画像を
作成する(画像合成ステップ)ようにしている。これに
より,画像の位置合わせの精度を更に向上させることが
可能となる。
求項10に係る画像処理装置では,図1に示す如く,部
分画像変換手段117により,複数の部分画像変換式を
用いてそれぞれの部分変換画像を作成し(部分画像変換
ステップ),画像合成手段117により,変換先の画像
と部分変換画像をそれぞれ細かいメッシュに分けて,各
メッシュ内でマッチング処理を行い,該マッチング処理
結果が最も一致する部分変換画像を合成して変換画像を
作成する(画像合成ステップ)ようにしている。これに
より,画像の位置合わせの精度を更に向上させることが
可能となる。
【0033】また,請求項5に係る画像処理方法及び請
求項11に係る画像処理装置では,画像に歪みの生じて
いる部分を特定し,歪みの生じている部分については画
像の変換式を補間して使用して変換画像を作成するよう
にしている。これにより,より連続性の確実な変換画像
を得ることができ,画像の位置合わせの精度を更に向上
させることが可能となる。
求項11に係る画像処理装置では,画像に歪みの生じて
いる部分を特定し,歪みの生じている部分については画
像の変換式を補間して使用して変換画像を作成するよう
にしている。これにより,より連続性の確実な変換画像
を得ることができ,画像の位置合わせの精度を更に向上
させることが可能となる。
【0034】また,請求項6に係るコンピュータにより
読み取り可能な記憶媒体では,請求項1,2,3,4ま
たは5記載の画像処理方法をコンピュータに実行させる
ためのプログラムとして記憶するのが望ましい。例え
ば,各ステップをプログラム部品として用意すれば,画
像処理システム設計段階で各プログラム部品の組み合わ
せにより,入力画像の特徴に適した画像処理システムを
容易に構築することが可能となる。
読み取り可能な記憶媒体では,請求項1,2,3,4ま
たは5記載の画像処理方法をコンピュータに実行させる
ためのプログラムとして記憶するのが望ましい。例え
ば,各ステップをプログラム部品として用意すれば,画
像処理システム設計段階で各プログラム部品の組み合わ
せにより,入力画像の特徴に適した画像処理システムを
容易に構築することが可能となる。
【0035】また,請求項12に係る画像処理装置で
は,図1に示す如く,文字切り出し手段121により,
2つの画像の内の一の画像(参照画像)について予め与
えられている文字画像存在領域136の文字データに基
づいて,該補正画像から文字画像を切り出すようにし,
更に,請求項13に係る画像処理装置では,文字認識手
段122により,文字切り出し手段121によって得ら
れた文字画像を認識して文字コードとして出力するよう
にしている。本発明を例えばFAXOCR装置等に適用
した場合には,該出力結果を元に自動的な受発注業務等
が可能となり,精度の高い業務運営が可能となる。
は,図1に示す如く,文字切り出し手段121により,
2つの画像の内の一の画像(参照画像)について予め与
えられている文字画像存在領域136の文字データに基
づいて,該補正画像から文字画像を切り出すようにし,
更に,請求項13に係る画像処理装置では,文字認識手
段122により,文字切り出し手段121によって得ら
れた文字画像を認識して文字コードとして出力するよう
にしている。本発明を例えばFAXOCR装置等に適用
した場合には,該出力結果を元に自動的な受発注業務等
が可能となり,精度の高い業務運営が可能となる。
【0036】更に,請求項14に係る画像処理装置で
は,2つの画像の内の他の画像(入力画像)を,ファク
シミリを介して入力された画像としている。本発明を例
えばFAXOCR装置等に適用した場合には,ファクシ
ミリ入力を入力画像とした自動的な受発注業務等が可能
となり,精度の高い業務運営が可能となる。
は,2つの画像の内の他の画像(入力画像)を,ファク
シミリを介して入力された画像としている。本発明を例
えばFAXOCR装置等に適用した場合には,ファクシ
ミリ入力を入力画像とした自動的な受発注業務等が可能
となり,精度の高い業務運営が可能となる。
【0037】〔実施形態〕図1は本発明の実施形態に係
る画像処理装置の一例であるFAXOCR装置の構成図
である。
る画像処理装置の一例であるFAXOCR装置の構成図
である。
【0038】同図において,本実施形態の画像処理装置
(FAXOCR装置)は,画像入力部100と,画像位
置合わせ部101と,認識処理部102とに大きく分け
られる。
(FAXOCR装置)は,画像入力部100と,画像位
置合わせ部101と,認識処理部102とに大きく分け
られる。
【0039】画像位置合わせ部101は,パターン抽出
部111,同一パターン抽出部112,対応点抽出部1
13,画像補正部114,対応点移動ベクトル算出部1
15,対応点移動ベクトルクラスタリング部116,画
像部分補正部117,入力画像メモリ131,参照画像
パターンメモリ132,補正画像メモリ133,部分補
正画像メモリ134及び合成補正画像メモリ135を備
えて構成され,また認識処理部102は,文字画像切り
出し部121,文字認識部122及び文字画像領域メモ
リ136を備えて構成されている。
部111,同一パターン抽出部112,対応点抽出部1
13,画像補正部114,対応点移動ベクトル算出部1
15,対応点移動ベクトルクラスタリング部116,画
像部分補正部117,入力画像メモリ131,参照画像
パターンメモリ132,補正画像メモリ133,部分補
正画像メモリ134及び合成補正画像メモリ135を備
えて構成され,また認識処理部102は,文字画像切り
出し部121,文字認識部122及び文字画像領域メモ
リ136を備えて構成されている。
【0040】尚,本実施形態の画像処理装置の各構成要
素は,特許請求の範囲にいう各手段と対応しており,パ
ターン抽出部111,同一パターン抽出部112及び対
応点抽出部113は対応点抽出手段に,画像補正部11
4は画像変換式算出手段及び画像変換手段に,対応点移
動ベクトル算出部115は対応点移動ベクトル算出手段
に,対応点移動ベクトルクラスタリング部116はクラ
スタリング手段に,画像部分補正部117は部分画像変
換式算出手段,部分画像変換手段及び画像合成手段に,
文字画像切り出し部121は文字切り出し手段に,文字
認識部122は文字認識手段に,それぞれ対応してい
る。
素は,特許請求の範囲にいう各手段と対応しており,パ
ターン抽出部111,同一パターン抽出部112及び対
応点抽出部113は対応点抽出手段に,画像補正部11
4は画像変換式算出手段及び画像変換手段に,対応点移
動ベクトル算出部115は対応点移動ベクトル算出手段
に,対応点移動ベクトルクラスタリング部116はクラ
スタリング手段に,画像部分補正部117は部分画像変
換式算出手段,部分画像変換手段及び画像合成手段に,
文字画像切り出し部121は文字切り出し手段に,文字
認識部122は文字認識手段に,それぞれ対応してい
る。
【0041】また,本実施形態の画像処理装置の各構成
要素の処理は,特許請求の範囲にいう各ステップと対応
しており,パターン抽出部111,同一パターン抽出部
112及び対応点抽出部113の処理は対応点抽出ステ
ップに,画像補正部114の処理は画像変換式算出ステ
ップ及び画像変換ステップに,対応点移動ベクトル算出
部115の処理は対応点移動ベクトル算出ステップに,
対応点移動ベクトルクラスタリング部116の処理はク
ラスタリングステップに,画像部分補正部117の処理
は部分画像変換式算出ステップ,部分画像変換ステップ
及び画像合成ステップに,それぞれ対応している。
要素の処理は,特許請求の範囲にいう各ステップと対応
しており,パターン抽出部111,同一パターン抽出部
112及び対応点抽出部113の処理は対応点抽出ステ
ップに,画像補正部114の処理は画像変換式算出ステ
ップ及び画像変換ステップに,対応点移動ベクトル算出
部115の処理は対応点移動ベクトル算出ステップに,
対応点移動ベクトルクラスタリング部116の処理はク
ラスタリングステップに,画像部分補正部117の処理
は部分画像変換式算出ステップ,部分画像変換ステップ
及び画像合成ステップに,それぞれ対応している。
【0042】以下では,図3に示す帳票の画像を入力画
像とし,また図4に示す未記入の同種帳票の画像を参照
画像として説明する。尚,本実施形態で用いる入力画像
は,図3に示すように,部分的に画像が伸びている例を
取り扱う。このような画像は実際のファクシミリ画像等
で生じる場合がある。
像とし,また図4に示す未記入の同種帳票の画像を参照
画像として説明する。尚,本実施形態で用いる入力画像
は,図3に示すように,部分的に画像が伸びている例を
取り扱う。このような画像は実際のファクシミリ画像等
で生じる場合がある。
【0043】また,参照画像は画像全体を保存しておく
必要はなく,図5に示すような形式で参照画像情報が参
照画像パターンメモリ132内に格納されている。即
ち,予め参照画像中の黒ランの連結成分の外接矩形を抽
出し,その中から選択した外接矩形内の画像(パター
ン),該外接矩形の左上コーナーと右下コーナーの座
標,及び,参照画像パターンメモリ132に格納される
パターンは,幅及び高さが共に8画素より大きく128
画素より小さい範囲のものとされる。
必要はなく,図5に示すような形式で参照画像情報が参
照画像パターンメモリ132内に格納されている。即
ち,予め参照画像中の黒ランの連結成分の外接矩形を抽
出し,その中から選択した外接矩形内の画像(パター
ン),該外接矩形の左上コーナーと右下コーナーの座
標,及び,参照画像パターンメモリ132に格納される
パターンは,幅及び高さが共に8画素より大きく128
画素より小さい範囲のものとされる。
【0044】次に,本実施形態のFAXOCR装置の処
理内容について,図2に示す手順に従い図3から図17
を参照して詳細に説明する。図2は,本実施形態のFA
XOCR装置における処理の流れを示すフローチャート
である。
理内容について,図2に示す手順に従い図3から図17
を参照して詳細に説明する。図2は,本実施形態のFA
XOCR装置における処理の流れを示すフローチャート
である。
【0045】先ずステップS201では,画像入力部1
00は,ファクシミリによって送られてきた入力画像
を,画像位置合わせ部101において処理可能な形態で
入力画像メモリ131に取り込む。
00は,ファクシミリによって送られてきた入力画像
を,画像位置合わせ部101において処理可能な形態で
入力画像メモリ131に取り込む。
【0046】次に,ステップS202では,パターン抽
出部111において,入力画像メモリ131に取り込ま
れた入力画像中から黒ランの連結成分を抽出し,その外
接矩形が適当な大きさであるか否かを判定し,適当な大
きさの外接矩形の画像をパターンとして同一パターン抽
出部112へ出力する。
出部111において,入力画像メモリ131に取り込ま
れた入力画像中から黒ランの連結成分を抽出し,その外
接矩形が適当な大きさであるか否かを判定し,適当な大
きさの外接矩形の画像をパターンとして同一パターン抽
出部112へ出力する。
【0047】本実施形態では,外接矩形の幅W及び高さ
Hが 8<W<128,且つ,8<H<128 の条件を満たしたとき,適当な大きさであると判断され
る。尚,幅W及び高さHの値は画素数換算値である。こ
の大きさの範囲に普通の大きさの文字や数字が含まれ
る。パターンが大きくなると,パターンマッチングのた
めの計算量が増加するが,この程度の大きさの範囲のパ
ターンであれば,その計算量は比較的少なく抑えられ
る。
Hが 8<W<128,且つ,8<H<128 の条件を満たしたとき,適当な大きさであると判断され
る。尚,幅W及び高さHの値は画素数換算値である。こ
の大きさの範囲に普通の大きさの文字や数字が含まれ
る。パターンが大きくなると,パターンマッチングのた
めの計算量が増加するが,この程度の大きさの範囲のパ
ターンであれば,その計算量は比較的少なく抑えられ
る。
【0048】次に,ステップS203では,同一パター
ン抽出部112において,パターン抽出部111より入
力されたパターンが参照画像パターンメモリ132内の
パターンの何れかと同一であるかを調べ,同一パターン
が見つかった時に,該パターンと同じパターン番号を入
力パターンに割り当てる。
ン抽出部112において,パターン抽出部111より入
力されたパターンが参照画像パターンメモリ132内の
パターンの何れかと同一であるかを調べ,同一パターン
が見つかった時に,該パターンと同じパターン番号を入
力パターンに割り当てる。
【0049】本実施形態では,このパターンの同一性の
判断は,「William H. Press, "Numerical Recipes in
C", CAMBRIDGE UNIVERSITY PRESS, pp671-681」(参
考文献1)に述べられているパターンマッチング法によ
って行なわれる。但し,本実施形態では,同一サイズと
見なせるパターンについてのみマッチングを行い,サイ
ズが異なるパターンについては,マッチングを行うこと
なく同一でないと判断するものとする。
判断は,「William H. Press, "Numerical Recipes in
C", CAMBRIDGE UNIVERSITY PRESS, pp671-681」(参
考文献1)に述べられているパターンマッチング法によ
って行なわれる。但し,本実施形態では,同一サイズと
見なせるパターンについてのみマッチングを行い,サイ
ズが異なるパターンについては,マッチングを行うこと
なく同一でないと判断するものとする。
【0050】尚,ファクシミリにより送られてくる画像
は,送信側で自動的にページ頭に付加されるヘッディン
グ文字列のサイズの違い,原稿搬送系の搬送誤差により
多少変倍され,普通,その変倍率は0.95〜1.07
倍程度である。この程度の変倍率の範囲で,且つ,パタ
ーンサイズを上記範囲の程度に制限すれば,入力画像の
変倍をそのままにしてもパターンマッチングに格別支障
はない。
は,送信側で自動的にページ頭に付加されるヘッディン
グ文字列のサイズの違い,原稿搬送系の搬送誤差により
多少変倍され,普通,その変倍率は0.95〜1.07
倍程度である。この程度の変倍率の範囲で,且つ,パタ
ーンサイズを上記範囲の程度に制限すれば,入力画像の
変倍をそのままにしてもパターンマッチングに格別支障
はない。
【0051】図6に,図3に示した入力画像に対するパ
ターン番号割り当て結果を示す。また図7は,図4に示
した参照画像に対するパターン番号の割り当てを示して
いる。
ターン番号割り当て結果を示す。また図7は,図4に示
した参照画像に対するパターン番号の割り当てを示して
いる。
【0052】次に,対応点検出部113においては,同
一パターン抽出部112によって同一パターンと判断さ
れたパターンより,画像の位置ずれ,回転または変倍の
検出に利用可能と判断されるパターン(補正検出パター
ン)を段階的に選び出す。ここに述べる画像の例では,
パターン番号1〜12のパターンをとりあえず補正検出
パターンとし,その中の不適当なパターンを除去して残
ったパターンを最終的に補正検出パターンとして利用す
る。
一パターン抽出部112によって同一パターンと判断さ
れたパターンより,画像の位置ずれ,回転または変倍の
検出に利用可能と判断されるパターン(補正検出パター
ン)を段階的に選び出す。ここに述べる画像の例では,
パターン番号1〜12のパターンをとりあえず補正検出
パターンとし,その中の不適当なパターンを除去して残
ったパターンを最終的に補正検出パターンとして利用す
る。
【0053】先ず,ステップS204では,補正検出パ
ターンの中で,入力画像において距離の近い同一パター
ンが存在する場合,そのパターンを補正検出パターンか
ら除去する。本実施形態では,入力画像中の同一のパタ
ーンの中心間の距離Dが閾値Th1より大きい場合,即
ち, 距離D<512 の条件を満たす場合に,そのパターンを補正検出パター
ンから除去する。このような近接した同一パターンを排
除するのは,入力画像のパターンと参照画像のパターン
との対応付けの誤りを避けるためである。
ターンの中で,入力画像において距離の近い同一パター
ンが存在する場合,そのパターンを補正検出パターンか
ら除去する。本実施形態では,入力画像中の同一のパタ
ーンの中心間の距離Dが閾値Th1より大きい場合,即
ち, 距離D<512 の条件を満たす場合に,そのパターンを補正検出パター
ンから除去する。このような近接した同一パターンを排
除するのは,入力画像のパターンと参照画像のパターン
との対応付けの誤りを避けるためである。
【0054】ここで述べる画像例では,入力画像上のパ
ターン番号4の2個のパターン間の距離が214[画
素]であるので,パターン番号4のパターンは補正検出
パターンから除去される。かくして,この段階で,パタ
ーン番号1〜3,5〜12のパターンが補正検出パター
ンとなった。尚,この例の場合,参照画像上でもパター
ン番号4のパターンは中心距離が近いので,そのパター
ンを予め参照画像パターンメモリ132から除去してお
くという方法を採ってもよい。
ターン番号4の2個のパターン間の距離が214[画
素]であるので,パターン番号4のパターンは補正検出
パターンから除去される。かくして,この段階で,パタ
ーン番号1〜3,5〜12のパターンが補正検出パター
ンとなった。尚,この例の場合,参照画像上でもパター
ン番号4のパターンは中心距離が近いので,そのパター
ンを予め参照画像パターンメモリ132から除去してお
くという方法を採ってもよい。
【0055】更に,ステップS205では,この段階ま
でに補正検出パターンとされたパターンの中で,入力画
像上に一定数以上存在するパターンは,参照画像の対応
パターンのとり違いが起こりやすいため,補正検出パタ
ーンから除外する。本実施形態では,入力画像上に存在
するあるパターンの個数Nが, N>2 の条件を満たす場合に,そのパターンを補正検出パター
ンから除外する。ここで述べる入力画像の例では,この
段階までに補正検出パターンとされたパターンはどれも
1個ずつしかないので,ここで除去されるパターンはな
い。
でに補正検出パターンとされたパターンの中で,入力画
像上に一定数以上存在するパターンは,参照画像の対応
パターンのとり違いが起こりやすいため,補正検出パタ
ーンから除外する。本実施形態では,入力画像上に存在
するあるパターンの個数Nが, N>2 の条件を満たす場合に,そのパターンを補正検出パター
ンから除外する。ここで述べる入力画像の例では,この
段階までに補正検出パターンとされたパターンはどれも
1個ずつしかないので,ここで除去されるパターンはな
い。
【0056】次に,ステップS206では,補正検出パ
ターンとされたパターンの中で,画像の複雑度が低いパ
ターンは,ノイズ等と間違われる可能性が高いため,補
正検出パターンから除外する。本実施形態では,パター
ンの幅と高さの大きい方をLrとし,また,パターンの
縦方向と横方向のラインの中で黒ランが2個以上あるラ
インの合計数をNrun としたときに, Nrun <Lr×12 の条件を満たすパターンを,補正検出パターンから除外
する。ここに述べる画像の例では,かかる条件を満たす
補正検出パターンはない。
ターンとされたパターンの中で,画像の複雑度が低いパ
ターンは,ノイズ等と間違われる可能性が高いため,補
正検出パターンから除外する。本実施形態では,パター
ンの幅と高さの大きい方をLrとし,また,パターンの
縦方向と横方向のラインの中で黒ランが2個以上あるラ
インの合計数をNrun としたときに, Nrun <Lr×12 の条件を満たすパターンを,補正検出パターンから除外
する。ここに述べる画像の例では,かかる条件を満たす
補正検出パターンはない。
【0057】最後に,ステップS207では,補正検出
パターンとされた入力画像上のパターンと参照画像上の
同じパターンとの中心距離Dが,ある閾値Th2より大
きい場合,そのパターンを補正検出パターンから除外す
る。この閾値Th2は,前記(ステップS204)の閾
値Th1より小さい値とされる。本実施形態では,その
閾値Th2は256[画素]に選ばれ, 距離D>256 の条件を満たすパターンを補正検出パターンから除外す
る。ここで述べる画像の例には,かかる条件を満たすパ
ターンはない。従って,パターン番号1〜3,5〜12
のパターンが最終的に補正検出パターンとして抽出され
る。
パターンとされた入力画像上のパターンと参照画像上の
同じパターンとの中心距離Dが,ある閾値Th2より大
きい場合,そのパターンを補正検出パターンから除外す
る。この閾値Th2は,前記(ステップS204)の閾
値Th1より小さい値とされる。本実施形態では,その
閾値Th2は256[画素]に選ばれ, 距離D>256 の条件を満たすパターンを補正検出パターンから除外す
る。ここで述べる画像の例には,かかる条件を満たすパ
ターンはない。従って,パターン番号1〜3,5〜12
のパターンが最終的に補正検出パターンとして抽出され
る。
【0058】次に,ステップS208では,対応点検出
部113において,以上のようにして抽出した各補正検
出パターンについて,入力画像上のパターン重心と参照
画像上のパターン重心とを対応点として算出し,その座
標を画像補正部114に出力する。
部113において,以上のようにして抽出した各補正検
出パターンについて,入力画像上のパターン重心と参照
画像上のパターン重心とを対応点として算出し,その座
標を画像補正部114に出力する。
【0059】図8に対応点検出結果を示す。図8におい
て,各矢線により指される入力画像上の1点と参照画像
上の1点が1組の対応点を構成する。尚,ステップS2
07の処理は,参照画像と入力画像の対応パターンの検
索を距離Th2の範囲内に制限することと実質的に等し
い。このように検索範囲を制限することにより,パター
ン対応付けの誤りを減らすことができる。
て,各矢線により指される入力画像上の1点と参照画像
上の1点が1組の対応点を構成する。尚,ステップS2
07の処理は,参照画像と入力画像の対応パターンの検
索を距離Th2の範囲内に制限することと実質的に等し
い。このように検索範囲を制限することにより,パター
ン対応付けの誤りを減らすことができる。
【0060】次に,ステップS209では,画像補正部
114において,対応点検出部113により検出された
入力画像と参照画像の対応点間のずれを算出し,両画像
の位置合わせのための第1の変換式を求める。この第1
の変換式の算出には,例えば米国特許第5,303,3
13号の方法を用いることができる。本実施形態では,
第1の変換式としてアフィン変換を用いるものとし,想
定した画像例に対して,米国特許第5,303,313
号の手法により,次の第1の変換式が得られたとする。
但し,(Xt,Yt)は第1の変換式により補正された
後の座標系,(Xi,Yi)は入力画像の座標系とす
る。
114において,対応点検出部113により検出された
入力画像と参照画像の対応点間のずれを算出し,両画像
の位置合わせのための第1の変換式を求める。この第1
の変換式の算出には,例えば米国特許第5,303,3
13号の方法を用いることができる。本実施形態では,
第1の変換式としてアフィン変換を用いるものとし,想
定した画像例に対して,米国特許第5,303,313
号の手法により,次の第1の変換式が得られたとする。
但し,(Xt,Yt)は第1の変換式により補正された
後の座標系,(Xi,Yi)は入力画像の座標系とす
る。
【0061】
【数1】
【0062】そして,ステップS210では,画像補正
部114において,この第1の変換式によって入力画像
を参照画像と位置合わせするように補正した画像を,補
正画像メモリ133上に作成する。
部114において,この第1の変換式によって入力画像
を参照画像と位置合わせするように補正した画像を,補
正画像メモリ133上に作成する。
【0063】具体的には,例えば,補正画像上の座標
(298,3864)の画素値を算出する際には,
(1)式により入力画像の対応座標を計算すると,(3
158,3864)となるので,入力画像の(315
8,3864)の画素値を補正画像の(2981,38
64)の画素値とする。同様の手順で,補正画像の全て
の画素について入力画像を参照して画素値を算出するこ
とにより,参照画像に対し,入力画像の位置ずれ/回転
/変倍があっても,その補正画像のフォームは参照画像
のフォームと同じ位置に来るようになる。
(298,3864)の画素値を算出する際には,
(1)式により入力画像の対応座標を計算すると,(3
158,3864)となるので,入力画像の(315
8,3864)の画素値を補正画像の(2981,38
64)の画素値とする。同様の手順で,補正画像の全て
の画素について入力画像を参照して画素値を算出するこ
とにより,参照画像に対し,入力画像の位置ずれ/回転
/変倍があっても,その補正画像のフォームは参照画像
のフォームと同じ位置に来るようになる。
【0064】ところで,本実施形態の画像処理装置にお
ける特徴は,各対応点の移動ベクトルを算出して,移動
ベクトルの方向に注目してクラスタリング処理を行い,
同一のクラスタ内の対応点毎に画像の第2の変換式を用
いて部分的に画像を変換することにあり,これにより画
像の位置合わせの精度を向上させるものである。
ける特徴は,各対応点の移動ベクトルを算出して,移動
ベクトルの方向に注目してクラスタリング処理を行い,
同一のクラスタ内の対応点毎に画像の第2の変換式を用
いて部分的に画像を変換することにあり,これにより画
像の位置合わせの精度を向上させるものである。
【0065】以上説明した画像入力部100(ステップ
S201)から画像補正部114(ステップS210)
までの処理は,次に述べる対応点移動ベクトル算出部1
15の前段の処理となり,このように,予め補正画像を
作成し,その後に対応点移動ベクトル算出部115によ
る処理を行うことで,クラスタリングの精度が向上す
る。
S201)から画像補正部114(ステップS210)
までの処理は,次に述べる対応点移動ベクトル算出部1
15の前段の処理となり,このように,予め補正画像を
作成し,その後に対応点移動ベクトル算出部115によ
る処理を行うことで,クラスタリングの精度が向上す
る。
【0066】即ち,全体としての位置合わせを行うこと
で,歪みの方向に応じて対応点移動ベクトルの方向/大
きさのばらつきが大きくなるからであり,例えば,歪み
の影響よりも位置ずれの影響の方が大きい場合には,対
応点移動ベクトルクラスタリング部116による処理に
おいて,歪みによる対応点移動ベクトルの方向/大きさ
の違いが無視されてしまう場合があるからである。
で,歪みの方向に応じて対応点移動ベクトルの方向/大
きさのばらつきが大きくなるからであり,例えば,歪み
の影響よりも位置ずれの影響の方が大きい場合には,対
応点移動ベクトルクラスタリング部116による処理に
おいて,歪みによる対応点移動ベクトルの方向/大きさ
の違いが無視されてしまう場合があるからである。
【0067】次に,ステップS211では,対応点移動
ベクトル算出部115において,画像補正部114で得
られた補正画像と参照画像の対応点について,それぞれ
の移動ベクトルを算出する。移動ベクトル算出式を次に
示す。
ベクトル算出部115において,画像補正部114で得
られた補正画像と参照画像の対応点について,それぞれ
の移動ベクトルを算出する。移動ベクトル算出式を次に
示す。
【0068】
【数2】
【0069】(2)式において,Xipは補正後の入力画
像上での十字点のX座標であり,Yipは補正後の入力画
像上での十字点のY座標であり,Ximp は参照画像上で
の十字点のX座標であり,Yimp は参照画像上での十字
点のY座標である。図9には,参照画像(図9(a))
と補正画像(図9(b))の各対応点について,算出し
た対応点移動ベクトル(図9(c))を例示する。
像上での十字点のX座標であり,Yipは補正後の入力画
像上での十字点のY座標であり,Ximp は参照画像上で
の十字点のX座標であり,Yimp は参照画像上での十字
点のY座標である。図9には,参照画像(図9(a))
と補正画像(図9(b))の各対応点について,算出し
た対応点移動ベクトル(図9(c))を例示する。
【0070】次に,ステップS212では,対応点移動
ベクトルクラスタリング部116において,移動方向の
近い対応点移動ベクトルが同じクラスタに分類されるよ
うにクラスタリングを行う。本実施形態では,Ward
法を用いてクラスタリングを行う。
ベクトルクラスタリング部116において,移動方向の
近い対応点移動ベクトルが同じクラスタに分類されるよ
うにクラスタリングを行う。本実施形態では,Ward
法を用いてクラスタリングを行う。
【0071】ここで,距離関数を次に示す。 D=(Xv1−Xv2)2 +(Yv1−Yv2)2 (3) ここに,Dは距離であり,Xv1は第1対応点移動ベクト
ルのX方向移動量であり,Xv2は第2対応点移動ベクト
ルのX方向移動量であり,Yv1は第1対応点移動ベクト
ルのY方向移動量であり,Yv2は第2対応点移動ベクト
ルのY方向移動量である。
ルのX方向移動量であり,Xv2は第2対応点移動ベクト
ルのX方向移動量であり,Yv1は第1対応点移動ベクト
ルのY方向移動量であり,Yv2は第2対応点移動ベクト
ルのY方向移動量である。
【0072】尚,クラスタリング手法並びに距離関数
は,他の適当なクラスタリング手法や距離関数を用いて
も講わない。図10(a)にはクラスタリングに用いる
ベクトル間の距離を,また図10(b)には,図9
(c)の対応点移動ベクトルに対するクラスタリングの
例を示す。図10(b)において,対応点移動ベクトル
は,移動方向が画面に対して下向きのクラスタC1と移
動方向が画面に対して上向きのクラスタC2の2つのク
ラスタにクラスタリングされている。
は,他の適当なクラスタリング手法や距離関数を用いて
も講わない。図10(a)にはクラスタリングに用いる
ベクトル間の距離を,また図10(b)には,図9
(c)の対応点移動ベクトルに対するクラスタリングの
例を示す。図10(b)において,対応点移動ベクトル
は,移動方向が画面に対して下向きのクラスタC1と移
動方向が画面に対して上向きのクラスタC2の2つのク
ラスタにクラスタリングされている。
【0073】尚,本実施形態では,対応点移動ベクトル
クラスタリング部116におけるクラスタリング手法と
して,移動方向の近い対応点移動ベクトルが同じクラス
タに分類されるようにクラスタリング処理を行ったが,
対応点移動ベクトルの大きさについても勘案することと
して,移動方向と大きさの近い対応点移動ベクトルが同
じクラスタに分類されるようクラスタリング処理を行う
こととしてもよい。
クラスタリング部116におけるクラスタリング手法と
して,移動方向の近い対応点移動ベクトルが同じクラス
タに分類されるようにクラスタリング処理を行ったが,
対応点移動ベクトルの大きさについても勘案することと
して,移動方向と大きさの近い対応点移動ベクトルが同
じクラスタに分類されるようクラスタリング処理を行う
こととしてもよい。
【0074】次に,画像部分補正部117では,同じク
ラスタ内の対応点移動ベクトル毎に第2の変換式を算出
し(ステップS213),部分的に画像を変換して部分
補正画像を作成し,最終的な補正画像である合成補正画
像を作成する(ステップS214)。
ラスタ内の対応点移動ベクトル毎に第2の変換式を算出
し(ステップS213),部分的に画像を変換して部分
補正画像を作成し,最終的な補正画像である合成補正画
像を作成する(ステップS214)。
【0075】尚,最終的な補正画像(合成補正画像)を
得る際には,合成補正画像の各画素から最も近い対応点
を用いて作成された部分補正画像の画素値を用いる。つ
まり,合成補正画像の各画素から最も近い対応点を使用
して算出した第2の変換式を用いて作成した部分補正画
像の画素値を,該合成補正画像の画素値とする。
得る際には,合成補正画像の各画素から最も近い対応点
を用いて作成された部分補正画像の画素値を用いる。つ
まり,合成補正画像の各画素から最も近い対応点を使用
して算出した第2の変換式を用いて作成した部分補正画
像の画素値を,該合成補正画像の画素値とする。
【0076】図11(a)は,図10(b)の対応点移
動ベクトルのクラスタリングに対応した部分画像と各ク
ラスタC1及びC2の対応座標を参照画像上に示したも
のである。クラスタC1の対応点による第2の変換式を
用いて作成された部分補正画像が図11(b)及び図1
2(a)に示されるものであり,クラスタC2の対応点
による第2の変換式を用いて作成された部分補正画像が
図11(c)及び図12(b)に示されるものである。
従って,合成補正画像は,これらを合成したものとな
り,図12(c)に示す如くなる。
動ベクトルのクラスタリングに対応した部分画像と各ク
ラスタC1及びC2の対応座標を参照画像上に示したも
のである。クラスタC1の対応点による第2の変換式を
用いて作成された部分補正画像が図11(b)及び図1
2(a)に示されるものであり,クラスタC2の対応点
による第2の変換式を用いて作成された部分補正画像が
図11(c)及び図12(b)に示されるものである。
従って,合成補正画像は,これらを合成したものとな
り,図12(c)に示す如くなる。
【0077】また更に,精度良く合成補正画像を作成し
たい場合には,処理速度は大きく低下するが次のような
方法がある。
たい場合には,処理速度は大きく低下するが次のような
方法がある。
【0078】即ち,参照画像を図13(a)に示すよう
に細かいメッシュ領域に分割し,各メッシュ領域におい
て,補正画像とのマッチングを行う。ここで使用するマ
ッチング処理は,例えば第3の従来例(特開昭59−2
18573号公報)に示されているようなパターンマッ
チング的な手法を用いればよい。
に細かいメッシュ領域に分割し,各メッシュ領域におい
て,補正画像とのマッチングを行う。ここで使用するマ
ッチング処理は,例えば第3の従来例(特開昭59−2
18573号公報)に示されているようなパターンマッ
チング的な手法を用いればよい。
【0079】このマッチング処理の結果,最も相違度の
小さかった部分補正画像を対応するメッシュ領域の合成
補正画像とする。クラスタC1の対応点による第2の変
換式を用いて作成された部分補正画像が図13(b)及
び図14(a)に示されるものであり,クラスタC2の
対応点による第2の変換式を用いて作成された部分補正
画像が図13(c)及び図14(b)に示されるもので
ある。従って,これらを合成して合成補正画像を作成す
ればよく,合成補正画像は図14(c)に示す如くな
る。
小さかった部分補正画像を対応するメッシュ領域の合成
補正画像とする。クラスタC1の対応点による第2の変
換式を用いて作成された部分補正画像が図13(b)及
び図14(a)に示されるものであり,クラスタC2の
対応点による第2の変換式を用いて作成された部分補正
画像が図13(c)及び図14(b)に示されるもので
ある。従って,これらを合成して合成補正画像を作成す
ればよく,合成補正画像は図14(c)に示す如くな
る。
【0080】更には,選択した部分補正画像の異なる境
界を追跡し,歪みの生じている部分をより細かく抽出す
ることも可能である。歪みの生じている部分について
は,変換式を補間して用いることで,より連続性の確実
な合成補正画像を得ることができる。
界を追跡し,歪みの生じている部分をより細かく抽出す
ることも可能である。歪みの生じている部分について
は,変換式を補間して用いることで,より連続性の確実
な合成補正画像を得ることができる。
【0081】図15(a)は,クラスタC1による部分
補正画像とクラスタC2による部分補正画像の合成を示
し,図15(b)は,線A−B間においてそれぞれの部
分補正画像を作成するための第2の変換式に大きなずれ
があり,2つの部分補正画像の境界が画像に歪みの生じ
ている部分であるため,該境界部分については2つの第
2の変換式を補間して使用すればよいことを示してい
る。
補正画像とクラスタC2による部分補正画像の合成を示
し,図15(b)は,線A−B間においてそれぞれの部
分補正画像を作成するための第2の変換式に大きなずれ
があり,2つの部分補正画像の境界が画像に歪みの生じ
ている部分であるため,該境界部分については2つの第
2の変換式を補間して使用すればよいことを示してい
る。
【0082】次に,文字画像切り出し部121では,文
字画像領域メモリ136に格納されている文字画像存在
領域のデータを参照して,補正画像から文字画像存在領
域の画像を切り出し,切り出した画像を文字認識部2に
出力する(ステップS215)。
字画像領域メモリ136に格納されている文字画像存在
領域のデータを参照して,補正画像から文字画像存在領
域の画像を切り出し,切り出した画像を文字認識部2に
出力する(ステップS215)。
【0083】図16に文字画像領域メモリ114内に格
納されているデータと,補正画像からの文字切り出し結
果とを関連づけて示す。図示のように,文字画像領域メ
モリ114の内容は,文字画像存在領域(矩形)の対角
2頂点の座標,属性及びデータ番号からなっている。
納されているデータと,補正画像からの文字切り出し結
果とを関連づけて示す。図示のように,文字画像領域メ
モリ114の内容は,文字画像存在領域(矩形)の対角
2頂点の座標,属性及びデータ番号からなっている。
【0084】最後に,文字認識部122では,文字画像
切り出し部121より入力した画像に対する文字認識処
理を行い,認識結果の文字コードとデータ番号を出力す
る(ステップS216)。この出力データ,文字認識結
果,文字画像切り出し結果を関連づけて図17に示す。
図17(a)の文字画像切り出し結果に対する文字認識
結果を図17(b)に,この場合の文字認識部122か
らの出力データの概念図を図17(c)にそれぞれ示
す。
切り出し部121より入力した画像に対する文字認識処
理を行い,認識結果の文字コードとデータ番号を出力す
る(ステップS216)。この出力データ,文字認識結
果,文字画像切り出し結果を関連づけて図17に示す。
図17(a)の文字画像切り出し結果に対する文字認識
結果を図17(b)に,この場合の文字認識部122か
らの出力データの概念図を図17(c)にそれぞれ示
す。
【0085】本実施形態の画像処理装置が適用されるF
AXOCR装置等では,文字認識部122からの出力結
果を元に,更に自動的な受発注業務等を行う。この部分
については,本発明とは直接関係ないので説明を割愛す
る。
AXOCR装置等では,文字認識部122からの出力結
果を元に,更に自動的な受発注業務等を行う。この部分
については,本発明とは直接関係ないので説明を割愛す
る。
【0086】以上のような本実施形態の画像処理装置の
構成または画像処理方法によれば,以下のような効果を
奏する。第1に,伸縮,スキュー,位置ずれ等の部分的
な画像の歪みに対しても高精度の画像の位置合わせが可
能である。第2に,専用帳票を設計する必要がない。ま
た第3に,帳票のOCRにおいて,ドロップアウトカラ
ーではない実線の記入枠を用いることが可能である。
構成または画像処理方法によれば,以下のような効果を
奏する。第1に,伸縮,スキュー,位置ずれ等の部分的
な画像の歪みに対しても高精度の画像の位置合わせが可
能である。第2に,専用帳票を設計する必要がない。ま
た第3に,帳票のOCRにおいて,ドロップアウトカラ
ーではない実線の記入枠を用いることが可能である。
【0087】
【発明の効果】以上説明したように,本発明の請求項1
に係る画像処理方法及び請求項7に係る画像処理装置に
よれば,2つの画像間で複数の対応点を抽出し,抽出さ
れた対応点のずれを用いて2つの画像間の変換式を算出
するといった画像処理を行う場合に,対応点抽出手段に
より2つの画像間で複数の対応点を抽出し,対応点移動
ベクトル算出手段により抽出された対応点から対応点移
動ベクトルを算出し,クラスタリング手段により,対応
点移動ベクトルを対象として,大きさと方向の近い対応
点移動ベクトルが同じクラスタに分類されるようにクラ
スタリング処理を行い,部分画像変換式算出手段によ
り,各クラスタ内の対応点移動ベクトル毎に部分画像の
変換式を算出することとしたので,画像中に歪みが存在
する場合でも画像の位置合わせの精度を向上させること
が可能な画像処理方法及び画像処理装置を提供すること
ができる。
に係る画像処理方法及び請求項7に係る画像処理装置に
よれば,2つの画像間で複数の対応点を抽出し,抽出さ
れた対応点のずれを用いて2つの画像間の変換式を算出
するといった画像処理を行う場合に,対応点抽出手段に
より2つの画像間で複数の対応点を抽出し,対応点移動
ベクトル算出手段により抽出された対応点から対応点移
動ベクトルを算出し,クラスタリング手段により,対応
点移動ベクトルを対象として,大きさと方向の近い対応
点移動ベクトルが同じクラスタに分類されるようにクラ
スタリング処理を行い,部分画像変換式算出手段によ
り,各クラスタ内の対応点移動ベクトル毎に部分画像の
変換式を算出することとしたので,画像中に歪みが存在
する場合でも画像の位置合わせの精度を向上させること
が可能な画像処理方法及び画像処理装置を提供すること
ができる。
【0088】また,請求項2に係る画像処理方法及び請
求項8に係る画像処理装置によれば,2つの画像間で複
数の対応点を抽出し,抽出された対応点のずれを用いて
2つの画像間の変換式を算出するといった画像処理を行
う場合に,対応点抽出手段により前記2つの画像間で複
数の対応点を抽出し,画像変換式算出手段により,抽出
された対応点を用いて該対応点のずれにより2つの画像
間の変換式を算出し,画像変換手段により前記画像変換
式に基づいて画像を変換し,対応点移動ベクトル算出手
段により変換した画像間の対応点から対応点移動ベクト
ルを算出し,クラスタリング手段により,対応点移動ベ
クトルを対象として,方向の近い対応点移動ベクトルが
同じクラスタに分類されるようにクラスタリング処理を
行い,部分画像変換式算出手段により,各クラスタ内の
対応点移動ベクトル毎に部分画像の変換式を算出するこ
ととしたのでので,画像中に歪みが存在する場合でも画
像の位置合わせの精度を向上させることが可能な画像処
理方法及び画像処理装置を提供することができる。
求項8に係る画像処理装置によれば,2つの画像間で複
数の対応点を抽出し,抽出された対応点のずれを用いて
2つの画像間の変換式を算出するといった画像処理を行
う場合に,対応点抽出手段により前記2つの画像間で複
数の対応点を抽出し,画像変換式算出手段により,抽出
された対応点を用いて該対応点のずれにより2つの画像
間の変換式を算出し,画像変換手段により前記画像変換
式に基づいて画像を変換し,対応点移動ベクトル算出手
段により変換した画像間の対応点から対応点移動ベクト
ルを算出し,クラスタリング手段により,対応点移動ベ
クトルを対象として,方向の近い対応点移動ベクトルが
同じクラスタに分類されるようにクラスタリング処理を
行い,部分画像変換式算出手段により,各クラスタ内の
対応点移動ベクトル毎に部分画像の変換式を算出するこ
ととしたのでので,画像中に歪みが存在する場合でも画
像の位置合わせの精度を向上させることが可能な画像処
理方法及び画像処理装置を提供することができる。
【0089】また,請求項3に係る画像処理方法及び請
求項9に係る画像処理装置によれば,部分画像変換手段
により,複数の部分画像変換式を用いてそれぞれの部分
変換画像を作成し,画像合成手段により,変換画像の各
画素から最も近い対応点を使用して算出した部分画像変
換式を用いて作成した部分変換画像の画素値を,該変換
画像の画素値とすることとしたので,画像の位置合わせ
の精度を更に向上させ得る画像処理方法及び画像処理装
置を提供することができる。
求項9に係る画像処理装置によれば,部分画像変換手段
により,複数の部分画像変換式を用いてそれぞれの部分
変換画像を作成し,画像合成手段により,変換画像の各
画素から最も近い対応点を使用して算出した部分画像変
換式を用いて作成した部分変換画像の画素値を,該変換
画像の画素値とすることとしたので,画像の位置合わせ
の精度を更に向上させ得る画像処理方法及び画像処理装
置を提供することができる。
【0090】また,請求項4に係る画像処理方法及び請
求項10に係る画像処理装置によれば,部分画像変換手
段により,複数の部分画像変換式を用いてそれぞれの部
分変換画像を作成し,画像合成手段により,変換先の画
像と部分変換画像をそれぞれ細かいメッシュに分けて,
各メッシュ内でマッチング処理を行い,該マッチング処
理結果が最も一致する部分変換画像を合成して変換画像
を作成することとしたので,画像の位置合わせの精度を
更に向上させ得る画像処理方法及び画像処理装置を提供
することができる。
求項10に係る画像処理装置によれば,部分画像変換手
段により,複数の部分画像変換式を用いてそれぞれの部
分変換画像を作成し,画像合成手段により,変換先の画
像と部分変換画像をそれぞれ細かいメッシュに分けて,
各メッシュ内でマッチング処理を行い,該マッチング処
理結果が最も一致する部分変換画像を合成して変換画像
を作成することとしたので,画像の位置合わせの精度を
更に向上させ得る画像処理方法及び画像処理装置を提供
することができる。
【0091】また,請求項5に係る画像処理方法及び請
求項11に係る画像処理装置によれば,画像に歪みの生
じている部分を特定し,歪みの生じている部分について
は画像の変換式を補間して使用して変換画像を作成する
こととしたので,より連続性の確実な変換画像を得るこ
とができ,画像の位置合わせの精度を更に向上させ得る
画像処理方法及び画像処理装置を提供することができ
る。
求項11に係る画像処理装置によれば,画像に歪みの生
じている部分を特定し,歪みの生じている部分について
は画像の変換式を補間して使用して変換画像を作成する
こととしたので,より連続性の確実な変換画像を得るこ
とができ,画像の位置合わせの精度を更に向上させ得る
画像処理方法及び画像処理装置を提供することができ
る。
【0092】また,請求項6に係るコンピュータにより
読み取り可能な記憶媒体によれば,請求項1,2,3,
4または5記載の画像処理方法をコンピュータに実行さ
せるためのプログラムとして記憶することとしたので,
例えば,各ステップをプログラム部品とすれば,画像処
理システム設計段階で各プログラム部品の組み合わせに
より,入力画像の特徴に適した画像処理システムを容易
に構築することが可能となる。
読み取り可能な記憶媒体によれば,請求項1,2,3,
4または5記載の画像処理方法をコンピュータに実行さ
せるためのプログラムとして記憶することとしたので,
例えば,各ステップをプログラム部品とすれば,画像処
理システム設計段階で各プログラム部品の組み合わせに
より,入力画像の特徴に適した画像処理システムを容易
に構築することが可能となる。
【0093】また,請求項12に係る画像処理装置によ
れば,文字切り出し手段により,2つの画像の内の一の
画像について予め与えられている文字画像存在領域の文
字データに基づいて,該補正画像から文字画像を切り出
すようにし,更に,請求項13に係る画像処理装置によ
れば,文字認識手段により,文字切り出し手段によって
得られた文字画像を認識して文字コードとして出力する
こととしたので,例えばFAXOCR装置等に適用した
場合に,該出力結果を元に自動的な受発注業務等が可能
となり,精度の高い業務運営が可能となる。
れば,文字切り出し手段により,2つの画像の内の一の
画像について予め与えられている文字画像存在領域の文
字データに基づいて,該補正画像から文字画像を切り出
すようにし,更に,請求項13に係る画像処理装置によ
れば,文字認識手段により,文字切り出し手段によって
得られた文字画像を認識して文字コードとして出力する
こととしたので,例えばFAXOCR装置等に適用した
場合に,該出力結果を元に自動的な受発注業務等が可能
となり,精度の高い業務運営が可能となる。
【0094】更に,請求項14に係る画像処理装置によ
れば,2つの画像の内の他の画像を,ファクシミリを介
して入力された画像としたので,例えばFAXOCR装
置等に適用した場合に,ファクシミリ入力を入力画像と
した自動的な受発注業務等が可能となり,精度の高い業
務運営が可能となる。
れば,2つの画像の内の他の画像を,ファクシミリを介
して入力された画像としたので,例えばFAXOCR装
置等に適用した場合に,ファクシミリ入力を入力画像と
した自動的な受発注業務等が可能となり,精度の高い業
務運営が可能となる。
【図1】本発明の実施形態に係る画像処理装置の一例で
あるFAXOCR装置の構成図である。
あるFAXOCR装置の構成図である。
【図2】実施形態の画像処理装置(FAXOCR装置)
における処理の流れを示すフローチャートである。
における処理の流れを示すフローチャートである。
【図3】実施形態で用いる入力画像の説明図である。
【図4】実施形態で用いる参照画像の説明図である。
【図5】参照画像パターンメモリの内容を例示する説明
図である。
図である。
【図6】図3に示した入力画像に対するパターン番号割
り当て結果を示す説明図である。
り当て結果を示す説明図である。
【図7】図4に示した参照画像に対するパターン番号割
り当て結果を示す説明図である。
り当て結果を示す説明図である。
【図8】対応点検出部による対応点検出結果を例示する
説明図である。
説明図である。
【図9】図9(a)は参照画像,図9(b)は補正画
像,図9(c)はこられ画像間の各対応点について,算
出した対応点移動ベクトルをそれぞれ例示する説明図で
ある。
像,図9(c)はこられ画像間の各対応点について,算
出した対応点移動ベクトルをそれぞれ例示する説明図で
ある。
【図10】図10(a)はクラスタリングに用いるベク
トル間の距離を,図10(b)は図9(c)の対応点移
動ベクトルに対するクラスタリングをそれぞれ例示する
説明図である。
トル間の距離を,図10(b)は図9(c)の対応点移
動ベクトルに対するクラスタリングをそれぞれ例示する
説明図である。
【図11】図11(a)は参照画像,図11(b)はク
ラスタC1による部分補正画像,図11(c)はクラス
タC2による部分補正画像をそれぞれ例示する説明図で
ある。
ラスタC1による部分補正画像,図11(c)はクラス
タC2による部分補正画像をそれぞれ例示する説明図で
ある。
【図12】図12(a)はクラスタC1による部分補正
画像,図12(b)はクラスタC2による部分補正画
像,図12(c)は合成補正画像をそれぞれ例示する説
明図である。
画像,図12(b)はクラスタC2による部分補正画
像,図12(c)は合成補正画像をそれぞれ例示する説
明図である。
【図13】図13(a)は参照画像,図13(b)はク
ラスタC1による部分補正画像,図13(c)はクラス
タC2による部分補正画像をそれぞれ例示する説明図で
ある。
ラスタC1による部分補正画像,図13(c)はクラス
タC2による部分補正画像をそれぞれ例示する説明図で
ある。
【図14】図14(a)はクラスタC1による部分補正
画像,図14(b)はクラスタC2による部分補正画
像,図14(c)は合成補正画像をそれぞれ例示する説
明図である。
画像,図14(b)はクラスタC2による部分補正画
像,図14(c)は合成補正画像をそれぞれ例示する説
明図である。
【図15】図15(a)はクラスタC1による部分補正
画像とクラスタC2による部分補正画像の合成を示し,
図15(b)は線A−B間の第2の変換式を示す説明図
である。
画像とクラスタC2による部分補正画像の合成を示し,
図15(b)は線A−B間の第2の変換式を示す説明図
である。
【図16】図16(a)は補正画像を,図16(b)は
文字画像領域メモリ内のデータを,図16(c)は文字
画像切り出し結果をそれぞれ示す説明図である。
文字画像領域メモリ内のデータを,図16(c)は文字
画像切り出し結果をそれぞれ示す説明図である。
【図17】図17(a)は文字画像切り出し結果を,図
17(b)は文字認識結果を,図17(c)は出力デー
タをそれぞれ示す説明図である。
17(b)は文字認識結果を,図17(c)は出力デー
タをそれぞれ示す説明図である。
100 画像入力部 101 画像位置合わせ部 102 認識処理部 111 パターン抽出部(対応点抽出手段) 112 同一パターン抽出部(対応点抽出手段) 113 対応点抽出部(対応点抽出手段) 114 画像補正部(画像変換式算出手段,画像変換手
段) 115 対応点移動ベクトル算出部(対応点移動ベクト
ル算出手段) 116 対応点移動ベクトルクラスタリング部(クラス
タリング手段) 117 画像部分補正部(部分画像変換式算出手段,部
分画像変換手段,画像合成手段) 121 文字画像切り出し部(文字切り出し手段) 122 文字認識部(文字認識手段) 131 入力画像メモリ 132 参照画像パターンメモリ 133 補正画像メモリ 134 部分補正画像メモリ 135 合成補正画像メモリ 136 文字画像領域メモリ
段) 115 対応点移動ベクトル算出部(対応点移動ベクト
ル算出手段) 116 対応点移動ベクトルクラスタリング部(クラス
タリング手段) 117 画像部分補正部(部分画像変換式算出手段,部
分画像変換手段,画像合成手段) 121 文字画像切り出し部(文字切り出し手段) 122 文字認識部(文字認識手段) 131 入力画像メモリ 132 参照画像パターンメモリ 133 補正画像メモリ 134 部分補正画像メモリ 135 合成補正画像メモリ 136 文字画像領域メモリ
Claims (14)
- 【請求項1】 2つの画像間で複数の対応点を抽出し,
抽出された対応点のずれを用いて2つの画像間の変換式
を算出する画像処理方法において,前記2つの画像間で
複数の対応点を抽出する対応点抽出ステップと,抽出さ
れた対応点から対応点移動ベクトルを算出する対応点移
動ベクトル算出ステップと,前記対応点移動ベクトルを
対象として,大きさと方向の近い対応点移動ベクトルが
同じクラスタに分類されるようにクラスタリング処理を
行うクラスタリングステップと,前記各クラスタ内の対
応点移動ベクトル毎に部分画像の変換式を算出する部分
画像変換式算出ステップと,を有することを特徴とする
画像処理方法。 - 【請求項2】 2つの画像間で複数の対応点を抽出し,
抽出された対応点のずれを用いて2つの画像間の変換式
を算出する画像処理方法において,前記2つの画像間で
複数の対応点を抽出する対応点抽出ステップと,抽出さ
れた対応点を用いて,該対応点のずれにより前記2つの
画像間の変換式を算出する画像変換式算出ステップと,
前記画像変換式に基づいて画像を変換する画像変換ステ
ップと,前記変換した画像間の対応点から対応点移動ベ
クトルを算出する対応点移動ベクトル算出ステップと,
前記対応点移動ベクトルを対象として,方向の近い対応
点移動ベクトルが同じクラスタに分類されるようにクラ
スタリング処理を行うクラスタリングステップと,前記
各クラスタ内の対応点移動ベクトル毎に部分画像の変換
式を算出する部分画像変換式算出ステップと,を有する
ことを特徴とする画像処理方法。 - 【請求項3】 前記複数の部分画像変換式を用いてそれ
ぞれの部分変換画像を作成する部分画像変換ステップ
と,前記部分変換画像を合成して変換画像を作成する画
像合成ステップと,を有し,前記画像合成ステップは,
前記変換画像の各画素から最も近い対応点を使用して算
出した部分画像変換式を用いて作成した部分変換画像の
画素値を,該変換画像の画素値とすることを特徴とする
請求項1または2記載の画像処理方法。 - 【請求項4】 前記複数の部分画像変換式を用いてそれ
ぞれの部分変換画像を作成する部分画像変換ステップ
と,前記部分変換画像を合成して変換画像を作成する画
像合成ステップと,を有し,前記画像合成ステップは,
変換先の画像と部分変換画像をそれぞれ細かいメッシュ
に分けて,各メッシュ内でマッチング処理を行い,該マ
ッチング処理結果が最も一致する部分変換画像を合成し
て変換画像を作成することを特徴とする請求項1または
2記載の画像処理方法。 - 【請求項5】 画像に歪みの生じている部分を特定し,
歪みの生じている部分については画像の変換式を補間し
て使用して変換画像を作成することを特徴とする請求項
1,2,3または4記載の画像処理方法。 - 【請求項6】 請求項1,2,3,4または5記載の画
像処理方法をコンピュータに実行させるためのプログラ
ムとして記憶したことを特徴とするコンピュータにより
読み取り可能な記憶媒体。 - 【請求項7】 2つの画像間で複数の対応点を抽出し,
抽出された対応点のずれを用いて前記2つの画像間の変
換式を算出して,前記2つの画像間で位置合わせを行う
画像処理装置において,前記2つの画像間で複数の対応
点を抽出する対応点抽出手段と,抽出された対応点から
対応点移動ベクトルを算出する対応点移動ベクトル算出
手段と,前記対応点移動ベクトルを対象として,大きさ
と方向の近い対応点移動ベクトルが同じクラスタに分類
されるようにクラスタリング処理を行うクラスタリング
手段と,前記各クラスタ内の対応点移動ベクトル毎に部
分画像の変換式を算出する部分画像変換式算出手段と,
を有することを特徴とする画像処理装置。 - 【請求項8】 2つの画像間で複数の対応点を抽出し,
抽出された対応点のずれを用いて前記2つの画像間の変
換式を算出して,前記2つの画像間で位置合わせを行う
画像処理装置において,前記2つの画像間で複数の対応
点を抽出する対応点抽出手段と,抽出された対応点を用
いて,該対応点のずれにより前記2つの画像間の変換式
を算出する画像変換式算出手段と,前記画像変換式に基
づいて画像を変換する画像変換手段と,前記変換した画
像間の対応点から対応点移動ベクトルを算出する対応点
移動ベクトル算出手段と,前記対応点移動ベクトルを対
象として,方向の近い対応点移動ベクトルが同じクラス
タに分類されるようにクラスタリング処理を行うクラス
タリング手段と,前記各クラスタ内の対応点移動ベクト
ル毎に部分画像の変換式を算出する部分画像変換式算出
手段と,を有することを特徴とする画像処理装置。 - 【請求項9】 前記画像処理装置は,前記複数の部分画
像変換式を用いてそれぞれの部分変換画像を作成する部
分画像変換手段と,前記部分変換画像を合成して変換画
像を作成する画像合成手段と,を有し,前記画像合成手
段は,前記変換画像の各画素から最も近い対応点を使用
して算出した部分画像変換式を用いて作成した部分変換
画像の画素値を,該変換画像の画素値とすることを特徴
とする請求項7または8記載の画像処理装置。 - 【請求項10】 前記画像処理装置は,前記複数の部分
画像変換式を用いてそれぞれの部分変換画像を作成する
部分画像変換手段と,前記部分変換画像を合成して変換
画像を作成する画像合成手段と,を有し,前記画像合成
手段は,変換先の画像と部分変換画像をそれぞれ細かい
メッシュに分けて,各メッシュ内でマッチング処理を行
い,該マッチング処理結果が最も一致する部分変換画像
を合成して変換画像を作成することを特徴とする請求項
7または8記載の画像処理装置。 - 【請求項11】 画像に歪みの生じている部分を特定
し,歪みの生じている部分については画像の変換式を補
間して使用して変換画像を作成することを特徴とする請
求項7,8,9または10記載の画像処理装置。 - 【請求項12】 前記画像処理装置は,前記2つの画像
の内の一の画像について予め与えられている文字画像存
在領域の文字データに基づいて,前記変換画像から文字
画像を切り出す文字切り出し手段を有することを特徴と
する請求項7,8,9,10または11記載の画像処理
装置。 - 【請求項13】 前記画像処理装置は,前記文字切り出
し手段により得られた文字画像を認識する文字認識手段
を有することを特徴とする請求項12記載の画像処理装
置。 - 【請求項14】 前記2つの画像の内の他の画像は,フ
ァクシミリを介して入力された画像であることを特徴と
する請求項7,8,9,10,11,12または13記
載の画像処理装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP8273836A JPH10124684A (ja) | 1996-10-16 | 1996-10-16 | 画像処理方法,記憶媒体及び画像処理装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP8273836A JPH10124684A (ja) | 1996-10-16 | 1996-10-16 | 画像処理方法,記憶媒体及び画像処理装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JPH10124684A true JPH10124684A (ja) | 1998-05-15 |
Family
ID=17533231
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP8273836A Pending JPH10124684A (ja) | 1996-10-16 | 1996-10-16 | 画像処理方法,記憶媒体及び画像処理装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JPH10124684A (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7027624B2 (en) | 2001-03-29 | 2006-04-11 | Nec Corporation | Pattern collation device and pattern collating method thereof, and pattern collation program |
JP2009064247A (ja) * | 2007-09-06 | 2009-03-26 | Nikon Corp | プログラム、画像処理装置および画像処理方法 |
WO2019116517A1 (ja) * | 2017-12-14 | 2019-06-20 | オリンパス株式会社 | 画像処理装置および画像処理方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS62182976A (ja) * | 1986-02-07 | 1987-08-11 | Hitachi Medical Corp | 画像間演算時の画像歪み自動補正装置 |
JPH02118884A (ja) * | 1988-10-28 | 1990-05-07 | Matsushita Electric Ind Co Ltd | 動領域分離分割装置 |
JPH0391877A (ja) * | 1989-09-05 | 1991-04-17 | Hitachi Ltd | 画像処理装置 |
JPH041473U (ja) * | 1990-04-19 | 1992-01-08 | ||
JPH06266840A (ja) * | 1993-03-11 | 1994-09-22 | Hitachi Ltd | 移動物体の状態検出装置 |
-
1996
- 1996-10-16 JP JP8273836A patent/JPH10124684A/ja active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS62182976A (ja) * | 1986-02-07 | 1987-08-11 | Hitachi Medical Corp | 画像間演算時の画像歪み自動補正装置 |
JPH02118884A (ja) * | 1988-10-28 | 1990-05-07 | Matsushita Electric Ind Co Ltd | 動領域分離分割装置 |
JPH0391877A (ja) * | 1989-09-05 | 1991-04-17 | Hitachi Ltd | 画像処理装置 |
JPH041473U (ja) * | 1990-04-19 | 1992-01-08 | ||
JPH06266840A (ja) * | 1993-03-11 | 1994-09-22 | Hitachi Ltd | 移動物体の状態検出装置 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7027624B2 (en) | 2001-03-29 | 2006-04-11 | Nec Corporation | Pattern collation device and pattern collating method thereof, and pattern collation program |
JP2009064247A (ja) * | 2007-09-06 | 2009-03-26 | Nikon Corp | プログラム、画像処理装置および画像処理方法 |
WO2019116517A1 (ja) * | 2017-12-14 | 2019-06-20 | オリンパス株式会社 | 画像処理装置および画像処理方法 |
US11164320B2 (en) | 2017-12-14 | 2021-11-02 | Olympus Corporation | Image processing apparatus and method for appropriately synthesizing a plurality of images using projection transform matrix calculation |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2930612B2 (ja) | 画像形成装置 | |
US4748678A (en) | Method of storing and retrieving image data | |
US5075895A (en) | Method and apparatus for recognizing table area formed in binary image of document | |
JP3636809B2 (ja) | 画像処理方法 | |
JPH10162150A (ja) | ページ解析システム | |
CN114529925B (zh) | 一种全线表表格结构识别方法 | |
CN110766697B (zh) | 一种界面草图的图形界面控件图像识别的方法和装置 | |
Tombre et al. | Vectorization in graphics recognition: to thin or not to thin | |
JP2000181992A (ja) | カラー文書画像認識装置 | |
CN115761285A (zh) | 一种基于虚拟位姿与场景感知匹配学习的辅助装配方法 | |
JPH10124684A (ja) | 画像処理方法,記憶媒体及び画像処理装置 | |
JP2021149452A (ja) | 画像処理装置、制御方法及び制御プログラム | |
JPH06214983A (ja) | 文書画像の論理構造化文書への変換方法および装置 | |
JPH1091783A (ja) | 画像位置合わせ方法、ファクス文字認識装置及びコンピュータ記憶媒体 | |
JP2006227824A (ja) | 図面認識方法および装置 | |
JP2005182660A (ja) | 文字・図形の認識方法 | |
CN114445848A (zh) | 一种获取电气图纸中元器件识别位置的方法及*** | |
Vaxivière et al. | Subsampling: A structural approach to technical document vectorization | |
JPH06231253A (ja) | 画像修正装置及び図面入力装置 | |
JP3625245B2 (ja) | 画像処理方法及び画像処理装置 | |
JP3187894B2 (ja) | 文書画像傾き検出方法 | |
JP2000076378A (ja) | 文字認識方法 | |
JPH10208040A (ja) | 画像処理方法及び記録媒体 | |
CN117237957A (zh) | 用于检测文件方向并对倾斜或畸形文件矫正的方法及*** | |
KR20240082614A (ko) | 문서 분리 방법, 장치, 시스템 및 컴퓨터 프로그램 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040608 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040615 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040816 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20040907 |