JP2003259110A - 画像結合装置、その方法、プログラム - Google Patents

Abstract

(57)【要約】 【課題】 各入力画像の傾きを自動的に補正し、高精度
／高速に複数個の入力画像を結合できるようにする。 【解決手段】 傾き角度検出部１１は、各入力画像の紙
面や被写体に対する傾き角度を求める。傾き補正部１２
は、検出された傾き角度に基づいて、各入力画像の傾き
を補正する。重なり位置検出部１３は、補正後の入力画
像、または補正後の入力画像のデータ量を削減して成る
画像を用いて、２つの画像の相互の重なり位置を検出す
る。画像結合部１４は、検出された重なり位置におい
て、２つの入力画像を結合する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、スキャナやデジタ
ルカメラ等でスキャナの読み取り幅を超える写真や紙
面、もしくはカメラの撮影範囲を超える対象物を、複数
回に分けて入力した場合に、これら複数の画像を合成し
て１つの画像を生成する手法に関する。

【０００２】

【従来の技術、発明が解決しようとする課題】近年、据
え置き型のフラットベッドスキャナに加え、持ち運びが
容易な手動操作型の小型ハンドヘルドスキャナが開発・
製品化されている。ハンドヘルドスキャナは、本体が小
型である為、一度にスキャンできる幅が狭い。またフラ
ットベッドスキャナの多くは、Ａ４サイズであり、新聞
等の大きな紙面を取り込むことはできない。スキャナ幅
を超える大きな画像を取り込むためには、画像を複数回
に分けて取り込み（図１１）、後にこれらを合成する必
要がある（図１２）。

【０００３】スキャナやデジタルカメラを用いて取り込
んだ画像の多くは、紙面や被写体に対して傾いた向きに
入力される（図１３）。画像を合成する場合、各々の画
像の傾きを補正しなければ、重なり位置の検出精度が落
ちる（図１４）。また重なり位置を検出できたとして
も、両画像の重なり位置は完全に一致しないため、画素
ずれの影響から合成部分の画質が低下する。また合成し
た画像は、合成部分を境に傾きが変化するため、全体的
に歪んだ画像となる。

【０００４】しかしながら、市販のフォトレタッチソフ
トに搭載されている画像結合機能では、自動的に傾きを
補正する技術は存在しない。ユーザ自ら手動で傾き補正
する必要があるため、使い勝手が悪い。また、正確に傾
き補正することができない（ユーザの技量にも依るが）
といった問題があった。

【０００５】上記のように、従来の画像結合技術では、
画像の結合前に、ユーザ自ら手動で画像の傾きを補正す
る必要があった。そのため、使い勝手が悪い、正確に傾
き補正することができないといった問題があった。

【０００６】また、上記スキャナやデジタルカメラを用
いて取り込んだ画像が、フルカラー画像等の多値の色成
分を持つ画像である場合には、処理負荷が大きい（処理
速度が遅い）、処理途中で必要なメモリ容量が多い、等
という問題があった。

【０００７】本発明の課題は、対象を複数回に分けて読
み込んで成る各入力画像を結合する手法において、この
各入力画像の傾きを自動的に補正した上で画像結合する
ことで、ユーザの使い勝手を向上し、かつ高精度に複数
個の入力画像を結合できるようにし、更に入力画像のデ
ータ量が多い場合でも高速処理できるようにする装置、
方法、プログラム等を提供することである。

【０００８】

【課題を解決するための手段】本発明による画像結合装
置は、分割して読み取られた複数の入力画像毎に、該各
入力画像の傾き角度を求める傾き角度検出手段と、該傾
き角度検出手段より検出した傾き角度に基づき、前記各
入力画像の傾き角度を補正する傾き角度補正手段と、該
傾き角度補正手段により傾き角度を補正した前記各入力
画像を用いて、各入力画像相互の重なり位置を検出する
重なり位置検出手段と、該重なり位置検出手段により検
出した重なり位置で、前記複数の入力画像を合成する画
像合成手段とを有するように構成する。

【０００９】上記画像結合装置によれば、画像を合成す
る前に、各入力画像の傾きを各々自動的に補正したうえ
で重なり位置の検出を行うので、正確な重なり位置の検
出が行なえるようになる。これにより画像合成して成る
合成画像は、合成部分の画質が低下したり、全体的に歪
んだ画像となること無く、高画質の合成画像が得られ
る。また、ユーザが手動で傾き補正する必要がないた
め、使い勝手が向上する。

【００１０】また、例えば、前記傾き角度検出手段は、
文字列部分を部分画像として抽出して該抽出した部分画
像から前記傾き角度を求めるようにしてもよい。また
は、前記入力画像における色成分のパターン情報から罫
線または境界線を抽出し、該罫線または境界線の傾きに
基づいて前記傾き角度を求めるようにしてもよい。

【００１１】そして、例えば、前記傾き角度検出手段
は、前記入力画像を２つの色成分を持つ２値画像に変換
し、該２値画像を用いて前記傾き角度の検出を実行する
ようにしてもよい。

【００１２】特に、フルカラー画像等の多値の色成分を
持つ画像は、階調が急激に変化する領域であっても、段
階を持って推移するものである（階調成分は緩やかに推
移する）。このような画像が入力画像であった場合、上
記罫線または境界線等を抽出する際に境界領域を検出す
るのは容易ではない。これに対して、入力画像を、一
旦、２値画像に置き換えれば、境界領域の検出が容易と
なる。２値化することで、画像中の直線成分を容易に精
度よく検出することができるようになる。

【００１３】また、例えば、前記重なり位置検出手段
は、前記入力画像を、階調画像もしくは２値画像に変換
し、該階調画像または２値画像を用いて前記重なり位置
の検出を実行するようにしてもよい。

【００１４】重なり位置の検出処理は、通常、特に、入
力画像がフルカラー画像等の多値の色成分を持つ画像で
あった場合には、処理負荷が増大し、処理速度が遅くな
る。これに対して、上記のように入力画像のデータ量を
削減した画像を用いることにより、処理速度が向上す
る。

【００１５】本発明による画像結合方法は、分割して読
み取られた複数の入力画像毎に、該各入力画像の傾き角
度を求め、該求められた傾き角度に基づき、前記各入力
画像の傾き角度を、該入力画像もしくは該入力画像を変
換して成る階調画像または２値画像を用いて補正し、該
傾き角度を補正した入力画像もしくは階調画像または２
値画像を用いて、各入力画像相互の重なり位置を検出
し、該検出した重なり位置で、前記複数の入力画像を合
成する。

【００１６】また、本発明は、コンピュータに、対象を
複数回に分けて読み込んで成る複数の入力画像各々につ
いて傾き角度を求める機能と、該各入力画像の傾き角度
に基づき、各入力画像の傾き角度を補正する機能と、該
傾き角度を補正した入力画像を用いて、各入力画像相互
の重なり位置を検出する機能と、該検出した重なり位置
で、前記複数の入力画像を合成する機能とを実現させる
ためのプログラム自体として構成することもできる。

【００１７】あるいは、このプログラムを記録した記録
媒体自体として構成することもできる。

【００１８】

【発明の実施の形態】以下、図面を参照して、本発明の
実施の形態について説明する。図１は、本例による画像
結合装置の機能ブロック図である。

【００１９】本例による画像結合装置１０は、機能的に
分けると、大きく分けて図示の４つの機能部から構成さ
れる。すなわち、傾き角度検出部１１、傾き補正部１
２、重なり位置検出部１３、画像結合部１４より構成さ
れる。

【００２０】まず、スキャナやデジタルカメラを用い
て、紙面や被写体を２または３以上に分割して取り込ん
だ各画像（以下、入力画像という）が、メモリ１５等に
格納されているものとする。

【００２１】傾き角度検出部１１は、これら各入力画像
の中の２つの入力画像を各々メモリ１５等から読み出し
て、各入力画像の紙面や被写体に対する傾き角度を求め
る。これは、例えば後述するように、各入力画像に含ま
れる色成分のパターン情報から該入力画像の傾き角度を
求める。また、後述するように、入力画像を二値画像化
してから傾き角度を求めるようにしてもよい。

【００２２】傾き補正部１２は、傾き角度検出部１１に
より検出された各入力画像の傾き角度に基づいて、各入
力画像の傾きを補正する。重なり位置検出部１３は、傾
き補正部１２により傾き補正された入力画像を用いて、
上記２つの入力画像の相互の重なり位置を検出する。

【００２３】画像結合部１４は、重なり位置検出部１３
により検出された重なり位置において、上記２つの入力
画像を結合する。入力画像が３つ以上ある場合には、更
に上述した処理を繰り返すことにより、３つ以上の入力
画像を１つにまとめることができる。

【００２４】また、上記傾き補正部１２、重なり位置検
出部１３の処理で用いるデータは、入力画像ではなく、
入力画像のデータ量を削減したもの（例えば、入力画像
がフルカラー画像であった場合には、これを階調画像化
したもの）を用いるようにすることで、処理の高速化を
図るようにしてもよい。この場合には、画像結合部１４
は、図上に点線矢印で示すように、メモリ１５等に格納
してある入力画像を再度読み出して、この入力画像に対
して、傾き角度検出部１１より検出した傾き角度、重な
り位置検出部１３により検出した重なり位置を用いて、
画像結合する。

【００２５】上記処理のうち、重なり位置検出部１３、
画像結合部１４の処理は、本出願人が、既に提案してい
る特願平11-111708号記載の手法、特願2001-107532号記
載の手法を用いるものであってよい。また、これらに限
らず、他の公知の画像結合手法を用いても構わない。但
し、特願平11-111708号または特願2001-107532号記載の
手法を用いる場合には、これら発明による効果も加わる
ことになり、より高精度な画像結合が可能になり、また
は処理速度が更に高速になる。

【００２６】本例による画像結合手法によれば、例えば
図２に概略イメージを示すように、重なり位置検出部１
３、画像結合部１４の処理の前処理として、入力画像の
傾きを、傾き角度検出部１１、傾き補正部１２の処理に
より自動的に高速に補正することにより、重なり位置検
出部１３、画像結合部１４の処理において、より正確な
重なり位置を検出して画像結合することができるので、
画素ずれによる画質低下を防ぎ、また歪みを防ぐことが
でき、高精度に複数個の入力画像を結合することが可能
となる。

【００２７】以下、図３〜図５を参照して、第一の実施
例について説明する。図３は、第一の実施例による画像
結合手法の処理手順を説明する為のフローチャート図で
ある。

【００２８】図４（ａ）、（ｂ）、図５は、図３のステ
ップＳ１１の処理、すなわち傾き角度の検出処理のイメ
ージを示す図である。図３において、まず、合成すべき
２つの入力画像の傾き角度を検出する（ステップＳ１
１）。

【００２９】ステップＳ１１の処理は、例えば、合成す
べき各入力画像毎に、その入力画像の色成分のパターン
情報から入力画像の傾き角度を求める。以下、詳しく説
明する。

【００３０】まず、上記入力画像が文書画像である場合
には、図４（ａ）に示すように入力画像中に罫線が存在
する場合がある。このような場合には、この罫線を検出
し、この罫線の傾き角度を求めることで、入力画像の傾
きを求める。通常、罫線は、スキャン対象の紙面上で紙
面に対して水平または垂直方向に引かれているものであ
る。よって、「罫線の傾き」＝「入力画像の傾き」、と
見做すことができる。

【００３１】罫線の検出は、色成分のパターン情報から
求める。すなわち、罫線と背景とでは、色成分が急激に
変化する。また、これは直線的に推移する。よって、入
力画像中において後述する“勾配の強度”が所定値以上
となる部分が直線的に連続する領域を検出することで、
罫線を検出できる。

【００３２】また、例えば図４（ｂ）に示すように、各
文書がコラム毎に色分けされている場合には、当該“色
分けされたコラム”と“背景色”との境界線を検出する
ことで、この境界線の傾きを、入力画像の傾きと見做
す。これは、文書以外（写真、図、表等）の場合にも適
用できる。また、文書以外の場合には、コラム毎に色分
けされている場合に限らず、境界線を検出することがで
きる。すなわち、読取った入力画像の一部に写真等があ
る場合には、この写真と“背景色”との境界線を検出す
ることができる。但し、この場合は、この写真等が、長
方形または正方形等のように直線成分を含む形状となっ
ていることを前提とする。

【００３３】上記罫線や境界領域の検出は、色成分が急
激に変化する領域を検出することで実現する。これは、
色成分の微分値から求める。微分の手法は１次元微分、
２次元微分等、公知のどの方法を用いても構わない。色
成分を微分し、勾配の強度を求める。そしてある一定の
値以上となる強度が、直線的に連続となる領域を検出す
る（例えば、「画像の処理と認識」、安居院猛／長尾
智晴著、昭晃堂、１９９９２．１．２５等に記載の技
術）。

【００３４】以上の処理により、直線部分を検出するこ
とができる。次に、入力画像に対する当該直線相対的な
傾き角度を求める。これは、上記検出した直線の始点の
座標を（x1, y1）、終点の座標を（x2, y2）とすると、
傾きの大きさａは、以下の式により求めることができ
る。

【００３５】ａ＝(y1-y2)/(x1-x2) これより、傾き角度θは、アークタンジェントを用いて θ＝tan^-1（ａ） より求める。

【００３６】この求めた角度θを、画像の傾き角度とす
る。次に、求めた傾き角度θを用いて、画像の傾き角度
を補正する（ステップＳ１２）。

【００３７】そして、画像の重なり位置を検出する（ス
テップＳ１３）。重なり位置の検出には、ステップＳ１
２において傾き補正後の画像を用いる。ここで、入力画
像が文書画像であれば、特願平11-111708 号等の手法を
用いる。また入力画像が文書画像以外（写真、イラス
ト、図形、表等）であれば、特願2001-107532号等の手
法を用いる。入力画像が、文書画像と文書画像以外とが
混在するものである場合には、結合領域にあるのが文書
画像であるか文書画像以外であるかにより、上記２つの
手法の何れかを用いる。尚、重なり位置の検出方法は、
これら以外の公知の手法を用いても構わない。

【００３８】最後に、２つの画像を合成する（ステップ
Ｓ１４）。画像の合成には、ステップＳ１２において傾
き補正した画像を用いる。画像の合成には、ステップＳ
１３と同様に、特願平11-111708や特願2001-107532等の
手法を用いる。画像の合成はこれら以外の公知手法を用
いても構わない。

【００３９】また、上記ステップＳ１１の処理は、入力
画像がＲＧＢ色成分をもつフルカラーの画像や、単一の
色成分を持つ階調画像であれば、２つの色成分を持つ２
値画像に変換して、この２値画像を用いて画像の傾き角
度を検出するようにしてもよい。２値化の手法は、例え
ば本出願人が既に提案している特願2000-31869号に記載
の手法を用いる。他の手法を用いても構わない。

【００４０】ここで、２値画像に変換する理由について
以下に説明する。まず、フルカラー画像等の多値の色成
分を持つ画像は、階調が急激に変化する領域であって
も、段階を持って推移するものである。特に解像度の高
い画像においては、入力機器の光学装置の性能、例えば
レンズの解像度や焦点調節機能にもよるが、階調成分は
緩やかに推移する。例えば、白から黒へ変化する紙面を
光学機器にて入力した場合、白を255、黒を0としたと
き、0から255に急激に変化するのではなく、0, 100, 20
0 255 のように段階を持って推移する。この場合、白と
黒の境界領域を検出するのは容易ではない。

【００４１】これに対して、本例のように、フルカラー
の画像等を、一旦、２値画像に置き換えれば、境界領域
の検出が容易となる。例えば、２値化のしきい値を128
としたとき、0 ⇒0、100⇒0、200⇒1, 255⇒1となるた
め、0と1の間が白と黒の境界線であるということが容易
に分かる。２値化することで、画像の直線成分を容易に
精度よく検出することができるようになる。これは、単
一の色成分を持つ階調画像についても同様である。

【００４２】上述してあるように、スキャナやデジタル
カメラを用いて取り込んだ画像の多くは、紙面や被写体
に対して傾いた向きに入力される。各々の画像の傾きを
補正しなければ、重なり位置の検出精度が落ちる。傾い
た画像を合成すると、画像の重なり位置は完全に一致し
ないため、画素ずれの影響から合成部分の画質が低下す
る。また、合成部分を境に傾きが変化するため、全体的
に歪んだ画像となる。

【００４３】これに対して、上述した本例による画像結
合手法では、色成分のパターン情報から画像の傾き角度
を求めることで、自動的に高精度に傾き角度を求めるこ
とができ、検出した傾き角度に基づき、画像の傾き角度
を補正する（検出した傾き方向に画像を補正する）こと
ができる。このように傾き補正した画像を合成すること
で、画素ずれによる画質低下を防ぎ、また歪みを防ぐこ
とができる。また、高画質に複数個の画像を結合するこ
とも可能である。

【００４４】尚、上記ステップＳ１１の傾き角度検出
は、上述した方法に限るわけではなく、例えば入力画像
が文書画像もしくは文書画像が含まれる場合には（特に
罫線がない場合）、図５に示すような特願平10-147822
号記載の手法を用いるようにしてもよい。

【００４５】特願平10-147822号記載の発明では、特
に、抽出された文書画像の中から、文字らしいものが含
まれている部分を部分画像として抽出し、抽出した部分
画像から傾き角度を求め、これらの傾き角度により入力
画像の傾き角度を求めるようにしている。これより、入
力画像が文書画像以外のみで構成される場合を除いて
は、特願平10-147822号記載の手法を用いるようにして
もよい。

【００４６】そして、ステップＳ１２において、図５に
示すように、入力画像を、検出した傾き角度θの大きさ
だけ、時計回りと逆方向に回転補正する。以下、第２の
実施例について説明する。

【００４７】ここで、画像の重なり位置の検出は、特に
対象となる画像がＲＧＢ色成分を持つフルカラー画像等
である場合には、非常に多くの時間を要する。第２の実
施例では、入力画像がカラー画像である場合に、これを
単一の色成分を持つ階調画像に変換してデータ量を削減
してから、重なり位置を検出する処理を実行すること
で、計算量を抑え、高速に処理することができるように
するものである。

【００４８】以下、図６を参照して、第２の実施例の処
理手順について説明する。尚、ここでは、入力画像がＲ
ＧＢ色成分を持つフルカラーの画像であるものとして説
明するが、YCbCr等、その他の色成分を持つフルカラー
の画像でも構わない。

【００４９】まず、２つの入力画像（フルカラー）をメ
モリに保存する（ステップＳ２１）。次に、まず、ステ
ップＳ２１でメモリに保存した各入力画像毎に、各々、
入力画像を読み出して、その傾き角度を検出する（ステ
ップＳ２２）。傾き角度の検出方法は、上記ステップＳ
１１で説明した手法の何れを用いるものであってもよい
が、特に２値画像に変換して行う手法を用いた場合には
容易に高精度な傾き角度の検出が行なえるようになる。
また高速処理が可能となる。尚、上述した手法以外の公
知の手法を用いても構わない。

【００５０】そして、ステップＳ２２で検出した各入力
画像の傾き角度は、後のステップＳ２７の処理において
入力画像の合成に用いるため、メモリに一時記憶する
（ステップＳ２３）。すなわち、本例では、後述するス
テップＳ２５、Ｓ２６の処理は、階調画像を用いて高速
に行うが、最終的には入力画像（フルカラー）を用いて
ステップＳ２７の処理により画像合成を行うので、その
際に用いるパラメータの１つとして上記傾き角度をメモ
リに一時記憶しておく。

【００５１】次に、入力画像を単一の色成分を持つ階調
画像に変換する（ステップＳ２４）。これは、例えば、
入力画像を YCbCr変換し、Ｙ成分に着目して階調画像を
作成する。また、この方法に限らず、例えば差分フィル
タを用いて微分値を画素成分とする画像を作成する方法
や、ＲＧＢ色成分のうち１つの色成分を階調画像とする
方法や、これら以外の公知の変換方法を利用しても構わ
ない。

【００５２】次に、ステップＳ２４の処理により得た階
調画像を用いて、ステップＳ２２で検出した各傾き角度
により、傾き補正する（ステップＳ２５）。この傾き補
正処理自体は、ステップＳ１２の処理と同様であってよ
い。

【００５３】そして、ステップＳ２５で傾き補正した階
調画像を用いて、２つの画像の重なり位置、相対的な角
度のずれを検出する（ステップＳ２６）。検出方法は、
ステップＳ１３と同様に、特願平11-111708、特願2001-
107532の手法を用いる。なお、これらの手法に限らず、
その他の公知手法を用いても構わない。

【００５４】そして、最後に、メモリに格納してあった
入力画像（フルカラー）を再度読み出して、上記ステッ
プＳ２３で一時記憶しておいた（個々の入力画像の）傾
き角度、及びステップＳ２６で検出した２つの画像の重
なり位置、相対的な角度のずれを用いて、入力画像を合
成する（ステップＳ２７）。これは、“傾き角度”に
“相対的な角度のずれ”を足し合わせた方向に画像を回
転し、且つ上記２つの画像の重なり位置で合成する。画
像の合成手法自体は、ステップＳ１４と同様の手法であ
ってよい。

【００５５】以上説明したように、第２の実施例による
画像結合手法によれば、データ量を削減した画像（階調
画像）に基づいて傾き角度、重なり位置（パラメータ）
を検出して、最後にデータ量が多い入力画像（フルカラ
ー画像等）を用いて、これらパラメータにより入力画像
の合成を行うようにしているので、高速かつ高精度に複
数の画像を合成することができる。

【００５６】本例による画像結合手法において、処理の
高速化という点に関しては、上記第２の実施例のように
入力画像のデータ量が多い場合に（フルカラー画像であ
る場合等）、特に顕著な効果を奏するものであるが、入
力画像が例えば単一の色成分を持つ階調画像である場合
にも、容易に高精度な結合が行なえるという効果は得ら
れる。以下、入力画像が単一の色成分の階調画像である
場合の実施例（第３の実施例）について、図７を参照し
て説明する。

【００５７】図７は、第３の実施例による画像結合方法
の処理手順を説明する為のフローチャート図である。本
例においては、入力画像は、例えば単一の色成分を持つ
階調画像である。

【００５８】まず、２つの入力画像（階調画像）をメモ
リに保存する（ステップＳ３１）。次に、まず、ステッ
プＳ３１でメモリに保存した各入力画像毎に、各々、入
力画像を読み出して、その傾き角度を検出する（ステッ
プＳ３２）。傾き角度の検出方法は、上記ステップＳ１
１で説明した手法の何れを用いるものであってもよい
が、特に２値画像に変換して行う手法を用いた場合に
は、容易に高精度な傾き角度の検出が行なえるようにな
る。また高速処理が可能となる。また、これら以外の公
知の手法を用いても構わない。

【００５９】そして、ステップＳ３２で検出した各入力
画像の傾き角度は、後のステップＳ３６の処理において
入力画像の合成に用いるため、メモリに一時記憶する
（ステップＳ３３）。

【００６０】次に、再び、メモリに保存してある２つの
入力画像（階調画像）を読み出して、ステップＳ３２で
検出した各傾き角度により、各入力画像の傾き補正を実
行する（ステップＳ３４）。この傾き補正処理自体は、
ステップＳ１２の処理と同様であってよい。

【００６１】そして、ステップＳ３４で傾き補正した階
調画像を用いて、２つの画像の重なり位置、相対的な角
度のずれを検出する（ステップＳ３５）。検出方法は、
ステップＳ１３と同様に、特願平11-111708、特願2001-
107532の手法を用いる。なお、これらの手法に限らず、
その他の公知手法を用いても構わない。

【００６２】そして、最後に、再々度、メモリに格納し
てあった入力画像（階調画像）を読み出して、上記ステ
ップＳ３３で一時記憶しておいた（個々の入力画像の）
傾き角度、及びステップＳ３５で検出した２つの画像の
重なり位置、相対的な角度のずれを用いて、入力画像を
合成する（ステップＳ３６）。これは、“傾き角度”に
“相対的な角度のずれ”を足し合わせた方向に画像を回
転し、且つ上記２つの画像の重なり位置で合成する。画
像の合成手法自体は、ステップＳ１４と同様の手法であ
ってよい。

【００６３】以上説明したように、第３の実施例による
画像結合手法によれば、傾き角度、重なり位置、相対的
な角度のずれ（これらはパラメータとなる）を検出し
て、これらパラメータにより入力画像の合成を行うよう
にしているので、容易に高精度に複数の画像を合成する
ことができる。

【００６４】本例による画像結合は、コピー対象、スキ
ャン対象、撮影対象を２つに分割して読取った２つの画
像の結合に限らず、３つ以上に分割して読取った３つ以
上の画像を結合することもできる。

【００６５】図８は、３つ以上に分割して読取った３つ
以上の画像を結合する結合方法を説明する為の図であ
る。図８に示すように、まず、３つ以上に分割して読取
った各画像の中で、最初に読取った画像１と、２番目に
読取った画像２とを用いて、上述した本例による画像結
合処理により、これら画像１と画像２とを結合して、結
合画像１を生成する。次に、この結合画像１と、３番目
に読取った画像３とを結合し、結合画像２を生成する。
以下、同様にして、読取った画像を順次結合していくこ
とで、３つ以上に分割して読取った３つ以上の画像を結
合することもできる。

【００６６】最後に、上記特願2001-107532号、特願平1
1-111708号、特願2000-31869号に記載の発明について、
簡単に説明しておく。まず、特願 2001-107532号記載の
発明について説明する。

【００６７】特願2001-107532号記載の発明では、画像
結合処理を３段階に分けて行う。これは、入力画像のデ
ータ量が多い場合（カラー画像等）に特に有効である。
まず、第一段階では“おおまかな重なり位置検出”を行
う。例えばハンドヘルドスキャナ等の入力機器より入力
される画像データのデータ量を非常に少なくした画像デ
ータ（例えば単一の階調画像の縮小画像）を用いて、２
つの画像の結合位置関係（上記回転角度、及び／また
は、鏡像反転有無）を検出する。また、この検出した結
合位置関係における２つの画像の“おおまかな重なり領
域”を検出する。

【００６８】次に、第二段階において、２つの画像の
“正確な重なり位置検出”処理を行う。ここでは、スキ
ャン画像がフルカラー画像である場合には、これを単一
の階調画像（グレースケール）に変換した画像データを
用いる。そして、第一段階で検出した“おおまかな重な
り領域”に基づいて、２つの画像の正確な重なり位置と
結合面として用いる（つなぎ目；合成処理に用いる）領
域を検出する。これは、“おおまかな重なり領域”を複
数の矩形領域に分割し、色差の大きい濃度成分を多く含
む矩形領域の中から正確な重なり位置検出に用いる領域
を決定し、色差の小さい濃度成分を多く含む矩形領域の
中から２つの画像の結合面として用いる矩形領域を決定
する。

【００６９】また、上記の様に分割した矩形領域を用い
て、スキャンした１つ目の画像（以下、第１の画像とい
う）に対するスキャンした２つ目の画像（以下、第２の
画像という）の相対的な傾きを検出する。

【００７０】そして、第三段階において、２つのスキャ
ン画像を結合する処理を行う。これは、上記第一段階、
第二段階の処理結果により、２つの画像の結合位置関係
（回転角度、及び／または、鏡像反転有無）、相対的な
傾き、正確な重なり位置、及び結合面に用いる矩形領域
が分かっているので、これらを用いて２つの画像を結合
する。

【００７１】次に、特願平11-111708号記載の発明につ
いて説明する。特願平11-111708号記載の発明では、例
えば、分割して読み取られた複数の文書画像のそれぞれ
について文字領域を抽出し、この抽出された文字領域内
の文字画像を文字認識し、この文字認識結果に基づいて
複数の文書画像の重なりを検出して、この検出された重
なり位置で複数の文書画像を結合する。

【００７２】あるいは、例えば、分割して読み取られた
複数の文書画像のそれぞれについて文字領域を抽出し、
この抽出された複数の文書画像の複数の文字領域の位置
と大きさとを比較して一致度の高い複数の文字領域を検
出し、検出した一致度の高い複数の文字領域の位置に基
づいて複数の文書画像の重なりを検出し、検出された重
なり位置で複数の文書画像を結合する。

【００７３】次に、特願2000-31869号記載の発明につい
て説明する。特願2000-31869号記載の発明では、読取っ
た各色成分の画像データについて、その濃度値のヒスト
グラムを作成し、このヒストグラムから高濃度側のピー
ク値と低濃度側のピーク値とを求めて、その大小関係を
各色成分毎に判別する。そして、例えば高濃度側ピーク
値が低濃度側のピーク値よりも大きい色成分の数のほう
が多い場合には、これら色成分を二値化処理対象とす
る。

【００７４】例えば、読取った画像データが、ＲＧＢの
３つの色成分の画像データであった場合には、Ｒ、Ｇ、
Ｂ各々について上記ピーク値の大小関係を判別する。そ
して、例えば、高濃度側ピーク値が低濃度側のピーク値
よりも大きい色成分がＲとＧであり、高濃度側ピーク値
が低濃度側のピーク値よりも小さい色成分がＢであった
場合には、Ｒ成分とＧ成分とを二値化処理対象とする。

【００７５】そして、例えば、これらＲ成分／Ｇ成分の
各画素を、所定の閾値と比較して、少なくとも一方が閾
値を越えていた場合にはその画素を白とし、どちらも閾
値を越えない場合にはその画素を黒とすることで、二値
化を実現する。

【００７６】尚、低濃度側ピーク値が高濃度側のピーク
値よりも大きい色成分の数のほうが多い場合でも、これ
ら数が多い方の色成分を二値化処理対象としてもよい
が、この場合には二値化処理後に白画素と黒画素とを反
転させる。

【００７７】図９は、本例による上記画像結合装置を実
現する情報処理装置のハードウェア構成の一例を示す図
である。尚、この情報処理装置（コンピュータ）は、例
えばパーソナルコンピュータ等であるが、これに限ら
ず、例えばフラットベッドスキャナやハンドヘルドスキ
ャナ、あるいはディジタルカメラ自体に組込まれるもの
（所謂“組込み機器”等）であってもよい。あるいは、
情報処理機能を備える任意の装置であってもよい。

【００７８】同図に示す情報処理装置（コンピュータ）
２０は、ＣＰＵ２１、メモリ２２、入力装置２３、出力
装置２４、外部記憶装置２５、媒体駆動装置２６、ネッ
トワーク接続装置２７等を有し、これらがバス２８に接
続された構成となっている。同図に示す構成は一例であ
り、これに限るものではない。

【００７９】ＣＰＵ２１は、当該情報処理装置２０全体
を制御する中央処理装置である。メモリ２２は、プログ
ラム実行、データ更新等の際に、外部記憶装置２５（あ
るいは可搬記録媒体２９）に記憶されているプログラム
あるいはデータを一時的に格納するＲＡＭ等のメモリで
ある。ＣＰＵ２１は、メモリ２２に読み出したプログラ
ム／データを用いて、上述してある各種処理を実行す
る。

【００８０】入力装置２３は、例えばキーボード、マウ
ス、タッチパネル等である。出力装置２４は、例えばデ
ィスプレイ、プリンタ等である。外部記憶装置２５は、
例えばハードディスク装置等であり、上述してきた本例
による画像結合装置の各種機能を実現させる為のプログ
ラム／データ等（図３、図６、図７等に示す処理を実行
するプログラム）が格納されている。

【００８１】媒体駆動装置２６は、可搬記録媒体２９に
記憶されているプログラム／データ等を読み出す（また
は書込む）。可搬記録媒体２９は、例えば、ＦＤ（フレ
キシブルディスク）、ＣＤ−ＲＯＭ、その他、ＤＶＤ、
光磁気ディスク等である。

【００８２】ネットワーク接続装置２７は、ネットワー
ク（インターネット等）に接続して、外部の情報処理装
置とプログラム／データ等の送受信を可能にする構成で
ある。

【００８３】図１０は、記録媒体の一例を示す図であ
る。図示のように、上記本発明の機能を実現するプログ
ラム／データが記憶されている可搬記録媒体２９を情報
処理装置２０の本体に挿入する等して、当該プログラム
／データを読み出してメモリ２２に格納し実行するもの
であってもよいし、また、上記プログラム／データは、
ネットワーク接続装置２７により接続しているネットワ
ーク４０（インターネット等）を介して、外部のプログ
ラム／データ提供者側のサーバ３０に記憶されているプ
ログラム／データ３１をダウンロードするものであって
もよい。

【００８４】また、本発明は、装置／方法に限らず、上
記プログラム／データを格納した記録媒体（可搬記録媒
体２９等）自体として構成することもできるし、これら
プログラム自体として構成することもできる。

【００８５】（付記１） 分割して読み取られた複数の
入力画像毎に、該各入力画像の傾き角度を求める傾き角
度検出手段と、該傾き角度検出手段より検出した傾き角
度に基づき、前記各入力画像の傾き角度を補正する傾き
角度補正手段と、該傾き角度補正手段により傾き角度を
補正した前記各入力画像を用いて、各入力画像相互の重
なり位置を検出する重なり位置検出手段と、該重なり位
置検出手段により検出した重なり位置で、前記複数の入
力画像を合成する画像合成手段と、を有することを特徴
とする画像結合装置。

【００８６】（付記２） 前記傾き角度検出手段は、前
記入力画像を２つの色成分を持つ２値画像に変換し、該
２値画像を用いて、前記傾き角度の検出を実行すること
を特徴とする付記１記載の画像結合装置。

【００８７】（付記３） 前記傾き角度検出手段は、文
字列部分を部分画像として抽出して該抽出した部分画像
から前記傾き角度を求め、または前記入力画像における
色成分のパターン情報から罫線または境界線を抽出し、
該罫線または境界線の傾きに基づいて前記傾き角度を求
めることを特徴とする付記２記載の画像結合装置。

【００８８】（付記４） 前記重なり位置検出手段は、
前記入力画像を、単一の色成分を持つ階調画像もしくは
２つの色成分を持つ２値画像に変換し、該階調画像また
は２値画像を用いて前記重なり位置の検出を実行するこ
とを特徴とする付記１〜３の何れかに記載の画像結合装
置。

【００８９】（付記５） 前記重なり位置検出手段は、
前記入力画像よりデータ量を少なくした縮小画像を作成
し、該作成した縮小画像を用いて前記複数の入力画像の
結合位置関係とおおまかな重なり領域を検出し、前記画
像合成手段は、該検出された結合位置関係とおおまかな
重なり領域とに基づいて、前記複数の入力画像を結合す
ることを特徴とする付記１〜４の何れかに記載の画像結
合装置。

【００９０】（付記６） 前記重なり位置検出手段は、
前記各入力画像相互のおおまかな重なり領域を検出し、
該検出されたおおまかな重なり領域を複数の矩形領域に
分割し、該分割した短形領域の中から、正確な重なり位
置検出に用いる短形領域と、結合面として用いる矩形領
域とを抽出し、前記画像合成手段は、前記正確な重なり
位置検出に用いる短形領域を用いて前記各入力画像相互
の正確な重なり位置を決定すると共に、前記結合面とし
て用いる矩形領域において前記各入力画像を合成処理す
ることを特徴とする付記１〜４の何れかに記載の画像結
合装置。

【００９１】（付記７） 前記結合位置関係は、前記各
入力画像の一方に対する他方の鏡像反転有無及び／また
は回転角度であることを特徴とする付記５または６記載
の画像結合装置。

【００９２】（付記８） 前記正確な重なり位置検出に
用いる短形領域は、色差の大きい濃度成分を多く含む矩
形領域の中から選択された矩形領域であり、前記画像の
結合面に用いる矩形領域は、色差の小さい濃度成分を多
く含む矩形領域の中から選択された矩形領域であること
を特徴とする付記５〜７の何れかに記載の画像結合装
置。

【００９３】（付記９） 分割して読み取られた複数の
入力画像毎に、該各入力画像の傾き角度を求め、該求め
られた傾き角度に基づき、前記各入力画像の傾き角度を
補正し、該傾き角度を補正した入力画像を用いて、各入
力画像相互の重なり位置を検出し、該検出した重なり位
置で、前記複数の入力画像を合成することを特徴とする
画像結合方法。

【００９４】（付記１０） 分割して読み取られた複数
の入力画像毎に、該各入力画像を２つの色成分を持つ２
値画像に変換し、該２値画像を用いて前記各入力画像に
含まれる直線を抽出することにより、該各入力画像の傾
き角度を求め、該各入力画像の傾き角度に基づき、各入
力画像の傾き角度を補正し、該傾き角度を補正した入力
画像を用いて、各入力画像相互の重なり位置を検出し、
該検出した重なり位置で、前記複数の入力画像を合成す
ることを特徴とする画像結合方法。

【００９５】（付記１１） 分割して読み取られた複数
の入力画像毎に、該各入力画像の傾き角度を求め、前記
入力画像を、単一の色成分を持つ階調画像もしくは２つ
の色成分を持つ２値画像に変換し、前記各傾き角度に基
づき、該階調画像または２値画像の傾き角度を補正し、
該傾き角度を補正した階調画像または２値画像を用い
て、各入力画像相互の重なり位置を検出し、該検出した
重なり位置で、前記複数の入力画像を合成することを特
徴とする画像結合方法。

【００９６】（付記１２） コンピュータに、分割して
読み取られた複数の入力画像各々について、該各入力画
像の傾き角度を求める機能と、該各入力画像の傾き角度
に基づき、各入力画像の傾き角度を補正する機能と、該
傾き角度を補正した入力画像を用いて、各入力画像相互
の重なり位置を検出する機能と、該検出した重なり位置
で、前記複数の入力画像を合成する機能と、を実現させ
るプログラムを記録した前記コンピュータ読取り可能な
記録媒体。

【００９７】（付記１３） コンピュータに、分割して
読み取られた複数の入力画像各々について、該各入力画
像を２つの色成分を持つ２値画像に変換し、該２値画像
を用いて前記各入力画像に含まれる直線部分を抽出する
ことにより、該各入力画像の傾き角度を求める機能と、
該各入力画像の傾き角度に基づき、各入力画像の傾き角
度を補正する機能と、該傾き角度を補正した入力画像を
用いて、各入力画像相互の重なり位置を検出する機能
と、該検出した重なり位置で、前記複数の入力画像を合
成する機能と、を実現させるプログラムを記録した前記
コンピュータ読取り可能な記録媒体。

【００９８】（付記１４） コンピュータに、分割して
読み取られた複数の入力画像各々について、該各入力画
像の傾き角度を求める機能と、前記入力画像を、単一の
色成分を持つ階調画像もしくは２つの色成分を持つ２値
画像に変換する機能と、前記各傾き角度に基づき、該階
調画像または２値画像の傾き角度を補正する機能と、該
傾き角度を補正した階調画像または２値画像を用いて、
各入力画像相互の重なり位置を検出する機能と、該検出
した重なり位置で、前記複数の入力画像を合成する機能
と、を実現させるプログラムを記録した前記コンピュー
タ読取り可能な記録媒体。

【００９９】（付記１５） コンピュータに、分割して
読み取られた複数の入力画像各々について、該各入力画
像の傾き角度を求める機能と、該各入力画像の傾き角度
に基づき、各入力画像の傾き角度を補正する機能と、該
傾き角度を補正した入力画像を用いて、各入力画像相互
の重なり位置を検出する機能と、該検出した重なり位置
で、前記複数の入力画像を合成する機能と、を実現させ
るためのプログラム。

【０１００】

【発明の効果】以上、詳細に説明したように、本発明に
よる画像結合装置、画像結合方法等によれば、対象を複
数回に分けて読み込んで成る各入力画像を結合する手法
において、この各入力画像の傾きを自動的に補正した上
で画像結合することで、ユーザの使い勝手を向上し、か
つ高精度に複数個の入力画像を結合できるようにし、更
に入力画像のデータ量が多い場合でも高速処理できるよ
うになる。

【０１０１】本発明は、ハンドヘルドスキャナ等による
画像入力の操作性およびユーザインタフェースの改善に
寄与するところが大きい。

【図面の簡単な説明】

【図１】本例による画像結合装置の機能ブロック図であ
る。

【図２】本例による画像結合手法の概略イメージを示す
図である。

【図３】第一の実施例による画像結合手法の処理手順を
説明する為のフローチャート図である。

【図４】傾き角度を求める為に直線部分を検出するイメ
ージを示す図であり、（ａ）は罫線、（ｂ）は境界線を
直線部分として検出するイメージを示す。

【図５】文字列に基づく傾き角度の検出と、傾き角度の
補正のイメージを示す図である。

【図６】第２の実施例による画像結合手法の処理手順を
説明する為のフローチャート図である。

【図７】第３の実施例による画像結合手法の処理手順を
説明する為のフローチャート図である。

【図８】３つ以上に分割して読取った３つ以上の画像を
結合する結合方法を説明する為の図である。

【図９】情報処理装置のハードウェア構成の一例を示す
図である。

【図１０】記録媒体またはダウンロードの一例を示す図
である。

【図１１】画像を複数に分割して読取る様子を示す図で
ある。

【図１２】図１１で複数に分割して読取った画像を合成
する様子を示す図である。

【図１３】紙面や被写体に対して傾いた向きに読取られ
る様子を示す図である。

【図１４】画像の傾きを補正しないと、重なり位置の検
出精度が落ちる様子を示す図である。

【符号の説明】

１０ 画像結合装置 １１ 傾き角度検出部 １２ 傾き補正部 １３ 重なり位置検出部 １４ 画像結合部 ２０ 情報処理装置（コンピュータ） ２１ ＣＰＵ ２２ メモリ ２３ 入力装置 ２４ 出力装置 ２５ 外部記憶装置 ２６ 媒体駆動装置 ２７ ネットワーク接続装置 ２８ バス ２９ 可搬記録媒体 ３０ サーバ ３１ プログラム／データ ４０ ネットワーク

───────────────────────────────────────────────────── フロントページの続き (72)発明者 山口 伸康 神奈川県川崎市中原区上小田中４丁目１番 １号 富士通株式会社内 (72)発明者 野田 嗣男 神奈川県川崎市中原区上小田中４丁目１番 １号 富士通株式会社内 Ｆターム(参考） 5B057 AA11 BA02 BA29 BA30 CA01 CA07 CA12 CA16 CB01 CB06 CB12 CB16 CC03 CD20 CE10 CE12 DA07 DC08 DC16 5C076 AA12 AA24 AA36 BA01 BA06

Claims (5)

【特許請求の範囲】
1. 【請求項１】 分割して読み取られた複数の入力画像毎
   に、該各入力画像の傾き角度を求める傾き角度検出手段
   と、 該傾き角度検出手段より検出した傾き角度に基づき、前
   記各入力画像の傾き角度を補正する傾き角度補正手段
   と、 該傾き角度補正手段により傾き角度を補正した前記各入
   力画像を用いて、各入力画像相互の重なり位置を検出す
   る重なり位置検出手段と、 該重なり位置検出手段により検出した重なり位置で、前
   記複数の入力画像を合成する画像合成手段と、 を有することを特徴とする画像結合装置。
2. 【請求項２】 前記傾き角度検出手段は、前記入力画像
   を２つの色成分を持つ２値画像に変換し、該２値画像を
   用いて前記傾き角度の検出を実行することを特徴とする
   請求項１記載の画像結合装置。
3. 【請求項３】 前記重なり位置検出手段は、前記入力画
   像を、階調画像もしくは２値画像に変換し、該階調画像
   または２値画像を用いて前記重なり位置の検出を実行す
   ることを特徴とする請求項１または２記載の画像結合装
   置。
4. 【請求項４】 分割して読み取られた複数の入力画像毎
   に、該各入力画像の傾き角度を求め、 該求められた傾き角度に基づき、前記各入力画像の傾き
   角度を、該入力画像もしくは該入力画像を変換して成る
   階調画像または２値画像を用いて補正し、該傾き角度を
   補正した入力画像もしくは階調画像または２値画像を用
   いて、各入力画像相互の重なり位置を検出し、 該検出した重なり位置で、前記複数の入力画像を合成す
   ることを特徴とする画像結合方法。
5. 【請求項５】 コンピュータに、 対象を複数回に分けて読み込んで成る複数の入力画像各
   々について傾き角度を求める機能と、 該各入力画像の傾き角度に基づき、各入力画像の傾き角
   度を補正する機能と、 該傾き角度を補正した入力画像を用いて、各入力画像相
   互の重なり位置を検出する機能と、 該検出した重なり位置で、前記複数の入力画像を合成す
   る機能と、 を実現させるためのプログラム。