JP4168613B2 - Image reading device - Google Patents
Image reading device Download PDFInfo
- Publication number
- JP4168613B2 JP4168613B2 JP2001244862A JP2001244862A JP4168613B2 JP 4168613 B2 JP4168613 B2 JP 4168613B2 JP 2001244862 A JP2001244862 A JP 2001244862A JP 2001244862 A JP2001244862 A JP 2001244862A JP 4168613 B2 JP4168613 B2 JP 4168613B2
- Authority
- JP
- Japan
- Prior art keywords
- relative position
- image
- position detection
- unit
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Editing Of Facsimile Originals (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Description
【0001】
【発明の属する技術分野】
本発明は、読取対象物を複数の領域に分割して読み取り、読み取った複数の画像を合成して1つの画像を作成する画像読取装置に関するものである。
【0002】
【従来の技術】
従来より、画像読取装置の分野において、撮像手段(エリアセンサ)を2次元的に移動させて、各移動点において読取対象物の分割画像を撮影し、これらの複数の分割画像を合成して1つの画像を作成するようにしたものが知られている(例えば、特開平3−240372号公報参照)。また、オペレータによってそれぞれの画像の一部が他の画像にオーバーラップするように撮影された複数の画像に基づいて、各画像間の対応点を抽出し、この対応点を基準にして複数の画像を合成するようにしたものが知られている(例えば、特開平5−260264号公報参照)。さらにまた、複数の分割画像の合成に必要な対応点の検出処理であるパターンマッチング処理の対象範囲を人手により大まかに設定することで画像合成の際に必用な処理量を削減するようにしたものが知られている(例えば、特開平10−108003号公報参照)。
【0003】
【発明が解決しようとする課題】
しかしながら、上記特開平3−240372号公報に示される各移動点において撮影した複数の分割画像をそのまま合成する画像読取装置では、撮像手段の停止位置が所定の位置からずれると、良好な合成画像を得ることができないため、良好な合成画像を得るには撮像手段の移動手段に高い停止位置精度を持たせる必要があった。また、上記特開平5−260264号公報に示されるオペレータがカメラを移動させて複数の画像を撮影する画像読取装置では、各撮影画像間のオーバーラップ量の変動が大きいため、各画像間の対応点を抽出するためのパターンマッチング処理の探索範囲を広くせざるを得ず、従って、パターンマッチング処理に要する時間が長くなるという問題があった。
【0004】
さらにまた、特開平5−260264号公報に示される装置におけるカメラの移動を特開平3−240372号公報に示されるような機械的な移動手段で行った場合には、オペレータが手でカメラを移動させる場合に比べて各撮影画像間のオーバーラップ量の変動を小さくすることができ、従って、パターンマッチング処理の探索範囲をある程度限定することができる。ただし、一般に機械的な移動手段によるカメラの停止位置は、機械的な停止処理の精度不足のみならず経時変化や環境変化によってもばらつくため、カメラの移動を機械的な移動手段で行った場合には、パターンマッチング処理の探索範囲を経時変化や環境変化に起因するばらつきを含む全ての種類のばらつきをカバーする範囲とする必要がある。従って、カメラの移動を機械的な移動手段で行うことにより、オペレータが手でカメラの移動を行う場合と比べてパターンマッチング処理の探索範囲を充分に狭め、画像合成の処理時間を確実に短縮するためには、上記特開平3−240372号公報に示される装置と同様に、移動手段に高い停止位置精度を持たせる必要があった。また、上記特開平10−108003号公報に示されるパターンマッチング処理の探索範囲を人手により大まかに設定する装置では、パターンマッチング処理の探索範囲を人間が判断するため、画像合成の処理時間を確実に短縮することができないという問題があった。
【0005】
本発明は、上述した問題点を解決するためになされたものであり、移動手段による撮像手段の停止位置精度を向上させることなく、画像合成に必用なパターンマッチング処理の探索範囲を狭めて、画像合成の処理時間の短縮を図ることが可能な画像読取装置を提供することを目的とする。
【0006】
【課題を解決するための手段】
上記目的を達成するために請求項1の発明は、読取対象物を複数の領域に分割して読み取り、読み取った複数の画像を合成して1つの画像を作成する画像読取装置において、読取対象物の画像を複数の領域に分割して撮影する撮影手段と、撮影手段により撮影した分割画像と一部が重複する分割画像を撮影可能な位置に撮影手段を移動させる移動手段と、移動手段による移動の前後に撮影手段により撮影した画像間の相対位置関係を検出する相対位置検出手段と、相対位置検出手段の検出結果を記憶する記憶手段と、相対位置検出手段の検出結果に基づいて、撮影手段により撮影した複数の分割画像を合成する合成手段とを備え、相対位置検出手段は、最初に前記複数の分割画像を合成するときに使用される、相対位置検出範囲を限定するための第1の値を備えており、この第1の値、または前記記憶手段に記憶された過去の相対位置検出結果に基づいて当該第1の値を変化させた第2の値を用いて、相対位置検出範囲を限定するようにしたものである。
【0007】
この構成においては、記憶手段に記憶された過去数回における画像間の相対位置関係の検出結果に基づいて、移動手段を構成する部材等の経時変化や環境変化等に起因して発生する画像間の相対位置関係のずれを予測し、この予測のずれ情報に基づいて、撮影手段の停止位置のばらつきに起因する画像間の相対位置関係のばらつきから、経時変化や環境変化に起因して発生する停止位置のずれの影響を除去することができる。これにより、分割画像合成処理に必用なパターンマッチング処理の一種である相対位置検出処理の対象範囲を、移動手段の機械的な停止処理の精度不足に起因するばらつき(以下、「繰り返しばらつき」という)のみを考慮した狭い範囲に限定することができ、従って、相対位置検出手段による分割画像間の相対位置関係の検出処理に要する時間の短縮化を図ることができる。
【0008】
また、相対位置検出手段が、第2の値を用いて相対位置検出範囲を限定するときに、過去数回の相対位置検出結果の最頻値に基づいて相対位置検出範囲を決定するようにしてもよい。これにより、移動手段を構成する部材等の経時変化や環境変化等に起因して撮影手段の停止位置にずれが生じた場合でも、過去数回における画像間の相対位置関係のばらつきの平均値に相当する相対位置検出結果の最頻値に合わせて相対位置検出手段による検出範囲をずらして、相対位置検出処理の対象範囲を繰り返しばらつきのみを考慮した狭い範囲に限定することができる。
また、請求項3の発明は、読取対象物を複数の領域に分割して読み取り、読み取った複数の画像を合成して1つの画像を作成する画像読取装置において、読取対象物の画像を複数の領域に分割して撮影する撮影手段と、撮影手段により撮影した分割画像と一部が重複する分割画像を撮影可能な位置に前記撮影手段を移動させる移動手段と、移動手段による移動の前後に撮影手段により撮影した画像間の相対位置関係を検出する相対位置検出手段と、相対位置検出手段による相対位置検出範囲を限定する比較範囲限定手段と、相対位置検出手段の検出結果を記憶する記憶手段と、相対位置検出手段の検出結果に基づいて、撮影手段により撮影した複数の分割画像を合成する合成手段とを備え、相対位置検出手段は、最初に前記複数の分割画像を合成するときに使用される、相対位置検出範囲を限定するための第1の値を備えており、この第1の値、または記憶手段に記憶された過去の相対位置検出結果に基づいて当該第1の値を変化させた第2の値を用いて、比較範囲限定手段により限定された相対位置検出範囲の位置をシフトさせるようにしたものである。
【0009】
【発明の実施の形態】
以下、本発明の一実施形態による画像読取装置であるデジタルカメラについて図面を参照して説明する。図1は、本実施形態によるデジタルカメラを搭載した画像処理装置の全体構成を示す。画像処理装置1は、原稿21の画像を上方から読み取るためのデジタルカメラ部10と、原稿21を載せる原稿台20と、基台となるベース30と、原稿台20上にデジタルカメラ部10を支持する支柱40とから構成されている。デジタルカメラ部10には、原稿21の画像を読み取るためのCCD104(撮影手段)及びこのCCD104の撮像位置を移動させるための移動部(図2参照)が内蔵されている。原稿台20上には原稿21が上向きに載置される。また、ベース30の一隅には読み取りの開始信号を入力するためのスタートキー50が配設されている。
【0010】
図2は、上記デジタルカメラ部10の回路ブロックを示す。デジタルカメラ部10は、図1に示される原稿21の分割画像を読み取るためのCCD104と、デジタルカメラ部全体の制御を行なうCPU100と、CCD104の撮像位置を移動させるための移動部106(移動手段)とを備えている。また、デジタルカメラ部10は、CCD104で読み取った分割画像を一時的に記憶する分割画像蓄積部108と、分割画像蓄積部108に記憶された分割画像から特徴点を抽出する特徴点抽出部110と、特徴点抽出部110で抽出された特徴点を用いたパターンマッチング処理の対象範囲を限定する比較範囲限定部112(相対位置検出手段)とを有している。さらにまた、デジタルカメラ部10は、移動部106によるCCD104の移動の前後にCCD104で読み取った2つの分割画像を合成するための画像合成部114(合成手段)と、画像合成部114により画像合成を行う際に検出された過去の合成情報を記録する合成情報記録部118(記憶手段)と、画像合成部114により合成された画像を出力する出力部116とを有している。また、デジタルカメラ部10は、CPU100で実行するためのプログラムを記憶するROM102とを有している。なお、CPU100に外部記憶装置122を接続して、CD−ROM124や光磁気ディスク等からデジタルカメラ部10の制御用のプログラムを読取るようにしてもよい。
【0011】
デジタルカメラ部10は、原稿21を分割撮影し、得られる複数の部分画像(分割画像)を合成して1つの画像を出力する。以下の説明では、話を簡単にするために、原稿21を2分割して撮影する場合におけるデジタルカメラ部10の処理について説明する。移動部106は不図示の駆動機構で構成されており、各部分画像の撮影の際におけるCCD104の移動は自動的に行われる。すなわち、図1に示されるスタートキー50が押下されると、CPU100は、移動部106に指示を与えて、CCD104を第1の部分画像が撮影可能な位置に移動させる。次に、CPU100は、CCD104に積分を開始するように指示を与える。そして、CCD104による積分が終了すると、CCD104から出力されたデータを分割画像蓄積部108に書き込む。これにより、第1の部分画像が分割画像蓄積部108に記憶される。次に、CPU100は、移動部106に指示を与えて、CCD104を第2の部分画像が撮影可能な位置に移動させる。そして、再びCCD104に積分を行うように指示を与えて、積分終了後にCCD104から出力された第2の部分画像に相当するデータを分割画像蓄積部108に書き込む。上記第1の部分画像の撮影、第2の部分画像が撮影可能な位置へのCCD104の移動、及び第2の部分画像の撮影は自動的に行われる。
【0012】
上記デジタルカメラ部10により原稿21を2分割して撮影する場合には、原稿21を左、右の部分に分割して撮影する。第1及び第2の部分画像の撮影を行なう位置は、隣り合う2つの部分画像がオーバーラップし、そのオーバーラップ量が所定量となる位置に定められている。なお、CCD104を移動させるのではなく、原稿21を移動させることにより、CCD104による撮影位置を変更してもよい。
【0013】
上記のデジタルカメラ部10は、移動部106によるCCD104の移動とCCD104による撮影とを繰り返すことにより、原稿21の左部分を撮影した左部分画像と、右部分を撮影した右部分画像とを得る。CCD104による右部分画像の撮影に先だって、移動部106は、原稿21の左部分画像がその右側の一部で右部分画像の左側の一部とオーバーラップするような位置にCCD104を移動させる。特徴点抽出部110は、左部分画像中の右部分画像とオーバーラップする領域から特徴点を抽出する。ここでの特徴点は、二次微分フィルタによって検出されるエッジや、画素値の極大点、極小点等を用いた既存の方法により求めることができる。また、特徴点抽出部110による抽出対象は、特徴点でなくても特徴的な領域であってもよい。
【0014】
上記の比較範囲限定部112は、特徴点抽出部110で左部分画像中の特徴点を検出した後、検出した左部分画像中の特徴点とパターンマッチングを行なう右部分画像中の範囲を後述の方法で限定する。
【0015】
上記の画像合成部114は、左右2つの部分画像の合成を行う。具体的には、右部分画像中の比較範囲限定部112で限定された範囲内において、特徴点のパターンマッチング処理を行ない、検出した右部分画像中における特徴点の理論値からの位置ずれ量に基づいて左右の部分画像の合成を行う。このとき画像合成部114により検出される位置ずれ量は、合成情報記録部118に毎回記録される。この画像合成処理の詳細は後述する。合成後の画像は、出力部116に出力される。
【0016】
上記の出力部116は、通常はディスプレイまたはプリンタであり、画像合成部114により合成された画像を出力表示する。また、出力部116は、ハードディスクであってもよいし、外部の記憶装置や端末等であってもよい。
【0017】
ここで、上記の比較範囲限定部112で行なわれるパターンマッチング範囲の限定処理について図3を参照して説明する。移動部106は、CCD104により撮影された2つの部分画像が図に示されるような位置関係となるようにCCD104を移動させる。図中の実線で囲まれた領域は左部分画像61の領域を示し、点線で囲まれた領域は右部分画像62の領域を示す。また、図中の斜線部は、オーバーラップ領域63を示す。いま、各部分画像61、62の横方向の画素数をW、オーバーラップ領域63の横方向の画素数をOVとすると、図に示されるように、左部分画像61は、右部分画像62よりも左方向に(W−OV)だけずれているはずである。従って、オーバーラップ領域63中の任意点Aについて、左部分画像61における任意点Aの座標を(LX,LY)、右部分画像62における任意点Aの座標を(RX,RY)とすると、これらの座標の間には、
RX=LX−(W−OV) …(1)
RY=LY …(2)
の関係が成立しているはずである。
【0018】
上記の比較範囲限定部112は、特徴点抽出部110により抽出された特徴点A0の左部分画像61における座標が(LX0,LY0)の場合、上記(1)式及び(2)式を用いてこの座標に対応する右部分画像の座標(RX0,RY0)を求めて、この点を中心に±α画素の範囲をパターンマッチング処理の対象領域として設定する。αは移動部106の停止位置のばらつきを許容できる量である。ただし、ここで言うばらつきは長い時間単位で発生する経時変化や環境変化によるものは含まず、繰り返しばらつきのみをさす。
【0019】
次に、画像合成部114による画像合成処理の際に合成情報記録部118に毎回記録される特徴点の理論値からの位置ずれ量と、上記の比較範囲限定部112によるパターンマッチング範囲の限定処理(比較範囲限定処理)との関係について述べる。移動部106を構成する駆動機構が、例えば特開2000−358387号公報に示されるような摩擦駆動の機構の場合、移動部106によるCCD104の停止位置にはばらつきが生じる。このため、右部分画像における特徴点A0の実際の座標は、上記(1)式及び(2)式に左部分画像61における特徴点A0の座標(LX0,LY0)を代入して求めた理論値(RX0,RY0)とはずれる。
【0020】
図4は、画像合成部114により検出された右部分画像62における特徴点の理論値(RX0又はRY0)からの位置ずれ量に関する分布の例を示す。図中の縦軸は頻度を、横軸は右部分画像62における特徴点の理論値からのずれ量を表す。例えば、右部分画像62における特徴点の理論値からのずれ量の分布が図に示されるような広がりを持つ場合には、比較範囲限定部112により限定されるパターンマッチング処理の対象範囲は、右部分画像62における特徴点の理論値に相当する位置(図中の原点Oで示される位置)を中心とした−α画素〜+α画素の範囲となる。
【0021】
上記図4に示される位置ずれ量の分布は、移動部106に経時変化や環境変化が生じると、図5に示されるような状態にシフトする。これに対して、画像合成部114は、パターンマッチング処理を行う度毎に右部分画像62における特徴点の位置ずれ量をx方向、y方向それぞれについて検出して、これらの位置ずれ量を合成情報記録部118に記録しておく。比較範囲限定部112は、合成情報記録部118に記録された過去N回分の位置ずれ量を読み込んで、これらの位置ずれ量の最頻値(mode)をx方向、y方向それぞれについて計算し、この最頻値を次回の読み取り時の比較範囲限定に反映する。具体的には、例えば、画像合成部114により検出された特徴点のx方向、y方向における理論値(RX0又はRY0)からのずれ量の最頻値が、それぞれSx,Syであったとすると、
RX=LX−(W−OV)−Sx …(3)
RY=LY−Sy …(4)
というように左右の部分画像の理論対応点をシフトする。比較範囲限定部112は、このような理論対応点のシフトを行うことにより、パターンマッチング処理の対象範囲を、図に示されるように、原点Oで示される位置を中心とした−α画素〜+α画素の範囲(最初のパターンマッチング範囲)から、Sx(又はSy)の位置を中心とした−α画素〜+α画素の範囲(新しいパターンマッチング範囲)に変更する。
【0022】
上記のように、比較範囲限定部112が、過去N回における位置ずれ量の検出結果の最頻値Sx(又はSy)に合わせて今回のパターンマッチング処理の対象範囲を決定するようにしたことにより、特徴点の理論値からの位置ずれ量から、移動部106を構成する部材の経時変化や環境変化等に起因する長い時間単位で発生する停止位置のずれの影響を除去することができる。これにより、画像合成部114により行われるパターンマッチング処理の対象範囲を、上記の繰り返しばらつきのみを考慮した狭い範囲(図中におけるSx(Sy)を中心とした合計2α画素の範囲)とすることができる。
【0023】
上記の実施例では理論値からのずれ量の最頻値に基づいて比較範囲を限定するようにしたが、比較範囲限定部112における比較範囲の限定処理のために使用する値は中央値や平均値など、データの分布を代表する値であれば何でもよい。また、上記のパターンマッチング処理の対象範囲を過去N回のずれ量の標準偏差から決定するようにしてもよい。
【0024】
次に、上記図2に加えて、図6のフローチャートを参照して、デジタルカメラ部10で行われる画像合成処理について説明する。ユーザにより画像の読み取りが指示されると、CPU100は、CCD104と移動部106とに指示を与えて、被写体を左右に2分割して撮影し(S1)、撮影した左右の部分画像61,62を分割画像蓄積部108に書き込む。次に、CPU100は、分割画像蓄積部108から左部分画像61を読み込んで、読み込んだ左部分画像61を特徴点抽出部110に転送する。特徴点抽出部110は、この左部分画像61から特徴点の抽出を行う(S2)。この特徴点の検出は、図3に示される左部分画像61中の右部分画像62とオーバーラップする領域63に二次微分フィルタ処理を行って、エッジを検出することにより行われる。
【0025】
次に、CPU100は、比較範囲限定部112に過去N回のずれ量の最頻値を求めるように指示を与える。比較範囲限定部112は、この指示に基づき、合成情報記録部118に記録された過去N回のずれ量を読み出して、これらのデータに基づいて過去N回のずれ量の最頻値を求める(S3)。そして、合成情報記録部118に記録された前回の最頻値(1回前の読取り時に求めた過去N回のずれ量の最頻値)を読み出して、読み出した前回の最頻値とS3で求めた今回の最頻値とを比較し(S4)、これらの値が異なる場合は(S4でYES)、合成情報記録部118に記録された最頻値Sx,Syを書き換え(S5)、同じ場合は(S4でNO)、S6へ進む。
【0026】
次に、比較範囲限定部112は、上記の(3)式及び(4)式を用いて、S2の処理で抽出された左部分画像61中の特徴点の座標に対応する右部分画像62中の理論座標値を算出し、求めた理論座標値を中心とした±α画素の範囲をパターンマッチング範囲とする(S6)。この理論座標値の計算には、上記S5の処理で書き換えた新たな最頻値Sx,Syを用いる。画像合成部114は、S6の処理で求めたパターンマッチング範囲において、S2の処理で抽出された左部分画像61中の特徴点と、右部分画像62中の各点とのパターンマッチング処理を行ない、左右の部分画像61,62における対応点の理論値からのずれ量を検出する(S7)。次に、画像合成部114は、S7で検出したずれ量を合成情報記録部118に記録する(S8)。ここで記録したずれ量は、次の撮影時におけるS3での最頻値計算の基となる。画像合成部114は、上記S7で検出したずれ量に基づいて、左の部分画像61と右の部分画像62との合成を行う(S9)。画像合成部114は、この画像合成が終了すると、CPU100からの指示に基づいて、画像合成を出力部116に外部出力する(S10)。
【0027】
上述したように、本実施形態によるデジタルカメラ部10によれば、過去N回における位置ずれ量の検出結果の最頻値に合わせてパターンマッチング処理の対象範囲をずらすようにしたことにより、左右の部分画像間における対応点のばらつきから、移動部106を構成する部材の経時変化や環境変化等に起因するCCD104の停止位置のずれの影響を除去することができる。
【0028】
本発明は、上記実施形態に限られるものではなく、様々な変形が可能である。例えば、本実施形態では、原稿画像を左右の2つの部分に分割して撮影した部分画像を合成する場合の例を示したが、画像合成の基になる部分画像はこれに限られず、2×2の4枚の画像に分割した部分画像であってもよいし、他の任意の枚数に分割した部分画像であってもよい。また、本実施形態では、デジタルカメラ部10内で部分画像の合成処理を行う場合の例を示したが、デジタルカメラ部10で撮影した複数の部分画像のデータをパソコンに出力して、パソコン内でこれらの画像の合成を行なうようにしてもよい。
【0029】
【発明の効果】
以上のように本発明によれば、移動手段による撮影手段の移動の前後に撮影手段により撮影した分割画像間の相対位置関係の検出結果を記憶手段に記憶しておいて、記憶手段に記憶された過去数回の相対位置関係の検出結果に基づいて、今回撮影した分割画像を合成するために必用な分割画像間の相対位置関係の検出範囲を限定するようにした。ここで、上記過去数回の相対位置関係の検出結果は、移動手段を構成する部材等の経時変化や環境変化といった長い時間単位で発生する撮影手段の停止位置のずれを反映したものとなる。従って、上記のように過去数回の相対位置関係の検出結果に基づいて、今回の相対位置関係の検出範囲を限定することにより、長い時間単位で発生する撮影手段の停止位置のずれに合わせて今回の相対位置関係の検出範囲をずらすことができる。これにより、分割画像の合成に必用な相対位置検出処理(パターンマッチング処理)の対象範囲を、移動手段の機械的な停止処理の精度不足に起因するばらつきのみを考慮した狭い範囲に限定することができ、従って、分割画像合成に必用な相対位置検出処理に要する時間の短縮化を図ることができる。
【0030】
また、上記のように、構成部材の経時変化や環境変化に起因して撮像手段の停止位置にずれが生じるような移動手段を使用した場合であっても、分割画像の合成に必用な相対位置検出処理の対象範囲を狭い範囲に限定することができるので、移動手段の構成部材に通常の部材を用いることができ、しかも、移動手段の構成の単純化を図ることができる。
【0031】
また、過去数回の相対位置検出結果の最頻値に基づいて相対位置検出範囲を決定することにより、過去数回における撮影手段の停止位置の平均値に相当する相対位置検出結果の最頻値に合わせて相対位置検出範囲をずらすことができる。これにより、上記に記載の効果を適切に得ることができる。
【図面の簡単な説明】
【図1】 本発明の一実施形態によるデジタルカメラを搭載した画像処理装置の外観を示す斜視図。
【図2】 上記デジタルカメラの回路ブロック図。
【図3】 上記デジタルカメラにより撮影された左右の部分画像の位置関係を示す図。
【図4】 上記デジタルカメラの移動部に経時変化が発生していない場合における位置ずれ量の分布とパターンマッチング範囲との関係を示す図。
【図5】 上記デジタルカメラの移動部に経時変化が発生した場合における位置ずれ量の分布とパターンマッチング範囲との関係を示す図。
【図6】 上記デジタルカメラの画像合成処理のフローチャート。
【符号の説明】
10 デジタルカメラ部(画像読取装置)
104 CCD(撮影手段)
106 移動部(移動手段)
112 比較範囲限定部(相対位置検出手段)
114 画像合成部(合成手段、相対位置検出手段)
118 合成情報記録部(記憶手段)
Sx,Sy 最頻値[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image reading apparatus that reads an object to be read by dividing it into a plurality of regions and synthesizes a plurality of read images to create one image.
[0002]
[Prior art]
Conventionally, in the field of image reading apparatuses, an image pickup means (area sensor) is moved two-dimensionally to shoot a divided image of an object to be read at each moving point, and a plurality of these divided images are combined to create a 1 One that creates two images is known (see, for example, Japanese Patent Laid-Open No. 3-240372). In addition, based on a plurality of images taken by an operator so that a part of each image overlaps another image, corresponding points between the images are extracted, and the plurality of images are based on the corresponding points. Is known (see, for example, Japanese Patent Application Laid-Open No. 5-260264). Furthermore, the amount of processing required for image composition is reduced by roughly setting the target range of pattern matching processing, which is processing for detecting corresponding points necessary for composition of multiple divided images, manually. Is known (for example, see Japanese Patent Laid-Open No. 10-108003).
[0003]
[Problems to be solved by the invention]
However, in an image reading apparatus that directly combines a plurality of divided images taken at each moving point disclosed in Japanese Patent Laid-Open No. 3-240372, if a stop position of the imaging unit is deviated from a predetermined position, a good composite image is displayed. Therefore, in order to obtain a good composite image, it is necessary to give the moving means of the imaging means high stop position accuracy. Further, in the image reading apparatus in which the operator moves the camera to take a plurality of images as disclosed in the above-mentioned Japanese Patent Application Laid-Open No. 5-260264, since the variation in the overlap amount between the captured images is large, the correspondence between the images There is a problem that the search range of the pattern matching process for extracting points must be widened, and therefore the time required for the pattern matching process becomes long.
[0004]
Furthermore, when the camera in the apparatus shown in Japanese Patent Laid-Open No. 5-260264 is moved by a mechanical moving means as shown in Japanese Patent Laid-Open No. 3-240372, the operator moves the camera by hand. Compared with the case where it makes it, the fluctuation | variation of the overlap amount between each picked-up image can be made small, Therefore The search range of a pattern matching process can be limited to some extent. However, in general, the camera stop position by mechanical movement means varies not only due to insufficient accuracy of mechanical stop processing but also due to changes over time and environmental changes, so when the camera is moved by mechanical movement means Therefore, the search range of the pattern matching process needs to be a range that covers all types of variations including variations due to changes over time and environmental changes. Therefore, by moving the camera with a mechanical moving means, the search range of the pattern matching process can be sufficiently narrowed compared with the case where the operator moves the camera by hand, and the processing time for image synthesis is reliably shortened. For this purpose, it is necessary to give the moving means high stop position accuracy, as in the apparatus disclosed in the above-mentioned Japanese Patent Application Laid-Open No. 3-240372. Further, in the apparatus for manually setting the search range of the pattern matching process disclosed in Japanese Patent Laid-Open No. 10-108003, since the human determines the search range of the pattern matching process, the processing time for image synthesis is ensured. There was a problem that it could not be shortened.
[0005]
The present invention has been made to solve the above-described problems, and without increasing the stop position accuracy of the image pickup means by the moving means, narrows the search range of the pattern matching processing necessary for image composition, and An object of the present invention is to provide an image reading apparatus capable of reducing the processing time of synthesis.
[0006]
[Means for Solving the Problems]
In order to achieve the above object, an invention according to claim 1 is an image reading apparatus in which an object to be read is divided into a plurality of areas for reading, and a plurality of read images are combined to create one image. A photographing unit that divides the image into a plurality of regions, a moving unit that moves the photographing unit to a position where a divided image that partially overlaps the divided image photographed by the photographing unit can be photographed, and a movement by the moving unit Based on the detection result of the relative position detecting means, the storage means for storing the detection result of the relative position detecting means, the relative position detecting means for detecting the relative positional relationship between the images photographed by the photographing means before and after Combining means for combining a plurality of divided images taken by theA first value for limiting a relative position detection range, which is used when the plurality of divided images are synthesized first, and the first value or a past value stored in the storage unit; The relative position detection range is limited using the second value obtained by changing the first value based on the relative position detection result.It is what I did.
[0007]
In this configuration, based on the detection result of the relative positional relationship between images in the past several times stored in the storage unit, the image interval generated due to a change with time, environmental change, etc. of the members constituting the moving unit, etc. The relative positional relationship between the images is predicted, and based on the predicted deviation information, the relative positional relationship between the images due to the variation in the stop position of the photographing unit is caused due to a change over time or an environmental change. The influence of stop position deviation can be eliminated. As a result, the target range of the relative position detection process, which is a kind of pattern matching process necessary for the divided image synthesis process, varies due to insufficient accuracy of the mechanical stop process of the moving means (hereinafter referred to as “repetitive variation”). Therefore, it is possible to reduce the time required for detecting the relative positional relationship between the divided images by the relative position detecting means.
[0008]
In addition, the relative position detection meansWhen the relative position detection range is limited using the second value,The relative position detection range may be determined based on the mode value of the past relative position detection results. As a result, even if there is a deviation in the stop position of the photographing means due to changes over time of the members constituting the moving means, environmental changes, etc., the average value of variations in the relative positional relationship between images in the past several times is obtained. The detection range by the relative position detection means is shifted in accordance with the mode value of the corresponding relative position detection result, so that the target range of the relative position detection process can be limited to a narrow range in consideration of only repeated variations..
MaClaim3According to the present invention, in an image reading apparatus that reads an object to be read by dividing it into a plurality of regions, and synthesizes the read images to create one image, the image of the object to be read is divided into a plurality of regions. A photographing means for photographing, a moving means for moving the photographing means to a position capable of photographing a divided image partially overlapping with the divided image photographed by the photographing means, and images photographed by the photographing means before and after the movement by the moving means. A relative position detecting means for detecting a relative position relationship between them, a comparison range limiting means for limiting a relative position detection range by the relative position detecting means, a storage means for storing a detection result of the relative position detecting means, and a relative position detecting means And a synthesizing unit that synthesizes a plurality of divided images photographed by the photographing unit based on the detection result ofA first value for limiting a relative position detection range, which is used when combining the plurality of divided images for the first time, is provided, and this first value or a past relative stored in the storage means Using the second value obtained by changing the first value based on the position detection result,The position of the relative position detection range limited by the comparison range limiting means is shifted.
[0009]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, a digital camera which is an image reading apparatus according to an embodiment of the present invention will be described with reference to the drawings. FIG. 1 shows the overall configuration of an image processing apparatus equipped with a digital camera according to the present embodiment. The image processing apparatus 1 supports a
[0010]
FIG. 2 shows a circuit block of the
[0011]
The
[0012]
When the
[0013]
The
[0014]
The comparison
[0015]
The
[0016]
The
[0017]
Here, the pattern matching range limiting process performed by the comparison
RX = LX− (W−OV) (1)
RY = LY (2)
The relationship should be established.
[0018]
The comparison
[0019]
Next, the positional deviation amount from the theoretical value of the feature point recorded each time in the synthesis
[0020]
FIG. 4 shows theoretical values (RX) of feature points in the right
[0021]
The positional deviation amount distribution shown in FIG. 4 is shifted to the state shown in FIG. 5 when a change with time or an environmental change occurs in the moving
RX = LX- (W-OV) -Sx ... (3)
RY = LY-Sy (4)
Thus, the theoretically corresponding points of the left and right partial images are shifted. The comparison
[0022]
As described above, the comparison
[0023]
In the above embodiment, the comparison range is limited based on the mode value of the deviation amount from the theoretical value, but the value used for the comparison range limitation process in the comparison
[0024]
Next, in addition to FIG. 2 described above, an image composition process performed by the
[0025]
Next, the
[0026]
Next, the comparison
[0027]
As described above, according to the
[0028]
The present invention is not limited to the above embodiment, and various modifications are possible. For example, in this embodiment, an example in which a partial image obtained by dividing an original image into two left and right parts is combined has been described. However, the partial image that is the basis of image combining is not limited to this, and 2 × 2 may be a partial image divided into four images, or may be a partial image divided into another arbitrary number of images. Further, in the present embodiment, an example in which a partial image is combined in the
[0029]
【The invention's effect】
As described above, according to the present invention, the detection result of the relative positional relationship between the divided images captured by the imaging unit is stored in the storage unit before and after the movement of the imaging unit by the moving unit, and is stored in the storage unit. Based on the detection results of the relative positional relationship several times in the past, the detection range of the relative positional relationship between the divided images necessary for synthesizing the divided images captured this time is limited. Here, the detection results of the relative positional relations of the past several times reflect the deviation of the stop position of the photographing means which occurs in a long time unit such as a change with time of the members constituting the moving means and an environmental change. Accordingly, by limiting the detection range of the current relative positional relationship based on the detection results of the relative positional relationship several times in the past as described above, it is possible to adjust to the deviation of the stop position of the photographing unit that occurs in a long time unit. The detection range of this relative positional relationship can be shifted. As a result, it is possible to limit the target range of the relative position detection process (pattern matching process) necessary for the synthesis of the divided images to a narrow range that takes into account only variations due to insufficient accuracy of the mechanical stopping process of the moving means. Therefore, it is possible to shorten the time required for the relative position detection process necessary for the divided image synthesis.
[0030]
In addition, as described above, even when using a moving unit that causes a shift in the stop position of the imaging unit due to a change in the components over time or an environmental change, the relative position necessary for combining the divided images is used. Since the target range of the detection process can be limited to a narrow range, a normal member can be used as the constituent member of the moving unit, and the configuration of the moving unit can be simplified.
[0031]
Further, by determining the relative position detection range based on the mode value of the relative position detection results of the past several times, the mode value of the relative position detection result corresponding to the average value of the stop positions of the imaging means in the past several times The relative position detection range can be shifted according to the above. Thereby, the effect as described above can be appropriately obtained.
[Brief description of the drawings]
FIG. 1 is a perspective view showing an appearance of an image processing apparatus equipped with a digital camera according to an embodiment of the present invention.
FIG. 2 is a circuit block diagram of the digital camera.
FIG. 3 is a diagram showing a positional relationship between left and right partial images taken by the digital camera.
FIG. 4 is a diagram illustrating a relationship between a positional deviation amount distribution and a pattern matching range when no change with time has occurred in the moving unit of the digital camera.
FIG. 5 is a diagram showing a relationship between a positional deviation amount distribution and a pattern matching range when a change with time occurs in the moving unit of the digital camera.
FIG. 6 is a flowchart of image composition processing of the digital camera.
[Explanation of symbols]
10 Digital camera unit (image reading device)
104 CCD (photographing means)
106 Moving part (moving means)
112 Comparison range limiting unit (relative position detecting means)
114 Image composition unit (composition means, relative position detection means)
118 Composite information recording unit (storage means)
Sx, Sy Mode
Claims (4)
読取対象物の画像を複数の領域に分割して撮影する撮影手段と、
前記撮影手段により撮影した分割画像と一部が重複する分割画像を撮影可能な位置に前記撮影手段を移動させる移動手段と、
前記移動手段による移動の前後に前記撮影手段により撮影した画像間の相対位置関係を検出する相対位置検出手段と、
前記相対位置検出手段の検出結果を記憶する記憶手段と、
前記相対位置検出手段の検出結果に基づいて、前記撮影手段により撮影した複数の分割画像を合成する合成手段とを備え、
前記相対位置検出手段は、最初に前記複数の分割画像を合成するときに使用される、相対位置検出範囲を限定するための第1の値を備えており、この第1の値、または前記記憶手段に記憶された過去の相対位置検出結果に基づいて当該第1の値を変化させた第2の値を用いて、相対位置検出範囲を限定するようにしたことを特徴とする画像読取装置。In an image reading apparatus that divides and reads a reading object into a plurality of regions and combines the plurality of read images to create one image,
Photographing means for dividing and photographing an image of the reading object into a plurality of regions;
Moving means for moving the photographing means to a position where a divided image partially overlapping with the divided image photographed by the photographing means can be photographed;
A relative position detecting means for detecting a relative positional relationship between images photographed by the photographing means before and after movement by the moving means;
Storage means for storing the detection result of the relative position detection means;
Based on the detection result of the relative position detection means, comprising a synthesis means for synthesizing a plurality of divided images taken by the imaging means,
The relative position detection means includes a first value for limiting a relative position detection range, which is used when the plurality of divided images are synthesized first, and this first value or the storage An image reading apparatus characterized in that a relative position detection range is limited using a second value obtained by changing the first value based on a past relative position detection result stored in the means .
読取対象物の画像を複数の領域に分割して撮影する撮影手段と、
前記撮影手段により撮影した分割画像と一部が重複する分割画像を撮影可能な位置に前記撮影手段を移動させる移動手段と、
前記移動手段による移動の前後に前記撮影手段により撮影した画像間の相対位置関係を検出する相対位置検出手段と、
前記相対位置検出手段による相対位置検出範囲を限定する比較範囲限定手段と、
前記相対位置検出手段の検出結果を記憶する記憶手段と、
前記相対位置検出手段の検出結果に基づいて、前記撮影手段により撮影した複数の分割画像を合成する合成手段とを備え、
前記相対位置検出手段は、最初に前記複数の分割画像を合成するときに使用される、相対位置検出範囲を限定するための第1の値を備えており、この第1の値、または前記記憶手段に記憶された過去の相対位置検出結果に基づいて当該第1の値を変化させた第2の値を用いて、前記比較範囲限定手段により限定された相対位置検出範囲の位置をシフトさせるようにしたことを特徴とする画像読取装置。In an image reading apparatus that divides and reads a reading object into a plurality of regions and combines the plurality of read images to create one image,
Photographing means for dividing and photographing an image of the reading object into a plurality of regions;
Moving means for moving the photographing means to a position where a divided image partially overlapping with the divided image photographed by the photographing means can be photographed;
A relative position detecting means for detecting a relative positional relationship between images photographed by the photographing means before and after movement by the moving means;
Comparison range limiting means for limiting the relative position detection range by the relative position detection means;
Storage means for storing the detection result of the relative position detection means;
Based on the detection result of the relative position detection means, comprising a synthesis means for synthesizing a plurality of divided images taken by the imaging means,
The relative position detection means includes a first value for limiting a relative position detection range, which is used when the plurality of divided images are synthesized first, and this first value or the storage The position of the relative position detection range limited by the comparison range limiting means is shifted using the second value obtained by changing the first value based on the past relative position detection result stored in the means. An image reading apparatus characterized by that.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001244862A JP4168613B2 (en) | 2001-08-10 | 2001-08-10 | Image reading device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001244862A JP4168613B2 (en) | 2001-08-10 | 2001-08-10 | Image reading device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003060888A JP2003060888A (en) | 2003-02-28 |
JP4168613B2 true JP4168613B2 (en) | 2008-10-22 |
Family
ID=19074723
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001244862A Expired - Fee Related JP4168613B2 (en) | 2001-08-10 | 2001-08-10 | Image reading device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4168613B2 (en) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5696419B2 (en) * | 2010-09-30 | 2015-04-08 | カシオ計算機株式会社 | Image processing apparatus and method, and program |
JP2017049742A (en) | 2015-09-01 | 2017-03-09 | キヤノン株式会社 | Image processing method, image processing apparatus, robot apparatus, program and recording medium |
JP6869880B2 (en) * | 2017-12-13 | 2021-05-12 | 三菱重工業株式会社 | Inspection image compositing device, inspection image compositing system, inspection image compositing method and program |
JP7346106B2 (en) | 2019-07-04 | 2023-09-19 | Ntn株式会社 | Bearing device and spindle device |
-
2001
- 2001-08-10 JP JP2001244862A patent/JP4168613B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2003060888A (en) | 2003-02-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9456135B2 (en) | Image synthesizing apparatus, image synthesizing method, and image synthesizing program | |
US20150097997A1 (en) | Image processing apparatus, imaging apparatus, solid-state imaging device, image processing method and program | |
US20100238325A1 (en) | Image processor and recording medium | |
US20030071904A1 (en) | Image capturing apparatus, image reproducing apparatus and program product | |
JP2007135056A (en) | Image processor and method, and program | |
JP2008224484A (en) | Imaging device, dimension measurement method, dimension measurement program | |
JP2004032172A (en) | Fly-eye imaging device and equipment comprising the same | |
KR20090022710A (en) | Digital photographing apparatus, method for controlling the same, and recording medium storing program to implement the method | |
JP4168613B2 (en) | Image reading device | |
JPH10126665A (en) | Image composing device | |
JP5267279B2 (en) | Image composition apparatus and program | |
JP2001119625A (en) | Image-processing method and image processor | |
US6115067A (en) | Apparatus for maintaining object image size during zooming | |
JP2006287365A (en) | Digital camera | |
JP5055571B2 (en) | Image processing apparatus, electronic camera, and image processing program | |
JPH06133221A (en) | Image pickup device | |
JP2004013461A (en) | Image processing system and digital imaging apparatus | |
JPH11275393A (en) | Image input device, image input method and recording medium | |
JP2015023522A (en) | Camera with panoramic imaging function, and image display method | |
JP4158524B2 (en) | Electronic camera | |
JP2011135437A (en) | Imaging apparatus, image combining method, and program | |
JP2006140605A (en) | Photographing apparatus and its method | |
JP4460688B2 (en) | Image reproducing apparatus and image recording apparatus | |
JP3465910B2 (en) | Automatic focusing method | |
JP2005267005A (en) | Image data processing apparatus and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20050614 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060323 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20060330 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20071001 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071009 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071210 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20080422 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080606 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20080630 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080715 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080728 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110815 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120815 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130815 Year of fee payment: 5 |
|
LAPS | Cancellation because of no payment of annual fees |