JPH08181903A - 撮像装置 - Google Patents
撮像装置Info
- Publication number
- JPH08181903A JPH08181903A JP6321887A JP32188794A JPH08181903A JP H08181903 A JPH08181903 A JP H08181903A JP 6321887 A JP6321887 A JP 6321887A JP 32188794 A JP32188794 A JP 32188794A JP H08181903 A JPH08181903 A JP H08181903A
- Authority
- JP
- Japan
- Prior art keywords
- image
- image pickup
- pickup apparatus
- unit
- partial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Abstract
(57)【要約】
【目的】本発明は、画像を分割して撮影し、部分画像か
ら全体画像への復元時に貼合わせ処理の時間短縮,精度
向上を実現し、高画質に画像を撮像する撮像装置を提供
することを目的とする。 【構成】本発明は、回動するミラー2により互いにオー
バーラップする領域を有して分割撮影された複数の部分
画像を撮像素子4で得る。前記部分画像で被貼合わせ画
像側のオーバーラップする領域内に基準ブロック(基準
点)を設定し、貼合わせ画像側のオーバーラップする領
域内で基準ブロックと合致する対応ブロック(基準点)
を探索し、基準ブロックと対応ブロック、若しくは基準
点と対応点を合致させ、貼合わせる貼合わせ処理部25
と、前回以前に貼合わせた時の基準ブロックや対応ブロ
ックの各位置に基づく予測情報を持ち、次回の貼合わせ
の際に、予測情報により貼合わせ位置(探索範囲)を予
測して探索し貼合わせを行う撮像装置である。
ら全体画像への復元時に貼合わせ処理の時間短縮,精度
向上を実現し、高画質に画像を撮像する撮像装置を提供
することを目的とする。 【構成】本発明は、回動するミラー2により互いにオー
バーラップする領域を有して分割撮影された複数の部分
画像を撮像素子4で得る。前記部分画像で被貼合わせ画
像側のオーバーラップする領域内に基準ブロック(基準
点)を設定し、貼合わせ画像側のオーバーラップする領
域内で基準ブロックと合致する対応ブロック(基準点)
を探索し、基準ブロックと対応ブロック、若しくは基準
点と対応点を合致させ、貼合わせる貼合わせ処理部25
と、前回以前に貼合わせた時の基準ブロックや対応ブロ
ックの各位置に基づく予測情報を持ち、次回の貼合わせ
の際に、予測情報により貼合わせ位置(探索範囲)を予
測して探索し貼合わせを行う撮像装置である。
Description
【0001】
【産業上の利用分野】本発明は、分割して撮影した複数
の分割画像を貼合わせて1画像に復元する撮像装置に関
する。
の分割画像を貼合わせて1画像に復元する撮像装置に関
する。
【0002】
【従来の技術】一般に、紙面等に描画されて2次元に広
がる被写体を撮像する撮像装置としてフライングスポッ
トスキャナ、ファクシミリ、コピー機等が広く知られて
いる。これらの撮像装置は、撮影の際に被写体領域を純
電子的に走査するのではなく、純機械的に走査したり、
あるいは、ラインセンサを用いて、1次元を電子的に走
査し、他の1次元を機械的に走査させて2次元画像を得
るものである。
がる被写体を撮像する撮像装置としてフライングスポッ
トスキャナ、ファクシミリ、コピー機等が広く知られて
いる。これらの撮像装置は、撮影の際に被写体領域を純
電子的に走査するのではなく、純機械的に走査したり、
あるいは、ラインセンサを用いて、1次元を電子的に走
査し、他の1次元を機械的に走査させて2次元画像を得
るものである。
【0003】また近年、「OAカメラ」や「黒板カメ
ラ」等と称され、ホワイトボードや黒板の近傍に取り付
けて、書かれた文字や図形等の情報を一括撮影し、極め
て簡単に情報収集を行うカメラがある。このカメラは、
CCDのような単一撮像素子が組み込まれ、1被写体に
対して、1撮像画面を得るような通常のカメラの撮像形
式をもつ携帯型のカメラである。
ラ」等と称され、ホワイトボードや黒板の近傍に取り付
けて、書かれた文字や図形等の情報を一括撮影し、極め
て簡単に情報収集を行うカメラがある。このカメラは、
CCDのような単一撮像素子が組み込まれ、1被写体に
対して、1撮像画面を得るような通常のカメラの撮像形
式をもつ携帯型のカメラである。
【0004】一般に、文字等の画像情報は細かく、従来
の2次元撮像素子を用いて純電子的走査により撮影しよ
うとすると、文字情報の判読が可能な程度の解像度を得
るには、必要とする素子の画素数が極めて多くなるた
め、構造が難しくなり、コスト高となる。また、前述し
たような純機械的走査やラインセンサと機械的走査の組
み合わせ方式では、装置の構成が複雑化し、大型化する
だけでなく、画像取り込み時間が長くなってしまうとい
う不具合もあった。
の2次元撮像素子を用いて純電子的走査により撮影しよ
うとすると、文字情報の判読が可能な程度の解像度を得
るには、必要とする素子の画素数が極めて多くなるた
め、構造が難しくなり、コスト高となる。また、前述し
たような純機械的走査やラインセンサと機械的走査の組
み合わせ方式では、装置の構成が複雑化し、大型化する
だけでなく、画像取り込み時間が長くなってしまうとい
う不具合もあった。
【0005】そこで、前記1被写体に対して1撮像画面
を得る「OAカメラ」等に対して、より高精細な画像を
得るものとして、製造が容易で比較的安価な実用的な画
素数を持つCCDなどの単一撮像素子により撮像系を構
成するものであって、更に、撮像光学系中に走査用の可
動ミラーを配設する画面分割撮影式「OAカメラ」が考
えられる。この画面分割撮影式「OAカメラ」は、前記
可動ミラーが各走査回動位置にあるときに、該回動位置
に対応する分割された被写体部分の画像を撮像素子で撮
像し、その複数の撮像画面を貼合わせることによって、
1枚の撮影画像情報を得るものである。
を得る「OAカメラ」等に対して、より高精細な画像を
得るものとして、製造が容易で比較的安価な実用的な画
素数を持つCCDなどの単一撮像素子により撮像系を構
成するものであって、更に、撮像光学系中に走査用の可
動ミラーを配設する画面分割撮影式「OAカメラ」が考
えられる。この画面分割撮影式「OAカメラ」は、前記
可動ミラーが各走査回動位置にあるときに、該回動位置
に対応する分割された被写体部分の画像を撮像素子で撮
像し、その複数の撮像画面を貼合わせることによって、
1枚の撮影画像情報を得るものである。
【0006】このカメラは、被写体領域を例えば2乃至
10数個の複数領域に分割し、それぞれの被写体領域で
前記可動ミラーを回動させて走査し、順次撮影する。撮
影後、得られた複数の部分領域に対する画像情報を貼合
わせ処理を行い、1枚の被写体画像を得る。この結果、
携帯可能な大きさの装置により、比較的短時間で広い領
域について高精細な画像の取り込むことができる。この
ようなカメラとして、例えば、本出願人が提案している
特願平5−246390号に記載されるカメラがある。
10数個の複数領域に分割し、それぞれの被写体領域で
前記可動ミラーを回動させて走査し、順次撮影する。撮
影後、得られた複数の部分領域に対する画像情報を貼合
わせ処理を行い、1枚の被写体画像を得る。この結果、
携帯可能な大きさの装置により、比較的短時間で広い領
域について高精細な画像の取り込むことができる。この
ようなカメラとして、例えば、本出願人が提案している
特願平5−246390号に記載されるカメラがある。
【0007】前記画面分割式「OAカメラ」において
は、前述したように、撮影された部分領域の画像情報の
貼合わせ処理が行なわれる。この貼合わせ処理とは、各
別に得られた部分画像を単純に1つの大きな全体画像に
つなぎ合わせる処理を言うのみではなく、その際の各画
像間のずれや傾きを補正する処理を含んでなるものであ
る。
は、前述したように、撮影された部分領域の画像情報の
貼合わせ処理が行なわれる。この貼合わせ処理とは、各
別に得られた部分画像を単純に1つの大きな全体画像に
つなぎ合わせる処理を言うのみではなく、その際の各画
像間のずれや傾きを補正する処理を含んでなるものであ
る。
【0008】このような処理について、銀塩フィルムを
用いた繋ぎパノラマ写真を例として説明する。従来、複
数の部分画像を繋ぎ合わせて、1つの大きな全体画像を
得る手法として、銀塩写真においては主に、地平,水平
に拡がる幅広い領域を撮影する風景撮影に用いられてお
り、繋ぎパノラマ写真と呼ばれている。
用いた繋ぎパノラマ写真を例として説明する。従来、複
数の部分画像を繋ぎ合わせて、1つの大きな全体画像を
得る手法として、銀塩写真においては主に、地平,水平
に拡がる幅広い領域を撮影する風景撮影に用いられてお
り、繋ぎパノラマ写真と呼ばれている。
【0009】この繋ぎパノラマ写真を撮影する場合に重
要なことは、カメラの撮影範囲が正確に水平方向にシフ
トされていくことであり、通常、カメラは三脚に固定さ
れて、雲台による水平回転が利用される。
要なことは、カメラの撮影範囲が正確に水平方向にシフ
トされていくことであり、通常、カメラは三脚に固定さ
れて、雲台による水平回転が利用される。
【0010】しかしながら、雲台の水平回転を利用して
も、ずれや傾きを完全に零にする事はきわめて難しい。
また撮影の際に三脚がない場合には、撮影者の手持ちに
よりこれを簡易的に実現する手法もあり、このときは当
然撮影範囲のずれや傾きは顕著に生じる。
も、ずれや傾きを完全に零にする事はきわめて難しい。
また撮影の際に三脚がない場合には、撮影者の手持ちに
よりこれを簡易的に実現する手法もあり、このときは当
然撮影範囲のずれや傾きは顕著に生じる。
【0011】そこで最終的な1枚の全体画像に繋ぎ合わ
せる(プリントの切り貼り又は焼きつけ処理に於て行な
われる)際には、隣接する部分画像の接続部分の「像の
繋がり具合」すなわち境界における連続性や画像の相関
性を目視により判断しながら位置や傾きの補正が行なわ
れる。また、このため撮影時には、接続部分の近傍の領
域は隣接する部分画像に共通に含まれているように撮影
範囲を設定する。このとき共通に含まれる領域をオーバ
ーラップ(重なり又は重複)領域とかオーバーラップ部
と称する。
せる(プリントの切り貼り又は焼きつけ処理に於て行な
われる)際には、隣接する部分画像の接続部分の「像の
繋がり具合」すなわち境界における連続性や画像の相関
性を目視により判断しながら位置や傾きの補正が行なわ
れる。また、このため撮影時には、接続部分の近傍の領
域は隣接する部分画像に共通に含まれているように撮影
範囲を設定する。このとき共通に含まれる領域をオーバ
ーラップ(重なり又は重複)領域とかオーバーラップ部
と称する。
【0012】さて、前記「OAカメラ」による画面にお
いても、各部分画像は同時に得られず、順次、スキャン
ニングによって得られるので、撮影時の手振れ(カメラ
ブレ)や被写体の動きがあると、各部分画像にずれや傾
き等の貼合わせ誤差が生じる。また同様の誤差は、スキ
ャンニング機構によっても生じる。
いても、各部分画像は同時に得られず、順次、スキャン
ニングによって得られるので、撮影時の手振れ(カメラ
ブレ)や被写体の動きがあると、各部分画像にずれや傾
き等の貼合わせ誤差が生じる。また同様の誤差は、スキ
ャンニング機構によっても生じる。
【0013】すなわち、ミラーをモータで回動させる機
械式スキャンニング機構を例にとれば、構成部品には所
定の許容範囲で製造誤差があることが多く、これらの部
品で組上げた場合には、回動・停止に伴ってミラーが振
動したり、ミラーの固定(停止)位置にばらつきが生じ
る。これらの振動やばらつきにより撮影される像にも誤
差を生じる。このとき前者は、毎回の撮影によって常に
同じ値で生ずる定常的誤差となるが、特に後者は固定位
置のばらつきにより、撮影の都度、値がばらつく偶発的
誤差となる。なお前述した手振れや被写体の動きによっ
て生ずる誤差は偶発的誤差である。
械式スキャンニング機構を例にとれば、構成部品には所
定の許容範囲で製造誤差があることが多く、これらの部
品で組上げた場合には、回動・停止に伴ってミラーが振
動したり、ミラーの固定(停止)位置にばらつきが生じ
る。これらの振動やばらつきにより撮影される像にも誤
差を生じる。このとき前者は、毎回の撮影によって常に
同じ値で生ずる定常的誤差となるが、特に後者は固定位
置のばらつきにより、撮影の都度、値がばらつく偶発的
誤差となる。なお前述した手振れや被写体の動きによっ
て生ずる誤差は偶発的誤差である。
【0014】これらの誤差を含む複数の部分画像を位置
や傾きの補正を行ないつつ、1つの大きな全体画像に繋
ぎ合わせる処理が、貼合わせ処理である。なお、この処
理は全て同時に行なわれるとは限らず、部分画像を全体
画像に繋ぎ合わせる手順(アルゴリズム)によっては各
隣接する部分画像の対又は組毎に順次に行なわれるが、
その時はその各次の処理においても、貼合わせ処理と呼
ぶ。
や傾きの補正を行ないつつ、1つの大きな全体画像に繋
ぎ合わせる処理が、貼合わせ処理である。なお、この処
理は全て同時に行なわれるとは限らず、部分画像を全体
画像に繋ぎ合わせる手順(アルゴリズム)によっては各
隣接する部分画像の対又は組毎に順次に行なわれるが、
その時はその各次の処理においても、貼合わせ処理と呼
ぶ。
【0015】このような貼合わせ処理は、オーバーラッ
プ部の画像の相関を演算する事により貼合わせ誤差を算
出して行なわれる。すなわち、「繋ぎ」は各部分画像の
データの座標を全体画像の座標に割当てる(置き換え
る)ことによって実現されるが、その際、前記算出され
た貼合わせ誤差に基づいて、座標補正を施せば良い。
プ部の画像の相関を演算する事により貼合わせ誤差を算
出して行なわれる。すなわち、「繋ぎ」は各部分画像の
データの座標を全体画像の座標に割当てる(置き換え
る)ことによって実現されるが、その際、前記算出され
た貼合わせ誤差に基づいて、座標補正を施せば良い。
【0016】この様な相関演算に基いて貼合わせ処理を
行なう具体的技術は、例えば本出願人による特願平5−
260465号に詳細に述べられており、ここでの説明
は省略する。
行なう具体的技術は、例えば本出願人による特願平5−
260465号に詳細に述べられており、ここでの説明
は省略する。
【0017】
【発明が解決しようとする課題】しかし、前述した貼合
わせ処理は、実際の「OAカメラ」の中では、各画像情
報データをデジタルメモリに取り込み、そのデータ(ア
ドレス情報を含む)に対してデジタル演算等のデータ処
理を行なうことで実現される。
わせ処理は、実際の「OAカメラ」の中では、各画像情
報データをデジタルメモリに取り込み、そのデータ(ア
ドレス情報を含む)に対してデジタル演算等のデータ処
理を行なうことで実現される。
【0018】一般に、そのデータ処理には数10ms〜
数100ms以上の時間を要している。ここで、生産コ
ストや形状(小型化)の面から考えると、処理に要する
デジタルメモリの容量は極力小さくする事が有利であ
る。
数100ms以上の時間を要している。ここで、生産コ
ストや形状(小型化)の面から考えると、処理に要する
デジタルメモリの容量は極力小さくする事が有利であ
る。
【0019】このような考え方に立って装置を作成した
場合(第1のケース)、貼合わせ処理は、各部分画像が
撮影される度に順次実行する方が、全ての部分画像を一
旦バッファメモリに取り込んでから処理する方よりも優
れている。すなわち、後者では全画像分のバッファメモ
リが必要になるが、前者は部分画像数個分のバッファメ
モリがあれば実現できる。
場合(第1のケース)、貼合わせ処理は、各部分画像が
撮影される度に順次実行する方が、全ての部分画像を一
旦バッファメモリに取り込んでから処理する方よりも優
れている。すなわち、後者では全画像分のバッファメモ
リが必要になるが、前者は部分画像数個分のバッファメ
モリがあれば実現できる。
【0020】但し、貼合わせ処理に時間が長く掛かる
と、その処理が終了するまで次の部分画像の撮影を開始
できないため、撮影時間間隔が長くなり、被写体の状態
が変化してしまったりする場合があった。
と、その処理が終了するまで次の部分画像の撮影を開始
できないため、撮影時間間隔が長くなり、被写体の状態
が変化してしまったりする場合があった。
【0021】一方、貼合わせ処理は、前述したように画
像データの相関を利用するため、前記オーバーラップ部
分の中の相関演算に使用する領域に、ある一定のコント
ラストを持った被写体がなかったり、あるいはくり返し
パターンの様な演算に誤判断を生じるような被写体があ
った場合、貼合わせが不能になるという不具合があっ
た。
像データの相関を利用するため、前記オーバーラップ部
分の中の相関演算に使用する領域に、ある一定のコント
ラストを持った被写体がなかったり、あるいはくり返し
パターンの様な演算に誤判断を生じるような被写体があ
った場合、貼合わせが不能になるという不具合があっ
た。
【0022】また、前述したスキャンニング等に基いて
生じる定常的誤差については、常に同じ補正を行なえば
よいが、その補正量が未知であるため、結果的に演算の
効率が下がり、演算時間の長化や、誤判断のおそれが増
すといった不具合となった。
生じる定常的誤差については、常に同じ補正を行なえば
よいが、その補正量が未知であるため、結果的に演算の
効率が下がり、演算時間の長化や、誤判断のおそれが増
すといった不具合となった。
【0023】さらに前記演算に要する時間は、毎回の状
況(貼合わせ誤差の大きさやオーバーラップ部の絵柄
等)によって一般に異なり、また他の要因により、毎回
の部分画像の撮影時間間隔(露出タイミング)は、偶発
的にばらつくことになる。このため毎回の演算毎に手振
れの影響や被写体の動きの影響がより大きく変動するこ
ととなり、やはり演算の効率低下が生じるという不具合
があった。
況(貼合わせ誤差の大きさやオーバーラップ部の絵柄
等)によって一般に異なり、また他の要因により、毎回
の部分画像の撮影時間間隔(露出タイミング)は、偶発
的にばらつくことになる。このため毎回の演算毎に手振
れの影響や被写体の動きの影響がより大きく変動するこ
ととなり、やはり演算の効率低下が生じるという不具合
があった。
【0024】以上、前記「第1のケース」について述べ
たが、一方ではコストや形状を常に優先的させて考える
のではなく、性能を最優先で考えたり、あるいは設計の
しやすさ等を考慮する場合もある。
たが、一方ではコストや形状を常に優先的させて考える
のではなく、性能を最優先で考えたり、あるいは設計の
しやすさ等を考慮する場合もある。
【0025】そのような場合を「第2のケース」とすれ
ば、該第2のケースでは前述したように限られた容量の
バッファメモリで構成したOAカメラでは、貼合わせ処
理に要する時間によって各部分画像の撮影(露出)タイ
ミングが制約されたり、貼合わせ処理に用いることがで
きる情報量が限られているため、演算の効率の低下が生
じるという不具合があった。
ば、該第2のケースでは前述したように限られた容量の
バッファメモリで構成したOAカメラでは、貼合わせ処
理に要する時間によって各部分画像の撮影(露出)タイ
ミングが制約されたり、貼合わせ処理に用いることがで
きる情報量が限られているため、演算の効率の低下が生
じるという不具合があった。
【0026】また、貼合わせ処理用バッファメモリの容
量によって、コストや形状,性能等が左右されるという
事情に鑑みる時、従来のOAカメラでは、前記バッファ
メモリと、記録媒体としてのデジタルメモリが構成上全
く分離されており兼用化がはかられていないため、コス
トや形状と性能の確保等が両立できないという不具合が
あった。
量によって、コストや形状,性能等が左右されるという
事情に鑑みる時、従来のOAカメラでは、前記バッファ
メモリと、記録媒体としてのデジタルメモリが構成上全
く分離されており兼用化がはかられていないため、コス
トや形状と性能の確保等が両立できないという不具合が
あった。
【0027】さらにまた、前記バッファメモリの容量と
は別に、各部分画像の撮影時の露出時間や露出レベルが
一定に保たれていないと、部分画像の広い意味での画質
ばらつきが大きくなり、目的とする全体画像の画質が悪
なったり、貼合わせ処理に不具合が生じるおそれがあっ
た。
は別に、各部分画像の撮影時の露出時間や露出レベルが
一定に保たれていないと、部分画像の広い意味での画質
ばらつきが大きくなり、目的とする全体画像の画質が悪
なったり、貼合わせ処理に不具合が生じるおそれがあっ
た。
【0028】そこで本発明は、画像を分割して撮影し、
部分画像から全体画像への復元時に貼合わせ処理の時間
短縮,精度向上を実現し、高画質に画像を撮像する撮像
装置を提供することを目的とする。
部分画像から全体画像への復元時に貼合わせ処理の時間
短縮,精度向上を実現し、高画質に画像を撮像する撮像
装置を提供することを目的とする。
【0029】
【課題を解決するための手段】本発明は上記目的を達成
するために、少なくとも画面の一端側に他の画面とオー
バーラップする領域を持つように撮像対象領域を分割し
て撮影し、複数の部分画像を得る撮像手段と、前記部分
画像で被貼合わせ画像側のオーバーラップする領域内に
任意の基準点を含む基準ブロックを設定し、貼合わせ画
像側のオーバーラップする領域内で前記基準ブロックと
合致する対応ブロック、若しくは基準点と合致する対応
点を探索し、基準ブロックと対応ブロック、若しくは基
準点と対応点を合致させて、部分画像を貼合わせ処理す
る画像貼合わせ手段と、前記画像貼合わせ手段により、
少なくとも前回以前に貼合わせた時に合致した前記基準
ブロック若しくは基準点及び、対応ブロック若しくは対
応点の各位置に基づく情報を予測情報として保持し、次
回の部分画像の貼合わせの際に、前記予測情報により貼
合わせ位置を予測し、貼合わせ位置を前記画像貼合わせ
手段に指示する貼合わせ制御手段とで構成される撮像装
置を提供する。
するために、少なくとも画面の一端側に他の画面とオー
バーラップする領域を持つように撮像対象領域を分割し
て撮影し、複数の部分画像を得る撮像手段と、前記部分
画像で被貼合わせ画像側のオーバーラップする領域内に
任意の基準点を含む基準ブロックを設定し、貼合わせ画
像側のオーバーラップする領域内で前記基準ブロックと
合致する対応ブロック、若しくは基準点と合致する対応
点を探索し、基準ブロックと対応ブロック、若しくは基
準点と対応点を合致させて、部分画像を貼合わせ処理す
る画像貼合わせ手段と、前記画像貼合わせ手段により、
少なくとも前回以前に貼合わせた時に合致した前記基準
ブロック若しくは基準点及び、対応ブロック若しくは対
応点の各位置に基づく情報を予測情報として保持し、次
回の部分画像の貼合わせの際に、前記予測情報により貼
合わせ位置を予測し、貼合わせ位置を前記画像貼合わせ
手段に指示する貼合わせ制御手段とで構成される撮像装
置を提供する。
【0030】
【作用】以上のような構成の撮像装置は、画面の一部に
他の画面の画像とオーバーラップする領域を設けて1つ
の撮影対象領域を分割して撮影して、複数の部分画像を
生成し、そられの部分画像を繋げる際に、被貼合わせ画
像のオーバーラップ領域内に少なくとも2つの基準点や
基準ブロックを設定し、この箇所の画像データと合致す
る対応点若しくは、対応ブロックを貼合わせる画像のオ
ーバーラップ領域内で探索し、探索された対応点若しく
は、対応ブロックを基準点や基準ブロックに一致するよ
うに重ねて貼合わせ処理を行う。そして、貼合わせ処理
の際に得た基準点や基準ブロック及び対応点、対応ブロ
ックの位置情報を記憶しておき、次回からの貼合わせを
行う際の貼合わせ位置の決定に前記位置情報を予測情報
として利用して、対応点若しくは対応ブロックの探索を
行う概略的なサーチエリアが貼合わせる画像のオーバー
ラップ領域内に設定される。
他の画面の画像とオーバーラップする領域を設けて1つ
の撮影対象領域を分割して撮影して、複数の部分画像を
生成し、そられの部分画像を繋げる際に、被貼合わせ画
像のオーバーラップ領域内に少なくとも2つの基準点や
基準ブロックを設定し、この箇所の画像データと合致す
る対応点若しくは、対応ブロックを貼合わせる画像のオ
ーバーラップ領域内で探索し、探索された対応点若しく
は、対応ブロックを基準点や基準ブロックに一致するよ
うに重ねて貼合わせ処理を行う。そして、貼合わせ処理
の際に得た基準点や基準ブロック及び対応点、対応ブロ
ックの位置情報を記憶しておき、次回からの貼合わせを
行う際の貼合わせ位置の決定に前記位置情報を予測情報
として利用して、対応点若しくは対応ブロックの探索を
行う概略的なサーチエリアが貼合わせる画像のオーバー
ラップ領域内に設定される。
【0031】
【実施例】以下、図面を参照して本発明の実施例を詳細
に説明する。図1には、本発明による第1実施例として
の撮像装置の概略的な構成を示し説明する。
に説明する。図1には、本発明による第1実施例として
の撮像装置の概略的な構成を示し説明する。
【0032】この撮像装置においては、被写体像(被写
体)1を反射させるミラー2と、該ミラー2を所定方向
に回動させるミラー駆動部3と、前記ミラー2で反射さ
れた被写体像1を撮像素子4上に結像させるためのAF
機能を有する撮影レンズ5及び絞り6と、前記撮影レン
ズ5及び絞り6を駆動する撮像系駆動部7と、結像され
た被写体像1を光電変換し映像信号を生成する撮像素子
4及び撮像回路8と、該撮像素子4を駆動する撮像素子
駆動部9と、前記撮像回路8からの映像信号をデジタル
変換するA/D変換部10と、デジタル変換された画像
データを記憶するメモリ11と、該メモリ11を駆動す
るメモリ駆動部12と、後述する撮像された部分画像の
貼合わせ部分のパターンマッチングを行うパターンマッ
チング部13と、得られた全体画像を着脱自在な記録媒
体、例えばメモリカード14に記録させるカード駆動部
15と、該カード駆動部15を介して、プリンタ16か
ら画像をプリントアウトさせるプリンタ駆動部17と、
これらの各駆動部の全体を駆動制御するシステム制御部
18と、前記撮像回路8と撮像素子駆動部9とA/D変
換部10とシステム制御部18に所定の同期信号を送出
する同期信号発生部19と、前記システム制御部18に
着脱自在で部品誤差情報や学習情報を記憶するEEPR
OM20と、カメラ筐体の回転やシフト量を検出するた
めの手振れセンサ21と、全体のシステムの状態表示を
行うための表示部22と、撮影を開始するためのトリガ
スイッチや部分撮影回数の設定のための入力スイッチ2
3とで構成される。
体)1を反射させるミラー2と、該ミラー2を所定方向
に回動させるミラー駆動部3と、前記ミラー2で反射さ
れた被写体像1を撮像素子4上に結像させるためのAF
機能を有する撮影レンズ5及び絞り6と、前記撮影レン
ズ5及び絞り6を駆動する撮像系駆動部7と、結像され
た被写体像1を光電変換し映像信号を生成する撮像素子
4及び撮像回路8と、該撮像素子4を駆動する撮像素子
駆動部9と、前記撮像回路8からの映像信号をデジタル
変換するA/D変換部10と、デジタル変換された画像
データを記憶するメモリ11と、該メモリ11を駆動す
るメモリ駆動部12と、後述する撮像された部分画像の
貼合わせ部分のパターンマッチングを行うパターンマッ
チング部13と、得られた全体画像を着脱自在な記録媒
体、例えばメモリカード14に記録させるカード駆動部
15と、該カード駆動部15を介して、プリンタ16か
ら画像をプリントアウトさせるプリンタ駆動部17と、
これらの各駆動部の全体を駆動制御するシステム制御部
18と、前記撮像回路8と撮像素子駆動部9とA/D変
換部10とシステム制御部18に所定の同期信号を送出
する同期信号発生部19と、前記システム制御部18に
着脱自在で部品誤差情報や学習情報を記憶するEEPR
OM20と、カメラ筐体の回転やシフト量を検出するた
めの手振れセンサ21と、全体のシステムの状態表示を
行うための表示部22と、撮影を開始するためのトリガ
スイッチや部分撮影回数の設定のための入力スイッチ2
3とで構成される。
【0033】また、前記システム制御部18は、システ
ム全体を制御するためのシーケンス処理部24と、画像
の貼合わせ処理を行う貼合わせ処理部25で構成され
る。このシステム制御部18は、大きく分けて2つの制
御を行い、そのうち1つはシーケンス処理部24によ
り、入力スイッチ23の内のトリガスイッチが押される
ことでスタートし、前述したようにミラー2の駆動を行
い、撮像回路8及びメモリ11を制御して、メモリカー
ド14に記録し、プリンタ16へ出力するという一連の
シーケンス制御を行い、また、もう1つは、貼合わせ処
理部25により、画像貼合わせを行うためにメモリ11
の駆動やパターンマッチング部13によるパターンマッ
チングの制御を行う。
ム全体を制御するためのシーケンス処理部24と、画像
の貼合わせ処理を行う貼合わせ処理部25で構成され
る。このシステム制御部18は、大きく分けて2つの制
御を行い、そのうち1つはシーケンス処理部24によ
り、入力スイッチ23の内のトリガスイッチが押される
ことでスタートし、前述したようにミラー2の駆動を行
い、撮像回路8及びメモリ11を制御して、メモリカー
ド14に記録し、プリンタ16へ出力するという一連の
シーケンス制御を行い、また、もう1つは、貼合わせ処
理部25により、画像貼合わせを行うためにメモリ11
の駆動やパターンマッチング部13によるパターンマッ
チングの制御を行う。
【0034】このように構成された撮像装置による撮像
について説明する。まず、被写体像1が回動するミラー
2に反射され、撮影レンズ5に導かれる。このミラー2
は、システム制御部18に制御されるミラー駆動部3に
より、被写体像を分割して撮像するために、例えば、数
回(実施例では4回)のスキャンを行うために回動され
る。
について説明する。まず、被写体像1が回動するミラー
2に反射され、撮影レンズ5に導かれる。このミラー2
は、システム制御部18に制御されるミラー駆動部3に
より、被写体像を分割して撮像するために、例えば、数
回(実施例では4回)のスキャンを行うために回動され
る。
【0035】前記撮影レンズ5により撮像素子4上に被
写体像1が結像され、光電変換される。その被写体像1
の映像信号は、撮像回路8で処理され、A/D変換部1
0でデジタル信号に変換されて、メモリ11に画像デー
タとして記憶される。この時に、前記撮像素子駆動部9
や撮像回路8、A/D変換部10は同期信号発生部19
からの同期信号に同期して動作し、また同期信号は、シ
ステム制御部18にも入力され、全体のシーケンスを同
期制御する。
写体像1が結像され、光電変換される。その被写体像1
の映像信号は、撮像回路8で処理され、A/D変換部1
0でデジタル信号に変換されて、メモリ11に画像デー
タとして記憶される。この時に、前記撮像素子駆動部9
や撮像回路8、A/D変換部10は同期信号発生部19
からの同期信号に同期して動作し、また同期信号は、シ
ステム制御部18にも入力され、全体のシーケンスを同
期制御する。
【0036】前記メモリ11から読出された画像データ
は、パターンマッチング部13に入力され、4回のスキ
ャン各々の貼合わせ部分のパターンマッチングを行い、
ズレ量を検出し、再び、システム制御部18を介してメ
モリ駆動部12を駆動させて、メモリ11から読み出
し、1枚分の大きい全体画像を得る。得られた全体画像
は、システム制御部18の制御により、カード駆動部1
5を通ってメモリカード14に記録される、若しくは、
プリンタ駆動部17を駆動してプリンタ16で出力され
る。
は、パターンマッチング部13に入力され、4回のスキ
ャン各々の貼合わせ部分のパターンマッチングを行い、
ズレ量を検出し、再び、システム制御部18を介してメ
モリ駆動部12を駆動させて、メモリ11から読み出
し、1枚分の大きい全体画像を得る。得られた全体画像
は、システム制御部18の制御により、カード駆動部1
5を通ってメモリカード14に記録される、若しくは、
プリンタ駆動部17を駆動してプリンタ16で出力され
る。
【0037】次に図2を参照して前述したメモリ11に
ついて説明する。本実施例において、メモリ11は順次
記録を行うメモリとして説明する。この順次記録は、1
枚の大きい全体画像を4分割して、4回のスキャンによ
り撮影して部分画像を貼合わせて復元する場合に、1回
の撮影毎にパターンマッチング処理を行った後に、メモ
リカードに記録するものである。
ついて説明する。本実施例において、メモリ11は順次
記録を行うメモリとして説明する。この順次記録は、1
枚の大きい全体画像を4分割して、4回のスキャンによ
り撮影して部分画像を貼合わせて復元する場合に、1回
の撮影毎にパターンマッチング処理を行った後に、メモ
リカードに記録するものである。
【0038】従って、部分画像を一時的に記憶するだけ
であるため、メモリ容量が少なくて済むという特徴があ
る。図2(a)は、メモリ11に記憶される部分画像の
うち、2回目に撮影された部分画像に貼合わせるための
領域を含む3回目に撮影された画像を示している。すな
わち、全体の画像を一点鎖線で示すと、メモリ11に一
度に記憶されるデータ量は、画像全体の約1/4の部分
画像の容量で済み、2回目に撮影した画像の終端から内
側に入った貼合わせに必要となる貼合わせ部分の画像領
域を含んだ3回目の部分画像が記憶される。
であるため、メモリ容量が少なくて済むという特徴があ
る。図2(a)は、メモリ11に記憶される部分画像の
うち、2回目に撮影された部分画像に貼合わせるための
領域を含む3回目に撮影された画像を示している。すな
わち、全体の画像を一点鎖線で示すと、メモリ11に一
度に記憶されるデータ量は、画像全体の約1/4の部分
画像の容量で済み、2回目に撮影した画像の終端から内
側に入った貼合わせに必要となる貼合わせ部分の画像領
域を含んだ3回目の部分画像が記憶される。
【0039】このような2回目に撮影した部分画像の終
端部に貼合わせるのに必要な部分と、3回目に撮影した
部分画像とのパターンマッチング及び、貼合わせ処理を
行って貼合わせられた画像がメモリカードに順次、撮影
(スキャン)毎に記録される。
端部に貼合わせるのに必要な部分と、3回目に撮影した
部分画像とのパターンマッチング及び、貼合わせ処理を
行って貼合わせられた画像がメモリカードに順次、撮影
(スキャン)毎に記録される。
【0040】次に図2(b)に示すような他のメモリの
構成例として、撮影4回分の部分画像を記憶できるメモ
リについて説明する。このメモリは、4回の撮影(全ス
キャン)を行い、メモリ11に部分画像全部を記憶させ
た後、貼合わせ処理を行い全体画像を生成し、メモリカ
ード14に一度で記録するものである。従って、メモリ
11は最小限、4枚分の部分画像(1つの全体画像)を
記憶するメモリ容量を必要とする。このメモリは、メモ
リ容量が大きくなるが、後述する学習や結合位置予測を
行う場合に好適する。
構成例として、撮影4回分の部分画像を記憶できるメモ
リについて説明する。このメモリは、4回の撮影(全ス
キャン)を行い、メモリ11に部分画像全部を記憶させ
た後、貼合わせ処理を行い全体画像を生成し、メモリカ
ード14に一度で記録するものである。従って、メモリ
11は最小限、4枚分の部分画像(1つの全体画像)を
記憶するメモリ容量を必要とする。このメモリは、メモ
リ容量が大きくなるが、後述する学習や結合位置予測を
行う場合に好適する。
【0041】次に図3には本発明による第2実施例とし
ての撮像装置の構成例を示し説明する。ここで図3に示
す構成部材において、図1に示す構成部材と同等の部材
には同じ参照符号を付して、その説明を省略する。
ての撮像装置の構成例を示し説明する。ここで図3に示
す構成部材において、図1に示す構成部材と同等の部材
には同じ参照符号を付して、その説明を省略する。
【0042】この撮像装置は、装置内に前述したメモリ
11に相当するメモリ機構を持たないという特徴があ
る。第1実施例と同様に、撮影レンズ5で結像された被
写体像1が撮像素子4により光電変換され、撮像回路8
で処理された映像信号がA/D変換部10でデジタル化
された画像データ(部分画像)が生成される。
11に相当するメモリ機構を持たないという特徴があ
る。第1実施例と同様に、撮影レンズ5で結像された被
写体像1が撮像素子4により光電変換され、撮像回路8
で処理された映像信号がA/D変換部10でデジタル化
された画像データ(部分画像)が生成される。
【0043】次にデジタル化された部分画像は、カード
駆動部15を介して、メモリカード14にそのまま記録
される。次にカード駆動部15は、メモリカード14か
ら画像データを取出し、パターンマッチング部13と貼
合わせ処理部25とで、パターンマッチング及び貼合わ
せ処理を行い、再び、カード駆動部15を介して、メモ
リカード14に記録される。
駆動部15を介して、メモリカード14にそのまま記録
される。次にカード駆動部15は、メモリカード14か
ら画像データを取出し、パターンマッチング部13と貼
合わせ処理部25とで、パターンマッチング及び貼合わ
せ処理を行い、再び、カード駆動部15を介して、メモ
リカード14に記録される。
【0044】よって、本実施例は、装置内にメモリ機構
を設けていないため、小形化、低コスト化が実現でき
る。図4を参照して、本実施例に用いられるメモリカー
ドについて説明する。
を設けていないため、小形化、低コスト化が実現でき
る。図4を参照して、本実施例に用いられるメモリカー
ドについて説明する。
【0045】まず、点線で示す部分画像を順次、撮影
し、メモリカード14に貼合わせ処理を行わない部分画
像の全体を記録する。その後、貼合わせを行うのに必要
な境界部分の画像、すなわち貼合わせ部分を読み出し、
パターンマッチング部13でパターンマッチングして、
貼合わせ処理部25により貼合わせを行う。
し、メモリカード14に貼合わせ処理を行わない部分画
像の全体を記録する。その後、貼合わせを行うのに必要
な境界部分の画像、すなわち貼合わせ部分を読み出し、
パターンマッチング部13でパターンマッチングして、
貼合わせ処理部25により貼合わせを行う。
【0046】そして、貼合わせ処理を行った結果の画像
(実線で示す画像)をメモリカード14に順次記録す
る。これは、メモリカードに記録される部分画像に画像
のずれによる座標変換を施し、実線で示す貼合わせ後の
画像が記録されることになる。
(実線で示す画像)をメモリカード14に順次記録す
る。これは、メモリカードに記録される部分画像に画像
のずれによる座標変換を施し、実線で示す貼合わせ後の
画像が記録されることになる。
【0047】また、この様な処理を実行するためには、
座標変換を行う際に補間処理や座標変換処理を行うため
の最大1回の撮影(スキャン)分の容量のバッファメモ
リが必要となるが、メモリカードの記憶容量の一部を使
用して、例えばワークエリアを使ってバッファメモリに
利用することができる。
座標変換を行う際に補間処理や座標変換処理を行うため
の最大1回の撮影(スキャン)分の容量のバッファメモ
リが必要となるが、メモリカードの記憶容量の一部を使
用して、例えばワークエリアを使ってバッファメモリに
利用することができる。
【0048】次に図5を参照して、本実施例における貼
合わせ処理について説明する。前述した貼合わせ処理に
用いているパターンマッチングについて説明する。ま
ず、図2に示すように、部分画像の端部に前回撮影した
部分画像の端部が重なるように撮影する。つまり、図5
(a)に示すように、画像Aの後端部(境界)と画像B
の前端部(境界)にある幅で重なりを持つように撮影す
る。この重なり部をオーバーラップ領域(オーバーラッ
プ部)とする。このオーバーラップ領域を貼合せること
により、画像Aと画像Bとが貼合わせられる。
合わせ処理について説明する。前述した貼合わせ処理に
用いているパターンマッチングについて説明する。ま
ず、図2に示すように、部分画像の端部に前回撮影した
部分画像の端部が重なるように撮影する。つまり、図5
(a)に示すように、画像Aの後端部(境界)と画像B
の前端部(境界)にある幅で重なりを持つように撮影す
る。この重なり部をオーバーラップ領域(オーバーラッ
プ部)とする。このオーバーラップ領域を貼合せること
により、画像Aと画像Bとが貼合わせられる。
【0049】まず、画像Aのオーバーラップ領域内の任
意の位置に所定の大きさのブロック(本実施例では8画
素×8画素のブロックとする)を基準ブロックA1,A
2として設定し、それらのブロックの画像情報をパター
ンマッチング部13に取り込む。ここでは、説明を簡単
にするために、基準ブロックA1,A2は、ある程度コ
ントラストがあり、画像Aのオーバーラップ領域内で固
定されているものとする。
意の位置に所定の大きさのブロック(本実施例では8画
素×8画素のブロックとする)を基準ブロックA1,A
2として設定し、それらのブロックの画像情報をパター
ンマッチング部13に取り込む。ここでは、説明を簡単
にするために、基準ブロックA1,A2は、ある程度コ
ントラストがあり、画像Aのオーバーラップ領域内で固
定されているものとする。
【0050】そして、前記基準ブロックA1,A2の情
報を取り込んだ後、次に画像Bのオーバーラップ領域内
から前記基準ブロックA1に相当する画像のブロックを
探して対応ブロックB1と設定し、前記基準ブロックA
2に相当する画像のブロックを探して対応ブロックB2
と設定する。これは、画像Bのオーバーラップ領域で設
定することができる8画素×8画素単位のブロックを移
動しながら、基準ブロックと順次に比較する。その比較
の際に、各ブロック間の相関をとる。ここで相関とはブ
ロックを構成する各画素同士の引き算値の絶対値の総和
のこととする。
報を取り込んだ後、次に画像Bのオーバーラップ領域内
から前記基準ブロックA1に相当する画像のブロックを
探して対応ブロックB1と設定し、前記基準ブロックA
2に相当する画像のブロックを探して対応ブロックB2
と設定する。これは、画像Bのオーバーラップ領域で設
定することができる8画素×8画素単位のブロックを移
動しながら、基準ブロックと順次に比較する。その比較
の際に、各ブロック間の相関をとる。ここで相関とはブ
ロックを構成する各画素同士の引き算値の絶対値の総和
のこととする。
【0051】そして相関が最大となる、つまり引き算値
の絶対値の総和が最小のものを、対応ブロックB1,B
2とする。次に基準ブロックA1に対応する対応ブロッ
クB1、基準ブロックA2に対応する対応ブロックB2
の設定の後、それぞれの座標をもとに移動量と回転量を
算出する。ここで、移動量とは、貼合わせを行う際に、
画像Bを平行移動させる距離を意味し、上部の基準ブロ
ックA1と対応ブロックB1のずれ具合をずれ量S1と
し、ずれ量S1と移動量は等しくなる。また、下部の基
準ブロックA2と対応ブロックB2のずれ具合をずれ量
S2とする。
の絶対値の総和が最小のものを、対応ブロックB1,B
2とする。次に基準ブロックA1に対応する対応ブロッ
クB1、基準ブロックA2に対応する対応ブロックB2
の設定の後、それぞれの座標をもとに移動量と回転量を
算出する。ここで、移動量とは、貼合わせを行う際に、
画像Bを平行移動させる距離を意味し、上部の基準ブロ
ックA1と対応ブロックB1のずれ具合をずれ量S1と
し、ずれ量S1と移動量は等しくなる。また、下部の基
準ブロックA2と対応ブロックB2のずれ具合をずれ量
S2とする。
【0052】そして、ずれ量S1とずれ量S2より画像
A,画像Bのなす角を回転量として求める。これらの移
動量と回転量に基づき、画像Bを移動させ、画像Aと画
像Bを貼合わせて、図6に示すような1枚の画像に復元
することできる。
A,画像Bのなす角を回転量として求める。これらの移
動量と回転量に基づき、画像Bを移動させ、画像Aと画
像Bを貼合わせて、図6に示すような1枚の画像に復元
することできる。
【0053】このように移動量は、本来、手振れやメカ
的誤差がまったくない場合には、画像Aの原点“0”と
画像Bの原点“0”を重ねると、図5(b)に示すよう
に、基準ブロックA1と対応ブロックB1及び基準ブロ
ックA2と対応ブロックB2は、1つの点に重なる。し
かし実際には、手振れやメカ誤差が生じてしまうため、
同様に2枚の画像A,Bの原点“0”どうしを重ね合わ
せると、図5(c)に示すように、基準ブロックA1と
対応ブロックB1や基準ブロックA2と対応ブロックB
2の不一致が生じる。つまり、画像がずれて繋ぎ合わさ
れてしまう。
的誤差がまったくない場合には、画像Aの原点“0”と
画像Bの原点“0”を重ねると、図5(b)に示すよう
に、基準ブロックA1と対応ブロックB1及び基準ブロ
ックA2と対応ブロックB2は、1つの点に重なる。し
かし実際には、手振れやメカ誤差が生じてしまうため、
同様に2枚の画像A,Bの原点“0”どうしを重ね合わ
せると、図5(c)に示すように、基準ブロックA1と
対応ブロックB1や基準ブロックA2と対応ブロックB
2の不一致が生じる。つまり、画像がずれて繋ぎ合わさ
れてしまう。
【0054】なお、前述したように求めた移動量と回転
量により、画像Bを移動させて貼合わせているが、ずれ
量S1,S2を使って、貼合わせに必要な移動量もしく
は回転量に計算し直す手順は後述する。
量により、画像Bを移動させて貼合わせているが、ずれ
量S1,S2を使って、貼合わせに必要な移動量もしく
は回転量に計算し直す手順は後述する。
【0055】次に、前述した貼合わせ処理では、画像A
の基準ブロックと同一な画像を画像Bの中から探しだ
し、対応ブロックB1として設定したが、この設定の際
のサーチについて、通常の場合と予測位置を利用する場
合を説明する。
の基準ブロックと同一な画像を画像Bの中から探しだ
し、対応ブロックB1として設定したが、この設定の際
のサーチについて、通常の場合と予測位置を利用する場
合を説明する。
【0056】ここで、本実施例では図7(a)に示すよ
うな画像B中の対応ブロックB1の存在する範囲をサー
チエリアCとし、例えば、64画素×64画素に設定す
る。このサーチエリアCは、最大手振れ量や最大メカ誤
差等に基づき、画像の欠損なしに貼合わせることのでき
る範囲を考慮にいれて、決定する。
うな画像B中の対応ブロックB1の存在する範囲をサー
チエリアCとし、例えば、64画素×64画素に設定す
る。このサーチエリアCは、最大手振れ量や最大メカ誤
差等に基づき、画像の欠損なしに貼合わせることのでき
る範囲を考慮にいれて、決定する。
【0057】通常行うサーチは、サーチエリアCの端か
ら8×8のブロックを1画素ずつずらして探しており、
この手法では、57×57、つまり3249個のブロッ
クの相関を求めなければならず、探索に非常に時間がか
かってしまう。そこで、ある程度の予測によって、計算
回数を減らし、探索時間の短縮を図ることが考えられ
る。
ら8×8のブロックを1画素ずつずらして探しており、
この手法では、57×57、つまり3249個のブロッ
クの相関を求めなければならず、探索に非常に時間がか
かってしまう。そこで、ある程度の予測によって、計算
回数を減らし、探索時間の短縮を図ることが考えられ
る。
【0058】第1の予測位置を使った探索手法として、
図8(a)に示すように、予測位置の上下左右の1画素
ずらした範囲のみサーチする手法がある。この手法は、
左側の右上の1画素ずつずらしたものから順番に全部で
予測位置の周辺9回分の中で探索する。全部で9回分の
相関を求めた後、予測位置の相関値、予め設定した基準
値を越えた上で相関が最大であれば、その位置を対応ブ
ロックとする。
図8(a)に示すように、予測位置の上下左右の1画素
ずらした範囲のみサーチする手法がある。この手法は、
左側の右上の1画素ずつずらしたものから順番に全部で
予測位置の周辺9回分の中で探索する。全部で9回分の
相関を求めた後、予測位置の相関値、予め設定した基準
値を越えた上で相関が最大であれば、その位置を対応ブ
ロックとする。
【0059】また、第2の予測位置を使った探索手法と
して、図8(b)に示すように、上下左右に2画素ずつ
(1画素乃至2画素)ずらして、合計25通りの相関を
求めて、前述と同様に、予め設定した基準値を越えた上
で予測位置の相関が最大であれば、その位置を対応ブロ
ックの設定する位置とする手法がある。
して、図8(b)に示すように、上下左右に2画素ずつ
(1画素乃至2画素)ずらして、合計25通りの相関を
求めて、前述と同様に、予め設定した基準値を越えた上
で予測位置の相関が最大であれば、その位置を対応ブロ
ックの設定する位置とする手法がある。
【0060】このような予測位置を使ったサーチを用い
ると、高々9回または、25回の相関値を求める演算だ
けで探索でき、従来に比べて圧倒的な速さで、対応ブロ
ックを見つけることができる。
ると、高々9回または、25回の相関値を求める演算だ
けで探索でき、従来に比べて圧倒的な速さで、対応ブロ
ックを見つけることができる。
【0061】さらに第3の予測位置を使った探索手法と
して、図11(a)に示すように、64画素×64画素
のサーチエリアを分割し、予測位置の入っている分割エ
リアを、端から順番に相関を求める手法がある。ここ
で、本実施例では、64画素×64画素のエリアを4分
割して、32画素×32画素の範囲の相関を求める例に
ついて説明する。
して、図11(a)に示すように、64画素×64画素
のサーチエリアを分割し、予測位置の入っている分割エ
リアを、端から順番に相関を求める手法がある。ここ
で、本実施例では、64画素×64画素のエリアを4分
割して、32画素×32画素の範囲の相関を求める例に
ついて説明する。
【0062】この手法によれば、全部で1024回の相
関を求めることになり、前述した64画素×64画素の
サーチエリア全体の相関を求めるよりも探索時間が短縮
される。
関を求めることになり、前述した64画素×64画素の
サーチエリア全体の相関を求めるよりも探索時間が短縮
される。
【0063】次に、具体的に、対応ブロックB1を貼り
合わせる側の画像Bのオーバーラップ領域から予測位置
を使用してサーチ時間を短縮する手法について説明す
る。この予測位置の求め方について説明する。
合わせる側の画像Bのオーバーラップ領域から予測位置
を使用してサーチ時間を短縮する手法について説明す
る。この予測位置の求め方について説明する。
【0064】第1の予測位置の求め方として、複数の画
像を貼り合わせる場合に、2回目以降の貼合わせは、前
回の貼合わせの際に用いたずれ量から予測位置を求める
手法について説明する。ここで、1回で撮影された画像
を複数回貼り合わせる場合、近似したずれ方をするもの
と想定している。
像を貼り合わせる場合に、2回目以降の貼合わせは、前
回の貼合わせの際に用いたずれ量から予測位置を求める
手法について説明する。ここで、1回で撮影された画像
を複数回貼り合わせる場合、近似したずれ方をするもの
と想定している。
【0065】1回の貼合わせで得られたずれ量S1
(x,y)、S2(x,y)を相対値として予測位置を
次式で求める。 α1x=A1x+(前回のS1x) …H1 α1y=A1y+(前回のS1y) …H2 α2x=A2x+(前回のS2x) …H3 α2y=A2y+(前回のS2y) …H4 ここで、予測位置の座標:α、対応ブロックB1の予測
位置:α1、対応ブロックB2の予測位置:α2、それ
ぞれx方向,y方向の座標:x,y、基準ブロックA1
のx座標に前回のずれ量のX座標を足し合わせたもの:
α1x、A1のY座標に前回のずれ量のy座標を足し合
わせたもの:α1y、基準ブロックA2のx座標に前回
のずれ量のX座標を足し合わせたもの:α2x、A2の
Y座標に前回のずれ量のy座標を足し合わせたもの:α
2yとする。
(x,y)、S2(x,y)を相対値として予測位置を
次式で求める。 α1x=A1x+(前回のS1x) …H1 α1y=A1y+(前回のS1y) …H2 α2x=A2x+(前回のS2x) …H3 α2y=A2y+(前回のS2y) …H4 ここで、予測位置の座標:α、対応ブロックB1の予測
位置:α1、対応ブロックB2の予測位置:α2、それ
ぞれx方向,y方向の座標:x,y、基準ブロックA1
のx座標に前回のずれ量のX座標を足し合わせたもの:
α1x、A1のY座標に前回のずれ量のy座標を足し合
わせたもの:α1y、基準ブロックA2のx座標に前回
のずれ量のX座標を足し合わせたもの:α2x、A2の
Y座標に前回のずれ量のy座標を足し合わせたもの:α
2yとする。
【0066】本実施例のようなOAカメラでは、手振れ
による影響が一番大きい。そこで、第2の予測位置の求
め方として、手振れセンサによって手振れ量を検出し、
算出された手振れ量から予測位置を求める手法について
説明する。図1に示すようにxy方向の手振れ量を検出
できる手振れセンサ21を設けている。この例では、手
振れ検出は、必ず部分撮影する際に行われるものとす
る。
による影響が一番大きい。そこで、第2の予測位置の求
め方として、手振れセンサによって手振れ量を検出し、
算出された手振れ量から予測位置を求める手法について
説明する。図1に示すようにxy方向の手振れ量を検出
できる手振れセンサ21を設けている。この例では、手
振れ検出は、必ず部分撮影する際に行われるものとす
る。
【0067】 α1x=A1x+(毎回の計測時の手振れ1x成分) …H5 α1y=A1y+(毎回の計測時の手振れ1y成分) …H6 α2x=A2x+(毎回の計測時の手振れ2x成分) …H7 α2y=A2y+(毎回の計測時の手振れ2y成分) …H8 以上のように、予測位置のα1xは基準ブロックA1の
x座標に、部分撮影時に求めた手振れ量(x成分)を加
える。以下、α2も同様に予測位置が求められる。
x座標に、部分撮影時に求めた手振れ量(x成分)を加
える。以下、α2も同様に予測位置が求められる。
【0068】なお、手振れセンサ21により、手振れ量
を検出する場合、毎回計測を行うため、足し合わせる手
振れ量は同じ値でなく、例えば、4回の撮影(スキャ
ン)を行うのであれば、4回とも異なった値の手振れ量
をAの座標に足し合わせるという形になる。
を検出する場合、毎回計測を行うため、足し合わせる手
振れ量は同じ値でなく、例えば、4回の撮影(スキャ
ン)を行うのであれば、4回とも異なった値の手振れ量
をAの座標に足し合わせるという形になる。
【0069】また、ずれ量を求める際に上側のB1側
と、下側のB2と2点を求めなければならないため、手
振れはカメラの上側と下側の2か所で検出する。そし
て、上側の手振れ量をxy成分に分け、1x,1yと
し、予測位置α1を求める時に用いる。また下側の手振
れ量も、xy成分に分け2x,2yとし、下側の予測位
置のα2を求める時に用いる。
と、下側のB2と2点を求めなければならないため、手
振れはカメラの上側と下側の2か所で検出する。そし
て、上側の手振れ量をxy成分に分け、1x,1yと
し、予測位置α1を求める時に用いる。また下側の手振
れ量も、xy成分に分け2x,2yとし、下側の予測位
置のα2を求める時に用いる。
【0070】次に第3の予測位置の求め方として、それ
ぞれのカメラ固有の撮影の際のミラー2を回動させた
(スキャン)時の誤差をEEPROM20に記録してお
き、予測する際にEEPROM20から情報を読み出
し、予測位置を求める手法である。ここで、ミラースキ
ャン時の誤差とは、ミラーが回動する時に発生するミラ
ーの位置ずれ等の機械的な誤差と、電気部品の特性等の
ばらつきに起因する電気的な制御系の誤差、またはレン
ズ等の光学部品に起因する光学的な誤差等からなる。
ぞれのカメラ固有の撮影の際のミラー2を回動させた
(スキャン)時の誤差をEEPROM20に記録してお
き、予測する際にEEPROM20から情報を読み出
し、予測位置を求める手法である。ここで、ミラースキ
ャン時の誤差とは、ミラーが回動する時に発生するミラ
ーの位置ずれ等の機械的な誤差と、電気部品の特性等の
ばらつきに起因する電気的な制御系の誤差、またはレン
ズ等の光学部品に起因する光学的な誤差等からなる。
【0071】なお、このEEPROM20に記録される
誤差の情報には、各スキャン毎に発生する誤差を記録さ
せておき、各撮影ごとの誤差のばらつきが解消できるよ
うにする。
誤差の情報には、各スキャン毎に発生する誤差を記録さ
せておき、各撮影ごとの誤差のばらつきが解消できるよ
うにする。
【0072】 α1x=A1x+(EEPROMに記憶した誤差1x成分) …H9 α1y=A1y+(EEPROMに記憶した誤差1y成分) …H10 α2x=A2x+(EEPROMに記憶した誤差2x成分) …H11 α2y=A2y+(EEPROMに記憶した誤差2y成分) …H12 予測位置α1xは、A1xの座標に記憶された機械的な
誤差、制御系の誤差や光学的誤差を足し合わせたx成分
を加える。以下、α2も同様に予測位置が求められる。
誤差、制御系の誤差や光学的誤差を足し合わせたx成分
を加える。以下、α2も同様に予測位置が求められる。
【0073】次に、第4の予測位置の求め方として、例
えばニユーラルネットワークのような学習機能をもう
け、ユーザの手振れ等の癖やメカ誤差等を学習させ、予
測位置を決める手法がある。このような手法の一例とし
て、ここでは、前回までの撮影の際に生じたずれ量の平
均値を記憶しておき、その平均値をA1の座標に足し、
それを予測位置とする。
えばニユーラルネットワークのような学習機能をもう
け、ユーザの手振れ等の癖やメカ誤差等を学習させ、予
測位置を決める手法がある。このような手法の一例とし
て、ここでは、前回までの撮影の際に生じたずれ量の平
均値を記憶しておき、その平均値をA1の座標に足し、
それを予測位置とする。
【0074】 α1x=A1x+(前回までの平均値1x成分) …H13 α1y=A1y+(前回までの平均値1y成分) …H14 α2x=A2x+(前回までの平均値2x成分) …H15 α2y=A2y+(前回までの平均値2y成分) …H16 以上、前述した予測位置は、それぞれ単独に使用でき、
また組み合わせて用いることができる。
また組み合わせて用いることができる。
【0075】次に、図9に示すフローチャートを参照し
て、予測位置を利用した貼り合わせ処理について説明す
る。ここで、構成部材の参照符号は、図1に示した構成
部材の参照符号を示すものとする。
て、予測位置を利用した貼り合わせ処理について説明す
る。ここで、構成部材の参照符号は、図1に示した構成
部材の参照符号を示すものとする。
【0076】まず、ユーザが撮影する所望の画像を何分
割するか設定する、すなわち、部分画像の撮影する回数
Nを設定する(ステップS1)。次に、撮影した回数I
の初期値“1”を設定し(ステップS2)、図示しない
スタートスイッチ(レリーズスイッチ)をオンさせ、1
枚目の部分撮影を開始する(ステップS3)。ミラー2
が回動して、次の被写体部分画像を撮像素子に結像させ
る(ステップS4)。ミラー2の回動終了後に、撮影回
数Iをインクリメントする(ステップS5)。再び、部
分撮影を行う(ステップS6)。
割するか設定する、すなわち、部分画像の撮影する回数
Nを設定する(ステップS1)。次に、撮影した回数I
の初期値“1”を設定し(ステップS2)、図示しない
スタートスイッチ(レリーズスイッチ)をオンさせ、1
枚目の部分撮影を開始する(ステップS3)。ミラー2
が回動して、次の被写体部分画像を撮像素子に結像させ
る(ステップS4)。ミラー2の回動終了後に、撮影回
数Iをインクリメントする(ステップS5)。再び、部
分撮影を行う(ステップS6)。
【0077】そして、その撮影の後、予測位置を利用し
て移動量,回転量を算出する(ステップS7)。算出さ
れた移動量,回転量に基づき、画像の移動,回転を行
い、貼り合わせ処理する(ステップS8)。
て移動量,回転量を算出する(ステップS7)。算出さ
れた移動量,回転量に基づき、画像の移動,回転を行
い、貼り合わせ処理する(ステップS8)。
【0078】次に、撮影した回数Iがユーザが設定した
撮影する回数Nになるまで、前述した撮影及び貼り合わ
せ処理を行い終了する(ステップS9)。次に、図10
のフローチャートを参照して、貼り合わせ処理における
移動量,回転量の算出について説明する。
撮影する回数Nになるまで、前述した撮影及び貼り合わ
せ処理を行い終了する(ステップS9)。次に、図10
のフローチャートを参照して、貼り合わせ処理における
移動量,回転量の算出について説明する。
【0079】ここで、本実施例においては、移動量は、
S1x,S1y、つまり境界部分の上の点A1,B1そ
のもののずれ量を移動量とし、また回転量は、A1とB
1を重ね合わせた時に境界部分の下の点A2,B2が一
致するまでの必要な回転する量を回転量とする。
S1x,S1y、つまり境界部分の上の点A1,B1そ
のもののずれ量を移動量とし、また回転量は、A1とB
1を重ね合わせた時に境界部分の下の点A2,B2が一
致するまでの必要な回転する量を回転量とする。
【0080】まず、基準ブロックA1の画像を取り込み
(ステップS11)、続いて、基準ブロックA2(下
側)の画像を取り込む(ステップS12)。次に、前述
した予測位置を求める方法のいずれかを用いて求めた、
対応ブロックB1の予測位置を入力する(ステップS1
3)。ここで、入力される予測位置はα1x,α1yで
ある。しかし、もし予測が不可能で情報がない場合に
は、“情報なし”として入力しておく必要がある。
(ステップS11)、続いて、基準ブロックA2(下
側)の画像を取り込む(ステップS12)。次に、前述
した予測位置を求める方法のいずれかを用いて求めた、
対応ブロックB1の予測位置を入力する(ステップS1
3)。ここで、入力される予測位置はα1x,α1yで
ある。しかし、もし予測が不可能で情報がない場合に
は、“情報なし”として入力しておく必要がある。
【0081】次に、前記予測位置に基づき、対応ブロッ
クB1を探索する(ステップS14)。この探索で得ら
れた対応ブロックB1を用いて、次式、 S1x=B1x−A1x …H17 S1y=B1y−A1y …H18 を用いて、基準ブロックA1と対応ブロックB1とのず
れ量S1を算出する(ステップS15)。
クB1を探索する(ステップS14)。この探索で得ら
れた対応ブロックB1を用いて、次式、 S1x=B1x−A1x …H17 S1y=B1y−A1y …H18 を用いて、基準ブロックA1と対応ブロックB1とのず
れ量S1を算出する(ステップS15)。
【0082】前述したと同様に対応ブロックB2の予測
位置α2x,α2yを入力する(ステップS16)。そ
して、この予測位置α2x,α2yに基づき、対応ブロ
ックB2を探索する(ステップS17)。この探索で得
られた対応ブロックB2を用いて、上式H17,H18
で同様に基準ブロックA2と対応ブロックB2とのずれ
量S2を算出する(ステップS18)。そして、求めら
れたずれ量S1xをX方向の移動量、ずれ量S1yをY
方向の移動量とする(ステップS19)。そして回転量
を次式、
位置α2x,α2yを入力する(ステップS16)。そ
して、この予測位置α2x,α2yに基づき、対応ブロ
ックB2を探索する(ステップS17)。この探索で得
られた対応ブロックB2を用いて、上式H17,H18
で同様に基準ブロックA2と対応ブロックB2とのずれ
量S2を算出する(ステップS18)。そして、求めら
れたずれ量S1xをX方向の移動量、ずれ量S1yをY
方向の移動量とする(ステップS19)。そして回転量
を次式、
【0083】
【数1】 で算出し(ステップS20)、リターンする。
【0084】次に対応ブロックBの探索処理について説
明する。本実施例では、8画素×8画素のブロックサイ
ズで対応ブロックB1について探索処理する例について
説明する。
明する。本実施例では、8画素×8画素のブロックサイ
ズで対応ブロックB1について探索処理する例について
説明する。
【0085】ここで図11(b)を参照して、探索のた
めに用いる相関の演算について説明する。図11(b)
において、画像Aの基準ブロックの1番左上端の画素を
DA(0,0)とし、このDA(0,0)と実際の相関
を求めるブロックの左上端の画素をDp(0,0)とす
る。
めに用いる相関の演算について説明する。図11(b)
において、画像Aの基準ブロックの1番左上端の画素を
DA(0,0)とし、このDA(0,0)と実際の相関
を求めるブロックの左上端の画素をDp(0,0)とす
る。
【0086】この画素DA(0,0)と画素Dp(0,
0)との差から右下端の画素DA(7,7)と画素Dp
(7,7)の差までを順番に求めて、その絶対値を足し
たものを相関値とする。これを式で表すと、
0)との差から右下端の画素DA(7,7)と画素Dp
(7,7)の差までを順番に求めて、その絶対値を足し
たものを相関値とする。これを式で表すと、
【0087】
【数2】 となる。ここで、qは相関誤差で、相関の度合いを示
し、相関はqの値が小さいほど大きいものとし、qの値
が小さい程、相関性が良い。
し、相関はqの値が小さいほど大きいものとし、qの値
が小さい程、相関性が良い。
【0088】さらに図12には、それぞれの基準ブロッ
クの相関を導くためのブロックの位置(座標)の表し方
について示す。画像Aの基準ブロックの位置は、ブロッ
クの左上の画素の位置を基準とし、ブロックの座標とす
る。従って、基準ブロックの座標はA1x,A1y、画
像Bの予測位置の対応ブロックの座標はα1x,α1y
とする。
クの相関を導くためのブロックの位置(座標)の表し方
について示す。画像Aの基準ブロックの位置は、ブロッ
クの左上の画素の位置を基準とし、ブロックの座標とす
る。従って、基準ブロックの座標はA1x,A1y、画
像Bの予測位置の対応ブロックの座標はα1x,α1y
とする。
【0089】さらに、実際に相関を求めるブロックは、
最初のブロックの位置から周辺に2画素づつずらした範
囲で探すものとすれば、例えば1番左上にずれているブ
ロックの位置は、α1x−2,α1y−2で表され、周
辺ブロックで1番右下のブロックの位置は、α1x+
2,α1y+2で表される。
最初のブロックの位置から周辺に2画素づつずらした範
囲で探すものとすれば、例えば1番左上にずれているブ
ロックの位置は、α1x−2,α1y−2で表され、周
辺ブロックで1番右下のブロックの位置は、α1x+
2,α1y+2で表される。
【0090】次に、図13に示すフローチャートを参照
して、探索処理について説明する。最初に、予測位置情
報があるか否かを判定する(ステップS31)。予測位
置が設定されていない場合(NO)、通常のすべての画
素に対して探索[通常サーチ]を行う(ステップS3
2)。この通常サーチを行う場合、例えば、サーチエリ
アが64画素×64画素であれば、合計3249回のブ
ロック相関を演算することとなる。しかし、この判定で
予測位置情報があると判定された場合(YES)、前述
したように、次式に基づいて予測位置の相関を求める
(ステップS33)。
して、探索処理について説明する。最初に、予測位置情
報があるか否かを判定する(ステップS31)。予測位
置が設定されていない場合(NO)、通常のすべての画
素に対して探索[通常サーチ]を行う(ステップS3
2)。この通常サーチを行う場合、例えば、サーチエリ
アが64画素×64画素であれば、合計3249回のブ
ロック相関を演算することとなる。しかし、この判定で
予測位置情報があると判定された場合(YES)、前述
したように、次式に基づいて予測位置の相関を求める
(ステップS33)。
【0091】
【数3】 ここで、qは前述した相関誤差である。Dα1は、上側
の予測位置ブロックの1画素のデータそのものの値を示
し、DA1は上側の基準ブロックを構成する1画素のデ
ータの値そのものを示す。nは許容量を表し、予測位置
の相関値qが予め設定した許容量よりも低い場合は、後
述するように予測位置による探索の信頼性が低いことを
意味し、通常サーチを行う。
の予測位置ブロックの1画素のデータそのものの値を示
し、DA1は上側の基準ブロックを構成する1画素のデ
ータの値そのものを示す。nは許容量を表し、予測位置
の相関値qが予め設定した許容量よりも低い場合は、後
述するように予測位置による探索の信頼性が低いことを
意味し、通常サーチを行う。
【0092】次に、求められた予測位置の相関値qと、
許容値nと比較する(ステップS34)。この比較で予
測位置の相関値qが許容値n以下であれば(NO)、つ
まり予測位置による探索の信頼性が低いと判断され、ス
テップS32に移行し、通常サーチを行う。
許容値nと比較する(ステップS34)。この比較で予
測位置の相関値qが許容値n以下であれば(NO)、つ
まり予測位置による探索の信頼性が低いと判断され、ス
テップS32に移行し、通常サーチを行う。
【0093】しかしステップS34の比較で、予測位置
の相関値qが許容値nより大きいのであれば(YE
S)、予測される対応ブロックの周辺2画素の範囲でサ
ーチを行うことになる。この時、最初に予測位置と相関
を比較する位置の座標を、Iにα1x−2,Jにα1y
−2を代入し(ステップS35)、次式により、相関値
γを求める(ステップS36)。
の相関値qが許容値nより大きいのであれば(YE
S)、予測される対応ブロックの周辺2画素の範囲でサ
ーチを行うことになる。この時、最初に予測位置と相関
を比較する位置の座標を、Iにα1x−2,Jにα1y
−2を代入し(ステップS35)、次式により、相関値
γを求める(ステップS36)。
【0094】
【数4】 ここで、qは前述した相関誤差であり、Dp1は予測位
置の周辺のブロック、つまり現在相関を計算しているブ
ロックを構成する画素のデータの値を示す。
置の周辺のブロック、つまり現在相関を計算しているブ
ロックを構成する画素のデータの値を示す。
【0095】次に、求められた相関値γが、ステップS
33で求めた相関値qよりも大きいか否かを判定する
(ステップS37)。この判定で相関値γが相関値q未
満であれば(NO)、すなわち相関値γの方が相関が高
いと判定された場合には、予測位置より対応点として正
確なものと想定されるため、Iをα1x,Jをα1yに
予測位置として再設定する(ステップS38)。
33で求めた相関値qよりも大きいか否かを判定する
(ステップS37)。この判定で相関値γが相関値q未
満であれば(NO)、すなわち相関値γの方が相関が高
いと判定された場合には、予測位置より対応点として正
確なものと想定されるため、Iをα1x,Jをα1yに
予測位置として再設定する(ステップS38)。
【0096】さらに相関値γを新たな予測位置として相
関値qと入れ替え(ステップS39)、ステップS35
に戻り、再度、相関誤差を求める。しかし、前記ステッ
プS37の判定で、相関値γが相関値qより大きければ
(YES)、qの方が相関が高い、つまり予測位置の方
が相関が良かったと判断された場合は、Iとα1x+2
を比較し(ステップS40)、α1x+2に達するまで
Iをインクリメントさせて(ステップS41)、ステッ
プS36に戻り、同じ処理を繰り返す。
関値qと入れ替え(ステップS39)、ステップS35
に戻り、再度、相関誤差を求める。しかし、前記ステッ
プS37の判定で、相関値γが相関値qより大きければ
(YES)、qの方が相関が高い、つまり予測位置の方
が相関が良かったと判断された場合は、Iとα1x+2
を比較し(ステップS40)、α1x+2に達するまで
Iをインクリメントさせて(ステップS41)、ステッ
プS36に戻り、同じ処理を繰り返す。
【0097】同様に、Jがα1y+2に達するまで(ス
テップS42)、Iを一時的にα1x−2に戻し(ステ
ップS43)、さらにJをインクリメントさせて(ステ
ップS44)、同じ処理を行う。このIを一端α1x−
2に戻すのは、サーチは横方向に5回、縦方向にも5
回、合計で25回やらなければならないため、一旦、横
方向に行い、次いで、1度Jをインクリメントする時
に、また横方向をもとに戻すための操作である。
テップS42)、Iを一時的にα1x−2に戻し(ステ
ップS43)、さらにJをインクリメントさせて(ステ
ップS44)、同じ処理を行う。このIを一端α1x−
2に戻すのは、サーチは横方向に5回、縦方向にも5
回、合計で25回やらなければならないため、一旦、横
方向に行い、次いで、1度Jをインクリメントする時
に、また横方向をもとに戻すための操作である。
【0098】このような処理を設定した回数分行った後
に、最終的に予測位置となるα1xを対応点として、B
1x,α1yをB1yとして、処理を終了する(ステッ
プS45)。
に、最終的に予測位置となるα1xを対応点として、B
1x,α1yをB1yとして、処理を終了する(ステッ
プS45)。
【0099】なお、このフローチャートでは、対応ブロ
ック(対応点)B1の探索について述べているが、対応
ブロック(対応点)B2を求める処理も同様である。次
にオーバーラップ領域に文字や絵など記載がなく、コン
トラストデータのある基準ブロックが設定できない例に
ついて説明する。
ック(対応点)B1の探索について述べているが、対応
ブロック(対応点)B2を求める処理も同様である。次
にオーバーラップ領域に文字や絵など記載がなく、コン
トラストデータのある基準ブロックが設定できない例に
ついて説明する。
【0100】このような場合には、1つの手法として、
デフォルト位置で貼り合わせることが考えられる。この
デフォルト位置とは、例えば2つのオーバーラップ領域
の原点を重ね合わせた位置である。
デフォルト位置で貼り合わせることが考えられる。この
デフォルト位置とは、例えば2つのオーバーラップ領域
の原点を重ね合わせた位置である。
【0101】図14のフローチャートを参照して説明す
る。まず、移動量,回転量を求める際に、基準ブロック
のデータがあるか否かを判定する(ステップS51)。
この判定で、基準ブロックにデータがある場合は(YE
S)、前述したように移動量,回転量を算出する(ステ
ップS52)。しかし、基準ブロックにデータが無い場
合は(NO)、所定のデフォルト位置、例えば、原点を
重合わせるのであれば、“0”をそれぞれ移動量,回転
量に設定する(ステップS53)。
る。まず、移動量,回転量を求める際に、基準ブロック
のデータがあるか否かを判定する(ステップS51)。
この判定で、基準ブロックにデータがある場合は(YE
S)、前述したように移動量,回転量を算出する(ステ
ップS52)。しかし、基準ブロックにデータが無い場
合は(NO)、所定のデフォルト位置、例えば、原点を
重合わせるのであれば、“0”をそれぞれ移動量,回転
量に設定する(ステップS53)。
【0102】そして、それらのデフォルト位置で貼り合
わせ、その旨をユーザに告知し処理を終了する(ステッ
プS54)。このようにデフォルト位置での貼り合わせ
は、基準ブロックにデータが無くて貼り合わせ処理がで
きない場合以外にも、例えば、カメラの製造の時の調整
時で予想を使わずに貼り合わせを行いたい時や、撮影が
難しい場面を撮るような際、カメラの予測を越えたとこ
ろで貼り合わせを行わなければならない場合は、ユーザ
の切り換えにより予測を使用しないでデフォルト位置で
貼り合わせることが有効になる。
わせ、その旨をユーザに告知し処理を終了する(ステッ
プS54)。このようにデフォルト位置での貼り合わせ
は、基準ブロックにデータが無くて貼り合わせ処理がで
きない場合以外にも、例えば、カメラの製造の時の調整
時で予想を使わずに貼り合わせを行いたい時や、撮影が
難しい場面を撮るような際、カメラの予測を越えたとこ
ろで貼り合わせを行わなければならない場合は、ユーザ
の切り換えにより予測を使用しないでデフォルト位置で
貼り合わせることが有効になる。
【0103】また、基準ブロックにデータがない場合の
他の手法として、図15に示すフローチャートの手順に
よる予測位置で貼り合わせる手法がある。まず、移動
量,回転量を算出する際に、基準ブロックにデータがあ
るか否かを判定する(ステップS61)。この判定で、
基準ブロックにデータがある場合は(YES)、前述し
たように移動量,回転量を算出する(ステップS6
2)。しかし、基準ブロックにデータが無い場合は(N
O)、予測位置α1,α2を入力する(ステップS6
3)。
他の手法として、図15に示すフローチャートの手順に
よる予測位置で貼り合わせる手法がある。まず、移動
量,回転量を算出する際に、基準ブロックにデータがあ
るか否かを判定する(ステップS61)。この判定で、
基準ブロックにデータがある場合は(YES)、前述し
たように移動量,回転量を算出する(ステップS6
2)。しかし、基準ブロックにデータが無い場合は(N
O)、予測位置α1,α2を入力する(ステップS6
3)。
【0104】そして、予測位置を対応ブロック(対応
点)B1の位置に用いるため、α1を対応点B1に設定
し、α2を対応点B2に設定する(ステップS64)。
これらの設定により、対応点B1,B2を用いた移動
量,回転量を算出する(ステップS65)。そして、予
測位置で貼り合わせ、その旨をユーザに告知し処理を終
了する(ステップS66)。
点)B1の位置に用いるため、α1を対応点B1に設定
し、α2を対応点B2に設定する(ステップS64)。
これらの設定により、対応点B1,B2を用いた移動
量,回転量を算出する(ステップS65)。そして、予
測位置で貼り合わせ、その旨をユーザに告知し処理を終
了する(ステップS66)。
【0105】但し、本実施例では、基準点を境界部内で
固定して説明したが、これに限定されるものではなく、
貼り合わせを行う毎に基準点の位置を変えてもよい。例
えば、白画素と黒画素の数が同数であるような特徴をも
ったブロックを基準ブロックととすると、さらに探索し
た結果の確度が向上する。
固定して説明したが、これに限定されるものではなく、
貼り合わせを行う毎に基準点の位置を変えてもよい。例
えば、白画素と黒画素の数が同数であるような特徴をも
ったブロックを基準ブロックととすると、さらに探索し
た結果の確度が向上する。
【0106】次に図16を参照して前述した第1実施例
において、装置内のメモリ11が、撮影する全部分画像
を記憶できる容量がある例について説明する。まず、撮
影する全部の部分画像(全エリア)について露出する
(ステップS71)。次に、移動量,回転量を算出する
(ステップS72)。この移動量,回転量の算出につい
ては、前述した図9のステップS7で説明した処理と同
処理を行う。
において、装置内のメモリ11が、撮影する全部分画像
を記憶できる容量がある例について説明する。まず、撮
影する全部の部分画像(全エリア)について露出する
(ステップS71)。次に、移動量,回転量を算出する
(ステップS72)。この移動量,回転量の算出につい
ては、前述した図9のステップS7で説明した処理と同
処理を行う。
【0107】そして、算出された移動量,回転量を利用
して、それぞれの部分画像の貼合わせ処理を行う(ステ
ップS73)。この貼合わせ処理は、前述した図9のス
テップS8と同等の処理を行うものとする。
して、それぞれの部分画像の貼合わせ処理を行う(ステ
ップS73)。この貼合わせ処理は、前述した図9のス
テップS8と同等の処理を行うものとする。
【0108】次に、全部分画像に渡って画面の貼り合わ
せが終了したか否かを判断する(ステップS74)。こ
の判断で、まだ全部分画像に渡って貼り合わせが終了し
ていない場合は(NO)、ステップS72に戻り、同様
の処理を行う。しかし全部分画像に渡って画面の貼り合
わせが終了したら(YES)、終了する。
せが終了したか否かを判断する(ステップS74)。こ
の判断で、まだ全部分画像に渡って貼り合わせが終了し
ていない場合は(NO)、ステップS72に戻り、同様
の処理を行う。しかし全部分画像に渡って画面の貼り合
わせが終了したら(YES)、終了する。
【0109】以上のように撮影される全エリアを連続露
出するために、1枚目の露出開始から最終画像の露出終
了までの時間が、毎回貼り合わせ処理を行う場合よりも
短くなり、手振れや被写体側の像ぶれ等を軽減すること
が可能となる。
出するために、1枚目の露出開始から最終画像の露出終
了までの時間が、毎回貼り合わせ処理を行う場合よりも
短くなり、手振れや被写体側の像ぶれ等を軽減すること
が可能となる。
【0110】次に、前述した図16のステップS72に
おいて、移動量,回転量のすべてが算出できる場合につ
いて説明したが、算出できない部分画像があった場合に
ついて説明する。図17に示すフローチャートを参照し
て説明する。
おいて、移動量,回転量のすべてが算出できる場合につ
いて説明したが、算出できない部分画像があった場合に
ついて説明する。図17に示すフローチャートを参照し
て説明する。
【0111】まず、撮影する全部の部分画像(全エリ
ア)について露出する(ステップS81)。次に、全エ
リアの部分画像間の相関関係を調べる(ステップS8
2)。そして、全エリアの相関がとれたか否かを判断す
る(ステップS83)。この判断において、全部分画像
間の相関がすべてとれた場合には(YES)、移動量,
回転量を算出する(ステップS84)。この算出は、前
述した図9のステップS7に示した手順に基づくものと
する。
ア)について露出する(ステップS81)。次に、全エ
リアの部分画像間の相関関係を調べる(ステップS8
2)。そして、全エリアの相関がとれたか否かを判断す
る(ステップS83)。この判断において、全部分画像
間の相関がすべてとれた場合には(YES)、移動量,
回転量を算出する(ステップS84)。この算出は、前
述した図9のステップS7に示した手順に基づくものと
する。
【0112】そして算出された移動量,回転量に基づ
き、貼り合わせ処理を行い(ステップS85)、リター
ンする。しかしステップS83の判断で、いずれかの部
分画像間の相関がとれなかった場合には(NO)、全部
の部分画像間の相関がすべてとれなかったか否か判断す
る(ステップS86)。この判断で、すべての部分画像
間で相関がとれなければ(YES)、エラー処理を行い
(ステップS87)、リターンする。この場合、エラー
処理の一部として、その旨のエラー表示や前述したよう
なデフォルト値で貼り合わせを行ってもよく、適宜に処
理してもよい。
き、貼り合わせ処理を行い(ステップS85)、リター
ンする。しかしステップS83の判断で、いずれかの部
分画像間の相関がとれなかった場合には(NO)、全部
の部分画像間の相関がすべてとれなかったか否か判断す
る(ステップS86)。この判断で、すべての部分画像
間で相関がとれなければ(YES)、エラー処理を行い
(ステップS87)、リターンする。この場合、エラー
処理の一部として、その旨のエラー表示や前述したよう
なデフォルト値で貼り合わせを行ってもよく、適宜に処
理してもよい。
【0113】しかしステップS86で、相関がすべてと
れない場合ではなく、少なくとも一部で相関がとれる場
合は(NO)、相関がとれない部分の移動量,回転量の
算出を行い(ステップS88)、前記ステップS85に
移行し、貼合わせ処理を行い、リターンする。
れない場合ではなく、少なくとも一部で相関がとれる場
合は(NO)、相関がとれない部分の移動量,回転量の
算出を行い(ステップS88)、前記ステップS85に
移行し、貼合わせ処理を行い、リターンする。
【0114】次に図18に示すフローチャートを参照し
て、前述した図17のステップS88における移動量,
回転量の算出について詳細に説明する。ここで、部分画
像は4分割され、それぞれをエリアA,エリアB,エリ
アC,エリアDの4枚組で1つの画像が構成されるもの
とする。また、エリアA,B間の移動量,回転量をそれ
ぞれ移動量1,回転量1、エリアB,C間を移動量2,
回転量2、エリアC,D間の移動量,回転量を移動量
3,回転量3とする。
て、前述した図17のステップS88における移動量,
回転量の算出について詳細に説明する。ここで、部分画
像は4分割され、それぞれをエリアA,エリアB,エリ
アC,エリアDの4枚組で1つの画像が構成されるもの
とする。また、エリアA,B間の移動量,回転量をそれ
ぞれ移動量1,回転量1、エリアB,C間を移動量2,
回転量2、エリアC,D間の移動量,回転量を移動量
3,回転量3とする。
【0115】まず、エリアA,B間及びエリアB,C間
のみ相関がとれないか否か判定する(ステップS9
1)。この判定で、相関がとれない場合は(YES)、
それらAB間,BC間の移動量,回転量を算出し(ステ
ップS92)、リターンする。ここで、AB間,BC間
の移動量,回転量の算出は、図19(a)に示すフロー
チャートの手順により算出される。
のみ相関がとれないか否か判定する(ステップS9
1)。この判定で、相関がとれない場合は(YES)、
それらAB間,BC間の移動量,回転量を算出し(ステ
ップS92)、リターンする。ここで、AB間,BC間
の移動量,回転量の算出は、図19(a)に示すフロー
チャートの手順により算出される。
【0116】これらのAB間,BC間の移動量,回転量
の算出方法としては、最終的にはCD間の移動量,回転
量が求められているため、それぞれのAB間の移動量
1,回転量1に対しては求められているCD間の移動量
3,回転量3の値を入力し計算する。同様に、BC間の
移動量2,回転量2に対してもそれぞれ移動量3,回転
量3の値を代入し計算する。
の算出方法としては、最終的にはCD間の移動量,回転
量が求められているため、それぞれのAB間の移動量
1,回転量1に対しては求められているCD間の移動量
3,回転量3の値を入力し計算する。同様に、BC間の
移動量2,回転量2に対してもそれぞれ移動量3,回転
量3の値を代入し計算する。
【0117】しかし、前記ステップS91で相関がとれ
た場合は(NO)、次に、エリアB,C間及びエリア
C,D間のみ相関がとれないか否か判定する(ステップ
S93)。この判定で、相関がとれない場合は(YE
S)、それらBC間,CD間の移動量,回転量を算出し
(ステップS94)、リターンする。ここで、BC間,
CD間の移動量,回転量の算出は、図19(b)に示す
フローチャートの手順により算出される。このBC間,
CD間の算出においては、AB間が算出されていること
を前提条件とし、それぞれ算出されていないBC間,C
D間の移動量2,移動量3、また回転量2,回転量3に
対してAB間の移動量1,回転量1をそれぞれ入力し算
出する。
た場合は(NO)、次に、エリアB,C間及びエリア
C,D間のみ相関がとれないか否か判定する(ステップ
S93)。この判定で、相関がとれない場合は(YE
S)、それらBC間,CD間の移動量,回転量を算出し
(ステップS94)、リターンする。ここで、BC間,
CD間の移動量,回転量の算出は、図19(b)に示す
フローチャートの手順により算出される。このBC間,
CD間の算出においては、AB間が算出されていること
を前提条件とし、それぞれ算出されていないBC間,C
D間の移動量2,移動量3、また回転量2,回転量3に
対してAB間の移動量1,回転量1をそれぞれ入力し算
出する。
【0118】しかし、前記ステップS93で相関がとれ
た場合は(NO)、次に、エリアA,B間及びエリア
C,D間のみ相関がとれないか否か判定する(ステップ
S95)。この判定で、相関がとれない場合は(YE
S)、それらAB間,CD間の移動量,回転量を算出し
(ステップS96)、リターンする。ここで、AB間,
BC間の移動量,回転量の算出は、図19(c)に示す
フローチャートの手順により算出される。このAB,C
D間の算出は、BC間が算出されているものとし、BC
間の移動量2,回転量2をそれぞれAB間,CD間の移
動量1,回転量1,移動量3,回転量3にそれぞれ入力
し算出する。
た場合は(NO)、次に、エリアA,B間及びエリア
C,D間のみ相関がとれないか否か判定する(ステップ
S95)。この判定で、相関がとれない場合は(YE
S)、それらAB間,CD間の移動量,回転量を算出し
(ステップS96)、リターンする。ここで、AB間,
BC間の移動量,回転量の算出は、図19(c)に示す
フローチャートの手順により算出される。このAB,C
D間の算出は、BC間が算出されているものとし、BC
間の移動量2,回転量2をそれぞれAB間,CD間の移
動量1,回転量1,移動量3,回転量3にそれぞれ入力
し算出する。
【0119】しかし、前記ステップS95で相関がとれ
た場合は(NO)、次に、エリアA,B間のみに相関が
とれないか否か判定する(ステップS97)。この判定
で相関がとれない場合は(YES)、それらAB間の移
動量,回転量を算出し(ステップS98)、リターンす
る。ここで、AB間の移動量,回転量の算出は、図19
(d)に示すフローチャートの手順により算出される。
このAB間の移動量1,回転量1の算出は、AB間,B
C間の移動量2,回転量2、また移動量3,回転量3が
算出されているものとし、これら2つを利用して、移動
量1は移動量2から移動量3を引いた値に、移動量2を
加算した値を入力し算出する。同様に、回転量は回転量
2から回転量3を引いた値に回転量2を加えたものを、
回転量1に入力し算出する。
た場合は(NO)、次に、エリアA,B間のみに相関が
とれないか否か判定する(ステップS97)。この判定
で相関がとれない場合は(YES)、それらAB間の移
動量,回転量を算出し(ステップS98)、リターンす
る。ここで、AB間の移動量,回転量の算出は、図19
(d)に示すフローチャートの手順により算出される。
このAB間の移動量1,回転量1の算出は、AB間,B
C間の移動量2,回転量2、また移動量3,回転量3が
算出されているものとし、これら2つを利用して、移動
量1は移動量2から移動量3を引いた値に、移動量2を
加算した値を入力し算出する。同様に、回転量は回転量
2から回転量3を引いた値に回転量2を加えたものを、
回転量1に入力し算出する。
【0120】しかし、前記ステップS97で相関がとれ
た場合は(NO)、次に、エリアB,C間のみに相関が
とれないか否か判定する(ステップS99)。この判定
で相関がとれない場合は(YES)、それらBC間の移
動量,回転量を算出し(ステップS100)、リターン
する。ここで、BC間の移動量,回転量の算出は、図1
9(e)に示すフローチャートの手順により算出され
る。
た場合は(NO)、次に、エリアB,C間のみに相関が
とれないか否か判定する(ステップS99)。この判定
で相関がとれない場合は(YES)、それらBC間の移
動量,回転量を算出し(ステップS100)、リターン
する。ここで、BC間の移動量,回転量の算出は、図1
9(e)に示すフローチャートの手順により算出され
る。
【0121】このBC間の算出は、移動量2,回転量2
を求める時に、AB間,CD間の移動量1,回転量1,
移動量3,回転量3を利用して求める。その求める方法
としては、移動量2に対して、移動量1と移動量3を加
えたものを2で割った値を利用する。同様に、回転量に
対しても、回転量1と回転量3を加算したものを2で割
ることによって求める。
を求める時に、AB間,CD間の移動量1,回転量1,
移動量3,回転量3を利用して求める。その求める方法
としては、移動量2に対して、移動量1と移動量3を加
えたものを2で割った値を利用する。同様に、回転量に
対しても、回転量1と回転量3を加算したものを2で割
ることによって求める。
【0122】しかし、前記ステップS99で相関がとれ
た場合は(NO)、次に、エリアC,D間のみに相関が
とれないか否か判定する(ステップS101)。この判
定で相関がとれない場合は(YES)、それらCD間の
移動量,回転量を算出し(ステップS102)、リター
ンする。ここで、CD間の移動量,回転量の算出は、図
19(f)に示すフローチャートの手順により算出され
る。
た場合は(NO)、次に、エリアC,D間のみに相関が
とれないか否か判定する(ステップS101)。この判
定で相関がとれない場合は(YES)、それらCD間の
移動量,回転量を算出し(ステップS102)、リター
ンする。ここで、CD間の移動量,回転量の算出は、図
19(f)に示すフローチャートの手順により算出され
る。
【0123】このCD間の算出は、CD間の移動量3,
回転量3が算出されているので、AB間,BC間の移動
量2,回転量2,移動量1,回転量1を利用して求め
る。移動量3は、移動量2から移動量1を引いた値に、
移動量2を加算したものを入力し算出する。回転量3に
ついては、回転量2から回転量1を引いた値に、回転量
2を加算したものを入力する。
回転量3が算出されているので、AB間,BC間の移動
量2,回転量2,移動量1,回転量1を利用して求め
る。移動量3は、移動量2から移動量1を引いた値に、
移動量2を加算したものを入力し算出する。回転量3に
ついては、回転量2から回転量1を引いた値に、回転量
2を加算したものを入力する。
【0124】また、前記ステップS101で相関がとれ
た場合には(NO)、リターンして終了する。なお、本
実施例では、補間等を使って相関がとれなかったものに
ついて説明したが、その他、移動量,回転量については
機械的誤差等を吸収するためのデフォルト位置からの相
対量としてもよい。
た場合には(NO)、リターンして終了する。なお、本
実施例では、補間等を使って相関がとれなかったものに
ついて説明したが、その他、移動量,回転量については
機械的誤差等を吸収するためのデフォルト位置からの相
対量としてもよい。
【0125】次に、第3実施例としての撮像装置につい
て説明する。この実施例の撮像装置の構成は、前述した
第1実施例と同様であり、動作が異なっている。この撮
像装置では、露光間隔を一定にすることを特徴とする。
すなわち、第1実施例では、2回目以降の貼り合わせ処
理においては、前回のずれ量(S1x ,S1y ,S2
x ,S2y )により予測位置を決定しているが、各分割
画像撮像する時の露光間隔については特に定義していな
かった。本実施例は露光間隔を一定にすることにより、
予測位置の算出を容易にするものである。
て説明する。この実施例の撮像装置の構成は、前述した
第1実施例と同様であり、動作が異なっている。この撮
像装置では、露光間隔を一定にすることを特徴とする。
すなわち、第1実施例では、2回目以降の貼り合わせ処
理においては、前回のずれ量(S1x ,S1y ,S2
x ,S2y )により予測位置を決定しているが、各分割
画像撮像する時の露光間隔については特に定義していな
かった。本実施例は露光間隔を一定にすることにより、
予測位置の算出を容易にするものである。
【0126】図20は本実施例における取り込み画像を
示しており、ミラーを回動させることにより、A,B,
C,Dに分割された部分画像を順次取り込む。図21
は、露光タイミングを説明するためのタイムチャートで
ある。
示しており、ミラーを回動させることにより、A,B,
C,Dに分割された部分画像を順次取り込む。図21
は、露光タイミングを説明するためのタイムチャートで
ある。
【0127】基準時間として垂直同期信号VDに同期し
て各処理が行われる。最初に分割画像Aの露光が行わ
れ、その後にミラー駆動(Bを露光するためのミラー位
置への駆動)及び信号処理が行われる。信号処理では、
撮像素子からの読み出しと貼り合わせ処理が行われる
(但し、Aの露光後は読み出しのみ行われる)。
て各処理が行われる。最初に分割画像Aの露光が行わ
れ、その後にミラー駆動(Bを露光するためのミラー位
置への駆動)及び信号処理が行われる。信号処理では、
撮像素子からの読み出しと貼り合わせ処理が行われる
(但し、Aの露光後は読み出しのみ行われる)。
【0128】以後、同様にB,C,Dの露光とミラー駆
動,信号処理が行われる。ここで、th1 〜th4 は処
理時間を示すが、この時間は被写体の状態により大きく
変化する(予測位置での相関が小さい場合や、予測位置
情報がない場合、貼り合わせのサーチ処理時間が長くな
る)。
動,信号処理が行われる。ここで、th1 〜th4 は処
理時間を示すが、この時間は被写体の状態により大きく
変化する(予測位置での相関が小さい場合や、予測位置
情報がない場合、貼り合わせのサーチ処理時間が長くな
る)。
【0129】一般的には、信号処理が終了し次第、次の
分割画像の露光を開始するが、それでは露光間隔(図2
1のtR1,tR2,tR3)が毎回変化してしまい、その結
果、手振れによる移動量も前回から変化してしまうこと
になる。
分割画像の露光を開始するが、それでは露光間隔(図2
1のtR1,tR2,tR3)が毎回変化してしまい、その結
果、手振れによる移動量も前回から変化してしまうこと
になる。
【0130】そこで、露光間隔を一定にする(tR1=t
R2=tR3とする)ことにより、手振れによる移動量は、
ほぼ前回と同じ値として考えられる。前回の移動量S1
x ,S1y ,S2x ,S2y をそのまま使うことができ
る。すなわち、前述した式H1〜H4が使用できる。
R2=tR3とする)ことにより、手振れによる移動量は、
ほぼ前回と同じ値として考えられる。前回の移動量S1
x ,S1y ,S2x ,S2y をそのまま使うことができ
る。すなわち、前述した式H1〜H4が使用できる。
【0131】また、この時設定する露光間隔は、想定さ
れる最長時間に設定することにより、どのような被写体
でも露光間隔が不足することはなくなる。次に、第4実
施例としての撮像装置について説明する。この実施例の
撮像装置の構成は、前述した第1実施例と同様であり、
動作が異なっている。
れる最長時間に設定することにより、どのような被写体
でも露光間隔が不足することはなくなる。次に、第4実
施例としての撮像装置について説明する。この実施例の
撮像装置の構成は、前述した第1実施例と同様であり、
動作が異なっている。
【0132】通常、複数の画像を貼り合わせて一枚の画
像を生成する場合、被写体の部分によっては、各部分画
像の明るさが異なるため、それぞれの部分画像が適正な
露出となるように露光レベルを調節する場合もある。し
かし、貼り合わせ処理での正確な相関検出を行う若しく
は、画像の繋ぎ目を目立たなくするという点で、露光レ
ベルは一定にした方が良い。
像を生成する場合、被写体の部分によっては、各部分画
像の明るさが異なるため、それぞれの部分画像が適正な
露出となるように露光レベルを調節する場合もある。し
かし、貼り合わせ処理での正確な相関検出を行う若しく
は、画像の繋ぎ目を目立たなくするという点で、露光レ
ベルは一定にした方が良い。
【0133】そこで、本実施例では1枚目の画像(図2
0に示すA)を取り込む時点で露光レベルを決定して、
露光時間,絞り,撮像回路のゲイン等を一定にし、以降
(B,C,D)の画像を取り込む間、固定している。
0に示すA)を取り込む時点で露光レベルを決定して、
露光時間,絞り,撮像回路のゲイン等を一定にし、以降
(B,C,D)の画像を取り込む間、固定している。
【0134】ここで、露光レベルを一定にするために
は、露光時間,絞り,ゲイン等を変えてもトータルの露
光レベルを変えないようにできるが、そのための制御が
複雑になるため、それぞれを一定にしている。
は、露光時間,絞り,ゲイン等を変えてもトータルの露
光レベルを変えないようにできるが、そのための制御が
複雑になるため、それぞれを一定にしている。
【0135】また、露光時間と絞りを一定にすることに
は、それぞれに独自の効果もある。露光時間が変化した
場合、第3実施例において露光間隔を一定にする制御を
行う場合、露光間隔はそれぞれの露光期間の中間で規定
しなければならず、非常に複雑な制御が必要になる。露
光時間を一定にすることにより、図21に示すように露
光間隔は露光開始時間で規定でき、露光間隔を一定にす
る制御が容易になる(露光終了時間で規定することも可
能である)。
は、それぞれに独自の効果もある。露光時間が変化した
場合、第3実施例において露光間隔を一定にする制御を
行う場合、露光間隔はそれぞれの露光期間の中間で規定
しなければならず、非常に複雑な制御が必要になる。露
光時間を一定にすることにより、図21に示すように露
光間隔は露光開始時間で規定でき、露光間隔を一定にす
る制御が容易になる(露光終了時間で規定することも可
能である)。
【0136】また、絞りについては絞りが変化した場合
それぞれの分割画像の深度によるボケ具合も変化するた
め、画像のつなぎ目が不自然になってしまう。そこで絞
りについても一定の値にしている。
それぞれの分割画像の深度によるボケ具合も変化するた
め、画像のつなぎ目が不自然になってしまう。そこで絞
りについても一定の値にしている。
【0137】なお露光レベルの決定は、撮影前にミラー
のプリスキャンを行って全画面の情報により行うことも
できる。この方が時間はかかるが、より正確な露光レベ
ルの決定が可能である。
のプリスキャンを行って全画面の情報により行うことも
できる。この方が時間はかかるが、より正確な露光レベ
ルの決定が可能である。
【0138】前述した露光間隔を一定にする第3実施例
は、毎回の貼り合わせ処理で前回の移動量をそのまま使
うことができるため、ハード,ソフトの規模が小さくな
るが、実際の信号処理時間が短くても撮影時間が長くな
ってしまうという欠点がある。
は、毎回の貼り合わせ処理で前回の移動量をそのまま使
うことができるため、ハード,ソフトの規模が小さくな
るが、実際の信号処理時間が短くても撮影時間が長くな
ってしまうという欠点がある。
【0139】そこで、第5実施例として、露光間隔は一
定とせずに、信号処理が終了し次第、次の露光開始さ
せ、露光間隔の長短に応じて予測位置を変化させる撮像
装置について説明する。図22には、第5実施例のタイ
ムチャートを示す。ここで、各記号の説明は、第3実施
例(図21)と同様であるため、省略する。
定とせずに、信号処理が終了し次第、次の露光開始さ
せ、露光間隔の長短に応じて予測位置を変化させる撮像
装置について説明する。図22には、第5実施例のタイ
ムチャートを示す。ここで、各記号の説明は、第3実施
例(図21)と同様であるため、省略する。
【0140】各信号処理が終了したら、次のVDに同期
して次の分割画像の露光を開始させている。そのため露
光間隔はtR1≠tR2≠tR3となっている。次に貼り合わ
せ時の予測位置の求め方について説明する。
して次の分割画像の露光を開始させている。そのため露
光間隔はtR1≠tR2≠tR3となっている。次に貼り合わ
せ時の予測位置の求め方について説明する。
【0141】露光間隔が前回から変化した場合、手振れ
による移動量はほぼ露光間隔に比例して増減すると考え
ることができるため、貼り合わせ時の予測位置は以下の
式で表わすことができる。
による移動量はほぼ露光間隔に比例して増減すると考え
ることができるため、貼り合わせ時の予測位置は以下の
式で表わすことができる。
【0142】分割画像BとCの貼り合わせ時、 α1x=A1x+(前回のS1x)×tR2/tR1 …S1 α1y=A1y+(前回のS1y)×tR2/tR1 …S2 α2x=A2x+(前回のS2x)×tR2/tR1 …S3 α2y=A2y+(前回のS2y)×tR2/tR1 …S4 となる。分割画像CとDの貼り合わせ時、 α1x=A1x+(前回のS1x)×tR3/tR2 …S5 α1y=A1y+(前回のS1y)×tR3/tR2 …S6 α2x=A2x+(前回のS2x)×tR3/tR2 …S7 α2y=A2y+(前回のS2y)×tR3/tR2 …S8 となる。
【0143】この撮像装置により、予測動作をさせつ
つ、撮影時間を短くすることができる。以上の実施例に
基づいて説明したが、本明細書には、以下のような発明
も含まれる。 (1) 少なくとも画面の一端側に他の画面とオーバー
ラップする領域を持つように撮像対象領域を分割して撮
影し、複数の部分画像を得る撮像手段と、前記部分画像
で被貼合わせ画像側のオーバーラップする領域内に任意
の基準点を含む基準ブロックを設定し、貼合わせ画像側
のオーバーラップする領域内で前記基準ブロックと合致
する対応ブロック、若しくは基準点と合致する対応点を
探索し、基準ブロックと対応ブロック、若しくは基準点
と対応点を合致させて、部分画像を貼合わせ処理する画
像貼合わせ手段と、前記画像貼合わせ手段により、少な
くとも前回以前に貼合わせた時に合致した前記基準ブロ
ック若しくは基準点及び、対応ブロック若しくは対応点
の各位置に基づく情報を予測情報として保持し、次回の
部分画像の貼合わせの際に、前記予測情報により貼合わ
せ位置を予測し、貼合わせ位置を前記画像貼合わせ手段
に指示する貼合わせ制御手段と、を具備することを特徴
とする撮像装置。
つ、撮影時間を短くすることができる。以上の実施例に
基づいて説明したが、本明細書には、以下のような発明
も含まれる。 (1) 少なくとも画面の一端側に他の画面とオーバー
ラップする領域を持つように撮像対象領域を分割して撮
影し、複数の部分画像を得る撮像手段と、前記部分画像
で被貼合わせ画像側のオーバーラップする領域内に任意
の基準点を含む基準ブロックを設定し、貼合わせ画像側
のオーバーラップする領域内で前記基準ブロックと合致
する対応ブロック、若しくは基準点と合致する対応点を
探索し、基準ブロックと対応ブロック、若しくは基準点
と対応点を合致させて、部分画像を貼合わせ処理する画
像貼合わせ手段と、前記画像貼合わせ手段により、少な
くとも前回以前に貼合わせた時に合致した前記基準ブロ
ック若しくは基準点及び、対応ブロック若しくは対応点
の各位置に基づく情報を予測情報として保持し、次回の
部分画像の貼合わせの際に、前記予測情報により貼合わ
せ位置を予測し、貼合わせ位置を前記画像貼合わせ手段
に指示する貼合わせ制御手段と、を具備することを特徴
とする撮像装置。
【0144】従って、サーチエリアの範囲、位置が容易
に設定でき、そのエリア内の探索で貼合わせ位置が決定
できるため、貼合わせ処理の時間が短縮され、貼合わせ
処理の確度が上がる。 (2) 前記画像貼合わせ手段は、1画像を形成するた
めの全部分画像を貼り合わせた後、1画像として生成す
る手段を含むことを特徴とする前記(1)の撮像装置。
に設定でき、そのエリア内の探索で貼合わせ位置が決定
できるため、貼合わせ処理の時間が短縮され、貼合わせ
処理の確度が上がる。 (2) 前記画像貼合わせ手段は、1画像を形成するた
めの全部分画像を貼り合わせた後、1画像として生成す
る手段を含むことを特徴とする前記(1)の撮像装置。
【0145】従って、貼合わせ処理による画像の移動量
は、以前におこなわれた処理の結果に近い値を示すと考
えられ、これに基づき予測することで高速かつ高い確度
の貼合わせ処理が実現する。 (3) 前記撮像装置は、さらに部分画像の撮像時の手
振れ量を検出する手振れ検出手段を具備し、前記情報に
前記手振れ量に基づく手振れ情報を含むことを特徴とす
る前記(1)の撮像装置。
は、以前におこなわれた処理の結果に近い値を示すと考
えられ、これに基づき予測することで高速かつ高い確度
の貼合わせ処理が実現する。 (3) 前記撮像装置は、さらに部分画像の撮像時の手
振れ量を検出する手振れ検出手段を具備し、前記情報に
前記手振れ量に基づく手振れ情報を含むことを特徴とす
る前記(1)の撮像装置。
【0146】従って、部分画像どうしのずれは、ほとん
ど手振れにより生じており、その手振れ量を検出し、予
測情報に役立てることにより、高速かつ高い確度の貼合
わせ処理を実現する。 (4) 前記撮像装置は、撮像装置を構成する部材が有
する固有の機械的及び/又は電気的誤差に基づく誤差情
報を記憶するための誤差情報記憶手段を具備し、前記情
報には、前記誤差情報を含むことを特徴とする前記
(1)の撮像装置。
ど手振れにより生じており、その手振れ量を検出し、予
測情報に役立てることにより、高速かつ高い確度の貼合
わせ処理を実現する。 (4) 前記撮像装置は、撮像装置を構成する部材が有
する固有の機械的及び/又は電気的誤差に基づく誤差情
報を記憶するための誤差情報記憶手段を具備し、前記情
報には、前記誤差情報を含むことを特徴とする前記
(1)の撮像装置。
【0147】従って、毎回同量生じる機械的な誤差を記
憶手段を使って記憶しておくことにより、貼合わせ処理
の高速と高い確度が実現できる。 (5) 前記撮像装置は、前記誤差情報記憶手段におけ
る誤差情報を使用形態に応じて変更する学習手段を有す
る前記(4)の撮像装置。
憶手段を使って記憶しておくことにより、貼合わせ処理
の高速と高い確度が実現できる。 (5) 前記撮像装置は、前記誤差情報記憶手段におけ
る誤差情報を使用形態に応じて変更する学習手段を有す
る前記(4)の撮像装置。
【0148】従って、機械的誤差やユーザのくせ等を学
習し、それを利用して貼合わせ処理の高速と高い確度を
実現する。 (6) 前記画像貼合わせ手段は、被貼合わせ画像のオ
ーバーラップする領域内に設けられた前記基準ブロック
に合致する対応ブロックを探索するために、前記予測情
報に基づいて、貼り合わせ画像重複領域内に所定の大き
さのサーチエリアを設定する手段を、さらに具備するこ
とを特徴とする(1)乃至(5)の撮像装置。
習し、それを利用して貼合わせ処理の高速と高い確度を
実現する。 (6) 前記画像貼合わせ手段は、被貼合わせ画像のオ
ーバーラップする領域内に設けられた前記基準ブロック
に合致する対応ブロックを探索するために、前記予測情
報に基づいて、貼り合わせ画像重複領域内に所定の大き
さのサーチエリアを設定する手段を、さらに具備するこ
とを特徴とする(1)乃至(5)の撮像装置。
【0149】従って、予測情報を利用し、対応ブロック
の確実にある小範囲のサーチ・エリアを探すことによ
り、高速を実現する。 (7) 前記貼合わせ手段は、前記被貼合わせ画像のオ
ーバーラップする領域内に設けられる前記基準ブロック
が存在しないとき、前記予測情報に基づいて画像の貼合
わせを行う手段を、さらに具備する前記(1)乃至
(6)の撮像装置。
の確実にある小範囲のサーチ・エリアを探すことによ
り、高速を実現する。 (7) 前記貼合わせ手段は、前記被貼合わせ画像のオ
ーバーラップする領域内に設けられる前記基準ブロック
が存在しないとき、前記予測情報に基づいて画像の貼合
わせを行う手段を、さらに具備する前記(1)乃至
(6)の撮像装置。
【0150】従って、オーバーラップする領域に画像が
ない場合でも、貼合わせることができる。 (8) 前記撮像装置は、少なくとも1つの前記部分画
像に対応する画像データと前記オーバーラップする領域
に対応する画像データを記憶可能な容量を有する部分画
像記憶手段を、さらに具備する前記(1)乃至(7)の
撮像装置。
ない場合でも、貼合わせることができる。 (8) 前記撮像装置は、少なくとも1つの前記部分画
像に対応する画像データと前記オーバーラップする領域
に対応する画像データを記憶可能な容量を有する部分画
像記憶手段を、さらに具備する前記(1)乃至(7)の
撮像装置。
【0151】従って、メモリ容量が少なくて済み、装置
の小型化、低コスト化ができる。 (9) 前記撮像装置は、前記撮像対象領域に対応する
画像データ全てを記憶可能な容量を有する全画像記憶手
段を、さらに具備する前記(1)乃至(7)の撮像装
置。
の小型化、低コスト化ができる。 (9) 前記撮像装置は、前記撮像対象領域に対応する
画像データ全てを記憶可能な容量を有する全画像記憶手
段を、さらに具備する前記(1)乃至(7)の撮像装
置。
【0152】従って、部分画像の貼合わせの順番を自由
にすることができる。また、時間的に後に取り込んだ部
分画像の貼合わせ結果も予測情報として利用できる。 (10) 前記撮像装置は、前記撮像対象領域に対応す
る画像データ全てを記憶可能な容量を有する全画像記憶
手段を有し、前記貼合わせ手段は、複数回の貼合わせ処
理を行なうことにより、高精細画像を生成する手段を含
み、さらに、被貼合わせ画像のオーバーラップする領域
内に前記基準ブロックが存在しない時には、当該貼合わ
せ処理とは別の貼合わせ処理の貼合わせ位置を予測情報
として用いる手段を含む前記(1)の撮像装置。
にすることができる。また、時間的に後に取り込んだ部
分画像の貼合わせ結果も予測情報として利用できる。 (10) 前記撮像装置は、前記撮像対象領域に対応す
る画像データ全てを記憶可能な容量を有する全画像記憶
手段を有し、前記貼合わせ手段は、複数回の貼合わせ処
理を行なうことにより、高精細画像を生成する手段を含
み、さらに、被貼合わせ画像のオーバーラップする領域
内に前記基準ブロックが存在しない時には、当該貼合わ
せ処理とは別の貼合わせ処理の貼合わせ位置を予測情報
として用いる手段を含む前記(1)の撮像装置。
【0153】従って、重複領域内に画像がない場合でも
貼合わせが可能になる。 (11) 前記貼合わせ処理手段は、前記被貼合わせ画
像のオーバーラップする領域内に設けられるべき前記基
準ブロックが存在せず、且つ、前記予測情報も使用せず
に貼合わせ処理を行う際に、当該貼合わせ画像と被貼合
わせ画像とを所定の位置で貼合わせ処理する手段を含む
(1)乃至(6)の撮像装置。
貼合わせが可能になる。 (11) 前記貼合わせ処理手段は、前記被貼合わせ画
像のオーバーラップする領域内に設けられるべき前記基
準ブロックが存在せず、且つ、前記予測情報も使用せず
に貼合わせ処理を行う際に、当該貼合わせ画像と被貼合
わせ画像とを所定の位置で貼合わせ処理する手段を含む
(1)乃至(6)の撮像装置。
【0154】従って所定位置で貼合わせることにより、
必ず全体画像の出力が行われる。 (12) 少なくとも画面の一端側に他の画面とオーバ
ーラップする領域を持つように撮像対象領域を分割して
撮影し、複数の部分画像を得る撮像手段と、前記部分画
像で被貼合わせ画像側のオーバーラップする領域内に任
意の基準点を含む基準ブロックを設定し、貼合わせ画像
側のオーバーラップする領域内で前記基準ブロックと合
致する対応ブロック、若しくは基準点と合致する対応点
を探索し、基準ブロックと対応ブロック、若しくは基準
点と対応点を合致させて、部分画像を貼合わせ処理する
画像貼合わせ手段と、前記画像貼合わせ手段により、貼
合わせを行うことが不可能または不適当な場合で、且
つ、前記予測情報も使用せずに貼合わせ処理を行う際
に、当該貼合わせ画像と被貼合わせ画像とを所定の位置
で貼合わせ処理する手段と、を具備することを特徴とす
る撮像装置。
必ず全体画像の出力が行われる。 (12) 少なくとも画面の一端側に他の画面とオーバ
ーラップする領域を持つように撮像対象領域を分割して
撮影し、複数の部分画像を得る撮像手段と、前記部分画
像で被貼合わせ画像側のオーバーラップする領域内に任
意の基準点を含む基準ブロックを設定し、貼合わせ画像
側のオーバーラップする領域内で前記基準ブロックと合
致する対応ブロック、若しくは基準点と合致する対応点
を探索し、基準ブロックと対応ブロック、若しくは基準
点と対応点を合致させて、部分画像を貼合わせ処理する
画像貼合わせ手段と、前記画像貼合わせ手段により、貼
合わせを行うことが不可能または不適当な場合で、且
つ、前記予測情報も使用せずに貼合わせ処理を行う際
に、当該貼合わせ画像と被貼合わせ画像とを所定の位置
で貼合わせ処理する手段と、を具備することを特徴とす
る撮像装置。
【0155】従って、画像貼合わせ手段の貼合わせが不
可能な場合、あるいは使用が不適当な場合にも、適当な
全体画像出力が得られる。 (13) 前記全画像記憶手段は、当該撮像装置に対し
て着脱可能に挿着された記憶媒体であることを特徴とす
る(9)乃至(10)の撮像装置。
可能な場合、あるいは使用が不適当な場合にも、適当な
全体画像出力が得られる。 (13) 前記全画像記憶手段は、当該撮像装置に対し
て着脱可能に挿着された記憶媒体であることを特徴とす
る(9)乃至(10)の撮像装置。
【0156】従って、画像保存用の主記憶媒体の一部を
利用することにより、撮像装置内にメモリを搭載しなく
ても済む。 (14) 前記撮像装置は、操作手段を更に有し、前記
画像貼合わせ手段は、複数回の貼合わせ処理を行なうこ
とにより高精細画像を生成する手段を含み、前記操作手
段の操作に基いて前記複数回の貼合わせ処理の回数を、
その範囲内で設定可能な前記(1)の撮像装置。
利用することにより、撮像装置内にメモリを搭載しなく
ても済む。 (14) 前記撮像装置は、操作手段を更に有し、前記
画像貼合わせ手段は、複数回の貼合わせ処理を行なうこ
とにより高精細画像を生成する手段を含み、前記操作手
段の操作に基いて前記複数回の貼合わせ処理の回数を、
その範囲内で設定可能な前記(1)の撮像装置。
【0157】従って、ユーザが所望する縦横比や解像度
で被写体が撮影できる。 (15) 前記撮像装置は、前記画像貼合わせ手段とし
て複数回の貼合わせ処理を行なうことによって、高精細
画像を得る手段を含み、前記各部分画像毎の撮像におけ
る各露光間隔を略一定にするための露光間隔制御手段を
更に有する前記(1)の撮像装置。
で被写体が撮影できる。 (15) 前記撮像装置は、前記画像貼合わせ手段とし
て複数回の貼合わせ処理を行なうことによって、高精細
画像を得る手段を含み、前記各部分画像毎の撮像におけ
る各露光間隔を略一定にするための露光間隔制御手段を
更に有する前記(1)の撮像装置。
【0158】従って、手振れ等は、時間的にリニアな成
分と考えることができる。その場合、露光間隔が一定で
あれば予測が容易となる。 (16) 前記露光間隔は、前記各部分画像毎の撮像に
よる撮像信号の各信号処理期間のうちの最長期間に基づ
いて設定されることを特徴とする前記(1)の撮像装
置。
分と考えることができる。その場合、露光間隔が一定で
あれば予測が容易となる。 (16) 前記露光間隔は、前記各部分画像毎の撮像に
よる撮像信号の各信号処理期間のうちの最長期間に基づ
いて設定されることを特徴とする前記(1)の撮像装
置。
【0159】従って、露光間隔を最長時間に基づいて設
定すれば確実に信号処理期間が設定ができる。 (17) 前記撮像装置は、前記各部分画像毎の撮像に
係る露出レベルを一定にするための露出レベル制御手段
を有する前記(1)の撮像装置。
定すれば確実に信号処理期間が設定ができる。 (17) 前記撮像装置は、前記各部分画像毎の撮像に
係る露出レベルを一定にするための露出レベル制御手段
を有する前記(1)の撮像装置。
【0160】従って、露光レベルを同じにして良好な貼
合わせ画像を得ることができる。 (18) 前記撮像装置は、前記各部分画像毎の撮像に
係る露光時間を一定にするための露光制御手段を有する
前記(1)の撮像装置。
合わせ画像を得ることができる。 (18) 前記撮像装置は、前記各部分画像毎の撮像に
係る露光時間を一定にするための露光制御手段を有する
前記(1)の撮像装置。
【0161】従って、露光間隔や露光レベルの制御が容
易に行なえる。 (19) 前記撮像装置は、前記各部分画像毎の撮像に
係る絞り値を一定にするための露出制御手段を有する前
記(1)の撮像装置。
易に行なえる。 (19) 前記撮像装置は、前記各部分画像毎の撮像に
係る絞り値を一定にするための露出制御手段を有する前
記(1)の撮像装置。
【0162】従って、露光レベルを同じにして良好な貼
合わせ画像を得ることができる。 (20) 前記撮像装置は、前記部分画像の撮像に係る
露光開始タイミングを、当該撮像の直前に行なわれた別
の部分画像の撮像による撮像信号の処理終了タイミング
に基づいて、設定する露光開始タイミング設定手段を有
する前記(1)の撮像装置。従って、露光開始タイミン
グをできるだけ早くし、全撮影時間を短かくすることが
できる。
合わせ画像を得ることができる。 (20) 前記撮像装置は、前記部分画像の撮像に係る
露光開始タイミングを、当該撮像の直前に行なわれた別
の部分画像の撮像による撮像信号の処理終了タイミング
に基づいて、設定する露光開始タイミング設定手段を有
する前記(1)の撮像装置。従って、露光開始タイミン
グをできるだけ早くし、全撮影時間を短かくすることが
できる。
【0163】
【発明の効果】以上詳述したように本発明によれば、画
像を分割して撮影し、部分画像から全体画像への復元時
に貼合わせ処理の時間短縮,精度向上を実現し、高画質
に画像を撮像する撮像装置を提供することができる。
像を分割して撮影し、部分画像から全体画像への復元時
に貼合わせ処理の時間短縮,精度向上を実現し、高画質
に画像を撮像する撮像装置を提供することができる。
【図1】本発明による第1実施例としての撮像装置の概
略的な構成を示す図である。
略的な構成を示す図である。
【図2】第1実施例におけるメモリが記憶する部分画像
に分割される被写体像を示す図である。
に分割される被写体像を示す図である。
【図3】本発明による第2実施例としての撮像装置の構
成例を示す図である。
成例を示す図である。
【図4】第2実施例におけるメモリが記憶する部分画像
に分割される被写体像を示す図である。
に分割される被写体像を示す図である。
【図5】貼合わせ処理について説明するための図であ
る。
る。
【図6】部分画像の貼合わせ処理により復元される1の
被写体像を示す図である。
被写体像を示す図である。
【図7】通常の探索を行うサーチエリアを示す図であ
る。
る。
【図8】本実施例による予測情報による位置により探索
を行う例を示す図である。
を行う例を示す図である。
【図9】本実施例の予測位置を利用した貼り合わせ処理
について説明するためのフローチャートである。
について説明するためのフローチャートである。
【図10】本実施例の貼り合わせ処理における移動量,
回転量の算出について説明するためのフローチャートで
ある。
回転量の算出について説明するためのフローチャートで
ある。
【図11】本実施例による探索を行うサーチエリアを示
す図である。
す図である。
【図12】基準ブロックや相関を導くためのブロックの
位置(座標)に示す図である。
位置(座標)に示す図である。
【図13】本実施例による探索処理について説明するた
めのフローチャートである。
めのフローチャートである。
【図14】本実施例による移動量,回転量について説明
するためのフローチャートである。
するためのフローチャートである。
【図15】本実施例による予測位置で貼り合わせる手法
を説明するためのフローチャートである。
を説明するためのフローチャートである。
【図16】撮影する全部分画像を記憶できる容量がある
例について説明するためのフローチャートである。
例について説明するためのフローチャートである。
【図17】図16において、移動量,回転量が算出でき
ない場合について説明するためのフローチャートであ
る。
ない場合について説明するためのフローチャートであ
る。
【図18】図17において、移動量,回転量の算出につ
いて説明するためのフローチャートである。
いて説明するためのフローチャートである。
【図19】図18において、移動量,回転量の算出につ
いて説明するためのフローチャートである。
いて説明するためのフローチャートである。
【図20】ミラーの回動により順次、取り込まれる画像
を示す図である。
を示す図である。
【図21】露光タイミングを説明するためのタイムチャ
ートである。
ートである。
【図22】第5実施例を説明するためのタイムチャート
である。
である。
1…被写体像(被写体)、2…ミラー、3…ミラー駆動
部、4…撮像素子、5…撮影レンズ、6…絞り、7…撮
像系制御部、8…撮像回路、9…撮像素子駆動部、10
…A/D変換部、11…メモリ、12…メモリ駆動部、
13…パターンマッチング部、14…メモリカード、1
5…カード駆動部、16…プリンタ、17…プリンタ駆
動部、18…システム制御部、19…同期信号発生部、
20…EEPROM、21…手振れセンサ、22…表示
部、23…入力スイッチ、24…シーケンス処理部、2
5…貼合わせ処理部。
部、4…撮像素子、5…撮影レンズ、6…絞り、7…撮
像系制御部、8…撮像回路、9…撮像素子駆動部、10
…A/D変換部、11…メモリ、12…メモリ駆動部、
13…パターンマッチング部、14…メモリカード、1
5…カード駆動部、16…プリンタ、17…プリンタ駆
動部、18…システム制御部、19…同期信号発生部、
20…EEPROM、21…手振れセンサ、22…表示
部、23…入力スイッチ、24…シーケンス処理部、2
5…貼合わせ処理部。
───────────────────────────────────────────────────── フロントページの続き (72)発明者 寺根 明夫 東京都渋谷区幡ヶ谷2丁目43番2号 オリ ンパス光学工業株式会社内 (72)発明者 小林 一也 東京都渋谷区幡ヶ谷2丁目43番2号 オリ ンパス光学工業株式会社内
Claims (20)
- 【請求項1】 少なくとも画面の一端側に他の画面とオ
ーバーラップする領域を持つように撮像対象領域を分割
して撮影し、複数の部分画像を得る撮像手段と、 前記部分画像で被貼合わせ画像側のオーバーラップする
領域内に任意の基準点を含む基準ブロックを設定し、貼
合わせ画像側のオーバーラップする領域内で前記基準ブ
ロックと合致する対応ブロック、若しくは基準点と合致
する対応点を探索し、基準ブロックと対応ブロック、若
しくは基準点と対応点を合致させて、部分画像を貼合わ
せ処理する画像貼合わせ手段と、 前記画像貼合わせ手段により、少なくとも前回以前に貼
合わせた時に合致した前記基準ブロック若しくは基準点
及び、対応ブロック若しくは対応点の各位置に基づく情
報を予測情報として保持し、次回の部分画像の貼合わせ
の際に、前記予測情報により貼合わせ位置を予測し、貼
合わせ位置を前記画像貼合わせ手段に指示する貼合わせ
制御手段と、を具備することを特徴とする撮像装置。 - 【請求項2】 前記画像貼合わせ手段は、1画像を形成
するための全部分画像を貼り合わせた後、1画像として
生成する手段を含むことを特徴とする請求項1記載の撮
像装置。 - 【請求項3】 前記撮像装置は、さらに部分画像の撮像
時の手振れ量を検出する手振れ検出手段を具備し、 前記情報に前記手振れ量に基づく手振れ情報を含むこと
を特徴とする請求項1記載の撮像装置。 - 【請求項4】 前記撮像装置は、撮像装置を構成する部
材が有する固有の機械的及び/又は電気的誤差に基づく
誤差情報を記憶するための誤差情報記憶手段を具備し、 前記情報には、前記誤差情報を含むことを特徴とする請
求項1記載の撮像装置。 - 【請求項5】 前記撮像装置は、前記誤差情報記憶手段
における誤差情報を使用形態に応じて変更する学習手段
を有する請求項4記載の撮像装置。 - 【請求項6】 前記画像貼合わせ手段は、 被貼合わせ画像のオーバーラップする領域内に設けられ
た前記基準ブロックに合致する対応ブロックを探索する
ために、前記予測情報に基づいて、被貼り合わせ画像重
複領域内に所定の大きさのサーチエリアを設定する手段
を、さらに具備することを特徴とする請求項1乃至請求
項5記載の撮像装置。 - 【請求項7】 前記貼合わせ手段は、前記被貼合わせ画
像のオーバーラップする領域内に設けられる前記基準ブ
ロックが存在しないとき、前記予測情報に基づいて画像
の貼合わせを行う手段を、さらに具備する請求項1乃至
請求項6記載の撮像装置。 - 【請求項8】 前記撮像装置は、少なくとも1つの前記
部分画像に対応する画像データと前記オーバーラップす
る領域に対応する画像データを記憶可能な容量を有する
部分画像記憶手段を、さらに具備する請求項1乃至請求
項7記載の撮像装置。 - 【請求項9】 前記撮像装置は、前記撮像対象領域に対
応する画像データ全てを記憶可能な容量を有する全画像
記憶手段を、さらに具備する請求項1乃至請求項7記載
の撮像装置。 - 【請求項10】 前記撮像装置は、前記撮像対象領域に
対応する画像データ全てを記憶可能な容量を有する全画
像記憶手段を有し、 前記貼合わせ手段は、複数回の貼合わせ処理を行なうこ
とにより、高精細画像を生成する手段を含み、 さらに、被貼合わせ画像のオーバーラップする領域内に
前記基準ブロックが存在しない時には、当該貼合わせ処
理とは別の貼合わせ処理の貼合わせ位置を予測情報とし
て用いる手段を含む請求項1記載の撮像装置。 - 【請求項11】 前記貼合わせ処理手段は、 前記被貼合わせ画像のオーバーラップする領域内に設け
られるべき前記基準ブロックが存在せず、且つ、前記予
測情報も使用せずに貼合わせ処理を行う際に、当該貼合
わせ画像と被貼合わせ画像とを所定の位置で貼合わせ処
理する手段を含む請求項1乃至請求項6記載の撮像装
置。 - 【請求項12】 少なくとも画面の一端側に他の画面と
オーバーラップする領域を持つように撮像対象領域を分
割して撮影し、複数の部分画像を得る撮像手段と、 前記部分画像で被貼合わせ画像側のオーバーラップする
領域内に任意の基準点を含む基準ブロックを設定し、貼
合わせ画像側のオーバーラップする領域内で前記基準ブ
ロックと合致する対応ブロック、若しくは基準点と合致
する対応点を探索し、基準ブロックと対応ブロック、若
しくは基準点と対応点を合致させて、部分画像を貼合わ
せ処理する画像貼合わせ手段を有し、 前記画像貼合わせ手段により、貼合わせを行うことが不
可能または不適当な場合で、且つ、前記予測情報も使用
せずに貼合わせ処理を行う際に、当該貼合わせ画像と被
貼合わせ画像とを所定の位置で貼合わせ処理する手段を
含むことを特徴とする撮像装置。 - 【請求項13】前記全画像記憶手段は、当該撮像装置に
対して着脱可能に挿着された記憶媒体であることを特徴
とする請求項9乃至請求項10記載の撮像装置。 - 【請求項14】 前記撮像装置は、操作手段を更に有
し、 前記画像貼合わせ手段は、複数回の貼合わせ処理を行な
うことにより高精細画像を生成する手段を含み、 前記操作手段の操作に基いて前記複数回の貼合わせ処理
の回数を、その範囲内で設定可能なことを特徴とする請
求項1記載の撮像装置。 - 【請求項15】 前記撮像装置は、前記画像貼合わせ手
段として複数回の貼合わせ処理を行なうことによって、
高精細画像を得る手段を含み、 前記各部分画像毎の撮像における各露光間隔を略一定に
するための露光間隔制御手段を更に有する請求項1記載
の撮像装置。 - 【請求項16】 前記部分画像毎の撮像における露光間
隔は、前記各部分画像毎の撮像による撮像信号の各信号
処理期間のうちの最長期間に基づいて設定されることを
特徴とする請求項1記載の撮像装置。 - 【請求項17】 前記撮像装置は、前記各部分画像毎の
撮像に係る露出レベルを一定にするための露出レベル制
御手段を有する請求項1記載の撮像装置。 - 【請求項18】 前記撮像装置は、前記各部分画像毎の
撮像に係る露光時間を一定にするための露光制御手段を
有する請求項1記載の撮像装置。 - 【請求項19】 前記撮像装置は、前記各部分画像毎の
撮像に係る絞り値を一定にするための露出制御手段を有
する請求項1記載の撮像装置。 - 【請求項20】 前記撮像装置は、前記部分画像の撮像
に係る露光開始タイミングを、当該撮像の直前に行なわ
れた別の部分画像の撮像による撮像信号の処理終了タイ
ミングに基づいて、設定する露光開始タイミング設定手
段を有する請求項1記載の撮像装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP6321887A JPH08181903A (ja) | 1994-12-26 | 1994-12-26 | 撮像装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP6321887A JPH08181903A (ja) | 1994-12-26 | 1994-12-26 | 撮像装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JPH08181903A true JPH08181903A (ja) | 1996-07-12 |
Family
ID=18137517
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP6321887A Withdrawn JPH08181903A (ja) | 1994-12-26 | 1994-12-26 | 撮像装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JPH08181903A (ja) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6633664B1 (en) | 1999-05-11 | 2003-10-14 | Nippon Telegraph And Telephone Corporation | Three-dimensional structure acquisition method, apparatus and computer readable medium |
JP2010130408A (ja) * | 2008-11-28 | 2010-06-10 | Keyence Corp | 撮像装置 |
JP2010141699A (ja) * | 2008-12-12 | 2010-06-24 | Keyence Corp | 撮像装置 |
JP2010141697A (ja) * | 2008-12-12 | 2010-06-24 | Keyence Corp | 撮像装置 |
JP2011010300A (ja) * | 2009-06-29 | 2011-01-13 | Internatl Business Mach Corp <Ibm> | 集積回路の発光画像を生成するための方法、システム、およびプログラム |
JP2011259503A (ja) * | 2011-09-16 | 2011-12-22 | Keyence Corp | 撮像装置 |
JP2012044680A (ja) * | 2011-09-16 | 2012-03-01 | Keyence Corp | 撮像装置 |
JP2013021706A (ja) * | 2012-09-05 | 2013-01-31 | Keyence Corp | 撮像装置 |
JP2013254236A (ja) * | 2012-06-05 | 2013-12-19 | Sony Corp | 情報処理装置、情報処理方法、プログラム及び顕微鏡システム |
CN112730243A (zh) * | 2020-12-24 | 2021-04-30 | 神华铁路装备有限责任公司 | 承载鞍检测方法及装置 |
-
1994
- 1994-12-26 JP JP6321887A patent/JPH08181903A/ja not_active Withdrawn
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6633664B1 (en) | 1999-05-11 | 2003-10-14 | Nippon Telegraph And Telephone Corporation | Three-dimensional structure acquisition method, apparatus and computer readable medium |
JP2010130408A (ja) * | 2008-11-28 | 2010-06-10 | Keyence Corp | 撮像装置 |
JP2010141699A (ja) * | 2008-12-12 | 2010-06-24 | Keyence Corp | 撮像装置 |
JP2010141697A (ja) * | 2008-12-12 | 2010-06-24 | Keyence Corp | 撮像装置 |
US8451335B2 (en) | 2008-12-12 | 2013-05-28 | Keyence Corporation | Imaging device |
JP2011010300A (ja) * | 2009-06-29 | 2011-01-13 | Internatl Business Mach Corp <Ibm> | 集積回路の発光画像を生成するための方法、システム、およびプログラム |
JP2011259503A (ja) * | 2011-09-16 | 2011-12-22 | Keyence Corp | 撮像装置 |
JP2012044680A (ja) * | 2011-09-16 | 2012-03-01 | Keyence Corp | 撮像装置 |
JP2013254236A (ja) * | 2012-06-05 | 2013-12-19 | Sony Corp | 情報処理装置、情報処理方法、プログラム及び顕微鏡システム |
JP2013021706A (ja) * | 2012-09-05 | 2013-01-31 | Keyence Corp | 撮像装置 |
CN112730243A (zh) * | 2020-12-24 | 2021-04-30 | 神华铁路装备有限责任公司 | 承载鞍检测方法及装置 |
CN112730243B (zh) * | 2020-12-24 | 2023-06-20 | 神华铁路装备有限责任公司 | 承载鞍检测方法及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI399977B (zh) | 攝影裝置及程式 | |
US7783180B2 (en) | Imaging apparatus with a function of compensating for hand shake, method of compensating for hand shake, and computer program product | |
JP5104918B2 (ja) | 撮像装置及び撮像方法 | |
US20080030592A1 (en) | Producing digital image with different resolution portions | |
JP6833746B2 (ja) | 撮像装置、撮像方法、プログラムおよび記録媒体 | |
JP2000050151A (ja) | 撮像装置 | |
JP2008219428A (ja) | 撮像装置 | |
JP2005328497A (ja) | 撮像装置及び撮像方法 | |
JP2002152582A (ja) | 電子カメラ、および画像表示用記録媒体 | |
JP2006162991A (ja) | 立体画像撮影装置 | |
JP2015053741A (ja) | 画像再生装置 | |
US6806905B1 (en) | Digital camera | |
JP3984346B2 (ja) | 撮像装置及び画像合成方法 | |
JP2004153691A (ja) | 撮像装置、撮像方法及びプログラム | |
JP2003209727A (ja) | デジタルカメラ | |
JPH08181903A (ja) | 撮像装置 | |
JP2002027312A (ja) | 撮像装置 | |
JP4977569B2 (ja) | 撮影制御装置、撮影制御方法、撮影制御プログラム、および撮影装置 | |
JPH11196299A (ja) | 撮像装置 | |
JPH11196317A (ja) | 撮像装置 | |
JP2007036843A (ja) | 投影表示機能付き撮像装置及び携帯電子機器 | |
JP2000078467A (ja) | 画像合成方法 | |
JP2002305676A (ja) | 電子カメラ | |
JP5613145B2 (ja) | 撮影装置およびプログラム | |
JP3457993B2 (ja) | 赤目修正装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20020305 |