JP2006254198A

JP2006254198A - 画像合成装置，カメラの手ぶれ補正装置およびカメラ

Info

Publication number: JP2006254198A
Application number: JP2005069436A
Authority: JP
Inventors: Hidehisa Dobashi; 秀久土橋
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2005-03-11
Filing date: 2005-03-11
Publication date: 2006-09-21

Abstract

【課題】本発明は、画像合成装置，カメラの手ぶれ補正装置およびカメラに関し、第１の画像に対して第２の画像が回転している場合にも第１の画像と第２の画像とを迅速に重ね合わせることを目的とする。
【解決手段】ずれ量算出手段と回転量算出手段とを備え、回転量算出手段は、円状の判定エリアまたは対応エリアの中心を含む線分または中心を含む２つの線分で挟まれた領域からなる角度判定エリアの画素情報を抽出する第１の抽出手段と、対応エリアまたは判定エリアの画素情報を対応エリアまたは判定エリアの中心位置を回転軸として角度判定エリアの角度を変えながら各角度判定エリアの位置において順次抽出する第２の抽出手段と、角度判定エリアの画素情報と各角度判定エリアの画素情報とを比較し各角度判定エリアの一つを角度対応エリアと判断する判断手段とを有することを特徴とする。
【選択図】図１２

Description

本発明は、画像合成装置，カメラの手ぶれ補正装置およびカメラに関する。

カメラによる撮影において、手持ちの状態でシャッタを切ると、カメラ本体が動いている間の映像が記録され、記録された画像はいわゆるピンボケのような先鋭感の乏しい画像になることがある。このような状態を手ぶれと呼ぶ。
このような手ぶれを回避または補正する方法として、大きく分けると、ぶれを打ち消す動きを組み込んで補正するものと、ぶれた画像を処理して補正する方法とが知られている。

ぶれを打ち消す機構を備える場合、被写体像がフィルム面や受光素子面上の同一位置に結像するように、レンズや受光面を相対的に移動させる方法が知られている。このような方法では、カメラ本体に加速度センサやレンズまたは受光面を移動させるためのアクチュエータを配置し、検出されたぶれを打ち消すようにカメラ本体側の構成要素を移動させている。

一方、ぶれた画像を処理して補正する場合、適正露光時間を複数に分割し、ぶれが生じない程度の短い露出時間の画像を複数撮影し、それらの画像を合成してぶれのない画像を生成する方法が知られている。
この方法では、ぶれの情報を検出するセンサを備えていないため、複数の画像を位置ずれを補正した上で合成する必要がある。そのため、画像内のある特定エリアを判定の領域とし、ぶれ量や動きベクトル量としてその大きさを求め補正値としている。

図１５は、このような従来技術におけるぶれ量や動きベクトルの判定エリアを示している。ここでは画像Ｇ上に５箇所の判定エリアＥが設けられている。なお、このような判定エリアの例として、例えば、特開平０５−３０４６３１号公報，特開平０６−２１７１８７号公報に開示されるものが知られている。
今ここで、被写体を撮影した時、図１６に示すように、シャッタが開き始めた時には実線で示すような範囲の画像Ｇ１が撮像素子に投影される場合と、同シャッタが開いている間ではあるが異なる時刻では手ぶれにより破線で示すような範囲の画像Ｇ２が投影されるような場合を想定する。なお、画像Ｇ１から画像Ｇ２の間あるいはシャッタが閉じるまでにはさらに別の範囲が投影されるような連続的な移動があるが簡単のため省略している。

図１６は、左右方向、上下方向および回転方向のぶれが生じた状態を示しており、実線で示す画像Ｇ１内の左上、右上、左下、右下の部分は、画像Ｇ２では矢印で示した方向にずれて投影されている。
このように、２つの画像Ｇ１，Ｇ２があり２つの画像Ｇ１，Ｇ２間で被写体の位置がずれているか否かあるいはずれがどの程度の量かを見る場合、ある特定のパターン（絵柄）を両方の画像から見つけ出し、その位置がどのくらいずれているかを検出したり、一方の所定のエリアの画像が、他方のどの位置にあるかを検出する等の方法によっている。

そして、２つの画像Ｇ１，Ｇ２の同一性を判定するのに以下のような２つの方法がある。
第１の方法は、それぞれに等しい大きさのエリアを設定し、同エリア内の相対的に同じ位置の画像データ同士を全エリアについて比較する方法である。例えば、同一位置と想定した画素データの差の絶対値の和を取ると位置が一致している場合は和が最小になる。画像データ値が完全に同じで位置のみが異なる場合、その位置を正確に補正できた場合には差の絶対値の和は０になる。判定のエリアを少しずつ移動させ、同様な処理を行い差の絶対値の和が最小値を示した判定位置の値と移動前の画像の判定の位置との差が画像がずれた値となる。

第２の方法は、それぞれの判定エリアの全体の特性を調べその差が最小となる位置を探す方法である。この方法では、図１７の(ａ)に示すように、移動前の画像の実線のエリアと、移動後の画像の点線のエリアの特性、例えば、エリア内の画像データの総和、最大値、最小値、平均値、最大一最小値差、最大一最小値比あるいはこれ等の組み合わせを求め、その一致度を元に移動量を求める。
特開平０５−３０４６３１号公報特開平０６−２１７１８７号公報

しかしながら、上述した第２の方法では、ぶれによる画像の移動に回転要素が加わると回転要素の補正に処理時間が多くかかり、結果として手ぶれを補正をするのに時間がかかるという問題があった。
すなわち、図１７の(ａ)は、図１５の左上の判定エリアＥに例えば「Ａ」の文字が投影されている場合にその部分を拡大した状態を示している。図１７の(ａ)において、図の右下の移動後の「Ａ」の位置に相当する判定エリアは、移動前の「Ａ」の文字との相対関係を維持した場合に点線のようになっている。当初は、ずれに回転要素があるかないか、あるいはどの程度か不明であるので、回転要素がないものとして判定エリアを想定すると点線のような判定エリアが想定される。しかしながら、図を見ると明らかなように、移動後の画像の「Ａ」と判定エリアの矩形とは位置関係がずれているため移動前の画像と同一の画像と判定されない可能性が高い。

そこで、正確に判定するためには、図１７の(ｂ)のように、判定エリアに回転方向のずれを加えて、移動前の画像の矩形内の位置と移動後の画像の傾いた矩形内の相対的に同じ位置の画素データ同士、あるいは、それぞれの判定エリアの特性を比較する必要がある。
この場合には、回転量が事前には不明なため、回転量を少しずつずらして上記同様の処理を繰り返し、上記同様の判定を経てずれ量を算出しなければならない。例えば、最大補正回転角度を３０度、検出分解能を１度とすると、１度から３０度までの３０回の回転処理を施す必要がある。なお、この説明では判定エリアを回転させたが、移動後の画像を回転させて判定エリアは回転させずに処理する場合も同様である。

本発明は、かかる従来の問題を解決するためになされたもので、第１の画像に対して第２の画像が回転している場合にも第１の画像と第２の画像とを迅速に重ね合わせることができる画像合成装置を提供することを目的とする。また、この画像合成装置を用いたカメラの手ぶれ補正装置およびカメラを提供することを目的とする。

請求項１の画像合成装置は、同一画像領域を有する第１の画像の画素情報と第２の画像の画素情報とを比較し、前記同一画像領域のずれ量および相対回転量を求め、前記ずれ量および前記相対回転量に基づいて前記第１の画像と前記第２の画像の前記同一画像領域を重ね合わせる画像合成装置において、前記第１の画像の判定エリアの位置と前記第２の画像の前記判定エリアに対応する対応エリアの位置とから前記同一画像領域のずれ量を求めるずれ量算出手段と、前記第１の画像の前記判定エリア内の画素情報と前記第２の画像の前記対応エリア内の画素情報とから前記同一画像領域の相対回転量を求める回転量算出手段とを備え、前記判定エリアを円状にし、その中心位置を前記判定エリアの位置とするとともに、前記回転量算出手段は、前記判定エリアまたは前記対応エリアの中心を含む線分または前記中心を含む２つの線分で挟まれた領域からなる角度判定エリアの画素情報を抽出する第１の抽出手段と、前記対応エリアまたは前記判定エリアの画素情報を前記対応エリアまたは前記判定エリアの中心位置を回転軸として前記角度判定エリアの角度を変えながら各角度判定エリアの位置において順次抽出する第２の抽出手段と、前記角度判定エリアの画素情報と前記各角度判定エリアの画素情報とを比較し前記各角度判定エリアの一つを角度対応エリアと判断する判断手段と、前記角度判定エリアの角度と前記角度対応エリアの角度とから前記同一画像領域の相対回転量を求める演算手段とを有することを特徴とする。

請求項２の画像合成装置は、請求項１記載の画像合成装置において、前記角度判定エリアは前記判定エリアの半径であることを特徴とする。
請求項３の画像合成装置は、請求項１または請求項２記載の画像合成装置において、前記角度判定エリアは、前記判定エリアの中心を含む線分からなり、前記判断手段は、前記角度判定エリアと前記各角度判定エリアの中心から同一距離の各画素値の差の絶対値の総和を求め、絶対値の総和が最小となる前記各角度判定エリアの一つを前記角度対応エリアと判断することを特徴とする。

請求項４の画像合成装置は、請求項３記載の画像合成装置において、前記画素の前記中心に対するアドレスを求めるためのテーブルを有していることを特徴とする。
請求項５の画像合成装置は、請求項１ないし請求項４のいずれか１項記載の画像合成装置において、前記角度判定エリアを、そのエリアのヒストグラムの分散に基づいて決定することを特徴とする。

請求項６の画像合成装置は、請求項１記載の画像合成装置において、前記判断手段は、前記角度判定エリアの画素情報と前記各角度判定エリアの画素情報とを対応するアドレスの画素毎に比較することを特徴とする。
請求項７のカメラの手ぶれ補正装置は、適正露光時間を分割し少なくとも第１の画像と第２の画像とを撮像素子により撮像し、撮影後に前記第１の画像と前記第２の画像とを画像合成するカメラの手ぶれ補正装置において、請求項１ないし請求項６のいずれか１項記載の画像合成装置を有することを特徴とする。

請求項８のカメラは、請求項７記載のカメラの手ぶれ補正装置を有することを特徴とする。

本発明の画像合成装置では、判定エリアを円状にするとともに、角度判定エリアを判定エリアまたは対応エリアの中心を含む線分または中心を含む２つの線分で挟まれた領域にしたので、処理の高速化を図ることが可能になり第１の画像に対して第２の画像が回転している場合にも第１の画像と第２の画像とを迅速に重ね合わせることができる。また、本発明のカメラの手ぶれ補正装置およびカメラでは、手ぶれ補正を迅速に行うことができる。

以下、本発明の一実施形態を図面を用いて詳細に説明する。この実施形態では、本発明の画像合成装置の一実施形態が手ぶれ補正装置を備えたデジタルカメラに適用される。
図１は、本発明のカメラの一実施形態であるデジタルカメラを示す説明図である。
このデジタルカメラは、撮影レンズ部１１と、この撮影レンズ部１１が取り付けられる本体部１３とを有している。

撮影レンズ部１１は、被写体からの光束を結像させる撮影レンズ１５と、絞り１７とを有している。
本体部１３の撮影レンズ１５側には、図に点線で示す閉状態と実線で示す開状態とに回動可能なミラー１９が配置されている。
本体部１３の撮影レンズ１５と反対側には、撮影レンズ１５を透過した光束を受光可能な撮像素子であるＣＣＤ２１が配置されている。このＣＣＤ２１により、被写体が撮像される。ＣＣＤ２１の前面には、シャッター２３が配置されている。

本体部１３内の上部には、ミラー１９が点線で示す閉状態にある時に、ミラー１９を介し撮影レンズ１５の結像位置に配置されるピントグラス２５が配置されている。また、ピントグラス２５を透過した光束の光路を変更するペンタプリズム２７と、このペンタプリズム２７からの光束を観察するためのファインダー２９が配置されている。
上述したデジタルカメラでは、ファインダー２９で被写体を観察する時には、撮影レンズ１５を透過した光束は、点線で示す閉状態のミラー１９で反射され、ピントグラス２５、ペンタプリズム２７を透過して、ファインダー２９に導かれる。

また、撮影時に不図示のレリーズ釦が押されると、ミラー１９が実線で示す開状態に回転され、絞り１７が絞り込まれ、シャッター２３が開かれる。そして、撮影レンズ１５を透過した被写体からの光がＣＣＤ２１に結像され撮像が行われる。
図２は、上述したデジタルカメラが有する手ぶれ補正装置の一実施形態を示すブロック図である。この手ぶれ補正装置は、適正露光時間を分割し少なくとも第１の画像Ｇ１と第２の画像Ｇ２とを撮像部３１のＣＣＤ２１に撮像し、撮影後に第１の画像Ｇ１と第２の画像Ｇ２とを画像合成する。この実施形態では、説明の簡略化のために適正露光時間を２分割した例について説明する。

この手ぶれ補正装置は、適正露光時間の最初に撮像部３１のＣＣＤ２１に撮像された第１の画像Ｇ１を記憶する第１の画像メモリ３３と、次に撮像部３１のＣＣＤ２１に撮像された第２の画像Ｇ２を記憶する第２の画像メモリ３５とを有している。また、第１の画像メモリ３３および第２の画像メモリ３５のアドレスを生成する第１のアドレス発生器３７および第２のアドレス発生器３９を有している。

また、後述する判定エリアおよび角度判定エリアのアドレス計算を参照により簡略化するためのテーブル用ＲＡＭ４１，４２を有している。そして、手ぶれ補正装置の全体を制御するＣＰＵ４３およびＣＰＵ４３のプログラム実行用のメモリ４５を有している。
図３および図４は、上述した手ぶれ補正装置の動作を示すフローチャートである。
先ず、ステップＳ１では、適正露光時間の最初に撮像部３１のＣＣＤ２１に撮像された第１の画像Ｇ１を第１の画像メモリ３３に取り込み、次に撮像部３１のＣＣＤ２１に撮像された第２の画像Ｇ２を第２の画像メモリ３５に取り込む。

図５の実線は第１の画像メモリ３３に取り込まれた第１の画像Ｇ１(便宜上画枠のみを示す)を示しており、点線は第２の画像メモリ３５に取り込まれた第２の画像Ｇ２(便宜上画枠のみを示す)を示している。第２の画像Ｇ２は、手ぶれのために、第１の画像Ｇ１に対して上下左右方向および回転方向にずれて撮像されている。
次に、ステップＳ２では、第１の画像Ｇ１から、第１の画像Ｇ１と第２の画像Ｇ２との同一画像位置を判定するための判定エリアの画素情報が切り出される。この実施形態では、図５に示したように、判定エリアとして第１の画像Ｇ１の中心に判定エリアＥが設けられている。そして、判定エリアＥの画素情報が切り出される。

この実施形態では、判定エリアＥは円形状とされている。そして、図６に示すように、例えば画像の左上角の位置を２次元座標の(０，０)とすると、判定エリアＥの中心の座標が（ｘ，ｙ）とされ、半径ｒの円内が判定エリアＥとされている。
このように判定エリアＥを円形状とするのは以下のような理由による。
すなわち、図７は、図８のように被写体像が上下左右方向および回転方向にずれた場合の「Ａ」の文字が写っている部分を示している。図７(ａ)では、左上の移動前の画像と、右下の移動後の画像について、判定を施す判定エリアＥが円形であるため、判定エリアＥを点線のように傾けた図７(ｂ)と比較しても明らかなように、判定エリアＥ内の被写体像と判定エリアＥとの位置関係が保たれている。従って、判定エリアＥ内全体の特性を評価する場合、画像の回転方向についての考慮が不要になる。

次に、ステップＳ３では、第１の画像Ｇ１の判定エリアＥ内における画素情報のヒストグラムを求める。図９は判定エリアＥで求められた画素情報のヒストグラムを示している。横軸には、判定エリアＥ内における各画素の明るさの階調がとられ、縦軸には、各階調に対応する度数がとられている。
ここで、判定エリアＥ内の各画素のアドレスは、図６に示したように、円形の判定エリアＥの中心を（ｘ，ｙ）とし、中心からｘ方向（左右方向）の距離をΔｘ、ｙ方向（上下方向）の距離をΔｙとし、円の半径をｒとすると、
（Δｘ）²＋（Δｙ）²＜ｒ²
の関係を満たしている。従って、この式を満たす範囲のΔｘ、Δｙのすべての組み合わせについて評価してヒストグラムを作成すればよい。なお、上記式における不等号は、≦であってもよい。また、全てのアドレスの画素に限定する必要もなく、例えば２の倍数のアドレスのみや、４の倍数のアドレスのみについて評価してもよい。

この実施形態では、上記アドレスを求める際、あるΔｘに対するΔｙの値の最大値については、図１１のように事前に計算で求めた結果が専用のテーブルとしてテーブル用ＲＡＭ４１に記憶されている。すなわち、図６に示したように、あるΔＸ＝ｎの値に対しては、Δｙ＝１から、テーブル値の範囲のΔｙ＝(ｒ²−ｎ²)^1/2までの値を使用すればよい。このようにテーブルを参照することにより計算量を減らすことが可能である。

次に、ステップＳ４では、第２の画像Ｇ２の判定エリアＥの中心位置を初期化する。
次に、ステップＳ５では、第２の画像Ｇ２から判定エリアＥの画素情報を切り出す。
次に、ステップＳ６では、第２の画像Ｇ２の判定エリアＥ内における画素情報のヒストグラムをステップＳ３と同様にして求める。図１０の実線は第２の画像Ｇ２の判定エリアＥで求められたヒストグラムを示している。

次に、ステップＳ７では、第１の画像Ｇ１の判定エリアＥのヒストグラムと第２の画像Ｇ２の判定エリアＥのヒストグラムの統計的な特徴を比較し比較値を生成する。この実施形態では、判定エリアＥ内の画素情報値のヒストグラムの各度数の差の絶対値の総和を求めることにより判定エリアＥの比較値を求める。すなわち、図１０に示したように、図９に示したヒストグラムの各度数(破線で示す)と図１０に示したヒストグラムの各度数(実線で示す)とが比較され各度数の差の絶対値の総和が比較値Ｈとして求められる。従って、比較値Ｈの値が小さい程、判定エリアＥの画素情報が類似していることになる。

次に、ステップＳ８では、新たに求められたヒストグラムの比較値Ｈと前に保持されているヒストグラムの比較値Ｈを比較する。
そして、新たに求められたヒストグラムの比較値Ｈが前に保持されているヒストグラムの比較値Ｈより小さい時には、ステップＳ９において、前回のヒストグラムの比較値Ｈを新たに求められたヒストグラムの比較値Ｈに書き換えて保持し、また、その時の判定エリアＥの中心位置を保持する。

次に、ステップＳ１０では、第２の画像Ｇ２の判定エリアＥの中心位置が手ぶれを想定して予め定められた範囲内にあるか否かを判断する。
予め定められた範囲内にある時には、ステップＳ１１において、第２の画像Ｇ２の判定エリアＥの中心位置を１画素分更新する。このようにして判定エリアＥの中心位置を１画素ずつずらし、ヒストグラムの比較値Ｈを予め定められた範囲内において全て求める。

そして、図４に示すステップＳ１２において、求め終わった時にステップＳ９において保持されている中心位置を有する判定エリアＥを、第２の画像Ｇ２における第１の画像Ｇ１の判定エリアＥに重なる判定エリア(以下対応エリアＴという)とする。
次に、ステップＳ１３において、第１の画像Ｇ１の判定エリアＥの中心位置と第２の画像Ｇ２の対応エリアＴの中心位置とのｘ方向(水平方向)およびｙ方向(上下方向)のずれ量を求める。

そして、次に、ステップＳ１４からステップＳ２１において、第１の画像Ｇ１の判定エリアＥと第２の画像Ｇ２の対応エリアＴの相対回転量を求める。
ステップＳ１４では、図１２に示すように、第１の画像Ｇ１の判定エリアＥから、第１の画像Ｇ１の判定エリアＥと第２の画像Ｇ２の対応エリアＴとの相対回転量を判定するための角度判定エリアＫの画素情報が切り出される。この実施形態では、角度判定エリアＫとして中心Ｏ１から図１２の右方向に水平に延びる半径が選択される。

次に、ステップＳ１５では、第２の画像Ｇ２の角度判定エリアＫの角度を初期化する。すなわち、この実施形態では、図１２に示したように、対応エリアＴの画素情報が対応エリアＴの中心Ｏ２を回転軸として角度判定エリアＫの角度を変えながら＋θＭから−θＭの範囲内で切り出される。そして、角度が＋θＭの値に初期化され、例えば１度毎に角度判定エリアＫの角度を変えながら最終的に−θＭの値になるまで切り出しが行われる。

次に、ステップＳ１６では、第２の画像Ｇ２の対応エリアＴから角度判定エリアＫの画素情報を切り出す。この実施形態では上述したように先ず角度＋θＭにおける角度判定エリアＫの画素情報を切り出す。
次に、ステップＳ１７では、第１の画像Ｇ１の角度判定エリアＫの画素情報と第２の画像Ｇ２の角度判定エリアＫの画素情報を比較し比較値ｈを生成する。この実施形態では、第１の画像Ｇ１の角度判定エリアＫの画素と第２の画像Ｇ２の角度判定エリアＫの画素とが、中心から同一距離に位置する画素毎に比較され画素値の差の絶対値が求められる。そして、その総和を求めることにより角度判定エリアＫの比較値ｈを求める。従って、比較値ｈの値が小さい程、角度判定エリアＫの画素情報が類似していることになる。なお、角度判定エリアＫ内の全ての画素を比較する必要はなく、中心から同一距離に位置する画素を所定間隔毎に比較してもよい。

ここで、図１３に示すように、対応エリアＴ内の角度判定エリアＫの各画素ｇ(模式的に１つのみを示す)のアドレスは、円形の対応エリアＴの中心を（ｘ０，ｙ０）とし、中心からの距離をｒｎ、ｘ軸に対する角度をθｎとすると、
ｘ＝ｘ０＋ｒｎ・cosθｎ
ｙ＝ｙ０＋ｒｎ・sinθｎ
の関係を満たしている。

この実施形態では、上記アドレスを求める際、角度θｎに対するcosθｎおよびsinθｎの値が、図１４に示すように専用のテーブルとしてテーブル用ＲＡＭ４２に記憶されている。すなわち、ある角度θｎ対しては、cosθｎおよびsinθｎの値を使用すればよい。このようにテーブルを参照することにより計算量を減らすことが可能である。
次に、ステップＳ１８では、新たに求められた角度判定エリアＫの比較値ｈと前に保持されている角度判定エリアＫの比較値ｈを比較する。

そして、新たに求められた角度判定エリアＫの比較値ｈが前に保持されている角度判定エリアＫの比較値ｈより小さい時には、ステップＳ１９において、前回の角度判定エリアＫの比較値ｈを新たに求められた角度判定エリアＫの比較値ｈに書き換えて保持し、また、その時の角度判定エリアＫの角度を保持する。
次に、ステップＳ２０では、第２の画像Ｇ２の角度判定エリアＫの角度が手ぶれを想定して予め定められた＋θＭから−θＭの範囲内にあるか否かを判断する。

予め定められた範囲内にある時には、ステップＳ２１において、第２の画像Ｇ２の角度判定エリアＫの角度を所定角度更新する。このようにして角度判定エリアＫの角度を所定角度ずつずらし、角度判定エリアＫの比較値ｈを予め定められた範囲内において全て求める。
次に、ステップＳ２２では、ステップＳ１９で保持されている角度判定エリアＫ(角度対応エリア)の角度を取り込む。

次に、ステップＳ２３では、ステップＳ２２で取り込まれた角度だけ第２の画像Ｇ２を対応エリアＴの中心を軸として回転する。これにより第１の画像Ｇ１と第２の画像Ｇ２との回転補正が行われる。
次に、ステップＳ２４では、第２の画像Ｇ２を上下左右に移動して、第１の画像Ｇ１における判定エリアＥの中心と第２の画像Ｇ２における対応エリアＴの中心とを重ね、第１の画像Ｇ１と第２の画像Ｇ２の同一画像領域を重ね合わせる。これにより一連の手ぶれ補正処理が終了する。なお、第２の画像Ｇ２の移動を先に行い、後に回転補正しても良い。

上述したカメラの手ぶれ補正装置では、判定エリアＥを円状にするとともに、角度判定エリアＫを判定エリアＥの半径にしたので、処理の高速化を図ることが可能になり第１の画像Ｇ１に対して第２の画像Ｇ２が回転している場合にも第１の画像Ｇ１と第２の画像Ｇ２とを迅速に重ね合わせることができる。
(実施形態の補足事項)
以上、本発明を上述した実施形態によって説明してきたが、本発明の技術的範囲は上述した実施形態に限定されるものではなく、例えば、以下のような形態でも良い。

(１)上述した実施形態では、第１の画像Ｇ１の判定エリアＥの角度判定エリアＫの画素情報と第２の画像Ｇ２の対応エリアＴの各角度判定エリアＫの画素情報とを比較した例について説明したが、第２の画像の対応エリアの角度判定エリアの画素情報と第１の画像の判定エリアの各角度判定エリアの画素情報とを比較するようにしても良い。
(２)上述した実施形態では、判定エリアＥの半径を角度判定エリアＫとした例について説明したが、例えば、判定エリアまたは対応エリアの中心を含む線分または中心を含む２つの線分で挟まれた領域を角度判定エリアとしても良い。

(３)上述した実施形態では、判定エリアＥの水平方向の半径を角度判定エリアＫとした例について説明したが、例えば、角度判定エリアを、そのエリアのヒストグラムの分散に基づいて決定するようにしても良い。これにより判定エリアＥと対応エリアＴとの相対回転量をより正確に求めることが可能になる。
(４)上述した実施形態では、本発明の画像合成装置をデジタルカメラの手ぶれ補正装置に適用した例について説明したが、本発明の画像合成装置は、例えば、パノラマ写真の合成、スキャナー画像の合成等に広く適用することができる。

(５)上述した実施形態では、第１の画像メモリ３３と第２の画像メモリ３５をそれぞれ独立したメモリとした例について説明したが、物理的には同一のメモリにしても良い。
(６)上述した実施形態では、テーブル用ＲＡＭ４１，４２を独立したメモリとした例について説明したが、物理的には同一のメモリにしても良い。

本発明のカメラの一実施形態を示す説明図である。本発明の手ぶれ補正装置を示すブロック図である。図２の手ぶれ補正装置の動作の前半部を示すフローチャートである。図２の手ぶれ補正装置の動作の後半部を示すフローチャートである。第１の画像に対する第２の画像のぶれおよび判定エリアを示す説明図である。円形の判定エリアのヒストグラムを求める方法を示す説明図である。円形の判定エリアの特徴を示す説明図である。第１の画像および第２の画像を示す説明図である。第１の画像の判定エリアのヒストグラムを示す説明図である。第２の画像の判定エリアのヒストグラムを示す説明図である。円形の判定エリアのアドレス計算結果のテーブルを示す説明図である。第１の画像と第２の画像との傾き角度を求める角度判定エリアを示す説明図である。角度判定エリアの画素の位置を示す説明図である。角度判定エリアの計算用のテーブルを示す説明図である。従来の判定エリアを示す説明図である。手ぶれによる第１の画像と第２の画像とのずれを示す説明図である。従来の判定エリアの不具合点を示す説明図である。

符号の説明

２１ＣＣＤ
３１撮像部
３３第１の画像メモリ
３５第２の画像メモリ
４１，４２テーブル用ＲＡＭ
４３ＣＰＵ
Ｇ１第１の画像
Ｇ２第２の画像
Ｅ判定エリア
Ｔ対応エリア
Ｋ角度判定エリア

Claims

同一画像領域を有する第１の画像の画素情報と第２の画像の画素情報とを比較し、前記同一画像領域のずれ量および相対回転量を求め、前記ずれ量および前記相対回転量に基づいて前記第１の画像と前記第２の画像の前記同一画像領域を重ね合わせる画像合成装置において、
前記第１の画像の判定エリアの位置と前記第２の画像の前記判定エリアに対応する対応エリアの位置とから前記同一画像領域のずれ量を求めるずれ量算出手段と、
前記第１の画像の前記判定エリア内の画素情報と前記第２の画像の前記対応エリア内の画素情報とから前記同一画像領域の相対回転量を求める回転量算出手段とを備え、
前記判定エリアを円状にし、その中心位置を前記判定エリアの位置とするとともに、
前記回転量算出手段は、
前記判定エリアまたは前記対応エリアの中心を含む線分または前記中心を含む２つの線分で挟まれた領域からなる角度判定エリアの画素情報を抽出する第１の抽出手段と、
前記対応エリアまたは前記判定エリアの画素情報を前記対応エリアまたは前記判定エリアの中心位置を回転軸として前記角度判定エリアの角度を変えながら各角度判定エリアの位置において順次抽出する第２の抽出手段と、
前記角度判定エリアの画素情報と前記各角度判定エリアの画素情報とを比較し前記各角度判定エリアの一つを角度対応エリアと判断する判断手段と、
前記角度判定エリアの角度と前記角度対応エリアの角度とから前記同一画像領域の相対回転量を求める演算手段と、
を有することを特徴とする画像合成装置。
請求項１記載の画像合成装置において、
前記角度判定エリアは前記判定エリアの半径であることを特徴とする画像合成装置。
請求項１または請求項２記載の画像合成装置において、
前記角度判定エリアは、前記判定エリアの中心を含む線分からなり、
前記判断手段は、前記角度判定エリアと前記各角度判定エリアの中心から同一距離の各画素値の差の絶対値の総和を求め、絶対値の総和が最小となる前記各角度判定エリアの一つを前記角度対応エリアと判断することを特徴とする画像合成装置。
請求項３記載の画像合成装置において、
前記画素の前記中心に対するアドレスを求めるためのテーブルを有していることを特徴とする画像合成装置。
請求項１ないし請求項４のいずれか１項記載の画像合成装置において、
前記角度判定エリアを、そのエリアのヒストグラムの分散に基づいて決定することを特徴とする画像合成装置。
請求項１記載の画像合成装置において、
前記判断手段は、前記角度判定エリアの画素情報と前記各角度判定エリアの画素情報とを対応するアドレスの画素毎に比較することを特徴とする画像合成装置。
適正露光時間を分割し少なくとも第１の画像と第２の画像とを撮像素子により撮像し、撮影後に前記第１の画像と前記第２の画像とを画像合成するカメラの手ぶれ補正装置において、
請求項１ないし請求項６のいずれか１項記載の画像合成装置を有することを特徴とするカメラの手ぶれ補正装置。
請求項７記載のカメラの手ぶれ補正装置を有することを特徴とするカメラ。