JP3866957B2 - 画像合成装置 - Google Patents
画像合成装置 Download PDFInfo
- Publication number
- JP3866957B2 JP3866957B2 JP2001324972A JP2001324972A JP3866957B2 JP 3866957 B2 JP3866957 B2 JP 3866957B2 JP 2001324972 A JP2001324972 A JP 2001324972A JP 2001324972 A JP2001324972 A JP 2001324972A JP 3866957 B2 JP3866957 B2 JP 3866957B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- motion vector
- blur
- unit
- shake
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は、複数の画像を合成し、画像信号のダイナミックレンジを拡大して出力する画像合成装置に関する。
【０００２】
【従来の技術】
固体撮像素子を有する撮像装置においては、銀塩フィルムに比べて固体撮像素子のダイナミックレンジが狭いため、例えば明るい背景のもとで被写体を撮影する場合、被写体の黒つぶれや、背景の白とびが生じる。このような現象を防ぐために、被写体、背景それぞれに対し適正露出の画像を撮影し、それら露光量の異なる複数の画像を合成する方法が提案されている。
【０００３】
図20に、露光量の異なる２つの画像を合成してダイナミックレンジの広い画像を得る方法の概念図を示す。図20において、図20の（Ｂ）に示す長時間露光画像は人物や木に露出があっており背景が白とびしているとする。また、図20の（Ａ）に示す短時間露光画像は背景に露出があっており人物が黒つぶれしているとする。これらの画像の合成は、例えば以下の方法で行うことができる。まず、長時間露光画像に対して適当な閾値を設定し画素値が閾値以上の領域が白とびの領域と一致するようにする。次いで、前記閾値以上の領域については、短時間露光画像の対応する（同位置の) 画像を貼り付けて合成する。このようにして合成することで、図20の（Ｃ）に示すように、背景、人物共に露出のあったダイナミックレンジの広い画像を得ることができる。
【０００４】
しかしながら、一つの撮像素子で露光量の異なる画像を複数枚撮影する場合、各画像の撮影タイミングはずれているため、例えば被写体が移動していたり、手ぶれが発生した場合に、画像間に位置ずれが生じる。このように位置ずれを生じている複数の画像を合成すると、図21に示すように、被写体が２重になるなど不自然な画像になってしまう。
【０００５】
従来、このような画像の位置ずれを補正する方法として、特許３１１０７９７号に提案がなされている。次に、上記特許３１１０７９７号に開示されている従来の補正方法について説明する。図22は従来の補正方法を示す概念図である。図22に示すように、画像ａと画像ｂとは手ぶれにより画面全体がずれている場合、従来の補正方法では、これらの画像をずらして、図22中の共通エリアの部分が得られるように合成している。
【０００６】
図23は、従来の補正方法を実施するための画像合成装置の構成例を示すブロック図である。入力画像を用いて動き検出206 で検出された画面ぶれ情報により、メモリ制御部205 がフィールドメモリ204aを制御して、図22中の共通エリアに相当する画像を読み出す。この共通エリア画像は、拡大補間部202aで入力画像と同等のサイズに拡大された後、フィールドメモリ204bに格納される。続いて同様に処理され、拡大補間部202aから出力される画像と、フィールドメモリ204bから読み出される前フレームの画像とが加算器202bにて合成され、ぶれを補正した画像が得られる様に構成されている。なお、図23において、201 はＡ／Ｄ変換器、203 はＤ／Ａ変換器である。
【０００７】
【発明が解決しようとする課題】
上記のように、従来提案の補正技術においては、画像全体をずらして共通エリアを得て画像のぶれ補正を行っており、画像全体がぶれる手ぶれを補正するには適した方法である。しかしながら、画像のぶれには一部の被写体が動く被写体ぶれも存在する。図24の左側に示す２枚の画像は、画像全体が手ぶれをしており、且つ飛行機が手ぶれ方向とは別方向に被写体ぶれを起こしているものとする。したがって、図24に示すような画像について、飛行機の動いた方向に画面全体をずらして補正すると、人物や木など他の被写体がずれた画像として合成される。このように、被写体ぶれした画像全体をずらして合成すると適切に合成されない場合があるが、従来提案の補正技術ではかかる観点について考慮がなされていない。
【０００８】
本発明は、上記事情に鑑みてなされたものであり、画像が手ぶれ、被写体ぶれのいずれを生じているかを簡易な処理により検出し、ぶれの種類に応じて画像合成の手法を適応的に切り換え、画質の良好なダイナミックレンジの広い画像を得ることが可能な画像合成装置を提供することを目的とする。
【０００９】
【課題を解決するための手段】
上記課題を解決するため、請求項１に係る発明は、複数の画像を合成し、ダイナミックレンジの広い画像を得る画像合成装置において、合成する画像間の差異が被写体ぶれによるものか手ぶれによるものかを判定するぶれ種類判定手段と、該ぶれ種類判定手段からのぶれ判定信号に応じて画像合成方法を切り換える切換手段とを備え、前記ぶれ種類判定手段は、前記複数の画像のうち一方の画像と他方の画像との間で画像全体としての１つの動きベクトルを検出して出力する動きベクトル検出部と、該動きベクトル検出部で検出された前記動きベクトルより画像が被写体ぶれ、手ぶれのいずれであるかを判定し、ぶれ判定信号として出力するぶれ判定手段と、動きベクトルを検出する領域を特定する動きベクトル検出領域特定手段とを有し、前記動きベクトル検出部は、前記動きベクトルを検出する領域内で動きベクトルを検出するものであって、前記動きベクトル検出領域に対応する前記一方の画像内の領域内に特定の一ブロックを設定するブロック設定手段と、この特定の一ブロックに対してのみ前記他方の画像内の複数のブロックとの類似度を演算し、最も類似度が高いブロックへのベクトルを上記動きベクトルとして出力する動きベクトル算出部と、前記動きベクトルを前記ぶれ判定手段に出力するか否かを判定する有効判定部とを有し、前記有効判定部は、入力画像の前記動きベクトル検出領域の輝度値が所定の値より小さく黒に近いことを検出する黒レベル検出部と、入力画像の前記動きベクトル検出領域の輝度値が所定の値より大きく白に近いことを検出する白レベル検出部と、入力画像の前記動きベクトル検出領域の各画素間の輝度値差が所定の値より小さいことを検出する輝度差検出部とを有し、黒レベル検出又は白レベル検出又は輝度差検出がいずれも検出されなかった場合に、前記ぶれ判定手段に前記動きベクトルを出力させるように構成されていることを特徴とするものである。
【００１０】
上記請求項１に係る発明の実施の形態には、第１及び第２の実施の形態が対応する。そして、請求項１における構成要件の動きベクトル検出部、ぶれ判定手段には、それぞれ実施の形態（図２）における動きベクトル検出部11，ぶれ判定手段12が対応し、これら２つを合わせたものがぶれ種類判定手段に対応し、切換手段には切換手段13，13ａが対応し、動きベクトル検出領域特定手段には、実施の形態（図３）における動きベクトル検出領域特定手段 21 が対応し、ブロック設定手段には、実施の形態（図３）におけるブロック設定手段 22 が対応し、動きベクトル算出部には動きベクトル算出部 23 が対応し、有効判定部には、実施の形態（図３）における有効判定部 24 が対応し、黒レベル検出部には、実施の形態（図９）における黒つぶれ判定部 52 が対応し、白レベル検出部には白とび判定部 51 が対応する。また輝度差検出部には、最大値抽出部 53 ，最小値抽出部 55 ，減算器 57 ，比較器 59 からなる構成が対応する。輝度差検出部における所定の値には、図９における輝度差閾値が対応する。そして、画像ｂの最大、最小値をそれぞれ最大値抽出部 53 ，最小値抽出部 55 とから求め、減算器 57 により差分をとって輝度差を求める。また比較器 59 により前記輝度差が輝度差閾値以下かどうかを調べることで、輝度値差が所定の値より小さいことを検出する。
【００１１】
このように構成された画像合成装置においては、動きベクトル検出部は画像全体として一つの動きベクトルを検出し、その動きベクトルをもとに、ぶれ判定手段により画像が被写体ぶれか手ぶれかを判定する。そして、その判定結果に応じて画像の合成方法を適応的に切り換えるように構成されているので、画質が良好でダイナミックレンジの広い画像を得ることができる。更に、動きベクトル検出領域特定手段により、動きベクトルを検出する領域を特定して狭め、なるべく少ない演算で動きベクトルを検出することが可能となる。更に、ブロック設定手段は、一方の画像に動きベクトル検出における基準となるブロックを一つだけ設定する。そして、動きベクトル算出部では、この一ブロックと他方の画像内の複数のブロックとの類似度を計算し、最も類似度の高いブロックへのベクトルを動きベクトルとして出力する。このように、動きベクトルの算出において基準となるブロックを一つに限定することにより、少ない演算量で動きベクトルの検出を行うことができる。更に、有効判定部は、算出した動きベクトルの妥当性をチェックし、妥当性が低い場合には、動きベクトルをぶれ判定手段に対して出力しないようにする。これにより、無意味な動きベクトルが出力されるのを防ぎ、ぶれ判定の精度を上げることができる。更に、動き ベクトル検出領域内の画像が、黒つぶれ、白とび、グレー一色といった輝度変化のない画像であるかを調べ、それらに該当する場合は動きベクトル検出に適さない画像として動きベクトルを出力しない。これにより、動きベクトル検出の精度を上げることが可能となる。
【００１２】
請求項２に係る発明は、請求項１に係る画像合成装置において、前記動きベクトル検出領域特定手段は、前記一方の画像と前記他方の画像を各々所定の閾値で二値化し二値画像を出力する二値化部と、前記一方の二値画像と前記他方の二値画像との比較を行い不一致領域を前記動きベクトルを検出する領域として出力する比較部とを有することを特徴とするものである。
【００１３】
この請求項２に係る発明の実施の形態には、第１及び第２の実施の形態が対応する。そして、請求項２における構成要件の二値化部には、実施の形態（図６）における二値化部31，32が対応し、比較部には比較部33が対応する。そして、比較部においては、図７に示すように、排他的論理和回路41で二値画像ａ，ｂの排他的論理和を取ることで二値画像の比較を行い、不一致領域が「１」となるような二値画像不一致領域情報を、動きベクトルを検出する領域として出力する。動きベクトル検出領域は、図４で横線で表示した部分に相当する。
【００１４】
このように構成された画像合成装置においては、二値化した画像同士を比較することにより不一致領域を特定するように構成しているため、単純な処理により動きベクトルの検出領域を特定することができる。
【００１５】
請求項３に係る発明は、請求項２に係る画像合成装置において、前記二値化部は、前記一方の画像を二値化する閾値と前記他方の画像を二値化する閾値を、それぞれの画像の露光量に比例した値とすることを特徴とするものである。
【００１６】
この請求項３に係る発明の実施の形態には、第１及び第２の実施の形態が対応する。そして、請求項３における構成要件の二値化部の閾値には、実施の形態（図６）における二値化部31に入力される閾値ａ，及び二値化部32に入力される閾値ｂ＝閾値ａ×（露光量ｂ／露光量ａ）が対応する。なお、実施の形態の説明中の式（１）における閾値ｂと前記二値化部32に入力される閾値とは同一である。
【００１７】
このように構成された画像合成装置においては、二値化閾値を露光量に比例させることで、露光量の異なる画像間でも同一被写体（若しくは背景) を同じ値で二値化できる。そのため、前記被写体（若しくは背景) の存在する座標がずれていれば、二値画像上では値が異なるため、二値画像の不一致領域を画像間でぶれの発生している領域として検出することができる。
【００１８】
請求項４に係る発明は、請求項２に係る画像合成装置において、前記比較部は、前記一方の二値画像と前記他方の二値画像とを所定の方向に走査して両画像間の比較を行い、その比較結果が一定数連続して不一致となった場合に限り前記動きベクトルを検出する領域を示す信号を出力するように構成されていることを特徴とするものである。
【００１９】
この請求項４に係る発明の実施の形態には、第１及び第２の実施の形態が対応する。そして、請求項４における構成要件の比較部には、図６に示す比較部33が対応し、二値画像比較結果には図７における二値画像不一致領域情報が対応する。また比較結果が一定数連続して不一致となる場合は、二値画像不一致領域情報をカウンタ42で計数したものを比較器43で連続検出量閾値と比較して求めている。そして、セレクタ44の切り換えを、前記比較器43の出力を用いて行うことにより、「比較結果が一定数連続して不一致となる場合に限り」動きベクトル検出領域を出力することを、実現している。
【００２０】
請求項５に係る発明は、請求項１に係る画像合成装置において、前記動きベクトル算出部は、ブロックマッチング法を用いて前記動きベクトルを検出して出力するように構成されていることを特徴とするものである。
【００２１】
この請求項５に係る発明の実施の形態には、第１及び第２の実施の形態が対応する。このように構成した画像合成装置においては、容易な手法で動きベクトルを検出することができる。
【００２２】
請求項６に係る発明は、請求項１に係る画像合成装置において、前記有効判定部は、前記類似度の最大値と最小値の差が所定の範囲以上であった場合に前記ぶれ判定手段に前記動きベクトルを出力させるように構成されていることを特徴とするものである。
【００２３】
この請求項６に係る発明の実施の形態には、第１及び第２の実施の形態が対応する。そして、請求項６における構成には、図９における最大値抽出部54，最小値抽出部56，減算器58，比較器60からなる構成が対応する。また請求項６における所定の範囲には、図９における類似度差閾値が対応する。
【００２４】
このように構成された画像合成装置においては、一方の画像の特定の一ブロックと他方の画像の複数ブロックとの類似度を各々比較し、それらに差がない場合には、いずれのブロックとも同程度に類似しているとみなし、この場合、類似度の最も高いブロックへのベクトルは動きベクトルとして妥当性が低いと判断して出力しない。これにより、動きベクトル検出の精度を上げることが可能となる。
【００２５】
請求項７に係る発明は、請求項１に係る画像合成装置において、前記切換手段は、前記ぶれ判定信号が被写体ぶれを示す場合、前記一方の画像と前記他方の画像を合成して得られる画像に対して、前記動きベクトル検出領域に対応する画像信号にローパスフィルタをかけるように構成されていることを特徴とするものである。
【００２６】
この請求項７に係る発明の実施の形態には、第１及び第２の実施の形態が対応する。そして、請求項７における構成には、図14及び図18に示す構成が対応する。前記一方の画像と前記他方の画像との合成は、合成手段92により行われる。この請求項におけるローパスフィルタにはローパスフィルタ93が対応する。ぶれ判定信号が被写体ぶれを示す場合、スイッチ94，95がｓ２に接続される。したがって、画像ａ，ｂを合成した後、動きベクトル検出領域に対応する画像領域にローパスフィルタがかけられる。
【００２７】
このように構成された画像合成装置においては、被写体ぶれの部分にローパスフィルタをかけるように構成されているため、ぶれの部分をぼかすことができ、画質の良好でダイナミックレンジの広い画像が得られる。
【００２８】
請求項８に係る発明は、請求項１に係る画像合成装置において、前記切換手段は、前記ぶれ判定信号が手ぶれを示す場合、前記動きベクトルをもとに前記一方の画像を水平及び垂直方向に座標をずらした画像と、前記他方の画像とを合成するように構成されていることを特徴とするものである。
【００２９】
この請求項８に係る発明の実施の形態には、第１の実施の形態が対応する。そして、請求項８における構成には、図14に示す構成が対応する。前記動きベクトルをもとに前記一方の画像を水平及び垂直方向に座標をずらす処理は、図14における座標変換手段91により行われる。ぶれ判定信号が手ぶれを示す場合、スイッチ94，95が共にｓ１に接続される。したがって、画像ｂを座標変換し、前記座標変換された画像と画像ａとが合成される。
【００３０】
このように構成された画像合成装置においては、手ぶれを補正する方向に一方の画像をずらして合成するように構成されているため、画質が良好でダイナミックレンジの広い画像が得られる。
【００３１】
請求項９に係る発明は、複数の画像を合成し、ダイナミックレンジの広い画像を得る画像合成装置において、合成する画像間の差異が被写体ぶれによるものか手ぶれによるものかを判定するぶれ種類判定手段と、該ぶれ種類判定手段からのぶれ判定信号に応じて画像合成方法を切り換える切換手段とを備え、前記ぶれ種類判定手段は、前記複数の画像のうち一方の画像と他方の画像との間で画像全体としての１つの動きベクトルを検出して出力する動きベクトル検出部と、該動きベクトル検出部で検出された前記動きベクトルより画像が被写体ぶれ、手ぶれのいずれであるかを判定し、ぶれ判定信号として出力するぶれ判定手段と、動きベクトルを検出する領域を特定する動きベクトル検出領域特定手段とを有し、前記動きベクトル検出部は、前記動きベクトルを検出する領域内で動きベクトルを検出するものであって、前記動きベクトル検出領域特定手段は、前記一方の画像と前記他方の画像を各々所定の閾値で二値化し二値画像を出力する二値化部と、前記一方の二値画像と前記他方の二値画像との比較を行い不一致領域を前記動きベクトルを検出する領域として出力する比較部とを有し、前記ぶれ判定手段は、前記動きベクトルをもとに前記一方の画像に係る二値画像の座標を水平及び垂直方向にずらす座標変換手段と、前記座標変換手段により座標変換された画像と、前記他方の画像に係る二値画像を入力し、画像間の不一致領域を差分情報として出力する差分算出手段と、前記差分情報より画像が被写体ぶれ、手ぶれのいずれかを判定し、その判定信号を出力するぶれ判定信号生成手段とを有することを特徴とするものである。
【００３２】
上記請求項９に係る発明の実施の形態には、第１及び第２の実施の形態が対応する。そして、請求項９における構成要件の動きベクトル検出部、ぶれ判定手段には、それぞれ実施の形態（図２）における動きベクトル検出部 11 ，ぶれ判定手段 12 が対応し、これら２つを合わせたものがぶれ種類判定手段に対応し、切換手段には切換手段 13 ， 13 ａが対応し、動きベクトル検出領域特定手段には、実施の形態（図３）における動きベクトル検出領域特定手段 21 が対応し、動きベクトル検出領域特定手段には、実施の形態（図３）における動きベクトル検出領域特定手段 21 が対応し、二値化部には、実施の形態（図６）における二値化部 31 ， 32 が対応し、比較部には比較部 33 が対応する。そして、比較部においては、図７に示すように、排他的論理和回路 41 で二値画像ａ，ｂの排他的論理和を取ることで二値画像の比較を行い、不一致領域が「１」となるような二値画像不一致領域情報を、動きベクトルを検出する領域として出力する。動きベクトル検出領域は、図４で横線で表示した部分に相当する。また、座標変換手段には、実施の形態（図10）における座標変換手段61が対応し、差分算出手段には差分算出手段62が対応し、ぶれ判定信号生成手段にはぶれ判定信号生成手段63が対応する。
【００３３】
このように構成された画像合成装置においては、動きベクトル検出部は画像全体として一つの動きベクトルを検出し、その動きベクトルをもとに、ぶれ判定手段により画像が被写体ぶれか手ぶれかを判定する。そして、その判定結果に応じて画像の合成方法を適応的に切り換えるように構成されているので、画質が良好でダイナミックレンジの広い画像を得ることができる。更に、動きベクトル検出領域特定手段により、動きベクトルを検出する領域を特定して狭め、なるべく少ない演算で動きベクトルを検出することが可能となる。更に二値化した画像同士を比較することにより不一致領域を特定するように構成しているため、単純な処理により動きベクトルの検出領域を特定することができる。更に、座標変換手段は、画像全体が動きベクトルの方向に手ぶれを起こしていると仮定して、一方の二値画像を座標をずらして変換する。差分算出部ではこの座標変換された二値画像と他方の二値画像間の不一致領域を求め、この結果から画像が手ぶれであったかを判定する。これにより、画像が手ぶれを起こしているかを判定することができる。
【００３４】
請求項10に係る発明は、請求項９に係る画像合成装置において、前記差分算出手段は、前記比較部により得られる二つの二値画像間の不一致画素の総数を出力するように構成されていることを特徴とするものである。
【００３５】
この請求項10に係る発明の実施の形態には、第１及び第２の実施の形態が対応する。そして、請求項10における構成には、図11に示す構成が対応する。二つの二値画像間の不一致画素は図11における排他的論理和回路71により求まり、不一致画素の総数は図11におけるカウンタ72により計数される。このように構成された画像合成装置においては、二つの二値画像間の不一致画素数の総数を出力するように構成しているので、それを画像ぶれの領域の大きさ（ぶれ度合）として、ぶれ判定を行うことができる。
【００３６】
請求項11に係る発明は、請求項９に係る画像合成装置において、前記ぶれ判定信号生成手段は、前記差分情報が所定の閾値以下であれば手ぶれと判定し、前記差分情報が前記閾値以上であれば被写体ぶれと判定するように構成されていることを特徴とするものである。
【００３７】
この請求項11に係る発明の実施の形態にては、第１及び第２の実施の形態が対応する。そして、請求項11における構成には、図13に示す構成が対応する。図13においては、ぶれ判定信号が「１」の場合手ぶれ、「０」の場合被写体ぶれを示す。差分情報が所定の閾値以下かどうかは、図13における比較器82により求まる。比較器82は差分情報が差分閾値以上で「０」、差分閾値以下で「１」を出力する。差分情報が差分閾値以下（「１」) の場合、ぶれ判定信号は「１」になり手ぶれと判定される。但し、このとき動きベクトル有無判定部81の出力は「１」( 動きベクトルが検出されたことを意味する) であるとする。このように構成することにより、画像として一つの動きベクトルから、画像が手ぶれしているかを判定することができる。
【００３８】
請求項12に係る発明は、請求項９に係る画像合成装置において、前記ぶれ判定信号生成手段は、前記動きベクトルが検出されないときには被写体ぶれと判定するするように構成されていることを特徴とするものである。
【００３９】
この請求項12に係る発明の実施の形態には、第１及び第２の実施の形態が対応する。そして、請求項12における構成には、図13に示す構成が対応する。図13においては、ぶれ判定信号が「１」の場合手ぶれ、「０」の場合被写体ぶれを示す。動きベクトルが検出されたかどうかは、図13における動きベクトル有無判定部81により判定する。動きベクトル有無判定部81の出力が「０」の場合は、動きベクトルが検出されなかったことを意味し、出力が「１」の場合は動きベクトルが検出されたことを意味する。動きベクトル有無判定部81の出力が「０」の場合、ぶれ判定信号は「０」になり被写体ぶれと判定される。このように構成することにより、動きベクトルが検出ができない画像に関しては、一律に被写体ぶれと判定することができる。
【００４０】
請求項13に係る発明は、複数の画像を合成し、ダイナミックレンジの広い画像を得る画像合成装置において、合成する画像間の差異が被写体ぶれによるものか手ぶれによるものかを判定するぶれ種類判定手段と、該ぶれ種類判定手段からのぶれ判定信号に応じて画像合成方法を切り換える切換手段とを備え、前記ぶれ種類判定手段は、前記複数の画像のうち一方の画像と他方の画像との間で画像全体としての１つの動きベクトルを検出して出力する動きベクトル検出部と、該動きベクトル検出部で検出された前記動きベクトルより画像が被写体ぶれ、手ぶれのいずれであるかを判定し、ぶれ判定信号として出力するぶれ判 定手段とを有し、前記複数の画像を各々所定の閾値で二値化して二値画像を得て、前記他方の画像に係る二値画像と、前記動きベクトルをもとに前記一方の画像に係る二値画像の座標を水平及び垂直方向にずらした画像とから、画像間の不一致領域を求め、前記切換手段は、前記ぶれ判定信号が手ぶれを示す場合、前記動きベクトルをもとに前記一方の画像を水平及び垂直方向に座標をずらした画像と、前記他方の画像とを合成して得られる手ぶれ補正画像に対して、前記不一致領域に対応する画像信号にローパスフィルタをかけるように構成されていることを特徴とするものである。
【００４１】
この請求項13に係る発明の実施の形態には、第２の実施の形態が対応する。そして、請求項13における構成は、図６，図10，図16及び図18の構成が対応する。この請求項における二値画像を得る方法とは、図６における二値化部31，32によるものであり、二値化した画像は図18におけるメモリ3 に格納される。また、他方の二値画像と、動きベクトルをもとに一方の二値画像の座標を水平及び垂直方向にずらした画像とから、画像間の不一致領域を求める方法とは、図10における座標変換手段61，差分算出手段62からなる構成によるものであり、画像間の不一致領域とは図10における差分画像の「１」の領域に相当する。上記、図６の構成により生成した二値画像をメモリ３から読み出して、図10の構成により差分画像を生成して、メモリ３に格納する。図18における差分画像は前述の方法によりメモリ３に格納されているものを読み出したものである。ぶれ判定信号が手ぶれを示す場合、スイッチ94，95，96がそれぞれｓ１，ｓ２，ｓ１に接続される。したがって、画像ｂを座標変換し、前記座標変換された画像と画像ａとが合成され、次いで、前記差分画像の「１」の領域に対応する画像領域にローパスフィルタがかけられる。
【００４２】
このように構成された画像合成装置においては、画像全体が動きベクトルの方向に手ぶれを起こしていると仮定して、一方の二値画像を座標をずらして変換し、不一致領域を手ぶれを補正してなお画像ぶれが残る領域として検出する。画像ぶれが手ぶれであったと判定された場合は、一方の画像を動きベクトルをもとに座標をずらして合成し、更に、前記不一致領域に対応する領域（ぶれの残る領域) にはローパスフィルタをかけてぼかすことにより、手ぶれと被写体ぶれを同時に補正して、画質が良好でダイナミックレンジの広い画像を得ることができる。
【００４３】
【発明の実施の形態】
（第１の実施の形態）
次に、本発明に係る画像合成装置の第１の実施の形態について説明する。図１は、第１の実施の形態に係る画像合成装置を含む撮像装置の基本構成を示すブロック図である。１は被写体像を光電変換して電気信号として出力するＣＣＤ撮像素子、２は画像の色補正やエッジ強調などを行う画像処理装置、３は画像データを格納するためのメモリ、４は複数の画像を合成する画像合成装置、５はこれらの各装置を制御するＣＰＵ、６はメモリと他の装置（画像処理装置、画像合成装置、ＣＰＵ）を接続するためのバスである。
【００４４】
ＣＣＤ１により撮像された画像は、バス６を介してメモリ３に格納される。メモリ３には露光量の異なる複数の画像をあらかじめ撮影して格納しておく。画像合成装置４はメモリ３に格納されている前記露光量の異なる複数の画像を入力して、ぶれの種類を判定し、その判定結果に応じた合成処理を施して、ぶれ補正画像としてメモリ３に格納する。補正された画像は必要に応じてメモリ３から読み出されて画像処理装置２において処理される。
【００４５】
次に、画像合成装置について詳細に説明する。なお、以下の説明において、前記露光量の異なる複数の画像のうち一方を画像ａ，他方を画像ｂと称する。図２は図１における画像合成装置４の構成例を示すブロック構成図である。図２において、11は動きベクトル検出部で、該動きベクトル検出部11では、メモリ３から読み出した画像ａ，ｂを用いて、画像全体として一つの動きベクトルを検出する。また、動きベクトル検出の際に、画像ａ，ｂを二値化した二値画像ａ，ｂが生成され、メモリ３に格納される。ぶれ判定部12では、前記動きベクトル及び二値画像ａ，ｂを用いて、手ぶれが発生しているのか否かを判定し出力する。切換手段13では前記手ぶれ判定の結果をもとに、スイッチ16，17を適宜切り換えて手ぶれ補正処理部14，若しくは、被写体ぶれ補正処理部15のいずれかの処理を行って合成画像を出力する。
【００４６】
次に、図２に示した画像合成装置の各構成部材の詳細について説明する。図３は図２における動きベクトル検出部11の構成例を示すブロック構成図である。動きベクトル検出領域特定手段21では、動きベクトルを検出する領域を特定する。図４に示すように、画像ａ，ｂ間で被写体のずれている部分を動きベクトル検出領域として特定する。特定した動きベクトル検出領域の情報は、一旦メモリ３に格納される。また、動きベクトル検出領域を特定する際に生成する二値画像ａ，ｂ（後述）についても、メモリ３に格納する。ブロック設定手段22では、前記動きベクトル検出領域の情報をメモリ３から読み出し、特定の一ブロックを動きベクトル検出における基準ブロックとして設定する。図５に示すように、ブロック設定手段22により設定するブロックを基準ブロックとし、その周囲に探索範囲を設け、動きベクトル算出部23で動きベクトルを検出する。基準ブロックと探索範囲は異なる画像内に設定する。例えば、基準ブロックを画像ｂに設定する場合は、探索範囲は画像ａに設定する。
【００４７】
動きベクトルは、ブロック設定手段22で設定した基準ブロックに対してのみ算出し、その結果を画像全体として一つの動きベクトルとする。動きベクトルを算出する方法としては、例えばブロックマッチング法を用いる。ブロック設定手段22により設定する基準ブロックに対して、動きベクトルの探索範囲内の各ブロックとの類似度を求め、最も類似度の高いブロックへのベクトルを動きベクトルとする。有効判定部24では、ブロック設定手段22により設定したブロックが動きベクトル検出の基準ブロックとして適切かどうかや、動きベクトル算出部により算出した動きベクトルの妥当性を判定する。もしこれらが妥当でない場合は、算出した動きベクトルを出力しないように動きベクトル算出部23を制御する。
【００４８】
上記説明では、動きベクトル検出領域の情報をメモリ３に格納するようにしたものを示したが、動きベクトル検出領域特定手段21とブロック設定手段22との間に専用のメモリを設けてもよい。
【００４９】
図６は、図３における動きベクトル検出領域特定手段21の構成例を示すブロック図である。画像ａ，ｂはそれぞれ二値化部31，32で二値化され、二値画像ａ，ｂが生成される。このとき、画像ａ，ｂの二値化閾値が次式（１）の関係を満足するように設定する。
閾値ｂ＝閾値ａ×（露光量ｂ／露光量ａ） ・・・・・・・・・・（１）
式（１）のように各閾値を設定することで、画像ａ，ｂ間にずれがなければ、全く同一の二値画像を得ることができる。したがって、逆にずれの発生している部分は、二値画像ａ，ｂで値が異なることになる。
【００５０】
前記二値画像ａ，ｂは比較部33で比較され、値の異なる領域が「１」である二値画像として動きベクトル検出領域が出力される。図７は、比較部33の更に詳細な構成例を示すブロック構成図である。排他的論理和回路41で二値画像ａ，ｂの排他的論理和をとることにより、不一致領域が「１」となるような二値画像不一致領域情報が生成される。この二値画像不一致領域情報は、それをイネーブルとするカウンタ42により、「１」の連続した回数がカウントされ、そのカウント値が比較器43により、あらかじめ設定される連続検出量閾値を超えた場合にのみ、セレクタ44を経て「１」が出力される。この構成をとることで、ノイズ等の影響によって生じる不一致が取り除かれる。
【００５１】
図８は、図３におけるブロック設定手段22でのブロック設定方法についての説明図である。ブロック設定手段22では、メモリ３に格納されている動きベクトル検出領域内の特定の一ブロックを、動きベクトル検出の基準ブロックとして設定する。図８に示す図示例では、画像をブロック状に区切り、画面の中央のブロックから外縁に向かって螺旋状に動きベクトル検出領域の情報をサーチしていく。最初に「１」（不一致領域）が含まれるブロックを発見したら、そのブロックの位置に対応する画像ｂのブロックをメモリ３から読み出し、基準ブロックとして出力する。このような方法によれば、なるべく画像中央に近いブロックを基準ブロックとして設定できることになり、画面の端に基準ブロックをとる場合に比べて、動きベクトルを発見できる可能性を高くできる。
【００５２】
当然、ブロック設定方法は上記手法に限定されるものではない。例えば、動きベクトル検出領域を画面左上から順にサーチして、最初に不一致領域が含まれるブロックを基準ブロックとして設定してもよい。このような方法によれば、動きベクトル検出領域の情報を、メモリ３から読み出す際のアドレシングを簡易な方法で行うことができる。また、画面横方向への不一致連続数が最大の領域に含まれるブロックを基準ブロックとして設定してもよい。このような画面横方向に長い不一致領域は、画面縦方向に発生した手ぶれによるずれの可能性が高く、手ぶれによる動きベクトルを検出できる可能性を高くできる。当然、画面縦方向への不一致連続数が最大の領域に含まれるブロックを基準ブロックとして設定してもよい。上記の方法を複数組み合わせて、ブロックを設定することも可能である。
【００５３】
図９は、図３における有効判定部24の構成例を示すブロック図である。画像ｂに対して白とび、黒つぶれ、グレーの判定を行う。白とび判定部51は、画像ｂの任意領域の全画素値が白閾値以上であれば、前記領域を白とびと判定する。黒つぶれ判定部52は、画像ｂの任意領域の全画素値が黒閾値以下であれば、前記領域を黒つぶれと判定する。更に、画像ｂの任意領域の画素値最大値と最小値を、それぞれ最大値抽出部53，最小値抽出部55から求め、その差分値を減算器57にて算出する。差分値は比較器59により輝度差閾値と比較され、閾値以下であれば領域内で輝度差がなくグレーであると判定する。
【００５４】
また、類似度から動きベクトルの妥当性を判定する。動きベクトル算出部23から出力される類似度の集合に対して、最大値抽出部54，最小値抽出部56により最大値と最小値を求める。その差分値を減算器58にて算出し、その結果を比較器60により類似度差閾値と比較し、閾値以下であれば前記類似度の集合の最大値へのベクトルを、動きベクトルとする事に妥当性が無いと判定する。
【００５５】
上記画像ｂの任意領域をブロック設定手段22により設定された基準ブロックとすれば、白とび、黒つぶれ、グレーのいずれかが判定された場合、設定した基準ブロックは動きベクトル検出に適さないと判断することができる。また、基準ブロックからの動きベクトル算出における探索範囲（画像ａ）を、これらの判定部に入力すれば、前記探索範囲が動きベクトル検出に適するかどうかを判定できる。
【００５６】
図９における白とび判定、黒つぶれ判定、グレー判定、動きベクトル無効判定の各結果を組み合わせて有効信号を生成し、ブロック設定手段22及び動きベクトル算出部23に出力する。どのような組み合わせも可能だが、例えば、白とび、黒つぶれ、グレーがいずれも判定されない場合に、ブロック設定手段22に対して有効信号を出力し、動きベクトル無効と判定された場合は、動きベクトル算出部23に対して有効信号を出力する。
【００５７】
図10は、図２におけるぶれ判定手段12の構成例を示すブロック図である。座標変換手段61は、メモリ３から読み出した二値画像ｂを動きベクトルをもとに水平及び垂直方向にずらし、二値画像ｂ′として出力する。差分算出手段62では二値画像ａ，ｂ′を比較して差分画像及び差分情報を出力する。図11は差分算出手段62の更に詳細な構成例を示すブロック図である。排他的論理和回路71で二値画像ａ，ｂ′の排他的論理和をとって二値画像ａ，ｂ′間の不一致領域を求め、それを差分画像として出力する。また、差分画像の「１」の個数をカウンタ72により計数して、二値画像ａ，ｂ′間の不一致領域の画素数を差分情報として出力する。差分画像は、図12に示すように、画像全体が動きベクトルの方向に手ぶれを生じていると仮定して二つの画像を合成した場合に不一致となる領域を示し、差分情報はその不一致領域の大きさを示すものである。ぶれ判定信号生成手段63では、前記差分情報と動きベクトルから、手ぶれか被写体ぶれかを判定し、結果をぶれ判定信号として出力する。
【００５８】
図13は、ぶれ判定信号生成手段63の更に詳細な構成例を示すブロック図である。ここでは、ぶれ判定信号が「１」の場合を手ぶれ、「０」の場合を被写体ぶれとする。動きベクトル有無判定部81は、動きベクトル算出部23から動きベクトルが出力された場合は「１」を、動きベクトルが出力されない場合、すなわち動きベクトルが検出されない場合は「０」を出力する。一方、差分情報は比較器82により差分閾値と比較され、差分閾値以下の場合は「１」、以上の場合は「０」を出力する。上記二つの二値信号は、ＡＮＤ83にて論理積をとってぶれ判定信号として出力される。このような構成によれば、動きベクトルが検出され且つ差分情報が閾値以下の場合は、ぶれ判定信号が「１」となり、手ぶれと判定される。差分情報が閾値以上であった場合や、動きベクトルが検出されなかった場合は、ぶれ判定信号が「０」となり、被写体ぶれと判定される。
【００５９】
ここで、差分閾値は任意に設定することが可能である。例えば、ある特定の値を設定すれば、手ぶれとみなして補正した場合の不一致領域の大きさがある特定の値以下になる場合を、手ぶれとみなすことができる。また、二値画像ａ，ｂの不一致領域の画素数を差分閾値としてもよい。この場合、図３に示す動きベクトル検出領域特定手段21に、二値画像ａ，ｂの不一致領域の画素数を計数する手段を付加して出力した結果を、差分閾値とすればよい。このように差分閾値を設定すれば、手ぶれとみなして補正した結果、補正の前後で不一致領域が減少する場合を、手ぶれとみなすことができる。
【００６０】
図14は、図２における切換手段13の具体的な構成例を示すブロック図である。座標変換手段91は、動きベクトルをもとに画像ｂを水平及び垂直方向にずらした画像を生成する。合成手段92は、二つの画像を合成する合成手段である。二値画像ａの値が「１」（若しくは「０」) の領域に対応する画素は画像ａを、「０」（若しくは「１」) の領域に対応する画素は、もう一方の画像ｂを用いて合成される。ローパスフィルタ93は、動きベクトル検出領域に対応する入力画像内の領域にのみローパスフィルタ処理を施す。スイッチ94、95はぶれ判定信号に応じて接続の切り換わるスイッチである。
【００６１】
次に、ぶれ判定信号が被写体ぶれと手ぶれの各々の場合についての画像合成動作について説明する。ぶれ判定信号が被写体ぶれの場合、合成した画像のぶれ領域にローパスフィルタをかけて補正する。まず、スイッチ94をs2側に接続し、画像ａ，ｂを合成手段92で合成する。ここで得られる画像は、図15に示すように、動きベクトル検出領域に対応する領域の画像がぶれて合成されたものになっている。前記合成された画像に対し、動きベクトル検出領域に対応する領域にローパスフィルタ処理を行う。スイッチ95はｓ２側に接続し、前記ローパスフィルタをかけた画像を合成画像としてメモリ３に格納する。これにより、画像がぶれている部分を目立たなくし、画質の良好でダイナミックレンジの広い画像を得ることができる。
【００６２】
ぶれ判定信号が手ぶれの場合、動きベクトルの方向に画像全体をずらして合成する。まず、座標変換手段91により画像ｂを動きベクトルの方向にずらした画像を生成する。スイッチ94をｓ１側に接続し、合成手段92では、画像ａと、前記画像ｂを動きベクトルの方向にずらした画像とを合成する。スイッチ95はｓ１に接続して、ローパスフィルタはかけずにメモリ３に格納する。この処理で得られる画像は図16に示すように、手ぶれによる画像ぶれの補正された画像になっており、画質の良好でダイナミックの広い画像を得ることができる。
【００６３】
以上、本実施の形態によると、画像が手ぶれを生じているか被写体ぶれを生じているかを、画像として一つの動きベクトル及び二値画像間の演算のみを用いて判定し、ぶれの種類に応じて画像合成の方法を適切に切り換えるため、簡易な処理でぶれ判定が可能であり、且つ、画質の良好でダイナミックレンジの広い画像を得ることができる。
【００６４】
（第２の実施の形態）
次に、本発明の第２の実施の形態について説明する。図17は、本実施の形態に係る画像合成装置の構成を示すブロック図である。切換手段13ａ以外の構成は、第１の実施の形態と同一であるので説明を割愛する。本実施の形態における切換手段13ａでは、スイッチ16〜18を適宜切り換えて、手ぶれ補正処理部14，若しくは、被写体ぶれ補正処理部15のいずれか、若しくは両方の処理を行って合成画像を出力する。
【００６５】
図18は、本実施の形態における切換手段13ａの具体的な構成例を示すブロック図である。座標変換手段91，合成手段92，ローパスフィルタ93，スイッチ94，95は、図14に示した第１の実施の形態における切換手段13と同一であるので説明を割愛する。スイッチ96は、ぶれ判定信号に応じて、ローパスフィルタをかける領域を、動きベクトル検出領域と差分画像とで切り換えるスイッチである。
【００６６】
次に、ぶれ判定信号が被写体ぶれと手ぶれの各々の場合についての画像合成動作について説明する。ぶれ判定信号が被写体ぶれの場合、スイッチ96はｓ２側に接続し、ローパスフィルタをかける領域として動きベクトル検出領域が選択されるので、第１の実施の形態と同様の処理が行われる。ぶれ判定信号が手ぶれの場合、動きベクトルの方向に画像全体をずらして合成するまでは第１の実施の形態と同様である。すなわち、座標変換手段91により画像ｂを動きベクトルの方向にずらした画像を生成し、スイッチ94をｓ１側に接続して、画像ａと、前記画像ｂを動きベクトルの方向にずらした画像とを合成手段92にて合成する。
【００６７】
次いで、スイッチ96をｓ１側に接続し、差分画像に対応する領域にローパスフィルタ処理を行う。図12で示したように、差分画像とは、二値画像ａと、二値画像ｂを動きベクトルの方向にずらした画像との不一致領域であり、手ぶれによる補正画像のぶれ発生領域と一致する。したがって、手ぶれによる補正後に残ったぶれ領域のみにローパスフィルタがかかることになる。最後にスイッチ95をｓ２側に接続し、前記ローパスフィルタをかけた画像を合成画像としてメモリ３に格納する。
【００６８】
図19は、手ぶれと被写体ぶれが共に発生している画像を合成した例を示したものである。手ぶれの補正後も飛行機の部分にはぶれが残るが、上記方法によりローパスフィルタをかける事で、飛行機のぶれ部分が目立たなくなり、更に画質の良好でダイナミックレンジの広い画像を得ることができる。
【００６９】
以上、本実施の形態によると、画像が手ぶれを起こしている場合は、画像をずらして合成する事により手ぶれを補正し、更に、補正後に残ったぶれ部分にはローパスフィルタをかけてぶれを目立たなくできる。したがって、手ぶれと被写体ぶれの混在した画像に対しても、画質の良好でダイナミックレンジの広い画像を得ることができる。
【００７０】
【発明の効果】
以上実施の形態に基づいて説明したように、請求項１に係る発明によれば、画像全体として一つの動きベクトルを検出し、その動きベクトルをもとに画像が被写体ぶれか手ぶれかを判定し、その判定結果に応じて画像の合成方法を適応的に切り換えるようにしているので、画質が良好でダイナミックレンジの広い画像を得ることができる。更に動きベクトルを検出する領域を特定して狭めているので、少ない演算で動きベクトルを検出することができる。更に動きベクトルの算出において基準となるブロックを一つに限定するようにしているので、少ない演算量で動きベクトルの検出を行うことができる。更に無意味な動きベクトルが出力されるのを防止でき、ぶれ判定の精度を向上させることができる。更に動きベクトル検出領域内の画像が輝度変化のない画像であるかを調べ、該当する場合は動きベクトルの検出に適さない画像として動きベクトルを出力しないようにしているので、動きベクトルの検出精度を向上させることができる。
【００７１】
また請求項２に係る発明によれば、二値化した画像同士を比較することにより不一致領域を特定し、単純な処理により動きベクトルの検出領域を特定することができる。また請求項３に係る発明によれば、二値画像の不一致領域を画像間でぶれの発生している領域として検出することが可能となる。また請求項４に係る発明によれば、ノイズ等の発生する不一致領域を除外することができ、画像ぶれに起因する不一致領域の検出をより妥当性の高いものにすることができる。また請求項５に係る発明によれば、ブロックマッチング法を用いることにより容易に動きベクトルを検出することができる。また請求項６に係る発明によれば、複数ブロックとの類似度の間に差がない場合、算出した動きベクトルの妥当性が低いと判断して出力しないようにしているので、動きベクトルの検出精度を向上させることができる。また請求項７に係る発明によれば、被写体ぶれの部分にローパスフィルタをかけるようにしているので、ぶれ部分をぼかすことができ、画質が良好でダイナミックレンジの広い画像が得られる。また請求項８に係る発明によれば、手ぶれを補正する方向に一方の画像をずらして合成するようにしているので、画質の良好なダイナミックレンジの広い画像が得られる。
【００７２】
また請求項９に係る発明によれば、画像全体として一つの動きベクトルを検出し、その動きベクトルをもとに画像が被写体ぶれか手ぶれかを判定し、その判定結果に応じて画像の合成方法を適応的に切り換えるようにしているので、画質が良好でダイナミックレンジの広い画像を得ることができる。更に動きベクトルを検出する領域を特定して狭めているので、少ない演算で動きベクトルを検出することができる。更に二値化した画像同士を比較することにより不一致領域を特定し、単純な処理により動きベクトルの検出領域を特定することができる。更に、座標変換された一方の二値画像と他方の二値画像間の不一致領域を求めて画像の手ぶれを判定するようにしているので、画像が手ぶれを起こしているかを正確に判定することができる。
【００７３】
また請求項10に係る発明によれば、二つの二値画像間の不一致画素数の総数を出力するようにしているので、それを画像ぶれの領域の大きさとしてぶれ判定を行うことができる。また請求項11に係る発明によれば、画像として一つの動きベクトルから画像が手ぶれしているかを判定することができる。また請求項12に係る発明によれば、動きベクトルが検出できない画像に関しては、一律に被写体ぶれと判定することができる。また請求項13に係る発明によれば、一方の画像を動きベクトルをもとに座標をずらして合成し、更に不一致領域に対応するぶれの残る領域にはローパスフィルタをかけてぼかすようにしているので、手ぶれと被写体ぶれを同時に補正して画質の良好なダイナミックレンジの広い画像を得ることができる。
【図面の簡単な説明】
【図１】 本発明に係る画像合成装置を含む撮像装置の基本構成を示すブロック図である。
【図２】 本発明の第１の実施の形態に係る画像合成装置の構成を示すブロック図である。
【図３】 図２に示した画像合成装置における動きベクトル検出部の構成を示すブロック図である。
【図４】 画像ａ．ｂ間で被写体のずれている動きベクトル検出領域を示す図である。
【図５】 ブロック設定手段で設定される基準ブロックと、その周囲の探索範囲を示す説明図である。
【図６】 図３に示した動きベクトル検出部における動きベクトル検出領域特定手段の構成を示すブロック図である。
【図７】 図６に示した動きベクトル検出領域特定手段における比較部の構成を示すブロック図である。
【図８】 図３におけるブロック設定手段のブロック設定手法を示す説明図である。
【図９】 図３における有効判定部の構成を示すブロック図である。
【図10】 図２におけるぶれ判定手段の構成を示すブロック図である。
【図11】 図10に示したぶれ判定手段における差分算出手段の構成を示すブロック図である。
【図12】 画像全体が動きベクトルの方向に手ぶれを生じていると仮定して二つの画像を合成した場合に生じる不一致領域を示す図である。
【図13】 図10に示したぶれ判定手段におけるぶれ判定信号生成手段の構成を示すブロック図である。
【図14】 図２における切換手段の構成を示すブロック図である。
【図15】 合成画像のローパスフィルタ処理領域を示す説明図てある。
【図16】 手ぶれによる画像ぶれの補正された画像を示す説明図である。
【図17】 本発明に係る画像合成装置の第２の実施の形態を示すブロック図である。
【図18】 図17における切換手段の構成を示すブロック図である。
【図19】 手ぶれと被写体ぶれが共に発生している画像を合成した場合におけるローパスフィルタ処理領域を示す説明図てある。
【図20】 露光量の異なる画像を合成してダイナミックレンジの広い画像を得る方法を示す概念図である。
【図21】 被写体が移動したり手ぶれが発生している場合の合成画像を示す図である。
【図22】 従来の合成画像における手ぶれ補正手法を示す説明図である。
【図23】 従来の手ぶれ補正手法を適用した画像合成装置の構成例を示すブロック図である。
【図24】 従来の画像合成装置による合成画像を示す図である。
【符号の説明】
１ ＣＣＤ
２ 画像処理装置
３ メモリ
４ 画像合成装置
５ ＣＰＵ
６ バス
11 動きベクトル検出部
12 ぶれ判定手段
13，13ａ 切換手段
14 手ぶれ補正処理部
15 被写体ぶれ補正処理部
16，17，18 スイッチ
21 動きベクトル検出領域特定手段
22 ブロック設定手段
23 動きベクトル算出部
24 有効判定部
31，32 二値化部
33 比較部
41 排他的論理和回路
42 カウンタ
43 比較器
44 セレクタ
51 白とび判定部
52 黒つぶれ判定部
53，54 最大値抽出部
55，56 最小値抽出部
57，58 減算器
59，60 比較器
61 座標変換手段
62 差分算出手段
63 ぶれ判定信号生成手段
71 排他的論理和回路
72 カウンタ
81 動きベクトル有無判定部
82 比較器
83 ＡＮＤ回路
91 座標変換手段
92 合成手段
93 ローパスフィルタ
94，95，96 スイッチ
【発明の属する技術分野】
この発明は、複数の画像を合成し、画像信号のダイナミックレンジを拡大して出力する画像合成装置に関する。
【０００２】
【従来の技術】
固体撮像素子を有する撮像装置においては、銀塩フィルムに比べて固体撮像素子のダイナミックレンジが狭いため、例えば明るい背景のもとで被写体を撮影する場合、被写体の黒つぶれや、背景の白とびが生じる。このような現象を防ぐために、被写体、背景それぞれに対し適正露出の画像を撮影し、それら露光量の異なる複数の画像を合成する方法が提案されている。
【０００３】
図20に、露光量の異なる２つの画像を合成してダイナミックレンジの広い画像を得る方法の概念図を示す。図20において、図20の（Ｂ）に示す長時間露光画像は人物や木に露出があっており背景が白とびしているとする。また、図20の（Ａ）に示す短時間露光画像は背景に露出があっており人物が黒つぶれしているとする。これらの画像の合成は、例えば以下の方法で行うことができる。まず、長時間露光画像に対して適当な閾値を設定し画素値が閾値以上の領域が白とびの領域と一致するようにする。次いで、前記閾値以上の領域については、短時間露光画像の対応する（同位置の) 画像を貼り付けて合成する。このようにして合成することで、図20の（Ｃ）に示すように、背景、人物共に露出のあったダイナミックレンジの広い画像を得ることができる。
【０００４】
しかしながら、一つの撮像素子で露光量の異なる画像を複数枚撮影する場合、各画像の撮影タイミングはずれているため、例えば被写体が移動していたり、手ぶれが発生した場合に、画像間に位置ずれが生じる。このように位置ずれを生じている複数の画像を合成すると、図21に示すように、被写体が２重になるなど不自然な画像になってしまう。
【０００５】
従来、このような画像の位置ずれを補正する方法として、特許３１１０７９７号に提案がなされている。次に、上記特許３１１０７９７号に開示されている従来の補正方法について説明する。図22は従来の補正方法を示す概念図である。図22に示すように、画像ａと画像ｂとは手ぶれにより画面全体がずれている場合、従来の補正方法では、これらの画像をずらして、図22中の共通エリアの部分が得られるように合成している。
【０００６】
図23は、従来の補正方法を実施するための画像合成装置の構成例を示すブロック図である。入力画像を用いて動き検出206 で検出された画面ぶれ情報により、メモリ制御部205 がフィールドメモリ204aを制御して、図22中の共通エリアに相当する画像を読み出す。この共通エリア画像は、拡大補間部202aで入力画像と同等のサイズに拡大された後、フィールドメモリ204bに格納される。続いて同様に処理され、拡大補間部202aから出力される画像と、フィールドメモリ204bから読み出される前フレームの画像とが加算器202bにて合成され、ぶれを補正した画像が得られる様に構成されている。なお、図23において、201 はＡ／Ｄ変換器、203 はＤ／Ａ変換器である。
【０００７】
【発明が解決しようとする課題】
上記のように、従来提案の補正技術においては、画像全体をずらして共通エリアを得て画像のぶれ補正を行っており、画像全体がぶれる手ぶれを補正するには適した方法である。しかしながら、画像のぶれには一部の被写体が動く被写体ぶれも存在する。図24の左側に示す２枚の画像は、画像全体が手ぶれをしており、且つ飛行機が手ぶれ方向とは別方向に被写体ぶれを起こしているものとする。したがって、図24に示すような画像について、飛行機の動いた方向に画面全体をずらして補正すると、人物や木など他の被写体がずれた画像として合成される。このように、被写体ぶれした画像全体をずらして合成すると適切に合成されない場合があるが、従来提案の補正技術ではかかる観点について考慮がなされていない。
【０００８】
本発明は、上記事情に鑑みてなされたものであり、画像が手ぶれ、被写体ぶれのいずれを生じているかを簡易な処理により検出し、ぶれの種類に応じて画像合成の手法を適応的に切り換え、画質の良好なダイナミックレンジの広い画像を得ることが可能な画像合成装置を提供することを目的とする。
【０００９】
【課題を解決するための手段】
上記課題を解決するため、請求項１に係る発明は、複数の画像を合成し、ダイナミックレンジの広い画像を得る画像合成装置において、合成する画像間の差異が被写体ぶれによるものか手ぶれによるものかを判定するぶれ種類判定手段と、該ぶれ種類判定手段からのぶれ判定信号に応じて画像合成方法を切り換える切換手段とを備え、前記ぶれ種類判定手段は、前記複数の画像のうち一方の画像と他方の画像との間で画像全体としての１つの動きベクトルを検出して出力する動きベクトル検出部と、該動きベクトル検出部で検出された前記動きベクトルより画像が被写体ぶれ、手ぶれのいずれであるかを判定し、ぶれ判定信号として出力するぶれ判定手段と、動きベクトルを検出する領域を特定する動きベクトル検出領域特定手段とを有し、前記動きベクトル検出部は、前記動きベクトルを検出する領域内で動きベクトルを検出するものであって、前記動きベクトル検出領域に対応する前記一方の画像内の領域内に特定の一ブロックを設定するブロック設定手段と、この特定の一ブロックに対してのみ前記他方の画像内の複数のブロックとの類似度を演算し、最も類似度が高いブロックへのベクトルを上記動きベクトルとして出力する動きベクトル算出部と、前記動きベクトルを前記ぶれ判定手段に出力するか否かを判定する有効判定部とを有し、前記有効判定部は、入力画像の前記動きベクトル検出領域の輝度値が所定の値より小さく黒に近いことを検出する黒レベル検出部と、入力画像の前記動きベクトル検出領域の輝度値が所定の値より大きく白に近いことを検出する白レベル検出部と、入力画像の前記動きベクトル検出領域の各画素間の輝度値差が所定の値より小さいことを検出する輝度差検出部とを有し、黒レベル検出又は白レベル検出又は輝度差検出がいずれも検出されなかった場合に、前記ぶれ判定手段に前記動きベクトルを出力させるように構成されていることを特徴とするものである。
【００１０】
上記請求項１に係る発明の実施の形態には、第１及び第２の実施の形態が対応する。そして、請求項１における構成要件の動きベクトル検出部、ぶれ判定手段には、それぞれ実施の形態（図２）における動きベクトル検出部11，ぶれ判定手段12が対応し、これら２つを合わせたものがぶれ種類判定手段に対応し、切換手段には切換手段13，13ａが対応し、動きベクトル検出領域特定手段には、実施の形態（図３）における動きベクトル検出領域特定手段 21 が対応し、ブロック設定手段には、実施の形態（図３）におけるブロック設定手段 22 が対応し、動きベクトル算出部には動きベクトル算出部 23 が対応し、有効判定部には、実施の形態（図３）における有効判定部 24 が対応し、黒レベル検出部には、実施の形態（図９）における黒つぶれ判定部 52 が対応し、白レベル検出部には白とび判定部 51 が対応する。また輝度差検出部には、最大値抽出部 53 ，最小値抽出部 55 ，減算器 57 ，比較器 59 からなる構成が対応する。輝度差検出部における所定の値には、図９における輝度差閾値が対応する。そして、画像ｂの最大、最小値をそれぞれ最大値抽出部 53 ，最小値抽出部 55 とから求め、減算器 57 により差分をとって輝度差を求める。また比較器 59 により前記輝度差が輝度差閾値以下かどうかを調べることで、輝度値差が所定の値より小さいことを検出する。
【００１１】
このように構成された画像合成装置においては、動きベクトル検出部は画像全体として一つの動きベクトルを検出し、その動きベクトルをもとに、ぶれ判定手段により画像が被写体ぶれか手ぶれかを判定する。そして、その判定結果に応じて画像の合成方法を適応的に切り換えるように構成されているので、画質が良好でダイナミックレンジの広い画像を得ることができる。更に、動きベクトル検出領域特定手段により、動きベクトルを検出する領域を特定して狭め、なるべく少ない演算で動きベクトルを検出することが可能となる。更に、ブロック設定手段は、一方の画像に動きベクトル検出における基準となるブロックを一つだけ設定する。そして、動きベクトル算出部では、この一ブロックと他方の画像内の複数のブロックとの類似度を計算し、最も類似度の高いブロックへのベクトルを動きベクトルとして出力する。このように、動きベクトルの算出において基準となるブロックを一つに限定することにより、少ない演算量で動きベクトルの検出を行うことができる。更に、有効判定部は、算出した動きベクトルの妥当性をチェックし、妥当性が低い場合には、動きベクトルをぶれ判定手段に対して出力しないようにする。これにより、無意味な動きベクトルが出力されるのを防ぎ、ぶれ判定の精度を上げることができる。更に、動き ベクトル検出領域内の画像が、黒つぶれ、白とび、グレー一色といった輝度変化のない画像であるかを調べ、それらに該当する場合は動きベクトル検出に適さない画像として動きベクトルを出力しない。これにより、動きベクトル検出の精度を上げることが可能となる。
【００１２】
請求項２に係る発明は、請求項１に係る画像合成装置において、前記動きベクトル検出領域特定手段は、前記一方の画像と前記他方の画像を各々所定の閾値で二値化し二値画像を出力する二値化部と、前記一方の二値画像と前記他方の二値画像との比較を行い不一致領域を前記動きベクトルを検出する領域として出力する比較部とを有することを特徴とするものである。
【００１３】
この請求項２に係る発明の実施の形態には、第１及び第２の実施の形態が対応する。そして、請求項２における構成要件の二値化部には、実施の形態（図６）における二値化部31，32が対応し、比較部には比較部33が対応する。そして、比較部においては、図７に示すように、排他的論理和回路41で二値画像ａ，ｂの排他的論理和を取ることで二値画像の比較を行い、不一致領域が「１」となるような二値画像不一致領域情報を、動きベクトルを検出する領域として出力する。動きベクトル検出領域は、図４で横線で表示した部分に相当する。
【００１４】
このように構成された画像合成装置においては、二値化した画像同士を比較することにより不一致領域を特定するように構成しているため、単純な処理により動きベクトルの検出領域を特定することができる。
【００１５】
請求項３に係る発明は、請求項２に係る画像合成装置において、前記二値化部は、前記一方の画像を二値化する閾値と前記他方の画像を二値化する閾値を、それぞれの画像の露光量に比例した値とすることを特徴とするものである。
【００１６】
この請求項３に係る発明の実施の形態には、第１及び第２の実施の形態が対応する。そして、請求項３における構成要件の二値化部の閾値には、実施の形態（図６）における二値化部31に入力される閾値ａ，及び二値化部32に入力される閾値ｂ＝閾値ａ×（露光量ｂ／露光量ａ）が対応する。なお、実施の形態の説明中の式（１）における閾値ｂと前記二値化部32に入力される閾値とは同一である。
【００１７】
このように構成された画像合成装置においては、二値化閾値を露光量に比例させることで、露光量の異なる画像間でも同一被写体（若しくは背景) を同じ値で二値化できる。そのため、前記被写体（若しくは背景) の存在する座標がずれていれば、二値画像上では値が異なるため、二値画像の不一致領域を画像間でぶれの発生している領域として検出することができる。
【００１８】
請求項４に係る発明は、請求項２に係る画像合成装置において、前記比較部は、前記一方の二値画像と前記他方の二値画像とを所定の方向に走査して両画像間の比較を行い、その比較結果が一定数連続して不一致となった場合に限り前記動きベクトルを検出する領域を示す信号を出力するように構成されていることを特徴とするものである。
【００１９】
この請求項４に係る発明の実施の形態には、第１及び第２の実施の形態が対応する。そして、請求項４における構成要件の比較部には、図６に示す比較部33が対応し、二値画像比較結果には図７における二値画像不一致領域情報が対応する。また比較結果が一定数連続して不一致となる場合は、二値画像不一致領域情報をカウンタ42で計数したものを比較器43で連続検出量閾値と比較して求めている。そして、セレクタ44の切り換えを、前記比較器43の出力を用いて行うことにより、「比較結果が一定数連続して不一致となる場合に限り」動きベクトル検出領域を出力することを、実現している。
【００２０】
請求項５に係る発明は、請求項１に係る画像合成装置において、前記動きベクトル算出部は、ブロックマッチング法を用いて前記動きベクトルを検出して出力するように構成されていることを特徴とするものである。
【００２１】
この請求項５に係る発明の実施の形態には、第１及び第２の実施の形態が対応する。このように構成した画像合成装置においては、容易な手法で動きベクトルを検出することができる。
【００２２】
請求項６に係る発明は、請求項１に係る画像合成装置において、前記有効判定部は、前記類似度の最大値と最小値の差が所定の範囲以上であった場合に前記ぶれ判定手段に前記動きベクトルを出力させるように構成されていることを特徴とするものである。
【００２３】
この請求項６に係る発明の実施の形態には、第１及び第２の実施の形態が対応する。そして、請求項６における構成には、図９における最大値抽出部54，最小値抽出部56，減算器58，比較器60からなる構成が対応する。また請求項６における所定の範囲には、図９における類似度差閾値が対応する。
【００２４】
このように構成された画像合成装置においては、一方の画像の特定の一ブロックと他方の画像の複数ブロックとの類似度を各々比較し、それらに差がない場合には、いずれのブロックとも同程度に類似しているとみなし、この場合、類似度の最も高いブロックへのベクトルは動きベクトルとして妥当性が低いと判断して出力しない。これにより、動きベクトル検出の精度を上げることが可能となる。
【００２５】
請求項７に係る発明は、請求項１に係る画像合成装置において、前記切換手段は、前記ぶれ判定信号が被写体ぶれを示す場合、前記一方の画像と前記他方の画像を合成して得られる画像に対して、前記動きベクトル検出領域に対応する画像信号にローパスフィルタをかけるように構成されていることを特徴とするものである。
【００２６】
この請求項７に係る発明の実施の形態には、第１及び第２の実施の形態が対応する。そして、請求項７における構成には、図14及び図18に示す構成が対応する。前記一方の画像と前記他方の画像との合成は、合成手段92により行われる。この請求項におけるローパスフィルタにはローパスフィルタ93が対応する。ぶれ判定信号が被写体ぶれを示す場合、スイッチ94，95がｓ２に接続される。したがって、画像ａ，ｂを合成した後、動きベクトル検出領域に対応する画像領域にローパスフィルタがかけられる。
【００２７】
このように構成された画像合成装置においては、被写体ぶれの部分にローパスフィルタをかけるように構成されているため、ぶれの部分をぼかすことができ、画質の良好でダイナミックレンジの広い画像が得られる。
【００２８】
請求項８に係る発明は、請求項１に係る画像合成装置において、前記切換手段は、前記ぶれ判定信号が手ぶれを示す場合、前記動きベクトルをもとに前記一方の画像を水平及び垂直方向に座標をずらした画像と、前記他方の画像とを合成するように構成されていることを特徴とするものである。
【００２９】
この請求項８に係る発明の実施の形態には、第１の実施の形態が対応する。そして、請求項８における構成には、図14に示す構成が対応する。前記動きベクトルをもとに前記一方の画像を水平及び垂直方向に座標をずらす処理は、図14における座標変換手段91により行われる。ぶれ判定信号が手ぶれを示す場合、スイッチ94，95が共にｓ１に接続される。したがって、画像ｂを座標変換し、前記座標変換された画像と画像ａとが合成される。
【００３０】
このように構成された画像合成装置においては、手ぶれを補正する方向に一方の画像をずらして合成するように構成されているため、画質が良好でダイナミックレンジの広い画像が得られる。
【００３１】
請求項９に係る発明は、複数の画像を合成し、ダイナミックレンジの広い画像を得る画像合成装置において、合成する画像間の差異が被写体ぶれによるものか手ぶれによるものかを判定するぶれ種類判定手段と、該ぶれ種類判定手段からのぶれ判定信号に応じて画像合成方法を切り換える切換手段とを備え、前記ぶれ種類判定手段は、前記複数の画像のうち一方の画像と他方の画像との間で画像全体としての１つの動きベクトルを検出して出力する動きベクトル検出部と、該動きベクトル検出部で検出された前記動きベクトルより画像が被写体ぶれ、手ぶれのいずれであるかを判定し、ぶれ判定信号として出力するぶれ判定手段と、動きベクトルを検出する領域を特定する動きベクトル検出領域特定手段とを有し、前記動きベクトル検出部は、前記動きベクトルを検出する領域内で動きベクトルを検出するものであって、前記動きベクトル検出領域特定手段は、前記一方の画像と前記他方の画像を各々所定の閾値で二値化し二値画像を出力する二値化部と、前記一方の二値画像と前記他方の二値画像との比較を行い不一致領域を前記動きベクトルを検出する領域として出力する比較部とを有し、前記ぶれ判定手段は、前記動きベクトルをもとに前記一方の画像に係る二値画像の座標を水平及び垂直方向にずらす座標変換手段と、前記座標変換手段により座標変換された画像と、前記他方の画像に係る二値画像を入力し、画像間の不一致領域を差分情報として出力する差分算出手段と、前記差分情報より画像が被写体ぶれ、手ぶれのいずれかを判定し、その判定信号を出力するぶれ判定信号生成手段とを有することを特徴とするものである。
【００３２】
上記請求項９に係る発明の実施の形態には、第１及び第２の実施の形態が対応する。そして、請求項９における構成要件の動きベクトル検出部、ぶれ判定手段には、それぞれ実施の形態（図２）における動きベクトル検出部 11 ，ぶれ判定手段 12 が対応し、これら２つを合わせたものがぶれ種類判定手段に対応し、切換手段には切換手段 13 ， 13 ａが対応し、動きベクトル検出領域特定手段には、実施の形態（図３）における動きベクトル検出領域特定手段 21 が対応し、動きベクトル検出領域特定手段には、実施の形態（図３）における動きベクトル検出領域特定手段 21 が対応し、二値化部には、実施の形態（図６）における二値化部 31 ， 32 が対応し、比較部には比較部 33 が対応する。そして、比較部においては、図７に示すように、排他的論理和回路 41 で二値画像ａ，ｂの排他的論理和を取ることで二値画像の比較を行い、不一致領域が「１」となるような二値画像不一致領域情報を、動きベクトルを検出する領域として出力する。動きベクトル検出領域は、図４で横線で表示した部分に相当する。また、座標変換手段には、実施の形態（図10）における座標変換手段61が対応し、差分算出手段には差分算出手段62が対応し、ぶれ判定信号生成手段にはぶれ判定信号生成手段63が対応する。
【００３３】
このように構成された画像合成装置においては、動きベクトル検出部は画像全体として一つの動きベクトルを検出し、その動きベクトルをもとに、ぶれ判定手段により画像が被写体ぶれか手ぶれかを判定する。そして、その判定結果に応じて画像の合成方法を適応的に切り換えるように構成されているので、画質が良好でダイナミックレンジの広い画像を得ることができる。更に、動きベクトル検出領域特定手段により、動きベクトルを検出する領域を特定して狭め、なるべく少ない演算で動きベクトルを検出することが可能となる。更に二値化した画像同士を比較することにより不一致領域を特定するように構成しているため、単純な処理により動きベクトルの検出領域を特定することができる。更に、座標変換手段は、画像全体が動きベクトルの方向に手ぶれを起こしていると仮定して、一方の二値画像を座標をずらして変換する。差分算出部ではこの座標変換された二値画像と他方の二値画像間の不一致領域を求め、この結果から画像が手ぶれであったかを判定する。これにより、画像が手ぶれを起こしているかを判定することができる。
【００３４】
請求項10に係る発明は、請求項９に係る画像合成装置において、前記差分算出手段は、前記比較部により得られる二つの二値画像間の不一致画素の総数を出力するように構成されていることを特徴とするものである。
【００３５】
この請求項10に係る発明の実施の形態には、第１及び第２の実施の形態が対応する。そして、請求項10における構成には、図11に示す構成が対応する。二つの二値画像間の不一致画素は図11における排他的論理和回路71により求まり、不一致画素の総数は図11におけるカウンタ72により計数される。このように構成された画像合成装置においては、二つの二値画像間の不一致画素数の総数を出力するように構成しているので、それを画像ぶれの領域の大きさ（ぶれ度合）として、ぶれ判定を行うことができる。
【００３６】
請求項11に係る発明は、請求項９に係る画像合成装置において、前記ぶれ判定信号生成手段は、前記差分情報が所定の閾値以下であれば手ぶれと判定し、前記差分情報が前記閾値以上であれば被写体ぶれと判定するように構成されていることを特徴とするものである。
【００３７】
この請求項11に係る発明の実施の形態にては、第１及び第２の実施の形態が対応する。そして、請求項11における構成には、図13に示す構成が対応する。図13においては、ぶれ判定信号が「１」の場合手ぶれ、「０」の場合被写体ぶれを示す。差分情報が所定の閾値以下かどうかは、図13における比較器82により求まる。比較器82は差分情報が差分閾値以上で「０」、差分閾値以下で「１」を出力する。差分情報が差分閾値以下（「１」) の場合、ぶれ判定信号は「１」になり手ぶれと判定される。但し、このとき動きベクトル有無判定部81の出力は「１」( 動きベクトルが検出されたことを意味する) であるとする。このように構成することにより、画像として一つの動きベクトルから、画像が手ぶれしているかを判定することができる。
【００３８】
請求項12に係る発明は、請求項９に係る画像合成装置において、前記ぶれ判定信号生成手段は、前記動きベクトルが検出されないときには被写体ぶれと判定するするように構成されていることを特徴とするものである。
【００３９】
この請求項12に係る発明の実施の形態には、第１及び第２の実施の形態が対応する。そして、請求項12における構成には、図13に示す構成が対応する。図13においては、ぶれ判定信号が「１」の場合手ぶれ、「０」の場合被写体ぶれを示す。動きベクトルが検出されたかどうかは、図13における動きベクトル有無判定部81により判定する。動きベクトル有無判定部81の出力が「０」の場合は、動きベクトルが検出されなかったことを意味し、出力が「１」の場合は動きベクトルが検出されたことを意味する。動きベクトル有無判定部81の出力が「０」の場合、ぶれ判定信号は「０」になり被写体ぶれと判定される。このように構成することにより、動きベクトルが検出ができない画像に関しては、一律に被写体ぶれと判定することができる。
【００４０】
請求項13に係る発明は、複数の画像を合成し、ダイナミックレンジの広い画像を得る画像合成装置において、合成する画像間の差異が被写体ぶれによるものか手ぶれによるものかを判定するぶれ種類判定手段と、該ぶれ種類判定手段からのぶれ判定信号に応じて画像合成方法を切り換える切換手段とを備え、前記ぶれ種類判定手段は、前記複数の画像のうち一方の画像と他方の画像との間で画像全体としての１つの動きベクトルを検出して出力する動きベクトル検出部と、該動きベクトル検出部で検出された前記動きベクトルより画像が被写体ぶれ、手ぶれのいずれであるかを判定し、ぶれ判定信号として出力するぶれ判 定手段とを有し、前記複数の画像を各々所定の閾値で二値化して二値画像を得て、前記他方の画像に係る二値画像と、前記動きベクトルをもとに前記一方の画像に係る二値画像の座標を水平及び垂直方向にずらした画像とから、画像間の不一致領域を求め、前記切換手段は、前記ぶれ判定信号が手ぶれを示す場合、前記動きベクトルをもとに前記一方の画像を水平及び垂直方向に座標をずらした画像と、前記他方の画像とを合成して得られる手ぶれ補正画像に対して、前記不一致領域に対応する画像信号にローパスフィルタをかけるように構成されていることを特徴とするものである。
【００４１】
この請求項13に係る発明の実施の形態には、第２の実施の形態が対応する。そして、請求項13における構成は、図６，図10，図16及び図18の構成が対応する。この請求項における二値画像を得る方法とは、図６における二値化部31，32によるものであり、二値化した画像は図18におけるメモリ3 に格納される。また、他方の二値画像と、動きベクトルをもとに一方の二値画像の座標を水平及び垂直方向にずらした画像とから、画像間の不一致領域を求める方法とは、図10における座標変換手段61，差分算出手段62からなる構成によるものであり、画像間の不一致領域とは図10における差分画像の「１」の領域に相当する。上記、図６の構成により生成した二値画像をメモリ３から読み出して、図10の構成により差分画像を生成して、メモリ３に格納する。図18における差分画像は前述の方法によりメモリ３に格納されているものを読み出したものである。ぶれ判定信号が手ぶれを示す場合、スイッチ94，95，96がそれぞれｓ１，ｓ２，ｓ１に接続される。したがって、画像ｂを座標変換し、前記座標変換された画像と画像ａとが合成され、次いで、前記差分画像の「１」の領域に対応する画像領域にローパスフィルタがかけられる。
【００４２】
このように構成された画像合成装置においては、画像全体が動きベクトルの方向に手ぶれを起こしていると仮定して、一方の二値画像を座標をずらして変換し、不一致領域を手ぶれを補正してなお画像ぶれが残る領域として検出する。画像ぶれが手ぶれであったと判定された場合は、一方の画像を動きベクトルをもとに座標をずらして合成し、更に、前記不一致領域に対応する領域（ぶれの残る領域) にはローパスフィルタをかけてぼかすことにより、手ぶれと被写体ぶれを同時に補正して、画質が良好でダイナミックレンジの広い画像を得ることができる。
【００４３】
【発明の実施の形態】
（第１の実施の形態）
次に、本発明に係る画像合成装置の第１の実施の形態について説明する。図１は、第１の実施の形態に係る画像合成装置を含む撮像装置の基本構成を示すブロック図である。１は被写体像を光電変換して電気信号として出力するＣＣＤ撮像素子、２は画像の色補正やエッジ強調などを行う画像処理装置、３は画像データを格納するためのメモリ、４は複数の画像を合成する画像合成装置、５はこれらの各装置を制御するＣＰＵ、６はメモリと他の装置（画像処理装置、画像合成装置、ＣＰＵ）を接続するためのバスである。
【００４４】
ＣＣＤ１により撮像された画像は、バス６を介してメモリ３に格納される。メモリ３には露光量の異なる複数の画像をあらかじめ撮影して格納しておく。画像合成装置４はメモリ３に格納されている前記露光量の異なる複数の画像を入力して、ぶれの種類を判定し、その判定結果に応じた合成処理を施して、ぶれ補正画像としてメモリ３に格納する。補正された画像は必要に応じてメモリ３から読み出されて画像処理装置２において処理される。
【００４５】
次に、画像合成装置について詳細に説明する。なお、以下の説明において、前記露光量の異なる複数の画像のうち一方を画像ａ，他方を画像ｂと称する。図２は図１における画像合成装置４の構成例を示すブロック構成図である。図２において、11は動きベクトル検出部で、該動きベクトル検出部11では、メモリ３から読み出した画像ａ，ｂを用いて、画像全体として一つの動きベクトルを検出する。また、動きベクトル検出の際に、画像ａ，ｂを二値化した二値画像ａ，ｂが生成され、メモリ３に格納される。ぶれ判定部12では、前記動きベクトル及び二値画像ａ，ｂを用いて、手ぶれが発生しているのか否かを判定し出力する。切換手段13では前記手ぶれ判定の結果をもとに、スイッチ16，17を適宜切り換えて手ぶれ補正処理部14，若しくは、被写体ぶれ補正処理部15のいずれかの処理を行って合成画像を出力する。
【００４６】
次に、図２に示した画像合成装置の各構成部材の詳細について説明する。図３は図２における動きベクトル検出部11の構成例を示すブロック構成図である。動きベクトル検出領域特定手段21では、動きベクトルを検出する領域を特定する。図４に示すように、画像ａ，ｂ間で被写体のずれている部分を動きベクトル検出領域として特定する。特定した動きベクトル検出領域の情報は、一旦メモリ３に格納される。また、動きベクトル検出領域を特定する際に生成する二値画像ａ，ｂ（後述）についても、メモリ３に格納する。ブロック設定手段22では、前記動きベクトル検出領域の情報をメモリ３から読み出し、特定の一ブロックを動きベクトル検出における基準ブロックとして設定する。図５に示すように、ブロック設定手段22により設定するブロックを基準ブロックとし、その周囲に探索範囲を設け、動きベクトル算出部23で動きベクトルを検出する。基準ブロックと探索範囲は異なる画像内に設定する。例えば、基準ブロックを画像ｂに設定する場合は、探索範囲は画像ａに設定する。
【００４７】
動きベクトルは、ブロック設定手段22で設定した基準ブロックに対してのみ算出し、その結果を画像全体として一つの動きベクトルとする。動きベクトルを算出する方法としては、例えばブロックマッチング法を用いる。ブロック設定手段22により設定する基準ブロックに対して、動きベクトルの探索範囲内の各ブロックとの類似度を求め、最も類似度の高いブロックへのベクトルを動きベクトルとする。有効判定部24では、ブロック設定手段22により設定したブロックが動きベクトル検出の基準ブロックとして適切かどうかや、動きベクトル算出部により算出した動きベクトルの妥当性を判定する。もしこれらが妥当でない場合は、算出した動きベクトルを出力しないように動きベクトル算出部23を制御する。
【００４８】
上記説明では、動きベクトル検出領域の情報をメモリ３に格納するようにしたものを示したが、動きベクトル検出領域特定手段21とブロック設定手段22との間に専用のメモリを設けてもよい。
【００４９】
図６は、図３における動きベクトル検出領域特定手段21の構成例を示すブロック図である。画像ａ，ｂはそれぞれ二値化部31，32で二値化され、二値画像ａ，ｂが生成される。このとき、画像ａ，ｂの二値化閾値が次式（１）の関係を満足するように設定する。
閾値ｂ＝閾値ａ×（露光量ｂ／露光量ａ） ・・・・・・・・・・（１）
式（１）のように各閾値を設定することで、画像ａ，ｂ間にずれがなければ、全く同一の二値画像を得ることができる。したがって、逆にずれの発生している部分は、二値画像ａ，ｂで値が異なることになる。
【００５０】
前記二値画像ａ，ｂは比較部33で比較され、値の異なる領域が「１」である二値画像として動きベクトル検出領域が出力される。図７は、比較部33の更に詳細な構成例を示すブロック構成図である。排他的論理和回路41で二値画像ａ，ｂの排他的論理和をとることにより、不一致領域が「１」となるような二値画像不一致領域情報が生成される。この二値画像不一致領域情報は、それをイネーブルとするカウンタ42により、「１」の連続した回数がカウントされ、そのカウント値が比較器43により、あらかじめ設定される連続検出量閾値を超えた場合にのみ、セレクタ44を経て「１」が出力される。この構成をとることで、ノイズ等の影響によって生じる不一致が取り除かれる。
【００５１】
図８は、図３におけるブロック設定手段22でのブロック設定方法についての説明図である。ブロック設定手段22では、メモリ３に格納されている動きベクトル検出領域内の特定の一ブロックを、動きベクトル検出の基準ブロックとして設定する。図８に示す図示例では、画像をブロック状に区切り、画面の中央のブロックから外縁に向かって螺旋状に動きベクトル検出領域の情報をサーチしていく。最初に「１」（不一致領域）が含まれるブロックを発見したら、そのブロックの位置に対応する画像ｂのブロックをメモリ３から読み出し、基準ブロックとして出力する。このような方法によれば、なるべく画像中央に近いブロックを基準ブロックとして設定できることになり、画面の端に基準ブロックをとる場合に比べて、動きベクトルを発見できる可能性を高くできる。
【００５２】
当然、ブロック設定方法は上記手法に限定されるものではない。例えば、動きベクトル検出領域を画面左上から順にサーチして、最初に不一致領域が含まれるブロックを基準ブロックとして設定してもよい。このような方法によれば、動きベクトル検出領域の情報を、メモリ３から読み出す際のアドレシングを簡易な方法で行うことができる。また、画面横方向への不一致連続数が最大の領域に含まれるブロックを基準ブロックとして設定してもよい。このような画面横方向に長い不一致領域は、画面縦方向に発生した手ぶれによるずれの可能性が高く、手ぶれによる動きベクトルを検出できる可能性を高くできる。当然、画面縦方向への不一致連続数が最大の領域に含まれるブロックを基準ブロックとして設定してもよい。上記の方法を複数組み合わせて、ブロックを設定することも可能である。
【００５３】
図９は、図３における有効判定部24の構成例を示すブロック図である。画像ｂに対して白とび、黒つぶれ、グレーの判定を行う。白とび判定部51は、画像ｂの任意領域の全画素値が白閾値以上であれば、前記領域を白とびと判定する。黒つぶれ判定部52は、画像ｂの任意領域の全画素値が黒閾値以下であれば、前記領域を黒つぶれと判定する。更に、画像ｂの任意領域の画素値最大値と最小値を、それぞれ最大値抽出部53，最小値抽出部55から求め、その差分値を減算器57にて算出する。差分値は比較器59により輝度差閾値と比較され、閾値以下であれば領域内で輝度差がなくグレーであると判定する。
【００５４】
また、類似度から動きベクトルの妥当性を判定する。動きベクトル算出部23から出力される類似度の集合に対して、最大値抽出部54，最小値抽出部56により最大値と最小値を求める。その差分値を減算器58にて算出し、その結果を比較器60により類似度差閾値と比較し、閾値以下であれば前記類似度の集合の最大値へのベクトルを、動きベクトルとする事に妥当性が無いと判定する。
【００５５】
上記画像ｂの任意領域をブロック設定手段22により設定された基準ブロックとすれば、白とび、黒つぶれ、グレーのいずれかが判定された場合、設定した基準ブロックは動きベクトル検出に適さないと判断することができる。また、基準ブロックからの動きベクトル算出における探索範囲（画像ａ）を、これらの判定部に入力すれば、前記探索範囲が動きベクトル検出に適するかどうかを判定できる。
【００５６】
図９における白とび判定、黒つぶれ判定、グレー判定、動きベクトル無効判定の各結果を組み合わせて有効信号を生成し、ブロック設定手段22及び動きベクトル算出部23に出力する。どのような組み合わせも可能だが、例えば、白とび、黒つぶれ、グレーがいずれも判定されない場合に、ブロック設定手段22に対して有効信号を出力し、動きベクトル無効と判定された場合は、動きベクトル算出部23に対して有効信号を出力する。
【００５７】
図10は、図２におけるぶれ判定手段12の構成例を示すブロック図である。座標変換手段61は、メモリ３から読み出した二値画像ｂを動きベクトルをもとに水平及び垂直方向にずらし、二値画像ｂ′として出力する。差分算出手段62では二値画像ａ，ｂ′を比較して差分画像及び差分情報を出力する。図11は差分算出手段62の更に詳細な構成例を示すブロック図である。排他的論理和回路71で二値画像ａ，ｂ′の排他的論理和をとって二値画像ａ，ｂ′間の不一致領域を求め、それを差分画像として出力する。また、差分画像の「１」の個数をカウンタ72により計数して、二値画像ａ，ｂ′間の不一致領域の画素数を差分情報として出力する。差分画像は、図12に示すように、画像全体が動きベクトルの方向に手ぶれを生じていると仮定して二つの画像を合成した場合に不一致となる領域を示し、差分情報はその不一致領域の大きさを示すものである。ぶれ判定信号生成手段63では、前記差分情報と動きベクトルから、手ぶれか被写体ぶれかを判定し、結果をぶれ判定信号として出力する。
【００５８】
図13は、ぶれ判定信号生成手段63の更に詳細な構成例を示すブロック図である。ここでは、ぶれ判定信号が「１」の場合を手ぶれ、「０」の場合を被写体ぶれとする。動きベクトル有無判定部81は、動きベクトル算出部23から動きベクトルが出力された場合は「１」を、動きベクトルが出力されない場合、すなわち動きベクトルが検出されない場合は「０」を出力する。一方、差分情報は比較器82により差分閾値と比較され、差分閾値以下の場合は「１」、以上の場合は「０」を出力する。上記二つの二値信号は、ＡＮＤ83にて論理積をとってぶれ判定信号として出力される。このような構成によれば、動きベクトルが検出され且つ差分情報が閾値以下の場合は、ぶれ判定信号が「１」となり、手ぶれと判定される。差分情報が閾値以上であった場合や、動きベクトルが検出されなかった場合は、ぶれ判定信号が「０」となり、被写体ぶれと判定される。
【００５９】
ここで、差分閾値は任意に設定することが可能である。例えば、ある特定の値を設定すれば、手ぶれとみなして補正した場合の不一致領域の大きさがある特定の値以下になる場合を、手ぶれとみなすことができる。また、二値画像ａ，ｂの不一致領域の画素数を差分閾値としてもよい。この場合、図３に示す動きベクトル検出領域特定手段21に、二値画像ａ，ｂの不一致領域の画素数を計数する手段を付加して出力した結果を、差分閾値とすればよい。このように差分閾値を設定すれば、手ぶれとみなして補正した結果、補正の前後で不一致領域が減少する場合を、手ぶれとみなすことができる。
【００６０】
図14は、図２における切換手段13の具体的な構成例を示すブロック図である。座標変換手段91は、動きベクトルをもとに画像ｂを水平及び垂直方向にずらした画像を生成する。合成手段92は、二つの画像を合成する合成手段である。二値画像ａの値が「１」（若しくは「０」) の領域に対応する画素は画像ａを、「０」（若しくは「１」) の領域に対応する画素は、もう一方の画像ｂを用いて合成される。ローパスフィルタ93は、動きベクトル検出領域に対応する入力画像内の領域にのみローパスフィルタ処理を施す。スイッチ94、95はぶれ判定信号に応じて接続の切り換わるスイッチである。
【００６１】
次に、ぶれ判定信号が被写体ぶれと手ぶれの各々の場合についての画像合成動作について説明する。ぶれ判定信号が被写体ぶれの場合、合成した画像のぶれ領域にローパスフィルタをかけて補正する。まず、スイッチ94をs2側に接続し、画像ａ，ｂを合成手段92で合成する。ここで得られる画像は、図15に示すように、動きベクトル検出領域に対応する領域の画像がぶれて合成されたものになっている。前記合成された画像に対し、動きベクトル検出領域に対応する領域にローパスフィルタ処理を行う。スイッチ95はｓ２側に接続し、前記ローパスフィルタをかけた画像を合成画像としてメモリ３に格納する。これにより、画像がぶれている部分を目立たなくし、画質の良好でダイナミックレンジの広い画像を得ることができる。
【００６２】
ぶれ判定信号が手ぶれの場合、動きベクトルの方向に画像全体をずらして合成する。まず、座標変換手段91により画像ｂを動きベクトルの方向にずらした画像を生成する。スイッチ94をｓ１側に接続し、合成手段92では、画像ａと、前記画像ｂを動きベクトルの方向にずらした画像とを合成する。スイッチ95はｓ１に接続して、ローパスフィルタはかけずにメモリ３に格納する。この処理で得られる画像は図16に示すように、手ぶれによる画像ぶれの補正された画像になっており、画質の良好でダイナミックの広い画像を得ることができる。
【００６３】
以上、本実施の形態によると、画像が手ぶれを生じているか被写体ぶれを生じているかを、画像として一つの動きベクトル及び二値画像間の演算のみを用いて判定し、ぶれの種類に応じて画像合成の方法を適切に切り換えるため、簡易な処理でぶれ判定が可能であり、且つ、画質の良好でダイナミックレンジの広い画像を得ることができる。
【００６４】
（第２の実施の形態）
次に、本発明の第２の実施の形態について説明する。図17は、本実施の形態に係る画像合成装置の構成を示すブロック図である。切換手段13ａ以外の構成は、第１の実施の形態と同一であるので説明を割愛する。本実施の形態における切換手段13ａでは、スイッチ16〜18を適宜切り換えて、手ぶれ補正処理部14，若しくは、被写体ぶれ補正処理部15のいずれか、若しくは両方の処理を行って合成画像を出力する。
【００６５】
図18は、本実施の形態における切換手段13ａの具体的な構成例を示すブロック図である。座標変換手段91，合成手段92，ローパスフィルタ93，スイッチ94，95は、図14に示した第１の実施の形態における切換手段13と同一であるので説明を割愛する。スイッチ96は、ぶれ判定信号に応じて、ローパスフィルタをかける領域を、動きベクトル検出領域と差分画像とで切り換えるスイッチである。
【００６６】
次に、ぶれ判定信号が被写体ぶれと手ぶれの各々の場合についての画像合成動作について説明する。ぶれ判定信号が被写体ぶれの場合、スイッチ96はｓ２側に接続し、ローパスフィルタをかける領域として動きベクトル検出領域が選択されるので、第１の実施の形態と同様の処理が行われる。ぶれ判定信号が手ぶれの場合、動きベクトルの方向に画像全体をずらして合成するまでは第１の実施の形態と同様である。すなわち、座標変換手段91により画像ｂを動きベクトルの方向にずらした画像を生成し、スイッチ94をｓ１側に接続して、画像ａと、前記画像ｂを動きベクトルの方向にずらした画像とを合成手段92にて合成する。
【００６７】
次いで、スイッチ96をｓ１側に接続し、差分画像に対応する領域にローパスフィルタ処理を行う。図12で示したように、差分画像とは、二値画像ａと、二値画像ｂを動きベクトルの方向にずらした画像との不一致領域であり、手ぶれによる補正画像のぶれ発生領域と一致する。したがって、手ぶれによる補正後に残ったぶれ領域のみにローパスフィルタがかかることになる。最後にスイッチ95をｓ２側に接続し、前記ローパスフィルタをかけた画像を合成画像としてメモリ３に格納する。
【００６８】
図19は、手ぶれと被写体ぶれが共に発生している画像を合成した例を示したものである。手ぶれの補正後も飛行機の部分にはぶれが残るが、上記方法によりローパスフィルタをかける事で、飛行機のぶれ部分が目立たなくなり、更に画質の良好でダイナミックレンジの広い画像を得ることができる。
【００６９】
以上、本実施の形態によると、画像が手ぶれを起こしている場合は、画像をずらして合成する事により手ぶれを補正し、更に、補正後に残ったぶれ部分にはローパスフィルタをかけてぶれを目立たなくできる。したがって、手ぶれと被写体ぶれの混在した画像に対しても、画質の良好でダイナミックレンジの広い画像を得ることができる。
【００７０】
【発明の効果】
以上実施の形態に基づいて説明したように、請求項１に係る発明によれば、画像全体として一つの動きベクトルを検出し、その動きベクトルをもとに画像が被写体ぶれか手ぶれかを判定し、その判定結果に応じて画像の合成方法を適応的に切り換えるようにしているので、画質が良好でダイナミックレンジの広い画像を得ることができる。更に動きベクトルを検出する領域を特定して狭めているので、少ない演算で動きベクトルを検出することができる。更に動きベクトルの算出において基準となるブロックを一つに限定するようにしているので、少ない演算量で動きベクトルの検出を行うことができる。更に無意味な動きベクトルが出力されるのを防止でき、ぶれ判定の精度を向上させることができる。更に動きベクトル検出領域内の画像が輝度変化のない画像であるかを調べ、該当する場合は動きベクトルの検出に適さない画像として動きベクトルを出力しないようにしているので、動きベクトルの検出精度を向上させることができる。
【００７１】
また請求項２に係る発明によれば、二値化した画像同士を比較することにより不一致領域を特定し、単純な処理により動きベクトルの検出領域を特定することができる。また請求項３に係る発明によれば、二値画像の不一致領域を画像間でぶれの発生している領域として検出することが可能となる。また請求項４に係る発明によれば、ノイズ等の発生する不一致領域を除外することができ、画像ぶれに起因する不一致領域の検出をより妥当性の高いものにすることができる。また請求項５に係る発明によれば、ブロックマッチング法を用いることにより容易に動きベクトルを検出することができる。また請求項６に係る発明によれば、複数ブロックとの類似度の間に差がない場合、算出した動きベクトルの妥当性が低いと判断して出力しないようにしているので、動きベクトルの検出精度を向上させることができる。また請求項７に係る発明によれば、被写体ぶれの部分にローパスフィルタをかけるようにしているので、ぶれ部分をぼかすことができ、画質が良好でダイナミックレンジの広い画像が得られる。また請求項８に係る発明によれば、手ぶれを補正する方向に一方の画像をずらして合成するようにしているので、画質の良好なダイナミックレンジの広い画像が得られる。
【００７２】
また請求項９に係る発明によれば、画像全体として一つの動きベクトルを検出し、その動きベクトルをもとに画像が被写体ぶれか手ぶれかを判定し、その判定結果に応じて画像の合成方法を適応的に切り換えるようにしているので、画質が良好でダイナミックレンジの広い画像を得ることができる。更に動きベクトルを検出する領域を特定して狭めているので、少ない演算で動きベクトルを検出することができる。更に二値化した画像同士を比較することにより不一致領域を特定し、単純な処理により動きベクトルの検出領域を特定することができる。更に、座標変換された一方の二値画像と他方の二値画像間の不一致領域を求めて画像の手ぶれを判定するようにしているので、画像が手ぶれを起こしているかを正確に判定することができる。
【００７３】
また請求項10に係る発明によれば、二つの二値画像間の不一致画素数の総数を出力するようにしているので、それを画像ぶれの領域の大きさとしてぶれ判定を行うことができる。また請求項11に係る発明によれば、画像として一つの動きベクトルから画像が手ぶれしているかを判定することができる。また請求項12に係る発明によれば、動きベクトルが検出できない画像に関しては、一律に被写体ぶれと判定することができる。また請求項13に係る発明によれば、一方の画像を動きベクトルをもとに座標をずらして合成し、更に不一致領域に対応するぶれの残る領域にはローパスフィルタをかけてぼかすようにしているので、手ぶれと被写体ぶれを同時に補正して画質の良好なダイナミックレンジの広い画像を得ることができる。
【図面の簡単な説明】
【図１】 本発明に係る画像合成装置を含む撮像装置の基本構成を示すブロック図である。
【図２】 本発明の第１の実施の形態に係る画像合成装置の構成を示すブロック図である。
【図３】 図２に示した画像合成装置における動きベクトル検出部の構成を示すブロック図である。
【図４】 画像ａ．ｂ間で被写体のずれている動きベクトル検出領域を示す図である。
【図５】 ブロック設定手段で設定される基準ブロックと、その周囲の探索範囲を示す説明図である。
【図６】 図３に示した動きベクトル検出部における動きベクトル検出領域特定手段の構成を示すブロック図である。
【図７】 図６に示した動きベクトル検出領域特定手段における比較部の構成を示すブロック図である。
【図８】 図３におけるブロック設定手段のブロック設定手法を示す説明図である。
【図９】 図３における有効判定部の構成を示すブロック図である。
【図10】 図２におけるぶれ判定手段の構成を示すブロック図である。
【図11】 図10に示したぶれ判定手段における差分算出手段の構成を示すブロック図である。
【図12】 画像全体が動きベクトルの方向に手ぶれを生じていると仮定して二つの画像を合成した場合に生じる不一致領域を示す図である。
【図13】 図10に示したぶれ判定手段におけるぶれ判定信号生成手段の構成を示すブロック図である。
【図14】 図２における切換手段の構成を示すブロック図である。
【図15】 合成画像のローパスフィルタ処理領域を示す説明図てある。
【図16】 手ぶれによる画像ぶれの補正された画像を示す説明図である。
【図17】 本発明に係る画像合成装置の第２の実施の形態を示すブロック図である。
【図18】 図17における切換手段の構成を示すブロック図である。
【図19】 手ぶれと被写体ぶれが共に発生している画像を合成した場合におけるローパスフィルタ処理領域を示す説明図てある。
【図20】 露光量の異なる画像を合成してダイナミックレンジの広い画像を得る方法を示す概念図である。
【図21】 被写体が移動したり手ぶれが発生している場合の合成画像を示す図である。
【図22】 従来の合成画像における手ぶれ補正手法を示す説明図である。
【図23】 従来の手ぶれ補正手法を適用した画像合成装置の構成例を示すブロック図である。
【図24】 従来の画像合成装置による合成画像を示す図である。
【符号の説明】
１ ＣＣＤ
２ 画像処理装置
３ メモリ
４ 画像合成装置
５ ＣＰＵ
６ バス
11 動きベクトル検出部
12 ぶれ判定手段
13，13ａ 切換手段
14 手ぶれ補正処理部
15 被写体ぶれ補正処理部
16，17，18 スイッチ
21 動きベクトル検出領域特定手段
22 ブロック設定手段
23 動きベクトル算出部
24 有効判定部
31，32 二値化部
33 比較部
41 排他的論理和回路
42 カウンタ
43 比較器
44 セレクタ
51 白とび判定部
52 黒つぶれ判定部
53，54 最大値抽出部
55，56 最小値抽出部
57，58 減算器
59，60 比較器
61 座標変換手段
62 差分算出手段
63 ぶれ判定信号生成手段
71 排他的論理和回路
72 カウンタ
81 動きベクトル有無判定部
82 比較器
83 ＡＮＤ回路
91 座標変換手段
92 合成手段
93 ローパスフィルタ
94，95，96 スイッチ
Claims (13)
- 複数の画像を合成し、ダイナミックレンジの広い画像を得る画像合成装置において、合成する画像間の差異が被写体ぶれによるものか手ぶれによるものかを判定するぶれ種類判定手段と、該ぶれ種類判定手段からのぶれ判定信号に応じて画像合成方法を切り換える切換手段とを備え、前記ぶれ種類判定手段は、前記複数の画像のうち一方の画像と他方の画像との間で画像全体としての１つの動きベクトルを検出して出力する動きベクトル検出部と、該動きベクトル検出部で検出された前記動きベクトルより画像が被写体ぶれ、手ぶれのいずれであるかを判定し、ぶれ判定信号として出力するぶれ判定手段と、動きベクトルを検出する領域を特定する動きベクトル検出領域特定手段とを有し、前記動きベクトル検出部は、前記動きベクトルを検出する領域内で動きベクトルを検出するものであって、前記動きベクトル検出領域に対応する前記一方の画像内の領域内に特定の一ブロックを設定するブロック設定手段と、この特定の一ブロックに対してのみ前記他方の画像内の複数のブロックとの類似度を演算し、最も類似度が高いブロックへのベクトルを上記動きベクトルとして出力する動きベクトル算出部と、前記動きベクトルを前記ぶれ判定手段に出力するか否かを判定する有効判定部とを有し、前記有効判定部は、入力画像の前記動きベクトル検出領域の輝度値が所定の値より小さく黒に近いことを検出する黒レベル検出部と、入力画像の前記動きベクトル検出領域の輝度値が所定の値より大きく白に近いことを検出する白レベル検出部と、入力画像の前記動きベクトル検出領域の各画素間の輝度値差が所定の値より小さいことを検出する輝度差検出部とを有し、黒レベル検出又は白レベル検出又は輝度差検出がいずれも検出されなかった場合に、前記ぶれ判定手段に前記動きベクトルを出力させるように構成されていることを特徴とする画像合成装置。
- 前記動きベクトル検出領域特定手段は、前記一方の画像と前記他方の画像を各々所定の閾値で二値化し二値画像を出力する二値化部と、前記一方の二値画像と前記他方の二値画像との比較を行い不一致領域を前記動きベクトルを検出する領域として出力する比較部とを有することを特徴とする請求項１に係る画像合成装置。
- 前記二値化部は、前記一方の画像を二値化する閾値と前記他方の画像を二値化する閾値を、それぞれの画像の露光量に比例した値とすることを特徴とする請求項２に係る画像合成装置。
- 前記比較部は、前記一方の二値画像と前記他方の二値画像とを所定の方向に走査して両画像間の比較を行い、その比較結果が一定数連続して不一致となった場合に限り前記動きベクトルを検出する領域を示す信号を出力するように構成されていることを特徴とする請求項２に係る画像合成装置。
- 前記動きベクトル算出部は、ブロックマッチング法を用いて前記動きベクトルを検出して出力するように構成されていることを特徴とする請求項１に係る画像合成装置。
- 前記有効判定部は、前記類似度の最大値と最小値の差が所定の範囲以上であった場合に前記ぶれ判定手段に前記動きベクトルを出力させるように構成されていることを特徴とする請求項１に係る画像合成装置。
- 前記切換手段は、前記ぶれ判定信号が被写体ぶれを示す場合、前記一方の画像と前記他方の画像を合成して得られる画像に対して、前記動きベクトル検出領域に対応する画像信号にローパスフィルタをかけるように構成されていることを特徴とする請求項１に係る画像合成装置。
- 前記切換手段は、前記ぶれ判定信号が手ぶれを示す場合、前記動きベクトルをもとに前記一方の画像を水平及び垂直方向に座標をずらした画像と、前記他方の画像とを合成するように構成されていることを特徴とする請求項１に係る画像合成装置。
- 複数の画像を合成し、ダイナミックレンジの広い画像を得る画像合成装置において、合成する画像間の差異が被写体ぶれによるものか手ぶれによるものかを判定するぶれ種類判定手段と、該ぶれ種類判定手段からのぶれ判定信号に応じて画像合成方 法を切り換える切換手段とを備え、前記ぶれ種類判定手段は、前記複数の画像のうち一方の画像と他方の画像との間で画像全体としての１つの動きベクトルを検出して出力する動きベクトル検出部と、該動きベクトル検出部で検出された前記動きベクトルより画像が被写体ぶれ、手ぶれのいずれであるかを判定し、ぶれ判定信号として出力するぶれ判定手段と、動きベクトルを検出する領域を特定する動きベクトル検出領域特定手段とを有し、前記動きベクトル検出部は、前記動きベクトルを検出する領域内で動きベクトルを検出するものであって、前記動きベクトル検出領域特定手段は、前記一方の画像と前記他方の画像を各々所定の閾値で二値化し二値画像を出力する二値化部と、前記一方の二値画像と前記他方の二値画像との比較を行い不一致領域を前記動きベクトルを検出する領域として出力する比較部とを有し、前記ぶれ判定手段は、前記動きベクトルをもとに前記一方の画像に係る二値画像の座標を水平及び垂直方向にずらす座標変換手段と、前記座標変換手段により座標変換された画像と、前記他方の画像に係る二値画像を入力し、画像間の不一致領域を差分情報として出力する差分算出手段と、前記差分情報より画像が被写体ぶれ、手ぶれのいずれかを判定し、その判定信号を出力するぶれ判定信号生成手段とを有することを特徴とする画像合成装置。
- 前記差分算出手段は、前記比較部により得られる二つの二値画像間の不一致画素の総数を出力するように構成されていることを特徴とする請求項９に係る画像合成装置。
- 前記ぶれ判定信号生成手段は、前記差分情報が所定の閾値以下であれば手ぶれと判定し、前記差分情報が前記閾値以上であれば被写体ぶれと判定するように構成されていることを特徴とする請求項９に係る画像合成装置。
- 前記ぶれ判定信号生成手段は、前記動きベクトルが検出されないときには被写体ぶれと判定するするように構成されていることを特徴とする請求項９に係る画像合成装置。
- 複数の画像を合成し、ダイナミックレンジの広い画像を得る画像合成装置において、合成する画像間の差異が被写体ぶれによるものか手ぶれによるものかを判定するぶれ種類判定手段と、該ぶれ種類判定手段からのぶれ判定信号に応じて画像合成方法を切り換える切換手段とを備え、前記ぶれ種類判定手段は、前記複数の画像のうち一方の画像と他方の画像との間で画像全体としての１つの動きベクトルを検出して出力する動きベクトル検出部と、該動きベクトル検出部で検出された前記動きベクトルより画像が被写体ぶれ、手ぶれのいずれであるかを判定し、ぶれ判定信号として出力するぶれ判定手段とを有し、前記複数の画像を各々所定の閾値で二値化して二値画像を得て、前記他方の画像に係る二値画像と、前記動きベクトルをもとに前記一方の画像に係る二値画像の座標を水平及び垂直方向にずらした画像とから、画像間の不一致領域を求め、前記切換手段は、前記ぶれ判定信号が手ぶれを示す場合、前記動きベクトルをもとに前記一方の画像を水平及び垂直方向に座標をずらした画像と、前記他方の画像とを合成して得られる手ぶれ補正画像に対して、前記不一致領域に対応する画像信号にローパスフィルタをかけるように構成されていることを特徴とする画像合成装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001324972A JP3866957B2 (ja) | 2001-10-23 | 2001-10-23 | 画像合成装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001324972A JP3866957B2 (ja) | 2001-10-23 | 2001-10-23 | 画像合成装置 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2006245528A Division JP2006325274A (ja) | 2006-09-11 | 2006-09-11 | 撮像装置 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2003134385A JP2003134385A (ja) | 2003-05-09 |
| JP2003134385A5 JP2003134385A5 (ja) | 2005-06-30 |
| JP3866957B2 true JP3866957B2 (ja) | 2007-01-10 |
Family
ID=19141613
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001324972A Expired - Fee Related JP3866957B2 (ja) | 2001-10-23 | 2001-10-23 | 画像合成装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3866957B2 (ja) |
Families Citing this family (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4379918B2 (ja) | 2004-11-29 | 2009-12-09 | 富士フイルム株式会社 | 撮影装置及び撮影方法 |
| WO2006064751A1 (ja) | 2004-12-16 | 2006-06-22 | Matsushita Electric Industrial Co., Ltd. | 複眼撮像装置 |
| JP4487191B2 (ja) | 2004-12-24 | 2010-06-23 | カシオ計算機株式会社 | 画像処理装置および画像処理プログラム |
| WO2007032082A1 (ja) * | 2005-09-16 | 2007-03-22 | Fujitsu Limited | 画像処理方法及び画像処理装置 |
| JP4695972B2 (ja) * | 2005-12-14 | 2011-06-08 | キヤノン株式会社 | 画像処理装置、撮像装置および画像処理方法 |
| JP5079271B2 (ja) * | 2006-06-28 | 2012-11-21 | 京セラ株式会社 | 手ぶれ量検出装置、手ぶれ補正装置、撮像装置及び手ぶれ量検出方法 |
| JP5079284B2 (ja) * | 2005-12-26 | 2012-11-21 | 京セラ株式会社 | 手ぶれ量検出装置、手ぶれ補正装置、撮像装置及び手ぶれ量検出方法 |
| JP5079253B2 (ja) * | 2006-04-05 | 2012-11-21 | 京セラ株式会社 | 手ぶれ量検出装置、手ぶれ補正装置、撮像装置及び手ぶれ量検出方法 |
| US8542278B2 (en) | 2005-12-26 | 2013-09-24 | Kyocera Corporation | Shaking detection device, shaking correction device, imaging device, and shaking detection method |
| CN101512596B (zh) | 2006-09-14 | 2012-06-13 | 富士通株式会社 | 图像处理方法和装置 |
| JP4905187B2 (ja) * | 2007-03-09 | 2012-03-28 | ソニー株式会社 | 画像処理装置、撮像装置、および画像処理方法、並びにコンピュータ・プログラム |
| WO2009131382A2 (en) * | 2008-04-22 | 2009-10-29 | Core Logic Inc. | Apparatus and method for correcting moving image wavering |
| WO2010116400A1 (ja) | 2009-03-30 | 2010-10-14 | 富士通株式会社 | 被写体動き検出装置および方法 |
| JP5182395B2 (ja) * | 2011-04-27 | 2013-04-17 | カシオ計算機株式会社 | 撮像装置、撮像方法および撮像プログラム |
| EP2717012B1 (en) | 2011-05-27 | 2016-07-27 | Panasonic Intellectual Property Management Co., Ltd. | Image processing apparatus and image processing method |
| KR101864450B1 (ko) * | 2011-10-31 | 2018-06-04 | 엘지이노텍 주식회사 | 카메라 모듈 및 그의 화상 보정 방법 |
| CN107995432A (zh) * | 2016-10-26 | 2018-05-04 | 努比亚技术有限公司 | 一种实现慢门拍照的方法和装置 |
| JP2018164146A (ja) * | 2017-03-24 | 2018-10-18 | カシオ計算機株式会社 | 画像処理装置、画像処理方法、及びプログラム |
| WO2020042021A1 (zh) * | 2018-08-29 | 2020-03-05 | 深圳市大疆创新科技有限公司 | 电子设备的控制方法、装置、电子设备及存储介质 |
-
2001
- 2001-10-23 JP JP2001324972A patent/JP3866957B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003134385A (ja) | 2003-05-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3866957B2 (ja) | 画像合成装置 | |
| CN111028189B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| KR101661215B1 (ko) | 영상 처리 방법 및 영상 처리 장치 | |
| JP4639555B2 (ja) | 動きベクトル検出装置および方法、手振れ補正装置および方法、並びに撮像装置 | |
| CN110290323B (zh) | 图像处理方法、装置、电子设备和计算机可读存储介质 | |
| JP6833415B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
| JPH08172566A (ja) | 手振れ補正装置およびそれを用いたビデオカメラ | |
| CN109076144B (zh) | 图像处理装置、图像处理方法以及存储介质 | |
| CN112215875A (zh) | 图像处理方法、装置和电子*** | |
| JP2006325274A (ja) | 撮像装置 | |
| JP4050498B2 (ja) | 画像合成装置 | |
| CN111539975B (zh) | 一种运动目标的检测方法、装置、设备及存储介质 | |
| JP2679778B2 (ja) | 画像の動き検出装置 | |
| JP7458819B2 (ja) | 撮像装置、制御方法、プログラム及び記憶媒体 | |
| KR960002548B1 (ko) | 특정 화상의 추출 방법 및 시스템 | |
| CN111885371A (zh) | 图像遮挡检测方法、装置、电子设备和计算机可读介质 | |
| US20200092452A1 (en) | Image generating method and electronic apparatus | |
| CN110930440A (zh) | 图像对齐方法、装置、存储介质及电子设备 | |
| JP2003078808A (ja) | 動きベクトル検出装置および方法、手振れ補正装置および方法、並びに撮像装置 | |
| JPH1098644A (ja) | 動き検出装置 | |
| JPH04309078A (ja) | ビデオデータの動き検出装置および方法 | |
| JP6120632B2 (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
| JP2008048459A (ja) | 画像合成装置 | |
| CN110892227A (zh) | 投影摄像***、测量装置以及投影摄像方法 | |
| JP3727460B2 (ja) | 動きベクトル検出回路 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041012 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041012 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060623 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060711 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060911 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20061003 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20061006 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101013 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |