JP4050498B2 - 画像合成装置 - Google Patents
画像合成装置 Download PDFInfo
- Publication number
- JP4050498B2 JP4050498B2 JP2001341374A JP2001341374A JP4050498B2 JP 4050498 B2 JP4050498 B2 JP 4050498B2 JP 2001341374 A JP2001341374 A JP 2001341374A JP 2001341374 A JP2001341374 A JP 2001341374A JP 4050498 B2 JP4050498 B2 JP 4050498B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- shake
- blur
- unit
- detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Studio Devices (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は、複数の画像を合成して、ダイナミックレンジを拡大して出力するぶれ補正機能を備えた画像合成装置に関する。
【０００２】
【従来の技術】
従来、複数の露光量の異なる画像を合成し、ダイナミックレンジの広い画像を得る画像合成装置が知られているが、その概略構成を図21に示し、またその動作のタイミングチャートを図22に示す。これらの図に示すように、ＣＣＤ，ＣＭＯＳセンサ等の撮像素子201 は露光量の異なる複数の画像を撮像し、順次出力してＡ／Ｄ変換器202 でＡ／Ｄ変換する。ここでは露光量の多い画像を画像ａ，露光量の少ない画像を画像ｂとする。そして、図22のタイミングチャートに示すように両画像ａ，ｂのタイミングを一致させるため、フレームメモリ203 により遅延させている。また、両画像を単純に合成した場合に、その切り換わり部分が不自然となるため、第１及び第２のレベル変換回路204 ，205 により所定のレベル変換を行ない、両画像ａ，ｂのレベルを合わせた後、合成回路206 により合成を行なうようになっている。タイミングチャートでは、例えば第ｎフレームの画像を(n) で表している。ｎフレーム目の画像合成は、１フレーム遅延させた画像ａ(n) と画像ｂ(n) から合成を行ない、合成画像(n) を得ている。
【０００３】
図23は画像合成の例を示す概念図である。図23の（１）は、露光量の多い画像ａである。この場合、人物に露出が合っているため、背景が白くとんでしまっている。図23の（２）は、露光量の少ない画像ｂである。この場合は、背景に露出が合っているため、人物が黒くつぶれている。合成時には、所定の閾値によりａ，ｂどちらの画像を採用するかを選択する。図23の（３）には、画像ａにおいて閾値以下となった部分を網掛け処理した二値画像を示す。また、図23の（４）には、画像ｂにおいて閾値以上となった部分を網掛け処理した二値画像を示す。網掛け処理した二値画像のそれぞれを合成した画像を図23の（５）に示す。このように、画像ａ，画像ｂから合成することで、白とび、黒つぶれのない、ダイナミックレンジの広い画像を得ている。
【０００４】
上記のように、順次撮像した複数画像を合成する場合、ぶれ等があった場合には、それぞれの画像で被写体の位置が異なり、合成時に被写体がずれてしまう。このような位置ずれに対するぶれ補正装置が、特許３１１０７９７号に提案されている。次に、特許３１１０７９７号提案の画面ぶれ及び画像合成の概念を図24に示す。この例では、手ぶれにより、画像ａと画像ｂがずれて撮像されている場合を示している。図24の（Ａ）は、同一の点が合致するように画像ａ，ｂをそれぞれずらして合成した態様を示している。図24の（Ａ）に示す点ｐは、図24の（Ｂ），（Ｃ）に示すように、画像ａと画像ｂそれぞれの画像においては、Ｐa ，Ｐb の座標になっている。
【０００５】
図25は、上記特許で開示されている画像合成装置の構成を示すブロック図である。Ａ／Ｄ変換器301 でＡ／Ｄ変換された入力画像に対し動き検出回路306 により動きベクトルを検出し、画像ａ，画像ｂの共通部分をメモリ制御回路305 によってフィールドメモリ304aより読み出す。共通部分は本来の撮像エリアより小さくなるため、拡大補間回路302aにより拡大補間処理を行ない元のサイズへ戻したのち、フィールドメモリ304bから出力される前フィールドの画像と合成部302bにより合成し、Ｄ／Ａ変換器303 でＤ／Ａ変換されて、ぶれを補正した画像が出力するように構成されている。
【０００６】
【発明が解決しようとする課題】
上記のように、提案の補正技術においては、画面全体を動きベクトルに従って移動させ、共通エリアを得て合成を行なっている。しかし、画像のぶれには画面全体が移動する手ぶれだけではなく、一部の被写体が移動する被写体ぶれがある。図26に、その被写体ぶれの概念を示す。この例では、画像ａ，ｂにおいて、背景についてはぶれが発生していないが、人物に関しては被写体ぶれが発生している。この場合、背景に着目してぶれ補正を行なわない場合には、合成画像（１）に示すように人物が二重に写ってしまい、また、人物に着目してぶれ補正（座標移動）を行なうと、合成画像（２）に示すように画面全体の移動により、背景が二重に写ってしまう。従来提案の技術では、このような観点について考慮がなされていない。
【０００７】
本発明は、この観点に着目してなされたものであり、手ぶれと被写体ぶれの検出及び補正を実施し、画質の良好なダイナミックレンジの広い画像を得ることの可能な画像合成装置を提供することを目的とするものである。
【０００８】
【課題を解決するための手段】
上記問題点を解決するため、請求項１に係る発明は、複数の画像を合成し、ダイナミックレンジの広い画像を得る画像合成装置において、前記複数の画像間の画像のぶれが被写体ぶれによるものか手ぶれによるものかを検出するぶれ検出手段と、被写体ぶれを補正して複数の画像を合成する第１の画像合成手段と、手ぶれを補正して複数の画像を合成する第２の画像合成手段と、前記ぶれ検出手段からのぶれ検出信号に応じて、前記第１の画像合成手段と前記第２の画像合成手段とを切り換える切換手段と、前記複数の画像の一方の画像と他方の画像より、画像の合成の対象となる合成対象領域を検出する合成対象領域検出手段と、前記合成対象領域を所定のグループに分けるグループ化手段とを有し、前記ぶれ検出手段は前記合成対象領域のグループ毎に被写体ぶれか手ぶれかを検出し、前記切換手段は、前記ぶれ検出手段からのぶれ検出信号に基づいて、前記合成対象領域のグループ毎に前記第１の画像合成手段と前記第２の画像合成手段とを切り換えるように構成されていることを特徴とするものである。
【０００９】
この請求項１に係る発明の構成には、図１及び図２に示す実施の形態の構成が対応する。そして、この発明の構成要件のぶれ検出手段には、図２のＣＰＵ６におけるぶれ検出部61が対応し、また第１の画像合成手段と第２の画像合成手段には、手ぶれ補正処理部62及び被写体ぶれ補正処理部63が対応し、また合成対象領域検出手段には、図２の画像処理回路３における合成対象領域検出部 31 が、グループ化手段にはラベリング部 32 が対応する。また、ぶれ検出手段にはぶれ検出部 61 が、第１の画像合成手段と第２の画像合成手段には、手ぶれ補正処理部 62 及び被写体ぶれ補正処理部 63 が対応する。
【００１０】
この構成の画像合成装置においては、ぶれ検出部61は、合成される画像から、画面全体が動く手ぶれか一部が動く被写体ぶれかを判定する。手ぶれ発生時には、画像が平行移動するため座標変換により補正することが望ましい。また、被写体ぶれ発生時には画像の一部のみが動くため、合成時に画像が二重になる不一致部に対しローパスをかけることにより補正することが望ましい。よって、手ぶれ補正処理部62及び被写体ぶれ補正処理部63はぶれ判定結果に従い、それぞれに対応した補正処理を行う。
【００１１】
また、この構成の画像合成装置においては、例えば図８の（１），（２）に示すように、合成が３つの被写体について行われ、それぞれ手ぶれ及び被写体ぶれが発生している場合には、まず合成対象領域検出部31は、画像ａ，ｂにおいて合成の対象となる領域を検出する。図８の（３）に示す領域が、画像ａ，ｂから合成される合成対象領域である。次に、ラベリング部32は、合成対象領域についてラベリング処理、すなわちラベル付けを行う。この例では、被写体毎にラベル１〜３が割り当てられる。ぶれ検出部61によるぶれ検出は、ラベル毎にぶれ検出を行う。すなわち、この例では平行移動であるラベル１，２の領域は手ぶれと判定され、ラベル３の領域は被写体ぶれと判定される。次に、画像合成を行なうが、各ラベル毎に判定結果に基づき、手ぶれと判定されたラベルには、座標変換により補正を行ない、被写体ぶれと判定されたラベルでは、ローパスフィルタをかけることにより補正を行なう。この補正処理の結果が図８の（４）に示す合成画像である。
【００１２】
したがって、請求項１に係る発明によれば、上記のように適応的に補正を行なうことにより、手ぶれが発生した場合にも、被写体ぶれが発生した場合にも、良好な広ダイナミックレンジの合成画像を得ることが可能となる。また、各グループ毎に適応的に補正を行なうことにより、手ぶれと被写体ぶれが同時に発生した場合にも、良好な広ダイナミックレンジの合成画像を得ることが可能となる。
【００１３】
請求項２に係る発明は、請求項１に係る画像合成装置において、前記複数の画像間の画像のぶれを検出する対象となるぶれ検出対象領域を設定するぶれ検出対象領域設定手段を更に備え、前記ぶれ検出手段は、前記ぶれ検出対象領域内でのみぶれを検出するように構成されていることを特徴とするものである。
【００１４】
この請求項２に係る発明の構成には、図１及び図２に示す実施の形態の構成が対応する。そして、この発明の構成要件のぶれ検出対象領域設定手段には、図２の画像処理回路３におけるぶれ検出対象領域設定部33が対応し、ぶれ検出手段12には同様にぶれ検出部61が対応する。
【００１５】
この構成の画像合成装置においては、ぶれ検出対象領域設定部33は、ぶれ検出の対象を画像の一部に限定し、ぶれ検出部61はこの一部に対してのみ処理を行っている。これにより、本発明においては、ぶれ検出の処理が軽減され、高速に処理を行うことが可能となる。
【００１６】
請求項３に係る発明は、請求項２に係る画像合成装置において、前記一方の画像と前記他方の画像を各々所定の閾値で二値化し二値画像を出力する二値化手段を更に備え、前記ぶれ検出対象領域設定手段は、前記一方の二値画像と前記他方の二値画像との比較を行い、不一致領域を前記ぶれ検出対象領域として出力する比較手段を備えていることを特徴とするものである。
【００１７】
この請求項３に係る発明の構成には、図３に示す実施の形態の画像処理回路の構成が対応する。そして、この発明の構成要件の二値化手段には、図３における二値化回路35が、比較手段にはＸＯＲ回路33-1が対応する。
【００１８】
この構成の画像合成装置においては、二値化回路35により、入力画像ａ，ｂの二値化を行い、単純に合成した場合に二重になってしまう領域を、画像ａ，ｂの二値画像からＸＯＲ回路33-1により検出する。図７の（２）に、ぶれ検出対象領域の一例を示す。このように、本発明によれば、簡易な回路により、ぶれが発生している領域を検出することが可能となる。
【００１９】
請求項４に係る発明は、請求項３に係る画像合成装置において、前記比較手段は、前記一方の二値画像と前記他方の二値画像とを所定の方向に走査して両画像間の比較を行い、その比較結果が一定数連続して不一致となった場合に限り、ぶれ検出対象領域を示す信号を出力するように構成されていることを特徴とするものである。
【００２０】
この請求項４に係る発明の構成には、図３に示す実施の形態の画像処理回路の構成が対応する。そして、この発明の構成要件の比較手段には、図３におけるＸＯＲ回路33-1と連続検出回路33-2が対応する。
【００２１】
この構成の画像合成装置においては、ＸＯＲ回路33-1により画像間のずれを検出する場合、ノイズ等の影響により二値画像には微小なずれが発生する。これに対し、連続検出回路33-2は、所定の値以上連続した場合のみ出力を変化させることにより、微小なずれによる影響を除去している。このように、本発明によれば、画像間のぶれ検出の際に微小な不一致領域を除去するため、ノイズ等によりぶれ検出領域が大量に検出され、演算時間が増大することを防止することが可能となる。
【００２２】
請求項５に係る発明は、請求項３に係る画像合成装置において、前記合成対象領域検出手段は、前記比較手段により不一致領域とされた領域と、前記一方の二値画像と前記他方の二値画像とのいずれか一方の画像において前記閾値以上であるとされた領域とを含めた領域を、前記合成対象領域として出力することを特徴とするものである。
【００２３】
この請求項５に係る発明の構成には、図３に示す実施の形態の画像処理回路の構成が対応する。この発明の構成要件の合成対象領域検出手段には、図３におけるＯＲ回路31-1が対応する。
【００２４】
この構成の画像合成装置においては、合成対象領域は画像ａ及び画像ｂにおいてぶれを含む、合成対象となる領域全てである。図７の（３）に合成対象領域の一例を示す。不一致領域は、ずれの発生した領域のみであり、合成対象領域は、この領域に画像ａ，ｂの共通領域を付加したものである。このように、画像ａと不一致領域とのＯＲ処理を行ったものが、合成対象領域となる。このように、本発明によれば、簡易な回路により合成対象領域を検出することが可能となる。
【００２５】
請求項６に係る発明は、請求項３に係る画像合成装置において、前記二値化手段は、前記一方の画像を二値化する閾値と前記他方の画像を二値化する閾値を、それぞれの画像の露光量に比例した値とすることを特徴とするものである。
【００２６】
この請求項６に係る発明の構成には、図４に示す実施の形態の二値化回路の構成が対応する。
【００２７】
この構成の画像合成装置においては、画像ａ，ｂは、それぞれ比較回路ａ35-1，比較回路ｂ35-2により閾値と比較され、二値化される。本実施の形態では、画像ａの閾値は、除算回路35-3により求められた露光量の比Ｅａ／Ｅｂと、画像ｂの閾値を乗算回路35-4により演算することにより求めている。図５の（１），（２）に示すように、画像ａの輝度値の波形は、画像ｂを高さ方向に露光比倍したものとなる。この輝度値の波形に対し、画像ａに対して露光比倍した閾値を与えると、画像ｂの閾値に対応するレベルでの二値化を行うことが可能となる。これにより、本発明によれば、簡易な回路により両画像の二値化を行うことが可能となる。
【００２８】
請求項７に係る発明は、請求項１に係る画像合成装置において、前記グループ化手段は、前記合成対象領域の連結態様を検出し、連結している領域毎にラベルを付与することによりグループ分けを行なうように構成されていることを特徴とするものであ。
【００２９】
この請求項７に係る発明の構成には、図９の（１）のラベリングのフローチャートに示す動作を行うラベリング部32の構成が対応する。
【００３０】
この構成の画像合成装置において、図９の（１）のフローチャートに示す動作は、図９の（３）に示すように左から右へ画素毎の走査を行い、また、更に上から下へ走査を行う場合のラベリングの動作である。このように、注目画素に対し、図９の（２）においてＡ，Ｂで示す周辺画素との連結を検査し、連結している場合には同一のラベルを付与する。図10の（１）にラベリング画像の様子を示す。このように合成対象領域の一つの塊があった場合、順次ラベルを与え、最終的に同一のラベルを与えている。このように、本発明によれば、合成対象領域の塊毎に、ぶれの検出及び合成を行うため、良好な合成画像を得ることが可能となる。
【００３１】
請求項８に係る発明は、請求項２に係る画像合成装置において、前記ぶれ検出手段は、前記ぶれ検出対象領域内からぶれ検出を実施する領域を特定する特定領域設定手段と、前記一方の画像内における前記特定領域に基準ブロックを設定し、該基準ブロックと前記他方の画像における前記特定領域及びその周辺領域からなる探索領域内の複数の参照ブロックとの類似度を演算し、最も類似度が大きい参照ブロックを検出する第１のブロックマッチング手段と、前記第１のブロックマッチング手段における前記一方の画像と前記他方の画像とを入れ替えて、前記第１のブロックマッチング手段と同様の処理を行う第２のブロックマッチング手段と、前記第１のブロックマッチング手段からの出力と、前記第２のブロックマッチング手段からの出力とに基づいて、手ぶれと被写体ぶれを判定するぶれ判定手段を有することを特徴とするものである。
【００３２】
この請求項８に係る発明の構成には、図12に示す実施の形態のぶれ検出部61の構成が対応する。この発明の構成要件の特定領域設定手段には、特定領域設定部61-1が、第１のブロックマッチング手段と第２のブロックマッチング手段には、それぞれブロックマッチング算出部(1)61-2 とブロックマッチング算出部(2)61-3 が、ぶれ判定手段にはぶれ判定部61-5が対応する。
【００３３】
この実施の形態のぶれ検出部61においては、特定領域設定部61-1は、ブロックマッチングの対象となるブロックの選定を行う。ブロックマッチング算出部(1)61-2 ，(2)61-3 は、それぞれ画像ａ，画像ｂを基準とし、他方の画像に対し、類似したブロックの探索を行うものである。ぶれ判定部61-5は、ブロックマッチング算出部(1)61-2 ，(2)61-3 の結果より、手ぶれか被写体ぶれの判定を行う。図17の（１）は被写体ぶれが起きている画像の一例である。左側は画像ｂを基準とした場合で、右側が画像ａを基準とした場合である。左側の例では、探索により類似のブロックが検出されるが、右側の場合には、被写体ぶれにより、背景の一部が被写体により隠れているため、類似ブロックの検出はできない。以上のようにブロックマッチングの結果よりぶれ判定を行う。このように、本発明によれば、ブロックマッチングを相互に行うことにより、確実にぶれ判定を行うことが可能となる。
【００３４】
請求項９に係る発明は、請求項８に係る画像合成装置において、前記ぶれ判定手段は、前記基準ブロックに対する類似度が最大となる参照ブロックへのベクトルを動きベクトルとして演算するベクトル演算手段を有し、前記一方の画像の前記特定領域を基準ブロックとした場合の動きベクトルと、前記他方の画像の前記特定領域を基準ブロックとした場合の動きベクトルとを加算した結果が所定の値以下である場合には手ぶれと判定し、そうでない場合には被写体ぶれと判定することを特徴とするものである。
【００３５】
この請求項９に係る発明の構成には、図13のぶれ検出部のフローチャートに示す動作を行う構成が対応する。そして、請求項10の構成要件のぶれ判定手段には図12におけるぶれ判定部61-5が対応し、ベクトル演算手段には、図13のステップＳ104 のベクトル演算を行う手段が対応し、また、ベクトルの差の演算及びぶれの判定はステップＳ105 で行われる。
【００３６】
このように構成されているぶれ判定部61-5においては、ベクトル演算を行うステップＳ105 ではブロックマッチングの結果より演算を行い、画像ａ，ｂのそれぞれを基準とした場合の動きベクトルを算出する。ベクトル差はベクトル同士を加算することにより、それぞれのベクトルが逆方向で且つ同じ大きさであるかどうかを所定の誤差範囲をもって判定している。手ぶれが発生している場合には基本的にベクトルは逆方向となるが、被写体ぶれが起きている画像では、ベクトルが一致しない。このように、請求項９に係る発明によれば、両画像それぞれを基準としたベクトルに対し、簡単な演算を行うことにより、ぶれ判定を行うことが可能となる。
【００３７】
請求項10に係る発明は、請求項８に係る画像合成装置において、前記ぶれ判定手段は、前記一方の画像の特定領域を基準ブロックとした場合の類似度の最大値と、前記他方の画像の特定領域を基準ブロックとした場合の最大値とが、共に所定の値以上である場合には手ぶれと判定し、そうでない場合には被写体ぶれと判定することを特徴とするものである。
【００３８】
この請求項10に係る発明の構成には、図13のぶれ検出部のフローチャートのステップＳ103 で示す動作を行う構成が対応する。この実施の形態では、類似度の検出はブロック間の輝度値の差分の総和により行っているため、類似度の最大値は差分の総和の最小値であるＭin差分値となる。
【００３９】
上記フローチャートのステップＳ103 で示す動作では、ブロックの差分の総和の最小値（Ｍin差分値）が所定の閾値より大きい場合、すなわち探索範囲に類似している画像がないことを検出する。図17の（１）の右側に示す例では、背景の木と類似した画像を探索するが、他方の画像では存在しないため、差分値は所定の値より大きくなる。このように、請求項10に係る発明によれば、両画像それぞれを基準としたベクトルに対し、簡単な演算を行うことにより、確実にぶれ判定を行うことが可能となる。
【００４０】
請求項11に係る発明は、請求項８に係る画像合成装置において、前記特定領域設定手段は、前記合成対象領域の各グループ毎に複数の特定領域を設定し、前記ぶれ検出部は、前記複数の特定領域に対し類似度の検出を行ない、この結果より手ぶれか被写体ぶれかを判定することを特徴とするものである。
【００４１】
この請求項11に係る発明の構成には、図13のぶれ検出のフローチャートで示す動作を行う構成が対応する。このフローチャートでは、ステップＳ101 で示すように、ぶれ検出領域に対してブロックマッチングを実施し、ステップＳ106 に示すようにラベル毎に判定を行う。
【００４２】
上記フローチャートのステップＳ106 に示す動作では、ラベルすなわちグループ毎に、該当ラベル上の全領域に関して判定を実施する。ここでは、同一ラベル上で１箇所被写体ぶれがあった場合には、該当ラベルを被写体ぶれと判定する。このように、請求項11に係る発明によれば、複数箇所でぶれ判定を行うことにより、その確度を上げることが可能となる。
【００４３】
請求項12に係る発明は、請求項８に係る画像合成装置において、前記ぶれ検出手段は、前記第１及び２のブロックマッチング手段により求められた前記類似度及び前記参照ブロックに係る情報を、前記ぶれ判定手段に入力するか否かを判定する有効判定手段を有することを特徴とするものである。
【００４４】
この請求項12に係る発明の構成には、図12に示すぶれ検出部の構成、図13のぶれ検出のフローチャートのステップＳ102 で示す動作を行う構成、及び図16に示す有効性判定のフローチャートで示す動作を行う構成が対応する。
【００４５】
上記フローチャートのステップＳ102 で示す動作は、ブロックマッチングの結果、入力画像等から有効性の判定を行い、有効でない場合にはぶれ検出を実施しないものである。このように、請求項12に係る発明によれば、有効性の有るブロックの結果のみでぶれ判定を行うため、ぶれ判定の誤検出を防止することが可能となる。
【００４６】
請求項13に係る発明は、請求項12に係る画像合成装置において、前記有効判定手段は、前記複数画像の前記特定領域の輝度値が所定の値より小さく黒に近いことを検出する黒レベル検出手段と、前記複数画像の前記特定領域の輝度値が所定の値より大きく白に近いことを検出する白レベル検出手段と、前記複数画像の前記特定領域の各画素間の輝度値差が所定の値より小さいことを検出する輝度差検出手段とを備え、前記黒レベル検出又は白レベル検出又は輝度差検出がいずれも検出されなかった場合には、前記第１及び２のブロックマッチング手段により求められた前記類似度及び前記参照ブロックに係る情報を前記ぶれ判定手段に入力させることを特徴とするものである。
【００４７】
この請求項13に係る発明の構成には、図13のぶれ検出のフローチャートのステップＳ102 で示す動作を行う構成と、図16の有効性判定のフローチャートのステップＳ111 とＳ113 で示す動作を行う構成が対応する。
【００４８】
上記図16のフローチャートのステップＳ111 とＳ113 で示す動作では、画像ａ，ｂそれぞれの探索範囲について、白とび、黒つぶれ、及びブロックマッチングの判定を行いうる所定の輝度の変化が領域内にあるかどうかのチェックを行い、何れかが発生した場合に、有効フラグをリセットする。図13のフローチャートのステップＳ102 では、有効でない場合にはぶれ判定を実施しない。このように、請求項13に係る発明によれば、簡単な画素の演算により有効性を判定することが可能となる。
【００４９】
請求項14に係る発明は、請求項12に係る画像合成装置において、前記有効判定手段は、前記第１及び２のブロックマッチング手段により求められた前記類似度の最大値と最小値の差が所定の範囲以上であった場合に、前記第１及び２のブロックマッチング手段により求められた前記類似度及び前記参照ブロックに係る情報を、前記ぶれ判定手段に入力させることを特徴とするものである。
【００５０】
この請求項14に係る発明の構成には、図12に示すぶれ検出部の構成と、図13のぶれ検出のフローチャートのステップＳ102 で示す動作を行う構成と、図16に示す有効性判定のフローチャートのステップＳ112 とＳ114 で示す動作を行う構成が対応する。
【００５１】
上記図16のフローチャートのステップＳ112 とＳ114 で示す動作では、画像ａ，ｂそれぞれを基準としたブロックマッチングを行った結果により、有効性の判定を行う。すなわち、ブロックマッチングにおいて求められたブロックの差分値（類似度）の最大値と最小値に差がない場合には、類似したブロックが複数あり、ブロックマッチング結果の有効性が低いと判定し、有効フラグをリセットする。図13のフローチャートのステップＳ102 では、有効でない場合にはぶれ判定を実施しない。このように、請求項14に係る発明によれば、ブロックマッチングの結果を用いて簡易に有効性を判定すること可能となる。
【００５２】
請求項15に係る発明は、請求項１に係る画像合成装置において、前記第１の画像合成手段は、前記一方の画像と前記他方の画像を合成して得られる画像に対して、前記合成対象領域に対応する画像信号にローパスフィルタ処理を施すことを特徴とするものである。
【００５３】
この請求項15に係る発明の構成には、図18の合成切換のフローチャートのステップＳ122 で示す動作を行う構成が対応する。
【００５４】
上記図18のフローチャートのステップＳ122 に示すように、被写体ぶれが発生している場合には、その被写体に関わる合成対象領域にローパスフィルタをかけ、画像をぼけさせる。図20にその画像の一例を示す。このように、請求項15に係る発明によれば、簡単な処理により、違和感のない画像を得ることが可能となる。
【００５５】
請求項16に係る発明は、請求項１に係る画像合成装置において、前記第２の画像合成手段は、前記手ぶれに係る量を基に前記一方の画像を水平及び垂直方向に座標をずらした画像と、前記他方の画像とを合成することを特徴とするものである。
【００５６】
この請求項16に係る発明の構成には、図18の合成切換のフローチャートのステップＳ121 で示す動作を行う構成が対応する。
【００５７】
上記図18のフローチャートに示すように、手ぶれが発生している場合には、その被写体に関わる合成領域の座標をずらし、ずれのない合成画像を得る。図19にその合成画像の一例を示す。このように、請求項16に係る発明によれば、手ぶれの発生した被写体に関してぶれのない画像を得ることが可能となる。
【００５８】
請求項17に係る発明は、請求項８に係る画像合成装置において、前記第２の画像合成手段は、前記基準ブロックと類似度が最大となる参照ブロックより動きベクトルを検出し、動きベクトルを基に前記一方の画像を水平及び垂直方向に座標をずらした画像と、前記他方の画像とを合成することを特徴とするものである。
【００５９】
この請求項17に係る発明の構成には、図18の合成切換のフローチャートのステップＳ121 で示す動作を行う構成、及び図13のぶれ検出のフローチャートのステップＳ104 で示す動作を行う構成が対応する。
【００６０】
上記図13のぶれ検出のフローチャートでは、各ラベル毎に動きベクトルを演算し、ラベルテーブルに格納する。図18のステップＳ121 のフローチャートに示すように、手ぶれが発生している場合には、動きベクトルを読み出し被写体に関わる合成領域の座標をずらし、ずれのない合成画像を得る。このように、請求項17に係る発明によれば、手ぶれの発生した被写体に関して簡易にぶれのない画像を得ることが可能となる。
【００６１】
【発明の実施の形態】
次に、本発明に係る、複数の画像からダイナミックレンジの広い合成画像を得るぶれ補正機能を有する画像合成装置の実施の形態について説明する。図１は、本発明に係る画像合成装置の実施の形態の全体構成を示す概略ブロック構成図である。この実施の形態に係る画像合成装置は、画像を撮像するための撮像素子１，画像信号をデジタル信号に変換するためのＡ／Ｄ変換器２，前段の画像処理を行うための画像処理回路３，処理結果をメモリ４に格納するためのメモリコントローラ５，後段の処理を行うためのＣＰＵ６から構成されている。
【００６２】
次に、図１に示した実施の形態における主要部の概略構成と、その概略動作を、図２に示す主要部の概略構成を示す概念図に基づいて説明する。図２において、画像ａと画像ｂは、露光量の異なる二枚の画像である。この画像ａ，ｂについて、画像処理回路３では、合成対象領域検出部31，ラベリング部32，ぶれ検出対象領域設定部33により、ぶれを検出する領域の検出とその領域のグループ分け（ラベリング）を行う。これらのラベリング等の処理結果と画像は一旦メモリ４に蓄えられ、メモリ４上の画像に対しＣＰＵ６が、ぶれ検出部61により各ラベル毎にぶれ検出、すなわち被写体ぶれか、手ぶれかの検出を行い、その検出に基づくぶれ判定フラグにより、手ぶれ補正処理部62と被写体ぶれ補正処理部63とそれらの切換手段64-1，64-2を含む合成処理部65により、各ラベル毎にそれぞれのぶれ補正を含む合成処理を行う。このように適応的な補正を行なうことにより、手ぶれが発生した場合にも、被写体ぶれが発生した場合にも良好な合成画像を得ることが可能となる。
【００６３】
次に、各部の詳細な構成と動作について説明する。図３は、前段の画像処理回路３の構成を示すブロック図である。画像処理回路３は、画像ａ，ｂから後段のぶれ検出等で使用するぶれ検出や合成の対象となる領域の検出、及び合成の対象となる領域のラベリングを行っている。
【００６４】
本実施の形態では、画像信号として、従来例と同様に図22に示すように順次露光の異なる画像ａ，ｂが入力される。このため、図３に示すようにフレームメモリ34を設け、画像ａと画像ｂのタイミングを合わせている。次に、画像入力時の諸パラメータ（露出、被写体までの距離等）及び画像ａ，ｂの諸パラメータ（輝度値の平均、ＭＩＮ，ＭＡＸ値等）から、図示しない上位のコントローラにより算出され、与えられる閾値により二値化回路35で画像ａ，ｂの二値化を行なう。
【００６５】
次に、二値化回路の構成を図４に示すブロック図で説明する。基本的に二値化回路は、入力画像ａ，ｂが閾値と大小の比較を行うことにより二値化を行なう。この構成例では、比較回路ａ35-1と比較回路ｂ35-2により行われる。本構成例では、閾値は画像ｂに対するもののみ与えられている。除算回路35-3により画像ｂの露光量Ｅｂに対する画像ａの露光量Ｅａの比を求め、乗算回路35-4を介して画像ｂの閾値から画像ａの閾値を算出している。
【００６６】
図５に、両画像間でずれが発生していない場合の画像と閾値の関係を示す。画像ａに対して画像ｂは、図５の（２）に示すように輝度値方向に露光比に比例した値だけ圧縮された信号となる。すなわち、前述のように閾値を露光比に比例して変更することにより他方の画像に対応する閾値を得ることができる。
【００６７】
次に、得られた二値画像より、ぶれ検出対象領域設定部33と合成対象領域検出部31によって、ぶれ検出対象領域と合成対象領域を検出する。ぶれ検出対象領域とは、両画像間にぶれが発生していた場合に、ぶれを検出するための領域である。具体的には合成画像のずれ、すなわち二値画像の不一致領域となる。図３におけるＸＯＲ回路33-1による両二値画像の排他的論理和により、不一致領域を検出している。また、ノイズ等の影響による誤検出を防止するため、連続検出回路33-2により一定以上連続した場合にのみ、不一致領域として検出する。このぶれ検出対象領域設定部33を説明するためのタイミングチャートを図６に示す。なお、本実施の形態では、前記連続の検出を一次元的に行っているが、上下や斜め方向の連続を検出するなど各種変形が可能である。また、図６には、二値画像とＸＯＲ回路33-1の出力のＯＲ回路31-1を介して得られる合成対象領域のタイミングも合わせて示している。
【００６８】
ずれ（ぶれ）が発生していた画像に対し、ぶれ補正をしない場合の合成画像を図７の（１）に示す。このように画像がずれているため、被写体と背景で一致しない部分 がある。それぞれの二値画像を比較した場合には、この部分は図７の（２）に示すように不一致部として検出することができる。この領域に対してのみぶれの検出を行うことにより、確度の高いぶれ検出を効率よく行うことが可能である。
【００６９】
合成対象領域は、画像ａ，ｂ間の合成の対象となる領域である。図７の（３）に合成対象領域の一例を示す。このように合成対象領域は、ぶれを含んだ合成の対象（被写体）を検出する。この領域は、次段のラベリング部32によるラベリング処理により塊毎に分けられ、ラベルが付与される。ぶれ検出及び合成は、この塊毎に行うことにより、それぞれのラベル毎に最適なぶれ補正を行うことが可能である。
【００７０】
図８に、ラベリング処理によるぶれ補正を行う、画像の一例を示す。図８の（１）に示す画像ａと図８の（２）に示す画像ｂ間には、手ぶれと被写体ぶれが発生している。この図示例では、領域Ａが手ぶれと判定される。また、領域ＢとＣは被写体ぶれであるが、領域Ｂについては手ぶれと同様の平行移動であるため、手ぶれと判定される。図８の（３）は合成対象領域の検出とラベリングが行われた例を示している。領域Ａ，Ｂ，Ｃの塊毎に、それぞれ１，２，３のラベルが付与されている。図８の（４）は、合成画像を示している。合成時には、このようにそれぞれのラベル毎に個別の処理が行われるため、ラベル１，２は手ぶれとして、ラベル３の領域は被写体ぶれとして補正される。
【００７１】
次に、ラベリング部32におけるラベリング処理のフローチャートを図９の（１）に示す。ラベリング処理は、周辺画素との連結を検出し、同一のラベルを付与する処理である。ここでは、４連結すなわち上下左右との連結を検出する例を示している。この例では、図９の（３）に示すように、注目画素を一画素ずつ左から右に走査し、また、ライン終了後１ライン下を走査するようにしている。図９の（２）に示すように注目画素に対しＡ，Ｂの画素との連結をチェックし、連結していれば前ライン又は前画素のラベルを注目画素のラベルとして付与し、連結がない場合には新しいラベルを付与するようにしている。
【００７２】
次に、図10に基づいて具体的なラベリング処理について説明する。ラベリング処理は、1 画素ずつチェックを行い、ラベル値を付与する。図10の（１）がラベリング画像の例であり、図10の（２）はラベル情報の格納例である。この例では、画像メモリの下位に画像データを格納し、上位にラベル値を格納している。更にラベルテーブル例を図10の（３）に示す。これは、各ラベル毎のぶれ情報等のパラメータを格納するテーブルもかねている。ラベル互換とは、異なるラベルが与えられた画素同士の連結が検出された場合に、その接続を示すものである。この例では、ラベリング中に４個のラベルが一つの塊に与えられているが、全画面のラベリングが終了した後、ラベルテーブルのラベル互換の情報を基に一つの塊に一つのラベルとなるように整理される。以上により、一つの塊を検出することが可能になる。本実施の形態では、左から右へ、及び上から下への走査を行っているが、これらの逆方向及び斜め方向等に走査するなど各種の変形が可能である。
【００７３】
以上のようにして得られたラベル情報、合成対象領域情報、ぶれ検出対象領域情報、ぶれ検出結果等は、図２に示すように一旦メモリ４に蓄えられる。以後、メモリ４上の画像データ及びラベル情報、合成対象領域情報、ぶれ検出対象領域情報、ぶれ検出結果等を用いて、ＣＰＵ６が後段の処理を行う。
【００７４】
図11に、ＣＰＵ６で行われる概略動作のフローチャートを示す。ＣＰＵ６は、まず所定の初期化動作を行い、画像の入力及び前段の画像処理回路３の処理完了を待つ。この後、ぶれ検出部61でぶれ検出処理を行い、その後、合成処理部65で画像合成処理を行う。なお、これらのぶれ検出部61及び合成処理部65は、この実施の形態では全てＣＰＵ６内において、ソフト的に構成されているものである。ぶれ検出処理部61における動作に関して概略のデータフローを図12に示す。ぶれ検出部61の処理は、図12に示すように画像ａ，ｂからぶれを検出する領域を選ぶ特定領域設定部61-1，該特定領域設定部61-1で選択されたぶれ検出領域においてぶれを判定するためのパラメータを算出するブロックマッチング算出部(1)61-2 及びブロックマッチング算出部(2)61-3 ，ブロックマッチングを行った領域が有効かどうかを検出して有効か無効かのパラメータを出力する有効検出部61-4，及びブロックマッチング算出部(1)61-2 とブロックマッチング算出部(2)61-3 と有効検出部61-4からのパラメータを基に手ぶれか被写体ぶれかを判定するぶれ判定部61-5で行われる。
【００７５】
次に、ぶれ検出部61におけるぶれ判定動作の詳細について、図13に示すぶれ検出のフローチャートに基づいて説明する。このフローチャートに示す動作では、全画素又は所定の間引きを行った画素に注目し、処理を行う。まず、ステップＳ101 で示すように、画素を読み出し、その画素がぶれ検出領域かどうかを判断する。ぶれ検出領域でない場合にはぶれ検出を行わない。ぶれ検出である場合には、特定領域としてその周辺データの読み込みを行う。次に、この特定領域に対してブロックマッチングを行う。ブロックマッチングとは、基準ブロックを設定し、同サイズのブロックを他方の画像の周辺領域に設定し、各画素毎の差分を演算しその総和をとり、総和がもっとも小さいブロックを類似ブロックとして検出するものである。
【００７６】
ブロックマッチングの処理動作を説明するためのフローチャートを図14に示す。まず、検出すべき差分の総和の最大・最小値を格納するレジスタをクリアする。次に基準ブロック座標（Ｘs ，Ｙs ）をセットする。更に探索範囲の参照ブロックの開始座標（Ｘr ，Ｙr ）をセットする。次に、実際のブロックマッチング動作を行う。まず、画像ａ上の基準ブロックと画像ｂ上の参照ブロックに関して、それぞれの輝度の差分をとり、その総和を求める。この総和が最小値であるかを判定し、最小値の場合には基準ブロックと参照ブロックの座標を格納する。また、同時に最大値も判定し、最大値を格納する。これらについて、画像ａを基準画像とした場合と画像ｂを基準とした場合で演算を行い、探索範囲内（この場合はＸＹとも注目画素を中心として±20画素）に関して順次比較を行う。最終的に、各画像を基準とした、差分の総和の最大値と最小値と、最小値が算出された座標が得られる。
【００７７】
図15に、具体的なブロックマッチングの一例を示す。図15の（１）が基準ブロック、図15の（２）が探索範囲を示している。図15の（３）は、参照ブロックで、それぞれＸ軸方向に一画素ずつずらしたブロックを示している。図15の（４）は、参照ブロックと基準ブロックの差分をとった態様を示しており、図示のように、その絶対値の和は145 ，95，45となる。この場合、最も差分の小さいベクトル（１，０）に関する参照ブロックが、類似度の高いブロックである。なお、ブロックマッチングに関して、この具体例はその一例を示しているものであり、ブロックサイズ、類似度の算出方法、探索範囲等は当然各種変形が可能である。
【００７８】
ブロックマッチングを行った後、図13でステップＳ102 で示すように有効判定処理を行う。有効判定は、ブロックマッチングを行った領域が、ブロックマッチングを行うにふさわしいかどうかを判定し、ふさわしくない場合には、ブロックマッチングの結果について判定は行わない。
【００７９】
図16に、有効検出部61-4における有効判定動作を説明するためのフローチャートを示す。有効判定動作は、画像ａ，ｂのそれぞれの探索範囲について、ステップＳ111 ，Ｓ113 で示すように白とび、黒つぶれ、及び画像のない領域であるかどうかの判定を行う。また、ステップＳ112 ，Ｓ114 で示すようにブロックマッチング時に求めた、差分の総和の最大値と最小値の差が所定の閾値以下、すなわち探索範囲内においてほぼ同程度の差分値しか得られなかった場合も、有効性なしと判定している。
【００８０】
図13に示すぶれ判定のフローチャートに戻り、ステップＳ102 の有効判定処理ステップで有効であると判定したのち、ステップＳ103 で示すように、それぞれのラベル毎に、まず、差分の総和の最小値より被写体ぶれと手ぶれの判定を行う。それぞれの画像を基準ブロックとした場合の最小値のどちらかが所定の閾値よりも大きい場合、どちらかの類似度が低い場合には、該当するブロックが相手側にないと判断し、被写体ぶれと判定し、該当ラベルが被写体ぶれである旨のフラグを立てる。この状態は、例えば図17の（１）に示す場合であり、この例では左側は被写体の移動により背景の隠されてしまうため該当するブロックが発見できない場合である。
【００８１】
ステップＳ103 のぶれ判定処理で、被写体ぶれと判断されなかった場合、ステップＳ104 及びステップＳ105 に進み、ブロックマッチングの結果の基準ブロックと参照ブロックの座標より、画像ａを基準とした場合の動きベクトルａ＿ｂと、画像ｂを基準とした動きベクトルｂ＿ａを演算し、両ベクトルを加算してベクトル差として閾値と比較し、ぶれ判定を行う。
【００８２】
例えば、図17の（２）に示すように画像ａを基準とした場合の動きベクトルと画像ｂを基準とした動きベクトルを比較した場合に、手ぶれで有れば同一値で逆方向になるのでベクトル差は閾値を下回るが、被写体ぶれであれば、閾値を上回る。
【００８３】
本実施の形態では、一つのラベルに対して複数箇所の検出を行い、複数箇所の検出において一箇所でも被写体ぶれが検出された場合には、これを優先する。図13に示すぶれ判定のフローチャートにおいて、ステップＳ106 では、ラベル毎に、該当ラベル上のぶれ検出対象領域の全領域に関してぶれ判定を実施する。まず、該当ラベルのぶれ判定情報がすでに被写体ぶれと判定されていた場合には、手ぶれ判定への更新や以後のぶれ判定を行わない。次に、該当ラベルのラベルテーブルに格納されている、すでに算出された動きベクトルを読み出し、この動きベクトルと今回のラベルにおいて算出された動きベクトルの比較を行ない、異なる場合には該当ラベルが平行移動以外の動作である被写体ぶれが発生していると判定し、該当ラベルを被写体ぶれと判定する。このように、複数箇所における判定及び複数箇所間の動きベクトルの比較を行うことにより、判定の確度を上げている。
【００８４】
以上の処理動作により、ぶれ検出を実施し、その判定結果の格納を行う。ぶれ検出が終了した後、合成処理部65において合成処理を行う。合成処理部65の処理動作を、図18に示すフローチャートに基づいて説明する。合成処理は、このフローチャートに示すように画素毎に行う。まず、該当する画素が合成対象領域であるかどうかを判定し、合成対象領域でない場合には処理を行わない。合成対象領域である場合には、ラベル値と、ラベルテーブルからそのラベル値に格納されているぶれ判定情報を読み出す。その判定情報より、それぞれのぶれに対応した合成処理を行う。手ぶれの場合には、ステップＳ121 に示すように、更に画像ｂの合成領域かどうかの判定を行う。画像ｂの合成領域である場合には、画像ｂの画素を画像ａの対応画素に合成を行うが、このときにラベルテーブルより動きベクトルを読み出し、これにより画像ｂの座標の移動を行う。しかる後に移動後の座標の画像ａにおける対応画素に対し合成を行うことにより、ずれのない合成画像を得る。図19に座標移動による合成処理の例を示す。
【００８５】
ぶれの判定情報が被写体ぶれの場合には、ステップＳ122 に示すように、画像ｂの合成領域かどうかの判定を行い、画像ｂの合成領域である場合には、まず画像ｂの画素と同座標の画像ａの画素に対して合成を行う。この座標が、どちらかの画像の合成領域である場合には、画像がずれて表示される可能性があるため、その合成領域にローパスフィルタを施し、画像をぼけさせることにより違和感のない画像を得る。図20にローパスフィルタ処理による合成処理の例を示す。
【００８６】
なお、本実施の形態では、前段の画像処理をハードで行い、ぶれ検出と画像合成処理をＣＰＵにより行ったものを示したが、画像処理をソフトで行うなど各種変形が可能である。
【００８７】
【発明の効果】
以上実施の形態に基づいて説明したように、請求項１に係る発明によれば、ぶれ検出手段のぶれ判定結果に基づいて適応的に補正して合成画像を形成するように構成しているので、手ぶれが発生した場合にも、被写体ぶれが発生した場合にも良好な広ダイナミックレンジの合成画像を得ることができる。また、合成画像領域をグループ化し各グループ毎に適応的に補正を行うように構成しているので、手ぶれと被写体ぶれが同時に発生した場合にも、良好な合成画像を得ることができる。請求項２に係る発明によれば、ぶれ検出を一部領域に対してのみ行うように構成しているので、ぶれ検出の処理が軽減され、高速に処理を行うことが可能となる。請求項３に係る発明によれば、簡易な回路構成により、ぶれ発生領域の検出が可能となる。請求項４に係る発明によれば、一定数連続して不一致となった場合に限りぶれ検出対象領域とするように構成しているので、微小な不一致領域を除去し、ノイズ等によりぶれ検出領域が大量に検出されて演算時間が増大することを防止することが可能となる。請求項５に係る発明によれば、簡易な回路構成でより適切に合成対象領域を検出することが可能となる。請求項６に係る発明によれば、簡易な回路構成で入力両画像の二値化処理を行うことが可能となる。請求項７に係る発明によれば、合成対象領域をラベルを付与してグループ分けするようにしているので、合成対象の塊毎に、ぶれの検出及び合成処理が行われ、良好な合成画像を得ることができる。請求項８に係る発明によれば、ブロックマッチングを両画像相互に行うように構成しているので、確実にぶれ判定を行うことができる。
【００８８】
また請求項９に係る発明によれば、それぞれの画像の特定領域を基準ブロックとした場合の動きベクトルの加算結果に基づいて、ぶれ判定を行うようにしているので、簡単な演算を行うことにより、ぶれ判定を行うことが可能となる。請求項10に係る発明によれば、それぞれの画像の特定領域を基準ブロックとした場合の類似度の最大値に基づいてぶれを判定するようにしているので、簡単な演算により一層確実にぶれ判定を行うことが可能となる。請求項11に係る発明によれば、複数の特定領域に対し類似度の検出を行いぶれ判定を行うようにしているので、ぶれ判定の確度を向上させることが可能となる。請求項12に係る発明によれば、有効性のあるブロックの結果のみでぶれ判定を行うようにしているので、ぶれ判定の誤検出を防止することが可能となる。請求項13に係る発明によれば、簡単な画素の演算によりぶれ判定への入力情報の有効性を判定することが可能となる。請求項14に係る発明によれば、ブロックマッチングの結果を用いて簡易にぶれ判定への入力情報の有効性を判定することが可能となる。請求項15に係る発明によれば、被写体ぶれが発生している合成対象領域にローパスフィルタをかけるようにしているので、簡単な処理により違和感のない合成画像を得ることができる。請求項16に係る発明によれば、手ぶれが発生している合成対象領域の座標をずらし合成画像を生成するようにしているので、手ぶれの発生している被写体に関してぶれのない合成画像を得ることができる。請求項17に係る発明によれば、動きベクトルに基づいて座標をずらし合成するようにしているので、手ぶれの発生した被写体に関して簡易にぶれのない合成画像を得ることが可能となる。
【図面の簡単な説明】
【図１】 本発明に係る画像合成装置の実施の形態の全体の概略構成を示す概念図である。
【図２】 図１に示した実施の形態の主要部の構成を示すブロック図である。
【図３】 図１及び図２に示した実施の形態の画像処理回路の構成を示すブロック図である。
【図４】 図３に示した二値化回路の構成を示すブロック図である。
【図５】 図４に示した二値化回路の動作を説明するための画像信号（輝度）の波形図である。
【図６】 合成対象領域検出部及びぶれ検出対象領域設定部の動作を説明するためのタイミングチャートである。
【図７】 二値化画像の比較態様を示す図である。
【図８】 手ぶれ及び被写体ぶれ混在時の画像及びその合成画像を示す図である。
【図９】 ラベリング部の動作を説明するための説明図である。
【図10】 ラベリング画像、ラベリング情報及びラベリングテーブルの一例を示す図である。
【図11】 ＣＰＵにおける処理の概要を示すフローチャートである。
【図12】 ぶれ検出部のソフト構成を示すブロック図である。
【図13】 ぶれ検出部の動作を説明するためのフローチャートである。
【図14】 ブロックマッチング算出部の動作を説明するためのフローチャートである。
【図15】 ブロックマッチング算出例を示す図である。
【図16】 図12に示したぶれ検出部における有効検出部の動作を説明するためのフローチャートである。
【図17】 画像のぶれの判断例を示す図である。
【図18】 合成処理部の動作を説明するためのフローチャートである。
【図19】 手ぶれ発生時のぶれ補正態様（座標変換）を示す図である。
【図20】 被写体ぶれ発生時のぶれ補正態様（ローパスフィルタ処理）を示す図である。
【図21】 従来の画像合成装置の構成例を示すブロック図である。
【図22】 図21に示した画像合成装置の動作を説明するためのタイミングチャートである。
【図23】 画像合成処理ステップを示す概念図である。
【図24】 従来のぶれ補正態様を示す概念図である。
【図25】 従来のぶれ補正手段の構成例を示すブロック図である。
【図26】 被写体ぶれ発生時のぶれ補正態様を示す概念図である。
【符号の説明】
１ 撮像素子
２ Ａ／Ｄ変換器
３ 画像処理回路
４ メモリ
５ メモリコントローラ
６ ＣＰＵ
31 合成対象領域検出部
31-1 ＯＲ回路
32 ラベリング部
33 ぶれ検出対象領域設定部
33-1 ＸＯＲ回路
33-2 連続検出回路
34 フレームメモリ
35 二値化回路
35-1 比較回路ａ
35-2 比較回路ｂ
35-3 除算回路
35-4 乗算回路
61 ぶれ検出部
61-1 特定領域設定部
61-2 ブロックマッチング算出部(1)
61-3 ブロックマッチング算出部(2)
61-4 有効検出部
61-5 ぶれ判定部
62 手ぶれ補正処理部
63 被写体ぶれ補正処理部
64-1，64-2 切換手段
65 合成処理部
【発明の属する技術分野】
この発明は、複数の画像を合成して、ダイナミックレンジを拡大して出力するぶれ補正機能を備えた画像合成装置に関する。
【０００２】
【従来の技術】
従来、複数の露光量の異なる画像を合成し、ダイナミックレンジの広い画像を得る画像合成装置が知られているが、その概略構成を図21に示し、またその動作のタイミングチャートを図22に示す。これらの図に示すように、ＣＣＤ，ＣＭＯＳセンサ等の撮像素子201 は露光量の異なる複数の画像を撮像し、順次出力してＡ／Ｄ変換器202 でＡ／Ｄ変換する。ここでは露光量の多い画像を画像ａ，露光量の少ない画像を画像ｂとする。そして、図22のタイミングチャートに示すように両画像ａ，ｂのタイミングを一致させるため、フレームメモリ203 により遅延させている。また、両画像を単純に合成した場合に、その切り換わり部分が不自然となるため、第１及び第２のレベル変換回路204 ，205 により所定のレベル変換を行ない、両画像ａ，ｂのレベルを合わせた後、合成回路206 により合成を行なうようになっている。タイミングチャートでは、例えば第ｎフレームの画像を(n) で表している。ｎフレーム目の画像合成は、１フレーム遅延させた画像ａ(n) と画像ｂ(n) から合成を行ない、合成画像(n) を得ている。
【０００３】
図23は画像合成の例を示す概念図である。図23の（１）は、露光量の多い画像ａである。この場合、人物に露出が合っているため、背景が白くとんでしまっている。図23の（２）は、露光量の少ない画像ｂである。この場合は、背景に露出が合っているため、人物が黒くつぶれている。合成時には、所定の閾値によりａ，ｂどちらの画像を採用するかを選択する。図23の（３）には、画像ａにおいて閾値以下となった部分を網掛け処理した二値画像を示す。また、図23の（４）には、画像ｂにおいて閾値以上となった部分を網掛け処理した二値画像を示す。網掛け処理した二値画像のそれぞれを合成した画像を図23の（５）に示す。このように、画像ａ，画像ｂから合成することで、白とび、黒つぶれのない、ダイナミックレンジの広い画像を得ている。
【０００４】
上記のように、順次撮像した複数画像を合成する場合、ぶれ等があった場合には、それぞれの画像で被写体の位置が異なり、合成時に被写体がずれてしまう。このような位置ずれに対するぶれ補正装置が、特許３１１０７９７号に提案されている。次に、特許３１１０７９７号提案の画面ぶれ及び画像合成の概念を図24に示す。この例では、手ぶれにより、画像ａと画像ｂがずれて撮像されている場合を示している。図24の（Ａ）は、同一の点が合致するように画像ａ，ｂをそれぞれずらして合成した態様を示している。図24の（Ａ）に示す点ｐは、図24の（Ｂ），（Ｃ）に示すように、画像ａと画像ｂそれぞれの画像においては、Ｐa ，Ｐb の座標になっている。
【０００５】
図25は、上記特許で開示されている画像合成装置の構成を示すブロック図である。Ａ／Ｄ変換器301 でＡ／Ｄ変換された入力画像に対し動き検出回路306 により動きベクトルを検出し、画像ａ，画像ｂの共通部分をメモリ制御回路305 によってフィールドメモリ304aより読み出す。共通部分は本来の撮像エリアより小さくなるため、拡大補間回路302aにより拡大補間処理を行ない元のサイズへ戻したのち、フィールドメモリ304bから出力される前フィールドの画像と合成部302bにより合成し、Ｄ／Ａ変換器303 でＤ／Ａ変換されて、ぶれを補正した画像が出力するように構成されている。
【０００６】
【発明が解決しようとする課題】
上記のように、提案の補正技術においては、画面全体を動きベクトルに従って移動させ、共通エリアを得て合成を行なっている。しかし、画像のぶれには画面全体が移動する手ぶれだけではなく、一部の被写体が移動する被写体ぶれがある。図26に、その被写体ぶれの概念を示す。この例では、画像ａ，ｂにおいて、背景についてはぶれが発生していないが、人物に関しては被写体ぶれが発生している。この場合、背景に着目してぶれ補正を行なわない場合には、合成画像（１）に示すように人物が二重に写ってしまい、また、人物に着目してぶれ補正（座標移動）を行なうと、合成画像（２）に示すように画面全体の移動により、背景が二重に写ってしまう。従来提案の技術では、このような観点について考慮がなされていない。
【０００７】
本発明は、この観点に着目してなされたものであり、手ぶれと被写体ぶれの検出及び補正を実施し、画質の良好なダイナミックレンジの広い画像を得ることの可能な画像合成装置を提供することを目的とするものである。
【０００８】
【課題を解決するための手段】
上記問題点を解決するため、請求項１に係る発明は、複数の画像を合成し、ダイナミックレンジの広い画像を得る画像合成装置において、前記複数の画像間の画像のぶれが被写体ぶれによるものか手ぶれによるものかを検出するぶれ検出手段と、被写体ぶれを補正して複数の画像を合成する第１の画像合成手段と、手ぶれを補正して複数の画像を合成する第２の画像合成手段と、前記ぶれ検出手段からのぶれ検出信号に応じて、前記第１の画像合成手段と前記第２の画像合成手段とを切り換える切換手段と、前記複数の画像の一方の画像と他方の画像より、画像の合成の対象となる合成対象領域を検出する合成対象領域検出手段と、前記合成対象領域を所定のグループに分けるグループ化手段とを有し、前記ぶれ検出手段は前記合成対象領域のグループ毎に被写体ぶれか手ぶれかを検出し、前記切換手段は、前記ぶれ検出手段からのぶれ検出信号に基づいて、前記合成対象領域のグループ毎に前記第１の画像合成手段と前記第２の画像合成手段とを切り換えるように構成されていることを特徴とするものである。
【０００９】
この請求項１に係る発明の構成には、図１及び図２に示す実施の形態の構成が対応する。そして、この発明の構成要件のぶれ検出手段には、図２のＣＰＵ６におけるぶれ検出部61が対応し、また第１の画像合成手段と第２の画像合成手段には、手ぶれ補正処理部62及び被写体ぶれ補正処理部63が対応し、また合成対象領域検出手段には、図２の画像処理回路３における合成対象領域検出部 31 が、グループ化手段にはラベリング部 32 が対応する。また、ぶれ検出手段にはぶれ検出部 61 が、第１の画像合成手段と第２の画像合成手段には、手ぶれ補正処理部 62 及び被写体ぶれ補正処理部 63 が対応する。
【００１０】
この構成の画像合成装置においては、ぶれ検出部61は、合成される画像から、画面全体が動く手ぶれか一部が動く被写体ぶれかを判定する。手ぶれ発生時には、画像が平行移動するため座標変換により補正することが望ましい。また、被写体ぶれ発生時には画像の一部のみが動くため、合成時に画像が二重になる不一致部に対しローパスをかけることにより補正することが望ましい。よって、手ぶれ補正処理部62及び被写体ぶれ補正処理部63はぶれ判定結果に従い、それぞれに対応した補正処理を行う。
【００１１】
また、この構成の画像合成装置においては、例えば図８の（１），（２）に示すように、合成が３つの被写体について行われ、それぞれ手ぶれ及び被写体ぶれが発生している場合には、まず合成対象領域検出部31は、画像ａ，ｂにおいて合成の対象となる領域を検出する。図８の（３）に示す領域が、画像ａ，ｂから合成される合成対象領域である。次に、ラベリング部32は、合成対象領域についてラベリング処理、すなわちラベル付けを行う。この例では、被写体毎にラベル１〜３が割り当てられる。ぶれ検出部61によるぶれ検出は、ラベル毎にぶれ検出を行う。すなわち、この例では平行移動であるラベル１，２の領域は手ぶれと判定され、ラベル３の領域は被写体ぶれと判定される。次に、画像合成を行なうが、各ラベル毎に判定結果に基づき、手ぶれと判定されたラベルには、座標変換により補正を行ない、被写体ぶれと判定されたラベルでは、ローパスフィルタをかけることにより補正を行なう。この補正処理の結果が図８の（４）に示す合成画像である。
【００１２】
したがって、請求項１に係る発明によれば、上記のように適応的に補正を行なうことにより、手ぶれが発生した場合にも、被写体ぶれが発生した場合にも、良好な広ダイナミックレンジの合成画像を得ることが可能となる。また、各グループ毎に適応的に補正を行なうことにより、手ぶれと被写体ぶれが同時に発生した場合にも、良好な広ダイナミックレンジの合成画像を得ることが可能となる。
【００１３】
請求項２に係る発明は、請求項１に係る画像合成装置において、前記複数の画像間の画像のぶれを検出する対象となるぶれ検出対象領域を設定するぶれ検出対象領域設定手段を更に備え、前記ぶれ検出手段は、前記ぶれ検出対象領域内でのみぶれを検出するように構成されていることを特徴とするものである。
【００１４】
この請求項２に係る発明の構成には、図１及び図２に示す実施の形態の構成が対応する。そして、この発明の構成要件のぶれ検出対象領域設定手段には、図２の画像処理回路３におけるぶれ検出対象領域設定部33が対応し、ぶれ検出手段12には同様にぶれ検出部61が対応する。
【００１５】
この構成の画像合成装置においては、ぶれ検出対象領域設定部33は、ぶれ検出の対象を画像の一部に限定し、ぶれ検出部61はこの一部に対してのみ処理を行っている。これにより、本発明においては、ぶれ検出の処理が軽減され、高速に処理を行うことが可能となる。
【００１６】
請求項３に係る発明は、請求項２に係る画像合成装置において、前記一方の画像と前記他方の画像を各々所定の閾値で二値化し二値画像を出力する二値化手段を更に備え、前記ぶれ検出対象領域設定手段は、前記一方の二値画像と前記他方の二値画像との比較を行い、不一致領域を前記ぶれ検出対象領域として出力する比較手段を備えていることを特徴とするものである。
【００１７】
この請求項３に係る発明の構成には、図３に示す実施の形態の画像処理回路の構成が対応する。そして、この発明の構成要件の二値化手段には、図３における二値化回路35が、比較手段にはＸＯＲ回路33-1が対応する。
【００１８】
この構成の画像合成装置においては、二値化回路35により、入力画像ａ，ｂの二値化を行い、単純に合成した場合に二重になってしまう領域を、画像ａ，ｂの二値画像からＸＯＲ回路33-1により検出する。図７の（２）に、ぶれ検出対象領域の一例を示す。このように、本発明によれば、簡易な回路により、ぶれが発生している領域を検出することが可能となる。
【００１９】
請求項４に係る発明は、請求項３に係る画像合成装置において、前記比較手段は、前記一方の二値画像と前記他方の二値画像とを所定の方向に走査して両画像間の比較を行い、その比較結果が一定数連続して不一致となった場合に限り、ぶれ検出対象領域を示す信号を出力するように構成されていることを特徴とするものである。
【００２０】
この請求項４に係る発明の構成には、図３に示す実施の形態の画像処理回路の構成が対応する。そして、この発明の構成要件の比較手段には、図３におけるＸＯＲ回路33-1と連続検出回路33-2が対応する。
【００２１】
この構成の画像合成装置においては、ＸＯＲ回路33-1により画像間のずれを検出する場合、ノイズ等の影響により二値画像には微小なずれが発生する。これに対し、連続検出回路33-2は、所定の値以上連続した場合のみ出力を変化させることにより、微小なずれによる影響を除去している。このように、本発明によれば、画像間のぶれ検出の際に微小な不一致領域を除去するため、ノイズ等によりぶれ検出領域が大量に検出され、演算時間が増大することを防止することが可能となる。
【００２２】
請求項５に係る発明は、請求項３に係る画像合成装置において、前記合成対象領域検出手段は、前記比較手段により不一致領域とされた領域と、前記一方の二値画像と前記他方の二値画像とのいずれか一方の画像において前記閾値以上であるとされた領域とを含めた領域を、前記合成対象領域として出力することを特徴とするものである。
【００２３】
この請求項５に係る発明の構成には、図３に示す実施の形態の画像処理回路の構成が対応する。この発明の構成要件の合成対象領域検出手段には、図３におけるＯＲ回路31-1が対応する。
【００２４】
この構成の画像合成装置においては、合成対象領域は画像ａ及び画像ｂにおいてぶれを含む、合成対象となる領域全てである。図７の（３）に合成対象領域の一例を示す。不一致領域は、ずれの発生した領域のみであり、合成対象領域は、この領域に画像ａ，ｂの共通領域を付加したものである。このように、画像ａと不一致領域とのＯＲ処理を行ったものが、合成対象領域となる。このように、本発明によれば、簡易な回路により合成対象領域を検出することが可能となる。
【００２５】
請求項６に係る発明は、請求項３に係る画像合成装置において、前記二値化手段は、前記一方の画像を二値化する閾値と前記他方の画像を二値化する閾値を、それぞれの画像の露光量に比例した値とすることを特徴とするものである。
【００２６】
この請求項６に係る発明の構成には、図４に示す実施の形態の二値化回路の構成が対応する。
【００２７】
この構成の画像合成装置においては、画像ａ，ｂは、それぞれ比較回路ａ35-1，比較回路ｂ35-2により閾値と比較され、二値化される。本実施の形態では、画像ａの閾値は、除算回路35-3により求められた露光量の比Ｅａ／Ｅｂと、画像ｂの閾値を乗算回路35-4により演算することにより求めている。図５の（１），（２）に示すように、画像ａの輝度値の波形は、画像ｂを高さ方向に露光比倍したものとなる。この輝度値の波形に対し、画像ａに対して露光比倍した閾値を与えると、画像ｂの閾値に対応するレベルでの二値化を行うことが可能となる。これにより、本発明によれば、簡易な回路により両画像の二値化を行うことが可能となる。
【００２８】
請求項７に係る発明は、請求項１に係る画像合成装置において、前記グループ化手段は、前記合成対象領域の連結態様を検出し、連結している領域毎にラベルを付与することによりグループ分けを行なうように構成されていることを特徴とするものであ。
【００２９】
この請求項７に係る発明の構成には、図９の（１）のラベリングのフローチャートに示す動作を行うラベリング部32の構成が対応する。
【００３０】
この構成の画像合成装置において、図９の（１）のフローチャートに示す動作は、図９の（３）に示すように左から右へ画素毎の走査を行い、また、更に上から下へ走査を行う場合のラベリングの動作である。このように、注目画素に対し、図９の（２）においてＡ，Ｂで示す周辺画素との連結を検査し、連結している場合には同一のラベルを付与する。図10の（１）にラベリング画像の様子を示す。このように合成対象領域の一つの塊があった場合、順次ラベルを与え、最終的に同一のラベルを与えている。このように、本発明によれば、合成対象領域の塊毎に、ぶれの検出及び合成を行うため、良好な合成画像を得ることが可能となる。
【００３１】
請求項８に係る発明は、請求項２に係る画像合成装置において、前記ぶれ検出手段は、前記ぶれ検出対象領域内からぶれ検出を実施する領域を特定する特定領域設定手段と、前記一方の画像内における前記特定領域に基準ブロックを設定し、該基準ブロックと前記他方の画像における前記特定領域及びその周辺領域からなる探索領域内の複数の参照ブロックとの類似度を演算し、最も類似度が大きい参照ブロックを検出する第１のブロックマッチング手段と、前記第１のブロックマッチング手段における前記一方の画像と前記他方の画像とを入れ替えて、前記第１のブロックマッチング手段と同様の処理を行う第２のブロックマッチング手段と、前記第１のブロックマッチング手段からの出力と、前記第２のブロックマッチング手段からの出力とに基づいて、手ぶれと被写体ぶれを判定するぶれ判定手段を有することを特徴とするものである。
【００３２】
この請求項８に係る発明の構成には、図12に示す実施の形態のぶれ検出部61の構成が対応する。この発明の構成要件の特定領域設定手段には、特定領域設定部61-1が、第１のブロックマッチング手段と第２のブロックマッチング手段には、それぞれブロックマッチング算出部(1)61-2 とブロックマッチング算出部(2)61-3 が、ぶれ判定手段にはぶれ判定部61-5が対応する。
【００３３】
この実施の形態のぶれ検出部61においては、特定領域設定部61-1は、ブロックマッチングの対象となるブロックの選定を行う。ブロックマッチング算出部(1)61-2 ，(2)61-3 は、それぞれ画像ａ，画像ｂを基準とし、他方の画像に対し、類似したブロックの探索を行うものである。ぶれ判定部61-5は、ブロックマッチング算出部(1)61-2 ，(2)61-3 の結果より、手ぶれか被写体ぶれの判定を行う。図17の（１）は被写体ぶれが起きている画像の一例である。左側は画像ｂを基準とした場合で、右側が画像ａを基準とした場合である。左側の例では、探索により類似のブロックが検出されるが、右側の場合には、被写体ぶれにより、背景の一部が被写体により隠れているため、類似ブロックの検出はできない。以上のようにブロックマッチングの結果よりぶれ判定を行う。このように、本発明によれば、ブロックマッチングを相互に行うことにより、確実にぶれ判定を行うことが可能となる。
【００３４】
請求項９に係る発明は、請求項８に係る画像合成装置において、前記ぶれ判定手段は、前記基準ブロックに対する類似度が最大となる参照ブロックへのベクトルを動きベクトルとして演算するベクトル演算手段を有し、前記一方の画像の前記特定領域を基準ブロックとした場合の動きベクトルと、前記他方の画像の前記特定領域を基準ブロックとした場合の動きベクトルとを加算した結果が所定の値以下である場合には手ぶれと判定し、そうでない場合には被写体ぶれと判定することを特徴とするものである。
【００３５】
この請求項９に係る発明の構成には、図13のぶれ検出部のフローチャートに示す動作を行う構成が対応する。そして、請求項10の構成要件のぶれ判定手段には図12におけるぶれ判定部61-5が対応し、ベクトル演算手段には、図13のステップＳ104 のベクトル演算を行う手段が対応し、また、ベクトルの差の演算及びぶれの判定はステップＳ105 で行われる。
【００３６】
このように構成されているぶれ判定部61-5においては、ベクトル演算を行うステップＳ105 ではブロックマッチングの結果より演算を行い、画像ａ，ｂのそれぞれを基準とした場合の動きベクトルを算出する。ベクトル差はベクトル同士を加算することにより、それぞれのベクトルが逆方向で且つ同じ大きさであるかどうかを所定の誤差範囲をもって判定している。手ぶれが発生している場合には基本的にベクトルは逆方向となるが、被写体ぶれが起きている画像では、ベクトルが一致しない。このように、請求項９に係る発明によれば、両画像それぞれを基準としたベクトルに対し、簡単な演算を行うことにより、ぶれ判定を行うことが可能となる。
【００３７】
請求項10に係る発明は、請求項８に係る画像合成装置において、前記ぶれ判定手段は、前記一方の画像の特定領域を基準ブロックとした場合の類似度の最大値と、前記他方の画像の特定領域を基準ブロックとした場合の最大値とが、共に所定の値以上である場合には手ぶれと判定し、そうでない場合には被写体ぶれと判定することを特徴とするものである。
【００３８】
この請求項10に係る発明の構成には、図13のぶれ検出部のフローチャートのステップＳ103 で示す動作を行う構成が対応する。この実施の形態では、類似度の検出はブロック間の輝度値の差分の総和により行っているため、類似度の最大値は差分の総和の最小値であるＭin差分値となる。
【００３９】
上記フローチャートのステップＳ103 で示す動作では、ブロックの差分の総和の最小値（Ｍin差分値）が所定の閾値より大きい場合、すなわち探索範囲に類似している画像がないことを検出する。図17の（１）の右側に示す例では、背景の木と類似した画像を探索するが、他方の画像では存在しないため、差分値は所定の値より大きくなる。このように、請求項10に係る発明によれば、両画像それぞれを基準としたベクトルに対し、簡単な演算を行うことにより、確実にぶれ判定を行うことが可能となる。
【００４０】
請求項11に係る発明は、請求項８に係る画像合成装置において、前記特定領域設定手段は、前記合成対象領域の各グループ毎に複数の特定領域を設定し、前記ぶれ検出部は、前記複数の特定領域に対し類似度の検出を行ない、この結果より手ぶれか被写体ぶれかを判定することを特徴とするものである。
【００４１】
この請求項11に係る発明の構成には、図13のぶれ検出のフローチャートで示す動作を行う構成が対応する。このフローチャートでは、ステップＳ101 で示すように、ぶれ検出領域に対してブロックマッチングを実施し、ステップＳ106 に示すようにラベル毎に判定を行う。
【００４２】
上記フローチャートのステップＳ106 に示す動作では、ラベルすなわちグループ毎に、該当ラベル上の全領域に関して判定を実施する。ここでは、同一ラベル上で１箇所被写体ぶれがあった場合には、該当ラベルを被写体ぶれと判定する。このように、請求項11に係る発明によれば、複数箇所でぶれ判定を行うことにより、その確度を上げることが可能となる。
【００４３】
請求項12に係る発明は、請求項８に係る画像合成装置において、前記ぶれ検出手段は、前記第１及び２のブロックマッチング手段により求められた前記類似度及び前記参照ブロックに係る情報を、前記ぶれ判定手段に入力するか否かを判定する有効判定手段を有することを特徴とするものである。
【００４４】
この請求項12に係る発明の構成には、図12に示すぶれ検出部の構成、図13のぶれ検出のフローチャートのステップＳ102 で示す動作を行う構成、及び図16に示す有効性判定のフローチャートで示す動作を行う構成が対応する。
【００４５】
上記フローチャートのステップＳ102 で示す動作は、ブロックマッチングの結果、入力画像等から有効性の判定を行い、有効でない場合にはぶれ検出を実施しないものである。このように、請求項12に係る発明によれば、有効性の有るブロックの結果のみでぶれ判定を行うため、ぶれ判定の誤検出を防止することが可能となる。
【００４６】
請求項13に係る発明は、請求項12に係る画像合成装置において、前記有効判定手段は、前記複数画像の前記特定領域の輝度値が所定の値より小さく黒に近いことを検出する黒レベル検出手段と、前記複数画像の前記特定領域の輝度値が所定の値より大きく白に近いことを検出する白レベル検出手段と、前記複数画像の前記特定領域の各画素間の輝度値差が所定の値より小さいことを検出する輝度差検出手段とを備え、前記黒レベル検出又は白レベル検出又は輝度差検出がいずれも検出されなかった場合には、前記第１及び２のブロックマッチング手段により求められた前記類似度及び前記参照ブロックに係る情報を前記ぶれ判定手段に入力させることを特徴とするものである。
【００４７】
この請求項13に係る発明の構成には、図13のぶれ検出のフローチャートのステップＳ102 で示す動作を行う構成と、図16の有効性判定のフローチャートのステップＳ111 とＳ113 で示す動作を行う構成が対応する。
【００４８】
上記図16のフローチャートのステップＳ111 とＳ113 で示す動作では、画像ａ，ｂそれぞれの探索範囲について、白とび、黒つぶれ、及びブロックマッチングの判定を行いうる所定の輝度の変化が領域内にあるかどうかのチェックを行い、何れかが発生した場合に、有効フラグをリセットする。図13のフローチャートのステップＳ102 では、有効でない場合にはぶれ判定を実施しない。このように、請求項13に係る発明によれば、簡単な画素の演算により有効性を判定することが可能となる。
【００４９】
請求項14に係る発明は、請求項12に係る画像合成装置において、前記有効判定手段は、前記第１及び２のブロックマッチング手段により求められた前記類似度の最大値と最小値の差が所定の範囲以上であった場合に、前記第１及び２のブロックマッチング手段により求められた前記類似度及び前記参照ブロックに係る情報を、前記ぶれ判定手段に入力させることを特徴とするものである。
【００５０】
この請求項14に係る発明の構成には、図12に示すぶれ検出部の構成と、図13のぶれ検出のフローチャートのステップＳ102 で示す動作を行う構成と、図16に示す有効性判定のフローチャートのステップＳ112 とＳ114 で示す動作を行う構成が対応する。
【００５１】
上記図16のフローチャートのステップＳ112 とＳ114 で示す動作では、画像ａ，ｂそれぞれを基準としたブロックマッチングを行った結果により、有効性の判定を行う。すなわち、ブロックマッチングにおいて求められたブロックの差分値（類似度）の最大値と最小値に差がない場合には、類似したブロックが複数あり、ブロックマッチング結果の有効性が低いと判定し、有効フラグをリセットする。図13のフローチャートのステップＳ102 では、有効でない場合にはぶれ判定を実施しない。このように、請求項14に係る発明によれば、ブロックマッチングの結果を用いて簡易に有効性を判定すること可能となる。
【００５２】
請求項15に係る発明は、請求項１に係る画像合成装置において、前記第１の画像合成手段は、前記一方の画像と前記他方の画像を合成して得られる画像に対して、前記合成対象領域に対応する画像信号にローパスフィルタ処理を施すことを特徴とするものである。
【００５３】
この請求項15に係る発明の構成には、図18の合成切換のフローチャートのステップＳ122 で示す動作を行う構成が対応する。
【００５４】
上記図18のフローチャートのステップＳ122 に示すように、被写体ぶれが発生している場合には、その被写体に関わる合成対象領域にローパスフィルタをかけ、画像をぼけさせる。図20にその画像の一例を示す。このように、請求項15に係る発明によれば、簡単な処理により、違和感のない画像を得ることが可能となる。
【００５５】
請求項16に係る発明は、請求項１に係る画像合成装置において、前記第２の画像合成手段は、前記手ぶれに係る量を基に前記一方の画像を水平及び垂直方向に座標をずらした画像と、前記他方の画像とを合成することを特徴とするものである。
【００５６】
この請求項16に係る発明の構成には、図18の合成切換のフローチャートのステップＳ121 で示す動作を行う構成が対応する。
【００５７】
上記図18のフローチャートに示すように、手ぶれが発生している場合には、その被写体に関わる合成領域の座標をずらし、ずれのない合成画像を得る。図19にその合成画像の一例を示す。このように、請求項16に係る発明によれば、手ぶれの発生した被写体に関してぶれのない画像を得ることが可能となる。
【００５８】
請求項17に係る発明は、請求項８に係る画像合成装置において、前記第２の画像合成手段は、前記基準ブロックと類似度が最大となる参照ブロックより動きベクトルを検出し、動きベクトルを基に前記一方の画像を水平及び垂直方向に座標をずらした画像と、前記他方の画像とを合成することを特徴とするものである。
【００５９】
この請求項17に係る発明の構成には、図18の合成切換のフローチャートのステップＳ121 で示す動作を行う構成、及び図13のぶれ検出のフローチャートのステップＳ104 で示す動作を行う構成が対応する。
【００６０】
上記図13のぶれ検出のフローチャートでは、各ラベル毎に動きベクトルを演算し、ラベルテーブルに格納する。図18のステップＳ121 のフローチャートに示すように、手ぶれが発生している場合には、動きベクトルを読み出し被写体に関わる合成領域の座標をずらし、ずれのない合成画像を得る。このように、請求項17に係る発明によれば、手ぶれの発生した被写体に関して簡易にぶれのない画像を得ることが可能となる。
【００６１】
【発明の実施の形態】
次に、本発明に係る、複数の画像からダイナミックレンジの広い合成画像を得るぶれ補正機能を有する画像合成装置の実施の形態について説明する。図１は、本発明に係る画像合成装置の実施の形態の全体構成を示す概略ブロック構成図である。この実施の形態に係る画像合成装置は、画像を撮像するための撮像素子１，画像信号をデジタル信号に変換するためのＡ／Ｄ変換器２，前段の画像処理を行うための画像処理回路３，処理結果をメモリ４に格納するためのメモリコントローラ５，後段の処理を行うためのＣＰＵ６から構成されている。
【００６２】
次に、図１に示した実施の形態における主要部の概略構成と、その概略動作を、図２に示す主要部の概略構成を示す概念図に基づいて説明する。図２において、画像ａと画像ｂは、露光量の異なる二枚の画像である。この画像ａ，ｂについて、画像処理回路３では、合成対象領域検出部31，ラベリング部32，ぶれ検出対象領域設定部33により、ぶれを検出する領域の検出とその領域のグループ分け（ラベリング）を行う。これらのラベリング等の処理結果と画像は一旦メモリ４に蓄えられ、メモリ４上の画像に対しＣＰＵ６が、ぶれ検出部61により各ラベル毎にぶれ検出、すなわち被写体ぶれか、手ぶれかの検出を行い、その検出に基づくぶれ判定フラグにより、手ぶれ補正処理部62と被写体ぶれ補正処理部63とそれらの切換手段64-1，64-2を含む合成処理部65により、各ラベル毎にそれぞれのぶれ補正を含む合成処理を行う。このように適応的な補正を行なうことにより、手ぶれが発生した場合にも、被写体ぶれが発生した場合にも良好な合成画像を得ることが可能となる。
【００６３】
次に、各部の詳細な構成と動作について説明する。図３は、前段の画像処理回路３の構成を示すブロック図である。画像処理回路３は、画像ａ，ｂから後段のぶれ検出等で使用するぶれ検出や合成の対象となる領域の検出、及び合成の対象となる領域のラベリングを行っている。
【００６４】
本実施の形態では、画像信号として、従来例と同様に図22に示すように順次露光の異なる画像ａ，ｂが入力される。このため、図３に示すようにフレームメモリ34を設け、画像ａと画像ｂのタイミングを合わせている。次に、画像入力時の諸パラメータ（露出、被写体までの距離等）及び画像ａ，ｂの諸パラメータ（輝度値の平均、ＭＩＮ，ＭＡＸ値等）から、図示しない上位のコントローラにより算出され、与えられる閾値により二値化回路35で画像ａ，ｂの二値化を行なう。
【００６５】
次に、二値化回路の構成を図４に示すブロック図で説明する。基本的に二値化回路は、入力画像ａ，ｂが閾値と大小の比較を行うことにより二値化を行なう。この構成例では、比較回路ａ35-1と比較回路ｂ35-2により行われる。本構成例では、閾値は画像ｂに対するもののみ与えられている。除算回路35-3により画像ｂの露光量Ｅｂに対する画像ａの露光量Ｅａの比を求め、乗算回路35-4を介して画像ｂの閾値から画像ａの閾値を算出している。
【００６６】
図５に、両画像間でずれが発生していない場合の画像と閾値の関係を示す。画像ａに対して画像ｂは、図５の（２）に示すように輝度値方向に露光比に比例した値だけ圧縮された信号となる。すなわち、前述のように閾値を露光比に比例して変更することにより他方の画像に対応する閾値を得ることができる。
【００６７】
次に、得られた二値画像より、ぶれ検出対象領域設定部33と合成対象領域検出部31によって、ぶれ検出対象領域と合成対象領域を検出する。ぶれ検出対象領域とは、両画像間にぶれが発生していた場合に、ぶれを検出するための領域である。具体的には合成画像のずれ、すなわち二値画像の不一致領域となる。図３におけるＸＯＲ回路33-1による両二値画像の排他的論理和により、不一致領域を検出している。また、ノイズ等の影響による誤検出を防止するため、連続検出回路33-2により一定以上連続した場合にのみ、不一致領域として検出する。このぶれ検出対象領域設定部33を説明するためのタイミングチャートを図６に示す。なお、本実施の形態では、前記連続の検出を一次元的に行っているが、上下や斜め方向の連続を検出するなど各種変形が可能である。また、図６には、二値画像とＸＯＲ回路33-1の出力のＯＲ回路31-1を介して得られる合成対象領域のタイミングも合わせて示している。
【００６８】
ずれ（ぶれ）が発生していた画像に対し、ぶれ補正をしない場合の合成画像を図７の（１）に示す。このように画像がずれているため、被写体と背景で一致しない部分 がある。それぞれの二値画像を比較した場合には、この部分は図７の（２）に示すように不一致部として検出することができる。この領域に対してのみぶれの検出を行うことにより、確度の高いぶれ検出を効率よく行うことが可能である。
【００６９】
合成対象領域は、画像ａ，ｂ間の合成の対象となる領域である。図７の（３）に合成対象領域の一例を示す。このように合成対象領域は、ぶれを含んだ合成の対象（被写体）を検出する。この領域は、次段のラベリング部32によるラベリング処理により塊毎に分けられ、ラベルが付与される。ぶれ検出及び合成は、この塊毎に行うことにより、それぞれのラベル毎に最適なぶれ補正を行うことが可能である。
【００７０】
図８に、ラベリング処理によるぶれ補正を行う、画像の一例を示す。図８の（１）に示す画像ａと図８の（２）に示す画像ｂ間には、手ぶれと被写体ぶれが発生している。この図示例では、領域Ａが手ぶれと判定される。また、領域ＢとＣは被写体ぶれであるが、領域Ｂについては手ぶれと同様の平行移動であるため、手ぶれと判定される。図８の（３）は合成対象領域の検出とラベリングが行われた例を示している。領域Ａ，Ｂ，Ｃの塊毎に、それぞれ１，２，３のラベルが付与されている。図８の（４）は、合成画像を示している。合成時には、このようにそれぞれのラベル毎に個別の処理が行われるため、ラベル１，２は手ぶれとして、ラベル３の領域は被写体ぶれとして補正される。
【００７１】
次に、ラベリング部32におけるラベリング処理のフローチャートを図９の（１）に示す。ラベリング処理は、周辺画素との連結を検出し、同一のラベルを付与する処理である。ここでは、４連結すなわち上下左右との連結を検出する例を示している。この例では、図９の（３）に示すように、注目画素を一画素ずつ左から右に走査し、また、ライン終了後１ライン下を走査するようにしている。図９の（２）に示すように注目画素に対しＡ，Ｂの画素との連結をチェックし、連結していれば前ライン又は前画素のラベルを注目画素のラベルとして付与し、連結がない場合には新しいラベルを付与するようにしている。
【００７２】
次に、図10に基づいて具体的なラベリング処理について説明する。ラベリング処理は、1 画素ずつチェックを行い、ラベル値を付与する。図10の（１）がラベリング画像の例であり、図10の（２）はラベル情報の格納例である。この例では、画像メモリの下位に画像データを格納し、上位にラベル値を格納している。更にラベルテーブル例を図10の（３）に示す。これは、各ラベル毎のぶれ情報等のパラメータを格納するテーブルもかねている。ラベル互換とは、異なるラベルが与えられた画素同士の連結が検出された場合に、その接続を示すものである。この例では、ラベリング中に４個のラベルが一つの塊に与えられているが、全画面のラベリングが終了した後、ラベルテーブルのラベル互換の情報を基に一つの塊に一つのラベルとなるように整理される。以上により、一つの塊を検出することが可能になる。本実施の形態では、左から右へ、及び上から下への走査を行っているが、これらの逆方向及び斜め方向等に走査するなど各種の変形が可能である。
【００７３】
以上のようにして得られたラベル情報、合成対象領域情報、ぶれ検出対象領域情報、ぶれ検出結果等は、図２に示すように一旦メモリ４に蓄えられる。以後、メモリ４上の画像データ及びラベル情報、合成対象領域情報、ぶれ検出対象領域情報、ぶれ検出結果等を用いて、ＣＰＵ６が後段の処理を行う。
【００７４】
図11に、ＣＰＵ６で行われる概略動作のフローチャートを示す。ＣＰＵ６は、まず所定の初期化動作を行い、画像の入力及び前段の画像処理回路３の処理完了を待つ。この後、ぶれ検出部61でぶれ検出処理を行い、その後、合成処理部65で画像合成処理を行う。なお、これらのぶれ検出部61及び合成処理部65は、この実施の形態では全てＣＰＵ６内において、ソフト的に構成されているものである。ぶれ検出処理部61における動作に関して概略のデータフローを図12に示す。ぶれ検出部61の処理は、図12に示すように画像ａ，ｂからぶれを検出する領域を選ぶ特定領域設定部61-1，該特定領域設定部61-1で選択されたぶれ検出領域においてぶれを判定するためのパラメータを算出するブロックマッチング算出部(1)61-2 及びブロックマッチング算出部(2)61-3 ，ブロックマッチングを行った領域が有効かどうかを検出して有効か無効かのパラメータを出力する有効検出部61-4，及びブロックマッチング算出部(1)61-2 とブロックマッチング算出部(2)61-3 と有効検出部61-4からのパラメータを基に手ぶれか被写体ぶれかを判定するぶれ判定部61-5で行われる。
【００７５】
次に、ぶれ検出部61におけるぶれ判定動作の詳細について、図13に示すぶれ検出のフローチャートに基づいて説明する。このフローチャートに示す動作では、全画素又は所定の間引きを行った画素に注目し、処理を行う。まず、ステップＳ101 で示すように、画素を読み出し、その画素がぶれ検出領域かどうかを判断する。ぶれ検出領域でない場合にはぶれ検出を行わない。ぶれ検出である場合には、特定領域としてその周辺データの読み込みを行う。次に、この特定領域に対してブロックマッチングを行う。ブロックマッチングとは、基準ブロックを設定し、同サイズのブロックを他方の画像の周辺領域に設定し、各画素毎の差分を演算しその総和をとり、総和がもっとも小さいブロックを類似ブロックとして検出するものである。
【００７６】
ブロックマッチングの処理動作を説明するためのフローチャートを図14に示す。まず、検出すべき差分の総和の最大・最小値を格納するレジスタをクリアする。次に基準ブロック座標（Ｘs ，Ｙs ）をセットする。更に探索範囲の参照ブロックの開始座標（Ｘr ，Ｙr ）をセットする。次に、実際のブロックマッチング動作を行う。まず、画像ａ上の基準ブロックと画像ｂ上の参照ブロックに関して、それぞれの輝度の差分をとり、その総和を求める。この総和が最小値であるかを判定し、最小値の場合には基準ブロックと参照ブロックの座標を格納する。また、同時に最大値も判定し、最大値を格納する。これらについて、画像ａを基準画像とした場合と画像ｂを基準とした場合で演算を行い、探索範囲内（この場合はＸＹとも注目画素を中心として±20画素）に関して順次比較を行う。最終的に、各画像を基準とした、差分の総和の最大値と最小値と、最小値が算出された座標が得られる。
【００７７】
図15に、具体的なブロックマッチングの一例を示す。図15の（１）が基準ブロック、図15の（２）が探索範囲を示している。図15の（３）は、参照ブロックで、それぞれＸ軸方向に一画素ずつずらしたブロックを示している。図15の（４）は、参照ブロックと基準ブロックの差分をとった態様を示しており、図示のように、その絶対値の和は145 ，95，45となる。この場合、最も差分の小さいベクトル（１，０）に関する参照ブロックが、類似度の高いブロックである。なお、ブロックマッチングに関して、この具体例はその一例を示しているものであり、ブロックサイズ、類似度の算出方法、探索範囲等は当然各種変形が可能である。
【００７８】
ブロックマッチングを行った後、図13でステップＳ102 で示すように有効判定処理を行う。有効判定は、ブロックマッチングを行った領域が、ブロックマッチングを行うにふさわしいかどうかを判定し、ふさわしくない場合には、ブロックマッチングの結果について判定は行わない。
【００７９】
図16に、有効検出部61-4における有効判定動作を説明するためのフローチャートを示す。有効判定動作は、画像ａ，ｂのそれぞれの探索範囲について、ステップＳ111 ，Ｓ113 で示すように白とび、黒つぶれ、及び画像のない領域であるかどうかの判定を行う。また、ステップＳ112 ，Ｓ114 で示すようにブロックマッチング時に求めた、差分の総和の最大値と最小値の差が所定の閾値以下、すなわち探索範囲内においてほぼ同程度の差分値しか得られなかった場合も、有効性なしと判定している。
【００８０】
図13に示すぶれ判定のフローチャートに戻り、ステップＳ102 の有効判定処理ステップで有効であると判定したのち、ステップＳ103 で示すように、それぞれのラベル毎に、まず、差分の総和の最小値より被写体ぶれと手ぶれの判定を行う。それぞれの画像を基準ブロックとした場合の最小値のどちらかが所定の閾値よりも大きい場合、どちらかの類似度が低い場合には、該当するブロックが相手側にないと判断し、被写体ぶれと判定し、該当ラベルが被写体ぶれである旨のフラグを立てる。この状態は、例えば図17の（１）に示す場合であり、この例では左側は被写体の移動により背景の隠されてしまうため該当するブロックが発見できない場合である。
【００８１】
ステップＳ103 のぶれ判定処理で、被写体ぶれと判断されなかった場合、ステップＳ104 及びステップＳ105 に進み、ブロックマッチングの結果の基準ブロックと参照ブロックの座標より、画像ａを基準とした場合の動きベクトルａ＿ｂと、画像ｂを基準とした動きベクトルｂ＿ａを演算し、両ベクトルを加算してベクトル差として閾値と比較し、ぶれ判定を行う。
【００８２】
例えば、図17の（２）に示すように画像ａを基準とした場合の動きベクトルと画像ｂを基準とした動きベクトルを比較した場合に、手ぶれで有れば同一値で逆方向になるのでベクトル差は閾値を下回るが、被写体ぶれであれば、閾値を上回る。
【００８３】
本実施の形態では、一つのラベルに対して複数箇所の検出を行い、複数箇所の検出において一箇所でも被写体ぶれが検出された場合には、これを優先する。図13に示すぶれ判定のフローチャートにおいて、ステップＳ106 では、ラベル毎に、該当ラベル上のぶれ検出対象領域の全領域に関してぶれ判定を実施する。まず、該当ラベルのぶれ判定情報がすでに被写体ぶれと判定されていた場合には、手ぶれ判定への更新や以後のぶれ判定を行わない。次に、該当ラベルのラベルテーブルに格納されている、すでに算出された動きベクトルを読み出し、この動きベクトルと今回のラベルにおいて算出された動きベクトルの比較を行ない、異なる場合には該当ラベルが平行移動以外の動作である被写体ぶれが発生していると判定し、該当ラベルを被写体ぶれと判定する。このように、複数箇所における判定及び複数箇所間の動きベクトルの比較を行うことにより、判定の確度を上げている。
【００８４】
以上の処理動作により、ぶれ検出を実施し、その判定結果の格納を行う。ぶれ検出が終了した後、合成処理部65において合成処理を行う。合成処理部65の処理動作を、図18に示すフローチャートに基づいて説明する。合成処理は、このフローチャートに示すように画素毎に行う。まず、該当する画素が合成対象領域であるかどうかを判定し、合成対象領域でない場合には処理を行わない。合成対象領域である場合には、ラベル値と、ラベルテーブルからそのラベル値に格納されているぶれ判定情報を読み出す。その判定情報より、それぞれのぶれに対応した合成処理を行う。手ぶれの場合には、ステップＳ121 に示すように、更に画像ｂの合成領域かどうかの判定を行う。画像ｂの合成領域である場合には、画像ｂの画素を画像ａの対応画素に合成を行うが、このときにラベルテーブルより動きベクトルを読み出し、これにより画像ｂの座標の移動を行う。しかる後に移動後の座標の画像ａにおける対応画素に対し合成を行うことにより、ずれのない合成画像を得る。図19に座標移動による合成処理の例を示す。
【００８５】
ぶれの判定情報が被写体ぶれの場合には、ステップＳ122 に示すように、画像ｂの合成領域かどうかの判定を行い、画像ｂの合成領域である場合には、まず画像ｂの画素と同座標の画像ａの画素に対して合成を行う。この座標が、どちらかの画像の合成領域である場合には、画像がずれて表示される可能性があるため、その合成領域にローパスフィルタを施し、画像をぼけさせることにより違和感のない画像を得る。図20にローパスフィルタ処理による合成処理の例を示す。
【００８６】
なお、本実施の形態では、前段の画像処理をハードで行い、ぶれ検出と画像合成処理をＣＰＵにより行ったものを示したが、画像処理をソフトで行うなど各種変形が可能である。
【００８７】
【発明の効果】
以上実施の形態に基づいて説明したように、請求項１に係る発明によれば、ぶれ検出手段のぶれ判定結果に基づいて適応的に補正して合成画像を形成するように構成しているので、手ぶれが発生した場合にも、被写体ぶれが発生した場合にも良好な広ダイナミックレンジの合成画像を得ることができる。また、合成画像領域をグループ化し各グループ毎に適応的に補正を行うように構成しているので、手ぶれと被写体ぶれが同時に発生した場合にも、良好な合成画像を得ることができる。請求項２に係る発明によれば、ぶれ検出を一部領域に対してのみ行うように構成しているので、ぶれ検出の処理が軽減され、高速に処理を行うことが可能となる。請求項３に係る発明によれば、簡易な回路構成により、ぶれ発生領域の検出が可能となる。請求項４に係る発明によれば、一定数連続して不一致となった場合に限りぶれ検出対象領域とするように構成しているので、微小な不一致領域を除去し、ノイズ等によりぶれ検出領域が大量に検出されて演算時間が増大することを防止することが可能となる。請求項５に係る発明によれば、簡易な回路構成でより適切に合成対象領域を検出することが可能となる。請求項６に係る発明によれば、簡易な回路構成で入力両画像の二値化処理を行うことが可能となる。請求項７に係る発明によれば、合成対象領域をラベルを付与してグループ分けするようにしているので、合成対象の塊毎に、ぶれの検出及び合成処理が行われ、良好な合成画像を得ることができる。請求項８に係る発明によれば、ブロックマッチングを両画像相互に行うように構成しているので、確実にぶれ判定を行うことができる。
【００８８】
また請求項９に係る発明によれば、それぞれの画像の特定領域を基準ブロックとした場合の動きベクトルの加算結果に基づいて、ぶれ判定を行うようにしているので、簡単な演算を行うことにより、ぶれ判定を行うことが可能となる。請求項10に係る発明によれば、それぞれの画像の特定領域を基準ブロックとした場合の類似度の最大値に基づいてぶれを判定するようにしているので、簡単な演算により一層確実にぶれ判定を行うことが可能となる。請求項11に係る発明によれば、複数の特定領域に対し類似度の検出を行いぶれ判定を行うようにしているので、ぶれ判定の確度を向上させることが可能となる。請求項12に係る発明によれば、有効性のあるブロックの結果のみでぶれ判定を行うようにしているので、ぶれ判定の誤検出を防止することが可能となる。請求項13に係る発明によれば、簡単な画素の演算によりぶれ判定への入力情報の有効性を判定することが可能となる。請求項14に係る発明によれば、ブロックマッチングの結果を用いて簡易にぶれ判定への入力情報の有効性を判定することが可能となる。請求項15に係る発明によれば、被写体ぶれが発生している合成対象領域にローパスフィルタをかけるようにしているので、簡単な処理により違和感のない合成画像を得ることができる。請求項16に係る発明によれば、手ぶれが発生している合成対象領域の座標をずらし合成画像を生成するようにしているので、手ぶれの発生している被写体に関してぶれのない合成画像を得ることができる。請求項17に係る発明によれば、動きベクトルに基づいて座標をずらし合成するようにしているので、手ぶれの発生した被写体に関して簡易にぶれのない合成画像を得ることが可能となる。
【図面の簡単な説明】
【図１】 本発明に係る画像合成装置の実施の形態の全体の概略構成を示す概念図である。
【図２】 図１に示した実施の形態の主要部の構成を示すブロック図である。
【図３】 図１及び図２に示した実施の形態の画像処理回路の構成を示すブロック図である。
【図４】 図３に示した二値化回路の構成を示すブロック図である。
【図５】 図４に示した二値化回路の動作を説明するための画像信号（輝度）の波形図である。
【図６】 合成対象領域検出部及びぶれ検出対象領域設定部の動作を説明するためのタイミングチャートである。
【図７】 二値化画像の比較態様を示す図である。
【図８】 手ぶれ及び被写体ぶれ混在時の画像及びその合成画像を示す図である。
【図９】 ラベリング部の動作を説明するための説明図である。
【図10】 ラベリング画像、ラベリング情報及びラベリングテーブルの一例を示す図である。
【図11】 ＣＰＵにおける処理の概要を示すフローチャートである。
【図12】 ぶれ検出部のソフト構成を示すブロック図である。
【図13】 ぶれ検出部の動作を説明するためのフローチャートである。
【図14】 ブロックマッチング算出部の動作を説明するためのフローチャートである。
【図15】 ブロックマッチング算出例を示す図である。
【図16】 図12に示したぶれ検出部における有効検出部の動作を説明するためのフローチャートである。
【図17】 画像のぶれの判断例を示す図である。
【図18】 合成処理部の動作を説明するためのフローチャートである。
【図19】 手ぶれ発生時のぶれ補正態様（座標変換）を示す図である。
【図20】 被写体ぶれ発生時のぶれ補正態様（ローパスフィルタ処理）を示す図である。
【図21】 従来の画像合成装置の構成例を示すブロック図である。
【図22】 図21に示した画像合成装置の動作を説明するためのタイミングチャートである。
【図23】 画像合成処理ステップを示す概念図である。
【図24】 従来のぶれ補正態様を示す概念図である。
【図25】 従来のぶれ補正手段の構成例を示すブロック図である。
【図26】 被写体ぶれ発生時のぶれ補正態様を示す概念図である。
【符号の説明】
１ 撮像素子
２ Ａ／Ｄ変換器
３ 画像処理回路
４ メモリ
５ メモリコントローラ
６ ＣＰＵ
31 合成対象領域検出部
31-1 ＯＲ回路
32 ラベリング部
33 ぶれ検出対象領域設定部
33-1 ＸＯＲ回路
33-2 連続検出回路
34 フレームメモリ
35 二値化回路
35-1 比較回路ａ
35-2 比較回路ｂ
35-3 除算回路
35-4 乗算回路
61 ぶれ検出部
61-1 特定領域設定部
61-2 ブロックマッチング算出部(1)
61-3 ブロックマッチング算出部(2)
61-4 有効検出部
61-5 ぶれ判定部
62 手ぶれ補正処理部
63 被写体ぶれ補正処理部
64-1，64-2 切換手段
65 合成処理部
Claims (17)
- 複数の画像を合成し、ダイナミックレンジの広い画像を得る画像合成装置において、前記複数の画像間の画像のぶれが被写体ぶれによるものか手ぶれによるものかを検出するぶれ検出手段と、被写体ぶれを補正して複数の画像を合成する第１の画像合成手段と、手ぶれを補正して複数の画像を合成する第２の画像合成手段と、前記ぶれ検出手段からのぶれ検出信号に応じて、前記第１の画像合成手段と前記第２の画像合成手段とを切り換える切換手段と、前記複数の画像の一方の画像と他方の画像より、画像の合成の対象となる合成対象領域を検出する合成対象領域検出手段と、前記合成対象領域を所定のグループに分けるグループ化手段とを有し、前記ぶれ検出手段は前記合成対象領域のグループ毎に被写体ぶれか手ぶれかを検出し、前記切換手段は、前記ぶれ検出手段からのぶれ検出信号に基づいて、前記合成対象領域のグループ毎に前記第１の画像合成手段と前記第２の画像合成手段とを切り換えるように構成されていることを特徴とする画像合成装置。
- 前記複数の画像間の画像のぶれを検出する対象となるぶれ検出対象領域を設定するぶれ検出対象領域設定手段を更に備え、前記ぶれ検出手段は、前記ぶれ検出対象領域内でのみぶれを検出するように構成されていることを特徴とする請求項１に係る画像合成装置。
- 前記一方の画像と前記他方の画像を各々所定の閾値で二値化し二値画像を出力する二値化手段を更に備え、前記ぶれ検出対象領域設定手段は、前記一方の二値画像と前記他方の二値画像との比較を行い、不一致領域を前記ぶれ検出対象領域として出力する比較手段を備えていることを特徴とする請求項２に係る画像合成装置。
- 前記比較手段は、前記一方の二値画像と前記他方の二値画像とを所定の方向に走査して両画像間の比較を行い、その比較結果が一定数連続して不一致となった場合に限り、ぶれ検出対象領域を示す信号を出力するように構成されていることを特徴とする請求項３に係る画像合成装置。
- 前記合成対象領域検出手段は、前記比較手段により不一致領域とされた領域と、前記一方の二値画像と前記他方の二値画像とのいずれか一方の画像において前記閾値以上であるとされた領域とを含めた領域を、前記合成対象領域として出力することを特徴とする請求項３に係る画像合成装置。
- 前記二値化手段は、前記一方の画像を二値化する閾値と前記他方の画像を二値化する閾値を、それぞれの画像の露光量に比例した値とすることを特徴とする請求項３に係る画像合成装置。
- 前記グループ化手段は、前記合成対象領域の連結態様を検出し、連結している領域毎にラベルを付与することによりグループ分けを行なうように構成されていることを特徴とする請求項１に係る画像合成装置。
- 前記ぶれ検出手段は、前記ぶれ検出対象領域内からぶれ検出を実施する領域を特定する特定領域設定手段と、前記一方の画像内における前記特定領域に基準ブロックを設定し、該基準ブロックと前記他方の画像における前記特定領域及びその周辺領域からなる探索領域内の複数の参照ブロックとの類似度を演算し、最も類似度が大きい参照ブロックを検出する第１のブロックマッチング手段と、前記第１のブロックマッチング手段における前記一方の画像と前記他方の画像とを入れ替えて、前記第１のブロックマッチング手段と同様の処理を行う第２のブロックマッチング手段と、前記第１のブロックマッチング手段からの出力と、前記第２のブロックマッチング手段からの出力とに基づいて、手ぶれと被写体ぶれを判定するぶれ判定手段を有することを特徴とする請求項２に係る画像合成装置。
- 前記ぶれ判定手段は、前記基準ブロックに対する類似度が最大となる参照ブロックへのベクトルを動きベクトルとして演算するベクトル演算手段を有し、前記一方の画像の前記特定領域を基準ブロックとした場合の動きベクトルと、前記他方の画像の前記特定領域を基準ブロックとした場合の動きベクトルとを加算した結果が所定の値以下である場合には手ぶれと判定し、そうでない場合には被写体ぶれと判定することを特徴とする請求項８に係る画像合成装置。
- 前記ぶれ判定手段は、前記一方の画像の特定領域を基準ブロックとした場合の類似度の最大値と、前記他方の画像の特定領域を基準ブロックとした場合の最大値とが、共に所定の値以上である場合には手ぶれと判定し、そうでない場合には被写体ぶれと判定することを特徴とする請求項８に係る画像合成装置。
- 前記特定領域設定手段は、前記合成対象領域の各グループ毎に複数の特定領域を設定し、前記ぶれ検出部は、前記複数の特定領域に対し類似度の検出を行ない、この結果より手ぶれか被写体ぶれかを判定することを特徴とする請求項８に係る画像合成装置。
- 前記ぶれ検出手段は、前記第１及び２のブロックマッチング手段により求められた前記類似度及び前記参照ブロックに係る情報を、前記ぶれ判定手段に入力するか否かを判定する有効判定手段を有することを特徴とする請求項８に係る画像合成装置。
- 前記有効判定手段は、前記複数画像の前記特定領域の輝度値が所定の値より小さく黒に近いことを検出する黒レベル検出手段と、前記複数画像の前記特定領域の輝度値が所定の値より大きく白に近いことを検出する白レベル検出手段と、前記複数画像の前記特定領域の各画素間の輝度値差が所定の値より小さいことを検出する輝度差検出手段とを備え、前記黒レベル検出又は白レベル検出又は輝度差検出がいずれも検出されなかった場合には、前記第１及び２のブロックマッチング手段により求められた前記類似度及び前記参照ブロックに係る情報を前記ぶれ判定手段に入力させることを特徴とする請求項12に係る画像合成装置。
- 前記有効判定手段は、前記第１及び２のブロックマッチング手段により求められた前記類似度の最大値と最小値の差が所定の範囲以上であった場合に、前記第１及び２のブロックマッチング手段により求められた前記類似度及び前記参照ブロックに係る情報を、前記ぶれ判定手段に入力させることを特徴とする請求項12に係る画像合成装置。
- 前記第１の画像合成手段は、前記一方の画像と前記他方の画像を合成して得られる画像に対して、前記合成対象領域に対応する画像信号にローパスフィルタ処理を施すことを特徴とする請求項１に係る画像合成装置。
- 前記第２の画像合成手段は、前記手ぶれに係る量を基に前記一方の画像を水平及び垂直方向に座標をずらした画像と、前記他方の画像とを合成することを特徴とする請求項１に係る画像合成装置。
- 前記第２の画像合成手段は、前記基準ブロックと類似度が最大となる参照ブロックより動きベクトルを検出し、動きベクトルを基に前記一方の画像を水平及び垂直方向に座標をずらした画像と、前記他方の画像とを合成することを特徴とする請求項８に係る画像合成装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001341374A JP4050498B2 (ja) | 2001-11-07 | 2001-11-07 | 画像合成装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001341374A JP4050498B2 (ja) | 2001-11-07 | 2001-11-07 | 画像合成装置 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007272338A Division JP2008048459A (ja) | 2007-10-19 | 2007-10-19 | 画像合成装置 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2003143484A JP2003143484A (ja) | 2003-05-16 |
| JP2003143484A5 JP2003143484A5 (ja) | 2005-06-30 |
| JP4050498B2 true JP4050498B2 (ja) | 2008-02-20 |
Family
ID=19155403
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001341374A Expired - Fee Related JP4050498B2 (ja) | 2001-11-07 | 2001-11-07 | 画像合成装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4050498B2 (ja) |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4779491B2 (ja) * | 2005-07-27 | 2011-09-28 | パナソニック電工株式会社 | 複数画像合成方法及び撮像装置 |
| WO2007032082A1 (ja) * | 2005-09-16 | 2007-03-22 | Fujitsu Limited | 画像処理方法及び画像処理装置 |
| JP5079253B2 (ja) * | 2006-04-05 | 2012-11-21 | 京セラ株式会社 | 手ぶれ量検出装置、手ぶれ補正装置、撮像装置及び手ぶれ量検出方法 |
| JP5079271B2 (ja) * | 2006-06-28 | 2012-11-21 | 京セラ株式会社 | 手ぶれ量検出装置、手ぶれ補正装置、撮像装置及び手ぶれ量検出方法 |
| JP5079284B2 (ja) * | 2005-12-26 | 2012-11-21 | 京セラ株式会社 | 手ぶれ量検出装置、手ぶれ補正装置、撮像装置及び手ぶれ量検出方法 |
| US8542278B2 (en) | 2005-12-26 | 2013-09-24 | Kyocera Corporation | Shaking detection device, shaking correction device, imaging device, and shaking detection method |
| WO2008032392A1 (fr) * | 2006-09-14 | 2008-03-20 | Fujitsu Limited | Procédé et dispositif de traitement d'image et programme connexe |
| JP4861109B2 (ja) | 2006-09-27 | 2012-01-25 | 富士通株式会社 | 画像データ処理装置、画像データ処理方法、画像データ処理プログラム、および、撮像装置 |
| JP5177284B2 (ja) | 2009-03-30 | 2013-04-03 | 富士通株式会社 | 被写体動き検出装置および方法 |
| JP5772044B2 (ja) * | 2011-02-17 | 2015-09-02 | カシオ計算機株式会社 | 撮像装置、撮像方法及びプログラム |
| JP2015204489A (ja) | 2014-04-11 | 2015-11-16 | ハンファテクウィン株式会社Ｈａｎｗｈａ Ｔｅｃｈｗｉｎ Ｃｏ．，Ｌｔｄ． | 画像処理装置および画像処理方法 |
| JP6536012B2 (ja) * | 2014-11-05 | 2019-07-03 | コニカミノルタ株式会社 | 画像生成装置及び画像生成制御プログラム並びに画像生成制御方法 |
-
2001
- 2001-11-07 JP JP2001341374A patent/JP4050498B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003143484A (ja) | 2003-05-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP0225651B1 (en) | Method of and apparatus for detecting pattern defects | |
| JP4050498B2 (ja) | 画像合成装置 | |
| US4558462A (en) | Apparatus for correcting image distortions automatically by inter-image processing | |
| KR920001006B1 (ko) | Tv방식변환장치 | |
| US20100007754A1 (en) | Image processing device, electronic camera and image processing program | |
| JP3866957B2 (ja) | 画像合成装置 | |
| WO2005117455A1 (ja) | Ｒａｗデ－タから倍率色収差を検出する画像処理装置、画像処理プログラム、および電子カメラ | |
| WO2002005213A2 (en) | Method and apparatus for digital image defect correction and noise filtering | |
| JPH0614305A (ja) | 映像信号のフィールド又はフレーム間の動きを表す運動ベクトルを導出する方法及びこれを使用する映像方式変換装置 | |
| JP3601908B2 (ja) | 撮像素子の欠陥画素補正処理装置、ｘ線診断装置 | |
| JPH07118784B2 (ja) | テレビジヨン信号の動き検出方法 | |
| KR20110032402A (ko) | 다중 영상 합성 방법 및 그 장치 | |
| US20090102966A1 (en) | Systems and methods of motion and edge adaptive processing including motion compensation features | |
| JP2006325274A (ja) | 撮像装置 | |
| JPH09101236A (ja) | 表示欠陥検査装置および表示欠陥検査方法 | |
| JP2008048459A (ja) | 画像合成装置 | |
| JP4276817B2 (ja) | 撮像装置 | |
| JPH1042201A (ja) | 画像欠陥補正回路 | |
| JP2008072428A (ja) | 画像処理装置、電子カメラ、および画像処理プログラム | |
| JP4197821B2 (ja) | 画像処理装置 | |
| JPH06268922A (ja) | スミア補正装置 | |
| JP2009017583A (ja) | 画像処理装置 | |
| JP7516090B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
| JP3727460B2 (ja) | 動きベクトル検出回路 | |
| JP2516580B2 (ja) | 画像動き検出装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041019 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041019 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070815 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070821 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071019 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20071127 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20071129 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101207 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111207 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111207 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121207 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131207 Year of fee payment: 6 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |