JP6039188B2

JP6039188B2 - 画像処理装置および画像処理方法

Info

Publication number: JP6039188B2
Application number: JP2012023340A
Authority: JP
Inventors: 由佳峯岸
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2012-02-06
Filing date: 2012-02-06
Publication date: 2016-12-07
Anticipated expiration: 2032-02-06
Also published as: JP2013162359A

Description

本発明は、異なる露光量で撮影した複数枚の画像の位置ずれを補正しながらハイダイナミックレンジ合成画像を取得する画像処理装置及び画像処理装置の制御方法に関するものである。

従来、露光量の異なる画像の位置ずれ検出に必要な処理として、複数枚の画像の明るさを揃える処理が挙げられている。なぜなら、位置ずれ検出では、輝度や色の特徴点の相関から位置ずれを検出する手法が主に用いられており、明るさを揃える処理が位置ずれ検出精度に影響するからである。

例えば、特許文献１では、短時間露光画像を基準とした長時間露光画像との露光時間の比からゲインを算出し、短時間露光画像に前記ゲインを乗算する事で長時間露光画像との明るさを揃えて位置ずれ検出を行う方法が開示されている。特許文献２では、基準画像データの平均輝度値と基準輝度値の比からゲインを算出し、基準画像データに前記ゲインを乗算する。さらに、非基準画像データの平均輝度値と基準輝度値の比からゲインを算出し、非基準画像データに前記ゲインを乗算することで、基準画像データと非基準画像データの明るさを揃えて位置ずれを検出する方法が開示されている。また、特許文献１・特許文献２共に、位置ずれ検出結果を用いて、ゲインを乗算する前の画像に対して位置ずれ補正を行い、画像合成を行っている。この時、位置ずれ補正を行った画像の合成方法としては、撮像素子から得られたデータをメモリから直接読み出して合成し、合成した画像のダイナミックレンジを圧縮する方法が採用されている。

特開２０００−３４１５８２号公報特開２００８−１０９１７６号公報

しかしながら、撮像素子から得られたデータをメモリから直接読み出して合成し、合成した画像のダイナミックレンジを圧縮するのでは、合成した画像（データ）のレンジが、露光量差によっては通常の１枚の画像を扱う場合の数倍から十数倍になってしまう。組み込み機器としての画像処理装置としては、画像（データ）のレンジは一定であることがメモリ容量や処理ブロックの共通化の観点からも望ましい。

そこで、本発明の目的は、位置ずれ検出精度を確保しつつ好適なハイダイナミックレンジ画像を生成することを可能にした、画像処理装置を提供することである。

上記目的を達成するために、本発明は、露光量の異なる複数枚の画像を位置合わせして合成することで、ダイナミクスレンジを拡大した合成画像を生成する画像処理装置において、前記複数枚の画像に対して、前記複数枚の画像間の画像の明るさを合わせるために画像間の露光量比に基づく第１のゲインを各画素に一様に乗じる処理を含む第１の画像処理を施し、位置ずれ検出用の第１の画像を出力する第１の画像処理手段と、前記複数枚の画像に対して、前記第１の画像処理とは異なる第２の画像処理を施し、合成用の第２の画像を出力する第２の画像処理手段と、前記第１の画像間の位置ずれ量を検出する位置ずれ検出手段と、前記位置ずれ量を用いて前記第２の画像間の画像の位置ずれを補正する位置ずれ補正手段と、前記位置ずれ補正を行った複数枚の前記第２の画像を合成して前記合成画像を生成する画像合成手段と、を有することを特徴とする。

また、本発明は、露光量の異なる複数枚の画像を位置合わせして合成することで、ダイナミクスレンジを拡大した合成画像を生成する画像処理方法であって、前記複数枚の画像に対して、前記複数枚の画像間の画像の明るさを合わせるために画像間の露光量比に基づく第１のゲインを各画素に一様に乗じる処理を含む第１の画像処理を施し、位置ずれ検出用の第１の画像を出力する第１の画像処理ステップと、前記複数枚の画像に対して、前記第１の画像処理とは異なる第２の画像処理を施し、合成用の第２の画像を出力する第２の画像処理ステップと、前記第１の画像間の位置ずれ量を検出する位置ずれ検出ステップと、前記位置ずれ量を用いて前記第２の画像間の画像の位置ずれを補正する位置ずれ補正ステップと、前記位置ずれ補正を行った複数枚の前記第２の画像を合成して前記合成画像を生成する画像合成ステップと、を有することを特徴とする。

本発明によれば、露光量の異なる複数枚の画像を用いた合成によるハイダイナミックレンジ画像の生成において、位置ずれ検出精度を確保しつつ好適なハイダイナミックレンジ画像を生成することを可能とする。

デジタルカメラの構成第１の実施形態の処理ステップ位置ずれ検出処理の処理ステップ位置ずれ検出処理の概要画像処理方法エッジとノイズの関係合成方法の概要第２の実施形態の処理ステップ第３の実施形態の処理ステップ

（第１の実施形態）
図１は、本発明の実施形態にかかわる、画像処理装置の一例であるデジタルカメラの構成を示した図である。以下、図１と図２を参照して、本発明の第１の実施形態による、露光量の異なる２枚の画像の位置ずれを補正しながら、その２枚の画像を合成し１枚のハイダイナミックレンジ合成画像を取得する方法について説明する。

図１は本実施形態における撮像装置の一例であるデジタルカメラ１００の構成を示し、制御部１１７０が、図２の処理ステップに従って、以下の各モジュール間のデータのやり取りや、各モジュールでの演算処理を制御している（不図示）。また、場合によっては、ユーザ指示などの外部操作がインターフェースＩ／Ｆ１１８０からカメラへと入力され、制御部１１７０を介して、デジタルカメラを制御する。

ステップＳ１では、制御部１１７０の指示に従い、撮像部１０００は、被写体像を光電変換する撮像素子からアナログ電圧として出力する信号を、以降の画像処理に適するデジタルデータへと変換し、メモリ１０１０とメモリ１０２０へ格納する処理まで行う。本実施形態では、撮像素子として、６５０ｎｍ（Ｒ）、５５０ｎｍ（Ｇ）、４５０ｎｍ（Ｂ）近傍に透過主波長帯を持つ３種類の色フィルタを備える一般的な原色カラーフィルタを備えるＣＭＯＳセンサを用いることとするが撮像素子の形態としてはこれに限らない。本実施形態では、露光時間が異なる２回の撮像を行い、露光時間が基準となる露光時間よりも長い撮像結果（オーバー画像）をメモリ１０１０に格納し、露光時間が基準となる露光時間よりも短い撮像結果（アンダー画像）をメモリ１０２０に格納する。

ステップＳ２では、制御部１１７０の指示に従い、画像処理部Ａ１０３０は、オーバー画像に位置ずれ検出に適したゲイン補正処理を含む画像処理を行った位置ずれ検出画像を、メモリ１０４０へ格納する処理まで行う。ステップＳ３では、制御部１１７０の指示に従い、画像処理部Ａ１０５０は、アンダー画像に位置ずれ検出に適したゲイン補正処理を含む画像処理を行った位置基準用画像を、メモリ１０６０へ格納する処理まで行う。次のステップＳ４の処理を行う前に、ステップＳ２とステップＳ３の処理が終わっていればよいため、ステップＳ２とステップＳ３の処理は同時に行ってもよく、どちらのステップを先に行ってもよく、本発明はいずれかに限定するものではない。

ステップＳ４では、制御部１１７０の指示に従い、位置ずれ検出部１０７０は、画像処理を施した２枚の位置ずれ検出画像と位置基準用画像の位置ずれ情報を取得し、メモリ１０８０へ格納する処理まで行う。以下に、図３を参照して、位置ずれ検出部１０７０における位置ずれ検出方法について述べる。

まず、画像を複数個のブロック領域に分割して、それぞれのブロック毎にエッジ検出処理を行う（Ｓ４１）。エッジ検出方法として、入力画像にローパスフィルタをかけることで大ボケ画像を作成し、入力画像から大ボケ画像を減算することでエッジを検出する。もしくは、公知の微分フィルタやプリューウィットフィルタなどを用いる方法が考えられる。エッジ検出では、センサ起因のノイズではなく、被写体像のエッジのみを検出した方が位置ずれ検出精度の向上を図ることができる。

次に、画像のブロック領域の中でエッジ検出ができたブロック領域に対してずれ量検出を行う（Ｓ４２）。エッジ検出ができたブロック領域に対してのみずれ量検出をすることで、位置ずれ検出精度の向上を図ることができる。本実施形態では、ずれ量検出として以下の方法を用いる。ブロック領域内の全画素の位置基準用画像の画素値と位置ずれ検出画像の画素値の差分絶対値和（ＳＡＤ：ＳｕｍｏｆＡｂｓｏｌｕｔｅＤｉｆｆｅｒｅｎｃｅ）を算出する。そして、その総和（ＳＡＤ）が最も小さくなる移動量と移動方向をそのブロックの動きベクトルとする。

図４にずれ量検出方法の例を示す。図４（ａ）は、位置基準画像の対象ブロック領域の画素値を示している。一方、図４（ｂ）は、位置ずれ検出画像の画素値を示している。図４の場合、画素値の差の絶対値が最も小さくなる移動量は、（ｘ，ｙ）＝（１，２）と求まる。同様の処理を画像の全ブロック領域に対して行い、全てのブロック領域の動きベクトルを求める。さらに、これらの処理を各信号（本実施形態では、ＹＵＶ信号それぞれ）について行い、平均を取るなどして動きベクトルを算出する。ずれ量検出では、位置基準用画像と位置ずれ検出画像の同じ被写体領域が同じ明るさ、同じ色味である方が位置ずれ検出精度の向上を図ることができる。

最後に、アフィン係数を算出する（Ｓ４３）。アフィン係数とは、線形変換と平行移動を組み合わせたアフィン変換に用いる行列であり、以下の式１で表せる。

この時、補正前画像の座標を（ｘ，ｙ）、補正後画像の座標を（ｘ’，ｙ’）とし、３×３行列をアフィン係数と呼ぶ。各ブロック領域から求めた動きベクトルを用いて、アフィン係数を求める。

以上が、位置ずれ検出部１０７０における位置ずれ検出方法である。ただし、位置ずれ検出方法としては、周波数解析から２枚の画像のずれ量を検出するなど、他にもさまざまな方法が公知であるが、位置ずれ検出精度や検出処理負荷、検出処理スピードなど、デジタルカメラに適した方法であれば、いずれかに限定するものではない。

ステップＳ５Ａでは、制御部１１７０の指示に従い、画像処理部Ｂ１０９０は、オーバー画像に対して合成に適したガンマ変換処理を含む画像処理を行った位置ずれ補正用画像を、メモリ１１００へ格納する。位置ずれ補正部１１１０は、位置ずれ補正用画像を位置ずれ検出部１０７０から取得した位置ずれ検出情報（アフィン係数）に基づいて補正（アフィン変換）し、オーバー合成用画像を取得する処理まで行う。ステップＳ６Ａでは、制御部１１７０の指示に従い、画像処理部Ｂ１１２０は、アンダー画像に対して合成に適したガンマ変換処理を含む画像処理を行ったアンダー合成基準用画像を、メモリ１１３０へ格納する処理まで行う。次のステップＳ７の処理を行う前に、ステップＳ５ＡとステップＳ６Ａの処理が終わっていればよいため、ステップＳ５ＡとステップＳ６Ａの処理は同時に行ってもよく、どちらのステップを先に行ってもよく、本発明はいずれかに限定するものではない。

ここで、画像処理部Ａ１０３０と画像処理部Ａ１０５０、画像処理部Ｂ１０９０と画像処理部Ｂ１１２０の詳細に関して以下に述べる。まず、画像処理方法に関して、通常の１枚の画像を扱う場合の一般的な方法について図５を参照して述べる。メモリに格納された撮像結果を入力画像５０１とし、画像が所望の明るさとなるように画素ごとにゲインを乗算するゲイン補正処理５０２を行う。具体的には、光学収差に起因する周辺光量落ちを補正する周辺光量補正などを行う。次に、画像の白くあるべき領域のＲ，Ｇ，Ｂが等色になるようなゲインを画像全体のＲ，Ｇ，Ｂ各々に乗算するホワイトバランス補正処理５０３を行う。次に、ノイズリダクション（ノイズ低減：ＮＲ）処理５０４を行い、被写体像に由来しないセンサ起因のノイズなどを低減する。次に、各画素に対してその周辺画素から足りない色情報を集め与えることで色情報を補間するデモザイク処理５０５を行い、フルカラー画像を作り出す。さらに、生成されたカラー画像に対して、各色信号成分を他の出力に適した色信号成分に置き換えるためのマトリックス変換処理５０６、およびノンリニアなゲイン（ガンマ）テーブルによるガンマ変換処理５０７を行い、基本的なカラー画像を生成する。最後に、色調整処理５０８として彩度強調、色相補正、シャープネス強調などの画像の見栄えを改善するための処理がカラー画像に対し行われ、出力画像５０９が生成される。

本実施形態では、画像処理部Ａ１０３０と画像処理部Ａ１０５０、画像処理部Ｂ１０９０、画像処理部Ｂ１１２０は、どのブロックも上述した画像処理を行う。しかし、制御部１１７０の指示により、それぞれの意図する出力画像、すなわち画像処理部Ａ１０３０、Ａ１０５０は位置ずれ検出用、画像処理部Ｂ１０９０、Ｂ１１２０は合成用といった用途に適した各画像処理のパラメータが設定される。そのため、本実施形態では別々のブロックとして図示している。従って、構成としては、ハードとして画像処理部を１つ構成し、上述したこれらの処理を逐次行うようにしてもよい。

本実施形態では、これら一連の画像処理を、位置ずれ検出用画像と合成用画像それぞれに適した各画像処理のパラメータを設定して行うことに特徴がある。具体的には、まず第一に、位置ずれ検出用画像を出力する画像処理部Ａ１０３０、Ａ１０５０では、ホワイトバランス処理において露光時間の異なる画像間の明るさを合わせる第１のゲインを併せて掛ける処理（第１の画像処理）を行う。次に、合成用画像を出力する画像処理部Ｂ１０９０、Ｂ１１２０では、ガンマ変換処理において露光時間の異なる画像間の明るさを合わせる第２のゲインを掛ける処理（第２の画像処理）を行う。さらに、前述した第１のゲイン、第２のゲインが一連の画像処理において異なるステップで掛かることに起因して、ノイズ低減処理を位置ずれ検出用画像に対する画像処理と合成用画像に対する画像処理とで異ならせる。ただし、ホワイトバランス補正係数は、位置ずれ検出においても、合成においても、同じ色味である方が良いため、画像処理部Ａ１０３０とＡ１０５０、画像処理部Ｂ１０９０とＢ１１２０それぞれで同一のホワイトバランス補正係数を用いることとする。

ここで、位置ずれ検出用画像に掛ける第１のゲインとノイズ低減処理について詳しく説明する。先にも述べたように、位置ずれ検出精度を向上させるためには、露光時間の異なる画像であっても位置ずれ検出に用いる２枚の画像は同じ明るさであることが望ましい。そこで、撮像結果の全ての画素に画像間の露光量比に基づいた同じゲインを乗算することで、露光時間の異なる画像の明るさを揃える（露光量を揃える）ことが重要である。例えば、長い露光時間が短い露光時間の４倍だった場合、短い露光時間の画像には４倍のゲインを乗算することで明るさを揃えることができる。また、本実施形における位置ずれ検出は、エッジ検出部分を特徴点として位置ずれを検出する方法を用いている。この時、位置ずれ検出精度を向上させるためには、エッジ検出の精度を向上させることが重要である。そこで、画像に対して平滑化処理（ＮＲ処理）を行い、被写体像に由来しないノイズをエッジと誤検出しないようにすることが重要である。この時、本実施形態のようにＮＲ処理の前にゲイン補正を行った場合、ＮＲ処理方法は、通常の１枚の画像を扱う場合とは異なる考え方が必要となる。画像処理におけるＮＲ処理とは、単純な平滑化処理ではなく、本実施形態で用いられるイプシロンフィルタや、その他にもバイラテラルフィルタのようにエッジを保ちながらノイズのみを低減する処理が求められる。この場合に重要となる要素は、被写体のエッジ成分の信号値の振幅とノイズ成分の信号値の振幅の大小関係である。一般的にはエッジ成分の信号値の振幅の方がノイズ成分の信号値の振幅よりも大きいという期待がある。イプシロンフィルタやバイラテラルフィルタでは、画像の中のある閾値よりも小さな信号値の振幅をノイズと判断して平滑化処理を行い、ある閾値よりも大きな信号値の振幅はエッジとして保持する。通常の１枚の画像を扱う場合では、ＩＳＯ感度が高くなる（入力信号の増幅率が高くなる）に従ってノイズ成分の信号値の振幅として評価する閾値を大きくすることで、ノイズを被写体のエッジとして誤検出しないような仕組みがある。この考えと同様に、位置ずれ検出画像へのＮＲ処理は、ゲイン補正処理におけるゲイン量に応じて、ノイズ成分の信号値の振幅を評価する閾値を、ＩＳＯ感度を変えた場合と同様に変える必要がある。つまり、例えば信号を大きくする方にゲイン補正を行った場合、信号とノイズの比率は同じであるが、信号とノイズの差の絶対値（ノイズ成分の信号値の振幅）は拡大してしまうという現象が起きてしまう（図６（ａ））。従って、ゲイン補正処理におけるゲイン量に応じて、ノイズ成分の信号値の振幅を評価する閾値を変えることで、ノイズを正しく判断して低減し、被写体に由来するエッジのみを保つことができる。以上のように、位置ずれ検出用画像が入力される画像処理部Ａ１０３０、Ａ１０５０では、画像間の明るさを合わせる第１のゲインをホワイトバランスのゲインと併せて掛ける。その後、後段のＮＲ処理（第１のノイズ低減処理）のパラメータを第１のゲインに応じて設定する。なお、本実施形態では、第１のゲインを、同じく画像全体に一様に掛けるホワイトバランスのゲインと併せて掛けたが、これに限らず、前段の画素毎に設定されるゲインのゲイン補正処理に、各ゲインを嵩上げするような形で第１のゲインを併せて掛けても良い。

次に、合成用画像に掛ける第２のゲインとノイズ低減処理（第２のノイズ低減処理）について詳しく説明する。合成用画像に第１のゲインのように全ての画素に同じゲインを乗算すると、高輝度部が白とびしてしまったり、低輝度部が黒つぶれしてしまったりと、白とび・黒つぶれを軽減するハイダイナミックレンジ合成画像の効果が失われてしまうことがある。そこで、画像処理部Ｂ１０９０と画像処理部Ｂ１１２０は、露光時間の異なるそれぞれの画像の明るさをノンリニアなガンマテーブル（ガンマ特性）によるガンマ処理において調整する。例えば、図６（ｂ）のように長い露光時間が短い露光時間の４倍だった場合、長い露光時間の画像は１／４倍に近いが、黒つぶれをしない程度のガンマテーブルを用いる。一方、短い露光時間の画像のガンマテーブルとしては、明るさの暗い領域と中間領域では、長い露光時間より短い露光時間の画像には４倍のゲインを、明るい領域では明るくなるに従って徐々に４倍より小さいゲインを乗算するようなガンマテーブルを用いる。このようなガンマテーブルを用いることで、アンダー画像の高輝度部の白とびは軽減され、ハイダイナミックレンジ画像の効果が得られる。ここで、図６（ｂ）は横軸に画像処理部Ｂ１０９０、Ｂ１１２０に入力される入力値（１４ｂｉｔ）、縦軸に出力値（８ｂｉｔ）をとる場合のガンマ特性曲線を示している。

また、前述の位置ずれ検出用の画像のようにＮＲ処理の前に画像の明るさを合わせる処理をしているわけではないので、ＮＲ処理は通常の１枚の画像を扱う場合と同じでもよい。すなわち、例えば短い露光時間の画像が長い露光時間の画像に明るさを合わせる場合、位置ずれ検出用のＮＲ処理が、位置ずれ検出用画像に掛ける第１のゲインの大きさに合わせて、合成用画像に施すＮＲ処理に比べて強くかかる。ただし、明るさ（露光量差に応じた第２のゲインの値の大きさ）によっては、通常の１枚の画像よりは大きなゲインを乗算するため、明るさに応じて合成用画像に施すＮＲの効果を変えたりしてもよい。また、ユーザが通常の１枚の画像を扱う場合よりＮＲ効果を強めたり弱めたりしたいと希望する場合、ユーザ指示によりインターフェースＩ／Ｆ１１８０からカメラへとＮＲ効果に関する情報が入力され、それに従ってもよい。

また、合成画像の効果を変えるために、合成用画像の処理としても領域ごとのゲイン補正とガンマテーブルでの調整を併用することがあるが、この場合のＮＲ処理は位置ずれ検出用画像に用いた考え方を取り入れるとよい。また、色調整処理に関しても、それぞれの画像の見栄えを改善するような別処理を行ってもよく、ユーザ指示によりインターフェースＩ／Ｆ１１８０からカメラへと情報が入力され、それに従ってもよい。

以上が、画像処理部Ａ１０３０と画像処理部Ａ１０５０、画像処理部Ｂ１０９０と画像処理部Ｂ１１２０で行われる処理についての詳細である。

ステップＳ７では、制御部１１７０の指示に従い、オーバー合成用画像とアンダー合成基準用画像を画像合成部１１４０で合成し、ハイダイナミックレンジ画像を取得する処理まで行う。ハイダイナミックレンジ合成画像を取得するためには、アンダー合成基準用画像の合成基準輝度閾値より暗い領域はオーバー合成用画像で置き換える（合成基準用画像の合成比率＝０％）。また、合成基準輝度閾値より明るい領域はアンダー合成基準用画像をそのまま（合成基準用画像の合成比率＝１００％）に合成する。または、合成基準輝度閾値付近の明るさの中間領域は合成基準用画像の合成比率を徐々に変化させるなど、よりユーザにとって自然な見えとなる様に合成方法を工夫してもよく（図７）、本実施形態は画像合成部１１４０での処理をいずれかに限定するものではない。

ステップＳ８では、制御部１１７０の指示に従い、画像合成部１１４０から出力したハイダイナミックレンジ合成画像を、メモリ１１５０に格納する。その後、必要に応じてＳＤカードなどの外部メモリ１１６０に保存する。

本実施例のおける、メモリ１０１０からメモリ１１５０までのメモリは別々のメモリでもよいが、それぞれの情報に必要な時にアクセスできるのであれば、同じメモリ内の別ブロックでもよい。

また、本実施例では、位置基準画像をアンダー画像としたが、位置ずれの検出精度がオーバー画像を位置基準画像とした方が良い場合はオーバー画像でもよい。同様に、合成基準画像をアンダー画像としたが、ハイダイナミックレンジ合成結果の画質がオーバー画像を合成基準画像とした方が良い場合はオーバー画像でもよい。

以上のように、本実施形態では、露光量の異なる複数枚の画像に対して、位置ずれ検出のための画像とＨＤＲ画像合成のための画像を別々に生成することで、位置ずれ検出精度を確保しつつ好適なハイダイナミックレンジ画像を生成することを可能とする。特に位置ずれ検出用画像に対しては画素に一様な第１のゲインを掛け、合成用画像に対しては画素の輝度に応じた第２のゲインを掛けて画像間の明るさを合わせる、というように各用途に適した処理を行うことで上述した効果を実現する。さらに、前記ゲインの掛け方の違いに起因して位置ずれ検出用画像に対するＮＲ処理と合成用画像に対するＮＲ処理とを異ならせることで、各用途に適した処理画像を得ることを可能とする。

（第２の実施形態）
組み込み機器としての画像処理装置としては、使用するメモリ容量を削減した方が良いことがある。また、位置ずれ検出のための画像と画像合成のための画像を別々に生成する構成を応用することで、画像合成のための画像としては適さないが、位置ずれ検出の精度をより向上させる位置ずれ検出のための画像を生成することも可能である。そこで、本実施形態では、第１の実施形態に比べて位置ずれ検出用画像の処理を異ならせて、よりメモリ容量を削減でき、処理時間も短縮できるような処理を行うことを特徴とする。

以下、図８を参照して、本発明の第２の実施例による、露光量の異なる２枚の画像の位置ずれを補正しながら、その２枚の画像を合成し１枚のハイダイナミックレンジ合成画像を取得する方法について説明する。第１の実施形態で既に説明をしたステップに関しては同じステップ番号を付しており、説明を省略する。

ステップＳ２Ｂでは、制御部１１７０の指示に従い、画像処理部Ａ１０３０は、オーバー画像に位置ずれ検出に適したゲイン補正処理を含む画像処理を行った位置ずれ検出画像を、メモリ１０４０へ格納する処理まで行う。ステップＳ３Ｂでは、制御部１１７０の指示に従い、画像処理部Ａ１０５０は、アンダー画像に位置ずれ検出に適したゲイン補正処理を含む画像処理を行った位置基準用画像を、メモリ１０６０へ格納する処理まで行う。次のステップＳ４の処理を行う前に、ステップＳ２ＢとステップＳ３Ｂの処理が終わっていればよいため、ステップＳ２ＢとステップＳ３Ｂの処理は同時に行ってもよく、どちらのステップを先に行ってもよく、本発明はいずれかに限定するものではない。

以下に、本実施例に特有である、画像処理部Ａ１０３０と画像処理部Ａ１０５０について述べる。本実施例における画像処理部Ａ１０３０と画像処理部Ａ１０５０は、他の実施例における画像処理部Ａ１０３０と画像処理部Ａ１０５０と画像処理方法は同じであるが、制御部１１７０の指示により、異なる各画像処理のパラメータが設定される。位置ずれ検出方法では、位置基準用画像と位置ずれ検出画像の色空間の１次元情報のみでもよく、輝度情報のみでも位置ずれ検出できる。そこでメモリを削減するために、画像処理部Ａ１０３０、Ａ１０５０におけるマトリックス変換処理で、ＲＧＢ信号をＹＵＶ信号に変換した後、Ｙ信号のみを取り出して位置ずれ検出を行う。さらに、位置ずれ検出用画像に行うコントラスト処理やシャープネス処理を合成用画像に行う各処理に比べて強めに行うことで、エッジ検出精度が向上することが見込める。使用メモリ量を削減したり、位置ずれ検出精度を向上させたりすることができる。しかし、このような処理を行った画像を用いて合成してしまうと、ユーザが望んでいた画像とは違う画像を提供することになり、あくまでも位置ずれ検出画像として使用する。

ステップＳ５Ｂでは、制御部１１７０の指示に従い、画像処理部Ｂ１０９０は、オーバー画像に合成に適したガンマ変換処理を含む画像処理を行った位置ずれ補正用画像を、メモリ１１００へ格納する。位置ずれ補正部１１１０は、位置ずれ補正用画像を位置ずれ検出部１０７０から取得した位置ずれ検出情報（アフィン係数）に基づいて補正（アフィン変換）し、オーバー合成用画像を取得する処理まで行う。ステップＳ６Ｂでは、制御部１１７０の指示に従い、画像処理部Ｂ１１２０は、アンダー画像に合成に適したガンマ変換処理を含む画像処理を行ったアンダー合成基準用画像を、メモリ１１３０へ格納する処理まで行う。次のステップＳ７の処理を行う前に、ステップＳ５ＢとステップＳ６Ｂの処理が終わっていればよいため、ステップＳ５ＢとステップＳ６Ｂの処理は同時に行ってもよく、どちらのステップを先に行ってもよく、本発明はいずれかに限定するものではない。

また、本実施形態では、第１の実施形態に比べて位置ずれ検出用画像の処理をＹ信号のみを抽出して行うので、メモリ容量を削減できる、という効果を奏する。さらに位置ずれ検出用画像に行うコントラスト処理やシャープネス処理を合成用画像に行う各処理に比べて強めに行うことで、エッジ検出精度が向上する、という効果を奏する。

（第３の実施形態）
本発明を応用することで、ランダムノイズ低減合成画像を提供することができる。ランダムノイズ低減合成画像とは、露光量の等しい複数枚の合成用画像のそれぞれの画素値を平均加算することで、ランダムノイズを低減した画像である。ランダムノイズ低減合成画像を提供することは、より高感度で撮影した場合でも、通常の１枚の画像よりもランダムノイズを低減した画像を提供できることを意味している。より高感度で撮影できることは、より短い露光時間で撮影できることを意味しており、手ブレを防ぐ効果がある。

以下、図１と図９を参照して、本発明の構成を応用した第３の実施例による、露光量の同じ２枚の画像の位置ずれを補正しながら、その２枚の画像を合成し１枚のランダムノイズ低減合成画像を取得する方法について説明する。

制御部１１７０が、図９の処理ステップに従って、以下の各モジュール間のデータのやり取りや、各モジュールでの演算処理を制御している（不図示）。また、場合によっては、ユーザ指示などの外部操作がインターフェースＩ／Ｆ１１８０からカメラへと入力され、制御部１１７０を介して、デジタルカメラを制御する。

ステップＳ１では、制御部１１７０の指示に従い、撮像部１０００は、被写体像を光電変換する撮像素子からアナログ電圧として出力する信号を、以降の画像処理に適するデジタルデータへと変換し、メモリ１０１０とメモリ１０２０へ格納する処理まで行う。本実施形態では、被写体像の撮像素子への露光時間が同じ２回の撮像を行い、１枚目の撮像結果をメモリ１０１０に格納し、２枚目の撮像結果をメモリ１０２０に格納する。

ステップＳ２Ｃでは、制御部１１７０の指示に従い、画像処理部Ａ１０３０は、１枚目の画像に位置ずれ検出に適した画像処理を行った位置ずれ検出画像を、メモリ１０４０へ格納する処理まで行う。ステップＳ３Ｃでは、制御部１１７０の指示に従い、画像処理部Ａ１０５０は、２枚目の画像に位置ずれ検出に適した画像処理を行った位置基準用画像を、メモリ１０６０へ格納する処理まで行う。この時、２枚の画像の露光時間は同じであるため、本実施例においてはゲイン補正の必要はない。次のステップＳ４の処理を行う前に、ステップＳ２ＣとステップＳ３Ｃの処理が終わっていればよいため、ステップＳ２ＣとステップＳ３Ｃの処理は同時に行ってもよく、どちらのステップを先に行ってもよく、本発明はいずれかに限定するものではない。

ステップＳ４では、制御部１１７０の指示に従い、位置ずれ検出部１０７０は、画像処理を施した２枚の位置ずれ検出画像と位置基準用画像の位置ずれ情報を取得し、メモリ１０８０へ格納する処理まで行う。

ステップＳ５Ｃでは、制御部１１７０の指示に従い、画像処理部Ｂ１０９０は、１枚目の画像に合成に適した画像処理を行った位置ずれ補正用画像を、メモリ１１００へ格納する。位置ずれ補正部１１１０は、位置ずれ補正用画像を位置ずれ検出部１０７０から取得した位置ずれ検出情報（アフィン係数）に基づいて補正（アフィン変換）し、１枚目の合成用画像を取得する処理まで行う。ステップＳ６Ｃでは、制御部１１７０の指示に従い、画像処理部Ｂ１１２０は、２枚目の画像に合成に適した画像処理を行った合成基準用画像を、メモリ１１３０へ格納する処理まで行う。次のステップＳ７の処理を行う前に、ステップＳ５ＣとステップＳ６Ｃの処理が終わっていればよいため、ステップＳ５ＣとステップＳ６Ｃの処理は同時に行ってもよく、どちらのステップを先に行ってもよく、本発明はいずれかに限定するものではない。

以下に、本実施例に特有である、画像処理部Ｂ１０９０と画像処理部Ｂ１１２０について述べる。本実施例における画像処理部Ｂ１０９０と画像処理部Ｂ１１２０は、他の実施例における画像処理部Ｂ１０９０と画像処理部Ｂ１１２０と画像処理方法は同じであるが、制御部１１７０の指示により、異なる各画像処理のパラメータが設定される。ランダムノイズを低減するために複数枚の画像を合成する場合、位置ずれを完全に補正することが難しいため、エッジと平坦部の差の絶対値が小さくなってしまい解像感が低下してしまう問題が考えられる。また、合成処理によりランダムノイズが低減することを見越して、合成用画像は通常の１枚の画像よりもＮＲの効果を弱めることでよりエッジを残すことが可能となる効果もある。またこれらの問題や効果に対応するため、シャープネス処理を強めに行ったりしてもよい。

ステップＳ７では、制御部１１７０の指示に従い、１枚目の合成用画像と２枚目の合成基準用画像を画像合成部１１４０で合成し、ランダムノイズ低減合成画像を取得する処理まで行う。ランダムノイズ低減合成画像を取得するためには、１枚目の合成用画像と２枚目の合成用画像のそれぞれの画素値を平均加算することで、ランダムノイズを低減することができる。

ステップＳ８では、制御部１１７０の指示に従い、画像合成部１１４０から出力したランダムノイズ低減合成画像を、メモリ１１５０に格納する。その後、必要に応じてＳＤカードなどの外部メモリ１１６０に保存する。

以上のように、本実施形態では、合成用画像に対するＮＲ処理を、通常の撮影モードにおける１枚の画像に対するＮＲ処理や位置ずれ検出用画像に対するＮＲ処理に比べて弱めにかけることで、エッジを適切に残した合成画像を得ることができる。

上記の各実施形態では、露出の異なる２枚の画像の位置ずれの補正と合成について述べた。しかし、露出の異なる３枚以上の画像の位置ずれ補正と合成に関しても本実施形態の処理を繰り返すことで本発明を適用し得るものである。

（他の実施形態）
また、本発明の実施形態の目的は、次のような方法によっても達成される。すなわち、前述した実施形態の機能を実現するための手順が記述されたソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給する。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行する。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行可能とすることにより、前述した実施形態の機能が実現されるだけでなく、本発明には次のような場合も含まれる。すなわち、プログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される。

さらに、次のような場合も本発明に含まれる。すなわち、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される。

本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明した手順に対応するプログラムコードが格納されることになる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１０００撮像部
１０１０メモリ
１０２０メモリ
１０３０画像処理部Ａ
１０４０メモリ
１０５０画像処理部Ａ
１０６０メモリ
１０７０位置ずれ検出部
１０８０メモリ
１０９０画像処理部Ｂ
１１００メモリ
１１１０位置ずれ補正部
１１２０画像処理部
１１３０メモリ
１１４０画像合成部
１１５０メモリ
１１６０外部メモリ
１１７０制御部
１１８０インターフェースＩ／Ｆ

Claims

露光量の異なる複数枚の画像を位置合わせして合成することで、ダイナミクスレンジを拡大した合成画像を生成する画像処理装置において、
前記複数枚の画像に対して、前記複数枚の画像間の画像の明るさを合わせるために画像間の露光量比に基づく第１のゲインを各画素に一様に乗じる処理を含む第１の画像処理を施し、位置ずれ検出用の第１の画像を出力する第１の画像処理手段と、
前記複数枚の画像に対して、前記第１の画像処理とは異なる第２の画像処理を施し、合成用の第２の画像を出力する第２の画像処理手段と、
前記第１の画像間の位置ずれ量を検出する位置ずれ検出手段と、
前記位置ずれ量を用いて前記第２の画像間の画像の位置ずれを補正する位置ずれ補正手段と、
前記位置ずれ補正を行った複数枚の前記第２の画像を合成して前記合成画像を生成する画像合成手段と、
を有することを特徴とした画像処理装置。
前記第２の画像処理は、それぞれの画素に各画素の輝度に応じた第２のゲインを乗じる処理を含むことを特徴とする請求項１に記載の画像処理装置。
前記第１の画像処理手段は、前記第２の画像処理手段において施されるノイズ低減処理よりも強いノイズ低減処理を、入力される画像に施すことを特徴とする請求項１または２に記載の画像処理装置。
前記第１の画像処理手段は、前記第１のゲインに応じてノイズ低減処理のパラメータを設定することを特徴とする請求項３に記載の画像処理装置。
前記第１の画像処理手段は、前記第１のゲインが大きいほど、ノイズと判断する閾値を大きくすることを特徴とする請求項４に記載の画像処理装置。
前記第１の画像処理手段は、入力される画像に対して輝度信号のみを抽出して処理を施すことを特徴とする請求項１乃至５のいずれか１つに記載の画像処理装置。
前記第１の画像処理手段は、前記第２の画像処理手段において入力される画像に施されるコントラスト処理またはシャープネス処理よりも強いコントラスト処理またはシャープネス処理を、入力される画像に施すことを特徴とする請求項１乃至６のいずれか１つに記載の画像処理装置。
請求項１乃至７のいずれか１つに記載の画像処理装置と、
露光量の異なる複数枚の画像を撮像する撮像手段と、
を有することを特徴とする撮像装置。
露光量の異なる複数枚の画像を位置合わせして合成することで、ダイナミクスレンジを拡大した合成画像を生成する画像処理方法であって、
前記複数枚の画像に対して、前記複数枚の画像間の画像の明るさを合わせるために画像間の露光量比に基づく第１のゲインを各画素に一様に乗じる処理を含む第１の画像処理を施し、位置ずれ検出用の第１の画像を出力する第１の画像処理ステップと、
前記複数枚の画像に対して、前記第１の画像処理とは異なる第２の画像処理を施し、合成用の第２の画像を出力する第２の画像処理ステップと、
前記第１の画像間の位置ずれ量を検出する位置ずれ検出ステップと、
前記位置ずれ量を用いて前記第２の画像間の画像の位置ずれを補正する位置ずれ補正ステップと、
前記位置ずれ補正を行った複数枚の前記第２の画像を合成して前記合成画像を生成する画像合成ステップと、
を有することを特徴とした画像処理方法。