JP5055571B2 - 画像処理装置、電子カメラ、および画像処理プログラム - Google Patents

Description

本発明は、画像処理装置、電子カメラ、および画像処理プログラムに関する。

従来、同一の電子カメラを用いて複数回の分割露光を実施し、得られた複数の画像を位置合わせして合成することによって、撮像画像のブレを修復する技術が知られている（例えば、下記の特許文献１）。このような複数画像の位置ズレを検出する処理として、パターンマッチングやブロックマッチングなどが公知である。
なお、解像度の異なる別の撮像素子から出力された画像間において、絵柄の位置ズレを検出する技術として、下記の特許文献２が公知である。この従来技術では、高解像度画像と低解像度画像との間で、まず大域的探索を行って、一致領域の候補を見つける。次に、この一致領域の範囲内で両画像をそれぞれ画素補間し、補間された画素間の比較によって絵柄が細部まで一致する領域を見つける。このような２段階の探索処理によって、解像度の異なる画像間の位置ズレを検出している。
特開２００２−１０７７８７号公報 国際公開ＷＯ９５／０４３２９号パンフレット

ところで、従来技術では、分割露光の結果、高解像度の静止画像を複数回にわたって読み出さなければならない。この場合、静止画像のフレームレートは一般に低いため、画像間の時間間隔が大きく開く。そのため、動きのある被写体では、複数画像間の絵柄の一致度が低くなり、良好な画像合成を行うことが困難になる。
なお、撮像素子の低解像度読み出しモード（ドラフトモード）を利用すれば、低解像度画像を高フレームレートで読み出すことができる。この場合、画像間の時間間隔を短くすることができる。しかしながら、低解像度画像の間では、絵柄の位置ズレの検出精度が粗い。そのため、低精度の位置ズレに従って絵柄を位置合わせすると、画像間のエッジが微妙にずれるなど、絵柄が破綻しやすい。その結果、この方法でも良好な画像合成を行うことは難しい。
そこで、本発明は、上述した問題点を解決して、良好な画像合成を行うための技術を提供することを目的とする。

《１》 本発明の画像処理装置は、画像入力部、位置ズレ検出部、および画像合成部を備える。
画像入力部は、同一被写体を撮影した複数の第１解像度画像と、同一被写体を撮影した少なくとも１つの第１解像度画像より高解像度の第２解像度画像とを取り込む。
位置ズレ検出部は、第１解像度画像それぞれと第２解像度画像との間で位置ズレを検出する。
画像合成部は、第２解像度画像が露出計算で決定された露光時間より短い露光時間で撮影された画像の場合、位置ズレに基づいて、複数の第１解像度画像に対し位置合わせを行い、複数の第１解像度画像の信号成分を再配置して、第１解像度画像より画像サイズの大きい再配置画像を生成し、第２解像度画像と再配置画像とに基づいて合成画像を生成する。
《２》 なお好ましくは、位置ズレ検出部は、位相分割部、および精密検出部を備える。
位相分割部は、第２解像度画像またはその特徴を、位相をずらしながらサブサンプリングすることにより、位相が互いにずれた複数のサンプリング情報を生成する。
精密検出部は、第１解像度画像と複数のサンプリング情報との間で最も一致する位置ズレを検出することにより、第１解像度画像の画素間隔よりも小さな単位の位置ズレを検出する。
《３》 また好ましくは、位置ズレ検出部は、粗検出部、および精密検出部を備える。
粗検出部は、複数の第１解像度画像の間で位置ズレを検出する。
精密検出部は、粗検出部の検出した位置ズレから出発して、第２解像度画像と第１解像度画像との位置ズレを検出する。
《４》 なお好ましくは、画像合成部は、第２解像度画像と再配置画像との信号差が大きい箇所ほど、再配置画像の合成比率を局所的に下げて、合成画像を生成する。
《５》 また好ましくは、画像合成部は、第２解像度画像の局所的な信号変化が大きい箇所ほど、再配置画像の合成比率を局所的に下げて、合成画像を生成する。
《６》 なお好ましくは、画像合成部は、第２解像度画像と第１解像度画像との時間間隔および／または位置ズレが小さいほど、再配置画像の合成比率を全般的に上げて、合成画像を生成する。
《７》 なお好ましくは、画像合成部は、カラー画像を構成する視覚感度の高い信号成分について、合成画像を生成する。一方、画像合成部は、残りの視覚感度の低い信号成分について再配置画像を生成する。
《８》 本発明の電子カメラは、《１》ないし《７》のいずれか１項に記載の画像処理装置と、被写体を少なくとも２種類の解像度で撮影する撮像部とを備える。
この場合、画像処理装置が処理する第２解像度画像は、撮像部で撮影される高解像度の静止画像とする。一方、画像処理装置が処理する第１解像度画像は、静止画像の撮影前および／または撮影後に撮像部で撮影される低解像度の画像とする。
《９》 本発明の画像処理プログラムは、コンピュータを、《１》ないし《７》のいずれか１項に記載の画像処理装置として機能させるためのプログラムである。

本発明では、フレームレートの高い低解像度画像を合成する。したがって、画像間の絵柄の一致度が高くなり、良好な画像合成が可能になる。
さらに、本発明では、画素密度の高い高解像度画像を位置基準として、複数の低解像度画像それぞれの位置ズレを検出する。したがって、低解像度画像の相対的な位置ズレを高精度に検出できる。その結果、低解像度画像の絵柄の位置合わせ精度は高く、一段と良好な画像合成を行うことが可能になる。

［電子カメラの構成説明］
図１は、本実施形態の電子カメラ１０（画像処理装置２５を含む）を示すブロック図である。
図１において、電子カメラ１０には、撮影レンズ１２が装着される。この撮影レンズ１２の像空間には、撮像素子１１の撮像面が配置される。撮像素子１１は、撮像制御部１４によって制御される。この撮像素子１１は、高解像度画像を読み出すモードと、素子内部で画素間引きや画素加算を行って低解像度画像を読み出すモードとを備える。この撮像素子１１から出力される画像信号は、信号処理部１５、およびＡ／Ｄ変換部１６を介して処理された後、メモリ１７に一時蓄積される。
このメモリ１７は、バス１８に接続される。このバス１８には、撮像制御部１４、マイクロプロセッサ１９、記録部２２、画像圧縮部２４、モニタ表示部３０、および画像処理装置２５なども接続される。上記のマイクロプロセッサ１９には、レリーズ釦などの操作部１９ａが接続される。また、上記の記録部２２には、記録媒体２２ａが着脱自在に装着される。

［画像処理装置２５の説明］
図２は、画像処理装置２５の構成を模式的に示したブロック図である。
メモリ１７から読み出される高解像度画像は、ゲイン補正部３１を介して、縮小画像生成部３２、特徴量抽出部３３、および画像合成部３４にそれぞれ供給される。縮小画像生成部３２の出力データは、特徴量抽出部３５を介して、粗検出部３６に供給される。特徴量抽出部３３の出力データは、位相分割部３７を介して、精密検出部３８に供給される。
一方、メモリ１７から読み出される複数の低解像度画像は、特徴量抽出部３９および画像合成部３４にそれぞれ供給される。特徴量抽出部３９の出力データは、粗検出部３６および精密検出部３８にそれぞれ供給される。
粗検出部３６で粗く検出された位置ズレは、精密検出部３８に供給される。精密検出部３８で高精度に検出された位置ズレは、画像合成部３４に供給される。画像合成部３４は、この位置ズレの検出結果に基づいて、複数の低解像度画像や高解像度画像を合成する。

［動作説明］
図３および図４は、電子カメラ１０の動作を説明する流れ図である。以下、図３に示すステップ番号に沿って、この動作を説明する。

ステップＳ１： 電子カメラ１０の主電源が投入されると、マイクロプロセッサ１９は、撮像制御部１４に低解像度画像の読み出しを指示する。撮像制御部１４は、撮像素子１１を低解像度の読み出しモードで駆動し、図５に示すように低解像度画像を例えば３０フレーム／秒で順次に読み出す。

ステップＳ２： 撮像素子１１から読み出された低解像度画像は、信号処理部１５、およびＡ／Ｄ変換部１６を介して処理された後、メモリ１７に一時格納される。なお、マイクロプロセッサ１９は、メモリ１７内で所定コマ数を超えた低解像度画像を古いものから順番に削除する。
ここでの所定コマ数は、後述する再配置画像の合成に使用する低解像度画像のコマ数に相当し、（高解像度画像の画素数／低解像度画像の画素数）以上に設定することが好ましい。
例えば、低解像度画像の縦横画素数を、高解像度画像の縦横画素数の各１／４とした場合、所定コマ数は４×４＝１６コマ以上に設定することが好ましい。

ステップＳ３： モニタ表示部３０は、低解像度画像（スルー画像）をモニタ画面に表示する。一方、マイクロプロセッサ１９は、測光部（不図示）の測光結果や低解像度画像の明るさに基づいて露出計算を行い、高解像度画像の露光時間を決定する。

ステップＳ４： ここで、マイクロプロセッサ１９は、ユーザーによってレリーズ釦が全押し操作されたか否かを判断する。
レリーズ釦が全押し操作された場合、マイクロプロセッサ１９は、ステップＳ５に動作を移行する。
一方、レリーズ釦の全押し操作されていない場合、マイクロプロセッサ１９は、ステップＳ１に動作を戻す。

ステップＳ５： ここで、マイクロプロセッサ１９は、ステップＳ３で決定した高解像度画像の露光時間設定が、ブレの目立たない許容上限以下か否かを判定する。例えば、この許容上限は、１／（撮影レンズ１２の３５ｍｍ判換算の焦点距離）秒程度に設定される。
露光時間設定が許容上限以下の場合、マイクロプロセッサ１９はステップＳ６に動作を移行する。
一方、露光時間設定が許容上限を超える場合、マイクロプロセッサ１９はステップＳ７に動作を移行する。

ステップＳ６： 撮像制御部１４は、設定された露光時間に従って撮像素子１１をシャッタ制御する。続いて、撮像制御部１４は、撮像素子１１を高解像度の読み出しモードで駆動し、高解像度画像を読み出す。この高解像度画像（静止画像）は、従来同様に画像処理および画像圧縮を経た後、記録媒体２２ａに記録保存される。
この動作により、電子カメラ１０は撮影動作を完了する。

ステップＳ７： 一方、露光時間設定がブレの許容上限を超えると判断された場合、マイクロプロセッサ１９は、露光時間を、ブレの生じない許容上限以下に制限する。
撮像制御部１４は、短く制限された露光時間に従って撮像素子１１をシャッタ制御する。その状態で、撮像制御部１４は、撮像素子１１を高解像度の読み出しモードで駆動し、高解像度画像を読み出す。この高解像度画像は、露光不足のために信号レベルは低いが、ぶれる可能性の少ない画像である。この高解像度画像は、メモリ１７に一時記録される。

ステップＳ８： 画像処理装置２５内のゲイン補正部３１は、メモリ１７から高解像度画像を取り込む。ゲイン補正部３１は、この高解像度画像をゲイン調整することにより、低解像度画像の信号レベルに合わせる。

ステップＳ９： 縮小画像生成部３２は、ゲイン調整後の高解像度画像を解像度変換して、低解像度画像の画素数と合わせる。
例えば、４×４画素の平均値を抽出することにより、高解像度画像の縦横画素数を各１／４に解像度変換することができる。
このように低解像度化された高解像度画像（以下、縮小画像という）は、特徴量抽出部３５に伝達される。

ステップＳ１０： 図６は、射影エッジの比較による画像ズレ検出を説明する図である。以下、この図６を用いて、画像ズレ検出の処理を説明する。
まず、特徴量抽出部３５は、下式に示す縦エッジ抽出用のフィルタ（図６［Ａ］参照）を用いて、縮小画像ｆ（ｘ，ｙ）から縦エッジ成分ｇ_yを抽出する。
g_y(x,y)=-f(x,y-1)+f(x,y+1)
さらに、特徴量抽出部３５は、下式に示す横エッジ抽出用のフィルタ（図６［Ｂ］参照）を用いて、縮小画像ｆ（ｘ，ｙ）から横エッジ成分ｇ_xを抽出する。
g_x(x,y)=-f(x-1,y)+f(x+1,y)
なお、ノイズの影響を軽減するため、特徴量抽出部３５は、所定の微小振幅に収まる縦エッジ成分ｇ_yと横エッジ成分ｇ_xについては、ゼロに置き換えることが好ましい。
次に、特徴量抽出部３５は、図６［Ａ］に示すように、縦エッジ成分ｇ_yを水平行の単位に累積加算することにより、縦射影波形を算出する。
さらに、特徴量抽出部３５は、図６［Ｂ］に示すように、横エッジ成分ｇ_xを垂直列の単位に累積加算することにより、横射影波形を算出する。
一方、特徴量抽出部３９は、メモリ１７から複数の低解像度画像を取り込む。特徴量抽出部３９は、個々の低解像度画像に対して特徴量抽出部３５と同一の処理を実施し、縦射影波形および横射影波形をそれぞれ求める。
ここで、粗検出部３６は、図６［Ａ］に示すように、縮小画像の中央域の縦射影波形と、低解像度画像の中央域の縦射影波形とをずらしながら差分をとり、その差分の絶対値和が最小となる波形ズレを検出する。この波形ズレは、縮小画像と低解像度画像との縦方向の位置ズレに相当する。
また、粗検出部３６は、図６［Ｂ］に示すように、縮小画像の中央域の横射影波形と、低解像度画像の中央域の横射影波形とをずらしながら差分をとり、差分の絶対値和が最小となる波形ズレを検出する。この波形ズレは、縮小画像と低解像度画像との横方向の位置ズレに相当する。
このようにして、粗検出部３６は、縮小画像を位置基準として複数の低解像度画像の位置ズレ（粗検出結果）をそれぞれ求め、精密検出部３８に出力する。

ステップＳ１１： 特徴量抽出部３３は、ゲイン補正された高解像画像を取り込み、エッジ抽出フィルタを用いて、縦エッジ成分ｇ_yと横エッジ成分ｇ_xを抽出する。
なお、ここでのエッジ抽出フィルタは、低解像度画像の読み出し方式に応じて、下記のように切り替えることが好ましい。
・低解像度画像が画素加算または画素平均によって作成される場合
g_y(x,y)=[-f(x,y-4)-f(x,y-3)-f(x,y-2)-f(x,y-1)+f(x,y+4)+f(x,y+5)+f(x,y+6)+f(x,y+7)]/4
g_x(x,y)=[-f(x-4,y)-f(x-3,y)-f(x-2,y)-f(x-1,y)+f(x+4,y)+f(x+5,y)+f(x+6,y)+f(x+7,y)]/4
・低解像度画像が画素間引きによって作成される場合
g_y(x,y)=-f(x,y-4)+f(x,y+4)
g_x(x,y)=-f(x-4,y)+f(x+4,y)
なお、ノイズの影響を軽減するため、特徴量抽出部３３は、所定の微小振幅に収まる縦エッジ成分ｇ_yと横エッジ成分ｇ_xについては、ゼロに置き換えることが好ましい。
次に、特徴量抽出部３３は、縦エッジ成分ｇ_yを水平行の単位に累積加算することにより、縦射影波形を算出する。また、特徴量抽出部３３は、横エッジ成分ｇ_xを垂直列の単位に累積加算することにより、横射影波形を算出する。
位相分割部３７は、高解像度画像の縦射影波形を４画素おきにサブサンプリングする。このとき、位相分割部３７は、サブサンプリングの位相をずらすことによって、図７に示すように、位相が互いにずれた４種類のサンプリング情報を生成する。
同様に、位相分割部３７は、高解像度画像の横射影波形を４画素おきにサブサンプリングする。このとき、サブサンプリングの位相をずらすことにより、位相が互いにずれた４種類のサンプリング情報を生成する。

ステップＳ１２： 精密検出部３８は、粗検出部３６による位置ズレの粗検出結果を出発点として、高解像度画像から求めた縦射影波形のサンプリング情報と、低解像度画像の縦射影波形とをずらしながら差分をとり、差分の絶対値和が最小となる波形ズレを検出する。
精密検出部３８は、この波形ズレの検出を４種類のサンプリング情報それぞれについて実施することにより、絵柄の特徴（ここでは波形）が最も一致する波形ズレを求める。この波形ズレは、低解像度画像の画素間隔よりも小さな単位の横方向の位置ズレに相当する。
さらに、精密検出部３８は、同様にして、縦方向の位置ズレを低解像度画像の画素間隔よりも小さな単位（例えば高解像度画像の画素間隔の単位）で検出する。
このようにして、精密検出部３８は、高解像度画像を位置基準として複数の低解像度画像の位置ズレ（精密検出結果）をそれぞれ求め、画像合成部３４に出力する。

ステップＳ１３： 画像合成部３４は、低解像度画像にハイパスフィルタ処理を施し、フィルタ結果の絶対値和を計算して高域成分の量を求める。求めた高域成分の量に従って、複数の低解像度画像を分類する。
なお、図８に示すように、高域成分の多い順に画像に順番を付与し、上位から所定順位までの画像を選別して、合成に使用する画像としてもよい。また、高域成分の量が所定の閾値を超える画像を選別して、合成に使用する画像としてもよい。
このような選別処理により、ブレ量が大きいなど、高域成分が基準に満たない画像を合成処理から適度に除外することが可能になる。その結果、合成後の画質を確実に高めることが可能になる。

ステップＳ１４： 画像合成部３４は、高解像度画像にハイパスフィルタ処理を施し、フィルタ結果から高解像度画像をエッジ域と平坦域とに領域分割する。

ステップＳ１５： ステップＳ１４で求めたエッジ域では、高域成分の少ない画像ほど合成比率を小さくする。一方、ステップＳ１４で求めた平坦域では、高域成分の少ない画像の合成比率をエッジ部よりも上げる。なお、エッジ域または平坦域のいずれでもない領域については、両領域の中間の合成比率に設定する。

ステップＳ１６： 画像合成部３４は、複数の低解像度画像をそれぞれ拡大（４×４倍）する。このとき、画像合成部３４は、画素補間を行わず、画素間隔の開いた拡大画像を得る。
次に、画像合成部３４は、精密検出部３８が求めた位置ズレの精密検出結果に基づいて、低解像度画像の拡大画像の画素位置をそれぞれ変位させ、図９に示すようにマッピング（再配置）を行う。
このようにして、高解像度画像と同程度の縦横画素数を有する再配置画像を得ることができる。

ステップＳ１７： マッピング処理を完了した再配置画像には、隙間の埋まらない画素や、正規の画素位置からずれた画素や、重なった画素が存在する。
画像合成部３４は、この再配置画像の正規の画素位置ごとに、近傍画素をピックアップする。画像合成部３４は、これら近傍画素の信号成分に対して、ステップＳ１５で設定された合成比率に従って加重平均を実施する。画像合成部３４は、この加重平均値を正規の画素位置の信号成分（輝度／色差成分など）とする。このような合成処理により、高解像度画像と同じ縦横画素数の再配置画像を得ることができる。
なお、上記の加重平均の代わりに、近傍画素の信号成分のメディアン演算によって、再配置画像の合成を行ってもよい。

ステップＳ１８： 画像合成部３４は、高解像度画像の輝度成分に対して、フィルタ処理を下記のように実施する。
まず、画像合成部３４は、ゲイン補正後の高解像度画像から輝度成分を抽出し、メディアン処理およびガウシアンフィルタを合わせたフィルタ処理を施す。例えば、フィルタサイズを３×３画素に設定し、このフィルタサイズ内の９つの画素から中央３つの値を抽出して、ガウシアンフィルタを実施する。この処理により、露光不足の輝度成分に含まれるノイズ分を予め低減することができる。

ステップＳ１９： 次に、このフィルタ処理後の高解像度画像の輝度成分Ａと、再配置画像の輝度成分Ｂとの間で、合成比率を設定する。

ここでは、下記のようなルールに従って、合成比率を設定することが好ましい。
（１）高解像度画像の輝度成分Ａと再配置画像の輝度成分Ｂとの信号差が大きい箇所ほど、再配置画像の合成比率を局所的に下げる。
（２）高解像度画像の輝度成分Ａの局所的な信号変化が大きい箇所ほど、再配置画像の合成比率を局所的に下げる。
（３）高解像度画像と低解像度画像との時間間隔が小さいほど、再配置画像の輝度成分Ｂの合成比率を全般的に引き上げる。
（４）高解像度画像と低解像度画像との位置ズレが小さいほど、再配置画像の輝度成分Ｂの合成比率を全般的に引き上げる。

なお、具体的な合成画像の輝度成分ｇ(ｉ,ｊ)の計算には、下式のガウシアンフィルタを使用することが好ましい。

上式中では、２段階の処理がなされる。すなわち、再配置画像の輝度成分Ｂに対して、例えばｍ＝５程度のガウシアンフィルタ（平滑化）が施される。次に、この輝度成分Ｂの平滑化結果が、高解像度画像の輝度成分Ａに画素単位に加重合成される。
このとき、輝度成分Ａ，Ｂの信号差が大きいほど、輝度成分Ｂの合成比率Ｇ(i,j,p)が下がる。その結果、高解像度画像と再配置画像との絵柄が大きく違う箇所については、高解像度画像の輝度成分Ａが局所的に優先される。

なお、合成比率Ｇ(i,j,p)は、画素の参照距離に依存して特に変化させない方が好ましい。これによって、フィルタサイズｍ内の輝度成分Ｂであれば、参照距離が離れていても、輝度成分Ａに反映させることができる。その結果、再配置画像の位置合わせミスをある程度まで許容することが可能になる。
また、上式中のσは、合成比率の値や下げ幅を調整する数値である。このσは、輝度成分Ａの周辺３×３画素の分散値が大きい箇所ほど、局所的に小さく設定することが好ましい。このようにσを局所的に小さくすることにより、高解像度画像のエッジ付近では、再配置画像の合成比率が局所的に下がる。その結果、エッジなどの画像構造への影響（平滑化や乱れ）を抑制することができる。

なお、上式中のσを、高解像度画像と低解像度画像との時間間隔および／または位置ズレが小さいほど、σを大きく設定することが好ましい。このようにσを可変することにより、高解像度画像と低解像度画像の絵柄が近いと推定されるほど、再配置画像の合成比率が全般的に引き上がる。その結果、絵柄の近い再配置画像（低解像度画像）の情報を、合成画像に優先的に反映させることができる。

ステップＳ２０： ステップＳ１７で生成された再配置画像の色差成分と、ステップＳ１９で生成された合成画像の輝度成分とを組み合わせて、低解像度画像の情報を反映した高解像度のカラー画像を生成する。
このカラー画像は、画像圧縮部２４および記録部２２などを介して、記録媒体２２ａに保存記録される。

［本実施形態の効果など］
本実施形態では、モニタ表示を終われば廃棄されるスルー画像（低解像度画像）を、静止画像（高解像度画像）の画質向上に有効活用する。このスルー画像の有効活用によって、電子カメラ１０の撮像性能を高めることができる。

また、本実施形態では、撮像時間間隔の短い低解像度画像を合成する。したがって、画像間の絵柄の差が元々小さく、良好な画像合成結果を得ることができる。

さらに、本実施形態では、画素密度の高い高解像度画像を位置基準として、複数の低解像度画像の位置合わせを行う。したがって、低解像度画像の絵柄の位置合わせ精度が高く、更に良好な画像合成結果を得ることができる。

また、本実施形態では、高解像度画像から、サンプリング位相が互いにずれた複数のサンプリング情報を生成する。これらサンプリング情報と低解像度画像との間で位置ズレ検出をそれぞれ行うことにより、低解像度画像の画素間隔よりも小さな単位で位置ズレを検出できる。したがって、低解像度画像の絵柄の位置合わせ精度を一段と高めることが可能になり、一層良好な画像合成結果を得ることができる。

さらに、本実施形態では、複数の低解像度画像の輝度成分（視覚感度の高い信号成分）を位置合わせしてマッピングして、低解像度画像よりも高解像度の輝度成分を得ることができる。

また、本実施形態では、複数の低解像度画像の色差成分（視覚感度の低い信号成分）を位置合わせしてマッピングすることにより、低解像度画像よりも高解像度の色差成分を得ることもできる。

さらに、本実施形態では、位置合わせで作成した高解像度の輝度成分（再配置画像）と、本来の高解像度画像の輝度成分とを加重合成する。この加重合成によって、両画像間の非相関な輝度ノイズを抑制できる。その結果、露光不足状態（ステップＳ７参照）の高解像度画像のＳ／Ｎを改善することができる。

また、本実施形態では、高解像度画像と再配置画像との信号差が有意に大きい場合、再配置画像の合成比率を局所的に下げる。その結果、再配置画像に位置合わせミスが生じた場合、両画像の信号差が有意に開いて再配置画像の合成比率が下がる。したがって、この位置合わせミスは、画像合成結果にさほど反映されなくなる。

さらに、本実施形態では、高解像度画像の局所的な信号変化が大きい箇所について、再配置画像の合成比率を局所的に下げる。したがって、画像のエッジ部などでは、高解像度画像の画像構造が優先される。その結果、エッジが多重線化するなどの弊害を回避することができる。

また、本実施形態では、高解像度画像と低解像度画像との時間間隔および／または位置ズレが小さいほど、再配置画像の合成比率を全般的に上げる。このような条件が成立する場合、高解像度画像と低解像度画像の絵柄は非常に近いと推定できる。したがって、再配置画像の合成比率を上げることにより、絵柄の破綻のおそれ無しに、画像Ｓ／Ｎを一段と高めることが可能になる。

なお、本実施形態では、図８に示すように、複数の低解像度画像を空間周波数の高域成分の量に従って順位付けする。このとき、ブレが目立つなどの理由から高域成分の少ない画像については、合成に使用する画像から除外される。

さらに、合成に使用する画像に選別されても、高域成分が比較的少ないと判定された画像については、絵柄のエッジ部における位置合わせ合成の合成比率が小さく調整される。その結果、手ブレや被写体ブレの少ない画像中のエッジ部が優先されて、位置合わせ合成が行われる。その結果、再配置画像のエッジ部分が鈍るなどの弊害は抑制される。

また、本実施形態では、高域成分が少ないと判定された画像については、エッジ部に比べて平坦部の合成比率を大きくする。その結果、平坦部では、より均等に複数画像の位置合わせ合成が行われ、位置合わせ合成後の画像Ｓ／Ｎを高めることが可能になる。

《実施形態の補足事項》
なお、本発明者は、特願２００５−３４５７１５において、位置ズレ検出を更に高速化する手順を開示している。この手順に従って、本実施形態の位置ズレ検出を高速化してもよい。

また、ステップＳ１０では、高解像度画像の縮小画像と、低解像度画像との間で絶対的な位置ズレを粗く検出している。しかしながら、本発明はこれに限定されるものではない。複数の低解像度画像の間で相対的な位置ズレを粗く検出してもよい。精密検出部３８は、この相対的な粗検出結果と、少なくとも１つの位置ズレの精密検出結果とに基づいて、残りの絶対的な位置ズレを粗く知ることができる。精密検出部３８は、この絶対的な粗検出結果を出発点として位置ズレ探索を行うことで、精密な位置ズレを迅速に検出することが可能になる。

なお、上述した実施形態では、射影波形の比較により画像の位置ズレを検出している。しかしながら、本発明はこれに限定されるものではない。例えば、両画像の画素配列の空間比較によって位置ズレを検出してもよい。

また、上述した実施形態では、電子カメラに画像処理装置を搭載するケースについて説明した。しかしながら、本発明はこれに限定されるものではない。上述した画像処理をプログラムコード化した画像処理プログラムを作成してもよい。この画像処理プログラムをコンピュータで実行することにより、低解像度画像の情報を有効活用して、高画質かつ高解像度な合成結果をコンピュータ上で作成することができる。

なお、上述した実施形態では、高解像度画像の撮像前に、複数の低解像度画像を取得する。しかしながら、本発明はこれに限定されるものではない。高解像度画像の撮像後に、複数の低解像度画像を取得してもよい。また、高解像度画像の撮像前および撮影後にまたがって、複数の低解像度画像を取得してもよい。

また、上述した実施形態では、再配置画像から色差成分を求め、合成画像から輝度成分を求める。しかしながら、本発明はこれに限定されるものではない。再配置画像から輝度成分および色差成分を求めてもよい。また、合成画像から輝度成分および色差成分を求めてもよい。

なお、上述した実施形態では、輝度色差の画像信号を扱うケースについて説明した。しかしながら、本発明はこれに限定されるものではない。一般に、本発明をＲＧＢ、Ｌａｂその他の画像信号を扱うケースに適用してもよい。このＲＧＢ画像信号の場合、視覚感度の高い信号成分はＧ成分、残りの信号成分はＲＢ成分となる。また、Ｌａｂ画像信号の場合、視覚感度の高い信号成分はＬ成分、残りの信号成分はａｂ成分となる。

また、上述した実施形態では、画像処理によって絵柄の位置ズレを検出している。しかしながら、本発明はこれに限定されるものではない。例えば、カメラ側に加速度センサなどを搭載してカメラの撮影域の移動（振動）を求め、この撮影域の移動（振動）から複数画像の絵柄の位置ズレを検出してもよい。

なお、上述した実施形態では、高解像度画像を位置合わせの基準とし、その高解像度画像に低解像度画像を位置合わせ合成するケースについて説明した。しかしながら、本発明はこれに限定されるものではない。本発明を、同一解像度の複数画像を合成するケースに適用してもよい。この場合、複数画像の１つを位置合わせの基準とし、その画像の局所的な信号変化の大きな箇所ほど、その他の画像の合成比率を局所的に下げればよい。

なお、本発明は、その精神または主要な特徴から逸脱することなく、他のいろいろな形で実施することができる。そのため、前述の実施例はあらゆる点で単なる例示に過ぎず、限定的に解釈してはならない。本発明の範囲は、特許請求の範囲によって示すものであって、明細書本文には、何ら拘束されない。さらに、特許請求の範囲の均等範囲に属する変形や変更は、すべて本発明の範囲内のものである。

以上説明したように、本発明は、画像処理装置などに利用可能な技術である。

電子カメラ１０（画像処理装置２５を含む）を示すブロック図である。 画像処理装置２５の構成を模式的に示したブロック図である。 電子カメラ１０の動作を説明する流れ図である。 電子カメラ１０の動作を説明する流れ図である。 低解像度画像と高解像度画像とを説明する図である。 射影エッジの比較による画像ずれ検出の様子を示す図である。 サブサンプリングの様子を示す図である。 合成比率の調整動作を示す図である。 再配置画像の生成動作を説明する図である。

符号の説明

１０…電子カメラ，１１…撮像素子，１２…撮影レンズ，１４…撮像制御部，１５…信号処理部，１６…Ａ／Ｄ変換部，１７…メモリ，１８…バス，１９…マイクロプロセッサ，１９ａ…操作部，２２…記録部，２２ａ…記録媒体，２４…画像圧縮部，２５…画像処理装置，３０…モニタ表示部，３１…ゲイン補正部，３２…縮小画像生成部，３３…特徴量抽出部，３４…画像合成部，３５…特徴量抽出部，３６…粗検出部，３７…位相分割部，３８…精密検出部，３９…特徴量抽出部

Claims (9)

1. 同一被写体を撮影した複数の第１解像度画像と、前記同一被写体を撮影した少なくとも１つの前記第１解像度画像より高解像度の第２解像度画像とを取り込む画像入力部と、
   前記第１像度画像それぞれと前記第２解像度画像との間で位置ズレを検出する位置ズレ検出部と、
   前記第２解像度画像が露出計算で決定された露光時間より短い露光時間で撮影された画像の場合、前記位置ズレに基づいて、前記複数の第１解像度画像に対し位置合わせを行い、前記複数の第１解像度画像の信号成分を再配置して、前記第１解像度画像より画像サイズの大きい再配置画像を生成し、前記第２解像度画像と前記再配置画像とに基づいて合成画像を生成する画像合成部と
   を備えることを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記位置ズレ検出部は、
   前記第２解像度画像またはその特徴を、位相をずらしてサブサンプリングし、位相が互いにずれた複数のサンプリング情報を生成する位相分割部と、
   前記第１解像度画像と前記複数のサンプリング情報との間で最も一致する前記位置ズレを検出することにより、前記第１解像度画像の画素間隔よりも小さな単位の前記位置ズレを検出する精密検出部とを備えた
   ことを特徴とする画像処理装置。
3. 請求項１に記載の画像処理装置において、
   前記位置ズレ検出部は、
   前記複数の第１解像度画像の間で位置ズレを検出する粗検出部と、
   前記粗検出部の検出した前記位置ズレから出発して、前記第２解像度画像と前記第１解像度画像との位置ズレを検出する精密検出部とを備えた
   ことを特徴とする画像処理装置。
4. 請求項１ないし請求項３のいずれか１項に記載の画像処理装置において、
   前記画像合成部は、前記第２解像度画像と前記再配置画像との信号差が大きい箇所ほど、前記再配置画像の合成比率を局所的に下げて、前記合成画像を生成する
   ことを特徴とする画像処理装置。
5. 請求項１ないし請求項４のいずれか１項に記載の画像処理装置において、
   前記画像合成部は、前記第２解像度画像の局所的な信号変化が大きい箇所ほど、前記再配置画像の合成比率を局所的に下げて、前記合成画像を生成する
   ことを特徴とする画像処理装置。
6. 請求項１ないし請求項５のいずれか１項に記載の画像処理装置において、
   前記画像合成部は、前記第２解像度画像と前記第１解像度画像との時間間隔および／または前記位置ズレが小さいほど、前記再配置画像の合成比率を全般的に上げて、前記合成画像を生成する
   ことを特徴とする画像処理装置。
7. 請求項１ないし請求項６のいずれか１項に記載の画像処理装置において、
   前記画像合成部は、カラー画像を構成する視覚感度の高い信号成分について、前記合成画像を生成し、残りの視覚感度の低い信号成分について前記再配置画像を生成する
   ことを特徴とする画像処理装置。
8. 請求項１ないし請求項７のいずれか１項に記載の画像処理装置と、
   被写体を少なくとも２種類の解像度で撮影する撮像部とを備えた電子カメラであって、
   前記画像処理装置が処理する前記第２解像度画像は、前記撮像部で撮影される高解像度の静止画像であり、
   前記画像処理装置が処理する前記第１解像度画像は、前記静止画像の撮影前および／または撮影後に前記撮像部で撮影される低解像度の画像である
   ことを特徴とする電子カメラ。
9. コンピュータを、請求項１ないし請求項７のいずれか１項に記載の画像処理装置として機能させるための画像処理プログラム。

Images