JP2010067125A - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Abstract

【課題】ぶれの小さい背景画像を選択可能な画像処理装置、画像処理方法、及びプログラムを提供する。
【解決手段】連続する複数の撮影フレームを生成し、生成された撮影フレームのピクセル値を取得し、当該取得されたピクセル値に基づいて擬似背景画像を生成する。そして、生成された擬似背景画像と撮影フレームとの差に基づいて被写体領域のみを抽出し、撮影フレームから抽出された被写体領域を除いた背景領域に用いる背景フレームを選択する。
【選択図】図５

Description

本発明は、画像処理装置、画像処理方法、及びプログラムに関する。

従来、固定されたカメラで移動する被写体を撮影し、１枚の画像（写真）内に当該被写体の移動の経過を表したストロボ画像が知られている。フィルムカメラの時代においては、長時間露光中に移動する被写体へ複数回のストロボ発光を行うことでストロボ画像を生成していたが、デジタルカメラが普及した今日においては、カメラ内のコンピュータによる画像処理でストロボ画像を生成することが可能となっている。

上記のような画像処理によるストロボ画像生成を行っているものとして、例えば特許文献１には、連写画像の中から被写体が重ならない画像を選択し、その差を利用することで、被写体領域を抽出する技術が開示されている。
また、例えば特許文献２には、動画像上の特定の調査領域の相関パターンから背景が写っている時間区間を特定することで移動体を判別したり、被写体が写っている画像の前後の被写体が映っていない画像を利用して変動のない被写体を予想したりすることで、移動する被写体の移動速度を想定する技術が開示されている。
特許第３７９３２５８号公報 特許第３５６９９９２号公報

しかしながら、上記従来技術では、被写体が重ならない画像同士から被写体を抽出したり、動画上の特定の領域から背景らしい画像が写っている時間区間を特定したりすることで、被写体の位置を判別しているが、実際に生成されるストロボ画像において一番大きな領域を占める背景部分に関しては、選択の余地がなかった。そのため、ストロボ画像を生成した際、被写体に比べて背景がぶれていると、画像全体の印象が悪くなるという課題があった。

本発明は、ぶれの小さい背景画像を選択可能な画像処理装置、画像処理方法、及びプログラムを提供することを目的とする。

請求項１に記載の発明は、上記目的を達成するためになされたものであり、画像処理装置において、複数フレームの画像から移動する被写体の被写体領域を抽出する抽出手段と、前記複数フレームの画像のうちぶれが最も小さい画像を選択する選択手段と、前記抽出手段により抽出された被写体領域、及び前記選択手段により選択された画像の背景領域に基づいてストロボ画像を合成する合成手段と、を備えることを特徴とする。

請求項２に記載の発明は、請求項１に記載の画像処理装置において、前記選択手段は、前記複数フレームの画像のそれぞれについて前記背景領域の高周波成分を算出し、当該算出された高周波成分が最も大きい画像を選択することを特徴とする。

請求項３に記載の発明は、請求項２に記載の画像処理装置において、前記高周波成分とは、斜めに隣接する位置のピクセル値の差の二乗和の総和であることを特徴とする。

請求項４に記載の発明は、請求項２に記載の画像処理装置において、前記高周波成分とは、上下左右に隣接する位置のピクセル値の差の二乗和の総和であることを特徴とする。

請求項５に記載の発明は、請求項１に記載の画像処理装置において、前記選択手段は、前記複数フレームの画像の位置合わせの結果に基づいて、前記画像間の位置変動量を算出し、当該算出された位置変動量が最も小さい画像を選択することを特徴とする。

請求項６に記載の発明は、請求項１に記載の画像処理装置において、複数フレームの画像を連続して撮影するとともに、それぞれの画像のオートフォーカスによるフォーカス精度の評価値を取得する撮影手段を更に備え、前記選択手段は、前記撮影手段により取得された前記フォーカス精度の評価値に基づいて、ぶれが最も小さい画像を選択することを特徴とする。

請求項７に記載の発明は、請求項１に記載の画像処理装置において、複数フレームの画像を連続して撮影する撮影手段と、当該装置に生じるぶれ量を検出する検出手段と、を更に備え、前記選択手段は、前記検出手段により検出されたぶれ量に基づいて、前記複数フレームの画像間の位置変動量を算出し、当該算出された位置変動量が最も小さい画像を選択することを特徴とする。

請求項８に記載の発明は、複数フレームの画像から移動する被写体の被写体領域を抽出する抽出ステップと、前記複数フレームの画像のうちぶれが最も小さい画像を選択する選択ステップと、前記抽出ステップにより抽出された被写体領域、及び前記選択ステップにより選択された画像の背景領域に基づいてストロボ画像を合成する合成ステップと、を含むことを特徴とする画像処理方法である。

請求項９に記載の発明は、コンピュータに、複数フレームの画像から移動する被写体の被写体領域を抽出する抽出機能と、前記複数フレームの画像のうちぶれが最も小さい画像を選択する選択機能と、前記抽出機能により抽出された被写体領域、及び前記選択機能により選択された画像の背景領域に基づいてストロボ画像を合成する合成機能と、を実現させるためのプログラムである。

本発明によれば、ぶれの小さい背景画像を選択可能な画像処理装置、画像処理方法、及びプログラムを提供することができる。

以下、本発明の実施の形態を図面に基づいて説明する。

図１は、本実施形態に係るデジタルカメラ１の概略構成を示すブロック図である。
図１に示すように、デジタルカメラ１は、画像データ生成部２１と、データ処理部２２と、ユーザインタフェース部２３と、加速度センサ２４と、を備えて構成される。

画像データ生成部２１は、光学レンズ部１０１と、イメージセンサ１０２と、を備えて構成され、被写体を撮影する機能を有する。
光学レンズ部１０１は、被写体を撮影するために光を集光するレンズ等で構成されたものであり、焦点、露出、ホワイトバランス等のカメラ設定パラメータを調整するための周辺回路を備える。
イメージセンサ１０２は、例えば、ＣＣＤ（Charge Coupled Device）等で構成され、光学レンズ部１０１が光を集光することによって結像した画像を、デジタル化した画像データ（画像フレーム）として取り込む。取り込まれた画像データは、データ処理部２２のメモリ２０１に一時的に記憶される。

なお、画像データ生成部２１は、低解像度画像撮影（プレビュー撮影）と高解像度画像撮影が可能である。低解像度画像撮影は、例えば、画像解像度がＸＧＡ（Extended Graphics Array：１０２４×７６８ドット）程度と低いが、３０ｆｐｓ（フレーム／秒）の速さで動画撮影と画像読み出しが可能である。一方、高解像度画像撮影は、例えば、撮影可能な最大画素数（例えば４００万画素のカメラである場合はその４００万画素）での画像撮影を行うことができるが、画像の読み取り速度は遅くなる。

データ処理部２２は、メモリ２０１と、ビデオ出力部２０２と、画像処理部２０３と、制御部２０４と、プログラムメモリ２０７と、を備えて構成される。
メモリ２０１は、撮影処理を行う度にイメージセンサ１０２が取り込んだ画像データを一時記憶する。また、メモリ２０１は、画像処理に必要な画像データ、各種フラグの値、閾値等も記憶する。さらに、メモリ２０１は、画像表示を行うための表示画像データの記憶と読み出しを行うための表示メモリ領域を含んでいる。
ビデオ出力部２０２は、メモリ２０１の表示メモリ領域に格納された表示画像データを読み出し、当該読み出された表示画像データに基づいてＲＧＢ信号を生成し、当該生成されたＲＧＢ信号をユーザインタフェース部２３の液晶表示部３０１に出力する。また、ＲＧＢ信号を、ユーザインタフェース部２３の外部インタフェース３０３を介して外部出力させることにより、テレビやＰＣ、プロジェクタ等の外部機器に画像表示させることも可能である。
画像処理部２０３は、メモリ２０１に一時記憶されている画像データに対して、画像表示を行うための所定の画像処理を施す。当該画像処理を施された画像データは、表示画像データとしてメモリ２０１の表示メモリ領域に格納される。

制御部２０４は、図示しないＣＰＵや記憶装置、及びＡＦ処理部２０５、ぶれ補正処理部２０６、を含んで構成され、プログラムメモリ２０７に記憶されたデジタルカメラ１用のプログラムに従って各種制御動作を行う。
ここで、ＡＦ処理部２０５は、光学レンズ部１０１により結像された画像のフォーカス精度の評価値、例えば、コントラスト値や、後述するエッジ量に応じて、光学レンズ部１０１の図示しないフォーカスレンズの位置を制御する。また、ぶれ補正処理部２０６は、加速度センサ２４から入力されたデジタルカメラ１のぶれ量に応じて、光学レンズ部１０１の図示しないぶれ補正レンズを光軸と直交する方向に駆動し、イメージセンサ１０２に結像する画像のぶれを補正するよう制御する。

プログラムメモリ２０７は、例えば、ＲＯＭ（Read Only Memory）やフラッシュメモリなどの記憶装置から構成され、制御部２０４の動作に必要な各種プログラムやデータを記憶する。具体的には、被写体を撮影し当該被写体のストロボ画像を生成するための撮影プログラム、特定された合成フレームから被写体を抽出してストロボ画像を合成するための合成プログラム、擬似背景画像を生成するための擬似背景画像生成プログラム、被写体を判別するための被写体判別パラメータ算出プログラム、被写体のみを抽出するための被写体抽出プログラム、好ましい背景を選択するための背景選択プログラム等を記憶している。

ユーザインタフェース部２３は、液晶表示部３０１と、操作部３０２と、外部インタフェース３０３と、外部メモリ３０４と、を備えて構成される。
液晶表示部３０１は、ビデオ出力部２０２から出力されたＲＧＢ信号に基づいて被写体画像を表示する。具体的には、画像データ生成部２１により生成された複数の画像データ（画像フレーム）に基づいたライブビュー画像や、録画中に外部メモリ３０４に記録される動画像を表示したり、外部メモリ３０４に記録された動画像を再生表示したりする。
なお、液晶表示部３０１は、ビデオ出力部２０２から適宜出力される表示画像データを一時的に記憶するビデオメモリ（図示せず）を備えるようにしてもよい。
操作部３０２は、ユーザがデジタルカメラ１における所定の操作を行うための機能であり、ユーザの操作に応じた操作信号を制御部２０４に出力する。操作部３０２は、例えば、シャッタボタン、選択決定用ボタン、再生ボタン、撮影ボタン等を備えている。
外部インタフェース３０３は、テレビやＰＣ、プロジェクタ等の外部機器との接続用端子であり、所定の通信ケーブルを介してデータの送受信を行う。
外部メモリ３０４は、例えば、カード型の不揮発性メモリ（フラッシュメモリ）やハードディスク等により構成され、画像データ生成部２１により撮影された被写体画像の画像データを、複数記憶する。

加速度センサ２４は、デジタルカメラ１の動きを物理的、直接的に検出し、角速度を示す測定値を制御部２０４に入力する。

図２は、実際にストロボ撮影を行っている様子について示した図である。また、図３は、図２で連続撮影されたフレーム群と、当該フレーム群を合成した画像（ストロボ画像）と、を示した図である。すなわち、図２に示したように被写体をデジタルカメラ１で連続撮影すると、図３（ｂ）に示したようなストロボ画像が出来上がることとなる。
固定されたデジタルカメラ１で移動する被写体を連続撮影すると、フレーム内では被写体のみが移動することとなる。連続撮影された結果、図３（ａ）に示したような「フレーム」が生成される。このフレームの中で移動する被写体の領域（以下、移動領域）を後に述べる処理（図５に示す撮影処理）で抽出し、この抽出された移動領域を重ね合わせることで、図３（ｂ）に示したような動きのある合成画像が生成される。

移動領域を算出するには、まず、変動のない領域の特徴点の位置が同じになるようにして、すべてのフレームの位置ずれを補正する。
そして、位置合わせを行ったすべてのフレームにおける各座標のピクセル値（画素値）を、座標ごとに独立して順に並び替える。ここでピクセル値とは、例えば、ＲＧＢ（赤（Ｒ）、緑（Ｇ）、青（Ｂ））の加算値の合計値や、ＹＵＶ（輝度信号（Ｙ）、輝度信号と青色成分の差（Ｕ）及び輝度信号と赤色成分の差（Ｖ））のＹ及びＵＶに係数をかけた値の合計値である。移動する被写体を連続して撮影すると、背景画像（移動体を除いた部分の画像）が一番多く写り込むことを利用すれば、並び替えたピクセル値のうち中央に位置する値を背景とみなすことができる。そうすると、例えば、図４に示すように、生成された背景画像を各フレームから引いた差分量の大きい座標を被写体とみなすことができる。

しかし、例えば、背景領域として採用する画像に手振れがあった場合、背景画像の印象により画像全体の印象が悪くなってしまう。すなわち、背景画像を書き込む際、より位置ずれの少ない画像を選択する必要がある。
そこで、これらの問題を解決すべく行われる処理について、図５〜図１２に示すフローチャートを用いて説明する。

（第１実施形態）
図５は、デジタルカメラ１内で行われる撮影処理の一例について示したフローチャートである。この撮影処理は、ユーザによりシャッタボタンが押下操作され、画像の撮影が開始されたことを契機に、制御部２０４がプログラムメモリ２０７に格納されている撮影プログラムを実行することにより実現される。
具体的には、ユーザにより撮影操作、すなわち、シャッタボタンの押下が行われると、当該操作に応じた入力信号が制御部２０４に入力される。制御部２０４は当該入力信号を受け付けると、画像データ生成部２１を制御して、移動する被写体の連写撮影を行わせる。この連写撮影動作は、ユーザがシャッタボタンを押下し続けている間行われる。

まず、図５に示すように、撮影画像を一時的にメモリ２０１に記憶させるとともに（ステップＳ１０１）、オートフォーカス（ＡＦ）のフォーカス精度を表す評価値を記憶する（ステップＳ１０２）。ステップＳ１０１及びステップＳ１０２を、停止操作が行われるまで繰り返す（ステップＳ１０３で“Ｎ０”）。一方、連写撮影中に停止操作が行われた場合（ステップＳ１０３で“Ｙｅｓ”）、全フレームの特徴点が合致するよう位置ずれを補正する（ステップＳ１０４）。その後、位置ずれが補正された撮影画像からストロボ画像を合成する合成処理を行う（ステップＳ１０５）。当該合成処理が行われると、合成された合成画像（ストロボ画像）を表示した（ステップＳ１０６）後、合成画像を外部メモリ３０４に記憶（ステップＳ１０７）させて終了する。

図６は、合成処理の一例について示したフローチャートである。
図６に示すように、合成対象の画像が取得されると、後述する擬似背景画像生成処理（ステップＳ１２１）、被写体判別パラメータ算出処理（ステップＳ１２２）を行う。その後、全フレームに対して被写体抽出処理（ステップＳ１２３）を行う。そして、最後の有効フレームの被写体領域の画像を取得し（ステップＳ１２４）、取得された被写体領域の画像のうち未登録の部分のみを上書きして登録し（ステップＳ１２５、Ｓ１２６）、最初の有効フレームまで順次被写体領域の画像のうち未登録の部分のみを上書きする（ステップＳ１２７で“Ｎｏ”、ステップＳ１２８）。上書きが終了すると（ステップＳ１２７で“Ｙｅｓ”）、まだ書き込まれていない未登録座標に対して後述する背景選択処理を行い（ステップＳ１２９）、当該背景選択されたフレームのデータを書き込んでいく（ステップＳ１３０）。これにより、例えば図３（ｂ）のように、すべての座標にデータが書き込まれる。このように生成された合成画像は、液晶表示部３０１でプレビュー表示され（図５のステップＳ１０６）、外部メモリ３０４に記憶されることとなる（図５のステップＳ１０７）。

図７は、擬似背景画像生成処理の一例について示したフローチャートである。
まず、図７に示すように、座標（ｘ，ｙ）の初期化を行う（ステップＳ１４１）。次に、各フレームの同一座標（ｘ，ｙ）の値（ピクセル値）を取得する（ステップＳ１４２、ステップＳ１４３）。当該ピクセル値は、例えば、数１を演算することで算出することができる。

そして、ステップＳ１４２で取得されたピクセル値を値に従って並び替えたときに中央に位置するピクセル値を取得し、擬似背景画像（データ）の座標（ｘ，ｙ）に登録する（ステップＳ１４４）。当該登録処理は、例えば、数２によって表すことができる。

全座標について上記処理を繰り返す（ステップＳ１４５、ステップＳ１４６）ことで、擬似背景画像を生成することができる。生成された擬似背景画像はメモリ２０１に格納される。なお、ここでは座標ごとに取得されたピクセル値の中央値を利用したが、例えば、フレーム枚数や変動対象によっては平均値を取ることで高速化が可能な場合もある。また、処理対象の画像及び生成される擬似背景画像の座標数を実際の画像サイズより縮小する事で高速化することもできる。

図８は、被写体判別パラメータ算出処理の一例について示したフローチャートである。
まず、図８に示すように、座標（ｘ，ｙ）の初期化を行う（ステップＳ１５１）。次に、フレームｎの座標（ｘ，ｙ）のピクセル値ｆ（ｎ，ｘ，ｙ）と擬似背景画像生成によって生成された擬似背景画像の座標（ｘ，ｙ）のピクセル値ｆｂ（ｘ，ｙ）との差ｆｄ（ｎ，ｘ，ｙ）を算出し、ピクセル差分値として登録する（ステップＳ１５２）。当該ピクセル差分値は、例えば、数３を演算することで算出することができる。

すべてのフレームについて座標（ｘ，ｙ）のピクセル差分値ｆｄ（ｎ，ｘ，ｙ）を算出するステップＳ１５２の処理が終了した後（ステップＳ１５３で“Ｙｅｓ”）、この同一座標（ｘ，ｙ）におけるピクセル差分値ｆｄ（ｎ，ｘ，ｙ）の標準偏差（以下、座標標準偏差ｆｓ（ｘ，ｙ））を算出して登録する（ステップＳ１５４）。当該座標標準偏差ｆｓ（ｘ，ｙ）は、例えば、数４を演算することで算出することができる。

全ての座標について上記処理を終了すると（ステップＳ１５５で“Ｙｅｓ”）、ステップＳ１５４で算出された座標標準偏差ｆｓ（ｘ，ｙ）を超えるピクセル値を抽出する（ステップＳ１５７、ステップＳ１５８）。そして、抽出された座標標準偏差ｆｓ（ｘ，ｙ）を超えるピクセル値の標準偏差（以下、変動閾値ｍｏｖｅ）を算出する（ステップＳ１５９）。当該変動閾値ｍｏｖｅは、例えば、数５を演算することで算出することができる。

こうして算出されたパラメータを利用して、例えば図４に示すように、各フレームから被写体領域を抽出する。

図９は、被写体抽出処理の一例について示したフローチャートである。
まず、図９に示すように、各フレームの画像と擬似背景画像とのそれぞれのピクセル値の差であるピクセル差分値ｆｄ（ｎ，ｘ，ｙ）が、変動閾値ｍｏｖｅの値以上の座標（ｘ，ｙ）を１、変動閾値ｍｏｖｅの値より小さい座標（ｘ，ｙ）を０とするデータｆｐ（ｎ，ｘ，ｙ）を生成する（ステップＳ１７１〜ステップＳ１７４）。当該生成されるデータｆｐ（ｎ，ｘ，ｙ）は、例えば、数６を演算することで算出することができる。

その後、生成された０と１のデータに対して、連続している領域には同じ番号を振り、離れている領域には別の番号を振るラベリングを行う。そして、ラベリングした領域のうち最大の領域のみを残し（ステップＳ１７５）、さらに、膨張（ステップＳ１７６）、穴埋め（ステップＳ１７７）、収縮（ステップＳ１７８）といった欠損を補完するための処理を行う。また、この際に、生成した領域情報の周辺部に透過パラメータを付加させることで、より自然な上書きが可能となる。当該被写体抽出を全フレームに対して行うことで、全フレームの領域マスクデータが生成されることとなる（ステップＳ１７９、ステップＳ１８０で“Ｎｏ”）。

なお、本実施形態では２値（０と１）の領域マスクデータを生成するようにしているが、擬似背景画像との差を明確に有り無しで表現できない（２値化できない）場合があるため、予め設けた閾値との差に基づいて段階を持った多値の領域マスクデータを生成するようにしてもよい。

図１０は、背景選択処理の一例について示したフローチャートである。
まず、図１０に示すように、背景座標数と高周波成分をクリアする（ステップＳ１９１）。次に、図９のステップＳ１７９において生成した各フレームの領域マスクデータに基づいてフレーム内の座標位置が背景（背景領域）であるかを判定し（ステップＳ１９２）、座標位置が背景領域であると判定された場合（ステップＳ１９２で“Ｙｅｓ”）は、背景座標数を更新（＋１）し（ステップＳ１９３）、さらに座標位置の高周波成分を算出して加算する（ステップＳ１９４）。当該高周波成分は、例えば、数７を演算することで算出することができる。

全座標について上記処理を終了すると（ステップＳ１９５で“Ｙｅｓ”）、ステップＳ１９４で加算した背景領域の高周波成分を、ステップＳ１９３で求めた背景領域の座標数で除することで平均化する（ステップＳ１９６）。このように、フレームごとの平均化された高周波成分を算出する。平均化された高周波成分が最大である場合（ステップＳ１９７で“Ｙｅｓ”）は、平均化された高周波成分が最大であるフレームを背景フレームとして更新する（ステップＳ１９８）。
すべてのフレームについて上記処理を繰り返す（ステップＳ１９９で“Ｎｏ”）ことで、背景領域の高周波成分が最も大きいフレームを選択することが可能となる。そして、選択されたフレームデータを利用して、未登録座標の書き込みを行う（図６のステップＳ１３０）。
なお、本実施形態では数７にあるようなロバーツフィルタを用いたが、ソーベル等の微分フィルタを用いてもよい。

このように、第１実施形態では、連写した画像の中で背景とみなした領域の高周波成分を比較し、高周波成分が最大となるフレームを背景フレームとして採用することで、背景領域にぶれの小さい背景画像を選択することができる。また、合成後のストロボ画像の大部分を占める背景のぶれを可能な限り小さくし、結果として合成画像をぶれの少ない画像にすることが可能となる。

上記第１実施形態では、背景領域の高周波成分が最も大きいフレームを背景フレームとして採用したが、例えば、カメラのオートフォーカスにエッジヒストグラムを用いている場合、同様のことを行うことができる。
すなわち、カメラのオートフォーカスは評価値（高周波成分値）が大きいレンズ位置でフォーカスが合ったとみなすので、各フレームで継続して評価値を取得することができれば、それを利用して高周波成分が大きくてぶれの少ない背景画像を選択することが可能となる。以下、オートフォーカスを利用した背景選択処理について、図１１のフローチャートを用いて説明する。

（第２実施形態）
図１１は、背景選択処理の一例（背景選択処理２）について示したフローチャートである。
まず、図１１に示すように、対象フレームｎにおける高周波成分であるオートフォーカス（ＡＦ）用エッジ量を表すｅｆ［ｎ］を取得する（ステップＳ２１１）。ここで、エッジ量とは、画像内の近接又は近傍ピクセル値間の差の総和である。ステップＳ２１１で今回取得した対象フレームのエッジ量が、既に取得したフレームのエッジ量と比較して大きい場合（ステップＳ２１２で“Ｙｅｓ”）は、当該対象フレームを背景フレームとして更新する（ステップＳ２１３）。
すべてのフレームについて上記処理を繰り返す（ステップＳ２１４で“Ｎｏ”）ことで、背景領域の高周波成分が最も大きいフレームを選択することができる。

このように、第２実施形態では、連写した画像の中で背景とみなした領域の高周波成分（エッジ量）を比較し、エッジ量が最大となるフレームを背景フレームとして採用することで、背景領域にぶれの小さい背景画像を選択することができる。また、合成後のストロボ画像の大部分を占める背景のぶれを可能な限り小さくし、結果として合成画像をぶれの少ない画像にすることが可能となる。
また、フォーカス精度は撮影時に決定しているため、対象フレームｎにおけるフォーカス精度を表すエッジ量ｅｆ［ｎ］をフレーム数分比較し、エッジ量が最大となるフレームを選択することで、最適な背景選択を行うことができる。

なお、フォーカス精度をコントラスト値で評価している場合は、ステップＳ２１１においてコントラスト値を取得し、ステップＳ２１２においてコントラスト値が大きいか否かを判別するようにしてもよい。

（第３実施形態）
図１２は、背景選択処理の一例（背景選択処理３）について示したフローチャートである。背景選択処理３では、フレーム間のずれが最も小さい画像を背景として選択する。なお、合成処理における背景選択処理３の段階では、図５のステップＳ１０４、Ｓ１０５に示したように位置合わせは終了しているので、位置合わせに利用する数８に示すような変形行列の移動成分（位置合わせパラメータ）から、フレーム間のずれ量（平行移動成分）を算出することができる。

当該ずれ量はカメラの変動量であるため、すべてのフレームの中で値が最小となっているものを手振れの発生していないフレームとみなすことができる。すなわち、平行移動成分が小さい画像を背景として選択することで、ぶれの小さい画像を選択することができる。

まず、図１２に示すように、対象フレームｎにおける平行移動量ｄ［ｎ］を、例えば、数９を演算することで算出する（ステップＳ２２１）。ここで、数８に示した位置補正計算パラメータはすでに算出済みであるものとする。

ステップＳ２２１で今回算出した対象フレームの平均移動量が、既に算出したフレームの平行移動量と比較して小さい場合（ステップＳ２２２で“Ｙｅｓ”）は、当該対象フレームを背景フレームとして更新する（ステップＳ２２３）。すべてのフレームについて上記処理を繰り返す（ステップＳ２２４で“Ｎｏ”）ことで、平均移動量が最も小さいフレームを選択することができる。

例えば、第１実施形態、第２実施形態のように高周波成分で背景を判別する場合は、高周波成分ｅ［ｎ］、又はｅｆ［ｎ］が最大となるものを選択すればよいが、第３実施形態のように平行移動量で背景を判別する場合は、値ｄ［ｎ］が最小のものを選択する。すなわち、平行移動量が最も小さい画像を背景として選択することで、ぶれの小さい画像を選択することが可能となる。

以上、本発明に係る実施形態に基づいて具体的に説明したが、本発明は上記実施形態に限定されるものではなく、その要旨を逸脱しない範囲で変更可能である。

例えば、フレームごとのぶれ量を特定するために、近年カメラに搭載されている加速度センサの測定値を利用することも有効である。
加速度センサによる測定値を利用する場合は、オートフォーカスを利用する場合と同様、撮影直後に各フレームの移動量（位置変動量）が算出されている。また、加速度センサによる測定値を利用した背景選択処理は、図１２と同様、数９で算出される移動量を利用して行うことができる。すなわち、移動量が最も小さい画像を背景として選択することで、ぶれの小さい画像を選択することが可能となる。

なお、オートフォーカス用エッジ量を含む高周波成分は、数７に示したように、斜めに隣接する位置のピクセル値の差の二乗和の総和としてもよく、又、上下左右に隣接する位置のピクセル値の差の二乗和の総和としてもよい。このように、近接又は近傍の位置のピクセル値の差で算出すればそれだけ細かい変化に敏感になり、エッジ量が大きいということは近接又は近傍の位置のピクセル値の差が大きいため、コントラストのあるくっきりとしたぶれの少ない画像であると言うことができる。また、離れた位置のピクセル値の差で算出すれば、細かい変化には反応しなくなる。
さらに、近接又は近傍の位置のピクセル値の差としたが、近接又は近傍のピクセル間の輝度の差の総和でもよい。また、近接又は近傍のピクセル間の彩度の差の総和でもよく、近接又は近傍のピクセル間の明度の差の総和でもよい。さらに、近接又は近傍のピクセル間のＲＧＢ（赤（Ｒ）、緑（Ｇ）、青（Ｂ））それぞれの差の総和、或いは近接又は近傍のピクセル間のＹＵＶ（輝度信号（Ｙ）、輝度信号と青色成分の差（Ｕ）及び輝度信号と赤色成分の差（Ｖ））それぞれの差の総和でもよく、近接又は近傍のピクセル間のＣＭＹＫ（シアン（Ｃ）、マゼンダ（Ｍ）、イエロー（Ｙ）及びブラック（Ｂｋ））それぞれの差の総和でもよい。
すなわち、画像を表現する要素であればどのような要素の近接又は近傍の差の総和でもよい。

なお、本発明に係る画像処理装置は、上記実施形態で例示したデジタルカメラ１のように、本発明に係る構成や機能を予め備えた画像処理装置として提供できる他、制御部２０４の各機能と同様の機能を実現するプログラムを適用することにより、既存の画像処理装置を本発明に係る画像処理装置として機能させることもできる。

このようなプログラムの適用方法は任意であり、例えば、ＣＤ−ＲＯＭやメモリカードなどの記憶媒体に格納して適用できる他、例えば、インターネットなどの通信媒体を介して適用することもできる。

本実施形態に係るデジタルカメラ１の概略構成を示すブロック図である。 実際にストロボ撮影を行っている様子について示した図である。 図２で連続撮影されたフレーム群と、当該フレーム群を合成した画像（ストロボ画像）と、を示した図である。 合成対象のフレームから背景画像を差し引いて、被写***置を抽出する様子について示した図である。 デジタルカメラ１内で行われる撮影処理の一例について示したフローチャートである。 合成処理の一例について示したフローチャートである。 擬似背景画像生成処理の一例について示したフローチャートである。 被写体判別パラメータ算出処理の一例について示したフローチャートである。 被写体抽出処理の一例について示したフローチャートである。 背景選択処理の一例について示したフローチャートである。 背景選択処理の一例（背景選択処理２）について示したフローチャートである。 背景選択処理の一例（背景選択処理３）について示したフローチャートである。

符号の説明

１・・・デジタルカメラ、２１・・・画像データ生成部、１０１・・・光学レンズ部、１０２・・・イメージセンサ、２２・・・データ処理部、２０１・・・メモリ、２０２・・・ビデオ出力部、２０３・・・画像処理部、２０４・・・制御部、２０５・・・ＡＦ処理部、２０６・・・ぶれ補正処理部、２０７・・・プログラムメモリ、２３・・・ユーザインタフェース部、３０１・・・液晶表示部、３０２・・・操作部、３０３・・・外部インタフェース、３０４・・・外部メモリ、２４・・・加速度センサ

Claims (9)

1. 複数フレームの画像から移動する被写体の被写体領域を抽出する抽出手段と、
   前記複数フレームの画像のうちぶれが最も小さい画像を選択する選択手段と、
   前記抽出手段により抽出された被写体領域、及び前記選択手段により選択された画像の背景領域に基づいてストロボ画像を合成する合成手段と、
   を備えることを特徴とする画像処理装置。
2. 前記選択手段は、前記複数フレームの画像のそれぞれについて前記背景領域の高周波成分を算出し、当該算出された高周波成分が最も大きい画像を選択することを特徴とする請求項１に記載の画像処理装置。
3. 前記高周波成分とは、斜めに隣接する位置のピクセル値の差の二乗和の総和であることを特徴とする請求項２に記載の画像処理装置。
4. 前記高周波成分とは、上下左右に隣接する位置のピクセル値の差の二乗和の総和であることを特徴とする請求項２に記載の画像処理装置。
5. 前記選択手段は、前記複数フレームの画像の位置合わせの結果に基づいて、前記画像間の位置変動量を算出し、当該算出された位置変動量が最も小さい画像を選択することを特徴とする請求項１に記載の画像処理装置。
6. 複数フレームの画像を連続して撮影するとともに、それぞれの画像のオートフォーカスによるフォーカス精度の評価値を取得する撮影手段を更に備え、
   前記選択手段は、前記撮影手段により取得された前記フォーカス精度の評価値に基づいて、ぶれが最も小さい画像を選択することを特徴とする請求項１に記載の画像処理装置。
7. 複数フレームの画像を連続して撮影する撮影手段と、
   当該装置に生じるぶれ量を検出する検出手段と、を更に備え、
   前記選択手段は、前記検出手段により検出されたぶれ量に基づいて、前記複数フレームの画像間の位置変動量を算出し、当該算出された位置変動量が最も小さい画像を選択することを特徴とする請求項１に記載の画像処理装置。
8. 複数フレームの画像から移動する被写体の被写体領域を抽出する抽出ステップと、
   前記複数フレームの画像のうちぶれが最も小さい画像を選択する選択ステップと、
   前記抽出ステップにより抽出された被写体領域、及び前記選択ステップにより選択された画像の背景領域に基づいてストロボ画像を合成する合成ステップと、
   を含むことを特徴とする画像処理方法。
9. コンピュータに、
   複数フレームの画像から移動する被写体の被写体領域を抽出する抽出機能と、
   前記複数フレームの画像のうちぶれが最も小さい画像を選択する選択機能と、
   前記抽出機能により抽出された被写体領域、及び前記選択機能により選択された画像の背景領域に基づいてストロボ画像を合成する合成機能と、
   を実現させるためのプログラム。

Images