JP5566196B2 - 画像処理装置及びその制御方法 - Google Patents

Description

本発明は、いわゆるブラケット撮影により得られた複数の動画から合成動画を生成する画像処理装置及びその制御方法に関するものである。

近年、デジタル一眼レフカメラを用いた動画撮影が一般的に行われるようになってきている。これらの撮影装置では、様々な種類の交換レンズを使用することにより、質感の高い動画撮影が可能である。例えば、大きなイメージセンサーを利用して被写界深度を浅く撮影することにより、ユーザーが意図的に背景をぼかしたような動画撮影が可能である。このような撮影を行った場合、撮影装置のシャッター速度が高速になる傾向にあるために、動いている物体の動きがスムーズでなくなるという問題点がある。ここで言う、物体の動きがスムーズでない動画とは、シャッター速度を高速で撮影したため、動きの連続性が不足している画像を意味する。また、物体の動きがスムーズである動画とは、シャッター速度を遅く撮影し、適度な残像感を持ち自然な表現がされている画像を意味する。減光(
ＮＤ：Ｎｅｕｔｒａｌ Ｄｅｎｓｉｔｙ)フィルターを使用して、撮影時のシャッター速度を調整する方法もあるが、ユーザーが望んでいる画像に最適な減光フィルターを選択するのは非常に面倒な作業である。

特許文献１では、合焦距離の異なる複数の画像を合成して、複数の被写体にフォーカスの合った被写界深度の深い合成画像を生成する方法が提案されている。また特許文献１には、被写界深度の異なる複数の画像を合成して、特定の被写体だけにフォーカスの合った合成画像や特定の被写体だけをぼかした合成画像を生成できることが提案されている。さらに特許文献１には、複数の画像からそれぞれぶれ量の小さい（または大きい）被写体を抽出し、それらを合成することが提案されている。

特開２００６−２７９９４０号公報

上述した従来の技術（特許文献１）では、被写体ごとにフォーカスが合っているか否かを判定し、或いは被写体ごとのぶれ量を比較することで、それぞれの被写体をいずれの画像から抽出するかを決定している。

しかしながら、このような被写体ごとの判定を行うには、前処理として画像から被写体部分を自動検出する必要がある。顔検出のように検出対象となる被写体が予め特定されている場合には自動検出は容易かもしれないが、ユーザーが撮影する画像には通常さまざまな種類の被写体が含まれており、それら全てを精度良く検出することは難しい。また、特許文献１には、被写体以外の部分（背景など）をどのように処理するかも記載されていない。従って、特許文献１で提案されている方法は、汎用性および実現性を欠いており、現実の製品に実装することは困難である。さらに、動画同士を合成する場合には被写体の動きがスムーズにみえることが望まれるが、従来の方法では、動いている被写体の背景を大きくぼかしつつ、かつその被写体の動きがスムーズにみえるような合成画像を得ることができない。

そこで、本発明は、異なる被写界深度で撮影された複数の動画から高品質な合成動画を
作成することのできる汎用性および実現性に優れた技術を提供することを目的とする。

本発明の第１態様は、同じ対象を異なる被写界深度で撮影することで得られた複数の動画から、対応するフレーム同士を合成することによって１つの合成動画を生成する画像処理装置であって、前記複数の動画のうち、少なくとも１つの動画のフレームに対して動き量を求める動き量解析手段と、前記複数の動画のうち、少なくとも１つの動画のフレームに対して空間周波数特性を求める空間周波数解析手段と、前記空間周波数解析手段により求められた空間周波数特性と、前記動き量解析手段により求められた動き量とから、前記複数の動画のフレーム同士の合成率を決定する合成率算出手段と、前記合成率算出手段によって決定された合成率で前記複数の動画のフレームを合成する画像合成手段と、を有することを特徴とする画像処理装置を提供する。

本発明の第２態様は、同じ対象を異なる被写界深度で撮影することで得られた複数の動画から、対応するフレーム同士を合成することによって１つの合成動画を生成する画像処理装置の制御方法であって、前記複数の動画のうち、少なくとも１つの動画のフレームに対して動き量を求める動き量解析ステップと、前記複数の動画のうち、少なくとも１つの動画のフレームに対して空間周波数特性を求める空間周波数解析ステップと、前記空間周波数解析ステップにより求められた空間周波数特性と、前記動き量解析ステップにより求められた動き量とから、前記複数の動画のフレーム同士の合成率を決定する合成率算出ステップと、前記合成率算出ステップによって決定された合成率で前記複数の動画のフレームを合成する画像合成ステップと、を有することを特徴とする画像処理装置の制御方法を提供する。

本発明によれば、異なる被写界深度で撮影された複数の動画から高品質な合成動画を作成することができる。また、本発明は、汎用性および実現性に優れており、現実の製品への実装が容易である。

本発明の実施例１の画像処理装置のブロック図である。 ブラケット動画のフォーマットの模式図である。 被写界深度の異なる画像とそれらを合成した画像の例である。 実施例１の空間周波数特性、動き量特性、及び画像合成率の例である。 実施例１の画像合成率算出方法のフローチャートである。 実施例２の画像合成率算出方法のフローチャートである。 実施例２の画像合成率と合成画像の例である。 本発明の実施例３の画像処理装置のブロック図である。 実施例３の空間周波数特性、動き量特性、及び画像合成率の例である。 実施例３の画像合成率算出方法のフローチャートである。

本発明は、同じ対象を異なる被写界深度で同時に撮影することで得られた複数の動画から、対応するフレーム同士を合成することによって１つの合成動画を生成する画像処理装置およびその制御方法に関する。「同じ対象」とは、複数の動画の撮影範囲（構図、被写体、背景など）が実質的に同じであることを意味し、「同時に撮影」とは、複数の動画の撮影が時間的に並列に行われることを意味する。「対応するフレーム」とは、実質的に同じ時刻に撮影されたフレームを意味する。対応するフレームは厳密に同じ時刻に撮影されることが望ましいが、極めて短い時間間隔（例えば１フレーム周期よりも短い間隔）で連続的に撮影されたものでもよい。以下、「同じ対象を異なる被写界深度で同時に撮影することで得られた複数の動画」を「ブラケット動画」とよぶ。本発明は、ブラケット動画の撮影が可能な撮像装置（デジタルカメラ、デジタルビデオカメラなど）に適用することも
できるし、入力され若しくは記録されたブラケット動画を加工または再生する映像記録再生装置に適用することもできる。或いは、本発明の機能および処理を、コンピュータプログラムによって実現することも可能である。

本発明の一実施形態では、複数の動画のフレーム同士を合成する際に、画素ごとの空間周波数（ぼやけ度合い）と動き量の２つの特性を評価し、それらの値に基づいて画素ごとの合成率を算出する。この方法によれば、従来のような被写体検出が不要となるため、どのような動画に対しても汎用的に適用することが可能である。また、動き量を評価するので、動画（動きのある物体が含まれている場合が多い）の合成に好適である。

空間周波数特性は、合成される複数の動画のうち少なくとも１つの動画のフレームに対して求めればよい。好ましくは、被写界深度の深い動画のフレームではなく、被写界深度の浅い動画のフレームから空間周波数特性を求めるとよい。被写界深度が浅い画像のほうが、ユーザーの注目被写体とそれ以外の部分との間で空間周波数に有意な差がある可能性が高いからである。また、動き量も、合成される複数の動画のうち少なくとも１つの動画のフレームに対して求めればよく、好ましくは、被写界深度の浅い動画のフレームから求めるとよい。被写界深度が浅いほうがシャッター速度が速く、注目被写体のぶれ（動きぼやけ）が小さくなる傾向にあるため、動きベクトルの演算を精度良く行うことができるからである。

合成率はどのように決定してもよい。たとえば、被写界深度の深い動画（第１の動画）と被写界深度の浅い動画（第２の動画）の２つの動画を合成する場合は、空間周波数が低いほど第２の動画の画素の合成割合が大きくなるように合成率を決定するとよい（実施例１参照）。これにより、被写界深度の浅い動画においてユーザーが意図的にぼやかした部分を合成動画に含めることができる。また、動き量が大きいほど第１の動画の画素の割合が大きくなるように合成率を決定することも好ましい（実施例１参照）。第１の動画は第２の動画に比べてシャッター速度が遅くなる傾向にあるため、第１の動画における物体の動きぼやけを合成動画に含めることができ、動画を再生したときに物体の動きがスムーズにみえるからである。或いは、空間周波数が低いほど第１の動画の画素の割合が大きくなり、かつ、動き量が大きいほど第２の動画の画素の割合が大きくなるように、合成率が決定されることも好ましい（実施例２参照）。これにより、フレーム全体でぼやけの少ないくっきりした画像を得ることができる。或いは、空間周波数が第１の閾値よりも高く、かつ、動き量が第２の閾値よりも大きい場合に、第２の動画の画素に比べ第１の動画の画素の割合が大きくなるように合成率を決定することも好ましい（実施例３参照）。これにより、第１の動画における物体の動きぼやけを合成動画に含めることができる。空間周波数が第１の閾値よりも低いか、動き量が第２の閾値より小さい場合には、第１の動画の画素に比べて第２の動画の画素の割合が大きくなるようにすればよい（実施例３参照）。これにより、第２の動画においてユーザーが意図的にぼやかした部分を合成動画に含めることができる。

以下、図面を参照して、本発明の具体的な実施例について説明する。
［実施例１］
本実施例の目的は、注目被写体の背景を大きくぼかすことで奥行き感を強調し、さらに注目被写体がスムーズに動く動画をユーザーに提供することである。

図１は、本実施例の画像処理装置を示すブロック図である。図１において、画像入力部１０１には、複数の被写界深度で撮影されたブラケット動画が入力される。画像復号化部１０２は、画像入力部１０１から入力されたブラケット動画を復号化して複数種類の動画に分割して出力する。図２は、ブラケット動画、及び復号化された複数種類の動画の関係について示したものである。図２は、ブラケット動画を２種類の画像に分割する例である
。ブラケット動画のＮ−２フレームは画像２０１、画像２０２の２種類の画像が記録されている。画像２０１と画像２０２は、それぞれ異なる被写界深度で撮影されている画像であり、撮影時刻は同期している画像である。例えば、図３（ａ）は被写界深度を深く撮影した画像の例であり、図３（ｂ）は被写界深度を浅く撮影した画像の例である。Ｎ−１フレームの画像３０１および画像３０２、Ｎフレームの画像４０１および画像４０２についても同様の関係である。ブラケット動画には、記録時間に応じたフレーム数の画像が記録されている。また、画像復号化部１０２では、ブラケット動画に含まれている情報データ（例えば、メタデータなど）もデコードされ出力される。入力画像の入力される形態については特に限定されない。たとえば、ハードディスク装置やメモリカード等のメディアから入力してもよいし、ネットワークもしくは放送を通じて受信してもよい。

空間周波数特性解析部（空間周波数解析手段）１０３は、画像復号化部１０２より出力された画像に対して、空間周波数特性を画素ごとに解析する。動き量特性解析部（動き量解析手段）１０４は、画像復号化部１０２から出力された複数フレームの画像を用いて、フレーム間の動き量を画素ごとに解析する。動き量を算出するには、一般的な動きベクトル法を用いれば良い。画像合成率算出部（合成率算出手段）１０５は、空間周波数特性解析部１０３の解析結果と、動き量特性解析部１０４の解析結果を元に、２つの画像合成時に用いる、画素ごとの画像合成率を算出する。画像合成部（画像合成手段）１０６は、画像合成率算出部１０５の出力結果に応じて、画像復号化部１０２から出力された２つの画像を合成する。画像表示部１０７は、画像合成部１０６から出力された合成画像を表示する。

次に、画像例を用いて、本実施例の処理を詳しく説明する。図３（ａ）、図３（ｂ）にブラケット動画から取り出された２つの動画Ａ、Ｂのあるフレームを示す。図３（ａ）は、被写界深度を深く撮影した画像であり、図３（ｂ）は、被写界深度を浅く撮影した画像である。図３（ａ）の被写界深度が深い画像では、山１１１、人１１２、車１１３共にフォーカスが合っている。また、図３（ａ）の画像の車１１３の部分に着目すると、シャッター速度が遅いために、車１１３の動きは適度な残像感（動きぼやけ）を持ち自然に表現されている。一方、図３（ｂ）の被写界深度が浅い画像では、人１２２、車１２３にはフォーカスが合っているが、背景となる山１２１はぼやけた領域となっている。また、図３（ｂ）の画像の車１２３の部分に着目すると、シャッター速度が速いために、車１２３の輪郭はくっきりしている。しかし、動きぼやけがないため、動画としての車の動きはやや不自然となる。移動速度が速い被写体ほど不自然さは顕著になる。図３（ｂ）のように被写界深度が浅い画像は、一般的にユーザーが注目被写体以外の部分（背景など）を意図的にぼやかしている場合が多い。

空間周波数特性解析部１０３と、動き量特性解析部１０４では、それぞれ図３（ｂ）に示した画像（被写界深度が浅い画像）に対して画素ごとの画像の特徴解析を行う。図３（ｃ）に示した図は、図３（ｂ）の画像に対して、空間周波数特性と動き量の解析を行う対象ラインを点線で示した図である。実際には、画面全体に対して解析を行うが、本実施例では説明を分かりやすくするため、点線で示したラインの水平方向の解析方法について説明を行う。図３（ｃ）の画像の点線上で、人１３２と車１３３はフォーカスが合っている領域であり、人１３２と車１３３以外の領域については、フォーカスが合っていないぼやけ領域である。ここで言うぼやけ領域とは、物体が動いたことによるぼやけではなく、ユーザーが意図的に背景をぼかしているような画像ぼやけを指している。図３（ｃ）の画像に対して、空間周波数特性を算出すると、図４（ａ）のようになる。

空間周波数特性の算出方法は、画素ごとに高周波成分を算出するというものである。高周波成分が多ければ多いほど空間周波数は高く、くっきりしている画像であると判定される。図３（ｃ）の画像では、人１３２と車１３３にフォーカスが合っているため、この２
つの物体が属する領域のくっきり度が高くなり、それ以外の領域に対してはくっきり度が低く算出される。空間周波数特性は、０〜１．０の間の値として出力される。空間周波数特性値が０と出力されれば最もぼやけた画素を表し、１．０と出力されれば、最もくっきりした画素を表すこととなる。なお、空間周波数特性の算出方法は、高周波成分から算出する方法に限られるものではなく、空間周波数の特性が判定出来れば他の方法でも構わない。例えば、画像情報に付与しているメタデータの情報を用いても良い。

次に、図３（ｃ）の画像の動き量特性の解析結果を図４（ｂ）に示す。図３（ｃ）の画像では、人１３２が静止しており、車１３３が左から右へ移動しているため、車１３３の部分に対して動き量が大きく検出される。動き量の算出方法については、注目フレームとその一つ前のフレームとから画素ごとの動き量を算出することにより求められる。具体的には、２つのフレーム間でブロックマッチングを行うことにより、注目フレームの各画素の動きベクトルを求めることができる。ベクトル量が大きいほど、動き量としては大きくなる。また、ベクトル量が小さいほど、動き量としては小さくなる。例えば、ある画素が水平右方向に１０画素動いたと判定されれば、ベクトル量は＋１０となり、水平左方向に５画素動いたと判定されれば、ベクトル量は−５となる。従って、これらの画素の動き量としては、それぞれ絶対値を取り、水平右方向に１０画素動いた画素に対しては１０、水平左方向に５画素動いた画素に対しては５となる。動き量特性解析部１０４は、このベクトル量の絶対値を０〜１．０の間で正規化した値を動き量として出力する。動き量が０の画素は動きの無い画素であり、動き量が１．０の画素はフレームの中で最も動きの大きい画素である。なお、動き量の算出方法は、動きベクトル法に限られるものではなく、動き量の特性が判定出来れば他の方法でも構わない。例えば、フレーム差分による動き検出を行っても良い。

画像合成率算出部１０５は、空間周波数特性解析部１０３の出力結果（図４（ａ））と、動き量特性解析部１０４の出力結果（図４（ｂ））から２つの画像（図３（ａ）の画像と図３（ｂ）の画像）の画像合成率を決定する。画像合成率の具体的な算出方法を、図４（ａ）に示した空間周波数特性解析結果と図４（ｂ）に示した動き量特性解析結果を用いて説明する。

図５は、本実施例における空間周波数特性解析部１０３、動き量特性解析部１０４、及び画像合成率算出部１０５の動作の流れを示すフローチャートである。まず、入力画像が空間周波数特性解析部１０３と動き量特性解析部１０４に入力され、画像合成率算出処理が開始される（Ｓ１０１）。次に、Ｓ１０１で入力された画像に対して、空間周波数特性解析部１０３にて画素ごとに空間周波数特性が算出され（Ｓ１０２）、動き量特性解析部１０４にて動き量特性が算出される（Ｓ１０３）。Ｓ１０２で算出された空間周波数特性Ｆ１(ｘ)を図４（ａ）に、Ｓ１０３で算出された動き量特性Ｇ１(ｘ)を図４（ｂ）に示す。次に、Ｓ１０２、Ｓ１０３で算出された空間周波数特性Ｆ１(ｘ)と動き量特性Ｇ１(ｘ)から、画像合成率算出部１０５が画像合成率を算出する（Ｓ１０４）。本実施例では、下記の算出式のように、空間周波数特性Ｆ１(ｘ)と動き量特性Ｇ１(ｘ)の積を画像合成率とする。
画像合成率 ＝ Ｆ１(ｘ) × Ｇ１(ｘ)

次に、すべての画素に対する画像合成率が算出されたか否かを確認し（Ｓ１０５）、全画素の処理が完了していれば、画像合成率算出処理が終了になり（Ｓ１０６）。全画素の処理が完了していなければ、再度Ｓ１０２の空間周波数特性算出処理、及びＳ１０３の動き量特性算出処理が行われる。

画像合成率の算出結果を図４（ｃ）に示す。図４（ｃ）に示す画像合成率が１．０の時に図３（ａ）の画像の合成割合が１００％になり、逆に画像合成率が０の時に図３（ｂ）
の画像の合成割合が１００％となる。図４（ｃ）を見て分かる通り、図３（ｃ）に示した車１３３の領域に対しては、動き量が大きいため、図３（ａ）の画像（被写界深度の深い画像Ａ）の割合が高くなる。また、空間周波数特性でくっきりしていると判定された人１３２に対しては、動き判定結果が静止判定となるため、図３（ｂ）の画像（被写界深度の浅い画像Ｂ）の割合が高くなる。

画像合成部１０６は、画像合成率算出部１０５で算出された画像合成率に従って２つの画像を合成する。このように画像合成することにより、フォーカスの合っている動きの少ない領域に対してはよりくっきりした画像、またフォーカスの合っている動きの大きい領域に対しては動きがスムーズな画像が適用される。よって、大きなぼやけ感とスムーズな動きを両立した動画再生が実現出来る。図３（ｄ）に合成された画像を示す。山１４１に対しては大きなぼやけ感が得られ、かつ車１４３に対して動きのスムーズな動画を得ることが出来る。画像表示部１０７では、画像合成部１０６で合成されたブラケット動画が表示される。表示する表示装置は、液晶ディスプレイ等の一般的なディスプレイであれば何でも良い。

本実施例では、水平方向のみについて記載したが、実際の画像では、水平、垂直の２次元方向の処理を行うとよい。また２つの動画を合成する処理を例示したが、３つ以上の動画を合成することもできる。

［実施例２］
実施例１では、注目被写体の背景を大きくぼかすことで奥行き感を強調し、さらに注目被写体の動きがスムーズにみえる動画をユーザーに提供することを目的としたが、実施例２では、画像のスムーズさよりも画像のくっきり感を優先した動画をユーザーに提供することを目的とする。

本実施例のブロック図は、実施例１のブロック図（図１）と同様であり、空間周波数特性解析部１０３と動き量特性解析部１０４の動作についても、実施例１と同様であるため、動作の詳細説明は省略する。
画像合成率算出部１０５は、空間周波数特性解析部１０３の解析結果（図４（ａ））と、動き量特性解析部１０４の解析結果（図４（ｂ））から２つの画像（図３（ａ）の画像と図３（ｂ）の画像）の画像合成率を決定する。画像合成率の具体的な算出方法を、以下に説明する。

図６は、本実施例における空間周波数特性解析部１０３、動き量特性解析部１０４、及び画像合成率算出部１０５の動作の流れを示すフローチャートである。Ｓ２０１〜Ｓ２０３、Ｓ２０５、Ｓ２０６の処理は、図５のＳ１０１〜Ｓ１０３、Ｓ１０５、Ｓ１０６の処理と同じであるため、Ｓ２０４の合成率算出処理についてのみ説明を行う。

Ｓ２０２、Ｓ２０３で算出された空間周波数特性Ｆ１(ｘ)と動き量特性Ｇ１(ｘ)から、画像合成率算出部１０５が、画像合成率を算出する（Ｓ２０４）。本実施例では、下記の算出式のように、空間周波数特性Ｆ１(ｘ)と動き量特性Ｇ１(ｘ)の積を１．０（図３（ａ）の画像の割合が１００％）から減算した値を画像合成率とする。
画像合成率 ＝ １．０ −（Ｆ１(ｘ) × Ｇ１(ｘ)）
これにより、画像全体がくっきりした動画を生成することが可能になる。つまり、このような画像合成率を適用することにより、動きの大きな領域に対してはよりくっきりした画像、動きの少ない領域に対してもぼやけの少ないくっきりした画像が得られる。

図６で説明した画像合成率の算出結果を図７（ａ）に示す。図７（ａ）に示す画像合成率が１．０の時に図３（ａ）の画像の合成割合が１００％になり、逆に画像合成率が０の
時に図３（ｂ）の画像の合成割合が１００％となる。図７（ａ）を見て分かる通り、図３（ｃ）に示した車１３３の領域に対しては、動き量が大きく、動きぼやけが無い図３（ｂ）の画像（被写界深度の浅い画像）の割合が高くなる。また、空間周波数特性でくっきりしていると判定された人１３２の領域に対しては、図３（ａ）の画像（被写界深度の深い画像）の割合が高くなる。

このように画像を合成することにより、動きの大きな領域に対してはよりくっきりした画像、動きの少ない領域に対してもぼやけの少ないくっきりした画像が適用される。よって、画面全体がくっきりした動画再生が実現出来る。図７（ｂ）に、合成された画像を示す。山１５１、人１５２、車１５３共にフォーカスの合った、かつ動きぼやけのない動画を得ることが出来る。

本実施例では、水平方向のみについて記載したが、実際の画像では、水平、垂直の２次元方向の処理を行うとよい。また２つの動画を合成する処理を例示したが、３つ以上の動画を合成することもできる。

［実施例３］
実施例１及び実施例２では、空間周波数特性と動き量特性を乗算した結果に基づいて画像合成率を決定したが、本実施例では、空間周波数特性と動き量特性を予め設定された閾値と比較した結果に基づいて画像合成率を決定する。

本実施例の画像処理装置のブロック図を図８に示す。基本構成は、実施例１と同様であり、画像合成率算出部３０５に閾値Ａ、閾値Ｂが入力されている点、及び画像合成率算出部３０５の算出方法が異なっている。

図９（ａ）は、本実施例での動作の詳細を説明するために、ある画像Ｂの空間周波数特性を示した図である。図９（ｂ）は、同様に、ある画像Ｂの動き量特性を示した図である。本実施例における画像Ａとは被写界深度を深く撮影した画像であり、画像Ｂとは被写界深度を浅く撮影した画像とする。

図１０は、本実施例の動作の流れを示すフローチャートである。図１０に示すフローチャートは、本実施例における空間周波数特性解析部３０３、動き量解析部３０４、及び画像合成率算出部３０５の動作の流れを示している。まず、入力画像が空間周波数特性解析部３０３と動き量解析部３０４に入力され、画像合成率算出処理が開始される（Ｓ３０１）。次に、Ｓ３０１で入力された画像に対して、空間周波数特性解析部３０３にて画素ごとに空間周波数特性が算出され（Ｓ３０２）、動き量特性解析部１０４にて動き量特性が算出される（Ｓ３０３）。Ｓ３０２で算出された空間周波数特性Ｆ２(ｘ)を図９（ａ）に、Ｓ３０３で算出された動き量特性Ｇ２(ｘ)を図９（ｂ）に示す。

次に、画像合成率算出部３０５が、Ｓ３０２で算出された空間周波数特性Ｆ２(ｘ)を第１の閾値Ａと比較し（Ｓ３０４）、大きければＳ３０５へ、小さければＳ３０７へと進む。本実施例では、閾値Ａ＝０．２に設定されている。つまり、Ｆ２（ｘ）が０．２より小さい領域については、画像合成率＝０となり、合成画像としては画像Ｂが選択される（Ｓ３０７）。また、Ｆ２（ｘ）が０．２より大きい領域（図９（ａ）の斜線部分）については、Ｓ３０５の動き量特性による判定へと進む。次に、画像合成率算出部３０５が、動き量特性Ｇ２(ｘ)を第２の閾値Ｂと比較し（Ｓ３０５）、大きければＳ３０６へ、小さければＳ３０７へと進む。本実施例では、閾値Ｂ＝０．７に設定されている。つまり、Ｇ２（ｘ）が０．７より大きな領域（図９（ｂ）の斜線部分）については、画像合成率＝１．０となり、合成画像としては画像Ａが選択される（Ｓ３０６）。また、Ｇ２（ｘ）が０．７より小さな領域については、画像合成率＝０となり、合成画像としては画像Ｂが選択され
る（Ｓ３０７）。

次に、すべての画素に対する画像合成率が算出されたか否かを確認し（Ｓ３０８）、全画素の処理が完了していれば、画像合成率算出処理が終了になり（Ｓ３０９）。全画素の処理が完了していなければ、再度Ｓ３０２の空間周波数特性算出処理、及びＳ３０３の動き量特性算出処理が行われる。

図９（ｃ）は、以上の処理の結果、算出された本実施例の画像合成率を示す図である。図９（ｃ）に示す斜線領域の部分は、画像Ａ（被写界深度が深い画像）が選択され、それ以外の領域については、画像Ｂ（被写界深度が浅い画像）が選択される。本実施例では、動き量が大きく、かつくっきりしていると判定された領域（図９（ｃ）の斜線領域）については、画像Ａを選択することにより、動きのスムーズさを実現している。また、それ以外の動きがそれほど大きくないか、それほどくっきりしていない領域については、画像Ｂを選択する。これにより、実施例１と同様、動きのスムーズさと大きなぼやけ感の両立が可能になる。

本実施例では、水平方向のみについて記載したが、実際の画像では、水平、垂直の２次元方向の処理を行うとよい。また２つの動画を合成する処理を例示したが、３つ以上の動画を合成することもできる。

１０３：空間周波数特性解析部、１０４：動き量特性解析部、１０５：画像合成率算出部、１０６：画像合成部

Claims (14)

1. 同じ対象を異なる被写界深度で撮影することで得られた複数の動画から、対応するフレーム同士を合成することによって１つの合成動画を生成する画像処理装置であって、
   前記複数の動画のうち、少なくとも１つの動画のフレームに対して動き量を求める動き量解析手段と、
   前記複数の動画のうち、少なくとも１つの動画のフレームに対して空間周波数特性を求める空間周波数解析手段と、
   前記空間周波数解析手段により求められた空間周波数特性と、前記動き量解析手段により求められた動き量とから、前記複数の動画のフレーム同士の合成率を決定する合成率算出手段と、
   前記合成率算出手段によって決定された合成率で前記複数の動画のフレームを合成する画像合成手段と、
   を有することを特徴とする画像処理装置。
2. 前記複数の動画は、第１の動画と前記第１の動画よりも被写界深度の浅い第２の動画とを含み、
   前記空間周波数解析手段は、前記第２の動画のフレームに対して空間周波数特性を求めることを特徴とする請求項１に記載の画像処理装置。
3. 前記動き量解析手段は、前記第２の動画のフレームに対して動き量を求めることを特徴とする請求項２に記載の画像処理装置。
4. 前記合成率算出手段は、空間周波数が低いほど前記第２の動画の画素の割合が大きくなるように、前記第１の動画の画素と前記第２の動画の画素の合成率を決定することを特徴とする請求項２または３に記載の画像処理装置。
5. 前記合成率算出手段は、動き量が大きいほど前記第１の動画の画素の割合が大きくなるように、前記第１の動画の画素と前記第２の動画の画素の合成率を決定することを特徴とする請求項２〜４のうちいずれか１項に記載の画像処理装置。
6. 前記合成率算出手段は、空間周波数が低いほど前記第１の動画の画素の割合が大きくなり、かつ、動き量が大きいほど前記第２の動画の画素の割合が大きくなるように、前記第１の動画の画素と前記第２の動画の画素の合成率を決定することを特徴とする請求項２または３に記載の画像処理装置。
7. 前記合成率算出手段は、
   空間周波数が第１の閾値よりも高く、かつ、動き量が第２の閾値よりも大きい場合に、前記第２の動画の画素に比べて前記第１の動画の画素の割合が大きくなり、それ以外の場合に、前記第１の動画の画素に比べて前記第２の動画の画素の割合が大きくなるように、前記第１の動画の画素と前記第２の動画の画素の合成率を決定することを特徴とする請求項２または３に記載の画像処理装置。
8. 同じ対象を異なる被写界深度で撮影することで得られた複数の動画から、対応するフレーム同士を合成することによって１つの合成動画を生成する画像処理装置の制御方法であって、
   前記複数の動画のうち、少なくとも１つの動画のフレームに対して動き量を求める動き量解析ステップと、
   前記複数の動画のうち、少なくとも１つの動画のフレームに対して空間周波数特性を求める空間周波数解析ステップと、
   前記空間周波数解析ステップにより求められた空間周波数特性と、前記動き量解析ステップにより求められた動き量とから、前記複数の動画のフレーム同士の合成率を決定する合成率算出ステップと、
   前記合成率算出ステップによって決定された合成率で前記複数の動画のフレームを合成する画像合成ステップと、
   を有することを特徴とする画像処理装置の制御方法。
9. 前記複数の動画は、第１の動画と前記第１の動画よりも被写界深度の浅い第２の動画とを含み、
   前記空間周波数解析ステップでは、前記第２の動画のフレームに対して空間周波数特性を求めることを特徴とする請求項８に記載の画像処理装置の制御方法。
10. 前記動き量解析ステップでは、前記第２の動画のフレームに対して動き量を求めることを特徴とする請求項９に記載の画像処理装置の制御方法。
11. 前記合成率算出ステップでは、空間周波数が低いほど前記第２の動画の画素の割合が大きくなるように、前記第１の動画の画素と前記第２の動画の画素の合成率を決定することを特徴とする請求項９または１０に記載の画像処理装置の制御方法。
12. 前記合成率算出ステップでは、動き量が大きいほど前記第１の動画の画素の割合が大きくなるように、前記第１の動画の画素と前記第２の動画の画素の合成率を決定することを特徴とする請求項９〜１１のうちいずれか１項に記載の画像処理装置の制御方法。
13. 前記合成率算出ステップでは、空間周波数が低いほど前記第１の動画の画素の割合が大きくなり、かつ、動き量が大きいほど前記第２の動画の画素の割合が大きくなるように、前記第１の動画の画素と前記第２の動画の画素の合成率を決定することを特徴とする請求項９または１０に記載の画像処理装置の制御方法。
14. 前記合成率算出ステップでは、
    空間周波数が第１の閾値よりも高く、かつ、動き量が第２の閾値よりも大きい場合に、前記第２の動画の画素に比べて前記第１の動画の画素の割合が大きくなり、それ以外の場
    合に、前記第１の動画の画素に比べて前記第２の動画の画素の割合が大きくなるように、前記第１の動画の画素と前記第２の動画の画素の合成率を決定することを特徴とする請求項９または１０に記載の画像処理装置の制御方法。

Images