JP2014096757A - 画像処理装置および画像処理方法、並びにプログラム - Google Patents

Abstract

【課題】より新しい再生効果を実現する。
【解決手段】分離部は、素材画像に写されている撮像物に応じて、素材画像を前景画像と後景画像とに分離し、抽出部は、後景画像に対して表示の対象とする領域を規定する表示領域を設定し、移動させながら設定される表示領域に従って後景画像の一部を表示後景画像として抽出する。そして、合成部は、抽出部により抽出される表示後景画像それぞれに対して前景画像を合成して動画像を生成する。本発明は、例えば、デジタルビデオカメラに適用できる。
【選択図】図１

Description

本開示は、画像処理装置および画像処理方法、並びにプログラムに関し、特に、より新しい再生効果を実現することができるようにした画像処理装置および画像処理方法、並びにプログラムに関する。

従来、静止画像を再生する際に、静止画像に写されている一部の撮像物が動くような再生方法がある。

例えば、特許文献１には、時間の経過に従った一連の画像の一部を、その一部の領域を静的表示領域として所定の時間で停止させ、その他の領域を動的表示領域として再生する再生方法が開示されている。しかしながら、特許文献１で開示されている技術では、重畳する領域の画像と重畳される領域の画像とのいずれも、表示面に対して描画する位置が固定的であった。

また、特許文献２には、連続する画像により構成される動画像を素材として用いたり、連続した関連性のある静止画群と、それとは関連のない静止画とを素材として用いたりして、一部の素材が動くように再生する再生方法が開示されている。しかしながら、特許文献２で開示されている技術では、表示面に対して描画する位置が変わるのは重畳する画像のみであった。また、関連性のない画像が、重畳される画像と重畳する画像とに用いられていた。

特開２０１１−６６７１７号公報 特開２０１０−１２４１１５号公報

ところで、上述した特許文献１および２に開示されている技術では得られないような、より新しい再生効果を実現することができる再生方法が求められている。

本開示は、このような状況に鑑みてなされたものであり、より新しい再生効果を実現することができるようにするものである。

本開示の一側面の画像処理装置は、素材画像に写されている撮像物に応じて、前記素材画像を前景画像と後景画像とに分離する分離部と、前記後景画像に対して表示の対象とする領域を規定する表示領域を設定して、前記表示領域に従って表示後景画像を抽出する抽出部と、前記抽出部により抽出された前記表示後景画像と、前記前景画像に基づいて、動画像を合成する合成部とを備える。

本開示の一側面の画像処理方法またはプログラムは、素材画像に写されている撮像物に応じて、前記素材画像を前景画像と後景画像とに分離し、前記後景画像に対して表示の対象とする領域を規定する表示領域を設定して、前記表示領域に従って表示後景画像を抽出し、抽出された前記表示後景画像と、前記前景画像に基づいて、動画像を合成するステップを含む。

本開示の一側面においては、素材画像に写されている撮像物に応じて、素材画像が前景画像と後景画像とに分離され、後景画像に対して表示の対象とする領域を規定する表示領域が設定されて、その表示領域に従って表示後景画像が抽出される。そして、抽出された表示後景画像と、前景画像に基づいて、動画像が合成される。

本開示の一側面によれば、より新しい再生効果を実現することができる。

第１の画像処理を説明するための図である。 本技術を適用した画像処理装置の一実施の形態の構成例を示すブロック図である。 第１の画像処理を説明するフローチャートである。 第２の画像処理を説明するための図である。 動画像を構成する複数枚の画像から構成される十分に画角の大きな画像である。 第２の画像処理を説明するフローチャートである。 第２の画像処理の変形例を説明するフローチャートである。 第３の画像処理を説明するための図である。 第３の画像処理を説明するフローチャートである。 デジタルビデオカメラの構成例を示すブロック図である。 本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。

以下、本技術を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。

まず、図１を参照して、本技術を適用した画像処理について説明する。

図１の最上段には、画像処理を行う素材となる素材画像１１が示されており、図１の例では、素材画像１１として、横長のアスペクト比を有するパノラマ画像が用いられる。そして、素材画像１１に写されている撮像物に対して前景および後景が定義され、前景画像と後景画像とに分離されて、どちらか一方がスクロール再生の対象とされる。

例えば、図１の上から２段目に示すように、素材画像１１に写されている気球が前景画像１２として定義され、素材画像１１に写されている風景が後景画像１３として定義されて、素材画像１１が前景画像１２と後景画像１３とに分離される。そして、図１の例では、後景画像１３のみがスクロール再生の対象とされる。

次に、図１の上から３段目に示すように、スクロール再生の対象である後景画像１３に対して、スクロール再生する際に表示の対象とする領域を規定する表示領域１４が設定される。例えば、後景画像１３の左側から右側に向かってスクロール再生が行われるとすると、図示するように、後景画像１３の左端に表示領域１４が設定される。そして、後景画像１３から表示領域１４により規定される領域が表示後景画像１５として抽出（クロップ）され、表示後景画像１５と、スクロール再生の対象とされていない前景画像１２とを合成することにより合成画像１６が生成される。

そして、スクロール再生を行う際のフレーム数に従って、表示領域１４の位置を徐々に右側に移動させるように後景画像１３に対して表示領域１４を設定し、各フレームに対して前景画像１２を合成する。

これにより、図１の上から４段目に示すように、後景画像１３がスクロールしつつ、前景画像１２が常に表示領域１４内に配置される合成画像１６が生成される。例えば、合成画像１６の再生が開始される時刻Ｔ０における合成画像１６Ｔ（０）では、後景画像１３の左端が抽出されている。そして、時刻Ｔｉにおける合成画像１６Ｔ（ｉ）では、時刻Ｔｉに応じた位置の後景画像１３が抽出され、合成画像１６の再生が終了される時刻Ｔｎにおける合成画像１６Ｔ（ｎ）では、後景画像１３の右端が抽出されている。また、合成画像１６においては、前景画像１２を合成する際に、前景画像１２が配置される座標（ｘ，ｙ）が合成画像１６Ｔ（０）乃至１６Ｔ（ｎ）において固定されている。

このように、総フレーム数ｎの合成画像１６Ｔ（０）乃至１６Ｔ（ｎ）が生成されることで、前景画像１２である気球は常に表示され、後景画像１３である風景が表示領域１４の移動に従ってスクロールして表示されるという再生効果のある動画像が生成される。つまり、動的な背景に対して静止的な撮像物が写されているような再生効果を得ることができる。

次に、図２は、本技術を適用した画像処理装置の一実施の形態の構成例を示すブロック図である。

画像処理装置２１は、素材として入力される素材画像１１に対して画像処理を施し、合成画像１６を生成してメモリ２２に保存する。図２に示すように、画像処理装置２１は、カウント処理部３１、分離部３２、決定処理部３３、前景選択処理部３４、後景抽出部３５、および合成部３６を備えて構成される。

カウント処理部３１は、画像処理装置２１で生成された合成画像１６のフレーム数を数えるためのカウント値Ｔ（ｉ）をカウントし、画像処理装置２１において生成される合成画像１６の総フレーム数ｎと比較するカウント処理を行う。

分離部３２には、例えば、図示しない記録部に記録されている画像が素材画像１１として入力される。そして、分離部３２は、素材画像１１を前景画像１２と後景画像１３とに分離して、前景画像１２を前景選択処理部３４に供給し、後景画像１３を後景抽出部３５に供給する。

例えば、分離部３２は、素材画像１１に写されている被写体のエッジを検出し、その被写体が写されている領域を前景画像１２とし、それ以外の領域を後景画像１３とする。または、例えば、ユーザが、図示しない操作部を操作して素材画像１１のうちの前景画像１２とする領域を指定してもよく、分離部３２は、ユーザにより指定された領域を前景画像１２とし、それ以外の領域を後景画像１３とする。また、分離部３２は、後景画像１３において前景画像１２が写されていた領域を、その領域の周辺の画像から補完することができる。

決定処理部３３は、後景画像１３に対して設定される表示領域１４のサイズおよび位置を決定したり、カウント処理部３１がカウント処理において参照する合成画像１６の総フレーム数ｎを決定したりする決定処理を行う。例えば、決定処理部３３は、図１を参照して説明したようなスクロール再生を行うとき、素材画像１１の高さに合わせて表示領域１４のサイズを決定する。そして、決定処理部３３は、素材画像１１の左端を表示領域１４の最初の位置に決定するとともに、素材画像１１の右端を表示領域１４の最後の位置に決定する。

前景選択処理部３４は、合成画像１６において前景として使用する前景画像１２を選択（決定）する。例えば、図１を参照して説明したようにパノラマ画像を素材画像１１として使用するときには、前景画像１２は１つのみであるので、前景選択処理部３４は、その前景画像１２を選択する。また、例えば、図４を参照して後述するように、動画像を素材画像１１として使用するときには、前景選択処理部３４は、素材画像１１に写されている複数の前景画像１２の中から、合成画像１６に合成する前景画像１２を選択する。

後景抽出部３５は、分離部３２から供給された後景画像１３に対して、決定処理部３３による決定に従って表示領域１４を設定し、表示領域１４に基づいて後景画像１３から表示後景画像１５を抽出して合成部３６に供給する。

このとき、後景抽出部３５は、カウント処理部３１によるカウント値Ｔに応じた位置に表示領域１４を設定する。即ち、後景抽出部３５は、カウント値Ｔ（０）に応じて、決定処理部３３によって決定された最初の位置に表示領域１４を設定し、カウント値Ｔ（ｎ）に応じて、決定処理部３３によって決定された最後の位置に表示領域１４を設定する。そして、後景抽出部３５は、例えば、表示領域１４の最初の位置から最後の位置までの間を総フレーム数ｎで均等に分割したｉ番目の位置に、カウント値Ｔ（ｉ）に応じた表示領域１４を設定する。

即ち、後景抽出部３５は、カウント値Ｔ（ｉ）に応じて設定した表示領域１４に基づいて、後景画像１３から表示後景画像１５Ｔ（ｉ）を抽出し、表示後景画像１５Ｔ（ｉ）を合成部３６に供給する。

合成部３６は、前景選択処理部３４から供給される前景画像１２を、後景抽出部３５から供給される後景画像１３Ｔ（ｉ）に重畳するように合成して、合成画像１６Ｔ（ｉ）を生成する。そして、合成部３６は、生成した合成画像１６Ｔ（ｉ）をメモリ２２に供給して保存させる。

このように画像処理装置２１は構成されており、後景抽出部３５が、カウント値Ｔ（０）乃至Ｔ（ｎ）に応じて表示後景画像１５Ｔ（０）乃至１５Ｔ（ｎ）を合成部３６に供給し、合成部３６が、合成画像１６Ｔ（０）乃至１６Ｔ（ｎ）からなる動画像を生成（合成）する。従って、メモリ２２から合成画像１６Ｔ（０）乃至１６Ｔ（ｎ）を順次読み出して再生することにより、前景画像１２の気球が静止したまま、後景画像１３の風景だけが移動するような再生効果を得ることができる。

次に、図３のフローチャートを参照して、画像処理装置２１による画像処理について説明する。

例えば、画像処理装置２１に素材画像１１が供給されると処理が開始され、ステップＳ１１において、分離部３２は、素材画像１１を前景画像１２と後景画像１３とに分離して、前景画像１２を前景選択処理部３４に供給し、後景画像１３を後景抽出部３５に供給する。

ステップＳ１２において、カウント処理部３１は、合成画像１６のフレーム数を数えるためのカウント値Ｔ（ｉ）を初期化し、カウント値Ｔ（ｉ）に０をセットする。

ステップＳ１３において、決定処理部３３は、後景画像１３に対して設定される表示領域１４のサイズおよび位置を決定する。例えば、静止画像が素材とされている場合、決定処理部３３は、後景画像１３のサイズよりも小さくなるように表示領域１４のサイズを決定する。

ステップＳ１４において、カウント処理部３１は、現在のカウント値Ｔ（ｉ）が総フレーム数ｎ未満であるか否かを判定し、現在のカウント値Ｔ（ｉ）が総フレーム数ｎ未満である（ｉ＜ｎ）と判定した場合には、処理はステップＳ１５に進む。即ち、カウント処理部３１は、現在のカウント値Ｔ（ｉ）と総フレーム数ｎとを比較し、現在のカウント値Ｔ（ｉ）において生成される合成画像１６Ｔ（ｉ）が、総フレーム数ｎに対応して生成される合成画像１６Ｔ（ｎ）に達していない場合には処理を継続させる。

ステップＳ１５において、前景選択処理部３４は、合成画像１６において前景として使用する前景画像１２を決定する。

ステップＳ１６において、後景抽出部３５は、後景画像１３に対して、ステップＳ１３で決定処理部３３によって決定されたサイズの表示領域１４を、現在のカウント値Ｔ（ｉ）に対応する位置に設定する。そして、後景抽出部３５は、表示領域１４に従って後景画像１３から表示後景画像１５Ｔ（ｉ）を抽出して合成部３６に供給する。

ステップＳ１７において、合成部３６は、ステップＳ１５で前景選択処理部３４により選択された前景画像１２を、ステップＳ１６で後景抽出部３５が後景画像１３から抽出した表示後景画像１５Ｔ（ｉ）に合成して合成画像１６Ｔ（ｉ）を生成する。

ステップＳ１８において、合成部３６は、ステップＳ１７で生成した合成画像１６Ｔ（ｉ）をメモリ２２に供給して保存させる。

ステップＳ１９において、カウント処理部３１は、カウント値Ｔ（ｉ）を１だけインクリメントして、処理はステップＳ１４に戻り、以下、同様の処理が繰り返して行われる。

その後、ステップＳ１４において、カウント処理部３１が、現在のカウント値Ｔ（ｉ）が総フレーム数ｎ未満でないと判定した場合、即ち、現在のカウント値Ｔ（ｉ）が総フレーム数ｎ以上である（ｉ≧ｎ）と判定した場合、処理は終了される。

以上のように、画像処理装置２１は、素材画像１１として静止画像（例えば、パノラマ画像）が供給されたとき、静止画像の風景が移動しつつ、撮像物が常に写されているように再生可能な合成画像１６を生成することができる。つまり、メモリ２２から合成画像１６Ｔ（０）乃至１６Ｔ（ｎ）を順次読み出して再生することにより、前景画像１２の気球が静止したまま、後景画像１３の風景だけが移動するような、より新しい再生効果を得ることができる。

つまり、画像処理装置２１は、素材画像１１から分離された前景画像１２および後景画像１３を使用するので、重畳する前景画像１２と、重畳される後景画像１３に関連性があり、かつ、合成画像１６において後景画像１３の表示される位置が動くことによって、従来の再生効果とは異なる新しい再生効果を実現することができる。

なお、画像処理装置２１は、図１を参照して説明したような静止画像を素材画像１１とした画像処理を行う他、動画像を素材画像１１として画像処理を行うことができる。以下適宜、上述したような静止画像を素材画像１１とした画像処理を第１の画像処理と称する。

次に、図４を参照して、画像処理装置２１において動画像を素材画像１１として使用する第２の画像処理について説明する。

図４の最上段には、画像処理を行う素材となる動画像を構成する素材画像１１Ｔ（０）乃至１１Ｔ（ｈ）が示されている。そして、素材画像１１Ｔ（０）乃至１１Ｔ（ｈ）に対して前景および後景が定義され、前景画像と後景画像とに分離される。

例えば、図４の上から２段目に示すように、素材画像１１Ｔ（０）乃至１１Ｔ（ｂ）に写されている気球が前景画像１２Ｔ（０）乃至１２Ｔ（ｂ）として定義される。また、素材画像１１Ｔ（０）乃至１１Ｔ（ｈ）に写されている風景が後景画像１３Ｔ（０）乃至１３Ｔ（ｈ）として定義される。そして、気球が写されている素材画像１１Ｔ（０）乃至１１Ｔ（ｂ）が、前景画像１２Ｔ（０）乃至１２Ｔ（ｂ）と後景画像１３Ｔ（０）乃至１３Ｔ（ｂ）とに分離される。なお、気球が写されていない素材画像１１Ｔ（ｃ）乃至１１Ｔ（ｈ）は、そのまま後景画像１３Ｔ（ｃ）乃至１３Ｔ（ｈ）として使用される。

また、表示領域１４は、後景画像１３Ｔ（０）乃至１３Ｔ（ｈ）と同じサイズに決定され、後景画像１３Ｔ（０）乃至１３Ｔ（ｈ）それぞれの全領域が表示される。

そして、前景画像１２Ｔ（０）乃至１２Ｔ（ｂ）が、後景画像１３Ｔ（０）乃至１３Ｔ（ｈ）に重畳するように合成される。ここで、後景画像１３Ｔ（ｃ）乃至１３Ｔ（ｈ）に対しては、前景画像１２Ｔ（０）乃至１２Ｔ（ｂ）のうちの最後の前景画像１２Ｔ（ｂ）が合成される。つまり、前景画像１２Ｔ（ｂ）が静止画的に用いられる。なお、後景画像１３Ｔ（ｃ）乃至１３Ｔ（ｈ）に対して重畳する前景画像１２Ｔ（ｂ）の位置が適宜移動するようにしてもよい。

これにより、図４の上から３段目に示すように、後景画像１３Ｔ（ｃ）乃至１３Ｔ（ｈ）に対して前景画像１２が常に配置される合成画像１６Ｔ（０）乃至１６Ｔ（ｈ）が生成される。

また、第２の画像処理の変形例として、前景画像１２Ｔ（０）乃至１２Ｔ（ｂ）のうちの、撮像物の写りが最も良好なものを、後景画像１３Ｔ（ｃ）乃至１３Ｔ（ｈ）に対して合成するようにしてもよい。撮像物の写りが最も良好とする判断基準としては、例えば、ぶれていないもの、笑顔度合の高いもの、目つぶりしていないもの、明るさが十分なものなどが条件として用いられる。また、前景画像１２そのものの情報や、前景画像１２に付加された情報を用いて、撮像物の写りが最も良好なものを自動的に選択、または、ユーザが選択してもよい。

なお、後景画像１３Ｔ（ｃ）乃至１３Ｔ（ｈ）は固定的ではなく、つまり、素材画像１１Ｔ（０）乃至１１Ｔ（ｂ）において背景が動いているため、第２の画像処理において、動的な背景に対して静止的な撮像物が写されているような再生効果を得ることができる。

ここで、図５には、素材画像１１Ｔ（０）乃至１１Ｔ（ｈ）を平面的に配置して表示される画像が示されている。

図５に示されている画像１７は、素材画像１１Ｔ（０）乃至１１Ｔ（ｈ）をマッチングさせて合致する領域を重ね合わせるように合成することで生成される。なお、図５に示すような、動画像を構成する複数枚の画像から十分に画角の大きな画像１７を生成する技術については、例えば、本願出願人により出願済みの特開２００９−０７７３６３号公報に詳細に開示されている。

後景画像１３Ｔ（０）乃至１３Ｔ（ｈ）は、撮像位置が固定されていない動画像であるが、後景画像１３Ｔ（０）乃至１３Ｔ（ｈ）を用いることで、画像１７のような十分に画角の大きな画像を生成することができる。なお、動画像を構成する複数枚の画像から画像１７を生成する他、連写した静止画像を素材として画像１７を作成してもよい。

次に、図６のフローチャートを参照して、画像処理装置２１による第２の画像処理について説明する。

例えば、画像処理装置２１に動画像を構成する素材画像１１Ｔ（０）乃至１１Ｔ（ｈ）が供給されると処理が開始される。ステップＳ２１において、分離部３２は、気球が写されている素材画像１１Ｔ（０）乃至１１Ｔ（ｂ）を、前景画像１２Ｔ（０）乃至１２Ｔ（ｂ）と後景画像１３Ｔ（０）乃至１３Ｔ（ｂ）とに分離する。そして、分離部３２は、前景画像１２Ｔ（０）乃至１２Ｔ（ｂ）を前景選択処理部３４に供給し、後景画像１３Ｔ（０）乃至１３Ｔ（ｂ）を後景抽出部３５に供給する。また、分離部３２は、気球が写されていない素材画像１１Ｔ（ｃ）乃至１１Ｔ（ｈ）を、そのまま後景画像１３Ｔ（ｃ）乃至１３Ｔ（ｈ）として後景抽出部３５に供給する。

ステップＳ２２において、カウント処理部３１は、合成画像１６のフレーム数を数えるためのカウント値Ｔ（ｉ）を初期化し、カウント値Ｔ（ｉ）に０をセットする。

ステップＳ２３において、決定処理部３３は、後景画像１３Ｔ（０）乃至１３Ｔ（ｈ）に対して設定される表示領域１４のサイズおよび位置を決定する。例えば、動画像が素材とされている場合、決定処理部３３は、後景画像１３Ｔ（０）乃至１３Ｔ（ｈ）に一致するように、即ち、後景画像１３Ｔ（０）乃至１３Ｔ（ｈ）それぞれの全領域が表示されるように表示領域１４のサイズおよび位置を決定する。

ステップＳ２４において、カウント処理部３１は、現在のカウント値Ｔ（ｉ）が総フレーム数ｈ未満であるか否かを判定し、現在のカウント値Ｔ（ｉ）が総フレーム数ｈ未満である（ｉ＜ｈ）と判定した場合には、処理はステップＳ２５に進む。

ステップＳ２５において、前景選択処理部３４は、現在のカウント値Ｔ（ｉ）に従った処理対象の素材画像１１Ｔ（ｉ）に前景画像１２Ｔ（ｉ）とする撮像物が写っているか否かを判定する。例えば、ステップＳ２１において、素材画像１１Ｔ（ｉ）が前景画像１２Ｔ（ｉ）と後景画像１３Ｔ（ｉ）との分離されている場合、前景選択処理部３４は、処理対象の素材画像１１Ｔ（ｉ）に前景画像１２Ｔ（ｉ）とする撮像物が写っていると判定する。

ステップＳ２５において、前景選択処理部３４が、処理対象の素材画像１１Ｔ（ｉ）に前景画像１２Ｔ（ｉ）とする撮像物が写っていると判定した場合、処理はステップＳ２６に進む。ステップＳ２６において、前景選択処理部３４は、処理対象の素材画像１１Ｔ（ｉ）に写されている撮像物、即ち、素材画像１１Ｔ（ｉ）から分離された前景画像１２Ｔ（ｉ）を選択して、合成画像１６Ｔ（ｉ）に合成するものとして決定する。

ステップＳ２７において、後景抽出部３５は、表示領域１４に従って後景画像１３Ｔ（ｉ）から表示後景画像１５Ｔ（ｉ）を抽出して合成部３６に供給する。なお、第２の画像処理では、ステップＳ２３において、表示領域１４は後景画像１３Ｔ（ｉ）に一致するように決定される。このため、後景抽出部３５は、後景画像１３Ｔ（ｉ）の全領域を表示後景画像１５Ｔ（ｉ）として、後景画像１３Ｔ（ｉ）をそのまま表示後景画像１５Ｔ（ｉ）として合成部３６に供給する。

ステップＳ２８において、合成部３６は、ステップＳ２６で前景選択処理部３４により選択された前景画像１２Ｔ（ｉ）を、ステップＳ２７で後景抽出部３５から供給された表示後景画像１５Ｔ（ｉ）に合成して合成画像１６Ｔ（ｉ）を生成する。

ステップＳ２９において、合成部３６は、ステップＳ２８で生成した合成画像１６Ｔ（ｉ）をメモリ２２に供給して保存させる。

ステップＳ３０において、カウント処理部３１は、カウント値Ｔ（ｉ）を１だけインクリメントして、処理はステップＳ２４に戻り、以下、同様の処理が繰り返して行われる。

一方、ステップＳ２５において、前景選択処理部３４が、処理対象の素材画像１１Ｔ（ｉ）に前景画像１２Ｔ（ｉ）とする撮像物が写っていないと判定した場合、処理はステップＳ３１に進む。

ステップＳ３１において、前景選択処理部３４は、処理対象の素材画像１１Ｔ（ｉ）よりも以前の素材画像１１Ｔ（０）乃至１１Ｔ（ｉ−１）において、前景画像１２が分離されていたか否かを判定する。

ステップＳ３１において、前景選択処理部３４が、処理対象の素材画像１１Ｔ（ｉ）よりも以前の素材画像１１Ｔ（０）乃至１１Ｔ（ｉ−１）において、前景画像１２が分離されていたと判定した場合、処理はステップＳ３２に進む。ステップＳ３２において、前景選択処理部３４は、素材画像１１Ｔ（０）乃至１１Ｔ（ｉ−１）から分離されていた前景画像１２のうちの、直前の素材画像１１から分離された前景画像１２を、合成画像１６Ｔ（ｉ）に合成するものとして決定する。

ステップＳ３２の処理後、処理はステップＳ２７に進み、以下、上述した処理が行われる。

一方、ステップＳ３１において、前景選択処理部３４が、処理対象の素材画像１１Ｔ（ｉ）よりも以前の素材画像１１Ｔ（０）乃至１１Ｔ（ｉ−１）において、前景画像１２が分離されていないと判定した場合、合成画像１６Ｔ（ｉ）に合成する前景画像１２は選択されずに、処理はステップＳ２７に進み、以下、上述した処理が行われる。即ち、この場合、前景画像１２とする撮像物は写されていないため、前景画像１２を合成しない例外処理が行われる。

その後、ステップＳ２４において、カウント処理部３１が、現在のカウント値Ｔ（ｉ）が総フレーム数ｈ未満でないと判定した場合、即ち、現在のカウント値Ｔ（ｉ）が総フレーム数ｈ以上である（ｉ≧ｈ）と判定した場合、処理は終了される。

以上のように、画像処理装置２１は、素材画像１１として動画像が供給されたとき、動画像の背景に対して撮像物が常に写されているように再生可能な合成画像１６を生成することができる。つまり、メモリ２２から合成画像１６Ｔ（０）乃至１６Ｔ（ｈ）を順次読み出して再生することにより、前景画像１２の気球が常に表示され、後景画像１３の風景だけが移動するような、より新しい再生効果を得ることができる。

なお、画像処理装置２１は、上述したように、前景画像１２Ｔ（０）乃至１２Ｔ（ｂ）のうちの撮像物の写りが最も良好なものを、後景画像１３Ｔ（ｃ）乃至１３Ｔ（ｈ）に対して合成するようにしてもよい。

即ち、図７のフローチャートを参照して、画像処理装置２１による第２の画像処理の変形例について説明する。なお、図７のフローチャートは、図６のステップＳ２４の後からステップＳ２７より前までの間で行われる。

即ち、図６のステップＳ２４において、カウント処理部３１が、現在のカウント値Ｔ（ｉ）が総フレーム数ｈ未満である（ｉ＜ｈ）と判定した場合、処理はステップＳ４１に進む。

ステップＳ４１において、図６のステップＳ２５と同様に、前景選択処理部３４は、現在のカウント値Ｔ（ｉ）に従った処理対象の素材画像１１Ｔ（ｉ）に前景画像１２Ｔ（ｉ）とする撮像物が写っているか否かを判定する。

ステップＳ４１において、前景選択処理部３４が、処理対象の素材画像１１Ｔ（ｉ）に前景画像１２Ｔ（ｉ）とする撮像物が写っていると判定した場合、処理はステップＳ４２に進む。ステップＳ４２において、前景選択処理部３４は、合成画像１６Ｔ（ｉ）に合成する候補とした前景画像１２があるか否かを判定する。

ステップＳ４２において、前景選択処理部３４が、合成画像１６Ｔ（ｉ）に合成する候補とした前景画像１２があると判定した場合、処理はステップＳ４３に進む。ステップＳ４３において、前景選択処理部３４は、処理対象の素材画像１１Ｔ（ｉ）に写されている前景画像１２Ｔ（ｉ）の撮像物は、候補とした前景画像１２の撮像物よりも優れているか否か、即ち、写りが良好であるか否かを判定する。

ステップＳ４３において、処理対象の素材画像１１Ｔ（ｉ）に写されている前景画像１２Ｔ（ｉ）の撮像物が、候補とした前景画像１２の撮像物よりも優れていないと判定された場合、処理はステップＳ４４に進む。ステップＳ４４において、前景選択処理部３４は、候補とした前景画像１２を合成画像１６Ｔ（ｉ）に合成するとして選択する。

一方、ステップＳ４３において、処理対象の素材画像１１Ｔ（ｉ）に写されている前景画像１２Ｔ（ｉ）の撮像物が、候補とした前景画像１２の撮像物よりも優れていると判定された場合、または、ステップＳ４２において、合成画像１６Ｔ（ｉ）に合成する候補とした前景画像１２がないと判定された場合、処理はステップＳ４５に進む。ステップＳ４５において、前景選択処理部３４は、処理対象の素材画像１１Ｔ（ｉ）に写されている前景画像１２Ｔ（ｉ）を合成画像１６Ｔ（ｉ）に合成するとして選択する。

そして、ステップＳ４４またはＳ４５の処理後、或いは、ステップＳ４１において、処理対象の素材画像１１Ｔ（ｉ）に前景画像１２Ｔ（ｉ）とする撮像物が写っていないと判定された場合、処理は図６の２７に進む。

以上のように、画像処理装置２１は、処理対象の素材画像１１Ｔ（ｉ）に写されている前景画像１２Ｔ（ｉ）の撮像物と、候補とした前景画像１２の撮像物とを比較して、より優れている被写体の前景画像１２を使用して合成画像１６を生成することができる。

次に、図８を参照して、画像処理装置２１において実行される第３の画像処理について説明する。

図８の最上段には、動画像を構成する先頭のフレームが素材画像１１として示されている。また、図８の上から２段目においてハッチングで示される領域のように、素材画像１１に写されている人物および自転車が前景画像１２とされ、素材画像１１から分離される。また、図８の上から３段目においてハッチングで示される領域のように、素材画像１１に写されている風景が後景画像１３として、素材画像１１から分離される。また、第２の画像処理と同様に、表示領域１４は、後景画像１３と同じサイズに決定され、後景画像１３の全領域が表示される。

そして、第３の画像処理においては、前景画像１２と後景画像１３との両方が動くように、かつ、前景画像１２および後景画像１３が固定の座標に表示されるように合成画像が生成される。このとき、例えば、後景画像１３の再生速度の倍率を変更することで、後景画像１３の時間の流れが、前景画像１２と異なるような再生効果を得ることができる。例えば、前景画像１２を素材画像１１と等倍の再生速度で再生するとともに、後景画像１３を素材画像１１の２倍の再生速度で再生すると、前景画像１２が、２倍の速度で移動しているように、後景画像１３が移動する合成画像が生成される。

次に、図９のフローチャートを参照して、画像処理装置２１による第３の画像処理について説明する。

例えば、画像処理装置２１に動画像を構成する最初のフレームが素材画像１１として供給されると処理が開始される。ステップＳ５１において、分離部３２は、素材画像１１を前景画像１２と後景画像１３とに分離し、前景画像１２を前景選択処理部３４に供給し、後景画像１３を後景抽出部３５に供給する処理を開始する。また、分離部３２には、動画像を構成するフレームが順次供給され、分離部３２は、それらのフレームを素材画像１１として順次分離する。

ステップＳ５２において、カウント処理部３１は、合成画像１６のフレーム数を数えるためのカウント値Ｔ（ｉ）を初期化し、カウント値Ｔ（ｉ）に０をセットする。

ステップＳ５３において、決定処理部３３は、出力する動画像の総フレーム数Ｎを決定し、ステップＳ５４において、表示後景画像１５（表示領域１４が、後景画像１３と同じサイズに決定されている場合は後景画像１３の全領域）の再生倍率ａを決定する。なお、総フレーム数Ｎおよび再生倍率ａは、例えば、ユーザが得たい再生効果に基づいて入力し、その入力に従って決定してもよい。

ステップＳ５５において、カウント処理部３１は、現在のカウント値Ｔ（ｉ）が総フレーム数Ｎ未満であるか否かを判定し、現在のカウント値Ｔ（ｉ）が総フレーム数Ｎ未満である（ｉ＜Ｎ）と判定した場合には、処理はステップＳ５６に進む。

ステップＳ５６において、前景選択処理部３４は、現在のカウント値Ｔ（ｉ）に従った素材画像１１Ｔ（ｉ）から分離された前景画像１２Ｔ（ｉ）を選択して、合成画像１６Ｔ（ｉ）に合成するものとして決定する。

ステップＳ５７において、後景抽出部３５は、現在のカウント値Ｔ（ｉ）に再生倍率ａを乗算した値に従った素材画像１１Ｔ（ｉ×ａ）から分離された後景画像１３Ｔ（ｉ×ａ）を選択して、合成画像１６Ｔ（ｉ）に合成するものとして決定する。

ステップＳ５８において、合成部３６は、ステップＳ５６で前景選択処理部３４により決定された前景画像１２Ｔ（ｉ）を、ステップＳ５７で後景抽出部３５により決定された後景画像１３Ｔ（ｉ×ａ）に合成して合成画像１６Ｔ（ｉ）を生成する。このとき、合成部３６は、前景画像１２Ｔ（ｉ）を後景画像１３Ｔ（ｉ×ａ）に重畳する位置を、毎回同じ位置に固定する。

ステップＳ５９において、合成部３６は、ステップＳ５８で生成した合成画像１６Ｔ（ｉ）をメモリ２２に供給して保存させ、動画像を合成する。

ステップＳ６０において、カウント処理部３１は、カウント値Ｔ（ｉ）を１だけインクリメントして、処理はステップＳ５５に戻り、以下、同様の処理が繰り返して行われる。

その後、ステップＳ５５において、カウント処理部３１が、現在のカウント値Ｔ（ｉ）が総フレーム数Ｎ未満でないと判定した場合、即ち、現在のカウント値Ｔ（ｉ）が総フレーム数Ｎ以上である（ｉ≧Ｎ）と判定した場合、処理は終了される。

以上のように、画像処理装置２１は、素材画像１１として動画像が供給されたとき、再生倍率ａで再生される背景に対して、等倍の再生速度で再生される撮像物が常に写されているように再生可能な合成画像を生成することができる。つまり、メモリ２２から合成画像１６を構成するフレームを順次読み出して再生することにより、背景だけが早送りされているような再生効果を得ることができる。

ここで、後景画像１３の再生倍率ａは、素材として使用される動画像の再生速度に対する倍率であり、その倍率は整数倍に限定されるものではない。また、後景画像１３の再生倍率ａとして１未満の値が決定された場合には、後景画像１３は前景画像１２の再生速度以下で再生されることになり、いわゆるスロー再生のような再生効果が得られる。また、後景画像１３を等倍の再生速度とし、前景画像１２を再生倍率ａの再生速度としてもよい。即ち、前景画像１２および後景画像１３それぞれに対して再生速度を設定して、それぞれの再生速度で再生されるように合成画像が生成される。

なお、上述した第１乃至第３の画像処理は、一部の例であり、後景を固定した状態で前景だけを動かすような合成画像１６を生成したり、前景を固定した状態で後景だけを動かすような合成画像１６を生成してもよい。また、前景および後景それぞれが独自に動くような合成画像１６を生成してもよい。

次に、図１０は、画像処理装置２１を備えるデジタルビデオカメラの構成例を示すブロック図である。

図１０に示すように、デジタルビデオカメラ４１は、図２の画像処理装置２１およびメモリ２２の他、撮像部４２、ベースバンド処理部４３、スイッチ４４、信号出力I/F（Interface）４５、表示系I/F４６、エンコーダ４７、記録処理部４８、スイッチ４９、記録部５０、読み出し処理部５１、デコーダ５２、操作系I/F５３、およびシステム制御部５４を備えて構成される。

撮像部４２により撮像された画像は、ベースバンド処理部４３においてベースバンド処理が施されて、スイッチ４４を介して、画像処理装置２１に供給されたり、信号出力I/F４５および表示系I/F４６を介して出力される。上述したような画像処理を施す場合には、画像処理装置２１に画像が供給され、画像処理装置２１は、その画像を素材画像１１として画像処理を施す。

画像処理装置２１は、画像処理の結果得られる合成画像１６を、信号出力I/F４５を介して外部の装置に出力したり、表示系I/F４６を介して表示装置（図示せず）に表示させたりする。また、画像処理装置２１は、合成画像１６をエンコーダ４７に供給して符号化させ、エンコーダ４７により符号化された合成画像１６は、記録処理部４８によりスイッチ４９を介して記録部５０に記録される。

また、記録部５０に記録されている画像を、スイッチ４９を介して読み出し処理部５１が読み出して、その画像をデコーダ５２に供給して復号させてベースバンド処理部４３に供給させる。そして、その画像が、スイッチ４４を介して画像処理装置２１に供給されると、画像処理装置２１は、供給された画像を素材画像１１として画像処理を施す。

また、図示しない操作部に対するユーザの操作が、操作系I/F５３を介してシステム制御部５４に供給され、システム制御部５４は、ユーザの操作に従って、デジタルビデオカメラ４１を構成する各ブロックに対する制御を行う。

このように構成されるデジタルビデオカメラ４１では、撮像部４２により撮像された画像、または、記録部５０に既に記録されている画像を素材画像１１として画像処理装置２１が、上述したような画像処理を施すことができる。

また、本技術は、デジタルビデオカメラ４１の他、カメラを有する携帯端末に適用することができ、画像処理装置２１が実行する画像処理をアプリケーションとして携帯端末に提供して、携帯端末で画像処理を実行することができる。または、携帯端末が記録した画像を、ネットワークを介して図示しないアプリケーションサーバ（コンピュータ）に送信し、アプリケーションサーバで実行された画像処理の結果を、携帯端末が受信して再生するようにしてもよい。

なお、上述のフローチャートを参照して説明した各処理は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。また、プログラムは、１のCPUにより処理されるものであっても良いし、複数のCPUによって分散処理されるものであっても良い。

また、上述した一連の処理（情報処理方法）は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラムが記録されたプログラム記録媒体からインストールされる。

図１１は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。

コンピュータにおいて、CPU（Central Processing Unit）１０１，ROM（Read Only Memory）１０２，RAM（Random Access Memory）１０３は、バス１０４により相互に接続されている。

バス１０４には、さらに、入出力インタフェース１０５が接続されている。入出力インタフェース１０５には、キーボード、マウス、マイクロホンなどよりなる入力部１０６、ディスプレイ、スピーカなどよりなる出力部１０７、ハードディスクや不揮発性のメモリなどよりなる記憶部１０８、ネットワークインタフェースなどよりなる通信部１０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア１１１を駆動するドライブ１１０が接続されている。

以上のように構成されるコンピュータでは、CPU１０１が、例えば、記憶部１０８に記憶されているプログラムを、入出力インタフェース１０５及びバス１０４を介して、RAM１０３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ（CPU１０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア１１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。

そして、プログラムは、リムーバブルメディア１１１をドライブ１１０に装着することにより、入出力インタフェース１０５を介して、記憶部１０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１０９で受信し、記憶部１０８にインストールすることができる。その他、プログラムは、ROM１０２や記憶部１０８に、あらかじめインストールしておくことができる。

なお、本技術は以下のような構成も取ることができる。
（１）
素材画像に写されている撮像物に応じて、前記素材画像を前景画像と後景画像とに分離する分離部と、
前記後景画像に対して表示の対象とする領域を規定する表示領域を設定して、前記表示領域に従って前記後景画像の一部を抽出する抽出部と、
前記抽出部により抽出された前記後景画像に対して、前記前景画像を合成する合成部と
を備える画像処理装置。
（２）
前記素材画像は静止画像であるとき、前記抽出部は、前記後景画像に対して前記表示領域を移動させながら前記後景画像の一部を前記表示後景画像として抽出し、
前記合成部は、抽出される前記表示後景画像を前記前景画像と合成する
上記（１）に記載の画像処理装置。
（３）
前記素材画像が動画像であるとき、前記動画像を構成する複数枚の静止画像から分離された複数の前記前景画像に基づいて、前記表示後景画像と合成する前記前景画像を決定する決定部をさらに備える
上記（１）または（２）に記載の画像処理装置。
（４）
前記決定部は、前記素材画像の動画像において前記前景画像とした前記撮像物が写されなくなったとき、最後に写されていた撮像物の前記前景画像を、前記表示後景画像と合成する前記前景画像として決定する
上記（１）から（３）までのいずれかに記載の画像処理装置。
（５）
前記決定部は、前記表示後景画像と合成する前記前景画像として、前記撮像物の写りの良好な前記前景画像を選択する
上記（１）から（４）までのいずれかに記載の画像処理装置。
（６）
前記素材画像が動画像であるとき、前記動画像を構成する複数枚の静止画像から分離された複数の前記前景画像および複数の前記表示後景画像それぞれに対し、前記前景画像および前記後景画像にそれぞれ設定された再生速度に従って、それぞれ合成する前記前景画像および前記後景画像を決定する決定部をさらに備える
上記（１）から（５）までのいずれかに記載の画像処理装置。

なお、本実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。

１１ 素材画像， １２ 前景画像， １３ 後景画像， １４ 表示領域， １５ 表示後景画像， １６ 合成画像， ２１ 画像処理装置， ２２ メモリ， ３１ カウント処理部， ３２ 分離部， ３３ 決定処理部， ３４ 前景選択処理部， ３５ 後景抽出部， ３６ 合成部

Claims (8)

1. 素材画像に写されている撮像物に応じて、前記素材画像を前景画像と後景画像とに分離する分離部と、
   前記後景画像に対して表示の対象とする領域を規定する表示領域を設定して、前記表示領域に従って表示後景画像を抽出する抽出部と、
   前記抽出部により抽出された前記表示後景画像と、前記前景画像に基づいて、動画像を合成する合成部と
   を備える画像処理装置。
2. 前記素材画像は静止画像であるとき、前記抽出部は、前記後景画像に対して前記表示領域を移動させながら前記後景画像の一部を前記表示後景画像として抽出し、
   前記合成部は、抽出される前記表示後景画像を前記前景画像と合成する
   請求項１に記載の画像処理装置。
3. 前記素材画像が動画像であるとき、前記動画像を構成する複数枚の静止画像から分離された複数の前記前景画像に基づいて、前記表示後景画像と合成する前記前景画像を決定する決定部をさらに備える
   請求項１に記載の画像処理装置。
4. 前記決定部は、前記素材画像の動画像において前記前景画像とした前記撮像物が写されなくなったとき、最後に写されていた撮像物の前記前景画像を、前記表示後景画像と合成する前記前景画像として決定する
   請求項３に記載の画像処理装置。
5. 前記決定部は、前記表示後景画像と合成する前記前景画像として、前記撮像物の写りの良好な前記前景画像を選択する
   請求項３に記載の画像処理装置。
6. 前記素材画像が動画像であるとき、前記動画像を構成する複数枚の静止画像から分離された複数の前記前景画像および複数の前記表示後景画像それぞれに対し、前記前景画像および前記後景画像にそれぞれ設定された再生速度に従って、それぞれ合成する前記前景画像および前記後景画像を決定する決定部をさらに備える
   請求項１に記載の画像処理装置。
7. 素材画像に写されている撮像物に応じて、前記素材画像を前景画像と後景画像とに分離し、
   前記後景画像に対して表示の対象とする領域を規定する表示領域を設定して、前記表示領域に従って表示後景画像を抽出し、
   抽出された前記表示後景画像と、前記前景画像に基づいて、動画像を合成する
   ステップを含む画像処理方法。
8. 素材画像に写されている撮像物に応じて、前記素材画像を前景画像と後景画像とに分離し、
   前記後景画像に対して表示の対象とする領域を規定する表示領域を設定して、前記表示領域に従って表示後景画像を抽出し、
   抽出された前記表示後景画像と、前記前景画像に基づいて、動画像を合成する
   ステップを含む画像処理をコンピュータに実行させるプログラム。

Images