JP5402166B2 - 画像合成装置及びプログラム - Google Patents

Description

本発明は、複数の画像を合成する画像合成装置及びプログラムに関する。

従来、合成用画像と背景用画像やフレーム画像を合成することにより合成画像を生成する技術が知られている（例えば、特許文献１参照）。

特開２００４−１５９１５８号公報

しかしながら、背景用画像が動画像の場合、当該背景用画像に対する合成用の静止画像の合成位置を設定しても、合成用の静止画像が最初に設定された合成位置に固定された状態の動画像が単に生成されるに過ぎず、興趣に欠ける画像となってしまう。

そこで、本発明の課題は、合成された静止画像に動きを与えることができ、興趣性の高い画像を生成することができる画像合成装置及びプログラムを提供することである。

上記課題を解決するため、請求項１に記載の発明の画像合成装置は、背景用の動画像及び当該動画像と合成すべき静止画像を取得する取得手段と、この取得手段により取得された動画像における動体を特定する特定手段と、この特定手段によって特定された動体の動き情報を検出する検出手段と、この検出手段によって検出された動き情報に基づいて、前記静止画像を前記背景用の動画像上で動作させるように当該静止画像と前記動画像とを合成して合成動画を生成する合成手段と、を備え、前記合成手段は、前記動画像における前記静止画像の合成位置が当該動画像における動体を含む位置である場合に、前記静止画像を前記動画像中の前記動体の動き情報に応じて変位させるように前記静止画像と前記動画像とを合成することを特徴としている。

請求項２に記載の発明は、請求項１に記載の画像合成装置において、
前記動画像を構成する複数の画像フレームのうち、何れか一の画像フレームにおける前記静止画像の合成位置を指定する指定手段を更に備え、前記合成手段は、前記複数の画像フレームのうち、前記一の画像フレームにおいては、前記指定手段によって指定された合成位置に前記静止画像を合成し、且つ、前記一の画像フレーム以外の各画像フレームにおいては、前記一の画像フレームに合成された前記静止画像に対し前記動体の動きに合わせて変位させるように前記静止画像を合成することを特徴としている。

請求項３に記載の発明は、請求項２に記載の画像合成装置において、
前記合成手段は、前記指定手段によって指定された合成位置が、前記動画像における動体を含む位置であった場合に、前記一の画像フレーム以外の各画像フレームにおいては、前記一の画像フレームに合成された前記静止画像に対し前記動体の動き情報に応じて変位させるように前記静止画像を合成することを特徴としている。

請求項４に記載の発明は、請求項２又は３に記載の画像合成装置において、
前記検出手段は、前記複数の画像フレームのうち、少なくとも一の隣合う画像フレーム間の動体の動き情報を検出し、前記検出手段によって検出された前記少なくとも一の隣合う画像フレーム間の動体の動き情報に基づいて、前記一の画像フレーム以外の各画像フレームにおける前記静止画像の合成位置を設定する合成位置設定手段を更に備えることを特徴としている。

請求項５に記載の発明は、請求項１〜４の何れか一項に記載の画像合成装置において、
前記静止画像は、背景内に被写体が存在する被写体存在画像から被写体が含まれる被写体領域を抽出した画像であることを特徴としている。

請求項６に記載の発明は、請求項１〜５の何れか一項に記載の画像合成装置において、
前記動体の動き情報は、動体の位置の変化情報、大きさの変化情報及び回転角度の変化情報のうち少なくとも１つを含むことを特徴としている。

請求項７に記載の発明のプログラムは、画像合成装置のコンピュータを、背景用の動画像及び当該動画像と合成すべき静止画像を取得する取得手段、この取得手段により取得された動画像における動体を特定する特定手段、この特定手段によって特定された動体の動き情報を検出する検出手段、この検出手段によって検出された動き情報に基づいて、前記静止画像を前記背景用の動画像上で動作させるように当該静止画像と前記動画像とを合成して合成動画を生成する合成制御手段、として機能させ、前記合成手段は、前記動画像における前記静止画像の合成位置が当該動画像における動体を含む位置である場合に、前記静止画像を前記動画像中の前記動体の動き情報に応じて変位させるように前記静止画像と前記動画像とを合成することを特徴としている。

本発明によれば、動画像を背景として合成された静止画像に動きを与えることができ、興趣性の高い合成動画を生成することができる。

本発明を適用した一実施形態の撮像装置の概略構成を示すブロック図である。 図１の撮像装置による被写体切り抜き処理に係る動作の一例を示すフローチャートである。 図２の被写体切り抜き処理に係る画像の一例を模式的に示す図である。 図１の撮像装置による動画像生成処理に係る動作の一例を示すフローチャートである。 図４の動画像生成処理に係る画像の一例を模式的に示す図である。 図１の撮像装置による合成動画生成処理に係る動作の一例を示すフローチャートである。 図６の合成動画生成処理の続きを示す続きのフローチャートである。 図６及び図７の合成動画生成処理の続きを示す続きのフローチャートである。 図６〜図８の合成動画生成処理における画像合成処理に係る動作の一例を示すフローチャートである。 図６〜図８の合成動画生成処理に係る画像の一例を模式的に示す図である。

以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。
図１は、本発明を適用した一実施形態の撮像装置１００の概略構成を示すブロック図である。
本実施形態の撮像装置１００は、背景用の動画像Ｐ４（図５参照）における動体Ｂ（図５参照）の動き情報を検出し、検出された動き情報に基づいて、動体Ｂの動きに合わせて合成用の静止画像Ｐ３の被写体領域Ｓ（図３（ｃ）参照）を所定動作させるように当該静止画像Ｐ３と動画像Ｐ４とを合成して合成動画Ｍ（図１０（ｂ）参照）を生成する。
具体的には、図１に示すように、撮像装置１００は、レンズ部１と、電子撮像部２と、撮像制御部３と、画像データ生成部４と、画像メモリ５と、動き検出部６と、画像処理部７と、記録媒体８と、表示制御部９と、表示部１０と、操作入力部１１と、ＣＰＵ１２とを備えている。
また、撮像制御部３と、動き検出部６と、画像処理部７と、ＣＰＵ１２は、例えば、カスタムＬＳＩ１Ａとして設計されている。

レンズ部１は、複数のレンズから構成され、ズームレンズやフォーカスレンズ等を備えている。
また、レンズ部１は、図示は省略するが、被写体の撮像の際に、ズームレンズを光軸方向に移動させるズーム駆動部、フォーカスレンズを光軸方向に移動させる合焦駆動部等を備えていても良い。

電子撮像部２は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-oxide Semiconductor）等のイメージセンサから構成され、レンズ部１の各種レンズを通過した光学像を二次元の画像信号に変換する。

撮像制御部３は、図示は省略するが、タイミング発生器、ドライバなどを備えている。そして、撮像制御部３は、タイミング発生器、ドライバにより電子撮像部２を走査駆動して、所定周期毎に光学像を電子撮像部２により二次元の画像信号に変換させ、当該電子撮像部２の撮像領域から１画面分ずつ画像フレームを読み出して画像データ生成部４に出力させる。
また、撮像制御部３は、ＡＦ（自動合焦処理）、ＡＥ（自動露出処理）、ＡＷＢ（自動ホワイトバランス）等の被写体を撮像する際の条件の調整制御を行う。

このように構成されたレンズ部１、電子撮像部２及び撮像制御部３は、背景内に被写体が存在する被写体存在画像Ｐ１（図３（ａ）参照）や背景用の動画像Ｐ４（図５参照）を撮像する。
また、レンズ部１、電子撮像部２及び撮像制御部３は、被写体存在画像Ｐ１の撮像後、当該被写体存在画像Ｐ１の撮像の際の撮像条件を固定した状態で、被写体切り抜き画像Ｐ３（図３（ｃ）参照）の生成のための被写体非存在画像Ｐ２（図３（ｂ）参照）を撮像する。

画像データ生成部４は、電子撮像部２から転送された画像フレームのアナログ値の信号に対してＲＧＢの各色成分毎に適宜ゲイン調整した後に、サンプルホールド回路（図示略）でサンプルホールドしてＡ／Ｄ変換器（図示略）でデジタルデータに変換し、カラープロセス回路（図示略）で画素補間処理及びγ補正処理を含むカラープロセス処理を行った後、デジタル値の輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒ（ＹＵＶデータ）を生成する。
カラープロセス回路から出力される輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒは、図示しないＤＭＡコントローラを介して、バッファメモリとして使用される画像メモリ５にＤＭＡ転送される。

画像メモリ５は、例えば、ＤＲＡＭ等により構成され、動き検出部６と、画像処理部７と、ＣＰＵ１２等によって処理されるデータ等を一時記憶する。

動き検出部６は、異なる時間に撮像された複数の画像を用いて、被写体の運動を解析する。具体的には、図１に示すように、動き検出部６は、特徴量演算部６ａと、ブロックマッチング部６ｂとを備えている。

特徴量演算部６ａは、被写体非存在画像Ｐ２を基準として、当該被写体非存在画像Ｐ２から特徴点を抽出する特徴抽出処理を行う。具体的には、特徴量演算部６ａは、被写体非存在画像Ｐ２のＹＵＶデータに基づいて、所定数（或いは、所定数以上)の特徴の高いブロック領域（特徴点）を選択して、当該ブロックの内容をテンプレート（例えば、１６×１６画素の正方形）として抽出する。
ここで、特徴抽出処理とは、多数の候補ブロックから追跡に都合の良い特徴性の高いものを選択する処理である。

ブロックマッチング部６ｂは、被写体非存在画像Ｐ２と被写体存在画像Ｐ１の位置合わせのためのブロックマッチング処理を行う。具体的には、ブロックマッチング部６ｂは、特徴抽出処理にて抽出されたテンプレートが被写体存在画像Ｐ１内のどこに対応するか、つまり、被写体存在画像Ｐ１内にてテンプレートの画素値が最適にマッチする位置（対応領域）を探索する。そして、画素値の相違度の評価値（例えば、差分二乗和（ＳＳＤ）や差分絶対値和（ＳＡＤ）等）が最も良かった被写体非存在画像Ｐ２と被写体存在画像Ｐ１間の最適なオフセットを当該テンプレートの動きベクトルとして算出する。

また、ブロックマッチング部６ｂは、例えば、ユーザによる操作入力部１１の選択決定ボタン１１ｂの所定操作に基づいて、動画像Ｐ４を構成するユーザ所望の任意の基準画像フレーム（例えば、画像フレームｆ３）への被写体切り抜き画像Ｐ３における被写体領域Ｓの合成位置が指定入力されると、当該合成位置をテンプレートとして、当該基準画像フレームと隣合う画像フレーム（例えば、基準画像フレームの１つ前の画像フレームｆ２）内にて当該テンプレートの画素値が最適にマッチする位置（対応領域）を探索する。そして、画素値の相違度の評価値（例えば、差分二乗和（ＳＳＤ）や差分絶対値和（ＳＡＤ）等）が最も良かった基準画像フレームと当該基準画像フレームの１つ前の画像フレームとの間の最適なオフセットを当該テンプレートの動きベクトルとして算出する。そして、算出された複数の動きベクトルの各々について、何れか一の動きベクトルを評価対象として他の動きベクトルと比較して当該評価対象の動きベクトルに対して投票するか否かを決定し、一の画像フレームにおける動体Ｂの動きベクトルを多数決により算出する。
さらに、動体Ｂの動きベクトルが算出された画像フレーム（例えば、画像フレームｆ２）と隣合う画像フレーム（例えば、基準画像フレームの二つ前の画像フレームｆ１）に対しても、上記と同様の処理を行って、当該画像フレームの動体Ｂの動きベクトルを算出する。これらの処理を動画像Ｐ４を構成する基準画像フレーム以外の全ての画像フレーム（例えば、画像フレームｆ１,ｆ２,ｆ４,ｆ５）に対して行うことで、各画像フレームｆ１〜ｆ５における動体Ｂの動きベクトルを算出する。

画像処理部７は、被写体存在画像Ｐ１と被写体非存在画像Ｐ２との位置合わせを行う位置合わせ部７ａを具備している。
位置合わせ部７ａは、被写体非存在画像Ｐ２から抽出した特徴点に基づいて、被写体非存在画像Ｐ２に対する被写体存在画像Ｐ１の各画素の座標変換式（射影変換行列）を算出し、当該座標変換式に従って被写体存在画像Ｐ１を座標変換して被写体非存在画像Ｐ２と位置合わせを行う。

また、画像処理部７は、位置合わせ部７ａにより位置合わせされた被写体存在画像Ｐ１と被写体非存在画像Ｐ２との間で対応する各画素の差分情報を生成し、当該差分情報を基準として被写体存在画像Ｐ１から被写体が含まれる被写体領域Ｓを抽出する被写体領域抽出部７ｂを具備している。

また、画像処理部７は、被写体存在画像Ｐ１内で抽出された被写体領域Ｓの位置を特定して、被写体存在画像Ｐ１における被写体領域Ｓの位置を示す位置情報を生成する位置情報生成部７ｃを具備している。
ここで、位置情報としては、例えば、アルファマップが挙げられ、アルファマップとは、被写体存在画像Ｐ１の各画素について、被写体領域Ｓの画像を所定の背景に対してアルファブレンディングする際の重みをアルファ値（０≦α≦１）として表したものである。

また、画像処理部７は、生成されたアルファマップに基づいて、被写体存在画像Ｐ１の各画素のうち、アルファ値が１の画素を所定の単一色画像（図示略）に対して透過させずに、且つ、アルファ値が０の画素を透過させるように、被写体の画像を所定の単一色画像と合成して被写体切り抜き画像Ｐ３（図３（ｃ）参照）の画像データを生成する切抜画像生成部７ｄを具備している。
これにより、切抜画像生成部７ｄは、背景と被写体とが存在する被写体存在画像Ｐ１から被写体が含まれる領域を切り抜いた被写体切り抜き画像Ｐ３を取得する。

また、画像処理部７は、複数の画像フレームｆ１〜ｆ５からなる動画像Ｐ４と被写体切り抜き画像Ｐ３を合成用の静止画像として取得する取得部７ｅを具備している。
具体的には、取得部７ｅは、合成動画生成処理（後述）にて、記録媒体８に記録されている複数の画像データのうち、ユーザによる操作入力部１１の選択決定ボタン１１ｂの所定操作に基づいて指示された動画像Ｐ４や被写体切り抜き画像Ｐ３の画像データを読み出して画像メモリ５に展開する。

また、画像処理部７は、動画像Ｐ４の各画像フレームｆ１〜ｆ５における被写体切り抜き画像Ｐ３の被写体領域Ｓの合成位置を設定する合成位置設定部７ｆを具備している。
具体的には、ユーザによる操作入力部１１の選択決定ボタン１１ｂの所定操作に基づいて設定された動画像Ｐ４の基準画像フレーム（例えば、画像フレームｆ３（図１０（ａ）参照））における被写体切り抜き画像Ｐ３の被写体領域Ｓの基準合成位置（例えば、中心座標）が指定されると、合成位置設定部７ｆは、基準画像フレーム中の当該基準合成位置を中心として被写体切り抜き画像Ｐ３が重畳される画像領域を合成領域として設定する。
そして、合成位置設定部７ｆは、動き検出部６により検出された隣合う画像フレーム間（例えば、画像フレームｆ３に対する画像フレームｆ２）の動体Ｂの動きベクトルに基づいて、基準画像フレーム（例えば、画像フレームｆ３（図１０（ａ）参照））以外の各画像フレーム（例えば、画像フレームｆ１,ｆ２,ｆ４,ｆ５）における被写体切り抜き画像Ｐ３の被写体領域Ｓの合成位置を算出する。具体的には、合成位置設定部７ｆは、動き検出部６による各画像フレームｆ１〜ｆ５の動体Ｂの動きベクトルの検出の際に探索された基準となる画像フレーム（例えば、画像フレームｆ３（図１０（ａ）参照））における合成位置の周辺領域に対応する対応領域を、当該動きベクトルの検出に係る画像フレーム（例えば、画像フレームｆ２）における被写体切り抜き画像Ｐ３の被写体領域Ｓの合成位置として特定する。例えば、合成位置設定部７ｆは、動き検出部６による画像フレームｆ２の動体Ｂの動きベクトルの検出結果に基づいて、当該画像フレームｆ２内における被写体切り抜き画像Ｐ３の被写体領域Ｓの合成位置を算出して特定した後、当該画像フレームｆ２中の当該合成位置を中心として被写体切り抜き画像Ｐ３が重畳される画像領域を合成領域として設定する。続けて、合成位置設定部７ｆは、画像フレームｆ２を基準として画像フレームｆ１についても同様の処理を行う。このようにして、動画像Ｐ４の先頭の画像フレームｆ１まで繰り返すことで、基準画像フレーム（例えば、画像フレームｆ３（図１０（ａ）参照））よりも前の画像フレーム（例えば、画像フレームｆ１,ｆ２）について被写体切り抜き画像Ｐ３における被写体領域Ｓの合成位置を設定する。
同様に、合成位置設定部７ｆは、動き検出部６により検出された画像フレームｆ３の一つ後の画像フレームである画像フレームｆ４、また、二つ後の画像フレームである画像フレームｆ５についても、被写体切り抜き画像Ｐ３が重畳される画像領域を合成領域として設定する。
このように、合成位置設定部７ｆは、動き検出部６によって検出された少なくとも一の隣合う画像フレーム（例えば、画像フレームｆ３に対する画像フレームｆ２）間の動体Ｂの動き情報に基づいて、基準画像フレーム（例えば、画像フレームｆ３（図１０（ａ）参照））以外の各画像フレーム（例えば、画像フレームｆ１,ｆ２,ｆ４,ｆ５）における被写体切り抜き画像Ｐ３の被写体領域Ｓの合成位置を設定する。

また、画像処理部７は、被写体切り抜き画像Ｐ３と背景用の動画像Ｐ４を構成する各画像フレームｆ１〜ｆ５とを合成する画像合成部７ｇを具備している。具体的には、画像合成部７ｇは、動画像Ｐ４の各画像フレームｆ１〜ｆ５を背景用画像として指定して、指定された画像フレームｆ１〜ｆ５の各画素のうち、アルファ値が０の画素は透過させ、アルファ値が１の画素は被写体切り抜き画像Ｐ３の対応する画素の画素値で上書きし、さらに、指定された画像フレームｆ１〜ｆ５の各画素のうち、アルファ値が０＜α＜１の画素は１の補数（１−α）を用いて被写体領域Ｓを切り抜いた画像（背景用画像×（１−α））を生成した後、アルファマップにおける１の補数（１−α）を用いて被写体切り抜き画像Ｐ３を生成した際に単一背景色とブレンドした値を計算し、当該値を被写体切り抜き画像Ｐ３から減算し、それを被写体領域Ｓを切り抜いた画像（背景用画像×（１−α））と合成する。

また、画像合成部７ｇは、被写体切り抜き画像Ｐ３の動画像Ｐ４を構成する各画像フレームｆ１〜ｆ５に対する合成を制御する合成制御部７ｈを具備している。即ち、画像合成部７ｇは、合成制御部７ｈの制御下にて、動画像Ｐ４を構成する各画像フレームｆ１〜ｆ５に対する被写体切り抜き画像Ｐ３における被写体領域Ｓの合成位置及び合成領域等を調整して画像合成により複数の画像フレームｇ１〜ｇ５を生成して、当該複数の画像フレームｇ１〜ｇ５からなる合成動画Ｍを生成する。
具体的には、合成制御部７ｈは、合成位置設定部７ｆにより設定された被写体切り抜き画像Ｐ３における被写体領域Ｓの合成位置及び合成領域に基づいて、ユーザによる操作入力部の所定操作に基づいて指定された基準画像フレーム（例えば、画像フレームｆ３）においては、当該基準画像フレームにおけるユーザにより指定された合成位置に被写体領域Ｓを合成させる。そして、合成制御部７ｈは、基準画像フレーム以外の各画像フレームｆ１〜ｆ５においては、当該画像フレームｆ１〜ｆ５に合成された被写体領域Ｓに対し動体Ｂの動きに合わせて変位させるように被写体切り抜き画像Ｐ３を順次合成させる。例えば、図１０（ａ）及び図１０（ｂ）に示すように、基準画像フレームの一つ前の画像フレームｆ２においては、合成制御部７ｈは、合成位置設定部７ｆにより設定された被写体領域Ｓの合成位置に基づいて、被写体領域Ｓを画像フレームｇ３における被写体領域Ｓに対して動体Ｂの動きに合わせて左側に変位させるように被写体切り抜き画像Ｐ３を合成させて合成動画Ｍを構成する画像フレームｇ２を生成する。同様に、基準画像フレームよりも前の他の画像フレーム（例えば、画像フレームｆ１）については、処理対象となる画像フレーム（例えば、画像フレームｆ１）よりも一つ後の画像フレーム（例えば、画像フレームｆ２）における被写体領域Ｓの合成位置に対して動体Ｂの動きに合わせて左側に変位させるようにして合成動画Ｍを構成する画像フレームｇ１を生成する。
また、基準画像フレームの一つ後の画像フレームｆ４においては、合成制御部７ｈは、合成位置設定部７ｆにより設定された被写体領域Ｓの合成位置に基づいて、被写体領域Ｓを画像フレームｇ３における被写体領域Ｓに対して動体Ｂの動きに合わせて右側に変位させるように被写体切り抜き画像Ｐ３を合成させて合成動画Ｍを構成する画像フレームｇ４を生成する。同様に、基準画像フレームよりも後の他の画像フレーム（例えば、画像フレームｆ５）については、処理対象となる画像フレーム（例えば、画像フレームｆ５）よりも一つ前の画像フレーム（例えば、画像フレームｆ４）における被写体領域Ｓの合成位置に対して動体Ｂの動きに合わせて右側に変位させるようにして合成動画Ｍを構成する画像フレームｇ５を生成する。
このようにして、画像合成部７ｇは、動き検出部６により検出された動きベクトルに基づいて、動画像Ｐ４の動体Ｂの動きに合せて被写体切り抜き画像Ｐ３を所定動作させるように当該被写体切り抜き画像Ｐ３と動画像Ｐ４とを合成して合成動画Ｍを生成する。

記録媒体８は、例えば、不揮発性メモリ（フラッシュメモリ）等により構成され、画像処理部７のＪＰＥＧ圧縮部（図示略）により符号化された被写体切り抜き画像Ｐ３の静止画像データを記憶する。
また、被写体切り抜き画像Ｐ３の画像データは、画像処理部７の位置情報生成部７ｃにより生成されたアルファマップと対応付けられて、当該被写体切り抜き画像Ｐ３の画像データの拡張子を「.jpe」として保存されている。

また、記録媒体８は、レンズ部１、電子撮像部２及び撮像制御部３による動体Ｂの撮像により生成された複数の画像フレームｆ、…を画像処理部７の符号化部（図示略）により所定の圧縮形式で符号化した動画像Ｐ４を記憶する。
動画像Ｐ４は、動体Ｂの動きを所定の記録方式（例えば、Ｍｏｔｉｏｎ−ＪＰＥＧ形式）で記録したものであり、例えば、所定の撮像フレームレートで撮像された連続した複数の画像フレーム（例えば、ｎ枚の画像フレーム）ｆ、…からなるものである。なお、図５にあっては、動画像Ｐ４として、模式的に５枚の画像フレームｆ１〜ｆ５からなるものを表すものとする。

表示制御部９は、画像メモリ５に一時的に記憶されている表示用の画像データを読み出して表示部１０に表示させる制御を行う。
具体的には、表示制御部９は、ＶＲＡＭ、ＶＲＡＭコントローラ、デジタルビデオエンコーダなどを備えている。そして、デジタルビデオエンコーダは、ＣＰＵ１２の制御下にて画像メモリ５から読み出されてＶＲＡＭ（図示略）に記憶されている輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒを、ＶＲＡＭコントローラを介してＶＲＡＭから定期的に読み出して、これらのデータを元にビデオ信号を発生して表示部１０に出力する。

表示部１０は、例えば、液晶表示装置であり、表示制御部９からのビデオ信号に基づいて電子撮像部２により撮像された画像などを表示画面に表示する。具体的には、表示部１０は、撮像モードにて、レンズ部１、電子撮像部２及び撮像制御部３による被写体の撮像により生成された複数の画像フレームｆ、…に基づいてライブビュー画像を表示したり、本撮像画像として撮像されたレックビュー画像を表示する。

操作入力部１１は、当該撮像装置１００の所定操作を行うためのものである。具体的には、操作入力部１１は、被写体の撮影指示に係るシャッタボタン１１ａ、撮像モードや機能等の選択指示や被写体切り抜き画像Ｐ３における被写体領域Ｓの基準合成位置の設定指示等に係る選択決定ボタン１１ｂ、ズーム量の調整指示に係るズームボタン（図示略）等を備え、これらのボタンの操作に応じて所定の操作信号をＣＰＵ１２に出力する。

ＣＰＵ１２は、撮像装置１００の各部を制御するものである。具体的には、ＣＰＵ１２は、撮像装置１００用の各種処理プログラム（図示略）に従って各種の制御動作を行うものである。

次に、撮像装置１００による被写体切り抜き処理について、図２及び図３を参照して説明する。
図２は、被写体切り抜き処理に係る動作の一例を示すフローチャートである。また、図３は、被写体切り抜き処理に係る画像の一例を模式的に示す図である。
被写体切り抜き処理は、ユーザによる操作入力部１１の選択決定ボタン１１ｂの所定操作に基づいて、メニュー画面に表示された複数の撮像モードの中から被写体切り抜きモードが選択指示された場合に実行される処理である。

図２に示すように、先ず、ＣＰＵ１２は、表示制御部９に、レンズ部１、電子撮像部２及び撮像制御部３による被写体の撮像により生成された複数の画像フレームｆ、…に基づいてライブビュー画像を表示部１０の表示画面に表示させるとともに、当該ライブビュー画像に重畳させて、被写体存在画像Ｐ１の撮像指示メッセージを表示部１０の表示画面に表示させる（ステップＳ１）。

次に、ＣＰＵ１２は、ユーザによる操作入力部１１のシャッタボタン１１ａの所定操作に基づいて撮像指示が入力されたか否かを判定する（ステップＳ２）。ここで、撮像指示が入力されたと判定されると（ステップＳ２；ＹＥＳ）、ＣＰＵ１２は、撮像制御部３に、フォーカスレンズの合焦位置や露出条件（シャッター速度、絞り、増幅率等）やホワイトバランス等の条件を調整させて、被写体存在画像Ｐ１（図３（ａ）参照）の光学像を所定の条件で電子撮像部２により撮像させて、画像データ生成部４に、電子撮像部２から転送された被写体存在画像Ｐ１の画像フレームのＹＵＶデータを生成させる（ステップＳ３）。なお、当該被写体存在画像Ｐ１のＹＵＶデータは、画像メモリ５に一時記憶される。
また、ＣＰＵ１２は、撮像制御部３を制御して、当該被写体存在画像Ｐ１の撮像の際の合焦位置や露出条件やホワイトバランス等の条件を固定した状態を維持する。

そして、ＣＰＵ１２は、表示制御部９に、レンズ部１、電子撮像部２及び撮像制御部３による被写体の撮像により生成された複数の画像フレームに基づいてライブビュー画像を表示部１０の表示画面に表示させるとともに、当該ライブビュー画像に重畳させて、被写体存在画像Ｐ１の半透過の表示態様の画像と被写体非存在画像Ｐ２の撮像指示メッセージを表示部１０の表示画面に表示させる（ステップＳ４）。
この後、ＣＰＵ１２は、ユーザによる操作入力部１１のシャッタボタン１１ａの所定操作に基づいて撮像指示が入力されたか否かを判定する（ステップＳ５）。そして、ユーザは、被写体を画角外に移動させるか、或いは被写体が移動するのを待った後、ユーザにより被写体非存在画像Ｐ２が被写体存在画像Ｐ１の半透過の画像と重なるようにカメラ位置が調整されて、操作入力部１１のシャッタボタン１１ａが所定操作されて撮像指示が入力されたと判定されると（ステップＳ５；ＹＥＳ）、ＣＰＵ１２は、撮像制御部３に、被写体非存在画像Ｐ２（図３（ｂ）参照）の光学像を被写体存在画像Ｐ１の撮像後に固定された条件で電子撮像部２により撮像させて、画像データ生成部４に、電子撮像部２から転送された被写体非存在画像Ｐ２の画像フレームに基づいて、被写体非存在画像Ｐ２のＹＵＶデータを生成させる（ステップＳ６）。なお、当該被写体存在画像Ｐ１のＹＵＶデータは、画像メモリ５に一時記憶される。

次に、ＣＰＵ１２は、特徴量演算部６ａ、ブロックマッチング部６ｂ及び画像処理部７に、画像メモリ５に一時記憶されている被写体非存在画像Ｐ２のＹＵＶデータを基準として、被写体存在画像Ｐ１のＹＵＶデータを射影変換させるための射影変換行列を所定の画像変換モデル（例えば、相似変換モデル、或いは合同変換モデル）で算出させる（ステップＳ７）。
具体的には、特徴量演算部６ａは、被写体非存在画像Ｐ２のＹＵＶデータに基づいて、所定数（或いは、所定数以上)の特徴の高いブロック領域（特徴点）を選択して、当該ブロックの内容をテンプレートとして抽出する。そして、ブロックマッチング部６ｂは、特徴抽出処理にて抽出されたテンプレートの画素値が最適にマッチする位置を被写体存在画像Ｐ１内にて探索して、画素値の相違度の評価値が最も良かった被写体非存在画像Ｐ２と被写体存在画像Ｐ１間の最適なオフセットを当該テンプレートの動きベクトルとして算出する。そして、画像処理部７の位置合わせ部７ａは、ブロックマッチング部６ｂにより算出された複数のテンプレートの動きベクトルに基づいて全体の動きベクトルを統計的に算出し、当該動きベクトルに係る特徴点対応を用いて被写体存在画像Ｐ１の射影変換行列を算出する。

次に、ＣＰＵ１２は、位置合わせ部７ａに、算出された射影変換行例に基づいて被写体存在画像Ｐ１を射影変換させることで、被写体存在画像Ｐ１のＹＵＶデータと被写体非存在画像Ｐ２のＹＵＶデータとを位置合わせする処理を行わせる（ステップＳ８）。

そして、ＣＰＵ１２は、画像処理部７の被写体領域抽出部７ｂに、被写体存在画像Ｐ１から被写体が含まれる被写体領域Ｓを抽出する処理を行わせる（ステップＳ９）。
具体的には、被写体領域抽出部７ｂは、被写体存在画像Ｐ１のＹＵＶデータと被写体非存在画像Ｐ２のＹＵＶデータの各々に対してローパスフィルタをかけて各画像の高周波成分を除去する。その後、被写体領域抽出部７ｂは、ローパスフィルタをかけた被写体存在画像Ｐ１と被写体非存在画像Ｐ２との間で対応する各画素について相違度を算出して相違度マップを生成する。続けて、被写体領域抽出部７ｂは、各画素に係る相違度マップを所定の閾値で２値化した後、相違度マップから細かいノイズや手ぶれにより相違が生じた領域を除去するために収縮処理を行う。その後、被写体領域抽出部７ｂは、ラベリング処理を行って、所定値以下の領域や最大領域以外の領域を除去した後、一番大きな島のパターンを被写体領域Ｓとして特定し、収縮分を修正するための膨張処理を行う。

次に、ＣＰＵ１２は、画像処理部７の位置情報生成部７ｃに、抽出された被写体領域Ｓの被写体存在画像Ｐ１内での位置を示すアルファマップを生成させる（ステップＳ１０）。

その後、ＣＰＵ１２は、画像処理部７の切抜画像生成部７ｄに、被写体の画像を所定の単一色画像と合成した被写体切り抜き画像Ｐ３（図３（ｃ）参照）の画像データを生成する処理を行わせる（ステップＳ１１）。
具体的には、切抜画像生成部７ｄは、被写体存在画像Ｐ１、単一色画像及びアルファマップを読み出して画像メモリ５に展開した後、被写体存在画像Ｐ１の全ての画素について、アルファ値が０の画素については（α＝０）、透過させ、アルファ値が０＜α＜１の画素については（０＜α＜１）、所定の単一色とブレンディングを行い、アルファ値が１の画素については（α＝１）、何もせずに所定の単一色に対して透過させないようにする。

その後、ＣＰＵ１２は、記録媒体８の所定の記憶領域に、画像処理部７の位置情報生成部７ｃにより生成されたアルファマップと被写体切り抜き画像Ｐ３の画像データを対応付けて、当該被写体切り抜き画像Ｐ３の画像データの拡張子を「.jpe」として一ファイルで記憶させる（ステップＳ１２）。
これにより、被写体切り抜き処理を終了する。この結果、例えば、背景内から被写体領域Ｓとして人（図３（ｃ）参照）が抽出された被写体切り抜き画像Ｐ３の静止画像データが生成される。

次に、撮像装置１００による背景用の動画像生成処理について、図４及び図５を参照して説明する。
図４は、背景用の動画像生成処理に係る動作の一例を示すフローチャートである。また、図５は、背景用の動画像生成処理に係る画像の一例を模式的に示す図である。
背景用の動画像生成処理は、通常の動画像の撮像処理であり、ユーザによる操作入力部１１の選択決定ボタン１１ｂの所定操作に基づいて、メニュー画面に表示された複数の撮像モードの中から動画撮像モードが選択指示された場合に実行される処理である。

図４に示すように、先ず、ＣＰＵ１２は、表示制御部９に、レンズ部１、電子撮像部２及び撮像制御部３による動画像Ｐ４の撮像により生成された複数の画像フレームに基づいてライブビュー画像を表示部１０の表示画面に表示させる（ステップＳ２１）。

次に、ＣＰＵ１２は、ユーザによる操作入力部１１のシャッタボタン１１ａの所定操作に基づいて撮像指示が入力されたか否かを判定する（ステップＳ２２）。ここで、撮像指示が入力されたと判定されると（ステップＳ２２；ＹＥＳ）、ＣＰＵ１３は、撮像制御部３に、フォーカスレンズの合焦位置や露出条件（シャッター速度、絞り、増幅率等）やホワイトバランス等の条件を調整させて、動画像Ｐ４（図５参照）の光学像を所定の条件で電子撮像部２により撮像させて画像データ生成部４に、電子撮像部２から転送された動画像Ｐ４の各画像フレームｆ１〜ｆ５のＹＵＶデータを生成させる（ステップＳ２３）。その後、ＣＰＵ１２は、記録媒体８の所定の記憶領域に、動画像Ｐ４の各画像フレームｆ１〜ｆ５のＹＵＶデータをＭｏｔｉｏｎ−ＪＰＥＧ形式で記憶させる（ステップＳ２４）。
これにより、動画像生成処理を終了する。この結果、例えば、トラックが左側から右側に走行する複数の画像フレームｆ１〜ｆ５からなる動画像Ｐ４の画像データが生成される。

次に、合成動画生成処理について図６〜図１０を参照して詳細に説明する。
図６〜図８は、合成動画生成処理に係る動作の一例を示すフローチャートである。また、図９は、合成動画生成処理における画像合成処理に係る動作の一例を示すフローチャートである。また、図１０（ａ）及び図１０（ｂ）は、合成動画生成処理にて画像合成される画像の一例を模式的に示す図である。

合成動画生成処理は、ユーザによる操作入力部１１の選択決定ボタン１１ｂの所定操作に基づいて、メニュー画面に表示された複数の撮像モードの中から画像合成モードが選択指示された場合に実行される処理である。
図６に示すように、ユーザによる操作入力部１１の所定操作に基づいて、記録媒体８に記録されている複数の画像の中で合成用の静止画像としての被写体切り抜き画像Ｐ３が選択して指定されると、画像処理部７の取得部７ｅは、指定された被写体切り抜き画像Ｐ３の画像データを読み出して画像メモリ５に展開する（ステップＳ３１）。

次に、ユーザによる操作入力部１１の所定操作に基づいて、記録媒体８に記録されている複数の画像の中で所望の動画像Ｐ４が選択して指定されると、画像処理部７の取得部７ｅは、指定された動画像Ｐ４の画像データを読み出して画像メモリ５に展開する。そして、ＣＰＵ１２は、表示制御部９に、画像メモリ５に展開された動画像Ｐ４の画像データに基づいて、当該動画像Ｐ４を構成する各画像フレームｆ１〜ｆ５を所定の表示フレームレートで切り換えて表示部１０の表示画面に再生表示させる（ステップＳ３２）。

続けて、ＣＰＵ１２は、ユーザによる操作入力部１１の選択決定ボタン１１ｂの所定操作に基づいて、表示部１０の表示画面に再生表示された画像フレームｆ１〜ｆ５の選択指示が入力されたか否かを判定する（ステップＳ３３）。
ここで、画像フレームｆ１〜ｆ５の選択指示が入力されたと判定されると（ステップＳ３３；ＹＥＳ）、ＣＰＵ１２は、表示制御部９に、選択指示入力のあったユーザ所望の画像フレーム（例えば、画像フレームｆ３（図１０（ａ）参照））を基準画像フレームとして表示部１０の表示画面に一時停止表示させる（ステップＳ３４）。

そして、ＣＰＵ１２は、ユーザによる操作入力部１１の選択決定ボタン１１ｂの所定操作に基づいて、被写体切り抜き画像Ｐ３における被写体領域Ｓの当該基準画像フレームへの合成位置の指定指示が入力されたか否かを判定する（ステップＳ３５）。
ここで、合成位置の指定指示が入力されたと判定されると（ステップＳ３５；ＹＥＳ）、ＣＰＵ１２は、動画像Ｐ４の各画像フレームｆ１〜ｆ５と被写体切り抜き画像Ｐ３とを合成して合成動画Ｍを構成する画像フレームｇ１〜ｇ５を生成する画像合成処理を画像合成部７ｇに行わせる（ステップＳ３６）。

ここで、画像合成処理について図９を参照して詳細に説明する。
図９に示すように、画像合成部７ｇは、被写体切り抜き画像Ｐ３と対応付けて保存されているアルファマップを読み出して画像メモリ５に展開する（ステップＳ６１）。
なお、図６のステップＳ３５にて被写体切り抜き画像Ｐ３における被写体領域Ｓの合成位置が指定された際に、動画像Ｐ４の基準画像フレーム（例えば、画像フレームｆ３（図１０（ａ）参照））とアルファマップとがずれてしまいアルファマップの範囲外となる領域については、α＝０としてアルファ値が存在しない領域を生じさせないようにする。

次に、画像合成部７ｇは、基準画像フレームの何れか一の画素（例えば、左上隅部の画素）を指定して（ステップＳ６２）、当該画素について、アルファマップのアルファ値に基づいて処理を分岐させる（ステップＳ６３）。具体的には、画像合成部７ｇは、当該基準画像フレームの何れか一の画素のうち、アルファ値が１の画素については（ステップＳ６３；α＝１）、被写体切り抜き画像Ｐ３の対応する画素の画素値で上書きし（ステップＳ６４）、アルファ値が０＜α＜１の画素については（ステップＳ６５；０＜α＜１）、１の補数（１−α）を用いて被写体領域Ｓを切り抜いた画像（背景用画像×（１−α））を生成した後、アルファマップにおける１の補数（１−α）を用いて被写体切り抜き画像Ｐ３を生成した際に単一背景色とブレンドした値を計算し、当該値を被写体切り抜き画像Ｐ３から減算し、それを被写体領域Ｓを切り抜いた画像（背景用画像×（１−α））と合成し（ステップＳ６５）、アルファ値が０の画素については（ステップＳ６３；α＝０）、何もせずに当該基準画像フレームを透過させるようにする。

続けて、画像合成部７ｇは、当該基準画像フレームの全ての画素について処理したか否かを判定する（ステップＳ６６）。
ここで、全ての画素について処理していないと判定されると（ステップＳ６６；ＮＯ）、画像合成部７ｇは、処理対象として次の画素を指定して当該画素に処理対象を移動させて（ステップＳ６７）、処理をステップＳ６３に移行させる。
上記の処理を、ステップＳ６６にて全ての画素について処理したと判定されるまで（ステップＳ６６；ＹＥＳ）、繰り返すことで、画像合成部７ｇは、被写体切り抜き画像Ｐ３と動画像Ｐ４とを合成した合成動画Ｍを構成する一の画像フレームｇを生成する。
これにより、画像合成処理を終了する。

図６に示すように、その後、ＣＰＵ１２は、基準画像フレームが動画像Ｐ４を構成する画像フレームｆ１〜ｆ５のうち最初の画像フレームｆ１であるか否かを判定する（ステップＳ３７）。
ここで、基準画像フレームが最初の画像フレームｆ１でないと判定されると（ステップＳ３７；ＮＯ）、ＣＰＵ１２は、処理対象を基準画像フレームの１つ前の画像フレームへ移動させる（ステップＳ３８）。具体的には、図１０（ａ）に示すように、基準画像フレームとして画像フレームｆ３が選択指示された場合、当該画像フレームｆ３の一つ前の画像フレームｆ２に移動する。

そして、ＣＰＵ１２は、隣合う画像フレーム（例えば、画像フレームｆ３と画像フレームｆ２）間の動体Ｂの動き情報として、基準画像フレームに対する画像フレーム（例えば、画像フレームｆ２）における動体の動きベクトルを動き検出部６に検出させる（ステップＳ３９）。

そして、ＣＰＵ１２は、動き検出部６により検出された画像フレーム（例えば、画像フレームｆ２）の動体Ｂの動きベクトル（動き情報）に基づいて、当該画像フレーム（例えば、画像フレームｆ２）における被写体切り抜き画像Ｐ３の被写体領域Ｓの合成位置の算出を合成位置設定部７ｆに行わせる（ステップＳ４０）。
そして、合成制御部７ｈは、算出された合成位置に基づいて被写体切り抜き画像Ｐ３を１つ前に移動した画像フレーム（例えば、画像フレームｆ２）へ合成した場合に当該被写体領域Ｓの合成領域の一部が当該画像フレームｆ２内にあるか否かを判定する（ステップＳ４１）。
ここで、合成領域の一部が画像フレームｆ２内にあると判定されると（ステップＳ４１；ＹＥＳ）、ＣＰＵ１２は、算出された一つ前の画像フレーム（例えば、画像フレームｆ２）における被写体切り抜き画像Ｐ３の被写体領域Ｓの合成位置を合成位置設定部７ｆに設定させる（ステップＳ４２）。

そして、ＣＰＵ１２は、動画像Ｐ４の画像フレーム（例えば、画像フレームｆ２）と被写体切り抜き画像Ｐ３とを合成して合成動画Ｍを構成する画像フレーム（例えば、画像フレームｇ２）を生成する画像合成処理を画像合成部７ｇに行わせる（ステップＳ４３；図９参照）。
なお、画像合成処理の内容は、上記説明したものと略同様であり、その詳細な説明は省略する。また、図７のステップＳ４２にて被写体切り抜き画像Ｐ３における被写体領域Ｓの合成位置が設定された際に、動画像Ｐ４の画像フレームｆ１〜ｆ５とアルファマップとがずれてしまいアルファマップの範囲外となる領域については、α＝０としてアルファ値が存在しない領域を生じさせないようにする。

図７に示すように、その後、ＣＰＵ１２は、基準画像フレームより前の全ての画像フレーム（例えば、画像フレームｆ１、ｆ２）について合成処理を行ったか否かを判定する（ステップＳ４４）。
ここで、基準画像フレームより前の全ての画像フレーム（例えば、画像フレームｆ１、ｆ２）について合成処理を行っていないと判定されると（ステップＳ４４；ＮＯ）、ステップＳ３８へ戻り、基準画像フレームより前の全ての画像フレーム（例えば、画像フレームｆ１、ｆ２）について合成処理が行われるまで、ＣＰＵ１２は、ステップＳ３８以降の処理を行わせる。一方、基準画像フレームより前の全ての画像フレーム（例えば、画像フレームｆ１、ｆ２）について合成処理を行ったと判定されると（ステップＳ４４；ＹＥＳ）、即ち、ステップＳ４１にて、合成領域の一部が画像フレーム内にないと判定された場合（ステップＳ４１；ＮＯ）、例えば、画像フレームｆ１における被写体切り抜き画像Ｐ３の被写体領域Ｓの合成領域の一部が当該画像フレームｆ１内にない場合には、ＣＰＵ１２は、ステップＳ４４にて、基準画像フレームより前の全ての画像フレーム（例えば、画像フレームｆ１、ｆ２）について合成処理を行ったと判定する。なお、ステップＳ４１にて、合成領域の一部が画像フレーム（例えば、画像フレームｆ１）内にないと判定された画像フレーム（例えば、画像フレームｆ１）については、動画像Ｐ４の画像フレーム（例えば、画像フレームｆ１）を合成動画Ｍの画像フレーム（例えば、画像フレームｇ１）とみなす。

その後、ＣＰＵ１２は、処理対象を基準画像フレーム（例えば、画像フレームｆ３）の１つ後の画像フレーム（例えば、画像フレームｆ４）へ移動させ（ステップＳ４５）、ＣＰＵ１２は、ステップＳ３９と同様に、隣合う画像フレーム間（例えば、画像フレームｆ３に対する画像フレームｆ４）の動体Ｂの動き情報の検出を動き検出部６に行わせる（ステップＳ４７）。

そして、ＣＰＵ１２は、動き検出部６により検出された画像フレーム（例えば、画像フレームｆ４）の動体Ｂの動きベクトル（動き情報）に基づいて、当該画像フレーム（例えば、画像フレームｆ４）における被写体切り抜き画像Ｐ３の被写体領域Ｓの合成位置の算出を合成位置設定部７ｆに行わせる（ステップＳ４８）。
そして、合成制御部７ｈは、算出された合成位置に基づいて被写体切り抜き画像Ｐ３を１つ後に移動した画像フレーム（例えば、画像フレームｆ４）へ合成した場合に当該被写体切り抜き画像Ｐ３における被写体領域Ｓの合成領域の一部が当該画像フレーム（例えば、画像フレームｆ４）内にあるか否かを判定する（ステップＳ４９）。
ここで、合成領域の一部が画像フレーム（例えば、画像フレームｆ４）内にあると判定されると（ステップＳ４９；ＹＥＳ）、ＣＰＵ１２は、算出された一つ後の画像フレーム（例えば、画像フレームｆ４）における被写体切り抜き画像Ｐ３の被写体領域Ｓの合成位置を合成位置設定部７ｆに設定させる（ステップＳ５０）。

そして、ＣＰＵ１２は、動画像Ｐ４の画像フレーム（例えば、画像フレームｆ４）と被写体切り抜き画像Ｐ３とを合成して合成動画Ｍを構成する画像フレーム（例えば、画像フレームｇ４）を生成する画像合成処理を画像合成部７ｇに行わせる（ステップＳ５１；図９参照）。
なお、画像合成処理の内容は、上記説明したものと略同様であり、その詳細な説明は省略する。また、図８のステップＳ５０にて被写体切り抜き画像Ｐ３における被写体領域Ｓの合成位置が設定された際に、動画像Ｐ４の画像フレームｆ１〜ｆ５とアルファマップとがずれてしまいアルファマップの範囲外となる領域については、α＝０としてアルファ値が存在しない領域を生じさせないようにする。

図８に示すように、その後、ＣＰＵ１２は、全ての画像フレームｆ１〜ｆ５について合成処理を行ったか否かを判定する（ステップＳ５２）。
ここで、全ての画像フレームｆ１〜ｆ５について合成処理を行っていないと判定されると（ステップＳ５２；ＮＯ）、ステップＳ４６へ戻り、全ての画像フレームｆ１〜ｆ５について合成処理が行われるまで、ＣＰＵ１２は、ステップＳ４６以降の処理を行わせる。一方、全ての画像フレームｆ１〜ｆ５について合成処理を行ったと判定されると（ステップＳ５２；ＹＥＳ）、画像合成部７ｇは、合成動画Ｍを構成する全ての画像フレームｇ１〜５（図１０（ｂ）参照）を生成する。なお、ステップＳ４９にて、合成領域の一部が画像フレーム（例えば、画像フレームｆ５）内にないと判定された画像フレーム（例えば、画像フレームｆ５）については、動画像Ｐ４の画像フレーム（例えば、画像フレームｆ５）を合成動画Ｍの画像フレーム（例えば、画像フレームｇ５）とみなす。

また、図６のステップＳ３７において、基準画像フレームが最初の画像フレームｆ１であると判定された場合（ステップＳ３７；ＹＥＳ）、ＣＰＵ１２は、処理対象を基準画像フレームの１つ後の画像フレームｆ２へ移動させ、（ステップＳ４６）上記のように、ステップＳ４７以降の処理を行う。
これにより、合成動画生成処理を終了する。

以上のように、本実施形態の撮像装置１００によれば、背景用の動画像Ｐ４の複数の画像フレームｆ１〜ｆ５のうち、隣合う画像フレーム間（例えば、画像フレームｆ３に対する画像フレームｆ２）の動体Ｂの動き情報を動き検出部６により検出し、当該動き情報に基づいて、被写体切り抜き画像Ｐ３を動画像Ｐ４上で動作させるように当該被写体切り抜き画像Ｐ３と動画像Ｐ４の複数の画像フレームｆ１〜ｆ５の各々とを合成して合成動画Ｍを画像合成部７ｇにより生成する。
従って、背景用の動画像Ｐ４の各画像フレームｆ１〜ｆ５と合成用の静止画像である被写体切り抜き画像Ｐ３とを合成する場合に、合成用の静止画像が最初に設定された合成位置に固定されることなく、動画像Ｐ４における動体Ｂの動きに合わせて被写体切り抜き画像Ｐ３を所定動作させることができ、興趣性の高い合成動画Ｍを生成することができる。

また、画像合成部７ｇは、動画像Ｐ４を構成する複数の画像フレームｆ１〜ｆ５のうち、ユーザによる操作入力部１１の所定操作に基づいて指定された基準画像フレーム（例えば、画像フレームｆ３）においては、所望の基準合成位置に被写体切り抜き画像Ｐ３を合成し、且つ、基準画像フレーム以外の各画像フレームにおいては、合成位置設定部７ｆが、動き検出部６によって検出された隣合う画像フレーム間（例えば、画像フレームｆ３に対する画像フレームｆ２）の動体Ｂの動き情報に基づいて、基準画像フレーム以外の各画像フレームにおける被写体切り抜き画像Ｐ３の合成位置を設定して、基準画像フレームに合成された被写体切り抜き画像Ｐ３に対し動体Ｂの動きに合わせて変位させるように被写体切り抜き画像Ｐ３を合成して合成動画Ｍを構成する複数の画像フレームｇ１〜ｇ５を生成する。
これにより、ユーザ所望の画像フレーム（基準画像フレーム）において、被写体切り抜き画像Ｐ３の合成位置を指定することにより、当該基準画像フレーム以外の各画像フレームについて被写体切り抜き画像Ｐ３の合成位置を自動的に設定することができ、合成動画Ｍの生成に係る操作をより簡便なものとすることができる。従って、ユーザ所望の合成位置を適切に指定するだけで、興趣性の高い合成動画Ｍを簡便に生成することができる。

なお、本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
例えば、上記実施形態として、動画像Ｐ４を構成する各画像フレームｆ１〜ｆ５間のそれぞれの動体Ｂの動きベクトル（動き情報）を算出したが、これに限られるものではなく、例えば、動体Ｂが一定の方向に一定間隔の速さで変位していると判断した場合には、少なくとも一の動体Ｂの動きベクトルに基づいて、各画像フレームｆ１〜ｆ５に対する被写体切り抜き画像Ｐ３の合成位置を算出するようにしても良い。
また、基準画像フレームにおいて指定した基準合成位置が動体Ｂを含む領域だった場合に、基準画像フレーム以外の各画像フレームにおいては、動き検出部６によって検出された隣合う画像フレーム間の動体Ｂの動き情報に基づいて、基準画像フレーム以外の各画像フレームにおける被写体切り抜き画像Ｐ３の合成位置を設定するようにしてもよい。

また、上記実施形態として、動画像Ｐ４として、Ｍｏｔｉｏｎ−ＪＰＥＧ形式で記録された動画像データを例示したが、これに限られるものではなく、例えば、所定のシャッタースピードで連写された連続した複数の静止画からなる連写画像であっても良い。この場合にあっても、上記実施形態と同様に、連続する静止画どうしの間で動体Ｂの動き情報を検出して、当該動き情報に基づいて被写体切り抜き画像Ｐ３の被写体領域Ｓを所定動作させる。

また、上記実施形態にあっては、動画像データの記録方式として、Ｍｏｔｉｏｎ−ＪＰＥＧ形式を例示したが、ＭＰＥＧ形式であっても良い。かかる場合には、動体Ｂの動きを検出する際に、予め当該ＭＰＥＧ形式の動画像データを復号化して複数の画像フレームｆ１〜ｆ５を生成することで、画像フレームｆ１〜ｆ５間の動体Ｂの動きの検出を行うことができる。

また、撮像装置１００の構成は、上記実施形態に例示したものは一例であり、これに限られるものではない。即ち、画像合成装置として、撮像装置を例示したが、これに限られるものではい。例えば、被写体切り抜き画像Ｐ３、動画像Ｐ４及び動体Ｂの動き情報に基づいて設定された当該動画像Ｐ４に対する被写体切り抜き画像の合成位置に係るデータの生成は、当該撮像装置１００とは異なる撮像装置にて行い、この撮像装置から転送されたデータのみを記録して、合成動画の再生処理のみを実行する画像再生装置であっても良い。

加えて、上記実施形態にあっては、取得手段、検出手段、合成手段、合成位置設定手段としての機能を、ＣＰＵ１３の制御下にて、動き検出部６、画像処理部７の切抜画像生成部７ｄ、取得部７ｅ、合成位置設定部７ｆ、画像合成部７ｇが駆動することにより実現される構成としたが、これに限られるものではなく、ＣＰＵ１３によって所定のプログラム等が実行されることにより実現される構成としても良い。
即ち、プログラムを記憶するプログラムメモリ（図示略）に、取得処理ルーチン、検出処理ルーチン、合成位置設定処理ルーチン、合成処理ルーチンを含むプログラムを記憶しておく。そして、取得処理ルーチンによりＣＰＵ１３に、背景用の動画像と合成用の静止画像を取得させるようにしても良い。また、検出処理ルーチンによりＣＰＵ１３に、取得された背景用の動画像における動体の動き情報を検出させるようにしても良い。また、合成位置設定処理ルーチンによりＣＰＵ１３に、検出された少なくとも一の隣合う画像フレーム間の動体の動き情報に基づいて、一の画像フレーム以外の各画像フレームにおける静止画像の合成位置を設定させるようにしても良い。また、合成処理ルーチンによりＣＰＵ１３に、検出された動き情報に基づいて、動体の動きに合わせて合成用の静止画像を所定動作させるように静止画像と動画像とを合成して合成動画を生成させるようにしても良い。

１００ 撮像装置
１ レンズ部
２ 電子撮像部
３ 撮像制御部
６ 動き検出部
７ 画像処理部
７ｄ 切抜画像生成部
７ｅ 取得部
７ｆ 合成位置設定部
７ｇ 画像合成部
７ｈ 合成制御部
８ 記録媒体
１０ 表示部
１２ ＣＰＵ

Claims (7)

1. 背景用の動画像及び当該動画像と合成すべき静止画像を取得する取得手段と、
   この取得手段により取得された動画像における動体を特定する特定手段と、
   この特定手段によって特定された動体の動き情報を検出する検出手段と、
   この検出手段によって検出された動き情報に基づいて、前記静止画像を前記背景用の動画像上で動作させるように当該静止画像と前記動画像とを合成して合成動画を生成する合成手段と、
   を備え、
   前記合成手段は、
   前記動画像における前記静止画像の合成位置が当該動画像における動体を含む位置である場合に、前記静止画像を前記動画像中の前記動体の動き情報に応じて変位させるように前記静止画像と前記動画像とを合成する
   ことを特徴とする画像合成装置。
2. 前記動画像を構成する複数の画像フレームのうち、何れか一の画像フレームにおける前記静止画像の前記合成位置を指定する指定手段を更に備え、
   前記合成手段は、
   前記複数の画像フレームのうち、前記一の画像フレームにおいては、前記指定手段によって指定された合成位置に前記静止画像を合成し、且つ、前記一の画像フレーム以外の各画像フレームにおいては、前記一の画像フレームに合成された前記静止画像に対し前記動体の動きに合わせて変位させるように前記静止画像を合成することを特徴とする請求項１に記載の画像合成装置。
3. 前記合成手段は、
   前記指定手段によって指定された合成位置が、前記一の画像フレーム以外の各画像フレームにおいては、前記一の画像フレームに合成された前記静止画像に対し前記動体の動き情報に応じて変位させるように前記静止画像を合成することを特徴とする請求項２記載の画像合成装置。
4. 前記検出手段は、
   前記複数の画像フレームのうち、少なくとも一の隣合う画像フレーム間の動体の動き情報を検出し、
   前記検出手段によって検出された前記少なくとも一の隣合う画像フレーム間の動体の動き情報に基づいて、前記一の画像フレーム以外の各画像フレームにおける前記静止画像の合成位置を設定する合成位置設定手段を更に備えることを特徴とする請求項２又は３に記載の画像合成装置。
5. 前記静止画像は、背景内に被写体が存在する被写体存在画像から被写体が含まれる被写体領域を抽出した画像であることを特徴とする請求項１〜４の何れか一項に記載の画像合成装置。
6. 前記動体の動き情報は、動体の位置の変化情報、大きさの変化情報及び回転角度の変化情報のうち少なくとも１つを含むことを特徴とする請求項１〜５の何れか一項に記載の画像合成装置。
7. 画像合成装置のコンピュータを、
   背景用の動画像及び当該動画像と合成すべき静止画像を取得する取得手段、
   この取得手段により取得された動画像における動体を特定する特定手段、
   この特定手段によって特定された動体の動き情報を検出する検出手段、
   この検出手段によって検出された動き情報に基づいて、前記静止画像を前記背景用の動画像上で動作させるように当該静止画像と前記動画像とを合成して合成動画を生成する合成制御手段、
   として機能させ、
   前記合成手段は、
   前記動画像における前記静止画像の合成位置が当該動画像における動体を含む位置である場合に、前記静止画像を前記動画像中の前記動体の動き情報に応じて変位させるように前記静止画像と前記動画像とを合成することを特徴とするプログラム。

Images