JP2006229467A - フォトムービー作成装置及びフォトムービー作成プログラム、並びに被写体認識方法 - Google Patents

Abstract

【課題】 静止画の注目被写体に応じて適切な特殊エフェクトが付与されたフォトムービーを容易に作成できるようにする。
【解決手段】フォトムービーの作成時に、素材となる静止画から注目被写体を決定する。注目被写体を決定するときは静止画から人物の顔画像を検出し、人物が静止画の中央部に位置するか周辺部に位置するかが判定される。顔画像は人物の両眼を抽出することにより検出される。人物が中央部に位置すれば注目被写体は人物である。人物が静止画の周辺部に位置する場合、人物の両眼距離から顔画像の大きさが判定される。顔画像が大きい場合には注目被写体は人物と背景の２つであり、顔画像が小さい場合には注目被写体は背景である。注目被写体の位置及び大きさに基づいて、特殊エフェクトの内容を決定することにより見映えのよいフォトムービーが作成される。
【選択図】 図４

Description

本発明は、素材の静止画から動画として観賞されるフォトムービーを作成するフォトムービー作成装置及びフォトムービー作成プログラム、並びに静止画の内容に応じて的確に注目被写体を決定する被写体認識方法に関する。

デジタルカメラ等により記録された静止画を、動きのあるフォトムービーとして観賞できるようにした画像表示装置及びフォトムービー作成ソフトウェアが知られている（特許文献１及び２、非特許文献１ないし３参照）。フォトムービーは、動的な視覚効果を付与する特殊な加工編集処理によって素材の静止画を動画に変換したもので、画像を順次に表示するスライドショーと比べて、特定の被写体に注目した演出を行うことや、１枚の静止画にストーリー性を与える演出を行うことができる。

フォトムービーの映像は、専用の再生装置や上述のソフトウェアを組み込んだコンピュータ上で再生することができる。また、フォトムービーの映像データを汎用的なデジタル動画フォーマットに変換し、ＤＶＤ等の光ディスクに記録すれば、家庭用ＤＶＤプレイヤー等を用いてフォトムービーを観賞することもできる。

静止画に動きを与えるフォトムービーの特殊エフェクトには、静止画の一部の領域に注目してズームイン／ズームアウトする電子ズーミング効果、静止画の一部の領域をクローズアップした状態でスクロールする電子パンニング効果、１コマの静止画を画面内で縮小表示して直線状又は曲線状等に移動させるコマ移動、特定の一点を中心に画像を回転させる回転効果、歪み（スキュー）を与える歪曲効果、これらを複合させた複合効果等がある。また、複数の静止画を縮小して同時に表示するマルチ画面効果や、アニメーション画像や装飾画像、字幕を合成した視覚効果を併用したものや、特殊エフェクトを与えないスライドショーを盛り込んだものなどがあり、その演出形態は多種多様である。

フォトムービーは、特定の静止画から１つのシーンが生成され、通常は複数のシーンが集合して構成される。見映えのよい高品質のフォトムービーを作成するためには、素材となる静止画の画質、特殊エフェクトの種類、１シーンの再生時間等の要素から個々のシーンを最適に構築する必要がある。また、シーン開始時及び終了時の画像はシーンの見映えを決定する重要度が高く、特殊エフェクトに編集パラメータを設定し、シーン中における画像の移り変わり等の演出形態をユーザーが変更できるようにしている（非特許文献１ないし非特許文献３等）。

例えば、電子ズーミングや電子パンニングの特殊エフェクトでは、静止画の一部を切り出す範囲を定めるトリミング枠が編集パラメータとして設定されており、このトリミング枠によって切り出される画像を画面全体に表示する。ユーザーは、静止画上で１つ又は複数のトリミング枠を指定することにより、電子ズーミングや電子パンニングの開始／終了ポイント，又は中継ポイント等を指定する。
特開平１０−２００８４３号公報 特開２００２−２４８４６号公報 株式会社デジタルステージ LIFE* with-Photo-Cinema ［平成１６年１１月１日検索］インターネット＜ＵＲＬ：http://www.digitalstage.net/jp/product/life/index.html＞ エー・アイ・ソフト株式会社 デジカメ de ムービーシアター ［平成１６年１１月１日検索］インターネット＜ＵＲＬ：http://ai2you.com/imaging/products/dcmtheater/dcmt.asp＞ カノープス株式会社 Imaginate2.0 ［平成１６年１１月１日検索］インターネット＜ＵＲＬ：http://www.canopus.co.jp/catalog/imaginate/imaginate20#index.htm＞

しかしながら、従来では、トリミング枠を設定するために、ユーザー自身が静止画の内容を判断して注目被写体を決定しなければならず、素材の静止画の数が多いときにはトリミング枠を設定するためにフォトムービーの作成に手間がかかるという問題がある。また、非特許文献１ないし３に記載の従来技術ではトリミング枠を自動で設定することもできるが、注目被写体を考慮せずに無作為にトリミング枠を決めてしまうものであるため、人物を主題とした静止画から背景を強調したフォトムービーが作成され、背景を主題とした静止画から人物を強調したフォトムービーが作成されてしまい、ユーザーの意図が反映されたフォトムービーを作成することができないという問題がある。

本発明は、上記問題点を考慮してなされたもので、静止画の注目被写体を的確に判断し、トリミング枠の自動設定を可能としたフォトムービー作成装置及びフォトムービー作成プログラム、ならびに注目被写体を的確に決定する被写体認識方法を提供することを目的とする。

上記目的を達成するために、本発明は、静止画の画像データからその一部を切り出す範囲を定めたトリミング枠の位置又は大きさの少なくとも一方を変化させながら、動画のフレームとして複数の画像を順次に切り出す加工編集処理を施すことにより、電子ズーミング，電子パンニングを含む特殊エフェクトが付与されたフォトムービーを作成するフォトムービー作成装置において、前記静止画から人物の顔画像を検出して前記静止画の中央部にあるか周辺部にあるかを判定し、前記顔画像が中央部にある場合には人物を注目被写体とし、周辺部にある場合には人物の背景を注目被写体とする注目被写体決定手段と、決定された注目被写体に基づき、前記トリミング枠の移動経路、移動速度、移動経路上における前記トリミング枠の大きさを含むパラメータの少なくとも１つを決定するパラメータ決定手段とを設けたことを特徴とする。

前記注目被写体決定手段は、前記顔画像が前記静止画の周辺部にある場合、前記顔画像の大きさを算出し、前記静止画の大きさに対する前記顔画像の大きさの比率を求め、前記顔画像の比率が基準値よりも小さいときは人物の背景を注目被写体とし、前記顔画像の比率が基準値よりも大きいときは人物及び人物の背景の両方を注目被写体とすることを特徴とする。

前記注目被写体決定手段は、前記顔画像が前記静止画の周辺部にある場合、前記顔画像の大きさを算出し、前記静止画の大きさに対する前記顔画像の大きさの比率を求め、前記顔画像の大きさの比率から求められる人物の撮影距離と、前記静止画の画像データに予め組み込まれている撮影距離情報とを比較することにより、両者が異なるときは人物の背景を注目被写体とし、両者が同じときは人物及び人物の背景の両方を注目被写体とすることを特徴とする。

人物の両眼を抽出することにより前記顔画像を検出することを特徴とする。

人物の両眼の距離から顔画像の大きさを算出することを特徴とする。

また、本発明のフォトムービー作成プログラムは、静止画の画像データからその一部を切り出す範囲を定めたトリミング枠の位置又は大きさの少なくとも一方を変化させながら、動画のフレームとして複数の画像を順次に切り出す加工編集処理を施すことにより、電子ズーミング，電子パンニングを含む特殊エフェクトが付与されたフォトムービーを作成するためのものであって、前記静止画から人物の顔画像を検出して前記静止画の中央部にあるか周辺部にあるかを判定し、前記顔画像が中央部にある場合には人物を注目被写体とし、周辺部にある場合には人物の背景を注目被写体とする注目被写体決定手段と、決定した注目被写体に基づき、前記トリミング枠の移動経路、移動速度、移動経路上における前記トリミング枠の大きさを含むパラメータの少なくとも１つを決定するパラメータ決定手段としてコンピュータを機能させることを特徴とする。

また、本発明の被写体認識方法は、静止画の画像データから人物の顔画像を検出し、前記顔画像の位置が前記静止画の中央部にあるか周辺部にあるかを判定し、前記顔画像が中央部にある場合には人物を注目被写体とし、周辺部にある場合には人物の背景を注目被写体とすることを特徴とする。

本発明のフォトムービー作成装置及びフォトムービー作成プログラムによれば、静止画から検出された人物の顔画像が静止画の中央部に位置していれば人物を注目被写体とし、人物の顔画像が静止画の周辺部に位置していれば人物の背景を注目被写体とし、注目被写体が人物と背景のいずれかであるかを的確に判断するから、決定された注目被写体の位置に基づいてトリミング枠の自動設定を行うことができ、静止画の主題を正確に取り入れた高品質のフォトムービーを簡単に作成することが可能になる。

また、顔画像が静止画の周辺部にある場合、顔画像の大きさに応じて背景のみを注目被写体とするか、背景と人物の両方を注目被写体とするかを判断するから、様々な撮影場面の静止画の注目被写体を的確に決定できる。

また、顔画像が静止画の周辺部にある場合、顔画像の大きさから求められる人物の撮影距離と、撮影時に画像データに予め書き込まれている撮影距離情報とを比較することにより、両者が異なるときは人物の背景を注目被写体とし、両者が同じときは人物及び人物の背景の両方を注目被写体とするから、様々な撮影場面に応じた静止画の注目被写体をより的確に決定できる。

また、人物の両眼を抽出して前記顔画像を検出することにより、静止画の人物の写り方により変わる顔の輪郭や頭部の形状等の曖昧な情報を用いて顔画像を検出する場合よりも高い精度で人物の顔を検出できる。

また、人物の顔の大きさとして人物の両眼距離の大きさを指標としているから、人物の顔の大きさをその面積によって測定する場合と比べて高い精度で顔の大きさを求めることができる。

図１において、フォトムービー作成装置１０は、写真プリントサービスを提供するＤＰＥ店の店頭又は店内に設置され、フォトムービーの作成を依頼する注文客をユーザーとして操作がなされる。フォトムービー作成装置１０は、フォトムービー作成プログラムが記憶された記憶装置１１と、このフォトムービー作成プログラムを実行するＣＰＵ１２とを備えている。記憶装置１１は、例えばハードディスク型磁気記憶装置であり、フォトムービーの素材となる静止画の画像データと、ＣＰＵ１２の演算処理により生じる中間データ等が記憶される。

モニタ１３は、画面上にフォトムービー作成のための編集メニュー及び作成されたフォトムービー等を表示する。入力操作部１４は、フォトムービーの作成に必要となる編集パラメータ等の入力を行うためのもので、例えば、モニタ１３に表示された入力キー等に触れたときに、触れた位置の座標から入力内容を検知するタッチパネルからなる。通信部１５は、デジタルカメラ１６等の外部機器との間で画像データのデータ通信等を行う。メディア読取り部１７は、ユーザーにより持ち込まれたメモリカード１８がセットされ、メモリカード１８に記憶された画像データを読取る。メディア記録部１９は、作成されたフォトムービーをＣＤ、ＤＶＤ等の光ディスク２０に記録する。

ＣＰＵ１２は、記憶装置１１に記憶されたフォトムービー作成プログラムを実行することにより、ユーザーが行った入力処理等に基づいて各部の動作を制御する制御部２５と、フォトムービーを作成するフォトムービー作成部２６として機能する。フォトムービー作成部２６は、素材の静止画から人物の顔画像を検出する顔画像検出部３０と、検出された顔画像の大きさを算出し、静止画全体に対する顔画像の大きさの比率を算出する顔比率算出部３１と、検出された顔画像に基づいて注目被写体を決定する注目被写体決定部３２と、注目被写体に基づいてトリミング枠の位置を決定するトリミング枠決定部３３と、フォトムービーの動画データを出力するフォトムービー出力部３４とから構成される。

顔画像検出部３０は、静止画から人物の両眼を抽出することによって人物の顔画像を検出する。図２に示すように、人物の両眼を抽出する際には、静止画を複数の領域に分割した分割領域Ｓ１のそれぞれから、皮膚と推定される肌色の画素を多く含む斜線部で示す分割領域Ｓ１が選び出される。さらに、肌色の画素を多く含む領域から眼部の白色の画素と瞳と推定される色の画素を有する領域を選び出す処理が行われる。選び出された領域から、静止画上における人物の両眼の位置座標が求められ、両眼の位置座標の中点を代表点として顔画像の位置が求められる。

顔比率算出部３１は、抽出された人物の両眼の位置座標から図３に示す両眼距離Ｌ１を求め、この両眼距離Ｌ１から静止画全体に対する顔画像の占める比率を算出する。注目被写体決定部３２は、顔画像の位置座標と、静止画全体に対する顔画像の占める比率とから、静止画の注目被写体が人物であるか、又は人物の背景であるかを判定する。図３及び図４に示すように、注目被写体を決定する際には、人物の顔の位置座標が静止画の中央部に画定された正方形の中央エリアＡ１に属するか、その外部の周辺エリアＡ２に属するかが判定される。

人物の顔が中央エリアＡ１の内部に位置している場合、注目被写体が人物であると判定される。また、人物の顔が周辺エリアＡ２の内部に位置している場合、顔比率算出部３１により算出された人物の顔の比率が参照され、顔の比率が小さい場合には、人物の背景が注目被写体であると判定される。また、顔の比率が大きい場合には、人物と人物の背景の両方が注目被写体であると判定される。なお、中央エリアＡ１は正方形に限らず、長方形や楕円形、その他の形状であってもよい。

図５において、トリミング枠決定部３３は、注目被写体決定部３２により決定された注目被写体の位置，大きさから静止画の一部を切り出す範囲を定める長方形のトリミング枠Ｆ１を定義するパラメータとして、トリミング枠Ｆ１の中心位置、対角線長を決定する。また、トリミング枠Ｆ１は、フォトムービーの時間軸に対するトリミング枠Ｆ１の中心位置と対角線長，頂点位置からその移動経路が決められ、フォトムービーの再生時間と移動経路の長さとから移動速度が決められる。なお、トリミング枠Ｆ１は、そのアスペクト比が一般家庭用テレビの画面アスペクト比と同じに固定され、中心位置と対角線長によりその大きさが一意的に決まる。

トリミング枠Ｆ１の移動経路は、注目被写体を移動経路の始点に置く場合と、移動経路の終点に置く場合と、移動経路の中継点（中間点）に置く場合との３通りからいずれかが選択される。注目被写体がどのポイントに置かれるかは、特殊エフェクトの種類と、注目被写体が人物と背景の一方であるか両方であるかによって異なる。

例えば、図６（ａ）に示すように、１つの注目被写体がトリミング枠Ｆ１の移動経路の始点に設定され、トリミング枠Ｆ１の中心位置がほぼ固定され、対角線長が大きくなるように頂点位置が変化する場合、図６（ｂ）に示すように、人物をクローズアップした映像から、背景を含めた広角の視野の映像に変化するズームアウト効果が付与されたフォトムービーとなる。逆に、注目被写体がフォトムービーの終了ポイントに設定されると、背景を含む広角の視野の映像から人物にクローズアップした映像に変化するズームイン効果が付与されたシーンのフォトムービーとなる。

また、図７（ａ）に示すように、１つの注目被写体がトリミング枠Ｆ１の移動経路の始点に設定され、トリミング枠Ｆ１の中心位置と対角線長を固定し、その頂点を円形に移動してトリミング枠Ｆ１を回転させると、図７（ｂ）に示すように、人物をクローズアップした映像が画面内で回転する回転効果が付与されたフォトムービーとなる。このとき、対角線長が大きくなるように頂点位置をさらに変化させると、人物から遠ざかりながら回転するズームアウト効果と回転効果を複合したシーンのフォトムービーとなる。

図８，図９（ａ）に示すように、注目被写体が人物と人物の背景の２つである場合、例えば、人物がトリミング枠Ｆ１の移動経路の始点に設定され、背景が中継点に設定され、人物と背景の２つが終点に設定され、注目被写体の大きさに応じてトリミング枠Ｆ１の対角線長を変化させる場合、図９（ｂ）に示すように、人物をクローズアップした映像から背景の山をクローズアップした映像へ移行した後、さらに背景の山をクローズアップした映像から人物と背景の２つの注目被写体を含めた広角の視野の映像に移行する電子パンニングと電子ズーミングを複合したフォトムービーとなる。なお、ここでトリミング枠Ｆ１の対角線長を変化させない場合、すなわちトリミング枠Ｆ１のサイズを一定にする場合には、そのサイズが人物の大きさを優先して決められる。

特殊エフェクトが予めユーザーにより電子ズーミング又は回転エフェクトに指定された場合、注目被写体が人物又は背景の一方であれば、その注目被写体がトリミング枠Ｆ１の移動経路の始点又は終点に設定される。また、注目被写体が人物及び背景の２つであれば、いずれか一方の注目被写体が移動経路の始点または終点に設定され、他方の注目被写体は存在しないものと見なされる。

特殊エフェクトが電子パンニングに予め指定されている場合、注目被写体が人物又は背景のいずれか一方であれば、例えば、注目被写体が中継点に設定され、トリミング枠Ｆ１が注目被写体を経由するフォトムービーが作成される。特殊エフェクトが電子パンニングに予め指定され、注目被写体が人物及び背景の２つである場合には、例えば、人物と背景を合わせて１つの注目被写体とみなしたもの、人物と背景を個別に注目被写体したものの３通りの注目被写体がパンニングの始点／終点／中継点にそれぞれ割り振られる。なお、特殊エフェクトがユーザーにより指定されない場合、特殊エフェクトがランダムに選択され、上述と同様に注目被写体の置かれるポイントが決められる。

また、フォトムービーの再生時間は、各シーンの再生時間を合計した長さとなる。各シーンは予め決められた初期値（例えば５秒）に設定される場合と、ユーザーにより指定された長さ（例えば１５秒）に設定される場合とがある。トリミング枠Ｆ１は、長い再生時間が指定された時には移動経路が長く決定され、短い再生時間が指定された時には移動経路が短く決定され、再生時間の長さによってトリミング枠Ｆ１の移動速度が大きく変わらないように調整される。

フォトムービー出力部３４は、トリミング枠Ｆ１のパラメータに基づいて静止画から切り出した画像を、フォトムービーを構成する動画フレームに変換し、例えば毎秒３０フレームの動画データを生成する。また、生成された動画データを、例えば、ＭＰＥＧ２−ＤＶＤ−Ｖｉｄｅｏフォーマットのデジタル動画フォーマットに変換し、変換されたフォトムービーの動画データを記憶装置１１に格納する。記憶装置１１に格納されたフォトムービーの動画データは、メディア記録部１９により光ディスク２０に記録される。

次にフォトムービー作成装置１０の作用について図１０を用いて説明する。画像データとして静止画を記憶したデジタルカメラ１６又はメモリカード１８が注文客により持ち込まれると、デジタルカメラ１６は通信部１５に接続され、メモリカード１８はメディア読取り部１７にセットされる。制御部２５は、デジタルカメラ１６又はメモリカード１８から静止画の画像データを読み出し、これを記憶装置１１に格納する。

顔画像検出部３０は、記憶装置１１に格納された静止画を読み出し、静止画から人物の顔画像の検出する処理を行う。顔画像検出部３０は、静止画を複数の分割領域Ｓ１に分割し、この中から肌色の画素を多く含む分割領域Ｓ１を選び出す。また、肌色の画素を多く含む分割領域Ｓ１から人物の両眼が存在する分割領域Ｓ１が選び出される。これにより、両眼の位置座標が求められ、顔画像の位置が人物の両眼の中点位置として求められる。

顔比率算出部３１は、顔画像検出部３０により検出された人物の両眼の座標から両眼距離Ｌ１を算出し、静止画全体に対する顔画像の大きさの比率を算出する。注目被写体決定部３２は、人物の顔画像の位置が静止画の中央エリアＡ１に位置するか、周辺エリアＡ２に位置するかを判定する。顔画像が中央エリアＡ１に位置していた場合、注目被写体は人物と決定される。顔画像が周辺エリアＡ２に位置していた場合、両眼距離Ｌ１が予め設定された基準値と比較され、基準値を下回っていれば注目被写体は背景であると判定される。また、両眼距離Ｌ１が基準値を上回っていれば、注目被写体は人物と背景の両方であると判定される。

トリミング枠決定部３３は、決定された注目被写体の位置と数、及び人物であればその大きさとに基づき、フォトムービーの時間軸に対するトリミング枠Ｆ１の中心位置と対角線長を決定し、その移動経路と移動速度を決定する。作成されるフォトムービーの再生時間が指定されていれば、再生時間の長さに応じて基づいて移動経路の長さが調整される。移動経路を決定する際には、特殊エフェクトの種類がユーザーにより指定されているか否かが考慮され、どの注目被写体をトリミング枠Ｆ１の移動経路の始点／終点／中継点のいずれのポイントに置くかが決められる。

複数の静止画について同様の処理が行われ、トリミング枠決定部３３によりトリミング枠Ｆ１による静止画の切り出し範囲が全ての静止画について決定されると、トリミング枠Ｆ１の移動経路や対角線長、頂点座標等のパラメータの情報がフォトムービー出力部３４に送られる。フォトムービー出力部３４は、時間軸に対するトリミング枠Ｆ１の位置及び大きさの情報から静止画を順次切り出し、切り出した画像を画素数の等しい動画フレームに変換する。また、変換された動画フレームから動画データを生成し、生成した動画データをＭＰＥＧ圧縮した後にＤＶＤ−Ｖｉｄｅｏフォーマットに変換するオーサリング処理を行う。これらの処理がなされた動画データは記憶装置１１に格納される。

記憶装置１１に格納されたフォトムービーの動画データは、メディア記録部１９において光ディスク２０に書き込まれる。フォトムービーの動画データが書き込まれた光ディスク２０は、料金と引き換えにフォトムービー作成装置１０から外部に排出され、注文客に渡される。以上のようにして、フォトムービーの注文と作成、商品の受渡しが終了する。

なお、本発明においては、上記実施形態に限られず適宜の変更が可能である。例えば、注目被写体を決定する手順として、静止画から人物の顔画像を検出し、顔画像が静止画の中央部と周辺部のいずれに位置しているかにより、又は周辺部に位置している場合には顔画像のサイズ（人物の両眼距離の大きさ）の大小により注目被写体を決定しているが、例えば顔画像が画像の中央部と周辺部の境界付近の位置する場合には、近年普及している画像データの規格であるＥｘｉｆフォーマットのタグ情報を利用してもよい。図１１に示すように、デジタルスチルカメラ等により記録された画像データにシャッタスピード，絞り、撮影距離，日時情報，使用されたレンズの種類等の撮影情報が組み込まれていれば、これらの情報を読み出し、画像データにタグ情報として記録された撮影距離と、人物の両眼距離から求められる人物とカメラとの距離を比較し、両者が一致していれば人物を注目被写体とし、一致しなければ背景を注目被写体とすることができる。

上記実施形態のフォトムービー作成装置１０は、フォトムービーを作成するために静止画の画像データの読み込みからフォトムービーの動画データが記録された光ディスク作成を一括して行う専用装置として構成されているが、他の形態として、静止画の画像データを読み込ませて特殊エフェクト等の指定を行うための注文受付機と、注文受付機から静止画の画像データやユーザーにより指定された各種の情報を受信し、これに基づいてフォトムービーを作成するフォトムービー出力機とから構成されていてもよい。この場合、本発明のフォトムービー作成プログラムをパーソナルコンピュータに組み込み、注文を自宅からインターネット等の通信手段を介して行えるようにしてもよい。さらに、デジタルスチルカメラに、本発明のフォトムービー作成プログラムを組み込むことにより、撮影した画像をその場でフォトムービーとして再生出力できるようにしてもよい。

特殊エフェクトの種類としては、電子ズーミングや電子パンニング、回転エフェクトに限られるものではなく、例えば、トリミングＦ１によって静止画の一部を切り出した画像をディスプレイの画面よりも小さく表示し、画面内で移動させるコマ移動エフェクトでもよい。また、円形や菱形等のトリミング枠によって切り出す画像の位置を変更し、切り出す範囲の外側の画像を黒く塗り潰して表示することによって静止画にスポットライトを照射する視覚効果を演出した特殊エフェクト等でもよく、電子ズーミングや電子パンニング等の特殊エフェクトのように、トリミング枠によって切り出される画像が画面全体に表示される特殊エフェクトに限られない。

フォトムービー作成装置の概略構成を示すブロック図である。 人物の顔画像を検出する原理を説明するための概念図である。 注目被写体を決定する原理を説明するための概念図である。 注目被写体を決定する手順の流れを示すフローチャートである。 注目被写体が人物である時に決定するトリミング枠を示す概念図である。 トリミング枠の移動経路と、電子ズーミングが付与されたフォトムービーを示す説明図である。 トリミング枠の移動経路と、回転エフェクトが付与されたフォトムービーを示す説明図である。 注目被写体が人物と背景の２つである場合のトリミング枠を示す概念図である。 トリミング枠の移動経路と、電子ズーミングと電子パンニングを複合した特殊エフェクトが付与されたフォトムービーを示す説明図である。 フォトムービー作成装置の処理手順を示すフローチャートである。 注目被写体を決定する他の手順を示すフローチャートである。

符号の説明

１０ フォトムービー作成装置
１１ 記憶装置
１１ａ フォトムービー作成プログラム
１２ ＣＰＵ
１６ デジタルカメラ
１７ メディア読取り部
１８ メモリカード
２５ 制御部
２６ フォトムービー作成部
３０ 顔画像検出部
３１ 顔比率算出部
３２ 注目被写体決定部
３３ トリミング枠決定部
３４ フォトムービー出力部
Ｓ１ 分割領域
Ｌ１ 両眼距離
Ａ１ 中央エリア
Ａ２ 周辺エリア
Ｆ１ トリミング枠

Claims (7)

1. 静止画の画像データからその一部を切り出す範囲を定めたトリミング枠の位置又は大きさの少なくとも一方を変化させながら、動画のフレームとして複数の画像を順次に切り出す加工編集処理を施すことにより、電子ズーミング，電子パンニングを含む特殊エフェクトが付与されたフォトムービーを作成するフォトムービー作成装置において、
   前記静止画から人物の顔画像を検出して前記静止画の中央部にあるか周辺部にあるかを判定し、前記顔画像が中央部にある場合には人物を注目被写体とし、周辺部にある場合には人物の背景を注目被写体とする注目被写体決定手段と、
   決定された注目被写体に基づき、前記トリミング枠の移動経路、移動速度、移動経路上における前記トリミング枠の大きさを含むパラメータの少なくとも１つを決定するパラメータ決定手段とを設けたことを特徴とするフォトムービー作成装置。
2. 前記注目被写体決定手段は、前記顔画像が前記静止画の周辺部にある場合、前記顔画像の大きさを算出し、前記静止画の大きさに対する前記顔画像の大きさの比率を求め、前記顔画像の比率が基準値よりも小さいときは人物の背景を注目被写体とし、前記顔画像の比率が基準値よりも大きいときは人物及び人物の背景の両方を注目被写体とすることを特徴とする請求項１記載のフォトムービー作成装置。
3. 前記注目被写体決定手段は、前記顔画像が前記静止画の周辺部にある場合、前記顔画像の大きさを算出し、前記静止画の大きさに対する前記顔画像の大きさの比率を求め、前記顔画像の大きさの比率から求められる人物の撮影距離と、前記静止画の画像データに予め組み込まれている撮影距離情報とを比較することにより、両者が異なるときは人物の背景を注目被写体とし、両者が同じときは人物及び人物の背景の両方を注目被写体とすることを特徴とする請求項１記載のフォトムービー作成装置。
4. 人物の両眼を抽出することにより前記顔画像を検出することを特徴とする請求項１ないし３にいずれか１つ記載のフォトムービー作成装置。
5. 人物の両眼の距離から顔画像の大きさを算出することを特徴とする請求項４記載のフォトムービー作成装置。
6. 静止画の画像データからその一部を切り出す範囲を定めたトリミング枠の位置又は大きさの少なくとも一方を変化させ、動画のフレームとして複数の画像を順次に切り出す加工編集処理を施すことにより、電子ズーミング，電子パンニングを含む特殊エフェクトが付与されたフォトムービーを作成するためのフォトムービー作成プログラムにおいて、
   前記静止画から人物の顔画像を検出して前記静止画の中央部にあるか周辺部にあるかを判定し、前記顔画像が中央部にある場合には人物を注目被写体とし、周辺部にある場合には人物の背景を注目被写体とする注目被写体決定手段と、
   決定した注目被写体に基づき、前記トリミング枠の移動経路、移動速度、移動経路上における前記トリミング枠の大きさを含むパラメータの少なくとも１つを決定するパラメータ決定手段としてコンピュータを機能させることを特徴とするフォトムービー作成プログラム。
7. 静止画の画像データから人物の顔画像を検出し、前記顔画像の位置が前記静止画の中央部にあるか周辺部にあるかを判定し、前記顔画像が中央部にある場合には人物を注目被写体とし、周辺部にある場合には人物の背景を注目被写体とすることを特徴とする被写体認識方法。
   

Images