JP2015023294A - 動画処理装置及び動画処理方法 - Google Patents

Abstract

【課題】動きのある被写体を撮影する場合において、鑑賞しやすい動画撮影を簡単に行うこと
【解決手段】
撮像して得られた画像データから主被写体を認識する被写体認識部と、認識された主被写体を含む一部の領域を切り出す画像切り出し領域設定部と、主被写体の移動を検出する被写体移動検出部と、設定された切り出し領域内に位置する前記主被写体の許容される移動位置を制限する主被写体移動判定部と、制限された移動位置に対する前記主被写体の移動位置から、前記画像データにおける切り出し領域の切り出し位置を設定する切り出し制御部と、を具備する。
【選択図】図１

Description

本発明は、動きのある被写体を撮影する場合に、鑑賞しやすい動画撮影を簡単に行うことのできる技術に関する。

移動する被写体をデジタルカメラなどで撮影する際に、移動する被写体の移動方向を判定し、画像内での主要被写体の位置と移動方向とに基づいて、撮影画像から主要被写体を含む一部の画像を切り出すために、撮影画像の切り出し範囲を決定する技術が知られている（特許文献１）。
具体的には、顔検出による被写体の顔の向きの判断と複数の検出領域による移動方向の判断を行い、最適な構図を解析して切り出し位置を決めて静止画撮影を行うものである。

また、動画を表示する場合に、画像の揺れが生体に影響し、視聴者の気分が悪くなる、所謂画像酔いを低減するために、画像に揺れがあると判定された場合に画像を縮小して表示する方法が知られている（特許文献２）。

特開２００８−２８８７９７号公報 特開２００８−２９９２４１号公報

前記従来の技術にあるように、動画撮影をする場合には撮影時に発生する手ぶれなどの影響で撮影画像が大きくぶれることがある。このような状況において撮影された画像の一部を画像処理によって切り出し、全画面サイズに拡大して表示する場合に、画像酔いのしにくい画像を切り出すことは前記従来の技術では困難である。更に、撮影中の画像に対して画像切り出しを行う場合は、限られた時間内に画像酔いのしにくい画像切り出しを行う必要があり、また、切り出す画像の画角に対応した高性能な防振装置を用いたりしなければならず、安価な装置で対応することはできなかった。

本発明の目的は、動きのある被写体を撮影する場合において、鑑賞しやすい動画撮影を簡単に行うことのできる動画処理装置及び動画処理方法を提供することにある。

前記課題を解決するために、本発明は以下の手段を採用する。
本発明は、撮像して得られた画像データから主被写体を認識する被写体認識部と、前記画像データから、前記認識された主被写体を含む一部の領域を切り出す画像切り出し領域設定部と、前記主被写体の移動を検出する被写体移動検出部と、前記設定された切り出し領域内に位置する前記主被写体の許容される移動位置を制限する主被写体移動判定部と、前記制限された移動位置に対する前記主被写体の移動位置から、前記画像データにおける切り出し領域の切り出し位置を設定する切り出し制御部とを有し、前記主被写体の移動位置が前記移動制限値を超える場合は、前記画像切り出し領域の位置が前記主被写体を領域内に含む位置になるように移動させることを特徴とする動画処理装置を提供する。

また、本発明は、前記主被写体の移動位置が前記移動制限値を超える場合に、前記画像切り出し領域の位置が前記主被写体を含む位置になるように移動させた後に、前記主被写***置が前記画像切り出し領域内の中央域まで移動したか否かを判断する中央域判断部を更に有し、前記主被写***置が前画像切り出し領域内の中央域まで移動していないと判断された場合は、前記画像切り出し領域を更に移動させるよう制御することを特徴とする動画処理装置を提供する。

また、本発明は、前記画像切り出し領域の移動に応じて、前記主被写体移動判定部で判定する位置を移動させることを特徴とする動画処理装置を提供する。

また、本発明は、前記画像切り出し領域の位置を移動する場合には、移動する位置までの移動量を複数フレームに分割し、分割された複数フレームの間に画像切り出し領域の位置を移動することを特徴とする動画処理装置を提供する。

また、本発明は、前記画像切り出し領域の位置を移動する場合には、移動する位置までの移動量を複数フレームに分割し、分割された複数フレームの間に画像切り出し領域の位置を移動することを特徴とする動画処理装置を提供する。

また、本発明は、前記主被写体を表す位置が前記制限位置を超える場合は、前記主被写***置が前記制限位置内に位置するように制限位置を変更し、前記主被写***置が前記制限位置内に位置する場合は、前記制限位置を変更しないことを特徴とする動画処理装置を提供する。

また、本発明は、前記主被写体が前記制限位置を超えて移動した際に、超えた移動量だけ前記画像切り出し領域の位置を更に移動することを特徴とする動画処理装置を提供する。

また、本発明は、前記主被写体を追尾する追尾制御部と、前記追尾制御部により追尾する前記主被写体の位置情報を記録する位置情報記録部と、前記位置情報記録部に記憶された過去の画像フレームの位置情報から前記主被写体の移動量を算出する移動量算出部と、を更に備え、前記算出された主被写体の移動量に応じて、前記画像切り出し領域設定部で設定された切り出し領域を変更することを特徴とする動画処理装置を提供する。

また、本発明は、前記主被写体移動判定部は、前記主被写体の大きさに基づいて移動判定する範囲の大きさが設定されることを特徴とする動画処理装置を提供する。

また、本発明は、撮像して得られた画像データから主被写体を認識し、前記画像データから、前記認識された主被写体を含む一部の画像領域を切り出し、前記主被写体の移動を検出し、前記設定された画像切り出し領域内において前記主被写体が移動に係る位置制限値を超えたかどうかを判定し、前記判定された主被写体の移動位置から、前記画像データにおける画像切り出し領域の切り出し位置を設定し、前記主被写体の移動位置が前記移動制限値を超える場合は、前記画像切り出し領域の位置が前記主被写体を領域内に含む位置になるように移動させることを特徴とする動画処理方法を提供する。

本発明によれば、動きのある被写体を撮影する場合でも、鑑賞しやすい動画撮影を簡単に行うことのできる動画処理装置及び動画処理方法を提供することができる。

本発明の第１の実施形態における動画処理装置の構成を示すブロック図である。 本発明の第１の実施形態における撮像画像の全画像領域と画像切り出し領域の例を示す図である。 本発明の第１の実施形態における画像切り出し領域、顔領域、及び、移動判定領域（主被写体移動判定）の例を示す図である。 本発明の第１の実施形態における動画撮影記録の例を示すフローチャートである。 Ｎフレームの画像における顔領域と、画像切り出し領域の設定例を示す図である。 （Ｎ＋１）フレームの画像における画像の移動と、画像切り出し領域の設定例を示す図である。 画像切り出し領域に対する移動判定領域の設定と画像の切り出し枠（領域）の設定例を示すフローチャートである。 画像と画像切り出し領域の設定例を示す図である。 図６（ａ）における画像切り出し領域に対する顔領域と移動判定領域（主被写体移動判定）の設定例を示す図である。 被写体の移動量が比較的小さい場合のＮフレーム、Ｎ＋１フレーム、及び、Ｎ＋２フレームの全画像と画像切り出し領域、及び、顔領域を示す図である。 図７（ａ）におけるＮフレーム、Ｎ＋１フレーム、及び、Ｎ＋２フレームの画像切り出し領域、移動判定領域、及び、顔領域の位置を示す図である。 被写体の移動量が比較的大きい場合のＭフレーム、Ｍ＋１フレーム、及び、Ｍ＋２フレームの全画像と画像切り出し領域、及び、顔領域を示す図である。 図８（ａ）におけるＭフレーム、Ｍ＋１フレーム、及び、Ｍ＋２フレームの画像切り出し領域、移動判定領域、及び、顔領域の位置を示す図である。 本発明の第２の実施形態における撮像画像の全画像領域と画像切り出し領域の例を示す図である。 本発明の第２の実施形態における画像切り出し領域、顔領域、及び、移動判定領域（主被写体移動判定）の例を示す図である。

（第１の実施形態）
図１は本発明の第１の実施形態である動画処理装置の構成を示すブロック図である。レンズユニット１００は、焦点調節を行うフォーカスレンズ部、焦点距離を変更するズームレンズ部、絞り、光学防振ユニット、及び、メカシャッターなどから構成された、光学特性を変更するための駆動部を有するもので、例えば着脱可能な形態の交換レンズとして構成される。

レンズユニット制御部１０１は、前記レンズユニット１００の各駆動部を駆動制御するもので、例えば、フォーカスレンズ駆動、ズームレンズ駆動、絞り駆動、光学防振ユニット駆動、及びメカシャッター駆動などの各機構を駆動する駆動制御部、及びそれらの駆動位置エンコーダの読み取り部などから構成される。

撮像部１０２は、前記レンズユニット１００により導かれた光束を受光し、光電変換して静止画や動画を形成するための画像データを出力する撮像素子を有する。この撮像素子は、例えば２次元ＣＭＯＳイメージセンサや積層型の波長別受光部を有するイメージセンサなどから構成される。

ＣＰＵ１０３は、本動画処理装置の各構成要素を制御するプログラムを実行し、また、制御パラメータの演算や画像データの処理を行ったりする制御部を有し、マイクロプロセッサ、ＧＰＵ（Graphics Processing Unit）などを含むユニットで構成される。更に、画像の一部を切り出す場合に、切り出される画像内に主被写体が含まれているように、主被写体の移動が許容される移動範囲を制限する主被写体移動判定部１０４を有する。

前記撮像部１０２から出力された画像データを基に、ＡＥ処理部１０５では、撮影画像の露出を決定する処理を行い、ＡＦ処理部１０６では、主被写体の焦点状態を検出し、前記レンズユニット１００を合焦位置に駆動する処理を行う。
また、前記撮像部１０２から出力された画像データから、被写体認識部１０７では画像に含まれる人物の顔を検出し、追尾制御部１０８では、被写体認識部１０７で検出された、もしくは、ユーザにより設定された主被写体を追尾する制御を行う。

この被写体認識部１０７での認識と追尾制御部１０８での追尾については、それぞれ公知の方法を用いればよく、例えば顔認識技術として用いられている目、鼻、口などの器官検出や、各特徴部の大きさ、形状、コントラスト、エッジ情報を画像データから顔を検出する。そして、特徴点検出法や色成分抽出法を用いて被写体の特徴点を検出し、これらのデータを用いることによって被写体の追尾を行うことができる。

ここで、顔の検出についてより具体的に述べると、顔の特徴を一般化したモデルパターンを画像内の所定領域毎のデータと比較し、類似度の高い領域が存在するか否かを検出することによって顔検出が行われる。このとき、取得した画像について複数の大きさのモデルパターンを作成して類似度のマッチングを行うことで、想定する顔の大きさに対応したマッチングを行う。その結果から、顔の有無、位置、及び顔の大きさを検出することができる。また、検出された顔部の移動量は、撮像された画像データ毎に顔部の位置を検出し、これらの位置の差分から顔部の移動量を算出する。

位置情報記録部１０９は、前記主被写体の画面上の位置を算出してその位置を表すデータを記録し、移動量算出部１１０は、前記主被写***置の時間変化、例えば取得した画像フレーム間の空間的な移動量を算出し、切り出し制御部１１１では、前記主被写体の画面上の位置や移動量などに基づいて、撮像して得た画像データから一部の画像データを、全画面の画像データにする画像データとして切り出す制御を行う。

メモリ１１２は、前記撮像部１０２で得られた画像データや各部で処理された画像データを、バス１２２を経由して記憶するためのメモリで、例えば高速にメモリ内に記憶されたデータの読み出しや書き込みが可能なＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）などで構成される。

画像処理部１１３は、撮像部１０２で撮像された画像を記録または表示用の画像データとして処理を行うもので、メモリ制御部１１４を介して保存用メモリ１１５に記録用の画像データを保存したり、表示制御部１１６を介して装置本体の背面に設けられた背面表示部１１７ａや覗き込み型の表示部からなるＥＶＦ部１１７ｂにて画像をライブビュー画像として表示したりする。ここで、保存用メモリ１１５は、装置に内蔵されたものでもよいし、着脱可能になされた外部メモリでもよく、例えばＦｌａｓｈ Ｍｅｍｏｒｙなどを用いることができる。また、背面表示部１１７ａ、ＥＶＦ部１１７ｂは、例えばカラーＬＣＤ（Liquid Crystal Display）やＯＬＥＤ（Organic Light Emitting Diode）などの表示デバイスを用いることができる。

シャッタ釦１１８は、静止画の撮影開始を指示するための釦や動画の撮影開始を指示するための釦等からなり、例えば、静止画の撮影開始を指示するための釦が半押されることで、第１レリーズスイッチがオンして焦点検出や測光を行い、更に全押しされることで、第２レリーズスイッチがオンして撮影の露光が行われる。また、操作釦１１９は、撮影者が操作する撮影または再生に関わる操作スイッチや電源釦などからなる。

タッチパネル１２０は、前記背面表示部１１７ａ上に設けられ、表示された画像に対応した位置へのタッチ操作に応じた入力位置または動作を検出したり、指の動きに応じた動作に伴うジェスチャを検出したりする。

Ｉ／Ｆ部１２１は、外部機器との通信を行うために設けられたもので、例えば、無線通信や有線通信によって、画像データ、制御データ、装置を制御するファイル、或いは制御コマンド等を送受信したり、保存用メモリ１１５に保存された画像データを外部機器で閲覧、編集を行ったりするためのコントローラを有している。

図２（ａ）は、前記撮像部１０２で撮像して得た撮像画像の全画像領域と画像切り出し領域の例を示した図で、全画像領域２０１から、設定された主被写体２０３を含む鑑賞に適した大きさの画像として、同図の位置及び大きさからなる画像切り出し領域２０２を設定する例を示したものである。また、図２（ｂ）は、図２（ａ）における画像切り出し領域２０２を全画像領域２０１と同じ大きさになるように、電子的に拡大した画像データを表すものである。

前記図２（ｂ）では、画像切り出し領域２０２として切り出された画像に含まれる主被写体２０３の動きを判定するために、主被写体として認識した人物の顔部分に、顔領域２０４を設定する。そして、この顔領域２０４が左右方向の中心に位置するように、主被写体２０３の移動位置の判定を行う移動判定領域２０５が設定される。すなわち、同図において破線で示された顔領域２０４が存在する側の領域が移動判定領域２０５となる。なお、この実施例では、移動判定領域２０５は破線で示す領域として設定されるが、主被写体２０３の移動を判定することができる他の方法、例えば主被写体２０３の現在位置からの移動量の限界値を設定し、移動を判定する等、他の方法を用いて判定してもよい。

図３は、本装置における動画撮影記録の例を示すフローチャートで、撮影画角に対して画像切り出し領域２０２を自動的に移動する制御を行う。以下、このフローについて説明する。

ＣＰＵ１０３は、シャッタ釦１１８によって動画の記録開始及び停止を指示する釦への操作が行われ、動画の記録開始指示がなされたことを検出すると、撮像されたフレーム内の画像データから、被写体認識部１０７で認識された主被写体２０３の位置を示す顔領域２０４が図２（ｂ）における移動判定領域２０５内に位置するかどうかを判断する（Ｓ３０１）。ＣＰＵ１０３において、顔領域２０４が移動判定領域２０５内に位置すると判断された場合は、位置情報記録部１０９にて主被写体２０３の位置、即ち顔領域２０４の位置を記録し（Ｓ３０２）、画像切り出し領域２０２の位置は移動させずに、同じ位置に保つ（Ｓ３０３）。

その後、ユーザによる操作により動画記録終了動作がされたかどうかを調べる（Ｓ３０６）。ここで、動画記録終了動作は、前記シャッタ釦１１８が再度操作されたことを検出した場合に動画記録の終了指示がされたと判断する。ステップＳ３０６において、動画記録終了動作がされていないと判断した場合は、次の画像フレームを取得し（Ｓ３０９）、再びステップＳ３０１に戻って主被写体２０３の位置判定を行う。

ステップＳ３０６で動画記録終了動作がされたと判断した場合は、動画の記録を終了する。ここで、動画記録データは、動画記録の開始時に撮影情報などのヘッダーデータを書き込んだ後に画像データ、例えば画像処理部１１３でＭＰＥＧ（Moving Picture Experts Group）方式で、設定された圧縮率に応じて圧縮処理された画像データを順次保存用メモリに記録し、動画記録の終了時に、フッターデータを書き込んで動画データを作成する。なお、動画の圧縮方式については、ＭＰＥＧ方式以外、例えば可逆圧縮の他方式を用いても構わないし、非圧縮形式で記録しても構わない。また、動画撮影時の付帯情報、例えば、露出決定パラメータ、音声分析結果、表情分析結果、シーン判定結果、などの少なくとも１つを含む付帯情報を撮影された動画データに関連付けて記録すれば、この付帯情報を再生時や編集時に利用することができる。

一方、ステップＳ３０１で顔領域２０４が移動判定領域２０５内に位置しないと判断された場合、すなわち、主被写体２０３の移動量が大きい場合は、位置情報記録部１０９にて主被写体２０３の位置を記録し（Ｓ３０４）、移動量算出部１１０で前の画像フレームからの主被写体２０３の画面内における移動量を算出する（Ｓ３０４）。そして、算出された画面内移動量に基づき、画像切り出し領域２０２を移動する（Ｓ３０５）。例えば、前の画像フレームと現在の画像のフレームにおける顔領域２０４の位置の差分を主被写体２０３の移動量（Ｘ）とする場合、画像切り出し領域２０２を算出された移動量と同じ量（Ｘ）だけ移動させる。
例えば、主被写体２０３が等速で移動を続ける場合は、主被写体２０３の移動量（Ｘ）と切り出し画像領域の移動量（Ｘ）が同じとなるので、切り出し画像領域２０２に対する主被写体２０３の位置は常に同じ位置となる。すなわち、表示画面に対して主被写体２０３の位置はほぼ同じ位置に表示される。

続いて、現在の画像フレームにおいて前の画像フレームから移動した主被写体２０３の位置が画面の中央を越えたかどうかを判断し（Ｓ３０７）、主被写体２０３の位置が表示画面の中央を越えたと判断された場合はステップＳ３０６へ移り、前記と同様の処理を行う。
ステップＳ３０７の判断でステップＳ３０６へ分岐させることで、主被写体２０３が移動した場合に、主被写体２０３を画像切り出し領域２０２の表示画面の中央に位置するように画像を切り出す制御を行うことができる。
この制御は、主被写体２０３が移動判定領域２０５の端、即ち枠の位置で停止した場合に、表示画面上での主被写体２０３の左右のスペースが異なることによる不自然さを解消する為に設けている。したがって、画像切り出し領域２０２の移動による表示画面の移動が発生し、その後、表示画面の移動が停止した際には、必ず主被写体２０３が画面中央に戻るように画面制御を行う。

前記ステップＳ３０７で、現在の画像フレームにおいて前の画像フレームから移動した主被写体２０３の位置が表示画面の中央を越えていないと判断された場合は、引き続き動画記録終了動作がされたかどうかを調べる（Ｓ３０８）。ここで、ステップＳ３０８で動画記録終了動作があると判断した場合は、動画の記録を終了する。
また、ステップＳ３０８で動画記録終了動作がされていないと判断した場合は、次の画像フレームを取得し（Ｓ３１０）、前の画像フレームで算出された移動量（Ｘ）だけ画像切り出し領域２０２を移動する（Ｓ３１１）。
このように、主被写体２０３の移動量よりも画像切り出し領域２０２の位置を多く移動させることにより、主被写体２０３を移動判定領域２０５内に再び捕捉する制御を行う。
次に、ステップＳ３１２で、主被写体２０３の位置が移動判定領域２０５内に位置したかどうかを調べる。ここで、主被写体２０３の位置が移動判定領域２０５内に位置すると判断された場合は、ステップＳ３０７へ移動する。
これは、主被写体２０３の移動速度が比較的遅い場合に、主被写体２０３の移動量に対する移動判定領域２０５の移動量を大きくしたことによって、主被写体２０３を移動判定領域２０５内に再び捕捉したい場合に相当する。
一方、主被写体２０３の位置が移動判定領域２０５内に位置しないと判断された場合は、ステップＳ３１３へ移動し、主被写体２０３の位置と移動判定領域２０５の位置の差分Δ（デルタ）を算出し、画像切り出し領域２０２の位置をこの差分Δだけ更に移動させ、その後ステップＳ３０８へ移る。
これは、主被写体２０３の移動速度が比較的速い場合に、主被写体２０３の移動量に対する移動判定領域２０５の移動量の不足分を更に補うことによって、主被写体２０３を移動判定領域２０５内に再び捕捉させたい場合に相当する。
主被写体２０３の移動が非常に速い場合は、ステップＳ３０７により画像切り出し領域２０２の位置を更に移動しても主被写体２０３の位置は表示画面の中央に近づくことができず、移動判定領域２０５の枠付近に位置することになる。

前記したように、第１の実施形態においては、主被写体２０３をなるべく表示画面の中央に位置するように、主被写体２０３の移動した位置と移動判定領域２０５との位置関係から判断することによって、画像切出し領域２０２の移動を制御している。そのため、顔領域２０４が移動判定領域２０５内に位置していれば、顔領域２０４が頻繁に移動するようなシーンであっても、画像切り出し領域２０２の位置が頻繁に移動することが起こりにくくなり、鑑賞に適した動画を提供することが可能になる。
なお、第１の実施形態においては、ステップＳ３０７において主被写体２０３の位置が表示画面の中央を越えたかどうかで判定したが、中央位置に限定せず、中央付近の領域に入った、または、中央付近の領域を越えたかどうかで判定しても実質的に同じ効果が得られるものであればよい。
また、主被写体２０３の位置が表示画面の中央を越えたかどうかの判定に替えて、移動判定領域２０５を越えたかどうかを判定するようにすれば、主被写体２０３が移動判定領域２０５内にある間は、画像切り出し領域２０２の移動は生じないようにすることも可能である。何れにおいても、主被写体２０３の移動量を判断することによって、主被写体が画面内で頻繁に移動しても、画面切り出し領域の移動があまり生じないように制御することで、鑑賞に適した動画を提供することができる。

図４（ａ）及び図４（ｂ）は、前述した図３の動画記録を行うときの撮像画像の例を示している。

図４（ａ）は、Ｎフレーム目の画像における顔領域２０４と、画像切り出し領域２０２を設定する例である。同図において、全画像領域２０１の画面上の左下位置を原点とした場合、画像切り出し領域２０２の左下位置の座標位置は（Ｂｘ、Ｂｙ）となり、主被写体２０３の位置を表す顔領域２０４の左下位置の座標位置は（Ｓｘ、Ｓｙ）となる。これらの座標を基に、それぞれを画像切り出し領域２０２の位置、及び顔領域２０４の位置として設定する。

図４（ｂ）は、前記Ｎフレーム目の画像の後に取得された（Ｎ＋１）フレーム目の画像における画像の移動と、画像切り出し領域２０２の設定例である。同図においては、前記Ｎフレーム目の状態から画像全体の位置が画面上で右側へ移動している。この被写体の移動に伴い、顔領域２０４の座標位置が（Ｓｘ＋Ｓ０、Ｓｙ）へと移動する。なお、この第１の実施形態では実質的に画面横方向のみに被写***置が水平移動した場合を想定した例で、図３のフローにおけるステップＳ３０１が「Ｙ」の方に分岐して切り出し位置、即ち、画像切り出し領域２０２を移動しない場合に相当する。

このように、主被写体２０３の位置が移動しても、条件によっては画像切り出し領域２０２を移動させない、即ち、全画像領域２０１に対して画像切り出し領域２０２が移動しない状態で画像を見ることができ、画像の鑑賞がしやすい動画の表示を提供することがきる。なお、前記図４（ａ）では各領域の大きさについて具体的に示していないが、これについては前記各領域の座標と、領域を形成する各辺の長さを設定すれば各領域の位置と大きさを確定することができる。

図５は、図６（ａ）及び図６（ｂ）における画像切り出し領域２０２に対する移動判定領域２０５の設定例を示すフローチャートである。以下、このフローチャートについて説明する。

まず、本装置の未図示の設定メニューから、動画切り出し撮影を実施する機能を有効にする設定を行う（Ｓ５０１）。その後、撮像して得た画像データより図１のブロック図における被写体認識部１０７で被写体認識を行い、予め個人認証登録された人物に相当すると思われる人物が画面内に存在するか否かを調べる（Ｓ５０２）。個人認証は、まず、目、鼻、口など、顔の器官を検出し、その位置関係に基づいて顔であることを認識することで、人物の有無を認識する。更に、検出された顔の各器官と個人認証登録された各器官の配置データとを対比して、個人認証登録された人物の特徴と一致するかどうかを判断することによって行われる。

ステップＳ５０２において検出された人物が、予め個人認証登録された人物であると判断された場合は、図６（ａ）に示すように、その人物が画面の中心に位置するように切り出し枠、即ち画像切り出し領域２０２を設定し、背面表示部１１７ａ上でライブビュー画像に重畳して画像切り出し枠を表示する（Ｓ５０３）。

その後、ＣＰＵ１０３はユーザにより主被写体の選択がされたかどうかを調べる（Ｓ５０４）。ここで、主被写体の選択は、図１のタッチパネル１２０によって、表示画像上の対応する位置のタッチ入力を検出することによって、ＣＰＵ１０３はその位置に表示された被写体を主被写体２０３として確定する。

ステップＳ５０５において、ユーザによる主被写体の選択がされなかったと判断された場合は、ステップＳ５０２で個人認証された顔の位置を基に移動判定領域２０５を設定し、動画撮影の待機状態を保持する（Ｓ５０５）。即ち、図６（ｂ）において、全画像領域２０１の画面左上から、選択された主被写体の顔領域２０４の横方向の長さ（ＸＸ）、縦方向の長さ（ＹＹ）と、それぞれに等しい長さだけ移動した位置に移動判定領域２０５を設定する。

ステップＳ５０２において、個人認証された人物ではないと判断された場合は、引き続き主被写体の選択がユーザによりされたかどうかを調べる（Ｓ５０６）。ステップＳ５０４またはステップＳ５０６において、ユーザによる主被写体の選択がされたと判断された場合は、この主被写体２０３を中心に切り出し枠、即ち画像切り出し領域２０２を設定し、背面表示部１１７ａ上でライブビュー画像に重畳して表示し（Ｓ５０７）、前記したステップＳ５０５へ移る。

ステップＳ５０６において、ユーザによる主被写体の選択がされなかったと判断された場合は、全画像領域２０１内の画像の中心に切り出し枠、即ち画像切り出し領域２０２を設定し、背面表示部１１７ａ上でライブビュー画像に重畳して枠を表示する（Ｓ５０８）。その後、画像切り出し領域２０２を設定せずに動画待機状態を保持する（Ｓ５０９）。この場合は移動判定領域２０５を設定しないだけなので、画像切り出し枠は事前に設定された大きさか、または初期設定された大きさの何れかの大きさとなり、主被写体がいない為に画面中心に対して拡大ズームしたような動画になる。

図７（ａ）は、被写体の移動量が比較的小さい場合における、画像フレームがＮフレーム、Ｎ＋１フレーム、及び、Ｎ＋２フレームの場合の全画像領域２０１、画像切り出し領域２０２、及び、顔領域２０４を示す図であり、図７（ｂ）は、前記図７（ａ）におけるＮフレーム、Ｎ＋１フレーム、及び、Ｎ＋２フレームから切り出した画像切り出し領域２０２、移動判定領域２０５、及び、顔領域２０４の位置を示している。また、図中に白抜きで記載された矢印の方向は撮像順の推移を示している。

同図７（ａ）に示すように、顔領域２０４に対して画像切り出し領域２０２が設定された場合、この画像切り出し領域２０２に対して更に移動判定領域２０５が設定される。このとき、座標の原点を全画像領域２０１の左下角として、画像切り出し領域２０２の座標位置を（Ｘｂ、Ｙｂ）、移動判定領域２０５の座標位置を（Ｘａ、Ｙａ）、及び、顔領域２０４の座標位置を（Ｘｓ、Ｙｓ）として位置情報記録部１０９に記録する。ここで、画像切り出し領域２０２の縦方向の長さをＹ、移動判定領域２０５の縦方向の長さをＹｈとすると、前記図６（ｂ）で説明したように、
Ｘａ＝Ｘｂ＋ＸＸ （式１）
Ｙａ＝Ｙｂ＋ＹＹ （式２）
となる。Ｎフレームの主被写体２０３の位置からＮ＋１フレームの位置に主被写体２０３が移動すると、図７（ｂ）のＮ＋１フレームで示すように、顔領域２０４の位置が（Ｘｓ＋Ｘ１、Ｙｓ＋Ｙ１）の位置に移動する。この場合、顔領域２０４は移動判定領域２０５内に位置しているため、図７（ａ）におけるＮ＋１フレームに示すように、画像切り出し領域２０２の移動は行われない。

更に、図７（ｂ）においてＮ＋１フレームの主被写体２０３の位置からＮ＋２フレームの位置に主被写体が移動して顔領域２０４が位置（Ｘｓ＋Ｘ２、Ｙｓ＋Ｙ１）に移動した場合は、顔領域２０４は移動判定領域２０５内に留まる位置に移動する。よって、図７（ａ）におけるＮ＋２フレームに示すように、この場合も画像切り出し領域２０２の移動は行われない。このときの処理は、前記した図３のフローチャートにおける、ステップＳ３０１→Ｓ３０２→Ｓ３０３→Ｓ３０６→Ｓ３０９→Ｓ３０１の各処理に相当する。

図８（ａ）及び図８（ｂ）は、前記第１の実施形態で撮影された画像シーンの異なる移動例を示したもので、顔領域２０４が移動判定領域２０５を超える場合の例である。ここで、図８（ａ）は被写体の移動量が比較的大きい場合のＭフレーム、Ｍ＋１フレーム、及び、Ｍ＋２フレームの全画像領域２０１、画像切り出し領域２０２、及び、顔領域２０４を示し、図８（ｂ）は、前記図８（ａ）におけるＭフレーム、Ｍ＋１フレーム、及び、Ｍ＋２フレームの画像切り出し領域２０２、移動判定領域２０５、及び、顔領域２０４の位置を示している。

図８（ａ）に示すように、顔領域２０４に対して画像切り出し領域２０２が設定された場合、図８（ａ）のように、画像切り出し領域２０２に対して顔領域２０４と移動判定領域２０５が設定される。このときの画像切り出し領域２０２の座標位置（Ｘｂ、Ｙｂ）、移動判定領域２０５の座標位置（Ｘａ、Ｙａ）、及び、顔領域２０４の座標位置（Ｘｓ、Ｙｓ）は、それぞれ前述の式（１）、式（２）と同じ関係となる。

その後、Ｍフレームの主被写体２０３の位置からＭ＋１フレームの位置に主被写体２０３が移動すると、図８（ｂ）のＭ＋１フレームに示すように、顔領域２０４の位置が（Ｘｓ＋Ｘ３、Ｙｓ）の位置に移動する。この場合、顔領域２０４は移動判定領域２０５を越えた位置になっている。この時点では、図８（ａ）に示すように、Ｍ＋１フレームでの画像切り出し領域２０２の移動はまだ行われない。

Ｍ＋１フレームで顔領域２０４が移動判定領域２０５を越えたことが検出されると、図８（ｂ）のＭ＋２フレームの図にあるように、顔領域２０４の位置（Ｘｓ＋Ｘ３、Ｙｓ）が移動判定領域２０５内の中心に位置するように、移動判定領域２０５の位置をＭ＋１フレームまでの座標（Ｘａ、Ｙａ）から座標（Ｘａ＋Ｘ３、Ｙａ）に移動する。これに伴い、図８（ａ）におけるＭ＋２フレームに矢印で示した方向に、Ｍ＋２フレームで画像切り出し領域２０２に対する移動判定領域２０５の相対位置が同じ位置になるまで、即ち、矢印の方向にＸ３ほど画像切り出し領域２０２を移動して主被写体２０３が切り出し画像領域２０２から外れないように制御する。

図の例では、図８（ｂ）に示すようにＭ＋１フレームとＭ＋２フレームとで主被写体２０３の移動が実質無い為、結果的に、ＭフレームとＭ＋２フレームの画像切り出し領域２０２と主被写体２０３の顔領域２０４との位置関係は同じになる。

ここで、画像切り出し領域２０２の位置の移動は、画像フレームの移動速度を略一定に保つ為に、1フレームの移動量を保持したまま移動する。また、上下方向の位置は保持したまま移動しない。なお、被写体の動き量によっては、画像切り出し領域２０２の位置を移動する際に、その移動量を画像フレーム複数枚分に均等に分け、複数フレームを使い時間をかけて移動することで、フレーミングの移動を緩やかに行うようにしてもよい。

このように画像切り出し領域２０２の制御を行うことで、主被写体２０３を含む撮影画像が画面内で頻繁に移動するような撮影状況においても、主被写体２０３を追尾しつつ、且つ、主被写体２０３の移動に影響され過ぎることもなく鑑賞しやすい画像を得ることができる。

（第２の実施形態）
図９（ａ）は、本発明の第２の実施形態における撮像画像の全画像領域２０１と画像切り出し領域２０２の例を示す図であり、図９（ｂ）は、画像切り出し領域２０２、顔領域２０４、及び、移動判定領域２０５（主被写体移動判定）の例を示す図である。

図９（ａ）のように、全画像領域２０１において設定された画像切り出し領域２０２に対して、図９（ｂ）に示すように顔領域２０４の縦方向の長さをＹＹ、横方向の長さをＸＸとし、移動判定領域２０５を、顔領域２０４が中心に配置される位置で、縦方向の長さをＡ×ＹＹ、横方向の長さをＡ×ＸＸの大きさに設定する。ここにおいて、Ａは正の係数であり、顔の大きさ、即ち人物の画面上の大きさに合った移動判定領域２０５の大きさを設定することができ、人物の移動に対して適切な判断を行うことができる。また、人物の大きさに応じた移動判定領域２０５の設定が行えるため、画面上の人物の大きさや、ズーム移動により人物の大きさが変わるようなシーンの場合においても、前記第１の実施形態に示したような制御を円滑に行うことができるようになる。

本発明は、前記した実施形態に限定するものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。例えば、前記実施形態では主被写体２０３として人物の顔を認識することとしたが、顔以外の被写体認識を行うことによっても同様な構成によって効果を得ることができる。また、前記実施形態では、一人の顔に対する動き検出を行っているが、複数の顔を主被写体として移動判定領域２０５を設定するようにしても構わない。更に、複数の顔毎に移動判定領域２０５を設定し、相互の位置関係を基に画像切り出し領域２０２の移動を制御するようにしても構わない。

また、移動判定領域２０５の設定も、領域に限らず、主被写体２０３のフレーム間の相対移動量に基づいて画像切り出し領域２０２の移動を制御するようにしても良い。また、前記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

また、前記の実施形態においては、移動判定領域２０５の大きさを固定としたが、顔領域２０４が移動判定領域２０５の外に位置する移動量の場合は移動判定領域２０５の大きさを移動量に応じて拡大または縮小し、フレームから外れることを防ぐようにしてもよい。

また、前記の実施形態においては、横方向の移動を基に画像切り出し領域２０２の位置を移動制御したが、縦方向に関して移動制御するようにしてもよい。

１０３ ＣＰＵ（画像切り出し領域設定部を含む）
１０７ 被写体認識部（顔認識部を含む）
２０１ 全画像領域
２０２ 画像切り出し領域
２０３ 主被写体
２０４ 顔領域
２０５ 移動判定領域（主被写体移動判定を示す領域）

Claims (9)

1. 撮像して得られた画像データから主被写体を認識する被写体認識部と、
   前記画像データから、前記認識された主被写体を含む一部の領域を切り出す画像切り出し領域設定部と、
   前記主被写体の移動を検出する被写体移動検出部と、
   前記設定された画像切り出し領域内において前記主被写体の移動に係る位置制限値を超えたかどうかを判定する主被写体移動判定部と、
   前記判定された主被写体の移動位置から、前記画像データにおける画像切り出し領域の切り出し位置を設定する切り出し制御部と、
   を有し、
   前記主被写体の移動位置が前記移動制限値を超える場合は、前記画像切り出し領域の位置が前記主被写体を領域内に含む位置になるように移動させることを特徴とする動画処理装置。
2. 前記主被写体の移動位置が前記移動制限値を超える場合に、前記画像切り出し領域の位置が前記主被写体を含む位置になるように移動させた後に、前記主被写***置が前記画像切り出し領域内の中央域まで移動したか否かを判断する中央域判断部を更に有し、
   前記主被写***置が前画像切り出し領域内の中央域まで移動していないと判断された場合は、前記画像切り出し領域を更に移動させるよう制御することを特徴とする請求項１に記載の動画処理装置。
3. 前記画像切り出し領域の移動に応じて、前記主被写体移動判定部で判定する位置を移動させることを特徴とする請求項１に記載の動画処理装置。
4. 前記画像切り出し領域の位置を移動する場合には、移動する位置までの移動量を複数フレームに分割し、分割された複数フレームの間に画像切り出し領域の位置を移動することを特徴とする請求項１に記載の動画処理装置。
5. 前記主被写体を表す位置が前記制限位置を超える場合は、前記主被写***置が前記制限位置内に位置するように制限位置を変更し、前記主被写***置が前記制限位置内に位置する場合は、前記制限位置を変更しないことを特徴とする請求項１に記載の動画処理装置。
6. 前記主被写体が前記制限位置を超えて移動した際に、超えた移動量だけ前記画像切り出し領域の位置を更に移動することを特徴とする請求項２に記載の動画処理装置。
7. 前記主被写体を追尾する追尾制御部と、
   前記追尾制御部により追尾する前記主被写体の位置情報を記録する位置情報記録部と、
   前記位置情報記録部に記憶された過去の画像フレームの位置情報から前記主被写体の移動量を算出する移動量算出部と、
   を更に備え、
   前記算出された主被写体の移動量に応じて、前記画像切り出し領域設定部で設定された切り出し領域を変更することを特徴とする請求項２に記載の動画処理装置。
8. 前記主被写体移動判定部は、前記主被写体の大きさに基づいて移動判定する範囲の大きさが設定されることを特徴とする請求項２に記載の動画処理装置。
9. 撮像して得られた画像データから主被写体を認識し、
   前記画像データから、前記認識された主被写体を含む一部の画像領域を切り出し、
   前記主被写体の移動を検出し、
   前記設定された画像切り出し領域内において前記主被写体が移動に係る位置制限値を超えたかどうかを判定し、
   前記判定された主被写体の移動位置から、前記画像データにおける画像切り出し領域の切り出し位置を設定し、
   前記主被写体の移動位置が前記移動制限値を超える場合は、前記画像切り出し領域の位置が前記主被写体を領域内に含む位置になるように移動させることを特徴とする動画処理方法。