JP6205464B2 - 撮影機器 - Google Patents

Description

本発明は、フォトインムービーモード及びマルチフレームモードを有する撮影機器に関する。

近年、デジタルカメラなどの撮影機能付き携帯機器（撮影機器）は、画像処理を駆使して、様々な撮影機能を備えている。例えば、特許文献１においては、全体の雰囲気を捉えるために広角側で撮影した画像と、迫力のある瞬間を捉えるために望遠側で撮影した画像とを合成記録して、１画面に２画像を表示する機能を有した撮影装置が開示されている。

また、撮影機器においては、静止画のみならず、動画撮影機能を有するものが多い。例えば、動画撮影中に静止画を撮影する、所謂フォトインムービー機能を有する撮影機器が広く知られている。更に、シャッタボタンを押すことによって静止画とこの静止画の前後の動画を記録する、所謂回想フォト機能を有する撮影機器もある。また、動画として画面全体をリサイズした動画と画面の一部の動画の２種類の動画を記録する、所謂マルチフレーム機能を有する撮影機器もある。

特開２０１０−２６８０１９号公報

しかしながら、従来、フォトインムービー機能、回想フォト機能及びマルチフレーム機能を備えた撮影機器においては、これらの機能を実現する各撮影モードのうちのいずれかの撮影モードに設定するために、撮影操作前に撮影モードの設定操作を行う必要があり、設定に時間を要しシャッタチャンスを逃しやすいという問題があった。

本発明は、撮影操作が撮影モードの設定操作を兼ねるように設定することで、各撮影モードへの移行及び撮影に要する時間を短縮することができる撮影機器を提供することを目的とする。

本発明に係る一態様の撮影機器は、被写体を撮像して得た撮像画像を出力する撮像部と、前記撮像画像を記録する記録部と、前記撮像部において出力された前記撮像画像のうち第１の領域における動画像である第１動画像を取得する第１領域画像取得部と、前記第１の領域のうち所定の一部領域を第２の領域として指定する領域指定手段と、前記領域指定手段によって指定された前記第２の領域における動画像である第２動画像を取得する第２領域画像取得部と、前記第２の領域における前記第２動画像を追尾するよう指示する追尾指示手段と、前記追尾指示手段により追尾指示がなされた際に、追尾動作を制御すると共に、前記第１動画像と前記第２動画像との少なくとも一方に係る静止画像を前記記録部に記録せしめる制御部と、前記第１動画像と前記第２動画像とを同一画面上において合成表示するよう制御する合成表示制御部と、を具備し、前記合成表示制御部は、前記第２動画像が追尾される場合には、前記第１動画像と前記第２動画像とのいずれか一方をメイン画像とし、他方をサブ画像として合成表示制御し、前記制御部は、前記合成表示制御部により前記第１動画像がサブ画像として合成表示制御された際において、前記第２動画像が追尾される場合には、前記第２動画像に係る静止画像を前記記録部に記録せしめる。
本発明に係る他の態様の撮影機器は、被写体を撮像して得た撮像画像を出力する撮像部と、前記撮像画像を記録する記録部と、前記撮像部において出力された前記撮像画像のうち第１の領域における動画像である第１動画像を取得する第１領域画像取得部と、前記第１の領域のうち所定の一部領域を第２の領域として指定する領域指定手段と、前記領域指定手段によって指定された前記第２の領域における動画像である第２動画像を取得する第２領域画像取得部と、前記第２の領域における前記第２動画像を追尾するよう指示する追尾指示手段と、前記追尾指示手段により追尾指示がなされた際に、追尾動作を制御すると共に、前記第１動画像と前記第２動画像との少なくとも一方に係る静止画像を前記記録部に記録せしめる制御部と、前記第１動画像と前記第２動画像とを同一画面上において合成表示するよう制御する合成表示制御部と、を具備し、前記合成表示制御部は、前記第２動画像が追尾される場合には、前記第１動画像と前記第２動画像とのいずれか一方をメイン画像とし、他方をサブ画像として合成表示制御し、前記制御部は、前記合成表示制御部により前記第１動画像がサブ画像として合成表示制御された際において、前記第２動画像が追尾される場合には、前記第２動画像を前記メイン画像とした合成画像に係る静止画像を前記記録部に記録せしめる。

本発明によれば、撮影操作が撮影モードの設定操作を兼ねるように設定することで、各撮影モードへの移行及び撮影に要する時間を短縮することができるという効果を有する。

本発明の第１の実施の形態に係る撮影機器の回路構成を示すブロック図。 フォトインムービーの動作を示す説明図。 回想フォトの動作を示す説明図。 マルチフレームの動作を示す説明図。 入力画像及び部分画像の例を示す説明図。 カメラ撮影制御を示すフローチャート。 マルチフレームモードにおける画面表示を説明するための説明図。 本発明の第２の実施の形態を示すブロック図。 第２の実施の形態の動作を説明するための説明図。 第２の実施の形態の動作を説明するための説明図。 第２の実施の形態の動作を説明するための説明図。 第２の実施の形態の動作を説明するためのフローチャート。 第２の実施の形態の動作を説明するためのフローチャート。 第２の実施の形態の動作を説明するためのフローチャート。 第２の実施の形態の動作を説明するためのフローチャート。 第２の実施の形態の動作を説明するための説明図。

以下、図面を参照して本発明の実施の形態について詳細に説明する。

（第１の実施の形態）
図１は本発明の第１の実施の形態に係る撮影機器の回路構成を示すブロック図である。

図１において、撮影機器１０は、ＣＣＤやＣＭＯＳセンサ等の撮像素子によって構成された撮像部２を有している。撮像部２は、信号処理及び制御部１によって、絞り、ピント、ズーム等が制御可能に構成されており、様々な構図、被写体に対応した撮像が可能である。

撮像部２は、信号処理及び制御部１によって駆動制御されて、被写体を撮像し、撮像画像を出力する。信号処理及び制御部１は、撮像部２に撮像素子の駆動信号を出力すると共に、撮像部２からの撮像画像を読み出す。この撮像画像の取り込みは読取部１ａによって行われる。読取部１ａは撮像部２から読み出した撮像画像を分配用仮記録部３に与える。

分配用仮記録部３は、撮像部２からの撮像画像を所定期間保存する容量を有し、撮像部２から読み出された撮像画像（動画及び静止画）を記憶保持する。

信号処理及び制御部１は、分配用仮記録部３に記録された撮像画像を読み出して画像処理する２系統の画像処理部１ｂ，１ｃを有している。画像処理部１ｂ，１ｃは、入力された画像に対して、所定の信号処理、例えば、色信号生成処理、マトリックス変換処理、その他各種の信号処理を行う。更に、画像処理部１ｂ，１ｃは、入力画像をリサイズするリサイズ処理、入力画像の一部の領域の画像（以下、部分画像という）を生成する処理等の各種画像処理を行うことも可能に構成されている。なお、以後、入力画像の全領域の画像については、リサイズ処理の有無に拘わらず全体画像というものとする。

特徴判定部１ｄは、部分画像を生成するためにユーザによって入力画像の一部の領域（以下、部分指定領域という）を指定する操作（以下、部分指定操作という）が行われると、画像処理部１ｂから部分指定領域の画像情報が与えられて、人物の顔等の対象被写体の特徴量を判定し、判定結果を部分指定領域中に検出された対象被写体の情報として追尾部１ｅに出力する。追尾部１ｅは、順次入力される入力画像から対象被写体の特徴量が一致する部分を含む領域を追尾し、追尾結果を画像処理部１ｃに出力する。こうして、画像処理部１ｃは、部分指定操作によって対象被写体が指定されると、この対象被写体を含む画像部分を常に追尾しながら部分画像として生成することができるようになっている。

画像処理部１ｂ，1ｃからの動画像及び静止画像は、画像選択部１ｆに与えられる。画像選択部１ｆは入力された動画像及び静止画像を選択して、表示制御部１ｇに与えると共に、Ｓ圧縮部１ｈ、Ｍ圧縮部１ｉ及びＭ圧縮部１ｊにも与える。

表示制御部１ｇは、入力された動画像及び静止画像を表示部５に与えて表示させるための表示処理を行う。表示部５はＬＣＤ等によって構成されており、表示制御部１ｇから与えられた動画像や静止画像を表示する。

一方、Ｓ圧縮部１ｈは入力された静止画像を圧縮して記録制御部１ｋに与え、Ｍ圧縮部１ｉ，１ｊは入力された動画像を圧縮して記録制御部１ｋに与える。記録制御部１ｋは、圧縮された圧縮動画像及び圧縮静止画像を記録部４に与えて記録させる。記録部４は、記録制御部１ｋに制御されて、入力された圧縮動画像及び圧縮静止画像を記録する。記録部４としては、例えばカードインターフェースを採用することができ、記録部４はメモリカード等の記録媒体に画像情報及び音声情報等を記録可能である。

また、撮影機器１０には、操作部６も設けられている。操作部６は、撮影モード設定等の各種スイッチやボタンを有しており、ユーザ操作に基づく操作信号を発生して信号処理及び制御部１に供給する。例えば、図１では、操作部６の具体例として、動画撮影操作部６ａ及び静止画撮影操作部６ｂを示している。動画撮影操作部６ａは動画撮影を指示するためのものであり、動画撮影操作部６ａが操作されることで、動画撮影を開始するための操作信号が信号処理及び制御部１に供給されるようになっている。また、静止画撮影操作部６ｂは静止画撮影を指示するためのものであり、静止画撮影操作部６ｂが操作されることで、静止画撮影を開始するための操作信号が信号処理及び制御部１に供給されるようになっている。信号処理及び制御部１は、操作信号に基づいて、各部を制御する。

更に、操作部６としてはタッチパネルを採用することもできる。例えば、操作部６としてのタッチパネルを表示部５の表示画面上に設けることで、ユーザが指で指し示した表示画面上の位置に応じた操作信号を発生することができる。これにより、ユーザは、表示部５の表示画面上に表示された画像中の所定の領域を部分指定領域として指定する操作を簡単に行うことができる。

信号処理及び制御部１は、各部を制御することで、ユーザ操作に基づく撮影モードを設定して、各撮影モードに応じた撮影機能を実現する。この場合において、信号処理及び制御部１は、動画撮影操作部６ａ及び静止画撮影操作部６ｂの操作のみによって、撮影モードを変更することができるようになっている。

次に、このように構成された実施の形態の動作について図２乃至図７を参照して説明する。

先ず、図２乃至図５を参照して、本実施の形態の撮影機器が有する撮影モードであるフォトインムービー、回想フォト及びマルチフレームについて説明する。図２乃至図４は夫々フォトインムービー、回想フォト及びマルチフレームの動作を示す説明図である。また、図５は入力画像及び部分画像の例を示す説明図である。図２乃至図４においては、連続した四角の枠によって、撮像部２からの画像を読み出す読取部１ａの動画出力１１ａの各フレームを示している。

図２に示すフォトインムービーにおいては、動画出力１１ａの各フレームを夫々リサイズして得た動画１１ｃが、Ｍ圧縮部１ｉ，１ｊに供給されることを示している。Ｍ圧縮部１ｉ，１ｊは、入力された動画１１ｃに対する圧縮処理を行い、圧縮動画像を得る。この圧縮動画像が、フォトインムービーにおける動画として記録される。

また、フォトインムービーにおいては、動画撮影中に、ユーザによって静止画撮影操作部６ｂの操作が行われた場合には、動画出力１１ａの各フレームのうち静止画撮影操作に対応するフレームの静止画１１ｂがＳ圧縮部１ｈに与えられる。Ｓ圧縮部１ｈは、入力された静止画１１ｂに対する圧縮処理を行い、圧縮静止画像を得る。この圧縮静止画像が、フォトインムービーにおける静止画として記録される。

図３に示す回想フォトにおいては、動画出力１１ａの各フレームは仮記録されている。回想フォトにおいては、動画撮影中に、ユーザによって静止画撮影操作部６ｂの操作が行われた場合には、動画出力１１ａの各フレームのうち静止画撮影操作に対応するフレームの静止画１１ｂがＳ圧縮部１ｈに与えられる。Ｓ圧縮部１ｈは、入力された静止画１１ｂに対する圧縮処理を行い、圧縮静止画像を得る。この圧縮静止画像が、回想フォトにおける静止画として記録される。

一方、静止画１１ｂの前後のフレームは、リサイズされた後、静止画１１ｂに関連する回想動画１１ｄとしてＭ圧縮部１ｉ，１ｊに供給される。Ｍ圧縮部１ｉ，１ｊは、入力された回想動画１１ｄに対する圧縮処理を行い、圧縮動画像を得る。この圧縮動画像が、回想フォトにおける回想動画として記録される。

図４に示すマルチフレームにおいては、動画出力１１ａの各フレームを夫々リサイズして得た全体動画１１ｅが、Ｍ圧縮部１ｉ，１ｊに供給されることを示している。Ｍ圧縮部１ｉ，１ｊは、入力された全体動画１１ｅに対する圧縮処理を行い、圧縮動画像を得る。この圧縮動画像が、マルチフレームにおける全体動画として記録される。

図５（ａ）は入力画像を示している。図５の例では、入力画像には、Ａ〜Ｃの３人の人物が撮像されている。マルチフレームにおいて、ユーザが図５（ａ）の破線領域に示すように人物Ａの顔を含む部分指定領域を指定する部分指定操作を行うものとする。そうすると、図５（ｂ）に示す部分指定領域の画像（部分画像）が入力画像から抽出される。更に、特徴判定部１ｄ，追尾部１ｅによって、入力画像中から部分画像が追尾され、以後、人物Ａの部分画像が各フレームから抽出される。そして、動画出力１１ａの各フレームの部分画像からなる部分動画１１ｆが、Ｍ圧縮部１ｉ，１ｊに供給される。Ｍ圧縮部１ｉ，１ｊは、入力された部分動画１１ｆに対する圧縮処理を行い、圧縮動画像を得る。この圧縮動画像が、マルチフレームにおける部分動画として記録される。

次に、図６のフローチャートを参照して、カメラ撮影制御について説明する。

操作部６の操作によって撮影機器１０に電源が投入されると、信号処理及び制御部１は、ステップＳ１においてスルー画の表示及び仮記録を開始する。即ち、信号処理及び制御部１は、撮像部２を駆動して被写体を撮影させる。読取部１ａは、撮像部２からの撮像画像を読み出して、分配用仮記録部３に順次記録させる。分配用仮記録部３は、所定期間の撮像画像を順次記録する。

信号処理及び制御部１は、分配用仮記録部３に記録された撮像画像を順次読み出し、画像処理部１ｂ又は１ｃに与える。画像処理部１ｂ又は１ｃは、撮像画像に対して所定の画像信号処理を施した後、画像選択部１ｆを介して表示制御部１ｇに与える。表示制御部１ｇは、入力画像を表示部５に与えて表示させる。こうして、表示部５の表示画面上において、スルー画が表示される。

次に、信号処理及び制御部１は、ステップＳ２において、静止画撮影操作部６ｂが操作されたか否かを判定する。更に、信号処理及び制御部１は、ステップＳ５において、動画撮影操作部６ａが操作されたか否かを判定する。

本実施の形態においては、信号処理及び制御部１は、ステップＳ２において静止画撮影操作部６ｂが操作されたと判断した場合には、回想フォトモードを設定し、ステップＳ５において動画撮影操作部６ａが操作されたと判断した場合には、フォトインムービーモードを設定するようになっている。

ステップＳ２において静止画撮影操作部６ｂが操作されると、信号処理及び制御部１は、ステップＳ３において回想フォトにおける静止画撮影を行い、ステップＳ４において回想フォトにおける回想動画記録を行う。即ち、信号処理及び制御部１は、静止画撮影操作部６ｂの操作タイミングで読取部１ａから取り込まれた撮像画像（静止画）を分配用仮記録部３から読み出して、画像処理部１ｂ又は１ｃに与える。画像処理部１ｂ又は１ｃは入力された静止画を画像処理し画像選択部１ｆを介してＳ圧縮部１ｈに供給する。Ｓ圧縮部１ｈは入力された静止画を圧縮し、記録制御部１ｋは圧縮された静止画像を記録部４に与えて記録させる（ステップＳ３）。

また、信号処理及び制御部１は、分配用仮記録部３から読み出された静止画像の前後に記録されている動画像を読み出して画像処理部１ｂ又は１ｃに与える。画像処理部１ｂ又は１ｃは入力された動画像をリサイズし、回想動画を画像選択部１ｆを介してＭ圧縮部１ｉ又は１ｊに供給する。Ｍ圧縮部１ｉ又は１ｊは入力された回想動画を圧縮し、記録制御部１ｋは圧縮された回想動画を記録部４に与えて記録させる（ステップＳ４）。

ステップＳ５において動画撮影操作部６ａが操作されると、信号処理及び制御部１は、ステップＳ６においてフォトインムービーにおける動画撮影を行う。即ち、信号処理及び制御部１は、分配用仮記録部３に順次記録される動画像を読み出して画像処理部１ｂ又は１ｃに与える。画像処理部１ｂ又は１ｃは入力された動画像をリサイズし、画像選択部１ｆを介してＭ圧縮部１ｉ又は１ｊに供給する。Ｍ圧縮部１ｉ又は１ｊは入力されたフォトインムービーにおける動画を圧縮し、記録制御部１ｋは圧縮された動画像を記録部４に与えて記録させる（ステップＳ６）。

このフォトインムービーモードにおいて、静止画撮影操作部６ｂの操作が行われると、信号処理及び制御部１は、ステップＳ７からステップＳ１６を経由してステップＳ８に処理を移行し、静止画撮影を行う。即ち、信号処理及び制御部１は、静止画撮影操作部６ｂの操作タイミングで読取部１ａから取り込まれた撮像画像（静止画）を分配用仮記録部３から読み出して、画像処理部１ｂ又は１ｃに与える。画像処理部１ｂ又は１ｃは入力された静止画を画像処理し画像選択部１ｆを介してＳ圧縮部１ｈに供給する。Ｓ圧縮部１ｈは入力された静止画を圧縮し、記録制御部１ｋは圧縮された静止画像を記録部４に与えて記録させる（ステップＳ８）。こうして、フォトインムービーにおける静止画記録が行われる。

また、信号処理及び制御部１は、フォトインムービーモードにおいて、ステップＳ７の静止画撮影操作部６ｂの操作が検出されなければ、ステップＳ９において終了操作が行われたか否かを判定し、行われていない場合には、処理をステップＳ１０に移行して、部分指定操作の有無を判定する。

本実施の形態においては、フォトインムービーモードにおいて、部分指定操作が発生した場合にはマルチフレームモードに移行し、発生しない場合にはフォトインムービーを継続するようになっている。即ち、信号処理及び制御部１は、フォトインムービーモード時に、ステップＳ１０において部分指定操作の発生を検出しない場合には、ステップＳ１１においてマルチフレームへの移行が行われていないものと判定して、処理をステップＳ６に戻してフォトインムービーを継続し、部分指定操作の発生を検出した場合には、処理をステップＳ１２に移行してマルチフレームモードを設定する。

マルチフレームモードにおいても、フォトインムービーモード時と同様に、入力画像をリサイズして得た全体画像を動画記録する。従って、信号処理及び制御部１は、マルチフレームモードに移行しても、分配用仮記録部３から動画像を読み出し、この動画像を画像処理部１ｂにおいてリサイズして全体画像を得、画像選択部１ｆを介してＭ圧縮部１ｉ又は１ｊに与えて圧縮し、記録制御部１ｋにより記録部４において記録する。

また、マルチフレームモード時には、信号処理及び制御部１は、分配用仮記録部３から読み出した画像を画像処理部１ｃに与えて、部分指定操作に応じた部分画像を切り出す。この場合には、画像処理部１ｃは、追尾部１ｅによって追尾された部分画像を含む部分指定領域を切り出す。こうして、画像処理部１ｃからは部分画像からなる動画像が出力され、画像選択部１ｆを介してＭ圧縮部１ｉ又は１ｊに供給されて圧縮され、記録制御部１ｋによって記録部４において記録される（ステップＳ１３）。

更に、本実施の形態においては、マルチフレームモード時には、全体画像と部分画像とをピクチャインピクチャ表示することによって、利便性を向上させるようになっている。図７はマルチフレームモードにおける画面表示を説明するための説明図であり、図５と同一の入力画像が入力された場合の例を示している。

いま、図５（ａ）に示す入力画像が画像処理部１ｂ，１ｃに入力されるものとする。図５（ａ）の例では、入力画像として、Ａ〜Ｃの３人の人物が撮像されている。ユーザが図５（ａ）の破線領域に示すように人物Ａの顔を含む部分指定領域を指定する部分指定操作を行うものとする。そうすると、図５（ａ）の破線部の部分指定領域の画像（部分画像）が入力画像から抽出される。更に、特徴判定部１ｄ，追尾部１ｅによって、入力画像中から部分画像が追尾され、以後、人物Ａの部分画像を含む領域が部分指定領域として画像処理部１ｃに指定される。

画像処理部１ｃは、追尾部１ｅの指示に従って、部分画像を追尾しながら切り出す。画像処理部１ｃは図５（ｂ）に示す部分画像をそのまま画像選択部１ｆを介してＭ圧縮１ｉ又は１ｊに出力すると共に、部分画像と全体画像とを合成した後、画像選択部１ｆを介して表示制御部１ｇに出力する。

即ち、画像処理部１ｃは、図７（ａ）に示すように、表示部５の表示画面５ａの略全域のメイン表示領域５ｂに全体画像に基づくメイン画像を配置し、表示画面５ａの一部領域（以下、サブ表示領域という）５ｃに部分画像をサブ画像として配置するように、全体画像と部分画像との合成を行う。即ち、この場合には、画像処理部１ｃは、部分画像をサブ画像化することになる（ステップＳ１２）。

信号処理及び制御部１は、マルチフレームモード時には、ステップＳ１４において、ユーザーがサブ表示領域５ｃをタッチしたか否かを判定する。信号処理及び制御部１は、ユーザがサブ表示領域５ｃをタッチした場合には、ステップＳ１５において、現在のサブ画像をメイン画像化し、現在のメイン画像をサブ画像化する。

図７（ｂ）はこの状態を示しており、図７（ａ）の状態においてサブ表示領域５ｃがタッチされると、サブ表示領域５ｃに表示されていたサブ画像である部分画像がメイン画像としてメイン表示領域５ｂに表示され、メイン表示領域５ｂに表示されていたメイン画像である全体画像がサブ画像としてサブ表示領域５ｃに表示される。なお、図７（ｂ）の状態においてサブ表示領域５ｃがタッチされると、サブ表示領域５ｃに表示されていたサブ画像である全体画像がメイン画像としてメイン表示領域５ｂに表示され、メイン表示領域５ｂに表示されていたメイン画像である部分画像がサブ画像としてサブ表示領域５ｃに表示される。即ち、図７（ａ）の表示に戻る。

信号処理及び制御部１は、マルチフレームモード時において、ユーザが静止画撮影操作部６ｂを操作したことを、ステップＳ７において検出すると、フォトインムービーモードに移行する。この場合には、マルチフレームモードからフォトインムービーモードに移行する場合であるので、ステップＳ１６からステップＳ１７に処理が移行して、静止画撮影が行われる。

本実施の形態においては、ステップＳ１７の静止画撮影の直前においては、図７（ａ），（ｂ）に示すように、表示部５の表示画面５ａ上には、全体画像と部分画像とが合成表示されている。そこで、ステップＳ１７のフォトインムービーにおける静止画撮影では、全体画像及び部分画像並びに全体画像と部分画像の合成画像の全ての静止画像を記録するようになっている。即ち、画像処理部１ｂ，１ｃからの全体画像が画像選択部１ｆを介してＳ圧縮部１ｈに供給されて圧縮され、記録制御部１ｋによって記録部４において記録される。また、画像処理部１ｃは、部分画像を切り出しており、この部分画像は画像選択部１ｆを介してＳ圧縮部１ｈに供給されて圧縮され、記録制御部１ｋによって記録部４において記録される。また、画像処理部１ｃは、全体画像と部分画像との合成画像を生成している。即ち、部分画像がサブ画像化された合成画像と全体画像がサブ画像化された合成画像の２つの合成画像は、画像選択部１ｆを介してＳ圧縮部１ｈに供給されて圧縮され、記録制御部１ｋによって記録部４において記録される。こうして、マルチフレームモードから、静止画撮影操作部６ｂの操作によってフォトインムービーモードに移行した場合には、全体画像、部分画像、全体画像と部分画像との２枚の合成画像からなる４枚の静止画像が記録される。

このように本実施の形態においては、撮像画像を仮記録すると共に、仮記録された入力画像を画像処理する複数系統の画像処理部と複数系統の画像圧縮部とを設け、動画撮影操作部の操作及び静止画撮影操作部の操作を検出することで、回想フォト、フォトインムービー及びマルチフレームの各モードの切換を行うようになっており、これらの撮影モードへの移行及び撮影に要する時間を短縮することができ、シャッターチャンスにおいて確実な撮影を可能にすることができる。

また、マルチフレームモードにおいては、全体画像と部分画像との合成画像を表示することができ、利便性に優れている。更に、マルチフレームモードからフォトインムービーモードに移行した場合には、静止画撮影操作部の操作によって、全体画像、部分画像及び全体画像と部分画像との合成画像の静止画像を得ることができるという利点もある。

（第２の実施の形態）
図８は本発明の第２の実施の形態を示すブロック図である。図８において図１と同一の構成要素には同一符号を付して説明を省略する。

第１の実施の形態においては、マルチフレームモードからフォトインムービーモードに移行した場合には、全体画像、部分画像、全体画像と部分画像との２枚の合成画像からなる４枚の静止画像を記録する例について説明した。しかしながら、フォトインムービーモード時には、入力画像をリサイズして得た動画像も記録しており、分配用仮記録部の記録容量、画像処理部及び画像圧縮部の系統数や処理能力によっては、４枚全ての静止画像を記録することができるとは限らない。なお、フォトインムービー時に記録すべき静止画を分配用仮記録部に長時間保持し、動画記録の終了の後分配用仮記録部から記録すべき静止画を読み出すようにすれば、４枚全ての静止画像を記録することも可能であるが、静止画像を静止画撮影操作部の操作直後に記録することができないことから、必ずしも利便性に優れているとは言えない。

図８の撮影機器２０は、信号処理及び制御部１に代えて信号処理及び制御部２１を採用した点が第１の実施の形態と異なる。信号処理及び制御部２１の画像処理部２１ｂ、画像処理部２１ｃ、画像選択部２１ｆ、Ｓ圧縮部２１ｈ、Ｍ圧縮部２１ｉ及びＭ圧縮部２１ｊは、夫々、画像処理部１ｂ、画像処理部１ｃ、画像選択部１ｆ、Ｓ圧縮部１ｈ、Ｍ圧縮部１ｉ及びＭ圧縮部１ｊと同様の機能を有するが、動画像を略実時間で処理する処理能力しか有していない。従って、画像処理部２１ｂ，２１ｃは、夫々同時に２つの動画像に対する処理はできず、また、同時に動画像と静止画像とに対する処理を行うこともできない。同様に、Ｓ圧縮部２１ｈ、Ｍ圧縮部２１ｉ及びＭ圧縮部２１ｊは、夫々同時に２つの動画像に対する処理はできず、また、同時に動画像と静止画像とに対する処理を行うこともできない。

従って、本実施の形態のような２系統の処理回路を用いた場合には、同時には２つの動画像の記録処理しかできず、また、同時には１つの動画像と１つの静止画像の記録処理しかできないことが考えられる。

本実施の形態においても、信号処理及び制御部２１は、図６のフローチャートに従って、回想フォトモード、フォトインムービーモード及びマルチフレームモードの切換えが可能である。しかしながら、マルチフレームモードから静止画撮影操作部６ｂの操作によってフォトインムービーモードに移行した場合でも、１つの動画像と１つの静止画像の記録しかできない。

そこで、本実施の形態においては、信号処理及び制御部２１は、追尾されている部分指定領域の部分画像の状態によって、１つの動画と１つの静止画とを選択して記録するようになっている。即ち、信号処理及び制御部２１は、追尾が成功しているか否かを判定する。例えば、信号処理及び制御部２１は、追尾中の部分指定領域に部分画像の大部分が含まれる場合には、追尾が成功していると判定する。この場合には、信号処理及び制御部２１は、例えば部分画像から得た静止画像を記録する。また、追尾中の部分指定領域に部分画像の大部分が含まれる状態でない場合には、追尾が成功していないものとして、信号処理及び制御部２１は、例えば、全体画像を静止画として記録する。

次に、このように構成された実施の形態の動作について図９乃至図１６を参照して説明する。図９乃至図１１及び図１６は本実施の形態の動作を説明するための説明図であり、図１２乃至図１５は本実施の形態の動作を説明するためのフローチャートである。

本実施の形態においては、マルチフレームモードからフォトインムービーモードに移行した場合における動作のみが第１の実施の形態と異なる。マルチフレームモードからフォトインムービーモードに移行した場合には、画像処理部２１ｂ，２１ｃからは、２つの動画像、又は１つの動画像と１つの静止画像とが出力される。画像処理部２１ｃは動画像をＭ圧縮部２１ｊに与える。画像処理部２１ｂは動画像又は静止画像を出力し、画像処理部２１ｂが動画像を出力する場合には、画像選択部２１ｆは動画像をＭ圧縮部２１ｉに与え、画像処理部２１ｂが静止画像を出力する場合には、画像選択部２１ｆは静止画像をＳ圧縮部２１ｈに与える。

図９はマルチフレームモードからフォトインムービーモードに移行した場合において、記録可能な動画像と静止画像との例を示している。図９（ａ）はマルチフレームモードにおいて、入力画像をリサイズして得た全体画像に基づく動画像３１ａと部分指定領域の部分画像３１ｂの動画像を記録している状態において、静止画撮影操作部６ｂの操作によってフォトインムービーに移行した場合に、部分画像３１ｂから得た静止画３１ｃを記録する状態を示している。この場合には、部分画像３１ｂによる動画像は一時停止し、部分画像３１ｂに基づく静止画像３１ｃが得られる。

一方、図９（ｂ）はマルチフレームモードにおいて、入力画像をリサイズして得た全体画像に基づく動画像３２ｂと部分指定領域の部分画像３２ａの動画像を記録している状態において、静止画撮影操作部６ｂの操作によってフォトインムービーに移行した場合に、全体画像から得た静止画３２ｃを記録する状態を示している。この場合には、入力画像からリサイズして得た全体画像に基づく動画像の記録は一時停止し、全体画像に基づく静止画像３２ｃが得られる。

なお、図９の処理はマルチフレームモードにおいて静止画撮影操作部６ｂが操作された場合に、マルチフレームモードにおいて記録する２つの動画像の一方の動画像の記録を継続したまま、他方の動画像の記録を一時停止して、静止画撮影操作部６ｂの操作時点における静止画像を得るものであり、この点ではフォトインムービーモードへの移行というよりもマルチフレームモードにおける静止画記録であるが、説明の便宜上、図９の例もマルチフレームモードからフォトインムービーモードへの移行として扱う。

また、マルチフレームモード時における２つの動画記録の一方のみを継続し、他方の動画記録を停止し、一方の動画記録の元となった画像を静止画記録するようにしてもよい。即ち、この場合には、リサイズされた全体画像を動画記録すると共に全体画像の静止画記録が可能であり、また、入力画像中の部分指定領域における部分画像を動画記録すると共にこの部分画像を静止画として記録することもできる。

図１０はマルチフレームモードからフォトインムービーモードへの移行時において撮像中の一連の入力画像の一例を示しており、被写体が図１０（ａ）の状態から図１０（ｂ）の状態を経て図１０（ｃ）の状態に変化したことを示している。なお、図１０は被写体として３人の人物Ａ〜Ｃが撮影されたものであり、そのうちの人物Ａの顔を含む領域が部分指定領域として指定されたことを示している。また、図１１は部分画像を示しており、図１１（ａ）乃至（ｃ）は、夫々図１０（ａ）乃至 （ｃ）の入力画像中の破線で示す部分指定領域における部分画像を示している。

マルチフレームモードにおいては、入力画像をリサイズして得た全体画像に基づく動画像と入力画像中の部分指定領域の部分画像による動画像とが記録される。いま、図１０（ａ）に示す入力画像３５ａに対して、破線に示す部分指定領域３６ａが設定されるものとする。追尾部２１ｅは、入力画像３５ｂ，３５ｃのように変化した場合でも追尾を行って、部分指定領域３６ｂ，３６ｃを検出する。マルチフレームモードでは、入力画像３５ａ乃至３５ｃをリサイズして得た全体画像に基づく動画像と、部分指定領域３６ａ〜３６ｃに対応した部分画像３７ａ〜３７ｃ（図１１）とが記録される。

このような入力画像に対して、ユーザーが入力画像３５ｂのタイミングで静止画撮影操作部６ｂを操作してフォトインムービーモードに移行するものとする。この場合には、例えば図９（ａ）の記録方法を採用すると、部分画像３７ｂが静止画として記録されることになる。また、図９（ｂ）の記録方法を採用すると、入力画像３５ｂに基づく全体画像が静止画として記録されることになる。

図１０の入力画像３７ａ〜３７ｃによる動画像は、全体の動きが見えるので、撮影を中断しない方がよいと考えられる。また、図１１（ａ）の部分画像３７ａによる静止画像は、ユーザが指定した部分指定領域の部分画像が画面の大部分を占めており、主題がはっきりして迫力がある。従って、図１０及び図１１の例では、入力画像をリサイズした全体画像に基づく動画記録を継続すると共に、部分画像の動画記録を停止して、部分画像を静止画記録するようにした方がよい。

しかしながら、図１０（ａ）では部分指定領域として、人物Ａの顔を含む領域が指定さ
れているが、図１１（ｂ）の部分画像３７ｂは、人物Ａの部分画像の大部分が人物Ｃに遮
られて写っていない。従って、部分画像３７ｂはユーザが満足しない静止画であると考え
られる。そこで、本実施の形態においては、部分画像の追尾結果に従って、記録する動画
及び静止画を制御するようになっている。

図１２は信号処理及び制御部２１によるこの制御を示している。なお、図１２は動画撮影中、特にマルチフレームモード時に静止画撮影を行う場合の処理を示しており、図６のステップＳ１７の中で行われる処理を示している。信号処理及び制御部２１は、マルチフレームモードから静止画撮影操作部６ｂの操作によってフォトインムービーモードに移行した場合には、図１２のフローに従って記録を行う。即ち、ステップＳ２１においてはマルチフレームモードから静止画撮影操作部６ｂの操作によってフォトインムービーモードに移行したか否かが判定される。マルチフレームモードからの移行でない場合には、処理をステップＳ７，Ｓ８に移行して、フォトインムービーモードにおける静止画撮影が行われる。

マルチフレームモードからの移行の場合には、信号処理及び制御部２１は、ステップＳ２２において部分動画が追尾可能であるか否かを判定する。なお、本実施の形態においては、追尾部１ｅの追尾処理が完全に行われている場合でも、部分指定領域において部分画像の大部分が消失している場合等においては、追尾不能であるものと判定する。

追尾可能な場合には、信号処理及び制御部２１は、ステップ２３において入力画像をリサイズした全体画像を動画記録し、ステップＳ２４において部分画像を静止画記録する。
即ち、図９（ａ）の記録方法を採用する。

一方、追尾不能な場合には、信号処理及び制御部２１は、ステップ２５において入力画像をリサイズした全体画像を動画記録し、ステップＳ２６において全体画像を静止画記録する。即ち、この場合には、入力画像をリサイズした全体画像を動画記録処理を継続すると共に、部分画像の動画像記録を停止し、全体画像を静止画記録する。

即ち、信号処理及び制御部２１は、動画としては全体の動きが分かる方が状況が分かって楽しめるので、マルチフレームモードにおいて静止画撮影操作部６ｂが操作された場合には、入力画像をリサイズした全体画像を動画記録する処理は継続する。一方、信号処理及び制御部２１は、狭い画角での部分画像の動画像化は諦め、追尾可能な場合には部分画像を静止画記録し、追尾不能な場合には、全体画像を静止画記録する。

図１３及び図１４は信号処理及び制御部２１による他の制御を示している。図１２の制御は、部分画像の追尾が不能と判定した場合には、全体画像を静止画として記録するものであった。しかし、図７のように、表示画面５ａ上にメイン画像とサブ画像を同時に表示し、全体画像と部分画像のいずれかをユーザの選択操作によってメイン画像に指定することができる場合には、ユーザはメイン画像を静止画として記録することを希望していると考えられる。図１３及び図１４の例はこの場合に対応したものである。図１３及び図１４において夫々図６又は図１２と同一の手順には同一符号を付して説明を省略する。

なお、マルチフレームモードにおいて、図７に示すように、メイン画像とサブ画像とを合成表示する機能を有していない撮影機器においては、図１２のフローチャートを採用した制御が行われる。

図１３のステップＳ４１において、信号処理及び制御部２１の追尾部２１ｅは部分画像の追尾を開始する。また、信号処理及び制御部２１は、部分画像を分配用仮記録部３にコマ記録する。ステップＳ４３において信号処理及び制御部２１は部分画像の追尾が可能であったか否かを判定し、追尾可能な場合には、ステップＳ４４においてコマ記録した部分画像をクリアする。

従って、部分画像の追尾が不能となった場合には、追尾不能となる前の追尾可能状態における部分画像のコマ画像が、分配用仮記録部３に記録されていることになる。

図１４は動画撮影中、特にマルチフレームモード時に静止画撮影を行う場合の処理を示しており、図６のステップＳ１７の中で行われる処理を示している。図１４においては、信号処理及び制御部２１は、ステップＳ３１において全体画像がサブ画像であるか否かを判定する。即ち、マルチフレームモードにおいて、ユーザの操作によって図７（ｂ）の表示が行われている場合には、ユーザは静止画撮影操作部６ｂを操作すると部分画像の静止画が記録されるものと考えている可能性がある。そこで、全体画像がサブ画像である場合には、信号処理及び制御部２１は、部分画像の追尾が可能なときには、ステップ３２において部分画像を動画記録し、ステップＳ３３において部分画像を静止画記録する。また、信号処理及び制御部２１は、部分画像の追尾が不能な場合には、ステップ３４において部分画像を動画記録し、ステップＳ３５において追尾可能なタイミングにおける部分画像を静止画記録する。例えば、図１０及び図１１の例では、図１１（ａ）に示す部分画像が静止画記録される。これにより、ユーザが希望する動画及び静止画を記録することが可能となる。

図１５及び図１６は信号処理及び制御部２１による他の制御を示している。図１３及び図１４の制御は、メイン画像に指定された画像を動画記録及び静止画記録するものであった。しかし、ユーザは図７のように、表示画面５ａ上に表示されたメイン画像とサブ画像の合成画像を静止画記録したいと考えることも想定される。図１５及び図１６の例はこの場合に対応したものである。図１５において図１４と同一の手順には同一符号を付して説明を省略する。

図１５は動画撮影中、特にマルチフレームモード時に静止画撮影を行う場合の処理を示しており、図６のステップＳ１７の中で行われる処理を示している。図１５のフローにおいても、信号処理及び制御部２１は、ステップＳ３１において、全体画像がサブ画像であるか否かが判定される。

図１６（ａ）は、表示部５の表示画面４１ａの略全域のメイン表示領域４１ｂに全体画像に基づくメイン画像を配置し、表示画面４１ａのサブ表示領域４１ｃに部分画像をサブ画像として配置するように、全体画像と部分画像との合成が行われた例を示している。表示画面４１ａ中の破線は部分指定領域を示している。一方、図１６（ｂ）は、メイン表示領域４１ｂに部分画像に基づくメイン画像が配置され、サブ表示領域４１ｃに全体画像に基づくサブ画像が配置された例を示している。

信号処理及び制御部２１は、図１６（ｂ）のように全体画像がサブ画像である場合には、ステップＳ２２において部分画像の追尾が可能であるか否かを判定する。信号処理及び制御部２１は、部分画像の追尾が可能な場合には、ステップ３２において部分画像を動画記録し、ステップＳ４１において部分画像をメイン画像とし全体画像をサブ画像とした合成画像を静止画記録する。

図１６（ｂ）は部分画像の追尾が不能な状態を示しており、この場合には、信号処理及び制御部２１は、ステップ３４において部分画像を動画記録し、ステップＳ４２において全体画像をメイン画像とし部分画像をサブ画像とした合成画像、即ち、図１６（ａ）に対応した合成画像を静止画記録する。

なお、全体画像がサブ画像でない場合には、信号処理及び制御部２１は、ステップ２５において入力画像をリサイズした全体画像を動画記録し、ステップＳ４２において全体画像をメイン画像とし部分画像をサブ画像とした合成画像を静止画記録する。

このように本実施の形態においては、同時には、２つの動画像を記録するか、又は１つの動画像と１つの静止画像の記録しかできない場合には、部分画像の追尾結果に従って、記録する動画像と静止画像を決定する。例えば、動画像としては、全体の動きが分かるように、入力画像をリサイズした全体画像に基づく動画像を記録すると共に、静止画像としては、部分指定領域の部分画像を追尾可能な場合には、部分画像を記録し、追尾不能な場合には全体画像を記録する。これにより、第１の実施の形態と同様の効果が得られると共に、回路規模が小さい場合でも、よりユーザの希望にそった撮影が可能である。

１…信号処理及び制御部、１ａ…読取部、１ｂ，１ｃ…画像処理部、１ｄ…特徴判定部、１ｅ…追尾部、１ｆ…画像選択部、１ｇ…表示制御部、１ｈ…Ｓ圧縮部、１ｉ，１ｊ…Ｍ圧縮部、１ｋ…記録制御部、２…撮像部、３…分配用仮記録部、４…記録部、５…表示部、６…操作部、６ａ…動画撮影操作部、６ｂ…静止画撮影操作部。

Claims (8)

1. 被写体を撮像して得た撮像画像を出力する撮像部と、
   前記撮像画像を記録する記録部と、
   前記撮像部において出力された前記撮像画像のうち第１の領域における動画像である第１動画像を取得する第１領域画像取得部と、
   前記第１の領域のうち所定の一部領域を第２の領域として指定する領域指定手段と、
   前記領域指定手段によって指定された前記第２の領域における動画像である第２動画像を取得する第２領域画像取得部と、
   前記第２の領域における前記第２動画像を追尾するよう指示する追尾指示手段と、
   前記追尾指示手段により追尾指示がなされた際に、追尾動作を制御すると共に、前記第１動画像と前記第２動画像との少なくとも一方に係る静止画像を前記記録部に記録せしめる制御部と、
   前記第１動画像と前記第２動画像とを同一画面上において合成表示するよう制御する合成表示制御部と、
   を具備し、
   前記合成表示制御部は、前記第２動画像が追尾される場合には、前記第１動画像と前記第２動画像とのいずれか一方をメイン画像とし、他方をサブ画像として合成表示制御し、
   前記制御部は、前記合成表示制御部により前記第１動画像がサブ画像として合成表示制御された際において、前記第２動画像が追尾される場合には、前記第２動画像に係る静止画像を前記記録部に記録せしめる
   ことを特徴とする撮影機器。
2. 前記制御部は、前記第２動画像が追尾される場合には、前記第２動画像を前記記録部に記録すると共に、前記第２動画像に係る前記静止画像を前記記録部に記録せしめる
   ことを特徴とする請求項１に記載の撮影機器。
3. 前記制御部は、前記合成表示制御部により前記第１動画像がサブ画像として合成表示制御された際において、追尾されていた前記第２動画像の追尾がされない状態に至った際には、追尾されていた前記第２動画像に係る静止画像を前記記録部に記録せしめる
   ことを特徴とする請求項１または２に記載の撮影機器。
4. 前記制御部は、追尾されていた前記第２動画像の追尾がされない状態に至った際には、前記第２動画像を前記記録部に記録すると共に、追尾されていた前記第２動画像に係る静止画像を前記記録部に記録せしめる
   ことを特徴とする請求項３に記載の撮影機器。
5. 被写体を撮像して得た撮像画像を出力する撮像部と、
   前記撮像画像を記録する記録部と、
   前記撮像部において出力された前記撮像画像のうち第１の領域における動画像である第１動画像を取得する第１領域画像取得部と、
   前記第１の領域のうち所定の一部領域を第２の領域として指定する領域指定手段と、
   前記領域指定手段によって指定された前記第２の領域における動画像である第２動画像を取得する第２領域画像取得部と、
   前記第２の領域における前記第２動画像を追尾するよう指示する追尾指示手段と、
   前記追尾指示手段により追尾指示がなされた際に、追尾動作を制御すると共に、前記第１動画像と前記第２動画像との少なくとも一方に係る静止画像を前記記録部に記録せしめる制御部と、
   前記第１動画像と前記第２動画像とを同一画面上において合成表示するよう制御する合成表示制御部と、
   を具備し、
   前記合成表示制御部は、前記第２動画像が追尾される場合には、前記第１動画像と前記第２動画像とのいずれか一方をメイン画像とし、他方をサブ画像として合成表示制御し、
   前記制御部は、前記合成表示制御部により前記第１動画像がサブ画像として合成表示制御された際において、前記第２動画像が追尾される場合には、前記第２動画像を前記メイン画像とした合成画像に係る静止画像を前記記録部に記録せしめる
   ことを特徴とする撮影機器。
6. 前記制御部は、前記第２動画像が追尾される場合には、前記第２動画像を前記記録部に記録すると共に、前記第２動画像を前記メイン画像とした合成画像に係る前記静止画像を前記記録部に記録せしめる
   ことを特徴とする請求項５に記載の撮影機器。
7. 前記制御部は、前記合成表示制御部により前記第１動画像がサブ画像として合成表示制御された際において、追尾されていた前記第２動画像の追尾がされない状態に至った際には、前記第１動画像を前記メイン画像として合成画像に係る静止画像を前記記録部に記録せしめる
   ことを特徴とする請求項５または６に記載の撮影機器。
8. 前記制御部は、追尾されていた前記第２動画像の追尾がされない状態に至った際には、前記第２動画像を前記記録部に記録すると共に、前記第１動画像を前記メイン画像とした合成画像に係る静止画像を前記記録部に記録せしめる
   ことを特徴とする請求項７に記載の撮影機器。

Images