JP2015126389A - 撮像装置およびその制御方法 - Google Patents

Abstract

【課題】 複数の撮像手段を有する撮像装置において、一方の撮像手段で撮影した画像に対して他方の撮像手段で撮影した画像を重畳して合成する際に、撮像装置の姿勢を考慮した位置に重畳し、見栄えよく配置可能な撮像装置を提供することを目的とする。
【解決手段】 第１の撮像手段と、第２の撮像手段とを有する撮像装置であって、撮像装置の姿勢を検出する姿勢検出手段と、第１の撮像手段により撮影した画像に第２の撮像手段により撮影した画像を重畳するための合成手段と、第１の撮像手段により撮影した画像に対する第２の撮像手段により撮影した画像の合成位置を制御する制御手段とを有し、制御手段は、姿勢検出手段により検出した撮像装置の姿勢に応じて、合成位置を変更することを特徴とする。
【選択図】 図４

Description

本発明は、複数の撮像装置を有する撮像装置およびその制御方法に関する。

近年、被写体を撮影するメインの撮像系（レンズ、撮像素子等）だけでなく、例えば被写体撮影方向とは逆向きの撮影者方向を撮影可能なサブの撮像系を備えるカメラや携帯電話がある。このように２つの撮像系で同時に撮影し、重畳（合成）することで、撮影者の表情も同時に記録することができる。

２つの撮像系で同時に撮影し、重畳（合成）する場合の、重畳位置に関して工夫を施した撮影装置が提案されている。特許文献１では、複数の撮像ユニットを有するデジタルカメラにおいて、１つの撮像ユニットで撮影した第１の画像を液晶モニタ画面の全面に表示し、他の撮像ユニットで撮影した第２の画像を画面内の子画面に表示している。このときに、第１の画像の主要被写体領域（顔検出領域）に子画面が重ならないように子画面配置することが提案されている。

特開２０１３−１７１２５号公報

しかし、上述の従来技術では、子画面の配置位置について、撮影時の姿勢に応じた配置位置の決定処理に関しては考慮されていない。デジタルカメラ等の撮像装置では、通常の横姿勢だけでなく、被写体に応じて撮像装置の向きを変えて９０度回転した縦姿勢でも撮影することが可能である。どちらの姿勢の撮影においても、表示および撮影して記録する画像において、２つの画像が見栄えよく配置されるように、重畳することが望ましい。

そこで、本発明は、複数の撮像手段を有する撮像装置において、一方の撮像手段で撮影した画像に対して他方の撮像手段で撮影した画像を重畳して合成する際に、撮像装置の姿勢を考慮した位置に重畳し、見栄えよく配置可能な撮像装置を提供することを目的とする。

上記目的を達成するために、本発明の撮像装置は、
第１の撮像手段と、第２の撮像手段とを有する撮像装置であって、撮像装置の姿勢を検出する姿勢検出手段と、第１の撮像手段により撮影した画像に第２の撮像手段により撮影した画像を重畳するための合成手段と、第１の撮像手段により撮影した画像に対する第２の撮像手段により撮影した画像の合成位置を制御する制御手段とを有し、制御手段は、姿勢検出手段により検出した撮像装置の姿勢に応じて、合成位置を変更することを特徴とする。

本発明によれば、第１の撮像手段と第２の撮像手段を有する撮像装置において、第１の撮像手段で撮影した画像に対しする第２の撮像手段で撮影した画像を重畳して合成する際に、撮像装置の姿勢に応じて合成位置を制御する。そのため、見栄えよく第２の画像を配置可能な撮像装置を提供することができる。

撮像装置の外観図である。 撮像装置の概略構成ブロック図である。 第１の実施形態に係る撮像装置の同時記録撮影モードにおける処理のフローチャートである。 横姿勢撮影および縦姿勢撮影時のライブビュー表示でのサブ画像の重畳位置および記録動画におけるサブ画像の重畳位置の一例を示す図である。 横姿勢撮影および縦姿勢撮影時のライブビュー表示画面、メインキャプチャ画像、サブキャプチャ画像、動画データ、静止画データの一例を示す図である。 第２の実施形態に係る撮像装置の同時記録撮影モードにおける処理のフローチャートである。 横姿勢撮影および縦姿勢撮影時のライブビュー表示でのサブ画像の重畳位置および動画におけるサブ画像の重畳位置の一例を示す図である。 横姿勢撮影および縦姿勢撮影時のライブビュー表示画面、メインキャプチャ画像、サブキャプチャ画像、動画データ、静止画データの一例を示す図である。

以下、図面を参照して、本発明の実施の形態を詳細に説明する。

（第１の実施形態）
図１は、本発明に係る撮像装置の外観図を示し、図２は、その概略構成ブロック図を示す。

コネクタ３１は、ＵＳＢ等の接続ケーブルと撮像装置１０とをつなぐコネクタであり、接続ケーブルを介して。記録媒体２０は、メモリカード又はハードディスク等の記録媒体である。記録媒体スロット３２は、記録媒体２０を格納するためのスロットである。記録媒体スロット３２に格納された記録媒体２０は、撮像装置１０との通信が可能となる。蓋３３は記録媒体スロット３２の蓋である。この記録媒体２０に撮像装置１０で撮影した画像が記録される。

ＣＰＵ（中央演算装置）１１は、後述する各処理部やデータフローなどを制御する制御部である。ＲＯＭ１２は、ＣＰＵ１１の処理手順に係るプログラム（ファームウェア）及び各種情報が格納されている不揮発性メモリである。

表示部１３はカラー液晶表示器等で構成され、撮影した画像やグラフィックユーザインタフェースを表示するために用いる。表示部１３は、ＴＶ等の外部表示装置に映像信号を出力する端子も備えている。撮像装置１０は、ＣＰＵ１１により、外部表示装置に撮影した画像やグラフィックユーザインタフェースを表示させるように表示制御をおこなってもよい。

操作部１４はユーザからの指示を受け付ける、各種ボタンや十字キー、コントロールホイール及びダイヤルスイッチなどである。各種ボタンとして、電源ボタン、シャッターボタン、動画撮影ボタン等が含まれている。操作部１４によりユーザから受け付けた指示に応じて、ＣＰＵ１１は対応する処理を行うように制御する。また、操作部１４として表示部に設けられたタッチパネルを用いてもよい。

ＤＲＡＭ１５は、ＣＰＵ１１のワークエリアとして使用され、画像データや表示用データ、画像圧縮後のデータなどを一時記憶するバッファ機能を有する。通常は、ＤＲＡＭとの間にメモリーコントローラを介しデータの書き込みや読み出しを行うが、ここでは示していない。また、図示しないが、各処理部とＤＲＡＭ１５間には、ＣＰＵ１１とのＲｅａｄ／Ｗｒｉｔｅを介さないＤＭＡ転送を行うためのＤＭＡコントローラを備えている。

記録媒体インタフェース１６は、ＣＰＵ１１からの指示に従い、画像データを記録媒体２０に書き込み読み出すための記録制御を行う。記録媒体２０は、メモリカード、光ディスク又はハードディスク等のランダムアクセス可能な記録媒体からなり、撮像装置１０に着脱自在である。ＣＰＵ１１、ＤＲＡＭ１５及び記録媒体インタフェース１６が、記録媒体２０に撮影画像である静止画及び動画を記録する。

撮像部１７は、レンズ、絞り、シャッタ、及びＣＣＤセンサ又はＣＭＯＳセンサ等の撮像素子からなる。撮像部１７は、撮像装置１０の前面側、つまり、被写体側を撮影するためのメインカメラである。撮像部１７で撮影した画像を、メイン画像、またはメインキャプチャ画像、撮像部１７で撮影した動画をメイン動画と呼ぶこととする。画像処理回路１８は、撮像部１７から読み出される画像データを、ホワイトバランス調整、画素補間等の処理を行いＹＵＶデータに変換する。また、画像圧縮伸長回路１９で圧縮される前のＹＵＶデータ及び伸長されたＹＵＶデータを任意のサイズにリサイズし、回転し、色変換する。

画像圧縮伸長回路１９は、ＹＵＶデータをＪＰＥＧ形式の静止画データ、又はＨ．２６４形式の動画データに圧縮する圧縮処理や、ＪＰＥＧ又はＨ．２６４形式の圧縮された画像データをＹＵＶデータに伸長する伸長処理を行う。撮像部１７またはサブ撮像部２２において静止画を撮影した場合は、画像圧縮伸長回路１９により静止画データに圧縮し、動画を撮影した場合には動画データに圧縮する。また、記録媒体２０に記録されている画像を表示部１３へ表示する際に、記録媒体２０から読み出した圧縮された静止画または動画データを伸長する。伸長したデータに基づいて表示部１３への画像の表示を行う。

姿勢検出部２１は、傾斜センサ又はジャイロ等からなり、撮像装置１０の姿勢、より具体的には撮像部１７の向き、つまり撮像装置の光軸周りの回転角度を検出する。そして、回転角度から撮像装置１０が横姿勢であるか縦姿勢であるかを判定することにより撮像装置１０の姿勢を検出する。光軸周りに９０度回転、または２７０度回転（−９０度回転）している場合に縦姿勢であると判定される。そして、光軸周りに回転していない場合、または、１８０度回転している場合に、横姿勢であると判定される。

サブ撮像部２２は、レンズ、ＣＣＤセンサ又はＣＭＯＳセンサ等の撮像素子および撮像素子から読みした画像データに対して画像データに対してホワイトバランス調整、画素補間等の処理を行いＹＵＶデータに変換して出力する画像処理回路も有している。撮像部１７とサブ撮像部２２とで、画像処理回路１８を共用してもよい。サブ撮像部２２は、撮像装置１０の前面側、つまり、撮影者側に設けられており、撮影者や、表示部１３に表示している画像を観賞している鑑賞者を撮影することができるサブカメラである。なお、メインカメラの撮影方向（光軸）とサブカメラの撮影方向（光軸）は平行であり逆方向を向いている。サブ撮像部２２で撮影した画像を、サブ画像、サブキャプチャ画像、また、サブ撮像部２２で撮影した動画をサブ動画と呼ぶこととする。

ＣＰＵ１１、ＲＯＭ１２、表示部１３、操作部１４、ＤＲＡＭ１５、記録媒体Ｉ／Ｆ１６、撮像部１７、画像処理回路１８、画像圧縮伸長回路１９、姿勢検出部２１及びサブ撮像部２２は、内部バス３０を介して通信する。

通常、操作部１４のシャッターボタンが押下されたことに応じて、撮像部１７により静止画を撮影しおよび画像処理回路１８、画像圧縮伸長回路１９で処理されて得られた静止画データが、記録媒体インタフェース１６により記録媒体２０に記録される。また、操作部１４の動画撮影ボタンが押下されたことに応じて、撮像部１７により動画を撮影し、画像処理回路１８および画像圧縮伸長回路１９で処理されて得られた動画データが、記録媒体インタフェース１６により記録媒体２０に記録される。また、撮影待機中および動画の撮影中には、ライブビュー表示として、撮像部１７で撮影された画像が表示部１３に逐次表示される。

本実施形態の撮像装置１０は、シャッターボタンの押下による静止画撮影の指示に応じて、撮像部１７により静止画を撮影して記録媒体に記録すると共に、静止画撮影指示の前に撮像部１７により撮影した動画を記録媒体に記録する同時記録撮影モードを有している。同時記録撮影モードでは、静止画撮影の撮影待機中に撮像部１７により撮影した動画を一定期間分一時的に保持している。そして、撮像部１７による静止画撮影前の一定時間分の動画を、撮影された静止画と関連付けて記録することができる。その際、撮影時の撮像装置１０の姿勢が横姿勢・縦姿勢に関わらず、撮影した動画を再生装置によらず常に正立して天地状態が正しく再生されるように、動画を回転させて記録することができる。つまり、姿勢検出部２１で検出した回転角度に応じて、動画を回転して記録する。また、静止画と動画を異なるアスペクト比で撮影することができ、静止画撮影アスペクト比（例えば４：３）の画角を表示部１３にライブビュー表示しながら、別のアスペクト比（例えばＨＤ動画１６：９）の画角で動画記録することができる。つまり、横姿勢撮影時には撮像領域全体の撮影画像から表示用データを生成しライブビュー表示するとともに、動画記録アスペクト比で切り出して動画記録する。また、縦姿勢撮影時には撮像領域全体の撮影画像を記録アスペクト比で切り出すことなく、９０度回転及びリサイズし、左右に余白画像（一般的に、黒画像）を付加して横長のアスペクト比の動画として記録する。ここで、撮像領域全体とは、撮像部１７により撮影された画像の全領域のことを示すが、撮像部１７により撮影された画像領域のうち、記録および表示に使用される有効領域を撮像領域全体としてもよい。

さらに同時記録撮影モードでは、撮像部１７で撮影した被写体画像に、撮像装置１０の背面に取り付けられたサブ撮像部２２で撮影した撮影者画像を重畳した、Ｐｉｃｔｕｒｅ ｉｎ Ｐｉｃｔｕｒｅ（ＰｉｎＰ）でライブビュー表示および動画記録することができる。

図３は、同時記録撮影モードにおける撮像装置１０の撮影処理の動作フローチャートを示す。ＣＰＵ１１が、ＲＯＭ１２から読み出したプログラムに基づいて図３に示す動作を実現するように各部を制御する。図４は、横姿勢撮影および縦姿勢（右９０度／左９０度）撮影時のライブビュー表示におけるサブ画像の重畳位置および動画でのサブ画像の重畳位置の一例を示す。図５は、横姿勢撮影および縦姿勢（右９０度／左９０度）撮影時のメインキャプチャ画像、サブキャプチャ画像、ライブビュー表示、動画データおよび静止画データの一例を示す。

操作部１４のモードダイアルの操作により、撮影者が同時記録撮影モードをセットすると、図３に示すフローがスタートする。

ステップＳ１０１で、ＣＰＵ１１は、表示部１３にライブビュー表示する際に、撮像部１７のメインキャプチャ画像から生成するメイン表示用データとサブ撮像部２２のサブキャプチャ画像から生成するサブ表示用データの重畳位置（合成位置）を決定する。本実施形態において表示用データにおける重畳位置は、撮像装置１０の設定（サブ画像の表示位置の設定）のみに応じて決定され、撮像装置１０の姿勢つまり横姿勢撮影であるか、縦姿勢撮影であるかによっては変わらない。

ステップＳ１０２で、ＣＰＵ１１は、姿勢検出部２１を用いて撮像装置１０の姿勢を検出し、検出された現在の撮像装置１０の姿勢情報をＤＲＡＭ１５に記憶する。

ステップＳ１０３で、ＣＰＵ１１は、動画記録時に、撮像部１７のキャプチャ画像から生成するメイン記録用データとサブ撮像部２２のキャプチャ画像から生成するサブ記録用データの重畳位置（合成位置）を決定する。ここでは、撮像装置１０の設定（サブ画像の表示位置の設定）およびステップＳ１０２で検出しＤＲＡＭ１５に記憶した撮像装置の姿勢に応じて、重畳位置を決定する。横姿勢撮影ではキャプチャされたメイン画像データ全体（撮像領域全体）から上下端部領域を切り出した領域が記録されるのに対し、縦姿勢撮影ではメイン画像データ全体（撮像領域全体）が記録される。サブ画像は画像データの端部に重畳したほうが被写体を覆ってしまうようなことがなくなるため、記録されるメイン画像の領域の端部に重畳する。そのため、記録用データのメイン画像に対するサブ画像の重畳位置は撮像装置１０の姿勢つまり横姿勢撮影または縦姿勢撮影かによって切り替わる。

ここで、図４を用いて本実施形態における、横姿勢撮影および縦姿勢（右９０度／左９０度）撮影時のライブビュー表示におけるサブ画像の重畳位置（重畳表示位置）および動画でのサブ画像の重畳位置（重畳記録位置）を詳細に説明する。なお、ライブビュー表示内や動画の点線は、説明のために記したものであり、この点線は実際には表示および動画記録はされない。

本実施形態においては、同時記録撮影モードにおいて、ライブビュー表示でのサブ画像の重畳位置は、撮像装置１０の正位置つまり横姿勢での表示部１３の左上１０１、右上１０２、左下１０３、右下１０４から選択できる。同時記録撮影モードにおいては、シャッターボタンの押下に応じて静止画を撮影するので、表示部１３に、アスペクト比４：３の静止画画角でライブビュー表示する。そして、アスペクト比４：３の静止画画角でライブビュー表示しながら、ライブビュー表示される画像のうち上下の端部領域を切り取った１６：９の画角のＨＤ動画を静止画と共に記録することができる。また、同時記録撮影モードにおいて、記録される動画にはサブ画像が重畳されるが、記録される静止画にはサブ画像を重畳せずにメイン画像のみを記録する。そのため、サブ画像は、動画記録されない点線で示される上下の端部領域１０５を除いた内側の領域内、つまり、ライブビュー表示されている撮影領域全体のうち動画として記録される領域内に配置される。また、本実施形態ではサブ画像の重畳表示位置は撮像装置１０の姿勢に応じて変えないため、撮像装置１０を縦姿勢にしても表示部１３における重畳表示位置は変わらない。つまり、撮像装置１０を右９０度にした場合、重畳表示位置は横姿勢時の左上１０１の場合１０６に、右上１０２の場合１０７に、左下１０３の場合１０８に、右下１０４の場合１０９となる。また、撮像装置１０を左９０度にした場合、重畳表示位置は横姿勢時の左上１０１の場合１１１に、右上１０２の場合１１２に、左下１０３の場合１１３に、右下１０４の場合１１４となる。

一方、記録する動画におけるサブ画像の重畳位置は、撮像装置１０姿勢によって変更される。

撮像装置１０が横姿勢の場合、ライブビュー表示における重畳位置と同等の位置にサブ画像を重畳する。横姿勢時のライブビュー表示における重畳表示位置左上１０１の場合１１６に、右上１０２の場合１１７に、左下１０３の場合１１８に、右下１０４の場合１１９に重畳して記録される。

縦姿勢撮影時、ライブビュー表示ではメイン画像の上下の端部から離れた位置にサブ画像が重畳されているが、動画記録では、メイン画像のうち動画記録されない領域の上下端部に配置されている。これは、ライブビュー表示における上下端部領域１０５は動画記録されないためであるが、ライブビュー表示と動画記録とで、メイン画像に対するサブ画像の重畳位置は略同じとなるように重畳している。

撮像装置１０を縦姿勢にした場合、撮影画像を切り出さず、９０度回転及びリサイズし、左右に余白画像を付加して動画として記録する。重畳表示位置は撮像装置１０の姿勢に応じて変えないため、横姿勢時に動画記録されない領域１１０、１１５は、縦姿勢時には動画記録されるものの、ライブビュー表示における重畳表示位置は端部領域１１０、１１５を避けた内側の領域内に配置される。一方、横姿勢時に動画記録されない端部領域１２４、１２９は、縦姿勢時には動画記録されるため、重畳記録位置はメイン画像の端部であり、横姿勢撮影時には記録されない端部領域１２４、１２９を含む領域に配置される。つまり、撮像装置１０を右９０度にした場合、重畳表示位置１０６の場合に１２０、１０７の場合１２１に、１０８の場合１２２に、１０９の場合１２３に重畳して記録される。また、撮像装置１０を左９０度にした場合、重畳表示位置１１１の場合に１２５、１１２の場合１２６に、１１３の場合１２７に、１１４の場合１２８に重畳して記録される。このように、本実施形態では、縦姿勢の場合は、ライブビュー表示と動画記録とで、メイン画像に対するサブ画像の重畳位置が異なるように重畳する。

このようにして、ステップＳ１０１、ステップＳ１０３において、ライブビュー表示のための表示用データの重畳位置および動画記録のための記録用データの重畳位置が決定される。

ステップＳ１０４で、ＣＰＵ１１は、撮像部１７により撮像されるメイン動画フレームをキャプチャする。

ステップＳ１０５で、ＣＰＵ１１は、画像処理回路１８を用いて、ステップＳ１０４においてキャプチャされたメイン画像データに対して、ホワイトバランス調整、画素補間等の処理を施し、ＹＵＶデータに変換し、ＤＲＡＭ１５に書き込む。この際、撮像装置１０の姿勢によらず、アスペクト比４：３の撮像領域から、そのままのアスペクト比４：３のＹＵＶデータが生成される。

ステップＳ１０６で、ＣＰＵ１１は、サブ撮像部２２により撮像されるサブ動画フレームをキャプチャする。ここでは、撮像されたサブ画像データにホワイトバランス調整、画素補間等の処理を施し、ＹＵＶデータに変換したものが、ＤＲＡＭ１５に書き込まれる。

ステップＳ１０７で、ＣＰＵ１１は、画像処理回路１８を用いて、ステップＳ１０５で生成されたメインＹＵＶデータから、表示部１３にライブビュー表示するためのメイン表示用データを生成し、ＤＲＡＭ１５に書き込む。ここでは、画像処理回路１８は、表示用データサイズへのリサイズ処理や表示部１３のアスペクト比に合わせて余白画像の合成処理等をＹＵＶデータに施す。ＣＰＵ１１は、撮像装置１０の姿勢に関わらず、ステップＳ１０５で生成されたメインＹＵＶデータ全部が表示部１３に表示されるように画像処理回路１８のリサイズおよび余白画像合成を制御する。

ステップＳ１０８で、ＣＰＵ１１は、画像処理回路１８を用いて、ステップＳ１０６でキャプチャされたサブＹＵＶデータから、表示部１３にライブビュー表示するためのサブ表示用データを生成し、ＤＲＡＭ１５に書き込む。ここでは、画像処理回路１８は、表示用データサイズへのリサイズ処理をＹＵＶデータに施す。

ステップＳ１０９で、ＣＰＵ１１は、ＤＲＡＭ１５に記憶されている撮像装置１０の姿勢情報を取得して、動画バッファリング開始時の撮像装置１０の姿勢が横姿勢と縦姿勢のどちらかを判定する。

ステップＳ１０９で取得した動画バッファリング開始時の撮像装置１０の姿勢が横姿勢の場合、ステップＳ１１０で、ＣＰＵ１１は、画像処理回路１８を、生成されたメインＹＵＶデータから動画記録画角領域を切り出すよう制御する。つまり、図４で説明した上下端部領域１０５を除いた領域を除いた、動画として記録する領域を切り出す。ここで、動画記録画角領域の切り出しは、ステップＳ１０５で生成されたメインＹＵＶデータ全体を読み出して、画像処理回路１８のウインドウ機能を用いてもよいし、動画記録画角領域のみを読み込むようにしてもよい。これにより、アスペクト比４：３のメインＹＵＶデータからアスペクト比１６：９のメイン動画記録画角領域が切り出される。

ステップＳ１１１で、ＣＰＵ１１は、画像処理回路１８を用いて、ステップＳ１１０で切り出された動画記録画角のメインＹＵＶデータを動画記録サイズにリサイズし、メイン動画記録用データが生成される。

ステップＳ１１２で、ＣＰＵ１１は、画像処理回路１８を用いて、ステップＳ１０６でキャプチャされたサブＹＵＶデータを動画記録サイズにリサイズし、サブ動画記録用データが生成される。

他方、動画バッファリング開始時の撮像装置１０の姿勢が縦姿勢の場合、ステップＳ１１３で、ＣＰＵ１１は、画像処理回路１８に、ステップＳ１０５で生成されたメインＹＵＶデータを９０度回転させる回転処理を行わせる。続いて、ＣＰＵ１１は、画像処理回路１８により回転されたメインＹＵＶデータを、その長辺の長さが動画記録サイズの短辺の長さになるように、且つ、長辺と短辺の比を維持したままリサイズする。つまり、動画記録サイズがＨＤ（１２８０×７２０画素）サイズの場合は、画像データの長辺の長さが７２０になるように、５４０×７２０画素にリサイズする。

ステップＳ１１４で、ＣＰＵ１１は、画像処理回路１８を制御して、全体として動画記録サイズとなるようにリサイズ後の画像の左右に黒画像等の余白を示す所定の画像を合成させる。つまり、動画記録サイズがＨＤ（１２８０×７２０画素）である場合、５４０×７２０画素の画像データの左右にそれぞれ３７０×７２０画素の黒画像を合成して、全体として１２８０×７２０画素の圧縮用画像データを生成する。

ステップＳ１１５で、ＣＰＵ１１は、画像処理回路１８を用いて、ステップＳ１０６で生成されたサブＹＵＶデータを９０度回転させる回転処理およびサブ動画記録サイズになるよう長辺と短辺の比を維持したままリサイズし、サブ動画記録用データが生成される。

メインおよびサブの動画記録用データが生成されると、ステップＳ１１６で、ＣＰＵ１１は、画像処理回路１８を用いて、ステップＳ１０３で決定した記録用データ重畳位置（重畳記録位置）に従ってメイン記録用データにサブ記録用データを合成する。

ステップＳ１１７で、ＣＰＵ１１は、画像圧縮伸長回路１９を用いて、ステップＳ１１６で生成されたメイン画像にサブ画像が合成された重畳記録用データをＭＰＥＧ方式又はＭｏｔｉｏｎ ＪＰＥＧ方式等の動画圧縮方式で圧縮する。

ステップＳ１１８で、ＣＰＵ１１は、ステップＳ１１７で圧縮された動画データを、ＤＲＡＭ１５上の動画バッファ領域に一時記憶する。

メインおよびサブの表示用データが生成されると、ステップＳ１１９で、ＣＰＵ１１は、画像処理回路１８を用いて、ステップＳ１０１で決定した表示用データ重畳位置（重畳表示位置）に従ってメイン表示用データにサブ表示用データを合成する。

ステップＳ１２０で、ＣＰＵ１１は、ステップＳ１１９で生成されたメイン画像にサブ画像が合成された重畳表示用データを表示部１３に表示させる。すなわち、表示部１３のライブビュー表示が更新される。

ステップＳ１２１で、ＣＰＵ１１は、操作部１４のシャッターボタン（レリーズスイッチ）の半押し操作（ＳＷ１）が有ったか、すなわち静止画撮影準備指示の有無を判定する。ステップＳ１２１で静止画撮影準備指示（ＳＷ１）がなかった場合、ＣＰＵ１１は、ステップＳ１２３に進む。ステップＳ１２３で、ＣＰＵ１１は、操作部１４の操作や表示部１３へのタッチ操作により、サブ画像の表示位置の変更指示があったかどうかを判定する。ステップＳ１２３でサブ画像の表示位置の変更指示があったと判定された場合、ステップＳ１２４で、ＣＰＵ１１は、一旦、動画のバッファリングを停止し、ＤＲＡＭ１５上の動画バッファ領域に一時記憶されている圧縮動画データを破棄する。そして、ステップＳ１０１に戻り、次のフレームの処理を続ける。ステップＳ１２３でサブ画像の表示位置の変更指示がなかったと判定された場合、ＣＰＵ１１は、ステップＳ１２５に進む。

ステップＳ１２５で、ＣＰＵ１１は、ＤＲＡＭ１５に記憶されている撮像装置１０の姿勢情報と、姿勢検出部２１で検出された現在の撮像装置１０の姿勢を比較し、姿勢変化があったかどうかを判定する。ステップＳ１２５で姿勢変化があったと判定された場合、ステップＳ１２６で、ＣＰＵ１１は、一旦、動画のバッファリングを停止し、ＤＲＡＭ１５上の動画バッファ領域に一時記憶されている圧縮動画データを破棄する。そして、ステップＳ１０２に戻り、次のフレームの処理を続ける。ステップＳ１２５で姿勢変化がなかったと判定された場合、ＣＰＵ１１は、ステップＳ１０４に戻り、次のフレームの処理を続ける。

ステップＳ１２１で静止画撮影準備指示（ＳＷ１）があった場合、静止画撮影準備処理（撮像部１７におけるフォーカス制御や露出制御等）を行う。そしてさらに、ステップＳ１２２で、ＣＰＵ１１は、操作部１４のシャッターボタン（レリーズスイッチ）の全押し操作（ＳＷ２）が有ったか否か、すなわち、静止画撮影指示の有無を判定する。

ステップＳ１２２で静止画撮影指示（ＳＷ２）が無いと判定された場合、ＣＰＵ１１は、ステップＳ１０４に戻り、次のフレームの処理を続ける。

ステップＳ１２２で静止画撮影指示があると判定された場合、ステップＳ１２７で、ＣＰＵ１１は、動画のバッファリングを停止して、撮像部１７により静止画フレームのキャプチャを行う。

ステップＳ１２８で、ＣＰＵ１１は、画像処理回路１８を用いて、ステップＳ１２７でキャプチャされた静止画フレームの画像データをＹＵＶデータに変換した後、画像圧縮伸長回路１９を用いて、ＪＰＥＧ形式で圧縮する。

ステップＳ１２９で、ＣＰＵ１１は、得られた静止画ファイルを、記録媒体インタフェース１６を介して記録媒体２０に記録する。

ステップＳ１３０で、ＣＰＵ１１は、ＤＲＡＭ１５上の動画バッファ領域に一時記憶されている圧縮動画データを記録媒体２０に記録する。同時記録撮影モードにおいて、圧縮動画データを記録する際は、予め決められた動画ファイルに追加して記録する。そのため、１つの動画ファイルを再生することで、複数回の静止画撮影で得られた動画を連続して再生することができる。ただし、撮影日が切り替わったタイミングや動画ファイルの記録サイズが所定のサイズを超えた場合に新しい動画ファイルを生成し、以降新しく生成したファイルに動画を追加するようにしてもよい。また、追加する動画データ毎にチャプタ分けし、Ｓ１２９で記録した静止画ファイルと動画のチャプタの対応関係が分かるように対応情報を静止画ファイルまたは動画ファイルに付加して記録してもよい。

そして、静止画および動画の撮影処理を終了する。または、同時記録撮影モードを継続する場合は、Ｓ１０２に戻り処理を繰り返す。

以上のような撮影処理を行うことで、例えば、横姿勢撮影時の表示部１３の右下１５０にサブ画像の表示が設定されていた場合、図５のように、ライブビュー表示、および、画像の記録が行われる。縦姿勢撮影時には、横姿勢撮影時にライブビュー表示において表示部１３の右下１５０に表示されていた場合、表示部１３に対するサブ画像の表示位置は変わらず、１５１、または、１５２に表示される。一方、記録される動画データにおいては、横姿勢撮影時はライブビュー表示１５０と同じ位置関係の１５４にサブ画像が合成される。そして、縦姿勢撮影時はライブビュー表示１５１、１５２に対して、方向が同じでメイン画像の撮像領域の端に近い位置となる１５５、１５６に記録される。また、静止画については、姿勢に関わらず撮像領域全体が回転や余白の追加を行うことなく記録される。

このように、撮像装置１０の姿勢の切り替えの度に、サブ画像の表示位置が切り替わらないようになるとともに、記録された動画においては常にメイン画像の撮像領域の端に配置され、表示上のレイアウトおよび記録された動画の見栄えをよくできる。
本実施形態では、静止画撮影指示に応じて、メインカメラ（撮像部１７）で撮影した静止画と、静止画と異なるアスペクト比の動画であって、静止画撮影指示前に撮影したメイン動画にサブ動画を重畳合成した動画を記録した。しかし、静止画撮影指示に応じて、撮影した画像を記録すると共に、その画像とは異なるアスペクト比のメイン画像にサブ画像を合成し静止画として記録するようにしてもよい。なお、図５における、ライブビュー表示内、メインキャプチャ画像内、動画データ内に記されている線は、横姿勢時に記録される領域を示すためのものであり、この線は表示や記録はされない。

（第２の実施形態）
本実施形態の撮像装置１０は、第１の実施形態と同様に同時記録撮影モードを有し、静止画撮影の構図決定段階の一定時間分の動画を、撮影された静止画と関連付けて記録することができる。また、第１の実施形態と同様に、同時記録撮影モードにおいて、撮像部１７で撮影した被写体画像に、撮像装置１０の背面に取り付けられたサブ撮像部２２で撮影した撮影者画像を重畳しライブビュー表示および動画記録することができる。その際、第１の実施形態と異なり、表示用データの重畳位置（合成位置）は、撮像装置の天地方向に対するメイン画像とサブ画像の位置関係が同じになるように、撮像装置１０の設定および撮像装置の姿勢に応じて切り替える。つまり、横姿勢時に表示画面の右下の位置にサブ画像が配置されていた場合、縦姿勢に姿勢が変更された場合にも、縦姿勢時の表示画面の天地方向に対して右下の位置にサブ画像が配置されるよう重畳位置を切り替える。また、ライブビュー表示と記録する動画データとで、メイン画像に対するサブ画像の位置が同じになるように撮像装置１０の姿勢に応じて記録動画における重畳位置（合成位置）も切り替える。

図６は、同時記録撮影モードにおける撮像装置１０の撮影処理の動作フローチャートを示す。ＣＰＵ１１が、ＲＯＭ１２から読み出したプログラムに基づいて、図６に示す動作を実現するように各部を制御する。図７は、横姿勢撮影および縦姿勢（右９０度／左９０度）撮影時のライブビュー表示におけるサブ画像の重畳位置および記録する動画データでのメイン画像に対するサブ画像の重畳位置の一例を示す。図８は、横姿勢撮影および縦姿勢（右９０度／左９０度）撮影時のメインキャプチャ画像、サブキャプチャ画像、ライブビュー表示、動画データおよび静止画データの一例を示す。

操作部１４のモードダイアルの操作により、撮影者が同時記録撮影モードをセットすると、図６に示すフローがスタートする。

ステップＳ２０１で、ＣＰＵ１１は、姿勢検出部２１を用いて撮像装置１０の姿勢を検出し、検出された現在の撮像装置１０の姿勢情報をＤＲＡＭ１５に記憶する。

ステップＳ２０２で、ＣＰＵ１１は、撮像装置１０のサブ画像の表示位置の設定および撮像装置の姿勢に応じて、表示部１３にライブビュー表示する際の重畳位置（合成位置）を決定する。つまり、撮像部１７のキャプチャ画像から生成するメイン表示用データに対するサブ撮像部２２のキャプチャ画像から生成するサブ表示用データの重畳位置（合成位置）を決定する。

ステップＳ２０３で、ＣＰＵ１１は、撮像装置１０のサブ画像の表示位置の設定および撮像装置の姿勢に応じて、重畳位置（合成位置）を決定する。つまり、動画記録時に、撮像部１７のキャプチャ画像から生成するメイン記録用データに対するサブ撮像部２２のキャプチャ画像から生成するサブ記録用データの重畳位置（合成位置）を決定する。

以下で、図７を用いて本実施形態における、横姿勢撮影および縦姿勢（右９０度／左９０度）撮影時のライブビュー表示および動画でのサブ画像の重畳位置を詳細に説明する。なお、ライブビュー表示内や動画の点線は、横姿勢時に記録される領域を説明するために記したものであり、この点線は実際には表示および動画記録はされない。

本実施形態においては、同時記録撮影モードにおいて、ライブビュー表示でのサブ画像の重畳位置は、撮像装置１０の正位置つまり横姿勢での表示部１３の左上２０１、右上２０２、左下２０３、右下２０４から選択できる。同時記録撮影モードにおいては、シャッターボタンの押下に応じて静止画を撮影するので、表示部１３にアスペクト比４：３の静止画画角でライブビュー表示する。そして、アスペクト比４：３の静止画画角でライブビュー表示しながら、上下の端部領域を切り取った１６：９の画角のＨＤ動画を静止画と共記録することができる。また、同時記録撮影モードにおいて記録される動画にはサブ画像が重畳されるが、静止画にはサブ画像を重畳せずにメイン画像のみを記録する。そのため、横姿勢撮影時はサブ画像は動画記録されない点線で示される上下の端部領域２０５を除いた内側の領域内、つまり、ライブビュー表示されている撮影領域全体のうち動画として記録される領域内に配置される。

これに対し縦姿勢撮影時は、アスペクト比４：３の静止画画角全体を９０度回転及びリサイズし、左右に余白画像（一般的に、黒画像）を付加して動画記録する。つまり、ライブビュー表示されているメイン画像全体の領域が動画として記録される。そのため、動画記録されない領域は存在せず、横姿勢撮影時に動画記録されない端部領域２１０、２１５を含む領域が記録される。そして、サブ画像は、メイン画像の端部に配置して、ライブビュー表示、及び、動画記録するため、端部領域２１０、２１５を含む領域上にサブ画像が配置される。

また、本実施形態ではサブ画像の重畳表示位置を撮像装置１０の姿勢に応じて、横姿勢でも縦姿勢でも常に動画記録される領域の端に配置されるよう、且つ撮像装置の天地方向に対して常に同じ方向に配置されるよう、表示部１３における重畳表示位置を変更する。つまり、撮像装置１０を右９０度にした場合、重畳表示位置は横姿勢時の左上２０１の場合右９０度における左上の２０６に、右上２０２の場合に２０７、左下２０３の場合２０８に、右下２０４の場合２０９となる。また、撮像装置１０を左９０度にした場合、重畳表示位置は横姿勢時の左上２０１の場合左９０度における左上の２１１に、右上２０２の場合２１２に、左下２０３の場合２１３に、右下２０４の場合２１４となる。

一方、動画記録におけるサブ画像の重畳位置は、ライブビュー表示における重畳位置と同じ位置となる。つまり、ライブビュー表示と同様に撮像装置の姿勢に応じて、重畳位置が決定される。横姿勢時のライブビュー表示における重畳表示位置左上２０１の場合２１６に、右上２０２の場合２１７に、左下２０３の場合２１８に、右下２０４の場合２１９に重畳して記録される。撮像装置１０を右９０度にした場合、重畳表示位置２０６の場合に２２０、２０７の場合２２１に、２０８の場合２２２に、２０９の場合２２３に重畳して記録される。また、撮像装置１０を左９０度にした場合、重畳表示位置２１１の場合に２２４、２１２の場合２２５に、２１３の場合２２６に、２１４の場合２２７に重畳して記録される。つまり、縦姿勢撮影時は、第１の実施形態と同様にサブ画像の重畳位置をメイン画像の端部領域となるように変更すると共に、メイン画像に対するサブ画像の重畳位置を撮像装置の姿勢に応じた角度に回転させた重畳位置に変更されることになる。

このように、本実施形態では、ライブビュー表示と動画記録路で、メイン画像に対するサブ画像の重畳位置が同じになるように重畳している。そのため、横姿勢と縦姿勢とで、メイン画像に対するサブ画像の重畳位置が変更される。そして、横姿勢時には、動画記録されない端部領域を避けた領域内にサブ画像を重畳しているが、縦姿勢時には端部領域を含む領域にサブ画像が配置される。したがって、横姿勢時は、メイン画像の端部から短辺方向に、端部領域２１０、２１５に応じた所定距離分離れた位置にサブ画像が配置されることになる。

以降、ステップＳ２０４からステップＳ２３０の処理は、第１の実施形態のステップＳ１０４からステップＳ１３０と同様の処理のため、説明は省略する。

以上のような撮影処理を行うことで、図８のように、縦姿勢撮影時には、横姿勢撮影時にライブビュー表示において、横姿勢撮影時と画面に対する天地方向が同じで記録される領域の端になるよう配置される。つまり、表示部１３の右下２５０に表示されていた場合、２５１、または、２５２に表示される。一方、記録される動画データにおいては、ライブビュー表示２５０、２５１、２５２と同じ位置関係になるよう、それぞれ２５３、２５４，２５５に記録される。なお、図８における、ライブビュー表示内、メインキャプチャ画像内、動画データ内に記されている線は、横姿勢時に記録される領域を示すためのものであり、この線は表示や記録はされない。

このように、撮像装置１０の姿勢の切り替えに応じて、サブ画像の表示位置が常に撮像装置の天地方向に対して同じ方向かつ、記録される動画における撮像領域の端になるように再配置され、表示上のレイアウトおよび記録された動画の見栄えをよくできる。

（その他の実施形態）
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形および変更が可能である。

上述の実施形態では、本発明を適応した撮像装置を例に説明したが、カメラ付き携帯電話や携帯ゲーム機等の電子機器で本発明を実施してもよい。また、１つの装置で上述の実施形態の機能を実現せずに、複数の装置、例えば、複数の撮像部、姿勢検出部を有する撮像装置、表示部を有する表示装置、ＣＰＵ、ＲＯＭ、ＤＲＡＭを有する制御装置を接続したシステムで、上述の撮像装置の動作を実現してもよい。また、上述の実施形態の一部を適宜組み合わせて実施してもよい。

また、上述の実施形態の機能を実現するソフトウェアのプログラムを、記録媒体から直接、或いは有線／無線通信を用いてプログラムを実行可能なコンピュータを有するシステム又は装置に供給し、そのプログラムを実行する場合も本発明に含む。従って、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の機能処理を実現するためのコンピュータプログラム自体も本発明に含まれる。その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。プログラムを供給するための記録媒体としては、例えば、ハードディスク、磁気テープ等の磁気記録媒体、光／光磁気記憶媒体、不揮発性の半導体メモリでもよい。また、プログラムの供給方法としては、コンピュータネットワーク上のサーバに本発明を形成するコンピュータプログラムを記憶し、接続のあったクライアントコンピュータはがコンピュータプログラムをダウンロードしてプログラムするような方法も考えられる。

Claims (20)

1. 第１の撮像手段と、第２の撮像手段とを有する撮像装置であって、
   前記撮像装置の姿勢を検出する姿勢検出手段と、
   前記第１の撮像手段により撮影した画像に前記第２の撮像手段により撮影した画像を重畳するための合成手段と、
   前記第１の撮像手段により撮影した画像に対する前記第２の撮像手段により撮影した画像の合成位置を制御する制御手段とを有し、
   前記制御手段は、前記姿勢検出手段により検出した前記撮像装置の姿勢に応じて、前記合成位置を変更することを特徴とする撮像装置。
2. 前記合成手段により合成した画像を記録媒体に記録する記録手段を有することを特徴とする請求項１に記載の撮像装置。
3. 前記合成手段により合成した画像を表示手段に表示させる表示制御手段を有することを特徴とする請求項１または２に記載の撮像装置。
4. 前記合成手段により合成した画像を記録媒体に記録するための制御を行う記録制御手段と、
   前記第１の撮像手段により撮影した画像に前記第２の撮像手段により撮影した画像を重畳して表示手段に表示するように制御する表示制御手段と、を有し、
   前記制御手段は、前記合成手段による合成位置が、前記表示手段に表示される前記第１の撮像手段により撮影した画像に対する前記第２の撮像手段により撮影した画像の表示位置と略同じになるように制御し、
   前記姿勢検出手段により前記撮像装置が第１の姿勢であることを検出した場合には、前記合成位置が、前記表示位置と異なる位置になるように制御することを特徴とする請求項１に記載の撮像装置。
5. 前記第１の姿勢は、前記撮像装置が光軸周りに９０度回転した縦姿勢であること特徴とする請求項４に記載の撮像装置。
6. 前記記録制御手段は、前記撮像装置が第２の姿勢の場合は、前記第１の撮影手段により撮影した画像のうちの所定の端部領域が含まれない画像を記録し、前記撮像装置が前記第１の姿勢の場合には、前記所定の端部領域を含んだ画像を記録するように制御することを特徴とする請求項４または５に記載の撮像装置。
7. 前記表示手段に表示される画像のアスペクト比と、前記記録媒体に記録される画像のアスペクト比は異なっていることを特徴とする請求項６に記載の撮像装置。
8. 前記表示制御手段は、前記撮像装置の姿勢に関わらず、前記第１の撮影手段により撮影される画像のうち前記所定の端部領域を除いた領域内に前記第２の撮像手段により撮影した画像を重畳して表示するように制御し、
   前記制御手段は、前記撮像装置が前記第１の姿勢の場合は、前記所定の端部領域を含んだ領域に前記第２の撮像手段により撮影した画像が合成されるように制御し、前記撮像装置が前記第２の姿勢の場合は、前記第１の撮影手段により撮影した画像のうちの前記所定の端部領域を除いた領域内に前記第２の撮像手段により撮影した画像を合成するように制御することを特徴とする請求項６または７に記載の撮像装置。
9. 前記記録制御手段は、前記撮像装置が光軸周りに回転していない横姿勢であることが検出された場合は、前記第１の撮影手段により撮影した画像のうちの所定の端部領域が含まれない画像を記録し、前記撮像装置が光軸周りに９０度回転した縦姿勢であることが検出された場合には、前記第１の撮影手段により撮影した画像を回転させ、前記所定の端部領域を含んだ画像を記録するように制御することを特徴とする請求項６ないし８のいずれか１項に記載の撮像装置。
10. 前記記録制御手段は、静止画撮影指示に応じて前記第１の撮像手段により撮影した静止画を前記記録媒体に記録すると共に、前記前記第１の撮像手段により撮影した画像と前記第２の撮像手段により撮影した画像を合成した動画を前記記録媒体に記録することを特徴とする請求項４ないし９のいずれか１項に記載の撮像装置。
11. 前記制御手段は、前記撮像装置が第１の姿勢であることを検出した場合の合成位置が、前記撮像装置が第２の姿勢であることを検出した場合の合成位置よりも、前記第１の撮像手段により撮影した画像の端部に近い位置となるように合成位置を制御することを特徴とする請求項１に記載の撮像装置。
12. 前記合成手段により合成した画像を表示手段に表示するように制御する表示制御手段を有することを特徴とする請求項１１に記載の撮像装置。
13. 前記合成手段により合成した画像を記録媒体に記録するための制御を行う記録制御手段とを有することを特徴とする請求項１１に記載の撮像装置。
14. 前記記録制御手段は、前記撮像装置が前記第２の姿勢であることを検出した場合には、前記撮像装置が前記第１の姿勢であることを検出した場合よりも、前記第１の撮像手段により撮影される画像の領域のうちの狭い領域の画像を記録するように制御することを特徴とする請求項１３に記載の撮像装置。
15. 前記記録制御手段は、前記撮像装置が前記第２の姿勢であることを検出した場合は、前記第１の撮像手段により撮影される画像の領域のうち、所定の端部領域を除いた領域を記録するように制御することを特徴とする請求項１４に記載の撮像装置。
16. 前記合成手段により合成した画像を表示手段に表示するように制御する表示制御手段を有し、
    前記表示手段に表示される画像のアスペクト比と前記記録媒体に記録される画像のアスペクト比は異なっていることを特徴とする請求項１３ないし１５のいずれか１項に記載の撮像装置。
17. 前記第１の姿勢は、前記撮像装置が光軸周りに９０度回転した縦姿勢であり、
    前記第２の姿勢は、前記撮像装置が光軸周りに回転していない横姿勢であり、
    前記記録制御手段は、前記撮像装置が前記第２の姿勢であることが検出された場合は、前記第１の撮影手段により撮影した画像のうちの所定の端部領域が含まれない画像を記録し、前記撮像装置が前記第１の姿勢であることが検出された場合には、前記第１の撮影手段により撮影した画像を回転させ、前記所定の端部領域を含んだ画像を記録するように制御することを特徴とする請求項１３ないし１６のいずれか１項に記載の撮像装置。
18. 第１の撮像手段と、第２の撮像手段とを有する撮像装置の制御方法であって、
    前記撮像装置の姿勢を判定する判定工程と、
    前記第１の撮像手段により撮影した画像に前記第２の撮像手段により撮影した画像を重畳するための合成工程と、
    前記合成工程で重畳する際の、前記第１の撮像手段により撮影した画像に対する前記第２の撮像手段により撮影した画像の合成位置を制御するための制御工程とを有し、
    前記制御工程では、前記判定工程で判定した前記撮像装置の姿勢に応じて、前記合成位置を変更することを特徴とする撮像装置の制御方法。
19. 請求項１８に記載の撮像装置の制御方法をコンピュータに実行させるためのプログラム。
20. 請求項１８に記載の撮像装置の制御方法をコンピュータに実行させるためのプログラムが記憶されたコンピュータが読み取り可能な記憶媒体。

Images