JP2015204516A - 撮像装置、その制御方法、および制御プログラム - Google Patents

Abstract

【課題】複数の画像を合成して表示する際、撮影の際の方位に応じて合成画像の表示方向を制御してユーザが合成画像の鑑賞を良好に行うことができるようにする。
【解決手段】カメラ１００は少なくとも第１の画像データを得るメインカメラ１０１ａと、第１の画像データを得る際に第２の画像データを得るインカメラ３００とを備えている。システム制御部５０は、方位センサ３０１によってメインカメラの方向を基準方位として検出し、第１の画像データに基準方位を関連付けて記録媒体２００に記録するとともに、第２の画像データを記録する。システム制御部は第１の画像データと第２の画像データとを合成して合成画像データを得て、合成画像データに応じた画像を表示部２８に表示する際、基準方位に対するインカメラの方向の関係に応じて合成画像の表示を制御する。
【選択図】図２

Description

本発明は、撮像装置、その制御方法、および制御プログラムに関し、特に、撮像の結果得られた画像データを表示する際、撮影の際の方位に応じて画像の表示を制御する撮像装置に関する。

近年、画像処理装置の一つとしてデジタルカメラなどの撮像装置がある。撮像装置においては、記録メディアの大容量化に伴って、記録メディアに記録された画像データから所望の画像データを検索して効率よく鑑賞できることが求められている。

一方、携帯電話機又はスマートフォンにおいては、鑑賞者（又は撮影者）を撮影する撮像装置と被写体を撮影する撮像装置を備えて、鑑賞者および被写体を同時に記録することができるものがある。そして、このような携帯電話機などでは、ユーザの視認方向に効率よく画像を表示して、ユーザが観賞できることが求められている。

例えば、デジタルカメラで撮影した顔画像に基づいて表示部に表示される被写体画像の表示方向を制御するようにしたものがある（特許文献１参照）。ここでは、ユーザの顔画像についてその上下方向を判定して、その方向に応じて表示部に表示する被写体画像ついて表示方向を制御する。これによって、ユーザの姿勢、カメラの使い方又は持ち方に依存せずに画像の表示方向を顔画像の上下方向に合せて表示するようにしている。

特開２００８−１７７８１９号公報

ところで、特許文献１に記載の撮像装置においては、顔画像の上下方向に応じて被写体画像の表示方向を制御することが記載されているものの、顔画像と被写体画像を合成した合成画像を表示部に表示することは行われていない。つまり、特許文献１に記載の撮像装置においては、二つの画像を合成して表示することは行われていない。

さらに、合成画像を表示部に表示する際に、撮像装置の方位に応じて、合成画像の表示方向を調整することについても、特許文献１に記載の撮像装置では行っていない。つまり、特許文献１に記載の撮像装置においては、合成画像を表示する際、撮像装置の方位に応じて合成画像の表示方向を制御することができず、ユーザにとって合成画像の鑑賞を良好に行うことが困難となってしまう。

従って、本発明の目的は、複数の画像を合成して表示する際、撮影の際の方位に応じて合成画像の表示方向を制御して、ユーザが合成画像の鑑賞を良好に行うことのできる撮像装置、その制御方法、および制御プログラムを提供することにある。

上記の目的を達成するため、本発明による撮像装置は、第１の画像を得る第１の撮像手段と、前記第１の画像を得る際に第２の画像を得る第２の撮像手段とを備える撮像装置であって、前記第１の撮像手段の撮像方向を検出して第１の方位情報を生成し、前記第２の撮像手段の撮像方向を検出して第２の方位情報を生成する生成手段と、前記第１の方位情報を前記第１の画像に関連付けて記録し、前記第２の方位情報を前記第２の画像に関連付けて記録媒体に記録する記録手段と、を有することを特徴とする。

本発明による制御方法は、第１の画像を得る第１の撮像手段と、前記第１の画像を得る際に第２の画像を得る第２の撮像手段とを備える撮像装置の制御方法であって、前記第１の撮像手段の撮像方向を検出して第１の方位情報を生成し、前記第２の撮像手段の撮像方向を検出して第２の方位情報を生成する生成ステップと、前記第１の方位情報を前記第１の画像に関連付けて記録し、前記第２の方位情報を前記第２の画像に関連付けて記録媒体に記録する記録ステップと、を有することを特徴とする。

本発明による制御プログラムは、第１の画像を得る第１の撮像手段と、前記第１の画像を得る際に第２の画像を得る第２の撮像手段とを備える撮像装置で用いられる制御プログラムであって、前記撮像装置が備えるコンピュータに、前記第１の撮像手段の撮像方向を検出して第１の方位情報を生成し、前記第２の撮像手段の撮像方向を検出して第２の方位情報を生成する生成ステップと、前記第１の方位情報を前記第１の画像に関連付けて記録し、前記第２の方位情報を前記第２の画像に関連付けて記録媒体に記録する記録ステップと、を実行させることを特徴とする。

本発明によれば、第１の方位情報を第１の画像に関連付けて記録し、第２の方位情報を第２の画像に関連付けて記録媒体に記録する。これによって、合成画像を表示部に表示する際、第１の方位情報および第２の方位情報の関係に応じて合成画像の表示を制御することができる結果、ユーザは合成画像の鑑賞を良好に行うことができる。

本発明の実施の形態による撮像装置の一例についてその外観を示す斜視図である。 図１に示すカメラの構成についてその一例を示すブロック図である。 図２に示すカメラの動作の一例を説明するためのフローチャートである。 図３に示す静止画記録モード処理を説明するためのフローチャートである。 図３に示す再生モード処理を説明するためのフローチャートである。 図２に示すカメラで行われる合成画像の表示を説明するための図である。

以下、本発明の実施の形態による撮像装置の一例について図面を参照して説明する。

［撮像装置の構成］
図１は、本発明の実施の形態による撮像装置の一例についてその外観を示す斜視図である。

図示の撮像装置は、所謂デジタルカメラ（以下単にカメラと呼ぶ）１００であり、静止画および動画の撮影を行うことができる。カメラ１００はその背面側に表示部２８が配置されており、この表示部２８には画像および各種情報が表示される。なお、表示部２８には、暗所においてもユーザ（撮影者又は鑑賞者）がその表示内容を視認できるように所謂バックライトが搭載されている。

カメラ１００の上面には電源オンおよび電源オフを切り替える電源スイッチ７２が配置されるとともに、シャッターボタン６１が配置されている。表示部２８の右側には、各種モードを切り替えるモードダイアル（モード切替スイッチともいう）６０が配置されるとともに、ユーザからの各種操作を受け付ける操作部７０が配置されている。

図１には示されていないが、カメラ１００は第１のカメラ部（以下メインカメラと呼ぶ）が備えられ、メインカメラによって被写体が撮影される（第１の撮像）。さらに、カメラ１００は第２のカメラ部（以下インカメラと呼ぶ）３００を有している。

図示の例では、インカメラ３００は表示部２８の上側直近に配置されて背面方向に向けられている。つまり、インカメラ３００は表示部２８の画面と同一の面に配置されていることになる。そして、後述するようにインカメラ３００によって、例えば、ユーザ側（撮影者又は鑑賞者）が撮影される（第２の撮像）。

操作部７０にはユーザからの各種操作を受け付けるための各種スイッチ、ボタン、およびタッチパネルなどが備えられている。さらに、操作部７０にはコントローラホイール７３が備えられており、このコントローラホイール７３は回転操作に応じた指令を送出する。図示のように、カメラ１００には方位センサ３０１が備えられており、この方位センサ３０１はメインカメラの方向である方位（つまり、撮像方向）を撮影の際に検出する。

図示の例では、カメラ１００には、カメラ１００と外部機器（図示せず）とを接続するための接続ケーブル１１１が接続されている。この接続ケーブル１１１はコネクタ１１２によってカメラ１００に接続される。

カメラ１００には記録媒体スロット２０１が形成されており、この記録媒体スロット２０１にはメモリカード又はハードディスクなどの記録媒体２００が収納される。記録媒体スロット２０１に記録媒体２００を収納する際には、カメラ１００に設けられた蓋部２０２を開いて、記録媒体スロット２０１に記録媒体２００を収納する。

図２は、図１に示すカメラ１００の構成の一例を示すブロック図である。

前述のように、カメラ１００はメインカメラ１０１ａおよびインカメラ３００を有している。メインカメラ１０１ａは撮影レンズユニット（以下単に撮影レンズと呼ぶ）１０３を備えており、撮影レンズ１０３には、少なくともズームレンズおよびフォーカスレンズが備えられている。

撮影レンズ１０３の後段には絞り機能を備えるシャッター１０１が配置されている。そして、シャッター１０１の後側には、光学像（ここでは、被写体像）を電気信号（アナログ信号）に変換するＣＣＤ又はＣＭＯＳ素子を有する撮像部２２が配置されている。撮像部２２の出力であるアナログ信号は、Ａ／Ｄ変換器２３によってデジタル信号（画像データ：以下この画像データを被写体画像データと呼ぶ）に変換される。

なお、撮影レンズ１０３の前面側にはバリア１０２が配置されており、このバリア１０２は撮影レンズ１０３、シャッター１０１、および撮像部２２などを覆って、汚れおよび破損を防止するためのものである。

同様に、インカメラ３００は、撮影レンズ３０３、シャッター３０１、撮像部３２２、およびＡ／Ｄ変換器３２３を有しており、撮像部３２２は光学像（ここでは、撮影者像）に応じたアナログ信号を出力し、撮像部３２２の出力であるアナログ信号はＡ／Ｄ変換器３２３によって画像データ（以下この画像データをユーザ画像データと呼ぶ）に変換される。

前述の被写体画像データ（第１の画像データ）およびユーザ画像データ（第２の画像データ）はそれぞれ画像処理部２４および３２４に与えられる。さらに、被写体画像データおよびユーザ画像データは直接メモリ制御部１５に与えられる。なお、以下の説明では、被写体画像データおよびユーザ画像データを単に画像データと総称することがある。

画像処理部２４および３２４における処理は同様であるので、ここでは、画像処理部２４に注目して説明を行う。

画像処理部２４はＡ／Ｄ変換器２３の出力である被写体画像データ、又はメモリ制御部１５から画像データを受けて、所定の画素補間および縮小などのリサイズ処理と色変換処理とを行う。また、画像処理部２４は撮像の結果得られた被写体画像データを用いて所定の演算処理を行う。そして、システム制御部５０は、当該演算結果に基づいて露光制御および測距制御を行う。これにより、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、およびＥＦ（フラッシュプリ発光）処理が行われる。

さらに、画像処理部２４は撮像の結果得られた被写体画像データを用いて所定の演算処理を行って、当該演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理を行う。

なお、図示の例では、メインカメラ１０１ａおよびインカメラ３００に対応して画像処理部２４および３２４を設けるようにしたが、画像処理部２４および３２４を１つの画像処理部として上述の処理を行わせるようにしてもよい。

Ａ／Ｄ変換器２３からの出力である被写体画像データは、画像処理部２４およびメモリ制御部１５を介して、或いは直接メモリ制御部１５を介して、メモリ３２に書き込まれる。

同様にして、Ａ／Ｄ変換器３２３からの出力であるユーザ画像データは、画像処理部３２４およびメモリ制御部１５を介して、或いは直接メモリ制御部１５を介して、メモリ３２に書き込まれる。このメモリ３２は、所定枚数の静止画像又は所定時間の動画像および音声を格納するための十分な記憶容量を備えている。

図示のメモリ３２は画像表示用のメモリ（ビデオメモリ）を兼ねており、メモリ３２に書き込まれた表示用の画像データはＤ／Ａ変換器１３を介して表示部２８に与えられて、画像として表示される。

なお、表示部２８は、例えば、ＬＣＤである。また、メモリ３２に蓄積された画像データをＤ／Ａ変換器１３においてＤ／Ａ変換して表示部２８に逐次転送して表示すれば、表示部２８を電子ビューファインダとして機能させてスルー画像表示を行うことができる。

システム制御部５０はカメラ１００全体の制御を司る。図２においては、制御線の便宜上、システム制御部５０が２つ描かれているが、実際にはシステム制御部５０は１つである。そして、ここでは、仮想的に描かれたシステム制御部５０は破線ブロックで示されている。

不揮発性メモリ５６にはシステム制御部５０の動作用の定数、変数、およびプログラムなどが格納されている。このプログラムには、後述する各種フローチャートを実行するためのプログラムが含まれる。不揮発性メモリ５６は電気的に消去・記録可能なメモリであって、例えば、ＥＥＰＲＯＭが用いられる。

システムメモリ５２は、例えば、ＲＡＭであり、システム制御部５０は不揮発性メモリ５６から動作用の定数、変数、およびプログラムなどを読み出して、システムメモリ５２に展開する。

なお、メモリ３２に書き込まれた画像データは、システム制御部５０においてファイル化されて、インターフェース（Ｉ／Ｆ）１８を介して記録媒体２００に記録される。

システム制御部５０にはシステムタイマー５３が接続されており、システムタイマー５２はシステム制御部５０による各種制御で用いる時間を計測してシステム制御部５０に与える。

前述のモード切替スイッチ６０は、例えば、システム制御部５０の動作モードを静止画記録モード、動画記録モード、および再生モードなどのいずれかに切り替えるためのスイッチである。

上記の静止画記録モードには、例えば、オート撮影モード、オートシーン判別モード、マニュアルモード、撮影シーン別の撮影設定となる各種シーンモード、プログラムＡＥモード、およびカスタムモードがある。モード切り替えスイッチ６０を用いれば、これらのモードのいずれかに直接切り替えることができる。

また、モード切り替えスイッチ６０によって静止画記録モードに一旦切り換えた後、上記のモードのいずれかに操作部７０を用いて切り替えるようにしてもよい。同様に、動画記録モードにも複数のモードが含まれている。

シャッターボタン６１が操作途中（半押し：撮影準備指示）であると、第１のシャッタースイッチ（図示せず）がオンとなって、第１のシャッタースイッチ信号ＳＷ１がシステム制御部５０に与えられる。これによって、システム制御部５０はＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、およびＥＦ（フラッシュプリ発光）処理などの動作を開始する。

シャッターボタン６１が操作完了（全押し）になると、第２のシャッタースイッチ（図示せず）がオンとなって、第２のシャッタースイッチ信号ＳＷ２がシステム制御部５０に与えられる。これによって、システム制御部５０は撮像部２２および３２２の信号読み出しから記録媒体２００に画像データを書き込むまでの一連の撮像処理の動作を開始する。

表示部２８に表示される種々の機能アイコンを選択操作すると、場面（シーン）毎に適宜機能が割り当てられて、操作部７０は各種機能ボタンとして作用する。機能ボタンとして、例えば、終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、および属性変更ボタンがある。

操作部７０においてメニューボタンが操作されると、システム制御部５０は各種設定を行うためのメニュー画面を表示部２８に表示する。ユーザは表示部２８に表示されたメニュー画面を見て、４方向キーおよびＳＥＴボタンを用いて直感的に各種設定を行うことができる。

図１に示すコントローラホイール７３は方向ボタンとともに選択項目を指示する際などに用いられる。コントローラホイール７３を回転操作すると、操作量に応じた電気的なパルス信号が発生する。システム制御部５０は当該パルス信号に基づいてカメラ１００を制御する。システム制御部５０はパルス信号によってコントローラホイール７３が回転操作された角度およびその回転数を知ることができる。

なお、コントローラホイール７３は回転操作が検出できる操作部材であればどのようなものでもよい。例えば、コントローラホイール７３はユーザの回転操作に応じてパルス信号を発生するダイヤル操作部材であってもよい。

また、コントローラホイール７３は回転することなく、タッチセンサよりなる操作部材であってユーザの指の回転動作などを検出するものであってもよい（所謂タッチホイール）。

電源制御部８０は電池検出回路、ＤＣ−ＤＣコンバータ、および通電するブロックを切り替えるスイッチ回路などを備えている。そして、電源制御部８０は電池の装着の有無、電池の種類、および電池残量の検出を行う。また、電源制御部８０は上記の検出結果およびシステム制御部５０の指示に基づいてＤＣ−ＤＣコンバータを制御して、所定の電圧を必要な期間の間、記録媒体２００を含むカメラ１００の各部に供給する。

電源制御部８０には電源部３０が接続されている。電池部３０はアルカリ電池又はリチウム電池などの一次電池、又はＮｉＣｄ電池、ＮｉＭＨ電池、又はＬｉ電池などの二次電池を備えるとともに、ＡＣアダプターなどを有している。

記録媒体Ｉ／Ｆ１８は、メモリカード又はハードディスクなどの記録媒体２００とのインターフェースであり、記録媒体２００には撮影の結果得られた画像データが記録される。この記録媒体２００は、例えば、半導体メモリ又は磁気ディスクから構成される。

なお、図示のように、システム制御部５０には、方位センサ３０１が接続され、システム制御部５０は、方位センサ３０１で検知された方位に応じて、後述する処理を行う。

［カメラの動作］
図３は、図２に示すカメラの動作の一例を説明するためのフローチャートである。なお、図示のフローチャートに係る処理は、システム制御部５０の制御下で行われ、システム制御部５０は不揮発性メモリ５６などに格納されたプログラムをシステムメモリ５２に展開して実行することによってカメラ１００を制御する。

カメラ１００において、電源スイッチ７２が操作されて電源がオンとなると、システム制御部５０はフラグおよび制御変数などを初期化する初期設定を行う（ステップＳ３０１）。続いて、システム制御部５０は、記録媒体２００に記録されたファイルに関する管理処理（ファイル管理処理）を行う（ステップＳ３０２）。

次に、システム制御部５０は、モード切替スイッチ６０によって静止画記録モードが設定されているか否かを判定する（ステップＳ３０３）。静止画記録モードが設定されていると（ステップＳ３０３において、ＹＥＳ）、システム制御部５０は、後述する静止画記録モード処理を行う（ステップＳ３０４）。

静止画記録モードが設定されていないと（ステップＳ３０３において、ＮＯ）、システム制御部５０は、モード切替スイッチ６０によって動画記録モードが設定されているか否かを判定する（ステップＳ３０５）。動画記録モードが設定されていると（ステップＳ３０５において、ＹＥＳ）、システム制御部５０は、後述する動画記録モード処理を行う（ステップＳ３０６）。

動画記録モードが設定されていないと（ステップＳ３０５において、ＮＯ）、システム制御部５０は、モード切替スイッチ６０によって再生モードが設定されているか否かを判定する（ステップＳ３０７）。再生モードが設定されていると（ステップＳ３０７において、ＹＥＳ）、システム制御部５０は、後述する再生モード処理を行う（ステップＳ３０８）。

再生モードが設定されていないと（ステップＳ３０７において、ＮＯ）、システム制御部５０は、その他のモードに係る処理を行う（ステップＳ３０９）。その他のモード処理として、例えば、記録媒体２００に格納されたファイルを送信する送信モード処理および外部機器からファイルを受信して記録媒体２００に格納する受信モード処理がある。その他のモード処理に属する処理は、例えば、操作部７０などにおいて選択される。

ステップＳ３０４、Ｓ３０６、Ｓ３０８、又はＳ３０９の処理の後、システム制御部５０は、電源スイッチ７２が操作されて電源がオフとなったか否かを判定する（ステップＳ３１０）。電源がオフとなると（ステップＳ３１０において、ＹＥＳ）、システム制御部５０は終了処理を行う（ステップＳ３１１）。

この終了処理には、例えば、次の処理がある。システム制御部５０は表示部２８の表示を終了状態に変更して、レンズバリア１０２を閉じて撮像部２２を保護する。さらに、システム制御部５０はフラグおよび制御変数などを含むパラメータおよび設定値、そして、設定モードを不揮発性メモリ５６に記録して、電源供給が不要なブロックに対する電源を遮断する。その後、システム制御部５０はカメラ動作を終了して、電源オフ状態に移行する。

なお、電源がオンであると（ステップＳ３１０において、ＮＯ）、システム制御部５０はステップＳ３０３の処理に戻る。

［静止画記録モード処理］
図４は、図３に示す静止画記録モード処理を説明するためのフローチャートである。なお、システム制御部５０は、モード切替スイッチ６０によって静止画記録モードから他のモードに切り替えが行われた場合および電源スイッチ７２がオフとされた場合には、静止画記録モード処理を割り込みなどによって終了する。

静止画記録モードを開始すると、まず、システム制御部５０は撮影モードを確定する（ステップＳ４０１）。ここでは、システム制御部５０は、不揮発性メモリ５６から前回の静止画記録モード終了の際の撮影モードを取得してシステムメモリ５２に格納することによって、撮影モードの確定を行う。なお、撮影モードは、静止画を撮影するための撮影モードである。

ところで、図２に示すカメラ１００は、例えば、次の撮影モードを有している。

オートモード：計測の結果得られた露出値に基づいてカメラ１００に組み込まれたプログラムによって、カメラ１００の各種パラメータを自動的に決定するモード。

マニュアルモード：カメラ１００の各種パラメータをユーザが自由に変更可能なモード。

シーンモード：撮影シーンに適したシャッター速度、絞り値、ストロボ発光状態、および感度設定などの組み合わせが自動的に設定されるモード。

なお、シーンモードには、例えば、次のモードがある。

ポートレートモード：背景をぼかして人物を浮き立たせるようにして人物撮影に特化したモード。

夜景モード：人物にストロボ光を当て、背景を遅いシャッター速度で記録する夜景シーンに特化したモード。

風景モード：広がりのある風景シーンに特化したモード。

ナイト＆スナップモード：三脚なしで夜景と人物をきれいに撮るために適したモード。

キッズ＆ペットモード：よく動き回る子供又はペットをシャッターチャンスを逃さず撮影可能にするモード。

新緑＆紅葉モード：新緑などの木々および葉を色鮮やかに撮影するために適したモード。

パーティーモード：蛍光灯又は電球の下で、手振れを抑えて被写体に忠実な色味で撮影するモード。

スノーモード：雪景色をバックにしても人物が暗くならず、青みも残さず撮影するモード。

ビーチモード：太陽光の反射の強い海面又は砂浜においても、人物などが暗くならずに撮影可能なモード。

花火モード：打ち上げ花火を最適な露出で鮮やかに撮影するためのモード。

水族館モード：屋内の水槽内の魚などを撮影するのに適した感度、ホワイトバランス、および色味を設定するモード。

水中モード：水中に最適なホワイトバランスに設定して、青みを押さえた色合いで撮影するモード。

モノクロモード：白黒／セピア／青／紫／緑などの調色を選択して撮影するモード。

極彩色モード：彩度を上げた鮮烈な色で撮影するモード。

ライブビューモード：明るさ／色合い／鮮やかさを分かりやすい言葉で選択して絵作り可能な撮影モード。

撮影モードを確定すると、システム制御部５０は撮像部２２の出力によって得られた被写体画像データを表示部２８に表示するスルー表示を行う（ステップＳ４０２：画像表示制御）。このスルー表示は、撮像部２２で得られた被写体画像データを記録媒体２００に記録することなく、リアルタイムで動画として表示部２８に表示するものであり、スルー画像を見て、撮影者は画角の確認および撮影のタイミングを図ることができる。

次に、システム制御部５０は、バッテリー（電源部）が充電され（バッテリーＯＫ）、かつ記録媒体２００がカメラ１００に装着されている（記録媒体ＯＫ）か否かを判定する（ステップＳ４０３）。ステップＳ４０３の処理では、システム制御部５０は，電源制御部８０によって電源部３０の残容量を調べるとともに、記録媒体２００の有無およびその残容量がカメラ１００の動作に問題があるか否かを判定する。

バッテリーがＮＧであるか又は記録媒体がＮＧであると（ステップＳ４０３において、ＮＧ）、システム制御部５０は表示部２８に所定の警告を表示するとともに音声によって所定の警告を行う（ステップＳ４０４）。そして、システム制御部５０はステップＳ４０１の処理に戻る。

バッテリーがＯＫであり、かつ記録媒体がＯＫであると（ステップＳ４０３において、ＯＫ）、システム制御部５０は、ユーザ設定に応じて不揮発性メモリ５６などに格納された撮影設定をシステムメモリ５２に展開して、撮影パラメータが設定されているか否かを判定する（ステップＳ４０５）。

撮影パラメータが設定されていると（ステップＳ４０５において、ＹＥＳ）、システム制御部５０は撮影パラメータ、つまり、撮影設定に応じた処理を行う（ステップＳ４０６）。そして、システム制御部５０はステップＳ４０５の処理に戻る。

一方、撮影パラメータが設定されていないと（ステップＳ４０５において、ＮＯ）、システム制御部５０はスルー表示中の画像に人の顔が存在するか否かを検出するための顔検出処理を行う（ステップＳ４０７：シーン検出）。

ステップＳ４０７の処理において人の顔を検出すると、システム制御部５０は画像における顔の位置座標、サイズ（幅、高さ）、顔の検出個数、および信頼性係数などを顔検出情報としてシステムメモリ５２に記憶する。なお、画像において顔を検しない場合には、システム制御部５０はシステムメモリ５２において位置座標、サイズ（幅、高さ）、検出個数、および信頼性係数などの領域に”０”を設定する。

続いて、システム制御部５０は、第１シャッタースイッチ信号ＳＷ１がオンであるか否かを判定する（ステップＳ４０９：撮影準備指示受付）。第１シャッタースイッチ信号ＳＷ１がオフであると（ステップＳ４０９において、ＯＦＦ）、システム制御部５０はステップＳ４０５の処理に戻る。

一方、第１シャッタースイッチ信号ＳＷ１がオンであると（ステップＳ４０９において、ＯＮ）、システム制御部５０は、測距および測光などの撮影準備動作を行う（ステップＳ４１０）。ステップＳ４１０の処理では、システム制御部５０は、測距処理を行って撮影レンズ１０３の焦点を被写体に合わせるとともに（オートフォーカス処理）、測光処理を行って絞り値およびシャッタースピードを決定する（露出決定処理）。

なお、測光処理においては、必要に応じてフラッシュの設定が行われる。この際、ステップＳ４０７の処理において顔が検出されていれば、システム制御部５０は検出した顔の範囲において測距を行う顔ＡＦを行うようにしてもよい。

次に、システム制御部５０は、第２シャッタースイッチ信号ＳＷ２がオンであるか否かを判定する（ステップＳ４１１）。第２シャッタースイッチ信号ＳＷ２がオフであると（ステップＳ４１１において、ＯＦＦ）、システム制御部５０は、第１シャッタースイッチ信号ＳＷ１がオンであるか否かを判定する（ステップＳ４１２）。

第１シャッタースイッチ信号ＳＷ１がオフであると（ステップＳ４１２において、ＯＦＦ）、システム制御部５０はステップＳ４０５の処理に戻る。第１シャッタースイッチ信号ＳＷ１がオンであると（ステップＳ４１２において、ＯＮ）、システム制御部５０はステップＳ４１１の処理に戻る。

第２シャッタースイッチ信号ＳＷ２がオンとなると（ステップＳ４１１において、ＯＮ）、システム制御部５０は表示部２８の表示状態をスルー表示から固定色表示状態（例えば黒一色の表示）に設定する（ステップＳ４１３）。そして、システム制御部５０は、方位センサ３０１で検出された方位（メインカメラ１０１ａの方位）を設定する（ステップ４１４：方位検出）。ここでは、例えば、北を基準方位とする。

続いて、システム制御部５０は、露光処理および現像処理を含む撮影処理を行う（ステップＳ４１５）。なお、露光処理においては、Ａ／Ｄ変換器２３の出力である被写体画像データが、画像処理部２４およびメモリ制御部１５を介して、或いは直接メモリ制御部１５を介して、メモリ３２に書き込まれる。

また、現像処理においては、システム制御部５０はメモリ制御部１５、そして必要に応じて画像処理部２４によって、メモリ３２に書き込まれた画像データを読み出して各種処理を行う。

次に、システム制御部５０は、撮影処理によって得られた画像データを、表示部２８にクイックレビュー表示する（ステップＳ４１６）。なお、クイックレビュー表示とは、撮影の結果得られた画像を確認するため、記録媒体２００に記録する前に、予め定められた時間（レビュー時間）の間、画像データを表示部２８に表示する処理をいう。

続いて、システム制御部５０は、撮影処理で得られた画像データ（ここでは、被写体画像データ）を画像ファイル（つまり、被写体画像ファイル）として記録媒体２００に書き込む記録処理を行う（ステップＳ４１７）。この際、システム制御部５０は、メインカメラ１０１ａを基準として検出した方位をメタデータとして被写体画像ファイルに記録する。

次に、システム制御部５０は、メインカメラ１０１ａで得られた被写体画像データおよびインカメラ３００で得られたユーザ画像データを合成する合成設定が行われたか否かを判定する（ステップＳ４１８）。なお、画像の合成を行うか否かの設定は、例えば、操作部７０によってユーザが設定する。

合成設定が行われていると（ステップＳ４１８において、ＹＥＳ）、システム制御部５０は、被写体画像データとユーザ画像データとを合成処理して、合成画像データとして記録媒体２００に記録する（ステップＳ４１９）。そして、システム制御部５０は、第２シャッタースイッチ信号ＳＷ２がオンであるか否かを判定する（ステップＳ４２０）。

第２シャッタースイッチ信号ＳＷ２がオンであると（ステップＳ４２０において、ＯＮ）、システム制御部５０は待機する。この際、システム制御部５０は上述のクイックレビュー表示を継続する。つまり、システム制御部５０は、ステップＳ４１７の記録処理を行った後、第２シャッタースイッチ信号ＳＷ２がオフとなるまで表示部２８にクイックレビュー表示を行う。

これによって、ユーザはシャッターボタン６１の全押し状態を継続すれば、クイックレビュー表示によって画像の確認を入念に行うことができることになる。なお、合成設定が行われていないと（ステップＳ４１８において、ＹＥＳ）、システム制御部５０はステップＳ４２０の処理に進む。

第２シャッタースイッチ信号ＳＷ２がオフであると（ステップＳ４２０において、ＯＦＦ）、つまり、ユーザがシャッターボタン６１の全押し状態を解除すると、システム制御部５０は予め設定されたクイックレビュー表示に係るレビュー時間（ミニマムレビュー時間）が経過したか否かを判定する（ステップＳ４２１）。ミニマムレビュー時間が経過していないと（ステップＳ４２１において、ＮＯ）、システム制御部５０はミニマムレビュー時間が経過するまで待機する。

一方、ミニマムレビュー時間が経過すると（ステップＳ４２１において、ＹＥＳ）、システム制御部５０は表示部２８における表示状態をクイックレビュー表示からスルー表示状態に戻す（ステップＳ４２２）。

この処理によって、ユーザがクイックレビュー表示によって画像を確認した後、表示部２８の表示状態が次の撮影のため被写体画像データを逐次表示するスルー表示状態に自動的に切り替わることになる。

次に、システム制御部５０は、第１シャッタースイッチ信号ＳＷ１がオンであるか否かを判定する（ステップＳ４２３）。第１シャッタースイッチ信号ＳＷ１がオンであると（ステップＳ４２３において、ＯＮ）、システム制御部５０はステップＳ４１１の処理に移行して、第２のシャッタースイッチ信号ＳＷ２がオンであるか否かを判定する。一方、第１シャッタースイッチ信号ＳＷ１がオフであると（ステップＳ４２３において、ＯＦＦ）、システム制御部５０はステップＳ４０５の処理に戻る。

このように、シャッターボタン６１の半押し状態が継続している（第１シャッタースイッチ信号ＳＷ１がオン）場合には、システム制御部５０は次の撮影に備えるため、ステップＳ４１１の処理に移行する。

一方、シャッターボタン６１が解放された状態（第１シャッタースイッチ信号ＳＷ１がオフ）では、システム制御部５０は一連の撮影動作を終えて撮影待機状態に移行するためステップＳ４０５の処理に戻る。

図５は、図３に示す再生モード処理を説明するためのフローチャートである。

ユーザ操作によって再生モード処理が開始されると、システム制御部５０は、記録媒体２００から最新の画像情報を取得する（ステップＳ５０１）。この最新の画像情報の取得は、総枚数の計算および検索リスト作成よりも先に行われる。これによって、再生モード処理が開始されると、直ちに画像表示を行うことができるというメリットがある。

続いて、システム制御部５０は最新の画像情報を正しく取得できたか否かを判定する。つまり、システム制御部５０は記録媒体２００に画像ファイルが存在するか否かを判定することになる（ステップＳ５０２）。ステップＳ５０２の処理において、記録媒体２００に画像ファイルが存在しない場合には、システム制御部５０は最新の画像情報を取得できないと判定する。

さらに、メディア不良によって記録媒体２００から画像情報を取得できい状態においても、システム制御部５０は最新の画像情報を取得できなかったと判定する。言い換えると、最新の画像情報が取得できれば、システム制御部５０は、少なくとも一つの画像ファイルが記録媒体２００に存在すると判定することになる。

最新の画像情報が取得できないと（ステップＳ５０２において、ＮＯ）、システム制御部５０は、画像なしとして入力待ち状態となる（ステップＳ５０９）。一方、最新の画像情報が取得できると（ステップＳ５０２において、ＹＥＳ）、システム制御部５０は最新の画像情報に応じて記録媒体２００から最新の画像データ（つまり、被写体画像データ）を読み込む（ステップＳ５０３）。この際、システム制御部５０は最新の被写体画像データに関連付けられた（つまり、被写体画像データと対の）ユーザ画像データを記録媒体２００から読み込む。

続いて、システム制御部５０は、記録媒体２００に記録された合成画像データを表示部に表示するか否かを判定する（ステップＳ５０４）。なお、合成画像データを表示するか否かはユーザ操作に応じて決定される。

図６は、図２に示すカメラで行われる合成画像の表示を説明するための図である。

合成画像データを表示すると判定すると（ステップＳ５０４において、ＹＥＳ）、システム制御部５０は、被写体画像データ７０１とユーザ画像データ７０２とを合成した合成画像データ７０３を合成画像として表示部２８に表示する。つまり、システム制御部５０は、被写体画像データ７０１に応じた画像とユーザ画像データ７０２に応じた画像とを同一画面に表示する。この際、システム制御部して、後述するようにして、ユーザが視認し易いように補正する（ステップＳ５０５）。

一方、合成画像データを表示しないと判定すると（ステップＳ５０４において、ＮＯ）、システム制御部５０は、メインカメラ１０１ａで撮影された画像、つまり、被写体画像データに応じた画像を主画像として、表示部２８に表示する（ステップＳ５０８）。

前述のように、被写体画像ファイル、つまり、被写体画像データには、メインカメラ１０１ａを基準として検出した方位をメタデータとして記録されている。図６に示す例において、いま、被写体画像データ７０１とユーザ画像データ７０２とを合成した合成画像データを表示部２８に表示する際、システム制御部５０は被写体画像データに記録された方位（メタデータ）を参照して、合成画像データを表示部２８に表示する。ここでは、メインカメラ１０１ａの方向、つまり、方位に対して、インカメラ３００がいずれの方向に向けられているかを判定する。

図１に示す例では、メインカメラ１０１ａに対してインカメラ３００は、常に逆方向に向けられているので、例えば、メインカメラ１０１ａを北に向けて被写体画像データ７０１を得たとすれば、インカメラ３００は南に向けられてユーザ画像データを得たことになる。

システム制御部５０は、合成画像７０３を表示部２８に表示する際、メインカメラ１０１ａの方位とインカメラ３００との方位とを関係付けて表示する。ここでは、メインカメラと１０１ａとインカメラ３００とは逆向きの関係（つまり、北向きと南向き）であるから、システム制御部５０は被写体画像データが表示された画面の下側中央にユーザ画像データを重畳して表示する。この際、図示はしないが、システム制御部５０は画面上に被写体画像データを得た際のメインカメラ１０１ａの方位（ここでは、北）を表示する。

これによって、ユーザはユーザ画像データを得た際のインカメラ３００の方向（ここでは、南）を容易に知ることができる。

図１に示す例では、インカメラ３００は固定されているが、インカメラ３００はその方向が可変であってもよい。インカメラ３００の方向が可変である際には、システム制御部５０は、インカメラ３００の方向とメインカメラ１０１ａの方位との関係を常に把握する。そして、インカメラ３００の方向とメインカメラ１０１ａとの関係に応じて、システム制御部５０は、画面上のユーザ画像データに係る画像の表示位置を変化させる。

なお、インカメラ３００の方向が可変である際には、撮影者であるユーザを撮影するとは限らず、インカメラ３００はメインカメラ１０１ａと同一の方向に向けられることもある。また、インカメラ３００はメインカメラ１０１ａと異なる方向に向けられて別の被写体を撮影することもある。

例えば、メインカメラ１０１ａが北に向けられている際に、インカメラ３００が東に向けられていると、システム制御部５０はインカメラ３００で得られた画像を画面の右側中央に表示する。

このように、システム制御部５０は、メインカメラ１０１ａとインカメラとの位置関係とに応じて、メインカメラ１０１ａの方位を基準として、インカメラ３００で得られた画像をメインカメラ１０１ａで得られた画像に重畳して、画面の端部に表示する。

つまり、システム制御部５０は、方位センサ３０１で得られたメインカメラ１０１ａの方位を基準として（つまり、０°）として、インカメラ３００で得られた画像を表示する。この際、画面の右側中央が９０°、下側中央が１８０°、左側中央が２７０°とされ、画面上にはメインカメラ１０１ａの方位が表示される。これによって、ユーザは、撮影の際のメインカメラ１０１ａおよびインカメラ３００の方向を容易に知ることができる。

なお、メインカメラ１０１ａとインカメラ３００とが同一方向である場合には、システム制御部５０は、メインカメラ１０１ａで得られた画像に、インカメラ３００で得られた画像を重畳することなく、表示画面上に独立して表示する。

ステップＳ５０５又は５０８の処理に続いて、システム制御部５０は、記録媒体２００に記録されている画像データの総枚数を取得する総枚数取得処理を開始する（ステップＳ５０６）。なお、ステップＳ５０６の処理は、バックグランドで行われる結果、その完了を待たずに次の処理に進むことができる。

これによって、多数の画像データが記録媒体２００に記録されている状態において総枚数の計算に時間を要する場合であっても、ユーザは総枚数の計算の完了を待つことなく画像を閲覧することが可能となる。

総枚数取得処理（総枚数計算処理）は、例えば、静止画記録モード処理から再生モード処理に移行した際に、静止画記録モード処理において新たに画像データが記録又は削除され、総枚数に相違が生じた場合に特に有効な処理である。そして、静止画記録モード処理において新たに画像データが記録又は削除されていない場合には、既に計算済みの総枚数を用いればよいので、総枚数計算の処理を行う必要はない。

続いて、システム制御部５０は検索リストの作成を開始する（ステップＳ５０７）。ここで、検索リストとは画像データに付与された属性情報を予め取得して管理するためのリストである。予め検索リストを生成することによって、属性情報毎の再生又は消去などの処理を迅速に行うことが可能となる。

ステップＳ５０７の検索リスト作成処理においても総枚数計算処理と同様にバックグランドで行われるので、その完了を待つことなく次の処理を行うことができる。ステップＳ５０７の処理の後、システム制御部５０は、ユーザ操作の入力待ち状態となる。つまり、システム制御部５０は、検索リストに応じたユーザ操作の入力を待つことになる。

なお、システム制御部５０は、被写体画像データを得た位置を地図にマッピングして当該地図ととともに合成画像を表示部２８に表示するようにしてもよい。この際、システム制御部５０は合成画像を基準方位（メインカメラ１０１ａの方位）と地図上の方位とを対応付けて、合成画像を表示部２８に表示する。

このように、本発明の実施の形態では、メインカメラ１０１ａで得られた画像とインカメラ３００で得られた画像とを合成して表示する際、メインカメラ１０１ａとインカメラ３００との位置関係に応じて、つまり、方位に応じて合成画像の表示を制御するようにしたので、ユーザは合成画像の鑑賞を良好に行うことができる。

なお、上述の方位情報は、画像ファイルのメタデータ（属性情報）として記録するようにしたが、さらに、所謂メーカーノートに方位情報を記録するようにしてもよい。また、メインカメラ１０１ａで得られた画像に係る方位情報をＥＸＩＦに応じて記録し、インカメラ３００で得られた画像に係る方位情報を、合成画像を記録する画像ファイルの属性情報のうち、メーカーノート（メーカーノート部分）に記録するようにしてもよい。

上述の説明から明らかなように、図２に示す例においては、方位センサ３０１およびトステム制御部５０が生成手段として機能し、システム制御部５０が記録手段として機能する。

以上、本発明について実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。

例えば、上記の実施の形態の機能を制御方法として、この制御方法を撮像装置に実行させるようにすればよい。また、上述の実施の形態の機能を有するプログラムを制御プログラムとして、当該制御プログラムを撮像装置が備えるコンピュータに実行させるようにしてもよい。なお、制御プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録される。

上記の制御方法および制御プログラムの各々は、少なくとも生成ステップおよび記録ステップを有している。

また、本発明は、以下の処理を実行することによっても実現される。つまり、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種の記録媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵなど）がプログラムを読み出して実行する処理である。

１５ メモリ制御部
２２，３２２ 撮像部
２４，３２４ 画像処理部
２８ 表示部
３２ メモリ
５０ システム制御部
６１ シャッターボタン
１０１ａ メインカメラ
２００ 記録媒体
３００ インカメラ

Claims (10)

1. 第１の画像を得る第１の撮像手段と、前記第１の画像を得る際に第２の画像を得る第２の撮像手段とを備える撮像装置であって、
   前記第１の撮像手段の撮像方向を検出して第１の方位情報を生成し、前記第２の撮像手段の撮像方向を検出して第２の方位情報を生成する生成手段と、
   前記第１の方位情報を前記第１の画像に関連付けて記録し、前記第２の方位情報を前記第２の画像に関連付けて記録媒体に記録する記録手段と、
   を有することを特徴とする撮像装置。
2. 前記第２の撮像手段は、前記１の撮像手段に対して撮像方向を変更可能に構成されていることを特徴とする請求項１に記載の撮像装置。
3. 前記第２の撮像手段は、撮像装置に対して向きを変更可能な表示手段に設けられていることを特徴とする請求項２に記載の撮像装置。
4. 前記生成手段は、前記第１の撮像手段と前記第２の撮像手段との位置関係に基づき、前記第１の方位情報を補正することにより前記第２の方位情報を生成することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 前記第１の画像と前記第２の画像とを同一画面に表示する場合に、前記第１の方位情報と前記第２の方位情報とを同一画面に表示することを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
6. 前記第１の画像と前記第２の画像とを同一画面に表示する場合に、前記第１の方位情報と前記第２の方位情報との関係に応じた位置関係で、前記第１の画像と前記第２の画像とを表示することを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
7. 前記記録手段は、前記第１の画像と前記第２の画像とを合成した合成画像を記録媒体に記録することを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
8. 前記第２の方位情報は、合成画像を記録する画像ファイルの属性情報のうち、メーカーノート部分に記録されることを特徴とする請求項１ないし７のいずれか１項に記載の撮像装置。
9. 第１の画像を得る第１の撮像手段と、前記第１の画像を得る際に第２の画像を得る第２の撮像手段とを備える撮像装置の制御方法であって、
   前記第１の撮像手段の撮像方向を検出して第１の方位情報を生成し、前記第２の撮像手段の撮像方向を検出して第２の方位情報を生成する生成ステップと、
   前記第１の方位情報を前記第１の画像に関連付けて記録し、前記第２の方位情報を前記第２の画像に関連付けて記録媒体に記録する記録ステップと、
   を有することを特徴とする制御方法。
10. 第１の画像を得る第１の撮像手段と、前記第１の画像を得る際に第２の画像を得る第２の撮像手段とを備える撮像装置で用いられる制御プログラムであって、
    前記撮像装置が備えるコンピュータに、
    前記第１の撮像手段の撮像方向を検出して第１の方位情報を生成し、前記第２の撮像手段の撮像方向を検出して第２の方位情報を生成する生成ステップと、
    前記第１の方位情報を前記第１の画像に関連付けて記録し、前記第２の方位情報を前記第２の画像に関連付けて記録媒体に記録する記録ステップと、
    を実行させることを特徴とする制御プログラム。