JP2013247543A - 撮像装置、表示装置、および画像処理方法、並びにプログラム - Google Patents

Abstract

【課題】ワイド画像中にテレ画像の視野領域を示す視野枠を設定した合成画像を生成、表示する。
【解決手段】複数の撮像部から撮影領域の広いワイド画像と、ワイド画像中の一部領域の拡大画像に相当するテレ画像を入力し、一方の画像を親画面とし、他方を子画面とし、親画面に子画面を重畳し、さらにワイド画像中にテレ画像の画像領域を示す視野枠を設定した合成画像を生成して表示する信号処理部を有する。信号処理部は、被写体距離情報を適用して、ワイド画像とテレ画像の画像切り出しサイズを算出し、算出サイズと、撮像部間の離間距離を適用して視野枠表示位置を算出する。さらに、２つの画像の相対位置情報をメタデータとして記憶部に格納し、画像再生時にも同様の合成画像を生成して表示する。
【選択図】図６

Description

本開示は、撮像装置、表示装置、および画像処理方法、並びにプログラムに関する。特に複数の撮像部において撮影された複数の画像を入力し、入力画像を利用した合成画像の表示処理を行なう撮像装置、表示装置、および画像処理方法、並びにプログラムに関する。

双眼鏡は左眼と右眼に対応する個別の経路で入力する画像を左眼と右眼それぞれで観察する構成を有している。
電子双眼鏡は、双眼鏡の２つの画像入力部の各々に撮像部を設け、左眼用撮像部の撮影画像を観察者の左眼位置に設定した左眼用表示部に出力し、右眼用撮像部の撮影画像を右眼位置に設定した右眼用表示部に出力して、ユーザがこれらの２つの表示画像を左眼と右眼それぞれで観察する構成を有している。

すなわち、電子双眼鏡は、左眼と右眼に対応する位置に撮像部（カメラ）を設けた２眼式カメラと各カメラ対応の表示部を構成要素とした双眼鏡である。
また、近年、２眼式カメラは、立体画像（３Ｄ画像）を撮影するカメラ、いわゆる３Ｄカメラとしても多く利用されている。

このような、電子双眼鏡や３Ｄカメラ等、複数の撮像部を備えた撮像装置は、一般的に左右の撮像部において同じ倍率の画像を撮影する。また、ユーザによるズーム操作などにより倍率を変化させることで遠くの景色から近くの景色まで、様々な距離の画像を観察または撮影することができる。

電子双眼鏡や３Ｄカメラ、さらに一般的なカメラ等の撮像装置は、撮影画像を表示する表示部が備えられている。ユーザは表示画像を観察しながら、例えばカメラの場合には撮影を行うことができる。

しかし、ユーザは、電子双眼鏡やカメラの表示部の表示画像を見ている間は、同時に肉眼で実際の景色を見ることはできない。この結果、表示部に表示されている画像の位置が、肉眼で見た景色のどの位置に対応するのかを把握することが困難になる場合がある。

ユーザは、表示部の表示画像と、実際の景色を交互に見るなどして、表示画像が、肉眼で見た景色のどの位置にあるかを確認しようとする場合が多いが、表示画像の位置が実際の景色のどの位置であるかを即座に把握するのは困難である。

具体的には、例えば遠くの山のある１本の木に止まっている鳥を電子双眼鏡やカメラの表示部に表示して観察している場合、表示部から眼を離して、景色を肉眼で観察しても、表示部に表示された鳥の止まっていた木がどこの木であるかをすぐに見つけることは困難である。

また、双眼鏡やカメラの表示部の表示画像を観察しながら、目的の対象物、例えば鳥を発見して、その後、双眼鏡やカメラを移動させてしまった場合、元の鳥の位置に双眼鏡やカメラを戻すことも簡単ではない。

これは、電子双眼鏡のみならず、３Ｄカメラや通常のカメラ（２Ｄカメラ）など、表示部を備えた撮像装置に共通する問題である。
電子双眼鏡では、左眼用画像の表示部と、右眼用画像の表示部との２つの表示部が設けられるが、３Ｄカメラでは、左眼用画像の撮影部で撮影したＬ画像と右眼用画像の撮影部で撮影したＲ画像のいずれか一方をカメラの背面の１つの表示部に表示する構成としたものが多い。通常のカメラ（２Ｄカメラ）では、単一の入力画像をカメラ背面の表示部に表示する。

このように表示部を備えた双眼鏡、カメラ等の撮像装置は、表示部に表示された画像が、景色全体のどの位置にあるかを判別することが困難であるという共通の問題を有している。この位置判別の困難さは、肉眼で見た景色と、表示画像との倍率の差が大きいほど顕著である。すなわち表示画像がズームされた拡大画像である場合により顕著となる。

カメラや電子双眼鏡の表示部に表示される撮影画像の位置判別を容易にするための技術を開示した従来技術として、例えば以下の技術かある。
特許文献１（特開平１０−３２２６１９号公報）は、親画面としての表示画像の任意の位置の拡大画像を子画面として表示し、親画面中に子画面として表示している拡大画像の位置を示すマークを表示する構成を開示している。

しかし、これは、１つの表示画像の任意部分を拡大して表示する処理を行なう際に拡大画像の位置をマーカーとして設定するものにすぎず、例えば、観察者がズームアップして撮影した画像について、ズーム前の画像との対応関係を示すことはできない。
また、この特許文献の構成で表示される拡大画像は、元の表示画像の拡大処理によって生成する画像であるため、解像度は元の画像のままであり、拡大画像として表示した場合に画質が低下するという問題がある。

また、特許文献２（特開２０１０−１６６４５６号公報）は、複数の双眼鏡で撮影画像を送受信して、１つの双眼鏡の撮影画像の表示画面中に、他の双眼鏡の撮影画像を表示することで、各表示画像の相対位置の判別を容易にする構成を開示している。

しかし、これは、複数の双眼鏡を用いて相互に通信するという大掛かりな構成が必要となり、また、上記の特許文献１と同様、観察者がズームアップして取得した任意位置の拡大画像についてのズーム前の画像との対応関係を提供可能な構成とはなっていない。

特開平１０−３２２６１９号公報 特開２０１０−１６６４５６号公報

本開示は、例えば上記問題点に鑑みてなされたものであり、異なる倍率の画像を撮影し、２つの画像の一方を親画面として、他方を子画面とした合成画像を生成して表示するともに、一方の画像中に他方の画像の画像領域を示す視野枠を表示することで、例えば、ズームアップされた拡大画像の位置、すなわち視野位置を容易に把握可能とする撮像装置、表示装置、および画像処理方法、並びにプログラムを提供する。

また、本開示の一実施態様においては、異なる倍率の画像を撮影し、これらを記録するとともに、各画像の相対位置情報を併せて記録し、記録画像の再生に際して、相対位置情報を適用して一方の画像中に他方の画像の画像領域を示す視野枠を設定して表示することで、各画像の位置を容易に把握可能とする撮像装置、表示装置、および画像処理方法、並びにプログラムを提供する。

本開示の第１の側面は、
複数の撮像部と、
前記複数の撮像部において撮影された複数画像から構成される合成画像を生成する信号処理部を有し、
前記複数の撮像部は撮影領域の広いワイド画像と、前記ワイド画像中の一部領域の拡大画像に相当するテレ画像を撮影し、
前記信号処理部は、
前記ワイド画像とテレ画像の一方を親画面とし、他方を子画面として、親画面の一部に子画面を重畳し、さらにワイド画像中にテレ画像の画像領域を示す視野枠を設定した合成画像を生成して表示部に出力する撮像装置にある。

さらに、本開示の撮像装置の一実施態様において、前記信号処理部は、被写体距離情報を適用して、前記ワイド画像とテレ画像の画像切り出しサイズを算出し、算出した画像切り出しサイズと、複数の撮像部間の離間距離を適用して、前記視野枠の表示位置を算出する。

さらに、本開示の撮像装置の一実施態様において、前記信号処理部は、被写体距離を算出する測距部と、被写体距離情報を適用して、前記ワイド画像とテレ画像の画像切り出しサイズ、および、前記視野枠表示位置を算出する視野枠位置算出部と、前記視野枠表示位置を適用して前記合成画像を生成する画像合成部を有する。

さらに、本開示の撮像装置の一実施態様において、前記測距部は、前記撮像部の撮像画像中の顔領域を検出し、検出した顔領域のサイズに基づいて被写体距離を算出する。

さらに、本開示の撮像装置の一実施態様において、前記信号処理部は、前記視野枠の表示位置を含む画像相対位置情報を、前記ワイド画像とテレ画像に対応する属性情報として生成し、記憶部格納データとする。

さらに、本開示の撮像装置の一実施態様において、前記信号処理部は、記憶部に格納されたワイド画像とテレ画像と、画像に設定された属性情報である画像相対位置情報を読み出し、読み出した画像相対位置情報を適用してワイド画像中のテレ画像領域を示す視野枠の表示位置を決定し、決定した表示位置に視野枠を設定したワイド画像と、テレ画像から構成される合成画像を生成する。

さらに、本開示の第２の側面は、
撮影領域の広いワイド画像と、前記ワイド画像中の一部領域の拡大画像に相当するテレ画像と、前記ワイド画像とテレ画像の属性情報であり、各画像の相対位置を示す画像相対位置情報を外部または記憶部から入力し、入力した画像相対位置情報を適用してワイド画像中のテレ画像領域を示す視野枠の表示位置を決定し、決定した表示位置に視野枠を設定したワイド画像と、テレ画像から構成される合成画像を生成する信号処理部と、
信号処理部の生成した合成画像を表示する表示部を有する表示装置にある。

さらに、本開示の表示装置の一実施態様において、前記表示装置は、前記ワイド画像とテレ画像と、前記ワイド画像とテレ画像の属性情報である画像相対位置情報を格納した記憶部を有し、前記信号処理部は、前記記憶部に格納されたワイド画像とテレ画像と、画像の属性情報である画像相対位置情報を読み出し、読み出した画像相対位置情報を適用してワイド画像中のテレ画像領域を示す視野枠の表示位置を決定し、決定した表示位置に視野枠を設定したワイド画像と、テレ画像から構成される合成画像を生成する。

さらに、本開示の第３の側面は、
画像処理装置において実行する画像処理方法であり、
複数の撮像部において、撮影領域の広いワイド画像と、前記ワイド画像中の一部領域の拡大画像に相当するテレ画像を撮影する画像撮影ステップと、
信号処理部において、前記ワイド画像とテレ画像の一方を親画面とし、他方を子画面として、親画面の一部に子画面を重畳し、さらにワイド画像中にテレ画像の画像領域を示す視野枠を設定した合成画像を生成する合成画像生成ステップと、
表示部に前記合成画像を表示する画像表示ステップを実行する画像処理方法にある。

さらに、本開示の画像処理方法の一実施態様において、前記合成画像生成ステップは、被写体距離情報を適用して、前記ワイド画像とテレ画像の画像切り出しサイズを算出し、算出した画像切り出しサイズと、複数の撮像部間の離間距離を適用して、前記視野枠の表示位置を算出するステップを含む。

さらに、本開示の第４の側面は、
画像処理装置において実行する画像処理方法であり、
信号処理部が、記憶部に格納された撮影領域の広いワイド画像と、前記ワイド画像中の一部領域の拡大画像に相当するテレ画像を読み出し、さらに、読み出し画像の属性情報として記録された画像相対位置情報を読み出すステップと、
前記信号処理部が、読み出した画像相対位置情報を適用して、前記ワイド画像中のテレ画像領域に相当する視野枠の表示位置を決定するステップと、
前記信号処理部が、決定した表示位置に視野枠を設定したワイド画像と、テレ画像から構成される合成画像を生成するステップを実行する画像処理方法にある。

さらに、本開示の第５の側面は、
画像処理装置において画像処理を実行させるプログラムであり、
複数の撮像部に、撮影領域の広いワイド画像と、前記ワイド画像中の一部領域の拡大画像に相当するテレ画像を撮影させる画像撮影ステップと、
信号処理部に、前記ワイド画像とテレ画像の一方を親画面とし、他方を子画面として、親画面の一部に子画面を重畳し、さらにワイド画像中にテレ画像の画像領域を示す視野枠を設定した合成画像を生成させる合成画像生成ステップと、
表示部に前記合成画像を表示させる画像表示ステップを実行させるプログラムにある。

なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。

本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

本開示の一実施例の構成によれば、ワイド画像中にテレ画像の視野領域を示す視野枠を設定した合成画像を生成、表示する構成が提供される。
具体的には、複数の撮像部から撮影領域の広いワイド画像と、ワイド画像中の一部領域の拡大画像に相当するテレ画像を入力し、一方の画像を親画面とし、他方を子画面とし、親画面に子画面を重畳し、さらにワイド画像中にテレ画像の画像領域を示す視野枠を設定した合成画像を生成して表示する信号処理部を有する。信号処理部は、被写体距離情報を適用して、ワイド画像とテレ画像の画像切り出しサイズを算出し、算出サイズと、撮像部間の離間距離を適用して視野枠表示位置を算出する。さらに、２つの画像の相対位置情報をメタデータとして記憶部に格納し、画像再生時にも同様の合成画像を生成して表示する。
これらの構成により、ワイド画像中にテレ画像の視野領域を示す視野枠を設定した合成画像を生成、表示可能となり、ユーザは拡大画像（テレ画像）として表示された画像がより広い領域を示すワイド画像中のどの位置であるかを即座に判別することが可能となる。

撮像装置の構成例について説明する図である。 撮像装置のハードウェア構成例について説明する図である。 撮像装置の信号処理部の構成例について説明する図である。 撮像装置の信号処理部の実行する処理について説明するフローチャートを示す図である。 被写体距離を算出するために適用可能な処理について説明する図である。 信号処理部が生成する合成画像の例について説明する図である。 信号処理部が生成する合成画像の例について説明する図である。 画像切り出しサイズと視野枠表示位置の算出処理について説明する図である。 画像切り出しサイズと視野枠表示位置の算出処理について説明する図である。 画像切り出しサイズと視野枠表示位置の算出処理について説明する図である。 画像および属性情報（メタデータ）の記録と再生処理について説明する図である。 本開示の撮像装置の実行する処理について説明する図である。 本開示の撮像装置の実行する処理について説明する図である。 本開示の撮像装置の実行する処理について説明する図である。

以下、図面を参照しながら本開示の撮像装置、表示装置、および画像処理方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行う。
１．撮像装置の構成例について
２．本開示の撮像装置における信号処理部の処理について
３．表示部に表示する合成画像の生成処理について
４．画像および画像相対位置情報の記録処理と、画像再生処理について
５．画像中の顔領域を適用した被写体距離算出処理について
６．本開示の撮像装置の実行する各種の処理例について
７．本開示の構成のまとめ

［１．撮像装置の構成例について］
以下、図面を参照しながら本開示の構成について説明する。
まず、図１以下を参照して、本開示の画像処理装置および撮像装置の構成例について説明する。
なお、以下の実施例においては、本開示の画像処理装置および撮像装置の代表例として、複数の撮像部を備えた撮像装置について説明する。
本開示の撮像装置は、２以上の複数の撮像部を有する撮像装置であり、具体的には、図１に示すような撮像装置である。
図１には、本開示の撮像装置の例として、
（Ａ）電子双眼鏡
（Ｂ）３Ｄカメラ
これらの構成例を示している。

図１（Ａ）に示す撮像装置（電子双眼鏡）１０は、離間した位置に第１撮像部１１、第２撮像部１２を有する。
第１撮像部１１、第２撮像部１２とも、例えばＣＣＤ、ＣＭＯＳ等によって構成される撮像素子（イメージャ）を備え、撮影画像に応じて各画素単位の画像信号を生成して出力する。
第１撮像部１１によって撮影される画像を第１画像、第２撮像部１２によって撮影される画像を第２画像とする。
第１撮像部１１、第２撮像部１２の出力画像は、所定の信号処理が施された後、第１表示部２１、第２表示部２２に表示される。

なお、本開示の構成では、第１撮像部１１と、第２撮像部１２は、それぞれ倍率の異なる画像の撮影を行い、これらの２つの画像の合成画像を生成し、生成した合成画像を第１表示部２１、第２表示部２２の少なくともいずれかの表示部に表示する処理を行なう。
各撮像部において撮影される倍率の異なる画像は、例えば広い領域を撮影したワイド（Ｗｉｄｅ）画像と、ズームアップして狭い領域を拡大画像として撮影したテレ（Ｔｅｌｅ）画像の組み合わせである。

第１表示部２１、第２表示部２２は例えばＬＣＤ（液晶ディスプレイ）等によって構成される。
ユーザ（観察者）は、例えば、第１表示部２１の表示画像を左眼で観察し、第２表示部２２の表示画像を右眼で観察する。

図１（Ｂ）に示す撮像装置（３Ｄカメラ）３０も、離間した位置に第１撮像部３１、第２撮像部３２を有する。
第１撮像部３１、第２撮像部３２とも、例えばＣＣＤ、ＣＭＯＳ等によって構成される撮像素子を備え、撮影画像に応じて各画素単位の画像信号を生成して出力する。
第１撮像部３１、第２撮像部３２の出力画像は、所定の信号処理が施された後、それぞれ表示部３３に表示される。

なお、本開示の構成では、第１撮像部３１と、第２撮像部３２は、それぞれ倍率の異なる画像の撮影を行い、これらの２つの画像の合成画像を生成し、生成した合成画像を表示部３３に表示する処理を行なう。

表示部３３は例えばＬＣＤ（液晶ディスプレイ）等によって構成される。
ユーザ（観察者）は、例えば、表示部３３の表示画像を観察し、気に入った画像の場合にシャッターを操作して撮影処理を行なう。

本開示の処理は、例えば図１（Ａ）に示す電子双眼鏡や図１（Ｂ）に示す３Ｄカメラなど、複数の撮像部を備え、かつ１つ以上の表示部を有する装置において実現可能である。

次に、図２を参照して、本開示の撮像装置のハードウェア構成例について説明する。
図２に示すように撮像装置１００は、第１画像を撮影する第１撮像部１０１と、第２画像を撮影する第２撮像部１０２を有する。

第１撮像部１０１と、第２撮像部１０２は、撮像素子（イメージャ）やノイズ除去部，Ａ／Ｄ変換部等によって構成される。撮像素子としては、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）固体撮像素子やＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）固体撮像素子が用いられる。撮像素子は、光電変換を行い、撮像面に結像された光学像に応じた画像信号を生成する。ノイズ除去部は、撮像素子で生成された画像信号に対して例えば相関二重サンプリング処理等を行い、画像信号からノイズを除去する。また、ノイズ除去後の画像信号を所望の信号レベルに増幅する。Ａ／Ｄ変換器は、ノイズ除去部で処理された画像信号をデジタル信号に変換して信号処理部１０３に出力する。

第１撮像部１０１の撮影画像信号、および、第２撮像部１０２の撮影画像信号は信号処理部１０３に入力される。信号処理部１０３では、各画像信号に基づくホワイトバランス調整、ガンマ補正、各画素に対するＲＧＢ信号あるいは、輝度・色差信号の生成処理などを実行する。
信号処理部１０３における信号処理によって、表示部への表示画像、記憶部への記憶画像のベースとなる画像が生成される。

なお、本開示の撮像装置では、信号処理部１０３は、上記の一般的なカメラ信号処理に加え、２つの撮像部において撮影された画像を適用して、各撮影画像の位置関係の把握を容易とした合成画像の生成処理を実行する。

本開示の撮像装置１００は、第１撮像部１０１と、第２撮像部１０２において、それぞれ倍率の異なる画像、すなわわち、撮影領域の広いワイド（Ｗｉｄｅ）画像と、撮影領域の狭いズームアップされた拡大画像であるテレ（Ｔｅｌｅ）画像を撮影する。信号処理部１０３は、これら２つの画像の合成画像を生成し、生成した合成画像を第１表示部１０４、または第２表示部１０５の少なくともいずれかの表示部に表示する処理を行なう。
この処理の詳細については後述する。

信号処理部１０３は、第１撮像部１０１の撮影画像に対する信号処理と、第２撮像部１０２の撮影画像に対する信号処理を行なった画像を第１表示部１０４、第２表示部１０５に出力して表示する。
なお、例えば図１を参照して説明した図１（Ｂ）に示す３Ｄカメラのように１つの表示部のみを有する構成の場合、図２に示す第２表示部１０５は持たない構成である。
この場合、図１（Ｂ）に示す３Ｄカメラの表示部３３は、図２に示す構成の第１表示部１０４に対応する。

信号処理部１０３の生成画像データは、さらに、コーデック１０６に出力され、例えばＭＰＥＧ符号化処理などのデータ符号化処理が実行される。さらに、メディアインタフェース１０７を介して記憶部１０８に格納される。

なお、第１撮像部１０１〜記憶部１０８の各処理部において実行する処理は、制御部１１０の制御の下で実行される。制御部１１０は、例えばメモリ１１１に格納されたプログラムに従って画像の撮影制御、信号処理制御、表示制御、記憶制御など、撮像装置１００において実行する様々なデータ処理に対する制御を実行する。また、制御部１１０は、操作部１１２を介したユーザ操作情報に応じて処理の制御を行う。

［２．本開示の撮像装置における信号処理部の処理について］
次に、図３以下を参照して、本開示の撮像装置１００の信号処理部１０３が実行する処理の詳細について説明する。
前述したように、信号処理部１０３は、第１撮像部１０１の撮影画像信号、および、第２撮像部１０２の撮影画像信号に対するホワイトバランス補正、ガンマ補正、各画素に対するＲＧＢ信号あるいは、輝度・色差信号の生成処理など一般的なカメラと同様の信号処理を実行する。

さらに、本開示の撮像装置では、信号処理部１０３は、これらの一般的なカメラ信号処理に加え、２つの撮像部において撮影された画像を適用して、各撮像部の撮影画像の位置関係把握を容易とした合成画像を生成する。また合成画像生成に必要となる属性情報（メタデータ）を生成して記憶部１０８に記録する処理を実行する。

図３に示す信号処理部１０３の構成は、各撮像部の撮影画像の位置関係把握を容易とした合成画像の生成処理や、合成画像生成に必要となる属性情報（メタデータ）を生成するための構成、すなわち信号処理部１０３の一部構成を示した図である。

図３に示すように信号処理部１０３は、
測距部２０１、
視野枠位置算出部２０２、
画像合成部２０３、
これらの処理部を有する。
なお、図３には、図２に示すコーデック１０６、メディアインタフェース１０７を省略して示している。

測距部２０１は、被写体距離、すなわち、撮像装置から、撮影画像中の被写体までの距離を算出する。
距離の算出処理は、既存の距離算出技術を用いて行うことができる。例えば各撮像部のフォーカス情報や、焦点距離情報を用いる方法や、その他、外部に備えられた距離計測部からの入力情報などを用いてもよい。
なお、第１撮像部１０１の撮影画像と、第２撮像部１０２の撮影画像の２枚の撮影画像を適用した例えばブロックマッチング処理等を用いて算出する構成としてもよい。

視野枠位置算出部２０２は、第１撮像部１０１と、第２撮像部１０２の設定情報から倍率と視差情報を算出し、測距部２０１から出力される被写体距離情報を利用して、２つの入力画像、すなわち、第１撮像部１０１の撮影画像と、第２撮像部１０２の撮影画像の２枚の撮影画像の相対的な位置関係を算出する。

画像合成部２０３は、視野枠位置算出部２０２からの入力情報、すなわち、第１撮像部１０１の撮影画像と、第２撮像部１０２の撮影画像の２枚の撮影画像の相対位置関係を利用して、第１撮像部１０１の撮影画像、または第２撮像部１０２の撮影画像の一方の画像を親画像とし、もう一方の画像を子画像として設定し、親画像と子画像からなる合成画像を生成し表示部に出力する。
また、合成画像中の一つの画像には、他方の画像の画像領域を示す視野枠を設定して表示する。

なお、記憶部１０８には、第１撮像部１０１の撮影画像と、第２撮像部１０２の撮影画像の信号処理部１０３における信号処理後の画像データと、視野枠位置算出部で算出した２つの画像の相対位置情報が格納される。相対位置情報は、２つの画像の属性情報（メタデータ）として各画像に併せて記録される。

記憶部１０８に記録された画像を読み出して再生する場合には、読み出し画像の属性情報（メタデータ）を取得して、親画像と子画像から構成される合成画像を生成する。合成画像に含まれる一方の画像には他方の画像の画像利用域を示す視野枠を設定する。

なお、本開示の処理は、図１（Ａ）に示すように２つの表示部を有する構成、図１（Ｂ）に示すように１つの表示部を有する構成、いずれの構成にも適用可能である。
信号処理部１０３の画像合成部２０３が生成した合成画像は、図１（Ｂ）に示すように１つの表示部を有する構成では、この１つの表示部に表示する。また、図１（Ａ）に示すように、２つの表示部を有する構成では、少なくとも一方の表示部に合成画像を表示する。

［３．表示部に表示する合成画像の生成処理について］
次に、信号処理部１０３において実行する合成画像の生成処理シーケンスについて、図４に示すフローチャートを参照して説明する。
図４に示すフローに従った処理は、例えばメモリ１１１に格納されたプログラムに従って、制御部１１０の制御の下で実行される。

まず、ステップＳ１０１において、第１撮像部１０１、第２撮像部１０２の各々に対して、それぞれオートフォーカス機能を用いた合焦処理を行ない、合焦位置を決定する。

次に、ステップＳ１０２において、合焦処理によって決定した各撮像部、すなわち、第１撮像部１０１、第２撮像部１０２の各撮像部の設定情報（フォーカス位置情報、ズーム位置情報、絞りなどのカメラ設定情報）と、撮影画像に基づいて、画像中の被写体距離を算出する。
なお、この実施例で説明する「撮影画像」とは、カメラの場合、シャッターを操作して記録する画像のみならず、シャッター操作なしで、各撮像部を介して入力するいわゆる「スルー画」も含むものとする。ユーザによるシャッター操作が実行されない場合、表示部にはスルー画が常時、表示される。本開示の構成では、２つの撮像部の撮影画像に基づく合成画像が表示される。

ステップＳ１０２では、第１撮像部１０１、第２撮像部１０２の各撮像部の設定情報（フォーカス位置情報、ズーム位置情報、絞りなどのカメラ設定情報）と、撮影画像、すなわち、
第１撮像部１０１の撮影画像である第１画像、
第２撮像部１０２の撮影画像である第２画像、
これらの画像を、信号処理部１０３の測距部２０１に出力し、測距部２０１において、被写体距離を算出する。

被写体距離算出は、前述したように様々な既存手法を適用した処理として実行可能である。
具体的には、例えば図４に示すような各手法が適用できる。すなわち、
（１）２つの撮影画像の相対位置情報
（２）焦点距離情報
（３）フォーカス位置情報
例えばこれらの情報を適用して被写体距離を算出することが可能である。

すなわち、（１）２つの撮影画像の相対位置情報を適用する場合、第１撮像部１０１の撮影画像と、第２撮像部１０２の撮影画像との対応画素位置のズレに基づいて被写体距離を算出することができる。
（２）焦点距離情報を用いる場合は、各撮像部の焦点距離に基づいて、被写体距離を算出することができる。
（３）フォーカス位置情報を用いる場合は、合焦時のフォーカス位置に基づいて、被写体距離を算出することができる。
ステップＳ１０２では、これらのいずれかの方法、または組み合わせによって、被写体距離を算出する。

なお、撮影対象に人物が含まれる場合は、第１撮像部１０１、第２撮像部１０２の各撮像部の撮影画像である倍率の異なる２つの画像から顔領域を検出し、検出した顔の大きさに基づいてより正確な被写体距離を算出してもよい。顔領域を適用した距離算出処理の詳細については後述する。

なお、被写体距離を焦点距離、フォーカス位置を利用して算出する場合は、事前に測距装置を用いて計測した被写体距離と、焦点距離やフォーカス位置の対応関係からなる近似式を用いる設定としてもよい。
すなわち、事前に測距装置を用いて計測した被写体距離と、焦点距離やフォーカス位置の対応関係に基づいて、最小二乗法の直線やスプライン曲線を用いた近似式を予め算出し、算出した近似式をメモリ１１１に格納しておく。

信号処理部１０３の測距部２０１は、この近似式と、第１撮像部１０１および第２撮像部１０２の設定情報である焦点距離情報、またはフォーカス位置情報の少なくともいずれかの情報を、制御部１１０を介して入力する。
測距部は、第１撮像部１０１および第２撮像部１０２の設定情報である焦点距離情報、またはフォーカス位置情報の少なくともいずれかの情報を近似式に入力することで、近似式から被写体距離を算出することができる。

なお、測距部２０１は、第１撮像部１０１、第２撮像部１０２の各撮像部の各々において被写体距離を算出することが可能であるが、例えば、ズームアップした画像、いわゆる拡大画像を撮影中の一方の撮像部の設定情報から算出した被写体距離情報を制御部１１０に出力し、制御部１１０においてこの被写体距離情報を適用して、他方の撮像部のフォーカス位置の調整などを行う構成としてもよい。
このような調整処理により、同一の撮影対象（被写体）に対して正確にピントを合わせることが可能となる。
なお、前述したように測距部２０１における被写体距離算出処理は、レーザー測距装置や音波測距装置などの外部モジュールを用いて計測した結果を用いる構成としてもよい。

次に、ステップＳ１０３において、第１撮像部１０１の撮影した第１画像と、第２撮像部１０２の撮影した第２画像各々の切り出しサイズを算出し、
さらに、ステップＳ１０４において、表示部に表示する合成画像における第１画像または、第２画像の視野枠表示位置を算出する。

本開示の撮像装置の表示部に表示する画像は、例えば図６、図７に示すような合成画像である。
図６は、信号処理部１０３が生成し、第１表示部１０４に表示する合成画像の一例を示している。なお、第２表示部１０５には、同じ合成画像を表示してもよいし、その他の画像、例えば第１撮像部１０１の撮影した第１画像、または第２撮像部１０２の撮影した第２画像をそのまま表示してもよい。

信号処理部１０３の生成する合成画像は、図６に示すように、第１撮像部１０１の撮影した低倍率の画像、すなわちより視野の広いワイド（Ｗｉｄｅ）画像である第１画像を子画面３１１として表示し、第２撮像部１０２の撮影した高倍率の第２画像、すなわちズームアップされた拡大画像であるテレ（Ｔｅｌｅ）画像を親画面３１２として設定した合成画像である。
なお、以下に説明する実施例では、
第１撮像部１０１の撮影画像を低倍率の画像［ワイド（Ｗｉｄｅ）画像］、
第２撮像部１０２の撮影画像を高倍率の画像［テレ（Ｔｅｌｅ）画像］、
このような設定例として説明するが、この逆の設定としてもよい。

信号処理部１０３は、図６に示すように高倍率のズームアップ画像であるテレ（Ｔｅｌｅ）画像を親画面３１２として表示部に大きく表示する設定とし、親画面３１２の一部領域に低倍率の画像であるワイド（Ｗｉｄｅ）画像を子画面３１１として重畳して表示する設定とした合成画像を生成して表示部に出力する。
また、信号処理部１０３は、ワイド（Ｗｉｄｅ）画像中に、テレ（Ｔｅｌｅ）画像として表示される画像の画像領域を示す視野枠３１３を設定する。

観察者は、本例では子画面３１１として表示されているワイド（Ｗｉｄｅ）画像の視野枠３１３から、本例では親画面３１２として表示中のテレ（Ｔｅｌｅ）画像が、ワイド（Ｗｉｄｅ）画像のどの領域であるかを容易に確認することが可能となる。
なお、図６に示す例では、子画面３１１を親画面３１２の左下に表示しているが、子画面３１１の表示位置は、例えばユーザ設定により任意の表示位置に移動可能である。

また、図６に示す子画面３１１と親画面３１２を入れ替え、高倍率の拡大画像［テレ（Ｔｅｌｅ）画像］を子画面として、低倍率の画像［ワイド（Ｗｉｄｅ）画像］を親画面とした合成画像を生成して表示する構成としてもよい。
すなわち、図７に示すような合成画像である。

図７には、低倍率の画像であるワイド（Ｗｉｄｅ）画像を親画面３１６として表示部に大きく表示する設定とし、親画面３１６の一部領域に高倍率の画像であるテレ（Ｔｅｌｅ）画像である子画面３１５を重畳した合成画像を示している。
この合成画像の例では、親画面３１６として表示されるワイド（Ｗｉｄｅ）画像中に、子画面３１５として表示されるテレ（Ｔｅｌｅ）画像の画像領域を示す視野枠３１７を設定する。

図４に示すフローチャートのステップＳ１０３〜Ｓ１０４は、図６や図７に示すような合成画像を生成するために必要となるデータを取得するための処理であり、信号処理部１０３の視野枠位置算出部２０２において実行する処理である。

視野枠位置算出部２０２は、
ステップＳ１０３において、第１撮像部１０１の撮影した第１画像（低倍率画像）と、第２撮像部１０２の撮影した第２画像（高倍率画像）各々の切り出しサイズを算出する。
さらに、ステップＳ１０４において、表示部に表示する合成画像において、子画面として表示する第１画像（低倍率画像）中に表示する視野枠位置を算出する。
視野枠は、親画面として表示する第２画像（高倍率画像）の画像領域を示す視野枠である。

視野枠位置算出部２０２は、ステップＳ１０２で測距部２０１が算出した被写体距離情報を入力する。さらに、第１撮像部１０１、第２撮像部１０２の各撮像部の設定情報、すなわち、焦点距離情報、フォーカス位置情報を制御部１１０から入力する。
視野枠位置算出部２０２は、これらの入力情報、すなわち被写体距離情報と、第１撮像部１０１、第２撮像部１０２の各撮像部の設定情報を適用して、２つの撮像部間の視差情報と、相対倍率などを算出し、これらの算出情報に基づいてステップＳ１０３〜Ｓ１０４の処理を実行する。

まず、ステップＳ１０３において、同一被写体に対する各撮像部の画像切り出しサイズを算出する。
すなわち、各撮像部において撮影される画像の実寸大の縦サイズ（Ａ）と横サイズ（Ｂ）を画像切り出しサイズとして算出する。
図８に示すように、以下の２つの画像切り出しサイズを算出する。
（１）ワイド（Ｗｉｄｅ）画像を撮影する第１撮像部１０１の撮影画像に対応する第１画像切り出しサイズ３２１（Ａ１×Ｂ１）、
（２）ズームアップされた拡大画像であるテレ（Ｔｅｌｅ）画像を撮影する第２撮像部１０２の撮影画像に対応する第２画像切り出しサイズ３２２（Ａ２×Ｂ２）、
これらを算出する。

画像切り出しサイズは、以下の算出式（式１）によって算出する。
撮影対象となる被写体距離をＬ、
撮像部の焦点距離をＦ、
撮像部の撮像素子（イメージャ）のサイズをＡＩ×ＢＩ、
とする。
上記各パラメータを適用して、切り出しサイズＡ×Ｂは下記に示す（式１）で算出される。

・・・・（式１）

ステップＳ１０３では、上記（式１）に従って、
（１）ワイド（Ｗｉｄｅ）画像を撮影する第１撮像部１０１の撮影画像に対応する第１画像切り出しサイズ３２１（Ａ１×Ｂ１）、
（２）ズームアップされた拡大画像であるテレ（Ｔｅｌｅ）画像を撮影する第２撮像部１０２の撮影画像に対応する第２画像切り出しサイズ３２２（Ａ２×Ｂ２）、
これらを算出する。

図９は、上記算出式（式１）に従った画像切り出しサイズの算出処理における各パラメータの対応を説明する図である。
図９は、被写***置Ｐ、撮像装置イメージャ位置Ｑとして、上面から見た平面図である。
Ａ１は、ワイド（Ｗｉｄｅ）画像を撮影する第１撮像部１０１の撮影画像に対応する第１画像切り出しサイズの水平方向の長さである。
Ａ２は、テレ（Ｔｅｌｅ）画像を撮影する第２撮像部１０２の撮影画像に対応する第２画像切り出しサイズの水平方向の長さである。
第１撮像部１０１、第２撮像部１０２とも撮像素子（イメージャ）の大きさは同じであり、水平方向の長さをＡＩとする。

被写***置Ｐから撮像装置イメージャ位置Ｑまでの距離はＬである。
第１撮像部１０１の焦点距離はＦ１、
第２撮像部１０２の焦点距離はＦ２、
である。

このとき、ワイド（Ｗｉｄｅ）画像を撮影する第１撮像部１０１の撮影画像に対応する第１画像切り出しサイズの水平方向の長さＡ１は、図から理解されるように、以下の式で算出される。
Ａ１＝（（Ｌ−Ｆ１）／Ｆ１）ＡＩ

同様に、テレ（Ｔｅｌｅ）画像を撮影する第２撮像部１０２の撮影画像に対応する第２画像切り出しサイズの水平方向の長さＡ２は、図から理解されるように、以下の式で算出される。
Ａ２＝（（Ｌ−Ｆ２）／Ｆ２）ＡＩ

これらの各式は、上述した（式１）に従った算出式である。
垂直方向のサイズＢ１，Ｂ２も、観察対象までの被写体距離Ｌ、各焦点距離Ｆ１，Ｆ２との関係は、図９に示す平面図と同様の関係であり、上述した（式１）に従って、Ｂ１，Ｂ２を算出することができる。

次に、視野枠位置算出部２０２は、ステップＳ１０４において、表示部に表示する合成画像のワイド（Ｗｉｄｅ）画像（低倍率画像）中に表示する視野枠位置を算出する。
視野枠は、合成画像中のテレ（Ｔｅｌｅ）画像（高倍率画像）の画像領域を示す視野枠である。

視野枠位置算出部２０２は、ステップＳ１０３で算出した各撮像部の切り出しサイズと、各撮像部の相対位置から、視野枠位置を算出する。すなわち、例えば図６に示す合成画像中の子画面３１１に表示する親画像の表示領域を示す視野枠３１３の表示位置を算出する。

第１撮像部１０１、第２撮像部１０２が水平に配置されている場合、視線の水平方向のずれは第１撮像部１０１と、第２撮像部１０２との離間距離Ｗとなる。
この差Ｗは被写体まで一定である。

ここで、ワイド画像を撮影する第１撮像部１０１の撮影する第１画像の切り出しサイズ（Ａ１×Ｂ１）が、ズームアップされた拡大画像であるテレ画像を撮影する第２撮像部１０２の撮影する第２画像の切り出しサイズ（Ａ２×Ｂ２）より大きいとする。
すなわち、
第１画像切り出しサイズ（Ａ１×Ｂ１）＞第２画像切り出しサイズ（Ａ２×Ｂ２）
上記式が成立するものとする。
また、画像撮影時の各撮像部の視線方向は、常に各撮像部の切り出し位置の中心にある。

上記条件に基づいて、第１画像中の第２画像に対応する画像領域の位置（Ｘ，Ｙ）を視野枠表示位置として算出する。
視野枠表示位置（Ｘ，Ｙ）は、図１０に示すように、第１画像の画像切り出しサイズ（Ａ１×Ｂ１）の左下の頂点を原点３３０、すなわち原点（０，０）としたときの、第２画像対応領域の左下端部位置、すなわち図１０に示す視野枠基準点３３１の座標、（ｘ，ｙ）＝（Ｘ，Ｙ）である。
視野枠表示位置（Ｘ，Ｙ）は、以下の（式２）に従って算出する。

・・・・（式２）
ただし、
第１撮像部の撮影画像（第１画像）の切り出しサイズ（ｘ×ｙ）をＡ１×Ｂ１、
第２撮像部の撮影画像（第２画像）の切り出しサイズ（ｘ×ｙ）をＡ２×Ｂ２、
第１撮像部と第２撮像部との水平方向離間距離をＷ、
とする。

信号処理部１０３の視野枠位置算出部２０２は、このようにして、図４に示すフローのステップＳ１０３、ステップＳ１０４の処理を実行して、合成画像中のワイド画像内に表示する拡大画像に相当するテレ画像の表示領域を示す視野枠の表示位置（Ｘ，Ｙ）を算出する。

次に、信号処理部１０３は、ステップＳ１０５において、画像合成処理を実行して表示部に出力するための合成画像を生成する。
この処理は、図３に示す信号処理部１０３の画像合成部２０３の実行する処理である。

画像合成部２０３は、ステップＳ１０４で視野枠位置算出部２０２が算出した、
第１画像の画像切り出しサイズＡ１×Ｂ１、
第２画像の画像切り出しサイズＡ２×Ｂ２、
視野枠表示位置（Ｘ，Ｙ）、
これらの情報を含む２つの画像に関する画像相対位置情報に基づいて、第１撮像部１０１の撮影画像であるワイド（Ｗｉｄｅ）画像中に視野枠を描画する。
なお、画像合成部は、上記の各パラメータＡ１，Ｂ１，Ａ２，Ｂ２，Ｘ，Ｙを、表示部の表示領域のサイズに応じて調整した合成画像を生成する。
合成画像に示される視野枠に囲まれた領域が、第２撮像部１０２の撮影画像であるテレ（Ｔｅｌｅ）画像の画像領域に対応する。

画像合成部２０３は、視野枠を設定したワイド画像と、視野枠内の画像領域の画像に対応するテレ画像を組み合わせ、いずれかを親画面として他方を子画面として、親画面の一部に子画面を重畳した合成画像を生成する。すなわち、例えば先に図６、図７を参照して説明した合成画像である。

ステップＳ１０６において、この合成画像を表示部、例えば第１表示部１０４に表示する。
この表示処理によって、表示部には、先に図６、図７を参照して説明した合成画像が表示される。
観察者は、ワイド画像に表示された視野枠に基づいて、ズームアップされた拡大画像として表示されたテレ画像が、ワイド画像中のどの領域であるかを容易に確認することが可能となる。

［４．画像および画像相対位置情報の記録処理と、画像再生処理について］
第１撮像部１０１と第２撮像部１０２を介して撮影された画像は、ユーザ操作に基づく撮影処理によって、記憶部１０８に記録される。
この画像記録処理に際して、上述した合成画像表示処理に適用する２つの画像に関する画像相対位置情報を画像に対応する属性情報（メタデータ）として記録する。

このような属性情報（メタデータ）を画像に対応付けて記録することで、記録画像を読み出して再生する際に、属性情報を適用することで、ワイド画像中にテレ画像の画像領域を示す視野枠を設定したワイド画像とテレ画像からなる合成画像を生成して表示することが可能となる。

図１１は、このような画像と属性情報（メタデータ）の記録処理を実行する信号処理部１０３の構成を説明する図である。

図１１に示すように、信号処理部１０３は、第１撮像部１０１の撮影した第１画像４０１と、第２撮像部１０２の撮影した第２画像４０２を記憶部１０８に格納する。さらに、信号処理部１０３は、これらの各画像に対応付けた属性情報（メタデータ）として、画像相対位置情報４０３を記憶部１０８に格納する。

画像相対位置情報４０３は、
第１画像の画像切り出しサイズＡ１×Ｂ１、
第２画像の画像切り出しサイズＡ２×Ｂ２、
視野枠表示位置（Ｘ，Ｙ）、
これらの各情報を含む情報である。

記憶部１０８に格納された画像を読み出して再生する場合には、画像対応の属性情報（メタデータ）である画像相対位置情報４０３を適用して、先に図４を参照して説明したフローのステップＳ１０５〜Ｓ１０６の処理を実行して、図６や図７を参照して説明した合成画像を生成して表示することができる。

なお、画像相対位置情報４０３は、画像の各フレーム単位の属性情報として設定してもよいが、複数の符号化画像の単位であるＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅｓ）などの一定の画像集合単位で設定して格納する構成としてもよい。
各画像は、例えばＭＰＥＧなど、所定の符号化態様で符号化されて記憶部１０８に格納される。
なお、図１１は、図２に示すコーデック１０６、メディアインタフェース１０７については省略して示している。

また、記憶部から読み出した画像に基づいて合成画像を生成して表示する処理は、撮像部を備えない表示装置や画像処理装置においても実行可能である。
表示装置や画像処理装置は、例えば、図２に示す撮像装置１００中、第１撮像部１０１、第２撮像部１０２を省いたハードウェア構成によって実現される。

［５．画像中の顔領域を適用した被写体距離算出処理について］
図３に示す信号処理部１０３の測距部２０１は、先に説明したように被写体距離の算出を行う。
前述した処理例では、測距部２０１は、例えば図５を参照して説明したように、２つの画像の相対位置情報や、焦点距離情報、あるいはフォーカス位置情報などを適用して被写体距離を算出するものとして説明した。

しかし、撮影画像中に人物の顔領域が含まれる場合、この顔領域を適用して被写体距離を算出する構成としてもよい。
以下、この顔領域を利用した被写体距離の算出処理例について説明する。
第１撮像部１０１と、第２撮像部１０２においてオートフォーカス機能を用いて合焦位置が決定した時点の焦点距離を下記の通りとする。
（１）第１撮像部１０１の合焦時の焦点距離：Ｆ１
（２）第２撮像部１０２の合焦時の焦点距離：Ｆ２

第１撮像部１０１と第２撮像部１０２の各撮影画像には人物の顔領域が含まれるものとする。
測距部２０１は顔領域認識機能を有し、第１撮像部１０１と第２撮像部１０２の各撮影画像から同一被写体の人物の顔領域を判別する。
各画像から認識した顔サイズを以下のサイズ（横×縦）とする。
第１撮像部１０１の撮影画像であるワイド画像中の顔サイズ：Ａ１×Ｂ１、
第２撮像部１０２の撮影画像であるテレ画像中の顔サイズ：Ａ２×Ｂ２、

測距部２０１は、これら２つの異なる倍率の画像に含まれる顔サイズ情報を適用して、以下の（式３）に従って、被写体距離Ｌを算出する。

・・・・・（式３）

ただし、
第１撮像部１０１の撮影画像であるワイド画像中の顔サイズ：Ａ１×Ｂ１、
第２撮像部１０２の撮影画像であるテレ画像中の顔サイズ：Ａ２×Ｂ２、
第１撮像部１０１の焦点距離：Ｆ１、
第２撮像部１０２の焦点距離：Ｆ２、
であるものとする。

信号処理部１０３の測距部２０１は、このように、撮影画像中に人物の顔領域が含まれる場合は、上記（式３）に従ってその人物までの被写体距離を算出することができる。

［６．本開示の撮像装置の実行する各種の処理例について］
上述したように、本開示の撮像装置では、複数の異なる倍率の画像、すなわちワイド（Ｗｉｄｅ）画像と、ズームアップした拡大画像であるテレ（Ｔｅｌｅ）画像を撮影する。
さらに、これらの複数画像を合成した合成画像を生成して表示する。
すなわち、例えば図１２に示す合成画像５００の表示が実行される。
合成画像５００は、各撮像部におい撮影されたワイド画像とテレ画像、いずれか一方を親画面、他方を子画面とした合成画像である。
さらに、ワイド画像中には、テレ画像の画像領域を示す視野枠５０１を表示する。

観察者は、ワイド画像内に表示された視野枠５０１に基づいて、ズームアップされた拡大画像として表示されたテレ画像が、ワイド画像中のどの領域であるかを容易に確認することが可能となる。

本開示の撮像装置において合成画像中に示される視野枠は、先に図４に示すフローチャートに基づいて説明したように、２つの撮像部の撮影画像の撮影条件に基づいて、その都度、計算され、更新される。

従って、例えば、撮影者がカメラを持って移動した場合には、各撮影画像の切り出し領域（Ａ×Ｂ）、視野枠位置（Ｘ，Ｙ）も逐次、更新される。
具体的には、例えば図１３（Ａ）に示すように、被写体からカメラまでの距離が遠い設定から、図１３（Ｂ）に示すように、被写体からカメラまでの距離が近い設定にカメラを移動した場合、表示部に表示される合成画像は、逐次更新される。

ワイド画像中のテレ画像領域を示す視野枠は、図１３（Ａ）に示すようにカメラと被写体が遠い場合は、合成画像のほぼ中央に位置して表示されるが、図１３（Ｂ）に示すようにカメラと被写体が近い場合は、合成画像のほぼ中央からずれた位置に表示される。
これは、第１撮像部と第２撮像部が水平方向に離間した位置に設定されているためである。
本開示の構成では、各撮像部の画像撮影条件に応じて逐次、視野枠の設定位置を更新し表示するので、常に正確な２つの画像の相対位置関係を正確に反映した視野枠の表示が可能となる。

なお、本開示の撮像装置では、２つの撮像部を介して異なる倍率の画像を撮影し、記録する際に、図１１を参照して説明したように、２つの画像の相対位置情報をメタデータとして画像に対応付けて記録する。
このメタデータ記録処理によって、記録画像の再生時にも、図１２に示すような合成画像の再生が可能となる。

さらに、例えば図１４に示すような画像再生表示を行うこともできる。
例えば、図１４（Ａ）に示すようにワイド画像を選択してワイド画像のみの再生表示を行っている場合、その一部の領域６０１をユーザが指定して、この領域６０１を拡大表示する処理を行なったとする。

この指定領域６０１に、視野枠６０２に一致する領域が含まれる場合、この視野枠の領域を、テレ画像を適用して表示する。
すなわち、図１４（Ｂ）に示す拡大画像中、視野枠に対応する点線領域に第２撮像部の撮影画像６２１を適用して表示する。

この処理により、高画質のテレ画像を表示することにより、高解像度の拡大画像を表示することが可能となる。すなわち、ワイド画像を単に拡大表示すると画質が劣化してしまうが、このような画質劣化を発生させずに高解像度の高画質画像を再生することができる。

［７．本開示の構成のまとめ］
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。

なお、本明細書において開示した技術は、以下のような構成をとることができる。
（１） 複数の撮像部と、
前記複数の撮像部において撮影された複数画像から構成される合成画像を生成する信号処理部を有し、
前記複数の撮像部は撮影領域の広いワイド画像と、前記ワイド画像中の一部領域の拡大画像に相当するテレ画像を撮影し、
前記信号処理部は、
前記ワイド画像とテレ画像の一方を親画面とし、他方を子画面として、親画面の一部に子画面を重畳し、さらにワイド画像中にテレ画像の画像領域を示す視野枠を設定した合成画像を生成して表示部に出力する撮像装置。

（２）前記信号処理部は、被写体距離情報を適用して、前記ワイド画像とテレ画像の画像切り出しサイズを算出し、算出した画像切り出しサイズと、複数の撮像部間の離間距離を適用して、前記視野枠の表示位置を算出する前記（１）に記載の撮像装置。
（３）前記信号処理部は、被写体距離を算出する測距部と、被写体距離情報を適用して、前記ワイド画像とテレ画像の画像切り出しサイズ、および、前記視野枠表示位置を算出する視野枠位置算出部と、前記視野枠表示位置を適用して前記合成画像を生成する画像合成部を有する前記（１）または（２）に記載の撮像装置。

（４）前記測距部は、前記撮像部の撮像画像中の顔領域を検出し、検出した顔領域のサイズに基づいて被写体距離を算出する前記（３）に記載の撮像装置。

（５）前記信号処理部は、前記視野枠の表示位置を含む画像相対位置情報を、前記ワイド画像とテレ画像に対応する属性情報として生成し、記憶部格納データとする前記（１）〜（４）いずれかに記載の撮像装置。
（６）前記信号処理部は、記憶部に格納されたワイド画像とテレ画像と、画像に設定された属性情報である画像相対位置情報を読み出し、読み出した画像相対位置情報を適用してワイド画像中のテレ画像領域を示す視野枠の表示位置を決定し、決定した表示位置に視野枠を設定したワイド画像と、テレ画像から構成される合成画像を生成する前記（１）〜（５）いずれかに記載の撮像装置。

（７）撮影領域の広いワイド画像と、前記ワイド画像中の一部領域の拡大画像に相当するテレ画像と、前記ワイド画像とテレ画像の属性情報であり、各画像の相対位置を示す画像相対位置情報を外部または記憶部から入力し、入力した画像相対位置情報を適用してワイド画像中のテレ画像領域を示す視野枠の表示位置を決定し、決定した表示位置に視野枠を設定したワイド画像と、テレ画像から構成される合成画像を生成する信号処理部と、
信号処理部の生成した合成画像を表示する表示部を有する表示装置。

（８）前記表示装置は、前記ワイド画像とテレ画像と、前記ワイド画像とテレ画像の属性情報である画像相対位置情報を格納した記憶部を有し、前記信号処理部は、前記記憶部に格納されたワイド画像とテレ画像と、画像の属性情報である画像相対位置情報を読み出し、読み出した画像相対位置情報を適用してワイド画像中のテレ画像領域を示す視野枠の表示位置を決定し、決定した表示位置に視野枠を設定したワイド画像と、テレ画像から構成される合成画像を生成する前記（７）に記載の表示装置。

さらに、上記した装置およびシステムにおいて実行する処理の方法や、処理を実行させるプログラムも本開示の構成に含まれる。

また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

以上、説明したように、本開示の一実施例の構成によれば、ワイド画像中にテレ画像の視野領域を示す視野枠を設定した合成画像を生成、表示する構成が提供される。
具体的には、複数の撮像部から撮影領域の広いワイド画像と、ワイド画像中の一部領域の拡大画像に相当するテレ画像を入力し、一方の画像を親画面とし、他方を子画面とし、親画面に子画面を重畳し、さらにワイド画像中にテレ画像の画像領域を示す視野枠を設定した合成画像を生成して表示する信号処理部を有する。信号処理部は、被写体距離情報を適用して、ワイド画像とテレ画像の画像切り出しサイズを算出し、算出サイズと、撮像部間の離間距離を適用して視野枠表示位置を算出する。さらに、２つの画像の相対位置情報をメタデータとして記憶部に格納し、画像再生時にも同様の合成画像を生成して表示する。
これらの構成により、ワイド画像中にテレ画像の視野領域を示す視野枠を設定した合成画像を生成、表示可能となり、ユーザは拡大画像（テレ画像）として表示された画像がより広い領域を示すワイド画像中のどの位置であるかを即座に判別することが可能となる。

１０ 撮像装置（電子双眼鏡）
１１ 第１撮像部
１２ 第２撮像部
２１ 第１表示部
２２ 第２表示部
３０ 撮像装置（３Ｄカメラ）
３１ 第１撮像部
３２ 第２撮像部
３３ 表示部
１００ 撮像装置
１０１ 第１撮像部
１０２ 第２撮像部
１０３ 信号処理部
１０４ 第１表示部
１０５ 第２表示部
１０６ コーデック
１０７ メディアインタフェース
１０８ 記憶部
１１０ 制御部
１１１ メモリ
１１２ 操作部（ＵＩ）
２０１ 測距部
２０２ 視野枠位置算出部
２０３ 画像合成部

Claims (12)

1. 複数の撮像部と、
   前記複数の撮像部において撮影された複数画像から構成される合成画像を生成する信号処理部を有し、
   前記複数の撮像部は撮影領域の広いワイド画像と、前記ワイド画像中の一部領域の拡大画像に相当するテレ画像を撮影し、
   前記信号処理部は、
   前記ワイド画像とテレ画像の一方を親画面とし、他方を子画面として、親画面の一部に子画面を重畳し、さらにワイド画像中にテレ画像の画像領域を示す視野枠を設定した合成画像を生成して表示部に出力する撮像装置。
2. 前記信号処理部は、
   被写体距離情報を適用して、前記ワイド画像とテレ画像の画像切り出しサイズを算出し、
   算出した画像切り出しサイズと、複数の撮像部間の離間距離を適用して、前記視野枠の表示位置を算出する請求項１に記載の撮像装置。
3. 前記信号処理部は、
   被写体距離を算出する測距部と、
   被写体距離情報を適用して、前記ワイド画像とテレ画像の画像切り出しサイズ、および、前記視野枠表示位置を算出する視野枠位置算出部と、
   前記視野枠表示位置を適用して前記合成画像を生成する画像合成部を有する請求項１に記載の撮像装置。
4. 前記測距部は、前記撮像部の撮像画像中の顔領域を検出し、検出した顔領域のサイズに基づいて被写体距離を算出する請求項３に記載の撮像装置。
5. 前記信号処理部は、
   前記視野枠の表示位置を含む画像相対位置情報を、前記ワイド画像とテレ画像に対応する属性情報として生成し、記憶部格納データとする請求項１に記載の撮像装置。
6. 前記信号処理部は、
   記憶部に格納されたワイド画像とテレ画像と、画像に設定された属性情報である画像相対位置情報を読み出し、読み出した画像相対位置情報を適用してワイド画像中のテレ画像領域を示す視野枠の表示位置を決定し、決定した表示位置に視野枠を設定したワイド画像と、テレ画像から構成される合成画像を生成する請求項１に記載の撮像装置。
7. 撮影領域の広いワイド画像と、前記ワイド画像中の一部領域の拡大画像に相当するテレ画像と、前記ワイド画像とテレ画像の属性情報であり、各画像の相対位置を示す画像相対位置情報を外部または記憶部から入力し、入力した画像相対位置情報を適用してワイド画像中のテレ画像領域を示す視野枠の表示位置を決定し、決定した表示位置に視野枠を設定したワイド画像と、テレ画像から構成される合成画像を生成する信号処理部と、
   信号処理部の生成した合成画像を表示する表示部を有する表示装置。
8. 前記表示装置は、
   前記ワイド画像とテレ画像と、前記ワイド画像とテレ画像の属性情報である画像相対位置情報を格納した記憶部を有し、
   前記信号処理部は、前記記憶部に格納されたワイド画像とテレ画像と、画像の属性情報である画像相対位置情報を読み出し、読み出した画像相対位置情報を適用してワイド画像中のテレ画像領域を示す視野枠の表示位置を決定し、決定した表示位置に視野枠を設定したワイド画像と、テレ画像から構成される合成画像を生成する請求項７に記載の表示装置。
9. 画像処理装置において実行する画像処理方法であり、
   複数の撮像部において、撮影領域の広いワイド画像と、前記ワイド画像中の一部領域の拡大画像に相当するテレ画像を撮影する画像撮影ステップと、
   信号処理部において、前記ワイド画像とテレ画像の一方を親画面とし、他方を子画面として、親画面の一部に子画面を重畳し、さらにワイド画像中にテレ画像の画像領域を示す視野枠を設定した合成画像を生成する合成画像生成ステップと、
   表示部に前記合成画像を表示する画像表示ステップを実行する画像処理方法。
10. 前記合成画像生成ステップは、
    被写体距離情報を適用して、前記ワイド画像とテレ画像の画像切り出しサイズを算出し、
    算出した画像切り出しサイズと、複数の撮像部間の離間距離を適用して、前記視野枠の表示位置を算出するステップを含む請求項９に記載の画像処理方法。
11. 画像処理装置において実行する画像処理方法であり、
    信号処理部が、記憶部に格納された撮影領域の広いワイド画像と、前記ワイド画像中の一部領域の拡大画像に相当するテレ画像を読み出し、さらに、読み出し画像の属性情報として記録された画像相対位置情報を読み出すステップと、
    前記信号処理部が、読み出した画像相対位置情報を適用して、前記ワイド画像中のテレ画像領域に相当する視野枠の表示位置を決定するステップと、
    前記信号処理部が、決定した表示位置に視野枠を設定したワイド画像と、テレ画像から構成される合成画像を生成するステップを実行する画像処理方法。
12. 画像処理装置において画像処理を実行させるプログラムであり、
    複数の撮像部に、撮影領域の広いワイド画像と、前記ワイド画像中の一部領域の拡大画像に相当するテレ画像を撮影させる画像撮影ステップと、
    信号処理部に、前記ワイド画像とテレ画像の一方を親画面とし、他方を子画面として、親画面の一部に子画面を重畳し、さらにワイド画像中にテレ画像の画像領域を示す視野枠を設定した合成画像を生成させる合成画像生成ステップと、
    表示部に前記合成画像を表示させる画像表示ステップを実行させるプログラム。

Images