JPWO2012002046A1

JPWO2012002046A1 - 立体パノラマ画像合成装置及び複眼撮像装置並びに立体パノラマ画像合成方法

Info

Publication number: JPWO2012002046A1
Application number: JP2012522504A
Authority: JP
Inventors: 宗之大島
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2010-06-30
Filing date: 2011-05-12
Publication date: 2013-08-22
Also published as: CN102972035A; US20130113875A1; WO2012002046A1

Abstract

本発明の一態様に係る立体パノラマ画像合成方法は、複数の立体画像から得られた複数の左画像及び右画像をそれぞれ同一投影面に射影変換し、左画像間及び右画像間の互いに重複する領域における対応点をそれぞれ検出し、前記複数の立体画像から主要被写体を検出し、前記主要被写体が検出された立体画像を最初の基準となる立体画像として設定し、前記最初の基準となる立体画像から得られた前記射影変換された左画像及び右画像をそれぞれ基準にし、前記基準にした左画像とこれに隣接する左画像との間で検出された対応点同士が一致するように前記隣接する左画像を幾何変形させ、前記基準にした右画像とこれに隣接する右画像との間で検出された対応点同士が一致するように前記隣接する右画像を幾何変形させ、前記最初の基準となる立体画像の左右の画像及び前記幾何変形した左右の画像に基づいて左右のパノラマ画像をそれぞれ合成する工程を含む。

Description

本発明は立体パノラマ画像合成装置及び複眼撮像装置並びに立体パノラマ画像合成方法に係り、特に複眼撮像装置をパンニングして撮影された複数の立体画像に基づいて立体パノラマ画像を合成する技術に関する。

従来、ビデオカメラを三脚等に固定して回転させながら連続撮影し、この連続撮影した画像からスリット状に切り出したスリット画像を結合し、パノラマ画像を合成するパノラマ画像合成方法が知られている（特許文献１）。

この特許文献１に記載の発明は、連続する２つの画像間のオプティカルフローの大きさに基づいてスリット画像の幅を決定して切り出し、この切り出したスリット画像を合成することにより、ビデオカメラの各速度が一定でない場合でも忠実にパノラマ画像を再現できることを特徴としている。

また、特許文献２には、３Ｄ空間のパノラマを合成することができる範囲画像化システムが記載されている。

特開平１１−１６４３２５号公報特開２００２−３６６９４８号公報

特許文献１の要約書には、連続する撮影画像からスリット状に切り出したスリット画像を結合し、左目視用及び右目視用のパノラマ画像を生成する記載があるが、特許文献１の明細書には、左目視用及び右目視用のパノラマ画像の生成に関する記載は一切ない。

特許文献２に記載の発明は、変調した電磁放射線のビームを場面に照射し、その反射ビーム（最低限３つの画像からなる画像束）をレーザーレーダとしてのカメラが捕捉するものであり、変調した電磁放射線のビームを照射しない通常のカメラとは異なる。

本発明は複眼撮像装置をパンニングさせて撮影された複数の立体画像から立体パノラマ画像を合成することができる立体パノラマ画像合成装置及び複眼撮像装置並びに立体パノラマ画像合成方法を提供することを目的とする。

前記目的を達成するために、本発明の第１の態様は、複眼撮像装置により撮影された左画像及び右画像からなる立体画像であって、前記複眼撮像装置をパンニングさせて撮影方向ごとに撮影された複数の立体画像を取得する画像取得部と、前記取得した複数のそれぞれの立体画像から左画像及び右画像を分離してそれぞれ記憶する記憶部と、前記記憶された複数の左画像及び複数の右画像をそれぞれ同一投影面に射影変換する射影変換部と、前記射影変換された複数の左画像間の互いに重複する領域の対応点を検出するとともに、前記射影変換された複数の右画像間の互いに重複する領域の対応点を検出する対応点検出部と、前記画像取得部により取得された複数の立体画像から主要被写体を検出する主要被写体検出部と、前記複数の立体画像のうちの最初の基準となる立体画像を設定する基準画像設定部であって、前記最初の基準となる立体画像として前記主要被写体検出部により主要被写体が検出された立体画像を前記最初の基準となる立体画像として設定する基準画像設定部と、前記設定された最初の基準となる立体画像の前記射影変換された左画像及び右画像をそれぞれ基準にし、前記基準にした左画像とこれに隣接する左画像との間で前記対応点検出部により検出された対応点同士が一致するように前記隣接する左画像を幾何変形させ、前記基準にした右画像とこれに隣接する右画像との間で前記対応点検出部により検出された対応点同士が一致するように前記隣接する右画像を幾何変形させる画像変形部であって、前記幾何変形させた前記左画像及び右画像に隣接する前記射影変換された左画像及び右画像が存在する場合には、前記幾何変形させた前記左画像及び右画像からなる立体画像を次の基準となる立体画像に設定し、前記射影変換された左画像及び右画像を上記と同様に幾何変形する画像変形部と、前記最初の基準となる立体画像の左画像及び前記幾何変形した左画像に基づいて左用のパノラマ画像を合成するとともに、前記最初の基準となる立体画像の右画像及び前記幾何変形した右画像に基づいて右用のパノラマ画像を合成するパノラマ合成部とを備える立体パノラマ画像合成装置を提供する。

上記第１の態様に係る立体パノラマ画像合成装置は、複眼撮像装置をパンニングさせて撮影された複数の立体画像を取得し、取得した複数のそれぞれの立体画像から左画像及び右画像を分離してそれぞれ記憶する。そして、上記第１の態様に係る立体パノラマ画像合成装置は、前記記憶した複数の左画像及び複数の右画像に基づいてそれぞれ左用のパノラマ画像及び右用のパノラマ画像を生成する。上記第１の態様に係る立体パノラマ画像合成装置は、上記パノラマ画像の合成を良好に行うために、前記記憶した複数の左画像及び複数の右画像を、それぞれ同一投影面に射影変換し、更に射影変換された複数の左画像間、及び複数の右画像間の互いに重複する領域の対応点を検出し、隣接する画像間の対応点が一致するように幾何変形するようにしている。

このとき、前記複数の立体画像のうち主要被写体が検出された立体画像を最初の基準となる立体画像を設定し、この設定された最初の基準となる立体画像の左画像及び右画像をそれぞれ基準にして、基準の画像に隣接する画像を幾何変形させる。即ち、基準となる立体画像の左画像及び右画像については幾何変形を行わず、これに隣接する画像を基準の画像の対応点と一致するように幾何変形する。また、幾何変形した画像に対して隣接する画像が存在する場合には、その幾何変形した画像を次の基準となる画像とし、この基準となる画像の対応点に隣接する画像の対応点が一致するように隣接する画像を幾何変形する。このように基準となる立体画像を基準にして幾何変形を行うため、パノラマ画像を良好に合成することができるとともに、左右のパノラマ画像において、等距離にある被写体の立体感が撮影方向により変化しないようにすることができる。

本発明の第２の態様は、上記第１の態様に係る立体パノラマ画像合成装置において、前記基準画像設定部は、前記主要被写体検出部により主要被写体が検出されなかった場合には前記複数の立体画像のうち撮影順が中央に最も近い立体画像を前記最初の基準となる立体画像として設定するように構成したものである。

上記第２の態様によれば、パノラマ画像の両端位置に対応する画像の幾何変形の累積誤差を小さくすることができる。

本発明の第３の態様は、上記第１又は第２の態様に係る立体パノラマ画像合成装置において、前記左用のパノラマ画像及び右用のパノラマ画像の代表視差量を取得する代表視差量取得部と、前記パノラマ合成部により合成された左用のパノラマ画像及び右用のパノラマ画像のうちの、互いに重複する有効画素を有する領域の画像をそれぞれトリミングするトリミング部とを更に備え、前記トリミング部は、前記代表視差量取得部により取得された代表視差量が、予め設定された視差量となるように前記合成された左用のパノラマ画像及び右用のパノラマ画像のトリミング領域を決定してトリミングするように構成したものである。

これにより、視差量が調整された立体パノラマ画像を得ることができる。

本発明の第４の態様に係る立体パノラマ画像合成装置は、上記第１又は第２の態様において、前記パノラマ合成部により合成された左用のパノラマ画像及び右用のパノラマ画像のうちの、互いに重複する有効画素を有する領域の画像をそれぞれトリミングするトリミング部を更に備える。

本発明の第５の態様は、上記第１から第４のいずれかの態様に係る立体パノラマ画像合成装置において、前記パノラマ合成部は、前記左用のパノラマ画像及び右用のパノラマ画像の合成時に、隣接する画像間の互いに重複する領域の画像を加重平均して合成するように構成したものである。

これにより、パノラマ画像のつなぎ目を滑らかに合成することができる。

本発明の第６の態様に係る立体パノラマ画像合成装置は、上記第３の態様において、前記パノラマ合成部により生成された左用のパノラマ画像と右用のパノラマ画像とを関連づけて記録媒体に記録する記録部を更に備える。

本発明の第７の態様は、上記第６の態様に係る立体パノラマ画像合成装置において、前記左用のパノラマ画像及び右用のパノラマ画像の代表視差量を取得する代表視差量取得部を更に備え、前記記録部は、前記代表視差量取得部により取得された代表視差量を、前記左用のパノラマ画像及び右用のパノラマ画像に関連付けて前記記録媒体に記録するように構成したものである。

本発明の第８の態様に係る立体パノラマ画像合成装置は、上記第７の態様において、前記記録媒体に関連付けて記録された左用のパノラマ画像及び右用のパノラマ画像を出力する出力部であって、前記左用のパノラマ画像及び右用のパノラマ画像に関連付けて記録された代表視差量に基づいて該代表視差量が、予め設定された視差量となるように前記左用のパノラマ画像と右用のパノラマ画像とを相対的に画素ずらしして出力する出力部を更に備える。

本発明の第９の態様は、上記第３、第７又は第８の態様に係る立体パノラマ画像合成装置において、前記代表視差量取得部は、前記基準画像設定部により設定された基準となる立体画像に基づいて前記代表視差量を取得するように構成したものである。

本発明の第１０の態様は、上記第３、第７又は第８の態様に係る立体パノラマ画像合成装置において、前記代表視差量取得部は、前記左用のパノラマ画像及び右用のパノラマ画像の画素ごとの対応点を検出する対応点検出部と、前記検出された各対応点の間の視差量を算出する視差量算出部と、前記算出された画素ごとの視差量のヒストグラムを作成するヒストグラム作成部と、前記作成されたヒストグラムに基づいて代表視差量を決定する代表視差量決定部とを備えるように構成したものである。

前記代表視差量の決定方法としては、前記ヒストグラム中の度数がピークとなる視差量であって、最も近側にあるピークとなる視差量を代表視差量とする方法がある。この視差量となる被写体距離に主要被写体が存在することが考えられるからである。また、視差量の度数分布の代表値（代表視差量）として、平均値や中央値を使用するようにしてもよい。

本発明の第１１の態様は、前記画像取得部として使用される複数の撮像部と、上記第１から第１０のいずれかの態様に係る立体パノラマ画像合成装置とを備える複眼撮像装置を提供する。

本発明の第１２の態様に係る複眼撮像装置は、上記第１１の態様において、立体パノラマ撮影モードを設定するモード設定部と、前記立体パノラマ撮影モードが選択されると、撮影方向ごとに撮影される立体画像のピント位置、露出条件及びホワイトバランスゲインを、１枚目の撮影時に設定された値に固定する制御部とを更に備える。

これにより、パノラマ画像合成される各画像のピント位置、露出条件及びホワイトバランスゲインを一定にすることができる。

本発明の第１３の態様は、複眼撮像装置により撮影された左画像及び右画像からなる立体画像であって、前記複眼撮像装置をパンニングさせて撮影方向ごとに撮影された複数の立体画像を取得する工程と、前記取得した複数のそれぞれの立体画像から左画像及び右画像を分離してそれぞれ記憶する工程と、前記記憶された複数の左画像及び複数の右画像をそれぞれ同一投影面に射影変換する工程と、前記射影変換された複数の左画像間の互いに重複する領域の対応点を検出するとともに、前記射影変換された複数の右画像間の互いに重複する領域の対応点を検出する対応点検出工程と、前記画像取得部により取得された複数の立体画像から主要被写体を検出する工程と、前記複数の立体画像のうちの最初の基準となる立体画像を設定する工程であって、前記最初の基準となる立体画像として前記主要被写体が検出された立体画像を前記最初の基準となる立体画像として設定する工程と、前記設定された最初の基準となる立体画像の前記射影変換された左画像及び右画像をそれぞれ基準にし、前記基準にした左画像とこれに隣接する左画像との間で前記対応点検出工程により検出された対応点同士が一致するように前記隣接する左画像を幾何変形させ、前記基準にした右画像とこれに隣接する右画像との間で前記対応点検出工程により検出された対応点同士が一致するように前記隣接する右画像を幾何変形させる工程であって、前記幾何変形させた前記左画像及び右画像に隣接する前記射影変換された左画像及び右画像が存在する場合には、前記幾何変形させた前記左画像及び右画像からなる立体画像を次の基準となる立体画像に設定し、前記射影変換された左画像及び右画像を上記と同様に幾何変形する工程と、前記最初の基準となる立体画像の左画像及び前記幾何変形した左画像に基づいて左用のパノラマ画像を合成するとともに、前記最初の基準となる立体画像の右画像及び前記幾何変形した右画像に基づいて右用のパノラマ画像を合成する工程とを含む立体パノラマ画像合成方法を提供する。

本発明によれば、複眼撮像装置をパンニングさせて撮影された複数の画像から立体パノラマ画像を合成することができ、特に左右のパノラマ画像において、等距離にある被写体の立体感が撮影方向により変化しないように良好にパノラマ画像合成することができる。

本発明に係る立体撮像装置の正面斜視図本発明に係る立体撮像装置の背面斜視図図１の複眼撮像装置の内部構成を示すブロック図３Ｄパノラマ合成用の３Ｄ画像の撮影方法を示す図３Ｄパノラマ合成用の３Ｄ画像の撮影方法を示す図３Ｄパノラマ合成用の３Ｄ画像の撮影時の画角合わせを説明するための図３Ｄパノラマ画像合成の第１の実施形態を示すフローチャート図５の各処理工程での合成処理の概要を示す図図５の各処理工程での合成処理の概要を示す図図５の各処理工程での合成処理の概要を示す図図５の各処理工程での合成処理の概要を示す図図５の各処理工程での合成処理の概要を示す図図５の各処理工程での合成処理の概要を示す図図５の各処理工程での合成処理の概要を示す図図５の各処理工程での合成処理の概要を示す図図５の各処理工程での合成処理の概要を示す図３Ｄパノラマ画像合成の第２の実施形態を示すフローチャート図７の各処理工程での合成処理の概要を示す図図７の各処理工程での合成処理の概要を示す図図７の各処理工程での合成処理の概要を示す図図７の各処理工程での合成処理の概要を示す図図７の各処理工程での合成処理の概要を示す図図７の各処理工程での合成処理の概要を示す図図７の各処理工程での合成処理の概要を示す図図７の各処理工程での合成処理の概要を示す図図７の各処理工程での合成処理の概要を示す図図７の各処理工程での合成処理の概要を示す図視差量の頻度分布の一例を示すヒストグラム

以下、添付図面にしたがって本発明に係る立体パノラマ画像合成装置及び複眼撮像装置並びに立体パノラマ画像合成方法の実施の形態について説明する。

［複眼撮像装置の外観］
図１は本発明に係る複眼撮像装置の外観図であり、図１Ａは複眼撮像装置１を正面斜め上方から見た斜視図であり、図１Ｂは複眼撮像装置１を背面から見た斜視図である。

図１Ａに示すように複眼撮像装置１には、左右の撮像部Ｌ，Ｒが設けられている。以下、これらの撮像部を第１の撮像部Ｌと第２の撮像部Ｒと記載して区別することにする。

第１の撮像部Ｌと第２の撮像部Ｒとは、立体視用の画像信号を取得することが可能なように並べて配置されている。これらの撮像部Ｌ，Ｒによって左用と右用の画像信号がそれぞれ生成される。図１Ａ及び図１Ｂの複眼撮像装置１の上面にある電源スイッチ１０Ａが操作され、撮影モードダイヤル１０Ｂが、例えば、立体モードというモードにセットされてシャッタボタン１０Ｃが操作されると、立体視用の画像データが双方の撮像部Ｌ，Ｒで生成される。

この実施形態の複眼撮像装置１が備えるシャッタボタン１０Ｃは半押しと全押しとの２つの操作態様を有している。複眼撮像装置１では、シャッタボタン１０Ｃが半押しされたときに露出調整やピント調整が実施され、全押しされたときに撮影が実施される。また、被写界輝度が暗いときには被写体に向けてフラッシュを発光するフラッシュ発光窓ＷＤが撮像部Ｌの上方に設けられている。

また、図１Ｂに示すように、複眼撮像装置１の背面には３次元表示が可能な液晶モニタＤＩＳＰが設けられており、この液晶モニタＤＩＳＰには双方の撮像部Ｌ，Ｒが捉えている同一の被写体が立体画像となって表示される。尚、液晶モニタＤＩＳＰとしては、レンチキュラレンズやパララックスバリアを使用するものや、偏光メガネ、液晶シャッタメガネなどの専用メガネをかけることで右画像と左画像とを個別に見ることができるものなどが適用できる。更に、ズームスイッチ１０Ｄ、メニュー／ＯＫボタン１０Ｅ、十字キー１０Ｆなどの操作子も配設されている。以降においては、電源スイッチ１０Ａ、モードダイヤル１０Ｂ、シャッタボタン１０Ｃ、ズームスイッチ１０Ｄ、メニュー／ＯＫボタン１０Ｅ、十字キー１０Ｆなどを総称して操作部１０と記載することがある。

［複眼撮像装置の内部構成］
図２は図１の複眼撮像装置１の内部構成を示すブロック図である。図２を参照して複眼撮像装置１の内部の構成を説明する。

この複眼撮像装置１の動作は、メインＣＰＵ（ｃｅｎｔｒａｌｐｒｏｃｅｓｓｉｎｇｕｎｉｔ）１００によって統括的に制御される。

メインＣＰＵ１００にはバスＢｕｓを介してＲＯＭ（ｒｅａｄ−ｏｎｌｙｍｅｍｏｒｙ）１０１が接続されており、そのＲＯＭ１０１の中にはこの複眼撮像装置１が動作するのに必要なプログラムが格納されている。このプログラムの手順にしたがってメインＣＰＵ１００は、操作部１０からの指令にしたがってこの複眼撮像装置１の動作を統括的に制御する。

操作部１０のモードダイヤル１０Ｂは、オート撮影モード、マニュアル撮影モード、人物、風景、夜景等のシーンポジション、動画を撮影する動画モード、及び本発明に係る立体（３Ｄ）パノラマ撮影モードを選択する選択操作のための操作部材である。また、操作部１０の図示しない再生ボタンは、撮影記録した静止画又は動画を液晶モニタＤＩＳＰに表示させる再生モードに切り替えるためのボタンである。メニュー／ＯＫボタン１０Ｅは、液晶モニタＤＩＳＰの画面上にメニューを表示させる指令を行うためのメニューボタンとしての機能と、選択内容の確定及び実行などを指令するＯＫボタンとしての機能とを兼備した操作キーである。十字キー１０Ｆは、上下左右の４方向の指示を入力する操作部であり、メニュー画面から項目を選択したり、各メニューから各種設定項目の選択を指示したりするボタン（カーソル移動操作のための操作部材）として機能する。また、十字キー１０Ｆの上／下キーは撮影時のズームスイッチあるいは再生モード時の再生ズームスイッチとして機能し、左／右キーは再生モード時のコマ送り（順方向／逆方向送り）ボタンとして機能する。

まず、図１に示した操作部１０内の電源スイッチ１０Ａが操作されると、メインＣＰＵ１００は、電源制御部１００１を制御してバッテリＢｔからの電力を、電源制御部１００１を介して複眼撮像装置１の各部に供給させ、この複眼撮像装置１を動作状態に移行させる。こうしてメインＣＰＵ１００は撮影処理を開始する。尚、ＡＦ検出部１２０、ＡＥ／ＡＷＢ検出部１３０、画像入力コントローラ１１４Ａ、デジタル信号処理部１１６Ａ、３Ｄ画像生成部１１７は、ＤＳＰ（ＤｉｇｉｔａｌＳｉｇｎａｌＰｒｏｃｅｓｓｏｒ）等のプロセッサにより構成することができ、メインＣＰＵ１００は、そのＤＳＰと連携して処理を実行するとする。

ここで、先に図１で説明した第１の撮像部Ｌと第２の撮像部Ｒの内部の構成を、図２を参照して説明する。尚、第１の撮像部Ｌの各構成部材には‘第１の’という文言を付し、第２の撮像部Ｒの各構成部材には‘第２’のという文言を付して説明する。

第１の撮像部Ｌには、第１のフォーカスレンズＦＬＡを含む第１の撮影光学系１１０Ａと、その第１のフォーカスレンズＦＬＡを光軸方向に移動させる第１のフォーカスレンズ駆動部（以降、第１のＦレンズ駆動部という）１０４Ａと、被写体が第１の撮影光学系で結像されてなる被写体光を受光して、その被写体を表わす画像信号を生成する第１の撮像素子１１１Ａとが設けられている。この第１の撮影光学系１１０Ａには、他に第１の絞りＩＡと、この第１の絞りＩＡの開口径を変更する第１の絞り駆動部１０５Ａとが設けられている。

また、第１の撮影光学系１００Ａはズームレンズになっており、そのズームレンズを所定の焦点距離にする制御を行うＺレンズ駆動部１０３Ａが設けられている。尚、図２には、撮影光学系全体がズームレンズであることが１枚のレンズＺＬで模式的に示されている。

一方、第２の撮像部Ｒにも上記第１の撮像部Ｌと同じように、第２のフォーカスレンズＦＬＢを含む撮影光学系と、第２のフォーカスレンズＦＬＢを光軸に方向に移動させる第２のフォーカスレンズ駆動部（以降、第２のＦレンズ駆動部という）１０４Ｂと、被写体が第２の撮影光学系で結像されてなる被写体光を受光して、その被写体を表わす画像信号を生成する第２の撮像素子１１１Ｂとが設けられている。

これらの第１の撮像部Ｌと第２の撮像部Ｒとで立体視用の画像信号、つまり第１の撮像部Ｌでは左用の画像信号が生成され、第２の撮像部Ｒでは右用の画像信号がそれぞれ生成される。

第１の撮像部Ｌと第２の撮像部Ｒとは左用の画像信号を生成するか、右用の画像信号を生成するかの違いだけで構成が同じであり、第１のＡ／Ｄ変換部１１３Ａと第２のＡ／Ｄ変換部１１３Ｂで双方の撮像部の画像信号がデジタル信号に変換されてバスＢｕｓに導かれた後の信号処理も同じである。したがって、以下、第１の撮像部Ｌについて画像信号の流れに沿ってその構成を説明していく。

まず、第１の撮像部Ｌが捉えている被写体をそのままスルー画として液晶モニタＤＩＳＰ上に表示する際の動作から説明する。

操作部１０内の電源スイッチ１０Ａが操作されたことを受けてメインＣＰＵ１００は、電源制御部１００１を制御し、各部にバッテリＢｔからの電力を供給させてこの複眼撮像装置１を動作状態に移行させる。

メインＣＰＵ１００は、まず、Ｆレンズ駆動部１０４Ａと絞り駆動部１０５Ａとを制御して露出及びピントの調整を開始する。更に、タイミングジェネレータ（ＴＧ）１０６Ａに指示して撮像素子１１１Ａに電子シャッタによる露光時間を設定させ、例えば、１／６０秒ごとに撮像素子１１１Ａからアナログ信号処理部１１２Ａに画像信号を出力させる。

アナログ信号処理部１１２Ａでは、ＴＧ１０６Ａからのタイミング信号の供給を受け、撮像素子１１１Ａからの１／６０秒ごとの画像信号の供給を受けてノイズの低減処理等が行われる。ノイズの低減処理が行われたアナログの画像信号は、次段のＡ／Ｄ変換部１１３Ａへと供給される。このＡ／Ｄ変換部１１３Ａは、ＴＧ１０６Ａからのタイミング信号に同期して、１／６０秒ごとにアナログの画像信号からデジタルの画像信号への変換処理を行う。こうしてＡ／Ｄ変換部１１３Ａで変換され出力されてくるデジタルの画像信号は、画像入力コントローラ１１４Ａによって１／６０秒ごとにバスＢｕｓに導かれる。このバスＢｕｓに導かれた画像信号は、ＳＤＲＡＭ（ｓｙｎｃｈｒｏｎｏｕｓｄｙｎａｍｉｃｒａｎｄｏｍａｃｃｅｓｓｍｅｍｏｒｙ）１１５に記憶される。撮像素子１１１Ａからは１／６０秒ごとに画像信号が出力されるので、このＳＤＲＡＭ１１５の内容は１／６０秒ごとに書き換えられることになる。

このＳＤＲＡＭ１１５に記憶された画像信号は、ＡＦ検出部１２０、ＡＥ／ＡＷＢ検出部１３０、及びデジタル信号処理部１１６Ａを構成するＤＳＰによって１／６０秒ごとにそれぞれ読み出される。

ＡＦ検出部１２０では、メインＣＰＵ１００がＦレンズ駆動部１０４Ａを制御してフォーカスレンズＦＬＡを移動させている最中の１／６０秒ごとに、フォーカスエリア内の画像信号の高周波成分を抽出し、その高周波成分を積算して画像のコントラストを示すＡＦ評価値を算出する。メインＣＰＵ１００は、ＡＦ検出部１２０により算出されたＡＦ評価値を取得し、ＡＦ評価値が最大になるレンズ位置（合焦位置）にＦレンズ駆動部１０４Ａを介して第１のフォーカスレンズＦＬＡを移動させる。このため、第１の撮像部Ｌがどの方向に向けられてもすぐにピントが調整されて、液晶モニタＤＩＳＰ上には、ほぼいつでもピントのあった被写体が表示される。

また、ＡＥ／ＡＷＢ検出部１３０では、被写体輝度の検出とデジタル信号処理部１１６Ａ内のホワイトバランスアンプに設定するゲインの算出が１／６０秒ごとに行われる。メインＣＰＵ１００は、このＡＥ／ＡＷＢ検出部１３０の輝度の検出結果に応じて絞り駆動部１０５Ａを制御して絞りＩＡの開口径を変更させる。またデジタル信号処理部１１６Ａは、ＡＥ／ＡＷＢ検出部１３０からの検出結果を受けてホワイトバランスアンプのゲインを設定する。

このデジタル信号処理部１１６Ａでは、表示に適した画像信号になるように処理が行われ、そのデジタル信号処理部１１６Ａの信号処理により表示に適したものに変換された画像信号が、３Ｄ画像生成部１１７へと供給されてその３Ｄ画像生成部１１７で表示用の右用の画像信号が生成され、生成された右用の画像信号がＶＲＡＭ（ｖｉｄｅｏｒａｎｄｏｍａｃｃｅｓｓｍｅｍｏｒｙ）１１８に記憶される。

ここまでの動作と同じ動作が、同じタイミングで第２の撮像部Ｒによっても行われる。したがって、ＶＲＡＭ１１８には、右用と左用との２種類の画像信号が記憶されることになる。

メインＣＰＵ１００は、表示制御部１１９にＶＲＡＭ１１８内の右用の画像信号と左用の画像信号とを転送して液晶モニタＤＩＳＰ上に画像を表示させる。図１の液晶モニタＤＩＳＰに右用の画像信号と左用の画像信号とが表示されると、人の眼には液晶モニタＤＩＳＰ上の画像が立体的に見えるようになる。第１、第２の撮像素子１１１Ａ，１１１Ｂからは１／６０秒ごとに画像信号を出力させ続けているので、ＶＲＡＭ１１８内の画像信号は１／６０秒ごとに書き換えられ、液晶モニタＤＩＳＰ上の立体画像も１／６０秒ごとに切り替えられて表示され、立体画像が動画となって表示される。

ここで、液晶モニタＤＩＳＰ上の被写体が参照され操作部１０の中のシャッタボタン１０Ｃが半押し操作されると、メインＣＰＵ１００は、ＡＥ／ＡＷＢ検出部１３０でシャッタボタン１０Ｃが全押しされる直前に検出されたＡＥ値を受け取り、第１、第２の絞り駆動部１０５Ａ，１０５Ｂを介して第１、第２の絞りＩＡ、ＩＢをＡＥ値に応じた絞り径にさせるとともに、第１のＦレンズ駆動部１０４Ａ、第２のＦレンズ駆動部１０４Ｂを介して第１のフォーカスレンズＦＬＡ、第２のフォーカスレンズＦＬＢを所定のサーチ範囲で移動させながら、ＡＦ検出部１２０によりＡＦ評価値の算出を行わせる。

メインＣＰＵ１００は、ＡＦ検出部１２０により算出されたＡＦ評価値に基づいてＡＦ評価値が最大になる第１のフォーカスレンズＦＬＡのレンズ位置、及び第２のフォーカスレンズＦＬＢのレンズ位置を検出し、この第１のレンズ位置、第２のレンズ位置に第１のフォーカスレンズＦＬＡ、第２のフォーカスレンズＦＬＢを移動させる。

そして、シャッタボタン１０Ｃが全押しされると、メインＣＰＵ１００は、第１、第２のＴＧｌ０６Ａ，１０６Ｂを介して第１の撮像素子１１１Ａ，第２の撮像素子１１１Ｂに所定のシャッタ速度だけ露光させ、静止画の撮影を行わせる。メインＣＰＵ１００は、電子シャッタがオフされたタイミングで第１、第２の撮像素子１１１Ａ，１１１Ｂから画像信号を第１、第２のアナログ信号処理部１１２Ａ，１１２Ｂへと出力させ、第１、第２のアナログ信号処理部１１２Ａ，１１２Ｂにノイズの低減処理を行わせる。その後、第１、第２のＡ／Ｄ変換部１１３Ａ，１１３Ｂでアナログの画像信号をデジタルの画像信号に変換させる。

ここで、メインＣＰＵ１００の指示にしたがって、第１、第２の画像入力コントローラ１１４Ａが、第１、第２のＡ／Ｄ変換部１１３Ａ，１１３Ｂで変換されたデジタルの画像信号をバスＢｕｓを経由して一旦ＳＤＲＡＭ１１５に記憶させる。その後、デジタル信号処理部１１６Ａ，１１６ＢがＳＤＲＡＭ１１５の画像信号を読み出し、ホワイトバランス補正、ガンマ補正、単板ＣＣＤ（ｃｈａｒｇｅ−ｃｏｕｐｌｅｄｄｅｖｉｃｅ）のカラーフィルタ配列に伴うＲ（ｒｅｄ），Ｇ（ｇｒｅｅｎ），Ｂ（ｂｌｕｅ）などの色信号の空間的なズレを補間して各色信号の位置を合わせる同時化処理（色補間処理）、輪郭補正、輝度・色差信号（ＹＣ信号）生成等を含む画像処理を行い、３Ｄ画像生成部１１７に送出する。

続いて、メインＣＰＵ１００は、３Ｄ画像生成部１１７内の右用の画像信号と左用の画像信号を、バスＢｕｓを使って圧縮・伸張処理部１５０に供給する。メインＣＰＵ１００は、この圧縮・伸張処理部１５０に画像データの圧縮を行わせた後、その圧縮された画像データをメディア制御部にバスＢｕｓを使って転送するとともに、その圧縮や撮影に係るヘッダ情報をメディア制御部１６０に供給してメディア制御部１６０に所定形式の画像ファイル（例えば、３Ｄの静止画は、ＭＰ（マルチピクチャ）フォーマットの画像ファイル）を生成させメモリカード１６１にその画像ファイルを記録させる。

操作部１０のモードダイヤル１０Ｂにより３Ｄパノラマ撮影モードが選択されると、メインＣＰＵ１００は、３Ｄパノラマ画像合成に必要な複数の立体画像を撮影するための処理を行う。また、３Ｄ画像生成部１１７は、３Ｄパノラマ撮影モード時に撮影される複数の３Ｄ画像（複数の左画像、複数の右画像）から３Ｄパノラマ画像を生成する画像処理部として機能する。

尚、３Ｄパノラマ撮影モード時の複眼撮像装置１の動作の詳細については後述する。また、図２には、フラッシュ制御部１８０とそのフラッシュ制御部１８０からの指示を受けて図１の発光窓ＷＤからフラッシュを発光するフラッシュ１８１や現在の時刻を検知するための時計部Ｗが図示されている。

＜３Ｄパノラマ合成用の３Ｄ画像の取得＞
３Ｄパノラマ合成用の３Ｄ画像を撮影する場合には、操作部１０のモードダイヤル１０Ｂにより３Ｄパノラマ撮影モードを選択する。

その後、図３に示すように複眼撮像装置１により１枚目の３Ｄ画像を撮影する（図３Ａ）。３Ｄパノラマ撮影モードが設定されている場合には、メインＣＣＤ１００は、以後の所定枚数の３Ｄ画像の撮影が終了するまで、１枚目の３Ｄ画像に使用したピント位置、露出条件及びホワイトバランスゲインを固定するように制御する。

撮影者は、１枚目の３Ｄ画像の撮影が終了すると、複眼撮像装置１をパンニングさせて撮影方向を変え、２枚目の３Ｄ画像の撮影を行う（図３Ｂ）。

このとき、撮影者は、図４に示すように１枚目の３Ｄ画像と２枚目の３Ｄ画像との一部が重なるように複眼撮像装置１の撮影方向を調整して撮影を行う。メインＣＣＤ１００は、３Ｄパノラマ撮影モード時には、先に撮影された３Ｄ画像の一部を、液晶モニタＤＩＳＰに表示させ、次の撮影時の撮影方向のアシストを行うようにすることが好ましい。即ち、撮影者は、液晶モニタＤＩＳＰに表示されている先に撮影された３Ｄ画像の一部と、スルー画とを見ながら撮影方向を決定することができる。

上記のようにして予め設定された枚数分、又はデフォルトで設定された枚数分の３Ｄ画像の撮影が終了すると、メインＣＣＤ１００は、３Ｄパノラマ合成用の３Ｄ画像の撮影が終了したと判断し、以降の３Ｄパノラマ画像合成の処理に移行する。

［第１の実施形態］
次に、３Ｄパノラマ画像合成の第１の実施形態について説明する。

図５は３Ｄパノラマ画像合成の第１の実施形態を示すフローチャートであり、図６Ａから図６Ｉは各処理工程での合成処理の概要を示す図である。

図５において、上記のようにして３Ｄパノラマ撮影モードでの撮影により複数の立体画像（３Ｄ画像）が取得されると（ステップＳ１０）、これらの複数の３Ｄ画像は左画像と右画像に分離してＳＤＲＡＭ１１５に一次保存される（ステップＳ１２）。尚、図６には、３Ｄ画像の撮影総枚数が３枚の場合に関して示されており、３枚の左画像Ｌ１，Ｌ２，Ｌ３と３枚の右画像Ｒ１，Ｒ２，Ｒ３とがＳＤＲＡＭ１１５に一次保存される（図６Ａ）。

３Ｄ画像生成部１１７は、ＳＤＲＡＭ１１５に一次保存され３枚の左画像Ｌ１，Ｌ２，Ｌ３及び３枚の右画像Ｒ１，Ｒ２，Ｒ３について、それぞれ同一投影面（例えば、円筒面）に射影変換し、射影変換した３枚の左画像Ｌ１，Ｌ２，Ｌ３及び３枚の右画像Ｒ１，Ｒ２，Ｒ３を再びＳＤＲＡＭ１１５に保存させる（ステップＳ１４、図６Ｂ）。この射影変換により、３枚の左画像Ｌ１，Ｌ２，Ｌ３及び３枚の右画像Ｒ１，Ｒ２，Ｒ３のパノラマ合成が可能になる。

次に、射影変換された３枚の左画像Ｌ１，Ｌ２，Ｌ３の隣接する画像間の重複する領域における対応点を検出し、同様に３枚の右画像Ｒ１，Ｒ２，Ｒ３の隣接する画像間の重複する領域における対応点を検出する（ステップＳ１６、図６Ｃ）。尚、対応点の検出方法としては、例えば、Ｈａｒｒｉｓの手法等を用いて特徴点を抽出し、ＫＬＴ（ＫａｎａｄｅＬｕｃａｓＴｏｍａｓｉ）法等を用いて特徴点追尾を行う方法が挙げられる。

対応点が検出できない場合、または検出された対応点の数が、後述する幾何変形のパラメータを特定するための個数以下の場合には、合成不可として合成処理を中止する。

続いて、３枚の３Ｄ画像から主要被写体が写っている３Ｄ画像を検出し、この主要被写体が写っている３Ｄ画像を、基準となる３Ｄ画像（左画像、右画像）として設定する（ステップＳ１８、図６Ｄ）。即ち、主要被写体（例えば、顔）を検出し、顔の数が最も多い３Ｄ画像、又は顔のサイズが最も大きい３Ｄ画像を、基準となる３Ｄ画像として設定する。

尚、主要被写体が検出できない場合には、複数の３Ｄ画像のうちの中央に一番近い画像を基準となる３Ｄ画像として設定する。例えば、３Ｄ画像の撮影総枚数がｎ枚の場合、ｎ／２（ｎ：偶数）枚目、又は（ｎ＋１）／２（ｎ：奇数）枚目の３Ｄ画像を基準となる３Ｄ画像として設定する。図６Ａから図６Ｉに示す例では、３Ｄ画像の撮影総枚数が３枚であるため、主要被写体が各３Ｄ画像から検出できない場合には、撮影順が２枚目の３Ｄ画像（左画像Ｌ２、右画像Ｒ２）が基準となる３Ｄ画像として設定される（図６Ｄ）。

次に、ステップＳ１８で設定された基準となる左画像、右画像（図６Ａから図６Ｉの例では、左画像Ｌ２、右画像Ｒ２）を基準にして、それに隣接する左画像Ｌ１，Ｌ３、右画像Ｒ１，Ｒ３を、ステップＳ１６で検出した対応点に基づいてアフィン変換する（ステップＳ２０）。

即ち、基準となる左画像Ｌ２と左画像Ｌ１との重複する領域から検出された対応点に基づいて左画像Ｌ１の対応点が、左画像Ｌ２の対応点に一致するように左画像Ｌ１をアフィン変換し、また、基準となる左画像Ｌ２と左画像Ｌ３との重複する領域から検出された対応点に基づいて左画像Ｌ３の対応点が、左画像Ｌ２の対応点に一致するように左画像Ｌ３をアフィン変換する（図６Ｅ）。

同様に、基準となる右画像Ｒ２と右画像Ｒ１との重複する領域から検出された対応点に基づいて右画像Ｒ１の対応点が、右画像Ｒ２の対応点に一致するように右画像Ｒ１をアフィン変換し、また、基準となる右画像Ｒ２と右画像Ｒ３との重複する領域から検出された対応点に基づいて右画像Ｒ３の対応点が、右画像Ｒ２の対応点に一致するように右画像Ｒ３をアフィン変換する（図６Ｆ）。上記アフィン変換により画像の平行移動、回転、拡大縮小が行われる。

尚、図６Ａから図６Ｉに示した例では、撮影総枚数が３枚であるが、例えば、撮影総枚数が４枚で、４枚目の左画像Ｌ４をアフィン変換する場合には、アフィン変換された左画像Ｌ３を基準にして、この左画像Ｌ３と左画像Ｌ４との重複する領域から検出された対応点に基づいて左画像Ｌ４の対応点が、アフィン変換された左画像Ｌ３の対応点に一致するように左画像Ｌ４をアフィン変換する。

また、右画像Ｒ１，Ｒ３をアフィン変換する際には、既にアフィン変換された左画像Ｌ１、Ｌ３との視差量を考慮してアフィン変換することが好ましい。即ち、３Ｄパノラマ合成用のオリジナルの３Ｄ画像の左画像Ｌ１、Ｌ３と右画像のＲ１，Ｒ３との間で視差量が０となる特徴点を求める。そして、アフィン変換された左画像Ｌ１、Ｌ３の特徴点（前記視差量が０となる特徴点）と、右画像Ｒ１，Ｒ３の対応する特徴点（前記視差量が０となる特徴点）とが一致するように、左画像Ｌ１、Ｌ３をアフィン変換する。

上記のようにして基準となる左画像Ｌ２とアフィン変換した左画像Ｌ１，Ｌ２とから左用のパノラマ画像を合成するが、この合成時に際して隣接する画像間の互いに重複する領域の画像を加重平均して合成する（ステップＳ２２）。即ち、図６Ｅに示すように、左画像Ｌ１と左画像Ｌ２とを合成する場合、左画像Ｌ１の画素値への重みづけ係数をα_Ｌ１，左画像Ｌ１の画素値への重みづけ係数をα_Ｌ２に設定し、両画像の重複する領域の画像を、前記重みづけ係数α_Ｌ１、α_Ｌ２を使用して加重平均する。また、基準となる右画像Ｒ２とアフィン変換した右画像Ｒ１，Ｒ２とから右用のパノラマ画像を合成する場合も同様に、隣接する画像間の互いに重複する領域の画像を加重平均して合成する。

次に、上記のようにして合成された左用のパノラマ画像及び右用のパノラマ画像の有効画素のある領域のアンド条件を満たすトリミング領域を決定し、決定したトリミング領域の画像を切り出す（トリミングする）（ステップＳ２４、図６Ｇ）。尚、前記決定したトリミング領域の大きさが一定以下の場合には、撮影失敗として合成処理を中心する。

上記のようにしてトリミングされた左用のパノラマ画像と右用のパノラマ画像とは、３Ｄパノラマ画像として関連付けられて記録媒体（メモリカード１６１）に記録される（ステップＳ２６）。

例えば、図６Ｈに示すように左用のパノラマ画像と右用のパノラマ画像とを画像ファイルにサイドバイサイド形式（左用のパノラマ画像と右用のパノラマ画像とを並べて格納する形式）として格納し、また、画像ファイルのヘッダ領域に、ステップＳ１８で設定された基準の３Ｄ画像の代表視差量（例えば、主要被写体の視差量）を書き込む。このようにして作成した画像ファイルをメモリカード１６１に記録する。

上記のようにして作成された３Ｄパノラマ画像は、図６Ｉに示すように外部の３Ｄディスプレイ２００に表示させることができる。

また、この複眼撮像装置１は、外部の３Ｄディスプレイに３Ｄ画像や上記３Ｄパノラマ画像を表示させる出力デバイス（通信インターフェース等）を備えている。３Ｄパノラマ画像を表示させる際に、画像ファイルのヘッダ領域に代表視差量としてｎピクセルが記録されている場合には、Ｒ用のパノラマ画像の先頭アドレスを左用のパノラマ画像に対してｎピクセル分ずらすことにより、代表視差量（主要被写体の視差量）が０になるように視差調整された３Ｄパノラマ画像を表示させることができる。また、スクロール再生させる場合には、その一部を切り出して拡大表示させる。切り出し位置を移動させることにより３Ｄパノラマ画像をスクロールさせることができる。

［第２の実施形態］
次に、３Ｄパノラマ画像合成の第２の実施形態について説明する。

図７は３Ｄパノラマ画像合成の第２の実施形態を示すフローチャートであり、図８Ａから図８Ｊは各処理工程での合成処理の概要を示す図である。尚、図５に示した第１の実施形態と共通する部分には同一のステップ番号を付し、その詳細な説明は省略する。また、図８Ａから図８Ｊでは、図６Ａから図６Ｉに比べて図８Ｇが追加され、その他は図６Ａから図６Ｉと同様である。

図７に示す第２の実施形態では、ステップＳ３０、Ｓ３２の処理が追加されている点で、第１の実施形態と相違する。

ステップＳ３０では、パノラマ合成された左用のパノラマ画像と右用のパノラマ画像との画像全体で画素ごとに対応点を検出し、前記検出された各対応点の間の視差量を算出する（図８Ｇ）。

続いて、前記算出した画素ごとの視差量のヒストグラムを作成し、作成したヒストグラムに基づいて代表視差量を決定する（ステップＳ３２）。図９に画素ごとの視差量のヒストグラムの一例を示す。

図９に示すヒストグラムでは、度数のピークが２箇所存在する。最も遠側にある視差量のピークは、背景の視差量と考えられ、最も近側にあるピークは、主要被写体の視差量と考えられる。そこで、前記ヒストグラムに基づいて代表視差量を決定する方法として、最も近側にあるピークとなる視差量を代表視差量とすることができる。尚、ヒストグラムに基づいて代表視差量を決定する方法は、上記の方法に限らず、例えば、平均値や中央値を使用するようにしてもよい。

その後の処理は、第１の実施形態と同様に行われる。尚、ステップＳ２６において、記録媒体（メモリカード１６１）に記録する画像ファイルのヘッダ領域には、ステップＳ３２で決定した代表視差量を書き込む。

［その他］
本発明に係る複眼撮像装置は、３Ｄパノラマ合成用の複数の３Ｄ画像を撮影して取得するとともに、その取得した複数の３Ｄ画像から３Ｄパノラマ画像を合成する３Ｄパノラマ画像合成機能を内蔵している。本発明に係る３Ｄパノラマ画像合成装置は、撮影機能を有しないパーソナルコンピュータ等の外部機器により構成されるようにしてもよい。この場合、一般の複眼撮像装置により撮影された３Ｄパノラマ合成用の複数の３Ｄ画像が３Ｄパノラマ画像合成装置に入力され、３Ｄパノラマ画像の合成が行われる。

また、この実施形態では、画像ファイルのヘッダ領域に３Ｄパノラマ画像の代表視差量を記録するようにしたが、本発明はこれに限定されるものではない。パノラマ合成した左用のパノラマ画像及び右用のパノラマ画像からトリミング領域を決定してトリミングする際に、前記代表視差量が所望の視差量（例えば、視差量が０）になるように前記トリミング領域を決定してトリミングするようにしてもよい。

尚、本発明は、パーソナルコンピュータ等に上記３Ｄパノラマ画像の合成処理を行わせるコンピュータ読取可能なプログラム及び該プログラムが格納された記録媒体として提供することも可能である。

更に、本発明は上述した実施の形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。

１…複眼撮像装置、１０…操作部、１００…メインＣＰＵ、１０１…ＲＯＭ、１０２…フラッシュＲＯＭ、１１０Ａ…第１の撮影光学系、１１０Ｂ…第２の撮影光学系、１１１Ａ…第１の撮像素子、１１１Ｂ…第２の撮像素子、１１５…ＳＤＲＡＭ、１１７…３Ｄ画像生成部、１１９…表示制御部、１６０…メディア制御部、１６１…メモリカード、Ｌ…第１の撮像部、Ｒ…第２の撮像部、ＤＩＳＰ…液晶モニタ

Claims

複眼撮像装置により撮影された左画像及び右画像からなる立体画像であって、前記複眼撮像装置をパンニングさせて撮影方向ごとに撮影された複数の立体画像を取得する画像取得部と、
前記取得した複数のそれぞれの立体画像から左画像及び右画像を分離してそれぞれ記憶する記憶部と、
前記記憶された複数の左画像及び複数の右画像をそれぞれ同一投影面に射影変換する射影変換部と、
前記射影変換された複数の左画像間の互いに重複する領域の対応点を検出するとともに、前記射影変換された複数の右画像間の互いに重複する領域の対応点を検出する対応点検出部と、
前記画像取得部により取得された複数の立体画像から主要被写体を検出する主要被写体検出部と、
前記複数の立体画像のうちの最初の基準となる立体画像を設定する基準画像設定部であって、前記最初の基準となる立体画像として前記主要被写体検出部により主要被写体が検出された立体画像を前記最初の基準となる立体画像として設定する基準画像設定部と、
前記設定された最初の基準となる立体画像の前記射影変換された左画像及び右画像をそれぞれ基準にし、前記基準にした左画像とこれに隣接する左画像との間で前記対応点検出部により検出された対応点同士が一致するように前記隣接する左画像を幾何変形させ、前記基準にした右画像とこれに隣接する右画像との間で前記対応点検出部により検出された対応点同士が一致するように前記隣接する右画像を幾何変形させる画像変形部であって、前記幾何変形させた前記左画像及び右画像に隣接する前記射影変換された左画像及び右画像が存在する場合には、前記幾何変形させた前記左画像及び右画像からなる立体画像を次の基準となる立体画像に設定し、前記射影変換された左画像及び右画像を上記と同様に幾何変形する画像変形部と、
前記最初の基準となる立体画像の左画像及び前記幾何変形した左画像に基づいて左用のパノラマ画像を合成するとともに、前記最初の基準となる立体画像の右画像及び前記幾何変形した右画像に基づいて右用のパノラマ画像を合成するパノラマ合成部と、
を備える立体パノラマ画像合成装置。
前記基準画像設定部は、前記主要被写体検出部により主要被写体が検出されなかった場合には前記複数の立体画像のうち撮影順が中央に最も近い立体画像を前記最初の基準となる立体画像として設定する、請求項１に記載の立体パノラマ画像合成装置。
前記左用のパノラマ画像及び右用のパノラマ画像の代表視差量を取得する代表視差量取得部と、
前記パノラマ合成部により合成された左用のパノラマ画像及び右用のパノラマ画像のうちの、互いに重複する有効画素を有する領域の画像をそれぞれトリミングするトリミング部とを更に備え、
前記トリミング部は、前記代表視差量取得部により取得された代表視差量が、予め設定された視差量となるように前記合成された左用のパノラマ画像及び右用のパノラマ画像のトリミング領域を決定してトリミングする、請求項１又は２に記載の立体パノラマ画像合成装置。
前記パノラマ合成部により合成された左用のパノラマ画像及び右用のパノラマ画像のうちの、互いに重複する有効画素を有する領域の画像をそれぞれトリミングするトリミング部を更に備える請求項１又は２に記載の立体パノラマ画像合成装置。
前記パノラマ合成部は、前記左用のパノラマ画像及び右用のパノラマ画像の合成時に、隣接する画像間の互いに重複する領域の画像を加重平均して合成する、請求項１から４のいずれかに記載の立体パノラマ画像合成装置。
前記パノラマ合成部により生成された左用のパノラマ画像と右用のパノラマ画像とを関連づけて記録媒体に記録する記録部を更に備える請求項３に記載の立体パノラマ画像合成装置。
前記左用のパノラマ画像及び右用のパノラマ画像の代表視差量を取得する代表視差量取得部を更に備え、
前記記録部は、前記代表視差量取得部により取得された代表視差量を、前記左用のパノラマ画像及び右用のパノラマ画像に関連付けて前記記録媒体に記録する、請求項６に記載の立体パノラマ画像合成装置。
前記記録媒体に関連付けて記録された左用のパノラマ画像及び右用のパノラマ画像を出力する出力部であって、前記左用のパノラマ画像及び右用のパノラマ画像に関連付けて記録された代表視差量に基づいて該代表視差量が、予め設定された視差量となるように前記左用のパノラマ画像と右用のパノラマ画像とを相対的に画素ずらしして出力する出力部を更に備える請求項７に記載の立体パノラマ画像合成装置。
前記代表視差量取得部は、前記基準画像設定部により設定された基準となる立体画像に基づいて前記代表視差量を取得する、請求項３、７又は８に記載の立体パノラマ画像合成装置。
前記代表視差量取得部は、
前記左用のパノラマ画像及び右用のパノラマ画像の画素ごとの対応点を検出する対応点検出部と、
前記検出された各対応点の間の視差量を算出する視差量算出部と、
前記算出された画素ごとの視差量のヒストグラムを作成するヒストグラム作成部と、
前記作成されたヒストグラムに基づいて代表視差量を決定する代表視差量決定部と、
を備える請求項３、７又は８に記載の立体パノラマ画像合成装置。
前記画像取得部として使用される複数の撮像部と、
請求項１から１０のいずれかに記載の立体パノラマ画像合成装置と、
を備える複眼撮像装置。
立体パノラマ撮影モードを設定するモード設定部と、
前記立体パノラマ撮影モードが選択されると、撮影方向ごとに撮影される立体画像のピント位置、露出条件及びホワイトバランスゲインを、１枚目の撮影時に設定された値に固定する制御部と、
を更に備える請求項１１に記載の複眼撮像装置。
複眼撮像装置により撮影された左画像及び右画像からなる立体画像であって、前記複眼撮像装置をパンニングさせて撮影方向ごとに撮影された複数の立体画像を取得する工程と、
前記取得した複数のそれぞれの立体画像から左画像及び右画像を分離してそれぞれ記憶する工程と、
前記記憶された複数の左画像及び複数の右画像をそれぞれ同一投影面に射影変換する工程と、
前記射影変換された複数の左画像間の互いに重複する領域の対応点を検出するとともに、前記射影変換された複数の右画像間の互いに重複する領域の対応点を検出する対応点検出工程と、
前記画像取得部により取得された複数の立体画像から主要被写体を検出する工程と、
前記複数の立体画像のうちの最初の基準となる立体画像を設定する工程であって、前記最初の基準となる立体画像として前記主要被写体が検出された立体画像を前記最初の基準となる立体画像として設定する工程と、
前記設定された最初の基準となる立体画像の前記射影変換された左画像及び右画像をそれぞれ基準にし、前記基準にした左画像とこれに隣接する左画像との間で前記対応点検出工程により検出された対応点同士が一致するように前記隣接する左画像を幾何変形させ、前記基準にした右画像とこれに隣接する右画像との間で前記対応点検出工程により検出された対応点同士が一致するように前記隣接する右画像を幾何変形させる工程であって、前記幾何変形させた前記左画像及び右画像に隣接する前記射影変換された左画像及び右画像が存在する場合には、前記幾何変形させた前記左画像及び右画像からなる立体画像を次の基準となる立体画像に設定し、前記射影変換された左画像及び右画像を上記と同様に幾何変形する工程と、
前記最初の基準となる立体画像の左画像及び前記幾何変形した左画像に基づいて左用のパノラマ画像を合成するとともに、前記最初の基準となる立体画像の右画像及び前記幾何変形した右画像に基づいて右用のパノラマ画像を合成する工程と、
を含む立体パノラマ画像合成方法。