JP2017175507A - 画像処理装置、画像処理方法及びプログラム - Google Patents

Abstract

【課題】 ユーザが特殊効果の画像を容易に得ることができるような制御を行うことである。
【解決手段】 本体装置２０は、２台の撮像装置１０の位置関係に関する情報に基づいて、各撮像装置１０の相対的な位置関係が所定の位置関係であるか否かを判別し、所定の位置関係であれば、その位置関係で各撮像装置１０によって撮像される各画像を合成処理の対象としてその合成形式（例えば、パノラマ画像、３Ｄ画像、全天球画像など）を設定する制御を行う。
【選択図】 図１

Description

本発明は、特殊効果の画像を得る画像処理装置、画像処理方法及びプログラムに関する。

複数の画像から特殊効果の画像（パノラマ画像、３Ｄ（３次元）画像、全天球画像など）を生成する技術として、例えば、特許文献１に記載されているように２台の撮像装置を備え、この各撮像装置の撮影角度と各撮像装置の間隔をユーザが変更可能な構成とし、特殊効果の画像を得る各種の撮影モードの中から所望するモードがユーザ操作によって選択されると、各撮像装置の撮影角度と間隔がその選択モードに合致するかを判別し、合致しなければ、その旨を警告し、合致すれば、その選択モードに対応する画像処理を行って特殊効果の画像を得るようにした技術が知られている。

特開２００５―２２３８１２号公報

しかしながら、上述した特許文献の技術は、予めユーザが選択したモードに基づいた警告にしたがって、各撮像装置の撮影角度と間隔をユーザが調整するもので、その調整作業を支援することができるが、事前のモードの選択が必要となるため、必ずしもユーザの利便性が高いとは言えなかった。
上述の課題を鑑みて、本発明は事前に所望する特殊効果モードを選択する操作を行う事無く、ユーザ所望の特殊効果の画像を得ることを目的とした。

本発明の課題は、ユーザが特殊効果の画像を容易に得ることができるような制御を行うことである。

上述した課題を解決するために本発明は、
第１の撮像装置と第２の撮像装置の位置関係に関する位置情報を取得する情報取得手段と、
前記情報取得手段によって取得された前記位置情報に基づいて、前記第１の撮像装置と前記第２の撮像装置との相対的な位置関係が所定の位置関係であるかを判別する判別手段と、
前記判別手段によって所定の位置関係であると判別された場合には、その位置関係で前記第１の撮像装置と第２の撮像装置によって撮像される各画像を合成処理の対象としてその合成形式を設定する制御を行う合成制御手段と、
を備えることを特徴とする画像処理装置である。

本発明によれば、ユーザが特殊効果の画像を容易に得ることができるような制御を行うことが可能となる。

（１）は、画像処理装置として適用したデジタルカメラにおいてそのカメラを構成する撮像装置１０と本体装置２０とを一体的に組み合わせた状態を表した外観図、（２）は、撮像装置１０と本体装置２０とを分離した状態を表した外観図。 （１）は、各撮像装置１０の概略構成を示すブロック図、（２）は、本体装置２０の概略構成を示すブロック図。 （１−１）、（１−２）、（２）、（３）は、２台の撮像装置１０の相対的な位置関係を説明するための図。 （１）、（２）は、図３（１−１）、（１−２）に示した位置関係で撮影した魚眼画像を例示した図。 撮影モードに切り替えられ際に実行開始されるデジタルカメラの動作（第１実施形態の特徴的な動作）を説明するためのフローチャート。 図５に続く動作を示したフローチャート。 第２実施形態において、画像処理装置（ＰＣ）３０と撮像装置（デジタルカメラ）４０の概略構成を示したブロック図。 撮像装置４０側において撮影モードに切り替えられた際に実行開始される動作（第２実施形態の特徴的な動作）を説明するためのフローチャート。 画像処理装置３０側において、２つの画像を合成して再生する合成再生がユーザ操作によって指定された際に実行開始される動作（第２実施形態の特徴的な動作）を説明するためのフローチャート。 合成処理（図９のステップＣ３）を詳述するためのフローチャート。 第３実施形態において（１）、（２）は、２台の撮像装置（デジタルカメラ）５０を支持する画像処理装置（支持装置：アタッチメント）の概略構成を示した外観図。 第３実施形態において（１）〜（２）は、２台の撮像装置５０の相対的な位置関係（開閉角度）が所定の位置関係である場合を示した図。 第３実施形態において（１）、（２）は、２台の撮像装置５０、支持装置６０の概略構成を示したブロック図。 撮像装置５０側で撮影が行われる毎に実行開始される支持装置６０側の動作（第３実施形態の特徴的な動作）を示したフローチャート。 各実施形態の変形例を説明するための図で、画像解析によって光軸方向を判定する処理を示したフローチャート。

以下、本発明の実施の形態について、図面を参照して詳細に説明する。
（第１実施形態）
まず、図１〜図６を参照して本発明の第１実施形態を説明する。
本実施形態は、画像処理装置としてデジタルカメラに適用した場合を例示したもので、この画像処理装置は、後述する撮像部を備える撮像装置１０と、後述する表示部を備える本体装置２０とに分離可能なセパレート型デジタルカメラである。図１は、画像処理装置（デジタルカメラ）の外観図で、図１（１）は、撮像装置１０と本体装置２０とを一体的に組み合わせた状態を示し、図１（２）は、撮像装置１０と本体装置２０とを分離した状態を示した図である。撮像装置１０は、例えば、その筐体全体が箱型を成すもので、第１実施形態においては、基本的に同一構成の撮像装置１０を２台設けた場合を示し、ユーザは、その１台を使用して撮影を行うか、２台を同時に使用して撮影を行うかを任意に選択可能であるが、本実施形態においては、以下、２台の撮像装置１０を使用して撮影を行う場合について説明する。

このセパレート型デジタルカメラを構成する撮像装置１０と本体装置２０とは、それぞれが利用可能な無線通信を用いてペアリング（無線接続認識）が可能なもので、無線通信としては、例えば、無線ＬＡＮ（Ｗｉ−Ｆｉ）又はＢｌｕｅｔｏｏｔｈ（登録商標）を使用している。なお、撮像装置１０と本体装置２０の接続方法は無線方式に限られず、ケーブルなどの有線接続で通信させるように構成してもよい。
本体装置２０側では、撮像装置１０側で撮影された画像を受信取得して、この撮影画像をライブビュー画像として表示する。なお、本実施形態において撮影画像とは、保存済みの画像に限らず、ライブビュー画面に表示されている画像（ライブビュー画像：保存前の画像）を含む広義の画像を意味している。

図２（１）は、撮像装置１０の概略構成を示すブロック図であり、図２（２）は、本体装置２０の概略構成を示すブロック図である。
図２（１）において、撮像装置１０は、静止画像の撮影の他に、動画像の撮影が可能なもので、制御部１１、電源部１２、記憶部１３、通信部１４、操作部１５、撮像部１６、姿勢検出部１７、磁気センサ１８を備えている。制御部１１は、電源部（二次電池）１２からの電力供給によって動作し、記憶部１３内の各種のプログラムに応じてこの撮像装置１０の全体動作を制御するもので、この制御部１１には図示しないＣＰＵ（中央演算処理装置）やメモリなどが設けられている。

記憶部１３は、例えば、ＲＯＭ、フラッシュメモリなどを有する構成で、本実施形態を実現するためのプログラムや各種のアプリケーションなどが格納されている。なお、記憶部１３は、例えば、ＳＤカード、ＵＳＢメモリなど、着脱自在な可搬型メモリ（記録メディア）を含む構成であってもよく、また、その一部が図示しない所定の外部サーバの領域を含むものであってもよい。通信部１４は、撮影画像を本体装置２０側に送信したり、本体装置２０からの操作指示信号などを受信したりする。操作部１５は、電源スイッチなどの基本的な操作キーを備えている。

撮像部１６は、被写体を高精細に撮影可能な撮像装置を構成するもので、この撮像部１６のレンズユニット１６Ａには、魚眼レンズ１６Ｂ、撮像素子１６Ｃなどが設けられている。なお、本実施形態のカメラは、通常の撮像レンズ（図示省略）と魚眼レンズ１６Ｂとが交換可能なもので、図示の例は、魚眼レンズ１６Ｂを装着した状態を示している。この魚眼レンズ１６Ｂは、例えば、３枚構成のレンズ系からなり、画角が略１８０゜という広範囲な撮影が可能な円周魚眼レンズ（全周魚眼レンズ）であり、この魚眼レンズ１６Ｂによって撮影された広角画像（魚眼画像）の全体は、円形の画像となる。この場合、射影方式を採用しているために、魚眼レンズ１６Ｂで撮影された広角画像（魚眼画像）は、その中心から端部に向かう程、大きく歪んだものとなる。

すなわち、魚眼レンズ１６Ｂは、その画角が略１８０゜という広範囲な撮影が可能な円周魚眼レンズであるため、魚眼画像の全体は、円形の画像となり、その中心部から端部（周辺部）の方に向かうほど、大きく歪んだものとなると共に、魚眼画像の中心部に比べてその周辺部は縮小された画像となるため、ユーザがその周辺部の内容を詳細に目視確認しょうとしてもその確認は極めて困難なものとなる。このような魚眼レンズ１６Ｂによる被写体像（光学像）が撮像素子（例えば、ＣＭＯＳ又はＣＣＤ）１６Ｃに結像されると、この撮像素子１６Ｃによって光電変換された画像信号（アナログ値の信号）は、図示省略のＡ／Ｄ変換部によってデジタル信号に変換されると共に、所定の画像表示処理が施された後、本体装置２０側に送信されてモニタ表示される。

姿勢検出部１７は、例えば、加速度センサ及び角速度センサを備え、撮像装置１０の撮影時における姿勢として魚眼レンズ１６Ｂの光軸方向を検出するもので、その加速度センサは、重力方向に対する光軸方向を検出し、角速度センサは、加速度センサでは反応しない回転角速度を測定して光軸方向を検出する。この姿勢検出部１７によって検出された姿勢情報（魚眼レンズ１６Ｂの光軸方向）は、通信部１４から本体装置２０側に送信される。磁気センサ１８は、魚眼レンズ１６Ｂの反対側（カメラの裏面側）において魚眼レンズ１６Ｂの光軸上に配設されたもので、磁石、ホール素子の何れか一方を有し、後述するが、磁界の強さやその方向に基づいて２台の撮像装置１０の光軸の位置ずれを検出したり、２台の撮像装置１０の間隔を検出したりするセンサである。

図２（２）において、本体装置２０は、デジタルカメラのコントローラを構成するもので、撮像装置１０によって撮影された画像を表示する再生機能を有し、制御部２１、電源部２２、記憶部２３、通信部２４、操作部２５、タッチ表示部２６を備えている。制御部２１は、電源部（二次電池）２２からの電力供給によって動作し、記憶部２３内の各種のプログラムに応じてこの本体装置２０の全体動作を制御するもので、この制御部２１には図示しないＣＰＵ（中央演算処理装置）やメモリなどが設けられている。記憶部２３は、例えば、ＲＯＭ、フラッシュメモリなどを有する構成で、本実施形態を実現するためのプログラムや各種のアプリケーションなどが格納されているプログラムメモリ２３Ａ、この本体装置２０が動作するために必要となる各種の情報（例えば、フラグなど）を一時的に記憶するワークメモリ２３Ｂなどを有している。

通信部２４は、撮像装置１０との間で各種のデータの送受信を行う。操作部２５は、電源キー、レリーズキー、露出やシャッタスピードなどの撮影条件を設定する設定キー、後述するキャンセルキーなどを備えたもので、制御部２１は、この操作部２５からの入力操作信号に応じた処理を実行したり、入力操作信号を撮像装置１０に対して送信したりする。タッチ表示部２６は、高精細液晶などのディスプレイ２６Ａ上にタッチパネル２６Ｂを積層配置した構成で、その表示画面は、撮影された画像（魚眼画像）をリアルタイムに表示するモニタ画面（ライブビュー画面）となったり、撮影済み画像を再生する再生画面となったりする。

図３は、２台の撮像装置１０の相対的な位置関係を説明するための図で、図３（１−１）は、２台の撮像装置１０を斜め方向から見た斜視図、図３（１−２）は、撮像装置１０の一側方向から見た側面図である。
図３（１−１）、（１−２）は、２台の撮像装置１０の光軸方向が逆方向となる位置関係、つまり、撮像装置１０の光軸方向と重力方向とが垂直、又は垂直に対して所定の許容範囲内にある状態において、それらの光軸方向が逆方向又はその逆方向に対して許容範囲内の方向となる配置関係（第１の位置関係）を示している。図示の例では、更に、この第１の位置関係（逆方向の位置関係）において、各撮像装置１０の光軸が一致、又は略一致する場合（光軸の位置ずれが許容範囲内にある場合）を示していると共に、２台の撮像装置１０の裏面同士を接触、又は接近させた場合を示している。

図４は、図３（１−１）、（１−２）に示した第１の位置関係（逆方向の位置関係）において撮影した魚眼画像を例示したもので、２台の撮像装置１０のうち、図４（１）は、その一方の撮影画像（魚眼画像）を示し、図４（２）は、他方の撮影画像（魚眼画像）を示している。このような位置関係で各撮像装置１０が魚眼レンズ１６Ｂを使用して撮影を行うと、前方１８０°を撮影した魚眼画像と、後方１８０°を撮影した魚眼画像が得られる。つまり、前方１８０°の撮影と、後方１８０°の撮影によってその全体として撮影範囲が３６０°となる画像（全天球の画像）が得られる。

図３（２）は、２台の撮像装置１０の光軸方向が同方向となる位置関係、つまり、撮像装置１０の光軸方向と重力方向とが垂直、又は垂直に対して所定の許容範囲内にある状態において、２台の撮像装置１０の光軸方向が同方向又はその同方向に対して許容範囲内の方向となる配置関係（第２の位置関係）を示している。図示の例は、更に、この第２の位置関係（同方向の位置関係）において、各撮像装置１０の間隔を狭めて（第１の距離以下）に接近させた状態を示している。

このような位置関係で各撮像装置１０が撮影を行うと、同一の撮影範囲において視点をずらして撮影した各画像（視差を持った各画像）が得られる。図３（３）は、第２の位置関係（同方向の位置関係）において、各撮像装置１０の間隔を大きく（第２の距離以上）空けて撮影した場合を示している。なお、第１の距離、第２の距離は、第１の距離＜第２の距離の関係にある。このような位置関係で各撮像装置１０が撮影を行うと、撮影範囲が全く異なる画像、又は撮影範囲の一部分（周辺部分）が重なる画像が得られる。

本体装置２０は、２台の撮像装置１０からその姿勢検出部１７によって検出された姿勢情報（光軸方向）を取得して、２台の撮像装置１０の相対的な位置関係を判定し、その位置関係が所定の関係、つまり、図３（１−１）、（２）、（３）に示した相対的な位置関係であれば、その所定の位置関係で撮像された各画像を合成対象の画像としてその合成形式を設定し、所定の位置関係でなければ、撮像された各画像を合成対象とせずに非合成の画像（通常の画像）とする制御を行うようにしている。

次に、第１実施形態における画像処理装置（デジタルカメラ）の動作概念を図５及び図６に示すフローチャートを参照して説明する。ここで、これらのフローチャートに記述されている各機能は、読み取り可能なプログラムコードの形態で格納されており、このプログラムコードにしたがった動作が逐次実行される。また、ネットワークなどの伝送媒体を介して伝送されてきた上述のプログラムコードに従った動作を逐次実行することもできる。このことは後述する他の実施形態においても同様であり、記録媒体の他に、伝送媒体を介して外部供給されたプログラム／データを利用して本実施形態特有の動作を実行することもできる。なお、図５及び図６は、画像処理装置（デジタルカメラ）の全体動作のうち、本実施形態の特徴部分の動作概要を示したフローチャートであり、この図５及び図６のフローから抜けた際には、全体動作のメインフロー（図示省略）に戻る。

図５及び図６は、撮影モードに切り替えられ際に実行開始されるデジタルカメラの動作（第１実施形態の特徴的な動作）を説明するためのフローチャートである。
まず、本体装置２０側の制御部２１は、２台の撮像装置１０と通信可能な状態において、各撮像装置１０から取得した画像をライブビュー画像としてタッチ表示部２６に表示させる動作を開始する（図５のステップＡ１）。この状態でレリーズキーの半押し操作が行われたかを調べ（ステップＡ２）、その半押し操作が行われるまで待機状態となる。いま、レリーズキーが半押し操作されると（ステップＡ２でＹＥＳ）、各撮像装置１０に対して撮影準備処理を指示してＡＦ（自動焦点処理）、ＡＥ（自動露出処理）などを行わせる（ステップＡ３）。

そして、各撮像装置１０からその姿勢検出部１７の検出結果として姿勢情報（光軸方向）を取得して（ステップＡ４）、各撮像装置１０の光軸方向は第１の位置関係（逆方向の位置関係）にあるかを調べ（ステップＡ５）、第１の位置関係であれば（ステップＡ５でＹＥＳ）、撮像装置１０からその磁気センサ１８の検出結果（磁界の強さや方向）を取得し（ステップＡ６）、その検出結果（磁界の強さや及び方向）に基づいて各撮像装置１０が離れ過ぎていない（許容範囲内か）を調べると共に、それらの光軸の位置ずれは許容範囲内であるかを調べる（ステップＡ７）。ここで、各撮像装置１０が離れ過ぎていたり、光軸の位置がずれ過ぎていたりしていれば（ステップＡ７でＮＯ）、２台の撮像装置１０によって撮像される各画像を合成処理の対象とせずに非合成とするために合成形式フラグ（図示省略）に非合成を指定する情報として“０”を設定する（ステップＡ９）。

また、第１の位置関係において（ステップＡ５でＹＥＳ）、各撮像装置１０の間隔及び光軸の位置ずれが許容範囲内であれば（ステップＡ７でＹＥＳ）、第３（１）に示すように２台の撮像装置１０は、その裏面同士を接触、又は接近させて配置した状態にある（所定の位置関係にある）と判断して、２台の撮像装置１０によって撮像される各画像を合成処理の対象としてその合成形式を設定する（ステップＡ８）。この場合、第１の位置関係に適した合成形式、つまり、合成形式フラグに全天球合成を指定する情報として“１”を設定する。例えば、図４（１）に示した前方１８０°を撮影した魚眼画像と、図４（２）に示した後方１８０°を撮影した魚眼画像とを繋ぎ合せることにより撮影範囲が３６０°となる画像（全天球画像）を得る合成処理を指定する情報として合成形式フラグに“１”を設定する。

一方、各撮像装置１０の光軸方向が第１の位置関係でなければ（ステップＡ５でＮＯ）、第２の位置関係（同方向の位置関係）であるかを調べる（ステップＡ１０）。ここで、第２の位置関係でもなければ（ステップＡ１０でＮＯ）、２台の撮像装置１０によって撮像される各画像を非合成とするために合成形式フラグに“０”を設定するが（ステップＡ９）、第２の位置関係であれば（ステップＡ１０でＹＥＳ）、２台の撮像装置１０から撮像画像を取得して（ステップＡ１１）、各画像を解析し、その解析結果を比較しながら両者の類似度を判定し（ステップＡ１２）、各画像の中央部分の類似度は所定の閾値以上（類似度が高い）であるかを調べる（ステップＡ１３）。

ここで、各画像の中央部分の類似度が所定の閾値以上、つまり、両者の類似度が高ければ（ステップＡ１３でＹＥＳ）、図３（２）に示したように２台の撮像装置１０は、第２の位置関係においてその間隔を狭めて（第１の距離以下）に接近させて配置した状態であり、かつ同一の撮影範囲を視点をずらして撮影する状態にある（所定の位置関係にある）と判断して、ステップＡ１４に移り、一方の画像を左眼用の画像とし、他方の画像を右眼用の画像とする３Ｄ（３次元）合成処理を指定する情報として合成形式フラグに“２”を設定する。

また、第２の位置関係において（ステップＡ１０でＹＥＳ）、各画像の中央部分の類似度が所定の閾値未満でその部分の類似度が高くなければ（ステップＡ１３でＮＯ）、各画像の周辺部分の類似度は所定の閾値以上（類似度が高い）かを調べる（ステップＡ１５）。ここで、周辺部分の類似度も所定の閾値未満であれば（ステップＡ１５でＮＯ）、２台の撮像装置１０によって撮像される各画像を非合成とするために合成形式フラグに“０”を設定するが（ステップＡ９）、周辺部分の類似度が所定の閾値以上で類似度が高ければ（ステップＡ１５でＹＥＳ）、図３（３）に示したように各撮像装置１０は、その間隔を大きく（第２の距離以上）空けて配置した状態であり、かつ撮影範囲を広げて撮影する状態にある（所定の位置関係にある）と判断して、ステップＡ１６に移り、２枚の画像を並べた広角のパノラマ合成処理を指定する情報として合成形式フラグに“３”を設定する。

このように各撮像装置１０の相対的な位置関係に応じてその位置関係に適した合成形式を設定すると、図６のフローに移り、設定した合成形式をライブビュー画面にアイコンを表示したりメッセージを表示したりすることによって報知する（ステップＡ１７）。すなわち、非合成を報知したり、全天球合成、３次元合成、パノラマ合成の何れかを報知したりする。この状態において、レリーズキーが全押し操作されたかを調べたり（ステップＡ１８）、設定した合成形式を無効とするキャンセルキーが操作されたかを調べたりする（ステップＡ１９）。

いま、キャンセルキーが操作された場合には（ステップＡ１９でＹＥＳ）、設定した合成形式を無効とするために図５のステップＡ２に戻るが、レリーズキーが全押し操作された場合には（ステップＡ１８でＹＥＳ）、その全押し操作時に各撮像装置１０によって撮像された各画像を取得すると共に（ステップＡ２０）、上述の合成形式フラグを読み出して（ステップＡ２１）、合成形式フラグは“０”であるかを調べる（ステップＡ２３）。ここで、合成形式フラグが“０”であれば（ステップＡ２２でＹＥＳ）、２台の撮像装置１０によって撮像された各画像を合成処理の対象とせずに非合成とするために、各画像を個別に現像処理して標準サイズのファイルに変換した後、記憶部２３の記録メディアに記録・保存する処理を行う（ステップＡ２８）。

また、合成形式フラグが“０”でなければ（ステップＡ２２でＮＯ）、更に合成形式を判別し（ステップＡ２３）、合成形式フラグが“１”であれば、２台の撮像装置１０によって撮像された各画像を繋ぎ合せる全天球合成処理を行って全天球合成画像を生成する（ステップＡ２４）。この場合、本実施形態においては撮像された各魚眼画像の歪みを補正する処理を行って、歪みの無い画像を生成してから合成処理を行うようにしている（以下、同様）。合成形式フラグが“２”であれば、３Ｄ合成処理を行って３Ｄ合成画像を生成する（ステップＡ２５）。合成形式フラグが“３”であれば、パノラマ合成処理を行ってパノラマ合成画像を生成する（ステップＡ２６）。これによって生成した合成画像を現像処理して所定サイズのファイルに変換した後、記憶部２３の記録メディアに記録保存する（ステップＡ２７）。なお、合成画像のみを記録保存するか、合成画像と共に各魚眼画像も記録保存するかは、予めユーザ操作によって任意に設定された保存形式に応じて行うようにしている。

このようにして画像を記録保存する処理が終わると、撮影モードが解除されたかを調べ（ステップＡ２９）、撮影モードのままであれば（ステップＡ２９でＮＯ）、図５のステップＡ２に戻り、以下、上述の動作を繰り返すが、撮影モードが解除された場合には（ステップＡ２９でＹＥＳ）、図５及び図６のフローから抜ける。

以上のように、第１実施形態において本体装置２０は、２台の撮像装置１０の位置関係に関する情報に基づいて、各撮像装置１０の相対的な位置関係が所定の位置関係であるか否かを判別し、所定の位置関係であれば、その位置関係で各撮像装置１０によって撮像される各画像を合成処理の対象としてその合成形式を設定する制御を行うようにしたので、ユーザが特殊効果の画像を容易に得ることができるような制御を行うことが可能となる。

また、所定の位置関係であれば、その位置関係で各撮像装置１０によって撮像される各画像を合成処理の対象としてその合成形式を設定し、所定の位置関係でなければ、その位置関係で各撮像装置１０によって撮像される画像を合成処理の対象とせずに非合成とする制御を行うようにしたので、特殊効果撮影の画像を得るか否かをユーザ操作によって指示しなくても容易に制御することができ、様々な特殊効果の撮影とそれ以外の通常の撮影に対しても容易に対応することが可能となる。

本体装置２０は、各撮像装置１０の光軸方向に関する光軸情報を取得し、２台の撮像装置１０の位置関係と、光軸方向とに基づいて、２台の撮像装置１０の相対的な位置関係が所定の位置関係であるかを判定するようにしたので、所定の位置関係であるかを適切に判定することができる。

各撮像装置１０の光軸方向が逆方向又はその逆方向に対して許容範囲内の方向となる第１の位置関係、各撮像装置１０の光軸方向が同方向又はその同方向に対して許容範囲内の方向となる第２の位置関係を所定の位置関係としたので、各撮像装置１０の相対的な位置関係が全天球合成、３Ｄ合成、パノラマ合成に適し、かつユーザにとっても分かりやすい位置関係となる。

本体装置２０は、各撮像装置１０が第１の位置関係にある場合において、更に、各撮像装置１０の光軸の位置ずれが許容範囲内であるかを判別し、その許容範囲内であれば、所定の位置関係にあると判別するようにしたので、所定の合成処理に適した位置関係を的確に特定することができる。

本体装置２０は、各撮像装置１０が第２の位置関係にある場合において、更に、各撮像装置１０が所定の間隔であるか否かを判別し、所定の間隔であれば、所定の位置関係にあると判別するようにしたので、所定の合成処理に適した位置関係を的確に特定することができる。

本体装置２０は、各撮像装置１０が第２の位置関係にある場合において、更に、各撮像装置１０により撮像された各画像を解析してそれらの類似度を求め、この類似度に基づいて各撮像装置１０が所定の間隔であるか否かを判別するようにしたので、各撮像装置１０の間隔実際に計測しなくても各画像を解析するだけで所定の間隔か否かを判別することができる。

本体装置２０は、各画像を解析して所定の間隔か否かを判別する場合に、各画像の中央部分の類似度が高い場合には、所定の間隔にあると判別するようにしたので、所定の合成処理に適した間隔を的確に特定することができる。

本体装置２０は、各画像を解析して所定の間隔か否かを判別する場合に、各画像の周辺部分の類似度が高い場合には、所定の間隔にあると判別するようにしたので、所定の合成処理に適した間隔を的確に特定することができる。

本体装置２０は、各撮像装置１０が第１の位置関係において、それらの光軸の位置ずれが許容範囲内であれば、各撮像装置１０によって撮像された各魚眼画像から全天球の画像を生成する合成形式を設定するようにしたので、全天球画像を生成する合成処理に適した位置関係を的確に特定することができる。

本体装置２０は、各撮像装置１０が第２の位置関係において、各撮像装置１０が所定の間隔であれば、その所定の間隔の大きさに応じて、各撮像装置１０によって撮像された各画像からパノラマ画像、又は３次元画像を生成する合成形式を設定するようにしたので、パノラマ画像、又は３次元画像を生成する合成処理に適した位置関係を的確に特定することができる。

本体装置２０は、設定した合成形式にしだかって合成処理を行うようにしたので、撮影時に合成した画像を記録保存することが可能となる。

本体装置２０は、設定した合成形式を報知するようにしたので、ユーザにあっては設定された合成形式を確認することができ、各撮像装置１０の配置を変えるだけで合成形式を変更することが可能となる。

本体装置２０は、各撮像装置１０に備えられている姿勢検出部１７から光軸方向に関する情報を取得するようにしたので、精度の良い光軸方向を取得することができる。

＜変形例１＞
なお、上述した第１実施形態においては、撮像装置１０と本体装置２０とに分離可能なセパレート型デジタルカメラに適用した場合を示したが、撮像装置１０と本体装置２０を一体化したカメラ（例えば、コンパクトカメラ）に適用するようにしてもよい。この場合、２台のカメラの一方がマスタカメラとなり、他方がスレーブカメラとなって短距離通信が可能な構成とすればよい。すなわち、マスタカメラは、レリーズキーの半押し操作で撮影準備処理を行うと共に、スレーブカメラに対して撮影準備処理を指示し、更に、自カメラから取得した光軸方向とスレーブカメラから取得した光軸方向に基づいて、２台のカメラの相対的な位置関係を判別するようにすればよい。このようにマスタカメラとスレーブカメラとの間においても第１実施形態と同様、２台のカメラによって撮像される各画像から特殊効果撮影の画像を得るか否かをユーザが指示しなくても容易に制御することができ、様々な特殊効果撮影に対応することが可能となる。

上述した第１実施形態においては、各撮像装置１０の光軸方向が第２の位置関係の場合に、各画像の中央部分の類似度は所定の閾値以上で類似度が高ければ（図５のステップＡ１３でＹＥＳ）、２台の撮像装置１０は、ステップＡ１４に移り、３Ｄ合成処理を指定するために合成形式フラグに“２”を設定するようにしたが、各画像の中央部分の類似度の他に、更に、各画像の周辺部分の類似度が所定の閾値以上で類似度が高いか否かを判別し、その周辺部分の類似度が高いことを条件にステップＡ１４に移るようにしてもよい。

上述した第１実施形態においては、各撮像装置１０によって撮像された各画像を解析して、その類似度に応じて各撮像装置１０が所定の間隔にあるか否かを判別するようにしたが、勿論、各撮像装置１０の間の距離を計測して所定の間隔であるか否か判別するようにしてもよい。例えば、各撮像装置１０にＧＰＳ（Global Positioning System）機能を備える以外に、各撮像装置１０に短距離通信部を備え、各撮像装置１０が通信可能なエリア内に存在しているか否かに基づいて各撮像装置１０が所定の間隔であるか否かを判別するようにしてもよい。

更に、上述した第１実施形態においては、画像処理装置として、２台の撮像装置１０と本体装置２０とに分離可能なセパレート型デジタルカメラに適用した場合を示したが、２台の撮像装置１０を本体装置２０に組み込んで一体化したデジタルカメラであってもよい。この場合においても各撮像装置１０の光軸方向を可変する構造（第１の位置関係から第２の位置関係の間で可変する構造）とすればよい。

（第２実施形態）
以下、この発明の第２実施形態について図７〜図１０を参照して説明する。
なお、上述した第１実施形態においては、撮影時に合成形式を判別して合成処理を行って合成画像を記録保存するようにしたが、この第２実施形態においては、画像処理装置としてノート型のＰＣ（パーソナルコンピュータ）３０に適用したもので、このＰＣは、撮像装置（デジタルカメラ）４０によって撮影された撮影済み画像（保存画像）を取得して表示する場合に、合成形式を判別して合成処理を行い、その合成画像を表示するようにしたものである。ここで、両実施形態において基本的あるいは名称的に同一のものは、同一符号を付して示し、その説明を省略すると共に、以下、第２実施形態の特徴部分を中心に説明するものとする。

図７は、画像処理装置（ＰＣ）３０と撮像装置（デジタルカメラ）４０の概略構成を示したブロック図である。
画像処理装置（ＰＣ）３０と撮像装置（デジタルカメラ）４０は、第１実施形態で示した撮像装置１０と本体装置２０に基本的には同様の構成であるため、その詳細な説明は省略する。図７（１）は、画像処理装置３０の構成を示したもので、画像処理装置３０は、制御部３１、電源部３２、記憶部３３、通信部３４、操作部３５、表示部３６を備えている。図７（２）は、撮像装置４０の構成を示したもので、撮像装置４０は、制御部４１、電源部４２、記憶部４３、通信部４４、操作部４５、魚眼レンズ付の撮像部４６、姿勢検出部４７、磁気センサ２８を備えている。

図８は、撮像装置４０側において撮影モードに切り替えられた際に実行開始される動作（第２実施形態の特徴的な動作）を説明するためのフローチャートである。
まず、撮像装置４０の制御部４１は、魚眼レンズ付の撮像部４６から取得した魚眼画像をライブビュー画像として表示させる動作を開始する（ステップＢ１）。この状態において、レリーズキーが操作されると（ステップＢ２でＹＥＳ）、ステップＢ３に移、レリーズキー操作時の撮像画像を取得して、現像処理を行い、標準サイズのファイルに変換する処理を行う。

そして、姿勢検出部４７から姿勢情報（光軸方向）を取得し（ステップＢ４）、また、磁気センサ２８からその検出結果を取得する（ステップＢ５）。この姿勢情報（光軸方向）及び磁気センサ検出結果を撮影画像にそのＥＸＩＦ情報として付加して（ステップＢ６）、記憶部４３の記録メディアに記録保存させる（ステップＢ７）。以下、撮影モードが解除されたかを調べ（ステップＢ８）、撮影モードのままであれば（ステップＢ８でＮＯ）、上述のステップＢ２に戻り、以下、上述の動作を繰り返す。

図９は、画像処理装置３０側において２つの画像を合成して再生する合成再生モードがユーザ操作によって指定された際に実行開始される動作（第２実施形態の特徴的な動作）を説明するためのフローチャートである。
まず、画像処理装置３０の制御部３１は、合成画像を生成して再生する合成再生モードがユーザ操作によって指定されると、各種の画像を一覧表示するが、その際、合成対象として関連し合う一対の画像を対応付けて一覧表示させる（ステップＣ１）。すなわち、各画像のＥＸＩＦ情報（撮影日時）を参照し、撮影日時が同一の画像を関連性の高い画像として特定し、この関連する一対の画像を対応付けて一覧表示させる。この一覧画面の中から任意の２つの画像がユーザ操作によって選択されると（ステップＣ２）、次のステップＣ３に移り、２つの画像を合成する処理を行う。

図１０は、合成処理（図９のステップＣ３）を詳述するためのフローチャートである。
まず、制御部３１は、ユーザ操作によって選択された各画像からそのＥＸＩＦ情報（光軸方向）を取得し（ステップＤ１）、この各光軸方向に基づいて、各撮像装置４０の光軸方向は撮影時に第１の位置関係（逆方向の位置関係）にあったかを調べる（ステップＤ２）。ここで、第１の位置関係で撮影が行われたものと判断した場合には（ステップＤ２でＹＥＳ）、各画像のＥＸＩＦ情報からその磁気センサ検出結果（磁界の強さや方向）を取得し（ステップＤ３）、その検出結果（磁界の強さや及び方向）に基づいて、各撮像装置４０が離れ過ぎていなかったか（許容範囲内か）を調べると共に、それらの光軸の位置ずれは許容範囲内であったかを調べる（ステップＤ４）。

第１の位置関係において、各撮像装置４０が離れ過ぎ、光軸の位置がずれ過ぎた状態で撮影されたものと判断した場合には（ステップＤ４でＮＯ）、選択された２つの画像を合成処理の対象としないために非合成フラグ（図示省略）を設定（オン）する処理を行う（ステップＤ５）。また、第１の位置関係において、各撮像装置４０の間隔及び光軸の位置ずれが許容範囲内で撮影されたものと判断した場合には（ステップＤ４でＹＥＳ）、各撮像装置４０は、その裏面同士を接触、又は接近させて配置した状態で撮影されたものと判断して、ステップＤ６に移り、選択された２つの画像を合成処理の対象として指定して、２つの画像を全天球合成する処理を行う。

一方、各撮像装置４０の光軸方向が第１の位置関係でなければ（ステップＤ２でＮＯ）、第２の位置関係（同方向の位置関係）であったかを調べるが（ステップＤ７）、第２の位置関係でもなければ（ステップＤ７でＮＯ）、選択された２つの画像を非合成として設定するが（ステップＤ５）、第２の位置関係であれば（ステップＤ７でＹＥＳ）、選択された２つの画像を解析し、その解析結果を比較しながら両者の類似度を判定し（ステップＤ８）、２つの画像の中央部分の類似度は所定の閾値以上（類似度が高い）であるかを調べる（ステップＤ９）。ここで、２つの画像の中央部分の類似度が所定の閾値以上で類似度が高ければ（ステップＤ９でＹＥＳ）、ステップＤ１０に移り、選択された２つの画像を合成処理の対象として指定して、この２つの画像を３Ｄ合成する処理を行う。

また、第２の位置関係において（ステップＤ７でＹＥＳ）、２つの画像の中央部分の類似度が所定の閾値未満でその部分の類似度が高くなければ（ステップＤ９でＮＯ）、２つの画像の周辺部分の類似度が所定の閾値以上（類似度が高い）であるかを調べる（ステップＤ１１）。ここで、周辺部分の類似度も所定の閾値未満であれば（ステップＤ１１でＮＯ）、各画像を非合成として設定するが（ステップＤ５）、周辺部分の類似度が所定の閾値以上で類似度が高ければ（ステップＤ１１でＹＥＳ）、ステップＤ１２に移り、選択された２つの画像を合成処理の対象として指定して、この２つの画像をパノラマ合成する処理を行う。

このような合成処理（図９のステップＣ３）が終ると、次のステップＣ４に移り、上述した非合成フラグはオンされているか、つまり、非合成が設定されているかを調べ、非合成フラグがオンされていれば（ステップＣ４でＹＥＳ）、選択された画像を個別に表示する再生処理を行う（ステップＣ６）。この場合、合成対象として選択された２つの画像を順次指定して一定時間毎に切り替え表示させるようにしている。また、非合成が設定されていなければ（ステップＣ４でＮＯ）、合成処理によって合成された画像を表示する処理に移る（ステップＣ５）。そして、再生終了がユーザ操作により指示されたかを調べ（ステップＣ７）、再生終了が指示された場合には（ステップＣ７でＹＥＳ）、図９のフローから抜けるが、再生終了が指示されなければ（ステップＣ７でＮＯ）、上述のステップＣ１に戻り、以下、上述の動作を繰り返す。

以上のように、第２実施形態において画像処理装置３０の制御部３１は、複数の画像を取得してその付帯情報（ＥＸＩＦ情報）を評価し、その評価結果に基づいて、複数の画像を合成処理の対象画像として評価結果に応じた合成形式を設定するか、複数の画像を合成処理の対象とせずに非合成とするかの制御を行うようにしたので、特殊効果撮影の画像を得るか否かを画像再生時にユーザ操作によって指示しなくても容易に制御することができ、様々な特殊効果の画像とそれ以外の通常の画像とを容易に得ることが可能となる。

なお、上述した第２実施形態においては、合成画像を生成して再生する合成再生モードにおいて、合成対象となる関連する一対の画像を対応付けて一覧表示する場合に、撮影日時を参照して関連する画像を特定するようにしたが、撮影画像に付加されている撮影位置を参照し、撮影位置が一致する画像又は近い各画像を関連する画像として特定するようにしてもよい。

（第３実施形態）
以下、この発明の第３実施形態について図１１〜図１４を参照して説明する。
なお、第１及び第２実施形態における２台の撮像装置１０、４０は、自由に単独移動が可能なカメラを示したが、この第３実施形態は、２台の撮像装置５０を画像処理装置（支持装置）６０に装着したもので、この２台の撮像装置５０は、その相対的な位置関係を変更可能となるように画像処理装置（支持装置）６０に装着されている。この画像処理装置（支持装置）６０は、２台の撮像装置５０を支持するアタッチメントを構成する小型電子機器である。

図１１は、２台の撮像装置（デジタルカメラ）５０を支持する画像処理装置（支持装置：アタッチメント）の概略構成を示した外観図である。
撮像装置５０は、その全体が箱型の筐体であり、カメラ取付具７０に取り付けられている。すなわち、撮像装置５０は、その裏面側（撮像レンズ５０ａの反対側）及び底面側が断面Ｌ字型のカメラ取付具７０に面接するように載置固定されている。支持装置６０は、その筐体６０ａの全体が厚板状の直方体であり、その筐体６０ａの厚さ方向（左右方向）の両側面部には、カメラ取付具７０に載置固定された２台の撮像装置５０が一対の左右ヒンジ８０を介して開閉可能に装着（支持）されている。この一対の左右ヒンジ８０は、支持装置６０の上面部と左右両側面部との角部に沿って配置固定された軸状の開閉部材であり、かつ２台の撮像装置５０の光軸方向が逆方向となる位置関係から同方向となる位置関係の範囲（０°〜９０°）内で変位可能（開閉可能）となるように、この２台の撮像装置５０を支持する支持部材である。支持装置６０の筐体６０ａ、一対の左右ヒンジ８０は、２台の撮像装置５０を支持する支持部材となる。

図１１（１）は、２台の撮像装置５０を閉じた状態、つまり、２台の撮像装置５０の光軸方向が逆方向となる位置関係を示し、図１１（２）は、２台の撮像装置５０を開いた状態、つまり、２台の撮像装置５０の光軸方向が同方向となる位置関係を示し、それらの開閉角度（０°〜９０°）の範囲内において２台の撮像装置５０が変位可能となっている。なお、２台の撮像装置５０は、開閉角度０°〜９０°の範囲内で多段階（例えば、５°単位の１８段階）に変位可能であるが、一対の左右ヒンジ８０は、その各段の位置で２台の撮像装置５０を保持可能な構成となっている。

支持装置（アタッチメント）６０は、撮像装置５０の開閉角度（０°〜９０°）を検出する角度検出部（後述する図１３を参照）を備え、この角度検出部は、支持装置６０に支持されている２台の撮像装置５０の変位（開閉角度）を検出するもので、支持装置６０は、この角度検出部の検出結果に基づいて、２台の撮像装置５０の相対的な位置関係（開閉角度）が所定の位置関係であるか否かを判別する。その結果、所定の位置関係であれば、その位置関係で撮影された各画像を合成処理の対象としてその合成形式を設定し、所定の位置関係でなければ、その位置関係で撮影された各画像を合成処理の対象とせずに非合成とするようにしている。図１２（１）〜（３）は、この所定の位置関係（開閉角度）として、第１の位置関係〜第３の位置関係を示した図である。

すなわち、図１２（１）は、撮像装置５０の光軸方向が逆方向又はその逆方向に対して許容範囲内の方向となる配置関係（第１の位置関係）を示し、この第１の位置関係では撮像装置５０の光軸方向の開角は０°となる。図１２（２）は、撮像装置５０の光軸方向が同方向又はその同方向に対して許容範囲内の方向となる配置関係（第２の位置関係）を示し、この第２の位置関係では撮像装置５０の光軸方向の開角は９０°となる。図１２（３）は、撮像装置５０の光軸方向が第１の位置関係と第２の位置関係との間における所定の中間点方向又はその中間点方向に対して許容範囲内の方向となる配置関係（第３の位置関係）を示し、この第３の位置関係では撮像装置５０の光軸方向の開角は、７５°±５°となる。第３実施形態においては、第１〜第３の位置関係を所定の位置関係として判別するようにしている。

図１３は、２台の撮像装置５０、支持装置６０の概略構成を示したブロック図である。
撮像装置５０は、第１実施形態で示した撮像装置１０と基本的に同様の構成であるため、その詳細な説明は省略するが、図１３（１）に示すように、撮像装置５０は、制御部５１、電源部５２、撮像部５３、画像記憶部５４、通信部５５などを備えている。図１３（２）は、支持装置６０の構成を示し、支持装置６０は、ＣＰＵ６１、電源部６２、通信部６３、角度検出部６４、操作部６５などを備えている。

通信部６３は、２台の撮像装置５０から撮影画像を受信したり、取得した撮影画像を２台の撮像装置５０に送信したりする短距離通信手段である。角度検出部６４は、撮像装置５０の開閉角度（０°〜９０°）を検出するセンサであり、０°〜９０°の範囲内において、例えば、５°刻みで角度を検出する構成となっている。操作部６５は、図示省略したが、レリーズキー、撮像装置５０の開閉調整キーなどを備え、ＣＰＵ６１は、レリーズキーが操作されると、２台の撮像装置５０に撮影指示を同時に送信し、開閉調整キーが操作されると、２台の撮像装置５０の開閉角度を順方向（０°〜９０°の方向）、又は逆方向（９０°〜０°）に段階的に変位させる。

図１４は、撮像装置５０側で撮影が行われる毎に実行開始される支持装置６０側の動作（第３実施形態の特徴的な動作）を示したフローチャートである。
まず、支持装置６０は、レリーズキーが操作されたかを調べ（ステップＥ１）、レリーズキーが操作されなければ（ステップＥ１でＮＯ）、その操作キーに応じた処理に移るが、レリーズキーが操作されると（ステップＥ１でＹＥＳ）、２台の撮像装置５０に撮影指示を同時に送信する（ステップＥ２）。そして、２台の撮像装置５０からその撮影画像を取得（受信）し（ステップＥ３）、角度検出部６４から撮影時の開閉角度を取得する（ステップＥ４）。そして、この角度検出部６４の検出結果に基づいて、２台の撮像装置５０の相対的な位置関係（開閉角度）が所定の位置関係（第１〜第３の位置関係）であるかを判別する（ステップＥ５）。

ここで、２台の撮像装置５０の相対的な位置関係が所定の位置関係でなければ（ステップＥ６でＮＯ）、非合成を指示するフラグを各撮影画像のＥＸＩＦ情報に付加するが（ステップＥ７）、所定の位置関係であれば（ステップＥ６でＹＥＳ）、第１〜第３の位置関係の何れの関係であるかを判別する（ステップＥ８）。ここで、第１の位置関係（０°）であれば、全天球合成処理を指示するフラグを各撮影画像のＥＸＩＦ情報に付加し（ステップＥ９）、第２の位置関係（９０°）であれば、３Ｄ合成処理を指示するフラグを各撮影画像のＥＸＩＦ情報に付加し（ステップＥ１１）、第３の位置関係（７５°±５°）であれば、パノラマ合成処理を指示するフラグを各撮影画像のＥＸＩＦ情報に付加する（ステップＥ１０）。そして、上述のフラグを付加した各撮影画像を、対応する撮像装置５０に送信して記録保存させる（ステップＥ１２）。その後、上述のステップＥ１に戻る。

撮像装置５０側では、支持装置６０から合成処理を指示するフラグ付の撮影画像を受信すると、その撮影画像を現像して記録保存させるが、その際、その撮影画像のＥＸＩＦ情報（フラグ）を参照して合成形式を判別し、その合成形式にしたがった合成処理を行ってその合成画像を生成し、この合成画像を現像して、上述の撮影画像と共に記録保存するようにしている。

以上のように、第３実施形態において支持装置（アタッチメント）６０は、２台の撮像装置５０の光軸方向が逆方向となる位置関係から同方向となる位置関係の間で変位可能となるように２台の撮像装置５０を支持し、この２台の撮像装置５０の変位（開閉角度）に基づいて、各撮像装置５０の相対的な位置関係が所定の位置関係であるか否かを判別し、所定の位置関係であれば、その位置関係で撮影された各画像を合成処理の対象としてその合成形式を設定し、所定の位置関係でなければ、その位置関係で撮影された各画像を合成処理の対象とせずに非合成とするようにしたので、特殊効果の画像を得るか否かをユーザ操作による指示しなくても容易に制御することができ、様々な特殊効果の撮影とそれ以外の通常の撮影に対応することが可能となる。

各撮像装置５０の光軸方向が逆方向又はその逆方向に対して許容範囲内の方向となる第１の位置関係、各撮像装置５０の光軸方向が同方向又はその同方向に対して許容範囲内の方向となる第２の位置関係、第１の位置関係と第２の位置関係との間における所定の中間点方向又はその中間点方向に対して許容範囲内の方向となる第３の位置関係を所定の位置関係と判別するようにしたので、各撮像装置５０の相対的な位置関係が全天球合成、３Ｄ合成、パノラマ合成に適したものとなり、かつユーザにとっても分かりやすい位置関係となる。

なお、上述した第３実施形態においては、撮影画像の記録保存時にその画像のＥＸＩＦ情報（フラグ）を参照して合成形式を判別し、その合成形式にしたがった合成処理を行ってその合成画像を記録保存するようにしたが、撮影済み画像（保存画像）を再生する際に、その画像のＥＸＩＦ情報（フラグ）を参照して合成形式を判別し、その合成形式にしたがった合成処理を行ってその合成画像を再生するようにしてもよい。

上述した第３実施形態において支持装置６０は、合成形式を判別して各画像に付加するようにしたが、支持装置６０に画像合成機能を備えることにより、合成形式にしたがった合成処理を行ってその合成画像を生成するようにしてもよい。これによって様々な特殊効果画像を容易に得ることが可能となる。なお、支持装置６０の構成は、任意であり、また、撮像装置５０の取付け位置も任意である。

＜変形例２＞
上述した第１・第２実施形態において撮像装置１０、４０は、その姿勢検出部１７、姿勢検出部４７の検出結果に基づいてその光軸方向を検出し、また、第３実施形態において撮像装置５０の光軸方向は、支持装置６０の角度検出部６４の検出結果に基づいてその光軸方向を検出するようにしたが、撮像装置の光軸方向をセンサで検出するのではなく、画像を解析することによって光軸方向を判定するようにしてもよい。

図１５は、画像解析によって光軸方向を判定する処理を示したフローチャートで、魚眼レンズを使用して撮像された動画像を例示した場合であるが、動画像に限らず、連続的に高速撮像された静止画像であってもよい。
画像処理装置（例えば、ＰＣ、カメラ、支持装置）は、２台の撮像装置から数フレーム分の画像を取得して（ステップＦ１）、撮像装置毎に各フレーム画像を解析し（ステップＦ２）、その中央部分と周辺部分とにおける画像の流れを判別する（ステップＦ３）。

ここで、２台の撮像装置のうちその一方が中央部分から周辺部分（内から外）への流れ、他方が周辺部分から中央部分（外から内）への流れであれば（ステップＦ４でＹＥＳ）、２台の撮像装置の光軸方向は逆方向であると判定する（ステップＦ５）。また、２台の撮像装置の流れが両方とも中央部分から周辺部分（内から外）、又は、両方とも周辺部分から中央部分（外から内）への流れであれば（ステップＦ６でＹＥＳ）、２台の撮像装置の光軸方向は同方向であると判定する（ステップＦ７）。

このように２台の撮像装置から複数フレーム分の画像を取得して解析するだけで、その画像の流れから２台の撮像装置の光軸方向を検出することが可能となる。

また、上述した各実施形態においては、各撮像装置の相対的な位置関係が所定の位置関係であるか否かを判別し、所定の位置関係であれば、その位置関係で撮影された各画像を合成処理の対象としてその合成形式を設定するようにしたが、所定の位置関係であれば、更に各撮像装置から設定中のズーム倍率や焦点距離などの撮影条件を取得して、その撮影条件が合成処理に適するか否かを判別し、適合する場合に、その所定の位置関係に応じて合成形式を設定するようにしてもよい。これによって合成処理を的確に行うことが可能となる。

また、上述した各実施形態においては、各撮像装置の相対的な位置関係が所定の位置関係であるか否かを判別し、所定の位置関係であれば、その位置関係で撮影された各画像を合成処理の対象としてその合成形式を設定するようにしたが、所定の位置関係になった場合に、各撮像装置のズーム倍率や焦点距離などの撮影条件を各合成形式に適した条件に設定するように構成してもよい。これによって、より好適な撮像条件で撮像された画像で合成処理を行うことが可能となる。

また、上述した各実施形態においては、各撮像装置の光軸方向と位置関係・距離から、適した合成形式を設定するように構成したが、各撮像装置の位置関係のみから合成形式を設定するように構成してもよい。具体的には、撮像装置を全天球撮影可能な撮像装置のように撮像方向によらず周囲を撮影できるような撮影装置にするように構成してもよい。

また、上述した各実施形態においては、相対的な位置関係が所定の位置関係であるか否かを判別し、所定の位置関係であれば、その位置関係で撮影された各画像を合成処理の対象として各画像に対して合成形式を設定するようにしたが、所定の位置関係になった場合に、全天球で撮影された各画像から該合成形式に応じて必要な範囲の画像を切り出すように構成してもよい。これによって画角を定めること無く、撮像された画像から合成形式を設定することが可能となる。

上述した各実施形態においては、画像処理装置として、ＰＣ、カメラ、支持装置に適用した場合を示したが、これに限らず、画像処理装置は、ＰＤＡ（個人向け携帯型情報通信機器）、タブレット端末装置、スマートフォンなどの携帯電話機、電子ゲーム、音楽プレイヤーなどであってもよい。

また、上述した各実施形態において示した“装置”や“部”とは、機能別に複数の筐体に分離されていてもよく、単一の筐体に限らない。また、上述したフローチャートに記述した各ステップは、時系列的な処理に限らず、複数のステップを並列的に処理したり、別個独立して処理したりするようにしてもよい。

以上、この発明の実施形態について説明したが、この発明は、これに限定されるものではなく、特許請求の範囲に記載された発明とその均等の範囲を含むものである。
以下、本願出願の特許請求の範囲に記載された発明を付記する。
（付記）
（請求項１）
請求項１に記載の発明は、
第１の撮像装置と第２の撮像装置の位置関係に関する位置情報を取得する情報取得手段と、
前記情報取得手段によって取得された前記位置情報に基づいて、前記第１の撮像装置と前記第２の撮像装置との相対的な位置関係が所定の位置関係であるかを判別する判別手段と、
前記判別手段によって所定の位置関係であると判別された場合には、その位置関係で前記第１の撮像装置と第２の撮像装置によって撮像される各画像を合成処理の対象としてその合成形式を設定する制御を行う合成制御手段と、
を備えることを特徴とする画像処理装置である。
（請求項２）
請求項２に記載の発明は、請求項１に記載の画像処理装置において、
前記情報取得手段は、第１の撮像装置と第２の撮像装置の光軸方向に関する光軸情報を取得し、
前記判別手段は、前記光軸情報と、前記位置情報とに基づいて、前記第１の撮像装置と前記第２の撮像装置との相対的な位置関係が所定の位置関係であるかを判定する、
ことを特徴とする。
（請求項３）
請求項３に記載の発明は、請求項２に記載の画像処理装置において、
前記判別手段は、前記第１の撮像装置と第２の撮像装置の光軸方向が逆方向又はその逆方向に対して許容範囲内の方向となる第１の位置関係、前記第１の撮像装置と第２の撮像装置の光軸方向が同方向又はその同方向に対して許容範囲内の方向となる第２の位置関係であるか否かを判別する、
ことを特徴とする。
（請求項４）
請求項４に記載の発明は、請求項２又は３に記載の画像処理装置において、
前記情報取得手段は、前記第１の撮像装置と第２の撮像装置との間の光軸の位置ずれに関する情報を更に取得し、
前記判別手段は、前記第１の撮像装置と第２の撮像装置の光軸方向が逆方向又はその逆方向に対して許容範囲内の方向となる第１の位置関係であると判別した場合には、更に、前記情報取得手段によって取得した光軸の位置ずれに関する情報に基づいて、その位置ずれが許容範囲内である否かを判別し、その許容範囲内であれば、前記所定の位置関係にあると判別する、
ことを特徴とする。
（請求項５）
請求項５に記載の発明は、請求項２乃至４の何れか１項に記載の画像処理装置において、
前記判別手段は、前記第１の撮像装置と第２の撮像装置の光軸方向が同方向又はその同方向に対して許容範囲内の方向となる第２の位置関係であると判別した場合には、更に、前記第１の撮像装置と第２の撮像装置の間の距離が許容範囲内であるか否かを判別し、許容範囲内であれば、前記所定の位置関係にあると判別する、
ことを特徴とする。
（請求項６）
請求項６に記載の発明は、請求項５に記載の画像処理装置において、
前記第１の撮像装置及び前記第２の撮像装置により撮像された各画像の類似度を求める解析手段を更に備え、
前記判別手段は、前記第１の撮像装置と第２の撮像装置の光軸方向が同方向又はその同方向に対して許容範囲内の方向となる第２の位置関係であると判別した場合、更に、前記解析手段によって解析された類似度に基づいて前記第１の撮像装置と第２の撮像装置の間の距離が許容範囲内であるか否かを判別し、許容範囲内であれば、前記所定の位置関係にあると判別する、
ことを特徴とする。
（請求項７）
請求項７に記載の発明は、請求項６に記載の画像処理装置において、
前記判別手段は、前記解析手段による解析の結果、前記第１の撮像装置及び前記第２の撮像装置により撮像された画像の中央部分の類似度が高い場合には、前記第１の撮像装置と第２の撮像装置の間の距離が許容範囲内にあると判別する、
ことを特徴とする。
（請求項８）
請求項８に記載の発明は、請求項６又は７に記載の画像処理装置において、
前記判別手段は、前記解析手段による解析の結果、前記第１の撮像装置及び前記第２の撮像装置により撮像された画像の周辺部分の類似度が高い場合、前記第１の撮像装置と第２の撮像装置の間の距離が許容範囲内にあると判別する、
ことを特徴とする。
（請求項９）
請求項９に記載の発明は、請求項４に記載の画像処理装置において、
前記第１の撮像装置と第２の撮像装置は、魚眼レンズを備え、
前記合成制御手段は、前記判別手段によって前記第１の位置関係であると判別された場合に、更に、前記情報取得手段によって取得した光軸の位置ずれが許容範囲内であれば、前記第１の撮像装置と前記第２の撮像装置により撮像される各魚眼画像から全天球の画像を生成する合成形式を設定する、
ことを特徴とする。
（請求項１０）
請求項１０に記載の発明は、請求項５に記載の画像処理装置において、
前記合成制御手段は、前記判別手段によって前記第２の位置関係であると判別された場合に、更に、前記第１の撮像装置と前記第２の撮像装置との間の距離が許容範囲内であれば、その間の距離の長さに応じて、前記第１の撮像装置と前記第２の撮像装置により撮像される各画像からパノラマ画像、又は３次元画像を生成する合成形式を設定する、
ことを特徴とする。
（請求項１１）
請求項１１に記載の発明は、請求項１乃至１０の何れか１項に記載の画像処理装置において、
前記情報取得手段は、更に第１の撮像装置と第２の撮像装置から撮影条件を取得し、
前記合成制御手段は、前記判別手段によって所定の位置関係であると判別された場合に、前記情報取得手段によって取得された撮影条件が合成処理に適合する場合に、その合成処理の合成形式を設定する、
ことを特徴とする。
（請求項１２）
請求項１２に記載の発明は、請求項１乃至１１の何れか１項に記載の画像処理装置において、
前記第１の撮像装置と第２の撮像装置によって撮像される各画像を合成処理する合成手段を更に備え、
前記合成手段は、前記合成制御手段によって設定された合成形式に基づいて合成処理を行う、
ことを特徴とする。
（請求項１３）
請求項１３に記載の発明は、請求項１乃至１２の何れか１項に記載の撮像装置において、
前記合成制御手段により設定される合成形式を報知する報知手段を更に備える、
ことを特徴とする。
（請求項１４）
請求項１４に記載の発明は、請求項２に記載の撮像装置において、
前記情報取得手段は、前記第１の撮像装置と第２の撮像装置に備えられている姿勢検出部から光軸方向に関する情報を取得する、
ことを特徴とする。
（請求項１５）
請求項１５に記載の発明は、請求項２に記載の撮像装置において、
前記第１の撮像装置と第２の撮像装置は、魚眼レンズを用いて連続的に撮像し、
前記情報取得手段は、前記第１の撮像装置及び第２の撮像装置によって連続的に撮像された画像を解析してその被写体の動きから光軸方向に関する情報を取得する、
ことを特徴とする。
（請求項１６）
請求項１６に記載の発明は、請求項２に記載の画像処理装置において、
前記第１の撮像装置を備える画像処理装置であって、
前記情報取得手段は、前記第１の撮像装置からその光軸方向に関する情報を取得すると共に、当該画像処理装置とは異なる他の画像処理装置に備えられている前記第２の撮像装置からその光軸方向に関する情報を取得する、
ことを特徴とする。
（請求項１７）
請求項１７に記載の発明は、請求項１乃至１６の何れか１項に記載の画像処理装置において、
前記第１の撮像装置と前記第２の撮像装置の光軸方向が変位可能となるように前記第１の撮像装置と第２の撮像装置を支持する支持部材を更に備え、
前記判別手段は、前記支持部材に支持されている前記第１の撮像装置と第２の撮像装置との変位に基づいて、前記第１の撮像装置と前記第２の撮像装置との相対的な位置関係が所定の位置関係であるか否かを判別する、
ことを特徴とする。
（請求項１８）
請求項１８に記載の発明は、請求項１７に記載の画像処理装置において、
前記支持部材は、前記第１の撮像装置と前記第２の撮像装置の光軸方向が逆方向となる位置関係から同方向となる位置関係の間で変位可能となるように前記第１の撮像装置と第２の撮像装置を支持し、
前記判別手段は、前記第１の撮像装置と第２の撮像装置の光軸方向が逆方向又はその逆方向に対して許容範囲内の方向となる第１の位置関係、前記第１の撮像装置と第２の撮像装置の光軸方向が同方向又はその同方向に対して許容範囲内の方向となる第２の位置関係、前記第１の位置関係と第２の位置関係との間における所定の中間点方向又はその中間点方向に対して許容範囲内の方向となる第３の位置関係を前記所定の位置関係と判別する、
ことを特徴とする。
（請求項１９）
請求項１９に記載の発明は、請求項２に記載の画像処理装置において、
複数の画像を取得する画像取得手段を更に備え、
前記情報取得手段は、前記画像取得手段によって取得された複数の画像から前記光軸情報、及び前記位置情報を取得し、
前記判別手段は、前記第１の撮像装置と前記第２の撮像装置との相対的な位置関係が所定の位置関係であるかを判別する、
ことを特徴とする。
（請求項２０）
請求項２０に記載の発明は、請求項１９に記載の画像処理装置において、
前記判別手段は、前記画像取得手段によって取得された複数の画像の付帯情報を評価する評価手段を更に備え、前記評価手段による評価結果に基づいて、前記第１の撮像装置と前記第２の撮像装置との相対的な位置関係が所定の位置関係であるかを判別する
ことを特徴とする。
（請求項２１）
請求項２１に記載の発明は、
画像処理装置における画像処理方法であって、
第１の撮像装置と第２の撮像装置の位置関係に関する位置情報を取得する処理と、
前記取得された前記位置情報に基づいて、前記第１の撮像装置と前記第２の撮像装置との相対的な位置関係が所定の位置関係であるかを判別する処理と、
前記所定の位置関係であると判別された場合には、その位置関係で前記第１の撮像装置と第２の撮像装置によって撮像される各画像を合成処理の対象としてその合成形式を設定する制御を行う処理と、
を含むことを特徴とする。
（請求項２２）
請求項２２に記載の発明は、
画像処理装置のコンピュータに対して、
第１の撮像装置と第２の撮像装置の位置関係に関する位置情報を取得する機能と、
前記取得された前記位置情報に基づいて、前記第１の撮像装置と前記第２の撮像装置との相対的な位置関係が所定の位置関係であるかを判別する機能と、
前記所定の位置関係であると判別された場合には、その位置関係で前記第１の撮像装置と第２の撮像装置によって撮像される各画像を合成処理の対象としてその合成形式を設定する制御を行う機能と、
を実現させるためのプログラムである。

１０、４０、５０ 撮像装置
１１、２１、３１、６１ 制御部
１３、２３、３３、６３ 記憶部
１６、４６、５４ 撮像部
１７、４７ 姿勢検出部
１８、２８ 磁気センサ
２０ 画像処理装置（本体装置）
３０ 画像処理装置（ＰＣ）
６０ 画像処理装置（支持装置）
６４ 角度検出部
８０ 左右ヒンジ

Claims (22)

1. 第１の撮像装置と第２の撮像装置の位置関係に関する位置情報を取得する情報取得手段と、
   前記情報取得手段によって取得された前記位置情報に基づいて、前記第１の撮像装置と前記第２の撮像装置との相対的な位置関係が所定の位置関係であるかを判別する判別手段と、
   前記判別手段によって所定の位置関係であると判別された場合には、その位置関係で前記第１の撮像装置と第２の撮像装置によって撮像される各画像を合成処理の対象としてその合成形式を設定する制御を行う合成制御手段と、
   を備えることを特徴とする画像処理装置。
2. 前記情報取得手段は、第１の撮像装置と第２の撮像装置の光軸方向に関する光軸情報を取得し、
   前記判別手段は、前記光軸情報と、前記位置情報とに基づいて、前記第１の撮像装置と前記第２の撮像装置との相対的な位置関係が所定の位置関係であるかを判定する、
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記判別手段は、前記第１の撮像装置と第２の撮像装置の光軸方向が逆方向又はその逆方向に対して許容範囲内の方向となる第１の位置関係、前記第１の撮像装置と第２の撮像装置の光軸方向が同方向又はその同方向に対して許容範囲内の方向となる第２の位置関係であるか否かを判別する、
   ことを特徴とする請求項２に記載の画像処理装置。
4. 前記情報取得手段は、前記第１の撮像装置と第２の撮像装置との間の光軸の位置ずれに関する情報を更に取得し、
   前記判別手段は、前記第１の撮像装置と第２の撮像装置の光軸方向が逆方向又はその逆方向に対して許容範囲内の方向となる第１の位置関係であると判別した場合には、更に、前記情報取得手段によって取得した光軸の位置ずれに関する情報に基づいて、その位置ずれが許容範囲内である否かを判別し、その許容範囲内であれば、前記所定の位置関係にあると判別する、
   ことを特徴とする請求項２又は３に記載の画像処理装置。
5. 前記判別手段は、前記第１の撮像装置と第２の撮像装置の光軸方向が同方向又はその同方向に対して許容範囲内の方向となる第２の位置関係であると判別した場合には、更に、前記第１の撮像装置と第２の撮像装置の間の距離が許容範囲内であるか否かを判別し、許容範囲内であれば、前記所定の位置関係にあると判別する、
   ことを特徴とする請求項２乃至４の何れか１項に記載の画像処理装置。
6. 前記第１の撮像装置及び前記第２の撮像装置により撮像された各画像の類似度を求める解析手段を更に備え、
   前記判別手段は、前記第１の撮像装置と第２の撮像装置の光軸方向が同方向又はその同方向に対して許容範囲内の方向となる第２の位置関係であると判別した場合、更に、前記解析手段によって解析された類似度に基づいて前記第１の撮像装置と第２の撮像装置の間の距離が許容範囲内であるか否かを判別し、許容範囲内であれば、前記所定の位置関係にあると判別する、
   ことを特徴とする請求項５に記載の画像処理装置。
7. 前記判別手段は、前記解析手段による解析の結果、前記第１の撮像装置及び前記第２の撮像装置により撮像された画像の中央部分の類似度が高い場合には、前記第１の撮像装置と第２の撮像装置の間の距離が許容範囲内にあると判別する、
   ことを特徴とする請求項６に記載の画像処理装置。
8. 前記判別手段は、前記解析手段による解析の結果、前記第１の撮像装置及び前記第２の撮像装置により撮像された画像の周辺部分の類似度が高い場合、前記第１の撮像装置と第２の撮像装置の間の距離が許容範囲内にあると判別する、
   ことを特徴とする請求項６又は７に記載の画像処理装置。
9. 前記第１の撮像装置と第２の撮像装置は、魚眼レンズを備え、
   前記合成制御手段は、前記判別手段によって前記第１の位置関係であると判別された場合に、更に、前記情報取得手段によって取得した光軸の位置ずれが許容範囲内であれば、前記第１の撮像装置と前記第２の撮像装置により撮像される各魚眼画像から全天球の画像を生成する合成形式を設定する、
   ことを特徴とする請求項４に記載の画像処理装置。
10. 前記合成制御手段は、前記判別手段によって前記第２の位置関係であると判別された場合に、更に、前記第１の撮像装置と前記第２の撮像装置との間の距離が許容範囲内であれば、その間の距離の長さに応じて、前記第１の撮像装置と前記第２の撮像装置により撮像される各画像からパノラマ画像、又は３次元画像を生成する合成形式を設定する、
    ことを特徴とする請求項５に記載の画像処理装置。
11. 前記情報取得手段は、更に第１の撮像装置と第２の撮像装置から撮影条件を取得し、
    前記合成制御手段は、前記判別手段によって所定の位置関係であると判別された場合に、前記情報取得手段によって取得された撮影条件が合成処理に適合する場合に、その合成処理の合成形式を設定する、
    ことを特徴とする請求項１乃至１０の何れか１項に記載の画像処理装置。
12. 前記第１の撮像装置と第２の撮像装置によって撮像される各画像を合成処理する合成手段を更に備え、
    前記合成手段は、前記合成制御手段によって設定された合成形式に基づいて合成処理を行う、
    ことを特徴とする請求項１乃至１１の何れか１項に記載の画像処理装置。
13. 前記合成制御手段により設定される合成形式を報知する報知手段を更に備える、
    ことを特徴とする請求項１乃至１２の何れか１項に記載の撮像装置。
14. 前記情報取得手段は、前記第１の撮像装置と第２の撮像装置に備えられている姿勢検出部から光軸方向に関する情報を取得する、
    ことを特徴とする請求項２に記載の撮像装置。
15. 前記第１の撮像装置と第２の撮像装置は、魚眼レンズを用いて連続的に撮像し、
    前記情報取得手段は、前記第１の撮像装置及び第２の撮像装置によって連続的に撮像された画像を解析してその被写体の動きから光軸方向に関する情報を取得する、
    ことを特徴とする請求項２に記載の撮像装置。
16. 前記第１の撮像装置を備える画像処理装置であって、
    前記情報取得手段は、前記第１の撮像装置からその光軸方向に関する情報を取得すると共に、当該画像処理装置とは異なる他の画像処理装置に備えられている前記第２の撮像装置からその光軸方向に関する情報を取得する、
    ことを特徴とする請求項２に記載の画像処理装置。
17. 前記第１の撮像装置と前記第２の撮像装置の光軸方向が変位可能となるように前記第１の撮像装置と第２の撮像装置を支持する支持部材を更に備え、
    前記判別手段は、前記支持部材に支持されている前記第１の撮像装置と第２の撮像装置との変位に基づいて、前記第１の撮像装置と前記第２の撮像装置との相対的な位置関係が所定の位置関係であるか否かを判別する、
    ことを特徴とする請求項１乃至１６の何れか１項に記載の画像処理装置。
18. 前記支持部材は、前記第１の撮像装置と前記第２の撮像装置の光軸方向が逆方向となる位置関係から同方向となる位置関係の間で変位可能となるように前記第１の撮像装置と第２の撮像装置を支持し、
    前記判別手段は、前記第１の撮像装置と第２の撮像装置の光軸方向が逆方向又はその逆方向に対して許容範囲内の方向となる第１の位置関係、前記第１の撮像装置と第２の撮像装置の光軸方向が同方向又はその同方向に対して許容範囲内の方向となる第２の位置関係、前記第１の位置関係と第２の位置関係との間における所定の中間点方向又はその中間点方向に対して許容範囲内の方向となる第３の位置関係を前記所定の位置関係と判別する、
    ことを特徴とする請求項１７に記載の画像処理装置。
19. 複数の画像を取得する画像取得手段を更に備え、
    前記情報取得手段は、前記画像取得手段によって取得された複数の画像から前記光軸情報、及び前記位置情報を取得し、
    前記判別手段は、前記第１の撮像装置と前記第２の撮像装置との相対的な位置関係が所定の位置関係であるかを判別する、
    ことを特徴とする請求項２に記載の画像処理装置。
20. 前記判別手段は、前記画像取得手段によって取得された複数の画像の付帯情報を評価する評価手段を更に備え、前記評価手段による評価結果に基づいて、前記第１の撮像装置と前記第２の撮像装置との相対的な位置関係が所定の位置関係であるかを判別する
    ことを特徴とする請求項１９に記載の画像処理装置。
21. 画像処理装置における画像処理方法であって、
    第１の撮像装置と第２の撮像装置の位置関係に関する位置情報を取得する処理と、
    前記取得された前記位置情報に基づいて、前記第１の撮像装置と前記第２の撮像装置との相対的な位置関係が所定の位置関係であるかを判別する処理と、
    前記所定の位置関係であると判別された場合には、その位置関係で前記第１の撮像装置と第２の撮像装置によって撮像される各画像を合成処理の対象としてその合成形式を設定する制御を行う処理と、
    を含むことを特徴とする画像処理方法。
22. 画像処理装置のコンピュータに対して、
    第１の撮像装置と第２の撮像装置の位置関係に関する位置情報を取得する機能と、
    前記取得された前記位置情報に基づいて、前記第１の撮像装置と前記第２の撮像装置との相対的な位置関係が所定の位置関係であるかを判別する機能と、
    前記所定の位置関係であると判別された場合には、その位置関係で前記第１の撮像装置と第２の撮像装置によって撮像される各画像を合成処理の対象としてその合成形式を設定する制御を行う機能と、
    を実現させるためのプログラム。

Images