JP2020036091A - 撮像装置及びその制御方法、プログラム、記憶媒体 - Google Patents

Abstract

【課題】全天球画像などの広角画像を取得する場合に、適切な露出制御を行うことが出来る撮像装置を提供する。【解決手段】被写体を撮影する撮像部と、天球を複数の分割領域に分割する分割部と、分割部によって分割された複数の分割領域のうち、連続する所定数の分割領域を組み合わせた領域をそれぞれ測光領域とする複数の測光パターンを生成する生成部であって、複数の測光パターンが部分的に同じ分割領域を含むように複数の測光パターンを生成する生成部と、複数の測光パターン毎の測光値を算出する算出部と、算出部によって算出された複数の測光パターンについての測光結果に基づいて、撮像部により天球画像を撮影する際の露出を制御する露出制御部とを備える。【選択図】 図５

Description

本発明は、全天球画像を撮像可能な撮像装置及びその制御方法に関するものである。

従来より、複数の撮像手段を備え、全天球画像などの広角画像を撮影（取得）可能な撮像装置が知られている。通常このような撮像装置では、全天球などの広い撮像範囲を一度に確認することが難しいため、表示モニターが省略されていることが多い。そのため、撮影前に撮像範囲全体の露出を確認してから撮影することは困難であり、カメラ任せの露出条件で撮影することが一般的である。

しかしながら、複数の撮像手段がそれぞれの撮像範囲だけで測光を行って撮影を行い、広角画像を合成する撮像装置の場合、広い撮像範囲全体の明るさを評価した上で露出条件を決定することが困難であるため、撮影シーンごとに最適な測光結果を得ることが難しい。そのため、撮影した画像を後で確認すると、期待通りの露出結果になっていない確率が高い。また、複数の光学系で撮影した画像を合成して全天球画像を撮影するカメラにおいては、同じ撮影位置であっても、撮像装置の向きによって露出がばらついてしまうという問題がある。

特許文献１では、この問題を解決するために、それぞれの光学系で撮像された全天球画像を複数の画像領域に分割して、これらの分割画像毎にシーン判別を行ない、シーンに応じた補正パラメータによって画像処理を行うという技術が提案されている。

特許文献２では、全天球画像から太陽の位置を検出し、高精度に撮影画像内の逆光領域を特定して、逆光補正を行う技術が提案されている。

特開２０１６−５８８４０号公報 特開２０１３−１９８０７０号公報

しかしながら、全天球などの広い撮像範囲の画像の所定領域に対してシーン判定を行い、それぞれのシーンに応じた画像処理を局所的に行うと、部分的に画像の劣化が目立ってしまうという問題がある。そのため、画像処理を行う所定領域は、画素信号のＳ／Ｎ特性が良い範囲内にとどめておく必要がある。このように、広角画像を撮像する場合の露出制御にはいろいろな問題があり、撮像装置の向きや撮影シーンに関わらず、主要被写体の画像領域に対して、より高い測光性能を備えた撮像装置が望まれている。

本発明は上述した課題に鑑みてなされたものであり、その目的は、全天球画像などの広角画像を取得する場合に、適切な露出制御を行うことが出来る撮像装置を提供することである。

本発明に係わる撮像装置は、被写体を撮影する撮像手段と、天球を複数の分割領域に分割する分割手段と、前記分割手段によって分割された複数の分割領域のうち、連続する所定数の分割領域を組み合わせた領域をそれぞれ測光領域とする複数の測光パターンを生成する生成手段であって、前記複数の測光パターンが部分的に同じ前記分割領域を含むように前記複数の測光パターンを生成する生成手段と、前記複数の測光パターン毎の測光値を算出する算出手段と、前記算出手段によって算出された前記複数の測光パターンについての測光結果に基づいて、前記撮像手段により天球画像を撮影する際の露出を制御する露出制御手段と、を備えることを特徴とする。

本発明によれば、全天球画像などの広角画像を取得する場合に、適切な露出制御を行うことが出来る撮像装置を提供することが可能となる。

本発明の一実施形態に係わる撮像装置の構成を示すブロック図。 一実施形態の撮像装置の構成例を示す模式図。 複数の撮像手段で撮影された全天球画像を合成する従来の方法を示す図。 全天球画像を分割した測光枠と測光枠の組み合わせを示す図。 一実施形態における測光パターンの例を説明する図。 一実施形態における測光パターンの模式図。 全天球画像の周囲の明るさを評価するための測光パターン毎の測光値の例を示す図。 全天球画像の天地の明るさを評価するための測光パターン毎の測光値の例を示す図。 一実施形態における全天球撮影時の測光処理を説明するフローチャート。 全天球画像を複数の測光枠に分割する処理を説明するフローチャート。 全天球画像の露出値を算出する処理を説明するフローチャート。

以下、本発明の一実施形態について、添付図面を参照して詳細に説明する。図１は、本発明の一実施形態に係わる撮像装置１００の構成を示すブロック図である。

図１において、撮像装置１００は複数のレンズ鏡筒を備え、これら複数のレンズ鏡筒によって撮像された画像を合成することにより、全天球画角を撮影することが可能である。

第１のレンズ鏡筒１５０は、その内部にレンズ群を保持している。レンズ１０は、全天球画像の一部の画角範囲を撮影可能とし、焦点調節レンズ１２はレンズ鏡筒１５０の光軸方向に移動することにより焦点調節を行う。また、絞り及びシャッタ１３は、露出制御のために光量調節を行う。

第２のレンズ鏡筒２５０は、その内部にレンズ群を保持している。レンズ７１は、全天球画像の一部の画角範囲を撮影可能とし、焦点調節レンズ７２はレンズ鏡筒２５０の光軸方向に移動することにより焦点調節を行う。また、絞り及びシャッタ７３は、露出制御のために光量調節を行う。

なお、本実施形態において、撮像装置１００は、第１のレンズ鏡筒１５０と第２のレンズ鏡筒２５０とカメラ本体部とが一体的に構成されているが、この構成に限定されるものではない。本実施形態は、カメラ本体部と、カメラ本体部に着脱可能な交換レンズとから構成される撮像システムにも適用可能である。

撮像素子１４は、第１のレンズ鏡筒１５０を通過した光を受光し、被写体像を電気信号に変換することにより撮像信号を生成する。撮像素子１４はＣＣＤ（電荷結合素子）型またはＣＭＯＳ（相補型金属酸化膜半導体）型のイメージセンサ等からなる。

撮像素子７０は、第２のレンズ鏡筒２５０を通過した光を受光し、被写体像を電気信号に変換することにより撮像信号を生成する。撮像素子７０はＣＣＤ（電荷結合素子）型またはＣＭＯＳ（相補型金属酸化膜半導体）型のイメージセンサ等からなる。

撮像素子１４および撮像素子７０による撮像信号は、画像処理部２０に入力されて、画素補間処理や色変換処理等の各種画像処理が行われる。また、画像処理部２０は撮像素子１４と撮像素子７０で撮像された画像を全天球画像に合成する画像合成処理部３０５と、撮像素子１４と撮像素子７０で撮像された画像から合成された全天球画像を任意の数や大きさに分割する測光枠分割処理部３０４とを備える。

撮影処理によって生成された画像データは、撮像装置１００に設けられているインターフェース部９０及びコネクタ９２と、外部記録媒体２００に設けられているインターフェース部２０４及びコネクタ２０６とを介して記録部２０２に送られて記録される。画像データは、外部記録媒体２００、または不揮発性メモリ６６、あるいはそれらの両方に記録される。外部記録媒体２００は、撮像装置１００に装着して使用されるメモリカード等である。不揮発性メモリ６６は、撮像装置１００に内蔵されている記憶媒体である。メモリ６５は、プログラムデータや画像データの他に、撮像装置１００の設定等の情報を記憶する。

また、撮像装置１００は、測光開始や焦点調節を指示するシャッタスイッチ６０や撮影開始を指示するシャッタスイッチ６１の他に、被写体の指定や撮像装置１００の設定を行うタッチパネルや操作スイッチ等を有する操作部６２を備える。

姿勢検出部６４は、加速度センサやジャイロセンサなどのセンサ出力の変化から、撮像装置１００の姿勢や傾き角度を検出するための検出部であり、撮像装置１００の姿勢情報は撮像した画像データの画像処理にも用いられる。

システム制御部５０は、ＣＰＵ（中央演算処理装置）等の演算装置を備える。システム制御部５０は、ユーザの操作に応じて各部に制御命令を送ることにより撮像装置１００全体を制御する。システム制御部５０は、メモリ６５に記憶されている各種の制御プログラム、例えば撮像素子１４および撮像素子７０の制御や露出制御、焦点調節制御等を行うためのプログラムを実行する。

システム制御部５０に設けられた測光演算部３００は、撮像素子１４で撮像され、画像処理部２００において画像処理された画像データを用いて、測光値および露出制御値（絞り値及びシャッタ速度）を算出する。第１の絞りシャッタ制御部４０は、測光結果に基づいて絞り及びシャッタ１３を制御する。絞り及びシャッタ１３は、ステッピングモータや電磁プランジャ等のアクチュエータやそれらを駆動する駆動回路によって構成され、絞り羽根及びシャッタ羽根を駆動する。

第１の焦点制御部４１は、コントラスト方式で自動焦点調節（ＡＦ）制御を行う。つまり、第１の焦点制御部４１は、画像処理部２０での画像処理によって得られた撮影光学系の焦点調節情報（コントラスト評価値）に基づいて、被写体に焦点が合うように焦点調節レンズ１２を制御する。焦点調節レンズ１２の駆動部は、ボイスコイルモータ（ＶＣＭ）等のアクチュエータと、焦点調節レンズ１２の位置をフィードバックするための位置検出センサと、それらを駆動する駆動回路とを備えて構成されている。

また、別の構成としては、ステッピングモータのように位置検出センサを要しない構成などもある。本実施形態においては、焦点調節レンズ１２の駆動部は、いずれの構成であってもよい。また、コントラスト方式以外のＡＦ制御として、位相差ＡＦ方式でもよいし、また、コントラスト方式と他の方式との組み合わせのように、複数の方式でＡＦ制御を行う構成でもよい。第１の焦点制御部４１は、ＡＦ制御を行う際に焦点調節レンズ１２を所定の範囲で移動させることによりスキャン動作を行う。スキャン動作中に得られるコントラスト評価値等を用いて、合焦点であるフォーカス位置が検出される。さらに、別の構成としては、レンズ鏡筒１５０はパンフォーカスレンズであり、焦点調節レンズ１２を備えない構成であってもよい。

システム制御部５０に設けられた測光演算部３００は、撮像素子７０で撮像され、画像処理部２００において画像処理された画像データを用いて、測光値および露出制御値（絞り値及びシャッタ速度）を算出する。第２の絞りシャッタ制御部４２は、測光結果に基づいて絞り及びシャッタ７３を制御する。絞り及びシャッタ７３は、ステッピングモータや電磁プランジャ等のアクチュエータやそれらを駆動する駆動回路によって構成され、絞り羽根及びシャッタ羽根を駆動する。

第２の焦点制御部４３は、コントラスト方式で自動焦点調節（ＡＦ）制御を行う。つまり、第２の焦点制御部４３は、画像処理部２０での画像処理によって得られた撮影光学系の焦点調節情報（コントラスト評価値）に基づいて、被写体に焦点が合うように焦点調節レンズ７２を制御する。焦点調節レンズ７２の駆動部は、ボイスコイルモータ（ＶＣＭ）等のアクチュエータと、焦点調節レンズ７２の位置をフィードバックするための位置検出センサと、それらを駆動する駆動回路とを備えて構成されている。

また、別の構成としては、ステッピングモータのように位置検出センサを要しない構成などもある。本実施形態においては、焦点調節レンズ７２の駆動部は、いずれの構成であってもよい。また、コントラスト方式以外のＡＦ制御として、位相差ＡＦ方式でもよいし、また、コントラスト方式と他の方式との組み合わせのように、複数の方式でＡＦ制御を行う構成でもよい。第２の焦点制御部４３は、ＡＦ制御を行う際に焦点調節レンズ７２を所定の範囲で移動させることによりスキャン動作を行う。スキャン動作中に得られるコントラスト評価値等を用いて、合焦点であるフォーカス位置が検出される。さらに、別の構成としては、レンズ鏡筒２５０はパンフォーカスレンズであり、焦点調節レンズ７２を備えない構成であってもよい。

ここで、画像処理部２０は、第１のレンズ鏡筒１５０および第２のレンズ鏡筒２５０を介して撮像素子１４および撮像素子７０で撮像された画像データを同時に処理することにより測光演算を行う。撮像素子１４および撮像素子７０で撮像されたそれぞれの画像データは、画像処理部２０に設けられた画像合成処理部３０５により合成され、この合成画像は、測光枠分割処理部３０４によって任意の大きさや数に分割される。これら分割された画像データは、システム制御部５０に設けられた測光パターンテーブル３０１の情報に従って、分割された画像の組み合わせパターン毎に測光演算部３００により測光値を算出するのに用いられる。これらの測光値の算出結果から露出制御部３０２により全天球画像の適正な露出値を求める。

次に、本実施形態における全天球撮像装置の構成例について図２を用いて説明する。図２に示される全天球撮像装置では、写野（撮影画角）が１８０度以上の魚眼レンズを備える２つの撮像装置（撮像部）が同じ光軸上に逆方向に向けて背中合わせに配置されている。ここでは、仮に片方の撮像装置を前面カメラ、逆方向の撮像装置を背面カメラと呼ぶことにする。前面カメラと背面カメラは、それぞれのカメラで撮影可能な画像の境界部分が位置合わせのためにオーバーラップするように構成されている。

従来、このような構成の全天球撮像装置では、図３に示すように、それぞれのカメラ毎に適正となる撮影を行い（図３の（ａ））、撮像後に前面カメラと背面カメラで撮影したそれぞれの画像に対して、円筒図法などの画像変換を施す（図３の（ｂ））。そして、それぞれの画像の境界部分で位置合わせを行い、それぞれの画像を合成する（図３の（ｃ））。この場合、それぞれの画像をそのまま合成すると、それぞれの画像のつなぎ目部分に輝度段差が目立ってしまう場合があるため、それぞれの画像の明るさを合わせるようにシェーディング補正や画像のつなぎ目部分のゲイン調整処理を行って合成する（図３の（ｄ））。図３では２つの画像の隣り合う一端だけを合成する例について説明しているが、実際には全周囲が繋がるように、ぞれぞれの画像の両端に対して同様の処理を行う。従来は、このようにして全天球画像を得ていた。しかし、この従来の方法では、撮影シーンの全周囲の状況を考慮せずに露出を決定するため、撮影者が意図する主被写体が適正な露出で撮影出来ない場合があった。

そこで、本実施形態では、全天球画像を複数の測光枠に分割し、測光意図に合わせて、これら測光枠を組み合わせた測光パターンを定義する。図４は全天球を８分割した測光枠を用いて６種類の測光パターンで露出条件を決定する場合の測光枠と測光パターンの例を示す図である。

以下の説明では、一例として、測光枠は、全天球の中心を通り全天球を水平に上下に２分割する平面と、水平平面に直交し且つ光軸を通る平面と、水平面と光軸の双方に直交する平面とで全天球を８分割して得られる領域として説明する。

本実施形態では、測光パターンの定義を下記のように定めた場合について、全天球画像の測光結果を算出する流れについて説明する。

測光パターン１：前面レンズの光軸方向の撮影領域を測光
測光パターン２：背面レンズの光軸方向の撮影領域を測光
測光パターン３：カメラの左側面方向の撮影領域を測光
測光パターン４：カメラの右側面方向の撮影領域を測光
測光パターン５：天方向の撮影領域を測光
測光パターン６：地面方向の撮影領域を測光
測光パターン１は、前面レンズの光軸方向に撮像された範囲を４分割し、それぞれ図４の通り、測光枠１、測光枠２、測光枠３、測光枠４を組み合わせた領域とする。測光パターン２は、背面レンズの光軸方向に撮像された範囲を４分割し、それぞれ図４の通り、測光枠５、測光枠６、測光枠７、測光枠８を組み合わせた領域とする。測光パターン３は、カメラの左側面方向に撮像された範囲を４分割し、それぞれ図４の通り、測光枠１、測光枠３、測光枠５、測光枠７を組み合わせた領域とする。測光パターン４は、カメラの右側面方向に撮像された範囲を４分割し、それぞれ図４の通り、測光枠２、測光枠４、測光枠６、測光枠８を組み合わせた領域とする。測光パターン５は、天方向に撮像された範囲を４分割し、それぞれ図４の通り、測光枠１、測光枠２、測光枠５、測光枠６を組み合わせた領域とする。測光パターン６は、地面方向に撮像された範囲を４分割し、それぞれ図４の通り、測光枠３、測光枠４、測光枠７、測光枠８を組み合わせた領域とする。

上記のように、各測光パターンは、所定数の測光枠を組み合わせて、それぞれお互いの測光パターンが部分的に重なり合う関係となるように設定される。これにより、それぞれの測光パターン毎の測光結果だけで露出を決めずに、関連性が高い周囲の明るさの影響を考慮して測光結果を算出することが可能となる。

なお、上記の説明では、各測光枠１〜８毎に測光を行うのではなく、測光パターン毎に測光を行うように説明したが、各測光枠１〜８毎に測光を行い、その各測光枠毎の測光結果から各測光パターン毎の測光値を算出するようにしてもよい。

ここで、例えば、図５のように測光枠１の方向に太陽があった場合を考える。この場合、測光パターン１と測光パターン３は太陽が入っているため明るい測光結果となるが、測光パターン２と測光パターン４は測光パターン１や測光パターン３よりも暗めの測光結果となる。同様に、測光パターン５と測光パターン６を比較すると、測光パターン５のほうが明るい測光結果になる。これにより、高輝度被写体が測光枠１方向にあることが予測可能となり、測光枠６と測光枠８の方向が順光となるため、測光パターン１〜４の中では、測光枠６と測光枠８を含む測光パターン２と測光パターン４の測光結果を重視して全天球の露出を決定する。

上記の撮影シーンの他に、測光パターン毎の測光結果から全天球の露出を決めるための輝度分析を行う例を図６から図８を用いて説明する。

図６は撮影時の周囲の明るさからシーンを判定する測光パターンと撮影時の天地の明るさからシーンを判定する測光パターンを模式的に説明する図である。

図６（ａ）は、撮影時の周囲のシーンを判定する測光パターンであり、全天球を水平平面に直交する２平面で分割した４つの測光パターン（測光パターン１、測光パターン２、測光パターン３、測光パターン４）で構成された図４の全天球を上から見た模式図である。一方、図６（ｂ）は、撮影時の天地方向のシーンを判定する測光パターンであり、全天球を水平平面で分割した２つの測光パターン（測光パターン５、測光パターン６）で構成された図４の全天球を横から水平方向に見た模式図である。以降の説明では、図６の模式図に倣って説明する。

図７は、全天球を水平平面に直交する２平面で分割した４つの測光パターンの場合の例を説明する図である。

図７（ａ）は、４つの測光パターンの測光結果が同レベルになる場合の例である。測光結果の輝度レベルを、高輝度、中輝度、低輝度と３つの輝度範囲に分類するとき、ａ−１は全範囲で高輝度となる被写体であるため、光源が天頂方向にあることが予想される。一方、ａ−２は全範囲で中輝度となる被写体であるため、屋内環境などが予想される。同様に、ａ−３は全範囲で低輝度となる被写体であるため、夜景などの暗所シーンであることが予想される。このような場合、４つの測光パターンの測光値の平均値を測光値とすればよい。

図７（ｂ）は、２つの測光パターンの測光結果が同レベルになる場合の例である。例えば、ｂ−１は測光パターン１と測光パターン３が中輝度で同レベルの測光結果の被写体であり、測光パターン２と測光パターン４が低輝度で同レベルの測光結果の被写体である。これは、例えば夕日と反対方向の空が暗く夕景になっているシーンなどが予想される。この場合、夕日の方向を含む測光パターン１と測光パターン３の測光結果を重視すればよい。

ｂ−２は測光パターン１が高輝度で測光パターン２が中輝度となる被写体であり、測光パターン３と測光パターン４が同レベルの輝度となる被写体である。このシーンでは、測光パターン１の方向が順光環境であり、測光パターン２の方向に光源があるため、逆光被写体が存在することが予想される。この場合、順光方向の測光パターン１の測光結果を重視すればよい。

図７（ｃ）は、４つの測光パターンの測光結果が全て異なる場合の例である。例えば、ｃ−１では、測光パターン２と測光パターン４の重なる領域に暗い被写体があることが予想されるため、この領域を含まない測光パターンの測光結果を重視すればよい。

以上、図７を用いて、撮影時の周囲のシーンを判定する測光パターンについて説明したが、測光パターンの測光値の組み合わせや、シーンの判定条件などは上記の説明に限られるものではない。より多くの撮影シーンを分析し、測光パターンの数を増やすことで、さらに測光精度を高めることが可能である。

図８は、全天球を水平平面で分割した２つの測光パターンの場合の例を説明する図である。

図８（ａ）は、２つの測光パターンの測光結果が同レベルになる場合の例であり、天面である測光パターン５と地面である測光パターン６の測光結果が中輝度で同レベルとなるため、屋内環境などが予想される。この場合は測光パターン１、２、３、４から算出された測光結果を重視する。

図８（ｂ）は、天面が高輝度で地面が低輝度となる場合の例であり、測光パターン５の測光結果が測光パターン６の測光結果よりも明るいため、空を主被写体として撮影することが予想される。この場合は測光パターン１、２、３、４から算出された測光結果に対して、測光パターン５の測光結果を重視した重み付けを行って測光値を算出する。

図８（ｃ）は、天面が低輝度で地面が中輝度となる場合の例であり、測光パターン６の測光結果が測光パターン５の測光結果よりも明るいため、夜景シーンなどを撮影することが予想される。この場合は測光パターン１、２、３、４から算出された測光結果に対して、測光パターン６の測光結果を重視した重み付けを行って測光値を算出する。

以上、図８を用いて、撮影時の天地方向のシーンを判定する測光パターンについて説明したが、測光パターンの測光値の組み合わせや、シーンの判定条件などは上記の説明に限られるものではない。また、天地方向の測光パターンによる測光結果は、周囲方向の測光パターンの測光結果に対して測光値を補正するような役割として説明したが、より多くの撮影シーンを分析し、測光パターンの数を増やすことで、さらに測光精度を高めることが可能である。また、天地方向の測光パターンによる測光結果だけで適正な露出を検出可能とするシーンも当然含まれる。さらに、姿勢検出部６４の情報に基づいて、測光枠を切り分ける水平平面をカメラの撮影時の姿勢に応じた水平平面として全天球画像の測光値を算出するようにしてもよい。

また、上記の説明では、測光枠を切り分ける水平平面は全天球の中心を通る平面として説明している。しかし、撮影時のカメラの高さや撮影環境に応じて、水平方向に測光枠を切り分ける平面を全天球内で上下に移動（変更）しても構わないし、複数面の水平平面で測光枠を切り分けても構わない。

また、測光枠を切り分ける水平平面に直交する平面のうちの１面は光軸を通る平面として説明しているが、光軸を通らない複数の平面で測光枠を切り分けたとしても、問題はない。

次に、図９から図１２を参照して、本実施形態の処理の流れについて説明する。図９は全天球画像を撮影するための測光処理全体の流れを説明するフローチャートである。以下の全天球画像の測光処理は、特に明示的な記載がない限り、システム制御部５０が、メモリ６５に記憶されているプログラムを実行することにより行われるものとする。

まずＳ１００では、システム制御部５０は、測光のために撮像した複数のカメラの画像を合成した全天球画像を、ｎ個の測光枠に分割する。Ｓ１００で行う測光枠の分割処理の詳細については図１０を用いて後述する。

Ｓ１０１では、システム制御部５０は、図４で説明したように、Ｓ１００で分割した測光枠から測光意図に合わせて、隣り合う連続した測光枠の組み合わせによる測光パターンを設定する。このとき、測光パターンは少なくとも他の測光パターンと測光領域の一部が重なるように設定される。

Ｓ１０２では、システム制御部５０は、Ｓ１０１で設定されたそれぞれの測光パターンを全天球画像に対して適用し、全ての測光パターンに対して測光値を取得する。

Ｓ１０３では、システム制御部５０は、Ｓ１０２で取得された全ての測光パターンの測光値を用いて、全天球画像の撮影シーンを想定し、主被写体を含む測光パターンの測光値を重視した露出値を算出する。Ｓ１０３で行う全天球画像取得のための露出値を算出する処理の詳細については、図１１を用いて後述する。

図１０は、測光枠の分割処理の例を説明するフローチャートである。

まず、Ｓ２００では、システム制御部５０は、姿勢検出部６４の情報に基づいて、撮影時の全天球撮像装置の傾き情報を取得し、Ｓ２０１では、この傾き情報に基づいて、測光時の全天球画像の姿勢検出を行う。このとき、全天球画像の天地の姿勢が正しい状態になるように、撮像した画像の姿勢変換を行ってもよいし、全天球画像の傾き情報を記憶して、後の測光枠分割のための情報として利用してもよい。

Ｓ２０２では、システム制御部５０は、全天球画像を水平平面で上下に分割する。このとき、Ｓ２０１で検出した全天球画像の天地の姿勢に対し、全天球画像を正しい姿勢になるように画像変換していた場合は水平平面で全天球を上下に分割する。全天球画像の傾き情報を記憶していた場合は、全天球画像の傾き情報に合わせて傾けた水平平面を用いて全天球画像を上下に分割する。

Ｓ２０３では、システム制御部５０は、全天球を、Ｓ２０２で上下に分割した水平平面に対して、直交するＮ面の平面でｎ分割する。

ｎ＝（Ｎ＋１）*２ （分割）
このｎ個に分割された全天球の分割領域をｎ個の測光枠として、図９のＳ１０１以降の処理に用いる。

図１１は全天球画像の露出値を算出する処理の例を説明するフローチャートである。

Ｓ３００では、システム制御部５０は、図９のＳ１０２で検出した全ての測光パターンの測光値を取得し、Ｓ３０１の撮影時の周囲の明るさによるシーン判定と、Ｓ３０５の撮影時の天地の明るさによるシーン判定を行う。

Ｓ３０２では、システム制御部５０は、図４で説明した測光パターン１、測光パターン２、測光パターン３、測光パターン４の測光値のパターンからシーン推定を行う。さらに、Ｓ３０３では、推定結果のシーンに応じて主被写体と予測される画像領域を含む測光パターンを重視するように測光値に重み付けを行う。

一方、Ｓ３０６では、システム制御部５０は、図４で説明した測光パターン５、測光パターン６の測光値のパターンからシーン推定を行う。さらに、Ｓ３０７では、推定結果のシーンに応じて測光値に対して重み付けを行う。

そして、Ｓ３０４では、システム制御部５０は、Ｓ３０３で算出した重み付け後の測光値とＳ３０７で算出した重み付け後の測光値を平均化するなどの処理を行い、全天球画像を取得するための露出値を算出する。

以上のように、本実施形態では、全天球画像のすべての範囲を対象とした複数の測光パターンを用いることによって、カメラの姿勢や撮影シーンによる測光バラつきが少ない、高精度な全天球撮影の露出制御を行うことが可能となる。

なお、本実施形態では、全天球画像の全ての範囲を測光して全ての撮像手段に対する露出値を算出するように説明してきた。しかし、撮影シーンの輝度範囲が広すぎて、撮像装置のダイナミックレンジを越えている場合には、撮像手段ごとに異なる露出値を指定して撮影しても構わないし、ＨＤＲ撮影を行って、撮像装置のダイナミックレンジを拡張する処理を行っても構わない。

また、本実施形態では、全天球画像を撮影可能な撮像装置として、複数の撮像手段を備える構成を説明した。しかし、全天球画像を撮影するために、複数の撮像装置で撮影した画像を組み合わせて合成する装置であっても、複数の撮像装置に対して露出条件を指定して撮影を行わせる装置であってもよい。

また、上記の実施形態では、撮像装置を基準とする略３６０°の範囲の全天球画像を取得する場合について説明したが、これに限定されるものではない。例えば、天頂を含む全天画像などの広角画像を取得する際に、前述した構成を適用してもよい。また、実際に撮像装置を用いて撮像した複数の被合成画像を合成しつつ画像処理等により疑似的に画像を補間して全天球画像などの広角画像を生成する際に、前述した構成を適用してもよい。この場合、全天球画像の生成は撮像装置の内部で行われるものに限らず、外部装置で全天球画像を合成する構成であってもよい。

（その他の実施形態）
また本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現できる。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現できる。

１４，７０：撮像素子、２０：画像処理部、５０：システム制御部、１００：撮像装置、１５０：第１のレンズ鏡筒、２５０：第２のレンズ鏡筒、３０２：露出制御部、３０４：測光枠分割処理部、３０５：画像合成処理部

Claims (14)

1. 被写体を撮影する撮像手段と、
   天球を複数の分割領域に分割する分割手段と、
   前記分割手段によって分割された複数の分割領域のうち、連続する所定数の分割領域を組み合わせた領域をそれぞれ測光領域とする複数の測光パターンを生成する生成手段であって、前記複数の測光パターンが部分的に同じ前記分割領域を含むように前記複数の測光パターンを生成する生成手段と、
   前記複数の測光パターン毎の測光値を算出する算出手段と、
   前記算出手段によって算出された前記複数の測光パターンについての測光結果に基づいて、前記撮像手段により天球画像を撮影する際の露出を制御する露出制御手段と、
   を備えることを特徴とする撮像装置。
2. 前記撮像手段は、互いに背中合わせに配置された２つの撮像部を有することを特徴とする請求項１に記載の撮像装置。
3. 前記分割領域とは、天球を水平平面で分割するとともに、前記水平平面に直交する１つの平面によって分割される４つの分割領域であることを特徴とする請求項１または２に記載の撮像装置。
4. 前記分割領域とは、天球を水平平面で分割するとともに、前記水平平面に直交する２つの平面によって分割される８つの分割領域であることを特徴とする請求項１または２に記載の撮像装置。
5. 前記撮像装置の姿勢に応じて、前記水平平面を変更することを特徴とする請求項３または４に記載の撮像装置。
6. 前記測光パターンの１つは、天球を前記水平平面で２分割した一方の範囲を含むことを特徴とする請求項３乃至５のいずれか１項に記載の撮像装置。
7. 前記複数の測光パターンは、それぞれが２つ以上の異なる測光パターンとオーバーラップしている４つ以上の測光パターンからなることを特徴とする請求項３乃至６のいずれか１項に記載の撮像装置。
8. 前記露出制御手段は、前記複数の測光パターンのそれぞれの測光結果に対し、所定の重み付けを行って露出制御を行なうことを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
9. 撮影された画像をつなぎ合わせて全天球画像を合成する合成手段をさらに備えることを特徴とする請求項１乃至８のいずれか１項に記載の撮像装置。
10. 前記算出手段は、前記複数の分割領域のそれぞれについて測光値を取得することなく、前記複数の測光パターン毎の測光値を算出することを特徴とする請求項１乃至９のいずれか１項に記載の撮像装置。
11. 前記算出手段は、前記複数の分割領域のそれぞれの測光値に基づいて、前記複数の測光パターン毎の測光値を算出することを特徴とする請求項１乃至９のいずれか１項に記載の撮像装置。
12. 被写体を撮影する撮像手段を備える撮像装置を制御する方法であって、
    天球を複数の分割領域に分割する分割工程と、
    前記分割工程において分割された複数の分割領域のうち、連続する所定数の分割領域を組み合わせた領域をそれぞれ測光領域とする複数の測光パターンを生成する生成工程であって、前記複数の測光パターンが部分的に同じ前記分割領域を含むように前記複数の測光パターンを生成する生成工程と、
    前記複数の測光パターン毎の測光値を算出する算出工程と、
    前記算出工程において算出された前記複数の測光パターンについての測光結果に基づいて、前記撮像手段により天球画像を撮影する際の露出を制御する露出制御工程と、
    を有することを特徴とする撮像装置の制御方法。
13. 請求項１２に記載の制御方法の各工程をコンピュータに実行させるためのプログラム。
14. 請求項１２に記載の制御方法の各工程をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。