JP6953961B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法及びプログラムに関するものである。

近年、全方位（以降、「全天球」という。）を一度に撮像するために、デジタルカメラなどの撮像装置に、魚眼レンズなどの広角レンズを複数個使用して、全天球撮像システムとしたものが知られている。この全天球撮像システムでは、例えば、１８０°超の画角を有する２つの広角レンズを用い、２つの広角レンズからの像を、ＣＣＤなどのセンサ面に投影し、得られた複数の画像を画像処理により結合することで、全天球画像を生成している。

全天球画像は、全方位を撮像範囲としているため、全天球画像の生成の際に、各撮像系における撮像条件（被写体、光源・照明などの撮像環境）の違いが反映されやすく、生成された全天球画像の継ぎ目において、色味の違いが生じやすい。

そこで、一般的に単眼レンズのデジタルカメラで撮像された撮像画像で行われるホワイトバランス調整を、このような全天球撮像システムに適用し、ホワイトバランスを調整するものが知られている（特許文献１参照）。

特許文献１では、全天球撮像システムの画像処理装置において、複数の撮像画像を合成する際に、複数の撮像画像を領域に分割し、各分割された領域のホワイトバランスを調整するものが記載されている。

特開２０１４−０７８９２６号公報

しかしながら、特許文献１に記載の従来技術では、依然として、分割された領域間において、ホワイトバランスに不連続性が生じるため、全天球画像の継ぎ目においても、色味の違いを解消することが困難であった。

そこで、本発明は、上記事情に鑑みてなされたものであり、複数の撮像画像を合成する際に、継ぎ目で生じる色味の違いを軽減させる画像処理装置、画像処理方法及びプログラムを提供することを目的とする。

上述目的を達成するために、本発明は、以下の構成によって把握される。
本発明の画像処理装置は、複数の撮像系により撮像された複数の撮像画像を取得する取得手段と、前記取得手段により取得された前記複数の撮像画像におけるホワイトバランスをそれぞれ算出するホワイトバランス算出手段と、前記ホワイトバランス算出手段により算出された前記ホワイトバランスにそれぞれ補正を施す補正手段と、前記補正手段により補正されたホワイトバランスに基づいて、前記複数の撮像画像をそれぞれ調整する調整手段と、前記調整手段により調整された前記複数の撮像画像同士を合成することで、全天球画像を生成する合成手段と、を備え、前記補正手段は、前記複数の撮像画像同士の継ぎ目のホワイトバランスを設定する設定手段と、補間関数により、前記ホワイトバランス算出手段により算出されたそれぞれの前記ホワイトバランスと、前記設定手段により設定された前記継ぎ目のホワイトバランスとの間の補間値をそれぞれ算出する補間値算出手段と、を有し、前記補間値算出手段により算出された前記補間値に基づいて、前記複数の撮像画像における前記ホワイトバランスをそれぞれ連続的に変化させ、前記ホワイトバランスに補正を施し、前記調整手段は、前記補正手段により補正されたホワイトバランスに加え、前記ホワイトバランス算出手段により算出されたそれぞれの前記ホワイトバランスと、前記継ぎ目のホワイトバランスとに基づいて、前記複数の撮像画像のそれぞれにおける前記ホワイトバランスを、前記複数の撮像画像のそれぞれにおいて撮像範囲の中心、特定の被写体の中心、又は、輝度の高い点の少なくとも何れかの位置から画像端へと連続的に変化させるように調整するものである。

本発明の画像処理方法は、複数の撮像系により撮像された複数の撮像画像を取得する画像取得ステップと、取得された前記複数の撮像画像におけるホワイトバランスをそれぞれ算出するホワイトバランス算出ステップと、前記複数の撮像画像同士の継ぎ目のホワイトバランスを設定するホワイトバランス設定ステップと、補間関数により、算出されたそれぞれの前記ホワイトバランスと、設定された前記継ぎ目のホワイトバランスとの間の補間値をそれぞれ算出する補間値算出ステップと、算出された前記補間値に基づいて、前記複数の撮像画像における前記ホワイトバランスを連続的に変化させ、前記ホワイトバランスにそれぞれ補正を施すホワイトバランス補正ステップと、補正された前記ホワイトバランスに基づいて、前記複数の撮像画像をそれぞれ調整する画像調整ステップと、調整された前記複数の撮像画像同士を合成することで、全天球画像を生成する画像生成ステップと、を含み、前記画像調整ステップは、補正された前記ホワイトバランスに加え、前記ホワイトバランス算出ステップにより算出されたそれぞれの前記ホワイトバランスと、前記継ぎ目のホワイトバランスとに基づいて、前記複数の撮像画像のそれぞれにおける前記ホワイトバランスを、前記複数の撮像画像のそれぞれにおいて撮像範囲の中心、特定の被写体の中心、又は、輝度の高い点の少なくとも何れかの位置から画像端へと連続的に変化させるように調整するものである。

本発明のプログラムは、コンピュータに、複数の撮像系により撮像された複数の撮像画像を取得する画像取得機能、取得された前記複数の撮像画像におけるホワイトバランスをそれぞれ算出するホワイトバランス算出機能、前記複数の撮像画像同士の継ぎ目のホワイトバランスを設定するホワイトバランス設定機能、補間関数により、算出されたそれぞれの前記ホワイトバランスと、設定された前記継ぎ目のホワイトバランスとの間の補間値をそれぞれ算出する補間値算出機能、算出された前記補間値に基づいて、前記複数の撮像画像における前記ホワイトバランスを連続的に変化させ、前記ホワイトバランスにそれぞれ補正を施すホワイトバランス補正機能、補正された前記ホワイトバランスに基づいて、前記複数の撮像画像をそれぞれ調整する画像調整機能、調整された前記複数の撮像画像同士を合成することで、全天球画像を生成する画像生成機能、を実現させ、前記画像調整機能は、補正された前記ホワイトバランスに加え、前記ホワイトバランス算出機能により算出されたそれぞれの前記ホワイトバランスと、前記継ぎ目のホワイトバランスとに基づいて、前記複数の撮像画像のそれぞれにおける前記ホワイトバランスを、前記複数の撮像画像のそれぞれにおいて撮像範囲の中心、特定の被写体の中心、又は、輝度の高い点の少なくとも何れかの位置から画像端へと連続的に変化させるように調整するものである。

本発明によれば、複数の撮像画像を合成する際に、継ぎ目で生じる色味の違いを軽減させる画像処理装置、画像処理方法及びプログラムを提供することができる。

実施形態の画像処理装置における、（ａ）撮像装置と本体装置とを一体的に組み合わせた状態、（ｂ）撮像装置と本体装置とを分離した状態、を示す概略図である。 実施形態の画像処理装置における、（ａ）撮像装置１０、（ｂ）本体装置１００の構成を示すブロック図である。 撮像装置１０の、（ａ）第１の姿勢、（ｂ）第２の姿勢を示す概略図である。 （ａ）撮像装置の撮像範囲、（ｂ）ディスプレイに表示される広角画像、（ｃ）球面座標系で表現した広角画像を示す図である。 合成した全天球画像を示す説明図である。 全天球画像の継ぎ目における、（ａ）色味が異なる状態、（ｂ）色味が一致した状態を示す説明図である。 画像処理工程を示すフローチャートである。

以下、図面を参照して本発明を実施するための形態（以下、実施形態）について詳細に説明する。なお、本明細書の実施形態においては、全体を通じて、同一の要素には同一の符号を付している。

実施形態の画像処理装置１は、デジタルカメラに適用した場合を例示して説明する。
図１は、実施形態の画像処理装置１における、（ａ）撮像装置１０と本体装置１００とを一体的に組み合わせた状態、（ｂ）撮像装置１０と本体装置１００とを分離した状態、を示す概略図である。図２は、実施形態の画像処理装置１における、（ａ）撮像装置１０、（ｂ）本体装置１００の構成を示すブロック図である。

画像処理装置１は、図１に示すように、後述する撮像系１６，１７を有する撮像装置１０と、本体装置１００と、を備えるもので、撮像装置１０と本体装置１００とが分離可能なセパレート型デジタルカメラとして構成されている。ただし、本体装置１００は、撮像装置１０の撮像画像データを取得できれば、スマートフォンやタブレットやパソコンなど一般的な携帯情報端末であってもよい。

図２（ａ）に示すように、撮像装置１０は、静止画像や動画などが撮像可能なもので、筐体が箱状に形成されており、この筐体内部に、制御部１１、電源部１２、記憶部１３、通信部１４、操作部１５、撮像系（第１撮像部１６、第２撮像部１７）、姿勢検出部１８などを備えている。

制御部１１は、電源部（二次電池）１２からの電力供給によって動作し、記憶部１３内の各種のプログラムに応じて、撮像装置１０の全体動作を制御するもので、この制御部１１には図示しないＣＰＵ（中央演算処理装置）やメモリなどが設けられている。

記憶部１３は、例えば、ＲＯＭ、フラッシュメモリなどを有するもので、撮像機能を実現するためのプログラムや各種のアプリケーションなどが格納されている。なお、記憶部１３は、例えば、ＳＤカード、ＵＳＢメモリなど、着脱自在な可搬型メモリ（記録メディア）を含んでもよく、あるいは、図示しない外部サーバの記憶領域に保存するように構成されたものであってもよい。

通信部１４は、撮像画像を本体装置１００に送信したり、本体装置１００からの操作指示信号などを受信したりする。また、操作部１５は、電源スイッチなどの基本的な操作キー（ハードウェアキー）を備えている。

つぎに、第１撮像部１６及び第２撮像部１７は、複数の撮像系（以後、まとめて「撮像系１６，１７」ということがある。）を構成するものである。

第１撮像部１６は、被写体（や背景）などを高精細に撮像可能なカメラ部を構成するものである。第１撮像部１６のレンズユニット１６Ａには、魚眼レンズ１６Ｂ、撮像素子１６Ｃなどが設けられている。なお、本実施形態では、通常の撮像レンズ（図示なし）と魚眼レンズ１６Ｂとが交換可能なもので、図２では、魚眼レンズ１６Ｂを装着した状態である。

魚眼レンズ１６Ｂは、例えば、３枚構成のレンズ系からなり、画角が１８０°超という広範囲な撮像が可能な円周魚眼レンズ（全周魚眼レンズ又は広角レンズ）であり、この魚眼レンズ１６Ｂによって撮像された広角画像（魚眼画像）の全体は、円形の撮像画像Ｇ１となる。この場合、射影方式を採用しているために、魚眼レンズ１６Ｂで撮像された広角画像は、その中心から端部に向かう程、大きく歪んだものとなる。

つまり、魚眼レンズ１６Ｂによる撮像画像Ｇ１は、その中心から端部（周辺部）の方に向かう程、大きく歪んだものとなるとともに、広角画像の中心に比べてその周辺部は縮小された画像となるため、ユーザがその周辺部の内容を詳細に目視確認しようとしても、その確認は極めて困難なものとなる。このような魚眼レンズ１６Ｂによる被写体像（光学像）は、撮像素子１６Ｃ（例えば、ＣＭＯＳ又はＣＣＤ）に結像されると、この撮像素子１６Ｃによって光電変換された画像信号（アナログ値の信号）が、Ａ／Ｄ変換部（図示なし）によってデジタル信号に変換されるとともに、所定の画像処理が施された後、本体装置１００側に送信されてモニタ表示される。

また、第２撮像部１７は、撮像方向が第１撮像部１６に対して異なる方向（正反対方向）であり、撮像された広角画像が撮像画像Ｇ２となる以外は、第１撮像部１６と同様であり、レンズユニット１７Ａ、魚眼レンズ１７Ｂ、撮像素子１７Ｃなどで構成されている。

姿勢検出部１８は、撮像装置１０に加わる加速度を検出する３軸加速度センサなどで構成されている。この姿勢検出部１８は、撮像装置１０の姿勢に応じて検出されたＸ・Ｙ・Ｚ方向の各加速度成分を制御部１１に与える。なお、撮像装置１０は、上述したように箱状の筐体であり、その筐体の短辺の方向をＸ軸方向、筐体の長辺の方向をＹ軸方向、筐体の厚さ方向をＺ軸方向とすると、制御部１１は、このＸ軸、Ｙ軸、Ｚ軸の加速度成分を比較して撮像装置１０の後述する第１の姿勢及び第２の姿勢を検出し、この姿勢情報を通信部１４から本体装置１００に送信する。

さらに、撮像装置１０には、本体装置１００に接続される接続部１０ａが設けられており、本体装置１００と一体的に組み合わせられ、セパレート型デジタルカメラとして構成される。

つぎに、図２（ｂ）に示すように、本体装置１００は、デジタルカメラのコントローラを構成するもので、撮像装置１０によって撮像された画像を表示する再生機能も有している。この本体装置１００は、制御部１１１、電源部１１２、記憶部１１３、通信部１１４、操作部１１５、タッチ表示部１１６を備えている。

制御部１１１は、電源部（二次電池）１１２からの電力供給によって動作し、記憶部１１３内の各種のプログラムに応じて、本体装置１００の全体動作を制御するもので、この制御部１１１には図示しないＣＰＵ（中央演算処理装置）やメモリなどが設けられている。また、制御部１１１（コンピュータ）は、画像処理用プログラムに従って、後述する画像処理工程において、取得手段２０、ホワイトバランス算出手段３０、補正手段４０（設定手段４１、補間値算出手段４２）、調整手段５０、合成手段６０などとして機能を実現するように構成されている。

記憶部１１３は、例えば、ＲＯＭ、フラッシュメモリなどを有する構成で、撮像機能や画像処理機能を実現するためのプログラムや各種のアプリケーションなどが格納されているプログラムメモリ１１３Ａや、本体装置１００が動作するために必要となる各種の情報（例えば、フラグなど）を一時的に記憶するワークメモリ１１３Ｂなどを有している。

通信部１１４は、撮像装置１０との間で各種のデータの送受信を行う。また、操作部１１５は、電源ボタン、レリーズボタン、露出やシャッタスピードなどの撮像条件を設定する設定ボタンなど、押しボタン式の各種のキーを備えたもので、制御部１１１は、この操作部１１５からの入力操作信号に応じた処理を実行したり、入力操作信号を撮像装置１０に対して送信したりする。

そして、タッチ表示部１１６は、高精細液晶などのディスプレイ１１６Ａの上にタッチパネル１１６Ｂを積層配置したもので、その表示画面は、撮像された画像をリアルタイムに表示するモニタ画面（ライブビュー画面）となったり、撮像済み画像を再生する再生画面となったりする。また、ディスプレイ１１６Ａに、第１撮像部１６の撮像画像Ｇ１、第２撮像部１７の撮像画像Ｇ２、全天球画像ＧＧなどを、それぞれ個別に表示したり、並列して表示したりしてもよい。

そして、これらの撮像装置１０及び本体装置１００は、無線通信を用いて互いにペアリング（無線接続認識）が可能になっている。ペアリングに用いる無線通信としては、例えば、無線ＬＡＮ（Ｗｉ−Ｆｉ）やＢｌｕｅｔｏｏｔｈ（登録商標）、赤外線通信などが挙げられる。このようにして、本体装置１００は、撮像装置１０で撮像された画像（データ）を受信取得して、画像をライブビュー画像としてディスプレイ１１６Ａに表示する。なお、本実施形態において、画像とは、保存済みの画像に限らず、ライブビュー画面に表示されている画像（ライブビュー画像：保存前の画像）を含む広義の意味である。

図３は、撮像装置１０の、（ａ）第１の姿勢、（ｂ）第２の姿勢を示す概略図である。
撮像装置１０を用いて撮像する場合、撮像装置１０が第１の姿勢又は第２の姿勢であるとして、広角画像がそれぞれ処理される。第１の姿勢は、図３（ａ）に示すように、撮像装置１０の正面中央部に配置した撮像系１６，１７の魚眼レンズ１６Ｂ，１７Ｂの光軸方向が重力方向に対して略平行となる水平撮り姿勢であり、第２の姿勢は、図３（ｂ）に示すように、撮像装置１０の魚眼レンズ１６Ｂ，１７Ｂの光軸方向が重力方向に対して略垂直となる垂直撮り姿勢である。

以後、撮像装置１０を用いて、垂直撮り姿勢で撮像した場合について、撮像範囲などを説明する。
図４は、（ａ）撮像装置１０の撮像範囲、（ｂ）ディスプレイ１１６Ａに表示される広角画像、（ｃ）球面座標系で表現した広角画像を示す説明図である。図５は、合成した全天球画像ＧＧを示す説明図である。図６は、全天球画像ＧＧの継ぎ目Ｊにおける、（ａ）色味が異なる状態、（ｂ）色味が一致した状態を示す説明図である。

第１撮像部１６の撮像範囲は、図４（ａ）に示すように、撮像地点（撮像素子１６Ｃ）から略半球分の方位を含む範囲となる。なお、第１撮像部１６の光軸Ｃ１の軸回りの回転角を回転角度θ、光軸Ｃ１に対する左右水平方向の回転角を水平角度δ、光軸Ｃ１に対する上下垂直（重力）方向の回転角を垂直角度φとする。なお、第２撮像部１７の撮像範囲は、撮像方向が光軸Ｃ１の向きとは正反対、つまり、水平角度δが１８０°異なる以外は、第１撮像部１６の撮像範囲と略等しい。また、一般的な水平角度δ及び垂直角度φの最大範囲は、−９０°〜＋９０°を超え、−１０５°〜＋１０５°程度である（又は、１８０°を超え、２１０°程度）。更に言い換えると、第１撮像部１６及び第２撮像部１７の撮像範囲は、半球を若干超える大きさである。

また、撮像系１６，１７で撮像された撮像画像Ｇ１，Ｇ２を、広角画像としてディスプレイ１１６Ａに表示すると、撮像画像Ｇ１は、図４（ｂ）に示すように、光軸Ｃ１に対する入射角度、すなわち垂直角度φに対応した像高ｈでそれぞれ画素画像が生成され、表示される。つまり、撮像画像Ｇ１，Ｇ２を極座標系で表現することができる。なお、像高ｈと、入射角度φとの関係は、投影モデルに応じた射影関数で決定される。また、撮像画像Ｇ２も、撮像画像Ｇ１と同様である。

さらに、撮像画像Ｇ１，Ｇ２を球面座標系で表現すると、図４（ｃ）に示すように、回転角度θと、垂直角度φと、を座標とする配列、つまり、座標値（θ，φ）として表現できる。なお、回転角度θは、０〜３６０°（又は、−１８０°〜＋１８０°）の範囲となり、垂直角度φは、−９０°〜＋９０°（又は、０〜１８０°）の範囲となる。

全天球画像ＧＧは、図５に示すように、撮像画像Ｇ１，Ｇ２のうち半球の部分を、継ぎ目Ｊで継ぎ合わせたものである。撮像系１６，１７で被写体を撮像した際に、各撮像系１６，１７に共通して写り込んだ被写体や背景などの画像部分が含まれる重複領域（特に、水平角度δ及び垂直角度φが−９０°〜＋９０°を超えた範囲）が存在するため、この重複領域が、同一像を表す基準データとして画像の継ぎ合せの参考とされ、継ぎ目Ｊが設定される。

そして、従来の画像処理方法であっても、全天球画像ＧＧの継ぎ目Ｊでは、被写体や背景などが、不一致状態で結合・合成されることはなく、画像としては、連続した状態になっているが、色味（特に、ホワイトバランスＷＢ１，ＷＢ２）は、継ぎ目Ｊを境界に撮像画像Ｇ１，Ｇ２間で異なっている（図６（ａ）参照）。そこで、本実施形態では、撮像画像Ｇ１，Ｇ２に対して、以下の画像処理を行って、色味の違いを軽減又は無くした撮像画像Ｇ１０，Ｇ２０を得て、全天球画像ＧＧを合成している（図６（ｂ）参照）。

画像処理工程について説明する。
図７は、画像処理工程を示すフローチャートである。ただし、広角画像の歪を補正する処理（歪補正処理）や、半球画像を結合し、全天球画像ＧＧを合成する処理（全天球合成処理）などは、画像処理において一般的に用いられている周知技術が利用できるため、説明を省略する。

まず、ステップＳ１において、撮像装置１０を用いて、２つの撮像系１６，１７により、被写体を撮像する。

ステップＳ２において、撮像系１６，１７により撮像された撮像画像Ｇ１，Ｇ２を取得手段２０で本体装置１００に取得する。

ステップＳ３において、ホワイトバランス算出手段３０は、取得した撮像画像Ｇ１，Ｇ２を解析し、撮像画像Ｇ１，Ｇ２におけるホワイトバランスＷＢ１，ＷＢ２を算出する。このとき、撮像画像Ｇ１，Ｇ２の解析は、撮像時の光源の種別に応じたテーブルなどを用いて行う。

ステップＳ４において、補正手段４０の設定手段４１は、撮像画像Ｇ１，Ｇ２を結合し合成する際に、継ぎ目Ｊとなる部分のホワイトバランス（値）ＷＢ３を設定する。このホワイトバランスＷＢ３は、撮像画像Ｇ１における継ぎ目Ｊに対応する部分（境界）のホワイトバランスＷ１と、撮像画像Ｇ２における継ぎ目Ｊに対応する部分のホワイトバランスＷ２との間に含まれる値、例えば、ホワイトバランスＷ１と、ホワイトバランスＷ２との平均値を設定することが好ましいが、他に追加的に画像処理を行う場合には、これらのホワイトバランスＷ１，Ｗ２間に含まれず、大きい値又は小さい値であってもよい。また、ホワイトバランス（値）ＷＢ３は、固定値であったり、ユーザにより設定される値であってもよい。なお、ホワイトバランス（値）ＷＢ３は、通常同じ値であるが、撮像系１６，１７には個体差があるため、撮像画像Ｇ１，Ｇ２のホワイトバランス調整後の撮像画像Ｇ１０，Ｇ２０における継ぎ目Ｊにおいて、同じ色味となる値であれば、若干異なっていてもよい。

ステップＳ５において、補正手段４０の補間値算出手段４２は、補間関数ｆｘにより、ステップＳ３で算出されたホワイトバランスＷＢ１，ＷＢ２と、ステップＳ３で設定されたホワイトバランスＷＢ３との間の補間値ＦＷ１，ＦＷ２をそれぞれ算出する。

ここで用いる補間関数ｆｘには、線形補間（一次関数補間）、スプライン補間（二次関数補間、三次関数補間、・・・Ｎ次関数補間）などが含まれる。

ステップＳ６において、補正手段４０は、ステップＳ５で算出された補間値ＦＷ１，ＦＷ２に基づいて、撮像画像Ｇ１，Ｇ２におけるホワイトバランスＷＢ１，ＷＢ２を、ホワイトバランスＷＢ１０，ＷＢ２０に補正する。

このとき、撮像画像Ｇ１，Ｇ２における継ぎ目Ｊでのホワイトバランス値が、ホワイトバランスＷＢ３となるように、撮像画像Ｇ１，Ｇ２の中心（光軸Ｃ１，Ｃ２）から高像高側（画像端）へと、ホワイトバランスＷＢ１０，ＷＢ２０に勾配を設けて連続的に変化させる（図４（ｂ）参照）。ただし、撮像画像Ｇ１，Ｇ２の中心は、魚眼レンズ１６Ｂ，１７Ｂの撮像範囲の中心（光軸Ｃ１，Ｃ２）と必ずしも一致する必要はなく、特定の被写体の重心や、最も輝度が高い点（最も白い点）など、中心と一致しない、偏心した位置を選択してもよい。

ステップＳ７において、調整手段５０は、ステップＳ６で補正されたホワイトバランスＷＢ１０，ＷＢ２０に加え、ステップＳ３で算出されたホワイトバランスＷＢ１，ＷＢ２と、ステップ４で設定された継ぎ目のホワイトバランスＷＢ３とに基づいて、撮像画像Ｇ１，Ｇ２を調整する。この結果、撮像画像Ｇ１，Ｇ２は、ホワイトバランス調整済みの撮像画像Ｇ１０，Ｇ２０となる。このとき、撮像画像Ｇ１０，Ｇ２０における継ぎ目Ｊに対応する部分のホワイトバランス値は、それぞれＷＢ３となる。

ステップＳ８において、合成手段６０は、ステップＳ７で調整された撮像画像Ｇ１０，Ｇ２０同士を、継ぎ目Ｊを境界にして合成する。

このようにして、元画像のホワイトバランスＷ１，Ｗ２間に差がある複数の撮像画像Ｇ１，Ｇ２から、継ぎ目Ｊの目立たない全天球画像ＧＧをステップＳ９において得ることができる。

以上、説明したとおり、本実施形態の画像処理装置１は、複数の撮像系１６，１７により撮像された複数の撮像画像Ｇ１，Ｇ２を取得する取得手段２０と、取得手段２０により取得された複数の撮像画像Ｇ１，Ｇ２におけるホワイトバランスＷＢ１，ＷＢ２をそれぞれ算出するホワイトバランス算出手段３０と、ホワイトバランス算出手段３０により算出されたホワイトバランスＷＢ１，ＷＢ２にそれぞれ補正を施す補正手段４０と、補正手段４０により補正されたホワイトバランスＷＢ１０，ＷＢ２０に基づいて、複数の撮像画像Ｇ１，Ｇ２をそれぞれ調整する調整手段５０と、調整手段５０により調整された複数の撮像画像Ｇ１０，Ｇ２０同士を合成することで、全天球画像ＧＧを生成する合成手段６０と、を備え、補正手段４０は、複数の撮像画像Ｇ１，Ｇ２同士の継ぎ目ＪのホワイトバランスＷＢ３を設定する設定手段４１と、補間関数ｆｘにより、ホワイトバランス算出手段３０により算出されたホワイトバランスＷＢ１，ＷＢ２と、設定手段４１により設定された継ぎ目ＪのホワイトバランスＷＢ３との間の補間値ＦＷ１，ＦＷ２をそれぞれ算出する補間値算出手段４２と、を有し、補間値算出手段４２により算出された補間値ＦＷ１，ＦＷ２に基づいて、複数の撮像画像Ｇ１，Ｇ２におけるホワイトバランスＷＢ１，ＷＢ２をそれぞれ連続的に変化させ、前記ホワイトバランスＷＢ１，ＷＢ２に補正を施し、調整手段５０は、補正手段４０により補正されたホワイトバランスＷＢ１０，ＷＢ２０に加え、ホワイトバランス算出手段３０により算出されたそれぞれのホワイトバランスＷＢ１，ＷＢ２と、継ぎ目ＪのホワイトバランスＷＢ３と、に基づいて、複数の撮像画像Ｇ１，Ｇ２をそれぞれ調整するものである。

これにより、調整された撮像画像Ｇ１０，Ｇ２０における継ぎ目Ｊに対応する部分のホワイトバランスが等しくなる（一致する）から、撮像された複数の撮像画像Ｇ１，Ｇ２を合成し、全天球画像ＧＧを生成する際に、継ぎ目Ｊで生じる色味の違いを軽減させることができる。

実施形態では、継ぎ目Ｊに設定するホワイトバランスＷＢ３は、対応するホワイトバランスＷＢ１，ＷＢ２同士の間に含まれる値である。これにより、撮像画像Ｇ１，Ｇ２におけるホワイトバランスＷＢ１，ＷＢ２が、平均的に補正される。ただし、継ぎ目Ｊに設定するホワイトバランスＷＢ３は、対応するホワイトバランスＷＢ１，ＷＢ２同士の平均値でもよく、また、被写体や撮像環境に応じて、撮像画像Ｇ１，Ｇ２の一方におけるホワイトバランスＷＢ１，ＷＢ２に近くてもよい。

実施形態では、補正手段４０は、補間値算出手段４２により算出された補間値ＦＷに基づいて、複数の撮像画像Ｇ１，Ｇ２のうち一の画像において、画像の所定位置、例えば中心（光軸Ｃ１，Ｃ２）から高像高側（画像端）へとホワイトバランスＷＢ１０を連続的に変化させる。これにより、調整された撮像画像Ｇ１０，Ｇ２０を、より自然で滑らかな画像にすることができる。

実施形態において、補間関数ｆｘに線形補間を採用することで、補間値ＦＷ１，ＦＷ２の算出速度を早くすることができ、撮像画像Ｇ１，Ｇ２の画像調整を早く行うことができる。また、補間関数ｆｘにスプライン補間を採用することで、ホワイトバランスＷＢ１０，ＷＢ２０を、より自然で滑らかなホワイトバランスとすることができ、調整された撮像画像Ｇ１０，Ｇ２０を、より自然で滑らかな画像にすることができる。

以上、本発明の好ましい実施形態について詳述したが、本発明に係る画像処理装置、画像処理方法及びプログラムは、上述した実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変化が可能である。

（変形例）
上記実施形態では、補正手段４０は、撮像画像Ｇ１，Ｇ２におけるホワイトバランスＷB１，ＷＢ２をそれぞれ補正したが、補正手段４０は、複数の撮像画像Ｇ１，Ｇ２のうち少なくとも１つに対して、つまり、一方のみ、例えば、撮像画像Ｇ２におけるホワイトバランスＷＢ２のみを補正してもよい。更に言い換えると、継ぎ目ＪのホワイトバランスＷＢ３に、撮像画像Ｇ１における継ぎ目Ｊに対応する部分におけるホワイトバランス値を採用し、撮像画像Ｇ２におけるホワイトバランスＷＢ２と、設定手段４１により設定されたホワイトバランスＷＢ３との間の補間値ＦＷ２を算出してもよい。そして、算出された補間値ＦＷ２に基づいて、撮像画像Ｇ２におけるホワイトバランスＷＢ２を連続的に変化させてもよい。

また、撮像画像Ｇ１，Ｇ２では、色味（ホワイトバランスＷＢ１，ＷＢ２）以外に、明るさ（例えば、露出ＡＥ）が異なることがある。そこで、明るさの違いを軽減又は無くすように、画像処理を行ってもよい。露出ＡＥは、絞り値（Ｆ値）と露光時間（シャッター速度）によって決まる度合いを意味するもので、度合いの大きさである露出値が単位「ＥＶ」で表現されるものである。この場合も同様にして、複数の撮像画像Ｇ１，Ｇ２同士の継ぎ目Ｊの露出として、同じ値又は継ぎ目Ｊに対応する部分の露出同士の間の値などを設定すればよい。詳述すると、露出値算出手段は、撮像画像Ｇ１，Ｇ２における露出値をそれぞれ算出し、補正手段４０の露出値設定手段は、複数の撮像画像Ｇ１，Ｇ２同士の継ぎ目Ｊの露出値を設定する。補正手段４０の露出補間値算出手段は、補間関数ｆｘにより、露出値算出手段により算出された露出値と、露出値設定手段により設定された露出値との間の露出補間値をそれぞれ算出する。補正手段４０は、算出された露出補間値に基づいて、撮像画像Ｇ１，Ｇ２における露出値をそれぞれ連続的に変化させる。

上記実施形態では、撮像画像Ｇ１，Ｇ２は、２つであったが、３つ以上の複数の撮像画像Ｇ１，Ｇ２・・・であってもよく、この場合、２つずつ画像処理をして合成すればよい。

上記実施形態では、画像処理装置１は、撮像装置１０と本体装置１００とが分離可能なセパレート型であったが、撮像装置１０と本体装置１００とが分離不能な一体型であってもよい。

また、以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲のとおりである。
＜請求項１＞
複数の撮像系により撮像された複数の撮像画像を取得する取得手段と、
前記取得手段により取得された前記複数の撮像画像におけるホワイトバランスをそれぞれ算出するホワイトバランス算出手段と、
前記ホワイトバランス算出手段により算出された前記ホワイトバランスにそれぞれ補正を施す補正手段と、
前記補正手段により補正されたホワイトバランスに基づいて、前記複数の撮像画像をそれぞれ調整する調整手段と、
前記調整手段により調整された前記複数の撮像画像同士を合成することで、全天球画像を生成する合成手段と、を備え、
前記補正手段は、
前記複数の撮像画像同士の継ぎ目のホワイトバランスを設定する設定手段と、
補間関数により、前記ホワイトバランス算出手段により算出されたそれぞれの前記ホワイトバランスと、前記設定手段により設定された前記継ぎ目のホワイトバランスとの間の補間値をそれぞれ算出する補間値算出手段と、
を有し、
前記補間値算出手段により算出された前記補間値に基づいて、前記複数の撮像画像における前記ホワイトバランスをそれぞれ連続的に変化させ、前記ホワイトバランスに補正を施し、
前記調整手段は、
前記補正手段により補正されたホワイトバランスに加え、前記ホワイトバランス算出手段により算出されたそれぞれの前記ホワイトバランスと、前記継ぎ目のホワイトバランスとに基づいて、前記複数の撮像画像をそれぞれ調整する
ことを特徴とする画像処理装置。
＜請求項２＞
前記設定手段により設定される前記継ぎ目のホワイトバランスは、前記ホワイトバランス算出手段により算出された前記ホワイトバランス同士の間の値である
ことを特徴とする請求項１に記載の画像処理装置。
＜請求項３＞
前記補正手段は、取得された前記複数の撮像画像のうち少なくとも１つの前記撮像画像に対して、前記ホワイトバランス算出手段により算出された前記ホワイトバランスに補正を施す
ことを特徴とする請求項１又は２に記載の画像処理装置。
＜請求項４＞
前記補正手段は、前記補間値算出手段により算出された前記補間値に基づいて、前記複数の撮像画像のうち少なくとも１つの前記撮像画像における前記ホワイトバランスを、画像の所定位置から画像端へと連続的に変化させる
ことを特徴とする請求項１から３までのいずれか１項に記載の画像処理装置。
＜請求項５＞
前記補間値算出手段は、前記補間関数として線形補間又はスプライン補間を含む
ことを特徴とする請求項１から４までのいずれか１項に記載の画像処理装置。
＜請求項６＞
前記複数の撮像画像における露出値をそれぞれ算出する露出値算出手段を備え、
前記補正手段は、
前記複数の撮像画像同士の継ぎ目の露出値を設定する露出値設定手段と、
前記補間関数により、前記露出値算出手段により算出されたそれぞれの前記露出値と、前記露出値設定手段により設定された前記露出値との間の露出補間値をそれぞれ算出する露出補間値算出手段と、
を有し、
前記露出補間値算出手段により算出された前記露出補間値に基づいて、前記露出値算出手段により算出された前記露出値をそれぞれ連続的に変化させる
ことを特徴とする請求項１から５までのいずれか１項に記載の画像処理装置。
＜請求項７＞
画像処理装置の画像処理方法であって、
複数の撮像系により撮像された複数の撮像画像を取得する画像取得ステップと、
取得された前記複数の撮像画像におけるホワイトバランスをそれぞれ算出するホワイトバランス算出ステップと、
前記複数の撮像画像同士の継ぎ目のホワイトバランスを設定するホワイトバランス設定ステップと、
補間関数により、算出されたそれぞれの前記ホワイトバランスと、設定された前記継ぎ目のホワイトバランスとの間の補間値をそれぞれ算出する補間値算出ステップと、
算出された前記補間値に基づいて、前記複数の撮像画像における前記ホワイトバランスを連続的に変化させ、前記ホワイトバランスにそれぞれ補正を施すホワイトバランス補正ステップと、
補正された前記ホワイトバランスに基づいて、前記複数の撮像画像をそれぞれ調整する画像調整ステップと、
調整された前記複数の撮像画像同士を合成することで、全天球画像を生成する画像生成ステップと、を含み、
前記画像調整ステップは、
補正された前記ホワイトバランスに加え、前記ホワイトバランス算出ステップにより算出されたそれぞれの前記ホワイトバランスと、前記継ぎ目のホワイトバランスとに基づいて、前記複数の撮像画像をそれぞれ調整する
ことを特徴とする画像処理装置の画像処理方法。
＜請求項８＞
画像処理装置の画像処理用プログラムであって、
コンピュータに、
複数の撮像系により撮像された複数の撮像画像を取得する画像取得機能と、
取得された前記複数の撮像画像におけるホワイトバランスをそれぞれ算出するホワイトバランス算出機能と、
前記複数の撮像画像同士の継ぎ目のホワイトバランスを設定するホワイトバランス設定機能と、
補間関数により、算出されたそれぞれの前記ホワイトバランスと、設定された前記継ぎ目のホワイトバランスとの間の補間値をそれぞれ算出する補間値算出機能と、
算出された前記補間値に基づいて、前記複数の撮像画像における前記ホワイトバランスを連続的に変化させ、前記ホワイトバランスにそれぞれ補正を施すホワイトバランス補正機能と、
補正された前記ホワイトバランスに基づいて、前記複数の撮像画像をそれぞれ調整する画像調整機能と、
調整された前記複数の撮像画像同士を合成することで、全天球画像を生成する画像生成機能と、を実現させ、
前記画像調整機能は、
補正された前記ホワイトバランスに加え、前記ホワイトバランス算出機能により算出されたそれぞれの前記ホワイトバランスと、前記継ぎ目のホワイトバランスとに基づいて、前記複数の撮像画像をそれぞれ調整する
ことを特徴とするプログラム。

１ 画像処理装置
１０ 撮像装置、１６ 第１撮像部（撮像系），１７ 第２撮像部（撮像系）
１００ 本体装置
２０ 取得手段
３０ ホワイトバランス算出手段
４０ 補正手段、４１ 設定手段、４２ 補間値算出手段
５０ 調整手段
６０ 合成手段
Ｇｎ 撮像画像、ＧＧ 全天球画像
Ｃｎ 光軸
Ｊ 継ぎ目
ＷＢｎ ホワイトバランス
ＦＷｎ 補間値、ｆｘ 補間関数

Claims (7)

1. 複数の撮像系により撮像された複数の撮像画像を取得する取得手段と、
   前記取得手段により取得された前記複数の撮像画像におけるホワイトバランスをそれぞれ算出するホワイトバランス算出手段と、
   前記ホワイトバランス算出手段により算出された前記ホワイトバランスにそれぞれ補正を施す補正手段と、
   前記補正手段により補正されたホワイトバランスに基づいて、前記複数の撮像画像をそれぞれ調整する調整手段と、
   前記調整手段により調整された前記複数の撮像画像同士を合成することで、全天球画像を生成する合成手段と、を備え、
   前記補正手段は、
   前記複数の撮像画像同士の継ぎ目のホワイトバランスを設定する設定手段と、
   補間関数により、前記ホワイトバランス算出手段により算出されたそれぞれの前記ホワイトバランスと、前記設定手段により設定された前記継ぎ目のホワイトバランスとの間の補間値をそれぞれ算出する補間値算出手段と、
   を有し、
   前記補間値算出手段により算出された前記補間値に基づいて、前記複数の撮像画像における前記ホワイトバランスをそれぞれ連続的に変化させ、前記ホワイトバランスに補正を施し、
   前記調整手段は、
   前記補正手段により補正されたホワイトバランスに加え、前記ホワイトバランス算出手段により算出されたそれぞれの前記ホワイトバランスと、前記継ぎ目のホワイトバランスとに基づいて、前記複数の撮像画像のそれぞれにおける前記ホワイトバランスを、前記複数の撮像画像のそれぞれにおいて撮像範囲の中心、特定の被写体の中心、又は、輝度の高い点の少なくとも何れかの位置から画像端へと連続的に変化させるように調整する
   ことを特徴とする画像処理装置。
2. 前記設定手段により設定される前記継ぎ目のホワイトバランスは、前記ホワイトバランス算出手段により算出された前記ホワイトバランス同士の間の値である
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記補正手段は、取得された前記複数の撮像画像に対して、前記ホワイトバランス算出手段により算出された前記ホワイトバランスに補正を施すことを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記補間値算出手段は、前記補間関数として線形補間又はスプライン補間を含む
   ことを特徴とする請求項１から３までのいずれか１項に記載の画像処理装置。
5. 前記複数の撮像画像における露出値をそれぞれ算出する露出値算出手段を備え、
   前記補正手段は、
   前記複数の撮像画像同士の継ぎ目の露出値を設定する露出値設定手段と、
   前記補間関数により、前記露出値算出手段により算出されたそれぞれの前記露出値と、
   前記露出値設定手段により設定された前記露出値との間の露出補間値をそれぞれ算出する露出補間値算出手段と、
   を有し、
   前記露出補間値算出手段により算出された前記露出補間値に基づいて、前記露出値算出手段により算出された前記露出値をそれぞれ連続的に変化させる
   ことを特徴とする請求項１から４までのいずれか１項に記載の画像処理装置。
6. 複数の撮像系により撮像された複数の撮像画像を取得する画像取得ステップと、
   取得された前記複数の撮像画像におけるホワイトバランスをそれぞれ算出するホワイトバランス算出ステップと、
   前記複数の撮像画像同士の継ぎ目のホワイトバランスを設定するホワイトバランス設定ステップと、
   補間関数により、算出されたそれぞれの前記ホワイトバランスと、設定された前記継ぎ目のホワイトバランスとの間の補間値をそれぞれ算出する補間値算出ステップと、
   算出された前記補間値に基づいて、前記複数の撮像画像における前記ホワイトバランスを連続的に変化させ、前記ホワイトバランスにそれぞれ補正を施すホワイトバランス補正ステップと、
   補正された前記ホワイトバランスに基づいて、前記複数の撮像画像をそれぞれ調整する画像調整ステップと、
   調整された前記複数の撮像画像同士を合成することで、全天球画像を生成する画像生成ステップと、を含み、
   前記画像調整ステップは、
   補正された前記ホワイトバランスに加え、前記ホワイトバランス算出ステップにより算出されたそれぞれの前記ホワイトバランスと、前記継ぎ目のホワイトバランスとに基づいて、前記複数の撮像画像のそれぞれにおける前記ホワイトバランスを、前記複数の撮像画像のそれぞれにおいて撮像範囲の中心、特定の被写体の中心、又は、輝度の高い点の少なくとも何れかの位置から画像端へと連続的に変化させるように調整する
   ことを特徴とする画像処理方法。
7. 画像処理装置が備えるコンピュータに、
   複数の撮像系により撮像された複数の撮像画像を取得する画像取得機能、
   取得された前記複数の撮像画像におけるホワイトバランスをそれぞれ算出するホワイトバランス算出機能、
   前記複数の撮像画像同士の継ぎ目のホワイトバランスを設定するホワイトバランス設定機能、
   補間関数により、算出されたそれぞれの前記ホワイトバランスと、設定された前記継ぎ目のホワイトバランスとの間の補間値をそれぞれ算出する補間値算出機能、
   算出された前記補間値に基づいて、前記複数の撮像画像における前記ホワイトバランスを連続的に変化させ、前記ホワイトバランスにそれぞれ補正を施すホワイトバランス補正機能、
   補正された前記ホワイトバランスに基づいて、前記複数の撮像画像をそれぞれ調整する画像調整機能、
   調整された前記複数の撮像画像同士を合成することで、全天球画像を生成する画像生成機能、を実現させ、
   前記画像調整機能は、
   補正された前記ホワイトバランスに加え、前記ホワイトバランス算出機能により算出されたそれぞれの前記ホワイトバランスと、前記継ぎ目のホワイトバランスとに基づいて、前記複数の撮像画像のそれぞれにおける前記ホワイトバランスを、前記複数の撮像画像のそれぞれにおいて撮像範囲の中心、特定の被写体の中心、又は、輝度の高い点の少なくとも何れかの位置から画像端へと連続的に変化させるように調整する
   ことを特徴とするプログラム。

Images