JP6725105B2 - 撮像装置及び画像処理方法 - Google Patents

Description

本開示は、撮像装置及び画像処理方法に関し、特に、デジタルカメラの画像補正に関する。

特許文献１及び２のように、全天球撮像システムの複数の撮像素子から得られた２つの画像に対して画像処理をすることが知られている。

特開２０１４−５７１５６号公報 特開２０１５−９５８５３号公報

しかし従来の全天球撮像システムは、２つの画像の境界において明るさ及び色調の不連続性が目立つことによって、使用者は全天球映像システムから得られる画像に不自然さを感じてしまう。

従って、本発明の目的は、２つの画像を合成するときに、画像の境界を目立ちにくくする撮像装置を提供することである。

上記課題を解決するための例示的実施形態は、例えば以下のように実現され得る。

ある実施形態による撮像装置は、第１領域を撮像し、第１画像を出力する第１撮像手段と、第２領域を撮像し、第２画像を出力する第２撮像手段と、を備え、前記第１画像と前記第２画像を合成して全天球画像を生成する撮像装置であって、前記第１撮像手段と前記第２撮像手段には、それぞれ順光と逆光を判定する順光逆光判定手段を設定して、何れか一方の前記順光逆光判定手段が、順光を判定した場合には、前記第１撮像手段と前記第２撮像手段が独立して自動露出又は自動ホワイトバランス制御をした画像を繋ぎ合わせて、全天球画像を生成する第１モードで制御し、何れの前記順光逆光判定手段も共に順光又は逆光を判定した場合には、前記第１撮像手段と前記第２撮像手段が連動して自動露出又は自動ホワイトバランス制御をした画像を繋ぎ合わせて全天球画像を生成する第２モードで制御する制御手段を備える。

ある実施形態による画像処理方法は、第１撮像手段によって第１領域を撮像し出力された第１画像と、第２撮像手段によって第２領域を撮像し出力された第２画像と、を合成して全天球画像を生成する画像処理方法であって、前記第１領域及び前記第２領域がそれぞれ順光か逆光かを、順光逆光判定手段で判定して、前記第１領域又は前記第２領域の一方を順光と判定した場合には、制御手段で、前記第１撮像手段と前記第２撮像手段が独立して自動露出又は自動ホワイトバランス制御をした画像を繋ぎ合わせて全天球画像を生成する第１モードで制御を行い、前記第１領域又は前記第２領域の両方が順光又は逆光と判定した場合には、前記制御手段で、前記第１撮像手段と前記第２撮像手段が連動して自動露出又は自動ホワイトバランス制御をした画像を繋ぎ合わせて全天球画像を生成する第２モードで制御することと、を含む。

本発明によれば、２つの画像を合成するときに、画像の境界を目立ちにくくする撮像装置を提供することができる。

本開示の例示的実施形態による撮像装置の概略図である。 撮像装置を上から見たときの断面図である。 撮像装置のハードウェアの構造を示すブロック図である。 ２つの撮像素子によって取得された画像を示す図である。 ２つの撮像素子の両方が順光でも逆光でもない状態を示す図である。 撮像素子が逆光であり、撮像素子が順光である状態を示す図である。 ２つの撮像素子が順光又は逆光のいずれであるかによって場合分けされた状態と、モードとを示す図である。 アルゴリズムのフロー図である。 独立した制御の一例を示す図である。 独立した制御の一例を示す図である。 独立した制御の一例を示す図である。 連動した制御の一例を示す図である。 連動した制御の一例を示す図である。

以下の記載において、同じ参照番号は同じ構成要素を表す。

システムの全体構成
図１は、本開示の例示的実施形態による撮像装置１００の概略図である。撮像装置１００は、例えば、実質的に全天球の撮像を行う、いわゆる全天球カメラである。撮像装置１００は、典型的には撮影者が手で持って撮影できる形状及び大きさを有する筐体１１０を備える。筐体１１０の平行な２つの主平面のそれぞれの上には、光学系１２０が設けられる。図１では光学系１２０は、１つしか見えないが、筐体１１０の反対側に光学系１２０に対応するもう一つの光学系が存在する。筐体１１０には、典型的には銘板１３０が設けられる。本明細書では銘板１３０が設けられる面を表（おもて）面という。

図２は、撮像装置１００を上から見たときの断面図である。光学系１２０及び１２２は、典型的には全天球の実質的に半分であり、互いに実質的に重複しない領域の画像を、それぞれ撮像素子２２０及び２２２上で結像させる。すなわち、光学系１２０及び撮像素子２２０の組合せ、及び光学系１２２及び撮像素子２２２の組合せによって得られる画像の画角は、それぞれ実質的に１８０°である。例えば、撮像素子２２０は、筐体１１０の上から見た角度θが０°〜１８０°の半球を撮像し、撮像素子２２２は、筐体１１０の上から見た角度θが１８０°〜３６０°の半球を撮像する。撮像素子２２０及び２２２によって撮像された画像を合成すれば全天球の画像が得られる。光学系１２０及び撮像素子２２０の組合せ、及び光学系１２２及び撮像素子２２２の組合せによって得られる画像の領域は、全天球の半分より、微小量、大きくてもよい。光学系１２０及び撮像素子２２０の組合せ、及び光学系１２２及び撮像素子２２２の組合せによって得られる画像の領域を全天球の半分より、微小量、大きくすれば、得られた２つの領域の画像を合成する（つなぎ合わせる、スティッチするともいう）ときに有利であり得る。撮像素子２２０及び２２２は、例えばＣＭＯＳ（相補型金属酸化膜半導体）センサ又はＣＣＤ（電荷結合素子）のよう
なエリア型の蓄積型光電変換素子である。

ハードウェア
図３は、撮像装置１００のハードウェアの構造を示すブロック図である。撮像装置１００は、ＣＰＵ（central processing unit）３１０、ＲＯＭ（read-only memory）３１２
、ＲＡＭ（random access memory）３１４、外部メモリ３１６を備え、これらの要素は、バス３１８を介して動作可能に接続される。

信号処理回路３２０は、撮像素子２２０によって出力された画像信号Ａを受け取る。信号処理回路３２０は、受け取られた画像信号Ａに必要な画像補正を行い、評価回路３３０に転送する。評価回路３３０は、自動露出（ＡＥ）及び自動ホワイトバランス（ＡＷＢ）のうちの少なくとも１つを行うための、画像信号Ａについての評価Ａを生成し、ＣＰＵ３１０に転送する。

信号処理回路３２２は、撮像素子２２２によって出力された画像信号Ｂを受け取る。信号処理回路３２２は、受け取られた画像信号Ｂに必要な画像補正を行い、評価回路３３２に転送する。評価回路３３２は、自動露出及び自動ホワイトバランスのうちの少なくとも１つを行うための、画像信号Ｂについての評価Ｂを生成し、ＣＰＵ３１０に転送する。

ＣＰＵ３１０は、評価Ａに基づいて画像信号Ａの画像補正のためのパラメータＡを生成し、評価Ｂに基づいて画像信号Ｂの画像補正のためのパラメータＢを生成する。

信号処理回路３２０は、パラメータＡを受け取り、パラメータＡに基づいてレベルを補正する。信号処理回路３２２は、パラメータＢを受け取り、パラメータＢに基づいてレベルを補正する。

合成処理回路３５０は、補正された画像信号Ａ及びＢを受け取り、一つの画像に合成し、合成された画像を例えば外部メモリ３１６に出力する。すなわち画像信号Ａ及びＢのレベルは、必要に応じて調整されてから合成処理がなされる。

図４は、撮像素子２２０によって取得された画像と、撮像素子２２２によって取得された画像とを示す図である。撮像素子２２０によって出力された画像信号Ａは、全天球の半分が球形の領域に射影された画像４１０を表す。撮像素子２２２によって出力された画像信号Ｂは、全天球の半分が球形の領域に射影された画像４１２を表す。

信号処理回路３２０は、画像４１０を四角形の領域４２０に変換する。信号処理回路３２２は、画像４１２を四角形の領域４２２に変換する。これら四角形は、例えば正方形であるが、これには限定されない。

評価回路３３０は、画像４２０を評価領域４３０に分割し、その明るさ（自動露出の場合）又はＲＧＢ成分（自動ホワイトバランスの場合）を評価する。評価回路３３２は、画像４２２を評価領域４３２に分割し、その明るさ（自動露出の場合）又はＲＧＢ成分（自動ホワイトバランスの場合）を評価する。ここでＲＧＢ成分とは、例えば２４ビットで表現されるフルカラーの場合、それぞれが８ビットの値で表現されるＲ（赤）、Ｇ（緑）、Ｂ（青）の色成分である。

明るさの評価としては、順光及び逆光がある。例えば領域４３０のうち、画像中央領域の明るさと、画像上部領域の明るさとがほぼ等しいときには、順光であると判断できる。逆に、例えば領域４３０のうち、画像中央領域の明るさに対して、画像上部領域の明るさが大幅に大きいときには、例えば空に対応する領域に太陽があるとみなして、逆光である
と判断できる。色調の評価としては、太陽光、白熱電球光、蛍光灯光等のうちどの種類の光であるかに基づいて、後述する複数の撮影モードから選択が可能である。これらの明るさ又は色調についての評価は、評価回路３３０及び３３２が同様に行うことができる。

図５は、撮像素子２２０及び２２２の両方が順光でも逆光でもない状態を示す図である。図５では太陽のような強い光源が筐体１１０の真上から光を照射している。

図６は、撮像素子２２０が逆光であり、撮像素子２２２が順光である状態を示す図である。図６では太陽のような強い光源が筐体１１０の銘板１３０の側から光を照射している。

図７は、撮像素子２２０及び２２２が順光又は逆光のいずれであるかによって場合分けされた状態１〜４と、撮影モードＩ及びＩＩ（以後、それぞれモードＩ及びモードＩＩと言う）とを示す図である。モードＩは、典型的には屋外での撮影に使用される。モードＩＩは、典型的には屋内での撮影に使用される。

状態１では、撮像素子２２０が順光であり、撮像素子２２２が逆光である。状態２では、撮像素子２２０が逆光であり、撮像素子２２２が順光である。状態１及び２のときは、ＣＰＵ３１０は、後述するモードＩで画像信号Ａ及びＢを処理するよう、信号処理回路３２０及び３２２を制御する。

状態３では、撮像素子２２０及び２２２は共に順光である。状態４では、撮像素子２２０及び２２２は共に逆光である。状態３及び４のときは、ＣＰＵ３１０は、後述するモードＩＩで画像信号Ａ及びＢを処理するよう、信号処理回路３２０及び３２２を制御する。

アルゴリズム
図８は、ＣＰＵ３１０、信号処理回路３２０及び３２２、評価回路３３０及び３３２が実行するアルゴリズム８００のフロー図である。

８１０において、評価回路３３０及び３３２は、それぞれ画像信号Ａ及びＢが順光又は逆光のいずれであるかを判断する。８２０において、ＣＰＵ３１０は、図７に示す状態１〜４のうちいずれであるかを判断し、使用すべきモードを決定する。画像信号Ａ及びＢが状態１及び２の場合は、モードＩが選択される。画像信号Ａ及びＢが状態３及び４の場合は、モードＩＩが選択される。モードＩのときは処理は８３０に進み、モードＩＩのときは処理は８４０に進む。

８３０では、画像信号Ａ及びＢの露出が独立して制御される。８４０では、画像信号Ａ及びＢの露出が連動して制御される。

上では８３０及び８４０での露出の制御が説明されたが、ホワイトバランスの制御も同様になされ得る。すなわち、８３０ではホワイトバランスが独立に制御され、８４０ではホワイトバランスが連動して制御される。さらに８３０及び８４０において、露出及びホワイトバンスの両方が制御されてもよい。

システムの動作
図９は、８３０で行われる独立した制御の一例を示す図である。横軸は、筐体１１０の上から見た角度θを表し、縦軸は、撮像素子２２０及び２２２から出力された画像信号Ａ及びＢの出力レベルＬＡ、ＬＢと、補正後の出力レベルＬＣとを表す。本明細書においては、「出力レベル」とは、明るさ（自動露出の場合）、又はＲＧＢ成分（自動ホワイトバランスの場合）の出力レベルを言う。

図９の状態では、撮像素子２２０は順光で、撮像素子２２２は逆光であり、図７の状態１である。画像信号ＡのレベルＬＡは、画像信号ＢのレベルＬＢよりも低い。これらの画像信号Ａ及びＢを露出補正なしに合成すると、２つの領域の境目（θ＝０°及びθ＝１８０°）で、２つの画像の明暗差が目立つ。この明暗差を低減するために、画像信号ＡのレベルＬＡをレベルＬＣに上げて、画像信号ＢのレベルＬＢをレベルＬＣに下げる。これにより領域の境目での明暗差が低減される。この露出補正によって、合成された全天球の画像を見たときに境目が目立たなくなるという効果を奏する。本明細書及び特許請求の範囲において「低減する」という語は、除去する、すなわちある量をゼロにする場合も含む。

図１０は、８３０で行われる独立した制御の一例を示す図である。横軸は、筐体１１０の上から見た角度θを表し、縦軸は、撮像素子２２０及び２２２から出力された画像信号Ａ及びＢのレベルＬＡ、ＬＢと、補正後のレベルＬＣとを表す。図１０の状態では、撮像素子２２０は順光で、撮像素子２２２は逆光であり、図７の状態１である。画像信号ＡのレベルＬＡは、画像信号ＢのレベルＬＢよりも低い。これらの画像信号Ａ及びＢを露出補正なしに合成すると、２つの領域の境目（θ＝０°及びθ＝１８０°）で、２つの画像の明暗差が目立つ。画像信号Ａが最適なレベルとなりかつこの明暗差を低減するために、画像信号ＡのレベルＬＡはそのまま維持し、画像信号ＢのレベルＬＢをレベルＬＣに下げる。これにより画像信号Ａが最適なレベルとなりかつ領域の境目での明暗差が低減される。この露出補正によって、合成された全天球の画像を見たときに境目が目立たなくなるという効果を奏する。

図１１は、８３０で行われる独立した制御の一例を示す図である。横軸は、筐体１１０の上から見た角度θを表し、縦軸は、撮像素子２２０及び２２２から出力された画像信号Ａ及びＢのレベルＬＡ、ＬＢと、補正後のレベルＬＣとを表す。図１１の状態では、撮像素子２２０は逆光で、撮像素子２２２は順光であり、図７の状態２である。画像信号ＡのレベルＬＡは、画像信号ＢのレベルＬＢよりも高い。これらの画像信号Ａ及びＢを露出補正なしに合成すると、２つの領域の境目（θ＝０°及びθ＝１８０°）で、２つの画像の明暗差が目立つ。この明暗差を低減するために、画像信号ＡのレベルＬＡはそのまま維持し、画像信号ＢのレベルＬＢをレベルＬＣに上げる。これにより領域の境目での明暗差が低減される。この露出補正によって、合成された全天球の画像を見たときに境目が目立たなくなるという効果を奏する。

上述のように、図９〜１１の独立した制御は、撮像素子２２０に対応する第１領域に光源が含まれ、かつ撮像素子２２２に対応する第２領域に光源が含まれない場合、又は第１領域に光源が含まれず、かつ前記第２領域に光源が含まれる場合には、画像信号Ａ及び画像信号Ｂに対して、自動露出又は自動ホワイトバランスの異なる補正を行う。

図１０及び１１の独立した制御においては、例えば、撮像素子２２２のレベルＢを、撮像素子２２０のレベルＡに合わせる補正をしてもよい。これにより、撮影者が、銘板１３０がある面、すなわち表（おもて）面の撮像素子２２０の露出を優先させることができる点で有利であり得る。

図１２は、８４０で行われる連動した制御の一例を示す図である。横軸は、筐体１１０の上から見た角度θを表し、縦軸は、撮像素子２２０及び２２２から出力された画像信号Ａ及びＢのレベルＬＡ、ＬＢと、補正後のレベルＬＣとを表す。図１２の状態では、撮像素子２２０及び２２２は順光であり、図７の状態３である。画像信号Ａ及びＢのレベルＬＡ及びＬＢは、同じである。また、図示しないが画像信号Ａ及びＢのレベルＬＡとＬＢが多少異なる場合もある。これらの画像信号Ａ及びＢを露出補正なしで合成しても、２つの領域の境目（θ＝０°及びθ＝１８０°）では、２つの画像の明暗差は目立たない。しか
し画像信号Ａ及びＢのレベルが低いために、合成された全天球の画像は露出アンダーである。この露出アンダーを補正するために、画像信号Ａ及びＢのレベルＬＡ及びＬＢをレベルＬＣに上げる。この露出補正によって、適度な明るさの全天球の画像が得られる。このように画像信号Ａ及びＢを露出補正なしで合成しても２つの画像の明暗差が目立たない場合は、連動した制御により同じレベル分上げることによって、適度な明るさの全天球の画像が得られる。

図１３は、８４０で行われる連動した制御の一例を示す図である。横軸は、筐体１１０の上から見た角度θを表し、縦軸は、撮像素子２２０及び２２２から出力された画像信号Ａ及びＢのレベルＬＡ、ＬＢと、補正後のレベルＬＣとを表す。図１２の状態では、撮像素子２２０及び２２２は逆光であり、図７の状態４である。画像信号Ａ及びＢのレベルＬＡ及びＬＢは、同じである。また、図示しないが画像信号Ａ及びＢのレベルＬＡとＬＢが多少異なる場合もある。これらの画像信号Ａ及びＢを露出補正なしで合成しても、２つの領域の境目（θ＝０°及びθ＝１８０°）では、２つの画像の明暗差は目立たない。しかし画像信号Ａ及びＢのレベルが高いために、合成された全天球の画像は露出オーバーである。この露出オーバーを補正するために、画像信号Ａ及びＢのレベルＬＡ及びＬＢをレベルＬＣに下げる。この露出補正によって、適度な明るさの全天球の画像が得られる。このように画像信号Ａ及びＢを露出補正なしで合成しても２つの画像の明暗差が目立たない場合は、連動した制御により同じレベル分上げることによって、適度な明るさの全天球の画像が得られる。

上述のように、図１２及び１３の連動した制御は、撮像素子２２０に対応する第１領域に光源が含まれ、かつ撮像素子２２２に対応する第２領域に光源が含まれる場合、又は第１領域に光源が含まれず、かつ前記第２領域に光源が含まれない場合には、画像信号Ａ及び画像信号Ｂに対して、自動露出又は自動ホワイトバランスの同じ補正を行う。

上述したように、自動露出又は自動ホワイトバランスのための評価回路３３０及び３３２は、信号処理回路３２０及び３２２からそれぞれ出力された画像データのうち評価エリアに属する一部の評価画像データを垂直同期信号が発生する毎に積分し、積分値つまりＡＥ／ＡＷＢ評価値を出力する。ＣＰＵ３１０は、ＡＥ／ＡＷＢ評価回路３３０及び３３２から出力されたＡＥ／ＡＷＢ評価値に基づいて適正ＥＶ値と適正白バランス調整ゲインとを算出するべく、動画用ＡＥ／ＡＷＢ処理（簡易的なＡＥ／ＡＷＢ処理）を実行する。

撮像素子２２０及び２２２のそれぞれには、ドライバが接続されている。ドライバは、垂直同期信号に応答して撮像面を露光し、被写界像を表す電荷をクロックに応答して撮像面から読み出す。撮像装置１００は、撮像素子２２０及び２２２の前にフォーカスレンズ及び絞りユニットを含む。被写界の光学像は、これらの部材を通して例えばＣＭＯＳ型のイメージセンサの撮像面に照射される。

上記算出された適正ＥＶ値を定義する絞り量および露光時間は、撮像素子２２０及び２２２と協働する絞りユニット及びドライバにそれぞれ設定され、算出された適正白バランス調整ゲインは信号処理回路３２０及び３２２に設定される。この結果、出力される動画像の明るさ及びホワイトバランスが適度に調整される。

本発明（またはその任意の部分（群）または機能（群））は、ハードウェア、ソフトウェア、またはそれらの組み合わせを用いて実現され得て、１つ以上のコンピュータシステムまたは他の処理システムにおいて実現され得る。

上に説明されてきたものには、本発明のさまざまな例が含まれる。本発明を記載する目的では、要素や手順の考えられるあらゆる組み合わせを記載することは当然のことながら
不可能であるが、当業者なら本発明の多くのさらなる組み合わせおよび順列が可能であることがわかるだろう。したがって本発明は、特許請求の範囲の精神および範囲に入るそのような改変、変更および変形例を全て含むよう意図される。

８００ アルゴリズム
８１０ 画像信号の順光又は逆光の判断
８２０ 使用モードの決定
８３０ 独立制御
８４０ 連動制御

Claims (2)

1. 第１領域を撮像し、第１画像を出力する第１撮像手段と、
   第２領域を撮像し、第２画像を出力する第２撮像手段と、を備え、
   前記第１画像と前記第２画像を合成して全天球画像を生成する撮像装置であって、
   前記第１撮像手段と前記第２撮像手段には、それぞれ順光と逆光を判定する順光逆光判定手段を設定して、
   何れか一方の前記順光逆光判定手段が、順光を判定した場合には、前記第１撮像手段と前記第２撮像手段が独立して自動露出又は自動ホワイトバランス制御をした画像を繋ぎ合わせて、全天球画像を生成する第１モードで制御し、
   何れの前記順光逆光判定手段も共に順光又は逆光を判定した場合には、前記第１撮像手段と前記第２撮像手段が連動して自動露出又は自動ホワイトバランス制御をした画像を繋ぎ合わせて全天球画像を生成する第２モードで制御する制御手段を備えた、
   撮像装置。
2. 第１撮像手段によって第１領域を撮像し出力された第１画像と、第２撮像手段によって第２領域を撮像し出力された第２画像と、を合成して全天球画像を生成する画像処理方法であって、
   前記第１領域及び前記第２領域がそれぞれ順光か逆光かを、順光逆光判定手段で判定して、
   前記第１領域又は前記第２領域の一方を順光と判定した場合には、制御手段で、前記第１撮像手段と前記第２撮像手段が独立して自動露出又は自動ホワイトバランス制御をした画像を繋ぎ合わせて全天球画像を生成する第１モードで制御を行い、
   前記第１領域又は前記第２領域の両方が順光又は逆光と判定した場合には、前記制御手段で、前記第１撮像手段と前記第２撮像手段が連動して自動露出又は自動ホワイトバランス制御をした画像を繋ぎ合わせて全天球画像を生成する第２モードで制御すること
   を含む画像処理方法。

Images