JP7247609B2 - 撮像装置、撮像方法およびプログラム - Google Patents

Description

本発明は、撮像装置、撮像方法およびプログラムに関する。

従来、全天球カメラなどの複数の撮像部を備える撮像装置においては、複数の撮像部それぞれで光学系を通して撮像素子により取得された複数の画像をつなぎ合わせることにより、全天球画像などの１つの画像が生成される。

また、撮影画像における白飛びなどの階調性の悪化を低減することを目的としたハイライト補正などのダイナミックレンジ補正技術が知られている。ハイライト補正技術では、典型的には、所定のハイライト補正量を得るために、適正露出よりも露出をハイライト補正量の分だけアンダー補正して撮影し、その分だけ撮影画像の中間調を明るく持ち上げるような画像補正を実施する。これにより、通常撮影と比較して、全体の明るさがおおむね同一ながら、ハイライト部分の白飛びが低減された出力画像を得ることが可能となる。さらに、ハイライト補正技術の拡張として、撮像前に撮影画面を分割して測光することによって得られた測光値情報を用いて、撮影シーンに応じた最適なハイライト補正量を算出するという、自動ハイライト補正の技術も知られている。

例えば、特許第４９９９８７１号明細書（特許文献１）は、撮影画像の高輝度部分の白飛びを抑制することを目的とした技術を開示する。特許文献１の従来技術では、静止画撮像の前に撮像される動画像データからシーンが判定されて、白飛び低減が必要と判定されたシーンに対しては、撮像感度を低減させて静止画撮像した上で撮像感度の低減量を補償するための階調補正が適用される。

しかしながら、複数の撮像部を備える撮像装置においては、複数の画像間のつなぎ目の部分で不自然さが生じやすい傾向にある。そのため、ハイライト補正や自動ハイライト補正を実施しようすると、画像同士のつなぎ目部分で明るさの差が生じやすく、充分な品質の画像を得ることが難しかった。

本開示は、上記点に鑑みてなされたものであり、複数の撮像部を備える撮像装置であって、階調性の劣化を低減するとともに、複数の画像間で画像間にまたがる被写体の部分での明るさの差が低減された画像を得ることが可能な撮像装置を提供することを目的とする。

本開示では、上記課題を解決するべく、下記特徴を有する複数の撮像部を含む撮像装置が提供される。本撮像装置は、複数の撮像部それぞれからの撮像信号に基づいて、複数の撮像部で共通した、ダイナミックレンジ補正に関する共通補正値を算出する算出部を含み、当該算出部は、本番撮像前の前記複数の撮像部各々からの撮像信号に基づいて、前記複数の撮像部各々に対し、前記ダイナミックレンジ補正に関する個別補正値を算出する個別値算出部と、前記複数の撮像部に対して算出された複数の前記個別補正値に基づいて、前記共通補正値を算出する共通値算出部と、を含む。本撮像装置は、また、複数の撮像部それぞれに対し、上記共通補正値に基づく露出条件を設定する設定部を含む。本撮像装置は、さらに、複数の撮像部により、露出条件下で、合成対象となる複数の画像を取得するよう制御する制御部を含む。

上記構成により、複数の撮像部を備える撮像装置において、階調性の劣化を低減するとともに、複数の画像間で画像間にまたがる被写体の部分での明るさの差が低減された画像を得ることが可能となる。

本実施形態による全天球撮像装置の断面図。 本実施形態による全天球撮像装置のハードウェア構成図。 本実施形態による全天球撮像装置上に実現される全天球撮像機能に関連する主要な機能ブロック図。 ハイライト補正を行う場合およびハイライト補正を行わない場合の両方における入力信号と輝度変換後の出力信号との関係を表すグラフ。 （Ａ）全天球画像の生成における画像データフロー図、および、全天球画像のデータ構造を（Ｂ）平面で表した場合および（Ｃ）球面で表した場合について説明する図。 本実施形態による全天球撮像装置が実行する全天球撮像処理の一部を構成する、測光処理を示すフローチャート。 本実施形態による全天球撮像装置が実行する全天球撮像処理の一部を構成する、本番の撮像処理を示すフローチャート。

以下、本実施形態について説明するが、実施形態は、以下に説明する実施形態に限定されるものではない。なお、以下の実施形態では、撮像装置の一例として、全天球撮像装置１１０を用いて説明するが、これに限定されるものではない。

以下、図１および図２を参照しながら、本実施形態による全天球撮像装置１１０の基本構成について説明する。

図１は、本実施形態による全天球撮像装置１１０の断面図である。図１に示す全天球撮像装置１１０は、撮像体１２と、上記撮像体１２およびコントローラやバッテリなどの部品を保持する筐体１４と、上記筐体１４に設けられたシャッター・ボタン１８とを備える。

図１に示す撮像体１２は、それぞれが結像光学系２０と撮像素子２２とを含む２つの鏡胴ユニットを含んで構成される。撮像素子２２は、ＣＣＤ（Charge Coupled Device）センサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサなどであり、後述するＣＰＵからの制御指令によって制御される。結像光学系２０各々は、例えば６群７枚の魚眼レンズとして構成されている。上記魚眼レンズは、図１に示す実施形態では、１８０度（＝３６０度／ｎ；光学系数ｎ＝２）より大きい全画角を有し、好適には、１８５度以上の画角を有し、より好適には、１９０度以上の画角を有する。このような広角な結像光学系２０と撮像素子２２とを１個ずつ組み合わせたものが、本実施形態における撮像部を構成する。なお、説明する実施形態では、光学系（撮像部）の数が２である場合を一例として説明するが、光学系（撮像部）の数は、３以上であってもよい。

２つの結像光学系２０Ａ，２０Ｂの光学素子（レンズ、プリズム、フィルタおよび開口絞り）は、撮像素子２２Ａ，２２Ｂに対して位置関係が定められる。より具体的には、結像光学系２０Ａ，２０Ｂの光学素子の光軸が、対応する撮像素子２２の受光領域の中心部に直交して位置するように、かつ、受光領域が、対応する魚眼レンズの結像面となるように位置決めが行われる。

図１に示す実施形態では、結像光学系２０Ａ，２０Ｂは、同一仕様のものであり、それぞれの光軸が合致するようにして、互いに逆向きに組み合わせられる。撮像素子２２Ａ，２２Ｂは、受光した光分布を画像信号に変換し、コントローラ上の画像処理手段に順次、画像フレームを出力する。詳細は後述するが、撮像素子２２Ａ，２２Ｂでそれぞれ撮像された画像は、合成処理されて、これにより、立体角４πステラジアンの画像（以下「全天球画像」と参照する。）が生成される。全天球画像は、撮影地点から見渡すことのできる全ての方向を撮影したものとなる。ここで、説明する実施形態では、全天球画像を生成するものとして説明するが、全天周画像、並びに水平面のみ３６０度を撮影した、いわゆるパノラマ画像であってもよい。

図２は、本実施形態による全天球撮像装置１１０のハードウェア構成を示す。全天球撮像装置１１０は、説明する実施形態における撮像装置に対応する。

全天球撮像装置１１０は、ＣＰＵ（Central Processing Unit）１１２と、ＲＯＭ（Read Only Memory）１１４と、画像処理ブロック１１６と、静止画圧縮ブロック１１７と、動画圧縮ブロック１１８と、リサイズブロック１１９と、ＤＲＡＭ（Dynamic Random Access Memory）インタフェース１２０を介して接続されるＤＲＡＭ１３２と、外部センサインタフェース１２４を介して接続されるモーションセンサ１３６とを含み構成される。

ＣＰＵ１１２は、全天球撮像装置１１０の各部の動作および全体動作を制御する。ＲＯＭ１１４は、ＣＰＵ１１２が解読可能なコードで記述された制御プログラムや各種パラメータを格納する。ＲＯＭ１１４として、書き換え可能なフラッシュＲＯＭを用いる場合、制御プログラムや制御するためのパラメータを変更することが可能となり、ひいては機能のバージョンアップが容易となる。ＲＯＭ１１４に加えて、またはＲＯＭ１１４とともに、制御プログラムを格納するためのＳＳＤなどのストレージが備えられてもよい。画像処理ブロック１１６は、２つの撮像素子１３０Ａ，１３０Ｂ（図１における撮像素子２２Ａ，２２Ｂである。）と接続され、それぞれで撮像された画像の画像信号が入力される。画像処理ブロック１１６は、ＩＳＰ（Image Signal Processor）などを含み構成され、撮像素子１３０から入力された画像信号に対し、シェーディング補正、ベイヤー補間、ホワイトバランス補正、ガンマ補正などを行う。

静止画圧縮ブロック１１７は、ＪＰＥＧ（Joint Photographic Experts Group）などの静止画圧縮および伸張を行うコーデック・ブロックである。動画圧縮ブロック１１８は、ＭＰＥＧ（Moving Picture Experts Group）－４ ＡＶＣ（Advanced Video Coding）／Ｈ．２６４などの動画圧縮および伸張を行うコーデック・ブロックである。なお、ここではＪＰＥＧおよびＨ.２６４をそれぞれ静止画および動画のコーデックの一例として説明しているが、静止画および動画のコーデックは特に限定されるものではない。コーデックには、他にも様々なバリエーションがあるので、他のコーデックを使用してもよいし、複数搭載しても良い。リサイズブロック１１９は、画像データのサイズを補間処理により拡大または縮小するブロックである。

ＤＲＡＭ１３２は、各種信号処理および画像処理を施す際にデータを一時的に保存する記憶領域を提供する。保存される画像データとしては、例えば、信号処理でホワイトバランス設定およびガンマ設定が行われた状態のＲＡＷ－ＲＧＢ画像データ、信号処理で輝度データおよび色差データ変換が行われた状態のＹＵＶ画像データ、および静止画圧縮ブロック１１７で例えばＪＰＥＧ圧縮されたＪＰＥＧ画像データなどがある。

モーションセンサ１３６は、例えば、３軸の加速度成分および３軸の角速度成分を検出するセンサである。検出された加速度成分および角速度成分は、重力方向（基準方向）への全天球画像の天頂補正や重力方向周りの回転補正を施すために用いられる。モーションセンサ１３６は、さらに、方位角などを求めるための地磁気センサなど他のセンサを備えてもよい。モーションセンサ１３６は、ここでは３軸センサを用いているが、例えば６軸の加速度センサや角速度センサであってもよい。

全天球撮像装置１１０は、さらに、外部ストレージインタフェース１２２と、ＵＳＢ（Universal Serial Bus）インタフェース１２６と、シリアルブロック１２８とを含み構成される。外部ストレージインタフェース１２２には、外部ストレージ１３４が接続される。外部ストレージインタフェース１２２は、メモリカードスロットに挿入されたメモリカードなどの外部ストレージ１３４に対する読み書きを制御する。ＵＳＢインタフェース１２６には、ＵＳＢコネクタ１３８が接続される。ＵＳＢインタフェース１２６は、ＵＳＢコネクタ１３８を介して接続されるスマートフォンなどの外部装置とのＵＳＢ通信を制御する。シリアルブロック１２８は、スマートフォンなどの外部装置とのシリアル通信を制御し、無線ＮＩＣ（Network Interface Card）１４０が接続される。

図２に示す全天球撮像装置１１０は、さらに、顔検出ブロック１４４を含み構成される。顔検出ブロック１４４は、例えば魚眼画像や天頂補正等された画像を用いて顔検出を行い、人の顔の位置を特定する。

図２に示す全天球撮像装置１１０は、さらに、音声ユニット１４６を含み構成される。音声ユニット１４６には、音声信号を入力するマイクロフォン１４８および音声信号を出力するスピーカ１５０が接続される。音声ユニット１４６は、一般的には、マイクロフォン１４８を介して入力された音声信号を増幅するマイクロフォンアンプと、増幅された音声信号を記録する音声記録回路と、記録された音声信号をスピーカ１５０から出力できる信号に変換する音声再生回路と、変換された音声信号を増幅し、スピーカ１５０を駆動するためのオーディオアンプとが含まれ得る。音声ユニット１４６は、ＣＰＵ１１２の制御下で動作する。

図２に示す全天球撮像装置１１０は、さらに、ＬＣＤ（Liquid Crystal Display）ドライバ１５２を含み構成され、ＬＣＤドライバ１５２にはＬＣＤモニタ１５４が接続される。ＬＣＤドライバ１５２は、ＬＣＤモニタ１５４を駆動するドライブ回路であり、各種状態をＬＣＤモニタ１５４に表示するための信号に変換する機能を有する。ＬＣＤモニタ１５４に代えて、ＯＬＥＤ（Organic Light Emitting Diode）ディスプレイが搭載されてもよい。

上述したコンポーネント１１２～１２８，１４４，１４６，１５２は、バス１６０を介して相互に接続されている。電源スイッチの操作によって電源がオン状態になると、制御プログラムがメインメモリ（ＤＲＡＭ１３２や他のＲＡＭ）にロードされる。ＣＰＵ１１２は、メインメモリに読み込まれたプログラムに従って、装置各部の動作を制御するとともに、制御に必要なデータをメモリ上に一時的に保存する。これにより、全天球撮像装置１１０の後述する各機能部および処理が実現される。制御プログラムには、ファームウェア、オペレーティング・システム（ＯＳ）、プラグイン・アプリケーションなどが含まれ得る。

以下、図３～図７を参照しながら、本実施形態による全天球撮像装置１１０が備える、ダイナミックレンジ補正の一態様としてハイライト補正を実装した全天球撮像機能について説明する。

図３は、本実施形態による全天球撮像装置１１０上で実現される全天球撮像機能に関連する主要な機能ブロック２００を示す。全天球撮像装置１１０の機能ブロック２００は、図３に示すように、制御部２０２と、複数の撮像部と、複数の測光処理部と、露出設定部２３０と、複数の輝度変換部と、歪曲補正・画像合成部２４０とを含み構成される。図３に示す実施形態では、図１を参照して説明したように、光学系（撮像部）の数が２であり、これに応じて、第１撮像部２１０および第２撮像部２２０と、第１測光処理部２１２および第２測光処理部２２２と、第１輝度変換部２１６および第２輝度変換部２２６とが、設けられている。光学系（撮像部）の数が３以上の場合も、光学系の数に応じた撮像部、測光処理部および輝度変換部を備えればよい。

制御部２０２は、図２に示すＣＰＵ１１２などを含み構成される。制御部２０２は、撮像部２１０，２２０を制御し、全天球画像の撮像動作の全体制御を行う。制御部２０２は、第１撮像部２１０および第２撮像部２２０により、撮像前の待機中は、一定間隔で測光用の画像を取得させ、本番撮像では、合成するための複数の画像を取得させるように制御する。

第１撮像部２１０および第２撮像部２２０は、それぞれが図１や図２に示した結像光学系２０および撮像素子２２（１３０）を含み構成される。撮像部２１０，２２０の撮像素子２２（１３０）は、ＣＰＵ１１２を含む制御部２０２からの制御指令により制御される。２つの撮像部２１０，２２０の撮像素子２２Ａ，２２Ｂ（１３０Ａ，１３０Ｂ）は、制御部２０２の制御の下、略同時に露光を開始し、データ取り込みを行う。

第１測光処理部２１２は、本番の撮像前に第１撮像部２１０により一定間隔で取得される測光用の画像の輝度と、画像取得に用いた露出値とをアルゴリズムに入力することにより、被写体の輝度を測定する。第１測光処理部２１２は、また、露出プログラムによって次回の測光画像取得のための露出値（絞り、シャッタースピードおよび感度）を算出し、第１撮像部２１０に設定する。また、本実施形態の第１測光処理部２１２は、より詳細には、第１要求ハイライト補正量算出部２１４を含み構成される。第１要求ハイライト補正量算出部２１４は、測光用画像に基づいて、第１撮像部２１０での撮影シーンに応じた最適なハイライト補正量（以下、第１要求ハイライト補正量と参照する。）を算出する。

第２測光処理部２２２は、第１測光処理部２１２と同様に、本番の撮像前に第２撮像部２２０により一定間隔で取得される測光用の画像の輝度と、画像取得に用いた露出とをアルゴリズムに入力することにより、被写体の輝度を測定する。第２測光処理部２２２は、また、露出プログラムによって次回の測光画像取得のための露出値（絞り、シャッタースピードおよび感度）を算出し、第２撮像部２２０に設定する。また、本実施形態の第２測光処理部２２２は、第１測光処理部２１２と同様に、第２要求ハイライト補正量算出部２２４を含み構成される。第２要求ハイライト補正量算出部２２４は、撮像前の測光用画像に基づいて、第２撮像部２２０での撮影シーンに応じた最適なハイライト補正量（以下、第２要求ハイライト補正量と参照する。）を算出する。

多くの場合、複数の撮像部２１０，２２０の結像光学系２０は互いに異なる方向を向けて設置されており、複数の撮像部２１０，２２０は、周囲の風景における異なる領域を撮像している。このため、算出された第１要求ハイライト補正量および第２要求ハイライト補正量は、同一となっていることを排除するものではないが、互いに異なる値になることが多い。第１および第２要求ハイライト補正量は、適切な値（補正量を示す値（１Ｅｖなど）、補正の程度を表す値（弱、中、強など））で表され、本実施形態におけるハイライト補正に関する個別補正値を構成する。算出された要求ハイライト補正量は、後述する露出設定部２３０に渡される。要求ハイライト補正量算出部２１４，２２４は、それぞれ、本番撮像前の対応する撮像部２１０，２２０からの撮像信号に基づいて、該対応する撮像部２１０，２２０に対し、要求ハイライト補正量を算出する個別値算出部を構成する。

制御部２０２は、また、シャッター・ボタン１８の押下や有線または無線でのリモートコントローラまたは端末からの撮影指示の受信に応答して、露出設定部２３０に適切な露出設定を行わせて、第１撮像部２１０および第２撮像部２２０により、設定された露出条件下で、合成対象となる複数の画像を取得するよう制御する。制御部２０２は、本実施形態における制御部を構成する。

露出設定部２３０は、制御部２０２の制御の下、複数の撮像部２１０，２２０それぞれに対し、適切な露出条件を設定する。本実施形態による露出設定部２３０は、より具体的には、確定ハイライト補正量算出部２３２を含み構成される。確定ハイライト補正量算出部２３２は、第１および第２撮像部２１０，２２０に対して算出された第１および第２要求ハイライト補正量に基づいて、複数の撮像部２１０，２２０に対し共通のハイライト補正量（以下、確定ハイライト補正量と参照する。）を算出する。

確定ハイライト補正量の算出方法は、特に限定されるものではない。好ましい実施形態においては、確定ハイライト補正量算出部２３２は、算出された第１および第２要求ハイライト補正量を比較し、第１および第２要求ハイライト補正量のうちの最大のものを確定ハイライト補正量として決定することができる。確定ハイライト補正量とは、第１撮像部２１０および第２撮像部２２０に実際に適用されるハイライト補正量となる。露出設定部２３０は、確定ハイライト補正量に基づいて、露出をアンダーなものに設定して、本撮像用の露出プログラムにより露出値を算出する。算出された確定ハイライト補正量は、後段の輝度変換部２１６，２２６に渡される。なお、第１撮像部２１０および第２撮像部２２０では、各種撮像条件が異なる場合がある。このため、ここでは、特に限定されるものではないが、それぞれの撮像部２１０，２２０に対して別々に露出プログラムとすることとしている。

ここで、露出設定部２３０は、本実施形態における設定部を構成する。確定ハイライト補正量は、適切な値（補正量を示す値（１Ｅｖなど）、補正の程度を表す値（弱、中、強など））で表され、本実施形態における共通補正値を構成し、確定ハイライト補正量算出部２３２は、本実施形態における共通値算出部を構成する。また、第１要求ハイライト補正量算出部２１４、第２要求ハイライト補正量算出部２２４および確定ハイライト補正量算出部２３２を統合したものが、撮像部２１０，２２０からの撮像信号に基づいて、共通補正値を算出する、本実施形態における算出部２６０を構成する。

露出設定部２３０により露出値が設定されると、制御部２０２は、第１撮像部２１０および第２撮像部２２０により、この設定した露出条件下で、合成対象となる複数の本番魚眼画像２５２Ａ，２５２Ｂを取得させるとともに、その他の画像信号処理を実行させる。

第１輝度変換部２１６は、第１撮像部２１０側の第１本番魚眼画像２５２Ａの入力を受けて、確定ハイライト補正量に応じて、入力された第１本番魚眼画像２５２Ａに対し輝度変換を施す。第２輝度変換部２２６も同様に、第２撮像部２２０側の第２本番魚眼画像２５２Ｂの入力を受けて、確定ハイライト補正量に応じて、入力された第２本番魚眼画像２５２Ｂに対し輝度変換を施す。第１輝度変換部２１６および第２輝度変換部２２６は、それぞれ、本実施形態における輝度変換部を構成する。

ここで、図４を参照しながら、ハイライト補正について、より詳細に説明する。図４は、ハイライト補正を行う場合およびハイライト補正を行わない場合の両方における入力信号と輝度変換後の出力信号との関係を表すグラフである。まず、ハイライト補正は、撮像画像の白飛びなどの階調性の劣化を低減することを目的として、撮像露出と、撮像画像に対する輝度変換処理とを変更する、ダイナミックレンジ補正の一種をいう。簡潔に説明すると、ハイライト補正は、適正露出よりもあえて露出アンダーに撮像するとともに後段で中間調の明るさを持ち上げるような輝度補正をかけることによって、最終的な画像における全体的な明るさを適正露出と同等に保ちながら、露出アンダーに撮影した分だけ高輝度部分の階調性の劣化（白飛び）を抑えるものである。

まず、ハイライト補正を実施しない通常の静止画撮影について説明する。ここで、静止画撮影によって、所定ビット数（図４に示す例では１２ビット）表現の画素値を有するＲＡＷデータが得られるとする。また、１８％灰色の被写体を撮影した場合に画素値が例えば、所定値（例えば、階調値「５１２」）となるように自動露出（ＡＥ，Automatic Exposure）アルゴリズムが制御を行うものとする。この所定値（上記階調値「５１２」）という狙いとなる値をＡＥターゲットと参照する。

このとき、第１のビット表現（例えば１２ビット表現）のＲＡＷデータを一般的な画像フォーマットで用いられる第２のビット表現（例えば８ビット表現）のデータに変換する際には、所定の輝度変換カーブを用いて第１のビット表現（例えば１２ビット表現）の画素値を、第２ビット表現（例えば８ビット表現）の値に変換することになる。所定の輝度変換カーブにより、図４に示す例では、１２ビット表現のＡＥターゲットである階調値「５１２」の画素値が、８ビット表現の階調値「１１８」という目標輝度の画素値に変換される。

ここで、ＡＥターゲットが、階調値「５１２」である場合に用いる輝度変換カーブを、図４中では「通常（ハイライト補正０Ｅｖ時）の輝度変換カーブ」として表記している。なお、説明する例では１２ビット表現のデータを８ビット表現のデータに変換する際に輝度変換を実施しているが、効果として同等の輝度補正が実施できるのであれば、必ずしもビット変換と同時に実施する必要はない。

続いてハイライト補正を実施する場合について説明する。ここで、ハイライト補正量の単位は、一般的な露出補正量と同様に、Ｅｖで表記することとする。ハイライト補正量が１Ｅｖであると仮定すると、ハイライト補正量の分だけ露出をアンダーにする必要があるため、ＡＥターゲットは、元の値（例えば階調値「５１２」）から所定ハイライ補正量分落とした値（例えば１Ｅｖ落として階調値「２５６」）となる。輝度変換の際には、１２ビット表現で階調値「２５６」の画素値を、８ビット表現で階調値「１１８」となるように輝度変換カーブを用いる。ＡＥターゲットが階調値「２５６」である場合に用いる輝度変換カーブを、図４中では「ハイライト補正１Ｅｖ時の輝度変換カーブ」と表記している。

１Ｅｖのハイライト補正を実施した撮像では、ハイライト補正を実施しない撮像と比べて、１２ビット表現での画素値は１／２になる。「ハイライト補正１Ｅｖ時の輝度変換カーブ」を適用することによって、１／２になっていた画素値が８ビット表現では通常撮像時とおおむね同一の値となるように変換されるため、全体的な画像の明るさはハイライト補正の有無によって変化しない。また、通常撮像時には飽和して４０９５（１２ビット表現の最大階調値）となっていた画素の中には、ハイライト補正１Ｅｖ時には２０４８~４０９５の間に収まっていたものが存在するところ、このような場合、通常（ハイライト補正無し）撮像時には８ビット表現で最大値２５５にあてついていた画素が、ハイライト補正時には、最大値２５５よりも小さい値になるといえる。この場合、この画素は、ハイライト補正によって白飛びしなくなったということができる。

このように、ハイライト補正によって、全体的な画像の明るさを保ったまま高輝度部分の階調性の劣化（白飛び）が低減されることになる。

ここで、再び図３を参照する。上述した輝度変換部２１６，２２６のはたらきにより、本番魚眼画像２５２Ａ，２５２Ｂから、輝度変換済み第１魚眼画像２５４Ａおよび第２魚眼画像２５４Ｂが生成され、歪曲補正・画像合成部２４０に入力される。なお、第１本番魚眼画像および第２本番魚眼画像については、輝度変換と前後して、ホワイトバランス設定およびガンマ設定など通常の画像信号処理が適宜施される。さらに、フィルタリング処理によって輝度データおよび色差データへの変換が行われてもよい。なお、これらの各種形式の魚眼画像のデータは、ＤＲＡＭ１３２などの適切な記憶領域に書き出されてる。

歪曲補正・画像合成部２４０は、複数の撮像部２１０，２２０から得られた、輝度変換済み魚眼画像２５４Ａ，２５４Ｂを合成するために用いられ、より具体的には、歪曲補正処理および画像合成処理を実行する。

以下、図５を参照しながら、全天球画像の生成および生成される全天球画像について説明する。図５（Ａ）は、全天球画像生成における各画像のデータ構造および画像のデータフローを説明する。まず、撮像素子１３０各々で直接撮像される画像は、概ね全天球のうちの半球を視野に収めた画像である。結像光学系に入射した光は、所定の射影方式に従って撮像素子１３０の受光領域に結像される。ここで撮像される画像は、受光領域が平面エリアを成す２次元の撮像素子で撮像されたものであり、平面座標系で表現された画像データとなる。また、典型的には、得られる画像は、図５（Ａ）において「魚眼画像Ａ」および「魚眼画像Ｂ」で示されるように、各撮影範囲が投影されたイメージサークル全体を含む魚眼画像として構成される。なお、説明する実施形態では、魚眼レンズを用いて撮像された魚眼画像により説明するが、この魚眼画像には、魚眼レンズ以外の広角レンズを用いて撮像された広角画像も含まれるものとする。

この複数の撮像素子１３０で撮像された複数の魚眼画像が、歪み補正処理および画像合成処理されて、１つの全天球画像が構成される。画像合成処理では、平面画像として構成される各魚眼画像から、まず、相補的な各半球部分を含む各全天球画像が生成される。そして、各半球部分を含む２つの全天球画像が、重複領域のマッチングに基づいて位置合わせされ、画像合成され、全天球全体を含む全天球画像が生成される。

図５（Ｂ）は、本実施形態で用いられる全天球画像の画像データのデータ構造を平面で表して説明する図である。図５（Ｃ）は、全天球画像の画像データのデータ構造を球面で表して説明する図である。図５（Ｂ）に示すように、全天球画像の画像データは、所定の軸に対してなされる垂直角度φと、所定の軸周りの回転角に対応する水平角度θとを座標とした画素値の配列として表現される。垂直角度φは、０度～１８０度（あるいは－９０度～＋９０度）の範囲となり、水平角度θは、０度～３６０度（あるいは－１８０度～＋１８０度）の範囲となる。

全天球フォーマットの各座標値（θ，φ）は、図５（Ｃ）に示すように、撮影地点を中心とした全方位を表す球面上の各点と対応付けられており、全方位が全天球画像上に対応付けられる。魚眼レンズで撮像された魚眼画像の平面座標と、全天球画像の球面上の座標とは、所定の変換テーブルにて対応付けされる。変換テーブルは、それぞれのレンズ光学系の設計データ等に基づいて、所定の投影モデルに従い製造元等で予め作成されたデータであり、歪みを考慮して魚眼画像を全天球画像へ座標変換するデータである。歪曲補正および画像合成の処理を施す際には、ＤＲＡＭ１３２にデータが一時的に保存されてもよい。

なお、歪曲補正・画像合成部２４０による歪曲補正処理および画像合成処理は、モーションセンサ１３６からの情報を利用して、歪曲補正と同時に天地補正を行い、天地補正した合成画像を生成することができる。一般に天地補正と歪曲補正はそれぞれ非可逆変換処理となるので、ここでは同時に処理を行うように記載しているが、これらは別々に処理してもよい。また、天地補正とは、実際には基準方向（例えば重力方向）に対して全天球撮像装置１１０の中心軸（図１に示す。）が傾いている状態で撮像された画像を、あたかも中心軸が重力方向Ｚに一致した状態で撮影されたかのような画像に補正する処理をいう。特定の実施形態では、天頂補正に加えて、上記基準方向まわり角度変化を打ち消すような回転補正が行われてもよい。

歪曲補正・画像合成部２４０による歪曲補正処理および画像合成処理により、全天球画像（エクイレクタンギュラー形式）２５８が生成される。歪曲補正・画像合成部２４０は、本実施形態における、複数の撮像部２１０，２２０によって撮像され、輝度変換された複数の魚眼画像に基づき、合成画像を生成する合成処理部を構成する。

ここで、歪曲補正・画像合成部２４０が、合成画像として、座標変換して得られた全天球画像２５８を生成するものとして説明する。しかしながら、合成画像は、必ずしも図５に示すような合成後の全天球画像として生成されることを要するものではない。閲覧時に全天球画像が構成可能であれば、いかなる形態で生成されていてもよい。例えば、閲覧時に魚眼画像から歪み補正および合成を行って全天球画像を生成することを前提として、撮像素子１３０Ａ，１３０Ｂで直接撮像される２つの魚眼画像の静止画データ（図５（Ａ）に示す魚眼画像Ａおよび魚眼画像Ｂそれぞれに対応する静止画）を並べて接合して１つの画像とした場合の静止画（接合画像（デュアルフィッシュアイ形式）２５６）が生成されていてもよい。また、合成画像は、１つファイルに合成される必要はなく、撮像素子１３０Ａ，１３０Ｂで直接撮像される２つの魚眼画像を関連付けて、別々のファイルとしてもよい。

全天球撮像装置１１０の機能ブロック２００は、図３に示すように、さらに保存部２４２を含んでいてもよい。保存部２４２は、生成した全天球画像２５８または接合画像２５６を出力し、所定の記憶装置ないし媒体に保存する。保存部２４２は、本実施形態における出力部を構成する。

また、出力される画像（全天球画像または接合画像）の形式としても、特に限定されるものではない。全天球撮像装置１１０は、さらに、適切なコーデック処理部を含み構成されてもよい。このようなコーデック処理部としては、図２に示した静止画圧縮ブロック１１７を挙げることができる。歪曲補正・画像合成部２４０から出力された例えばＹＵＶ形式の全天球画像２５８または接合画像２５６は、コーデック処理部により、所定の静止画フォーマットに変換されて、所定静止画フォーマット（例えばＪＰＥＧ）の全天球静止画または接合静止画として保存されてもよい。保存先は、外部ストレージ１３４であってもよいし、ＵＳＢコネクタ１３８や無線ＮＩＣ１４０を介して接続される外部の情報端末のストレージ内であってもよい。なお、静止画は、静止画が再生可能であればいなかる形式で記録されてよい。静止画の形式としては、ＪＰＥＧのほか、ＰＮＧ（Portable Network Graphics）、ＢＭＰ（Bitmap）形式などを挙げることができる。

上述した全天球撮像装置１１０によれば、２つの撮像部２１０，２２０それぞれの撮影範囲を合算することで、撮影地点を中心とした全方位を一度に撮像することができる。

また、説明する実施形態では、全天球撮像装置１１０側で輝度変換が施された後の複数の画像を合成して得られた合成画像を出力するものとして説明した。しかしながら、輝度変換をＵＳＢコネクタ１３８や無線ＮＩＣ１４０を介して全天球撮像装置１１０と接続される外部の情報端末上で行うことが妨げられるものではない。その場合、例えば、複数の撮像部２１０，２２０それぞれで本番撮像時に取得された複数の魚眼画像２５２Ａ，２５２Ｂを接合して合成画像を生成し、これを（例えばＲＡＷ）出力するとともに、合成画像内の複数の魚眼画像に輝度変換を施すための情報（確定ハイライト補正量）を付加することができる。この場合、閲覧時は、再生装置側で、確定ハイライト補正量を読み出して上述した輝度変換部２１６での処理を行い、さらに歪曲補正・画像合成部２４０での処理を実行することになる。

なお、上述した測光処理部２１２，２２２、露出設定部２３０、輝度変換部２１６，２２６および歪曲補正・画像合成部２４０の各機能部は、適宜、ＣＰＵ１１２および画像処理ブロック１１６のいずれか一方または両方を用いて実装することができる。

以下、図６および図７を参照しながら、本実施形態による全天球撮像処理について、より詳細に説明する。図６は、本実施形態による全天球撮像装置１１０が実行する全天球撮像処理の一部を構成する、測光処理を示すフローチャートである。

全天球撮像装置１１０は、シャッター・ボタン１８の押下や有線または無線でのリモートコントローラまたは端末からの撮影指示の受信に応答して静止画の撮影処理を実行するところ、静止画撮影に備えた撮影待機状態中では測光処理が行われる。図６に示す処理は、一定時間間隔で行われる１回の処理に相当し、図６に示す処理が一定時間間隔毎にステップＳ１００から開始される。なお、静止画撮影に備えた撮影待機状態への移行は、特に限定されるものではないが、全天球撮像装置１１０のシャッター・スイッチの半押し状態が検知可能な場合は、半押し状態となったことに応答して行われてもよいし、有線または無線でのリモートコントローラまたは端末からの撮影待機指示を受信したことに応答して行われてもよい。なお、ステップＳ１００から処理が開始されると、第１撮像部２１０および第２撮像部２２０のそれぞれの系統で、ステップＳ１０１（Ａ／Ｂ）～ステップＳ１０５（Ａ／Ｂ）の処理が行われる。

ステップＳ１０１では、撮像部２１０，２２０は、それぞれ、測光用画像を取得する。ステップＳ１０２では、測光処理部２１２，２２２は、それぞれ、取得した測光用画像に対して測光アルゴリズムを適用して被写体輝度を算出する。ステップＳ１０３では、測光処理部２１２，２２２は、それぞれ、露出プログラムによって、次回の測光画像取得用の露出値（絞り、シャッタースピードおよび感度）を算出する。

ステップＳ１０４では、測光処理部２１２，２２２は、それぞれ、要求ハイライト補正量算出部２１４，２２４により、測光用画像の輝度分布やシーン解析の結果に基づいて、シーンとして必要なハイライト補正量を算出する。ステップＳ１０５では、露出設定部２３０は、露出プログラムによって算出された露出値を、次回の測光用画像取得のために撮像部２１０，２２０にそれぞれ設定し、ステップＳ１０６で、１回分の測光処理が終了する。図６に示す処理は、撮影待機状態中、シャッター・ボタン１８が押下されるまで、あるいは、撮影待機状態が解除されるまで、所定時間間隔毎に繰り返される。

図７は、本実施形態による全天球撮像装置１１０が実行する全天球撮像処理の一部を構成する、本番の撮像処理を示すフローチャートである。図７に示す処理は、シャッター・ボタン１８の押下等に応答して、ステップＳ２００から開始される。なお、シャッター・ボタン１８の押下等がなされるまで、少なくとも１回以上、図６に示す速光処理が行われており、既に第１および第２要求ハイライト補正量が求められているものとする。

ステップＳ２０１では、確定ハイライト補正量算出部２３２は、前回の図６に示した測光処理によって得られた最新の第１要求ハイライト補正量と第２要求ハイライト補正量とを比較し、どちらが大きいかを判定する。ステップＳ２０１で、第１要求ハイライト補正量が第２要求ハイライト補正量よりも大きいと判定された場合（ＹＥＳ）は、ステップＳ２０２で、第１要求ハイライト補正量を確定ハイライト補正量として決定し、ステップＳ２０４へ処理を進める。一方、ステップＳ２０１で、第１要求ハイライト補正量が第２要求ハイライト補正量以下であると判定された場合（ＮＯ）は、ステップＳ２０３で、第２要求ハイライト補正量を確定ハイライト補正量として決定し、ステップＳ２０４へ処理を進める。

ステップＳ２０４では、露出設定部２３０は、図４を参照して説明したように、確定ハイライト補正量に応じてＡＥターゲットをアンダーなもの（例えば、確定ハイライト補正量が１Ｅｖアンダーにするということであれば、ＡＥターゲットを、元の値（例えば階調値「５１２」）から１Ｅｖ落とした階調値「２５６」となる）に設定する。

ステップＳ２０５では、露出設定部２３０は、このＡＥターゲットを狙うように本撮像用の露出プログラムを計算し、それぞれの撮像部２１０、２２０に対する本番用の露出値（絞り、シャッタースピードおよび感度）を算出する。ここで、複数の撮像部２１０間では各種撮像条件が異なる場合があるため、それぞれの撮像部２１０，２２０に対して別々に露出プログラムを計算することができる。ステップＳ２０６では、露出設定部２３０は、計算された本撮像用の露出値を、それぞれ、第１撮像部２１０および第２撮像部２２０に設定する。ステップＳ２０７では、制御部２０２は、第１撮像部２１０および第２撮像部２２０により、それぞれ、設定した露出条件の下、本番魚眼画像２５２Ａ，２５２Ｂを取得させる。

ステップＳ２０８では、第１輝度変換部２１６および第２輝度変換部２２６は、それぞれ、確定ハイライト補正量に基づいた輝度変換カーブによって、取得された本番魚眼画像２５２Ａ，２５２Ｂに対し輝度変換を実施する。ステップＳ２０９では、歪曲補正・画像合成部２４０は、第１撮像部２１０および第２撮像部２２０それぞれで撮像して得られた画像をスティッチ処理により変形して貼り合わせることで１枚の全天球画像を生成する。ステップＳ２１０では、保存部２４２は、得られた全天球画像を出力し、例えばストレージに保存する。

なお、上記の処理において、異なる２つの要求ハイライト補正量のうちの１つを共通のものとして選択する理由は、複数の撮像部２１０，２２０の撮像画像に対して同一の輝度変換カーブを適用することによって、全天球画像にスティッチした際のつなぎ目に輝度差が生じないようにするためである。２つの撮像部で得られた画像に異なったハイライト補正量を適用すると、ハイライト補正の仕組み上、被写体のハイライトにおいて白飛びの量が異なってしまう。特につなぎ目の部分においては、白飛びした領域と、白飛びが比較的に少ない領域とがあると、つなぎ目で明確な輝度差が生じるため、境界が目立ち、合成結果が不自然で見栄えが悪いものになる。説明する実施形態では、このような輝度差を防ぐ目的で、共通するハイライト補正量を複数の撮像部２１０，２２０に対し適用している。複数の撮像部に個別に自動ハイライト補正が実施されると、それぞれの撮像部によってハイライト補正量が異なってしまうところ、このような別に自動ハイライト補正を行う場合と比較して有利であるといえる。

また、第１撮像部２１０および第２撮像部２２０について算出された要求ハイライト補正量のうち、より大きいものを採用する理由は、複数の撮像部２１０，２２０のうち、より多くの白飛びの補正が必要な方を救うためである。２つの要求ハイライト補正量に差がある場合、一方の撮像部では必要な要求ハイライト補正量に対してより大きなハイライト補正量が適用される結果となるが、白飛びによる情報欠落が好適に防止される。これにより、最終的な全天球画像の品質を向上させることができる。なお、光学系（撮像部）の数が３以上ある場合は、算出された３以上の要求ハイライト補正量のうち最大のものを確定ハイライト補正量として採用すればよい。

以上説明したように、上述した実施形態によれば、複数の撮像部を備える撮像装置であって、階調性の劣化を低減するとともに、複数の画像間で画像間にまたがる被写体の部分での明るさの差が低減された画像を得ることが可能な撮像装置、撮像方法およびプログラムを提供することができる。

なお、上述までの実施形態では、高輝度側の階調性の劣化（白飛び）を改善するハイライト補正について説明してきたが、ハイライト補正に併せて、低輝度側の階調性の劣化（黒つぶれ）を改善するためのシャドー補正が適用されてもよいことは言うまでもない。

また、上述までの実施形態では、ダイナミックレンジ補正の一例として、高輝度側の階調性の劣化（白飛び）を改善することを目的として、適正露出よりもあえて露出アンダーに撮像し、後段で中間調の明るさを持ち上げるような輝度補正をかけるハイライト補正について説明してきた。デジタルカメラが露出アンダー側に強いという特性を有することからは、上述した複数の撮像部それぞれに対し共通補正値に基づく露出条件を設定する構成を、ハイライト補正に対し適用すること好ましい。しかしながら、ハイライト補正は、ダイナミックレンジ補正の一例であり、上記構成をハイライト補正に適用した実施形態に限定されるものではない。他の実施形態では、上記構成をシャドー補正に対して適用することもできる。この場合は、ハイライト補正の場合とは反対に、低輝度側の階調性の劣化（黒つぶれ）を改善することを目的として、適正露出よりもあえて露出オーバーに撮像し、後段で中間調を暗く押し下げるような輝度補正をかけることになる。これにより、ハイライト補正と同様に、最終的な画像における全体的な明るさを適正露出と同等に保ちながら、露出オーバーに撮像した分だけ低輝度部分の階調性の劣化（黒つぶれ）を抑えることができる。

また、上述までの実施形態では、静止画の撮影について説明してきたが、通常のビデオ動画撮影、タイムラプス動画撮影、インターバル撮影などに対して適用してもよいことは言うまでもない。

なお、上記機能部は、アセンブラ、Ｃ、Ｃ＋＋、Ｃ＃、Ｊａｖａ（登録商標）などのレガシープログラミング言語やオブジェクト指向プログラミング言語などで記述されたコンピュータ実行可能なプログラムにより実現でき、ＲＯＭ、ＥＥＰＲＯＭ、ＥＰＲＯＭ、フラッシュメモリ、フレキシブルディスク、ＣＤ－ＲＯＭ、ＣＤ－ＲＷ、ＤＶＤ－ＲＯＭ、ＤＶＤ－ＲＡＭ、ＤＶＤ－ＲＷ、ブルーレイディスク、ＳＤカード、ＭＯなど装置可読な記録媒体に格納して、あるいは電気通信回線を通じて頒布することができる。また、上記機能部の一部または全部は、例えばフィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）などのプログラマブル・デバイス（ＰＤ）上に実装することができ、あるいはＡＳＩＣ（特定用途向集積）として実装することができ、上記機能部をＰＤ上に実現するためにＰＤにダウンロードする回路構成データ（ビットストリームデータ）、回路構成データを生成するためのＨＤＬ（Hardware Description Language）、ＶＨＤＬ（Very High Speed Integrated Circuits Hardware Description Language）、Ｖｅｒｉｌｏｇ－ＨＤＬなどにより記述されたデータとして記録媒体により配布することができる。

これまで本発明の実施形態について説明してきたが、本発明の実施形態は上述した実施形態に限定されるものではなく、他の実施形態、追加、変更、削除など、当業者が想到することができる範囲内で変更することができ、いずれの態様においても本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。

１２…撮像体、１４…筐体、１８…シャッター・ボタン、２０…結像光学系、２２，１３０…撮像素子、１１０…全天球撮像装置、１１２…ＣＰＵ、１１４…ＲＯＭ、１１６…画像処理ブロック、１１７…静止画圧縮ブロック、１１８…動画圧縮ブロック、１１９…リサイズブロック、１２０，１２６…インタフェース、１２２…外部ストレージインタフェース、１２４…外部センサインタフェース、１２６…ＵＳＢインタフェース、１２８…シリアルブロック、１３２…ＤＲＡＭ、１３４…外部ストレージ、１３６…モーションセンサ、１３８…ＵＳＢコネクタ、１４４…顔検出ブロック、１４６…音声ユニット、１４８…マイクロフォン、１５０…スピーカ、１５２…ＬＣＤドライバ、１５４…ＬＣＤモニタ、２００…機能ブロック、２０２…制御部、２１０…第１撮像部、２１２…第１測光処理部、２１４…第１要求ハイライト補正量算出部、２１６…第１輝度変換部、２２０…第２撮像部、２２２…第２測光処理部、２２４…第２要求ハイライト補正量算出部、２２６…第２輝度変換部、２４０…歪曲補正・画像合成部、２４２…保存部、２６０…算出部

特許第４９９９８７１号明細書

Claims (9)

1. 複数の撮像部と、
   前記複数の撮像部それぞれからの撮像信号に基づいて、前記複数の撮像部で共通した、ダイナミックレンジ補正に関する共通補正値を算出する算出部と、
   当該算出部は、
   本番撮像前の前記複数の撮像部各々からの撮像信号に基づいて、前記複数の撮像部各々に対し、前記ダイナミックレンジ補正に関する個別補正値を算出する個別値算出部と、
   前記複数の撮像部に対して算出された複数の前記個別補正値に基づいて、前記共通補正値を算出する共通値算出部と、を含み、
   前記複数の撮像部それぞれに対し、前記共通補正値に基づく露出条件を設定する設定部と、
   前記複数の撮像部により、前記露出条件下で、合成対象となる複数の画像を取得するよう制御する制御部と
   を含む、撮像装置。
2. 前記共通値算出部は、前記複数の撮像部に対し算出された前記複数の個別補正値のうちの最大のものを前記共通補正値として決定することを特徴とする、請求項１に記載の撮像装置。
3. 本番撮像時に前記複数の撮像部それぞれで取得された前記複数の画像に対し輝度変換を施す輝度変換部と、
   前記複数の撮像部それぞれで取得され、前記輝度変換が施された複数の画像を合成する合成処理部と
   をさらに含む、請求項１または２のいずれか１項に記載の撮像装置。
4. 前記合成処理部は、前記複数の撮像部それぞれで本番撮像時に取得された前記複数の画像をつなぎ合わせて合成画像を生成することを特徴とし、前記撮像装置は、さらに、前記輝度変換が施された後の複数の画像を合成して得られた合成画像を出力する出力部をさらに含む、請求項３に記載の撮像装置。
5. 前記合成処理部は、前記複数の撮像部それぞれで本番撮像時に取得された前記複数の画像を接合して合成画像を生成することを特徴とし、前記撮像装置は、さらに、前記合成画像を出力するとともに前記合成画像内の前記複数の画像に輝度変換を施すための情報を前記合成画像に付加する出力部をさらに含む、請求項３に記載の撮像装置。
6. 前記ダイナミックレンジ補正は、前記共通補正値に応じて適正露出よりもアンダーに前記露出条件を設定した上で撮像するハイライト補正である、請求項１～５のいずれか１項に記載の撮像装置。
7. 前記撮像装置は、全天球撮像装置であり、前記複数の画像は、複数の魚眼画像であり、前記合成対象となる複数の画像を合成して得られる合成画像は、全天球画像または複数の魚眼画像を接合した接合画像である、請求項１～６のいずれか１項に記載の撮像装置。
8. 画像を撮像する撮像方法であって、複数の撮像部を備えた撮像装置が、
   （１）前記複数の撮像部それぞれからの撮像信号に基づいて、前記複数の撮像部で共通した、ダイナミックレンジ補正に関する共通補正値を算出するステップと、
   当該共通補正値を算出するステップは、
   本番撮像前の前記複数の撮像部各々からの撮像信号に基づいて、前記複数の撮像部各々に対し、前記ダイナミックレンジ補正に関する個別補正値を算出するステップならびに前記複数の撮像部に対して算出された複数の前記個別補正値に基づいて、前記共通補正値を算出するステップを含み、
   （２）前記複数の撮像部それぞれに対し、前記共通補正値に基づく露出条件を設定するステップと、
   （３）前記複数の撮像部により、前記露出条件下で、合成対象となる複数の画像を取得するステップと
   を実行する、撮像方法。
9. 複数の撮像部を備える撮像装置を実現するためのプログラムであって、コンピュータを、
   前記複数の撮像部それぞれからの撮像信号に基づいて、前記複数の撮像部で共通した、ダイナミックレンジ補正に関する共通補正値を算出する算出部、
   当該算出部を、
   本番撮像前の前記複数の撮像部各々からの撮像信号に基づいて、前記複数の撮像部各々に対し、前記ダイナミックレンジ補正に関する個別補正値を算出する個別値算出部ならびに前記複数の撮像部に対して算出された複数の前記個別補正値に基づいて、前記共通補正値を算出する共通値算出部として機能させ、
   前記複数の撮像部それぞれに対し、前記共通補正値に基づく露出条件を設定する設定部、および
   前記複数の撮像部により、前記露出条件下で、合成対象となる複数の画像を取得するよう制御する制御部
   として機能させるためのプログラム。

Images