JP2015050498A - 撮像装置、撮像方法および記録媒体 - Google Patents

Abstract

【課題】異輝度の被写体を複数の撮像光学系で撮影した場合、広い輝度領域を適正明るさで撮影でき、かつ撮影画像の繋ぎ目に差が生じないようにする。【解決手段】複数固体撮像素子での測光値を算出する第一測光値算出部５１と、各固体撮像素子での測光値を算出する第二測光値算出部５２と、両測光値から露出値を算出する第一露出値算出部５３と、第二測光値算出部での測光値から各固体撮像素子の露出値を算出する第二露出値算出部５４と、第二測光値算出部での測光値中で第一測光値算出部での測光値よりも大きい固体撮像素子を第一固体撮像素子とし、それ以外を第二固体撮像素子とし、第一固体撮像素子には第一露出値算出部での露出値から露出制御値を設定する一方、第二固体撮像素子には第二露出値算出部での露出値から露出制御値を設定する露出制御値設定部５５と、第二固体撮像素子に対する第一固体撮像素子との露出差を補正する露出差補正部５６とを有する。【選択図】図９

Description

本発明は、複数の撮像光学系に対する適切な撮像条件を与えることができる撮像装置、その撮像装置が実行する撮像方法、およびその撮像装置を実現するためのプログラムを記録した記録媒体に関する。

魚眼レンズや超広角レンズなどの広角なレンズを複数使用して全方位（以下、全天球という。）を一度に撮像する全天球撮像システムが知られている。上記全天球撮像システムでは、各々のレンズからの像をセンサ面に投影し、得られる各画像を画像処理により結合することで、全天球画像を生成する。例えば、１８０度を超える画角を有する２つの広角なレンズを用いて、全天球画像を生成することができる。上記画像処理では、各レンズ光学系により撮影された部分画像に対して、歪み補正および射影変換を施し、部分画像に含まれる重複領域を用いて部分画像をつなぎ合わせ、１枚の全天球画像とする処理が行われる。

従来より、撮像した画像から適正露出を得るデジタルカメラにおける露出補正技術が知られている（例えば、特許文献１参照）。この特許文献１においては、撮像領域の一部が互いに重複するように配置された複数の撮像装置で撮像された撮像画像の各々から重複領域を抽出する。そして、該抽出した重複領域の各画像に基づいて、複数の撮像装置の露出およびホワイトバランスの少なくとも一方を調整し、撮像画像の明るさや色味などの差異を小さくして合成などの後処理の負担を軽減するようにしている。

しかしながら、上記従来の技術では、重複領域のみを考慮しているため、適正露出を得ることが難しいという問題がある。すなわち、特許文献１の技術においては、重複領域のみを用いて露出補正を行っているため、全体の画像に対して重複領域が小さくなると、露光条件にアンバランスが生じた場合に適切な露出補正値を得るのが難しくなる。また、個々に露出補正を行った場合、画像間の境目で明るさが変化してしまうという問題もある。

本発明の課題は、異なる輝度の被写体を複数の撮像光学系で撮影した場合でも、低輝度から高輝度の領域まで適正な明るさで撮影でき、かつ撮影画像の繋ぎ目に不自然な差が生じるのを回避することのできる撮像装置を提供することにある。

上記課題を解決するために、本発明は、複数の固体撮像素子から取得した撮像画像を繋ぎ合わせて、一つの画像を形成し出力する撮像装置であって、前記複数の固体撮像素子から取得した撮像信号を基に測光値を算出する第一測光値算出手段と、前記複数の固体撮像素子のうち各固体撮像素子で取得した撮像信号を基に各固体撮像素子に対応した測光値を算出する第二測光値算出手段と、前記第一測光値算出手段によって算出した測光値、および前記第二測光値算出手段によって算出した測光値の少なくとも一方から露出値を算出する第一露出値算出手段と、前記第二測光値算出手段によって算出した各固体撮像素子の測光値から各固体撮像素子に対応した露出値を算出する第二露出値算出手段とを備え、前記第二測光値算出手段によって算出した測光値の中で前記第一測光値算出手段によって算出した測光値よりも大きい固体撮像素子を第一固体撮像素子とし、それ以外の固体撮像素子を第二固体撮像素子とし、前記第一固体撮像素子に対しては前記第一露出値算出手段によって算出した露出値を基に露出制御値を設定するとともに、前記第二固体撮像素子に対しては前記第二露出値算出手段によって算出した露出値を基に露出制御値を設定する露出制御値設定手段と、前記第二固体撮像素子に対しては前記第一固体撮像素子との露出差を補正する露出差補正手段とを有することを特徴とする。

本発明によれば、第二固体撮像素子に対して、第二露出値算出手段で算出した露出値を基に露出制御値が設定され、さらに第一固体撮像素子との露出差が補正される。その結果、異なる輝度の被写体を複数の撮像光学系で撮影した場合、低輝度から高輝度まで適正な明るさで撮影できる。また、撮影画像の繋ぎ目に不自然な差が生じるのを回避することができる。

本実施例による撮像システムを用いて、太陽が出ているときに、被写体（人）を撮影する様子を示した概念図である。 撮像システムを示す断面図である。 撮像システムのハードウェア構成を示した図である。 撮像システムにおける画像処理全体の流れを説明する図である。 図４Ａの続きの流れを説明する図である。 撮像装置のモニタリング時における一連のＡＥ処理のフローを示す図である。 エリア積算値を、画像のＲＡＷ−ＲＧＢデータから水平１６×垂直１６のブロック単位で等分割を行う様子を示した図である。 ＡＥ評価値に対応する適正露出との差（デルタＥｖ）を表したＡＥテーブルを示す図である。 撮像装置のスチル時における一連のＡＥ処理のフローを示す図である。 図３におけるプロセッサ内のＣＰＵの内部構成のうち、本実施例に関連する部分を概略的に示したブロック図である。

以下、本発明の実施例を図面に従って説明する。

以下、本発明の実施例について説明するが、本発明の実施例は、以下に説明する実施例に限定されるものではない。なお、以下の実施例では、撮像装置の一例として、２つの魚眼レンズを光学系に含む撮像体を備えるとともに、２つの魚眼レンズで撮像された撮像画像に基づいて撮像条件を決定する機能を備えた、全天球撮像システムを用いて説明する。つまり、他の実施例において、全天球撮像システムは、３つ以上の魚眼レンズを光学系に含む撮像体を備えるとともに、３つ以上の魚眼レンズで撮像された撮像画像に基づいて撮像条件を決定する機能を備えていても良い。なお、本実施例では、魚眼レンズは、広角レンズや、超広角レンズと呼ばれるものを含む。

図１は、全天球撮像システム１０を用いて、被写体（人）１１を撮影する様子を示しており、このとき、被写体１１と共に太陽１３も撮影されてしまう。すなわち、全天球撮像システム１０の撮像光学系であるカメラＡ（図において左側にあるカメラ）で被写体１１を撮影し、撮像光学系であるカメラＢ（図において右側にあるカメラ）で太陽１３を撮影する。

そして、カメラＡで撮影した撮像画像とカメラＢで撮影した撮像画像を繋ぎ合わせ、この繋ぎ合わせた撮影画像に対して、傾き補正および歪補正等を行ってから画像を合成して、合成画像を作成する。

以下、図２および図３を参照しながら、本実施例による全天球撮像システム１０の全体構成について説明する。図２は、本実施例による全天球撮像システム（以下、単に、撮像システムと称する）１０を示す断面図である。図２に示す撮像システム１０は、撮像体１２と、撮像体１２および図示しないコントローラやバッテリなどの部品を保持する筐体１４と、上記筐体１４に設けられたシャッタボタン１８とを備えている。

図２に示す撮像体１２は、２つのレンズ光学系２０Ａ，２０Ｂ（レンズ光学系２０ともいう）と、ＣＣＤ（Charge Coupled Device）センサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサなどの２つの固体撮像素子２２Ａ，２２Ｂ（固体撮像素子２２ともいう）とを含む。本実施例において、レンズ光学系２０と固体撮像素子２２とを１個ずつ組み合わせたものを撮像光学系と称する。レンズ光学系２０は、それぞれ、例えば６群７枚で魚眼レンズとして構成することができる。上記魚眼レンズは、図２に示す例では、１８０度（＝３６０度／ｎ；ｎ＝２）より大きい全画角を有し、好適には、１８５度以上の画角を有し、より好適には、１９０度以上の画角を有する。

２つのレンズ光学系２０Ａ，２０Ｂの光学素子（レンズ、プリズム、フィルタおよび開口絞り）は、その光軸が、対応する固体撮像素子２２の受光領域の中心部に直交して位置するように、かつ、受光領域が、対応する魚眼レンズの結像面となるように、固体撮像素子２２Ａ，２２Ｂに対して位置関係が定められている。固体撮像素子２２は、それぞれ、受光領域が面積エリアを成す２次元の撮像素子であり、組み合わせられるレンズ光学系２０により集光された光を画像信号に変換する。

図２に示す実施例では、レンズ光学系２０Ａ，２０Ｂは、同一仕様のものであり、それぞれの光軸が合致するように、互いに逆向きに組み合わせられる。固体撮像素子２２Ａ，２２Ｂは、受光した光分布を画像信号に変換して、コントローラ上の画像処理手段に出力する。画像処理手段では、固体撮像素子２２Ａ，２２Ｂからそれぞれ入力される撮像画像をつなぎ合わせて合成し、立体角４πラジアンの画像（以下「全天球画像」と称する）を生成する。全天球画像は、撮影地点から見渡すことのできる全ての方向を撮影したものとなる。ここで、図２に示す実施例では、全天球画像を生成しているが、他の実施例では、水平面のみ３６０度を撮影した、いわゆるパノラマ画像であっても良い。

上述したように、魚眼レンズが１８０度を超える全画角を有するため、全天球画像を構成する際には、各撮像光学系で撮像した撮影画像において、重複する画像部分が、同一像を表す基準データとして画像つなぎ合わせの参考とされる。生成された全天球画像は、例えば、撮像体１２に備えられているか、または撮像体１２に接続されているディスプレイ装置、印刷装置、ＳＤ（登録商標）カードやコンパクトフラッシュ（登録商標）などの外部記憶媒体などに出力される。

図３は、本実施例による撮像システム１０のハードウェア構成を示している。撮像システム１０は、デジタル・スチルカメラ・プロセッサ（以下、単にプロセッサと称する）１００と、鏡胴ユニット１０２と、プロセッサ１００に接続される種々のコンポーネントから構成されている。鏡胴ユニット１０２は、上述した２組のレンズ光学系２０Ａ，２０Ｂと、固体撮像素子２２Ａ，２２Ｂとを有している。固体撮像素子２２は、プロセッサ１００内のＣＰＵ１３０からの制御指令により制御される。ＣＰＵ１３０の詳細については後述する。

プロセッサ１００は、ＩＳＰ（Image Signal Processor）１０８と、ＤＭＡＣ（Direct Memory Access Controller）１１０と、メモリアクセスの調停のためのアービタ（ＡＲＢＭＥＭＣ）１１２とを含む。さらにプロセッサ１００は、メモリアクセスを制御するＭＥＭＣ（Memory Controller）１１４と、歪曲補正・画像合成ブロック１１８と、顔検出ブロック２０１とを含んでいる。ＩＳＰ１０８Ａ，１０８Ｂは、それぞれ、固体撮像素子２２Ａ，２２Ｂの信号処理を経て入力された画像に対し、自動露出（ＡＥ：Automatic Exposure）制御、ホワイトバランス設定やガンマ設定を行う。

ＭＥＭＣ１１４には、ＳＤＲＡＭ１１６が接続されている。そして、ＳＤＲＡＭ１１６には、ＩＳＰ１０８Ａ，１８０Ｂおよび歪曲補正・画像合成ブロック１１８において処理を施す際に、データが一時的に保存される。歪曲補正・画像合成ブロック１１８は、２つの撮像光学系から得られた２つの撮影画像に対し、３軸加速度センサ１２０からの情報を利用して歪曲補正とともに天地補正（傾き補正）を施し、補正後の画像を合成する。なお、顔検出ブロック２０１は、傾き補正された画像を用いて、顔検出を行い、顔の位置を特定する。

プロセッサ１００は、さらに、ＤＭＡＣ１２２と、画像処理ブロック１２４と、ＣＰＵ１３０と、画像データ転送部１２６と、ＳＤＲＡＭＣ１２８と、メモリカード制御ブロック１４０と、ＵＳＢブロック１４６と、ペリフェラル・ブロック１５０と、音声ユニット１５２と、シリアルブロック１５８と、ＬＣＤドライバ１６２と、ブリッジ１６８とを含む。

ＣＰＵ１３０は、当該撮像システム１０の各部の動作を制御する。画像処理ブロック１２４は、画像データに対し各種画像処理を施す。リサイズブロック１３２は、画像データのサイズを補間処理により拡大または縮小するためのブロックである。ＪＰＥＧブロック１３４は、ＪＰＥＧ圧縮および伸張を行うコーデック・ブロックである。Ｈ．２６４ブロック１３６は、Ｈ．２６４などの動画圧縮および伸張を行うコーデック・ブロックである。また、プロセッサ１００には、パワーコントローラ２０２が設けられている。

画像データ転送部１２６は、画像処理ブロック１２４で画像処理された画像を転送する。ＳＤＲＡＭＣ１２８は、プロセッサ１００に接続されるＳＤＲＡＭ１３８を制御し、ＳＤＲＡＭ１３８には、プロセッサ１００内で画像データに各種処理を施す際に、画像データを一時的に保存する。

メモリカード制御ブロック１４０は、メモリカードスロット１４２に挿入されたメモリカードおよびフラッシュＲＯＭ１４４に対する読み書きを制御する。メモリカードスロット１４２は、撮像システム１０にメモリカードを着脱可能に装着するためのスロットである。ＵＳＢブロック１４６は、ＵＳＢコネクタ１４８を介して接続されるパーソナル・コンピュータなどの外部機器とのＵＳＢ通信を制御する。ペリフェラル・ブロック１５０には、電源スイッチ１６６が接続される。

音声ユニット１５２は、ユーザが音声信号を入力するマイク１５６と、記録された音声信号を出力するスピーカ１５４とに接続され、音声入出力を制御する。シリアルブロック１５８は、パーソナル・コンピュータなどの外部機器とのシリアル通信を制御し、無線ＮＩＣ（Network Interface Card）１６０が接続される。ＬＣＤ（Liquid Crystal Display）ドライバ１６２は、ＬＣＤモニタ１６４を駆動するドライブ回路であり、ＬＣＤモニタ１６４に各種状態を表示するための信号に変換する。

フラッシュＲＯＭ１４４には、ＣＰＵ１３０が解読可能なコードで記述された制御プログラムや各種パラメータが格納される。電源スイッチ１６６の操作によって電源がオン状態になると、上記制御プログラムがメインメモリにロードされ、ＣＰＵ１３０は、メインメモリに読み込まれたプログラムに従って、装置各部の動作を制御する。また同時に、制御に必要なデータをＳＤＲＡＭ１３８と、図示しないローカルＳＲＡＭとに一時的に保存する。

なお、書き換え可能なフラッシュＲＯＭ１４４を使用することで、制御プログラムや制御するためのパラメータを変更することが可能となり、機能のバージョンアップを容易に行うことができる。

図４Ａおよび図４Ｂは、本実施例による撮像システム１０における画像処理全体の流れを説明する図であり、撮像条件を制御するための主要な機能ブロックが示されている。先ず、図４Ａに示すように、センサＡ（固体撮像素子２２Ａ）、センサＢ（固体撮像素子２２Ｂ）の各々によって、所定の露出条件パラメータのもとで画像が撮像される。続いて、センサＡ，Ｂの各々から出力された画像に対し、図３に示したＩＳＰ１０８（１０８Ａ，１０８Ｂ）により、ＩＳＰ１-ＡおよびＩＳＰ１-Ｂの処理が行われる。ＩＳＰ１-ＡおよびＩＳＰ１-Ｂの処理として、オプティカル・ブラック（ＯＢ）補正処理、欠陥画素補正処理、リニア（Linear）補正処理、シェーディング（Shading）補正処理および領域分割平均処理が実行され、その結果はメモリに保存される。

オプティカル・ブラック(ＯＢ)補正処理は、センサＡ，Ｂにおけるオプティカル・ブラック領域の出力信号を黒の基準レベルとして、有効画素領域の出力信号をクランプ補正する処理である。ＣＭＯＳなどの固体撮像素子は、半導体基板上に多数の感光素子を形成することにより製造されているが、その製造に際して半導体基板に不純物が混入する等の理由により、局所的に画素値の取り込みが不能な欠陥画素が発生する場合がある。欠陥画素補正処理は、上述のような欠陥画素に隣接した複数の画素からの合成信号に基づいてその欠陥画素の画素値を補正する処理である。

リニア（Linear）補正処理は、ＲＧＢ毎にリニア補正を施す処理である。シェーディング（Shading）補正処理は、所定の補正係数を有効画素領域の出力信号に乗じることで、有効画素領域のシェーディング（陰影）の歪みを補正する処理である。領域分割平均処理は、撮像画像を構成する画像領域を複数領域に分割し、分割領域毎に輝度の積算値（または積算平均値）を算出する処理を行う。この処理結果はＡＥ処理に使用される。

ＩＳＰ１-ＡおよびＩＳＰ１-Ｂの処理が完了すると、続いて、図４Ｂに示すように、ＩＳＰ１０８（１０８Ａ，１０８Ｂ）により、ＩＳＰ２-ＡおよびＩＳＰ２-Ｂの処理が行われる。ＩＳＰ２-ＡおよびＩＳＰ２-Ｂの処理として、ホワイトバランス（ＷＢ Gain）処理、ガンマ（γ）補正処理、ベイヤー補間処理、ＹＵＶ変換処理、エッジ強調（ＹＣＦＬＴ）処理および色補正処理が実行され、その結果はメモリに保存される。

被写体からの光量を蓄積するセンサＡ，Ｂ上のフォトダイオードには１画素毎にＲ（赤）、Ｇ（緑）およびＢ（青）のいずれか１色のカラーフィルタが貼付されている。そして、フィルタの色によって透過する光量が変わってくるため、フォトダイオードに蓄積される電荷量が異なっている。最も感度が高いのはＧで、ＲとＢはＧと比較すると感度が低く、約半分程度である。ホワイトバランス（ＷＢ）処理では、これらの感度差を補い、撮影画像の中の白色を白く見せるために、ＲとＢにゲインを掛ける処理を行う。また、物の色は光源色（例えば、太陽光、蛍光灯など）によって変わってくるため、光源が変わっても白色を白く見せるようにＲとＢのゲインを変更し、制御する機能を有している。なお、上記領域分割平均処理により計算された分割領域毎のＲＧＢの積算値（または積算平均値）データに基づき、ホワイトバランス処理のパラメータが計算される。

入力信号に対して出力信号は非線形な関係を有している。このような非線形な出力の場合、明るさに階調性がなく、また画像が暗くなるため人は正しく画像を見ることができない。そこで、出力装置の特性を考慮して、出力が線形性を保つように予め入力信号に処理を行うのがガンマ（γ）補正処理である。

ＣＭＯＳではベイヤー配列と呼ばれる配列で、１画素にＲ（赤）、Ｇ（緑）、Ｂ（青）のいずれか１色のカラーフィルタが貼付されており、ＲＡＷデータは１画素に１色の情報しかない。しかし、ＲＡＷデータから画像として見るためには、１画素にＲ、Ｇ、Ｂの３色の情報が必要であり、足りない２色を補うために周辺の画素から補間する処理がベイヤー補間処理である。デジタルカメラ等で一般的に用いられるファイル形式のＪＰＥＧ画像では、ＹＵＶデータから画像が作成されるため、ＲＧＢデータをＹＵＶデータに変換する。

エッジ強調（ＹＣＦＬＴ）処理は、画像の輝度信号からエッジ部分を抽出し、エッジに対してゲインを掛け、エッジ抽出と並行して画像のノイズを除去する処理である。具体的には、画像の輝度（Ｙ）信号からエッジ部分を抽出するエッジ抽出フィルタと、エッジ抽出フィルタにより抽出されたエッジに対してゲインを掛けるゲイン乗算部と、エッジ抽出と並行して画像のノイズを除去するＬＰＦ（ローパスフィルタ）と、ゲイン乗算後のエッジ抽出データとＬＰＦ処理後の画像データを加算するデータ加算部とを含んでいる。

色補正処理では、彩度設定、色相設定、部分的な色相変更設定、色抑圧設定などが行われる。彩度設定は色の濃さを決定するパラメータ設定であり、ＵＶ色空間を示すものであるが、例えば、第２象限でＲの色に対して原点からＲのドットまでのベクトルの長さが長い程、色の濃さは濃くなる。

色補正処理されたデータは、メモリ（ＤＲＡＭ）に保存されるが、その保存されたデータに基づきクロップ処理が実行される。このクロップ処理は、画像の中心領域を切り抜くことで、サムネイル画像を生成するための処理である。

図４Ａおよび図４Ｂに基づいて、本実施例の撮像装置の作用について説明する。

センサＡから出力されたベイヤーＲＡＷの画像に対して、ＩＳＰ１-Ａにおいて、オプティカル・ブラック(ＯＢ)補正処理、欠陥画素補正処理、リニア（Linear）補正処理、シェーディング（Shading）補正処理、領域分割平均処理を行う。その画像はＤＲＡＭに保存する。センサＢから出力されたベイヤーＲＡＷの画像に対しても同様に、ＩＳＰ１-Ｂにおいて、オプティカル・ブラック(ＯＢ)補正処理、欠陥画素補正処理、リニア（Linear）補正処理、シェーディング（Shading）補正処理、領域分割平均処理を行う。その画像はＤＲＡＭに保存する。

センサＡ，Ｂは独立な簡易ＡＥ処理機能を有し、センサＡ，Ｂの各々が単独で適正露出に設定できるようになっている。センサＡ，Ｂの各々の露出条件の変化が小さくなり安定した場合は、両眼の画像の画像境界部分の明るさが合うように領域分割平均処理によって得られたエリア積算値を用いて各センサＡ，Ｂを適正露出に設定する。

ＩＳＰ１-Ａの処理が終了したセンサＡ側のデータに対しては、ＩＳＰ２-Ａ内のホワイトバランス（ＷＢ Gain）処理、ガンマ（γ）補正処理、ベイヤー補間処理、ＹＵＶ変換処理、エッジ強調（ＹＣＦＬＴ）処理および色補正処理が実行される。実行後のデータはＤＲＡＭに保存される。同様に、ＩＳＰ１-Ｂの処理が終了したセンサＢ側のデータに対しては、ＩＳＰ２-Ｂ内のホワイトバランス（ＷＢ Gain）処理、ガンマ（γ）補正処理、ベイヤー補間処理、ＹＵＶ変換処理、エッジ強調（ＹＣＦＬＴ）処理および色補正処理が実行される。実行後のデータはＤＲＡＭに保存される。

ＩＳＰ２-Ａ又はＩＳＰ２-Ｂの処理を終了したデータに対しては、センサＡ側もしくはセンサＢ側のそれぞれが正則画像に切り取られる処理（クロップ処理）が施され、その後、歪曲補正・合成処理される。歪曲補正・合成処理の過程で、３軸加速度センサからの情報を得て傾き補正（天地補正）が行われる。画像はＪＰＥＧ圧縮にて、約０.１６の圧縮係数で更にデータは圧縮される。

このデータはＤＲＡＭに保存され、ファイル保存（タグ付け）が行われる。さらに、ＳＤＩＯ経由にて、データはＳＤカード等のメディアに保存される。スマートフォン（携帯端末等）に転送する際には、無線ＬＡＮ（Wi-Fi、Bluetooth（登録商標）等）を使用し、スマートフォン（携帯端末等）に転送を行う。

図４Ａおよび図４Ｂでの処理で取り扱うデータは、球状画像が矩形画像データで球状画像の一部分である。サムネイル画像等として表示することを目的としたものである。本実施例は、二枚以上の全天球画像を撮影可能な画像によって実現可能であるが、図４Ａおよび図４Ｂにおいては、具体例として、二枚の撮像素子を用いて画像合成を行う場合についてのフローを示している。

次に、本実施例の特徴部分について、図５を用いて説明する。

図５は、本実施例による撮像装置のモニタリング時における一連のＡＥ処理のフローを示したものである。先ず、センサＡおよびセンサＢに対して、Ｔｖ（シャッタスピード）とＳｖ（感度）の初期値を設定する（ステップＳ１１）。設定する値は、センサＡおよびセンサＢにおいて共通とする。

そして、以下の（１）式にてＢｖ（被写体輝度データ）とＥｖ（露出値）を算出する。Ａｖは絞り値を表しているが、本実施例では絞り機構はないため、Ａｖ値は固定となる。

Ｂｖ＝Ｅｖ＝Ｔｖ＋Ａｖ−（Ｓｖ−０ｘ５０） ・・・・・・（１）

Ｔｖ、Ａｖ、Ｓｖ、Ｂｖ、ＥｖはＡｐｅｘ形式（１／４８step）の値で、演算に用いられる。

次に、Ｔｖ（シャッタスピード）とＳｖ（感度）が検波値に反映されているか否か判断し（ステップＳ１２）、反映されている場合は、センサＡとセンサＢのそれぞれのエリア積算値を取得する（ステップＳ１３）。なお、ステップＳ１２において、Ｔｖ（シャッタスピード）とＳｖ（感度）が検波値に反映されていない場合は、ステップＳ１８に進む。

エリア積算値は、図６に示すように、画像のＲＡＷ−ＲＧＢデータから水平１６×垂直１６のブロック単位で等分割を行い、分割されたブロックの各々に対してＲＧＢ値を積算する。そして、ブロック単位でＲＧＢ値から以下の（２）式を用いてＹ値（輝度値）を求める。なお、本実施例では、エリア積算値として使用するのは、遮光されていない円形内側部分であり、これをＹ値としている。

輝度値＝Ｒ×０.２９９＋Ｇ×０.５８７＋Ｂ×０.１１４ ・・・・・・（２）

本実施例においては、ブロックの分割数を１６×１６＝２５６としたが、これに限定されるものではない。但し、ｎ個の分割ブロックとしたとき、ｎ≧４を満たすようにする。また、本実施例においては、等分割であったが、必ずしもこれに限定されるものではない。ただ、全ての分割ブロックが等面積かつ同形状に等分割されている方が好ましい。

ここで、エリア積算値について詳細に説明する。このエリア積算値の算出は、上述した分割ブロックの各々に対して行うものである。本実施例において、分割ブロックは、上述したように、撮影画像が等分割されたものなので、例えば、撮影画像が約１０００万画素を有していると、分割ブロックの各々は約３.９万画素を有する。この分割ブロックの各々が有する画素夫々は、対応する被写体部分のＲ、ＧまたはＢ成分の情報であり、本実施例では各成分は１２ｂｉｔの情報（０〜２５５）として記録・利用されている。すなわち、２５６個ある分割ブロックの各々において、各ブロックが有する画素の数（約１０００万画素÷２５６＝約３.９万画素）だけ１２ｂｉｔのＲ、Ｇ、Ｂ成分の情報がある。

エリア積算値は、この分割ブロックの夫々について、各ブロックが有する画素全てのＲ成分、Ｇ成分、Ｂ成分それぞれについて加算平均して算出するものである。本実施例では、２５６個に分割した分割ブロックの各々において、Ｒ、Ｇ、Ｂ成分毎に１２ｂｉｔの情報として出力される。

なお、本実施例の場合、Ｒ、Ｇ、Ｂ各画素の比率は、Ｒ：Ｇ：Ｂ＝１：２：１となっており、分割ブロックの各々はＲ画素＝約０.９７５万画素、Ｇ画素＝約１.９５万画素、Ｂ画素＝０.９７５万画素から構成されている。

次に、エリア積算値を積算数で割った値であるＡＥ評価値を算出する（ステップＳ１４）。このＡＥ評価値は以降の露出演算に使用する。

一定の値以下になるセンサＡとセンサＢのＡＥ評価値を平均し、ＡＥテーブルを基に適正露出との差分（デルタＥｖ１）を算出する（ステップＳ１５）。ＡＥテーブルは、図７に示すように、ＡＥ評価値に対応する適正露出との差（デルタＥｖ）を表したものである。ＡＥ評価値が９２０の場合、適正露出から＋１Ｅｖ明るいことになる。また、ＡＥ評価値２３０の場合、適正露出から−１Ｅｖ暗いことになる。各ポイントの間のＡＥ評価値（つまり、図７に示されていないＡＥ評価値）に対しては、線形補間によってデルタＥｖを算出する。

また、ＡＥ評価値が＋３以上または−３以下の場合、デルタＥｖは＋３または−３でクリップされる。そして、一定の値以下になるセンサＡのＡＥ評価値を平均し、ＡＥテーブルを基に適正露出との差分（デルタＥｖ２）を算出する。また、一定の値以下になるセンサＢのＡＥ評価値を平均し、ＡＥテーブルを基に適正露出との差分（デルタＥｖ３）を算出する。

次に、前回算出したＢｖにデルタＥｖ１を加算し被写体輝度データ１（Ｂｖ１）を更新する（ステップＳ１６）。さらに、Ｂｖ１を基に露出値１（Ｅｖ１）を算出するとともに、デルタＥｖが０になる場合、適正な露出（明るさ）であると判断し、デルタＥｖが０になるようなＥｖ１を算出する。

算出したＥｖ１からＥＶ線図に従って、露光条件、すなわちＣＭＯＳのシャッタスピード（Ｔｖ）およびＣＭＯＳの感度（Ｓｖ（ゲイン値））を算出し、その算出したシャッタスピード、ＣＭＯＳの感度をセンサＡとセンサＢに設定する（ステップＳ１７）。

ＥＶ線図は、Ｅｖ値に対応するシャッタスピード、感度の組み合わせの表であり、モニタリングとスチルで異なってもよい。

モニタリング時のＡＥ処理が終了か否かが判断され（ステップＳ１８）、終了でない場合は、ステップＳ１２に戻り、ステップＳ１７にて設定されたＴｖ（シャッタスピード）およびＳｖ（感度）が反映されたエリア積算値を、ステップＳ１３で取得する。ステップＳ１２〜Ｓ１８の処理は、モニタリング中に常時繰り返し実行される。

図８は、本実施例による撮像装置のスチル時における一連のＡＥ処理のフローを示したものである。先ず、スチル撮影直前のモニタリング時に算出したデルタＥｖ２とデルタＥｖ３の値が大きいほうのセンサのＥｖ値とＥｖ１を基にＥｖ２を算出する（ステップＳ２１）。例えば、デルタＥｖ２＞デルタＥｖ３の場合、以下の（３）式によりデルタＥｖ２を設定する。

Ｅｖ２＝Ｅｖ１＋デルタＥｖ２ ・・・・・・（３）

これにより、高輝度側のセンサを適正露出に近づけることができる。

次に、Ｅｖ２からＥＶ線図に従って、シャッタスピード１（Ｔｖ１）、感度１（Ｓｖ１）を算出する（ステップＳ２２）

Ｅｖ１とＥｖ２の差分をＳｖ１に加算し、感度２（Ｓｖ２）を算出する処理、すなわち、ゲイン補正を行う（ステップＳ２３）。

デルタＥｖ２とデルタＥｖ３の値が小さい方のセンサのデルタＥｖの何割かをＳｖ２に減算してもよい。例えば、デルタＥｖ２＞デルタＥｖ３の場合、以下の（４）式によりデルタＳｖ２を設定する。

Ｓｖ２＝Ｓｖ２−デルタＥｖ３／２ ・・・・・・（４）

ステップＳ２１およびステップＳ２３の処理を実行することにより、センサＡとセンサＢとで異なる輝度の被写体を写した場合でも、センサそれぞれで適正な露出に近づけることができる。

デルタＥｖ２とデルタＥｖ３の値が大きい方のセンサにＴｖ１とＳｖ１を設定し、デルタＥｖ２とデルタＥｖ３の値が小さい方のセンサにＴｖ１、Ｓｖ２を設定する（ステップＳ２４）。

センサＡとセンサＢのシャッタスピードを同じにすることで、センサＡとセンサＢにまたがる動被写体に対しても良好に繋ぎ合わせることができる。また、このとき、両面のセンサの上下読み出し方向を同じにすることで、露光タイミングが一致し、更に良好な動被写体の繋ぎ合わせを行うことができる。また、固体撮像素子の走査方向を、互いに一致させることで、各々の撮像画像をつなぎ合わせやすくすることができる。つまり、それぞれの固体撮像素子の走査方向と順序を、互いにつなぎ合わせる部分で一致させることで、互いのカメラの境界にある物体、特に、移動物体のつなぎ合わせに効果が得られる。例えば、固体撮像素子２２Ａで撮影された撮像画像の左上の部分と、固体撮像素子２２Ｂで撮影された撮像画像の左下の部分が、画像のつなぎ合わせる部分として一致する場合は、固体撮像素子２２Ａの走査は、固体撮像素子の上から下に向かって、右から左に走査する。一方、固体撮像素子２２Ｂの走査は、固体撮像素子の下から上に向かって、右から左に走査する。このように、画像のつなぎ合わせる部分に基づいて、各固体撮像素子の走査方向を制御することで、つなぎ合わせに効果が得られる。

次に、センサＡとセンサＢの感度差を補正する。感度が低いセンサから出力された画像に対して、中心を１倍、最周辺をｋ倍に設定し、中心と最周辺との間は画像中心からの距離によって線形補間で求める処理、すなわち、感度差補正を行う（ステップＳ２５）。ｋは１以上であり、中心から最周辺にかけてゲイン倍率を上げることになる。ここで、ｋの算出方法は以下のようになる。

例えば、デルタＥｖ２＞デルタＥｖ３の場合、以下の（５）式によりｋを求める。

ｋ＝Ｓｖ２／Ｓｖ１ ・・・・・・（５）

これにより、感度差の異なるセンサＡとセンサＢの画像をつなぎ合わせた際、繋ぎ合せ部分の明るさの差が出ず、良好な露出にすることができる。

図９は、図３におけるプロセッサ１００内のＣＰＵ１３０の内部構成のうち、本実施例に関連する部分を概略的に示したブロック図である。ＣＰＵ１３０の内部には、図５に示した処理および図８に示した処理をそれぞれ実現するために、第一測光値算出部５１、第二測光値算出部５２、第一露出値算出部５３、第二露出値算出部５４、露出制御値設定部５５、および露出差補正部５６が設けられている。

第一測光値算出部５１は、複数の固体撮像素子（例えば、固体撮像素子２２Ａ，２２Ｂ）から取得した撮像信号を基に測光値を算出する。第二測光値算出部５２は、複数の固体撮像素子のうち各固体撮像素子単独で取得した撮像信号を基に各固体撮像素子に対応した測光値を算出する。なお、ＣＰＵ１３０は、固体撮像素子２２Ａ，２２Ｂを制御指令によって制御しており、逆に第一測光値算出部５１および第二測光値算出部５２は、固体撮像素子２２Ａ，２２Ｂからの撮像信号を基に測光値を算出することができるようになっている。

第一露出値算出部５３は、第一測光値算出部５１によって算出した測光値、および第二測光値算出部５２によって算出した測光値の少なくとも一方から露出値を算出する。なお、この場合、第一露出値算出部５３は、第二測光値算出部５２によって求めた測光値の最大値を基に露出値を算出するようにしてもよい。

第二露出値算出部５４は、第二測光値算出部５２によって算出した各固体撮像素子の測光値から各固体撮像素子に対応した露出値を算出する。

露出制御値設定部５５は、第二測光値算出部５２によって算出した測光値の中で第一測光値算出部５１によって算出した測光値よりも大きい固体撮像素子を第一固体撮像素子とし、それ以外の固体撮像素子を第二固体撮像素子とした場合、第一固体撮像素子に対しては第一露出値算出部５３によって算出した露出値を基に露出制御値を設定するとともに、第二固体撮像素子に対しては第二露出値算出部５４によって算出した露出値を基に露出制御値を設定する。

露出差補正部５６は、第二固体撮像素子に対しては第一固体撮像素子との露出差を補正する。

また、図５や図８に示したフローは、アセンブラ、Ｃ、Ｃ＋＋、Ｃ＃、Ｊａｖａ（登録商標）などのレガシープログラミング言語やオブジェクト指向プログラミング言語などで記述されたコンピュータ実行可能なプログラムにより実現できる。そして、ＲＯＭ、ＥＥＰＲＯＭ、ＥＰＲＯＭ、フラッシュメモリ、フレキシブルディスク、ＣＤ−ＲＯＭ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ブルーレイディスク、ＳＤカード、ＭＯなどの記録媒体に格納して頒布できる。

１０ 全天球撮像システム
１２ 撮像体
２０Ａ，２０Ｂ レンズ光学系
２２Ａ，２２Ｂ 固体撮像素子（センサＡ，Ｂ）
５１ 第一測光値算出部（第一測光値算出手段）
５２ 第二測光値算出部（第二測光値算出手段）
５３ 第一露出値算出部（第一露出値算出手段）
５４ 第二露出値算出部（第二露出値算出手段）
５５ 露出制御値設定部（露出制御値設定手段）
５６ 露出差補正部（露出差補正手段）
１００ デジタル・スチルカメラ・プロセッサ（プロセッサ）
１０８Ａ，１０８Ｂ ＩＳＰ
１１８ 歪曲補正・画像合成ブロック
１２０ ３軸加速度センサ
１３０ ＣＰＵ
１３８ ＳＤＲＡＭ
１４４ フラッシュＲＯＭ

特許第４８６９７９５号公報

Claims (10)

1. 複数の固体撮像素子から取得した撮像画像を繋ぎ合わせて、一つの画像を形成し出力する撮像装置であって、
   前記複数の固体撮像素子から取得した撮像信号を基に測光値を算出する第一測光値算出手段と、
   前記複数の固体撮像素子のうち各固体撮像素子で取得した撮像信号を基に各固体撮像素子に対応した測光値を算出する第二測光値算出手段と、
   前記第一測光値算出手段によって算出した測光値、および前記第二測光値算出手段によって算出した測光値の少なくとも一方から露出値を算出する第一露出値算出手段と、
   前記第二測光値算出手段によって算出した各固体撮像素子の測光値から各固体撮像素子に対応した露出値を算出する第二露出値算出手段とを備え、
   前記第二測光値算出手段によって算出した測光値の中で前記第一測光値算出手段によって算出した測光値よりも大きい固体撮像素子を第一固体撮像素子とし、それ以外の固体撮像素子を第二固体撮像素子とし、
   前記第一固体撮像素子に対しては前記第一露出値算出手段によって算出した露出値を基に露出制御値を設定するとともに、前記第二固体撮像素子に対しては前記第二露出値算出手段によって算出した露出値を基に露出制御値を設定する露出制御値設定手段と、
   前記第二固体撮像素子に対しては前記第一固体撮像素子との露出差を補正する露出差補正手段とを有することを特徴とする撮像装置。
2. 前記第一露出値算出手段は、前記第二測光値算出手段によって求めた測光値の最大値を基に露出値を算出することを特徴とする請求項１に記載の撮像装置。
3. 前記露出制御値設定手段は、各々の固体撮像素子に対して設定するシャッタスピードを一致させ、異なるゲインを設定することを特徴とする請求項１又は２に記載の撮像装置。
4. 前記露出差補正手段は、中心から周辺にかけてゲイン倍率を上げることを特徴とする請求項１〜３のいずれか一項に記載の撮像装置。
5. 複数の固体撮像素子から取得した撮像画像を繋ぎ合わせて、一つの画像を形成し出力する撮像装置であって、
   前記複数の固体撮像素子から取得した撮像信号を基に測光値を算出する第一測光値算出手段と、
   前記複数の固体撮像素子のうち各固体撮像素子で取得した撮像信号を基に各固体撮像素子に対応した測光値を算出する第二測光値算出手段と、
   前記第一測光値算出手段によって算出した測光値、および前記第二測光値算出手段によって算出した測光値の少なくとも一方から露出値を算出する第一露出値算出手段と、
   前記第二測光値算出手段によって算出した各固体撮像素子の測光値から各固体撮像素子に対応した露出値を算出する第二露出値算出手段とを備え、
   前記第二測光値算出手段によって算出した測光値の中で前記第一測光値算出手段によって算出した測光値よりも大きい固体撮像素子を第一固体撮像素子とし、それ以外の固体撮像素子を第二固体撮像素子とし、
   前記第一固体撮像素子に対しては前記第一露出値算出手段によって算出した露出値を基にシャッタスピードとゲインを設定するとともに、前記第二固体撮像素子に対しては前記第二露出値算出手段によって算出した露出値を基にシャッタスピードを前記第一固体撮像素子と一致させ、ゲインを設定する露出制御値算出手段と、
   固体撮像素子毎に読み出し方向を設定する読み出し方向設定手段と、
   前記第二固体撮像素子に対しては前記第一固体撮像素子との露出差を補正する露出差補正手段とを有することを特徴とする撮像装置。
6. 複数の固体撮像素子から取得した撮像画像を繋ぎ合わせて、一つの画像を形成し出力する撮像方法であって、
   前記複数の固体撮像素子から取得した撮像信号を基に測光値を算出する第一測光値算出工程と、
   前記複数の固体撮像素子のうち各固体撮像素子で取得した撮像信号を基に各固体撮像素子に対応した測光値を算出する第二測光値算出工程と、
   前記第一測光値算出工程によって算出した測光値、および前記第二測光値算出工程によって算出した測光値の少なくとも一方から露出値を算出する第一露出値算出工程と、
   前記第二測光値算出工程によって算出した各固体撮像素子の測光値から各固体撮像素子に対応した露出値を算出する第二露出値算出工程とを備え、
   前記第二測光値算出工程によって算出した測光値の中で前記第一測光値算出工程によって算出した測光値よりも大きい固体撮像素子を第一固体撮像素子とし、それ以外の固体撮像素子を第二固体撮像素子とした場合、
   前記第一固体撮像素子に対しては前記第一露出値算出工程によって算出した露出値を基に露出制御値を設定するとともに、前記第二固体撮像素子に対しては前記第二露出値算出工程によって算出した露出値を基に露出制御値を設定する露出制御値算出工程と、
   前記第二固体撮像素子に対しては前記第一固体撮像素子との露出差を補正する露出差補正工程とを含むことを特徴とする撮像方法。
7. 前記第一露出値算出工程は、前記第二測光値算出工程によって求めた測光値の最大値を基に露出値を算出することを特徴とする請求項６に記載の撮像方法。
8. 前記露出制御値算出工程は、各々の固体撮像素子に対して設定するシャッタスピードを一致させて、異なるゲインを設定することを特徴とする請求項６又は７に記載の撮像方法。
9. 前記露出差補正工程は、中心から周辺にかけてゲイン倍率を上げることを特徴とする請求項６〜８のいずれか一項に記載の撮像方法。
10. 画像処理機能を有する装置が有するコンピュータに、複数の固体撮像素子から取得された撮像画像を繋ぎ合わせて、一つの画像を形成し出力するためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって、
    前記複数の固体撮像素子から取得した撮像信号を基に測光値を算出する第一測光値算出処理と、
    前記複数の固体撮像素子のうち各固体撮像素子で取得した撮像信号を基に各固体撮像素子に対応した測光値を算出する第二測光値算出処理と、
    前記第一測光値算出処理によって算出した測光値、および前記第二測光値算出処理によって算出した測光値の少なくとも一方から露出値を算出する第一露出値算出処理と、
    前記第二測光値算出処理によって算出した各固体撮像素子の測光値から各固体撮像素子に対応した露出値を算出する第二露出値算出処理とを備え、
    前記第二測光値算出処理によって算出した測光値の中で前記第一測光値算出処理によって算出した測光値よりも大きい固体撮像素子を第一固体撮像素子とし、それ以外の固体撮像素子を第二固体撮像素子とした場合、
    前記第一固体撮像素子に対しては前記第一露出値算出処理によって算出した露出値を基に露出制御値を設定するとともに、前記第二固体撮像素子に対しては前記第二露出値算出処理によって算出した露出値を基に露出制御値を設定する露出制御値算出処理と、
    前記第二固体撮像素子に対しては前記第一固体撮像素子との露出差を補正する露出差補正処理とを含むことを特徴とする画像処理を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。