JP2009267923A - 撮像システム - Google Patents

Abstract

【課題】新たな部品を追加することなく、またカメラの性能にばらつきがあっても、各カメラ画像枠の境界で明るさのアンバランスを抑圧する撮像システムを提供する。
【解決手段】各カメラ１０Ａ〜１０Ｄは、撮影する撮像エリア内に他のカメラとの間で共有する領域である共通撮像エリアを設け、共通撮像エリア部分の輝度信号を検波して共通エリア露光検波情報を生成する映像処理回路１３を備える。中央制御装置３０は、各カメラから伝送された共通エリア露光検波情報を比較し、同一の共通撮像エリアにおける共通エリア露光検波情報のカメラ間の差に応じて該当するカメラに対して露光補正情報２３を出力する中央プロセッサ３３を備える。
【選択図】図１

Description

本発明は、複数のカメラから得られた画像を合成して表示する撮像システムに係り、特に、各カメラからの画像境界部に発生する明るさのアンバランスをなくす撮像システムに関する。

自動車ボディにカメラを設置し、車両周囲を撮像して運転者の死角画像を表示し、運転補助機能を提供する撮像システムが実用化されている。当初の車載撮像システムは、車両の後方や運転席の反対側側面に１台のカメラを設置し、カメラの撮影画像をそのまま表示モニターに表示するものが主流であった。最近では、４台あるいはそれ以上のカメラを車両周囲に配置し、視点変換技術などを用いて、例えば車両上方からの視点画像を擬似的に生成するとともに、各カメラ画像を合成して、車両全周囲をモニタリングすることが可能になっている。このような車両周囲を撮像してユーザに対し駐車支援を行う技術は、例えば特許文献１、２に開示されている。

特開２００５−２３９０４８号公報 特開２００８−４４５２９号公報

一般にカメラには、撮影した画像の輝度信号量に応じて絞りや電子シャッター速度を調整して輝度信号量を適正値に制御する自動露光制御機能や、撮影した画像の赤色成分と青色成分の比率などから被写体色温度を推定し白色バランスを適正に維持する自動色バランス制御機能、ないし自動色温度補正機能が実装されている。すなわち、様々な被写体に対して個々のカメラが出力する画像は、それぞれのカメラが撮影する撮像枠内での画像に対して適正な輝度信号量と色バランスを維持することができる。しかしながらこれらの自動制御機能が原因で、複数のカメラからの画像を組合せて１枚の画像を合成する場合、各カメラの画像枠の境界で明るさや色合いにアンバランスが生じるという課題がある。

このアンバランスの発生のメカニズムを図面を用いて説明する。
図３は、車両の前後左右に４台のカメラを設置し、前記特許文献にも開示された視点変換技術を用いて、車両上空の視点からの画像を擬似的に合成して表示する例である。（ａ）に示すように、車両の前後左右にはカメラＡ，Ｂ，Ｃ，Ｄが配置されている。（ｂ）は表示画像であり、それぞれのカメラで撮影された画像が、表示画面の領域Ａ，Ｂ，Ｃ，Ｄにそれぞれ出力され全体画像が生成される。ここで、車両前方（図面上方）が日向、車両後方（図面下方）が日陰である場合を想定する。本来なら（ｂ）に示すように、領域Ａは明るく、領域Ｄは暗く、また各領域Ａ，Ｂ，Ｃ，Ｄの境界では明るさは同一レベルで表示されるべきである。しかしながら合成後の実際の表示画像では、（ｃ）に示すように、各領域の境界にて明るさにアンバランスが生じる。

これは、それぞれのカメラが独立に、それぞれの撮影する撮像枠内での画像を元に自動露光制御を行うからである。各カメラは自動露光制御により、撮像枠で得られる輝度信号量の総和量を一定値に維持するように制御する。よって、例えばカメラＡとカメラＤを比較すると、日向の部分を撮影するカメラＡの画像は本来より暗くなるように、逆に日陰の部分を撮影するカメラＤの画像は本来より明るくなるように露光されて表示される。また、カメラＢとカメラＣの画像には日向部分と日陰部分の両方を含むが、その占有割合が異なれば同様の理由で露光条件が異なるので、各領域の境界にて明るさにアンバランスが生じることになる。

このアンバランスを解消するためには、例えば（１）各カメラの設置位置に照度センサを設置して、各位置の照度値に応じて各カメラの露光条件を制御する方法、（２）各カメラの信号を合成処理する中央制御装置から、それぞれのカメラに対し同一の露光条件（絞り値ないしシャッター速度）になるよう制御する方法、などの対策が考えられる。しかしながら、（１）では新たなセンサ部品を取り付ける必要があり、（２）では複数のカメラ（撮像素子）が同一の性能（光感度特性）を示すことが要求されることから、いずれも実用的とは言えない。

本発明の目的は、上記課題に鑑み、新たな部品を追加することなく、またカメラの性能にばらつきがあっても、各カメラ画像枠の境界で明るさのアンバランスを抑圧することのできる撮像システムを提供することである。

本発明は、複数のカメラで撮影した画像を中央制御装置に伝送し、各カメラからの画像を合成して表示する撮像システムであって、各カメラは、撮影する撮像エリア内に他のカメラとの間で共有する領域である共通撮像エリアを設け、撮影した画像信号を処理すると共に共通撮像エリア部分の輝度信号を検波して共通エリア露光検波情報を生成する映像処理回路と、撮影した画像信号と共通エリア露光検波情報を中央制御装置に伝送する伝送処理回路と、光学系と撮像素子に対して露光制御信号を出力するカメラプロセッサを備え、中央制御装置は、各カメラから伝送された画像信号を合成して画像表示部に表示する表示処理部と、各カメラから伝送された共通エリア露光検波情報を比較し、同一の共通撮像エリアにおける共通エリア露光検波情報のカメラ間の差に応じて該当するカメラに対して露光補正情報を出力する中央プロセッサを備える。

ここに中央制御装置の中央プロセッサは、同一の共通撮像エリアにおける２つのカメラの共通エリア露光検波情報の差が予め定めた閾値より大きい場合、共通エリア露光検波情報の差に基づき必要な露光補正量を計算し、一方のカメラに対して露光補正情報を出力する。

また各カメラの映像処理回路は、撮影した画像信号に対して非線形な輝度階調補正を行う機能を有し、中央制御装置の中央プロセッサは、伝送された画像信号の輝度階調に応じて、該当するカメラの映像処理回路に対して輝度階調補正動作の制御を行う。

本発明によれば、新たな部品を追加することなく、またカメラの性能にばらつきがあっても、各カメラ画像枠の境界で明るさのアンバランスを抑圧する実用的な撮像システムを提供する。

以下、本発明の実施形態を図面を用いて説明する。

図１は、本発明の撮像システムの一実施例を示すシステム構成図である。
本実施例の撮像システムは、車両の前後左右に４台のカメラＡ，Ｂ，Ｃ，Ｄ（符号１０Ａ，１０Ｂ，１０Ｃ，１０Ｄ）を設置し、各カメラからの画像信号を伝送路２０を介して中央制御装置３０に伝送し、車両上空の視点からの合成画像を生成して画像表示部４０に表示する構成である。

各カメラ１０Ａ〜１０Ｄにおいて、光学系１１から撮像素子１２に結像した映像は、映像処理回路１３と伝送処理回路１５にて処理される。映像処理回路１３では露光制御に使用する露光検波情報１４をプロセッサ（カメラプロセッサ）１７に出力する。この露光検波情報１４は、撮影画像内の輝度信号を検波して得られる情報で、輝度信号の総和値、平均値、最大値、最小値、輝度分布ヒストグラムなどの情報である。露光検波情報１４は、撮影画像全体を単一エリアとして検波する場合と、撮影画像を複数のエリアに分割し、それぞれのエリアの輝度信号を検波する場合とがある。

プロセッサ１７では、この露光検波情報１４を基に適正な露光状態を維持するよう、光学系１１や撮像素子１２に対して露光制御命令１９を出力する。この命令は、光学系１１に対しては絞り値の更新を指示するものであり、撮像素子１２に対してはシャッタスピードの更新を指示するものである。またプロセッサ１７は、映像処理回路１３に対して階調補正命令１８を出力する。この階調補正は、画像を実際に出力表示する際に、より自然に近い輝度で表示するためのレベル補正である。

映像処理回路１３は、さらに、撮影画像内の特定のエリア（後述する共通撮像エリア）の輝度信号を検波して露光検波情報を生成する。伝送処理回路１５では、伝送路２０に向けて、カメラ１０Ａ〜１０Ｄからの画像信号２１とともに、共通撮像エリアの露光検波情報（以下、共通エリア露光検波情報）２２を出力する。

中央制御装置３０では、伝送路２０から伝送処理回路３１を介して入力した各カメラの画像信号２１を、一旦メモリ３２に格納する。表示処理回路３４は、各カメラからの画像について視点変換処理、画像合成処理などを施し、合成画像を生成して画像表示部４０に出力する。

また中央制御装置３０では、伝送路２０から入力された共通エリア露光検波情報２２について、プロセッサ（中央プロセッサ）３３にて比較評価する。そして、共通エリア露光検波情報２２についてカメラ間で差異が生じている場合、プロセッサ３３は、この差異を緩和するように各カメラ個別に露光補正情報２３を生成する。生成した露光補正情報２３は、伝送処理回路３１と伝送路２０を介して各カメラに送信される。各カメラでは、伝送処理回路１５を介して露光補正情報２３を受け取り、プロセッサ１７に露光補正情報１６を送り、光学系１１や撮像素子１２に対して露光補正命令１９を出力する。

このように本実施例では、各カメラの撮影画像について共通撮像エリアを設けてそのエリア内の露光検波情報を比較し、その差異を緩和するように各カメラの露光条件を補正することを特徴とする。これにより、各共通撮像エリアの輝度値を一致させ、各カメラ画像枠の境界での明るさのアンバランスをなくすことができる。

図２は、本実施例において各カメラに設けた共通撮像エリアを説明する図である。

各カメラ１０Ａ〜１０Ｄはそれぞれ撮像エリアＡ〜Ｄを撮影するが、最終的に表示に使用される表示エリアよりも広い領域をカバーする。そして、各撮像エリアＡ〜Ｄには隣接する他のカメラの撮像エリアとの間で共有する領域、すなわち共通撮像エリアを設けている。例えば撮像エリアＡと撮像エリアＢとの共通撮像エリアを符号Ｓａｂ（斜線部分）で示す。本実施例では、４個の撮像エリアに対し、４箇所の共通撮像エリアＳａｂ，Ｓａｃ，Ｓｂｄ，Ｓｃｄを設ける。

各カメラの映像処理回路１３は、共通撮像エリアＳａｂ，Ｓａｃ，Ｓｂｄ，Ｓｃｄ内の輝度信号の検波を行い、共通エリア露光検波情報２２として中央制御装置３０に出力する。例えば共通撮像エリアＳａｂについては、撮像エリアＡに属する共通エリア露光検波情報Ｉａｂ（Ａ）と、撮像エリアＢに属する共通エリア露光検波情報Ｉａｂ（Ｂ）を出力する。中央制御装置３０ではそれらを比較し、その差が小さくなるようにカメラＡまたはＢに対し露光補正情報２３を生成する。

図３を用いて、本実施例による露光補正の原理を説明する。
例えば、前述した図３（ｃ）のようなアンバランスが発生した場合を想定する。共通撮像エリアＳａｂにおいて、共通エリア露光検波情報Ｉａｂ（Ａ）は、共通エリア露光検波情報Ｉａｂ（Ｂ）よりも輝度値が小さい（暗い）ので、カメラＡの露光条件をより明るくするよう補正する（補正Ａ’）。また、共通撮像エリアＳｂｄにおいて、共通エリア露光検波情報Ｉｂｄ（Ｄ）は、共通エリア露光検波情報Ｉｂｄ（Ｂ）よりも輝度値が大きい（明るい）ので、カメラＤの露光条件をより暗くするよう補正する（補正Ｄ’）。他の共通撮像エリアＳａｃ，Ｓｃｄについても、それぞれの共通エリア露光検波情報を比較して露光条件を補正する。その結果、図３（ｂ）のように各領域の境界にて明るさにアンバランスのない合成画像を表示することができる。

本実施例の露光補正によれば、補正のために新たなセンサ部品を追加する必要がない。また、設置する複数のカメラ（撮像素子）の性能（光感度特性）にばらつきがある場合でも、各領域の境界にて明るさのアンバランスの発生を抑圧することができる。よって、実用的な撮像システムを提供する。

次に、中央制御装置３０のプロセッサ３３の行う露光補正のアルゴリズムについて説明する。
各共通撮像エリアＳａｂ，Ｓａｃ，Ｓｂｄ，Ｓｃｄにおいて、それぞれ２つのカメラからの共通エリア露光検波情報を比較する。比較の結果、両者の差が予め定めた閾値より大きい場合には、一方のカメラの露光条件を補正するための露光補正情報２３を発行する。両者の差が閾値以内にある場合は露光条件の補正は行わない。そして、露光条件補正後の各共通撮像エリアＳａｂ，Ｓａｃ，Ｓｂｄ，Ｓｃｄにおける露光検波情報を再度比較し、それらの差が閾値以内になるように調整する。その結果、全ての共通撮像エリアにおいて露光検波情報を一致させることができる。

図４は、本実施例の露光補正処理の一般的なフローチャートを示す図である。

ステップＳ４０１で、各共通撮像エリアＳａｂ，Ｓａｃ，Ｓｂｄ，Ｓｃｄにおける各カメラ画像の露光検波情報Ｉａｂ（Ａ），Ｉａｂ（Ｂ），・・・を取得する。ステップＳ４０２で、各共通エリア露光検波情報の大小関係を調べ、補正基準カメラを決定する。補正基準カメラとは、露光条件設定の基準とするカメラであり、例えばカメラ画像内の輝度分布（露光検波情報の差）が最大となるものを選ぶのが良い。例えば図３の場合は、カメラＢ（またはＣ）を補正基準カメラとするのが良い。ステップＳ４０３では、露光補正の対象となる補正対象カメラを決定する。補正対象カメラは上記補正基準カメラ以外のカメラであり、図３の場合はカメラＡ，Ｃ（またはＢ），Ｄが相当する。

ステップＳ４０４では、１つの補正対象カメラについて露光ずれ量を計算する。例えばカメラＡについては、カメラＢとの共通エリア露光検波情報の差をとることで、露光ずれ量を求める。ステップＳ４０５では、露光ずれ量が閾値以内であるかどうか判定する。閾値以内であれば補正不要としステップＳ４０８に進み、閾値より大きければステップＳ４０６に進み補正を行う。

ステップＳ４０６では、上記露光ずれ量に変換係数を乗じて補正対象カメラについて露光補正量を計算する。ステップＳ４０７では、補正対象カメラに対し露光バランスポイントを上記露光補正量だけ遷移するよう補正する。ステップＳ４０５に戻り、露光補正の結果、露光ずれ量が閾値以内になったかどうか判定する。閾値より大きければ、ステップＳ４０６に進み再度補正を行う。

ステップＳ４０８では、他の補正対象カメラが残っているかどうか判定する。例えば図３の場合、カメラＣ，Ｄが残っているので、ステップＳ６０４に戻り、同様に露光補正を実施する。

以上の処理フローにより、全ての共通撮像エリアにおいて露光検波情報を一致させることができる。なお、ステップＳ４０２とＳ４０３にて補正基準カメラおよび補正対象カメラを任意に選択し、またカメラ数も任意に設定することができる。これにより、実際の表示画像に合わせて露光補正を効率よく実施することができる。

図５は、合成画像の露光補正の代表例を示す図である。ここでは、日向（日陰）方向が原因で発生するアンバランス画像の例をケース１〜６に分けて示している。日向方向により、共通撮像エリアＳａｂ，Ｓａｃ，Ｓｂｄ，Ｓｃｄにおいては、それぞれの共通エリア露光検波情報に差（閾値より大きい差）が生じる。共通エリア露光検波情報Ｉａｂ（Ａ），Ｉａｂ（Ｂ），・・・の大小関係は図中の表に記述したようになる。ただし、簡単のために表示画面内ではカメラ境界部での明るさの違いは表現していない。

ケース１〜４は、全て（４箇所）の共通撮像エリアＳａｂ，Ｓａｃ，Ｓｂｄ，Ｓｃｄにおいて共通エリア露光検波情報に差が生じた場合である。ケース５は、３箇所の共通撮像エリアＳａｃ，Ｓｂｄ，Ｓｃｄにおいて共通エリア露光検波情報に差が生じた場合である。またケース６は、２箇所の共通撮像エリアＳｂｄ，Ｓｃｄにおいて共通エリア露光検波情報に差が生じた場合である。ケース５とケース６は、日向（日陰）方向が一例の場合のみ示す。なお、図示していないが、１箇所の共通撮像エリアのみにおいて共通エリア露光検波情報に差が生じる場合もある。

露光補正は、いずれか１箇所以上の共通撮像エリアにおいて共通エリア露光検波情報に差が生じた場合に実行するのが好ましいが、ケース１〜４のように、全て（４箇所）の共通撮像エリアＳａｂ，Ｓａｃ，Ｓｂｄ，Ｓｃｄにおいて共通エリア露光検波情報に差が生じた場合のみ実行するようにしても良い。

各ケースに対する露光補正方法は、次のような露光補正情報を該当するカメラに出力する。
ケース１の場合は、カメラＡに対する露光バランスポイントＥ（Ａ）を、カメラＢまたはカメラＣとの共通エリア露光検波情報の差に応じた分だけ、明るさを増す方向に遷移させる。

そのために、まずカメラＡの露光ずれ量を計算する。露光ずれ量ΔＩ（Ａ）は、共通撮像エリアＳａｂにおけるカメラＢとの差と、共通撮像エリアＳａｃにおけるカメラＣとの差の平均をとる。
ΔＩ（Ａ）＝［｛Ｉａｂ（Ｂ）−Ｉａｂ（Ａ）｝
＋｛Ｉａｃ（Ｃ）−Ｉａｃ（Ａ）｝］／２ （１）
次に、露光ずれ量ΔＩ（Ａ）を緩和するために、変換係数ｋを乗じて、カメラＡに対する露光補正量ΔＥ（Ａ）を計算する。
ΔＥ（Ａ）＝ｋ・ΔＩ（Ａ） （２）
これより、カメラＡに対して、露光バランスポイントＥ（Ａ）を上記ΔＥ（Ａ）だけ明るさを増す方向に補正する。

また、カメラＤに対する露光バランスポイントＥ（Ｄ）を、カメラＢまたはカメラＣとの共通エリア露光検波情報の差に応じた分だけ、明るさを減らす方向に遷移させる。この場合の補正量は次の計算で求める。
ΔＩ（Ｄ）＝［｛Ｉｂｄ（Ｄ）−Ｉｂｄ（Ｂ）｝
＋｛Ｉｃｄ（Ｄ）−Ｉｃｄ（Ｂ）｝］／２ （３）
ΔＥ（Ｄ）＝ｋ・ΔＩ（Ｄ） （４）
これより、カメラＤに対して、露光バランスポイントＥ（Ｄ）を上記ΔＥ（Ｄ）だけ明るさを減らす方向に補正する。

他のケースについては以下の通りである。各計算式は省略する。
ケース２の場合は、カメラＡに対する露光バランスポイントＥ（Ａ）を、カメラＢまたはカメラＣとの共通エリア露光検波情報の差に応じた分だけ、明るさを減らす方向に遷移させる。また、カメラＤに対する露光バランスポイントＥ（Ｄ）を、カメラＢまたはカメラＣとの共通エリア露光検波情報の差に応じた分だけ、明るさを増す方向に遷移させる。

ケース３の場合は、カメラＢに対する露光バランスポイントＥ（Ｂ）を、カメラＡまたはカメラＤとの共通エリア露光検波情報の差に応じた分だけ、明るさを減らす方向に遷移させる。また、カメラＣに対する露光バランスポイントＥ（Ｃ）を、カメラＡまたはカメラＤとの共通エリア露光検波情報の差に応じた分だけ、明るさを増す方向に遷移させる。

ケース４の場合は、カメラＢに対する露光バランスポイントＥ（Ｂ）を、カメラＡまたはカメラＤとの共通エリア露光検波情報の差に応じた分だけ、明るさを増す方向に遷移させる。また、カメラＣに対する露光バランスポイントＥ（Ｃ）を、カメラＡまたはカメラＤとの共通エリア露光検波情報の差に応じた分だけ、明るさを減らす方向に遷移させる。

ケース５の場合は、カメラＣに対する露光バランスポイントＥ（Ｃ）を、カメラＡとの共通エリア露光検波情報の差に応じた分だけ、明るさを減らす方向に遷移させる。また、カメラＤに対する露光バランスポイントＥ（Ｄ）を、カメラＢとの共通エリア露光検波情報の差に応じた分だけ、明るさを減らす方向に遷移させる。

ケース６の場合は、カメラＤに対する露光バランスポイントＥ（Ｄ）を、カメラＢまたはカメラＣとの共通エリア露光検波情報の差に応じた分だけ、明るさを減らす方向に遷移させる。
以上のような補正処理を行うことで、各カメラ画像領域の境界で生じる明るさのアンバランスを抑圧し、自然な画像を提供することができる。

図６は、図５の露光補正処理のフローチャートを示す図である。
ステップＳ６０１で、各共通撮像エリアＳａｂ，Ｓａｃ，Ｓｂｄ，Ｓｃｄにおける各カメラ画像の露光検波情報Ｉａｂ（Ａ），Ｉａｂ（Ｂ），・・・を取得する。ステップＳ６０２で、各共通エリア露光検波情報の大小関係を調べ、図５に示したどのケースに該当するかを判定する。ケースを判定すると、予め定めたルールにより露光補正の要否が判明する。例えば、図５のケース１〜６は補正＝要とし、それ以外は補正＝不要としておく。露光補正＝要の場合、ステップＳ６０３では露光補正の対象となるカメラを決定する。例えば、図５のケース１ではカメラＡとカメラＤが補正対象であり、ケース３ではカメラＢとカメラＣが補正対象である。

ステップＳ６０４では、１つの補正対象カメラについて露光ずれ量を計算する。例えばカメラＡについては、共通エリア露光検波情報についてカメラＢとの差とカメラＣとの差の平均をとることで、前記（１）式によりΔＩ（Ａ）を計算する。ステップＳ６０５では、補正対象カメラについて露光補正量を計算する。例えばカメラＡに対しては前記（２）式によりΔＥ（Ａ）を計算する。ステップＳ６０６では、補正対象カメラに対し露光バランスポイントを上記露光補正量だけ明るさを増す（あるいは減らす）方向に補正する。

ステップＳ６０７では、他の補正対象カメラが残っているかどうか判定する。例えばケース１の場合はカメラＤが残っているので、ステップＳ６０４に戻り、同様に露光補正を実施する。

図５，６の実施例によれば、アンバランスの発生し易いケースとそれに対する補正方法を予め登録しておき、これに従って露光補正を実行するので、補正処理時間を短縮することができる。

前記実施例１による露光制御のバランスポイント補正により、各カメラ撮像エリア境界部での明るさのアンバランスを解消することができる。しかしながら、必ずしも実用に適した明るさの表示画像が得られるとは限らない。例えば、日向の部分を撮影した画像（ケース１でのカメラＡの画像）は白とび（明るすぎ）の画像に遷移したり、日陰の部分だけを撮影した画像（ケース１でのカメラＤの画像）は、黒沈み（暗すぎ）の画像に遷移してしまい、特に暗部の画像の認識が不十分になることがある。そこで、本実施例２では、露光制御のバランスポイントの補正制御に加え、輝度階調の非線形化制御を行う。

図７は、輝度階調の非線形化制御を説明する図である。非線形制御としては、補正曲線７１で示す「ガンマ処理」と称される階調制御や、補正曲線７２で示す一般に「コントラスト」と称される階調制御が有効である。いずれの補正も、入力輝度信号の階調が大きい場合は階調を下げた輝度信号を出力し、入力輝度信号の階調が小さい場合は階調をあげた輝度信号を出力するものである。

図８は、輝度階調の非線形化制御を付加した輝度補正の例を示す図である。（ａ）は前記ケース１の場合の本来の輝度分布であり、（ｂ）は前記実施例１によりカメラＡとカメラＤに対し露光補正Ａ’、Ｄ’を施した状態である。露光補正により、カメラＡの画像の輝度レベルは高く、カメラＤの輝度レベルは低く補正される。（ｃ）は図７の補正曲線７１，７２による輝度階調の補正を説明する図である。カメラＡの画像とカメラＢの日向部分画像は輝度階調が高いので補正Ａ”と補正Ｂ１”により階調を下げる。一方カメラＤの画像とカメラＢの日陰部分画像は輝度階調が低いので補正Ｄ”と補正Ｂ２”により階調を上げる。

この輝度階調制御の指示は、該当するカメラへの露光補正情報に付加して伝送し、映像処理回路１３に輝度階調補正命令１８を送り該当する画像信号に対して階調補正を行う。あるいは輝度階調制御の指示を中央制御装置３０の表示処理回路３４に伝送し、表示処理回路３４にて該当する画像信号に対して階調補正を行う。なお、カメラの映像処理回路１３にて階調補正を行う場合には、カメラＡの画像はエリア全体が同一輝度であるので、カメラＡに対する階調制御のための補正Ａ”を、カメラＡに対する露光補正Ａ’に盛り込んで単一の指令にて制御することも可能で、出力画像の明るさは同じ結果が得られる。エリア全体が同一輝度であるカメラＤに対しても同様である。

本実施例によれば、輝度階調の非線形化制御を露光制御のバランスポイント補正に加えて行うことで、明るさがより自然で、かつ、暗部の認識性にも優れた画像を表示することができる。

前記各実施例では、各カメラで撮影した画像の輝度のアンバランスをなくす場合を説明した。合成画像を生成するとき、これ以外に、各カメラが行う色温度制御についても同様にアンバランスを生じる場合がある。その場合、共通撮像エリアの色情報を比較し、前記実施例で示した手順で各カメラの色調制御に反映させることで、色再現に関するアンバランスも緩和可能であることは言うまでもない。

本発明の撮像システムの一実施例を示すシステム構成図。 本実施例において各カメラに設けた共通撮像エリアを説明する図。 合成画像に発生する明るさのアンバランスとその補正原理を説明する図。 本実施例の露光補正処理の一般的なフローチャートを示す図。 合成画像の露光補正の代表例を示す図。 図５の露光補正処理のフローチャートを示す図。 本実施例による輝度階調の非線形化制御を説明する図。 輝度階調の非線形化制御を付加した輝度補正の例を示す図。

符号の説明

１０…カメラ、
１１…光学系、
１２…撮像素子、
１３…映像処理回路、
１４…露光検波情報、
１５…伝送処理回路、
１６…露光補正情報、
１７…プロセッサ、
１８…輝度階調補正命令、
１９…露光制御命令、
２０…伝送路、
２１…画像信号、
２２…共通エリア露光検波情報、
２３…露光補正情報、
３０…中央制御装置、
３１…伝送処理回路、
３２…メモリ、
３３…プロセッサ、
３４…表示処理回路、
４０…画像表示部、
Ｓａｂ，Ｓａｃ，Ｓｂｄ，Ｓｃｄ…共通撮像エリア。

Claims (5)

1. 複数のカメラで撮影した画像を中央制御装置に伝送し、各カメラからの画像を合成して表示する撮像システムにおいて、
   上記各カメラは、撮影する撮像エリア内に他のカメラとの間で共有する領域である共通撮像エリアを設け、撮影した画像信号を処理すると共に上記共通撮像エリア部分の輝度信号を検波して共通エリア露光検波情報を生成する映像処理回路と、撮影した画像信号と上記共通エリア露光検波情報を上記中央制御装置に伝送する伝送処理回路と、光学系と撮像素子に対して露光制御信号を出力するカメラプロセッサを備え、
   上記中央制御装置は、上記各カメラから伝送された画像信号を合成して画像表示部に表示する表示処理部と、上記各カメラから伝送された上記共通エリア露光検波情報を比較し、同一の共通撮像エリアにおける共通エリア露光検波情報のカメラ間の差に応じて該当するカメラに対して露光補正情報を出力する中央プロセッサを備えることを特徴とする撮像システム。
2. 請求項１に記載の撮像システムにおいて、
   前記中央制御装置の前記中央プロセッサは、同一の共通撮像エリアにおける２つのカメラの共通エリア露光検波情報の差が予め定めた閾値より大きい場合、該共通エリア露光検波情報の差に基づき必要な露光補正量を計算し、一方のカメラに対して露光補正情報を出力することを特徴とする撮像システム。
3. 請求項２に記載の撮像システムにおいて、
   前記中央制御装置の前記中央プロセッサは、前記複数のカメラの中から露光補正の基準となる補正基準カメラを設定し、該補正基準カメラの共通エリア露光検波情報と比較しながら他のカメラに対して順次露光補正情報を出力することを特徴とする撮像システム。
4. 請求項２に記載の撮像システムにおいて、
   前記中央制御装置の前記中央プロセッサは、前記各共通撮像エリアにおける２つのカメラの共通エリア露光検波情報の大小関係について予めケース分けしておき、各ケースにおいていずれのカメラに対してどのような露光補正情報を出力するかを予め定めておくことを特徴とする撮像システム。
5. 請求項１ないし４のいずれか１項に記載の撮像システムにおいて、
   前記各カメラの前記映像処理回路は、撮影した画像信号に対して非線形な輝度階調補正を行う機能を有し、
   前記中央制御装置の前記中央プロセッサは、伝送された画像信号の輝度階調に応じて、該当するカメラの映像処理回路に対して輝度階調補正動作の制御を行うことを特徴とする撮像システム。

Images