JP2018107620A - 撮像システム、移動体、および制御方法 - Google Patents

Abstract

【課題】複数の撮像装置による複数の撮像画像を結合する技術の利便性を向上させる。【解決手段】撮像システム１０は、複数の撮像装置２０と、プロセッサ３２と、を備える。複数の撮像装置２０それぞれは、少なくとも１つの他の撮像装置２０と撮像領域が重複するように配置され、プロセッサ３２から入力される制御情報を用いて露出調整またはホワイトバランス調整を実行可能である。プロセッサ３２は、１つの制御情報を決定する。複数の撮像装置２０それぞれの露出またはホワイトバランスが、１つの制御情報を用いて実行される。【選択図】図１

Description

本発明は、撮像システム、移動体、および制御方法に関する。

従来、例えば車両等の移動体に搭載された複数の撮像装置による複数の撮像画像を結合する技術が知られている。例えば、特許文献１には、車両に設置された複数のカメラにより撮像された画像を基に、視点変換された車両周辺の俯瞰画像を表示装置に表示する技術が開示されている。

特開２０１０−２８３７１８号公報

複数の撮像装置による複数の撮像画像を結合する技術の利便性の向上が望まれている。

本開示は、複数の撮像装置による複数の撮像画像を結合する技術の利便性を向上させる撮像システム、移動体、および制御方法に関する。

本開示の一実施形態に係る画像システムは、複数の撮像装置と、プロセッサと、を備える。前記複数の撮像装置それぞれは、少なくとも１つの他の撮像装置と撮像領域が重複するように配置されており、前記プロセッサから入力される制御情報を用いて露出調整またはホワイトバランス調整を実行可能である。前記プロセッサは、１つの制御情報を決定する。前記複数の撮像装置それぞれの露出またはホワイトバランスが、前記１つの制御情報を用いて実行される。

本開示の一実施形態に係る移動体は、複数の撮像装置と、プロセッサと、を備える。前記複数の撮像装置それぞれは、少なくとも１つの他の撮像装置と撮像領域が重複するように配置されており、前記プロセッサから入力される制御情報を用いて露出調整またはホワイトバランス調整を実行可能である。前記プロセッサは、１つの制御情報を決定する。前記複数の撮像装置それぞれの露出またはホワイトバランスが、前記１つの制御情報を用いて実行される。

本開示の一実施形態に係る制御方法は、複数の撮像装置と、プロセッサと、を備える撮像システムの制御方法である。前記複数の撮像装置それぞれは、少なくとも１つの他の撮像装置と撮像領域が重複するように配置されており、前記プロセッサから入力される制御情報を用いて露出調整またはホワイトバランス調整を実行可能である。前記プロセッサが、１つの制御情報を決定する。前記複数の撮像装置それぞれの露出またはホワイトバランスが、前記１つの制御情報を用いて実行される。

本開示の一実施形態に係る撮像システム、移動体、および制御方法によれば、複数の撮像装置による複数の撮像画像を結合する技術の利便性が向上する。

本開示の第１実施形態に係る撮像システムの概略構成を示すブロック図である。 移動体における複数の撮像装置の配置を示す図である。 複数の撮像装置それぞれの撮像領域を示す図である。 情報処理装置の第１動作を示すフローチャートである。 本開示の第２実施形態に係る撮像システムの概略構成を示すブロック図である。 情報処理装置の第２動作を示すフローチャートである。

以下、本開示の実施形態について、図面を参照して説明する。

（第１実施形態）
図１を参照して、本開示の第１実施形態に係る撮像システム１０について説明する。撮像システム１０は、複数の撮像装置２０と、情報処理装置３０と、表示装置４０と、を備える。撮像システム１０は、移動体に備えられる。

本開示における「移動体」は、例えば車両、船舶、および航空機等を含んでよい。車両は、例えば自動車、産業車両、鉄道車両、生活車両、および滑走路を走行する固定翼機等を含んでよい。自動車は、例えば乗用車、トラック、バス、二輪車、およびトロリーバス等を含んでよい。産業車両は、例えば農業および建設向けの産業車両等を含んでよい。産業車両は、例えばフォークリフトおよびゴルフカート等を含んでよい。農業向けの産業車両は、例えばトラクター、耕耘機、移植機、バインダー、コンバイン、および芝刈り機等を含んでよい。建設向けの産業車両は、例えばブルドーザー、スクレーバー、ショベルカー、クレーン車、ダンプカー、およびロードローラ等を含んでよい。車両は、人力で走行するものを含んでよい。車両の分類は、上述した例に限られない。例えば、自動車は、道路を走行可能な産業車両を含んでよい。複数の分類に同じ車両が含まれてよい。船舶は、例えばマリンジェット、ボート、およびタンカー等を含んでよい。航空機は、例えば固定翼機および回転翼機等を含んでよい。

複数の撮像装置２０、情報処理装置３０、および表示装置４０は、ネットワークを介して通信可能に接続される。ネットワークは、例えば無線、有線、およびＣＡＮ（Controller Area Network）等、１つ以上の任意の通信経路を含んでよい。

他の実施形態において、撮像システム１０の一部または全部の構成要素が、１つの装置として一体的に構成されてよい。例えば、情報処理装置３０の構成または機能の一部または全部が、１つの撮像装置２０に包含された構成等が考えられる。

撮像システム１０に備えられる撮像装置２０の数は任意に定められてよい。例えば、撮像システム１０には４つの撮像装置２０が含まれる。以下、４つの撮像装置２０それぞれを区別して、フロントカメラ２０ａ、リアカメラ２０ｂ、左サイドカメラ２０ｃ、および右サイドカメラ２０ｄともいう。

図２を参照して、移動体５０における各撮像装置２０の配置について説明する。各撮像装置２０は、少なくとも１つの他の撮像装置２０と撮像領域が重複するように、移動体５０における任意の位置に配置されてよい。各撮像装置２０の撮像領域の詳細については後述する。例えば図２に示す例では、フロントカメラ２０ａは、移動体５０の前方を撮像可能となるように配置される。リアカメラ２０ｂは、移動体５０の後方を撮像可能となるように配置される。左サイドカメラ２０ｃは、移動体５０の左側方を撮像可能となるように配置される。右サイドカメラ２０ｄは、移動体５０の右側方を撮像可能となるように配置される。左サイドカメラ２０ｃおよび右サイドカメラ２０ｄは、例えば移動体５０の左右のサイドミラー内において、鉛直下向きに配置されてよい。

各撮像装置２０の撮像領域について説明する。各撮像装置２０は、撮像領域内の被写体を撮像可能である。各撮像装置２０は、例えば魚眼レンズ等の画角の広いレンズを備えてよい。例えば図３に示す例では、フロントカメラ２０ａの撮像領域は、移動体５０の前方領域ＦＡと、左前方領域ＦＬＡと、右前方領域ＦＲＡと、を含む。リアカメラ２０ｂの撮像領域は、移動体５０の後方領域ＲｅＡと、左後方領域ＲｅＬＡと、右後方領域ＲｅＲＡと、を含む。左サイドカメラ２０ｃの撮像領域は、移動体５０の左側方領域ＬＡと、左前方領域ＦＬＡと、左後方領域ＲｅＬＡと、を含む。右サイドカメラ２０ｄの撮像領域は、移動体５０の右側方領域ＲＡと、右前方領域ＦＲＡと、右後方領域ＲｅＲＡと、を含む。

図３に示す例では、各撮像装置２０の撮像領域は、移動体５０の四隅周辺において互いに重複する。具体的には、フロントカメラ２０ａの撮像領域と左サイドカメラ２０ｃの撮像領域とは、左前方領域ＦＬＡにおいて重複する。フロントカメラ２０ａの撮像領域と右サイドカメラ２０ｄの撮像領域とは、右前方領域ＦＲＡにおいて重複する。リアカメラ２０ｂの撮像領域と左サイドカメラ２０ｃの撮像領域とは、左後方領域ＲｅＬＡにおいて重複する。リアカメラ２０ｂの撮像領域と右サイドカメラ２０ｄの撮像領域とは、右後方領域ＲｅＲＡにおいて重複する。

図１を参照して、撮像システム１０の各構成要素について、詳細に説明する。

（撮像装置）
撮像装置２０は、撮像光学系２１と、撮像素子２２と、通信部２３と、制御部２４とを備える。

撮像光学系２１は、被写体像を結像させる。例えば、撮像光学系２１は、絞りおよび１つ以上のレンズを含んでよい。撮像光学系２１に含まれる少なくとも１つのレンズは、比較的画角が広い広角レンズであってよい。

撮像素子２２は、２次元配列された複数の画素を有する。撮像素子２２は、例えばＣＣＤ（Charge Coupled Device）撮像素子またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）撮像素子を含んでよい。撮像素子２２は、撮像光学系２１によって結像される被写体像を撮像して、撮像画像を生成可能である。撮像素子２２は、例えば所望のフレームレートで、被写体を連続的に撮像可能である。以下、撮像素子２２による連続的な撮像を、連続撮像ともいう。

通信部２３は、外部装置と通信可能な通信インタフェースを含む。通信部２３は、ネットワークを介して情報の送受信が可能であってよい。外部装置は、例えば情報処理装置３０を含んでよい。本開示における「通信インタフェース」は、例えば物理コネクタ、および無線通信機を含んでよい。物理コネクタは、電気信号による伝送に対応した電気コネクタ、光信号による伝送に対応した光コネクタ、および電磁波による伝送に対応した電磁コネクタを含んでよい。電気コネクタは、ＩＥＣ６０６０３に準拠するコネクタ、ＵＳＢ規格に準拠するコネクタ、ＲＣＡ端子に対応するコネクタ、ＥＩＡＪ ＣＰ−１２１１Ａに規定されるＳ端子に対応するコネクタ、ＥＩＡＪ ＲＣ−５２３７に規定されるＤ端子に対応するコネクタ、ＨＤＭＩ（登録商標）規格に準拠するコネクタ、およびＢＮＣ（British Naval ConnectorまたはBaby-series N Connector等）を含む同軸ケーブルに対応するコネクタを含んでよい。光コネクタは、ＩＥＣ ６１７５４に準拠する種々のコネクタを含んでよい。無線通信機は、Ｂｌｕｅｔｏｏｔｈ（登録商標）、およびＩＥＥＥ８０２．１１を含む各規格に準拠する無線通信機を含んでよい。無線通信機は、少なくとも１つのアンテナを含む。

制御部２４は、１つ以上のプロセッサを含む。本開示における「プロセッサ」は、特定の処理に特化した専用のプロセッサ、および特定のプログラムを読み込むことによって特定の機能を実行する汎用のプロセッサを含んでよい。専用のプロセッサには、ＤＳＰ（Digital Signal Processor）および特定用途向けＩＣ（ＡＳＩＣ；Application Specific Integrated Circuit）が含まれてよい。プロセッサには、プログラマブルロジックデバイス（ＰＬＤ；Programmable Logic Device）が含まれてよい。ＰＬＤには、ＦＰＧＡ（Field-Programmable Gate Array）が含まれてよい。制御部２４は、１つまたは複数のプロセッサが協働するＳｏＣ（System-on-a-Chip）、およびＳｉＰ（System In a Package）のいずれかであってよい。

制御部２４は、撮像装置２０全体の動作を制御する。制御部２４は、任意のフレームレートで撮像素子２２に連続撮像を実行させてよい。制御部２４は、自装置における撮像タイミングを、他の撮像装置２０の撮像タイミングと同期させてよい。

制御部２４は、後述するように情報処理装置３０から入力される制御情報を用いて、露出調整およびホワイトバランス調整の少なくとも一方を実行可能であってよい。以下、撮像装置２０に入力される当該制御情報を、共通制御情報ともいう。露出調整に用いられる制御情報は、例えば撮像素子２２の電荷蓄積期間の長さを示すパラメータを含んでよい。制御部２４は、当該パラメータの値を撮像素子２２の電荷蓄積期間の長さとして決定することによって、露出を調整する。ホワイトバランス調整に用いられる制御情報は、例えば色温度を示すパラメータを含んでよい。制御部２４は、制御情報に示される色温度に基づいて、ホワイトバランスを調整する。

制御部２４は、上述した共通制御情報を用いる露出調整およびホワイトバランス調整に替えて、自動露出制御および自動ホワイトバランス制御の少なくとも一方を実行可能であってよい。制御部２４は、自動露出制御および自動ホワイトバランス制御の実行によって得られた制御情報を、情報処理装置３０へ出力してよい。制御部２４は、後述するように情報処理装置３０からの指示に応じて、上述した共通制御情報を用いる露出調整およびホワイトバランス調整を実行する第１モードと、自動露出制御および自動ホワイトバランス制御を実行する第２モードと、を切り替えてよい。

制御部２４は、生成された撮像画像に対して、所定の画像処理を実行してよい。当該画像処理は、例えば歪み補正処理および視点変換処理等を含んでよい。歪み補正処理によって、例えば広角撮影された撮像画像の歪みが低減される。視点変換処理によって、撮像画像が、例えば撮像装置２０の撮像領域を移動体５０の上空から俯瞰した俯瞰画像に変換される。

制御部２４は、通信部２３を介して情報処理装置３０へ、生成された撮像画像を出力してよい。

（情報処理装置）
情報処理装置３０は、通信部３１と、制御部３２と、を備える。

通信部３１は、外部装置と通信可能な通信インタフェースを含んでよい。外部装置は、例えば撮像装置２０、移動体５０に備えられたＥＣＵ（Electronic Control UnitまたはEngine Control unit）、速度センサ、加速度センサ、回転角センサ、ステアリング舵角センサ、エンジン回転数センサ、アクセルセンサ、ブレーキセンサ、測色センサ、照度センサ、雨滴センサ、走行距離センサ、ミリ波レーダ、超音波ソナー等を用いた障害物検出装置、ＥＴＣ（Electronic Toll Collection System）受信装置、ＧＰＳ（Global Positioning System）装置、ナビゲーション装置、インターネット上のサーバ、および携帯電話等を含んでよい。

通信部３１は、外部装置から多様な情報を取得可能である。例えば、通信部３１は、撮像装置２０から撮像画像を取得する。通信部３１は、外部装置から移動体５０に関する情報を取得する。以下、移動体５０に関する情報を、移動体情報ともいう。

移動体情報は、移動体５０に関する任意の情報を含んでよい。移動体情報は、例えば移動体５０の速度、加速度、旋回重力、傾き、方角、および旋回状況、ステアリングホイールの舵角、冷却水の温度、燃料の残量、バッテリの残量、バッテリの電圧、エンジン回転数、エンジンの動作状態、ギアポジション、リバース信号の有無、アクセル操作の有無、アクセル開度、ブレーキ操作の有無、ブレーキ踏度、パーキングブレーキの作動有無、前後輪もしくは４輪の回転数差、タイヤ空気圧、ダンパの伸縮量、運転手の目の空間位置、乗員の数および座席位置、シートベルトの装着情報、ドアの開閉、窓の開閉、車内温度、空調の動作有無、空調の設定温度、空調の送風量、外気循環の設定、ワイパーの作動状況、走行モード、外部機器との接続情報、現在時刻、平均燃費、瞬間燃費、各種ランプの点灯状態、移動体５０の位置情報、ならびに移動体５０の目的地までの経路情報等を含んでよい。各種ランプは、例えばヘッドランプ、フォグランプ、バックランプ、ポジションランプ、およびターンシグナルを含んでよい。

制御部３２は、１つ以上のプロセッサを含む。制御部３２は、情報処理装置３０全体の動作を制御する。以下、具体的に説明する。

制御部３２は、通信部３１を介して外部装置から、移動体情報を取得する。制御部３２は、移動体情報に基づいて移動体５０の状態を検出する。移動体５０の状態は、例えば移動体５０の前進状態および後進状態、ならびに移動体５０に搭載された各種のランプの点灯状態等を含んでよい。制御部３２は、例えば移動体情報に含まれるギアポジションに基づいて、前進状態および後進状態をそれぞれ検出してよい。

制御部３２は、複数の撮像装置２０のうちから、検出された移動体５０の状態に基づいて１つの撮像装置２０を選択する。後述するように、選択された１つの撮像装置２０は、自動露出制御および自動ホワイトバランス制御を行う第２モードで動作する。１つの撮像装置２０の選択には、移動体５０の状態に基づく任意のアルゴリズムが採用可能である。採用可能な多様なアルゴリズムのうち、３つの具体例について説明する。

当該アルゴリズムの第１例によれば、制御部３２は、複数の撮像装置２０のうちから、移動体５０の進行方向を撮像領域に含む１つの撮像装置２０を選択してよい。例えば、制御部３２は、移動体情報に基づいて、移動体５０が後進しているか否かを判定する。移動体５０が後進していると判定された場合、制御部３２は、複数の撮像装置２０のうちから、図３に示す移動体５０の後方領域ＲｅＡを撮像領域に含むリアカメラ２０ｂを選択する。移動体５０が前進しているまたは移動速度がゼロであると判定された場合、制御部３２は、複数の撮像装置２０のうちから、移動体５０の前方領域ＦＡを撮像領域に含むフロントカメラ２０ａを選択する。

当該アルゴリズムの第２例によれば、制御部３２は、複数の撮像装置２０のうちから、点灯中のランプの光の照射方向を撮像領域に含む撮像装置２０を除き、１つの撮像装置２０を選択してよい。制御部３２は、複数の撮像装置２０のうちから、点灯中のランプの光の照射方向を撮像領域に含む１つの撮像装置２０を優先的に選択してよい。制御部３２は、自動露出制御および自動ホワイトバランス制御によって適切な画質特性に調整できる蓋然性の高い撮像装置２０を優先的に選択してよい。上述したように左サイドカメラ２０ｃおよび右サイドカメラ２０ｄが移動体５０において鉛直下向きに設けられている場合、左サイドカメラ２０ｃおよび右サイドカメラ２０ｄの撮像領域の大部分が路面を占める蓋然性が高い。このため、左サイドカメラ２０ｃおよび右サイドカメラ２０ｄと比較して、フロントカメラ２０ａおよびリアカメラ２０ｂは、自動露出制御および自動ホワイトバランス制御によって適切な画質特性に調整できる蓋然性が高い。制御部３２は、左サイドカメラ２０ｃまたは右サイドカメラ２０ｄよりも、フロントカメラ２０ａまたはリアカメラ２０ｂを優先的に選択してよい。例えば、制御部３２は、ヘッドランプおよびバックランプそれぞれが点灯しているか否かを判定する。ヘッドランプが点灯していると判定された場合、制御部３２は、複数の撮像装置２０のうちから、移動体５０の前方領域ＦＡを撮像領域に含むフロントカメラ２０ａを除き、リアカメラ２０ｂを優先的に選択する。バックランプが点灯していると判定された場合、制御部３２は、複数の撮像装置２０のうちから、移動体５０の後方領域ＲｅＡを撮像領域に含むリアカメラ２０ｂを除き、フロントカメラ２０ａを優先的に選択する。

当該アルゴリズムの第３例によれば、制御部３２は、複数の撮像装置２０のうちから、点灯中のランプの光の照射方向を撮像領域に含む１つの撮像装置２０を優先的に選択してよい。制御部３２は、自動露出制御および自動ホワイトバランス制御によって適切な画質特性に調整できる蓋然性の高い撮像装置２０を優先的に選択してよい。例えば、制御部３２は、ヘッドランプおよびバックランプそれぞれが点灯しているか否かを判定する。ヘッドランプが点灯していると判定された場合、制御部３２は、複数の撮像装置２０のうちから、移動体５０の前方領域ＦＡを撮像領域に含むフロントカメラ２０ａを優先的に選択する。バックランプが点灯していると判定された場合、制御部３２は、複数の撮像装置２０のうちから、移動体５０の後方領域ＲｅＡを撮像領域に含むリアカメラ２０ｂを優先的に選択する。

制御部３２は、選択された１つの撮像装置２０を、自動露出制御および自動ホワイトバランス制御を実行する第２モードで動作させる。制御部３２は、選択された１つの撮像装置２０以外の撮像装置２０を、共通制御情報を用いて露出調整およびホワイトバランス調整を行う第１モードで動作させる。制御部３２は、第２モードで動作させた撮像装置２０による自動露出制御および自動ホワイトバランス制御の実行によって得られた制御情報を、当該撮像装置２０から取得する。制御部３２は、取得された制御情報を共通制御情報に定める。制御部３２は、共通制御情報を、第１モードで動作させた各撮像装置２０へ出力する。

制御部３２は、複数の撮像装置２０から複数の撮像画像を取得する。当該複数の撮像画像は、略同一の撮像タイミングで撮像された１組の撮像画像である。制御部３２は、複数の撮像画像を結合して結合画像を生成する。結合画像は、移動体５０の全周囲領域を上空から俯瞰した俯瞰画像であってよい。制御部３２は、結合画像を表示装置４０へ出力する。制御部３２は、任意のフレームレートで結合画像を出力してよい。例えば、制御部３２は、各撮像装置２０と同一のフレームレートで結合画像を出力する。

（表示装置）
表示装置４０は、例えば液晶ディスプレイおよび有機ＥＬ（Electroluminescence）ディスプレイ等を含んでよい。表示装置４０の移動体５０における配置は、対象者が視認可能となるように、任意に定められてよい。表示装置４０は、情報処理装置３０から入力された結合画像を表示する。

かかる構成によれば、複数の撮像装置２０それぞれにおいて、共通の制御情報を用いて露出およびホワイトバランスが調整される。複数の撮像装置２０によってそれぞれ生成される複数の撮像画像における画質特性の均一性が向上する。表示装置４０に表示される結合画像の視認性が向上する。したがって、複数の撮像装置による複数の撮像画像を結合する技術の利便性が向上する。

図４を参照して、情報処理装置３０の動作について説明する。

ステップＳ１００：制御部３２は、通信部３１を介して外部装置から、移動体情報を取得する。

ステップＳ１０１：制御部３２は、移動体情報に基づいて検出された移動体５０の状態に基づいて、１つの撮像装置２０を選択する。例えば、制御部３２は、移動体情報に基づいて、移動体５０が後進状態であるか否かを判定してよい。後進状態であると判定された場合（ステップＳ１０１−Ｙｅｓ）、プロセスはステップＳ１０２に進む。後進状態ではないと判定された場合（ステップＳ１０１−Ｎｏ）、プロセスはステップＳ１０３に進む。

ステップＳ１０２：制御部３２は、移動体５０の後方領域ＲｅＡを撮像領域に含むリアカメラ２０ｂを第２モードで動作させる。制御部３２は、通信部３１を介してリアカメラ２０ｂから、制御情報を取得する。

ステップＳ１０３：制御部３２は、移動体５０の前方領域ＦＡを撮像領域に含むフロントカメラ２０ａを第２モードで動作させる。制御部３２は、通信部３１を介してフロントカメラ２０ａから、制御情報を取得する。

ステップＳ１０４：制御部３２は、ステップＳ１０２またはステップＳ１０３において取得した１つの制御情報を、共通制御情報として決定する。

ステップＳ１０５：制御部３２は、ステップＳ１０２またはステップＳ１０３において第２モードで動作させた撮像装置２０以外の他の撮像装置２０それぞれを、第１モードで動作させる。制御部３２は、共通制御情報を、第１モードで動作させた各撮像装置２０へ出力する。プロセスはステップＳ１００に戻る。

以上述べたように、本開示の第１実施形態に係る撮像システム１０において、制御部３２は、１つの共通制御情報を決定する。複数の撮像装置２０の露出またはホワイトバランスが、共通制御情報を用いて実行される。かかる構成によれば、複数の撮像装置２０によってそれぞれ生成される複数の撮像画像における画質特性の均一性が向上する。表示装置４０に表示される結合画像の視認性が向上する。したがって、複数の撮像装置による複数の撮像画像を結合する技術の利便性が向上する。

（第２実施形態）
図５を参照して、本開示の第２実施形態に係る撮像システム１００について説明する。概略として、第２実施形態では、センサによって検出された外光に関する情報に基づいて、１つの共通制御情報が決定される点が、第１実施形態と相違する。以下、第１実施形態と同一の構成については同一の符号を付し、説明は省略する。

撮像システム１００は、複数の撮像装置２０と、情報処理装置３０と、表示装置４０と、測色センサ６０と、を備える。

測色センサ６０は、例えば入射光式のセンサであってよい。測色センサ６０の移動体５０における配置は、外光がセンサの受光部に入射するように、任意に定められてよい。例えば、測色センサ６０は、移動体５０のダッシュボード内に配置されてよい。入射光式のセンサは、例えば反射光式のセンサと異なり、被写体の色および反射率の影響を受けにくい。測色センサ６０は、例えば照度センサとしても機能してよい。測色センサ６０は、外光に関する情報を検出する。外光に関する情報は、外光に応じて定まる任意の情報を含んでよい。例えば、外光に関する情報は、外光の強度および色温度のうち少なくとも一方を含む。

情報処理装置３０の制御部３２は、各撮像装置２０を第１モードで動作させる。或いは、第２実施形態に係る各撮像装置２０は、第１モードでのみ動作可能であってよい。制御部３２は、通信部３１を介して測色センサ６０から、外光に関する情報を取得する。制御部３２は、外光に関する情報に基づいて、１つの共通制御情報を決定する。共通制御情報の決定には、外光に関する情報を用いる任意のアルゴリズムが採用可能である。制御部３２は、共通制御情報を、各撮像装置２０へ出力する。

図６を参照して、情報処理装置３０の動作について説明する。

ステップＳ２００：制御部３２は、通信部３１を介して測色センサ６０から、外光に関する情報を取得する。

ステップＳ２０１：制御部３２は、外光に関する情報に基づいて、１つの共通制御情報を決定する。

ステップＳ２０２：制御部３２は、共通制御情報を各撮像装置２０へ送信する。

以上述べたように、本開示の第２実施形態に係る撮像システム１００において、制御部３２は、測色センサ６０から取得した外光に関する情報に基づいて１つの共通制御情報を決定する。かかる構成によれば、上述した第１実施形態と類似して、表示装置４０に表示される結合画像の視認性が向上する。したがって、複数の撮像装置による複数の撮像画像を結合する技術の利便性が向上する。

本発明を諸図面や実施形態に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。したがって、これらの変形や修正は本発明の範囲に含まれることに留意されたい。例えば、各手段、各ステップ等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の手段やステップ等を１つに組み合わせたり、あるいは分割したりすることが可能である。

例えば、上述した実施形態に係る撮像システム１０の構成および機能は、再配置可能であってよい。例えば、情報処理装置３０の構成または機能に一部または全部が、撮像装置２０、表示装置４０、または他の追加の装置に包含されてよい。例えば、結合画像を生成する機能を、情報処理装置３０とは異なる装置に包含させる構成等が考えられる。

上述の実施形態に係る撮像システム１０の構成要素の一部は、移動体５０の外部に位置してよい。例えば、情報処理装置３０は、携帯電話または外部サーバ等の通信機器として実現され、撮像システム１０の他の構成要素と有線または無線によって接続されてもよい。

１０、１００ 撮像システム
２０ 撮像装置
２０ａ フロントカメラ
２０ｂ リアカメラ
２０ｃ 左サイドカメラ
２０ｄ 右サイドカメラ
２１ 撮像光学系
２２ 撮像素子
２３ 通信部
２４ 制御部
３０ 情報処理装置
３１ 通信部
３２ 制御部
４０ 表示装置
５０ 移動体
６０ 測色センサ
ＦＡ 前方領域
ＦＬＡ 左前方領域
ＦＲＡ 右前方領域
ＬＡ 左側方領域
ＲＡ 右側方領域
ＲｅＡ 後方領域
ＲｅＬＡ 左後方領域
ＲｅＲＡ 右後方領域

Claims (9)

1. 複数の撮像装置と、プロセッサと、を備える撮像システムであって、
   前記複数の撮像装置それぞれは、
   少なくとも１つの他の撮像装置と撮像領域が重複するように配置されており、
   前記プロセッサから入力される制御情報を用いて露出調整またはホワイトバランス調整を実行可能であり、
   前記プロセッサは、１つの制御情報を決定し、
   前記複数の撮像装置それぞれの露出またはホワイトバランスが、前記１つの制御情報を用いて実行される、撮像システム。
2. 請求項１に記載の撮像システムであって、
   前記プロセッサは、前記複数の撮像装置によってそれぞれ生成された複数の撮像画像を結合して出力する、撮像システム。
3. 請求項１または２に記載の撮像システムであって、
   前記プロセッサは、
   外光に関する情報をセンサから取得し、
   外光に関する前記情報に基づいて前記１つの制御情報を決定する、撮像システム。
4. 請求項１または２に記載の撮像システムであって、
   前記複数の撮像装置それぞれは、自動露出制御または自動ホワイトバランス制御を実行可能であり、
   前記プロセッサは、前記複数の撮像装置のうちから何れか１つの撮像装置を選択し、
   選択された前記１つの撮像装置は、露出調整またはホワイトバランス調整に替えて自動露出制御または自動ホワイトバランス制御を実行し、
   前記プロセッサは、選択された前記１つの撮像装置による自動露出制御または自動ホワイトバランス制御の実行によって得られた制御情報を、前記１つの制御情報として決定する、撮像システム。
5. 請求項４に記載の撮像システムであって、
   前記複数の撮像装置および前記プロセッサは、移動体に備えられており、
   前記プロセッサは、
   前記移動体に関する情報に基づいて前記移動体の状態を検出し、
   前記複数の撮像装置のうちから、前記移動体の状態に基づいて前記１つの撮像装置を選択する、撮像システム。
6. 請求項５に記載の撮像システムであって、
   前記移動体の状態は、前記移動体の前進状態および後進状態、ならびに前記移動体に搭載されたランプの点灯状態のうち、少なくとも１つを含む、撮像システム。
7. 請求項６に記載の撮像システムであって、
   前記移動体の状態は、前記移動体の前進状態および後進状態を含み、
   前記プロセッサは、前記複数の撮像装置のうちから、前記移動体の進行方向を撮像領域に含む前記１つの撮像装置を選択する、撮像システム。
8. 複数の撮像装置と、プロセッサと、を備える移動体であって、
   前記複数の撮像装置それぞれは、
   少なくとも１つの他の撮像装置と撮像領域が重複するように配置されており、
   前記プロセッサから入力される制御情報を用いて露出調整またはホワイトバランス調整を実行可能であり、
   前記プロセッサは、１つの制御情報を決定し、
   前記複数の撮像装置それぞれの露出またはホワイトバランスが、前記１つの制御情報を用いて実行される、移動体。
9. 複数の撮像装置と、プロセッサと、を備える撮像システムの制御方法であって、
   前記複数の撮像装置それぞれは、
   少なくとも１つの他の撮像装置と撮像領域が重複するように配置されており、
   前記プロセッサから入力される制御情報を用いて露出調整またはホワイトバランス調整を実行可能であり、
   前記プロセッサが、１つの制御情報を決定し、
   前記複数の撮像装置それぞれの露出またはホワイトバランスが、前記１つの制御情報を用いて実行される、制御方法。

Images