JP6305430B2 - 撮像設定変更装置、撮像システム、および撮像設定変更方法 - Google Patents

Description

関連出願へのクロスリファレンス

本出願は、日本国特許出願２０１３−２４５３４６号（２０１３年１１月２７日出願）の優先権を主張するものであり、当該出願の開示全体を、ここに参照のために取込む。

本発明は、カメラの撮像に関する設定を変更する撮像設定変更装置、撮像システム、および撮像設定変更方法に関する。

従来、自動車などの移動体に複数の車載カメラを設置して移動体周辺を撮像し、生成した複数の撮像画像を用いて移動体周辺を俯瞰する結合画像を表示するアラウンドビューモニタシステムが知られている。このようなシステムにおいて、各撮像画像間のつなぎ目に視覚的な連続性を持たせる技術が知られている（例えば、特許文献１）。

特開２０１０−１６６１９６号公報

画像の視認性確保のため、例えばガンマ補正、ホワイトバランス、および露出制御などにより、画像の色および明るさを調整することが一般的である。しかしながら、これらの調整は各カメラにおいて独立して行われるため、結合画像の視認性が低下することがあった。例えば、夜間や屋内において、移動体周囲の一部領域を照射する移動体の照明又は周囲の光源などの影響により各画像の明るさおよび色が異なると、結合画像上で明るさおよび色の連続性が失われる。このように、各画像において視認性を確保し得る適切な撮像設定は、結合画像において視認性を確保し得る適切な撮像設定と必ずしも一致しない。このため、結合画像は、十分な視認性を確保できないことがあった。

かかる事情に鑑みてなされた本発明の目的は、移動体周辺の結合画像の視認性を向上可能な撮像設定変更装置、撮像システム、および撮像設定変更方法を提供することにある。

上記課題を解決するために本発明に係る撮像設定変更装置は、
複数の撮像部により生成され、移動体の周辺領域を一部重複する複数の重複領域を有して撮像する複数の画像を取得する画像取得部と、
互いに共通の一の前記重複領域を撮像する２つの前記撮像部の画像において、当該重複領域における画像の明るさの差および色の差の少なくとも一方を低減するように、前記２つの撮像部のうち少なくとも一方の撮像に関する設定を変更する制御部とを備え、
前記制御部は、時刻情報および前記移動体の照明の状態を示す情報のうち少なくとも一方に基づいて複数の前記重複領域に優先順位を定めて前記撮像に関する設定を変更することを特徴とする。

また、本発明に係る撮像設定変更装置において、
前記画像取得部は、前記複数の撮像部から利得を示す情報をそれぞれ取得し、
前記制御部は、前記利得を示す情報に基づく前記２つの撮像部の利得の差が所定の閾値以上である場合、運転者に対して警告すること、および、前記撮像に関する設定を変更する前に前記利得の差を低減するように前記２つの撮像部のうち少なくとも一方の利得の設定を変更することの少なくとも一方を行う
ことが好ましい。

また、本発明に係る撮像システムは、
移動体の周辺領域を一部重複する複数の重複領域を有して撮像する複数の画像を生成する複数の撮像部と、
前記複数の画像を取得する画像取得部と、
互いに共通の一の前記重複領域を撮像する２つの前記撮像部の画像において、当該重複領域における画像の明るさの差および色の差の少なくとも一方を低減するように、前記２つの撮像部のうち少なくとも一方の撮像に関する設定を変更する制御部とを備え、
前記制御部は、時刻情報および前記移動体の照明の状態を示す情報のうち少なくとも一方に基づいて複数の前記重複領域に優先順位を定めて前記撮像に関する設定を変更することを特徴とする。

また、本発明に係る撮像設定変更方法は、
撮像設定変更装置により行う撮像設定変更方法であって、
複数の撮像部により生成され、移動体の周辺領域を一部重複する複数の重複領域を有して撮像する複数の画像を取得するステップと、
時刻情報および前記移動体の照明の状態を示す情報のうち少なくとも一方に基づいて複数の前記重複領域に優先順位を定めて、互いに共通の一の前記重複領域を撮像する２つの前記撮像部の画像において、当該重複領域における画像の明るさの差および色の差の少なくとも一方を低減するように、前記２つの撮像部のうち少なくとも一方の撮像に関する設定を変更するステップとを含むことを特徴とする。

本発明に係る撮像設定変更装置、撮像システム、および撮像設定変更方法によれば、移動体周辺の結合画像の視認性を向上可能である。

本発明の一実施形態に係る撮像システムの概略構成を示す機能ブロック図である。 図１の撮像システムの構成要素の配置を示す概略図である。 図１の撮像装置の撮像範囲を示す概略図である。 図１の撮像設定変更装置の動作を説明するフローチャートである。 本発明の実施形態の変形例に係る撮像設定変更装置の動作を説明するフローチャートである。

以下、本発明の実施形態について、図面を参照して説明する。

はじめに、本発明の一実施形態に係る撮像設定変更装置および撮像システムについて説明する。図１は、本発明の一実施形態に係る撮像システムの概略構成を示す機能ブロック図である。

図１に示すように、撮像システム１００は、撮像装置１０と、表示装置１１と、撮像設定変更装置１２と、を備える。撮像装置１０は、複数の撮像部、本実施形態においては、例えば、フロントカメラ１３、リアカメラ１４、サイドカメラ１５（左サイドカメラ１５Ｌ，右サイドカメラ１５Ｒ）を有する。

図２に示すように、表示装置１１は、運転席から視認可能な位置に配置される。フロントカメラ１３は、移動体１６の前方の周辺領域を撮像可能となるように配置される。リアカメラ１４は、移動体１６の後方の周辺領域を撮像可能となるように配置される。サイドカメラ１５Ｌ，１５Ｒは、例えば左右のドアミラー１７において鉛直下向きに、移動体１６の側方の周辺領域をそれぞれ撮像可能となるように配置される。また、サイドカメラ１５Ｌ，１５Ｒは、移動体１６の左右両側にそれぞれ対称に配置される。

フロントカメラ１３、リアカメラ１４、およびサイドカメラ１５Ｌ，１５Ｒは、例えば魚眼レンズなどの画角の広いレンズを備えており、移動体１６の周辺領域を広角撮影可能である。図３に示すように、フロントカメラ１３の撮像範囲は、移動体１６の前方領域ＦＡを含む。リアカメラ１４の撮像範囲は、移動体１６の後方領域ＲｅＡを含む。左サイドカメラ１５Ｌの撮像範囲および右サイドカメラ１５Ｒの撮像範囲は、移動体１６の左側方領域ＬＡおよび右側方領域ＲＡをそれぞれ含む。

各撮像部１３，１４，１５Ｌ，１５Ｒの撮像範囲は、移動体１６の周辺領域の一部、例えば四隅周辺の領域を互いに重複して含む。詳細には、フロントカメラ１３の撮像範囲とサイドカメラ１５（１５Ｌ，１５Ｒ）の撮像範囲は、移動体１６の左前方の領域ＦＬＡおよび右前方の領域ＦＲＡを、互いに重複して含む。また、リアカメラ１４の撮像範囲とサイドカメラ１５Ｌ，１５Ｒの撮像範囲は、移動体１６の左後方の領域ＲｅＬＡおよび右後方の領域ＲｅＲＡを、互いに重複して含む。以下、各撮像部１３，１４，１５Ｌ，１５Ｒの撮像範囲が互いに重複する移動体１６周辺の領域を重複領域（ＦＬＡ，ＦＲＡ，ＲｅＬＡ，ＲｅＲＡ）という。

次に、撮像部（フロントカメラ１３、リアカメラ１４、サイドカメラ１５）の構成について説明する。フロントカメラ１３は（図１参照）、光学系１８ａと、イメージャ１９ａと、画像処理部２０ａと、カメラ制御部２１ａと、画像結合装置２２と、を備える。

光学系１８ａは、絞り、及び複数のレンズを含んで構成され、被写体像を結像させる。本実施形態において、光学系１８ａは広い画角を有しており、上述のように移動体１６の周辺領域に含まれる被写体像を結像可能である。

イメージャ１９ａは、例えばＣＭＯＳ撮像素子であって、光学系１８ａによって結像する被写体像を撮像する。また、イメージャ１９ａは、撮像により撮像画像を画像信号として生成し、画像処理部２０ａに出力する。

画像処理部２０ａは、イメージャ１９ａが生成した撮像画像に対して、ノイズ除去、色補間、明るさ補正、および色補正などの通常の画像処理を施す。例えば、画像処理部２０ａは、利得（ゲイン）制御、ガンマ補正、およびホワイトバランスなどにより、画像の明るさ及び色を調節する。

また、画像処理部２０ａは、画像変換処理を施し、イメージャ１９ａが生成した広角の撮像画像を俯瞰画像に変換する。即ち、画像変換によって、広角撮影により生成し、一般的に画像周辺部が歪んだ撮像画像が、移動体１６の周辺領域を移動体１６の上方から鉛直下向きにみた俯瞰画像に変換される。具体的には、画像処理部２０ａは、イメージャ１９ａによる撮像画像を、移動体１６の前方領域ＦＡおよび重複領域ＦＬＡ，ＦＲＡ（図３参照）における俯瞰画像に変換する。

また、画像処理部２０ａは、車載ネットワーク１０１（図１参照）又は専用線を介して、画像処理を施した画像を画像信号として画像結合装置２２および撮像設定変更装置１２に出力する。

カメラ制御部２１ａは、フロントカメラ１３の各部位の動作を制御する。例えば、カメラ制御部２１ａは、リアカメラ１４およびサイドカメラ１５Ｌ，１５Ｒと同期して移動体１６の周辺領域をイメージャ１９ａに撮像させ、周期的に、例えば３０ｆｐｓで画像を生成させる。

また、カメラ制御部２１ａは、撮像に関する所定の設定に基づいて、光学系１８ａおよび画像処理部２０ａの動作を制御する。撮像に関する設定には、撮像画像の明るさおよび色に寄与する情報が含まれる。撮像画像の明るさおよび色に寄与する情報は、例えば、露出制御における光学系１８ａの絞り値およびシャッタ速度の設定を示す情報、並びに利得制御、ガンマ補正、およびホワイトバランスにおいて画像信号に乗じる利得（ゲイン）を示す情報である。

また、カメラ制御部２１ａは、車載ネットワーク１０１又は専用線を介して情報の送受信を行う。

画像結合装置２２は、フロントカメラ１３、リアカメラ１４、およびサイドカメラ１５Ｌ，１５Ｒの画像処理部２０ａ，２０ｂ，２０ｃ，２０ｄがそれぞれ出力した画像を結合して、結合画像を生成する。結合画像は、例えば移動体１６の全周囲の俯瞰画像である。本実施形態における全周囲の俯瞰画像では、移動体１６の前方領域ＦＡおよび重複領域ＦＬＡ，ＦＲＡにはフロントカメラ１３の画像、後方領域ＲｅＡおよび重複領域ＲｅＬＡ，ＲｅＲＡにはリアカメラ１４の画像、左右側方周辺領域ＬＡ，ＲＡにはサイドカメラ１５Ｌ，１５Ｒの画像がそれぞれ用いられる（図３参照）。また、画像結合装置２２は、車載ネットワーク１０１又は専用線を介して、生成した結合画像を表示装置１１に出力する。

リアカメラ１４およびサイドカメラ１５Ｌ，１５Ｒは（図１参照）、フロントカメラ１３と同様に、光学系１８ｂ，１８ｃ，１８ｄ、イメージャ１９ｂ，１９ｃ，１９ｄ、画像処理部２０ｂ，２０ｃ，２０ｄ、およびカメラ制御部２１ｂ，２１ｃ，２１ｄをそれぞれ備える。光学系１８ｂ，１８ｃ，１８ｄ、イメージャ１９ｂ，１９ｃ，１９ｄ、画像処理部２０ｂ，２０ｃ，２０ｄ、およびカメラ制御部２１ｂ，２１ｃ，２１ｄの機能および構成は、フロントカメラ１３と同様である。

例えば、リアカメラ１４の画像処理部２０ｂは、リアカメラ１４のイメージャ１９ｂによる撮像画像に対して通常の画像処理を施し、後方領域ＲｅＡおよび重複領域ＲｅＬＡ，ＲｅＲＡにおける俯瞰画像に変換する（図３参照）。また、左サイドカメラ１５Ｌの画像処理部２０ｃは、左サイドカメラ１５Ｌのイメージャ１９ｃによる撮像画像に対して通常の画像処理を施し、左側方領域ＬＡおよび重複領域ＦＬＡ，ＲｅＬＡにおける俯瞰画像に変換する。また、右サイドカメラ１５Ｒの画像処理部２０ｄは、右サイドカメラ１５Ｒのイメージャ１９ｄによる撮像画像に対して通常の画像処理を施し、右側方領域ＲＡおよび重複領域ＦＲＡ，ＲｅＲＡにおける俯瞰画像に変換する。

表示装置１１は（図１参照）、例えばＬＣＤを含んで構成され、リアルタイムの動画像を表示可能である。表示装置１１は、画像結合装置２２が出力する結合画像を取得して表示する。表示装置１１は、例えばタッチパネルとして構成され、ユーザ操作を受け付けるインターフェースとして機能してもよい。また、表示装置１１は、車載ネットワーク１０１又は専用線を介して情報を送受信可能である。

撮像設定変更装置１２は、画像取得部２３と、制御情報取得部２４と、制御部２５と、を備える。

画像取得部２３は、撮像部１３，１４，１５Ｌ，１５Ｒが生成する各画像を画像信号としてそれぞれ取得する。画像信号には、輝度信号および色信号が含まれる。本実施形態において、画像取得部２３は、撮像部１３，１４，１５Ｌ，１５Ｒの画像処理部２０ａ，２０ｂ，２０ｃ，２０ｄが生成する俯瞰画像を取得するが、画像処理部２０ａ，２０ｂ，２０ｃ，２０ｄにより通常の画像処理が施された画像、又はイメージャ１９ａ，１９ｂ，１９ｃ，１９ｄが生成する画像を取得してもよい。或いは、画像取得部２３は、各画像の重複領域ＦＬＡ，ＦＲＡ，ＲｅＬＡ，ＲｅＲＡにおける画像信号のみを取得してもよい。

制御情報取得部２４は、移動体１６の制御情報を取得する。本実施形態において、制御情報には、時刻情報および移動体１６の状態に関する多様な情報が含まれる。移動体１６の状態に関する多様な情報には、例えば、移動体１６の進行方向（前進又は後進）を示す情報、ステアリング舵角を示す情報、照明（例えば、ヘッドランプ、テールランプ、およびブレーキランプ）の状態を示す情報、および移動体１６の速度を示す情報が含まれる。制御情報取得部２４は、任意の方法により制御情報を取得可能であり、例えば車載ネットワーク１０１を介して移動体１６から取得してもよく、或いは移動体１６に備えられる各種センサなどの他の構成要素が出力する制御情報を有線／無線により取得してもよい。

制御部２５は、撮像設定変更装置１２の各部位の動作を制御する。例えば、制御部２５は、撮像部１３，１４，１５Ｌ，１５Ｒのイメージャ１９ａ，１９ｂ，１９ｃ，１９ｄによる撮像と同時に移動体１６の制御情報を制御情報取得部２４に取得させる。また、制御部２５は、画像取得部２３および制御情報取得部２４に、画像および制御情報を周期的に取得させる。

また、制御部２５は、撮像部１３，１４，１５Ｌ，１５Ｒから取得した複数の画像のうち互いに共通の重複領域（ＦＬＡ，ＦＲＡ，ＲｅＬＡ，ＲｅＲＡ）を撮像する２つの撮像部（１３，１４，１５Ｌ，１５Ｒ）の画像において、当該重複領域（ＦＬＡ，ＦＲＡ，ＲｅＬＡ，ＲｅＲＡ）における画像の明るさの差および色の差の少なくとも一方を低減するように、２つの撮像部（１３，１４，１５Ｌ，１５Ｒ）のうち少なくとも一方の撮像に関する設定を変更する。換言すると、制御部２５は、共通の重複領域（ＦＬＡ，ＦＲＡ，ＲｅＬＡ，ＲｅＲＡ）を撮像する２つの画像の明るさおよび色を合わせる（略一致させる）ように、２つの撮像部（１３，１４，１５Ｌ，１５Ｒ）のうち少なくとも一方の撮像に関する設定を変更する。

例えば、制御部２５は、互いに共通の重複領域ＦＬＡを撮像するフロントカメラ１３および左サイドカメラ１５Ｌの画像において（図３参照）、各画像につき、重複領域ＦＬＡにおける画像の輝度信号成分の平均値をそれぞれ算出する。

そして、制御部２５は、両画像における輝度信号成分平均値の差が所定の閾値以上である場合、即ち両画像の間で平均的な明るさの差が大きい場合、明るさの差を低減するようにフロントカメラ１３および左サイドカメラ１５Ｌの少なくとも一方の撮像に関する設定を変更する。例えば、制御部２５は、左サイドカメラ１５Ｌの画像が明るい場合、左サイドカメラ１５Ｌの画像の明るさを低減するように、左サイドカメラ１５Ｌの絞り値およびシャッタ速度、並びに画像信号に乗じる利得（ゲイン）などの設定を変更する。更に／或いは、制御部２５は、フロントカメラ１３の画像の明るさを増加させるように、フロントカメラ１３の絞り値およびシャッタ速度、並びに画像信号に乗じる利得（ゲイン）などの設定を変更する。好適には、制御部２５は、各画像の輝度信号成分平均値を一致させるように、即ちフロントカメラ１３及び左サイドカメラ１５Ｌの画像の重複領域ＦＬＡにおける明るさを一致させるように、フロントカメラ１３および左サイドカメラ１５Ｌの少なくとも一方の撮像に関する設定を変更する。同様に、制御部２５は、画像の色信号成分を用いて、両画像の色の差を低減するようにフロントカメラ１３および左サイドカメラ１５Ｌの少なくとも一方の撮像に関する設定を変更する。

また、例えば、制御部２５は、フロントカメラ１３の画像、フロントカメラ１３と互いに共通の重複領域ＦＬＡを撮像する左サイドカメラ１５Ｌの画像、およびフロントカメラ１３と互いに共通の重複領域ＦＬＡを撮像する右サイドカメラ１５Ｒの画像において、各画像につき、重複領域（ＦＬＡ，ＦＲＡ）における画像の輝度信号成分の平均値をそれぞれ算出する。

続いて、制御部２５は、左サイドカメラ１５Ｌの画像の輝度信号成分平均値および右サイドカメラ１５Ｒの画像の輝度信号成分平均値の平均値Ａを算出する。また、制御部２５は、フロントカメラ１３の画像の、重複領域ＦＬＡにおける輝度信号成分平均値および重複領域ＦＲＡにおける輝度信号成分平均値の平均値Ｂを算出する。

そして、制御部２５は、平均値Ａと平均値Ｂとの差が所定の閾値以上である場合、フロントカメラ１３の画像の明るさとサイドカメラ１５Ｌ，１５Ｒの画像の平均的な明るさとの差を低減するようにフロントカメラ１３の撮像に関する設定を変更する。例えば、制御部２５は、フロントカメラ１３の画像が明るい場合、フロントカメラ１３の画像の明るさを低減するように、フロントカメラ１３の絞り値およびシャッタ速度、並びに画像信号に乗じる利得（ゲイン）などの設定を変更する。好適には、制御部２５は、平均値Ｂを平均値Ａに一致させるように、即ちフロントカメラ１３の画像の明るさをサイドカメラ１５Ｌ，１５Ｒの画像の平均的な明るさに一致させるように、フロントカメラ１３の撮像に関する設定を変更する。同様に、制御部２５は、画像の色信号成分を用いて、フロントカメラ１３の画像の色とサイドカメラ１５Ｌ，１５Ｒの画像の平均的な色との差を低減するようにフロントカメラ１３の撮像に関する設定を変更する。

また、制御部２５は、制御情報取得部２４が取得した制御情報に基づいて、撮像部１３，１４，１５Ｌ，１５Ｒの撮像に関する設定を変更する上述の処理を行う順序に関する優先順位を重複領域ＦＬＡ，ＦＲＡ，ＲｅＬＡ，ＲｅＲＡごとに定める。そして、制御部２５は、優先順位の値が小さい重複領域ＦＬＡ，ＦＲＡ，ＲｅＬＡ，ＲｅＲＡから順番に、当該重複領域ＦＬＡ，ＦＲＡ，ＲｅＬＡ，ＲｅＲＡを共通に撮像する２つの画像について上述の処理を行い、撮像部１３，１４，１５Ｌ，１５Ｒの撮像に関する設定を順次変更する。

例えば、制御部２５は、進行方向が後方であることを示す情報が制御情報に含まれる場合、移動体１６が後進していると判定する。この場合、制御部２５は、重複領域ＲｅＬＡ，ＲｅＲＡの優先順位の値を“１”、重複領域ＦＬＡの優先順位の値を“２”と定める。このように優先順位を定めると、はじめに重複領域ＲｅＬＡ，ＲｅＲＡを撮像するリアカメラ１４およびサイドカメラ１５Ｌ，１５Ｒに対して撮像設定の変更処理が実行される。次に、重複領域ＦＬＡを撮像するフロントカメラ１３に対して撮像設定の変更処理が実行される。

移動体１６が後進する場合、移動体１６の運転者は結合画像において移動体１６の後方、即ちリアカメラ１４の画像に注目すると考えられる。上述のように優先順位を定めることにより、制御部２５は、サイドカメラ１５Ｌ，１５Ｒの画像の明るさおよび色をリアカメラ１４の画像の明るさおよび色に合わせるように、サイドカメラ１５Ｌ，１５Ｒの撮像に関する設定を変更する。続いて、制御部２５は、フロントカメラ１３の画像の明るさおよび色を左サイドカメラ１５Ｌの画像の明るさおよび色に合わせるように、フロントカメラ１３の撮像に関する設定を変更する。このようにして、運転者が注目するリアカメラ１４の画像の明るさおよび色と、サイドカメラ１５Ｌ，１５Ｒおよびフロントカメラ１３の画像の明るさおよび色とが等しいと視認し得るように調整される。

また、例えば、制御部２５は、進行方向が前方であることを示す情報が制御情報に含まれる場合、移動体１６が前進していると判定する。この場合、制御部２５は、重複領域ＦＬＡ，ＦＲＡの優先順位の値を“１”、重複領域ＲｅＬＡの優先順位の値を“２”と定める。このように優先順位を定めると、はじめに重複領域ＦＬＡ，ＦＲＡを撮像するフロントカメラ１３およびサイドカメラ１５Ｌ，１５Ｒに対して撮像設定の変更処理が実行される。次に、重複領域ＲｅＬＡを撮像するリアカメラ１４に対して撮像設定の変更処理が実行される。

移動体１６が前進する場合、移動体１６の運転者は結合画像において移動体１６の後方、即ちフロントカメラ１３の画像に注目すると考えられる。上述のように優先順位を定めることにより、制御部２５は、サイドカメラ１５Ｌ，１５Ｒの画像の明るさおよび色をフロントカメラ１３の画像の明るさおよび色に合わせるように、サイドカメラ１５Ｌ，１５Ｒの撮像に関する設定を変更する。続いて、制御部２５は、リアカメラ１４の画像の明るさおよび色を左サイドカメラ１５Ｌの画像の明るさおよび色に合わせるように、リアカメラ１４の撮像に関する設定を変更する。このようにして、運転者が注目するフロントカメラ１３の画像の明るさおよび色と、サイドカメラ１５Ｌ，１５Ｒおよびリアカメラ１４の画像の明るさおよび色とが等しいと視認し得るように調整される。

また、例えば、制御部２５は、進行方向が後方、ステアリング舵角が中立点よりも左側に所定の角度、および速度が低速であることを示す情報が制御情報に含まれる場合、移動体１６が後方左側に駐車すると判定する。この場合、制御部２５は、重複領域ＲｅＬＡの優先順位の値を“１”、重複領域ＲｅＲＡの優先順位の値を“２”、重複領域ＦＬＡの優先順位の値を“３”と定める。このように優先順位を定めると、はじめに重複領域ＲｅＬＡを撮像するリアカメラ１４および左サイドカメラ１５Ｌの少なくとも一方に対して撮像設定の変更処理が実行される。次に、重複領域ＲｅＲＡを撮像する右サイドカメラ１５Ｒに対して撮像設定の変更処理が実行される。そして、重複領域ＦＬＡを撮像するフロントカメラ１３に対して撮像設定の変更処理が実行される。

移動体１６が後方左側に駐車する場合、移動体１６の運転者は結合画像において移動体１６の左後方、即ち重複領域ＲｅＬＡを撮像するリアカメラ１４および左サイドカメラ１５Ｌの画像に注目すると考えられる。上述のように優先順位を定めることにより、制御部２５は、リアカメラ１４および左サイドカメラ１５Ｌの画像の明るさおよび色を合わせるように、リアカメラ１４および左サイドカメラ１５Ｌの少なくとも一方の撮像に関する設定を変更する。続いて、制御部２５は、右サイドカメラ１５Ｒの画像の明るさおよび色をリアカメラ１４の画像の明るさおよび色に合わせるように、右サイドカメラ１５Ｒの撮像に関する設定を変更する。そして、制御部２５は、フロントカメラ１３の画像の明るさおよび色を左サイドカメラ１５Ｌの画像の明るさおよび色に合わせるように、フロントカメラ１３の撮像に関する設定を変更する。このようにして、運転者が注目するリアカメラ１４および左サイドカメラ１５Ｌの画像の明るさおよび色と、フロントカメラ１３および右サイドカメラ１５Ｒの画像の明るさおよび色とが等しいと視認し得るように調整される。

また、例えば、制御部２５は、進行方向が前方であること、時刻が１７時から７時であること、および移動体１６の照明（ヘッドランプ）が点灯状態であることを示す情報が制御情報に含まれる場合、移動体１６が夜間においてヘッドランプを点灯して前進していると判定する。この場合、制御部２５は、重複領域ＦＬＡ，ＦＲＡの優先順位の値を“１”、重複領域ＲｅＬＡ，ＲｅＲＡの優先順位の値を“２”と定める。このように優先順位を定めると、はじめに重複領域ＦＬＡ，ＦＲＡを撮像するフロントカメラ１３およびサイドカメラ１５Ｌ，１５Ｒに対して撮像設定の変更処理が実行される。次に、重複領域ＲｅＬＡ，ＲｅＲＡを撮像するリアカメラ１４に対して撮像設定の変更処理が実行される。

夜間にヘッドランプが点灯している場合、フロントカメラ１３は、ヘッドランプの照射領域内において測光を行う。このため、ヘッドランプが照射されない重複領域ＦＬＡ，ＦＲＡ内の被写体像は、フロントカメラ１３の画像において暗くなり、視認性が低下する。一方、サイドカメラ１５Ｌ，１５Ｒは、ヘッドランプの照射領域外で測光を行う。このため、重複領域ＦＬＡ，ＦＲＡ内の被写体像は、サイドカメラ１５Ｌ，１５Ｒの画像において明るくなる。上述のように優先順位を定めることにより、制御部２５は、フロントカメラ１３の画像の明るさおよび色をサイドカメラ１５Ｌ，１５Ｒの画像の平均的な明るさおよび色に合わせるように、フロントカメラ１３の撮像に関する設定を変更する。また、制御部２５は、リアカメラ１４の画像の明るさおよび色をサイドカメラ１５Ｌ，１５Ｒの画像の平均的な明るさおよび色に合わせるように、リアカメラ１４の撮像に関する設定を変更する。このようにして、サイドカメラ１５Ｌ，１５Ｒの画像の平均的な明るさおよび色と、フロントカメラ１３およびリアカメラ１４の画像の明るさおよび色とが等しいと視認し得るように調整される。

次に、本実施形態に係る撮像設定変更装置１２が実行する処理について、図４のフローチャートを用いて説明する。本処理は、例えば、撮像装置１０が稼働したときに開始され、ユーザによる終了指示があるまで繰り返し実行される。

はじめに、制御部２５は、画像取得部２３を制御して、撮像部１３，１４，１５Ｌ，１５Ｒから撮像画像を画像信号として取得する（ステップＳ１００）。

続いて、制御部２５は、制御情報取得部２４を制御して、ステップＳ１００の撮像画像の撮像時における移動体１６の制御情報を取得する（ステップＳ１０１）。

続いて、制御部２５は、ステップＳ１０１の制御情報に基づいて、移動体１６の状態を判定し、移動体１６の状態が変化したか否かを判定する（ステップＳ１０２）。ここで、制御部２５は、ステップＳ１０２の処理を初めて行う場合、移動体１６の状態が変化したと判定する。移動体１６の状態が変化したと判定する場合（ステップＳ１０２−Ｙｅｓ）、ステップＳ１０３に進む。一方、移動体１６の状態が変化していないと判定する場合（ステップＳ１０２−Ｎｏ）、ステップＳ１０５に進む。

ステップＳ１０２において移動体１６の状態が変化したと判定する場合（ステップＳ１０２−Ｙｅｓ）、制御部２５は、ステップＳ１０２で判定した移動体１６の状態に応じて、重複領域ごとに優先順位を決定する（ステップＳ１０３）。

続いて、制御部２５は、変数ｎの値を１に設定する（ステップＳ１０４）。

ステップＳ１０４の後、又はステップＳ１０２において移動体１６の状態が変化していないと判定する場合（ステップＳ１０２−Ｎｏ）、制御部２５は、ステップＳ１０３において決定した優先順位に基づいて、撮像部１３，１４，１５Ｌ，１５Ｒの撮像に関する設定の変更処理を行う（ステップＳ１０５）。詳細には、制御部２５は、優先順位の値がｎである重複領域（ＦＬＡ，ＦＲＡ，ＲｅＬＡ，ＲｅＲＡ）を共通に撮像する２つの撮像部（１３，１４，１５Ｌ，１５Ｒ）の画像について、当該重複領域（ＦＬＡ，ＦＲＡ，ＲｅＬＡ，ＲｅＲＡ）における両画像の明るさの差および色の差を低減するように、撮像部（１３，１４，１５Ｌ，１５Ｒ）の撮像に関する設定を変更する。

続いて、制御部２５は、変数ｎをインクリメントして、ｎがｎ_MAXよりも大きいか否か判定する（ステップＳ１０６）。ｎ_MAXは、ステップＳ１０３において決定した優先順位の値のうち、最も大きい値である。ｎがｎ_MAXよりも大きい場合（ステップＳ１０６−Ｙｅｓ）、ステップＳ１０７に進む。一方、ｎがｎ_MAX以下である場合（ステップＳ１０６−Ｎｏ）、ステップＳ１００に戻る。

ステップＳ１０６においてｎがｎ_MAXよりも大きい場合（ステップＳ１０６−Ｙｅｓ）、制御部２５は、変数ｎの値を１に設定し（ステップＳ１０７）、ステップＳ１００に戻って処理を継続する。

このように、本実施形態の撮像設定変更装置１２によれば、互いに共通の重複領域を撮像する２つの撮像部（１３，１４，１５Ｌ，１５Ｒ）の画像の明るさの差および色の差の少なくとも一方が低減される。このため、両画像の明るさおよび色が等しいと視認し得るように調整され、結合画像の視認性を向上可能である。

また、本実施形態の撮像設定変更装置１２によれば、複数の撮像部１３，１４，１５Ｌ，１５Ｒが生成する複数の画像において複数の重複領域が存在する場合、重複領域ごとに定められる優先順位に従った順番で、撮像部１３，１４，１５Ｌ，１５Ｒの撮像に関する設定を変更する処理を行う。このようにして、３以上の画像の明るさの差および色の差の少なくとも一方が低減される。このため、３以上の画像の明るさおよび色が等しいと視認し得るように調整され、結合画像の視認性を向上可能である。

また、本実施形態の撮像設定変更装置１２によれば、移動体１６の制御情報に基づいて優先順位を定める。このため、以下に説明するように、移動体１６の多様な状態に適応して結合画像の視認性を向上可能である。

重複領域ごとに優先順位を定めて撮像部１３，１４，１５Ｌ，１５Ｒの撮像に関する設定を変更する場合、移動体１６の全周俯瞰画像である結合画像上において、画像の明るさおよび色が不連続となる境界が発生し得る。例えば、重複領域ＦＬＡの優先順位を１、重複領域ＦＲＡの優先順位を２、および重複領域ＲｅＲＡの優先順位を３と定めた場合に生じ得る境界について説明する。係る場合、はじめに左サイドカメラ１５Ｌの画像に合わせてフロントカメラ１３の画像の明るさおよび色が調整され、次にフロントカメラ１３の画像に合わせて右サイドカメラ１５Ｒの画像の明るさおよび色が調整され、最後に右サイドカメラ１５Ｒの画像に合わせてリアカメラ１４の画像の明るさおよび色が調整される。このとき、左サイドカメラ１５Ｌおよびリアカメラ１４の画像は、必ずしも明るさおよび色が等しくならず、両画像の境界において画像の明るさおよび色が不連続となり得る。

ここで、移動体１６の多様な状態に応じて、運転者が注目する結合画像上の領域は異なる。例えば、移動体１６の後進時、結合画像において移動体１６の後方周辺は運転者の注目度が高く、移動体１６の前方周辺は注目度が低いと考えられる。本実施形態の撮像設定変更装置１２は、例えば、移動体１６の後進時、重複領域ＲｅＬＡ、ＲｅＲＡの優先順位を１、重複領域ＦＬＡの優先順位を２と定める。この場合、リアカメラ１４の画像に合わせてサイドカメラ１５Ｌ，１５Ｒの画像の明るさおよび色が調整され、左サイドカメラ１５Ｌの画像に合わせてフロントカメラ１３の画像の明るさおよび色が調整される。結合画像において画像の明るさおよび色が不連続となる境界は、運転者の注目度の高い移動体１６の後方領域内において発生せず、フロントカメラ１３および右サイドカメラ１５Ｒの画像の境界において、即ち運転者の注目度の低い移動体１６の前方周辺において発生し得る。

上述のように、本実施形態の撮像設定変更装置１２は、移動体１６の制御情報に応じて優先順位を定めるため、移動体１６の多様な状態に応じて異なる運転者の注目する結合画像上の領域内において、明るさおよび色が不連続となる境界が発生する蓋然性を低減し、結合画像の視認性を向上可能である。

（変形例）
次に、本発明の実施形態の変形例に係る撮像設定変更装置および撮像システムについて説明する。変形例に係る撮像システム１００の構成は、上記実施形態と同様であるが、撮像装置１０および撮像設定変更装置１２の動作が一部異なる。

撮像装置１０は、上記実施形態と同様に、複数の撮像部、例えばフロントカメラ１３、リアカメラ１４、サイドカメラ１５（左サイドカメラ１５Ｌ、右サイドカメラ１５Ｒ）を有する。

変形例において、フロントカメラ１３のカメラ制御部２１ａは更に、車載ネットワーク１０１又は専用線を介して、利得制御、ガンマ補正、およびホワイトバランスにおいて画像信号に乗じる利得（ゲイン）を示す情報を撮像装置設定変更装置１２に出力する。カメラ制御部２１ｂ，２１ｃ，２１ｄの機能は、カメラ制御部２１ａと同様である。

撮像設定変更装置１２は、上記実施形態と同様に、画像取得部２３と、制御情報取得部２４と、制御部２５と、を備える。

変形例において、画像取得部２３は更に、撮像部１３，１４，１５Ｌ，１５Ｒから利得を示す情報をそれぞれ取得する。

制御部２５は、撮像部１３，１４，１５Ｌ，１５Ｒから取得した複数の画像のうち互いに共通の重複領域（ＦＬＡ，ＦＲＡ，ＲｅＬＡ，ＲｅＲＡ）を撮像する２つの撮像部（１３，１４，１５Ｌ，１５Ｒ）からそれぞれ取得した利得を示す情報を比較する。

続いて、制御部２５は、両情報に係る利得の差が所定の閾値以上である場合、運転者に対して警告を行う。警告は、例えば表示装置１１を介して表示により行うがこれに限られず、音声又は振動等の任意の手段により行ってもよい。警告を表示により行う場合、表示装置１１に表示される結合画像上の対象領域を通常とは異なる態様で表示させてもよい。対象領域は、例えば、結合画像上で当該２つの撮像部（１３，１４，１５Ｌ，１５Ｒ）の少なくとも一方の画像が用いられている領域、又は、共通の重複領域（ＦＬＡ，ＦＲＡ，ＲｅＬＡ，ＲｅＲＡ）等であってもよい。また、通常とは異なる態様による表示は、例えば明滅表示やマークの重畳表示等の強調表示であってもよい。警告を音声により行う場合、移動体１６からみた対象領域の方向を示す音声により警告を行ってもよい。

続いて、制御部２５は、両情報に係る利得の差が所定の閾値以上である場合、利得の差を低減するように、２つの撮像部（１３，１４，１５Ｌ，１５Ｒ）のうち少なくとも一方の利得の設定を変更する。

続いて、制御部２５は、上記実施形態と同様に、２つの撮像部（１３，１４，１５Ｌ，１５Ｒ）の画像において、互いに共通に撮像した重複領域（ＦＬＡ，ＦＲＡ，ＲｅＬＡ，ＲｅＲＡ）における画像の明るさの差および色の差の少なくとも一方を低減するように、２つの撮像部（１３，１４，１５Ｌ，１５Ｒ）のうち少なくとも一方の撮像に関する設定を変更する。

また、制御部２５は、上記実施形態と同様に、制御情報取得部２４が取得した制御情報に基づいて、優先順位を重複領域ＦＬＡ，ＦＲＡ，ＲｅＬＡ，ＲｅＲＡごとに定める。そして、制御部２５は、優先順位の値が小さい重複領域ＦＬＡ，ＦＲＡ，ＲｅＬＡ，ＲｅＲＡから順番に、当該重複領域ＦＬＡ，ＦＲＡ，ＲｅＬＡ，ＲｅＲＡを共通に撮像する２つの画像について上述の処理を行い、撮像部１３，１４，１５Ｌ，１５Ｒの利得の設定および撮像に関する設定を順次変更する。

例えば、制御部２５は、進行方向が後方であることを示す情報が制御情報に含まれる場合、移動体１６が後進していると判定する。この場合、制御部２５は、重複領域ＲｅＬＡ，ＲｅＲＡの優先順位の値を“１”、重複領域ＦＬＡの優先順位の値を“２”と定める。このように優先順位を定めると、はじめに重複領域ＲｅＬＡ，ＲｅＲＡを撮像するリアカメラ１４およびサイドカメラ１５Ｌ，１５Ｒに対して利得設定の変更処理および撮像設定の変更処理が実行される。次に、重複領域ＦＬＡを撮像するフロントカメラ１３に対して利得設定の変更処理および撮像設定の変更処理が実行される。

移動体１６が後進する場合、移動体１６の運転者は結合画像において移動体１６の後方、即ちリアカメラ１４の画像に注目すると考えられる。上述のように優先順位を定めることにより、制御部２５は、サイドカメラ１５Ｌ，１５Ｒの利得をリアカメラ１４の利得に合わせるように、サイドカメラ１５Ｌ，１５Ｒの利得の設定を変更する。続いて、制御部２５は、サイドカメラ１５Ｌ，１５Ｒの画像の明るさおよび色をリアカメラ１４の画像の明るさおよび色に合わせるように、サイドカメラ１５Ｌ，１５Ｒの撮像に関する設定を変更する。次に、制御部２５は、フロントカメラ１３の利得を左サイドカメラ１５Ｌの利得に合わせるように、サイドカメラ１５Ｌ，１５Ｒの利得の設定を変更する。そして、制御部２５は、フロントカメラ１３の画像の明るさおよび色を左サイドカメラ１５Ｌの画像の明るさおよび色に合わせるように、フロントカメラ１３の撮像に関する設定を変更する。このようにして、運転者が注目するリアカメラ１４の画像の明るさおよび色と、サイドカメラ１５Ｌ，１５Ｒおよびフロントカメラ１３の画像の明るさおよび色とが等しいと視認し得るように調整される。

次に、本実施形態の変形例に係る撮像設定変更装置１２が実行する処理について、図５のフローチャートを用いて説明する。本処理は、例えば、撮像装置１０が稼働したときに開始され、ユーザによる終了指示があるまで繰り返し実行される。

はじめに、制御部２５は、画像取得部２３を制御して、撮像部１３，１４，１５Ｌ，１５Ｒから、撮像画像を画像信号として取得し、および、利得を示す情報をそれぞれ取得する（ステップＳ２００）。

続いて、撮像設定変更装置１２は、ステップＳ２０１〜Ｓ２０４の処理を実行する。ステップＳ２０１〜Ｓ２０４の処理は、図４のステップＳ１０１〜Ｓ１０４の処理と同一であるため、説明は省略する。

ステップＳ２０４の後、又はステップＳ２０２において移動体１６の状態が変化していないと判定する場合（ステップＳ２０２−Ｎｏ）、制御部２５は、ステップＳ２０３において決定した優先順位に基づいて、互いに共通の重複領域（ＦＬＡ，ＦＲＡ，ＲｅＬＡ，ＲｅＲＡ）を撮像する２つの撮像部（１３，１４，１５Ｌ，１５Ｒ）からそれぞれ取得した利得を示す情報を比較する。詳細には、制御部２５は、優先順位の値がｎである重複領域（ＦＬＡ，ＦＲＡ，ＲｅＬＡ，ＲｅＲＡ）を共通に撮像する２つの撮像部（１３，１４，１５Ｌ，１５Ｒ）から取得した利得を示す情報を比較する。制御部２５は、両情報に係る利得の差が所定の閾値以上であるか否かを判定する（ステップＳ２０５）。利得の差が所定の閾値未満である場合（ステップＳ２０５−Ｎｏ）、ステップＳ２０８に進む。

一方、利得の差が所定の閾値以上である場合（ステップＳ２０５−Ｙｅｓ）、制御部２５は、運転者に対して警告を行う（ステップＳ２０６）。

続いて、制御部２５は、ステップＳ２０３において決定した優先順位に基づいて、撮像部１３，１４，１５Ｌ，１５Ｒの利得に関する設定の変更処理を行う（ステップＳ２０７）。詳細には、制御部２５は、優先順位の値がｎである重複領域（ＦＬＡ，ＦＲＡ，ＲｅＬＡ，ＲｅＲＡ）を共通に撮像する２つの撮像部（１３，１４，１５Ｌ，１５Ｒ）について、利得の差を低減するように、２つの撮像部（１３，１４，１５Ｌ，１５Ｒ）のうち少なくとも一方の利得の設定を変更する。

ステップＳ２０７の後、又はステップＳ２０５において利得の差が所定の閾値未満である場合（ステップＳ２０５−Ｎｏ）、撮像設定変更装置１２は、ステップＳ２０８〜Ｓ２１０の処理を実行する。ステップＳ２０８〜Ｓ２１０の処理は、図４のステップＳ１０５〜Ｓ１０７の処理と同一であるため、説明は省略する。

上述のように、本実施形態の変形例に係る撮像設定変更装置１２は、２つの撮像部（１３，１４，１５Ｌ，１５Ｒ）の利得の差が所定の閾値以上である場合、運転者に対して警告すること、および、利得の差が低減するように２つの撮像部（１３，１４，１５Ｌ，１５Ｒ）のうち少なくとも一方の利得の設定を変更することの少なくとも一方を行う。続いて、撮像設定変更装置１２は、２つの画像の明るさの差および色の差の少なくとも一方を低減するように、２つの撮像部（１３，１４，１５Ｌ，１５Ｒ）のうち少なくとも一方の撮像に関する設定を変更する。

２つの撮像部（１３，１４，１５Ｌ，１５Ｒ）の利得が大きく異なる場合には、当該２つの撮像部による撮像画像の視認性が大きく異なるために、一方の撮像画像において視認可能な障害物等の被写体が、他方の撮像画像においては視認されにくい場合がある。かかる場合に、変形例に係る撮像設定変更装置１２によれば、表示装置１１に表示される結合画像上で視認性が低い被写体が存在する蓋然性について運転者に注意喚起できる。また、２つの撮像部（１３，１４，１５Ｌ，１５Ｒ）について利得の設定を変更してから撮像に関する設定の変更を行うので、撮像に関する設定の変更の処理時間および処理負担を低減できる。

本発明を諸図面や実施形態に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。したがって、これらの変形や修正は本発明の範囲に含まれることに留意されたい。

例えば、上述の実施形態において、撮像装置１０は、フロントカメラ１３、リアカメラ１４、サイドカメラ１５Ｌ，１５Ｒを有するが、更に多くの撮像部（カメラ）を有してもよい。例えば、移動体１６の全周囲を撮像可能な遠景カメラを更に有する構成であってもよい。

また、上述の実施形態の撮像システム１００の各構成要素は、分割及び再配置可能である。例えば、撮像設定変更装置１２を、撮像部（１３，１４，１５Ｌ，１５Ｒ）に備えるように構成してもよい。また、例えばナビゲーションシステムを更に備え、撮像設定変更装置１２をナビゲーションシステムに備えるように構成してもよい。

また、上述の実施形態において、撮像設定変更装置１２は、撮像部１３，１４，１５Ｌ，１５Ｒの撮像に関する設定を変更するが、撮像部１３，１４，１５Ｌ，１５Ｒの設定を上書きして変更してもよく、或いは撮像部１３，１４，１５Ｌ，１５Ｒの設定を修正して変更してもよい。

また、上述の実施形態において、撮像設定変更装置１２は、移動体１６が夜間においてヘッドランプを点灯して前進している場合、サイドカメラ１５Ｌ，１５Ｒの画像に合わせてフロントカメラ１３の撮像に関する設定を変更するが、サイドカメラ１５Ｌ，１５Ｒおよびフロントカメラ１３の撮像に関する設定を変更してもよい。例えば、制御部２５は、フロントカメラ１３の画像の明るさを増加するようにフロントカメラ１３の撮像に関する設定を変更し、かつ、サイドカメラ１５Ｌ，１５Ｒの画像の明るさを低減するようにサイドカメラ１５Ｌ，１５Ｒの撮像に関する設定を変更する。このようにして、フロントカメラ１３の画像におけるヘッドランプ照射領域が白飛びすることを抑制しつつ、サイドカメラ１５Ｌ，１５Ｒおよびフロントカメラ１３の画像の重複領域ＦＬＡ，ＦＲＡにおける明るさの差および色の差が低減される。

１０ 撮像装置
１１ 表示装置
１２ 撮像設定変更装置
１３ フロントカメラ
１４ リアカメラ
１５，１５Ｌ，１５Ｒ サイドカメラ
１６ 移動体
１７ サイドミラー
１８ａ，１８ｂ，１８ｃ，１８ｄ 光学系
１９ａ，１９ｂ，１９ｃ，１９ｄ イメージャ
２０ａ，２０ｂ，２０ｃ，２０ｄ 画像処理部
２１ａ，２１ｂ，２１ｃ，２１ｄ カメラ制御部
２２ 画像結合装置
２３ 画像取得部
２４ 制御情報取得部
２５ 制御部
１００ 撮像システム
１０１ 車載ネットワーク

Claims (4)

1. 複数の撮像部により生成され、移動体の周辺領域を一部重複する複数の重複領域を有して撮像する複数の画像を取得する画像取得部と、
   互いに共通の一の前記重複領域を撮像する２つの前記撮像部の画像において、当該重複領域における画像の明るさの差および色の差の少なくとも一方を低減するように、前記２つの撮像部のうち少なくとも一方の撮像に関する設定を変更する制御部とを備え、
   前記制御部は、時刻情報および前記移動体の照明の状態を示す情報のうち少なくとも一方に基づいて複数の前記重複領域に優先順位を定めて前記撮像に関する設定を変更することを特徴とする撮像設定変更装置。
2. 請求項１に記載の撮像設定変更装置であって、
   前記画像取得部は、前記複数の撮像部から利得を示す情報をそれぞれ取得し、
   前記制御部は、前記利得を示す情報に基づく前記２つの撮像部の利得の差が所定の閾値以上である場合、運転者に対して警告すること、および、前記撮像に関する設定を変更する前に前記利得の差を低減するように前記２つの撮像部のうち少なくとも一方の利得の設定を変更することの少なくとも一方を行うことを特徴とする撮像設定変更装置。
3. 移動体の周辺領域を一部重複する複数の重複領域を有して撮像する複数の画像を生成する複数の撮像部と、
   前記複数の画像を取得する画像取得部と、
   互いに共通の一の前記重複領域を撮像する２つの前記撮像部の画像において、当該重複領域における画像の明るさの差および色の差の少なくとも一方を低減するように、前記２つの撮像部のうち少なくとも一方の撮像に関する設定を変更する制御部とを備え、
   前記制御部は、時刻情報および前記移動体の照明の状態を示す情報のうち少なくとも一方に基づいて複数の前記重複領域に優先順位を定めて前記撮像に関する設定を変更することを特徴とする撮像システム。
4. 撮像設定変更装置により行う撮像設定変更方法であって、
   複数の撮像部により生成され、移動体の周辺領域を一部重複する複数の重複領域を有して撮像する複数の画像を取得するステップと、
   時刻情報および前記移動体の照明の状態を示す情報のうち少なくとも一方に基づいて複数の前記重複領域に優先順位を定めて、互いに共通の一の前記重複領域を撮像する２つの前記撮像部の画像において、当該重複領域における画像の明るさの差および色の差の少なくとも一方を低減するように、前記２つの撮像部のうち少なくとも一方の撮像に関する設定を変更するステップとを含むことを特徴とする撮像設定変更方法。

Images