JP6801666B2 - 画像処理装置と画像処理方法および車両制御システム - Google Patents

Description

この技術は、画像処理装置と画像処理方法および車両制御システムに関し、移動体周辺領域の画像から対象物の存在の判定を効率よく行うことができるようにする。

従来、実空間を撮影した複数の画像を用いて、実空間内における対象物の存在を判定することが行われている。例えば、特許文献１では、複数のカメラで撮影して得られた画像のそれぞれから動体領域を検出して平面座標系に変換する。また、変換動体領域の重なりを検出し、その検出結果に基づき、空間内の指定された平面に動体領域が存在するか否かを判定することが行われている。

特開２００８−０１５５７３号公報

ところで、対象物の存在する領域は実空間の特定の領域に限られる場合がある。このような場合、実空間を撮影した画像全体を用いて対象物の存在を判別すると、不要な領域に対しても対象物の存在の判別が行われて、効率的な処理を行うことができない。

そこで、この技術では移動体周辺領域の画像から対象物の存在の判定を効率よく行うことができる画像処理装置と画像処理方法ならびに車両制御システムを提供することを目的とする。

この技術の第１の側面は、
移動体周辺領域を示す偏光画像を用いて解析対象判別情報を生成する判別情報生成部と、
前記移動体周辺領域を示す無偏光画像に対して前記判別情報生成部で生成された解析対象判別情報に基づいて設定した画像解析領域の画像を用いて対象物の判別を行う画像解析部とを有し、
前記判別情報生成部は、前記偏光画像から算出された法線の方向が移動体の鉛直方向となる連続した画像領域を路面の領域として、前記移動体周辺領域における前記路面の領域を示す解析対象判別情報を生成して、
前記画像解析部は、前記路面の領域に応じて前記画像解析領域を設定する
画像処理装置にある。

この技術において、判別情報生成部は、移動体周辺領域を示す偏光画像を用いて、解析対象判別情報を生成する。例えば、判別情報生成部は、偏光画像に基づき法線を算出して、法線方向が移動体の鉛直方向となる連続した画像領域を路面の領域として、この路面を示す解析対象判別情報を生成する。また、判別情報生成部は、移動体の制動距離に関する情報を解析対象判別情報として生成する。移動体の制動距離に関する情報は、移動体の移動速度と、例えば距離検出が可能な撮像部で生成された画像または距離情報と移動面の粗さを検出できる偏光画像から制動距離を算出して、算出した制動距離と無偏光画像上の距離に基づき、無偏光画像における制動距離内の領域を示す情報を生成する。画像解析部は、移動体周辺領域を示す無偏光画像に対して判別情報生成部で生成された解析対象判別情報に基づいて設定した画像解析領域の画像を用いて対象物の判別を行う。例えば画像解析部は、解析対象判別情報に基づき、路面の領域や制動動距離内の画像を用いて対象物の判別を行う。

また、画像解析部を複数設けた場合、複数の画像解析部は、無偏光画像を解析対象判別情報に基づいて分割した領域に対して分担して対象物の判別を行う。例えば、制動距離内の領域については、他の画像領域よりも多くの画像解析部を用いて対象物の判別を行う。

また、画像取得部で取得された無偏光画像の転送を行う画像転送部を設け、画像解析部は通信ネットワークを介して画像転送部と接続して、画像転送部は、判別情報生成部で生成された解析対象判別情報に基づいて無偏光画像の転送の制御を行い、例えば画像解析領域の画像、または撮像方向が異なる複数の画像から選択した画像と解析対象判別情報を画像解析部へ転送する。

さらに、画像解析制御部と複数の画像解析部を設けて、画像解析制御部は、判別情報生成部で生成された解析対象判別情報に基づき、画像転送部から画像解析部へ転送される無偏光画像に対する対象物の判別を複数の画像解析部でどのように行うか制御する画像解析制御情報を生成して、無偏光画像と共に画像解析部へ送信する。

この技術の第２の側面は、
移動体周辺領域を示す偏光画像から算出された法線の方向が移動体の鉛直方向となる連続した画像領域を路面の領域として、前記移動体周辺領域における前記路面の領域を示す解析対象判別情報を判別情報生成部で生成すること、
前記移動体周辺領域を示す無偏光画像に対して、前記判別情報生成部で生成された解析対象判別情報で示された前記路面の領域に応じて設定した画像解析領域の画像を用いて対象物の判別を画像解析部で行うことと
を含む画像処理方法にある。

この技術の第３の側面は、
移動体周辺領域を示す偏光画像を用いて解析対象判別情報を生成する判別情報生成部と、
前記移動体周辺領域を示す無偏光画像に対して前記判別情報生成部で生成された解析対象判別情報に基づいて設定した画像解析領域の画像を用いて対象物の判別を行う画像解析部と、
前記画像解析部における前記対象物の判別結果に基づき車両走行制御部を行う駆動系制御部とを有し、
前記判別情報生成部は、前記偏光画像から算出された法線の方向が前記移動体の鉛直方向となる連続した画像領域を路面の領域として、前記移動体周辺領域における前記路面の領域を示す解析対象判別情報を生成して、
前記画像解析部は、前記路面の領域に応じて前記画像解析領域を設定する
車両制御システムにある。

この技術によれば、移動体周辺領域を示す偏光画像を用いて解析対象判別情報が判別情報生成部で生成される。画像解析部は、移動体周辺領域を示す無偏光画像に対して判別情報生成部で生成された解析対象判別情報に基づいて設定した画像解析領域の画像を用いて対象物の判別を行う。このため、移動体周辺領域の画像から対象物の存在の判定を効率よく行うことができる。なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。

車両制御システムの概略構成を例示したブロック図である。 画像取得部の設置例を示した図である。 第１の実施の形態の構成を示した図である。 偏光画像取得部で取得される偏光画像について説明するための図である。 判別情報生成部の構成を例示した図である。 被写体の形状と偏光画像についての説明図である。 輝度と偏光角との関係を例示した図である。 偏光度と天頂角の関係を示す図である。 第１の実施の形態の動作を例示したフローチャートである。 第１の実施の形態の動作を例示した図である。 第２の実施の形態の構成を示した図である。 判別情報生成部の構成を例示した図である。 ＴＯＦカメラを用いた場合の判別情報生成部の構成を示す図である。 第２の実施の形態の動作を例示した図である。 第３の実施の形態の構成を示した図である。 判別情報生成部の構成を例示した図である。 第３の実施の形態の動作を例示した図である。 第４の実施の形態の構成を例示した図である。 第４の実施の形態の動作を例示した図である。 第５の実施の形態の構成を例示した図である。 第５の実施の形態の動作を例示したフローチャートである。 第６の実施の形態の構成を例示した図である。 第６の実施の形態の動作を例示した図である。 第７の実施の形態の動作を例示した図である。 他の実施の形態の構成を例示した図である。

以下、本技術を実施するための形態について説明する。この技術の画像処理装置では、移動体周辺領域を示す偏光画像と無偏光画像を取得する。また、取得した偏光画像を用いて解析対象判別情報を生成する。さらに、無偏光画像に対して解析対象判別情報に基づいて設定した画像解析領域の画像を用いて対象物の判別を行う。次に、移動体が例えば車両である場合について説明する。なお、説明は以下の順序で行う。
１．車両制御システムについて
２．画像処理装置について
３．第１の実施の形態
４．第２の実施の形態
５．第３の実施の形態
６．第４の実施の形態
７．第５の実施の形態
８．第６の実施の形態
９．第７の実施の形態
１０．他の実施の形態

＜１．車両制御システムについて＞
図１は、車両制御システムの概略構成を例示したブロック図である。車両制御システム１０は、通信ネットワーク２０を介して接続された複数の制御部や検出部を備える。図１に示した例では、車両制御システム１０は、駆動系制御部３１、ボディ系制御部３２、バッテリ制御部３３、車外情報検出部３４、および統合制御部４０を備える。通信ネットワーク２０は、例えば、ＣＡＮ（Controller Area Network）、ＬＩＮ（Local Interconnect Network）、ＬＡＮ（Local Area Network）又はＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークであってよい。また、統合制御部４０には、入力部５１、音声出力部５２、表示部５３が接続されている。

各制御部は、各種プログラムにしたがって演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラム又は各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。

駆動系制御部３１は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御部３１は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構として機能する。また、駆動系制御部３１は、車両の制動力を発生させる制動装置等の制御装置としての機能、ＡＢＳ（Antilock Brake System）又はＥＳＣ（Electronic Stability Control）等の制御装置としての機能を有してもよい。

駆動系制御部３１には、車両状態検出部３１１が接続される。車両状態検出部３１１には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数又は走行速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御部３１は、車両状態検出部３１１から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置又はブレーキ装置等を制御する。

ボディ系制御部３２は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御部３２は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御部３２には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御部３２は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。

バッテリ制御部３３は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池３３１を制御する。例えば、バッテリ制御部３３には、二次電池３３１を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧又はバッテリの残存容量等の情報が入力される。バッテリ制御部３３は、これらの信号を用いて演算処理を行い、二次電池３３１の温度調節制御又はバッテリ装置に備えられた冷却装置等の制御を行う。

車外情報検出部３４は、車両制御システム１０を搭載した車両の外部の情報を検出する。車外情報検出部３４には、画像取得部３４１と判別情報生成部３４２と画像解析部３４４を有している。画像取得部３４１は、偏光画像を取得するカメラ、測距が可能なＴＯＦ（Time Of Flight）カメラやステレオカメラ等を有している。

図２は、画像取得部の設置例を示した図である。画像取得部３４１は、例えば、車両８０のフロントノーズ、サイドミラー、リアバンパ、バックドアおよび車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる画像取得部３４１Ａおよび車室内のフロントガラスの上部に備えられる画像取得部３４１Ｂは、主として車両８０の前方の画像を取得する。サイドミラーに備えられる画像取得部３４１Ｃ，３４１Ｄは、主として車両８０の側方の画像を取得する。リアバンパ又はバックドアに備えられる画像取得部３４１Ｅは、主として車両８０の後方の画像を取得する。なお、図２には、それぞれの画像取得部３４１Ａ乃至３４１Ｅの撮影範囲の一例を示している。撮像範囲ＡＲａは、フロントノーズに設けられた画像取得部３４１Ａの撮像範囲を示し、撮像範囲ＡＲｂは、車室内のフロントガラスの上部に備えられる画像取得部３４１Ｂの撮像範囲を示している。撮像範囲ＡＲｃ，ＡＲｄは、それぞれサイドミラーに設けられた画像取得部３４１Ｃ，３４１Ｄの撮像範囲を示し、撮像範囲ＡＲｅは、リアバンパ又はバックドアに設けられた画像取得部３４１Ｅの撮像範囲を示す。

図１に戻り、車外情報検出部３４は、画像取得部３４１で車両の周辺領域を撮像して得られた画像を判別情報生成部３４２と画像解析部３４４へ出力する。判別情報生成部３４２は画像取得部３４１で得られた画像に基づき路面の検出や制動距離の算出等を行い、路面の検出結果や制動距離の算出結果等を示す解析対象判別情報を生成して画像解析部３４４へ出力する。

画像解析部３４４は、画像取得部３４１で得られた無偏光画像に対して判別情報生成部３４２で生成された解析対象判別情報に基づいて設定した画像解析領域の画像を用いて画像解析を行い、対象物例えば障害物等の判定を行う。対象物の判定結果は、車両の走行に利用可能な情報であり、画像解析部３４４は、対象物の判定結果を統合制御部４０へ出力する。なお、画像解析部３４４を統合制御部４０に設けて、車外情報検出部３４では、画像または画像と解析対象判別情報を、通信ネットワーク２０を介して統合制御部４０へ出力してもよい。

統合制御部４０には、入力部５１、音声出力部５２、表示部５３が接続されている。
入力部５１は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチ又はレバー等、搭乗者によって入力操作され得る装置によって実現される。入力部５１は、搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御部４０に出力する。

音声出力部５２は、統合制御部４０からの音声信号に基づいた音声を出力することで、車両の搭乗者に対して聴覚的に情報を通知する。表示部５３は、統合制御部４０からの画像信号に基づいて画像表示を行い、車両の搭乗者に対して、視覚的に情報を通知する。

統合制御部４０は、ＣＰＵ(Central Processing Unit)，ＲＯＭ(Read Only Memory)，ＲＡＭ(Random Access Memory)等を有している。ＲＯＭ（Read Only Memory）は、ＣＰＵ(Central Processing Unit)により実行される各種プログラムを記憶する。ＲＡＭ（Random Access Memory）は、各種パラメータ、演算結果又はセンサ値等の情報を記憶する。ＣＰＵは、ＲＯＭに記憶されている各種プログラムを実行して、入力部５１からの入力信号および通信ネットワーク２０を介した各制御部や検出部との通信によって取得した情報およびＲＡＭに記憶されている情報等に応じて車両制御システム１０内の動作全般を制御する。また、統合制御部４０は、車両の搭乗者に対して、聴覚的に通知する情報を示す音声信号を生成して音声出力部５２へ出力して、視覚的に情報を通知する画像信号を生成して表示部５３へ出力する。また、統合制御部４０は、外部環境に存在する様々な機器や他車両等との間の通信を行う通信インタフェース、車両の緯度や経度および高度を含む位置情報を生成する測位部等を有していてもよい。

なお、図１に示した例において、通信ネットワーク２０を介して接続された少なくとも二つの制御部が一つの制御部として一体化されてもよい。あるいは、個々の制御部が、複数の制御部により構成されてもよい。さらに、車両制御システム１０が、図示されていない別の制御部を備えてもよい。また、上記の説明において、いずれかの制御部が担う機能の一部又は全部を、他の制御部に持たせてもよい。つまり、通信ネットワーク２０を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御部で行われるようになってもよい。

＜２．画像処理装置について＞
次に、本技術の画像処理装置を、上述のように図１に示す車両制御システムの車外情報検出部として適用した場合の実施の形態について説明する。

＜３．第１の実施の形態＞
図３は第１の実施の形態の構成を示している。車外情報検出部３４は、画像取得部３４１-1と判別情報生成部３４２-1と画像解析部３４４-1を有している。また、画像取得部３４１-1は、偏光画像を取得する偏光画像取得部３４１１と無偏光画像を取得する無偏光画像取得部３４１２を有している。

偏光画像取得部３４１１は、偏光方向が異なる複数の偏光画像、例えば偏光方向が３方向以上の偏光画像を取得する。図４は、偏光画像取得部３４１１で取得される偏光画像について説明するための図である。例えば図４の（ａ）に示すように、偏光画像は、イメージセンサＩＭＳに３方向以上の偏光方向の画素構成とされた偏光フィルタＰＬＦを配置して撮像を行うことで生成する。なお、図４の（ａ）では、各画素が異なる４種類の偏光方向（偏光方向を矢印で示す）のいずれかの画素となる偏光フィルタＰＬＦをイメージセンサＩＭＳの入射面に配置した場合を例示している。また、図４の（ｂ）に示すように、偏光画像は、偏光方向が異なる偏光板ＰＬ１〜ＰＬ４をカメラＣＭ１〜ＣＭ４の前に設けて、カメラＣＭ１〜ＣＭ４で撮像を行うことで生成してもよい。さらに、図４の（ｃ）に示すように、マルチレンズアレイの構成を利用して偏光方向が異なる複数の偏光画像を生成してもよい。例えばイメージセンサＩＭＳの前面にレンズＬＺを複数（図では４個）設けて、各レンズＬＺによって被写体の光学像をイメージセンサＩＭＳの撮像面にそれぞれ結像させる。また、各レンズＬＺの前面に偏光板ＰＬを設けて、偏光板ＰＬの偏光方向を異なる方向とする。このような構成とすれば、偏光方向が異なる偏光画像をイメージセンサＩＭＳで生成できる。

無偏光画像取得部３４１２は、無偏光の画像を取得する。無偏光画像取得部３４１２は、イメージセンサの入射面に偏光板や偏光フィルタを設けることなく撮像を行うことで無偏光画像を生成する。また、無偏光画像取得部３４１２は、偏光画像取得部３４１１で取得された偏光画像から無偏光画像を生成してもよい。偏光画像取得部３４１１でカラーフィルタを使用しない場合、輝度偏光画像を取得できる。ここで、例えば図４の（ａ）の場合、偏光方向が異なる方向であって隣接している４画素の輝度を平均することで、無偏光の通常輝度画像と同等の画像を取得することができる。また、図４の（ｂ）の場合、画素毎に偏光方向が異なる輝度偏光画像の輝度を平均することで、無偏光である通常輝度画像と同等の画像を取得できる。さらに、図４の（ｃ）の場合、被写体までの距離に対してレンズＬＺ間の距離が無視できる程度に短ければ、偏光方向が異なる複数の偏光画像では視差を無視することができる。したがって、偏光方向が異なる偏光画像の輝度を平均することで、無偏光の通常輝度画像と同等の画像を取得することができる。また、視差を無視することができない場合は、偏光方向が異なる偏光画像を視差量に応じて位置合わせして、位置合わせ後の偏光画像の輝度を平均すれば無偏光の通常輝度画像と同等の画像を取得することができる。

図５は、判別情報生成部の構成を例示している。判別情報生成部３４２-1は、法線検出部３４２１と路面判定部３４２２を有している。法線検出部３４２１は、偏光画像取得部３４１１で取得した偏光方向が異なる複数の偏光画像から法線を検出する。

ここで、被写体の形状と偏光画像について図６を用いて説明する。例えば図６に示すように、光源ＬＴを用いて被写体ＯＢの照明を行い、カメラＣＭは偏光板ＰＬを介して被写体ＯＢの撮像を行う。この場合、撮像画像は、偏光板ＰＬの偏光方向に応じて被写体ＯＢの輝度が変化する。なお、説明を容易とするため、例えば偏光板ＰＬを回転して撮像を行うことで、複数の偏光画像を取得して、最も高い輝度をＩmax，最も低い輝度をＩminとする。また、２次元座標におけるｘ軸とｙ軸を偏光板ＰＬの平面上としたとき、偏光板ＰＬを回転させたときのｘ軸に対するｙ軸方向の角度を偏光角υとする。

偏光板ＰＬは、１８０度回転させると元の偏光状態に戻り１８０度の周期を有している。また、最大輝度Ｉmaxが観測されたときの偏光角υを方位角αとする。このような定義を行うと、偏光板ＰＬを回転させたときに観測される輝度Ｉは式（１）のように表すことができる。なお、図７は、輝度と偏光角との関係を例示している。また、この例は拡散反射のモデルを示しており、鏡面反射の場合は方位角が偏光角に比べて９０度ずれる。

式（１）では、偏光角υが偏光画像の生成時に明らかであり、最大輝度Ｉmaxと最小輝度Ｉminおよび方位角αが変数となる。したがって、偏光方向が３方向以上の偏光画像の輝度を用いて、式（１）に示すモデル式へのフィッティングを行うことにより、輝度と偏光角の関係を示すモデル式に基づき最大輝度となる偏光角である方位角αを判別することができる。

また、物体表面の法線を極座標系で表現して、法線を方位角αと天頂角θとする。なお、天頂角θはｚ軸から法線に向かう角度、方位角αは、上述のようにｘ軸に対するｙ軸方向の角度とする。ここで、偏光板ＰＬを回したときに最小輝度Ｉminと最大輝度Ｉmaxが得られたとき、式（２）に基づき偏光度ρを算出できる。

偏光度と天頂角の関係は、拡散反射の場合、フレネルの式から例えば図８に示す特性を有することが知られている。したがって、図８に示す特性から偏光度ρに基づき天頂角θを判別できる。なお、図８に示す特性は例示であって、被写体の屈折率等に依存して特性は変化する。例えば屈折率が大きくなるに伴い偏光度が大きくなる。

法線検出部３４２１は、このようにして方位角αと天頂角θを画素毎に算出して、算出した方位角αと天頂角θを示す画素毎の法線を法線検出結果として路面判定部３４２２へ出力する。

路面判定部３４２２は、法線検出部３４２１からの法線検出結果に基づき、法線方向が車両８０の鉛直方向を基準として左右方向に所定の角度範囲内となる連続領域を路面とする。判別情報生成部３４２は、路面の検出結果を示す解析対象判別情報を画像解析部３４４-1へ出力する。

画像解析部３４４-1は、画像取得部３４１-1で得られた無偏光画像に対して判別情報生成部３４２-1で生成された解析対象判別情報に基づいて設定した画像解析領域の画像解析を行う。すなわち、画像解析部３４４-1は、無偏光画像における路面と検出された領域を画像解析領域として画像解析を行い、障害物等の判定を行う。なお、画像解析部３４４-1は、路面の端に位置する障害物を検出しやすくするため、路面の領域を基準として画像解析領域を左右方向に広く設定してもよい。

図９は、第１の実施の形態の動作を例示したフローチャートである。ステップＳＴ１で車外情報検出部３４は撮像画像を取得する。車外情報検出部３４の画像取得部３４１-1は車両８０の周辺領域を撮像した偏光画像と無偏光画像を取得してステップＳＴ２に進む。

ステップＳＴ２で車外情報検出部３４は解析対象判別情報を生成する。車外情報検出部３４の判別情報生成部３４２-1は、ステップＳＴ１で取得した偏光画像に基づき、例えば路面検出結果を示す解析対象判別情報を生成してステップＳＴ３に進む。

ステップＳＴ３で車外情報検出部３４は画像解析を行う。車外情報検出部３４の画像解析部３４４-1は、ステップＳＴ１で取得した無偏光画像に対してステップＳＴ２で生成した解析対象判別情報に基づいて設定した画像解析領域の画像解析を行う。すなわち、画像解析部３４４-1は、無偏光画像における路面と検出された領域を画像解析領域として画像解析を行う。

図１０は、第１の実施の形態の動作を例示している。図１０の（ａ）は、画像取得部３４１-1で取得した無偏光画像を例示している。また、図１０の（ｂ）は、判別情報生成部３４２-1で検出した法線方向を矢印で示している。判別情報生成部３４２-1は、車両８０に対して法線方向が略鉛直方向である連続した領域を路面として、路面の検出結果を示す解析対象判別情報を生成する。図１０の（ｃ）は、画像解析部３４４-1で画像解析を行う画像解析領域を例示している。画像解析部３４４-1は、解析対象判別情報に基づき路面と検出された領域または路面と検出された領域を左右に広げて画像解析領域ＡＮとする。

このような第１の実施の形態によれば、路面を精度よく検出できるので、検出された路面を基準として画像解析領域を設定すれば、障害物等の検出を効率よく行うことができる。

＜４．第２の実施の形態＞
図１１は第２の実施の形態の構成を示している。車外情報検出部３４は、画像取得部３４１-2と判別情報生成部３４２-2と画像解析部３４４-2を有している。また、画像取得部３４１-2は、偏光画像を取得する偏光画像取得部３４１１と無偏光画像を取得する無偏光画像取得部３４１２および距離検出画像取得部３４１３を有している。

偏光画像取得部３４１１は、第１の実施の形態と同様にして偏光画像を生成して判別情報生成部３４２へ出力する。無偏光画像取得部３４１２は、第１の実施の形態と同様にして無偏光画像を生成して画像解析部３４４-2へ出力する。

距離検出画像取得部３４１３は、距離の検出に利用可能な画像を取得して判別情報生成部３４２-2へ出力する。距離検出画像取得部３４１３は、例えばステレオカメラ等で構成されており、距離検出画像取得部３４１３で取得した右視点画像と左視点画像を判別情報生成部３４２へ出力する。

図１２は、判別情報生成部の構成を例示している。判別情報生成部３４２-2は、路面荒さ検出部３４２３と距離検出部３４２４と走行速度検出部３４２５および制動距離情報生成部３４２６を有している。

路面荒さ検出部３４２３は、偏光画像取得部３４１１で生成された偏光画像を用いて路面の粗さを検出する。路面荒さ検出部３４２３は、例えば偏光画像取得部３４１１で生成された水平偏光画像と垂直偏光画像を用いて、特開平１１−２３０８９８号公報のように水平および垂直偏光成分の強度分布から路面荒さを検出する。路面荒さ検出部３４２３は、路面粗さの検出結果を制動距離情報生成部３４２６へ出力する。

距離検出部３４２４は、距離検出画像取得部３４１３で取得した画像、例えば右視点画像と左視点画像から、撮像方向に位置する被写体までの距離を検出して、検出結果を示す距離情報を制動距離情報生成部３４２６へ出力する。

走行速度検出部３４２５は、車両８０の走行速度を検出して、検出結果を示す速度情報を制動距離情報生成部３４２６へ出力する。なお、走行情報は、駆動系制御部３１に接続されている車両状態検出部３１１から取得してもよい。

制動距離情報生成部３４２６は、路面荒さ検出部３４２３で検出された路面粗さと走行速度検出部３４２５で検出された走行速度に基づいて、車両８０の制動距離を算出する。また、制動距離情報生成部３４２６は、距離検出部３４２４の距離検出結果に基づき、前方に制動距離だけ離れた位置を判別して、判別結果を示す制動距離情報を画像解析部３４４-2へ出力する。

画像解析部３４４-2は、画像取得部３４１-2で得られた無偏光画像に対して判別情報生成部３４２-2で生成された解析対象判別情報に基づいて設定した画像解析領域の画像解析を行う。すなわち、画像解析部３４４-2は、無偏光画像において前方に制動距離だけ離れた位置までの領域を画像解析領域として画像解析を行い、障害物等の判定を行う。

また、距離検出画像取得部３４１３で例えばＴＯＦカメラを用いた場合、判別情報生成部３４２-2は図１３に示す構成とする。この場合、制動距離情報生成部３４２６は、路面荒さ検出部３４２３で検出された路面粗さと走行速度検出部３４２５で検出された走行速度に基づいて、車両８０の制動距離を算出する。また、制動距離情報生成部３４２６は、ＴＯＦカメラで取得された距離情報に基づき、前方に制動距離だけ離れた位置を判別して、判別結果を示す制動距離情報を画像解析部３４４-2へ出力する。

このように構成した第２の実施の形態では、図９に示すフローチャートと同様に処理を行い、解析対象判別情報の生成では、制動距離だけ離れた位置を示す解析対象判別情報を生成する。また、画像解析では、無偏光画像において前方に制動距離だけ離れた位置までの領域を画像解析領域とする。

図１４は、第２の実施の形態の動作を例示している。図１４の（ａ）は、画像取得部３４１-2で取得した無偏光画像を例示している。また、図１４の（ｂ）は、画像解析部３４４-2で画像解析を行う画像解析領域を例示している。画像解析部３４４-2は、解析対象判別情報に基づき前方に制動距離だけ離れた位置までの領域を画像解析領域ＡＮとする。

このような第２の実施の形態によれば、制動距離に応じて画像解析領域を設定できるので、速やかに検出する必要がある障害物等を効率よく検出できる。

＜５．第３の実施の形態＞
第３の実施の形態は、第１と第２の実施の形態を組み合わせた場合である。

図１５は、第３の実施の形態の構成を示している。車外情報検出部３４は、画像取得部３４１-3と判別情報生成部３４２-3と画像解析部３４４-3を有している。また、画像取得部３４１-3は、偏光画像を取得する偏光画像取得部３４１１と無偏光画像を取得する無偏光画像取得部３４１２および距離検出画像取得部３４１３を有している。

図１６は判別情報生成部の構成を例示している。判別情報生成部３４２-3は、法線検出部３４２１、路面判定部３４２２、路面荒さ検出部３４２３、距離検出部３４２４、走行速度検出部３４２５および制動距離情報生成部３４２６を有している。

法線検出部３４２１は、偏光画像取得部３４１１で取得した偏光方向が異なる複数の偏光画像から法線を検出する。路面判定部３４２２は、法線検出部３４２１からの法線検出結果に基づき路面を検出して、路面の検出結果を解析対象判別情報として画像解析部３４４-3へ出力する。

路面荒さ検出部３４２３は、偏光画像取得部３４１１で生成された偏光画像を用いて路面粗さの検出を行い、検出結果を制動距離情報生成部３４２６へ出力する。距離検出部３４２４は、距離検出画像取得部３４１３で取得した画像を用いて距離の検出を行い、検出結果を示す距離情報を制動距離情報生成部３４２６へ出力する。走行速度検出部３４２５は、車両８０の走行速度を検出して、検出結果を示す速度情報を制動距離情報生成部３４２６へ出力する。

制動距離情報生成部３４２６は、路面荒さ検出部３４２３で検出された路面粗さと走行速度検出部３４２５で検出された走行速度に基づいて、車両８０の制動距離を算出する。また、制動距離情報生成部３４２６は、算出した制動距離と距離検出部３４２４またはＴＯＦカメラで生成した距離情報に基づき、前方に制動距離だけ離れた位置を示す制動距離情報を画像解析部３４４-3へ出力する。

画像解析部３４４-3は、画像取得部３４１-3で得られた無偏光画像に対して判別情報生成部３４２-3で生成された解析対象判別情報に基づいて設定した画像解析領域の画像解析を行う。すなわち、画像解析部３４４-3は、無偏光画像において、路面と検出された領域であって前方に制動距離だけ離れた位置までを画像解析領域として画像解析を行い、障害物等の判定を行う。なお、画像解析部３４４-3は、路面の端に位置する障害物を検出しやすくするため、路面と検出された領域を基準として画像解析領域を左右方向に広く設定してもよい。

このように構成した第３の実施の形態では、図９に示すフローチャートと同様に処理を行い、解析対象判別情報の生成では、路面検出結果と制動距離だけ離れた位置を示す解析対象判別情報を生成する。また、画像解析では、無偏光画像において路面と検出された領域であって、前方に制動距離だけ離れた位置までを画像解析領域とする。

図１７は、第３の実施の形態の動作を例示している。図１７の（ａ）は、画像取得部３４１-3で取得した無偏光画像を例示している。また、図１７の（ｂ）は、画像解析部３４４-3で画像解析を行う画像解析領域を例示している。画像解析部３４４-3は、解析対象判別情報に基づき、路面と検出された領域であって前方に制動距離だけ離れた位置までの領域を画像解析領域ＡＮとする。

このような第３の実施の形態によれば、路面に対して制動距離に応じて画像解析領域を設定できるので、速やかに検出する必要がある路面上の障害物等を効率よく検出できる。

＜６．第４の実施の形態＞
ところで、画像解析部で行われる処理に時間を要すると、車両の走行中に路面上の障害物等をリアルタイムで検出できないおそれがある。また、路面上に限らず他の位置でも障害物等の検出を行えば、より安全に走行が可能となる。そこで、第４の実施の形態では、画像解析部を複数設けた場合について説明する。

図１８は、第４の実施の形態の構成を例示した図であり、３つの画像解析部を設けている。車外情報検出部３４は、画像取得部３４１-aと判別情報生成部３４２-aと画像解析部３４４-a，３４４-b，３４４-ｃを有している。

画像取得部３４１-aと判別情報生成部３４２-aは、上述の第１乃至第３のいずれかの実施の形態と同様に構成する。

画像解析部３４４-a，３４４-b，３４４-cは、無偏光画像取得部で取得された無偏光画像に対して、判別情報生成部３４２-aで生成された解析対象判別情報に基づき領域分割を行い、複数の画像解析部で、分担して分割領域の画像解析を行う。

このように構成した第４の実施の形態では、図９に示すフローチャートと同様に処理を行い、画像解析では、解析対象判別情報に基づき無偏光画像を分割して、複数の画像解析部で、分担して分割領域の画像解析を行う。

図１９は、第４の実施の形態の動作を例示している。図１９の（ａ）は、画像取得部３４１-aで取得した無偏光画像を例示している。また、図１９の（ｂ）は、画像解析部３４４-a乃至３４４-cで画像解析を行う画像解析領域を例示している。画像解析部３４４-a,３４４-bは、解析対象判別情報に基づき、前方に制動距離だけ離れた位置までの領域ＡＳ-abにおける画像解析領域ＡＮabの画像解析を行う。また、画像解析部３４４-cは、領域ＡＳ-abとは異なる残りの領域ＡＳ-cにおける画像解析領域ＡＮcの画像解析を行う。

このような第４の実施の形態によれば、画像解析を複数の画像解析部で分担して行うことができるので、さらに効率よく路面上の障害物等を効率よく検出できる。また、前方に制動距離だけ離れた位置までの領域における画像解析領域に対して、より多くの画像解析部を割り当てるようにすれば、緊急性の高い障害物の検出をさらに効率よく行うことができる。

＜７．第５の実施の形態＞
上述の第１乃至第４の実施の形態では、車外情報検出部３４に画像解析部が設けられている場合を例示したが、画像解析は、車外情報検出部３４に限らず他の制御部で行うようにしてもよい。この場合、車外情報検出部３４は、通信ネットワーク２０を介して他の制御部に無偏光画像を出力する。また、通信ネットワーク２０の通信速度は規格で定められているため、車外情報検出部３４から画像解析を行う他の制御部に転送する画像のデータ量が多くなると、転送に時間を要することから他の制御部間等の通信を速やかに行うことができないおそれがある。したがって、車外情報検出部３４は、撮像画像において画像解析の対象となる領域の画像のみを他の制御部へ出力する。以下、統合制御部４０で画像解析を行う場合について説明する。

図２０は、第５の実施の形態の構成を例示している。車外情報検出部３４は、画像取得部３４１-aと判別情報生成部３４２-aと画像転送部３４６-1を有している。画像取得部３４１-aと判別情報生成部３４２-aは、上述の第１乃至第３のいずれかの実施の形態と同様に構成する。

画像取得部３４１-aは、偏光画像等を生成して判別情報生成部３４２-aへ出力する。また、画像取得部３４１-aは、無偏光画像を生成して画像転送部３４６-1へ出力する。判別情報生成部３４２-aは、画像取得部３４１-aから供給された偏光画像等を用いて解析対象判別情報を生成して画像転送部３４６-1へ出力する。

画像転送部３４６-1は、判別情報生成部３４２-aから供給された解析対象判別情報に基づき、画像取得部３４１-aから供給された無偏光画像において画像解析を行う画像解析領域を設定する。また、画像転送部３４６-1は、設定した画像解析領域の画像を、通信ネットワーク２０を介して統合制御部４０へ転送する。統合制御部４０は、車外情報検出部３４から供給された画像を用いて画像解析を行い、障害物等の検出を行う。なお、画像の転送をライン単位で行う場合、画像解析領域を含むラインの画像を転送する。

例えば、判別情報生成部３４２-aから供給された解析対象判別情報が路面検出結果を示している場合、画像転送部３４６-1は、路面であると検出された領域を画像解析領域として、画像解析領域の画像を統合制御部４０へ転送する。また、判別情報生成部３４２-aから供給された解析対象判別情報が路面検出結果を示している場合、画像転送部３４６-1は、制動距離内の領域を画像解析領域と設定して、画像解析領域の画像を、通信ネットワーク２０を介して統合制御部４０へ転送する。

さらに、判別情報生成部３４２-aから供給された解析対象判別情報が路面検出結果と制動距離情報を示している場合、画像転送部３４６-1は、例えば制動距離内であって路面と検出された領域等を画像解析領域とする。画像転送部３４６-1は、画像解析領域の画像を、通信ネットワーク２０を介して統合制御部４０へ転送する。

図２１は、第５の実施の形態の動作を例示したフローチャートである。ステップＳＴ１１で車外情報検出部３４は撮像画像を取得する。車外情報検出部３４の画像取得部３４１-aは車両８０の周辺領域を撮像した偏光画像と無偏光画像を取得してステップＳＴ１２に進む。

ステップＳＴ１２で車外情報検出部３４は解析対象判別情報を生成する。車外情報検出部３４の判別情報生成部３４２-aは、ステップＳＴ１１で取得した偏光画像に基づき解析対象判別情報を生成してステップＳＴ１３に進む。

ステップＳＴ１３で車外情報検出部３４は画像の転送を行う。車外情報検出部３４の画像転送部３４６-1は、ステップＳＴ１１で取得した無偏光画像に対してステップＳＴ１２で生成した解析対象判別情報に基づいて設定した画像解析領域の画像を、通信ネットワーク２０を介して統合制御部４０へ転送してステップＳＴ１４に進む。

ステップＳＴ１４で統合制御部４０は画像解析を行う。統合制御部４０の画像解析部は、ステップＳＴ１３で車外情報検出部３４から送信された無偏光画像を用いて画像解析を行う。

このような第５の実施の形態によれば、車外情報検出部と通信ネットワークを介して接続された他の制御部等で画像解析を行う場合に、画像解析を行う領域の画像が通信ネットワーク２０を介して送信される。したがって、無偏光画像の全体を転送する場合に比べて転送するデータ量を削減できる。

＜８．第６の実施の形態＞
第６の実施の形態では、異なる周辺領域を撮像する画像取得部が設けられている場合を例示している。例えば図２に示す画像取得部３４１Ａ，３４１Ｃ，３４１Ｄ，３４１Ｅが設けられている場合について説明する。

図２２は、第６の実施の形態の構成を例示している。車外情報検出部３４は、画像取得部３４１Ａ，３４１Ｃ，３４１Ｄ，３４１Ｅと判別情報生成部３４２-bと画像転送部３４６-2を有している。画像取得部３４１Ａ，３４１Ｃ，３４１Ｄ，３４１Ｅは、図２０を用いて説明した第５の実施の形態における画像取得部３４１-aに相当している。判別情報生成部３４２-bは、第５の実施の形態における判別情報生成部３４２-aの機能を画像取得部３４１Ａ，３４１Ｃ，３４１Ｄ，３４１Ｅ毎に設けている。

画像取得部３４１Ａ，３４１Ｃ，３４１Ｄ，３４１Ｅは、偏光画像等を生成して判別情報生成部３４２-bへ出力する。また、画像取得部３４１Ａ，３４１Ｃ，３４１Ｄ，３４１Ｅは、無偏光画像を生成して画像転送部３４６-2へ出力する。

判別情報生成部３４２-bは、画像取得部３４１Ａ，３４１Ｃ，３４１Ｄ，３４１Ｅ毎に、画像取得部から供給された偏光画像等を用いて解析対象判別情報を生成して画像転送部３４６-2へ出力する。

画像転送部３４６-2は、判別情報生成部３４２-bから供給された解析対象判別情報に基づき、画像解析を行う無偏光画像を転送対象の画像として判別する。例えば画像転送部３４６-2は、解析対象判別情報に基づき、路面が検出されている無偏光画像を転送対象の画像とする。また、画像転送部３４６-2は、制動距離が所定距離よりも長い場合に、走行の方向の前後の無偏光画像を転送対象の画像としてもよい。画像転送部３４６-2は、判別した転送対象の画像を解析対象判別情報とともに、通信ネットワーク２０を介して統合制御部４０へ転送する。また、統合制御部４０の画像解析部は、受信した画像と解析対象判別情報に基づき、画像解析領域の画像を用いて画像解析を行う。

このように構成した第６の実施の形態では、図２１に示すフローチャートと同様に処理を行い、画像の転送では、解析対象判別情報に基づいた画像解析領域を含む無偏光画像を、解析領域判別情報とともに転送する。

図２３は、第６の実施の形態の動作を例示している。図２３の（ａ）は画像取得部３４１Ａで取得された無偏光画像を例示している。また、図２３の（ｂ），（ｃ），（ｄ）は画像取得部３４１Ｃ，３４１Ｄ，３４１Ｅで取得された無偏光画像をそれぞれ例示している。ここで、画像取得部３４１Ａ，３４１Ｅで取得された画像で路面が検出されており、制動距離が算出されたとする。また画像取得部３４１Ｃ，３４１Ｄで取得された画像では路面が検出されていないとする。この場合、画像転送部３４６は、路面や制動距離の位置を示す画像、すなわち画像取得部３４１Ａ，３４１Ｅで取得された無偏光画像を転送対象の画像として解析対象判別情報とともに、通信ネットワーク２０を介して統合制御部４０へ転送する。統合制御部４０の画像解析部は、受信した画像と解析対象判別情報に基づき、図２３の（ｅ），（ｆ）に示すように画像解析領域ＡＮ，ＡＮＢの画像解析を行う。このような処理を行えば、制動距離よりも近い路面上の障害物や、車間距離が制動距離よりも接近している後続車を画像解析によって検出することが可能となる。

このような第６の実施の形態によれば、車外情報検出部と通信ネットワークを介して接続された他の制御部等で画像解析を行う場合に、複数の画像取得部で生成された無偏光画像から画像解析を行う画像のみ、画像が通信ネットワーク２０を介して送信される。したがって、各画像取得部で生成された無偏光画像の画像を全て転送する場合に比べて転送するデータ量を削減できる。

＜９．第７の実施の形態＞
上述の第６の実施の形態では、解析対象判別情報に基づいて判別した転送対象の画像を、通信ネットワーク２０を介して統合制御部４０へ転送したが、上述の第５の実施の形態と同様に、転送対象の画像における画像解析領域の画像を転送するようにしてもよい。第７の実施の形態では、転送対象の画像における画像解析領域の画像を、通信ネットワーク２０を介して統合制御部４０へ転送する場合について説明する。

第７の実施の形態では、車外情報検出部３４を第６の実施の形態と同様に構成する。ここで、画像転送部３４６-2は、判別情報生成部３４２-bから供給された解析対象判別情報に基づき、画像解析を行う無偏光画像を転送対象の画像として判別する。例えば画像転送部３４６-2は、解析対象判別情報に基づき、路面が検出されている無偏光画像を転送対象画像とする。また、画像転送部３４６-2は、制動距離が所定距離よりも長い場合に、走行の方向の前後の無偏光画像を転送対象の画像としてもよい。

さらに、画像転送部３４６-2は、転送対象の画像に対して解析対象判別情報に基づき転送領域を設定して、転送領域の画像を解析対象判別情報とともに通信ネットワーク２０を介して統合制御部４０へ転送する。なお、画像の転送をライン単位で行う場合、ライン単位で転送領域を設定する。

このように構成した第７の実施の形態では、図２１に示すフローチャートと同様に処理を行い、画像の転送では、解析対象判別情報に基づいて判別した転送領域の無偏光画像を解析対象判別情報とともに転送する。

図２４は、第７の実施の形態の動作を例示している。図２４の（ａ）は画像取得部３４１Ａで取得された無偏光画像を例示している。また、図２４の（ｂ），（ｃ），（ｄ）は画像取得部３４１Ｃ，３４１Ｄ，３４１Ｅで取得された無偏光画像をそれぞれ例示している。ここで、画像取得部３４１Ａ，３４１Ｅで取得された画像で路面が検出されており、制動距離が算出されたとする。また画像取得部３４１Ｃ，３４１Ｄで取得された画像では路面が検出されていないとする。この場合、画像転送部３４６は、路面や制動距離の位置を示す画像、すなわち画像取得部３４１Ａ，３４１Ｅで取得された無偏光画像を転送対象の画像とする。さらに、画像の転送をライン単位で行う場合、ライン単位で転送領域を設定する。例えば、制動距離の位置までの領域のラインを転送領域として、すなわち画像取得部３４１Ａ，３４１Ｅで取得された無偏光画像における制動距離の位置までの転送領域の画像を解析対象判別情報とともに、通信ネットワーク２０を介して統合制御部４０へ転送する。統合制御部４０の画像解析部は、受信した画像と解析対象判別情報に基づき、図２４の（ｅ），（ｆ）に示す転送領域ＡＴＡ，ＡＴＥの画像において、路面の領域である画像解析領域ＡＮ，ＡＮＢの画像を用いて画像解析を行う。

このような第７の実施の形態によれば、車外情報検出部と通信ネットワークを介して接続された他の制御部等で画像解析を行う場合に、複数の画像取得部で生成された無偏光画像から、解析対象判別情報に基づいて設定した転送領域の画像が通信ネットワーク２０を介して送信される。したがって、各画像取得部で生成された無偏光画像の画像を全て転送する場合や、画像解析領域を含む画像全体の画像を転送する場合に比べて転送するデータ量をさらに削減できる。

＜１０．他の実施の形態＞
また、車外情報検出部３４の構成は上述の実施の形態に限られない。例えば、判別情報生成部では偏光画像を用いて路面検出と路面粗さ検出を行う。画像解析部または画像転送部は、路面の検出結果と路面粗さの検出結果に基づき画像解析領域を設定して、画像解析領域の画像解析または画像解析領域の画像の転送を行うようにしてもよい。

また、図２５に示すように、車外情報検出部３４に画像解析制御部３４８を設けてもよい。画像解析制御部３４８は、解析対象判別情報に基づき画像解析制御情報を生成して、画像と共に統合制御部４０へ転送する。画像解析制御情報は、例えば複数の画像解析部を用いて画像解析を行う場合、複数の画像解析部に対する画像の振り分け等を制御する情報である。統合制御部４０は、画像解析制御部からの解制御情報に基づき、上述の第４の実施の形態と同様に、複数の画像解析部に画像を振り分けて、複数の解析部で分担して画像解析を行う。

なお、上述の実施の形態では、移動体周辺領域を示す偏光画像から解析対象判別情報を生成したが、移動体周辺領域を示す無偏光画像を用いて認識処理等を行い、解析対象判別情報を生成してもよい。また、距離の検出結果を解析対象判別情報として用いることもできる。

以上の実施の形態では、移動体が車両である場合を詳解してきた。しかしながら、移動体は車両に限られない。例えばロボットに上述の画像処理装置を設けて、画像解析結果に基づきロボットの移動制御を行ってもよい。また、船舶に上述の画像処理装置を設けて、偏光画像に基づき陸地と水面の判別を行い、水面の画像解析結果に基づき船舶の操舵等を行うようにしてもよい。

また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。

例えば、プログラムは記録媒体としてのハードディスクやＳＳＤ（Solid State Drive）、ＲＯＭ（Read Only Memory）に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory），ＭＯ（Magneto optical）ディスク，ＤＶＤ（Digital Versatile Disc）、ＢＤ（Blu-Ray Disc（登録商標））、磁気ディスク、半導体メモリカード等のリムーバブル記録媒体に、一時的または永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。

また、プログラムは、リムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトからＬＡＮ（Local Area Network）やインターネット等のネットワークを介して、コンピュータに無線または有線で転送してもよい。コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

なお、本明細書に記載した効果はあくまで例示であって限定されるものではなく、記載されていない付加的な効果があってもよい。また、本技術は、上述した技術の実施の形態に限定して解釈されるべきではない。この技術の実施の形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、請求の範囲を参酌すべきである。

また、本技術の画像処理装置は以下のような構成も取ることができる。
（１） 移動体周辺領域を示す偏光画像を用いて解析対象判別情報を生成する判別情報生成部と、
前記移動体周辺領域を示す無偏光画像に対して前記判別情報生成部で生成された解析対象判別情報に基づいて設定した画像解析領域の画像を用いて対象物の判別を行う画像解析部と
を有する画像処理装置。
（２） 前記判別情報生成部は、前記偏光画像に基づき前記移動体周辺領域における路面を示す解析対象判別情報を生成して、
前記画像解析部は、前記路面の領域に応じて前記画像解析領域を設定する（１）に記載の画像処理装置。
（３） 前記判別情報生成部は、前記偏光画像から算出された法線の方向が前記移動体の鉛直方向となる連続した画像領域を前記路面の領域とする（２）に記載の画像処理装置。
（４） 前記判別情報生成部は、前記偏光画像を用いて前記移動体周辺領域における前記移動体の制動距離に関する情報を解析対象判別情報として生成して、
前記画像解析部は、前記制動距離内の領域を前記画像解析領域として設定する（１）乃至（３）の何れかに記載の画像処理装置。
（５） 前記判別情報生成部は、走行面の粗さおよび移動速度から算出された制動距離と前記無偏光画像上の距離に基づき、前記無偏光画像における前記制動距離内の領域を示す情報を前記解析対象判別情報として生成する（４）に記載の画像処理装置。
（６） 前記画像解析部を複数設け、
前記複数の画像解析部は、前記無偏光画像を前記解析対象判別情報に基づいて分割した領域に対して分担して前記対象物の判別を行う（１）乃至（５）の何れかに記載の画像処理装置。
（７） 前記解析対象判別情報は前記移動体周辺領域における前記移動体の制動距離に関する情報と前記移動体周辺領域における路面を示す情報であり、
前記複数の画像解析部は、前記制動距離内の領域についての前記対象物の判別を、他の画像領域よりも多くの前記画像解析部を用いて行う（６）に記載の画像処理装置。
（８） 前記無偏光画像の転送を行う画像転送部を設け、
前記画像解析部は通信ネットワークを介して前記画像転送部と接続して、
前記画像転送部は、前記判別情報生成部で生成された解析対象判別情報に基づいて、前記画像解析部への前記無偏光画像の転送を制御する（１）に記載の画像処理装置。
（９） 前記画像転送部は、前記画像解析領域の画像を転送する（８）に記載の画像処理装置。
（１０） 前記判別情報生成部は、撮像方向毎に前記偏光画像を用いて解析対象判別情報を生成し、
前記画像転送部は、前記判別情報生成部で生成された解析対象判別情報に基づいて、前記画像解析部に転送する前記無偏光画像を選択して、選択した前記無偏光画像を前記解析対象判別情報とともに転送する（８）に記載の画像処理装置。
（１１） 前記判別情報生成部は、撮像方向毎に前記偏光画像を用いて解析対象判別情報を生成し、
前記画像転送部は、前記判別情報生成部で生成された解析対象判別情報に基づいて、前記画像解析部に転送する前記無偏光画像を選択して、選択した前記無偏光画像における前記画像解析領域の画像を前記解析対象判別情報とともに転送する（８）に記載の画像処理装置。
（１２） 画像解析制御部と複数の前記画像解析部を設け、
前記画像解析制御部は、前記判別情報生成部で生成された解析対象判別情報に基づき、前記画像転送部から前記画像解析部へ転送される前記無偏光画像に対する前記対象物の判別を前記複数の画像解析部でどのように行うか制御する画像解析制御情報を生成して、前記無偏光画像と共に前記画像解析部へ送信する（８）に記載の画像処理装置。

この技術の画像処理装置と画像処理方法および車両制御システムによれば、例えば車両周辺領域を示す偏光画像を用いて解析対象判別情報が判別情報生成部で生成される。画像解析部は、車両周辺領域を示す無偏光画像に対して判別情報生成部で生成された解析対象判別情報に基づいて設定した画像解析領域の画像を用いて対象物例えば路面上の障害物等の判別が行われる。このため、移動体周辺領域の画像から対象物の存在の判定を効率よく行うことができる。したがって、例えば自動車等で安全運転を行うための制御システムに適している。

１０・・・車両制御システム
２０・・・通信ネットワーク
３１・・・駆動系制御部
３２・・・ボディ系制御部
３３・・・バッテリ制御部
３４・・・車外情報検出部
４０・・・統合制御部
５１・・・入力部
５２・・・音声出力部
５３・・・表示部
８０・・・車両
３１１・・・車両状態検出部
３３１・・・二次電池
３４１・・・画像取得部
３４１１・・・偏光画像取得部
３４１２・・・無偏光画像取得部
３４１３・・・距離検出画像取得部
３４２・・・判別情報生成部
３４２１・・・法線検出部
３４２２・・・路面判定部
３４２３・・・路面粗さ検出部
３４２４・・・距離検出部
３４２５・・・走行速度検出部
３４２６・・・制動距離情報生成部
３４４・・・画像解析部
３４６・・・画像転送部
３４８・・・画像解析制御部

Claims (12)

1. 移動体周辺領域を示す偏光画像を用いて解析対象判別情報を生成する判別情報生成部と、
   前記移動体周辺領域を示す無偏光画像に対して前記判別情報生成部で生成された解析対象判別情報に基づいて設定した画像解析領域の画像を用いて対象物の判別を行う画像解析部とを有し、
   前記判別情報生成部は、前記偏光画像から算出された法線の方向が移動体の鉛直方向となる連続した画像領域を路面の領域として、前記移動体周辺領域における前記路面の領域を示す解析対象判別情報を生成して、
   前記画像解析部は、前記路面の領域に応じて前記画像解析領域を設定する
   画像処理装置。
2. 前記判別情報生成部は、前記偏光画像を用いて前記移動体周辺領域における移動体の制動距離に関する情報を解析対象判別情報として生成して、
   前記画像解析部は、前記制動距離内の領域を前記画像解析領域として設定する
   請求項１に記載の画像処理装置。
3. 前記判別情報生成部は、走行面の粗さおよび移動速度から算出された制動距離と前記無偏光画像上の距離に基づき、前記無偏光画像における前記制動距離内の領域を示す情報を前記解析対象判別情報として生成する
   請求項２に記載の画像処理装置。
4. 前記画像解析部を複数設け、
   前記複数の画像解析部は、前記無偏光画像を前記解析対象判別情報に基づいて分割した領域に対して分担して前記対象物の判別を行う
   請求項１に記載の画像処理装置。
5. 前記解析対象判別情報は前記移動体周辺領域における前記移動体の制動距離に関する情報と前記移動体周辺領域における路面を示す情報であり、
   前記複数の画像解析部は、前記制動距離内の領域についての前記対象物の判別を、他の画像領域よりも多くの前記画像解析部を用いて行う
   請求項４に記載の画像処理装置。
6. 前記無偏光画像の転送を行う画像転送部を設け、
   前記画像解析部は通信ネットワークを介して前記画像転送部と接続して、
   前記画像転送部は、前記判別情報生成部で生成された解析対象判別情報に基づいて、前記画像解析部への前記無偏光画像の転送を制御する
   請求項１に記載の画像処理装置。
7. 前記画像転送部は、前記画像解析領域の画像を転送する
   請求項６に記載の画像処理装置。
8. 前記判別情報生成部は、撮像方向毎に前記偏光画像を用いて解析対象判別情報を生成し、
   前記画像転送部は、前記判別情報生成部で生成された解析対象判別情報に基づいて、前記画像解析部に転送する前記無偏光画像を選択して、選択した前記無偏光画像を前記解析対象判別情報とともに転送する
   請求項６に記載の画像処理装置。
9. 前記判別情報生成部は、撮像方向毎に前記偏光画像を用いて解析対象判別情報を生成し、
   前記画像転送部は、前記判別情報生成部で生成された解析対象判別情報に基づいて、前記画像解析部に転送する前記無偏光画像を選択して、選択した前記無偏光画像における前記画像解析領域の画像を前記解析対象判別情報とともに転送する
   請求項６に記載の画像処理装置。
10. 画像解析制御部と複数の前記画像解析部を設け、
    前記画像解析制御部は、前記判別情報生成部で生成された解析対象判別情報に基づき、前記画像転送部から前記画像解析部へ転送される前記無偏光画像に対する前記対象物の判別を前記複数の画像解析部でどのように行うか制御する画像解析制御情報を生成して、前記無偏光画像と共に前記画像解析部へ送信する
    請求項６に記載の画像処理装置。
11. 移動体周辺領域を示す偏光画像から算出された法線の方向が移動体の鉛直方向となる連続した画像領域を路面の領域として、前記移動体周辺領域における前記路面の領域を示す解析対象判別情報を判別情報生成部で生成すること、
    前記移動体周辺領域を示す無偏光画像に対して、前記判別情報生成部で生成された解析対象判別情報で示された前記路面の領域に応じて設定した画像解析領域の画像を用いて対象物の判別を画像解析部で行うことと
    を含む画像処理方法。
12. 移動体周辺領域を示す偏光画像を用いて解析対象判別情報を生成する判別情報生成部と、
    前記移動体周辺領域を示す無偏光画像に対して前記判別情報生成部で生成された解析対象判別情報に基づいて設定した画像解析領域の画像を用いて対象物の判別を行う画像解析部と、
    前記画像解析部における前記対象物の判別結果に基づき車両走行制御部を行う駆動系制御部とを有し、
    前記判別情報生成部は、前記偏光画像から算出された法線の方向が前記移動体の鉛直方向となる連続した画像領域を路面の領域として、前記移動体周辺領域における前記路面の領域を示す解析対象判別情報を生成して、
    前記画像解析部は、前記路面の領域に応じて前記画像解析領域を設定する
    車両制御システム。

Images