JP5034809B2 - 車両用路面状態推定装置 - Google Patents

車両用路面状態推定装置 Download PDF

Info

Publication number
JP5034809B2
JP5034809B2 JP2007240981A JP2007240981A JP5034809B2 JP 5034809 B2 JP5034809 B2 JP 5034809B2 JP 2007240981 A JP2007240981 A JP 2007240981A JP 2007240981 A JP2007240981 A JP 2007240981A JP 5034809 B2 JP5034809 B2 JP 5034809B2
Authority
JP
Japan
Prior art keywords
road surface
dry
determination
image
wet
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007240981A
Other languages
English (en)
Other versions
JP2009069119A (ja
Inventor
悟 松岡
治久 是
耕二 岩瀬
孝則 久米
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mazda Motor Corp
Original Assignee
Mazda Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mazda Motor Corp filed Critical Mazda Motor Corp
Priority to JP2007240981A priority Critical patent/JP5034809B2/ja
Publication of JP2009069119A publication Critical patent/JP2009069119A/ja
Application granted granted Critical
Publication of JP5034809B2 publication Critical patent/JP5034809B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Description

本発明は、車両の走行路面を撮像する撮像手段を備えて該撮像手段により撮像された画像を基に該走行路面の乾湿判定を行う車両用路面状態推定装置に関する技術分野に属する。
従来より、この種の車両用路面状態推定装置として、撮像手段の前側に配設され且つ水平及び垂直方向の両方向に偏光面を切換え可能な偏光手段を備えて、走行路面からの反射光を該偏光手段により水平偏光成分と垂直偏光成分とに分けて撮像手段に入射させることで該撮像手段により撮像される水平偏光画像と垂直偏光画像とを比較することによって、上記車両の走行路面の乾湿判定を行うようにしたものが知られている。
例えば特許文献1に示す車両用路面状態推定装置は、撮像手段としての一台のテレビカメラと、該テレビカメラの光軸上に配設された水平偏光フィルタ及び垂直偏光フィルタ(偏光手段)とを備えていて、該テレビカメラに対して、水平偏光フィルタ及び垂直偏光フィルタをフィルタ変換部(偏光手段)により切換えてセットすることで、一台のテレビカメラにより水平及び垂直偏光画像の両画像を撮像可能になっている。
そして、該車両用路面状態推定装置は、湿潤状態(水分が存在する状態)にある路面部においては、水表面における光エネルギー反射率が水平及び垂直偏光成分の両成分間で異なることに起因して、上記テレビカメラにより撮像される水平及び垂直偏光画像の両画像間に輝度差が生じることを利用して走行路面の乾湿判定を行うように構成されている。
特開2007−64888号公報
しかしながら、上述の特許文献1に示す車両用路面状態推定装置では、一台のテレビカメラ(撮像手段)により、水平偏光画像と垂直偏光画像との両画像を撮像するようにしているため、水平偏光フィルタ及び垂直偏光フィルタを切換えるためのフィルタ変換部等の制御装置が必要となり、この結果、部品点数が増大して装置全体が大型化するとともに該切換え制御のための処理が複雑化するという問題がある。
そこで、例えば、車両の走行路面を2台のテレビカメラにより撮像するとともに、水平偏光フィルタ及び垂直偏光フィルタをそれぞれ該各カメラにセットすることで、フィルタ変換部等の制御装置等を廃止して制御処理の簡略化を図るようにすることも考えられるが、このようにしたとしても、上述のように光成分を水平成分と垂直成分とに分けるという考え方に基づいて走行路面の乾湿判定を行おうとする限り、水平偏光フィルタや垂直偏光フィルタ等の偏光手段が必要となり、このため、部品点数を削減して装置全体の小型化を図るという点では依然改良の余地が残る。
本発明は、斯かる点に鑑みてなされたものであり、その目的とするところは、車両の走行路面を撮像する撮像手段を備えた車両用路面状態推定装置に対して、その構成及び乾湿判定方法に工夫を凝らすことで、装置全体の小型化を図りつつ、該乾湿判定処理の迅速化を図ろうとすることにある。
体的には、請求項1の発明では、車両の走行路面の乾湿状態を推定する車両用路面状態推定装置を対象とする。
そして、上記車両の走行路面を、互いの撮像画像の少なくとも一部が重複するように撮像する第1撮像手段及び第2撮像手段と、上記第1及び第2撮像手段によりそれぞれ撮像されて輝度情報を有する複数の画素からなる第1画像及び第2画像を記憶する画像情報記憶手段と、上記画像情報記憶手段により記憶された上記第1画像における第2画像との重複部内に所定領域を設定する所定領域設定手段と、上記画像情報記憶手段により記憶された上記第1画像と第2画像とを該各画像の画素の輝度情報を基に比較することで、該第1画像の少なくとも上記所定領域内において上記第2画像との対応点を検出するとともに、該検出した所定領域内の対応点数を算出する対応点検出手段と、上記対応点検出手段により算出された上記所定領域内の対応点数を基に、上記車両の走行路面における該所定領域に対応する路面部が湿潤状態と乾燥状態とのいずれの状態にあるかの乾湿判定を行う乾湿判定手段とを備え、上記乾湿判定手段は、上記対応点検出手段により算出された対応点数が予め設定された所定閾値以下である場合には、上記車両の走行路面における上記所定領域に対応する路面部が湿潤状態にあると判定する一方、上記対応点数が該所定閾値を上回っている場合には、該路面部が乾燥状態にあると判定する乾湿判定を行うように構成され
、上記所定領域設定手段は、上記第1画像の重複部に対して、該第1画像における上記車両の進行方向に対応する方向である縦方向の座標値が互いに異なる複数の上記所定領域を設定するように構成され、上記対応点検出手段は、上記第1画像画像の少なくとも各所定領域内において上記第2画像との対応点を検出するとともに、検出した各所定領域内の対応点数を算出するように構成され、上記乾湿判定手段は、上記車両の走行路面における上記各所定領域に対応する路面部のそれぞれに対して上記乾湿判定を行うように構成されており、上記乾湿判定手段による上記乾湿判定時に使用される上記所定閾値は、上記各所定領域毎に予め設定されていて、該各所定領域の縦方向の座標値が大きいほど小さい値に設定されているものとする。
上記の構成によれば、上記第1及び第2撮像手段により、互いの撮像領域の少なくとも
一部が重複するように車両の走行路面が撮像され、画像情報記憶手段により、上記第1及び第2撮像手段によりそれぞれ撮像されて輝度情報を有する複数の画素からなる第1画像及び第2画像が記憶される。そして、所定領域設定手段により、上記画像情報記憶手段にて記憶された上記第1画像における第2画像との重複部内に所定領域が設定され、対応点検出手段により、上記第1画像と第2画像とを該各画像の画素の輝度情報を基に比較することで、該第1画像の少なくとも上記所定領域内において第2画像との対応点が検出されるとともに、該検出された所定領域内の対応点数が算出される。そうして、乾湿判定手段により、対応点検出手段にて算出された上記所定領域内の対応点数に基づき上記走行路面における該所定領域に対応する路面部の乾湿判定が行われる。
ところで、走行路面が乾燥状態にある場合には、該路面に反射した反射光は、全方向に同じ強さで反射する拡散反射光が支配的となる一方、走行路面が湿潤状態にある場合には指向性のある鏡面反射光が支配的となる。従って、走行路面が乾燥状態にある場合には、該路面に反射して第1及び第2撮像手段のそれぞれに入射する反射光の強度はその拡散性に起因して略同強度となり、このため、該各撮像手段により撮像される第1及び第2画像間の輝度差(輝度分布差)は比較的小さくなる。一方、走行路面が湿潤状態にある場合には、該各撮像手段に入射する反射光の強度はその指向性に起因して異なることとなり、このため、上記第1及び第2画像間の輝度差は、走行路面が乾燥状態にある場合に比べて大きくなる。
よって、上記対応点検出手段において、例えば上記両画像の輝度値を基にしたマッチング手法による対応点探索(検出)を行う場合に、走行路面(走行路面における所定領域に対応する路面部)が乾燥状態にあるときには、該両画像の輝度差が小さいが故に、マッチング精度が向上して対応点を確実に検出することができる一方、走行路面が湿潤状態にあるときには、該両画像間の輝度差が大きいが故に、マッチング精度が低下して対応点を検出し難くなる。このため、走行路面が乾燥状態にある場合には、該路面が湿潤状態にある場合に比べて、対応点検出手段により検出される対応点の数(対応点検出手段により算出される対応点数)が多くなる。従って、乾湿判定手段により例えば対応点検出手段にて検出される対応点の数が所定閾値を上回る場合には走行路面が乾燥状態と判定し、そうでない場合には湿潤状態と判定することができて、走行路面の乾湿判定を簡単に且つ精度良く行うことが可能となる。
また、上述のように、乾湿判定手段により対応点数を基にした走行路面の乾湿判定を行うようにすることで、例えば、撮像した走行路面を水平偏光画像と垂直偏光画像とに分けて処理する場合に比べて、フィルタ等の偏光手段が不要となり、この結果、部品点数を削減して装置全体の小型化を図ることが可能となる。また、水平偏光画像と垂直偏光画像との切換え処理等を廃止することができ、このため、装置全体の制御処理負担を軽減することができて、両撮像手段による走行路面の撮像から乾湿判定手段による乾湿判定結果の確定までの処理時間を短縮することが可能となる。
また、対応点検出手段により検出される対応点の数は、上述したように、走行路面が乾燥状態にある場合の方が湿潤状態にある場合に比べて多くなるが、本発明によれば、対応点検出手段により検出された対応点の数が所定閾値以下である場合には、乾湿判定手段により車両の走行路面の上記所定領域に対応する路面部が湿潤状態にあるものと判定され、対応点数が上記所定閾値を上回っている場合には、乾湿判定手段により該路面部が乾燥状態にあるものと判定される。従って、例えば、走行路面が乾燥状態にある場合と湿潤状態にある場合との各場合において、対応点検出手段により検出される対応点の数を予め実験等で求めた上で該各場合に検出される対応点数の中間値を上記所定閾値とすることで、上記乾湿判定手段による乾湿判定を確実に精度良く行うことが可能となる。
また、所定領域設定手段により、上記第1画像の重複部に対して、該第1画像における車両の進行方向に対応する方向である縦方向の座標値が互いに異なる複数の上記所定領域が設定される。そして、対応点検出手段により、上記第1画像の少なくとも各所定領域内において上記第2画像との対応点が検出されるとともに、各所定領域内の対応点数が算出される。そして、乾湿判定手段により、上記走行路面における各所定領域に対応する路面部のそれぞれに対して、上述の如く対応点数と所定閾値との大小関係に基づく乾湿判定が実行される。
ところで、一般的に、画像内に写し出された被写体の解像度(分解能)は、その実環境下における車両からの前方距離が長いものほど、つまり被撮像物の該画像内における縦方向の座標値が大きいほど低くなる。このため、縦方向の座標値が大きい所定領域ほどその画像解像度は低くなるので対応点検出手段にて検出される対応点数も少なくなる。従って、上記乾湿判定手段による乾湿判定時に使用される所定閾値を、例えば縦方向の座標値が最小となる所定領域(実環境下における車両前方距離が最短となる所定領域)を基準として設定したとすると、該基準とした所定領域を除く他の所定領域では、該基準所定領域に比べてその画像解像度が低下して対応点検出手段により対応点が検出され難くなる。この結果、該基準所定領域を除く各所定領域に対応する走行路面部が、実際には乾燥状態にあるにも拘わらず、検出された対応点数が所定閾値以下となることによって乾湿判定手段により湿潤状態にあると誤判定され、延いては乾湿判定精度の低下を招くという問題がある。しかしながら、本発明によれば、上記所定閾値は、縦方向の座標値が大きい所定領域ほど小さい値とされ、このため、上記乾湿判定手段による誤判定を防止して、その乾湿判定精度をより一層向上させることが可能となる。
請求項の発明では、請求項の発明において、上記車両の速度を検知する車速検知手段を更に備え、上記車両の速度を検知する車速検知手段を更に備え、上記乾湿判定手段による上記乾湿判定時に使用される上記所定閾値は、上記車速検知手段により検知された車両の速度が高いほど小さい値に設定されているものとする。
このことにより、上記乾湿判定手段による走行路面の乾湿判定精度をより一層確実に向上させることが可能となる。
すなわち、通常、車両の速度が増加するにしたがって車両振動は大きくなる。このため、車両の高速走行時には、該車両振動に起因して、上記両撮像手段より撮像される画像内に画像ブレが生じて撮像精度が低下することとなる。この結果、対応点検出手段により対応点を検出し難くなり、このため、上該所定領域に対応する走行路面部が、実際には乾燥状態にあるにも拘わらず、検出された対応点数が所定閾値以下となることによって乾湿判定手段により湿潤状態にあると誤判定されるという問題が生じる。しかしながら、本発明によれば、車両の速度を検知する車速検知手段を備えるとともに、上記所定閾値は、該車速検知手段により検知される車両の速度が高いほど低い値とされる。このため、車両の高速走行時において、その走行振動の増加に起因する乾湿判定手段の誤判定を確実に防止して、乾湿判定精度をより一層確実に向上させることが可能となる。
請求項の発明では、請求項の発明において、上記所定領域設定手段は、上記第1画像の重複部における上記車両の走行路面に対応する画像領域内の一部を上記所定領域として設定するように構成され、上記対応点検出手段は、上記第1画像の所定領域においてのみ第2画像との対応点を検出するように構成されているものとする。
この構成によれば、所定領域設定手段により、上記第1画像の重複部における上記車両の走行路面に対応する画像領域内の一部が上記所定領域として設定され、上記対応点検出手段により、上記第1画像の所定領域においてのみ第2画像との対応点の検出が実行される。
このため、対応点検出手段により行われる対応点の探索(検出)領域を第1画像内の一部に限定して、その処理負担の軽減を図ることが可能となり、延いては、両撮像手段による走行路面の撮像から乾湿判定手段による乾湿判定結果の確定までの時間をより一層短縮することが可能となる。
請求項の発明では、請求項1乃至のいずれかの発明において、上記画像情報記憶手段により記憶された上記第1画像及び第2画像のうち一方における他方との重複部に対して、上記車両の走行路面に対応する画像領域を輝度判定領域として設定する輝度判定領域設定手段と、上記輝度判定領域設定手段により輝度判定領域が設定された上記第1又は第2画像の各画素の輝度情報を基に、該設定された該第1又は第2画像の上記輝度判定領域内における輝度レベルと該輝度レベルに対応する画素数との関係を2軸のグラフ上に描いて輝度分布曲線を求める輝度分布算出手段とを備え、上記乾湿判定手段は、上記輝度分布算出手段により求めた輝度分布曲線の画素数のピーク値の所定割合での輝度分布幅が所定幅よりも小さい場合には上記乾湿判定を非実行とする一方、該輝度分布幅が該所定幅以上である場合には該乾湿判定を実行するように構成されているものとする。
この構成によれば、輝度判定領域設定手段により、上記第1画像と第2画像との一方における他方との重複部に対して、上記車両の走行路面に対応する画像領域が輝度判定領域として設定され、輝度分布算出手段により、上記輝度判定領域設定手段にて輝度判定領域が設定された上記第1又は第2画像の各画素の輝度情報を基に、該設定された該第1又は第2画像の上記輝度判定領域内における輝度レベルと画素数との関係がグラフ化されて輝度分布曲線が求められる。そして、上記輝度分布算出手段により求めた輝度分布曲線の画素数のピーク値の所定割合での輝度分布幅が所定幅よりも小さい場合には乾湿判定手段による乾湿判定が非実行とされる一方、該輝度分布幅が該所定幅以上である場合には該乾湿判定手段による乾湿判定が実行される。
ところで、上記輝度分布算出手段により算出される輝度分布曲線は、上述の如く、該輝度判定領域内の画像の輝度レベルと画素数との関係をグラフ化したものとされ、通常、この輝度分布曲線はピーク値を有する正規分布となるが、夕暮れ時や雨天時等の周囲が比較的暗い場合には、晴天時の昼間等の周囲が比較的明るい場合に比べて上記各撮像手段により撮像される画像の輝度値が全体として低くなるが故に、該輝度分布曲線は低輝度よりにピーク値を有して急峻な曲線を描くこととなる。
従って、例えば輝度分布のピーク値の所定割合での分布幅が所定幅よりも小さい場合には、周囲が比較的暗いと推定することができる。この場合、周囲が暗いが故に両撮像手段により撮像される撮像画像の全体輝度が不足する結果、対応点検出手段による対応点検出精度が低下し、延いては乾湿判定手段による乾湿判定精度の低下を招くが、本発明の如く乾湿判定手段による走行路面の乾湿判定を非実行とすることで、乾湿判定手段における乾湿判定精度が低下しているにも拘わらず不必要に乾湿判定処理が実行されてその処理負担が増加するのを防止することが可能となる。一方、輝度分布のピーク値の所定割合での分布幅が所定幅以上の場合には、周囲が比較的明るいと推定することができる。この場合には、対応点検出手段による対応点の検出精度を十分に確保することができるので、本発明の如く乾湿判定手段による走行路面の乾湿判定を実行することで、その乾湿判定を確実に精度良く行うことができるとともに、該乾湿判定手段を無駄なく効率的に作動させることが可能となる。
請求項の発明では、請求項1の発明において、上記対応点検出手段により検出された上記第1画像の上記所定領域内の各対応点の距離画像データを求める対応点分布算出手段と、上記対応点分布算出手段により求めた距離画像データを基に、上記第1画像の所定領域内の画像に写し出された被撮像物が走行路面か否かを判定する路面判定手段とを備え、上記乾湿判定手段は、上記路面判定手段により上記被撮像物が走行路面であると判定された場合には上記乾湿判定を実行する一方、該被撮像物が走行路面でないと判定された場合には上記乾湿判定を非実行とするように構成されているものとする。
この構成によれば、対応点分布算出手段により、対応点検出手段にて検出された上記第1画像の上記所定領域内の各対応点の距離画像データが求められ、路面判定手段により、対応点分布算出手段にて求めた距離画像データを基に、上記第1画像の所定領域内の画像に写し出された被撮像物が走行路面か否かの判定がなされ、路面判定手段により上記被撮像物が走行路面であると判定された場合には、乾湿判定手段による乾湿判定が実行される一方、該被撮像物が走行路面でないと判定された場合には乾湿判定手段による乾湿判定が非実行される。
このように、路面判定手段により、上記第1画像の上記所定領域内の被撮像物が走行路面でないと判定された場合には、乾湿判定手段により乾湿判定が非実行とされるので、例えば被撮像物が先行車両であるにも拘わらず該先行車両を走行路面と見て乾湿判定が実行されるのを防止することが可能となる。従って、該乾湿判定手段による不必要な判定処理(所定領域内の撮像物が走行路面でないにも拘わらず行われる判定処理)の実行を防止してその処理負担を確実に軽減することが可能となる。一方、路面判定手段により上記第1画像の所定領域内の被撮像物が走行路面でないと判定された場合には、乾湿判定手段により乾湿判定が実行されるので、該乾湿判定手段を無駄なく効率的に作動させることが可能となる。
以上説明したように、本発明の車両用路面状態推定装置によると、車両の走行路面を撮像する第1撮像手段及び第2撮像手段と、該各撮像手段により撮像されて輝度情報を有する複数の画素からなる第1画像及び第2画像を記憶する画像情報記憶手段と、第1画像の重複部に対して所定領域を設定する所定領域設定手段と、該第1画像と第2画像とを比較することで、第1画像の少なくとも所定領域内において第2画像との対応点を検出するとともに、該検出した所定領域内の対応点数を算出する対応点検出手段と、該対応点検出手段により算出された該所定領域内の対応点数を基に、該車両の走行路面の乾湿判定を行う乾湿判定手段とを備え、上記乾湿判定手段は、上記対応点検出手段により算出された対応点数が予め設定された所定閾値以下である場合には、上記車両の走行路面における上記所定領域に対応する路面部が湿潤状態にあると判定する一方、上記対応点数が該所定閾値を上回っている場合には、該路面部が乾燥状態にあると判定する乾湿判定を行うように構成され、上記所定領域設定手段は、上記第1画像の重複部に対して、該第1画像における上記車両の進行方向に対応する方向である縦方向の座標値が互いに異なる複数の上記所定領域を設定するように構成され、上記対応点検出手段は、上記第1画像画像の少なくとも各所定領域内において上記第2画像との対応点を検出するとともに、検出した各所定領域内の対応点数を算出するように構成され、上記乾湿判定手段は、上記車両の走行路面における上記各所定領域に対応する路面部のそれぞれに対して上記乾湿判定を行うように構成されており、上記乾湿判定手段による上記乾湿判定時に使用される上記所定閾値は、上記各所定領域毎に予め設定されていて、該各所定領域の縦方向の座標値が大きいほど小さい値に設定されるようにしたことで、装置全体の小型化を図りつつ乾湿判定処理の迅速化を図ることが可能となる。
以下、本発明の実施形態を図面に基づいて詳細に説明する。
(実施形態1)
図1は、本発明の実施形態1に係る車両用路面状態推定装置1を示し、この車両用路面状態推定装置1は、車両A(図2参照)に搭載されてその走行路面20の乾湿状態を判定するとともに、判定した路面の乾湿情報を横滑り防止装置11(以下、DSC(Dynamic Stability Control)制御装置11と呼ぶ)に送信するようになっている。
具体的には、上記車両用路面状態推定装置1は、該車両前端部の天井部に配設された左右一対のカメラ(ステレオカメラ)2R,2Lと、該各カメラ2R,2Lにより撮像された画像を基に各種演算を行うECU100とを備えている。
各カメラ2R,2Lは、車両前方の走行路面20を、互いの撮像領域(撮像画像)が一致(重複)するように撮像するべく、光軸を所定方向に向けて配設されている。そうして、左側及び右側カメラ2R,2Lがそれぞれ、車両Aの走行路面20を、互いの撮像画像の全部が重複するように撮像する第1撮像手段及び第2撮像手段を構成するとともに、左側カメラ2Lにより撮像される第1画像としての左側カメラ画像GL全体が該第1画像の重複部に相当し、右側カメラ2Rにより撮像される第2画像としての右側カメラ画像GR全体が該第2画像の重複部に相当することとなる。
そして、各カメラ2R,2Lは、CCD(Charge coupled device)等の撮像素子を有するデジタルカメラにより構成されて、撮像した画像を画像信号としてECU100に送信する。
ECU100は、CPUやROM及びRAM等からなるものであって、図1に示すように、カメラ画像取得部3と、輝度判定領域設定部4と、輝度分布算出部5と、乾湿判定領域設定部6と、対応点検出部7と、路面判定部8と、路面乾湿状態判定部9と、主制御部10とを備えている。
上記カメラ画像取得部3は、例えば複数のRAMを有するフレームメモリからなるものであって、各カメラ2R,2Lから送信される画像信号を受信(取得)して、該各カメラ2R,2Lにより撮像された画像をデジタル画像データとして記憶する。
具体的には、カメラ画像取得部3は、右側カメラ2Rにより撮像された右側カメラ画像GRを記憶する右側カメラ画像取得部3Rと、左側カメラ2Lにより撮像された左側カメラ画像GLを記憶する左側カメラ画像取得部3Lとからなり、上記デジタル画像データは、各カメラ画像GR,GLを構成する各画素の画像面上での座標位置(x,y)と、各画素の輝度値(輝度情報)とからなる。そうして、カメラ画像取得部3が、上記第1及び第2撮像手段によりそれぞれ撮像されて輝度情報を有する複数の画素からなる第1画像及び第2画像を記憶する画像情報記憶手段を構成することとなる。
上記輝度判定領域設定部4は、主制御部10からの指令を受けて上記左側カメラ画像取得部3Lに記憶された左側カメラ画像GL(左側カメラ画像GLのデジタル画像データ)を読込むとともに、該左側カメラ画像GLに対して輝度判定領域R(図4参照)を設定する。この輝度判定領域Rは、後述するように路面乾湿状態判定部9による乾湿判定の実行・非実行を決定する際に必要となる輝度分布を取得するための画像領域であり、本実施形態おいては、輝度判定領域設定部4は、左側カメラ画像GLに対して、その輝度情報(各画素の輝度値)を基にした走行路面20(走行レーン)の左右の白線認識処理を行うとともに、該両白線に挟まれた領域を輝度判定領域Rとして設定するようになっている。そうして、輝度判定領域設定部4が輝度判定領域設定手段を構成することとなる。
上記輝度分布算出部5(輝度分布算出手段)は、主制御部10からの指令を受けて、輝度判定領域設定部4により左側カメラ画像GLに対して設定された輝度判定領域R内の輝度分布曲線を求める。具体的には、該輝度分布算出部5は、輝度判定領域R内の各画素を予め設定された複数の輝度レベル毎に分類してその数を算出することで輝度分布曲線を作成する。そうして、輝度分布算出部5により作成された輝度分布曲線は通常、図3に示すように、ピーク部を有する正規分布となる。図中の破線で示すL1は、夜間の比較的暗い状況での輝度分布を示していて、昼間の比較的明るい状況での輝度分布を示す実線のラインL2に比べて、そのピーク部が低輝度よりに位置し且つ分布幅も狭くなって全体として急峻な山となっている。
上記乾湿判定領域設定部6(所定領域設定手段)は、主制御部10からの指令を受けて、上記左側カメラ画像GLに対して乾湿判定領域Q(図4参照)を設定する。この乾湿判定領域Qは、後述するように路面乾湿状態判定部9による走行路面20の乾湿判定を行うために設定される領域であり、本実施形態においては、上記乾湿判定領域設定部6は、左側カメラ画像GLにおける走行路面20(走行レーン)の左右の白線に挟まれた領域R(輝度判定領域R)を識別した上で、該領域R内に乾湿判定領域Q(図4参照)を設定するようになっている。より具体的には、乾湿判定領域設定部6は、左側カメラ画像GLの領域R内の画像のうち、実環境下における車両Aからの前方距離が所定距離以内(本実施形態においては10m以内)となる領域を特定して乾湿判定領域Qとして設定する。そうして、乾湿判定領域設定部6が所定領域設定手段を構成することとなる。
上記対応点検出部7(対応点検出手段)は、主制御部10からの指令を受けて、乾湿判定領域設定部6により設定された左側カメラ画像GLの乾湿判定領域Q内に含まれる対応点を検出(探索)するとともにその数をカウント(算出)する。
ここで、対応点とは、左右のカメラ画像GL,GR間で互いに対応付けられる点であり、対応点検出部7による該対応点の検出は、本実施形態においては、公知の方法であるArea-based matching手法に基づいて行われる。Area-based matching手法とは、一方の画像のある点の対応点を、他方の画像から探す際にその点の回りの局所的な輝度値(濃度)パターンを手がかりに探索しようとするものである。具体的には、対応点検出部7は、図5に示すように、左側カメラ画像GLの一の画素回りに3×3ピクセルのウィンドを設定するとともに該ウィンドに囲まれた画像をテンプレート画像GTとして、右側カメラ画像GRのエピポーラ(epipolar line)線EL上に設定した探索範囲GS内でマッチングを行う。本実施形態では、このマッチング処理は、左側カメラ画像GLの全画素に対してそれぞれ実行され、このマッチングに使用するアルゴリズムとしては、SADアルゴリズム(Sum of Absolute Difference)を採用している。すなわち、対応点検出部7は、上記左側カメラ画像GLに設定されたテンプレート画像GTと、マッチングを行う右側カメラ画像GR内の画像との間で対応する画素間の輝度差の合計値(SAD値)を次式(1)により算出して、この合計値が所定値以下である場合には対応点が検出されたものとして、その画像面上での座標を記憶する。そうして、対応点検出部7は、この各対応点の座標情報を基に、乾湿判定領域Q内に含まれる対応点の数を算出する。尚、上記マッチングに使用するアルゴリズムは、SADアルゴリズムに限ったものではなく、例えば、SSD(Sum of Squared Difference)アルゴリズムや、NCC(Normalized Cross Correlation)アルゴリズムを使用するようにしてもよい。
・・・・(1)
:左側画像の画素の輝度値
:右側画像の画素の輝度値
上記路面判定部8は、主制御部10からの指令を受けて、上記輝度分布算出部5にて算出された輝度分布を基に上記左側カメラ画像GLの乾湿判定領域Q内に写し出された被撮像物が走行路面20か否かを判定する路面判定を実行する。
具体的には、路面判定部8における路面判定処理は、例えば以下のようにして行われる。まず、対応点検出部7にて検出された対応点の、左右のカメラ画像GL,GR間での位置ずれ量(視差)を基に三角測量の原理によって距離情報を求める処理を行なって、各対応点の3次元の分布、つまり各対応点の車幅方向の位置情報及び車両Aからの前方距離情報を表す距離画像データ(図6及び図7参照)を生成する。そして、この距離画像データを基に、車幅方向中央位置(左側カメラ画像GLのx方向の中央の画素列に対応する位置)に含まれる対応点を、横軸を車両前方距離とし且つ縦軸を画像面上のy座標とするグラフにプロットしてその分布図(図8参照)を作成する。そうして、作成した対応点分布図を基に、走行路面20の地表面に対応する下限ラインULを求める。尚、この図では、上記被撮像物が車両前方を走行する先行車両である場合の対応点分布を示していて、先行車両に相当する部分がピーク部Vとして現れている。そして更に、特定した下限ラインと所定距離(画像面上での距離)を隔てた平行ラインPLを求めた上で、該平行ラインPLを含む平面内(紙面に垂直な平面内)に位置する対応点の密度分布を求める(図9参照)。
具体的には、路面判定部8は、この対応点密度を予め設定した車両前方距離範囲D1乃至D4毎(車両前方距離毎)に車幅方向の各位置(左側カメラ画像の各x座標)にて算出する。そして、路面判定部8は、算出した対応点密度が図9に示すように車幅方向に一様になっている場合(例えば、各車両前方距離範囲D1乃至D4における対応点密度の車幅方向の変化率が全て所定値以下になっている場合)には、上記被撮像物が走行路面20であると判定する一方、対応点密度が車幅方向に一様でない場合には、上記被撮像物が走行路面20ではない(例えば先行車両や障害物等である)と判定する。そうして、該路面判定部8が対応点分布算出手段と路面判定手段とを構成することとなる。
上記路面乾湿状態判定部9(乾湿判定手段)は、路面判定部8にて上記被撮像物が走行路面20と判定された場合には、該走行路面20における上記乾湿判定領域Qに対応する路面部20a(図2参照。以下、乾湿判定路面部20aと呼ぶ)が、湿潤状態と乾燥状態とのいずれの状態にあるかの乾湿判定を行う。具体的には、路面乾湿状態判定部9は、上記対応点検出部7によりカウント(算出)された対応点の数が予め設定された所定閾値以下である場合には、上記車両Aの走行路面20における上記乾湿判定路面部20aが湿潤状態にあるものと判定する一方、上記対応点の数が該所定閾値を上回っている場合には、該路面部20aが乾燥状態にあるものと判定する。そして、路面乾湿状態判定部9は、実行した乾湿判定の結果を、次の乾湿判定実行時までの間記憶しておく。ここで、上記所定閾値は、設計段階において実験等に基づいて設定される値であって、両カメラ2R,2Lのカメラ特性等によって決まる値である。具体的には、本実施形態では、走行路面20が乾燥状態にある場合と湿潤状態にある場合との各場合において、対応点検出部7により検出される対応点の数を予め実験等で求めてサンプリング平均した上で、該各場合に検出される対応点の数のサンプリング平均値の中間値を上記所定閾値として設定するようにしている。
また、上記路面乾湿状態判定部9は、路面判定部8にて上記被撮像物が走行路面20でないと判定された場合には、上記走行路面20の乾湿判定路面部20aの乾湿判定を行わないようになっている。そうして、該路面乾湿状態判定部が乾湿判定手段を構成することとなる。
上記主制御部10は、ECU100を構成する上記各構成部2乃至9の処理動作を制御することで、走行路面20の乾湿状態の判定を行うための一連の乾湿判定制御処理を実行する。
具体的に、上記ECU100の主制御部10にて実行される乾湿判定制御処理について図10のフローチャートを基に説明する。
最初のステップS1では、右側カメラ画像取得部3Rに対して、右側カメラ2Rからの画像信号を受信するよう指令を出すとともに、同様に左側カメラ画像取得部3Lに対して、左側カメラ2Lからの画像信号を受信するよう指令を出す。
ステップS2では、輝度判定領域設定部4に対して、左側カメラ画像取得部3Lに記憶された左側カメラ画像GLを読込むよう指令を出すとともに、読込んだ左側カメラ画像GL内に輝度判定領域Rを設定するよう指令を出す。
ステップS3では、輝度分布算出部5に対して、ステップS2で設定された左側カメラ画像GLの輝度判定領域R内の輝度分布を算出させるべく指令を出す。
ステップS4では、ステップS3にて算出された輝度分布を基に、該分布のピーク値W1,W2(図3参照)の所定割合(本実施形態では例えば50%)での分布幅B1,B2が所定幅以上であるか否かを判定し、この判定がYESの場合にはステップS5に進み、NOの場合にはステップS12に進む。尚、この所定幅は、周囲の明るさが、路面乾湿状態判定部9にて乾湿判定を行うために必要とされる明るさを満たしているか否かを区画する閾幅であるとも言える。
ステップS5では、乾湿判定領域設定部6に対して、上記左側カメラ画像GL内に乾湿判定領域Qを設定させるべく指令を出す。
ステップS6では、対応点検出部7に対して、ステップS5にて設定された左側カメラ画像GLの乾湿判定領域Q内の対応点を検出(探索)させるとともにその数を算出させるべく指令を出す。
ステップS7では、ステップS6にて対応点が検出されたか否かを判定し、この判定がYESの場合にはステップS8に進み、NOの場合にはステップS11に進む。
ステップS8では、路面判定部8に対して、左側カメラ画像GLの乾湿判定領域Q内の被撮像物が走行路面20か否かを判定させるべく指令を出し、該路面判定部8による判定がYESの場合の場合にはステップS9に進み、NOの場合にはステップS12に進み。
ステップS9では、路面乾湿状態判定部9に対して、ステップS6にて算出された左側カメラ画像GLの各乾湿判定領域Q内の対応点数が上記所定閾値を上回っているか否かを判定させるべく(乾湿判定を実行させるべく)乾湿判定指令を出し、該路面乾湿状態判定部9による判定がYESの場合にはステップS10に進み、NOの場合にはステップS12に進む。
ステップS10では、路面乾湿状態判定部9により、走行路面20の乾湿判定路面部20aが乾燥状態にあるとする判定がなされるとともに、該路面乾湿状態判定部9に対して、判定した路面の乾湿情報(走行路面20の乾湿判定路面部20aが乾燥状態にあるとする情報)をDSC制御装置11に送信するよう指令を出す。
ステップS11では、路面乾湿状態判定部9により、走行路面20の乾湿判定路面部20aが湿潤状態にあるとする判定がなされるとともに、該路面乾湿状態判定部9に対して、判定した路面の乾湿情報(走行路面20の乾湿判定路面部20aが湿潤状態にあるとする情報)をDSC制御装置11に送信するよう指令を出す。尚、路面乾湿状態判定部9は、実行した乾湿判定の結果を次の乾湿判定実行時まで、つまり上記ステップS9の処理を再度実行するまでの間記憶しておく。
ステップS12では、該判定部9が現在記憶している走行路面20の乾湿情報(走行路面20の乾湿判定路面部20aが乾湿状態又は湿潤状態にあるとする情報)をDSC制御装置11に送信するよう指令を出す。
以上の如く上記実施形態1では、ECU100の路面乾湿状態判定部9は、対応点検出部7により算出された上記乾湿判定領域Q内の対応点の数を基に、車両Aの走行路面20における乾湿判定路面部20aが湿潤状態と乾燥状態とのいずれの状態にあるかの乾湿判定を行うようになっている。より具体的には、上記路面乾湿状態判定部9は、主制御部10からの指令を受けて、上記対応点検出部7によりカウント(算出)された対応点の数が予め設定された所定閾値以下である場合(ステップS9の判定がNOの場合)には、上記車両Aの走行路面20の乾湿判定路面部20aが湿潤状態にあると判定する一方、上記対応点の数が該所定閾値を上回っている場合(ステップS9の判定がYESの場合)には、該路面部20aが乾燥状態にあるものと判定する。こうして、路面乾湿状態判定部9により簡単に精度良く走行路面20における乾湿判定路面部20aの乾湿判定を行うことができる。すなわち、走行路面20の乾湿判定路面部20aが乾燥状態にある場合には、図11に示すように、該路面に反射した反射光は、全方向に同じ強さで反射する拡散反射光が支配的となって各カメラ2R,2Lのそれぞれに略同強度で入射する一方、走行路面が湿潤状態にある場合には、図12に示すように、該路面に反射した反射光は、指向性のある鏡面反射光が支配的となって各カメラ2R,2Lのそれぞれに異なる強度で入射することとなる。従って、走行路面20の乾湿判定路面部20aが乾燥状態にある場合には、該各カメラ2R,2Lにより撮像される左右のカメラ画像GL,GR間の輝度差(輝度分布差)は、該路面部20aが湿潤状態にある場合に比べて小さくなる。ここで、上記実施形態1では、対応点検出部7において、両画像GL,GRの輝度値を基にしたArea-based matching手法による対応点探索(検出)を行うようになっており、このため、走行路面20の乾湿判定路面部20aが乾燥状態にあるときには、上述の如く該両画像GR,GL間の輝度差が小さくなるが故に該路面部20aが湿潤状態にあるときに比べてより多くの対応点を検出することが可能となる(図6及び図7参照)。従って、例えば上記所定閾値を、上記実施形態1の如く、走行路面20が乾燥状態にある場合と湿潤状態にある場合との各場合に検出される対応点数のサンプリング平均値の中間値とすることで、該所定閾値と上記対応点数との大小関係を基に該走行路面20(乾湿判定路面部20a)の乾湿状態を簡単に且つ精度良く判定することができる。
また、例えば、カメラ等で撮像した走行路面20の乾湿判定路面部20aの画像を水平偏光画像と垂直偏光画像とに分けて処理することで該路面部20aの乾湿判定を行うようにした場合に比べて、フィルタ等の偏光手段が不要となり、この結果、部品点数を削減して装置全体の小型化を図ることが可能となる。また、水平偏光画像と垂直偏光画像の切換え処理等の処理を廃止することができ、このため、装置1全体の制御処理負担を軽減することができ、この結果、両カメラ2R,2Lによる走行路面20の撮像から路面乾湿状態判定部9による乾湿判定結果の確定までの処理時間(ステップS1の処理を実行してからステップS10又は11の処理が完了するまでの時間であって、以下、乾湿判定処理時間と呼ぶ)を短縮することが可能となる。従って、上記DSC制御装置11に対して走行路面20の乾湿判定路面部20aの乾湿情報を素早く送信することができて、該DSCによる車両Aの走行制御を迅速に行うことができる。よって、車両Aの走行安定性の向上を図ることが可能となる。
また、上記実施形態1では、主制御部10は、輝度分布算出部5にて算出された輝度分布(ステップS3にて算出された輝度分布)を基に、該分布のピーク値W1,W2の所定割合(本実施形態では例えば50%)での分布幅B1,B2(図3参照)が所定幅以上であるか否かを判定して(ステップS4判定を実行して)、該分布幅が所定幅未満であると判定した場合(ステップS4の判定がNOの場合)には、路面乾湿状態判定部9による乾湿判定を実行することなくステップS12に進み、前回の判定結果を現在の走行路面20の乾湿判定路面部20aの乾湿状態と推定する。すなわち、上記路面乾湿状態判定部9は、左側カメラ画像GLの輝度判定領域R内の輝度分布のピーク値W1,W2の所定割合での分布幅B1,B2が所定幅よりも小さい場合(図3の破線で示す輝度分布となる場合)、つまり周囲が比較的暗い状況にある場合には上記走行路面20の乾湿判定路面部20aの乾湿判定を非実行とするようになっている。
これにより、周囲が比較的暗いが故に両カメラ2R,2Lにより撮像される両画像GL,GRの輝度が低下する状況下において、該輝度低下に起因して対応点検出部7による対応点検出精度が低下しているにも拘わらず、路面乾湿状態判定部9にて該対応点の数を基にした上記乾湿判定が実行されて誤判定がなされる(判定精度が著しく低下する)のを防止することができる。また、該路面乾湿状態判定部9による不必要な判定処理(判定精度が著しく低いにも拘わらず行われる判定処理)の実行を防止してその処理負担の軽減を図ることが可能となる。
また、上記実施形態1では、主制御部10は、輝度分布算出部5にて算出された輝度分布(ステップS3にて算出された輝度分布)の所定割合での分布幅B1,B2が所定幅以上であると判定した場合(ステップS4の判定がYESの場合)には、対応点検出部7にて左側カメラ画像GLの乾湿判定領域Q内の対応点が検出され(ステップS7の判定がYESであり)且つ路面判定部8にて該乾湿判定領域Q内の被撮像物が走行路面20と判定される所定条件成立時(ステップS8の判定がYESの時)に限って、路面乾湿状態判定部9に対して乾湿判定を実行させるべく指令を出す(ステップS9の処理を実行する)。すなわち、路面乾湿状態判定部9は、左側カメラ画像GLの輝度判定領域R内の輝度分布のピーク値W1,W2の所定割合での分布幅B1,B2が所定幅以上の場合(図3の実線で示す輝度分布となる場合)、つまり周囲が比較的明るい状況にある場合には上記走行路面20の乾湿判定路面部20aの乾湿判定を実行するようになっている。このように、路面乾湿状態判定部9における乾湿判定(対応点検出部7における対応点の検出)に必要とされる明るさが十分に確保されている場合には、上述の如く路面乾湿状態判定部9による走行路面20の乾湿判定を実行することで、該路面乾湿状態判定部9を無駄なく効率的に作動させて、該判定部9を構成するCPU等のハードウェア資源の有効利用を図ることが可能となる。
また、上記実施形態1では、上記路面乾湿状態判定部9は、上記路面判定部8にて左側カメラ画像GLの乾湿判定領域Q内に写し出された被撮像物が走行路面20であると判定された場合(ステップS8の判定がYESの場合の場合)には上記乾湿判定(ステップS9の処理)を実行するようになっている。
これにより、左側カメラ画像GLの乾湿判定領域Q内に写し出された被撮像物が先行車両である(乾湿判定の対象物として不適切である)にも拘わらず、路面乾湿状態判定部9にて該先行車両を走行路面20と見て乾湿判定が実行されるのを防止することができる。従って、該路面乾湿状態判定部9による誤判定を防止することができて、その判定精度の向上を図ることが可能となる。また、該路面乾湿状態判定部9による不必要な判定処理の実行を防止してその処理負担の軽減を図る可能となる。
また、上記実施形態1では、上記路面乾湿状態判定部9は、路面判定部8にて該被撮像物が走行路面20でないと判定された場合(ステップS8の判定がNOの場合)には上記乾湿判定(ステップS9の処理)を行わないようになっている。
これにより、左側カメラ画像GLの乾湿判定領域Q内の被撮像物が、判定対象として適切である場合つまり走行路面20である場合には、路面乾湿状態判定部9により乾湿判定を確実に実行させて、該路面乾湿状態判定部9を無駄なく効率的に作動させることが可能となる。従って、路面乾湿状態判定部9を構成するハードウェア資源等の有効利用を図ることができる。
また、上記実施形態1では、上記路面判定部8は、対応点検出部7にて算出した対応点密度の分布が車幅方向に一様になっている場合には、左側カメラ画像GLの乾湿判定領域Q内に写し出された被撮像物が走行路面20であると判定する一方、一様でない場合には該被撮像物が走行路面20でないと判定するようになっている。
こうすることで、路面判定部8により上記被撮像物が走行路面20であるか否かを容易に且つ確実に判定することが可能となる。
(実施形態2)
図13及び図14は、本発明の実施形態2を示し、ECU100の乾湿判定領域設定部6により左側カメラ画像GLに対して設定される乾湿判定領域Qの数、及び路面乾湿状態判定部9にて走行路面20(乾湿判定路面部20a)の乾湿判定を行う際に使用する所定閾値を上記実施形態1とは異ならせたものである。尚、車両用路面状態推定装置1の全体構成(図1参照)等は上記実施形態1と同様である。
すなわち、本実施形態では、上記乾湿判定領域設定部6は、主制御部10からの指令を受けて、左側カメラ画像GLにおける走行路面20(走行レーン)の左右の白線に挟まれた領域Rを識別した上で、該領域R内に、車両Aからの前方距離情報が互いに異なる複数の乾湿判定領域Q1乃至Q8(図13参照)を設定するようになっている。具体的には、該乾湿判定領域設定部6は、左側カメラ画像GLの領域R内の画像を、y方向(縦方向)に8つの領域に分割して、該各分割領域を乾湿判定領域Q1乃至Q8として設定する。そうして設定された乾湿判定領域Q1乃至Q8は、互いのy方向位置(y方向の座標値)が異なるが故に車両前方距離情報も互いに異なることとなる。尚、本実施形態では、乾湿判定領域設定部6により設定される乾湿判定領域Q1乃至Q8の数は8つとされているが、これに限ったものではない。
そして、対応点検出部7は、上記乾湿判定領域設定部6により設定された8つの乾湿判定領域Q1乃至Q8のそれぞれに含まれる対応点数をカウント(算出)する。
また、路面判定部8は、上記実施形態1と同様の手法により、上記8つの乾湿判定領域Q1乃至Q8のそれぞれに対して、該各判定領域Q1乃至Q8内の被撮像物が走行路面20であるか否かの判定を行う。
上記路面乾湿状態判定部9は、路面判定部8にて被撮像物が走行路面20であると判定された乾湿判定領域Q1乃至Q8に対してのみ乾湿判定を行う。具体的には、この路面乾湿状態判定部9による乾湿判定処理は、上記実施形態1と同様に各乾湿判定領域Q1乃至Q8内に含まれる対応点数と所定閾値との大小関係に基づいて行われるが、本実施形態では、この所定閾値は、図14に示すように、各乾湿判定領域Q1乃至Q8毎に、上記車両Aからの距離が長い前方距離情報を有する乾湿判定領域Q1乃至Q8ほど、つまりy方向の座標値が大きい乾湿判定領域Q1乃至Q8ほど小さい値となるように予め設定されている。そして、路面乾湿状態判定部9は、対応点検出部7にて検出された対応点の数が所定閾値を上回る乾湿判定領域Q1乃至Q8についてはこれに対応する乾湿判定路面部20aが乾燥状態にあると判定する一方、該対応点数が所定閾値以下となる乾湿判定領域Q1乃至Q8についてはこれに対応する乾湿判定路面部20aが湿潤状態にあると判定する。従って、例えば対応点検出部7にて検出された対応点数と、上記所定閾値との関係が図14に示す例のような関係にある場合には、路面乾湿状態判定部9は、乾湿判定領域Q1及びQ2に対応する乾湿判定路面部20aが湿潤状態にあると判定し、乾湿判定領域Q3乃至Q8に対応する乾湿判定路面部20aが乾燥状態にあると判定する。
また、上記路面乾湿状態判定部9は、路面判定部8にて被撮像物が走行路面20でないと判定された乾湿判定領域Q1乃至Q8に対しては上記乾湿判定を行わないようになっている。
尚、上記ECU100の主制御部10にて実行される乾湿判定制御処理については、図10のステップS5において左側カメラ画像GLに対して複数の(8つの)乾湿判定領域Q1乃至Q8を設定する点と、ステップS6乃至S12の制御処理を各乾湿判定領域Q1乃至Q8のそれぞれに対して行う点とが上記実施形態1と異なるのみであって、その他の処理は実施形態1と同様であるため、ここではその説明を省略する。
以上の如く上記実施形態2では、上記ECU100の乾湿判定領域設定部6は、左側カメラ画像GL(左側カメラ画像GLおける走行路面20の左右の白線に挟まれた領域R内)に対して、y方向の座標値が互いに異なる(車両Aからの前方距離情報が互いに異なる)複数の(8つの)乾湿判定領域Q1乃至Q8(図13参照)を設定するようになっている。そして、上記路面乾湿状態判定部9による乾湿判定時(ステップS9の処理時)に使用される上記所定閾値は、y方向の座標値が大きい(車両Aからの長い前方距離情報を有する)乾湿判定領域Q1乃至Q8ほど小さい値とされている(図14参照)。
これにより、路面乾湿状態判定部9において走行路面20の乾湿判定路面部20aの乾湿判定をその車両Aからの距離に応じて確実に精度良く行うことが可能となる。
すなわち、一般的に、画像内に写し出された被写体の解像度(分解能)は、その実環境下における車両Aからの前方距離が長いものほど低くなり、このため、y方向の座標値が大きい乾湿判定領域Q1乃至Q8ほど、その画像解像度は低くなるので対応点検出部7にて算出される対応点数も少なくなる。従って、例えば所定閾値をy方向の座標値が最も小さい乾湿判定領域Q1を基準として設定した場合、該基準とした乾湿判定領域Q1を除く乾湿判定領域Q2乃至S8に対応する路面部が実際には乾燥状態にあるにも拘わらず、路面乾湿状態判定部9により湿潤状態と誤判定される可能性が高くなる。しかしながら、上記所定閾値は、y方向の座標値が大きい乾湿判定領域Q1乃至Q8ほどその画像解像度の低下を補うべく小さい値とされている。このため、路面乾湿状態判定部9において上記誤判定を防止してその乾湿判定精度の向上を図ることが可能となる。
(他の実施形態)
本発明の構成は、上記実施形態に限定されるものではなく、それ以外の種々の構成を包含するものである。すなわち、上記各実施形態では、路面乾湿状態判定部9において、乾湿判定を行う際に使用する所定閾値は、車両Aの速度とは無関係に設定されているが、これに限ったものではなく、例えば、車速に応じて変化させるようにしてもよい。具体的には、車速を検知する車速検知手段としての車速センサ(図示省略)を、上記路面乾湿状態判定部9に信号の授受可能に接続しておき、該路面乾湿状態判定部9により、該車速センサからの信号を基に車速を算出して、該算出した車速が高いほど所定閾値を低く設定する等すればよい。こうすることで、車両Aの速度増加に伴う車両振動の増加に起因して、対応点検出部7にて検出される対応点数が減少したとしても、路面乾湿状態判定部9による乾湿判定を精度良く確実に行うことが可能となる。
また、上記路面乾湿状態判定部9において乾湿判定を行う際に、上記所定閾値を例えば輝度分布算出部5にて算出される輝度分布に基づいて変化させるようにしてもよい。具体的には、輝度分布算出部5にて算出された輝度分布が低輝度状態になるほど(輝度分布のピーク値W1,W2の所定割合での分布幅B1,B2が狭くなるほど)、路面乾湿状態判定部9における乾湿判定に使用される所定閾値を低くすることが好ましい。こうすることで、夕暮れ時など比較的暗い状況においても、路面乾湿状態判定部9による走行路面20の乾湿判定を精度良く確実に行うことが可能となる。
また、上記各実施形態では、上記対応点検出部7は、左側カメラ画像GLの全領域にて対応点探索(検出)を行うようになっているが、これに限ったものではなく、例えば、該左側カメラ画像GLの乾湿判定領域Q内においてのみ対応点探索を行うようにしてもよい。こうすることで、対応点検出部7による対応点探索領域を限定してその対応点検出時間(マッチング処理時間)を短縮することができ、延いては、両カメラ2R,2Lによる走行路面20の乾湿判定路面部20aの乾湿判定処理時間をより一層短縮することが可能となる。
また、上記各実施形態では、各カメラ2R,2Lは、互いの撮像領域が完全に一致(重複)するように配設されているが、これに限ったものではなく、互いの撮像領域の一部が重複するように配設してもよい。
また、上記各実施形態では、輝度判定領域設定部4は、左側カメラ画像GL内に上記輝度判定領域Rを設定するようになっているが、これに限ったものではなく、例えば、右側カメラ画像GR内に輝度判定領域Rを設定するようにしてもよい。
また、上記各実施形態では、路面判定部8にて左側カメラ画像GLの乾湿判定領域Q内の被撮像物が走行路面20か否かの判定を行うようになっているが、必ずしもこの路面判定部8を設ける(この判定を行う)必要はない。
また、上記各実施形態では、路面乾湿状態判定部9は、判定した走行路面20の乾湿判定路面部20aの乾湿情報をDSC制御装置11に送信するようになっているが、必ずしもこれに限ったものではなく、例えば該路面部20aが湿潤状態にあるとする情報を受けた場合に車両Aの乗員に対して警報を発する警報装置等に乾湿情報を送信するようにしてもよい。
また、上記各実施形態では、乾湿判定領域Qを左側カメラ画像GLに対して設定するようにしているが、これに限ったものではなく、例えば右側カメラ画像GRに対して設定するようにしてもよい。
また、上記各実施形態では、輝度判定領域Rを右側カメラ画像GRに対して設定するようにしているが、これに限ったものではなく、例えば左側カメラ画像GLに対して設定するようにしてもよい。
本発明は、車両の走行路面を撮像する撮像手段を備えて該撮像手段により撮像された画像を基に走行路面の乾湿判定を行う車両用路面状態推定装置に有用である。
本発明の実施形態に係る車両用路面状態推定装置の概略構成を示すブロック図である。 車両用路面状態推定装置が搭載された車両を示す、前方斜め上方から見た模式図である。 ECUの輝度分布算出部により算出される、左側カメラ画像の輝度判定領域内における輝度分布を示すグラフである。 左側カメラ画像に対して、ECUの輝度判定領域設定部により設定される輝度判定領域及び乾湿判定領域設定部により設定される乾湿判定領域を示す図である。 ECUの対応点検出部による対応点探索に用いられるArea-based matching手法の説明図である。 走行路面が乾燥状態にあるときにECUの対応点検出部により対応点として検出された画素を、該対応点の前方距離情報に応じた濃度で表示して視覚化した距離画像である。 走行路面が湿潤状態にあるときの図4相当図である。 ECUの対応点検出部により検出された対応点を、縦軸が各対応点の画像面上のy座標とされ且つ横軸が各対応点の有する前方距離情報に対応した車両前方距離とされる座標系にプロットした分布図である。 ECUの路面判定部にて求められる対応点の分布を示す分布図であって、図8の下限ラインに対して所定距離隔てたPL線を含む紙面に垂直な平面内に位置する対応点の密度を、予め設定された車両前方距離範囲毎に車幅方向の各位置範囲において算出してその大きさに応じた濃度で表示した分布図である。 ECUの主制御部により実行される乾湿判定制御処理を示すフローチャートである。 乾燥状態にある走行路面に反射した光が左右のカメラに入射する様子を示す模式図である。 湿潤状態にある走行路面に反射した光が左右のカメラに入射する様子を示す模式図である。 実施形態2の図4相当図である。 互いに画像面上でのy方向の座標値が異なる複数の乾湿判定領域のそれぞれに含まれる対応点の数と、該各乾湿判定領域のy方向の座標値に応じて設定される所定閾値との関係を示すグラフの一例である。
A 車両
S 乾湿判定領域(所定領域)
R 輝度判定領域
1 車両用路面状態推定装置
2L 左側カメラ(第1撮像手段)
2R 右側カメラ(第2撮像手段)
3 カメラ画像取得部(画像情報記憶手段)
3L 左側カメラ画像取得部(画像情報記憶手段)
3R 右側カメラ画像取得部(画像情報記憶手段)
4 輝度判定領域設定部(輝度判定領域設定手段)
5 輝度分布算出部(輝度分布算出手段)
6 乾湿判定領域設定部(所定領域設定手段)
7 対応点検出部(対応点検出手段)
8 路面判定部(路面判定手段、対応点分布算出手段)
9 路面乾湿状態判定部(乾湿判定手段)
20 走行路面
20a 乾湿判定路面部(走行路面における所定領域に対応する路面部)

Claims (5)

  1. 車両の走行路面の乾湿状態を推定する車両用路面状態推定装置であって、
    上記車両の走行路面を、互いの撮像画像の少なくとも一部が重複するように撮像する第1撮像手段及び第2撮像手段と、
    上記第1及び第2撮像手段によりそれぞれ撮像された、輝度情報を有する複数の画素からなる第1画像及び第2画像を記憶する画像情報記憶手段と、
    上記画像情報記憶手段により記憶された上記第1画像における第2画像との重複部内に所定領域を設定する所定領域設定手段と、
    上記画像情報記憶手段により記憶された上記第1画像と第2画像とを該各画像の画素の輝度情報を基に比較することで、該第1画像の少なくとも上記所定領域内において上記第2画像との対応点を検出するとともに、該検出した所定領域内の対応点数を算出する対応点検出手段と、
    上記対応点検出手段により算出された上記所定領域内の対応点数を基に、上記車両の走行路面における該所定領域に対応する路面部が湿潤状態と乾燥状態とのいずれの状態にあるかの乾湿判定を行う乾湿判定手段とを備え
    上記乾湿判定手段は、上記対応点検出手段により算出された対応点数が予め設定された所定閾値以下である場合には、上記車両の走行路面における上記所定領域に対応する路面部が湿潤状態にあると判定する一方、上記対応点数が該所定閾値を上回っている場合には、該路面部が乾燥状態にあると判定する乾湿判定を行うように構成され、
    上記所定領域設定手段は、上記第1画像の重複部に対して、該第1画像における上記車両の進行方向に対応する方向である縦方向の座標値が互いに異なる複数の上記所定領域を設定するように構成され、
    上記対応点検出手段は、上記第1画像の少なくとも各所定領域内において上記第2画像との対応点を検出するとともに、該検出した各所定領域内の対応点数を算出するように構成され、
    上記乾湿判定手段は、上記車両の走行路面における上記各所定領域に対応する路面部のそれぞれに対して上記乾湿判定を行うように構成されており、
    上記乾湿判定手段による上記乾湿判定時に使用される上記所定閾値は、上記各所定領域毎に予め設定されていて、該各所定領域の縦方向の座標値が大きいほど小さい値に設定されていることを特徴とする車両用路面状態推定装置。
  2. 請求項記載の車両用路面状態推定装置において、
    上記車両の速度を検知する車速検知手段を更に備え、
    上記乾湿判定手段による上記乾湿判定時に使用される上記所定閾値は、上記車速検知手段により検知された車両の速度が高いほど小さい値に設定されていることを特徴とする車両用路面状態推定装置。
  3. 請求項記載の車両用路面状態推定装置において、
    上記所定領域設定手段は、上記第1画像の重複部における上記車両の走行路面に対応する画像領域内の一部を上記所定領域として設定するように構成され、
    上記対応点検出手段は、上記第1画像の上記所定領域においてのみ第2画像との対応点を検出するように構成されていることを特徴とする車両用路面状態推定装置。
  4. 請求項1乃至のいずれか一項に記載の車両用路面状態推定装置において、
    上記画像情報記憶手段により記憶された上記第1画像及び第2画像のうち一方における他方との重複部に対して、上記車両の走行路面に対応する画像領域を輝度判定領域として設定する輝度判定領域設定手段と、
    上記輝度判定領域設定手段により輝度判定領域が設定された上記第1又は第2画像の各画素の輝度情報を基に、該設定された該第1又は第2画像の上記輝度判定領域内における輝度レベルと該輝度レベルに対応する画素数との関係を2軸のグラフに描いて輝度分布曲線を求める輝度分布算出手段とを備え、
    上記乾湿判定手段は、上記輝度分布算出手段により求めた輝度分布曲線において画素数のピーク値の所定割合での輝度分布幅が所定幅よりも小さい場合には上記乾湿判定を非実行とする一方、該輝度分布幅が該所定幅以上である場合には該乾湿判定を実行するように構成されていることを特徴とする車両用路面状態推定装置。
  5. 請求項1記載の車両用路面状態推定装置において、
    上記対応点検出手段により検出された上記第1画像の上記所定領域内の各対応点の距離画像データを求める対応点分布算出手段と、
    上記対応点分布算出手段により求めた距離画像データを基に、上記第1画像の上記所定領域内の画像に写し出された被撮像物が走行路面か否かを判定する路面判定手段とを備え、
    上記乾湿判定手段は、上記路面判定手段により上記被撮像物が走行路面であると判定された場合には上記乾湿判定を実行する一方、該被撮像物が走行路面でないと判定された場合には上記乾湿判定を非実行とするように構成されていることを特徴とする車両用路面状態推定装置。
JP2007240981A 2007-09-18 2007-09-18 車両用路面状態推定装置 Expired - Fee Related JP5034809B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007240981A JP5034809B2 (ja) 2007-09-18 2007-09-18 車両用路面状態推定装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007240981A JP5034809B2 (ja) 2007-09-18 2007-09-18 車両用路面状態推定装置

Publications (2)

Publication Number Publication Date
JP2009069119A JP2009069119A (ja) 2009-04-02
JP5034809B2 true JP5034809B2 (ja) 2012-09-26

Family

ID=40605518

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007240981A Expired - Fee Related JP5034809B2 (ja) 2007-09-18 2007-09-18 車両用路面状態推定装置

Country Status (1)

Country Link
JP (1) JP5034809B2 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5966935B2 (ja) * 2013-01-10 2016-08-10 三菱電機株式会社 赤外線目標検出装置
US9365217B2 (en) * 2013-06-03 2016-06-14 Booz Allen Hamilton Inc. Mobile pothole detection system and method
JP5893601B2 (ja) 2013-10-31 2016-03-23 富士重工業株式会社 車両制御システム
JP6769263B2 (ja) * 2016-11-25 2020-10-14 日産自動車株式会社 路面判断方法および路面判断装置
KR102499398B1 (ko) * 2017-08-09 2023-02-13 삼성전자 주식회사 차선 검출 방법 및 장치
DE102018218733A1 (de) * 2018-10-31 2020-04-30 Robert Bosch Gmbh Verfahren zur Unterstützung einer kamerabasierten Umfelderkennung eines Fortbewegungsmittels mittels einer Strassennässeinformation eines ersten Ultraschallsensors
JP2022181641A (ja) * 2021-05-26 2022-12-08 株式会社ブリヂストン 路面状態判定装置、路面状態判定システム、車両、路面状態判定方法、及びプログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3301995B2 (ja) * 1999-07-30 2002-07-15 富士重工業株式会社 ステレオ式車外監視装置
JP3235831B2 (ja) * 1999-07-30 2001-12-04 富士重工業株式会社 ステレオ式車外監視装置
JP3626905B2 (ja) * 2000-11-24 2005-03-09 富士重工業株式会社 車外監視装置
JP4532089B2 (ja) * 2003-09-09 2010-08-25 富士重工業株式会社 車外監視装置

Also Published As

Publication number Publication date
JP2009069119A (ja) 2009-04-02

Similar Documents

Publication Publication Date Title
JP5034809B2 (ja) 車両用路面状態推定装置
KR101417571B1 (ko) 물체 식별 장치
JP5276637B2 (ja) 車線推定装置
JP4956452B2 (ja) 車両用環境認識装置
JP6220327B2 (ja) 走行区画線認識装置、走行区画線認識プログラム
JP4930046B2 (ja) 路面判別方法および路面判別装置
JP4714104B2 (ja) 物体傾き検出装置
CN111563405B (zh) 图像处理装置和图像处理方法
JP2003296736A (ja) 障害物検知装置及びその方法
JP2011175468A (ja) 区画線検出装置
EP3731139A1 (en) Image processing device and image processing method
JP5855756B2 (ja) レーンマーク認識装置
US20200344448A1 (en) Image processing device and image processing method
US11657624B2 (en) Image processor and image processing method for parking frame estimation on a road surface
JP4270183B2 (ja) 白線検出装置
JP2011174794A (ja) 路面状態検出装置及び方法
US11769338B2 (en) Image processor and image processing method
JP3868915B2 (ja) 前方監視装置及びその方法
JP4798576B2 (ja) 付着物検出装置
JP2004230963A (ja) 車両用トンネル検出方法および車両用トンネル検出装置並びに該装置を用いた車両制御装置
JP2008042759A (ja) 画像処理装置
JP3373363B2 (ja) 車両用障害物検出装置
JPH11205663A (ja) 車両用撮像装置の露光量制御装置
JP2001116545A (ja) 距離画像算出装置
JP5822866B2 (ja) 画像処理装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100316

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120125

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20120223

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120403

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120521

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120605

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120618

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150713

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 5034809

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees