JP4157790B2 - Vehicle road surface state detection device, vehicle road surface state detection method, and vehicle road surface state detection device control program - Google Patents
Vehicle road surface state detection device, vehicle road surface state detection method, and vehicle road surface state detection device control program Download PDFInfo
- Publication number
- JP4157790B2 JP4157790B2 JP2003095729A JP2003095729A JP4157790B2 JP 4157790 B2 JP4157790 B2 JP 4157790B2 JP 2003095729 A JP2003095729 A JP 2003095729A JP 2003095729 A JP2003095729 A JP 2003095729A JP 4157790 B2 JP4157790 B2 JP 4157790B2
- Authority
- JP
- Japan
- Prior art keywords
- road surface
- image
- intensity
- threshold value
- luminance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/21—Polarisation-affecting properties
Landscapes
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
Description
【0001】
【発明の属する技術分野】
本発明は、車両用路面状態検出装置、車両用路面状態検出方法および車両用路面状態検出装置の制御プログラムに関し、特に、夜間における車両の前方路面の路面状態を検出する車両用路面状態検出装置、車両用路面状態検出方法および車両用路面状態検出装置の制御プログラムに関する。
【0002】
【従来の技術】
従来、この種の路面状態検出装置は、カメラにて路面画像を撮像し、同路面画像に基づいてこのカメラのレンズに入る路面の反射光の強さを計測し、同路面の光沢を測る。このとき、乾燥状態の路面は、表面が拡散面となり光沢が弱くなり、また、路面画像の領域内で光沢の強さはほぼ同一になる。一方、湿潤状態の路面は、表面が半鏡面状態となり光沢が強くなり、路面画像の領域内で光沢にムラが発生する。この特性の相異を判別するために、路面画像の映像信号をRGB値に変換し、このRGB値のRGB空間における広がりに基づいて路面状態を検出する。すなわち、RGB空間におけるRGB値の分布の広がりが小さい場合は、路面画像の領域内における光沢の強さがほぼ同一であると判別し、路面が乾燥状態であると検出する。一方、RGB空間におけるRGB値の分布の広がりが大きい場合は、路面画像の領域内における光沢にムラがあると判別し、路面が湿潤状態であると検出する(例えば、非特許文献1を参照。)。
【0003】
【非特許文献1】
第1回ITSシンポジュウム2002
2002年12月15日(一橋記念講堂)発表論文
「画像式路面凍結検知装置における路面状態判別精度の考察」
【0004】
【発明が解決しようとする課題】
上述した従来の路面状態検出装置は、予め規定した乾燥時におけるRGB空間におけるRGB値の分布と、湿潤時におけるRGB空間におけるRGB値の分布とに基づいて路面状態を検出する。すなわち、この従来の路面状態検出装置の撮像する路面は定点であり、この定点の路面について予め規定したRGB値の分布に基づいて路面状態を検出する。
従って、路面状態に依存しない環境の変化によってRGB値が変動した場合、この変動によって路面状態を誤検出してしまう。例えば、この路面状態検出装置を車両に搭載して夜間走行を行う場合、路面はヘッドライトの照射光による反射光によって支配的に照らし出される場合もあるし、ヘッドライトの照射光に街路灯などの外光が加わり、これらによる反射光によって照らし出される場合もある。すなわち、路面の光沢を示すRGB値が路面状態以外の要因で変化する。これにより路面状態を正確に検出することができないという課題がある。
【0005】
本発明は、上記課題にかんがみてなされたもので、夜間において車両の前方路面の路面状態を精度良く検出することが可能な車両用路面状態検出装置、車両用路面状態検出方法および車両用路面状態検出装置の制御プログラムの提供を目的とする。
【0006】
【課題を解決するための手段】
上記目的を達成するため、請求項1にかかる発明は、前方路面を撮像可能に車両に設置され、ヘッドライトによって照射された同前方路面の垂直偏光画像および水平偏光画像を撮像する画像撮像手段と、上記撮像された垂直偏光画像もしくは水平偏光画像の画像輝度および同垂直偏光画像と水平偏光画像の偏光比強度を取得する画像情報取得手段と、上記取得した画像輝度が所定の輝度に対する閾値より小さいか否かを判別し、同輝度に対する閾値より小さいと判別した場合に上記前方路面を湿潤状態と検出し、同輝度に対する閾値以上であると判別した場合に上記取得した偏光比強度が所定の強度に対する閾値以上であるか否かを判別し、同強度に対する閾値以上であると判別した場合に、上記前方路面を湿潤状態と検出し、同強度に対する閾値より小さいと判別した場合に上記前方路面を乾燥状態と検出する路面状態検出手段とを具備する構成としてある。
【0007】
上記のように構成した請求項1にかかる発明においては、前方路面を撮像可能に車両に設置した画像撮像手段によってヘッドライトによって照射された同前方路面の垂直偏光画像および水平偏光画像を撮像する。ここで、画像情報取得手段は、垂直偏光画像および水平偏光画像が撮像されると、この垂直偏光画像もしくは水平偏光画像の画像輝度を取得するとともに、当該垂直偏光画像と水平偏光画像の偏光比強度を取得する。このとき、路面状態検出手段は、画像情報取得手段の取得した画像輝度が所定の輝度に対する閾値より小さいか否かを判別し、同輝度に対する閾値より小さいと判別した場合は前方路面を湿潤状態と検出する。一方、画像輝度が同輝度に対する閾値以上であると判別した場合、路面状態検出手段では、さらに取得した偏光比強度が所定の強度に対する閾値以上であるか否かを判別する。そして、この偏光比強度が同強度に対する閾値以上であると判別した場合は前方路面を湿潤状態と検出し、同強度に対する閾値より小さいと判別した場合は前方路面を乾燥状態と検出する。
【0008】
つまり、ヘッドライトにて路面を照らし出したとき路面が乾燥状態であれば、ヘッドライトの照射光の反射光は、表面が凹凸面(粗面)の路面で乱反射する。一方、路面が湿潤状態であれば、ヘッドライトの照射光の反射光のうちほとんどは表面が鏡面の路面にて車両前方側に向かって反射する。従って、画像撮像手段が撮像したこの反射光に基づく路面画像の画像輝度は、路面が乾燥状態であるほど高くなる。このため、この画像輝度が輝度に対する閾値(路面状態が湿潤状態であると判別可能な輝度値を規定した閾値)より小さい場合は、路面が湿潤状態であると検出することができる。
【0009】
しかし、夜間走行においてはヘッドライトの照射が支配的な場合もあるし、ヘッドライトの照射に街路灯などの施設照明が加わる場合もある。
このとき、かかる街路灯の外光によって画像輝度が増加してしまい、本来的には路面が湿潤状態であるにも関わらず、当該画像輝度が上記の輝度に対する閾値以上となり湿潤状態ではないと検出されることがあり得る。ここで、街路灯の外光が湿潤状態の路面(鏡面)で反射したとき、反射光に偏光特性が備わる。すなわち、路面が乾燥状態の場合は、画像撮像手段が入射する光の垂直偏光成分の強度と水平偏光成分の強度とはほぼ同等になる。一方、路面が湿潤状態の場合は垂直偏光成分の強度が水平偏光成分の強度より相対的に大きくなる。従って、垂直偏光成分と水平偏光成分に基づいて取得できる偏光比強度(垂直偏光成分の強度/水平偏光成分の強度)は、路面が湿潤状態であるほど大きくなる。
【0010】
この偏光特性を利用し、画像輝度が輝度に対する閾値以上であると判別された場合に、取得した偏光比強度が強度に対する閾値(路面状態が湿潤状態であると判別可能な偏光比強度値を規定した閾値)以上であるか否かを判別し、偏光比強度が強度に対する閾値以上であると判別した場合には路面状態が湿潤状態であると検出し、強度に対する閾値より小さいと判別した場合には路面状態が乾燥状態であると検出する。これによって、取得した画像輝度に街路灯などの施設照明の外光による輝度が入り込んでいる場合においても、路面状態が湿潤状態であるか、乾燥状態であるかを精度良く検出することが可能になる。
【0011】
なお、ヘッドライトはビームの位置によって路面を照らし出す度合いが異なってくるため、路面状態の判断基準となる画像輝度もこのヘッドライトの点灯強度によって変化してくる。このとき、ヘッドライトの点灯強度に応じて画像輝度の比較対象である閾値を変化させると、より精度良く路面状態を検出することが可能となり好適である。
【0012】
そこで、請求項2にかかる発明は、上記請求項1に記載の車両用路面状態検出装置において、上記ヘッドライトの点灯強度を取得する点灯強度取得手段を有し、上記路面状態検出手段は、点灯強度の上昇に略対応させて上記の輝度に対する閾値を増加させる対応関係に基づき同取得した点灯強度に応じて上記輝度に対する閾値を変化させる構成としてある。
上記のように構成した請求項2にかかる発明においては、点灯強度取得手段にてヘッドライトの点灯強度を取得する。かかる場合、路面状態検出手段は点灯強度の上昇に略対応させて上記輝度に対する閾値を増加させる対応関係に基づき、上述した路面状態を検出するための輝度に対する閾値を点灯強度取得手段が取得した点灯強度に応じて変化させる。
【0013】
ここで、上述してきたヘッドライトにて照射される前方路面の路面状態を検出する車両用路面状態検出装置は、ヘッドライトにて照射される前方路面の路面状態を検出する手順を提示した方法としても成立することは言うまでもない。
そこで、請求項3にかかる発明においては、ヘッドライトにて照射される前方路面の路面状態を検出する車両用路面状態検出方法であって、前方路面を撮像可能に車両に設置された画像撮像手段に上記ヘッドライトによって照射された同前方路面の垂直偏光画像および水平偏光画像を撮像させる画像撮像工程と、上記撮像された垂直偏光画像もしくは水平偏光画像の画像輝度および同垂直偏光画像と水平偏光画像の偏光比強度を取得する画像情報取得工程と、上記取得した画像輝度が所定の輝度に対する閾値より小さいか否かを判別し、同輝度に対する閾値より小さいと判別した場合に上記前方路面を湿潤状態と検出し、同輝度に対する閾値以上であると判別した場合に上記取得した偏光比強度が所定の強度に対する閾値以上であるか否かを判別し、同強度に対する閾値以上であると判別した場合に、上記前方路面を湿潤状態と検出し、同強度に対する閾値より小さいと判別した場合に上記前方路面を乾燥状態と検出する路面状態検出工程とを具備する構成とする。
必ずしも実体のある車両用路面状態検出装置に限らず、車両用路面状態検出方法としても有効であることに相違はない。
【0014】
また、ヘッドライトにて照射される前方路面の路面状態を検出する方法および装置は、上述した車両用路面状態検出装置単独で実現される場合もあるし、ある機器に組み込まれた状態で利用されることもあるなど、発明の思想としては各種の態様を含むものであり、ソフトウェアであったりハードウェアであったりするなど、適宜変更可能である。発明の思想の具現化例として路面状態検出装置を制御するソフトウェアとなる場合には、当該ハードウェアやソフトウェアの記録媒体としても発明は成立する。
【0015】
その一例として請求項4にかかる発明においては、ヘッドライトにて照射される前方路面の路面状態を検出する機能をコンピュータにて実現可能にする車両用路面状態検出装置の制御プログラムであって、前方路面を撮像可能に車両に設置された画像撮像手段に上記ヘッドライトによって照射された同前方路面の垂直偏光画像および水平偏光画像を撮像させる画像撮像機能と、上記撮像された垂直偏光画像もしくは水平偏光画像の画像輝度および同垂直偏光画像と水平偏光画像の偏光比強度を取得する画像情報取得機能と、上記取得した画像輝度が所定の輝度に対する閾値より小さいか否かを判別し、同輝度に対する閾値より小さいと判別した場合に上記前方路面を湿潤状態と検出し、同輝度に対する閾値以上であると判別した場合に上記取得した偏光比強度が所定の強度に対する閾値以上であるか否かを判別し、同強度に対する閾値以上であると判別した場合に、上記前方路面を湿潤状態と検出し、同強度に対する閾値より小さいと判別した場合に上記前方路面を乾燥状態と検出する路面状態検出機能とを具備する構成としてある。
すなわち、発明をコンピュータにて実現可能にするプログラムによって形成しても良い。むろん、そのソフトウェアの記録媒体は、磁気記録媒体であっても良いし、光磁気記録媒体であっても良いし、今後開発されるいかなる記録媒体においても全く同様に考えることができる。
【0016】
また、一次複製品、二次複製品などの複製段階については全く問う余地も無く同様である。その他、供給方法として通信回線を利用して行う場合でも本発明が利用されていることには変わりないし、半導体チップに書き込まれたようなものであっても同様である。さらに、一部がソフトウェアであって、一部がハードウェアで実現されている場合においても発明の思想において全く異なるものではなく、一部を記録媒体上に記録しておいて必要に応じて適宜読み込まれているような形態のものとしてあっても良い。
【0017】
【発明の効果】
以上説明したように本発明は、取得した画像輝度に街路灯などの施設照明の外光による輝度が入り込んでいる場合においても、路面状態が湿潤状態であるか、乾燥状態であるかを精度良く検出することが可能な車両用路面状態検出装置を提供することができる。
また、請求項2にかかる発明によれば、ヘッドライトの点灯強度に対応して適切な路面状態の検出を行うことが可能になる。
さらに、請求項3にかかる発明によれば、取得した画像輝度に街路灯などの施設照明の外光による輝度が入り込んでいる場合においても、路面状態が湿潤状態であるか、乾燥状態であるかを精度良く検出することが可能な車両用路面状態検出方法を提供することができる。
さらに、請求項4にかかる発明によれば、取得した画像輝度に街路灯などの施設照明の外光による輝度が入り込んでいる場合においても、路面状態が湿潤状態であるか、乾燥状態であるかを精度良く検出することが可能な車両用路面状態検出装置の制御プログラムを提供することができる。
【0018】
【発明の実施の形態】
ここでは、下記の順序に従って本発明の実施形態について説明する。
(1)車両用路面状態検出装置の構成:
(2)前方路面の画像特性:
(3)路面状態検出処理の処理内容:
(4)変形例:
(5)まとめ:
【0019】
(1)車両用路面状態検出装置の構成:
図1は、本発明にかかる車両用路面状態検出装置の構成を示したブロック構成図である。同図において、車両用路面状態検出装置10は、内部にCPU11を有し、同CPU11はバスラインを介して接続されたフレームメモリ13と、ROM14と、RAM15と、ユーザインターフェース部16と、I/O17とを制御可能になっており、CPU11はROM14に格納されている所定機能を実現可能にする制御プログラムをRAM15をワークエリアとして使用しつつ実行可能になっている。ここで、フレームメモリ13にはアナログデータをデジタルデータに変換する機能を有するAD変換器12を介して撮像部20が接続されている。この撮像部20は車両の前方路面を撮像可能に設置されている。
【0020】
撮像部20にて撮像されたアナログデータの画像は、AD変換器12にてデジタルデータに変換されるとともに、フレームメモリ13によって取り込まれる。本実施形態では上述したように撮像部20にて車両前方の路面を撮像する。また、本実施形態においては後述するとおり、撮像部20にて車両の前方路面の垂直偏光画像と水平偏光画像を撮像し、この垂直偏光画像および水平偏光画像の偏光特性を利用して路面状態を検出する。このとき、垂直偏光画像の輝度情報に基づいた垂直偏光成分の強度と、水平偏光画像の輝度情報に基づいた水平偏光成分の強度とから取得される偏光比強度(垂直偏光成分の強度/水平偏光成分の強度)に基づいて路面状態を検出する。ユーザインターフェース部16は車載テレビ等とのインターフェースであり検出した結果を同車載テレビに表示することによって運転者に通知可能になっている。また、I/O17はヘッドライト30に接続されており、ヘッドライト30の点灯/消灯を示す信号や、ヘッドライト30の点灯強度(ロービーム、ハイビームなど)を示す信号を入出力するインターフェースである。
【0021】
図2は、上述した撮像部20の構成を示したブロック構成図である。
同図において、撮像部20は上述したとおり車両の前方路面を撮像する。このとき、路面から入射する視野像の垂直偏光画像および水平偏光画像を撮像する。このように、垂直偏光画像および水平偏光画像を撮像するために、同撮像部20には、1:1の透過性を備えるハーフミラーボックス21と、ミラー22と、垂直偏光フィルタ23と、水平偏光フィルタ24と、垂直偏光フィルタ23を介して視野像を撮像するCCD25と、水平偏光フィルタ24を介して視野像を撮像するCCD26と、フィールドメモリ27と、フィールドメモリ28とを有する構成となっている。
【0022】
ここで、撮像部20に入力される視野像は、ハーフミラーボックス21を通過してミラー22で反射し、垂直偏光フィルタ23を介してCCD25に結像して垂直偏光画像を形成し、ハーフミラーボックス21を透過し、水平偏光フィルタ24を介してCCD26に結像して水平偏光画像を形成する。そして、このように形成された垂直偏光画像はフィールドメモリ27に格納される。また、水平偏光画像はフィールドメモリ28に格納される。このフィールドメモリ27,28に格納された垂直偏光画像および水平偏光画像はAD変換器12を介してフレームメモリ16に転送し、一旦格納させる。
【0023】
本実施形態における撮像部20では、上述のとおり、入射する視野像をハーフミラーボックス21によって2つに分岐させることによって、垂直偏光画像および水平偏光画像を撮像することが可能な構成を採用した。むろん、垂直偏光画像および水平偏光画像を撮像する構成は、これに限定されるものではなく、例えば、垂直偏光フィルタを装着したCCDと、水平偏光フィルタを装着したCCDとによって個別に視野像を入射することにより、垂直偏光画像および水平偏光画像を撮像する構成を採用しても良い。また、これらに限定されるものでもなく、垂直偏光画像および水平偏光画像を撮像することが可能な構成であれば適宜選択可能である。
【0024】
かかる構成において、本実施形態では点灯されたヘッドライト30によって照射された車両の前方路面を撮像部20にて撮像し、撮像した垂直偏光画像および水平偏光画像に基づいて同前方路面の路面状態(乾燥状態もしくは湿潤状態)を検出する手法について説明する。このとき、垂直偏光画像および水平偏光画像は、撮像部20に入射する光に基づいて撮像されることになる。ここで、夜間走行時において撮像部20に入射される光は、ヘッドライト30の照射光に基づいた反射光に依存する場合(ヘッドライト30の照射が支配的な場合)と、ヘッドライト30の照射光に基づいた反射光に加えて街路灯などの施設照明に存在する場合との2つのパターンが勘案できる。そこで、先ず最初にヘッドライト30の照射光に基づいた反射光に依存する場合について説明する。
【0025】
(2)前方路面の画像特性:
図3は、路面が乾燥状態の場合におけるヘッドライト30の照射光の反射状態を模式的に示した模式図である。
同図において、車両100には前方の路面Rを照射可能にヘッドライト30が設置されているとともに、この照射された路面Rを撮像可能な位置に撮像部20が設置されている。ヘッドライト30が点灯されると、同ヘッドライト30の照射光L1は、路面Rに対して所定の入射角度にて照射される。路面Rが乾燥状態の場合、その表面は凹凸面(粗面)になっている。これにより、ヘッドライト30の照射光L1の反射光L2は、路面Rにて乱反射される。従って、反射光L2の成分は、車両100の前方側に向かうものもあるし、車両側に戻ってくるものもある。このとき、撮像部20は乱反射により車両側に戻ってきた反射光L2を入射し、この反射光L2に基づいた垂直偏光画像および水平偏光画像を撮像する。一方、路面Rが湿潤状態の場合は、当該路面Rの凹凸面(粗面)に水が溜まり、表面が鏡面となる。次に、このときの照射光L1の反射について説明する。
【0026】
図4は、路面が湿潤状態の場合におけるヘッドライト30の照射光の反射状態を模式的に示した模式図である。
同図において、ヘッドライト30から照射される照射光L1の路面Rに対する入射角度は、車両100の前方側に対し路面Rの照射範囲を大きくとるために小さく設定されている。このとき、湿潤状態に起因して路面Rの表面が鏡面を形成している場合においては入射角度が小さい照射光L1の反射光L2のほとんどが車両100の前方側に向かってしまうことになる。従って、撮像部20が入射する反射光L2は微弱ものとなる。かかる場合、撮像部20はこの微弱な反射光L2に基づいた垂直偏光画像および水平偏光画像を撮像することになる。
【0027】
このように路面Rの路面状態(乾燥状態もしくは湿潤状態)に応じて撮像部20に入射される反射光L2の強度は異なる。従って、乾燥状態において撮像された垂直偏光画像もしくは水平偏光画像の画像輝度と、湿潤状態において撮像された垂直偏光画像および水平偏光画像の画像輝度とは大きく異なってくる。すなわち、路面Rが乾燥状態の場合は画像輝度が高くなり、路面Rが湿潤状態の場合は画像輝度が低くなる。本実施形態では予め所定の輝度に対する閾値を規定しておき、画像輝度がこの輝度に対する閾値以上の場合に照射光L1が路面Rで乱反射していると判断し、路面状態を乾燥状態であると検出する。一方、画像輝度がこの輝度に対する閾値より小さい場合に照射光L1の反射光L2のほとんどが車両100の前方側に反射してしまっていると判断し、路面状態を湿潤状態であると検出する。この検出機能は後述する路面状態検出処理にて実現される。
【0028】
このように夜間走行時においてヘッドライト30の照射が支配的な状況においては、ヘッドライト30の照射光L1の路面Rにおける反射光L2に基づいて撮像される垂直偏光画像もしくは水平偏光画像の画像輝度により路面状態(乾燥状態もしくは湿潤状態)を検出することが可能になる。一方、ヘッドライト30の照射に加えて街路灯などの施設照明が加わった場合、この加わった街路灯などの施設照明により撮像部20に入射される光は強くなる。すなわち、垂直偏光画像もしくは水平偏光画像の画像輝度は上昇する。従って、路面状態が湿潤状態であっても、この街路灯などの施設照明のため、画像輝度が上昇してしまい、上述した輝度に対する閾値以上になり、路面状態が乾燥状態であると誤検出してしまう。ここで、路面Rが湿潤状態の場合、街路灯などの施設照明の反射光は、偏光特性を示すことが知られている。従って、撮像部20が撮像した垂直偏光画像および水平偏光画像の偏光特性に基づいて路面状態が乾燥状態であるか湿潤状態であるかを検出することが可能になる。次に、ヘッドライト30の照射に加えて街路灯などの施設照明が存在する場合について説明する。
【0029】
図5は、路面が乾燥状態の場合におけるヘッドライト30の照射光および街路灯の外光の反射状態を模式的に示した模式図である。
同図においては、施設照明として街路灯40が路面Rを照射している状態を示している。上述したように路面Rが乾燥状態のとき表面は凹凸面(粗面)になっているので、街路灯40が照射する外光L3の反射光L4は当該路面Rにて乱反射される。従って、反射光L4の成分は、車両100の前方側に向かうものもあるし、車両側に向かうものもある。このとき、撮像部20は乱反射により車両側に戻ってきた上述した照射光L1の反射光L2および外光L3の反射光L4を入射し、この反射光L2,L4に基づいた垂直偏光画像および水平偏光画像を撮像する。
【0030】
図6は、路面が乾燥状態の場合における街路灯40の外光L3の偏光特性を模式的に示した模式図である。
同図において、路面Rが乾燥状態の場合は、撮像部20に入射される光は路面Rの凹凸面(粗面)に反射したものとなる。このように粗面における反射は乱反射が支配的となり、反射光は偏光特性を示さず、垂直偏光成分および水平偏光成分の反射率はほぼ等しくなる。すなわち、撮像部20の垂直偏光フィルタ23にて抽出される垂直偏光成分S1の反射光である垂直偏光成分S11の強度と、水平偏光フィルタ24にて抽出される水平偏光成分S2の反射光である水平偏光成分S21の強度とを比較すると、ほぼ同等の強度となる。
【0031】
図7は、路面が湿潤状態の場合におけるヘッドライト30の照射光および街路灯の外光の反射状態を模式的に示した模式図である。
同図においては、施設照明として街路灯40が路面Rを照射している状態を示している。上述したように路面Rが湿潤状態のとき表面は鏡面になっている。このとき、街路灯40が照射する外光L3の反射光L4は、当該路面Rにて反射する際に偏光特性を示すことになる。次に、この偏光特性について説明する。図8は、路面が湿潤状態の場合における街路灯40の外光L3の偏光特性を模式的に示した模式図である。同図において、撮像部20に入射される光はこの鏡面にて反射したものとなり、反射光は偏光特性を示す。
【0032】
このとき、水平偏光成分の反射率は、垂直偏光成分の反射率に比べて小さくなる。すなわち、撮像部20の垂直偏光フィルタ23にて抽出される垂直偏光成分S1の反射光である垂直偏光成分S12の強度と、水平偏光フィルタ24にて抽出される水平偏光成分S2の反射光である水平偏光成分S22の強度とを比較すると、垂直偏光成分S12の強度の方が相対的に強くなる。従って、この垂直偏光成分と水平偏光成分の強度にて規定される偏光比強度(垂直偏光成分/水平偏光偏光成分)は乾燥状態に比べて大きくなる。以上より、この偏光比強度に基づいて路面状態を検出することが可能になる。かかる検出機能も次に説明する路面状態検出処理にて実現される。
【0033】
(3)路面状態検出処理の処理内容:
図9は、CPU11にて実行される路面状態検出処理の処理内容を示したフローチャートである。
同図において、先ず最初に撮像部20に視野像の垂直偏光画像および水平偏光画像を撮像させる(ステップS105)。次に、水平偏光画像(もしくは垂直偏光画像)の画像輝度を取得する(ステップS110)。この画像輝度は水平偏光画像(もしくは垂直偏光画像)を構成する各画素の輝度値に基づいて算出する。ここで、この取得した画像輝度が上記した所定の輝度に対する閾値以上であるか否かを判別し(ステップS115)、同判別にて画像輝度が輝度に対する閾値以上と判別すると、垂直偏光成分および水平偏光成分の強度を算出するとともに(ステップS120)、偏光比強度を算出する(ステップS125)。そして、この算出した偏光比強度が所定の強度に対する閾値以上であるか否かを判別し(ステップS130)、同判別にて偏光比強度が強度に対する閾値より小さいと判別すると、路面Rの路面状態を乾燥状態とする(ステップS135)。
【0034】
一方、ステップS115にて画像輝度が輝度に対する閾値より小さいと判別した場合およびステップS130にて偏光比強度が強度に対する閾値以上と判別した場合は、路面Rの路面状態を湿潤状態と検出する(ステップS140)。以上のように路面状態を検出すると、ユーザインターフェース部16の制御を介して当該検出された各路面状態を車載テレビに表示し、運転者において視認可能に通知する(ステップS145)。むろん、この通知は車載テレビに表示する態様に限定されず、スピーカから音のみで通知しても良いし、フロントパネルに配置されたランプなどの発光手段にて通知しても良い。このとき路面状態、例えば湿潤度合いに従って音量もしくは発光色を変化させればより好ましい。
【0035】
図10は、上述した路面状態検出処理の検証結果を示した図である。
同図においては、横軸に時系列のサンプルポイントを規定し、縦軸に偏光比強度および路面輝度を規定してあり、夜間フィールドにおいて収集したデータに基づいて抽出した路面Rについての画像輝度および偏光比強度の時間推移を示している。ここで、折れ線グラフG1はサンプルポイントにおける路面輝度の変化を示しており、折れ線グラフG2はサンプルポイントにおける偏光比強度の変化を示している。一方、帯グラフG3は上段(真値)と下段(検出結果)とから構成されている。この上段(真値)は目視により検出した実際の路面状況を示している。また、下段(検出結果)は本実施形態にかかる路面状態検出処理によって検出した路面状態の検出結果を示しており、湿潤状態と検出したサンプルポイントを黒で示し、乾燥状態と検出したサンプルポイントを白で示している。一方、反転(湿潤状態の場合は白反転、乾燥状態の場合は黒反転)しているサンプルポイントは誤検出を示している。
【0036】
また、図11は目視により判定した実際の路面状態と、本実施形態にかかる路面状態検出処理の検出結果を比較し、その一致度合いによって算出した検出精度を示している。同図において、目視により判定した実際の路面状態が乾燥状態であるサンプルポイントは67個であり、これに対して本実施形態にかかる路面状態検出処理ではこの67個のサンプルポイントのうち63個を乾燥状態であると検出している(正解数)。すなわち、正解率は94.0%である。一方、目視により判定した実際の路面状態が湿潤状態であるサンプルポイントは91個であり、これに対して本実施形態にかかる路面状態検出処理ではこの91個のサンプルポイントのうち85個を湿潤状態であると検出している(正解数)。すなわち、正解率は93.4%である。このように、目視による実際の路面状態と、本実施形態にかかる路面状態検出処理の処理結果による路面状態とでは、多少のオーバーラップが存在するものの良好な結果が得られており、本実施形態による夜間における路面状態検出手法は、その有効性が検証された。
【0037】
ここで、上述した実施形態においては、路面状態検出処理にて先ず最初に画像輝度に基づいた判別を行い、その後に偏光比強度による判別を行う手法を採用し、より高精度な路面状態の検出を実現可能にした。図10から分かるとおり、輝度に対する閾値に対する折れ線グラフG1の変動を考察すると、画像輝度による判別のみであっても、路面状態の概略的な傾向を把握することが可能である。従って、上述した路面状態検出処理におけるステップS115にて画像輝度が輝度に対する閾値以上の場合に路面状態を乾燥状態と判別し、画像輝度が輝度に対する閾値より小さい場合に路面状態を湿潤状態と判別するようにしても精度は上述した手法よりは低下するものの、路面状態検出処理の処理構成を簡素化でき、処理の高速化を図ることが可能になるという点で有用となり得る。
【0038】
(4)変形例:
上述した実施形態では輝度に対する閾値を固定した。一方、ヘッドライト30の照射は段階的に設定が変更され得る。例えば、ロービームの設定の場合もあるし、ハイビームの設定の場合もある。このように設定が異なれば、ヘッドライト30が照射する照射光L1による反射光L2の強度が異なってくる。従って、輝度閾値が固定であると、この反射強度の相異に対応できない場合が発生し得る。そこで、この変形例ではヘッドライト30の設定に応じて輝度に対する閾値の設定を変える手法を採用する。図12は、かかる機能を実現する際にCPU11にて実行される輝度閾値設定処理の処理内容を示したフローチャートである。
【0039】
同図において、先ず最初にI/O17を介してヘッドライト30の点灯強度(ロービーム設定もしくはハイビーム設定)を取得する(ステップS205)。次に、この取得した点灯強度がロービーム設定であるか否かを判別する(ステップS210)。点灯強度がロービーム設定であると判別した場合は、ROM14に格納されている通常の輝度に対する閾値データを読み出す(ステップS215)。一方、点灯強度がハイビーム設定であると判別した場合は、ROM14に格納されているハイビーム用の輝度に対する閾値データを読み出す(ステップS220)。そして、読み出した輝度に対する閾値データを上述した路面状態検出処理に使用する閾値として設定する(ステップS225)。このようにヘッドライト30の点灯強度の変化に応じて画像輝度を判別するための輝度閾値を可変することによって、ヘッドライトの経年変化を含む点灯強度の変化に追従可能なより高精度の路面状態の検出を実現することを可能にする。
【0040】
(5)まとめ:
このように、ヘッドライト30が点灯される夜間における車両100の前方の路面Rの路面状態(乾燥状態もしくは湿潤状態)を検出する際に、第1段階として撮像部20にて撮像した水平偏光画像(もしくは垂直偏光画像)における画像輝度に基づいた検出を行い、この画像輝度が輝度に対する閾値以上と判別されたとき(画像輝度が輝度に対する閾値より小さい場合は湿潤状態と判別する。)、第2段階として同垂直偏光画像および水平偏光画像が有する偏光特性に基づく偏光比強度による判別を行い、この偏光比強度が強度に対する閾値以上であると判別したときに路面状態を湿潤状態と判別することによって(偏光比強度が偏光比閾値より小さい場合は乾燥状態と判別する。)、当該路面状態の高精度の検出を実現することを可能にする。
【図面の簡単な説明】
【図1】本発明にかかる車両用路面状態検出装置の構成を示したブロック構成図である。
【図2】撮像部の構成を示したブロック構成図である。
【図3】路面が乾燥状態の場合におけるヘッドライトの照射光の反射状態を模式的に示した模式図である。
【図4】路面が湿潤状態の場合におけるヘッドライトの照射光の反射状態を模式的に示した模式図である。
【図5】路面が乾燥状態の場合におけるヘッドライト図の照射光および街路灯の外光の反射状態を模式的に示した模式図である。
【図6】路面が乾燥状態の場合における街路灯の外光の偏光特性を模式的に示した模式図である。
【図7】路面が湿潤状態の場合におけるヘッドライトの照射光および街路灯の外光の反射状態を模式的に示した模式図である。
【図8】路面が湿潤状態の場合における街路灯の外光の偏光特性を模式的に示した模式図である。
【図9】路面状態検出処理の処理内容を示したフローチャートである。
【図10】路面状態検出処理の検証結果を示した図である。
【図11】路面状態検出処理の検証結果の精度について検証した結果を示した図である。
【図12】輝度閾値設定処理の処理内容を示したフローチャートである。
【符号の説明】
10…車両用路面状態検出装置
11…CPU
12…AD変換器
13…フレームメモリ
14…ROM
15…RAM
16…ユーザインターフェース部
20…撮像部
21…ハーフミラーボックス
22…ミラー
23…垂直偏光フィルタ
24…水平偏光フィルタ
25…CCD
26…CCD
27…フィールドメモリ
28…フィールドメモリ[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a vehicle road surface state detection device, a vehicle road surface state detection method, and a control program for a vehicle road surface state detection device, and in particular, a vehicle road surface state detection device that detects a road surface state of a front road surface of a vehicle at night, The present invention relates to a vehicle road surface state detection method and a vehicle road surface state detection device control program.
[0002]
[Prior art]
Conventionally, this type of road surface state detection device takes a road surface image with a camera, measures the intensity of reflected light from the road surface entering the lens of the camera based on the road surface image, and measures the gloss of the road surface. At this time, the dry road surface has a diffused surface and becomes less glossy, and the gloss intensity is almost the same in the area of the road image. On the other hand, the wet road surface has a semi-mirror surface and a high gloss, and uneven gloss occurs in the area of the road image. In order to determine this difference in characteristics, the video signal of the road surface image is converted into an RGB value, and the road surface state is detected based on the spread of the RGB value in the RGB space. That is, when the spread of the RGB value distribution in the RGB space is small, it is determined that the intensity of the gloss in the area of the road surface image is almost the same, and it is detected that the road surface is in a dry state. On the other hand, when the spread of the RGB values in the RGB space is large, it is determined that the gloss in the area of the road surface image is uneven, and the road surface is detected to be wet (see, for example, Non-Patent Document 1). ).
[0003]
[Non-Patent Document 1]
1st ITS Symposium 2002
Paper published on December 15, 2002 (Hitotsubashi Memorial Auditorium)
"Consideration of road surface condition discrimination accuracy in image type road surface freezing detection device"
[0004]
[Problems to be solved by the invention]
The conventional road surface state detection device described above detects a road surface state based on a predetermined distribution of RGB values in the RGB space at the time of drying and an RGB value distribution in the RGB space at the time of wetness. That is, the road surface imaged by this conventional road surface state detection device is a fixed point, and the road surface state is detected based on the distribution of RGB values defined in advance for the road surface at this fixed point.
Therefore, when the RGB value fluctuates due to an environmental change that does not depend on the road surface state, the road surface state is erroneously detected due to the change. For example, when this road surface condition detection device is mounted on a vehicle and travels at night, the road surface may be predominantly illuminated by reflected light from the light emitted from the headlights, street light etc. In some cases, the light is reflected by the reflected light. That is, the RGB value indicating the gloss of the road surface changes due to factors other than the road surface state. Accordingly, there is a problem that the road surface state cannot be accurately detected.
[0005]
The present invention has been made in view of the above problems, and is a vehicle road surface state detection device, a vehicle road surface state detection method, and a vehicle road surface state capable of accurately detecting a road surface state of a front road surface of a vehicle at night. An object is to provide a control program for a detection apparatus.
[0006]
[Means for Solving the Problems]
In order to achieve the above object, an invention according to
[0007]
In the invention according to
[0008]
In other words, if the road surface is in a dry state when the road surface is illuminated by the headlight, the reflected light of the irradiation light of the headlight is irregularly reflected on the road surface having an uneven surface (rough surface). On the other hand, if the road surface is wet, most of the reflected light of the light emitted from the headlight is reflected toward the front side of the vehicle on the road surface having a mirror surface. Therefore, the image brightness of the road surface image based on the reflected light imaged by the image capturing means increases as the road surface becomes dry. For this reason, when this image luminance is smaller than a threshold value for luminance (threshold value defining a luminance value that can be determined that the road surface state is wet), it can be detected that the road surface is wet.
[0009]
However, when traveling at night, the headlight irradiation may be dominant, or the facility light such as a street lamp may be added to the headlight irradiation.
At this time, the image brightness is increased by the outside light of the street light, and it is detected that the image brightness is equal to or higher than the threshold value with respect to the above brightness although the road surface is essentially wet. It can be done. Here, when the external light of the street light is reflected by a wet road surface (mirror surface), the reflected light has polarization characteristics. That is, when the road surface is in a dry state, the intensity of the vertical polarization component and the intensity of the horizontal polarization component of the light incident on the image pickup means are substantially equal. On the other hand, when the road surface is wet, the intensity of the vertical polarization component is relatively greater than the intensity of the horizontal polarization component. Therefore, the polarization specific intensity (the intensity of the vertical polarization component / the intensity of the horizontal polarization component) that can be acquired based on the vertical polarization component and the horizontal polarization component increases as the road surface gets wet.
[0010]
Using this polarization characteristic, when it is determined that the image brightness is equal to or greater than the threshold value for the brightness, the acquired polarization ratio intensity is a threshold value for the intensity (a polarization ratio intensity value that can be determined that the road surface state is a wet state) If it is determined that the polarization ratio intensity is greater than or equal to the threshold value for the intensity, it is detected that the road surface condition is a wet condition and is less than the threshold value for the intensity. Detects that the road surface is dry. This makes it possible to accurately detect whether the road surface is wet or dry even when the acquired image brightness includes brightness due to external light from facility lighting such as street lamps. Become.
[0011]
In addition, since the headlight illuminates the road surface depending on the position of the beam, the image brightness that is a criterion for determining the road surface state also changes depending on the lighting intensity of the headlight. At this time, it is preferable to change the threshold value, which is a comparison target of the image luminance, according to the lighting intensity of the headlight, because it is possible to detect the road surface state with higher accuracy.
[0012]
Accordingly, the invention according to claim 2 is the vehicle road surface state detecting device according to
In the invention according to claim 2 configured as described above, the lighting intensity of the headlight is acquired by the lighting intensity acquisition means. In such a case, the road surface state detection means substantially corresponds to the increase in the lighting intensity, and the lighting intensity acquisition means acquires the threshold value for the luminance for detecting the road surface condition described above based on the correspondence relationship that increases the threshold value for the luminance. Change according to strength.
[0013]
Here, the vehicle road surface state detection device for detecting the road surface state of the front road surface irradiated with the headlight has been described as a method of presenting a procedure for detecting the road surface state of the front road surface irradiated with the headlight. Needless to say, this is true.
Accordingly, in the invention according to claim 3, there is provided a vehicle road surface state detection method for detecting a road surface state of the front road surface irradiated by the headlight, and the image pickup means installed in the vehicle so as to be able to image the front road surface. An image capturing step for capturing a vertically polarized image and a horizontally polarized image of the front road surface irradiated by the headlight, image brightness of the captured vertically polarized image or horizontally polarized image, and the vertically polarized image and the horizontally polarized image. An image information acquisition step for acquiring the polarization ratio intensity of the image, and whether or not the acquired image luminance is smaller than a threshold value for the predetermined luminance, and if it is determined that the acquired image luminance is lower than the threshold value for the luminance, the front road surface is in a wet state Whether or not the acquired polarization ratio intensity is equal to or greater than a threshold value for a predetermined intensity. Separately, when it is determined that the threshold value is equal to or greater than the threshold value for the same strength, the front road surface is detected as a wet state, and when it is determined that the threshold value is smaller than the threshold value for the same strength, the road surface condition detection step is detected. It is set as the structure which comprises.
The present invention is not necessarily limited to a substantial vehicle road surface state detection device, but is effective even as a vehicle road surface state detection method.
[0014]
In addition, the method and apparatus for detecting the road surface state of the front road surface illuminated by the headlights may be realized by the above-described vehicle road surface state detection device alone or may be used in a state of being incorporated in a certain device. The idea of the invention includes various aspects, and may be appropriately changed such as software or hardware. In the case of software for controlling the road surface state detection device as an embodiment of the idea of the invention, the invention is also realized as the hardware or software recording medium.
[0015]
As an example, in the invention according to
In other words, the invention may be formed by a program that can be realized by a computer. Of course, the software recording medium may be a magnetic recording medium, a magneto-optical recording medium, or any recording medium to be developed in the future.
[0016]
The same is true without any question about the duplication stage of the primary reproduction product and the secondary reproduction product. In addition, even when the communication method is used as a supply method, the present invention is not changed, and the same applies to the case where data is written on a semiconductor chip. Further, even when a part is software and a part is realized by hardware, the idea of the invention is not completely different, and a part is recorded on a recording medium, and it is appropriately changed as necessary. It may be in the form of being read.
[0017]
【The invention's effect】
As described above, the present invention accurately determines whether the road surface state is a wet state or a dry state even when the acquired image brightness includes brightness due to outside light from facility lighting such as a street light. It is possible to provide a vehicle road surface state detection device capable of detection.
According to the second aspect of the present invention, it is possible to detect an appropriate road surface state corresponding to the lighting intensity of the headlight.
Further, according to the invention according to claim 3, whether the road surface state is a wet state or a dry state even when the acquired image brightness includes brightness due to external light from facility lighting such as a street light. It is possible to provide a vehicular road surface state detection method capable of accurately detecting the vehicle.
Furthermore, according to the invention according to
[0018]
DETAILED DESCRIPTION OF THE INVENTION
Here, embodiments of the present invention will be described in the following order.
(1) Configuration of road surface condition detection device for vehicles:
(2) Image characteristics of the road surface ahead:
(3) Processing contents of road surface state detection processing:
(4) Modification:
(5) Summary:
[0019]
(1) Configuration of road surface condition detection device for vehicles:
FIG. 1 is a block configuration diagram showing a configuration of a vehicle road surface state detection apparatus according to the present invention. In the figure, a vehicular road surface
[0020]
An analog data image captured by the
[0021]
FIG. 2 is a block configuration diagram illustrating the configuration of the
In the figure, the
[0022]
Here, the field-of-view image input to the
[0023]
As described above, the
[0024]
In this configuration, in the present embodiment, the
[0025]
(2) Image characteristics of the road surface ahead:
FIG. 3 is a schematic diagram schematically showing the reflected state of the irradiation light of the headlight 30 when the road surface is in a dry state.
In the figure, a headlight 30 is installed in a
[0026]
FIG. 4 is a schematic diagram schematically showing the reflected state of the irradiation light of the headlight 30 when the road surface is wet.
In the same figure, the incident angle with respect to the road surface R of the irradiation light L <b> 1 irradiated from the headlight 30 is set small in order to increase the irradiation range of the road surface R with respect to the front side of the
[0027]
As described above, the intensity of the reflected light L2 incident on the
[0028]
As described above, in a situation where the irradiation of the headlight 30 is dominant during night driving, the image luminance of the vertically or horizontally polarized image captured based on the reflected light L2 on the road surface R of the irradiation light L1 of the headlight 30. This makes it possible to detect the road surface state (dry state or wet state). On the other hand, when facility illumination such as a street lamp is added in addition to the irradiation of the headlight 30, the light incident on the
[0029]
FIG. 5 is a schematic diagram schematically showing the reflected state of the irradiation light of the headlight 30 and the external light of the street lamp when the road surface is in a dry state.
In the figure, the street light 40 is irradiating the road surface R as facility lighting. As described above, since the surface is an uneven surface (rough surface) when the road surface R is in a dry state, the reflected light L4 of the external light L3 irradiated by the street lamp 40 is irregularly reflected by the road surface R. Therefore, the component of the reflected light L4 may be directed toward the front side of the
[0030]
FIG. 6 is a schematic diagram schematically showing the polarization characteristics of the external light L3 of the street lamp 40 when the road surface is in a dry state.
In the figure, when the road surface R is in a dry state, the light incident on the
[0031]
FIG. 7 is a schematic diagram schematically showing the reflected state of the irradiation light of the headlight 30 and the external light of the street lamp when the road surface is wet.
In the figure, the street light 40 is irradiating the road surface R as facility lighting. As described above, when the road surface R is wet, the surface is a mirror surface. At this time, the reflected light L4 of the external light L3 emitted by the street lamp 40 exhibits polarization characteristics when reflected by the road surface R. Next, this polarization characteristic will be described. FIG. 8 is a schematic diagram schematically showing the polarization characteristics of the external light L3 of the street lamp 40 when the road surface is wet. In the figure, the light incident on the
[0032]
At this time, the reflectance of the horizontal polarization component is smaller than the reflectance of the vertical polarization component. That is, the intensity of the vertical polarization component S12 that is the reflected light of the vertical polarization component S1 extracted by the vertical polarization filter 23 of the
[0033]
(3) Processing contents of road surface state detection processing:
FIG. 9 is a flowchart showing the processing contents of the road surface state detection processing executed by the
In the figure, first, the
[0034]
On the other hand, if it is determined in step S115 that the image luminance is smaller than the threshold value for luminance and if it is determined in step S130 that the polarization ratio intensity is greater than or equal to the threshold value for intensity, the road surface state of road surface R is detected as a wet state (step S140). When the road surface state is detected as described above, the detected road surface state is displayed on the in-vehicle television through the control of the
[0035]
FIG. 10 is a diagram illustrating a verification result of the road surface state detection process described above.
In this figure, the horizontal axis defines time-series sample points, the vertical axis defines polarization ratio intensity and road surface brightness, and the image brightness and road surface R extracted based on data collected in the night field and The time course of polarization specific intensity is shown. Here, the line graph G1 indicates a change in road surface luminance at the sample point, and the line graph G2 indicates a change in polarization ratio intensity at the sample point. On the other hand, the band graph G3 includes an upper stage (true value) and a lower stage (detection result). This upper stage (true value) shows the actual road surface condition detected visually. The lower part (detection result) shows the detection result of the road surface state detected by the road surface state detection process according to the present embodiment, the sample point detected as the wet state is shown in black, and the sample point detected as the dry state is shown. Shown in white. On the other hand, sample points that are inverted (white inversion in the wet state and black inversion in the dry state) indicate false detection.
[0036]
FIG. 11 shows the detection accuracy calculated by comparing the actual road surface state visually determined with the detection result of the road surface state detection process according to the present embodiment. In the figure, there are 67 sample points where the actual road surface condition determined by visual observation is dry. In contrast, in the road surface condition detection processing according to the present embodiment, 63 of the 67 sample points are obtained. Detected as dry (number of correct answers). That is, the correct answer rate is 94.0%. On the other hand, there are 91 sample points in which the actual road surface state determined by visual observation is a wet state. On the other hand, in the road surface state detection process according to the present embodiment, 85 of the 91 sample points are in a wet state. (The number of correct answers). That is, the correct answer rate is 93.4%. As described above, the actual road surface state by visual observation and the road surface state by the processing result of the road surface state detection process according to the present embodiment have obtained good results although there is some overlap, and this embodiment The effectiveness of the nighttime road surface condition detection method was verified.
[0037]
Here, in the above-described embodiment, a method of performing a determination based on the image luminance first in the road surface state detection process, and then performing a determination based on the polarization ratio intensity, thereby detecting the road surface state with higher accuracy. Was made feasible. As can be seen from FIG. 10, considering the fluctuation of the line graph G1 with respect to the threshold value with respect to the brightness, it is possible to grasp the general tendency of the road surface state only by the discrimination based on the image brightness. Therefore, in step S115 in the road surface state detection process described above, the road surface state is determined to be a dry state when the image luminance is equal to or higher than the threshold value for luminance, and the road surface state is determined to be a wet state when the image luminance is smaller than the threshold value for luminance. Even if it does in this way, although accuracy falls rather than the method mentioned above, it can be useful at the point that the processing structure of a road surface state detection process can be simplified and it becomes possible to aim at the speeding-up of a process.
[0038]
(4) Modification:
In the embodiment described above, the threshold for luminance is fixed. On the other hand, the setting of irradiation of the headlight 30 can be changed step by step. For example, there may be a low beam setting or a high beam setting. If the setting is different as described above, the intensity of the reflected light L2 by the irradiation light L1 emitted from the headlight 30 is different. Therefore, when the brightness threshold is fixed, there may occur a case where the difference in reflection intensity cannot be handled. Therefore, in this modification, a method of changing the setting of the threshold value for the luminance according to the setting of the headlight 30 is adopted. FIG. 12 is a flowchart showing the processing contents of the brightness threshold setting processing executed by the
[0039]
In the figure, first, the lighting intensity (low beam setting or high beam setting) of the headlight 30 is acquired via the I / O 17 (step S205). Next, it is determined whether or not the acquired lighting intensity is a low beam setting (step S210). When it is determined that the lighting intensity is the low beam setting, threshold data for normal luminance stored in the
[0040]
(5) Summary:
Thus, when detecting the road surface state (dried state or wet state) of the road surface R ahead of the
[Brief description of the drawings]
FIG. 1 is a block configuration diagram showing a configuration of a vehicle road surface condition detection apparatus according to the present invention.
FIG. 2 is a block configuration diagram illustrating a configuration of an imaging unit.
FIG. 3 is a schematic diagram schematically showing a reflection state of irradiation light of a headlight when a road surface is in a dry state.
FIG. 4 is a schematic diagram schematically showing a reflection state of light irradiated from a headlight when a road surface is wet.
FIG. 5 is a schematic diagram schematically showing a reflected state of irradiation light of a headlight diagram and external light of a street lamp when a road surface is in a dry state.
FIG. 6 is a schematic diagram schematically showing the polarization characteristics of outside light from a street lamp when the road surface is in a dry state.
FIG. 7 is a schematic view schematically showing a reflection state of irradiation light of a headlight and external light of a street light when a road surface is wet.
FIG. 8 is a schematic diagram schematically showing the polarization characteristics of outside light from a street lamp when the road surface is wet.
FIG. 9 is a flowchart showing the processing contents of road surface state detection processing;
FIG. 10 is a diagram illustrating a verification result of a road surface state detection process.
FIG. 11 is a diagram illustrating a result of verifying accuracy of a verification result of road surface state detection processing;
FIG. 12 is a flowchart showing the processing contents of luminance threshold setting processing.
[Explanation of symbols]
10 ... Vehicle road surface condition detection device
11 ... CPU
12 ... AD converter
13 ... Frame memory
14 ... ROM
15 ... RAM
16. User interface part
20 ... Imaging unit
21 ... Half mirror box
22 ... Mirror
23. Vertical polarization filter
24 ... Horizontal polarization filter
25 ... CCD
26 ... CCD
27 ... Field memory
28 ... Field memory
Claims (3)
上記撮像された垂直偏光画像もしくは水平偏光画像の画像輝度および同垂直偏光画像と水平偏光画像の偏光比強度を取得する画像情報取得手段と、
上記ヘッドライトの点灯強度を取得する点灯強度取得手段と、
上記取得した画像輝度が、所定の輝度に対する閾値であって上記点灯強度の上昇に略対応させて上記の輝度に対する閾値を増加させる対応関係に基づき上記取得した点灯強度に応じて上記輝度に対して変化させた閾値より小さいか否かを判別し、同輝度に対する閾値より小さいと判別した場合に上記前方路面を湿潤状態と検出し、同輝度に対する閾値以上であると判別した場合に上記取得した偏光比強度が所定の強度に対する閾値以上であるか否かを判別し、同強度に対する閾値以上であると判別した場合に、上記前方路面を湿潤状態と検出し、同強度に対する閾値より小さいと判別した場合に上記前方路面を乾燥状態と検出する路面状態検出手段とを具備することを特徴とする車両用路面状態検出装置。An image capturing unit that is installed in a vehicle so as to be able to capture a front road surface, and that captures a vertical polarization image and a horizontal polarization image of the front road surface irradiated by a headlight;
Image information acquisition means for acquiring the image brightness of the captured vertical polarization image or horizontal polarization image and the polarization ratio intensity of the vertical polarization image and horizontal polarization image;
Lighting intensity acquisition means for acquiring the lighting intensity of the headlight;
The acquired image luminance is a threshold value for a predetermined luminance , and the luminance is increased according to the acquired lighting intensity based on a correspondence relationship that increases the threshold value for the luminance substantially corresponding to the increase of the lighting intensity. It is determined whether or not it is smaller than the changed threshold value, and when it is determined that it is smaller than the threshold value for the same luminance, the front road surface is detected as a wet state, and when it is determined that it is equal to or higher than the threshold value for the same luminance, the acquired polarization It is determined whether or not the specific intensity is equal to or higher than a threshold value for a predetermined intensity. When it is determined that the specific intensity is equal to or higher than the threshold value for the same intensity, the front road surface is detected as a wet state and determined to be smaller than the threshold value for the same intensity. A road surface state detecting device for a vehicle, comprising: road surface state detecting means for detecting the front road surface as a dry state.
前方路面を撮像可能に車両に設置された画像撮像手段に上記ヘッドライトによって照射された同前方路面の垂直偏光画像および水平偏光画像を撮像させる画像撮像工程と、
上記撮像された垂直偏光画像もしくは水平偏光画像の画像輝度および同垂直偏光画像と水平偏光画像の偏光比強度を取得する画像情報取得工程と、
上記ヘッドライトの点灯強度を取得する点灯強度取得工程と、
上記取得した画像輝度が、所定の輝度に対する閾値であって上記点灯強度の上昇に略対応させて上記の輝度に対する閾値を増加させる対応関係に基づき上記取得した点灯強度に応じて上記輝度に対して変化させた閾値より小さいか否かを判別し、同輝度に対する閾値より小さいと判別した場合に上記前方路面を湿潤状態と検出し、同輝度に対する閾値以上であると判別した場合に上記取得した偏光比強度が所定の強度に対する閾値以上であるか否かを判別し、同強度に対する閾値以上であると判別した場合に、上記前方路面を湿潤状態と検出し、同強度に対する閾値より小さいと判別した場合に上記前方路面を乾燥状態と検出する路面状態検出工程とを具備することを特徴とする車両用路面状態検出方法。A vehicle road surface state detection method for detecting a road surface state of a front road surface irradiated with a headlight,
An image imaging step of causing the image imaging means installed in the vehicle to be able to image the front road surface to capture a vertical polarization image and a horizontal polarization image of the front road surface irradiated by the headlight;
An image information acquisition step of acquiring the image brightness of the captured vertical polarization image or horizontal polarization image and the polarization ratio intensity of the vertical polarization image and horizontal polarization image;
A lighting intensity acquisition step of acquiring the lighting intensity of the headlight;
The acquired image luminance is a threshold value for a predetermined luminance , and the luminance is increased according to the acquired lighting intensity based on a correspondence relationship that increases the threshold value for the luminance substantially corresponding to the increase of the lighting intensity. It is determined whether or not it is smaller than the changed threshold value, and when it is determined that it is smaller than the threshold value for the same luminance, the front road surface is detected as a wet state, and when it is determined that it is equal to or higher than the threshold value for the same luminance, the acquired polarization It is determined whether or not the specific intensity is equal to or higher than a threshold value for a predetermined intensity. When it is determined that the specific intensity is equal to or higher than the threshold value for the same intensity, the front road surface is detected as a wet state and determined to be smaller than the threshold value for the same intensity. And a road surface state detecting step for detecting the front road surface as a dry state.
前方路面を撮像可能に車両に設置された画像撮像手段に上記ヘッドライトによって照射された同前方路面の垂直偏光画像および水平偏光画像を撮像させる画像撮像機能と、
上記撮像された垂直偏光画像もしくは水平偏光画像の画像輝度および同垂直偏光画像と水平偏光画像の偏光比強度を取得する画像情報取得機能と、
上記ヘッドライトの点灯強度を取得する点灯強度取得機能と、
上記取得した画像輝度が、所定の輝度に対する閾値であって上記点灯強度の上昇に略対応させて上記の輝度に対する閾値を増加させる対応関係に基づき上記取得した点灯強度に応じて上記輝度に対して変化させた閾値より小さいか否かを判別し、同輝度に対する閾値より小さいと判別した場合に上記前方路面を湿潤状態と検出し、同輝度に対する閾値以上であると判別した場合に上記取得した偏光比強度が所定の強度に対する閾値以上であるか否かを判別し、同強度に対する閾値以上であると判別した場合に、上記前方路面を湿潤状態と検出し、同強度に対する閾値より小さいと判別した場合に上記前方路面を乾燥状態と検出する路面状態検出機能とを具備することを特徴とする車両用路面状態検出装置の制御プログラム。A control program for a vehicle road surface state detection device that enables a computer to realize a function of detecting a road surface state of a front road surface irradiated with a headlight,
An image capturing function for causing the image capturing means installed in the vehicle to capture the front road surface to capture the vertically polarized image and the horizontally polarized image of the front road surface irradiated by the headlight;
An image information acquisition function for acquiring the image brightness of the captured vertical polarization image or horizontal polarization image and the polarization ratio intensity of the vertical polarization image and the horizontal polarization image;
A lighting intensity acquisition function for acquiring the lighting intensity of the headlight,
The acquired image luminance is a threshold value for a predetermined luminance , and the luminance is increased according to the acquired lighting intensity based on a correspondence relationship that increases the threshold value for the luminance substantially corresponding to the increase of the lighting intensity. It is determined whether or not it is smaller than the changed threshold value, and when it is determined that it is smaller than the threshold value for the same luminance, the front road surface is detected as a wet state, and when it is determined that it is equal to or higher than the threshold value for the same luminance, the acquired polarization It is determined whether or not the specific intensity is equal to or higher than a threshold value for a predetermined intensity. When it is determined that the specific intensity is equal to or higher than the threshold value for the same intensity, the front road surface is detected as a wet state and determined to be smaller than the threshold value for the same intensity. A control program for a vehicle road surface state detecting device, comprising a road surface state detecting function for detecting the front road surface as a dry state.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003095729A JP4157790B2 (en) | 2003-03-31 | 2003-03-31 | Vehicle road surface state detection device, vehicle road surface state detection method, and vehicle road surface state detection device control program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003095729A JP4157790B2 (en) | 2003-03-31 | 2003-03-31 | Vehicle road surface state detection device, vehicle road surface state detection method, and vehicle road surface state detection device control program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004301708A JP2004301708A (en) | 2004-10-28 |
JP4157790B2 true JP4157790B2 (en) | 2008-10-01 |
Family
ID=33407985
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003095729A Expired - Fee Related JP4157790B2 (en) | 2003-03-31 | 2003-03-31 | Vehicle road surface state detection device, vehicle road surface state detection method, and vehicle road surface state detection device control program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4157790B2 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8466960B2 (en) | 2009-02-16 | 2013-06-18 | Ricoh Company, Ltd. | Liquid droplet recognition apparatus, raindrop recognition apparatus, and on-vehicle monitoring apparatus |
WO2019000313A1 (en) * | 2017-06-29 | 2019-01-03 | 深圳市大疆创新科技有限公司 | Detection method, detection device, and aircraft |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR2903492B1 (en) * | 2006-07-07 | 2009-02-20 | Centre Nat Rech Scient | DEVICE FOR EVALUATING THE SURFACE MOORING STATE, EVALUATION METHOD AND INDICATING DEVICE THEREFOR |
JP2008122217A (en) * | 2006-11-13 | 2008-05-29 | Denso It Laboratory Inc | Road surface state detector |
JP2008191144A (en) * | 2007-01-11 | 2008-08-21 | Japan Aerospace Exploration Agency | Optical spectropolarimeter |
JP5664152B2 (en) | 2009-12-25 | 2015-02-04 | 株式会社リコー | Imaging device, in-vehicle imaging system, and object identification device |
KR101171368B1 (en) | 2010-05-18 | 2012-08-09 | 영남대학교 산학협력단 | Method and system for controlling of adaptive front lighting |
CN102901489B (en) * | 2011-07-25 | 2016-09-07 | 烟台惠通网络技术有限公司 | Surface gathered water accumulated ice detection method and device |
CN102944522B (en) * | 2012-10-17 | 2014-10-22 | 太原理工大学 | Detection method for gas outburst based on polarization spectrum analysis |
DE102013011975B4 (en) * | 2013-07-12 | 2015-03-05 | Iav Gmbh Ingenieurgesellschaft Auto Und Verkehr | Method for evaluating headlamps |
US9656602B2 (en) | 2013-12-13 | 2017-05-23 | Intel Corporation | Adaptive zone of safety |
WO2016086380A1 (en) * | 2014-12-04 | 2016-06-09 | 深圳市大疆创新科技有限公司 | Object detection method and device, remote control mobile device and flight vehicle |
CN111491416B (en) * | 2019-01-25 | 2022-04-19 | 光宝电子(广州)有限公司 | Lighting apparatus and control method thereof |
CN113826152A (en) * | 2019-05-16 | 2021-12-21 | 株式会社小糸制作所 | Traffic system and traffic infrastructure |
CN112406877B (en) * | 2019-08-20 | 2022-09-09 | 比亚迪股份有限公司 | Vehicle control method and device |
-
2003
- 2003-03-31 JP JP2003095729A patent/JP4157790B2/en not_active Expired - Fee Related
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8466960B2 (en) | 2009-02-16 | 2013-06-18 | Ricoh Company, Ltd. | Liquid droplet recognition apparatus, raindrop recognition apparatus, and on-vehicle monitoring apparatus |
WO2019000313A1 (en) * | 2017-06-29 | 2019-01-03 | 深圳市大疆创新科技有限公司 | Detection method, detection device, and aircraft |
Also Published As
Publication number | Publication date |
---|---|
JP2004301708A (en) | 2004-10-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4157790B2 (en) | Vehicle road surface state detection device, vehicle road surface state detection method, and vehicle road surface state detection device control program | |
US10880471B2 (en) | Building night vision and other driver assistance systems (DAS) using near infra-red (NIR) illumination and rolling shutter | |
JP4108631B2 (en) | Control system that automatically dims vehicle headlights | |
JP5846872B2 (en) | Image processing device | |
JP4853160B2 (en) | Vehicle detection device and headlamp control device | |
JP3909691B2 (en) | In-vehicle image processing device | |
JP4544233B2 (en) | Vehicle detection device and headlamp control device | |
JP2004217209A (en) | Control of continuously variable headlight | |
JP2009201064A (en) | Method and apparatus for specifying related region, and method and apparatus for recognizing image | |
CN113246846B (en) | Vehicle light control method and device and vehicle | |
KR102269956B1 (en) | Method for evaluation of headlights | |
US20140226349A1 (en) | Apparatus for detecting other vehicle lights and light control apparatus for vehicles | |
JP2013092975A (en) | Vehicle recognition device, vehicle recognition method, and program | |
CN104008518B (en) | Body detection device | |
JP6267493B2 (en) | Arrow signal light detector | |
JP2007124676A (en) | On-vehicle image processor | |
JP5547580B2 (en) | Imaging camera, vehicle detection apparatus and lamp control apparatus using the same | |
JP2970168B2 (en) | Vehicle detection device | |
JP4183542B2 (en) | Vehicle road surface state detection device, vehicle road surface state detection method, and vehicle road surface state detection device control program | |
JP5190204B2 (en) | Road area snow detection device and road area snow detection method | |
JP6853890B2 (en) | Object detection system | |
CN111751085B (en) | Car lamp replacement reminding method and device | |
JP4011505B2 (en) | Road surface state detection device, road surface state detection method, and road surface state detection program | |
JPH11219493A (en) | Method for processing traffic information | |
JP2007257242A (en) | White line recognition device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20060120 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060302 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20061031 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080314 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080513 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080611 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080708 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080714 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110718 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140718 Year of fee payment: 6 |
|
LAPS | Cancellation because of no payment of annual fees |